【论文分享】OpenProblems-单细胞分析开放问题的定义与基准测试

个人推荐指数：⭐️⭐️⭐️⭐️

OpenProblems 简介

OpenProblems 是一个社区驱动的开源基准测试平台，专注于单细胞组学分析方法的评估和比较。该项目由 Helmholtz Munich 和 Yale University 联合领导，获得 Chan Zuckerberg Initiative 的支持，相关论文于 2025 年 7 月发表在 Nature Biotechnology 上。

单细胞基因组学使得以前所未有的规模和分辨率研究生物过程成为可能。这些研究得益于创新的数据生成技术以及专门针对单细胞数据的新兴计算工具。随着单细胞技术的普及，新分析工具的开发也随之增加，截至 2024 年 2 月已有超过 1,700 种已发表的算法。因此，持续评估哪种算法在哪种情境下表现最佳变得越来越重要，以便为不断发展的领域提供最佳实践指导。

在许多定量科学领域，公开竞赛和基准测试通过按照已知标准评估最先进的方法来满足这一需求，遵循”共同任务框架”（common task framework）的概念。OpenProblems 正是这样一个持续更新的、广泛的、社区引导的平台，包含 12 个当前的单细胞任务，旨在提高单细胞分析中方法选择、评估和开发的标准。

官网：https://openproblems.bio/

研究背景

现有基准测试的局限性

尽管已有许多单细胞分析的基准测试研究，但它们存在以下问题：

缺乏标准化：不同基准测试使用不同的数据集、指标和评估流程，难以进行跨研究比较
可扩展性不足：大多数基准测试是一次性的研究，难以纳入新方法或新数据集
时效性问题：随着新方法的不断涌现，静态的基准测试很快就会过时
可重复性挑战：许多基准测试缺乏完整的代码和数据，难以重现结果

共同任务框架

OpenProblems 借鉴了机器学习领域成功的竞赛模式，采用”共同任务框架”：

明确的任务定义：清晰描述问题和预期输出
标准化数据集：提供统一的训练和测试数据
量化评估指标：定义客观的成功标准
持续更新的排行榜：实时展示各方法的性能排名

平台架构

任务结构

OpenProblems 中的每个基准测试任务都遵循统一的结构：

Task
├── API Definition (输入/输出规范)
├── Datasets (标准化数据集)
│   └── DataLoader (数据加载器)
├── Methods (待评估的方法)
├── Control Methods (控制方法)
│   ├── Positive Control (正控制)
│   └── Negative Control (负控制)
└── Metrics (评估指标)

控制方法的重要性

OpenProblems 引入了控制方法的概念，这是确保基准测试有效性的关键：

正控制（Positive Control）：使用真实标签或完美信息的方法，应该获得最高分数，用于验证指标的上界
负控制（Negative Control）：使用随机或无信息输入的方法，应该获得最低分数，用于验证指标的下界

如果一个方法的性能低于负控制或高于正控制，则表明基准测试可能存在问题。

技术实现

平台基于以下技术栈构建：

Viash：用于封装方法和构建模块化工作流
Nextflow：用于执行可扩展的云端流水线
Docker：用于确保环境的可重复性
AnnData：用于存储和交换单细胞数据

Viash 框架

OpenProblems 平台的核心技术基础是 Viash，一个用于构建可重用工作流模块的元框架。

Viash 简介

Viash 是一个开源工具，旨在通过”代码优先”的方法加速稳健数据流水线的开发。传统的生物信息学流水线中，软件组件通常与流水线逻辑紧密耦合，这限制了组件的可重用性，并在需要在多个流水线中重新实现时增加了维护开销。

Viash 通过将组件功能与流水线逻辑解耦来解决这个问题：

组件功能完全与流水线无关
流水线对特定组件的要求也是无关的
这种关注点分离提高了组件的可重用性
促进了跨学科和跨组织的协作

核心特性

Viash 提供以下核心功能：

多语言支持：支持 Bash、Python、R、Scala、JavaScript 和 C# 等多种脚本语言
代码生成：自动将脚本封装为高质量的模块，可轻松集成到数据流水线中
内置接口：通过直观的输入输出接口简化模块之间的连接
单元测试：每个组件都包含内置的单元测试，便于在流水线中进行调试
Nextflow 集成：生成 Nextflow 模块，用于创建可扩展的、平台无关的流水线
容器化：根据指定的依赖项自动创建 Docker 容器，确保可重复性

在 OpenProblems 中的应用

在 OpenProblems 平台中，Viash 被用于：

将各种单细胞分析方法封装为标准化组件
确保不同方法在相同环境下运行，保证评估的公平性
自动化依赖管理和容器构建
支持云端和本地的可扩展执行

基准测试任务详解

OpenProblems 目前涵盖 12 个核心的单细胞分析任务：

批次整合（Batch Integration）：去除来自不同实验批次的技术变异，同时保留生物学上有意义的变异。这是单细胞数据分析中最常见的挑战之一，尤其是在整合来自不同实验室或不同时间点的数据时。
标签投射（Label Projection）：从带有丰富标注的参考数据集自动注释新数据集中的细胞类型。这对于大规模单细胞图谱项目尤为重要。
降维可视化（Dimensionality Reduction）：将高维单细胞数据降至 2D 进行可视化和解释。评估降维方法是否能保留数据的局部和全局结构。
去噪（Denoising）：去除稀疏 scRNA-seq 计数数据中的技术噪声，恢复真实的基因表达信号。
细胞间通讯推断（Cell-Cell Communication）：检测细胞类型之间的配体-受体相互作用。平台提供两个子任务：Ligand-Target（检测配体与靶细胞类型之间的相互作用）和 Source-Target（检测源细胞与靶细胞类型之间的相互作用）。
多模态数据整合（Multimodal Data Integration）：对齐来自不同模态（如 RNA 和蛋白质）的细胞谱。
模态预测（Predict Modality）：从一种模态（如 mRNA 表达）预测另一种模态（如蛋白质丰度）的谱。
扰动预测（Perturbation Prediction）：预测小分子如何改变不同细胞类型的基因表达。
空间解卷积（Spatial Decomposition）：推断基于点的空间转录组数据中每个点的细胞类型组成。
空间变异基因（Spatially Variable Genes）：识别表达水平在组织空间区域间显著变化的基因。
基础模型（Foundation Models）：评估单细胞基础模型在多种下游任务上的表现。

数据来源

OpenProblems 使用的数据集主要来自以下来源：

CELLxGENE Census：Chan Zuckerberg Initiative 维护的大规模单细胞数据集合
公开发表的研究数据集
NeurIPS 竞赛数据集（如 2021 年的多模态单细胞数据整合竞赛）

所有数据集都经过标准化处理，存储为 AnnData 格式，并提供详细的元数据信息。

如何参与

OpenProblems 鼓励社区成员以多种方式参与：

贡献新方法

如果你开发了新的单细胞分析方法，可以将其提交到平台进行评估：

Fork OpenProblems 仓库
按照规范封装你的方法
提交 Pull Request
通过自动化测试后合并

贡献新任务

如果你认为有重要的分析任务尚未被覆盖：

在 GitHub Issues 中提出建议
与社区讨论任务定义
准备标准化数据集
定义评估指标

使用示例

浏览基准测试结果

访问 https://openproblems.bio/results 可以查看所有基准测试的结果。每个任务页面展示：

方法性能排行榜
各指标的详细得分
方法的运行时间和资源消耗
数据集信息

本地运行基准测试

# 克隆仓库
git clone https://github.com/openproblems-bio/openproblems.git
cd openproblems

# 安装 Viash
pip install viash

# 运行特定任务的基准测试
viash run src/tasks/batch_integration/methods/scvi/config.vsh.yaml

总结

OpenProblems 为单细胞分析领域提供了一个急需的标准化基准测试平台。通过社区驱动的方式，它不仅帮助研究人员选择合适的分析方法，还推动了整个领域的方法学进步。

该平台的主要贡献包括：

建立了 12 个核心单细胞分析任务的标准化基准测试
引入控制方法确保基准测试的有效性
提供持续更新的排行榜，反映领域最新进展
通过 Viash 框架实现模块化和可扩展的架构
促进了跨学科和跨组织的协作

如果你从事单细胞数据分析工作，OpenProblems 是一个值得关注和参与的项目。