SCAPP paper-method v2 本地结果生物学正确性审计

审计日期：2026-07-26 审计对象：docs/zh/figures/data/scapp_paper_method_v2_20260724/ 结论等级：可在明确限制条件下使用（share with caveats）

结论摘要

本地结果在文件完整性、评分算术、阈值执行和表间连接方面均通过独立复核； 严格参考匹配组同时显著富集多类质粒结构、复制和转移证据，因此结果具有明确的 生物学合理性。但是，本次验证不能称为论文精确复现，也不能把 145 条参考未匹配 预测直接解释为已证实的生物学假阳性。

可信度分层如下：

  • 计算与证据完整性：高。

  • 当前样本中结果的生物学合理性：中高。

  • 与原论文结果完全一致：未建立。

  • 对其他数据集、其他质粒工具或 ABI 全部工作流的普遍正确性：未建立。

审计范围与方法

审计使用本地冻结的小型证据包，执行以下检查：

  1. 复核外层 SHA-256 清单覆盖的 49 个文件。

  2. 从 prediction_status.tsv 和 truth_status.tsv 独立复算 TP、FP、FN、 precision、recall 和 F1。

  3. 检查预测、参考和预测—参考配对表的唯一性、覆盖度范围、严格阈值和连接关系。

  4. 比较严格参考匹配组与参考未匹配组的质粒辅助证据。

  5. 对 11 项探索性比较采用双侧 Fisher 精确检验或 Mann–Whitney U 检验，并执行 Benjamini–Hochberg 多重检验校正。

可重复执行的审计代码保存在 docs/research/scapp_v2_biological_correctness_audit.ipynb。

通过的完整性与算术检查

  • 49/49 个归档文件 SHA-256 校验通过。

  • 157 条预测 ID 唯一；88 条 truth reference ID 唯一。

  • 390 个预测—参考配对无重复，覆盖度均位于 [0, 1]。

  • 64 个 matched 配对均同时满足预测覆盖度和参考覆盖度严格大于 0.9； 非 matched 配对均未同时通过两个阈值。

  • 12 条预测被判定为严格参考匹配，145 条为无匹配，未出现重复签名罚分。

  • 64/88 个参考 accession 被至少一条预测召回，24 个未召回。

独立复算结果与冻结证据完全一致：

指标

结果

Precision

7.6433%

Reference-accession recall

72.7273%

F1

13.8329%

生物学合理性证据

严格参考匹配组为 12 条，参考未匹配组为 145 条。以下检验均为探索性比较：

特征

严格匹配组

未匹配组

相对富集或中位数比

BH-FDR q

MOB replicon 阳性

9/12

5/145

21.75×

1.75e-8

PlasmidFinder 阳性

6/12

3/145

24.17×

1.36e-5

Mobilizable

8/12

12/145

8.06×

1.66e-5

环状结构

11/12

43/145

3.09×

7.38e-5

MOB relaxase 阳性

6/12

8/145

9.06×

1.77e-4

丰度覆盖度中位数

114.16

10.33

11.05×

1.64e-3

长度中位数（bp）

3047.5

1459

2.09×

7.39e-3

MOB oriT 阳性

3/12

5/145

7.25×

1.71e-2

注释数量、末端重叠长度也在严格匹配组中显著升高。AMR 命中数没有显著组间差异 （q=0.792），因此不能用 AMR 结果支持整体分类正确性。

这些结果说明严格参考匹配组并非随机序列集合，并获得多类质粒生物学特征的共同 支持。辅助特征可能与候选生成或筛选过程并非完全独立，所以显著性只应作为合理性 证据，不能替代独立湿实验。

关键限制与风险

1. 不是 paper-exact 复现（高）

本次使用的官方 PLSDB 归档含 14,739 条记录；论文报告使用 13,469 条去冗余记录， 但精确去冗余清单与代码未公开。本地重建得到 88 条 truth，而论文报告 74 条。 数据库组成差异可以直接改变 truth 集和召回率。

2. Accession-level recall 受到参考冗余影响（高）

12 条严格匹配预测对应 64 个参考 accession。每条匹配预测对应参考数的均值为 5.33、 中位数为 2.5，单条预测最多对应 17 个 accession。因此 64/88 表示参考 accession 层面的覆盖，不能解释为发现了 64 个彼此独立的生物学质粒。

3. “未匹配”不等于生物学假阳性（中高）

145 条未匹配预测中仍有 43 条环状、12 条 mobilizable。未匹配可能由参考库缺失、 序列新颖性、组装片段化或严格覆盖阈值造成。公共报告应使用 strict reference-unmatched，避免单独使用 false positive。

4. 验证范围是 ABI 集成的 SCAPP 工作流（中）

当前测试使用 SCAPP 论文相关数据和方法，主要验证移植、运行、结果标准化、评分及 证据追踪是否正确。它不是对全新 ABI 质粒算法的独立验证，也不能代表 ABI 的全部 分析类型。

5. 本地小型包不能从原始 HSP 完整重建 truth（中）

本地包保留了评分及关键连接表，但没有携带体积较大的 truth_contig_reference_pairs.tsv、truth_reference_coverage.tsv、原始 contigs_to_plsdb.tsv 和 truth FASTA。本地能够验证最终评分，却不能脱离完整云端 归档从原始 HSP 独立重建 88 条 truth。

6. 辅助字段与图表语义问题（低至中）

  • reference_hit_present 在 157 行中全部为真，实际表示存在评分记录，不表示存在 参考匹配；应改名为 scoring_row_present，或按 matched_reference_count > 0 重算。

  • 部分图仍使用 true/false-positive 作为分组名，且不同图的 TP/FP 颜色不一致。

  • 图的 provenance 中 abi_version 为 unknown，应在下一次正式归档时补齐。

建议的下一步

  1. 对 88 条 truth reference 进行近重复序列聚类，同时报告 accession-level 与 cluster-level precision/recall。

  2. 将公开图表分组统一改为 strict reference-matched/unmatched，统一颜色，并在图注 明示 paper-method reconstruction; not paper-exact。

  3. 为高证据未匹配候选补充长读长闭环、read-pair 支持、独立数据库或 PCR/培养验证。

  4. 将完整 truth 重建原始表纳入可审计归档，或生成足以本地重建的压缩中间证据。

  5. 选取非 SCAPP 原论文来源的独立数据集，评估 ABI 质粒流程的可迁移性和一般化能力。

最终判定

本地结果的计算正确性已经通过；生物学证据支持结果具有中高程度合理性。 当前最稳妥的对外表述是：

ABI 成功复现了 SCAPP paper-method reconstruction 下的严格参考一致性评估， 且参考匹配预测显著富集多类质粒生物学证据。由于论文专用去冗余参考集未公开、 accession 冗余及参考库覆盖限制，该结果不是 paper-exact 复现，参考未匹配预测 也不应直接解释为已证实的生物学假阳性。