3 Results

下面按 3 RESULTS 的原文顺序逐段详解，重点解释每个指标的含义、表格数据的读法，以及作者如何论证 IsoRankN 优于其他方法。

---

0. 先给结论

RESULTS 的核心论点： 在五个真核 PPI 网络上，IsoRankN 在**覆盖度（coverage）和一致性（consistency）**两个维度上均优于 IsoRank、Graemlin 1K/2K 和 NetworkBLAST-M；同时 GO/KEGG 富集更显著、p 值更低；且对物种顺序不敏感——任意物种顺序都优于其他方法。

作者反复强调：因为没有 gold standard，所以用间接指标评估；这些指标是“最优预测应该具备的性质”，而非直接正确率。

---

1. 实验数据集（Experimental datasets）

原文要点

• 五个真核 PPI 网络：人（Homo sapiens）、鼠（Mus musculus）、蝇（Drosophila melanogaster）、线虫（Caenorhabditis elegans）、酵母（Saccharomyces cerevisiae）。
• 输入两类数据：
  1. PPI 网络：整合 DIP、BioGRID、HPRD 三个数据库；
  2. 序列相似性分数：Ensembl 的 BLAST bit-score。
• 规模：五个网络共 87,737 个蛋白，98,945 条已知相互作用。
• 参数设置：$\alpha = 0.6$，$\beta = 0.01$；物种顺序：人、鼠、蝇、线虫、酵母。

理解

这里有两个值得注意的点：

1. 数据来源整合：DIP、BioGRID、HPRD 是当时三大 PPI 数据库，整合可增加覆盖，但也引入异质性和噪声。这正好呼应 Introduction 中“网络不完整、不准确”的动机。
2. 参数固定：$\alpha=0.6$ 表示拓扑占 60%、序列占 40%；$\beta=0.01$ 是星定义的相对阈值。作者没有在训练集上调参，而是直接设定，体现“不需要训练”的特点。
3. 物种顺序：人类排第一，作为 star spread 的中心物种。这个顺序不是随意的，后文 Ordering 部分会讨论。

---

2. 评估维度：Coverage 与 Consistency

原文定义

Coverage is the set of genes for which our algorithm makes nontrivial predictions. It is thus a proxy for sensitivity; a higher coverage would be desirable in that it suggests our algorithm can explain a larger amount of data.

Consistency measures the functional uniformity of genes in each cluster. The intuition here is that each cluster should correspond to a set of genes with the same function; higher consistency is better. This measure serves as a proxy for the specificity of our method.

理解

维度	含义	代理	期望方向
Coverage 覆盖度	算法能为多少基因做出非平凡预测	灵敏度（sensitivity）	越高越好
Consistency 一致性	同一簇内基因功能是否统一	特异性（specificity）	越高越好（熵越低）

为什么用这两个维度？

• 没有 gold standard：不知道“正确对齐”长什么样，无法直接算准确率/召回率。
• 因此退而求其次：一个“好”的全局对齐应该覆盖尽可能多的蛋白（否则没解释多少数据），同时每个簇内功能一致（否则对齐没有生物学意义）。
• 这两个维度可能相互制约：把所有蛋白塞进一个大簇，覆盖度高但一致性差；只输出高度保守的小簇，一致性高但覆盖度低。理想方法应同时兼顾。

As local alignment may have ambiguous, inconsistent or overlapping clusters, we primarily compare IsoRankN to IsoRank and Gramlin 2.0. We also compare to local aligners (such as NetworkBLAST- M), however, these will have lower coverage as they only consider conserved modules.

理解： 局部对齐方法（NetworkBLAST-M）天然覆盖度低，因为它们只找保守模块，不试图覆盖所有蛋白。所以主要公平对比对象是全局方法：IsoRank、Graemlin 2.0。

---

3. 3.1 Functional assignment（功能分配）

3.1.1 Graemlin 的训练设置

Gramlin 2.0 requires a training set to learn the parameters of its scoring function. As in Flannick et al. (2008), we train Gramlin 2.0 on training sets of multiple sizes. The versions of Gramlin 2.0 trained on 1000 and 2000 KEGG clusters are denoted Gramlin $_{1K}$ and Gramlin $_{2K}$, respectively. We additionally attempted to train Gramlin 2.0 on 4000 clusters, but have not included the data, as it showed strong evidence of over- fitting.

理解：

• Graemlin 2.0 是监督学习式全局对齐：需要已知对齐/KEGG 簇作为训练集学习打分函数参数。
• 作者训练了两个版本：1000 个 KEGG 簇（$_{1K}$）和 2000 个 KEGG 簇（$_{2K}$）。
• 尝试 4000 簇时明显过拟合，所以不报告。
• 这为后文对比埋下伏笔：Graemlin 需要训练，IsoRankN 不需要；且 Graemlin 的性能依赖训练集大小。

---

3.1.2 Consistency：熵指标（Table 1）

熵的定义

原文公式 (3)：

$$H(S_Y^k) = H(p_1, p_2, \dots, p_d) = -\sum_{i=1}^d p_i \log p_i$$

其中 $p_i$ 是簇 $S_Y^k$ 中具有 GO 或 KEGG 组 ID $i$ 的蛋白比例。

归一化熵：

$$\hat{H}(S_Y^k) = \frac{1}{\log d} H(S_Y^k)$$

符号解释：

• $S_Y^k$：某个预测簇；
• $d$：该簇中出现的不同 GO/KEGG 组 ID 数量；
• $p_i$：簇内属于第 $i$ 个功能组的蛋白比例；
• $H$：香农熵，衡量功能注释的混乱程度；
• $\hat{H}$：除以 $\log d$ 归一化到 $[0,1]$，使不同簇大小/类别数可比。

直观：

• 如果簇内所有蛋白同一个 GO/KEGG ID：$p_i=1$，其余为 0，熵 $H=0$，最一致。
• 如果簇内功能均匀分散：熵最大。
• 因此熵越低，簇内功能一致性越高。

While a cluster with one element would have entropy 0, this is to be expected, as such a cluster is perfectly consistent with itself.

注意： 单元素簇熵为 0，是“平凡一致”。所以只看熵可能被小簇拉低；因此还需要看 exact cluster ratio 和 coverage。

For the purpose of this measure, proteins without a GO or KEGG group ID were withheld.

理解： 计算熵时只保留有 GO/KEGG 注释的蛋白；无注释蛋白不参与，避免“未知”被当成一个功能类。

---

Table 1 数据解读

指标	IsoRankN	IsoRank	Gramlin1K	Gramlin2K	NetworkBLAST-M
Mean entropy	0.274	0.685	0.857	0.552	0.907
Mean normalized entropy	0.179	0.359	0.451	0.357	0.554
Exact cluster ratio	0.380 (3079/8095)	0.253 (2166/8539)	0.306 (843/2754)	0.355 (1135/3198)	0.291 (441/1518)
Exact protein ratio	0.261 (9284/35604)	0.165 (6408/38706)	0.159 (2393/15047)	0.248 (2906/11729)	0.142 (1150/8092)

逐项理解：

1. Mean entropy：IsoRankN 0.274 最低，说明平均簇内功能注释最一致。NetworkBLAST-M 0.907 最高，因为局部对齐簇可能功能混杂。
2. Mean normalized entropy：IsoRankN 0.179 最低，排除簇大小影响后仍最优。
3. Exact cluster ratio：IsoRankN 0.380，即 38% 的预测簇中所有蛋白共享同一 GO/KEGG ID。Graemlin2K 0.355 接近，但仍低于 IsoRankN。注意 IsoRankN 的簇总数 8095，比 IsoRank 的 8539 少，但 exact 簇绝对数 3079 多于 IsoRank 的 2166。
4. Exact protein ratio：IsoRankN 0.261，即 26.1% 的蛋白位于 exact 簇中。Graemlin2K 0.248 次之。IsoRank 虽然覆盖蛋白多（38706），但 exact 蛋白比例低（0.165），说明其簇功能混杂。

关键结论： IsoRankN 不仅熵最低，而且 exact 簇比例和 exact 蛋白比例都最高，说明其一致性优势不是靠小簇“作弊”得来的。

We note that only $60 - 70\%$ of the proteins in any of the aligned networks have an assigned GO or KEGG ID, comparable to the fraction of all known proteins included in GO or KEGG. Additionally, the relative performance under either consistency measure does not change when restricted to GO or KEGG individually.

理解：

• 只有 60–70% 的蛋白有 GO/KEGG 注释，所以一致性计算只覆盖这部分；这是数据限制，不是方法问题。
• 单独用 GO 或单独用 KEGG 计算，IsoRankN 仍然最优，说明结论稳健，不是某个数据库的偏差。

---

3.1.3 Coverage：簇数量与蛋白数量（Table 2）

原文逻辑

We first measure coverage by the number of clusters containing proteins from $k$ species. We find that for $k \geq 3$, IsoRankN predicts more clusters with more proteins (Table 2) than other methods.

理解： 覆盖度按“簇包含来自多少个物种的蛋白”分层统计。$k$ 越大，说明跨物种保守性越强、越可能是真正的多网络同源。

Table 2 数据解读

k	IsoRankN	IsoRank	Gramlin1K	Gramlin2K
1	—/—	155/402	1418/4001	1521/2910
2	3844/8739	6499/20580	1354/4650	2034/5899
3	4022/13533	3036/13391	947/5414	1116/5072
4	2926/13991	2446/15422	529/5371	310/2067
5	2056/12175	773/9744	58/1467	11/78
Total	12,848/48,978	12,909/59,539	4,306/20,903	4,992/16,026

格式：簇数 / 蛋白数。

逐行理解：

• k=1：IsoRankN 为 —/—，因为 star spread 的簇至少含两个物种。IsoRank 有 155 个单物种簇/402 蛋白；Graemlin 有大量单物种簇。单物种簇不算跨物种对齐，IsoRankN 不产生这类簇是设计使然。
• k=2：IsoRank 覆盖更高（6499 簇/20580 蛋白 vs IsoRankN 3844/8739）。原文解释：IsoRankN 有严格的边纳入阈值（$\beta=0.01$），所以成对对齐覆盖较低。
• k=3：IsoRankN 4022 簇/13533 蛋白，簇数和蛋白数都最多（蛋白数略高于 IsoRank 的 13391）。这是多网络对齐的关键场景。
• k=4：IsoRankN 2926 簇/13991 蛋白，簇数最多；蛋白数略低于 IsoRank 的 15422，但远高于 Graemlin。
• k=5：IsoRankN 2056 簇/12175 蛋白，远超 IsoRank 的 773/9744 和 Graemlin 的 58/1467、11/78。五物种全对齐是最难、最有生物学意义的场景，IsoRankN 优势最大。
• Total：IsoRankN 12,848 簇/48,978 蛋白；IsoRank 12,909 簇/59,539 蛋白。总簇数相近，但 IsoRank 蛋白更多，主要因为 k=2 和 k=1 贡献大；IsoRankN 在 k≥3 的多对齐场景更优。

关键结论：

For $k \geq 3$, IsoRankN predicts more clusters with more proteins than other methods. Thus, as it has higher consistency, it is likely that IsoRankN is detecting more distant multiple network homology.

理解： 对 $k \geq 3$，IsoRankN 不仅簇多、蛋白多，而且一致性更高。这说明它不是靠降低质量来换覆盖，而是真的检测到更多远距离多网络同源。

Of the 87,737 total proteins, IsoRankN is able to find network homologs for 48,978 (55.8%), more than any technique but IsoRank.

理解： IsoRankN 覆盖 55.8% 的蛋白，仅次于 IsoRank（59,539/87,737 ≈ 67.9%），但 IsoRank 的一致性差很多。IsoRankN 在覆盖度和一致性之间取得更好平衡。

Note that as a result of the star spread approach, all clusters obtained by IsoRankN contain at least two species. Thus IsoRankN does not find paralogs within a species without there existing at least one homolog in another species.

理解： IsoRankN 不找“纯物种内旁系同源”，必须有跨物种同源才形成簇。这是 k 部图 + star spread 的设计限制，也是 k=1 行为 — 的原因。

---

3.1.4 GO/KEGG 富集（Table 3）

原文逻辑

We further measure as in Kalaev et al. (2008) coverage by the enrichment of predicted groups with respect to known ontology as derived from GO and KEGG. We find that IsoRankN enriches more GO and KEGG categories in every species, with a lower overall $p$-value [computed by GO TermFinder Boyle et al. (2004)], than any other technique (Table 3).

理解： 富集分析检验：预测簇中的蛋白是否显著集中在某些 GO/KEGG 功能类别上。如果对齐有生物学意义，簇内蛋白应富集真实功能类别。用 GO TermFinder 计算 p 值，p 值越低越显著。

Table 3 数据解读

Species	IsoRankN	IsoRank	Gramlin1K	Gramlin2K	NB-M
Total	712/2490	537/1760	296/772	432/1010	107/261
p-value	1.28e-90	1.31e-68	5.47e-38	6.87e-54	2.19e-14
Human	632/2200	478/1551	194/545	272/811	66/182
Mouse	605/2124	383/1371	191/538	268/794	65/178
Fly	574/1787	398/924	208/533	261/771	41/135
Worm	552/1698	376/901	104/257	140/389	32/124
Yeast	368/938	257/554	208/486	137/316	45/136

格式：富集的 GO/KEGG 类别数 / 参与检验的蛋白数（原文未明说分母，但通常是参与富集检验的蛋白或类别总数；关键是分子和 p 值）。

逐项理解：

• Total：IsoRankN 富集 712 个类别（2490 个蛋白参与），IsoRank 537，Graemlin2K 432，Graemlin1K 296，NB-M 107。IsoRankN 最多。
• p-value：IsoRankN $1.28 \times 10^{-90}$，远低于其他方法。说明其富集不是偶然，整体显著性最强。
• 分物种：人、鼠、蝇、线虫、酵母五个物种中，IsoRankN 的富集类别数都是最高（加粗）。尤其酵母：IsoRankN 368，Graemlin1K 208，IsoRank 257。酵母注释最全，但 IsoRankN 仍最优。

We remark that this excludes those proteins tagged IEA (inferred from electronic annotation).

理解： IEA 注释是电子推断的，不是实验验证的，可能引入偏差；排除 IEA 使富集分析更严格、更可信。

关键结论： GO/KEGG 富集从生物学功能角度支持 IsoRankN 的簇质量更高——不仅统计上一致（熵低），而且富集到真实功能类别更多、更显著。

---

4. Ordering：物种顺序敏感性（Fig. 2）

原文要点

While we chose a particular order of genomes in the multiple alignment to report our general results, we also include results on different orderings of genomes and demonstrate that any ordering outperforms other methods (Fig. 2). The particular order of genomes used above was chosen to have the minimum mean normalized entropy.

While it may appear that yeast, as the best annotated network, should be the first network chosen in the star spread, it is sufficiently dissimilar to the other species as to cause inaccurate network alignments on such a small set of species.

Fig. 2 解读

Fig. 2 有三个子图：

• (a) Mean normalized entropy vs. 第一个中心物种：横轴是 star spread 中排第一的物种（人、鼠、蝇、线虫、酵母），纵轴是平均归一化熵。每个点代表一种 5 物种排列（共 $5! = 120$ 种）。
• (b) Number of clusters vs. 第一个中心物种：纵轴是簇数量。
• (c) 熵 vs. 簇数量：横轴平均归一化熵，纵轴簇数量，展示覆盖度与一致性的权衡。

关键观察：

1. 人/鼠排第一时熵最低（约 0.179–0.18），蝇/线虫/酵母排第一时熵较高（0.19–0.22）。所以作者选人排第一，是为了最小化平均归一化熵。
2. 酵母排第一时熵并不最低，尽管酵母注释最好。原文解释：酵母与其他物种差异太大，作为 star spread 起点会导致不准确对齐。这说明“注释质量最好”不等于“最适合当中心”。
3. 所有 120 种排列的熵都低于其他方法：Fig. 2(a) 中所有点都在 0.18–0.22 之间，而 Table 1 中 IsoRank 0.359、Graemlin2K 0.357、NB-M 0.554。所以“任意顺序都优于其他方法”成立。
4. Fig. 2(c) 展示权衡：簇数量与熵正相关——簇越多，平均熵略高。说明覆盖度和一致性存在 trade-off，但 IsoRankN 在所有排列下都处于较优区域。

理解： 这一节回应审稿人可能的质疑：“你的结果是不是靠精心挑选物种顺序得来的？”作者用 120 种排列证明结论稳健，且所选顺序有明确依据（最小熵）。

---

5. Running time（运行时间）

原文数据

Given the weighted similarity graph, the star spread component of IsoRankN (Section 2.5, steps 2-5) took under 5 min for the five eukaryotic networks above. The computation of the graph, given by the original IsoRank (Section 2.5, step 1), took $\sim 7$ h on a single processor, though can be easily 10- way parallelized.

All computations were run on a 64 bit 2.4 GHz Linux system with 2GB RAM.

理解

阶段	耗时	说明
Step 1：原版 IsoRank 成对打分	~7 小时（单处理器）	可 10 路并行化，实际可降到 ~42 分钟
Steps 2–5：star spread + 合并	< 5 分钟	非常快

关键点：

• 主要计算瓶颈在成对 IsoRank，但它是可并行的（每对网络独立）。
• 一旦功能相似图构建完成，IsoRankN 的核心创新（star spread + 谱划分）极快，$<5$ 分钟。
• 对比原版 IsoRank 的多对齐贪心阶段，IsoRankN 的谱划分方法显著更高效。
• 机器配置普通（2.4 GHz，2GB RAM），说明方法不依赖特殊硬件。

---

6. RESULTS 整体逻辑链与结论

数据集：5 个真核 PPI 网络，87,737 蛋白，98,945 相互作用
    ↓
评估维度：Coverage（灵敏度代理）+ Consistency（特异性代理）
    ↓
Table 1：一致性——IsoRankN 熵最低、exact 簇比例最高
    ↓
Table 2：覆盖度——k≥3 时 IsoRankN 簇最多、蛋白最多；总覆盖 55.8%
    ↓
Table 3：GO/KEGG 富集——IsoRankN 富集类别最多、p 值最低
    ↓
Fig. 2：物种顺序敏感性——120 种排列均优于其他方法；人选第一因熵最低
    ↓
Running time：star spread <5 min；成对 IsoRank ~7h 可并行
    ↓
结论：IsoRankN 在覆盖度和一致性上均优，且高效、无需训练、不依赖系统发育

---

7. 如何批判性看待 RESULTS

作为读者，可以注意以下几点：

1. 没有 gold standard：所有指标都是间接代理，不能直接证明对齐“正确”。作者自己也承认这一点。
2. 熵指标可能偏向小簇：单元素簇熵为 0，但作者用 exact cluster ratio 和 coverage 补充，缓解了这个问题。
3. Graemlin 训练集可能不利：Graemlin 只用 1000/2000 KEGG 簇训练，4000 过拟合；IsoRankN 无需训练。公平性上，Graemlin 可能未调至最优，但这是方法特性差异。
4. k=2 时 IsoRank 覆盖更高：IsoRankN 在成对对齐上并不占优，优势主要在 $k \geq 3$ 的多对齐。作者诚实报告了这一点。
5. 物种顺序影响存在但不大：120 种排列的熵范围 0.18–0.22，相对其他方法 0.35–0.55 仍明显更优。
6. 运行时间：7 小时成对打分虽可并行，但仍是实际部署的瓶颈；star spread 本身很快。

---

8. 一句话总结 RESULTS

IsoRankN 在五个真核 PPI 网络上，以熵和 exact 簇比例为一致性指标、以分物种簇数量和 GO/KEGG 富集为覆盖度/生物学相关性指标，全面优于 IsoRank、Graemlin 1K/2K 和 NetworkBLAST-M；优势在 $k \geq 3$ 的多网络对齐中最明显；结果对 120 种物种顺序稳健；star spread 阶段 $<5$ 分钟，主要开销在可并行的成对 IsoRank 打分。

如果你愿意，下一步我们可以继续精读 4 CONCLUSION 和 Box 1（原版 IsoRank 算法），或者回头把 2.3 的 Personalized PageRank 数学细节再展开讲透。