如果说投毒攻击让我开始认真思考联邦学习的安全问题，那么 Non-IID 则让我真正理解了“为什么这个问题这么难”。刚接触联邦学习时，我对 Non-IID 的理解比较浅，只知道它指的是客户端数据分布不一致。后来在看更多论文和实验设置后，我逐渐意识到，这不是一个简单的数据标签，而是几乎会影响训练过程中的每一个判断。
先举一个很直观的例子。假设一个联邦系统里有多个客户端，其中一部分主要处理问答数据，一部分主要处理情感分类，还有一部分处理代码生成。即使它们都是完全正常、完全没有恶意的客户端，它们训练后上传的更新方向、幅度和分布也可能明显不同。因为它们优化的目标不一样，局部梯度自然也不会长得一样。
这件事对检测系统影响非常大。很多传统防御方法默认一个前提：大多数正常更新会围绕某个全局中心分布，恶意更新则偏离得更远。如果这个前提成立，那么只要计算距离、范数或相似度，就能较容易地识别异常。但在 Non-IID 场景里，良性更新本身就可能形成多个“正常簇”。这时如果还用一个统一的全局阈值，就会产生两个问题。
第一个问题是误杀。某些正常客户端因为数据分布特殊，天然离全局中心更远，于是会被误判为恶意。第二个问题是漏检。如果把阈值放宽，试图包容这些分散的正常更新，那么真正的恶意更新又可能借机躲在簇边缘，不容易被识别出来。换句话说，全局阈值在异构环境里很难兼顾精度和鲁棒性。
我觉得 Non-IID 最容易被低估的地方，是它并不是“噪声”，而是一种有结构的差异。不同客户端的更新不是随机发散，而是带着任务类型、数据语义和样本分布所塑造的规律。这就意味着，我们不能简单地把所有偏离中心的点都视为危险信号，而是要先理解这些偏离到底来自哪一类正常模式。
放到 LoRA 场景里，这个问题会更有意思。LoRA 更新本身是低秩的、结构化的，因此不同任务对应的更新不只是数值不同，而是可能在低秩子空间里呈现出不同的几何形态。比如有些任务的更新信息可能更集中于少数主成分，有些任务则更分散。如果检测系统不去理解这种结构差异，就很容易把“任务差异”当成“安全异常”。
也正因为如此，我越来越认同一个思路：在异构联邦场景下，检测不应该一上来就做全局判决，而应该先做“模式分离”。也就是先看看这些客户端是否本来就属于不同的正常群体，再在各自更相似的小群体内部做异常检测。只有这样，检测标准才可能和真实分布贴得更近。
从直觉上说，这有点像在一个大班级里找异常。如果全班同学都按一个标准衡量，很容易误伤那些原本风格就不同的人；但如果先按学习方向、兴趣领域或任务类型分组，再在组内比较，判断通常会更公平。联邦学习里的自适应分群，本质上也是类似想法，只不过处理对象变成了模型更新特征。
我现在回头看，Non-IID 之所以关键，不是因为它让问题“更复杂”这么简单，而是它迫使我们重新设计检测思路。过去很多方法追求的是全局一致性，但在真实联邦环境里，真正存在的往往是“局部一致、全局分散”。如果看不到这一层结构，就很难做出既准确又稳定的安全判断。
所以在我自己的研究路线里，Non-IID 不是一个需要绕开的麻烦前提，而是整个方法设计必须正面回应的现实条件。后面两篇文章，我会分别讲两个核心点：第一，为什么我会从低秩几何特征入手观察 LoRA 更新；第二，为什么“先分群、再检测”可能比单纯做全局异常评分更适合这个问题。