当我继续往下读联邦 LoRA 安全相关论文时，一个问题越来越明显：如果我们观察对象本身就是低秩矩阵更新，那么只用范数、平均值和普通距离去描述它，信息损失其实非常大。LoRA 的本质不是“更新得多不多”，而是“更新主要集中在哪些方向上”。这也是我开始认真关注低秩几何特征的原因。
LoRA 更新可以理解为一种结构化的参数变化。它不是随机地在每个维度上都动一下，而是倾向于在较低维的子空间内完成任务适配。既然如此，一个更自然的问题就是：这次更新的信息到底有多集中？它主要依赖少数主方向，还是能量被分散到了很多方向？这个时候，奇异值分解就提供了一个很好的观察窗口。
通过奇异值分解，我们可以把一个更新矩阵拆成多个“方向 + 强度”的组合。每个奇异值都可以理解为某个方向上的信息能量。如果一个正常客户端的更新主要围绕少数核心方向展开，那么奇异值分布通常会更集中；如果某个恶意更新是人为注入的随机扰动或结构破坏，它就可能让能量分布变得更分散，或者在不该活跃的方向上突然出现异常成分。
顺着这个思路，我觉得有两个特征特别值得关注。第一个是奇异值熵。它可以粗略理解为“信息分布的离散程度”。熵高，说明能量分散在多个方向上；熵低，说明能量集中在少数主方向。第二个是有效秩，它更像是在问：这个更新矩阵到底真正用了多少个有效维度。对于低秩适配来说，这两个量都比简单的参数范数更接近结构本质。
我之所以喜欢这条思路，还有一个原因：它更有机会把“正常异构”和“恶意破坏”区分开。正常异构往往会导致更新方向不同，但未必会系统性破坏矩阵的内部结构；而恶意投毒尤其是后门类攻击，往往会在结构层面留下痕迹。也就是说，数值表面上可以伪装，结构特征未必那么容易完全伪装。
当然，这并不意味着几何特征天然完美。它们也会受到任务差异、数据规模、训练轮数等因素影响，所以不能指望只凭一个指标就完成判断。更合理的做法是，把奇异值熵、有效秩以及其他可能有效的低秩特征组合起来，形成一个更稳定的“几何指纹”。之后再通过统计或聚类方法，在更高层面做判别。
为了让我自己更容易记住这套思路，我把它概括成下面这个流程：
客户端上传 LoRA 参数
|
v
重构或表示更新矩阵 ΔW
|
v
对 ΔW 做奇异值分解（SVD）
|
v
得到奇异值谱
|
+------> 计算奇异值熵：看信息是否过于分散
|
+------> 计算有效秩：看真正活跃的维度有多少
|
v
形成低秩几何特征向量
|
v
送入后续检测或聚类模块
这张流程图背后其实表达了一个很朴素的研究判断：在 LoRA 场景里，安全检测不该只盯着“结果数值”，而应该深入到“更新结构”本身。因为 LoRA 的优势来自低秩结构，那么攻击也很可能藏在低秩结构里。只要我们还停留在传统高维向量视角，就很可能错过最关键的信息。
从写博客的角度，我也很喜欢这类内容，因为它既能体现研究深度，又不至于陷入公式堆砌。面试官或者读者不一定需要马上看懂全部数学细节，但只要能理解“为什么从结构而不是从表面数值观察问题”，这篇文章的核心就传达到了。我觉得这也是技术表达里很重要的一点：不是把复杂概念说得更复杂，而是把方法背后的判断路径讲清楚。
下一步自然就是一个问题：即便我们拿到了这些更有结构感的几何特征，能不能直接在全局范围内判断异常？答案大概率是否定的。因为 Non-IID 仍然会让正常客户端形成多个模式，所以还需要一层更聪明的处理，也就是我下一篇想写的“自适应分群 + 簇内鲁棒检测”。