最近我在整理自己的开题报告时，越来越清楚地意识到，这个题目并不是把几个热门词强行拼在一起，而是顺着真实技术需求自然长出来的。我的研究主题是“基于联邦学习的大模型 LoRA 微调投毒攻击检测方法”，乍一看有点长，但拆开后其实对应了三个非常现实的问题：大模型怎么更低成本地微调，数据不出本地时怎么协作训练，以及多人协作训练时怎么防止有人“下毒”。
先看第一个问题。大模型已经成为很多任务的基础设施，但全参数微调成本太高，对算力、显存和训练时间都有很高要求。对于学校实验室、中小企业，甚至很多边缘场景来说，全量更新并不现实。于是参数高效微调技术开始流行，其中 LoRA 因为实现简单、参数量小、效果稳定，几乎已经成了大模型落地时的默认选项。它的价值在于，不需要改动模型全部参数，只训练一小部分低秩矩阵，就能完成任务适配。
再看第二个问题。现实世界里，很多数据并不适合集中到同一个服务器上训练。医疗数据有隐私约束，金融数据有合规要求，企业数据也有天然的竞争壁垒。联邦学习的吸引力就在于“数据不出本地”，每个客户端只上传模型更新，服务器负责聚合。这让多方协作成为可能，也让模型训练更符合隐私保护和现实部署的要求。于是，“大模型 + LoRA + 联邦学习”这个组合自然出现了，它既想降低训练成本，又想兼顾隐私安全。
问题也正是从这里开始的。联邦学习虽然不传原始数据，但会传模型更新，而模型更新本身也可能被攻击。如果有恶意客户端故意上传被污染的 LoRA 更新，就会影响全局模型，轻则让精度下降，重则植入后门，让模型在特定触发条件下输出错误结果。更麻烦的是，这种攻击并不一定表现得很夸张。攻击者完全可以伪装成“正常但有点异常”的客户端，从而绕过简单的异常检测。
如果事情只到这里，其实还不算最难。真正让问题复杂起来的是联邦学习天然存在的数据异构，也就是常说的 Non-IID。不同客户端的数据分布不一样，有的偏问答，有的偏分类，有的偏写作，有的偏代码，哪怕都是良性客户端，它们上传的更新方向也会差很多。于是服务器看到的并不是一个整齐的“正常簇”，而是多个分散的正常模式。这样一来，传统依赖全局阈值、全局距离的防御方法就容易误判，把本来正常的客户端当成攻击者。
这也是我觉得这个选题值得继续做下去的原因。它不是单纯讨论“如何检测异常”，而是要回答一个更难的问题：在异构环境里，怎么区分“正常的不同”与“恶意的异常”。从这个角度看，研究重点已经不是简单做裁剪、做平均、做黑名单，而是要回到 LoRA 更新本身，去理解它的结构特征。
我目前的一个核心判断是，LoRA 更新不是普通向量，它本质上是低秩结构。既然如此，我们就不应该只看范数或均值，而应该看它在低秩子空间中的几何形态，比如奇异值分布、信息集中度、有效秩这些更接近结构本质的特征。换句话说，我希望研究的不是“数值有没有变大”，而是“结构有没有被破坏”。
从博客表达的角度来说，这个选题也很适合做成一组连续文章。因为它天然有清晰的学习路径：先理解大模型微调，再理解 LoRA，再进入联邦学习，然后讨论投毒攻击、异构数据、几何特征和检测机制。对我自己来说，这不仅是在写论文，也是一次把复杂问题讲清楚的训练。能把一个技术问题讲明白，很多时候比单纯堆术语更能说明学习深度。
所以如果让我用一句话概括这个方向，我会说：这项研究关注的不是某一种孤立攻击，而是在真实异构联邦环境下，如何让大模型的低成本微调既能跑起来，也能尽量跑得安全。后面的几篇文章，我会按这个思路，一步步把这个问题拆开讲清楚。