陈云课题组在大模型领域取得多项成果

为满足多样化的大模型服务需求，基座大语言模型通常会针对各个具体应用场景微调出多个子模型，并在部署时根据输入动态选取最合适的子模型。然而，由于模型参数量庞大，同时部署多个模型会带来巨大的资源开销，如何在性能几乎不受影响的前提下实现高效部署，已成为多模型服务场景下亟待解决的关键挑战。增量参数压缩通过对微调模型参数与预训练模型参数之间的差值进行压缩，使得部署多个模型时仅需保留一份预训练参数以及多份经压缩的增量参数，这不仅显著降低了多模型服务场景下的存储需求，还有效提升了计算效率。然而，现有方法多依赖随机稀疏化或基于奇异值分解的低秩近似，未充分考虑各参数的重要性，因此在高压缩比情况下往往导致性能大幅下滑。

图1：课题组提出的 ImPart 方法，依据增量参数奇异值大小来分配稀疏率，实现高效压缩，并可进一步扩展应用于模型量化与模型融合。

针对这一挑战，课题组提出了 ImPart——一种基于奇异值大小自适应分配稀疏率的增量参数稀疏化策略。具体而言，ImPart 首先对增量参数矩阵进行奇异值分解，提取每个奇异值及其对应的奇异向量；继而依据奇异值大小动态调整稀疏率，对重要性更高（即奇异值较大）的奇异向量施以更低的稀疏率，以最大程度保留关键任务信息。此外，ImPart 可与现有模型量化技术结合来进一步压缩增量参数，还能提升模型融合效果。

在数学推理模型 WizardMath、代码生成模型 WizardCoder 以及通用对话模型 LLaMA 等各类大语言模型上的大规模实验表明：与基线方法相比，ImPart 在各任务上达到了约 2 倍的压缩性能提升；结合量化技术后，更可在 1/32 的压缩比下实现近乎无损的推理精度；同时，在模型融合任务中也带来了可观的性能增益。上述结果充分展示了 ImPart 在跨模型、跨任务场景中的通用价值。

该研究成果以 “ImPart: Importance-Aware Delta-Sparsification for Improved Model Compression and Merging in LLMs” 为题已被ACL 2025接收为主会长文。组内2023级硕士研究生杨严(https://yannnnnny.github.io/)为论文的共同第一作者，陈云副教授为共同通讯作者。

论文链接：https://arxiv.org/pdf/2504.13237

当前，大语言模型高效微调面临核心挑战：传统LoRA方法通过冻结原有权重、引入低秩矩阵进行参数更新，虽能降低计算成本，却存在"知识干扰"风险——随机初始化的可训练参数可能破坏预训练模型的核心知识结构，导致模型性能受限。针对这一难题，陈云团队提出MiLoRA方法，首次将奇异值分解技术与低秩适配器深度融合，开辟"分治微调"新路径。该技术通过冻结权重矩阵的主奇异成分（承载核心知识），仅动态优化次要成分（包含噪声与长尾信息），实现知识保护与参数效率的双重突破。

图2：MiLoRA方法示意图。（a) MiLoRA 方法将预训练的线性权重矩阵分成两部分 (b) 在微调过程中，只更新低秩矩阵 Am 和 Bm，而冻结主矩阵

MiLoRA 通过三项关键技术实现了显著性能突破：首先，基于奇异值分解技术，将权重矩阵解耦为「知识核心区」与「动态学习区」，前者完整保留预训练知识，后者专注适配新任务；其次，采用严格数学约束，确保低秩矩阵仅在次要成分的正交空间内初始化，杜绝核心知识干扰；最后，通过参数空间再分配策略，集中优化模型未充分利用的次要成分空间，提升知识迁移效率。得益于这些创新，MiLoRA 在常识推理、数学推理、指令跟随及视觉指令跟随等任务上，相较传统方法表现出更强的泛化能力，尤其在需要继承预训练知识的复杂任务中优势明显。

该研究成果以“MiLoRA: Harnessing Minor Singular Components for Parameter-Efficient LLM Finetuning ”为题发表为NAACL 2025主会长文。组内2022级直博生汪汉卿(https://eurus-w.github.io)为论文的第一作者，陈云副教授为共同通讯作者。

论文链接：https://aclanthology.org/2025.naacl-long.248.pdf

代码链接：https://github.com/sufenlp/MiLoRA

对 LLM 实施“越狱攻击”是一类常见的红队测试手段，旨在检验模型中是否存在安全漏洞。传统方法多采用单一角色的提示扮演，而 SeqAR 则将此思路扩展为多角色协同：同时优化并组合多个“越狱角色”，并使 LLM 在一次生成中同时扮演这些角色。一方面，同时扮演多角色可进一步分散模型注意力，降低其对原有安全约束的遵循；另一方面，通过融合不同类别的“越狱角色”，SeqAR 有效扩大了“越狱”攻击场景的覆盖范围。

图3：课题组提出的 SeqAR 方法，通过自动优化多种“越狱角色”并让大模型同时扮演这些角色来实施“越狱攻击”，以此揭示 LLM 中潜在的安全漏洞。

基于将 LLM 作为优化器的方法，SeqAR 自动生成并迭代优化“越狱角色”序列。每个“越狱角色”的生成与优化流程包括：1. 利用 Meta Prompt 引导 Attacker LLM 生成一批候选“越狱角色”；2. 将这些候选角色与已有角色组合，共同对 Target LLM 进行攻击测试；3. 评估各候选角色的攻击成功率；4. 将得分最高的候选角色加入 Meta Prompt，指导下一轮候选角色的生成。重复上述步骤，最终保留攻击性能最优的角色组合。

在开源模型（如 LLaMA-2、LLaMA-3）及闭源模型（如 GPT-3.5-Turbo、GPT-4、GPT-4o、Gemini）上的大量实验结果表明，SeqAR 在各模型上的平均攻击成功率显著高于现有基线。此外，SeqAR 展现出良好的跨模型和跨数据集迁移能力；与其他攻击策略结合后也可进一步提升对部分模型的攻击成功率；并且现有防御机制难以全面抵御，这进一步凸显了此类安全漏洞的普遍性和紧迫性。

该研究成果由计算机与人工智能学院陈云副教授课题组及蚂蚁集团合作完成，并以 “SeqAR: Jailbreak LLMs with Sequential Auto-Generated Characters” 为题发表为 NAACL 2025主会长文 。组内2023级硕士研究生杨严(https://yannnnnny.github.io/)和2022级博士研究生肖泽管为论文的共同第一作者，陈云副教授和信息管理与工程学院黄海量教授为共同通讯作者。

论文链接：https://aclanthology.org/2025.naacl-long.42.pdf

代码链接：https://github.com/sufenlp/SeqAR