研途思享｜王千乐——从实验室到字节跳动，顶会论文助我拿下大模型offer

毕业去向：字节跳动 大模型算法工程师

科研成果：

CherryQ：以第一作者身份被国际机器学习顶级会议 NeurIPS 录用

Ada-Instruct：以学生一作身份被国际自然语言处理顶级会议EMNLP录用

你的研究方向是什么？

我的论文聚焦解决大语言模型（LLMs）因参数量级庞大导致的高内存与计算成本问题，具体而言是如何精准识别关键参数，并构建理论完备的混合精度量化框架，实现低精度下的无损压缩？

为什么选择这个题目？

初遇大模型时，实验室单卡GPU（24GB显存）无法运行LLaMA2-13B模型（需26GB），而量化技术可将其显存降至13GB，这激发了我的探索欲。后续研究发现，混合精度量化虽能进一步压缩（如7GB），但低精度下性能骤降。这引出了我的思考：参数是否具有异质性？能否通过差异化保护关键参数提升效果？ 实际需求与科学好奇共同驱动了本研究。

在你的研究过程中，

印象最深的事情是什么？

最难忘的是发现“损失突增”（loss spike）现象。早期尝试顺序量化方案时，损失曲线总在特定步骤后异常陡升。多次实验验证后，我们意识到这指向某些参数对量化极度敏感——它们正是被忽视的“关键参数”。这一发现成为转折点：我们迅速将其提炼为科学问题（参数异质性），并基于此构建混合精度框架。后续仅用两个月便完成理论推导、实验验证及论文撰写。

我至今还记得发现这个问题时的“轻舟已过万重山”的感觉，也认识到真正有价值的研究需要时间沉淀，大多数精力往往会投入到试错之中。扎实的研究从不是投机取巧的短跑，而是要耐住性子打磨，前期的每一次探索，都是在为正确的道路清除障碍。

崔老师的指导风格是怎样的？

崔老师在整个研究过程中给予我莫大的支持与帮助。最让我佩服的是他对直击领域的“真问题”很有洞见，总能精准抓住研究领域的核心问题。当我发现loss spike现象却无法提炼科学问题时，他精准锁定“参数异质性”这一核心，为研究指明方向；从文献阅读、实验设计到论文撰写，手把手指导，甚至图表坐标标注都严格把关，培养我的科研规范性；崔老师虽治学严谨但人格温暖，常分享“每日坚果”，主动关心学生生活困境。他的支持让我在高压科研中始终保持动力。

与导师崔万云的毕业照合影

你拿到了字节跳动的大模型offer，

有没有什么经验分享？

我建议同学们首先打牢知识根基，夯实专业基础，尽可能专注于长期的、扎实的研究，而非短期的、简单的工作。举个例子，比如说你搞多模态调研，要识别复杂文档内容。原来是用一些传统的计算机视觉方法，现在改用多模态大模型，那么让你调研的就是现在多模态大模型解决不好的一些问题，带着具体的问题去调研论文，把解决的方法一条一条列出来，这才是解决问题的一般方法。这也是校招算法岗会看重论文的原因，因为能发表论文，证明你有发现问题、解决问题，把解决问题的过程包装好的能力，这些能力工作中都能用到。等你手握能证明自身“发现问题、解决问题”的论文和项目的时候，一份高质量的实习自然就水到渠成了。

对即将进入研究生生涯的学弟学妹们有什么要说的？

最后想说的是，选择研究问题时，不妨问自己：它是否直击领域的 “真问题”？是否有潜力推动理论或技术的边界？是否能为实际应用创造价值？愿大家少一些急功近利，多一些深耕细作，在学术道路上，既能仰望星空，更能脚踏实地！

计算机与人工智能学院SCALE Lab （SUFE Cognitive AI & Language Exploration Lab）由崔万云副教授负责，专注大语言模型（LLM）的基础研究与场景落地。实验室以“探索智能上界”为愿景，围绕三大方向开展工作：

1. Complex Reasoning——借助强化学习等方法提升 LLM 复杂推理能力；

2. Efficient Inference——针对长上下文和模型量化优化推理效率；

3. Domain LLMs——以自研中文对话模型 FinChat 为核心，打造自动财务分析、研报生成与检索增强问答等金融、教育应用。

SCALE Lab 已在 NeurIPS、ICLR、ACL 等顶会发表论文二十余篇，培养多位学生进入字节跳动、阿里巴巴、蚂蚁金服等企业工作。

编审 ｜ 王晓 余未希