大模型与推理
研究预训练、循环深度与推理效率,让模型用更少的计算想得更深。
中国科学院自动化研究所 · 硕士在读
我是一名大模型学习者、开源贡献者、终身学习者。
我是 Mingqian Yu,中国科学院自动化研究所硕士研究生,本科毕业于东北大学(NEU, China)。研究兴趣包括 LLM Pretraining、Looped Transformer 与高效推理;喜欢把想法做成可复现的代码、数据和论文。
好的研究,既要能解释问题,也要能跑起来。
我是 Mingqian Yu,中国科学院自动化研究所的硕士研究生,本科毕业于东北大学(NEU, China)。目前的研究兴趣集中在 LLM Pretraining、Looped Transformer 与高效推理。
最近的一作工作包括 T-LoopFormer 与 ContraFM-S2O:前者研究 token 级别的弹性循环深度,让每个 token 自己决定循环多少次,并用递归级 KV Cache 加速自回归解码;后者用单步流匹配与对比学习做 SAR-to-optical 图像翻译,降低扩散模型的推理延迟。
另一条线是 SportsCom —— 一个大规模、多运动、多类别、多属性的体育解说数据集,用于评测 MLLM 对长视频叙事与战术的理解。我也在开源模型上做实践,复现和调试 VILA 系列视频语言模型。
欢迎交流论文、数据集、实习机会,或任何关于大模型预训练、推理与生成模型的想法。
研究预训练、循环深度与推理效率,让模型用更少的计算想得更深。
把流匹配、扩散模型与多模态模型用在图像翻译和视频理解上。
把数据、训练和评测串成可复现、可迭代的流程。
做研究像做产品:先把问题定义清楚,再用最小可行的实验验证,最后把过程写下来。
两篇均为一作论文,目前发表于 arXiv 预印本平台(cs.AI / cs.CV)。作者顺序与最新版本以 arXiv 页面为准。
SJTU AI Lab · 上海
PKU MIPL · 北京
YueXin Tech
中国科学院自动化研究所 / 中国科学院大学 · 北京
东北大学(NEU, China)
Let’s talk research
如果你也在做 LLM Pretraining、Looped Transformer、多模态或 Agent 方向,欢迎在 GitHub 上找我。论文、数据集、实习机会,或者只是一个还没成形的想法,都可以聊。