研究方向
当前位置:
中文主页
>>研究方向
大语言模型(LLMs)方法及应用
大模型知道什么还不知道什么,有哪些能力是大模型才能习得而小模型无法学到的? 2022年Google发表文章探讨大模型的涌现现象,点明很多能力是模型规模增大以后神奇出现的 [1]。那么大模型里究竟还藏着什么样的惊喜,这个问题尚待我们挖掘。
随着模型规模不断增大(Scaling)的过程,如何掌握训练大模型的规律 [2],其中包含众多问题,例如数据如何准备和组合,如何寻找最优训练配置,如何预知下游任务的性能,等等 [3]。这些是 How 的问题。
这方面已经有很多非常重要的研究理论[4,5,6],包括过参数化等理论,但终极理论框架的面纱仍然没有被揭开。
面向 What、How 和 Why 等方面的问题,大模型有非常多值得探索的理论问题,等待大家的探索。