fMRI被发明已经30年时间,其极大地推进了人类对人脑的认知,但fMRI个体水平的研究准确度较低,泛化性较差,使得fMRI难以在临床和实际中大规模应用。
我们已发现深度神经网络(DNN)对4D的fMRI数据有很强的编码能力(Wang et al. 2020),我们组也是全球第一个利用DNN直接对4D的fMRI数据进行处理的研究组,从此打开了新世界的大门,沉迷于用fMRI数据的深度学习研究:
1. 服务于任务态fMRI的深度学习方法,着重解决以下关键问题:
a. fMRI数据维度高,但采样数少——自监督预训练使得深度模型可用于小数据集,效果不错,论文审稿中;
b. 任务态fMRI研究大多采用事件相关设计,事件间隔短,信号混叠——通过在网络深层引入transformer,进行TR级分类,已有初步结果;
c. 脑活动区域难以有金标准——通过任务标签,将分类任务变为目标区域分割任务,研究刚刚开始;
d. 现有脑机接口仅在被试内迁移,难以被试间迁移——通过深度学习方法找到被试间的脑活动共性特征。
2. fMRI数据驱动的眼动预测
这个事儿我们是全球第二家研究组,第一个做的组发了Nature Neuroscience。选择这个方向完全是兴趣出发,觉得好玩儿:一般fMRI是看脑活动信号,但我想看fMRI里的眼球结构和伪影;一般fMRI是以TR为单位处理,我以slice为单位,从而提高时间分辨率。研究也有了初步结果,能分出眨眼,长眨眼和凝视。
3. 服务于静息态fMRI的深度学习方法
fMRI研究的主流仍是静息态fMRI,但其比任务态fMRI特征复杂度更高,信噪比更低,一直让我觉得很难处理。最近的大语言模型的编码能力给了我希望,正在尝试利用大模型来编码静息态fMRI中的特征,进而研究出可以用于4D静息态fMRI的深度学习方法。
我对深度学习寄予了很高的期望,希望通过借助深度学习的强大的特征编码能力,完成fMRI的个体水平分析研究和脑活动解读,让fMRI走出实验室,可以在日常和医疗中得到广泛应用,也十分欢迎有志青年加入这个方向。