自然·人类行为：大语言模型如何调控人类语言网络

导语这篇发表于 Nature Human Behaviour 的研究提出了一个相当前沿、也颇具冲击力的问题如果大语言模型large language models, LLMs不仅能模仿人类语言行为、预测阅读时的大脑反应那么它是否还能进一步“反过来”帮助我们设计语言刺激去有方向地增强或减弱大脑语言网络language network的活动本文给出的答案是可以而且已经在功能磁共振成像functional MRI, fMRI实验中做到了。关键词大语言模型large language models, LLMs语言网络language network功能磁共振成像functional MRI, fMRI编码模型encoding model惊异度surprisal语法良构性grammatical well-formedness可解释性plausibility闭环控制closed-loop control来源集智俱乐部作者彭晨论文题目Driving and suppressing the human language network using large language models发表时间2024年1月3日论文地址https://www.nature.com/articles/s41562-023-01783-7论文期刊Nature Human Behaviour过去几年认知神经科学中一个很重要的发现是大语言模型并不只是工程工具它们在某种程度上也成了研究人类语言加工的计算模型。尤其是像 GPT 这类单向 Transformer它们生成的内部表征居然能够较好地预测人在阅读语言时的大脑活动。问题在于以往大多数研究都停留在开环open-loop阶段也就是研究者先给受试者看一组自然句子再观察模型能否解释这些脑反应。模型是被动拟合数据的而不是主动生成刺激去验证自己。这项研究真正的突破就在于把这个思路推进到了闭环控制closed-loop control。研究者不再满足于“模型能不能预测”而是进一步追问模型能不能告诉我们什么样的句子会使得语言网络产生更高的激活水平什么样的句子又会让它相对沉寂如果模型真的能做到这一点那么它就不只是语言行为的模仿者而是成了连接语言计算与神经机制的实验工具。用 GPT2-XL 建立人脑语言网络的编码模型研究首先构建了一个面向左半球语言网络的编码模型。实验中5 名训练受试者阅读了 1,000 条经过精心筛选、具有高度语言多样性的六词句子。研究者使用 fMRI 记录这些句子在语言网络中诱发的血氧水平依赖信号blood-oxygen-level-dependent, BOLD再将这些脑反应与 GPT2-XL 的句子表征对应起来利用岭回归ridge regression训练出一个模型用来预测“任意一句话”会引起多强的语言网络活动图 1。这一步并不是简单地把句子输入模型就结束了。研究者专门比较了 GPT2-XL 不同层的表征最终选取第 22 层作为最佳特征来源因为它在交叉验证中具有最高的脑预测性能。这个编码模型在留出句子上的预测相关达到 r 0.38而该数据条件下的噪声上限noise ceiling, NC约为 r 0.56。换言之模型已经捕捉到相当大一部分真正与刺激相关的可解释神经方差。研究者还进一步测试了不同表征提取方式以及 BERT-large 等替代架构发现总体结论相当稳健。图 1. a. 开发了一个针对人类大脑左半球语言网络的编码模型M旨在识别能最大程度或最小程度激活该语言网络的新型句子。五名参与者训练参与者在快速的事件相关设计中阅读了一个大规模样本n 1000该样本是从六词语料库中提取的句子这是基准集采样以最大化语言多样性补充信息部分 1同时他们的大脑活动通过 fMRI 进行记录。在每个训练参与者的大脑网络中的各个体素上记录的血氧水平变化响应被在每个参与者之间进行平均从而得出针对这 1000 个基准集句子的平均语言网络响应。我们从双向注意力 Transformer 语言模型 GPT2-XL 的表示中训练了一个岭回归模型该模型对应于 1000 个平均的 fMRI 响应。由于 GPT2-XL 能够为任何句子生成表示所以编码模型M能够预测任意句子的左半球语言网络响应。为了给编码模型挑选出表现最佳的层对 GPT2-XL 的所有 49 个层进行了评估并选择了在针对未使用数据集句子的脑反应预测性能方面表现最优的那层。b为了评估编码模型M研究确定了一组句子能够以最大程度地激活语言网络驱动句子或以最小程度激活抑制句子。为此我们从各种大型文本语料库中获取了约 180 万句 GPT2-XL 的嵌入生成了预测的语言网络响应并对这些响应进行排序以选择那些相对于基线集预测会增加或减少脑反应的句子。最后研究在新的参与者评估参与者中采集了对这些新句子的脑反应数据。在语料中寻找“最能激活”与“最能抑制”的句子有了编码模型之后研究团队从 9 个大型文本语料库中搜集了大约 180 万条句子然后让模型为每个句子生成一个“预测脑反应值”。在此基础上他们筛选出两组新刺激250 条被预测为最能驱动语言网络的句子称为驱动句drive sentences以及 250 条被预测为最能抑制语言网络活动的句子称为抑制句suppress sentences。这里的设计非常关键。研究不是在已有的 1,000 条训练句子里做分析而是专门去寻找模型认为处在分布边缘的新句子再拿这些全新的句子去测全新的受试者。这样做的意义在于它真正考验了模型的泛化能力模型捕捉到的究竟只是训练数据中的统计模式还是某些跨个体共享的语言—神经映射规律新受试者大脑反应的泛化预测接下来3 名新的受试者参加了事件相关event-relatedfMRI 实验。研究者把 250 条驱动句、250 条抑制句与原先的 1,000 条基线句baseline sentences随机混合呈现。结果非常清楚驱动句引起的语言网络反应显著高于抑制句也显著高于基线句相反抑制句的反应显著低于基线句。按未标准化的 BOLD 信号计算驱动句比基线句高出 85.7%而抑制句比基线句低了 97.5%。这种差异在统计上极为显著。更重要的是研究者又用 4 名新受试者做了块设计blocked design实验结果仍然复现驱动句最高基线句居中抑制句最低。虽然区块设计中差异幅度略小但模式完全一致。这说明模型引导的刺激筛选并不是某种偶然的分析产物而是在不同实验范式下都能成立的稳健现象。研究者还尝试了一种更具探索性的修改法modify approach即从随机句子出发通过梯度方法直接生成可能引发高或低脑反应的新句子。结果显示这一方法能一定程度上生成“高驱动”句子但难以有效生成真正的“抑制”句子原因很可能是这些自动改写后的句子常常接近词表堆砌不在原始模型训练所覆盖的语言分布之内。这个细节恰好说明所谓“调控大脑”并不意味着随便造一些句子就可以语言刺激仍然必须保持某种可被语言系统识别的形式结构。图 2. 模型选择能够有效地驱动、抑制语言网络中的反应的句子。a. 利用编码模型来挑选那些能在功能上明确的语言网络中引发最大反应驱动型句子或最小反应抑制型句子的句子。将左半球语言网络定义为这五个分区边界内的区域这些区域在为每位参与者获取的功能定位实验中被激活激活率前 10%。b. 对于 n 3 名新评估参与者在 250 个驱动型句子、250 个抑制型句子和 1000 个基线句子的平均语言网络 fMRI 反应以事件相关、单次试验的 fMRI 方式收集。激发的 BOLD 反应在驱动状态下比基线状态下高出 85.7%而在抑制状态下则比基线状态低 97.5%。c. 对于 n 4 位评估参与者收集了 240 个驱动句、240 个抑制句和 240 个基线句从 250 个驱动句、250 个抑制句和 1000 个基线句的超集中随机抽取的平均语言网络 fMRI 反应采用阻断式 fMRI 方式。激发的 BOLD 反应在驱动状态下比基线状态高 12.9%而在抑制状态下比基线状态低 56.6%。d. 每种条件的示例句子。模型可预测单个句子的脑反应如果说前面的结果证明了模型能在条件层面区分“高驱动”和“低抑制”那么接下来研究者考察的是更细粒度的问题它能不能预测每一个具体句子的神经反应在 1,500 条句子范围内模型预测值与新受试者真实脑反应之间的相关达到 r 0.43即使只看 1,000 条自然语料中的基线句相关也有 r 0.30。进一步考虑到跨被试差异与测量噪声带来的理论上限这一成绩已经接近可达到上限的七成到八成。这意味着GPT2-XL 所学到的表征并不是某种只在训练参与者身上成立的偶然映射而是抓住了语言网络对句子加工时较稳定、跨个体共享的那部分神经规律。对认知神经科学来说这一点尤其重要因为它让我们第一次看到大语言模型可以作为“神经可操作的语言空间”来使用。图 3. 该编码模型对于来自三位新参与者的对偏离分布的句子的脑部反应仍能保持较高的预测准确性。句子级别的大脑反应随预测反应的变化情况以及相应的句子示例。预测的大脑反应来自编码模型。观察到的大脑反应是 n 3 位评估参与者语言网络反应的平均值。蓝色点代表抑制句子灰色点代表基线句子红色点代表驱动句子。抑制和驱动句子的选择分别导致低或高的大脑反应因此它们分别聚集在预测轴x 轴的低端和高端。预测的大脑反应来自编码模型x 轴。模拟的大脑反应y 轴是通过从代表经验性参与者间差异的噪声分布中采样而获得的。该图展示了在考虑到参与者间的差异以及功能性磁共振成像测量误差的情况下所能达到的最高预测性能。语言网络偏爱“意外”的语句在成功操控脑反应之后研究者进一步利用这组扩展后的句子集来问一个基础问题语言网络究竟对什么样的语言输入最敏感为此他们为 2,000 条句子整理了 11 个特征指标。其中一项来自 GPT2-XL 本身即句子概率的对数值用来刻画惊异度另外 10 项来自大规模行为评分共有 3,600 名参与者参与对句子的语法良构性grammaticality、可解释性/合理性plausibility、心理状态内容mental states、物体内容physical objects、地点内容places、情绪效价valence、唤醒度arousal、可视化程度imageability以及一般频率和对话频率进行打分。结果显示最稳定、最核心的规律之一是越“出人意料”的句子越会引发更强的语言网络活动。也就是说低概率、高惊异度surprisal的句子让大脑语言系统工作得更厉害。这和过去心理语言学与脑成像研究中关于加工难度的认识是一致的。但研究并没有止步于“惊异度越高反应越强”这样单线条的结论。更有意思的是语法良构性和语义合理性也都对脑反应有独立贡献而且呈现出一种倒 U 型关系不是越不合语法、越不合理反应就越强相反最强的反应往往出现在“中等良构、中等合理”的句子上。研究者据此提出两种同时存在的机制第一刺激需要先像“真正的语言”一样足够符合语言经验才能有效进入语言网络第二在达到这个最低门槛之后越出乎预期、越需要额外加工的句子越会进一步推高神经反应。图 5. 惊讶感以及其他一些句子特性会调节语言网络中的反应。a) 左脑语言网络反应与五类共 2000 个句子的 11 个句子属性列之间的相关性。b) 所显示的句子属性之间的相关性针对 n 2000 个句子左图或 n 1000 个句子右图。c) 句子级别的大脑反应随句子属性的变化情况。“平淡、常见、好想象”的句子更安静研究还发现那些容易想象、内容涉及具体物体和地点、被认为更常见的句子往往引起更低的语言网络反应。情绪上更积极的句子也略微对应更低的反应而唤醒度本身则没有明显独立作用。尤其值得注意的是“心理状态内容”并没有在控制惊异度之后解释更多方差这与一个经典观点相一致语言网络主要负责语言加工本身而并不等同于负责心理理论theory of mind的社会认知网络。从这个角度看语言网络似乎并不偏爱那些“画面感很强、内容很具体、人人都熟悉”的句子。相反它更容易被那些既像语言、又不那么容易一眼看穿的输入所吸引。也就是说语言系统真正“兴奋”的往往不是最简单最常见的话而是那些仍在语言经验边界之内、却又要求额外整合和预测更新的句子。结语这项工作的意义不只是又一次证明“大模型与大脑相关”。更重要的是它把神经科学、心理语言学与人工智能之间的关系推进了一步大模型不再只是“被拿来对照人脑”的对象而成为主动设计实验刺激、探索脑区功能组织的工具。研究者指出未来这样的编码模型可以作为“虚拟语言网络”virtual language network在计算机中高通量地模拟各种实验对比快速提出假设再在真实脑成像中闭环验证。对于临床应用它也可能帮助更高效地定位语言回路例如用于神经外科手术前评估。当然研究也有明确边界。首先它把左半球语言网络作为整体来研究尚未深入区分网络内部更精细的功能异质性。其次实验语言仅限英语。再次fMRI 的时间分辨率有限未来若结合颅内电生理或许可以在逐词时间尺度上更精确地追踪模型表征与神经活动的关系。如果说过去的大语言模型让我们惊讶于“机器越来越像人在说话”那么这篇文章更进一步展示了另一层意义模型所学到的语言表征已经足以成为操控人脑语言反应的实验杠杆。它并没有真正“读取思想”也没有神秘地“控制意识”但它确实证明了一件事——当模型与大脑在表征空间中足够接近时人工智能就能成为理解高阶认知系统的一把新钥匙。阅读最新前沿科技趋势报告请访问21世纪关键技术研究院的“未来知识库”未来知识库是“21世纪关键技术研究院”建立的在线知识库平台收藏的资料范围包括人工智能、脑科学、互联网、超级智能数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。截止到2月28日 ”未来知识库”精选的百部前沿科技趋势报告加入未来知识库全部资料免费阅读和下载牛津未来研究院 《将人工智能安全视为全球公共产品的影响、挑战与研究重点》麦肯锡超级智能机构赋能人们释放人工智能的全部潜力AAAI 2025 关于人工智能研究未来研究报告斯坦福2025 斯坦福新兴技术评论十项关键技术及其政策影响分析报告191 页壳牌2025 能源安全远景报告能源与人工智能57 页盖洛普 牛津幸福研究中心2025 年世界幸福报告260 页Schwab 2025 未来共生以集体社会创新破解重大社会挑战研究报告36 页IMD2024 年全球数字竞争力排名报告跨越数字鸿沟人才培养与数字法治是关键214 页DS 系列专题DeepSeek 技术溯源及前沿探索50 页 ppt联合国人居署2024 全球城市负责任人工智能评估报告利用 AI 构建以人为本的智慧城市86 页TechUK2025 全球复杂多变背景下的英国科技产业战略韧性与增长路径研究报告52 页NAVEX Global2024 年十大风险与合规趋势报告42 页《具身物理交互在机器人 - 机器人及机器人 - 人协作中的应用》122 页2025 - 2035 年人形机器人发展趋势报告 53 页Evaluate Pharma2024 年全球生物制药行业展望报告增长驱动力分析29 页【AAAI2025 教程】基础模型与具身智能体的交汇350 页 pptTracxn2025 全球飞行汽车行业市场研究报告45 页谷歌2024 人工智能短跑选手AI Sprinters捕捉新兴市场 AI 经济机遇报告39 页【斯坦福博士论文】构建类人化具身智能体从人类行为中学习《基于传感器的机器学习车辆分类》最新 170 页美国安全与新兴技术中心2025 CSET 对美国人工智能行动计划的建议18 页罗兰贝格2024 人形机器人的崛起从科幻到现实如何参与潜在变革研究报告11 页兰德公司2025 从研究到现实NHS 的研究和创新是实现十年计划的关键报告209 页康桥汇世Cambridge Associates2025 年全球经济展望报告44 页国际能源署2025 迈向核能新时代麦肯锡人工智能现状组织如何重塑自身以获取价值威立Wiley2025 全球科研人员人工智能研究报告38 页牛津经济研究院2025 TikTok 对美国就业的量化影响研究报告470 万岗位14 页国际能源署IEA能效 2024 研究报告127 页Workday 2025 发挥人类潜能人工智能AI技能革命研究报告20 页CertiKHack3D2024 年 Web3.0 安全报告28 页世界经济论坛工业制造中的前沿技术人工智能代理的崛起》报告迈向推理时代大型语言模型的长链推理研究综述波士顿咨询2025 亚太地区生成式 AI 的崛起研究报告从技术追赶者到全球领导者的跨越15 页安联Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告33 页IMT2025 具身智能Embodied AI概念、核心要素及未来进展趋势与挑战研究报告25 页IEEE2025 具身智能Embodied AI综述从模拟器到研究任务的调查分析报告15 页CCAV2025 当 AI 接管方向盘自动驾驶场景下的人机交互认知重构、变革及对策研究报告124 页《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新 132 页《面向科学发现的智能体人工智能进展、挑战与未来方向综述》全国机器人标准化技术委员会人形机器人标准化白皮书2024 版96 页美国国家科学委员会NSB2024 年研究与发展 - 美国趋势及国际比较51 页艾昆纬IQVIA2025 骨科手术机器人技术的崛起白皮书创新及未来方向17 页NPLBeauhurst2025 英国量子产业洞察报告私人和公共投资的作用25 页IEA PVPS2024 光伏系统经济与技术关键绩效指标KPI使用最佳实践指南65 页AGI 智能时代2025 让 DeepSeek 更有趣更有深度的思考研究分析报告24 页2025 军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告37 页华为2025 鸿蒙生态应用开发白皮书133 页《超级智能战略研究报告》中美技术差距分析报告 2025欧洲量子产业联盟QuIC2024 年全球量子技术专利态势分析白皮书34 页美国能源部2021 超级高铁技术Hyperloop对电网和交通能源的影响研究报告60 页罗马大学2025 超级高铁Hyperloop第五种新型交通方式 - 技术研发进展、优势及局限性研究报告72 页兰德公司2025 灾难性网络风险保险研究报告市场趋势与政策选择93 页GTI2024 先进感知技术白皮书36 页AAAI2025 人工智能研究的未来报告17 大关键议题88 页安联 Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告威达信2025 全球洪水风险研究报告现状、趋势及应对措施22 页兰德公司迈向人工智能治理研究报告2024EqualAI 峰会洞察及建议19 页哈佛商业评论2025 人工智能时代下的现代软件开发实践报告12 页德安华全球航空航天、国防及政府服务研究报告2024 年回顾及 2025 年展望27 页奥雅纳2024 塑造超级高铁Hyperloop的未来监管如何推动发展与创新研究报告28 页HSOAC2025 美国新兴技术与风险评估报告太空领域和关键基础设施24 页Dealroom2025 欧洲经济与科技创新发展态势、挑战及策略研究报告76 页《无人机辅助的天空地一体化网络学习算法技术综述》谷歌云Google Cloud2025 年 AI 商业趋势白皮书49 页《新兴技术与风险分析太空领域与关键基础设施》最新报告150 页《DeepSeek 大模型生态报告》军事人工智能行业研究报告技术奇点驱动应用加速智能化重塑现代战争形态 - 25030940 页真格基金2024 美国独角兽观察报告56 页璞跃Plug and Play2025 未来商业研究报告六大趋势分析67 页国际电工委员会IEC2025 智能水电技术与市场展望报告90 页RWS2025 智驭 AI 冲击波人机协作的未来研究报告39 页国际电工委员会IEC2025 智能水电技术与市场展望报告90 页RWS2025 智驭 AI 冲击波人机协作的未来研究报告39 页未来今日研究所 2025 年科技趋势报告第 18 版 1000 页模拟真实世界多模态生成模型的统一综述中国信息协会低空经济分会低空经济发展报告2024 - 2025117 页浙江大学2025 语言解码双生花人类经验与 AI 算法的镜像之旅42 页人形机器人行业由 “外” 到 “内” 智能革命 - 25030651 页大成2025 年全球人工智能趋势报告关键法律问题28 页北京大学2025 年 DeepSeek 原理和落地应用报告57 页欧盟委员会 人工智能与未来工作研究报告加州大学伯克利分校面向科学发现的多模态基础模型在化学、材料和生物学中的应用电子行业从柔性传感到人形机器人触觉革命 - 25022635 页RT 轨道交通2024 年中国城市轨道交通市场数据报告188 页FastMoss2024 年度 TikTok 生态发展白皮书122 页Check Point2025 年网络安全报告 - 主要威胁、新兴趋势和 CISO 建议57 页【AAAI2025 教程】评估大型语言模型挑战与方法199 页 ppt《21 世纪美国的主导地位核聚变》最新报告沃尔特基金会Volta Foundation2024 年全球电池行业年度报告518 页斯坦福2025 斯坦福新兴技术评论十项关键技术及其政策影响分析报告191 页国际科学理事会2025 为人工智能做好国家研究生态系统的准备 - 2025 年战略与进展报告英文版118 页光子盒2025 全球量子计算产业发展展望报告184 页奥纬论坛2025 塑造未来的城市研究报告全球 1500 个城市的商业吸引力指数排名124 页Future Matters2024 新兴技术与经济韧性日本未来发展路径前瞻报告17 页《人类与人工智能协作的科学与艺术》284 页博士论文《论多智能体决策的复杂性从博弈学习到部分监控》115 页《2025 年技术展望》56 页 slides大语言模型在多智能体自动驾驶系统中的应用近期进展综述【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用皮尤研究中心2024 美国民众对气候变化及应对政策的态度调研报告气候政策对美国经济影响的多元观点审视28 页空间计算行业深度发展趋势、关键技术、行业应用及相关公司深度梳理 - 25022433 页Gartner2025 网络安全中的 AI明确战略方向研究报告16 页北京大学2025 年 DeepSeek 系列报告 - 提示词工程和落地场景86 页北京大学2025 年 DeepSeek 系列报告 - DeepSeek 与 AIGC 应用99 页CIC 工信安全2024 全球人工智能立法的主要模式、各国实践及发展趋势研究报告42 页中科闻歌2025 年人工智能技术发展与应用探索报告61 页AGI 智能时代2025 年 Grok - 3 大模型技术突破与未来展望报告28 页上下滑动查看更多