解析人脑对语言层级结构的神经表征
人类每时每刻都在处理序列化的信息，例如，你现在正在阅读的、由一个个字符组成的文字序列，或是你耳边正在听到的一连串声音。人脑在处理这些序列信息时，不仅加工了每一个序列单元，还会自动化地加工由这些小单元组成的大单元。以语音为例，当人脑在聆听语音时（例如，小羊吃草），这一个语音序列不仅包含了每一个字，即，小、羊、吃、草，还包含了由单字组合在一起的词组，即，小羊、吃草，最后再由词组组合形成句子。近年内，许多脑电图和脑磁图研究发现，人脑在聆听像这样的语音序列时，皮层神经活动可以同时表征这个序列中的层级结构，即，字、词、句。这些发现说明，人脑可能在按照语法知识将字组成词汇、短语和句子，再对这些高层语言结构进行理解。
但是，这个观点最近受到挑战。有些研究者认为，人脑可能并不是真的加工了这些句法规则所定义的结构，而只是简单地通过分析句子中的语义信息，从而形成对结构表征的假象。例如，在句子“小羊吃草”中，如果人脑仅仅分析每个字（即，小、羊、吃、草）的语义信息，根据经典ERP N400效应，人脑对“羊”的响应会因为“羊”和前一个字“小”的语义相关性高而降低；从而，人脑通过编码词汇短语中两个字的语义相关性而形成对短语结构的表征，而无需借助句法知识。同理，该假设也可适用在句子结构上。因此，人脑对句子结构的表征，真的反映了人脑应用句法知识将字词和短语构建成句子，还只是因为编码了句子内字词间的语义相关性？探索这个问题将为揭示人，尤其在语言领域，是如何处理层级信息结构提供关键证据。
为了解答这个问题，华东师范大学兼职教授、上海纽约大学副教授田兴指导的华东师范大学心理与认知科学学院博士生卢宇涵，通过构建基于词向量的语义响应仿真和脑磁图技术，发现大脑皮层低频神经活动主要反映了基于句法规则将字词构建成句子的过程，而不是编码字词间的语义相关性。该项题为 “Delta-band neural tracking primarily reflects rule-based chunking instead of semantic relatedness between words”的研究成果，于2022年9月19日，发表在国际神经科学领域知名期刊Cerebral Cortex上。
该工作首先构建了词序列和句子序列（图a）。词序列（paired-word sequence）由有生命词（比如“海豚”）和无生命词（比如“茶杯”）构成；句子序列（sentence sequence）由句子构成，每个句子内有一个名词和一个动词。因为词序列不含句子结构，因此人脑只会跟踪词序列中成对出现的、语义高度相关的词对（即两词均为生命词或无生命词）。而句子序列中又包含了句法定义的句子结构（即，名词加动词），所以人脑也会跟踪句法定义的句子结构。如果人脑对词序列的跟踪响应与对句子序列的跟踪响应相似，则说明人脑对句子的表征主要来源于对词的语义相关性的加工；如果差异较大，则说明语义相关性不能解释人脑对句子结构的表征。
通过进行自然语言处理计算建模和记录脑磁图数据，结果发现（图b,c），大脑皮层神经活动是可以跟踪词序列结构中的语义相关性的（左侧频谱，红色），但是该跟踪响应（红色）显著地弱于对句子结构的响应（黄色），这说明语义相关性的编码不足以解释人脑对语言层级结构的表征，而人脑跟踪句法定义的句子结构才是决定性因素。此研究进一步为人脑处理层级信息结构机制提供关键证据。
---
该论文由华东师范大学心理与认知科学学院博士生卢宇涵为第一作者，华东师范大学兼职教授、上海纽约大学副教授田兴和浙江大学研究员丁鼐为论文通讯作者。该研究得到了国家自然科学基金、上海市自然科学基金、上海市科学技术委员会“科技创新行动计划”基础研究领域项目和大学引进学科人才计划的支持。
近年来，田兴副教授课题组利用脑电、脑磁、磁共振成像、计算建模等技术，对运动感知相互联系的功能及其与语言、学习、记忆、想象等高级认知功能的关联等多个主题进行了探索，多项成果已经发表于Nature Human Behaviour，Nature Neuroscience，Current Biology, PLOS Biology等国际高水平杂志上。
论文信息：
Lu Y, Jin P, Ding N*, Tian X*. (2022). Delta-band neural tracking primarily reflects rule-based chunking instead of semantic relatedness between words. Cerebral Cortex, online published. doi: 10.1093/cercor/bhac354.
推荐阅读：
1.Lu, Y., Jin, P., Pan, X., & Ding, N*. (2022). Delta-band neural activity primarily tracks sentences instead of semantic properties of words. NeuroImage, 251, 10.1016/j.neuroimage.2022.118979.
2.Jin P, Lu Y, Ding N*. (2020). Low-frequency neural activity reflects rule-based chunking during speech listening. eLife, 9. doi:10.7554/eLife.55613
3. Ding, N.*, Melloni, L., Zhang, H. Tian, X. Poeppel, D.* (2016). Cortical tracking of hierarchical linguistic structures in connected speech. Nat Neurosci, 19. https://doi.org/10.1038/nn.4186