2022年11月11日下午，由华东师范大学（上海）智能教育研究院、华东师范大学智能教育实验室、国家智能社会治理实验基地教育特色基地（华东师范大学）主办的“自然语言处理鲁棒性问题发现与检测”线上讲座顺利举办。本次活动邀请到复旦大学复旦大学自然语言处理实验室副研究员、硕士生导师桂韬老师，近60位师生在线参加本次活动。
深度神经网络在几乎全部自然语言处理任务中都取得了非常好的效果，在包括阅读理解在内很多任务的标准评测集合上达到了超越人类的准确性。然而，我们在实际应用中却发现，在真实场景中很多模型的效果大打折扣，所获得精度甚至远远低于传统机器学习方法。近年来的很多研究也表明，深度神经网络模型在仅仅添加了很小的扰动的样本上，其预测效果也很可能出现大幅度下降。模型鲁棒性的研究也因此受到越来越多的关注。桂韬老师围绕这个主题给我们带来一场非常精彩的报告。
在讲座中，桂韬老师从自然语言处理的发展脉络讲起，引出当前算法在实际应用中存在的问题以及可能会引发的风险，并做出了生动且详细的分析。让计算机背景、教育学背景、心理学等背景的同学对此都有了深刻的了解，让我们认识到为什么要关注算法的鲁棒性问题。
随后，桂韬老师从数据层面对自然语言处理的鲁棒性进行分析，以具体案例形象展开引出问题，以具体的论文讲解相应解决方案。从细粒度测评、对抗攻击两方面来具体展开自然语言处理的鲁棒性检测方面的内容，其中讲解了多种模型鲁棒性测评的方法，让学生们大受启发。
最后，桂老师讲解了所在团队研制的自然语言处理鲁棒性分析工具集TextFlint。从功能方面、技术方面以及应用方面都进行了详细的介绍。该平台涵盖12项NLP任务，囊括80余种数据变形方法，花费超2万GPU 小时，进行了6.7万余次实验，验证约100种模型，选取约10万条变形后数据进行了语言合理性和语法正确性人工评测，为模型鲁棒性评测及提升提供了一站式解决方案。
在最后的答疑环节中，同学们与桂韬老师进行热烈的讨论。此次精彩的报告，让来自多个学科的同学对NLP鲁棒性问题有了不同程度的理解，为日后科研工作提供了新的思路。
来源|国家智能社会治理实验基地教育特色基地（华东师范大学）