时 间：2025年12月1日（周一）13:00-15:00
讲座名称：Multimodal LLMs as Social MediaAnalysis Engines
地 点：普陀校区理科大楼A508
报告人：罗杰波教授
主持人：张昫频，经济与管理学院助理教授
内容简介：
近期研究揭示了多模态大型模型(MLLMs)在通用视觉和语言任务中的出色能力。人们越来越关注MLLMs在特定领域的表现，尤其是社交媒体内容。由于社交媒体内容本质上是多模态的，包含文本、图像、视频和音频，模型需要理解这些不同沟通方式之间的相互作用及其对信息传递的影响。然而，理解社交媒体内容对当前机器学习框架仍是一个挑战。为了评估MLLMs在社交媒体分析中的能力，该研究选择了五个关键任务: 情感分析，仇恨言论检测，虚假新闻识别，人口属性推断和政治意识形态检测。研究团队首先对每个任务使用基准数据集进行初步定量分析，随后回顾结果并选取定性样本，以展示GPT-4V在理解多模态社交媒体内容中的潜力。GPT-4V在这些任务中表现出色，展现了其在图像-文本联合理解，语境和文化意识，以及常识知识方面的优势。然而，尽管有这些优势，GPT-4V仍面临挑战，例如“幻觉”问题(生成不准确或賈荡构内弈)，并且在多语言社交媒体内容的理解和跟踪最新社交媒体趋势方面存在困难，因此进一步提出了几种策略来提升模型在这些任务中的表现。该研究的发现为MLLMs的未来发展提供了希望，强调了通过多模态信息分析来加深对社交媒体内容及其用户的理解的重要性。
报告人简介：
罗杰波，美国罗切斯特大学计算机科学系教授。他于2011年加入该校，此前在美国柯达公司研究院拥有长达15年的卓越职业生涯。他发表700余篇技术论文，并持有98项美国专利。他的研究兴趣包括计算机视觉、自然语言处理(NLP)、机器学习、数据挖掘、计算社会科学和数字健康等领域。他曾参与众多技术会议的组织工作，包括担任ACM Multimedia 2010、IEEE CVPR 2012和IEEE ICIP 2017的程序主席，以及ACM Multimedia2018和IEEE ICME 2024的大会主席。罗教授还曾担任多个顶级期刊的编委，包括IEEE TPAMI，IEEE TMMIEEE TCSVT, IEEE TBD, ACM TIST等期刊。他曾担任IEEE TMM的总主编(2020至2022年)。他是ACM、AAAI、IEEE、AIMBE、IAPR和 SPIE的会士(FELLOW)，同时是欧洲科学院院士和美国国家发明家学院院士。他于2021年获得ACM SIGMM技术成就奖，并于2025年荣获IEEE计算机协会爱德华·麦克卢斯基技术成就奖。