研究人员表示训练有素的人工智能模型表现出习得性残疾偏见

越来越多的组织正在使用第三方人工智能(AI)服务的情绪分析工具，将大量文本分类为负面、中性或正面句子，用于从医疗保健到政策制定等社会应用。然而，宾夕法尼亚州立大学信息科学与技术学院(IST)的研究人员表示，这些工具是由学术协会驱动的，这些协会往往包含对残疾人的偏见。

在论文《自动化残障主义：人工智能即服务(AIaaS)情绪和毒性分析模型中明确的残障偏见的探索》中，研究人员详细分析了自然语言处理(NLP)算法中包含的针对残障人士的偏见，以及他们测试的模型。

这项工作由IST助理教授兼人类语言技术实验室主任ShomirWilson领导，在7月举行的第61届计算语言学协会年会上获得了2023年可信自然语言处理研讨会最佳短论文奖9日至14日在加拿大多伦多举行。

IST学院的博士生、该论文的第一作者PranavNarayananVenkit表示：“我们想要研究讨论的性质或NLP模型的学习关联是否会导致残疾偏见。”“这很重要，因为外包人工智能需求的现实世界组织可能会在不知不觉中部署有偏见的模型。”

研究人员将残疾偏见定义为在类似情况下对待残疾人的态度不如没有残疾的人，而显性偏见则定义为对特定人群刻板印象的有意关联。

研究人员表示，越来越多的组织正在使用AIaaS(即人工智能即服务)来获得易于使用的NLP工具，而这些工具对组织来说几乎不需要投资或承担风险。这些工具包括情绪和毒性分析，使组织能够将大量文本数据分类和评分为负面、中性或正面句子。

情绪分析是NLP技术，用于从社交媒体帖子、产品评论、政治分析或市场研究调查中提取主观信息(想法、态度、情绪和情绪)。毒性检测模型寻找可能破坏公民交流或对话的煽动性或内容，例如仇恨言论或攻击性语言。

研究人员对NLP工具中的残疾偏见进行了两阶段研究。他们首先研究了与残疾人相关的社交媒体对话，特别是Twitter和Reddit上的对话，以深入了解偏见在现实社会环境中是如何传播的。

他们抓取了一年内专门针对残疾人的观点或包含“残疾”或“残疾人”等术语或主题标签的博客文章和评论。对结果进行过滤和分类，然后使用流行情绪和毒性分析模型进行统计分析，以量化对话中存在的任何残疾偏见和伤害。

IST学院的博士生穆昆德·斯里纳特(MukundSrinath)表示：“与其他对照类别相比，提及残疾人的陈述比其他对照类别的陈述获得了更多的负面和有毒分数。”

“我们想测试这些偏见是否源于围绕残疾人对话的讨论，或者来自经过训练的情绪和毒性分析模型中建立的关联，并发现偏见的主要来源是从模型而不是对话的实际背景中传播的。”

据Venkit称，研究人员随后创建了情绪偏见识别测试(BI​​TS)语料库，以帮助任何人识别任何AIaaS情绪分析和毒性检测模型中的明确残疾偏见。他们使用该语料库来展示流行情绪和毒性分析工具如何包含明确的残疾偏见。

“我们研究的所有公共模型都表现出对残疾的严重偏见，”文基特说。“存在一种有问题的倾向，即仅根据与残疾相关的术语(例如“盲人”)的存在，将句子分类为负面和有毒的，而不考虑上下文含义，这表现出对与残疾相关的术语的明确偏见。”

研究人员表示，识别大规模模型中的显性偏差可能有助于我们从偏颇的主导观点理解训练模型对开发者和用户造成的社会危害。

文基特说：“几乎每个人在一生中的某个时刻都会经历过一种可能导致他们被社会边缘化的残疾。”“这项工作代表了识别和解决情绪和毒性分析模型中的残疾偏见以及提高对AIaaS中存在偏见的认识的重要一步。”