在数字式背景的夫人正义

(图片由iStock / Pitiphothivichit)

2019年,Genevieve(本文的共同作者)和她的丈夫申请了相同的信用卡。尽管信用评分略有更好,但与丈夫相同的收入,开支和债务,但信用卡公司将其信用额度达到几乎一半的金额。这次经历回声一个这是头条新闻同年晚些时候,一对夫妇比较了他们的苹果卡消费限额,发现丈夫的信用额度是他们的20倍。客户服务人员无法解释为什么算法认为妻子的信誉明显下降。

许多机构根据使用机器学习(ML)的人工智能(AI)系统做出决定,由此一系列算法从大量数据中获取并学习以查找模式并进行预测。这些系统可通知有多少信贷金融机构为Covid-19疫苗提供的医疗保健系统以及哪家候选公司呼吁求职面试。然而,这些系统中的性别偏见是普遍存在的,对妇女的短期和长期心理,经济和健康安全有着深远的影响。它还可以加强和扩大现有的有害性别陈规定型和偏见。

当我们结束妇女的历史月份时,社会变革领导者 - 包括具有性别专业知识和ML系统开发人员的研究人员和专业人士都需要问:我们如何建立性别智能AI来推进性别股权,而不是嵌入和平衡性别偏见?

人工智能性别偏见从何而来

人工智能系统存在偏见,因为它们是人类的创造物。谁做决定通知AI系统,谁在开发AI系统的团队中决定他们的开发。不出所料,存在巨大的性别差距:仅有22%的人工智能和数据科学专业人士是女性,她们更有可能从事与社会地位相关的工作。

在更粒度的级别,人类生成,收集和标记进入数据集的数据。人类决定了算法从算法中学习的什么数据集,变量和规则。这两个阶段可以引入偏见这成为AI系统中的嵌入。

根据数据的性别偏见,数据点是我们所居住的世界的快照,我们看到的大型性别数据差距部分是由于性别数字鸿沟。例如,一些3亿少女比男人在手机上访问互联网,中低收入国家的女性是比男人更少20%拥有智能手机。这些技术为其用户生成数据,因此女性对其的事实较少地访问它们是固有的偏斜数据集。即使在生成数据时,人类也会收集数据决定收集什么以及如何。没有行业更好地说明了这一点,而不是医疗保健(另一个行业领导层之间的性别不平衡男人和男人的身体长期以来一直是医学检测的标准。女人是在医学试验中失踪,女性身体被视为过于复杂和变量。女性甚至不包括在女性流行疾病的动物研究中这一差距反映在医疗数据上。

并没有被性别和性别(以及其他身份)解释的数据会带来另一个问题。它描绘了一个不准确的图片,隐瞒不同性别身份的人与人之间的重要差异,并隐藏了潜在的超越或不足的陈述。例如,很少有城市数据集跟踪和分析性别数据因此,基础设施计划通常不适用于女性需求。

即使存在代表性数据点,它们也可能有损害内置并反映社会的不公平。返回消费者信用业,早期程序使用的是婚姻状况和性别确定信用等级。最终,这些歧视性的做法被那些被认为比较中立的做法所取代。但在那个时候,女性没有那么正式的财务记录,遭受歧视,影响了她们获得贷款的能力。跟踪个人信用额度的数据点捕捉到了这些歧视性趋势。

数据的标签可能是主观的,也会嵌入有害的偏见和观点。例如,大多数人口统计数据都以简单的男女二元分类为基础。当性别分类以这种方式瓦解性别时,它减少潜力为AI反映性别流动性和自我持有的性别认同。

就算法的性别偏差而言,开发算法的第一步之一是选择训练数据集。再次回到消费者信贷行业,当确定信誉的AI系统从历史数据中吸取信誉,他们接受收到比男性更低的信贷限制的妇女模式。他们重现了沿着性别的相同的不公平的信誉获得(和种族就像Genevieve的案例和Apple Card的故事一样。与此相关的是,性别阴影研究项目发现,商业面部识别系统使用缺乏多样化和代表性样本的图像数据集。这些系统比男性更频繁地错误分类。特别是,较深皮肤的女性以35%的错误率被错误分类,而打火机皮肤男性的错误率为0.8%。

开发者告诉算法在做决定时应该考虑哪些变量,但这些变量和代理可能会对某些身份或社区造成不利影响。例如,在线科技招聘平台Gild(已被Citadel收购)开发了一个人工智能系统,帮助雇主对编程工作的候选人进行排名。Gild不仅会筛选从简历等传统来源收集的信息,还会使用一种称为“社交数据”的代理(由数字领域的行动产生的数据)来衡量候选人在数字社区中的整合程度。在这种情况下,社交数据来源于在GitHub等平台上分享和开发代码所花费的时间。但女性往往会承受社会对无偿医疗的期望等因素,导致女性上网聊天的时间更少。因此,女性产生的这种社会数据较少。此外,女性可能会以男性的身份出现在GitHub等平台上规避性别歧视、性别安全问题(比如有针对性的骚扰和喷子)以及其他形式的偏见。吉尔德并没有消除人类的偏见创建了一种算法倾向于惩罚女性,并有系统地将女性候选人的排名低于男性候选人。

性别偏见的人工智能的影响

性别偏见的人工智能不仅对个人产生巨大影响,还可能导致性别平等和妇女赋权方面的挫折。作为我们在伯克利哈斯平等、性别和领导力中心工作的一部分缓解人工智能的偏见, 我们跟踪公开可用的实例在我们对从1988年到现在的产业中大约133个有偏见的系统的分析中,我们发现44.2%(59个系统)表现出性别偏见,25.7%(34个系统)表现出性别和种族偏见。

性别偏见的AI系统具有六个主要影响:59系统表现出性别偏见,70%导致服务质量较低对于女性和非二元个体。例如,越来越多地应用于汽车和医疗保健行业的语音识别系统,往往对女性的表现更差。第二,不公平分配资源,信息和机会在我们认定的系统中,有61.5%的系统存在性别偏见,包括雇佣优先考虑女性应用的软件和广告系统。

加强现有,有害的刻板印象和偏见(在28.2%的性别偏置系统中)通过数据输入和输出之间的反馈回路加剧。例如,从大量在线文本学习的翻译软件历史上是对性别中立的术语(如“医生”或“护士”中英文)并返回了性别翻译(例如“El Doctor”和“La Enfermera,“分别以西班牙语),加强男性医生和女性护士的刻板印象。相关,我们发现AI系统 - 最常见于与互联网相关的服务 - 导致对已经被边缘化的性别身份的贬损和冒犯性对待或消除(6.84%)。例如,在性别分类中使用性别二元在面部分析系统等工具中构建了一个不准确、简单的性别视图。

此外,某些系统会影响女性和非二进制个人的身心健康。用于医疗保健,福利和汽车行业的性别偏见系统,特别是姿势对人身安全的危害(18.8%的性别歧视系统)健康危害(3.42%)。支持皮肤癌的AI系统检测,例如,斗争以检测黑人的黑色素瘤,使已经受到医疗保健行业的黑人女性受到风险的风险。

社会变革的领导者可以做些什么

优先考虑性别股权和正义作为ML系统的主要目标,可以为设计和管理决策创造下游影响。我们必须承认ML系统不是客观的。即使是良好的ML系统(例如,为提供信誉评估或雇用更公平的信誉评估或雇用的系统)都可以易于与偏见相关的问题,就像他们的人类创造者一样。社会变革领导者的角色以及开发ML系统的组织领导者,以使性别智能ML和推进性别股权。

社会变革领导人可以:

1.使用女权主义数据实践来帮助填补数据差距。作为凯瑟琳d'iconazio和lauren klein在他们的书中捕获,数据女权主义女权主义数据实践包括分析权力如何运行和使用数据来挑战不等功率结构,移动过去的性别二进制文件,重视多种形式的知识,并合成局部和本土知识的优先权。女权主义数据可以帮助居中边缘化个人的声音和经验,包括妇女和女孩。

作为一个例子,数字民主该组织与当地社区团体合作,如妇女为受害者服务委员会(KOFAVIV),建立了一个安全的系统在海地收集基于性别的暴力数据。该系统允许当地妇女跟踪,分析,映射和共享数据。

另一个重要的步骤是承认和反对有害数据的做法,概述在女权主义数据表现 - 没有

2.在性别平等的人工智能领域发挥你的专长,倡导人工智能扫盲培训,并参与对话。通过将性别专业知识整合到人工智能系统中,ML开发者和管理者可以更好地理解问题和解决方案,以减轻性别偏见。德赢怎么下载

首先,我们提倡对性别专家进行人工智能扫盲培训,并邀请会议组织者举办有关性别与人工智能的会议和研讨会,从而参与对话。例如,就在不久之前,性别专家基本上还没有参与影响力投资的讨论。车间等标准研究所持有的其中包括关于金融投资概念和性别考虑因素的培训,帮助具有性别专业知识的研究人员和专业人员更好地了解影响投资领域,并参与并最终推动以性别视角进行投资的工作和倡议。

3.在考虑或使用AI系统以解决性别差距,批判性地思考关于代表开发AI系统的团队,以及他们使用的数据和他们如何开发算法。

人工智能是越来越多地被用于应对全球发展挑战,包括性别不平等,民间社会组织正在董事会上。例如,女性世界银行和Mujer Findingiera是使用ML支持妇女的金融包容性。重要的是坚持并支持ML开发人员将妇女的声音居中,在这些AI系统的开发,创造和管理中居中妇女和非二元人士的声音。此外,您的尽职调查,以及评估在使用之前的性别偏见和意外后果的潜在AI系统。

开发人员可以做些什么

当ML系统被永久性地构建时,它们可以避免对偏差的批判性分析和潜在的意想不到的后果。仅仅建立一个好的系统是不够的。为了帮助企业和组织的研究人员和领导者开发人工智能系统,促进性别智能的ML,社会变革领导者应该鼓励ML发展伙伴追求和倡导以下内容:

1.在发展和管理AI系统的团队中嵌入和推进性别多样性,公平和包容。如果我们相信AI的潜力,这是必要的。最近学习不同的人口统计群体在减少算法偏差方面表现得更好。采取行动通过确保多样性是领导层的核心优先事项更新机构政策、实践和结构支持多样性和包容性。

2.认识到数据和算法不是中立的,然后对其进行操作。记录ML数据集中的内容(例如,through数据集的数据表)和ML模型(例如through模型卡)。评估不同性别身份的代表性的代表性和反映现实的底层的数据集,但最终是有问题的。最后,与性别专家合作,将女性主义数据原则和方法整合,诊断和解决算法的潜在性别影响,并进行性别镜头进行算法审计。

3.让边缘化社区成员的声音,包括女性和非二元个体,参与人工智能系统的开发。支持研究,并向其他部门学习,例如离网能源和更清洁的烹饪- 这对技术的发展嵌入式参与设计和参与式行动研究。

4.为负责任的人工智能建立对性别问题敏感的治理方法。在开发人工智能伦理治理结构(一个人工智能伦理委员会和领导者),确保存在性别多样性。在负责任或合乎道德的人工智能代码和原则中,批判性地思考如何将与性别和其他边缘化身份相关的正义和公平纳入其中。(看到这联合国教科文组织报告有关将性别平等考虑嵌入AI原则的指导。

这些行动并非详尽无遗,但它们为建立了股权的性别智能ML提供了一个起点。让我们不要错过这个机会彻底改变我们的考虑,设计和管理AI系统,从而追求更加刚刚的世界,并为后代追求。