acm-header
登录

ACM通信

ACM新闻

首先,有漏洞奖励。现在,偏见奖励来了


2021年,推特是第一家对算法偏见发起悬赏的公司。其他公司也纷纷效仿。

来源:builtin.com

随着越来越多的公司开始部署人工智能(AI)和机器学习(ML)来自动化和简化流程,他们需要解决一个越来越重要的问题:AI算法的偏见。

当使用不完整或错误的数据时,以及/或当开发团队缺乏观点、思维过程和生活经验的多样性时,偏见可能会不知不觉地进入算法。这可能会对公司的声誉、监管和收入产生影响。

为了确保算法不存在缺陷或固有偏见,企业可以部署人工智能偏见奖励,行业观察人士表示,这是一种成本效益高的方式,可以让多个不同的人关注一种算法。发现严重问题的人通常会得到金钱奖励。

弗雷斯特研究公司(Forrester Research)副总裁兼首席分析师布兰登·珀塞尔(Brandon Purcell)在谈到算法偏见奖励的必要性时说:“无论你如何努力消除人工智能和人工智能模型中的偏见,它还是会存在。”“通常情况下,由于公司没有与算法的潜在利益相关者接触,在AI如何歧视一群人的问题上,会出现某些盲点。”

珀塞尔说,在算法最终影响到很多人之前,公司可以众包并付钱给人们来减轻这些盲点。举个例子:2021年,推特成为第一家推出人工智能偏见奖励的公司

这家社交媒体公司从其社区收到了大约100种不同的偏见识别,但最终为识别出算法中最普遍的偏见的人支付了3500美元的奖金。Purcell说,胜出的是Twitter提供的一项功能,它使用人工智能来决定在哪里以及如何裁剪照片。一名程序员发现,该功能“偏爱肤色较浅、较年轻的面孔”,而不喜欢肤色较老和较黑的人。“因此,这是非常明显的偏见,”他说。

Purcell观察到,这是面部识别系统出现问题的一个典型例子,它“在很大程度上受到算法偏差的影响”。他很快澄清说,这有点用词不当,因为不是算法有偏见,而是输入到算法中的训练数据有偏见。

法国巴黎的保险技术提供商泽罗斯将自己置于人工智能偏见测试的边缘,参加了一场技术黑客马拉松,类似于偏见赏金,该活动于2021年夏天由美国国家机器人协会组织法国审慎监管和决议局(ACPR)以及法国央行。由于银行和保险公司必须选择符合监管要求的技术平台,Zelros希望证明其人工智能算法中不存在偏见和歧视首席执行官兼创始人Christophe Bourguignat。

布吉尼亚特解释说:“我们想证明第三方的算法没有偏见,我们还想影响未来的监管,以表明我们的平台具备综合合规水平,使我们处于有利地位,从而获得市场份额。”

泽罗斯最终在12支参赛队伍中获得第二名。

众包安全平台Bugcrowd的创始人兼首席技术官凯西·埃利斯(Casey Ellis)表示,拥有人工智能和ML技能的人“开始以一种敌对的视角看待他们所做的事情”,这一点很重要。

与Bugcrowd合作的公司会向想办法进入他们公司的人提供奖励。Ellis说,由于人工智能和ML是相对较新的技术,开始“踩点”以识别并保护算法不受偏见的影响是一个好主意。

他补充说,迄今为止,他们的人工智能偏见奖励工作一直在金融服务、社交媒体和零售行业的私人项目的背景下进行。

埃利斯认为,自2020年总统大选以来,人们对人工智能漏洞奖励的兴趣有所增长。他说:“围绕操纵社交媒体算法干扰选举的讨论揭示了一个事实,即机器学习可以被利用来造成意想不到的后果。”“那是我们第一次看到有人想和我们讨论对抗性AI偏见测试。在任何构念中,任何形式的无意偏见都是不好的。”

弗雷斯特预测,今年将有六家公司推出人工智能偏见奖励,主要是在金融服务领域,因为这是一个高度监管的行业,珀塞尔说:“你不能出错。”

当被问及奖励漏洞的金额时,Purcell说:“恐怕我不能给出一个范围,但我建议公司根据检测到的漏洞的普遍性和严重程度来确定支付金额。”

珀塞尔表示,他认为企业还没有加入人工智能偏见赏金的行列,因为这可能会让它们面临监管和声誉风险。珀塞尔说:“推特冒险提供偏见奖励,幸运的是,当(有人)发现他们的照片裁剪算法存在偏见时,并没有引起太大的反弹。”“是的,你的脏衣服会被曝光,”所以问题就变成了,“你会因此面对消费者和监管机构的强烈反对吗,还是消费者会原谅你,因为你做了正确的事情?”

这还有待观察。

Esther Shein是波士顿地区的一名自由科技和商业作家。


没有发现记录

登录为完全访问
»忘记密码? *创建ACM Web帐户
Baidu
map