如何让算法监管变得更安全和公平
我们的研究成果已经被采纳,并用于那些具有影响力但却备受争议的国家技术标准的制定和实施。
Jamie Grace,高级法律讲师
我们的研究成果已经被采纳,并用于那些具有影响力但却备受争议的国家技术标准的制定和实施。
近年来,算法在英国警务工作中的使用率大幅度增加,至少有14个警察部门正在使用某种犯罪预测软件。
但这是备受争议的。
人们担心软件的信息透明度及其是否可能存在歧视。所以我开发了用于监管算法的工具,该工具已经在英国警务系统中得到应用。
该技术的一个主要用途是对罪犯进行风险评估——软件通过数据分析来预测一个人再次犯罪的可能性。由此得出的风险分数可用于决定是否起诉某人,或是否向“高风险”个人分配额外的警察资源。
它的另一个用途是 “热点治安”——使用机器分析大量犯罪数据,由此确定在白天和晚上的不同时间应该派警察在哪些地区巡逻。
也许这项技术最具争议的应用是所谓的“可解决性分析”——将已报告的犯罪案件输入到一个数据库里,软件将其被解决的可能性与这类犯罪案件的优先程度进行比较,由此产生的分析结果可以决定是否对该罪行进行调查。
首先,通过机器来做决定就意味着系统本身缺乏信息透明度,而信息透明度对司法公正至关重要。例如,如果你的生活因为你被认定为高风险人群而受到影响,而这个评估是由计算机基于一系列复杂而不透明的数据得出的,你该怎样能质疑这个评估呢?
第二个是有关数据质量的问题,算法预测需要人为输入数据,随之而来的是错误、信息空白和在软件中嵌入偏见等风险。
第三个问题是这也会导致歧视的发生。2018年,伦敦警察局被发现非法使用一种名为 "Gangs Matrix "的工具,该工具会过多地针对伦敦的年轻黑人男性。
我和其他大学的同事一起开发了一种叫做ALGO-CARE的工具,它的主要用途是为英国军队制定一种算法问责制模型。
警察可以通过借鉴该工具来设计自己的软件。它要求数据科工作者清楚自己在做什么——该工具是高度准确和高度敏感的(因此它也可能标记出很多无辜的人)。
以下是在警务工作中算法软件必须遵循的原则:
· 可咨询性
· 合法性
· 粒状性
· 有明确的所有权界限
· 具有挑战性
· 准确性
· 负责任的
· 可说明性
ALGO-CARE已被国家警察局长委员会采纳,作为国家标准在全英国使用,这是高级警察机构首次对警务算法指南表示认可。
这意味着从现在开始,所有国家算法工具在设计和评估时都应该使用ALGO-CARE,从而使警务工作更有效,使公共安全得到保障。