首页 > 科研 > 研究进展

如何让算法监管变得更安全和公平

我们的研究成果已经被采纳,并用于那些具有影响力但却备受争议的国家技术标准的制定和实施。

Jamie Grace,高级法律讲师

我们的研究成果已经被采纳,并用于那些具有影响力但却备受争议的国家技术标准的制定和实施。

近年来,算法在英国警务工作中的使用率大幅度增加,至少有14个警察部门正在使用某种犯罪预测软件。

但这是备受争议的。

人们担心软件的信息透明度及其是否可能存在歧视。所以我开发了用于监管算法的工具,该工具已经在英国警务系统中得到应用。

 

该算法如何用于治安管理

 

该技术的一个主要用途是对罪犯进行风险评估——软件通过数据分析来预测一个人再次犯罪的可能性。由此得出的风险分数可用于决定是否起诉某人,或是否向“高风险”个人分配额外的警察资源。

它的另一个用途是 “热点治安”——使用机器分析大量犯罪数据,由此确定在白天和晚上的不同时间应该派警察在哪些地区巡逻。

也许这项技术最具争议的应用是所谓的“可解决性分析”——将已报告的犯罪案件输入到一个数据库里,软件将其被解决的可能性与这类犯罪案件的优先程度进行比较,由此产生的分析结果可以决定是否对该罪行进行调查。

 

该技术有哪些问题

 

首先,通过机器来做决定就意味着系统本身缺乏信息透明度,而信息透明度对司法公正至关重要。例如,如果你的生活因为你被认定为高风险人群而受到影响,而这个评估是由计算机基于一系列复杂而不透明的数据得出的,你该怎样能质疑这个评估呢?

第二个是有关数据质量的问题,算法预测需要人为输入数据,随之而来的是错误、信息空白和在软件中嵌入偏见等风险。

第三个问题是这也会导致歧视的发生。2018年,伦敦警察局被发现非法使用一种名为 "Gangs Matrix "的工具,该工具会过多地针对伦敦的年轻黑人男性。

 

如何对它进行改进?

 

我和其他大学的同事一起开发了一种叫做ALGO-CARE的工具,它的主要用途是为英国军队制定一种算法问责制模型。

警察可以通过借鉴该工具来设计自己的软件。它要求数据科工作者清楚自己在做什么——该工具是高度准确和高度敏感的(因此它也可能标记出很多无辜的人)。

以下是在警务工作中算法软件必须遵循的原则:

· 可咨询性 

· 合法性

· 粒状性 

· 有明确的所有权界限 

· 具有挑战性 

· 准确性 

· 负责任的

· 可说明性 

 

ALGO-CARE已被国家警察局长委员会采纳,作为国家标准在全英国使用,这是高级警察机构首次对警务算法指南表示认可。

这意味着从现在开始,所有国家算法工具在设计和评估时都应该使用ALGO-CARE,从而使警务工作更有效,使公共安全得到保障。