诺贝尔奖获得者亚历山大·索尔仁尼琴在他的代表作《古拉格群岛》中描述了斯大林和其他人统治下共产主义的恐怖，他写道，“善恶的分界线穿过每个人的心脏。”事实上，在共产主义政权下，公民在对社会造成伤害之前就被驱逐出社会。这种驱逐通常需要去劳改营，许多人没有回来，但其方式剥夺了被告的正当程序。在许多情况下，仅仅怀疑甚至暗示可能发生反对政权的行为就足以获得一张几乎没有追索权的单程票。这里的基本前提是官员知道什么时候有人可能犯下违法行为。换句话说，执法部门知道这条线在人们心中的位置。英国政府决定通过投资一个旨在先发制人地识别谁可能犯下谋杀罪的项目来追逐这种幻想。具体来说，该项目利用政府和警方的数据来分析人们，以“预测”谁很有可能犯下谋杀罪。目前，该项目正处于研究阶段，类似的程序被用于做出缓刑决定。这样一个将个人简化为数据点的程序带来了巨大的风险，可能会超过任何收益。首先，这些程序的输出并不是没有错误的，这意味着它可能会错误地牵连到人们。其次，我们永远不会知道一个预测是否是错误的，因为我们无法知道什么事情没有发生——谋杀是被阻止了，还是从来没有发生过，仍然无法回答？第三，该计划可能被机会主义行为者滥用，以证明针对人民，尤其是少数民族是正当的——这样做的能力被植入了官僚机构。

想想看：一个官僚国家的基础在于它将人简化为数字的能力。这样做提供了效率和公平的优势——没有人应该得到资源倾斜。不管一个人的地位或收入如何，车管所都会以同样的方式对待驾照申请或更新。但是错误时有发生，在官僚程序的迷宫中导航来纠正它们并不是一件容易的事情。

在算法和人工智能时代，这种在错误情况下的责任和追索权问题变得更加紧迫。数学家凯西·奥尼尔记录了由于人工智能算法计算出的分数不佳而错误解雇学校教师的案例。反过来，该算法的推动力是容易衡量的东西（例如考试分数），而不是教学的有效性（表现不佳的学生显著提高，或者教师以不可量化的方式帮助了学生多少）。该算法还掩盖了前几年是否发生了分数膨胀。当老师们就导致他们被解雇的绩效评估向当局提问时，他们得到的解释是“数学告诉我们这样做”的形式——即使当局承认潜在的数学不是100%accurate.As这样，算法的使用创造了记者丹·戴维斯所说的“问责池”——它通过确保没有一个人或实体可以被追究责任来剥夺问责，并阻止受决策影响的人能够纠正错误。这造成了双重问题：算法的估计可能有缺陷，算法不会自我更新，因为没有人被追究责任。没有算法可以一直准确；它可以用新数据校准。但这是一个理想主义的观点，甚至在科学中也不成立；科学家可以抵制更新理论或图式，尤其是当他们在理论或图式上投入巨资时。同样，毫不奇怪，官僚机构不会轻易更新他们的信念。

使用一种算法来预测谁有可能犯下谋杀罪，这是令人困惑和不道德的。它不仅可能不准确，而且无法知道系统是否正确。换句话说，如果一个潜在的未来凶手被先发制人地逮捕，就像“少数派报告”一样，我们怎么知道这个人是否自己决定不犯谋杀罪？英国政府尚未澄清他们打算如何使用该程序，只是声明该研究的目的是“预防和侦查非法行为”我们已经看到美国在使用类似的系统。在路易斯安那州，一种名为TIGER（“有针对性的干预以增强重返”的缩写）的算法预测了囚犯获释后是否会犯罪，这将成为做出假释决定的基础。最近，一名70岁的近乎失明的囚犯被拒绝假释，因为TIGER预测他有很高的再次犯罪风险…

在另一个最终提交威斯康星州最高法院的案件中，一种算法被用来指导判决。对判决的质疑——包括要求访问该算法以确定它是如何达到其建议的——被拒绝，理由是该技术是专有的。本质上，该系统的技术不透明性以一种可能破坏正当程序的方式加剧。

同样，如果不是更麻烦的话，英国该项目的基础数据集——最初被称为凶杀案预测项目——由数十万人组成，他们从未获得使用数据来训练系统的许可。更糟糕的是，该数据集——使用来自该部、大曼彻斯特司法警察和警察国家计算机的数据汇编而成——包含个人数据，包括但不限于成瘾、心理健康、残疾、以前的自残事件以及他们是否是犯罪受害者的信息。性别和种族等指标也包括在内。这些变量自然会增加对少数民族和其他边缘化群体的偏见的可能性。因此，算法的预测可能只是反映了对过去的监管选择——预测性人工智能算法依赖于统计归纳，因此它们将数据中过去（令人不安的）模式投射到未来。

此外，这些数据高估了来自富裕地区的黑人罪犯以及来自贫困社区的所有种族。过去的研究表明，预测行为的人工智能算法对黑人罪犯的效果不如对其他群体的效果好。这些发现无助于减轻人们对少数民族和其他弱势群体将成为不公平目标的真正担忧。

索尔仁尼琴在他的书中告诉西方世界，官僚国家为了理想而压榨公民，而不考虑人类的生活经验是多么可怕。国家几乎总是错的（尤其是在道德方面），但是，当然，没有认错。那些被冤枉的人只是被遗忘的附带伤害。

现在，半个世纪过去了，像英国这样的民主国家正在重新审视一个来自威权共产主义国家的可怕而失败的项目，以此作为“保护公众”的一种方式，这是相当奇怪的公众确实需要得到保护——不仅免受犯罪分子的侵害，还免受严重高估技术在建设和维护健康社会中的作用的“技术政治”的侵害。