算法出错了，应该谁来背锅？

转载来源：https://github.com/liuyubobobo

更新时间：2019-09-24 15:33:29

一个人追求的目标越高，他的才力就发展得越快，对社会就越有益。 ——高尔基

1.

2018 年 3 月，Uber 的一辆无人驾驶汽车在夜晚行驶时，撞到了一个行人。受害者被迅速送往医院，但依旧抢救无效死亡[1]。

警察很快公布了在 Uber 无人驾驶车中的监控录像。当时道路非常黑暗，能见度很低。受害者推着一辆自行车横穿马路。当车灯打在受害者身上时，已经来不及了。悲剧就这样发生了。

无论是警察还是法院，得出的结论一致认为，受害者出现在车前方太过突然，加上当时是夜间，不管是使用无人驾驶还是人工驾驶，都很难避免这场悲剧。

事件发生以后，优步马上暂停了他们的无人驾驶测试。同时，解雇了近 100 名自动驾驶的安全监控人员。

什么是自动驾驶的安全监控人员？现如今，自动驾驶技术刚刚起步。为了应付突发情况，所有自动驾驶车辆的驾驶舱中，都必须配备安全监控人员。在自动驾驶算法出现错误，或者出现算法无法应对的状况时，迅速转为人工手动处理。

发生事故时，优步的无人驾驶车辆中也有安全监控人员（必须有，这是法律的要求）。至今为止，整个事件已经过去1年多的时间了。最终，法院裁决，对于这起事故，优步并不承担任何责任。

但是，整个事件并没有结束。警方认为，当时，无人驾驶车中的安全监控人员可能是负有责任的。整个案件还在继续审理中。

2.

无独有偶，同样是在 2018 年 3 月，特斯拉也发生了一起悲剧。一辆处在无人驾驶状态（autopilot）的特斯拉汽车，在高速公路上直接撞向了护栏，导致车主死亡[2]。

据调查显示，在事故发生前 8 秒的时候，这辆特斯拉一直以 65 迈的速度，紧紧跟随一辆前车行驶。但是在碰撞发生前 4 秒，这辆特斯拉突然提速至 71 迈，并直接撞向了高速公路旁的护栏。由于速度过快，整辆特斯拉直接解体，还引发了大火。

据调查，这辆特斯拉所撞向的护栏，并不是它本来的样子。由于同样的地点在之前发生过另外一起事故，所以警方暂时使用路障将这个护栏标识了出来，如下图所示：左边是 Google 街景显示的这段护栏平时的状态；右边是发生事故时护栏的样子。

图片来源：ABC 新闻网

几乎所有的工程师都认为，是护栏的样子发生了改变，导致了这场事故。虽然护栏的标识还在，同时，警方也在护栏周边放置了醒目的红色标志物，但是显然，特斯拉的无人驾驶技术没有正确的识别这一变化，导致了悲剧的发生。

但是，特斯拉官方却否认了这一点。根据特斯拉的说法，他们对同样的路况进行了多次模拟测试，证实特斯拉能够正确识别这一路况的改变。换句话说，特斯拉无法复现这个事故中机器的错误。

稍微有一点 debug 经验的同学都会明白：要想改正代码中的 bug，第一步，是要能够想办法稳定复现这个错误。现在特斯拉无法复现这个错误，意味着根本不知道怎样才能改进类似的问题。现如今，整个事故原因还在调查之中。

与此同时，特斯拉官方不断强调车主的责任。根据特斯拉提供的数据，在碰撞发生前的最后一分钟时间里，驾驶员的手被检测到握在方向盘上三次，总共持续 34 秒。但是，撞击发生前的最后 6 秒，车主的手并没有在方向盘上。而特斯拉一直警告车主，即使在自动驾驶模式下，驾驶员也要一直把手放在方向盘上，以备不时之需。

同时，特斯拉还表示，在撞击发生前，车主有 5 秒的反应时间，并且视野良好，拥有着 150 米的无障碍视线。可是，车主却没有采取任何行动。换句话说，特斯拉认为，这起悲剧的主要责任人，是车主。

值得一提的是，在这起事故中不幸遇难的，还是一名华裔工程师。现如今，受害者的家属已经向法院提出了诉讼，案件还在审理过程中。

3.

这两起无人驾驶事故的悲剧，都是在某些特定情况下，算法出现了错误。但是，对于这篇文章，我的关注点并不在于算法为什么会出错。我们的世界本身就不是黑白分明的。当使用算法处理真实世界的问题时，一定会发生错误。

实际上，任何技术都会出错。人类已经应用机器进行大规模生产几十年了，但是，在任何工厂，坏品率依然是一个必然存在的参数。虽然我们都说机器可以毫不疲倦地，“完美”地连续工作，但是，由于各种各样的原因，机器依然会犯错，无论一家工厂多么的先进，也无法做到 100% 的良品率。

同样的，医学上，我们检验各种疾病的手段也越来越先进，但是每一项检测结果，依然只是一个概率值，而不能保证绝对准确。无论是亲子鉴定，还是癌症筛查，都是如此。

如果消费者购买了一个机器生产的次品，厂家可以退换货；如果医院如果给出了一个不够准确的检测结果，可以再做复查，进一步确认病情的程度。但是，在算法大行其道的今天，越来越多的自动化过程渗透到了生活中的方方面面，直接帮助人们完成了很多事情。如果在这个过程中，算法出错了，责任该由谁来负？

根据上面两起无人驾驶事件的案例来看，当下，似乎是在事故发生时，离算法最“近”的那个人最“倒霉”。他将很大程度成为事故的负责人。

4.

就在今年，另一起算法“犯错”引发的官司，再次激起了这样的讨论：如果算法出错了，应该由谁来负责？

在2017年，一位香港富商购买了一项一家英国公司提供的金融服务。简单地说，这项金融服务就是投资。但是，和其他金融机构提供的投资服务不同，这家机构所提供的投资服务，全权由机器完成。

根据这家英国公司的介绍，他们的算法每天将梳理来自网络以及社交媒体的数以万计的新闻，来获得金融市场上的“信号”，根据这些信号，做出买卖决策。

和这位香港富商接触的销售人员，名叫 Costa。他向他的客户详细展示了机器做金融决策的优点：能更有效地汇总来自市场上的更多信息；不会冲动，永远保持理性，不会被一时的盈亏冲昏头脑，失去理智；可以自始至终地坚持相对高效的投资决策。最后，根据 Costa 的描述，这家公司的模拟测试表明：使用这家公司的算法，可以稳定地达到 10% 以上的收益率。

这名香港富商最后拿出了 2.5 亿美元由这家投资公司打理。一年以后，香港富商没有拿到 10% 以上的收益，反而亏损了超过 2000 万美金[3]。

现在，这名香港富商正在起诉这家英国公司。但是，他面临的问题依然是，算法表现的不好，要找谁算账？

开发这个算法的英国公司拒绝赔偿。因为，他们从没有保证算法可以 100% 地带来投资上的盈利。认为算法比普通的投资人强，是这名香港富商一厢情愿的想法而已。

不得已，这名香港富商只能把矛头对准销售人员 Costa，认为它在销售过程中夸大了机器的能力，有过度宣传之嫌。

再一次，算法犯错了，锅扔给了离算法最近的那个人。

图片来源：bloomberg

5.

于是，在现阶段，一个有意思的现象发生了。近乎所有的人，都认为算法能够在很多事情上，获得更好的结果。也正因为如此，算法被越来越多地使用在各个领域。但问题在于，一旦算法犯了错，这个锅该由谁来背？

显然，这个责任无法让算法来负。因为算法没有能力给出任何赔偿。我们让算法坐牢，也没有任何的意义。可是，这个过程又难免出错。于是，形成了一个法律上的真空。

现如今，通常，被大众指责的首要责任主体，都是算法出现事故时，离算法最近的那个人。比如无人驾驶技术中的那个司机；比如自动化投资技术中的销售人员。他们的理由，就是鼎鼎有名的“技术无罪论”。有罪的，终归是使用技术的人。

可是，对于自动化技术，事情并不完全是这个样子。

我们可以辩解说枪支，刀具这样的武器无罪，这是因为，如果人不使用它们，枪支，刀具不会跳起来主动伤人。

我们也可以辩解说互联网，各种通讯软件无罪，有罪的是利用这些通讯软件宣传仇恨言论的人。因为，如果人们不使用这些软件宣传仇恨言论，这些软件自己是不会发送任何信息的。

但是，自动化技术有所不同。对于自动驾驶技术来说，它本身就会自己使用自己，来完成“行驶”这个任务；对于自动交易系统来说，它本身就会自己使用自己，来完成“交易”这个任务。

对于这些自动化的技术，从某种程度来讲，不存在谁如何使用的问题。这些技术被发明出来，就会直接被自动使用。你不能责备一个购买了自动驾驶技术的消费者使用了自动驾驶技术，这就像在责备一个购买了电视机的人看电视一样不合理。

现在问题来了：在自动驾驶的过程中，出现了问题，怎么办？

另外一派观点，会很自然的，将责任归咎为发明设计算法的人或者企业。但这样也不够合理。

首先，发明算法的人或者企业没有主观上的恶意；

其次，他们在设计实施算法的过程中，其实并没有犯错误。

这一点非常重要。一个算法犯了错误，不代表发明算法的工程师犯了错误。算法之所以犯错，很可能只是当下技术的局限性。

6.

在这样的事件中，大众倾向于指责事故发生时，离算法最近的那个人，也有着很朴素的理由：之所以要有那个人，就是为了预防事故发生的。

但是，很多人开始意识到了，这样的思考也不尽合理。我们必须承认，当事故发生时，人会慌乱，人会不知所措，人会产生不理性的行为。比如无人驾驶事故中，真的留给人的应急时间很短很短，其实，我们很难指望一个有血有肉的人，会在那么短的时间里，扭转乾坤。

人会慌乱，人会不知所措，人会产生不理性的行为，这恰恰是人的缺点，恰恰是我们发明自动化算法，让机器代替人来完成这些任务的原因。可是，在事故发生以后，我们却突然指望那个人应该沉着镇静，理性客观，把机器犯的错误在短时间纠正过来，是不是不近人情呢？

难道我们不应该相反地指望，机器应该沉着镇静，理性客观，把自己犯的错误在短时间纠正过来吗？毕竟，在很多人的认知里，这是机器才具有的能力啊！

真要完全杜绝这种情况的发生，我想，可能只有停止这些自动化算法的使用了。可是，停止自动化算法的使用，我们对这些技术的研究又如何进步，如何逐渐达到技术的日趋成熟和逐渐完美呢？

或许，在现阶段，这个问题本身就是无解的。

我只能说：每一项技术的发展，都凝聚了人类无数的心血，凝聚了很多前人的牺牲。这些“前人”，不仅仅是那些科学家，工程师，还有无数机器事故中的受害者，以及机器的“替罪羊”。

这或许又是一个，技术飞速发展，但是我们的社会环境，法律法规，还没有跟上技术发展的例子。

希望对大家有启发。大家加油！：）

---

参考资料：

[1] https://www.theverge.com/2018/3/28/17174636/uber-self-driving-crash-fatal-arizona-update

[2] https://www.cnn.com/2019/05/02/tech/telsa-autopilot-crash-suit/index.html

[3] https://www.bloomberg.com/news/articles/2019-05-06/who-to-sue-when-a-robot-loses-your-fortune