内容摘要：
公众在塑造网络言论和内容审核的未来发展方面发挥着重要作用，了解人们对内容审核政策的看法，对于设计更好的在线平台和改善在线内容审核至关重要。本文通过调查美国Facebook用户对内容审核过程的看法，发现参与者认为算法是最公正的内容审核过程，专家小组是更合法的内容审核过程，建议社交媒体公司将专家小组纳入其内容审核决策中。
1.简介
我们论文的重点是社交媒体内容审核过程的感知合法性。我们没有研究社区或人工审核，即平台依靠其社区成员来审核内容（例如Reddit的志愿审核者）。相反，我们把研究范围限制在企业的审核行为上，因为它们的运作规模很大。特别是，我们研究了付费的个人承包商（公司雇用和培训的人）、自动化系统（通常是结合了机器学习算法的数据库）、数字陪审团（临时的用户群体）和专家小组（由来自内容审核、法律、人权、新闻和其他领域的专家组成）。前两种–付费的个人承包商和自动化系统–被广泛使用。后两者，即数字陪审团和专家小组，是社交媒体内容审核的新种类。
然后，我们汇编了脸书上的帖子，涵盖了决策中常见的各种主题–种族主义、抗议、疫苗接种、选举欺诈等等–以及自由派和保守派的观点。我们挑选的帖子都可能被视为违反了Facebook关于煽动暴力、仇恨言论和错误信息的内容限制。我们将这组帖子的范围缩小到9个，并通过亚马逊Mechanical Turk平台向100名美国Facebook用户发送调查。
每位参与者都被告知有四项审核决策。这些“决策”都包含了一个Facebook帖子，四个审核过程中的一个，一个随机的决策结果（保留或删除），以及它违反了哪个内容限制的说明。然后，这些人分享了他们对审核程序合法性的看法，并按要求选择了他们认为最值得信任、最不值得信任、最公平公正以及最不公平公正的审核过程。
2.研究成果
总体而言，受访者认为专家小组比数字陪审团和算法更合法。
除此之外，在其他审核方式（数字陪审团、算法和付费承包商）之间没有明确的合法性排名。然而，大多数受访者（51%）表示，算法是最公正的审核程序。其中一些受访者（52%）说，这是因为算法是基于逻辑、数据和规则做出的决定。许多将算法列为最值得信赖的审核程序的参与者（32%）也这样说。然而，这并不是一致的。四分之一的受访者发表了这样的评论：“由于人类语言的复杂性、细微差别和背景，最不值得信任的可能是算法。算法无法驾驭我们沟通的复杂性和微妙性”。此外，许多将算法列为最值得信赖程序的人还给出了警告。受访者表示，算法的可信度取决于以下因素，如算法的构建是否公平公正，决策是否受到制衡，以及是否有机会进行人工申诉。
这些发现具有重要意义，原因有几个。合法性并不等同于公正性。即使算法被评为最公正的审核程序，专家小组仍然在合法性方面得到了最高分。
这一发现扩展了从以前的研究中获得的知识，表明支持算法决策的观点取决于该领域的主观性、算法功能和使用的不透明性以及算法的性能等因素。
有些人还对他们认为合法的投票设定了条件–比如希望审核过程有足够的检查和制衡–这表明人们对内容审核政策的看法不是简单的“是”或者“否”的二元论。此外，数据显示，当用户个人认可内容审核的结果时，他们会说他们认为内容审核过程更合法。我们没有评估用户是否意识到这一事实，但这一点是值得注意的。
我们的研究有几个局限性。例如，它没有研究对规则创建的看法，只研究了对规则执行的看法。此外，它只关注了美国的Facebook用户的看法。它也没有询问受访者对何时进行审核的感受–是在发贴时还是在发帖后。
3.政策讨论
对决策者来说，内容审核过程的合法性是一个重要的问题–它反映了决策者自身对社交媒体的看法。
专家小组仍然是社交媒体内容审核的一个新特点。然而，受访者表示，与付费承包商、算法和平台用户的数字陪审团相比，使用专家小组是最合法的程序。正如一位受访者所说：“他们是专家，他们比任何人都更加清楚如何处理这样的事情。可以更加信任他们，让他们做出正确的决定”。
不过，我们要指出，专家小组仍然有很多限制。Facebook监督委员会对国会大厦1月6日遭袭后特朗普总统的帖子所做的裁决就是一个最好的例子。专家小组的决策受到小组成员构成的影响，监督委员会中具有法律和司法背景的成员会促使委员会用法律措辞和推理的方式做出决定。此外，专家小组可能会优先考虑其短期的合法性，并采取中庸的、无争议的立场，只是为了避免批评。此外，使用专家小组可能将重要的社会问题–如国际人权法如何适用于内容审核–转移到公司内部，降低了合法性和透明度。
决策者也不能忽视政治观点在理解人们如何看待社交媒体平台方面的作用。在我们的调查中，一些受访者认为专家会有自由主义的偏见；还有一些受访者认为，数字陪审团会对有害内容更加宽容。这印证了先前的工作，表明自由派和保守派，一般来说，对感知合法性的组成部分，如公平性，有不同的价值观。
我们建议社交媒体公司将专家小组纳入其内容审核决策中。然而，第一步是组建一个开放性的、独立的小组，制定审核准则，处理平台上最有争议案件的上诉。该小组可以帮助培训普通版主，评估如何使用算法来审核内容，并教育公众有关审核政策和做法。这项工作的关键—也是决策者必须监督的事情–是社交媒体公司建立的这些小组是否由不同的、有代表性的人员组成。
对感知合法性来说，透明度尤为重要。对程序公正性的研究表明，向人们解释决定是如何做出的，并给他们表达观点和意见的机会（例如，在上诉期间），可以提高他们对程序公平性的看法–无论实际结果如何。
但是，专家小组是内容审核的合法形式这种普遍的观点，以及当个人在认同结果时更有可能认为程序是合法的这一发现，为决策者提供了重要的指引。内容审核的挑战不会消失。设计更好的网络言论平台和改进内容审核程序需要更深入地研究人们如何看待内容审核本身。
原文标题｜Algorithms and the Perceived Legitimacy of Content Moderation
文章来源｜斯坦福大学
发布时间｜2022年12月
编译｜智能society
文件链接｜https://hai.stanford.edu/policy-brief-algorithms-and-perceived-legitimacy-content-moderation
Last modified: 2023年 2月 20日
