Facebook审阅人员暴增科技巨子的漫漫审阅路

编者按：本文来自微信公众号“极客公园”（ID:geekpark），作者 赵子潇，36氪经授权发布。

大公司们越来越需要思考，怎么合理引入技术，去创造对社会的正向影响和价值。

Facebook 又搞砸了。像是矫枉过正，这一次它删错了帖。

3 月 17 日，许多 Facebook 用户发现了自己从媒体转发关于新冠病毒的文章被删，页面显示这些链接违反了社区的垃圾信息规则。

随着全球范围内新冠病毒疫情越来越严重，围绕疫情的假新闻也逐渐变多，怎样辨别假新闻并删帖，成为社会化媒体近期最关注的事。但是，上面提到被删除的文章都属于正式合法的媒体网站，包括 The Atlantic，USA Today，和 BuzzFeed 等美国老牌或新兴的媒体。

也就是说，Facebook 把真新闻当成假新闻删掉了。

疫情期间，社会化媒体上假新闻慢慢的变多，如何辨别成了问题｜视觉中国

矛头很快指向了 Facebook 的人工智能审核系统。由于疫情的缘故，Facebook 在 3 月 16 日暂停了公司所有审查内容人员的工作，内容审核的工作转而交给平台上的「机器人」。Facebook 声称：「由于可供审查的工作人员越来越少，我们将继续优先处理那些迫在眉睫的危害内容，并增加对其他领域的主动检测，以删除违规内容。」

自然而然，人们怀疑是人工智能误删了正规新闻。但随后 Facebook 副总裁 Guy Rosen 声明，这是反垃圾信息系统中的一个 bug，与公司内容审核团队做出的任何调整无关。

虽然整件事闹出乌龙，但这背后反映的是人们对技术的不信任。谷歌最近也警告称，视频平台 YouTube 上以违反内容政策为由的被误删视频可能会大量增加，原因是在新冠病毒疫情流行期间，该公司将更多地依赖 AI 来审核视频，而不是人工。

即便在科技大公司口中，AI 一直在进步，好像可以承担很多人工的工作。但内容审核并不能完全交由 AI 处理，相反，近几年的趋势是，大公司们纷纷扩大了人工审核的规模。为什么人工智能发展了这么多年，审核内容这件事反而需要更多人工？在这背后，大公司又经历了什么？

内容暴增，AI 担起审核重任

互联网不是法外之地。为了解决网络上出现的淫秽色情、暴力血腥等违法内容，很多平台会设置内容审查制度。

有必要提及的是，诸如 Google、Facebook、Twitter 等互联网公司在近几年都大大加强了内容审核的力度。究其原因，大概可以总结为「流量的变化」。

一方面，平台的用户增长到了一个可怕的量级，仅就 Facebook 来看，2019 年第四季度，Facebook 的月活达到了 25 亿，这还只是一个 app，不算 Facebook 旗下的 Messenger、Instagram 和 WhatsApp 等应用。

另一方面，这些年内容形式慢慢的变复杂，从文字，到图片，再到现在的视频和流媒体，互联网上的数据量疯狂增加，更多的用户每天都在产出更多的内容。

随着信息、内容和用户的暴增，科技巨头既可能创造了一个新的纪元，也可能打开了潘多拉的魔盒。这样的一个过程中，对于内容的把控就显得格外重要。

还以 Facebook 为例。过去，Facebook 对内容的管控相对松弛，虚假新闻、标题党甚至恐怖主义言论常常会出现，审核团队人数也意外的少。据悉，2012 年 Facebook 有 8 亿多用户的时候，审核团队只有 50 人左右。

人工智能在前几年变成 Facebook 在内容审核上寄予希望的技术｜视觉中国

人工智能兴起之后，很多互联网巨头第一时间将技术应用于自身的业务，其中就包括 Facebook。从 2017 年开始，Facebook 就在尝试使用人工智能解决内容审核的问题，当时能做到使用 AI 图像识别工具来搜索照片，也宣布推出一套能够识别出试图自杀或自残的用户的系统。

但是，当时的人工智能技术并不够成熟。比如在理解语境方面，Facebook 的 AI 系统就不够智能。并且，AI 在当时只能作为辅助判断，并不能真正进行决策。扎克伯格曾在当时的公开信中提到，这套系统可以标记疑似内容，以便团队再次审核。

如今，人工智能在 Facebook 的内容审核上有了长足的进步。根据 Facebook CTO 迈克·斯科洛普夫在采访中说到，Facebook 已经能够自动从社交网络上删除 96% 的裸露内容。而仇恨言论问题则比较棘手，AI 系统可以识别出 65% 包含仇恨言论的帖子。

对于图片和视频来说，人工智能介入审核是非常有效果的，因为计算机视觉识别技术相对成熟。机器通过一定时间的训练都能够识别出敏感类别的内容，比如裸体、比如枪支等等。视频同理，Facebook 曾经展示过 AI 对于图片和视频的识别，基本不会出现差错。

然而也在人工智能技术高速发展，看似能代替人们做更多事的时候，Facebook 做出了一项令人意外的举动：扩大人工审核团队。

据不完全统计，自 2017 年开始，Facebook 几乎每年都要招揽几千名内容审核员（以外包形式），这个数字在 2020 年增长到了 1 万余名。他们要做的工作听起来也很简单：按照 Facebook 的用户内容政策，对有害内容进行审核和删除。

到底发生了什么，让 Facebook 对技术「丧失了信心」？

盲点出现

2019 年 3 月 15 日，28 岁的布伦顿·塔兰特（Brendon Tarrant）持枪冲进新西兰基督城的两座清真寺，朝正在参加主麻日的人群射击，杀害了 50 人。这则新闻在全球范围内广泛传播，因为凶手在 Facebook Live 上直播了从准备武器到杀人的全部过程。

行凶过程的直播持续了 17 分钟才被 Facebook 删除，但 17 分钟对于一场直播来说已经足够进行大范围的传播，更何况还有保存下来的视频在平台上扩散。尽管 Facebook 声明自己「迅速采取了行动删除内容」，但有用户称，删除视频几小时后仍能够正常的看到这些内容。

同样的情况在过去两年间发生过数次，Facebook 应对往往不够及时，导致恶劣的情况时有发生。而这就涉及到了人工智能在图片和视频之外的「盲点」——直播。

和固有的图片视频识别不同，直播对审核的要求非常之高。除了实时识别画面这一难点之外，人们在直播中的一举一动都无法预测，这是目前人工和机器都无法做到的事。谁也不知道，直播者下一秒会在镜头前开枪射击。

斯科洛普夫也提到，AI 没能将新西兰枪击案直播识别为危险内容，因为「它和之前上传到 Facebook 上的视频都不一样，这段视频是以第一人称视角来展现过程，就像电脑游戏。」

所以在 2017 年一次直播杀人事件之后，Facebook 增加了 3000 名人工审核员专门审查暴力直播视频。对于巨大的平台来说，人工智能技术还远不能完全取代人类，甚至连取代一部分都做不到，内容审核远比人们想象中的更加困难。

人工与 AI 的协作

我们所处的环境是千差万别的。全球各个地区的政治文化背景都不相同，并且每天都可能有变化存在，AI 还无法处理这么复杂的动态。

那么，同样的逻辑放在人工审核上是否可行？这就要涉及到平台的一套审核标准。

2018 年，Facebook 首次公布了详细的内容审核标准，也就是社区守则。经过几个版本的调整，该标准分为六大板块：暴力和犯罪行为、安全、不良内容、诚信与真实性、尊重知识产权和内容相关申请，定义了哪些内容可能会被删除。

但问题在于，不是所有的内容都是非黑即白，要让所有审核人员明确标准，做出一致的决策，本来就是不可能的事。

技术的逻辑和人们思考的逻辑不同。说到底，深度学习技术只是根据既有的数据进行训练，从而展示出的一个个数据模型，它和人类的主动思考完全不一样。因此，如 Facebook 人工智能副总裁杰罗姆·佩森蒂（Jerome Pesenti）所说，「AI 与人类智力的差距非常大，它可以传播人类的偏见、不容易解释、不具备常识，更多的是停留在模式匹配的层面，而不是强大的语义理解」。所以，如果 AI 在内容审核的判断上出了偏差，没有人敢为其担下责任。

如上文提到的，在理解仇恨言论上，AI 并不能像识别图片和视频那样达到高准确率。原因主要在于内容本身，不同的内容表达上含义不一样，可能取决于上下文，可能只是讽刺但没有到达仇恨言论的高度……因为很难被定义，所以 AI 在审核这方面内容时有局限性。

总结下来，人工智能无法代替人类的问题在于技术在理解语言和行为预测上有一定困难，而这样一些问题即便人工也不能即刻给出答案。利用 AI 将疑似有害内容发送给人工审核进行二次判断，无论从安全角度还是成本角度讲，都是最优解。

加州大学洛杉矶分校信息研究教授 Sarah T. Roberts 很早就开始研究社会化媒体的内容审核，她最近看到的趋势是，社会化媒体的审核方式已经从人工手动审核进化到了训练机器审核，以便人工对机器审核的内容进行决策。当然，在整套审核过程中，「人」始终没有脱离出这个闭环。「我们将会拥有的是『混合动力』。」SarahT.Roberts 说到。

内容审核的意义

不仅是 Facebook，在大时代的变化下，科技巨头公司掌握了海量的信息和内容，一举颠覆了「媒体」的概念。这种改变世界的影响，是科技公司创始人们刚开始创业的时候无法预料到的。

然而，在改变世界之后，留给他们的问题是怎样不滑向「黑暗面」，甚至让平台更加光明，这也许就是所有巨头投入大量资金和精力做内容审核的意义所在。

平台的内容管控和商业利益一直是矛盾的关系，科技公司要做的就是找到其中的平衡关系。放弃短期的商业利益，约束自己的边界，换取的可能是更大的社会影响力，也是科技巨头必须面对的巨大挑战。

如果把互联网巨头比作一个向前快速滚动的巨轮，算法就是其中一个关键零件，零件偏了一点方向，巨轮的轨迹极有可能发生巨大变化。而零件怎么偏，偏多少，都可以经过掌控者的计算。

因此，大公司们要怎么在引以为豪的「科技」和「商业」标签上加入对社会的影响和价值，是比前两者更亟待解答的东西。毕竟，科技没有善恶，善恶来自科技的使用者。