由一个极端案例引发的讨论:当算法觉得你想死……
【大咖・来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》
一个悲伤的故事,英国14岁少女 Molly Russell 在2017年令人意外的选择了自杀,我们可能很难想象究竟会是什么样的事情能让一个涉世未深的小女孩走上绝路。
之后的发现,在Molly自杀之前曾在网上搜寻关于自杀和自残的图片,这些图片甚至通过一些她喜欢的社交平台被推荐出来。即便是在 Molly 去世之后的几个月里,Pinterest 依然在自动推送给她一些电子邮件,内容也是关于自残相关的图片,甚至打开Molly 的Instagram,Feed流中也充斥着大量相关的内容。
悲剧发生之后,Molly 的父亲认为Instagram和Pinterest 是杀害他女儿的帮凶。
我始终坚持,技术无罪。但当算法认为你想死的时候,我们又该怎么办?
Molly 的悲剧让人有一种说不出来的无奈,甚至有些气愤。据此衍生出一个新的论点——Instagram和Pinterest等社交平台正在加剧年轻人“ 精神健康危机 ” 。英国青少年的自杀率是八年前的两倍,社交媒体被认为是英国“自杀一代”崛起的一个原因。
Molly的去世,让很多人注意到了所谓大数据、算法的问题。英国卫生部长 Matt Hancock 表示,社交媒体需要清除这些极其负面的内容,而不这样做将会面临重大诉讼。在此之前,Instagram的规则只是反对“美化”自杀和自残,而现在已经直接禁止。
但简单的禁令并不能解决这些问题,社交平台不仅仅会托管这些负面内容,而且在推荐算法的指引下,这些内容也最终会呈现给最容易受到影响的人。推荐是一种更主动的行为,而不只是单纯的可获得性。越来越多的学术文献证实了这一点:无论是自残、谣言、招募恐怖分子还是某种阴谋论,平台所做的不仅仅是让这些内容容易被找到,因为算法的存在,社交平台一定程度上有助于扩大这些内容的传播。
我们试图去探索Instagram,Pinterest和Tumblr等如何向用户推荐这些负面内容,发现这些社交平台针对自杀、自残类的内容有一些限定规则,通过屏蔽一些关键词或者标签来使用户更难找到,但这些内容仍然能是存在的,而且算法也会根据某种规则推荐出来。在Pinterest上被称为“你可能喜欢的东西”,这些都是在算法驱动下根据用户浏览习惯判断用户感兴趣的内容。对于企业来说,更喜欢称之为“智能化推荐”、“个人化服务”等等,被视为是一种使用体验的提升。
例如,当你搜索家装灵感,很快在信息流中你会看到各种油漆样本相关的图片,还会进一步推荐业余室内设计师。这意味着,当用户越频繁搜索自杀或者自残等负面内容时,算法更加会判断你所喜欢的是这类东西,然后通过不同方式推荐给你。
正如Molly的父亲发现的,社交平台的推荐算法并没有区别对待。社交平台所展示“你可能喜欢的”内容,可能它本身就违反了自己的预定的规则。
试想一下,如果你是那个试图在社交平台寻找自残类型负面内容的人,系统推荐算法在得知这种趋势之后,反而为你推荐的是阳光积极的内容,教你重塑健康的心理状态,算法建议的可能并不是你当时所想看到的内容,但它会引导你走向一个比较正确的状态,或许这就是算法真正应该做的事情吧。
在现在的互联网世界,很多人更愿意在社交平台去倾诉或者发泄内心的想法。社交媒体就会成为一个摆在他们面前的镜子,这面镜子能够直接反映用户的心理状态,还可以放大或者扭曲它。而这两种截然不同的导向均取决于算法如何去引导,当算法觉得你想死,我们能更希望算法能做一个思想的引导者,而不是继续把用户带到死神面前。
算法应当具备价值观底线。
当然,这样的前提是,社交平台所设定的禁令规则是***的,那么算法建议所展示的仅仅提供用户最可接受的内容,而实际情况却并非如此。
内容审核非常困难,可接受和令人反感这两种规则之间的界限可能很多时候都是模糊不清的。即便设立人工审核机制,大型社交平台每天新发布的内容有成千上万条,审核者需要在几秒钟甚至更短的时间里判断出是否影响用户心理健康的,这样的内容实在太多,不仅仅是自残类型,日复一日,总会有遗漏的内容。
以Molly的悲剧为例,社交平台的禁令不仅不够完善,甚至还可能间接造成更多悲剧发生。很多试图自残或者有自杀倾向的人通过网络找到了巨大的情感支持以及继续生活下去的动力。通过建立小范围的社交圈来互相抱团取暖,甚至最终走出阴霾。对于这些人来说,社交平台更是唯一发出求助呼声的渠道。一味的禁止会挤压这些群体的存在,在缺乏同类之间的交流和接纳感时,则会深陷自己的消极精神世界无法自拔最终导致悲剧发生。
所以,现在的问题不只是简单的让这些内容消失。而是平台需要更好地识别哪些内容在什么时候更适合呈现给哪些群体,当搜索的内容和算法推荐的内容不同时,平台还需判断这些内容是否对某个人有利的同时却对整个公众有潜在威胁。
我们没有充分讨论推荐系统,也许是因为这些现在已经非常普遍,也可能是因为大多数用户不了解其工作方式。我们可能会嘲笑Facebook 推荐给我们已经购买的亚马逊产品,也许不喜欢Spotify 觉得我们喜欢悲伤的音乐,因为即便你只是有过一次特定的行为,算法就已经开始以此为依据判断你的兴趣推荐更多的东西。
在《压迫算法》中,Safiya Umoja Noble 批评谷歌在其搜索结果中放大了种族刻板印象;《Twitter and Tear Gas》的作者Zeynep Tufekci 强调了YouTube 放大阴谋理论和极端主义内容的倾向,认为其推荐算法“以不断增加风险的方式宣传、推荐和传播视频”。
类似的探讨越多越好,这些推荐内容会对心理不那么健康的人带来什么影响,人们看法有所不同。有人认为自残的图很容易看到,有人却觉得很难遇到,而多次看到更是难上加难。
现在经营者Instagram的Adam Mosseri承认,该平台不是单纯地“需要处理自杀和自残问题”。Pinterest发言人表示:“我们现有规则已经不允许任何鼓励自我伤害的内容。但是,我们知道这些政策是不够的。我们刚刚进行了重大改进,以防止我们的算法在用户的主页Feed中推荐敏感内容。我们将很快采用更主动的方式来检测和删除它,并为寻找它的人提供更多富有情感的支持。单靠我们自己不可能做到这一点,这就是我们与心理健康专家合作使我们的方法更有效的原因。“
但是,这些改变会变的越来越难。算法推荐已成为社交媒体将用户留在自己平台的的主要手段,它不太可能消失。这些算法经过优化以满足个人用户的需求,为集体利益优化它们要困难得多。社交媒体公司还需要更多关于心理健康的知识,以更好地区分令人反感和有价值的内容,并更好地认识到这些平台可能对精神疾病患者造成的影响。这是Instagram 承诺的举措,他们必须坚持到底。
人们不只是在寻找内容,可能还在等一个答案甚至在寻找一个生活下去的动力。当算法认为一个人想死的时候,它至少应该学会告诉他:不,你不想。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
【RSA2019创新沙盒 】CloudKnox:用于混合云环境中的身份授权管理平台
【大咖・来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 每届RSA大会的创新沙盒环节都可谓万众瞩目。创新沙盒的初衷是为网络安全领域的初创企业提供平台,让他们展示自己的创新技术或愿景,以及他们可能为信息安全行业带来的变革与发展。 2019年,入围RSA大会创新沙盒“十强”的企业将在3月4日的大会现场各自进行3分钟左右的展示并回答委员会的问题。评委包括行业投资专家、网络安全专家、网络安全公司的CEO、企业CISO、行业顾问等。为了帮助大家了解这十家企业,绿盟科技推出了系列文章,今天为大介绍的的是CloudKnox公司。 公司介绍 CloudKnox是一家位于美国加利福尼亚州森尼韦尔的初创高科技公司,成立于2015年9月。公司已经完成A轮融资,累计融资1075万美元。 介绍该公司前,我们先提如下几个问题: - 谁可以访问云环境? - 这些用户都有哪些权限? - 用户使用这些权限可以做什么? - 用户实际使用过哪些权限? - 风险是什么,我们如何可以降低风险? 当前的云平台大多采用基于角色的访问控制(RBAC)的访问控制模型,不同的角色具备不同的权限,然后赋予用户特定的角色以使...
- 下一篇
使用欺骗有效地打击勒索软件
【大咖・来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 根据卡巴斯基进行的一项研究显示,勒索软件感染在过去12个月中下降了30%。这种下降与现在流行的加密货币价格密切相关。 然而,这并不意味着企业安全工程师和CISO可以高枕无忧。勒索软件仍然是受欢迎的危害活动之一,也是具有破坏性的危害活动之一。根据有关报告,勒索软件危害对中小型企业很具有破坏性。调查了2,400多个中小企业和超过50万家托管的服务客户。统计数据显示,在2016年第二季度至2018年第二季度期间,79%的中小企业受到了勒索软件的影响。这些中小型企业通常没有足够的安全预算和员工来实施复杂的预防和检测解决方案,以对抗勒索软件危害。 传统上,大多数组织依赖基于签名的检查或基于沙箱的启发式解决方案来检测和防御勒索软件。尽管这些仍然是实践企业安全架构中的重要组成部分,但它们也存在一些重大缺陷,使得它们无法有效地检测一些新颖和最复杂的勒索软件。 对于初学者来说,每天都会出现太多新的勒索软件变种。基于沙箱的解决方案通常部署在边缘,并监控来自互联网的流量。但是,使用网络钓鱼和沙箱逃避技术等社会工程技术可以完全绕过周边。此...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7