拒绝 “ghs”,约会软件开源 “色图” 识别 AI
Bumble 是一款在线约会应用程序,也是美国市场中仅次于 Tinder 的第二大约会应用。作为一款主打陌生人社交的软件,Bumble 的用户(主要是女性)以往经常遭受到陌生人发送的色情图片骚扰。 为了打击这样的行为,2019 年,Bumble 在应用中推出了一个名为 Private Detector 的 AI 功能。Private Detector 的工作原理是自动模糊处理聊天时分享的色情图像,接收方可以自己决定是否查看或拦截该图片,觉得这种行为冒犯了自己的也可以向 Bumble 举报。 近日,为了进一步打击 "网络色情内容" ,致力于使互联网变得更加安全,Bumble 决定在 GitHub 上开源 Private Detector,并希望它能够被更广泛的技术社区/企业所采用。 Private Detector 使用了大量数据集进行训练,并使用了经过精心挑选阴性样本(不包含任何色情内容的样本),以更好地反映 “打擦边球” 的情况和人体的非敏感部位(如腿、胳膊),以便不将其标记为滥用;之后迭代地将样本添加到训练数据集中,以反映实际用户的行为或测试错误分类。 该模型还利用 Bumble ...
