Bumble 是一款在线约会应用程序，也是美国市场中仅次于 Tinder 的第二大约会应用。作为一款主打陌生人社交的软件，Bumble 的用户（主要是女性）以往经常遭受到陌生人发送的色情图片骚扰。

为了打击这样的行为，2019 年，Bumble 在应用中推出了一个名为 Private Detector 的 AI 功能。Private Detector 的工作原理是自动模糊处理聊天时分享的色情图像，接收方可以自己决定是否查看或拦截该图片，觉得这种行为冒犯了自己的也可以向 Bumble 举报。

近日，为了进一步打击 "网络色情内容" ，致力于使互联网变得更加安全，Bumble 决定在 GitHub 上开源 Private Detector，并希望它能够被更广泛的技术社区/企业所采用。

Private Detector 使用了大量数据集进行训练，并使用了经过精心挑选阴性样本（不包含任何色情内容的样本），以更好地反映 “打擦边球” 的情况和人体的非敏感部位（如腿、胳膊），以便不将其标记为滥用；之后迭代地将样本添加到训练数据集中，以反映实际用户的行为或测试错误分类。

该模型还利用 Bumble 由 GPU 驱动的数据中心，并在数据集、网络和超参数（用于加速或提高训练性能的设置）优化的持续练习中进行了训练。

根据 Bumble 的数据分析显示，Private Detector 在不同条件下的性能（离线和在线）均达到了世界一流的水平（在上采样和类似生产的设置中，准确率 > 98%）。

Private Detector 基于 Apache-2.0 协议，开发者可以将其作为标准来实现，以按原样模糊处理色情图像，或者使用额外的训练样本对其进行微调。仓库里除了有 Private Detector 的源代码，还包括大量的文档和如何执行这些操作的指南。

项目地址：https://github.com/bumble-tech/private-detector