为什么你的推荐系统越智能,越容易踩版权坑?聊聊内容平台的去重与多源融合
# 为什么你的推荐系统越智能,越容易踩版权坑?聊聊内容平台的去重与多源融合 作者:Echo_Wish 很多人以为,做一个内容推荐系统很简单。 用户喜欢什么,就推荐什么。 用户看科技文章,就推更多科技文章;用户喜欢短视频,就推更多类似视频。 但真正把推荐系统做到大型平台规模时,你会发现一个非常现实的问题: **推荐不是最大的难题,内容治理才是。** 因为每天进入平台的数据可能来自: - 官方媒体; - 自媒体作者; - 用户投稿; - 合作机构; - 第三方资讯接口; - 爬虫采集内容。 这些内容里面,有原创、有转载、有改写、有重复,还有大量“换个标题重新发”。 如果平台没有做好: - 版权识别...