每日一博 | 百度垂类离线计算系统发展历程
作者 | 弘远君 导读 本文以百度垂类离线计算系统的演进方向为主线,详细描述搜索垂类离线计算系统发展过程中遇到的问题,以及对应的解决方案。架构演进过程中一直奉行“没有最好的架构,只有最合适的架构”的宗旨,面对不同阶段遇到的问题,给出了适合的解决方案。尤其是近10年来的超大规模系统架构的升级, 一方面需要考虑系统本身的通用性和适配性,以满足多个业务方的需求;另一方面需要结合系统当前运行的特点,在易用性、稳定性、智能化等不同方面进行提升。希望读者能在了解系统演进的过程中获得一些启发。 全文9127字,预计阅读时间23分钟。 01 相关背景介绍 在过去,用户通过“百度一下”得到的搜索结果是从互联网上抓取来的结果,也被称为“自然结果”。随着网络信息日益丰富,自然结果不能有效满足用户需求。为了解决自然结果无法满足搜索需求的问题,提出了针对各个垂类深耕的搜索结果的解决方案,一方面为用户带来的更优质的内容,让用户体验即搜即得的便捷,另一方面也可以帮助优质内容生产者提升访问量。 随着业务发展,除了标准通用的业务处理需求变更之外,越来越多的业务有自定义代码的更新需求。通过自定义数据处理,一方面,产品负责...
