【沉淀】饿了么四次技术进化的曲折路，记访谈张雪峰
《沉淀》是云栖社区展示专家风采的人物栏目。它呈现每个专家独一无二的人生经历、认识和感悟的同时，也能帮助你沉淀技术，收获对技术和人生的判断。我们的想法是：“若你想精进为一个很厉害的人，不妨细细品味这些技术牛人背后的沉淀。”如果你想了解这些云栖专家更多分享时，请点击云栖专家频道，当然我们也欢迎你往前走一步，成为我们的云栖专家（https://yq.aliyun.com/expert），与技术大牛一起“煮酒论英雄”。
近几个月，饿了么CTO张雪峰气定神闲了一些。如果把时间拨回两年前，你会发现他焦头烂额。
这并非夸张，张雪峰加入后，饿了么日订单从几十万增长到一百万，又从一百万增长到三百万，接着到2016年圣诞节的九百万。至今天，其订单量仅次于淘宝和滴滴，与美团不相上下。亮眼数字背后，张雪峰和他团队背负的技术压力可想而知。
业务突飞猛进的两年里，这位敢于挑战的技术人，做过很多尝试和努力，但他最终明白一件事：“如果完全靠自己去招人，不管用多大的代价，压力还是太大了，不仅成本居高不下，人肉堆积也未必理想。”面对云栖社区记者采访时，他指出，对于创业公司而言，时间更为宝贵。
饿了么CTO张雪峰
在一个阳光明媚的初春午后，他坐在西溪湿地内某栋楼的一个阳台，迎着太阳和记者讲述了饿了么的技术发展历程，以及他的一些思考。
1.
2014年秋天，张雪峰跟饿了么邂逅，那个时候他是饿了么联合创始人汪渊的技术顾问。2015年春节后，他正式加入饿了么，成为这家外卖平台的CTO。缘分开始之时，挑战也接憧而至。
两个维度：
- 业务：业务发展实在太快了，2014年5月份，饿了么接受大众点评D轮融资时，订单还只是刚有10W，但仅仅几个月后，饿了么订单就冲到了接近百万。“全网系统压力非常大。”张雪峰说，以前只在几十个城市有业务，而当时准备在两百多个城市上业务。
- 人才：2014年秋天，饿了么的技术团队大概只有35人，随着业务发展，当张雪峰入职时，人员已经翻到70多人。如果要扩充技术路线的话，挑战非常大。挑战并不在技术或技术架构上，而是在人上。“业务翻倍，人不能跟着一直翻倍吧？”更何况人才难招，这让张雪峰很是头疼。彼时，Python在国内基础设施和运维比较多，但做核心系统比较少，所以招人很难。
2015年那个夏天，他开始决定真正上云。当然在上云前，也做了很多尝试。比如，Python招不到人？那就分多路，使用Java和Go。另外，饿了么也有充裕的现金储备，所以在IDC上也加大了很多投入。
但问题的解决之道，并不是仅靠堆砌就可以解决。“不同技术路线及新技术不断引入后，要考虑全局复杂度”，但这还不是关键，在张雪峰看来，最关键的是饿了么的特殊性：“饿了么峰值压力很明显：集中在中午、晚上的前后三个小时，而且在高峰时，问题会不断放大。”他举了去年的一个例子，2016年5.17饿货节，饿了么峰值高达每秒1.5万笔，导致前几秒就把入口打爆而不得不进行限流（用户体验不好）。“特点很明显，峰值效应后就是一个陡峭的曲线。”他说，压力大的时候，会很大，其他时候则是闲置，全局资源利用率较低，不太划算。
于是他换了个思路，部分上云——IDC+云。促销、恶劣气候、特殊事件或季节效应时（用户在盛夏或寒冬时，点外卖最多），切换到云，用云挡住大部分流量。
上云，帮助张雪峰解决了大问题。之前饿了么部署在传统机房，虽然投入了很多，但安全防护非常弱。每天后台攻击流量高达几十G，尽管做了很多努力，但每天提心吊胆。饿了么有一半的故障都是DDOS导致的，每天都被攻击，每周都有一两次大的攻击。“而上云后，基本不用为这些攻击的事情担心了。”他说。
与此同时，上云也把饿了么的运维团队从体力活中部分解放出来。“IDC是体力活，云计算解放了运维团队，让他们有时间干更高级的活。”张雪峰极为推崇云原生（Cloud Native Application），他认为这是云时代的潮流趋势。“很多人说，云时代运维要无用武之地了,但我不这么看。云时代，运维可以更加Focus脑力活而不是体力活或大量重复工作。”他希望饿了么的团队，能够往这个方向努力并逐步转型，具备云时代的技术运营思维。
这次上云的尝试，也让张雪峰想明白一个道理：如果完全靠自己去招人，不管用多大的代价，压力还是太大了。他认为：“作为创业公司，时间对饿了么来说更为宝贵，尤其是我们还处在一个业务快速上升期。”这是饿了么愿意尝试借助外部力量的原因所在，而不仅仅是因为“开放的技术氛围，极客的技术精神”。
2.
回顾饿了么发展历程，你会发现，它经历过几次P0最严重事故：红包金额发放异常、支付完成状态异常、机房核心主备全挂。而压力最大的一次是，新浪微博在当天午餐高峰期的头条报道——饿了么点不了饭，快饿死了。
一语双关的头条，除了让全社会的目光聚焦在点不了饭上，也让人心中暗忖这家创业公司的技术力量，究竟能否长期稳定地支撑起业务的极速扩张。“买不了东西，只会抱怨两下，而钱上如果出问题（指支付状态完成异常，实际会原路径退回客人账户），一定会恐慌的。”张雪峰指出。
技术故障对公司而言，是危机，但对技术团队来说，也是成长契机。在饿了么身上，你会发现后者占了绝大部分。
有两点为证：一是饿了么系统对订单的承载能力飞速成熟，如开头提到，短短两年的时间，它的订单从几十万跃升到2016年圣诞节的九百万；二是， 谈及三次P0，饿了么CTO张雪峰并没藏着掖着，反而是与记者促膝长谈，话里行间全是对事故的反思和根源性讨论。
他说，三次P0的原因很简单，比如：支付状态完成异常那次，只是字段溢出，修复问题只用了30秒……而红包金额发放异常，从深层次来看，是当时的饿了么全网系统还没有建立统一的风控体系（有反欺诈模块）。
大部分技术架构问题背后，都和组织架构有关。随后一段时间，他开始调整组织架构。原来的风控是三级团队，现在独立出来，被提升为二级部门（一级为整个技术）。原来风控隶属于大数据部门，现在则会构建自己独立的数据模型与算法。职能上，只要被风控拦住的需求，一律先更新PRD，不允许直接开发。希望通过这些措施，构建起统一、专业的风控体系，最重要是做到两点：尽量提前发现问题、“守门（兜底）”。
“这几乎接近于尚方宝剑。” 张雪峰说，统一的风控建立后，一开始有点波折，一个是人员有波动，“另外是风控刚开始可能有点过激，动不动就是P0最高优先级需求。”张雪峰说，团队磨合了一段时间后，效果立马出来，尤其是基本遏制住了O2O领域的顽疾——刷单（用户端/商户端/配送端/ETC）。
3.
虽然饿了么在2015年就上了云，但当时的上云只是测试环境，非生产环境。那后来为什么灾备也选择上云，并进而开始做多活？
张雪峰解释说，上云后发现比他们想象的要复杂的多，也发现很多问题——IDC和云机房之间要拉光纤，很多事情需要配套。仅仅就这样吗——不轻不痒？进一步深挖则发现，让他下定决心在云上做多活是因为一次事故。
那次核心主备全挂，张雪峰的技术团队，只能干瞪眼。因为这是供应商设备Bug，“主”挂了后，“备”上线后也会自动触犯一个Bug。那时的张雪峰压力极大，但只能苦等厂商拿更高级的设备过来紧急替换。饿了么CEO张旭豪（Mark）当时比较宽容，还安慰他说：“这事急不了。”
事故让人反思，“虽然大家都知道两地三中心，但没真正吃过一次亏，就不信邪。”张雪峰发现一个机房也不可靠。并且，饿了么灾备前后也做了一年时间，前后断过几次。由于一些历史原因，饿了么当时的灾备建设并不以自动化为主，所以上灾备的（人肉）工作量非常大，而且灾备也没有发挥应有作用。于是饿了么决定进一步上云——做多活。
决定启动多活，还有一个重要原因是：通过单机房支撑饿了么全网业务的极速发展，已逐步显现容量瓶颈。
当时饿了么内部团队也有担心，完全上云后，运维是不是要转岗了？ “原因很简单，因为IDC+云是能解决峰值的效益问题，但也引入了新的问题——混合模式下的运维复杂度成倍增加，这对人员的能力和数量提出了全新要求 。”但大家没有抵触，希望通过多活慢慢往云原生方向转变，适应云时代的趋势，让自己成长起来，最终具有云思维。
实施多活中，张雪峰面临很多挑战，比如数据一致性。饿了么的外卖和配送业务对时效性要求非常高，如果几秒没响应、状态没变，用户会很着急。“互联网、分布式系统最大的挑战就是CAP，很难同时满足一致性，又满足分区容忍度——这是淘宝没有面临的局面。” 张雪峰说，随着不断尝试，他们的解决方案目前正待生产逐步验证。
目前饿了么使用阿里云ECS、RDS、云盾、CDN等服务。它在阿里云上有几千个节点，为保证多活顺利切换，会进行多轮生产演练 。张雪峰说：“多活顺利的话，会在今年四五月份，划分不同时段和区域进行生产切换。”
这家外卖巨头多活的目标是几秒钟数据延迟，一分钟内完成所有切换。对于下一步，张雪峰称，如果一切顺利的话，他将会做一个能承担所有业务的一键部署单元。
“为什么？”
“这样当容量出问题时，我只要在阿里云上开ezone（全网业务最小部署单元）就行了。”面朝午后太阳的他，脸转向笔者，直接又简单地补充到。
4.
2016年9月份，饿了么创始人、CEO张旭豪表示，引领外卖行业下半场不是靠执行力，而是要靠人工智能、数据分析等技术创新。而大数据、人工智能，张雪峰一直在布局。
今年1月份，有媒体报道，饿了么已同阿里云合作研发出人工智能ET新的调度引擎，并全面推行到外卖送餐领域。就实际来看，人工智能调度引擎优势体现在两点：全局的洞察和实时决策，落到三处：1.预估餐厅出餐时间；2.预估骑手送餐地等待时间；3.订单分配和路线规划。
为什么要和阿里云合作，张雪峰表示，仅靠饿了么自己做这件事不现实，需要更专业的团队来一起推动。
原因有两点：
- 数据太大了：饿了么创业团队主要来自交大，一开始他们自己做智能调度，但发现小看事情的难度了。“交易涨10倍，大数据可能会涨50-80倍。”张雪峰说，数据的压力太大，而且不划算，并且数据暴增之后，计算也是个问题。
- 模型的正确性很有难度：比如说特征工作，怎样从这些数据当中，发掘出特征？“挑战非常大。”， 张雪峰说：“这并不是来一位人工智能专家，就能把事做好。其中，有很多业务维度，有很多细节需要大量分析。”这要求对数据极度敏感，同时也要非常熟悉即时配送这样的非传统物流业务及产品形态。
于是，双方合作下的虚拟团队就成立了。团队包含三组，一组是物流工程团队，主要把算法模型成果做成应用；一组是饿了么大数据团队，提供一线的数据反馈与修正；另外一组是阿里云山景博士带的智能调度团队，在方向和专业性上提供帮助。其中，阿里云的作用主要是让效率上得到更大提升。“比如说，十个特征，饿了么要一一组合验证后，才能明确知道是否适用，而阿里云团队可以指出，这几个不用试了（ROI不高或死胡同），试别的。”
合作中，遇到很多挑战，最典型的是鱼和熊掌不可兼得。比如，出现异常情况，两个单都面临超时，保哪个单？金额最多的，还是新用户的单子？这些都是需要不断拿捏和思考的。投入使用后，张雪峰对于灰度测试的结果比较满意，认为可以取代人工调度：“一是省成本；二是机器出错的概率低；三是高效，以前一个配送员5个订单，后来7个，现在是9个订单。”
智能调度只是饿了么在大数据、人工智能上的一个应用方向，而在另外一个维度，张雪峰还将数据应用于业务的运营。健康度，这是饿了么在业务运营中提出的一个概念，强调全局最优。
“并不是说，商户上了饿了么就行了，一定要让商户觉得在饿了么平台有价值。”张雪峰希望通过数据和销售的经验，抽象出规律，让商户感受到，上饿了么平台的确能帮助到自己。比如说，让一个区域的几家奶茶店，分别盈利，实现共赢。
“饿了么是LBS，消费很密集，更应该去做精细化经营。淘宝头部效应很明显，我们是曲线很明显，Top 1000的店都未必占饿了么很大的份额，所以我们希望每个店都能在对应的区域做起来。”
餐饮店最难的是选址，张雪峰还希望通过数据知道：这个区域内，开什么店合适？或者说，这种类型的店最好就不要开了。另外，所有的生意都是有瓶劲的，数据也可以表明：是否适合做外卖？如果不符合商户的预期，到底是对利润期望过高，还是他的经营不好，亦或是已经到极限了？
接下来，饿了么还会利用技术尝试什么？张雪峰说，会去探索送餐机器人，也许是和阿里云合作效果不错，他又说：“以及和阿里合作智能客服。”
5.
采访中，张雪峰多次提及运维以及运维团队需要转型。笔者问为什么，他回复称：“这是他下一步重点考虑的事。”
“业务涨两倍，人涨两倍是不健康的，应该是业务涨到一定阶段，人就是一个水平线，甚至往下降了，这才是最终努力的方向。”他说，云上有很多基础设施和API，更强调自动化，传统的互联网运维思维已经不行了。团队需要改变思维，去适应写程序解决问题。“希望我们团队能够转变思维，自动化水平就自然而然提上去了。”张雪峰认为，人的意识提升能推动饿了么基础设施向更高效的自动化方向前进。
另外，经过大半年努力，在2016年底，张雪峰也从硅谷请到了几位技术大神，分别以副总裁、高级总监等身份加入，负责饿了么大数据与人工智能、核心基础设施、模型算法策略等关键技术团队。有了这一批世界级专家，饿了么会加速进入下一个10x发展周期，不仅仅是技术上10x成长，也为技术及数据驱动业务10x发展奠定坚实基础。
回顾个人发展经历，张雪峰说，有两段经历很特别。一段是微软出来后的那次创业，一次是饿了么。对于前者，张雪峰评价到，如果不是这次历练，他不太会考虑加入一家创业公司。
从微软出来后，张雪峰跟着老板做教育，线下做的还好，但转到线上时却没有成功。这对他有一些触动，体现在安逸的环境到不可知环境后的思考。
在今天来看，就是很多人都在疑问到底要不要去创业公司赌一把。但在张雪峰眼中，是否去创业公司，应该思考以下几个问题：
- 是否热爱这件事，真的想去改变什么：张雪峰说，很多人创业只是因为在原来公司待的不爽或感觉创业很酷，于是意气用事创业或进创业公司。但这种不是发自内心热爱的行为，往往做不久。
- 经济上有没有太大压力：经济上有压力的坏处，体现在两个方面：一是压力会让你没法去热爱和干好这件事；二是，当经济上有压力时，去初创公司就变成赌，心态会变坏。
- 家庭支持：如果已经成家的话，家庭要支持你做这件事。
- 追求的事有没有高度：当有热爱，也没后顾之忧之后，你的追求有没有高度？张雪峰举例子到：“有了滴滴打车后，你继续做打车去死磕，这不是改变。有追求的改变，是利用技术去做新的东西。”他还指出，去创业公司千万不要想着一夜暴富，或经济上有多少的收益，这概率很低，因为大部分都是失败的。
在最后，张雪峰说：“我喜欢去做一些现有秩序解决不了，或者至少目前看不到解决的事。”他不喜欢提VR、AR和人工智能这些概念，“我喜欢想一些具体的事。”
从这来看，也不难明白——张雪峰为什么能带领饿了么技术团队，扛住业务快速发展带来的巨大挑战，完成四次进化：因为只有具体并落到细节，才能深入。
写在最后：
在3月29日的云栖大会深圳峰会上，云栖联盟和第一财经联合发布2016云栖奖名单，评选出九大“新技术时代影响中国的决策者”。九位获奖者如何将云计算与各行各业深度融合，推动产业的深层变革？为此，我们分别采访了他们，希望展示出深耕DT时代的丰富图景。
【深度】2020年业务峰值提前3年出现，中国邮政上云实战经验谈
https://yq.aliyun.com/articles/72820
【深度】中信集团张波：信息化已经过去，数字化刚刚到来
https://yq.aliyun.com/articles/72821
【深度】一条已经坚持了10年原则，是否能适应波司登“新零售”征程？
https://yq.aliyun.com/articles/72822
【深度】小硅片与大数据的结合——协鑫光伏的新制造之路
https://yq.aliyun.com/articles/72811
【深度】特步CIO唐坤军：特步上云，最难的地方是组织流程的调整
https://yq.aliyun.com/articles/72807
【深度】饿了么四次技术进化的曲折路，记访谈张雪峰
https://yq.aliyun.com/articles/72804
【深度】金鑫：基因应用现状解析及华大基因的数据平台架构
https://yq.aliyun.com/articles/72831
【深度】丁国祥：吉利的数字化转型从云上起步
https://yq.aliyun.com/articles/72832
