在纽约启动运作

• 纽约具有独特的环境，资金和广告充足。招聘极具挑战性，因为缺乏创业经验。
• 在过去的几年里，纽约一直致力于推动创业。纽约大学和哥伦比亚大学有一些项目，鼓励学生到初创企业实习，而不仅仅去华尔街。市长建立了一所学院，侧重于技术。

团队架构

• 团队：基础架构，平台，SRE，产品，web ops，服务
• 基础架构：5层以下，IP 地址和 DNS，硬件配置
• 平台：核心应用开发，SQL 分片，服务，Web 运营
• SRE：在平台和产品之间，侧重于解决可靠性和扩展性的燃眉之急
• 服务团队：相对而言更具战略性
• Web ops：负责问题检测、响应和优化

软件部署

• 开发了一套 rsync 脚本，可以随处部署 PHP 应用程序。一旦机器的数量超过 200 台，系统便开始出现问题，部署花费了很长时间才完成，机器处于部署进程中的各种状态。
• 接下来，使用 Capistrano（一个开源工具，可以在多台服务器上运行脚本）在服务堆栈中构建部署进程（开发、分期、生产）。在几十台机器上部署可以正常工作，但当通过 SSH 部署到数百台服务器时，再次失败。
• 现在，所有的机器上运行一个协调软件。基于 Redhat Func（一个安全的、脚本化的远程控制框架和接口）功能，一个轻量级的 API 用于向主机发送命令，以构建扩展性。
• 建立部署是在 Func 的基础上向主机发送命令，避免了使用 SSH。比如，想在组A上部署软件，控制主机就可以找出隶属于组A的节点，并运行部署命令。
• 通过Capistrano的命令实现部署。它可以可以从git仓库中拉取代码。正因为是基于HTTP的,所以非常易于扩展。他们喜欢 Capistrano，因为它支持简单的基于目录的版本控制，能够很好地管理PHP程序。版本更新的时候，每个目录都包含一个SHA，所以很容易检查版本 的正确性。
• Func API 可用于返回状态报告，报告哪些机器上有这些软件版本。
• 安全重启任何服务，因为它们会关闭连接，然后重启。
• 在激活前的黑暗模式下运行所有功能。

开发

• 从哲学上，任何人都可以使用自己想要的任意工具。但随着团队的发展壮大，这些工具出现了问题。新员工想要更好地融入团队，快速地解决问题，必须以他们为中心，建立操作的标准化。
• 过程类似于 Scrum（一种敏捷管理框架），非常敏捷。
• 每个开发人员都有一台预配置的开发机器，并按照控制更新。
• 开发机会出现变化，测试，分期，乃至用于生产。
• 开发者使用 VIM 和 TextMate。
• 测试是对 PHP 程序进行代码审核。
• 在服务方面，他们已经实现了一个与提交相挂钩的测试基础架构，接下来将继承并内建通知机制。

招聘流程

• 面试通常避免数学、猜谜、脑筋急转弯等问题，而着重关注应聘者在工作中实际要做什么。
• 着重编程技能。
• 面试不是比较，只是要找对的人。
• 挑战在于找到具有可用性、扩展性经验的人才，以应对 Tumblr 面临的网络拥塞。
  • 例如，对于一个新的ID生成器器，他们需要一个高可用的JVM进程,并且需要在1万次每分钟的请求下及最多使用500兆内存的情况下完成1毫秒以下的响应。他们发现串行收集器给这个特定的工作负载带来最低的延迟。在 JVM优化上花了大量的时间。
• 在 Tumblr 工程博客（Tumblr Engineering Blog），他们对已过世的 Dennis Ritchie 和 John McCarthy 予以纪念。

经验及教训

• 自动化无处不在
• MySQL（增加分片）规模，应用程序暂时还不行
• Redis 总能带给人惊喜
• 基于 Scala 语言的应用执行效率是出色的
• 废弃项目——当你不确定将如何工作时
• 不顾用在他们发展经历中没经历过技术挑战的人，聘用有技术实力的人是因为他们能适合你的团队以及工作。
• 选择正确的软件集合将会帮助你找到你需要的人
• 建立团队的技能
• 阅读文档和博客文章。
• 多与同行交流，可以接触一些领域中经验丰富的人，例如与在 Facebook、Twitter、LinkedIn 的工程师多交流，从他们身上可以学到很多
• 对技术要循序渐进，在正式投入使用之前他们煞费苦心的学习 HBase 和 Redis。同时在试点项目中使用或将其控制在有限损害范围之内。