瑞小博的大数据平台技术选型及架构实践
前言 瑞小博成立于2014年,是一家专注于“商用WI-FI覆盖”产品研发与运营模式创新的科技公司。 公司创立之初,基于成本、效率等考量,我们选择了阿里云,至今已3个年头。这3年多里,我们使用了覆盖 弹性计算、网络、存储、数据库、大数据、安全、应用服务等多项领域的多款阿里云产品。 下面,给大家分享我们在不同阶段使用MaxCompute(原ODPS)的一些实践,以供参考。 低廉的存储&高效的运算 我们使用ODPS的首要原因,就是因为它低廉的存储和高效的运算。 公司刚成立时,业务量很小,数据存储和计算都在阿里云RDS中,简单直接。但两个月后,业务快速发展,RDS存储的费用直线上升,而且任务计算耗时越来越长,已经影响到业务的发展。 彼时,开源大数据存储计算框架Hadoop如火如荼,Spark冉冉兴起,分布式数据库Greenplum也是逐步成熟,看起来有很多的选择,我们也就此做了调研和前期尝试。但实际操作起来就会发现,这些平台在搭建初期的硬件成本、运维成本、时间成本远远超出一家创业公司的承受范围,而且这些平台并不是公司的主营业务。自建平台的方案被PASS掉。 只是想喝一杯牛奶,为什么一定...