神策分析的技术选型与架构实现
很多朋友很想知道神策分析(Sensors Analytics)是如何实现在每天十亿级别数据的情况下可以做到秒级导入和秒级查询,是如何做到不需要预先指定指标和维度就能实现多维查询的。今天正好在这篇文章里面,和大家交流一下我们的技术选型与具体的架构实现,希望能够对大家有所启发。 当然,脱离客户需求谈产品设计,不太现实;而脱离产品设计,纯粹谈技术选型与架构实现,也不现实。因此,我们首先会跟大家探讨一下神策分析从产品角度,是如何从客户需求抽象产品设计的,而产品设计,又是如何确定我们的技术选型。然后,我们则会从产品的整体架构出发,逐步介绍每一个模块和子系统的具体实现。 1. 客户需求决定产品设计,产品设计决定技术选型 1.1 私有化部署 在决定做神策分析这个产品的最开始,我们就准备满足这样一类客户的需求,即对数据的安全与隐私有顾虑,或者希望能够积累自己的用户行为数据资产,并且完成数据的深度应用与二次开发。 因此,这就决定我们的产品需要是一个可以私有化部署的产品,可以部署在客户的内网中,这基本也构成是我们产品的核心设计理念。 而正因为需要私有化部署,我们在设计上,也必须考虑到因为这一点而带来的一系...
