说在前面：术语/定义

大数据：也是数据（白马非马问题），大一点的数据，只是更大、更多、更快，更低

Hadoop/Spark：可以理解是一种数据库，只不过是分布式的，可方便的横向扩展为什么要做BingoInsight大数据管理平台?

内部因素：将近10年数据分析领域的耕耘，需要沉淀

品高云从2009年开始接触数据分析领域。刚开始主要是做数据可视化这一块，而后深入到数据分析和运营监控领域。在将近10年的项目实施过程中积累了将近100多个数据分析型项目的经验。如何把项目中的技术和经验总结沉淀下来，是品高云近年来思考的问题。所以从2014年初开始，品高云组建一个团队开始研发BingoInsight大数据平台，也是在这个大数据的浪潮下的尝试。

外部因素：商业、技术、行业环境均已成熟

从外部看，首先是商业环境，在大数据概念炒作起来之后，很多企业开始重视大数据的运用，在商业环境成熟的条件下，大数据的技术环境随着2004年谷歌的几篇大数据论文的发布，开源社区也出了两个主流的技术体系Hadoop和Spark，当前这两个技术体系也是基本上较为成熟的。再就是国内一些做数据的公司，他们也是刚开始做大数据，所以从行业竞争的角度上来说，BingoInsight跟以前传统做数据的公司可以说是处在同一个起跑线的，所以也是一个比较好的机会。

上图为BingoInsight平台的定位企业如果直接使用Hadoop或者Spark去构建大数据平台会是怎样的体验？

首先，Hadoop它只是一个框架，并不是一个产品，如果企业直接用Hadoop构建大数据平台会面临很多问题。

第一点，是技术选型，因为现在的大数据技术体系会涉及很多，除了Hadoop之外还会有很多，例如HBase、Kafka、Yarn等等这些，一般企业不知道怎么去选这些技术，而且这些技术涉及的版本也会有很多。

第二点，企业也会面临服务问题。没有培训，没有支撑，也没有升级和服务。

第三点，如果在分布式架构上面去部署，也会非常复杂，是采用云部署的方案用物理机来部署，或者是我们要部署很多分布式的集群，这多个集群之间怎么去管理等等，都会是一个问题。

其次，除了这些问题之外企业在构建大数据平台的时候，其实还要考虑很多问题。

第一个就是企业内部的各种生产系统的异构数据怎么快速采集到数据平台。

第二个就是数据进来之后怎么样可以很方便的去处理这些数据。

第三个就是处理完数据之后，企业如何使用这些数据去做分析，去消费，也会面临很多问题。

第四个就是整个大数据平台建成之后的运维，以及管理要怎么去做。

综上所述，Hadoop离企业大数据的期望其实还有一段距离，Hadoop只是解决了存储和计算问题。除此之外采集、处理、开放、消费跟运维这些问题Hadoop都没有办法帮企业解决。借助BingoInsight构建大数据平台是怎样一种体验？

　　上图为BingoInsight产品架构图

1. BingoInsight只需简单配置即可从多种数据源按多种数据周期快速采集

首先BingoInsight可以只需要简单的一些配置就可以按一定时间周期从关系型数据库、MPP数据库、文本、FTP、网页等采集数据，时间周期可以是实时、日、周、月，非常灵活。

2. BingoInsight开放性设计，拥抱不同的存储计算技术，企业可灵活选择

BingoInsight的设计理念就是一个开放式的设计，并不去限制企业是用hadoop，还是用传统数据库（像Oracle），企业可以灵活的去选择这些存储和计算技术。当然在帮企业构建的过程中我们也会根据实际的数据量或者是应用场景设计整个大数据的技术架构。整个存储计算的平台是采用开放性的设计。

3. BingoInsight模板化常用数据处理场景，帮助用户快速处理数据

数据进来之后，平台怎么来处理呢？我们把企业在做数据处理的场景做了详细的梳理，像经常会遇到报表作业，或者是跑指标，或者是对文本分类，或者是数据挖掘等等，BingoInsight将把这些数据处理常用场景，总结沉淀为一个个数据处理的模板库，用户做数据处理的时候只需选取一个数据处理的模板，然后再通过设置数据处理的一些参数就可以了，相当于用户在做数据处理的时候不需要开发或者是少量的开发就可以处理数据。规则设置好之后BingoInsight会自动调度，调度的时间周期也可以很灵活，可以实时、按周、按日、按月。大数据平台的这些数据怎么进行开放与共享？

像美国、英国、新加坡这些发达国家，整个政府的数据是放在开放平台上的，社会的一些公共用户在政府的开放平台上就可以去检索到所需的相关数据。基于共享和开放这个场景和条件下，BingoInsight如何去满足的呢？首先，由数据提供者在平台上去注册它需要去共享或者需要去开放的数据，形成一个企业或者是政府统一的一个数据目录，在注册的时候也是需要去审批的，服务开发者可以基于数据目录去开发平台的数据服务，当然这个是基于SQL的数据服务的一个开发，平台也会提供数据服务的一个测试工具，帮开发者去做测试，再提交到服务管理员去做审批，审批完之后就可以把这个数据服务发布出来。如果服务使用者需要哪些数据，他只需通过数据服务的申请然后再授权，即可直接去使用这个数据服务。在整个平台数据服务的使用过程中，平台也会对数据服务进行数据监控和统计。这样的话就把整个企业和政府的整个共享和开放流程进行统一的管控和管理。

本文转自d1net（转载）