【干货】大数据平台建设实践与探讨-低调大师

【干货】大数据平台建设实践与探讨

2017-05-01 688

导读：微店是全球领先的移动电商网络，创造了一个便利的手机购物环境，目前有超过3000万的店主使用微店销售商品。微店大数据架构师王锋，将重点描述大数据处理平台中数据采集、传输、存储、分析过程中的公共基础技术部分。

马云说“人类正从IT时代走向DT时代”。这个观念提法很快就被广泛传播开来，并被人们所接受。这里笔者不准备大谈DT时代，但是相信DT时代一定是以数据处理为核心的，因此大数据技术在这里有至关重要的地位，很有幸笔者及各位看官正在这个领域努力。

曾看到一篇文章，里面有个观点，“DT时代的骨骼——大数据处理平台”，反映了大数据处理平台在互联网或者移动互联网公司的重要性。大数据处理平台其实包含了整个大数据处理过程，它承载了从数据采集、传输、存储、分析挖掘（离线 OR、实时 OR、即席查询）、可视化、价值体现的整体流程。这些在大的互联网公司

微信关注我们

原文链接：https://yq.aliyun.com/articles/80908

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

吴甘沙清华讲：大数据的10个技术前沿（中）

本次讲座是清华大数据产业联合会"技术•前沿"系列讲座的第一讲，主讲人为英特尔（中国）研究院院长吴甘沙。回复“清华大数据”可获得完整版PPT。吴甘沙院长从大数据技术前沿的十个问题入手，对大数据产业进行了深度解析。讲座分为三部分：大数据的10个技术前沿(上）——数据，12月25日已发大数据的10个技术前沿(中）——计算，本期大数据的10个技术前沿(下）——分析，待续演讲正文：第四，软硬兼施。就是软的硬的两手抓。首先，对大数据来说，一定要选择更好的硬件架构。体现在：计算、存储、互联。在计算这一块，首先要选择的是大小核，Brawny cores是大核，主要是至强服务器芯片，wimpy cores是小核，主要是ARM服务器芯片。前几年大小核争得很厉害，但最近随着某些ARM服务器芯片厂商破产，大家都比较明白了，对于绝大多数大数据应用，大核肯

2017-05-02

588

大数据领域，融资金额最高的10家初创公司是： Cloudera,10.4亿美元,基于Hadoop架构的软件、服务和培训 Palantir Technologies,9.5亿美元,分析应用 Domo,4.5亿美元,云端商业智能 MongoDB,3.11亿美元,面向文档型数据库 InsideSales.com,1.99亿美元,云端预测分析 Mu Sigma,1.95亿美元,数据科学即服务 DataStax,1.9亿美元,基于ApacheCassandra的平台 Dataminr,1.8亿美元,社交媒体分析 MapR,1.74亿美元,基于Hadoop架构的软件、服务和培训 Birst,1.56亿美元,云端商业智能这份名单基于我自己的调查得出，它扩充了非常有用但有时不太可靠的CrunchBase数据库。筹集的资金包括风投资金以及老牌公司的投资。在我编制和追踪

2017-05-02

563

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。