【干货】大数据平台建设实践与探讨-低调大师

【干货】大数据平台建设实践与探讨

2017-05-01 663

导读：微店是全球领先的移动电商网络，创造了一个便利的手机购物环境，目前有超过3000万的店主使用微店销售商品。微店大数据架构师王锋，将重点描述大数据处理平台中数据采集、传输、存储、分析过程中的公共基础技术部分。

马云说“人类正从IT时代走向DT时代”。这个观念提法很快就被广泛传播开来，并被人们所接受。这里笔者不准备大谈DT时代，但是相信DT时代一定是以数据处理为核心的，因此大数据技术在这里有至关重要的地位，很有幸笔者及各位看官正在这个领域努力。

曾看到一篇文章，里面有个观点，“DT时代的骨骼——大数据处理平台”，反映了大数据处理平台在互联网或者移动互联网公司的重要性。大数据处理平台其实包含了整个大数据处理过程，它承载了从数据采集、传输、存储、分析挖掘（离线 OR、实时 OR、即席查询）、可视化、价值体现的整体流程。这些在大的互联网公司

微信关注我们

原文链接：https://yq.aliyun.com/articles/80908

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

吴甘沙清华讲：大数据的10个技术前沿（中）

本次讲座是清华大数据产业联合会"技术•前沿"系列讲座的第一讲，主讲人为英特尔（中国）研究院院长吴甘沙。回复“清华大数据”可获得完整版PPT。吴甘沙院长从大数据技术前沿的十个问题入手，对大数据产业进行了深度解析。讲座分为三部分：大数据的10个技术前沿(上）——数据，12月25日已发大数据的10个技术前沿(中）——计算，本期大数据的10个技术前沿(下）——分析，待续演讲正文：第四，软硬兼施。就是软的硬的两手抓。首先，对大数据来说，一定要选择更好的硬件架构。体现在：计算、存储、互联。在计算这一块，首先要选择的是大小核，Brawny cores是大核，主要是至强服务器芯片，wimpy cores是小核，主要是ARM服务器芯片。前几年大小核争得很厉害，但最近随着某些ARM服务器芯片厂商破产，大家都比较明白了，对于绝大多数大数据应用，大核肯

2017-05-02

570

大数据领域，融资金额最高的10家初创公司是： Cloudera,10.4亿美元,基于Hadoop架构的软件、服务和培训 Palantir Technologies,9.5亿美元,分析应用 Domo,4.5亿美元,云端商业智能 MongoDB,3.11亿美元,面向文档型数据库 InsideSales.com,1.99亿美元,云端预测分析 Mu Sigma,1.95亿美元,数据科学即服务 DataStax,1.9亿美元,基于ApacheCassandra的平台 Dataminr,1.8亿美元,社交媒体分析 MapR,1.74亿美元,基于Hadoop架构的软件、服务和培训 Birst,1.56亿美元,云端商业智能这份名单基于我自己的调查得出，它扩充了非常有用但有时不太可靠的CrunchBase数据库。筹集的资金包括风投资金以及老牌公司的投资。在我编制和追踪

2017-05-02

539

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。