【深解读】什么是数据科学？如何把数据变成产品？-低调大师

【深解读】什么是数据科学？如何把数据变成产品？

2017-05-01 641

未来属于那些知道如何把数据变成产品的企业和个人。

--麦克.罗克德斯（Mike Loukides）

据哈尔•瓦里安（Hal Varian）说，统计学家是下一个性感的工作。五年前，在《什么是Web 2.0》里蒂姆•奥莱利（Tim O’Reilly）说“数据是下一个Intel Inside”。但是这句话到底是什么意思？为什么我们突然间开始关注统计学和数据？

在这篇文章里，我会检视数据科学的各个方面，技术、企业和独特技能集合。

互联网上充斥着“数据驱动的应用”。几乎任何的电子商务应用都是数据驱动的应用。这里面前端的页面靠背后的数据库来支持，它们两者之间靠中间件来连接其他的数据库和数据服务（信用卡公司、银行等等）。但是仅仅使用数据并不是我们所说的真正的“数据科学”。一个数据应用从数据里获取价值，同时创造更多的数据作为产出。它不只是带有数据

微信关注我们

原文链接：https://yq.aliyun.com/articles/81827

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Apache Kylin权威指南2.4　构建Cube

2.4　构建Cube 本节将快速介绍构建Cube相关的操作说明和设置，因受到篇幅的限制，许多具体内容无法深入展开，读者可以从后续的第3章和第4章中获得更详细的介绍。新创建的Cube只有定义，而没有计算的数据，它的状态是“DISABLED”，是不会被查询引擎挑中的。要想让Cube有数据，还需要对它进行构建。Cube的构建方式通常有两种：全量构建和增量构建；两者的构建步骤是完全一样的，区别只在于构建时读取的数据源是全集还是子集。 Cube的构建包含如下步骤，由任务引擎来调度执行。 1）创建临时的Hive平表（从Hive读取数据）。 2）计算各维度的不同值，并收集各Cuboid的统计数据。 3）创建并保存字典。 4）保存Cuboid统计信息。 5）创建HTable。 6）计算Cube（一轮或若干轮MapReduce）。 7）将Cube的计算结果转成HFi

2017-05-02

629

Apache Kylin权威指南3.1　为什么要增量构建

第3章增量?构建第2章介绍了如何构建Cube并利用其完成在线多维分析的查询。每次Cube的构建都会从Hive中批量读取数据，而对于大多数业务场景来说，Hive中的数据处于不断增长的状态。为了支持Cube中的数据能够不断地得到更新，且无需重复地为已经处理过的历史数据构建Cube，因此对于Cube引入了增量构建的功能。我们将Cube划分为多个Segment，每个Segment用起始时间和结束时间来标志。Segment代表一段时间内源数据的预计算结果。在大部分情况下（例外情况见第4章“流式构建”），一个Segment的起始时间等于它之前那个Segment的结束时间，同理，它的结束时间等于它后面那个Segment的起始时间。同一个Cube下不同的Segment除了背后的源数据不同之外，其他如结构定义、构建过程、优化方法、存储方式等都完全相

2017-05-02

558

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。