《Spark与Hadoop大数据分析》——1.3　工具和技术-低调大师

《Spark与Hadoop大数据分析》——1.3　工具和技术

2017-08-31 600

1.3　工具和技术

让我们来看看在 Hadoop 和 Spark 中用于大数据分析的不同工具和技术。

虽然 Hadoop 平台可以用于存储和处理数据，但 Spark 只能通过将数据读入内存来进行处理。

下表展示了典型大数据分析项目中所使用的工具和技术。

微信关注我们

原文链接：https://yq.aliyun.com/articles/212008

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Spark与Hadoop大数据分析》——1.2 大数据科学以及Hadoop和Spark在其中承担的角色

1.2　大数据科学以及Hadoop和Spark在其中承担的角色数据科学的工作体现在以下这两个方面：要从数据中提取其深层次的规律性，意味着要使用统计算法提炼出有价值的信息。数据产品则是一种软件系统，其核心功能取决于对数据的统计分析和机器学习的应用。Google AdWords或Facebook里的“你可能认识的人”就是数据产品的两个例子。 1.2.1　从数据分析到数据科学的根本性转变从数据分析到数据科学的根本转变的根源，是对更准确的预测和创建更好的数据产品需求的不断增长。让我们来看一个示例，其中解释了数据分析和数据科学之间的差异。问题：某大型电信公司有多个呼叫中心，负责收集呼叫者信息并将其存储在数据库和文件系统中。该公司已经对呼叫中心数据实施数据分析，提供了以下分析结果：现在，该电信公司希望减少客户流失，改善客户体验，提高服务质量，并

2017-09-01

562

1.4　实际环境中的用例让我们来看看大数据分析用例的不同类型。总体而言，大数据分析用例可以分为以下 5 类：下表显示了大数据分析的典型用例：

2017-09-01

575

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。