壮大的Hadoop生态系统：十大炫酷项目简介-低调大师

壮大的Hadoop生态系统：十大炫酷项目简介

2017-05-01 563

在开发人员开发Hadoop以克服大数据带来的挑战之后的10年间，这些技术的生态系统在不断发展壮大。Apache软件基金会下面有众多的开源大数据技术项目。本文介绍一些重要项目，并顺便了解几个新兴项目。

管理和分析大数据已经变成了重大挑战，数量急剧增加的信息从社交媒体、连接到物联网中“物件”的传感器、结构化数据、非结构化数据以及可以收集的其他一切数据收集而来。为了应对这项任务，开发人员已开发了一系列新的开源技术。

旗舰软件Apache Hadoop是Apache软件基金会的一个项目，它在上个月迎来了十周年。这十年已发生了很大的变化。如今，另外许多技术也是大数据和Hadoop生态系统的一员，它们大多数都归属Apache软件基金会。

开发人员和企业组织在使用诸多项目，开发大数据技术，并将它们捐献给开源社区，以便进一步发展和采用，其中就包括Spa

微信关注我们

原文链接：https://yq.aliyun.com/articles/81313

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一图以蔽之：Hadoop在大数据企业应用中的崛起

对于试图分类和整理大数据科技，特别是 Hadoop的那些企业，这是一个振奋人心的全新信息图。这个对Hadoop的分析，也许能帮助公司的决策领导者更好地了解该技术平台。 1 什么是Hadoop? Apache Hadoop是2005 年（由Apache Software Foundation）开发的开源软件框架，特别为大数据和大规模数据处理量身定制。它包含四个主要模块： 1. Hadoop Common: 包含其它Hadoop模块所需的所有库和功能。 2. Hadoop 分布式文件系统（Distributed File System），简称HDFS。它是一个文档储存系统，能够在数据集群间提供高带宽。 3. Hadoop Yarn: 管理计算机集群中计算资源的平台，并利用这些资源做应用调度。 4. Hadoop MapReduce：处理大规模数据

2017-05-02

649

作者介绍欧阳辰，超过15年的软件开发和设计经验，目前就职于小米公司，负责小米广告平台的架构研发。曾为微软公司工作10年，担任高级软件开发主管。热爱架构设计和高可用性系统，特别对于大规模互联网软件的开发，具有丰富的理论知识和实践经验。个人公众号：互联居。数据分析（Data Analytics）从来都不是一个寂寞的领域，每一个时代都赋予其新的内容。在大数据盛行之时，各种大数据分析软件如雨后春笋一般涌现出来，整个市场一片繁花似锦、欣欣向荣。本篇文章主要介绍一些常用的大数据分析软件，帮助大家望尽天涯路，如对某软件有兴趣的话，可另找资料。一、什么是数据分析？数据分析既是一门艺术，所谓艺术就是结合技术、想象、经验和意愿等综合因素的平衡和融合。数据分析的目的就是帮助我们把数据（Data）变成信息（Information），再从信息变成知识（Knowledge），最后从知识变成智慧（Wisdom）。在数据分析的领域，商务智能（BI：Business Intelligence）、数据挖掘（DM：Data Mining）、联机分析处理（OLAP：On-Line Analytical Pro...

2017-05-02

578

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。