大数据学习笔记（一）：大数据编程的五大软件初识

2018-03-01 577

开学了，第一周快结束了，又是三月初，立个flag，开始学习大数据，希望月底能搞定！

首先，来了解一下大数据编程的五大核心软件。

Hadoop

存储海量的数据（HDFS）：可以将多个服务器组合起来去存储
处理海量的数据并且得到有价值的信息
是最基础的，能处理我们遇到的所有问题，比较复杂。

Hive

是一个用SQL语句查询存储在Hadoop HDFS上面数据的工具。
简化了大数据编程的工作量，但是有局限，只能处理类似表格的数据。

Sqoop

主要用于在Hadoop（Hive）与关系型数据库（MySQL、、、）间进行数据传递，可以将一个关系型数据（如：Mysql，Oracle、、）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Flume

是一个高可用的，高可靠的，分布式的海量日志采集，聚合和传输的系统，可以理解成传输文件数据。

Spark

Spark是专为大规模数据处理而设计的快速通用的计算机引擎。
能做Hadoop　Map Reduce的工作。
Spark利用内存去处理，而Hadoop利用的是磁盘，Hadoop处理的稍慢，而Spark容易崩溃。
Spark提供了大量的库，包括SQL，ＭＬｌｉｂ等。开发者可以在同一应用程序中无缝组合使用这些库。

其他

Hbase:处理千亿级的数据特别快，一般在特别大型的公司，如联通会用到，比如你去查某一天的通话记录。
Oozie、Zookeeper：辅助软件
Pig：类似于Hive

ok,比较晚了，简单学习了一下大数据的五大软件，之后逐一在这一个月内会学习完。

微信关注我们

原文链接：https://yq.aliyun.com/articles/503746

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark SQL程序设计（1）

Spark SQL编写流程 1. SparkSession对象封装了spark sql执行环境信息，是所有Spark SQL程序的唯一入口 sparkSession中包含 sparkContext和sqlContext两个对象，不用再自己创建sparkContext 2. 创建DataFrame或Dataset Spark SQL支持各种数据源 3. 在DataFrame或Dataset之上进行transformation和action Spark SQL提供了多种transformation和action函数 4. 返回结果保存到HDFS中，或直接打印出来 val spark=SparkSession.build .master("local") .appName("appName") .getOrCreate() // 注意，后面所有程序片段总的spark变量均值SparkSession // 将RDD隐式转换为DataFrame import spark.implicits._ DataFrame与Dataset 1. DataFrame=Dataset[Row] row表示...

2018-03-01

485

如果你对大数据计算感兴趣如果你想学习云计算技术如果你想和众多最前沿的计算牛人一起工作国内最大的云计算平台等你来为了无法计算的价值更为实现你的价值！一、业务及平台介绍阿里巴巴通用计算平台(MaxCompute，原名ODPS)是阿里巴巴提供的一种安全可靠、高效能、低成本、从GB到EB级别按需弹性伸缩的大数据计算服务。MaxCompute总体部署规模超过7万台，分布式中国和全球超过10个数据中心，在阿里巴巴内部承接了99%的大数据存储和95%的计算，在阿里云上向用户提供了丰富的大数据开发工具、完善的数据导入导出方案以及多种经典的分布式计算模型。能够最快速的解决用户海量数据计算问题，有效降低企业大数据计算平台的总体拥有成本，提高大数据应用开发效率，并保障数据在云计算环境的安全。进入国内顶尖的自研商业化大数据平台产品团队，非你莫属！二、招聘

2018-03-02

598

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。