首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/504273

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据学习笔记(一):大数据编程的五大软件初识

开学了,第一周快结束了,又是三月初,立个flag,开始学习大数据,希望月底能搞定! 首先,来了解一下大数据编程的五大核心软件。 Hadoop 存储海量的数据(HDFS):可以将多个服务器组合起来去存储 处理海量的数据并且得到有价值的信息 是最基础的,能处理我们遇到的所有问题,比较复杂。 Hive 是一个用SQL语句查询存储在Hadoop HDFS上面数据的工具。简化了大数据编程的工作量,但是有局限,只能处理类似表格的数据。 Sqoop 主要用于在Hadoop(Hive)与关系型数据库(MySQL、、、)间进行数据传递,可以将一个关系型数据(如:Mysql,Oracle、、)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 Flume 是一个高可用的,高可靠的,分布式的海量日志采集,聚合和传输的系统,可以理解成传输文件数据。 Spark Spark是专为大规模数据处理而设计的快速通用的计算机引擎。能做Hadoop Map Reduce的工作。 Spark利用内存去处理,而Hadoop利用的是磁盘,Hadoop处理的稍慢,而Spark容易崩溃。 Spar...

Hive配置元数据库metastore

在hive的conf目录下创建一个hive-site.xml文件 说明:在linux系统中vi 一下hive-site.xml 并保存 配置一下hive-site.xml 来自于hive-default.xml文件 配置驱动 javax.jdo.option.ConnectionDriverName <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>org.apache.derby.jdbc.EmbeddedDriver</value> <description>Driver class name for a JDBC metastore</description> </property> 这需要一个驱动。 1、解压mysql-connector-java-5.1.27.tar.gz 命令:tar -zxvf mysql-connector-java-5.1.27.tar.gz 2、复制驱动包到hive的...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Apache Tomcat

Apache Tomcat

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。