首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/504273

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据学习笔记(一):大数据编程的五大软件初识

开学了,第一周快结束了,又是三月初,立个flag,开始学习大数据,希望月底能搞定! 首先,来了解一下大数据编程的五大核心软件。 Hadoop 存储海量的数据(HDFS):可以将多个服务器组合起来去存储 处理海量的数据并且得到有价值的信息 是最基础的,能处理我们遇到的所有问题,比较复杂。 Hive 是一个用SQL语句查询存储在Hadoop HDFS上面数据的工具。简化了大数据编程的工作量,但是有局限,只能处理类似表格的数据。 Sqoop 主要用于在Hadoop(Hive)与关系型数据库(MySQL、、、)间进行数据传递,可以将一个关系型数据(如:Mysql,Oracle、、)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 Flume 是一个高可用的,高可靠的,分布式的海量日志采集,聚合和传输的系统,可以理解成传输文件数据。 Spark Spark是专为大规模数据处理而设计的快速通用的计算机引擎。能做Hadoop Map Reduce的工作。 Spark利用内存去处理,而Hadoop利用的是磁盘,Hadoop处理的稍慢,而Spark容易崩溃。 Spar...

Hive配置元数据库metastore

在hive的conf目录下创建一个hive-site.xml文件 说明:在linux系统中vi 一下hive-site.xml 并保存 配置一下hive-site.xml 来自于hive-default.xml文件 配置驱动 javax.jdo.option.ConnectionDriverName <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>org.apache.derby.jdbc.EmbeddedDriver</value> <description>Driver class name for a JDBC metastore</description> </property> 这需要一个驱动。 1、解压mysql-connector-java-5.1.27.tar.gz 命令:tar -zxvf mysql-connector-java-5.1.27.tar.gz 2、复制驱动包到hive的...

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册