Hive初识-低调大师

Hive初识

2018-02-27 623

背景

mapreduce编程的不变性，开发成本较高。比较死板。

MapReduce is hard to program

【八股文】格式编程，三大部分

No Schema, lack of query lanaguages, eg. SQL（没有库，缺乏查询语言slq等）

数据分析，针对DBA、SQL语句，如何对数据分析
MapReduce编程成本高
FaceBook 实现并开源Hive

如何简化MapReduce的开发？？？

hive介绍

hive把HDFS、yarn、MapReduce封装了。数据存储在hdfs、转换为MapReduce、运行在yarn上。hive是一个数据仓库。

什么是HIVE？

由Facebook开源用于解决海量结构化日志的数据统计；
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能；
构建在Hadoop之上的数据仓库；
使用HQL作为查询接口；
使用HDFS存储；
使用MapReduce计算；
本质是：将HQL转化成MapReduce程序
灵活性和扩展性比较好：支持UDF，自定义存储格式等；
适合离线数据处理；
HQL的核心是Engine。引擎的作用是把HQL转换为mapreduce

HIVE在hadoop生态中的位置

微信关注我们

原文链接：https://yq.aliyun.com/articles/510230

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据潮流下的机器学习及应用场景

机器学习是一门人工智能的科学，能通过经验自动改进的计算机算法的研究。　机器学习是一个多学科交叉的领域，会涉及到计算机、信息学、数学、统计学、神经科学等。机器学习是大数据的核心技术，本质都是基于经验的算法处理。机器学习强调三个关键词：算法、经验、性能，其处理过程如下图所示。在数据的基础上，通过算法构建出模型并对模型进行评估。评估的性能如果达到要求，就用该模型来测试其他的数据；如果达不到要求，就要调整算法来重新建立模型，再次进行评估。如此循环往复，最终获得满意的经验来处理其他的数据。机器学习技术和方法已经被成功应用到多个领域，比如今日头条的个性推荐系统，蚂蚁金服的金融反欺诈，讯飞的语音识别，自然语言处理和google的机器翻译，模式识别，智能控制、垃圾邮件等。机器学习的分类监督学习监督是从给定的训练数据集中学习一个模型，再用此模型预测，再将预测结果与实际结果进行比较，不断调整预测模型，直到达到一个预期的准确率。常见算法包括回归分析和统计分类。监督学习常用作训练神经网络和决策树。他们高度依赖事先确定的分类系统。如垃圾邮件、新闻资讯内容分类。非监督学习非监督学习的训练集没...

2018-02-28

536

近几年随着DT概念在国内持续普及，2016年中国大数据市场规模为168.0亿元，增速达到45%；预计2017-2020增速将保持在30%以上，中国信通院发布大数据发展调查报告（《中国大数据发展调查报告（2017年）》）中指出大部分企业均已意识到数据分析对企业发展的重要性。 59.2%的受访企业已经成立了数据分析相关部门。 35.1% 的受访企业已经应用了大数据，同时， 22.9%的企业计划将在未来 1 年内应用大数据。企业应用大数据所带来的主要效果包括实现智能决策、提升运营效率和改善风险管理。进一步加大在大数据领域的投入。一半以上的受访企业未来计划加大对大数据的投入，近20%的企业预计投入增长在50%以上。在日益增长的大数据需求的背景下，企业在选择自己的大数据平台有以下关注维度，其中安全以71.4%高举榜首。大数据安全管理的挑

2018-02-28

696

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

Hive初识

背景

MapReduce is hard to program

No Schema, lack of query lanaguages, eg. SQL（没有库，缺乏查询语言slq等）