hadoop之 hadoop用途方向-低调大师

hadoop之 hadoop用途方向

2017-11-11 606

hadoop是什么？

Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/value是基本数据单元。用函数式变成Mapreduce代替SQL，SQL是查询语句，而Mapreduce则是使用脚本和代码，而对于适用于关系型数据库，习惯SQL的Hadoop有开源工具hive代替。
hadoop能做什么？

hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析；淘宝搜索中的自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Twitter、LinkedIn 上用于发现您可能认识的人，可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是！在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。（2012年8月25新更新，天猫的推荐系统是hive，少量尝试mahout！）
hadoop能为我司做什么？
- 大数据量存储：分布式存储
- 日志处理: Hadoop擅长这个
- 海量计算: 并行计算
- ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库
- 使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统
- 机器学习: 比如Apache Mahout项目
- 搜索引擎:hadoop + lucene实现
- 数据挖掘：目前比较流行的广告推荐
- 大量地从文件中顺序读。HDFS对顺序读进行了优化，代价是对于随机的访问负载较高。
- 数据支持一次写入，多次读取。对于已经形成的数据的更新不支持。
- 数据不进行本地缓存（文件很大，且顺序读没有局部性）
- 任何一台服务器都有可能失效，需要通过大量的数据复制使得性能不会受到大的影响。
- 用户细分特征建模
- 个性化广告推荐
- 智能仪器推荐
hadoop实际应用：

Hadoop+HBase建立NoSQL分布式数据库应用

Flume+Hadoop+Hive建立离线日志分析系统

Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析

酷狗音乐的大数据平台

京东的智能供应链预测系统

说明：整理于网络

http://www.cnblogs.com/zhangs1986/p/6528227.html

http://blog.sina.com.cn/s/blog_687194cd01017lgu.html

文章可以转载，必须以链接形式标明出处。

本文转自张冲andy 博客园博客，原文链接：http://www.cnblogs.com/andy6/p/7445824.html ，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/566122

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

filebeat+kafka+ELK5.4安装与部署

用ELK打造强大的日志分析平台，具体拓扑结构如下：在这里我们将进行kafka+filebeat+ELK5.4的部署各软件版本 1 2 3 4 5 6 jdk-8u131-linux-i586. tar .gz filebeat-5.4.0-linux-x86_64. tar .gz elasticsearch-5.4.0. tar .gz kibana-5.4.0-linux-x86_64. tar .gz logstash-5.4.0. tar .gz kafka_2.11-0.10.0.0.tgz 1、JDK安装配置（略过） 2、ELK安装与配置 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 创建ELK用户，并进行文件解压 1.elasticsearch配置 [elk@localhostelasticsearch-5.4.0]$ vi con...

2017-11-11

634

一、 shell介绍 shell是一个命令解释器，提供用户和机器的交互。支持特定语法，比如逻辑判断，循环。每个用户都有特定的shell centos7默认shell 为bash(Bourne Agin Shell) 还用zsh,csh,ksh等二、命令历史history history 命令历史 history -c 清空内存缓存命令。 ~/.bash_history 命令历史的存储文件 HISTSIZE=1000 默认命令历史记录1000条 /etc/profile-----HISTORY=10000 source/etc/profile HISTTIMEFORMAT="%Y%m%d %H:%M:%S " 显示命令历史的执行时间 chattr +a ~/.bash_history 永久保存命令历史， !! 上一条命令 !1320 序号为1320条命令历史 !mkdir 最近的以mkdir开关的命令三、命令补全和别名 tab键敲一下，敲两下参数补全，安装bash-completion alias 命令别名 aliasrestartnet="systemctlrestar...

2017-11-11

1076

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。