00【在线日志分析】之项目概述和GitHub项目地址-低调大师

00【在线日志分析】之项目概述和GitHub项目地址

2017-01-06 656

1.前期基本架构图

2.最终基本架构图


3.版本
Flume: 1.7
Hadoop: 2.7.3
Scala: 2.11
Kafka: 0.10.1.0
Spark: 2.0.2
InfluxDB: 1.2.0
Grafana: 4.1.1
maven: 3.3.9

4.主要目的
主要是想基于Exec Source开发自定义插件AdvancedExecSource，将机器名称和服务名称添加到cdh 服务的角色log数据的每一行前面，则格式为：机器名称服务名称年月日时分秒.毫秒日志级别日志信息   ；
然后在后面的spark streaming 实时计算我们所需求：比如统计每台机器的服务的每秒出现的error次数、统计每5秒的warn，error次数等等；
来实时可视化展示和邮件短信、微信企业号通知。

  其实主要我们现在的很多监控服务基本达不到秒级的通知，都为5分钟等等，为了方便我们自己的维护；
  其实对一些即将出现的问题可以提前预知；
  其实最主要可以有效扩展到实时计算数据库级别日志，比如MySQL慢查询日志，nginx，tomcat，linux的系统级别日志等等。


5.大概流程
1.搭建hadoop cluster
2.eclipse 导入flume源代码（window7 安装maven，eclipse，eclipse与maven集成）
3.开发flume-ng 自定义插件
4.flume 收集，汇聚到hdfs(主要测试是否汇聚成功，后期也可以做离线处理)
5.flume 收集，汇聚到kafka
6.搭建kafka monitor
7.搭建 spark client
8.window7装ieda开发工具
9.idea开发 spark streaming 的wc
10.读取kafka日志，开发spark streaming的这块日志分析
11.写入influxdb
12.grafana可视化展示
13.集成邮件

说明：针对自身情况，自行选择，步骤如上，但不是固定的，有些顺序是可以打乱的，例如开发工具的安装，可以一起操作的，再如这几个组件的下载编译，如果不
想编译可以直接下tar包的，自行选择就好，但是建议还是自己编译，遇到坑才能更好的记住这个东西，本身这个项目就是学习提升的过程，要是什么都是现成的，
那就没什么意义了

6.百度云: http://pan.baidu.com/s/1skXCh8T 密码：m2rs

7.GitHub: https://github.com/Hackeruncle/OnlineLogAnalysis (欢迎大家单击Star,持续关注)

微信关注我们

原文链接：https://yq.aliyun.com/articles/578758

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

03【在线日志分析】之hadoop-2.7.3编译和搭建集群环境(HDFS HA,Yarn HA)

环境:CentOS6.5 1.下载hadoop2.7.3最新源码[root@sht-sgmhadoopnn-01 ~]# mkdir -p learnproject/compilesoft[root@sht-sgmhadoopnn-01 ~]# cd learnproject/compilesoft[root@sht-sgmhadoopnn-01 compilesoft]# wget http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz[root@sht-sgmhadoopnn-01 compilesoft]# tar -xzvf hadoop-2.7.3-src.tar.gz[root@sht-sgmhadoopnn-01 compilesoft]# cd hadoop-2.7.3-src[root@sht-sgmhadoopnn-01 hadoop-2.7.3-src]# cat BUILDING.txt Build instructions for Hadoop -----...

2017-01-06

708

【log收集】:机器名称服务名称用户flume-agent-01: namenode hdfsflume-agent-02: datanode hdfsflume-agent-03: datanode hdfs 【log聚合】:机器名称用户sht-sgmhadoopcm-01(172.16.101.54) root 【sink到hdfs】:hdfs://172.16.101.56:8020/testwjp/ 1.下载apache-flume-1.7.0-bin.tar.gz[hdfs@flume-agent-01 tmp]$ wget http://www-eu.apache.org/dist/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz--2017-01-04 20:40:10-- http://www-eu.apache.org/dist/flume/1.7.0/apache-flume-1.7.0-bin.tar.gzResolving www-eu.apache.org... 88.198.26.2, 2a01:4f8:130:219...

2017-01-06

715

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。