首页 文章 精选 留言 我的

精选列表

搜索[一站式在线联络平台],共10000篇文章
优秀的个人博客,低调大师

00【在线日志分析】之项目概述和GitHub项目地址

1.前期基本架构图2.最终基本架构图 3.版本 Flume: 1.7 Hadoop: 2.7.3Scala: 2.11Kafka: 0.10.1.0 Spark: 2.0.2 InfluxDB: 1.2.0 Grafana: 4.1.1 maven: 3.3.9 4.主要目的 主要是想基于Exec Source开发自定义插件AdvancedExecSource,将机器名称 和 服务名称 添加到cdh 服务的角色log数据的每一行前面,则格式为:机器名称 服务名称 年月日 时分秒.毫秒 日志级别 日志信息 ;然后在后面的spark streaming 实时计算我们所需求:比如统计每台机器的服务的每秒出现的error次数、统计每5秒的warn,error次数等等;来实时可视化展示和邮件短信、微信企业号通知。 其实主要我们现在的很多监控服务基本达不到秒级的通知,都为5分钟等等,为了方便我们自己的维护; 其实对一些即将出现的问题可以提前预知; 其实最主要可以有效扩展到实时计算数据库级别日志,比如MySQL慢查询日志,nginx,tomcat,linux的系统级别日志等等。 5.大概流程1.搭建hadoop cluster 2.eclipse 导入flume源代码(window7 安装maven,eclipse,eclipse与maven集成) 3.开发flume-ng 自定义插件 4.flume 收集,汇聚到hdfs(主要测试是否汇聚成功,后期也可以做离线处理) 5.flume 收集,汇聚到kafka 6.搭建kafka monitor 7.搭建 spark client 8.window7装ieda开发工具 9.idea开发 spark streaming 的wc 10.读取kafka日志,开发spark streaming的这块日志分析 11.写入influxdb12.grafana可视化展示 13.集成邮件 说明:针对自身情况,自行选择,步骤如上,但不是固定的,有些顺序是可以打乱的,例如开发工具的安装,可以一起操作的,再如这几个组件的下载编译,如果不 想编译可以直接下tar包的,自行选择就好,但是建议还是自己编译,遇到坑才能更好的记住这个东西,本身这个项目就是学习提升的过程,要是什么都是现成的, 那就没什么意义了 6.百度云: http://pan.baidu.com/s/1skXCh8T 密码:m2rs7.GitHub: https://github.com/Hackeruncle/OnlineLogAnalysis(欢迎大家单击Star,持续关注)

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册