在线日志分析项目解读-低调大师

在线日志分析项目解读

2017-11-28 728

1，日志的采集

从flume agent 上的数据一般分到两条线上一条是kafka 集群，后期可以用流式处理（spark streaming 或storm 等等）一条是到hdfs，后期可以用hive处理，

业界叫lambda架构 architecture (一般公司的推荐系统，就是用这种架构)

flume-ng agent 采集收集日志后，聚合在一个节点上（也可以不聚合）

为什么要聚合？为什么不直接写到kafka集群？

假如公司规模比较大，有无数个flume节点,这么多都连kafka，会增加复杂度，有个聚合节点（会是多个节点组成，防止单节点挂了），还可以对日志格式统一处理，筛选不要的数据

hdfs 可以永久保存数据，mr 可以处理多久数据都行

kafka 集群数据可以存储一定时间不能长期存储，sparkstreaming 只能处理一定时间访问内数据

storm 流

数据源 nginx 日志，mysql 日志，tomcat 日志等等->

flume ->

kafka 消息件消息发送到这里缓存数据一段时间 ->

spark streaming+spark sql on yarn cluster (实时计算) -> 存储

1.->redis adminLTE + flask 前端组件 + echarts3 集成到监控的系统上

2.->influxdb 时序分布式数据库 grafana 可视化组件(这两种结合比较好)

(elk kibana )

存储+可视化分析

画图工具

http://www.processon.com/

本文转自 skinglzw 51CTO博客，原文链接：http://blog.51cto.com/skinglzw/1967271，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/521263

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HBase 报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is...

学hbase的时候，搭建好环境启动hbase，jps查看进程发现hmaster和hregionserevr可以正常出现。终端下输入hbase shell后也可以进入hbase的shell，输入List后就报错；错误提示：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 查看错误日志发现：如图发现有一台节点无法连接，所以master一直是等待状态，不能列出具体的namespace.启动另一台集群的这个节点就恢复正常。当然要保证zookeeper能正常提供服务。可以通过查看zookeeper的状态来查看是否正常; zkServer.sh status; 必须保证半数以上的进程存活。然后就是要保证时间同步，可以临时先手动同步或者搭建NTP服务器。 hbase集群正常的截图本文转自 ChinaUnicom110 51CTO博客，原文链接:http://blog.51cto.com/xingyue2011/1934856

2017-11-28

766

玩过Oracle的同学一定知道rowid=objectid+file#+block#+row#这个概念,其实在Hive里也有“Rowid”. Hive里有虚拟列的概念，类似于Oracle里的伪列，其中三个虚拟列是：INPUT__FILE__NAME，BLOCK__OFFSET__INSIDE__FILE，ROW__OFFSET__INSIDE__BLOCK. INPUT__FILE__NAME:MAPREDUCE读取的文件的URI BLOCK__OFFSET__INSIDE__FILE：For blockCompressed files,表示RCFile Block orSequenceFile当前块在文件中的偏移量；For non-block-compressedfiles,表示当前行的偏移量. ROW__OFFSET__INSIDE__BLOCK:当打开参数hive.exec.rowoffset（默认关闭）时会开启这个虚拟列特性，For non-block-compressed files这个值一直为0，否则表示行号. 本文转自MIKE老毕 51CTO博客，原文链接：http://...

2017-11-28

904

资源下载

更多资源

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。