CENTOS6.5安装日志分析ELK elasticsearch + logstash + redis + kibana-低调大师

CENTOS6.5安装日志分析ELK elasticsearch + logstash + redis + kibana

2017-11-01 684

1、日志平台的工作流程

多个独立的agent(Shipper)负责收集不同来源的数据，一个中心agent(Indexer)负责汇总和分析数据，在中心agent前的Broker(使用redis实现)作为缓冲区，中心agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表展示。
Shipper表示日志收集，使用LogStash收集各种来源的日志数据，可以是系统日志、文件、redis、mq等等；
Broker作为远程agent与中心agent之间的缓冲区，使用redis实现，一是可以提高系统的性能，二是可以提高系统的可靠性，当中心agent提取数据失败时，数据保存在redis中，而不至于丢失；
中心agent也是LogStash，从Broker中提取数据，可以执行相关的分析和处理(Filter)；
ElasticSearch用于存储最终的数据，并提供搜索功能；
Kibana提供一个简单、丰富的web界面，数据来自于ElasticSearch，支持各种查询、统计和展示；

2、机器的部署情况

192.168.1.140 # redis 服务器，角色broker
192.168.1.140 # logstash 角色 indexer 服务器，集成elasticsearch， kibana，必须有安装web服务
192.168.1.132 # nginx服务器，角色生产服务器，logstash需要收集它的日志

这里选用的软件的版本：

logstash-1.4.2

elasticsearch-1.4.2

redis-2.6.16

kibana 是logstash内带的

这些软件之间有兼容性问题，请用其他代替版本的同学注意。

2.1 安装logstash-1.4.2

yum -y install java-1.7.0-openjdk 安装logstash需要jdk的支持

wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz

tar xzvf logstash-1.4.2.tar.gz -C /app/ && mv /app/logstash-1.4.2 /app/logstash

mkdir -p /app/logstash/conf

注：如果yum出现这样的问题：

需要按照epel

rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6

测试安装

cd /app/logstash/bin

./logstash -e 'input { stdin { } } output { stdout {} }'

输入“good job”, 如果出现类似下图，说明logstash正常工作

2.2 安装 elasticsearch-1.4.2

wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz

tar xzvf elasticsearch-1.4.2.tar.gz -C /app/

cd /app/elasticsearch-1.4.2/config

修改配置文件elasticsearch.yml

discovery.zen.ping.multicast.enabled: false #关闭广播，如果局域网有机器开9300 端口，服务会启动不了

network.host: 192.168.1.140 #指定主机地址，其实是可选的，但是最好指定因为后面跟kibana集成的时候会报http连接出错（直观体现好像是监听了:::9200 而不是0.0.0.0:9200）

http.cors.allow-origin: "/.*/"

http.cors.enabled: true #这2项都是解决跟kibana集成的问题，错误体现是你的 elasticsearch 版本过低

启动elasticsearch

cd /app/elasticsearch-1.4.2/bin

./elasticsearch # 配置阶段建议直接启动，日志会输出到stdout，-d 选项表示以daemon的方式启动，如果没有出现error ，表示服务正常启动

测试logstash 跟elasticsearch数据交互

/app/logstash/bin/logstash -e 'input { stdin { } } output { elasticsearch { host => 192.168.1.140 } }'

输入you know

curl 'http://192.168.1.140:9200/_search?pretty' # 如果有输出且没有出现错误表示服务器交互成功

注：可能出现如下错误信息，我也不知道什么原因，我没有管不过不耽误后面的搭建有谁知道这个是怎么回事或者怎么解决的请留言谢谢！！

2.3 安装kibana

cd /app/logstash/vendor

vim kibana/config.js #elasticsearch: "http://"+window.location.hostname+":9200",修改成"http://192.168.1.140:9200"

cp -Rv kibana /var/www/html 拷贝网页的配置

/etc/init.d/httpd start / service httpd start

能够访问url http://192.168.1.140/kibana/index.html 看到这样的画面

2.4安装redis

#tar xzvf redis-2.6.16.tar.gz -C /app

#cd /app/redis-2.6.16 && mkdir conf

#make target=linux26 （报错可能缺少一些编译的工具，按照提示，yum安装就行了

如果出现如下报错：

可以执行 make MALLOC=libc

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

原因：查看redis的源码 src/zmalloc.c可以看到如下代码：

#if defined(USE_TCMALLOC)

#define malloc(size) tc_malloc(size)

#define calloc(count,size) tc_calloc(count,size)

#define realloc(ptr,size) tc_realloc(ptr,size)

#define free(ptr) tc_free(ptr)

#elif defined(USE_JEMALLOC)

#define malloc(size) je_malloc(size)

#define calloc(count,size) je_calloc(count,size)

#define realloc(ptr,size) je_realloc(ptr,size)

#define free(ptr) je_free(ptr)

可以看到源码中首先会判断系统中是否存在tcmalloc内存分配器，如果没有，则使用jemalloc内存分配器，如果连jemalloc分配器也没有找到，就会报错了。

本次现网部署Redis后，因为没有jemalloc分配器，导致碎片率达到了1.59，redis的内存占用率也就是实际内存占用的1.59倍，这个数据量是非常恐怖的，对内存资源是个相当大的损耗。

在现网环境的linux系统中，可能没有预先安装Jemalloc分配器，需要手动安装。

1、wget http://www.canonware.com/download/jemalloc/jemalloc-3.2.0.tar.bz2

2、tar jxf jemalloc-3.2.0.tar.bz2 （tar.bz2的压缩格式使用 tar jxf 解压）

3、cd jemalloc-3.2.0

4、./configure

5、make && make install

6、ldconfig

过程完成后，在切回到redis-2.6.14目录中，重新执行make命令

当然如果不想使用jemalloc分配器，可以强制使用如下命令来安装redis：

make MALLOC=libc （libc是默认的内存分配器，不过经过验证，碎片率是最高的）

经现网验证：

1）使用libc内存分配器的话，内存碎片率可以达到1.6左右

2）但是使用jemalloc，碎片率一般在1.1以内

3）对于tcmalloc，和jemalloc的结果差不多，但是因为redis暂时还没有集成tcmalloc，所以需要另外来安装，过程详见：

http://blog.nosqlfan.com/html/3490.html

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

#./src/redis-server redis.conf # daemonize yes 使用默认的配置文件

2.5 集成logstash redis

vim /app/logstash/conf/nginx_acces.conf 写入如下内容

input {
redis {
host => '192.168.1.140' # 我方便测试没有指定password，最好指定password
data_type => 'list'
port => "6379"
key => 'logstash:redis' #自定义
type => 'redis-input' #自定义
}
}
output {
elasticsearch {
host => "192.168.1.140" # 由于redis和elasticsearch在一台机器上所以IP是一个

  codec => "json"
  protocol => "http" #版本1.0+ 必须指定协议http
  }
}

验证配置文件

cd /app/logstash

#bin/logstash -f ./conf/nginx_access.conf -t # 无误后启动

#bin/logstash -f ./conf/nginx_access.conf --verbose # 要检查错误 --debug

启动成功有警告没有管

2.6 日志接入另一台机器安装logstash 过程跟上面一样但是 nginx_access.conf 配置如下

input {
file {
type => "nginx_access"
path => "/var/log/nginx/access.log" 日志的路径
}
}
output {
stdout { codec => rubydebug }
redis {
host => '192.168.1.140' 对接的redisIP
data_type => 'list'
key => 'logstash:redis'
}
}

到此配置告一段落，下面验收成果

刷新nginx日志

然后在132上的logstash能够看到如下

然后在140端能够看到：

重点是访问http://192.168.1.140/kibana/index.html 验收最后的页面

这个是一个简单的格式已经设计好的当然可以自己定义了。

定义的方法：http://blog.chinaunix.net/xmlrpc.php?r=blog/article&id=4938039&uid=24940078

点进去以后的界面是这样的：

3 安装插件安装bigdesk

要想知道整个插件的列表，请访问http://www.elasticsearch.org/guide/reference/modules/plugins/ 插件还是很多的，个人认为比较值得关注的有以下几个，其他的看你需求，比如你要导入数据当然就得关注river了。

该插件可以查看集群的jvm信息，磁盘IO，索引创建删除信息等，适合查找系统瓶颈，监控集群状态等，可以执行如下命令进行安装，或者访问项目地址:https://github.com/lukas-vlcek/bigdesk

先上一张效果图：

这里我是按照https://github.com/lukas-vlcek/bigdesk

上面的第二种 git clone的方式做的（第一种没成功。。。）

首先确保安装git

yum install -y git

然后将按照上面的命令做：

git clone https://github.com/lukas-vlcek/bigdesk.git

cd bigdesk/

git tag

[... some tags left out for brevity ....]
v2.2.2
v2.2.3
v2.4.0

git checkout v2.4.0

然后将整个bigdesk目录拷贝到http下

cp -ar bigdesk /var/www/html/

然后就可以访问了

http://192.168.1.140/bigdesk

先修改host 然后连接然后会出来一个小图标（成果展示图里的）点击小图标就能出现监控的选项了。

声明：该文参考了如下几位的博客，但是是我亲自搭建了整个过程，对整个的流程进行了新的把控和优化。

http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=17291169&id=4898582

http://www.mamicode.com/info-detail-475881.html

http://nkcoder.github.io/blog/20141031/elkr-log-platform-deploy/

本文转自憬薇 51CTO博客，原文链接:http://blog.51cto.com/welcomeweb/1684696

微信关注我们

原文链接：https://yq.aliyun.com/articles/536866

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive操作create，alter等

Hive 的官方文档中对查询语言有了很详细的描述，请参考：http://wiki.apache.org/hadoop/Hive/LanguageManual ，本文的内容大部分翻译自该页面，期间加入了一些在使用过程中需要注意到的事项。 Create Table CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] [ROW FORMAT row_format] [STORED AS file_format] [LOCATION hdfs_path] CREAT...

2017-11-01

654

HBase的基本API,包括增删改查等,增和删是相对简单的操作,与传统的RDBMS相比较,这里的查询操作略显苍白,只能根据特性的行键进行查询(get) 或者根据行键的范围来查询(Scan).HBase不仅提供了这些简单的查询,而且提供了更加高级的过滤器(Filter)来查询.通过这些过滤器可以在HBase中的数据的多个维度(行,列,数据版本)上进行对数据的筛选操作,也就是说过滤器最终能够筛选数据能够细化到具体的存储单元格上(由行键,列簇,时间戳定位).HBase过滤器的类型很多,但是可以分为两大类:比较过滤器,专用过滤器. 比较过滤器通用比较器1 比较器作为过滤气的核心组成之一,用于处理具体的比较逻辑,列入字节级的比较,字符串的比较等.BinaryComparator二级制比较器,用于按字典顺序比较Byte数据值BinaryPrefixComparator前缀二进制比较器按前缀比较NullComparator判断给定的是否为空BitComparator按位比较RegexStringComparator支持正则表达式的值比较,仅支持EQUAL和非EQUALSubStringCompa...

2017-11-01

647

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。