centos6 - elk基础入门搭建-低调大师

centos6 - elk基础入门搭建

2017-11-14 674

 
        [root@host-192-168-53-108 ~]
        # rm -rf /etc/yum.repos.d/* 
       
        [root@host-192-168-53-108 ~]
        # wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo 
       
        [root@host-192-168-53-108 ~]
        # yum clean all 
       
        [root@host-192-168-53-108 ~]
        # yum -y install java-1.8.0-openjdk* 
       
        [root@host-192-168-53-108 ~]
        # wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.rpm 
       
        [root@host-192-168-53-108 ~]
        # rpm -ivh elasticsearch-5.5.0.rpm 
       
        [root@host-192-168-53-108 ~]
        # chkconfig --add elasticsearch

 
        [root@host-192-168-53-108 ~]
        # cat /etc/hosts 
       
        192.168.53.108 elk1

 
        [root@host-192-168-53-108 ~]
        # cat /etc/elasticsearch/elasticsearch.yml 
       
        node.name: elk1
       
        network.host: 192.168.53.108
       
        http.port: 9200
       
        bootstrap.memory_lock: 
        false 
       
        bootstrap.system_call_filter: 
        false 
       
        discovery.zen.
        ping
        .unicast.hosts: [elk1] 
       
        http.cors.enabled: 
        true 
       
        http.cors.allow-origin: 
        "*"

 
        [root@host-192-168-53-108 ~]
        # cat /etc/elasticsearch/jvm.options | grep -v '^#' | grep -v ^$ 
       
        #修改
       
        -Xms6g
       
        -Xmx6g

 
        [root@host-192-168-53-108 ~]
        # vim /etc/security/limits.conf  
       
        * soft nofile 1000000
       
        * hard nofile 1000000
       
        * soft nproc 1000000
       
        * hard nproc 1000000

 
        [root@host-192-168-53-108 ~]
        # cat /etc/security/limits.d/90-nproc.conf  
       
        *          soft    nproc     100000
       
        root       soft    nproc     unlimited

 
        [root@host-192-168-53-108 ~]
        # cd /usr/local/ 
       
        [root@host-192-168-53-108 
        local
        ]
        # git clone git://github.com/mobz/elasticsearch-head.git 
       
        [root@host-192-168-53-108 
        local
        ]
        # wget https://nodejs.org/dist/v8.2.0/node-v8.2.0-linux-x64.tar.gz --no-check-certificate 
       
        [root@host-192-168-53-108 
        local
        ]
        # tar zxf node-v8.2.0-linux-x64.tar.gz  
       
        [root@host-192-168-53-108 
        local
        ]
        # ln -s /usr/local/node-v8.2.0-linux-x64/bin/node /usr/sbin/node 
       
        [root@host-192-168-53-108 
        local
        ]
        # ln -s /usr/local/node-v8.2.0-linux-x64/bin/npm /usr/sbin/npm

 
        # 设置npm代理镜像
       
        [root@host-192-168-53-108 
        local
        ]
        # npm config set registry https://registry.npm.taobao.org 
       
        [root@host-192-168-53-108 
        local
        ]
        # npm install -g grunt 
       
        [root@host-192-168-53-108 
        local
        ]
        # ln -s /usr/local/node-v8.2.0-linux-x64/lib/node_modules/grunt/bin/grunt /usr/sbin/grunt 
       
        [root@host-192-168-53-108 
        local
        ]
        # cd elasticsearch-head/

 
        [root@host-192-168-53-108 elasticsearch-
        head
        ]
        # npm install 
       
        Error making request.
       
        Error: connect ETIMEDOUT 52.216.1.0:443
       
        at Object.exports._errnoException (util.js:1024:11) 
       
        at exports._exceptionWithHostPort (util.js:1047:20) 
       
        at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1150:14) 
       
        Please report this full log at https:
        //github
        .com
        /Medium/phantomjs 
       
        npm WARN elasticsearch-
        head
        @0.0.0 license should be a valid SPDX license expression 
       
        npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@1.1.2 (node_modules
        /fsevents
        ): 
       
        npm WARN notsup SKIPPING OPTIONAL DEPENDENCY: Unsupported platform 
        for 
        fsevents@1.1.2: wanted {
        "os"
        :
        "darwin"
        ,
        "arch"
        :
        "any"
        } (current: {
        "os"
        :
        "linux"
        ,
        "arch"
        :
        "x64"
        }) 
       
        npm ERR! code ELIFECYCLE
       
        npm ERR! errno 1
       
        npm ERR! phantomjs-prebuilt@2.1.14 
        install
        : `node 
        install
        .js` 
       
        npm ERR! Exit status 1
       
        npm ERR! 
       
        npm ERR! Failed at the phantomjs-prebuilt@2.1.14 
        install 
        script. 
       
        npm ERR! This is probably not a problem with npm. There is likely additional logging output above.
       
        npm ERR! A complete log of this run can be found 
        in
        : 
       
        npm ERR!     
        /root/
        .npm
        /_logs/2017-07-26T11_29_47_063Z-debug
        .log

 
        [root@host-192-168-53-108 elasticsearch-
        head
        ]
        # npm install phantomjs-prebuilt@2.1.14 --ignore-scripts 
       
        [root@host-192-168-53-108 elasticsearch-
        head
        ]
        # npm install

 
        [root@host-192-168-53-108 elasticsearch-
        head
        ]
        # vim /usr/local/elasticsearch-head/_site/app.js 
       
        # 把localhost改为ip
       
        this.base_uri = this.config.base_uri || this.prefs.get(
        "app-base_uri"
        ) || 
        "http://localhost:9200"
        ; 
       
        this.base_uri = this.config.base_uri || this.prefs.get(
        "app-base_uri"
        ) || 
        "http://192.168.53.108:9200"
        ;

 
        [root@host-192-168-53-108 elasticsearch-
        head
        ]
        # vim /usr/local/elasticsearch-head/Gruntfile.js 
       
        connect: {
       
        server: { 
       
        options: {                                                                                                                                                                                                                                                     
       
        hostname
        : 
        "0.0.0.0"
        , 
        #添加此行 
       
        port: 9100, 
       
        base: 
        '.'
        , 
       
        keepalive: 
        true 
       
        }    
       
        }    
       
        }

 
        [root@host-192-168-53-108 elasticsearch-
        head
        ]
        # grunt server & 
       
        [root@host-192-168-53-108 elasticsearch-
        head
        ]
        # echo "cd /usr/local/elasticsearch-head;grunt server &" >> /etc/rc.local  
       
        [root@host-192-168-53-108 elasticsearch-
        head
        ]
        # cd 
       
        [root@host-192-168-53-108 ~]
        # wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.rpm

 
        [root@host-192-168-53-108 ~]
        # vim /etc/logstash/conf.d/system.conf 
       
        input {
       
        file 
        { 
       
        path => 
        "/var/log/messages" 
       
        type 
        => 
        "systemlog" 
       
        start_position => 
        "beginning" 
       
        stat_interval => 
        "2" 
       
        } 
       
        }
       
        output {
       
        elasticsearch { 
       
        hosts => [
        "192.168.53.108:9200"
        ] 
       
        index => 
        "logstash-systemlog-%{+YYYY.MM.dd}" 
       
        } 
       
        }

 
        [root@host-192-168-53-108 ~]
        # /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/system.conf

 
        #在Elasticsearch中查看
       
        # 浏览器访问http://192.168.53.108:9100/  选择基本查询 搜素

 
        [root@host-192-168-53-108 ~]
        # wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.0-x86_64.rpm 
       
        [root@host-192-168-53-108 ~]
        # rpm -ivh kibana-5.5.0-x86_64.rpm

 
        [root@host-192-168-53-108 ~]
        # cat /etc/kibana/kibana.yml | grep -v '^#' | grep -v ^$ 
       
        server.port: 5601
       
        server.host: 
        "0.0.0.0" 
       
        elasticsearch.url: 
        "http://elk1:9200"

 
        [root@host-192-168-53-108 ~]
        # /etc/init.d/kibana start 
       
        [root@host-192-168-53-108 ~]
        # chkconfig --add kibana

本文转自谢无赖51CTO博客，原文链接：http://blog.51cto.com/xieping/1951765 ，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/550199

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark新愿景：让深度学习变得更加易于使用——见https://github.com/yahoo/TensorFlowOnSpark

Spark新愿景：让深度学习变得更加易于使用转自：https://www.jianshu.com/p/07e8200b7cea 前言 Spark成功的实现了当年的承诺，让数据处理变得更容易，现在，雄心勃勃的Databricks公司展开了一个新的愿景：让深度学习变得更容易。当然牛好吹，也是要做些实际行动的，所有便有了spark-deep-learning项目。这件事情已经有很多人尝试做了，但显然太浅了，DB公司则做的更深入些。原理要做深度学习，肯定不能离开TensorFlow, MXNet之类的。 spark-deep-learning也是如此，尝试和Tensorflow进行整合。那么如何进行整合呢？我们知道Tensorflow其实是C++开发的，平时训练啥的我们主要使用python API。Spark要和TensorFlow 进行整合，那么有三种方式：走Tensorflow的Java API 走Tensorflow的Python API 通过JNI直接走Tensorflow的C++ API 因为Spark自己也可以使用Python，虽然有性能的上的损耗（据说>30%...

2017-11-15

497

1. 下载解压 2. 打开config/kibana.yml配置文件，修改elasticsearch的url， 3. 启动kibana 4. 在浏览器中输入http://10.0.0.5:5601/，进入Kibana配置页面。如果elasticsearch的地址配置不正确的话，会在控制台有提示，而且浏览器页面也会显示没有连接到elasticsearch。本文转自 genuinecx 51CTO博客，原文链接：http://blog.51cto.com/favccxx/1828096，如需转载请自行联系原作者

2017-11-15

587

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。