首页 文章 精选 留言 我的

精选列表

搜索[实时etl],共10000篇文章
优秀的个人博客,低调大师

企业级 SpringBoot 教程-sprinboot整合elk,搭建实时日志平台

elk 简介 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。 Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。 elk下载安装 elk下载地址:https: //www. elastic. co/downloads/ 建议在 linux上运行,elk在windows上支持得不好,另外需要jdk1.8 的支持,需要提前安装好jdk. 下载完之后: 安装,以logstash为例子: cd /usr/local/ mkdir logstash tar -zxvf logstash-5.3.2.tar.gz mv logstash-5.3.2 /usr/local/logstash 配置、启动 Elasticsearch 打开Elasticsearch的配置文件: vim config/elasticsearch.yml 修改配置: network.host=localhost network.port=9200 它默认就是这个配置,没有特殊要求,在本地不需要修改。 启动Elasticsearch ./bin/elasticsearch 启动成功,访问localhost:9200,网页显示: { "name" : "56IrTCM", "cluster_name" : "elasticsearch", "cluster_uuid" : "e4ja7vS2TIKI1BsggEAa6Q", "version" : { "number" : "5.2.2", "build_hash" : "f9d9b74", "build_date" : "2017-02-24T17:26:45.835Z", "build_snapshot" : false, "lucene_version" : "6.4.1" }, "tagline" : "You Know, for Search" } 配置、启动 logstash 在 logstash的主目录下: vim config/log4j_to_es.conf 修改 log4j_to_es.conf 如下: input { log4j { mode => "server" host => "localhost" port => 4560 } } filter { #Only matched data are send to output. } output { elasticsearch { action => "index" #The operation on ES hosts => "localhost:9200" #ElasticSearch host, can be array. index => "applog" #The index to write data to. } }Spring Cloud大型企业分布式微服务云架构源码一七九一七四三三八零哦 修改完配置后启动: ./bin/logstash -f config/log4j_to_es.conf

优秀的个人博客,低调大师

北京云栖大会workshop:《数据接入:海量数据存储及实时访问》篇

实验背景介绍 了解更多2017云栖大会·北京峰会 TechInsight & Workshop. 本手册为云栖大会Workshop《云数据·大计算:快速搭建互联网在线运营分析平台》的《数据处理:数据建模与加工》篇而准备。主要阐述在使用DataWorks/MaxCompute过程中如何直读TableStore中的日志数据并进行加工、用户画像,学员可以根据本实验手册,去学习如何创建外部表、编写SQL。 实验涉及大数据产品 表格存储 Table Store 实验过程 必备条件: 开通表格存储服务Table Store,并在华北2区创建相应的实例 记录该次实验中使用的AK信息 下载此次用户数据Mock程序 获取AK 前往AK控制台 获取AK,由于该AK具有该云账户完全的权限,请妥善保管。 创建实例: 在表格存储官网进行服务开通 登录表格存储控制台 在控制台上创

优秀的个人博客,低调大师

ELK实时日志分析平台(elk+kafka+metricbeat)-elasticsearch部署(五)

192.168.30.121,192.168.30.122,192.168.30.123上配置elasticsearch集群: 在所有主机上添加elk用户 在所有主机上解压elasticsearch,并更改属主,组: 修改192.168.30.121配置文件: #cat>elasticsearch/config/elasticsearch.yml<<EOF cluster.name: my-es node.name: node-1 path.data: /usr/local/elk/elasticsearch/data path.logs: /usr/local/elk/elasticsearch/logs bootstrap.memory_lock: false network.host: 192.168.30.121 http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.30.121", "192.168.30.122","192.168.30.123"] discovery.zen.minimum_master_nodes: 2 node.master: true node.data: true EOF 修改192.168.30.122配置: #cat>elasticsearch/config/elasticsearch.yml<<EOF cluster.name: my-es node.name: node-2 path.data: /usr/local/elk/elasticsearch/data path.logs: /usr/local/elk/elasticsearch/logs bootstrap.memory_lock: false network.host: 192.168.30.122 http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.30.121", "192.168.30.122","192.168.30.123"] discovery.zen.minimum_master_nodes: 2 node.master: true node.data: true EOF 修改192.168.30.123配置: #cat>elasticsearch/config/elasticsearch.yml<<EOF cluster.name: my-es node.name: node-3 path.data: /usr/local/elk/elasticsearch/data path.logs: /usr/local/elk/elasticsearch/logs bootstrap.memory_lock: false network.host: 192.168.30.123 http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.30.121", "192.168.30.122","192.168.30.123"] discovery.zen.minimum_master_nodes: 2 node.master: true node.data: true EOF 启动: cd /usr/local/elk/elasticsearch/logs && nohup sudo -u elk /usr/local/elk/elasticsearch/bin/elasticsearch & 检查: 安装head: 检查依赖包: 安装: #git clone https://github.com/mobz/elasticsearch-head.git cd elasticsearch-head/ npm config set registry https://registry.npm.taobao.org npm install #安装较慢,失败可多次执行 修改vim Gruntfile.js connect: { server: { options: { hostname: "192.168.30.121", port: 9100, base: '.', keepalive: true } } } }); 修改app.js: [root@k8s-etcd1elasticsearch-head]# vim _site/app.js this.base_uri =this.config.base_uri || this.prefs.get("app-base_uri") ||"http://192.168.30.121:9200"; 在所有elasticsearch的配置文件追添以下两行,然后重启elasticsearch: http.cors.enabled: true http.cors.allow-origin: "*" 启动head: [root@k8s-etcd1 elk]# cdelasticsearch-head/ && nohup grunt server -d & 检测: 本文转自 zhuxtqw 51CTO博客,原文链接:http://blog.51cto.com/1054054/1968684,如需转载请自行联系原作者

优秀的个人博客,低调大师

ELK实时日志分析平台(elk+kafka+metricbeat)-kibana部署(六)

解压(192.168.30.121上执行): tar -zxf /opt/soft/newelk/kibana-5.5.1-linux-x86_64.tar.gz -C ./ mv kibana-5.5.1-linux-x86_64 kibana 修改配置文件: #cat>kibana/config/kibana.yml<<EOF server.port: 5601 server.host: "192.168.30.121" server.basePath: "" server.maxPayloadBytes: 1048576 elasticsearch.url: "http://192.168.30.121:9200" elasticsearch.preserveHost: true kibana.index: ".kibana" kibana.defaultAppId: "discover" elasticsearch.username: "elastic" elasticsearch.password: "changeme" elasticsearch.pingTimeout: 1500 elasticsearch.requestTimeout: 30000 elasticsearch.shardTimeout: 0 elasticsearch.startupTimeout: 5000 pid.file: /var/run/kibana.pid logging.dest: stdout logging.silent: false logging.quiet: false logging.verbose: false ops.interval: 5000 i18n.defaultLocale: "en" EOF 启动: 以metricbeat为例导入模板: tar -zxf/opt/soft/newelk/metricbeat-5.5.1-linux-x86_64.tar.gz -C /opt/soft/newelk cd/opt/soft/newelk/metricbeat-5.5.1-linux-x86_64 创建test索引: curl -XPUT'192.168.30.121:9200/test?pretty' 导入模板到指定索引: ./scripts/import_dashboards -es http://192.168.30.121:9200 -k test 在kibana中关联索引: 本文转自 zhuxtqw 51CTO博客,原文链接:http://blog.51cto.com/1054054/1968690,如需转载请自行联系原作者

优秀的个人博客,低调大师

ELK实时日志分析平台(elk+kafka+metricbeat)-搭建说明(一)

数据流向: metricbeat->kafka->logstash->elasticsearch->kibana. 应用分布: 主机 应用 备注 192.168.30.121 java version "1.8.0_144" zookeeper-3.4.10.tar.gz kafka_2.12-0.11.0.0.tgz elasticsearch-5.5.1.tar.gz logstash-5.5.1.tar.gz kibana-5.5.1-linux-x86_64.tar.gz 192.168.30.122 java version "1.8.0_144" zookeeper-3.4.10.tar.gz kafka_2.12-0.11.0.0.tgz elasticsearch-5.5.1.tar.gz 192.168.30.123 java version "1.8.0_144" zookeeper-3.4.10.tar.gz kafka_2.12-0.11.0.0.tgz elasticsearch-5.5.1.tar.gz 192.168.30.125 客户端 metricbeat-5.5.1-linux-x86_64 本文转自 zhuxtqw 51CTO博客,原文链接:http://blog.51cto.com/1054054/1963636,如需转载请自行联系原作者

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册