首页 文章 精选 留言 我的

精选列表

搜索[实时语音],共10000篇文章
优秀的个人博客,低调大师

北京云栖大会workshop:《数据接入:海量数据存储及实时访问》篇

实验背景介绍 了解更多2017云栖大会·北京峰会 TechInsight & Workshop. 本手册为云栖大会Workshop《云数据·大计算:快速搭建互联网在线运营分析平台》的《数据处理:数据建模与加工》篇而准备。主要阐述在使用DataWorks/MaxCompute过程中如何直读TableStore中的日志数据并进行加工、用户画像,学员可以根据本实验手册,去学习如何创建外部表、编写SQL。 实验涉及大数据产品 表格存储 Table Store 实验过程 必备条件: 开通表格存储服务Table Store,并在华北2区创建相应的实例 记录该次实验中使用的AK信息 下载此次用户数据Mock程序 获取AK 前往AK控制台 获取AK,由于该AK具有该云账户完全的权限,请妥善保管。 创建实例: 在表格存储官网进行服务开通 登录表格存储控制台 在控制台上创

优秀的个人博客,低调大师

ELK实时日志分析平台(elk+kafka+metricbeat)-elasticsearch部署(五)

192.168.30.121,192.168.30.122,192.168.30.123上配置elasticsearch集群: 在所有主机上添加elk用户 在所有主机上解压elasticsearch,并更改属主,组: 修改192.168.30.121配置文件: #cat>elasticsearch/config/elasticsearch.yml<<EOF cluster.name: my-es node.name: node-1 path.data: /usr/local/elk/elasticsearch/data path.logs: /usr/local/elk/elasticsearch/logs bootstrap.memory_lock: false network.host: 192.168.30.121 http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.30.121", "192.168.30.122","192.168.30.123"] discovery.zen.minimum_master_nodes: 2 node.master: true node.data: true EOF 修改192.168.30.122配置: #cat>elasticsearch/config/elasticsearch.yml<<EOF cluster.name: my-es node.name: node-2 path.data: /usr/local/elk/elasticsearch/data path.logs: /usr/local/elk/elasticsearch/logs bootstrap.memory_lock: false network.host: 192.168.30.122 http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.30.121", "192.168.30.122","192.168.30.123"] discovery.zen.minimum_master_nodes: 2 node.master: true node.data: true EOF 修改192.168.30.123配置: #cat>elasticsearch/config/elasticsearch.yml<<EOF cluster.name: my-es node.name: node-3 path.data: /usr/local/elk/elasticsearch/data path.logs: /usr/local/elk/elasticsearch/logs bootstrap.memory_lock: false network.host: 192.168.30.123 http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.30.121", "192.168.30.122","192.168.30.123"] discovery.zen.minimum_master_nodes: 2 node.master: true node.data: true EOF 启动: cd /usr/local/elk/elasticsearch/logs && nohup sudo -u elk /usr/local/elk/elasticsearch/bin/elasticsearch & 检查: 安装head: 检查依赖包: 安装: #git clone https://github.com/mobz/elasticsearch-head.git cd elasticsearch-head/ npm config set registry https://registry.npm.taobao.org npm install #安装较慢,失败可多次执行 修改vim Gruntfile.js connect: { server: { options: { hostname: "192.168.30.121", port: 9100, base: '.', keepalive: true } } } }); 修改app.js: [root@k8s-etcd1elasticsearch-head]# vim _site/app.js this.base_uri =this.config.base_uri || this.prefs.get("app-base_uri") ||"http://192.168.30.121:9200"; 在所有elasticsearch的配置文件追添以下两行,然后重启elasticsearch: http.cors.enabled: true http.cors.allow-origin: "*" 启动head: [root@k8s-etcd1 elk]# cdelasticsearch-head/ && nohup grunt server -d & 检测: 本文转自 zhuxtqw 51CTO博客,原文链接:http://blog.51cto.com/1054054/1968684,如需转载请自行联系原作者

优秀的个人博客,低调大师

ELK实时日志分析平台(elk+kafka+metricbeat)-kibana部署(六)

解压(192.168.30.121上执行): tar -zxf /opt/soft/newelk/kibana-5.5.1-linux-x86_64.tar.gz -C ./ mv kibana-5.5.1-linux-x86_64 kibana 修改配置文件: #cat>kibana/config/kibana.yml<<EOF server.port: 5601 server.host: "192.168.30.121" server.basePath: "" server.maxPayloadBytes: 1048576 elasticsearch.url: "http://192.168.30.121:9200" elasticsearch.preserveHost: true kibana.index: ".kibana" kibana.defaultAppId: "discover" elasticsearch.username: "elastic" elasticsearch.password: "changeme" elasticsearch.pingTimeout: 1500 elasticsearch.requestTimeout: 30000 elasticsearch.shardTimeout: 0 elasticsearch.startupTimeout: 5000 pid.file: /var/run/kibana.pid logging.dest: stdout logging.silent: false logging.quiet: false logging.verbose: false ops.interval: 5000 i18n.defaultLocale: "en" EOF 启动: 以metricbeat为例导入模板: tar -zxf/opt/soft/newelk/metricbeat-5.5.1-linux-x86_64.tar.gz -C /opt/soft/newelk cd/opt/soft/newelk/metricbeat-5.5.1-linux-x86_64 创建test索引: curl -XPUT'192.168.30.121:9200/test?pretty' 导入模板到指定索引: ./scripts/import_dashboards -es http://192.168.30.121:9200 -k test 在kibana中关联索引: 本文转自 zhuxtqw 51CTO博客,原文链接:http://blog.51cto.com/1054054/1968690,如需转载请自行联系原作者

优秀的个人博客,低调大师

ELK实时日志分析平台(elk+kafka+metricbeat)-搭建说明(一)

数据流向: metricbeat->kafka->logstash->elasticsearch->kibana. 应用分布: 主机 应用 备注 192.168.30.121 java version "1.8.0_144" zookeeper-3.4.10.tar.gz kafka_2.12-0.11.0.0.tgz elasticsearch-5.5.1.tar.gz logstash-5.5.1.tar.gz kibana-5.5.1-linux-x86_64.tar.gz 192.168.30.122 java version "1.8.0_144" zookeeper-3.4.10.tar.gz kafka_2.12-0.11.0.0.tgz elasticsearch-5.5.1.tar.gz 192.168.30.123 java version "1.8.0_144" zookeeper-3.4.10.tar.gz kafka_2.12-0.11.0.0.tgz elasticsearch-5.5.1.tar.gz 192.168.30.125 客户端 metricbeat-5.5.1-linux-x86_64 本文转自 zhuxtqw 51CTO博客,原文链接:http://blog.51cto.com/1054054/1963636,如需转载请自行联系原作者

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册