首页 文章 精选 留言 我的

精选列表

搜索[日志服务],共10030篇文章
优秀的个人博客,低调大师

日志服务数据加工最佳实践: 从其他logstore拉取数据做富化

概述 使用全局富化函数做富化时, 需要传递一个字典或者表格结构做富化. 参考构建字典与表格做数据富化的各种途径比较. 本篇介绍从使用资源函数res_log_logstore_pull从其他logstore拉取数据的做富化的详细实践.关于res_log_logstore_pull的参数说明, 参考这里. 该语法目前支持两种模式去logstore拉取数据,一种是拉取指定时间间隔内的logstore 的数据内容,另外一种是不设置结束时间,持续的拉取目标logstore内容 背景 这里我们有两个logstore,一个是存储个人信息的source_logstore,一个是酒店存储客人入住信息的target_logstore ,我们现在将酒店的入住信息拿来做富化。注意: 这里采用pull_log接口拉取数据, 富化的logstore并不依赖索引.

优秀的个人博客,低调大师

日志服务数据加工最佳实践: 从RDS-MySQL拉取数据做富化

概述 使用全局富化函数做富化时, 需要传递一个字典或者表格结构做富化. 参考构建字典与表格做数据富化的各种途径比较. 本篇介绍从使用资源函数res_rds_mysql从RDS-MySQL拉取数据的做富化的详细实践.关于res_rds_mysql的参数说明, 参考这里. 背景 这里我们在RDS中存放用户信息表格userinfo. 原始数据库表中内容: id province city uid 1 jiangsu nanjing 01234 2 henan zhengzhou 01235 3 heilongjiang haerbin 01236 4 jiangsu yantai 01237 场景1:定期刷新拉取所有 富化数据如果定期会全量刷新时, 希望数据加工任务能够自动定期去拉取, 可以如下配置: res_rds_mysql(..., refresh_interval=300) 上述语

优秀的个人博客,低调大师

日志服务(原SLS)新功能发布(3)--多实例协同消费库(loghub client library)

使用场景 loghub client library是对LogHub消费者提供的高级模式,解决多个消费者同时消费logstore时自动分配shard问题。例如在storm、spark streaming场景中多个消费者情况下,自动处理shard的负载均衡,消费者failover等逻辑。用户只需专注在自己业务逻辑上,而无需关心shard分配、CheckPoint、Failover等事宜。 举一个例子而言,用户需要通过storm进行流计算,启动了A、B、C 3个消费实例。在有10个shard情况下,系统会自动为A、B、C分配3、3、4个Shard进行消费。 当消费实例A宕机情况下,系统会把A未消费的3个Shard中数据自动均衡B、C上,当A恢复后,会重新均衡。 当添加实例D、E情况下,系统会自动进行均衡,每个实例消费2个Shard。 当Shar

优秀的个人博客,低调大师

Logstash+Elasticsearch+Kibana日志服务器搭建

官网https://www.elastic.co 软件版本: Logstash 2.2.0 All Plugins Elasticsearch 2.2.0 Kibana 4.4.0 说明:此环境Centos6.5 64位,单机做测试,具体配置从简。 1.Logstash安装配置 解压到/usr/local/logstash-2.2.0/ Logstash配置文件: vim /usr/local/logstash-2.2.0/etc/agent.conf input{ file{ path=>"/usr/local/nginx/logs/access.log" start_position=>beginning } } output{ elasticsearch{} stdout{} } logstash启动 nohup /usr/local/logstash-2.2.0/bin/logstash -f /usr/local/logstash-2.2.0/etc/agent.conf & 2.Elasticsearch安装配置 解压到/usr/local/elasticsearch-2.2.0/ Elasticsearch配置文件 vim /usr/local/elasticsearch-2.2.0/config/elasticsearch.yml #SetthebindaddresstoaspecificIP(IPv4orIPv6): # network.host:0.0.0.0 # #SetacustomportforHTTP: # http.port:9200 Elasticsearch启动(非root用户) /usr/local/elasticsearch-2.2.0/bin/elasticsearch -d 3.Kibana安装配置 解压到/usr/local/kibana-4.4.0-linux-x64/ Kibana配置文件 vim /usr/local/kibana-4.4.0-linux-x64/config/kibana.yml #Kibanaisservedbyabackendserver.Thiscontrolswhichporttouse. server.port:5601 #Thehosttobindtheserverto. server.host:"0.0.0.0" #Ifyouarerunningkibanabehindaproxy,andwanttomountitatapath, #specifythatpathhere.ThebasePathcan'tendinaslash. #server.basePath:"" #Themaximumpayloadsizeinbytesonincomingserverrequests. #server.maxPayloadBytes:1048576 #TheElasticsearchinstancetouseforallyourqueries. elasticsearch.url:"http://localhost:9200" Kibana启动 nohup /usr/local/kibana-4.4.0-linux-x64/bin/kibana & 浏览器访问 http://yourhost.com:5601 本文转自 ygqygq2 51CTO博客,原文链接:http://blog.51cto.com/ygqygq2/1741119,如需转载请自行联系原作者

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册