首页 文章 精选 留言 我的

精选列表

搜索[构建系统],共10000篇文章
优秀的个人博客,低调大师

用Kibana+Logstash+Elasticsearch快速搭建实时日志查询、收集与分析系统

安装环境 先看看都需要安装什么软件包 ruby 运行Kibana 必须, rubygems 安装ruby扩展必须 bundler 功能类似于yum JDK 运行java程序必须 redis 用来处理日志队列 logstash 收集、过滤日志 ElasticSearch 全文搜索服务(logstash集成了一个) kibana 页面展示 192.168.18.240 logstash index,kibana,JDK 192.168.18.241 logstash agent,JDK 192.168.18.242 redis 192.168.18.243 ElasticSearch,JDK 先安装redis (192.168.18.242) # wget http://redis.googlecode.com/files/redis-2.6.12.tar.gz # tar zxvf redis-2.6.12.tar.gz # mv redis-2.6.12 redis # cd redis # make -j24 # make install # vi /root/soft/redis/redis.conf 修改level为 loglevel verbose # redis-server /root/soft/redis/redis.conf & 看看 redis服务的状态 # lsof-i:6379 安装 elasticsearch (192.168.18.243) elasticsearch会依赖于java # vi /etc/apt/sources.list deb http: //ftp.debian.org/debian/ squeeze main non-free deb-src http: //ftp.debian.org/debian/ squeeze main non-free # apt-get update # apt-cache search sun-java # apt-get install sun-java6-jdk sun-java6-jre # java -version # wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.20.6.zip # unzip elasticsearch-0.20.6.zip # mv elasticsearch-0.20.6 /usr/local/share/elasticsearch # cd /usr/local/share/elasticsearch/bin/ # ./elasticsearch -f 在 logstash index上安装基础的软件环境: (192.168.18.240) # vi /etc/apt/sources.list deb http: //ftp.debian.org/debian/ squeeze main non-free deb-src http: //ftp.debian.org/debian/ squeeze main non-free # apt-get update # apt-cache search sun-java # apt-get install sun-java6-jdk sun-java6-jre # java -version 开始安装logstash ( 其实logstash就是一个java脚本,不需要安装...下载即用 ) # wget https://logstash.objects.dreamhost.com/release/logstash-1.1.9-monolithic.jar # vi /root/soft/redis.conf input { redis { host => '192.168.18.242' data_type => 'list' port => "6379" key => 'logstash:redis' type => 'redis-input' } } output { elasticsearch { host => '192.168.18.243' port => "9300" } } # java -jar /root/soft/logstash-1.1.9-monolithic.jar agent -f /root/soft/redis.conf -- web --backend elasticsearch:///?local 现在可以通过浏览器访问一下 http://192.168.18.240:9292 看看logstash是的页面是个什么样子 配置logstash的agent (192.168.18.241) 安装sun-java6-jre sun-java6-jdk # wget https://logstash.objects.dreamhost.com/release/logstash-1.1.9-monolithic.jar # vi /root/soft/redis.conf input { stdin { type => "stdin-type" } file { type => "linux-syslog" # Wildcards work, here :) path => [ "/var/log/*.log", "/var/log/messages", "/var/log/syslog" ] } } output { redis { host => '192.168.18.242' data_type => 'list' key => 'logstash:redis' } } # java -jar /root/soft/logstash-1.1.9-monolithic.jar agent -f /root/soft/redis.conf & OK,最后就是 Kibana了 ,我把Kibana装在了 logstash index上面 下载地址为http://kibana.org/intro.html # apt-get install ruby rubygems # gem install bundler #bundleinstall ( /var/lib/gems/1.8/bin/bundle install ) 以上为ruby运行环境 wget https://github.com/rashidkpc/Kibana/archive/v0.2.0.tar.gz #tar zxvfKibana-0.2.0.tar.gz #cdKibana-0.2.0 直接安装就好了,非常简单,因为之前咱们已经安装好了bundle 编辑配置文件,指定elasticsearch的位置 [192.168.18.240 root@nodec:/soft/Kibana-0.2.0] #vimKibanaConfig.rb ..... Elasticsearch="192.168.18.243:9200" KibanaPort=5601 KibanaHost='0.0.0.0' ..... 主要是这几个参数 启动的话需要ruby [192.168.18.240 root@nodec:/soft/Kibana-0.2.0] #/usr/bin/rubykibana.rb& [192.168.18.240 root@nodec:/soft/Kibana-0.2.0] #==Sinatra/1.3.5hastakenthestageon5601fordevelopmentwithbackupfromThin >>Thinwebserver(v1.5.0codenameKnife) >>Maximumconnectionssetto1024 >>Listeningon0.0.0.0:5601,CTRL+Ctostop 如果ruby的东西都不缺的话,启动会很顺利,ok现在看看5601端口的状态 [192.168.233.128root@nodec:/soft/Kibana-0.2.0] #lsof-i:5601 COMMANDPIDUSERFDTYPEDEVICESIZENODENAME ruby3116root5uIPv428947TCP*:esmagent(LISTEN) 访问一下 试试看http://192.168.18.240:5601尝试搜索一下php的错误日志,比如mysql 呵呵,要的就是这个效果,日志会实时的汇总到 logstash index 上供我们查询,当然这只是开始使用logstash的第一步而已,更多的高级功能可以看看官方文档http://logstash.net/docs/1.1.9/

优秀的个人博客,低调大师

跨市场分钟级行情获取指南:用 Python 低成本构建 A股/港股/美股 1m/5m K 线数据流水线

针对跨市场(A股/港股/美股)高频分钟级 K 线数据接口价格昂贵、协议不统一及复权计算繁琐的工程痛点,本文提出一种基于 quantdash 标准化 Python SDK 的轻量级高频行情接入方案。通过服务端标准化处理多市场统一标的后缀(如 .SH, .HK, .US)与服务器端前复权(adjust='forward'),开发者仅需十几行 Python 代码即可低延迟获取 1m/5m 等高频 K 线数据,配合毫秒级时间戳与本地 Parquet 缓存,可大幅降低量化回测与盘中监控的数据获取成本。

优秀的个人博客,低调大师

【硬核实战】基于腾讯云混元Embedding+向量数据库构建企业级RAG知识助手(附完整Python源码与踩坑记录)

在上一季度的内部知识库重构中,我们面临一个典型困境:公司沉淀了3000+篇内部技术文档和故障复盘报告,但开发者在遇到线上问题时,依然习惯在钉钉群里@老员工,而非翻阅知识库。原因无他——关键词检索(ES)无法理解语义。搜“接口超时”,永远搜不到写“响应延迟”的文档。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册