首页 文章 精选 留言 我的

精选列表

搜索[抓包过滤],共10000篇文章
优秀的个人博客,低调大师

轻量级日志监控平台LOKI实施方案详解(日志的过滤展示及LOKI告警配置详解)

一、简 介 Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展,高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益,并且易于操作。使用标签来作为索引,而不是对全文进行检索,也就是说,你通过这些标签既可以查询日志的内容也可以查询到监控的数据签,极大地降低了日志索引的存储。系统架构十分简单,由以下3个部分组成 : * Loki 是主服务器,负责存储日志和处理查询 。 * promtail 是代理,负责收集日志并将其发送给 loki(只收集日志,不在本地进行运算) 。 * Grafana 用于 UI 展示。 只要在被监控服务器上安装promtail来收集日志然后发送给Loki存储,就可以在Grafana UI界面通过添加Loki为数据源进行日志查询(如果Loki服务器性能不够,可以部署多个Loki进行存储及查询)。作为一个日志系统不关只有查询分析日志的能力,还能对日志进行监控和报警 二、系 统 架 构 1、promtail收集并将日志发送给loki的 Distributor 组件 2、Distributor会对接收到的日志流进行正确性校验,并将验证后的日志分批并行发送到Ingester(存储) 3、Ingester 接受日志流并构建数据块,压缩后存放到所连接的存储后端 4、Querier(查询器) 收到HTTP查询请求,并将请求发送至Ingester 用以获取内存数据 ,Ingester 收到请求后返回符合条件的数据 ; 5、如果 Ingester 没有返回数据,Querier 会从后端存储加载数据并遍历去重执行查询 ,通过HTTP返回查询结果 三、与 ELK 比 较 1、ELK虽然功能丰富,但规模复杂,资源占用高,操作苦难,很多功能往往用不上,有点杀鸡用牛刀的感觉。 2、不对日志进行全文索引。通过存储压缩非结构化日志和仅索引元数据,Loki 操作起来会更简单,更省成本。 3、通过使用与 Prometheus 相同的标签记录流对日志进行索引和分组,这使得日志的扩展和操作效率更高。 4、安装部署简单快速,且受 Grafana 原生支持。 四、LOKI查询类型 1、日志查询返回日志行的内容。 例如:对关键字的统计(五分钟出现WARN次数) 2、度量查询扩展了日志查询,并根据来自日志查询的日志内容计算样本值。 例如:对数据的清洗:五分钟内数据的最小值 五、LOKI架构部署 1、部署环境 服务器 系统 部署软件 版本号 默认端口 被监控服务器 Linux Promtail v2.2.1 9080 LOKI服务器 Linux Loki v2.2.1 3100 2、部署过程 2.1 在应用服务器上部署promtail curl -O -L "https://github.com/grafana/loki/releases/download/v2.2.1/promtail-linux-amd64.zip" unzip -q promtail-linux-amd64.zip -d /opt/jzjk/promtail 并新增文件/opt/jzjk/promtail/promtail.yaml cat /opt/jzjk/promtail/promtail.yaml server: http_listen_port: 9080 grpc_listen_port: 0 positions: filename: /tmp/positions.yaml clients: - url: http://loki服务器IP:3100/loki/api/v1/push scrape_configs: - job_name: test_log static_configs: - targets: - localhost labels: job: test_log __path__: /opt/test.log 2.2 在LOKI服务器上部署loki curl -O -L "https://github.com/grafana/loki/releases/download/v2.2.1/loki-linux-amd64.zip" unzip -q loki-linux-amd64.zip -d /opt/jzjk/loki 并新增文件/opt/jzjk/loki/loki.yaml auth_enabled: false server: http_listen_port: 3100 #端口号 log_level: debug #日志等级为debug ingester: lifecycler: address: 127.0.0.1 ring: kvstore: store: inmemory replication_factor: 1 final_sleep: 0s chunk_idle_period: 5m chunk_retain_period: 30s schema_config: configs: - from: 2020-05-15 store: boltdb object_store: filesystem schema: v11 index: prefix: index_ period: 168h #每张表的时间范围6天 storage_config: boltdb: directory: /opt/jzjk/loki/index #索引文件存储地址 filesystem: directory: /opt/jzjk/loki/chunks #块存储地址 limits_config: enforce_metric_name: false reject_old_samples: true reject_old_samples_max_age: 168h 3.启动服务(先启动LOKI) nohup /opt/jzjk/loki/loki-linux-amd64 -config.file=/opt/jzjk/loki/loki.yaml & nohup /opt/jzjk/promtail/promtail-linux-amd64 -config.file=/opt/jzjk/promtail/promtail.yaml & 六、LOKI数据的展示 1.非json格式日志的数据处理 在loki中查看日志全量,发现Log labels 只有2个,假设java后面的数据是我们要获取的变量,仅用现在的Log labels 无法获取,故需要用正则表达式regexp新增我们要获取的数据 通过公式计算新增Log labels名称为“value” 获取纯数据,用图标用于展示(五分钟内最小值) 七、LOKI告警配置 1.在loki配置文件中新增ruler组件,新增内容如下: ruler: storage: type: local local: #rule规则存储目录 directory: /tmp/rules rule_path: /tmp/scratch #告警推送地址,对接到prometheus告警地址 alertmanager_url: http://localhost:9093 ring: kvstore: store: inmemory enable_api: true 2、确保/tmp/rules及/tmp/scratch目录存在,并在/tmp/rules下新建目录fake(为何是fake,请看下图org_id部分),在fake下创建yaml文件存放告警规则 cat /tmp/rules/fake/aler.yaml groups: - name: example rules: - alert: test_log_line number # 日志最近五天的行数大于0就告警 expr: count_over_time({job="test_log"} [5d]) >0 for: 1m 3、重启loki进程,打开prometheus的告警页面 prometheus_ip:9093验证告警是否呈现

优秀的个人博客,低调大师

国产甘特图黑马星甘 V3.2 用"人员工作量视图"抓个正着!

大家好,我是星甘的作者。 我们做项目排期的时候,有没有遇到过这种情况: 项目计划做得很漂亮,连里程碑都定好了,结果一到执行阶段,发现任务延期了。一问才知道,排期的时候完全没管员工的承受能力,分配给某个核心骨干的任务太多,他一个人一天得当48小时用;而有些组员却在那边"摸鱼",没分到活儿。 排计划不看工作量,就是在耍流氓。 所以这次 V3.2 版本,我们重磅推出了人员工作量视图!谁忙得团团转,谁在带薪喝茶,点进去一目了然。 好了,废话不多说,直接上干货 👇 🎯 这次更新了啥? 1. 👥 重磅功能:人员工作量视图 点击顶部工具栏的视图 > 人员工作量视图,新世界的大门为您打开: 它能帮到你什么? 直观展示负荷:支持按日、周、月三种粒度,统计汇总每位成员的时间分配情况。 状态预警机制:绿色代表进行中一切正常。如果分配的工时超出负荷(>100%),直接亮起红色色块报警 🔴,提醒你赶紧调整人员分工! 精准的明细下钻:一根进度条太单调?鼠标悬停在对应日期的色块上,直接展示该员工当天的详细任务明细、所占工时和比例。 自动排期计算:支持“自然日”和“工作日”模式,工作日模式下会自动帮你屏蔽周末的工时计算,非常精准。 有了它,排版计划终于有理有据了,告别凭感觉分配任务! 2. 🎨 任务背景支持任意颜色自定义 在之前的版本中,我们支持了简单的任务颜色选项,但总有追求极致的朋友觉得预设颜色不够用。 现在,任务背景可以选择任意颜色了!无论是企业的主题色,还是多状态的渐进色,你都可以通过调色板精准配置出你要的颜色,让你的甘特图色彩更加丰富且独一无二。 3. ↔️ 拖拽表格宽度体验优化 之前有用户吐槽:左侧任务表格往左边拖得很窄的时候,列的内容直接被挤压变形,字都看不清了。 优化方案:现在将任务表格拖拽到最小宽度后,自动以横向滚动代替暴力列压缩。保证你的每一列数据依然清晰可见,再也不用眯着眼睛看重叠在一起的标题了。 📣 写在最后 星甘 StarGantt 是一个开源免费的在线甘特图工具,不管你是: 👨‍💻 程序员做项目排期 📊 产品经理做需求规划 🎯 项目经理做进度管理 📚 学生做学习计划 都可以直接用,不收费。 相关链接: 🔗 官网:stargantt.cn 🔗 开源地址:Gitee

优秀的个人博客,低调大师

软硬件两手抓!解读H3C关键业务的高可用高可靠性

在云计算、大数据、物联网和移动互联网时代,企业对IT系统的依赖性越来越高。如何建设一套高可用性和高可靠性的IT系统,确保企业各项业务稳健高效运行,成为摆在企业面前的最大难题,特别是对于互联网支付、证券交易等核心关键业务来讲,系统一旦出现问题,就会造成无法弥补的损失。 对于关键业务来讲,企业的IT系统正在面临着以下挑战: 1)我们正在部署新应用,需要更高的可靠性; 2)我们的业务交易量和数量快速膨胀,对关键业务应对系统可用性的要求越来越高; 3)我们的系统有可能遭遇到不同类型的故障,对IT服务级别(SLA)要求越来越高; 4)我们对需要停机进行的系统维护很不满意。 解决IT系统的高可用性和高可靠性,靠无休止的增加硬件软件的传统容灾方案不但会大幅提高企业的成本支出,而且还会使系统变得越来越臃肿,即加大了系统的运维管理难度,又进一步提高了系统的风险,显然不是最佳的解决方案。那么,如何实现IT系统高可用高可靠性的难题呢?实际上,H3C Superdome X关键业务服务器就提供了完美的解决方案。 H3C Superdome X关键业务服务器从解决方案可靠性、系统可靠性、服务器可靠性和部件可靠性四个维度,为企业提供了完整的可靠性保障。不但解决了服务器、存储等硬件基础设备的可靠性问题,而且还通过操作系统的错误分析识别、在线优化和修复等软件层面进行了优化。打包的可靠性解决方案为用户提供了高达100%的应用可用性,确保了企业关键业务的连续性。 硬件方面,为了保证设备的高可用性,H3C Superdome X关键业务服务器提供了业界独有的冗余系统时钟技术。上图可以看到,这项技术是首次引入关键业务X86系统中,支持动态自动故障转移和热插拔等。这项技术的应用,不但能够在系统出现故障后实现瞬时转移,而且能够保证技术人员在不停机的情况下实现对出现故障的硬件进行及时处理修复,确保了系统不停机,业务不断线。 系统方面,H3C Superdome X关键业务服务器提供了深入分析与自我修复功能,当系统出现故障后,会自动检测错误,收集证据并实现自我的修复。这样技术不但能够节省技术人员的运维难度,而且还能够实现快速修复。一些小的问题,在业务部门没有察觉的情况下即可以实现自我修复,完全不会影响到业务的正常进行。当然,在普通的X86系统中,由于没有这项功能,那么就需要技术人员手动进行修复,不但需要花费较长的时间,而且还会影响到前端业务的正常进行。 编辑点评:笔者认为,高可用性和高可靠性是衡量企业关键业务的最重要标准,也是最为关键的因素,与性能等诸如其它因素相比,高可用性高可靠性绝对排在首位。试想,正要进行交易的数据突然中断,将会给企业和用户带来重大的损失和影响。在H3C关键业务中,高可用性和高可靠性也放在首位,由此可见厂商对这一标准的重视程序。H3C Superdome X关键业务服务器提供的99.999%的高可用高可靠性解决方案,不但为企业节省了成本,而且降低了运维管理难度,为企业在激烈的市场竞争中奠定了扎实的基础。 本文作者:ZC 来源:51CTO

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册