awk高级企业级使用案例-低调大师

awk高级企业级使用案例

2018-07-13 742

一、背景：

以某物联网企业，传感器设备实时数据消费服务（Kafka-consumer）为例，调试筛选处理耗时的主题。

1. 原始日志格式（logback输出的）：

2018-07-11 11:49:22.413 INFO 29244 --- [TW_safeclound_elec_line_v-1531280885818] c.s.s.s.l.TimeoutInvokeMethodAspect : 消费处理耗时: 10148 ms, method=ConsumerElecLineVDataListener.lineVData(..), args={"addr":"11111118","bid":"QQBE","cid":"BLWY","dataType":"ELE_R_LV","id":"11111118,85,117,ELE_R_LV,1531280962413","lineAB":396.77,"lineBC":395.75,"lineCA":396.42,"meterType":"117","order":"85","timestamp":1531280951758}

2. 使用tail+awk命令进行耗时执行方法筛选：

[root@web-prod ~]# tail -f /mnt/disk1/sink/logs/sink.log|grep 耗时| awk -F ' ' '$10>200 && $10<500{print $1,$2,$6,$10,$11}'

2018-07-14 22:59:40.163 [TW_safeclound_largestDemand-1531512341755] 441 ms,

2018-07-14 22:59:40.516 [TW_safeclound_rate_v-1531512332686] 363 ms,

2018-07-14 22:59:40.665 [TW_safeclound_rate_i-1531512317893] 375 ms,

2018-07-14 22:59:40.866 [TW_safeclound_water-1531512518874] 332 ms,

...

3. 注释：

a. 其中 awk的 -F 参数表示：日志字符串分隔符，默认为 ' ' 空格；

b. $10>100 表示我要筛选耗时大于 100 毫秒的日志；

c. {print $1,$2,$6,$10,$11} 表示打印被awk分隔后的第1段(日期)、第2段(时间)、第6段(主题)、第10段(耗时)、第11段字符串(耗时单位)；

d. 其中 $10>200 && $10<500 表示我要筛选耗时在200~500之前的消费主题；

微信关注我们

原文链接：https://yq.aliyun.com/articles/616312

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

不插SIM卡的GPRS模组-AIR202通过AT指令链接阿里云

关注零妖的微信公众号：LINGYAOIOT ，获取最新物联网技术信息。一设备连上网络的首选方法是2G网。因为中国移动铺设了一张全球最好用的网络—2G网，可以通过GPRS的方式连上互联网。就信号的覆盖范围和使用的资费来看，通过中国移动的2G网让设备接入互联网是明智的。为何不用WIFI呢？因为使用GPRS方式上网可以做到开机即用，不用输入账号密码，极大地增强用户的好感度。二淘宝网直接搜索 AIR202模组即可买到一个GPRS模组。这个模组是由上海合宙这家公司生产的通信模组，最大的亮点是不用插SIM卡也能进行通信（可以通过一个后台给卡缴费），极大地方便了我们，比如画PCB的时候不用再画SIM插槽了，也不用焊接了，可靠性也更强了。这篇文章零妖就说说这个模组的使用方法，看完文章后你就可以学会用它连接到阿里云的物联网套件。下一篇文章再介绍数据

2018-07-14

708

人工智能正成为全球性话题，各国的AI人才争夺战也正愈演愈烈。那么目前，人工智能在中国的发展条件如何，中国距离成为真正的人工智能强国到底还有多远？基于此，7月13日，《中国人工智能发展报告2018》在清华大学主楼接待厅发布。报告从科技产出与人才投入、产业发展和市场应用、发展战略和政策环境、以及社会认知和综合影响四个方面描绘中国人工智能的发展面貌。先来看几个报告中的结论：中国在论文总量和高被引论文数量上都排在世界第一，中科院系统AI论文产出全球第一，但中国在人才拥有量全球第二，杰出人才占比偏低；专利上，中国已经成为全球人工智能专利布局最多的国家，数量略微领先于美国和日本；产业上，中国的人工智能企业数量排在全球第二，北京是全球人工智能企业最集中的城市；风险投资上，中国人工智能领域的投融资占到了全球的60%，成为全球最“吸金”的国家。此报

2018-07-16

635

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。