awk高级企业级使用案例-低调大师

awk高级企业级使用案例

2018-07-13 720

一、背景：

以某物联网企业，传感器设备实时数据消费服务（Kafka-consumer）为例，调试筛选处理耗时的主题。

1. 原始日志格式（logback输出的）：

2018-07-11 11:49:22.413 INFO 29244 --- [TW_safeclound_elec_line_v-1531280885818] c.s.s.s.l.TimeoutInvokeMethodAspect : 消费处理耗时: 10148 ms, method=ConsumerElecLineVDataListener.lineVData(..), args={"addr":"11111118","bid":"QQBE","cid":"BLWY","dataType":"ELE_R_LV","id":"11111118,85,117,ELE_R_LV,1531280962413","lineAB":396.77,"lineBC":395.75,"lineCA":396.42,"meterType":"117","order":"85","timestamp":1531280951758}

2. 使用tail+awk命令进行耗时执行方法筛选：

[root@web-prod ~]# tail -f /mnt/disk1/sink/logs/sink.log|grep 耗时| awk -F ' ' '$10>200 && $10<500{print $1,$2,$6,$10,$11}'

2018-07-14 22:59:40.163 [TW_safeclound_largestDemand-1531512341755] 441 ms,

2018-07-14 22:59:40.516 [TW_safeclound_rate_v-1531512332686] 363 ms,

2018-07-14 22:59:40.665 [TW_safeclound_rate_i-1531512317893] 375 ms,

2018-07-14 22:59:40.866 [TW_safeclound_water-1531512518874] 332 ms,

...

3. 注释：

a. 其中 awk的 -F 参数表示：日志字符串分隔符，默认为 ' ' 空格；

b. $10>100 表示我要筛选耗时大于 100 毫秒的日志；

c. {print $1,$2,$6,$10,$11} 表示打印被awk分隔后的第1段(日期)、第2段(时间)、第6段(主题)、第10段(耗时)、第11段字符串(耗时单位)；

d. 其中 $10>200 && $10<500 表示我要筛选耗时在200~500之前的消费主题；

微信关注我们

原文链接：https://yq.aliyun.com/articles/616312

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

不插SIM卡的GPRS模组-AIR202通过AT指令链接阿里云

关注零妖的微信公众号：LINGYAOIOT ，获取最新物联网技术信息。一设备连上网络的首选方法是2G网。因为中国移动铺设了一张全球最好用的网络—2G网，可以通过GPRS的方式连上互联网。就信号的覆盖范围和使用的资费来看，通过中国移动的2G网让设备接入互联网是明智的。为何不用WIFI呢？因为使用GPRS方式上网可以做到开机即用，不用输入账号密码，极大地增强用户的好感度。二淘宝网直接搜索 AIR202模组即可买到一个GPRS模组。这个模组是由上海合宙这家公司生产的通信模组，最大的亮点是不用插SIM卡也能进行通信（可以通过一个后台给卡缴费），极大地方便了我们，比如画PCB的时候不用再画SIM插槽了，也不用焊接了，可靠性也更强了。这篇文章零妖就说说这个模组的使用方法，看完文章后你就可以学会用它连接到阿里云的物联网套件。下一篇文章再介绍数据

2018-07-14

692

人工智能正成为全球性话题，各国的AI人才争夺战也正愈演愈烈。那么目前，人工智能在中国的发展条件如何，中国距离成为真正的人工智能强国到底还有多远？基于此，7月13日，《中国人工智能发展报告2018》在清华大学主楼接待厅发布。报告从科技产出与人才投入、产业发展和市场应用、发展战略和政策环境、以及社会认知和综合影响四个方面描绘中国人工智能的发展面貌。先来看几个报告中的结论：中国在论文总量和高被引论文数量上都排在世界第一，中科院系统AI论文产出全球第一，但中国在人才拥有量全球第二，杰出人才占比偏低；专利上，中国已经成为全球人工智能专利布局最多的国家，数量略微领先于美国和日本；产业上，中国的人工智能企业数量排在全球第二，北京是全球人工智能企业最集中的城市；风险投资上，中国人工智能领域的投融资占到了全球的60%，成为全球最“吸金”的国家。此报

2018-07-16

605

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。