awk高级企业级使用案例-低调大师

awk高级企业级使用案例

2018-07-13 778

一、背景：

以某物联网企业，传感器设备实时数据消费服务（Kafka-consumer）为例，调试筛选处理耗时的主题。

1. 原始日志格式（logback输出的）：

2018-07-11 11:49:22.413 INFO 29244 --- [TW_safeclound_elec_line_v-1531280885818] c.s.s.s.l.TimeoutInvokeMethodAspect : 消费处理耗时: 10148 ms, method=ConsumerElecLineVDataListener.lineVData(..), args={"addr":"11111118","bid":"QQBE","cid":"BLWY","dataType":"ELE_R_LV","id":"11111118,85,117,ELE_R_LV,1531280962413","lineAB":396.77,"lineBC":395.75,"lineCA":396.42,"meterType":"117","order":"85","timestamp":1531280951758}

2. 使用tail+awk命令进行耗时执行方法筛选：

[root@web-prod ~]# tail -f /mnt/disk1/sink/logs/sink.log|grep 耗时| awk -F ' ' '$10>200 && $10<500{print $1,$2,$6,$10,$11}'

2018-07-14 22:59:40.163 [TW_safeclound_largestDemand-1531512341755] 441 ms,

2018-07-14 22:59:40.516 [TW_safeclound_rate_v-1531512332686] 363 ms,

2018-07-14 22:59:40.665 [TW_safeclound_rate_i-1531512317893] 375 ms,

2018-07-14 22:59:40.866 [TW_safeclound_water-1531512518874] 332 ms,

...

3. 注释：

a. 其中 awk的 -F 参数表示：日志字符串分隔符，默认为 ' ' 空格；

b. $10>100 表示我要筛选耗时大于 100 毫秒的日志；

c. {print $1,$2,$6,$10,$11} 表示打印被awk分隔后的第1段(日期)、第2段(时间)、第6段(主题)、第10段(耗时)、第11段字符串(耗时单位)；

d. 其中 $10>200 && $10<500 表示我要筛选耗时在200~500之前的消费主题；

微信关注我们

原文链接：https://yq.aliyun.com/articles/616312

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

不插SIM卡的GPRS模组-AIR202通过AT指令链接阿里云

关注零妖的微信公众号：LINGYAOIOT ，获取最新物联网技术信息。一设备连上网络的首选方法是2G网。因为中国移动铺设了一张全球最好用的网络—2G网，可以通过GPRS的方式连上互联网。就信号的覆盖范围和使用的资费来看，通过中国移动的2G网让设备接入互联网是明智的。为何不用WIFI呢？因为使用GPRS方式上网可以做到开机即用，不用输入账号密码，极大地增强用户的好感度。二淘宝网直接搜索 AIR202模组即可买到一个GPRS模组。这个模组是由上海合宙这家公司生产的通信模组，最大的亮点是不用插SIM卡也能进行通信（可以通过一个后台给卡缴费），极大地方便了我们，比如画PCB的时候不用再画SIM插槽了，也不用焊接了，可靠性也更强了。这篇文章零妖就说说这个模组的使用方法，看完文章后你就可以学会用它连接到阿里云的物联网套件。下一篇文章再介绍数据

2018-07-13

739

人工智能正成为全球性话题，各国的AI人才争夺战也正愈演愈烈。那么目前，人工智能在中国的发展条件如何，中国距离成为真正的人工智能强国到底还有多远？基于此，7月13日，《中国人工智能发展报告2018》在清华大学主楼接待厅发布。报告从科技产出与人才投入、产业发展和市场应用、发展战略和政策环境、以及社会认知和综合影响四个方面描绘中国人工智能的发展面貌。先来看几个报告中的结论：中国在论文总量和高被引论文数量上都排在世界第一，中科院系统AI论文产出全球第一，但中国在人才拥有量全球第二，杰出人才占比偏低；专利上，中国已经成为全球人工智能专利布局最多的国家，数量略微领先于美国和日本；产业上，中国的人工智能企业数量排在全球第二，北京是全球人工智能企业最集中的城市；风险投资上，中国人工智能领域的投融资占到了全球的60%，成为全球最“吸金”的国家。此报

2018-07-15

669

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。