Linux高级文本处理之gawk变量的操作符(三)-低调大师

Linux高级文本处理之gawk变量的操作符(三)

2017-01-11 615

一、变量

Awk 变量以字母开头，后续字符可以是数字、字母、或下划线。关键字不能用作 awk 变量。awk 变量可以直接使用而不需事先声明。如果要初始化变量，最好在BEGIN 区域内做，它只会执行一次。Awk 中没有数据类型的概念，一个 awk 变量是 number 还是 string 取决于该变量所处的上下文。

实例1：使用”total”便是用户建立的用来存储公司所有雇员工资总和的变量。

[root@localhost ~]# cat emp4
101,John Doe,CEO,10000
102,Jason Smith,IT Manager,5000
103,Raj Reddy,Sysadmin,4500
104,Anand Ram,Developer,4500
105,Jane Miller,Sales Manager,3000

[root@localhost ~]# cat emp.awk 
BEGIN{
        FS=",";
        total=0;
}

{
        print $2 "'s salary is:" $4;
        total=total+$4;
}

END{
        print "---\nTotal company salary=$"total;
}

[root@localhost ~]# awk -f emp.awk emp4
John Doe's salary is:10000
Jason Smith's salary is:5000
Raj Reddy's salary is:4500
Anand Ram's salary is:4500
Jane Miller's salary is:3000
---
Total company salary=$27000

awk自定义变量的方法：

1.借助-v选项，可以将外部值（并非来自stdin）传递给awk

实例2：

[root@localhost ~]# awk -v var="young" 'BEGIN{print var,"\n","---"}{print var}' ./num
young 
 ---
young
young
young

2.通过VAR=value的方式定义

实例3：

[root@localhost ~]# awk '{print v1,v2}' v1="young" v2="geek" ./num
young geek
young geek
young geek

二、一元操作符

1.取正取反

只接受单个操作数的操作符叫做一元操作符。

实例1：取反操作

[root@localhost ~]# cat emp4
101,John Doe,CEO,10000
102,Jason Smith,IT Manager,5000
103,Raj Reddy,Sysadmin,4500
104,Anand Ram,Developer,4500
105,Jane Miller,Sales Manager,3000
[root@localhost ~]# awk -F, '{print -$4}' emp4
-10000
-5000
-4500
-4500
-3000

注意：取反只对数值类数据生效，字符串取反结果全部为0.

实例2：

[root@localhost ~]# cat num
-1
-2
-3
[root@localhost ~]# awk '{print +$1}' num
-1
-2
-3
[root@localhost ~]# awk '{print -$1}' num 
1
2
3

2.自增自减

VAR1=++VAR或者VAR1=--VAR，表示VAR先增加或者减去1再赋值给VAR1，VAR1=VAR++或VAR1=VAR--，表示先将VAR赋值给VAR1,VAR再增减或者减去1.

实例1：前自加子减

[root@localhost ~]# awk -F, '{print ++$4}' emp4 #前自加
10001
5001
4501
4501
3001
[root@localhost ~]# awk -F, '{print --$4}' emp4  #前自减
9999
4999
4499
4499

实例2：后自加子减

[root@localhost ~]# awk -F, '{$4--;print $4}' emp4  #后自减
9999
4999
4499
4499
2999
[root@localhost ~]# awk -F, '{$4++;print $4}' emp4  #后自加
10001
5001
4501
4501
3001

实例3：打印所有可登陆 shell 的用户总数:

[root@localhost ~]# awk -F':' 
>'$NF ~ /\/bin\/bash/ { n++ }
> END { print n }' /etc/passwd
10

[root@localhost ~]# grep -c '/bin/bash$' /etc/passwd
10

实例4：

[root@localhost ~]# cat num
1
2
1
1
3
4
2
[root@localhost ~]# awk '/1/{print NF}' num
1
1
1
[root@localhost ~]# awk '/1/{n++}END{print n}' num        
3
[root@localhost ~]# awk '/2/{n++}END{print n}' num 
2
[root@localhost ~]# awk '/3/{n++}END{print n}' num 
1
[root@localhost ~]# awk '/4/{n++}END{print n}' num 
1

三、算术运算符

需要两个操作数的操作符，成为二元操作符。 Awk 中有多种基本二元操作符(如算术操作符、字符串操作符、赋值操作符，等等)。

实例1：将每件单独的商品价格减少 20% 并且将每件单独的商品的数量减少 1

[root@localhost ~]# cat items.txt 
101,HD Camcorder,Video,210,10
102,Refrigerator,Appliance,850,2
103,MP3 Player,Audio,270,15
104,Tennis Racket,Sports,190,20
105,Laser Printer,Office,475,5
[root@localhost ~]# cat dis.awk 
BEGIN{
FS=",";
OFS=",";
discount=0
}
{
discount=$4*20/100;
print $1,$2,$3,$4-discount,$5-1
}
[root@localhost ~]# awk -f dis.awk items.txt 
101,HD Camcorder,Video,168,9
102,Refrigerator,Appliance,680,1
103,MP3 Player,Audio,216,14
104,Tennis Racket,Sports,152,19
105,Laser Printer,Office,380,4

实例2：只打印偶数行

[root@localhost ~]# awk 'NR%2==0' items.txt                 
102,Refrigerator,Appliance,850,2
104,Tennis Racket,Sports,190,20

四、字符串操作符

(空格)是连接字符串的操作符。

实例1：

[root@localhost ~]# cat str.awk 
BEGIN{

        FS=",";
        OFS=",";
        str1="Audio";
        str2="Video";
        nustr="100";
        str3=str1 str2;
        print "Concatenate string is:"str3;
        nustr=nustr+1;
        print "Str to nu:"nustr;
}
[root@localhost ~]# awk -f str.awk items.txt 
Concatenate string is:AudioVideo
Str to nu:101

四、赋值操作符

实例1：

[root@localhost ~]# cat fz.awk 
BEGIN {
FS=",";
OFS=",";
total1 = total2 = total3 = total4 = total5 = 10;
total1 += 5; print total1;
total2 -= 5; print total2;
total3 *= 5; print total3;
total4 /= 5; print total4;
total5 %= 5; print total5;
}
[root@localhost ~]# awk -f fz.awk items.txt 
15
5
50
2
0

实例2：打印商品清单

[root@localhost ~]# cat items.txt 
101,HD Camcorder,Video,210,10
102,Refrigerator,Appliance,850,2
103,MP3 Player,Audio,270,15
104,Tennis Racket,Sports,190,20
105,Laser Printer,Office,475,5  

[root@localhost ~]# awk -F, '
>BEGIN{ total=0} { total +=$5 } 
>END { print "Total Qutantity:" total }' items.txt
Total Qutantity:52

五、比较操作符

实例1：打印数量小于等于临界值 5 的商品信息

[root@localhost ~]# awk -F, '$5<=5' items.txt         
102,Refrigerator,Appliance,850,2
105,Laser Printer,Office,475,5

实例2：打印编号为 103 的商品信息

[root@localhost ~]# awk -F, '$1==103' items.txt 
103,MP3 Player,Audio,270,15

实例3：打印除 Video 以外的所有商品

[root@localhost ~]# awk -F, '$3!="Video"' items.txt 
102,Refrigerator,Appliance,850,2
103,MP3 Player,Audio,270,15
104,Tennis Racket,Sports,190,20
105,Laser Printer,Office,475,5

实例4：同实例3，但只打印描述信息

[root@localhost ~]# awk -F, '$3!="Video"{print $2}' items.txt 
Refrigerator
MP3 Player
Tennis Racket
Laser Printer

实例5：打印价钱低于 900 或者数量小于等于临界值 5 的商品信息

[root@localhost ~]# awk -F, '$5<=5||$4<900' items.txt 
101,HD Camcorder,Video,210,10
102,Refrigerator,Appliance,850,2
103,MP3 Player,Audio,270,15
104,Tennis Racket,Sports,190,20
105,Laser Printer,Office,475,5

实例6：打印/etc/password 中最大的 UID(以及其所在的整行)。

[root@localhost ~]# awk -F ':' '
>$3 > maxuid 
>{ maxuid = $3; maxline = $0 } 
>END { print maxuid,maxline }' /etc/passwd
1009 user3:x:1009:1010::/home/user3:/bin/bash

实例8：打印/etc/passwd 中 UID 和 GROUP ID 相同的用户信息

[root@localhost ~]# awk -F ':' '$3 == $4' /etc/passwd
root:x:0:0:young,geek,010110110,0101101101:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin

实例9：打印/etc/passwd 中 UID >= 100 并且用户的 shell 是/bin/sh 的用户

[root@localhost ~]# awk -F: '$3 >= 100 && $7 == "/bin/sh"' /etc/passwd 
user1:x:800:800:test user:/none:/bin/sh

或者：

[root@localhost ~]# awk -F ':' '$3 >= 100 && $NF ~ /\/bin\/sh/' /etc/passwd
user1:x:800:800:test user:/none:/bin/sh       #正则表达式模式匹配

实例10：打印/etc/passwd 中没有注释信息(第 5 个字段)的用户

[root@localhost ~]# awk -F: '$5 == ""' /etc/passwd
abrt:x:173:173::/etc/abrt:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
sys:x:498:1001::/home/sys:/bin/bash
natasha:x:1006:1007::/home/natasha:/bin/bash
harry:x:1007:1008::/home/harry:/bin/bash
sarah:x:497:497::/home/sarah:/bin/nologin

实例11：使用取反(!)运算符打印奇数行

[root@localhost ~]# seq 10 | awk 'i=!i'
1
3
5
7
9

实例12：打印偶数行

[root@localhost ~]# seq 10 | awk -v i=1 'i=!i'
2
4
6
8
10

六、正则表达式操作符

实例1：

[root@localhost ~]# cat items.txt 
101,HD Camcorder,Video,210,10
102,Refrigerator,Appliance,850,2
103,MP3 Player,Audio,270,15
104,Tennis Racket,Sports,190,20
105,Laser Printer,Office,475,5
[root@localhost ~]# awk -F, '$2 == "Tennis"' items.txt  #精确匹配
[root@localhost ~]# awk -F, '$2 ~ "Tennis"' items.txt   #模糊匹配
104,Tennis Racket,Sports,190,20

实例2：

[root@localhost ~]# awk -F, '$2 !~ "Tennis"' items.txt  #不匹配
101,HD Camcorder,Video,210,10
102,Refrigerator,Appliance,850,2
103,MP3 Player,Audio,270,15
105,Laser Printer,Office,475,5

实例3：打印 shell 为/bin/bash 的用户的总数，如果最后一个字段包含”/bin/bash”,则变量n 增加 1

[root@localhost ~]# grep -c '/bin/bash' /etc/passwd                                     
9
[root@localhost ~]# awk -F: '$NF ~ /\/bin\/bash/ { n++ } END{ print n}' /etc/passwd
9

补充说明：

awk PATTERN模式的其他形式：

empy：空模式，匹配所有行
关系表达式，表达式结果非0为真，则执行后面body中语句；0则为假，不执行。例如

awk -F: '$3>=500{print $1,$3} ' /etc/passwd

3.行范围，类似sed或vim中的地址定界：

/start pattern/，/end pattern/

注意：不支持直接给出数字格式

实例：

[root@localhost ~]# awk '/^root/,/^mail/{print $0}' /etc/passwd   
root:x:0:0:young,geek,010110110,0101101101:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

微信关注我们

原文链接：https://blog.51cto.com/yolynn/1891219

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

GitLab ce 社区版本的yum方式安装和备份

Gitlab 的yum安装配置备份环境的准备工作我的系统是centos6.8的系统，先配置yum源： https://mirror.tuna.tsinghua.edu.cn/help/epel/ 这里写的配置epel源比较详细我就不写了，写下gitlab的源的内容：新建 /etc/yum.repos.d/gitlab-ce.repo，添加以下内容： [gitlab-ce] name=gitlab-ce baseurl=http://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el6 repo_gpgcheck=0 gpgcheck=0 enabled=1 gpgkey=https://packages.gitlab.com/gpg.key 如果是7就把baseurl换成这个地址就行其他都一样的： https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/ https://about.gitlab.com/downloads/#centos7 官方的7安装方式可以选择系统版本查看安装r...

2017-01-11

661

目录： nginx作为web服务器时使用的配置. 网络连接相关的配置: 正文: 一、nginx作为web服务器时使用的配置. 1. http配置段： Syntax: http { ... }Default: —Context: main http{}: 由ngx_http_core_module模块所引入; Documentation: http://nginx.org/en/docs/http/ngx_http_core_module.html#http 2. server配置段： Syntax: server { ... }Default: —Context: http server{}: 由ngx_http_core_module模块所引入; Documentation:http://nginx.org/en/docs/http/ngx_http_core_module.html#server 3. location配置段： Syntax: location [ = | ~ | ~* | ^~ ] uri { ... }location @name { ... }Default:...

2017-01-12

717

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。