awk算术运算一例：统计hdfs上某段时间内的文件大小-低调大师

awk算术运算一例：统计hdfs上某段时间内的文件大小

2017-11-20 884

计算hdfs指定目录中所有文件名中包含2011-04-24的文件大小，并换算成GB：

$HADOOP_HOME/bin/hadoop fs -du /user/hdfs/s3/ifocus/*2011-04-24* |awk '{sum += $1}END{print sum}' |awk '{total=$1;base=1024*1024*1024;print total/base}'

如果要统计20号到24号所有文件大小的总和呢？

#!/bin/bash
#
DIR=/log/tmp/cd
startdate="$1"
date1=$(date -d "$1" "+%s")
date2=$(date -d "$2" "+%s")
date_count=$(echo "$date2 - $date1"|bc)
day_m=$(echo "$date_count"/86400|bc)
for ((sdate=0;sdate<"$day_m";sdate++))
do
DAY=$(date -d "$startdate $sdate days" "+%F")
Size=$(~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -du ${DIR}/*${DAY}* |awk '{sum += $1}END{printf "%u",sum}')
let a=${a}+${Size}
done
echo $a |awk '{total=$1;base=1024*1024*1024;print total/base}'

脚本比较简单，但由于shell不支持浮点数运算，搞了很久，才想起使用printf "%u"来指定用十进制表示文件大小，这才顺利完成脚本。计算的时候，指定起始日期，20110420，20110424。

另外一个问题：最后那条shell语句是如何取得for循环中的变量$a的？Shell脚本里，要使用local关键字来标识局部变量；否则，变量默认为全局的，一直到脚本结束，当然前提是没有被后面的值覆盖。

所以，在循环体外面引用循环体里面的变量是完全可以的。

本文转自 li_qinshan 51CTO博客，原文链接:http://blog.51cto.com/share/554922

微信关注我们

原文链接：https://yq.aliyun.com/articles/428351

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HMaster启动流程简析

很多细节不便在本篇写的过于详细，等后续细节分析 0.由HBaseCommandLine首先对HMaster进行初始化 0.1检查是否进行了IP绑定（https://issues.apache.org/jira/browse/HBASE-8148），获取地址 0.2通过HbaseRPC创建一个RPCServer 0.2.1首先获取RPCEngine（WritableRPCEngine），并通过其对RPCServer进初始化（Server：HBaseServer：RPCServer） 0.2.1.1初始化CallQueue（ipc.server.max.queue.size：向后兼容，ipc.server.max.callqueue.length，默认值为handler* DEFAULT_MAX_CALLQUEUE_LENGTH_PER_HANDLER）和ReplicationQueue(ipc.server.max.callqueue.size,默认值为1024×1024×1024)，以及SizeBasedThrottler（threshold=ipc.server.max.callqu...

2017-11-20

626

前阶段看Hadoop源码看到editlog部分，和flume file-channel的logfile部分注意到一个相同之处：Groupcommit.其实最早接触这个概念是在MySQL写redo log（注：binlog group commit在mariadb/procona是支持的，或者mysqlsync_binlog=0；细节移步：http://kristiannielsen.livejournal.com/12254.html）；先来看看Hadoop是怎么处理的： Editlog是可以被多个线程并发写入的，每个线程维护了自己最新的一个事务ID： privatestaticfinalThreadLocal<TransactionId>myTransactionId=newThreadLocal<TransactionId>() { protectedsynchronizedTransactionId initialValue() { returnnewTransactionId(Long.MAX_VALUE); } }; 在提交的时候，首先获得提交时最新...

2017-11-20

656

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。