awk算术运算一例：统计hdfs上某段时间内的文件大小-低调大师

awk算术运算一例：统计hdfs上某段时间内的文件大小

2017-11-20 793

计算hdfs指定目录中所有文件名中包含2011-04-24的文件大小，并换算成GB：

$HADOOP_HOME/bin/hadoop fs -du /user/hdfs/s3/ifocus/*2011-04-24* |awk '{sum += $1}END{print sum}' |awk '{total=$1;base=1024*1024*1024;print total/base}'

如果要统计20号到24号所有文件大小的总和呢？

#!/bin/bash
#
DIR=/log/tmp/cd
startdate="$1"
date1=$(date -d "$1" "+%s")
date2=$(date -d "$2" "+%s")
date_count=$(echo "$date2 - $date1"|bc)
day_m=$(echo "$date_count"/86400|bc)
for ((sdate=0;sdate<"$day_m";sdate++))
do
DAY=$(date -d "$startdate $sdate days" "+%F")
Size=$(~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -du ${DIR}/*${DAY}* |awk '{sum += $1}END{printf "%u",sum}')
let a=${a}+${Size}
done
echo $a |awk '{total=$1;base=1024*1024*1024;print total/base}'

脚本比较简单，但由于shell不支持浮点数运算，搞了很久，才想起使用printf "%u"来指定用十进制表示文件大小，这才顺利完成脚本。计算的时候，指定起始日期，20110420，20110424。

另外一个问题：最后那条shell语句是如何取得for循环中的变量$a的？Shell脚本里，要使用local关键字来标识局部变量；否则，变量默认为全局的，一直到脚本结束，当然前提是没有被后面的值覆盖。

所以，在循环体外面引用循环体里面的变量是完全可以的。

本文转自 li_qinshan 51CTO博客，原文链接:http://blog.51cto.com/share/554922

微信关注我们

原文链接：https://yq.aliyun.com/articles/428351

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HMaster启动流程简析

很多细节不便在本篇写的过于详细，等后续细节分析 0.由HBaseCommandLine首先对HMaster进行初始化 0.1检查是否进行了IP绑定（https://issues.apache.org/jira/browse/HBASE-8148），获取地址 0.2通过HbaseRPC创建一个RPCServer 0.2.1首先获取RPCEngine（WritableRPCEngine），并通过其对RPCServer进初始化（Server：HBaseServer：RPCServer） 0.2.1.1初始化CallQueue（ipc.server.max.queue.size：向后兼容，ipc.server.max.callqueue.length，默认值为handler* DEFAULT_MAX_CALLQUEUE_LENGTH_PER_HANDLER）和ReplicationQueue(ipc.server.max.callqueue.size,默认值为1024×1024×1024)，以及SizeBasedThrottler（threshold=ipc.server.max.callqu...

2017-11-21

534

前阶段看Hadoop源码看到editlog部分，和flume file-channel的logfile部分注意到一个相同之处：Groupcommit.其实最早接触这个概念是在MySQL写redo log（注：binlog group commit在mariadb/procona是支持的，或者mysqlsync_binlog=0；细节移步：http://kristiannielsen.livejournal.com/12254.html）；先来看看Hadoop是怎么处理的： Editlog是可以被多个线程并发写入的，每个线程维护了自己最新的一个事务ID： privatestaticfinalThreadLocal<TransactionId>myTransactionId=newThreadLocal<TransactionId>() { protectedsynchronizedTransactionId initialValue() { returnnewTransactionId(Long.MAX_VALUE); } }; 在提交的时候，首先获得提交时最新...

2017-11-21

567

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。