您现在的位置是：首页 > 文章详情

【使用linux 并发命令parallel 加快处理文本文件】-原来是坑爹啊。

日期：2013-12-11点击：824收藏

如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等

系统使用的是Redhat 5

parallel的官网：

需要使用opensuse的源进行安装

对于 CentOS CentOS-6，请以根用户 root 运行下面命令：

cd /etc/yum.repos.d/ wget http://download.opensuse.org/repositories/home:tange/CentOS_CentOS-6/home:tange.repo yum install parallel

对于 CentOS CentOS-5，请以根用户 root 运行下面命令：

cd /etc/yum.repos.d/ wget http://download.opensuse.org/repositories/home:tange/CentOS_CentOS-5/home:tange.repo yum install parallel

经测试wc -l 命令发现在cpu数量是4的时候并没有提高计算时间，反而慢了。

计算1G文件行数，用wc-l花费 1s而使用 parallel后花费 10s

对于200MB的文件也是10倍的关系。

理论和实际使用还是有差别啊。在4cup的机器上面测试一点优势也没有啊。

基本上要慢个 10倍以上啊。看来要处理大文件，还是hadoop比较靠谱啊。

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

Java分享