【使用linux 并发命令parallel 加快处理文本文件】-原来是坑爹啊。-低调大师

【使用linux 并发命令parallel 加快处理文本文件】-原来是坑爹啊。

2013-12-11 897 89

1，看到oschina 上面的一篇文章

如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等

http://www.oschina.net/news/45477/use-cpu-cores-linux-commands

系统使用的是Redhat 5

parallel的官网：

http://www.gnu.org/software/parallel/

需要使用opensuse的源进行安装

http://software.opensuse.org/download.html?project=home%3Atange&package=parallel

对于 CentOS CentOS-6，请以根用户 root 运行下面命令：

cd /etc/yum.repos.d/
wget http://download.opensuse.org/repositories/home:tange/CentOS_CentOS-6/home:tange.repo
yum install parallel

对于 CentOS CentOS-5，请以根用户 root 运行下面命令：

cd /etc/yum.repos.d/
wget http://download.opensuse.org/repositories/home:tange/CentOS_CentOS-5/home:tange.repo
yum install parallel

经测试wc -l 命令发现在cpu数量是4的时候并没有提高计算时间，反而慢了。

计算1G文件行数，用wc-l花费 1s而使用 parallel后花费 10s

对于200MB的文件也是10倍的关系。

总结：

理论和实际使用还是有差别啊。在4cup的机器上面测试一点优势也没有啊。

基本上要慢个 10倍以上啊。看来要处理大文件，还是hadoop比较靠谱啊。

微信关注我们

原文链接：https://yq.aliyun.com/articles/138547

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2013-12-11 00:00:00

Hadoop五分钟入门指南

《Hadoop五分钟入门指南》原文见： http://blog.josedacruz.com/2013/12/09/hadoop-in-5-minutes-for-beginners/#.Uqhs3_Q6Cjt 如果你有大量的数据（TB级），而且这些数据到处分散，且有些数据是结构化的，有些数据不是。你想查询这些数据，你或许在想，“我需要力量来组织和查询这些数据”。是的，你需要Hadoop。一、什么是Hadoop？ Apache Hadoop软件库是一个框架，它可以对大数据集使用简单的编程模型做跨集群的分布式处理。Hadoop在设计上可以从单服务器节点扩展到成千上万的服务器节点，每个节点都能提供本地计算和存储。 HDFS——分布式文件系统，MapReduce模式的实现。 HDFS是一个文件系统，分布在系统中的所有机器上，但是你只能把它视为单个的文件系统，因为它是分布式的、跨主机的。那么，我的本地文件系统是怎样的？HDFS工作于本地文件系统之上。 MapReduce是一个模式，处理大数据集（当然你也可以用于处理小数据集，因为MapReduce只是一个模式，而不是产品，它可以使用任意编程...

773

2013-12-19 00:00:00

ElasticSearch查询第一篇：搜索API

《ElasticSearch查询》目录导航： ElasticSearch查询第一篇：搜索API ElasticSearch查询第二篇：文档更新 ElasticSearch查询第三篇：词条查询 ElasticSearch查询第四篇：匹配查询（Match） ElasticSearch查询第五篇：布尔查询不同于SQL语言，对ElasticSearch引擎发送的查询请求，有两种方式：第一种方式是使用RESTful 风格的API请求对数据进行搜索或更新，这意味着，必须使用搜索API向ElasticSearch引擎发起搜索请求；第二种方式是使用Qeury DSL，将查询语言封装成JSON结构，在JSON结构中，封装查询请求的参数，作为请求主体（Request Body），发送给ElasticSearch引擎处理。 DSL是领域专用语言（Domain-SpecificLanguage）的首字母缩写，是一种通用的大数据查询语言，用于实现海量数据的检索分析。本系列是ElasticSearch的入门文章，用于介绍搜索API的使用方法，只求快速入门，想要深入了解，最好的文档永远是官方手册。 ...

700

资源下载

更多资源

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。