Hadoop概念学习系列之关于hadoop-2.2.0和hadoop2.6.0的winutils.exe、hadoop.dll版本混用（易出...-低调大师

Hadoop概念学习系列之关于hadoop-2.2.0和hadoop2.6.0的winutils.exe、hadoop.dll版本混用（易出...

2017-11-20 525

　问题详情是

2016-12-10 23:24:13,317 INFO [org.apache.hadoop.metrics.jvm.JvmMetrics] - Initializing JVM Metrics with processName=JobTracker, sessionId=
2016-12-10 23:24:14,281 WARN [org.apache.hadoop.mapreduce.JobSubmitter] - Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
2016-12-10 23:24:14,284 WARN [org.apache.hadoop.mapreduce.JobSubmitter] - No job jar file set. User classes may not be found. See Job or Job#setJar(String).
2016-12-10 23:24:14,316 INFO [org.apache.hadoop.mapreduce.lib.input.FileInputFormat] - Total input paths to process : 1
2016-12-10 23:24:14,389 INFO [org.apache.hadoop.mapreduce.JobSubmitter] - Cleaning up the staging area file:/tmp/hadoop-Administrator/mapred/staging/Administrator2004170506/.staging/job_local2004170506_0001
2016-12-10 23:24:14,391 WARN [org.apache.hadoop.fs.FileUtil] - Failed to delete file or dir [D:\tmp\hadoop-Administrator\mapred\staging\Administrator2004170506\.staging\job_local2004170506_0001\.job.split.crc]: it still exists.
2016-12-10 23:24:14,392 WARN [org.apache.hadoop.fs.FileUtil] - Failed to delete file or dir [D:\tmp\hadoop-Administrator\mapred\staging\Administrator2004170506\.staging\job_local2004170506_0001\job.split]: it still exists.
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V
at org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(Native Method)
at org.apache.hadoop.util.NativeCrc32.calculateChunkedSumsByteArray(NativeCrc32.java:86)
at org.apache.hadoop.util.DataChecksum.calculateChunkedSums(DataChecksum.java:430)
at org.apache.hadoop.fs.FSOutputSummer.writeChecksumChunks(FSOutputSummer.java:202)
at org.apache.hadoop.fs.FSOutputSummer.flushBuffer(FSOutputSummer.java:163)
at org.apache.hadoop.fs.FSOutputSummer.flushBuffer(FSOutputSummer.java:144)
at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSOutputSummer.close(ChecksumFileSystem.java:400)
at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.close(FSDataOutputStream.java:72)
at org.apache.hadoop.fs.FSDataOutputStream.close(FSDataOutputStream.java:106)
at org.apache.hadoop.mapreduce.split.JobSplitWriter.createSplitFiles(JobSplitWriter.java:80)
at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:603)
at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:614)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:492)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1296)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1293)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1293)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1314)
at zhouls.bigdata.myMapReduce.Anagram.Anagram.run(Anagram.java:103)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at zhouls.bigdata.myMapReduce.Anagram.Anagram.main(Anagram.java:119)

　　这是hadoop-2.6.0版本的

知识点：

2.4之前的和自后的需要的不一样，需要选择正确的版本(包括操作系统的版本)

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6158704.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370561

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

参加西安第三届数字油田高端论坛暨第二届国际学术会议

2013年10月18日-19日，参加了西安第三届数字油田高端论坛暨第二届国际学术会议，本次会议主题是大数据和数字油田2.0，参加本次会议的目的是想看看大数据这个概念如何在油田领域中落地，但很可惜与大数据有关的报告或者与石油没有关系，或者只是标题中有个大数据，但内容还是关于数字油田建设进展。只有程国建的一篇介绍SPE数字能源大会的材料中讲到了一篇国外报告，可能介绍了大数据在油田可能的应用领域，回来再仔细读读这篇材料。不管如何，把几个感兴趣的材料的主要思路整理了一下。王璞（谷歌）：大数据处理在google----全球数据分析的方法技术介绍了谷歌大数据处理架构中的几个主要概念：MapReduce，Shuffle，BigTable/GFS，XFE（extensible front end），protocol buffers & stubby（通讯协议，可将protocol buffer转换为程序代码）。高灯亮（美国西佛尼亚大学）：地震属性在油藏描述中的三维可视化技术报告比较清晰，主要就讲了三部分内容：Reservoir structures构造，Reservoir faci...

2017-11-21

617

很久之前我就学过Lisp和Erlang，但是也就是写写HelloWorld，写个排序算法。也在Coursera上听过Scala的课，可是那时候我还不怎么用Java，所以后来也没怎么继续。可是对函数式编程的兴趣一直不减，工作中几乎不会用Scala，但是用的是Java，我一直在想着怎么把Scala用到工作中。最近在写一个工具，因为这个工具基本只有我们项目组用，而且很简单，所以我就用Scala写了。以后有机会，把Scala用在生产上。为什么对函数式编程这么感兴趣呢。第一个原因，可以装逼，或者说是个人兴趣。函数式编程给我们提供了另一种思考问题的方法，最重要的是学习这种思维方法。第二个原因，好多人都在学，好多地方都在用。Java 8增加了lambda表达式的支持，连C++都已经支持lambda表达式和闭包。有越来越多的用函数式编程语言写的开源软件在被广泛使用，最有名的，用Scala写的Spark，Erlang写的RabbitMQ，当然还有用Lisp写的Emacs。函数式编程语言已经出现四十多年了，为什么现在才火起来，是因为函数式编程语言天然的适合多核编程，或者分布式编程。Google的Ma...

2017-11-21

525

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。