E-MapReduce HDFS文件快速CRC校验工具介绍-低调大师

E-MapReduce HDFS文件快速CRC校验工具介绍

2017-07-31 802

背景

在大数据应用场景下经常有数据文件的迁移工作，如果保障迁移之后数据的完整性是一个很常见的问题。对本地文件系统的数据而言，我们一般用md5工具（在Linux下可用md5sum命令）。

而对云存储上的文件来说，md5不一定满足需求。比如阿里云OSS文件并没有提供md5校验值，而是提供了CRC64校验值。本文就给大家介绍一下在大数据场景下，如何用工具快速对比文件。

OSSUtil

首先我们使用OSS官方提供ossutil工具，可以方便的得到云端OSS文件的CRC64：

[hadoop@emr-header-1 ~]$ ossutil stat oss://bucket/file.txt
ACL                         : default
Accept-Ranges               : bytes
Conte

微信关注我们

原文链接：https://yq.aliyun.com/articles/154349

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

对黑客的恐惧催生了网络安全行业的独角兽

许多大企业出于对沦为下一个Ashley Madison、索尼或塔吉特的恐惧，争抢有价值的安全解决方案。一个网络安全行业的独角兽(指估值10亿美元以上的公司)就此产生。投资者将信心投入到一家你可能从未听说过的公司，Okta。这家成立仅6年的旧金山公司可为企业员工在使用诸如谷歌文档或DropBox等云存储或其他互联网服务时提供额外的安全保护。 OKta通过一个称为‘单点登录’的系统提供此功能，允许员工只登录一次就能访问所有资源，从此不再费心劳神记住诸多不同的用户名和密码。对员工而言，Okta的软件能保证恰当的员工访问恰当的信息——一个越来越重要的功能。自去年6月投资者向该公司投入750万风险投资以来，该公司的投资价值已增长了77%。这种情况的投资在硅谷并不是前所未有的，那里已经出产了如此之多的估值10亿美元以上的初创公司，以致于这些公司都有了专门的雅号：独角兽。本周二，在投资者又给Okta注资750万美元令该公司估值接近12亿美元之时，神秘而珍贵的独角兽军团自此又添了一个新成员。 Okta估值的快速增加凸显了公司高管中间普遍存在的焦虑氛围——对公司和他们自己可能成为代价高昂的黑客活动...

2017-07-31

563

为支持容器跨主机通信，Docker 提供了 overlay driver，使用户可以创建基于 VxLAN 的 overlay 网络。VxLAN 可将二层数据封装到 UDP 进行传输，VxLAN 提供与 VLAN 相同的以太网二层服务，但是拥有更强的扩展性和灵活性。有关 VxLAN 更详细的内容可参考 CloudMan 在《每天5分钟玩转 OpenStack》中的相关章节。 Docerk overlay 网络需要一个 key-value 数据库用于保存网络状态信息，包括 Network、Endpoint、IP 等。Consul、Etcd 和 ZooKeeper 都是 Docker 支持的 key-vlaue 软件，我们这里使用 Consul。实验环境描述我们会直接使用上一章 docker-machine 创建的实验环境。在 docker 主机 host1（192.168.56.104）和 host2（192.168.56.105）上实践各种跨主机网络方案，在 192.168.56.101 上部署支持的组件，比如 Consul。最简单的方式是以容器方式运行 Consul： docke...

2017-08-01

622

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

E-MapReduce HDFS文件快速CRC校验工具介绍

背景