E-MapReduce HDFS文件快速CRC校验工具介绍-低调大师

E-MapReduce HDFS文件快速CRC校验工具介绍

2017-07-31 683

背景

在大数据应用场景下经常有数据文件的迁移工作，如果保障迁移之后数据的完整性是一个很常见的问题。对本地文件系统的数据而言，我们一般用md5工具（在Linux下可用md5sum命令）。

而对云存储上的文件来说，md5不一定满足需求。比如阿里云OSS文件并没有提供md5校验值，而是提供了CRC64校验值。本文就给大家介绍一下在大数据场景下，如何用工具快速对比文件。

OSSUtil

首先我们使用OSS官方提供ossutil工具，可以方便的得到云端OSS文件的CRC64：

[hadoop@emr-header-1 ~]$ ossutil stat oss://bucket/file.txt
ACL                         : default
Accept-Ranges               : bytes
Conte

微信关注我们

原文链接：https://yq.aliyun.com/articles/154349

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

对黑客的恐惧催生了网络安全行业的独角兽

许多大企业出于对沦为下一个Ashley Madison、索尼或塔吉特的恐惧，争抢有价值的安全解决方案。一个网络安全行业的独角兽(指估值10亿美元以上的公司)就此产生。投资者将信心投入到一家你可能从未听说过的公司，Okta。这家成立仅6年的旧金山公司可为企业员工在使用诸如谷歌文档或DropBox等云存储或其他互联网服务时提供额外的安全保护。 OKta通过一个称为‘单点登录’的系统提供此功能，允许员工只登录一次就能访问所有资源，从此不再费心劳神记住诸多不同的用户名和密码。对员工而言，Okta的软件能保证恰当的员工访问恰当的信息——一个越来越重要的功能。自去年6月投资者向该公司投入750万风险投资以来，该公司的投资价值已增长了77%。这种情况的投资在硅谷并不是前所未有的，那里已经出产了如此之多的估值10亿美元以上的初创公司，以致于这些公司都有了专门的雅号：独角兽。本周二，在投资者又给Okta注资750万美元令该公司估值接近12亿美元之时，神秘而珍贵的独角兽军团自此又添了一个新成员。 Okta估值的快速增加凸显了公司高管中间普遍存在的焦虑氛围——对公司和他们自己可能成为代价高昂的黑客活动...

2017-08-01

476

为支持容器跨主机通信，Docker 提供了 overlay driver，使用户可以创建基于 VxLAN 的 overlay 网络。VxLAN 可将二层数据封装到 UDP 进行传输，VxLAN 提供与 VLAN 相同的以太网二层服务，但是拥有更强的扩展性和灵活性。有关 VxLAN 更详细的内容可参考 CloudMan 在《每天5分钟玩转 OpenStack》中的相关章节。 Docerk overlay 网络需要一个 key-value 数据库用于保存网络状态信息，包括 Network、Endpoint、IP 等。Consul、Etcd 和 ZooKeeper 都是 Docker 支持的 key-vlaue 软件，我们这里使用 Consul。实验环境描述我们会直接使用上一章 docker-machine 创建的实验环境。在 docker 主机 host1（192.168.56.104）和 host2（192.168.56.105）上实践各种跨主机网络方案，在 192.168.56.101 上部署支持的组件，比如 Consul。最简单的方式是以容器方式运行 Consul： docke...

2017-08-02

507

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

E-MapReduce HDFS文件快速CRC校验工具介绍

背景