【文件存储NAS】数据迁移工具介绍及使用指南

2016-12-12 707

一、简介

文件存储NAS是面向阿里云ECS、HPC、Docker等计算节点的共享文件存储服务，具备简单易用、多共享、高性能、安全等特性，目前支持NFSv3和NFSv4协议。NAS的推出极大丰富了阿里云存储产品线，为用户存储上云提供了更加多样的选择。

与其他存储产品（主要是对象存储和块存储）及自建NAS相比，阿里云文件存储NAS具备鲜明的特点：

	文件存储NAS	对象存储（如OSS、七牛、S3等）	块存储（如阿里云磁盘、AWS EBS等）	自己搭建NAS
标准协议（标准NFS协议、标准NFS客户端、兼容POSIX接口）	YES	通过ossfs等工具提供有限支持	YES	YES
多共享（同一文件系统/名字空间被多个计算节点同时读写访问）	YES	YES	不支持共享	YES
高性能（高吞吐、低延迟、水平弹性扩展）	YES	延迟较高，随机读写性能较差	吞吐无法水平扩展	性能没有保证，无法水平扩展
高可靠、高可用、安全	YES	YES	YES	无法保证

为了满足数据迁移需求，让用户更加方便、快捷地将数据迁移到文件存储NAS，我们于近期推出了NAS数据迁移工具nasimport，nasimport具备以下功能特性：

（1）支持的数据源：本地磁盘、OSS、七牛、百度对象存储、金山对象存储、又拍云、亚马逊 s3、腾讯云 cos、HTTP链接；

（2）支持存量数据同步（允许指定只同步某个时间点之后的文件）；

（3）支持增量数据自动同步；

（4）支持断点续传；

（5）支持并行数据下载和上传。

二、使用方法

1. 运行环境要求

需要在能够挂载目标NAS文件系统的ECS虚拟机上运行该迁移工具。能否挂载NAS文件系统及如何挂载详见：点击查看
需要在 Java JDK 1.7 以上的环境中运行nasimport迁移工具，建议使用 Oracle 版本 JDK：点击查看
程序运行前请检查进程允许打开的文件数的配置(ulimit -n 查看），如果小于10240，需要作相应修改。

2. 下载工具及配置

2.1 首先，在您本地服务器上创建同步的工作目录，并且将nasimport工具包下载在该目录中。下载链接

示例：创建 /root/ms 目录为工作目录，且工具包下载在该工作目录下：

export work_dir=/root/ms
wget http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/45306/cn_zh/1479113980204/nasimport_linux.tgz
tar zxvf ./nasimport_linux.tgz -C "$work_dir"

2.2 编辑工作目录 ($work_dir) 下的配置文件config/sys.properties：

vim $work_dir/config/sys.properties
workingDir=/root/ms
slaveUserName=
slavePassword=
privateKeyFile=
slaveTaskThreadNum=60
slaveMaxThroughput(KB/s)=100000000
slaveAbortWhenUncatchedException=false
dispatcherThreadNum=5

建议您直接使用配置默认值。如有特殊要求，可以编辑配置字段值:

字段	说明
workingDir	表示当前的工作目录，即工具包解压后所在的目录
slaveTaskThreadNum	表示同时执行同步的工作线程数
slaveMaxThroughput(KB/s)	slaveMaxThroughput(KB/s)
slaveAbortWhenUncatchedException	表示遇到未知错误时是否跳过还是 abort，默认不 abort
dispatcherThreadNum	表示分发任务的并行线程数，默认值一般够用

3. 启动服务

3.1 nasimport支持的命令如下：

任务提交：java -jar $work_dir/nasimport.jar -c $work_dir/config/sys.properties submit $jobConfigPath
任务取消：java -jar $work_dir/nasimport.jar -c $work_dir/config/sys.properties clean $jobName
状态查看：java -jar $work_dir/nasimport.jar -c $work_dir/config/sys.properties stat detail
任务重试：java -jar $work_dir/nasimport.jar -c $work_dir/config/sys.properties retry $jobName

3.2 执行如下命令启动后台服务：

cd $work_dir
nohup java -Dskip_exist_file=false -jar $work_dir/nasimport.jar -c $work_dir/config/sys.properties start > $work_dir/nasimport.log 2>&1 &

请注意：相关的 log 文件会自动生成在您执行启动服务的当前目录中，建议您在工作目录（$work_dir）下执行启动命令。启动任务时如果 skip_exist_file=true，则在上传中如果碰到 NAS 文件系统中上存在且长度和源端一致的文件，将会跳过此文件

4. 提交任务

4.1 编辑任务描述文件 nas_job.cfg

任务描述文件字段说明：

字段名	说明
jobName	自定义任务名字，任务的唯一标识，支持提交多个名字不同的任务
jobType	可以配置为 import(执行数据同步操作)或者 audit（仅进行同步源数据与同步目标数据全局一致性校验)
isIncremental=false	是否打开自动增量模式，如果设为 true，会每间隔incrementalModeInterval(单位秒)重新扫描一次增量数据，并将增量数据同步到nas上
incrementalModeInterval=86400	增量模式下的同步间隔
importSince	指定时间，用于同步大于该时间的数据，这个时间为 unix 时间戳（秒数）；默认为0
srcType	同步源类型，目前支持 oss,qiniu,baidu,ks3,youpai,local
srcAccessKey	如果 srcType设置为 oss、qiniu、baidu、ks3、youpai，则需要填写数据源的 access key
srcSecretKey	如果 srcType 设置为 oss、qiniu、baidu、ks3、youpai，则需要填写数据源的 secret key
srcDomain	源 endpoint
srcBucket	源 bucket 名字
srcPrefix	源前缀，默认为空；如果 srcType=local，则填写本地待同步目录，请注意您需要填写完整的目录路径(以’/‘结尾)。如果 srcType 设置为 oss、qiniu、baidu、ks3、youpai，则需要填写待同步的 Object 前缀，同步所有文件前缀可以设置为空。
destType	同步目标类型（默认为 nas）
destMountDir	NAS 本地挂载目录
destMountTarget	NAS 挂载点域名
destNeedMount=true	工具是否执行自动挂载，默认为 true，您也可以选择false并手动将NAS挂载点到 destMountDir 目录下
destPrefix	填写同步目标端文件前缀，默认为空
taskObjectCountLimit	每个子任务最大的文件个数限制，这个会影响到任务执行的并行度，一般配置为总的文件数/你配置的下载线程数,如果不知道总文件数，建议保持默认值
taskObjectSizeLimit	每个子任务下载的数据量大小限制(bytes)，建议保持默认值
scanThreadCount	并行扫描文件的线程数，与扫描文件的效率有关，建议保持默认值
maxMultiThreadScanDepth	最大允许并行扫描目录的深度，建议保持默认值

请注意：

（1）如果配置了自动增量模式，则任务会定期被执行以扫描最新的数据，该任务永远不会结束。

（2）对于 srcType 为 youpai 的情况，由于又拍云本身 API 限制，list 文件的操作无法实现 checkpoint，在 list 完成之前杀掉进程会导致重新 list 所有文件的操作。

4.2 提交任务

java -jar $work_dir/nasimport.jar -c $work_dir/config/sys.properties  submit $work_dir/nas_job.cfg

注意事项：

（1）如果有同名任务正在执行，则提交任务会失败。

（2）如果您需要暂停同步任务，您可以停止 nasimport 进程，需要同步时重启 nasimport 进程即可，重启后会按照上次的进度继续上传。

（3）如果您需要重新全量同步文件，您可以先停止 nasimport 进程，再调用如下命令清除当前任务。示例：假设当前任务名为 nas_job（这个任务名配置在文件 nas_job.cfg 中），命令如下：

ps axu | grep "nasimport.jar.* start" | grep -v grep | awk '{print "kill -9 "$2}' | bash
java -jar $work_dir/nasimport.jar  -c $work_dir/conf/sys.properties clean nas_job

5. 查看任务执行状态

java -jar $work_dir/nasimport.jar -c $work_dir/config/sys.properties  stat detail
--------------job stats begin---------------
----------------job stat begin------------------
JobName:nas_job
JobState:Running
PendingTasks:0
RunningTasks:1
SucceedTasks:0
FailedTasks:0
ScanFinished:true
RunningTasks Progress:
FD813E8B93F55E67A843DBCFA3FAF5B6_1449307162636:26378979/26378979 1/1
----------------job stat end------------------
--------------job stats end---------------

这里会显示当前任务的总体的执行进度，并且会显示当前正在执行的 task 进度。例如上文中：“26378979/26378979”表示：总共需要上传的数据量(26378979字节)/已经上传完成的数据量(26378979字节)。“1/1” 表示：总共需要上传的文件个数(1个)/已经上传完成的文件个数(1个)。

迁移工具会将用户提交的一个 job 任务分解为多个 task 并行执行，当所有的 task 都执行完成之后，job 任务才算执行完成。任务执行完成之后，JobState 会显示为”Succeed”或者”Failed”，表示任务执行成功或者失败。 如果任务执行失败，可以通过如下命令查看各个task失败的原因：（以下命令中 $jobName 需要替换成对应的 job 名字，jobName 配置在文件 nas_job.cfg中）

cat $work_dir/master/jobs/$jobName/failed_tasks/*/audit.log

对于任务失败的情况，我们在工具中已经做了较为充分的重试，对于可能由于数据源或者目标源暂时不可用引起的失败情况，可以通过如下命令尝试重新执行失败的任务：

java -jar $work_dir/nasimport.jar  -c $work_dir/config/sys.properties retry $jobNam

6. 常见任务失败原因

（1）任务配置出错，比如 access key/id 出错，权限不足等，这种情况下通常现象是所有task都失败，具体确认需要查看 $work_dir/nasimport.log 文件。

（2）源文件名的编码方式与系统默认的文件名编码方式不符，例如在 windows 下文件名默认为 gbk 编码，linux 下默认为 utf-8 编码，对于数据源是 nfs 的情况下较容易出现该问题。

（3）上传过程中源目录的文件发生了修改，这种情况在 audit.log 里会提示SIZE_NOT_MATCH 相关字样的错误，这种情况下老的文件已经上传成功，新的修改没有上传到nas。

（4）源文件在上传过程中被删除，导致下载文件时失败。

（5）数据源出现问题导致下载数据源文件失败。

（6）没有先杀掉进程再执行 clean 有可能会导致程序执行异常。

（7）程序异常退出，任务状态为 Abort，这种情况请联系我们（ 请加旺旺群：1562614356 ）。

7. 建议

在配置迁移服务时，如果源端是 oss，请将 srcDomain 设为带 internal 的内网域名，可以省掉从 oss 源端下载的流量费，仅收取 oss 访问次数的费用，且可以获得更快的迁移速度，oss 内网域名您可以从 oss 控制台获取。

如果您的 NAS 在专有网络中，且源端是 oss，请将 srcDomain 设为 oss 提供的VPC 环境域名，各 Region 对应的 VPC 环境域名：点击查看。

微信关注我们

原文链接：https://yq.aliyun.com/articles/66481

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【机器学习PAI实践一】搭建心脏病预测案例

产品地址：https://data.aliyun.com/product/learn?spm=a21gt.99266.416540.102.OwEfx2 一、背景心脏病是人类健康的头号杀手。全世界1／3的人口死亡是因心脏病引起的，而我国，每年有几十万人死于心脏病。所以，如果可以通过提取人体相关的体侧指标，通过数据挖掘的方式来分析不同特征对于心脏病的影响，对于预测和预防心脏病将起到至关重要的作用。本文将会通过真实的数据，通过阿里云机器学习平台搭建心脏病预测案例。二、数据集介绍数据源： UCI开源数据集heart_disease 针对美国某区域的心脏病检查患者的体测数据，共303条数据。具体字段如下表：字段名含义类型描述 age 年龄 string 对象的年龄，数字表示 sex 性别 string 对象的性别，female和male cp 胸部疼痛

2016-12-13

692

"Nothing is everything." 分形小时候，偶尔会收到一些特别喜欢的礼物。比如电动小汽车，还带遥控器的，那操控感，完美地诠释了人类掌控一切的心理。如今，当你要出行的时候，掏出手机，打开一款打车APP，马上就可以体会到更高一个层次的掌控感。但是，我当初喜欢电动小汽车的原因并不是顺应了人类的掌控心理，而是因为想拆开小汽车获取里面的电动马达。拆开马达，可以看见里面有一个线圈，包裹着一个环形的磁铁圈。吸引人的地方是，传动装置可以被肉眼看不见的一种力量驱动。当时觉得好神奇，也发现了磁铁可以产生同样的一种无形的力量，把铁质的物体或者其他磁铁吸附到自己身上。时间久了，难免把磁铁玩成好几瓣，发现每一瓣都具有独立的磁力，即使摔得更细小。部分和整体都拥有南北极，磁场。分形，就是这样一个自相似事物的理论。自然界还有很多这样的例子，树叶、

2016-12-14

575

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。