手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop集群间的HDFS文件拷贝

[日期:2017-09-15] 来源:Linux社区  作者:bugsbunny [字体: ]

1、背景

部门有个需求,在网络互通的情况下,把现有的Hadoop集群(未做Kerberos认证,集群名为:bd-stg-hadoop)的一些hdfs文件拷贝到新的hadoop集群(做了Kerberos认证,集群名为zp-tt-hadoop)

如果是两个都没有做安全认证的集群互传文件,使用distcp可以很快实现。在当前情况下,情况可能要复杂一些。通过查阅资料,在cdh的官网上竟然有这么神奇的一个参数可以解决这样的需求。传送门:http://www.cloudera.com/documentation/enterprise/5-5-x/topics/cdh_admin_distcp_secure_insecure.html

2、实现

2.1 Copying Data between two Insecure cluster

两个都没有做安全认证的集群,通常方法如下:

$ hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo

也可以通过webhdfs的方式:

$ hadoop distcp webhdfs://nn1:8020/foo/bar  webhdfs://nn2:8020/bar/foo

对于不同Hadoop版本间的拷贝,用户应该使用HftpFileSystem。 这是一个只读文件系统,所以DistCp必须运行在目标端集群上。 源的格式是

hftp://<dfs.http.address>/<path> (默认情况dfs.http.address是 <namenode>:50070)。

distcp的一些参数如下:

-i:忽略失败(不建议开启)
-log:记录日志到 <logdir>
-m:同时拷贝的最大数目(指定了拷贝数据时map的数目。请注意并不是map数越多吞吐量越大。)
-overwrite:覆盖目标(如果一个map失败并且没有使用-i选项,不仅仅那些拷贝失败的文件,这个分块任务中的所有文件都会被重新拷贝。 就像下面提到的,它会改变生成目标路径的语义,所以 用户要小心使用这个选项。)
-update:如果源和目标的大小不一样则进行覆盖
-f:使用<urilist_uri> 作为源文件列表

2.2 Copying Data between a Secure and an Insecure

在secure-cluster上的core-site.xml配置文件中添加:

<property> 
  <name>ipc.client.fallback-to-simple-auth-allowed</name>
  <value>true</value> 
</property>

然后在secure-cluster执行如下命令:

distcp webhdfs://insecureCluster webhdfs://secureCluster 
distcp webhdfs://secureCluster webhdfs://insecureCluster 

在我实际操作过程中,两个集群hdfs都有做ha,使用上面的命令会报错:

16/09/27 14:47:52 ERROR tools.DistCp: Exception encountered 
java.lang.IllegalArgumentException: java.net.UnknownHostException: bd-stg-hadoop
    at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374)
    at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:392)
    at org.apache.hadoop.hdfs.web.WebHdfsFileSystem.initialize(WebHdfsFileSystem.java:167)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2643)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:93)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2680)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2662)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:379)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)
    at org.apache.hadoop.tools.GlobbedCopyListing.doBuildListing(GlobbedCopyListing.java:76)
    at org.apache.hadoop.tools.CopyListing.buildListing(CopyListing.java:86)
    at org.apache.hadoop.tools.DistCp.createInputFileListing(DistCp.java:365)
    at org.apache.hadoop.tools.DistCp.execute(DistCp.java:171)
    at org.apache.hadoop.tools.DistCp.run(DistCp.java:122)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.hadoop.tools.DistCp.main(DistCp.java:429)
Caused by: java.net.UnknownHostException: bd-stg-hadoop

解决如下:

把bd-stg-hadoop集群名字改成了active-namenode的host再进行操作,如下:

$ hadoop distcp webhdfs://bd-stg-namenode-138/tmp/hivebackup/app/app_stg_session webhdfs://zp-tt-hadoop:8020/tmp/hivebackup/app/app_stg_session

成功执行后, 可以发现原理就是启动一个只有map的MapReduce作业来实现两个集群间的数据复制。

2.3 Copying Data between two Secure cluster

这种情况相对有些复杂了,需要Kerberos做跨域的配置。本文暂不研究讨论。

Hadoop2.3-HA高可用集群环境搭建  http://www.chineselinuxuniversity.net/Linux/2017-03/142155.htm

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署  http://www.chineselinuxuniversity.net/Linux/2017-04/143095.htm

Hadoop2.7.2集群搭建详解(高可用)  http://www.chineselinuxuniversity.net/Linux/2017-03/142052.htm

使用Ambari来部署Hadoop集群(搭建内网HDP源)  http://www.chineselinuxuniversity.net/Linux/2017-03/142136.htm

Ubuntu 14.04下Hadoop集群安装  http://www.chineselinuxuniversity.net/Linux/2017-02/140783.htm

Ubuntu 16.04上构建分布式Hadoop-2.7.3集群  http://www.chineselinuxuniversity.net/Linux/2017-07/145503.htm

CentOS 7.3下Hadoop2.8分布式集群安装与测试  http://www.chineselinuxuniversity.net/Linux/2017-09/146864.htm

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建  http://www.chineselinuxuniversity.net/Linux/2017-06/144932.htm

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程  http://www.chineselinuxuniversity.net/Linux/2017-06/144926.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.chineselinuxuniversity.net/topicnews.aspx?tid=13

本文永久更新链接地址http://www.chineselinuxuniversity.net/Linux/2017-09/146879.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款