Hadoop之——通过distcp并行复制

Hadoop之——通过distcp并行复制

distcp是一个分布式复制程序,改程序可以从Hadoop文件系统间复制大量数据,也可以将大量的数据复制到Hadoop中

distcp的典型应用是在两个HDFS集群间传输数据

hadoop distcp hdfs://binghe101/foo hdfs://binghe102/bar

默认情况下, distcp会跳过目标路径下已经存在的文件,可以通过overwirte选项覆盖现有文件,也可以通过update选项选择有改动的文件

distcp是作为一个MapReduce作业来实现的,通过集群中并行运行的map来完成,这里没有reducer.

如果试图在两个运行着不同HDFS版本的集群上使用distcp复制数据并使用hdfs协议,会导致复制作业失败,因为两个系统版本的RPC是不兼容的

使用HTTP协议复制

hadoop distcp hdfs://binghe102/bar

其中，namenode的web端口是由dfs.distcp webhdfs://binghe101:50070/foo webhdfs://binghe102:50070/bar

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。