Что такое DistCp в Hadoop?

2024 Автор: Lynn Donovan | [email protected]. Последнее изменение: 2023-12-15 23:52

DistCp (распределенное копирование) - это инструмент, используемый для большого межкластерного / внутрикластерного копирования. Оно использует Уменьшение карты для его распространения, обработки ошибок и восстановления, а также создания отчетов. Он расширяет список файлов и каталогов во входные данные для сопоставления задач, каждая из которых копирует раздел файлов, указанных в исходном списке.

Точно так же можно спросить, перезаписывает ли Distcp?

Я также должен уточнить некоторые и объяснить, что distcp - перезаписывать буду перезаписывать файл независимо от того, совпадает ли его размер или нет. Это обновит все файлы в hdfs-nn2, которые не совпадают по размеру с hdfs-nn1, а также удалит все посторонние файлы.

Аналогично, что такое команда Hadoop FS? Файловая система ( FS ) оболочка включает в себя различные оболочки, похожие на команды которые напрямую взаимодействуют с Hadoop Распределенная файловая система ( HDFS ), а также другие файловые системы, Hadoop поддерживает, например Local FS , HFTP FS , S3 FS , и другие.

Таким образом, как мне перенести данные из одного диска Hdf в другой?

Hadoop fs cp - Самый простой способ скопировать данные из одного исходный каталог для Другая . Использовать хадуп fs -cp [источник] [назначение]. Hadoop fs copyFromLocal - необходимо копировать данные из локальной файловой системы в HDFS ? Использовать хадуп fs -copyFromLocal [источник] [назначение].

Как скопировать кластер из одного кластера в другой?

Копирование файлов между кластеры . Вы можете копировать файлы или каталоги между разными кластеры с помощью команды hadoop distcp. Вы должны указать учетные данные файл в вашей копировать запрос так, чтобы источник кластер может подтвердить, что вы аутентифицированы для источника кластер и цель кластер.