S3 основан на HDFS?
S3 основан на HDFS?

Видео: S3 основан на HDFS?

Видео: S3 основан на HDFS?
Видео: Вебинар «Протокол S3, гибридное облако, big data. Всё самое важное о NetApp StorageGRID» 2024, Марш
Anonim

S3 на самом деле бесконечное хранилище в облаке, но HDFS не является. HDFS размещается на физических машинах, поэтому вы можете выполнять там любую программу. Вы ничего не можете выполнить на S3 поскольку это просто хранилище объектов, а не FS.

Тогда является ли s3 распределенной файловой системой?

S3 это не распределенная файловая система . Это хранилище двоичных объектов, в котором данные хранятся в виде пар ключ-значение. По сути, это тип базы данных NoSQL. Каждая корзина - это новая «база данных», где ключи являются вашим «путем к папке», а значения - двоичными объектами ( файлы ).

Можно также спросить, а основана ли AWS на Hadoop? Hadoop - это платформа, которая помогает обрабатывать большие наборы данных на нескольких компьютерах. Он включает Map / Reduce (параллельная обработка) и HDFS (распределенная файловая система). AWS это хранилище данных построен на основе собственной технологии, первоначально разработанной ParAccel.

Кроме того, как мне перенести файлы из s3 в HDFS?

Отвечать. Нет прямого способ копировать файлы из S3 в HDFS не проходя через местные файлы . Однако вы можете использовать компонент tSystem в стандартном задании для вызова собственного Hadoop команда, которую вы обычно используете для копировать файлы , Например, s3 -dist-cp.

Что такое база данных s3?

Амазонка S3 или Amazon Simple Storage Service - это сервис, предлагаемый Amazon Web Services (AWS), который обеспечивает хранение объектов через интерфейс веб-сервиса. Амазонка S3 использует ту же масштабируемую инфраструктуру хранения, которую Amazon.com использует для работы своей глобальной сети электронной коммерции.

Рекомендуемые: