Что такое Emrfs?
Что такое Emrfs?

Видео: Что такое Emrfs?

Видео: Что такое Emrfs?
Видео: Что такое Amazon EMR и как его использовать для обработки данных? 2024, Май
Anonim

Файловая система EMR ( EMRFS ) - это реализация HDFS, которую все кластеры Amazon EMR используют для чтения и записи обычных файлов из Amazon EMR непосредственно в Amazon S3. Шифрование данных позволяет шифровать объекты, которые EMRFS записывает в Amazon S3 и включает EMRFS для работы с зашифрованными объектами в Amazon S3.

В отношении этого, какова последовательная точка зрения Emrfs?

В Последовательный вид EMRFS создает и использует метаданные в таблице Amazon DynamoDB для поддержки последовательный взгляд ваших объектов S3. Эта таблица отслеживает определенные операции, но не содержит ваших данных.

в чем разница между s3 и s3a? Это разница между три: s3 это блочный оверлей поверх Amazon S3 , тогда как s3n / s3a не. Это объектно-ориентированные. s3n поддерживает объекты размером до 5 ГБ, когда размер важен, а s3a поддерживает объекты размером до 5 ТБ и имеет более высокую производительность.

Соответственно, использует ли EMR HDFS?

EMR Файловая система (EMRFS) Вы можешь использовать или HDFS или Amazon S3 в качестве файловой системы в вашем кластере. Чаще всего Amazon S3 является используется для хранения входных и выходных данных, а промежуточные результаты хранятся в HDFS.

Что такое s3a?

S3A (Схема URI: s3a ) Преемник S3 Родной, s3n fs, S3a : система использует библиотеки Amazon для взаимодействия с S3 . Это позволяет S3a для поддержки файлов большего размера (не более 5 ГБ), операций с более высокой производительностью и многого другого.

Рекомендуемые: