Нужно ли мне изучать Hadoop для искры?
Нужно ли мне изучать Hadoop для искры?

Видео: Нужно ли мне изучать Hadoop для искры?

Видео: Нужно ли мне изучать Hadoop для искры?
Видео: Проксирование данных для Hadoop / Андрей Ильин (Сбер) 2024, Ноябрь
Anonim

Нет ты не нужно изучить Hadoop к LearnSpark . Искра был независимым проектом. Но после YARNand Hadoop 2.0, Искра стал популярным, потому что Искра может работать поверх HDFS вместе с другими Hadoop компоненты. Hadoop - это структура, в которой вы пишете задание MapReduce, наследуя классы Java.

Аналогично, что лучше изучить Spark или Hadoop?

Первое и главное отличие - это объем оперативной памяти и ее использование. Искра использует более Оперативная память, чем Hadoop , но он «съедает» меньше Интернета или дисковой памяти, поэтому, если вы используете Hadoop , это лучше найти мощную машину с большой внутренней памятью.

Во-вторых, легко ли изучить Hadoop? Hadoop программирование Полегче для людей с навыками SQL - спасибо Pig and Hive. Студенты или профессионалы без какого-либо опыта программирования, с базовыми знаниями SQL, могут освоить Hadoop через всесторонние Hadoop тренироваться, если у них есть рвение и желание учиться.

Также спросили, сколько времени потребуется, чтобы изучить Hadoop?

примерно 3-4 месяца

Искра заменяет Hadoop?

Искра никогда не может быть замена для Hadoop ! Искра это механизм обработки, который функционирует на вершине Hadoop экосистема. Как показано в вышеупомянутой архитектуре, Искра заменяет MapReduce в Hadoop экосистема. Есть и другие компоненты в Hadoop архитектура для обработки данных, таких как Pig andHive.

Рекомендуемые: