Что такое преобразователь и редуктор в Hadoop?
Что такое преобразователь и редуктор в Hadoop?

Видео: Что такое преобразователь и редуктор в Hadoop?

Видео: Что такое преобразователь и редуктор в Hadoop?
Видео: Apache Spark Учебник для начинающих | apache Учебное пособие по ... 2024, Ноябрь
Anonim

Главное преимущество Уменьшение карты заключается в том, что обработку данных легко масштабировать на несколько вычислительных узлов. Под Уменьшение карты модели примитивы обработки данных называются картографами и редукторы . Разложение приложения для обработки данных на мапперы и редукторы иногда нетривиально.

Имея это в виду, что такое преобразователь и редуктор?

MapReduce состоит из двух основных функций: Картограф и редуктор . Картограф - функция, обрабатывающая входные данные. В картограф обрабатывает данные и создает несколько небольших фрагментов данных.

что такое картограф? А картограф может описать данные картограф а также человек, создающий географические карты. Обязанности географического картограф или картографический техник включает сбор и обработку географических данных для создания карты местности.

Таким образом, какая польза от mapper и reducer в Hadoop?

Согласно The Apache Software Foundation, основная цель карта / Уменьшать состоит в том, чтобы разбить набор входных данных на независимые части, которые обрабатываются полностью параллельно. В Hadoop MapReduce framework сортирует выходные данные карт, которые затем вводятся в уменьшать задания.

Какая польза от маппера в Hadoop?

В бегах Hadoop работа, приложения обычно реализуют Картограф и интерфейсы Reducer для предоставления карты (отдельные задачи, преобразующие входные записи в промежуточные записи) и методов сокращения для сокращения набора промежуточных значений, которые имеют общий ключ, до меньшего набора значений.

Рекомендуемые: