Оглавление:

Как мне запланировать работу улья в oozie?
Как мне запланировать работу улья в oozie?

Видео: Как мне запланировать работу улья в oozie?

Видео: Как мне запланировать работу улья в oozie?
Видео: Hadoop architecture | hdfs architecture | hadoop Учебник | hadoop architecture OnlineLearning... 2024, Май
Anonim

К расписание работы улья с использованием Oozie , вам нужно написать Улей -действие.

hql) в нем.

  1. Создайте каталог в HDFS, запустив команду ниже.
  2. hadoop fs -mkdir -p / пользователь / ил / рабочие процессы /
  3. Поставил рабочий процесс. xml, Улей скрипт (create_table. hql) и улей -сайт. xml в каталоге, созданном на шаге 2. Вы можете использовать следующую команду.

Итак, как мне запустить сценарий Hive в oozie?

Запускайте Hive Jobs с Oozie

  1. Укажите место улья. xml в параметре job-xml.
  2. Укажите имя сценария (например, script. Q), который содержит запрос куста, в параметре сценария.
  3. При желании добавьте свойства, используемые заданием запуска Oozie. Добавьте приставку oozie. пусковую установку к именам свойств.

Кроме того, как запустить рабочий процесс oozie? Запуск рабочего процесса Oozie из командной строки

  1. Войдите в веб-консоль.
  2. Скопируйте примеры oozie в свой домашний каталог в веб-консоли: cp / usr / hdp / current / oozie-client / doc / oozie-examples. деготь. gz.
  3. Извлечь файлы из tar tar -zxvf oozie-examples.tar.gz.
  4. Скопируйте каталог примеров в HDFS hadoop fs -copyFromLocal examples.

В связи с этим, как мне запланировать задание Hadoop?

Как планировать работу в хадуп - Quora. Самый простой способ - обернуть ваш код в сценарий оболочки и расписание это как cron работа на граничном узле (узле, куда вы обычно отправляете рабочие места ). Но обычно упаковывают код в скрипт и запускают его как работа трудно отлаживать. тестировать и поддерживать.

Что такое рабочий процесс oozie?

Oozie это рабочий процесс система планировщика для управления заданиями Apache Hadoop. Рабочий процесс Oozie задания - это Направленные ациклические графы (DAG) действий. Oozie Работа координатора периодически повторяется Рабочий процесс Oozie задания, вызванные временем (частотой) и доступностью данных. Oozie это масштабируемая, надежная и расширяемая система.

Рекомендуемые: