Как запустить сервер Spark History?

2024 Автор: Lynn Donovan | [email protected]. Последнее изменение: 2023-12-15 23:52

Чтобы включить сервер истории Spark:

1. Создайте каталог для журналов событий в файловой системе DSEFS: dse hadoop fs -mkdir / spark $ dse hadoop fs -mkdir / spark / events.
2. Когда ведение журнала событий включено, по умолчанию все журналы сохраняются, что приводит к увеличению объема хранилища со временем.

Кроме того, как мне настроить сервер Spark History?

Чтобы включить сервер истории Spark:

1. Создайте каталог для журналов событий в файловой системе DSEFS: dse hadoop fs -mkdir / spark $ dse hadoop fs -mkdir / spark / events.
2. Когда ведение журнала событий включено, по умолчанию все журналы сохраняются, что приводит к увеличению объема хранилища со временем.

Точно так же, как мне найти URL-адрес моего сервера Spark History? Например, для сервер истории , они обычно доступны по адресу https:// < сервер - url >: 18080 / api / v1, а для запущенного приложения - https:// localhost: 4040 / api / v1. В API на приложение ссылается его идентификатор приложения [app-id].

Аналогично, что такое сервер Spark History?

В Сервер истории Spark инструмент мониторинга, отображающий информацию о выполненных Искра Приложения. Эта информация является извлекаются из данных, которые приложения по умолчанию записывают в каталог распределенной файловой системы Hadoop (HDFS).

Что такое Спаркуи?

Пользовательский интерфейс Spark Web позволяет просматривать список этапов и задач планировщика, информацию об окружающей среде, информацию о запущенных исполнителях и многое другое. Посмотрите эту 30-минутную демонстрацию, чтобы узнать: Компоненты и жизненный цикл программы Spark. Как ваше приложение Spark работает в кластере Hadoop.