Оглавление:

Как узнать, установлен ли Spark в Linux?
Как узнать, установлен ли Spark в Linux?

Видео: Как узнать, установлен ли Spark в Linux?

Видео: Как узнать, установлен ли Spark в Linux?
Видео: МИТАП: «Установка Apache Spark - это просто»_11 мая 2022г 2024, Май
Anonim

2 ответа

  1. Открытым Искра оболочки Терминал и введите команду.
  2. sc.version Или Искра -submit --version.
  3. Самый простой способ - просто запустить " Искра -shell »в командной строке. Он отобразит.
  4. текущая активная версия Искра .

Также нужно знать, как узнать, установлена ли искра в Ubuntu?

Установка Spark в Ubuntu

  1. Загрузите последнюю версию Spark здесь.
  2. Распаковать архив.
  3. Переместите полученную папку и создайте символическую ссылку, чтобы можно было установить несколько версий Spark.
  4. Протестируйте оболочку Spark.
  5. Возможно, Scala - не ваша чашка чая, и вы бы предпочли использовать Python.

Во-вторых, где на ЭМИ установлена искра? По состоянию на Emr -4.0. 0, все приложения на EMR находятся в / usr / lib. Искра находится в / usr / lib / Искра.

Следовательно, как настроить искру?

Шаги по установке Spark

  1. Шаг 1. Убедитесь, что Java установлена.
  2. Шаг 2. Убедитесь, что Scala установлена.
  3. Шаг 3: Загрузите Scala.
  4. Шаг 4: Установите Scala.
  5. Шаг 5: Скачивание Apache Spark.
  6. Шаг 6: Установка Spark.
  7. Шаг 7. Проверьте установку приложения Spark в вашей системе.

Нужно ли мне устанавливать Scala для Spark?

Вы будете необходимость использовать совместимый Scala версия (2.10. x). Java необходима для Искра + множество других транзитивных зависимостей ( Scala компилятор - это просто библиотека для JVM). PySpark просто подключается удаленно (через сокет) к JVM, используя Py4J (взаимодействие Python и Java).

Рекомендуемые:

Как узнать, установлен ли gradle в Eclipse?

Как узнать, установлен ли gradle в Eclipse?

1 ответ. Выберите «Справка> О Eclipse» (на Mac это «Eclipse> О Eclipse»). Нажмите кнопку «Сведения об установке», чтобы отобразить диалоговое окно сведений об установке. Посмотрите на вкладку "Плагины", чтобы увидеть все установленные плагины

Как узнать, установлен ли плагин Maven в Eclipse?

Как узнать, установлен ли плагин Maven в Eclipse?

Чтобы проверить, правильно ли настроен maven: Откройте Eclipse и нажмите Windows -> Настройки. Выберите Maven на левой панели и выберите установки. Нажмите Maven -> «Настройки пользователя» на левой панели формы, чтобы проверить расположение локального репозитория

Как узнать, какой дистрибутив Linux установлен?

Как узнать, какой дистрибутив Linux установлен?

Откройте программу терминала (перейдите в командную строку) и введите uname -a. Это даст вам версию вашего ядра, но может не упоминать дистрибутив, который у вас запущен. Чтобы узнать, какой дистрибутив linux работает у вас (например, Ubuntu), попробуйте lsb_release -a или cat / etc / * release или cat / etc / issue * или cat / proc / версия

Как узнать, установлен ли TestNG?

Как узнать, установлен ли TestNG?

Как проверить, успешно ли установлен TestNG Убедитесь, что TestNG установлен в окне просмотра. Перейдите в меню «Окно»> «Показать вид»> «Другое». Разверните папку Java в окне «Показать вид». Убедитесь, что TestNG успешно установлен, создав новый класс. Щелкните правой кнопкой мыши представление проводника пакетов в Eclipse IDE

Как узнать, установлен ли ASP Net?

Как узнать, установлен ли ASP Net?

Вы можете использовать PowerShell, чтобы проверить, установлен ли Asp.Net 3.5 или нет. Запустите PowerShell от имени администратора. Выполните команду import-module servermanager. Выполните команду get-windowspackage web-asp-net. В выходных данных указывается состояние установки ASP.NET 3.5 («Установлено» или «Доступно»)