Как работает клеевой краулер?
Как работает клеевой краулер?

Видео: Как работает клеевой краулер?

Видео: Как работает клеевой краулер?
Видео: БЮДЖЕТКИ ... ОГРОМНЫЙ КРАУЛЕР HSP 94880 1/8 ... испытываем на камнях 2024, Ноябрь
Anonim

2 ответа. В ГУСЕНИЧНЫЙ ТРАКТОР создает метаданные, позволяющие КЛЕЙ и такие службы, как ATHENA, для просмотра информации S3 в виде базы данных с таблицами. То есть позволяет создавать Клей Каталог. Таким образом, вы можете увидеть информацию, которую s3 имеет в виде базы данных, состоящей из нескольких таблиц.

Тогда как же работает AWS glue crawler?

An Гусеничный робот AWS Glue подключается к хранилищу данных, просматривает список классификаторов с приоритетами для извлечения схемы ваших данных и другой статистики, а затем заполняет Клей Каталог данных с этими метаданными.

Впоследствии возникает вопрос, является ли AWS glue открытым исходным кодом? Амазонка Открытые исходники Библиотека Python для Клей AWS . Amazon имеет открытым -получил библиотеку Python, известную как Athena Клей Журналы обслуживания (AGSlogger), упрощающие анализ форматов журналов в Клей AWS для анализа и предназначен для использования с AWS журналы обслуживания.

Просто так, можно в клей AWS установить?

Клей AWS без сервера, поэтому нет инфраструктуры для установленный вверх или управлять. Ты жестяная банка также используйте Клей AWS API-операции для взаимодействия с Клей AWS Сервисы. Редактируйте, отлаживайте и тестируйте код ETL Python или Scala Apache Spark в знакомой среде разработки.

AWS не содержит клея?

Объект в Клей AWS Каталог данных - это таблица, версия таблицы, раздел или база данных. Первый миллион запросов доступа к Клей AWS Каталог данных в месяц составляет бесплатно . Если вы превысите миллион запросов в месяц, с вас будет взиматься плата в размере 1,00 доллара США за миллион запросов сверх первого миллиона.

Рекомендуемые: