Мы находимся в поиске Ведущего Data engineer'a, который будет заниматься развитием направлений "Программы лояльности", "Антифрод", "Инфраструктура DataLake". Ваши задачи:
Реализация ETL в Hadoop (с помощью Airflow). Работа с различными источниками данных: Oracle, API личных кабинетов, микросервисы. Батч и стримы с помощью PySpark и Kafka. Подготовка витрин для анализа (Hive + Spark)
Наш стек: Cloudera hadoop, Kafka, Spark, Airflow, Jira, Confluence, Cruсible. Мы ждем от будущих коллег:
Высшее техническое образование. Уверенное владение Python. Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka. Знание SQL. Опыт работы с реляционными базами данных (Oracle)

Август 2022