Middle/Senior Data Engineer
Копировать
Российская продуктовая IT-компания находится в поиске Middle/Senior Data Engineer.
Обязанности:
- Настраивать сборку приложений и их размещение как docker контейнеров в k8s, мониторинг их работоспособности;
- Участвовать в pre-prod тестировании, выводе приложений в PROD среду и диагностике в случае сбоев;
- Влиять на стратегию развития архитектуры платформы, исследованиями и разработкой пилотных решений;
- Прототипировать ETL процессы c необходимым эмулированием данных с использованием Jupyter Lab / Zeppelin;
- Развивать озеро данных компании.
Стек: Hadoop, S3 MinIO, Spark 3/4 (batch/streaming), Scala, SQL, Hive, Kafka, HBase, ClickHouse, PostgreSQL, Airflow, k8s, Zeppelin, Jupyter, Iceberg (MOR, COW), Cassandra.
Ождидания от кандидатов:
- Опыт работы от 3 лет;
- Уверенные знания и опыт работы в стеке Spark (batch/streaming) on Hadoop;
- Уверенное знание Scala/Python или готовность перейти на Scala.
Условия:
- Удаленный формат работы на территории РФ;
- Забота о здоровье: ДМС после прохождения испытательного срока, корпоративный психолог, компенсация спорта, образования и т. д.;
- Развитие навыков: участие в конференциях, митапах, обмен опытом с экспертами компании.
Уточнить подробности можно у Александры: afedyaeva@marksmans.ru, TG: @if_Alexandra
Россия