Data Engineer

Описание

В платформенную команду требуется Middle/Senior Data Engineer или разработчик потоков данных.
Разработка и поддержка инфраструктуры обработки данных: миграция с текущего стека (Greenplum + ClickHouse) на современный (Trino + Iceberg), оптимизация ETL процессов, обеспечение надёжности и производительности pipeline.

Мы работаем по принципам Agile, работаем на стеке технологий GreenPlum + ClickHouse + Tableau, занимаемся созданием ETL процессов, разработкой витрин, дашбордов, отчетов и других дата-продукты в рамках домена клиент. У нас много задач, много идей и действительно БОЛЬШИЕ объемы данных.

ПРЕДСТОЯЩИЕ ЗАДАЧИ:

• Поддерживать и оптимизировать текущие ETL процессы на базе Greenplum и ClickHouse;
• Проектировать и реализовывать миграцию данных и запросов с Greenplum на Trino, с ClickHouse на Iceberg;
• Разрабатывать и поддерживать пайплайны обработки данных (Airflow);
• Оптимизировать запросы и схемы хранения для Trino/Iceberg/ClickHouse;
• Обеспечивать качество данных: валидация, мониторинг, логирование;
• Участвовать в проектировании Data Lake/Data Warehouse на основе Iceberg;
• Автоматизировать рутинные операции (мониторинг, бэкапы, очистка);
• Документировать архитектуру и процессы.

КАКОЙ ОПЫТ НАМ НУЖЕН:

• Опыт работы Data Engineer от 2 лет (уровень Middle / Middle+);
• SQL продвинутый уровень: сложные запросы, оптимизация, работа с партициями, индексами;
• Spark - уверенный опыт работы;
• Kafka хороший опыт работы;
• Python уверенное владение (обработка данных, скрипты, API);
• Trino / Iceberg / ClickHouse / Greenplum;
• Airflow разработка DAG, настройка исполнителей, мониторинг;
• Git и процессы разработки (PR, ревью, ветвление);

• Опыт работы в Agile/Scrum омандах.

Будет плюсом:

• Опыт работы с Flink (для расширенной обработки);
• Понимание data governance и data quality практик;
• Опыт миграции данных между СУБД/форматами (например, Greenplum Trino, ClickHouse Iceberg);
• Облачные платформы: Yandex Cloud, VK Cloud, SberCloud, MTS Cloud (объектное хранилище, Kubernetes-кластеры, серверлесс-функции). Опыт работы с Docker;
• Инструменты для работы с данными: Great Expectations (валидация данных), Deequ (анализ качества данных), dbt tests (тестирование в ETL-пайплайнах).

ЧТО МЫ ПРЕДЛАГАЕМ:

• Работа в стабильной компании, лидере рынка в своём сегменте;
• Официальное трудоустройство по ТК РФ;
• Оформление ДМС после прохождения испытательного срока;
• Полный социальный пакет (оплата больничного, ежегодного отпуска);
• Льготные тарифы мобильной связи;
• Возможность развития профессиональных качеств, возможность проявить свою инициативу, а также участвовать в крупных внутренних проектах;
• Корпоративные скидки и привилегии: скидка сотрудника в магазинах сети, скидки партнёров, BestBenefits, и т.д.;
• Формат работы: 5/2 с 10.00 до 19.00, сам офис находится в шаговой доступности (7-10 мин. пешком) от м. Бауманская/Красносельская;
• Удаленный/гибридный график работы на выбор.