Data Engineer
Строит и поддерживает пайплайны и хранилища данных: от сбора событий до витрин для аналитики и ML.
Middle · Senior · Lead
Задачи
- Батч- и стриминговые пайплайны
- Проектирование DWH и витрин
- Качество и наблюдаемость данных
- Стоимость и производительность
Типичный стек
- Python, SQL
- Spark, Flink, Kafka
- Airflow, Dagster, dbt
- ClickHouse, Snowflake, BigQuery
Что проверяем
- Моделирование данных, SCD
- Партиционирование и форматы хранения
- Идемпотентность и бэкфиллы
- Разбор реального инцидента