Data Engineer (Python + Spark) — открытая вакансия в команде X5 Tech

Навыки

• Airflow
• API (интеграции)
• XGBoost / LightGBM / CatBoost
• ClickHouse
• Docker
• DWH
• Событийный маркетинг

О компании и продукте

• Data Engineer (Python + Spark)
• Мы строим end-to-end пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети)

Задачи

• В команде разработывается ML-система, детекирующая Out-of-stock ситуации и аномалии в продажах, которая в near-real-time выявляет потенциальные проблемы с наличием товара и отправляет предупреждения сотрудникам магазинов для оперативной проверки и выкладки
• От качества этих пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике
• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
• Настраивать хранение и доступность данных в DWH
• Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
• Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
• Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной

Условия

• Официальное оформление с белой ЗП, полугодовые премии по результатам работы
• Удобный офис с бесплатной парковкой на м. «Волгоградский проспект» / МЦД «Калитники»
• Гибкий график работы (с 8/9/10 утра) / График работы: 5/2, с 9:00 до 18:15 (в пятницу — до 17:00)
• Возможность работать удалённо или в гибридном формате
• Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья
• Возможность учиться и развиваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, участие в крупнейших конференциях страны, программы развития цифровых и управленческих навыков (Цифровая академия, Школа Тимлидов), онлайн и офлайн мастер-классы, корпоративный университет «X5 Полка», школа наставников и многое другое
• Программы мотивации для спикеров и авторов: внутренняя школа Speak Up School, Write Up, ачивки и баллы за выступления, подготовка спикеров к крупнейшим конференциям страны, сообщество авторов на Хабре, возможность шерить опыт с комьюнити внутренних и внешних экспертов
• Обмен опытом через cообщества: 12 технических комьюнити от java до devops
• Яркая корпоративная жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: регулярные внутренние митапы, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтерства, корпоративное предпринимательство X5 Idea Challenge
• Профессиональные навыки Наш стек
• PySpark{2,3} / Spark SQL
• Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum
• Docker, YARN / k8s
• Поможем в обучении и развитии Научим круто рассказывать
• о том, что ты делаешь
• Внутренняя школа спикеров и авторов
• Возможность участвовать в крупнейших
• конференциях страны и прокачать
• личный бренд
• Вместе прокачаем харды и софты
• Корпоративный университет, онлайн-библиотека
• программы развития управленческих навыков
• Дистанционные курсы на образовательных
• платформах
• Тренинги, митапы и вебинары

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.