WILDBERRIES

Middle Data Engineer в Локализацию (команда Рекомендаций)

договорная

Москва • Полная занятость

Условия работы

Обязанности

Команда строит платформу данных для ML-специалистов и продуктовых аналитиков отдела рекомендательных систем. Закрывает полный цикл: от забора данных до развития хранилищ.
Ищем инженера, который будет строить платформу вместе с нами - не просто перекладывать данные между базами! Наш стек: Greenplum, Hadoop/HDFS, Iceberg, Trino, Airflow,Apache Kafka, Spark, ClickHouse.
Вам предстоит:

Помогать проектировать и строить хранилища данных на Iceberg (спроектировать и реализовать озёрное хранилище вокруг Apache Iceberg, используя Spark/Trino в качестве compute-движков, с расчётом на объёмы данных в сотни ТБ);
Заниматься настройкой процессов обеспечения качества данных (DQ) (внедрить и настроить DQ-процессы (валидация, мониторинг, метрики качества) на данных в хранилище);
Внедрять автоматическую генерацию и сопровождение метаданных/описаний данных (data discovery, data catalog, профилирование);
Проектировать и разворачивать feature store для подготовки и управления признаками на стороне платформы;
Участвовать в создании семантического слоя для унификации бизнес-логики и метрик поверх данных.

Формат работы — удаленный формат.

Вы нам подойдете, если:

Уверенно владеете Python в контексте DE (2+ года);
Имеете глубокие знания SQL (оконные функции, оптимизация запросов, explain-планы);
Имеете опыт работы с оркестраторами данных (у нас Airflow);
Имеете опыт с Hadoop (Spark / YARN / HDFS);
Имеете опыт с MPP-системами (Greenplum).

monorabota.com › Москва › BI-аналитик, аналитик данных › Middle Data Engineer в Локализацию (команда Рекомендаций)

* Уточняйте актуальность вакакнсии на сайте работодателя

Последние отзывы

14 февраля 2023

Достоинства Свободный график и на этом все!Недостатки Бесконечные штрафы из воздуха! Руководство не решает ни один вопрос, условия труда ужасные, полная антиса…

Работник

Смотреть полностью

14 февраля 2023

Достоинства Их просто нет .Недостатки Верхнее руководство как хочет, так и вертит. Зарплата мизерная. Так её ещё урезали. Бессовестные. Неужели управы на них н…

Работник

Смотреть полностью

14 февраля 2023

Достоинства Платят вовремяНедостатки Штрафы, ужасные условия труда, нет слаженности в коллективе

Работник