ML-инженер обучения и alignment моделей ассистента (Senior, IC)

Наша команда отвечает за весь продуктовый ML в Сбере на базе GigaChat. Мы обучаем базовую модель для работы в продуктах СБОЛ (Сбербанк Онлайн, более 80 млн MAU) и Giga.Chat (более 20 млн уникальных пользователей).

Мы ищем сильного ML-инженера в команду, которая обучает модели: пишет код обучения, создает рецепты alignment и отвечает за то, что запуск на сотнях карт доходит до чекпоинта, который можно отдать в релиз.

Работаем с двумя семействами моделей. GigaChat — основная продуктовая модель. Open source модели — Qwen, DeepSeek, Kimi, GLM — мы обучаем под те же сценарии: они дают быструю проверку гипотез, точку сравнения по качеству и запасной путь там, где он нужен продукту.

Это роль individual contributor для инженера, которому одинаково интересны и метод обучения, и код, который делает этот метод воспроизводимым на большом кластере.

Задачи:

• Вы будете отвечать за каскад обучения целиком: coldstart и SFT, DPO, online-RL на GRPO и OPD (on-policy distillation). Задача — не запустить отдельную стадию, а собрать последовательность стадий, в которой каждая следующая опирается на результат предыдущей

• Вы будете работать с verl и близкими фреймворками (TRL, OpenRLHF, NeMo-RL) на низком уровне: реализовывать новые алгоритмы поверх них, дорабатывать шаг обучения и поддерживать новые архитектуры моделей

• Вы будете вести эксперимент: подбирать состав и пропорции обучающих данных, конфигурации и гиперпараметры, а затем принимать решение, какой чекпоинт едет дальше

Наши ожидания:

• Сильную базу ML и личный вклад в код обучения моделей: реализация training loop, постановка экспериментов, диагностика сходимости и качества. Название должности и общий стаж сами по себе не заменяют этот опыт
• Практический опыт распределённого обучения на нескольких узлах. Важно понимать, как устроены FSDP, DeepSpeed, Megatron или аналогичный стек, как делятся данные и веса и почему многонодовый запуск расходится или простаивает
• В первую очередь нам интересны инженеры с опытом online-RL/GRPO или on-policy distillation. Такой опыт — самый сильный сигнал соответствия роли; 2–3 лет содержательной hands-on работы достаточно.
• Уверенный PyTorch и Python на уровне чтения и правки чужого кода обучения
• Опыт, в котором вы сами провели модель через несколько стадий подряд — от coldstart или SFT до DPO и RL — и отвечали за результат всего каскада, а не отдельного запуска
• Опыт работы с verl или аналогичным фреймворком обучения на уровне кода: доработка шага обучения, реализация нового алгоритма, разбор чужой реализации
• Опыт распределённого обучения: FSDP, DeepSpeed, Megatron или их аналоги, понимание видов параллелизма и их цены.
• Опыт обучения reward-моделей на больших наборах предпочтений и понимание того, как они ломаются.
• Умение профилировать и отлаживать большую ML-кодовую базу: находить узкое место, а не переписывать всё заново

Условия:

• Корпоративный спортзал и зоны отдыха
• Более 400 программ СберУниверситета для роста
• Программа адаптации и помощь руководителя на старте
• Крупнейшее DS&AI community — более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых Последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы
• Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа
• Ипотека для сотрудников по дисконтной программе