Аналитик-разработчик в группу новых поисков

Больше об аналитике и метриках Поиска — в видео от Лены, руководителя группы экосистемных исследований.

В Яндексе много разных поисков (квартиры, видео, афиша, врачи, услуги, товары и другие). Они различаются по технологиям, масштабу, качеству, но одно верно: сделать новый поиск — это большой инженерный и продуктовый проект. Мы радикально упрощаем эту задачу и создаём платформу, на которой поиски можно будет запускать или улучшать одним промптом.

Аналитическая команда внутри платформы отвечает за:
- формализацию продуктовых требований от заказчиков о том, как выглядит хорошее ранжирование;
- создание датасетов для валидации и обучения;
- эталонную разметку;
- разработку агентов-разметчиков;
- дизайн логов;
- офлайн- и онлайн-приёмку.

Главное отличие от обычной аналитической работы — мы делаем конвейер аналитики, а не улучшаем отдельные сервисы.

На каждом этапе мы придумываем универсальные критерии качества, которые будут работать сразу для сотен клиентов: как должны выглядеть хорошие датасеты; по каким признакам принимать работу агентов-разметчиков; как убедиться, что пользователи стали счастливее.

Какие задачи вас ждут:
Датасеты

Вы будете придумывать, как агентам из логов любого сервиса собрать честный и воспроизводимый набор для оценки: что считать репрезентативным; как не потерять сложные случаи и как понять, что набор вообще способен различать хорошее ранжирование и плохое.

Разметка

Вам предстоит понять, как переводить продуктовый заказ в разметку и какими внешними знаниями должны обладать агенты для хорошей разметки. Кроме того, важно определить, как контролировать качество семантического слоя, из которого берутся эти знания, а также как обеспечить устойчивость разметки к внешним факторам.

Приёмка

Вам нужно будет определять, по каким признакам вообще можно принять новое ранжирование: какие офлайн-метрики предсказывают онлайн-эффект; как построить иерархию метрик для сервиса, который видишь впервые; как отличить настоящее улучшение от артефакта разметки; как извлекать идеи для будущих улучшений из реальных логов.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждем, что вы:
- Уверенно пишете на Python и SQL
- Разбираетесь в алгоритмах и структурах данных
- Знаете математическую статистику и умеете проверять гипотезы
- Понимаете, почему важно всегда смотреть на данные

Будет плюсом:
- Работали с поиском или рекомендациями
- Интересуетесь ML-аналитикой
- Знаете, как работать с кодинг-агентами
- Умеете общаться, ясно излагать мысли, понимать и учитывать мнение коллег, убеждать