8.5.24

Как устроены генеративные обложки профиля

Как устроены генеративные обложки профиля
No items found.

Краткий экскурс в диффузионные модели и вектор интереса пользователя.

В честь 16-летия ВКонтакте решили добавить новый способ персонализации профиля — генеративные обложки, затестить их можно в приложении. Это самый быстрый запуск, который мы реализовали в этом году. Всего есть 4 категории обложек: импрессионизм, киберпанк, абстракция и концепт-арт.

Вектор интереса

При генерации картинки учитываются предпочтения пользователя, мы называем это вектор интереса. Он формируется из тематики страницы: увлечений, подписок, репостов и фотографий. Сеть формирует основной вектор интересов, например, машины, а затем генерирует обложки, связанные с автомобильной тематикой. 

Диффузионные модели

Для решения нашей задачи мы использовали диффузионные модели. Они способны сгенерировать изображение фактически из белого шума, рандомного набора чисел. Работу модели можно разделить на два этапа. Первый — обучение: мы постепенно зашумляем изображение и просим диффузию предсказать наложенный шум или изначальное изображение, зная мощность зашумления. Научившись восстанавливать с разных уровней зашумления, можем приступить ко второму этапу — генерации. Берётся гауссовский шум и модель итеративно пытается восстановить из него изображение. Чтобы генерировать какое-то конкретное изображение, можно дополнительно обусловить модель на текст.

Уровень качества генеративного контента, который есть сейчас, не появился просто так — это наслоение прошлых завоеваний в ML. Пару лет назад значительным скачком стало то, что Google и другие компании начали публиковать датасеты с огромным количеством подписанных картинок. Обучившись на миллиарде таких картинок, нейросети научились предсказывать, что изображено на картинке, без тега.

Eщё про команду:
Онбординг в стиле межгород
Онбординг в стиле межгород
Прикладные исследования (Deep VK)
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Главное о команде
Главное о команде
Прикладные исследования (Deep VK)
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Почитать о других:
Главное о команде
Главное о команде
Команда DevOps инженеров
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Мой коллега — псих: самые странные привычки соседей по офису из первых уст
Мой коллега — псих: самые странные привычки соседей по офису из первых уст
Core Team
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
QIWI Fit: как мы понимаем, что кандидат вольётся в команду
QIWI Fit: как мы понимаем, что кандидат вольётся в команду
Команда IT рекрутмента
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Главное о команде
Главное о команде
Команда разработки внутрибанковского ПО
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Влад Воркель: всё про стажировки в Сбере и Яндексе
Влад Воркель: всё про стажировки в Сбере и Яндексе
Core Team
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Как мы поддерживаем командный дух
Как мы поддерживаем командный дух
Команда разработчиков мобильного приложения
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.