8.5.24

Как устроены генеративные обложки профиля

Как устроены генеративные обложки профиля
No items found.

Краткий экскурс в диффузионные модели и вектор интереса пользователя.

В честь 16-летия ВКонтакте решили добавить новый способ персонализации профиля — генеративные обложки, затестить их можно в приложении. Это самый быстрый запуск, который мы реализовали в этом году. Всего есть 4 категории обложек: импрессионизм, киберпанк, абстракция и концепт-арт.

Вектор интереса

При генерации картинки учитываются предпочтения пользователя, мы называем это вектор интереса. Он формируется из тематики страницы: увлечений, подписок, репостов и фотографий. Сеть формирует основной вектор интересов, например, машины, а затем генерирует обложки, связанные с автомобильной тематикой. 

Диффузионные модели

Для решения нашей задачи мы использовали диффузионные модели. Они способны сгенерировать изображение фактически из белого шума, рандомного набора чисел. Работу модели можно разделить на два этапа. Первый — обучение: мы постепенно зашумляем изображение и просим диффузию предсказать наложенный шум или изначальное изображение, зная мощность зашумления. Научившись восстанавливать с разных уровней зашумления, можем приступить ко второму этапу — генерации. Берётся гауссовский шум и модель итеративно пытается восстановить из него изображение. Чтобы генерировать какое-то конкретное изображение, можно дополнительно обусловить модель на текст.

Уровень качества генеративного контента, который есть сейчас, не появился просто так — это наслоение прошлых завоеваний в ML. Пару лет назад значительным скачком стало то, что Google и другие компании начали публиковать датасеты с огромным количеством подписанных картинок. Обучившись на миллиарде таких картинок, нейросети научились предсказывать, что изображено на картинке, без тега.

Eщё про команду:
Онбординг в стиле межгород
Онбординг в стиле межгород
Прикладные исследования (Deep VK)
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Главное о команде
Главное о команде
Прикладные исследования (Deep VK)
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Почитать о других:
Главное о команде
Главное о команде
Команда Fullstack разработчиков
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Как искать драйверы роста бизнеса: опыт Циан
Как искать драйверы роста бизнеса: опыт Циан
Команда продуктовой вертикали
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Главное о команде
Главное о команде
Команда Python-разработчиков
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Как из ошибки сделать кейс
Как из ошибки сделать кейс
Команда редакции приложения
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Как мы настроили каталогизацию дашбордов и стримов
Как мы настроили каталогизацию дашбордов и стримов
Команда BI платформы
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
 Наши достижения в 2022 году
Наши достижения в 2022 году
Команда DevOps инженеров
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.