4.12.24

Как устроены генеративные обложки профиля

Как устроены генеративные обложки профиля
No items found.

Краткий экскурс в диффузионные модели и вектор интереса пользователя.

В честь 16-летия ВКонтакте решили добавить новый способ персонализации профиля — генеративные обложки, затестить их можно в приложении. Это самый быстрый запуск, который мы реализовали в этом году. Всего есть 4 категории обложек: импрессионизм, киберпанк, абстракция и концепт-арт.

Вектор интереса

При генерации картинки учитываются предпочтения пользователя, мы называем это вектор интереса. Он формируется из тематики страницы: увлечений, подписок, репостов и фотографий. Сеть формирует основной вектор интересов, например, машины, а затем генерирует обложки, связанные с автомобильной тематикой. 

Диффузионные модели

Для решения нашей задачи мы использовали диффузионные модели. Они способны сгенерировать изображение фактически из белого шума, рандомного набора чисел. Работу модели можно разделить на два этапа. Первый — обучение: мы постепенно зашумляем изображение и просим диффузию предсказать наложенный шум или изначальное изображение, зная мощность зашумления. Научившись восстанавливать с разных уровней зашумления, можем приступить ко второму этапу — генерации. Берётся гауссовский шум и модель итеративно пытается восстановить из него изображение. Чтобы генерировать какое-то конкретное изображение, можно дополнительно обусловить модель на текст.

Уровень качества генеративного контента, который есть сейчас, не появился просто так — это наслоение прошлых завоеваний в ML. Пару лет назад значительным скачком стало то, что Google и другие компании начали публиковать датасеты с огромным количеством подписанных картинок. Обучившись на миллиарде таких картинок, нейросети научились предсказывать, что изображено на картинке, без тега.

Eщё про команду:
Главное о команде
Главное о команде
Прикладные исследования (Deep VK)
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Онбординг в стиле межгород
Онбординг в стиле межгород
Прикладные исследования (Deep VK)
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Почитать о других:
5 плюсов удалённой работы для сотрудников и команды
5 плюсов удалённой работы для сотрудников и команды
Команда инженеров данных
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Как мы придумали ArchCommunity
Как мы придумали ArchCommunity
Команда архитекторов ПО
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Мемный онбординг: краткая история локальных шуток команды
Мемный онбординг: краткая история локальных шуток команды
Команда компьютерной графики и видеопродакшена
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Как мы запускали Школу Инженерии Данных
Как мы запускали Школу Инженерии Данных
Команда инженеров данных
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Работаем в рамках дизайн-центричной компании
Работаем в рамках дизайн-центричной компании
Команда продуктового дизайна
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.
Зачем мы внедрили Server Driven UI
Зачем мы внедрили Server Driven UI
Команда iOS-разработчиков
This is some text inside of a div block.
This is some text inside of a div block.
This is some text inside of a div block.