Сейчас 3D-рендеринг лиц является неотъемлемой частью производства любого крупного фильма или игры, но задача их захвата и естественной анимации является достаточно сложной. Disney Research работает над тем, чтобы сделать этот процесс более легким, в том числе с помощью машинного обучения.
Конечно, сейчас технология 3D-рендеринга ушла далеко вперед от «деревянных» выражений лиц с низкой детализацией.
Если задуматься о том, как меняется лицо человека, когда он улыбается, то у всех это происходит по-разному. При этом всегда есть нечто, благодаря чему, мы можем сказать, когда кто-то «по-настоящему» улыбается или просто притворяется. Возникает вопрос: как достичь такого уровня детализации на искусственном лице?
Существующие «линейные» модели упрощают деликатность выражений лиц, обеспечивая скрупулезную настройку «счастья» или «гнева», но теряют при этом в точности и не передают всех возможных вариантов лицевой мимики. Хотя новые нейронные модели и учатся воспроизводить сложные выражения лиц, наблюдая взаимосвязью разных выражений, их работа неясна и не обеспечивает уровень контроля, необходимый художникам, работающим над фильмом или игрой.
Для решения этой проблемы команда Disney Research предлагает новую модель, которую она называет «глубокой семантической моделью лица». Не вдаваясь в технические подробности, ее основное преимущество состоит в том, что эта модель изучает то, как выбранное выражение влияет на все лицо, но не является специфическим для одного конкретного лица. Кроме того, она является нелинейной, что позволяет гибко подстраиваться под то, как разные выражения взаимодействуют с геометрией лица и друг с другом.
Результаты впечатляют, технология позволяет сгенерировать тысячи разных лиц, а затем все их анимировать одними и теми же выражениями без каких-либо дополнительных усилий. Подумайте, как это может привести к созданию толпы разных людей с помощью компьютерной графики буквально с помощью пары кликов мыши, и к персонажам в играх с реалистичными выражениями лиц, даже если они не были прорисованы вручную.
Доклад Disney Research был представлен на Международной конференции 3DV 2020.