Акторка «Сутінків» Крістен Стюарт стала співавтором дослідження про штучний інтелект

Стаття опублікована в онлайн-базі наукових робіт ArXiv Корнельського університету.

Американська кіноактриса і режисер Крістен Стюарт стала співавтором публікації, в якій описується перенесення художнього стилю за допомогою нейромереж. Препринт доступний на arXiv.org, — передає Корупція. Стар

Останнім часом нейромережі активно використовуються в області обробки і розпізнавання зображень, в тому числі вже і в комерційних продуктах — наприклад, додаток Prisma для смартфонів вміє перемальовувати задане зображення відповідно до вибраного стилю.

Детальніше про те, як працює перенесення стилю за допомогою нейромереж, можна прочитати в матеріалі N + 1 "На виставці Ван Гога".

У самій публікації описується обробка деяких сцен фільму Come Swim, який зняла Крістен Стюарт.

Для перенесення стилю використовувалася картина, яка спочатку надихнула режисера на створення фільму про людину під водою, який прокидається від сну.

Спочатку для обробки кадрів автори публікації розглядали нейромережі googlenet або VGG c 19 шарами, проте в першому випадку їх не влаштував результат обробки, а в другому випадку час обробки виявилося занадто довгим.

В результаті для отримання потрібного ефекту використовувалася підготовлена ​​сверточное нейросеть VGG з 16 шарами.

Всі попередні роботи проводилися над превью низького дозволу, а для обробки кадрів в повному розмірі використовувався сервіс хмарних обчислень Amazon EC2.

Після цього кадри додатково збільшили до підсумкового дозволу 2048 пікселів і відфільтрували від шуму — сумарно на весь процес обробки одного кадру у авторів пішло близько 40 хвилин.

Раніше нейромережі вже застосовували для обробки кадрів відео — наприклад, німецькі вчені перенесли художній стиль Вінсента Ван Гога, Едварда Мунка та інших художників на мультфільми і кіно.

Крім того, існують програми, здатні змішувати відразу кілька стилів для обробки зображень і відео.