Аннотация на русском языке: В данной работе рассматривается метод обучения с учителем, который позволяет решать одну из задач компьютерного зрения, а именно задачу интерполяции кадров. Предложенный метод также допускает применение в мультипликационной анимации, поскольку ручная прорисовка каждого кадра занимает значительное количество времени у художника-аниматора. Большинство существующих решений являются методами обучения без учителя и предполагают достаточно высокую исходную частоту кадров. Однако эксперименты показывают, что эти методы неприменимы к видеопоследовательностям с низкой частотой кадров, где смещение объектов между кадрами может быть достаточно большим. Это происходит из-за того, что интерполяция движения с большим смещением требует знания структуры движения, а значит простые методики, такие как усреднение кадров перестают работать. В этой работе используется глубокая свёрточная нейронная сеть для решения задачи интерполяции кадров. Также в работе показано, что использование дополнительной априорной информации, в частности оптического потока, позволяет значительно улучшить качество интерполяции.

The summary in English: This work presents a supervised learning based approach to the computer vision problem of frame interpolation. The presented technique could also be used in the cartoon animations since drawing each individual frame consumes a noticeable amount of time. The most existing solutions to this problem use unsupervised methods and focus only on real life videos with already high frame rate. However, the experiments show that such methods do not work as well when the frame rate becomes low and object displacements between frames becomes large. This is due to the fact that interpolation of the large displacement motion requires knowledge of the motion structure thus the simple techniques such as frame averaging start to fail. In this work the deep convolutional neural network is used to solve the frame interpolation problem. In addition, it is shown that incorporating the prior information such as optical flow improves the interpolation quality significantly.

Ключевые слова: компьютерное зрение, глубокое обучение, нейронные сети, интерполяция, видео, кадры, оптический поток.
Key words: computer vision, deep learning, neural networks, interpolation, video, frames, optical flow.