Видеоряд состоит из множества кадров. Один кадр в цифровом видео – это уникальный многомиллионный набор ноликов и единичек. В теории понятно, что по кусочку видео несложно найти весь материал целиком. На практике выяснилось, что для поиска по статичному изображению (скриншоту, картинке, отдельному кадру) существует много решений. Сервисов, где в качестве исходного материала применяется отрывок очень мало и не все категории видеоконтента можно найти с их помощью. Рассмотрим на примерах несколько подобных инструментов и факторы, ограничивающие поиск видео по фрагменту.
Плагин Shazam
Главная функция сервиса Shazam – поиск песен по аудиофрагменту, поэтому он поможет в розыске наименований и полных версий только видеоклипов. Работает сервис через плагин для браузера Chrome. Попытка установить на Яндекс не удалась. После установки в верхнем левом углу экрана появится фирменный значок Shazam. Для поиска нужно запустить фрагмент видеоклипа и, пока он проигрывается, нажать на иконку плагина. Программа определит название песни и выдаст ссылку на видеоклип.
Онлайн-сервис Midomi
На сайте Midomi можно разыскать понравившуюся музыку по внешнему звуку (запустить в другой вкладке или напеть голосом). Дополнительно предоставляется возможность найти видео по отрывку текста песни. Предварительно потребуется дать разрешение на использование микрофона. Если запустить фрагмент клипа или отрывок фильма с известной мелодией, сервис определит полную версию исходного видеоматериала. Для этого нужно в момент звучания нажать кнопку посередине экрана.
Система выдаст перечень ресурсов, в которых можно найти искомый материал в Интернете с похожим видео или аудиоматериалом.
Телеграм-бот AudD
Бот AudD тоже работает с аудиотреком. Обрабатывает как файл аудио или видео формата, так и ссылку на видеофрагмент. Первоначальная заставка на английском языке. Для начала работы нужно ввести команду «/start».
Далее диалог продолжается по-русски. В сообщении прикрепляется файл, записывается звук или вводится ссылка на Окко, Иви, Ютуб, Вимео и другие ресурсы. Сервис несколько секунд обрабатывает результат. В случае успеха выдает название фильма, сериала или видеоклипа. При неудаче нужно выбрать другой фрагмент или более качественно повторить исполнение песни или мелодии голосом.
Предоставляется ссылка на ресурс с полной версией произведения с возможностью скачать, прослушать или поделиться.
Мобильное приложение DSearch
DSearch – одно из немногих приложений, которое в качестве исходного материала использует фрагмент видео. Предоставляет функции организации загрузки и подготовки исходного видеоматериала на телефоне, а сам алгоритм сканирования заимствует от поисковых систем Google, Яндекс или Baidu.
Демонстрация возможностей проведена на смартфоне Samsung A320F c OC Android 8.0. На других моделях смартфонов порядок действий и наименование пунктов меню может несущественно отличаться:
- Запустите программу и выберите режим «Видео». Для загрузки нажмите кнопку «Choose video».
- Загрузите видео. Выберите кадр фрагмента, двигая ползунок по шкале вправо-влево. Нажмите «Search».
- Выберите поисковую систему, по которой приложение будет искать и нажмите «Найти источник изображения».
- Просмотрите результаты. Если по каким-то причинам оригинал видеоконтента не найден, выберите другой поисковик или вернитесь на шаг назад и попробуйте подобрать другой кадр из исходного видеофрагмента.
Таким образом, фактически DSearch осуществляет поиск по отдельному кадру, т.е. статичной картинке. Несмотря на подгружаемый отрывок, результат формируется с помощью технологий Google Объектив или Яндекс Картинки.
Свойства файла
Этот способ не требует прослушивания отрывка видео. Однако, использует в качестве исходных данных его фрагмент, поэтому вполне соответствует рассматриваемой теме. Каждый файл в ОС Windows обладает служебной информацией. По характеристикам видоефрагмента можно определить его параметры. Среди них есть наименование ресурса. Для доступа к информации нужно выделить название файла в проводнике и кликнуть правой кнопкой мыши. В появившемся меню выбрать пункт «Свойства».
Для доступа к параметрам нужно войти во вкладку «Подробно». Раздел «Общее описание» редко бывает заполнен. Но если повезет, можно сразу узнать название фильма, клипа или другого видеоматериала.
Проблема поиска по отрывку
Проведенные исследования показали, что полноценного инструмента поиска по отрывку фильма или видеоролика не существует. Приложения, где на входе в качестве исходных данных используется фрагмент, работают либо по одному кадру, либо обрабатывают только аудиодорожку. Кадр ничем принципиально не отличается от отдельного изображения. Аудиофрагмент позволяет найти видео ограниченного контингента: видеоклип, музыкальный фильм или фильм с популярным саундтреком.
После ознакомления с парой мудреных статей на тематических ресурсах, удалось приблизительно определить причину сложившейся ситуации. Если не вдаваться в технические подробности, индексация видеоконтента – трудоемкий, дорогостоящий процесс. Проиндексировать для последующего поиска текст или картинку легко, а видео сложно и долго. Время поиска по стандартному алгоритму занимает несколько минут. Такие сроки не могут устраивать современного пользователя.
Команда проекта Video Color Capture попыталась ускорить процесс с помощью индексации по цвету, но судя по последней версии от 2020 г. и неработающему дистрибутиву, тема не получила дальнейшего развития. Видимо, эффект по сравнению с поиском по одному кадру небольшой, а затраты на его реализацию и время обработки значительны. По-простому – цель не оправдывает средства. Подавляющее большинство пользователей вполне устраивает поиск по скриншоту.