Візуально-мовна модель (VLM) для семантичного виявлення та пошуку відео

Семантичне виявлення в реальному часі за допомогою VLM

Просто опишіть, що ви хочете виявити — чи то «людина, що біжить», чи «жінка в чорній сукні». Мета-детектор VLM на базі ШІ обробляє запит і ідентифікує відповідні сцени в міру їхньої появи у відеопотоці, пропонуючи безперешкодне та точне розпізнавання сцен. У режимі пошуку користувач вводить текстовий запит, і система перетворює його на метадані, що використовуються нейронною мережею для пошуку найточніших збігів.

Розпізнавання сцен у реальному часі

Виявляйте конкретні об'єкти та події в момент їхнього виникнення та отримуйте сповіщення, коли текстовий запит збігається з описом сцени в живому відео.

Гнучка структура запитів

Комбінуйте об'єкти, атрибути (розмір, колір тощо), середовище та розташування для точного виявлення.

Додаткове навчання не потрібне

Нейронна мережа розуміє різноманітні сценарії «з коробки», допомагаючи користувачам працювати як із живими сповіщеннями, так і з ретроспективним пошуком без створення спеціальних моделей для кожного завдання.

VLM поєднує людський намір і машинне виконання

Замість налаштування складних правил ви просто описуєте, що вам потрібно, а система робить усе інше. Це робить відеоаналітику доступнішою, гнучкішою та легшою для адаптації до змінних операційних потреб.

У режимі живого відео Мета-детектор VLM працює як онлайн-інструмент: користувач вводить текстовий запит і отримує сповіщення, коли цей запит збігається з описом кадру в реальному часі.

Для ретроспективного пошуку користувачі можуть увімкнути зберігання метаданих на стороні Мета-детектора. Це робить описи кадрів доступними для пошуку в архіві пізніше, не вимагаючи попереднього налаштування жодних детекторів. Пошук здійснюється за всіма записаними метаданими, згенерованими нейронною мережею під час запису відео.

Приклади виявлення

• Виявити «пакунок, залишений біля входу».
• Ідентифікувати «людина, яка перелазить через паркан біля вантажного доку».
• Розпізнати «білий автомобіль на пішохідному переході (вид зверху)».
• Шукати в архіві відео «людина в рожевому».

Мета-пошук у записаному відео

Після ввімкнення зберігання метаданих користувачі можуть відкрити вкладку пошуку, вибрати Мета-пошук VLM і працювати з ним так само інтуїтивно зрозуміло, як і в налаштуваннях детектора. Вони вводять текстовий запит, і система повертає кадри та відеофрагменти, збережені метадані яких найбільше відповідають цьому запиту.

Користувачі також можуть встановити схожість у відсотках, щоб уточнити результати пошуку. Це дозволяє розширити або звузити збіг залежно від того, наскільки специфічним є запит і скільки релевантних результатів потрібно.

Мета-пошук не генерує події самостійно. Його роль полягає у використанні раніше збережених метаданих для ретроспективного пошуку. Якщо спеціалізовані детектори вже налаштовані та генерують події в реальному часі, то пошук може здійснюватися через ці події.

Цінність VLM у VMS Axxon One

Можливості Візуально-мовної моделі на базі ШІ перетворюють традиційні системи відеоспостереження на більш інтелектуальні та гнучкі платформи для керування відео. Поєднуючи Мета-детектор VLM для живого семантичного виявлення з Мета-пошуком VLM для пошуку в архіві, Axxon One забезпечує:

• Розуміння сцен у реальному часі для живих відеопотоків.
• Швидший час реагування на загрози безпеці.
• Покращену точність в ідентифікації складних сцен.
• Менше часу, витраченого на ручну перевірку та налаштування.

Дозволяючи користувачам взаємодіяти як із живим, так і з записаним відео за допомогою зрозумілих людині описів, VLM Axxon One пропонує ефективний підхід до розуміння сцен у реальному часі та пошуку в архіві на базі ШІ. Це розширює відеоаналітику від виявлення подій до семантичного розуміння відео в межах повноцінного робочого процесу VMS.