Методика тестирования современных средств видеоаналитики
Дата публикации: 12.05.2017

Публикуем в кратком виде - только главное

Аббревиатура методики: VA-SL02

Методика тестирования видеоаналитики

Основные требования к видеоаналитике в охранном видеонаблюдении:

1. Уменьшение влияния человеческого фактора на качество видеоконтроля в реальном масштабе времени.

2. Сокращение человеческих ресурсов на осмысленный просмотр большого числа видеопотоков как реального времени, так и в архивных записях.

3. Нивелирование периодов отсутствия внимания со стороны персонала.

4. Значительное сокращение времени на просмотр уже произведенных видеозаписей.

5. Быстрый поиск полезной информации в архиве.

6. Фильтрация избыточной многократно повторяющейся полезной и бесполезной активности в кадре.

7. Инструментальный механизм сопоставления фактов для заинтересованных в записываемой информации лиц.

8. Легкая и быстрая обработка видеоконтента с возможностью скоростного переноса результатов другим лицам.

9. Мобильность и охват большого числа, в том числе и удаленных друг от друга, пользователей одновременно.

10. Низкая ресурсоемкость на клиентских устройствах получения конечной информации.

11. Мультиплатформенность и совместимость с WEB-интерфейсами основных операционных систем в пунктах назначения.

12. Облачность архитектуры хранения, обработки и доступа к аналитическим данным.


Назначение:

Тестирование должно выявить возможность аппаратно-программных средств выделять полезные события в общем видеопотоке с видеокамер, преподносить их в кратком понятном виде пользователю с минимально возможной частотой оповещения оператора, достаточной для того чтобы обеспечивать качественную охрану объекта.


Сравнение рекомендуется производить путем корреляции следующих двух утверждений:

Чем ниже частота сработок видеоаналитики (ЧСВ) при том же уровне подачи полезных данных (УППД), тем выше оценивается качество алгоритмов видеоаналитики.

Чем выше уровень подачи полезных  данных (УППД), при той же частоте сработок видеоаналитики (ЧСВ), тем выше оценивается качество алгоритмов видеоаналитики.       

Под сработкой видеоаналитики понимается автоматически формируемый компьютером визуальный сигнал, наглядно передающий причину своего возникновения.

В зависимости от круга задач под полезными данными могут пониматься как четко определенные сценарии поведения, так и любые сюжеты информационного характера, прямо или косвенно влияющие на безопасность. 

Проводить тестирование четко заданных сценариев поведения есть смысл только в случае использования видеоаналитики на объектах с низким уровнем помех и одиночного (непересекающегося по траекториям) движения, которыми являются закрытые помещения с постоянным рассеянным освещением, не подверженные влиянию животных, птиц и насекомых.

Для большинства типов объектов с их естественными помехами больше подходит исследование видеоаналитики на выделение любых сюжетов информационного характера, прямо или косвенно влияющих на безопасность, относящихся к видеосемантике. 

Чего не нужно требовать!

В виду отсутствия в природе искусственного интеллекта нет смысла ставить задачи формализации и четкого определения машиной смысла происходящего. Такие намерения ведут лишь к  однобокой статической настройке программ со стороны испытуемых для строго заданных условий тестов в данный конкретный момент. И они плохо срабатывают на любые изменения условий видеонаблюдения, что отдаляет их от практического применения. К тому же на рынке многолетним опытом уже выявлены недобросовестные заявления о возможности распознавания драк, убийств, различных намерений злого умысла. В реальности даже неграмотная бабушка многократно лучше понимает опасную человеческую ситуацию, по сравнению с компьютером.

Визуальность:

От видеоаналитики не требуется текстовой формализации события, но она должна полностью передать характер события средствами визуализации: фото, видео, звук, графика, динамика интерфейса… – все вместе или что-то одно, понятность и скорость восприятия должны оцениваться отдельным тестом.


Параллельность:

В экстренных ситуациях чаще всего на оператора видеонаблюдения обрушивается сразу множество сработок одновременно. Интерфейс оператора должен продемонстрировать возможность отсмотра всего комплекса событий без потери их на экране. При этом рекомендуется повышать балл системам, имеющим автоматическую систему группировки и совмещения близких по смыслу сюжетов.

Критерии тестирования по человеческому фактору:

Имеет смысл ограничить тест точными параметрами планируемого ресурса использования видеоаналитики. Прежде всего, это количество утвержденных на объекте операторов. При испытании полного количества видеоканалов на одного человека не должно приходиться более СОТНИ событий в час. Ряд опытов подтвердил, что это максимальный уровень загрузки внимания оператора в среднем интеллектуальном сегменте. 

При этом нужно понимать, что комфортным диапазоном является частота – до 30 событий в час. А за рабочую смену в течение 10 часов лишь два часа можно нагружать оператора объемом до 100 событий в час. И эти загруженные часы должны быть разнесены по времени – не менее 3 часов между собой.

На большинстве объектов есть периоды высокой активности (приход на работу, выход на обед и проч.) и низкой активности, когда большинство «полезных целей» находится на своих местах. В зависимости от характера конкретного объекта следует разработать соответствующую схему по количеству событий.  И уже на этом этапе определиться с возможностями той или иной системы для тестирования. Если система видеоаналитики привлекает к себе внимание значительно чаще, то полезность ее использования можно поставить под сомнение.

Кроме того, требуется аппроксимация полученного результата к ночному периоду, когда он не должен выходить за пределы 10 в час.

Формула расчета по человеческому фактору количества допустимых событий (КДС):


Для обычного периода работы

ПК / ТК * КС  <  30

Для загруженных пиков

ПК / ТК * КС  <  100

Для ночного периода работы

ПК / ТК * КС  <  10

ПК - Планируемое количество камер на объекте

ТК - Количество камер во время тестирования

КС - Количество событий в час во время тестирования на ТК

Если ни один претендент не обеспечивает заданную плотность событий, следует или увеличить человеческий ресурс, или понизить уровень, предъявляемый к безопасности объекта.

Как показывает практика, среднестатистическая задача более чем вписывается в данные условия, ее плотность событий не превышает даже десяти в час днем и двух ночью.  Поэтому есть смысл сначала исследовать активность планируемого объекта.

Помехозащищенность:

Следует воспроизвести условия реального видеонаблюдения, плавную и резкую смену освещенности, прохождение теней, возникновение ветра рядом с растительностью, отражение бликов, активность посторонних объектов и проч.

Сюжет не должен содержать естественных помех или при этом повторяться чаще, чем КДП-раз за час (КДП- количество допустимых помех).

Сюжет не должен содержать исключительно сцен из животных, птиц или насекомых, или при этом повторяться чаще, чем КДП-раз за час (КДП- количество допустимых помех).

Количество допустимых помех устанавливается комиссией в зависимости от типа объекта. Естественно, оно не должно превышать размер количества допустимого количества полезных событий на одного оператора КДС.

Критерии исследования полезности выдаваемых машиной событий:

В аналитически выделенном сюжете должны присутствовать исследуемые цели (люди, машины…) или важные техногенные факторы.

В аналитически выделенном сюжете не должно быть полного или почти полного повторения  действий уже обозначенных исследуемых целей или событий.

Аналитически выделенный сюжет должен отображать логическую новизну, позволяющую судить об изменении обстановки или о появлении новой полезной цели, или о значимых изменениях в активности уже обозначенных целей.    

Уровень подачи полезных данных УППД определяется исходя из простого человеческого видения криминального или иного исследования по выявлению того или иного действия. Например, по таким факторам можно судить о потенциальной опасности как текущего, так и будущего действия:

- резкая смена траектории движения при условии, что здесь мало кто так делает;

- резкое изменение скорости движения при условии, что здесь мало кто так делает;

- остановка во время прохождения зоны видеоконтроля при условии, что здесь мало кто так делает;

- взятие или оставление какого-либо предмета при условии, что здесь мало кто так делает;

- резкий взмах руки или другое резкое движение при условии, что здесь мало кто так делает;

- встреча двух или более человек при условии, что здесь мало кто так делает;

- расхождение двух или более человек в стороны при условии, что здесь мало кто так делает;

- доставание из кармана какого-либо предмета при условии, что здесь мало кто так делает;

- изменение положения тела в состояние, которое редко встречается во время проведения теста;

- …

Условие, что здесь мало кто так делает, крайне важно для фильтрации стандартных процессов, не имеющих явных отличий от потенциально опасных. Поэтому данный тест нужно проводить в два этапа:

1. Данное действие никогда не повторяется.

2. Подобные действия встречаются чаще, чем… (определяется отдельной методикой). 

При этом не нужно акцентировать внимание на том, что видеоаналитика что-то из всего предложенного не заметила, потому что при разных условиях видеонаблюдения могут быть разные реакции. Но чем больше таких сработок произойдет и без их повторения, тем выше можно оценивать уровень алгоритмов видеоаналитики.

Критерии исследования эффективности по временному уплотнению:

Учитывая отсутствие формализованности событий, их следует исследовать по всем камерам одновременно, чтобы составить полную картину того, насколько соответствует выданный результат из «коротких данных» полному архиву за этот же период по этим камерам.

А также соотношение времени просмотра аналитических данных по сравнению с длительностью видеозаписи за этот же период.

Формула расчета аналитической скважности:

ВИ * КК / КА =

ВИ - Время исследования

КК - Количество камер

КА - Количество аналитических событий за время исследования со всех камер

При максимальной информативности видеоаналитики следует получить минимальную скважность по отношению к длительности архива.

Это и является основным критерием оценки алгоритмизации по возможности распознавать ключевые моменты видеонаблюдения в диапазоне допустимого участия внимания среднестатистического человека.

Что в основном результате?

В конечном расчете нужно соотнести аналитическую скважность с данными тестирования по человеческому фактору. 

Вместо рекламы переключаемся на безопасность
Подключение системы видеонаблюдения к бытовому телевизору
Переход возгорания в сильный пожар можно предотвратить установкой второй входной двери
Действует правило мангала: не дуешь – не растопится