Нейросети, что дальше?

Сами по себе они никакой полезной для человека информации не несут. 

Да, в кадре есть стоящий автомобиль. Да, он есть и в других 10 часах видеозаписи, что нам толку от этого? 

Дошло до странного - разработчики носятся со своими даже еще сырыми нейросетями и восторженно предлагают их купить, как будто изобретен эликсир вечный жизни. - Мы можем находить людей и автомобили! Звучит претенциозно, кажется даже, что мою старую «шестерку» все-таки найдут, которую угнали 10 лет назад. 

Открытие сверхновой звезды – событие грандиозное, но чем оно может помочь земному юзеру? Сами по себе нейросети – лишь возможность для компьютера лучше различать окружающие предметы – и всё! Комп лишь на шаг приблизился к интеллекту человека – также как метеорит в далекой галактике на пару световых лет приближается к Земле – и осталось всего несколько миллиардов световых лет, чтобы таки достичь. 

 

Нейросеть способна только сказать, что данная фигура в кадре может принадлежать человечку, она не в состоянии отличить простого прохожего от преступника, умного от глупого, опасного от безобидного… По сути мы получили лишь очередной фильтр помех. Теперь мы почти точно можем сказать, что новая семантическая картина происходит с участием человека или автомобиля, мы можем отсеять движения веток, животных и теней, что в общем, конечно, огромный шаг вперед. 

Вот так в системе GOALcity выглядит такой фильтр помех:

 

Теперь все алгоритмы видеосемантики проходят через него и выводятся лишь в случае наличия в своем составе человека и(или) движущегося автомобиля при игнорировании животных, птичек и проч. – по умолчанию, можно настроить и по-другому. Нужно отметить, сама видеосемантика и так являлась достаточно помехозащищенной благодаря своей идеологии, а также особым фильтрам, например, Растения. Но теперь количество помех упало совсем до самого минимума, что конечно радость для пользователя, если он почувствует эту разницу. Тем более что, ночью в плохо освещенных местах нейросети вообще не работают, им нужна нормальная картинка – вся надежда только на видеосемантику. 
 
Но на этом мы закончим гнобить новую технологию, тем более что сами являемся её пионерами. И множество собственных нейросетей уже встроено в GOALcity. 

В современном обществе есть запрос на поисковую оптимизацию при просмотре видеоконтента. Никто толком не знает, где и что искать, даже если чего-то случилось. А если просто просматривать в профилактических целях, то совсем смерть. Громады архивов так же бесполезны, как и их отсутствие.

А ведь в любом действии есть ключевые моменты, типа: шел, остановился, побежал, сел, упал,...  Чтобы кинуть вам камень в окно (произвольный пример), человек должен сначала остановиться – значит, надо отфильтровать всех, кто просто прошел. Если это парковка, то нужно быстро просмотреть, какие ТС тронулись за последние, например, 2 часа. Можно очень долго проигрывать записи со всех 50 камер, а проще вывести 10 роликов с конкретными авто – весь процесс поиска занимает не более одной минуты…

И в этом смысле нейросети добавляют достаточно много полезной поисковой логики. Но опять же не сами по себе. Нейросеть – лишь инструмент, для которого нужна алгоритмическая программа. Нейросетью мы лишь узнаем, что в кадре есть автомобиль, и нам нужно теперь определить, что он делает: стоит, едет, останавливается или трогается. А вот это с успехом делает алгоритмика Спецлаб. 

 

И на сегодняшний день в Архив событий добавлены следующие новые возможности поиска, основанные на нейросети:
• люди,
• автомобили,
• животные,
• носимые предметы,
• стоящие автомобили,
автомобили, которые остановились в этот период времени,
• автомобили, которые поехали в этот период времени,
• проехавшие автомобили в этот период времени,
• остановившиеся люди в этот период времени,
• начавшие движение люди в этот период времени,
• прошедшие люди в этот период времени,
• резкая смена направления движущегося человека,
• резкое увеличение числа людей,
• резкое уменьшение числа людей,
• резкое увеличение числа автомобилей,
• резкое уменьшение числа автомобилей,
• движение людей в зоне нахождения автомобилей,
• оставленные предметы,
• унесенные предметы,
• оставленный предмет, долгое время не пересекающийся с человеком.

Надо также отметить, что такие давнишние алгоритмы как оставленные предметы, направления и проч. стали работать значительно лучше. Вернее, они, наконец, вообще стали работать на практике, т.к. только теперь компьютер понимает, что поступательное движение и пересечение линии совершает человек, а не птица, не собака и даже не лист клена на ветру. 

ДОП-детектор много лет был притчей во языцех, все клиенты его требовали, все разработчики на своих демостендах его показывали, но нигде на практике он не работал. И вот аллилуйя, мы теперь почти точно можем сказать, что изменение фона в данной части экрана – это не блик, не нога человека, не тень его ноги, не… и т.д., а это настоящая сумка. Да еще можем и проанализировать, кто ее поставил, есть ли рядом люди, давно ли она лежит без хозяина. Т.е. мы уже приближаемся к полезному результату, который все равно должен оценивать человек. 

Но без видеосемантики ничего полезного в нейросети все равно нет, просто сумка в кадре – не о чем не говорит. Поэтому нейросеть без такой технологии как видеосемантика – лишь двигатель без машины, далеко сам не уедет. Благо есть уже ВИДЕОСЕМАНТИКА, именно она определяет, что есть событие, достойное внимания человека.