Обнаружение дронов
Кадр разбит на сетку участков неба, по каждому нейросеть отвечает отдельно: чисто или посторонний объект. Зона знает своё небо — облака, солнце, край крыши и мачту.
Решает контраст, а не форма. Тёмный объект на ровном небе виден с двух пикселей, а это до двух километров.
Номер зоны — направление, порядок и время переходов — угловая скорость, рост объекта в кадре — сближается он или проходит мимо.
У дрона курс ровный, у птицы рыскает. Решение принимается не по одному кадру, а по треку.
Техническое предложение целиком — PDF, 23 страницы: ⬇ Обнаружение дронов над складом.pdf (1015 КБ)
01Зачем это складу
Распределительный центр — это десятки тысяч квадратных метров кровли, открытая площадка с техникой, зона погрузки, где всегда люди, и застрахованный товар. Всё это лежит под открытым небом, и выше уровня забора за ним никто не наблюдает.
Периметр закрыт заборами, камерами, охраной и контролем доступа, а воздух — ничем. Между тем именно оттуда приходят самые дорогие события: разведывательный облёт перед кражей, съёмка внутренней логистики, сброс груза на территорию, повреждение кровли или техники.
Радиодетекторы ловят связь дрона с пультом. Дрон, идущий по заранее записанному маршруту с выключенным передатчиком, для них не существует. Камера видит его независимо от радио. Система решает одну задачу: увидеть постороннего в небе, определить, откуда он идёт и сближается ли, и поднять тревогу. Она не глушит, не перехватывает и не воздействует на дрон — поэтому не требует специальных разрешений и подходит любому коммерческому объекту.
02Идея: небо делится на зоны
Обычный детектор ищет в кадре предметы известной формы и обводит их рамкой. На небе он работает плохо: у дрона на полутора километрах нет формы — это две-три точки. Метод ЗОНА-ПАРА заходит с другой стороны. Кадр заранее размечается сеткой зон — фиксированных участков неба, и для каждой зоны обучается своя пара ответов: норма (так зона выглядит, когда всё спокойно) и объект (в зоне появилось постороннее). Вопрос к нейросети не «что это за предмет», а «этот кусок неба такой же, как обычно, или нет» — на него можно ответить даже по двум пикселям.
Небо только кажется однородным: дымка у горизонта, синева в зените, облака, засветка от солнца, край кровли и мачта, деревья и провода. Общая модель вынуждена справляться со всем сразу и ошибается на краях кадра. Зона сравнивает то, что видит, только со своей же нормой: зона над кровлей знает, что край кровли в ней есть всегда, а зона в зените не видела ничего, кроме неба и облаков, — и у неё самый чувствительный порог.
Кровля, мачта, деревья и провода на краю кадра перестают быть помехой — они часть нормы своей зоны.
У горизонта, где ветки и марево, порог выше; в зените, где чисто, чувствительность максимальная.
Сработавшая зона — это готовое направление: азимут и угол места, посчитанные один раз при установке.
Число зон известно заранее — не бывает ситуации «детектор нашёл четыреста объектов, и всё встало».
Появился новый источник ложных срабатываний в одной зоне — переучивается одна зона, остальные не трогаются.
Оператору и в отчёте видно, какая зона сработала и что в ней было. Для службы безопасности это важнее одного общего ответа.
03Почему точка в небе — это уже обнаружение
Обнаружение — это про контраст, а не про форму. На небе нет кустов, машин и теней: в пределах зоны яркость меняется на единицы уровней, и картина повторяется из кадра в кадр. Любое тёмное пятно на таком фоне видно статистически, даже если глазом его не разглядеть.
| Что происходит | Величина |
|---|---|
| Яркость неба в зоне | около 180 уровней из 255 |
| Шум сенсора при такой яркости | 2–3 уровня |
| Дрон закрывает четверть площади пикселя | пиксель темнеет примерно на 30 уровней |
| Отношение сигнала к шуму | порядка десяти |
Десятикратное превышение над шумом — уверенный сигнал. Объект меньше пикселя всё равно затемняет его пропорционально закрытой площади, поэтому граница обнаружения лежит дальше, чем «четыре пикселя на цель» из классических методик (они выведены для замаскированной техники на пёстром фоне). Для тёмного объекта на ровном небе уверенное обнаружение начинается с двух пикселей, а с трёх-четырёх появляется устойчивый трек. Чтобы отличить квадрокоптер от птицы по картинке, нужно 15–20 пикселей — но эта задача здесь решается поведением.
Одиночный выброс шума может дать срабатывание в одном кадре, но не повторится в той же зоне и тем более не сместится в соседнюю в правильную сторону. Требование «объект подтверждается в трёх-четырёх кадрах подряд с последовательным смещением» убирает случайные срабатывания практически полностью и стоит доли секунды.
04Дальность обнаружения: расчёт
Дальность определяется угловым размером пикселя: пикселей на цели = размер цели × фокусное расстояние ÷ (размер пикселя × дальность). Расчёт для камеры 20 Мп с пикселем 2,4 мкм и матрицей 1 дюйм; цель — квадрокоптер размахом 0,4 м.
| Объектив | Поле зрения | Зона 128 px | Обнаружение, 2 px | Уверенно, 4 px | Распознавание, 16 px |
|---|---|---|---|---|---|
| 25 мм | 29,4° × 19,9° | 0,70° | 2 100 м | 1 040 м | 260 м |
| 35 мм | 21,3° × 14,3° | 0,50° | 2 900 м | 1 460 м | 365 м |
| 50 мм | 15,0° × 10,0° | 0,35° | 4 200 м | 2 080 м | 520 м |
| 75 мм | 10,0° × 6,7° | 0,23° | 6 250 м | 3 120 м | 780 м |
| 100 мм | 7,5° × 5,0° | 0,18° | 8 300 м | 4 170 м | 1 040 м |
Для более крупной цели дальность растёт пропорционально: аппарат самолётного типа размахом 1,2 м объектив 50 мм уверенно обнаруживает на шести километрах. Но примерно с двух километров ограничением становится не камера, а воздух — дымка снижает контраст.
| Метеорологическая видимость | Контраст на 1 км | на 2 км | на 3 км |
|---|---|---|---|
| 30 км, ясно | 88 % | 77 % | 68 % |
| 20 км, обычный день | 82 % | 68 % | 56 % |
| 10 км, лёгкая дымка | 68 % | 46 % | 31 % |
| 4 км, мгла | 38 % | 14 % | 5 % |
Объектив длиннее 75 мм ради дальности брать нет смысла: в обычную погоду воздух отдаст не больше двух-трёх километров. Разумный рабочий диапазон — от 300 м до 2 км, ровно то, что нужно складу. Дрон идёт со скоростью 20 м/с: обнаружение на 1 500 м даёт 75 секунд — вывести людей из зоны погрузки, остановить разгрузку, закрыть ворота и вызвать охрану; на 700 м — 35 секунд, этого хватает на людей и на сигнал.
05Камера, оптика и тепловизор
| Требование | Значение | Зачем |
|---|---|---|
| Разрешение | 20 Мп, 5472 × 3648 | чем мельче пиксель по углу, тем дальше видно точку |
| Размер пикселя | 2,4 мкм | вдвое меньше пиксель — вдвое дальше обнаружение |
| Матрица | 1 дюйм | при мелком пикселе сохраняет широкое поле зрения |
| Исполнение | монохромное | цветной сенсор теряет половину разрешения на мелкой тёмной точке |
| Затвор | глобальный или медленный роллинг | далёкий объект смещается медленно |
| Интерфейс | GigE, до 6 кадров/с при 20 Мп | около 960 Мбит/с — для неба этого темпа достаточно |
| Крепление | C-mount | любая стандартная промышленная оптика |
Все цифры посчитаны для серийной промышленной камеры HIKROBOT MV-CS200-10GM (монохромная): она есть в наличии, стоит предсказуемо, и программа уже умеет работать с ней напрямую. Объектив — формат не меньше 1 дюйма, разрешение под пиксель 2,4 мкм, светосила F2.8 и лучше, фиксированное фокусное расстояние без зума, фиксация фокуса и диафрагмы винтами (камера стоит на улице и вибрирует). Подходят Kowa, Computar, Fujinon и оптика Hikrobot. Для кругового наблюдения оптимум — 25 мм: двенадцать камер закрывают 360° с перекрытием, обнаружение уверенно работает до километра.
Тепловизионная камера: круглосуточная работа
Для ночи, сумерек и работы против солнца добавляется тепловизор — не отдельная система, а ещё один канал того же метода: та же сетка зон, своя пара «норма / аномалия» у каждой зоны и тот же трек. Ночное небо в инфракрасном диапазоне холодное и ровное, а у дрона греются моторы, аккумулятор и регуляторы — он выглядит тёплой точкой на холодном фоне.
| Параметр | Значение |
|---|---|
| Сенсор | неохлаждаемый, 640 × 512, пиксель 12 мкм |
| Объектив | 50 мм, поле зрения около 9° × 7° |
| Обнаружение дрона 0,4 м, 2 px | около 830 м |
| Уверенно, 4 px | около 420 м |
| Режим | круглосуточно, в сумерках, при засветке солнцем, в лёгкой дымке |
Зоны двух каналов привязаны к одним координатам неба: днём они подтверждают друг друга — объект, найденный в обоих каналах, почти наверняка настоящий, — а ночью трек ведёт тепловизор. Оператор видит единый трек, один экран и один журнал.
06Переход между зонами: трек
Одиночное срабатывание зоны — ещё не событие. Событием оно становится, когда объект переходит из зоны в зону. После установки каждая зона получает постоянные координаты на небе — азимут и угол места, — и номер сработавшей зоны становится направлением в градусах.
| Величина | Откуда берётся | Точность |
|---|---|---|
| Направление на объект | координаты сработавшей зоны | половина зоны, с уточнением внутри зоны — лучше |
| Угловая скорость | число пройденных зон ÷ время | ограничена только темпом съёмки |
| Курс | как меняется азимут от кадра к кадру | сразу видно, идёт объект прямо или петляет |
| Сближение | растёт ли размер объекта в кадре | уверенно на длинном участке трека |
Зона — 0,7° неба. Объект прошёл двенадцать зон за 2,4 секунды — угловая скорость 3,5°/с. У птицы на близкой дистанции она скачет, у самолёта на высоте мала и постоянна, у дрона, идущего на объект, плавно растёт. Темп шесть–десять кадров в секунду даёт три-пять измерений на каждую зону — трек гладкий. Соседние камеры смотрят с перекрытием, и объект, уходящий из кадра одной камеры, подхватывается следующей как тот же трек.
07Сближается или проходит мимо
На этот вопрос отвечает не дальность, а изменение размера объекта в кадре. Растёт размер — объект идёт на нас; держится, а азимут ровно ползёт — проходит стороной; уменьшается — уходит. Три состояния — три реакции: тревога, наблюдение, запись в журнал. Точную дальность одной камерой получить нельзя, и для тревоги она не нужна: решает сочетание «посторонний объект, ровный курс, сближается».
08Птица или дрон
Ложные срабатывания от птиц — главная практическая проблема оптического наблюдения за небом. Решается она анализом поведения, а не разглядыванием картинки.
| Признак | Птица | Дрон |
|---|---|---|
| Курс | рыскает, часто меняется | ровный, выдержанный |
| Угловая скорость | скачет, есть паузы и зависания | плавная, монотонно меняется |
| Высота | гуляет вверх-вниз | выдерживается |
| Траектория | случайная, обычно вдоль | чаще прямо на объект или по кругу над ним |
| Групповое поведение | часто стая, много отметок | одиночная отметка |
Модель каждой зоны дообучается на синтетике: на настоящие снимки неба именно этой зоны программно накладывается объект разного размера, положения, поворота и контраста. Так закрываются условия, которых на пилоте может не быть месяцами: низкое солнце утром и вечером, сумерки, дымка и облачность, шум, расфокусировка, вибрация мачты, засветка. Одинаковый разброс помех применяется и к норме, и к аномалии — поэтому вечернее небо не вызывает ложных тревог. Основа обучения — настоящее небо объекта; после пилота добавляются реальные пролёты.
Ворона в полусотне метров даёт крупную яркую отметку и в детекторе формы выглядела бы убедительнее настоящего дрона за километр, но по треку отсеивается за две секунды. Каждая зона ведёт свою статистику ложных срабатываний: если над углом кровли птицы летают каждое утро, порог этой зоны поднимается автоматически.
09Производительность
Кадр 20 Мп содержит 1 176 зон по 128 пикселей. Подавать их все в нейросеть каждый кадр не нужно — работа разбита на три этапа, и тяжёлая нейросеть работает только там, где есть что смотреть.
| Этап | Что делает | Цена |
|---|---|---|
| 1. Поиск кандидатов | сравнение кадра с накопленной моделью неба каждой зоны на видеокарте | 1–2 мс на кадр |
| 2. Решение по зоне | нейросеть смотрит только зоны-кандидаты, обычно от нуля до пяти на кадр | 3–5 мс на зону (RTX 50-й серии) |
| 3. Трек | сопоставление отметок между кадрами, курс, скорость, сближение | микросекунды |
Одна видеокарта NVIDIA RTX 50-й серии обслуживает до двенадцати камер с запасом. Ограничение — сеть: 20 Мп при шести кадрах в секунду — около 960 Мбит/с с камеры, то есть гигабитный порт на камеру и десятигигабитный канал к серверу на каждые шесть камер. Проверять нейросетью всё небо двенадцати камер подряд — это 42–71 секунда на круг; с поиском кандидатов круговой обзор обновляется несколько раз в секунду, а каждая зона по-прежнему помнит своё небо, норму и порог.
10Состав системы и покрытие
| Вариант | Камеры | Что закрывает |
|---|---|---|
| Пилот | 1 камера, 50 мм | один сектор 15°, обнаружение до 2 км; проверка метода на реальном небе объекта |
| Направление | 3–4 камеры, 35 мм | сектор 60–85°, сторона склада с подъездом и зоной погрузки |
| Круговой | 12 камер, 25 мм | все 360° с перекрытием, обнаружение до 1 км |
| Круговой усиленный | 12 × 25 мм + 4 × 75 мм | круговое наблюдение плюс дальние подступы на главных направлениях |
| Круглосуточный | любой вариант + тепловизоры 640 × 512 | ночь, сумерки, засветка солнцем; та же сетка зон и тот же трек |
Система модульная: минимальная поставка — одна камера на угрожаемое направление, она уже даёт тревогу. Наружу выдаются: экран охраны (сектор, азимут, угол места, трек, кадр объекта крупно), сирена и маяк в зоне погрузки, сухой контакт в автоматику склада (остановить погрузку, закрыть ворота), сообщение в существующую систему безопасности и журнал с архивом кадров — доказательная база для страховой и правоохранительных органов.
11Робот и стереокамера: точное сопровождение
Обзорные камеры отвечают на вопрос «где». Следующий шаг — «что это и как быстро летит»: к системе добавляется промышленный робот BORUNTE со стереоголовой — двумя камерами с длиннофокусной оптикой на жёсткой штанге.
Сработала зона на обзорной камере — известны азимут и угол места.
Сервер по сети поворачивает стереоголову робота на это направление (протокол уже реализован в Robot1).
В узком поле объект занимает десятки пикселей: виден тип аппарата и груз под ним.
По разнице двух камер — дальность, по ней и угловой скорости — скорость в м/с, по углу места — высота.
Робот ведёт голову за объектом в пределах разрешённых углов.
| База стереопары | Дальность | Ошибка по дальности |
|---|---|---|
| 0,5 м | 150 м | около 1 м |
| 1 м | 300 м | около 2 м |
| 1 м | 600 м | около 9 м |
Ошибка растёт с квадратом дальности, поэтому стереопара — инструмент ближней зоны, до нескольких сотен метров, а дальний обзор остаётся за сеткой зон. У робота заданы программные пределы по каждой оси: голова не опускается ниже заданного угла и не разворачивается на жилые дома, дороги и соседние территории.
Звуковой канал
Винты дрона дают ровный гул 150–400 Гц с чёткими гармониками, которого птица не издаёт. Звук подтверждает, что точка на небе — аппарат: направленный микрофон на стереоголове слушает туда же, куда смотрят камеры, а микрофонная решётка на мачте (6–8 микрофонов) сама считает направление на источник и может повернуть робота, даже если оптика объект ещё не видит.
| Условия | Дальность звуком | Точность направления |
|---|---|---|
| Тихая ночь, пустая площадка | 300–500 м | 2–3° |
| Обычный день | 150–300 м | 3–5° |
| Погрузка, фуры, вентиляция | 50–150 м | 5–10° |
Опция: пневматическая сетка
На робота можно установить пневматический сеткомёт: сжатым воздухом, без пороха и поражающих элементов, он выбрасывает сеть, которая опутывает винты; вариант с парашютом опускает захваченный дрон медленно. Дальность обычно 20–100 м, наведение — по данным стереопары, спуск — только по подтверждению оператора.
Перехват беспилотника, даже сетью, — вмешательство в полёт воздушного судна. Право на такие действия закреплено за уполномоченными ведомствами, у коммерческого склада его по умолчанию нет. Поэтому модуль перехвата — опция для тех, у кого есть такое право, и работает только с подтверждения человека. Обнаружение, сопровождение и измерение законны везде и работают без него.
12Что система делает и чего не делает
Делает
- обнаруживает посторонний объект в небе над объектом и вокруг него;
- показывает направление, курс и угловую скорость, отвечает на вопрос «идёт на нас или мимо»;
- отличает дрон от птицы по поведению;
- поднимает тревогу за десятки секунд до подлёта;
- ведёт журнал с кадрами и треками по каждому событию;
- работает автономно на площадке, без интернета и абонентской платы.
Не делает
- не воздействует на дрон в базовой поставке — не глушит и не сбивает; перехват сетью — отдельная опция с подтверждением человека;
- обычная камера ночью не видит — поэтому в составе тепловизор в той же сетке зон;
- не видит сквозь туман и плотный снег — в мглу дальность падает, и система сообщает о снижении видимости;
- не заменяет радиодетектор, а дополняет его: радио видит дрон на связи, камера — без связи.
13Порядок внедрения
| Этап | Содержание |
|---|---|
| 1. Обследование | выезд на объект, выбор мачты и направлений, оценка фона неба и засветок, согласование секторов |
| 2. Пилот | одна камера на главном направлении, две недели работы в реальных условиях объекта |
| 3. Набор и обучение | съёмка неба во всех состояниях — ясно, облачно, дымка, рассвет, закат; обучение моделей по зонам |
| 4. Настройка порогов | контрольные пролёты дроном заказчика на разных дальностях и высотах, подбор порога по зонам |
| 5. Приёмка | серия контрольных пролётов, замер вероятности обнаружения по дальностям и числа ложных срабатываний за сутки |
| 6. Развёртывание | остальные секторы, вывод сигналов в охрану и автоматику склада |
| 7. Сопровождение | наблюдение первых недель, дообучение по накопленным ложным срабатываниям |
На приёмке всё измеряется, а не декларируется: контрольный дрон летает по согласованной программе, система пишет журнал, журнал сверяется с программой полётов. Самая длинная часть — не монтаж, а набор неба: модель должна увидеть ясное небо, облачность, дымку, низкое солнце, дождь — часть этих состояний приходит по погоде. Поэтому пилот на одной камере запускается рано и работает параллельно с монтажом остальных.
Читайте также: engiAI — машинное зрение и метод ЗОНА-ПАРА · руководство engiAI (PDF) · Robot1 — управление роботом
