Wykrywanie dronów

01 Dlaczego to jest ważne?

Centrum dystrybucji to dziesiątki tysięcy metrów dachu, otwarty plac z sprzętem, strefa załadunku, w której zawsze obecni są ludzie, oraz ubezpieczony towar. Wszystko to znajduje się na zewnątrz, a nikt nie obserwuje tego zza ogrodzenia.

Obszar jest zabezpieczony ogrodzeniem, kamerami, ochroną i kontrolą dostępu, a powietrze jest wolne. Właśnie z tego miejsca pochodzą najbardziej kosztowne działania: lot patrolowy przed kradzieżą, nagrywanie wewnętrznych operacji logistycznych, rozładowywanie towaru na teren, uszkadzanie dachu lub sprzętu.

Urządzenia detekcyjne przechwytują komunikację między dronem a pilotem. Dla nich dron, poruszający się według wcześniej zaprogramowanej trasy z wyłączonym nadajnikiem, nie istnieje. Kamera widzi go niezależnie od sygnału radiowego. System ma za zadanie: zidentyfikować obecność nieznanego obiektu w powietrzu, określić jego kierunek i zbliżanie się, oraz wywołać alarm. Nie zakłóca działania drona, nie przechwytuje sygnału, ani nie wpływa na jego działanie – dlatego nie wymaga specjalnych zezwoleń i może być używany przez dowolną firmę.

02 Pomysł: niebo podzielone na strefy

Zwykły detektor szuka w kadrze obiektów o znanej formie i oznaczany jest ramką. Na niebie działa on słabo: dron na odległości około 1,5 kilometra nie ma wyraźnej formy – to tylko dwie lub trzy punkty. Metoda STREFA-PARA działa z innej strony. Kadr jest wcześniej oznaczony siatką stref – ustalonych obszarów nieba, a dla każdej strefy uczona jest para odpowiedzi: `norma` (tak wygląda strefa, gdy wszystko jest w porządku) i `obiekt` (w strefie pojawił się nieoczekiwany obiekt). Pytanie zadawane sieci neuronowej to nie „co to za obiekt”, ale „czy ten fragment nieba wygląda tak, jak zwykle, czy nie” – na to pytanie można odpowiedzieć nawet na podstawie dwóch pikseli.

Niebo wydaje się jednolite, ale w rzeczywistości składa się z różnych elementów: mgły na horyzoncie, błękitu na niebie, chmur, światła słonecznego, krawędzi dachu i masztu, drzew i przewodów. Cała ta scena wymaga od systemu, aby uwzględniał wszystkie te elementy jednocześnie, co prowadzi do błędów na krawędziach kadru. Strefa nad dachem wie, że krawędź dachu zawsze jest widoczna, a strefa na niebie widzi tylko niebo i chmury, co sprawia, że jest najbardziej podatna na błędy.

03 Dlaczego widoczny punkt na niebie może oznaczać wykrycie czegoś

Wykrywanie polega na kontraście, a nie na kształcie. Na niebie nie ma krzaków, samochodów i cieni: w obrębie obszaru jasność zmienia się o kilka poziomów, a obraz powtarza się z klatki na klatkę. Każde ciemne plamki na takim tle są widoczne statystycznie, nawet jeśli nie da się ich dostrzec gołym okiem.

Dziesięciokrotne przewyższenie nad szumem to pewny sygnał. Obiekt mniejszy niż pojedynczy piksel nadal zasłania go w proporcji do powierzchni, którą zajmuje, dlatego granica wykrywalności jest dalej niż „cztery piksele na cel” z klasycznych metod (które zostały opracowane dla technik kamuflażowych na wzorzystym tle). W przypadku ciemnego obiektu na jasnym niebie, pewne wykrycie zaczyna się od dwóch pikseli, a z trzech-czterech powstaje stabilny ślad. Aby odróżnić drona od ptaka na podstawie obrazu, potrzebne są 15–20 pikseli – ale w tym przypadku rozwiązaniem jest zachowanie.

04Zasięg wykrywania: obliczenia

Zasięg jest określany przez kątowy rozmiar piksela: liczba pikseli na obiekcie = rozmiar obiektu × ogniskowa ÷ (rozmiar piksela × zasięg). Obliczenia dotyczą kamery o rozdzielczości 20 megapikseli, z pikselem o wymiarach 2,4 μm i matrycą o wymiarach 1 cala; obiektem jest drona o rozpiętości ramion 0,4 metra.

Dla celów bardziej zaawansowanych, zasięg rośnie proporcjonalnie: urządzenie o konstrukcji podobnej do samolotu, z rozpiętością 1,2 m i obiektywem 50 mm, pozwala na obserwację na odległość nawet 6 kilometrów. Jednak od około 2 kilometrów, ograniczeniem staje się nie sama kamera, ale warunki atmosferyczne – mgła zmniejsza kontrast.

05 Kamera, optyka i termowizja

Wszystkie podane parametry dotyczą kamery przemysłowej przeznaczonej do produkcji seryjnej, modelu HIKROBOT MV-CS200-10GM (monochromatycznej). Jest ona dostępna, jej cena jest przewidywalna, a oprogramowanie jest już przystosowane do bezpośredniej współpracy z nią. Obiektyw powinien mieć format nie mniejszy niż 1 cal, rozdzielczość na piksel wynosi 2,4 μm, przysłona F2.8 lub lepsza, ogniskowa stała, bez możliwości zoomu. Ostre ustawienie ostrości i przysłony jest realizowane za pomocą śrub (kamera jest montowana na zewnątrz i może być narażona na wibracje). Kompatybilne są obiektywy firm Kowa, Computar, Fujinon oraz obiektywy firmy Hikrobot. Do monitoringu panoramicznego optymalna ogniskowa to 25 mm: dwanaście kamer pozwala na pokrycie kąta 360° z pewnym nakładem, a system detekcji działa niezawodnie na odległość do 1 kilometra.

Kamera termowizyjna: ciągła praca

Do obserwacji w nocy, przy zmierzchu i pracy w warunkach słabego oświetlenia dodaje się termowizję – nie jest to oddzielny system, ale kolejny kanał tego samego metody: ta sama siatka stref, własne oznaczenia „norma / anomalia” dla każdej strefy oraz ten sam trajektoria. Niebo w zakresie podczerwonym jest chłodne i jednorodne, a drona nagrzewają się silniki, akumulator i regulator – wydają się ciepłym punktem na chłodnym tle.

Strefy dwóch kanałów są powiązane z jednym położeniem na niebie: w dzień wzajemnie się potwierdzają – obiekt wykryty w obu kanałach, jest niemal na pewno prawdziwy, a w nocy wykrywany jest przez termowizję. Operator widzi jeden ślad, jeden ekran i jeden dziennik.

06 Przejście między strefami: trasa

Wykrycie pojedynczej strefy nie jest jeszcze zdarzeniem. Staje się takim, gdy obiekt przechodzi z jednej strefy do drugiej. Po ustawieniu każda strefa otrzymuje stałe współrzędne na niebie – azymut i kąt – a numer strefy, która została wykryta, staje się kierunkiem w stopniach.

Obszar – 0,7° nieba. Obiekt przeszedł przez dwanaście obszarów w ciągu 2,4 sekundy – prędkość kątowa wynosiła 3,5°/s. U ptaka w bliskiej odległości ruch jest dynamiczny, u samolotu na dużej wysokości jest mały i stały, a u drona, który zbliża się do obiektu, rośnie płynnie. Tempo 6–10 klatek na sekundę pozwala na uzyskanie trzech–pięciu pomiarów dla każdego obszaru – trajektoria jest płynna. Kamery, które znajdują się obok siebie, rejestrują obraz z nakładającymi się obszarami, a obiekt, który wychodzi z kadru jednej kamery, jest przechwytywany przez kolejną jako ta sama trajektoria.

07 Czy zbliża się, czy też przechodzi obok?

Odpowiedź na to pytanie nie zależy od odległości, a od zmiany rozmiaru obiektu w kadrze. Kiedy rozmiar rośnie, obiekt zbliża się; gdy obiekt się utrzymuje, a kąt obserwacji pozostaje stały, obiekt przechodzi obok; gdy rozmiar maleje, obiekt oddala się. Trzy stany – trzy reakcje: niepokój, obserwacja, zapis w dzienniku. Nie można uzyskać dokładnej odległości za pomocą jednej kamery, a w przypadku niepokoju nie jest ona potrzebna: wystarczy, że kamera zarejestruje „obcy obiekt, stały kurs, zbliżający się”.

08 Ptak, czy dron?

Fałszywe alarmy spowodowane przez ptaki to główny problem praktyczny w optycznym obserwacji nieba. Rozwiązuje się go poprzez analizę zachowania, a nie patrzenie na obraz.

Każda z obszarów jest trenowana na syntetycznych danych: na rzeczywiste zdjęcia nieba, na których programowo umieszczany jest obiekt o różnej wielkości, położeniu, orientacji i kontraście. W ten sposób symulowane są warunki, w których pilot może nie doświadczać przez miesiące: słabe światło rano i wieczorem, zmierzch, mgła i chmury, szum, rozmycie, wibracje masztu, odbicia światła. Podobnie traktowane są zarówno normalne, jak i nietypowe warunki – dlatego wieczorne niebo nie powoduje fałszywych alarmów. Podstawą treningu są rzeczywiste zdjęcia nieba, a następnie dodawane są rzeczywiste ujęcia.

Ptak, znajdujący się w odległości około półtora metra, tworzy wyraźny, jasny punkt, który w detektorze kształtu wyglądałby bardziej przekonująco niż prawdziwy dron na odległość, ale ślad pozwala na odfiltrowanie go w ciągu dwóch sekund. Każda strefa prowadzi własną statystykę fałszywych alarmów: jeśli ptaki przelatują nad krawędzią dachu każdego ranka, próg tej strefy automatycznie się podnosi.

09 Wydajność

Zdjęcie 20 Mpix zawiera 1 176 obszarów o 128 pikseli. Nie trzeba wysyłać ich wszystkich do sieci neuronowej w każdym kadrze – proces jest podzielony na trzy etapy, a ciężka sieć neuronowa działa tylko wtedy, gdy jest coś do zbadania.

Jedna karta graficzna NVIDIA serii RTX 50 obsługuje do dwunastu kamer z zapasem. Ograniczeniem jest przepustowość sieci: 20 megapikseli przy sześciu klatkach na sekundę – około 960 Mb/s z jednej kamery, co oznacza port gigabitowy na kamerę i kanał o przepustowości 10 gigabitów do serwera dla każdej grupy sześciu kamer. Przetwarzanie przez sieć neuronową całego nieba z dwunastu kamer zajmuje od 42 do 71 sekund. W trybie poszukiwania kandydatów, panoramiczny obraz odświeżany jest kilka razy na sekundę, a każda strefa nadal zapamiętuje swoje niebo, normę i próg.

10 Skład i zabezpieczenie systemu

System jest modułowy: minimalny zestaw obejmuje jedną kamerę skierowaną na zagrożone miejsce, która natychmiast generuje alarm. Do użytku zewnętrznego przeznaczone są: ekran monitoringu (sekcja, azymut, kąt, ścieżka, zbliżenie obiektu), syrena i latarnia w strefie załadunku, kontakt suchego typu do automatyki magazynu (zatrzymanie załadunku, zamknięcie bram), wiadomość do istniejącej systemu bezpieczeństwa oraz rejestr z archiwum nagrań – dowód dla firm ubezpieczeniowych i organów ścigania.

11 Roboty i kamera stereo: precyzyjne śledzenie

Kamery obserwacyjne odpowiadają na pytanie „gdzie”. Kolejnym krokiem jest „co to jest i jak szybko się porusza”: do systemu dodawany jest przemysłowy robot BORUNTE z kamerami stereo – dwoma kamerami z długoogniskową optyką zamocowanymi na sztywnym ramie.

Błąd rośnie wraz z odległością, dlatego system stereo jest przeznaczony do pracy w bliskiej odległości, do kilkuset metrów, a obszar widzenia na dalsze odległości pozostaje poza zasięgiem. Robot posiada zdefiniowane granice w każdej osi: głowa nie opada poniżej określonego kąta i nie obraca się w kierunku domów, dróg i sąsiednich terenów.

Kanał dźwiękowy

Dźwięk z dronów generuje równy, o częstotliwości 150–400 Hz, z wyraźnymi harmonicznymi, których ptaki nie wydają. Ten dźwięk potwierdza, że punkt na niebie to urządzenie: mikrofon skierowany w stronę głośników słucha tego samego miejsca, w którym znajdują się kamery, a siatka mikrofonowa na maszt (z 6–8 mikrofonami) samodzielnie określa kierunek na źródło i może sterować robotem, nawet jeśli kamera jeszcze go nie widzi.

Opcja: siatka pneumatyczna

Do robota można zamontować pneumatyczny sieć: napędzany sprężonym powietrzem, bez użycia prochu i elementów rażących, wyrzuca sieć, która oplata śrubę; wersja z parasolem pozwala na powolne opadnięcie przechwyconego drona. Zazwyczaj zasięg wynosi 20–100 metrów, a nawigacja odbywa się na podstawie obrazu z dwóch kamer, a opadanie – tylko po potwierdzeniu przez operatora.

12 Jak działa system i czego nie robi

13 Procedura wdrożenia

Podczas odbioru, wszystko jest mierzone, a nie deklarowane: dron kontrolny wykonuje zadaną trasę, system zapisuje dane, a te dane są porównywane z programem lotu. Najdłuższym elementem nie jest montaż, a obserwacja nieba: model powinien widzieć czyste niebo, chmury, mgłę, niski słońce, deszcz – niektóre z tych warunków zależą od pogody. Dlatego pilot, używając jednej kamery, rozpoczyna pracę wcześnie i pracuje równolegle z montażem pozostałych.

Przeczytaj również: engiAI – widzenie komputerowe i metoda STREFA-PARA · instrukcja obsługi engiAI (w formacie PDF) · Robot1 – sterowanie robotem