Rilevamento Drone
L'immagine è suddivisa in una griglia di aree del cielo, e ogni rete neurale risponde separatamente: se è presente un oggetto o no. La zona conosce il proprio cielo: nuvole, sole, bordo del tetto e la torre.
La chiave è il contrasto, non la forma. Un oggetto scuro su un cielo limpido può essere individuato da due pixel, il che significa fino a due chilometri di distanza.
Il numero della zona indica la direzione, l'ordine e l'ora dei movimenti – la velocità angolare, la dimensione dell'oggetto nell'immagine – se si avvicina o passa.
Il drone mantiene una rotta costante, mentre l'uccello si muove. La decisione viene presa non da un singolo fotogramma, ma dal tracciamento.
01 Qual è lo scopo di questo?
Il centro di distribuzione è composto da decine di migliaia di metri quadrati di tetto, un'area aperta con attrezzature, un'area di carico, sempre frequentata, e merci assicurati. Tutto ciò si trova all'aperto, al di sopra del recinto, e nessuno lo osserva dall'esterno.
Il perimetro è protetto da recinzioni, telecamere, personale di sicurezza e sistemi di controllo degli accessi. L'aria, invece, è libera. Proprio da lì, però, provengono le attività più rischiose: il sorvolo per la ricognizione prima del furto, la ripresa della logistica interna, lo scarico merci nell'area, il danneggiamento del tetto o delle attrezzature.
I rilevatori di segnali captano la comunicazione tra il drone e il telecomando. Per loro, un drone che segue un percorso predefinito con il trasmettitore spento, non esiste. La telecamera lo rileva indipendentemente dal segnale radio. Il sistema svolge un'unica funzione: individuare un oggetto sconosciuto nel cielo, determinare la sua origine e la sua direzione, e segnalare un'emergenza. Non interferisce con il drone, non lo intercetta né lo controlla – pertanto non richiede autorizzazioni speciali e può essere utilizzato da qualsiasi entità commerciale.
02Idea: dividere il cielo in zone
Un rilevatore standard cerca nel fotogramma oggetti di forma nota e li delimita con un contorno. Nel cielo, però, funziona male: il drone a 1,5 chilometri di distanza non presenta una forma definita, ma solo due o tre punti. Il metodo ZONA-COPPIA affronta la questione in modo diverso. Il fotogramma viene precedentemente suddiviso in zone predefinite, e per ogni zona viene addestrata una coppia di risposte: normale (come appare la zona quando tutto è tranquillo) e oggetto (quando appare qualcosa di inatteso). La domanda rivolta alla rete neurale non è "cosa è questo oggetto?", ma "questa porzione di cielo è normale o no?". La risposta può essere fornita anche in base a due pixel.
Il cielo appare uniforme, con nebbia all'orizzonte, un azzurro nel cielo e nuvole, riflessi del sole, il bordo del tetto e la cima della vela, alberi e cavi. Il sistema deve gestire tutto contemporaneamente, ma commette errori ai bordi dell'immagine. La zona sopra il tetto sa che il bordo del tetto è sempre presente, mentre quella nel cielo vede solo il cielo e le nuvole, e quindi ha la soglia di errore più alta.
Il tetto, la torre, gli alberi e i cavi ai bordi dell'immagine non rappresentano più un ostacolo; fanno parte della normale area di rilevamento.
All'orizzonte, dove ci sono rami e nebbia, la sensibilità è più alta; al zenit, dove il cielo è limpido, la sensibilità è massima.
L'area rilevata è già definita: l'azimut e l'angolo di posizionamento, calcolati una sola volta durante l'installazione.
Il numero di aree è noto in anticipo: non si verificano situazioni del tipo "il rilevatore ha individuato quattrocento oggetti e tutto è risolto".
Si è manifestato un nuovo tipo di falsi allarmi in una singola area: una sola area viene riaddestrata, mentre le altre rimangono invariate.
Sia l'operatore che il rapporto mostrano quale area ha rilevato e cosa c'era al suo interno. Questo è fondamentale per il servizio di sicurezza, che non si limita a una risposta generale.
03 Perché un punto nel cielo è già un segnale di allarme
La rilevazione si basa sul contrasto, non sulla forma. Nel cielo non ci sono cespugli, automobili o ombre: all'interno dell'area, la luminosità varia di pochi livelli, e l'immagine si ripete da fotogramma a fotogramma. Qualsiasi macchia scura su questo sfondo è statisticamente rilevabile, anche se non è visibile ad occhio nudo.
| Cosa succede | Dimensione |
|---|---|
| Luminosità del cielo nell'area | Circa 180 livelli su 255 |
| Rumore del sensore a questa luminosità | 2-3 livelli |
| Il drone copre un quarto della superficie del pixel | Un pixel diventa più scuro di circa 30 livelli |
| Rapporto segnale/rumore | Circa dieci |
Un rapporto di dieci volte superiore al rumore è un segnale affidabile. Anche se un oggetto più piccolo di un singolo pixel oscura comunque la sua area corrispondente, quindi il limite di rilevamento si estende oltre i "quattro pixel per bersaglio" delle metodologie classiche (che sono state sviluppate per tecniche di occultamento su sfondi multicolore). Per un oggetto scuro su un cielo sereno, il rilevamento affidabile inizia con due pixel, mentre con tre o quattro pixel si stabilisce un tracciamento stabile. Per distinguere un quadricottero da un uccello in un'immagine, sono necessari 15-20 pixel, ma in questo caso la distinzione si basa sul comportamento dell'oggetto.
Un singolo rilevamento di rumore può attivare un allarme in un singolo fotogramma, ma non si ripeterà nella stessa area e, soprattutto, non si sposterà nella zona adiacente nella direzione corretta. La condizione "l'oggetto viene confermato in tre o quattro fotogrammi consecutivi con uno spostamento sequenziale" elimina quasi completamente gli allarmi casuali e richiede solo una frazione di secondo.
04Portata di rilevamento: calcolo
La distanza viene determinata dalla dimensione angolare del pixel: pixel sul bersaglio = dimensione del bersaglio × lunghezza focale ÷ (dimensione del pixel × distanza). Il calcolo è stato effettuato per una fotocamera da 20 megapixel con un pixel di 2,4 micron e un sensore da 1 pollice; il bersaglio è un drone con un'apertura di 0,4 metri.
| Obiettivo | Campo visivo | Area di 128 pixel | Rilevamento, 2 pixel | Con certezza, 4 pixel | Riconoscimento, 16 pixel |
|---|---|---|---|---|---|
| 25 mm | 29,4° × 19,9° | 0,70° | 2.100 metri | 1.040 m | 260 m |
| 35 mm | 21,3° × 14,3° | 0,50° | 2.900 m | 1.460 m | 365 m |
| 50 mm | 15,0° × 10,0° | 0,35° | 4.200 m | 2.080 m | 520 m |
| 75 mm | 10,0° × 6,7° | 0,23° | 6.250 m | 3.120 m | 780 m |
| 100 mm | 7,5° × 5,0° | 0,18° | 8.300 m | 4.170 m | 1.040 m |
Per obiettivi più ambiziosi, l'autonomia aumenta proporzionalmente: questo dispositivo, di tipo aereo, con un'apertura di 1,2 metri e un obiettivo da 50 mm, è in grado di rilevare oggetti a una distanza di sei chilometri. Tuttavia, a partire da circa due chilometri, non è più la telecamera a rappresentare un limite, ma l'aria stessa: la nebbia riduce il contrasto.
| Visibilità meteorologica | Contrasto a 1 km | a 2 km | a 3 km |
|---|---|---|---|
| 30 km, cielo sereno | 88 % | 77 % | 68 % |
| 20 km, giorno normale | 82 % | 68 % | 56 % |
| 10 km, leggera foschia | 68 % | 46 % | 31 % |
| 4 km, nebbia | 38 % | 14 % | 5 % |
Non ha senso utilizzare obiettivi più lunghi di 75 mm per raggiungere distanze maggiori: in condizioni normali, l'aria permette di vedere a una distanza massima di 2-3 chilometri. Un intervallo di lavoro ragionevole è compreso tra 300 metri e 2 chilometri, esattamente ciò di cui ha bisogno un magazzino. Il drone ha una velocità di 20 m/s: rilevare un oggetto a 1.500 metri richiede 75 secondi per allontanare le persone dalla zona di carico, fermare lo scarico, chiudere le porte e chiamare la sicurezza; a 700 metri, sono necessari 35 secondi, che sono sufficienti per raggiungere le persone e inviare un segnale.
05 Telecamera, ottica e termocamera
| Requisito | Valore | Perché |
|---|---|---|
| Risoluzione | 20 MP, 5472 × 3648 | Più piccolo è il pixel, più lontano si riesce a vedere il punto |
| Dimensione del pixel | 2,4 μm | Un pixel più piccolo significa una maggiore distanza di rilevamento |
| Sensore | 1 pollice | Con un pixel piccolo, si mantiene un ampio campo visivo |
| Tipo | Monocromatico | Il sensore a colori perde metà della risoluzione su un piccolo punto scuro |
| Obturatore | Scorrimento globale o lento | Un oggetto distante si muove lentamente |
| Interfaccia | GigE, fino a 6 fotogrammi al secondo a 20 Mpixel | Circa 960 Mbit/s – questa velocità è sufficiente per il cielo |
| Montaggio | C-mount | Qualsiasi ottica industriale standard |
Tutti i calcoli sono stati effettuati per la fotocamera industriale di serie HIKROBOT MV-CS200-10GM (in bianco e nero): è disponibile, ha un prezzo prevedibile e il software è già in grado di utilizzarla direttamente. L'obiettivo ha un diametro di almeno 1 pollice, una risoluzione di 2,4 μm per pixel, un'apertura di F2.8 e superiore, una lunghezza focale fissa senza zoom, messa a fuoco e diaframma regolabili con viti (la fotocamera è all'esterno e vibra). Sono compatibili Kowa, Computar, Fujinon e l'ottica Hikrobot. Per la sorveglianza a 360 gradi, l'ottimale è di 25 mm: dodici telecamere coprono 360° con sovrapposizione, e il rilevamento funziona in modo affidabile fino a 1 chilometro.
Telecamera termica: funzionamento 24 ore su 24
Per la notte, il crepuscolo e il lavoro contro il sole, viene aggiunto un termocamera – non un sistema separato, ma un ulteriore canale dello stesso metodo: la stessa griglia di zone, un'unica coppia "normale/anomalia" per ogni zona e lo stesso tracciamento. Il cielo notturno nello spettro infrarosso è freddo e uniforme, mentre i motori, la batteria e i regolatori del drone appaiono come punti caldi su uno sfondo freddo.
| Parametro | Valore |
|---|---|
| Sensore | Senza raffreddamento, 640 × 512, pixel da 12 μm |
| Obiettivo | 50 mm, campo visivo di circa 9° × 7° |
| Rilevamento di un drone a 0,4 m, 2 pixel | circa 830 m |
| Con certezza, 4 pixel | circa 420 m |
| Modalità | 24 ore su 24, al crepuscolo, quando il sole tramonta, in una leggera foschia. |
Le zone di due canali sono collegate a coordinate celesti: di giorno si confermano a vicenda – l'oggetto rilevato in entrambi i canali è quasi certamente reale – e di notte il sensore termico traccia il percorso. L'operatore visualizza un unico tracciato, un singolo schermo e un unico registro.
06 Passaggio tra le zone: traccia
L'attivazione di una singola zona non è ancora un evento. Diventa tale quando l'oggetto passa da una zona all'altra. Dopo l'installazione, ogni zona riceve coordinate costanti nel cielo – azimut e angolo di elevazione – e il numero della zona attivata diventa la direzione in gradi.
| Dimensione | Da dove provengono | Precisione |
|---|---|---|
| Direzione verso l'oggetto | Coordinate della zona attivata | Concentrare l'attenzione su una porzione specifica, con dettagli all'interno, è preferibile. |
| Velocità angolare | Numero di zone attraversate diviso per il tempo | Limitato solo dalla velocità di acquisizione |
| Direzione | Come cambia l'azimut da un fotogramma all'altro | È immediatamente evidente se l'oggetto si muove in linea retta o in modo sinuoso |
| Avvicinamento | L'oggetto aumenta di dimensioni nel fotogramma? | Con una certa sicurezza su una porzione estesa del tracciato |
L'area di interesse copre 0,7° del cielo. L'oggetto ha attraversato dodici aree in 2,4 secondi, con una velocità angolare di 3,5°/s. Nel caso di un uccello a distanza ravvicinata, il movimento è rapido e irregolare; nel caso di un aereo a quota elevata, il movimento è lento e costante; nel caso di un drone che si avvicina all'oggetto, il movimento aumenta gradualmente. Un ritmo di 6-10 fotogrammi al secondo permette di ottenere tre-cinque misurazioni per ogni area, con un tracciato fluido. Le telecamere adiacenti operano sovrapponendosi, e quando un oggetto esce dal campo visivo di una telecamera, viene ripreso dalla telecamera successiva come lo stesso tracciato.
07 Si avvicina o passa accanto
La risposta a questa domanda non è la distanza, ma la variazione delle dimensioni dell'oggetto nel campo visivo. Se le dimensioni aumentano, l'oggetto si avvicina; se rimane costante, ma l'azimut rimane stabile, l'oggetto passa di lato; se diminuiscono, l'oggetto si allontana. Queste tre situazioni corrispondono a tre reazioni: allarme, osservazione e registrazione nel registro. È impossibile ottenere una precisione assoluta con una singola telecamera, e in caso di allarme, non è necessaria: la soluzione è rappresentata dalla combinazione di "oggetto estraneo, direzione costante, avvicinamento".
08 Uccello o droni
False rilevazioni causate dagli uccelli: è il principale problema pratico dell'osservazione ottica del cielo. La soluzione consiste nell'analizzare il comportamento, piuttosto che limitarsi a osservare l'immagine.
| Caratteristica | Uccello | Drone |
|---|---|---|
| Direzione | Si muove, cambia frequentemente | Uniforme, controllato |
| Velocità angolare | Oscilla, con pause e momenti di stallo | Fluida, cambia in modo monotono |
| Altezza | Si muove su e giù | Mantenuto |
| Traccia | Casuale, solitamente lungo | spesso direttamente sull'oggetto o attorno ad esso |
| Comportamento di gruppo | spesso una mandria, con molte impronte | impronta individuale |
Ogni zona viene addestrata utilizzando dati sintetici: immagini reali del cielo di quella zona vengono modificate in modo da includere oggetti di diverse dimensioni, posizioni, orientamenti e contrasto. In questo modo, vengono simulate le condizioni che un pilota potrebbe non incontrare per mesi: bassa luminosità al mattino e alla sera, crepuscolo, nebbia e nuvolosità, rumore, sfocatura, vibrazioni della torre, riflessi. Lo stesso tipo di interferenze viene applicato sia alle immagini normali che a quelle anomale, quindi il cielo serale non causa false allarmi. La base dell'addestramento è il cielo reale dell'oggetto; successivamente, vengono aggiunte anche immagini reali di voli.
Un corvo a circa 50 metri di distanza fornisce un segnale chiaro e ben definito, e nel rilevatore di forme apparirebbe più convincente di un drone a chilometri di distanza. Tuttavia, il tracciamento permette di eliminare i falsi allarmi in due secondi. Ogni zona ha la sua statistica di falsi allarmi: se gli uccelli volano sopra l'angolo del tetto ogni mattina, il limite di questa zona viene automaticamente aumentato.
09 Prestazioni
La scena da 20 MP contiene 1.176 zone da 128 pixel. Non è necessario inviare tutte queste zone alla rete neurale ad ogni fotogramma: il processo è suddiviso in tre fasi, e una complessa rete neurale funziona solo quando ci sono elementi da analizzare.
| Fase | Cosa fa | Prezzo |
|---|---|---|
| 1. Ricerca dei candidati | confronto del fotogramma con il modello del cielo accumulato per ogni zona sulla scheda video | 1-2 ms per fotogramma |
| 2. Decisione per zona | La rete neurale analizza solo le aree candidate, solitamente da zero a cinque, all'interno di ogni fotogramma. | 3-5 millisecondi per area (serie RTX 50) |
| 3. Traccia | Corrispondenza dei marcatori tra i fotogrammi, direzione, velocità, avvicinamento. | Microsecondi |
Una singola scheda grafica NVIDIA della serie RTX 50 può gestire fino a dodici telecamere con un certo margine. Il limite è dato dalla rete: 20 megapixel a sei fotogrammi al secondo, il che equivale a circa 960 megabit al secondo per telecamera, ovvero una porta gigabit per telecamera e un canale da dieci gigabit verso il server per ogni gruppo di sei telecamere. L'analisi dell'intero cielo delle dodici telecamere tramite una rete neurale richiede da 42 a 71 secondi per ciclo. Con la ricerca di potenziali candidati, la visuale panoramica viene aggiornata più volte al secondo, e ogni zona continua a memorizzare il proprio cielo, la condizione "normale" e la soglia.
10 Composizione del sistema e materiali di rivestimento
| Versione | Tele | Cosa copre |
|---|---|---|
| Pilota | 1 telecamera, 50 mm | Un settore di 15°, rilevamento fino a 2 km; verifica del metodo su un oggetto reale nel cielo. |
| Direzione | 3-4 telecamere, 35 mm | Angolo di visione di 60-85°, lato del magazzino con accesso e zona di carico |
| Circolare | 12 telecamere, 25 mm | Copertura a 360°, con rilevamento fino a 1 km |
| Circolare rinforzata | 12 × 25 mm + 4 × 75 mm | Sorveglianza circolare, più accessi a lunga distanza sulle principali direzioni |
| Disponibile 24 ore su 24 | Qualsiasi configurazione + telecamere termiche 640 × 512 | Notte, crepuscolo, illuminazione solare; stessa configurazione di aree e stesso percorso |
Il sistema è modulare: la fornitura minima prevede un singolo sensore per ogni area a rischio, che già attiva l'allarme. L'output esterno comprende: uno schermo di sorveglianza (settore, azimut, angolo di visuale, traccia, immagine dell'oggetto ingrandita), un segnale acustico e un faro nell'area di carico, un contatto a secco per il sistema di automazione del magazzino (fermare il carico, chiudere le porte), un messaggio al sistema di sicurezza esistente e un registro con l'archivio delle immagini – una base di prove per le compagnie assicurative e le forze dell'ordine.
11 Robot e telecamera stereo: un sistema di guida preciso
Le telecamere di sorveglianza rispondono alla domanda "dove". Il passo successivo è "cosa è e quanto velocemente si muove": al sistema viene aggiunto un robot industriale BORUNTE con due telecamere a testa, dotate di ottiche a lunga focale, montate su un braccio rigido.
La zona rilevata sulla telecamera di sorveglianza permette di conoscere l'azimut e l'angolo di elevazione.
Il server di rete fa ruotare la testa stereoscopica del robot in quella direzione (il protocollo è già implementato in Robot1).
Nell'area ristretta, l'oggetto occupa decine di pixel: è possibile identificare il tipo di apparecchiatura e il carico trasportato.
La differenza tra le due immagini permette di determinare la distanza, così come l'angolo di elevazione e la velocità in metri al secondo.
Il robot mantiene l'oggetto a vista, entro i limiti degli angoli consentiti.
| Base per la coppia stereoscopica | Distanza | Errore di distanza |
|---|---|---|
| 0,5 m | 150 m | circa 1 m |
| 1 m | 300 m | circa 2 m |
| 1 m | 600 m | circa 9 m |
L'errore aumenta al quadrato della distanza, quindi il sistema stereo è progettato per un'area di lavoro limitata, fino a diverse centinaia di metri, mentre la visione a distanza rimane limitata a determinate zone. Il robot ha dei limiti di programmazione per ogni asse: il braccio non si abbassa al di sotto dell'angolo predefinito e non si rivolge verso le abitazioni, le strade o le aree circostanti.
Canale audio
I motori del drone producono un ronzio uniforme di 150-400 Hz, con armoniche ben definite, che gli uccelli non emettono. Questo suono conferma che il punto nel cielo è un dispositivo: un microfono direzionale posizionato sul sistema stereo ascolta nella stessa direzione in cui puntano le telecamere, mentre una griglia di microfoni sulla torre (6-8 microfoni) determina autonomamente la direzione verso la sorgente e può orientare il robot, anche se la telecamera non riesce ancora a individuarlo.
| Condizioni | Portata del suono | Precisione della direzione |
|---|---|---|
| Notte tranquilla, area vuota | 300–500 m | 2–3° |
| Giorno normale | 150–300 m | 3–5° |
| Carico, camion, ventilazione | 50–150 m | 5–10° |
Opzione: rete pneumatica
È possibile equipaggiare il robot con un getto di rete pneumatico: utilizzando aria compressa, senza polvere o elementi di proiettile, il robot lancia una rete che intrappola le eliche; la versione con paracadute permette di abbassare lentamente il drone catturato. La gittata è solitamente di 20-100 metri, e il controllo avviene tramite la visione stereoscopica, mentre la discesa è attivata solo con la conferma dell'operatore.
L'intercettazione di un drone, anche tramite una rete, costituisce un'interferenza con il volo di un aeromobile. Il diritto di effettuare tali azioni è riservato alle autorità competenti, mentre per un magazzino commerciale non è automaticamente previsto. Pertanto, il modulo di intercettazione è un'opzione disponibile solo per chi ha tale diritto e funziona solo con l'intervento di una persona. La rilevazione, il monitoraggio e la misurazione sono legali ovunque e possono essere effettuate anche senza l'intervento di una persona.
12 Cosa fa il sistema e cosa non fa
Rileva
- rileva la presenza di oggetti estranei nel cielo sopra e intorno all'oggetto;
- indica la direzione, il corso e la velocità angolare, rispondendo alla domanda "sta venendo verso di noi o passando";
- distingue il drone da un uccello in base al comportamento;
- attiva l'allarme decine di secondi prima dell'avvicinamento;
- registra un registro con immagini e tracce di ogni evento;
- funziona in modo autonomo sul sito, senza connessione internet e abbonamento.
Non fa
- non interferisce con il drone nella versione base: non lo blocca né lo distrugge; l'intercettazione tramite rete è un'opzione separata che richiede la conferma umana;
- Una telecamera standard non riesce a vedere di notte, per questo il sistema termico utilizza la stessa griglia di zone;
- Non riesce a vedere attraverso nebbia e neve fitta: in caso di nebbia, la portata diminuisce e il sistema segnala la riduzione della visibilità;
- Non sostituisce il rilevatore radio, ma lo integra: il sistema radio rileva il drone in comunicazione, mentre la telecamera lo rileva senza comunicazione.
13 Modalità di implementazione
| Fase | Contenuti |
|---|---|
| 1. Indagine | Visita sul luogo, selezione della torre e delle direzioni, valutazione dell'ambiente celeste e delle fonti di luce, accordo delle zone di interesse. |
| 2. Pilota | Una telecamera per la direzione principale, due settimane di lavoro in condizioni reali sul sito. |
| 3. Formazione e addestramento | Riprese del cielo in tutte le condizioni: cielo sereno, nuvoloso, nebbia, alba, tramonto; addestramento dei modelli per zona. |
| 4. Impostazione dei limiti | Voli di prova con il drone del cliente a diverse distanze e altezze, selezione dei limiti per zona. |
| 5. Accettazione | Serie di test, misurazione della probabilità di rilevamento in base alla distanza e al numero di falsi allarmi al giorno |
| 6. Implementazione | gli altri settori, invio di segnali al personale di sicurezza e al sistema di automazione del magazzino |
| 7. Assistenza | monitoraggio nelle prime settimane, ulteriore formazione basata sui falsi allarmi accumulati |
Durante la fase di acquisizione, tutte le misurazioni vengono effettuate, non solo dichiarate: un drone di controllo segue un programma prestabilito, il sistema registra i dati e questi vengono confrontati con il programma di volo. La parte più lunga non è la fase di montaggio, ma la registrazione del cielo: il modello deve essere in grado di rilevare un cielo limpido, nuvole, nebbia, un sole basso e pioggia – alcune di queste condizioni dipendono dalle condizioni meteorologiche. Per questo motivo, il pilota utilizza una singola telecamera e inizia a lavorare in parallelo con la fase di montaggio delle altre.
Leggere anche: engiAI – visione artificiale e il metodo ZONA-COPPIA · manuale engiAI (PDF) · Robot1 – controllo di un robot.
