无人机探测
画面被分割成区域，每个区域由神经网络独立处理：是空无，还是异物。区域知道自己的天空——云朵、太阳、屋顶边缘和桅杆。
重点在于对比度，而不是形状。在平坦的天空下，一个深色物体可以被两个像素识别，这意味着距离可达两公里。
区域编号代表方向、顺序和时间，以及目标的速度、在画面中的大小变化——是靠近还是远离。
无人机的飞行轨迹平稳，而鸟类则在飞翔。决策不是基于单个画面，而是基于轨迹。
01 这样做有什么用
这是一个由数千平方米的屋顶、露天场地、设备、装卸区域以及人员组成的区域，所有这些都暴露在外面，并且在围墙之外没有人进行监视。
该区域周围有围墙、摄像头、安保人员和访问控制系统，并且没有任何其他干扰。然而，正是从这里，最危险的活动发生：在盗窃前进行侦察、拍摄内部物流、将货物运送到该区域、损坏屋顶或设备等。
无线探测器可以捕捉无人机与遥控器的通信。对于那些已经预先录制了无人机飞行路线，并且关闭了发射器的无人机，它们来说，无人机并不存在。 摄像头可以独立地捕捉无人机，无论是否通过无线方式。该系统只有一个目标：在空中发现不明飞行物，确定其来源和移动方向，并发出警报。它不会干扰、拦截或影响无人机，因此不需要特殊的许可，适用于任何商业用途。
02 概念：将天空划分为不同的区域
普通的探测器会扫描画面，寻找已知形状的物体，并用边框将其框定。在天空中的表现效果较差：当无人机距离地面约1.5公里时，画面中只有两到三个点，没有明显的形状。而“区域-配对”方法则采用不同的方法。画面事先被划分为若干区域，每个区域都对应一个“正常”和“物体”的标记。例如，正常表示该区域在正常情况下是这样的，而物体表示在该区域出现了异常。与神经网络的问题不是“这是什么物体”，而是“这个区域是否和正常情况下一样”，即使只有两个像素也能给出答案。
天空看起来似乎是均匀的：地平线上有雾，正上方是蓝色，还有云朵、阳光照射和屋顶、桅杆、树木和电线。由于整体模型需要同时处理所有元素，因此在图像边缘容易出现误差。位于屋顶上的区域，知道屋顶边缘总是存在的，而位于正上方的区域，只能看到天空和云朵，因此其误差阈值最高。
画面中的屋顶、桅杆、树木和电线不再是干扰，而是属于其自身的区域。
在地平线上，由于树木和雾，灵敏度较高；而在正上方，天空清晰，灵敏度最高。
已经确定区域：方位角和角度，在安装时一次性计算得出。
探测区域的信息通常是事先知道的，不会出现“探测器检测到四百个目标，一切都正常了”的情况。
在某个区域出现新的误报源：只有该区域被触发，其他区域不受影响。
无论是操作员还是报告，都能清楚地看到哪个区域被触发，以及该区域的内容。对于安保部门来说，这比一个通用的答案更重要。
03 为什么在天空中看到一个点，就意味着已经发现了？
探测是基于对比，而不是形状。天空没有树木、车辆和阴影：在区域内，亮度变化在几个级别之间，并且图像在每一帧中重复出现。即使肉眼无法察觉，任何深色区域在这样的背景下也能被统计发现。
| 发生的情况 | 亮度 |
|---|---|
| 区域内天空的亮度 | 大约 180 个级别，从 255 个级别 |
| 在这种亮度下，传感器的噪音 | 2-3 个级别 |
| 无人机覆盖了像素的四分之一 | 像素亮度降低约 30 个级别 |
| 信噪比 | 大约十 |
十倍于背景噪音的信号，是一个可靠的信号。即使是小于一个像素的物体，也会根据其被遮挡的面积进行相应的阴影处理，因此检测的边界会比经典方法的“四像素/目标”更远（这些方法是针对在彩色背景上的伪装技术而设计的）。对于在平静的天空下，深色的物体，可靠的检测可以从两个像素开始，而三个或四个像素则可以形成稳定的追踪。要通过图像来区分无人机和鸟类，需要15-20个像素，但这里可以通过行为来解决这个问题。
单个声音的触发可能只在单个画面中发生，但不会在同一区域再次触发，更不会在相邻区域以正确的方向移动。 “要求在连续的三个或四个画面中，以连续的方式移动目标”几乎可以完全消除随机触发，并且只需要几毫秒的时间。
04探测距离：计算
探测距离由像素的角分辨率决定：像素/目标 = 目标尺寸 × 焦距 ÷ (像素尺寸 × 探测距离)。以下是针对2000万像素、每个像素2.4微米、传感器尺寸为1英寸的相机进行的计算，目标是一个翼展为0.4米的无人机。
| 镜头 | 视野 | 128 像素区域 | 检测，2 像素 | 确定，4 像素 | 识别，16 像素 |
|---|---|---|---|---|---|
| 25 毫米 | 29,4° × 19,9° | 0,70° | 200米 | 140 米 | 260 米 |
| 35 毫米 | 21,3° × 14,3° | 0,50° | 2 900 米 | 1 460 米 | 365 米 |
| 50 毫米 | 15,0° × 10,0° | 0,35° | 4 200 米 | 2 080 米 | 520 米 |
| 75 毫米 | 10,0° × 6,7° | 0,23° | 6 250 米 | 3 120 米 | 780 米 |
| 100 毫米 | 7,5° × 5,0° | 0,18° | 8 300 米 | 4 170 米 | 140 米 |
对于更远距离的目标，探测距离会成比例增加：这种飞机类型的设备，翼展 1.2 米，50mm 镜头，可以在 6 公里范围内可靠地发现目标。但大约在 2 公里左右，不是相机的问题，而是空气本身：雾气会降低对比度。
| 气象可见度 | 1 公里处的对比度 | 2 公里处 | 3 公里处 |
|---|---|---|---|
| 30 公里，晴朗 | 88 % | 77 % | 68 % |
| 20 公里，普通天气 | 82 % | 68 % | 56 % |
| 10 公里，轻微雾 | 68 % | 46 % | 31 % |
| 4 公里，薄雾 | 38 % | 14 % | 5 % |
使用超过 75mm 的镜头，用于远距离拍摄，没有意义：在正常天气条件下，空气的有效探测距离通常只有 2-3 公里。 适合仓库使用的合理工作范围是 300 米到 2 公里，正好满足仓库的需求。 无人机以 20 米/秒的速度飞行：在 1500 米的距离上，可以提供 75 秒的时间，用于疏散人员、停止装卸、关闭闸门并报警；在 700 米的距离上，可以提供 35 秒的时间，足以应对人员和信号。
05 摄像头、光学系统和热成像仪
| 要求 | 参数 | 目的 |
|---|---|---|
| 像素尺寸 | 20 兆像素，5472 × 3648 | 像素越小，视野范围越远 |
| 像素尺寸 | 2.4 微米 | 像素尺寸减小，视野范围也减小 |
| 传感器 | 1 英寸 | 在小像素的情况下，视野范围更广 |
| 颜色 | 单色 | 彩色传感器在小而暗的区域会损失一半的像素 |
| 阀门 | 全局或慢速扫描 | 远距离目标缓慢移动 |
| 界面 | GigE，在 20MP 时，最高 6 帧/秒 | 约 960 Mbit/s，对于这种速度来说足够 |
| 支架 | C-mount | 任何标准的工业镜头 |
所有数据均针对量产工业相机 HIKROBOT MV-CS200-10GM（单色相机）进行计算。该相机现货供应，价格稳定，并且软件已经可以直接与其兼容。镜头规格：至少1英寸，像素尺寸2.4微米，光圈F2.8或更大，固定焦距，无变焦功能。焦距和光圈通过螺丝固定（该相机安装在室外，可能会产生振动）。兼容Kowa、Computar、Fujinon以及Hikrobot品牌的镜头。对于环形监控，最佳焦距为25毫米：十二个相机可以覆盖360°范围，并且具有重叠区域，检测范围可达1公里。
热成像相机：全天候工作
为了在夜晚、黄昏和逆光环境下使用，增加了热成像功能——这并不是一个独立的系统，而是使用相同方法的另一种途径：相同的区域网格、每个区域都有“正常/异常”的标识，以及相同的轨迹。在红外光谱下，夜晚的天空呈现出冷而均匀的景象，而无人机的电机、电池和控制器则呈现出温暖的区域，在寒冷的背景下显得格外突出。
| 参数 | 参数 |
|---|---|
| 传感器 | 无散热，640 × 512，像素 12um |
| 镜头 | 50mm，视野约 9° × 7° |
| 0.4 米，2 像素的无人机 | 约 830 米 |
| 确定，4 像素 | 约 420 米 |
| 模式 | 全天候，在黄昏时分，在阳光初现时，在淡淡的雾气中。 |
两个通道的区域都与天空的坐标关联：白天，它们相互确认——在两个通道中找到的物体，几乎可以肯定是真的，而晚上，热成像仪会显示追踪。操作员可以看到一个单一的追踪，一个屏幕和一个日志。
06区域间切换：轨迹
单个区域的触发并不构成事件。当物体从一个区域移动到另一个区域时，它才成为事件。在设置完成后，每个区域都会获得天空中的固定坐标——方位和仰角，以及触发区域的编号，这会显示为角度。
| 亮度 | 来源 | 精度 |
|---|---|---|
| 指向目标的方向 | 触发区域的坐标 | 区域的一半，并提供区域内的更精确信息 |
| 运动速度 | 经过区域数 ÷ 时间 | 仅受拍摄速度限制 |
| 航向 | 从一个画面到另一个画面，航向的变化 | 能够立即判断，是直线前进还是绕行 |
| 接近 | 画面中目标的大小是否在变化 | 在较长的轨道上，能够稳定地进行跟踪 |
观测范围：0.7°。该物体在2.4秒内通过了12个观测范围，平均速度为3.5°/秒。鸟类在近距离快速移动，飞机在高空速度较慢且稳定，而跟随该物体的无人机，其速度则逐渐增加。每秒6-10帧的拍摄频率，可以对每个观测范围进行3-5次测量，图像轨迹平滑。相邻的摄像头具有重叠的视野，当一个摄像头的视野中出现该物体时，下一个摄像头也会捕捉到相同的轨迹。
07 靠近还是只是擦肩而过
这个问题不是看距离，而是看目标在画面中的尺寸变化。尺寸增大，目标向我们靠近；尺寸保持不变，但目标以恒定的角度移动，则目标会绕过；尺寸减小，目标会消失。这三种状态对应三种反应：警惕、观察和记录。单摄像头无法精确测量距离，因此对于警惕，这种精确测量并不必要：关键在于“目标、恒定航向、逐渐靠近”。
08 鸟还是无人机
鸟类的误报是光学观测天空的主要实际问题。 解决这个问题，需要分析行为，而不是仅仅观察画面。
| 特征 | 鸟 | 无人机 |
|---|---|---|
| 航向 | 游荡，经常改变方向 | 平稳，保持稳定 |
| 运动速度 | 飞舞，有停顿和悬停 | 顺畅，单调地变化 |
| 飞行高度 | 上下移动 | 保持稳定 |
| 飞行轨迹 | 随机，通常是沿着 | 更多地直接指向目标或在目标上方环绕 |
| 群体行为 | 经常成群，有多个标记 | 单个标记 |
每种区域的模型，通过合成数据进行进一步训练：在真实的夜空图像上，通过程序将不同大小、位置、旋转和对比度的对象叠加，模拟出各种条件，例如：清晨和傍晚的低角度阳光、黄昏、雾、云层、噪音、模糊、桅杆振动、光线反射等。 这种方法既适用于正常情况，也适用于异常情况，因此不会产生误报。 训练的基础是真实的夜空图像，之后再添加真实的飞行数据。
在半个多米的距离，乌鸦会产生一个清晰而醒目的标记，在探测器中，它会比一公里外的真实无人机更具可信度。但通过追踪，可以在两秒内过滤掉。每个区域都有自己的虚警统计数据：如果屋顶的某个角落每天早上都有鸟飞过，该区域的阈值会自动提高。
09 性能
20兆像素的图像包含1176个128像素的区域。不需要将每个图像都输入神经网络处理——工作被分解为三个阶段，并且复杂的神经网络只在有图像可供观察的地方进行处理。
| 阶段 | 它做什么 | 价格 |
|---|---|---|
| 1. 候选对象搜索 | 将画面与每张区域在显卡上存储的“天空”模型进行比较 | 每帧 1-2 毫秒 |
| 2. 区域判断 | 神经网络只关注特定区域，通常是从图像的某个特定区域开始，范围可能从零到五个像素。 | 每区域 3–5 毫秒 (RTX 50 系列) |
| 3. 轨迹跟踪 | 帧之间的标记对齐，航向，速度，接近 | 微秒 |
一张显卡NVIDIARTX 50系列显卡可以支持最多十二个摄像头，并且具有一定的冗余。其限制在于网络：每个摄像头最高分辨率为20兆像素，帧率为6帧/秒，这意味着每个摄像头需要约960 Mbps的带宽，即每个摄像头需要一个千兆位端口，并且每六个摄像头需要一个十千兆位的通道连接到服务器。使用神经网络对十二个摄像头的整个视野进行扫描，需要42到71秒。在寻找候选对象时，环形视野会每秒更新多次，并且每个区域仍然会记住其对应的天空区域、正常状态和阈值。
10 系统构成和覆盖
| 方案 | 摄像头 | 覆盖范围 |
|---|---|---|
| 飞行员 | 1 个摄像头，50 毫米 | 一个 15° 角度的区域，探测距离可达 2 公里；在真实的天空中对该方法的有效性进行验证 |
| 方向 | 3–4 个摄像头，35 毫米 | 60–85° 区域，仓库侧面，带入口和装卸区域 |
| 圆形 | 12 个，25 毫米 | 360° 全方位，探测距离可达 1 公里 |
| 增强型圆形 | 12 × 25 毫米 + 4 × 75 毫米 | 圆形观察，以及在主要方向上的远距离探测 |
| 全天候 | 任何方案 + 640 × 512 热成像摄像头 | 夜间、黄昏、阳光照射；相同的区域和轨迹 |
该系统采用模块化设计：最小配置包括一个摄像头，用于监控特定方向，即可发出警报。 外部输出包括：监控显示屏（显示区域、方位、角度、轨迹、目标图像）、警报器和在装卸区域的指示灯、与仓库自动化系统连接的干电开关（用于停止装卸、关闭闸门）、以及向现有安全系统发送的信息和包含图像存档的日志，这可作为保险和执法部门的证据。
11 机器人与立体摄像头：精确的协同
观察摄像头用于回答“在哪里”。下一步是“是什么，以及它以多快的速度移动”：系统增加了BORUNTE工业机器人，该机器人配备了双摄像机，具有长焦距光学，并安装在坚固的支架上。
观察摄像头区域已识别，已确定方位和仰角。
通过网络控制，机器人能够将头部转向该方向（该协议已经在 Robot1 中实现）。
在狭窄的视野中，目标占据了数十个像素：可以辨认出设备类型和其下方负载。
通过两台摄像机的差异，可以确定距离；通过距离和仰角，可以计算出速度（单位：米/秒），通过仰角，可以确定高度。
机器人会跟随目标在允许的范围内移动。
| 左右两台摄像机的基准 | 距离 | 距离误差 |
|---|---|---|
| 0.5 米 | 150 米 | 约 1 米 |
| 1 米 | 300 米 | 约 2 米 |
| 1 米 | 600 米 | 约 9 米 |
错误与距离的平方成正比，因此双目相机主要用于近距离，可达数百米，而远距离的视野则由预设的区域划分。该机器人设定了在每个轴上的程序限制：头部不能低于预设的角度，也不能面向住宅、道路和相邻区域。
声道
无人机的螺旋桨发出的是一个清晰、稳定的150-400Hz的嗡嗡声，与鸟类的叫声不同。这种声音表明，天空中的那个点实际上是无人机：立体声麦克风指向天空，与摄像头的方向一致，而桅杆上的麦克风网（6-8个麦克风）可以自行确定目标方向，即使无人机的摄像头尚未捕捉到目标，也能控制无人机的转向。
| 条件 | 声的传播距离 | 方向精度 |
|---|---|---|
| 宁静的夜晚，空旷的场地 | 300–500 米 | 2–3° |
| 普通的一天 | 150–300 米 | 3–5° |
| 卸货、卡车、通风 | 50–150 米 | 5–10° |
可选：气压网
可以安装气动网投装置：通过压缩空气，无需火药和弹丸，它会发射网，将螺栓缠绕；带有降落伞的版本，可以缓慢地将捕获的无人机降落。通常的射程为20-100米，通过立体视觉进行瞄准，只有在操作员确认后才会进行降落。
拦截无人机，即使是通过网络，也属于对飞行器的干预。这种行为的权利属于有权机构，但对于商业仓库来说，默认情况下没有这项权利。因此，拦截模块是仅供拥有相关权利的机构使用的，并且必须经过人工确认才能使用。在所有情况下，发现、跟踪和测量都是合法的，并且不需要拦截模块。
12 该系统的功能和限制
能够
- 检测到目标上方和周围的天空中的异物；
- 显示方向、航向和角度速度，并回答“它正在向我们靠近还是远离”的问题；
- 通过行为区分无人机和鸟类；
- 在无人机接近前几十秒发出警报；
- 记录每个事件的画面和轨迹；
- 在现场独立工作，无需互联网和订阅费用。
不具备
- 在标准配置中，不干扰无人机——不进行信号干扰和击落；通过网络进行拦截，需要人工确认；
- 普通摄像头在夜间无法识别——因此，在同一网格中配备了热成像仪。
- 在雾和厚雪中无法穿透，能见度下降，系统会发出警告；
- 不是无线电探测器的替代品，而是作为补充：无线电可以探测到无人机的信号，而摄像头则无法。
13实施步骤
| 阶段 | 内容 |
|---|---|
| 1. 勘察 | 前往现场，选择桅杆和观测方向，评估天空背景和光照情况，协调观测区域 |
| 2. 飞行员 | 在主要方向使用单摄像头，在实际观测环境中工作两周 |
| 3. 培训和指导 | 拍摄各种天气下的天空——晴天、多云、雾、日出、日落；根据区域进行模型培训 |
| 4. 设定阈值 | 客户使用无人机进行不同距离和高度的测试飞行，并根据区域设定阈值 |
| 5. 验收 | 进行一系列测试飞行，测量不同距离和每天的误报概率 |
| 6. 部署 | 其他区域，将信号发送给仓库的安保和自动化系统 |
| 7. 维护 | 在最初几周内进行观察，并根据积累的误报进行再培训 |
在接收过程中，所有数据都是测量和记录的，而不是申报的：控制无人机按照预定的程序飞行，系统记录飞行数据，并将这些数据与飞行计划进行比对。最长的部分不是组装，而是天空的景象：模型需要看到清晰的天空、云层、雾、低角度的阳光、以及雨等景象，这些景象的出现与天气有关。因此，飞行员在单摄像机上进行操作，通常会提前启动，并与其他摄像机的组装工作并行进行。
请同时阅读：engiAI- 机器视觉和区域配对方法 · 管理；指导；领导；手册engiAI (PDF) · Robot1— 机器人控制
