Дистанционное сопровождение: робот с машинным зрением под ключ в любой стране
Камера и нейросеть сообщают роботу, есть ли деталь, какая она и как повёрнута. Упоры и ложементы для точной укладки детали не нужны.
Каждый ответ нейросети запускает свой маршрут робота: укладку, сортировку, отбраковку или ожидание.
Одна камера распознаёт и проверяет изделия. Стереопара из двух камер или один стереомодуль измеряет высоту и габариты.
Настройка, запуск, обучение и поддержка проходят через интернет. На месте нужен только ваш инженер.
Уважаемые руководители и специалисты!
Компания «Вектор Технологий» из Минска (Беларусь) работает в промышленной автоматизации 17 лет, с 2009 года. Мы разработали собственное программное обеспечение для роботов с машинным зрением и предлагаем внедрить его на вашем производстве в любой стране, без выезда наших инженеров.
Работу, которую обычно выполняет интегратор на месте, мы выполняем через интернет. Мы разбираем задачу по видео, составляем спецификацию оборудования, удалённо настраиваем программы, обучаем нейросеть на ваших изделиях, ведём запуск робота вместе с вашим инженером и обучаем персонал онлайн. Вы не оплачиваете командировки, а сроки работ не зависят от виз и перелётов.
Программы для машинного зрения и для управления роботом разработаны в нашей компании. Поэтому мы сами отвечаем за всю цепочку, от кадра камеры до движения робота, и можем доработать программы под вашу задачу.
Что вы получаете
Робот выполняет однообразные операции в каждую смену: берёт, ориентирует, укладывает и сортирует изделия.
Та же камера, которая наводит робота, проверяет каждое изделие и отправляет брак в отбраковку.
Новое изделие требует новой модели нейросети и новых маршрутов, а не новой механической оснастки.
Программы, настройка и запуск выполняет одна команда, которая сама разработала программное обеспечение.
С уважением,
Кунцевич Сергей Владимирович
технический специалист компании «Вектор Технологий», инженер-программист, разработчик программ engiAI и Robot1
+375 33 380-78-10 (Viber, WhatsApp, Telegram) · support@engi.live
01Робот, который видит
Обычный промышленный робот повторяет записанную траекторию. Он не знает, лежит ли деталь на месте, какая это деталь и как она повёрнута.
Поэтому вокруг классического робота строят механическую оснастку: упоры, ложементы, вибробункеры и центрирующие станции. Оснастка под одно изделие нередко стоит столько же, сколько сам робот, а переход на другое изделие требует её переделки. Малые партии при таком подходе автоматизировать невыгодно.
Робот с машинным зрением сначала смотрит, а затем двигается. Камера снимает изделие, нейросеть отвечает на вопросы о нём, и по этому ответу робот выбирает действие.
| Что определяет камера | Что делает робот |
|---|---|
| Деталь есть в зоне захвата или её нет. | Робот начинает цикл, когда деталь появилась, и ждёт, пока зона пуста. |
| Тип изделия: модель, цвет, размер или вариант исполнения. | Робот выполняет маршрут, записанный именно для этого типа изделия. |
| Угол поворота изделия от 0 до 359 градусов с шагом 1 градус. | Робот доворачивает захват под изделие, и упоры для ориентации не нужны. |
| Брак: скол, сдвиг компонента, отсутствие элемента, посторонний предмет. | Робот откладывает изделие в отбраковку, а событие записывается в журнал. |
| Высота, длина и ширина коробки по стереокамере. | Робот опускается точно до поверхности и не давит на картон. |
02Как устроена система
Система состоит из двух программ нашей разработки: engiAI отвечает за зрение, Robot1 управляет роботом. Программы работают на одном компьютере или на разных и обмениваются командами по обычной сети.
Камера снимает изделие непрерывно или по сигналу датчика.
Нейросеть отвечает по каждой зоне кадра: норма, брак, тип изделия или угол.
Правило отправляет команду по сети TCP/IP или включает выход камеры.
Программа принимает команду и выбирает маршрут робота.
Робот выполняет маршрут, включает захват и подаёт сигналы оборудованию.
Команду от камеры принимает не только робот. Её может получить контроллер ПЛК, поворотный стол, другой манипулятор или система SCADA, если устройство умеет открыть сетевое соединение.
Нейросеть считает на компьютере у линии. Кадры не отправляются в интернет, а работа системы не зависит от облачных сервисов.
Нейросеть отвечает десятки раз в секунду. Robot1 принимает новую цель только после выдержки стабильности и игнорирует мелкие колебания ответа, поэтому приводы робота не уходят в аварию.
От изменения положения детали до начала движения оси проходит около 1 секунды. Все выдержки задаются в настройках.
03Один робот выполняет несколько задач
В программе Robot1 у каждого ответа нейросети свой маршрут робота. Маршрут — это последовательность поз, скорость движения и число повторов.
Когда камера сообщает «норма», робот выполняет маршрут для годного изделия. Когда камера сообщает «брак», робот выполняет маршрут в отбраковку. Повтор той же команды во время движения не сбивает робота, а для важного маршрута можно запретить прерывание.
| Ответ нейросети | Маршрут робота | Пример на нашем испытательном стенде |
|---|---|---|
| «норма» | Робот берёт годное изделие и переносит его к месту укладки. | Маршрут из двух поз для годного изделия. |
| «брак» | Робот переносит изделие в отбраковку. | Маршрут из двух поз для бракованного изделия. |
| «пусто» | Робот возвращается в позу ожидания и ждёт следующее изделие. | Одна поза ожидания. |
| угол 0–359° | Робот разворачивает захват на угол изделия. | Ось J6 поворачивается вслед за коробкой. |
Какие операции робот совмещает в одной ячейке
Робот укладывает изделия в коробку рядами и слоями. Программа сама рассчитывает положение каждого места.
Робот раскладывает изделия по типам, размерам или сортам по ответу нейросети.
Робот разворачивает изделие на угол, который определила камера.
Камера, которая наводит робота, одновременно проверяет изделие на брак.
Робот загружает станок, пресс или конвейер по сигналам датчиков и входов.
Робот снимает бракованное изделие с потока и откладывает его в отдельную тару.
Для нового изделия создаётся новая модель нейросети и новый набор маршрутов. Всё, что относится к ячейке, хранится в файле проекта. Переход на другое изделие выполняется выбором проекта и набора моделей, без перепрограммирования робота и без новой оснастки.
04Удалённый запуск и сопровождение в любой стране
Наши программы изначально сделаны так, чтобы систему можно было подготовить, проверить и запустить без инженера-интегратора на месте. Мы работаем из Минска с заказчиками в любой стране и в любом часовом поясе по согласованному графику.
Он готовит проект, настраивает программы и обучает нейросеть.
Удалённый доступ к компьютеру ячейки и видеосвязь с вашим инженером.
Компьютер, камера и робот на вашем производстве в любой стране.
Он находится у робота, следит за движением и держит кнопку аварийной остановки под рукой.
Почему удалённый запуск надёжен
Ячейку робота мы собираем в трёхмерной модели Stend. Досягаемость, план укладки и время цикла проверяются до первого движения настоящего робота.
Модель нейросети обучается на снимках ваших изделий. Снимки можно прислать файлами или снять во время удалённого подключения.
Позы, маршруты, правила входов и выходов, настройки камеры и моделей хранятся в файлах. Мы готовим проект у себя и передаём его вам.
Обе программы записывают каждое действие. По журналам мы видим, что произошло на ячейке, без поездки на место.
Оператор работает в программе на своём языке. Руководства к программам также выпускаются на 14 языках.
Программы engiAI и Robot1 можно скачать с сайта engi.live и проверить сразу: без лицензии они работают 20 минут.
Как проходит удалённое внедрение
| Этап | Что делаем мы удалённо | Что делаете вы на месте |
|---|---|---|
| Разбор задачи | Проводим видеовстречу, изучаем фото и видео участка, предлагаем схему ячейки. | Присылаете видео операции, размеры и массу изделий. |
| Спецификация | Составляем список оборудования: робот, камера, объектив, подсветка, компьютер с видеокартой, захват, датчики. | Покупаете оборудование у местных поставщиков по нашей спецификации. |
| Проект ячейки | Собираем ячейку в цифровом двойнике, рассчитываем маршруты, досягаемость и время цикла. | Присылаете размеры места установки и фото участка. |
| Монтаж | Консультируем по видеосвязи, передаём схемы подключения камер, датчиков и выходов. | Ваш механик и электрик монтируют оборудование. |
| Зрение | Подключаемся к компьютеру ячейки, настраиваем камеру, размечаем зоны и обучаем нейросеть на ваших изделиях. | Кладёте изделия под камеру по нашей просьбе. |
| Запуск робота | Ведём запуск по шагам: сухой прогон, движение одной оси на малой скорости, затем полный цикл на ограниченной скорости. | Ваш инженер находится у робота рядом с кнопкой аварийной остановки. |
| Обучение | Проводим онлайн-занятия для операторов, наладчиков и технологов и передаём записи занятий. | Сотрудники учатся на своей ячейке. |
| Сопровождение | Дообучаем модели, добавляем маршруты, разбираем журналы и дорабатываем программы. | Сообщаете о новом изделии или новой задаче. |
Робот всегда запускается в присутствии человека на месте. Мы настраиваем систему и ведём процесс по видеосвязи, а движение робота включает и контролирует ваш инженер у кнопки аварийной остановки. При первых запусках скорость робота ограничена программой.
Дистанционное обучение нашим программам
Программа engiAI: машинное зрение
- Подключение и настройка промышленных камер.
- Разметка зон контроля на живом изображении.
- Сбор снимков и синтетика для обучения.
- Обучение нейросети и проверка результата.
- Правила выходов: команды роботу и контроллеру ПЛК, дискретные выходы, звук.
- Съёмка по сигналу датчика и работа по энкодеру конвейера.
Программа Robot1: управление роботом
- Подключение робота, ручное управление осями и сохранение поз.
- Маршруты и циклы, укладка в коробку рядами и слоями.
- Правила входов и выходов, пневмозахват, защиты по датчикам.
- Приём команд от машинного зрения.
- Цифровой двойник Stend и безопасный переход к настоящему роботу.
- Выгрузка цикла в программу пульта робота.
Для удалённой работы нужны стабильный интернет на компьютере ячейки, программа удалённого доступа, согласованная с вашей ИТ-службой, и видеосвязь со смартфона или ноутбука у робота.
05Зрение одной камерой: engiAI
engiAI — программа машинного зрения с нейросетью. В одной программе оператор подключает камеры, размечает зоны контроля, обучает нейросеть, проверяет изделия и управляет отбраковкой.
Программа проверяет, есть ли деталь и все ли элементы на месте.
Программа находит сколы, сдвиг компонента, ошибку сборки и посторонний предмет.
Нейросеть определяет тип, цвет или вариант изделия для сортировки.
Нейросеть определяет угол изделия от 0 до 359 градусов с шагом 1 градус.
Одна модель проверяет сотни зон печатной платы, и у каждой зоны своя норма.
Программа находит плату на конвейере со сдвигом и поворотом до 180 градусов.
Обучение без большого набора снимков
Обычно для обучения нейросети нужны тысячи размеченных снимков. В engiAI оператор делает несколько снимков изделия, а программа сама строит обучающий набор. Программа сдвигает и поворачивает зону, меняет яркость и контраст, добавляет зеркальные копии и раскладывает снимки по классам. Для печатных плат программа сама создаёт синтетический брак: сдвигает компонент вместе с настоящей текстурой платы. Из одного снимка получаются сотни обучающих изображений.
Обучение запускается одной кнопкой. Оно выполняется на видеокарте NVIDIA или на процессоре. Весь цикл «показал изделие, обучил модель, система работает» выполняет технолог или оператор линии, а не приглашённый специалист по машинному обучению.
Камеры и выходы
| Что подключается | Возможности |
|---|---|
| Камеры Hikrobot | Промышленные камеры GigE и USB3: выдержка, усиление, разрешение, дискретные входы и выходы. |
| Камеры SICK picoCam | Промышленные камеры IDS uEye: выдержка, усиление, выход на исполнительный механизм. |
| USB и IP-камеры | Веб-камеры и камеры видеонаблюдения по протоколу RTSP. Для пилотного проекта подходит даже камера смартфона. |
| Датчики и энкодер | Кадр снимается по сигналу датчика, и разброс момента съёмки не превышает 4 миллисекунд. Отбраковка синхронизируется с энкодером конвейера. |
| Выходы | Команда роботу или контроллеру ПЛК по TCP/IP, дискретный выход камеры на толкатель или лампу, звуковой сигнал. |
| Масштаб | Одна программа ведёт несколько камер одновременно, у каждой камеры до 20 моделей нейросети. Наборы «камера и модель» переключаются одним нажатием при смене изделия. |
06Стереозрение: высота и габариты в 3D
Одна камера видит плоское изображение. Когда роботу нужно знать высоту, например верх стопки коробок или уровень изделия в таре, к системе подключается стереозрение.
Две камеры смотрят на сцену с небольшим смещением, как глаза человека. По разнице между двумя кадрами программа строит карту глубины и вычисляет в миллиметрах высоту, длину и ширину коробки, а также расстояние от камеры до её верха. Подходят две промышленные камеры SICK, две USB-камеры или один готовый стереомодуль, то есть одна камера с двумя объективами.
HВысота коробки над столом в миллиметрах.
L, WДлина и ширина верхней грани коробки.
ZРасстояние от камеры до верха коробки. Когда камера установлена на голове робота, это расстояние ограничивает ход осей.
3DКарта глубины: каждая точка изображения получает расстояние до камеры, и коробка выделяется над плоскостью стола.
Что умеет стереозрение в нашей системе
- Калибровка двумя способами. Точная калибровка выполняется по шахматной доске. Упрощённая настройка выполняется без доски, по расстоянию до стола и одной эталонной коробке.
- Лазерный проектор точек. Проектор добавляет рисунок на однотонные поверхности, и карта глубины становится плотнее. Для режима с лазером и без него хранятся отдельные настройки.
- Камера на голове робота. Программа Robot1 учитывает текущую высоту головы робота и пересчитывает измерение с учётом её подъёма.
- Правила по высоте. Для каждого диапазона расстояния до поверхности задаются ограничения осей робота. Чем выше стопка, тем меньше роботу разрешено опускаться, и присоска не давит картон. Правила действуют на все источники движения робота.
- Защита при устаревших данных. Если данные камеры устарели, оси, указанные в правилах, не двигаются. Такое поведение можно отключить в настройках.
| Проверка на испытательном стенде | Результат |
|---|---|
| Недорогой стереомодуль: два сенсора 1280 × 720 пикселей, расстояние между объективами около 60 мм, камера на высоте 255 мм. | Погрешность измерения высоты коробки от 1 до 3 мм без лазера и без шахматной доски. |
| Тот же стереомодуль в упрощённом режиме настройки. | Погрешность длины и ширины около 10 %. Точность растёт с лазерным проектором и калибровкой по шахматной доске. |
07Robot1: управление роботом с компьютера
Robot1 управляет промышленным роботом напрямую по сети через контроллер робота. Отдельное программное обеспечение производителя робота не нужно. Пульт робота остаётся для включения режима работы и аварийной остановки.
| Функция | Что это даёт |
|---|---|
| Ручное управление | Каждая ось двигается кнопками с выбранным шагом и скоростью. Голова робота двигается строго по вертикали и по прямой, а деталь в захвате сохраняет ориентацию. |
| Позы и циклы | Позы сохраняются одним нажатием и собираются в цикл с нужной скоростью, паузами и числом повторов. |
| Укладка в коробку | Оператор задаёт число изделий в ряду, шаг и число слоёв, и программа рассчитывает положение каждого места. Коробка подстраивается по реальному роботу. |
| Входы и выходы | Пневмозахват включается в позе взятия. Циклы запускаются и останавливаются сигналами датчиков. Если датчик не видит деталь после взятия, робот повторяет взятие или останавливается. |
| Ограничения | Программа задаёт мягкие пределы осей, запретные зоны, ограничение скорости и кнопку плавной остановки с очисткой очереди команд. |
| Команды от зрения | Программа принимает команды по сети. Для каждой оси задаются команда, скорость, смещение и направление, а для каждого класса задаётся свой маршрут. |
| Работа без компьютера | Готовый цикл выгружается на флешку файлами программы пульта, и робот выполняет его самостоятельно. |
| Проекты и журнал | Всё, что относится к ячейке, хранится в одном файле проекта. Журнал записывает каждую команду роботу. |
Цифровой двойник Stend
В модуле Stend робот, коробка, место забора и сама деталь расставляются мышью на трёхмерной сцене. Захват собирается из стойки, балки и присосок прямо на модели. Программа рассчитывает досягаемость, план укладки и время цикла, а затем показывает весь цикл с имитацией датчиков и пневматики.
Переход к настоящему роботу выполняется по шагам. Сначала цикл показывается на модели. Затем сухой прогон записывает шаги в журнал, не отправляя роботу ни одной команды. Затем робот поворачивает только одну ось на скорости не выше 5 %. Полный цикл запускается последним, с подтверждением точек и пределом скорости.
08Всё программное обеспечение — наша разработка
Программы engiAI и Robot1 разработаны специалистами «Вектор Технологий». Для вас это означает несколько практических преимуществ.
Если задаче нужна новая функция, новый протокол обмена или новый отчёт, мы добавляем их сами.
Зрение, связь и управление роботом сделаны одной командой, поэтому вопросы решаются без переписки между разными поставщиками.
Распознавание работает на компьютере у линии, и кадры вашего производства не покидают предприятие.
Программы работают на русском, английском, немецком, французском, испанском, итальянском, португальском, китайском, японском, корейском, хинди, арабском, индонезийском и вьетнамском языках.
Журналы работы и база данных программ хранят историю срабатываний. Эти данные подходят для статистики брака и анализа работы линии.
Вторая такая же ячейка запускается копированием проекта и модели нейросети, а не новым проектом интеграции.
| Требования | Значение |
|---|---|
| Компьютер | Windows 10 или Windows 11, 64 бита. Видеокарта NVIDIA ускоряет обучение и анализ, без неё программа работает на процессоре. |
| Робот | Robot1 сегодня управляет роботами BORUNTE с контроллером HC1. Роботы других марок и контроллеры ПЛК получают команды от engiAI по сети TCP/IP. |
| Пробная версия | Программы скачиваются с сайта engi.live. Без лицензии каждая программа работает 20 минут. |
09О компании «Вектор Технологий»
«Вектор Технологий» — разработчик, производитель и поставщик оборудования для промышленной автоматизации из Минска. Компания предоставляет полный спектр инжиниринговых услуг: от разработки проекта до запуска в промышленную эксплуатацию.
Проекты компании
Машинное зрение и роботы
- Адаптация промышленного робота к положению объекта с помощью машинного зрения.
- 3DStereo: бесконтактное измерение габаритов с помощью двух камер.
- Автоматический анализ печатных плат.
- Инспекция таблеток по зонам.
- Система контроля упаковки лекарственных препаратов.
- Автоматическая инспекция маркировки.
- Контроль маркировки и изоляции кабеля и провода.
Автоматизация производства
- AGV-система транспортировки катушек и бобин с проволокой, груз до 2 900 кг.
- Модернизация линии резки биметаллической ленты.
- Комплексная модернизация линии контроля свойств биметаллической ленты.
- Модернизация системы управления вакуумной печи.
- Комплекс водоподготовки, приготовления и розлива питьевой воды.
- Испытательный стенд в лаборатории ОАО «Белшина».
- Автоматизированная станция мойки.
Описания проектов опубликованы на сайте vec-tech.by в разделе «Проекты».
Компания выпускает частотные преобразователи серий VTD мощностью от 0,4 до 630 кВт и VTD20 мощностью от 0,75 до 15 кВт, устройства плавного пуска мощностью от 11 до 600 кВт, мотор-редукторы, шкафы управления и электронные устройства на собственной линии SMT и DIP. «Вектор Технологий» является официальным дистрибьютором YASKAWA, SICK, WEG, VIPA и FATEK. Проектирование участка, АСУ ТП и шкафов управления мы выполняем по вашим данным и передаём документацию для монтажа на месте. Поставка оборудования в вашу страну обсуждается отдельно.
10Где это применяется и как считается выгода
| Отрасль | Что автоматизируем |
|---|---|
| Упаковка и логистика | Ориентация и укладка коробок, паллетирование, сортировка, измерение габаритов стереокамерой. |
| Фармацевтика | Контроль таблеток в блистерах, контроль упаковки и маркировки, отбраковка. |
| Электроника | Контроль сборки печатных плат методом ЗОНА-ПАРА: наличие, сдвиг и поворот компонентов. |
| Машиностроение и металлообработка | Загрузка станков и прессов, контроль деталей, укладка деталей в тару. |
| Кабельное производство | Контроль маркировки и изоляции, транспортировка бобин автоматическими тележками. |
| Пищевая промышленность и напитки | Контроль потока продукции на конвейере, обнаружение упавшей тары, укладка. |
| Склады | Паллетирование и депаллетирование, измерение габаритов грузов. |
Чем робот со зрением выгоднее классической автоматизации
- Нет дорогой оснастки. Ложементы, упоры и вибробункеры под каждое изделие не нужны, потому что робот подстраивается под деталь сам.
- Переналадка занимает часы. Для нового изделия обучается новая модель и записываются новые маршруты, а механика ячейки остаётся прежней.
- Малые партии становятся выгодными. Когда переналадка почти ничего не стоит, автоматизировать выгодно даже партию на одну смену.
- Одна камера выполняет три функции. Камера наводит робота, проверяет качество и управляет отбраковкой.
- Система терпит реальные условия. Если деталь легла криво или пришла партия другого оттенка, робот со зрением продолжает работать, потому что смотрит на деталь, а не на координаты.
11Как начать
Как мы рассчитываем окупаемость
Срок окупаемости мы считаем по вашим цифрам. Для расчёта нужны данные из таблицы ниже, а результат войдёт в коммерческий расчёт.
| Данные от вас | Что из них следует |
|---|---|
| Сколько сотрудников занято на операции в одну смену и сколько смен в сутки. | Сколько рабочих часов в год заменяет робот. |
| Стоимость одного часа работы с учётом налогов. | Годовая экономия на оплате труда. |
| Доля брака и стоимость одной пропущенной ошибки. | Экономия от автоматического контроля качества. |
| Сколько раз в месяц меняется изделие и сколько длится переналадка. | Экономия на оснастке и простоях. |
| Стоимость ячейки или участка под вашу задачу. | Срок окупаемости: стоимость, делённая на годовую экономию. |
Программы engiAI и Robot1, руководства и видео опубликованы на сайте engi.live. Без лицензии каждая программа работает 20 минут.
