Robô BORUNTE BRTIRUS0707A
Combinamos duas coisas que normalmente pertencem a mundos diferentes: sistema de visão artificial engiAI com seu próprio sistema de treinamento de redes neurais e um robô industrial de seis eixos BORUNTE BRTIRUS0707A. O resultado é um robô que não executa um programa pré-definido, mas.. Ele identifica o objeto e se adapta a ele em tempo real.
O teste demonstrou a eficácia do sistema: a caixa está sobre a mesa em qualquer posição, o operador a gira livremente, de 0 a 360 graus. A câmera observa de cima, a rede neural determina o ângulo de rotação com precisão de grau, e a mão do robô replica a posição da caixa – posicionando a garra exatamente abaixo dela. Sem suportes, guias ou sensores de posição: apenas a câmera, a rede neural e o robô.
Composição do sistema:
engiAI – visão computacional. Ciclo completo de trabalho com inteligência artificial: conexão de câmeras industriais (SICK, Hikrobot, GigE Vision, USB), definição de áreas de inspeção diretamente no vídeo em tempo real, geração de um conjunto de dados de treinamento a partir de um número limitado de quadros, treinamento de modelos YOLO em GPUs (CUDA) e inferência em tempo real com a velocidade do fluxo de vídeo da câmera. O módulo OUTPUT converte o resultado do reconhecimento em ações: envio de pacotes TCP para robôs ou CLPs, e ativação de saídas discretas das câmeras.
Robot1 – controle do robô. Comunicação direta com o controlador HC1 através do protocolo JSON/TCP aberto, sem console ou software proprietário: controle manual de cada eixo, posições salvas, modelo 3D do robô com base de posições. O principal é receptor TCP para comandos da IA: regra para cada eixo com o nome do comando, velocidade, deslocamento, inversão e ajuste do ângulo para o caminho mais próximo (±180°).
A comunicação entre os programas é feita através do protocolo TCP/IP padrão. É importante notar que qualquer equipamento capaz de abrir um socket pode ser integrado na cadeia, como por exemplo, um controlador lógico programável (CLP), outro robô, um sistema SCADA ou um sistema ERP.
Como funciona: do quadro ao movimento
- Imagem. A câmera exibe a imagem da área de inspeção (no nosso stand, a SICK, com uma resolução de 2048x2048).
- Excelente. O modelo YOLO classifica a posição do objeto: cada grau de rotação representa uma classe distinta (de 0 a 359 graus para um círculo completo ou de 0 a 180 graus para objetos simétricos).
- Pacote. A regra OUTPUT define o comando — por exemplo, «J6 315» — e o envia via TCP. A regra é criada uma vez para todo o modelo: a substituição {class} transmite automaticamente o nome da classe reconhecida.
- Regra do eixo. O Robot1 aplica as configurações do eixo (inversão, deslocamento e trajetória curta) e dá comandos ao controlador para definir o ângulo desejado com a velocidade especificada.
- Movimento. O eixo gira — a garra se alinha perfeitamente com a peça.
O tempo de resposta, desde a rotação da caixa até o início do eixo, é de cerca de um segundo e é controlado: todas as pausas são definidas nas configurações.
Treinamento sem conjunto de dados e sem engenheiro de ML
O problema clássico no aprendizado de máquina na indústria é a coleta e rotulagem de milhares de imagens. Na engiAI, isso é resolvido através da geração de dados sintéticos: o operador tira uma única foto de uma peça na área, e o programa constrói automaticamente o conjunto de treinamento:
- Gira a janela da área sobre toda a imagem, com um passo definido (mesmo que seja 0,1°), permitindo que o fundo real apareça na imagem, sem que o objeto seja cortado pela moldura: a imagem é automaticamente expandida para um quadrado, seguindo a diagonal da área.
- adiciona variações de brilho e contraste dentro dos limites definidos e cópias espelhadas;
- organiza automaticamente os quadros por classes/graus (0…359) e divide a amostra em treino e validação.
A partir de uma única imagem, são gerados centenas de arquivos de treinamento. Em seguida, é pressionada a tecla "TREINAR MODELO DE IA", e após um certo tempo, o modelo está pronto para funcionar. Todo o ciclo "mostrar detalhe → treinar → robô funciona" é executado pelo operador da linha, e não por um engenheiro de ML contratado.
O fluxo de dados não deve interromper o funcionamento do robô.
A rede neural realiza o reconhecimento de dezenas de vezes por segundo, e não é possível transmitir diretamente esses resultados para os atuadores – os atuadores entram em falha devido ao fluxo constante de redirecionamentos. A solução implementada oferece uma proteção em várias etapas, testada em um robô real:
- Zona morta — a ausência de movimento entre as classes adjacentes (315↔312) não afeta o eixo em nada;
- Estabilidade – a nova classe deve permanecer ativa por um determinado período: imagens falsas geradas pela rede neural não afetam a trajetória;
- Movimentação suave – se o objetivo foi alterado durante o percurso, o robô não alcança o ponto desatualizado: frenagem controlada, limpeza da fila de comandos e, em seguida, movimento direto para o último objetivo. Os comandos intermediários são descartados – apenas o comando atual é relevante.
- Intervalo entre os movimentos — um limite rígido para a frequência de comandos enviados ao controlador;
- Recuperação automática — em caso de falha, o controlador é reiniciado automaticamente, e o objetivo é redefinido; ambas as aplicações mantêm logs de arquivos contínuos.
Em comparação com um robô industrial tradicional:
Um robô industrial tradicional segue uma trajetória rigidamente programada. Todas as informações que ele possui sobre a peça são fornecidas pelo mecanismo ao seu redor. Isso resulta nos principais custos e limitações da automação. A visão com IA elimina esses pontos.
Custo e tempo
- Não é necessária uma estrutura de fixação mecânica – como bancadas, suportes, vibrobuncos e estações de centragem. A peça pode estar posicionada de qualquer forma: o robô se ajustará automaticamente. A estrutura para uma única peça geralmente custa o mesmo que o próprio robô – e, neste caso, não é necessária.
- A reconfiguração para um novo produto – relógios, e não semanas. Demonstramos os detalhes da câmera, treinamos o modelo e definimos a regra – a linha está funcionando. Não é necessário o deslocamento do integrador e a interrupção da produção.
- As pequenas séries se tornam lucrativas. A automação tradicional só é vantajosa em grandes volumes. Quando a reconfiguração é quase gratuita, automatizar uma produção diária pode ser vantajoso.
- Um único dispositivo em vez de três sistemas: o robô, o controle de qualidade e a rejeição de produtos funcionam em um único programa, utilizando uma única câmera.
Flexibilidade e qualidade
- Adaptação ao mundo real. A linha de produção foi interrompida, a peça ficou torta, chegou um lote com uma tonalidade diferente – a célula tradicional está funcionando, e a célula de IA continua a operar: ela analisa a peça, e não apenas suas coordenadas.
- Controle de qualidade gratuito. O mesmo modelo, que é usado para inspecionar, identifica defeitos como: embalagem amassada, etiqueta danificada, montagem incorreta, e os envia para a rejeição utilizando o mesmo conjunto de regras.
- Qualquer eixo — definido por IA. As regras são aplicadas a cada um dos seis eixos de forma independente: hoje, um único movimento de garra é programado, e amanhã, o posicionamento completo será realizado simultaneamente em vários eixos.
- Feedback contínuo. O robô não é apenas um "executor": cada movimento é uma resposta ao que é realmente visível na imagem, com um registro de todas as decisões.
Abertura e escalabilidade
- Independência em relação à marca do robô. A comunicação é através de TCP/IP: atualmente, é o BORUNTE, mas o mesmo princípio pode ser usado para controlar outro robô, uma mesa rotativa ou um PLC.
- Treinamento no local. O modelo não é apenas uma "atualização": se surgir um novo detalhe ou defeito, o treinamento pode ser feito em algumas horas, diretamente na linha de produção, utilizando imagens reais com a iluminação do ambiente.
- Replicação de células — cópia de programas e do arquivo do modelo, e não a repetição do projeto de integração.
- Transparência. Os logs permanentes de ambas as aplicações e o registo de eventos no banco de dados: permitem visualizar todo o histórico, desde o quadro inicial até o movimento do eixo. Isso fornece uma base para estatísticas, métricas de qualidade de lotes e manutenção preditiva.
Onde isso é aplicável
- Embalagem e logística: orientação das caixas antes da disposição, paletização e despaletização de paletes mistas, coleta em esteiras de itens dispostos aleatoriamente.
- Controle de qualidade com rejeição: Uma câmera que verifica e também controla os mecanismos de execução.
- Entrega de máquinas (CNC, prensas): materiais em grandes quantidades ou em bandejas, sem vibração.
- Montagem: posicionamento das peças, verificação da correta instalação em cada etapa.
- Produção de alimentos e agricultura: são atividades que envolvem uma grande variedade de processos, tornando impossível a automatização completa.
- Reciclagem e separação: O trabalho com materiais que "não estão no catálogo" representa um desafio onde a automação tradicional é ineficaz.
O que vem a seguir
- Etapas e gatilhos externos: Programa tecnológica com etapas (coordenadas de todos os eixos e velocidade em cada etapa), adição e remoção de etapas da interface, execução de etapas através de sinais TCP provenientes da visão, CLP ou operador;
- Garras em posição completa: do canto de um eixo — para a posição e orientação do componente em várias direções simultaneamente;
- Células multi-câmeras e sincronização de vários robôs;
- Aprendizagem automática em tempo real: o sistema coleta automaticamente imagens complexas e as apresenta em um novo conjunto de dados para treinamento.
Tecnologia
.NET 9 (WinForms) · Classificação YOLO, ONNX, CUDA · Câmeras SICK / Hikrobot / GigE Vision / DirectShow · Robô BORUNTE BRTIRUS0707A (controlador HC1, protocolo JSON/TCP aberto) · SQLite · Integração TCP/IP com qualquer equipamento.
O projeto demonstra o ponto principal: a barreira de entrada para a robótica "inteligente" diminuiu significativamente. Não é mais necessário um grupo de engenheiros de aprendizado de máquina e meses de integração — basta uma única imagem do componente, um botão de treinamento e um protocolo aberto. O robô deixa de ser a máquina mais cara e inflexível da fábrica — e se torna um equipamento versátil, que pode ser reprogramado em poucas horas.
