ロボット BORUNTE BRTIRUS0707A
私たちは、通常は異なる世界に存在する二つのものを結びつけました。画像認識システムengiAI独自のニューラルネットワーク学習システムと、6軸の産業用ロボットを備えていますBORUNTEBRTIRUS0707A結果として、このロボットはあらかじめプログラムされた動作を行うのではなく、むしろ..部品を認識し、リアルタイムでそれに応じて調整を行います.
テストで優れた性能を示したシステムは、以下の構成です。箱が机の上に任意の状態で置かれ、オペレーターはそれを自由に回転させます（0度から360度）。カメラが上から撮影し、ニューラルネットワークが回転角度を1度単位で正確に認識します。そして、ロボットアームが箱の姿勢を正確に再現し、グリッパーを箱の真下へ移動させます。このシステムには、固定具、支え、位置センサーは一切使用されていません。カメラ、ニューラルネットワーク、そしてロボットのみで構成されています。
システムの構成
engiAI- 機械視覚。AIを活用した完全なシステム構築：産業用カメラ（SICK、Hikrobot、GigE Vision、USB）の接続、ライブ映像上での検査領域の直接的な設定、読み込んだ数フレームからの学習データセットの生成、GPU（CUDA）を使用したYOLOモデルの学習、およびカメラのストリーム速度に合わせたリアルタイム推論。OUTPUTモジュールは、認識結果を具体的なアクションに変換します。具体的には、TCP通信を通じてロボットやPLCにデータを送信したり、カメラのディスクリート出力に信号を送ったりします。
Robot1：ロボットの制御。 オープンなJSON/TCPプロトコルを介して、コントローラーHC1と直接通信します。ティーチングペンダントや独自のソフトウェアは不要です。各軸を手動で制御し、保存可能な姿勢を設定できます。また、ロボットの3Dモデルと、それに対応する姿勢のデータベースも用意されています。最も重要な機能は、AIからのTCPコマンド受信機能です。各軸に対して、コマンド名、速度、オフセット、反転、および角度を最も近い経路に補正する設定が可能です（±180°）。
これらのプログラム間の接続は、標準的なTCP/IPプロトコルを使用します。重要な点として、このシステムにソケットを開けることができる任意の機器（PLC、別のロボット、SCADA、ERPなど）を接続できます。
仕組み：フレームから動作への変換
- 映像。 カメラは検査対象の領域（当社の展示ブースのSICK、2048×2048マトリックス）の映像を捉えます。
- 素晴らしい。 YOLOモデルは、部品の位置を分類します。各回転角度は、個別のクラス（0～359度、または0～180度）に対応します。
- パケット。 OUTPUTルールは、例えば「J6 315」のようなコマンドを生成し、TCP経由で送信します。このルールは、モデル全体で1つだけ定義されます。`{class}`で指定されたクラスの名前が自動的に渡されます。
- 軸制御 Robot1 は、軸の調整（逆回転、オフセット、近傍移動）を設定し、指定された速度で目標角度をコントローラーに指示します。
- 動作。 軸が回転すると、グリッパーは正確に部品に位置します。
箱の回転からアクチュエータの開始までの遅延時間は約1秒であり、これは設定によって制御可能です。
データセットやMLエンジニアなしでの学習
製造業における機械学習の典型的な課題は、数千枚の画像を集めてラベル付けすることです。 engiAI では、この課題を合成データの生成によって解決します。 担当者は、作業エリア内の部品の1枚の写真を撮影し、プログラムが自動的に学習用データセットを構築します。
- 指定されたステップで、画面全体を領域ごとに回転させます。これにより、背景全体が画面に収まり、フレームによって細部が切り取られることはありません。自動的に、領域の対角線方向で画面が正方形に拡大されます。
- 指定された範囲内で明るさやコントラストのバリエーションと、鏡像コピーを作成します。
- フレームをクラス（0～359度）に分類し、学習データと検証データに分割します。
1つの画像から、数百個の学習ファイルが生成されます。その後、「AIモデルの学習」ボタンを押すと、モデルが使用できるようになります。この「詳細を表示 → 学習 → ロボットが動作」というサイクルは、オペレーターが実行し、外部のMLエンジニアは関与しません。
データストリームがロボットを停止させないようにする必要があります。
ニューラルネットワークは、数十倍の速度で認識を行い、その情報を直接動作に変換することはできません。サーボモーターは、過剰な制御によって故障する可能性があります。このシステムは、実機で検証された多段階の保護機能を備えています。
- 死域：隣接するクラス（315と312）間のわずかなずれが、軸を全く動かさない状態です。
- 安定性：新しいクラスは、指定された時間間隔で安定した動作を維持する必要があります。例えば、ニューラルネットワークが単独で誤った情報を生成しても、長距離の航行を妨げることはありません。
- スムーズな目標変更：もし目標が変更された場合、ロボットは移動中に古い目標地点に到達する前に、新しい目標地点に移動します。制御された減速、コントローラーのキューのクリア、そして直ちに最後の目標地点への移動を行います。中間コマンドはすべて破棄され、現在の目標地点のみが重要です。
- 動作間の停止 - これは、コントローラーへのコマンド送信頻度を厳しく制限するものです。
- 自動復元：システムがクラッシュした場合、制御プログラムが自動的にリセットされ、目標が再設定されます。両方のプログラムは、常にファイルログを記録します。
これは、従来のロボット・マニピュレータと比較して、どのような利点があるのか
従来の産業用ロボットは、厳密に記録された軌跡を繰り返します。そのロボットが「知っている」情報は、周囲の機構によって提供されます。そのため、主なコストと自動化の制限が生じます。AIによる視覚認識は、これらの要素を個別に解決します。
費用と納期
- 機械的な固定装置は不要。例えば、ワークプレイス、支え、防振槽、センターリングステーションなど。部品は自由に配置できます。ロボットが自動的にその位置に調整します。単一の部品用の固定装置は、ロボットそのものと同程度の費用がかかることがよくあります。そのため、そのような固定装置は不要です。
- 新しい製品（時計）への移行のため、期間ではなく、具体的な製品への対応が必要。 カメラの仕様、モデルのトレーニング、ルール設定（線が機能する）を行いました。外部の専門家による訪問や生産停止は不要です。
- 小規模な生産規模でも収益性が生まれる。 従来の自動化は、大規模な生産規模でのみ投資回収が見込める。 ほとんどの調整費用が不要であれば、1日分の少量生産でも自動化は経済的になる。
- 3つのシステムを1つのツールに統合: ロボットの制御、品質管理、および不良品選別を、1つのカメラで統合したプログラムで実行します。
柔軟性と品質
- 現実世界への適応。 コンベアが動いて、部品が歪んで、異なる色合いの部品が到着した—従来のセルが正常に動作し、AIセルも引き続き動作している。セルは部品を認識し、座標ではなく、その形状を認識している。
- 品質管理は無料で利用できます。 ロボットを制御するシステムと同じものが、不良品を特定します。例えば、箱が潰れている、ラベルが剥がれている、組み立てが間違っているといった不良品は、同じ仕組みで特定され、不良品として処理されます。
- すべての軸はAIによって制御されます。 各軸に対して、独立してルールが設定されます。今日では、グリッパーが1つの軸で動作し、明日には複数の軸を同時に使用して完全な位置決めを行います。
- 継続的なフィードバック。 ロボットは単なる「盲目な実行者」ではありません。すべての動きは、映像に実際に映っているものに対する反応であり、すべての決定が記録されています。
オープン性と拡張性
- ロボットのブランドへの依存からの解放。 通信方式はオープンなTCP/IP: 現在はBORUNTEを使用していますが、将来は同じ方式で、別のロボット、回転テーブル、またはPLCを制御することも可能です。
- 現場での追加学習 このモデルは「ソフトウェアのアップデート」ではありません。新しい部品や不良が発生した場合、その夜、実際の工場環境で、実際の照明のもとで、実際の映像データを使って追加学習を行うことができます。
- セルの複製とは、プログラムとモデルファイルのコピーを作成することであり、再設計ではなく、既存の統合を複製することです。
- 透明性。 両方のプログラムのログファイルと、データベース内の動作記録：すべての履歴（フレームから軸の動きまで）が確認できます。これは、パーティの品質統計、指標、および予測保全のための基盤となります。
適用可能な場所
- 梱包と物流： 箱の配置、パレットへの積み込みと積み下ろし、混合パレットでの作業、自由に置かれた商品のコンベアでの取り扱い。
- 品質管理と不良品排除： 1つのカメラが、検査と、実行メカニズムの制御を行います。
- 機械の搬入 (CNC、プレス): 原材料を大量に、または、ビブ（一時的な保管場所）に積み込む。ビブを使用しない。
- 組み立て: 部品の配置、各工程での正しい取り付けの確認。
- 食品生産および農業: これは、機械的な基盤が原則として不可能な、多様な分野です。
- リサイクルと分別: 「カタログにない」という種類の廃棄物の場合、従来の自動化技術では対応が難しい分野です。
今後の展望
- 段階と外部トリガー： 段階ごとの技術プログラム（すべての軸の座標と各段階ごとの速度）、インターフェースからの段階の追加・削除、視覚、PLC、またはオペレーターからのTCP信号による段階の開始など。
- グリッパーによる完全姿勢での操作: 1つの軸から、複数の軸方向への位置と向きを同時に指定して、部品を操作します。
- 複数のカメラを搭載したセル と、複数のロボットの同期
- ストリーミングデータを用いた自動学習： システムが複雑な画像データを自動的に収集し、新しい学習データセットとして提供します。
技術スタック
.NET 9 (WinForms) · YOLOによる分類、ONNX、CUDA · SICK / Hikrobot / GigE Vision / DirectShow カメラ · BORUNTE BRTIRUS0707A (HC1コントローラー、オープンなJSON/TCPプロトコル) · SQLite · 任意の機器とのTCP/IP連携。
このプロジェクトは、ロボット工学の分野における参入障壁が大幅に低下していることを示しています。MLエンジニアのチームや、数ヶ月にわたる統合作業は不要となり、単一の部品の画像、学習ボタン、そしてオープンなプロトコルがあれば十分です。これにより、ロボットは工場内で最も高価で柔軟性の低い機械から、一夜で再教育できる汎用的な作業機械へと進化します。
