コイルクリールの自動配置を行う自律運転ロボット支援システム
2022/04/06
アイ・ディー・エス(IDS imaging)株式会社
インダストリー 4.0の標準により、システムと施設のデジタル化、自動化、ネットワーク化が生産現場のみならず、物流業界でも重要なテーマになってきています。インダストリー 4.0は、生産性と柔軟性を追求してプロセスとワークフローの最適化を推進し、時間とコストの節約を図るものです。ロボットシステムはプロセス自動化の推進力となっています。モノのインターネット(IoT)を通じて、ロボットの感度、自律性、機動性、操作性はますます向上しています。工場や倉庫で、日々の業務のサポート役として欠かせない存在になりつつあります。この面で、インテリジェントな画像処理技術が持つ役割の重要性が増しています。
生産環境を拡張して、全自動でインテリジェントにネットワーク化された生産へと変革しようという要求の増大に対応するため、ONTEC Automation GmbH(バイエルン・ナイラ)は、自律運転ロボット支援システムを開発しました。この「スマートロボットアシスタント」は機動性と自動化の相乗効果を利用しています。
強力で効率的なイントラロジスティクスプラットフォームと、柔軟なロボットアーム、IDS Imaging Development Systems GmbHのEnsenso Nシリーズの強固な3Dステレオカメラシステムで構成されています。
このソリューションは汎用で、重量物を扱う単調な準備作業や配置作業などを任せられます。自律搬送システムとして、ユーロパレットのコンテナまでのフロアリフティングに適しており、産業規格や最大荷重1,200 kgのさまざまなメッシュパレットにも使用できます。繊維工業の顧客では、AGV(無人搬送車)がコイルクリールの自動ローディングに使用されます。この目的で、糸巻きスプールを搭載したパレットをピックアップして、指定のクリールまで搬送し、積み上げてその後の処理を行います。専用に開発されたグリッパーシステムを使用して、最大1,000台の糸パッケージを8時間のシフトでピックアップして、クリールの心棒に押し込みます。コイルのサイズ編成や位置を、グリッパーのアームに取り付けられた Ensenso 3Dカメラ(N45シリーズ)で撮影します。
■アプリケーション
産業用糸巻きを積載したパレットを、あらかじめ指定された保管場所の床からピックアップして、クリールの場所まで搬送します。ここでグリッパーがパレットの真上に配置されます。画像トリガーがN45シリーズ Ensenso 3Dカメラに送信され、インハウスのソフトウェア ONTEC SPSCommによってトリガーされます。
車両のPLCとネットワークで接続されているので、データを読み取って転送できます。アプリケーションでは、SPSCommが車両、グリッパー、カメラのソフトウェア部分の通信を制御します。この方法で、カメラで車両とグラバーが写真を撮影する位置にきたタイミングを認識できます。ここで画像を撮影して、HALCONソフトウェア規格に基づいて ONTEC からソフトウェアソリューションに点群を転送し、これによってパレット上のコイルの座標をロボットに通知します。ロボットはコイルを正確にピックアップして、その後の処理に進むことができます。グリッパーが糸巻きのレイヤーをすべて巻き取ると、Ensensoカメラが糸巻きの間にあるパッケージ材の写真を撮影し、この点群も提供します。これらの点群は同様に処理され、ニードルグリッパーが中間レイヤーを取り外すための情報をロボットに提供します。「このアプローチは、多数のレイヤーとパレットの最終パターンを事前に定義する必要がなく、不完全なパレットでも問題なく処理できます」と、ONTECのソフトウェア開発者 Tim Böckel氏は説明します。「グリッパーを、ニードルグリッパーで使用するために変換する必要はありません。このアプリケーションでは、コイル用の通常の把持コンポーネントと、中間レイヤー用のニードル把持コンポーネントがあります」
このタスクでは、移動物および静止物の3D撮影を移動しながらロボットアーム上で使用するので、コンパクト設計のEnsenso 3Dカメラが最適です。Ensenso N 45の3Dステレオ電子機器はハウジングから完全に分離しているので、軽量プラスチック複合材をハウジング材料として使用できます。軽量なので、スマートロボットアシスタントなどのロボットアーム上で容易に使用できます。カメラは過酷な環境条件にも対処できます。「このアプリケーションによる課題は主に、ホールの異なる部屋や異なる時間帯では明らかに照明条件が異なるという点にあります」とTim Böckel氏は状況を説明します。照明が暗い条件でも、内蔵プロジェクターがランダムドットパターンによるパターンマスクを使用して高輝度テクスチャを撮影対象の被写体上に投影し、特徴のない一様な表面上の構造を補完します。つまり、内蔵カメラが要件を完全に満たします。「NxViewで事前に構成することで、タスクはうまく処理されています」 このソースコード付きサンプルプログラムは、NxLib ライブラリの主な機能を実証するもので、画像と奥行きデータを視覚化する 1つまたは複数のステレオカメラおよびカラーカメラを開くときに使用できます。露出時間、ビニング、AOI、奥行き測定範囲などのパラメーターは、この場合のように、使用される一致手法に対してライブで調整できます。
一致プロセスにより、Ensenso 3カメラでは、表面に投影された補助構造を活用して、位置の変更などの非常に多量のピクセルを認識し、これからシーンの完全に一様な奥行き情報を作成できるようになります。これにより、スマートロボットアシスタントが利用するために必要な精度が実現します。カメラのその他の選択基準としては、標準ビジョンインターフェースのギガビットイーサネットおよびグローバルシャッター1.3MPセンサーが挙げられます。「スループット時間を短縮するためにカメラはパレット全体で 1 組の画像しか撮影しませんが、比較的長距離からミリメートル単位の精度で座標を提供して、ロボットアームで正確に把持できるようにする必要があります」と、ONTECのアプリケーション開発ITスペシャリストMatthias Hofmann氏は語ります。「そこで、カメラの高解像度でコイルの端を3Dカメラにより確実に記録できるようにする必要があります。端の位置決めは、スプールの中心からグリッパーまでの位置をできるだけ正確に伝達するために重要です。
さらにカメラは、過酷な環境条件の用途専用に設計されています。トリガーおよびフラッシュ用のねじ止め式GPIOコネクターを備え、埃、塵、水滴、洗剤に対してIP65/67保護等級です。
■ソフトウェア
Ensenso SDKはロボットアームに対してカメラのハンドアイ校正を行い、ロボットの姿勢を使用した座標の変換および転位を容易にします。さらに、内部カメラ設定を使用して、現状の「FileCam」を、画像トリガーごとなど、転送するたびに記録します。これにより、エッジケースを後で容易に調整できます。この用途ではたとえば、予期しない照明条件、画像内の障害物、画像内のコイルの予期しない配置などです。Ensenso SDKにより、内部カメラ LOG ファイルを保存して評価用にアーカイブすることもできます。ONTECではこれらの「FileCams」を使用して、テストケースを自動的にチェックし、ビジョンソフトウェアを調整するときにすべての配置を正しく機能させています。さらに、さまざまな車両を調整して、ONTECが専用に開発した制御システムをベースに物流面でのボトルネックを最小化できます。異なるアシスタントを運転して、非常に狭い空間で同時に動作させることができます。産業用インターフェースツール ONTEC SPSCommを使用すると、標準の産業用ロボットでもアプリケーション全体に無理なく統合でき、データを異なるシステム間で交換できます。
■今後の予定
さらなるシステムの開発が予定されており、自動運転車のナビゲーションが特に中心となります。「AGVの車両ナビゲーションに関して、IDSカメラの使用には高い関心を寄せています。現在、新しい Ensenso Sシリーズの使用を評価しており、障害物に対する車両の反応の柔軟性を高めようとしています。たとえば、障害物を分類して、それを回避して走行させるなどです」と、ONTECのソフトウエア開発者 Tim Böckel氏は次の開発ステップの概略を語ります。
ONTEC固有のインターフェース構成では、システムを多様なインダストリー 4.0 アプリケーションに統合することがすでに可能で、自律走行ロボットソリューションのモジュール構造により、さまざまなタスクに対して適応させる余地を持たせています。このようにして、生産および物流において効率と柔軟性を向上できるほか、多くの場面で、従業員の作業負荷の軽減に文字通り貢献しています。
■クライアント
ONTEC Automation GmbHは、革新的な統合オートメーションシステム、プラント、産業生産向け特殊マシンのシステムプロバイダーです。テクニカルテキスタイルソリューション、オートメーションソリューション、スマートロボットソリューション、配電盤ソリューションの事業部門があります。同社は25 年の経験から得た知識を、革新的な顧客中心のソリューションとバリューチェーン全体に適用し、ロボット工学、産業用画像処理、ソフトウェア開発、電気工学、機械工学を対象としています。
生産環境を拡張して、全自動でインテリジェントにネットワーク化された生産へと変革しようという要求の増大に対応するため、ONTEC Automation GmbH(バイエルン・ナイラ)は、自律運転ロボット支援システムを開発しました。この「スマートロボットアシスタント」は機動性と自動化の相乗効果を利用しています。
強力で効率的なイントラロジスティクスプラットフォームと、柔軟なロボットアーム、IDS Imaging Development Systems GmbHのEnsenso Nシリーズの強固な3Dステレオカメラシステムで構成されています。
このソリューションは汎用で、重量物を扱う単調な準備作業や配置作業などを任せられます。自律搬送システムとして、ユーロパレットのコンテナまでのフロアリフティングに適しており、産業規格や最大荷重1,200 kgのさまざまなメッシュパレットにも使用できます。繊維工業の顧客では、AGV(無人搬送車)がコイルクリールの自動ローディングに使用されます。この目的で、糸巻きスプールを搭載したパレットをピックアップして、指定のクリールまで搬送し、積み上げてその後の処理を行います。専用に開発されたグリッパーシステムを使用して、最大1,000台の糸パッケージを8時間のシフトでピックアップして、クリールの心棒に押し込みます。コイルのサイズ編成や位置を、グリッパーのアームに取り付けられた Ensenso 3Dカメラ(N45シリーズ)で撮影します。
■アプリケーション
産業用糸巻きを積載したパレットを、あらかじめ指定された保管場所の床からピックアップして、クリールの場所まで搬送します。ここでグリッパーがパレットの真上に配置されます。画像トリガーがN45シリーズ Ensenso 3Dカメラに送信され、インハウスのソフトウェア ONTEC SPSCommによってトリガーされます。
車両のPLCとネットワークで接続されているので、データを読み取って転送できます。アプリケーションでは、SPSCommが車両、グリッパー、カメラのソフトウェア部分の通信を制御します。この方法で、カメラで車両とグラバーが写真を撮影する位置にきたタイミングを認識できます。ここで画像を撮影して、HALCONソフトウェア規格に基づいて ONTEC からソフトウェアソリューションに点群を転送し、これによってパレット上のコイルの座標をロボットに通知します。ロボットはコイルを正確にピックアップして、その後の処理に進むことができます。グリッパーが糸巻きのレイヤーをすべて巻き取ると、Ensensoカメラが糸巻きの間にあるパッケージ材の写真を撮影し、この点群も提供します。これらの点群は同様に処理され、ニードルグリッパーが中間レイヤーを取り外すための情報をロボットに提供します。「このアプローチは、多数のレイヤーとパレットの最終パターンを事前に定義する必要がなく、不完全なパレットでも問題なく処理できます」と、ONTECのソフトウェア開発者 Tim Böckel氏は説明します。「グリッパーを、ニードルグリッパーで使用するために変換する必要はありません。このアプリケーションでは、コイル用の通常の把持コンポーネントと、中間レイヤー用のニードル把持コンポーネントがあります」
このタスクでは、移動物および静止物の3D撮影を移動しながらロボットアーム上で使用するので、コンパクト設計のEnsenso 3Dカメラが最適です。Ensenso N 45の3Dステレオ電子機器はハウジングから完全に分離しているので、軽量プラスチック複合材をハウジング材料として使用できます。軽量なので、スマートロボットアシスタントなどのロボットアーム上で容易に使用できます。カメラは過酷な環境条件にも対処できます。「このアプリケーションによる課題は主に、ホールの異なる部屋や異なる時間帯では明らかに照明条件が異なるという点にあります」とTim Böckel氏は状況を説明します。照明が暗い条件でも、内蔵プロジェクターがランダムドットパターンによるパターンマスクを使用して高輝度テクスチャを撮影対象の被写体上に投影し、特徴のない一様な表面上の構造を補完します。つまり、内蔵カメラが要件を完全に満たします。「NxViewで事前に構成することで、タスクはうまく処理されています」 このソースコード付きサンプルプログラムは、NxLib ライブラリの主な機能を実証するもので、画像と奥行きデータを視覚化する 1つまたは複数のステレオカメラおよびカラーカメラを開くときに使用できます。露出時間、ビニング、AOI、奥行き測定範囲などのパラメーターは、この場合のように、使用される一致手法に対してライブで調整できます。
一致プロセスにより、Ensenso 3カメラでは、表面に投影された補助構造を活用して、位置の変更などの非常に多量のピクセルを認識し、これからシーンの完全に一様な奥行き情報を作成できるようになります。これにより、スマートロボットアシスタントが利用するために必要な精度が実現します。カメラのその他の選択基準としては、標準ビジョンインターフェースのギガビットイーサネットおよびグローバルシャッター1.3MPセンサーが挙げられます。「スループット時間を短縮するためにカメラはパレット全体で 1 組の画像しか撮影しませんが、比較的長距離からミリメートル単位の精度で座標を提供して、ロボットアームで正確に把持できるようにする必要があります」と、ONTECのアプリケーション開発ITスペシャリストMatthias Hofmann氏は語ります。「そこで、カメラの高解像度でコイルの端を3Dカメラにより確実に記録できるようにする必要があります。端の位置決めは、スプールの中心からグリッパーまでの位置をできるだけ正確に伝達するために重要です。
さらにカメラは、過酷な環境条件の用途専用に設計されています。トリガーおよびフラッシュ用のねじ止め式GPIOコネクターを備え、埃、塵、水滴、洗剤に対してIP65/67保護等級です。
■ソフトウェア
Ensenso SDKはロボットアームに対してカメラのハンドアイ校正を行い、ロボットの姿勢を使用した座標の変換および転位を容易にします。さらに、内部カメラ設定を使用して、現状の「FileCam」を、画像トリガーごとなど、転送するたびに記録します。これにより、エッジケースを後で容易に調整できます。この用途ではたとえば、予期しない照明条件、画像内の障害物、画像内のコイルの予期しない配置などです。Ensenso SDKにより、内部カメラ LOG ファイルを保存して評価用にアーカイブすることもできます。ONTECではこれらの「FileCams」を使用して、テストケースを自動的にチェックし、ビジョンソフトウェアを調整するときにすべての配置を正しく機能させています。さらに、さまざまな車両を調整して、ONTECが専用に開発した制御システムをベースに物流面でのボトルネックを最小化できます。異なるアシスタントを運転して、非常に狭い空間で同時に動作させることができます。産業用インターフェースツール ONTEC SPSCommを使用すると、標準の産業用ロボットでもアプリケーション全体に無理なく統合でき、データを異なるシステム間で交換できます。
■今後の予定
さらなるシステムの開発が予定されており、自動運転車のナビゲーションが特に中心となります。「AGVの車両ナビゲーションに関して、IDSカメラの使用には高い関心を寄せています。現在、新しい Ensenso Sシリーズの使用を評価しており、障害物に対する車両の反応の柔軟性を高めようとしています。たとえば、障害物を分類して、それを回避して走行させるなどです」と、ONTECのソフトウエア開発者 Tim Böckel氏は次の開発ステップの概略を語ります。
ONTEC固有のインターフェース構成では、システムを多様なインダストリー 4.0 アプリケーションに統合することがすでに可能で、自律走行ロボットソリューションのモジュール構造により、さまざまなタスクに対して適応させる余地を持たせています。このようにして、生産および物流において効率と柔軟性を向上できるほか、多くの場面で、従業員の作業負荷の軽減に文字通り貢献しています。
■クライアント
ONTEC Automation GmbHは、革新的な統合オートメーションシステム、プラント、産業生産向け特殊マシンのシステムプロバイダーです。テクニカルテキスタイルソリューション、オートメーションソリューション、スマートロボットソリューション、配電盤ソリューションの事業部門があります。同社は25 年の経験から得た知識を、革新的な顧客中心のソリューションとバリューチェーン全体に適用し、ロボット工学、産業用画像処理、ソフトウェア開発、電気工学、機械工学を対象としています。