コベルコ建設機械ニュース

今回開発されたミニショベル向け衝突軽減装置OmniEye誕生の背景について教えてください。

平山：

コベルコ建機は、2017年9月発売のSKシリーズ・20tクラス油圧ショベルに衝突軽減システム「K-EYE PRO」を搭載しました。これは他社に先駆けて、死角エリアの人や障害物を検知し、自動で機械の旋回や走行を減速・停止するというものです。

酒井(満)：

従来、ショベル周辺の人やモノを検知してアラートを発するシステムはありましたが、大事に至る前に安全かつスムーズに機械を停止させるというK-EYE PROの革新的な取り組みが、業界を驚かせたと思います

平山：

私たちは、さらにその安全思想を進化させたいと開発を進めてきました。ご存じのように、クルマの自動運転などにおける障害物検知の多くは、赤外線や超音波、ミリ波レーダーなど、照射波の反射から対象物を検知するセンシングシステムが活用されています。しかし、ショベルは平坦な道路とは異なり、人とモノが混在している環境で使用されます。例えば、建設資材やダンプトラックといったモノでも検知してしまいます。そのため、「人のみ」を検知できるシステムの検討・調査を進め、その中でもカメラによる検知システムに強い可能性を感じていました。

酒井(満)：

カメラ画像を基盤とした認識システムを探していたところ、物流関係の展示会で、カメラ画像をAIのディープラーニングで処理するレグラス様のシステムに出合いました。

カメラとAIのシステムにこだわった理由は何ですか？

平山：

照射波の反射を利用するシステムは、人とモノの識別が難しく、RFID（Radio Frequency Identification）システムの場合はタグの装着が必要となります。ただ、17年頃からステレオカメラ＋AIで人のみを検知するシステムが出始め、自動車業界でもカメラの活用が活発化するなど、“カメラ画像”を使った「人」のみを確実に区別するシステムが次の手段になると判断しました。

酒井(満)：

実際に現場で働く人や通行人は必ずしも直立しているわけではありません。大きな資材を持っていたり、中腰になったり、しゃがんだり、さらに熱中症など何らかの理由で倒れている場合もあり得ます。実際の現場を想定すれば、どんな姿勢をとっていても、即座に人を人として認識しなければ意味がありません。ですから、どうしても実際のカメラ画像と、それを判断するAI認識の組み合わせが不可欠だったのです。

小川：

今回、コベルコ建機様とのアライアンスを追求したOmniEyeは、すでに私たちが重機、フォークリフトなどに搭載していたEagleEyeIIのシステムをさらにブラッシュアップし、小型ショベルに求められる要件を満たすために築き上げたものです。開発過程でコベルコ建機様から求められたベンチマーク要件では、マシン周囲の検知範囲である半径5m・360度内のさまざまな位置に人を配し、立ったり、座ったり、伏せたり、逆立ちまでしてみたり……（笑）、それこそ考え得るあらゆる姿勢での識別が厳しく要求されました。

酒井(将)：

レグラスは、カメラやコントロールボックスなどのハードウエアから、AI（ディープラーニング）による検知、機械制御までを一貫して自社開発しています。また、本システムではディープラーニングの演算によく使用される多数のプロセッサコアを持つGPU（Graphics Processing Unit）ではなく、演算処理そのものをデジタル回路としてプログラミングできるFPGA（Field Programmable Gate Array）を採用しました。FPGAはGPUと比較し、低消費電力でありながら並列演算に優れ、カメラ画像処理とAIによる人物検知をシームレスに行い、高い検知性能、リアルタイム性、高信頼性を同時に実現しています。

小川：

私たちは、1999年の設立時からカメラと画像処理システム、センシング技術を追求し、2012年からは自社製品の開発に注力。さらに14年には本格的なAI研究を進め、17年にディープラーニングにもとづく高度なAI検知を実現するプロトタイプを構築しました。

酒井(将)：

先ほどもお話があったように、作業現場での人の姿勢はさまざまで、正確な検知は非常に難しいものです。ハードウエアとしてのシステムの最適化だけではなく、大量の作業現場画像を学習することでAI性能を高めてきました。

平山：

コベルコ建機としても、世界に例がない先進的なレグラス様のシステムこそ、即応性が求められる解体や建設現場にピッタリのソリューションだと確信したのです。

酒井(将)：

OmniEyeの基本構成は、魚眼レンズを用いた半天球全方位カメラと画像処理を行うコントロールボックス、HDモニタ、アラートを発するLED積層回転表示灯というシンプルなスタイルになっています。コントロールボックスは、非常にコンパクトな設計で、キャブの右パネル面にマグネットで簡単に取り付けられます。

小川：

カメラは小型で軽量。本体、カメラとも防塵・防水性、耐振性も万全で使用温度も幅広く対応し、過酷な現場環境でも活躍します。

酒井(満)：

検知範囲もカメラから半径0.5ｍ～5mの範囲内で1～5mまで、10cm刻みで自由に設定できます。

平山：

通常は認識しにくい日陰や、低照度の環境下でもしっかり人を検知し、モニタ内では四角い枠で囲って表示。その枠が、人の動きにシンクロしてリアルタイムで追尾するのも頼もしい機能です。

酒井(将)：

人物検知以外の特長として、USBメモリにカメラ映像を記録するドライブレコーダー機能が搭載されています。360度の全方位画像をそのまま記録することができます。

平山：

映像記録媒体は汎用性が高いUSBメモリを使用しています。現場での使用を想定した防塵・防水対策も施しており、データ盗難防止のためのロック機能も付いていますので、管理する面でも安心です。

小川：

本システムで画像を認知・判断するのはAIですので、あえて平面パノラマ画像などに変換せず、360度の魚眼画像のままで表示します。これは、画像変換に伴う演算負荷を排除し、高速リアルタイム処理を追求したかったからです。

酒井(将)：

さらに、停止後の作業再開についてもリクエストをいただきました。

平山：

実は従来の衝突軽減装置では、センサなどが人を検知して機械を停止後、その人を検知しなくなるとすぐさまマシンが作動。その際にレバーが「走行」や「旋回」のモードになったままだと急に動き出してしまいます。例えば検知した人がその場で転倒したり、しゃがんだりしてセンサが検知しなくなっているだけだとしたら、非常に危険な状況になるのです。

酒井(満)：

そこで今回のシステムでは、オペレータが一旦レバーロックを上げ、確認後に再度下ろした時点で初めて作業が再開されるようにしました。つまり、オペレータの「これから作業を再開するぞ！」という意思プロセスを通過しないと再始動しない仕組みになっているのです。幸い、試作や実証実験に伴うモニタをお願いしたオペレータの方々からも、「さらに安心感が高まる」「より作業に専念できる」との評価をいただき、皆様の現場でお役に立てるという確信を深めることができました。

小川：

協働して開発を進めてきた私たちとしても、それは何よりも励みになるお言葉です。

平山：

私たちは、さらにレグラス様とのスクラムを強化し、リアルな現場の声を取り入れたバージョンアップとともに、このソリューションをより大型のショベルにも適用し、安心・安全な現場環境づくりに貢献していきたいと考えています。

酒井(将)：

今後とも、最良の価値提供を目指していきますので、ご協力をお願いします。