本文とサイドメニューへジャンプするためのナビゲーションスキップです。

スタートアップガイド

J-Net21 中小企業ビジネス支援サイト

  • J-Net21とは
  • スタートアップガイド
中小機構
  • メルマガ登録
  • RSS一覧
  • お問い合わせ

HOME > 製品・技術を開発する > ロボ・ステーション

ロボ・ステーション


ロボットが拓く!あしたの農業
3次元視覚センサで位置認識や熟度判定ができるトマト収穫ロボット【大阪府立大学】

画像をクリックすると拡大表示します

大阪府立大学 生命環境科学研究科 藤浦建史 教授

大阪府立大学 生命環境科学研究科
藤浦建史 教授

稲作などと比較して、果菜類の生産作業の機械化はあまり進展していない。その理由は、農作業者が目で見て判断しながら人手で行う作業が多いからで、高度な判断や作業が行える収穫ロボットの実用化が期待される背景になっている。しかし、岡山大学の「トマト収穫ロボット」の回で触れたように、稼働する時間帯や地面の状況、品種や栽培様式など想定される作業環境や収穫対象はさまざまで、開発するロボットシステムの仕様や機能の定義を難しくしている。結果、その実用化を困難にしている。

それでも、これらの現場に目を向けると、収穫ロボットのニーズの高さが伺い知れる。
 農林水産省が公表した「平成18年産品目別経営統計」によると、例えば施設栽培大玉トマトの生産では、10a(アール)当たりの労働時間は933時間になり、うち収穫作業は全労働時間の32%を占める。ミニトマトの生産に至っては、27.5aの作付面積で労働時間は3,992時間にもなり、うち収穫作業は同37.7%を占めている。ミニトマトは果房の上部から順に熟し、下部まで熟す頃には上部が裂果することが多い。1個ずつこまめに収穫することになるため、収穫作業にかかる負担は極めて大きくなる。

大阪府立大学の藤浦建史教授は、おもにこのような作業に向けてトマト収穫ロボットを提案している。3次元視覚センサの利用により、光条件が変化する昼間でも、安定した果実の認識および熟度の判定を可能にしている。夜間での運用を前提に開発されている類似の収穫ロボットにはない特徴を有しており、早期の実用化が望まれている。

3次元視覚センサを持つトマト収穫ロボット。2009年2月に大阪堺市の農家にて実証実験を行った様子

3次元視覚センサを持つトマト収穫ロボット。2009年2月に大阪堺市の農家にて実証実験を行った様子


3次元視覚センサにより高い認識率を示す

藤浦教授が開発するトマト収穫ロボットは、3次元視覚センサにより収穫する果実の位置認識および熟度判定を行う。と同時に、ハンドやアームが通過できる空間を認識して経路を決定し、収穫を行うというものである。収穫を行うハンドは、おもにU字型金具と小果梗(かこう)(*1)押え、果実収納容器にガイドする布製シュートから構成され、小果梗押さえを閉じることで小果梗を挟み込み、引っ張って離層(りそう)(*2)からもぎ取る。トマト列間に敷設したレール上を移動することで連続的に収穫作業を行う。

*1:トマトの果実を支える軸。
*2:葉や花、果実が茎から脱離するとき、それらの基部に形成される細胞層のこと。

開発したハンド(エンドエフェクタ)。小果梗押さえを閉じることで小果梗を挟む込み、引っ張ることで離層からもぎ取る。

開発したハンド(エンドエフェクタ)。小果梗押さえを閉じることで小果梗を挟む込み、引っ張ることで離層からもぎ取る。


このロボットの要となるのは、認識および判定にかかる情報を提供する3次元視覚センサである。近赤外と赤色レーザ光を重ね合わせて1本のレーザ光とし、垂直および水平方向に走査して3次元情報を得る2波長式(*3)のものを利用している。
 収穫対象となる果実からの反射光を、レンズによりPSD(Position Sensitive Device)受光面で結像させ、三角測量により距離計測を行う(*4)と同時に、近赤外と赤色レーザ光の波長に対する分光反射率の違いから熟度判定を行う。また、茎葉や果梗、小果梗、未熟果実などの障害物を認識することができ、下の図5で示すように、最も障害物が少ない経路を選択して収穫が行える。さらに、レーザ光を点滅させることにより太陽光や蛍光灯下での認識も可能にしている。

*3:赤色レーザ光には波長685nmを、近赤外光レーザには830nmのものを利用している。また、赤色レーザ光の点滅周波数は24kHz、近赤外レーザ光の点滅周波数は48kHzとしている。
*4:PSDは受光位置により2つの電極(アノード1とアノード2)から出力する電流比が異なる。その性質を利用して、近赤外受光電圧の比から三角測量方式で距離計算を行っている。

2波長式3次元視覚センサの構成。ガルバノメータは垂直走査に、ステッピングモータは水平走査に用いている。果実からの反射光は、レンズを介してPSDで結像される。

2波長式3次元視覚センサの構成。ガルバノメータは垂直走査に、ステッピングモータは水平走査に用いている。果実からの反射光は、レンズを介してPSDで結像される。


ここまでの画像処理から経路計画までの流れを、より詳細に説明すると次のようになる。
 まず、果実を走査することで近赤外受光電圧(アノード1と2)と赤色受光電圧を入力し、アノード1と2との電圧比から三角測量により各画素までの距離を算出する。次に、得られた画像の各画素を「赤熟果実」「茎葉・未熟果実・果梗など」「近赤外受光電圧が小さい」の3つに分ける。近赤外光電圧に対する赤受光電圧の比が一定以上の場合は「赤熟果実」と判定し、逆に、一定以下の場合は「茎葉・未熟果実・果梗など」と判定する。近赤外受光電圧が小さい画素は、レーザ光の方向に対象物がない、もしくは距離が遠いと判定する。これにより収穫すべき赤熟果実が抽出される。

画像処理から経路計画までの流れと、各画素における赤色・近赤外レーザ反射光の受光電子の強さから作成した近赤外受光電圧、赤受光電圧、距離画像。 設定した4つの収穫経路。左傾斜収穫は、ハンドを右に30度振り、45度傾斜させて収穫。正面収穫は、ハンドをまっすぐにして収穫。右収穫は、ハンドを90度左に振ってから右から収穫。右傾斜収穫は、ハンドを左に110度振り45度回転させて収穫するもので、おもに果房の向こう側の果実を採る。

(左)画像処理から経路計画までの流れと、各画素における赤色・近赤外レーザ反射光の受光電子の強さから作成した近赤外受光電圧、赤受光電圧、距離画像。 (右)設定した4つの収穫経路。左傾斜収穫は、ハンドを右に30度振り、45度傾斜させて収穫。正面収穫は、ハンドをまっすぐにして収穫。右収穫は、ハンドを90度左に振ってから右から収穫。右傾斜収穫は、ハンドを左に110度振り45度回転させて収穫するもので、おもに果房の向こう側の果実を採る。

その後、赤色受光電圧がピークとなる画素を探すことで、収穫する果実の中心位置を算出する。果実の中心にレーザ光を照射したとき、その光沢により表面からの直接反射成分が強くなる性質を利用した判定方法で、果実半径を15mmと近似し、果実中心の3次元位置は表面の15mm奥にあるとして算出している。
 そして、算出した果実の位置情報をもとに「左傾斜収穫」「正面収穫」「右収穫」「右傾斜収穫」の4つの経路のうち、ほかの赤熟果実に衝突しない経路で、かつ障害となる画素数が少ないものを選択して収穫を行う。障害となる画素とは、主茎や葉、未熟果実、果梗などハンド経路上にある画素や、U字金具の進入経路にある果梗の画素などで、これらをカウントすることにより収穫経路を決定する。障害となる画素として赤熟果実の画素をカウントしておらず、目標となる赤熟果実自身の画素を障害物としてカウントしないよう、このような決定を行っている。
 以上のような処理により、3次元視覚センサの情報をもとに果実の位置認識や熟度判定、ハンドの経路計画を可能にしている。

今年2月に温室で実証実験を行ったところ、3次元視覚センサの視野内にある赤熟果実95個に対し、「赤熟果実」と認識できた数は80個だった。84%の認識率を示した。上述のように、赤色受光電圧のピークを頼りに果実の中心を認識するため、果実の背面に隠れているものは認識できないものの、団子状になった果実でも認識することができた。また、「温室の光環境の影響を受けずに未熟果実や障害物を認識できることも確認できた」(藤浦教授)という。

実用化にはさらなる安定した作業や収穫作業の効率化を

2月の実証実験では画像認識に加え、収穫実験にも取り組んでいる。
 実験では収穫対象果実159個に対し、収穫できたのは135個になり、85%の収穫率(*5)を示した。収穫した135個のうちヘタ付きで収穫できたのは92%に当たる124個だった。一見すると好成績に思われるが、ヘタが外れたミニトマトは商品価値がなく、このままでは実用化の妨げになることが懸念される(*6)。

*5:収穫実験では走査するごとに収穫を行ったので、手前の果実に隠れた奥の果実も手前の果実を収穫した後に走査すると見えることがある。また、走査位置を変えて走査したので、1カ所から見えなかった果実も見えることがある。このため、前節で紹介した認識率より収穫実験の収穫率が高くなっている。
*6:なお、ヘタ付き収穫に関しては、別のハンド(エンドエフェクタ)で98%がヘタ付きで収穫された結果も得ている。

藤浦教授によると、その原因の大半は「2個同時に収穫する際に小果梗を押さえないまま、もぎ取ってしまうことによる」とのことで、「収穫時に果梗の根本を損傷してしまうこともあるので、これを含めた収穫方法の改善が必須」と話す。根本の損傷という課題については、小果梗を把持して離層から引き離す方式から、把持した小果梗を折って離層からもぎ取る方式に改めることで対応している。

また、収穫能率の検証も行っており、22個の果実の収穫に252秒、1個当たりに換算すると11.5秒を要した。これには果実の収穫時間のほか、ロボットの走行時間や3次元視覚センサの走査位置までの移動および画像処理の時間などが含まれており、アームを伸ばしてから縮めるまでの収穫動作に要する時間は4.5〜5.7秒に過ぎない。
 収穫時は、3次元視覚センサによる走査を左右から2度ずつ行っており、取得した画像に重なりが生じている。1度の走査で十分認識できていることが想定され、「走査方法の改善により収穫の効率化を目指すことも必要だろう」と、藤浦教授は話す。

収穫能率の結果。45cm走行して、左右から2回ずつ走査して認識した果実を収穫する作業を4回繰り返したもの。1個当たりの収穫に11.5秒、1平方メートル当たり133秒、10a当たり37時間を要することになる。実用化には収穫効率の向上が必要となる。

収穫能率の結果。45cm走行して、左右から2回ずつ走査して認識した果実を収穫する作業を4回繰り返したもの。1個当たりの収穫に11.5秒、1平方メートル当たり133秒、10a当たり37時間を要することになる。実用化には収穫効率の向上が必要となる。


開発しているトマト収穫ロボットは、30a(アール)〜40a程度の規模の家族経営に向けた施設への導入を狙っている。経営の考え方にもよるが、この程度の経営面積では収穫量の向上が求められており、安定した認識力を生かしつつ収穫能率の向上を図ることが実用化への一歩になると言える。もちろん故障なく、より安定した動作が行えることも必要である。
 実用化前段階の園芸用ロボットを対象に実用化を支援する「次世代園芸ロボット技術導入検証事業」(日本ロボット工業会)の採択を受けていることを踏まえると、早期の実用化が求められている収穫ロボットの1つであり、果菜類の生産性向上に寄与するためにも、これらの課題をクリアしてくれることを期待したい。


掲載日:2009年8月 6日

前の記事次の記事


このページの先頭へ