Title ソフトウェアプラットフォームを用いたコンバ...

Title ソフトウェアプラットフォームを用いたコンバインロボットの制御( Dissertation_全文 )

Author(s) 趙, 元在

Citation Kyoto University (京都大学)

Issue Date 2015-03-23

URL https://doi.org/10.14989/doctor.k19023

Right 許諾条件により本文は2016/03/01に公開

Type Thesis or Dissertation

Textversion ETD

Kyoto University

学位論文

ソフトウェアプラットフォームを用いた

コンバインロボットの制御

2015

趙元在(Cho, Wonjae)

i

目次

第 1章緒言 ................................................................................................................ 1

1.1 日本の農業の現状 ............................................................................................. 1

1.2 日本の農作業ロボットの研究動向..................................................................... 2

1.3 自脱コンバインロボット ................................................................................... 4

1.4 ソフトウェアプラットフォーム ........................................................................ 7

1.5 研究目的および，論文の構成 ............................................................................ 8

参考文献 .................................................................................................................. 10

第 2章統合センサ制御ソフトプラットフォームの開発 ........................................... 12

2.1 はじめに ......................................................................................................... 12

2.2 ISCSPの構成 ................................................................................................. 13

2.2.1 開発環境 ................................................................................................... 13

2.2.2 プラットホームアーキテクチャ ................................................................ 13

2.3 ISCSPの機能および特徴 ................................................................................ 15

2.3.1 クライアント-サーバ通信モデル ............................................................... 15

2.3.2 圃場の気象情報の取得 .............................................................................. 17

2.3.3 GUIベースのセンサとコンポーネントのデータ表示 ............................... 18

2.3.4 API形式で提供する様々なアルゴリズム.................................................. 21

2.3.5 オープンソースで公開 .............................................................................. 24

2.4 摘要 ................................................................................................................ 25

参考文献 .................................................................................................................. 26

第 3章マシンビジョンによる未収穫作物のエッジ検出 ........................................... 27

3.1 はじめに ......................................................................................................... 27

3.2 材料および方法 ............................................................................................... 28

3.2.1 実験装置および構成 ................................................................................. 28

3.2.2 逆遠近法マッピング ................................................................................. 30

3.2.3 色空間変換................................................................................................ 35

3.2.4 未収穫作物のエッジ検出 .......................................................................... 37

3.2.5 実験方法 ................................................................................................... 40

3.3 実験結果および考察 ........................................................................................ 41

3.4 摘要 ................................................................................................................ 43

参考文献 .................................................................................................................. 44

第 4章 LRFと GNSSによる未収穫作物のエッジ検出 ............................................ 46

4.1 はじめに ......................................................................................................... 46

ii

4.2 材料および方法 ............................................................................................... 46

4.2.1 実験装置および構成 ................................................................................. 46

4.2.2 3次元マッピング ...................................................................................... 49

4.2.3 未収穫作物のエッジ検出 .......................................................................... 55

4.2.4 実験方法 ................................................................................................... 58

4.3 実験結果および考察 ........................................................................................ 59

4.4 摘要 ................................................................................................................ 63

参考文献 .................................................................................................................. 65

第 5章 LRFと GNSSによる排出オーガの自動位置決め方法 .................................. 66

5.1 はじめに ......................................................................................................... 66

5.2 材料および方法 ............................................................................................... 67

5.2.1 実験装置および構成 ................................................................................. 67

5.2.2 3次元マッピング ...................................................................................... 70

5.2.3 グレーンコンテナの検出 .......................................................................... 74

5.2.4 オーガ排出口の位置決め .......................................................................... 78

5.2.5 実験方法 ................................................................................................... 81

5.3 実験結果および考察 ........................................................................................ 82

5.4 摘要 ................................................................................................................ 85

参考文献 .................................................................................................................. 86

第 6章総括 .............................................................................................................. 88

謝辞 ............................................................................................................................ 90

iii

用語・略語

用語・略語英語日本語(訳)

AMeDAS Automated Meteorological

Data Acquisition System

地域気象観測システム

API Application Programming

Interface

アプリケーションプログラミングイ

ンタフェース

BSD Berkeley Software

Distribution

フリーソフトウェアで使われている

ライセンス体系のひとつ

CAN Control Area Network コントローラエリアネットワーク

2-DoF Two Degree of Freedom 2自由度

ECU Electronic Control Unit エレクトロニックコントロールユニ

ット

EPA Economic Partnership

Agreement

経済連携協定

FOV Field of View カメラの視野

GNSS Global Navigation

Satellite System

汎地球測位航法衛星システム

GPS Global Positioning System 全地球測位システム

GPSコンパス GPS compass 電子コンパス

GUI Graphical User Interface グラフィカルユーザインタフェース

HTML HyperText Markup

Language

ハイパーテキストマークアップラン

ゲージ

IDE Integrated Development

Environment

統合開発環境

IMU Inertial Measurement

Unit

慣性計測装置

IPM Inverse Perspective

Mapping

逆遠近法マッピング

ISCSP Integrated Sensor Control

Software Platform

統合センサ制御ソフトウェアプラッ

トフォーム

LRF Laser Range Finder レーザーレンジファインダ

LSM Least Square Method 最小二乗法

OpenCV Open Source Computer

Vision Library

オープンソースのコンピュータビジ

ョン向けライブラリ

iv

用語・略語英語日本語(訳)

OpenGL Open Graphics Library オープンジーエル

OS Operating System オペレーティングシステム

RANSAC RANdom Sample

Consensus

ランダムサンプルコンセンサス

RMSE Root Mean Square Error 平均二乗誤差

ROI Region of Interest 関心領域

RTK-GPS Real-Time Kinematic GPS リアルタイムキネマティック GPS

TCP/IP Transmission Control

Protocol/ Internet Protocol

インターネットなどで標準的に用い

られる通信プロトコル

TPP Trans-Pacific Strategic

Economic Partnership

環太平洋連携協定

UCED Uncut Crop Edge

Detection

未収穫作物のエッジ検出

UQD Upper Quadrangle

Detection

上部四角形検出

UTM Universal Transverse

Mercator

ユニバーサル横メルカトル

VRS Virtual Reference

Station

仮想基準点

WDS Wireless Distribution

System

無線 LAN ルータやアクセスポイン

ト同士が無線で通信する機能

XML Extensible Markup

Language

エクステンシブルマークアップラン

ゲージ

1

第 1章緒言

1.1 日本の農業の現状

最近，日本の農業は，国内外で大きな危機に直面している．国内では，農業就労人口

の減少や高齢化，耕作放棄地面積の増加、および食料自給率の低下等の問題に直面して

いる．対外国では，日本政府が推進している農業の先進国との経済連携協定(Economic

Partnership Agreement, EPA)1)-2)，および環太平洋連携協定(Trans-Pacific Strategic

Economic Partnership, TPP)3)-4)のような連携協定により，徐々に輸入農産物の関税が

撤廃され，日本国内で生産される農産物に比べて，高い価格競争力を持つことが予想さ

れる．

図 1-1 日本の農業就労人口，および65歳以上の基幹的農業従事者の割合 5)-7)

2013年の農林業センサスの統計によると，日本の農業就労人口は30年前に比べて，

約56 %減少した約239万人で，急激に減少しており，65歳以上の基幹的農業従事者の割

2

合は，約61.2 %と急速に高齢化が進行しており，平均年齢が約66.5歳に達している(図

1-1)．

さらに，新規就農者数は，持続的に減少する傾向であり，日本農業の労働力問題は，

今後さらに深刻化すると見込まれている．このような農業就業人口の高齢化や労働力不

足は，耕作放棄地面積の増加の主な原因の一つであり，1985年には約13万ℎ𝑎であった

耕作放棄地面積は，2005年埼玉県の面積に相当する38.6万ℎ𝑎に達している 8)．また，2010

年の農林業センサスの統計では，日本の農家1戸当たりの農地面積は約2.27 ℎ𝑎でオース

トラリア(2970.4 ℎ𝑎)の約1/1300，アメリカ(169.6 ℎ𝑎)の約1/75，EU(14.4 ℎ𝑎)の約1/6で

ある 9)．また，図 1-2 のように，1961年に78 %であった食料自給率(カロリーベース)

は，2011年度に39 %まで減少した 10)．このような労働力不足を克服し，食料自給率の

向上あるいは維持を図るため，革新的な農作業ロボットの開発，および導入が重要であ

る．

図 1-2 世界の食料自給率(カロリーベース)10)

1.2 日本の農作業ロボットの研究動向

近年，日本では，播種，移植，施肥，防除，および収穫などを無人で遂行する，農作

業ロボットが研究・開発されている 11)．農研機構中央農業総合研究センターでは，田植

3

えロボット，大豆コンバインロボット，および自脱コンバインロボットを開発している．

田植えロボットは RTK-GPS(Real-Time Kinematic Global Positioning System)と

IMU(Inertial Measurement Unit)から取得したロボットの現在位置と進行方向を用い

て，計画した目標経路に基づいて田植えを遂行する 12)．このロボットは，目標経路に

対して苗を植える際の横方向偏差は± 0.1 mであり，約20分で1000 𝑚2の圃場の田植え

が可能である．大豆コンバインロボットは，RTK-GPS と GPS コンパスから取得した

ロボットの現在位置と進行方向を用いて，計画した目標経路に基づいて大豆を収穫する

13)．大豆圃場(100 m × 30 m)における自動収穫時の走行精度(目標経路と走行軌跡との偏

差)は長辺方向(±0.07 m)，短辺方向(±0.09 m)である．また，スマートフォンを使用して

コンバインの排出オーガの無線操作が可能である．同様に自脱コンバインロボットでも

RTK-GPS と GPS コンパスから取得したロボットの現在位置と進行方向を用いて，計

画した目標経路に基づいて稲を収穫する 14)．水田圃場(100 m × 30 m)での自律走行の精

度(目標経路と走行軌跡との偏差)は長辺方向(±0.05 m)，短辺方向で(±0.09 m)である．

北海道大学では，トラクタロボットと汎用コンバインロボットを開発している．トラ

クタロボットは RTK-GPSと IMUから取得したロボットの現在位置と進行方向を用い

て，計画した目標経路に基づいて耕うん，および播種などの作業を遂行する 15)．平均

速度1.0 m/sの作業時の横方向偏差は± 0.05 mである．また，ロボットの前後に取り付

けたレーザーレンジファインダ(Laser Range Finder, LRF)から取得した2次元プロフ

ァイルを用いて，障害物の検出が可能である 16)．汎用コンバインロボットは RTK-GPS，

IMU，および LRF から取得したロボットの現在位置と進行方向，および作物の2次元

プロファイルを用いて大豆を収穫する 17)．平均速度0.97 m/sの作業時の横方向偏差は

± 0.07 mである．

京都大学では自脱コンバインロボットを開発している．この自脱コンバインロボット

はマルチ GNSS(Global Navigation Satellite System)と GPSコンパスから取得したロ

ボットの現在位置と進行方向を用いて，計画した目標経路に基づいて稲を収穫する 18)．

平均速度0.6 m/sの作業時の横方向偏差は約± 0.05 mである．また，コンバインのグレ

ーンタンクが満量となった場合，取り付けたマシンビジョンを用いて，グレーンコンテ

ナを搭載している運搬車上に設置した板状のマーカを認識し，排出オーガをグレーンコ

ンテナの真ん中に位置して排出することが可能である 19)-20)．

4

1.3 自脱コンバインロボット

現在，京都大学フィールドロボティクス研究室では，無人走行しながら稲を収穫する，

自脱コンバインロボットを研究・開発している．図 1-3は，本研究で利用した自脱コン

バインロボット(1号機，2号機)を示す．

(a) 1号機

(b) 2号機

図 1-3 自脱コンバインロボット

5

自脱コンバインロボット 1 号機と 2 号機は，それぞれ三菱農機株式会社の

VY50CLAM と VY446LM モデルをベースに，GNSS，GPS コンパス，LRF，および

マシンビジョン等のセンサが取り付けられている 21)．これらのコンバインロボットは，

4条刈，自脱型，グレーンタンク方式であり，表 1-1に，取り付けたセンサの詳細を示

す．

表 1-1 自脱コンバインロボットに取り付けたセンサ仕様

Combine Robot Sensor Model

Robot1

(VY50CLAM)

GNSS Legacy-E+ (Topcon Co., Ltd.)

GPS compass V110 (Hemisphere Co., Ltd.)

LRF LMS111 (SICK AG.)

Camera for

Machine vision

CS3450 (Tokyo electron Co., Ltd.)

Robot2

(VY446LM)

GNSS AGI-3 (Topcon Co., Ltd.)

GPS compass ssV-102 (Hemisphere Co., Ltd.)

LRF LMS511 (SICK AG.),

UTM-30LX (Hokuyo Automatic Co., Ltd.)

Camera for

Machine vision

LifeCam Studio (Microsoft Co., Ltd.)

自脱コンバインロボットのコンポーネントと取り付けたセンサのデータ入出力のた

めに，2つの ECU(Electronic control units)を開発(ECU-KU1, ECU-KU2)し，既存の

自脱コンバインのコントローラと統合して制御システムを再構成した．

図 1-4 は，自脱コンバインロボット(1 号機，2 号機)の制御システムのアーキテクチ

ャを示す．自脱コンバインロボットは図 1-4に示されるように，開発された ECU間は

CAN-bus (Control Area Network) によって通信する．図 1-4(a)の 1 号機の場合，

ECU-KU1 は RS-232C ポートを通じてパーソナルコンピュータ (PC) と通信し，コン

バインの各デバイス，および GNSS，GPSコンパスのデータを PCに送信する．また，

PCから受信した制御コマンドを各 ECUに送信する．ECU-KU2は GNSS，GPSコン

パスと RS-232Cポートを通じて通信し，LRFはデータをイーサネット経由で PCに送

信する．図 1-4(b)の 2号機の場合，ECU-KU1 は RS-232C ポートを通じて PCと通信

し，コンバインの各デバイス，および GNSS，GPS コンパスのデータを PC に送信す

6

る．また，PCから受信した制御コマンドを各 ECUに送信する．ECU-KU2は GPSコ

ンパスと RS-232Cポートを通じて通信し，LRFはイーサネット経由でデータを PCに

送信する．

(a) 1号機

(b) 2号機

図 1-4 自脱コンバインロボットの制御システムのアーキテクチャ

7

図 1-5は，京都大学の自脱コンバインロボットによる，無人収穫のフローチャートを

示す．無人収穫のプロセスは，次の通りである．まず，収穫する圃場の位置情報を用い

て，目標経路を生成する．目標経路(𝑁)は，直線と90°旋回を組み合わせた左回りらせん

状経路である．この生成した目標経路に基づいて収穫作業を行い，目標の直線経路の終

端に到着すると，旋回して次の目標直線経路に移動する(自動刈取)．このとき，ロボッ

トのグレーンタンクが満量ならば，ロボットは収穫を停止して，指定した場所まで自動

で戻ってきてグレーンコンテナに収穫した穀物を排出する(自動排出)．穀物の排出が終

わると再び残った作物の収穫を開始する(刈取再開)．このような一連の動作を，圃場の

収穫が終了するまで繰り返し行う．

図 1-5 自脱コンバインロボットによる無人収穫のフローチャート

1.4 ソフトウェアプラットフォーム

前節で述べたようにロボットのベース機と取り付けたセンサに依存して，制御システ

ムの構成とインタフェースは大きく異なる．しかし，コンバインロボットとしての制御

アルゴリズムやその操作方法は同じ，あるいは統一されていることが望ましい．したが

8

って，異なるロボットでも共通して使えるソフトウェアプラットフォームが必要となる．

自脱コンバインロボットには，次のような機能が必要である．まず，このソフトウェ

アプラットフォームには自脱コンバインロボットのECUから作業機のセンサのデータ

を受信し，コンポーネントの制御コマンドをロボットに送信する通信プロトコルが必要

である．また，目標経路を生成するアルゴリズム，生成した目標経路に基づいてロボッ

トを制御するアルゴリズム，およびロボットのグレーンタンクが満量となった場合，グ

レーンコンテナに穀物を排出するアルゴリズム等が必要である．最後に，ロボットのコ

ンポーネントとセンサのデータと，ロボットの動作状態をリアルタイムで表示する

GUI(Graphical User Interface)が必要である．

このように，自脱コンバインロボットに必要な機能を API(Application

Programming Interface)形式でモジュール化して開発を行えば，各々の機能は独立し

て動作が可能なため，開発の複雑度が減少し，開発時間の短縮が可能である．従って，

本研究においてソフトウェアプラットフォームは，アプリケーションの開発に必要な機

能を API 形式で提供する 22)．ソフトウェアプラットフォームは，次のような特徴を有

する．まず，抽象化されたアーキテクチャを持ち，開発者がアプリケーションを開発す

る際に，特定機能に限定されず様々な機能を組み合わせて開発が可能である．また，ソ

フトウェアプラットフォームでアプリケーションの統合的な制御を実行するので，特定

機能の障害がシステム全体に影響を及ぼさない．さらに，ソフトウェアプラットフォー

ムで提供する機能は，標準化した API形式で提供するので再利用が可能である．

1.5 研究目的および，論文の構成

本研究では，自脱コンバインロボットの開発に必要な機能を API 形式で提供する統

合センサ制御ソフトウェアプラットフォーム(Integrated Sensor Control Software

Platform, ISCSP)を開発するものである．特に，ISCSP を用いて自脱コンバインロボ

ットの自動誘導に要求される未収穫作物のエッジ検出方法(uncut crop edge detection

method)，排出オーガの自動位置決め方法(autonomous positioning method)を開発す

ることを目的とする．具体的な研究内容を要約すると次の通りである．

(1) 自動収穫システムのためにロボットに取り付けているマシンビジョン，LRF，GNSS，

GPS コンパスとロボットのコンポーネントを統合的に制御することができる統合

センサ制御ソフトウェアプラットフォームを開発する．

9

(2) 圃場の作物列に沿って自脱コンバインロボットを自動誘導する際に，未収穫領域と

収穫領域の間に存在する未収穫作物のエッジを検出することは非常に重要である．

よって，マシンビジョンを用いてリアルタイムで未収穫作物のエッジを検出する方

法を開発する．

(3) 自脱コンバインロボットのキャビンに取り付けられた LRF で検出した作物と地面

に関するプロファイルを GNSS と GPS コンパスで測定した位置と方向の情報を融

合して 3次元マップを構築し，リアルタイムで未収穫作物のエッジを検出する方法

を開発する．

(4) 自脱コンバインロボットに取り付けている LRF，GNSS，および GPS コンパスを

用いて農道に位置するグレーンコンテナを検出し，検出されたグレーンコンテナの

中心に排出オーガの穀粒排出口を位置決めする自動位置決め方法を開発する．

本論文の構成は次の通りである．第 2 章では，ISCSP の特徴および機能について説

明する．また，ISCSP を用いて開発された自脱コンバインロボットの自動収穫システ

ムのためのアプリケーションソフトウェアを示す．第 3章では，マシンビジョンを用い

てリアルタイムで未収穫作物のエッジを検出する方法を開発し，その性能を評価する．

第 4 章では，LRF，GNSS，および GPS コンパスを用いてリアルタイムで未収穫作物

のエッジを検出する方法を開発し，性能を評価する．第 5章では，LRF，GNSS，およ

び GPS コンパスを用いて農道に位置するグレーンコンテナを検出し，検出されたグレ

ーンコンテナの中心に排出オーガを位置決めする自動位置決め方法を開発し，性能を評

価する．最後に，第 6章では，本論文の総括，および今後の課題を示す．

10

参考文献

1) 内閣官房. (2010). EPA に関する各種試算. 2010 年, 10.

2) 戸堂康之, & 発行. (2011). 日本経済の底力. 中公新書.

3) 石川幸一. (2011). 新しい協定となる TPP. 「国際貿易と投資」夏, (84), 19-37.

4) 馬田啓一. (2011). 米国の TPP 戦略と日本の対応. 国際貿易投資研究所「季刊国際

貿易と投資」, (85).

5) Ministry of Agriculture, Forestry and Fisheries, Japan. (2012). FY2010 Report on

Results of 2010 World Census of Agriculture and Forestry in Japan. Retrieved

November 17, from http://www.e-stat.go.jp/SG1/estat/ListE.do?bid=000001037762&

cycode=0

6) Ministry of Agriculture, Forestry and Fisheries, Japan. (2013). FY2012 Annual

Report on Food, Agriculture and Rural Areas in Japan. Retrieved November 17,

2014, from http://www.maff.go.jp/j/wpaper/w_maff/h24/pdf/e_all.pdf

7) Ministry of Agriculture, Forestry and Fisheries, Japan. (2013). The 88th

Statistical Yearbook of Ministry of Agriculture, Forestry and Fisheries (2012-2013).

Retrieved November 17, 2014, from http://www.maff.go.jp/e/tokei/kikaku/nenji_e/

88nenji/index.html

8) Ministry of Agriculture, Forestry and Fisheries, Japan. (2015). 平成 24年の荒廃

農地の面積について．Retrieved November 17, 2014, from http://www.maff.go.jp/j/

press/nousin/hokiti/131225.html

9) Ministry of Agriculture, Forestry and Fisheries, Japan. (2010). 農地面積の各国の

比較．Retrieved November 17, 2014, from http://www.maff.go.jp/j/kokusai/kokusei/

kaigai_nogyo/pdf/area.pdf

10) Ministry of Agriculture, Forestry and Fisheries, Japan. (2013). 世界の食料自給

率．Retrieved November 17, 2014, from http://www.maff.go.jp/j/zyukyu/zikyu_ritu/

013.html

11) Torii, T. (2000). Research in autonomous agriculture vehicles in Japan.

Computers and electronics in agriculture, 25(1), 133-153.

12) Nagasaka, Y., Saito, H., Tamaki, K., Seki, M., Kobayashi, K., & Taniwaki, K.

(2009). An autonomous rice transplanter guided by global positioning system and

inertial measurement unit. Journal of Field Robotics, 26(6‐7), 537-548.

11

13) Saito, M., Tamaki, K., Nagasaka, Y., Nishiwaki, K., & Motobayashi, K. (2013,

August). Development of Robot Combine Harvester for Beans Using CAN Bus

Network. In Agricontrol, 4(1), 148-153.

14) Saito, M., Tamaki, K., Nishiwaki, K., & Nagasaka, Y. (2012). Development of an

autonomous rice combine harvester using CAN bus system. Journal of the Japanese

Society of Agricultural Machinery, 74(4), 312-317.

15) Yang, L., & Noguchi, N. (2014). Development of a Wheel-Type Robot Tractor and

its Utilization. Proceedings of the 19th IFAC World Congress, 2014, 19(1),

11571-11576.

16) Yang, L., & Noguchi, N. (2014). An Active Safety System Using Two Laser

Scanners for a Robot Tractor. Proceedings of the 19th IFAC World Congress, 2014,

19(1), 11577-11582.

17) Choi, J., Yin, X., Yang, L., & Noguchi, N. (2014). Development of a laser

scanner-based navigation system for a combine harvester. Engineering in

Agriculture, Environment and Food, 7(1), 7-13.

18) Iida, M., Uchida, R., Zhu, H., Suguri, M., Kurita, H., & Masuda, R. (2013).

Path-following control of a head-feeding combine robot. Engineering in Agriculture,

Environment and Food, 6(2), 61-67.

19) Kurita, H., Iida, M., Suguri, M., & Masuda, R. (2012). Application of Image

Processing Technology for Unloading Automation of Robotic Head-Feeding Combine

Harvester. Engineering in Agriculture, Environment and Food, 5(4), 146-151.

20) Kurita, H., Iida, M., Suguri, M., Masuda, R., & Cho, W. (2014). Efficient

searching for grain storage container by combine robot. Engineering in Agriculture,


21) Kurita, H. (2013). Autonomous unloading system for head-feeding combine

robot (Unpublished doctoral dissertation). Kyoto university, Japan.

22) Evans, D. S., Hagiu, A., & Schmalensee, R. (2005). A survey of the economic role

of software platforms in computer-based industries. CESifo Economic Studies,

51(2-3), 189-224.

12

第 2章統合センサ制御ソフトプラットフォームの開発

2.1 はじめに

近年，農業就労人口の減少，および高齢化に対応して無人で農作業が可能な農作業ロ

ボットの開発が急速に進められている 1)-5)．コンバインロボットは，ロボットに取り付

けた様々なセンサを用いて圃場の情報を取得し，それらの情報を用いて作業を計画・実

行するので作業効率が高く，作業コストの削減が可能である．しかし，これまでのロボ

ットの開発は，ハードウェアを中心に進められており，ロボットを制御するためのソフ

トウェア開発は，開発の過程の体系的な分析，および設計段階の準備が不足しがちであ

り，非構造化された形で開発されている．これにより，ロボットのソフトウェアの品質

の問題だけでなく，メンテナンスのコストが増加する恐れがある．上記のような問題を

解決するために，ロボットのアプリケーションの開発に必要な機能を提供するソフトウ

ェアプラットフォームが不可欠である．

ソフトウェアプラットフォームは，アプリケーションの開発に必要な機能をアプリケ

ーションプログラミングインターフェース(Application Programming Interface，API)

形式で提供するプログラムである 6)．ソフトウェアプラットフォームは，次のような特

徴を有する．まず，抽象化されたアーキテクチャを持ち，開発者がアプリケーションを

開発する際に，特定機能に限定されず様々な機能を組み合わせて開発が可能である．ま

た，ソフトウェアプラットフォームでアプリケーションの統合的な制御を実行するので，

特定機能の障害がシステム全体に影響を及ぼさない．さらに，ソフトウェアプラットフ

ォームで提供する機能は，API形式で提供するので再利用が可能であり，標準化されて

いる．本章では，自脱コンバインロボットの開発に必要な機能を API 形式で提供する

統合センサ制御ソフトウェアプラットフォーム(Integrated Sensor Control Software

Platform、ISCSP)を提案し，開発する．

13

2.2 ISCSPの構成

2.2.1 開発環境

ISCSP はマイクロソフト社の Windows 上で動作するように開発し，開発環境は表

2-1の通りである．ISCSPの全体的なソースコードは，Visual C#を用いて開発した．

ソースコードのコンパイルとプラットフォームの GUI(Graphical User Interface)の構

成のために .NET フレームワーク4.0を使用した．開発に使用した統合開発環境

(Integrated Development Environment，IDE)は，Visual studio ultimate 2012であ

る．

表 2-1 ISCSPの開発環境

Parameter Description

Operating system (OS) Windows 8.1

Programming language Visual C#

Framework .NET framework version 4.0

Integrated development environment

(IDE)

Microsoft visual studio ultimate 2012

2.2.2 プラットホームアーキテクチャ

ISCSPは，図 2-1に示すように，4つのレイヤで構成されている．ドライバレイヤは，

表 2-2 に示すように，自脱コンバインロボットに取り付けたセンサ(レーザーレンジフ

ァインダ，マシンビジョン，GNSS，GPS コンパス)と自脱コンバインロボットのコン

ポーネントのデータの入出力の機能を提供する．ドライバレイヤは，センサとコンポー

ネントの通信のためにシリアル通信，イーサネット，USB(Universal Serial Bus)など

の様々な通信ポートをサポートし，データの入出力のためのオペレーティングシステム

(Operating System, OS)のカーネルで基本的に提供されている機能と，センサのドライ

バを用いて開発した．ロボットインタフェースレイヤは，自脱コンバインロボットのコ

ンポーネントを制御する制御コマンドを生成し，様々なセンサから得たデータをアルゴ

リズムレイヤで使うためにデータ形式を変換する．アルゴリズムレイヤは，自脱コンバ

インロボットの無人収穫作業に必要な機能を API 形式でサポートする．アルゴリズム

14

レイヤで提供するアルゴリズムは，独立的なクラスで構成しているので，独自に使用が

可能であり標準化されている．したがって，アプリケーションの開発者は，簡単にアル

ゴリズムを再利用することが可能であり，動作原理を知らなくても使用する関数のパラ

メータを代入すると，アルゴリズムを使用することが可能である．ユーザインタフェー

スレイヤは，自脱コンバインロボットから得たセンサとコンポーネントのデータをリア

ルタイムで確認できるように，GUIのベースでデータを表現する． GUIは.NET フレ

ームワークで提供するWindows Forms(WinForms)を用いて開発した．

図 2-1 ISCSPのアーキテクチャ

表 2-2 ドライバレイヤでデータの入出力を提供するセンサとコンポーネント

Device Communication

Port

Model

Laser Range

Finder

Ethernet,

USB2.0

LMS 111 and LMS511 (SICK AG.),

UTM-30LX (Hokuyo Automatic Co., Ltd.)

Machine vision USB2.0,

TCP/IP

D-IMager (Panasonic Co., Ltd.),

USB camera, Wireless camera

GPS RS-232C Legacy-E+ and AGI-3 (Topcon Co., Ltd.)

GPS compass RS-232C V110 and ssV-102 (Hemisphere Co., Ltd.)

Electronic

Control Unit

RS-232C ECU-KU1 and ECU-KU2 (Kyoto University)

15

2.3 ISCSPの機能および特徴

2.3.1 クライアント-サーバ通信モデル

ISCSP は自脱コンバインロボットと作業者の間のネットワーク通信のため，TCP/

IP(Transmission Control Protocol/ Internet Protocol)プロトコルを用いたクライアン

ト-サーバ(Client-Server)モデルをサポートする．

図 2-2は，自脱コンバインロボット 2号機と作業者の間のネットワーク通信のための

クライアント-サーバ通信モデルを示す．提案したクライアント-サーバ通信モデルは，

自脱コンバインロボットをサーバに設定し，作業者をクライアントに設定する．自脱コ

ンバインロボットの PC(サーバ)と作業者の携帯用デバイス(クライアント)は，ワイヤレ

スルータで提供する WDS(Wireless Distribution System)を用いてネットワーク通信

が可能である．

図 2-3 は，クライアント-サーバ通信モデルの TCP/ IP プロトコルを用いた通信方法

を示す．サーバ(自脱コンバインロボット)の通信プロセスは，次の通りである．サーバ

は，ソケットを生成しクライアントの接続を待機する．また，接続を試みているクライ

アントからの接続を承認し，クライアントソケットを作成する．クライアントとの接続

が完了すると，クライアントから自脱コンバインロボットのコンポーネントの制御コマ

ンドを受信する．受信が完了すると，センサとコンポーネントのデータをクライアント

に送信する．クライアント(作業者)の通信プロセスは，次のとおりである．クライアン

トは，ソケットを作成し，サーバの接続承認を受けるまで待機する．サーバからの接続

が承認されると，クライアントで生成した自脱コンバインロボットのコンポーネントの

制御コマンドをサーバに送信する．送信が完了すると，サーバからセンサとコンポーネ

ントのデータを受信する．

ISCSP を使えば，クライアント-サーバ通信モデルを用いて自脱コンバインロボット

に取り付けたセンサとコンポーネントのデータを作業者がリアルタイムで確認するこ

とも可能である．そして，作業者は自脱コンバインロボットのコンポーネントをリモー

トで制御することが可能である．また，クライアント-サーバ通信モデルは自脱コンバ

インロボットに無線ルータが取り付けられていない場合でも(自脱コンバインロボット

1号機)，サーバのみの動作が可能である．

16

図 2-2 ISCSPのクライアント-サーバ通信モデル

17

図 2-3 TCP/IPプロトコルを用いた通信方法

2.3.2 圃場の気象情報の取得

自脱コンバインロボットが収穫作業を実行するときに，収穫する圃場のあるエリアの

気象情報を把握することは非常に重要である．したがって，ISCSP は日本全国の気象

情報を提供するアメダス (Automated Meteorological Data Acquisition System,

AMeDAS)から 1時間の間隔で気象情報を取得し，エクステンシブルマークアップラン

ゲージ(Extensible Markup Language, XML)形式でデータベースに保存する．保存す

る気象情報の要素は，観測時間(h)，温度(℃)，降水量(mm)，風向(16方位)，風速(m/s)，

日照時間(h )などがある．アメダスはハイパーテキストマークアップランゲージ

(HyperText Markup Language, HTML)の形式であり，Web上で気象情報を提供する

のでアメダスの HTML のソースコードの中から，気象情報のタグの部分を XML 形式

に変換し，保存する．図 2-4 は，2014年 11月 5日 11時までの京都府南丹市の気象情

報を示す．ただし，気象情報を取得するためには，ISCSP がモバイルルータなどを利

用してインターネットに接続していることが必要である．

18

図 2-4 XMLの形式で保存した圃場の気象情報

2.3.3 GUIベースのセンサとコンポーネントのデータ表示

ISCSP は，自脱コンバインロボットに取り付けた様々なセンサとコンポーネントの

データをリアルタイムで表現する GUI を提供する．図 2-5 は，使用するセンサと自脱

コンバインロボットのモデルを選択する機能を提供する GUIを示す．この GUIのチェ

ックボックスを用いて使用するセンサとコンポーネントを選択し，取得したデータの読

み取りおよび保存することができる．

図 2-5 センサとコンポーネント選択と設定のための GUI

19

図 2-6(a)および(b)は，それぞれ自脱コンバインロボット 1 号機と自脱コンバインロ

ボット 2号機のコンポーネントのデータを表現する GUIを示す．この GUIで自脱コン

バインロボットの主変速ポテンショメータ(AD変換値)，エンジン回転数(rpm)，走行速

度(m/s)，操舵ポテンショメータ(AD 変換値)，左右の水平値(AD 変換値)，排出オーガ

の位置(AD変換値)，刈取部の高さ(AD変換値)，燃料の残量などのコンポーネントの情

報をリアルタイムで確認することができる．GNSSと GPSコンパスのデータの値も表

示する．また，手動モードからロボットモードに変換するためのオプションを選択でき

る機能を提供する．

(a) 自脱コンバインロボット 1号機

(b) 自脱コンバインロボット 2号機

図 2-6 コンポーネントのデータを表示する GUI

20

図 2-7は，走行軌跡を表示する GUIを示す．この GUIは，インターネットに接続し

ている場合は，グーグルマップ(Google maps)上に GPSデータをリアルタイムに表現す

ることが可能である．また，オフラインの場合には，ユニバーサル横メルカトル

(Universal Transverse Mercator, UTM)マップ上で自脱コンバインロボットの出発位

置を原点に GPSデータをリアルタイムに表現することが可能である．

図 2-7 走行軌跡を表示する GUI

図 2-8は，レーザーレンジファインダ(Laser Range Finder, LRF)のデータを表示す

る GUIを示す．この GUI は，自脱コンバインロボットに取り付けた LRF の外部パラ

メータと内部パラメータを用いて，LRF の極座標系の 2 次元データを直交座標系の 3

次元データに変換して表現する．

図 2-8 LRFのデータを表示する GUI

21

図 2-9 は，マシンビジョンのデータを表示する GUI を示す．この GUI は，

OpenCV(Open Source Computer Vision Library)ライブラリを用いて，マシンビジョ

ンから得た画像を取得，および保存する．また，原画像とアルゴリズムを適用した処理

映像や画像のヒストグラムの値も表示可能である．

図 2-9 マシンビジョンのデータを表示する GUI

2.3.4 API形式で提供する様々なアルゴリズム

ISCSPは，自脱コンバインロボットの開発のために必要な様々なアルゴリズムをAPI

形式で提供する．アルゴリズムを API 形式で提供すると，開発者が具体的なアルゴリ

ズムの内容を知らなくても，関数のパラメータを代入すると結果を得ることができるの

で，開発時間が短縮される．ISCSP で提供するアルゴリズムは，適用されるメソッド

とデバイスによって表 2-3のように区分できる．

図 2-10 は，自脱コンバインロボットに取り付けた LRF，GNSS，および GPS コン

パスを用いて 3Dマップを作成し，未収穫領域と既収穫領域の間に存在する未収穫作物

のエッジを検出した結果を示す．3Dマップの作成のために 3D マッピングアルゴリズ

ムを利用し，未収穫作物のエッジを検出するために RANSACアルゴリズムと未刈取端

検出(Uncut Crop Edge Detection, UCED)アルゴリズムを利用した．この検出方法の詳

細については第 4章で述べる．

22

表 2-3 ISCSPで提供するアルゴリズム

Method Device Algorithm

Autonomous guidance LRF, GNSS and

GPS compass

Three-dimensional mapping,

Path planning,

Random sample consensus (RANSAC),

Uncut crop edge detection,

Path following

Machine vision Inverse Perspective Mapping (IPM),

ExGB segmentation,

Uncut crop edge detection

Autonomous

positioning

of unloading auger

LRF, GNSS and

GPS compass

Three-dimensional mapping,

Upper quadrangle detection,

Unloading auger positioning

図 2-10 3Dマップ上で検出した未収穫作物のエッジ

23

図 2-11 は，自脱コンバインロボットの排出オーガの排出口をグレーンコンテナの中

心に位置決めするために，LRF，GNSS，および GPS コンパスを用いて 3D マップを

作成し，グレーンコンテナを検出した結果を示す． 3D マップの作成のための 3D マ

ッピングアルゴリズムを利用し，グレーンコンテナを検出するために UQD(Upper

Quadrangle Detection)アルゴリズムを利用した．この検出方法の詳細は第 5章で述べ

る．

図 2-11 3Dマップ上で検出したグレーンコンテナ

図 2-12 は，自脱コンバインロボットに取り付けたマシンビジョンを用いて，未収穫

領域と既収穫領域の間に存在する未収穫作物のエッジを検出した結果を示す．未収穫作

物のエッジを検出するために， IPM(Inverse Perspective Mapping)のアルゴリズムを

用いて遠近効果を除去し，ExGB(EXcess Green minus excess Blue index)を用いて未

収穫領域を検出した．また，UCED アルゴリズムを用いて，未収穫作物のエッジを検

出した．この検出方法については次章で述べる．

24

図 2-12 未収穫作物のエッジの検出結果

2.3.5 オープンソースで公開

図 2-13 GitHubに公開した ISCSPのソースコード

本研究で提案した ISCSPは BSD(Berkeley Software Distribution) License7)の規約

25

により，オープンソースの形式で GitHub(GitHub, Inc.)に公開されている(図 2-13)．開

発者はソースコードの使用の制約を受けずに，ISCSP のソースコードを修正，および

再配布することが可能である．したがって，アプリケーション開発の重複を避けること

ができ，開発時間を短縮することができる．公開した ISCSP は，次のインターネット

アドレスにアクセスしてダウンロードすることが可能である (https://github.com

/FiroKyoto/IntegratedSensorControlPlatform)．

2.4 摘要

本章では，自脱コンバインロボットの開発に必要な機能を API 形式で提供する統合

センサ制御ソフトウェアプラットフォーム(ISCSP)を提案し，開発を行った．提案した

プラットフォームは，次のような特徴を持っている．まず，ロボットに取り付けた様々

なセンサ(LRF，マシンビジョン，GNSS，GPSコンパス)とコンポーネントのデータの

入出力をサポートし，データをリアルタイムで確認することができる GUIを提供する．

また，自脱コンバインロボットの開発に必要な様々なアルゴリズムを API 形式で提供

するので，開発者が具体的なアルゴリズムの内容を知らなくても，関数のパラメータを

代入すると結果を得ることができる．さらに，ISCSP はオープンソースの形で公開さ

れているので，自由にソースコードの修正と再配布が可能である．第 3章で提案したマ

シンビジョンによる未収穫作物のエッジ検出方法，第 4章で提案した LRFと GNSSに

よる未収穫作物のエッジ検出方法，第 5章で提案する LRFと GNSSによる排出オーガ

の自律位置決め方法は，ISCSPを用いて開発した．

26

参考文献

1) Sato, J. I., Shigeta, K., & Nagasaka, Y. (1996, December). Automatic operation of

a combined harvester in a rice field. In Multisensor Fusion and Integration for

Intelligent Systems, 1996. IEEE/SICE/RSJ International Conference on (pp. 86-92).

IEEE.

2) Torii, T. (2000). Research in autonomous agriculture vehicles in Japan.

Computers and electronics in agriculture, 25(1), 133-153.

3) Terao, H., Noguchi, N., & Ishii, K. (2001). Development of agricultural field robot

in AVSE, Hokkaido University, Japan. In Proc. IV International Conference

“Microprocessor Systems in Agriculture”, PW Plock, Poland (pp. 211-219).







6) Evans, D. S., Hagiu, A., & Schmalensee, R. (2006). Invisible engines: how

software platforms drive innovation and transform industries (p. 115). Cambridge:

MIT Press.

7) Hecker, F. (1999). Setting up shop: The business of open-source software. IEEE

software, 16(1), 45-51.

27

第 3章マシンビジョンによる未収穫作物のエッジ検出

3.1 はじめに

圃場で未収穫の作物列に基づいて刈取中である収穫機械を自動誘導するためには，未

収穫領域と既収穫領域の間に存在する未収穫作物の境界，すなわちエッジ(uncut crop

edge)を検出することが非常に重要である．近年，未収穫作物のエッジを検出するため

の様々なセンサを用いた方法が提案・開発されている．

Ikeda(1975)は，自脱コンバインの刈取部のディバイダに取り付けた接触センサを用

いて未収穫作物を検出し，検出された未収穫作物に基づいて収穫作業を遂行することが

できる自動走行制御システムを開発した 1)．米国の Carnegie Mellon大学と米国航空宇

宙局(National Aeronautics and Space Administration, NASA)はヘイウィンドローに

取り付けたカラーカメラを用いて未収穫作物のエッジを検出し，自動誘導システムを開

発し，牧草のアルファルファの圃場で収穫実験を行った 2)．フランスの Cemagref(the

National Centre of Agricultural Machinery, Agricultural Engineering, and Water

and Forests)は，ウィンドローとコンバイン収穫機に取り付けたレーザーレンジファイ

ンダ(Laser Range Finder, LRF)を用いて未収穫作物のエッジを検出し，自律誘導を遂

行する自動誘導方法を提案した 3)．Benson ら(2003)はコンバインに取り付けたモノク

ロカメラを用いて未収穫作物のエッジを検出し，圃場で実験を行った 4)．Rovira-Más

ら(2007)はステレオビジョンを用いて計測した 3 次元データを用いて未収穫作物のエ

ッジを検出し，自動誘導システムを開発した 5)．これらの手法では，牧草機や収穫機に

取り付けた非接触センサ(マシンビジョン，LRF)を用いて未収穫作物のエッジを検出し

たが 2)-5)，自脱コンバインの場合には接触センサを用いて未収穫作物のエッジを検出し

た 1)．よって，本章では，自脱コンバインに取り付けた 1 台のカラーカメラを用いて，

リアルタイムで未収穫作物のエッジを検出する方法を提案する 6)．

28

3.2 材料および方法

3.2.1 実験装置および構成

実験には4条刈自脱コンバイン(三菱農機株式会社，VY446LM)を用いた．未収穫作物

のエッジを検出するために使われたカメラはマイクロソフト社(Microsoft Co., Ltd.)の

Microsoft LifeCam Studio でありUSB (Universal Serial Bus)2.0のインタフェースを

有する．このカメラは75°の視野(Field of View, FOV)を持ち，640 × 480ピクセルの解

像度を持つカラー画像を10fps(Frames per Second)のレートで取ることが可能である．

具体的なカメラの仕様は表 3-1に示す．図 3-1のようにカメラは自脱コンバインの運転

席の前のフレームに取り付けた．地面からカメラのレンズの中心までの垂直高さ(ℎ𝐶𝐴𝑀)

は1.5 mであり，傾斜角(𝜃𝐶𝐴𝑀)は10°である．また，利用したパソコンの CPUは Corei5

2.4GHzであり，4GBメモリで構成されている．

図 3-1 カメラによる未収穫領域のエッジ検出

29

表 3-1 カメラの仕様


Model Microsoft LifeCam Studio

Interface USB 2.0

Sensor CMOS sensor technology

Maximum resolution 1920 × 1080

Field of view(FOV) 75° diagonal field of view

Frames per second(FPS) Up to 30 frames per second

未収穫作物のエッジを検出するアルゴリズムは Visual C#言語を用いて開発され，カ

メラをから得た画像の入出力のためには OpenCVライブラリを利用した．また，ISCSP

の機能の中で図 3-2に灰色で表示された機能を用いて，未収穫作物のエッジを検出する

過程，および結果をリアルタイムで確認することができるグラフィカルユーザインタフ

ェースを図 3-3のように構成した．

図 3-2 未収穫作物のエッジの検出のため使われた ISCSPの機能

30

図 3-3 未収穫作物のエッジを検出する過程および結果を表示するための GUI

3.2.2 逆遠近法マッピング

日本の稲作圃場では，一般的に，稲は図 3-4 のように約0.3 mの行の間隔(𝑑𝑟)と約

0.15 mの列の間隔(𝑑𝑐)を維持しながら等間隔に植えられているので作物の列は平行であ

る．しかし，カメラから得た画像平面で作物の列は遠近効果によって平行ではなく図

3-5のように消失点に収斂されている．本研究では，画像平面に存在する遠近効果を除

去し，作物の列を平行に復元するため逆遠近法マッピング (Inverse Perspective

Mapping，IPM)アルゴリズムを利用した．

図 3-4 日本の圃場で稲の域

31

図 3-5 カメラの幾何学的な投影モデル

IPM はカメラから得た 2 次元画像の遠近効果を除去し，画像平面の位置情報を 3 次

元ワールド座標系の位置情報に変換するアルゴリズムである 7). IPMはカメラの内部パ

ラメータ(アパーチャ，解像度)と外部パラメータ(ピッチ角，ヨー角，地面からカメラの

レンズの中心までに垂直高さ)を用いて遠近効果を除去し，画像平面上の位置情報をワ

ールド座標系上の位置情報に変換するので，カメラの原点から作物の行列までの距離を

計算することができる特長がある．実世界を表現する 3次元ワールド空間式(3.1)と画像

を表現する 2次元平面空間式(3.2)に対する定義は次の通りである．遠近効果は実世界の

3次元ワールド空間を画像の 2次元平面空間にマッピングする際の，観察視点によって

発生する．よって、遠近効果は観察視点の変更によって除去することが可能である．遠

近効果の除去は 2次元平面空間を𝑍 = 0に設定した 3次元ワールド空間式(3.3)にマッピ

ングし，現在の観察視点を上空から見下ろす観察視点に変更することによって行う．

3{( , , ) }TW x y z E : 3次元ワールド空間 (3.1)

2{( , ) }TI u v E : 2次元平面空間 (3.2)

{( , ,0) }TS x y W : 変換された 3次元平面空間 (3.3)

32

図 3-6は自脱コンバインに取り付けたカメラの外部パラメータを示す．外部パラメー

タ�̅�，𝜃𝐶𝐴𝑀，ℎ𝐶𝐴𝑀は，それぞれカメラのヨー角，ピッチ角，地面からカメラのレンズの

中心までの垂直高であり，𝑙，𝑑は 3次元平面空間の𝑥𝑦平面の原点からカメラまでの縦方

向距離，横方向距離である．カメラの内部パラメータのアパーチャは2𝛼，解像度は𝑛 × 𝑚

である．カメラの外部パラメータと内部パラメータを用いて式(3.4)のように𝑰空間から𝑺

空間に変換するマッピング関数(𝑓: 𝑰 → 𝑺)を定義する．それにより式(3.5)を用いて𝑆空間

に存在する遠近効果を除去し，テクスチャを復元する．

2 2( , ) cot[( ) ] cos[( ) ]

1 1

2 2( , ) cot[( ) ] sin[( ) ]

1 1

( , ) 0

CAM CAM

CAM CAM

x u v h u v ln m

y u v h u v dn m

z u v

(3.4)

sin arctan

arctan

( , ,0)2

1

arctan

( , ,0)2

1

CAM

CAM

y dh

x l

y d

u x y

n

y d

x lv x y

m

(3.5)

33

(a) 𝑥𝑦平面

(b) 𝑧𝑥平面

図 3-6 カメラの外部パラメータ

34

図 3-7 はカメラから得た原画像と IPM アルゴリズムを用いて遠近効果を除去し，テ

クスチャを復元した画像を示す．図 3-7(a)はカメラから得た原画像(640 × 480ピクセル)

であり，赤い四角形は関心領域(Region of Interest, ROI)を示し，ROI のサイズは

600 × 400ピクセルである．図 3-7(b)は IPMアルゴリズムを用いて変換された画像を示

し，サイズは320 × 240ピクセルである．図 3-7(b)のように IPMアルゴリズムで変換さ

れた画像では，遠近効果が除去され，作物列が平行に表現される．

(a) 原画像と ROI

(b) IPMアルゴリズムで変換された画像

図 3-7 原画像と IPMアルゴリズムで変換された画像

35

3.2.3 色空間変換

IPM アルゴリズムを用いて変換された画像には，影，収穫時に発生する粉塵，光の

変化による影響でノイズが存在している．したがって，未収穫作物のエッジを検出する

前に，画像に存在するノイズをフィルタリングし，未収穫の領域を区別するためのセグ

メンテーション法が要求される．最近の先行研究によって RGBカラースペースのカラ

ーインデックスを用いて画像に存在するノイズをフィルタリングし，作物を強調するセ

グメンテーション法が提案されている 8)-12)．本研究では，この手法をベースに，式(3.6)

のようにExGB(excess green minus excess blue index)で表現される可視スペクトル指

標を定義し，IPM アルゴリズムを用いて変換した画像に適用してセグメンテーション

を行った． 𝑅，𝐺，𝐵は式(3.7)によりRGBカラースペースで正規化した値を意味し，0から

1の間の値を有する．

, ,

Excess green: 2

Excess blue: 1.4

Excess green minus excess blue:

R G Br g b

R G B R G B R G B

ExG g r b

ExB b g

ExGB ExG ExB

(3.6)

max max max

max max max

, ,

255

R G BR G B

R G B

where R G B

(3.7)

図 3-8は IPMアルゴリズムを用いて変換した画像に ExGBを適用して，未収穫作物

をセグメンテーションした結果を示す．グレースケールに変換された画像では，ExGB

値が大きいピクセルが未収穫作物である可能性が高く，小さい値ほど既収穫領域，ある

いはノイズである可能性が高い．

36

図 3-8 ExGBを用いて変換した画像

37

3.2.4 未収穫作物のエッジ検出

熟練した作業者が，未収穫作物のエッジに基づいて正確に運転しながら収穫作業を実

行した場合は，図 3-9(a)に示すように，既収穫領域には未収穫作物が残っていない．し

かし，作業者が熟練していないなどの理由によって，未収穫作物のエッジを外れた場合，

図 3-9(b)に示すように，既収穫領域に未収穫作物が残ってしまう．既収穫領域に未収穫

作物が残っている場合，収穫作業が終了した後に再度収穫作業を行う必要があるため，

作業効率が落ちることになる．したがって本研究では，ExGBを用いて変換された画像

の未収穫領域の最外側の点を検出し，未収穫作物のエッジを構成した．

(a) 正確に運転した場合の刈跡

(b) 作物のエッジを外れた場合の刈跡

図 3-9 作物列に沿った刈取作業における刈跡の例

38

未収穫作物のエッジを検出するためのプロセスは、次の通りである．まず，ExGB画

像を左から右にスキャンしながら，対応する列でのグレースケールの平均値をデータ集

合(𝑺𝑨𝑽𝑮 = {𝑝𝑖|𝑖 = 1, … , 𝑛}，𝑛は列のインデックス)に保存する．図 3-10は ExGB画像の

グレースケールの平均値の分布を示す．横軸は画像の列のインデックスを意味し，縦軸

はグレースケールの平均値を意味する．自脱コンバインは反時計回りに収穫作業を実行

するので，カメラから得た画像の中で未収穫作物のエッジを基準に，未収穫領域は左側

に，既収穫領域は右側に存在する．このような特徴を利用してデータ集合𝑺𝑨𝑽𝑮でグレー

スケールの平均値の最大値(𝑝ℎ)とエンドポイント(𝑝𝑛)を接続する線分𝑙を̅求める．式(3.8)

を用いてデータ集合(𝑽𝑨𝑽𝑮 = {𝑝𝑖|𝑖 = ℎ, … , 𝑛} ∈ 𝑺𝑨𝑽𝑮)の要素と線分𝑙の̅間の垂直距離𝑑𝑘が

最大値になる点𝑝𝑘を求める 13)．計算された𝑝𝑘の𝑥の値は未収穫穀領域の最外側の境界点

を意味するので，この𝑥の値を基準に画像の未収穫領域と既収穫領域を区別することが

可能である．

2 2

n h h k h k n h

k

n h n h

x x y y x x y yd

x x y y

(3.8)

図 3-10 ExGB画像のグレースケールの平均値の分布

39

図 3-11 は未収穫作物のエッジ検出アルゴリズムを用いて図 3-9 の画像で未収穫作物

のエッジを検出した結果を示す．提案した未収穫作物のエッジの検出アルゴリズムは、

未収穫領域の最外側の点を基準にエッジを構成するので，既収穫領域に未収穫作物が残

っていない図 3-9(a)だけでなく，既収穫領域に未収穫作物が残っている図 3-9(b)も正確

に未収穫作物のエッジを検出することが可能である．

(a) 図 3-9(a)に未収穫作物のエッジアルゴリズムを適用した結果

(b) 図 3-9(b)に未収穫作物のエッジアルゴリズムを適用した結果

図 3-11 未収穫作物のエッジの検出の結果

40

3.2.5 実験方法

提案した未収穫作物のエッジ検出アルゴリズムの性能を評価するために，京都府南丹

市の圃場で自脱コンバインを用いて収穫作業を行い，カメラからの連続した画像を取得

した．収穫作業は，オペレータによって自脱コンバインを手動で運転して実行され，自

脱コンバインの平均走行速度は0.6 m/sであった．そして，自脱コンバインは図 3-12に

示すように反時計回りに走行しながらの収穫作業を行った．

図 3-12 Google Maps(Google Inc.)に表示された自脱コンバインの走行軌路

41

3.3 実験結果および考察

自脱コンバインは反時計回りに走行しながらの収穫作業を実行したため，カメラから

取得した画像は，進行方向によって，太陽光の変化や粉塵などの影に起因するノイズが

異なっている．したがって，表 3-2に示すように自脱コンバインの走行方向によって画

像を 4 つのデータセットに分類して未収穫作物のエッジ検出結果を比較した．(検出結

果の動画は http://youtu.be/avsi65kdzIsで確認することができる．)

表 3-2 進行方向によって区分した未収穫作物のエッジの検出の結果

Dataset Movement direction Frames Success rate [%]

A South 950 100

B East 300 100

C North 950 94

D West 300 100

提案したアルゴリズムの精度は約95 %であり，平均処理速度は約33 msで，リアルタ

イムで未収穫作物のエッジを検出することができた．図 3-13 は，(a) 太陽に向かう場

合，(b) 太陽を背にしている場合，(c) 作物列に凹凸が存在する場合，(d) 刈取開始時，

(e) 収穫終了時，の各場合におけるエッジ検出アルゴリズムの検出結果を示す．いずれ

の場合においても，画像に含まれているノイズの影響を受けずに未収穫作物のエッジが

検出されている．

しかし，図 3-14(a)に示すように自脱コンバインが北(区間 C)に走行しながらの収穫作

業を実行する場合では，太陽を背にすることによって生じる機械と未収穫作物の影と，

作物列の凹凸が複合的に画像に存在する場合に，未収穫作物のエッジ検出に失敗する例

があった．図 3-14(a)の次のフレームで得られた図 3-14(b)で正確に未収穫作物のエッジ

を検出したため，自脱コンバインの走行方向を変更すればよいが，急に進行方向を変更

する場合，既収穫領域に未収穫作物が残る，コンバインの刈取部の右側に刈残しが出来

る可能性が高くなる．したがって，未収穫作物のエッジ検出に失敗した場合に補正する

アルゴリズムの開発が必要である．

42

(a) 太陽に向かう場合

(区間 A)

(b) 太陽を背にしている場合

(区間 C)

(c) 作物列に凹凸が存在する場合

(区間 C)

(d) 刈取開始時

(区間 A)

(e) 収穫終了時

(区間 D)

図 3-13 様々な条件における未収穫作物のエッジの検出の結果

43

(a) 検出に失敗した前のフレームの画像

(区間 C)

(b) 検出に成功した後のフレームの画像

(区間 C)

図 3-14 連続的に得られた画像での検出結果

3.4 摘要

本章では，自脱コンバインロボットに取り付けたカメラから得た画像を用いて未収穫

作物のエッジを検出するアルゴリズムを提案した．提案したアルゴリズムの検出プロセ

スは，次の通りである．まず，IPM アルゴリズムを用いて画像に存在する遠近効果を

除去し，画像で表現した未収穫作物の行列を平行に復元した．また，ExGB方法を用い

てノイズが存在する IPM 画像からノイズをフィルタリングし，未収穫領域をセグメン

テーションした．最後に，ExGB画像の列のグレースケールの平均値を求め，平均値の

最大値を用いて未収穫作物のエッジを検出した．提案したアルゴリズムによるエッジ検

出の精度は約95 %であり，平均処理速度は約33 msで，リアルタイムで未収穫作物のエ

ッジを検出することができた．しかし，いくつかの条件下でアルゴリズムの性能が低下

する傾向を示すため，補正するアルゴリズムの追加が必要である．

44

参考文献

1) Ikeda, Y. (1975). Studies of dynamics and automatic steering systems of combines

(Unpublished doctoral dissertation). Kyoto university, Japan.

2) Ollis, M., & Stentz, A. (1997, September). Vision-based perception for an

automated harvester. In Intelligent Robots and Systems, 1997. IROS'97.,

Proceedings of the 1997 IEEE/RSJ International Conference on (Vol. 3, pp.

1838-1844). IEEE.

3) Chateau, T., Debain, C., Collange, F., Trassoudaine, L., & Alizon, J. (2000).

Automatic guidance of agricultural vehicles using a laser sensor. Computers and

Electronics in Agriculture, 28(3), 243-257.

4) Benson, E. R., Reid, J. F., & Zhang, Q. (2003). Machine vision-based guidance

system for agricultural grain harvesters using cut-edge detection. Biosystems

Engineering, 86(4), 389-398.

5) Rovira-Más, F., Han, S., Wei, J., & Reid, J. F. (2007). Autonomous guidance of a

corn harvester using stereo vision. Agricultural Engineering International the

CIGR Journal (Vol. 6). CIGR.

6) Cho, W., Iida, M., Suguri, M., Masuda, R., & Kurita, H. (2014). Vision-based

uncut crop edge detection for automated guidance of head-feeding combine.

Engineering in Agriculture, Environment and Food, 7(2), 97-102.

7) Bertozzi, M., & Broggi, A. (1998). GOLD: A parallel real-time stereo vision system

for generic obstacle and lane detection. Image Processing, IEEE Transactions on,

7(1), 62-81.

8) Woebbecke, D. M., Meyer, G. E., Von Bargen, K., & Mortensen, D. A. (1995). Color

indices for weed identification under various soil, residue, and lighting conditions.

Transactions of the ASAE, 38(1), 259-269.

9) Meyer, G. E., Mehta, T., Kocher, M. F., Mortensen, D. A., & Samal, A. (1998).

Textural imaging and discriminant analysis for distinguishing weeds for spot

spraying. Transactions of the ASAE, 41(4), 1189-1197.

10) Kataoka, T., Kaneko, T., Okamoto, H., & Hata, S. (2003, July). Crop growth

estimation system using machine vision. In Advanced Intelligent Mechatronics,

2003. AIM 2003. Proceedings. 2003 IEEE/ASME International Conference on (Vol. 2,

45

pp. b1079-b1083). IEEE.

11) Camargo Neto, J. (2004). A combined statistical-soft computing approach for

classification and mapping weed species in minimum-tillage systems.

12) Hague, T., Tillett, N. D., & Wheeler, H. (2006). Automated crop and weed

monitoring in widely spaced cereals. Precision Agriculture, 7(1), 21-32.

13) Kimberling, C. (2001). Triangle centers and central triangles. Utilitas

Mathematica Publishing, Inc.

46

第 4章 LRFと GNSSによる未収穫作物のエッジ検出

4.1 はじめに

近年，農作業ロボットを自動誘導するために，ロボットに取り付けた様々なセンサを

用いて，未収穫領域と既収穫領域の間に存在する未収穫作物のエッジを検出する方法が

提案されている．未収穫作物のエッジの検出に用いるセンサは，マシンビジョン，レー

ザーレンジファインダ，GNSS，および GPS コンパスなどがある． Ollis ら(1997)1)，

Bensonら(2003)2)，Rovira-Másら(2007)3)，および Choら(2014)4)は、カメラから取得

した画像を用いて，リアルタイムで未収穫作物のエッジを検出した． Chateuら(2000)5)

は，LRF から取得した圃場の 2 次元プロファイルのデータを用いて，未収穫作物のエ

ッジを検出した．このように，マシンビジョンと LRF を用いて，未収穫作物のエッジ

を検出する場合，ロボットに取り付けたセンサを基準に検出した未収穫作物のエッジの

相対位置は，計算することが可能である．しかし，圃場内で検出したエッジの絶対位置

は知ることができない．したがって，本章では，自脱コンバインロボットに取り付けた

LRF，GNSS，および GPS コンパスから取得したデータを用いて，リアルタイムで収

穫する圃場の3Dマップを構成し，同時に未収穫作物のエッジを検出する方法を提案し，

開発を行う 6)．



本研究で使用したセンサは，LRF (SICK AG, LMS111), GNSS (Topcon Co., Ltd.,

Legacy-E+)，および GPSコンパス (Hemisphere Co., Ltd., V110)である．各センサは，

図4-1に示すように，自脱コンバイン (三菱農機(株)，VY50CLAM) のルーフ上にGNSS，

GPS コンパス，およびルーフ前に LRF を取り付けた．

47

図 4-1 センサを取り付けた自脱コンバインの外観

表 4-1 LRFの仕様


Model LMS111

Accuracy ±0.03 m

Angular resolution 0.25°, 0.5°

Interface Ethernet, RS-232, CAN

Scan angle 270°

Scan direction Counterclockwise

Scan range 20 m

Scan speed 20 ms, 40 ms

LRFは，2次元のスキャンを行い，スキャン範囲内の地形や物体のプロファイルを取

得する．表 4-1にその仕様を示す．本研究では，取得したスキャンデータのうち，LRF

の中心軸を中心として±45°のデータを使用した．コンバインの絶対位置を GNSS によ

48

って取得する．使用した GNSS は，受信信号の誤差を補正するため，VRS(Virtual

Reference Station)方式を採用した．これにより，±0.03 mの精度で位置を取得するこ

とが可能である．コンバインの方位は GPSコンパスによって取得する．GPSコンパス

は方位情報を取得する 1次情報源として使用されるが，使用した GPSコンパスは 2次

情報源としてジャイロセンサと傾斜センサを備えており，1次情報源が利用できない場

合はこれらを利用することもできる．

図 4-2 未収穫作物のエッジの検出のため使われた ISCSPの機能

図 4-3 未収穫作物のエッジの検出する過程，および結果を確認するための GUI

49

未収穫作物のエッジを検出するアルゴリズムは Visual C#を用いて開発され，LRF,

GNSS, およびGPSコンパスをから得たデータの入出力のためには ISCSPのドライバ

レイヤを利用した．また，ISCSP の機能の中で図 4-2 に灰色で表示された機能を用い

て，未収穫作物のエッジを検出する過程，および結果をリアルタイムで確認することが

できるグラフィカルユーザインタフェースを図 4-3のように構成した．

4.2.2 3次元マッピング

稲は図 4-4 のように約0.3 mの行の間隔𝑑𝑟と約0.15 mの列の間隔𝑑𝑐を維持しながら等

間隔に植えられているので作物の列は平行である．コンバインは未収穫作物のエッジを

基づいて収穫作業を遂行するので，エッジ検出の性能によって収穫効率が変わる．本研

究では，未収穫作物のエッジの検出のため，コンバインに取り付けた LRF から取得し

た 2 次元プロファイル，GNSS から取得した圃場内のコンバインの現在位置，および

GPS コンパスから取得したコンバインの進行方向を用いて，収穫する圃場の 3D マッ

プを構成する．図 4-5は，取り付けたセンサの相対位置を示し，図 4-6は，センサと刈

取部の右端の外部パラメータと各座標系を示す．

図 4-4 稲の植え付け間隔

50

図 4-5 取り付けたセンサの相対位置

(a) 𝑦𝑎𝑧𝑎平面

51

(b) 𝑥𝑎𝑦𝑎平面

図 4-6 センサと刈取部の右端の外部パラメータと座標系

3D マップは 3 次元ユークリッド空間における右手系の直交座標系𝑾 = {(𝑥, 𝑦, 𝑧)𝑇} ∈

𝑬3上で表される．コンバインのスタート地点において GNSSから得られた座標を UTM

座標系における原点𝑶とし，北を𝑦軸とする変換を施して表現する．

コンバインの位置(𝑷𝐺𝑁𝑆𝑆,𝑚 = [𝑥𝐺𝑁𝑆𝑆,𝑚, 𝑦𝐺𝑁𝑆𝑆,𝑚, 0]𝑇 ∈ 𝑬3)は，𝑾空間上において次のよ

うに表現される．ここで，𝑚はセンサからデータを取得したセンサデータのインデック

スである．コンバインの現在位置は次の通りに取得する．まず，GNSSのデータをUTM

座標系に変換する．次に，変換した座標とスタート地点の偏差を求め，現在位置を取得

する．コンバイン上に設定された相対座標系(𝑾𝑎 = {(𝑥𝑎 , 𝑦𝑎 , 𝑧𝑎)𝑇} ∈ 𝑬3)は，現在位置を

原点𝑶1，とし，コンバインの進行方向を𝑦𝑎軸とする右手系の直交座標系である．GPS

コンパスから得たコンバインの進行方向𝜑は，GPS コンパスの基準軸𝑦𝑑を基準として，

時計回りに取得する．本研究において，𝑦𝑑軸は𝑾𝑎空間における𝑥𝑎𝑦𝑎平面上の𝑥𝑎軸に平

行とするので，𝑦𝑎と𝑦𝑑のなす角は90°となる．したがって，コンバインの進行方向は GPS

コンパスから取得した角度に+90°を加えることによって得られる．

52

LRF は𝑥𝑏𝑦𝑏平面を，𝑦𝑏軸を中心に±45°の範囲をスキャンして，2 次元プロファイル

データ(𝑷𝐿𝑅𝐹,𝑖 = [𝜌𝐿𝑅𝐹,𝑖, 𝜃𝐿𝑅𝐹,𝑖]𝑇)を取得する．データのパラメータ𝜌と𝜃は，LRF から取

得した計測距離と計測角であり，𝑖はデータのインデックスである．LRF の座標系

(𝑾𝑏 = {(𝑥𝑏 , 𝑦𝑏 , 𝑧𝑏)𝑇} ∈ 𝑬3)は，𝑾𝑎空間の原点𝑶1から𝑙𝑎，𝑙𝑐だけ平行移動して構成する．

𝑾𝑎空間の原点𝑶1から LRFの原点𝑶2までの縦方向距離𝑙𝑎は0.45 mであり，横方向距離𝑙𝑐

は0.59 mである．𝑾𝑎空間の原点𝑶1から LRF の原点𝑶2までの高さℎ𝐿𝑅𝐹は2.5 mであり，

傾斜角𝜃𝐿𝑅𝐹_𝑇𝐼𝐿𝑇は50.5°である．LRFの原点𝑶2は，式(4.1)によって計算する．

2

2

2

, ,

2 , ,

,

cos sin 0

( ) sin cos 0

0 0 0 1

O m GNSS m c

O m GNSS m a

LRFO m

x x l

O m y y l

hz

(4.1)

構成した座標系と LRF のデータを用いて，𝑾空間上で 3D 点群 (𝑷𝑀𝐴𝑃,𝑚,𝑖 =

[𝑥𝑀𝐴𝑃,𝑚,𝑖, 𝑦𝑀𝐴𝑃,𝑚,𝑖, 𝑧𝑀𝐴𝑃,𝑚,𝑖]𝑇)を式(4.2)によって計算する．計算した 3D点群𝑷𝑀𝐴𝑃,𝑚,𝑖を動

的配列(𝑫(𝑘) = {𝑥𝑀𝐴𝑃,𝑚,𝑖 , 𝑦𝑀𝐴𝑃,𝑚,𝑖 , 𝑧𝑀𝐴𝑃,𝑚,𝑖})に保存する．パラメータ𝑘は，動的配列のイ

ンデックスである．

, ,

, , , ,

, ,

, ,

2 , , _

, , _

cos sin 0 cos

( ) sin cos 0 sin sin

0 0 1 sin cos

MAP m i

MAP m i MAP m i

MAP m i

LRF i LRF i

LRF i LRF i LRF TILT

LRF i LRF i LRF TILT

x

P y

z

O m

(4.2)

コンバインの刈取部の右端の座標系(𝑾𝑐 = {(𝑥𝑐 , 𝑦𝑐 , 𝑧𝑐)𝑇} ∈ 𝑬3)は，𝑾𝑏空間の原点𝑶2か

ら𝑙𝑏，𝑙𝑑，およびℎ𝐻𝐸𝐴𝐷𝐸𝑅−ℎ𝐿𝑅𝐹だけ平行移動して構成する．𝑾𝑏空間の原点𝑶2から刈取

部の右端の原点𝑶4までの縦方向距離𝑙𝑏は0.6 mであり，横方向距離𝑙𝑑は0.07 mである．

𝑾𝑏空間の原点𝑶2から刈取部の右端の原点𝑶4までの高さℎ𝐻𝐸𝐴𝐷𝐸𝑅は式(4.3)によって計

算する．式(4.3)は，図 4-7 のように刈取部の高さℎ𝐻𝐸𝐴𝐷𝐸𝑅(m)とポテンショメータの値

ℎ𝑃𝑂𝑇𝐸𝑁𝑇𝐼𝑂𝑀𝐸𝑇𝐸𝑅(AD 変換値)の相関関係を用いて求める．刈取部の右端の原点𝑶4は，式

(4.4)によって計算する．

53

0.0013 0.3893HEADER POTENTIOMETERh h (4.3)

4

4

4

,

4 , 2

,

cos sin 0

( ) ( ) sin cos 0

0 0 1

O m d

O m b

HEADER LRFO m

x l

O m y O m l

h hz

(4.4)

図 4-7 刈取部の高さとポテンショメータの AD変換値の関係

本研究では，コンバインが反時計回りに走行しながら収穫を実行するので，3D 点群

𝑷𝑀𝐴𝑃,𝑚,𝑖の境界点𝑝𝑘を基準に，未収穫領域は左側，既収穫領域は右側に位置する．この

ような特徴を利用して，取得した 3D点群𝑷𝑀𝐴𝑃,𝑚,𝑖(図 4-8)で，未収穫領域と既収穫領域

を区分する境界点𝑝𝑘を検出するアルゴリズムは，次の通りである．まず，3D点群𝑷𝑀𝐴𝑃,𝑚,𝑖

の𝑧𝑀𝐴𝑃,𝑚,𝑖が最大になる点𝑝ℎとエンドポイント𝑝𝑛を連結する線分𝑙ℎ𝑛を求める．次に，式

(4.5)7)を用いて，3D 点群𝑷𝑀𝐴𝑃,𝑚,𝑖と線分𝑙ℎ𝑛の間の垂線の長さ𝑑𝑘が最大になる点𝑝𝑘を求

める．点𝑝𝑘，図 4-8 に示すように，未収穫領域と既収穫領域の境界点を意味するので，

𝑝𝑘を基準に左側は未収穫領域，右側は既収穫領域に区分することが可能である．計算し

た境界点𝑝𝑘を動的配列(𝑬(𝑘) = {𝑥𝑀𝐴𝑃,𝑚,𝑖, 𝑦𝑀𝐴𝑃,𝑚,𝑖, 𝑧𝑀𝐴𝑃,𝑚,𝑖})に保存する．

54

2 2

n h h k h k n h

k

n h n h

x x y y x x y yd

x x y y

(4.5)

図 4-8 𝑾空間の𝑥𝑧平面上に表現した 3D点群

図 4-9 OpenGLを用いて構成した 3Dマップ

55

図 4-9は，OpenGL(Open Graphics Library)の APIを用いて，𝑾空間上で表現した

3D 点群𝑷𝑀𝐴𝑃,𝑚,𝑖の動的配列𝑫(𝑘)を示す．提案した境界点検出アルゴリズムを用いて，

3D点群を未収穫領域(緑色)と既収穫領域(茶色)で表現した．また，コンバインの走行面

積(オレンジ色)は，刈取部の右端と左端を連結した線分を積分して構成した．

4.2.3 未収穫作物のエッジ検出

𝑾空間上で表現した 3D点群から，リアルタイムで未収穫作物のエッジを検出するた

め，RANSAC(RANdom Sample Consensus)アルゴリズム 8)を使用した．Fischlerらが

提案した RANSACアルゴリズムは，ノイズを含めているデータ集合でモデルパラメー

タを予測する方法である． RANSACアルゴリズムは，データ集合の中でモデルパラメ

ータを決定するために，必要な最小のデータをランダムにサンプリングしながら繰り返

して解を計算し，最適の解を求める．この方法は，従来の統計的手法とは反対の概念を

持っている．統計的方法は，初期の解を計算するため，可能な限り多くのデータを用い

て，計算された解を利用してノイズを除去しながら最適の解を求める．しかし，

RANSAC アルゴリズムは，解を計算するための最小のデータを用いてデータの集合を

拡張しながら最適の解を求める．RANSAC アルゴリズムのフローチャート(図 4-10)と

疑似コード(表 4-2)は，次の通りである．

図 4-10 RANSACアルゴリズムのフローチャート

56

表 4-2 RANSACアルゴリズムの疑似コード 8)

Pseudo code for RANSAC algorithm

Given parameter:

data – a set of observed data point

model – a model that can be fitted to data points

�̅� – the minimum number of data values required to fit the model

�̅� – the maximum number of iterations allowed in the algorithm

𝑡 – a threshold value for determining when a data point fits a model

𝑑 – the number of close data values required to assert that a model fits well to

Data

Return:

bestfit – model parameters which best fit the data

(or nil if no good model is found)

iterations = 0, bestfit = nil, besterr = something really large

while iterations < �̅� {

maybeinliers = m randomly selected values from data

maybemodel = model parameters fitted to maybeinliers

alsoinliers = empty set

for every point in data not in maybeinliers {

if point fits maybemodel with an error smaller than t

add point to alsoinliers

}

if the number of elements in alsoinliers is > 𝑑 {

bettermodel = model parameters fitted to all point in maybeinliers and

alsoinliers

thiserr = a measure of how well model fits these points

if thiserr < besterr { bestfit = bettermodel, besterr = thiserr }

}

increment iterations

}

return bestfit

57

RANSAC アルゴリズムを用いた未収穫作物のエッジ検出方法は，推定プロセスと検

証プロセスで構成される．推定プロセスでは，境界点検出アルゴリズムを用いて取得し

た境界点が保存されているデータ集合𝑬(𝑘)で，ランダムに�̅�個のサンプルデータを選択

する．ここで，未収穫作物のエッジは，𝑾空間の𝑥𝑦平面上に構成するので，データ集合

𝑬(𝑘)の𝑧𝑀𝐴𝑃,𝑚,𝑖は0であり，サンプルデータ数�̅�は5である．選択したサンプルデータを

最小二乗法(Least Square Method)9)に適用して，直線モデルを推定する．検証プロセ

スでは，推定プロセスで推定した直線モデルとデータ集合𝑬(𝑘)の値の間の垂線の長さを

求める．垂線の長さが閾値𝑡よりも小さい場合インライア，閾値𝑡よりも大きい場合アウ

トライアと判断し，データ集合𝑬(𝑘)のインライアの割合を計算する．最後に，計算した

インライアの割合が，以前の直線モデルで計算したインライアの割合よりも大きい場合，

直線モデルを更新し，現在の直線モデルを最適な直線モデルと判断する．提案した方法

の実行回数�̅�は，式(4.6)によって求める．式(4.6)で，最小限一つのサンプル集合が有効

なデータのみを含める確率�̅�は0.99であり，有効なデータの確率�̅�は0.5である．図 4-11

は，提案した未収穫作物のエッジ検出方法を用いて，𝑾空間上で表現した未収穫作物の

エッジを示す．

図 4-11 𝑾空間上で表現した未収穫作物のエッジ

58

log(1 )

log(1 )m

pN

(4.6)

4.2.4 実験方法

提案した未収穫作物のエッジ検出方法の性能を評価するために，京都府南丹市の圃場

で自脱コンバインを用いて収穫作業を行い，LRF, GNSS, および GPSコンパスからデ

ータを取得した．収穫作業は，オペレータによって自脱コンバインを手動で運転して実

行され，自脱コンバインの平均走行速度は0.6 m/sであった．自脱コンバインは図 4-12

に示すように反時計回りに走行しながらの収穫作業を行った．具体的な実験方法は次の

通りである．まず，走行方向によって区間を分けて，データ集合𝑬(𝑘)を区間ごとに区分

する．区間ごとに検出した未収穫作物のエッジと目標経路の間の横方向オフセットを求

める．ここで，目標経路はコンバインの刈取部の右端の原点𝑶4の収穫の開始位置と終

了位置を接続した直線で構成する．目標経路を構成するために，熟練オペレータが通常

の収穫作業を実行する時の走行速度(約1.0 m/s)よりも低速(0.6 m/s)で走行することで，

未収穫作物のエッジに基づいて精密に，収穫作業を行った．

図 4-12 Google Maps(Google Inc.)に表現された自脱コンバインの走行軌路

59


図 4-13は，提案した方法を用いて構成した圃場の 3Dマップを示す．3Dマップの動

画は http://youtu.be/juyYuQfvgkk で確認することができる．提案した方法は，平均

35 msの処理速度で，センサからのデータの取得，3D マップの構成，未収穫作物のエ

ッジ検出の処理を行った．

図 4-13 圃場の 3Dマップ

表 4-3は，提案した方法を用いて区間ごとに計算した作物の高さの平均値，検出した

未収穫作物のエッジと目標経路の間の横方向オフセットの値を示す．作物の高さの平均

値は0.537 m，横方向オフセットの平均値は0.154 mであった．図 4-14 は，データ集合

𝑬(𝑘)(グレー点)，検出した未収穫作物のエッジ(赤線)，および目標経路(青い線)を示す．

図 4-14 において，横軸はコンバインの走行距離を意味し，縦軸は検出した未収穫作物

のエッジと目標経路の間の横方向オフセットの偏差値を意味する．コンバインの進行方

向𝜑を基準に，偏差値が負数(−)の場合，未収穫作物のエッジは，走行距離より左側に位

置する．逆に，偏差値が正数(+)の場合、未収穫作物のエッジは，走行距離より右側に

位置する．図 4-14 に示すように，区間ごとに検出した未収穫作物のエッジは，すべて

走行距離より右側に位置した．

60

(a) 区間 A

(b) 区間 B

図 4-14 データ集合𝑬(𝑘)と検出された未収穫作物のエッジ

61

(c) 区間 C

(d) 区間 D

図 4-14 データ集合𝑬(𝑘)と検出された未収穫作物のエッジ

62

表 4-3 作物の高さの平均値と横方向オフセットの値

Dataset Movement direction Average crop height[m] Lateral offset [m]

A South 0.514 0.294

B East 0.503 0.139

C North 0.549 0.067

D West 0.580 0.119

Average 0.537 0.154

表 4-4は，提案した未収穫作物のエッジ検出方法を用いて，区間ごとに検出した未収

穫作物のエッジとデータ集合𝑬(𝑘)の間の垂線の長さの平均値とインライアの割合を示

す．垂線の長さの平均値とインライアの割合は，各々0.063 m，81.6％である．未収穫

作物のエッジ検出方法で，垂線の長さが閾値𝑡よりも小さい場合インライア，閾値𝑡より

も大きい場合はずれ値と判断する．本研究では、閾値𝑡は0.1である．ここで，インライ

アの割合が大きいほど，検出された未収穫作物のエッジを基準に，データ集合𝑬(𝑘)の値

が高い密度で分布していることを意味する．

表 4-4 データ集合𝑬(𝑘)のインライアの割合と垂線の長さの平均値

Dataset Average perpendicular distance[m] Inlier ratio[%]

A 0.070 74.4

B 0.052 90.2

C 0.072 78.2

D 0.059 83.6

Average 0.063 81.6

検出した未収穫作物のエッジと目標経路の間の横方向オフセットの原因は，図 4-15

によって分析が可能である．図 4-15 は，コンバインに取り付けたカメラから取得した

区間 Aの圃場の映像である．カメラは LRFの座標系𝑾𝑏の𝑦𝑏軸上に取り付けた．区間 A

での収穫作業を実行する時に，オペレータは目標経路(青い線)を基準に運転するので，

コンバインの刈取部の右端は，目標経路上の近くに位置する．図 4-15 の赤線は，目標

経路の右側に位置する既収穫領域の条を意味する．日本では，一般的に圃場の行の間隔

𝑑𝑟は0.3 mである．したがって，目標経路と赤線の間の横方向オフセットの値は0.3 mで

63

ある．

区間 A で検出した未収穫作物のエッジと目標経路の間の横方向オフセットの値は

0.294 mで，図 4-15で表示した赤線と目標経路との間の横方向オフセットの値に近い値

である．このように横方向オフセットは，未収穫作物の倒伏によって作物の株元と赤線

の間の領域が隠されて発生する．しかし，現在のコンバインに取り付けた LRF の位置

(𝑶2)では，目標経路と赤線の間の領域をスキャンするのは難しい．したがって，LRF

の位置をコンバインの刈取部の右端を基準に右側に位置(𝑶𝑚𝑜𝑣𝑒𝑑)する必要がある．

図 4-15 カメラから取得した区間 Aの圃場の画像

4.4 摘要

本章では，LRFと GNSSによる未収穫作物のエッジ検出方法を提案した．提案した

方法は，次の通りである．まず，自脱コンバインに取り付けた LRF，GNSS，および

GPS コンパスからデータを取得する．取得したデータを用いて，リアルタイムでの圃

場の 3Dマップを構成し，境界点検出アルゴリズムを用いて，未収穫領域と既収穫領域

の間の境界点を検出する．最後に，境界点を保存したデータ集合で未収穫作物のエッジ

64

を検出する．

提案した方法は，平均35 msの処理速度で，センサからのデータの取得，3D マップ

の構成，未収穫作物のエッジ検出の処理が可能である．検出した未収穫作物のエッジと

目標経路の間の横方向オフセットの平均値は0.154 mであり，3Dマップを構成して取得

した作物の高さの平均値は0.537 mである．しかし，未収穫作物の倒伏によって作物の

株元が隠れている場合，検出性能が低下する傾向がある．したがって，提案した方法の

性能を更に向上するため，現在のコンバインに取り付けた LRF の位置を目標経路が正

確にスキャンできる位置に移動する必要がある．

65

参考文献

1) Ollis, M., & Stentz, A. (1997, September). Vision-based perception for an

automated harvester. In Intelligent Robots and Systems, 1997. IROS'97.,

Proceedings of the 1997 IEEE/RSJ International Conference on (Vol. 3, pp.

1838-1844). IEEE.

2) Benson, E. R., Reid, J. F., & Zhang, Q. (2003). Machine vision-based guidance

system for agricultural grain harvesters using cut-edge detection. Biosystems

Engineering, 86(4), 389-398.

3) Rovira-Más, F., Han, S., Wei, J., & Reid, J. F. (2007). Autonomous guidance of a

corn harvester using stereo vision. Agricultural Engineering International the

CIGR Journal (Vol. 6). CIGR.

4) Cho, W., Iida, M., Suguri, M., Masuda, R., & Kurita, H. (2014). Vision-based

uncut crop edge detection for automated guidance of head-feeding combine.

Engineering in Agriculture, Environment and Food, 7(2), 97-102.

5) Chateau, T., Debain, C., Collange, F., Trassoudaine, L., & Alizon, J. (2000).

Automatic guidance of agricultural vehicles using a laser sensor. Computers and

Electronics in Agriculture, 28(3), 243-257.

6) Cho, W., Iida, M., Suguri, M., Masuda, R., & Kurita, H. (2014). Using multiple

sensors to detect uncut crop edges for autonomous guidance systems of head-feeding

combine harvesters. Engineering in Agriculture, Environment and Food, 7(3),

115-121.

7) Kimberling, C. (2001). Triangle centers and central triangles. Utilitas

Mathematica Publishing, Inc.

8) Fischler, M. A., & Bolles, R. C. (1981). Random sample consensus: a paradigm for

model fitting with applications to image analysis and automated cartography.

Communications of the ACM, 24(6), 381-395.

9) Chavent, G. (1979, September). Identification of distributed parameter systems:

about the output least square method, its implementation and identifiability. In

Proc. 5th IFAC Symposium on Identification and System Parameter Estimation (Vol.

1, pp. 85-97).

66

第 5章 LRFと GNSSによる排出オーガの自動位置決め方法

5.1 はじめに

コメは東アジアにおいて主食となる作物である．その収穫には他の穀物と同様にコン

バイン収穫機が使用され，日本や大韓民国ではコメの収穫に自脱コンバインが広く用い

られる．そのため，京都大学のプロジェクトチームにおいて自脱コンバインロボットの

開発が行われてきた．Iidaら(2013)1) は，ロボットによる自動収穫について報告してお

り，ロボットが目標経路を生成し，経路追従制御を行うことによって十分な精度で収穫

作業を行ったことを示した．

収穫された穀物は通常，コンバインのグレーンタンク内に収められ，荷受け用のグレ

ーンコンテナに適宜排出される．これを穀粒排出作業と呼ぶ．自脱コンバインを自動化

する試みはなされてきたが，それらの研究は刈取作業の自動化のみに焦点を当てていた

2)-3)．したがって，コンバインのグレーンタンクが満量となった場合，従来のロボット

はロボット刈取作業を中断し，人間が農道付近までコンバインを移動させた上で，農道

上のグレーンコンテナに穀粒を手動で排出する必要があった．この排出作業の自動化の

ため， Kuritaら(2012, 2014)4)-5)は，マシンビジョンに基づいた排出作業の自動化手法

を提案している．この手法では，ロボットはグレーンコンテナを直接認識するのではな

く，コンテナを搭載している運搬車上に設置した板状のマーカを認識することによって

自動化を図っている．また，この手法を用いて，実際の圃場における自動排出を行った．

このようにコンバインロボットの開発が行われてきているが，将来的に，より知能化

されたロボットが開発・市販化された場合，コンバインロボットが使用される状況は場

所・時間に関して拡大していくことが予想される．現在のところ，コメの収穫作業は殆

どの場合昼間に行われるが，ゆくゆくは夜間においても収穫作業を行いたいという要求

が，特に大規模営農者から高まるであろうと考えられる．我々が開発したコンバインロ

ボットは，GNSSから取得した航法データに基づき走行するため，昼夜を問わない刈取

作業が可能である．一方，画像処理を用いた排出作業は夜間作業には適さないため，ロ

ボットが夜間でも排出作業を行うためには，新たな手法を開発する必要がある．

自動排出作業のためには，ロボットがグレーンコンテナを認識し，自身とコンテナ間

の相対的な位置・方向を取得しなければならない．このためには，コンバインからグレ

ーンコンテナまでの距離情報が不可欠となる．したがって，ビジョンに基づく手法に替

67

わる手法として，LRF を用いるのが合理的と考えられる．LRF は，屋内外を問わず車

両の自律走行に広く利用されている 6)-7). 農業機械に関する応用としては，Barawid ら

(2007) 8)が樹木列を検出することによって，果樹園におけるトラクタの自律走行を行っ

た．また，Cho ら(2014)9)は，コンバインの自律走行のため，稲の作物列を検出した．

しかしながら，穀粒排出作業に関わる，特定物体の検出やその相対的位置の取得といっ

た作業に LRFを利用した例はこれまで存在していない．

したがって本章の目的は，LRF，GNSS，および GPS コンパスを用いて，コンバイ

ン付近のグレーンコンテナを検出し，自動で穀粒排出作業を実行する手法を開発するこ

とである 10)．加えて，提案手法の性能を屋外環境下で検証する．



本研究で使用したセンサは，LRF (北陽電機(株), UTM-30LX), GNSS (Topcon Co.,

Ltd., AGI-3)，および GPSコンパス (Hemisphere Co., Ltd., ssV-102)である．各セン

サは，図 5-1 に示すように，自脱コンバイン (三菱農機(株), VY446LM) のルーフ上

(GNSSアンテナ，GPS コンパス) ，および排出オーガ(LRF) に取り付けた．

LRFは，2次元のスキャンを行い，スキャン範囲内の地形や物体のプロファイルを取

得する．表 5-1にその仕様を示す．本研究では，取得したスキャンデータのうち，LRF

の中心軸を中心として±60°のデータを使用した．コンバインの絶対位置を GNSS によ

って取得する．使用した GNSSは，GPS，GLONASS，および GALILEOをサポート

するマルチ GNSS である．受信信号の誤差を補正するため，VRS(Virtual Reference

Station)方式を採用した．これにより，±0.03 mの精度で位置を取得することが可能で

ある．コンバインの方位は GPSコンパスによって取得する．GPSコンパスは方位情報

を取得する 1次情報源として使用されるが，使用した GPSコンパスは 2次情報源とし

てジャイロセンサと傾斜センサを備えており，1次情報源が利用できない場合はこれら

を利用することもできる．本コンパスによって取得される方位情報は0.5°(RMS)の精度

を有する．使用したグレーンコンテナ (タイショ－(株)， SBX-11N) の仕様は，長さ

1.83 m，幅1.3 m，高さ1.17 mである．図 5-1に示したように，グレーンコンテナは運搬

車上に搭載されており，この場合の地面からの高さは1.77 mである．

68

図 5-1 センサを取り付けた自脱コンバインの外観

表 5-1 LRFの仕様


Model UTM-30LX

Accuracy 0.1 m to 10 m: ±30 mm,

10 m to 30 m: ±50 mm

Angular resolution 0.25°

Interface USB2.0

Scan angle 270°

Scan direction Counterclockwise

Scan range Guaranteed range: 0.1 m to 30 m

Scan speed 25 ms

69

排出オーガの自律位置決め方法は Visual C#を用いて開発され，センサから得たデー

タの入出力のためには ISCSPのドライバレイヤを利用した．そして，ISCSPの機能の

中で図 5-2に灰色で表示された機能を用いて，排出オーガの自動位置決めする過程，お

よび結果をリアルタイムで確認することができるグラフィカルユーザインタフェース

を図 5-3のように構成した．

図 5-2 排出オーガの自動位置決め方法のため使われた ISCSPの機能

図 5-3 排出オーガの自動位置決め過程，および結果を確認するための GUI

70

5.2.2 3次元マッピング

圃場においてグレーンコンテナを検出するため，センサから得たデータを用いて 3次

元 (3D)マップを作成する．図 5-4 は，取り付けたセンサの相対位置を示す．そして，

図 5-5は，センサと排出オーガの外部パラメータと各座標系を示す．

図 5-4 センサの相対的な位置関係

(a) y𝑎𝑧𝑎平面

図 5-5 センサの外部パラメータと各座標系

71

(b) x𝑎𝑦𝑎平面

図 5-5 センサの外部パラメータと各座標系

3D マップは 3 次元ユークリッド空間における右手系の直交座標系𝑾 = {(𝑥, 𝑦, 𝑧)𝑇} ∈

𝑬3上で表される．コンバインのスタート地点において GNSSから得られた座標を UTM

座標系における原点𝑶とし，北をy軸とする変換を施して表示する．

コンバインの位置(𝑷𝐺𝑁𝑆𝑆,𝑚 = [𝑥𝐺𝑁𝑆𝑆,𝑚, 𝑦𝐺𝑁𝑆𝑆,𝑚, 0]𝑇 ∈ 𝑬3)は，𝑾空間上において次のよ

うに表現される．ここで，𝑚はセンサからデータを取得したセンサデータのインデック

スである．コンバインの現在位置は GNSS のデータを UTM 座標系に変換し，変換し

た座標とスタート地点の偏差を求めることで取得する．コンバイン上に設定された相対

座標系(𝑾𝑎 = {(𝑥𝑎 , 𝑦𝑎 , 𝑧𝑎)𝑇} ∈ 𝑬3)は，現在位置を原点𝑶1，とし，コンバインの進行方向

を𝑦𝑎軸とする右手系の直交座標系である．GPS コンパスから得たコンバインの進行方

向𝜑は，GPSコンパスの基準軸𝑦𝑒を基準として，時計回りに取得する．本研究において，

𝑦𝑒軸は𝑾𝑎空間における𝑥𝑎𝑦𝑎平面上の𝑥𝑎軸に平行とするので，𝑦𝑎と𝑦𝑒のなす角は90°とな

る．したがって，コンバインの進行方向は GPSコンパスから取得した角度に+90°を加

えることによって得られる．

72

排出オーガは2自由度(two-degree-of-freedom, 2-DoF)システムとしてモデル化され，

関節 1(Joint1)と関節 2(Joint2)は排出オーガを各々，ヨー方向，ピッチ方向に回転させ

る．𝑾𝑎の原点𝑶1から関節 1 の原点𝑶2までの横方向距離𝑙𝑎は0.8 m，縦方向距離𝑙𝑏は

−2.0 mであり，高さ𝑙𝑐は1.7 mである．関節 1の座標系(𝑾𝑏 = {(𝑥𝑏 , 𝑦𝑏 , 𝑧𝑏)𝑇} ∈ 𝑬3)は，関

節 1の原点𝑶2において，𝑾𝑎の𝑧𝑎軸を反時計回りに270°回転させ，𝑙𝑎，𝑙𝑏，および𝑙𝑐だけ

平行移動して構成する．𝑾空間上で，関節 1 の原点𝑶2は式(5.1)によって計算する．関

節 1は𝑧𝑏軸を基準で反時計回りに角度𝜃1の回転を，0° < 𝜃1 < 90°の範囲で行う．

2

2

2

, ,

2 , ,

,

sin( 270 ) cos( 270 ) 0

( ) cos( 270 ) sin( 270 ) 0

0 0 0 1

O m GNSS m b

O m GNSS m a

cO m

x x l

O m y y l

lz

(5.1)

関節 1 の原点𝑶2から関節 2 の(図 5-5(a)に示す)原点𝑶3までの横方向距離𝑙𝑑は0.2 mで

ある．関節 2 の座標系(𝑾𝑐 = {(𝑥𝑐 , 𝑦𝑐 , 𝑧𝑐)𝑇} ∈ 𝑬3)は，関節 1 の座標系を𝑙𝑑だけ平行移動

して構成する．𝑾空間上で，関節 2の原点𝑶3は式(5.2)によって計算する．関節 2は𝑦𝑐軸

を基準で反時計回りに角度𝜃2の回転を，0° < 𝜃2 < 45°の範囲で行う．

3

3

3

, 1

3 , 2 1

,

sin( 180 ) 0 0

( ) ( ) cos( 180 ) 0 0 0

0 0 0 0

O m d

O m

O m

x l

O m y O m

z

(5.2)

関節 2の原点𝑶3から排出オーガに取り付けた LRFの原点𝑶4までの距離𝑙𝑒と排出オー

ガの排出口の原点𝑶5までの距離𝑙𝑓は各々，3.25 mと4.0 mである．𝑾空間上で，LRF の

原点𝑶4は式(5.3)によって計算する．LRF は𝑥𝑑𝑦𝑑平面をスキャニングして，データ

(𝑷𝐿𝑅𝐹,𝑖 = [𝜌𝐿𝑅𝐹,𝑖, 𝜃𝐿𝑅𝐹,𝑖]𝑇)を取得する．データのパラメータ𝜌と𝜃は，LRF から取得した

計測距離と計測角であり，𝑖はデータのインデックスである．

4

4

4

, 1 2

4 , 3 1

2,

sin( 90 ) 0 0 cos( )

( ) ( ) cos( 90 ) 0 0 0

0 0 1 sin( )

O m e

O m

eO m

x l

O m y O m

lz

(5.3)

73

構成した LRF の座標系とデータを用いて，𝑾空間上で 3D 点群 (𝑃𝑀𝐴𝑃,𝑚,𝑖 =

[𝑥𝑀𝐴𝑃,𝑚,𝑖, 𝑦𝑀𝐴𝑃,𝑚,𝑖, 𝑧𝑀𝐴𝑃,𝑚,𝑖]𝑇)を式(5.4)によって計算する．また，3D 点群を𝑧𝑀𝐴𝑃,𝑚,𝑖の値

によって区分するため，地面から5 mまでの高さを1 mの間隔で分けて，色を設定する

( 0.0 m ≤ violet < 1.0 m , 1.0 m ≤ indigo < 2.0 m , 2.0 m ≤ blue < 3.0 m , 3.0 m ≤

green < 4.0 m, 4.0 m ≤ yellow ≤ 5.0 m)．3D 点群の高さの値(𝑧𝑀𝐴𝑃,𝑚,𝑖)の範囲を5 mまで

設定した理由は，関節 2 の最大回転角(45°)でピッチ方向の回転をする場合，地面から

LRFの原点𝑶4までの高さは約4.0 mになるので，全体の 3D点群を表現することが可能

である．

, , 1 , , 2

, , , , 4 1

, , , , 2

sin( 90 ) 0 0 sin( )

( ) cos( 90 ) 0 0 0

0 0 1 cos( )

MAP m i LRF i LRF i

MAP m i MAP m i

MAP m i LRF i LRF i

x

P y O m

z

(5.4)

図 5-6 動的配列に保存した 3D点群を用いて構成した 3Dマップ

74

𝑧𝑀𝐴𝑃,𝑚,𝑖の値によって区分した 3D 点群は，5 つの動的配列(𝑫_𝑨𝒓𝒓𝒂𝒚𝑐𝑜𝑙𝑜𝑟(𝑘) =

{𝑥𝑀𝐴𝑃,𝑚,𝑖, 𝑦𝑀𝐴𝑃,𝑚,𝑖, 𝑧𝑀𝐴𝑃,𝑚,𝑖})に保存する．動的配列のパラメータ𝑐𝑜𝑙𝑜𝑟は，高さによって

設定した色であり，パラメータ𝑘は，動的配列のインデックスである．3D 点群を 5 つ

の動的配列に保存する理由は，次の通りである．高さによって 3D点群を 5つの動的配

列に保存することで，地面領域の 3D点群とグレーンコンテナの上端部分のエッジで構

成した上部四角形の 3D点群は，各々別の動的配列に保存するので，簡単に地面領域を

フィルタリングすることが可能である．したがって，グレーンコンテナを検出するため

の計算量を減らすことが可能である．図 5-6は，動的配列に保存した 3D点群を用いて，

OpenGLの 3次元ユークリッド空間上で表現した 3Dマップを示す．

5.2.3 グレーンコンテナの検出

排出オーガの排出口をグレーンコンテナの中心に位置するためには，3D マップ上に

表現されたグレーンコンテナの上端部分のエッジで構成した上部四角形を検出し，𝑾空

間上で上部四角形の高さを計算する必要がある．グレーンコンテナの上部四角形を検出

するため，𝑾空間の𝑥𝑦平面を投影面で設定し，5 つの動的配列(𝑫_𝑨𝒓𝒓𝒂𝒚𝑐𝑜𝑙𝑜𝑟(𝑘) =

{𝑥𝑀𝐴𝑃,𝑚,𝑖, 𝑦𝑀𝐴𝑃,𝑚,𝑖, 𝑧𝑀𝐴𝑃,𝑚,𝑖} )に保存した 3D 点群を400 × 400ピクセルのイメージ

(𝑰𝑐𝑜𝑙𝑜𝑟 = {𝑣, 𝑢} ∈ 𝑬2)に直交射影して，5つの上面図イメージを構成する．上面図イメー

ジのパラメータ𝑐𝑜𝑙𝑜𝑟は，高さによって設定した色である．図 5-7 は1 mから2 mまでの

𝑧𝑀𝐴𝑃,𝑚,𝑖の値をもつ 3D点群を保存した𝑫_𝑨𝒓𝒓𝒂𝒚𝑖𝑛𝑑𝑖𝑔𝑜(𝑘)を𝑰𝑖𝑛𝑑𝑖𝑔𝑜に直交射影して，構成

した上面図イメージを示す．𝑾空間の原点𝑶は𝑰𝑐𝑜𝑙𝑜𝑟の座標(200,200)に対応し，𝑰𝑐𝑜𝑙𝑜𝑟の

1つのピクセルは𝑾空間の0.05 m範囲に対応する．そして，𝑫_𝑨𝒓𝒓𝒂𝒚𝑐𝑜𝑙𝑜𝑟(𝑘)の𝑥𝑀𝐴𝑃,𝑚,𝑖と

𝑦𝑀𝐴𝑃,𝑚,𝑖は最隣接アルゴリズム 11)を用いて補間し，𝑰𝑐𝑜𝑙𝑜𝑟の𝑢と𝑣に保存する．𝑰𝑐𝑜𝑙𝑜𝑟の座

標の高さを保存するため，5 つの配列 (𝑯𝑐𝑜𝑙𝑜𝑟 = {𝑣, 𝑢, ℎ} )を構成する．そして，

𝑫_𝑨𝒓𝒓𝒂𝒚𝑐𝑜𝑙𝑜𝑟(𝑘)の𝑧𝑀𝐴𝑃,𝑚,𝑖を𝑯𝑐𝑜𝑙𝑜𝑟のℎに保存し，𝑰𝑐𝑜𝑙𝑜𝑟の𝑢と𝑣を𝑯𝑐𝑜𝑙𝑜𝑟の𝑢と𝑣に保存す

る．𝑯𝑐𝑜𝑙𝑜𝑟のℎの値が，対応する𝑫_𝑨𝒓𝒓𝒂𝒚𝑐𝑜𝑙𝑜𝑟(𝑘)の𝑧𝑀𝐴𝑃,𝑚,𝑖の値より小さい場合，ℎは

𝑧𝑀𝐴𝑃,𝑚,𝑖の値に変更する．

生成した上面図イメージで，グレーンコンテナの上部四角形を検出するために、

Kamaev(2013)12)が提案した OpenCV を用いた四角形検出アルゴリズムをベースに上

部四角形検出アルゴリズムを開発する．

75

図 5-7 𝑫_𝑨𝒓𝒓𝒂𝒚𝑖𝑛𝑑𝑖𝑔𝑜(𝑘)を𝑰𝑖𝑛𝑑𝑖𝑔𝑜に直交射影して，構成した上面図イメージ

上部四角形検出アルゴリズムのフローチャートは次の通りである(図 5-8)．上部四角

形検出アルゴリズムは機能によって，ノイズフィルタリング，エッジ検出，上部四角形

検出，𝑾空間上で上部四角形位置計算に区分することが可能である．ノイズフィルタリ

ングでは，OpenCV のダウンサンプリングとアップサンプリング関数を用いて，画像

に存在するノイズをフィルタリングする．エッジ検出では，Canny(1986)13)が提案した

Canny エッジデテクタアルゴリズムを用いて，ノイズをフィルタリングした画像でエッ

ジを検出し，OpenCV の dilate 関数を用いて検出したエッジの間の隙間を除去する．

上部四角形検出では，OpenCVの findContours関数を用いて画像内に存在する等高線

を検出し，OpenCV の approxPolyDP 関数を用いて，検出した等高線を近似化する．

76

検出した等高線が 4つの頂点を持っている場合，頂点を構成するジョイントのエッジの

内角のコサインの値が60°以上の場合，上部四角形の候補で判断し，頂点の値を保存す

る．𝑾空間上での上部四角形位置計算では，式(5.5)を用いて保存した頂点の値を𝑾空間

上の座標に変換し，𝑾空間上で表現した頂点の座標の値を用いて上部四角形の四辺の長

さを求め，辺の長さがグレーンコンテナの上部四角形の四辺の長さと誤差範囲±0.1 mを

有する場合，その頂点を上部四角形の頂点と判断する．各々の頂点の高さは，𝑯𝑐𝑜𝑙𝑜𝑟の

ℎを用いて取得する．図 5-9 は，提案した上部四角形検出アルゴリズムを用いて，上面

図イメージで上部四角形検出し𝑾空間上で検出した上部四角形を示す．

0.05( 200)

0.05( 200)

x

y

W u

W v

(5.5)

図 5-8 上部四角形検出アルゴリズムのフローチャート

77

(a) 処理した上面図イメージ

図 5-9 グレーンコンテナの上部四角形の検出結果

78

(b) 3Dマップ

図 5-9 グレーンコンテナの上部四角形の検出結果

5.2.4 オーガ排出口の位置決め

排出オーガの排出口をグレーンコンテナの上部四角形の中心点(𝑷𝑐 = {𝑥𝑐 , 𝑦𝑐 , 𝑧𝑐}𝑇)に

位置決めするための方法は，次の通りである．まず，図 5-10(a)に表現した上部四角形

の 4つの頂点を式(5.6)に代入して，上部四角形の中心点𝑷𝑐を求める．図 5-10(b)に示す

ように，排出オーガの排出口を𝑷𝑐の𝑧𝑐の値に位置決めするため，式(5.7)を用いて関節 2

のピッチ角𝜃𝐽𝑜𝑖𝑛𝑡2を求める．変数𝑟は，𝑾空間の𝑥𝑦平面を投影面で設定し，𝑙𝑐を直交射影

して得た値である．本研究では，自脱コンバインは一定の速度で直線走行を行うので，

図 5-10(a)に示すように出発時に獲得した関節 2 の原点(𝑷𝑠 = {𝑥𝑠, 𝑦𝑠, 𝑧𝑠}𝑇)とコンバイン

の進行方向を用いて，関節 2の目標経路を生成することが可能である．式(5.8)を用いて

関節 2の目標経路と𝑷𝑐を原点に半径𝑟を有する円と交点(𝑷𝑇 = {𝑥𝑇 , 𝑦𝑇 , 𝑧𝑇}𝑇)を求める．も

し，2 つの交点がある場合，𝑷𝑐，𝑷𝑇，および𝑷𝑠で構成された 2 つのベクトルの内角が

79

関節 1 の回転角𝜃1の範囲(0° < 𝜃1 < 90°)を満足する𝑷𝑇を関節 2 の目標位置(𝑷𝑑 =

{𝑥𝑑 , 𝑦𝑑 , 𝑧𝑑}𝑇)で構成し，内角を関節 1のヨー角𝜃𝐽𝑜𝑖𝑛𝑡1で構成する．図 5-11は提案した方

法を用いて𝜃𝐽𝑜𝑖𝑛𝑡1，𝜃𝐽𝑜𝑖𝑛𝑡2，および𝑷𝑑を計算し，3D マップ上で表現した排出オーガの

目標位置を示す．

1 3 2 4 1 3 2 2 4 4 2 4 1 3 2 4 1 1 3 3

2 4 1 3 1 3 2 4

2 4 1 3 2 4 1 1 3 3 1 3 2 4 1 3 2 2 4 4

1 3 2

( ){( )( ) } ( ){( )( ) }

3( )( ) 3( )( )

( ){( )( ) } ( ){( )( ) }

3( )(

c

c c

c

x

P y

z

x x y y x x y x y x x x y y x x y x y x

y y x x y y x x

y y x x y y x y x y y y x x y y x y x y

x x y

4 2 4 1 3

1 2 3 4

) 3( )( )

0.24

y x x y y

z z z z

(5.6)

1

int 2 cos ( )Jo

f

r

l (5.7)

2 2

2 2 2

2

2( ( ) ( ))

( ) ( )

4

2

2

0

x e s

y e s

a x y

b x s c y s c

c s c s c

d b a c

b d

s x

a

T

b d

T T s y

a

T

d x x

d y y

d d d

d d x x d y y

d x x y y r

d d d d

d dx d

dx

d dp y y d

dz

(5.8)

80

(a) 𝑥𝑦平面

(b) 𝑦𝑧平面

図 5-10 自脱コンバインとグレーンコンテナの上部四角形の相対位置

81

図 5-11 3D マップ上で表現した排出オーガの目標位置

5.2.5 実験方法

提案した方法のパフォーマンスを評価するために京都大学構内の空き地で，自脱コン

バインロボット 2号機を用いて実験を行った．実験のためにコンバインの出発位置，走

行向き，および関節 1と関節 2の初期回転角は手動で設定した．コンバインは次の通り

で排出オーガの自動位置決めを行う．コンバインは提案したアルゴリズムを用いて関節

2の目標経路を構成し，目標経路を基づいて0.1 m/sの走行速度で出発位置から5 m離れ

た終点位置まで前進直線走行しながら，コンバインに取り付けたセンサから得たデータ

を用いて 3Dマップを構成する．終点位置に到着すると，コンバインは停止した後，グ

レーンコンテナの上部四角形を検出し，排出オーガの関節 1と関節 2の目標回転角と関

節 2の目標位置を求める．最後に，関節 2の原点𝑶3と𝑷𝑑の間のユークリッド距離が0.1 m

以下になるまで，コンバインは関節 2の目標経路を基づいて−0.1 m/sの一定速度で後進

直線走行を行う．ユークリッド距離が0.1 m以下である場合，関節 1 と関節 2 の目標関

節を用いて，排出オーガを位置決めする．

82


提案した排出オーガの自動位置決め方法を用いて，排出オーガをグレーンコンテナの

中心に位置した後，トータルステーション(Sokkia Co., Ltd., SET4100s)を用いて，排

出オーガの排出口とグレーンコンテナの上部四角形の 4つの頂点を計測した．実験動画

は次のアドレスで確認することができる(http://youtu.be/o9wEuLfUkO8)．

図 5-12 は，排出オーガを自動位置決め制御した時の排出口の位置を示す．図ではグ

レーンコンテナの上面四角形の中心を原点とし，コンテナの長辺方向を𝑥軸，短辺方向

を𝑦軸で表している．排出口の位置は，光波距離計で測定を行った（黒点）．赤い点はグ

レーンコンテナの上部四角形の中心点であり，排出オーガの排出口が位置する目標点を

示す．また，点線四角形は許容誤差範囲を示す．許容誤差範囲は、穀物を損傷せずに排

出することができる範囲であり，Kuritaら(2012)4)が提案する許容誤差範囲を用いて設

定した．表 5-2 は，目標点と計測した排出口の間の相対位置の最大値 , 平均値 ,

RMSE(root-mean-square error)を示す．表 5-2のように，提案した方法は排出オーガ

の排出口を許容誤差範囲内に位置することが可能である．

(a) 𝑥𝑦平面

図 5-12 目標点と排出口の間の相対位置

83

(b) 𝑥𝑧平面

図 5-12 目標点と排出口の間の相対位置

表 5-2 目標点と排出口の間の相対位置の最大値,平均値,および RMSE

𝑥 [m] 𝑦 [m] 𝑧 [m]

Max 0.161 0.116 0.065

Mean 0.068 0.060 0.026

RMSE 0.083 0.067 0.032

排出オーガの自動位置決め方法の誤差の主な原因は，図 5-13 から推量することがで

きる．図 5-13は，関節 2が位置する目標点𝑷𝑑と関節 2の原点𝑶3の間の相対位置を示す．

赤点は𝑷𝑑であり，赤円は𝑷𝑑を中心に半径0.1 mで構成した円である．この赤円は関節 2

の許容誤差範囲を意味し，排出オーガが正常に位置決めするため，𝑶3が位置する許容

84

範囲を示す．予備実験を介して許容誤差範囲の半径を0.1 mで設定した場合，𝑶3が許容

誤差範囲内で最も安定して配置できる最小値であることを確認した．𝑶3が許容誤差範

囲内に位置する場合，コンバインは停止した後，排出オーガの位置決めを実行した結果，

図 5-13 で見られるように𝑶3は許容誤差範囲内の境界の付近に位置している．この時，

𝑷𝑑と𝑶3の間のユークリッド距離の誤差は排出オーガが位置決めする時の位置誤差に反

映される．表 5-3は，𝑷𝑑と𝑶3の間の相対位置の最大値，平均値，および RMSEを示す．

𝑷𝑑と𝑶3の間の相対位置の平均値(0.062, 0.051)と表 5-2 で目標点と計測した排出口の間

の相対位置の平均値(0.068, 0.060)との間の誤差は，(0.006, 0.009)であるので，𝑷𝑑と𝑶3の

間のユークリッド距離が排出オーガの位置決めにかなりの影響を及ぼしていることが

明らかである．

図 5-13 𝑷𝑑と𝑶3の間の相対位置

85

表 5-3 𝑷𝑑と𝑶3の間の相対位置の最大値, 平均値, および RMSE

𝑥 [m] 𝑦 [m]

Max 0.099 0.091

Mean 0.062 0.051

RMSE 0.066 0.058

5.4 摘要

本章では，LRFと GNSSによる排出オーガの自動位置決め方法を提案した．提案し

た方法は，自脱コンバインに取り付けた LRF，GNSS，および GPSコンパスから得た

データを用いて 3Dマップを構成し，上部四角形検出アルゴリズムを用いてグレーンコ

ンテナの上部四角形を検出した．そして，検出した上部四角形の中心点を求めて，排出

オーガの排出口を中心点に位置決めした．

トータルステーションを用いて計測した排出オーガの排出口の位置と上部四角形の

中心点の間の相対位置の誤差は最大値(0.161, 0.116, 0.065)，平均値(0.068, 0.060, 0.026)，

RMSE(0.083, 0.067, 0.032)であり，提案した方法が許容誤差範囲内に安定的に位置する

ことができていることを知ることができた．位置誤差の主な原因は，目標点𝑷𝑑と関節 2

の原点𝑶3との間の誤差で発生するので，今後，これを解決する方法の研究が必要であ

ると考える．

86

参考文献




2) Li, M., Imou, K., Wakabayashi, K., & Yokoyama, S. (2009). Review of research on

agricultural vehicle autonomous guidance. International Journal of Agricultural

and Biological Engineering, 2(3), 1-16.

3) Saito, M., Tamaki, K., Nishiwaki, K., & Nagasaka, Y. (2012). Development of an

autonomous rice combine harvester using CAN bus system. Journal of the Japanese

Society of Agricultural Machinery, 74(4), 312-317.




5) Kurita, H., Iida, M., Suguri, M., Masuda, R., & Cho, W. (2014). Efficient searching

for grain storage container by combine robot. Engineering in Agriculture,


6) Surmann, H., Nüchter, A., & Hertzberg, J. (2003). An autonomous mobile robot

with a 3D laser range finder for 3D exploration and digitalization of indoor

environments. Robotics and Autonomous Systems, 45(3), 181-198.

7) Cole, D. M., & Newman, P. M. (2006, May). Using laser range data for 3D SLAM

in outdoor environments. In Robotics and Automation, 2006. ICRA 2006.

Proceedings 2006 IEEE International Conference on (pp. 1556-1563). IEEE.

8) Barawid Jr, O. C., Mizushima, A., Ishii, K., & Noguchi, N. (2007). Development of

an autonomous navigation system using a two-dimensional laser scanner in an

orchard application. Biosystems Engineering, 96(2), 139-149.

9) Cho, W., Iida, M., Suguri, M., Masuda, R., & Kurita, H. (2014). Using multiple

sensors to detect uncut crop edges for autonomous guidance systems of head-feeding

combine harvesters. Engineering in Agriculture, Environment and Food, 7(3),

115-121.

10) Cho, W., Kurita, H., Iida, M., Suguri, M., & Masuda, R. (in press). Autonomous

Positioning of the Unloading Auger of a Combine Harvester by a Laser Sensor and

87

GNSS. Engineering in Agriculture, Environment and Food.

11) Cover, T., & Hart, P. (1967). Nearest neighbor pattern classification. Information

Theory, IEEE Transactions on, 13(1), 21-27.

12) Kamaev, A., (2013). Square detector program. 2014 GitHub Inc. Retrieved

November 17, from https://github.com/Itseez/opencv/blob/master/samples/cpp/squa-

res.cpp

13) Canny, J. (1986). A computational approach to edge detection. Pattern Analysis

and Machine Intelligence, IEEE Transactions on, (6), 679-698.

88

第 6章総括

本研究では，自脱コンバインロボットに必要な機能を API(Application

Programming Interface)形式で提供する統合センサ制御ソフトウェアプラットフォー

ム(Integrated Sensor Control Software Platform, ISCSP)を開発した．この ISCSPを

用いて，自脱コンバインロボットの自動誘導に要求される未収穫作物のエッジ検出方法

と排出オーガの自動位置決め方法を開発した．具体的な研究内容と成果は次の通りであ

る．

(1) 第 2 章では，自脱コンバインロボットの開発に必要な機能を API 形式で提供す

る ISCSP を提案した．提案したプラットフォームは，次のような特徴を持っている．

まず，ロボットに取り付けた様々なセンサ(LRF、マシンビジョン、GNSS、GPS コン

パス)とコンポーネントのデータの入出力をサポートし，データをリアルタイムで確認

することができる GUIを提供する．また，自脱コンバインロボットの開発に必要な様々

なアルゴリズムを API 形式で提供するので，開発者が具体的なアルゴリズムの内容を

知らなくても，関数のパラメータを代入すると，結果を得ることができる．さらに，

ISCSP はオープンソースの形で公開されているので，自由にソースコードの修正と再

配布が可能である．

(2) 第 3章では，自脱コンバインロボットに取り付けたカメラから得た画像を用いて

未収穫作物のエッジを検出するアルゴリズムを提案した．提案したアルゴリズムの検出

プロセスは，次の通りである．まず，IPM(逆遠近法マッピング)アルゴリズムを用いて

画像に存在する遠近効果を除去し，画像で表現した未収穫作物の行列を平行に復元した．

次に， ExGB(excess green minus excess blue index)方法を用いてノイズが存在する

IPM 画像からノイズをフィルタリングし，未収穫領域をセグメンテーションした．最

後に，ExGB画像の列のグレースケールの平均値を求め，平均値の最大値を用いて未収

穫作物のエッジを検出した．提案したアルゴリズムの精度は約95 %であり，平均処理

速度は約33 msで，リアルタイムで未収穫作物のエッジを検出することができた．

(3) 第 4 章では，LRF と GNSS による未収穫作物のエッジ検出方法を提案した．提

案した方法は，次の通りである．まず，自脱コンバインに取り付けた LRF，GNSS，

89

および GPS コンパスからデータを取得する．取得したデータを用いて，リアルタイム

での圃場の 3Dマップを構成し，境界点検出アルゴリズムを用いて，未収穫領域と既収

穫領域の間の境界点を検出する．最後に，境界点を保存したデータ集合で未収穫作物の

エッジを検出する．提案した方法は，平均35 msの処理速度で，センサからのデータの

取得，3D マップの構成，未収穫作物のエッジ検出の処理が可能である．検出した未収

穫作物のエッジと目標経路の間の横方向オフセットの平均値は0.154 mであり，3Dマッ

プを構成して取得した作物の高さの平均値は0.537 mである．提案した方法は，ノイズ

を含めたデータ集合で，最小のサンプルデータを用いて、未収穫作物のエッジを検出す

ることが可能である．

(4) 第 5 章では，LRF と GNSS による排出オーガの自律位置決め方法を提案した．

この方法では，自脱コンバインに取り付けた LRF，GNSS，および GPSコンパスから

得たデータを用いて 3Dマップを構成し，上部四角形検出アルゴリズムを用いてグレー

ンコンテナの上部四角形を検出し，上部四角形の中心点を求めて，排出オーガの排出口

を中心点に位置決めを行う．トータルステーションを用いて計測した排出オーガの排出

口の位置と上部四角形の中心点の間の相対位置の誤差は最大値(0.161, 0.116, 0.065)，平

均値(0.068, 0.060, 0.026)，RMSE(0.083, 0.067, 0.032)であり，提案した方法で許容誤差

範囲内に安定的に位置決めできた．

このように，本研究で提案した ISCSP は，自脱コンバインロボットの開発に必要な

様々な機能を API 形式で提供し，開発の重複を避け，機能をモジュール化して，特定

の機能の障害がシステム全体の障害に拡張されることを防ぐことができた．また，

ISCSP を用いて開発した未収穫作物のエッジ検出方法と排出オーガの自動位置決め方

法は，圃場で自脱コンバインロボットの自動誘導，および穀物の自動排出のために十分

な性能を示した．ISCSP と提案した方法の性能を向上させるために，今後様々な自脱

コンバインロボットに適用して実験する必要がある．

90

謝辞

本論文をまとめるにあたってご指導を頂きました京都大学大学院農学研究科飯田訓

久教授に心から感謝いたします．博士課程後期の指導教授として，研究の方向性を導い

てくださいました．研究活動のみならず，多様な活動への参加を促してくださったこと

も大きな助けになりました．同研究室の村主勝彦助教，増田良平助教にもご指導を賜り

ました．厚く感謝申し上げます．事務補佐員の久保雅美さんの的確な助力のおかげで，

研究に集中して取り組むことが出来ました．また，共に研究室生活を送った栗田寛樹先

輩，小野山博之先輩の励ましと助言のおかげで楽しい研究生活を送ることが出来ました．

京都大学農学研究科近藤直教授，中嶋洋准教授からも論文をまとめるにあたりご指導

を賜りました．ここに深謝の意を表します．

山岡育英会からは二年間にわたって経済的なご支援を頂きました．また日本の文化に

触れる機会を数多く提供していただき，有意義な留学生生活を送ることが出来ました．

心から感謝いたします．

日本での留学生生活の初めにあたり九州工業大学情報工学部修士時代の指導教授で

あった田中和明准教授に厚く感謝いたします．また同じく九州工業大学の前副総長中垣

通彦教授，情報工学部許宗焄准教授にも心より感謝申し上げます．

最後に日本での留学生活を支えてくれた友人，愛する妻福冨明日香，愛する娘のはら，

そして韓国にいる両親，福岡にいる義両親に心より感謝いたします．

Date post:	20-Jun-2020
Category:	Documents
Upload:	others
View:	0 times
Download:	0 times

Title ソフトウェアプラットフォームを用いたコンバ...

Documents