自律移動ロボットの動作計画方法、自律移動ロボットの動作計画方法を利用した自律移動ロボットの制御方法、自律移動ロボットの動作計画装置、自律移動ロボットの動作制御装置、自律移動ロボットの動作計画プログラム、自律移動ロボットの制御プログラム
【課題】流速および流れの向きが不確定な環境中において、自律移動ロボットが目標位置に十分な精度で到達することを可能ならしめる動作計画を行う。
【解決手段】部分観測マルコフ決定過程（POMDP）のうち、行動主体の状態についての確率分布が状態のエントロピーにて表現可能であるという仮定に基づくAugmented MDPにおける動的計画法を応用する。本発明では、自律移動ロボットの状態が、デカルト座標、方位角、当該デカルト座標の確率分布についてのエントロピー、当該方位角の確率分布についてのエントロピーを含んで表現されており、デカルト座標と方位角からなる位置座標を確率的に計算する。
【解決手段】部分観測マルコフ決定過程（POMDP）のうち、行動主体の状態についての確率分布が状態のエントロピーにて表現可能であるという仮定に基づくAugmented MDPにおける動的計画法を応用する。本発明では、自律移動ロボットの状態が、デカルト座標、方位角、当該デカルト座標の確率分布についてのエントロピー、当該方位角の確率分布についてのエントロピーを含んで表現されており、デカルト座標と方位角からなる位置座標を確率的に計算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律移動ロボットの動作計画方法及びこれを用いた自律移動ロボットの制御方法に関する。より詳しくは、流速が不確定な流体外乱の存在する環境中で、自律移動ロボットが障害物との衝突を高確率で回避し目標位置に高精度で到達することを可能ならしめる動作計画を行うための技術、そしてその動作計画に基づいて自律移動ロボットを制御するための技術に関する。
【背景技術】
【０００２】
近年、屋外で活動可能な自律移動ロボットの研究が活発に行われており、それらの応用先が広がりつつある。このような、自律移動ロボットの一例として、自律飛行船を挙げることができる。自律飛行船は、浮力を利用して空中に静止することが可能であり、当該機体に搭載したアクチュエータ（推進器や舵など）によって自身の運動を制御することが可能である。このような特性から、例えば、自律飛行船を地雷探査機として、あるいは大地震後の空中携帯電話中継局として応用することが期待される。
【０００３】
しかし、自律飛行船は、その機体比重を大気と同じにしなければならないために、機体重量は軽くなければならず、搭載可能なアクチュエータの数やその重量に大きな制約がある。このため、自律飛行船は一般に劣駆動ロボットと呼ばれるものである。劣駆動ロボットとは、劣駆動ロボットに搭載されたアクチュエータによって直接制御可能な劣駆動ロボットの運動自由度数が、劣駆動ロボットの実際の運動自由度数よりも少ないロボットのことである。このような劣駆動ロボットの制御には高度な知的制御アルゴリズムが必要であることが知られている。さらに、自律飛行船の比重は周囲の大気のそれと同じであることから、運動におけるイナーシャが高い。加えて、自律飛行船が受ける空気抵抗に対するアクチュエータの推力が小さいため、一般に自律飛行船の最大航行速度は低い。また、風外乱によってその運動が大きく影響を受けやすいことも問題である。
【０００４】
上述のような特性を持つ自律飛行船を、風外乱と障害物の存在する環境において制御するには、マルコフ決定過程（MDP）における動的計画法の手法を応用した動作計画法を適用することが有効であるとされている（非特許文献１）。
【０００５】
なお、ここでは自律移動ロボットの例として自律飛行船を挙げたが、この他に例えば水中無人探査機のような自律水中ロボットなども例示でき、自律飛行船と同様の特性を持つ。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Kawano H., "Three-dimensional Obstacle Avoidance of Blimp-type Unmanned Aerial Vehicle Flying in Unknown and Non-uniform Wind Disturbance", JSME International Journal of Robotics and Mechatronics, Vol.19 No.2, April, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１に開示される技術は、自律飛行船の動作環境における風速と風向の不確定性を考慮していないため、風速および風向が不確定な環境中において、目標地点までの到達を十分な精度で達成することが必ずしも容易ではない。また、位置計測センサが持つ計測値の確率的な性質を考慮することもしていない。
【０００８】
そこで本発明は、流速および流れの向きが不確定な環境中において、自律移動ロボットが障害物との衝突を高確率で回避し目標位置に十分な精度で到達することを可能ならしめる動作計画を行うための技術、そしてその動作計画に基づいて自律移動ロボットを制御するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明である自律移動ロボットの動作計画技術は次のとおりである。自律移動ロボットの状態が、デカルト座標、方位角、当該デカルト座標の確率分布についてのエントロピー、当該方位角の確率分布についてのエントロピーを含んで表現されるとし、自律移動ロボットが遷移しえる予め定められた状態の集合（状態集合）と自律移動ロボットの採りえる行動の集合（行動集合）が予め定められている。そして、状態・行動選択部が、状態集合の要素と行動集合の要素との組み合わせのうち未選択の組み合わせを選択する〔状態・行動選択処理〕。現在位置座標決定部は、状態・行動選択処理において選択された組み合わせに含まれる状態の下で、自律移動ロボットのデカルト座標および方位角を要素とする位置座標の確率分布を計算し〔現在位置座標決定処理〕、移動先位置座標選択部は、状態遷移確率に基づき、自律移動ロボットの移動後の位置を計算する〔移動先位置座標選択処理〕。さらに、存在確率計算部が、現在位置座標決定処理で計算された自律移動ロボットの位置座標の確率分布にベイジアンフィルタを適用して、遷移先の状態を求め〔存在確率計算処理〕、遷移確率計算部が、現在の状態から存在確率計算処理で得られた状態へ遷移する遷移確率と当該遷移に伴う報酬を計算する〔遷移確率計算処理〕。制御部は、状態・行動選択処理において選択された組み合わせについて、現在位置座標決定処理、移動先位置座標選択処理、存在確率計算処理、遷移確率計算処理を所定回数繰り返し実行し、当該所定回数繰り返し実行した場合には、状態・行動選択処理を行う制御を行う〔制御処理〕。そして、価値関数計算部が、遷移確率と報酬を用いて価値関数を計算し〔価値関数計算処理〕、方策計算部が、遷移確率と報酬と価値関数を用いて表される方策関数を計算する〔方策計算処理〕。
【００１０】
また、動作計画技術においては、計測位置座標選択部が、自律移動ロボットの位置座標を計測するセンサの計測誤差を確率分布で表し、当該センサで計測された位置座標と移動先位置座標選択処理において得られた自律移動ロボットの移動後の位置との誤差に基づいて、自律移動ロボットの移動後の位置を計算する〔計測位置座標選択〕としてもよい。この場合、存在確率計算処理では、存在確率計算部が、現在位置座標決定処理で計算された自律移動ロボットの位置座標の確率分布にベイジアンフィルタを適用して得られた確率分布を計測位置座標選択処理で得られた自律移動ロボットの移動後の位置に基づいて補正して、遷移先の状態を求めることになる。なお、制御処理では、制御部が、状態・行動選択処理において選択された組み合わせについて、現在位置座標決定処理、移動先位置座標選択処理、計測位置座標選択処理、存在確率計算処理、遷移確率計算処理の各処理を所定回数繰り返し実行し、当該所定回数繰り返し実行した場合には、状態・行動選択処理を行う制御を行う。
【００１１】
遷移確率を求めるための計算を自律移動ロボットの１回の行動で遷移可能な状態の範囲に限定してもよいし、遷移確率が０である場合には価値関数の計算を行わないようにしてもよい。
【００１２】
本発明である自律移動ロボットの制御技術は、上述の自律移動ロボットの動作計画技術で決まった動作計画に基づき、自律移動ロボットを制御する。動作計画技術により得られた方策関数および、自律移動ロボットの採りえる行動の集合は記憶部に記憶されている。位置取得部が、自律移動ロボットのデカルト座標および方位角を要素とする位置座標を計測するセンサの計測結果を取得する〔位置取得処理〕。そして、状態遷移確率計算部が、状態遷移確率に基づき、自律移動ロボットの移動後の位置を計算する〔状態遷移確率計算〕。存在確率予測値計算部は、位置取得処理にて取得された位置座標から遷移先の位置座標に自律移動ロボットが存在する確率の予測値（存在確率予測値）を求める〔存在確率予測値計算処理〕。移動先状態決定部は、存在確率予測値を最大にする位置座標を遷移先とする〔移動先状態決定処理〕。行動決定部は、方策関数により行動を決定する〔行動決定処理〕。
【００１３】
この制御技術においては、計測確率計算部が、確率分布で表されたセンサの計測誤差に基づいて、センサで計測された位置座標の確率分布を求め〔計測確率計算処理〕、存在確率予測値補正部が、存在確率予測値を計測確率計算処理で得られた確率分布に基づいて補正する〔存在確率予測値補正処理〕としてもよい。この場合、移動先状態決定処理では、移動先状態決定部が、存在確率予測値補正処理で補正された存在確率予測値を最大にする位置座標を遷移先とする。
【発明の効果】
【００１４】
本発明に拠れば、自律移動ロボットの状態が、デカルト座標と方位角に加えて、当該デカルト座標の確率分布についてのエントロピー、当該方位角の確率分布についてのエントロピーを含んで表現されており、デカルト座標と方位角からなる位置座標が確率的に計算されることから、流速および流れの向きが不確定な環境中において、自律移動ロボットが障害物との衝突を高確率で回避し目標位置に十分な精度で到達することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】行動計画装置の機能構成例を示す図。
【図２】行動計画方法の処理手順を示す図。
【図３】行動制御装置の機能構成例を示す図。
【図４】行動制御方法の処理手順を示す図。
【発明を実施するための形態】
【００１６】
図面１−４を参照して本発明の実施形態を説明する。なお、説明を具体的にするために自律移動ロボット（行動主体）の一例として自律飛行船を採用する。劣駆動ロボットとしての自律飛行船の例として、舵と前後進用推進器を装備した自律飛行船を考えることができる。自律飛行船の重心位置は通常低く設定されているので縦横姿勢傾斜（pitchingとrolling）に対する復元力は大きく、自律飛行船の姿勢角は方位角（yawing）を除いてほぼ０に維持される。また、自律飛行船に搭載される位置計測用のセンサとして、例えば、複数の無線LAN方式の位置計測センサを採用する。計算の都合、無線LAN方式の位置計測センサは自律飛行船の水平面内重心位置に装備されているとする。さらに、自律飛行船は、方位角の値を直接計測するための方位角計測センサとしてジャイロセンサも装備している。これらのセンサによって、自律飛行船の３次元デカルト座標（世界座標）と方位角の実時間での計測が可能である。
【００１７】
時刻ｔにおける位置計測センサの計測値を（Ｍｘ（ｔ），Ｍｙ（ｔ），Ｍｚ（ｔ））とし、方位角計測センサの計測値をＭφ（ｔ）とする。そして、自律飛行船の重心位置の真値を（Ｘｇ（ｔ），Ｙｇ（ｔ），Ｚｇ（ｔ））とし、方位角の真値をφ（ｔ）とする。自律飛行船の重心位置を表現するデカルト座標は、水平面内では、Ｘ軸もしくはＹ軸が平均風向に平行であるように定義する。ここでは、Ｙ軸が平均風向に一致しているとする。Ｘ軸に平均風向が一致している場合については、以下の記述でのＹ軸に関する説明をＸ軸に置き換えて理解すればよいから説明を省略する。なお、デカルト座標の設定は任意であるから、平均風向がＸ軸とＹ軸のいずれの軸にも一致しないということを避けることができることは云うまでもない。
【００１８】
〔従来モデル〕
本発明の理解の一助として、まず従来的手法について概説する。
従来技術は、マルコフ決定過程(MDP)を利用して、自律飛行船の動作計画を行う。MDPでは環境が以下のようにモデル化される。
【００１９】
環境を以下のようにモデル化したものが、マルコフ状態遷移モデルである（強化学習〔Reinforcement Learning〕におけるマルコフ決定過程〔Markov decision Process〕）。環境のとりうる離散的な状態の集合をＳ＝｛ｓ１，ｓ２，…，ｓｎ｝、行動主体が取り得る行動の集合をＡ＝｛ａ１，ａ２，…ａｍ｝と表す。環境中のある状態ｓ∈Ｓにおいて、行動主体がある行動ａ∈Ａを実行すると、環境は確率的に状態ｓ’∈Ｓへ遷移する。その遷移確率を
Ｐ（ｓ’｜ｓ，ａ）＝Ｐｒ｛ｓｔ＋１＝ｓ’｜ｓｔ＝ｓ，ａｔ＝ａ｝
により表す。このとき環境から行動主体へ報酬ｒが確率的に与えられるが、その期待値を
Ｒ（ｓ’｜ｓ，ａ）＝Ｅ｛ｒｔ｜ｓｔ＝ｓ，ａｔ＝ａ，ｓｔ＋１＝ｓ’｝
とする。行動主体の各時刻における意志決定は方策関数
π（ｓ，ａ）＝Ｐｒ｛ａｔ＝ａ｜ｓｔ＝ｓ｝
によって表される。π（ｓ，ａ）は、全状態ｓおよび全行動ａにおいて定義される。方策関数π（ｓ，ａ）は、単に方策πとも呼ばれる。なお、状態ｓ’に附されている記号’は、状態ｓとの識別を図るための記号である。
【００２０】
状態ｓはｓ＝（Ｘｓ，Ｙｓ，Ｚｓ，φｓ）により構成される。
Ｘｓ：Ｘ軸の離散化表現。自律飛行船の存在確率の最も高いＸ座標。
Ｙｓ：Ｙ軸の離散化表現。自律飛行船の存在確率の最も高いＹ座標。
Ｚｓ：Ｚ軸の離散化表現。自律飛行船の存在確率の最も高いＺ座標。
φｓ：φ軸の離散化表現。自律飛行船の存在確率の最も高いφ座標（φは方位角）。
【００２１】
ある時刻ｔで実行した行動が、その後の報酬獲得にどの程度貢献したのかを評価するため、その後に得られる報酬の時系列を考える。報酬の時系列評価は価値と呼ばれる。行動主体の目標は、価値を最大化すること、あるいはそのような方策を求めることである。価値は、時間の経過とともに報酬を割引率γ（０≦γ＜１）で割引いて合計される。すなわち、ある時刻ｔにおける状態ｓにおいて、ある行動ａを実行したときの価値関数Ｖπ（ｓ）は、以下のように定義される。Ｅπは期待値を求める関数である。
【数１】
【００２２】
ここでは価値関数として方策πの下での状態ｓの価値である状態価値関数Ｖπ（ｓ）を例示したが、方策πの下で状態ｓにおいて行動ａを採ることの価値である行動価値関数Ｑπ（ｓ，ａ）を採用することもできる。
【数２】
【００２３】
行動主体の目標は、最適な方策を求めること、つまり任意の状態ｓについて価値関数（上記の例では状態価値関数Ｖπ（ｓ）である）が他の方策を採った場合よりも劣るものではない方策を求めることである。この方策の探求は、Bellman方程式で表され、すべての状態ｓ、行動ａ、遷移先の状態ｓ’の組み合わせについてのＰ（ｓ’｜ｓ，ａ）とＲ（ｓ’｜ｓ，ａ）の値が定まっていれば、ダイナミックプログラミング（Dynamic Programming）法により、最適な価値関数Ｖπ（ｓ）及び方策πを計算することができる（例えば、三上 貞芳、皆川 雅章 共訳、R.S.Sutton、A.G.Barto 原著「強化学習」森北出版、1998、pp.94-118参照）。ダイナミックプログラミング法の処理は、周知技術であるため説明は省略する。
【００２４】
〔本発明におけるモデル〕
本発明は、部分観測マルコフ決定過程（POMDP）のうち、行動主体の状態についての確率分布（これは一般的に信念と呼ばれる）が状態のエントロピーにて表現可能であるという仮定に基づく、いわばPOMDPのサブセットであるAugmented MDP（A-MDP）における動的計画法を応用する。これにより、流速や流れの向きが変化した際の自律移動ロボットの位置や方位角のずれの不確定性の程度が自律移動ロボットの方位角によって異なりえるが、本発明によって最適な経路が変化することを考慮した自律移動ロボットの動作計画が現実的な計算負荷で可能である。
【００２５】
本発明で利用するA-MDPにおいては、MDPと同様に離散空間で状態が表現される。ただし、当該A-MDPでは、従来的なMDPと異なり、「自律飛行船の状態がどの状態にあるのかという確率」（信念）を記述するための変数がA-MDPの状態空間の要素である状態に追加されている。このため本発明では、状態空間を信念空間Ｂ＝｛ｂ１，ｂ２，…，ｂｎ｝として構築する。ここで、信念空間中の状態ｂ∈Ｂは、ｂ＝（Ｘｂ，Ｙｂ，Ｚｂ，φｂ，ＨＸｂ，ＨＹｂ，ＨＺｂ，Ｈφｂ）である。各変数の意味は以下の通りである。
Ｘｂ：Ｘ軸の離散化表現。状態ｂにおいて自律飛行船の存在確率の最も高いＸ座標。
Ｙｂ：Ｙ軸の離散化表現。状態ｂにおいて自律飛行船の存在確率の最も高いＹ座標。
Ｚｂ：Ｚ軸の離散化表現。状態ｂにおいて自律飛行船の存在確率の最も高いＺ座標。
φｂ：φ軸の離散化表現。状態ｂにおいて自律飛行船の存在確率の最も高いφ座標。
ＨＸｂ：自律飛行船のＸｂ値の確率分布についてのエントロピーＨＸの離散化表現。
ＨＹｂ：自律飛行船のＹｂ値の確率分布についてのエントロピーＨＹの離散化表現。
ＨＺｂ：自律飛行船のＺｂ値の確率分布についてのエントロピーＨｚの離散化表現。
Ｈφｂ：自律飛行船のφｂ値の確率分布についてのエントロピーＨφの離散化表現。
【００２６】
信念空間中の状態ｂ∈Ｂは、MDPの場合の状態空間Ｓに含まれる状態ｓ＝（Ｘｓ，Ｙｓ，Ｚｓ，φｓ）に対応するものである。また、以下の説明では、状態ｂにおいて最も存在確率の高い位置座標を（Ｘｂ，Ｙｂ，Ｚｂ，φｂ）と表記し、それよりも存在確率の低い位置座標を（Ｘｂ，ｉ，Ｙｂ，ｉ，Ｚｂ，ｉ，φｂ，ｉ）と表記する。
【００２７】
離散状態空間に確率の概念を導入することの意義は、自律飛行船の任務環境内に吹いている風の速度が一定ではなく或る幅の揺らぎをもって変化していることを考慮できる点にある。現実には、風速が平均値を中心にランダムに変化することが多い。このため、風の影響を受けて飛行する自律飛行船の毎回の行動ごとの変位量もその度にランダムに変化するのである。このような自律飛行船の変位の揺らぎに加えて自律飛行船の位置姿勢を計測するセンサの確率的計測精度を考慮したうえで、行動選択を行う毎に自律飛行船の任務環境内における各位置での存在確率を評価し、行動選択に反映することが本発明の特徴の一つとなっている。
【００２８】
ここで、エントロピーの定義を述べる。エントロピーとは確率分布のばらつき具合を記述する変数である。一例として、自律飛行船のＸ方向の位置がＸｂ，ｉ値である確率をＰ（Ｘｂ，ｉ）とするとＸｂ値の確率分布についてのエントロピーＨＸは式（１）により計算される。ＨＸｂはこのＨＸの値を離散化したものである。
【数３】
【００２９】
同様に、自律飛行船のＹ方向の位置がＹｂ，ｉ値である確率をＰ（Ｙｂ，ｉ）とするとＹｂ値の確率分布についてのエントロピーＨＹは式（２）により、自律飛行船のＺ方向の位置がＺｂ，ｉ値である確率をＰ（Ｚｂ，ｉ）とするとＺｂ値の確率分布についてのエントロピーＨＺは式（３）により、自律飛行船の方位角がφｂ，ｉ値である確率をＰ（φｂ，ｉ）とするとφｂ値の確率分布についてのエントロピーＨφは式（４）により計算される。ＨＹｂはこのＨＹの値を離散化したものであり、ＨＺｂはこのＨＺの値を離散化したものであり、ＨφｂはこのＨφの値を離散化したものである。
【数４】
【００３０】
A-MDPにおいても、MDPの場合と同様に、或る時刻ｔにおける状態ｂ∈Ｂにおいて、最適な行動ａを実行したときの価値関数Ｖ（ｂ）を求めることにより方策π（ｂ）を決定する。そして、行動の結果与えられる報酬と結果として起こる状態遷移の確率が定義されることにより、A-MDPは完全に定義される。状態遷移確率と報酬は以下のように定義される。
Ｐ（ｂ’｜ｂ，ａ）:状態ｂにおいて行動ａを選択した際に、状態が状態ｂ’に遷移する確率。
Ｒ（ｂ，ａ）:状態ｂにおいて行動ａを選択した際に与えられる報酬。
これらは、MDPの場合のＰ（ｓ’｜ｓ，ａ）およびＲ（ｓ’｜ｓ，ａ）に対応する。
【００３１】
価値関数Ｖπ（ｂ）は、更新式による繰り返し計算で得られる。この更新式は、繰り返し回数をＴとして式（５）で表される。Σはすべてのｂ’における総和を表す。γは０＜γ≦１を満たす定数である。
【数５】
【００３２】
あるいは、報酬として状態ｂ’が関係する場合には、つまり報酬がＲ（ｂ’｜ｂ，ａ）の場合には、式（５）に替えて式（５．１）が用いられる。ここで、Ｐ（ｂ’｜ｂ，ａ）は、状態がｂの時に行動ａを選択した後に状態がｂ’となる確率である。また、Ｒ（ｂ’｜ｂ，ａ）は、状態がｂの時に行動ａを選択した後に状態がｂ’に遷移したときに与えられる報酬の値である。
【数６】
【００３３】
上記の式（５）ないし式（５．１）による価値関数Ｖπ（ｂ）の更新を｜ＶπＴ（ｂ）−ＶπＴ−１（ｂ）｜の値が十分に小さくなるまで（例えば予め定められた十分に小さい値ε以下となるまで）繰り返すことによりＶπＴ（ｂ）を求めることができる。更新が完了したときに方策π（ｂ）は、式（６）ないし式（６．１）により計算される。
【数７】
【００３４】
詳細に述べると、式（５）と式（６）は、A-MDPの上位概念である部分観測マルコフ決定過程において定義された一般的な価値関数と方策の決定式に他ならない。しかし、状態ｂの定義の仕方（つまり状態ｂに含まれる要素の定義）が式（５）と式（６）の計算量を大きく左右する。特にＰ（ｂ’｜ｂ，ａ）の値の決定とその総和を求める計算では計算量が大きい。上述のA-MDPは、式（１）−（４）で定義したエントロピーの概念を使用して信念空間Ｂを定義することにより式（５）と式（６）の計算量を大幅に減ずることが可能になっている。
【００３５】
〔実施形態１〕
本発明の実施形態に係る動作計画装置の機能構成例を図１に示す。
本実施形態では、説明の簡略のため、自律飛行船の移動を水平面内運動に限定する。このため、Ｚ座標については考慮しない。また、位置のデカルト座標のうちＹ軸を平均風向に平行になるように設定することにより、風の影響は、自律飛行船のＸ軸方向の移動においては無視可能と仮定できる。以上により、信念空間Ｂの各状態をｂ＝（Ｘｂ，Ｙｂ，φｂ，ＨＹｂ，Ｈφｂ）として説明を行う。このように風向をＹ軸に一致させたことにより、状態空間を構成する変数のうちＨＸｂを減らすことができる。ただし、Ｚ方向の移動が含まれる場合には、Ｘ座標やＹ座標に対する計算と同様の処理をＺ座標についても行えばよいため、容易に拡張することができる。
【００３６】
動作計画装置は、実際に自律飛行船を制御する前に、信念空間Ｂ＝｛ｂ１，ｂ２，…，ｂｎ｝の各状態ｂ∈Ｂと各行動ａ∈Ａ＝｛ａ１，ａ２，…ａｍ｝の組み合わせについて、状態ｂのときに行動ａを選択した際に、状態ｂ’へ遷移する遷移確率Ｐ（ｂ’｜ｂ，ａ）とそのときの報酬Ｒ（ｂ’｜ｂ，ａ）とを計算しておく。さらに、動作計画装置は、計算した遷移確率と報酬を元に価値関数Ｖπ（ｂ）と方策π（ｂ，ａ）とを計算し、これらの結果を記憶部に記憶しておく。したがって、本実施形態の説明で述べる自律飛行船の「現在位置」、「移動先の位置座標」、「計測位置座標」などは、実際の自律飛行船の位置座標ではなく、シミュレーション上の位置座標を表すものである。
【００３７】
＜記憶部＞
記憶部５０には、予め自律飛行船が取り得る行動の集合Ａ＝｛ａ１，ａ２，…，ａｍ｝が記憶されているものとする。
また、記憶部５０には、自律飛行船が遷移し得る離散的な状態の集合（信念空間）Ｂ＝｛ｂ１，ｂ２，・・・，ｂｎ｝も予め記憶されているとする。
【００３８】
ここで、ｂ＝（Ｘｂ，Ｙｂ，φｂ，ＨＹｂ，Ｈφｂ）∈Ｂである。ＸｂとＹｂは、自律飛行船が遷移し得るＸ座標の範囲とＹ座標の範囲の範囲をそれぞれ離散化したときの各区間を表している。例えば、Ｘ軸方向の稼働範囲を０〜１ｋｍとし、それを４分割して離散化したとすると、Ｘ１＝［０ｋｍ，０．２５ｋｍ］，Ｘ２＝［０．２５ｋｍ，０．５ｋｍ］，Ｘ３＝［０．５ｋｍ，０．７５ｋｍ］，Ｘ４＝［０．７５ｋｍ，１ｋｍ］の区間に対応する。ＸｂはＸ１からＸ４のどれかである。
【００３９】
方位角の離散値φｉは、方位角として取り得る範囲（０〜２π）を離散化した各区間を、０に近い方から順にφ１，φ２，・・・，φＤφとおいたものである。
【００４０】
ＨＹｉ，Ｈφｉは、取りうるエントロピーの離散値であり、予め計測センサの精度などを考慮してＹｉ値、φｉ値の存在確率の分布のばらつきとして取りうる値を設定しておく。例えば、エントロピーの最大値ＨｍａｘＹ、Ｈｍａｘφを予め与えておき、０からＨｍａｘＹ（またはＨｍａｘφ）の範囲を離散化することにより、各ＨＹｉ，Ｈφｉを決定してもよい。
【００４１】
○ステップＳ１
状態・行動選択部１は、記憶部から、まだ選択されていない状態ｂ∈Ｂと行動ａ∈Ａの組（ｂ，ａ）を選択する。なお、すべての状態及び行動の組み合わせについて以降の計算を行うので、未選択の組み合わせの中から任意に選択を行うことができる。
【００４２】
○ステップＳ２
現在位置座標決定部２は、状態・行動選択部１によって選択された状態ｂを仮定したときの自律飛行船の位置（Ｘ，Ｙ，φ）を決定する。
【００４３】
まず、式（７）により、状態ｂのときに自律飛行船が状態（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ）に存在する確率Ｐ（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ｜ｂ）を定義する。
【数８】
【００４４】
式（７）にて、Ｐ（Ｘｂ，ｉ｜ｂ）、Ｐ（Ｙｂ，ｉ｜ｂ）、Ｐ（φｂ，ｉ｜ｂ）は式（８）（９）（１０）で定義される。ただし、積分範囲は式（８）の場合は状態Ｘｂ，ｉ内全域、式（９）の場合は状態Ｙｉ内全域、式（１０）の場合は状態φｂ，ｉ内全域を表す。
【数９】
【００４５】
例えば、Ｘｂ，ｉ=［０，０．２５］であれば、式（８）は下記式のとおりである。
【数１０】
【００４６】
また、状態ｂのとき自律飛行船が座標（Ｘ，Ｙ，φ）にいる確率分布ｐ（Ｘ，Ｙ，φ｜ｂ）を式（１１）により定義する。
【数１１】
【００４７】
ここで、確率分布ｐ（Ｘ｜ｂ）、ｐ（Ｙ｜ｂ）、ｐ（φ｜ｂ）は、式（１２）（１３）（１４）により定義される。
【数１２】
【００４８】
Ｘ，Ｙ，φは変数であり、ＸｂｃはＸｂの中心点のＸ座標，ＹｂｃはＹｂの中心点のＹ座標，φｂｃはφｂの中心点のφ座標である。ここで、式（１２）（１３）（１４）で使用しているσＸ、σＹ、σφの値は、動作計画の計算結果に大きく影響を与えるものである。
【００４９】
現在位置座標決定部２は、式（７）または式（１１）のいずれかを用いて、自律飛行船の位置（Ｘ，Ｙ，φ）を決定する。式（７）を使用する場合は、Ｐ（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ｜ｂ）の値が示す確率に従って、サンプル状態（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ）を選び出し、選ばれたサンプル状態の中心点を自律飛行船の位置（Ｘ，Ｙ，φ）とする。式（１１）を使用する場合は、Ｐ（Ｘ，Ｙ，φ｜ｂ）の値が示す確率に従って、サンプル点（Ｘ，Ｙ，φ）を選び出し、自律飛行船の位置とする。
【００５０】
なお、式（１１）を使用して自律飛行船の位置を決定する場合でも、式（７）の値は後の処理（存在確率計算部による処理）で使用するので、この時点で式（７）も求めておく。
【００５１】
本実施形態では、風の平均風向がＹ軸に平行なことを考慮してＨＸｂの値をｂの成分としていないことから、σＸをセンサの計測と使用しているフィルタの性能を考慮した一定値に固定し、主にσＹとσφの値について、式（７）を使用する場合は式（１５）および式（１６）を満たすように定める。ただし、ＨＹｂｃは状態ＨＹｂの中心点のＨＹ座標であり、Ｈφｂｃは状態Ｈφｂの中心点のＨφ座標である。
【数１３】
【００５２】
なお、式（１５）（１６）を満たすσＹ、σφの値は、本処理の実行前に全てのｂについて予め決定しておく。値の決定のためには、例えば、σＹについては、σＹの初期値として小さい値を設定して式（１５）の右辺値を計算し、その結果とＨＹｂｃの値とを大小比較して、右辺値が小さい場合は、σＹの値を微小量だけ大きくし、逆に右辺値が小さい場合は、σＹの値を微小量だけ大きくなるように更新することで求めることができる。
【００５３】
式（１１）を使用する場合は、式（１７）および式（１８）により定める。
【数１４】
【００５４】
ここで、式（１７）の積分範囲はＹ全域、式（１８）の積分範囲はφ全域である。σＹとσφの値の決定方法は、式（１５）と式（１６）を満たすσＹとσφの値の決定方法と同じである。
【００５５】
○ステップＳ３
移動先位置座標選択部３は、状態遷移確率分布ｐ（Ｘ’−Ｘ，Ｙ’−Ｙ，φ’−φ｜φｂ，ｉ，ａ）の指す確率に従って、自律飛行船の移動後の位置を（Ｘ’，Ｙ’，φ’）を決定する。状態遷移確率分布は、任務環境内の風速の平均値および揺らぎ量の大きさを反映して決める。状態遷移確率ｐ（Ｘ’−Ｘ，Ｙ’−Ｙ，φ’−φ｜φｂ，ｉ，ａ）の値は、式（１９）により決定する。
【数１５】
【００５６】
ここで、Ｘ’、Ｙ’、φ’は変数であり、式（２０）（２１）（２２）が成立する。
【数１６】
【００５７】
また、ＤＸ（φｂ，ｉ ，ａ），ＤＹ（φｂ，ｉ ，ａ），Ｄφ（φｂ，ｉ ，ａ）は、方位角状態φｂ，ｉにおいて行動ａを選択した際のＸ，Ｙ，φの変位量の平均値である（特許第４４０６４３６号参照）。平均風速が各位置Ｘ，Ｙにて異なる値であることを考慮しなければならないので、ＤＸ（φｂ，ｉ ，ａ），ＤＹ（φｂ，ｉ ，ａ），Ｄφ（φｂ，ｉ ，ａ）は、Ｘ，Ｙも変数に含んでいる。
【００５８】
なお、σＸｔ，σＹｔ，σφｔの値には、風速に関するばらつきの程度が影響する。風速が一定で変わらない場合は、自律飛行船の行動ごとの変位はＤＸ，ＤＹ，Ｄφの値の計算の際に平均風速値が考慮されているので、決定された変位から大きくずれることはない。しかし、各行動の間に風速が急激に変動した場合、風速の変動分だけ自律飛行船は変動風速の影響を受けて変位に誤差を生じてしまう。その誤差のばらつきの程度を式（２０）（２１）（２２）にて考慮している。
【００５９】
自律飛行船の任務環境内の各位置における風速のばらつきに応じてσＸｔ，σＹｔ，σφｔの値は変化する。一般には、σＸｔ，σＹｔ，σφｔは、Ｘ，Ｙの関数となるところである。本実施形態では、平均風向はＹ軸に平行としているので風の影響はＹ軸方向のみに主に表れると考えてよく、σＸｔは一定値としてよい。σＸｔの大きさは、風向のばらつきの大きさに影響する量であるとも言える。風向のバラつきが大きい場合には、σＸｔの値をそれに応じて大きくするとよい。もし風向のばらつき量が各位置で異なるならば、σＸｔの値もX,Yの関数となる。σＹｔ，σφｔの値は、方位角φに依存する。一般的に自律飛行船は、真横から風を受ける場合に最も風の影響を受けやすい。逆に正面前方より風を受けた場合に、最も風の影響を受けにくいという性質がある。
【００６０】
今、Ｙ軸が風向に一致しているとして自律飛行船が飛行する環境内全域で風が吹いているとする。Ｙ方向から見た飛行船の断面積をＳ（φ）とする。Ｓ（φ）についての非負値単調増加関数をＦＹ（Ｓ（φ））、Ｆφ（Ｓ（φ））、位置Ｘ，Ｙにおける風速のばらつきの大きさについての単調増加関数Fσ（Ｘ，Ｙ）として、式（２３）でσＹｔ，σφｔの値を決定する。簡単のため、σφｔを一定値にして計算することも有用である。
【数１７】
【００６１】
もちろん、簡単のため、任務環境内での風速のばらつきの程度を一定値とすれば、Fσは一定値であり、また、平均風速を任務環境内で一定速度とすれば式（２０）（２１）（２２）は以下のように簡略化される。
【数１８】
【００６２】
○ステップＳ４
計測位置座標選択部４は、センサによる計測確率分布ｐ（ＭＸ’，ＭＹ’，Ｍφ’| Ｘ’，Ｙ’，φ’）の指す確率に従って、移動先位置座標選択部３によって推定される自律飛行船の移動後の位置座標とセンサにより計測される実際の位置座標との誤差を考慮して、自律飛行船の移動後の位置座標（ＭＸ’，ＭＹ’，Ｍφ’）を決定する。計測確率分布ｐ（ＭＸ’，ＭＹ’，Ｍφ’|Ｘ’，Ｙ’，φ’）の値は、式（２４）によって決定する。式（２４）の右辺の各各確率は式（２５）（２６）（２７）で定義される。
【数１９】
【００６３】
σＭＸ，σＭＹ，σＭφの値は、自律飛行船に搭載しているセンサの精度を考慮して決定される。ＧＰＳ（Global Positioning System）を位置計測センサとして、ジャイロセンサを方位角計測センサとして使用するのであれば、環境内全域で一定のσＭＸ，σＭＹの値が設定される。無線LAN方式の位置計測センサを使用する場合は、環境内の各位置によって多少の精度の差があるので、σＭＸ，σＭＹは、X,Yの関数となる。
【００６４】
○ステップＳ５
存在確率計算部５は、自律飛行船の位置計測値を（ＭＸ’，ＭＹ’，Ｍφ’）とし、行動ａを選択する前の状態ｂのときの自律飛行船が位置座標（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ）にいる確率をＰ（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ｜ｂ）として、離散ベイジアンフィルタを使用して、選択された行動後の状態ｂ’を計算する。まず、存在確率計算部５は、全ての遷移先状態（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）について、式（２８）で遷移先状態（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）に自律飛行船が存在する確率の予測値（存在確率予測値）Ｐ’（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）を計算する。
【数２０】
【００６５】
式（２８）において、Ｐ（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’｜Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ，ａ）は式（２９）で表される。
【数２１】
【００６６】
式（２８）で、Σは全（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ）についての総和である。∫ｉは遷移前状態ｉ内全域についての積分、∫ｉ’は遷移後状態ｉ’内全域についての積分である。
【００６７】
次に、存在確率計算部５は、計算したＰ’（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）の値を式（３０）により補正する。ηは正規化係数である。
【数２２】
【００６８】
ここで、（Ｘｂ，ｉ’ｃ，Ｙｂ，ｉ’ｃ，φｂ，ｉ’ｃ）は、状態（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）の中心点である。
【００６９】
そして、計算されたＰ（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’｜ｂ’）の値のうち、Ｐ（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’｜ｂ’）の値を最大にする状態（Ｘｍａｘｂ’，Ｙｍａｘｂ’,φｍａｘｂ’）をｂ’における中心状態とし、式（３１）（３２）で計算されるエントロピーＨＹ’，Ｈφ’の値から状態ｂ’のエントロピー状態成分ＨＹｂ’，Ｈφｂ’を決定し、ｂ’＝(Ｘｍａｘｂ’，Ｙｍａｘｂ’,φｍａｘｂ’，ＨＹｂ’，Ｈφｂ’）に更新する。Σは、全てのＹｂまたはφｂについての総和を計算することを表す。
【数２３】
【００７０】
○ステップＳ６
遷移確率計算部６は、存在確率計算部５によって計算された状態ｂ’に対する遷移確率Ｐ（ｂ’｜ｂ，ａ）と報酬Ｒ（ｂ’｜ｂ，ａ）の値を所定の値だけ増加させる（Ｎは繰り返し回数）。このようにすることで、或る（ｂ，ａ）の組に対して、Ｎ回のシミュレーションを実行した結果、多く推定された移動後の状態ｂ’に関する遷移確率と報酬が高く設定されることになる。遷移確率Ｐ（ｂ’｜ｂ，ａ）のインクリメントは式（３３）に従う。
【数２４】
【００７１】
報酬値のインクリメントは、式（３４）（３５）（３６）（３７）のいずれかに従う。
【数２５】
【００７２】
式（３４）はベイジアンフィルタの結果をベースに報酬を決定する場合、式（３５）は飛行船搭載センサの計測値をベースに報酬が決定される場合、式（３６）は自律飛行船以外の飛行船の真値を知る第三者（人間操作者）により報酬の判定が行われる場合である。式(３７)は、行動選択時の行動開始位置により報酬判定が行われる場合である。
【００７３】
ｒ（Ｘ，Ｙ，φ）は、例えば、以下のような関数である。
【数２６】
【００７４】
○ステップＳ７
繰り返し制御部７は、状態・行動選択部１によって選択された（ｂ，ａ）の組に対して、ステップＳ２−ステップＳ６の処理をＮ回繰り返したか否かを判定し、繰り返し回数がＮ回に満たない場合には現在位置座標決定部２による処理へ移行し、ステップＳ２−ステップＳ６の処理を繰り返し実行させる。繰り返し回数がＮ回に到達した場合には、状態・行動選択部１による処理へ移行し、まだ選択していない信念状態と行動の組についてステップＳ２−ステップＳ６の処理を実行させる。すべての信念状態と行動の組についてステップＳ２−ステップＳ６の処理を行った場合には、処理を終了する。
【００７５】
○ステップＳ８
価値関数計算部８は、上述の処理で求めた遷移確率Ｐ（ｂ’｜ｂ，ａ）と報酬Ｒ（ｂ’｜ｂ，ａ）を用いて、式（５．１）により、価値関数Ｖπ（ｂ）を計算する。ここで、｜ＶπＴ（ｂ）−ＶπＴ−１（ｂ）｜の値が予め定めた閾値εより小さくなるまでＴを増加させながらＶπＴ（ｂ）の値を更新していく。
【００７６】
○ステップＳ９
方策計算部９は、式（６．１）により、上述の処理で求めた遷移確率Ｐ（ｂ’｜ｂ，ａ）と報酬Ｒ（ｂ’｜ｂ，ａ）と価値関数Ｖπ（ｂ）を用いて、方策π（ｂ，ａ）を求める。
【００７７】
〔変形例１〕
上述のステップＳ１−ステップＳ６の処理では、信念空間内の全ての信念ｂ=（Ｘｂ，Ｙｂ，φｂ，Ｈｙｂ，Ｈφｂ）について、行動ａによる起こりうる全ての遷移先の信念ｂ’について、Ｐ（ｂ’｜ｂ，ａ）を評価していた。これを全空間で行っていては、計算量が膨大なものとなってしまう場合がある。幸い、自律飛行船の場合は、或る状態（Ｘｂ，Ｙｂ，φｂ）に存在する自律飛行船は、一回の行動によって、Ｘ，Ｙ，φ座標についてそれほど離れていない周囲の状態のどれかに移動することが分かっている。そして、その移動の際の、Ｘ，Ｙ，φ座標での差分の量は、平均風速および風速のばらつき量が任務環境内の各位置で一定値であるという仮定を設けることが可能であれば、行動と方位角のみによって決定される。このことをうまく利用すると、遷移先の可能性のある信念ｂ’についてのみＰ（ｂ’｜ｂ，ａ）を評価すればよいため、計算量を大幅に削減することができる。
【００７８】
Ｐ（ｂ’｜ｂ，ａ）の評価の際に、ｂについては、Ｘｂ，Ｙｂの値を固定値としてｂ＝（０，０，φｂ，Ｈｙｂ，Ｈφｂ）とし、方位角とエントロピーのみのとりうる全ての値に対してｂ’への遷移確率を考慮する。ここでｂ’の中でＸ，Ｙ，φの値が取りうる範囲は、一回の行動で自律飛行船が移動しうるＸ，Ｙ，φ面内の距離がそれぞれｄｍａｘＸｂ，ｄｍａｘＹｂ，ｄｍａｘφｂとすれば、それぞれＸ，Ｙ，φ方向の幅が２×ｄｍａｘＸｂ＋１，２×ｄｍａｘＹｂ＋１，２×ｄｍａｘφｂ＋１となる格子空間に収まる。よって、この格子空間内の信念ｂ’についてのみ、Ｐ（ｂ’｜ｂ，ａ）を評価すればよい。
【００７９】
以上によりＰ（ｂ’｜ｂ，ａ）のデータ形式は、以下のような変数Ｐの配列データとなる。
【数２７】
【００８０】
ｄＸｂ’，ｄＹｂ’は、Ｘｂ，Ｙｂの変化量である。配列数の取りえる範囲は、それぞれ以下の通りである。
【数２８】
【００８１】
ここで、φｍａｘｂはφｂの状態数、ＨｍａｘＹｂはＨＹｂの状態数、ＨｍａｘφｂはＨφｂの状態数、ａｍａｘは行動数である。なお、ＸＹ平面内の移動と方位角φの変化については、独立の事象であると単純化することも可能であるから、方位角の変位量は、もとの方位角によらず行動のみに依存することも利用して、以下のようにＰ（ｂ’｜ｂ，ａ）の配列データを組むことも可能である。
【数２９】
【００８２】
ここで、ｄφｂ’は、方位角φｂの変位量であり、以下を満たす。
【数３０】
【００８３】
以上により保持されたデータを利用して、ｂ=（Ｘｂ，Ｙｂ，φｂ，ＨＹｂ，Ｈφｂ），ｂ’=（Ｘｂ’，Ｙｂ’，φｂ’，ＨＹｂ’，Ｈφｂ’）とすると、以下のいずれかが成立する。
【数３１】
【００８４】
〔変形例２〕
ステップＳ８の処理において式（５．１）によりＶπＴ（ｂ）値の計算を行う際に、ある（ｂ，ｂ’）の組に対して全てのａにおいて、Ｐ（ｂ’｜ｂ，ａ）の値が０である場合には、式（５．１）の右辺は０となるため計算の意味がない。ここで、次に定義するフラグを使用する。
【数３２】
【００８５】
これらのフラグは、信念遷移確率の計算前には、すべて０に初期化されている。そして、ステップＳ６の処理において式（３３）−（３６）のＰ（ｂ’｜ｂ，ａ）もしくはＲ（ｂ’|ｂ，ａ）のインクリメントが行われた際には、対応するｄＸｂ’，ｄＹｂ’，ｄφｂ’のフラグ値を１に設定する。
【００８６】
実際の（５）式による計算を実行する際には、ｂとｂ’のＸ，Ｙ，φ座標の差分値とａ値に対応したフラグの値を参照し、フラグ値が０である場合は、全てのｂとｂ’のエントロピー値に対して（５）式の計算を行わない。
【００８７】
変形例１と変形例２を用いることで、動的計画法での価値関数計算のコストを１０倍近く短縮することができる。
【００８８】
〔実施形態２〕
次に、動作計画装置により作成された価値関数Ｖπ（ｂ）と方策π（ｂ，ａ）を用いて、実施形態２において実際に動作主体の行動を制御する行動制御装置について説明を行う。
【００８９】
行動制御装置は、行動選択を行う度に、得られた計測値（ＭＸ，ＭＹ，Ｍφ）に対してベイジアンフィルタを使用して、自律飛行船がどの位置にどの確率で存在するかについての確率分布Ｐ（Ｘｂ，Ｙｂ，φｂ）を計算する。ベイジアンフィルタは、カルマンフィルタや、パーティクルフィルタなどが使用可能であるが、本発明においては、離散ベイジアンフィルタを採用するのが簡便である。その理由は、本発明における信念空間ｂは離散空間（Ｘｂ，Ｙｂ，φｂ，ＨＹｂ，Ｈφｂ）で構成されており、離散ベイジアンフィルタの式の定義をそのまま使用可能である点と、動作計画の計算の際に行うシミュレーションでも離散ベイジアンフィルタを使用しているので、実際のミッションと動作計画計算での仮定との間の違いを最小限にすることが可能である点によるものである。
【００９０】
○ステップＳ１１
位置取得部１１は、自律飛行船に搭載された位置及び方位角計測センサ６１により計測した、自機位置と方位角（ＭＸ，ＭＹ，Ｍφ）を取得する。
【００９１】
○ステップＳ１２
状態遷移確率計算部１２は、フィルタリングで使用する状態遷移確率ｐ（Ｘ’−Ｘ，Ｙ’−Ｙ，φ’−φ｜φｂ，ａ）の値を式（１９）により計算する。
【００９２】
○ステップＳ１３
計測確率計算部１３は、式（２４）により計測確率ｐ（ＭＸ’，ＭＹ’，Ｍφ’| Ｘ’，Ｙ’，φ’）の値を計算する。ここで、式（２５）−（２７）におけるＭＸ’，ＭＹ’，Ｍφ’には、位置取得部で取得した値を利用する。
【００９３】
○ステップＳ１４
存在確率予測値計算部１４は、全ての遷移先状態（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）について、（２８）式により、遷移先状態（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）に自律飛行船が存在する確率の予測値（存在確率予測値）Ｐ’（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）を計算する。
【００９４】
○ステップＳ１５
存在確率予測値補正部１５は、存在確率予測値Ｐ’（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）の補正を（３０）式により補正する。
【００９５】
○ステップＳ１６
移動先状態決定部１６は、存在確率予測値補正部１５によって計算されたＰ（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’｜ｂ’）の値のうち、Ｐ（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’｜ｂ’）の値を最大にする状態（Ｘｍａｘｂ’，Ｙｍａｘｂ’,φｍａｘｂ’）をｂ’における中心状態とし、式（３１）（３２）により計算されるエントロピーの値から、ｂ’のエントロピー状態成分ＨＹｂ’，Ｈφｂ’を決定し、ｂ’＝(Ｘｍａｘｂ’，Ｙｍａｘｂ’,φｍａｘｂ’，ＨＹｂ’，Ｈφｂ’）を移動先状態に決定する。
【００９６】
○ステップＳ１７
行動決定部１７は、移動先状態決定部１６によって決定された状態ｂ’について、記憶部５０に記憶された方策π（ｂ’，ａ）を検索して行動ａを決定する。自律飛行船の制御部６２は、決定された行動ａに基づきアクチュエータなどの制御を実行する。
【００９７】
以上の動作を各時刻ステップで行い、各時刻ステップにおける自律飛行船の行動制御を行う。
【００９８】
実施形態等から明らかなように、風速にばらつきがある環境中にて、自律飛行船の運動に対する、方位角による風の影響の違いを考慮した自律飛行船の動作計画が可能である。これにより、目標位置へ高い確率で自律飛行船が到達し、かつ障害物回避の確率も最大の経路を計算することができる。
【００９９】
＜動作計画装置および動作制御装置のハードウェア構成例＞
上述の実施形態に関わる各装置は、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ＣＰＵ（Central Processing Unit）〔キャッシュメモリなどを備えていてもよい。〕、メモリであるＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）と、ハードディスクである外部記憶装置、並びにこれらの入力部、出力部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置間のデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、各装置に、ＣＤ−ＲＯＭなどの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【０１００】
各装置の外部記憶装置には、動作計画ないし行動制御のためのプログラム並びにこのプログラムの処理において必要となるデータなどが記憶されている〔外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくなどでもよい。〕。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。以下、データやその格納領域のアドレスなどを記憶する記憶装置を単に「記憶部」と呼ぶことにする。
【０１０１】
各装置では、記憶部に記憶されたプログラムとプログラムの処理に必要なデータが必要に応じてＲＡＭに読み込まれて、ＣＰＵで解釈実行・処理される。この結果、ＣＰＵが所定の機能（状態・行動選択部、現在位置座標決定部、移動先位置座標選択部、計測位置座標選択部、存在確率計算部、遷移確率計算部、繰り返し制御部、価値関数計算部、方策計算部／位置取得部、状態遷移確率計算部、計測確率計算部、存在確率予測値計算部、存在確率予測値補正部、移動先状態決定部、行動決定部）を実現することで動作計画ないし行動制御が実現される。
【０１０２】
＜補記＞
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。上述の実施形態では確率分布として正規分布を与えたがこれに限定する趣旨ではない。具体的な確率分布は例えば自律移動ロボットの特性や任務環境などに応じて適宜に設定される。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１０３】
また、上記実施形態において説明したハードウェアエンティティにおける処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【０１０４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１０５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１０６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１０７】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【技術分野】
【０００１】
本発明は、自律移動ロボットの動作計画方法及びこれを用いた自律移動ロボットの制御方法に関する。より詳しくは、流速が不確定な流体外乱の存在する環境中で、自律移動ロボットが障害物との衝突を高確率で回避し目標位置に高精度で到達することを可能ならしめる動作計画を行うための技術、そしてその動作計画に基づいて自律移動ロボットを制御するための技術に関する。
【背景技術】
【０００２】
近年、屋外で活動可能な自律移動ロボットの研究が活発に行われており、それらの応用先が広がりつつある。このような、自律移動ロボットの一例として、自律飛行船を挙げることができる。自律飛行船は、浮力を利用して空中に静止することが可能であり、当該機体に搭載したアクチュエータ（推進器や舵など）によって自身の運動を制御することが可能である。このような特性から、例えば、自律飛行船を地雷探査機として、あるいは大地震後の空中携帯電話中継局として応用することが期待される。
【０００３】
しかし、自律飛行船は、その機体比重を大気と同じにしなければならないために、機体重量は軽くなければならず、搭載可能なアクチュエータの数やその重量に大きな制約がある。このため、自律飛行船は一般に劣駆動ロボットと呼ばれるものである。劣駆動ロボットとは、劣駆動ロボットに搭載されたアクチュエータによって直接制御可能な劣駆動ロボットの運動自由度数が、劣駆動ロボットの実際の運動自由度数よりも少ないロボットのことである。このような劣駆動ロボットの制御には高度な知的制御アルゴリズムが必要であることが知られている。さらに、自律飛行船の比重は周囲の大気のそれと同じであることから、運動におけるイナーシャが高い。加えて、自律飛行船が受ける空気抵抗に対するアクチュエータの推力が小さいため、一般に自律飛行船の最大航行速度は低い。また、風外乱によってその運動が大きく影響を受けやすいことも問題である。
【０００４】
上述のような特性を持つ自律飛行船を、風外乱と障害物の存在する環境において制御するには、マルコフ決定過程（MDP）における動的計画法の手法を応用した動作計画法を適用することが有効であるとされている（非特許文献１）。
【０００５】
なお、ここでは自律移動ロボットの例として自律飛行船を挙げたが、この他に例えば水中無人探査機のような自律水中ロボットなども例示でき、自律飛行船と同様の特性を持つ。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Kawano H., "Three-dimensional Obstacle Avoidance of Blimp-type Unmanned Aerial Vehicle Flying in Unknown and Non-uniform Wind Disturbance", JSME International Journal of Robotics and Mechatronics, Vol.19 No.2, April, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１に開示される技術は、自律飛行船の動作環境における風速と風向の不確定性を考慮していないため、風速および風向が不確定な環境中において、目標地点までの到達を十分な精度で達成することが必ずしも容易ではない。また、位置計測センサが持つ計測値の確率的な性質を考慮することもしていない。
【０００８】
そこで本発明は、流速および流れの向きが不確定な環境中において、自律移動ロボットが障害物との衝突を高確率で回避し目標位置に十分な精度で到達することを可能ならしめる動作計画を行うための技術、そしてその動作計画に基づいて自律移動ロボットを制御するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明である自律移動ロボットの動作計画技術は次のとおりである。自律移動ロボットの状態が、デカルト座標、方位角、当該デカルト座標の確率分布についてのエントロピー、当該方位角の確率分布についてのエントロピーを含んで表現されるとし、自律移動ロボットが遷移しえる予め定められた状態の集合（状態集合）と自律移動ロボットの採りえる行動の集合（行動集合）が予め定められている。そして、状態・行動選択部が、状態集合の要素と行動集合の要素との組み合わせのうち未選択の組み合わせを選択する〔状態・行動選択処理〕。現在位置座標決定部は、状態・行動選択処理において選択された組み合わせに含まれる状態の下で、自律移動ロボットのデカルト座標および方位角を要素とする位置座標の確率分布を計算し〔現在位置座標決定処理〕、移動先位置座標選択部は、状態遷移確率に基づき、自律移動ロボットの移動後の位置を計算する〔移動先位置座標選択処理〕。さらに、存在確率計算部が、現在位置座標決定処理で計算された自律移動ロボットの位置座標の確率分布にベイジアンフィルタを適用して、遷移先の状態を求め〔存在確率計算処理〕、遷移確率計算部が、現在の状態から存在確率計算処理で得られた状態へ遷移する遷移確率と当該遷移に伴う報酬を計算する〔遷移確率計算処理〕。制御部は、状態・行動選択処理において選択された組み合わせについて、現在位置座標決定処理、移動先位置座標選択処理、存在確率計算処理、遷移確率計算処理を所定回数繰り返し実行し、当該所定回数繰り返し実行した場合には、状態・行動選択処理を行う制御を行う〔制御処理〕。そして、価値関数計算部が、遷移確率と報酬を用いて価値関数を計算し〔価値関数計算処理〕、方策計算部が、遷移確率と報酬と価値関数を用いて表される方策関数を計算する〔方策計算処理〕。
【００１０】
また、動作計画技術においては、計測位置座標選択部が、自律移動ロボットの位置座標を計測するセンサの計測誤差を確率分布で表し、当該センサで計測された位置座標と移動先位置座標選択処理において得られた自律移動ロボットの移動後の位置との誤差に基づいて、自律移動ロボットの移動後の位置を計算する〔計測位置座標選択〕としてもよい。この場合、存在確率計算処理では、存在確率計算部が、現在位置座標決定処理で計算された自律移動ロボットの位置座標の確率分布にベイジアンフィルタを適用して得られた確率分布を計測位置座標選択処理で得られた自律移動ロボットの移動後の位置に基づいて補正して、遷移先の状態を求めることになる。なお、制御処理では、制御部が、状態・行動選択処理において選択された組み合わせについて、現在位置座標決定処理、移動先位置座標選択処理、計測位置座標選択処理、存在確率計算処理、遷移確率計算処理の各処理を所定回数繰り返し実行し、当該所定回数繰り返し実行した場合には、状態・行動選択処理を行う制御を行う。
【００１１】
遷移確率を求めるための計算を自律移動ロボットの１回の行動で遷移可能な状態の範囲に限定してもよいし、遷移確率が０である場合には価値関数の計算を行わないようにしてもよい。
【００１２】
本発明である自律移動ロボットの制御技術は、上述の自律移動ロボットの動作計画技術で決まった動作計画に基づき、自律移動ロボットを制御する。動作計画技術により得られた方策関数および、自律移動ロボットの採りえる行動の集合は記憶部に記憶されている。位置取得部が、自律移動ロボットのデカルト座標および方位角を要素とする位置座標を計測するセンサの計測結果を取得する〔位置取得処理〕。そして、状態遷移確率計算部が、状態遷移確率に基づき、自律移動ロボットの移動後の位置を計算する〔状態遷移確率計算〕。存在確率予測値計算部は、位置取得処理にて取得された位置座標から遷移先の位置座標に自律移動ロボットが存在する確率の予測値（存在確率予測値）を求める〔存在確率予測値計算処理〕。移動先状態決定部は、存在確率予測値を最大にする位置座標を遷移先とする〔移動先状態決定処理〕。行動決定部は、方策関数により行動を決定する〔行動決定処理〕。
【００１３】
この制御技術においては、計測確率計算部が、確率分布で表されたセンサの計測誤差に基づいて、センサで計測された位置座標の確率分布を求め〔計測確率計算処理〕、存在確率予測値補正部が、存在確率予測値を計測確率計算処理で得られた確率分布に基づいて補正する〔存在確率予測値補正処理〕としてもよい。この場合、移動先状態決定処理では、移動先状態決定部が、存在確率予測値補正処理で補正された存在確率予測値を最大にする位置座標を遷移先とする。
【発明の効果】
【００１４】
本発明に拠れば、自律移動ロボットの状態が、デカルト座標と方位角に加えて、当該デカルト座標の確率分布についてのエントロピー、当該方位角の確率分布についてのエントロピーを含んで表現されており、デカルト座標と方位角からなる位置座標が確率的に計算されることから、流速および流れの向きが不確定な環境中において、自律移動ロボットが障害物との衝突を高確率で回避し目標位置に十分な精度で到達することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】行動計画装置の機能構成例を示す図。
【図２】行動計画方法の処理手順を示す図。
【図３】行動制御装置の機能構成例を示す図。
【図４】行動制御方法の処理手順を示す図。
【発明を実施するための形態】
【００１６】
図面１−４を参照して本発明の実施形態を説明する。なお、説明を具体的にするために自律移動ロボット（行動主体）の一例として自律飛行船を採用する。劣駆動ロボットとしての自律飛行船の例として、舵と前後進用推進器を装備した自律飛行船を考えることができる。自律飛行船の重心位置は通常低く設定されているので縦横姿勢傾斜（pitchingとrolling）に対する復元力は大きく、自律飛行船の姿勢角は方位角（yawing）を除いてほぼ０に維持される。また、自律飛行船に搭載される位置計測用のセンサとして、例えば、複数の無線LAN方式の位置計測センサを採用する。計算の都合、無線LAN方式の位置計測センサは自律飛行船の水平面内重心位置に装備されているとする。さらに、自律飛行船は、方位角の値を直接計測するための方位角計測センサとしてジャイロセンサも装備している。これらのセンサによって、自律飛行船の３次元デカルト座標（世界座標）と方位角の実時間での計測が可能である。
【００１７】
時刻ｔにおける位置計測センサの計測値を（Ｍｘ（ｔ），Ｍｙ（ｔ），Ｍｚ（ｔ））とし、方位角計測センサの計測値をＭφ（ｔ）とする。そして、自律飛行船の重心位置の真値を（Ｘｇ（ｔ），Ｙｇ（ｔ），Ｚｇ（ｔ））とし、方位角の真値をφ（ｔ）とする。自律飛行船の重心位置を表現するデカルト座標は、水平面内では、Ｘ軸もしくはＹ軸が平均風向に平行であるように定義する。ここでは、Ｙ軸が平均風向に一致しているとする。Ｘ軸に平均風向が一致している場合については、以下の記述でのＹ軸に関する説明をＸ軸に置き換えて理解すればよいから説明を省略する。なお、デカルト座標の設定は任意であるから、平均風向がＸ軸とＹ軸のいずれの軸にも一致しないということを避けることができることは云うまでもない。
【００１８】
〔従来モデル〕
本発明の理解の一助として、まず従来的手法について概説する。
従来技術は、マルコフ決定過程(MDP)を利用して、自律飛行船の動作計画を行う。MDPでは環境が以下のようにモデル化される。
【００１９】
環境を以下のようにモデル化したものが、マルコフ状態遷移モデルである（強化学習〔Reinforcement Learning〕におけるマルコフ決定過程〔Markov decision Process〕）。環境のとりうる離散的な状態の集合をＳ＝｛ｓ１，ｓ２，…，ｓｎ｝、行動主体が取り得る行動の集合をＡ＝｛ａ１，ａ２，…ａｍ｝と表す。環境中のある状態ｓ∈Ｓにおいて、行動主体がある行動ａ∈Ａを実行すると、環境は確率的に状態ｓ’∈Ｓへ遷移する。その遷移確率を
Ｐ（ｓ’｜ｓ，ａ）＝Ｐｒ｛ｓｔ＋１＝ｓ’｜ｓｔ＝ｓ，ａｔ＝ａ｝
により表す。このとき環境から行動主体へ報酬ｒが確率的に与えられるが、その期待値を
Ｒ（ｓ’｜ｓ，ａ）＝Ｅ｛ｒｔ｜ｓｔ＝ｓ，ａｔ＝ａ，ｓｔ＋１＝ｓ’｝
とする。行動主体の各時刻における意志決定は方策関数
π（ｓ，ａ）＝Ｐｒ｛ａｔ＝ａ｜ｓｔ＝ｓ｝
によって表される。π（ｓ，ａ）は、全状態ｓおよび全行動ａにおいて定義される。方策関数π（ｓ，ａ）は、単に方策πとも呼ばれる。なお、状態ｓ’に附されている記号’は、状態ｓとの識別を図るための記号である。
【００２０】
状態ｓはｓ＝（Ｘｓ，Ｙｓ，Ｚｓ，φｓ）により構成される。
Ｘｓ：Ｘ軸の離散化表現。自律飛行船の存在確率の最も高いＸ座標。
Ｙｓ：Ｙ軸の離散化表現。自律飛行船の存在確率の最も高いＹ座標。
Ｚｓ：Ｚ軸の離散化表現。自律飛行船の存在確率の最も高いＺ座標。
φｓ：φ軸の離散化表現。自律飛行船の存在確率の最も高いφ座標（φは方位角）。
【００２１】
ある時刻ｔで実行した行動が、その後の報酬獲得にどの程度貢献したのかを評価するため、その後に得られる報酬の時系列を考える。報酬の時系列評価は価値と呼ばれる。行動主体の目標は、価値を最大化すること、あるいはそのような方策を求めることである。価値は、時間の経過とともに報酬を割引率γ（０≦γ＜１）で割引いて合計される。すなわち、ある時刻ｔにおける状態ｓにおいて、ある行動ａを実行したときの価値関数Ｖπ（ｓ）は、以下のように定義される。Ｅπは期待値を求める関数である。
【数１】
【００２２】
ここでは価値関数として方策πの下での状態ｓの価値である状態価値関数Ｖπ（ｓ）を例示したが、方策πの下で状態ｓにおいて行動ａを採ることの価値である行動価値関数Ｑπ（ｓ，ａ）を採用することもできる。
【数２】
【００２３】
行動主体の目標は、最適な方策を求めること、つまり任意の状態ｓについて価値関数（上記の例では状態価値関数Ｖπ（ｓ）である）が他の方策を採った場合よりも劣るものではない方策を求めることである。この方策の探求は、Bellman方程式で表され、すべての状態ｓ、行動ａ、遷移先の状態ｓ’の組み合わせについてのＰ（ｓ’｜ｓ，ａ）とＲ（ｓ’｜ｓ，ａ）の値が定まっていれば、ダイナミックプログラミング（Dynamic Programming）法により、最適な価値関数Ｖπ（ｓ）及び方策πを計算することができる（例えば、三上 貞芳、皆川 雅章 共訳、R.S.Sutton、A.G.Barto 原著「強化学習」森北出版、1998、pp.94-118参照）。ダイナミックプログラミング法の処理は、周知技術であるため説明は省略する。
【００２４】
〔本発明におけるモデル〕
本発明は、部分観測マルコフ決定過程（POMDP）のうち、行動主体の状態についての確率分布（これは一般的に信念と呼ばれる）が状態のエントロピーにて表現可能であるという仮定に基づく、いわばPOMDPのサブセットであるAugmented MDP（A-MDP）における動的計画法を応用する。これにより、流速や流れの向きが変化した際の自律移動ロボットの位置や方位角のずれの不確定性の程度が自律移動ロボットの方位角によって異なりえるが、本発明によって最適な経路が変化することを考慮した自律移動ロボットの動作計画が現実的な計算負荷で可能である。
【００２５】
本発明で利用するA-MDPにおいては、MDPと同様に離散空間で状態が表現される。ただし、当該A-MDPでは、従来的なMDPと異なり、「自律飛行船の状態がどの状態にあるのかという確率」（信念）を記述するための変数がA-MDPの状態空間の要素である状態に追加されている。このため本発明では、状態空間を信念空間Ｂ＝｛ｂ１，ｂ２，…，ｂｎ｝として構築する。ここで、信念空間中の状態ｂ∈Ｂは、ｂ＝（Ｘｂ，Ｙｂ，Ｚｂ，φｂ，ＨＸｂ，ＨＹｂ，ＨＺｂ，Ｈφｂ）である。各変数の意味は以下の通りである。
Ｘｂ：Ｘ軸の離散化表現。状態ｂにおいて自律飛行船の存在確率の最も高いＸ座標。
Ｙｂ：Ｙ軸の離散化表現。状態ｂにおいて自律飛行船の存在確率の最も高いＹ座標。
Ｚｂ：Ｚ軸の離散化表現。状態ｂにおいて自律飛行船の存在確率の最も高いＺ座標。
φｂ：φ軸の離散化表現。状態ｂにおいて自律飛行船の存在確率の最も高いφ座標。
ＨＸｂ：自律飛行船のＸｂ値の確率分布についてのエントロピーＨＸの離散化表現。
ＨＹｂ：自律飛行船のＹｂ値の確率分布についてのエントロピーＨＹの離散化表現。
ＨＺｂ：自律飛行船のＺｂ値の確率分布についてのエントロピーＨｚの離散化表現。
Ｈφｂ：自律飛行船のφｂ値の確率分布についてのエントロピーＨφの離散化表現。
【００２６】
信念空間中の状態ｂ∈Ｂは、MDPの場合の状態空間Ｓに含まれる状態ｓ＝（Ｘｓ，Ｙｓ，Ｚｓ，φｓ）に対応するものである。また、以下の説明では、状態ｂにおいて最も存在確率の高い位置座標を（Ｘｂ，Ｙｂ，Ｚｂ，φｂ）と表記し、それよりも存在確率の低い位置座標を（Ｘｂ，ｉ，Ｙｂ，ｉ，Ｚｂ，ｉ，φｂ，ｉ）と表記する。
【００２７】
離散状態空間に確率の概念を導入することの意義は、自律飛行船の任務環境内に吹いている風の速度が一定ではなく或る幅の揺らぎをもって変化していることを考慮できる点にある。現実には、風速が平均値を中心にランダムに変化することが多い。このため、風の影響を受けて飛行する自律飛行船の毎回の行動ごとの変位量もその度にランダムに変化するのである。このような自律飛行船の変位の揺らぎに加えて自律飛行船の位置姿勢を計測するセンサの確率的計測精度を考慮したうえで、行動選択を行う毎に自律飛行船の任務環境内における各位置での存在確率を評価し、行動選択に反映することが本発明の特徴の一つとなっている。
【００２８】
ここで、エントロピーの定義を述べる。エントロピーとは確率分布のばらつき具合を記述する変数である。一例として、自律飛行船のＸ方向の位置がＸｂ，ｉ値である確率をＰ（Ｘｂ，ｉ）とするとＸｂ値の確率分布についてのエントロピーＨＸは式（１）により計算される。ＨＸｂはこのＨＸの値を離散化したものである。
【数３】
【００２９】
同様に、自律飛行船のＹ方向の位置がＹｂ，ｉ値である確率をＰ（Ｙｂ，ｉ）とするとＹｂ値の確率分布についてのエントロピーＨＹは式（２）により、自律飛行船のＺ方向の位置がＺｂ，ｉ値である確率をＰ（Ｚｂ，ｉ）とするとＺｂ値の確率分布についてのエントロピーＨＺは式（３）により、自律飛行船の方位角がφｂ，ｉ値である確率をＰ（φｂ，ｉ）とするとφｂ値の確率分布についてのエントロピーＨφは式（４）により計算される。ＨＹｂはこのＨＹの値を離散化したものであり、ＨＺｂはこのＨＺの値を離散化したものであり、ＨφｂはこのＨφの値を離散化したものである。
【数４】
【００３０】
A-MDPにおいても、MDPの場合と同様に、或る時刻ｔにおける状態ｂ∈Ｂにおいて、最適な行動ａを実行したときの価値関数Ｖ（ｂ）を求めることにより方策π（ｂ）を決定する。そして、行動の結果与えられる報酬と結果として起こる状態遷移の確率が定義されることにより、A-MDPは完全に定義される。状態遷移確率と報酬は以下のように定義される。
Ｐ（ｂ’｜ｂ，ａ）:状態ｂにおいて行動ａを選択した際に、状態が状態ｂ’に遷移する確率。
Ｒ（ｂ，ａ）:状態ｂにおいて行動ａを選択した際に与えられる報酬。
これらは、MDPの場合のＰ（ｓ’｜ｓ，ａ）およびＲ（ｓ’｜ｓ，ａ）に対応する。
【００３１】
価値関数Ｖπ（ｂ）は、更新式による繰り返し計算で得られる。この更新式は、繰り返し回数をＴとして式（５）で表される。Σはすべてのｂ’における総和を表す。γは０＜γ≦１を満たす定数である。
【数５】
【００３２】
あるいは、報酬として状態ｂ’が関係する場合には、つまり報酬がＲ（ｂ’｜ｂ，ａ）の場合には、式（５）に替えて式（５．１）が用いられる。ここで、Ｐ（ｂ’｜ｂ，ａ）は、状態がｂの時に行動ａを選択した後に状態がｂ’となる確率である。また、Ｒ（ｂ’｜ｂ，ａ）は、状態がｂの時に行動ａを選択した後に状態がｂ’に遷移したときに与えられる報酬の値である。
【数６】
【００３３】
上記の式（５）ないし式（５．１）による価値関数Ｖπ（ｂ）の更新を｜ＶπＴ（ｂ）−ＶπＴ−１（ｂ）｜の値が十分に小さくなるまで（例えば予め定められた十分に小さい値ε以下となるまで）繰り返すことによりＶπＴ（ｂ）を求めることができる。更新が完了したときに方策π（ｂ）は、式（６）ないし式（６．１）により計算される。
【数７】
【００３４】
詳細に述べると、式（５）と式（６）は、A-MDPの上位概念である部分観測マルコフ決定過程において定義された一般的な価値関数と方策の決定式に他ならない。しかし、状態ｂの定義の仕方（つまり状態ｂに含まれる要素の定義）が式（５）と式（６）の計算量を大きく左右する。特にＰ（ｂ’｜ｂ，ａ）の値の決定とその総和を求める計算では計算量が大きい。上述のA-MDPは、式（１）−（４）で定義したエントロピーの概念を使用して信念空間Ｂを定義することにより式（５）と式（６）の計算量を大幅に減ずることが可能になっている。
【００３５】
〔実施形態１〕
本発明の実施形態に係る動作計画装置の機能構成例を図１に示す。
本実施形態では、説明の簡略のため、自律飛行船の移動を水平面内運動に限定する。このため、Ｚ座標については考慮しない。また、位置のデカルト座標のうちＹ軸を平均風向に平行になるように設定することにより、風の影響は、自律飛行船のＸ軸方向の移動においては無視可能と仮定できる。以上により、信念空間Ｂの各状態をｂ＝（Ｘｂ，Ｙｂ，φｂ，ＨＹｂ，Ｈφｂ）として説明を行う。このように風向をＹ軸に一致させたことにより、状態空間を構成する変数のうちＨＸｂを減らすことができる。ただし、Ｚ方向の移動が含まれる場合には、Ｘ座標やＹ座標に対する計算と同様の処理をＺ座標についても行えばよいため、容易に拡張することができる。
【００３６】
動作計画装置は、実際に自律飛行船を制御する前に、信念空間Ｂ＝｛ｂ１，ｂ２，…，ｂｎ｝の各状態ｂ∈Ｂと各行動ａ∈Ａ＝｛ａ１，ａ２，…ａｍ｝の組み合わせについて、状態ｂのときに行動ａを選択した際に、状態ｂ’へ遷移する遷移確率Ｐ（ｂ’｜ｂ，ａ）とそのときの報酬Ｒ（ｂ’｜ｂ，ａ）とを計算しておく。さらに、動作計画装置は、計算した遷移確率と報酬を元に価値関数Ｖπ（ｂ）と方策π（ｂ，ａ）とを計算し、これらの結果を記憶部に記憶しておく。したがって、本実施形態の説明で述べる自律飛行船の「現在位置」、「移動先の位置座標」、「計測位置座標」などは、実際の自律飛行船の位置座標ではなく、シミュレーション上の位置座標を表すものである。
【００３７】
＜記憶部＞
記憶部５０には、予め自律飛行船が取り得る行動の集合Ａ＝｛ａ１，ａ２，…，ａｍ｝が記憶されているものとする。
また、記憶部５０には、自律飛行船が遷移し得る離散的な状態の集合（信念空間）Ｂ＝｛ｂ１，ｂ２，・・・，ｂｎ｝も予め記憶されているとする。
【００３８】
ここで、ｂ＝（Ｘｂ，Ｙｂ，φｂ，ＨＹｂ，Ｈφｂ）∈Ｂである。ＸｂとＹｂは、自律飛行船が遷移し得るＸ座標の範囲とＹ座標の範囲の範囲をそれぞれ離散化したときの各区間を表している。例えば、Ｘ軸方向の稼働範囲を０〜１ｋｍとし、それを４分割して離散化したとすると、Ｘ１＝［０ｋｍ，０．２５ｋｍ］，Ｘ２＝［０．２５ｋｍ，０．５ｋｍ］，Ｘ３＝［０．５ｋｍ，０．７５ｋｍ］，Ｘ４＝［０．７５ｋｍ，１ｋｍ］の区間に対応する。ＸｂはＸ１からＸ４のどれかである。
【００３９】
方位角の離散値φｉは、方位角として取り得る範囲（０〜２π）を離散化した各区間を、０に近い方から順にφ１，φ２，・・・，φＤφとおいたものである。
【００４０】
ＨＹｉ，Ｈφｉは、取りうるエントロピーの離散値であり、予め計測センサの精度などを考慮してＹｉ値、φｉ値の存在確率の分布のばらつきとして取りうる値を設定しておく。例えば、エントロピーの最大値ＨｍａｘＹ、Ｈｍａｘφを予め与えておき、０からＨｍａｘＹ（またはＨｍａｘφ）の範囲を離散化することにより、各ＨＹｉ，Ｈφｉを決定してもよい。
【００４１】
○ステップＳ１
状態・行動選択部１は、記憶部から、まだ選択されていない状態ｂ∈Ｂと行動ａ∈Ａの組（ｂ，ａ）を選択する。なお、すべての状態及び行動の組み合わせについて以降の計算を行うので、未選択の組み合わせの中から任意に選択を行うことができる。
【００４２】
○ステップＳ２
現在位置座標決定部２は、状態・行動選択部１によって選択された状態ｂを仮定したときの自律飛行船の位置（Ｘ，Ｙ，φ）を決定する。
【００４３】
まず、式（７）により、状態ｂのときに自律飛行船が状態（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ）に存在する確率Ｐ（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ｜ｂ）を定義する。
【数８】
【００４４】
式（７）にて、Ｐ（Ｘｂ，ｉ｜ｂ）、Ｐ（Ｙｂ，ｉ｜ｂ）、Ｐ（φｂ，ｉ｜ｂ）は式（８）（９）（１０）で定義される。ただし、積分範囲は式（８）の場合は状態Ｘｂ，ｉ内全域、式（９）の場合は状態Ｙｉ内全域、式（１０）の場合は状態φｂ，ｉ内全域を表す。
【数９】
【００４５】
例えば、Ｘｂ，ｉ=［０，０．２５］であれば、式（８）は下記式のとおりである。
【数１０】
【００４６】
また、状態ｂのとき自律飛行船が座標（Ｘ，Ｙ，φ）にいる確率分布ｐ（Ｘ，Ｙ，φ｜ｂ）を式（１１）により定義する。
【数１１】
【００４７】
ここで、確率分布ｐ（Ｘ｜ｂ）、ｐ（Ｙ｜ｂ）、ｐ（φ｜ｂ）は、式（１２）（１３）（１４）により定義される。
【数１２】
【００４８】
Ｘ，Ｙ，φは変数であり、ＸｂｃはＸｂの中心点のＸ座標，ＹｂｃはＹｂの中心点のＹ座標，φｂｃはφｂの中心点のφ座標である。ここで、式（１２）（１３）（１４）で使用しているσＸ、σＹ、σφの値は、動作計画の計算結果に大きく影響を与えるものである。
【００４９】
現在位置座標決定部２は、式（７）または式（１１）のいずれかを用いて、自律飛行船の位置（Ｘ，Ｙ，φ）を決定する。式（７）を使用する場合は、Ｐ（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ｜ｂ）の値が示す確率に従って、サンプル状態（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ）を選び出し、選ばれたサンプル状態の中心点を自律飛行船の位置（Ｘ，Ｙ，φ）とする。式（１１）を使用する場合は、Ｐ（Ｘ，Ｙ，φ｜ｂ）の値が示す確率に従って、サンプル点（Ｘ，Ｙ，φ）を選び出し、自律飛行船の位置とする。
【００５０】
なお、式（１１）を使用して自律飛行船の位置を決定する場合でも、式（７）の値は後の処理（存在確率計算部による処理）で使用するので、この時点で式（７）も求めておく。
【００５１】
本実施形態では、風の平均風向がＹ軸に平行なことを考慮してＨＸｂの値をｂの成分としていないことから、σＸをセンサの計測と使用しているフィルタの性能を考慮した一定値に固定し、主にσＹとσφの値について、式（７）を使用する場合は式（１５）および式（１６）を満たすように定める。ただし、ＨＹｂｃは状態ＨＹｂの中心点のＨＹ座標であり、Ｈφｂｃは状態Ｈφｂの中心点のＨφ座標である。
【数１３】
【００５２】
なお、式（１５）（１６）を満たすσＹ、σφの値は、本処理の実行前に全てのｂについて予め決定しておく。値の決定のためには、例えば、σＹについては、σＹの初期値として小さい値を設定して式（１５）の右辺値を計算し、その結果とＨＹｂｃの値とを大小比較して、右辺値が小さい場合は、σＹの値を微小量だけ大きくし、逆に右辺値が小さい場合は、σＹの値を微小量だけ大きくなるように更新することで求めることができる。
【００５３】
式（１１）を使用する場合は、式（１７）および式（１８）により定める。
【数１４】
【００５４】
ここで、式（１７）の積分範囲はＹ全域、式（１８）の積分範囲はφ全域である。σＹとσφの値の決定方法は、式（１５）と式（１６）を満たすσＹとσφの値の決定方法と同じである。
【００５５】
○ステップＳ３
移動先位置座標選択部３は、状態遷移確率分布ｐ（Ｘ’−Ｘ，Ｙ’−Ｙ，φ’−φ｜φｂ，ｉ，ａ）の指す確率に従って、自律飛行船の移動後の位置を（Ｘ’，Ｙ’，φ’）を決定する。状態遷移確率分布は、任務環境内の風速の平均値および揺らぎ量の大きさを反映して決める。状態遷移確率ｐ（Ｘ’−Ｘ，Ｙ’−Ｙ，φ’−φ｜φｂ，ｉ，ａ）の値は、式（１９）により決定する。
【数１５】
【００５６】
ここで、Ｘ’、Ｙ’、φ’は変数であり、式（２０）（２１）（２２）が成立する。
【数１６】
【００５７】
また、ＤＸ（φｂ，ｉ ，ａ），ＤＹ（φｂ，ｉ ，ａ），Ｄφ（φｂ，ｉ ，ａ）は、方位角状態φｂ，ｉにおいて行動ａを選択した際のＸ，Ｙ，φの変位量の平均値である（特許第４４０６４３６号参照）。平均風速が各位置Ｘ，Ｙにて異なる値であることを考慮しなければならないので、ＤＸ（φｂ，ｉ ，ａ），ＤＹ（φｂ，ｉ ，ａ），Ｄφ（φｂ，ｉ ，ａ）は、Ｘ，Ｙも変数に含んでいる。
【００５８】
なお、σＸｔ，σＹｔ，σφｔの値には、風速に関するばらつきの程度が影響する。風速が一定で変わらない場合は、自律飛行船の行動ごとの変位はＤＸ，ＤＹ，Ｄφの値の計算の際に平均風速値が考慮されているので、決定された変位から大きくずれることはない。しかし、各行動の間に風速が急激に変動した場合、風速の変動分だけ自律飛行船は変動風速の影響を受けて変位に誤差を生じてしまう。その誤差のばらつきの程度を式（２０）（２１）（２２）にて考慮している。
【００５９】
自律飛行船の任務環境内の各位置における風速のばらつきに応じてσＸｔ，σＹｔ，σφｔの値は変化する。一般には、σＸｔ，σＹｔ，σφｔは、Ｘ，Ｙの関数となるところである。本実施形態では、平均風向はＹ軸に平行としているので風の影響はＹ軸方向のみに主に表れると考えてよく、σＸｔは一定値としてよい。σＸｔの大きさは、風向のばらつきの大きさに影響する量であるとも言える。風向のバラつきが大きい場合には、σＸｔの値をそれに応じて大きくするとよい。もし風向のばらつき量が各位置で異なるならば、σＸｔの値もX,Yの関数となる。σＹｔ，σφｔの値は、方位角φに依存する。一般的に自律飛行船は、真横から風を受ける場合に最も風の影響を受けやすい。逆に正面前方より風を受けた場合に、最も風の影響を受けにくいという性質がある。
【００６０】
今、Ｙ軸が風向に一致しているとして自律飛行船が飛行する環境内全域で風が吹いているとする。Ｙ方向から見た飛行船の断面積をＳ（φ）とする。Ｓ（φ）についての非負値単調増加関数をＦＹ（Ｓ（φ））、Ｆφ（Ｓ（φ））、位置Ｘ，Ｙにおける風速のばらつきの大きさについての単調増加関数Fσ（Ｘ，Ｙ）として、式（２３）でσＹｔ，σφｔの値を決定する。簡単のため、σφｔを一定値にして計算することも有用である。
【数１７】
【００６１】
もちろん、簡単のため、任務環境内での風速のばらつきの程度を一定値とすれば、Fσは一定値であり、また、平均風速を任務環境内で一定速度とすれば式（２０）（２１）（２２）は以下のように簡略化される。
【数１８】
【００６２】
○ステップＳ４
計測位置座標選択部４は、センサによる計測確率分布ｐ（ＭＸ’，ＭＹ’，Ｍφ’| Ｘ’，Ｙ’，φ’）の指す確率に従って、移動先位置座標選択部３によって推定される自律飛行船の移動後の位置座標とセンサにより計測される実際の位置座標との誤差を考慮して、自律飛行船の移動後の位置座標（ＭＸ’，ＭＹ’，Ｍφ’）を決定する。計測確率分布ｐ（ＭＸ’，ＭＹ’，Ｍφ’|Ｘ’，Ｙ’，φ’）の値は、式（２４）によって決定する。式（２４）の右辺の各各確率は式（２５）（２６）（２７）で定義される。
【数１９】
【００６３】
σＭＸ，σＭＹ，σＭφの値は、自律飛行船に搭載しているセンサの精度を考慮して決定される。ＧＰＳ（Global Positioning System）を位置計測センサとして、ジャイロセンサを方位角計測センサとして使用するのであれば、環境内全域で一定のσＭＸ，σＭＹの値が設定される。無線LAN方式の位置計測センサを使用する場合は、環境内の各位置によって多少の精度の差があるので、σＭＸ，σＭＹは、X,Yの関数となる。
【００６４】
○ステップＳ５
存在確率計算部５は、自律飛行船の位置計測値を（ＭＸ’，ＭＹ’，Ｍφ’）とし、行動ａを選択する前の状態ｂのときの自律飛行船が位置座標（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ）にいる確率をＰ（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ｜ｂ）として、離散ベイジアンフィルタを使用して、選択された行動後の状態ｂ’を計算する。まず、存在確率計算部５は、全ての遷移先状態（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）について、式（２８）で遷移先状態（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）に自律飛行船が存在する確率の予測値（存在確率予測値）Ｐ’（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）を計算する。
【数２０】
【００６５】
式（２８）において、Ｐ（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’｜Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ，ａ）は式（２９）で表される。
【数２１】
【００６６】
式（２８）で、Σは全（Ｘｂ，ｉ，Ｙｂ，ｉ，φｂ，ｉ）についての総和である。∫ｉは遷移前状態ｉ内全域についての積分、∫ｉ’は遷移後状態ｉ’内全域についての積分である。
【００６７】
次に、存在確率計算部５は、計算したＰ’（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）の値を式（３０）により補正する。ηは正規化係数である。
【数２２】
【００６８】
ここで、（Ｘｂ，ｉ’ｃ，Ｙｂ，ｉ’ｃ，φｂ，ｉ’ｃ）は、状態（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）の中心点である。
【００６９】
そして、計算されたＰ（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’｜ｂ’）の値のうち、Ｐ（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’｜ｂ’）の値を最大にする状態（Ｘｍａｘｂ’，Ｙｍａｘｂ’,φｍａｘｂ’）をｂ’における中心状態とし、式（３１）（３２）で計算されるエントロピーＨＹ’，Ｈφ’の値から状態ｂ’のエントロピー状態成分ＨＹｂ’，Ｈφｂ’を決定し、ｂ’＝(Ｘｍａｘｂ’，Ｙｍａｘｂ’,φｍａｘｂ’，ＨＹｂ’，Ｈφｂ’）に更新する。Σは、全てのＹｂまたはφｂについての総和を計算することを表す。
【数２３】
【００７０】
○ステップＳ６
遷移確率計算部６は、存在確率計算部５によって計算された状態ｂ’に対する遷移確率Ｐ（ｂ’｜ｂ，ａ）と報酬Ｒ（ｂ’｜ｂ，ａ）の値を所定の値だけ増加させる（Ｎは繰り返し回数）。このようにすることで、或る（ｂ，ａ）の組に対して、Ｎ回のシミュレーションを実行した結果、多く推定された移動後の状態ｂ’に関する遷移確率と報酬が高く設定されることになる。遷移確率Ｐ（ｂ’｜ｂ，ａ）のインクリメントは式（３３）に従う。
【数２４】
【００７１】
報酬値のインクリメントは、式（３４）（３５）（３６）（３７）のいずれかに従う。
【数２５】
【００７２】
式（３４）はベイジアンフィルタの結果をベースに報酬を決定する場合、式（３５）は飛行船搭載センサの計測値をベースに報酬が決定される場合、式（３６）は自律飛行船以外の飛行船の真値を知る第三者（人間操作者）により報酬の判定が行われる場合である。式(３７)は、行動選択時の行動開始位置により報酬判定が行われる場合である。
【００７３】
ｒ（Ｘ，Ｙ，φ）は、例えば、以下のような関数である。
【数２６】
【００７４】
○ステップＳ７
繰り返し制御部７は、状態・行動選択部１によって選択された（ｂ，ａ）の組に対して、ステップＳ２−ステップＳ６の処理をＮ回繰り返したか否かを判定し、繰り返し回数がＮ回に満たない場合には現在位置座標決定部２による処理へ移行し、ステップＳ２−ステップＳ６の処理を繰り返し実行させる。繰り返し回数がＮ回に到達した場合には、状態・行動選択部１による処理へ移行し、まだ選択していない信念状態と行動の組についてステップＳ２−ステップＳ６の処理を実行させる。すべての信念状態と行動の組についてステップＳ２−ステップＳ６の処理を行った場合には、処理を終了する。
【００７５】
○ステップＳ８
価値関数計算部８は、上述の処理で求めた遷移確率Ｐ（ｂ’｜ｂ，ａ）と報酬Ｒ（ｂ’｜ｂ，ａ）を用いて、式（５．１）により、価値関数Ｖπ（ｂ）を計算する。ここで、｜ＶπＴ（ｂ）−ＶπＴ−１（ｂ）｜の値が予め定めた閾値εより小さくなるまでＴを増加させながらＶπＴ（ｂ）の値を更新していく。
【００７６】
○ステップＳ９
方策計算部９は、式（６．１）により、上述の処理で求めた遷移確率Ｐ（ｂ’｜ｂ，ａ）と報酬Ｒ（ｂ’｜ｂ，ａ）と価値関数Ｖπ（ｂ）を用いて、方策π（ｂ，ａ）を求める。
【００７７】
〔変形例１〕
上述のステップＳ１−ステップＳ６の処理では、信念空間内の全ての信念ｂ=（Ｘｂ，Ｙｂ，φｂ，Ｈｙｂ，Ｈφｂ）について、行動ａによる起こりうる全ての遷移先の信念ｂ’について、Ｐ（ｂ’｜ｂ，ａ）を評価していた。これを全空間で行っていては、計算量が膨大なものとなってしまう場合がある。幸い、自律飛行船の場合は、或る状態（Ｘｂ，Ｙｂ，φｂ）に存在する自律飛行船は、一回の行動によって、Ｘ，Ｙ，φ座標についてそれほど離れていない周囲の状態のどれかに移動することが分かっている。そして、その移動の際の、Ｘ，Ｙ，φ座標での差分の量は、平均風速および風速のばらつき量が任務環境内の各位置で一定値であるという仮定を設けることが可能であれば、行動と方位角のみによって決定される。このことをうまく利用すると、遷移先の可能性のある信念ｂ’についてのみＰ（ｂ’｜ｂ，ａ）を評価すればよいため、計算量を大幅に削減することができる。
【００７８】
Ｐ（ｂ’｜ｂ，ａ）の評価の際に、ｂについては、Ｘｂ，Ｙｂの値を固定値としてｂ＝（０，０，φｂ，Ｈｙｂ，Ｈφｂ）とし、方位角とエントロピーのみのとりうる全ての値に対してｂ’への遷移確率を考慮する。ここでｂ’の中でＸ，Ｙ，φの値が取りうる範囲は、一回の行動で自律飛行船が移動しうるＸ，Ｙ，φ面内の距離がそれぞれｄｍａｘＸｂ，ｄｍａｘＹｂ，ｄｍａｘφｂとすれば、それぞれＸ，Ｙ，φ方向の幅が２×ｄｍａｘＸｂ＋１，２×ｄｍａｘＹｂ＋１，２×ｄｍａｘφｂ＋１となる格子空間に収まる。よって、この格子空間内の信念ｂ’についてのみ、Ｐ（ｂ’｜ｂ，ａ）を評価すればよい。
【００７９】
以上によりＰ（ｂ’｜ｂ，ａ）のデータ形式は、以下のような変数Ｐの配列データとなる。
【数２７】
【００８０】
ｄＸｂ’，ｄＹｂ’は、Ｘｂ，Ｙｂの変化量である。配列数の取りえる範囲は、それぞれ以下の通りである。
【数２８】
【００８１】
ここで、φｍａｘｂはφｂの状態数、ＨｍａｘＹｂはＨＹｂの状態数、ＨｍａｘφｂはＨφｂの状態数、ａｍａｘは行動数である。なお、ＸＹ平面内の移動と方位角φの変化については、独立の事象であると単純化することも可能であるから、方位角の変位量は、もとの方位角によらず行動のみに依存することも利用して、以下のようにＰ（ｂ’｜ｂ，ａ）の配列データを組むことも可能である。
【数２９】
【００８２】
ここで、ｄφｂ’は、方位角φｂの変位量であり、以下を満たす。
【数３０】
【００８３】
以上により保持されたデータを利用して、ｂ=（Ｘｂ，Ｙｂ，φｂ，ＨＹｂ，Ｈφｂ），ｂ’=（Ｘｂ’，Ｙｂ’，φｂ’，ＨＹｂ’，Ｈφｂ’）とすると、以下のいずれかが成立する。
【数３１】
【００８４】
〔変形例２〕
ステップＳ８の処理において式（５．１）によりＶπＴ（ｂ）値の計算を行う際に、ある（ｂ，ｂ’）の組に対して全てのａにおいて、Ｐ（ｂ’｜ｂ，ａ）の値が０である場合には、式（５．１）の右辺は０となるため計算の意味がない。ここで、次に定義するフラグを使用する。
【数３２】
【００８５】
これらのフラグは、信念遷移確率の計算前には、すべて０に初期化されている。そして、ステップＳ６の処理において式（３３）−（３６）のＰ（ｂ’｜ｂ，ａ）もしくはＲ（ｂ’|ｂ，ａ）のインクリメントが行われた際には、対応するｄＸｂ’，ｄＹｂ’，ｄφｂ’のフラグ値を１に設定する。
【００８６】
実際の（５）式による計算を実行する際には、ｂとｂ’のＸ，Ｙ，φ座標の差分値とａ値に対応したフラグの値を参照し、フラグ値が０である場合は、全てのｂとｂ’のエントロピー値に対して（５）式の計算を行わない。
【００８７】
変形例１と変形例２を用いることで、動的計画法での価値関数計算のコストを１０倍近く短縮することができる。
【００８８】
〔実施形態２〕
次に、動作計画装置により作成された価値関数Ｖπ（ｂ）と方策π（ｂ，ａ）を用いて、実施形態２において実際に動作主体の行動を制御する行動制御装置について説明を行う。
【００８９】
行動制御装置は、行動選択を行う度に、得られた計測値（ＭＸ，ＭＹ，Ｍφ）に対してベイジアンフィルタを使用して、自律飛行船がどの位置にどの確率で存在するかについての確率分布Ｐ（Ｘｂ，Ｙｂ，φｂ）を計算する。ベイジアンフィルタは、カルマンフィルタや、パーティクルフィルタなどが使用可能であるが、本発明においては、離散ベイジアンフィルタを採用するのが簡便である。その理由は、本発明における信念空間ｂは離散空間（Ｘｂ，Ｙｂ，φｂ，ＨＹｂ，Ｈφｂ）で構成されており、離散ベイジアンフィルタの式の定義をそのまま使用可能である点と、動作計画の計算の際に行うシミュレーションでも離散ベイジアンフィルタを使用しているので、実際のミッションと動作計画計算での仮定との間の違いを最小限にすることが可能である点によるものである。
【００９０】
○ステップＳ１１
位置取得部１１は、自律飛行船に搭載された位置及び方位角計測センサ６１により計測した、自機位置と方位角（ＭＸ，ＭＹ，Ｍφ）を取得する。
【００９１】
○ステップＳ１２
状態遷移確率計算部１２は、フィルタリングで使用する状態遷移確率ｐ（Ｘ’−Ｘ，Ｙ’−Ｙ，φ’−φ｜φｂ，ａ）の値を式（１９）により計算する。
【００９２】
○ステップＳ１３
計測確率計算部１３は、式（２４）により計測確率ｐ（ＭＸ’，ＭＹ’，Ｍφ’| Ｘ’，Ｙ’，φ’）の値を計算する。ここで、式（２５）−（２７）におけるＭＸ’，ＭＹ’，Ｍφ’には、位置取得部で取得した値を利用する。
【００９３】
○ステップＳ１４
存在確率予測値計算部１４は、全ての遷移先状態（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）について、（２８）式により、遷移先状態（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）に自律飛行船が存在する確率の予測値（存在確率予測値）Ｐ’（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）を計算する。
【００９４】
○ステップＳ１５
存在確率予測値補正部１５は、存在確率予測値Ｐ’（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’）の補正を（３０）式により補正する。
【００９５】
○ステップＳ１６
移動先状態決定部１６は、存在確率予測値補正部１５によって計算されたＰ（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’｜ｂ’）の値のうち、Ｐ（Ｘｂ，ｉ’，Ｙｂ，ｉ’，φｂ，ｉ’｜ｂ’）の値を最大にする状態（Ｘｍａｘｂ’，Ｙｍａｘｂ’,φｍａｘｂ’）をｂ’における中心状態とし、式（３１）（３２）により計算されるエントロピーの値から、ｂ’のエントロピー状態成分ＨＹｂ’，Ｈφｂ’を決定し、ｂ’＝(Ｘｍａｘｂ’，Ｙｍａｘｂ’,φｍａｘｂ’，ＨＹｂ’，Ｈφｂ’）を移動先状態に決定する。
【００９６】
○ステップＳ１７
行動決定部１７は、移動先状態決定部１６によって決定された状態ｂ’について、記憶部５０に記憶された方策π（ｂ’，ａ）を検索して行動ａを決定する。自律飛行船の制御部６２は、決定された行動ａに基づきアクチュエータなどの制御を実行する。
【００９７】
以上の動作を各時刻ステップで行い、各時刻ステップにおける自律飛行船の行動制御を行う。
【００９８】
実施形態等から明らかなように、風速にばらつきがある環境中にて、自律飛行船の運動に対する、方位角による風の影響の違いを考慮した自律飛行船の動作計画が可能である。これにより、目標位置へ高い確率で自律飛行船が到達し、かつ障害物回避の確率も最大の経路を計算することができる。
【００９９】
＜動作計画装置および動作制御装置のハードウェア構成例＞
上述の実施形態に関わる各装置は、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ＣＰＵ（Central Processing Unit）〔キャッシュメモリなどを備えていてもよい。〕、メモリであるＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）と、ハードディスクである外部記憶装置、並びにこれらの入力部、出力部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置間のデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、各装置に、ＣＤ−ＲＯＭなどの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【０１００】
各装置の外部記憶装置には、動作計画ないし行動制御のためのプログラム並びにこのプログラムの処理において必要となるデータなどが記憶されている〔外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくなどでもよい。〕。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。以下、データやその格納領域のアドレスなどを記憶する記憶装置を単に「記憶部」と呼ぶことにする。
【０１０１】
各装置では、記憶部に記憶されたプログラムとプログラムの処理に必要なデータが必要に応じてＲＡＭに読み込まれて、ＣＰＵで解釈実行・処理される。この結果、ＣＰＵが所定の機能（状態・行動選択部、現在位置座標決定部、移動先位置座標選択部、計測位置座標選択部、存在確率計算部、遷移確率計算部、繰り返し制御部、価値関数計算部、方策計算部／位置取得部、状態遷移確率計算部、計測確率計算部、存在確率予測値計算部、存在確率予測値補正部、移動先状態決定部、行動決定部）を実現することで動作計画ないし行動制御が実現される。
【０１０２】
＜補記＞
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。上述の実施形態では確率分布として正規分布を与えたがこれに限定する趣旨ではない。具体的な確率分布は例えば自律移動ロボットの特性や任務環境などに応じて適宜に設定される。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１０３】
また、上記実施形態において説明したハードウェアエンティティにおける処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【０１０４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１０５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１０６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１０７】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【特許請求の範囲】
【請求項１】
自律移動ロボットの動作計画方法であって、
上記自律移動ロボットの状態が、デカルト座標、方位角、当該デカルト座標の確率分布についてのエントロピー、当該方位角の確率分布についてのエントロピーを含んで表現されるとし、
上記自律移動ロボットが遷移しえる予め定められた上記状態の集合（以下、状態集合という）と上記自律移動ロボットの採りえる行動の集合（以下、行動集合という）が予め定められており、
状態・行動選択部が、上記状態集合の要素と上記行動集合の要素との組み合わせのうち未選択の組み合わせを選択する状態・行動選択ステップと、
現在位置座標決定部が、上記状態・行動選択ステップにおいて選択された上記組み合わせに含まれる状態の下で、上記自律移動ロボットのデカルト座標および方位角を要素とする位置座標の確率分布を計算する現在位置座標決定ステップと、
移動先位置座標選択部が、状態遷移確率に基づき、上記自律移動ロボットの移動後の位置を計算する移動先位置座標選択ステップと、
存在確率計算部が、上記現在位置座標決定ステップで計算された上記自律移動ロボットの位置座標の確率分布にベイジアンフィルタを適用して、遷移先の状態を求める存在確率計算ステップと、
遷移確率計算部が、現在の状態から上記存在確率計算ステップで得られた状態へ遷移する遷移確率と当該遷移に伴う報酬を計算する遷移確率計算ステップと、
制御部が、上記状態・行動選択ステップにおいて選択された上記組み合わせについて、上記現在位置座標決定ステップ、上記移動先位置座標選択ステップ、上記存在確率計算ステップ、上記遷移確率計算ステップの各処理を所定回数繰り返し実行し、当該所定回数繰り返し実行した場合には、上記状態・行動選択ステップの処理を行う制御を行う制御ステップと、
価値関数計算部が、上記遷移確率と上記報酬を用いて価値関数を計算する価値関数計算ステップと、
方策計算部が、上記遷移確率と上記報酬と上記価値関数を用いて表される方策関数を計算する方策計算ステップと
を有する自律移動ロボットの動作計画方法。
【請求項２】
請求項１に記載の自律移動ロボットの動作計画方法において、
計測位置座標選択部が、上記自律移動ロボットの位置座標を計測するセンサの計測誤差を確率分布で表し、当該センサで計測された位置座標と上記移動先位置座標選択ステップにおいて得られた上記自律移動ロボットの移動後の位置との誤差に基づいて、上記自律移動ロボットの移動後の位置を計算する計測位置座標選択ステップを有し、
上記存在確率計算ステップでは、存在確率計算部が、上記現在位置座標決定ステップで計算された上記自律移動ロボットの位置座標の確率分布にベイジアンフィルタを適用して得られた確率分布を上記計測位置座標選択ステップで得られた上記自律移動ロボットの移動後の位置に基づいて補正して、遷移先の状態を求め、
上記制御ステップは、制御部が、上記状態・行動選択ステップにおいて選択された上記組み合わせについて、上記現在位置座標決定ステップ、上記移動先位置座標選択ステップ、上記計測位置座標選択ステップ、上記存在確率計算ステップ、上記遷移確率計算ステップの各処理を所定回数繰り返し実行し、当該所定回数繰り返し実行した場合には、上記状態・行動選択ステップの処理を行う制御を行う
ことを特徴とする自律移動ロボットの動作計画方法。
【請求項３】
請求項１または請求項２に記載の自律移動ロボットの動作計画方法において、
上記遷移確率を求めるための計算を上記自律移動ロボットの１回の行動で遷移可能な状態の範囲に限定する
ことを特徴とする自律移動ロボットの動作計画方法。
【請求項４】
請求項１から請求項３のいずれかに記載の自律移動ロボットの動作計画方法において、
上記遷移確率が０である場合には上記価値関数の計算を行わない
ことを特徴とする自律移動ロボットの動作計画方法。
【請求項５】
請求項１から請求項４のいずれかに記載の自律移動ロボットの動作計画方法で決まった動作計画に基づき、自律移動ロボットを制御する自律移動ロボットの制御方法であって、
記憶部には、上記動作計画方法により得られた方策関数および、上記自律移動ロボットの採りえる行動の集合が記憶されており、
位置取得部が、上記自律移動ロボットのデカルト座標および方位角を要素とする位置座標を計測するセンサの計測結果を取得する位置取得ステップと、
状態遷移確率計算部が、状態遷移確率に基づき、上記自律移動ロボットの移動後の位置を計算する状態遷移確率計算ステップと、
存在確率予測値計算部が、上記位置取得ステップにて取得された位置座標から遷移先の位置座標に上記自律移動ロボットが存在する確率の予測値（以下、存在確率予測値という）を求める存在確率予測値計算ステップと、
移動先状態決定部が、上記存在確率予測値を最大にする位置座標を遷移先とする移動先状態決定ステップと、
行動決定部が、上記方策関数により行動を決定する行動決定ステップと
を有する自律移動ロボットの制御方法。
【請求項６】
請求項５に記載の自律移動ロボットの制御方法において、
計測確率計算部が、確率分布で表された上記センサの計測誤差に基づいて、上記センサで計測された位置座標の確率分布を求める計測確率計算ステップと、
存在確率予測値補正部が、上記存在確率予測値を上記計測確率計算ステップで得られた確率分布に基づいて補正する存在確率予測値補正ステップとを有し、
上記移動先状態決定ステップでは、移動先状態決定部が、上記存在確率予測値補正ステップで補正された存在確率予測値を最大にする位置座標を遷移先とする
ことを特徴とする自律移動ロボットの制御方法。
【請求項７】
自律移動ロボットの動作計画装置であって、
上記自律移動ロボットの状態が、デカルト座標、方位角、当該デカルト座標の確率分布についてのエントロピー、当該方位角の確率分布についてのエントロピーを含んで表現されるとし、
上記自律移動ロボットが遷移しえる予め定められた上記状態の集合（以下、状態集合という）と上記自律移動ロボットの採りえる行動の集合（以下、行動集合という）が予め定められており、
上記状態集合の要素と上記行動集合の要素との組み合わせのうち未選択の組み合わせを選択する状態・行動選択部と、
上記状態・行動選択部によって選択された上記組み合わせに含まれる状態の下で、上記自律移動ロボットのデカルト座標および方位角を要素とする位置座標の確率分布を計算する現在位置座標決定部と、
状態遷移確率に基づき、上記自律移動ロボットの移動後の位置を計算する移動先位置座標選択部と、
上記現在位置座標決定部が算出した上記自律移動ロボットの位置座標の確率分布にベイジアンフィルタを適用して、遷移先の状態を求める存在確率計算部と、
現在の状態から上記存在確率計算部によって得られた状態へ遷移する遷移確率と当該遷移に伴う報酬を計算する遷移確率計算部と、
上記状態・行動選択部によって選択された上記組み合わせについて、上記現在位置座標決定部、上記移動先位置座標選択部、上記存在確率計算部、上記遷移確率計算部による各処理を所定回数繰り返し実行し、当該所定回数繰り返し実行した場合には、上記状態・行動選択部による処理を行う制御を行う制御部と、
上記遷移確率と上記報酬を用いて価値関数を計算する価値関数計算部と、
上記遷移確率と上記報酬と上記価値関数を用いて表される方策関数を計算する方策計算部と
を含む自律移動ロボットの動作計画装置。
【請求項８】
請求項７に記載の自律移動ロボットの動作計画装置において、
上記自律移動ロボットの位置座標を計測するセンサの計測誤差を確率分布で表し、当該センサで計測された位置座標と上記移動先位置座標選択部によって得られた上記自律移動ロボットの移動後の位置との誤差に基づいて、上記自律移動ロボットの移動後の位置を計算する計測位置座標選択部を含み、
上記存在確率計算部は、上記現在位置座標決定部によって算出された上記自律移動ロボットの位置座標の確率分布にベイジアンフィルタを適用して得られた確率分布を上記計測位置座標選択部によって得られた上記自律移動ロボットの移動後の位置に基づいて補正して、遷移先の状態を求め、
上記制御部は、上記状態・行動選択部によって選択された上記組み合わせについて、上記現在位置座標決定部、上記移動先位置座標選択部、上記計測位置座標選択部、上記存在確率計算部、上記遷移確率計算部による各処理を所定回数繰り返し実行し、当該所定回数繰り返し実行した場合には、上記状態・行動選択部による処理を行う制御を行う
ことを特徴とする自律移動ロボットの動作計画装置。
【請求項９】
請求項７または請求項８に記載の自律移動ロボットの動作計画装置によって決まった動作計画に基づき、自律移動ロボットを制御する自律移動ロボットの制御装置であって、
上記動作計画装置により得られた方策関数と、上記自律移動ロボットの採りえる行動の集合を記憶する記憶部と、
上記自律移動ロボットのデカルト座標および方位角を要素とする位置座標を計測するセンサの計測結果を取得する位置取得部と、
状態遷移確率に基づき、上記自律移動ロボットの移動後の位置を計算する状態遷移確率計算部と、
上記位置取得部によって取得された位置座標から遷移先の位置座標に上記自律移動ロボットが存在する確率の予測値（以下、存在確率予測値という）を求める存在確率予測値計算部と、
上記存在確率予測値を最大にする位置座標を遷移先とする移動先状態決定部と、
上記方策関数により行動を決定する行動決定部と
を有する自律移動ロボットの制御装置。
【請求項１０】
請求項９に記載の自律移動ロボットの制御装置において、
確率分布で表された上記センサの計測誤差に基づいて、上記センサで計測された位置座標の確率分布を求める計測確率計算部と、
上記存在確率予測値を上記計測確率計算部によって得られた確率分布に基づいて補正する存在確率予測値補正部とを含み、
上記移動先状態決定部は、上記存在確率予測値補正部によって補正された存在確率予測値を最大にする位置座標を遷移先とする
ことを特徴とする自律移動ロボットの制御装置。
【請求項１１】
請求項１から請求項４のいずれかに記載の自律移動ロボットの動作計画方法の各ステップをコンピュータに実行させるための自律移動ロボットの動作計画プログラム。
【請求項１２】
請求項５または請求項６に記載の自律移動ロボットの制御方法の各ステップをコンピュータに実行させるための自律移動ロボットの制御プログラム。
【請求項１】
自律移動ロボットの動作計画方法であって、
上記自律移動ロボットの状態が、デカルト座標、方位角、当該デカルト座標の確率分布についてのエントロピー、当該方位角の確率分布についてのエントロピーを含んで表現されるとし、
上記自律移動ロボットが遷移しえる予め定められた上記状態の集合（以下、状態集合という）と上記自律移動ロボットの採りえる行動の集合（以下、行動集合という）が予め定められており、
状態・行動選択部が、上記状態集合の要素と上記行動集合の要素との組み合わせのうち未選択の組み合わせを選択する状態・行動選択ステップと、
現在位置座標決定部が、上記状態・行動選択ステップにおいて選択された上記組み合わせに含まれる状態の下で、上記自律移動ロボットのデカルト座標および方位角を要素とする位置座標の確率分布を計算する現在位置座標決定ステップと、
移動先位置座標選択部が、状態遷移確率に基づき、上記自律移動ロボットの移動後の位置を計算する移動先位置座標選択ステップと、
存在確率計算部が、上記現在位置座標決定ステップで計算された上記自律移動ロボットの位置座標の確率分布にベイジアンフィルタを適用して、遷移先の状態を求める存在確率計算ステップと、
遷移確率計算部が、現在の状態から上記存在確率計算ステップで得られた状態へ遷移する遷移確率と当該遷移に伴う報酬を計算する遷移確率計算ステップと、
制御部が、上記状態・行動選択ステップにおいて選択された上記組み合わせについて、上記現在位置座標決定ステップ、上記移動先位置座標選択ステップ、上記存在確率計算ステップ、上記遷移確率計算ステップの各処理を所定回数繰り返し実行し、当該所定回数繰り返し実行した場合には、上記状態・行動選択ステップの処理を行う制御を行う制御ステップと、
価値関数計算部が、上記遷移確率と上記報酬を用いて価値関数を計算する価値関数計算ステップと、
方策計算部が、上記遷移確率と上記報酬と上記価値関数を用いて表される方策関数を計算する方策計算ステップと
を有する自律移動ロボットの動作計画方法。
【請求項２】
請求項１に記載の自律移動ロボットの動作計画方法において、
計測位置座標選択部が、上記自律移動ロボットの位置座標を計測するセンサの計測誤差を確率分布で表し、当該センサで計測された位置座標と上記移動先位置座標選択ステップにおいて得られた上記自律移動ロボットの移動後の位置との誤差に基づいて、上記自律移動ロボットの移動後の位置を計算する計測位置座標選択ステップを有し、
上記存在確率計算ステップでは、存在確率計算部が、上記現在位置座標決定ステップで計算された上記自律移動ロボットの位置座標の確率分布にベイジアンフィルタを適用して得られた確率分布を上記計測位置座標選択ステップで得られた上記自律移動ロボットの移動後の位置に基づいて補正して、遷移先の状態を求め、
上記制御ステップは、制御部が、上記状態・行動選択ステップにおいて選択された上記組み合わせについて、上記現在位置座標決定ステップ、上記移動先位置座標選択ステップ、上記計測位置座標選択ステップ、上記存在確率計算ステップ、上記遷移確率計算ステップの各処理を所定回数繰り返し実行し、当該所定回数繰り返し実行した場合には、上記状態・行動選択ステップの処理を行う制御を行う
ことを特徴とする自律移動ロボットの動作計画方法。
【請求項３】
請求項１または請求項２に記載の自律移動ロボットの動作計画方法において、
上記遷移確率を求めるための計算を上記自律移動ロボットの１回の行動で遷移可能な状態の範囲に限定する
ことを特徴とする自律移動ロボットの動作計画方法。
【請求項４】
請求項１から請求項３のいずれかに記載の自律移動ロボットの動作計画方法において、
上記遷移確率が０である場合には上記価値関数の計算を行わない
ことを特徴とする自律移動ロボットの動作計画方法。
【請求項５】
請求項１から請求項４のいずれかに記載の自律移動ロボットの動作計画方法で決まった動作計画に基づき、自律移動ロボットを制御する自律移動ロボットの制御方法であって、
記憶部には、上記動作計画方法により得られた方策関数および、上記自律移動ロボットの採りえる行動の集合が記憶されており、
位置取得部が、上記自律移動ロボットのデカルト座標および方位角を要素とする位置座標を計測するセンサの計測結果を取得する位置取得ステップと、
状態遷移確率計算部が、状態遷移確率に基づき、上記自律移動ロボットの移動後の位置を計算する状態遷移確率計算ステップと、
存在確率予測値計算部が、上記位置取得ステップにて取得された位置座標から遷移先の位置座標に上記自律移動ロボットが存在する確率の予測値（以下、存在確率予測値という）を求める存在確率予測値計算ステップと、
移動先状態決定部が、上記存在確率予測値を最大にする位置座標を遷移先とする移動先状態決定ステップと、
行動決定部が、上記方策関数により行動を決定する行動決定ステップと
を有する自律移動ロボットの制御方法。
【請求項６】
請求項５に記載の自律移動ロボットの制御方法において、
計測確率計算部が、確率分布で表された上記センサの計測誤差に基づいて、上記センサで計測された位置座標の確率分布を求める計測確率計算ステップと、
存在確率予測値補正部が、上記存在確率予測値を上記計測確率計算ステップで得られた確率分布に基づいて補正する存在確率予測値補正ステップとを有し、
上記移動先状態決定ステップでは、移動先状態決定部が、上記存在確率予測値補正ステップで補正された存在確率予測値を最大にする位置座標を遷移先とする
ことを特徴とする自律移動ロボットの制御方法。
【請求項７】
自律移動ロボットの動作計画装置であって、
上記自律移動ロボットの状態が、デカルト座標、方位角、当該デカルト座標の確率分布についてのエントロピー、当該方位角の確率分布についてのエントロピーを含んで表現されるとし、
上記自律移動ロボットが遷移しえる予め定められた上記状態の集合（以下、状態集合という）と上記自律移動ロボットの採りえる行動の集合（以下、行動集合という）が予め定められており、
上記状態集合の要素と上記行動集合の要素との組み合わせのうち未選択の組み合わせを選択する状態・行動選択部と、
上記状態・行動選択部によって選択された上記組み合わせに含まれる状態の下で、上記自律移動ロボットのデカルト座標および方位角を要素とする位置座標の確率分布を計算する現在位置座標決定部と、
状態遷移確率に基づき、上記自律移動ロボットの移動後の位置を計算する移動先位置座標選択部と、
上記現在位置座標決定部が算出した上記自律移動ロボットの位置座標の確率分布にベイジアンフィルタを適用して、遷移先の状態を求める存在確率計算部と、
現在の状態から上記存在確率計算部によって得られた状態へ遷移する遷移確率と当該遷移に伴う報酬を計算する遷移確率計算部と、
上記状態・行動選択部によって選択された上記組み合わせについて、上記現在位置座標決定部、上記移動先位置座標選択部、上記存在確率計算部、上記遷移確率計算部による各処理を所定回数繰り返し実行し、当該所定回数繰り返し実行した場合には、上記状態・行動選択部による処理を行う制御を行う制御部と、
上記遷移確率と上記報酬を用いて価値関数を計算する価値関数計算部と、
上記遷移確率と上記報酬と上記価値関数を用いて表される方策関数を計算する方策計算部と
を含む自律移動ロボットの動作計画装置。
【請求項８】
請求項７に記載の自律移動ロボットの動作計画装置において、
上記自律移動ロボットの位置座標を計測するセンサの計測誤差を確率分布で表し、当該センサで計測された位置座標と上記移動先位置座標選択部によって得られた上記自律移動ロボットの移動後の位置との誤差に基づいて、上記自律移動ロボットの移動後の位置を計算する計測位置座標選択部を含み、
上記存在確率計算部は、上記現在位置座標決定部によって算出された上記自律移動ロボットの位置座標の確率分布にベイジアンフィルタを適用して得られた確率分布を上記計測位置座標選択部によって得られた上記自律移動ロボットの移動後の位置に基づいて補正して、遷移先の状態を求め、
上記制御部は、上記状態・行動選択部によって選択された上記組み合わせについて、上記現在位置座標決定部、上記移動先位置座標選択部、上記計測位置座標選択部、上記存在確率計算部、上記遷移確率計算部による各処理を所定回数繰り返し実行し、当該所定回数繰り返し実行した場合には、上記状態・行動選択部による処理を行う制御を行う
ことを特徴とする自律移動ロボットの動作計画装置。
【請求項９】
請求項７または請求項８に記載の自律移動ロボットの動作計画装置によって決まった動作計画に基づき、自律移動ロボットを制御する自律移動ロボットの制御装置であって、
上記動作計画装置により得られた方策関数と、上記自律移動ロボットの採りえる行動の集合を記憶する記憶部と、
上記自律移動ロボットのデカルト座標および方位角を要素とする位置座標を計測するセンサの計測結果を取得する位置取得部と、
状態遷移確率に基づき、上記自律移動ロボットの移動後の位置を計算する状態遷移確率計算部と、
上記位置取得部によって取得された位置座標から遷移先の位置座標に上記自律移動ロボットが存在する確率の予測値（以下、存在確率予測値という）を求める存在確率予測値計算部と、
上記存在確率予測値を最大にする位置座標を遷移先とする移動先状態決定部と、
上記方策関数により行動を決定する行動決定部と
を有する自律移動ロボットの制御装置。
【請求項１０】
請求項９に記載の自律移動ロボットの制御装置において、
確率分布で表された上記センサの計測誤差に基づいて、上記センサで計測された位置座標の確率分布を求める計測確率計算部と、
上記存在確率予測値を上記計測確率計算部によって得られた確率分布に基づいて補正する存在確率予測値補正部とを含み、
上記移動先状態決定部は、上記存在確率予測値補正部によって補正された存在確率予測値を最大にする位置座標を遷移先とする
ことを特徴とする自律移動ロボットの制御装置。
【請求項１１】
請求項１から請求項４のいずれかに記載の自律移動ロボットの動作計画方法の各ステップをコンピュータに実行させるための自律移動ロボットの動作計画プログラム。
【請求項１２】
請求項５または請求項６に記載の自律移動ロボットの制御方法の各ステップをコンピュータに実行させるための自律移動ロボットの制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−４１００４（Ｐ２０１２−４１００４Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８５８３１（Ｐ２０１０−１８５８３１）
【出願日】平成２２年８月２３日（２０１０．８．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月２３日（２０１０．８．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]