オプティカルフロー生成装置、生成方法、プログラム
【課題】入力画像のより広範囲な領域でオプティカルフローを生成するための技術を提供する。
【解決手段】オプティカルフロー生成装置１は、外部環境の輝度と外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成可能な外部カメラ２と、輝度画像データと距離画像データと輝度勾配の拘束条件に基づいて第1運動パラメータ拘束条件を生成する第１運動パラメータ拘束条件生成部９と、距離画像データと距離情報の拘束条件に基づいて第2運動パラメータ拘束条件を生成する第２運動パラメータ拘束条件生成部１０と、第１運動パラメータ拘束条件と第２運動パラメータ拘束条件に基づいて運動パラメータQを算出する運動パラメータ算出部１１と、運動パラメータQに基づいて入力画像の二次元オプティカルフローを生成する二次元オプティカルフロー生成部１２と、によって構成されている。
【解決手段】オプティカルフロー生成装置１は、外部環境の輝度と外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成可能な外部カメラ２と、輝度画像データと距離画像データと輝度勾配の拘束条件に基づいて第1運動パラメータ拘束条件を生成する第１運動パラメータ拘束条件生成部９と、距離画像データと距離情報の拘束条件に基づいて第2運動パラメータ拘束条件を生成する第２運動パラメータ拘束条件生成部１０と、第１運動パラメータ拘束条件と第２運動パラメータ拘束条件に基づいて運動パラメータQを算出する運動パラメータ算出部１１と、運動パラメータQに基づいて入力画像の二次元オプティカルフローを生成する二次元オプティカルフロー生成部１２と、によって構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オプティカルフロー生成装置、オプティカルフロー生成方法、及びプログラムに関する。
【背景技術】
【０００２】
この種の技術として、特許文献１は、所定の間隔をおいて配置された複数のカメラから得られた入力画像に基づいて、対象物とカメラとの相対的な三次元的な移動を検出する方法を開示している。この文献１においては、複数のカメラを用いることで距離画像を生成すると共に、同一カメラを用いて二次元オプティカルフローを生成し、これらを組み合わせることで三次元オプティカルフローを生成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−８４３８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述した特許文献１の検出方法では、入力画像の中で特徴のある部分についてしかオプティカルフローを生成することができないという問題がある。
【０００５】
本願発明の目的は、入力画像のより広範囲な領域でオプティカルフローを生成するための技術を提供することにある。
【課題を解決するための手段】
【０００６】
本願発明の第１の観点によれば、外部環境の輝度と前記外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成可能な画像データ生成手段と、前記輝度画像データを記憶する輝度画像記憶手段と、前記距離画像データを記憶する距離画像記憶手段と、前記輝度画像データと、前記距離画像データと、微小時間経過の前後で前記外部環境の輝度は変化しないとする輝度勾配の拘束条件と、に基づいて、前記外部環境に対する前記画像データ生成手段の相対的な運動を表現したものである運動パラメータの第１の拘束条件である第1運動パラメータ拘束条件を生成する第1運動パラメータ拘束条件生成手段と、前記距離画像データと、微小時間経過の前後で前記画像データ生成手段から前記外部環境までの距離は変化しないとする距離情報の拘束条件と、に基づいて、前記運動パラメータの第２の拘束条件である第２運動パラメータ拘束条件を生成する第２運動パラメータ拘束条件生成手段と、前記第１運動パラメータ拘束条件と前記第２運動パラメータ拘束条件に基づいて前記運動パラメータを算出する運動パラメータ算出手段と、前記運動パラメータに基づいて前記入力画像の二次元オプティカルフローを生成する二次元オプティカルフロー生成手段と、を含む、オプティカルフロー生成装置が提供される。以上の構成によれば、入力画像のより広範囲な領域でオプティカルフローを生成することができる。
【０００７】
また、オプティカルフロー生成装置は、前記二次元オプティカルフローと、前記距離画像データと、に基づいて三次元オプティカルフローを生成する三次元オプティカルフロー生成手段を更に含む。
【０００８】
本願発明の第２の観点によれば、外部環境の輝度と前記外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成可能な画像データ生成手段を用い、前記輝度画像データと、前記距離画像データと、微小時間経過の前後で前記外部環境の輝度は変化しないとする輝度勾配の拘束条件と、に基づいて、前記外部環境に対する前記画像データ生成手段の相対的な運動を表現したものである運動パラメータの第１の拘束条件である第1運動パラメータ拘束条件を生成するステップと、前記距離画像データと、微小時間経過の前後で前記画像データ生成手段から前記外部環境までの距離は変化しないとする距離情報の拘束条件と、に基づいて、前記運動パラメータの第２の拘束条件である第2運動パラメータ拘束条件を生成するステップと、前記第１運動パラメータ拘束条件と前記第２運動パラメータ拘束条件に基づいて前記運動パラメータを算出するステップと、前記運動パラメータに基づいて前記入力画像の二次元オプティカルフローを生成するステップと、を含むオプティカルフロー生成方法が提供される。
【０００９】
また、オプティカルフロー生成方法は、前記二次元オプティカルフローと、前記距離画像データと、に基づいて三次元オプティカルフローを生成するステップを更に含む。
【００１０】
本願発明の第３の観点によれば、コンピュータに、上記のオプティカルフロー生成方法を実行させるためのプログラムが提供される。
【発明の効果】
【００１１】
本願発明によれば、前記入力画像のより広範囲な画素のオプティカルフローを生成することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、オプティカルフロー生成装置のブロック図である。
【図２】図２は、オプティカルフロー生成フローである。
【図３】図３は、距離情報の拘束条件の説明図である。
【図４】図４は、三次元オプティカルフローの説明図である。
【図５】図５は、実施例の説明図である。
【図６】図６は、外部カメラをヨー方向に回転させた際のオプティカルフローの第１鳥瞰図である。
【図７】図７は、外部カメラをヨー方向に回転させた際のオプティカルフローの第２鳥瞰図である。
【図８】図８は、外部カメラをヨー方向に回転させた際のオプティカルフローの第３鳥瞰図である。
【図９】図９は、外部カメラをヨー方向に回転させた際のオプティカルフローの第４鳥瞰図である。
【図１０】図１０は、外部カメラをヨー方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第１図であって、図６に対応している。
【図１１】図１１は、外部カメラをヨー方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第２図であって、図７に対応している。
【図１２】図１２は、外部カメラをヨー方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第３図であって、図８に対応している。
【図１３】図１３は、外部カメラをヨー方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第４図であって、図９に対応している。
【図１４】図１４は、外部カメラをロール方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第１図である。
【図１５】図１５は、外部カメラをロール方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第２図である。
【図１６】図１６は、外部カメラをピッチ方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第１図である。
【図１７】図１７は、外部カメラをピッチ方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第２図である。
【図１８】図１８は、人を被写体としたときのオプティカルフローの第１鳥瞰図である。
【図１９】図１９は、人を被写体としたときのオプティカルフローの第２鳥瞰図である。
【図２０】図２０は、人を被写体としたときのオプティカルフローの第３鳥瞰図である。
【図２１】図２１は、人を被写体としたときのオプティカルフローの第４鳥瞰図である。
【図２２】図２２は、人を被写体としたときのオプティカルフローの第５鳥瞰図である。
【図２３】図２３は、人を被写体としたときのオプティカルフローをグレースケール画像に重畳させた第１図であって、図１８に対応している。
【図２４】図２４は、人を被写体としたときのオプティカルフローをグレースケール画像に重畳させた第２図であって、図１９に対応している。
【図２５】図２５は、人を被写体としたときのオプティカルフローをグレースケール画像に重畳させた第３図であって、図２０に対応している。
【図２６】図２６は、人を被写体としたときのオプティカルフローをグレースケール画像に重畳させた第４図であって、図２１に対応している。
【図２７】図２７は、人を被写体としたときのオプティカルフローをグレースケール画像に重畳させた第５図であって、図２２に対応している。
【発明を実施するための形態】
【００１３】
図１に示すオプティカルフロー生成装置１は、外部カメラ２と、パーソナルコンピュータ３と、によって構成されている。
【００１４】
外部カメラ２は、外部環境の輝度と外部環境までの距離を測定して取得し、入力画像としての輝度画像データ及び距離画像データを生成可能な画像データ生成手段である。外部カメラ２は、所定時間間隔で輝度画像データ及び距離画像データを生成し、生成した輝度画像データ及び距離画像データを逐次、パーソナルコンピュータ３に出力する。輝度画像とは、各ピクセルに輝度が割り当てられた画像であって、典型的にはグレースケール画像に相当している。距離画像とは、各ピクセルに、外部カメラ２から外部環境までの距離が割り当てられた画像である。外部カメラ２は、例えば一般的な撮像カメラとTOF（Time Of Flight）測定装置の組み合わせによって実現される。TOF測定装置とは、距離測定装置の一種であって、光源と受光センサを有し、光源から出た光が外部環境で反射し、受光センサに届くまでの光の飛行時間(遅れ時間)と光速に基づいて外部環境（被写体）までの距離を算出する装置である。この種の外部カメラ２は、例えばMicrosoft社製のKinect（登録商標）として市販されている。
【００１５】
パーソナルコンピュータ３は、CPU4（Central Proccessing Unit）、RAM5（Random Access Memory）、ROM6（Read Only Memory）によって構成されている。ROM6には、オプティカルフロー生成プログラムが記憶されている。オプティカルフロー生成プログラムは、RAM5にロードされる。CPU4は、RAM5にロードされたオプティカルフロー生成プログラムを逐次実行する。これにより、オプティカルフロー生成プログラムは、CPU4などのハードウェアを、グレースケール画像記憶部７（輝度画像記憶手段）、距離画像記憶部８（距離画像記憶手段）、第１運動パラメータ拘束条件生成部９（第１運動パラメータ拘束条件生成手段）、第２運動パラメータ拘束条件生成部１０（第２運動パラメータ拘束条件生成手段）、運動パラメータ算出部１１（運動パラメータ算出手段）、二次元オプティカルフロー生成部１２（二次元オプティカルフロー生成手段）、三次元オプティカルフロー生成部１３（三次元オプティカルフロー生成手段）として機能させるようになっている。
【００１６】
グレースケール画像記憶部７は、外部カメラ２が生成した輝度画像データを記憶する。グレースケール画像記憶部７には、例えば、時刻ｔにおける輝度画像データや時刻ｔ+Δｔにおける輝度画像データなどがFIFO形式で記憶される。
【００１７】
距離画像記憶部８は、外部カメラ２が生成した距離画像データを記憶する。距離画像記憶部８には、例えば、時刻ｔにおける距離画像データや時刻ｔ+Δｔにおける距離画像データなどがFIFO形式で記憶される。
【００１８】
第１運動パラメータ拘束条件生成部９は、輝度画像データと、距離画像データと、輝度勾配の拘束条件と、に基づいて、外部環境に対する外部カメラ２の相対的な運動を表現したものである運動パラメータQの第１の拘束条件である第1運動パラメータ拘束条件を生成する。ここで、「輝度勾配の拘束条件」とは、微小時間経過の前後で外部環境の輝度は変化しないという普遍的原理に基づく拘束条件である。
【００１９】
第２運動パラメータ拘束条件生成部１０は、距離画像データと、距離情報の拘束条件と、に基づいて、運動パラメータQの第２の拘束条件である第2運動パラメータ拘束条件を生成する。ここで、「距離情報の拘束条件」とは、微小時間経過の前後で外部カメラ２から外部環境までの距離は変化しないという普遍的原理に基づく拘束条件である。
【００２０】
運動パラメータ算出部１１は、第１運動パラメータ拘束条件と第２運動パラメータ拘束条件に基づいて運動パラメータQを解析的に算出する。
【００２１】
二次元オプティカルフロー生成部１２は、運動パラメータQに基づいて入力画像の二次元オプティカルフローを生成する。
【００２２】
三次元オプティカルフロー生成部１３は、二次元オプティカルフローと、距離画像データと、に基づいて三次元オプティカルフローを生成する。
【００２３】
次に、図２を参照しつつ、オプティカルフロー生成方法を詳しく説明する。
【００２４】
先ず、外部カメラ２が、時刻ｔ及び時刻ｔ+Δｔにおいて外部環境の輝度と外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成する（S300）。つまり、輝度画像データと距離画像データは、何れも入力画像である。輝度画像データは、各画素毎に輝度値を有する。距離画像データは、各画素毎に距離情報を有する。
【００２５】
次に、第１運動パラメータ拘束条件生成部９が、下記式（１）で示す第１運動パラメータ拘束条件を生成する（S310）。下記式（１）の詳細を下記式（２）〜（６）で示している。下記式（１）に示すように、第１運動パラメータ拘束条件は、運動パラメータQを用いて線形的に記述できる。
【００２６】
【数１】
【００２７】
【数２】
【００２８】
【数３】
【００２９】
【数４】
【００３０】
【数５】
【００３１】
【数６】
【００３２】
上記式（１）においてQは、運動パラメータQを意味している。上記式（２）において｛V｝＝（Vｘ、Vy、Vz）Tは、外部カメラ２の外部環境に対する相対的な速度を示している。上記式（２）において｛Ω｝＝（α、β、γ）Tは、外部カメラ２の外部環境に対する相対的な角速度を示している。ただし、"｛｝"で囲まれた文字はベクトル又は行列を意味している。また、上記式（３）及び（４）において、添字（１・・・ｍ）は、入力画像中の注目画素を特定するためのものである。上記式（３）においてｆｘｍ、ｆｙｍは、注目画素ｍにおけるX、Y方向の輝度勾配である。上記式（４）においてｆｔｍは、注目画素ｍにおける時間方向の輝度勾配である。上記式（５）において｛ｘ｝ｍは、注目画素ｍの入力画像中の位置ベクトルである。上記式（６）においてZｍは、距離画像データから得られる注目画素ｍの距離データである。上記式（６）においてｃは外部カメラ２の焦点距離である。
【００３３】
ここで、上記式（１）の導出過程を説明する。
【００３４】
一般に、輝度勾配の拘束式は、下記式（７）に従う。下記式（７）において、（ｕ、ｖ）Tは、注目画素の入力画像中の速度ベクトルである。
【００３５】
【数７】
【００３６】
上記式（７）では、ｕとｖが何れも未知数であるためそのままではｕもｖも求めることができない。そこで、従来では、上記式（７）に「小領域において二次元オプティカルフローは一定である」という条件を無理やり付加してｕとｖを求めていた。
【００３７】
ところで、外部環境の任意の点である三次元空間上の点Pの座標を下記式（８）のように｛X｝とすると、下記式（９）となる。
【００３８】
【数８】
【００３９】
【数９】
【００４０】
また、二次元座標と三次元座標の変換は、下記式（１０）となる。上記式（９）を微分すると、下記式（１１）となる。なお、下記式（１１）において、｛Z｝にハットが付いたものは、Z方向の単位ベクトルを意味している。下記式（１１）を上記式（９）に代入すると、下記式（１２）となる。
【００４１】
【数１０】
【００４２】
【数１１】
【００４３】
【数１２】
【００４４】
上記式（１２）を各要素に分解すると、下記式（１３）となる。
【００４５】
【数１３】
【００４６】
そして、上記式（１３）を上記式（７）に代入すると、前述した式（１）が最終的に得られる。
【００４７】
次に、第２運動パラメータ拘束条件生成部１０が、下記式（１４）で示す第２運動パラメータ拘束条件を生成する（S320）。下記式（１４）の詳細を下記式（１５）及び（１６）で示している。下記式（１４）で示すように、第２運動パラメータ拘束条件は、運動パラメータQを用いて線形的な形で記述できる。
【００４８】
【数１４】
【００４９】
【数１５】
【００５０】
【数１６】
【００５１】
上記式（１５）においてｇｘｍ、ｇｙｍは、注目画素ｍにおけるX、Y方向の距離勾配である。上記式（１５）において、ηｍは、（０、０、１、Y、―X、０）である。上記式（１６）においてZimg（ｘm、ym）は、時刻ｔにおける注目画素ｍの距離データを意味する。上記式（１６）においてZ'img（Xm、ym）は、時刻ｔ+Δｔにおける注目画素ｍの距離データを意味する。
【００５２】
ここで、上記式（１４）の導出過程を説明する。
【００５３】
前述した式（９）のZ成分は奥行き方向の変位ΔZを意味しており、下記式（１７）で表される。
【００５４】
【数１７】
【００５５】
また、Z'imgをテイラー展開して二次以上の項を無視すると、下記式（１８）が得られる。下記式（１８）について必要であれば、図３を参照されたい。
【００５６】
【数１８】
【００５７】
そして、上記式（１７）及び（１８）から下記式（１９）が得られる。距離情報の拘束条件は、下記式（１９）においてZ'―Z≒０に相当している。
【００５８】
【数１９】
【００５９】
そして、上記式（１９）を運動パラメータQで整理すると、前述した式（１４）が得られる。
【００６０】
次に、運動パラメータ算出部１１が、運動パラメータQを算出する（S330）。上記式（１）と式（１４）を統合させると、下記式（２０）になる。下記式（２０）の詳細を下記式（２１）及び（２２）で示している。
【００６１】
【数２０】
【００６２】
【数２１】
【００６３】
【数２２】
【００６４】
上記式（２０）は運動パラメータQの線形方程式となる。そして、上記式（２０）より運動パラメータQの最小二乗解は、下記式（２３）により解析的に求められる。なお、最小二乗解とは、未知数より方程式の数が多い連立方程式は一意に解を求めることができないことから、一番もっともらしい解をその連立方程式の解とするものである。
【００６５】
【数２３】
【００６６】
次に、二次元オプティカルフロー生成部１２は、運動パラメータQを用いて、二次元オプティカルフローを生成する（S340）。具体的には、上記式（２３）を上記式（１３）に代入することで、入力画像中の各画素の平面的な速度ベクトル、即ち二次元オプティカルフローが求められる。入力画像中の各画素の速度ベクトルは適宜、RAM5に記憶される。
【００６７】
次に、三次元オプティカルフロー生成部１３は、三次元オプティカルフローを生成する（S350）。具体的には、三次元オプティカルフロー生成部１３は、RAM5に記憶されている二次元オプティカルフローと、距離画像記憶部８に記憶されている時刻ｔでの距離画像データと時刻ｔ+Δｔでの距離画像データと、に基づいて、図４に示すように、入力画像中の各画素の立体的な速度ベクトル、即ち三次元オプティカルフローを生成する。入力画像中の各画素の立体的な速度ベクトルは適宜、RAM5に記憶されると共に、図示しないディスプレイ上に表示される。
【００６８】
以上に、オプティカルフロー生成装置１の構成と作動を説明した。次に、実際に生成された三次元オプティカルフローを例示する。実施例１〜３では、背景の壁面に若干の模様を付しているが、このような模様を取り除いても同様の結果になっていることは既に本願発明者らによって確認されている。
【００６９】
（実施例１）
図５に示すように相互に直交する２つの壁面に対して対向する位置に外部カメラ２を設置し、外部カメラ２をヨー方向に回転させた際に生成された三次元オプティカルフローを検証した。図６〜９の鳥瞰図において、グレー色はTOF法によって検出した壁面そのものであり、黒い線分は三次元オプティカルフローを示している。図６〜９によれば、三次元オプティカルフローが壁面をトラッキングしている様子が判る。また、図１０〜１３のグレースケール画像において、白い線分は二次元オプティカルフローを示している。図１０〜１３によれば、外部カメラ２のヨー方向への回転に伴って水平な二次元オプティカルフローが生成されていることが判る。
【００７０】
（実施例２）
次に、外部カメラ２をロール方向に回転させた際に生成された二次元オプティカルフローを検証した。図１４及び図１５のグレースケール画像において、白い線分は二次元オプティカルフローを示している。図１４及び図１５によれば、外部カメラ２のロール方向への回転に対応した適切な二次元オプティカルフローが生成されていることが判る。
【００７１】
（実施例３）
次に、外部カメラ２をピッチ方向に回転させた際に生成された二次元オプティカルフローを検証した。図１６及び図１７のグレースケール画像において、白い線分は二次元オプティカルフローを示している。図１６及び図１７によれば、外部カメラ２のピッチ方向への回転に対応した適切な二次元オプティカルフローが生成されていることが判る。
【００７２】
（実施例４）
次に、外部カメラ２を固定した状態で、外部カメラ２の前で人物にお辞儀をさせたときの三次元オプティカルフローを図１８〜２２に、二次元オプティカルフローを図２３〜２７に示す。図１８〜２２の鳥瞰図において、グレー色はTOF法によって検出した外部環境そのものであり、黒い線分は三次元オプティカルフローを示している。図１８〜２２によれば、人物の上下動に対応した三次元オプティカルフローが好適に生成されていることが判る。特に、図１９においては人物の体のラインに沿った三次元オプティカルフローの生成が実現できていることが判る。図２０には下方へ向かう三次元オプティカルフロー、図２１及び図２２には上方へ向かう三次元オプティカルフローが生成されている。図２３〜２７は必要に応じて参照されたい。図２３〜２７のグレースケール画像において、白い線分は二次元オプティカルフローを示している。
【００７３】
以上説明したように、上記実施形態においてオプティカルフロー生成装置１は、要するに、以下の特長を有している。即ち、オプティカルフロー生成装置１は、外部環境の輝度と外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成可能な外部カメラ２と、輝度画像データを記憶する輝度グレースケール画像記憶部７と、距離画像データを記憶する距離画像記憶部８と、輝度画像データと、距離画像データと、輝度勾配の拘束条件と、に基づいて、第1運動パラメータ拘束条件を生成する第１運動パラメータ拘束条件生成部９と、距離画像データと、距離情報の拘束条件と、に基づいて、第2運動パラメータ拘束条件を生成する第２運動パラメータ拘束条件生成部１０と、第１運動パラメータ拘束条件と第２運動パラメータ拘束条件に基づいて運動パラメータQを算出する運動パラメータ算出部１１と、運動パラメータQに基づいて入力画像の二次元オプティカルフローを生成する二次元オプティカルフロー生成部１２と、によって構成されている。以上の構成によれば、２種類の拘束条件を有機的に結合することで、入力画像のより広範囲な領域でオプティカルフローを生成することができる。
【符号の説明】
【００７４】
１ オプティカルフロー生成装置
２ 外部カメラ
３ パーソナルコンピュータ
７ グレースケール画像記憶部
８ 距離画像記憶部
９ 第１運動パラメータ拘束条件生成部
１０ 第２運動パラメータ拘束条件生成部
１１ 運動パラメータ算出部
１２ 二次元オプティカルフロー生成部
１３ 三次元オプティカルフロー生成部
【技術分野】
【０００１】
本発明は、オプティカルフロー生成装置、オプティカルフロー生成方法、及びプログラムに関する。
【背景技術】
【０００２】
この種の技術として、特許文献１は、所定の間隔をおいて配置された複数のカメラから得られた入力画像に基づいて、対象物とカメラとの相対的な三次元的な移動を検出する方法を開示している。この文献１においては、複数のカメラを用いることで距離画像を生成すると共に、同一カメラを用いて二次元オプティカルフローを生成し、これらを組み合わせることで三次元オプティカルフローを生成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−８４３８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述した特許文献１の検出方法では、入力画像の中で特徴のある部分についてしかオプティカルフローを生成することができないという問題がある。
【０００５】
本願発明の目的は、入力画像のより広範囲な領域でオプティカルフローを生成するための技術を提供することにある。
【課題を解決するための手段】
【０００６】
本願発明の第１の観点によれば、外部環境の輝度と前記外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成可能な画像データ生成手段と、前記輝度画像データを記憶する輝度画像記憶手段と、前記距離画像データを記憶する距離画像記憶手段と、前記輝度画像データと、前記距離画像データと、微小時間経過の前後で前記外部環境の輝度は変化しないとする輝度勾配の拘束条件と、に基づいて、前記外部環境に対する前記画像データ生成手段の相対的な運動を表現したものである運動パラメータの第１の拘束条件である第1運動パラメータ拘束条件を生成する第1運動パラメータ拘束条件生成手段と、前記距離画像データと、微小時間経過の前後で前記画像データ生成手段から前記外部環境までの距離は変化しないとする距離情報の拘束条件と、に基づいて、前記運動パラメータの第２の拘束条件である第２運動パラメータ拘束条件を生成する第２運動パラメータ拘束条件生成手段と、前記第１運動パラメータ拘束条件と前記第２運動パラメータ拘束条件に基づいて前記運動パラメータを算出する運動パラメータ算出手段と、前記運動パラメータに基づいて前記入力画像の二次元オプティカルフローを生成する二次元オプティカルフロー生成手段と、を含む、オプティカルフロー生成装置が提供される。以上の構成によれば、入力画像のより広範囲な領域でオプティカルフローを生成することができる。
【０００７】
また、オプティカルフロー生成装置は、前記二次元オプティカルフローと、前記距離画像データと、に基づいて三次元オプティカルフローを生成する三次元オプティカルフロー生成手段を更に含む。
【０００８】
本願発明の第２の観点によれば、外部環境の輝度と前記外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成可能な画像データ生成手段を用い、前記輝度画像データと、前記距離画像データと、微小時間経過の前後で前記外部環境の輝度は変化しないとする輝度勾配の拘束条件と、に基づいて、前記外部環境に対する前記画像データ生成手段の相対的な運動を表現したものである運動パラメータの第１の拘束条件である第1運動パラメータ拘束条件を生成するステップと、前記距離画像データと、微小時間経過の前後で前記画像データ生成手段から前記外部環境までの距離は変化しないとする距離情報の拘束条件と、に基づいて、前記運動パラメータの第２の拘束条件である第2運動パラメータ拘束条件を生成するステップと、前記第１運動パラメータ拘束条件と前記第２運動パラメータ拘束条件に基づいて前記運動パラメータを算出するステップと、前記運動パラメータに基づいて前記入力画像の二次元オプティカルフローを生成するステップと、を含むオプティカルフロー生成方法が提供される。
【０００９】
また、オプティカルフロー生成方法は、前記二次元オプティカルフローと、前記距離画像データと、に基づいて三次元オプティカルフローを生成するステップを更に含む。
【００１０】
本願発明の第３の観点によれば、コンピュータに、上記のオプティカルフロー生成方法を実行させるためのプログラムが提供される。
【発明の効果】
【００１１】
本願発明によれば、前記入力画像のより広範囲な画素のオプティカルフローを生成することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、オプティカルフロー生成装置のブロック図である。
【図２】図２は、オプティカルフロー生成フローである。
【図３】図３は、距離情報の拘束条件の説明図である。
【図４】図４は、三次元オプティカルフローの説明図である。
【図５】図５は、実施例の説明図である。
【図６】図６は、外部カメラをヨー方向に回転させた際のオプティカルフローの第１鳥瞰図である。
【図７】図７は、外部カメラをヨー方向に回転させた際のオプティカルフローの第２鳥瞰図である。
【図８】図８は、外部カメラをヨー方向に回転させた際のオプティカルフローの第３鳥瞰図である。
【図９】図９は、外部カメラをヨー方向に回転させた際のオプティカルフローの第４鳥瞰図である。
【図１０】図１０は、外部カメラをヨー方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第１図であって、図６に対応している。
【図１１】図１１は、外部カメラをヨー方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第２図であって、図７に対応している。
【図１２】図１２は、外部カメラをヨー方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第３図であって、図８に対応している。
【図１３】図１３は、外部カメラをヨー方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第４図であって、図９に対応している。
【図１４】図１４は、外部カメラをロール方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第１図である。
【図１５】図１５は、外部カメラをロール方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第２図である。
【図１６】図１６は、外部カメラをピッチ方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第１図である。
【図１７】図１７は、外部カメラをピッチ方向に回転させた際のオプティカルフローをグレースケール画像に重畳させた第２図である。
【図１８】図１８は、人を被写体としたときのオプティカルフローの第１鳥瞰図である。
【図１９】図１９は、人を被写体としたときのオプティカルフローの第２鳥瞰図である。
【図２０】図２０は、人を被写体としたときのオプティカルフローの第３鳥瞰図である。
【図２１】図２１は、人を被写体としたときのオプティカルフローの第４鳥瞰図である。
【図２２】図２２は、人を被写体としたときのオプティカルフローの第５鳥瞰図である。
【図２３】図２３は、人を被写体としたときのオプティカルフローをグレースケール画像に重畳させた第１図であって、図１８に対応している。
【図２４】図２４は、人を被写体としたときのオプティカルフローをグレースケール画像に重畳させた第２図であって、図１９に対応している。
【図２５】図２５は、人を被写体としたときのオプティカルフローをグレースケール画像に重畳させた第３図であって、図２０に対応している。
【図２６】図２６は、人を被写体としたときのオプティカルフローをグレースケール画像に重畳させた第４図であって、図２１に対応している。
【図２７】図２７は、人を被写体としたときのオプティカルフローをグレースケール画像に重畳させた第５図であって、図２２に対応している。
【発明を実施するための形態】
【００１３】
図１に示すオプティカルフロー生成装置１は、外部カメラ２と、パーソナルコンピュータ３と、によって構成されている。
【００１４】
外部カメラ２は、外部環境の輝度と外部環境までの距離を測定して取得し、入力画像としての輝度画像データ及び距離画像データを生成可能な画像データ生成手段である。外部カメラ２は、所定時間間隔で輝度画像データ及び距離画像データを生成し、生成した輝度画像データ及び距離画像データを逐次、パーソナルコンピュータ３に出力する。輝度画像とは、各ピクセルに輝度が割り当てられた画像であって、典型的にはグレースケール画像に相当している。距離画像とは、各ピクセルに、外部カメラ２から外部環境までの距離が割り当てられた画像である。外部カメラ２は、例えば一般的な撮像カメラとTOF（Time Of Flight）測定装置の組み合わせによって実現される。TOF測定装置とは、距離測定装置の一種であって、光源と受光センサを有し、光源から出た光が外部環境で反射し、受光センサに届くまでの光の飛行時間(遅れ時間)と光速に基づいて外部環境（被写体）までの距離を算出する装置である。この種の外部カメラ２は、例えばMicrosoft社製のKinect（登録商標）として市販されている。
【００１５】
パーソナルコンピュータ３は、CPU4（Central Proccessing Unit）、RAM5（Random Access Memory）、ROM6（Read Only Memory）によって構成されている。ROM6には、オプティカルフロー生成プログラムが記憶されている。オプティカルフロー生成プログラムは、RAM5にロードされる。CPU4は、RAM5にロードされたオプティカルフロー生成プログラムを逐次実行する。これにより、オプティカルフロー生成プログラムは、CPU4などのハードウェアを、グレースケール画像記憶部７（輝度画像記憶手段）、距離画像記憶部８（距離画像記憶手段）、第１運動パラメータ拘束条件生成部９（第１運動パラメータ拘束条件生成手段）、第２運動パラメータ拘束条件生成部１０（第２運動パラメータ拘束条件生成手段）、運動パラメータ算出部１１（運動パラメータ算出手段）、二次元オプティカルフロー生成部１２（二次元オプティカルフロー生成手段）、三次元オプティカルフロー生成部１３（三次元オプティカルフロー生成手段）として機能させるようになっている。
【００１６】
グレースケール画像記憶部７は、外部カメラ２が生成した輝度画像データを記憶する。グレースケール画像記憶部７には、例えば、時刻ｔにおける輝度画像データや時刻ｔ+Δｔにおける輝度画像データなどがFIFO形式で記憶される。
【００１７】
距離画像記憶部８は、外部カメラ２が生成した距離画像データを記憶する。距離画像記憶部８には、例えば、時刻ｔにおける距離画像データや時刻ｔ+Δｔにおける距離画像データなどがFIFO形式で記憶される。
【００１８】
第１運動パラメータ拘束条件生成部９は、輝度画像データと、距離画像データと、輝度勾配の拘束条件と、に基づいて、外部環境に対する外部カメラ２の相対的な運動を表現したものである運動パラメータQの第１の拘束条件である第1運動パラメータ拘束条件を生成する。ここで、「輝度勾配の拘束条件」とは、微小時間経過の前後で外部環境の輝度は変化しないという普遍的原理に基づく拘束条件である。
【００１９】
第２運動パラメータ拘束条件生成部１０は、距離画像データと、距離情報の拘束条件と、に基づいて、運動パラメータQの第２の拘束条件である第2運動パラメータ拘束条件を生成する。ここで、「距離情報の拘束条件」とは、微小時間経過の前後で外部カメラ２から外部環境までの距離は変化しないという普遍的原理に基づく拘束条件である。
【００２０】
運動パラメータ算出部１１は、第１運動パラメータ拘束条件と第２運動パラメータ拘束条件に基づいて運動パラメータQを解析的に算出する。
【００２１】
二次元オプティカルフロー生成部１２は、運動パラメータQに基づいて入力画像の二次元オプティカルフローを生成する。
【００２２】
三次元オプティカルフロー生成部１３は、二次元オプティカルフローと、距離画像データと、に基づいて三次元オプティカルフローを生成する。
【００２３】
次に、図２を参照しつつ、オプティカルフロー生成方法を詳しく説明する。
【００２４】
先ず、外部カメラ２が、時刻ｔ及び時刻ｔ+Δｔにおいて外部環境の輝度と外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成する（S300）。つまり、輝度画像データと距離画像データは、何れも入力画像である。輝度画像データは、各画素毎に輝度値を有する。距離画像データは、各画素毎に距離情報を有する。
【００２５】
次に、第１運動パラメータ拘束条件生成部９が、下記式（１）で示す第１運動パラメータ拘束条件を生成する（S310）。下記式（１）の詳細を下記式（２）〜（６）で示している。下記式（１）に示すように、第１運動パラメータ拘束条件は、運動パラメータQを用いて線形的に記述できる。
【００２６】
【数１】
【００２７】
【数２】
【００２８】
【数３】
【００２９】
【数４】
【００３０】
【数５】
【００３１】
【数６】
【００３２】
上記式（１）においてQは、運動パラメータQを意味している。上記式（２）において｛V｝＝（Vｘ、Vy、Vz）Tは、外部カメラ２の外部環境に対する相対的な速度を示している。上記式（２）において｛Ω｝＝（α、β、γ）Tは、外部カメラ２の外部環境に対する相対的な角速度を示している。ただし、"｛｝"で囲まれた文字はベクトル又は行列を意味している。また、上記式（３）及び（４）において、添字（１・・・ｍ）は、入力画像中の注目画素を特定するためのものである。上記式（３）においてｆｘｍ、ｆｙｍは、注目画素ｍにおけるX、Y方向の輝度勾配である。上記式（４）においてｆｔｍは、注目画素ｍにおける時間方向の輝度勾配である。上記式（５）において｛ｘ｝ｍは、注目画素ｍの入力画像中の位置ベクトルである。上記式（６）においてZｍは、距離画像データから得られる注目画素ｍの距離データである。上記式（６）においてｃは外部カメラ２の焦点距離である。
【００３３】
ここで、上記式（１）の導出過程を説明する。
【００３４】
一般に、輝度勾配の拘束式は、下記式（７）に従う。下記式（７）において、（ｕ、ｖ）Tは、注目画素の入力画像中の速度ベクトルである。
【００３５】
【数７】
【００３６】
上記式（７）では、ｕとｖが何れも未知数であるためそのままではｕもｖも求めることができない。そこで、従来では、上記式（７）に「小領域において二次元オプティカルフローは一定である」という条件を無理やり付加してｕとｖを求めていた。
【００３７】
ところで、外部環境の任意の点である三次元空間上の点Pの座標を下記式（８）のように｛X｝とすると、下記式（９）となる。
【００３８】
【数８】
【００３９】
【数９】
【００４０】
また、二次元座標と三次元座標の変換は、下記式（１０）となる。上記式（９）を微分すると、下記式（１１）となる。なお、下記式（１１）において、｛Z｝にハットが付いたものは、Z方向の単位ベクトルを意味している。下記式（１１）を上記式（９）に代入すると、下記式（１２）となる。
【００４１】
【数１０】
【００４２】
【数１１】
【００４３】
【数１２】
【００４４】
上記式（１２）を各要素に分解すると、下記式（１３）となる。
【００４５】
【数１３】
【００４６】
そして、上記式（１３）を上記式（７）に代入すると、前述した式（１）が最終的に得られる。
【００４７】
次に、第２運動パラメータ拘束条件生成部１０が、下記式（１４）で示す第２運動パラメータ拘束条件を生成する（S320）。下記式（１４）の詳細を下記式（１５）及び（１６）で示している。下記式（１４）で示すように、第２運動パラメータ拘束条件は、運動パラメータQを用いて線形的な形で記述できる。
【００４８】
【数１４】
【００４９】
【数１５】
【００５０】
【数１６】
【００５１】
上記式（１５）においてｇｘｍ、ｇｙｍは、注目画素ｍにおけるX、Y方向の距離勾配である。上記式（１５）において、ηｍは、（０、０、１、Y、―X、０）である。上記式（１６）においてZimg（ｘm、ym）は、時刻ｔにおける注目画素ｍの距離データを意味する。上記式（１６）においてZ'img（Xm、ym）は、時刻ｔ+Δｔにおける注目画素ｍの距離データを意味する。
【００５２】
ここで、上記式（１４）の導出過程を説明する。
【００５３】
前述した式（９）のZ成分は奥行き方向の変位ΔZを意味しており、下記式（１７）で表される。
【００５４】
【数１７】
【００５５】
また、Z'imgをテイラー展開して二次以上の項を無視すると、下記式（１８）が得られる。下記式（１８）について必要であれば、図３を参照されたい。
【００５６】
【数１８】
【００５７】
そして、上記式（１７）及び（１８）から下記式（１９）が得られる。距離情報の拘束条件は、下記式（１９）においてZ'―Z≒０に相当している。
【００５８】
【数１９】
【００５９】
そして、上記式（１９）を運動パラメータQで整理すると、前述した式（１４）が得られる。
【００６０】
次に、運動パラメータ算出部１１が、運動パラメータQを算出する（S330）。上記式（１）と式（１４）を統合させると、下記式（２０）になる。下記式（２０）の詳細を下記式（２１）及び（２２）で示している。
【００６１】
【数２０】
【００６２】
【数２１】
【００６３】
【数２２】
【００６４】
上記式（２０）は運動パラメータQの線形方程式となる。そして、上記式（２０）より運動パラメータQの最小二乗解は、下記式（２３）により解析的に求められる。なお、最小二乗解とは、未知数より方程式の数が多い連立方程式は一意に解を求めることができないことから、一番もっともらしい解をその連立方程式の解とするものである。
【００６５】
【数２３】
【００６６】
次に、二次元オプティカルフロー生成部１２は、運動パラメータQを用いて、二次元オプティカルフローを生成する（S340）。具体的には、上記式（２３）を上記式（１３）に代入することで、入力画像中の各画素の平面的な速度ベクトル、即ち二次元オプティカルフローが求められる。入力画像中の各画素の速度ベクトルは適宜、RAM5に記憶される。
【００６７】
次に、三次元オプティカルフロー生成部１３は、三次元オプティカルフローを生成する（S350）。具体的には、三次元オプティカルフロー生成部１３は、RAM5に記憶されている二次元オプティカルフローと、距離画像記憶部８に記憶されている時刻ｔでの距離画像データと時刻ｔ+Δｔでの距離画像データと、に基づいて、図４に示すように、入力画像中の各画素の立体的な速度ベクトル、即ち三次元オプティカルフローを生成する。入力画像中の各画素の立体的な速度ベクトルは適宜、RAM5に記憶されると共に、図示しないディスプレイ上に表示される。
【００６８】
以上に、オプティカルフロー生成装置１の構成と作動を説明した。次に、実際に生成された三次元オプティカルフローを例示する。実施例１〜３では、背景の壁面に若干の模様を付しているが、このような模様を取り除いても同様の結果になっていることは既に本願発明者らによって確認されている。
【００６９】
（実施例１）
図５に示すように相互に直交する２つの壁面に対して対向する位置に外部カメラ２を設置し、外部カメラ２をヨー方向に回転させた際に生成された三次元オプティカルフローを検証した。図６〜９の鳥瞰図において、グレー色はTOF法によって検出した壁面そのものであり、黒い線分は三次元オプティカルフローを示している。図６〜９によれば、三次元オプティカルフローが壁面をトラッキングしている様子が判る。また、図１０〜１３のグレースケール画像において、白い線分は二次元オプティカルフローを示している。図１０〜１３によれば、外部カメラ２のヨー方向への回転に伴って水平な二次元オプティカルフローが生成されていることが判る。
【００７０】
（実施例２）
次に、外部カメラ２をロール方向に回転させた際に生成された二次元オプティカルフローを検証した。図１４及び図１５のグレースケール画像において、白い線分は二次元オプティカルフローを示している。図１４及び図１５によれば、外部カメラ２のロール方向への回転に対応した適切な二次元オプティカルフローが生成されていることが判る。
【００７１】
（実施例３）
次に、外部カメラ２をピッチ方向に回転させた際に生成された二次元オプティカルフローを検証した。図１６及び図１７のグレースケール画像において、白い線分は二次元オプティカルフローを示している。図１６及び図１７によれば、外部カメラ２のピッチ方向への回転に対応した適切な二次元オプティカルフローが生成されていることが判る。
【００７２】
（実施例４）
次に、外部カメラ２を固定した状態で、外部カメラ２の前で人物にお辞儀をさせたときの三次元オプティカルフローを図１８〜２２に、二次元オプティカルフローを図２３〜２７に示す。図１８〜２２の鳥瞰図において、グレー色はTOF法によって検出した外部環境そのものであり、黒い線分は三次元オプティカルフローを示している。図１８〜２２によれば、人物の上下動に対応した三次元オプティカルフローが好適に生成されていることが判る。特に、図１９においては人物の体のラインに沿った三次元オプティカルフローの生成が実現できていることが判る。図２０には下方へ向かう三次元オプティカルフロー、図２１及び図２２には上方へ向かう三次元オプティカルフローが生成されている。図２３〜２７は必要に応じて参照されたい。図２３〜２７のグレースケール画像において、白い線分は二次元オプティカルフローを示している。
【００７３】
以上説明したように、上記実施形態においてオプティカルフロー生成装置１は、要するに、以下の特長を有している。即ち、オプティカルフロー生成装置１は、外部環境の輝度と外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成可能な外部カメラ２と、輝度画像データを記憶する輝度グレースケール画像記憶部７と、距離画像データを記憶する距離画像記憶部８と、輝度画像データと、距離画像データと、輝度勾配の拘束条件と、に基づいて、第1運動パラメータ拘束条件を生成する第１運動パラメータ拘束条件生成部９と、距離画像データと、距離情報の拘束条件と、に基づいて、第2運動パラメータ拘束条件を生成する第２運動パラメータ拘束条件生成部１０と、第１運動パラメータ拘束条件と第２運動パラメータ拘束条件に基づいて運動パラメータQを算出する運動パラメータ算出部１１と、運動パラメータQに基づいて入力画像の二次元オプティカルフローを生成する二次元オプティカルフロー生成部１２と、によって構成されている。以上の構成によれば、２種類の拘束条件を有機的に結合することで、入力画像のより広範囲な領域でオプティカルフローを生成することができる。
【符号の説明】
【００７４】
１ オプティカルフロー生成装置
２ 外部カメラ
３ パーソナルコンピュータ
７ グレースケール画像記憶部
８ 距離画像記憶部
９ 第１運動パラメータ拘束条件生成部
１０ 第２運動パラメータ拘束条件生成部
１１ 運動パラメータ算出部
１２ 二次元オプティカルフロー生成部
１３ 三次元オプティカルフロー生成部
【特許請求の範囲】
【請求項１】
外部環境の輝度と前記外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成可能な画像データ生成手段と、
前記輝度画像データを記憶する輝度画像記憶手段と、
前記距離画像データを記憶する距離画像記憶手段と、
前記輝度画像データと、前記距離画像データと、微小時間経過の前後で前記外部環境の輝度は変化しないとする輝度勾配の拘束条件と、に基づいて、前記外部環境に対する前記画像データ生成手段の相対的な運動を表現したものである運動パラメータの第１の拘束条件である第1運動パラメータ拘束条件を生成する第1運動パラメータ拘束条件生成手段と、
前記距離画像データと、微小時間経過の前後で前記画像データ生成手段から前記外部環境までの距離は変化しないとする距離情報の拘束条件と、に基づいて、前記運動パラメータの第２の拘束条件である第2運動パラメータ拘束条件を生成する第2運動パラメータ拘束条件生成手段と、
前記第１運動パラメータ拘束条件と前記第２運動パラメータ拘束条件に基づいて前記運動パラメータを算出する運動パラメータ算出手段と、
前記運動パラメータに基づいて前記入力画像の二次元オプティカルフローを生成する二次元オプティカルフロー生成手段と、
を含む、
オプティカルフロー生成装置。
【請求項２】
請求項１に記載のオプティカルフロー生成装置であって、
前記二次元オプティカルフローと、前記距離画像データと、に基づいて三次元オプティカルフローを生成する三次元オプティカルフロー生成手段を更に含む、
オプティカルフロー生成装置。
【請求項３】
外部環境の輝度と前記外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成可能な画像データ生成手段を用い、
前記輝度画像データと、前記距離画像データと、微小時間経過の前後で前記外部環境の輝度は変化しないとする輝度勾配の拘束条件と、に基づいて、前記外部環境に対する前記画像データ生成手段の相対的な運動を表現したものである運動パラメータの第１の拘束条件である第1運動パラメータ拘束条件を生成するステップと、
前記距離画像データと、微小時間経過の前後で前記画像データ生成手段から前記外部環境までの距離は変化しないとする距離情報の拘束条件と、に基づいて、前記運動パラメータの第２の拘束条件である第2運動パラメータ拘束条件を生成するステップと、
前記第１運動パラメータ拘束条件と前記第２運動パラメータ拘束条件に基づいて前記運動パラメータを算出するステップと、
前記運動パラメータに基づいて前記入力画像の二次元オプティカルフローを生成するステップと、
を含む、
オプティカルフロー生成方法。
【請求項４】
請求項３に記載のオプティカルフロー生成方法であって、
前記二次元オプティカルフローと、前記距離画像データと、に基づいて三次元オプティカルフローを生成するステップを更に含む、
オプティカルフロー生成方法。
【請求項５】
コンピュータに、請求項３又は４に記載のオプティカルフロー生成方法を実行させるためのプログラム。
【請求項１】
外部環境の輝度と前記外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成可能な画像データ生成手段と、
前記輝度画像データを記憶する輝度画像記憶手段と、
前記距離画像データを記憶する距離画像記憶手段と、
前記輝度画像データと、前記距離画像データと、微小時間経過の前後で前記外部環境の輝度は変化しないとする輝度勾配の拘束条件と、に基づいて、前記外部環境に対する前記画像データ生成手段の相対的な運動を表現したものである運動パラメータの第１の拘束条件である第1運動パラメータ拘束条件を生成する第1運動パラメータ拘束条件生成手段と、
前記距離画像データと、微小時間経過の前後で前記画像データ生成手段から前記外部環境までの距離は変化しないとする距離情報の拘束条件と、に基づいて、前記運動パラメータの第２の拘束条件である第2運動パラメータ拘束条件を生成する第2運動パラメータ拘束条件生成手段と、
前記第１運動パラメータ拘束条件と前記第２運動パラメータ拘束条件に基づいて前記運動パラメータを算出する運動パラメータ算出手段と、
前記運動パラメータに基づいて前記入力画像の二次元オプティカルフローを生成する二次元オプティカルフロー生成手段と、
を含む、
オプティカルフロー生成装置。
【請求項２】
請求項１に記載のオプティカルフロー生成装置であって、
前記二次元オプティカルフローと、前記距離画像データと、に基づいて三次元オプティカルフローを生成する三次元オプティカルフロー生成手段を更に含む、
オプティカルフロー生成装置。
【請求項３】
外部環境の輝度と前記外部環境までの距離を測定して取得し、入力画像として、輝度画像データ及び距離画像データを生成可能な画像データ生成手段を用い、
前記輝度画像データと、前記距離画像データと、微小時間経過の前後で前記外部環境の輝度は変化しないとする輝度勾配の拘束条件と、に基づいて、前記外部環境に対する前記画像データ生成手段の相対的な運動を表現したものである運動パラメータの第１の拘束条件である第1運動パラメータ拘束条件を生成するステップと、
前記距離画像データと、微小時間経過の前後で前記画像データ生成手段から前記外部環境までの距離は変化しないとする距離情報の拘束条件と、に基づいて、前記運動パラメータの第２の拘束条件である第2運動パラメータ拘束条件を生成するステップと、
前記第１運動パラメータ拘束条件と前記第２運動パラメータ拘束条件に基づいて前記運動パラメータを算出するステップと、
前記運動パラメータに基づいて前記入力画像の二次元オプティカルフローを生成するステップと、
を含む、
オプティカルフロー生成方法。
【請求項４】
請求項３に記載のオプティカルフロー生成方法であって、
前記二次元オプティカルフローと、前記距離画像データと、に基づいて三次元オプティカルフローを生成するステップを更に含む、
オプティカルフロー生成方法。
【請求項５】
コンピュータに、請求項３又は４に記載のオプティカルフロー生成方法を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１２−２３８１６３（Ｐ２０１２−２３８１６３Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０６４４８（Ｐ２０１１−１０６４４８）
【出願日】平成２３年５月１１日（２０１１．５．１１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１１日（２０１１．５．１１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]