画像処理装置、画像処理方法、および画像処理用プログラム
【課題】撮像する画像内に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供する。
【解決手段】撮像した画像から画像処理を行う対象物を検知した場合、撮像位置から検知した対象物までの距離を算出し、対象物を含む複数の画像のうち、少なくとも二つの異なる時刻に撮像された画像に含まれる対象物までの距離を用いて所定時間経過後の対象物の自車両に対する相対位置を予測し、この予測結果に基づいて画像処理を行う処理領域を設定し、この設定した処理領域に対して所定の画像処理を行う。
【解決手段】撮像した画像から画像処理を行う対象物を検知した場合、撮像位置から検知した対象物までの距離を算出し、対象物を含む複数の画像のうち、少なくとも二つの異なる時刻に撮像された画像に含まれる対象物までの距離を用いて所定時間経過後の対象物の自車両に対する相対位置を予測し、この予測結果に基づいて画像処理を行う処理領域を設定し、この設定した処理領域に対して所定の画像処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の視野を撮像して生成する画像に対して画像処理を施す画像処理装置、画像処理方法、および画像処理用プログラムに関するものである。
【背景技術】
【０００２】
従来から、自動車等の車両の走行時に、進行方向の道路の路面状況を検知する目的で、車両の進行方向を撮像し、この撮像した画像に対して所定の対象物の認識を行う技術が知られている（例えば、特許文献１を参照）。この技術では、撮像した画像を用いて、自車両が走行する道路上にある白線等の走行路区分線や中央分離帯等の走行路区分帯の認識を行う。
【０００３】
【特許文献１】特許第３２９０３１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、処理内容が白線などの認識に特化されているため、撮像する画像に含まれるさまざまな情報を多面的に処理することができなかった。
【０００５】
本発明は、上記に鑑みてなされたものであり、撮像する画像に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、請求項１記載の発明は、移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段で生成した画像を該画像に係る時刻情報とともに記憶する記憶手段と、前記撮像手段で撮像した画像から画像処理を行う対象物を検知する対象物検知手段と、前記撮像手段の撮像位置から前記対象物検知手段で検知した対象物までの距離を算出する距離算出手段と、前記記憶手段で記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測手段と、前記位置予測手段における予測結果に基づいて画像処理を行う処理領域を設定する処理領域設定手段と、前記処理領域設定手段で設定した処理領域に対して所定の画像処理を行う画像処理手段と、を備えたことを特徴とする。
【０００７】
請求項２記載の発明は、移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段で生成した画像を該画像に係る時刻情報とともに記憶する記憶手段と、前記撮像手段で撮像した画像から画像処理を行う対象物を検知する対象物検知手段と、前記撮像手段の撮像位置から前記対象物検知手段で検知した対象物までの距離を算出する距離算出手段と、前記記憶手段で記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測手段と、前記位置予測手段における予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成手段と、前記モデル形成手段で形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定する処理領域設定手段と、前記処理領域設定手段で設定した処理領域に対して所定の画像処理を行う画像処理手段と、を備えたことを特徴とする。
【０００８】
請求項３記載の発明は、請求項１または２記載の発明において、前記処理領域設定手段で設定した処理領域に対して行う画像処理の手法を変更する処理変更手段をさらに備えたことを特徴とする。
【０００９】
請求項４記載の発明は、請求項１〜３のいずれか一項記載の発明において、前記対象物検知手段で検知した対象物の時間経過に伴う三次元的な動きを時系列的に重畳して成る画像を表示出力する出力手段をさらに備えたことを特徴とする。
【００１０】
請求項５記載の発明は、請求項１〜４のいずれか一項記載の発明において、前記移動体の位置または速度を含む移動状況を検知する移動状況検知手段をさらに備え、前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記移動状況検知手段で検知した前記移動体の位置または速度を用いることを特徴とする。
【００１１】
請求項６記載の発明は、請求項１〜４のいずれか一項記載の発明において、前記移動体の位置を含む移動状況を検知する移動状況検知手段と、前記移動体が移動する領域の周辺を含む三次元地図情報を記憶する地図情報記憶手段と、をさらに備え、前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記移動状況検知手段で検知した前記移動体の現在位置周辺の地図情報を前記地図情報記憶手段から読み出して参照することを特徴とする。
【００１２】
請求項７記載の発明は、請求項１〜６のいずれか一項記載の発明において、前記移動体外部の外的情報を検知する外的情報検知手段をさらに備え、前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記外的情報検知手段で検知した前記移動体外部の情報を用いることを特徴とする。
【００１３】
請求項８記載の発明は、請求項１〜７のいずれか一項記載の発明において、前記撮像手段は、一対の撮像光学系と、前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、を有することを特徴とする。
【００１４】
請求項９記載の発明は、請求項１〜７のいずれか一項記載の発明において、前記撮像手段は、撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、を有することを特徴とする。
【００１５】
請求項１０記載の発明は、請求項１〜９のいずれか一項記載の発明において、前記移動体は車両であることを特徴とする。
【００１６】
請求項１１記載の発明は、移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施す画像処理方法であって、前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、前記位置予測ステップにおける予測結果に基づいて画像処理を行う処理領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、を有することを特徴とする。
【００１７】
請求項１２記載の発明は、移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施す画像処理方法であって、前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、前記位置予測ステップにおける予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成ステップと、前記モデル形成ステップで形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、を有することを特徴とする。
【００１８】
請求項１３記載の発明は、移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施すため、コンピュータに、前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、前記位置予測ステップにおける予測結果に基づいて画像処理を行う処理領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、を実行させることを特徴とする。
【００１９】
請求項１４記載の発明は、移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施すため、コンピュータに、前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、前記位置予測ステップにおける予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成ステップと、前記モデル形成ステップで形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、を実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、撮像する画像内に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、添付図面を参照して本発明の実施の形態を説明する。
【００２２】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置１は電子的な装置（コンピュータ）であり、移動体、特に四輪自動車等の車両に搭載され、所定の視野を撮像する撮像部１０、この撮像部１０が生成した画像を解析する画像解析部２０、画像処理装置１の動作制御を行う制御部３０、画像や文字等の情報を表示出力する出力部４０、および各種データを記憶する記憶部５０を有する。
【００２３】
撮像部１０は、複眼のステレオカメラによって実現され、右カメラ１１ａと左カメラ１１ｂとを備える。このうち、右カメラ１１ａは、所定の視野角から入射する光を集光するレンズ１２ａ、このレンズ１２ａを透過した光を検知して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１３ａ、この撮像素子１３ａが出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１４ａ、および画像データを一時的に数メモリ分蓄積するフレームメモリ１５ａを有する。他方、左カメラ１１ｂも、右カメラ１１ａと同様の構成を有する。すなわち、左カメラ１１ｂは、レンズ１２ｂ、撮像素子１３ｂ、Ａ／Ｄ変換部１４ｂ、およびフレームメモリ１５ｂを有する。
【００２４】
撮像部１０が有する一対の撮像光学系としてのレンズ１２ａおよび１２ｂは、焦点距離が等しく（この値をｆとする）、光軸間の距離すなわち基線長がＬだけ離れた位置に配置される。また、撮像素子１３ａおよび１３ｂは、レンズ１２ａおよび１２ｂからそれぞれ焦点距離ｆだけ離れた位置に配置される。なお、レンズ１２ａおよび１２ｂは、通常は複数のレンズを組み合わせることによって構成されるが、図１では記載を簡単にするために１枚のレンズを用いた場合を示している。
【００２５】
画像解析部２０は、撮像部１０で撮像した画像の中から所定の対象物を検知する対象物検知部２１、撮像部１０が撮像する視野領域に含まれる対象物までの撮像部１０からの距離を算出する距離算出部２２、撮像した画像内で画像処理の対象となる処理領域を設定する処理領域設定部２３、および処理領域設定部２３で設定した処理領域に対して所定の画像処理を行う画像処理部２４を有する。また、画像解析部２０は、後述する各種処理を行う上で必要な種々のパラメータを算出する機能（キャリブレーション機能）と、画像を生成する際に必要に応じて補正処理（レクティフィケーション処理）を行う機能を備える。
【００２６】
制御部３０は、演算および制御機能を有するＣＰＵ（Central Processing Unit）等によって実現され、後述する記憶部５０が記憶、格納する画像処理用プログラムを読み出すことによって、撮像部１０や画像解析部２０の各種動作処理の制御を行う。この制御部３０は、対象物検知部２１で検知した対象物の未来位置を予測する位置予測部３１を有する。
【００２７】
出力部４０は、画像や文字情報等を表示出力するものであり、液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬ（Electroluminescence）ディスプレイ等によって実現される。また、出力部４０として、音声情報を外部に出力するスピーカをさらに設けることもできる。
【００２８】
記憶部５０は、所定のＯＳ（Operation System）を起動するプログラムや画像処理用プログラム等が予め記憶されたＲＯＭ（Read Only Memory）と、各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）とを用いて実現される。この記憶部５０は、撮像部１０において撮像した画像データ５１、画像データ５１の視野内に含まれる撮像対象までの距離情報と画像データ５１に係る時刻情報とを含む距離時刻情報５２、画像処理部２４における画像処理の具体的な手法である処理内容５３、および画像中の物体認識の際に用いるさまざまな物体（車両、人物、路面、白線、標識等）の形状パターンを画素点単位で表現したテンプレート５４を記憶、格納する。
【００２９】
なお、上述した画像処理用プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ＭＯディスク、ＰＣカード、ｘＤピクチャーカード、スマートメディア等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
【００３０】
以上の構成を有する画像処理装置１が実行する画像処理方法について、図２に示すフローチャートを参照して詳細に説明する。まず、撮像部１０が、所定の視野を撮像して画像を生成する撮像処理を行う（ステップＳ１１）。撮像部１０の右カメラ１１ａおよび左カメラ１１ｂでは、制御部３０の制御のもと、レンズ１２ａおよび１２ｂをそれぞれ用いて所定の視野角に含まれる領域から光を集光する。
【００３１】
レンズ１２ａおよび１２ｂが集光した光は、撮像素子１３ａおよび１３ｂの面上にそれぞれ結像して電気信号（アナログ信号）に変換される。撮像素子１３ａおよび１３ｂが出力するアナログ信号は、Ａ／Ｄ変換部１４ａおよび１４ｂでそれぞれデジタル信号に変換され、この変換されたデジタル信号の各々を、フレームメモリ１５ａおよび１５ｂが一時的に格納する。フレームメモリ１５ａおよび１５ｂがそれぞれ一時的に格納したデジタル信号は、所定時間経過後、画像解析部２０に送出される。なお、この際には、撮像した画像に係る時刻情報も一緒に画像解析部２０に送出される。
【００３２】
次に、対象物検知部２１が、ステップＳ１１で生成した画像を用いて画像処理の対象となる対象物の検知を行う（ステップＳ１２）。対象物を検知する際には、記憶部５０のテンプレート５４内に格納されているさまざまな物体の形状パターン（車両、人物、路面、白線、標識、信号機等）の中から対象物の形状パターンを読み出し、画像内のパターンと比較することによって両者の相関を調べる（テンプレートマッチング）。以後の説明においては、説明の便宜上先行する車両Ｃを対象物とするが、これはあくまでも一例に過ぎない。
【００３３】
ステップＳ１２におけるテンプレートマッチングの結果、対象物である車両Ｃに類似するパターンを検知した場合には、距離算出部２２が車両Ｃまでの距離を算出する（ステップＳ１３）。距離算出部２２は、まず左右のカメラ座標系を用いて撮像した視野内の車両Ｃを構成する点の全ての座標値または一部の座標値を算出する。続いて、距離算出部２２は、算出した画素点の座標値（ｘ,ｙ,ｚ）を用いて車両最前面から撮像された点までの距離Ｒを算出する。ここで、カメラ座標系における車両最前面の位置は、予め実測しておく必要がある。その後、各構成点までの距離を平均することにより、車両Ｃまでの距離を求めて記憶部５０に記憶、格納する。
【００３４】
図３は、複眼のステレオカメラで撮像した画像データに基づく距離算出をより具体的に示す説明図である。同図においては、右カメラ１１ａの光軸ｚaと左カメラ１１ｂの光軸ｚbが平行な場合を示している。この場合、左カメラ固有の座標系（左カメラ座標系）に対応する左画像領域Ｉbの点Ａbに対応する点が、右カメラ固有の座標系（右カメラ座標系）に対応する右画像領域Ｉa内の直線αE（エピポーラ線）上に存在しており、距離算出部２２における対応点探索によって撮像対象の一つである所望の点Ａの座標値（ｘ,ｙ,ｚ）を二つのカメラ座標系における座標値から求めることができる。なお、図３では左カメラ１１ｂを基準として、右カメラ１１ａにおける対応点を探索する場合を図示しているが、これとは反対に右カメラ１１ａを基準とすることもできる。
【００３５】
対応点探索によって三次元を再構成する場合には、基準とする方の画像を通過する任意の直線上に位置する画素点が、他方の画像においても同一直線上に位置することが望ましい（エピポーラ拘束条件）。しかし、このエピポーラ拘束条件は常に満足されているとは限らず、例えば図４に示す場合、基準とする左画像領域Ｉbの点Ａbに対応する右画像領域Ｉaの点は直線αA上に存在する一方、左画像領域Ｉbの点Ｂbに対応する右画像領域Ｉaの点は直線αB上に存在する。
【００３６】
このようにエピポーラ拘束条件が満足されない場合には、探索範囲を絞り切ることができず、対応点を探索する際の計算量が膨大になってしまう。そのような場合には、画像解析部２０が、予め左右のカメラ座標系を正規化してエピポーラ拘束条件を満足するような状態に変換する処理（レクティフィケーション処理）を行う。図５は、このレクティフィケーション処理後の左右画像領域の対応関係を示す説明図である。この図５に示すようにエピポーラ拘束条件が満足されていれば、探索範囲をエピポーラ線αEに絞って探索することができるので、対応点探索に要する計算量を少なくすることができる。
【００３７】
ここで対応点探索法の一例を説明する。まず、基準とする左画像領域Ｉbにおいて、注目する画素点近傍に局所領域を設け、この局所領域と同様の領域を右画像領域Ｉaの対応するエピポーラ線αE上に設ける。そして、右画像領域Ｉaの局所領域をエピポーラ線αE上で走査しながら、左画像領域Ｉbの局所領域との類似度が最も高い局所領域を探索する。この探索の結果、類似度が最も高い局所領域の中心点を左画像領域Ｉbの画素点の対応点とする。
【００３８】
この対応点探索の際に用いる類似度として、局所領域内の画素点間の差の絶対値の和（ＳＡＤ：Sum of Absolute Difference）、局所領域内の画素点間の差の２乗和（ＳＳＤ：Sum of Squared Difference）、または局所領域内の画素点間の正規化相互相関（ＮＣＣ：Normalized Cross Correlation）を適用することができる。これらのうち、ＳＡＤまたはＳＳＤを適用する場合には、最小値をとる点を類似度が最も高い点とする一方、ＮＣＣを適用する場合には、最大値をとる点を類似度が最も高い点とする。
【００３９】
ところで、距離算出部２２の距離算出能力は計算時間を増加するにつれて向上する。このため、例えば距離算出部２２が繰り返し法によって測距精度が向上する処理を行う場合、繰り返しの初期の段階で撮像対象までの距離が近い場合にはその段階で距離算出を中止する一方、繰り返しの初期の段階で撮像対象までの距離が遠い場合には所定の精度が得られるまで距離算出処理を繰り返す。
【００４０】
なお、撮像部１０で生成した画像データ５１を構成する視野全域に対し、距離算出部２２で生成した距離等の情報を重畳することによって距離画像を生成してもよい。図６は、出力部４０における距離画像の表示出力例を示す図である。同図に示す距離画像３０１は、濃淡の度合いによって撮像部１０からの距離が表現されており、遠方ほど濃く表示されている。
【００４１】
ステップＳ１３に続いて、位置予測部３１が、車両Ｃの距離時刻情報５２n（時刻ｔn：ｎは正の整数）と、この距離時刻情報５２nにおける時刻ｔnよりも所定時間Δｔだけ前の時刻ｔn-1＝ｔn−Δｔにおける車両Ｃの距離時刻情報５２n-1とを用いることにより、時刻ｔnから所定時間Δｔ経過した後の時刻ｔn+1（＝ｔn＋Δｔ）における車両Ｃの位置（未来位置）を予測する（ステップＳ１４）。
【００４２】
図７は、このステップＳ１４における予測処理の結果を視覚的に示す図である。同図に示す表示画像４０１では、各々異なる３つの時刻ｔn-1、ｔn、およびｔn+1における車両Ｃの画像Ｃn-1、Ｃn、およびＣn+1を重畳して表示している。これらの画像のうち、画像Ｃn-1と画像Ｃnはすでに撮像した画像データ５１を用いて表示する。これに対して車両Ｃの予測未来位置である画像Ｃn+1は次のように生成する。まず、画像Ｃn-1と画像Ｃnの対応点を結んでベクトル（移動ベクトル）を作成する。その後、ベクトルの長さがそれぞれ２倍となるように各ベクトルを延長する（図７では、延長分を破線で表示）。この延長したベクトルの終点を結んで車両の輪郭を形成することによって画像Ｃn+1を生成する。ここで車両の輪郭を形成する際には、隣接するベクトルの終点間に適当な補間処理を施す。なお、図７では車両の代表的な点の移動ベクトルのみを表示しているが、車両を構成する画素点ごとに移動ベクトルを全て求めることによって三次元オプティカルフローを形成してもよい。
【００４３】
以上説明したステップＳ１４では、二つの距離時刻情報を用いて画像を生成し、対象物の未来位置を予測したが、この予測処理は車両Ｃの自車両に対する相対速度が一定であると仮定して、この相対速度を算出していることに相当する。この意味で表示画像４０１は、車両Ｃと自車両が同じ方向に直進し、車両Ｃの路面に対する速さが自車両の路面に対する速さよりも小さい場合を示している。
【００４４】
続くステップＳ１５では、処理領域設定部２３が、車両Ｃの予測未来位置に相当する画像Ｃn+1を用いて画像処理を行う処理領域を設定する。図８は、このステップＳ１５で設定した処理領域の一設定例を示す図である。同図に示す表示画像４０２において、処理領域ＤはステップＳ１４で求めた車両Ｃの予測未来位置（画像Ｃn+1）を含む。このステップＳ１４では、相対速度が一定であるという前提のもとに未来位置の予測処理を行ったが、実際の車両Ｃおよび自車両の動きが必ずしも予測した通りになるとは限らない。このため、処理領域Ｄの設定に際しては、予測未来位置を含むとともに、その予測未来位置から所定範囲の誤差を含むように設定する。なお、処理領域Ｄの境界は画面上で明示しなくてもよい。
【００４５】
このステップＳ１５の後、処理領域Ｄに対して所定の画像処理を行う（ステップＳ１６）。図９は、画像処理の一例を示す図である。同図に示す表示画像４０３では、処理領域Ｄ内で車両Ｃを検出したため自車両に近づいてきていると判断し、「ブレーキをかけてください」というメッセージを表示している。このメッセージの表示に合わせて警告音または警告メッセージを出力部４０が有するスピーカから出力してもよい。
【００４６】
他の画像処理としては、例えば車両ＣがステップＳ１４で予測した位置を含む処理領域を逸脱した場合には、その逸脱した内容に応じたメッセージを出力部４０の画面上で表示したり、警告音または警告メッセージを出力したりしてもよい。
【００４７】
また、自車両から処理領域までの距離に応じて画像処理の手法を変更してもよいし、自車両の走行状況（速度、加速度、ハンドル操作時の操舵角等）に応じて画像処理の手法を変更してもよい。このように変更を行う際には、制御部３０に設けられる処理変更部が、記憶部５０で記憶する処理内容５３を参照することによって画像処理手法の変更を行う。
【００４８】
以上説明した本発明の実施の形態１によれば、撮像位置から検知した対象物までの距離を算出し、対象物を含む複数の画像のうち、少なくとも二つの異なる時刻に撮像された画像に含まれる対象物までの距離を用いて所定時間経過後の対象物の自車両に対する相対位置を予測し、この予測結果に基づいて画像処理を行う処理領域を設定し、この設定した処理領域に対して所定の画像処理を行うことにより、撮像する画像内に含まれるさまざまな情報を多面的に処理することが可能となる。
【００４９】
また、この実施の形態１によれば、３次元移動ベクトルを用いて対象物である車両の未来位置を予測し、この予測結果に基づいて画像処理を行う処理領域を設定することにより、所定の画像処理を行う処理領域を狭めることができ、迅速かつ効率的な画像処理を実現することが可能となる。
【００５０】
（実施の形態２）
本発明の実施の形態２は、撮像する画像内で検知した対象物の未来位置を予測し、この予測結果を用いて三次元空間モデルを形成し、この形成した三次元空間モデルを撮像した画像に射影することによって処理領域の設定を行い、この処理領域に対して所定の画像処理を施すことを特徴とする。
【００５１】
図１０は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置２は電子的な装置（コンピュータ）であり、上記実施の形態１に係る画像処理装置１と同様の構成を有している。すなわち、画像処理装置２は、撮像部１０、画像解析部２０−２、制御部３０、出力部４０、および各種データを記憶する記憶部５０−２を有する。このため、画像処理装置１と同じ機能構成を有する部位については、同一の符号を付してある。
【００５２】
画像解析部２０−２は、対象物検知部２１、距離算出部２２、処理領域設定部２３、および画像処理部２４に加えて、画像に対して射影する三次元空間モデルを形成するモデル形成部２５を有する。また、記憶部５０−２は、画像データ５１、距離時刻情報５２、処理内容５３、およびテンプレート５４に加えて、画像に対して射影する三次元空間モデルを形成する際の原型となるモデル原型５５を記憶、格納している。
【００５３】
以上の構成を有する画像処理装置２が行う画像処理方法について、図１１に示すフローチャートを参照して説明する。まず、撮像部１０が、所定の視野を撮像して画像を生成する撮像処理を行う（ステップＳ２１）。その後、対象物検知部２１が、画像処理の対象となる対象物の検知をテンプレートマッチングによって行う（ステップＳ２２）。このステップＳ２２で対象物を検知した場合には、距離算出部２２がその対象物までの距離算出処理（ステップＳ２３）を行う。図１２は、以上のステップＳ２１〜Ｓ２３を行った結果として得られる画像の表示例を示す図である。同図に示す画像２０２は、自車両が走行する車線に隣接する車線を車両Ｃａ等が先行して走行し、前方に交差点が近づきつつある場合を表示している。この交差点では自車両の進行方向と直交する方向に車両Ｃｂが走行しており、その交差点付近には信号機Ｓｉｇが設置されている。
【００５４】
なお、ここまでのステップＳ２１、Ｓ２２、およびＳ２３は、本発明の実施の形態１に係る画像処理方法のステップＳ１１、Ｓ１２、およびＳ１３とそれぞれ同じ処理であり、その詳細は、上記実施の形態１で説明した通りである。
【００５５】
ステップＳ２３に続いて、位置予測部３１が、ステップＳ２３で求めた対象物の距離時刻情報５２n（時刻ｔn：ｎは正の整数）と、この距離時刻情報５２nにおける時刻ｔnよりも所定時間Δｔだけ前の時刻ｔn-1＝ｔn−Δｔにおける対象物の距離時刻情報５２n-1とを用いることにより、時刻ｔnから所定時間Δｔ経過した後の時刻ｔn+1（＝ｔn＋Δｔ）における対象物の位置（未来位置）を予測する（ステップＳ２４）。例えば画像２０２の場合には、隣接する車線を走行する車両Ｃａや交差点付近を走行する車両Ｃｂの未来位置を予測してもよいし、路面Ｒｄや信号機Ｓｉｇなどを対象物として、それらの未来位置を予測してもよい。
【００５６】
この後、モデル形成部２５は、対象物の予測未来位置等の情報から、その対象物に関する三次元空間モデルを形成する（ステップＳ２５）。図１３は、三次元空間モデルの一形成例を示す説明図である。同図に示す三次元空間モデルＭｄ１は、自車両が所定時間内に走行可能な領域（自車両走行可能域）を示すものである。この場合、検知する対象物は路面Ｒｄであり、モデル形成部２５は路面Ｒｄの未来位置の予測結果に加えて、記憶部５０−２に格納されているモデル原型５５を用いることにより、図１３に示す三次元空間モデルＭｄ１を形成する。
【００５７】
続いて処理領域設定部２３が、ステップＳ２５で形成された三次元空間モデルＭｄ１を撮像部１０で撮像された画像に射影することによって処理領域を設定する（ステップＳ２６）。図１４に示す表示画像５０１は、撮像部１０で撮像された画像に三次元空間モデルＭｄ１（自車両走行可能域）を射影した場合の表示例を示す図である。
【００５８】
図１５は、ステップＳ２５における三次元空間モデルの別な形成例を示す図である。同図においては、隣接するレーンを走行する車両Ｃａを対象物とし、この車両Ｃａの所定時間内の走行可能領域（先行車両走行可能域）に関する三次元空間モデルＭｄ２を形成した場合を示している。この三次元空間モデルＭｄ２では、先行する車両Ｃａが直進する場合に加えて自車両の走行レーンに車線変更する場合も考慮して形成したものである。図１６は、撮像部１０で撮像された画像に対して三次元空間モデルＭｄ１およびＭｄ２を射影することによって処理領域を設定したときの表示例を示す図である。この図１６に示す表示画像５０２のように、一つの画像に対して複数の三次元空間モデルを射影して処理領域を設定してもよい。
【００５９】
なお、ステップＳ２５における三次元空間モデルの形成に際しては、ステップＳ２１の意味での対象物以外の物体（非対象物）、自車両の移動状況（速度、加速度等）、または自車両外部の外的情報（路面状況、天候等）などを検知し、その検知結果をモデル形成処理に利用してもよい。
【００６０】
ステップＳ２６の後、画像処理部２４は、処理対象領域に対して所定の画像処理を行う（ステップＳ２７）。表示画像５０２の場合、自車両走行可能域を表す三次元空間モデルＭｄ１と先行車両走行可能域を表す三次元空間モデルＭｄ２とは一部重なり合っている。そこで、自車両走行可能域（Ｍｄ１）内に車両Ｃａが進入して来るのを検知した場合には、その後処理として出力部４０から警告メッセージや警告音を発生する処理を行う。また、車両Ｃａが先行車両走行可能域（Ｍｄ２）から外れる進路を取り始めたと検知した場合にも、その旨を出力部４０によって報知する。
【００６１】
以上説明した本発明の実施の形態２によれば、撮像位置から検知した対象物までの距離を算出し、対象物を含む複数の画像のうち、少なくとも二つの異なる時刻に撮像された画像に含まれる対象物までの距離を用いて所定時間経過後の対象物の自車両に対する相対位置を予測し、この予測結果とともに自車両の現在状況および自車両が移動する周囲の現在状況のうち少なくともいずれかを用いて三次元空間モデルを形成し、この形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定し、この設定した処理領域に対して所定の画像処理を行うことにより、撮像する画像内に含まれるさまざまな情報を多面的に処理することが可能となる。
【００６２】
また、この実施の形態２によれば、３次元移動ベクトルを用いて対象物の未来位置を予測し、この予測結果に基づく三次元空間モデルを形成して処理領域を設定することにより、対象物を検知して所定の画像処理を行う範囲（処理領域）を狭めることができ、上記実施の形態１と同様、迅速かつ効率的な画像処理を実現することが可能となる。
【００６３】
ここまで、本発明を実施する上で最良と思われる形態を実施の形態１および２として詳述してきたが、本発明はこの二つの実施の形態によってのみ限定されるものではない。例えば、以上の説明では、異なる二つの時刻における対象物までの距離を利用してその対象物の未来位置の予測を行ったが、それら二つの時刻とは異なる時刻における対象物までの距離をさらに用いることにより、各点の２次差分を算出して対象物の自車両に対する相対加速度を求めることができ、対象物の未来位置をより正確に予測することが可能となる。
【００６４】
また、ＧＰＳ（Global Positioning System）と自車両の現在位置または自車速度とを用いることにより、ＧＰＳが記憶する三次元地図情報を参照して距離時刻情報等の補正を行うとともに、動体判別の処理が容易になる。この結果、より精度の高い未来位置の予測が可能となり、画像処理装置の信頼性を一段と向上させることができる。
【００６５】
さらに、本発明に係る画像処理装置に、処理領域に対する画像処理の手法を変更する処理変更手段を具備させてもよい。このような処理変更手段を具備させることにより、例えば空の検知結果から把握できる天候や昼夜の区別に応じて各処理領域の処理内容の変更を行うことが可能となる。なお、外部からの入力によって処理領域を変更可能な構成にしてもよい。
【００６６】
また、テンプレートマッチングによって対象物の検知を行う代わりに、撮像対象の距離時刻情報に基づいて対象物のセグメントを求めることによって対象物を検知してもよいし、テクスチャやエッジ抽出による領域分割法や、クラスタ分析に基づく統計的パターン認識法等を用いて対象物を検知してもよい。
【００６７】
以上の説明では、撮像部としては複眼のステレオカメラを用いた場合を説明したが、他の構成を有する撮像部を用いることも可能である。図１７は、本発明の他の実施の形態に係る画像処理装置の撮像部の構成を示す図である。同図に示す撮像部１１０は、単眼の撮像装置であるカメラ１１１に対してステレオアダプタ１１６を装着したものである。カメラ１１１の構成は、右カメラ１１ａや左カメラ１１ｂと同じであり、レンズ１１２、撮像素子１１３、Ａ／Ｄ変換部１１４、およびフレームメモリ１１５を有する。ステレオアダプタ１１６は、被写体から入射する光を受光する二つの受光部位である受光ミラー１１７ａおよび１１７ｂと、これらの受光ミラー１１７ａおよび１１７ｂによって反射されてくる光をカメラ１１１の撮像光学系であるレンズ１１２に導く導光ミラー１１８ａおよび１１８ｂとを有する。
【００６８】
このような構成を有する撮像部１１０は、異なる二つの視点からの画像を結像して出力するため、ステレオカメラである撮像部１０と同等の機能を有する。したがって、この一変形例によれば、上記一実施の形態と同様に、撮像する画像内に含まれるさまざまな情報を多面的に処理することができる。また、この一変形によれば、ステレオ画像撮影用ではない一般のカメラを用いて簡単にステレオ画像を撮影することができる。
【００６９】
なお、撮像部として単眼のカメラを用い、シェイプフロムフォーカス（shape from focus）、シェイプフロムデフォーカス（shape from defocus）、シェイプフロムモーション（shape from motion）、シェイプフロムシェーディング（shape from shading）等の三次元再構成技術を適用することによって画像の各構成点までの距離を算出することもできる。
【００７０】
この撮像部として、より多眼のステレオカメラ、例えば３眼ステレオカメラや４眼ステレオカメラを用いることもできる。これらの３眼または４眼ステレオカメラを用いると、三次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られる（例えば、富田文明, 「高機能３次元視覚システムVVV」, 情報処理学会誌「情報処理」, Vol. 42, No. 4, pp. 370-375 (2001). 等を参照）。特に、複数のカメラが二方向の基線長を持つようにすると、より複雑なシーンでの３次元再構成が可能になることが知られている。また、一つの基線長方向にカメラを複数台配置するマルチベースライン方式のステレオカメラを実現することができ、より高精度のステレオ計測が可能となる。
【００７１】
ところで、撮像手段として、各種カメラに加えてレーダ等の測距装置を併用することも可能である。これにより、通常のカメラよりも精度の高いレーダ測定値を利用することができ、測距点の解像度を一段と向上させることができる。
【００７２】
本発明に係る画像処理装置は、四輪自動車以外の車両、例えば電動車椅子等に搭載することが可能である。また、車両以外にも、人、ロボット等の移動体に搭載することもできる。
【００７３】
このように、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的事項を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る画像処理方法の概要を示すフローチャートである。
【図３】ステレオカメラで撮像した画像データに基づく距離算出を示す説明図である。
【図４】レクティフィケーション処理前の左右画像領域の対応を示す説明図である。
【図５】レクティフィケーション処理後の左右画像領域の対応を示す説明図である。
【図６】距離画像の出力例を示す図である。
【図７】車両の未来位置の予測処理を視覚的に示す説明図である。
【図８】処理領域の一設定例を示す図である。
【図９】画像処理の一例を示す図である。
【図１０】本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１１】本発明の実施の形態２に係る画像処理方法の概要を示すフローチャートである。
【図１２】本発明の実施の形態２に係る画像処理装置における画像の出力例を示す図である。
【図１３】自車両走行可能域を表す三次元空間モデルの形成例を示す図である。
【図１４】画像に自車両走行可能域を表す三次元空間モデルを射影した場合の表示例を示す図である。
【図１５】先行車両走行可能域を表す三次元空間モデルの形成例を示す図である。
【図１６】画像に先行車両走行可能域を表す三次元空間モデルを射影した場合の表示例を示す図である。
【図１７】本発明の一実施の形態の変形例に係る画像処理装置の撮像部の構成を示す図である。
【符号の説明】
【００７５】
１、２ 画像処理装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
２０、２０−２ 画像解析部
２１ 対象物検知部
２２ 距離算出部
２３ 処理領域設定部
２４ 画像処理部
２５ 空間モデル形成部
３０ 制御部
３１ 処理選択部
４０ 出力部
５０、５０−２ 記憶部
５１ 画像データ
５２、５２n-1、５２n 距離時刻情報
５３ 処理内容
５４ テンプレート
５５ モデル原型
１１１ カメラ
１１６ ステレオアダプタ
１１７ａ、１１７ｂ 受光ミラー
１１８ａ、１１８ｂ 導光ミラー
２０２ 画像
３０１ 距離画像
４０１、４０２、４０３、５０１、５０２ 表示画像
Ｃ、Ｃａ、Ｃｂ 車両
Ｄ 処理領域
Ｍｄ１、Ｍｄ２ 三次元空間モデル
Ｒｄ 路面
Ｓｉｇ 信号機
【技術分野】
【０００１】
本発明は、所定の視野を撮像して生成する画像に対して画像処理を施す画像処理装置、画像処理方法、および画像処理用プログラムに関するものである。
【背景技術】
【０００２】
従来から、自動車等の車両の走行時に、進行方向の道路の路面状況を検知する目的で、車両の進行方向を撮像し、この撮像した画像に対して所定の対象物の認識を行う技術が知られている（例えば、特許文献１を参照）。この技術では、撮像した画像を用いて、自車両が走行する道路上にある白線等の走行路区分線や中央分離帯等の走行路区分帯の認識を行う。
【０００３】
【特許文献１】特許第３２９０３１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、処理内容が白線などの認識に特化されているため、撮像する画像に含まれるさまざまな情報を多面的に処理することができなかった。
【０００５】
本発明は、上記に鑑みてなされたものであり、撮像する画像に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、請求項１記載の発明は、移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段で生成した画像を該画像に係る時刻情報とともに記憶する記憶手段と、前記撮像手段で撮像した画像から画像処理を行う対象物を検知する対象物検知手段と、前記撮像手段の撮像位置から前記対象物検知手段で検知した対象物までの距離を算出する距離算出手段と、前記記憶手段で記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測手段と、前記位置予測手段における予測結果に基づいて画像処理を行う処理領域を設定する処理領域設定手段と、前記処理領域設定手段で設定した処理領域に対して所定の画像処理を行う画像処理手段と、を備えたことを特徴とする。
【０００７】
請求項２記載の発明は、移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段で生成した画像を該画像に係る時刻情報とともに記憶する記憶手段と、前記撮像手段で撮像した画像から画像処理を行う対象物を検知する対象物検知手段と、前記撮像手段の撮像位置から前記対象物検知手段で検知した対象物までの距離を算出する距離算出手段と、前記記憶手段で記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測手段と、前記位置予測手段における予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成手段と、前記モデル形成手段で形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定する処理領域設定手段と、前記処理領域設定手段で設定した処理領域に対して所定の画像処理を行う画像処理手段と、を備えたことを特徴とする。
【０００８】
請求項３記載の発明は、請求項１または２記載の発明において、前記処理領域設定手段で設定した処理領域に対して行う画像処理の手法を変更する処理変更手段をさらに備えたことを特徴とする。
【０００９】
請求項４記載の発明は、請求項１〜３のいずれか一項記載の発明において、前記対象物検知手段で検知した対象物の時間経過に伴う三次元的な動きを時系列的に重畳して成る画像を表示出力する出力手段をさらに備えたことを特徴とする。
【００１０】
請求項５記載の発明は、請求項１〜４のいずれか一項記載の発明において、前記移動体の位置または速度を含む移動状況を検知する移動状況検知手段をさらに備え、前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記移動状況検知手段で検知した前記移動体の位置または速度を用いることを特徴とする。
【００１１】
請求項６記載の発明は、請求項１〜４のいずれか一項記載の発明において、前記移動体の位置を含む移動状況を検知する移動状況検知手段と、前記移動体が移動する領域の周辺を含む三次元地図情報を記憶する地図情報記憶手段と、をさらに備え、前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記移動状況検知手段で検知した前記移動体の現在位置周辺の地図情報を前記地図情報記憶手段から読み出して参照することを特徴とする。
【００１２】
請求項７記載の発明は、請求項１〜６のいずれか一項記載の発明において、前記移動体外部の外的情報を検知する外的情報検知手段をさらに備え、前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記外的情報検知手段で検知した前記移動体外部の情報を用いることを特徴とする。
【００１３】
請求項８記載の発明は、請求項１〜７のいずれか一項記載の発明において、前記撮像手段は、一対の撮像光学系と、前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、を有することを特徴とする。
【００１４】
請求項９記載の発明は、請求項１〜７のいずれか一項記載の発明において、前記撮像手段は、撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、を有することを特徴とする。
【００１５】
請求項１０記載の発明は、請求項１〜９のいずれか一項記載の発明において、前記移動体は車両であることを特徴とする。
【００１６】
請求項１１記載の発明は、移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施す画像処理方法であって、前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、前記位置予測ステップにおける予測結果に基づいて画像処理を行う処理領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、を有することを特徴とする。
【００１７】
請求項１２記載の発明は、移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施す画像処理方法であって、前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、前記位置予測ステップにおける予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成ステップと、前記モデル形成ステップで形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、を有することを特徴とする。
【００１８】
請求項１３記載の発明は、移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施すため、コンピュータに、前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、前記位置予測ステップにおける予測結果に基づいて画像処理を行う処理領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、を実行させることを特徴とする。
【００１９】
請求項１４記載の発明は、移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施すため、コンピュータに、前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、前記位置予測ステップにおける予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成ステップと、前記モデル形成ステップで形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、を実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、撮像する画像内に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法、および画像処理用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、添付図面を参照して本発明の実施の形態を説明する。
【００２２】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置１は電子的な装置（コンピュータ）であり、移動体、特に四輪自動車等の車両に搭載され、所定の視野を撮像する撮像部１０、この撮像部１０が生成した画像を解析する画像解析部２０、画像処理装置１の動作制御を行う制御部３０、画像や文字等の情報を表示出力する出力部４０、および各種データを記憶する記憶部５０を有する。
【００２３】
撮像部１０は、複眼のステレオカメラによって実現され、右カメラ１１ａと左カメラ１１ｂとを備える。このうち、右カメラ１１ａは、所定の視野角から入射する光を集光するレンズ１２ａ、このレンズ１２ａを透過した光を検知して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１３ａ、この撮像素子１３ａが出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１４ａ、および画像データを一時的に数メモリ分蓄積するフレームメモリ１５ａを有する。他方、左カメラ１１ｂも、右カメラ１１ａと同様の構成を有する。すなわち、左カメラ１１ｂは、レンズ１２ｂ、撮像素子１３ｂ、Ａ／Ｄ変換部１４ｂ、およびフレームメモリ１５ｂを有する。
【００２４】
撮像部１０が有する一対の撮像光学系としてのレンズ１２ａおよび１２ｂは、焦点距離が等しく（この値をｆとする）、光軸間の距離すなわち基線長がＬだけ離れた位置に配置される。また、撮像素子１３ａおよび１３ｂは、レンズ１２ａおよび１２ｂからそれぞれ焦点距離ｆだけ離れた位置に配置される。なお、レンズ１２ａおよび１２ｂは、通常は複数のレンズを組み合わせることによって構成されるが、図１では記載を簡単にするために１枚のレンズを用いた場合を示している。
【００２５】
画像解析部２０は、撮像部１０で撮像した画像の中から所定の対象物を検知する対象物検知部２１、撮像部１０が撮像する視野領域に含まれる対象物までの撮像部１０からの距離を算出する距離算出部２２、撮像した画像内で画像処理の対象となる処理領域を設定する処理領域設定部２３、および処理領域設定部２３で設定した処理領域に対して所定の画像処理を行う画像処理部２４を有する。また、画像解析部２０は、後述する各種処理を行う上で必要な種々のパラメータを算出する機能（キャリブレーション機能）と、画像を生成する際に必要に応じて補正処理（レクティフィケーション処理）を行う機能を備える。
【００２６】
制御部３０は、演算および制御機能を有するＣＰＵ（Central Processing Unit）等によって実現され、後述する記憶部５０が記憶、格納する画像処理用プログラムを読み出すことによって、撮像部１０や画像解析部２０の各種動作処理の制御を行う。この制御部３０は、対象物検知部２１で検知した対象物の未来位置を予測する位置予測部３１を有する。
【００２７】
出力部４０は、画像や文字情報等を表示出力するものであり、液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬ（Electroluminescence）ディスプレイ等によって実現される。また、出力部４０として、音声情報を外部に出力するスピーカをさらに設けることもできる。
【００２８】
記憶部５０は、所定のＯＳ（Operation System）を起動するプログラムや画像処理用プログラム等が予め記憶されたＲＯＭ（Read Only Memory）と、各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）とを用いて実現される。この記憶部５０は、撮像部１０において撮像した画像データ５１、画像データ５１の視野内に含まれる撮像対象までの距離情報と画像データ５１に係る時刻情報とを含む距離時刻情報５２、画像処理部２４における画像処理の具体的な手法である処理内容５３、および画像中の物体認識の際に用いるさまざまな物体（車両、人物、路面、白線、標識等）の形状パターンを画素点単位で表現したテンプレート５４を記憶、格納する。
【００２９】
なお、上述した画像処理用プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ＭＯディスク、ＰＣカード、ｘＤピクチャーカード、スマートメディア等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
【００３０】
以上の構成を有する画像処理装置１が実行する画像処理方法について、図２に示すフローチャートを参照して詳細に説明する。まず、撮像部１０が、所定の視野を撮像して画像を生成する撮像処理を行う（ステップＳ１１）。撮像部１０の右カメラ１１ａおよび左カメラ１１ｂでは、制御部３０の制御のもと、レンズ１２ａおよび１２ｂをそれぞれ用いて所定の視野角に含まれる領域から光を集光する。
【００３１】
レンズ１２ａおよび１２ｂが集光した光は、撮像素子１３ａおよび１３ｂの面上にそれぞれ結像して電気信号（アナログ信号）に変換される。撮像素子１３ａおよび１３ｂが出力するアナログ信号は、Ａ／Ｄ変換部１４ａおよび１４ｂでそれぞれデジタル信号に変換され、この変換されたデジタル信号の各々を、フレームメモリ１５ａおよび１５ｂが一時的に格納する。フレームメモリ１５ａおよび１５ｂがそれぞれ一時的に格納したデジタル信号は、所定時間経過後、画像解析部２０に送出される。なお、この際には、撮像した画像に係る時刻情報も一緒に画像解析部２０に送出される。
【００３２】
次に、対象物検知部２１が、ステップＳ１１で生成した画像を用いて画像処理の対象となる対象物の検知を行う（ステップＳ１２）。対象物を検知する際には、記憶部５０のテンプレート５４内に格納されているさまざまな物体の形状パターン（車両、人物、路面、白線、標識、信号機等）の中から対象物の形状パターンを読み出し、画像内のパターンと比較することによって両者の相関を調べる（テンプレートマッチング）。以後の説明においては、説明の便宜上先行する車両Ｃを対象物とするが、これはあくまでも一例に過ぎない。
【００３３】
ステップＳ１２におけるテンプレートマッチングの結果、対象物である車両Ｃに類似するパターンを検知した場合には、距離算出部２２が車両Ｃまでの距離を算出する（ステップＳ１３）。距離算出部２２は、まず左右のカメラ座標系を用いて撮像した視野内の車両Ｃを構成する点の全ての座標値または一部の座標値を算出する。続いて、距離算出部２２は、算出した画素点の座標値（ｘ,ｙ,ｚ）を用いて車両最前面から撮像された点までの距離Ｒを算出する。ここで、カメラ座標系における車両最前面の位置は、予め実測しておく必要がある。その後、各構成点までの距離を平均することにより、車両Ｃまでの距離を求めて記憶部５０に記憶、格納する。
【００３４】
図３は、複眼のステレオカメラで撮像した画像データに基づく距離算出をより具体的に示す説明図である。同図においては、右カメラ１１ａの光軸ｚaと左カメラ１１ｂの光軸ｚbが平行な場合を示している。この場合、左カメラ固有の座標系（左カメラ座標系）に対応する左画像領域Ｉbの点Ａbに対応する点が、右カメラ固有の座標系（右カメラ座標系）に対応する右画像領域Ｉa内の直線αE（エピポーラ線）上に存在しており、距離算出部２２における対応点探索によって撮像対象の一つである所望の点Ａの座標値（ｘ,ｙ,ｚ）を二つのカメラ座標系における座標値から求めることができる。なお、図３では左カメラ１１ｂを基準として、右カメラ１１ａにおける対応点を探索する場合を図示しているが、これとは反対に右カメラ１１ａを基準とすることもできる。
【００３５】
対応点探索によって三次元を再構成する場合には、基準とする方の画像を通過する任意の直線上に位置する画素点が、他方の画像においても同一直線上に位置することが望ましい（エピポーラ拘束条件）。しかし、このエピポーラ拘束条件は常に満足されているとは限らず、例えば図４に示す場合、基準とする左画像領域Ｉbの点Ａbに対応する右画像領域Ｉaの点は直線αA上に存在する一方、左画像領域Ｉbの点Ｂbに対応する右画像領域Ｉaの点は直線αB上に存在する。
【００３６】
このようにエピポーラ拘束条件が満足されない場合には、探索範囲を絞り切ることができず、対応点を探索する際の計算量が膨大になってしまう。そのような場合には、画像解析部２０が、予め左右のカメラ座標系を正規化してエピポーラ拘束条件を満足するような状態に変換する処理（レクティフィケーション処理）を行う。図５は、このレクティフィケーション処理後の左右画像領域の対応関係を示す説明図である。この図５に示すようにエピポーラ拘束条件が満足されていれば、探索範囲をエピポーラ線αEに絞って探索することができるので、対応点探索に要する計算量を少なくすることができる。
【００３７】
ここで対応点探索法の一例を説明する。まず、基準とする左画像領域Ｉbにおいて、注目する画素点近傍に局所領域を設け、この局所領域と同様の領域を右画像領域Ｉaの対応するエピポーラ線αE上に設ける。そして、右画像領域Ｉaの局所領域をエピポーラ線αE上で走査しながら、左画像領域Ｉbの局所領域との類似度が最も高い局所領域を探索する。この探索の結果、類似度が最も高い局所領域の中心点を左画像領域Ｉbの画素点の対応点とする。
【００３８】
この対応点探索の際に用いる類似度として、局所領域内の画素点間の差の絶対値の和（ＳＡＤ：Sum of Absolute Difference）、局所領域内の画素点間の差の２乗和（ＳＳＤ：Sum of Squared Difference）、または局所領域内の画素点間の正規化相互相関（ＮＣＣ：Normalized Cross Correlation）を適用することができる。これらのうち、ＳＡＤまたはＳＳＤを適用する場合には、最小値をとる点を類似度が最も高い点とする一方、ＮＣＣを適用する場合には、最大値をとる点を類似度が最も高い点とする。
【００３９】
ところで、距離算出部２２の距離算出能力は計算時間を増加するにつれて向上する。このため、例えば距離算出部２２が繰り返し法によって測距精度が向上する処理を行う場合、繰り返しの初期の段階で撮像対象までの距離が近い場合にはその段階で距離算出を中止する一方、繰り返しの初期の段階で撮像対象までの距離が遠い場合には所定の精度が得られるまで距離算出処理を繰り返す。
【００４０】
なお、撮像部１０で生成した画像データ５１を構成する視野全域に対し、距離算出部２２で生成した距離等の情報を重畳することによって距離画像を生成してもよい。図６は、出力部４０における距離画像の表示出力例を示す図である。同図に示す距離画像３０１は、濃淡の度合いによって撮像部１０からの距離が表現されており、遠方ほど濃く表示されている。
【００４１】
ステップＳ１３に続いて、位置予測部３１が、車両Ｃの距離時刻情報５２n（時刻ｔn：ｎは正の整数）と、この距離時刻情報５２nにおける時刻ｔnよりも所定時間Δｔだけ前の時刻ｔn-1＝ｔn−Δｔにおける車両Ｃの距離時刻情報５２n-1とを用いることにより、時刻ｔnから所定時間Δｔ経過した後の時刻ｔn+1（＝ｔn＋Δｔ）における車両Ｃの位置（未来位置）を予測する（ステップＳ１４）。
【００４２】
図７は、このステップＳ１４における予測処理の結果を視覚的に示す図である。同図に示す表示画像４０１では、各々異なる３つの時刻ｔn-1、ｔn、およびｔn+1における車両Ｃの画像Ｃn-1、Ｃn、およびＣn+1を重畳して表示している。これらの画像のうち、画像Ｃn-1と画像Ｃnはすでに撮像した画像データ５１を用いて表示する。これに対して車両Ｃの予測未来位置である画像Ｃn+1は次のように生成する。まず、画像Ｃn-1と画像Ｃnの対応点を結んでベクトル（移動ベクトル）を作成する。その後、ベクトルの長さがそれぞれ２倍となるように各ベクトルを延長する（図７では、延長分を破線で表示）。この延長したベクトルの終点を結んで車両の輪郭を形成することによって画像Ｃn+1を生成する。ここで車両の輪郭を形成する際には、隣接するベクトルの終点間に適当な補間処理を施す。なお、図７では車両の代表的な点の移動ベクトルのみを表示しているが、車両を構成する画素点ごとに移動ベクトルを全て求めることによって三次元オプティカルフローを形成してもよい。
【００４３】
以上説明したステップＳ１４では、二つの距離時刻情報を用いて画像を生成し、対象物の未来位置を予測したが、この予測処理は車両Ｃの自車両に対する相対速度が一定であると仮定して、この相対速度を算出していることに相当する。この意味で表示画像４０１は、車両Ｃと自車両が同じ方向に直進し、車両Ｃの路面に対する速さが自車両の路面に対する速さよりも小さい場合を示している。
【００４４】
続くステップＳ１５では、処理領域設定部２３が、車両Ｃの予測未来位置に相当する画像Ｃn+1を用いて画像処理を行う処理領域を設定する。図８は、このステップＳ１５で設定した処理領域の一設定例を示す図である。同図に示す表示画像４０２において、処理領域ＤはステップＳ１４で求めた車両Ｃの予測未来位置（画像Ｃn+1）を含む。このステップＳ１４では、相対速度が一定であるという前提のもとに未来位置の予測処理を行ったが、実際の車両Ｃおよび自車両の動きが必ずしも予測した通りになるとは限らない。このため、処理領域Ｄの設定に際しては、予測未来位置を含むとともに、その予測未来位置から所定範囲の誤差を含むように設定する。なお、処理領域Ｄの境界は画面上で明示しなくてもよい。
【００４５】
このステップＳ１５の後、処理領域Ｄに対して所定の画像処理を行う（ステップＳ１６）。図９は、画像処理の一例を示す図である。同図に示す表示画像４０３では、処理領域Ｄ内で車両Ｃを検出したため自車両に近づいてきていると判断し、「ブレーキをかけてください」というメッセージを表示している。このメッセージの表示に合わせて警告音または警告メッセージを出力部４０が有するスピーカから出力してもよい。
【００４６】
他の画像処理としては、例えば車両ＣがステップＳ１４で予測した位置を含む処理領域を逸脱した場合には、その逸脱した内容に応じたメッセージを出力部４０の画面上で表示したり、警告音または警告メッセージを出力したりしてもよい。
【００４７】
また、自車両から処理領域までの距離に応じて画像処理の手法を変更してもよいし、自車両の走行状況（速度、加速度、ハンドル操作時の操舵角等）に応じて画像処理の手法を変更してもよい。このように変更を行う際には、制御部３０に設けられる処理変更部が、記憶部５０で記憶する処理内容５３を参照することによって画像処理手法の変更を行う。
【００４８】
以上説明した本発明の実施の形態１によれば、撮像位置から検知した対象物までの距離を算出し、対象物を含む複数の画像のうち、少なくとも二つの異なる時刻に撮像された画像に含まれる対象物までの距離を用いて所定時間経過後の対象物の自車両に対する相対位置を予測し、この予測結果に基づいて画像処理を行う処理領域を設定し、この設定した処理領域に対して所定の画像処理を行うことにより、撮像する画像内に含まれるさまざまな情報を多面的に処理することが可能となる。
【００４９】
また、この実施の形態１によれば、３次元移動ベクトルを用いて対象物である車両の未来位置を予測し、この予測結果に基づいて画像処理を行う処理領域を設定することにより、所定の画像処理を行う処理領域を狭めることができ、迅速かつ効率的な画像処理を実現することが可能となる。
【００５０】
（実施の形態２）
本発明の実施の形態２は、撮像する画像内で検知した対象物の未来位置を予測し、この予測結果を用いて三次元空間モデルを形成し、この形成した三次元空間モデルを撮像した画像に射影することによって処理領域の設定を行い、この処理領域に対して所定の画像処理を施すことを特徴とする。
【００５１】
図１０は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置２は電子的な装置（コンピュータ）であり、上記実施の形態１に係る画像処理装置１と同様の構成を有している。すなわち、画像処理装置２は、撮像部１０、画像解析部２０−２、制御部３０、出力部４０、および各種データを記憶する記憶部５０−２を有する。このため、画像処理装置１と同じ機能構成を有する部位については、同一の符号を付してある。
【００５２】
画像解析部２０−２は、対象物検知部２１、距離算出部２２、処理領域設定部２３、および画像処理部２４に加えて、画像に対して射影する三次元空間モデルを形成するモデル形成部２５を有する。また、記憶部５０−２は、画像データ５１、距離時刻情報５２、処理内容５３、およびテンプレート５４に加えて、画像に対して射影する三次元空間モデルを形成する際の原型となるモデル原型５５を記憶、格納している。
【００５３】
以上の構成を有する画像処理装置２が行う画像処理方法について、図１１に示すフローチャートを参照して説明する。まず、撮像部１０が、所定の視野を撮像して画像を生成する撮像処理を行う（ステップＳ２１）。その後、対象物検知部２１が、画像処理の対象となる対象物の検知をテンプレートマッチングによって行う（ステップＳ２２）。このステップＳ２２で対象物を検知した場合には、距離算出部２２がその対象物までの距離算出処理（ステップＳ２３）を行う。図１２は、以上のステップＳ２１〜Ｓ２３を行った結果として得られる画像の表示例を示す図である。同図に示す画像２０２は、自車両が走行する車線に隣接する車線を車両Ｃａ等が先行して走行し、前方に交差点が近づきつつある場合を表示している。この交差点では自車両の進行方向と直交する方向に車両Ｃｂが走行しており、その交差点付近には信号機Ｓｉｇが設置されている。
【００５４】
なお、ここまでのステップＳ２１、Ｓ２２、およびＳ２３は、本発明の実施の形態１に係る画像処理方法のステップＳ１１、Ｓ１２、およびＳ１３とそれぞれ同じ処理であり、その詳細は、上記実施の形態１で説明した通りである。
【００５５】
ステップＳ２３に続いて、位置予測部３１が、ステップＳ２３で求めた対象物の距離時刻情報５２n（時刻ｔn：ｎは正の整数）と、この距離時刻情報５２nにおける時刻ｔnよりも所定時間Δｔだけ前の時刻ｔn-1＝ｔn−Δｔにおける対象物の距離時刻情報５２n-1とを用いることにより、時刻ｔnから所定時間Δｔ経過した後の時刻ｔn+1（＝ｔn＋Δｔ）における対象物の位置（未来位置）を予測する（ステップＳ２４）。例えば画像２０２の場合には、隣接する車線を走行する車両Ｃａや交差点付近を走行する車両Ｃｂの未来位置を予測してもよいし、路面Ｒｄや信号機Ｓｉｇなどを対象物として、それらの未来位置を予測してもよい。
【００５６】
この後、モデル形成部２５は、対象物の予測未来位置等の情報から、その対象物に関する三次元空間モデルを形成する（ステップＳ２５）。図１３は、三次元空間モデルの一形成例を示す説明図である。同図に示す三次元空間モデルＭｄ１は、自車両が所定時間内に走行可能な領域（自車両走行可能域）を示すものである。この場合、検知する対象物は路面Ｒｄであり、モデル形成部２５は路面Ｒｄの未来位置の予測結果に加えて、記憶部５０−２に格納されているモデル原型５５を用いることにより、図１３に示す三次元空間モデルＭｄ１を形成する。
【００５７】
続いて処理領域設定部２３が、ステップＳ２５で形成された三次元空間モデルＭｄ１を撮像部１０で撮像された画像に射影することによって処理領域を設定する（ステップＳ２６）。図１４に示す表示画像５０１は、撮像部１０で撮像された画像に三次元空間モデルＭｄ１（自車両走行可能域）を射影した場合の表示例を示す図である。
【００５８】
図１５は、ステップＳ２５における三次元空間モデルの別な形成例を示す図である。同図においては、隣接するレーンを走行する車両Ｃａを対象物とし、この車両Ｃａの所定時間内の走行可能領域（先行車両走行可能域）に関する三次元空間モデルＭｄ２を形成した場合を示している。この三次元空間モデルＭｄ２では、先行する車両Ｃａが直進する場合に加えて自車両の走行レーンに車線変更する場合も考慮して形成したものである。図１６は、撮像部１０で撮像された画像に対して三次元空間モデルＭｄ１およびＭｄ２を射影することによって処理領域を設定したときの表示例を示す図である。この図１６に示す表示画像５０２のように、一つの画像に対して複数の三次元空間モデルを射影して処理領域を設定してもよい。
【００５９】
なお、ステップＳ２５における三次元空間モデルの形成に際しては、ステップＳ２１の意味での対象物以外の物体（非対象物）、自車両の移動状況（速度、加速度等）、または自車両外部の外的情報（路面状況、天候等）などを検知し、その検知結果をモデル形成処理に利用してもよい。
【００６０】
ステップＳ２６の後、画像処理部２４は、処理対象領域に対して所定の画像処理を行う（ステップＳ２７）。表示画像５０２の場合、自車両走行可能域を表す三次元空間モデルＭｄ１と先行車両走行可能域を表す三次元空間モデルＭｄ２とは一部重なり合っている。そこで、自車両走行可能域（Ｍｄ１）内に車両Ｃａが進入して来るのを検知した場合には、その後処理として出力部４０から警告メッセージや警告音を発生する処理を行う。また、車両Ｃａが先行車両走行可能域（Ｍｄ２）から外れる進路を取り始めたと検知した場合にも、その旨を出力部４０によって報知する。
【００６１】
以上説明した本発明の実施の形態２によれば、撮像位置から検知した対象物までの距離を算出し、対象物を含む複数の画像のうち、少なくとも二つの異なる時刻に撮像された画像に含まれる対象物までの距離を用いて所定時間経過後の対象物の自車両に対する相対位置を予測し、この予測結果とともに自車両の現在状況および自車両が移動する周囲の現在状況のうち少なくともいずれかを用いて三次元空間モデルを形成し、この形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定し、この設定した処理領域に対して所定の画像処理を行うことにより、撮像する画像内に含まれるさまざまな情報を多面的に処理することが可能となる。
【００６２】
また、この実施の形態２によれば、３次元移動ベクトルを用いて対象物の未来位置を予測し、この予測結果に基づく三次元空間モデルを形成して処理領域を設定することにより、対象物を検知して所定の画像処理を行う範囲（処理領域）を狭めることができ、上記実施の形態１と同様、迅速かつ効率的な画像処理を実現することが可能となる。
【００６３】
ここまで、本発明を実施する上で最良と思われる形態を実施の形態１および２として詳述してきたが、本発明はこの二つの実施の形態によってのみ限定されるものではない。例えば、以上の説明では、異なる二つの時刻における対象物までの距離を利用してその対象物の未来位置の予測を行ったが、それら二つの時刻とは異なる時刻における対象物までの距離をさらに用いることにより、各点の２次差分を算出して対象物の自車両に対する相対加速度を求めることができ、対象物の未来位置をより正確に予測することが可能となる。
【００６４】
また、ＧＰＳ（Global Positioning System）と自車両の現在位置または自車速度とを用いることにより、ＧＰＳが記憶する三次元地図情報を参照して距離時刻情報等の補正を行うとともに、動体判別の処理が容易になる。この結果、より精度の高い未来位置の予測が可能となり、画像処理装置の信頼性を一段と向上させることができる。
【００６５】
さらに、本発明に係る画像処理装置に、処理領域に対する画像処理の手法を変更する処理変更手段を具備させてもよい。このような処理変更手段を具備させることにより、例えば空の検知結果から把握できる天候や昼夜の区別に応じて各処理領域の処理内容の変更を行うことが可能となる。なお、外部からの入力によって処理領域を変更可能な構成にしてもよい。
【００６６】
また、テンプレートマッチングによって対象物の検知を行う代わりに、撮像対象の距離時刻情報に基づいて対象物のセグメントを求めることによって対象物を検知してもよいし、テクスチャやエッジ抽出による領域分割法や、クラスタ分析に基づく統計的パターン認識法等を用いて対象物を検知してもよい。
【００６７】
以上の説明では、撮像部としては複眼のステレオカメラを用いた場合を説明したが、他の構成を有する撮像部を用いることも可能である。図１７は、本発明の他の実施の形態に係る画像処理装置の撮像部の構成を示す図である。同図に示す撮像部１１０は、単眼の撮像装置であるカメラ１１１に対してステレオアダプタ１１６を装着したものである。カメラ１１１の構成は、右カメラ１１ａや左カメラ１１ｂと同じであり、レンズ１１２、撮像素子１１３、Ａ／Ｄ変換部１１４、およびフレームメモリ１１５を有する。ステレオアダプタ１１６は、被写体から入射する光を受光する二つの受光部位である受光ミラー１１７ａおよび１１７ｂと、これらの受光ミラー１１７ａおよび１１７ｂによって反射されてくる光をカメラ１１１の撮像光学系であるレンズ１１２に導く導光ミラー１１８ａおよび１１８ｂとを有する。
【００６８】
このような構成を有する撮像部１１０は、異なる二つの視点からの画像を結像して出力するため、ステレオカメラである撮像部１０と同等の機能を有する。したがって、この一変形例によれば、上記一実施の形態と同様に、撮像する画像内に含まれるさまざまな情報を多面的に処理することができる。また、この一変形によれば、ステレオ画像撮影用ではない一般のカメラを用いて簡単にステレオ画像を撮影することができる。
【００６９】
なお、撮像部として単眼のカメラを用い、シェイプフロムフォーカス（shape from focus）、シェイプフロムデフォーカス（shape from defocus）、シェイプフロムモーション（shape from motion）、シェイプフロムシェーディング（shape from shading）等の三次元再構成技術を適用することによって画像の各構成点までの距離を算出することもできる。
【００７０】
この撮像部として、より多眼のステレオカメラ、例えば３眼ステレオカメラや４眼ステレオカメラを用いることもできる。これらの３眼または４眼ステレオカメラを用いると、三次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られる（例えば、富田文明, 「高機能３次元視覚システムVVV」, 情報処理学会誌「情報処理」, Vol. 42, No. 4, pp. 370-375 (2001). 等を参照）。特に、複数のカメラが二方向の基線長を持つようにすると、より複雑なシーンでの３次元再構成が可能になることが知られている。また、一つの基線長方向にカメラを複数台配置するマルチベースライン方式のステレオカメラを実現することができ、より高精度のステレオ計測が可能となる。
【００７１】
ところで、撮像手段として、各種カメラに加えてレーダ等の測距装置を併用することも可能である。これにより、通常のカメラよりも精度の高いレーダ測定値を利用することができ、測距点の解像度を一段と向上させることができる。
【００７２】
本発明に係る画像処理装置は、四輪自動車以外の車両、例えば電動車椅子等に搭載することが可能である。また、車両以外にも、人、ロボット等の移動体に搭載することもできる。
【００７３】
このように、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的事項を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る画像処理方法の概要を示すフローチャートである。
【図３】ステレオカメラで撮像した画像データに基づく距離算出を示す説明図である。
【図４】レクティフィケーション処理前の左右画像領域の対応を示す説明図である。
【図５】レクティフィケーション処理後の左右画像領域の対応を示す説明図である。
【図６】距離画像の出力例を示す図である。
【図７】車両の未来位置の予測処理を視覚的に示す説明図である。
【図８】処理領域の一設定例を示す図である。
【図９】画像処理の一例を示す図である。
【図１０】本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１１】本発明の実施の形態２に係る画像処理方法の概要を示すフローチャートである。
【図１２】本発明の実施の形態２に係る画像処理装置における画像の出力例を示す図である。
【図１３】自車両走行可能域を表す三次元空間モデルの形成例を示す図である。
【図１４】画像に自車両走行可能域を表す三次元空間モデルを射影した場合の表示例を示す図である。
【図１５】先行車両走行可能域を表す三次元空間モデルの形成例を示す図である。
【図１６】画像に先行車両走行可能域を表す三次元空間モデルを射影した場合の表示例を示す図である。
【図１７】本発明の一実施の形態の変形例に係る画像処理装置の撮像部の構成を示す図である。
【符号の説明】
【００７５】
１、２ 画像処理装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
２０、２０−２ 画像解析部
２１ 対象物検知部
２２ 距離算出部
２３ 処理領域設定部
２４ 画像処理部
２５ 空間モデル形成部
３０ 制御部
３１ 処理選択部
４０ 出力部
５０、５０−２ 記憶部
５１ 画像データ
５２、５２n-1、５２n 距離時刻情報
５３ 処理内容
５４ テンプレート
５５ モデル原型
１１１ カメラ
１１６ ステレオアダプタ
１１７ａ、１１７ｂ 受光ミラー
１１８ａ、１１８ｂ 導光ミラー
２０２ 画像
３０１ 距離画像
４０１、４０２、４０３、５０１、５０２ 表示画像
Ｃ、Ｃａ、Ｃｂ 車両
Ｄ 処理領域
Ｍｄ１、Ｍｄ２ 三次元空間モデル
Ｒｄ 路面
Ｓｉｇ 信号機
【特許請求の範囲】
【請求項１】
移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、
前記撮像手段で生成した画像を該画像に係る時刻情報とともに記憶する記憶手段と、
前記撮像手段で撮像した画像から画像処理を行う対象物を検知する対象物検知手段と、
前記撮像手段の撮像位置から前記対象物検知手段で検知した対象物までの距離を算出する距離算出手段と、
前記記憶手段で記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測手段と、
前記位置予測手段における予測結果に基づいて画像処理を行う処理領域を設定する処理領域設定手段と、
前記処理領域設定手段で設定した処理領域に対して所定の画像処理を行う画像処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、
前記撮像手段で生成した画像を該画像に係る時刻情報とともに記憶する記憶手段と、
前記撮像手段で撮像した画像から画像処理を行う対象物を検知する対象物検知手段と、
前記撮像手段の撮像位置から前記対象物検知手段で検知した対象物までの距離を算出する距離算出手段と、
前記記憶手段で記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測手段と、
前記位置予測手段における予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成手段と、
前記モデル形成手段で形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定する処理領域設定手段と、
前記処理領域設定手段で設定した処理領域に対して所定の画像処理を行う画像処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項３】
前記処理領域設定手段で設定した処理領域に対して行う画像処理の手法を変更する処理変更手段をさらに備えたことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記対象物検知手段で検知した対象物の時間経過に伴う三次元的な動きを時系列的に重畳して成る画像を表示出力する出力手段をさらに備えたことを特徴とする請求項１〜３のいずれか一項記載の画像処理装置。
【請求項５】
前記移動体の位置または速度を含む移動状況を検知する移動状況検知手段をさらに備え、
前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記移動状況検知手段で検知した前記移動体の位置または速度を用いることを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
【請求項６】
前記移動体の位置を含む移動状況を検知する移動状況検知手段と、
前記移動体が移動する領域の周辺を含む三次元地図情報を記憶する地図情報記憶手段と、をさらに備え、
前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記移動状況検知手段で検知した前記移動体の現在位置周辺の地図情報を前記地図情報記憶手段から読み出して参照することを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
【請求項７】
前記移動体外部の外的情報を検知する外的情報検知手段をさらに備え、
前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記外的情報検知手段で検知した前記移動体外部の情報を用いることを特徴とする請求項１〜６のいずれか一項記載の画像処理装置。
【請求項８】
前記撮像手段は、
一対の撮像光学系と、
前記一対の撮像光学系が出力する光信号を電気信号に変換する一対の撮像素子と、
を有することを特徴とする請求項１〜７のいずれか一項記載の画像処理装置。
【請求項９】
前記撮像手段は、
撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、
前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、
を有することを特徴とする請求項１〜７のいずれか一項記載の画像処理装置。
【請求項１０】
前記移動体は車両であることを特徴とする請求項１〜９のいずれか一項記載の画像処理装置。
【請求項１１】
移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施す画像処理方法であって、
前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、
前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、
前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、
前記位置予測ステップにおける予測結果に基づいて画像処理を行う処理領域を設定する処理領域設定ステップと、
前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１２】
移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施す画像処理方法であって、
前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、
前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、
前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、
前記位置予測ステップにおける予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成ステップと、
前記モデル形成ステップで形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定する処理領域設定ステップと、
前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１３】
移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施すため、コンピュータに、
前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、
前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、
前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、
前記位置予測ステップにおける予測結果に基づいて画像処理を行う処理領域を設定する処理領域設定ステップと、
前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、
を実行させることを特徴とする画像処理用プログラム。
【請求項１４】
移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施すため、コンピュータに、
前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、
前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、
前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、
前記位置予測ステップにおける予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成ステップと、
前記モデル形成ステップで形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定する処理領域設定ステップと、
前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、
を実行させることを特徴とする画像処理用プログラム。
【請求項１】
移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、
前記撮像手段で生成した画像を該画像に係る時刻情報とともに記憶する記憶手段と、
前記撮像手段で撮像した画像から画像処理を行う対象物を検知する対象物検知手段と、
前記撮像手段の撮像位置から前記対象物検知手段で検知した対象物までの距離を算出する距離算出手段と、
前記記憶手段で記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測手段と、
前記位置予測手段における予測結果に基づいて画像処理を行う処理領域を設定する処理領域設定手段と、
前記処理領域設定手段で設定した処理領域に対して所定の画像処理を行う画像処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
移動体に搭載され、所定の視野を撮像して画像を生成する撮像手段と、
前記撮像手段で生成した画像を該画像に係る時刻情報とともに記憶する記憶手段と、
前記撮像手段で撮像した画像から画像処理を行う対象物を検知する対象物検知手段と、
前記撮像手段の撮像位置から前記対象物検知手段で検知した対象物までの距離を算出する距離算出手段と、
前記記憶手段で記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測手段と、
前記位置予測手段における予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成手段と、
前記モデル形成手段で形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定する処理領域設定手段と、
前記処理領域設定手段で設定した処理領域に対して所定の画像処理を行う画像処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項３】
前記処理領域設定手段で設定した処理領域に対して行う画像処理の手法を変更する処理変更手段をさらに備えたことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記対象物検知手段で検知した対象物の時間経過に伴う三次元的な動きを時系列的に重畳して成る画像を表示出力する出力手段をさらに備えたことを特徴とする請求項１〜３のいずれか一項記載の画像処理装置。
【請求項５】
前記移動体の位置または速度を含む移動状況を検知する移動状況検知手段をさらに備え、
前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記移動状況検知手段で検知した前記移動体の位置または速度を用いることを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
【請求項６】
前記移動体の位置を含む移動状況を検知する移動状況検知手段と、
前記移動体が移動する領域の周辺を含む三次元地図情報を記憶する地図情報記憶手段と、をさらに備え、
前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記移動状況検知手段で検知した前記移動体の現在位置周辺の地図情報を前記地図情報記憶手段から読み出して参照することを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
【請求項７】
前記移動体外部の外的情報を検知する外的情報検知手段をさらに備え、
前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記外的情報検知手段で検知した前記移動体外部の情報を用いることを特徴とする請求項１〜６のいずれか一項記載の画像処理装置。
【請求項８】
前記撮像手段は、
一対の撮像光学系と、
前記一対の撮像光学系が出力する光信号を電気信号に変換する一対の撮像素子と、
を有することを特徴とする請求項１〜７のいずれか一項記載の画像処理装置。
【請求項９】
前記撮像手段は、
撮像光学系および当該撮像光学系が出力する光信号を電気信号に変換する撮像素子を備える撮像装置と、
前記撮像光学系の前方に設けられ、光を複数の部位で受光し、当該複数の部位が各々受光した光を前記撮像光学系に導くステレオアダプタと、
を有することを特徴とする請求項１〜７のいずれか一項記載の画像処理装置。
【請求項１０】
前記移動体は車両であることを特徴とする請求項１〜９のいずれか一項記載の画像処理装置。
【請求項１１】
移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施す画像処理方法であって、
前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、
前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、
前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、
前記位置予測ステップにおける予測結果に基づいて画像処理を行う処理領域を設定する処理領域設定ステップと、
前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１２】
移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施す画像処理方法であって、
前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、
前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、
前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、
前記位置予測ステップにおける予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成ステップと、
前記モデル形成ステップで形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定する処理領域設定ステップと、
前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１３】
移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施すため、コンピュータに、
前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、
前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、
前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、
前記位置予測ステップにおける予測結果に基づいて画像処理を行う処理領域を設定する処理領域設定ステップと、
前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、
を実行させることを特徴とする画像処理用プログラム。
【請求項１４】
移動体に搭載され、所定の視野を撮像する撮像部によって生成される画像に対して画像処理を施すため、コンピュータに、
前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、
前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記検知した対象物までの距離を算出する距離算出ステップと、
前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶部から、前記対象物を含む複数の画像のうち、異なる時刻に撮像された少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、
前記位置予測ステップにおける予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成ステップと、
前記モデル形成ステップで形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定する処理領域設定ステップと、
前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行う画像処理ステップと、
を実行させることを特徴とする画像処理用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００６−３１８０６２（Ｐ２００６−３１８０６２Ａ）
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願番号】特願２００５−１３７８５２（Ｐ２００５−１３７８５２）
【出願日】平成１７年５月１０日（２００５．５．１０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願日】平成１７年５月１０日（２００５．５．１０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]