説明

画像処理装置、そのプログラム、および画像処理方法

【課題】多重解像度戦略を用いた対応点探索処理において信頼度が局所的に悪化した場合における総合信頼度を改善する。
【解決手段】画像処理装置は、複数の階層にわって複数の解像度で階層的に表現された複数の基準画像と複数の参照画像とを取得する取得部と、注目点を複数の基準画像にそれぞれ設定する設定部と、注目基準画像の注目点に対応した注目参照画像の対応点を探索する対応点探索処理を各階層において逐次行なう探索部と、各階層における対応点探索処理の結果に関する各信頼度を決定する決定部と、各信頼度の全体的な状況を表現した基準値を、互いに隣接した各階層組みのそれぞれの間にわたる各信頼度についての各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を用いて補正することにより、各信頼度を総合した総合信頼度を算出する演算部とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、基準画像に設定された注目点の対応点を参照画像から探索する画像処理技術に関する。
【背景技術】
【0002】
近年、異なる視点から撮影された測定対象物に関する複数の画像や、同一視点から時系列に撮影された移動する測定対象物などに関する複数の時系列画像のうち、1の画像を基準画像、他の画像を参照画像として基準画像上の注目点に対応する参照画像上の対応点を探索し、得られた対応点と注目点とに基づいて、測定対象物の3次元形状を求めたり、測定対象物の移動を追跡する装置が知られている。
【0003】
参照画像における対応点の存在範囲は予め特定され得ないため、参照画像の全域を対応点の探索範囲に設定した対応点の探索処理が行われるのが一般的である。しかしながら、近年、参照画像の全域を探索範囲に設定することなく高精度に対応点を探索する手法として、立体画像が複数の解像度でそれぞれ表現された多重解像度立体画像を用いた多重解像度戦略によって対応点を探索する手法が注目されている。
【0004】
特許文献1では、多重解像度立体画像を用いた対応点探索において、注目する解像度の参照画像における対応点の探索結果を、解像度が1段階高い参照画像における次の対応点探索に用いる対応点探索装置が開示されている。該対応点探索装置は、各階層における対応点探索の信頼度を基に、最終的に探索された対応点についての最終的な信頼度を算出する。具体的には、該対応点探索装置は、例えば、各階層における信頼度の加算値から、隣接する階層間での信頼度の差分の絶対値の加算値を減算することなどにより、該最終的な信頼度を算出している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−282762号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
図17および図18は、多重解像度立体画像の各階層における対応点探索の結果に対する信頼度の分布例をそれぞれ示す図である。図17の例では、各階層における各信頼度は、ほぼ一定している。図18の例では、図17に示された各信頼度が最終階層に至る途中の階層において、一旦、悪化した後、該階層より高解像度側の階層における探索処理によって回復している。多重解像度立体画像を用いた対応点探索においては、図18に示されるように、途中の階層において一旦悪化した信頼度が、より高解像度側の階層において回復する現象がしばしば発生する。このような現象は、前階層において誤った位置に探索された対応点が、次回層において正しい位置に探索されることによって生じている。そして、このように信頼度が回復した場合には、最終的な信頼度として、信頼度の局所的な悪化が生じなかった図17に示される例に対する信頼度とほぼ同等の信頼度が算出されることが望ましい。
【0007】
しかしながら、特許文献1の対応点探索装置には、図18に示される例に対する最終的な信頼度が、図17に示される例に対する最終的な信頼度よりも低く算出されるため、最終的に探索された対応点が、正しく探索されていないと判定される場合があるといった問題がある。
【0008】
本発明は、こうした問題を解決するためになされたもので、多重解像度戦略を用いた対応点探索において、一部の階層で信頼度が悪化した場合に算出される最終的な総合信頼度を改善できる技術を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記の課題を解決するため、第1の態様に係る画像処理装置は、互いに対応する画像内容を含んだ第1画像と第2画像とについて、前記第1画像が複数の階層にわたって上位階層から下位階層に向かうにつれて解像度が低くなるように複数の解像度でそれぞれ表現された複数の基準画像と、前記第2画像が前記複数の階層にわたって前記複数の解像度でそれぞれ表現された複数の参照画像とを取得する取得部と、前記複数の基準画像の相互間で互いに対応した注目点を前記複数の基準画像にそれぞれ設定する設定部と、を備え、前記複数の階層のうち予め設定された注目階層について、前記複数の基準画像のうち前記注目階層における基準画像によって注目基準画像を定義し、前記複数の参照画像のうち前記注目階層における参照画像によって注目参照画像を定義したとき、前記注目階層について予め設定された空間的な基準に関する探索基準情報を用いて、前記注目基準画像における注目点に対応した前記注目参照画像における対応点を探索する対応点探索処理と、前記注目階層の上位階層を新たな注目階層として設定するとともに、探索された前記対応点に基づいて当該新たな注目階層における探索基準情報を設定する設定処理とを、前記注目階層を下位の階層から上位の階層に向けて逐次設定しながら行なう探索部と、前記複数の階層のそれぞれにおける前記対応点探索処理の結果に関する各信頼度を決定する決定部と、前記各信頼度の全体的な状況を表現した基準値を、前記複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる前記各信頼度についての各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を用いて補正することにより、前記各信頼度を総合した総合信頼度を算出する演算部とをさらに備えることを特徴とする。
【0010】
第2の態様に係る画像処理装置は、第1の態様に係る画像処理装置であって、前記演算部が、前記各信頼度変化の増減方向に応じて前記一部の信頼度変化を特定することを特徴とする。
【0011】
第3の態様に係る画像処理装置は、第2の態様に係る画像処理装置であって、前記演算部が、前記各信頼度変化のそれぞれの変化量に応じて前記一部の信頼度変化を特定することを特徴とする。
【0012】
第4の態様に係る画像処理装置は、第1から第3の何れか1つの態様に係る画像処理装置であって、前記演算部が、前記複数の階層のうち前記一部の信頼度変化に係る各階層についての前記複数の階層における階層順位に応じて、前記一部の信頼度変化の強調度を変更して前記補正値を算出することを特徴とする。
【0013】
第5の態様に係る画像処理装置は、第4の態様に係る画像処理装置であって、前記演算部が、前記階層順位が上位階層側であればあるほど前記強調度を強くすることを特徴とする。
【0014】
第6の態様に係るプログラムは、画像処理装置に搭載されたコンピューターにおいて実行されることにより、当該画像処理装置を請求項1から請求項5の何れか1つの請求項に記載された画像処理装置として機能させることを特徴とする。
【0015】
第7の態様に係る画像処理方法は、互いに対応する画像内容を含んだ第1画像と第2画像とについて、前記第1画像が複数の階層にわたって上位階層から下位階層に向かうにつれて解像度が低くなるように複数の解像度でそれぞれ表現された複数の基準画像と、前記第2画像が前記複数の階層にわたって前記複数の解像度でそれぞれ表現された複数の参照画像とを取得する取得工程と、前記複数の基準画像の相互間で互いに対応した注目点を前記複数の基準画像にそれぞれ設定する設定工程とを有し、前記複数の階層のうち予め設定された注目階層について、前記複数の基準画像のうち前記注目階層における基準画像によって注目基準画像を定義し、前記複数の参照画像のうち前記注目階層における参照画像によって注目参照画像を定義したとき、前記注目階層について予め設定された空間的な基準に関する探索基準情報を用いて、前記注目基準画像における注目点に対応した前記注目参照画像における対応点を探索する対応点探索処理と、前記注目階層の上位階層を新たな注目階層として設定するとともに、探索された前記対応点に基づいて当該新たな注目階層における探索基準情報を設定する設定処理とを、前記注目階層を下位の階層から上位の階層に向けて逐次設定しながら行なう探索工程と、前記複数の階層のそれぞれにおける前記対応点探索処理の結果に関する各信頼度を決定する決定工程と、前記各信頼度の全体的な状況を表現した基準値を、前記複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる前記各信頼度についての各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を用いて補正することにより、前記各信頼度を総合した総合信頼度を算出する演算工程とをさらに有することを特徴とする。
【発明の効果】
【0016】
第1から第7の何れの態様にかかる発明によっても、各信頼度の全体的な状況を表現した基準値を、複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる各信頼度についての各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を用いて補正することにより、総合信頼度が算出される。従って、一部の階層において信頼度が悪化した場合に算出される総合信頼度が改善され得る。
【図面の簡単な説明】
【0017】
【図1】実施形態に係る画像処理装置を用いた画像処理システムの構成例を示す機能ブロック図である。
【図2】実施形態に係る画像処理装置の要部の構成例を示す機能ブロック図である。
【図3】複数の基準画像の一例を説明するための図である。
【図4】複数の基準画像の一例を説明するための図である。
【図5】複数の基準画像の一例を説明するための図である。
【図6】複数の参照画像の一例を説明するための図である。
【図7】複数の参照画像の一例を説明するための図である。
【図8】複数の参照画像の一例を説明するための図である。
【図9】複数の基準画像における注目点の設定例を示す図である。
【図10】複数の参照画像における探索基準点の設定例を示す図である。
【図11】対応点探索処理の概要を説明する図である。
【図12】基準ウィンドウと参照ウィンドウとの設定例を示す図である。
【図13】基準ウィンドウと参照ウィンドウとの設定例を示す図である。
【図14】SAD法を用いた視差特定処理の説明図である。
【図15】POC法を用いた視差特定処理の手順を示す図である。
【図16】POC値の例を示す図である。
【図17】多重解像度立体画像の各階層における対応点探索の信頼度の分布例を示す図である。
【図18】多重解像度立体画像の各階層における対応点探索の信頼度の分布例を示す図である。
【図19】多重解像度立体画像の各階層間における信頼度変化の分布例を示す図である。
【図20】多重解像度立体画像の各階層における対応点探索の信頼度の分布例を示す図である。
【図21】実施形態に係る画像処理装置の動作フローを例示する図である。
【図22】実施形態に係る画像処理装置の動作フローを例示する図である。
【図23】実施形態に係る画像処理装置の動作フローを例示する図である。
【図24】実施形態に係る画像処理装置の動作フローを例示する図である。
【図25】実施形態に係る画像処理装置の動作フローを例示する図である。
【発明を実施するための形態】
【0018】
以下、本発明の一実施形態を図面に基づいて説明する。図面では同様な構成および機能を有する部分に同じ符号が付され、下記説明では重複説明が省略される。また、各図面は模式的に示されたものであり、例えば、各図面における画像上の表示物のサイズおよび位置関係等は正確に図示されたものではない。また、画像データと、該画像データに基づいて表示される画像とをまとめて「画像」と適宜総称する。更に、各図面では、画像の左上の画素が原点とされ、該画像の長辺に沿った方向(ここでは、横方向)がX軸方向とされ、該画像の短辺に沿った方向(ここでは縦方向)がY軸方向とされる。そして、各画像の右方向が+X方向とされ、各画像の下方向が+Y方向とされる。なお、図3、図5、図6、図8、および図11〜図14には、直交するXYの2軸が付されている。また、図4および図7には、直交するXYZの3軸が付されている。
【0019】
<実施形態について:>
<(1)画像処理システム100Aについて>
図1は、実施形態に係る画像処理装置200Aを用いた画像処理システム100Aの構成例を示す機能ブロック図である。図1に示されるように、画像処理システム100Aは、ステレオカメラ300と画像処理装置200Aとを主に備えて構成されている。画像処理システム100Aでは、被写体70をステレオカメラ300が撮影することにより取得した第1画像1および第2画像2を画像処理装置200Aが取得する。画像処理装置200Aは、第1画像1および第2画像2を処理することによって、第1画像1および第2画像2によって構成される立体画像が、複数の解像度でそれぞれ表現された多重解像度立体画像23(図2)を取得する。画像処理装置200Aは、多重解像度立体画像23の各階層において立体画像を構成する基準画像と参照画像との間で互いに対応する点の対(注目点と対応点)を探索し、各階層における探索処理の結果を総合的に表現した総合信頼度RA1を算出する。なお、探索される注目点と対応点とは、被写体70上の同じ点にそれぞれ対応した点であり、総合信頼度RA1によって、対応点が正しく探索されたか否かが判定される。
【0020】
<(1−1)ステレオカメラ300について>
図1に示されるように、ステレオカメラ300は、第1カメラ91と第2カメラ92とを主に備えて構成されている。第1カメラ91および第2カメラ92は、それぞれ、不図示の撮影光学系と、所定の画素数の撮像素子を有する制御処理回路とを主に備えて構成されている。ステレオカメラ300の各種動作は、画像処理装置200Aから入出力部41およびデータ線DLを介して供給される制御信号に基づいて制御される。
【0021】
第1カメラ91と第2カメラ92とは、所定の基線長を隔てて設けられており、ステレオカメラ300は、画像処理装置200Aからの制御信号に応じて、互いに異なる方向から同一の被写体70をそれぞれ撮影する。ステレオカメラ300は、撮影した被写体70からの光線情報を第1カメラ91と第2カメラ92とで同期して処理することによって、例えば、3456画素×2592画素の画素数を有し、被写体の立体画像を構成する第1画像1および第2画像2を生成する。第1画像1および第2画像2は、互いに異なる視点から被写体70がそれぞれ撮影された画像であり、互いに対応する画像内容を含んでいる。生成された第1画像1および第2画像2は、データ線DLを介して画像処理装置200Aの入出力部41へと供給される。
【0022】
<(1−2)画像処理装置200Aについて>
図1に示されるように、画像処理装置200Aは、CPU11A、入出力部41、操作部42、表示部43、ROM44、RAM45および記憶装置46を主に備えて構成されており、例えば、汎用のコンピューターでプログラムを実行することなどによって実現される。
【0023】
<(1−2−1)入出力部41について>
入出力部41は、例えばUSBインタフェース、またはBluetooth(登録商標)インタフェースなどの入出力インタフェース、マルチメディアドライブ、およびネットワークアダプタなどのLANやインターネットに接続するためのインタフェースなどを備えて構成され、CPU11Aとの間でデータの授受を行うものである。具体的には、入出力部41は、例えば、CPU11Aがステレオカメラ300を制御するための各種の制御信号を、通信回線DLなどを介して入出力部41に接続されたステレオカメラ300へと供給する。また、入出力部41は、ステレオカメラ300が撮影した第1画像1および第2画像2を画像処理装置200Aに供給する。また、入出力部41は、例えば、予め生成された複数の基準画像MB(図2、図4)および複数の参照画像MR(図2、図7)が記憶された光ディスクなどの記憶媒体を受け付けることなどによって、複数の基準画像MBおよび複数の参照画像MRを画像処理装置200Aにそれぞれ供給することもできる。
【0024】
<(1−2−2)操作部42について>
操作部42は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部42を操作することによって、画像処理装置200Aへの各種制御パラメータの設定、画像処理装置200Aの各種動作モードの設定などが行われる。また、画像処理装置200Aの各機能部は、操作部42から設定される各動作モードに応じた処理を行うことができるように構成されている。
【0025】
<(1−2−3)表示部43について>
表示部43は、例えば、パララックスバリア方式などの3次元表示方式に対応した3次元表示用の液晶表示画面などによって構成されており、被写体の立体画像を構成する第1画像1および第2画像2などが、該表示画面に表示される。また、表示部43は、画像処理装置200Aに関する各種設定情報、および制御用GUI(Graphical User Interface)などを、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。
【0026】
<(1−2−4)ROM44について>
ROM(Read Only Memory)44は、読出し専用メモリであり、CPU11Aを動作させるプログラムPG1などを格納している。なお、読み書き自在の不揮発性メモリ(例えば、フラッシュメモリ)が、ROM44に代えて使用されてもよい。
【0027】
<(1−2−5)RAM45について>
RAM(Random Access Memory)45は、読み書き自在の揮発性メモリであり、画像処理装置200Aが取得、または処理した各種画像などを一時的に記憶する画像格納部として機能する。また、RAM45は、CPU11Aの処理情報を一時的に記憶するワークメモリなどとしても機能する。なお、後述するCPU11Aにおける各機能部の間での画像(画像データ)などの授受は、RAM45を介して行なわれる。
【0028】
<(1−2−6)記憶装置46について>
記憶装置46は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、画像処理装置200Aの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。該各種制御パラメータとしては、例えば、階層数T、解像度変倍率RR、ウィンドウサイズWX、WY、第1規則情報57、および第2規則情報58(図2)などが、操作部42を介した入力などによって記憶されている。また、記憶装置46には、画像処理装置200Aが取得した総合信頼度RA1なども恒久的に記憶される。
【0029】
<(1−2−7)CPU11Aについて>
CPU(Central Processing Unit)11Aは、画像処理装置200Aの各機能部を統轄制御する制御処理装置であり、ROM44に格納されたプログラムPG1などに従った制御および処理を実行する。CPU11Aは、第1画像1および第2画像2をそれぞれ処理することによって、第1画像1および第2画像2によって構成される立体画像が、複数の解像度でそれぞれ表現された多重解像度立体画像23(図2)を取得する。
【0030】
多重解像度立体画像23は、複数の階層にわたって階層化された立体画像であり、複数の基準画像MB(図2、図4)と、複数の参照画像MR(図2、図7)とによって構成されている。そして、CPU11Aは、多重解像度立体画像23の各階層において、基準画像における注目点に対応した参照画像における対応点を探索する処理を行ない、各階層における探索処理の結果に関する総合信頼度RA1(図2)を算出する。
【0031】
総合信頼度RA1は、多重解像度立体画像23の各階層のうち最上位の最も解像度が高い階層において探索された対応点についての総合的な信頼度でもある。CPU11Aは、総合信頼度RA1に基づいて、該最上位階層において探索された対応点が正しく探索されたか否かを判定する。また、CPU11Aは、ステレオカメラ300の撮像動作の制御を行うとともに、表示部43を制御して、各種画像、算出結果、および各種制御情報などを表示部43に表示させる。
【0032】
なお、CPU11A、入出力部41、操作部42、表示部43、ROM44、RAM45、記憶装置46等のそれぞれは、信号線49を介して電気的に接続されている。したがって、CPU11Aは、例えば、入出力部41を介したステレオカメラ300の制御およびステレオカメラ300からの画像情報の取得、および表示部43への表示等を所定のタイミングで実行できる。
【0033】
<(2)画像処理装置200Aの要部の構成について>
図2は、実施形態に係る画像処理装置200Aの要部の構成例を示す機能ブロック図である。図2に示されるように、画像処理装置200Aの要部は、CPU11A、入出力部41、記憶装置46などによって構成される。また、CPU11Aは、取得部12、設定部13、探索決定部14、および演算部17としても動作する。さらに、探索決定部14は探索部15および決定部16として動作する。
【0034】
以下に、画像処理装置200Aの取得部12、設定部13、第1設定部14、第1演算部15、抽出部16、第2設定部17、第2演算部18、および決定部19について説明する。なお、図2に示される構成例では、取得部12、設定部13、探索決定部14(探索部15、決定部16)、および演算部17などの各部は、CPU11Aで所定のプログラムPG1を実行することによって実現されているが、これらの各部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【0035】
<(2−1)取得部12について>
取得部12(図2)は、第1画像1に、例えば、多段階の低解像度化処理を施すことによって、第1画像1が複数の階層にわたって上位階層から下位階層に向かうにつれて解像度が低くなるように複数の解像度でそれぞれ表現された複数の基準画像MB(図2、図4)を取得する。また、取得部12は、第2画像2に対して第1画像1と同様の多段階の低解像度化処理を施すことによって、第2画像2が該複数の階層にわたって該複数の解像度でそれぞれ表現された複数の参照画像MR(図2、図7)を取得する。
【0036】
取得された複数の基準画像MBと複数の参照画像MRとは、それぞれ、複数の階層にわたって階層化された多重解像度画像であり、複数の階層にわたって階層化された複数の立体画像(「多重解像度立体画像」とも称される)23(図2)を構成する。取得部12は、取得した多重解像度立体画像23、すなわち複数の基準画像MBと複数の参照画像MRとを設定部13(図2)および探索決定部14(図2)に供給する。
【0037】
なお、多重解像度立体画像23における複数の階層のうちCPU11Aの各部などが処理対象とする階層は、「注目階層」とも称される。そして、複数の基準画像MBのうち注目階層における基準画像は、「注目基準画像」とも称され、複数の参照画像MRのうち注目階層における参照画像は、「注目参照画像」とも称される。
【0038】
<(2−2)設定部13について>
設定部13は、画像上の特徴点を抽出する各種の画像処理、または所定の設定規則を用いた設定処理などを複数の基準画像MBに対して施すことによって、複数の基準画像MBの相互間で互いに対応した注目点を、複数の基準画像MBのそれぞれに設定する。設定部13は、設定した各注目点の座標を各注目点情報31(図2)として取得し、取得した各注目点情報31を、探索決定部14に供給する。
【0039】
<(2−3)探索決定部14について>
既述したように、探索決定部14(図2)は、探索部15(図2)および決定部16(図2)として動作する。
【0040】
<(2−3−1)探索部15について>
探索部15は、多重解像度立体画像23における複数の階層の各階層における基準画像と参照画像との相互間で互いに対応する対応点の対、すなわち基準画像上の注目点に対応する参照画像上の対応点を探索する。具体的には、多重解像度立体画像23における複数の階層のうち注目階層について予め設定された空間的な基準に関する探索基準情報を用いて、注目基準画像における注目点に対応した注目参照画像における対応点を探索する対応点探索処理を行なう。そして、探索部15は、注目階層の上位階層を新たな注目階層として設定するとともに、探索された対応点に基づいて当該新たな注目階層における探索基準情報を設定する設定処理を行なう。探索部15は、注目階層を下位の階層から上位の階層に向けて逐次設定しながら該対応点探索処理と、該設定処理とを行なうことによって、多重解像度立体画像23における複数の階層のそれぞれにおいて、基準画像上の注目点に対応する参照画像上の対応点を求める。
【0041】
<(2−3−2)決定部16について>
決定部16(図2)は、多重解像度立体画像23についての複数の階層のそれぞれにおいて、探索部15が行なう対応点探索処理の結果、すなわち探索された各対応点に関する各信頼度33(図2)をそれぞれ決定する。決定された各信頼度33は、演算部17に供給される。
【0042】
<(2−4)演算部17について>
演算部17(図2)は、各信頼度33の変動態様に依存しない算出規則である第1規則を規定した第1規則情報57(図1、図2)を記憶装置46から取得し、取得した第1規則を各信頼度33に対して適用することによって、各信頼度33の全体的な状況を表現した基準値を取得する。そして、演算部17は、多重解像度立体画像23の複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる各信頼度33についての各信頼度変化を求め、求めた各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を取得する。なお、該補正値は、記憶装置46に格納された第2規則情報58(図1、図2)により規定される算出規則である第2規則を用いて算出される。
【0043】
基準値と補正値とが取得されると、演算部17は、基準値を補正値を用いて補正することにより、各信頼度33を総合した総合信頼度RA1(図2)を算出する。算出された総合信頼度RA1は、多重解像度立体画像23における複数の階層のうち最上位の階層、すなわち最も解像度が高い階層の参照画像において探索された対応点についての総合的な信頼度を表現する。演算部17は、算出した総合信頼度RA1を記憶装置46に記憶するとともに、CPU11Aは、総合信頼度RA1に基づいて、最上位階層において探索された対応点が正しく探索されたか否かを判定する。
【0044】
<(3)画像処理装置200Aの動作について>
図21〜図25は、画像処理装置200Aの動作フローの一例をそれぞれ示す図である。以下に、図21〜図25の動作フローを適宜参照しつつ、画像処理装置200Aの各部の動作について詳しく説明する。なお、図21に示される動作フローS100は、後述する設定部13が、複数の基準画像MBの最上位の基準画像BITにおいて1つの注目点を設定した場合についての動作フローの一例である。
【0045】
<(3−1)取得部12の動作について>
画像処理装置200Aからの制御信号に応答してステレオカメラ300が被写体70の撮影を行なって被写体70の立体画像を構成する第1画像1(図1)と第2画像2(図1)とを取得すると、図21に示される動作フローS100が開始され、取得部12は、入出力部41を介して、第1画像1と第2画像2とを取得する(図21のステップS110)。
【0046】
第1画像1と第2画像2とが取得されると、取得部12は、第1画像1を複数の解像度でそれぞれ表現した複数の基準画像MB(図2、図4)と、第2画像2を該複数の解像度でそれぞれ表現した複数の参照画像MR(図2、図7)とを取得する(図21のステップS120)。具体的には、取得部12は、第1画像1に多段階の低解像度化処理を施すことによって、第1画像1が複数の階層にわたって上位階層から下位階層に向かうにつれて解像度が低くなるように複数の解像度でそれぞれ表現された複数の基準画像MBを取得する。同様に、取得部12は、第2画像2に対して多段階の低解像度化処理を施すことによって、第2画像2が該複数の階層にわたって該複数の解像度でそれぞれ表現された複数の参照画像MRを生成して取得する。なお、取得部12は、予め生成されて、例えば、光ディスクなどの記憶媒体に記憶された複数の基準画像MBおよび複数の参照画像MRを、入出力部41を介して取得することもできる。
【0047】
図3〜図5は、複数の基準画像MBの一例を説明するための図であり、図6〜図8は、複数の参照画像MRの一例を説明するための図である。複数の基準画像MBと複数の参照画像MRに関して、図3および図6は、それぞれの最上位の基準画像BIT、参照画像RITを、図4および図7は、それぞれ複数の基準画像MB、複数の参照画像MRの全体を、図5および図8は、それぞれ最下位の基準画像BI1、参照画像RI1を示している。
【0048】
図3〜図8に示されるように、複数の基準画像MBは、互いに解像度が異なる複数の基準画像であり、複数の参照画像MRは、互いに解像度が異なる複数の参照画像である。複数の基準画像MBと複数の参照画像MRとは、それぞれ、上位階層から下位階層に向かうにつれて解像度が低くなるように階層的に形成されている。
【0049】
複数の基準画像MBと複数の参照画像MRにおいて、最上位の基準画像BITと参照画像RIT画像は最も解像度が高い画像であり、最下位の基準画像BI1と参照画像RI1画像は、最も解像度が低い画像である。また、複数の基準画像MBと複数の参照画像MRの階層数Tは等しく、同一階層の基準画像と参照画像の解像度は同じである。
【0050】
最上位の基準画像BITと参照画像RIT画像との解像度が、第1画像1と第2画像2との解像度と同じであるとしても、異なるとしても、本発明の有用性を損なうものではない。
【0051】
なお、多重解像度立体画像23において、解像度が高い側の画像は、「上位」(または、「上位階層」)の画像とも称され、解像度が低い側の画像は、「下位」(または、「下位階層」)の画像とも称される。基準画像BImおよび参照画像RImは、最下層からm番目の上位階層に注目階層が設定された場合の基準画像および参照画像である。
【0052】
取得部12は、例えば、記憶装置46から取得した多重解像度画像作成に関係する制御パラメータである解像度変倍率RR、階層数を用いて、多重解像度立体画像23を生成し取得する。解像度変倍率RRは、取得部12が、処理対象である注目階層の画像を低解像度化して1つ下位階層の画像を作成する際の低解像度化の比率である。解像度変倍率RRは、多重解像度画像の隣合う2つの階層の画像のうち、上位階層の画像の水平方向の画素数に対する下位階層の画像の水平方向の画素数の比率として与えられ、また、該上位階層の画像の垂直方向の画素数に対する該下位階層の画像の垂直方向の画素数の比率としても与えられる。通常、これら2種類の比率は同じ値に設定される。なお、解像度変倍率RRは、階層間で同じ値である必要は無く、異なっていても良い。
【0053】
取得部12は、例えば、解像度変倍率RRおよび階層数Tに従って、多重解像度画像の階層数が階層数Tになるまで、第1画像1および第2画像2に対する解像度変倍率RRによる低解像度化処理を繰り返すことなどによって多重解像度立体画像23を生成して取得する。
【0054】
該低解像度化処理においては、取得部12は、基準画像BIT、参照画像RITの水平方向、垂直方向の画素数に解像度変倍率RRを乗じて、1つ下位階層の基準画像BI(T−1)、参照画像RI(T−1)の水平方向、垂直方向の画素数を求め、基準画像BI(T−1)、参照画像RI(T−1)の記憶領域を記憶装置46に確保する。
【0055】
記憶領域の確保が終了すると、取得部12は、基準画像BI(T−1)の1つの画素の画素値を、該画素に対応する基準画像BITの各画素の画素値を平均することなどによって求め、該画素に対応する記憶領域に記憶する画素値の設定処理を行う。取得部12は、該画素値の設定処理を基準画像BI(T−1)、参照画像RI(T−1)の全ての画素について行うことによって、基準画像BI(T−1)、参照画像RI(T−1)の画像を作成する。このように、多重解像度立体画像23の各階層間にわたる画素の対応関係は、多重解像度画像作成に関係する制御パラメータなどによって定められる。なお、階層間にわたる画素の対応関係は、例えば、記憶装置46に記憶され、必要に応じて画像処理装置200Aの各部によって使用される。
【0056】
取得部12は、上述した低解像度化処理を、多重解像度立体画像23の階層数が階層数Tになるまで繰り返すことによって多重解像度立体画像23(複数の基準画像MBおよび複数の参照画像MR)を生成して取得する。また、取得部12は、最下層の画像(基準画像BI1、参照画像RI1)の画素数が所定値以下になるまで解像度変倍率RRによる低解像度化を繰り返すことなどによっても、多重解像度立体画像23を作成して取得することができる。低解像度化処理の手法としては、上述した低解像度化処理の他、例えば、Qubic-Convolution法など種々の手法が採用され得る。
【0057】
<(3−2)設定部13の動作について>
多重解像度立体画像23が取得されると、設定部13は、各種の画像処理による画像上の特徴点の抽出処理、または所定の設定規則を用いた設定処理などによって、複数の基準画像MBの相互間で互いに対応した注目点を、複数の基準画像MBのそれぞれに設定する(図21のステップS130)。設定部13は、設定した各注目点の座標を各注目点情報31(図2)として取得し、取得した各注目点情報31を、探索決定部14に供給する。
【0058】
図9は、複数の基準画像MBにおける注目点の設定例を示す図である。図9に示される注目点Nmは、複数の基準画像MB中の注目階層の基準画像BIm上における注目点である。また、注目点N(m+1)は、該注目階層の1つ上位階層の基準画像BI(m+1)における注目点であって、注目点Nmに対応している。
【0059】
設定部13は、例えば、基準画像BI(m+1)と基準画像BIm間の画素の対応関係と、注目点N(m+1)の座標などとに基づいて注目点Nmを設定する。そして、設定部13は、該設定処理を、上位階層側から下位階層側へ向けて次々と繰り返すことなどによって最上位の基準画像BITから最下位の基準画像BI1まで各階層の基準画像における注目点を設定する。
【0060】
なお、設定部13は、例えば、基準画像BITにエッジ検出処理を施すことや、表示部43に表示された基準画像BIT上の特徴点が操作部42を介して指定された座標情報を取得することなどによって、複数の基準画像MBの最上位の基準画像BITにおける注目点を設定する。また、設定部13が、例えば、基準画像BITの全画素のそれぞれを注目点として設定することなどによって、複数の注目点を基準画像BIT上に設定しても良い。基準画像BIT上に複数の注目点が設定された場合には、画像処理装置200Aは、設定された各注目点のそれぞれについて動作フローS100(図21)における各ステップを行なう。
【0061】
<(3−3)探索決定部14の動作について>
探索決定部14(図2)は、既述したように、探索部15(図2)および決定部16(図2)として動作する。
【0062】
<(3−3−1)探索部15の動作について>
各注目点情報31が供給されると、探索部15は、取得された多重解像度立体画像23の複数の階層における注目階層の初期設定を行なう(図21のステップS140)。注目階層の初期設定においては、例えば、多重解像度立体画像23における最下層の階層、すなわち、画像の解像度が最も低い階層が、最初の注目階層として設定される。
【0063】
注目階層が初期設定されると、探索部15は、注目階層における注目参照画像に関する探索基準情報の初期設定を行なう(図21のステップS150)。該探索基準情報は、注目基準画像上の注目点に対応した注目参照画像上の対応点を探索する対応点探索の際の空間的な基準に関する情報である。探索基準情報に基づいて、対応点を探索するための参照ウィンドウWRm(図11)が注目参照画像上に設定される。
【0064】
探索基準情報としては、注目参照画像に設定される探索基準点Km(図11)、または、注目基準画像上に設定される基準ウィンドウWBm(図11)と、参照ウィンドウWRmとの画像空間における想定ずれ量(想定視差)などが採用される。
【0065】
探索基準情報の初期設定においては、例えば、注目基準画像BIm上の注目点Nmと同じ座標の注目参照画像RIm上の点、つまり注目点Nmが無限遠にある場合の注目参照画像RIm上の対応点であると考えられる点を探索基準点Kmとする方法、または想定視差などを採用すればよい。
【0066】
なお、後述する注目参照画像に関する探索基準情報の更新(図22のステップS200)においては、探索基準情報は、下位階層において既に探索された対応点に基づいて設定される。次に、該ステップS200の説明を、探索基準情報として探索基準点が採用された場合を例として、他のステップの説明に先立って行なう。
【0067】
図10は、多重解像度参照画像MRにおける探索基準点の設定例を示す図である。対応点CPm(図10)は、複数の参照画像MR中における注目階層の参照画像RIm上において探索された対応点である。また、探索基準点K(m+1)(図10)は、該注目階層の1つ上位階層の参照画像RI(m+1)における探索基準点である。探索基準点K(m+1)は、対応点CPmに対応した探索基準点である。探索部15は、参照画像RImと参照画像RI(m+1)間の画素の対応関係と、対応点CPmの座標とに基づいて探索基準点K(m+1)を設定する。上述した探索基準点の更新処理によって、探索部15は、多重解像度立体画像23の各階層に逐次設定される注目階層において、対応点の探索処理の基準となる探索基準点を参照画像上に設定する。
【0068】
ステップ150において、注目参照画像上の探索基準点の初期設定が行なわれると、探索部15は、注目参照画像上における対応点を探索する対応点探索処理を行なう(図22のステップS160)。
【0069】
<(3−3−1−1)対応点探索処理の概要>
図11は、探索部15が行う対応点探索処理の概要を説明する図である。図11に示されるように、注目点Nmは、設定部13が複数の基準画像MB中のうち注目階層の基準画像(注目基準画像)BIm上に設定した注目点である。探索基準点Kmは、探索部15が、注目点Nmと、複数の参照画像MRのうち該注目階層の参照画像(注目参照画像)RImに対して設定された探索基準情報とに基づいて、参照画像RIm上に設定した探索基準点である。図11に示された例においては、探索部15は、記憶装置46に格納されたウィンドウサイズWX、WYに基づいて、注目点Nmを空間的な基準点として基準ウィンドウWBmを設定している。また、探索部15は、探索基準点Kmを空間的な基準点として参照ウィンドウWRmを設定している。探索部15は、基準ウィンドウWBm内の画像と参照ウィンドウWRm内の画像との相関(「類似度」)を求めることによって、注目点Nmに対応する対応点CPmを求める。
【0070】
<(3−3−1−2)基準ウィンドウと参照ウィンドウとの設定>
ステップS160(図22)において対応点探索処理が開始されると、探索部15は、注目基準画像(注目階層の基準画像BIm)上に基準ウィンドウWBmを設定する(図23のステップS10)。また、探索部15は、注目参照画像(注目階層の参照画像RIm)上に参照ウィンドウWRmを設定する(図23のステップS20)。
【0071】
図12および図13は、それぞれ、基準画像BIm(図11)上に設定された基準ウィンドウWBmと、参照画像RIm(図11)上に設定された参照ウィンドウWRmとの設定例を示す図である。
【0072】
図12に例示される基準ウィンドウWBm(参照ウィンドウWRm)は、水平方向画素数と垂直方向画素数がともに奇数であり、注目点Nm(探索基準点Km)の座標は、基準ウィンドウWBm(参照ウィンドウWRm)の重心Wgと一致する。
【0073】
また、図13に例示される基準ウィンドウWBm(参照ウィンドウWRm)は、水平方向画素数と垂直方向画素数とがともに偶数であり、注目点Nm(探索基準点Km)の座標は、基準ウィンドウWBm(参照ウィンドウWRm)の重心Wgに対して−X方向、−Y方向に1画素ずれている。図12および図13に示される例の他に、基準ウィンドウWBm(参照ウィンドウWRm)の水平方向画素数と垂直方向画素数とは、それぞれ奇数と偶数(順不同)との組でもよい。
【0074】
なお、基準ウィンドウWBmと参照ウィンドウWRmとのそれぞれの水平方向(X方向)画素数は同じであり、それぞれの垂直方向(Y方向)画素数もまた同じである。
【0075】
ここで、基準ウィンドウWBmと参照ウィンドウWRmの画像間の相関(類似度)を求める相関演算手法としては、例えば、SAD(Sum of Absolute Difference)法などのように周波数分解を行わない手法と、POC(Phase Only Correlation)法などのように周波数分解を行う手法などとがある。周波数分解を行う手法が採用される場合には、高速フーリエ変換(FFT)を用いて必要な演算回数を抑制し、処理の高速化を図る観点から、各ウィンドウの水平方向画素数と垂直方向画素数とは、それぞれ2のべき乗で表される画素数に設定されることが望ましい。
【0076】
<(3−3−1−3)相関演算による対応点の抽出>
基準ウィンドウWBmと参照ウィンドウWRmとが設定されると、探索部15は、両ウィンドウ間の相関(類似度)を求める相関演算を行い(図23のステップS30)、注目階層の参照画像RImにおける対応点を抽出する(図23のステップS40)。該相関演算手法としては、例えば、NCC(Normalized Cross Correlation)法、SAD法、またはPOC法などの相関演算手法が採用され得る。
【0077】
次に、SAD法とPOC法を例として、基準ウィンドウWBmと参照ウィンドウWRmの画像間の相関演算が行なわれることにより参照画像RIm上の対応点が抽出される手法について説明する。
【0078】
○SAD法を用いた対応点の抽出について:
図14は、SAD法を用いた視差特定処理の手順を示す図である。図14に示される注目階層の基準画像BIm上にはX座標がh2である注目点Nmが設定されており、注目点Nmに対して基準ウィンドウWBmが設定されている。基準ウィンドウWBmのX方向の両端のX座標は、h1とh3である。また、該注目階層の参照画像RIm上には、注目点Nmに対応する対応点CPmが示されている。
【0079】
ここでは、SAD法を用いて対応点CPmを求める例について説明する。参照画像RIm上には、X座標がxsである探索基準点KmsからX座標がxeである探索基準点Kmeまで、X座標がxs≦x≦xeの範囲で1画素ごとに複数の探索基準点が設定されており、これら複数の探索基準点の代表として両端の探索基準点Kms、Kmeのみが記載されている。
【0080】
また、該複数の探索基準点には、それぞれ基準ウィンドウWBmと、同サイズの複数の参照ウィンドウとが設定されており、該複数の参照ウィンドウの代表として両端の参照ウィンドウWRms、WRmeのみが記載されている。
【0081】
ここで、図14においては説明を簡単にするため、注目点Nmと複数の探索基準点Kms〜KmeのY座標は同じであり、従って、基準ウィンドウWBmと、参照ウィンドウWRms〜WRmeのY方向の座標のずれ量は無いように設定されている。また、注目点Nmと、求められるべき対応点CPmのY座標も一致するように設定されている。
【0082】
次に、参照ウィンドウWRms〜WRmeの各参照ウィンドウ内の各画像と、基準ウィンドウWBm内の画像との相関値を演算する。基準ウィンドウと参照ウィンドウのX方向、Y方向の座標のずれ量(視差)をそれぞれ視差xd、ydとする。図14の例では、視差xdの範囲はxs−h2〜xe−h2であり、視差ydは0である。
【0083】
探索部15は、(1)式、(2)式を用いた演算によって基準ウィンドウWBm内の画像と参照ウィンドウWRm内の画像の相関値CORpを算出する。なお、基準ウィンドウWBm内の各画素(xi,yj)の画素値は、Img1(xi,yj)であり、X方向、Y方向の視差が、視差xd、ydである参照ウィンドウWRm内の各画素(xi+xd,yj+yd)の画素値は、Img2(xi+xd,yj+yd)である。
【0084】
【数1】

【0085】
参照ウィンドウがWRmsからWRmeにわたって走査されるように、X方向の視差xdをxs−h2〜xe−h2の範囲で変更しつつ、(1)式および(2)式によって各視差xdに対する相関値CORpが算出されると、図14に示すグラフU1のように参照画像RImのX座標と相関値CORpとの関係が明らかになる。
【0086】
図14の例では、座標xMにおいて、グラフU1における相関値CORpの最大値が与えられているので、探索基準点のX座標がxMと一致する参照ウィンドウが、相関値CORpの最大値を与える参照ウィンドウである。探索部15は、該参照ウィンドウの探索基準点を、注目点Nmに対応する対応点CPmとして抽出する。
【0087】
なお、SAD法が採用される場合には、決定部16(図2)は、相関値CORpの最大値を、処理対象の注目階層についての信頼度として決定する。
【0088】
○POC法を用いた対応点の抽出について:
図15は、POC法を用いた視差特定処理手順を示す図である。
【0089】
POC法は、周波数分解を使用した相関法であって、かつ、振幅成分を抑制した相関法である。同様の相関法として、DCT符号限定相関法(参考論文:「画像信号処理と画像パターン認識の融合−DCT符号限定相関とその応用」貴塚仁志)などが知られている。これらの相関法は、パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行うため、画像を取得するためのステレオカメラ300における撮影条件の差や、ノイズなどの影響を受けにくく、ロバストな対応点検索が可能である。
【0090】
また、SAD法が、1組の基準ウィンドウと参照ウィンドウに対して1つの相関値(CORp値)のみを出力するため、相関値が最も高い参照ウィンドウ、すなわち、相関値が最も高い視差を特定するためには複数の参照ウィンドウにわたって、参照ウィンドウの走査を行う必要があるのに対して、POC法などの周波数分解を使用した相関法は、1組の基準ウィンドウと参照ウィンドウの画像に対して、画像間の相関値とともに、相関値が最も高くなる画像間の視差が求められるので、対応点が該参照ウィンドウ内に存在する場合には、参照ウィンドウの走査を行う必要がない。
【0091】
このため、多重解像度画像にPOC法を用いる対応点探索法によれば、画素数の最も少ない多重解像度画像の最下位の基準画像と参照画像の画像全域をそれぞれ当初の基準ウィンドウと参照ウィンドウに設定して正しい対応点を探索した後、該対応点に基づいて1つ上位階層に参照ウィンドウを設定して該参照ウィンドウを走査することなく該階層における正しい対応点を求める探索処理を全ての階層にわたって繰り返すことが可能となる。従って、POC法を用いる視差特定手法は、多重解像度画像を対象とする視差特定処理に好適な手法となる。
【0092】
以下に、ある注目階層における基準画像BImに対する基準ウィンドウWBm内の画像と、該注目階層の参照画像RImに対する参照ウィンドウWRm内の画像とを対応点探索処理の対象として探索部15が対応点を抽出する場合を例に、POC法の基本原理を説明する。
【0093】
先ず、注目階層における基準画像BImに対して基準ウィンドウWBmを設定する基準ウィンドウ設定処理T1a、および注目階層における参照画像RImに対して参照ウィンドウWRmを設定する参照ウィンドウ設定処理T1bが行われる。
【0094】
基準ウィンドウWBm内の画像領域と、参照ウィンドウWRm内の画像領域とは、次の(3)式、(4)式のように表されるものとする。
【0095】
【数2】

【0096】
ここで、(3)式のf0(n1,n2)および(4)式のg0(n1,n2)は、基準ウィンドウWBm内および参照ウィンドウWRm内の画素の画素値を示している。また、N1およびN2は、例えばN1=2M1+1、N2=2M2+1と設定されている。
【0097】
次に、周波数分解を行う前に、ウィンドウ領域の端部での不連続性の影響を取り除くために窓関数を用いた窓関数処理T2aおよびT2bを行う。
【0098】
窓関数は、例えば、(5)式のH(n1,n2)で与えられるハニング窓が採用され、窓関数処理T2aおよびT2bは、基準ウィンドウWBm内および参照ウィンドウWRm内の各画素の画素値に(5)式の窓関数の出力値を乗ずる演算(6)式および(7)式でそれぞれ与えられる。
【0099】
【数3】

【0100】
窓関数としては、ハニング窓の他に、例えば、ハミング窓、カイザー窓などが採用される。
【0101】
次に、基準ウィンドウWBm、参照ウィンドウWRm内の各画像領域に対し、(8)式、(9)式で示す演算式を用いて、図15に示される2次元のフーリエ変換処理T3a、T3bが行われる。
【0102】
【数4】

【0103】
なお、(8)式、(9)式の下部ただし書におけるWの添字Pには、N1、N2が代入され、またkの添字sには、1、2が代入される。ここで、周波数分解の処理は必ずしもフーリエ変換である必要はなく、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換の何れかを含んでいても良い。
【0104】
このようなフーリエ変換処理T3a、T3bが施された各画像領域に対しては、(10)式で示す演算式を用いて、画像の振幅成分を除去するための正規化処理T4a、T4bが行われる。
【0105】
【数5】

【0106】
正規化処理T4a、T4bが完了すると、(11)式で示す演算式を用いた正規化クロス・パワースペクトル算出処理T5が行われる。
【0107】
【数6】

【0108】
正規化クロス・パワースペクトル算出処理T5が完了すると、(12)式で示す演算式を用いた2次元の逆フーリエ変換処理T6が行われる。これにより、基準ウィンドウWBmと参照ウィンドウWRm内の各画像間の相関演算が実施されることとなり、その結果(POC値)が出力される。
【0109】
【数7】

【0110】
以上の処理により、基準ウィンドウWBm内の画像と参照ウィンドウWRm内の画像との相関を示す演算結果(POC値)が得られ、例えば、図16で示すような結果(POC値)が得られる。
【0111】
図16は、POC値の例を示す図である。図16においては、ウィンドウ(N1×N2)内で相関が高い箇所のPOC値が大きくなっており、POC値のピークSを与える座標が、基準ウィンドウWBm内の画像と参照ウィンドウWRm内の画像との相関が最も高くなる視差(ずれ量)を示す。POC法を用いた候補点抽出処理では、探索部15は、POC法を用いて特定された視差と、基準ウィンドウWBm内の注目点Nmの位置とに基づいた対応点抽出処理T7(図15)によって、基準ウィンドウWBm内の注目点Nmに対応した参照ウィンドウWRm内の対応点CPmを抽出する。
【0112】
なお、POC法が採用される場合には、決定部16(図2)は、POC値のピークSを、処理対象の注目階層についての信頼度として決定する。
【0113】
以上のように、POC法を用いた対応点探索処理によれば、画像の振幅成分が除去され、画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響が抑制されて対応点が精度良く検出される。
【0114】
なお、画像処理装置200Aにおいては、注目点Nm、および対応点CPmなどが、画素サイズ単位で特定されたとしても、また、画素サイズ以下のサブピクセル単位で特定されたとしても本発明の有用性を損なうものではない。本願の各図面においては、注目点、候補点、および対応点などが、画素単位で特定(抽出)される場合に対応した図面が適宜記載されている。
【0115】
<(3−3−2)決定部16の動作について>
図23のステップS40において、注目階層における基準画像BIm上の注目点Nmに対する参照画像RIm上の対応点CPmが抽出されると、決定部16(図2)は、注目階層における対応点探索の結果に関する信頼度を決定する(図22のステップS170)。既述したように、決定部16は、SAD法が採用される場合には、相関値CORpの最大値を該信頼度として決定し、POC法が採用される場合には、POC値のピークSを該信頼度として決定する。
【0116】
上述した対応点探索の結果、注目階層の注目点に対する対応点と、該対応点についての対応点探索の結果に関する信頼度とが決定されると、探索部15は、多重解像度立体画像23の複数の階層の全階層をそれぞれ注目階層とした対応点探索処理が終了したか否かを判定する(図22のステップS180)。ステップS180での判定の結果、全階層についての対応点探索処理が終了していなければ、注目階層の上位階層を新たな注目階層として設定することによって、注目階層の更新を行う(図22のステップS190)。さらに、探索部15は、図10を用いて既述したように、更新前の注目階層において抽出された対応点に基づいて当該新たな注目階層における探索基準情報(探索基準点)を設定する探索基準情報の更新処理を行ない(図22のステップS200)、CPU11Aは処理をステップS160(図22)に戻す。
【0117】
上述したように、探索部15は、注目階層を下位の階層から上位の階層に向けて逐次設定しながら対応点探索処理と、注目階層を更新するための各種の設定処理とを行なうことによって、多重解像度立体画像23の各階層において、基準画像上の注目点に対応する参照画像上の対応点を探索する。
【0118】
また、決定部16は、注目階層の更新に応じて、多重解像度立体画像23の複数の階層について対応点探索の結果の信頼度をそれぞれ決定する。また、決定された各信頼度33(図2)は、演算部17に供給される。
【0119】
ステップS180での判定の結果、全階層についての対応点探索処理が終了していれば、CPU11Aは、処理をステップS210(図22)に移す。
【0120】
<(3−4)演算部17の動作について>
各信頼度33が決定部16から供給されると、演算部17(図2)は、各信頼度33を総合した総合信頼度RA1(図2)を算出する(図22のステップS210)。
【0121】
ステップS210が開始されると、演算部17は、各信頼度33の変動態様に依存しない算出規則である第1規則を規定した第1規則情報57(図1、図2)を記憶装置46から取得し、取得した第1規則を各信頼度33に対して適用することによって各信頼度33の全体的な状況を表現した基準値RS1を算出する(図24のステップS310)。
【0122】
具体的には、第1規則としては、例えば、各信頼度33の積和演算が採用され、演算部17は、(13)式によって、基準値RS1を算出する。なお、(13)式において、各信頼度33は、信頼度R(k3)として表示されている。
【0123】
【数8】

【0124】
基準値RS1が算出されると、演算部17は、多重解像度立体画像23の複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる各信頼度33の変化である各信頼度変化DR(k3)を、例えば、(14)式によって算出する(図24のステップS320)。
【0125】
図19は、多重解像度立体画像23の各階層間における信頼度変化の分布例を示す図である。図19に示された各信頼度変化は、図18に示された各信頼度に(14)式を適用することによって求められている。
【0126】
【数9】

【0127】
各信頼度変化が求められると、演算部17は、求めた各信頼度変化のうち一部の信頼度変化を特定する(図24のステップS330)。該一部の信頼度変化は、他の信頼度変化よりも強調されて補正値RS2の算出に用いられ、補正値RS2によって、基準値RS1が補正される。
【0128】
図24のステップS330が開始されると、演算部17は、各信頼度変化DR(k3)の増減パターンの中に予め設定された増減パターンが存在するか否かを判定する(図25のステップS410)。なお、該所定の増減パターンは、記憶装置46などから取得される。ステップS410での判定の結果、該所定の増減パターンに該当する各信頼度変化が存在しなければ、CPU11Aは、処理をS340(図24)に移す。
【0129】
ステップS410での判定の結果、該所定の増減パターンに該当する各信頼度変化が存在していれば、演算部17は、該所定のパターンを構成する各信頼度変化の幅が予め設定された閾値以上であるか否かを判定する(図25のステップS420)。ステップS420での判定の結果、該所定のパターンを構成する各信頼度変化の幅が予め設定された閾値未満であれば、CPU11Aは、処理をS340(図24)に移す。
【0130】
テップS420での判定の結果、該所定のパターンを構成する各信頼度変化の幅が予め設定された閾値以上であれば、演算部17は、該当する各信頼度変化を一部の信頼度変化として特定する(図25のステップS430)。ステップS430において特定される一部の信頼度変化は、各信頼度変化DR(k3)の増減方向と値とに応じて特定された信頼度変化である。そして、CPU11Aは、処理をS340(図24)に移す。
【0131】
なお、ステップS410の判定に使用される所定のパターンとしては、例えば、連続した2つの各信頼度変化DR(k3)のうち、多重解像度立体画像23において下位階層側に対応した一方の信頼度変化の値が負であり、上位階層側に対応した他方の信頼度変化の値が正であるパターンなどが記憶装置46から取得されて採用される。
【0132】
図19に示される例においては、負の値D2の信頼度変化の絶対値は、判定用の負の閾値TH2の絶対値よりも大きく、また、正の値D1の信頼度変化は、判定用の正の閾値TH1の絶対値よりも大きい。従って、図19に示される例においては、例えば、値D2の信頼度変化と、値D1の信頼度変化とが一部の信頼度変化として特定される。
【0133】
演算部17は、特定した一部の信頼度変化に対して、例えば、(15)式で示される関数BLによって一部の信頼度変化に該当することを示す値1を割り当てる。
【0134】
なお、各信頼度変化についての該関数BLの値は、(16)式によって、予め、一部の信頼度変化に該当しないことを示す値0に初期化されている。従って、各信頼度変化のうちステップS430において一部の信頼度変化として特定された信頼度変化以外の他の信頼度変化についての関数BLの値には値0が割り当てられている。
【0135】
【数10】

【0136】
処理が、ステップS340(図24)に移されると、演算部17は、基準値RS1の補正に用いられる補正値RS2を算出する(ステップS340)。具体的には、演算部17は、先ず、補正値RS2を取得する算出規則である第2規則を規定した第2規則情報58(図1、図2)を記憶装置46から取得する。第2規則は、各信頼度変化DR(k3)のうちステップS330において特定した一部の信頼度変化を他の信頼度変化よりも強調することによって補正値RS2を取得する算出規則である。演算部17は、取得した第2規則を各信頼度変化DR(k3)に適用することによって補正値RS2を算出する。なお、第2規則としては、例えば、(17)式などが採用される。(17)式において、各信頼度変化DR(k3)の絶対値が十分に小さい場合には、(17)式による演算結果に対する該信頼度変化の寄与度は、小さくなる。従って、図25のステップS420における判定処理が行なわれないとしても、本発明の有用性を損なうものではない。すなわち、各信頼度変化DR(k3)の増減方向と値とのうち増減方向のみに応じて一部の信頼度変化が特定されたとしても本発明の有用性を損なうものではない。
【0137】
【数11】

【0138】
また、演算部17は、多重解像度立体画像23の複数の階層のうち特定された一部の信頼度変化に係る階層の階層順位に応じて、該一部の信頼度変化を強調して補正値RS2を算出することもできる。なお、該階層順位が上位階層側であればあるほど、該一部の信頼度変化に係る階層における基準画像と参照画像との解像度は高くなる。
【0139】
演算部17は、具体的には、例えば、(18)式を採用して補正値RS2を算出することによって、特定された一部の信頼度変化を強調して補正値RS2を算出できる。より詳細には、(18)式が採用された場合には、特定された一部の信頼度変化に係る階層順位が上位階層側、すなわち高解像側であればあるほど該一部の信頼度変化が強調されて補正値RS2が算出される。
【0140】
図20は、多重解像度立体画像23の各階層における対応点探索の信頼度の分布例を示す図である。例えば、図20に示される各信頼度の分布例に、(18)式が適用される場合には、円c1に内包された一部の各信頼度に係る信頼度変化よりも、円c2に内包された一部の各信頼度に係る信頼度変化の方が強調されて、補正値RS2が算出される。
【0141】
【数12】

【0142】
補正値RS2の算出がされると、演算部17は、(19)式によって総合信頼度RA1を算出する(ステップS350)。ここで、(13)式が図18に示される各信頼度に対して適用されて算出される基準値RS1は、(13)式が図17に示される各信頼度に対して適用されて算出される基準値RS1よりも低くなる。しかしながら、図18に示される各信頼度に対して最終的に算出される総合信頼度RA1は、図17に示される各信頼度に対して最終的に算出される総合信頼度RA1とほぼ同じ値となる。従って、図18に示されるように一部の階層において信頼度が悪化した場合であっても、総合信頼度RA1は、該悪化が存在しない場合と同程度にまで改善される。なお、CPU11Aは、総合信頼度RA1に基づいて、多重解像度立体画像23のうち最上位階層において探索された対応点が正しく探索されたか否かを判定する。
【0143】
【数13】

【0144】
上述したように、画像処理装置200Aにおいては、多重解像度立体画像23の複数の階層についての対応点探索の結果に関する各信頼度33の全体的な状況を表現した基準値RS1が算出される。そして、該複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる各信頼度33についての各信頼度変化のうち一部の信頼度変化が、他の信頼度変化よりも強調されて補正値RS2が算出される。そして、補正値RS2を用いて基準値RS1が補正されることによって、総合信頼度RA1が算出される。従って、画像処理装置200Aによれば、一部の階層において信頼度が悪化した場合に算出される総合信頼度が改善され得る。
【0145】
<変形例について:>
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【0146】
例えば、多重解像度立体画像23における各階層のうち、一部または全部の階層についての基準画像および参照画像の解像度が、第1画像1および第2画像2の解像度よりも高い解像度である多重解像度立体画像23が取得部12よって取得されたとしても本発明の有用性を損なうものではない。
【符号の説明】
【0147】
100A 画像処理システム
200A 画像処理装置
300 ステレオカメラ
11A CPU
1 第1画像
2 第2画像
23 多重解像度立体画像
31 各注目点情報
33 各信頼度
49 信号線
57 第1規則情報
58 第2規則情報
70 被写体
91 第1カメラ
92 第2カメラ
DL データ線
MB 複数の基準画像
MR 複数の参照画像
RA1 総合信頼度
T 階層数
RR 解像度変倍率
WX,WY ウィンドウサイズ

【特許請求の範囲】
【請求項1】
互いに対応する画像内容を含んだ第1画像と第2画像とについて、前記第1画像が複数の階層にわたって上位階層から下位階層に向かうにつれて解像度が低くなるように複数の解像度でそれぞれ表現された複数の基準画像と、前記第2画像が前記複数の階層にわたって前記複数の解像度でそれぞれ表現された複数の参照画像とを取得する取得部と、
前記複数の基準画像の相互間で互いに対応した注目点を前記複数の基準画像にそれぞれ設定する設定部と、
を備え、
前記複数の階層のうち予め設定された注目階層について、前記複数の基準画像のうち前記注目階層における基準画像によって注目基準画像を定義し、前記複数の参照画像のうち前記注目階層における参照画像によって注目参照画像を定義したとき、
前記注目階層について予め設定された空間的な基準に関する探索基準情報を用いて、前記注目基準画像における注目点に対応した前記注目参照画像における対応点を探索する対応点探索処理と、前記注目階層の上位階層を新たな注目階層として設定するとともに、探索された前記対応点に基づいて当該新たな注目階層における探索基準情報を設定する設定処理とを、前記注目階層を下位の階層から上位の階層に向けて逐次設定しながら行なう探索部と、
前記複数の階層のそれぞれにおける前記対応点探索処理の結果に関する各信頼度を決定する決定部と、
前記各信頼度の全体的な状況を表現した基準値を、前記複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる前記各信頼度についての各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を用いて補正することにより、前記各信頼度を総合した総合信頼度を算出する演算部と、
をさらに備えることを特徴とする画像処理装置。
【請求項2】
請求項1に記載された画像処理装置であって、
前記演算部が、
前記各信頼度変化の増減方向に応じて前記一部の信頼度変化を特定することを特徴とする画像処理装置。
【請求項3】
請求項2に記載された画像処理装置であって、
前記演算部が、
前記各信頼度変化のそれぞれの変化量に応じて前記一部の信頼度変化を特定することを特徴とする画像処理装置。
【請求項4】
請求項1から請求項3の何れか1つの請求項に記載された画像処理装置であって、
前記演算部が、
前記複数の階層のうち前記一部の信頼度変化に係る各階層についての前記複数の階層における階層順位に応じて、前記一部の信頼度変化の強調度を変更して前記補正値を算出することを特徴とする画像処理装置。
【請求項5】
請求項4に記載された画像処理装置であって、
前記演算部が、
前記階層順位が上位階層側であればあるほど前記強調度を強くすることを特徴とする画像処理装置。
【請求項6】
画像処理装置に搭載されたコンピューターにおいて実行されることにより、当該画像処理装置を請求項1から請求項5の何れか1つの請求項に記載された画像処理装置として機能させることを特徴とするプログラム。
【請求項7】
互いに対応する画像内容を含んだ第1画像と第2画像とについて、前記第1画像が複数の階層にわたって上位階層から下位階層に向かうにつれて解像度が低くなるように複数の解像度でそれぞれ表現された複数の基準画像と、前記第2画像が前記複数の階層にわたって前記複数の解像度でそれぞれ表現された複数の参照画像とを取得する取得工程と、
前記複数の基準画像の相互間で互いに対応した注目点を前記複数の基準画像にそれぞれ設定する設定工程と、
を有し、
前記複数の階層のうち予め設定された注目階層について、前記複数の基準画像のうち前記注目階層における基準画像によって注目基準画像を定義し、前記複数の参照画像のうち前記注目階層における参照画像によって注目参照画像を定義したとき、
前記注目階層について予め設定された空間的な基準に関する探索基準情報を用いて、前記注目基準画像における注目点に対応した前記注目参照画像における対応点を探索する対応点探索処理と、前記注目階層の上位階層を新たな注目階層として設定するとともに、探索された前記対応点に基づいて当該新たな注目階層における探索基準情報を設定する設定処理とを、前記注目階層を下位の階層から上位の階層に向けて逐次設定しながら行なう探索工程と、
前記複数の階層のそれぞれにおける前記対応点探索処理の結果に関する各信頼度を決定する決定工程と、
前記各信頼度の全体的な状況を表現した基準値を、前記複数の階層のうち互いに隣接した各階層組みのそれぞれの間にわたる前記各信頼度についての各信頼度変化のうち一部の信頼度変化を他の信頼度変化よりも強調した補正値を用いて補正することにより、前記各信頼度を総合した総合信頼度を算出する演算工程と、
をさらに有することを特徴とする画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate


【公開番号】特開2013−20573(P2013−20573A)
【公開日】平成25年1月31日(2013.1.31)
【国際特許分類】
【出願番号】特願2011−155506(P2011−155506)
【出願日】平成23年7月14日(2011.7.14)
【出願人】(000001270)コニカミノルタホールディングス株式会社 (4,463)
【Fターム(参考)】