説明

画像処理装置、そのプログラム、および画像処理方法

【課題】ブロックマッチングにより探索される対応点の信頼度を改善する。
【解決手段】画像処理装置は、第1画像上に予め設定された注目点を空間的に内包する第1基準ブロックと、第2画像上に設定された複数の第1参照ブロックのそれぞれとの画像内容の類似度をそれぞれ表現した複数の第1指標値を取得する第1演算部と、該複数の第1指標値に基づいて、注目点に対応した対応点の複数の候補点を前記第2画像においてそれぞれ抽出する抽出部と、複数の候補点をそれぞれ空間的に内包する複数の第2基準ブロックのそれぞれと、第1画像上の第2参照ブロックとの第2ブロックマッチングにより、複数の候補点のそれぞれについて、対応点としての選択の適性を表現した複数の第2指標値を取得する第2演算部と、該複数の第2指標値に基づいて、複数の候補点の中から1つを選択することにより、対応点を決定する決定部とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、1の画像に設定された注目点の対応点を、他の画像から探索する対応点探索技術に関する。
【背景技術】
【0002】
異なる視点から撮影された測定対象物に関する複数の画像のうち、1の画像上の注目点に対応する他の画像上の対応点を、双方の画像間でブロックマッチングを行なうことにより探索し、得られた対応点と注目点とに基づいて、測定対象物の3次元形状などを求める装置が知られている。
【0003】
ブロックマッチングを用いる対応点探索方法においては、1の画像上に、例えば、注目点を略中心とする探索ブロック(「基準ブロック」、「基準ウィンドウ」とも称される)が設定されるとともに、対応点の存在が見込まれる参照画像上の領域にも基準ウィンドウと同じ大きさの探索ブロック(「参照ブロック」、「参照ウィンドウ」とも称される)が設定される。
【0004】
次に、参照ブロックの位置が他の画像上でずらされつつ、基準ブロックと参照ブロックとのそれぞれの画像の相関演算が行なわれて、相関(「類似度」とも称される)が最も高くなる探索ブロックが特定される。そして、特定された探索ブロックにおいて対応点が特定される。
【0005】
ところで、ブロックマッチングを用いる対応点探索においては、マッチング対象の各画像間で、例えば、類似した画像内容の組み合わせが複数存在する場合には、誤った対応点が探索される誤対応が生じる場合がある。
【0006】
特許文献1では、ブロックマッチングによって探索された対応点の信頼性を検証する画像処理装置が開示されている。該画像処理装置では、先ず、1の画像上の基準点を内包する基準ブロックと、他の画像とのブロックマッチングによって、該他の画像上で基準点に対応した対応点が探索される。次に、該対応点を内包する他の画像上の検証ブロックに対応した該1の画像上のブロックが特定され、特定されたブロックが、該検証ブロックと一致していれば、探索された対応点の信頼性は高い(探索成功)と判定され、一致していなければ該信頼性は低い(誤対応)と判定される。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2004−184240号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1の画像処理装置には、誤対応によって探索された対応点を検出できるものの、誤対応に関する対応点よりも信頼度の高い対応点を探索することができないといった問題がある。
【0009】
本発明は、こうした問題を解決するためになされたもので、探索される対応点の信頼度が改善され得る技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記の課題を解決するため、第1の態様に係る画像処理装置は、互いに対応する画像内容を含んだ第1画像と第2画像とを取得する取得部と、前記第2画像上に複数の第1参照ブロックを設定する第1設定部と、前記第1画像上に予め設定された注目点を空間的に内包する第1基準ブロックと、前記複数の第1参照ブロックのそれぞれとの第1ブロックマッチングにより、前記第1基準ブロックと、前記複数の第1参照ブロックのそれぞれとの画像内容の類似度をそれぞれ表現した複数の第1指標値を取得する第1演算部と、前記複数の第1指標値に基づいて、前記注目点に対応した対応点の複数の候補点を前記第2画像においてそれぞれ抽出する抽出部と、前記複数の候補点をそれぞれ空間的に内包する複数の第2基準ブロックを設定する第2設定部と、前記複数の第2基準ブロックのそれぞれと、前記第1画像上に予め設定された第2参照ブロックとの第2ブロックマッチングにより、前記複数の候補点のそれぞれについて、前記対応点としての選択の適性を表現した複数の第2指標値を取得する第2演算部と、前記複数の第2指標値に基づいて、前記複数の候補点の中から1つを選択することにより、前記対応点を決定する決定部とを備えたことを特徴とする。
【0011】
第2の態様に係る画像処理装置は、第1の態様に係る画像処理装置であって、前記第1設定部は、前記第2画像上に予め設定された複数の探索基準点をそれぞれ空間的な基準点として、前記複数の探索基準点のそれぞれに対して、画像空間におけるブロックの設定に関する第1規則をそれぞれ適用することにより前記複数の第1参照ブロックをそれぞれ設定し、前記第2設定部は、前記複数の候補点をそれぞれ空間的な基準点として、前記複数の候補点のそれぞれに対して、画像空間におけるブロックの設定に関する第2規則をそれぞれ適用することにより前記複数の第2基準ブロックをそれぞれ設定し、前記第1規則と前記第2規則とは、空間的な基準点に対するブロックの設定態様が空間的に互いに異なることを特徴とする。
【0012】
第3の態様に係る画像処理装置は、第2の態様に係る画像処理装置であって、前記第1規則と前記第2規則とは、共通の空間的な基準点に対して、前記第1規則と前記第2規則とがそれぞれ適用されることにより設定される2つのブロックの形状が、互いに異なることを特徴とする。
【0013】
第4の態様に係る画像処理装置は、第2の態様に係る画像処理装置であって、前記第1規則と前記第2規則とは、共通の空間的な基準点に対して、前記第1規則と前記第2規則とがそれぞれ適用されることにより設定される2つのブロックの空間的な大きさが、互いに異なることを特徴とする。
【0014】
第5の態様に係る画像処理装置は、第2の態様に係る画像処理装置であって、前記第1規則と前記第2規則とは、共通の空間的な基準点に対して、前記第1規則と前記第2規則とがそれぞれ適用されることにより設定される2つのブロックのそれぞれの位置が互いに異なることを特徴とする。
【0015】
第6の態様に係る画像処理装置は、第2から第5の何れか1つの態様に係る画像処理装置であって、前記第2規則は、前記複数の候補点のうち注目候補点を空間的な基準点として、当該注目候補点に対して前記第2規則が適用されることにより設定される前記第2基準ブロックに、前記複数の候補点のうち当該注目候補点のみが内包されるように、当該第2基準ブロックを設定する規則であることを特徴とする。
【0016】
第7の態様に係る画像処理装置は、第6の態様に係る画像処理装置であって、前記第2規則は、前記注目候補点に対して前記第2規則が適用されることにより設定される前記第2基準ブロックに、前記複数の候補点のうち前記注目候補点のみが内包されるように、前記複数の候補点の相互の位置関係に応じて当該第2基準ブロックを設定する規則であることを特徴とする。
【0017】
第8の態様に係る画像処理装置は、第6の態様に係る画像処理装置であって、前記第2規則は、前記注目候補点に対して当該第2規則が適用されることにより設定される前記第2基準ブロックに、前記複数の候補点のうち前記注目候補点のみが内包されるように、前記第2画像の画像空間における前記複数の第1指標値の空間的な分布状態に応じて当該第2基準ブロックを設定する規則であることを特徴とする。
【0018】
第9の態様に係る画像処理装置は、第1から第8の何れか1つの態様に係る画像処理装置であって、前記第2演算部が、前記複数の第2基準ブロックのそれぞれと、前記第2参照ブロックとのブロックマッチングを、前記第2参照ブロックの位置を前記第1画像上でずらしながら行うことによって前記第2ブロックマッチングを行い、該第2ブロックマッチングにより前記複数の候補点にそれぞれ対応した複数の対応点を前記第1画像上でそれぞれ特定するとともに、前記注目点と、当該複数の対応点のそれぞれとの各距離に基づいて前記複数の第2指標値をそれぞれ取得することを特徴とする。
【0019】
第10の態様に係る画像処理装置は、第1から第8の何れか1つの態様に係る画像処理装置であって、前記第2演算部が、前記複数の第2基準ブロックのそれぞれと、前記第2参照ブロックとのブロックマッチングを、前記第2参照ブロックの位置を前記第1画像上でずらしながら行うことによって前記第2ブロックマッチングを行い、前記第2ブロックマッチングの結果に基づいて、前記複数の第2基準ブロックのそれぞれ毎に、前記第2参照ブロックとの最も高い各類似度を取得し、取得した前記各類似度に基づいて前記複数の第2指標値をそれぞれ取得することを特徴とする。
【0020】
第11の態様に係る画像処理装置は、第1から第8の何れか1つの態様に係る画像処理装置であって、前記第2参照ブロックが、前記注目点を空間的な基準点として設定された1のブロックであり、前記第2演算部が、前記複数の第2基準ブロックのそれぞれと、前記第2参照ブロックとのブロックマッチングによって前記第2ブロックマッチングを行い、前記複数の第2基準ブロックのそれぞれと前記第2参照ブロックとの各類似度に基づいて前記複数の第2指標値をそれぞれ取得することを特徴とする。
【0021】
第12の態様に係る画像処理装置は、第6から第8の何れか1つの態様に係る画像処理装置であって、前記第2参照ブロックは、前記注目点を空間的な基準点として、前記複数の候補点がそれぞれ前記注目候補点であるときの各前記第2規則が、前記注目点に対してそれぞれ適用されることによって前記複数の候補点のそれぞれ毎に第1画像上に予めそれぞれ設定され、前記第2演算部が、前記複数の候補点のうち1の候補点に対応する前記第2参照ブロックと、前記複数の第2基準ブロックのうち前記1の候補点に対応するブロックとのブロックマッチングを、前記複数の候補点の中で前記1の候補点として設定される候補点を変更しながら行なうことにより前記第2ブロックマッチングを行い、前記第2ブロックマッチングの結果に基づいて、前記複数の第2基準ブロックのそれぞれ毎に、対応する前記第2参照ブロックとの各類似度を取得し、取得した前記各類似度に基づいて前記複数の第2指標値をそれぞれ取得することを特徴とする。
【0022】
第13の態様に係るプログラムは、画像処理装置に搭載されたコンピューターにおいて実行されることにより、当該画像処理装置を第1から第12の何れか1つの態様に記載された画像処理装置として機能させることを特徴とする。
【0023】
第14の態様に係る画像処理方法は、第1画像上に予め設定された注目点を空間的に内包する第1基準ブロックと、前記第1画像と互いに対応する画像内容を含んだ第2画像上に設定された複数の第1参照ブロックのそれぞれとの第1ブロックマッチングにより、前記第1基準ブロックと、前記複数の第1参照ブロックのそれぞれとの画像内容の類似度をそれぞれ表現した複数の第1指標値を取得する第1演算工程と、前記複数の第1指標値に基づいて、前記注目点に対応した対応点の複数の候補点を前記第2画像においてそれぞれ抽出する抽出工程と、前記複数の候補点をそれぞれ空間的に内包する複数の第2基準ブロックのそれぞれと、前記第1画像上に予め設定された第2参照ブロックとの第2ブロックマッチングにより、前記複数の候補点のそれぞれについて、前記対応点としての選択の適性を表現した複数の第2指標値を取得する第2演算工程と、前記複数の第2指標値に基づいて、前記複数の候補点の中から1つを選択することにより、前記対応点を決定する決定工程とを有することを特徴とする。
【発明の効果】
【0024】
第1から第14の何れの態様に係る発明によっても、第1ブロックマッチングによって第1画像上の注目点に対応した対応点の複数の候補点が、第2画像においてそれぞれ抽出される。そして、複数の候補点をそれぞれ空間的に内包する複数の第2基準ブロックと、第1画像上の第2参照ブロックとの第2ブロックマッチングの結果に基づいて、該複数の候補点の中から対応点が決定されるので、決定された対応点の信頼度が改善され得る。
【図面の簡単な説明】
【0025】
【図1】実施形態に係る画像処理装置を用いた画像処理システムの構成例を示す機能ブロック図である。
【図2】実施形態に係る画像処理装置の要部の構成例を示す機能ブロック図である。
【図3】実施形態に係る画像処理装置の動作例の概要を説明するための図である。
【図4】実施形態に係る画像処理装置の動作例の概要を説明するための図である。
【図5】第1参照ブロックと第1指標値との対応を示すグラフを例示する図である。
【図6】第2基準ブロックと第2指標値との対応を示すグラフを例示する図である。
【図7】第1基準ブロックおよび第1参照ブロックの設定例を示す図である。
【図8】第2基準ブロックおよび第2参照ブロックの設定例を示す図である。
【図9】SAD法を用いた候補点抽出処理の例を説明する図である。
【図10】SAD法における参照ブロックの走査態様を例示する図である。
【図11】POC法を用いた候補点抽出処理の手順の1例を示す図である。
【図12】POC値の例を示す図である。
【図13】第2基準ブロックの設定例を示す図である。
【図14】第2基準ブロックの設定例を示す図である。
【図15】第2基準ブロックの設定例を示す図である。
【図16】第2基準ブロックの設定例を示す図である。
【図17】第2基準ブロックの設定例を示す図である。
【図18】第2基準ブロックの設定例を示す図である。
【図19】第2基準ブロックの設定例を示す図である。
【図20】第2基準ブロックの設定例を示す図である。
【図21】第2ブロックマッチング処理の一例を説明するための図である。
【図22】第2ブロックマッチング処理の一例を説明するための図である。
【図23】第2ブロックマッチング処理の一例を説明するための図である。
【図24】実施形態に係る画像処理装置の動作フローを例示する図である。
【図25】実施形態に係る画像処理装置の動作フローを例示する図である。
【発明を実施するための形態】
【0026】
以下、本発明の一実施形態を図面に基づいて説明する。図面では同様な構成および機能を有する部分に同じ符号が付され、下記説明では重複説明が省略される。また、各図面は模式的に示されたものであり、例えば、各図面における画像上の表示物のサイズおよび位置関係等は正確に図示されたものではない。また、画像データと、該画像データに基づいて表示される画像とをまとめて「画像」と適宜総称する。更に、各図面では、画像の左上の画素が原点とされ、該画像の長辺に沿った方向(ここでは、横方向)がX軸方向とされ、該画像の短辺に沿った方向(ここでは縦方向)がY軸方向とされる。そして、各画像の右方向が+X方向とされ、各画像の下方向が+Y方向とされる。なお、図3、図4、図7〜図10、および図13〜図23には、直交するXYの2軸が付されている。
【0027】
<実施形態について:>
<(1)画像処理システム100Aについて>
図1は、実施形態に係る画像処理装置200Aを用いた画像処理システム100Aの構成例を示す機能ブロック図である。図1に示されるように、画像処理システム100Aは、ステレオカメラ300と画像処理装置200Aとを主に備えて構成されている。画像処理システム100Aでは、被写体70をステレオカメラ300が撮影することにより取得した第1画像1および第2画像2を画像処理装置200Aが取得する。画像処理装置200Aは、第1画像1および第2画像2を処理することによって、第1画像1上の注目点21(図3)に対応した、第2画像2上の対応点25(図3)を決定する。注目点21と対応点25とは、被写体70上の同一の点にそれぞれ対応しており、対応点25に関する座標情報などの対応点情報35(図2)は、画像処理装置200Aの記憶装置46に記憶される。画像処理装置200Aは、例えば、注目点21と対応点25との画像空間におけるズレ量(「視差」とも称される)などに基づいて、被写体70の距離情報を取得する。
【0028】
<(1−1)ステレオカメラ300について>
図1に示されるように、ステレオカメラ300は、第1カメラ91と第2カメラ92とを主に備えて構成されている。第1カメラ91および第2カメラ92は、それぞれ、不図示の撮影光学系と、所定の画素数の撮像素子を有する制御処理回路とを主に備えて構成されている。ステレオカメラ300の各種動作は、画像処理装置200Aから入出力部41およびデータ線DLを介して供給される制御信号に基づいて制御される。
【0029】
第1カメラ91と第2カメラ92とは、所定の基線長を隔てて設けられており、ステレオカメラ300は、画像処理装置200Aからの制御信号に応じて、互いに異なる方向から同一の被写体70をそれぞれ撮影する。ステレオカメラ300は、撮影した被写体70からの光線情報を第1カメラ91と第2カメラ92とで同期して処理することによって、例えば、3456画素×2592画素の画素数を有し、被写体のステレオ画像を構成する第1画像1および第2画像2を生成する。第1画像1および第2画像2は、互いに異なる視点から被写体70がそれぞれ撮影された画像であり、互いに対応する画像内容を含んでいる。生成された第1画像1および第2画像2は、データ線DLを介して画像処理装置200Aの入出力部41へと供給される。
【0030】
<(1−2)画像処理装置200Aについて>
図1に示されるように、画像処理装置200Aは、CPU11A、入出力部41、操作部42、表示部43、ROM44、RAM45および記憶装置46を主に備えて構成されており、例えば、汎用のコンピューターでプログラムを実行することなどによって実現される。
【0031】
○入出力部41:
入出力部41は、例えばUSBインタフェース、またはBluetooth(登録商標)インタフェースなどの入出力インタフェース、マルチメディアドライブ、およびネットワークアダプタなどのLANやインターネットに接続するためのインタフェースなどを備えて構成され、CPU11Aとの間でデータの授受を行うものである。具体的には、入出力部41は、例えば、CPU11Aがステレオカメラ300を制御するための各種の制御信号を、通信回線DLなどを介して入出力部41に接続されたステレオカメラ300へと供給する。また、入出力部41は、ステレオカメラ300が撮影した第1画像1および第2画像2を画像処理装置200Aに供給する。なお、入出力部41は、予め第1画像1および第2画像2が記憶された光ディスクなどの記憶媒体を受け付けることなどによっても、第1画像1および第2画像2を画像処理装置200Aにそれぞれ供給する。
【0032】
○操作部42:
操作部42は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部42を操作することによって、画像処理装置200Aへの各種制御パラメータの設定、画像処理装置200Aの各種動作モードの設定などが行われる。また、画像処理装置200Aの各機能部は、操作部42から設定される各動作モードに応じた処理を行うことができるように構成されている。
【0033】
○表示部43:
表示部43は、例えば、パララックスバリア方式などの3次元表示方式に対応した3次元表示用の液晶表示画面などによって構成されており、被写体の立体画像を構成する第1画像1および第2画像2などが、該表示画面に表示される。また、表示部43は、画像処理装置200Aに関する各種設定情報、および制御用GUI(Graphical User Interface)などを、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。
【0034】
○ROM44:
ROM(Read Only Memory)44は、読出し専用メモリであり、CPU11Aを動作させるプログラムPG1などを格納している。なお、読み書き自在の不揮発性メモリ(例えば、フラッシュメモリ)が、ROM44に代えて使用されてもよい。
【0035】
○RAM45:
RAM(Random Access Memory)45は、読み書き自在の揮発性メモリであり、画像処理装置200Aが取得、または処理した各種画像などを一時的に記憶する画像格納部として機能する。また、RAM45は、CPU11Aの処理情報を一時的に記憶するワークメモリなどとしても機能する。なお、後述するCPU11Aにおける各機能部の間での画像(画像データ)などの授受は、RAM45を介して行なわれる。
【0036】
○記憶装置46:
記憶装置46は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、画像処理装置200Aの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。該各種制御パラメータとしては、例えば、第1規則情報57および第2規則情報58(図2)が、操作部42を介した入力などによって記憶されている。第1規則情報57は、画像空間におけるブロックの設定に関する第1規則を規定した情報であり、第2規則情報58は、画像空間におけるブロックの設定に関する第2規則を規定した情報である。第1規則情報57および第2規則情報58には、例えば、画像空間における空間的な基準点に対するブロックの形状、空間的な大きさ、および該基準点に対するブロックの配置情報などの各パラメータが含まれる。第1規則情報57および第2規則情報58は、CPU11Aによって取得され、画像空間におけるブロック(「空間ブロック」とも称される)の設定に用いられる。なお、CPU11Aは、第1規則情報57および第2規則情報58を記憶装置46に記憶された各パラメータのままで用いることができるだけでなく、ブロックが設定される画像の情報等に応じて、該各パラメータを変更して用いることもできる。また、記憶装置46には、画像処理装置200Aが取得した対応点情報35なども恒久的に記憶される。
【0037】
○CPU11A:
CPU(Central Processing Unit)11Aは、画像処理装置200Aの各機能部を統轄制御する制御処理装置であり、ROM44に格納されたプログラムPG1などに従った制御および処理を実行する。CPU11Aは、図2を用いて後述するように、取得部12、注目点設定部13、第1設定部14、第1演算部15、抽出部16、第2設定部17、第2演算部18、および決定部19としても機能する。CPU11Aは、これらの機能部などによって、第1画像1および第2画像2をそれぞれ処理することによって、第1画像1上に設定された注目点21(図3)に対応する第2画像2上の対応点25(図3)を決定する。決定された対応点25に関する対応点情報35は、記憶装置46などに記憶され、CPU11Aによって、撮影された被写体の距離情報の取得などに用いられる。また、CPU11Aは、ステレオカメラ300の撮像動作の制御を行うとともに、表示部43を制御して、各種画像、算出結果、および各種制御情報などを表示部43に表示させる。
【0038】
また、CPU11A、入出力部41、操作部42、表示部43、ROM44、RAM45、記憶装置46等のそれぞれは、信号線49を介して電気的に接続されている。したがって、CPU11Aは、例えば、入出力部41を介したステレオカメラ300の制御およびステレオカメラ300からの画像情報の取得、および表示部43への表示等を所定のタイミングで実行できる。なお、図2に示される構成例では、取得部12、注目点設定部13、第1設定部14、第1演算部15、抽出部16、第2設定部17、第2演算部18、および決定部19などの各機能部は、CPU11Aで所定のプログラムPG1を実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【0039】
<(1−3)画像処理装置200Aの要部の構成について>
図2は、実施形態に係る画像処理装置200Aの要部の構成例を示す機能ブロック図である。図2に示されるように、画像処理装置200Aの要部は、CPU11A、入出力部41、記憶装置46などによって構成される。また、CPU11Aは、取得部12、注目点設定部13、第1設定部14、第1演算部15、抽出部16、第2設定部17、第2演算部18、および決定部19などの各機能部としても機能する。
【0040】
図3および図4は、画像処理装置200Aの各機能部が行なう処理の概要を説明するための図である。注目点21(図3、図4)は、第1画像1上に設定された注目点であり、第1画像1上に設定された第1基準ブロック51(図3)は、注目点21を空間的に内包するブロックである。第1参照ブロック52aおよび52b(図3)は、それぞれ、第2画像2上に設定された複数の第1参照ブロック52(図3)を構成する各ブロックの1例である。
【0041】
また、図5は、複数の第1参照ブロック52のそれぞれと、第1指標値71(図2)との対応関係を例示するグラフ81を示す図である。第1指標値71は、第1基準ブロック51と、複数の第1参照ブロック52とのそれぞれとの画像内容の類似度をそれぞれ表現した指標値である。閾値TH1(図5)は、対応点の候補であるか否かの判定に関する所定の閾値である。図5に示されるように、各第1指標値71のうち、閾値TH1よりも大きい指標値は、第1指標値71aおよび72aの2つである。なお、第1指標値71aおよび72aは、第1参照ブロック52aおよび52b(図3)にそれぞれ対応した第1指標値71である。図3に示されるように、第1参照ブロック52aおよび52bには、候補点23aおよび23bがそれぞれ空間的に内包されている。そして、候補点23aおよび23bは、注目点21に対応する第2画像2上の対応点25(図3、図4)の複数の候補点23(図3、図4)を構成している。
【0042】
第2基準ブロック53aおよび53b(図4)は、候補点23aおよび23bをそれぞれ内包するように第2画像2上にそれぞれ設定されたブロックである。第2基準ブロック53aおよび53bは、複数の第2基準ブロック53(図4)を構成している。また、第2参照ブロック54(図4)は、第1画像1上に設定された1以上のブロックである。
【0043】
図6は、複数の第2基準ブロック53(図4)と、第2指標値72(図2)との対応関係を例示するグラフ82を示す図である。図6においては、候補点23aおよび23b(図3、図4)にそれぞれ対応した第2基準ブロック53aおよび53b(図4)と、第2指標値72との関係が示されている。第2指標値72は、複数の候補点23、すなわち候補点23aおよび23bのそれぞれについて、対応点25としての選択の適性をそれぞれ表現した指標値である。グラフ82に示されるように、第2基準ブロック53aについての第2指標値72aは、第2基準ブロック53bについての第2指標値72bよりも高い値である。すなわち、グラフ82に示される例においては、第2基準ブロック53aに内包された候補点23aが、対応点25であると決定される。
【0044】
以下に、画像処理装置200Aの取得部12、注目点設定部13、第1設定部14、第1演算部15、抽出部16、第2設定部17、第2演算部18、および決定部19について説明する。
【0045】
○取得部12:
取得部12は、入出力部41から供給される第1画像1(図3)および第2画像2(図3)を取得する。取得された第1画像1および第2画像2は、互いに対応する画像内容を含んでおり、取得部12から、注目点設定部13、第1設定部14、第1演算部15、および第2演算部18に供給される。
【0046】
○注目点設定部13:
注目点設定部13は、各種の画像処理による画像上の特徴点の抽出、または、所定の規則による設定などにより、第1画像1上に注目点21(図3)を設定し、設定した注目点21の座標を注目点情報31(図2)として取得する。取得された注目点情報31は、第1設定部14、抽出部16、第2設定部17、および第2演算部18に供給される。
【0047】
○第1設定部14:
第1設定部14は、注目点情報31に基づいて、注目点21を空間的に内包する第1基準ブロック51(図3)を設定し、設定した第1基準ブロック51の領域情報である第1基準ブロック情報61(図2)を取得する。また、第1設定部14は、第2画像2上に複数の第1参照ブロック52(図3)を設定し、設定した複数の第1参照ブロック52のそれぞれに関する領域情報である複数の第1参照ブロック情報62(図2)を取得する。取得された第1基準ブロック情報61および複数の第1参照ブロック情報62は、第1演算部15および抽出部16に供給される。
【0048】
なお、第1設定部14は、画像空間におけるブロックの設定に関する第1規則を規定した第1規則情報57を記憶装置46から取得して、第1基準ブロック51と、複数の第1参照ブロック52とのうち少なくとも複数の第1参照ブロック52の設定に用いる。より具体的には、第1設定部14は、例えば、第2画像2上に予め設定された複数の探索基準点をそれぞれ空間的な基準点として、該複数の探索基準点のそれぞれに対して、第1規則をそれぞれ適用することにより複数の第1参照ブロック52をそれぞれ設定する。
【0049】
また、第1設定部14は、初期設定(デフォルト)の動作モードにより、第1基準ブロック51の設定にも、通常、第1規則を適用するが、動作モードの変更に応じて、第1規則以外の他の規則が適用されたとしても本発明の有用性を損なうものではない。該他の規則が用いられた結果、第1基準ブロック51と、各第1参照ブロック52との形状または空間的なサイズが異なる場合には、第1演算部15における第1ブロックマッチングに先立って、双方の形状および空間的なサイズを等しくするために、例えば、画像のトリミング、変形、または拡張処理などが行なわれる。また、第1規則情報57に係る第1規則と、後述する第2規則情報58に係る第2規則とは、初期設定モードにおいては、空間的な基準点に対するブロックの設定態様が空間的に互いに異なっている。しかしながら、動作モードの変更に応じて、第1規則と第2規則との空間的な基準点に対するブロックの設定態様が空間的に互いに等しくされて用いられたとしても、本発明の有用性を損なうものではない。
【0050】
○第1演算部15:
第1演算部15は、第1画像1、第2画像2、第1基準ブロック情報61、および複数の第1参照ブロック情報62に基づいて、注目点21を空間的に内包する第1基準ブロック51と、複数の第1参照ブロック52のそれぞれとの第1ブロックマッチングを行なう。第1演算部15は、該第1ブロックマッチングによって第1基準ブロック51と、複数の第1参照ブロック52のそれぞれとの画像内容の類似度をそれぞれ表現した複数の第1指標値71(図2)を取得する。取得された複数の第1指標値71は、抽出部16および第2設定部17へと供給される。
【0051】
○抽出部16:
抽出部16は、注目点情報31、複数の第1指標値71、第1基準ブロック情報61および複数の第1参照ブロック情報62に基づいて、注目点21に対応した対応点25(図3)の複数の候補点23(図3)を第2画像2においてそれぞれ抽出する。抽出部16は、抽出した複数の候補点23のそれぞれの座標情報である複数の候補点情報33を取得し、複数の候補点情報33を第2設定部17、第2演算部18、および決定部19へと供給する。
【0052】
○第2設定部17:
第2設定部17は、複数の候補点情報33に基づいて、複数の候補点23をそれぞれ空間的に内包する複数の第2基準ブロック53を設定し、設定した第2基準ブロック53の領域情報である第2基準ブロック情報63(図2)を取得する。また、第2設定部17は、動作モードに応じて注目点情報31を適宜使用することなどによって、第1画像1上に1以上の第2参照ブロック54を設定し、設定した第2参照ブロック54のそれぞれに対して、領域情報である1以上の第2参照ブロック情報64(図2)をそれぞれ取得する。取得された複数の第2基準ブロック情報63と、1以上の第2参照ブロック情報64とは、第2演算部18に供給される。
【0053】
なお、第2設定部17は、画像空間におけるブロックの設定に関する第2規則を規定した第2規則情報58を記憶装置46から取得して、複数の第2基準ブロック53と、1以上の第2参照ブロック54とのうち、少なくとも複数の第2基準ブロック53の設定に用いる。より具体的には、第2設定部17は、複数の候補点23をそれぞれ空間的な基準点として、複数の候補点23のそれぞれに対して、第2規則をそれぞれ適用することにより複数の第2基準ブロック53をそれぞれ設定する。
【0054】
また、第2設定部17は、初期設定(デフォルト)の動作モードにより、1以上の第2参照ブロック54の設定にも、通常、第2規則を適用するが、動作モードの変更に応じて、第2規則以外の他の規則が適用されたとしても本発明の有用性を損なうものではない。該他の規則が用いられた結果、第2基準ブロック53と、第2参照ブロック54との形状または空間的なサイズが異なる場合には、第2演算部18における第2ブロックマッチングに先立って、双方の形状および空間的なサイズを等しくするために、例えば、画像のトリミング、変形、または拡張処理などが行なわれる。
【0055】
○第2演算部18:
第2演算部18は、複数の第2基準ブロック53のそれぞれと、第1画像1上に予め設定された第2参照ブロック54との第2ブロックマッチングにより、複数の候補点23のそれぞれについて、対応点25としての選択の適性を表現した複数の第2指標値72(図2)を取得する。なお、第2演算部18は、他の各機能部からそれぞれ供給される各情報のうち、少なくとも第1画像1、第2画像2、複数の第2基準ブロック情報63、および1以上の第2参照ブロック情報64に基づいて複数の第2指標値72を取得する。また、取得された複数の第2指標値72は、決定部19に供給される。
【0056】
○決定部19:
決定部19は、複数の候補点情報33と複数の第2指標値72とに基づいて、複数の候補点23の中から1つを対応点25として選択することにより、対応点25を決定する。決定部19は、決定した対応点25の座標を対応点情報35として取得し、記憶装置46に記憶する。
【0057】
上述したように、画像処理装置200Aにおいては、第1ブロックマッチングによって第1画像1上の注目点21に対応した対応点25の複数の候補点23が、第2画像2においてそれぞれ抽出される。そして、複数の候補点23をそれぞれ空間的に内包する複数の第2基準ブロック53と、第1画像1上の第2参照ブロック54との第2ブロックマッチングの結果に基づいて、該複数の候補点23の中から対応点25が決定される。従って、決定された対応点25の対応点としての信頼度が改善され得る。
【0058】
<(2)画像処理装置200Aの動作について>
図24、および図25は、実施形態に係る画像処理装置200Aが第1画像1上の注目点21(図4)に対応した第2画像2上の対応点25(図4)を決定する処理の動作フローS10Aの1例を示す図である。以下に、図24、および図25を適宜参照しつつ、画像処理装置200Aの動作について説明する。
【0059】
<(2−1)ステップS10:画像の取得工程>
画像処理装置200Aからの指示に応じたステレオカメラ300による被写体70の撮影動作によって、第1画像1および第2画像2が取得されて画像処理装置200Aに供給されると、取得部12(図2)は、入出力部41を介して第1画像1および第2画像2(図1〜図3)を取得する(図24のステップS10)。取得された第1画像1および第2画像2は、注目点設定部13、第1設定部14、第1演算部15、および第2演算部18に供給される。
【0060】
<(2−2)ステップS20:注目点の設定工程>
第1画像1および第2画像2が取得されると、注目点設定部13(図2)は、各種の画像処理による画像上の特徴点の抽出、または、所定の規則による設定などにより、第1画像1上に注目点21(図3)を設定(図24のステップS20)し、設定した注目点21の座標を注目点情報31(図2)として取得する。取得された注目点情報31は、第1設定部14、抽出部16、第2設定部17、および第2演算部18に供給される。
【0061】
<(2−3)ステップS30:第1基準ブロックの設定工程>
注目点情報31が取得されると、第1設定部14(図2)は、注目点情報31に基づいて、注目点21を空間的に内包する第1基準ブロック51(図3)を設定(図24のステップS30)し、設定した第1基準ブロック51の領域情報である第1基準ブロック情報61(図2)を取得する。取得された第1基準ブロック情報61は、第1演算部15および抽出部16に供給される。
【0062】
図7は、第1基準ブロック51および第1参照ブロック52の設定例を示す図である。図7に示されるように、第1設定部14は、注目点21を空間的な基準点として、例えば、第1規則情報57に基づいて第1規則を適用することにより第1参照ブロック52を第1画像1(図3)上に設定する。第1規則を規定した第1規則情報57(図1、図2)には、例えば、画像空間における空間的な基準点に対するブロックの形状、空間的な大きさ、および該基準点に対するブロックの配置情報などの各パラメータが含まれる。また、該各パラメータは、適宜変更可能であり、また、初期設定時の該各パラメータも適宜変更可能である。なお、図7に関する第1規則は、初期設定時のパラメータに対応した第1規則である。
【0063】
<(2−4)ステップS40:第1参照ブロックの設定工程>
第1基準ブロック51が設定されると、第1設定部14は、第2画像2上に複数の第1参照ブロック52(図3)を設定(図24のステップS40)し、設定した複数の第1参照ブロック52のそれぞれに関する領域情報である複数の第1参照ブロック情報62(図2)を取得する。具体的には、第1設定部14は、例えば、先ず、第2画像2上に予め設定された複数の探索基準点をそれぞれ設定し、次に、設定された複数の探索基準点をそれぞれ空間的な基準点として、複数の第1参照ブロック52をそれぞれ設定する。なお、複数の第1参照ブロック52は、該複数の探索基準点のそれぞれに対して、第1規則がそれぞれ適用されることにより設定される。図7の設定例においては、第1設定部14は、探索基準点22を空間的な基準点として、第1規則によって第2画像2上(図3)に第1参照ブロック52を設定している。第1設定部14は、取得した複数の第1参照ブロック情報62を第1演算部15および抽出部16に供給する。
【0064】
なお、例えば、図10に示されるように、探索基準点22は、第2画像2上で画素サイズ単位でシフトされて設定されても良く、数画素毎のステップ移動、または不規則な離散的設定により設定されても良い。また、第2画像2が格子によって分割されて、各格子点がそれぞれ探索基準点22として設定されても良い。
【0065】
なお、後述するブロックマッチングの手法として周波数分析を行う手法が選択される場合には、高速フーリエ変換(FFT)を用いて必要な演算回数を抑制し、処理の高速化を図る観点から、設定されるブロックのサイズは、水平方向画素数と垂直方向画素数とを2のべき乗で表される画素数とされることが望ましい。
【0066】
<(2−5)ステップS50:第1ブロックマッチング工程>
第1基準ブロック51および複数の第1参照ブロック52が設定されると、第1演算部15は、第1画像1、第2画像2、第1基準ブロック情報61、および複数の第1参照ブロック情報62に基づいて、注目点21を空間的に内包する第1基準ブロック51と、複数の第1参照ブロック52のそれぞれとの第1ブロックマッチングを行なう(図24のステップS50)。
【0067】
<(2−6)ステップS60:第1指標値の取得工程>
次に、第1演算部15は、第1ブロックマッチングの演算結果に基づいて、第1基準ブロック51と、複数の第1参照ブロック52のそれぞれとの画像内容の類似度をそれぞれ表現した複数の第1指標値71(図2)を取得する(図24のステップS60)。取得された複数の第1指標値71は、抽出部16および第2設定部17へと供給される。ステップS50およびS60は、第1演算工程として機能する。
【0068】
<(2−7)ステップS70:対応点の抽出工程>
複数の第1指標値71が取得されると、抽出部16は、注目点情報31、複数の第1指標値71、第1基準ブロック情報61および複数の第1参照ブロック情報62に基づいて、注目点21に対応した対応点25(図3)の複数の候補点23(図3)を第2画像2においてそれぞれ抽出する(図24のステップS70)。抽出部16は、抽出した複数の候補点23のそれぞれの座標情報である複数の候補点情報33を取得し、複数の候補点情報33を第2設定部17、第2演算部18、および決定部19へと供給する。ステップS70は、抽出工程として機能する。
【0069】
ここで、上述したステップS50〜S70に関する第1ブロックマッチングおよび、後述するステップS100〜S110に関する第2ブロックマッチングは、相関演算手法を用いたブロックマッチング(パターンマッチング)処理によって行なわれる。該相関演算手法としては、例えば、NCC(Normalized Cross Correlation)法、SAD(Sum of Absolute Difference)法、またはPOC(Phase Only Correlation)法などの相関演算手法が採用され得る。
【0070】
次に、SAD法とPOC法とがそれぞれ採用される場合を例として、基準ブロック51と参照ブロック52の画像間の相関を求める第1ブロックマッチングにより候補点23を抽出する手法について説明する。
【0071】
○SAD法を用いた第1ブロックマッチングによる候補点抽出処理:
図9は、SAD法を用いた第1ブロックマッチングによる候補点抽出処理(候補点探索処理)の例を説明する図である。図9に示される第1画像1上にはX座標がh2である注目点21が設定されており、注目点21に対して基準ブロック51が設定されている。基準ブロック51のX方向の両端のX座標は、h1とh3である。また、第2画像2上には、注目点21に対応する候補点23が示されている。ここでは、SAD法を用いて候補点23が抽出される例について説明する。
【0072】
また、図9に示されるように、第2画像2上には、X座標がxsである探索基準点22sからX座標がxeである探索基準点22eまで、X座標がxs≦x≦xeの範囲で1画素ごとに複数の探索基準点22(図3)が設定されている。そして、これら複数の探索基準点22の代表として両端の探索基準点22s、22eのみが記載されている。該複数の探索基準点22には、それぞれ基準ブロック51と同サイズの複数の参照ブロックが設定されており、該複数の参照ブロックの代表として両端の参照ブロック52s、52eのみが記載されている。
【0073】
ここで、図9においては説明を簡単にするため、注目点21と複数の探索基準点22s〜22eのY座標は同じであり、従って、基準ブロック51と、参照ブロック52s〜52eのY方向の座標のずれ量は無いように設定されている。また、注目点21と、求められるべき候補点23のY座標も一致するように設定されている。
【0074】
次に、参照ブロック52s〜52eの各参照ブロック内の各画像と、基準ブロック51内の画像との相関値(類似度)が演算される。基準ブロックと参照ブロックのX方向、Y方向の座標のずれ量(視差)をそれぞれ視差xd、ydとする。図9の例では、視差xdの範囲はxs−h2〜xe−h2であり、視差ydは0である。
【0075】
基準ブロック51内の各画素(xi,yj)の画素値をImg1(xi,yj)、X方向、Y方向の視差が、視差xd、ydである参照ブロック52内の各画素(xi+xd,yj+yd)の画素値をImg2(xi+xd,yj+yd)とすると、(1)式、(2)式を用いた演算によって基準ブロック51内の画像と参照ブロック52内の画像の相関値CORpが算出される。
【0076】
【数1】

【0077】
参照ブロックが52sから52eにわたって走査されるように、X方向の視差xdをxs−h2〜xe−h2の範囲で変更しつつ、(1)式および(2)式によって各視差xdに対する相関値CORpが算出されると、図9に示すグラフU1のように第2画像2のX座標と相関値CORpとの関係が明らかになる。
【0078】
図9の例では、座標xMにおいて、グラフU1における相関値CORpの最大値が与えられているので、探索基準点のX座標がxMと一致する参照ブロックが、相関値CORpの最大値を与える参照ブロックであり、該参照ブロックの探索基準点と、注目点21に対応する候補点23とは一致する。
【0079】
図10はSAD法における参照ブロック52の走査態様を例示する図であり、第2画像2の全域に参照ブロック52を走査させている。SAD法はPOC法に比べて演算量が少なく高速な処理が可能であるので、画素数が多い第2画像2にSAD法による候補点抽出処理を適用し、図10に示される全域走査を行っても処理時間が短くなる。
【0080】
従ってSAD法を用いる場合には、候補点23に近い探索基準点22を設定することなく、画像の全域にわたって参照ブロックの走査を行って視差特定をしても、周波数分析を行う手法を用いる場合に比べて短時間で候補点抽出処理を行うことができるので、探索基準点22を求める処理コストを削減することが可能となる。
【0081】
なお、SAD法以外にも、例えば、SSD(濃度差の二乗和)法などを差分型探索手法として採用しても本発明の有用性を損なうものではない。
【0082】
○POC法を用いた第1ブロックマッチングによる候補点抽出処理:
図11は、POC法を用いた第1ブロックマッチングによる候補点抽出処理(候補点探索処理)の手順の1例を示す図である。
【0083】
POC法は、周波数分析を使用した相関法であって、かつ、振幅成分を抑制した相関法である。同様の相関法として、DCT符号限定相関法(参考論文:「画像信号処理と画像パターン認識の融合−DCT符号限定相関とその応用」貴塚仁志)などが知られている。これらの相関法は、パターンの周波数分析信号から、振幅成分を抑制した位相成分のみの信号に基づいて類似度演算を行うため、画像を取得するためのステレオカメラ300における撮影条件の差(ここでは、第1カメラ91、第2カメラ92における撮影条件の差)や、ノイズなどの影響を受けにくく、ロバストな候補点探索が可能である。
【0084】
また、SAD法が、1組の基準ブロックと参照ブロックに対して1つの相関値(CORp値)のみを出力するため、相関値が最も高い参照ブロック、すなわち、相関値が最も高い視差を特定するためには複数の参照ブロックにわたって、参照ブロックの走査を行う必要があるのに対して、POC法などの周波数分析を使用した相関法は、1組の基準ブロックと参照ブロックの画像に対して、画像間の相関値とともに、相関値が最も高くなる画像間の視差が求められるので、候補点が該参照ブロック内に存在する場合には、参照ブロックの走査を行う必要がない。
【0085】
以下に、第1画像1に対する基準ブロック51内の画像と、第2画像2に対する参照ブロック52内の画像とを候補点抽出処理の対象として注目点に対して候補点を求める場合を例に、POC法の基本原理を説明する。
【0086】
先ず、第1画像1に対して基準ブロック51を設定する基準ブロック設定処理T1a、および第2画像2に対して参照ブロック52を設定する参照ブロック設定処理T1bが行われる。
【0087】
基準ブロック51内の画像領域と、参照ブロック52内の画像領域とは、次の(3)式、(4)式のように表されるものとする。
【0088】
【数2】

【0089】
ここで、(3)式のf0(n1,n2)および(4)式のg0(n1,n2)は、基準ブロック51内および参照ブロック52内の画素の画素値を示している。また、N1およびN2は、例えばN1=2M1+1、N2=2M2+1と設定されている。
【0090】
次に、周波数分析を行う前に、ブロック領域の端部での不連続性の影響を取り除くために窓関数を用いた窓関数処理T2aおよびT2bを行う。
【0091】
窓関数は、例えば、(5)式のH(n1,n2)で与えられるハニング窓が採用され、窓関数処理T2aおよびT2bは、基準ブロック51内および参照ブロック52内の各画素の画素値に(5)式の窓関数の出力値を乗ずる演算(6)式および(7)式でそれぞれ与えられる。
【0092】
【数3】

【0093】
窓関数としては、ハニング窓の他に、例えば、ハミング窓、カイザー窓などが採用される。
【0094】
次に、基準ブロック51、参照ブロック52内の各画像領域に対し、(8)式、(9)式で示す演算式を用いて、図11に示される2次元のフーリエ変換処理T3a、T3bが行われる。
【0095】
【数4】

【0096】
なお、(8)式、(9)式の下部ただし書におけるWの添字Pには、N1、N2が代入され、またkの添字sには、1、2が代入される。ここで、周波数分析の処理は必ずしもフーリエ変換である必要はなく、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換の何れかを含んでいても良い。
【0097】
このようなフーリエ変換処理T3a、T3bが施された各画像領域に対しては、(10)式で示す演算式を用いて、画像の振幅成分を除去するための正規化処理T4a、T4bが行われる。
【0098】
【数5】

【0099】
正規化処理T4a、T4bが完了すると、(11)式で示す演算式を用いた正規化クロス・パワースペクトル算出処理T5が行われる。
【0100】
【数6】

【0101】
正規化クロス・パワースペクトル算出処理T5が完了すると、(12)式で示す演算式を用いた2次元の逆フーリエ変換処理T6が行われる。これにより、基準ブロック51と参照ブロック52内の各画像間の相関演算が実施されることとなり、その結果(POC値)が出力される。
【0102】
【数7】

【0103】
以上の処理により、基準ブロック51内の画像と参照ブロック52内の画像との相関を示す演算結果(POC値)が得られ、例えば、図12で示すような結果(POC値)が得られる。
【0104】
図12は、POC値の例を示す図である。図12においては、ブロック(N1×N2)内で相関が高い箇所のPOC値が大きくなっている。POC値のピークSを与える座標が、基準ブロック51内の画像と参照ブロック52内の画像との相関が最も高くなる視差を示す。
【0105】
POC法を用いた候補点抽出処理では、POC法を用いて特定された視差と、基準ブロック51内の注目点21の位置とに基づいた候補点抽出処理T7によって、注目点21に対応した参照ブロック52内の候補点23が抽出される。
【0106】
以上のように、POC法を用いた候補点抽出処理によれば、画像の振幅成分が除去され、画像の位相成分のみに基づいて相関演算が行われるため、画素値の変動やノイズの影響が抑制されて候補点が精度良く検出される。
【0107】
なお、画像処理装置200Aにおいては、注目点21、候補点23、および対応点25などが、画素サイズ単位で特定されたとしても、また、画素サイズ以下のサブピクセル単位で特定されたとしても本発明の有用性を損なうものではない。本願の各図面においては、注目点、候補点、および対応点などが、画素単位で特定(抽出)される場合に対応した図面が適宜記載されている。
【0108】
<(2−8)ステップS80:第2基準ブロックの設定工程>
複数の候補点23が抽出されると、第2設定部17は、複数の候補点情報33に基づいて、複数の候補点23をそれぞれ空間的に内包する複数の第2基準ブロック53を第2画像2上で設定し(図25のステップS80)、設定した第2基準ブロック53の領域情報である第2基準ブロック情報63(図2)を取得する。取得された複数の第2基準ブロック情報63は、第2演算部18に供給される。
【0109】
より具体的には、第2設定部17は、複数の候補点23をそれぞれ空間的な基準点として、複数の候補点23のそれぞれに対して、第2規則をそれぞれ適用することにより複数の第2基準ブロック53をそれぞれ設定する。第2規則を規定した第2規則情報58(図1、図2)には、例えば、画像空間における空間的な基準点に対するブロックの形状、空間的な大きさ、および該基準点に対するブロックの配置情報などの各パラメータが含まれる。該各パラメータは、適宜変更可能であり、また、初期設定時の該各パラメータも適宜変更可能である。
【0110】
図8は、第2基準ブロック53および第2参照ブロック54の設定例を示す図である。図8に示されるように、第2設定部17は、候補点23を空間的な基準点として、第1規則情報58により規定された第2規則を適用することにより第2基準ブロック53を第2画像2(図3)上に設定する。なお、図8に関する第2規則は、初期設定時のパラメータに対応した第2規則である。
【0111】
図7および図8の設定例に示されるように、第1規則と第2規則とは、初期設定モードにおいては、空間的な基準点に対するブロックの設定態様が空間的に互いに異なっている。しかしながら、動作モードの変更などに応じて、第1規則と第2規則との空間的な基準点に対するブロックの設定態様が空間的に互いに等しくされて用いられたとしても、本発明の有用性を損なうものではない。
【0112】
次に、第2基準ブロック53の各種の設定例について説明する。図13〜図20は、第2基準ブロック53の設定例をそれぞれ示す図である。図13〜図20における第1参照ブロック52は、複数の候補点23の抽出に用いられた複数の第1参照ブロック52(図3)の1つである。図13〜図20における第1参照ブロック52は、それぞれ共通の第1規則によって設定されている。
【0113】
また、第1参照ブロック52(図13〜図20)の中には、第2画像2上で抽出された複数の候補点23の一部として注目候補点23Sと候補点23cとが内包されている。注目候補点23S(図13〜図20)は、第1参照ブロック52(図13〜図20)を対象とした第1ブロックマッチングによってそれぞれ第1参照ブロック52(図13〜図20)の中心において抽出された候補点である。なお、第1参照ブロック52(図13〜図20)のそれぞれとともに第1ブロックマッチングに供された第1画像1上の第1基準ブロック51(不図示)もまた、第1規則によってそれぞれ設定されている。なお、注目候補点23S(図13〜図20)は、第2基準ブロック53(図13〜図20)の設定時に、空間的な基準点として用いられる候補点である。
【0114】
また、候補点23c(図13〜図20)は、第1参照ブロック52(図13〜図20)以外の他の第1参照ブロック52を対象とした第1ブロックマッチングによってそれぞれ抽出された候補点である。
【0115】
なお、図13〜図16に示された等距離線83は、第2画像2の画像空間において、注目候補点23Sと候補点23cとのそれぞれから等距離にある線である。
【0116】
また、図17に示されたグラフV1は、第1参照ブロック52(図17)に内包された画像空間において、所定のY座標において、X軸方向の第1指標値71の分布を示すグラフである。なお、該所定のY座標が第1参照ブロック52(図17)の範囲内で変更されたとしても、変更後のY座標に対するグラフV1も、グラフV1(図17)と略同一形状のグラフとなる。
【0117】
グラフV1に示されるように、X座標xaおよびxcにおいて、第1指標値71は、極大値となり、座標xaにおける第1指標値71の方が、座標xcにおける第1指標値71よりも大きくなっている。また、座標xaおよびxcの間の座標xbにおける第1指標値71は、極小値となっている。座標xbは、境界領域84(図17〜図20)のX座標である。従って、境界領域84(図17〜図20)は、X軸方向の第1指標値71の分布が極小値となる領域である。
【0118】
第2基準ブロック53(図13、図17)の設定に使用された第2規則としては、空間的な基準点に対するブロックの設定態様が第1規則と等しい規則が採用されている。従って、第1参照ブロック52(図3、図17)と、第2基準ブロック53(図3、図17)とは、注目候補点23Sに対して互いに空間的な設定態様が等しくなっており、第2基準ブロック53(図3、図17)においても、注目候補点23Sと候補点23cとの2つの候補点23が含まれている。
【0119】
従って、第2基準ブロック53(図13、図17)が、第2ブロックマッチングに用いられる場合には、候補点23cの影響を受けることにより、注目候補点23Sに対応した第2指標値72に候補点23に起因した誤差が含まれる恐れがある。
【0120】
そこで、図14〜図16、および図18〜図20に示された第2基準ブロック53の設定例においては、注目候補点23Sを空間的な基準点として、当該注目候補点23Sに対して第2規則が適用されることにより設定される当該第2基準ブロック53に、複数の候補点23のうち当該注目候補点23Sのみが内包されるように、第2規則の各パラメータが調整されている。
【0121】
例えば、第2基準ブロック53(図14〜図16)は、当該第2基準ブロック53に、複数の候補点23のうち注目候補点23Sのみが内包されるように、複数の候補点23の相互の位置関係に応じて当該第2基準ブロックを設定する第2規則によって、それぞれ設定されている。具体的には、第1参照ブロック52(図14〜図16)のうち、等距離線83に対して候補点23c側にある領域が、含まれないように、第2基準ブロック53(図14〜図16)がそれぞれ設定されている。
【0122】
より詳細には、第2基準ブロック53(図14)は、その空間的な大きさが、第1規則に対応した第1参照ブロック52(図14)よりも小さく設定されている。また、第2基準ブロック53(図15)は、第1参照ブロック52(図15)に対してその形状が変形され、第2基準ブロック53(図16)は、第1参照ブロック52(図16)に対して位置が変更されている。これらの変更によって、第2基準ブロック53(図14〜図16)には、第1参照ブロック52(図14〜図16)のうち、等距離線83に対して候補点23c側にある領域が含まれていない。従って、注目候補点23S(図14〜図16)にそれぞれ対する第2指標値72に候補点23cなどの他の候補点23に起因した誤差が含まれる可能性を低減でき得る。また、第2規則が、複数の候補点23の相互の位置関係に応じて当該第2基準ブロックを設定する規則であれば、該位置関係に基づいた簡単な計算によって、第2基準ブロック53の設定を調整でき得る。
【0123】
なお、複数の候補点23の相互の位置関係に応じて当該第2基準ブロックを設定する第2規則が採用されないとしても、第1規則と第2規則との空間的な基準点に対するブロックの設定態様が空間的に互いに異なっていれば、図14〜図16の例と同様に、他の候補点23に起因した誤差が含まれる可能性を低減でき得る。従って、第1規則と第2規則との空間的な基準点に対するブロックの設定態様が空間的に互いに異なっていれば、該第2規則が、複数の候補点23の相互の位置関係に応じて当該第2基準ブロックを設定する規則でないとしても、本発明の有用性を損なうものではない。
【0124】
また、例えば、第2基準ブロック53(図18〜図20)は、当該第2基準ブロック53に、複数の候補点23のうち注目候補点23Sのみが内包されるように、第2画像2の画像空間における複数の第1指標値71の空間的な分布状態に応じて当該第2基準ブロックを設定する第2規則によって、それぞれ設定されている。具体的には、第1参照ブロック52(図18〜図20)のうち、境界領域84に対して候補点23c側にある領域が、含まれないように、第2基準ブロック53(図18〜図20)がそれぞれ設定されている。
【0125】
より詳細には、第2基準ブロック53(図18)は、その空間的な大きさが、第1規則に対応した第1参照ブロック52(図18)よりも小さく設定されている。また、第2基準ブロック53(図19)は、第1参照ブロック52(図19)に対してその形状が変形され、第2基準ブロック53(図20)は、第1参照ブロック52(図20)に対して位置が変更されている。これらの変更によって、第2基準ブロック53(図18〜図20)には、第1参照ブロック52(図18〜図20)のうち、境界領域84に対して候補点23c側にある領域が含まれていない。従って、注目候補点23S(図18〜図20)にそれぞれ対する第2指標値72に候補点23cなどの他の候補点23に起因した誤差が含まれる可能性を低減でき得る。
【0126】
なお、第2画像2の画像空間における複数の第1指標値71の空間的な分布状態に応じて当該第2基準ブロックを設定する第2規則が採用されないとしても、第1規則と第2規則との空間的な基準点に対するブロックの設定態様が空間的に互いに異なっていれば、図18〜図20の例と同様に、他の候補点23に起因した誤差が含まれる可能性を低減でき得る。従って、第1規則と第2規則との空間的な基準点に対するブロックの設定態様が空間的に互いに異なっていれば、該第2規則が、第2画像2の画像空間における複数の第1指標値71の空間的な分布状態に応じて当該第2基準ブロックを設定する規則でないとしても、本発明の有用性を損なうものではない。
【0127】
なお、第2規則が、第2画像2の画像空間における複数の第1指標値71の空間的な分布状態に応じて当該第2基準ブロックを設定する規則であれば、第2規則が、第2画像2の画像空間における複数の第1指標値71の空間的な分布状態に応じて当該第2基準ブロックを設定する規則である場合に比べて、第1指標値71の分布状態により直接的に対応した第2基準ブロック53の設定が可能となる。
【0128】
<(2−9)ステップS90:第2参照ブロックの設定工程>
複数の第2基準ブロック53が設定されると、第2設定部17は、動作モードに応じて注目点情報31を適宜使用することなどによって、第1画像1上に1以上の第2参照ブロック54を設定し(図25のステップS90)、設定した第2参照ブロック54のそれぞれに対して、領域情報である1以上の第2参照ブロック情報64(図2)をそれぞれ取得する。取得された1以上の第2参照ブロック情報64は、第2演算部18に供給される。
【0129】
図8に示される例においては、第2設定部17は、注目点21を空間的な基準点として、例えば、第2規則情報58により規定される第2規則を適用することにより第2参照ブロック54を第1画像1(図3)上に設定する。
【0130】
<(2−10)ステップS100:第2ブロックマッチング工程>
複数の第2基準ブロック53および1以上の第2参照ブロック54が設定されると、第2演算部18は、複数の第2基準ブロック53のそれぞれと、第1画像1上に予め設定された第2参照ブロック54との第2ブロックマッチングを行なう(図25のステップS100)。第2ブロックマッチングは、第1ブロックマッチングと同様に、SAD法などの相関演算手法を用いたブロックマッチング(パターンマッチング)処理によって行なわれる。なお、第1ブロックマッチングに使用される相関演算手法と、第2ブロックマッチングに使用される相関演算手法とが、互いに異なる手法であるとしても、本発明の有用性を損なうものではない。
【0131】
<(2−11)ステップS110:第2指標値の取得工程>
次に、第2演算部18は、第2ブロックマッチングの演算結果に基づいて、複数の候補点23のそれぞれについて、対応点25としての選択の適性を表現した複数の第2指標値72(図2)を取得する(図25のステップS110)。取得された複数の第2指標値72は、決定部19に供給される。ステップS100およびS110は、第2演算工程として機能する。
【0132】
なお、第2演算部18は、他の各機能部からそれぞれ供給される各情報のうち、少なくとも第1画像1、第2画像2、複数の第2基準ブロック情報63、および1以上の第2参照ブロック情報64に基づいて複数の第2指標値72を取得する。
【0133】
図21〜図23は、第2ブロックマッチング処理によって取得される第2指標値72(図2)の一例を説明するための図である。
【0134】
図21においては、第2画像2上で抽出された候補点23a、23bを空間的な基準点として、第2基準ブロック53a、53bがそれぞれ設定されている。第1画像1上に設定された第2参照ブロック54a、54bは、第2設定部17によって、予め、第1画像1上の複数の矢印Y1に沿って位置をずらされつつ、それぞれ設定された複数の第2参照ブロック54のうち一部の第2参照ブロックである。
【0135】
また、図21の例では、第2演算部18は、複数の第2基準ブロック53a、53bのそれぞれと、第2参照ブロック54とのブロックマッチングを、当該第2参照ブロック54の位置を第1画像1上でずらしながら行うことによって第2ブロックマッチングを行っている。具体的には、第2演算部18は、予め、第2設定部17により第1画像1上の複数の矢印Y1に沿って設定された複数の第2参照ブロック54のうちで、第2ブロックマッチングの対象となる第2参照ブロック54の位置をずらしながら第2ブロックマッチングを行なっている。
【0136】
該第2ブロックマッチングによって、第2演算部18は、第2設定部17により第1画像1上の複数の矢印Y1に沿って設定された複数の第2参照ブロック54のうち、第2基準ブロック53aとの類似度が最も高い第2参照ブロック54aを特定している。第2演算部18は、該類似度を第2指標値72a(図21)として取得している。また、同様に、第2演算部18は、該複数の第2参照ブロック54のうち第2基準ブロック53bとの類似度が最も高い第2参照ブロック54bを特定している。そして、第2演算部18は、該類似度を第2指標値72b(図21)として取得している。すなわち、第2演算部18は、第2ブロックマッチングの結果に基づいて、複数の第2基準ブロック53a、53bのそれぞれ毎に、第2画像2上の第2参照ブロックとの最も高い各類似度を取得し、取得した各類似度に基づいて複数の第2指標値72a、72bをそれぞれ取得している。なお、第2指標値72aの方が第2指標値72bよりも値が大きく、候補点23aが対応点25として決定される。
【0137】
また、第2演算部18は、動作モードに応じて、第2指標値72a、72bとは異なる第2指標値72を取得することができる。具体的には、第2演算部18は、先ず、特定した第2参照ブロック54a、54b(図21)に基づいて、複数の候補点23a、23bにそれぞれ対応した第1画像1上の複数の対応点(「参照対応点」とも称される)24a、24bをそれぞれ特定する。そして、第2演算部18は、第1画像1上の注目点21(図21)と、複数の参照対応点24a、24bのそれぞれとの各距離を複数の第2指標値72c、72d(図21)としてそれぞれ取得する。第2指標値72c、72dは、候補点23a、23bにそれぞれ対応した第2指標値72である。第2指標値72cの方が、第2指標値72dよりも小さく、候補点23aが対応点25として決定される。
【0138】
図22は、図21を用いて上述した第2指標値72の取得とは、異なる手法によって取得される第2指標値72を説明するための図である。図22においては、図21の設定例と同様に、第2画像2上で第2基準ブロック53a、53bが設定されるとともに、候補点23a、23bがそれぞれ抽出されている。また、第2参照ブロック54(図22)は、注目点21(図22)を空間的な基準点として、第2設定部17によって設定された1の第2参照ブロックである。
【0139】
第2演算部18は、複数の第2基準ブロック53a、53b(図22)のそれぞれと、第2参照ブロック54(図22)とのブロックマッチングによって第2ブロックマッチングを行っている。そして、第2演算部18は、複数の第2基準ブロック53a、53bのそれぞれと、第2参照ブロック54との各類似度を第2指標値72e、72fとして取得している。第2指標値72e、72fは、候補点23a、23bにそれぞれ対応した第2指標値72である。第2指標値72eの方が、第2指標値72fよりも大きく、候補点23aが対応点25として決定される。
【0140】
図23は、図21、図22を用いて上述した第2指標値72の取得とは、異なる手法によって取得される第2指標値72を説明するための図である。図23においては、図21の設定例と同様に、第2画像2上で第2基準ブロック53a、53bが設定されるとともに、候補点23a、23bがそれぞれ抽出されている。なお、第2基準ブロック53a、第2基準ブロック53bは、図13〜図20をそれぞれ用いて上述した各設定例と同様に、第2設定部17によって予め設定されている。すなわち、第2基準ブロック53a(53b)は、候補点23a(23b)を空間的な基準点(注目候補点)として、候補点23(23b)に対して第2規則が適用されることにより設定されている。そして、第2基準ブロック53a(53b)には、各候補点のうち候補点23a(23b)のみが内包されている。従って、候補点23aに対応した第2規則と、候補点23bに対応した第2規則とは、パラメータが互いに異なっている。
【0141】
また、第2設定部17は、注目点21を空間的な基準点として、候補点23aに対応した第2規則と、候補点23bに対応した第2規則とをそれぞれ注目点21に対して適用することによって複数の候補点23a、23bのそれぞれ毎に第1画像1上に第2参照ブロック54a、54bを予めそれぞれ設定している。
【0142】
第2演算部18は、複数の候補点23a、23bのうち1の候補点23a(23b)に対応する第2参照ブロック54a(54b)と、複数の第2基準ブロック53a、53bのうち1の候補点23a(23b)に対応する第2基準ブロック53a(53b)とのブロックマッチングを行なっている。従って、第2演算部18は、複数の候補点23a、23bの中で1の候補点として設定される候補点を変更しながら該ブロックマッチングを行なうことにより第2ブロックマッチングを行っている。
【0143】
そして、第2演算部18は、該第2ブロックマッチングの結果に基づいて、複数の第2基準ブロック53a、53bのそれぞれ毎に、対応する第2参照ブロック54a、54bとの各類似度をそれぞれ取得している。第2演算部18は、取得した各類似度を第2指標値72g、72hとしてそれぞれ取得している。第2指標値72g、72hは、候補点23a、23bにそれぞれ対応した第2指標値72である。第2指標値72gの方が、第2指標値72hよりも大きく、候補点23aが対応点25として決定される。
【0144】
<(2−12)ステップS120:対応点の決定工程>
複数の第2指標値72が取得されると、決定部19は、複数の候補点情報33と複数の第2指標値72とに基づいて、複数の候補点23の中から1つを対応点25として選択することにより、対応点25を決定する(図25のステップS120)。決定部19は、決定した対応点25の座標を対応点情報35として取得し、記憶装置46に記憶する。ステップS120は、決定工程として機能する。
【0145】
上述したように、画像処理装置200Aによれば、第1ブロックマッチングによって第1画像1上の注目点21に対応した対応点25の複数の候補点23が、第2画像2においてそれぞれ抽出される。そして、複数の候補点23をそれぞれ空間的に内包する複数の第2基準ブロック53と、第1画像1上の第2参照ブロック54との第2ブロックマッチングの結果に基づいて、該複数の候補点23の中から対応点25が決定される。従って、決定された対応点25の対応点としての信頼度が改善され得る。
【0146】
<変形例について>
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【0147】
例えば、上述した画像処理システム100Aは、画像処理システム100Aにおける画像処理装置200Aが汎用のコンピューターでプログラムを実行することなどによって実現されている構成であるが、該構成に代えて、画像処理システム100Aが、例えば、デジタルカメラ、デジタルビデオカメラ、形態情報端末など1の装置にステレオカメラ300と画像処理装置200Aとを備えたシステムとして実現されても良い。
【符号の説明】
【0148】
100A 画像処理システム
200A 画像処理装置
300 ステレオカメラ
1 第1画像
2 第2画像
31 注目点情報
33 候補点情報
35 対応点情報
51 第1基準ブロック
52 第1参照ブロック
53 第2基準ブロック
54 第2参照ブロック
61 第1基準ブロック情報
62 第1参照ブロック情報
63 第2基準ブロック情報
64 第2参照ブロック情報
71 第1指標値
72 第2指標値
91 第1カメラ
92 第2カメラ

【特許請求の範囲】
【請求項1】
互いに対応する画像内容を含んだ第1画像と第2画像とを取得する取得部と、
前記第2画像上に複数の第1参照ブロックを設定する第1設定部と、
前記第1画像上に予め設定された注目点を空間的に内包する第1基準ブロックと、前記複数の第1参照ブロックのそれぞれとの第1ブロックマッチングにより、前記第1基準ブロックと、前記複数の第1参照ブロックのそれぞれとの画像内容の類似度をそれぞれ表現した複数の第1指標値を取得する第1演算部と、
前記複数の第1指標値に基づいて、前記注目点に対応した対応点の複数の候補点を前記第2画像においてそれぞれ抽出する抽出部と、
前記複数の候補点をそれぞれ空間的に内包する複数の第2基準ブロックを設定する第2設定部と、
前記複数の第2基準ブロックのそれぞれと、前記第1画像上に予め設定された第2参照ブロックとの第2ブロックマッチングにより、前記複数の候補点のそれぞれについて、前記対応点としての選択の適性を表現した複数の第2指標値を取得する第2演算部と、
前記複数の第2指標値に基づいて、前記複数の候補点の中から1つを選択することにより、前記対応点を決定する決定部と、
を備えたことを特徴とする画像処理装置。
【請求項2】
請求項1に記載された画像処理装置であって、
前記第1設定部は、
前記第2画像上に予め設定された複数の探索基準点をそれぞれ空間的な基準点として、前記複数の探索基準点のそれぞれに対して、画像空間におけるブロックの設定に関する第1規則をそれぞれ適用することにより前記複数の第1参照ブロックをそれぞれ設定し、
前記第2設定部は、
前記複数の候補点をそれぞれ空間的な基準点として、前記複数の候補点のそれぞれに対して、画像空間におけるブロックの設定に関する第2規則をそれぞれ適用することにより前記複数の第2基準ブロックをそれぞれ設定し、
前記第1規則と前記第2規則とは、
空間的な基準点に対するブロックの設定態様が空間的に互いに異なることを特徴とする画像処理装置。
【請求項3】
請求項2に記載された画像処理装置であって、
前記第1規則と前記第2規則とは、
共通の空間的な基準点に対して、前記第1規則と前記第2規則とがそれぞれ適用されることにより設定される2つのブロックの形状が、互いに異なることを特徴とする画像処理装置。
【請求項4】
請求項2に記載された画像処理装置であって、
前記第1規則と前記第2規則とは、
共通の空間的な基準点に対して、前記第1規則と前記第2規則とがそれぞれ適用されることにより設定される2つのブロックの空間的な大きさが、互いに異なることを特徴とする画像処理装置。
【請求項5】
請求項2に記載された画像処理装置であって、
前記第1規則と前記第2規則とは、
共通の空間的な基準点に対して、前記第1規則と前記第2規則とがそれぞれ適用されることにより設定される2つのブロックのそれぞれの位置が互いに異なることを特徴とする画像処理装置。
【請求項6】
請求項2から請求項5の何れか1つの請求項に記載された画像処理装置であって、
前記第2規則は、
前記複数の候補点のうち注目候補点を空間的な基準点として、当該注目候補点に対して前記第2規則が適用されることにより設定される前記第2基準ブロックに、前記複数の候補点のうち当該注目候補点のみが内包されるように、当該第2基準ブロックを設定する規則であることを特徴とする画像処理装置。
【請求項7】
請求項6に記載された画像処理装置であって、
前記第2規則は、
前記注目候補点に対して前記第2規則が適用されることにより設定される前記第2基準ブロックに、前記複数の候補点のうち前記注目候補点のみが内包されるように、前記複数の候補点の相互の位置関係に応じて当該第2基準ブロックを設定する規則であることを特徴とする画像処理装置。
【請求項8】
請求項6に記載された画像処理装置であって、
前記第2規則は、
前記注目候補点に対して当該第2規則が適用されることにより設定される前記第2基準ブロックに、前記複数の候補点のうち前記注目候補点のみが内包されるように、前記第2画像の画像空間における前記複数の第1指標値の空間的な分布状態に応じて当該第2基準ブロックを設定する規則であることを特徴とする画像処理装置。
【請求項9】
請求項1から請求項8の何れか1つの請求項に記載された画像処理装置であって、
前記第2演算部が、
前記複数の第2基準ブロックのそれぞれと、前記第2参照ブロックとのブロックマッチングを、前記第2参照ブロックの位置を前記第1画像上でずらしながら行うことによって前記第2ブロックマッチングを行い、
該第2ブロックマッチングにより前記複数の候補点にそれぞれ対応した複数の対応点を前記第1画像上でそれぞれ特定するとともに、前記注目点と、当該複数の対応点のそれぞれとの各距離に基づいて前記複数の第2指標値をそれぞれ取得することを特徴とする画像処理装置。
【請求項10】
請求項1から請求項8の何れか1つの請求項に記載された画像処理装置であって、
前記第2演算部が、
前記複数の第2基準ブロックのそれぞれと、前記第2参照ブロックとのブロックマッチングを、前記第2参照ブロックの位置を前記第1画像上でずらしながら行うことによって前記第2ブロックマッチングを行い、
前記第2ブロックマッチングの結果に基づいて、前記複数の第2基準ブロックのそれぞれ毎に、前記第2参照ブロックとの最も高い各類似度を取得し、
取得した前記各類似度に基づいて前記複数の第2指標値をそれぞれ取得することを特徴とする画像処理装置。
【請求項11】
請求項1から請求項8の何れか1つの請求項に記載された画像処理装置であって、
前記第2参照ブロックが、前記注目点を空間的な基準点として設定された1のブロックであり、
前記第2演算部が、
前記複数の第2基準ブロックのそれぞれと、前記第2参照ブロックとのブロックマッチングによって前記第2ブロックマッチングを行い、前記複数の第2基準ブロックのそれぞれと前記第2参照ブロックとの各類似度に基づいて前記複数の第2指標値をそれぞれ取得することを特徴とする画像処理装置。
【請求項12】
請求項6から請求項8の何れか1つの請求項に記載された画像処理装置であって、
前記第2参照ブロックは、
前記注目点を空間的な基準点として、前記複数の候補点がそれぞれ前記注目候補点であるときの各前記第2規則が、前記注目点に対してそれぞれ適用されることによって前記複数の候補点のそれぞれ毎に第1画像上に予めそれぞれ設定され、
前記第2演算部が、
前記複数の候補点のうち1の候補点に対応する前記第2参照ブロックと、前記複数の第2基準ブロックのうち前記1の候補点に対応するブロックとのブロックマッチングを、前記複数の候補点の中で前記1の候補点として設定される候補点を変更しながら行なうことにより前記第2ブロックマッチングを行い、
前記第2ブロックマッチングの結果に基づいて、前記複数の第2基準ブロックのそれぞれ毎に、対応する前記第2参照ブロックとの各類似度を取得し、
取得した前記各類似度に基づいて前記複数の第2指標値をそれぞれ取得することを特徴とする画像処理装置。
【請求項13】
画像処理装置に搭載されたコンピューターにおいて実行されることにより、
当該画像処理装置を請求項1から請求項12の何れか1つの請求項に記載された画像処理装置として機能させることを特徴とするプログラム。
【請求項14】
第1画像上に予め設定された注目点を空間的に内包する第1基準ブロックと、前記第1画像と互いに対応する画像内容を含んだ第2画像上に設定された複数の第1参照ブロックのそれぞれとの第1ブロックマッチングにより、前記第1基準ブロックと、前記複数の第1参照ブロックのそれぞれとの画像内容の類似度をそれぞれ表現した複数の第1指標値を取得する第1演算工程と、
前記複数の第1指標値に基づいて、前記注目点に対応した対応点の複数の候補点を前記第2画像においてそれぞれ抽出する抽出工程と、
前記複数の候補点をそれぞれ空間的に内包する複数の第2基準ブロックのそれぞれと、前記第1画像上に予め設定された第2参照ブロックとの第2ブロックマッチングにより、前記複数の候補点のそれぞれについて、前記対応点としての選択の適性を表現した複数の第2指標値を取得する第2演算工程と、
前記複数の第2指標値に基づいて、前記複数の候補点の中から1つを選択することにより、前記対応点を決定する決定工程と、
を有することを特徴とする画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate


【公開番号】特開2013−4014(P2013−4014A)
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願番号】特願2011−137429(P2011−137429)
【出願日】平成23年6月21日(2011.6.21)
【出願人】(000001270)コニカミノルタホールディングス株式会社 (4,463)
【Fターム(参考)】