ステレオ画像処理装置、ステレオ画像処理方法、および、プログラム
【課題】ステレオペア画像の縦方向のずれを補正する。
【解決手段】２つの異なる位置から所定の領域を撮影した、走査線方向とエピポーラ線方向が一致するステレオペア画像の走査線方向（Ｘ方向）に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定し、特定された行のペアの各位置に基づいて、ステレオ画像の一方の画像と他方の画像との間の縦方向（Ｙ方向）のズレ（縦視差）を求め、求めたズレがなくなるように前記ステレオ画像を補正する。
【解決手段】２つの異なる位置から所定の領域を撮影した、走査線方向とエピポーラ線方向が一致するステレオペア画像の走査線方向（Ｘ方向）に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定し、特定された行のペアの各位置に基づいて、ステレオ画像の一方の画像と他方の画像との間の縦方向（Ｙ方向）のズレ（縦視差）を求め、求めたズレがなくなるように前記ステレオ画像を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像処理装置、ステレオ画像処理方法、および、プログラムに関する。
【背景技術】
【０００２】
人工衛星や航空機等から得られる画像を基に、地形を示す3次元データ（ＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍａｐ）データ）をステレオマッチングによって生成する方法が広く行われている。
【０００３】
ここで、ステレオマッチング処理とは、異なる視点から撮影した2枚の画像、いわゆるステレオ画像について、同一の点を撮像している各画像中の対応点を求め、その視差を用いて三角測量の原理によって対象までの奥行きや形状を求めることである。
【０００４】
このステレオマッチング処理については既に様々な手法が提案されている。例えば、特許文献１には、一般的に広く用いられている面積相関法を用いる手法が開示されている。この面積相関法は左画像中に相関窓を設定してこれをテンプレートとし、右画像中の探索窓を動かしてテンプレートとの相互相関係数を算出し、これを一致度とみなして高いものを探索することによって対応点を得る方法である。
【０００５】
上記の方法においては処理量を軽減するために、探索窓の移動範囲を画像中のエピポーラ線方向に限定することにより、左画像中の各点について、対応する右画像中の点の位置のずれの量、すなわち視差を得ることができる。ここで、エピポーラ線とはステレオ画像において片方の画像中のある点について、他方の画像中で当該点に対応する点の存在範囲として引くことができる直線である。エピポーラ線については、例えば、「画像解析ハンドブック」（高木幹夫・下田陽久監修、東京大学出版会刊、1991年1月、頁597−599）に記載されている。
【０００６】
通常、エピポーラ線方向はステレオ画像の走査線方向とは異なる。しかし、座標変換を行うことで、エピポーラ線方向をステレオ画像の走査線方向に一致させ、再配列を行うことができる。この座標変換の方法については上記の「画像解析ハンドブック」に記載されている。
【０００７】
上記のような再配列を行ったステレオ画像においては、対応点の探索窓の移動範囲を走査線（エピポーラ線）上に限定することができるため、左右画像中の対応点同士のｙ座標は一致し、視差は左右画像中の対応点同士のｘ座標の差のみで表すことが可能となる。
【０００８】
【特許文献１】特開平３−１６７６７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、ステレオ画像撮影時のカメラのぶれなどに起因して、座標変換を行ってエピポーラ線方向を画像の走査線方向に一致させる処理をしても、ステレオ画像の左右画中の対応点同士の縦方向にずれが生じてしまう虞がある。
【００１０】
本発明は上記実情に鑑みてなされたものであり、ステレオペア画像の縦方向のずれを補正することができる、ステレオ画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の観点に係るステレオ画像処理装置は、
２つの異なる位置から所定の領域を撮影した、走査線方向とエピポーラ線方向が略一致するステレオペア画像の画像データを取得するステレオペア画像データ取得手段と、
前記ステレオペア画像の走査線方向に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定する行特定手段と、
前記行特定手段で特定された行のペアの各位置に基づいて、前記ステレオ画像の一方の画像と他方の画像との間のズレを求めるズレ求め手段と、
前記ズレ求め手段で算出されたズレがなくなるように前記ステレオ画像を補正する画像補正手段と、
を備えることを特徴とする。
【００１２】
本発明の第２の観点に係るステレオ画像処理方法は、
２つの異なる位置から所定の領域を撮影したステレオペア画像の画像データを取得するステレオペア画像データ取得ステップと、
前記ステレオペア画像の走査線方向に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定する行特定ステップと、
前記行特定ステップで特定された行のペアの各位置に基づいて、前記ステレオ画像の一方の画像と他方の画像との間のズレを求めるズレ求めステップと、
前記ズレ求めステップで算出されたズレがなくなるように前記ステレオ画像を補正する画像補正ステップと、
を備えることを特徴とする。
【００１３】
本発明の第２の観点に係るプログラムは、
コンピュータを、
２つの異なる位置から所定の領域を撮影した、走査線方向とエピポーラ線方向が略一致するステレオペア画像の画像データを取得するステレオペア画像データ取得手段と、
前記ステレオペア画像の走査線方向に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定する行特定手段と、
前記行特定手段で特定された行のペアの各位置に基づいて、前記ステレオ画像の一方の画像と他方の画像との間のズレを求めるズレ求め手段と、
前記ズレ求め手段で算出されたズレがなくなるように前記ステレオ画像を補正する画像補正手段、
として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ステレオペア画像の縦方向のずれを補正することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態に係るステレオ画像処理装置１について説明する。ステレオ画像処理装置１は、左右の異なる位置から同じ領域を撮影した、左画像と右画像からなる画像（ステレオペア画像）に対して、左右画像の位置のズレを補正する装置である。
なお、このステレオペア画像は、例えば、「画像解析ハンドブック」（高木幹夫・下田陽久監修、東京大学出版会刊、1991年1月、頁597−599）に記載されている手法により、エピポーラ線方向と画像の走査方向が一致するように再配列（平行化）がなされている画像である。即ち、右画像と左画像内の対応点同士のｙ座標はある程度一致している。
【００１６】
ステレオ画像処理装置１は、図１に示すように、制御部１１、ＲＡＭ１２、ＲＯＭ１３、及び、記憶部１４を含む。
【００１７】
制御部１１は、ＣＰＵ（Central Processing Unit）等から構成され、ＲＯＭ１３や記憶部１４に格納されたプログラムに基づいて所定の処理を実行し、ステレオ画像処理装置１全体の制御を行う。
例えば、制御部１１は、ステレオペア画像の右画像と左画像とで最も相関が高い走査ライン（行）を判別し、相関が高いと判別した走査ラインの縦位置（Ｙ座標）にずれ（縦視差）がある場合にこれを補正する縦視差補正処理を行う。なお、縦視差補正処理の詳細については後述する。
【００１８】
ＲＡＭ（Random Access Memory）１２は、制御部１１が所定の処理を実行するために読み出したプログラムや、制御部１１が当該プログラムを実行するために必要なデータを格納するワークメモリとして機能する揮発性メモリである。
【００１９】
ＲＯＭ（Read Only Memory）１３は、制御部１１が所定の処理を実行するためのプログラムや固定データ等を予め格納する不揮発性メモリである。制御部１１は、ＲＯＭ１３から必要に応じてプログラム等を読み出して、ＲＡＭ１２に展開し、当該プログラム等に基づいて所定の処理を実行する。
【００２０】
記憶部１４は、ハードディスクドライブ等の記憶装置から構成され、種々の情報を記憶する。例えば、記憶部１４は、縦視差補正処理の対象となるステレオペア画像を記憶する。
【００２１】
また、記憶部１４は、図２に示すような、後述する縦視差補正処理で使用する各種のパラメータを記憶する。
カウンタｉは、縦視差補正処理で利用されるカウンタである。
ｙ１、ｙ２、ｙ３には、縦視差補正処理で、右画像と左画像とで相関を比較する行のＹ座標の値が設定されている。
【００２２】
なお、ステレオ画像処理装置１は、一般的に普及しているコンピュータ等を用いて構成することができる。
【００２３】
次に、縦視差補正処理の動作について説明する。
【００２４】
まず、制御部１１は、記憶部１４から、図４に示すような、未処理のステレオペア画像、即ち、右画像と左画像のペアを１つ選択する（ステップＳ１０１）。
【００２５】
続いて、制御部１１は、カウンタｉの値を１に初期化する（ステップＳ１０２）。
【００２６】
続いて、制御部１１は、左画像からＹ座標の値がｙｉである画素の集合（行）を選択する（ステップＳ１０３）。 なお、この行は、Ｙ方向に数画素分の高さを有する画素の集合であってもよい。
【００２７】
続いて、制御部１１は、右画像から、ｙ１およびｙ１から±１画素ずつ離れた合計３本の行を選択する（ステップＳ１０３）。即ち、この処理で、右画像から、Ｙ座標が下からｙｉ−１、ｙｉ、ｙｉ＋１である３本の行が選択される（ステップＳ１０４）。
【００２８】
続いて、制御部１１は、図５に示すように、ステップＳ１０２で選択した左画像のｙｉの行と、ステップＳ１０３で選択した右画像のｙｉ−１、ｙｉ、ｙｉ＋１の各行との相関を求め、左画像のｙｉの行と最も相関の高い右画像の行を特定する（ステップＳ１０５）。
【００２９】
このステップＳ１０５の処理は、具体的には、以下のようにすればよい。
まず、特開平４−２９９４７４号公報に記載されている手法等を用いて、制御部１１は、左画像のｙｉの行を構成する各画素に対応する右画像の各画素を求める。続いて、制御部１１は、求めた右画像の各画素の位置と最も一致するｙｉ−１、ｙｉ、ｙｉ＋１の行の何れかを、最も相関の高い右画像の行として特定すればよい。
なお、ステップＳ１０５の処理は上述の例に限定されず、最も相関の高い行を特定することができれば、他のマッチングの手法を利用してもよい。
【００３０】
続いて、制御部１１は、ステップＳ１０５で相関が高いと特定した左画像と右画像の行の位置のズレの量を記憶部１４に記憶する（ステップＳ１０６）。
例えば、ステップＳ１０５で右画像のｙｉの行が左画像のｙｉの行と最も相関が高い行として特定された場合は、行のずれは無いこと（ズレの量：０）が記憶される。また、ステップＳ１０５で右画像のｙｉ＋１の行が左画像のｙｉの行と最も相関が高い行として特定された場合は、右画像が左画像に対して上方向（Ｙ軸の正方向）に１画素ずれていることが記憶される。
【００３１】
続いて制御部１１は、カウンタｉの値が３であるか否かを判別する（ステップＳ１０７）。カウンタｉの値が３でないと判別した場合（ステップＳ１０７；Ｎｏ）、制御部１１は、カウンタｉを１だけインクリメントし（ステップＳ１０８）、ステップＳ１０３〜Ｓ１０７の処理を繰り返す。即ち、別のｙｉの位置で右画像と左画像の縦方向のずれが算出されて記憶される。
【００３２】
カウンタｉの値が３であると判別した場合（ステップＳ１０７；Ｙｅｓ）、制御部１１は、ステップＳ１０６で記憶したずれの量（即ち、ｙ１、ｙ２、ｙ３における各ズレの量）の平均値を求める（ステップＳ１０９）。なお、制御部１１は、この処理が終了すると、ステップＳ１０６で記憶したズレの量を示した情報は以後利用しないので消去（リセット）する。
【００３３】
続いて、制御部１１は、ステップＳ１０９で求めたズレの量の平均値に基づいて、ステレオペア画像（右画像と左画像）を補正する（ステップＳ１１０）。例えば、ステップＳ１０９で求めたズレの量の平均値が、右画像が上方向に２画素ずれていることを示す場合には、右画像全体を、下方向に２画素分だけ移動させる（右画像全体のｙ座標値を−２する）。なお、逆に、左画像全体を、上方向に２画素分だけ移動させてもよい（左画像全体のｙ座標値を＋２する）。
【００３４】
続いて制御部１１は、未処理（未選択）のステレオペア画像が有るか否かを判別する（ステップＳ１１１）。
【００３５】
未処理（未選択）のステレオ画像が有ると判別した場合（ステップＳ１１１；Ｙｅｓ）、制御部１１は、ステップＳ１０１に処理を移し、未処理のステレオ画像に対して、右画像と左画像のズレを補正する処理（ステップＳ１０１〜１１０）を繰り返す。
未処理（未選択）のステレオ画像がないと判別した場合（ステップＳ１１１；Ｎｏ）、制御部１１は、縦視差補正処理を終了する。
【００３６】
このように、本実施形態では、平行化されたステレオペア画像において、両画像で対応する位置（ｙｉ）の近傍で相関を調べ、行のズレを求める。そして、求めた行のズレがなくなるように、ステレオペア画像の縦位置を補正する。従って、ステレオペア画像の縦方向のずれを補正することができる。
【００３７】
なお、本発明は種々の応用、及び、変形が可能である。
例えば、本実施形態では、ステップＳ１０６において、左画像のｙｉの行に対して右画像のｙｉ−１、ｙｉ、ｙｉ＋１の３本の行から最も相関の高い行を特定した。しかし、これに限らず、例えば、図６に示すように、右画像のｙｉ−２、ｙｉ−１、ｙｉ、ｙｉ＋１、ｙｉ＋２の５本の行から最も相関の高い行を特定してもよい。要するに、左画像のｙｉの行に対して、相関の高い行を特定するための右画像の行は、ｙｉおよびｙｉ近傍の任意の複数行であればよい。
【００３８】
また、本実施形態では、ｙ１，ｙ２、ｙ３の３つの行で左右画像のズレの量を求めて記録し（ステップＳ１０６）、その平均値を求めた（ステップＳ１０９）。しかし、ズレの量を求めて記録する行は３本以下でも以上でもよく任意である。
【００３９】
また、本実施形態では、ステレオペア画像が右と左から撮影した左画像と右画像とから構成されるとして説明したがこれに限らず、異なる位置から同じ領域を撮影したステレオペア画像に本発明は適用可能である。
【００４０】
前記のハードウエェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００４１】
制御部１１、ＲＡＭ１２、ＲＯＭ１３、および、記憶部１４などから構成されるステレオ画像処理装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するステレオ画像処理装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでステレオ画像処理装置１を構成してもよい。
【００４２】
また、ステレオ画像処理装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００４３】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【図面の簡単な説明】
【００４４】
【図１】ステレオ画像処理装置の内部構成を示すブロック図である。
【図２】記憶部に格納されているパラメータの例を示した図である。
【図３】縦視差補正処理の動作の一例を示すフローチャートである。
【図４】ステレオペア画像の例を示した図である。
【図５】ステレオペア画像の左画像と右画像から相関の高い行のペアを特定する処理を説明するための図である。
【図６】ステレオペア画像の左画像と右画像から相関の高い行のペアを特定する処理を説明するための図である。
【符号の説明】
【００４５】
１ ステレオ画像処理装置
１１ 制御部
１２ ＲＡＭ
１３ ＲＯＭ
１ 記憶部
【技術分野】
【０００１】
本発明は、ステレオ画像処理装置、ステレオ画像処理方法、および、プログラムに関する。
【背景技術】
【０００２】
人工衛星や航空機等から得られる画像を基に、地形を示す3次元データ（ＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍａｐ）データ）をステレオマッチングによって生成する方法が広く行われている。
【０００３】
ここで、ステレオマッチング処理とは、異なる視点から撮影した2枚の画像、いわゆるステレオ画像について、同一の点を撮像している各画像中の対応点を求め、その視差を用いて三角測量の原理によって対象までの奥行きや形状を求めることである。
【０００４】
このステレオマッチング処理については既に様々な手法が提案されている。例えば、特許文献１には、一般的に広く用いられている面積相関法を用いる手法が開示されている。この面積相関法は左画像中に相関窓を設定してこれをテンプレートとし、右画像中の探索窓を動かしてテンプレートとの相互相関係数を算出し、これを一致度とみなして高いものを探索することによって対応点を得る方法である。
【０００５】
上記の方法においては処理量を軽減するために、探索窓の移動範囲を画像中のエピポーラ線方向に限定することにより、左画像中の各点について、対応する右画像中の点の位置のずれの量、すなわち視差を得ることができる。ここで、エピポーラ線とはステレオ画像において片方の画像中のある点について、他方の画像中で当該点に対応する点の存在範囲として引くことができる直線である。エピポーラ線については、例えば、「画像解析ハンドブック」（高木幹夫・下田陽久監修、東京大学出版会刊、1991年1月、頁597−599）に記載されている。
【０００６】
通常、エピポーラ線方向はステレオ画像の走査線方向とは異なる。しかし、座標変換を行うことで、エピポーラ線方向をステレオ画像の走査線方向に一致させ、再配列を行うことができる。この座標変換の方法については上記の「画像解析ハンドブック」に記載されている。
【０００７】
上記のような再配列を行ったステレオ画像においては、対応点の探索窓の移動範囲を走査線（エピポーラ線）上に限定することができるため、左右画像中の対応点同士のｙ座標は一致し、視差は左右画像中の対応点同士のｘ座標の差のみで表すことが可能となる。
【０００８】
【特許文献１】特開平３−１６７６７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、ステレオ画像撮影時のカメラのぶれなどに起因して、座標変換を行ってエピポーラ線方向を画像の走査線方向に一致させる処理をしても、ステレオ画像の左右画中の対応点同士の縦方向にずれが生じてしまう虞がある。
【００１０】
本発明は上記実情に鑑みてなされたものであり、ステレオペア画像の縦方向のずれを補正することができる、ステレオ画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の観点に係るステレオ画像処理装置は、
２つの異なる位置から所定の領域を撮影した、走査線方向とエピポーラ線方向が略一致するステレオペア画像の画像データを取得するステレオペア画像データ取得手段と、
前記ステレオペア画像の走査線方向に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定する行特定手段と、
前記行特定手段で特定された行のペアの各位置に基づいて、前記ステレオ画像の一方の画像と他方の画像との間のズレを求めるズレ求め手段と、
前記ズレ求め手段で算出されたズレがなくなるように前記ステレオ画像を補正する画像補正手段と、
を備えることを特徴とする。
【００１２】
本発明の第２の観点に係るステレオ画像処理方法は、
２つの異なる位置から所定の領域を撮影したステレオペア画像の画像データを取得するステレオペア画像データ取得ステップと、
前記ステレオペア画像の走査線方向に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定する行特定ステップと、
前記行特定ステップで特定された行のペアの各位置に基づいて、前記ステレオ画像の一方の画像と他方の画像との間のズレを求めるズレ求めステップと、
前記ズレ求めステップで算出されたズレがなくなるように前記ステレオ画像を補正する画像補正ステップと、
を備えることを特徴とする。
【００１３】
本発明の第２の観点に係るプログラムは、
コンピュータを、
２つの異なる位置から所定の領域を撮影した、走査線方向とエピポーラ線方向が略一致するステレオペア画像の画像データを取得するステレオペア画像データ取得手段と、
前記ステレオペア画像の走査線方向に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定する行特定手段と、
前記行特定手段で特定された行のペアの各位置に基づいて、前記ステレオ画像の一方の画像と他方の画像との間のズレを求めるズレ求め手段と、
前記ズレ求め手段で算出されたズレがなくなるように前記ステレオ画像を補正する画像補正手段、
として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ステレオペア画像の縦方向のずれを補正することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態に係るステレオ画像処理装置１について説明する。ステレオ画像処理装置１は、左右の異なる位置から同じ領域を撮影した、左画像と右画像からなる画像（ステレオペア画像）に対して、左右画像の位置のズレを補正する装置である。
なお、このステレオペア画像は、例えば、「画像解析ハンドブック」（高木幹夫・下田陽久監修、東京大学出版会刊、1991年1月、頁597−599）に記載されている手法により、エピポーラ線方向と画像の走査方向が一致するように再配列（平行化）がなされている画像である。即ち、右画像と左画像内の対応点同士のｙ座標はある程度一致している。
【００１６】
ステレオ画像処理装置１は、図１に示すように、制御部１１、ＲＡＭ１２、ＲＯＭ１３、及び、記憶部１４を含む。
【００１７】
制御部１１は、ＣＰＵ（Central Processing Unit）等から構成され、ＲＯＭ１３や記憶部１４に格納されたプログラムに基づいて所定の処理を実行し、ステレオ画像処理装置１全体の制御を行う。
例えば、制御部１１は、ステレオペア画像の右画像と左画像とで最も相関が高い走査ライン（行）を判別し、相関が高いと判別した走査ラインの縦位置（Ｙ座標）にずれ（縦視差）がある場合にこれを補正する縦視差補正処理を行う。なお、縦視差補正処理の詳細については後述する。
【００１８】
ＲＡＭ（Random Access Memory）１２は、制御部１１が所定の処理を実行するために読み出したプログラムや、制御部１１が当該プログラムを実行するために必要なデータを格納するワークメモリとして機能する揮発性メモリである。
【００１９】
ＲＯＭ（Read Only Memory）１３は、制御部１１が所定の処理を実行するためのプログラムや固定データ等を予め格納する不揮発性メモリである。制御部１１は、ＲＯＭ１３から必要に応じてプログラム等を読み出して、ＲＡＭ１２に展開し、当該プログラム等に基づいて所定の処理を実行する。
【００２０】
記憶部１４は、ハードディスクドライブ等の記憶装置から構成され、種々の情報を記憶する。例えば、記憶部１４は、縦視差補正処理の対象となるステレオペア画像を記憶する。
【００２１】
また、記憶部１４は、図２に示すような、後述する縦視差補正処理で使用する各種のパラメータを記憶する。
カウンタｉは、縦視差補正処理で利用されるカウンタである。
ｙ１、ｙ２、ｙ３には、縦視差補正処理で、右画像と左画像とで相関を比較する行のＹ座標の値が設定されている。
【００２２】
なお、ステレオ画像処理装置１は、一般的に普及しているコンピュータ等を用いて構成することができる。
【００２３】
次に、縦視差補正処理の動作について説明する。
【００２４】
まず、制御部１１は、記憶部１４から、図４に示すような、未処理のステレオペア画像、即ち、右画像と左画像のペアを１つ選択する（ステップＳ１０１）。
【００２５】
続いて、制御部１１は、カウンタｉの値を１に初期化する（ステップＳ１０２）。
【００２６】
続いて、制御部１１は、左画像からＹ座標の値がｙｉである画素の集合（行）を選択する（ステップＳ１０３）。 なお、この行は、Ｙ方向に数画素分の高さを有する画素の集合であってもよい。
【００２７】
続いて、制御部１１は、右画像から、ｙ１およびｙ１から±１画素ずつ離れた合計３本の行を選択する（ステップＳ１０３）。即ち、この処理で、右画像から、Ｙ座標が下からｙｉ−１、ｙｉ、ｙｉ＋１である３本の行が選択される（ステップＳ１０４）。
【００２８】
続いて、制御部１１は、図５に示すように、ステップＳ１０２で選択した左画像のｙｉの行と、ステップＳ１０３で選択した右画像のｙｉ−１、ｙｉ、ｙｉ＋１の各行との相関を求め、左画像のｙｉの行と最も相関の高い右画像の行を特定する（ステップＳ１０５）。
【００２９】
このステップＳ１０５の処理は、具体的には、以下のようにすればよい。
まず、特開平４−２９９４７４号公報に記載されている手法等を用いて、制御部１１は、左画像のｙｉの行を構成する各画素に対応する右画像の各画素を求める。続いて、制御部１１は、求めた右画像の各画素の位置と最も一致するｙｉ−１、ｙｉ、ｙｉ＋１の行の何れかを、最も相関の高い右画像の行として特定すればよい。
なお、ステップＳ１０５の処理は上述の例に限定されず、最も相関の高い行を特定することができれば、他のマッチングの手法を利用してもよい。
【００３０】
続いて、制御部１１は、ステップＳ１０５で相関が高いと特定した左画像と右画像の行の位置のズレの量を記憶部１４に記憶する（ステップＳ１０６）。
例えば、ステップＳ１０５で右画像のｙｉの行が左画像のｙｉの行と最も相関が高い行として特定された場合は、行のずれは無いこと（ズレの量：０）が記憶される。また、ステップＳ１０５で右画像のｙｉ＋１の行が左画像のｙｉの行と最も相関が高い行として特定された場合は、右画像が左画像に対して上方向（Ｙ軸の正方向）に１画素ずれていることが記憶される。
【００３１】
続いて制御部１１は、カウンタｉの値が３であるか否かを判別する（ステップＳ１０７）。カウンタｉの値が３でないと判別した場合（ステップＳ１０７；Ｎｏ）、制御部１１は、カウンタｉを１だけインクリメントし（ステップＳ１０８）、ステップＳ１０３〜Ｓ１０７の処理を繰り返す。即ち、別のｙｉの位置で右画像と左画像の縦方向のずれが算出されて記憶される。
【００３２】
カウンタｉの値が３であると判別した場合（ステップＳ１０７；Ｙｅｓ）、制御部１１は、ステップＳ１０６で記憶したずれの量（即ち、ｙ１、ｙ２、ｙ３における各ズレの量）の平均値を求める（ステップＳ１０９）。なお、制御部１１は、この処理が終了すると、ステップＳ１０６で記憶したズレの量を示した情報は以後利用しないので消去（リセット）する。
【００３３】
続いて、制御部１１は、ステップＳ１０９で求めたズレの量の平均値に基づいて、ステレオペア画像（右画像と左画像）を補正する（ステップＳ１１０）。例えば、ステップＳ１０９で求めたズレの量の平均値が、右画像が上方向に２画素ずれていることを示す場合には、右画像全体を、下方向に２画素分だけ移動させる（右画像全体のｙ座標値を−２する）。なお、逆に、左画像全体を、上方向に２画素分だけ移動させてもよい（左画像全体のｙ座標値を＋２する）。
【００３４】
続いて制御部１１は、未処理（未選択）のステレオペア画像が有るか否かを判別する（ステップＳ１１１）。
【００３５】
未処理（未選択）のステレオ画像が有ると判別した場合（ステップＳ１１１；Ｙｅｓ）、制御部１１は、ステップＳ１０１に処理を移し、未処理のステレオ画像に対して、右画像と左画像のズレを補正する処理（ステップＳ１０１〜１１０）を繰り返す。
未処理（未選択）のステレオ画像がないと判別した場合（ステップＳ１１１；Ｎｏ）、制御部１１は、縦視差補正処理を終了する。
【００３６】
このように、本実施形態では、平行化されたステレオペア画像において、両画像で対応する位置（ｙｉ）の近傍で相関を調べ、行のズレを求める。そして、求めた行のズレがなくなるように、ステレオペア画像の縦位置を補正する。従って、ステレオペア画像の縦方向のずれを補正することができる。
【００３７】
なお、本発明は種々の応用、及び、変形が可能である。
例えば、本実施形態では、ステップＳ１０６において、左画像のｙｉの行に対して右画像のｙｉ−１、ｙｉ、ｙｉ＋１の３本の行から最も相関の高い行を特定した。しかし、これに限らず、例えば、図６に示すように、右画像のｙｉ−２、ｙｉ−１、ｙｉ、ｙｉ＋１、ｙｉ＋２の５本の行から最も相関の高い行を特定してもよい。要するに、左画像のｙｉの行に対して、相関の高い行を特定するための右画像の行は、ｙｉおよびｙｉ近傍の任意の複数行であればよい。
【００３８】
また、本実施形態では、ｙ１，ｙ２、ｙ３の３つの行で左右画像のズレの量を求めて記録し（ステップＳ１０６）、その平均値を求めた（ステップＳ１０９）。しかし、ズレの量を求めて記録する行は３本以下でも以上でもよく任意である。
【００３９】
また、本実施形態では、ステレオペア画像が右と左から撮影した左画像と右画像とから構成されるとして説明したがこれに限らず、異なる位置から同じ領域を撮影したステレオペア画像に本発明は適用可能である。
【００４０】
前記のハードウエェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００４１】
制御部１１、ＲＡＭ１２、ＲＯＭ１３、および、記憶部１４などから構成されるステレオ画像処理装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するステレオ画像処理装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでステレオ画像処理装置１を構成してもよい。
【００４２】
また、ステレオ画像処理装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００４３】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【図面の簡単な説明】
【００４４】
【図１】ステレオ画像処理装置の内部構成を示すブロック図である。
【図２】記憶部に格納されているパラメータの例を示した図である。
【図３】縦視差補正処理の動作の一例を示すフローチャートである。
【図４】ステレオペア画像の例を示した図である。
【図５】ステレオペア画像の左画像と右画像から相関の高い行のペアを特定する処理を説明するための図である。
【図６】ステレオペア画像の左画像と右画像から相関の高い行のペアを特定する処理を説明するための図である。
【符号の説明】
【００４５】
１ ステレオ画像処理装置
１１ 制御部
１２ ＲＡＭ
１３ ＲＯＭ
１ 記憶部
【特許請求の範囲】
【請求項１】
２つの異なる位置から所定の領域を撮影した、走査線方向とエピポーラ線方向が略一致するステレオペア画像の画像データを取得するステレオペア画像データ取得手段と、
前記ステレオペア画像の走査線方向に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定する行特定手段と、
前記行特定手段で特定された行のペアの各位置に基づいて、前記ステレオ画像の一方の画像と他方の画像との間のズレを求めるズレ求め手段と、
前記ズレ求め手段で算出されたズレがなくなるように前記ステレオ画像を補正する画像補正手段と、
を備えることを特徴とするステレオ画像処理装置。
【請求項２】
前記行特定手段は、前記ステレオペア画像の一方の画像の一の行の周辺位置に対応する、前記ステレオペア画像の他方の画像の複数の行のなかから、前記一の行と最も相関が高い行を該一の行と相関が高いペアとして特定する、
ことを特徴とする請求項１に記載のステレオ画像処理装置。
【請求項３】
前記行特定手段は、前記ステレオペア画像の走査線方向に平行な所定幅の複数の画像領域について、各画像領域毎に、相関が高い行のペアを特定し、
前記ズレ求め手段は、前記行特定手段で特定された各行のペア毎に、行のペアの位置に基づいてズレを求め、求めた複数のズレの平均値を前記ステレオ画像の一方の画像と他方の画像との間のズレとして求める、
ことを特徴とする請求項１又は２に記載のステレオ画像処理装置。
【請求項４】
２つの異なる位置から所定の領域を撮影したステレオペア画像の画像データを取得するステレオペア画像データ取得ステップと、
前記ステレオペア画像の走査線方向に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定する行特定ステップと、
前記行特定ステップで特定された行のペアの各位置に基づいて、前記ステレオ画像の一方の画像と他方の画像との間のズレを求めるズレ求めステップと、
前記ズレ求めステップで算出されたズレがなくなるように前記ステレオ画像を補正する画像補正ステップと、
を備えることを特徴とするステレオ画像処理方法。
【請求項５】
前記行特定ステップは、前記ステレオペア画像の一方の画像の一の行の周辺位置に対応する、前記ステレオペア画像の他方の画像の複数の行のなかから、前記一の行と最も相関が高い行を該一の行と相関が高いペアとして特定する、
ことを特徴とする請求項４に記載のステレオ画像処理方法。
【請求項６】
前記行特定ステップは、前記ステレオペア画像の走査線方向に平行な所定幅の複数の画像領域について、各画像領域毎に、相関が高い行のペアを特定し、
前記ズレ求めステップは、前記行特定ステップで特定された各行のペア毎に、行のペアの位置に基づいてズレを求め、求めた複数のズレの平均値を前記ステレオ画像の一方の画像と他方の画像との間のズレとして求める、
ことを特徴とする請求項４又は５に記載のステレオ画像処理方法。
【請求項７】
コンピュータを、
２つの異なる位置から所定の領域を撮影した、走査線方向とエピポーラ線方向が略一致するステレオペア画像の画像データを取得するステレオペア画像データ取得手段と、
前記ステレオペア画像の走査線方向に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定する行特定手段と、
前記行特定手段で特定された行のペアの各位置に基づいて、前記ステレオ画像の一方の画像と他方の画像との間のズレを求めるズレ求め手段と、
前記ズレ求め手段で算出されたズレがなくなるように前記ステレオ画像を補正する画像補正手段、
として機能させることを特徴とするプログラム。
【請求項１】
２つの異なる位置から所定の領域を撮影した、走査線方向とエピポーラ線方向が略一致するステレオペア画像の画像データを取得するステレオペア画像データ取得手段と、
前記ステレオペア画像の走査線方向に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定する行特定手段と、
前記行特定手段で特定された行のペアの各位置に基づいて、前記ステレオ画像の一方の画像と他方の画像との間のズレを求めるズレ求め手段と、
前記ズレ求め手段で算出されたズレがなくなるように前記ステレオ画像を補正する画像補正手段と、
を備えることを特徴とするステレオ画像処理装置。
【請求項２】
前記行特定手段は、前記ステレオペア画像の一方の画像の一の行の周辺位置に対応する、前記ステレオペア画像の他方の画像の複数の行のなかから、前記一の行と最も相関が高い行を該一の行と相関が高いペアとして特定する、
ことを特徴とする請求項１に記載のステレオ画像処理装置。
【請求項３】
前記行特定手段は、前記ステレオペア画像の走査線方向に平行な所定幅の複数の画像領域について、各画像領域毎に、相関が高い行のペアを特定し、
前記ズレ求め手段は、前記行特定手段で特定された各行のペア毎に、行のペアの位置に基づいてズレを求め、求めた複数のズレの平均値を前記ステレオ画像の一方の画像と他方の画像との間のズレとして求める、
ことを特徴とする請求項１又は２に記載のステレオ画像処理装置。
【請求項４】
２つの異なる位置から所定の領域を撮影したステレオペア画像の画像データを取得するステレオペア画像データ取得ステップと、
前記ステレオペア画像の走査線方向に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定する行特定ステップと、
前記行特定ステップで特定された行のペアの各位置に基づいて、前記ステレオ画像の一方の画像と他方の画像との間のズレを求めるズレ求めステップと、
前記ズレ求めステップで算出されたズレがなくなるように前記ステレオ画像を補正する画像補正ステップと、
を備えることを特徴とするステレオ画像処理方法。
【請求項５】
前記行特定ステップは、前記ステレオペア画像の一方の画像の一の行の周辺位置に対応する、前記ステレオペア画像の他方の画像の複数の行のなかから、前記一の行と最も相関が高い行を該一の行と相関が高いペアとして特定する、
ことを特徴とする請求項４に記載のステレオ画像処理方法。
【請求項６】
前記行特定ステップは、前記ステレオペア画像の走査線方向に平行な所定幅の複数の画像領域について、各画像領域毎に、相関が高い行のペアを特定し、
前記ズレ求めステップは、前記行特定ステップで特定された各行のペア毎に、行のペアの位置に基づいてズレを求め、求めた複数のズレの平均値を前記ステレオ画像の一方の画像と他方の画像との間のズレとして求める、
ことを特徴とする請求項４又は５に記載のステレオ画像処理方法。
【請求項７】
コンピュータを、
２つの異なる位置から所定の領域を撮影した、走査線方向とエピポーラ線方向が略一致するステレオペア画像の画像データを取得するステレオペア画像データ取得手段と、
前記ステレオペア画像の走査線方向に平行な所定幅の画像領域について、該ステレオペア画像の一方の画像と他方の画像とで相関が高い行のペアを特定する行特定手段と、
前記行特定手段で特定された行のペアの各位置に基づいて、前記ステレオ画像の一方の画像と他方の画像との間のズレを求めるズレ求め手段と、
前記ズレ求め手段で算出されたズレがなくなるように前記ステレオ画像を補正する画像補正手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−１２８５７５（Ｐ２０１０−１２８５７５Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−２９９７８１（Ｐ２００８−２９９７８１）
【出願日】平成２０年１１月２５日（２００８．１１．２５）
【出願人】（３９０００１３９５）ＮＥＣシステムテクノロジー株式会社 (438)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２５日（２００８．１１．２５）
【出願人】（３９０００１３９５）ＮＥＣシステムテクノロジー株式会社 (438)
【Ｆターム（参考）】
[ Back to top ]