カメラ装置、カメラ装置用プログラム、および、画像マッチング方法
【課題】計算コストを増大させずに高精度な画像マッチングを実現するカメラ装置、カメラ装置用プログラムとこれを記録した記録媒体、および、画像マッチング方法を提供する。
【解決手段】複数のカメラ１００からそれぞれ出力された複数の画像を取得する画像取得手段１１０、１１１と、画像取得手段が取得した複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、ウィンドウを比較することにより、各画像における対応する箇所を検索する対応箇所検索手段１２０、１２１、１３０、１３１、１４０と、を有し、対応箇所検索手段は、複数のカメラの基線長方向の長さのみが異なる複数種類のウィンドウを用いて対応する箇所を検索する。
【解決手段】複数のカメラ１００からそれぞれ出力された複数の画像を取得する画像取得手段１１０、１１１と、画像取得手段が取得した複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、ウィンドウを比較することにより、各画像における対応する箇所を検索する対応箇所検索手段１２０、１２１、１３０、１３１、１４０と、を有し、対応箇所検索手段は、複数のカメラの基線長方向の長さのみが異なる複数種類のウィンドウを用いて対応する箇所を検索する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ装置、カメラ装置用プログラム、および、画像マッチング方法に関し、特に、複数のカメラを有するカメラ装置、カメラ装置用プログラム、および、画像マッチング方法に関する。
【背景技術】
【０００２】
近年、移動体にステレオカメラを設置して三次元画像を取得することで周囲環境を認識し、移動体の安全を確保するシステムが開発されている。
【０００３】
ステレオカメラにより高精度な三次元画像を得るためには、基準カメラの画像内の基準点に対応する参照カメラの画像内の対応点を検出する処理、すなわち、画像マッチングを高精度に行なう必要がある。
【０００４】
下記特許文献１には、画像マッチングを行なう単位である複数の画素を包含するウィンドウのサイズを上下左右方向に拡張してウィンドウ内の画素数を増大することにより、ミスマッチの発生率を低減し、画像マッチングの精度を向上させる技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０２３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上下左右方向にウィンドウサイズを拡大し、拡大したウィンドウですべての画素についてマッチングをとると、画像マッチングのための計算量が増大し、マッチング計算のためのシステム規模、計算時間等（以下、「計算コスト」と称する）が増大するという問題がある。
【０００７】
本発明は、このような問題を解決するためになされたものであり、計算コストを抑制するとともに高精度な画像マッチングを実現するものである。
【課題を解決するための手段】
【０００８】
本発明の上記課題は、以下の手段によって解決される。
【０００９】
（１）複数のカメラからそれぞれ出力された複数の画像を取得する画像取得手段と、前記画像取得手段が取得した前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する対応箇所検索手段と、を有し、前記対応箇所検索手段は、前記複数のカメラの基線長方向の長さのみが異なる複数種類の前記ウィンドウを用いて対応する箇所を検索することを特徴とするカメラ装置。
【００１０】
（２）前記複数のカメラのレンズは、変倍レンズであることを特徴とする上記（１）に記載のカメラ装置。
【００１１】
（３）前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように定められたことを特徴とする上記（２）に記載のカメラ装置。
【００１２】
（４）前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が１となるように定められたことを特徴とする上記（２）または（３）に記載のカメラ装置。
【００１３】
（５）前記複数のカメラのレンズは、アナモフィックレンズまたは中心窩レンズであることを特徴とする上記（２）〜（４）のいずれかに記載のカメラ装置。
【００１４】
（６）前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする上記（２）〜（５）のいずれかに記載のカメラ装置。
【００１５】
（７）前記画像における前記ウィンドウの位置と前記ウィンドウの縦横比との関係を、前記カメラのレンズの特性に基づいてあらかじめ定めたテーブルを参照することにより、前記ウィンドウの縦横比が定められることを特徴とする上記（１）〜（６）のいずれかに記載のカメラ装置。
【００１６】
（８）前記対応箇所検索手段は、位相限定相関法により前記ウィンドウ同士を比較することを特徴とする上記（１）〜（７）のいずれかに記載のカメラ装置。
【００１７】
（９）複数のカメラからそれぞれ出力された複数の画像を取得する手順（ａ）と、前記手順（ａ）において取得した前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する手順（ｂ）と、前記複数の画像内において、前記手順（ｂ）で設定した前記ウィンドウに対し前記複数のカメラの基線長方向の長さのみが異なる前記ウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する手順（ｃ）と、をカメラ装置に実行させることを特徴とするカメラ装置用プログラム。
【００１８】
（１０）前記複数のカメラのレンズは、変倍レンズであることを特徴とする上記（９）に記載のカメラ装置用プログラム。
【００１９】
（１１）前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように定められたことを特徴とする上記（１０）に記載のカメラ装置用プログラム。
【００２０】
（１２）前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が１となるように定められたことを特徴とする上記（１０）または（１１）に記載のカメラ装置用プログラム。
【００２１】
（１３）前記複数のカメラのレンズは、アナモフィックレンズまたは中心窩レンズであることを特徴とする上記（１０）〜（１２）のいずれかに記載のカメラ装置用プログラム。
【００２２】
（１４）前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする上記（１０）〜（１３）のいずれかに記載のカメラ装置用プログラム。
【００２３】
（１５）前記画像における前記ウィンドウの位置と前記ウィンドウの縦横比との関係を、前記カメラのレンズの特性に基づいてあらかじめ定めたテーブルを参照することにより、前記ウィンドウの縦横比が定められることを特徴とする上記（１０）〜（１４）いずれかに記載のカメラ装置用プログラム。
【００２４】
（１６）前記対応箇所検索手段は、位相限定相関法により前記ウィンドウ同士を比較することを特徴とする上記（９）〜（１５）のいずれかに記載のカメラ装置用プログラム。
【００２５】
（１７）上記（９）〜（１６）のいずれかに記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００２６】
（１８）複数のカメラからそれぞれ出力された複数の画像を取得する段階（ａ）と、前記段階（ａ）において取得した前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する段階（ｂ）と、前記複数の画像内において、前記段階（ｂ）で設定した前記ウィンドウに対し前記複数のカメラの基線長方向の長さのみが異なる前記ウィンドウを設定し、各ウィンドウを比較することにより、各画像における対応する箇所を検索する段階（ｃ）と、を有することを特徴とする画像マッチング方法。
【００２７】
（１９）前記複数のカメラのレンズは、変倍レンズであることを特徴とする上記（１８）に記載の画像マッチング方法。
【００２８】
（２０）前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように定められたことを特徴とする上記（１９）に記載の画像マッチング方法。
【００２９】
（２１）前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が１となるように定められたことを特徴とする上記（１９）または（２０）に記載の画像マッチング方法。
【００３０】
（２２）前記複数のカメラのレンズは、アナモフィックレンズまたは中心窩レンズであることを特徴とする上記（１９）〜（２１）のいずれかに記載の画像マッチング方法。
【００３１】
（２３）前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする上記（１９）〜（２２）のいずれかに記載の画像マッチング方法。
【００３２】
（２４）前記画像における前記ウィンドウの位置と前記ウィンドウの縦横比との関係を、前記カメラのレンズの特性に基づいてあらかじめ定めたテーブルを参照することにより、前記ウィンドウの縦横比が定められることを特徴とする上記（１８）〜（２３）いずれかに記載の画像マッチング方法。
【００３３】
（２５）前記対応箇所検索手段は、位相限定相関法により前記ウィンドウ同士を比較することを特徴とする上記（１８）〜（２４）のいずれかに記載の画像マッチング方法。
【発明の効果】
【００３４】
本発明に係るカメラ装置、カメラ装置用プログラム、および、画像マッチング方法によれば、画像マッチングに用いるウィンドウを、複数のカメラの基線長方向にのみ拡大することにより、計算コストを抑制するとともに高精度な画像マッチングを実現することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態に係るカメラ装置の構成を示すブロック図である。
【図２】ステレオカメラによる対象物とステレオカメラとの距離の計算の原理を説明するための説明図である。
【図３】画像マッチングについて説明するための説明図である。
【図４】本発明の実施形態に係るカメラ装置の基準点ウィンドウおよび参照点ウィンドウのサイズを説明するための説明図である。
【図５】本発明の実施形態に係る画像マッチング方法のフローチャートを示す図である。
【発明を実施するための形態】
【００３６】
以下、図面を参照して、本発明の実施形態に係るカメラ装置、カメラ装置用プログラム、および、画像マッチング方法について詳細に説明する。
【００３７】
図１は、本発明の実施形態に係るカメラ装置の構成を示すブロック図である。ここで、図の矢印はデータの送信方向を示したものであり、データの処理は矢印の方向に沿って各ブロックにおいてなされる。しかし、各ブロックにおける処理の一部または全部が並行して実施されてもよく、処理の順番が前後し、または、処理が繰り返されることもある。
【００３８】
本実施形態に係るカメラ装置１０は、ステレオカメラ（複数のカメラ）１００、基準画像入力部（画像取得手段）１１０、参照画像入力部（画像取得手段）１１１、基準点設定部（対応箇所検索手段）１２０、参照点設定部（対応箇所検索手段）１２１、基準点ウィンドウ設定部（対応箇所検索手段）１３０、参照点ウィンドウ設定部（対応箇所検索手段）１３１、対応点検索処理部（対応箇所検索手段）１４０、表示部１５０を有する。
【００３９】
ステレオカメラ１００は、基準画像を撮影する基準カメラ１００Ａと、参照画像を撮影する参照カメラ１００Ｂと、を有する。基準カメラ１００Ａで撮影された基準画像の画像データは、基準画像入力部１１０に画素単位で入力される。参照カメラ１００Ｂで撮影された参照画像の画像データは、参照画像入力部１１１に画素単位で入力される。基準カメラ１１０Ａおよび参照カメラ１１０Ｂのレンズは変倍レンズであることが望ましい。例えば、基準カメラ１１０Ａおよび参照カメラ１１０Ｂのレンズには、アナモフィックレンズ、中心窩レンズを使用することができる。これらのレンズを使用することにより、より広い視野の三次元画像を得ることができる。
【００４０】
基準点設定部１２０には、基準画像入力部１１０から基準画像が入力される。基準点設定部１２０は、基準画像をなす画素のうちいずれかの画素を基準点として設定する。参照点設定部１２１には、参照画像入力部１１１から参照画像が入力される。参照点設定部１２１は、参照画像をなす画素のうちいずれかの画素を参照点として設定する。設定された参照点は、設定された基準点に対応する点（以下、「対応点」と称する）かどうかの判断対象となる点となる。本明細書においては、対応点を検出することをマッチングと称する。また、画像単位でマッチングを行なうことを画像マッチングと称する。
【００４１】
基準点が設定された基準画像データは、基準点ウィンドウ設定部１３０に入力され、基準点を中心とする基準点ウィンドウが設定される。すなわち、基準点ウィンドウは、基準画像内の複数の画素からなる基準点ウィンドウの中心に、基準点が位置するように設定される。
【００４２】
参照点が設定された参照画像データは、参照点ウィンドウ設定部１３１に入力され、参照点を中心とする参照点ウィンドウが設定される。すなわち、参照点ウィンドウは、参照画像内の複数の画素からなる参照点ウィンドウの中心に、参照点が位置するように設定される。
【００４３】
基準点ウィンドウと参照点ウィンドウは同じサイズを有することができる。基準点ウィンドウと参照点ウィンドウは、例えば、共に等しいサイズの長方形とすることができる。以下、基準点ウィンドウおよび参照点ウィンドウをウィンドウと総称する。
【００４４】
本実施形態においては、ウィンドウは、ステレオカメラ１００の基線長方向の長さのみが異なる複数種類のウィンドウのいずれかを用いる。ここで、基線長方向とは、基準カメラと参照カメラの光学中心を結ぶ方向をいう。
【００４５】
基準カメラ１１０Ａおよび参照カメラ１１０Ｂのレンズに、例えば、アナモフィックレンズや中心窩レンズを使用する場合は、基準画像および参照画像は部分的または全体的に変倍された画像となる。この場合は、ウィンドウの縦横比は、物面でのウィンドウの縦横比がこれらのレンズによる変倍比を是正するように定めることができ、例えば、物面でのウィンドウの縦横比が１になるように定めることができる。このように、ウィンドウの縦横比を、物面でのウィンドウの縦横比がこれらのレンズによる変倍比を是正するように定めることにより、被写体パターンの姿勢依存性を減少させるとともに、遠近競合を抑制することができるため、マッチング精度の低下を防止することができる。
【００４６】
なお、基準画像および参照画像について変倍比を是正するようにウィンドウの縦横比を定めた結果、ウィンドウのサイズが基線長方向に対し垂直方向（以下、単に「垂直方向」と称する）にも拡大される場合があるが、本実施形態にはこのような場合をも含むことは勿論である。
【００４７】
対応点検索処理部１４０には、基準点ウィンドウ設定部１３０から基準点ウィンドウが設定された基準画像データが、参照点ウィンドウ設定部１３１から参照点ウィンドウが設定された参照画像データが、入力される。対応点検索処理部１４０は、設定された基準点に対応する対応点を検索する。対応点の検索は、以下のように行なう。
【００４８】
対応点検索処理部１４０は、基準画像に設定された基準点と参照画像に設定された参照点とを比較する。該比較は、設定された基準点ウィンドウ内に含まれる複数の画素の輝度の平均値（以下、「基準点の輝度」と称する）と、設定された参照点ウィンドウ内に含まれる複数の画素の輝度の平均値（以下、「参照点の輝度」と称する）と、の差を計算することにより行なうことができる。
【００４９】
すなわち、対応点検索処理部１４０は、設定された基準点と設定された参照点とを比較する。その後、参照点設定部１２１は、設定した参照点を参照画像内において一画素分移動させ、移動後の参照点と基準点とを比較する。対応点検索処理部１４０は、このような比較を順次繰り返すことにより、設定された一の基準点と参照画像を構成するすべての画素（参照点）とを比較する。そして、基準点の輝度との差が最も小さい輝度を有する参照点を対応点と判断する。
【００５０】
対応点検索処理部１４０による対応点の検索は、基準画像を構成するすべての画素（基準点）について行なう。すなわち、一の基準点について対応点の検索が行なわれた後、基準点設定部１２０は他の基準点を設定し、基準点ウィンドウ設定部１３０は該他の基準点を中心とする基準点ウィンドウを設定する。参照点設定部１２１は参照点を設定し、参照点ウィンドウ設定部１３１は設定された点を中心とする参照点ウィンドウを設定する。そして、対応点検索処理部１４０は、設定された基準点に対応する対応点を検索する。
【００５１】
対応点検索処理部１４０は、位相限定相関法により基準点ウィンドウと参照点ウィンドウとを比較することができる。位相限定相関法は、画像の振幅成分を除去し画像の位相成分のみで相関演算を行う。したがって、位相限定相関法を採用することにより、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度よく検索できる。
【００５２】
このように、基準点設定部１２０、参照点設定部１２１、基準点ウィンドウ設定部１３０、参照点ウィンドウ設定部１３１、により画像マッチングを行なうことができる。
【００５３】
画像マッチングを行なうことで、基準画像および参照画像の両方に存在する対象物までの距離のデータを計算することができ、これにより、三次元画像を得ることができる。
【００５４】
表示部１５０は、三次元画像を表示する。ここで、使用するレンズに起因して画像に歪を有する場合は、歪補正を行った後の画像である物面の画像を表示してもよい。
【００５５】
本実施形態においては、基準画像および参照画像についての歪補正は、画像マッチングの前または後のいずれにおいて行なってもよい。画像マッチングの前に歪補正をし、画像マッチング時の基準画像および参照画像が補正後の画像（例えば、物面の画像）となる場合は、対応点検索処理部１４０は、歪補正の補正量の大きさに基づいてウィンドウ内の各画素について輝度に重み付けをしてもよい。すなわち、対応点検索処理部１４０は、ウィンドウ内の各画素の輝度に重み付け関数を乗算した後、画像マッチングをしてもよい。この場合、重み付け関数は、補正後の画像におけるウィンドウの縦横比がレンズによる変倍比を是正するように重み付けされることができる。このように重み付けすることにより、被写体パターンの姿勢依存性を減少させるとともに、遠近競合を抑制することができるため、マッチング精度の低下を防止することができる。
【００５６】
本実施形態に係るカメラ装置１０のうち、基準画像入力部１１０、参照画像入力部１１１、基準点設定部１２０、参照点設定部１２１、基準点ウィンドウ設定部１３０、参照点ウィンドウ設定部１３１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、入出力装置からなるコンピュータ（ハードウェア）と、コンピュータプログラム（ソフトウェア）とから構成してもよいがこれに限定されない。すなわち、基準画像入力部１１０、参照画像入力部１１１、基準点設定部１２０、参照点設定部１２１、基準点ウィンドウ設定部１３０、参照点ウィンドウ設定部１３１は、ハードウェアのみにより構成することもできる。
【００５７】
図２は、ステレオカメラによる対象物とステレオカメラとの距離の計算の原理を説明するための説明図である。
【００５８】
図２に示すように、ステレオカメラ１００を構成する基準カメラ１００Ａと参照カメラ１００Ｂは、対象物２００を含む画像を撮影する。対象物２００の画像は、それぞれ座標ｘ１、ｘ２として仮想スクリーン２０１Ａ、２０１Ｂ上に表示される。ステレオカメラから対象物までの距離ｚは、三角測量の原理に基づき、下記式（１）により求めることができる。
【００５９】
【数１】
【００６０】
ここで、Ｂはステレオカメラ１００の基線長、Ｆはステレオカメラ１００の基準カメラ１００Ａおよび参照カメラ１００Ｂの仮想スクリーンまでの距離を示す。これらのパラメータはステレオカメラの設計値を用いることができる。
【００６１】
ステレオカメラ１００で撮影されたすべての対象物に対し、ステレオカメラ１００からの距離を求めることにより、三次元画像を得ることができる。
【００６２】
図３は、画像マッチングについて説明するための説明図である。
【００６３】
図３のＡは、基準画像と参照画像の例を示した図である。基準カメラ１００Ａと参照カメラ１００Ｂの設置位置が基線長方向に異なるため、基準画像内の対象物２００の位置と参照画像内の対象物２００の位置は異なる。
【００６４】
図３のＢは、基準画像に設定した基準点を中心とする基準点ウィンドウ３００Ａと、参照画像に設定した参照点を中心とする参照点ウィンドウ３００Ｂ、３０１Ｂ、３０２Ｂ（３００Ｂ、３０１Ｂ、３０２Ｂは参照点ウィンドウの例である）と、を示している。図３のＢの例では、対応点は参照点ウィンドウ３００Ｂの中心点である。マッチングにおいては、対応点が参照点ウィンドウ３００Ｂの中心点であることを計算により求める。
【００６５】
図３のＣは、基準ウィンドウ３００Ａを構成する画素について説明するための説明図である。図３のＣでは、基準ウィンドウ３００Ａは９個の画素により構成されている。このとき、参照ウィンドウも同一のサイズのウィンドウを用いるため、参照ウィンドウ（図示せず）も９個の画素により構成される。画像マッチングは、上述したように、基準点の輝度と参照点の輝度の差を計算することにより行なう。図３のＣの例では、基準点の輝度は、基準ウィンドウ３００Ａを構成する９個の画素の輝度の平均値である。
【００６６】
図４は、本実施形態に係るカメラ装置の基準点ウィンドウおよび参照点ウィンドウのサイズを説明するための説明図である。
【００６７】
図４のＡは、ステレオカメラ１００の基線長方向（Ｘ方向）と、垂直方向（Ｙ方向）を示す図である。図４のＡに示すように、基準点（例えば、基準画像内の対象物２００である木の頂点２００Ｔ）と対応点（参照画像内の対象物２００である木の頂点２００Ｔ）の各画像上の垂直方向の座標は、ステレオカメラ１００は固定されるためほぼ等しくなる。そのため、ウィンドウのサイズを垂直方向に拡大しなくても、参照点ウィンドウ内に対応点が含まれる確率は十分大きいといえる。したがって、ウィンドウのサイズを垂直方向には拡大せず、基線長方向にのみ拡大することにより、垂直方向にもウィンドウを拡大した場合と比較して計算コストを削減することができる。
【００６８】
図４のＢは、ウィンドウのサイズの例を示す図である。
【００６９】
ウィンドウ４００は、基線長方向および垂直方向に１６ドットの大きさを有するウィンドウである。本実施形態においては、さらに、ウィンドウのサイズを基線長方向にのみ拡大したウィンドウを用いる。ウィンドウ４０１は、ウィンドウ４００に対し基線長方向にのみ２倍に拡大したウィンドウであり、基線長方向に３２ドット、垂直方向に１６ドットのサイズを有する。ウィンドウ４０２は、ウィンドウ４００に対し基線長方向にのみ４倍に拡大したウィンドウであり、基線長方向に６４ドット、垂直方向に１６ドットのサイズを有する。
【００７０】
このように、ウィンドウのサイズをステレオカメラ１００の基線長方向に拡大することによりウィンドウ内の基線長方向の画素数を増大することができるため、ミスマッチングの発生率を低減し、画像マッチングの精度を向上させることができる。また、ウィンドウのサイズをステレオカメラ１００の基線長方向にのみ拡大することにより、一の基準点に関するマッチングの計算対象となる画素数を低減することができるため、ウィンドウのサイズ拡大による計算コストの増大を抑制することができる。したがって、本実施形態によれば、計算コストの増大を抑制するとともに高精度な画像マッチングを実現することができる。
【００７１】
図５は、本実施形態に係る画像マッチング方法のフローチャートを示す図である。本実施形態に係る画像マッチング方法は、図１に示す本実施形態に係るカメラ装置により実施することができる。また、本実施形態に係る画像マッチング方法は、カメラ装置にあらかじめ記憶させたコンピュータプログラムを用いて実施することができる。以下、ステップ番号を明示して各ステップについて詳細に説明する。
【００７２】
基準カメラ１００Ａおよび参照カメラ１００Ｂから画像データを取得する（Ｓ５００）。基準カメラ１００Ａからの基準画像は基準画像入力部１１０に入力され、参照カメラ１００Ｂからの参照画像は参照画像入力部１１１に入力される。
【００７３】
カウンタ値ｉに１を設定し（Ｓ５０１）、ウィンドウのサイズを設定する（Ｓ５０２）。基準点ウィンドウ設定部１３０および参照点ウィンドウ設定部１３１は、カウンタ値ｉを参照し、Ｘ方向のウィンドウサイズを１６にカウンタ値１を乗じた１６ドットに、Ｙ方向のウィンドウサイズを１６ドットに設定する。
【００７４】
基準点ウィンドウ設定部１３０および参照点ウィンドウ設定部１３１は、ステレオカメラ１００のレンズの特性に基づいてあらかじめ定めたウィンドウのサイズのテーブルをカメラ装置１０内のＨＤＤに記憶しておき、検知した該レンズの種類と該テーブルとを比較することでウィンドウサイズを設定してもよい。
【００７５】
カウンタ値ｃｎｔに０を設定する（Ｓ５０３）。カウンタ値ｃｎｔは、基準画像内の基準点の位置に対応する。例えば、カウンタ値ｃｎｔが０のときは、基準点設定部１２０は、基準点が基準画像内の左上端の画素に設定されるようにしてもよい。また、カウンタ値ｃｎｔは、参照画像内の参照点の位置にも対応する。例えば、カウンタ値ｃｎｔが０のときは、参照点設定部１２１は、参照点が参照画像内の左上端の画素に設定されるようにしてもよい。
【００７６】
前ステップＳ５０２におけるウィンドウのサイズの設定は、本ステップＳ５０３の後に実施してもよい。すなわち、例えば、基準点ウィンドウ設定部１３０および参照点ウィンドウ設定部１３１は、本ステップＳ５０３で定まる基準点の位置（すなわち、基準点ウィンドウの位置）とウィンドウのサイズとの関係をステレオカメラ１００のレンズに基づいてあらかじめ定めたテーブルをカメラ装置１０内のＨＤＤに記憶しておき、検知した該レンズの種類と該テーブルとを比較することでウィンドウサイズを設定してもよい。
【００７７】
基準点ウィンドウ設定部１３０は、基準画像内に基準ウィンドウを設定し、対応点検索処理部１４０は、基準点の輝度を計算する（Ｓ５０４）。基準ウィンドウのサイズは、ステップＳ５０２により、Ｘ方向が１６ドット、Ｙ方向が１６ドットに設定される。基準ウィンドウの位置は、ステップＳ５０３により、基準ウィンドウの中心である基準点が基準画像内の左上端の画素となるように設定される。基準点の輝度は、設定された基準点ウィンドウ内に含まれる複数の画素の輝度の平均値により求めることができる。
【００７８】
参照点ウィンドウ設定部１３１は、参照画像内に参照ウィンドウを設定し、対応点検索処理部１４０は、参照点の輝度を計算する（Ｓ５０５）。参照ウィンドウのサイズは、基準ウィンドウと同じサイズであり、ステップＳ５０２により、Ｘ方向が１６ドット、Ｙ方向が１６ドットに設定される。参照ウィンドウの位置は、ステップ５０３により、参照ウィンドウの中心である参照点が参照画像内の左上端の画素となるように設定される。参照点の輝度は、設定された参照点ウィンドウ内に含まれる複数の画素の輝度の平均値により求めることができる。
【００７９】
カウンタ値ｃｎｔをｃｎｔ+１に設定する（Ｓ５０３）。すなわち、カウンタ値ｃｎｔを１つカウントアップする。現在のカウンタ値ｃｎｔは０であるので、本ステップによりカウンタ値ｃｎｔは１になる。上述したように、カウンタ値ｃｎｔは、基準画像内の基準点の位置および参照画像内の参照点の位置に対応する。例えば、カウンタ値が１つカウントアップされるごとに、基準画像内の基準点の位置および参照画像内の参照点の位置が、それぞれＸ方向にのみ一画素分シフトするようにしてもよい。また、その場合、基準画像内の基準点の位置または参照画像内の参照点の位置が、それぞれ基準画像または参照画像の右端に達したときは、次にカウンタ値が１つカウントアップされたときに−Ｙ方向にのみ一画素分シフトするようにし、さらにカウンタ値が１つカウントアップされるごとに−Ｘ方向にのみ一画素分シフトするようにしてもよい。
【００８０】
本ステップによりカウンタ値ｃｎｔは１になるので、基準画像内の基準点の位置は、基準点が基準画像内の左上端から一画素分Ｘ方向にのみシフトした画素に設定される。また、参照画像内の参照点の位置は、参照点が参照画像内の左上端から一画素分Ｘ方向にのみシフトした画素に設定される。
【００８１】
カウンタ値ｃｎｔが基準画像または参照画像の全画素数より小さいかどうかを判断する（Ｓ５０７）。カウンタ値ｃｎｔが基準画像または参照画像の全画素数より小さい場合は、ステップＳ５０４に戻って基準点の設定および基準点の輝度の計算（Ｓ５０４）および参照点の設定および参照点の輝度の計算（Ｓ５０５）を繰り返す。すなわち、基準画像をなすすべての画素に関する基準点の輝度を計算し、かつ、参照画像をなすすべての画素に関する参照点の輝度を計算する。これらの計算結果は、カメラ装置１０のＨＤＤに記憶させることができる。
【００８２】
対応点検索処理部１４０は、ウィンドウ内の画素の平均輝度値により、基準点と参照点とのマッチングを実施する（Ｓ５０８）。すなわち、記憶した基準点の輝度と、記憶した参照点の輝度とを比較し、基準点の輝度との差が最も小さい参照点の輝度を有する参照点を対応点と判断する。基準点と参照点とのマッチングは、すべての基準点について行なうことができる。
【００８３】
対応点検索処理部１４０は、マッチングした基準点と参照点の座標を出力する（Ｓ５０９）。すなわち、基準画像をなすすべての基準点の座標と対応点の座標との組み合わせを出力する。
【００８４】
カウンタ値ｉをｉ+１に設定する（Ｓ５１０）。すなわち、カウンタ値ｉを１つカウントアップする。現在のカウンタ値ｉは１であるので、本ステップによりカウンタ値ｉは２になる。上述したように、カウンタ値ｉは、ウィンドウのサイズに対応する。
【００８５】
カウンタ値ｉが４より小さいかどうかを判断する（Ｓ５１１）。すなわち、カウンタ値ｉの１〜３に対応する３つのウィンドウのサイズで画像マッチングが終了するまで、ステップＳ５０２〜Ｓ５１０による画像マッチングを繰り返す。
【００８６】
ここで、カウンタ値ｉが２となっているときは、ウィンドウのサイズは、カウンタ値である２を参照し、Ｘ方向は、１６にカウンタ値である２を乗じた３２ドットに、Ｙ方向は、１６ドットに設定される。すなわち、カウンタ値ｉが２であるときのウィンドウのサイズは、カウンタ値ｉが１であるときのサイズに対しＸ方向（基線長方向）の長さのみ２倍に拡大したサイズに設定される。
【００８７】
さらに、カウンタ値ｉが３となったときは、ウィンドウのサイズは、カウンタ値である３を参照し、Ｘ方向は、１６にカウンタ値である３を乗じた４８ドットに、Ｙ方向は、１６ドットに設定される。
【００８８】
本発明の実施形態に係るカメラ装置、カメラ装置用プログラム、および、画像マッチング方法は次の効果を奏する。すなわち、画像マッチングに用いるウィンドウを、複数のカメラの基線長方向にのみ拡大することにより、計算コストを抑制するとともに高精度な画像マッチングを実現することができる。
【００８９】
以上、本発明を実施形態に基づき説明したが、本発明の範囲は上述した実施形態に限定されるものではない。
【００９０】
例えば、上述の実施形態では、カメラ装置のカメラとしてステレオカメラを用いているが、２つの単体のカメラを用いてもよい。また、３つ以上のカメラを用いてもよい。
【００９１】
また、マッチングは、基準画像をなす画素（基準点）の一部のみについて行なってもよく、また、参照画像をなす画素（参照点）のうち一部のみについて行なってもよい。
【符号の説明】
【００９２】
１０ カメラ装置、
１００ ステレオカメラ、
１００Ａ 基準カメラ、
１００Ｂ 参照カメラ、
１１０ 基準画像入力部、
１１１ 参照画像入力部、
１２０ 基準点設定部、
１２１ 参照点設定部、
１３０ 基準点ウィンドウ設定部、
１３１ 参照点ウィンドウ設定部、
１４０ 対応点検索処理部、
１５０ 表示部、
２００ 対象物、
２０１Ａ、２０１Ｂ 仮想スクリーン。
【技術分野】
【０００１】
本発明は、カメラ装置、カメラ装置用プログラム、および、画像マッチング方法に関し、特に、複数のカメラを有するカメラ装置、カメラ装置用プログラム、および、画像マッチング方法に関する。
【背景技術】
【０００２】
近年、移動体にステレオカメラを設置して三次元画像を取得することで周囲環境を認識し、移動体の安全を確保するシステムが開発されている。
【０００３】
ステレオカメラにより高精度な三次元画像を得るためには、基準カメラの画像内の基準点に対応する参照カメラの画像内の対応点を検出する処理、すなわち、画像マッチングを高精度に行なう必要がある。
【０００４】
下記特許文献１には、画像マッチングを行なう単位である複数の画素を包含するウィンドウのサイズを上下左右方向に拡張してウィンドウ内の画素数を増大することにより、ミスマッチの発生率を低減し、画像マッチングの精度を向上させる技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０２３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上下左右方向にウィンドウサイズを拡大し、拡大したウィンドウですべての画素についてマッチングをとると、画像マッチングのための計算量が増大し、マッチング計算のためのシステム規模、計算時間等（以下、「計算コスト」と称する）が増大するという問題がある。
【０００７】
本発明は、このような問題を解決するためになされたものであり、計算コストを抑制するとともに高精度な画像マッチングを実現するものである。
【課題を解決するための手段】
【０００８】
本発明の上記課題は、以下の手段によって解決される。
【０００９】
（１）複数のカメラからそれぞれ出力された複数の画像を取得する画像取得手段と、前記画像取得手段が取得した前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する対応箇所検索手段と、を有し、前記対応箇所検索手段は、前記複数のカメラの基線長方向の長さのみが異なる複数種類の前記ウィンドウを用いて対応する箇所を検索することを特徴とするカメラ装置。
【００１０】
（２）前記複数のカメラのレンズは、変倍レンズであることを特徴とする上記（１）に記載のカメラ装置。
【００１１】
（３）前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように定められたことを特徴とする上記（２）に記載のカメラ装置。
【００１２】
（４）前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が１となるように定められたことを特徴とする上記（２）または（３）に記載のカメラ装置。
【００１３】
（５）前記複数のカメラのレンズは、アナモフィックレンズまたは中心窩レンズであることを特徴とする上記（２）〜（４）のいずれかに記載のカメラ装置。
【００１４】
（６）前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする上記（２）〜（５）のいずれかに記載のカメラ装置。
【００１５】
（７）前記画像における前記ウィンドウの位置と前記ウィンドウの縦横比との関係を、前記カメラのレンズの特性に基づいてあらかじめ定めたテーブルを参照することにより、前記ウィンドウの縦横比が定められることを特徴とする上記（１）〜（６）のいずれかに記載のカメラ装置。
【００１６】
（８）前記対応箇所検索手段は、位相限定相関法により前記ウィンドウ同士を比較することを特徴とする上記（１）〜（７）のいずれかに記載のカメラ装置。
【００１７】
（９）複数のカメラからそれぞれ出力された複数の画像を取得する手順（ａ）と、前記手順（ａ）において取得した前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する手順（ｂ）と、前記複数の画像内において、前記手順（ｂ）で設定した前記ウィンドウに対し前記複数のカメラの基線長方向の長さのみが異なる前記ウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する手順（ｃ）と、をカメラ装置に実行させることを特徴とするカメラ装置用プログラム。
【００１８】
（１０）前記複数のカメラのレンズは、変倍レンズであることを特徴とする上記（９）に記載のカメラ装置用プログラム。
【００１９】
（１１）前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように定められたことを特徴とする上記（１０）に記載のカメラ装置用プログラム。
【００２０】
（１２）前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が１となるように定められたことを特徴とする上記（１０）または（１１）に記載のカメラ装置用プログラム。
【００２１】
（１３）前記複数のカメラのレンズは、アナモフィックレンズまたは中心窩レンズであることを特徴とする上記（１０）〜（１２）のいずれかに記載のカメラ装置用プログラム。
【００２２】
（１４）前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする上記（１０）〜（１３）のいずれかに記載のカメラ装置用プログラム。
【００２３】
（１５）前記画像における前記ウィンドウの位置と前記ウィンドウの縦横比との関係を、前記カメラのレンズの特性に基づいてあらかじめ定めたテーブルを参照することにより、前記ウィンドウの縦横比が定められることを特徴とする上記（１０）〜（１４）いずれかに記載のカメラ装置用プログラム。
【００２４】
（１６）前記対応箇所検索手段は、位相限定相関法により前記ウィンドウ同士を比較することを特徴とする上記（９）〜（１５）のいずれかに記載のカメラ装置用プログラム。
【００２５】
（１７）上記（９）〜（１６）のいずれかに記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００２６】
（１８）複数のカメラからそれぞれ出力された複数の画像を取得する段階（ａ）と、前記段階（ａ）において取得した前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する段階（ｂ）と、前記複数の画像内において、前記段階（ｂ）で設定した前記ウィンドウに対し前記複数のカメラの基線長方向の長さのみが異なる前記ウィンドウを設定し、各ウィンドウを比較することにより、各画像における対応する箇所を検索する段階（ｃ）と、を有することを特徴とする画像マッチング方法。
【００２７】
（１９）前記複数のカメラのレンズは、変倍レンズであることを特徴とする上記（１８）に記載の画像マッチング方法。
【００２８】
（２０）前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように定められたことを特徴とする上記（１９）に記載の画像マッチング方法。
【００２９】
（２１）前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が１となるように定められたことを特徴とする上記（１９）または（２０）に記載の画像マッチング方法。
【００３０】
（２２）前記複数のカメラのレンズは、アナモフィックレンズまたは中心窩レンズであることを特徴とする上記（１９）〜（２１）のいずれかに記載の画像マッチング方法。
【００３１】
（２３）前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする上記（１９）〜（２２）のいずれかに記載の画像マッチング方法。
【００３２】
（２４）前記画像における前記ウィンドウの位置と前記ウィンドウの縦横比との関係を、前記カメラのレンズの特性に基づいてあらかじめ定めたテーブルを参照することにより、前記ウィンドウの縦横比が定められることを特徴とする上記（１８）〜（２３）いずれかに記載の画像マッチング方法。
【００３３】
（２５）前記対応箇所検索手段は、位相限定相関法により前記ウィンドウ同士を比較することを特徴とする上記（１８）〜（２４）のいずれかに記載の画像マッチング方法。
【発明の効果】
【００３４】
本発明に係るカメラ装置、カメラ装置用プログラム、および、画像マッチング方法によれば、画像マッチングに用いるウィンドウを、複数のカメラの基線長方向にのみ拡大することにより、計算コストを抑制するとともに高精度な画像マッチングを実現することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態に係るカメラ装置の構成を示すブロック図である。
【図２】ステレオカメラによる対象物とステレオカメラとの距離の計算の原理を説明するための説明図である。
【図３】画像マッチングについて説明するための説明図である。
【図４】本発明の実施形態に係るカメラ装置の基準点ウィンドウおよび参照点ウィンドウのサイズを説明するための説明図である。
【図５】本発明の実施形態に係る画像マッチング方法のフローチャートを示す図である。
【発明を実施するための形態】
【００３６】
以下、図面を参照して、本発明の実施形態に係るカメラ装置、カメラ装置用プログラム、および、画像マッチング方法について詳細に説明する。
【００３７】
図１は、本発明の実施形態に係るカメラ装置の構成を示すブロック図である。ここで、図の矢印はデータの送信方向を示したものであり、データの処理は矢印の方向に沿って各ブロックにおいてなされる。しかし、各ブロックにおける処理の一部または全部が並行して実施されてもよく、処理の順番が前後し、または、処理が繰り返されることもある。
【００３８】
本実施形態に係るカメラ装置１０は、ステレオカメラ（複数のカメラ）１００、基準画像入力部（画像取得手段）１１０、参照画像入力部（画像取得手段）１１１、基準点設定部（対応箇所検索手段）１２０、参照点設定部（対応箇所検索手段）１２１、基準点ウィンドウ設定部（対応箇所検索手段）１３０、参照点ウィンドウ設定部（対応箇所検索手段）１３１、対応点検索処理部（対応箇所検索手段）１４０、表示部１５０を有する。
【００３９】
ステレオカメラ１００は、基準画像を撮影する基準カメラ１００Ａと、参照画像を撮影する参照カメラ１００Ｂと、を有する。基準カメラ１００Ａで撮影された基準画像の画像データは、基準画像入力部１１０に画素単位で入力される。参照カメラ１００Ｂで撮影された参照画像の画像データは、参照画像入力部１１１に画素単位で入力される。基準カメラ１１０Ａおよび参照カメラ１１０Ｂのレンズは変倍レンズであることが望ましい。例えば、基準カメラ１１０Ａおよび参照カメラ１１０Ｂのレンズには、アナモフィックレンズ、中心窩レンズを使用することができる。これらのレンズを使用することにより、より広い視野の三次元画像を得ることができる。
【００４０】
基準点設定部１２０には、基準画像入力部１１０から基準画像が入力される。基準点設定部１２０は、基準画像をなす画素のうちいずれかの画素を基準点として設定する。参照点設定部１２１には、参照画像入力部１１１から参照画像が入力される。参照点設定部１２１は、参照画像をなす画素のうちいずれかの画素を参照点として設定する。設定された参照点は、設定された基準点に対応する点（以下、「対応点」と称する）かどうかの判断対象となる点となる。本明細書においては、対応点を検出することをマッチングと称する。また、画像単位でマッチングを行なうことを画像マッチングと称する。
【００４１】
基準点が設定された基準画像データは、基準点ウィンドウ設定部１３０に入力され、基準点を中心とする基準点ウィンドウが設定される。すなわち、基準点ウィンドウは、基準画像内の複数の画素からなる基準点ウィンドウの中心に、基準点が位置するように設定される。
【００４２】
参照点が設定された参照画像データは、参照点ウィンドウ設定部１３１に入力され、参照点を中心とする参照点ウィンドウが設定される。すなわち、参照点ウィンドウは、参照画像内の複数の画素からなる参照点ウィンドウの中心に、参照点が位置するように設定される。
【００４３】
基準点ウィンドウと参照点ウィンドウは同じサイズを有することができる。基準点ウィンドウと参照点ウィンドウは、例えば、共に等しいサイズの長方形とすることができる。以下、基準点ウィンドウおよび参照点ウィンドウをウィンドウと総称する。
【００４４】
本実施形態においては、ウィンドウは、ステレオカメラ１００の基線長方向の長さのみが異なる複数種類のウィンドウのいずれかを用いる。ここで、基線長方向とは、基準カメラと参照カメラの光学中心を結ぶ方向をいう。
【００４５】
基準カメラ１１０Ａおよび参照カメラ１１０Ｂのレンズに、例えば、アナモフィックレンズや中心窩レンズを使用する場合は、基準画像および参照画像は部分的または全体的に変倍された画像となる。この場合は、ウィンドウの縦横比は、物面でのウィンドウの縦横比がこれらのレンズによる変倍比を是正するように定めることができ、例えば、物面でのウィンドウの縦横比が１になるように定めることができる。このように、ウィンドウの縦横比を、物面でのウィンドウの縦横比がこれらのレンズによる変倍比を是正するように定めることにより、被写体パターンの姿勢依存性を減少させるとともに、遠近競合を抑制することができるため、マッチング精度の低下を防止することができる。
【００４６】
なお、基準画像および参照画像について変倍比を是正するようにウィンドウの縦横比を定めた結果、ウィンドウのサイズが基線長方向に対し垂直方向（以下、単に「垂直方向」と称する）にも拡大される場合があるが、本実施形態にはこのような場合をも含むことは勿論である。
【００４７】
対応点検索処理部１４０には、基準点ウィンドウ設定部１３０から基準点ウィンドウが設定された基準画像データが、参照点ウィンドウ設定部１３１から参照点ウィンドウが設定された参照画像データが、入力される。対応点検索処理部１４０は、設定された基準点に対応する対応点を検索する。対応点の検索は、以下のように行なう。
【００４８】
対応点検索処理部１４０は、基準画像に設定された基準点と参照画像に設定された参照点とを比較する。該比較は、設定された基準点ウィンドウ内に含まれる複数の画素の輝度の平均値（以下、「基準点の輝度」と称する）と、設定された参照点ウィンドウ内に含まれる複数の画素の輝度の平均値（以下、「参照点の輝度」と称する）と、の差を計算することにより行なうことができる。
【００４９】
すなわち、対応点検索処理部１４０は、設定された基準点と設定された参照点とを比較する。その後、参照点設定部１２１は、設定した参照点を参照画像内において一画素分移動させ、移動後の参照点と基準点とを比較する。対応点検索処理部１４０は、このような比較を順次繰り返すことにより、設定された一の基準点と参照画像を構成するすべての画素（参照点）とを比較する。そして、基準点の輝度との差が最も小さい輝度を有する参照点を対応点と判断する。
【００５０】
対応点検索処理部１４０による対応点の検索は、基準画像を構成するすべての画素（基準点）について行なう。すなわち、一の基準点について対応点の検索が行なわれた後、基準点設定部１２０は他の基準点を設定し、基準点ウィンドウ設定部１３０は該他の基準点を中心とする基準点ウィンドウを設定する。参照点設定部１２１は参照点を設定し、参照点ウィンドウ設定部１３１は設定された点を中心とする参照点ウィンドウを設定する。そして、対応点検索処理部１４０は、設定された基準点に対応する対応点を検索する。
【００５１】
対応点検索処理部１４０は、位相限定相関法により基準点ウィンドウと参照点ウィンドウとを比較することができる。位相限定相関法は、画像の振幅成分を除去し画像の位相成分のみで相関演算を行う。したがって、位相限定相関法を採用することにより、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度よく検索できる。
【００５２】
このように、基準点設定部１２０、参照点設定部１２１、基準点ウィンドウ設定部１３０、参照点ウィンドウ設定部１３１、により画像マッチングを行なうことができる。
【００５３】
画像マッチングを行なうことで、基準画像および参照画像の両方に存在する対象物までの距離のデータを計算することができ、これにより、三次元画像を得ることができる。
【００５４】
表示部１５０は、三次元画像を表示する。ここで、使用するレンズに起因して画像に歪を有する場合は、歪補正を行った後の画像である物面の画像を表示してもよい。
【００５５】
本実施形態においては、基準画像および参照画像についての歪補正は、画像マッチングの前または後のいずれにおいて行なってもよい。画像マッチングの前に歪補正をし、画像マッチング時の基準画像および参照画像が補正後の画像（例えば、物面の画像）となる場合は、対応点検索処理部１４０は、歪補正の補正量の大きさに基づいてウィンドウ内の各画素について輝度に重み付けをしてもよい。すなわち、対応点検索処理部１４０は、ウィンドウ内の各画素の輝度に重み付け関数を乗算した後、画像マッチングをしてもよい。この場合、重み付け関数は、補正後の画像におけるウィンドウの縦横比がレンズによる変倍比を是正するように重み付けされることができる。このように重み付けすることにより、被写体パターンの姿勢依存性を減少させるとともに、遠近競合を抑制することができるため、マッチング精度の低下を防止することができる。
【００５６】
本実施形態に係るカメラ装置１０のうち、基準画像入力部１１０、参照画像入力部１１１、基準点設定部１２０、参照点設定部１２１、基準点ウィンドウ設定部１３０、参照点ウィンドウ設定部１３１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、入出力装置からなるコンピュータ（ハードウェア）と、コンピュータプログラム（ソフトウェア）とから構成してもよいがこれに限定されない。すなわち、基準画像入力部１１０、参照画像入力部１１１、基準点設定部１２０、参照点設定部１２１、基準点ウィンドウ設定部１３０、参照点ウィンドウ設定部１３１は、ハードウェアのみにより構成することもできる。
【００５７】
図２は、ステレオカメラによる対象物とステレオカメラとの距離の計算の原理を説明するための説明図である。
【００５８】
図２に示すように、ステレオカメラ１００を構成する基準カメラ１００Ａと参照カメラ１００Ｂは、対象物２００を含む画像を撮影する。対象物２００の画像は、それぞれ座標ｘ１、ｘ２として仮想スクリーン２０１Ａ、２０１Ｂ上に表示される。ステレオカメラから対象物までの距離ｚは、三角測量の原理に基づき、下記式（１）により求めることができる。
【００５９】
【数１】
【００６０】
ここで、Ｂはステレオカメラ１００の基線長、Ｆはステレオカメラ１００の基準カメラ１００Ａおよび参照カメラ１００Ｂの仮想スクリーンまでの距離を示す。これらのパラメータはステレオカメラの設計値を用いることができる。
【００６１】
ステレオカメラ１００で撮影されたすべての対象物に対し、ステレオカメラ１００からの距離を求めることにより、三次元画像を得ることができる。
【００６２】
図３は、画像マッチングについて説明するための説明図である。
【００６３】
図３のＡは、基準画像と参照画像の例を示した図である。基準カメラ１００Ａと参照カメラ１００Ｂの設置位置が基線長方向に異なるため、基準画像内の対象物２００の位置と参照画像内の対象物２００の位置は異なる。
【００６４】
図３のＢは、基準画像に設定した基準点を中心とする基準点ウィンドウ３００Ａと、参照画像に設定した参照点を中心とする参照点ウィンドウ３００Ｂ、３０１Ｂ、３０２Ｂ（３００Ｂ、３０１Ｂ、３０２Ｂは参照点ウィンドウの例である）と、を示している。図３のＢの例では、対応点は参照点ウィンドウ３００Ｂの中心点である。マッチングにおいては、対応点が参照点ウィンドウ３００Ｂの中心点であることを計算により求める。
【００６５】
図３のＣは、基準ウィンドウ３００Ａを構成する画素について説明するための説明図である。図３のＣでは、基準ウィンドウ３００Ａは９個の画素により構成されている。このとき、参照ウィンドウも同一のサイズのウィンドウを用いるため、参照ウィンドウ（図示せず）も９個の画素により構成される。画像マッチングは、上述したように、基準点の輝度と参照点の輝度の差を計算することにより行なう。図３のＣの例では、基準点の輝度は、基準ウィンドウ３００Ａを構成する９個の画素の輝度の平均値である。
【００６６】
図４は、本実施形態に係るカメラ装置の基準点ウィンドウおよび参照点ウィンドウのサイズを説明するための説明図である。
【００６７】
図４のＡは、ステレオカメラ１００の基線長方向（Ｘ方向）と、垂直方向（Ｙ方向）を示す図である。図４のＡに示すように、基準点（例えば、基準画像内の対象物２００である木の頂点２００Ｔ）と対応点（参照画像内の対象物２００である木の頂点２００Ｔ）の各画像上の垂直方向の座標は、ステレオカメラ１００は固定されるためほぼ等しくなる。そのため、ウィンドウのサイズを垂直方向に拡大しなくても、参照点ウィンドウ内に対応点が含まれる確率は十分大きいといえる。したがって、ウィンドウのサイズを垂直方向には拡大せず、基線長方向にのみ拡大することにより、垂直方向にもウィンドウを拡大した場合と比較して計算コストを削減することができる。
【００６８】
図４のＢは、ウィンドウのサイズの例を示す図である。
【００６９】
ウィンドウ４００は、基線長方向および垂直方向に１６ドットの大きさを有するウィンドウである。本実施形態においては、さらに、ウィンドウのサイズを基線長方向にのみ拡大したウィンドウを用いる。ウィンドウ４０１は、ウィンドウ４００に対し基線長方向にのみ２倍に拡大したウィンドウであり、基線長方向に３２ドット、垂直方向に１６ドットのサイズを有する。ウィンドウ４０２は、ウィンドウ４００に対し基線長方向にのみ４倍に拡大したウィンドウであり、基線長方向に６４ドット、垂直方向に１６ドットのサイズを有する。
【００７０】
このように、ウィンドウのサイズをステレオカメラ１００の基線長方向に拡大することによりウィンドウ内の基線長方向の画素数を増大することができるため、ミスマッチングの発生率を低減し、画像マッチングの精度を向上させることができる。また、ウィンドウのサイズをステレオカメラ１００の基線長方向にのみ拡大することにより、一の基準点に関するマッチングの計算対象となる画素数を低減することができるため、ウィンドウのサイズ拡大による計算コストの増大を抑制することができる。したがって、本実施形態によれば、計算コストの増大を抑制するとともに高精度な画像マッチングを実現することができる。
【００７１】
図５は、本実施形態に係る画像マッチング方法のフローチャートを示す図である。本実施形態に係る画像マッチング方法は、図１に示す本実施形態に係るカメラ装置により実施することができる。また、本実施形態に係る画像マッチング方法は、カメラ装置にあらかじめ記憶させたコンピュータプログラムを用いて実施することができる。以下、ステップ番号を明示して各ステップについて詳細に説明する。
【００７２】
基準カメラ１００Ａおよび参照カメラ１００Ｂから画像データを取得する（Ｓ５００）。基準カメラ１００Ａからの基準画像は基準画像入力部１１０に入力され、参照カメラ１００Ｂからの参照画像は参照画像入力部１１１に入力される。
【００７３】
カウンタ値ｉに１を設定し（Ｓ５０１）、ウィンドウのサイズを設定する（Ｓ５０２）。基準点ウィンドウ設定部１３０および参照点ウィンドウ設定部１３１は、カウンタ値ｉを参照し、Ｘ方向のウィンドウサイズを１６にカウンタ値１を乗じた１６ドットに、Ｙ方向のウィンドウサイズを１６ドットに設定する。
【００７４】
基準点ウィンドウ設定部１３０および参照点ウィンドウ設定部１３１は、ステレオカメラ１００のレンズの特性に基づいてあらかじめ定めたウィンドウのサイズのテーブルをカメラ装置１０内のＨＤＤに記憶しておき、検知した該レンズの種類と該テーブルとを比較することでウィンドウサイズを設定してもよい。
【００７５】
カウンタ値ｃｎｔに０を設定する（Ｓ５０３）。カウンタ値ｃｎｔは、基準画像内の基準点の位置に対応する。例えば、カウンタ値ｃｎｔが０のときは、基準点設定部１２０は、基準点が基準画像内の左上端の画素に設定されるようにしてもよい。また、カウンタ値ｃｎｔは、参照画像内の参照点の位置にも対応する。例えば、カウンタ値ｃｎｔが０のときは、参照点設定部１２１は、参照点が参照画像内の左上端の画素に設定されるようにしてもよい。
【００７６】
前ステップＳ５０２におけるウィンドウのサイズの設定は、本ステップＳ５０３の後に実施してもよい。すなわち、例えば、基準点ウィンドウ設定部１３０および参照点ウィンドウ設定部１３１は、本ステップＳ５０３で定まる基準点の位置（すなわち、基準点ウィンドウの位置）とウィンドウのサイズとの関係をステレオカメラ１００のレンズに基づいてあらかじめ定めたテーブルをカメラ装置１０内のＨＤＤに記憶しておき、検知した該レンズの種類と該テーブルとを比較することでウィンドウサイズを設定してもよい。
【００７７】
基準点ウィンドウ設定部１３０は、基準画像内に基準ウィンドウを設定し、対応点検索処理部１４０は、基準点の輝度を計算する（Ｓ５０４）。基準ウィンドウのサイズは、ステップＳ５０２により、Ｘ方向が１６ドット、Ｙ方向が１６ドットに設定される。基準ウィンドウの位置は、ステップＳ５０３により、基準ウィンドウの中心である基準点が基準画像内の左上端の画素となるように設定される。基準点の輝度は、設定された基準点ウィンドウ内に含まれる複数の画素の輝度の平均値により求めることができる。
【００７８】
参照点ウィンドウ設定部１３１は、参照画像内に参照ウィンドウを設定し、対応点検索処理部１４０は、参照点の輝度を計算する（Ｓ５０５）。参照ウィンドウのサイズは、基準ウィンドウと同じサイズであり、ステップＳ５０２により、Ｘ方向が１６ドット、Ｙ方向が１６ドットに設定される。参照ウィンドウの位置は、ステップ５０３により、参照ウィンドウの中心である参照点が参照画像内の左上端の画素となるように設定される。参照点の輝度は、設定された参照点ウィンドウ内に含まれる複数の画素の輝度の平均値により求めることができる。
【００７９】
カウンタ値ｃｎｔをｃｎｔ+１に設定する（Ｓ５０３）。すなわち、カウンタ値ｃｎｔを１つカウントアップする。現在のカウンタ値ｃｎｔは０であるので、本ステップによりカウンタ値ｃｎｔは１になる。上述したように、カウンタ値ｃｎｔは、基準画像内の基準点の位置および参照画像内の参照点の位置に対応する。例えば、カウンタ値が１つカウントアップされるごとに、基準画像内の基準点の位置および参照画像内の参照点の位置が、それぞれＸ方向にのみ一画素分シフトするようにしてもよい。また、その場合、基準画像内の基準点の位置または参照画像内の参照点の位置が、それぞれ基準画像または参照画像の右端に達したときは、次にカウンタ値が１つカウントアップされたときに−Ｙ方向にのみ一画素分シフトするようにし、さらにカウンタ値が１つカウントアップされるごとに−Ｘ方向にのみ一画素分シフトするようにしてもよい。
【００８０】
本ステップによりカウンタ値ｃｎｔは１になるので、基準画像内の基準点の位置は、基準点が基準画像内の左上端から一画素分Ｘ方向にのみシフトした画素に設定される。また、参照画像内の参照点の位置は、参照点が参照画像内の左上端から一画素分Ｘ方向にのみシフトした画素に設定される。
【００８１】
カウンタ値ｃｎｔが基準画像または参照画像の全画素数より小さいかどうかを判断する（Ｓ５０７）。カウンタ値ｃｎｔが基準画像または参照画像の全画素数より小さい場合は、ステップＳ５０４に戻って基準点の設定および基準点の輝度の計算（Ｓ５０４）および参照点の設定および参照点の輝度の計算（Ｓ５０５）を繰り返す。すなわち、基準画像をなすすべての画素に関する基準点の輝度を計算し、かつ、参照画像をなすすべての画素に関する参照点の輝度を計算する。これらの計算結果は、カメラ装置１０のＨＤＤに記憶させることができる。
【００８２】
対応点検索処理部１４０は、ウィンドウ内の画素の平均輝度値により、基準点と参照点とのマッチングを実施する（Ｓ５０８）。すなわち、記憶した基準点の輝度と、記憶した参照点の輝度とを比較し、基準点の輝度との差が最も小さい参照点の輝度を有する参照点を対応点と判断する。基準点と参照点とのマッチングは、すべての基準点について行なうことができる。
【００８３】
対応点検索処理部１４０は、マッチングした基準点と参照点の座標を出力する（Ｓ５０９）。すなわち、基準画像をなすすべての基準点の座標と対応点の座標との組み合わせを出力する。
【００８４】
カウンタ値ｉをｉ+１に設定する（Ｓ５１０）。すなわち、カウンタ値ｉを１つカウントアップする。現在のカウンタ値ｉは１であるので、本ステップによりカウンタ値ｉは２になる。上述したように、カウンタ値ｉは、ウィンドウのサイズに対応する。
【００８５】
カウンタ値ｉが４より小さいかどうかを判断する（Ｓ５１１）。すなわち、カウンタ値ｉの１〜３に対応する３つのウィンドウのサイズで画像マッチングが終了するまで、ステップＳ５０２〜Ｓ５１０による画像マッチングを繰り返す。
【００８６】
ここで、カウンタ値ｉが２となっているときは、ウィンドウのサイズは、カウンタ値である２を参照し、Ｘ方向は、１６にカウンタ値である２を乗じた３２ドットに、Ｙ方向は、１６ドットに設定される。すなわち、カウンタ値ｉが２であるときのウィンドウのサイズは、カウンタ値ｉが１であるときのサイズに対しＸ方向（基線長方向）の長さのみ２倍に拡大したサイズに設定される。
【００８７】
さらに、カウンタ値ｉが３となったときは、ウィンドウのサイズは、カウンタ値である３を参照し、Ｘ方向は、１６にカウンタ値である３を乗じた４８ドットに、Ｙ方向は、１６ドットに設定される。
【００８８】
本発明の実施形態に係るカメラ装置、カメラ装置用プログラム、および、画像マッチング方法は次の効果を奏する。すなわち、画像マッチングに用いるウィンドウを、複数のカメラの基線長方向にのみ拡大することにより、計算コストを抑制するとともに高精度な画像マッチングを実現することができる。
【００８９】
以上、本発明を実施形態に基づき説明したが、本発明の範囲は上述した実施形態に限定されるものではない。
【００９０】
例えば、上述の実施形態では、カメラ装置のカメラとしてステレオカメラを用いているが、２つの単体のカメラを用いてもよい。また、３つ以上のカメラを用いてもよい。
【００９１】
また、マッチングは、基準画像をなす画素（基準点）の一部のみについて行なってもよく、また、参照画像をなす画素（参照点）のうち一部のみについて行なってもよい。
【符号の説明】
【００９２】
１０ カメラ装置、
１００ ステレオカメラ、
１００Ａ 基準カメラ、
１００Ｂ 参照カメラ、
１１０ 基準画像入力部、
１１１ 参照画像入力部、
１２０ 基準点設定部、
１２１ 参照点設定部、
１３０ 基準点ウィンドウ設定部、
１３１ 参照点ウィンドウ設定部、
１４０ 対応点検索処理部、
１５０ 表示部、
２００ 対象物、
２０１Ａ、２０１Ｂ 仮想スクリーン。
【特許請求の範囲】
【請求項１】
複数のカメラからそれぞれ出力された複数の画像を取得する画像取得手段と、
前記画像取得手段が取得した前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する対応箇所検索手段と、を有し、
前記対応箇所検索手段は、前記複数のカメラの基線長方向の長さのみが異なる複数種類の前記ウィンドウを用いて対応する箇所を検索することを特徴とするカメラ装置。
【請求項２】
前記複数のカメラのレンズは、変倍レンズであることを特徴とする請求項１に記載のカメラ装置。
【請求項３】
前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように定められたことを特徴とする請求項２に記載のカメラ装置。
【請求項４】
前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が１となるように定められたことを特徴とする請求項２または３に記載のカメラ装置。
【請求項５】
前記複数のカメラのレンズは、アナモフィックレンズまたは中心窩レンズであることを特徴とする請求項２〜４のいずれかに記載のカメラ装置。
【請求項６】
前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする請求項２〜５のいずれかに記載のカメラ装置。
【請求項７】
前記画像における前記ウィンドウの位置と前記ウィンドウの縦横比との関係を、前記カメラのレンズの特性に基づいてあらかじめ定めたテーブルを参照することにより、前記ウィンドウの縦横比が定められることを特徴とする請求項１〜６のいずれかに記載のカメラ装置。
【請求項８】
前記対応箇所検索手段は、位相限定相関法により前記ウィンドウ同士を比較することを特徴とする請求項１〜７のいずれかに記載のカメラ装置。
【請求項９】
複数のカメラからそれぞれ出力された複数の画像を取得する手順（ａ）と、
前記手順（ａ）において取得した前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する手順（ｂ）と、
前記複数の画像内において、前記手順（ｂ）で設定した前記ウィンドウに対し前記複数のカメラの基線長方向の長さのみが異なる前記ウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する手順（ｃ）と、
をカメラ装置に実行させることを特徴とするカメラ装置用プログラム。
【請求項１０】
前記複数のカメラのレンズは、変倍レンズであることを特徴とする請求項９に記載のカメラ装置用プログラム。
【請求項１１】
前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように定められたことを特徴とする請求項１０に記載のカメラ装置用プログラム。
【請求項１２】
前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が１となるように定められたことを特徴とする請求項１０または１１に記載のカメラ装置用プログラム。
【請求項１３】
前記複数のカメラのレンズは、アナモフィックレンズまたは中心窩レンズであることを特徴とする請求項１０〜１２のいずれかに記載のカメラ装置用プログラム。
【請求項１４】
前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする請求項１０〜１３のいずれかに記載のカメラ装置用プログラム。
【請求項１５】
前記画像における前記ウィンドウの位置と前記ウィンドウの縦横比との関係を、前記カメラのレンズの特性に基づいてあらかじめ定めたテーブルを参照することにより、前記ウィンドウの縦横比が定められることを特徴とする請求項１０〜１４いずれかに記載のカメラ装置用プログラム。
【請求項１６】
前記対応箇所検索手段は、位相限定相関法により前記ウィンドウ同士を比較することを特徴とする請求項９〜１５のいずれかに記載のカメラ装置用プログラム。
【請求項１７】
請求項９〜１６のいずれかに記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１８】
複数のカメラからそれぞれ出力された複数の画像を取得する段階（ａ）と、
前記段階（ａ）において取得した前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する段階（ｂ）と、
前記複数の画像内において、前記段階（ｂ）で設定した前記ウィンドウに対し前記複数のカメラの基線長方向の長さのみが異なる前記ウィンドウを設定し、各ウィンドウを比較することにより、各画像における対応する箇所を検索する段階（ｃ）と、
を有することを特徴とする画像マッチング方法。
【請求項１９】
前記複数のカメラのレンズは、変倍レンズであることを特徴とする請求項１８に記載の画像マッチング方法。
【請求項２０】
前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように定められたことを特徴とする請求項１９に記載の画像マッチング方法。
【請求項２１】
前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が１となるように定められたことを特徴とする請求項１９または２０に記載の画像マッチング方法。
【請求項２２】
前記複数のカメラのレンズは、アナモフィックレンズまたは中心窩レンズであることを特徴とする請求項１９〜２１のいずれかに記載の画像マッチング方法。
【請求項２３】
前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする請求項１９〜２２のいずれかに記載の画像マッチング方法。
【請求項２４】
前記画像における前記ウィンドウの位置と前記ウィンドウの縦横比との関係を、前記カメラのレンズの特性に基づいてあらかじめ定めたテーブルを参照することにより、前記ウィンドウの縦横比が定められることを特徴とする請求項１８〜２３いずれかに記載の画像マッチング方法。
【請求項２５】
前記対応箇所検索手段は、位相限定相関法により前記ウィンドウ同士を比較することを特徴とする請求項１８〜２４のいずれかに記載の画像マッチング方法。
【請求項１】
複数のカメラからそれぞれ出力された複数の画像を取得する画像取得手段と、
前記画像取得手段が取得した前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する対応箇所検索手段と、を有し、
前記対応箇所検索手段は、前記複数のカメラの基線長方向の長さのみが異なる複数種類の前記ウィンドウを用いて対応する箇所を検索することを特徴とするカメラ装置。
【請求項２】
前記複数のカメラのレンズは、変倍レンズであることを特徴とする請求項１に記載のカメラ装置。
【請求項３】
前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように定められたことを特徴とする請求項２に記載のカメラ装置。
【請求項４】
前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が１となるように定められたことを特徴とする請求項２または３に記載のカメラ装置。
【請求項５】
前記複数のカメラのレンズは、アナモフィックレンズまたは中心窩レンズであることを特徴とする請求項２〜４のいずれかに記載のカメラ装置。
【請求項６】
前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする請求項２〜５のいずれかに記載のカメラ装置。
【請求項７】
前記画像における前記ウィンドウの位置と前記ウィンドウの縦横比との関係を、前記カメラのレンズの特性に基づいてあらかじめ定めたテーブルを参照することにより、前記ウィンドウの縦横比が定められることを特徴とする請求項１〜６のいずれかに記載のカメラ装置。
【請求項８】
前記対応箇所検索手段は、位相限定相関法により前記ウィンドウ同士を比較することを特徴とする請求項１〜７のいずれかに記載のカメラ装置。
【請求項９】
複数のカメラからそれぞれ出力された複数の画像を取得する手順（ａ）と、
前記手順（ａ）において取得した前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する手順（ｂ）と、
前記複数の画像内において、前記手順（ｂ）で設定した前記ウィンドウに対し前記複数のカメラの基線長方向の長さのみが異なる前記ウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する手順（ｃ）と、
をカメラ装置に実行させることを特徴とするカメラ装置用プログラム。
【請求項１０】
前記複数のカメラのレンズは、変倍レンズであることを特徴とする請求項９に記載のカメラ装置用プログラム。
【請求項１１】
前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように定められたことを特徴とする請求項１０に記載のカメラ装置用プログラム。
【請求項１２】
前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が１となるように定められたことを特徴とする請求項１０または１１に記載のカメラ装置用プログラム。
【請求項１３】
前記複数のカメラのレンズは、アナモフィックレンズまたは中心窩レンズであることを特徴とする請求項１０〜１２のいずれかに記載のカメラ装置用プログラム。
【請求項１４】
前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする請求項１０〜１３のいずれかに記載のカメラ装置用プログラム。
【請求項１５】
前記画像における前記ウィンドウの位置と前記ウィンドウの縦横比との関係を、前記カメラのレンズの特性に基づいてあらかじめ定めたテーブルを参照することにより、前記ウィンドウの縦横比が定められることを特徴とする請求項１０〜１４いずれかに記載のカメラ装置用プログラム。
【請求項１６】
前記対応箇所検索手段は、位相限定相関法により前記ウィンドウ同士を比較することを特徴とする請求項９〜１５のいずれかに記載のカメラ装置用プログラム。
【請求項１７】
請求項９〜１６のいずれかに記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１８】
複数のカメラからそれぞれ出力された複数の画像を取得する段階（ａ）と、
前記段階（ａ）において取得した前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する段階（ｂ）と、
前記複数の画像内において、前記段階（ｂ）で設定した前記ウィンドウに対し前記複数のカメラの基線長方向の長さのみが異なる前記ウィンドウを設定し、各ウィンドウを比較することにより、各画像における対応する箇所を検索する段階（ｃ）と、
を有することを特徴とする画像マッチング方法。
【請求項１９】
前記複数のカメラのレンズは、変倍レンズであることを特徴とする請求項１８に記載の画像マッチング方法。
【請求項２０】
前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように定められたことを特徴とする請求項１９に記載の画像マッチング方法。
【請求項２１】
前記ウィンドウの縦横比は、物面での前記ウィンドウの縦横比が１となるように定められたことを特徴とする請求項１９または２０に記載の画像マッチング方法。
【請求項２２】
前記複数のカメラのレンズは、アナモフィックレンズまたは中心窩レンズであることを特徴とする請求項１９〜２１のいずれかに記載の画像マッチング方法。
【請求項２３】
前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする請求項１９〜２２のいずれかに記載の画像マッチング方法。
【請求項２４】
前記画像における前記ウィンドウの位置と前記ウィンドウの縦横比との関係を、前記カメラのレンズの特性に基づいてあらかじめ定めたテーブルを参照することにより、前記ウィンドウの縦横比が定められることを特徴とする請求項１８〜２３いずれかに記載の画像マッチング方法。
【請求項２５】
前記対応箇所検索手段は、位相限定相関法により前記ウィンドウ同士を比較することを特徴とする請求項１８〜２４のいずれかに記載の画像マッチング方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１７６６９６（Ｐ２０１１−１７６６９６Ａ）
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願番号】特願２０１０−４０１７６（Ｐ２０１０−４０１７６）
【出願日】平成２２年２月２５日（２０１０．２．２５）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願日】平成２２年２月２５日（２０１０．２．２５）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
[ Back to top ]