画像処理装置、方法、及びプログラム
【課題】撮影時の照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数の画像間での対応点検出精度を向上させる。
【解決手段】分光反射率画像生成部１１ａ、１１ｂで、マルチバンド画像の画素値、撮影時のカメラの分光感度、観察照明光のスペクトル、及び被写体の統計的性質から求められた先見情報を用いて、ウィナー推定により画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。ＲＧＢ画像生成部１２ａ、１２ｂで、分光反射率画像と予め定めた照明光スペクトルと予め定めたカメラの分光感度とを掛けあわせてＲＧＢ画像を生成する。白黒画像生成部１３ａ、１３ｂで、ＲＧＢ画像から白黒画像を生成し、位相画像生成部１７ａ、１７ｂ、相関画像生成部１８、及び対応点検出部１９で、２つのマルチバンド画像間の対応点を検出する。
【解決手段】分光反射率画像生成部１１ａ、１１ｂで、マルチバンド画像の画素値、撮影時のカメラの分光感度、観察照明光のスペクトル、及び被写体の統計的性質から求められた先見情報を用いて、ウィナー推定により画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。ＲＧＢ画像生成部１２ａ、１２ｂで、分光反射率画像と予め定めた照明光スペクトルと予め定めたカメラの分光感度とを掛けあわせてＲＧＢ画像を生成する。白黒画像生成部１３ａ、１３ｂで、ＲＧＢ画像から白黒画像を生成し、位相画像生成部１７ａ、１７ｂ、相関画像生成部１８、及び対応点検出部１９で、２つのマルチバンド画像間の対応点を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及びプログラムに係り、特に、画像間の対応点を検出する画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、撮影時の照明条件等が異なる２枚の画像間の対応点を精度よく（ロバストに）検出する手法の一つとして、位相限定相関法が知られている（例えば、非特許文献１及び２参照）。位相限定相関法は、ヒストグラム法など一般的に用いられる画像の振幅情報（輝度情報）ではなく、位相情報を用いる点が特徴である。
【０００３】
従来の位相限定相関法により対応点を検出する画像処理装置１０１は、例えば、図７に示すように、白黒画像生成部１１２ａ、１１２ｂと、位相画像生成部１１３ａ、１１３ｂと、相関画像生成部１１４と、対応点検出部１１５とを含んだ構成で表すことができる。この従来の画像処理装置１０１によれば、白黒画像生成部１１２ａ、１１２ｂで、カラー画像である入力画像１及び２から白黒画像を生成し、位相画像生成部１１３ａ及び１１３ｂで、生成された白黒画像各々から位相画像を生成する。そして、相関画像生成部１１４で、生成された２つの位相画像から相関画像を生成し、対応点検出部１１５で、生成された相関画像における相関値が最大の座標に基づいて２画像間のずれ量を求めて対応点を検出する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】青木孝文、伊藤康一、柴原琢磨、長嶋聖、「位相限定相関法に基づく高精度マシンビジョン−ピクセル分解能の壁を越える画像センシング技術をめざして−」、Fundamentals Review Vol.1 No.1
【非特許文献２】長嶋聖、青木孝文、樋口龍雄、小林高次、「位相限定相関法に基づくサブピクセル画像マッチングの高性能化」、計測自動制御学会東北支部、第２１８回研究集会
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の非特許文献１及び２記載の手法では、画像が有する色情報を用いておらず、処理対象の画像がカラー画像の場合には、カラー画像を白黒画像に変換した結果画像に対して、上記の位相限定相関法の手法を適用して、対応点を検出している。
【０００６】
しかし、対象となる２枚のカラー画像がそれぞれ異なる照明条件下で撮影されている場合、照明光による色の見え方の違いにより、カラー画像を白黒画像に変換した後もテクスチャの見え方が異なる場合がある。また、入力画像の一方がＲＧＢ画像で他方がマルチバンド画像（またはセンサ特性が異なる複数のカメラで撮影された画像）の場合、同一の被写体であっても、画像におけるテクスチャの見え方が異なる場合がある。このようにテクスチャの見え方が異なる場合には、上述の位相限定相関法でも十分な精度で対応点が検出できない場合がある、という問題がある。また、位相限定相関法以外の手法を適用する場合でも同様の問題は起こりえる。
【０００７】
本発明は、上記の問題を解決するためになされたもので、撮影時の照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数の画像間での対応点検出精度を向上させることができる画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像処理装置は、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像データを取得する取得手段と、前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定する推定手段と、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を、前記マルチバンド画像毎に少なくとも１つ生成する生成手段と、前記生成手段により生成された仮定画像間における対応点を検出する検出手段と、を含んで構成されている。
【０００９】
本発明の画像処理装置によれば、取得手段が、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像データを取得する。次に、推定手段が、取得手段により取得されたマルチバンド画像の画素値、照明光のスペクトル、撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、複数のマルチバンド画像各々の画素毎の分光反射率を推定する。そして、生成手段が、推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を、マルチバンド画像毎に少なくとも１つ生成する。対応する条件とは、マルチバンド画像各々の撮影時の照明光スペクトル及び撮影手段の分光感度が同一または略同一とみなせる条件、または撮影時の照明光スペクトル及び撮影手段の分光感度の異なりによる影響を受けない条件である。そして、検出手段が、生成手段により生成された仮定画像間における対応点を検出する。対応点の検出方法としては、どのような方法を用いてもよい。例えば、画像の位相情報に基づいて画像間の相関を判定する位相限定相関法や、画像の輝度情報に基づくヒストグラム法などを用いることができる。
【００１０】
このように、マルチバンド画像から推定される分光反射率に基づいて、マルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を生成してから、画像間の対応点を検出するため、テクスチャ情報の異なりを抑制することができ、撮影時の照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数の画像間での対応点検出精度を向上させることができる。
【００１１】
また、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に、共通の照明光スペクトル及び共通の撮影手段の分光感度を掛け合わせたＲＧＢ画像を、前記仮定画像として生成することができる。これにより、同じ条件下で撮影した場合と同等の仮定画像を生成することができる。
【００１２】
また、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、共通の特定波長に対応する反射率を抽出した特定波長画像を、前記仮定画像として生成することができる。これにより、撮影時の照明光スペクトル及び撮影手段の分光感度の異なりに影響を受けない仮定画像を生成することができる。
【００１３】
また、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、波長方向の主成分を抽出した主成分画像を、前記仮定画像として生成することができる。これにより、撮影時の照明光スペクトル及び撮影手段の分光感度の異なりに影響を受けない仮定画像を生成することができる。
【００１４】
また、本発明の画像処理方法は、取得手段と、推定手段と、生成手段と、検出手段とを含む画像処理装置における画像処理方法であって、前記取得手段は、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像データを取得し、前記推定手段は、前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定し、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を、前記マルチバンド画像毎に少なくとも１つ生成し、前記検出手段は、前記生成手段により生成された仮定画像間における対応点を検出する方法である。
【００１５】
また、本発明の画像処理プログラムは、コンピュータを、上記の画像処理装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１６】
以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、マルチバンド画像から推定される分光反射率に基づいて、マルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を生成してから、画像間の対応点を検出するため、テクスチャ情報の異なりを抑制することができ、撮影時の照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数の画像間での対応点検出精度を向上させることができる、という効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施の形態に係る画像処理装置の構成を示す概略図である。
【図２】第１の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図３】第２の実施の形態に係る画像処理装置の構成を示す概略図である。
【図４】第２の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図５】第３の実施の形態に係る画像処理装置の構成を示す概略図である。
【図６】第３の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図７】位相限定相関法により対応点を検出する従来の画像処理装置の構成を示す概略図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
［第１の実施の形態］
第１の実施の形態に係る画像処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する画像処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、分光反射率画像生成部１１ａ、１１ｂと、ＲＧＢ画像生成部１２ａ、１２ｂと、白黒画像生成部１３ａ、１３ｂと、位相画像生成部１７ａ、１７ｂと、相関画像生成部１８と、対応点検出部１９とを含んだ構成で表すことができる。なお、分光反射率画像生成部１１ａ、１１ｂが本発明の推定手段の一例であり、ＲＧＢ画像生成部１２ａ、１２ｂが本発明の生成手段の一例であり、位相画像生成部１７ａ、１７ｂ、相関画像生成部１８、及び対応点検出部１９が本発明の検出手段の一例である。
【００１９】
分光反射率画像生成部１１ａは、入力画像１（マルチバンド画像）のデータを取得し、この入力画像１から、ウィナー推定を用いて画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。以下、マルチバンド画像からの分光反射率の推定について説明する（非特許文献３「Masaru Tsuchida, KeijiYano, Hiromi T. Tanaka,“Development of a High-definition and Multispectral Image Capturing System for Digital Archiving of Early Modern Tapestries of Kyoto Gion Festival” 2010 International Conference on Pattern Recognition」参照）。
【００２０】
照明光スペクトルをＥ（λ）、及び被写体の分光反射率をｆ（λ）とすると、観察される反射光スペクトルＩ（λ）は、下記（１）式のように表される。
【００２１】
【数１】
【００２２】
ここでλは波長を示す。この式を基に、Ｎ−バンド画像の画素毎に分光反射率を推定する。カメラの分光感度を、行列Ｓ＝［Ｓ１（λ），Ｓ２（λ），・・・ＳＮ（λ）］Ｔ、及び対角成分が照明光スペクトルである対角行列を行列Ｗとすると、（１）式は下記（２）式のように書き改められる。
【００２３】
【数２】
【００２４】
推定する分光反射率ｆ＾は、下記（３）式で示されるＮ−バンドカメラで得られた信号値から、ウィナー推定法により、下記（４）式のように求められる。
【００２５】
【数３】
【００２６】
ここで、行列Ｍはウィナー推定行列であり、行列Ｈから求められる。行列Ｒは被写体の統計的性質から求められた先見情報である。行列Ｒとしては、例えば、教師データの相関行列、共分散行列などを用いることができる。また、教師データの主成分ベクトルの相関・共分散行列を用いてもよい。さらに、汎用性を持たせるため、マルコフモデルを仮定した下記（５）式を用いてもよい。
【００２７】
【数４】
【００２８】
分光反射率画像生成部１１ｂは、入力画像２（マルチバンド画像）のデータを取得し、分光反射率画像生成部１１ａと同様の処理により、入力画像２から、ウィナー推定を用いて画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。なお、入力画像１と入力画像２とは、撮影時の照明が異なっていてもよいし、撮影に用いたカメラのバンド数や分光感度が異なっていてもよい。
【００２９】
ＲＧＢ画像生成部１２ａは、分光反射率画像生成部１１ａで生成された分光反射率画像に対して、予め定めた照明光スペクトル及び予め定めたカメラの分光感度を掛け合わせて、ＲＧＢ画像を生成する。具体的には、予め定めた照明光スペクトルと各画素に対応する推定された分光反射率の各波長の値を掛け合わせ、さらに各画素に対応する予め定めたカメラの分光感度を掛けあわせる。各画素について算出された波長毎の値からＲ値、Ｇ値、及びＢ値を算出し、各画素の画素値を算出したＲＧＢ値とするＲＧＢ画像を生成する。なお、予め定めた照明光として、全波長でエネルギーが一定の照明光を仮定した場合には、予め定めた照明光スペクトルと分光反射率とを掛け合わせた値として、各画素の分光反射率をそのまま用いることができる。
【００３０】
ＲＧＢ画像生成部１２ｂは、分光反射率画像生成部１１ｂで生成された分光反射率画像に対して、分光反射率画像生成部１１ａで用いたのと共通の予め定めた照明光スペクトル及び予め定めたカメラの分光感度を掛け合わせて、ＲＧＢ画像を生成する。
【００３１】
白黒画像生成部１３ａ、１３ｂは、ＲＧＢ画像生成部１２ａ、１２ｂで生成されたＲＧＢ画像を各々変換して白黒画像を生成する。
【００３２】
位相画像生成部１７ａ、１７ｂは、白黒画像生成部１３ａ、１３ｂで生成された白黒画像各々に対して、画像上のあるサンプル点を中心とした画像領域を抽出する。画像領域は、２の階乗を１辺とする領域とする。例えば、１６×１６ピクセル、６４×６４ピクセルの領域を抽出する。そして、抽出した画像領域毎にフーリエ変換を行って位相情報を得て、各画素の画素値を位相情報とする位相画像を生成する。画像間のずれが単純な平行移動の場合には、画像領域毎の処理ではなく、画像全体に対して処理を行ってもよい。
【００３３】
相関画像生成部１８は、位相画像生成部１７ａで生成された位相画像と、位相画像生成部１７ｂで生成された位相画像との相関を示す相関値を画素値とする相関画像を生成する。
【００３４】
対応点検出部１９は、相関画像生成部１８で生成された相関画像に基づいて、入力画像１と入力画像２との間で、対応点を検出する。具体的には、相関画像において、画素値（相関値）が最大となる座標を求める。仮に２枚の入力画像で位置のずれが全く存在しない場合には、原点の画素値が最大値となる。２枚の画像間で位置ずれが生じている場合には、相関画像上での相関値最大の点の座標値が画像のずれ量に相当する。入力画像間のずれ量が１ピクセル以下の場合には、位相の相関画像に対しガウス関数を内挿してサブピクセル（１画素未満の精度）での位置ずれ量が検出可能である。このようにして得られた画像の位置ずれ量から、例えば、入力画像１を基準として、入力画像１のサンプル点に関する入力画像２上の対応点を検出する。複数の対応点が得られた場合には、片方の入力画像に対し射影変換を施すことにより、位置ずれと共に幾何ゆがみも補正した、対応点の画像上での座標が基準とした入力画像と一致した画像を生成するようにしてもよい。検出された対応点の情報を検出結果として出力する。
【００３５】
なお、位相画像生成部１７ａ、１７ｂ、相関画像生成部１８、及び対応点検出部１９の処理は、従来手法が適用可能であり、非特許文献１及び２に示す位相限定相関法を用いてもよい。
【００３６】
次に、第１の実施の形態に係る画像処理装置１０の作用について説明する。まず、撮影時の照明光のスペクトル及びカメラの分光感度が異なる条件で、入力画像１（マルチバンド画像）及び入力画像２（マルチバンド画像）が撮影された後、画像処理装置１０によって、図２に示す画像処理ルーチンが実行される。
【００３７】
ステップ１００で、撮影時の照明光のスペクトル及びカメラの分光感度が異なる条件で撮影された入力画像１（マルチバンド画像）及び入力画像２（マルチバンド画像）を取得する。
【００３８】
次に、ステップ１０２で、上記ステップ１００で取得した入力画像１及び２各々について、マルチバンド画像の画素値、撮影時のカメラの分光感度、観察照明光のスペクトル、及び被写体の統計的性質から求められた先見情報（例えば、（５）式に示す行列Ｒ）を用いて、ウィナー推定により画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。
【００３９】
次に、ステップ１０４で、入力画像１及び２各々について、上記ステップ１０２で生成した分光反射率画像を用いて、予め定めた照明光スペクトルと各画素に対応する推定された分光反射率の各波長の値を掛け合わせ、さらに各画素に対応する予め定めたカメラの分光感度を掛けあわせる。各画素について算出された波長毎の値からＲ値、Ｇ値、及びＢ値を算出し、各画素の画素値を算出したＲＧＢ値とするＲＧＢ画像を生成する。
【００４０】
次に、ステップ１０６で、上記ステップ１０４で入力画像１及び２各々について生成されたＲＧＢ画像を変換して白黒画像を生成する。次に、ステップ１０８で、上記ステップ１０６で生成した白黒画像各々に対してフーリエ変換を行って位相情報を得て、各画素の画素値を位相情報とする位相画像を生成する。次に、ステップ１１０で、上記ステップ１０８で生成された２つの位相画像間の相関を示す相関値を画素値とする相関画像を生成する。
【００４１】
次に、ステップ１１２で、上記ステップ１１０で生成した相関画像において、画素値（相関値）が最大となる座標を求め、この座標値が２枚の画像間のずれ量に相当することに基づいて、入力画像１及び入力画像２の一方のサンプル点に関する他方の画像上の対応点を検出する。対応点の検出が終了した場合には、検出された対応点の情報を検出結果として出力して、処理を終了する。
【００４２】
以上説明したように、第１の実施の形態の画像処理装置によれば、マルチバンド画像から推定される分光反射率（色情報）と、共通の照明光スペクトル及びカメラの分光感度とを用いて、２つの入力画像各々について、同じ条件下で撮影した場合と同等のＲＧＢ画像を生成してから、位相限定相関法を適用するため、テクスチャ情報の異なりを抑制することができ、照明光スペクトル及びカメラの分光感度が異なる条件下で撮影された画像間での対応点検出精度を向上させることができる。
【００４３】
また、本実施の形態の画像処理装置により、異なる照明条件下や、異なる分光感度を持つカメラで撮影した各画像間の対応点の推定精度が向上することにより、より高品質なマルチバンド画像が生成できるようになる。この結果を利用することで、マルチバンド画像がワンショットで撮影でき、利便性が向上し、従来手法よりも安価にシステムを構築することができる。また、動画への適用のほか、マルチバンド立体画像・動画の取得にも適用可能である。超解像技術と組み合わせれば、従来よりも高精細・高精彩な画像の取得も実現できる。また、３Ｄ−ＣＧソフトウェアへ本実施の形態の画像処理装置の検出結果を利用したマルチバンド画像（または色再現結果）及び３次元形状データを読み込ませることで、従来よりもはるかにリアルなバーチャルリアリティが実現できる。
［第２の実施の形態］
次に、第２の実施の形態について説明する。なお、第２の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。
【００４４】
第２の実施の形態の画像処理装置２０を構成するコンピュータは、機能的には、図３に示すように、分光反射率画像生成部１１ａ、１１ｂと、特定波長画像生成部１４ａ、１４ｂと、位相画像生成部１７ａ、１７ｂと、相関画像生成部１８と、対応点検出部１９とを含んだ構成で表すことができる。なお、特定波長画像生成部１４ａ、１４ｂが本発明の生成手段の一例である。
【００４５】
特定波長画像生成部１４ａは、分光反射率画像生成部１１ａで生成された分光反射率画像に基づいて、画素毎に特定の波長に対する反射率を抽出し、抽出した値を画素値とする特定波長画像を生成する。特定の波長の決定方法は、被写体やアプリケーションに依存するが、例えば、予め被写体の注目点に関する分光スペクトル上で特徴的な波長（例えば、医療画像の場合、酸化ヘモグロビンなど組成物質の特徴が最も顕著に表れる波長）とすることができる。
【００４６】
特定波長画像生成部１４ｂは、分光反射率画像生成部１１ｂで生成された分光反射率画像に基づいて、特定波長画像生成部１４ａと同一の特定波長に対する特定波長画像を生成する。
【００４７】
次に、図４を参照して、第２の実施の形態の画像処理装置２０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。
【００４８】
ステップ１００及び１０２で、入力画像１及び２各々について、分光反射率画像を生成する。
【００４９】
次に、ステップ２００で、入力画像１及び２各々について、上記ステップ１０２で生成した分光反射率画像に基づいて、画素毎に共通の特定波長に対する反射率を抽出し、抽出した値を画素値とする特定波長画像を生成する。
【００５０】
次に、ステップ２０２で、上記ステップ２００で生成した特定波長画像各々について位相画像を生成し、次に、ステップ１１０及び１１２で、相関画像を生成して、入力画像１と入力画像２との対応点を検出し、検出された対応点の情報を検出結果として出力して、処理を終了する。
【００５１】
以上説明したように、第２の実施の形態の画像処理装置によれば、マルチバンド画像から推定される分光反射率（色情報）に基づいて、２つの入力画像各々について、撮影時の照明光スペクトル及びカメラの分光感度の条件の異なりに影響を受けない特定波長画像を生成してから、位相限定相関法を適用するため、テクスチャ情報の異なりを抑制することができ、照明光スペクトル及びカメラの分光感度が異なる条件下で撮影された画像間での対応点検出精度を向上させることができる。
［第３の実施の形態］
次に、第３の実施の形態について説明する。なお、第３の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。
【００５２】
第３の実施の形態の画像処理装置２０を構成するコンピュータは、機能的には、図５に示すように、分光反射率画像生成部１１ａ、１１ｂと、主成分画像生成部１５ａ、１５ｂと、主成分画像選択部１６ａ、１６ｂと、位相画像生成部１７ａ、１７ｂと、相関画像生成部１８と、対応点検出部１９とを含んだ構成で表すことができる。なお、主成分画像生成部１５ａ、１５ｂが本発明の生成手段の一例である。
【００５３】
主成分画像生成部１５ａは、分光反射率画像生成部１１ａで生成された分光反射率画像に対して主成分分析を行って、画素毎に得られた主成分の値を画素値とする主成分画像を生成する。主成分画像は、第１主成分に関する主成分画像、第２主成分に関する主成分画像・・・のように、主成分の数だけ生成される。なお、得られる主成分の数は、マルチバンド画像の場合はそのバンド数、分光反射率画像の場合は波長方向のサンプリング数が上限である。
【００５４】
主成分画像生成部１５ｂは、分光反射率画像生成部１１ｂで生成された分光反射率画像に対して、主成分画像生成部１５ａと同様の処理により主成分画像を生成する。
【００５５】
なお、主成分画像生成部１５ａ、１５ｂで生成する画像は、所定の多次元空間に分光反射率画像を投影して得られる画像であればよい。多次元空間としては、例えば、ＫＬ変換を行う事で得られる多次元空間、教師データから予め得られている、材質の違いを際立たせる多次元空間（例えば、独立主成分により張られる多次元空間や、複数の事前に特定された材質の分光反射率により張られる多次元空間）、波長軸方向でのフーリエ級数で張られる多次元空間、波長軸方向でのコサイン変換やウェーブレット変換で張られる多次元空間等とすることができる。
【００５６】
主成分画像選択部１６ａ、１６ｂは、主成分画像生成部１５ａ、１５ｂ各々で生成された複数の主成分画像の中から各々１つの主成分画像を選択する。例えば、コントラストが最も高い主成分画像を選択することができる。
【００５７】
次に、図６を参照して、第３の実施の形態の画像処理装置３０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。
【００５８】
ステップ１００及び１０２で、入力画像１及び２各々について、分光反射率画像を生成する。
【００５９】
次に、ステップ３００で、入力画像１及び２各々について、上記ステップ１０２で生成した分光反射率画像に対して主成分分析を行って、画素毎に得られた主成分の値を画素値とする主成分画像を、主成分の数だけ生成する。
【００６０】
次に、ステップ３０２で、上記ステップ３００で生成した主成分画像から、入力画像１及び２各々について１つずつ主成分画像を選択する。次に、ステップ３０４で、上記ステップ３０４で選択した主成分画像の位相画像を生成し、次に、ステップ１１０及び１１２で、相関画像を生成して、入力画像１と入力画像２との対応点を検出し、検出された対応点の情報を検出結果として出力して、処理を終了する。
【００６１】
以上説明したように、第３の実施の形態の画像処理装置によれば、マルチバンド画像から推定される分光反射率（色情報）に基づいて、２つの入力画像各々について、撮影時の照明光スペクトル及びカメラの分光感度の条件の異なりに影響を受けない主成分画像を生成してから、位相限定相関法を適用するため、テクスチャ情報の異なりを抑制することができ、照明光スペクトル及びカメラの分光感度が異なる条件下で撮影された画像間での対応点検出精度を向上させることができる。
【００６２】
なお、第３の実施の形態では、主成分画像選択部で複数の主成分画像から１つを選択する場合について説明したが、例えば、主成分画像のコントラストが高い上位３枚の主成分画像を選択するなど、複数の主成分画像を選択するようにしてもよい。この場合、選択された複数の主成分画像各々に対して対応点検出を行い、検出された対応点候補からもっともらしい値（平均値、重心値、メディアン値など）を対応点の検出結果として用いることができる。
【００６３】
また、第１の実施の形態においても、１つの入力画像について、予め定めた照明光スペクトルとして複数の照明光スペクトルを用いて、複数のＲＧＢ画像を生成するようにしてもよい。この場合、複数のＲＧＢ画像の中から選択した各１つずつのＲＧＢ画像について後段の処理を実施するようにしてもよし、複数のＲＧＢ画像各々に対して対応点検出を行い、検出された対応点候補からもっともらしい値（平均値、重心値、メディアン値など）を対応点の検出結果として用いてもよい。同様に、第２の実施の形態においても、１つの入力画像について、複数の特定波長に関する複数の特定波長画像を生成するようにしてもよい。
【００６４】
また、上記第１〜第３の実施の形態では、入力画像が２つの場合について説明したが、入力画像が３つ以上の場合にも適用することができる。この場合、３つ以上の画像各々について仮定画像（ＲＧＢ画像、特定波長画像、主成分画像）を生成してから位相画像を生成し、生成された位相画像の中から２つずつの組あわせを選択して相関画像を生成して、対応点を検出するようにするとよい。
【００６５】
また、上述の画像処理装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００６６】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００６７】
１０、２０、３０ 画像処理装置
１１ａ、１１ｂ 分光反射率画像生成部
１２ａ、１２ｂ ＲＧＢ画像生成部
１３ａ、１３ｂ 白黒画像生成部
１４ａ、１４ｂ 特定波長画像生成部
１５ａ、１５ｂ 主成分画像生成部
１６ａ、１６ｂ 主成分画像選択部
１７ａ、１７ｂ 位相画像生成部
１８ 相関画像生成部
１９ 対応点検出部
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及びプログラムに係り、特に、画像間の対応点を検出する画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、撮影時の照明条件等が異なる２枚の画像間の対応点を精度よく（ロバストに）検出する手法の一つとして、位相限定相関法が知られている（例えば、非特許文献１及び２参照）。位相限定相関法は、ヒストグラム法など一般的に用いられる画像の振幅情報（輝度情報）ではなく、位相情報を用いる点が特徴である。
【０００３】
従来の位相限定相関法により対応点を検出する画像処理装置１０１は、例えば、図７に示すように、白黒画像生成部１１２ａ、１１２ｂと、位相画像生成部１１３ａ、１１３ｂと、相関画像生成部１１４と、対応点検出部１１５とを含んだ構成で表すことができる。この従来の画像処理装置１０１によれば、白黒画像生成部１１２ａ、１１２ｂで、カラー画像である入力画像１及び２から白黒画像を生成し、位相画像生成部１１３ａ及び１１３ｂで、生成された白黒画像各々から位相画像を生成する。そして、相関画像生成部１１４で、生成された２つの位相画像から相関画像を生成し、対応点検出部１１５で、生成された相関画像における相関値が最大の座標に基づいて２画像間のずれ量を求めて対応点を検出する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】青木孝文、伊藤康一、柴原琢磨、長嶋聖、「位相限定相関法に基づく高精度マシンビジョン−ピクセル分解能の壁を越える画像センシング技術をめざして−」、Fundamentals Review Vol.1 No.1
【非特許文献２】長嶋聖、青木孝文、樋口龍雄、小林高次、「位相限定相関法に基づくサブピクセル画像マッチングの高性能化」、計測自動制御学会東北支部、第２１８回研究集会
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の非特許文献１及び２記載の手法では、画像が有する色情報を用いておらず、処理対象の画像がカラー画像の場合には、カラー画像を白黒画像に変換した結果画像に対して、上記の位相限定相関法の手法を適用して、対応点を検出している。
【０００６】
しかし、対象となる２枚のカラー画像がそれぞれ異なる照明条件下で撮影されている場合、照明光による色の見え方の違いにより、カラー画像を白黒画像に変換した後もテクスチャの見え方が異なる場合がある。また、入力画像の一方がＲＧＢ画像で他方がマルチバンド画像（またはセンサ特性が異なる複数のカメラで撮影された画像）の場合、同一の被写体であっても、画像におけるテクスチャの見え方が異なる場合がある。このようにテクスチャの見え方が異なる場合には、上述の位相限定相関法でも十分な精度で対応点が検出できない場合がある、という問題がある。また、位相限定相関法以外の手法を適用する場合でも同様の問題は起こりえる。
【０００７】
本発明は、上記の問題を解決するためになされたもので、撮影時の照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数の画像間での対応点検出精度を向上させることができる画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像処理装置は、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像データを取得する取得手段と、前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定する推定手段と、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を、前記マルチバンド画像毎に少なくとも１つ生成する生成手段と、前記生成手段により生成された仮定画像間における対応点を検出する検出手段と、を含んで構成されている。
【０００９】
本発明の画像処理装置によれば、取得手段が、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像データを取得する。次に、推定手段が、取得手段により取得されたマルチバンド画像の画素値、照明光のスペクトル、撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、複数のマルチバンド画像各々の画素毎の分光反射率を推定する。そして、生成手段が、推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を、マルチバンド画像毎に少なくとも１つ生成する。対応する条件とは、マルチバンド画像各々の撮影時の照明光スペクトル及び撮影手段の分光感度が同一または略同一とみなせる条件、または撮影時の照明光スペクトル及び撮影手段の分光感度の異なりによる影響を受けない条件である。そして、検出手段が、生成手段により生成された仮定画像間における対応点を検出する。対応点の検出方法としては、どのような方法を用いてもよい。例えば、画像の位相情報に基づいて画像間の相関を判定する位相限定相関法や、画像の輝度情報に基づくヒストグラム法などを用いることができる。
【００１０】
このように、マルチバンド画像から推定される分光反射率に基づいて、マルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を生成してから、画像間の対応点を検出するため、テクスチャ情報の異なりを抑制することができ、撮影時の照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数の画像間での対応点検出精度を向上させることができる。
【００１１】
また、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に、共通の照明光スペクトル及び共通の撮影手段の分光感度を掛け合わせたＲＧＢ画像を、前記仮定画像として生成することができる。これにより、同じ条件下で撮影した場合と同等の仮定画像を生成することができる。
【００１２】
また、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、共通の特定波長に対応する反射率を抽出した特定波長画像を、前記仮定画像として生成することができる。これにより、撮影時の照明光スペクトル及び撮影手段の分光感度の異なりに影響を受けない仮定画像を生成することができる。
【００１３】
また、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、波長方向の主成分を抽出した主成分画像を、前記仮定画像として生成することができる。これにより、撮影時の照明光スペクトル及び撮影手段の分光感度の異なりに影響を受けない仮定画像を生成することができる。
【００１４】
また、本発明の画像処理方法は、取得手段と、推定手段と、生成手段と、検出手段とを含む画像処理装置における画像処理方法であって、前記取得手段は、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像データを取得し、前記推定手段は、前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定し、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を、前記マルチバンド画像毎に少なくとも１つ生成し、前記検出手段は、前記生成手段により生成された仮定画像間における対応点を検出する方法である。
【００１５】
また、本発明の画像処理プログラムは、コンピュータを、上記の画像処理装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１６】
以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、マルチバンド画像から推定される分光反射率に基づいて、マルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を生成してから、画像間の対応点を検出するため、テクスチャ情報の異なりを抑制することができ、撮影時の照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数の画像間での対応点検出精度を向上させることができる、という効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施の形態に係る画像処理装置の構成を示す概略図である。
【図２】第１の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図３】第２の実施の形態に係る画像処理装置の構成を示す概略図である。
【図４】第２の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図５】第３の実施の形態に係る画像処理装置の構成を示す概略図である。
【図６】第３の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図７】位相限定相関法により対応点を検出する従来の画像処理装置の構成を示す概略図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
［第１の実施の形態］
第１の実施の形態に係る画像処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する画像処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、分光反射率画像生成部１１ａ、１１ｂと、ＲＧＢ画像生成部１２ａ、１２ｂと、白黒画像生成部１３ａ、１３ｂと、位相画像生成部１７ａ、１７ｂと、相関画像生成部１８と、対応点検出部１９とを含んだ構成で表すことができる。なお、分光反射率画像生成部１１ａ、１１ｂが本発明の推定手段の一例であり、ＲＧＢ画像生成部１２ａ、１２ｂが本発明の生成手段の一例であり、位相画像生成部１７ａ、１７ｂ、相関画像生成部１８、及び対応点検出部１９が本発明の検出手段の一例である。
【００１９】
分光反射率画像生成部１１ａは、入力画像１（マルチバンド画像）のデータを取得し、この入力画像１から、ウィナー推定を用いて画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。以下、マルチバンド画像からの分光反射率の推定について説明する（非特許文献３「Masaru Tsuchida, KeijiYano, Hiromi T. Tanaka,“Development of a High-definition and Multispectral Image Capturing System for Digital Archiving of Early Modern Tapestries of Kyoto Gion Festival” 2010 International Conference on Pattern Recognition」参照）。
【００２０】
照明光スペクトルをＥ（λ）、及び被写体の分光反射率をｆ（λ）とすると、観察される反射光スペクトルＩ（λ）は、下記（１）式のように表される。
【００２１】
【数１】
【００２２】
ここでλは波長を示す。この式を基に、Ｎ−バンド画像の画素毎に分光反射率を推定する。カメラの分光感度を、行列Ｓ＝［Ｓ１（λ），Ｓ２（λ），・・・ＳＮ（λ）］Ｔ、及び対角成分が照明光スペクトルである対角行列を行列Ｗとすると、（１）式は下記（２）式のように書き改められる。
【００２３】
【数２】
【００２４】
推定する分光反射率ｆ＾は、下記（３）式で示されるＮ−バンドカメラで得られた信号値から、ウィナー推定法により、下記（４）式のように求められる。
【００２５】
【数３】
【００２６】
ここで、行列Ｍはウィナー推定行列であり、行列Ｈから求められる。行列Ｒは被写体の統計的性質から求められた先見情報である。行列Ｒとしては、例えば、教師データの相関行列、共分散行列などを用いることができる。また、教師データの主成分ベクトルの相関・共分散行列を用いてもよい。さらに、汎用性を持たせるため、マルコフモデルを仮定した下記（５）式を用いてもよい。
【００２７】
【数４】
【００２８】
分光反射率画像生成部１１ｂは、入力画像２（マルチバンド画像）のデータを取得し、分光反射率画像生成部１１ａと同様の処理により、入力画像２から、ウィナー推定を用いて画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。なお、入力画像１と入力画像２とは、撮影時の照明が異なっていてもよいし、撮影に用いたカメラのバンド数や分光感度が異なっていてもよい。
【００２９】
ＲＧＢ画像生成部１２ａは、分光反射率画像生成部１１ａで生成された分光反射率画像に対して、予め定めた照明光スペクトル及び予め定めたカメラの分光感度を掛け合わせて、ＲＧＢ画像を生成する。具体的には、予め定めた照明光スペクトルと各画素に対応する推定された分光反射率の各波長の値を掛け合わせ、さらに各画素に対応する予め定めたカメラの分光感度を掛けあわせる。各画素について算出された波長毎の値からＲ値、Ｇ値、及びＢ値を算出し、各画素の画素値を算出したＲＧＢ値とするＲＧＢ画像を生成する。なお、予め定めた照明光として、全波長でエネルギーが一定の照明光を仮定した場合には、予め定めた照明光スペクトルと分光反射率とを掛け合わせた値として、各画素の分光反射率をそのまま用いることができる。
【００３０】
ＲＧＢ画像生成部１２ｂは、分光反射率画像生成部１１ｂで生成された分光反射率画像に対して、分光反射率画像生成部１１ａで用いたのと共通の予め定めた照明光スペクトル及び予め定めたカメラの分光感度を掛け合わせて、ＲＧＢ画像を生成する。
【００３１】
白黒画像生成部１３ａ、１３ｂは、ＲＧＢ画像生成部１２ａ、１２ｂで生成されたＲＧＢ画像を各々変換して白黒画像を生成する。
【００３２】
位相画像生成部１７ａ、１７ｂは、白黒画像生成部１３ａ、１３ｂで生成された白黒画像各々に対して、画像上のあるサンプル点を中心とした画像領域を抽出する。画像領域は、２の階乗を１辺とする領域とする。例えば、１６×１６ピクセル、６４×６４ピクセルの領域を抽出する。そして、抽出した画像領域毎にフーリエ変換を行って位相情報を得て、各画素の画素値を位相情報とする位相画像を生成する。画像間のずれが単純な平行移動の場合には、画像領域毎の処理ではなく、画像全体に対して処理を行ってもよい。
【００３３】
相関画像生成部１８は、位相画像生成部１７ａで生成された位相画像と、位相画像生成部１７ｂで生成された位相画像との相関を示す相関値を画素値とする相関画像を生成する。
【００３４】
対応点検出部１９は、相関画像生成部１８で生成された相関画像に基づいて、入力画像１と入力画像２との間で、対応点を検出する。具体的には、相関画像において、画素値（相関値）が最大となる座標を求める。仮に２枚の入力画像で位置のずれが全く存在しない場合には、原点の画素値が最大値となる。２枚の画像間で位置ずれが生じている場合には、相関画像上での相関値最大の点の座標値が画像のずれ量に相当する。入力画像間のずれ量が１ピクセル以下の場合には、位相の相関画像に対しガウス関数を内挿してサブピクセル（１画素未満の精度）での位置ずれ量が検出可能である。このようにして得られた画像の位置ずれ量から、例えば、入力画像１を基準として、入力画像１のサンプル点に関する入力画像２上の対応点を検出する。複数の対応点が得られた場合には、片方の入力画像に対し射影変換を施すことにより、位置ずれと共に幾何ゆがみも補正した、対応点の画像上での座標が基準とした入力画像と一致した画像を生成するようにしてもよい。検出された対応点の情報を検出結果として出力する。
【００３５】
なお、位相画像生成部１７ａ、１７ｂ、相関画像生成部１８、及び対応点検出部１９の処理は、従来手法が適用可能であり、非特許文献１及び２に示す位相限定相関法を用いてもよい。
【００３６】
次に、第１の実施の形態に係る画像処理装置１０の作用について説明する。まず、撮影時の照明光のスペクトル及びカメラの分光感度が異なる条件で、入力画像１（マルチバンド画像）及び入力画像２（マルチバンド画像）が撮影された後、画像処理装置１０によって、図２に示す画像処理ルーチンが実行される。
【００３７】
ステップ１００で、撮影時の照明光のスペクトル及びカメラの分光感度が異なる条件で撮影された入力画像１（マルチバンド画像）及び入力画像２（マルチバンド画像）を取得する。
【００３８】
次に、ステップ１０２で、上記ステップ１００で取得した入力画像１及び２各々について、マルチバンド画像の画素値、撮影時のカメラの分光感度、観察照明光のスペクトル、及び被写体の統計的性質から求められた先見情報（例えば、（５）式に示す行列Ｒ）を用いて、ウィナー推定により画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。
【００３９】
次に、ステップ１０４で、入力画像１及び２各々について、上記ステップ１０２で生成した分光反射率画像を用いて、予め定めた照明光スペクトルと各画素に対応する推定された分光反射率の各波長の値を掛け合わせ、さらに各画素に対応する予め定めたカメラの分光感度を掛けあわせる。各画素について算出された波長毎の値からＲ値、Ｇ値、及びＢ値を算出し、各画素の画素値を算出したＲＧＢ値とするＲＧＢ画像を生成する。
【００４０】
次に、ステップ１０６で、上記ステップ１０４で入力画像１及び２各々について生成されたＲＧＢ画像を変換して白黒画像を生成する。次に、ステップ１０８で、上記ステップ１０６で生成した白黒画像各々に対してフーリエ変換を行って位相情報を得て、各画素の画素値を位相情報とする位相画像を生成する。次に、ステップ１１０で、上記ステップ１０８で生成された２つの位相画像間の相関を示す相関値を画素値とする相関画像を生成する。
【００４１】
次に、ステップ１１２で、上記ステップ１１０で生成した相関画像において、画素値（相関値）が最大となる座標を求め、この座標値が２枚の画像間のずれ量に相当することに基づいて、入力画像１及び入力画像２の一方のサンプル点に関する他方の画像上の対応点を検出する。対応点の検出が終了した場合には、検出された対応点の情報を検出結果として出力して、処理を終了する。
【００４２】
以上説明したように、第１の実施の形態の画像処理装置によれば、マルチバンド画像から推定される分光反射率（色情報）と、共通の照明光スペクトル及びカメラの分光感度とを用いて、２つの入力画像各々について、同じ条件下で撮影した場合と同等のＲＧＢ画像を生成してから、位相限定相関法を適用するため、テクスチャ情報の異なりを抑制することができ、照明光スペクトル及びカメラの分光感度が異なる条件下で撮影された画像間での対応点検出精度を向上させることができる。
【００４３】
また、本実施の形態の画像処理装置により、異なる照明条件下や、異なる分光感度を持つカメラで撮影した各画像間の対応点の推定精度が向上することにより、より高品質なマルチバンド画像が生成できるようになる。この結果を利用することで、マルチバンド画像がワンショットで撮影でき、利便性が向上し、従来手法よりも安価にシステムを構築することができる。また、動画への適用のほか、マルチバンド立体画像・動画の取得にも適用可能である。超解像技術と組み合わせれば、従来よりも高精細・高精彩な画像の取得も実現できる。また、３Ｄ−ＣＧソフトウェアへ本実施の形態の画像処理装置の検出結果を利用したマルチバンド画像（または色再現結果）及び３次元形状データを読み込ませることで、従来よりもはるかにリアルなバーチャルリアリティが実現できる。
［第２の実施の形態］
次に、第２の実施の形態について説明する。なお、第２の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。
【００４４】
第２の実施の形態の画像処理装置２０を構成するコンピュータは、機能的には、図３に示すように、分光反射率画像生成部１１ａ、１１ｂと、特定波長画像生成部１４ａ、１４ｂと、位相画像生成部１７ａ、１７ｂと、相関画像生成部１８と、対応点検出部１９とを含んだ構成で表すことができる。なお、特定波長画像生成部１４ａ、１４ｂが本発明の生成手段の一例である。
【００４５】
特定波長画像生成部１４ａは、分光反射率画像生成部１１ａで生成された分光反射率画像に基づいて、画素毎に特定の波長に対する反射率を抽出し、抽出した値を画素値とする特定波長画像を生成する。特定の波長の決定方法は、被写体やアプリケーションに依存するが、例えば、予め被写体の注目点に関する分光スペクトル上で特徴的な波長（例えば、医療画像の場合、酸化ヘモグロビンなど組成物質の特徴が最も顕著に表れる波長）とすることができる。
【００４６】
特定波長画像生成部１４ｂは、分光反射率画像生成部１１ｂで生成された分光反射率画像に基づいて、特定波長画像生成部１４ａと同一の特定波長に対する特定波長画像を生成する。
【００４７】
次に、図４を参照して、第２の実施の形態の画像処理装置２０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。
【００４８】
ステップ１００及び１０２で、入力画像１及び２各々について、分光反射率画像を生成する。
【００４９】
次に、ステップ２００で、入力画像１及び２各々について、上記ステップ１０２で生成した分光反射率画像に基づいて、画素毎に共通の特定波長に対する反射率を抽出し、抽出した値を画素値とする特定波長画像を生成する。
【００５０】
次に、ステップ２０２で、上記ステップ２００で生成した特定波長画像各々について位相画像を生成し、次に、ステップ１１０及び１１２で、相関画像を生成して、入力画像１と入力画像２との対応点を検出し、検出された対応点の情報を検出結果として出力して、処理を終了する。
【００５１】
以上説明したように、第２の実施の形態の画像処理装置によれば、マルチバンド画像から推定される分光反射率（色情報）に基づいて、２つの入力画像各々について、撮影時の照明光スペクトル及びカメラの分光感度の条件の異なりに影響を受けない特定波長画像を生成してから、位相限定相関法を適用するため、テクスチャ情報の異なりを抑制することができ、照明光スペクトル及びカメラの分光感度が異なる条件下で撮影された画像間での対応点検出精度を向上させることができる。
［第３の実施の形態］
次に、第３の実施の形態について説明する。なお、第３の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。
【００５２】
第３の実施の形態の画像処理装置２０を構成するコンピュータは、機能的には、図５に示すように、分光反射率画像生成部１１ａ、１１ｂと、主成分画像生成部１５ａ、１５ｂと、主成分画像選択部１６ａ、１６ｂと、位相画像生成部１７ａ、１７ｂと、相関画像生成部１８と、対応点検出部１９とを含んだ構成で表すことができる。なお、主成分画像生成部１５ａ、１５ｂが本発明の生成手段の一例である。
【００５３】
主成分画像生成部１５ａは、分光反射率画像生成部１１ａで生成された分光反射率画像に対して主成分分析を行って、画素毎に得られた主成分の値を画素値とする主成分画像を生成する。主成分画像は、第１主成分に関する主成分画像、第２主成分に関する主成分画像・・・のように、主成分の数だけ生成される。なお、得られる主成分の数は、マルチバンド画像の場合はそのバンド数、分光反射率画像の場合は波長方向のサンプリング数が上限である。
【００５４】
主成分画像生成部１５ｂは、分光反射率画像生成部１１ｂで生成された分光反射率画像に対して、主成分画像生成部１５ａと同様の処理により主成分画像を生成する。
【００５５】
なお、主成分画像生成部１５ａ、１５ｂで生成する画像は、所定の多次元空間に分光反射率画像を投影して得られる画像であればよい。多次元空間としては、例えば、ＫＬ変換を行う事で得られる多次元空間、教師データから予め得られている、材質の違いを際立たせる多次元空間（例えば、独立主成分により張られる多次元空間や、複数の事前に特定された材質の分光反射率により張られる多次元空間）、波長軸方向でのフーリエ級数で張られる多次元空間、波長軸方向でのコサイン変換やウェーブレット変換で張られる多次元空間等とすることができる。
【００５６】
主成分画像選択部１６ａ、１６ｂは、主成分画像生成部１５ａ、１５ｂ各々で生成された複数の主成分画像の中から各々１つの主成分画像を選択する。例えば、コントラストが最も高い主成分画像を選択することができる。
【００５７】
次に、図６を参照して、第３の実施の形態の画像処理装置３０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。
【００５８】
ステップ１００及び１０２で、入力画像１及び２各々について、分光反射率画像を生成する。
【００５９】
次に、ステップ３００で、入力画像１及び２各々について、上記ステップ１０２で生成した分光反射率画像に対して主成分分析を行って、画素毎に得られた主成分の値を画素値とする主成分画像を、主成分の数だけ生成する。
【００６０】
次に、ステップ３０２で、上記ステップ３００で生成した主成分画像から、入力画像１及び２各々について１つずつ主成分画像を選択する。次に、ステップ３０４で、上記ステップ３０４で選択した主成分画像の位相画像を生成し、次に、ステップ１１０及び１１２で、相関画像を生成して、入力画像１と入力画像２との対応点を検出し、検出された対応点の情報を検出結果として出力して、処理を終了する。
【００６１】
以上説明したように、第３の実施の形態の画像処理装置によれば、マルチバンド画像から推定される分光反射率（色情報）に基づいて、２つの入力画像各々について、撮影時の照明光スペクトル及びカメラの分光感度の条件の異なりに影響を受けない主成分画像を生成してから、位相限定相関法を適用するため、テクスチャ情報の異なりを抑制することができ、照明光スペクトル及びカメラの分光感度が異なる条件下で撮影された画像間での対応点検出精度を向上させることができる。
【００６２】
なお、第３の実施の形態では、主成分画像選択部で複数の主成分画像から１つを選択する場合について説明したが、例えば、主成分画像のコントラストが高い上位３枚の主成分画像を選択するなど、複数の主成分画像を選択するようにしてもよい。この場合、選択された複数の主成分画像各々に対して対応点検出を行い、検出された対応点候補からもっともらしい値（平均値、重心値、メディアン値など）を対応点の検出結果として用いることができる。
【００６３】
また、第１の実施の形態においても、１つの入力画像について、予め定めた照明光スペクトルとして複数の照明光スペクトルを用いて、複数のＲＧＢ画像を生成するようにしてもよい。この場合、複数のＲＧＢ画像の中から選択した各１つずつのＲＧＢ画像について後段の処理を実施するようにしてもよし、複数のＲＧＢ画像各々に対して対応点検出を行い、検出された対応点候補からもっともらしい値（平均値、重心値、メディアン値など）を対応点の検出結果として用いてもよい。同様に、第２の実施の形態においても、１つの入力画像について、複数の特定波長に関する複数の特定波長画像を生成するようにしてもよい。
【００６４】
また、上記第１〜第３の実施の形態では、入力画像が２つの場合について説明したが、入力画像が３つ以上の場合にも適用することができる。この場合、３つ以上の画像各々について仮定画像（ＲＧＢ画像、特定波長画像、主成分画像）を生成してから位相画像を生成し、生成された位相画像の中から２つずつの組あわせを選択して相関画像を生成して、対応点を検出するようにするとよい。
【００６５】
また、上述の画像処理装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００６６】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００６７】
１０、２０、３０ 画像処理装置
１１ａ、１１ｂ 分光反射率画像生成部
１２ａ、１２ｂ ＲＧＢ画像生成部
１３ａ、１３ｂ 白黒画像生成部
１４ａ、１４ｂ 特定波長画像生成部
１５ａ、１５ｂ 主成分画像生成部
１６ａ、１６ｂ 主成分画像選択部
１７ａ、１７ｂ 位相画像生成部
１８ 相関画像生成部
１９ 対応点検出部
【特許請求の範囲】
【請求項１】
照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像データを取得する取得手段と、
前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定する推定手段と、
前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を、前記マルチバンド画像毎に少なくとも１つ生成する生成手段と、
前記生成手段により生成された仮定画像間における対応点を検出する検出手段と、
を含む画像処理装置。
【請求項２】
前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に、共通の照明光スペクトル及び共通の撮影手段の分光感度を掛け合わせたＲＧＢ画像を、前記仮定画像として生成する請求項１記載の画像処理装置。
【請求項３】
前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、共通の特定波長に対応する反射率を抽出した特定波長画像を、前記仮定画像として生成する請求項１記載の画像処理装置。
【請求項４】
前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、波長方向の主成分を抽出した主成分画像を、前記仮定画像として生成する請求項１記載の画像処理装置。
【請求項５】
取得手段と、推定手段と、生成手段と、検出手段とを含む画像処理装置における画像処理方法であって、
前記取得手段は、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像データを取得し、
前記推定手段は、前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定し、
前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を、前記マルチバンド画像毎に少なくとも１つ生成し、
前記検出手段は、前記生成手段により生成された仮定画像間における対応点を検出する
画像処理方法。
【請求項６】
コンピュータを、請求項１〜請求項４のいずれか１項記載の画像処理装置を構成する各手段として機能させるための画像処理プログラム。
【請求項１】
照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像データを取得する取得手段と、
前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定する推定手段と、
前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を、前記マルチバンド画像毎に少なくとも１つ生成する生成手段と、
前記生成手段により生成された仮定画像間における対応点を検出する検出手段と、
を含む画像処理装置。
【請求項２】
前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に、共通の照明光スペクトル及び共通の撮影手段の分光感度を掛け合わせたＲＧＢ画像を、前記仮定画像として生成する請求項１記載の画像処理装置。
【請求項３】
前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、共通の特定波長に対応する反射率を抽出した特定波長画像を、前記仮定画像として生成する請求項１記載の画像処理装置。
【請求項４】
前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、波長方向の主成分を抽出した主成分画像を、前記仮定画像として生成する請求項１記載の画像処理装置。
【請求項５】
取得手段と、推定手段と、生成手段と、検出手段とを含む画像処理装置における画像処理方法であって、
前記取得手段は、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像データを取得し、
前記推定手段は、前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定し、
前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を、前記マルチバンド画像毎に少なくとも１つ生成し、
前記検出手段は、前記生成手段により生成された仮定画像間における対応点を検出する
画像処理方法。
【請求項６】
コンピュータを、請求項１〜請求項４のいずれか１項記載の画像処理装置を構成する各手段として機能させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−９２８８５（Ｐ２０１３−９２８８５Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３４１７３（Ｐ２０１１−２３４１７３）
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（５０４１５７０２４）国立大学法人東北大学 (2,297)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（５０４１５７０２４）国立大学法人東北大学 (2,297)
【Ｆターム（参考）】
[ Back to top ]