画像入力装置、画像入力方法及び画像入力プログラム
【課題】特殊な光学系を用いることなく、複数の異なる位置に配置した画像センサでの撮影結果を統合することで、被写体またはカメラが動いている状況、もしくは照明環境が変動している状況下においてもマルチバンド画像の取得を可能にする。
【解決手段】被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段と、第１及び第２の撮像手段により得られた基準画像と分光情報画像との対応点を探索して、三角測量の原理に基づき、分光情報画像の視点位置を基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出手段と、画像変形パラメータに基づき、分光情報画像の変形処理を行う画像変形処理手段と、基準画像と、画像変形処理手段により画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力手段とを備えた。
【解決手段】被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段と、第１及び第２の撮像手段により得られた基準画像と分光情報画像との対応点を探索して、三角測量の原理に基づき、分光情報画像の視点位置を基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出手段と、画像変形パラメータに基づき、分光情報画像の変形処理を行う画像変形処理手段と、基準画像と、画像変形処理手段により画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力手段とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチバンド画像を取得する画像入力装置、画像入力方法及び画像入力プログラムに関する。
【背景技術】
【０００２】
従来から、マルチバンド画像を取得する方式として、時分割撮影方式が知られている（例えば、非特許文献１参照）。この方式は、白黒画像センサの前に狭帯域のバンドパスフィルタを置き、バンドパスフィルタを取り変えながら順次、時分割に各バンドに対応する画像を取得する方式である。また、フィルタの波長透過率を電気的に変化できる液晶チューナブルフィルタを用いた手法も提案されている。
【０００３】
また、他のマルチバンド画像を取得する方式として、分岐光学系を用いる方式も知られている（例えば、非特許文献２参照）。この方式は、同一位置にあるセンサを使って時分割に撮影する場合、時分割撮影の制約から物体自身の動きや環境変動が伴う場合に対応できないため、レンズは固定した状態でその後ろ側にハーフミラーやダイクロイックミラーを置きレンズを通過した光を分岐させ、複数の位置で撮影しつつも仮想的に同一の位置での撮影となるように工夫した手法である。この手法では時分割撮影では不可能であった、動いている被写体やマルチバンド動画の撮影が可能となる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】M. Yamaguchi, Y. Murakami, T. Uchiyama, K. Ohsawa, and N. Ohyama, "Natural Vision: Visual Telecommunication based on Multispectral Technology," IDW '00 (2000) 1115-1118
【非特許文献２】K. Ohsawa, T. Ajito, H. Fukuda, Y. Komiya, H. Haneishi, M. Yamaguchi, and N. Ohyama, "Six-band HDTV camera system for spectrum-based color reproduction," J. Imaging Science and Technology, vol.48, no.2, (2004) 85-92
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、非特許文献１に記載の時分割撮影方式にあっては、被写体またはカメラが動いている場合、もしくは照明環境が変動している状況においてはマルチバンド画像の撮影ができないという問題がある。マルチバンド画像の撮影において、被写体またはカメラが動いている場合、もしくは照明環境が変動している状況においては、非特許文献２に記載の分岐光学系方式を用いない限りマルチバンド画像の撮影が困難である。
【０００６】
しかしながら、同一位置にある撮像センサで複数のバンドの画像を撮影する際に用いられる分岐光学系方式は、特殊な光学系が必要であるため、コストが高いという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、特殊な光学系を用いることなく、複数の異なる位置に配置した画像センサでの撮影結果を統合することで、被写体またはカメラが動いている状況、もしくは照明環境が変動している状況下においてもマルチバンド画像の取得を可能にすることができる画像入力装置、画像入力方法及び画像入力プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段と、前記第１及び第２の撮像手段により得られた前記基準画像と前記分光情報画像との対応点を探索して、三角測量の原理に基づき、前記分光情報画像の視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出手段と、前記画像変形パラメータに基づき、前記分光情報画像の変形処理を行う画像変形処理手段と、前記基準画像と、前記画像変形処理手段により画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力手段とを備えたことを特徴とする。
【０００９】
本発明は、被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る複数の第２の撮像手段と、前記第１の撮像手段により得られた前記基準画像と、前記第２の撮像手段により得られた複数の前記分光情報画像それぞれとの対応点を探索して、三角測量の原理に基づき、前記分光情報画像それぞれの視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出手段と、前記対応点検出手段により前記対応点が見つからなかった画像中の領域をオクルージョン領域として検出するオクルージョン領域検出手段と、前記オクルージョン領域検出手段により検出された前記オクルージョン領域を除外して、前記画像変形パラメータに基づき、複数の前記分光情報画像それぞれの変形処理を行う画像変形処理手段と、前記画像変形処理手段により画像変形された前記複数の前記分光情報画像のうち、前記オクルージョン領域を他の前記分光情報画像により補いながら複数の前記分光情報画像を合成する分光情報画像合成手段と、前記基準画像と、前記分光情報画像合成手段により合成された前記分光情報画像とをマルチバンド画像として出力する画像出力手段とを備えたことを特徴とする。
【００１０】
本発明は、被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段と、対応点検出手段と、画像変形処理手段と、画像出力手段とを備える画像入力における画像入力方法であって、前記対応点検出手段が、前記第１及び第２の撮像手段により得られた前記基準画像と前記分光情報画像との対応点を探索して、三角測量の原理に基づき、前記分光情報画像の視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、前記画像変形処理手段が、前記画像変形パラメータに基づき、前記分光情報画像の変形処理を行う画像変形処理ステップと、前記画像出力手段が、前記基準画像と、前記画像変形処理ステップにより画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力ステップとを有することを特徴とする。
【００１１】
本発明は、被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る複数の第２の撮像手段と、対応点検出手段と、オクルージョン領域検出手段と、画像変形処理手段と、分光情報画像合成手段と、画像出力手段とを備える画像入力における画像入力方法であって、前記対応点検出手段が、前記第１の撮像手段により得られた前記基準画像と、前記第２の撮像手段により得られた複数の前記分光情報画像それぞれとの対応点を探索して、三角測量の原理に基づき、前記分光情報画像それぞれの視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、前記オクルージョン領域検出手段が、前記対応点検出ステップにより前記対応点が見つからなかった画像中の領域をオクルージョン領域として検出するオクルージョン領域検出ステップと、前記画像変形処理手段が、前記オクルージョン領域検出ステップにより検出された前記オクルージョン領域を除外して、前記画像変形パラメータに基づき、複数の前記分光情報画像それぞれの変形処理を行う画像変形処理ステップと、前記分光情報画像合成手段が、前記画像変形処理ステップにより画像変形された前記複数の前記分光情報画像のうち、前記オクルージョン領域を他の前記分光情報画像により補いながら複数の前記分光情報画像を合成する分光情報画像合成ステップと、前記画像出力手段が、前記基準画像と、前記分光情報画像合成ステップにより合成された前記分光情報画像とをマルチバンド画像として出力する画像出力ステップとを有することを特徴とする。
【００１２】
本発明は、被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段とを備える画像入力装置上のコンピュータに画像入力処理を行わせる画像入力プログラムであって、前記第１及び第２の撮像手段により得られた前記基準画像と前記分光情報画像との対応点を探索して、三角測量の原理に基づき、前記分光情報画像の視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、前記画像変形パラメータに基づき、前記分光情報画像の変形処理を行う画像変形処理ステップと、前記基準画像と、前記画像変形処理手段により画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力ステップとを前記コンピュータに行わせることを特徴とする。
【００１３】
本発明は、被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る複数の第２の撮像手段とを備える画像入力装置上のコンピュータに画像入力処理を行わせる画像入力プログラムであって、前記第１の撮像手段により得られた前記基準画像と、前記第２の撮像手段により得られた複数の前記分光情報画像それぞれとの対応点を探索して、三角測量の原理に基づき、前記分光情報画像それぞれの視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、前記対応点検出ステップにより前記対応点が見つからなかった画像中の領域をオクルージョン領域として検出するオクルージョン領域検出ステップと、前記オクルージョン領域検出ステップにより検出された前記オクルージョン領域を除外して、前記画像変形パラメータに基づき、複数の前記分光情報画像それぞれの変形処理を行う画像変形処理ステップと、前記画像変形処理ステップにより画像変形された前記複数の前記分光情報画像のうち、前記オクルージョン領域を他の前記分光情報画像により補いながら複数の前記分光情報画像を合成する分光情報画像合成ステップと、前記基準画像と、前記分光情報画像合成ステップにより合成された前記分光情報画像とをマルチバンド画像として出力する画像出力ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、複数のカメラを用いて１回の撮影でマルチバンド画像を取得する際に、ステレオ画像処理を適用し、複数の視点からの画像を統合してマルチバンド画像を生成するようにしたため、異なる視点からの異なる分光感度のカメラで撮影した画像からマルチバンド画像を生成することが可能になるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】多層膜フィルタの分光透過率特性を示す図である。
【図３】分光情報画像を得るカメラの実効分光感度特性を示す図である。
【図４】本発明の第２の実施形態の構成を示すブロック図である。
【図５】撮影画像の一例を示す図である。
【図６】撮影画像の一例を示す図である。
【図７】画像変形を施した画像の一例を示す図である。
【図８】色再現結果の画像の一例を示す図である。
【図９】画像の一部を拡大表示した結果の画像の一例を示す図である。
【図１０】画像の一部を拡大表示した結果の画像の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施形態による画像入力装置を説明する。本発明の画像入力装置は、分光感度が異なる２台以上のカメラを同期して動作させて、１組のステレオ画像を撮影し、得られた各画像間で対応点探索を行って、それぞれの画像が予め定めた基準カメラにより得られた画像に一致するよう、画像を変形させることで１組のマルチバンド画像を生成するものである。なお、分光感度が異なるカメラを使用する代わりに、複数の同じカメラでも、レンズの前に光学フィルタを置くことで疑似的にカメラの分光感度を変化させるようにしても良い。
【００１７】
＜第１の実施形態＞
図１は第１の実施形態の構成を示すブロック図である。この図において、符号１は、基準となるデジタルの画像データである基準画像を取得するカメラである。カメラ１により基準画像入力部２を構成する。符号３は、所定の分光透過率を有する分光撮影用フィルタである。符号４は、カメラ１と同等の機能を有し、分光情報画像データである分光情報画像を取得するカメラである。分光撮影用フィルタ３とカメラ４により分光情報画像入力部５を構成する。基準画像入力部２と分光情報画像入力部５により画像入力部９を構成する。符号１０は、画像入力部９を構成する２台のカメラ１、４により取得した画像データを記憶する画像記憶部である。符号１１は、２台のカメラ１、４のそれぞれから出力する２つの画像（基準画像と分光情報画像）間の対応点を探索し、画像変形を行うための画像変形パラメータを算出して出力する対応点検出部である。
【００１８】
符号１２は、対応点検出部１１において得られた画像変形パラメータを用いて、画像記憶部１０に記憶されているカメラ４によって取得した画像（分光情報画像）に対して、カメラ１により取得した画像（基準画像）に一致するよう幾何的な変形画像処理を施す画像変形処理部である。符号１３は、色再現パラメータを外部から入力し、この色再現パラメータに基づき観察環境に合わせた色再現処理を行う分光画像処理部である。符号１４は、対応点検出部１１から出力される２つの画像（基準画像と分光情報画像）上における対応点の位置関係からカメラ１、４の姿勢パラメータと共に被写体の奥行情報（３次元形状情報）を算出する奥行情報算出部である。符号１５は、奥行情報算出部１４から出力するカメラ１、４の姿勢パラメータ及び被写体の奥行情報（３次元形状情報）と分光画像処理部１３から出力される色再現画像（ＲＧＢ画像）から３次元形状モデルを合成して出力するテクスチャ貼合せ部である。画像記憶部１０、対応点検出部１１、画像変形処理部１２、分光画像処理部１３、奥行情報算出部１４及びテクスチャ張合せ部１５は、コンピュータ装置を用いた画像処理装置２１を構成する。
【００１９】
次に、図１を参照して、図１に示す画像入力装置の動作を説明する。まず、カメラ１とカメラ４は、被写体を撮像して得られた画像データを画像記憶部１０に記憶するともに、対応点検出部１１に対して出力する。対応点検出部１１は、それぞれの画像の間で対応点の探索が行い、対応点の情報から画像変形パラメータを算出して出力する。対応点検出部１１が行う対応点の探索は、分光情報画像から切り出した部分画像（切出し画像）を入力とし、基準画像上において切出し画像と対応する点（対応点）を求める等の公知の技術を用いることが可能であるため、対応点探索処理の詳細な説明を省略する。また、各画像の色ヒストグラムの比較や、エッジ検出によるステレオマッチング処理を用いて対応点探索処理を行ってもよい。対応点検出部１１は、求めた対応点の情報に基づき、三角測量の原理を用いて、視差の情報を求め、この視差情報から画像変形パラメータを求める。この画像変形パラメータは、分光情報画像の視点位置を基準画像の視点位置に一致させるために画像変形を行う際に用いるパラメータである。
【００２０】
画像変形処理部１２は、対応点検出部１１から出力される画像変形パラメータを用いて、画像記憶部１０に記憶されている分光情報画像を、基準画像に一致するよう幾何的な変形を施す。これにより、分光情報画像の視点位置（カメラ４）を基準画像の視点位置（カメラ１）に一致させた分光情報画像が得られることになる。画像変形処理部１２は、変形処理によって得られた１組２枚の画像をマルチバンド画像としてファイル出力またはモニタ出力するともに、マルチバンド画像を分光画像処理部１３へ出力する。分光画像処理部１３は、マルチバンド画像に対して、観察環境に合わせた色再現処理を行い、ファイル出力、モニタ出力、プリンタ出力する。
【００２１】
一方、奥行情報算出部１４は、対応点検出部１１において検出された双方の画像上における対応点の位置関係から、カメラ１、４の姿勢パラメータと被写体の奥行情報（３次元形状情報）を算出して出力する。テクスチャ貼合せ部１５は、カメラ１、４の姿勢パラメータ及び被写体の奥行情報と、分光画像処理部１３から出力される色再現画像（ＲＧＢ画像により３次元形状モデルを合成し、その結果を３Ｄ画像表示ソフトウェアやモニタへ出力する。
【００２２】
なお、テクスチャ貼合せ部１５がマルチバンド画像（４色以上の画像の入力）に対応している場合は、画像変形処理部１３において得られたマルチバンド画像が３次元形状モデル上にマッピングされ、さらに観察照明光のスペクトルを入力することでより実環境に近い色をモニタ上において再現することが可能となる。
【実施例】
【００２３】
ＲＡＷ画像の出力が可能なデジタル一眼レフカメラ２台を用意し、カメラ間の視差（レンズ系の光軸間の距離）を少なくするため、カメラを立て置きにして配置した。レンズは、どちらのカメラにも同じ焦点距離のものを使用した。基準とする一方のカメラ（基準画像入力部２のカメラ１）でアングルを決定する。他方のカメラ（分光情報画像入力部５のカメラ４）のレンズの前には、図２に示す分光透過率特性を持つ多層膜フィルタを装着した。図２に示す分光透過率特性を持つ多層膜フィルタにより、分光情報画像を得るカメラは、図３に示す実効分光感度を有しているこになる。また、画像の中心と被写体の中央が一致するようにカメラアングルを調整した。なお両方のカメラの露出条件は、絞り・シャッター速度ともに２台のカメラとも同じ値に設定したが、撮影後に撮影パラメータを元に補正をかけるのであれば異なっていても良い。撮影は、手ぶれ等を抑えるためにミラーアップモードに設定したうえで、リモコン制御でシャッターを切った。被写体は、２．５次元状（平面的であるが、表面が波打っている・細かな凹凸があるなど完全な平面ではない）の物体（曼荼羅）を使用した。使用したレンズがやや望遠系であり、また被写体とカメラの距離も約４ｍと長めに取ったため、被写体をほぼ平面と近似することができる。
【００２４】
図５、図６に撮影画像（実際には、カラー画像）を示す。図５はフィルタなしの状態で撮影した基準画像であり、図６はフィルタありの状態で撮影した分光情報画像である。画像変形処理部１２により、得られた基準画像に、分光情報画像が一致するよう画像変形を行う。本実施例では２枚の画像間で対応点探索を行い、対応点の情報に基づき射影変換に必要なパラメータを算出した。パラメータの算出方法に関しては、例えば文献「佐藤 淳、コンピュータビジョン―視覚の幾何学、コロナ社（１９９９）」に記載された公知の方法を用いた。図７に画像変形を施した画像（実際には、カラー画像）を示す。また図８に色再現結果の画像（実際には、カラー画像）と、図９、図１０にその画像の一部を拡大表示した結果の画像（実際には、カラー画像）を示す。図８に示す全体画像の右端部分が一方のカメラには写っていなかった部分である。画像が正しく変形できていない場合には画像中に同様の偽色が発生するが、拡大画像を見るとそのような偽色は発生していないことが確認できた。実物とモニタ上に表示した色再現結果画像を比較すると、全くと言ってよいほど同じ色が観察された。この実験結果から、本発明による画像入力手法により１ショットでマルチバンド画像の記録ができ、正しい色再現結果も得られることが確認できた。
【００２５】
なお、予め２台のカメラの配置に関するキャリブレーションを事前に行っておくことにより、今回使用した撮影画像中のステレオ情報を用いた３次元情報の推定が可能である。この推定結果では表面のうねりや凹凸の様子も復元できる。この復元された３次元形状データと先の色再現結果画像を３Ｄ−ＣＧソフトウェアに取り込み合成することで、非常にリアルな３Ｄ−ＣＧがモニタ上で観察できることが確認できた。
【００２６】
＜第２の実施形態＞
次に、図４を参照して、本発明の第２の実施形態による画像入力装置を説明する。図４は第４の実施形態の構成を示すブロック図である。この図において、図１に示す第１の実施形態の画像入力装置と同一の部分には同一の符号を付し、その説明を省略する。第２の実施形態による装置が第１の実施形態の画像入力装置と異なる点は、分光情報画像入力部８が新たに備えられ、画像処理装置２１が、画像記憶部１０、対応点検出部１６、画像変形処理部１７、１８、オクルージョン検出部１９と画像合成処理部２０とによって構成された点である。
【００２７】
分光情報画像入力部８は、分光撮影用フィルタ６とカメラ７とから構成する。画像記憶部１０は、３つのカメラ１、４、７それぞれから出力される画像データを記憶する。対応点検出部１６は、３つのカメラ１、４、７それぞれから出力される画像データを入力して、対応点を探索する。画像変形処理部１７、１８は、それぞれ対応点検出部１６から出力される画像変形パラメータに基づき、２つの分光情報画像それぞれの画像変形処理を行う。オクルージョン検出部１９は、オクルージョン（遮蔽）領域を検出する。画像合成処理部２０は、３つのカメラ１、４、７により撮影した画像を合成して出力する。
【００２８】
次に、図４を参照して、図４に示す画像入力装置の動作を説明する。図４に示す例は、カメラを３台備え、２つの分光情報画像入力部５、８を備えた構成であるが、３つ以上の分光情報画像入力部を備えた構成であっても同様に分光画像を得ることが可能である。ここでは簡単のため、カメラを３台備えた場合について説明する。オクルージョン検出部１９は、カメラ１、４、７により撮影して得られた３枚の入力画像中の１枚以上に被写体自身の陰になって画像に写っていない、すなわち、ある１組の２枚の画像間では対応点が見つからなかった画像中の領域を検出する。この処理はカメラ１とカメラ４の画像、カメラ１とカメラ７の画像、それぞれについて行う。画像変形処理部１７、１８は、オクルージョン検出部１９により検出された画像中のオクルージョン領域は除外して処理する。画像合成処理部２０は、除外された画像領域を、もう１組の２枚の画像中に写っている画像情報を用いて補う（カメラ１を基準とした場合、カメラ４でのオクルージョン領域はカメラ７の画像を用いる）ことにより、最終的に１枚の分光情報画像を生成して出力する。
【００２９】
以上説明したように、複数のカメラを用いて１回の撮影でマルチバンド画像を取得する際に、ステレオ画像処理を適用し、複数の視点からの画像を統合してマルチバンド画像を生成するようにして、異なる視点からの異なる分光感度のカメラで撮影した画像からマルチバンド画像を生成することが可能となる。従来技術による同一の視点からの分光感度が異なる画像からマルチバンド画像を作る手法と比べ、カメラの配置に柔軟性がありより多くのカメラを用い、非常に多くのバンドからなるマルチバンド画像が生成できるほか、視点の違いを利用した超解像技術によって、これまでの方法よりも高解像度・高精彩なマルチバンド画像を得ることが可能になる。
【００３０】
本発明によれば、複数視点で異なる分光感度を持つカメラで撮影した画像から、ある視点でのマルチバンド画像が生成できるようになるため、画像が１回の撮影で取得することができ、利便性が向上し、従来の手法よりも安価にシステム構築をすることができる。また、動画への適用のほか、マルチバンド立体画像・動画の取得も原理的に可能である。超解像技術と組み合わせれば、従来よりも高精細・高精彩な画像の取得も実現でき、また３Ｄ−ＣＧソフトウェアへ得られたマルチバンド画像（もしくは色再現結果）と３次元形状データを読み込ませることで、従来よりもはるかにリアルなバーチャルリアリティを実現可能である。
【００３１】
なお、図１、４における画像処理装置２１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３２】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００３３】
複数のカメラを用いて１回の撮影によって、マルチバンド画像を取得することが不可欠な用途に適用できる。
【符号の説明】
【００３４】
１・・・カメラ、２・・・基準画像入力部、３・・・カメラ、４・・・分光撮影用フィルタ、５・・・分光情報画像入力部、６・・・カメラ、７・・・分光撮影用フィルタ、８・・・分光情報画像入力部、９・・・画像入力部、１０・・・画像記憶部、１１・・・対応点検出部、１２・・・画像変形処理部、１３・・・分光画像処理部、１４・・・奥行情報算出部、１５・・・テクスチャ張合せ部、１６・・・対応点検出部、１７・・・画像変形処理部、１８・・・画像変形処理部、１９・・・オクルージョン検出部、２０・・画像合成処理部、２１・・・画像処理部
【技術分野】
【０００１】
本発明は、マルチバンド画像を取得する画像入力装置、画像入力方法及び画像入力プログラムに関する。
【背景技術】
【０００２】
従来から、マルチバンド画像を取得する方式として、時分割撮影方式が知られている（例えば、非特許文献１参照）。この方式は、白黒画像センサの前に狭帯域のバンドパスフィルタを置き、バンドパスフィルタを取り変えながら順次、時分割に各バンドに対応する画像を取得する方式である。また、フィルタの波長透過率を電気的に変化できる液晶チューナブルフィルタを用いた手法も提案されている。
【０００３】
また、他のマルチバンド画像を取得する方式として、分岐光学系を用いる方式も知られている（例えば、非特許文献２参照）。この方式は、同一位置にあるセンサを使って時分割に撮影する場合、時分割撮影の制約から物体自身の動きや環境変動が伴う場合に対応できないため、レンズは固定した状態でその後ろ側にハーフミラーやダイクロイックミラーを置きレンズを通過した光を分岐させ、複数の位置で撮影しつつも仮想的に同一の位置での撮影となるように工夫した手法である。この手法では時分割撮影では不可能であった、動いている被写体やマルチバンド動画の撮影が可能となる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】M. Yamaguchi, Y. Murakami, T. Uchiyama, K. Ohsawa, and N. Ohyama, "Natural Vision: Visual Telecommunication based on Multispectral Technology," IDW '00 (2000) 1115-1118
【非特許文献２】K. Ohsawa, T. Ajito, H. Fukuda, Y. Komiya, H. Haneishi, M. Yamaguchi, and N. Ohyama, "Six-band HDTV camera system for spectrum-based color reproduction," J. Imaging Science and Technology, vol.48, no.2, (2004) 85-92
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、非特許文献１に記載の時分割撮影方式にあっては、被写体またはカメラが動いている場合、もしくは照明環境が変動している状況においてはマルチバンド画像の撮影ができないという問題がある。マルチバンド画像の撮影において、被写体またはカメラが動いている場合、もしくは照明環境が変動している状況においては、非特許文献２に記載の分岐光学系方式を用いない限りマルチバンド画像の撮影が困難である。
【０００６】
しかしながら、同一位置にある撮像センサで複数のバンドの画像を撮影する際に用いられる分岐光学系方式は、特殊な光学系が必要であるため、コストが高いという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、特殊な光学系を用いることなく、複数の異なる位置に配置した画像センサでの撮影結果を統合することで、被写体またはカメラが動いている状況、もしくは照明環境が変動している状況下においてもマルチバンド画像の取得を可能にすることができる画像入力装置、画像入力方法及び画像入力プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段と、前記第１及び第２の撮像手段により得られた前記基準画像と前記分光情報画像との対応点を探索して、三角測量の原理に基づき、前記分光情報画像の視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出手段と、前記画像変形パラメータに基づき、前記分光情報画像の変形処理を行う画像変形処理手段と、前記基準画像と、前記画像変形処理手段により画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力手段とを備えたことを特徴とする。
【０００９】
本発明は、被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る複数の第２の撮像手段と、前記第１の撮像手段により得られた前記基準画像と、前記第２の撮像手段により得られた複数の前記分光情報画像それぞれとの対応点を探索して、三角測量の原理に基づき、前記分光情報画像それぞれの視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出手段と、前記対応点検出手段により前記対応点が見つからなかった画像中の領域をオクルージョン領域として検出するオクルージョン領域検出手段と、前記オクルージョン領域検出手段により検出された前記オクルージョン領域を除外して、前記画像変形パラメータに基づき、複数の前記分光情報画像それぞれの変形処理を行う画像変形処理手段と、前記画像変形処理手段により画像変形された前記複数の前記分光情報画像のうち、前記オクルージョン領域を他の前記分光情報画像により補いながら複数の前記分光情報画像を合成する分光情報画像合成手段と、前記基準画像と、前記分光情報画像合成手段により合成された前記分光情報画像とをマルチバンド画像として出力する画像出力手段とを備えたことを特徴とする。
【００１０】
本発明は、被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段と、対応点検出手段と、画像変形処理手段と、画像出力手段とを備える画像入力における画像入力方法であって、前記対応点検出手段が、前記第１及び第２の撮像手段により得られた前記基準画像と前記分光情報画像との対応点を探索して、三角測量の原理に基づき、前記分光情報画像の視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、前記画像変形処理手段が、前記画像変形パラメータに基づき、前記分光情報画像の変形処理を行う画像変形処理ステップと、前記画像出力手段が、前記基準画像と、前記画像変形処理ステップにより画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力ステップとを有することを特徴とする。
【００１１】
本発明は、被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る複数の第２の撮像手段と、対応点検出手段と、オクルージョン領域検出手段と、画像変形処理手段と、分光情報画像合成手段と、画像出力手段とを備える画像入力における画像入力方法であって、前記対応点検出手段が、前記第１の撮像手段により得られた前記基準画像と、前記第２の撮像手段により得られた複数の前記分光情報画像それぞれとの対応点を探索して、三角測量の原理に基づき、前記分光情報画像それぞれの視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、前記オクルージョン領域検出手段が、前記対応点検出ステップにより前記対応点が見つからなかった画像中の領域をオクルージョン領域として検出するオクルージョン領域検出ステップと、前記画像変形処理手段が、前記オクルージョン領域検出ステップにより検出された前記オクルージョン領域を除外して、前記画像変形パラメータに基づき、複数の前記分光情報画像それぞれの変形処理を行う画像変形処理ステップと、前記分光情報画像合成手段が、前記画像変形処理ステップにより画像変形された前記複数の前記分光情報画像のうち、前記オクルージョン領域を他の前記分光情報画像により補いながら複数の前記分光情報画像を合成する分光情報画像合成ステップと、前記画像出力手段が、前記基準画像と、前記分光情報画像合成ステップにより合成された前記分光情報画像とをマルチバンド画像として出力する画像出力ステップとを有することを特徴とする。
【００１２】
本発明は、被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段とを備える画像入力装置上のコンピュータに画像入力処理を行わせる画像入力プログラムであって、前記第１及び第２の撮像手段により得られた前記基準画像と前記分光情報画像との対応点を探索して、三角測量の原理に基づき、前記分光情報画像の視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、前記画像変形パラメータに基づき、前記分光情報画像の変形処理を行う画像変形処理ステップと、前記基準画像と、前記画像変形処理手段により画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力ステップとを前記コンピュータに行わせることを特徴とする。
【００１３】
本発明は、被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る複数の第２の撮像手段とを備える画像入力装置上のコンピュータに画像入力処理を行わせる画像入力プログラムであって、前記第１の撮像手段により得られた前記基準画像と、前記第２の撮像手段により得られた複数の前記分光情報画像それぞれとの対応点を探索して、三角測量の原理に基づき、前記分光情報画像それぞれの視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、前記対応点検出ステップにより前記対応点が見つからなかった画像中の領域をオクルージョン領域として検出するオクルージョン領域検出ステップと、前記オクルージョン領域検出ステップにより検出された前記オクルージョン領域を除外して、前記画像変形パラメータに基づき、複数の前記分光情報画像それぞれの変形処理を行う画像変形処理ステップと、前記画像変形処理ステップにより画像変形された前記複数の前記分光情報画像のうち、前記オクルージョン領域を他の前記分光情報画像により補いながら複数の前記分光情報画像を合成する分光情報画像合成ステップと、前記基準画像と、前記分光情報画像合成ステップにより合成された前記分光情報画像とをマルチバンド画像として出力する画像出力ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、複数のカメラを用いて１回の撮影でマルチバンド画像を取得する際に、ステレオ画像処理を適用し、複数の視点からの画像を統合してマルチバンド画像を生成するようにしたため、異なる視点からの異なる分光感度のカメラで撮影した画像からマルチバンド画像を生成することが可能になるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】多層膜フィルタの分光透過率特性を示す図である。
【図３】分光情報画像を得るカメラの実効分光感度特性を示す図である。
【図４】本発明の第２の実施形態の構成を示すブロック図である。
【図５】撮影画像の一例を示す図である。
【図６】撮影画像の一例を示す図である。
【図７】画像変形を施した画像の一例を示す図である。
【図８】色再現結果の画像の一例を示す図である。
【図９】画像の一部を拡大表示した結果の画像の一例を示す図である。
【図１０】画像の一部を拡大表示した結果の画像の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施形態による画像入力装置を説明する。本発明の画像入力装置は、分光感度が異なる２台以上のカメラを同期して動作させて、１組のステレオ画像を撮影し、得られた各画像間で対応点探索を行って、それぞれの画像が予め定めた基準カメラにより得られた画像に一致するよう、画像を変形させることで１組のマルチバンド画像を生成するものである。なお、分光感度が異なるカメラを使用する代わりに、複数の同じカメラでも、レンズの前に光学フィルタを置くことで疑似的にカメラの分光感度を変化させるようにしても良い。
【００１７】
＜第１の実施形態＞
図１は第１の実施形態の構成を示すブロック図である。この図において、符号１は、基準となるデジタルの画像データである基準画像を取得するカメラである。カメラ１により基準画像入力部２を構成する。符号３は、所定の分光透過率を有する分光撮影用フィルタである。符号４は、カメラ１と同等の機能を有し、分光情報画像データである分光情報画像を取得するカメラである。分光撮影用フィルタ３とカメラ４により分光情報画像入力部５を構成する。基準画像入力部２と分光情報画像入力部５により画像入力部９を構成する。符号１０は、画像入力部９を構成する２台のカメラ１、４により取得した画像データを記憶する画像記憶部である。符号１１は、２台のカメラ１、４のそれぞれから出力する２つの画像（基準画像と分光情報画像）間の対応点を探索し、画像変形を行うための画像変形パラメータを算出して出力する対応点検出部である。
【００１８】
符号１２は、対応点検出部１１において得られた画像変形パラメータを用いて、画像記憶部１０に記憶されているカメラ４によって取得した画像（分光情報画像）に対して、カメラ１により取得した画像（基準画像）に一致するよう幾何的な変形画像処理を施す画像変形処理部である。符号１３は、色再現パラメータを外部から入力し、この色再現パラメータに基づき観察環境に合わせた色再現処理を行う分光画像処理部である。符号１４は、対応点検出部１１から出力される２つの画像（基準画像と分光情報画像）上における対応点の位置関係からカメラ１、４の姿勢パラメータと共に被写体の奥行情報（３次元形状情報）を算出する奥行情報算出部である。符号１５は、奥行情報算出部１４から出力するカメラ１、４の姿勢パラメータ及び被写体の奥行情報（３次元形状情報）と分光画像処理部１３から出力される色再現画像（ＲＧＢ画像）から３次元形状モデルを合成して出力するテクスチャ貼合せ部である。画像記憶部１０、対応点検出部１１、画像変形処理部１２、分光画像処理部１３、奥行情報算出部１４及びテクスチャ張合せ部１５は、コンピュータ装置を用いた画像処理装置２１を構成する。
【００１９】
次に、図１を参照して、図１に示す画像入力装置の動作を説明する。まず、カメラ１とカメラ４は、被写体を撮像して得られた画像データを画像記憶部１０に記憶するともに、対応点検出部１１に対して出力する。対応点検出部１１は、それぞれの画像の間で対応点の探索が行い、対応点の情報から画像変形パラメータを算出して出力する。対応点検出部１１が行う対応点の探索は、分光情報画像から切り出した部分画像（切出し画像）を入力とし、基準画像上において切出し画像と対応する点（対応点）を求める等の公知の技術を用いることが可能であるため、対応点探索処理の詳細な説明を省略する。また、各画像の色ヒストグラムの比較や、エッジ検出によるステレオマッチング処理を用いて対応点探索処理を行ってもよい。対応点検出部１１は、求めた対応点の情報に基づき、三角測量の原理を用いて、視差の情報を求め、この視差情報から画像変形パラメータを求める。この画像変形パラメータは、分光情報画像の視点位置を基準画像の視点位置に一致させるために画像変形を行う際に用いるパラメータである。
【００２０】
画像変形処理部１２は、対応点検出部１１から出力される画像変形パラメータを用いて、画像記憶部１０に記憶されている分光情報画像を、基準画像に一致するよう幾何的な変形を施す。これにより、分光情報画像の視点位置（カメラ４）を基準画像の視点位置（カメラ１）に一致させた分光情報画像が得られることになる。画像変形処理部１２は、変形処理によって得られた１組２枚の画像をマルチバンド画像としてファイル出力またはモニタ出力するともに、マルチバンド画像を分光画像処理部１３へ出力する。分光画像処理部１３は、マルチバンド画像に対して、観察環境に合わせた色再現処理を行い、ファイル出力、モニタ出力、プリンタ出力する。
【００２１】
一方、奥行情報算出部１４は、対応点検出部１１において検出された双方の画像上における対応点の位置関係から、カメラ１、４の姿勢パラメータと被写体の奥行情報（３次元形状情報）を算出して出力する。テクスチャ貼合せ部１５は、カメラ１、４の姿勢パラメータ及び被写体の奥行情報と、分光画像処理部１３から出力される色再現画像（ＲＧＢ画像により３次元形状モデルを合成し、その結果を３Ｄ画像表示ソフトウェアやモニタへ出力する。
【００２２】
なお、テクスチャ貼合せ部１５がマルチバンド画像（４色以上の画像の入力）に対応している場合は、画像変形処理部１３において得られたマルチバンド画像が３次元形状モデル上にマッピングされ、さらに観察照明光のスペクトルを入力することでより実環境に近い色をモニタ上において再現することが可能となる。
【実施例】
【００２３】
ＲＡＷ画像の出力が可能なデジタル一眼レフカメラ２台を用意し、カメラ間の視差（レンズ系の光軸間の距離）を少なくするため、カメラを立て置きにして配置した。レンズは、どちらのカメラにも同じ焦点距離のものを使用した。基準とする一方のカメラ（基準画像入力部２のカメラ１）でアングルを決定する。他方のカメラ（分光情報画像入力部５のカメラ４）のレンズの前には、図２に示す分光透過率特性を持つ多層膜フィルタを装着した。図２に示す分光透過率特性を持つ多層膜フィルタにより、分光情報画像を得るカメラは、図３に示す実効分光感度を有しているこになる。また、画像の中心と被写体の中央が一致するようにカメラアングルを調整した。なお両方のカメラの露出条件は、絞り・シャッター速度ともに２台のカメラとも同じ値に設定したが、撮影後に撮影パラメータを元に補正をかけるのであれば異なっていても良い。撮影は、手ぶれ等を抑えるためにミラーアップモードに設定したうえで、リモコン制御でシャッターを切った。被写体は、２．５次元状（平面的であるが、表面が波打っている・細かな凹凸があるなど完全な平面ではない）の物体（曼荼羅）を使用した。使用したレンズがやや望遠系であり、また被写体とカメラの距離も約４ｍと長めに取ったため、被写体をほぼ平面と近似することができる。
【００２４】
図５、図６に撮影画像（実際には、カラー画像）を示す。図５はフィルタなしの状態で撮影した基準画像であり、図６はフィルタありの状態で撮影した分光情報画像である。画像変形処理部１２により、得られた基準画像に、分光情報画像が一致するよう画像変形を行う。本実施例では２枚の画像間で対応点探索を行い、対応点の情報に基づき射影変換に必要なパラメータを算出した。パラメータの算出方法に関しては、例えば文献「佐藤 淳、コンピュータビジョン―視覚の幾何学、コロナ社（１９９９）」に記載された公知の方法を用いた。図７に画像変形を施した画像（実際には、カラー画像）を示す。また図８に色再現結果の画像（実際には、カラー画像）と、図９、図１０にその画像の一部を拡大表示した結果の画像（実際には、カラー画像）を示す。図８に示す全体画像の右端部分が一方のカメラには写っていなかった部分である。画像が正しく変形できていない場合には画像中に同様の偽色が発生するが、拡大画像を見るとそのような偽色は発生していないことが確認できた。実物とモニタ上に表示した色再現結果画像を比較すると、全くと言ってよいほど同じ色が観察された。この実験結果から、本発明による画像入力手法により１ショットでマルチバンド画像の記録ができ、正しい色再現結果も得られることが確認できた。
【００２５】
なお、予め２台のカメラの配置に関するキャリブレーションを事前に行っておくことにより、今回使用した撮影画像中のステレオ情報を用いた３次元情報の推定が可能である。この推定結果では表面のうねりや凹凸の様子も復元できる。この復元された３次元形状データと先の色再現結果画像を３Ｄ−ＣＧソフトウェアに取り込み合成することで、非常にリアルな３Ｄ−ＣＧがモニタ上で観察できることが確認できた。
【００２６】
＜第２の実施形態＞
次に、図４を参照して、本発明の第２の実施形態による画像入力装置を説明する。図４は第４の実施形態の構成を示すブロック図である。この図において、図１に示す第１の実施形態の画像入力装置と同一の部分には同一の符号を付し、その説明を省略する。第２の実施形態による装置が第１の実施形態の画像入力装置と異なる点は、分光情報画像入力部８が新たに備えられ、画像処理装置２１が、画像記憶部１０、対応点検出部１６、画像変形処理部１７、１８、オクルージョン検出部１９と画像合成処理部２０とによって構成された点である。
【００２７】
分光情報画像入力部８は、分光撮影用フィルタ６とカメラ７とから構成する。画像記憶部１０は、３つのカメラ１、４、７それぞれから出力される画像データを記憶する。対応点検出部１６は、３つのカメラ１、４、７それぞれから出力される画像データを入力して、対応点を探索する。画像変形処理部１７、１８は、それぞれ対応点検出部１６から出力される画像変形パラメータに基づき、２つの分光情報画像それぞれの画像変形処理を行う。オクルージョン検出部１９は、オクルージョン（遮蔽）領域を検出する。画像合成処理部２０は、３つのカメラ１、４、７により撮影した画像を合成して出力する。
【００２８】
次に、図４を参照して、図４に示す画像入力装置の動作を説明する。図４に示す例は、カメラを３台備え、２つの分光情報画像入力部５、８を備えた構成であるが、３つ以上の分光情報画像入力部を備えた構成であっても同様に分光画像を得ることが可能である。ここでは簡単のため、カメラを３台備えた場合について説明する。オクルージョン検出部１９は、カメラ１、４、７により撮影して得られた３枚の入力画像中の１枚以上に被写体自身の陰になって画像に写っていない、すなわち、ある１組の２枚の画像間では対応点が見つからなかった画像中の領域を検出する。この処理はカメラ１とカメラ４の画像、カメラ１とカメラ７の画像、それぞれについて行う。画像変形処理部１７、１８は、オクルージョン検出部１９により検出された画像中のオクルージョン領域は除外して処理する。画像合成処理部２０は、除外された画像領域を、もう１組の２枚の画像中に写っている画像情報を用いて補う（カメラ１を基準とした場合、カメラ４でのオクルージョン領域はカメラ７の画像を用いる）ことにより、最終的に１枚の分光情報画像を生成して出力する。
【００２９】
以上説明したように、複数のカメラを用いて１回の撮影でマルチバンド画像を取得する際に、ステレオ画像処理を適用し、複数の視点からの画像を統合してマルチバンド画像を生成するようにして、異なる視点からの異なる分光感度のカメラで撮影した画像からマルチバンド画像を生成することが可能となる。従来技術による同一の視点からの分光感度が異なる画像からマルチバンド画像を作る手法と比べ、カメラの配置に柔軟性がありより多くのカメラを用い、非常に多くのバンドからなるマルチバンド画像が生成できるほか、視点の違いを利用した超解像技術によって、これまでの方法よりも高解像度・高精彩なマルチバンド画像を得ることが可能になる。
【００３０】
本発明によれば、複数視点で異なる分光感度を持つカメラで撮影した画像から、ある視点でのマルチバンド画像が生成できるようになるため、画像が１回の撮影で取得することができ、利便性が向上し、従来の手法よりも安価にシステム構築をすることができる。また、動画への適用のほか、マルチバンド立体画像・動画の取得も原理的に可能である。超解像技術と組み合わせれば、従来よりも高精細・高精彩な画像の取得も実現でき、また３Ｄ−ＣＧソフトウェアへ得られたマルチバンド画像（もしくは色再現結果）と３次元形状データを読み込ませることで、従来よりもはるかにリアルなバーチャルリアリティを実現可能である。
【００３１】
なお、図１、４における画像処理装置２１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像入力処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３２】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００３３】
複数のカメラを用いて１回の撮影によって、マルチバンド画像を取得することが不可欠な用途に適用できる。
【符号の説明】
【００３４】
１・・・カメラ、２・・・基準画像入力部、３・・・カメラ、４・・・分光撮影用フィルタ、５・・・分光情報画像入力部、６・・・カメラ、７・・・分光撮影用フィルタ、８・・・分光情報画像入力部、９・・・画像入力部、１０・・・画像記憶部、１１・・・対応点検出部、１２・・・画像変形処理部、１３・・・分光画像処理部、１４・・・奥行情報算出部、１５・・・テクスチャ張合せ部、１６・・・対応点検出部、１７・・・画像変形処理部、１８・・・画像変形処理部、１９・・・オクルージョン検出部、２０・・画像合成処理部、２１・・・画像処理部
【特許請求の範囲】
【請求項１】
被写体の基準画像を得る第１の撮像手段と、
所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段と、
前記第１及び第２の撮像手段により得られた前記基準画像と前記分光情報画像との対応点を探索して、三角測量の原理に基づき、前記分光情報画像の視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出手段と、
前記画像変形パラメータに基づき、前記分光情報画像の変形処理を行う画像変形処理手段と、
前記基準画像と、前記画像変形処理手段により画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力手段と
を備えたことを特徴とする画像入力装置。
【請求項２】
被写体の基準画像を得る第１の撮像手段と、
所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る複数の第２の撮像手段と、
前記第１の撮像手段により得られた前記基準画像と、前記第２の撮像手段により得られた複数の前記分光情報画像それぞれとの対応点を探索して、三角測量の原理に基づき、前記分光情報画像それぞれの視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出手段と、
前記対応点検出手段により前記対応点が見つからなかった画像中の領域をオクルージョン領域として検出するオクルージョン領域検出手段と、
前記オクルージョン領域検出手段により検出された前記オクルージョン領域を除外して、前記画像変形パラメータに基づき、複数の前記分光情報画像それぞれの変形処理を行う画像変形処理手段と、
前記画像変形処理手段により画像変形された前記複数の前記分光情報画像のうち、前記オクルージョン領域を他の前記分光情報画像により補いながら複数の前記分光情報画像を合成する分光情報画像合成手段と、
前記基準画像と、前記分光情報画像合成手段により合成された前記分光情報画像とをマルチバンド画像として出力する画像出力手段と
を備えたことを特徴とする画像入力装置。
【請求項３】
被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段と、対応点検出手段と、画像変形処理手段と、画像出力手段とを備える画像入力における画像入力方法であって、
前記対応点検出手段が、前記第１及び第２の撮像手段により得られた前記基準画像と前記分光情報画像との対応点を探索して、三角測量の原理に基づき、前記分光情報画像の視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、
前記画像変形処理手段が、前記画像変形パラメータに基づき、前記分光情報画像の変形処理を行う画像変形処理ステップと、
前記画像出力手段が、前記基準画像と、前記画像変形処理ステップにより画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力ステップと
を有することを特徴とする画像入力方法。
【請求項４】
被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る複数の第２の撮像手段と、対応点検出手段と、オクルージョン領域検出手段と、画像変形処理手段と、分光情報画像合成手段と、画像出力手段とを備える画像入力における画像入力方法であって、
前記対応点検出手段が、前記第１の撮像手段により得られた前記基準画像と、前記第２の撮像手段により得られた複数の前記分光情報画像それぞれとの対応点を探索して、三角測量の原理に基づき、前記分光情報画像それぞれの視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、
前記オクルージョン領域検出手段が、前記対応点検出ステップにより前記対応点が見つからなかった画像中の領域をオクルージョン領域として検出するオクルージョン領域検出ステップと、
前記画像変形処理手段が、前記オクルージョン領域検出ステップにより検出された前記オクルージョン領域を除外して、前記画像変形パラメータに基づき、複数の前記分光情報画像それぞれの変形処理を行う画像変形処理ステップと、
前記分光情報画像合成手段が、前記画像変形処理ステップにより画像変形された前記複数の前記分光情報画像のうち、前記オクルージョン領域を他の前記分光情報画像により補いながら複数の前記分光情報画像を合成する分光情報画像合成ステップと、
前記画像出力手段が、前記基準画像と、前記分光情報画像合成ステップにより合成された前記分光情報画像とをマルチバンド画像として出力する画像出力ステップと
を有することを特徴とする画像入力方法。
【請求項５】
被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段とを備える画像入力装置上のコンピュータに画像入力処理を行わせる画像入力プログラムであって、
前記第１及び第２の撮像手段により得られた前記基準画像と前記分光情報画像との対応点を探索して、三角測量の原理に基づき、前記分光情報画像の視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、
前記画像変形パラメータに基づき、前記分光情報画像の変形処理を行う画像変形処理ステップと、
前記基準画像と、前記画像変形処理手段により画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力ステップと
を前記コンピュータに行わせることを特徴とする画像入力プログラム。
【請求項６】
被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る複数の第２の撮像手段とを備える画像入力装置上のコンピュータに画像入力処理を行わせる画像入力プログラムであって、
前記第１の撮像手段により得られた前記基準画像と、前記第２の撮像手段により得られた複数の前記分光情報画像それぞれとの対応点を探索して、三角測量の原理に基づき、前記分光情報画像それぞれの視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、
前記対応点検出ステップにより前記対応点が見つからなかった画像中の領域をオクルージョン領域として検出するオクルージョン領域検出ステップと、
前記オクルージョン領域検出ステップにより検出された前記オクルージョン領域を除外して、前記画像変形パラメータに基づき、複数の前記分光情報画像それぞれの変形処理を行う画像変形処理ステップと、
前記画像変形処理ステップにより画像変形された前記複数の前記分光情報画像のうち、前記オクルージョン領域を他の前記分光情報画像により補いながら複数の前記分光情報画像を合成する分光情報画像合成ステップと、
前記基準画像と、前記分光情報画像合成ステップにより合成された前記分光情報画像とをマルチバンド画像として出力する画像出力ステップと
を前記コンピュータに行わせることを特徴とする画像入力プログラム。
【請求項１】
被写体の基準画像を得る第１の撮像手段と、
所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段と、
前記第１及び第２の撮像手段により得られた前記基準画像と前記分光情報画像との対応点を探索して、三角測量の原理に基づき、前記分光情報画像の視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出手段と、
前記画像変形パラメータに基づき、前記分光情報画像の変形処理を行う画像変形処理手段と、
前記基準画像と、前記画像変形処理手段により画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力手段と
を備えたことを特徴とする画像入力装置。
【請求項２】
被写体の基準画像を得る第１の撮像手段と、
所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る複数の第２の撮像手段と、
前記第１の撮像手段により得られた前記基準画像と、前記第２の撮像手段により得られた複数の前記分光情報画像それぞれとの対応点を探索して、三角測量の原理に基づき、前記分光情報画像それぞれの視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出手段と、
前記対応点検出手段により前記対応点が見つからなかった画像中の領域をオクルージョン領域として検出するオクルージョン領域検出手段と、
前記オクルージョン領域検出手段により検出された前記オクルージョン領域を除外して、前記画像変形パラメータに基づき、複数の前記分光情報画像それぞれの変形処理を行う画像変形処理手段と、
前記画像変形処理手段により画像変形された前記複数の前記分光情報画像のうち、前記オクルージョン領域を他の前記分光情報画像により補いながら複数の前記分光情報画像を合成する分光情報画像合成手段と、
前記基準画像と、前記分光情報画像合成手段により合成された前記分光情報画像とをマルチバンド画像として出力する画像出力手段と
を備えたことを特徴とする画像入力装置。
【請求項３】
被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段と、対応点検出手段と、画像変形処理手段と、画像出力手段とを備える画像入力における画像入力方法であって、
前記対応点検出手段が、前記第１及び第２の撮像手段により得られた前記基準画像と前記分光情報画像との対応点を探索して、三角測量の原理に基づき、前記分光情報画像の視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、
前記画像変形処理手段が、前記画像変形パラメータに基づき、前記分光情報画像の変形処理を行う画像変形処理ステップと、
前記画像出力手段が、前記基準画像と、前記画像変形処理ステップにより画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力ステップと
を有することを特徴とする画像入力方法。
【請求項４】
被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る複数の第２の撮像手段と、対応点検出手段と、オクルージョン領域検出手段と、画像変形処理手段と、分光情報画像合成手段と、画像出力手段とを備える画像入力における画像入力方法であって、
前記対応点検出手段が、前記第１の撮像手段により得られた前記基準画像と、前記第２の撮像手段により得られた複数の前記分光情報画像それぞれとの対応点を探索して、三角測量の原理に基づき、前記分光情報画像それぞれの視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、
前記オクルージョン領域検出手段が、前記対応点検出ステップにより前記対応点が見つからなかった画像中の領域をオクルージョン領域として検出するオクルージョン領域検出ステップと、
前記画像変形処理手段が、前記オクルージョン領域検出ステップにより検出された前記オクルージョン領域を除外して、前記画像変形パラメータに基づき、複数の前記分光情報画像それぞれの変形処理を行う画像変形処理ステップと、
前記分光情報画像合成手段が、前記画像変形処理ステップにより画像変形された前記複数の前記分光情報画像のうち、前記オクルージョン領域を他の前記分光情報画像により補いながら複数の前記分光情報画像を合成する分光情報画像合成ステップと、
前記画像出力手段が、前記基準画像と、前記分光情報画像合成ステップにより合成された前記分光情報画像とをマルチバンド画像として出力する画像出力ステップと
を有することを特徴とする画像入力方法。
【請求項５】
被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る第２の撮像手段とを備える画像入力装置上のコンピュータに画像入力処理を行わせる画像入力プログラムであって、
前記第１及び第２の撮像手段により得られた前記基準画像と前記分光情報画像との対応点を探索して、三角測量の原理に基づき、前記分光情報画像の視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、
前記画像変形パラメータに基づき、前記分光情報画像の変形処理を行う画像変形処理ステップと、
前記基準画像と、前記画像変形処理手段により画像変形を行った後の分光情報画像とをマルチバンド画像として出力する画像出力ステップと
を前記コンピュータに行わせることを特徴とする画像入力プログラム。
【請求項６】
被写体の基準画像を得る第１の撮像手段と、所定の分光透過率を有する光学フィルタを備え、被写体の分光情報画像を得る複数の第２の撮像手段とを備える画像入力装置上のコンピュータに画像入力処理を行わせる画像入力プログラムであって、
前記第１の撮像手段により得られた前記基準画像と、前記第２の撮像手段により得られた複数の前記分光情報画像それぞれとの対応点を探索して、三角測量の原理に基づき、前記分光情報画像それぞれの視点位置を前記基準画像の視点位置に一致させるための画像変形パラメータを求める対応点検出ステップと、
前記対応点検出ステップにより前記対応点が見つからなかった画像中の領域をオクルージョン領域として検出するオクルージョン領域検出ステップと、
前記オクルージョン領域検出ステップにより検出された前記オクルージョン領域を除外して、前記画像変形パラメータに基づき、複数の前記分光情報画像それぞれの変形処理を行う画像変形処理ステップと、
前記画像変形処理ステップにより画像変形された前記複数の前記分光情報画像のうち、前記オクルージョン領域を他の前記分光情報画像により補いながら複数の前記分光情報画像を合成する分光情報画像合成ステップと、
前記基準画像と、前記分光情報画像合成ステップにより合成された前記分光情報画像とをマルチバンド画像として出力する画像出力ステップと
を前記コンピュータに行わせることを特徴とする画像入力プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２４４１８４（Ｐ２０１１−２４４１８４Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１４１８７（Ｐ２０１０−１１４１８７）
【出願日】平成２２年５月１８日（２０１０．５．１８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月１８日（２０１０．５．１８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]