説明

マルチスペクトル画像情報取得装置及びマルチスペクトル画像情報取得方法

【課題】 少ないバンド数の画像と、マルチスペクトルフィルタアレイの画像をセットで取得し、信号処理によりスペクトル画像を復元することで、イメージングセンサの枚数を減らし、ワンショット撮影も可能とする。
【解決手段】 被写体像に対して、広帯域の分光感度特性に対応する3色以上の第1の色数と第1の画素数を有する第1の画像の画像情報を第1のイメージセンサ13R,13G,13Bにより取得するとともに、上記被写体像に対して、第2の画素数を有し、画素ごとに異なる分光感度特性に対応する第2の色数を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、全ての画素を集めたときの色数は上記第1の色数よりも多い第3の色数である第2の画像の画像情報を第2のイメージセンサ14により取得し、取得された上記第1の画像の画像情報と上記第2の画像の画像情報に基づいて、上記被写体像に対するマルチスペクトル画像情報として、上記記第3の色数と上記第1の画素数を有する第3の画像の画像情報を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体のスペクトル情報に基づいて、高い精度の色再現を実現するためのマルチスペクトル画像情報取得装置及びマルチスペクトル画像情報取得方法に関する。
【背景技術】
【0002】
従来より、マルチスペクトル画像は、撮像する物体が何に属するかを識別したり、物体がどのような状態であるのかを調べるのに有効であり、リモートセンシング、バイオ、医学、マシンビジョン等の様々分野で活用されている。
【0003】
しかし、例えば図22に示すように、空間方向2次元、波長方向に1次元の合計3次元から構成されるスペクトル画像を収集するためには、特殊で大型な装置や、空間方向もしくは波長方向でのスキャンニングが必要となる。
【0004】
従来のスペクトル画像取得装置としては、透過光の中心波長を電気的に変化させることが可能なチューナブルフィルタとモノクロ画像センサから構成される分光画像撮像装置(例えば、特許文献1参照)や、スリットを介して観察される1ライン分のスペクトル画像を、シーン上をスキャンしながら取得する分光画像取得装置(例えば、特許文献2参照)などがある。
【0005】
また、装置の小型化を実現するため、少ないセンシングデータから、信号処理によりスペクトル画像を復元する試みがある。例えば、波長方向の解像度の低いデータから、信号処理により、波長解像度の高い分光画像を取得する方法も提案されている(例えば、特許文献3参照)。
【0006】
さらに、リモートセンシングの分野では、2種類の特性の異なる分光画像データを取得し、映像信号処理により、高い空間解像度と波長解像度を有する分光画像を出力する方法が検討されている。具体的には、高空間解像度のモノクロセンサーと低空間解像度のスペクトル画像センサによりデータを取得し、高空間解像度の分光画像を信号処理により出力する例がある(例えば、非特許文献1参照)。また、スペクトル情報に基づく色再現を目的として、3チャネルの画像と多点計測スペクトル情報(低解像度スペクトル画像情報)を取得し、信号処理により高解像度の分光画像を出力する例がある(例えば、特許文献4、5、非特許文献2、3参照)。
【0007】
一方、R(赤)、緑(G)、青(B)の3チャネルの画像で構成されるカラー画像収集においては、R、G、B用の3枚のイメージングセンサを使用する3板式の代わりに、例えば、図23の(A)に示すように、イメージングセンサ上にR、G、B、3種のカラーフィルタをアレイ状に重ねてデータを取得し、補間処理によってカラー画像を生成する単板方式が広く普及している。これをNバンドのスペクトル画像収集に応用する場合、図23の(B)に示すように、N種類のカラーフィルタを空間的に配したマルチスペクトルフィルタアレイを利用することになる。マルチスペクトルフィルタアレイの設計方法や、デモザイキング方法に関する研究も行われている(例えば、非特許文献4、5参照)。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2001−228024号公報
【特許文献2】特開2001−296180号公報
【特許文献3】特開2006−255324号公報
【特許文献4】特開2009−237817号公報
【特許文献5】特開2009−260411号公報
【非特許文献】
【0009】
【非特許文献1】M. T. Eismann and R. C. Hardie, “Hyperspectral resolution enhancement using high-resolution multispectral imagery with arbitrary response functions,” IEEE Trans. Image Processing, 43, 455-465 (2005).
【非特許文献2】Y. Murakami, K. Ietomi, M. Yamaguchi and N. Ohyama, “MAP estimation of spectral reflectance from color image and multipoint spectral measurements,” Applied Optics, 46, 7068-7082 (2007).
【非特許文献3】Y. Murakami, M. Yamaguchi, and N. Ohyama, “Piecewise Wiener estimation for reconstruction of spectral reflectance image by multipoint spectral measurements,” Applied Optics, 48(11), 2188-2202 (2009).
【非特許文献4】Raju Shrestha, Jon Yngve Hardeberg, and Rahat Khan, “Spatial arrangement of color filter array for multispectral image acquisition,” Proc. SPIE, 7875, pp. 787503-787503-9 (2011).
【非特許文献5】Lian Miao, Hairong Qi, Rajeev Ramanath, and Wesley E. Snder, “Binary tree-based generic demosaicking algorithm for multispectral filter arrays,” IEEE Trans. Image Processing, !5(11), 3550-3558 (2006).
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、上記特許文献1や特許文献2に記載されている装置では、信号処理を用いずに直接分光画像を取得する方法であるため、空間解像度・波長解像度・時間解像度にはトレードオフの関係がある。また、基本的に静止画を対象としている。さらに、1枚のイメージングセンサで取得できるデータは2次元であるため、これを時間的にスキャンして3次元目のデータを取得する。そのため、動く被写体や動画での撮影が難しい。また機械的駆動を必要とする装置の場合には、装置の大型化も避けられない。
【0011】
そこで、小型かつワンショットで撮影できるスペクトル画像収集装置が望まれている。
【0012】
また、上記特許文献3のように、波長方向の解像度の低いデータから、信号処理により、波長解像度の高い分光画像を取得する方法は、内視鏡のように対象が限定されている場合には、信号処理方法を最適化することにより、比較的高い精度が期待できるが、様々な被写体を対象とする場合には、波長方向に十分な精度が得られない。
【0013】
また、上記非特許文献2〜3のように、多点計測スペクトル情報を取得する方法には課題も多い。
【0014】
さらに、上記非特許文献4、5のように、N種類のカラーフィルタを空間的に配したマルチスペクトルフィルタアレイを利用する方法では、空間解像度と波長解像度がトレードオフの関係となるので、空間解像度の低下が問題となり、実質的には、Nが大きな場合(例えばN>10)の適用は難しい。
【0015】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、マルチスペクトルフィルタアレイを活用して効率的なスペクトル画像のセンシングを行うことで、小型かつワンショットでマルチスペクトル画像情報を収集できるようにしたマルチスペクトル画像情報取得装置及びマルチスペクトル画像情報取得方法を提供することにある。
【0016】
本発明の他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【0017】
スペクトル画像において空間方向に小さな領域に限定した場合、少ないチャネル数の画像(RGB画像や、4チャネル画像など)の線形和で、スペクトル画像の各波長の画像を高精度に表現できることが多い。ただし、線形和の係数は、領域ごと、波長ごとに異なる。さらに、波長ごとの線形和の係数は、対応する波長画像における空間方向の少数点のセンシングデータに基づいて算出可能である。後者のセンシングは、マルチスペクトルフィルタアレイで実現可能である。
【0018】
そこで、本発明では、空間方向と波長方向の共に高密度なセンシングを行う代わりに、空間方向に高密度で波長方向には疎なセンシングと、波長方向に高密度で空間方向には疎なセンシングにより得られるデータから、両方向共に高密度なスペクトル画像を復元する。この際、後者のセンシングでは、透過波長帯域の異なる多数色のフィルタを空間的に配列したマルチスペクトルフィルタアレイ(MSFA; multispectral filter array)を用いることで、小型かつワンショットでマルチスペクトル画像情報を収集する。
【0019】
すなわち、本発明は、マルチスペクトル画像情報取得装置であって、撮影レンズによって形成される被写体像に対して、広帯域の分光感度特性に対応する3色以上の第1の色数と第1の画素数を有する第1の画像の画像情報と、上記被写体像に対して、第2の画素数を有し、画素ごとに異なる分光感度特性に対応する第2の色数を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、全ての画素を集めたときの色数は上記第1の色数よりも多い第3の色数である第2の画像の画像情報を出力する撮像手段と、上記撮像手段により得られる上記第1の画像の画像情報と上記第2の画像の画像情報に基づいて、前記第3の色数と前記第1の画素数を有する第3の画像の画像情報を生成するマルチスペクトル画像算出手段とを備え、上記被写体像に対するマルチスペクトル画像情報として上記第3の画像の画像情報を生成することを特徴とする。
【0020】
本発明に係るマルチスペクトル画像情報取得装置において、上記撮像手段は、上記撮影レンズによって形成される被写体像を上記第1の色数と第2の色数を合計した色数と同じ数の像に複製する分岐光学系と、上記分岐光学系により複製された上記第1の色数に等しい数の像面にそれぞれ配された上記第1の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第1の画素数を有し、イメージセンサの分光感度特性は広帯域の分光感度特性である第1のイメージセンサと、上記第2の色数と同じ数の像面にそれぞれ配された上記第2の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第2の画素数を有し、イメージセンサの各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、上記第2の色数と同じ枚数のイメージセンサに含まれる画素を全て集めたきの色数は上記第1の色数よりも多い第3の色数である第2のイメージセンサを備えるものとすることができる。
【0021】
また、本発明に係るマルチスペクトル画像情報取得装置において、上記第1のイメージセンサは、赤色画像と緑色画像と青色画像を撮像する3枚のイメージセンサであり、上記第2のイメージセンサは、画素ごとにカラーフィルタが配され、上記第3の色数のカラーフィルタにより色コーディングされた上記第2の画素数を有する1枚のイメージセンサであるものとすることができる。
【0022】
また、本発明に係るマルチスペクトル画像情報取得装置において、上記撮像手段は、上記撮影レンズによって形成される被写体像を2枚の像に複製する分岐光学系と、上記分岐光学系により複製された一方の被写体像の像面に配された1枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第1の色数のカラーフィルタにより色コーディングされた第1の画素数を有する上記第1の画像の画像情報を取得するための第1のイメージセンサと、上記分岐光学系により複製された他方の被写体像の像面に配された1枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記狭帯域の分光感度特性に対応する上記第3の色数のカラーフィルタにより色コーディングされた第2の画素数を有する上記第2の画像の画像情報を取得するための第2のイメージセンサを備え、さらに、上記第1のイメージセンサにより得られる広帯域の分光感度特性に対応する第1の画素数の画像情報から、デモザイキング処理により、上記第1の色数と第4の画素数を有する画像の画像情報を生成するデモザイキング部を備え、上記マルチスペクトル画像算出手段は、上記第2のイメージセンサにより得られる狭帯域の分光感度特性に対応する上記第2の画素数の画像情報と、上記デモザイキング部によりデモザイキング処理された上記第1の色数と第4の画素数を有する画像の画像情報に基づいて、上記第3の色数と、上記第4の画素数を有する画像の画像情報を算出するものとすることができる。
【0023】
また、本発明に係るマルチスペクトル画像情報取得装置において、上記撮像手段は、上記撮像レンズにより被写体像が結像される像面に配された1枚のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第1の色数のカラーフィルタと上記狭帯域の分光感度特性に対応する上記第3の色数のカラーフィルタにより色コーディングされた第1の画素数を有するイメージセンサを備え、さらに、上記撮像手段により得られる画像情報を、上記広帯域の分光感度特性に対応する画素の情報と、上記狭帯域の分光感度特性に対応する画素の情報とに分離する画像情報分離部と、上記画像情報分離部により分離された広帯域の分光感度特性に対応する画素の情報から、デモザイキング処理により、上記第1の色数と第4の画素数を有する画像の画像情報を生成するデモザイキング部を備え、上記マルチスペクトル画像算出手段は、上記画像情報分離部により分離された狭帯域の分光感度特性に対応する画素の情報と、上記デモザイキング部によりデモザイキング処理された上記第1の色数と第4の画素数を有する画像の画像情報に基づいて、上記第3の色数と、上記第4の画素数を有する画像の画像情報を算出するものとすることができる。
【0024】
また、本発明に係るマルチスペクトル画像情報取得装置において、上記撮像手段は、上記イメージセンサ上の画素は、第1の色数と第2の色数を併せた数の隣接する画素を集めた画素グループには広帯域の分光感度特性に対応する上記第1の色数のカラーフィルタがそれぞれ1種類ずつ配されるとともに、上記広帯域の分光感度特性と重なりを有する狭帯域の分光感度特性に対応する第3の色数のカラーフィルタのうちの上記第2の色数のカラーフィルタが配され、さらに、上記第3の色数を上記第2の色数で割って得られる数に相当する数の、隣接する上記画素グループの集まりにおいて、上記狭帯域の第3の色数のカラーフィルタが全て含まれるように、上記画素グループが配されるものとすることができる。
【0025】
さらに、本発明に係るマルチスペクトル画像情報取得装置において、上記マルチスペクトル画像算出手段は、上記第1の画像を分割して得られる第1の小領域画像ごとに、全ての上記第1の小領域画像に対して、上記第1の小領域画像の各色画像に重み係数を乗算した後にこれらを足し合わせることで、上記第1の小領域画像と同一の画素数を有する第2の小領域画像を算出する処理であって、上記第1の小領域画像に対応する領域として上記第2の画像から切り出された第3の小領域画像の値と、上記第2の小領域画像に含まれる上記第3の小領域画像と対応する値との齟齬を最小とするように重み係数を決定し、上記重み係数を変更しながら、上記第3の色数と同じ回数繰り返し、第3の色数と同じ枚数の上記第2の小領域画像を算出する処理を行うものとすることができる。
【0026】
また、本発明は、マルチスペクトル画像情報取得方法であって、被写体像に対して、広帯域の分光感度特性に対応する3色以上の第1の色数と第1の画素数を有する第1の画像の画像情報と、上記被写体像に対して、第2の画素数を有し、画素ごとに異なる分光感度特性に対応する第2の色数を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、全ての画素を集めたときの色数は上記第1の色数よりも多い第3の色数である第2の画像の画像情報を取得する撮像ステップと、上記撮像ステップにおいて得られる上記第1の画像の画像情報と上記第2の画像の画像情報に基づいて、前記第3の色数と前記第1の画素数を有する第3の画像の画像情報を生成するマルチスペクトル画像算出ステップとを有し、上記被写体像に対するマルチスペクトル画像情報として上記第3の画像の画像情報を生成することを特徴とする。
【0027】
本発明に係るマルチスペクトル画像情報取得方法において、上記撮像ステップでは、上記第1の色数と第2の色数を合計した色数と同じ数の被写体像を分岐光学系により複製し、上記被写体像が複製された上記第1の色数に等しい数の像面にそれぞれ配された上記第1の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第1の画素数を有し、イメージセンサの分光感度特性は広帯域の分光感度特性である第1のイメージセンサにより上記第1の画像の画像情報を取得するとともに、上記被写体像が複製された上記第2の色数と同じ数の像面にそれぞれ配された上記第2の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第2の画素数を有し、イメージセンサの各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、上記第2の色数と同じ枚数のイメージセンサに含まれる画素を全て集めたきの色数は上記第1の色数よりも多い第3の色数である第2のイメージセンサにより上記第2の画像の画像情報を取得するものとすることができる。
【0028】
また、本発明に係るマルチスペクトル画像情報取得方法において、上記撮像ステップでは、2枚の被写体像を分岐光学系により複製し、上記分岐光学系により複製された一方の被写体像の像面に配された1枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第1の色数のカラーフィルタにより色コーディングされた第1の画素数を有する第1のイメージセンサにより上記第1の画像の画像情報を取得するとともに、上記分岐光学系により複製された他方の被写体像の像面に配された1枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記狭帯域の分光感度特性に対応する上記第3の色数のカラーフィルタにより色コーディングされた上記第3の画素数を有する第2のイメージセンサにより上記第2の画像の画像情報を取得し、さらに、上記撮像ステップおいて上記第1のイメージセンサにより得られる広帯域の分光感度特性に対応する第1の画素数の画像情報から、デモザイキング処理により、上記第1の色数と第4の画素数を有する画像の画像情報を生成するデモザイキングステップを有し、上記マルチスペクトル画像算出ステップでは、上記撮像ステップおいて上記第2のイメージセンサにより得られる狭帯域の分光感度特性に対応する第2の画素数の画像情報と、上記デモザイキングステップにおいてデモザイキング処理された上記第1の色数と第4の画素数を有する画像の画像情報に基づいて、上記第3の色数と、上記第4の画素数を有する画像の画像情報を算出するものとすることができる。
【0029】
また、本発明に係るマルチスペクトル画像情報取得方法において、上記撮像手段ステップでは、被写体像が結像される像面に配された1枚のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第1の色数のカラーフィルタと上記狭帯域の分光感度特性に対応する上記第3の色数のカラーフィルタにより色コーディングされた第1の画素数を有するイメージセンサにより第1の画素数の画像情報を取得し、さらに、上記撮像手段ステップにおいて上記イメージセンサにより得られる画像情報を、上記広帯域の分光感度特性に対応する画素の情報と、上記狭帯域の分光感度特性に対応する画素の情報とに分離する画像情報分離ステップと、上記画像情報分離ステップにおいて分離された広帯域の分光感度特性に対応する画素の情報から、デモザイキング処理により、上記第1の色数と第4の画素数を有する画像の画像情報を生成するデモザイキングステップを有し、上記マルチスペクトル画像算出ステップでは、上記画像情報分離ステップにおいて分離された狭帯域の分光感度特性に対応する画素の情報と、上記デモザイキングステップにおいてデモザイキング処理された上記第1の色数と第4の画素数を有する画像の画像情報に基づいて、上記第3の色数と、上記第4の画素数を有する画像の画像情報を算出するものとすることができる。
【0030】
また、本発明に係るマルチスペクトル画像情報取得方法において、上記マルチスペクトル画像算出ステップでは、上記第1の画像を分割して得られる第1の小領域画像ごとに、全ての上記第1の小領域画像に対して、上記第1の小領域画像の各色画像に重み係数を乗算した後にこれらを足し合わせることで、上記第1の小領域画像と同一の画素数を有する第2の小領域画像を算出する処理であって、上記第1の小領域画像に対応する領域として上記第2の画像から切り出された第3の小領域画像の値と、上記第2の小領域画像に含まれる上記第3の小領域画像と対応する値との齟齬を最小とするように重み係数を決定し、上記重み係数を変更しながら、上記第3の色数と同じ回数繰り返し、第3の色数と同じ枚数の上記第2の小領域画像を算出する処理を行うものとすることができる。
【発明の効果】
【0031】
本発明では、少ないチャネル数の画像と、マルチスペクトルフィルタアレイの画像をセットで取得し、信号処理によりスペクトル画像を復元することで、イメージングセンサの枚数を減らし、ワンショット撮影も可能とする。
【図面の簡単な説明】
【0032】
【図1】本発明を適用したマルチスペクトル画像情報取得装置の構成例(第1の実施の形態)を示すブロック図である。
【図2】本発明を適用したマルチスペクトル画像情報取得装置の他の構成例を示すブロック図である。
【図3】上記マルチスペクトル画像情報取得装置におけるマルチスペクトル画像算出部の構成例を示すブロック図である。
【図4】上記マルチスペクトル画像算出部において各バンドで独立に算出する場合の1つの小領域に対する処理内容を示す模式図である。
【図5】本発明を適用したマルチスペクトル画像情報取得装置の構成例(第2の実施の形態)を示すブロック図である。
【図6】本発明を適用したマルチスペクトル画像情報取得装置の他の構成例を示すブロック図である。
【図7】本発明を適用したマルチスペクトル画像情報取得装置の構成例(第3の実施の形態)を示すブロック図である。
【図8】本発明を適用したマルチスペクトル画像情報取得装置の他の構成例を示すブロック図である。
【図9】第3の実施の形態におけるマルチスペクトル画像情報取得装置に備えられる単板のカラーイメージセンサ上のカラーフィルタの構成(K=16の場合の画素配列の例の最小単位)を示す図である。
【図10】第1の実施の形態(K=16)についてシミュレーションを行った際に設定したRGBのイメージングセンサの分光感度特性を示す図である。
【図11】第1の実施の形態(K=16)についてシミュレーションを行った際に設定したMSFAの16種類の分光感度特性を示す図である。
【図12】第1の実施の形態(K=16)についてシミュレーションを行った際に設定したMSFAの画素配列を示す図である。
【図13】第1の実施の形態(K=16)についてシミュレーションを行い、他の手法と比較した結果を示す図である。
【図14】第1の実施の形態(K=16)についてシミュレーションを行い、他の手法と比較した結果を示す図である。
【図15】第1の実施の形態(K=16)についてシミュレーションを行い、他の手法と比較した結果を示す図である。
【図16】第3の実施の形態(K=16)についてシミュレーションを行った際に設定した単板のイメージングセンサの画素配列の例を示す図である。
【図17】第3の実施の形態(K=16)についてシミュレーションを行った際に設定したカラーフィルタの分光感度特性を示す図である。
【図18】第3の実施の形態(K=16)についてシミュレーションを行った際に設定したMSFAの16種類の分光感度特性を示す図である。
【図19】第3の実施の形態(K=16)についてシミュレーションを行った際に用いた分光画像を示す図である。
【図20】第3の実施の形態(K=16)についてシミュレーションを行い、他の手法と比較した結果を示す図である。
【図21】第3の実施の形態(K=16)についてシミュレーションを行い、他の手法と比較した結果を示す図である。
【図22】空間方向2次元、波長方向に1次元の合計3次元から構成されるスペクトル画像を示す図である。
【図23】イメージングセンサ上に配されるカラーフィルタの構成例として、(A)にRGBフィルタ、(B)にマルチスペクトルフィルタアレイを示す図である。
【発明を実施するための形態】
【0033】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【0034】
以下の説明においては、当該手法・装置から出力されるマルチスペクトル画像は、空間方向にNx×Ny個の要素(画素)、波長方向にK個の要素(合計Nx×Ny×K個の要素)から構成されるものとする。また、波長方向のある要素に対応するNx×Nyの画像を「バンド画像」と呼ぶ。各バンド画像は、それぞれ異なる任意の狭帯域の分光感度特性を有するセンサを介して観測された画像と定義する。
【0035】
<第1の実施の形態>
本発明は、例えば図1に示す様な構成のマルチスペクトル画像情報取得装置10に適用される。
【0036】
このマルチスペクトル画像情報取得装置10は、被写体像を結像する撮影レンズ11と、この撮影レンズ11を介して入射される入射光を4本の光路に分岐する分岐光学系12と、この分岐光学系12により4本に分岐された入射光の光路に設けられた3原色(R,G,B)画像撮像用のイメージセンサ13R、13G、13B及びMSFA画像撮像用のイメージセンサ14と、この3原色(R,G,B)画像撮像用のイメージセンサ13R、13G、13Bにより得られるRGB画像と上記MSFA画像撮像用のイメージセンサ14により得られるMSモザイク画像の各画像情報が供給されるマルチスペクトル画像算出部15を備える。
【0037】
撮像レンズ11は、分岐光学系12により4本に分岐された入射光により、4枚のイメージングセンサ13R、13G、13B、14上に被写体像を結像させる。
【0038】
3原色(R,G,B)画像撮像用のイメージセンサ13R、13G、13Bは、いずれもNx×Nyの画素数を有する。また、MSFA撮像用のイメージセンサ14は、この限りではないが、以下では、Nx×Nyの画素数を有するものとして説明する。
【0039】
4枚のイメージセンサ13R、13G、13B、14により被写体像を撮像して得られるR画像、G画像、B画像、MSモザイク画像の各画像情報は、マルチスペクトル画像算出部15に送られる。マルチスペクトル画像算出部15は、4枚のイメージセンサ13R、13G、13B、14から送られてくるR画像、G画像、B画像、MSモザイク画像の各画像情報に基づいて、マルチスペクトル画像情報を算出して出力する。
【0040】
このマルチスペクトル画像情報取得装置10は、図2に示すマルチスペクトル画像情報取得装置10Aのように、RGB画像を出力する機能を有するものすることができる。
【0041】
ここでは、マルチスペクトル画像情報取得装置10と共通の構成要素については同一符号を付してその詳細な説明を省略し、異なる構成要素について説明する。
【0042】
すなわち、マルチスペクトル画像情報取得装置10Aは、3原色(R,G,B)画像撮像用のイメージセンサ13R、13G、13Bにより得られるR画像、G画像、B画像の各画像情報を記憶するRGB画像記録部16と、MSFA撮像用のイメージセンサ14により得られるMSモザイク画像の画像情報を記憶するMSモザイク画像記録部17を備え、RGB画像記録部16に記録されたRGB画像をそのまま出力する機能を有する。また、必要に応じて、RGB画像記録部16に記録されたRGB画像の画像情報と、MSモザイク画像記録部17に記録されたMSモザイク画像の画像情報がマルチスペクトル画像算出部15に送られ、このマルチスペクトル画像算出部15においてマルチスペクトル画像の画像情報が算出、出力される。この構成の場合、既存のRGBを基本とするカラーシステムとの互換性を保ちつつ、必要に応じてマルチスペクトル画像の情報も併せて取得することが可能である。さらに、RGB画像記録部16、MSモザイク画像記録部17、マルチスペクトル画像算出部15が、別々の装置として実装されている場合も、本発明に含むものとする。
【0043】
入射光に対する3原色(R,G,B)画像撮像用のイメージセンサ13R、13G、13Bの分光感度は、一般のカラー画像情報収集に用いられるRGBカメラの分光感度特性、もしくはそれに類似した特性とする。この分光感度は、光路を分ける光学部材で実現しても、イメージセンサ上に配したカラーフィルタで実現しても、両者の組み合わせとして実現してもよい。また、MSFA撮像用のイメージセンサ14は、異なる種類のカラーフィルタを画素ごとに配したマルチスペクトルアレイ方式のセンサであり、K種類の狭帯域のカラーフィルタが配されている。K種類のカラーフィルタの分光感度特性は、出力するマルチスペクトル画像の各バンド画像の分光感度特性に対応する。また、K種類のカラーフィルタが分光感度を有する波長帯域は、いずれも、RGBカメラが感度を有する波長帯域と重なりを持つように構成されるのが望ましい。
【0044】
以上により、3原色(R,G,B)画像撮像用のイメージセンサ13R、13G、13Bにより得られるR画像、G画像、B画像の各画像情報は、全ての画素位置で高密度にサンプリングされているのに対し、K種類のカラーフィルタの各フィルタの情報、すなわち、MSFA撮像用のイメージセンサ14により得られるMSモザイク画像の画像情報は、K画素のうちの1画素のみで低密度にサンプリングされることとなる。
【0045】
このマルチスペクトル画像情報取得装置10におけるマルチスペクトル画像算出部15は、例えば図3に示すように、小領域切り出し部151と重み係数算出部152とマルチスペクトル画像生成部153から構成される。
【0046】
このマルチスペクトル画像算出部15では、小領域切り出し部151において、指定された小領域を各画像から切り出す。その後、重み係数算出部152において、R,G,Bの各チャネル画像に乗算する重み係数を算出する。重み係数は、Kバンド画像の各バンドで異なる値として算出される。この際、重み係数算出部152には、RGBチャネルの分光感度特性、MSFAのK種類のフィルタの分光感度特性、MSFAのカラーフィルタ配列情報が入力される。そして、スペクトル画像生成部153では、小領域切り出し部151から出力されたR,G,Bの小領域画像に対して、重み算出部152から出力された重み係数を乗算し、足し合わせることで、小領域に対応するマルチスペクトル画像を生成する。以上の処理を、全ての領域に対して繰り返しを行うことで、マルチスペクトル画像を生成し、出力する。
【0047】
重み係数算出部152では、バンドごとに異なる係数を算出する。重み係数の算出は、各バンドに独立で算出する手法と、全バンド画像を同時に算出する手法とがある。
【0048】
ここで、各バンドで独立に算出する場合の1つの小領域に対する処理内容を図4の模式図に示す。
【0049】
すなわち、図4に示すように、小領域のMSFAモザイク画像からkバンド目のカラーフィルタに対応する画素の情報を選択(以下、kバンド選択画素)すると共に、同じ位置の画素を小領域のR画像,G画像,B画像から選択する(以下、RGB選択画素)。RGBの選択画素に重み係数を乗算し足し合わせた結果と、kバンド選択画素との二乗誤差を最小とするように重み係数を算出し、算出した重み係数をRGB画像に乗算して足し合わせることで、kバンド目の画像を算出する。
【0050】
以下、マルチスペクトル画像算出部15における処理の詳細を説明する。
【0051】
マルチスペクトル画像の算出は、イメージセンサから出力された画像から切り出した小領域ごとに処理を行う。以下では、1つの小領域に関する処理を記述する。また、その小領域に含まれる画素数をN、小領域のi番目の画素に対応するオリジナルの分光スペクトルを
【0052】
【数1】

【0053】
(L次元列ベクトル)とする。ここでLは、スペクトル情報を取り扱う波長帯域において十分に細かい間隔で離散化した際のサンプリング点数であり、例えば、可視域380〜780[nm]を5nm間隔でサンプリングしたL=81次元が用いられる。
【0054】
また、
【0055】
【数2】

【0056】
個目の波長に対応する単一波長画像を
【0057】
【数3】

【0058】
(N次元列ベクトル)とすれば、N画素分の分光スペクトルは次の式(1)のように表すことができる。
【0059】
【数4】

【0060】
まず、理想的なマルチスペクトル画像を定義する。MSFAのK種類のカラーフィルタのそれぞれの分光感度特性を列ベクトルとして表記し、このベクトルを並べたL×K次元の行列を
【0061】
【数5】

【0062】
とする。もし、イメージセンサが線形の特性を有すれば、i番目の画素に対応する理想的なマルチスペクトル画像の情報は、次の式(2)にて表される。
【0063】
【数6】

【0064】
と表される。また、kバンド目の単バンド画像を
【0065】
【数7】

【0066】
(N次元列ベクトル)とすれば、N画素分のマルチスペクトル画像は次の式(3)のように表すことができる。
【0067】
【数8】

【0068】
今、マルチスペクトルの情報は、MSFAにより粗にサンプリングされた情報が得られている。kバンド目に対応するカラーフィルタにより、N画素からM画素をサンプリングするM×N次元の行列を
【0069】
【数9】

【0070】
とすると、サンプリングされた情報は次の式(4)のように表すことができる。
【0071】
【数10】

【0072】
ここで、
【0073】
【数11】

【0074】
の行ベクトルは、サンプリングする画素に対応する要素のみが1で、それ以外の要素が全て0であるようなベクトルである。一方、RGBチャネルのそれぞれの分光感度特性を列ベクトルとして表記し、これら3本のベクトルを並べたL×3次元の行列を
【0075】
【数12】

【0076】
とする。もし、イメージセンサが線形の特性を有すれば、得られるRGB画像
【0077】
【数13】

【0078】
(N×3次元の行列)は、次の式(5)のように表すことができる。
【0079】
【数14】

【0080】
マルチスペクトル画像算出部15では、観測された情報
【0081】
【数15】

【0082】
と、RGB画像
【0083】
【数16】

【0084】
が入力され、これらの情報に基づき、理想的なマルチスペクトル画像
【0085】
【数17】

【0086】
を推定し、出力する。
【0087】
本発明では、各バンド画像
【0088】
【数18】

【0089】
をRGB画像の足し合わせとして、次の式(6)のように推定する。
【0090】
【数19】

【0091】
ここで、
【0092】
【数20】

【0093】
は、3次元列ベクトルで、kバンド目の画像を推定するための重み係数である。重み係数の算出には、各バンド画像を独立に算出する方法と全バンドを同時に算出する方法がある。 以下、それぞれの方法について詳細を説明する。
【0094】
各バンド独立での重み係数算出方法
式(6)を式(4)に代入すると次の式(7)が得られる。
【0095】
【数21】

【0096】
ここで、未知数は、3次元列ベクトルの
【0097】
【数22】

【0098】
であり、それ以外の変数は観測データとフィルタアレイの配列情報から求めることができる。よって、両辺の2乗誤差を最小化するように
【0099】
【数23】

【0100】
求めることが可能である。線形の重回帰分析を用いた場合、次の式(8)が得られる。
【0101】
【数24】

【0102】
ここで、
【0103】
【数25】

【0104】

【0105】
【数26】

【0106】
の推定を意味する。式(7)の両辺の2乗誤差を最小化する手法は、線形の重回帰分析に限らない。これを全てのバンド画像に対して行うことで、全てのバンドに対応する重み係数が算出される。
【0107】
全バンド同時での重み係数算出方法
推定されたマルチスペクトル画像
【0108】
【数27】

【0109】
について、観測されたRGB画像
【0110】
【数28】

【0111】
との整合性を考慮して推定することも可能である。この場合、全てのバンドで同じ小領域を選択し、全てのバンドに対応する重み係数を同時に推定する必要がある。また以下では、各バンドでサンプリングした画素の合計を
【0112】
【数29】

【0113】
とする。ただし、イメージセンサの全ての画素をK種類のカラーフィルタのいずれかに割り振った場合
【0114】
【数30】

【0115】
である。
【0116】
今、理想的なマルチスペクトル画像
【0117】
【数31】

【0118】
から推定されるRGB画像を
【0119】
【数32】

【0120】
とする。ここで、
【0121】
【数33】

【0122】
である。また、
【0123】
【数34】

【0124】

【0125】
【数35】

【0126】
の疑似逆行列
【0127】
【数36】

【0128】
がK×Kの単位行列となる任意の行列)である。Kが大きな数であれば、
【0129】
【数37】

【0130】

【0131】
【数38】

【0132】
と十分に近い値となり、RGB画像
【0133】
【数39】

【0134】
も精度良く推定できると考えられる。推定されたマルチスペクトル画像
【0135】
【数40】

【0136】
に対しても式(9)の関係が成り立つ条件は、次の式(10)で与えられる。
【0137】
【数41】

【0138】
ここで、
【0139】
【数42】

【0140】
である。
【0141】
【数43】

【0142】
とすれば、式(10)は、次の式(11)のように書き直せる。
【0143】
【数44】

【0144】
【数45】

【0145】
式(11)は次の式(12)となる。
【0146】
【数46】

【0147】
ここで、
【0148】
【数47】

【0149】
はクロネッカー積を表す。一方、式(7)も
【0150】
【数48】

【0151】
を用いた表記に書き直すと次の式(13)となる。
【0152】
【数49】

【0153】
式(13)の右辺の
【0154】
【数50】

【0155】
の行列を
【0156】
【数51】

【0157】
とおけば、次の式(14)となる。
【0158】
【数52】

【0159】
式(12)と式(14)を1つの式にまとめると次の式(15)となる。
【0160】
【数53】

【0161】
式(15)において、未知数は3K次元の列ベクトル
【0162】
【数54】

【0163】
であり、それ以外の変数は観測データとRGBチャネルの分光感度特性、MSFAの分光感度特性、MSFAのフィルタ配列情報により求めることができる。よって、両辺の2乗誤差を最小化するように、
【0164】
【数55】

【0165】
を求めることができる。ただし、式(15)の
【0166】
【数56】

【0167】
は、式(12)と式(14)の両辺の2乗誤差最小化において式(12)と式(14)の誤差に対して重みづけを行う係数である。式(15)の左辺のベクトルを
【0168】
【数57】

【0169】
、右辺の行列を
【0170】
【数58】

【0171】
とおけば、例えば、線形の重回帰分析を用いた場合、次の式(16)が得られる。
【0172】
【数59】

【0173】
以上が、重み係数算出に関する詳細説明である。
【0174】
ここで、MSFA画像撮像用のイメージセンサ14がRGB画像撮像用のイメージセンサ13R,13G,13Bの画素数Nx×Nyと異なる場合のマルチスペクトル画像算出方法について補足する。ただし、MSFA画像撮像用のイメージセンサ14とRGB画像撮像用のイメージセンサ13R,13G,13Bでは同じ被写体領域の像を取得するものとする。まず、RGB画像をMSFAモザイク画像と同じ画素数の画像へと解像度変換を行う。この解像度変換されたRGB画像を用いて、重み係数の算出を行う。その後、算出した重み係数を用いてRGB画像の足し合わせでマルチスペクトル画像を生成する際には、解像度変換する前のオリジナルのRGB画像を用いる。
【0175】
次に、小領域への分割について補足する。各バンド独立で重み係数を算出する手法の場合には、バンドごとの小領域が同じでも異なってもよい。一方、全バンド同時に重み係数を算出する手法の場合には、全バンドの小領域を統一する必要がある。また、いずれの手法を用いる場合でも、小領域への分割は確率的に行ってもよい。これは、1つの画素が複数の小領域に所属し、所属する確率が定義されている状態を意味する。このとき、マルチスペクトル画像の算出では、式(4)の
【0176】
【数60】

【0177】

【0178】
【数61】

【0179】
に置き換える。ここで、
【0180】
【数62】

【0181】
の各行ベクトルは、サンプリングする画素に対応する要素のみが0以外の1以下の正の値を持ち、それ以外の要素が全て0であるようなベクトルである。0でない要素の値は、その画素が現在処理している小領域に含まれる確率を0〜1の数値で表したものである。
【0182】
【数63】

【0183】
から
【0184】
【数64】

【0185】
への置き換え以外は、前述の処理から変更はない。
【0186】
次に、マルチスペクトル画像算出における式(6)のモデルの拡張方法を説明する。式(6)のモデルは、各バンド画像
【0187】
【数65】

【0188】
をRGB画像の足し合わせで表現するものであり、R,G,Bの各画像は、画像基底の役割を果たす。そこで、汎用的な画像基底を加えて、式(6)のモデルを拡張することが可能である。例えば、空間周波数が低い成分は多くの画像に含まれることから、最も空間周波数が低い画像基底である
【0189】
【数66】

【0190】
(N次元列ベクトル)を加えて、
【0191】
【数67】

【0192】
とする方法が考えられる。この場合、重み係数
【0193】
【数68】

【0194】
は4次元の列ベクトルとなり、未知数が1つ増える。同様にして、有効と思われる任意の画像基底を加えることが可能である。
【0195】
すなわち、この第1の実施の形態におけるマルチスペクトル画像情報取得装置10では、第1の色数=3、第2の色数=1、第3の色数=16とし、撮像手段として、撮影レンズ11によって形成される被写体像を上記第1の色数と第2の第2の色数を合計した色数と同じ数、すなわち、4つの像に複製する分岐光学系12と、上記分岐光学系12により複製された上記第1の色数に等しい数の像面にそれぞれ配された上記第1の色数と同じ枚数、すなわち3枚のイメージセンサ13R,13G,13Bと、上記第2の色数と同じ数の像面にそれぞれ配された上記第2の色数と同じ枚数、すなわち1枚のイメージセンサ14を備える。そして、3枚のイメージセンサ13R,13G,13Bは、それぞれ、第1の画素数を有し、広帯域の分光感度特性を有している。また、イメージセンサ14は、第2の画素数を有し、イメージセンサの各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有している。
【0196】
そして、このマルチスペクトル画像情報取得装置10では、被写体像に対して、広帯域の分光感度特性に対応する第1の色数と第1の画素数を有する第1の画像の画像情報をイメージセンサ13R,13G,13Bにより取得するとともに、上記被写体像に対して、第2の画素数を有し、画素ごとに異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有する上記第1の色数よりも多い第3の色数である第2の画像の画像情報をイメージセンサ14により取得し、取得された上記第1の画像の画像情報と上記第2の画像の画像情報に基づいて、上記被写体像に対するマルチスペクトル画像情報として、上記記第3の色数と上記第1の画素数を有する第3の画像の画像情報を生成する。
【0197】
ここで、この第1の実施の形態におけるマルチスペクトル画像情報取得装置10では、第2の色数=1として、1枚のイメージセンサ14により上記第1の色数よりも多い第3の色数である第2の画像の画像情報を取得するようにしたが、例えば、第2の色数=2とし、分岐光学系12により上記第1の色数と第2の第2の色数を合計した色数と同じ数、すなわち、5つの被写体像を複製し、イメージセンサ14を2枚のイメージセンサで構成するようにしてもよい。
【0198】
この場合、イメージセンサ14を構成する2枚のイメージセンサは、それぞれのイメージセンサは第2の画素数を有し、各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、上記第2の色数と同じ枚数のイメージセンサに含まれる画素を全て集めたきの色数は上記第1の色数よりも多い第3の色数であるものとされる。
【0199】
すなわち、この第1の実施の形態におけるマルチスペクトル画像情報取得装置10は、撮像手段として、撮影レンズ11によって形成される被写体像を上記第1の色数と第2の第2の色数を合計した色数と同じ数の像に複製する分岐光学系12と、上記分岐光学系12により複製された上記第1の色数に等しい数の像面にそれぞれ配された上記第1の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第1の画素数を有し、イメージセンサの分光感度特性は広帯域の分光感度特性である第1のイメージセンサと、上記第2の色数と同じ数の像面にそれぞれ配された上記第2の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第2の画素数を有し、イメージセンサの各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、上記第2の色数と同じ枚数のイメージセンサに含まれる画素を全て集めたきの色数は上記第1の色数よりも多い第3の色数である第2のイメージセンサを備えるものとすることができる。
【0200】
そして、このマルチスペクトル画像情報取得装置10では、被写体像に対して、広帯域の分光感度特性に対応する3色以上の第1の色数と第1の画素数を有する第1の画像の画像情報を第1のイメージセンサにより取得するとともに、上記被写体像に対して、第2の画素数を有し、画素ごとに異なる分光感度特性に対応する第2の色数を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、全ての画素を集めたときの色数は上記第1の色数よりも多い第3の色数である第2の画像の画像情報を第2のイメージセンサにより取得し、取得された上記第1の画像の画像情報と上記第2の画像の画像情報に基づいて、上記被写体像に対するマルチスペクトル画像情報として、上記記第3の色数と上記第1の画素数を有する第3の画像の画像情報を生成することができる。
【0201】
<第2の実施の形態>
また、本発明は、例えば図5に示す様な構成のマルチスペクトル画像情報取得装置20に適用される。
【0202】
このマルチスペクトル画像情報取得装置20は、被写体像を結像する撮影レンズ21と、この撮影レンズ21の後段に設けられた光学ローパスフィルタ22と、上記撮影レンズ21から光学ローパスフィルタ22を介して入射される入射光を2本の光路に分岐する分岐光学系23と、この分岐光学系23により2本に分岐された入射光の光路に設けられた3原色(R,G,B)画像撮像用の単板のRGBイメージセンサ24及びMSFA画像撮像用のイメージセンサ25と、このRGBイメージセンサ24により得られるRGBモザイク画像の画像情報が供給されるデモザイキング部26と、このデモザイキング部26からRGB画像の画像情報が供給されるとともに上記MSFA画像撮像用のイメージセンサ25により得られるMSモザイク画像の画像情報が供給されるマルチスペクトル画像算出部27を備える。
【0203】
撮像レンズ21は、分岐光学系23により2本に分岐された入射光により、2枚のイメージングセンサ24、25上に被写体像を結像させる。この際、光学ローパスフィルタ22により高周波成分がカットされた被写体像が2枚のイメージセンサ24,25上に結像される。
【0204】
RGBイメージセンサ24は、撮像面上に3原色(R,G,B)のカラーフィルタがモザイク状に配された単板のイメージセンサであって、Nx×Nyの画素数を有する。また、MSFA撮像用のイメージセンサ25は、この限りではないが、以下では、Nx×Nyの画素数を有するものとして説明する。
【0205】
RGBイメージセンサ24により得られるRGBモザイク画像の画像情報は、デモザイキング部26により、それぞれNx×Nyの画素を有するRとGとBの3枚の画像、すなわち、R画像、G画像、B画像の画像情報に変換される。デモザイキング部26により変換されたR画像、G画像、B画像の画像情報がMSFA画像撮像用のイメージセンサ25により得られるMSモザイク画像の画像情報とともにマルチスペクトル画像算出部27に供給される。そして、マルチスペクトル画像算出部26は、R画像、G画像、B画像、MSモザイク画像の各画像情報に基づいて、マルチスペクトル画像情報を算出して出力する。
【0206】
このマルチスペクトル画像情報取得装置20は、図6に示すマルチスペクトル画像情報取得装置20Aのように、RGB画像を出力する機能を有するものすることができる。
【0207】
ここでは、マルチスペクトル画像情報取得装置20と共通の構成要素については同一符号を付してその詳細な説明を省略し、異なる構成要素について説明する。
【0208】
すなわち、マルチスペクトル画像情報取得装置20Aは、デモザイキング部26により得られるR画像、G画像、B画像の各画像情報を記憶するRGB画像記録部28と、MSFA撮像用のイメージセンサ25により得られるMSモザイク画像の画像情報を記憶するMSモザイク画像記録部29を備え、RGB画像記録部28に記録されたRGB画像をそのまま出力する機能を有する。また、必要に応じて、RGB画像記録部28に記録されたRGB画像の画像情報と、MSモザイク画像記録部29に記録されたMSモザイク画像の画像情報がマルチスペクトル画像算出部27に送られ、このマルチスペクトル画像算出部27においてマルチスペクトル画像の画像情報が算出、出力される。この構成の場合、既存のRGBを基本とするカラーシステムとの互換性を保ちつつ、必要に応じてマルチスペクトル画像の情報も併せて取得することが可能である。さらに、RGB画像記録部28、MSモザイク画像記録部29、マルチスペクトル画像算出部27が、別々の装置として実装されている場合も、本発明に含むものとする。
【0209】
このマルチスペクトル画像情報取得装置20において、RGBイメージセンサ24は、R,G,Bに対応するカラーフィルタを画素ごとに配した単板のイメージセンサである。R,G,Bのそれぞれの分光感度特性は、第1の実施の形態に記載したものと同様である。R,G,Bのカラーフィルタの配列は、ベイヤー配列に代表されるような一般的な配列、もしくは、それに類似した配列とする。
【0210】
また、MSFA撮像用のイメージセンサ25は、第1の実施の形態に記載したものと同様のものが使用される。
【0211】
光学ローパスフィルタ22は、デモザイキング部26から出力されるRGB画像における、折り返し歪を防ぐことを目的としている。RGBイメージセンサ24上で、R,G,Bそれぞれの画素は少なくとも縦横2画素に1画素を配すことができるため、光学ローパスフィルタ22は、イメージセンサのナイキスト周波数の半分程度までの高周波成分をカットする特性であることが望ましい。また、光学ローパスフィルタ22を挿入する場所は、撮像レンズ21と分岐光学系23の間でなくてもよい。デモザイキング部26に0おけるデモザイキング処理は、任意の手法を用いることができる。
【0212】
マルチスペクトル画像算出部27の働きは、第1の実施の形態におけるマルチスペクトル画像算出部15と同様である。
【0213】
すなわち、この第2の実施の形態は、第1の色数=3、第2の色数=1、第3の色数=16としたマルチスペクトル画像情報取得装置20であって、撮像手段として、撮影レンズ21によって形成される被写体像を2枚の像に複製する分岐光学系23と、上記分岐光学系23により複製された一方の被写体像の像面に配された1枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第1の色数のカラーフィルタにより色コーディングされた第1の画素数を有する上記第1の画像の画像情報を取得するための第1のイメージセンサ24と、上記分岐光学系23により複製された他方の被写体像の像面に配された1枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記狭帯域の分光感度特性に対応する上記第3の色数のカラーフィルタにより色コーディングされた上記第2の画素数を有する上記第2の画像の画像情報を取得するための第2のイメージセンサ25を備える。
【0214】
そして、上記第1のイメージセンサ24により得られる広帯域の分光感度特性に対応する第1の画素数の画像情報から、デモザイキング部26におけるデモザイキング処理により、上記第1の色数と第4の画素数を有する画像の画像情報を生成し、上記第2のイメージセンサ25により得られる狭帯域の分光感度特性に対応する第2の画素数の画像情報と、上記デモザイキング部26によりデモザイキング処理された上記第1の色数と第4の画素数を有する画像の画像情報に基づいて、マルチスペクトル画像算出部27により、上記被写体像に対するマルチスペクトル画像情報として、上記第3の色数と、上記第4の画素数を有する画像の画像情報を算出する。
【0215】
ここで、この第2の実施の形態におけるマルチスペクトル画像情報取得装置20においても、第2の色数=1として、1枚のイメージセンサ25により上記第1の色数よりも多い第3の色数である第2の画像の画像情報を取得するようにしたが、例えば、第2の色数を複数とし、分岐光学系23により上記第2の色数と同じ枚数の被写体像を複製し、第2のイメージセンサ25を上記第2の色数と同じ枚数のイメージセンサで構成するようにしてもよい。
【0216】
この場合、第2のイメージセンサ25を構成する上記第2の色数と同じ枚数のイメージセンサは、それぞれのイメージセンサは第2の画素数を有し、各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、各イメージセンサに含まれる画素を全て集めたきの色数は上記第1の色数よりも多い第3の色数であるものとされる。
<第3の実施の形態>
また、本発明は、例えば図7に示す様な構成のマルチスペクトル画像情報取得装置30に適用される。
【0217】
このマルチスペクトル画像情報取得装置30は、被写体像を結像する撮影レンズ31と、この撮影レンズ31の後段に設けられた光学ローパスフィルタ32と、上記撮影レンズ31から入射光が光学ローパスフィルタ32を介して入射される単板のカラーイメージセンサ33、このカラーイメージセンサ33により得られるカラー画像の画像情報が供給される画像情報分離部34と、この画像情報分離部34からRGBモザイク画像の画像情報が供給されるデモザイキング部35と、このデモザイキング部35からRGB画像の画像情報が供給されるとともに上記画像情報分離部34からMSモザイク画像の画像情報が供給されるマルチスペクトル画像算出部36を備える。
【0218】
撮像レンズ31は、単板のカラーイメージングセンサ33上に被写体像を結像させる。この際、光学ローパスフィルタ32により高周波成分がカットされた被写体像が単板のカラーイメージセンサ233上に結像される。
【0219】
このマルチスペクトル画像情報取得装置30において、カラーイメージングセンサ33は、RGBとMSを組み合わせた色コーディングフィルタが撮像面に設けられた単板のイメージセンサであって、Nx×Nyの画素数を有する。
【0220】
このカラーイメージセンサ33により得られるカラー画像の画像情報から、画像情報分離部34においてRGBモザイク画像の画像情報とMSモザイク画像の画像情報が分離される。
【0221】
画像情報分離部34において分離されたRGBモザイク画像の画像情報は、デモザイキング部35により、それぞれNx×Nyの画素を有するRとGとBの3枚の画像、すなわち、R画像、G画像、B画像の画像情報に変換される。デモザイキング部35により変換されたR画像、G画像、B画像の画像情報が上記画像情報分離部34において分離されたMSモザイク画像の画像情報とともにマルチスペクトル画像算出部36に供給される。そして、マルチスペクトル画像算出部36は、R画像、G画像、B画像、MSモザイク画像の各画像情報に基づいて、マルチスペクトル画像情報を算出して出力する。
【0222】
このマルチスペクトル画像情報取得装置30は、図8に示すマルチスペクトル画像情報取得装置30Aのように、RGB画像を出力する機能を有するものすることができる。
【0223】
ここでは、マルチスペクトル画像情報取得装置30と共通の構成要素については同一符号を付してその詳細な説明を省略し、異なる構成要素について説明する。
【0224】
すなわち、マルチスペクトル画像情報取得装置30Aは、デモザイキング部35により得られるR画像、G画像、B画像の各画像情報を記憶するRGB画像記録部37と、画像情報分離部34により得られるMSモザイク画像の画像情報を記憶するMSモザイク画像記録部38を備え、RGB画像記録部37に記録されたRGB画像をそのまま出力する機能を有する。また、必要に応じて、RGB画像記録部37に記録されたRGB画像の画像情報と、MSモザイク画像記録部38に記録されたMSモザイク画像の画像情報がマルチスペクトル画像算出部36に送られ、このマルチスペクトル画像算出部36においてマルチスペクトル画像の画像情報が算出、出力される。この構成の場合、既存のRGBを基本とするカラーシステムとの互換性を保ちつつ、必要に応じてマルチスペクトル画像の情報も併せて取得することが可能である。さらに、RGB画像記録部37、MSモザイク画像記録部38、マルチスペクトル画像算出部36が、別々の装置として実装されている場合も、本発明に含むものとする。
【0225】
このマルチスペクトル画像情報取得装置30に備えられる単板のカラーイメージセンサ33におけるRGBに対応する画素の分光感度特性は、第1の実施の形態に記載したものと同様である。また、MSに対応する画素のK種類の分光感度特性は、第1の実施の形態に記載したものと同様である。
【0226】
光学ローパスフィルタ32は、デモザイキング部35から出力されるRGB画像における、折り返し歪を防ぐことを目的としており、その特性は、第2の実施の形態に記載されるものと同様である。
【0227】
デモザイキング部35のデモザイキング処理は、任意の手法を用いることができる。
【0228】
マルチスペクトル画像算出部36の働きは、第1の実施の形態に記載したものと同様である。
【0229】
ここで、このマルチスペクトル画像情報取得装置30に備えられる単板のカラーイメージセンサ33上のカラーフィルタの配列について説明する。
【0230】
2×2の4画素を一つの画素グループとすると、この画素グループには、RとGとBのカラーフィルタと、K種類のカラーフィルタのうちの1種類のカラーフィルタが配される。よって、R,G,Bのカラーフィルタが配される画素は4画素に1つ存在するのに対し、K種類のうちの1種類のカラーフィルタが配される画素は4×L画素に1つ存在することになる。
【0231】
例えば、K=16の場合の画素配列の例の最小単位を図9に示すように、K=16の場合、K種類のカラーフィルタを1画素ずつ配するためには16=4×4画素必要であることから、単板のカラーイメージセンサ33上のカラーフィルタの最小単位は8×8画素となる。K種類の狭帯域のカラーフィルタの配列は、任意である。
【0232】
すなわち、この第3の実施の形態は、第1の色数=3、第2の色数=1、第3の色数=16としたマルチスペクトル画像情報取得装置30であって、撮像手段として、撮像レンズ31により被写体像が結像される像面に配された1枚のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第1の色数のカラーフィルタと上記狭帯域の分光感度特性に対応する上記第3の色数のカラーフィルタにより色コーディングされた第1の画素数を有するイメージセンサ33を備える。
【0233】
そして、上記イメージセンサ33により得られる画像情報を、画像情報分離部34により、上記広帯域の分光感度特性に対応する画素の情報と、上記狭帯域の分光感度特性に対応する画素の情報とに分離し、上記画像情報分離部34により分離された広帯域の分光感度特性に対応する画素の情報から、デモザイキング部35におけるデモザイキング処理により、上記第1の色数と第4の画素数を有する画像の画像情報を生成し、 上記画像情報分離部34により分離された狭帯域の分光感度特性に対応する画素の情報と、上記デモザイキング部35においてデモザイキング処理された上記第1の色数と第4の画素数を有する画像の画像情報に基づいて、マルチスペクトル画像算出部36により、上記被写体像に対するマルチスペクトル画像情報として、上記第3の色数と、上記第4の画素数を有する画像の画像情報を算出する。
【0234】
<出力形式を変更した実施の形態>
第1の実施の形態、第2の実施の形態、第3の実施の形態のいずれの場合においても、マルチスペクトル画像を出力する代わりに、マルチスペクトル画像から算出される他の形式の画像データに変換して出力するものとすることができる。
【0235】
上記の実施の形態においては、RGBチャネルに対応するイメージセンサ(第1の実施の形態ではRイメージセンサ13RとGイメージセンサ13GとBイメージセンサ13B、第2の実施の形態ではRGBイメージセンサ24、第3の実施の形態では単板のカラーイメージセンサ33)の画素数をNRGBとし、MSFAのカラーフィルタの種類数をKとすると、マルチスペクトル画像算出部15,27,36からは画素数NRGBのKバンドの画像が出力される。これに対し、マルチスペクトル画像算出部15,27,36から任意の画素数の
(1)Kバンドより多いバンドのマルチスペクトル画像
(2)Kバンドより少ないバンドのマルチスペクトル画像
(3)スペクトル放射輝度画像
(4)分光反射率画像
(5)XYZ画像
(6)RGB画像
などに変換した後に画像情報を出力するものとすることができる。このとき、変換後の画像情報のバンド数または色チャネル数をJとし、そのj番目のチャネル画像をqjとする。ただし簡単のために変換後の画像情報の画素数はNRGBと等しい場合について説明する。qj がオリジナルの分光スペクトルの画像
【0236】
【数69】

【0237】
(lは1〜L)、またはKバンドマルチスペクトル画像
【0238】
【数70】

【0239】
から線形の演算で算出できる場合、すなわち重み係数
【0240】
【数71】

【0241】
または
【0242】
【数72】

【0243】
を用いて、次の式(17)として
【0244】
【数73】

【0245】
定義されるような画像情報に変換する場合には、より簡易な計算によって実装することも可能である。式(6)を式(17)に代入すると、
【0246】
【数74】

【0247】
を用いて、変換後の画像情報を
【0248】
【数75】

【0249】
と表すことができる。つまり式(18)を用いることにより、Kバンドマルチスペクトル画像を求めることなく、RGB画像から直接上記(1)から(6)の変換後の画像情報を算出することもできる。
【0250】
本実施形態は、撮影時の照明光の分光スペクトルと、観察用の照明光の分光スペクトルを用いて、撮影時とは異なる光で照明された際の色を算出する場合などに適用される。
【0251】
<その他の実施の形態>
さらに、第1〜第3の実施の形態では、広帯域イメージセンサの分光感度特性をRGBに対応する分光感度特性として説明したが、対象とする波長帯域における任意の広帯域の分光感度特性に置き換えて実施することも可能である。
【0252】
実施例1として、第1の実施の形態(K=16)について、次の設定で、シミュレーションを行い、他の手法と比較した結果を図13〜図15に示す。
【0253】
設定
第1の実施の形態で、K=16の設定とする。つまり、R,G,Bに対応した3枚のイメージングセンサと、16色のフィルタを配したマルチスペクトルフィルタアレイ方式の1枚のイメージングセンサ(合計4枚のイメージングセンサ)により取得したデータから、16色のフィルタに対応した16バンド画像を生成する。RGBのイメージングセンサの分光感度特性を図10に、MSFAの16種類の分光感度特性を図11に示す。また、MSFAの画素配列を図12に示す。図12において、1〜16の数値は、狭帯域カラーフィルタの種類を表し、短波長側から順に番号を付けている。マルチスペクトル画像算出時の領域分割は16×16画素の矩形領域で、全てのバンド画像で共通とする。また、重み係数の算出は、バンドごとに独立で行う。
【0254】
自然風景のスペクトル画像のデータベース(Hyperspectral Images of Natural Scenes by D. H. Foster, The University of Manchester)の3種類のスペクトル画像から、一部領域を切り出して、撮影対象として使用した。切り出したスペクトル画像の仕様を表1に示す。
【0255】
【表1】

【0256】
比較手法
4-band:図10のGの分光感度特性を長波長側と短波長側の2つに分割した感度と、RとBの分光感度特性を合わせた4チャネルの分光感度特性を有する4枚のイメージングセンサで取得したデータから、画素ごとにWiener推定により16次元のスペクトルを推定して、スペクトル画像を復元する。
【0257】
4-band FA x4:4種類のフィルタを画素ごとに配したフィルタアレイ方式のイメージングセンサ4枚で撮影することを想定し、イメージングセンサごとに異なる4種類のカラーフィルタを配する。その結果、合計で16種類のカラーフィルタに対応するデータが取得できる。16種類のカラーフィルタに対応する分光感度特性は図11と同一である。また、1色のカラーフィルタは、4画素に1つ配される。このようにして取得されたデータから、線形補間により16波長の画像を復元する。
【0258】
結果
図13〜図15は、バンド画像ごとの正規化された2乗誤差平均の平方根NRMSE(Normalized Root Mean Squared Error)を示す。「RGB+16FA」が本発明によるものである。本発明のNRMSEが最も小さく抑えられていることがわかる。
【0259】
次に、実施例2として、第3の実施の形態(K=16)について、次の設定で、シミュレーションを行い、他の手法と比較した結果を図20、図21に示す。
【0260】
設定
第1の実施の形態で、K=16の設定とする。イメージセンサの画素数は512×512画素とする。単板イメージングセンサの画素配列を図16に示す。R,G,Bの画素は2×2=4画素ごとに1画素サンプリングされているのに対し、16種類のうちの1種類のカラーフィルタに対応する画素は、8×8=64画素に1画素しかサンプリングされていないこととなる。R,G,Bのカラーフィルタの分光感度と、MSFAの16種類の分光感度を図17、図18に示す。
【0261】
周波数帯域を約半分にする光学的な高周波カットが実装されているものとする。
【0262】
オリジナルとして、図19の(A),(B)に示すように、空間方向に512×512画素、波長方向81次元(380〜780[nm]を5nm間隔でサンプリング)の分光画像を用いた(ただし16バンドのマルチスペクトル画像から推定した画像である)。
【0263】
マルチスペクトル画像算出時の領域分割は32×32画素の矩形領域とした。また、重み係数の算出において、バンドごとに独立に算出する場合と、全バンド同時に算出する場合の双方を実装した。さらに、画像基底として、全ての要素が1で構成される直流基底を追加する場合としない場合の双方を実装した。本発明による手法として、これらの組み合わせの4パターンの結果を比較した。
【0264】
デモザイキング処理
高密度サンプリングのR,G,Bの画素のデータは、縦横に1画素おきにサンプリングされている。あらかじめ周波数帯域が約半分となるように、高周波成分がカットされていることを想定しているため、周波数領域において、折り返しひずみはほぼ生じないと考えられる。そこで、R,G,Bそれぞれの画素を抜き出した画像(256×256画素)を離散フーリエ変換により周波数領域に投影し、それぞれの位相差に対応する係数を周波数領域で乗算した後、高周波領域をゼロで埋めて512×512の画像としてから、離散逆フーリエ変換により512×512の画像に戻す。これにより、1画素おきにサンプリングされたR,G,Bの画素の情報から、512×512の高周波成分がカットされた画像が復元され、バンド画像で独立にデモザイキングした結果とみなすことができる。
【0265】
比較手法
16波長に対応するカラーフィルタを512×512画素のイメージングセンサ上に均等に配置することを想定し、図12に示した画素配列と同等の配列の繰り返しとした。1種類のカラーフィルタに対応する画素は、4×4=16画素に1画素サンプリングされることとなる。
【0266】
結果
MSの画素のサンプリング位置の256×256個の画素を取り出し、NRMSEにより評価した。図20、図21に像のNRMSEを示す。まず、本発明による結果は、比較手法(均等サンプリング、線形補間)の結果と比較すると、NRMSEを1/3以下に低減させていることがわかる。さらに、本発明による4つの結果を比較すると、直流基底を追加することで15、16バンド目の推定誤差を低減させた。さらに、全バンド同時に重み係数を算出する手法の方が、各バンド独立で算出する手法と比較して、わずかに誤差が減少した。
【符号の説明】
【0267】
10,10A,20,20A,30,30A マルチスペクトル画像情報取得装置、11,21,31 撮影レンズ、12,23 分岐光学系、13R,13G,13B 3原色画像撮像用イメージセンサ、14,25 MSFA画像撮像用のイメージセンサ、15,27,36 マルチスペクトル画像算出部、16,28,27 RGB画像記録部、17,29,38 MSモザイク画像記録部、22,23 光学ローパスフィルタ、24 RGBイメージセンサ、26,35 デモザイキング部、33 カラーイメージセンサ、34 画像情報分離部34、151 小領域切り出し部、152 重み係数算出部、153 マルチスペクトル画像生成部、

【特許請求の範囲】
【請求項1】
撮影レンズによって形成される被写体像に対して、広帯域な分光感度特性に対応する3色以上の第1の色数と第1の画素数を有する第1の画像の画像情報と、上記被写体像に対して、第2の画素数を有し、画素ごとに異なる分光感度特性に対応する第2の色数を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、全ての画素を集めたときの色数は上記第1の色数よりも多い第3の色数である第2の画像の画像情報を出力する撮像手段と、
上記撮像手段により得られる上記第1の画像の画像情報と上記第2の画像の画像情報に基づいて、前記第3の色数と前記第1の画素数を有する第3の画像の画像情報を生成するマルチスペクトル画像算出手段とを備え、
上記被写体像に対するマルチスペクトル画像情報として上記第3の画像の画像情報を生成することを特徴とするマルチスペクトル画像情報取得装置。
【請求項2】
上記撮像手段は、上記撮影レンズによって形成される被写体像を上記第1の色数と第2の色数を合計した色数と同じ数の像に複製する分岐光学系と、上記分岐光学系により複製された上記第1の色数に等しい数の像面にそれぞれ配された上記第1の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第1の画素数を有し、イメージセンサの分光感度特性は広帯域の分光感度特性である第1のイメージセンサと、上記第2の色数と同じ数の像面にそれぞれ配された上記第2の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第2の画素数を有し、イメージセンサの各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、上記第2の色数と同じ枚数のイメージセンサに含まれる画素を全て集めたきの色数は上記第1の色数よりも多い第3の色数である第2のイメージセンサを備えること特徴とする請求項1記載のマルチスペクトル画像情報取得装置。
【請求項3】
上記第1のイメージセンサは、赤色画像と緑色画像と青色画像を撮像する3枚のイメージセンサであり、
上記第2のイメージセンサは、画素ごとにカラーフィルタが配され、上記第3の色数のカラーフィルタにより色コーディングされた上記第2の画素数を有する1枚のイメージセンサであること特徴とする請求項2記載のマルチスペクトル画像情報取得装置。
【請求項4】
上記撮像手段は、上記撮影レンズによって形成される被写体像を2枚の像に複製する分岐光学系と、上記分岐光学系により複製された一方の被写体像の像面に配された1枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第1の色数のカラーフィルタにより色コーディングされた第1の画素数を有する上記第1の画像の画像情報を取得するための第1のイメージセンサと、上記分岐光学系により複製された他方の被写体像の像面に配された1枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記狭帯域の分光感度特性に対応する上記第3の色数のカラーフィルタにより色コーディングされた上記第2の画素数を有する上記第2の画像の画像情報を取得するための第2のイメージセンサを備え、
さらに、上記第1のイメージセンサにより得られる広帯域の分光感度特性に対応する第1の画素数の画像情報から、デモザイキング処理により、上記第1の色数と第4の画素数を有する画像の画像情報を生成するデモザイキング部を備え、
上記マルチスペクトル画像算出手段は、上記第2のイメージセンサにより得られる狭帯域の分光感度特性に対応する上記第2の画素数の画像情報と、上記デモザイキング部によりデモザイキング処理された上記第1の色数と第4の画素数を有する画像の画像情報に基づいて、上記第3の色数と、上記第4の画素数を有する画像の画像情報を算出すること特徴とする請求項1記載のマルチスペクトル画像情報取得装置。
【請求項5】
上記撮像手段は、上記撮像レンズにより被写体像が結像される像面に配された1枚のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第1の色数のカラーフィルタと上記狭帯域の分光感度特性に対応する上記第3の色数のカラーフィルタにより色コーディングされた第1の画素数を有するイメージセンサを備え、
さらに、上記撮像手段により得られる画像情報を、上記広帯域の分光感度特性に対応する画素の情報と、上記狭帯域の分光感度特性に対応する画素の情報とに分離する画像情報分離部と、上記画像情報分離部により分離された広帯域の分光感度特性に対応する画素の情報から、デモザイキング処理により、上記第1の色数と第4の画素数を有する画像の画像情報を生成するデモザイキング部を備え、
上記マルチスペクトル画像算出手段は、上記画像情報分離部により分離された狭帯域の分光感度特性に対応する画素の情報と、上記デモザイキング部によりデモザイキング処理された上記第1の色数と第4の画素数を有する画像の画像情報に基づいて、上記第3の色数と、上記第4の画素数を有する画像の画像情報を算出すること特徴とする請求項1記載のマルチスペクトル画像情報取得装置。
【請求項6】
上記撮像手段は、上記イメージセンサ上の画素は、第1の色数と第2の色数を併せた数の隣接する画素を集めた画素グループには広帯域の分光感度特性に対応する上記第1の色数のカラーフィルタがそれぞれ1種類ずつ配されるとともに、上記広帯域の分光感度特性と重なりを有する狭帯域の分光感度特性に対応する第3の色数のカラーフィルタのうちの上記第2の色数のカラーフィルタが配され、さらに、上記第3の色数を上記第2の色数で割って得られる数に相当する数の、隣接する上記画素グループの集まりにおいて、上記狭帯域の第3の色数のカラーフィルタが全て含まれるように、上記画素グループが配されること特徴とする請求項5記載のマルチスペクトル画像情報取得装置。
【請求項7】
上記マルチスペクトル画像算出手段は、上記第1の画像を分割して得られる第1の小領域画像ごとに、全ての上記第1の小領域画像に対して、上記第1の小領域画像の各色画像に重み係数を乗算した後にこれらを足し合わせることで、上記第1の小領域画像と同一の画素数を有する第2の小領域画像を算出する処理であって、上記第1の小領域画像に対応する領域として上記第2の画像から切り出された第3の小領域画像の値と、上記第2の小領域画像に含まれる上記第3の小領域画像と対応する値との齟齬を最小とするように重み係数を決定し、上記重み係数を変更しながら、上記第3の色数と同じ回数繰り返し、第3の色数と同じ枚数の上記第2の小領域画像を算出する処理を行うこと特徴とする請求項1乃至請求項5のいずれか1項に記載のマルチスペクトル画像情報取得装置。
【請求項8】
被写体像に対して、広帯域の分光感度特性に対応する3色以上の第1の色数と第1の画素数を有する第1の画像の画像情報と、上記被写体像に対して、第2の画素数を有し、画素ごとに異なる分光感度特性に対応する第2の色数を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、全ての画素を集めたときの色数は上記第1の色数よりも多い第3の色数である第2の画像の画像情報を取得する撮像ステップと、
上記撮像ステップにおいて得られる上記第1の画像の画像情報と上記第2の画像の画像情報に基づいて、前記第3の色数と前記第1の画素数を有する第3の画像の画像情報を生成するマルチスペクトル画像算出ステップとを有し、
上記被写体像に対するマルチスペクトル画像情報として上記第3の画像の画像情報を生成することを特徴とするマルチスペクトル画像情報取得方法。
【請求項9】
上記撮像ステップでは、
上記第1の色数と第2の色数を合計した色数と同じ数の被写体像を分岐光学系により複製し、
上記被写体像が複製された上記第1の色数に等しい数の像面にそれぞれ配された上記第1の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第1の画素数を有し、イメージセンサの分光感度特性は広帯域の分光感度特性である第1のイメージセンサにより上記第1の画像の画像情報を取得するとともに、
上記被写体像が複製された上記第2の色数と同じ数の像面にそれぞれ配された上記第2の色数と同じ枚数のイメージセンサであって、かつ、それぞれのイメージセンサは第2の画素数を有し、イメージセンサの各画素はそれぞれ異なる分光感度特性を有し、その分光感度特性は狭帯域で上記広帯域の分光感度特性と重なりを有し、上記第2の色数と同じ枚数のイメージセンサに含まれる画素を全て集めたきの色数は上記第1の色数よりも多い第3の色数である第2のイメージセンサにより上記第2の画像の画像情報を取得すること特徴とする請求項8記載のマルチスペクトル画像情報取得方法。
【請求項10】
上記撮像ステップでは、2枚の被写体像を分岐光学系により複製し、上記分岐光学系により複製された一方の被写体像の像面に配された1枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第1の色数のカラーフィルタにより色コーディングされた第1の画素数を有する第1のイメージセンサにより上記第1の画像の画像情報を取得するとともに、上記分岐光学系により複製された他方の被写体像の像面に配された1枚数のイメージセンサであって、画素ごとにカラーフィルタが配され、上記狭帯域の分光感度特性に対応する上記第3の色数のカラーフィルタにより色コーディングされた上記第2の画素数を有する第2のイメージセンサにより上記第2の画像の画像情報を取得し、
さらに、上記撮像ステップおいて上記第1のイメージセンサにより得られる広帯域の分光感度特性に対応する第1の画素数の画像情報から、デモザイキング処理により、上記第1の色数と第4の画素数を有する画像の画像情報を生成するデモザイキングステップを有し、
上記マルチスペクトル画像算出ステップでは、上記撮像ステップおいて上記第2のイメージセンサにより得られる狭帯域の分光感度特性に対応する第3の画素数の画像情報と、上記デモザイキングステップにおいてデモザイキング処理された上記第1の色数と第4の画素数を有する画像の画像情報に基づいて、上記第3の色数と、上記第4の画素数を有する画像の画像情報を算出すること特徴とする請求項8記載のマルチスペクトル画像情報取得方法。
【請求項11】
上記撮像手段ステップでは、被写体像が結像される像面に配された1枚のイメージセンサであって、画素ごとにカラーフィルタが配され、上記広帯域の分光感度特性に対応する上記第1の色数のカラーフィルタと上記狭帯域の分光感度特性に対応する上記第3の色数のカラーフィルタにより色コーディングされた第1の画素数を有するイメージセンサにより第1の画素数の画像情報を取得し、
さらに、上記撮像手段ステップにおいて上記イメージセンサにより得られる画像情報を、上記広帯域の分光感度特性に対応する画素の情報と、上記狭帯域の分光感度特性に対応する画素の情報とに分離する画像情報分離ステップと、
上記画像情報分離ステップにおいて分離された広帯域の分光感度特性に対応する画素の情報から、デモザイキング処理により、上記第1の色数と第4の画素数を有する画像の画像情報を生成するデモザイキングステップを有し、
上記マルチスペクトル画像算出ステップでは、上記画像情報分離ステップにおいて分離された狭帯域の分光感度特性に対応する画素の情報と、上記デモザイキングステップにおいてデモザイキング処理された上記第1の色数と第4の画素数を有する画像の画像情報に基づいて、上記第3の色数と、上記第4の画素数を有する画像の画像情報を算出すること特徴とする請求項8記載のマルチスペクトル画像情報取得方法。
【請求項12】
上記マルチスペクトル画像算出ステップでは、上記第1の画像を分割して得られる第1の小領域画像ごとに、全ての上記第1の小領域画像に対して、上記第1の小領域画像の各色画像に重み係数を乗算した後にこれらを足し合わせることで、上記第1の小領域画像と同一の画素数を有する第2の小領域画像を算出する処理であって、上記第1の小領域画像に対応する領域として上記第2の画像から切り出された第3の小領域画像の値と、上記第2の小領域画像に含まれる上記第3の小領域画像と対応する値との齟齬を最小とするように重み係数を決定し、上記重み係数を変更しながら、上記第3の色数と同じ回数繰り返し、第3の色数と同じ枚数の上記第2の小領域画像を算出する処理を行うこと特徴とする請求項8乃至請求項11のいずれか1項に記載のマルチスペクトル画像情報取得方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図11】
image rotate

【図16】
image rotate

【図20】
image rotate

【図21】
image rotate

【図9】
image rotate

【図10】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図22】
image rotate

【図23】
image rotate


【公開番号】特開2013−108788(P2013−108788A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−252703(P2011−252703)
【出願日】平成23年11月18日(2011.11.18)
【出願人】(304021417)国立大学法人東京工業大学 (1,821)
【Fターム(参考)】