画像処理装置、および画像処理方法、並びにプログラム
【課題】可視光と非可視光の分光特性を向上させ、可視光成分の少ない非可視光成分画像を生成する構成を実現する。
【解決手段】主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成し、さらに、生成した非可視光成分からなる分光特性補正画像に対してコントラスト強調処理を実行してコントラストを強調した非可視光成分画像を生成する。分光補正部は、理想の分光特性情報を適用して生成される分光特性補正行列Ｍを適用した行列演算により分光特性補正画像を生成する。
【解決手段】主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成し、さらに、生成した非可視光成分からなる分光特性補正画像に対してコントラスト強調処理を実行してコントラストを強調した非可視光成分画像を生成する。分光補正部は、理想の分光特性情報を適用して生成される分光特性補正行列Ｍを適用した行列演算により分光特性補正画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に可視光と非可視光を撮影する画像処理装置、および画像処理方法、並びにプログラムに関する。
【０００２】
例えば、非可視光のパターンを投射して被写体の三次元形状を測定するパターン投影法を行う際に、コントラストの高い非可視光パターンを検出する処理に応用可能な画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００３】
画像を得るための可視光の撮影に併せて、例えば赤外光などの非可視光を照射して非可視光成分画像を撮影し、非可視光撮影画像を用いて撮影画像中の画像解析、例えば撮影画像に含まれる被写体の距離計測を可能とした技術がある。
【０００４】
例えば、特許文献１（特開２００５−２５８６２２号公報）や、特許文献２（特開２００３−１８５４１２号公報）において可視光と非可視光を同時に撮像する撮像素子が提案されている。
これらの各特許文献１，２は、非可視光のパターンを被写体に投影し、このパターンを非可視光撮影画像として取得して、パターン投影法を用いて被写体までの距離を計測する三次元形状計測処理手法について開示している。
【０００５】
これらの文献では、撮像素子に、可視光を撮影するための画素と非可視光を撮影するための画素を設定し、それぞれの画素において、可視光成分画像と非可視光成分画像を撮影する構成としているが、可視光撮影画素と非可視光撮影画素の分光特性が理想的な特性を持っていることを暗に仮定している。
【０００６】
しかし、実際には可視光撮影画素と非可視光撮影画素の理想的な分光特性を実現することは困難である。
撮像素子における可視光撮影画素と非可視光撮影画素の設定手法として、例えば、各画素に対応付けて、特定の波長光を透過するカラーフィルタを設定する方法があるが、製造可能なカラーフィルタの分光性能に限界があることや、隣接する異なる色の画素からの漏れ光としてのフォトンの混入の防止は困難である。
【０００７】
結果として、可視光撮影画素に対して赤外光などの非可視光が混入し、また、非可視光撮影画素にＲＧＢに相当する波長の可視光が混入してしまうことになる。このように様々な原因によって、ある色に他の色が混ざる現象は混色と呼ばれる。
【０００８】
理想的な分光特性が得られないということは、撮影された非可視光の投影パターンに可視光成分が混入するということであり、結果としてコントラストの低い投影パターンしか得ることができない。コントラストの低い投影パターンを元に三次元形状計測を行っても、正確な距離情報や被写体形状を得ることはできない。
【０００９】
このように、従来技術では可視光と非可視光を同時に撮影する撮像素子を用いた際に、可視光撮影画素と非可視光撮影画素の十分な分光が得られず、例えば非可視光に基づく被写体距離情報や三次元形状計測などの画像解析を正確に行うことができないという問題があった。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−２５８６２２号公報
【特許文献２】特開２００３−１８５４１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本開示は、例えば上記問題点に鑑みてなされたものであり、可視光成分と非可視光成分の高精度な分離処理を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１２】
本開示の一実施例においては、可視光成分と非可視光成分の高精度な分離処理を実現して、例えば非可視光撮影画像に基づく被写体距離情報や三次元形状計測などの画像解析をより正確に行うことを可能とする画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本開示の第１の側面は、
主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、
前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する画像処理装置にある。
【００１４】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記モザイク画像に対する補間処理を実行して、各画素位置に可視光成分画素値と非可視光成分画素値を設定した補間画像を生成する補間部を有し、前記分光補正部は、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する。
【００１５】
さらに、本開示の画像処理装置の一実施態様において、前記分光補正部は、分光特性補正行列Ｍを適用した行列演算により、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する。
【００１６】
さらに、本開示の画像処理装置の一実施態様において、前記分光補正部は、理想的な分光特性に対応する分光透過率を要素とした行列Ａと、前記モザイク画像を取得した撮像デバイスの分光特性に対応する分光透過率を要素とした行列Ｂと、前記分光特性補正行列Ｍとの積ＭＢとの差分を小さくする行列Ｍを算出して、前記行列演算を実行する。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、エッジ強調処理を実行する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、トーンカーブを用いたコントラスト強調を行う。
【００２０】
さらに、本開示の第２の側面は、
主に可視光成分を撮り込む可視光成分画素と、主に非可視光成分を撮り込む非可視光成分画素からなるモザイク画像を生成する単板カラー撮像素子を有する撮像デバイスと、
前記撮像デバイスの生成するモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、
前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する撮像装置にある。
【００２１】
さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
分光補正部が、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正ステップと、
コントラスト強調部が、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調ステップを実行する画像処理方法にある。
【００２２】
さらに、本開示の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
分光補正部に、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成させる分光補正ステップと、
コントラスト強調部が、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成させるコントラスト強調ステップを実行させるプログラムにある。
【００２３】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２４】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２５】
本開示の一実施例の構成によれば、可視光と非可視光の分光特性を向上させ、可視光成分の少ない非可視光成分画像を生成する構成が実現される。
具体的には、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成し、さらに、生成した非可視光成分からなる分光特性補正画像に対してコントラスト強調処理を実行してコントラストを強調した非可視光成分画像を生成する。分光補正部は、理想の分光特性情報を適用して生成される分光特性補正行列Ｍを適用した行列演算により分光特性補正画像を生成する。
本構成により、可視光成分の少ない非可視光成分画像を生成することが可能となり、例えば赤外光などの非可視光成分光を用いたパターン光照射による被写体距離や被写体形状を計測する構成において、より高精度な処理が可能となる。
【図面の簡単な説明】
【００２６】
【図１】本開示の画像処理装置の一構成例について説明する図である。
【図２】撮像デバイスに設定するカラーフィルタの一例を示す図である。
【図３】図２の色配列を持つフィルタを備えた撮像デバイスの理想的な分光特性の例を表す図である。
【図４】図２の色配列を持つフィルタを備えた撮像デバイスとして実際に製造される撮像デバイスの分光特性の例について説明する図である。
【図５】可視光成分画像（ＲＧＢ画像）と、非可視光成分画像（ＩＲ画像）の生成処理を実行する画像処理部の構成例について説明する図である。
【図６】補間部の詳細構成を示す図である。
【図７】輝度成分Ｙの算出処理例について説明する図である。
【図８】コントラスト強調部の詳細構成例について説明する図である。
【図９】トーンカーブ適用部の実行する処理について説明する図である。
【図１０】画像処理部の実行する処理シーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．画像処理装置の構成例について
２．撮像デバイスの構成について
３．画像処理の詳細について
（３−１）画像処理の全体シーケンスについて
（３−２）画像処理の個別の処理の詳細について
（３−２−１．補間部の処理について）
（３−２−２．分光補正部の処理について）
（３−２−３．コントラスト強調部の処理について）
４．画像処理シーケンスについて
５．その他の実施例について
６．本開示の構成のまとめ
【００２８】
［１．画像処理装置の構成例について］
まず、図１を参照して本開示の画像処理装置の一構成例について説明する。
図１は、本開示の画像処理装置の一例である撮像装置の構成例を示す図である。
【００２９】
図１は、非可視光を用いた３Ｄ計測と可視光の撮像を同時に行う撮像装置１００の構成を示すブロックダイアグラムである。
図１に示すように、撮像装置１００は、発光部（Ｅｍｉｔｔｅｒ）１０２、レンズ１０３、絞り１０４、撮像デバイス１０５、相関２重サンプリング回路（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）１０６、Ａ／Ｄコンバータ１０７、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ブロック１０８、タイミングジェネレータ（ＴＧ）１０９、メモリ１１０、ＣＰＵ１１１を有する。
【００３０】
ＤＳＰブロック１０８は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下ＤＳＰブロックを単にＤＳＰと呼ぶ。
【００３１】
発光部（Ｅｍｉｔｔｅｒ）１０２はレーザーや投光光学系からなり、被写体（Ｏｂｊｅｃｔ）１０に３次元計測用の非可視光パターンを投影する。発光部（Ｅｍｉｔｔｅｒ）１０２は、例えば赤外光や紫外光等、可視光領域の波長以外の波長光の非可視光からなるパターン光、例えば、縞模様のパターン等のパターン光を照射する。
【００３２】
発光部（Ｅｍｉｔｔｅｒ）１０２の照射する非可視光パターンは被写体１０で反射し、レンズ１０３、絞り１０４を通過して、例えばＣＣＤ等によって構成される撮像デバイス１０５に到達する。反射光は、撮像デバイス１０５の撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路（ＣＤＳ）１０６によってノイズ除去が行われ、Ａ／Ｄコンバータ１０７によってデジタルデータに変換、すなわちデジタイズされた後、ＤＳＰブロック１０８中の画像メモリに格納される。
ＤＳＰブロック１０８は、ＤＳＰブロック１０８中の画像メモリに格納された画像信号に対する信号処理を実行する。
【００３３】
撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ（ＴＧ）１０９が信号処理系を制御するようになっている。ＤＳＰブロック１０８へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれる。ＤＳＰブロック１０８からは可視光と非可視光の画像が出力され、メモリ１１０に格納される。ＤＳＰブロック１０８から出力される非可視光成分画像はＣＰＵ１１１でさらに処理が加えられ、例えば被写体の３次元形状が算出される。
以上が本実施例の撮像装置１００の全体の説明である。
【００３４】
［２．撮像デバイスの構成について］
次に、図１に示す撮像装置１００の撮像デバイス１０５の詳細構成例と特性について説明する。
図１に示す撮像装置１００の撮像デバイス１０５は、例えば可視光と非可視光を同時に撮影できる単板カラー撮像素子を有する。
【００３５】
ＤＳＰブロック１０８は、この単板カラー撮像素子からなる撮像デバイス１０５の撮影する可視光成分画像と非可視光成分画像に対する処理を実行して分光レベルの高い高画質な非可視光成分画像を生成する。
ＤＳＰブロック１０８における具体的な処理については後述するが、本開示の画像処理装置は、例えば、非可視光のパターンを投射して被写体の三次元形状を測定するパターン投影法を行う際に、コントラストの高い非可視光パターンを検出する処理に応用できる技術である。なお、本明細書においては、「コントラスト」という単語を、注目している画像領域とそれ以外の画像領域との輝度差という意味で用いる。
【００３６】
図１に示す撮像装置１００の撮像デバイス１０５は、可視光に感度を持つ画素と、非可視光に感度を持つ画素を持つ単板カラー撮像素子を有する。このような撮像素子は、例えば図２に示される色配列のカラーフィルタをモノクロの撮像素子上に形成することで作ることができる。
【００３７】
図２においてＲ，Ｇ，Ｂは可視光を撮影するためのカラーフィルタであり、ＩＲは非可視光を撮影するためのカラーフィルタである。
Ｒ，Ｇ，Ｂは、可視光（Ｒ，Ｇ，Ｂ）に対応する波長光を透過する。
ＩＲは、例えば赤外光や紫外光等の可視光領域以外の非可視光（ＩＲ）に対応する波長光を透過する。
【００３８】
図１に示す撮像装置１００の撮像デバイス１０５は、例えば図２に示すカラーフィルタを介して被写体光を入射する。この結果ＲＧＢの設定された画素は、可視光（Ｒ，Ｇ，Ｂ）に対応する波長光に応じた電気信号を生成する可視光撮影画素となる。また、ＩＲの設定された画素は、非可視光（ＩＲ）に対応する波長光に応じた電気信号を生成する非可視光撮影画素となる。
【００３９】
なお、図２に示すような一層のカラーフィルタだけを使うのではなく、複数層のカラーフィルタを用いることで、各画素対応の感度（Ｒ，Ｇ，Ｂ，ＩＲ）を作り出す構成としてもよい。
【００４０】
なお、図２に示すカラーフィルタの配列は一例であり、図２に示す構成に限らず、可視光と非可視光の撮影画素が混在した構成であれば、本開示の処理は適用可能である。
図２に示すフィルタのＩＲは、赤外光、あるいは紫外光など可視光波長領域以外の波長光を透過する設定とすればよいが、以下の実施例では、ＩＲは、赤外光を透過する構成であるものとして説明する。
【００４１】
図３は、図２の色配列を持つフィルタを備えた撮像デバイスの理想的な分光透過率の例を表す図である。
横軸が波長、縦軸が分光透過率を示している。
【００４２】
Ｂ画素分光は、図２に示すカラーフィルタのＢ画素領域の分光特性（分光透過率）であり、Ｂ（青）色近傍の波長光に対応する短波長領域の光を選択的に透過する。
Ｇ画素分光は、図２に示すカラーフィルタのＧ画素領域の分光特性（分光透過率）であり、Ｇ（緑）色近傍の波長光に対応する中波長領域の光を選択的に透過する。
Ｒ画素分光は、図２に示すカラーフィルタのＲ画素領域の分光特性（分光透過率）であり、Ｒ（赤）色近傍の波長光に対応する長波長領域の光を選択的に透過する。
ＩＲ画素分光は、図２に示すカラーフィルタのＩＲ画素領域の分光特性（分光透過率）であり、ＩＲ（赤外光）近傍の波長光に対応する極超波長領域の光を選択的に透過する。
【００４３】
図３に示す分光特性図は、理想的な特性を示している。しかし、例えば図２に示すカラーフィルタを備えた撮像デバイスを実際に製造しても、図３に示すような理想的な分光特性を得ることは難しい。
【００４４】
実際に製造される撮像デバイスの分光特性の例を図４に示す。
図３と同様、横軸が波長、縦軸が分光透過率を示している。
図２の色配列を持つフィルタを備えた撮像デバイスとして実際に製造される撮像デバイスの分光特性は、図４に示すように可視光を撮影するための画素が赤外光に感度を持ったり、赤外光を撮影するための画素が可視光に感度を持ったりするという問題が発生する。
【００４５】
本開示の画像処理装置は、例えば図４に示すような分光特性、すなわち不完全な分光特性を持つ撮像デバイスによって撮影された画像信号を入力し、以下に説明する信号処理を実行して高画質な可視光と非可視光成分画像を得ることを可能としている。
【００４６】
［３．画像処理の詳細について］
次に、本開示の画像処理装置において実行する画像処理の詳細について説明する。以下において説明する画像処理は、例えば図１に示す撮像装置１００のＤＳＰブロック１０８において実行される。
ＤＳＰブロック１０８では、信号の高周波成分まで復元できる補間処理と、行列演算による分光補正処理と非可視光成分画像のコントラスト強調処理を行う。
【００４７】
以下、まず、図５を参照して、可視光成分画像（ＲＧＢ画像）と、非可視光成分画像（ＩＲ画像）の生成処理の全体処理の概要を説明し、次に、図５に示す各処理部の詳細について説明する。以下の項目に従って説明する。
（３−１）画像処理の全体シーケンスについて
（３−２）画像処理の個別の処理の詳細について
【００４８】
（３−１）画像処理の全体シーケンスについて
まず、図５を参照して本開示の画像処理装置において実行する画像処理、すなわち、可視光成分画像（ＲＧＢ画像）と、非可視光成分画像（ＩＲ画像）の生成処理の全体シーケンスについて説明する。
【００４９】
図５は、図１に示す撮像装置１００の画像処理部としてのＤＳＰブロック１０８において実行する処理について説明する図である。
図５には、ＤＳＰブロック１０８において実行する複数の処理の各々について、各処理単位の処理部を示している。
【００５０】
図５に示すように、画像処理部（ＤＳＰブロック１０８）は、補間部２０２、分光補正部２０３、コントラスト強調部２０４を有する。
ＲＧＢＩＲモザイク画像２０１は、図１に示す撮像デバイス１０５の撮影したモザイク画像である。すなわち各画素に対してＲ、Ｇ、Ｂ、ＩＲのいずれか１つの波長光信号のみが設定されたモザイク画像である。
【００５１】
すなわち、図２に示す可視光（Ｒ，Ｇ，Ｂ）と非可視光（ＩＲ）を透過するカラーフィルタの配列を備えた撮像デバイス１０５の撮影したモザイク画像であり、相関２重サンプリング回路（ＣＤＳ）１０６によってノイズ除去が行われ、Ａ／Ｄコンバータ１０７によってデジタルデータに変換、すなわちデジタイズされた後、ＤＳＰブロック１０８中の画像メモリに格納された画像である。
【００５２】
補間部２０２は、Ｒ、Ｇ、Ｂ、ＩＲのいずれか１つの画素値のみが設定されたＲＧＢＩＲモザイク画像２０１の各画素に対して、ＲＧＢＩＲの全ての画素値を設定する補間処理を実行する。
例えば、
Ｒのカラーフィルタが存在する画素位置に、Ｇ，Ｂ，ＩＲの画素値を補間、
Ｇのカラーフィルタが存在する画素位置に、Ｒ，Ｂ，ＩＲの画素値を補間、
Ｂのカラーフィルタが存在する画素位置に、Ｒ，Ｇ，ＩＲの画素値を補間、
ＩＲのカラーフィルタが存在する画素位置に、Ｒ，Ｇ，Ｂの画素値を補間、
これらの画素値補間処理を実行する。
【００５３】
補間部２０２は、例えば、モザイク信号に含まれるどの色よりも高い解像度を持つ輝度信号を生成し、その輝度信号をリファレンスとして色信号の補間を行う。
なお、輝度信号は、補間がぞ地を設定する注目画素位置近傍に存在する複数の色信号を合成することによって得られる。
【００５４】
通常、撮像された複数の色信号間には強い相関が存在する。この相関を利用して複数の色信号を合成することができ、単一の色信号よりも解像度の高い輝度信号を生成することができる。さらに輝度信号と色信号の間の強い相関を利用して、全ての色について高周波成分まで復元された補間値を得ることができる。
【００５５】
分光補正部２０３は補間部２０２が生成した補間画像である全画素に全ての色の画素値がそろったＲＧＢＩＲ画像を入力とし、それぞれの画素位置において存在する４色（Ｒ，Ｇ，Ｂ，ＩＲ）の画素値に対して別個に行列演算を行うことで、分光が補正された新たな４色の画素値を算出する。
【００５６】
この処理は従来のカメラ信号処理で色再現の向上のために用いられてきた演算を拡張したものである。例えば通常のカメラで撮影される可視光の３色（Ｒ，Ｇ，Ｂ）に対して３ｘ３行列を適用して新たな３色を算出する演算により、色再現の向上が図られる。本開示の構成では３色の可視光と１色の非可視光の計４色に対して４ｘ４行列を適用することになる。
分光が補正されたＲ，Ｇ，Ｂの画素では非可視光成分が抑制され、分光が補正されたＩＲの画素では可視光成分が抑制される。
分光補正部２０３の出力は可視光成分からなるＲＧＢ画像２０５と非可視光成分からなるＩＲ画像に分けられる。
【００５７】
分光補正部２０３より出力されたＩＲ画像はコントラスト強調部２０４に入力され、非可視光成分が強調され、可視光成分が抑制されたＩＲ画像２０６として出力される。
【００５８】
なお、本開示の画像処理装置では、非可視光を３次元計測のために用いるということを想定している。
従って、被写体には非可視光のパターンが、先に図１を参照して説明した発光部１０２から投影されている。
このパターンは輝点や輝線から構成されており、コントラストの高いテクスチャになっている。
【００５９】
そのため、被写体においてコントラストの高いテクスチャは非可視光成分が支配的となり、コントラストの低いテクスチャは可視光が支配的となる。
さらに、一般的にはレンズには軸上色収差が存在することから、非可視光に対してピントを合わせると、可視光に対してはボケが生じる。
このような光学的な現象も非可視光成分が高いコントラストを持つ一因となる。
【００６０】
つまり、分光補正部２０３より出力されたＩＲ画像をコントラスト成分と非コントラスト成分に分離するということは、ほぼ、非可視光成分と可視光成分に分離するということに等しくなる。
なお、コントラストの強調には従来から用いられているコントラスト強調技術を用いればよい。例えば、ヒストグラムストレッチやトーンカーブのような実空間における信号の補正であっても、高周波成分の強調のような周波数空間での信号の補正であってもよい。
【００６１】
トーンカーブを用いるのであれば、暗部をより暗く、明部をより明るくするＳ字型のトーンカーブを用いれば良い。これは、分光補正部２０３より出力されたＩＲ画像には可視光が混入しているとはいっても、非可視光の信号の方が支配的であり、より明るく撮像されているためである。
【００６２】
なお、本開示の画像処理装置において効果的なコントラスト強調手法としては、エッジ保存平滑化フィルタを用いた手法が挙げられる。
エッジ保存平滑化フィルタは被写体の細かいテクスチャ（小面積で高周波成分を含む信号）を平滑化し、大きなテクスチャのみを残す平滑化手法であり、代表的な手法としてバイラテラル（Ｂｉｌａｔｅｒａｌ）フィルタが知られている。
【００６３】
非可視光の投影パターンは可視光の背景と比べて細かいテクスチャであることが多く、エッジ保存平滑化フィルタによってこれらを分離することができる。
分離した可視光と非可視光の２つの画像に対してゲインやトーンカーブを適用することで、可視光を抑制し、非可視光を強調することができる。
【００６４】
（３−２）画像処理の個別の処理の詳細について
次に、図５に示す各処理部において実行する処理の詳細ついて、順次説明する。
【００６５】
（３−２−１．補間部の処理について）
まず、図５に示す補間部２０２の詳細について説明する。
補間部２０２の詳細なブロック図を図６に示す。図６に示すように、補間部２０２は、輝度算出部３０３、局所平均値算出部３０４、色補間部３０５を有する。
以下、各処理部の実行する処理について説明する。
【００６６】
［輝度算出部について］
輝度算出部３０３では、図２に示すカラーフィルタに含まれる４つの色（Ｒ，Ｇ，Ｂ，ＩＲ）よりも画素数が多く、より高い周波数成分を持つ輝度信号Ｙを算出する。
具体的には、例えば以下に示す（式１）を適用して輝度成分Ｙを算出する。
【００６７】
【数１】
・・・（式１）
【００６８】
上記（式１）において、
ｘ，ｙは画素位置を表し、
ＭｏｓａｉｃはＲＧＢＩＲモザイク画像（図６に示すＲＧＢＩＲモザイク画像３０２）を表す。
【００６９】
上記式における輝度成分Ｙの算出処理例について図７を参照して説明する。上記（式１）に従って算出される輝度、
Ｙ（ｘ＋０．５，ｙ＋０．５）
は、図７における点Ｐの輝度に対応する。
注目画素の画素位置を中心の画素２５１、すなわち、Ｂ画素（ｘ，ｙ）とすると、輝度Ｙは、注目画素からｘ，ｙ方向にそれぞれ半画素ずれた位置、すなわち、座標位置＝（ｘ＋０．５，ｙ＋０．５）の位置の輝度として算出される。
【００７０】
図７における点Ｐの輝度Ｙ（ｘ＋０．５，ｙ＋０．５）を算出するために、図７に示す４つの画素、すなわち、
画素２５１：Ｂ画素（ｘ，ｙ）の画素値［Ｍｏｓａｉｃ（ｘ，ｙ）］、
画素２５２：Ｇ画素（ｘ＋１，ｙ）の画素値［Ｍｏｓａｉｃ（ｘ＋１，ｙ）］、
画素２５３：ＩＲ画素（ｘ，ｙ＋１）の画素値［Ｍｏｓａｉｃ（ｘ，ｙ＋１）］、
画素２５４：Ｒ画素（ｘ＋１，ｙ＋１）の画素値［Ｍｏｓａｉｃ（ｘ＋１，ｙ＋１）］、
これらの４つの各画素値を利用した演算を行う。
【００７１】
輝度算出部３０３では、補間部２０２に入力するモザイク画像を構成する画素を、順次、４画素単位で選択して、上記（式１）に従って輝度Ｙを算出し、輝度画像を生成する。
【００７２】
［局所平均値算出部について］
次に、図６に示す補間部２０２の局所平均値算出部３０４の処理について説明する。
局所平均値算出部３０４では注目画素を中心とした局所領域に含まれているＲ，Ｇ，Ｂ，ＩＲの画素値の重み付き平均値を算出する。
以下、Ｒ，Ｇ，Ｂ，ＩＲ各色の平均値を、各々ｍＲ、ｍＧ、ｍＢ、ｍＩＲと表す。
【００７３】
輝度算出部３０３では、先に、図７を参照して説明したように、
輝度ＹをＭｏｓａｉｃ画像に対して半画素ずれた位置に算出しているので、平均値も、注目画素位置（ｘ，ｙ）から半画素ずれた位置（ｘ＋０．５，ｙ＋０．５）に算出する。
例えば、図７に示すように、中心のＢ画素位置を（ｘ，ｙ）とすると、
ｍＲ（ｘ＋０．５，ｙ＋０．５）、
ｍＧ（ｘ＋０．５，ｙ＋０．５）、
ｍＢ（ｘ＋０．５，ｙ＋０．５）、
ｍＩＲ（ｘ＋０．５，ｙ＋０．５）、
これらの各色対応の平均値は、以下に示す（式２）を用いて算出できる。
【００７４】
【数２】
・・・（式２）
【００７５】
［色補間部について］
次に、図６に示す補間部２０２の色補間部３０５の処理について説明する。
色補間部３０５では、以下に示す（式３）に従って、
画素位置（ｘ＋０．５，ｙ＋０．５）における不明な色の画素値［Ｃ］を補間する。ただし、Ｃ＝ＲまたはＧまたはＢまたはＩＲである。
【００７６】
【数３】
・・・（式３）
【００７７】
上記（式３）において、
ＣはＲ，Ｇ，Ｂ，ＩＲの何れかの色を示す。
Ｃ（ｘ＋０．５，ｙ＋０．５）は、注目画素位置（ｘ，ｙ）から方向にそれぞれ０．５画素分ずれた位置のＲ，Ｇ，Ｂ，ＩＲの画素値を示している。
ｍＹは輝度の平均値を表す。
【００７８】
上記の（式３）は局所領域において輝度信号と色信号が強い正の相関を持つことを利用した補間式であり、２つの信号の平均値の比率が２つの信号の比率とほぼ等しくなることを利用している。
【００７９】
色補間部３０５において補間されたＲＧＢＩＲ画像３０６は、補間部２０２に対する入力画像であるモザイク画像３０２に対してｘ，ｙ方向に半画素ずれた位置に算出される。
この補間画像は、そのこの処理において、そのまま用いても良いし、バイキュービック（Ｂｉｃｕｂｉｃ）補間等を用いて、この半画素のずれを補正してから後段の処理部に入力する構成としてもよい。
いずれにしても、補間された画像の画素位置をｘ，ｙと表すこととして説明を続ける。
【００８０】
（３−２−２．分光補正部の処理について）
次に、図５に示す分光補正部２０３の詳細について説明する。
先に説明したように、分光補正部２０３は、補間部２０２が生成した補間画像である全画素に全ての色の画素値がそろったＲＧＢＩＲ画像を入力とし、それぞれの画素位置において存在する４色（Ｒ，Ｇ，Ｂ，ＩＲ）の画素値に対して別個に行列演算を行うことで、分光が補正された新たな４色の画素値を算出する。本開示の構成では３色の可視光と１色の非可視光の計４色に対して４ｘ４行列を適用することになる。
分光が補正されたＲ，Ｇ，Ｂの画素では非可視光成分が抑制され、分光が補正されたＩＲの画素では可視光成分が抑制される。
分光補正部２０３の出力は可視光成分からなるＲＧＢ画像２０５と非可視光成分からなるＩＲ画像に分けられる。
【００８１】
分光補正部２０３は、以下に示す（式４）の行列演算を用いて分光の補正を行う。
【００８２】
【数４】
・・・（式４）
【００８３】
上記（式４）において、Ｒ，Ｇ，Ｂ，ＩＲは、図６に示す補間部２０２内の色補間部３０５において補間された４つの色の画素値を表し、Ｒ'，Ｇ'，Ｂ'，ＩＲ'は分光補正された画素値を表す。
【００８４】
上記（式４）に示す行列の要素ｍ００〜ｍ３３を求める方法の例を以下に述べる。
先に図３、図４を参照して、
理想的な撮像デバイスの分光特性（図３）、
現実の撮像デバイス分光特性（図４）、
これらの各分光特性について説明した。
【００８５】
図３を参照して説明した理想的な分光特性に対応する４色（Ｒ，Ｇ，Ｂ，ＩＲ）各々の各波長（ｌ）に対応する分光透過率を、
ｒ（ｌ），ｇ（ｌ），ｂ（ｌ），ｉｒ（ｌ）
とする。
ここでｌ（エル）は波長を表す。
【００８６】
また、図４を参照して説明した現実の撮像デバイスに対応する４色（Ｒ，Ｇ，Ｂ，ＩＲ）各々の各波長（ｌ）に対応する分光透過率を、
ｒ'（ｌ），ｇ'（ｌ），ｂ'（ｌ），ｉｒ'（ｌ）
とする。ここでｌ（エル）は波長を表す。
【００８７】
これらの分光透過率を波長（ｌ）に関して離散化すると、以下に示す（式５）が得られる。
【００８８】
【数５】
・・・（式５）
【００８９】
上記（式５）において、
ｌｘは、離散化された波長を表す。
なお、上記式ではｌ０〜ｌＮまでのＮ＋１個に離散化した例を示している。
【００９０】
この（式５）を、最小二乗法を用いて解くと、先に（式４）で示した行列の要素、
ｍ００〜ｍ３３
が得られる。
【００９１】
すなわち、
図３を参照して説明した理想的な分光特性に対応する４色（Ｒ，Ｇ，Ｂ，ＩＲ）各々の各波長（ｌ）に対応する分光透過率：ｒ（ｌ），ｇ（ｌ），ｂ（ｌ），ｉｒ（ｌ）からなる行列をＡ、
図４を参照して説明した現実の撮像デバイスに対応する４色（Ｒ，Ｇ，Ｂ，ＩＲ）各々の各波長（ｌ）に対応する分光透過率：ｒ'（ｌ），ｇ'（ｌ），ｂ'（ｌ），ｉｒ'（ｌ）からなる行列をＢ、
式４に示す補間画素値：Ｒ，Ｇ，Ｂ，ＩＲを、分光補正された画素値：Ｒ'，Ｇ'，Ｂ'，ＩＲ'に変換する要素ｍ００〜ｍ３３からなる行列をＭ、
としたとき、Ａと、ＭＢとの差を最小とする行列Ｍを、例えば最小二乗法を用いて算出することで、先に（式４）で示した行列Ｍの要素、
ｍ００〜ｍ３３
が得られる。
【００９２】
このように、（式４）に示す行列要素：ｍ００〜ｍ３３は、図３を参照して説明した理想の分光特性に対応する分光透過率と、図４を参照して説明した現実の撮像デバイスの分光特性に対応する分光透過率とを行列要素：ｍ００〜ｍ３３によって関係付けた関係式（式５）を、最小二乗法を適用して解くことで算出する。
ただし、最小二乗法を解くためには十分に小さな波長幅で離散化する必要がある。
【００９３】
（３−２−３．コントラスト強調部の処理について）
次に、図５に示すコントラスト強調部２０４の詳細について説明する。
コントラスト強調部２０４は、分光補正部２０３より出力されたＩＲ画像に対して、非可視光成分の強調処理を実行して可視光成分を抑制したＩＲ画像２０６を生成して出力する。
【００９４】
コントラスト強調部２０４の詳細なブロック図を図８に示す。
図８に示すように、コントラスト強調部２０４は、大局輝度圧縮部４０３、エッジ強調部４０４、トーンカーブ適用部４０５を有する。
以下、これらの各構成部の処理について、順次説明する。
【００９５】
［大局輝度圧縮部について］
まず、図８に示す大局輝度圧縮部４０３の実行する処理について説明する。
大局輝度圧縮部４０３は、分光補正部２０３から入力する非可視光成分画像であるＩＲ画像４０２を、
大局輝度成分と、
コントラスト成分と、
に分離し、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する。
【００９６】
ここで、大局輝度成分はＩＲ画像４０２にエッジ保存平滑化フィルタをかけた画像であり、コントラスト成分はＩＲ画像４０２から大局輝度成分を引いた差分画像である。
【００９７】
エッジ保存平滑化処理の一例としては、バイラテラル（Ｂｉｌａｔｅｒａｌ）フィルタの適用処理があり、例えば、以下に示す（式６）に従って、平滑化処理後の画像ＩＲｓを生成することができる。
【００９８】
【数６】
・・・（式６）
【００９９】
上記（式６）において、
ｄｘ，ｄｙは局所領域を表す変数であり、
σｄ、σｒは平滑化の程度を調整するチューニングパラメータ、
である。
平滑化後のＩＲ画像はＩＲｓで表される。
【０１００】
大局輝度成分の圧縮とコントラスト成分の強調処理は、上記の平滑化処理後の画像ＩＲｓを用いて、以下に示す（式７）を適用して実行され、大局輝度成分の圧縮とコントラスト成分の強調処理後の画像ＩＲＧＬＣが生成される。
【０１０１】
【数７】
・・・（式７）
【０１０２】
上記（式７）において、
ＧａｉｎＳｕｐは、大局輝度成分の圧縮の程度を調整するチューニングパラメータ、
ＧａｉｎＥｎｈはコントラスト成分の強調の程度を調整するチューニングパラメータ、
である。
ＩＲＧＬＣは、大局輝度成分の圧縮とコントラスト成分の強調処理後の画像である。
【０１０３】
［エッジ強調部について］
次に、図８に示すエッジ強調部４０４の実行する処理について説明する。
エッジ強調部４０４は、大局輝度圧縮部４０３の生成した非可視光成分画像であるＩＲ画像４０２に基づいて生成された、大局輝度成分圧縮とコントラスト成分強調処理が施されたＩＲ画像（ＩＲＧＬＣ）を入力して、このＩＲ画像の高周波成分の強調処理を行う。
【０１０４】
まず、例えば、以下の（式８）に示されるハイパスフィルタを適用して高周波成分ＩＲＨの算出を行う。
【０１０５】
【数８】
・・・（式８）
【０１０６】
上記（式８）において、
３×３の行列がハイパスフィルタに相当し、
ＩＲＨは、ＩＲ画像（ＩＲＧＬＣ）にハイパスフィルタを適用した結果としての高周波成分を表す。
【０１０７】
さらに、エッジ強調部４０４は、上記（式８）によって算出したＩＲ画像（ＩＲＧＬＣ）を入力して、このＩＲ画像の高周波成分（ＩＲＨ）の強調処理、すなわちエッジ強調処理を、以下の（式９）を適用して実行しエッジ強調ＩＲ画像（ＩＲＥＥ）を生成する。
【０１０８】
【数９】
・・・（式９）
【０１０９】
上記（式９）において、
ＧａｉｎＨはエッジの強調の程度を調整するチューニングパラメータである。
ＩＲＥＥは、エッジ強調後の非可視光成分画像（ＩＲ画像）を示す。
【０１１０】
［トーンカーブ適用部について］
次に、図８に示すトーンカーブ適用部４０５の実行する処理について説明する。
トーンカーブ適用部４０５は、エッジ強調部４０４の生成したエッジ強調後の非可視光成分画像（ＩＲ画像）、すなわち、上記（式９）によって算出される画像（ＩＲＥＥ）を入力して、コントラスト強調を実行する。
【０１１１】
例えば、図９に示されるＳ字型のトーンカーブを用いてコントラスト強調を行う。
図９において、
横軸は、入力画素値（＝上記（式９）によって算出される画像（ＩＲＥＥ）の画素値）
縦軸は、出力画素値（＝トーンカーブ適用部４０５における処理によって生成される画像の画素値）
である。
【０１１２】
なお、トーンカーブ適用部４０５は、図９に示すようなＳ字型のトーンカーブデータを固定形状のものとしてあらかじめメモリに用意しておいてもよいし、画像毎に適応的に作っても良い。
【０１１３】
例えば、適応的にＳ字型カーブを作る例として、シグモイド関数を用いた例がある。
具体的には、例えば、以下に示す（式１０）に示すシグモイド関数を用いコントラスト強調を実行することができる。
【０１１４】
【数１０】
・・・（式１０）
【０１１５】
なお、上記（式１０）において、
画素値は、［０，１］の範囲に存在するものとする。
ｉは入力される画素値、
ｊは出力される画素値、
ａはカーブの形状を調整するためのチューニングパラメータ、
である。
Ｍｉｎは入力画像における画素値を暗い画素値から明るい画素値へと順に並べた際に、暗い側から画素数の１％程度の位置にある画素値を選べばよいし、
Ｍａｘは明るい側から画素数の１％程度の位置にある画素値を選べば良い。
また、ＭｉｎとＭａｘの位置でトーンカーブが極端に非連続にならないようにａを選ぶと良い。
【０１１６】
以上、説明した実施例に従えば、例えば図２に示すような可視光を透過する画素と非可視光を透過する画素領域を持つカラーフィルタ配列を用いた単板式カラー撮像素子によって撮像されたモザイク画像から十分な解像度とコントラストを持った非可視光成分画像（ＩＲ画像）を得ることができる。
【０１１７】
［４．画像処理シーケンスについて］
次に、図１に示す撮像装置１００のＤＳＰブロック１０８において実行する処理シーケンスについて、図１０に示すフローチャートを参照して説明する。
【０１１８】
図１０に示すフローチャートの処理は、図１に示す撮像装置のＤＳＰブロック１０８において実行される。
例えば、ＤＳＰブロック１０８のＣＰＵ等の演算ユニットが、入力されル画像信号のストリームに対してメモリに格納されたプログラムに従って演算を順次実行することで処理が行われる。
【０１１９】
図１０に示すフローの各ステップの処理について説明する。
まず、ステップＳ１０１において、補間処理を実行する。
これは、図５に示す補間部２０２の処理に対応する。
補間部２０２は、モザイク画像に対する補間処理を実行して、各画素位置に可視光成分画素値と非可視光成分画素値を設定した補間画像を生成する。
補間部２０２は、ＤＳＰブロック１０８に入力するモザイク画像、すなわち、可視光成分画素と非可視光成分画素からなるモザイク画像の補間処理（デモザイク）により、各画素に全ての色成分を設定した画像（ＲＧＢＩＲ画像）を生成する。
【０１２０】
具体的には、先に図６を参照して説明したように、以下の処理によって、各画素に全ての色成分を設定した画像（ＲＧＢＩＲ画像）を生成する。
（処理１）輝度算出部３０３において、入力モザイク画像に基づいて、前述した（式１）を適用して輝度成分Ｙを算出する。
（処理２）局所平均値算出部３０４において、入力モザイク画像に基づいて、前述した（式２）を適用して各色（Ｒ，Ｇ，ＢＩＲ）対応の平均値（ｍＲ，ｍＧ．ｍＢ，ｍＩＲ）を算出する。
（処理３）色補間部３０５において、前述した（式３）を適用して、各画素位置対応の全ての色（Ｒ，Ｇ，Ｂ，ＩＲ）の画素値を算出する。
これらの処理によって、モザイク画像に基づく補間処理（デモザイク処理）を実行して、各画素対応のすべての色（Ｒ，Ｇ，Ｂ，ＩＲ）の画素値を設定したＲＧＢＩＲ画像を生成する。
【０１２１】
次に、ステップＳ１０２において分光補正処理を実行する。
これは、図５に示す分光補正部２０３の処理に対応する。
分光補正部２０３は、
【０１２２】
分光補正部２０３は、補間部２０２が生成した補間画像である全画素に全ての色の画素値がそろったＲＧＢＩＲ画像を入力とし、それぞれの画素位置において存在する４色（Ｒ，Ｇ，Ｂ，ＩＲ）の画素値に対して別個に行列演算を行うことで、分光が補正された新たな４色の画素値を算出し、これらの分光特性補正画素値からなる分光特性補正画像を生成する。
なお、分光補正部２０３の出力は可視光成分からなるＲＧＢ画像２０５と非可視光成分からなるＩＲ画像に分けられる。
【０１２３】
分光補正部２０３は、先に説明した（式４）の行列演算を用いて分光の補正を行う。
なお、（式４）に示す行列要素：ｍ００〜ｍ３３は、先に説明した理想の分光特性に対応する分光透過率と、現実の撮像デバイスの分光特性に対応する分光透過率とを行列要素：ｍ００〜ｍ３３によって関係付けた関係式（式５）を、最小二乗法を適用して解くことで算出する。
【０１２４】
次に、ステップＳ１０３において、非可視光成分画像に対するコントラスト強調処理を実行する。
この処理は、図５に示すコントラスト強調部２０４の実行する処理である。
コントラスト強調部２０４は、分光補正部２０３の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成する。
【０１２５】
すなわち、コントラスト強調部２０４は、ステップＳ１０２において、分光補正処理によって生成された分光補正された非可視光成分画像（ＩＲ画像）を入力し、非可視光成分の強調処理を実行して可視光成分を抑制したＩＲ画像を生成する。
【０１２６】
具体的には、図８を参照して説明したように、以下の処理：（処理１）〜（処理３）を実行して非可視光成分の強調処理を実行して可視光成分を抑制したＩＲ画像を生成する。
【０１２７】
（処理１）大局輝度圧縮部４０３において、分光補正された非可視光成分画像（ＩＲ画像）を入力し、大局輝度成分と、コントラスト成分とに分離し、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する。
具体的には、前述の（式６）によるバイラテラル（Ｂｉｌａｔｅｒａｌ）フィルタを適用したエッジ保存平滑化処理画像（ＩＲｓ）の生成、さらに、
前述の（式７）を適用した大局輝度成分の圧縮とコントラスト成分の強調処理後の画像ＩＲＧＬＣの生成処理が実行される。
【０１２８】
（処理２）図８に示すエッジ強調部４０４において、大局輝度成分圧縮とコントラスト成分強調処理が施されたＩＲ画像（ＩＲＧＬＣ）を入力して、高周波成分の強調処理を行う。
具体的には、前述の（式８）により、ＩＲ画像（ＩＲＧＬＣ）の高周波成分ＩＲＨの算出を行い、さらに、前述の（式９）を適用してエッジ強調ＩＲ画像（ＩＲＥＥ）を生成する。
【０１２９】
（処理３）図８に示すトーンカーブ適用部４０５において、エッジ強調部４０４の生成したエッジ強調後の非可視光成分画像（ＩＲ画像）、すなわち、上記（式９）によって算出される画像（ＩＲＥＥ）を入力して、コントラスト強調を実行する。
例えば、図９に示されるＳ字型のトーンカーブを用いてコントラスト強調を行う。
あるいは、前述した（式１０）に従ったシグモイド関数を用いコントラスト強調を実行することができる。
【０１３０】
ステップＳ１０１〜Ｓ１０２の処理によって、可視光成分画像（ＲＧＢ画像）が生成され、ステップＳ１０１〜Ｓ１０３の処理によって十分な解像度とコントラストを持った非可視光成分画像（ＩＲ画像）を得ることができる。
【０１３１】
なお、図１０を参照して説明した処理は、図１に示すＤＳＰブロック内において、予め図１０に示す処理シーケンスを記述したプログラムを実行することで行うことが可能あるが、プログラムという形態以外にも、図５、図６、図８を参照して説明したブロックと同等の処理を実現するハードウェア回路によって実現することも可能である。
【０１３２】
［５．その他の実施例について］
次に、上述した実施例の変形例について説明する。
上述の実施例では、図６を参照して説明した補間部２０２の輝度算出部３０３において、輝度信号Ｙを算出する際に、前記の（式１）に従って、単に注目画素の画素位置（ｘ，ｙ）の近傍のＲ，Ｇ，Ｂ，ＩＲの画素値の加算平均している。
この輝度信号Ｙ算出処理は、このような処理に限らず、例えば、エッジ方向を考慮した処理など、複雑な方法を用いる構成としてもよい。
すなわち、エッジ方向を考慮して、注目画素の輝度により近い輝度を持つ近傍画素の輝度値に大きな重みを設定して輝度信号Ｙを算出するといった処理を実行してもよい。
【０１３３】
また、上述した実施例において、補間部２０２では、図７を参照して説明したように、注目画素の画素位置（ｘ，ｙ）からｘ，ｙ各方向に半画素ずれた位置（ｘ＋０．５，ｙ＋０．５）の画素値を算出しているが、補間部で用いられているフィルタの係数を変えることで画素位置にずれを起こさないような設定としてもよい。
【０１３４】
また、前述の実施例では、図５に示すコントラスト強調部２０４の処理として、図８を参照して説明したように、
大局輝度圧縮部４０３、
エッジ強調部４０４、
トーンカーブ適用部４０５、
これらコントラスト強調のために３つの異なる手法を用いているが、これは一例に過ぎない。異なる適用順序であっても構わないし、これら３つ以外の手法を用いても良い。
【０１３５】
また、エッジ強調部ではノイズの強調を抑えるために、大局輝度圧縮部４０３の生成画像（ＩＲＨ）に対してコアリング処理を適用してもよい。また１帯域のハイパスフィルタのみを用いるのではなく、複数の異なる帯域のハイパスフィルタを用いるようにしてもよい。
【０１３６】
また、前記の実施例では、トーンカーブ適用部４０５において、トーンカーブとして図９に示したような単純なＳ字型のカーブを用いているが、より複雑な形状のトーンカーブを用いてもよい。
【０１３７】
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１３８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、
前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する画像処理装置。
【０１３９】
（２）前記画像処理装置は、前記モザイク画像に対する補間処理を実行して、各画素位置に可視光成分画素値と非可視光成分画素値を設定した補間画像を生成する補間部を有し、前記分光補正部は、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する前記（１）に記載の画像処理装置。
【０１４０】
（３）前記分光補正部は、分光特性補正行列Ｍを適用した行列演算により、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する前記（２）に記載の画像処理装置。
（４）前記分光補正部は、理想的な分光特性に対応する分光透過率を要素とした行列Ａと、前記モザイク画像を取得した撮像デバイスの分光特性に対応する分光透過率を要素とした行列Ｂと、前記分光特性補正行列Ｍとの積ＭＢとの差分を小さくする行列Ｍを算出して、前記行列演算を実行する前記（３）に記載の画像処理装置。
【０１４１】
（５）前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、エッジ強調処理を実行する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、トーンカーブを用いたコントラスト強調を行う前記（１）〜（６）いずれかに記載の画像処理装置。
【０１４２】
（８）主に可視光成分を撮り込む可視光成分画素と、主に非可視光成分を撮り込む非可視光成分画素からなるモザイク画像を生成する単板カラー撮像素子を有する撮像デバイスと、
前記撮像デバイスの生成するモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、
前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する撮像装置。
さらに、前記（２）〜（７）に記載の構成を有する撮像装置。
【０１４３】
さらに、上記した装置やシステムにおいて実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１４４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１４６】
以上、説明したように、本開示の一実施例の構成によれば、可視光と非可視光の分光特性を向上させ、可視光成分の少ない非可視光成分画像を生成する構成が実現される。
具体的には、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成し、さらに、生成した非可視光成分からなる分光特性補正画像に対してコントラスト強調処理を実行してコントラストを強調した非可視光成分画像を生成する。分光補正部は、理想の分光特性情報を適用して生成される分光特性補正行列Ｍを適用した行列演算により分光特性補正画像を生成する。
本構成により、可視光成分の少ない非可視光成分画像を生成することが可能となり、例えば赤外光などの非可視光成分光を用いたパターン光照射による被写体距離や被写体形状を計測する構成において、より高精度な処理が可能となる。
【符号の説明】
【０１４７】
１０ 被写体（Ｏｂｊｅｃｔ）
１００ 撮像装置
１０２ 発光部
１０３ レンズ
１０４ 絞り
１０５ 撮像デバイス
１０６ 相関２重サンプリング回路（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）
１０７ Ａ／Ｄコンバータ
１０８ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ブロック
１０９ タイミングジェネレータ（ＴＧ）
１１０ メモリ
１１１ ＣＰＵ
２０１ ＲＧＢＩＲモザイク画像
２０２ 補間部
２０３ 分光補正部
２０４ コントラスト強調部
２０５ ＲＧＢ画像
２０６ ＩＲ画像
３０２ ＲＧＢＩＲ画像
３０３ 輝度算出部
３０４ 局所平均値算出部
３０５ 色補間部
３０６ ＲＧＢＩＲ画像
４０２ ＩＲ画像（処理前）
４０３ 大局輝度圧縮部
４０４ エッジ強調部
４０５ トーンカーブ適用部
４０６ ＩＲ画像（処理後）
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に可視光と非可視光を撮影する画像処理装置、および画像処理方法、並びにプログラムに関する。
【０００２】
例えば、非可視光のパターンを投射して被写体の三次元形状を測定するパターン投影法を行う際に、コントラストの高い非可視光パターンを検出する処理に応用可能な画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００３】
画像を得るための可視光の撮影に併せて、例えば赤外光などの非可視光を照射して非可視光成分画像を撮影し、非可視光撮影画像を用いて撮影画像中の画像解析、例えば撮影画像に含まれる被写体の距離計測を可能とした技術がある。
【０００４】
例えば、特許文献１（特開２００５−２５８６２２号公報）や、特許文献２（特開２００３−１８５４１２号公報）において可視光と非可視光を同時に撮像する撮像素子が提案されている。
これらの各特許文献１，２は、非可視光のパターンを被写体に投影し、このパターンを非可視光撮影画像として取得して、パターン投影法を用いて被写体までの距離を計測する三次元形状計測処理手法について開示している。
【０００５】
これらの文献では、撮像素子に、可視光を撮影するための画素と非可視光を撮影するための画素を設定し、それぞれの画素において、可視光成分画像と非可視光成分画像を撮影する構成としているが、可視光撮影画素と非可視光撮影画素の分光特性が理想的な特性を持っていることを暗に仮定している。
【０００６】
しかし、実際には可視光撮影画素と非可視光撮影画素の理想的な分光特性を実現することは困難である。
撮像素子における可視光撮影画素と非可視光撮影画素の設定手法として、例えば、各画素に対応付けて、特定の波長光を透過するカラーフィルタを設定する方法があるが、製造可能なカラーフィルタの分光性能に限界があることや、隣接する異なる色の画素からの漏れ光としてのフォトンの混入の防止は困難である。
【０００７】
結果として、可視光撮影画素に対して赤外光などの非可視光が混入し、また、非可視光撮影画素にＲＧＢに相当する波長の可視光が混入してしまうことになる。このように様々な原因によって、ある色に他の色が混ざる現象は混色と呼ばれる。
【０００８】
理想的な分光特性が得られないということは、撮影された非可視光の投影パターンに可視光成分が混入するということであり、結果としてコントラストの低い投影パターンしか得ることができない。コントラストの低い投影パターンを元に三次元形状計測を行っても、正確な距離情報や被写体形状を得ることはできない。
【０００９】
このように、従来技術では可視光と非可視光を同時に撮影する撮像素子を用いた際に、可視光撮影画素と非可視光撮影画素の十分な分光が得られず、例えば非可視光に基づく被写体距離情報や三次元形状計測などの画像解析を正確に行うことができないという問題があった。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−２５８６２２号公報
【特許文献２】特開２００３−１８５４１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本開示は、例えば上記問題点に鑑みてなされたものであり、可視光成分と非可視光成分の高精度な分離処理を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１２】
本開示の一実施例においては、可視光成分と非可視光成分の高精度な分離処理を実現して、例えば非可視光撮影画像に基づく被写体距離情報や三次元形状計測などの画像解析をより正確に行うことを可能とする画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本開示の第１の側面は、
主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、
前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する画像処理装置にある。
【００１４】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記モザイク画像に対する補間処理を実行して、各画素位置に可視光成分画素値と非可視光成分画素値を設定した補間画像を生成する補間部を有し、前記分光補正部は、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する。
【００１５】
さらに、本開示の画像処理装置の一実施態様において、前記分光補正部は、分光特性補正行列Ｍを適用した行列演算により、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する。
【００１６】
さらに、本開示の画像処理装置の一実施態様において、前記分光補正部は、理想的な分光特性に対応する分光透過率を要素とした行列Ａと、前記モザイク画像を取得した撮像デバイスの分光特性に対応する分光透過率を要素とした行列Ｂと、前記分光特性補正行列Ｍとの積ＭＢとの差分を小さくする行列Ｍを算出して、前記行列演算を実行する。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、エッジ強調処理を実行する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、トーンカーブを用いたコントラスト強調を行う。
【００２０】
さらに、本開示の第２の側面は、
主に可視光成分を撮り込む可視光成分画素と、主に非可視光成分を撮り込む非可視光成分画素からなるモザイク画像を生成する単板カラー撮像素子を有する撮像デバイスと、
前記撮像デバイスの生成するモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、
前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する撮像装置にある。
【００２１】
さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
分光補正部が、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正ステップと、
コントラスト強調部が、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調ステップを実行する画像処理方法にある。
【００２２】
さらに、本開示の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
分光補正部に、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成させる分光補正ステップと、
コントラスト強調部が、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成させるコントラスト強調ステップを実行させるプログラムにある。
【００２３】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２４】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２５】
本開示の一実施例の構成によれば、可視光と非可視光の分光特性を向上させ、可視光成分の少ない非可視光成分画像を生成する構成が実現される。
具体的には、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成し、さらに、生成した非可視光成分からなる分光特性補正画像に対してコントラスト強調処理を実行してコントラストを強調した非可視光成分画像を生成する。分光補正部は、理想の分光特性情報を適用して生成される分光特性補正行列Ｍを適用した行列演算により分光特性補正画像を生成する。
本構成により、可視光成分の少ない非可視光成分画像を生成することが可能となり、例えば赤外光などの非可視光成分光を用いたパターン光照射による被写体距離や被写体形状を計測する構成において、より高精度な処理が可能となる。
【図面の簡単な説明】
【００２６】
【図１】本開示の画像処理装置の一構成例について説明する図である。
【図２】撮像デバイスに設定するカラーフィルタの一例を示す図である。
【図３】図２の色配列を持つフィルタを備えた撮像デバイスの理想的な分光特性の例を表す図である。
【図４】図２の色配列を持つフィルタを備えた撮像デバイスとして実際に製造される撮像デバイスの分光特性の例について説明する図である。
【図５】可視光成分画像（ＲＧＢ画像）と、非可視光成分画像（ＩＲ画像）の生成処理を実行する画像処理部の構成例について説明する図である。
【図６】補間部の詳細構成を示す図である。
【図７】輝度成分Ｙの算出処理例について説明する図である。
【図８】コントラスト強調部の詳細構成例について説明する図である。
【図９】トーンカーブ適用部の実行する処理について説明する図である。
【図１０】画像処理部の実行する処理シーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．画像処理装置の構成例について
２．撮像デバイスの構成について
３．画像処理の詳細について
（３−１）画像処理の全体シーケンスについて
（３−２）画像処理の個別の処理の詳細について
（３−２−１．補間部の処理について）
（３−２−２．分光補正部の処理について）
（３−２−３．コントラスト強調部の処理について）
４．画像処理シーケンスについて
５．その他の実施例について
６．本開示の構成のまとめ
【００２８】
［１．画像処理装置の構成例について］
まず、図１を参照して本開示の画像処理装置の一構成例について説明する。
図１は、本開示の画像処理装置の一例である撮像装置の構成例を示す図である。
【００２９】
図１は、非可視光を用いた３Ｄ計測と可視光の撮像を同時に行う撮像装置１００の構成を示すブロックダイアグラムである。
図１に示すように、撮像装置１００は、発光部（Ｅｍｉｔｔｅｒ）１０２、レンズ１０３、絞り１０４、撮像デバイス１０５、相関２重サンプリング回路（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）１０６、Ａ／Ｄコンバータ１０７、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ブロック１０８、タイミングジェネレータ（ＴＧ）１０９、メモリ１１０、ＣＰＵ１１１を有する。
【００３０】
ＤＳＰブロック１０８は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下ＤＳＰブロックを単にＤＳＰと呼ぶ。
【００３１】
発光部（Ｅｍｉｔｔｅｒ）１０２はレーザーや投光光学系からなり、被写体（Ｏｂｊｅｃｔ）１０に３次元計測用の非可視光パターンを投影する。発光部（Ｅｍｉｔｔｅｒ）１０２は、例えば赤外光や紫外光等、可視光領域の波長以外の波長光の非可視光からなるパターン光、例えば、縞模様のパターン等のパターン光を照射する。
【００３２】
発光部（Ｅｍｉｔｔｅｒ）１０２の照射する非可視光パターンは被写体１０で反射し、レンズ１０３、絞り１０４を通過して、例えばＣＣＤ等によって構成される撮像デバイス１０５に到達する。反射光は、撮像デバイス１０５の撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路（ＣＤＳ）１０６によってノイズ除去が行われ、Ａ／Ｄコンバータ１０７によってデジタルデータに変換、すなわちデジタイズされた後、ＤＳＰブロック１０８中の画像メモリに格納される。
ＤＳＰブロック１０８は、ＤＳＰブロック１０８中の画像メモリに格納された画像信号に対する信号処理を実行する。
【００３３】
撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ（ＴＧ）１０９が信号処理系を制御するようになっている。ＤＳＰブロック１０８へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれる。ＤＳＰブロック１０８からは可視光と非可視光の画像が出力され、メモリ１１０に格納される。ＤＳＰブロック１０８から出力される非可視光成分画像はＣＰＵ１１１でさらに処理が加えられ、例えば被写体の３次元形状が算出される。
以上が本実施例の撮像装置１００の全体の説明である。
【００３４】
［２．撮像デバイスの構成について］
次に、図１に示す撮像装置１００の撮像デバイス１０５の詳細構成例と特性について説明する。
図１に示す撮像装置１００の撮像デバイス１０５は、例えば可視光と非可視光を同時に撮影できる単板カラー撮像素子を有する。
【００３５】
ＤＳＰブロック１０８は、この単板カラー撮像素子からなる撮像デバイス１０５の撮影する可視光成分画像と非可視光成分画像に対する処理を実行して分光レベルの高い高画質な非可視光成分画像を生成する。
ＤＳＰブロック１０８における具体的な処理については後述するが、本開示の画像処理装置は、例えば、非可視光のパターンを投射して被写体の三次元形状を測定するパターン投影法を行う際に、コントラストの高い非可視光パターンを検出する処理に応用できる技術である。なお、本明細書においては、「コントラスト」という単語を、注目している画像領域とそれ以外の画像領域との輝度差という意味で用いる。
【００３６】
図１に示す撮像装置１００の撮像デバイス１０５は、可視光に感度を持つ画素と、非可視光に感度を持つ画素を持つ単板カラー撮像素子を有する。このような撮像素子は、例えば図２に示される色配列のカラーフィルタをモノクロの撮像素子上に形成することで作ることができる。
【００３７】
図２においてＲ，Ｇ，Ｂは可視光を撮影するためのカラーフィルタであり、ＩＲは非可視光を撮影するためのカラーフィルタである。
Ｒ，Ｇ，Ｂは、可視光（Ｒ，Ｇ，Ｂ）に対応する波長光を透過する。
ＩＲは、例えば赤外光や紫外光等の可視光領域以外の非可視光（ＩＲ）に対応する波長光を透過する。
【００３８】
図１に示す撮像装置１００の撮像デバイス１０５は、例えば図２に示すカラーフィルタを介して被写体光を入射する。この結果ＲＧＢの設定された画素は、可視光（Ｒ，Ｇ，Ｂ）に対応する波長光に応じた電気信号を生成する可視光撮影画素となる。また、ＩＲの設定された画素は、非可視光（ＩＲ）に対応する波長光に応じた電気信号を生成する非可視光撮影画素となる。
【００３９】
なお、図２に示すような一層のカラーフィルタだけを使うのではなく、複数層のカラーフィルタを用いることで、各画素対応の感度（Ｒ，Ｇ，Ｂ，ＩＲ）を作り出す構成としてもよい。
【００４０】
なお、図２に示すカラーフィルタの配列は一例であり、図２に示す構成に限らず、可視光と非可視光の撮影画素が混在した構成であれば、本開示の処理は適用可能である。
図２に示すフィルタのＩＲは、赤外光、あるいは紫外光など可視光波長領域以外の波長光を透過する設定とすればよいが、以下の実施例では、ＩＲは、赤外光を透過する構成であるものとして説明する。
【００４１】
図３は、図２の色配列を持つフィルタを備えた撮像デバイスの理想的な分光透過率の例を表す図である。
横軸が波長、縦軸が分光透過率を示している。
【００４２】
Ｂ画素分光は、図２に示すカラーフィルタのＢ画素領域の分光特性（分光透過率）であり、Ｂ（青）色近傍の波長光に対応する短波長領域の光を選択的に透過する。
Ｇ画素分光は、図２に示すカラーフィルタのＧ画素領域の分光特性（分光透過率）であり、Ｇ（緑）色近傍の波長光に対応する中波長領域の光を選択的に透過する。
Ｒ画素分光は、図２に示すカラーフィルタのＲ画素領域の分光特性（分光透過率）であり、Ｒ（赤）色近傍の波長光に対応する長波長領域の光を選択的に透過する。
ＩＲ画素分光は、図２に示すカラーフィルタのＩＲ画素領域の分光特性（分光透過率）であり、ＩＲ（赤外光）近傍の波長光に対応する極超波長領域の光を選択的に透過する。
【００４３】
図３に示す分光特性図は、理想的な特性を示している。しかし、例えば図２に示すカラーフィルタを備えた撮像デバイスを実際に製造しても、図３に示すような理想的な分光特性を得ることは難しい。
【００４４】
実際に製造される撮像デバイスの分光特性の例を図４に示す。
図３と同様、横軸が波長、縦軸が分光透過率を示している。
図２の色配列を持つフィルタを備えた撮像デバイスとして実際に製造される撮像デバイスの分光特性は、図４に示すように可視光を撮影するための画素が赤外光に感度を持ったり、赤外光を撮影するための画素が可視光に感度を持ったりするという問題が発生する。
【００４５】
本開示の画像処理装置は、例えば図４に示すような分光特性、すなわち不完全な分光特性を持つ撮像デバイスによって撮影された画像信号を入力し、以下に説明する信号処理を実行して高画質な可視光と非可視光成分画像を得ることを可能としている。
【００４６】
［３．画像処理の詳細について］
次に、本開示の画像処理装置において実行する画像処理の詳細について説明する。以下において説明する画像処理は、例えば図１に示す撮像装置１００のＤＳＰブロック１０８において実行される。
ＤＳＰブロック１０８では、信号の高周波成分まで復元できる補間処理と、行列演算による分光補正処理と非可視光成分画像のコントラスト強調処理を行う。
【００４７】
以下、まず、図５を参照して、可視光成分画像（ＲＧＢ画像）と、非可視光成分画像（ＩＲ画像）の生成処理の全体処理の概要を説明し、次に、図５に示す各処理部の詳細について説明する。以下の項目に従って説明する。
（３−１）画像処理の全体シーケンスについて
（３−２）画像処理の個別の処理の詳細について
【００４８】
（３−１）画像処理の全体シーケンスについて
まず、図５を参照して本開示の画像処理装置において実行する画像処理、すなわち、可視光成分画像（ＲＧＢ画像）と、非可視光成分画像（ＩＲ画像）の生成処理の全体シーケンスについて説明する。
【００４９】
図５は、図１に示す撮像装置１００の画像処理部としてのＤＳＰブロック１０８において実行する処理について説明する図である。
図５には、ＤＳＰブロック１０８において実行する複数の処理の各々について、各処理単位の処理部を示している。
【００５０】
図５に示すように、画像処理部（ＤＳＰブロック１０８）は、補間部２０２、分光補正部２０３、コントラスト強調部２０４を有する。
ＲＧＢＩＲモザイク画像２０１は、図１に示す撮像デバイス１０５の撮影したモザイク画像である。すなわち各画素に対してＲ、Ｇ、Ｂ、ＩＲのいずれか１つの波長光信号のみが設定されたモザイク画像である。
【００５１】
すなわち、図２に示す可視光（Ｒ，Ｇ，Ｂ）と非可視光（ＩＲ）を透過するカラーフィルタの配列を備えた撮像デバイス１０５の撮影したモザイク画像であり、相関２重サンプリング回路（ＣＤＳ）１０６によってノイズ除去が行われ、Ａ／Ｄコンバータ１０７によってデジタルデータに変換、すなわちデジタイズされた後、ＤＳＰブロック１０８中の画像メモリに格納された画像である。
【００５２】
補間部２０２は、Ｒ、Ｇ、Ｂ、ＩＲのいずれか１つの画素値のみが設定されたＲＧＢＩＲモザイク画像２０１の各画素に対して、ＲＧＢＩＲの全ての画素値を設定する補間処理を実行する。
例えば、
Ｒのカラーフィルタが存在する画素位置に、Ｇ，Ｂ，ＩＲの画素値を補間、
Ｇのカラーフィルタが存在する画素位置に、Ｒ，Ｂ，ＩＲの画素値を補間、
Ｂのカラーフィルタが存在する画素位置に、Ｒ，Ｇ，ＩＲの画素値を補間、
ＩＲのカラーフィルタが存在する画素位置に、Ｒ，Ｇ，Ｂの画素値を補間、
これらの画素値補間処理を実行する。
【００５３】
補間部２０２は、例えば、モザイク信号に含まれるどの色よりも高い解像度を持つ輝度信号を生成し、その輝度信号をリファレンスとして色信号の補間を行う。
なお、輝度信号は、補間がぞ地を設定する注目画素位置近傍に存在する複数の色信号を合成することによって得られる。
【００５４】
通常、撮像された複数の色信号間には強い相関が存在する。この相関を利用して複数の色信号を合成することができ、単一の色信号よりも解像度の高い輝度信号を生成することができる。さらに輝度信号と色信号の間の強い相関を利用して、全ての色について高周波成分まで復元された補間値を得ることができる。
【００５５】
分光補正部２０３は補間部２０２が生成した補間画像である全画素に全ての色の画素値がそろったＲＧＢＩＲ画像を入力とし、それぞれの画素位置において存在する４色（Ｒ，Ｇ，Ｂ，ＩＲ）の画素値に対して別個に行列演算を行うことで、分光が補正された新たな４色の画素値を算出する。
【００５６】
この処理は従来のカメラ信号処理で色再現の向上のために用いられてきた演算を拡張したものである。例えば通常のカメラで撮影される可視光の３色（Ｒ，Ｇ，Ｂ）に対して３ｘ３行列を適用して新たな３色を算出する演算により、色再現の向上が図られる。本開示の構成では３色の可視光と１色の非可視光の計４色に対して４ｘ４行列を適用することになる。
分光が補正されたＲ，Ｇ，Ｂの画素では非可視光成分が抑制され、分光が補正されたＩＲの画素では可視光成分が抑制される。
分光補正部２０３の出力は可視光成分からなるＲＧＢ画像２０５と非可視光成分からなるＩＲ画像に分けられる。
【００５７】
分光補正部２０３より出力されたＩＲ画像はコントラスト強調部２０４に入力され、非可視光成分が強調され、可視光成分が抑制されたＩＲ画像２０６として出力される。
【００５８】
なお、本開示の画像処理装置では、非可視光を３次元計測のために用いるということを想定している。
従って、被写体には非可視光のパターンが、先に図１を参照して説明した発光部１０２から投影されている。
このパターンは輝点や輝線から構成されており、コントラストの高いテクスチャになっている。
【００５９】
そのため、被写体においてコントラストの高いテクスチャは非可視光成分が支配的となり、コントラストの低いテクスチャは可視光が支配的となる。
さらに、一般的にはレンズには軸上色収差が存在することから、非可視光に対してピントを合わせると、可視光に対してはボケが生じる。
このような光学的な現象も非可視光成分が高いコントラストを持つ一因となる。
【００６０】
つまり、分光補正部２０３より出力されたＩＲ画像をコントラスト成分と非コントラスト成分に分離するということは、ほぼ、非可視光成分と可視光成分に分離するということに等しくなる。
なお、コントラストの強調には従来から用いられているコントラスト強調技術を用いればよい。例えば、ヒストグラムストレッチやトーンカーブのような実空間における信号の補正であっても、高周波成分の強調のような周波数空間での信号の補正であってもよい。
【００６１】
トーンカーブを用いるのであれば、暗部をより暗く、明部をより明るくするＳ字型のトーンカーブを用いれば良い。これは、分光補正部２０３より出力されたＩＲ画像には可視光が混入しているとはいっても、非可視光の信号の方が支配的であり、より明るく撮像されているためである。
【００６２】
なお、本開示の画像処理装置において効果的なコントラスト強調手法としては、エッジ保存平滑化フィルタを用いた手法が挙げられる。
エッジ保存平滑化フィルタは被写体の細かいテクスチャ（小面積で高周波成分を含む信号）を平滑化し、大きなテクスチャのみを残す平滑化手法であり、代表的な手法としてバイラテラル（Ｂｉｌａｔｅｒａｌ）フィルタが知られている。
【００６３】
非可視光の投影パターンは可視光の背景と比べて細かいテクスチャであることが多く、エッジ保存平滑化フィルタによってこれらを分離することができる。
分離した可視光と非可視光の２つの画像に対してゲインやトーンカーブを適用することで、可視光を抑制し、非可視光を強調することができる。
【００６４】
（３−２）画像処理の個別の処理の詳細について
次に、図５に示す各処理部において実行する処理の詳細ついて、順次説明する。
【００６５】
（３−２−１．補間部の処理について）
まず、図５に示す補間部２０２の詳細について説明する。
補間部２０２の詳細なブロック図を図６に示す。図６に示すように、補間部２０２は、輝度算出部３０３、局所平均値算出部３０４、色補間部３０５を有する。
以下、各処理部の実行する処理について説明する。
【００６６】
［輝度算出部について］
輝度算出部３０３では、図２に示すカラーフィルタに含まれる４つの色（Ｒ，Ｇ，Ｂ，ＩＲ）よりも画素数が多く、より高い周波数成分を持つ輝度信号Ｙを算出する。
具体的には、例えば以下に示す（式１）を適用して輝度成分Ｙを算出する。
【００６７】
【数１】
・・・（式１）
【００６８】
上記（式１）において、
ｘ，ｙは画素位置を表し、
ＭｏｓａｉｃはＲＧＢＩＲモザイク画像（図６に示すＲＧＢＩＲモザイク画像３０２）を表す。
【００６９】
上記式における輝度成分Ｙの算出処理例について図７を参照して説明する。上記（式１）に従って算出される輝度、
Ｙ（ｘ＋０．５，ｙ＋０．５）
は、図７における点Ｐの輝度に対応する。
注目画素の画素位置を中心の画素２５１、すなわち、Ｂ画素（ｘ，ｙ）とすると、輝度Ｙは、注目画素からｘ，ｙ方向にそれぞれ半画素ずれた位置、すなわち、座標位置＝（ｘ＋０．５，ｙ＋０．５）の位置の輝度として算出される。
【００７０】
図７における点Ｐの輝度Ｙ（ｘ＋０．５，ｙ＋０．５）を算出するために、図７に示す４つの画素、すなわち、
画素２５１：Ｂ画素（ｘ，ｙ）の画素値［Ｍｏｓａｉｃ（ｘ，ｙ）］、
画素２５２：Ｇ画素（ｘ＋１，ｙ）の画素値［Ｍｏｓａｉｃ（ｘ＋１，ｙ）］、
画素２５３：ＩＲ画素（ｘ，ｙ＋１）の画素値［Ｍｏｓａｉｃ（ｘ，ｙ＋１）］、
画素２５４：Ｒ画素（ｘ＋１，ｙ＋１）の画素値［Ｍｏｓａｉｃ（ｘ＋１，ｙ＋１）］、
これらの４つの各画素値を利用した演算を行う。
【００７１】
輝度算出部３０３では、補間部２０２に入力するモザイク画像を構成する画素を、順次、４画素単位で選択して、上記（式１）に従って輝度Ｙを算出し、輝度画像を生成する。
【００７２】
［局所平均値算出部について］
次に、図６に示す補間部２０２の局所平均値算出部３０４の処理について説明する。
局所平均値算出部３０４では注目画素を中心とした局所領域に含まれているＲ，Ｇ，Ｂ，ＩＲの画素値の重み付き平均値を算出する。
以下、Ｒ，Ｇ，Ｂ，ＩＲ各色の平均値を、各々ｍＲ、ｍＧ、ｍＢ、ｍＩＲと表す。
【００７３】
輝度算出部３０３では、先に、図７を参照して説明したように、
輝度ＹをＭｏｓａｉｃ画像に対して半画素ずれた位置に算出しているので、平均値も、注目画素位置（ｘ，ｙ）から半画素ずれた位置（ｘ＋０．５，ｙ＋０．５）に算出する。
例えば、図７に示すように、中心のＢ画素位置を（ｘ，ｙ）とすると、
ｍＲ（ｘ＋０．５，ｙ＋０．５）、
ｍＧ（ｘ＋０．５，ｙ＋０．５）、
ｍＢ（ｘ＋０．５，ｙ＋０．５）、
ｍＩＲ（ｘ＋０．５，ｙ＋０．５）、
これらの各色対応の平均値は、以下に示す（式２）を用いて算出できる。
【００７４】
【数２】
・・・（式２）
【００７５】
［色補間部について］
次に、図６に示す補間部２０２の色補間部３０５の処理について説明する。
色補間部３０５では、以下に示す（式３）に従って、
画素位置（ｘ＋０．５，ｙ＋０．５）における不明な色の画素値［Ｃ］を補間する。ただし、Ｃ＝ＲまたはＧまたはＢまたはＩＲである。
【００７６】
【数３】
・・・（式３）
【００７７】
上記（式３）において、
ＣはＲ，Ｇ，Ｂ，ＩＲの何れかの色を示す。
Ｃ（ｘ＋０．５，ｙ＋０．５）は、注目画素位置（ｘ，ｙ）から方向にそれぞれ０．５画素分ずれた位置のＲ，Ｇ，Ｂ，ＩＲの画素値を示している。
ｍＹは輝度の平均値を表す。
【００７８】
上記の（式３）は局所領域において輝度信号と色信号が強い正の相関を持つことを利用した補間式であり、２つの信号の平均値の比率が２つの信号の比率とほぼ等しくなることを利用している。
【００７９】
色補間部３０５において補間されたＲＧＢＩＲ画像３０６は、補間部２０２に対する入力画像であるモザイク画像３０２に対してｘ，ｙ方向に半画素ずれた位置に算出される。
この補間画像は、そのこの処理において、そのまま用いても良いし、バイキュービック（Ｂｉｃｕｂｉｃ）補間等を用いて、この半画素のずれを補正してから後段の処理部に入力する構成としてもよい。
いずれにしても、補間された画像の画素位置をｘ，ｙと表すこととして説明を続ける。
【００８０】
（３−２−２．分光補正部の処理について）
次に、図５に示す分光補正部２０３の詳細について説明する。
先に説明したように、分光補正部２０３は、補間部２０２が生成した補間画像である全画素に全ての色の画素値がそろったＲＧＢＩＲ画像を入力とし、それぞれの画素位置において存在する４色（Ｒ，Ｇ，Ｂ，ＩＲ）の画素値に対して別個に行列演算を行うことで、分光が補正された新たな４色の画素値を算出する。本開示の構成では３色の可視光と１色の非可視光の計４色に対して４ｘ４行列を適用することになる。
分光が補正されたＲ，Ｇ，Ｂの画素では非可視光成分が抑制され、分光が補正されたＩＲの画素では可視光成分が抑制される。
分光補正部２０３の出力は可視光成分からなるＲＧＢ画像２０５と非可視光成分からなるＩＲ画像に分けられる。
【００８１】
分光補正部２０３は、以下に示す（式４）の行列演算を用いて分光の補正を行う。
【００８２】
【数４】
・・・（式４）
【００８３】
上記（式４）において、Ｒ，Ｇ，Ｂ，ＩＲは、図６に示す補間部２０２内の色補間部３０５において補間された４つの色の画素値を表し、Ｒ'，Ｇ'，Ｂ'，ＩＲ'は分光補正された画素値を表す。
【００８４】
上記（式４）に示す行列の要素ｍ００〜ｍ３３を求める方法の例を以下に述べる。
先に図３、図４を参照して、
理想的な撮像デバイスの分光特性（図３）、
現実の撮像デバイス分光特性（図４）、
これらの各分光特性について説明した。
【００８５】
図３を参照して説明した理想的な分光特性に対応する４色（Ｒ，Ｇ，Ｂ，ＩＲ）各々の各波長（ｌ）に対応する分光透過率を、
ｒ（ｌ），ｇ（ｌ），ｂ（ｌ），ｉｒ（ｌ）
とする。
ここでｌ（エル）は波長を表す。
【００８６】
また、図４を参照して説明した現実の撮像デバイスに対応する４色（Ｒ，Ｇ，Ｂ，ＩＲ）各々の各波長（ｌ）に対応する分光透過率を、
ｒ'（ｌ），ｇ'（ｌ），ｂ'（ｌ），ｉｒ'（ｌ）
とする。ここでｌ（エル）は波長を表す。
【００８７】
これらの分光透過率を波長（ｌ）に関して離散化すると、以下に示す（式５）が得られる。
【００８８】
【数５】
・・・（式５）
【００８９】
上記（式５）において、
ｌｘは、離散化された波長を表す。
なお、上記式ではｌ０〜ｌＮまでのＮ＋１個に離散化した例を示している。
【００９０】
この（式５）を、最小二乗法を用いて解くと、先に（式４）で示した行列の要素、
ｍ００〜ｍ３３
が得られる。
【００９１】
すなわち、
図３を参照して説明した理想的な分光特性に対応する４色（Ｒ，Ｇ，Ｂ，ＩＲ）各々の各波長（ｌ）に対応する分光透過率：ｒ（ｌ），ｇ（ｌ），ｂ（ｌ），ｉｒ（ｌ）からなる行列をＡ、
図４を参照して説明した現実の撮像デバイスに対応する４色（Ｒ，Ｇ，Ｂ，ＩＲ）各々の各波長（ｌ）に対応する分光透過率：ｒ'（ｌ），ｇ'（ｌ），ｂ'（ｌ），ｉｒ'（ｌ）からなる行列をＢ、
式４に示す補間画素値：Ｒ，Ｇ，Ｂ，ＩＲを、分光補正された画素値：Ｒ'，Ｇ'，Ｂ'，ＩＲ'に変換する要素ｍ００〜ｍ３３からなる行列をＭ、
としたとき、Ａと、ＭＢとの差を最小とする行列Ｍを、例えば最小二乗法を用いて算出することで、先に（式４）で示した行列Ｍの要素、
ｍ００〜ｍ３３
が得られる。
【００９２】
このように、（式４）に示す行列要素：ｍ００〜ｍ３３は、図３を参照して説明した理想の分光特性に対応する分光透過率と、図４を参照して説明した現実の撮像デバイスの分光特性に対応する分光透過率とを行列要素：ｍ００〜ｍ３３によって関係付けた関係式（式５）を、最小二乗法を適用して解くことで算出する。
ただし、最小二乗法を解くためには十分に小さな波長幅で離散化する必要がある。
【００９３】
（３−２−３．コントラスト強調部の処理について）
次に、図５に示すコントラスト強調部２０４の詳細について説明する。
コントラスト強調部２０４は、分光補正部２０３より出力されたＩＲ画像に対して、非可視光成分の強調処理を実行して可視光成分を抑制したＩＲ画像２０６を生成して出力する。
【００９４】
コントラスト強調部２０４の詳細なブロック図を図８に示す。
図８に示すように、コントラスト強調部２０４は、大局輝度圧縮部４０３、エッジ強調部４０４、トーンカーブ適用部４０５を有する。
以下、これらの各構成部の処理について、順次説明する。
【００９５】
［大局輝度圧縮部について］
まず、図８に示す大局輝度圧縮部４０３の実行する処理について説明する。
大局輝度圧縮部４０３は、分光補正部２０３から入力する非可視光成分画像であるＩＲ画像４０２を、
大局輝度成分と、
コントラスト成分と、
に分離し、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する。
【００９６】
ここで、大局輝度成分はＩＲ画像４０２にエッジ保存平滑化フィルタをかけた画像であり、コントラスト成分はＩＲ画像４０２から大局輝度成分を引いた差分画像である。
【００９７】
エッジ保存平滑化処理の一例としては、バイラテラル（Ｂｉｌａｔｅｒａｌ）フィルタの適用処理があり、例えば、以下に示す（式６）に従って、平滑化処理後の画像ＩＲｓを生成することができる。
【００９８】
【数６】
・・・（式６）
【００９９】
上記（式６）において、
ｄｘ，ｄｙは局所領域を表す変数であり、
σｄ、σｒは平滑化の程度を調整するチューニングパラメータ、
である。
平滑化後のＩＲ画像はＩＲｓで表される。
【０１００】
大局輝度成分の圧縮とコントラスト成分の強調処理は、上記の平滑化処理後の画像ＩＲｓを用いて、以下に示す（式７）を適用して実行され、大局輝度成分の圧縮とコントラスト成分の強調処理後の画像ＩＲＧＬＣが生成される。
【０１０１】
【数７】
・・・（式７）
【０１０２】
上記（式７）において、
ＧａｉｎＳｕｐは、大局輝度成分の圧縮の程度を調整するチューニングパラメータ、
ＧａｉｎＥｎｈはコントラスト成分の強調の程度を調整するチューニングパラメータ、
である。
ＩＲＧＬＣは、大局輝度成分の圧縮とコントラスト成分の強調処理後の画像である。
【０１０３】
［エッジ強調部について］
次に、図８に示すエッジ強調部４０４の実行する処理について説明する。
エッジ強調部４０４は、大局輝度圧縮部４０３の生成した非可視光成分画像であるＩＲ画像４０２に基づいて生成された、大局輝度成分圧縮とコントラスト成分強調処理が施されたＩＲ画像（ＩＲＧＬＣ）を入力して、このＩＲ画像の高周波成分の強調処理を行う。
【０１０４】
まず、例えば、以下の（式８）に示されるハイパスフィルタを適用して高周波成分ＩＲＨの算出を行う。
【０１０５】
【数８】
・・・（式８）
【０１０６】
上記（式８）において、
３×３の行列がハイパスフィルタに相当し、
ＩＲＨは、ＩＲ画像（ＩＲＧＬＣ）にハイパスフィルタを適用した結果としての高周波成分を表す。
【０１０７】
さらに、エッジ強調部４０４は、上記（式８）によって算出したＩＲ画像（ＩＲＧＬＣ）を入力して、このＩＲ画像の高周波成分（ＩＲＨ）の強調処理、すなわちエッジ強調処理を、以下の（式９）を適用して実行しエッジ強調ＩＲ画像（ＩＲＥＥ）を生成する。
【０１０８】
【数９】
・・・（式９）
【０１０９】
上記（式９）において、
ＧａｉｎＨはエッジの強調の程度を調整するチューニングパラメータである。
ＩＲＥＥは、エッジ強調後の非可視光成分画像（ＩＲ画像）を示す。
【０１１０】
［トーンカーブ適用部について］
次に、図８に示すトーンカーブ適用部４０５の実行する処理について説明する。
トーンカーブ適用部４０５は、エッジ強調部４０４の生成したエッジ強調後の非可視光成分画像（ＩＲ画像）、すなわち、上記（式９）によって算出される画像（ＩＲＥＥ）を入力して、コントラスト強調を実行する。
【０１１１】
例えば、図９に示されるＳ字型のトーンカーブを用いてコントラスト強調を行う。
図９において、
横軸は、入力画素値（＝上記（式９）によって算出される画像（ＩＲＥＥ）の画素値）
縦軸は、出力画素値（＝トーンカーブ適用部４０５における処理によって生成される画像の画素値）
である。
【０１１２】
なお、トーンカーブ適用部４０５は、図９に示すようなＳ字型のトーンカーブデータを固定形状のものとしてあらかじめメモリに用意しておいてもよいし、画像毎に適応的に作っても良い。
【０１１３】
例えば、適応的にＳ字型カーブを作る例として、シグモイド関数を用いた例がある。
具体的には、例えば、以下に示す（式１０）に示すシグモイド関数を用いコントラスト強調を実行することができる。
【０１１４】
【数１０】
・・・（式１０）
【０１１５】
なお、上記（式１０）において、
画素値は、［０，１］の範囲に存在するものとする。
ｉは入力される画素値、
ｊは出力される画素値、
ａはカーブの形状を調整するためのチューニングパラメータ、
である。
Ｍｉｎは入力画像における画素値を暗い画素値から明るい画素値へと順に並べた際に、暗い側から画素数の１％程度の位置にある画素値を選べばよいし、
Ｍａｘは明るい側から画素数の１％程度の位置にある画素値を選べば良い。
また、ＭｉｎとＭａｘの位置でトーンカーブが極端に非連続にならないようにａを選ぶと良い。
【０１１６】
以上、説明した実施例に従えば、例えば図２に示すような可視光を透過する画素と非可視光を透過する画素領域を持つカラーフィルタ配列を用いた単板式カラー撮像素子によって撮像されたモザイク画像から十分な解像度とコントラストを持った非可視光成分画像（ＩＲ画像）を得ることができる。
【０１１７】
［４．画像処理シーケンスについて］
次に、図１に示す撮像装置１００のＤＳＰブロック１０８において実行する処理シーケンスについて、図１０に示すフローチャートを参照して説明する。
【０１１８】
図１０に示すフローチャートの処理は、図１に示す撮像装置のＤＳＰブロック１０８において実行される。
例えば、ＤＳＰブロック１０８のＣＰＵ等の演算ユニットが、入力されル画像信号のストリームに対してメモリに格納されたプログラムに従って演算を順次実行することで処理が行われる。
【０１１９】
図１０に示すフローの各ステップの処理について説明する。
まず、ステップＳ１０１において、補間処理を実行する。
これは、図５に示す補間部２０２の処理に対応する。
補間部２０２は、モザイク画像に対する補間処理を実行して、各画素位置に可視光成分画素値と非可視光成分画素値を設定した補間画像を生成する。
補間部２０２は、ＤＳＰブロック１０８に入力するモザイク画像、すなわち、可視光成分画素と非可視光成分画素からなるモザイク画像の補間処理（デモザイク）により、各画素に全ての色成分を設定した画像（ＲＧＢＩＲ画像）を生成する。
【０１２０】
具体的には、先に図６を参照して説明したように、以下の処理によって、各画素に全ての色成分を設定した画像（ＲＧＢＩＲ画像）を生成する。
（処理１）輝度算出部３０３において、入力モザイク画像に基づいて、前述した（式１）を適用して輝度成分Ｙを算出する。
（処理２）局所平均値算出部３０４において、入力モザイク画像に基づいて、前述した（式２）を適用して各色（Ｒ，Ｇ，ＢＩＲ）対応の平均値（ｍＲ，ｍＧ．ｍＢ，ｍＩＲ）を算出する。
（処理３）色補間部３０５において、前述した（式３）を適用して、各画素位置対応の全ての色（Ｒ，Ｇ，Ｂ，ＩＲ）の画素値を算出する。
これらの処理によって、モザイク画像に基づく補間処理（デモザイク処理）を実行して、各画素対応のすべての色（Ｒ，Ｇ，Ｂ，ＩＲ）の画素値を設定したＲＧＢＩＲ画像を生成する。
【０１２１】
次に、ステップＳ１０２において分光補正処理を実行する。
これは、図５に示す分光補正部２０３の処理に対応する。
分光補正部２０３は、
【０１２２】
分光補正部２０３は、補間部２０２が生成した補間画像である全画素に全ての色の画素値がそろったＲＧＢＩＲ画像を入力とし、それぞれの画素位置において存在する４色（Ｒ，Ｇ，Ｂ，ＩＲ）の画素値に対して別個に行列演算を行うことで、分光が補正された新たな４色の画素値を算出し、これらの分光特性補正画素値からなる分光特性補正画像を生成する。
なお、分光補正部２０３の出力は可視光成分からなるＲＧＢ画像２０５と非可視光成分からなるＩＲ画像に分けられる。
【０１２３】
分光補正部２０３は、先に説明した（式４）の行列演算を用いて分光の補正を行う。
なお、（式４）に示す行列要素：ｍ００〜ｍ３３は、先に説明した理想の分光特性に対応する分光透過率と、現実の撮像デバイスの分光特性に対応する分光透過率とを行列要素：ｍ００〜ｍ３３によって関係付けた関係式（式５）を、最小二乗法を適用して解くことで算出する。
【０１２４】
次に、ステップＳ１０３において、非可視光成分画像に対するコントラスト強調処理を実行する。
この処理は、図５に示すコントラスト強調部２０４の実行する処理である。
コントラスト強調部２０４は、分光補正部２０３の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成する。
【０１２５】
すなわち、コントラスト強調部２０４は、ステップＳ１０２において、分光補正処理によって生成された分光補正された非可視光成分画像（ＩＲ画像）を入力し、非可視光成分の強調処理を実行して可視光成分を抑制したＩＲ画像を生成する。
【０１２６】
具体的には、図８を参照して説明したように、以下の処理：（処理１）〜（処理３）を実行して非可視光成分の強調処理を実行して可視光成分を抑制したＩＲ画像を生成する。
【０１２７】
（処理１）大局輝度圧縮部４０３において、分光補正された非可視光成分画像（ＩＲ画像）を入力し、大局輝度成分と、コントラスト成分とに分離し、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する。
具体的には、前述の（式６）によるバイラテラル（Ｂｉｌａｔｅｒａｌ）フィルタを適用したエッジ保存平滑化処理画像（ＩＲｓ）の生成、さらに、
前述の（式７）を適用した大局輝度成分の圧縮とコントラスト成分の強調処理後の画像ＩＲＧＬＣの生成処理が実行される。
【０１２８】
（処理２）図８に示すエッジ強調部４０４において、大局輝度成分圧縮とコントラスト成分強調処理が施されたＩＲ画像（ＩＲＧＬＣ）を入力して、高周波成分の強調処理を行う。
具体的には、前述の（式８）により、ＩＲ画像（ＩＲＧＬＣ）の高周波成分ＩＲＨの算出を行い、さらに、前述の（式９）を適用してエッジ強調ＩＲ画像（ＩＲＥＥ）を生成する。
【０１２９】
（処理３）図８に示すトーンカーブ適用部４０５において、エッジ強調部４０４の生成したエッジ強調後の非可視光成分画像（ＩＲ画像）、すなわち、上記（式９）によって算出される画像（ＩＲＥＥ）を入力して、コントラスト強調を実行する。
例えば、図９に示されるＳ字型のトーンカーブを用いてコントラスト強調を行う。
あるいは、前述した（式１０）に従ったシグモイド関数を用いコントラスト強調を実行することができる。
【０１３０】
ステップＳ１０１〜Ｓ１０２の処理によって、可視光成分画像（ＲＧＢ画像）が生成され、ステップＳ１０１〜Ｓ１０３の処理によって十分な解像度とコントラストを持った非可視光成分画像（ＩＲ画像）を得ることができる。
【０１３１】
なお、図１０を参照して説明した処理は、図１に示すＤＳＰブロック内において、予め図１０に示す処理シーケンスを記述したプログラムを実行することで行うことが可能あるが、プログラムという形態以外にも、図５、図６、図８を参照して説明したブロックと同等の処理を実現するハードウェア回路によって実現することも可能である。
【０１３２】
［５．その他の実施例について］
次に、上述した実施例の変形例について説明する。
上述の実施例では、図６を参照して説明した補間部２０２の輝度算出部３０３において、輝度信号Ｙを算出する際に、前記の（式１）に従って、単に注目画素の画素位置（ｘ，ｙ）の近傍のＲ，Ｇ，Ｂ，ＩＲの画素値の加算平均している。
この輝度信号Ｙ算出処理は、このような処理に限らず、例えば、エッジ方向を考慮した処理など、複雑な方法を用いる構成としてもよい。
すなわち、エッジ方向を考慮して、注目画素の輝度により近い輝度を持つ近傍画素の輝度値に大きな重みを設定して輝度信号Ｙを算出するといった処理を実行してもよい。
【０１３３】
また、上述した実施例において、補間部２０２では、図７を参照して説明したように、注目画素の画素位置（ｘ，ｙ）からｘ，ｙ各方向に半画素ずれた位置（ｘ＋０．５，ｙ＋０．５）の画素値を算出しているが、補間部で用いられているフィルタの係数を変えることで画素位置にずれを起こさないような設定としてもよい。
【０１３４】
また、前述の実施例では、図５に示すコントラスト強調部２０４の処理として、図８を参照して説明したように、
大局輝度圧縮部４０３、
エッジ強調部４０４、
トーンカーブ適用部４０５、
これらコントラスト強調のために３つの異なる手法を用いているが、これは一例に過ぎない。異なる適用順序であっても構わないし、これら３つ以外の手法を用いても良い。
【０１３５】
また、エッジ強調部ではノイズの強調を抑えるために、大局輝度圧縮部４０３の生成画像（ＩＲＨ）に対してコアリング処理を適用してもよい。また１帯域のハイパスフィルタのみを用いるのではなく、複数の異なる帯域のハイパスフィルタを用いるようにしてもよい。
【０１３６】
また、前記の実施例では、トーンカーブ適用部４０５において、トーンカーブとして図９に示したような単純なＳ字型のカーブを用いているが、より複雑な形状のトーンカーブを用いてもよい。
【０１３７】
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１３８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、
前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する画像処理装置。
【０１３９】
（２）前記画像処理装置は、前記モザイク画像に対する補間処理を実行して、各画素位置に可視光成分画素値と非可視光成分画素値を設定した補間画像を生成する補間部を有し、前記分光補正部は、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する前記（１）に記載の画像処理装置。
【０１４０】
（３）前記分光補正部は、分光特性補正行列Ｍを適用した行列演算により、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する前記（２）に記載の画像処理装置。
（４）前記分光補正部は、理想的な分光特性に対応する分光透過率を要素とした行列Ａと、前記モザイク画像を取得した撮像デバイスの分光特性に対応する分光透過率を要素とした行列Ｂと、前記分光特性補正行列Ｍとの積ＭＢとの差分を小さくする行列Ｍを算出して、前記行列演算を実行する前記（３）に記載の画像処理装置。
【０１４１】
（５）前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、エッジ強調処理を実行する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記コントラスト強調部は、前記分光補正部の生成した非可視光成分分光特性補正画像に対して、トーンカーブを用いたコントラスト強調を行う前記（１）〜（６）いずれかに記載の画像処理装置。
【０１４２】
（８）主に可視光成分を撮り込む可視光成分画素と、主に非可視光成分を撮り込む非可視光成分画素からなるモザイク画像を生成する単板カラー撮像素子を有する撮像デバイスと、
前記撮像デバイスの生成するモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、
前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する撮像装置。
さらに、前記（２）〜（７）に記載の構成を有する撮像装置。
【０１４３】
さらに、上記した装置やシステムにおいて実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１４４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１４６】
以上、説明したように、本開示の一実施例の構成によれば、可視光と非可視光の分光特性を向上させ、可視光成分の少ない非可視光成分画像を生成する構成が実現される。
具体的には、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成し、さらに、生成した非可視光成分からなる分光特性補正画像に対してコントラスト強調処理を実行してコントラストを強調した非可視光成分画像を生成する。分光補正部は、理想の分光特性情報を適用して生成される分光特性補正行列Ｍを適用した行列演算により分光特性補正画像を生成する。
本構成により、可視光成分の少ない非可視光成分画像を生成することが可能となり、例えば赤外光などの非可視光成分光を用いたパターン光照射による被写体距離や被写体形状を計測する構成において、より高精度な処理が可能となる。
【符号の説明】
【０１４７】
１０ 被写体（Ｏｂｊｅｃｔ）
１００ 撮像装置
１０２ 発光部
１０３ レンズ
１０４ 絞り
１０５ 撮像デバイス
１０６ 相関２重サンプリング回路（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）
１０７ Ａ／Ｄコンバータ
１０８ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ブロック
１０９ タイミングジェネレータ（ＴＧ）
１１０ メモリ
１１１ ＣＰＵ
２０１ ＲＧＢＩＲモザイク画像
２０２ 補間部
２０３ 分光補正部
２０４ コントラスト強調部
２０５ ＲＧＢ画像
２０６ ＩＲ画像
３０２ ＲＧＢＩＲ画像
３０３ 輝度算出部
３０４ 局所平均値算出部
３０５ 色補間部
３０６ ＲＧＢＩＲ画像
４０２ ＩＲ画像（処理前）
４０３ 大局輝度圧縮部
４０４ エッジ強調部
４０５ トーンカーブ適用部
４０６ ＩＲ画像（処理後）
【特許請求の範囲】
【請求項１】
主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、
前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する画像処理装置。
【請求項２】
前記画像処理装置は、
前記モザイク画像に対する補間処理を実行して、各画素位置に可視光成分画素値と非可視光成分画素値を設定した補間画像を生成する補間部を有し、
前記分光補正部は、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記分光補正部は、
分光特性補正行列Ｍを適用した行列演算により、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する請求項２に記載の画像処理装置。
【請求項４】
前記分光補正部は、
理想的な分光特性に対応する分光透過率を要素とした行列Ａと、
前記モザイク画像を取得した撮像デバイスの分光特性に対応する分光透過率を要素とした行列Ｂと、前記分光特性補正行列Ｍとの積ＭＢとの差分を小さくする行列Ｍを算出して、前記行列演算を実行する請求項３に記載の画像処理装置。
【請求項５】
前記コントラスト強調部は、
前記分光補正部の生成した非可視光成分分光特性補正画像に対して、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する請求項１に記載の画像処理装置。
【請求項６】
前記コントラスト強調部は、
前記分光補正部の生成した非可視光成分分光特性補正画像に対して、エッジ強調処理を実行する請求項１に記載の画像処理装置。
【請求項７】
前記コントラスト強調部は、
前記分光補正部の生成した非可視光成分分光特性補正画像に対して、トーンカーブを用いたコントラスト強調を行う請求項１に記載の画像処理装置。
【請求項８】
主に可視光成分を撮り込む可視光成分画素と、主に非可視光成分を撮り込む非可視光成分画素からなるモザイク画像を生成する単板カラー撮像素子を有する撮像デバイスと、
前記撮像デバイスの生成するモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、
前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する撮像装置。
【請求項９】
画像処理装置において実行する画像処理方法であり、
分光補正部が、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正ステップと、
コントラスト強調部が、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調ステップを実行する画像処理方法。
【請求項１０】
画像処理装置において画像処理を実行させるプログラムであり、
分光補正部に、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成させる分光補正ステップと、
コントラスト強調部が、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成させるコントラスト強調ステップを実行させるプログラム。
【請求項１】
主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、
前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する画像処理装置。
【請求項２】
前記画像処理装置は、
前記モザイク画像に対する補間処理を実行して、各画素位置に可視光成分画素値と非可視光成分画素値を設定した補間画像を生成する補間部を有し、
前記分光補正部は、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記分光補正部は、
分光特性補正行列Ｍを適用した行列演算により、前記補間部の生成した補間画像の画素値を補正した分光特性補正画像を生成する請求項２に記載の画像処理装置。
【請求項４】
前記分光補正部は、
理想的な分光特性に対応する分光透過率を要素とした行列Ａと、
前記モザイク画像を取得した撮像デバイスの分光特性に対応する分光透過率を要素とした行列Ｂと、前記分光特性補正行列Ｍとの積ＭＢとの差分を小さくする行列Ｍを算出して、前記行列演算を実行する請求項３に記載の画像処理装置。
【請求項５】
前記コントラスト強調部は、
前記分光補正部の生成した非可視光成分分光特性補正画像に対して、大局輝度成分を圧縮し、コントラスト成分を強調する処理を実行する請求項１に記載の画像処理装置。
【請求項６】
前記コントラスト強調部は、
前記分光補正部の生成した非可視光成分分光特性補正画像に対して、エッジ強調処理を実行する請求項１に記載の画像処理装置。
【請求項７】
前記コントラスト強調部は、
前記分光補正部の生成した非可視光成分分光特性補正画像に対して、トーンカーブを用いたコントラスト強調を行う請求項１に記載の画像処理装置。
【請求項８】
主に可視光成分を撮り込む可視光成分画素と、主に非可視光成分を撮り込む非可視光成分画素からなるモザイク画像を生成する単板カラー撮像素子を有する撮像デバイスと、
前記撮像デバイスの生成するモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正部と、
前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調部を有する撮像装置。
【請求項９】
画像処理装置において実行する画像処理方法であり、
分光補正部が、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成する分光補正ステップと、
コントラスト強調部が、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成するコントラスト強調ステップを実行する画像処理方法。
【請求項１０】
画像処理装置において画像処理を実行させるプログラムであり、
分光補正部に、主に可視光成分を撮り込んだ可視光成分画素と、主に非可視光成分を撮り込んだ非可視光成分画素からなるモザイク画像を入力して、各画素の分光特性を補正した分光特性補正画像を生成させる分光補正ステップと、
コントラスト強調部が、前記分光補正部の生成した非可視光成分分光特性補正画像に対してコントラスト強調処理を実行してコントラスト強調非可視光成分画像を生成させるコントラスト強調ステップを実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２３９１０３（Ｐ２０１２−２３９１０３Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０８０４８（Ｐ２０１１−１０８０４８）
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]