撮像装置及び撮像システム
【課題】合成後の画像に合成前の画像を復元するための情報を付与することが可能な撮像装置、撮像方法、撮像システム、画像処理装置、画像処理プログラム及び画像処理方法を提供する。
【解決手段】撮像システム１００を、露光時間Ｔ１〜Ｔ３（Ｔ１＜Ｔ２＜Ｔ３）で被写体を撮像する撮像部１０と、画素信号の出力先を露光時間の種類毎に切り替えるスイッチ（ＳＷ）１１と、露光時間Ｔ１〜Ｔ３に対応する画素データを記憶する第１〜第３メモリ１２〜１４と、露光時間Ｔ１〜Ｔ３に対応する画素データを合成する画素データ合成部１５と、復元対象の画像の画素データを選択する復元対象画像選択部１６と、合成後の画素データに復元対象の画素データの復元情報を付与する復元情報付与部１７とを含んだ構成とした。
【解決手段】撮像システム１００を、露光時間Ｔ１〜Ｔ３（Ｔ１＜Ｔ２＜Ｔ３）で被写体を撮像する撮像部１０と、画素信号の出力先を露光時間の種類毎に切り替えるスイッチ（ＳＷ）１１と、露光時間Ｔ１〜Ｔ３に対応する画素データを記憶する第１〜第３メモリ１２〜１４と、露光時間Ｔ１〜Ｔ３に対応する画素データを合成する画素データ合成部１５と、復元対象の画像の画素データを選択する復元対象画像選択部１６と、合成後の画素データに復元対象の画素データの復元情報を付与する復元情報付与部１７とを含んだ構成とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に係り、特に、複数種類の露光時間で被写体を撮像して得られる画素信号を合成して、撮像画像のダイナミックレンジを拡大することができる撮像装置に関する。
【背景技術】
【０００２】
従来、監視や防犯を目的としたカメラが様々な場所に設置されている。一般的にカメラのダイナミックレンジは人間のダイナミックレンジよりも狭いため、人間の目であれば確認できるはずの対象物が、カメラ映像では黒つぶれ或いは白とびにより映らない問題があった。そこで広ダイナミックレンジ（ＨＤＲ（High Dynamic Range））映像を得る手段として、多段階露光による画像合成方法が存在する。多段階露光による画像合成方法を用いた撮像装置としては、例えば、特許文献１に記載された撮像装置及び撮像方法がある。
【０００３】
特許文献１に記載の撮像装置及び撮像方法は、多段露光画像を合成してＨＤＲ画像を生成する際に、移動物の有無を画素毎に判定して画像の合成比率を変化させる。例えば移動物がある領域では露光時間の小さい（短い）画像を使用し、移動物がなく飽和していない領域では露光時間の大きい（長い）画像を使用する。
【特許文献１】特開２００４−２５４１５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の従来技術においては、合成後の画像において、重要な画像部分がボケて識別できないようなときに、合成に使用しなかった画素の情報は捨ててしまうので、例えば、合成前の画像を参照したり、合成前の画像を手がかりにして重要な画像部分の識別処理を行うなどすることはできなかった。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、合成後の画像に合成前の画像を復元するための情報を付与することが可能な撮像装置及び撮像システムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
〔形態１〕 上記目的を達成するために、形態１の撮像装置は、
受光した光を電荷に変換して蓄積する複数の光電変換素子をマトリックス状に配列した構成の光電変換部と、前記光電変換素子の露光時間を制御する機能とを備えた撮像装置であって、
前記光電変換素子の構成する各画素から、複数種類の露光時間で露光された時の前記複数種類の露光時間に対応する画素信号を読み出す画素信号読出手段と、
前記画素信号読出手段で読み出した、前記複数種類の露光時間に対応する画素信号のデータである画素データを前記画素毎に合成する画素データ合成手段と、
前記画素データ合成手段で合成後の画素データに、前記複数種類の露光時間における所定の露光時間に対応する前記合成前の画素データを復元する際に用いる復元情報を付与する復元情報付与手段と、を備えることを特徴とする。
【０００６】
このような構成であれば、被写体の撮像において、例えば、光電変換素子が露光時間Ｔ１〜ＴＮ（Ｔ１＜Ｔ２＜・・・＜Ｔ（Ｎ−１）、ＴＮ）の順にそれぞれ露光されると、各露光時間で光電変換素子に蓄積された電荷量に応じた画素信号がそれぞれ読み出される。この読出処理においては、例えば、Ｔ１〜ＴＮの各露光時間で光電変換素子を露光し、各露光時間で露光された光電変換素子から破壊読み出しによって画素信号を読み出すことが可能である。また、例えば、露光時間ＴＮまでの露光を行い、各露光時間Ｔ１〜ＴＮの時点において、光電変換素子から非破壊読み出しで画素信号を読み出すことも可能である。以下、形態１９に記載の撮像方法において同じである。
【０００７】
複数種類の露光時間（Ｔ１〜ＴＮ）にそれぞれ対応する画素信号が読み出されると、画素毎に、該読み出された複数種類の露光時間にそれぞれ対応する画素信号のデータである画素データが画素毎に合成される。例えば、露光時間Ｔ１〜Ｔ３で露光された場合は、対象画素に対する、この３種類の露光時間に対応した画素データが合成され、対象画素の合成画素データが生成される。また、この合成画素データによって、広ダイナミックレンジ（ＨＤＲ）の撮像画像データが構成されることになる。
【０００８】
そして、合成後の画素データには、複数種類の露光時間のうち所定露光時間に対応する合成前の画素データを復元する際に用いる復元情報が付与される。この復元情報は、この情報だけで合成前の画素データを復元できるもの、復元情報に加え合成後の画素データの情報も用いて合成前の画素データを復元できるもの、復元情報に対応するデータが記憶されたデータテーブルを参照して合成前の画素データを復元できるものなどが該当する。以下、形態１９の撮像方法、形態２０の画像処理装置、形態２１の画像処理プログラム、形態２２の画像処理方法などにおいて同じである。
【０００９】
以上より、合成後の画素データに、所定露光時間の合成前の画素データを復元する際に用いる復元情報を付与することができるので、合成後の画素データに付与された復元情報を用いて合成前の画素データを復元することができる。
これにより、例えば、合成後の画像において、重要な被写体が識別できない状態であるときに、合成前の画像を復元して、その復元された画像から識別したり、復元した合成前の画像と合成後の画像とを用いて識別したりするなど、撮像後において、合成前の画像を利用した識別処理などを行うことができるという効果が得られる。
【００１０】
ここで、上記「光電変換部」は、例えば、ＣＣＤ（charge-coupled device）や、ＣＭＯＳ技術などを用いて構成された撮像素子である。例えば、ＣＭＯＳ技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子（例えば、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。以下、形態１９の撮像方法において同じである。
【００１１】
また、上記露光時間を制御する機能とは、例えば、グローバルシャッタ、フォーカルプレーンシャッタ（ローリングシャッタ）等の方式を含む公知の電子シャッタ機能や、撮像装置の有する絞り機構を制御して露光量を変更する機能などが該当する。電子シャッタ機能は、ＣＣＤやＣＭＯＳなどから構成される撮像素子に電圧をかけて、撮像素子に光を電荷として蓄積させる機能を有している。絞り機構は、絞り羽と呼ばれる光を遮る羽根がレンズの中に入っており、この羽を開閉させてレンズに入る光の量を調節する機構である。以下、形態１９の撮像方法において同じである。
【００１２】
また、上記破壊読み出しは、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。
また、上記非破壊読み出しは、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、異なる露光時間に対して何度でも電荷の読み出しを行うことができる。従って、非破壊読み出しは、多段階露光を容易に実現することができるという利点がある。以下、形態１９に記載の撮像方法において同じである。
【００１３】
〔形態２〕 更に、形態２の撮像装置は、形態１に記載の撮像装置において、
前記復元情報は、前記合成前の画素データが有する、単色の輝度情報と色差情報と色信号情報とのうち少なくともいずれか１つを含むことを特徴とする。
このような構成であれば、例えば、画素データがモノクロの画素データであれば、その輝度情報を復元情報として、合成後の画素データに付与することができる。
【００１４】
また、例えば、画素データが複数色の色信号情報からなるカラー画素データであれば、いずれか一色の輝度情報もしくはいずれか一色の輝度情報及び色差情報、または各色の色信号情報を復元情報として、合成後の画素データに付与することができる。
ここで、上記色信号情報は、色情報及びその輝度情報を含む信号の情報である。
【００１５】
〔形態３〕 更に、形態３の撮像装置は、形態２に記載の撮像装置において、
前記復元情報は、前記合成前の画素データが有する輝度情報と前記合成後の画素データが有する輝度情報との差分値の情報、前記合成前の画素データが有する色差情報と前記合成後の画素データが有する色差情報との差分値の情報、及び前記合成前の画素データが有する色信号情報と前記合成後の画素データが有する色信号情報との差分値の情報のうち少なくともいずれか１つを含むことを特徴とする。
【００１６】
このような構成であれば、合成前の画素データが有する輝度情報と合成後の画素データが有する輝度情報との差分値の情報、合成前の画素データが有する色差情報と合成後の画素データが有する色差情報との差分値の情報、及び合成前の画素データが有する色信号情報と合成後の画素データが有する色信号情報との差分値の情報のうちいずれか１つを復元情報として、合成後の画素データに付与することができる。
これにより、復元情報として、付与するデータ量を低減することができるという効果が得られる。
【００１７】
〔形態４〕 更に、形態４の撮像装置は、形態１乃至３のいずれか１に記載の撮像装置において、
前記復元情報付与手段は、前記合成後の画素データにおける下位のＮＣビットのビット列を、前記復元情報のＮビットのビット列を圧縮したＮＣビットのビット列（ＮＣ＜Ｎ）に入れ替えることを特徴とする。
【００１８】
このような構成であれば、復元情報として付与する情報のデータ量を低減することができると共に、合成後の画像データの形式を変更することなく復元情報を付与することができるという効果が得られる。例えば、８ビットの輝度情報を復元情報として付与するときに、上位３ビットの情報に圧縮して、この３ビットの復元情報を、合成後の画素データの下位３ビットに代えて埋め込むことで、合成後の画像及び合成前の画像の双方が、オリジナルと殆ど遜色のない画質で得られると共に、画素データの形式を変更することなく復元情報を付与することができるので、特別な処理を施すことなく汎用のアプリケーションソフトなどにおいて復元情報の付与された合成後の画像データを取り扱うことができる。
【００１９】
〔形態５〕 更に、形態５の撮像装置は、形態１乃至４のいずれか１に記載の撮像装置において、
前記復元情報付与手段は、前記画素データが複数色の色信号情報を有するときに、前記合成前の画素データが有する前記複数色の色信号情報を復元する際に用いる前記複数色の各色に対応する復元情報を、前記合成後の画素データが有する各色の色信号情報にそれぞれ付与することを特徴とする。
【００２０】
このような構成であれば、各画素の画素データを構成する、例えばＲ、Ｇ、Ｂの三原色にそれぞれ対応する輝度情報を復元するための情報を復元情報として付与することができるので、合成後の各色の色信号情報（各色の画素データ）に付与された復元情報から各色の合成前の画素データを復元することができる。
【００２１】
〔形態６〕 更に、形態６の撮像装置は、形態１乃至３のいずれか１に記載の撮像装置において、
前記復元情報付与手段は、前記画素データが複数色の色信号情報を含むときに、前記合成前の画素データの前記複数色のうちのいずれか一色の色信号情報のビット列を前記複数色の色数分に分割し、前記合成後の各色の画素データの下位側のビット列を、前記分割した各ビット列に入れ替えることで、前記合成後の画素データに前記復元情報を付与することを特徴とする。
【００２２】
このような構成であれば、合成前の画素データが有する複数色の色信号情報のうち、いずれか一色の色信号情報を情報の損失なく復元情報として合成後の画素データに付与することができると共に、一色分の色信号情報を付与するだけで済むので付与するデータ量を低減することができるという効果が得られる。更に、合成後の画素データの形式を変更することなく復元情報を付与することができるという効果も得られる。
なお、この場合は、例えば、復元情報の色信号情報と、合成後の画素データが有する他の色の色信号情報とを用いることで合成前の画素データを復元することができる。
【００２３】
〔形態７〕 更に、形態７の撮像装置は、形態１乃至３のいずれか１に記載の撮像装置において、
前記復元情報付与手段は、前記画素データがＲ（Red）、Ｇ（Green）、Ｂ（Blue）の色信号情報を有するときに、前記合成前の画素データが有する色信号情報を、輝度情報及び色差情報に分け、該輝度情報を３つに分割し、前記合成後の各色の画素データの下位側のビット列を、前記分割した各ビット列に入れ替えることで、前記合成後の画素データに前記復元情報を付与することを特徴とする。
【００２４】
このような構成であれば、合成前の画素データが有する輝度情報を情報の損失なく復元情報として合成後の画素データに付与することができると共に、輝度情報のみを付与するだけで済むので付与するデータ量を低減することができるという効果が得られる。更に、合成後の画素データの形式を変更することなく復元情報を付与することができるという効果も得られる。
なお、この場合は、合成後の各色信号情報に分割して付与された復元情報（輝度情報）を結合することで、元データに対して輝度情報に損失のないモノクロデータを復元することができる。
【００２５】
〔形態８〕 更に、形態８の撮像装置は、形態３に記載の撮像装置において、
前記画素データのビット数よりも少ないビット数Ｌで表現される各ビット列に対応付けて、それぞれ異なる数値の前記差分値の情報を記憶した差分情報テーブルを備え、
前記復元情報付与手段は、前記合成後の画素データの下位側のＬビットを、前記差分情報テーブルにおける、前記合成前の画素データの前記復元情報に最も近い差分値の情報に対応付けられたビット列に入れ替えることを特徴とする。
【００２６】
このような構成であれば、復元情報として付与されたビット列に対応した差分値の情報をテーブルから取得して、合成前の画素データを復元することができるので、付与する復元情報のデータ量を低減しつつ、より精度良く合成前の画素データを復元することができるという効果が得られる。更に、テーブルとして有する情報を差分値の情報としたので、差分情報テーブルのサイズを小さくすることができるという効果も得られる。
【００２７】
ここで、上記差分値の情報は、合成前の画素データをＳ、合成後の画素データをＰとすると、例えば、画素データＳ及びＰの絶対的な差分量である絶対差分量α「α＝Ｓ−Ｐ」、又は差分値の画素データＰに対する相対量である相対差分量β「β＝Ｓ／Ｐ」などが該当する。以下、形態９の撮像装置において同じである。
また、上記差分情報テーブルは、例えば、３ビットから構成される各ビット列に、差分値の情報を対応付けて記憶した差分情報テーブルを作成する場合を例に挙げると、「０００」、「００１」、・・・、「１１０」、「１１１」の８種類のビット列に対して差分値の情報を対応付けて記憶することになる。例えば、絶対差分量であれば、前記８種類のビット列に対して、＋１９２、＋１２８、＋６４・・・、−１９２、−２５５を対応付けて記憶し、一方、相対差分量であれば、１７５％、１５０％、・・・、２５％、０％などを対応付けて記憶する。なお、ビット列のビット数を増やすことによって、より細かい差分値の情報を用意することができる。以下、形態９の撮像装置において同じである。
【００２８】
〔形態９〕 更に、形態９の撮像装置は、形態３乃至８のいずれか１に記載の撮像装置において、
前記合成前の画素データから生成される画像の明るさの情報を、前記合成後の画素データから生成される画像の明るさの情報に近似する近似手段を備えることを特徴とする。
このような構成であれば、例えば、復元情報の付与に差分情報テーブルを用いる場合に、復元情報として付与するビット列に対して、より細かい差分値の情報を対応付けることができる。これによって、各ビット列間の差分値の差を小さくすることができるので、より精度良く合成前の画素データを復元することができるという効果が得られる。また、差分値を小さくできるので、差分値の情報を復元情報としてそのまま付与する場合に、そのデータ量（ビット数）を低減することができるという効果が得られる。また、差分値を圧縮して付与する場合においても、同じビット数でより高精度の情報を付与することができるという効果が得られる。
【００２９】
〔形態１０〕 更に、形態１０の撮像装置は、形態９に記載の撮像装置において、
前記近似手段は、前記合成前の画素データから生成される画像のガンマ値を調整することで、該画像の明るさの情報を、前記合成後の画素データから生成される画像の明るさの情報に近似することを特徴とする。
このような構成であれば、合成前の画素データから生成される画像に対して、画像の明るさの変化と、出入力電圧の比であるガンマ値を調整することで、合成前の画素データから生成される画像の明るさの情報を、合成後の画素データから生成される画像の明るさの情報に適切に近似させることができる。
【００３０】
これにより、例えば、復元情報の付与に差分情報テーブルを用いる場合に、復元情報として付与するビット列に対して、より細かい差分値の情報を対応付けることができる。これによって、各ビット列間の差分値の差を小さくすることができるので、より精度良く合成前の画素データを復元することができるという効果が得られる。また、差分値を小さくできるので、差分値の情報を復元情報としてそのまま付与する場合に、そのデータ量（ビット数）を低減することができるという効果が得られる。また、差分値を圧縮して付与する場合においても、同じビット数でより高精度の情報を付与することができるという効果が得られる。
【００３１】
〔形態１１〕 更に、形態１１の撮像装置は、形態９に記載の撮像装置において、
前記近似手段は、前記合成前の画素データから生成される画像のゲインを調整することで、該画像の明るさの情報を、前記合成後の画素データから生成される画像の明るさの情報に近似することを特徴とする。
このような構成であれば、合成前の画素データから生成される画像に対して、その出力信号のゲインを調整することで、合成前の画素データから生成される画像の明るさの情報を、合成後の画素データから生成される画像の明るさの情報に適切に近似させることができる。
【００３２】
これにより、差分情報テーブルにおいて、復元情報として付与するビット列に対して、より細かい差分値の情報を対応付けることができる。これによって、各ビット列間の差分値の差を小さくすることができるので、より精度良く合成前の画素データを復元することができるという効果が得られる。
【００３３】
〔形態１２〕 更に、形態１２の撮像装置は、形態１乃至１１のいずれか１に記載の撮像装置において、
前記複数種類の露光時間に対応する画素データに基づき、該複数種類の露光時間に対応する画素データの中から、復元対象とする露光時間の画素データを選択する復元画像選択手段を備え、
前記復元情報付与手段は、前記復元画像選択手段で決定された前記復元対象の画素データの復元情報を、前記合成後の画素データに付与することを特徴とする。
【００３４】
このような構成であれば、複数種類の露光時間にそれぞれ対応する画像の画素データに基づき、これら各露光時間に対応する画素データのうち、比較的画質の良好となる（被写体が比較的はっきりと表示された）画像を形成する画素データを復元対象として選択することができる。
これにより、合成後の画像の画質が悪かったときなどに参照したり、被写体の識別処理に用いたりするのにより適切な画素データの復元情報を付与することができるという効果が得られる。
【００３５】
〔形態１３〕 更に、形態１３の撮像装置は、形態１２に記載の撮像装置において、
前記復元画像選択手段は、前記合成前の画素データから構成される露光時間毎の画像の輝度情報のヒストグラムに基づき、前記復元対象とする露光時間に対応する画素データを選択することを特徴とする。
このような構成であれば、例えば、理想的な輝度情報のヒストグラムの形状と、各露光時間に対応する合成前の画素データから構成される画像のヒストグラムとを比較し、これらのうち、理想的な輝度情報（シャープな画質となる輝度情報）のヒストグラムに最も近い形状のヒストグラムを有する画像を判別することができる。
【００３６】
従って、複数種類の露光時間にそれぞれ対応する画素データのうち、理想的なヒストグラムに最も近いヒストグラムを有する画像を形成する画素データの復元情報を、合成後の各画素データに付与することができるので、合成後の画像の画質が悪かったときなどに参照したり、被写体の識別処理に用いたりするのにより適切な画素データの復元情報を付与することができるという効果が得られる。
【００３７】
〔形態１４〕 更に、形態１４の撮像装置は、形態１２に記載の撮像装置において、
前記復元画像選択手段は、前記合成前の画素データから構成される露光時間毎の画像の周波数情報に基づき、前記復元対象とする露光時間に対応する画素データを選択することを特徴とする。
このような構成であれば、例えば、合成前の画素データの高周波数成分などから、各露光時間に対応する画素データから構成される画像の画質を判断することができるので、これらを比較することで、画質の最も良い（例えば、ボケた画像とならない又は比較的ボケ具合が軽い）画像や最も情報（オブジェクト）を含む画像などを判別することができる。
【００３８】
従って、複数種類の露光時間にそれぞれ対応する画像のうち、例えば、高周波成分をより多く含む画像（よりシャープで且つより多くのオブジェクトを含む画像）を形成する画素データの復元情報を、合成後の各画素データに付与することで、合成後の画像の画質が悪かったときなどに参照したり、被写体の識別処理に用いたりするのにより適切な画像の復元情報を付与することができるという効果が得られる。
ここで、周波数成分の抽出処理は、例えば、ラプラシアンフィルタなどの公知のエッジフィルタ（ハイパスフィルタ）を用いて画素データに含まれるエッジ成分（高周波数成分）を抽出するなどして行われる。
【００３９】
〔形態１５〕 一方、上記目的を達成するために、形態１５の撮像システムは、
形態１乃至１４のいずれか１に記載の撮像装置と、
前記合成後の画素データに付与された復元情報に基づき、前記合成前の画素データを復元する画素データ復元手段と、を備えることを特徴とする。
このような構成であれば、上記形態１乃至１３に記載の撮像装置と同等の作用が得られると共に、合成後の画素データに含まれる復元情報を用いて所定露光時間に対応する合成前の画素データを復元することができる。
これにより、上記形態１乃至１４のいずれか１に記載の撮像装置と同等の効果が得られる。
【００４０】
ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
【００４１】
〔形態１６〕 更に、形態１６の撮像システムは、形態１５に記載の撮像システムにおいて、
前記画素データ復元手段は、前記画素データが複数色の色信号情報を有し、且つ前記合成後の画素データの有する復元情報が前記複数色のうちのいずれか一色の輝度情報であるときに、該輝度情報と、前記合成後の画素データが有する色差情報とに基づき、前記合成前の画素データを復元することを特徴とする。
このような構成であれば、合成前後の画素データにおいて色差には殆ど差がないことから、合成後の画素データの色差情報を用いて合成前の画素データを復元することでオリジナルと殆ど遜色のない画像を復元することができるという効果が得られる。
【００４２】
〔形態１７〕 更に、形態１７の撮像システムは、形態１５又は１６に記載の撮像システムにおいて、
前記画素データ復元手段は、前記画素データがＲ（Red）、Ｇ（Green）、Ｂ（Blue）の色信号情報を含み、且つ前記合成後の画素データに含まれる復元情報が前記Ｒ、Ｇ、Ｂの色信号情報を輝度情報と色差情報に分けたときの該輝度情報を色数分に分割した情報であるときに、前記合成後の各色に対応する画素データに付与された前記分割された各輝度情報を結合して、前記合成前の画素データの単色の輝度情報を復元することを特徴とする。
【００４３】
このような構成であれば、合成後の各色信号情報に分割して付与された復元情報（輝度情報）を結合することで、元データに対して輝度情報に損失のないモノクロデータを復元することができる。
従って、元データを復元するための情報として、輝度データのみを付与すれば良いので、復元情報のデータ量を小さくできるという効果が得られると共に、色は単色となるが、元データと同じ輝度情報の画像を復元することができるので、画質の良い画像の輝度情報を復元情報として付与することで、画像中の重要物などをはっきりと視認できる画像を復元することができるという効果が得られる。
【００４４】
〔形態１８〕 更に、形態１８の撮像システムは、形態１５乃至１７のいずれか１に記載の撮像システムにおいて、
前記画素データのビット数よりも少ないビット数Ｌで表現される各ビット列に対応付けて、それぞれ異なる数値の前記差分値の情報を記憶した差分情報テーブルを備え、
前記画素データ復元手段は、前記合成後の画素データに含まれる復元情報が前記差分値の情報に対応するビット列であるときに、該ビット列に対応する差分値の情報を前記差分情報テーブルから取得し、該取得した差分値の情報に基づき、前記合成前の画素データを復元することを特徴とする。
【００４５】
このような構成であれば、復元情報として付与されたビット列に対応した差分値の情報をテーブルから取得して、合成前の画素データを復元することができるので、差分情報テーブルの精度次第で、復元対象の画像により近い画質の画像を復元することができるという効果が得られる。
【００４６】
〔形態１９〕 一方、上記目的を達成するために、形態１９の撮像方法は、
受光した光を電荷に変換して蓄積する複数の光電変換素子をマトリックス状に配列した構成の光電変換部と、前記光電変換素子の露光時間を制御する機能とを備えた撮像装置に用いられる撮像方法であって、
前記光電変換素子の構成する各画素から、複数種類の露光時間で露光された時の前記複数種類の露光時間に対応する画素信号を読み出す画素信号読出ステップと、
前記画素信号読出ステップで読み出した、前記複数種類の露光時間に対応する画素信号のデータである画素データを前記画素毎に合成する画素データ合成ステップと、
前記画素データ合成ステップで合成後の画素データに、前記複数種類の露光時間における所定の露光時間に対応する前記合成前の画素データを復元する際に用いる復元情報を付与する復元情報付与ステップと、を含むことを特徴とする。
これにより、形態１の撮像装置と同等の作用及び効果が得られる。
【００４７】
〔形態２０〕 また、上記目的を達成するために、形態２０の画像処理装置は、
複数種類の露光時間で被写体を撮像して得られる、各露光時間にそれぞれ対応した画素信号から構成される画素データを画素毎に合成する画素データ合成手段と、
前記画素データ合成手段で合成後の画素データに、前記複数種類の露光時間における所定の露光時間に対応する合成前の画素データを復元する際に用いる復元情報を付与する復元情報付与手段と、を備えることを特徴とする。
これにより、形態１の撮像装置と同等の作用及び効果が得られる。
【００４８】
〔形態２１〕 また、上記目的を達成するために、形態２１の画像処理プログラムは、
複数種類の露光時間で被写体を撮像して得られる、各露光時間にそれぞれ対応した画素信号から構成される画素データを画素毎に合成する画素データ合成ステップと、
前記画素データ合成ステップで合成後の画素データに、前記複数種類の露光時間における所定の露光時間に対応する合成前の画素データを復元する際に用いる復元情報を付与する復元情報付与ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態１に記載の撮像装置と同等の作用及び効果が得られる。
【００４９】
〔形態２２〕 また、上記目的を達成するために、形態２２の画像処理方法は、
複数種類の露光時間で被写体を撮像して得られる、各露光時間にそれぞれ対応した画素信号から構成される画素データを画素毎に合成する画素データ合成ステップと、
前記画素データ合成ステップで合成後の画素データに、前記複数種類の露光時間における所定の露光時間に対応する合成前の画素データを復元する際に用いる復元情報を付与する復元情報付与ステップと、を含むことを特徴とする。
これにより、形態１に記載の撮像装置と同等の作用及び効果が得られる。
【発明を実施するための最良の形態】
【００５０】
〔第１の実施の形態〕
以下、本発明の第１の実施の形態を図面に基づき説明する。図１〜図７は、本発明に係る撮像装置、撮像システム、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第１の実施の形態を示す図である。
まず、本発明に係る撮像システムの構成を図１に基づき説明する。図１は、本発明に係る撮像システム１００の構成を示すブロック図である。
【００５１】
撮像システム１００は、図１に示すように、３種類の露光時間Ｔ１〜Ｔ３（Ｔ１＜Ｔ２＜Ｔ３）で被写体を撮像する撮像部１０と、撮像部１０から出力される露光時間Ｔ１〜Ｔ３にそれぞれ対応する画素信号の出力先を露光時間の種類毎に切り替えるスイッチ（ＳＷ）１１と、露光時間Ｔ１に対応する画素信号のデータ（以下、第１画素データと称す）を記憶する第１メモリ１２と、露光時間Ｔ２に対応する画素信号のデータ（以下、第２画素データと称す）を記憶する第２メモリ１３と、露光時間Ｔ３に対応する画素信号のデータ（以下、第３画素データと称す）を記憶する第３メモリ１４とを含んで構成される。
【００５２】
撮像部１０は、ＣＣＤ及び受光素子（フォトトランジスタ）を含んで構成されるＣＣＤイメージセンサを備え、レンズを介して被写体からの光を各画素に集光すると共に、電子シャッタ機能により露光時間を制御して、露光時間Ｔ１、Ｔ２、Ｔ３で各画素の受光素子を露光する。そして、露光時間Ｔ１、Ｔ２、Ｔ３でそれぞれ露光された各画素からこれら各露光時間に対応する画素信号（アナログデータ）を読み出し、該読み出したアナログの画素信号を、不図示のＡＦＥ(Analog Front End)においてデジタルの画素信号（画素データ）に変換してからＳＷ１１に出力する。このとき、撮像部１０からは、出力する画素データが露光時間Ｔ１、Ｔ２、Ｔ３のいずれに対応するものなのかを識別する信号も出力する。
【００５３】
ＳＷ１１は、撮像部１０から画素データが入力されると、これと対応して入力された識別信号に基づきスイッチを切り替え、第１〜第３メモリ１２〜１４のうち識別信号が示す露光時間に対応するメモリに、入力された画素データを出力する。
第１〜第３メモリ１２〜１４は、フレームメモリ及びメモリコントローラから構成され、それぞれ自己に対応する露光時間で撮像された１フレーム分の画素データを記憶する。このとき、メモリコントローラによって、不図示のタイミング制御部からのピクセルクロック、垂直同期信号及び水平同期信号に基づき、各画素データの２次元の格納アドレスを生成し、２次元のメモリ空間上のデータとして管理する。
【００５４】
撮像システム１００は、更に、露光時間Ｔ１〜Ｔ３に対応する画素データを合成する画素データ合成部１５と、復元対象の画像を選択する復元対象画像選択部１６と、画素データ合成部１５で合成後の画素データ（以下、合成後画素データと称す）に、復元対象の画素データを復元するための復元情報を付与する復元情報付与部１７と、復元情報の付与された合成後画素データ（以下、復元情報付与合成後画素データと称す）を保存する画像保存部１８と、復元情報付与合成後画素データに基づき画像を表示する表示部１９と、復元情報付与合成後画素データに付与された復元情報に基づき復元対象の画素データを復元する画素データ復元部２０とを含んで構成される。
【００５５】
画素データ合成部１５は、まず、露光時間Ｔ１〜Ｔ３に対応する画素データをＴ３に合わせて正規化し、次に、該正規化後のＴ１〜Ｔ３の画素データを合成して合成後画素データを生成する。合成後画素データは、露光時間の異なる３つの画素データを合成して生成されるため、各画素の合成後画素データにより構成される画像は、ダイナミックレンジの広い画像（ＨＤＲ画像）となる。
【００５６】
また、画素データ合成部１５は、例えば、外部機器等において、表示部の表示能力が合成後画素データ（ＨＤＲ画素データ）のダイナミックレンジに対応していないときのために、合成後画素データに対して、ガンマ補正又はＬＵＴ（Look-Up Table）による補正を行い、ハイライト部を圧縮することが可能である。
復元対象画像選択部１６は、図２に示すように、ヒストグラム生成部１６ａと、比較部１６ｂと、画素データ選択部１６ｃとを含んで構成される。
【００５７】
ここで、図２は、復元対象画像選択部１６の詳細な構成を示すブロック図である。
ヒストグラム生成部１６ａは、第１〜第３メモリから露光時間Ｔ１〜Ｔ３にそれぞれ対応する第１〜第３画素データを読み出し、該読み出した第１〜第３画素データに基づき、露光時間毎に、画素値（輝度値）と画素数との関係を示すヒストグラムを生成する。該生成された、露光時間Ｔ１〜Ｔ３の画像にそれぞれ対応するヒストグラムは、比較部１６ｂに出力される。
【００５８】
比較部１６ｂは、理想的な分布形状を有するヒストグラム（以下、理想ヒストグラムと称す）を有し、該理想ヒストグラムと、露光時間Ｔ１〜Ｔ３の画像にそれぞれ対応する第１〜第３ヒストグラムとを比較する。具体的に、理想ヒストグラムと第１〜第３ヒストグラムとで、各輝度レベルあるいは所定範囲の輝度レベルに対する画素数を比較し、両者が最も一致する露光時間の情報を比較結果として、画素データ選択部１６ｃに出力する。
【００５９】
画素データ選択部１６ｃは、比較部１６ｂから露光時間の情報が入力されると、第１〜第３メモリ１２〜１４のうち、露光時間の情報に対応するメモリから画素データを読み出し、該読み出した画素データを復元対象の画素データ（以下、復元対象画素データと称す）として、復元情報付与部１７に出力する。
復元情報付与部１７は、復元情報生成部１７ａと、復元情報埋込部１７ｂとを含んで構成される。
【００６０】
ここで、図３は、復元情報付与部１７の詳細な構成を示すブロック図である。
復元情報生成部１７ａは、復元対象画像選択部１６から入力された復元対象画素データに基づき、該復元対象画素データを復元するための復元情報を生成する。
本実施の形態においては、具体的に、画素データが単色のデータであれば、復元対象画素データ（Ｎビット）における上位ＮＣビット（ＮＣ＜Ｎ）を抽出する。また、画素データがＲ、Ｇ、Ｂなどの各色に対応したデータであれば、各色に対応した画素データ（Ｎビット）の上位ＮＣビットを抽出する。復元情報生成部１７ａは、これら抽出した上位ＮＣビットのデータを復元情報として、復元情報埋込部１７ｂに出力する。
【００６１】
復元情報埋込部１７ｂは、復元情報生成部１７ａから入力された復元情報を、画素データ合成部１５から入力された合成後画素データに埋め込む。
具体的に、合成後画素データの下位ＮＣビットのデータを、復元情報のＮＣビットのデータに入れ替える。これにより、復元情報の付与された復元情報付与合成後画素データが生成される。該生成された復元情報付与合成後画素データは、画像保存部１８及び表示部１９にそれぞれ出力される。
【００６２】
画像保存部１８は、フラッシュメモリやハードディスク等の記憶媒体及びそのドライブ装置を有し、復元情報付与部で復元情報の付与された復元情報付与合成後画素データを、所定のファイル形式で記憶媒体に保存する。
表示部１９は、ＨＤＲディスプレイ（例えば、コントラスト比が「４００００：１」など）から構成されており、復元情報付与部１７から入力された復元情報付与合成後画像データ（以下、復元情報付与ＨＤＲ画像データと称す）、又は画像保存部１８によって保存された復元情報付与ＨＤＲ画像データに基づき、被写体の画像を表示する。また、ＨＤＲディスプレイにより、復元情報付与ＨＤＲ画像データの画像をレンジ圧縮せずに表示することができる。
【００６３】
画素データ復元部２０は、復元指示に応じて、復元対象の復元情報付与合成後画素データを画像保存部１８を介して記憶媒体から読み出し、該読み出した復元情報付与合成後画素データに含まれる復元情報に基づき、復元対象の画素データを復元する。
本実施の形態では、復元対象画素データの上位ＮＣビットが復元情報として付与されているので、該ＮＣビットを、Ｎビットのデータに戻す（下位（Ｎ−ＮＣ）ビットを全て０）にしたデータに変換することで、復元対象画素データを復元する。
【００６４】
なお、撮像システム１００の上記各構成部の機能は、ハードウェアのみ、ソフトウェアのみ、ハードウェアとソフトウェアとの組み合わせのいずれかで実現される。従って、撮像システム１００は、ソフトウェアを用いて機能を実現する構成部がある場合に、図示していないが、ソフトウェアを実行するためのプロセッサ、ソフトウェアを記憶するためのＲＯＭ等の記憶媒体、ソフトウェアの実行に用いるＲＡＭ等の記憶媒体、各構成部とのデータの授受を行うためのバスなどを備える。
【００６５】
また、上記各構成部は、１つの装置内に全てが含まれる構成（この場合は、撮像装置＝撮像システムとなる）としても良いし、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７を１つの装置内で構成（この場合は、撮像装置に対応する）し、画像保存部１８、表示部１９及び画素データ復元部２０は１つ又は複数の装置で構成しても良い。後者の場合は、撮像装置と、画像保存部１８、表示部１９及び画素データ復元部２０とは、有線又は無線で接続する。
【００６６】
次に、図４〜図７に基づき、本実施の形態の動作を説明する。
ここで、図４は、直線合成した合成後画素データと、ガンマ補正によってハイライト部を圧縮した合成後画素データとの関係を示す図である。また、図５（ａ）〜（ｄ）は、理想形のヒストグラムと、露光時間Ｔ１〜Ｔ３に対応する画像のヒストグラムとの一例を示す図である。また、図６は、復元情報の生成処理及び復元情報の埋込処理の概念の一例を示す図である。また、図７（ａ）〜（ｆ）は、画素データ合成処理、復元対象画像選択処理、復元情報の埋込処理、復元対象画像の復元処理を含む一連の処理の流れを示す図である。
【００６７】
撮像システム１００は、まず、電子シャッタ機能によりシャッタ速度（露光時間）を制御して、露光時間Ｔ１（１５Ｈ）、Ｔ２（１００Ｈ）、Ｔ３（５００Ｈ）の順で、撮像部１０の各画素を露光し、各露光時間における露光量に応じた画素信号を読み出す。ここで、Ｈは、１水平期間の時間（ｓ）を表す。従って、例えば１５Ｈであれば、露光時間は、１５×Ｈ（ｓ）となる。
【００６８】
読み出した画素信号（アナログデータ）は、不図示のラインメモリに一旦蓄えられた後、不図示のＡＦＥを介してデジタルの画素データへと変換され、露光時間Ｔ１〜Ｔ３を識別する識別信号と共にＳＷ１１へと出力される。ＳＷ１１は、画素データ及び識別信号が入力されると、第１〜第３メモリ１２〜１４のうち、識別信号の示す露光時間に対応したメモリへとスイッチを切り替え、該メモリに向けて画素データを出力する。ここで、画素データは、８ビットの階調値（輝度値）を有するデータであるとする。
【００６９】
一方、第１〜第３メモリ１２〜１４は、画素データが入力されると、メモリコントローラによって、不図示のタイミング制御部から入力される垂直同期信号、水平同期信号、ピクセルクロックに基づき、入力された画素データに対する２次元のアドレス（ｘ，ｙ）を生成すると共に、該アドレスに対応する記憶領域に画素データを記憶する。なお、第１〜第３メモリ１２〜１４において、同一画素のアドレス値を共通とする。
【００７０】
ここでは、露光時間Ｔ１〜Ｔ３において、図７（ａ）〜（ｃ）に示すような画像に対応した第１〜第３画素データがそれぞれ得られたとする。
このようにして、第１〜第３メモリ１２〜１４に、１フレーム分の露光時間Ｔ１〜Ｔ３に対応する画素データが記憶されると、画素データ合成部１５は、第１〜第３メモリ１２〜１４から、画素毎に、露光時間Ｔ１〜Ｔ３に対応する第１〜第３画素データをそれぞれ読み出す。一方、復元対象画像選択部１６は、第１〜第３メモリ１２〜１４から、画像毎に、第１〜第３画素データを読み出す。
画素データ合成部１５は、読み出した各画素に対する第１〜第３画素データを合成する。
合成の方法としては、第１〜第３画素データを直線合成して、その後、必要に応じて、ガンマ補正又はＬＵＴによる補正を行い、ハイライト部を圧縮する。
【００７１】
具体的に、下式（１）に従って、露光時間Ｔ１〜Ｔ３に対応する第１〜第３画素データを直線合成する。
IMG_HDR_Linear＝（IMG_T1×T3/T1＋IMG_T2×T3/T2＋IMG_T3×T3/T3）/（255×T3/T1＋255×T3/T2＋255×T3/T3） ・・・（１）
上式（１）において、IMG_HDR_Linearは合成後画素データの画素値、IMG_T1〜IMG_T3は第１〜第３画素データの画素値である。
上式（１）に示すように、第１〜第３画素データを露光時間Ｔ３に合わせて正規化して、その総和を求め、更に、この総和を、ハイライトの輝度レベルを第１〜第３画素データと同様に正規化した総和で除算することによって、合成後画素データを得る。
【００７２】
更に、ハイライト部を圧縮する場合は、下式（２）に従って、図４に示す入出力関係を有するガンマ値によってガンマ補正を行い、合成後画素データのハイライト部を圧縮する。
IMG_HDR_Gamma＝２５５×IMG_HDR_Linear0.3 ・・・（２）
ここでは、ガンマ補正によるハイライト部の圧縮を行っているが、これに限らず、ＬＵＴを用いた補正を行うことも可能である。ＬＵＴを用いることによって、より確実にハイライト部の圧縮を行うことができる。
【００７３】
なお、上記ハイライト部の圧縮／非圧縮に関わらず合成後の画素データを合成後画素データと称す。また、上式（１）は、ガンマ補正によるハイライト部の圧縮を前提とした式となっているので、ガンマ補正を行わない場合でも、上式（１）で算出した合成後の画素値に対して「２５５」を乗算する必要がある。
このようにして、画素毎に合成後画素データが生成されると、該生成された合成後画素データは復元情報付与部１７に出力される。
【００７４】
なお、この時点では、上記合成後画素データから、図７（ｄ）に示すような合成画像が得られる。
一方、復元対象画像選択部１６は、各露光時間に対応した画素データ群に基づき、画像毎に、各輝度値（輝度レベル）に対応する画素数を計数し、輝度レベルと画素数との関係を示す輝度ヒストグラムを生成する。
【００７５】
ここでは、露光時間Ｔ１〜Ｔ３の各画像に対して、図５（ｂ）〜（ｄ）に示す第１〜第３ヒストグラムが生成されたとする。
これら生成された第１〜第３ヒストグラムの情報は、比較部１６ｂに出力される。
比較部１６ｂは、ヒストグラム生成部１６ａから第１〜第３ヒストグラムの情報が入力されると、該第１〜第３ヒストグラムと、図５（ａ）に示す理想ヒストグラムとを比較する。
【００７６】
図５（ａ）に示すように、理想ヒストグラムは、「０〜２５５」の輝度レベルの範囲に対して、輝度値「０」、「２５５」の画素数を「０」とし、輝度値１２７の画素数を最大数として、これら「０」、「１２７」、「２５５」を各頂点として結んだ二等辺三角形を形成している。
一方、図５（ｂ）に示すように、露光時間Ｔ１に対応する第１ヒストグラムは、輝度レベルの比較的低い範囲（輝度値８５以下の範囲）の画素数が多くなっている。また、図５（ｃ）に示すように、露光時間Ｔ２に対応する第２ヒストグラムは、中間範囲（輝度値８６〜１６９の範囲）の輝度レベルの画素数が多くなっている。また、図５（ｄ）に示すように、露光時間Ｔ３に対応する第３ヒストグラムは、輝度レベルの比較的高い範囲（輝度値１７０以上の範囲）の画素数が多くなっている。
【００７７】
以上より、中間範囲の画素数が最も多い露光時間Ｔ２に対応する第２ヒストグラムが、理想ヒストグラムと形状が一番似ていると判断できるので、比較部１６ｂは、露光時間Ｔ２の情報を、画素データ選択部１６ｃに出力する。
画素データ選択部１６ｃは、露光時間Ｔ２の情報が入力されると、露光時間Ｔ２に対応する第２メモリ１３に対して、画素データのリードコマンドを出力する。
【００７８】
第２メモリ１３は、画素データ選択部１６ｃからリードコマンドを受け取ると、メモリコントローラによってフレームメモリの先頭アドレスから順次第２画素データを読みだして、該読み出した第２画素データを画素データ選択部１６ｃに転送する。
画素データ選択部１６ｃは、第２メモリ１３から転送されてきた第２画素データを、復元対象画素データとして、復元情報付与部１７に出力する。
【００７９】
復元情報付与部１７は、復元対象画像選択部１６から復元対象画素データ（ここでは、第２画素データ）が入力され、画素データ合成部１５から合成後画素データが入力されると、まず、復元情報生成部１７ａにおいて、復元対象画素データの上位ＮＣビットのデータを抽出する。
ここでは、画素データがモノクロデータであるとして、図６に示すように、合成後画素データをＰ「１０１０１０１０（２進数）」、復元対象画素データをＳ「１０１０１０１０（２進数）」とする。
【００８０】
そして、図６に示すように、復元対象画素データＳ「１０１０１０１０」の上位３ビット「１０１」を抽出する。
具体的に、復元対象画素データＳの上位３ビットを右（下位側）に５ビットシフトすると共に、シフト後の上位５ビットを全て「０」にしたデータ「０００００１０１」を生成する。
【００８１】
そして、上記生成した「０００００１０１」を復元情報として、復元情報埋込部１７ｂに出力する。
復元情報埋込部１７ｂは、復元情報生成部１７ａから復元情報「０００００１０１」が入力されると、合成後画素データＰ「１０１０１０１０」の上位５ビット「１０１０１」を抽出する。
【００８２】
具体的に、内部論理回路によって、合成後画素データＰ「１０１０１０１０」と「１１１１１０００」との論理積を演算し、下位３ビットを「０」とした「１０１０１０００」を得る。
そして、合成後画素データＰの上位５ビットが抽出されると、復元情報埋込部１７ｂは、内部論理回路によって、復元情報「０００００１０１」と、「１０１０１０００」との論理和を演算し、図６に示すように、復元対象画素データＳの上位３ビット「１０１」を、合成後画素データＰの下位３ビットに埋め込む。これにより、合成後画素データに対して、復元情報が付与された、復元情報付与合成後画素データ「１０１０１１０１」が生成される。
【００８３】
なお、第１〜第３画素データがカラーデータである場合は、各色の色信号に対応した画素データに対して、上記モノクロデータと同様の処理を行う。具体的に、第１〜第３画素データが、例えば、Ｒ、Ｇ、Ｂの三原色に対応する３種類の画素データを含んでいるときに、上記モノクロデータのときと同様に、Ｒ、Ｇ、Ｂ各色の画素データの上位３ビットをそれぞれ抽出し、該抽出した３ビットのデータを、合成後画素データにおける各色の画素データの下位３ビットに、同じ色同士でそれぞれ埋め込む。
【００８４】
上記一連の処理を、被写体の撮像領域に対応する全画素に対して行うことで、広ダイナミックレンジで且つ復元情報が付与された画像データ（復元情報付与ＨＤＲ画像データ）が生成される。該生成された復元情報付与ＨＤＲ画像データは、表示部１９に出力されると共に、画像保存部１８に出力される。
画像保存部１８は、復元情報付与部１７から入力された復元情報付与ＨＤＲ画像データを、所定のファイル形式で記憶媒体に保存する。
【００８５】
表示部１９は、復元情報付与部１７から入力された復元情報付与ＨＤＲ画像データに基づき、被写体の広ダイナミックレンジの画像をリアルタイムに表示する。一方、リアルタイムに映像を表示しない場合は、表示部１９は、ユーザからの指示に応じて、画像保存部１８によって保存された復元情報付与ＨＤＲ画像データを記憶媒体から読み出し、該読み出した復元情報付与ＨＤＲ画像データに基づき、図７（ｅ）に示すように、被写体の広ダイナミックレンジの画像を表示する。
【００８６】
復元情報が付与された合成後画素データにおいては、下位３ビットのデータの一部又は全部が付与前の合成後画素データと異なる場合があるが、上位５ビットが付与前のデータと同じであるため、付与後の画質は付与前の画質と殆ど遜色がない。
一方、被写体の広ダイナミックレンジ画像において、例えば、重要な情報が識別できない状態となっており、合成前の画像を参照したいときなどに、画素データ復元部２０において、復元対象（合成前）の画像を復元することができる。
【００８７】
復元対象の画像を復元する場合は、画素データ復元部２０に対して、復元したい復元情報付与ＨＤＲ画像データの情報を含む復元指示を与える。
画素データ復元部２０は、復元指示が入力されると、復元対象の復元情報付与ＨＤＲ画像データを画像保存部１８を介して記憶媒体から読み出す。
そして、読み出した復元情報付与ＨＤＲ画像データに基づき、復元情報付与画素データ毎（画素毎）に、復元対象画素データの復元を行う。
【００８８】
本実施の形態においては、復元情報付与画素データ（８ビット）における下位３ビットが復元情報となるので、下位３ビットを左（上位側）に５ビットシフトし、シフト後の下位５ビットを「０」として（そのままでも良い）、復元対象画素データを復元する。例えば、復元情報付与画素データが「１０１０１１０１（２進数）」である場合に、下位３ビット「１０１」を左に５ビットシフトし、シフト後の下位５ビットを全て「０」にした「１０１０００００」が復元された復元対象画素データ（以下、復元データと称す）となる。
【００８９】
このようにして復元されたデータから、図７（ｆ）に示すように、復元対象の画像である露光時間Ｔ２に対応した画像を得ることができる。
なお、復元データは、元のデータ「１０１０１０１０」に対して、下位５ビットの一部又は全部のデータが異なる場合があるが、少なくとも上位３ビットは元データと同じ値となるので、復元データから構成される画像データの画像は、元の画像データの画像と殆ど遜色のない画質となる。
【００９０】
以上、本実施の形態の撮像システム１００は、ＣＣＤイメージセンサの各画素を、３種類の露光時間Ｔ１〜Ｔ３で露光して得られた画素データを合成して広ダイナミックレンジの画像に対応した合成後画素データを生成することができる。
また、露光時間Ｔ１〜Ｔ３にそれぞれ対応する第１〜第３の画素データから、露光時間毎に、輝度のヒストグラム（第１〜第３ヒストグラム）を生成し、該生成した第１〜第３ヒストグラムと、理想ヒストグラムとを比較して、該比較結果から、最も理想ヒストグラムに近いヒストグラムに対応する露光時間の画素データを対象画素データとして選択することができる。
【００９１】
また、上記選択した復元対象画素データの上位ＮＣビットのデータから復元情報を生成し、合成後画素データの下位ＮＣビットを、復元情報に入れ替えることで、合成後画素データに復元情報を付与することができる。
また、復元情報の付与された画素データから、復元対象の画素データを復元することができる。
【００９２】
以上より、露光時間Ｔ１〜Ｔ３のうち、画質の最も良い露光時間の画素データを復元対象画素データとして選択し、この復元対象画素データを復元するための復元情報を合成画素データに付与することができる。
また、復元対象画素データを圧縮したデータを復元情報として、これを合成画素データの下位ビットと入れ替えることで付与するようにしたので、合成後画素データの形式を変更せずに復元情報を付与することができる。これにより、復元情報として付与するデータを小さくできると共に、復元情報付与合成後画素データの形式を変換することなく汎用のアプリケーションなどで使用できる。
【００９３】
また、復元情報付与合成画素データから、復元対象の画素データを復元することができるので、合成画像において、重要な被写体の画像がボケていたりした場合に、復元対象画素データを復元し、その復元データから構成される画像を参照したり、該画像の画像データを用いて識別処理などを行ったりすることができる。
上記第１の実施の形態において、撮像部１０のＣＣＤイメージセンサは、形態１又は１９に記載の光電変換部に対応し、撮像部１０における各画素から画素信号を読み出す処理は、形態１に記載の画素信号読出手段又は形態１９に記載の画素信号読出ステップに対応し、画素データ合成部１５は、形態１又は２０に記載の画素データ合成手段に対応し、復元対象画像選択部１６は、形態１２又は１３に記載の復元画像選択手段に対応し、復元情報付与部１７は、形態１、４、５、１２及び２０のいずれか１に記載の復元情報付与手段又は形態１９、２１及び２２のいずれか１に記載の復元情報付与ステップに対応し、画素データ復元部２０は、形態１５に記載の画素データ復元手段に対応する。
【００９４】
また、上記第１の実施の形態において、撮像システム１００における、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態１、２、３、４、５、１２及び１３のいずれか１に記載の撮像装置に対応し、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態２０に記載の画像処理装置に対応する。
〔第１の実施の形態の変形例１〕
次に、図８〜図１０に基づき、本発明に係る撮像装置、撮像システム、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第１の実施の形態の変形例１を説明する。
【００９５】
上記第１の実施の形態において、復元対象画像選択部１６で、各露光時間に対応した画像のヒストグラムに基づき復元対象の画素データを選択しているのに対して、本変形例１は、各露光時間に対応する周波数成分に基づき復元対象の画素データを選択している点が異なる。
更に、上記第１の実施の形態において、復元情報付与部１７において、復元対象の画素データがカラー画像データであるときに、各色に対応する画素データの上位３ビットを抽出して、該上位３ビットのデータを、各色に対応する合成後画素データの下位３ビットにそれぞれ埋め込むことで合成後画素データに対して復元情報を付与しているのに対して、本変形例１は、複数色に対応する画素データのうち、いずれか一色に対応する画素データの情報を複数色の色数分に分割し、該分割したデータを復元情報として、合成後画素データの各色の画素データの下位ビットに埋め込むことで合成後画素データに対して復元情報を付与する点が異なる。
【００９６】
また、画素データ復元部２０における復元対象の画素データの復元方法が、上記相違点に伴い上記第１の実施の形態と異なる。
具体的に、本変形例１の撮像システム１００は、復元対象画像選択部１６が、復元対象画像選択部１６’に変更され、更に、復元情報付与部１７及び画素データ復元部２０の処理内容が異なっており、それ以外の構成部は、上記第１の実施の形態の撮像システム１００と同様となる。
【００９７】
以下、上記第１の実施の形態と同様の構成部には同じ符号を付して説明を適宜省略し、上記第１の実施の形態と異なる部分を詳細に説明する。
まず、図８に基づき、復元対象画像選択部１６’の詳細な構成を説明する。
ここで、図８は、復元対象画像選択部１６’の詳細な構成を示すブロック図である。
復元対象画像選択部１６’は、図８に示すように、周波数成分抽出部１６ｄと、比較部１６ｅと、画素データ選択部１６ｃとを含んで構成される。
【００９８】
公知のエッジ抽出フィルタを用いたエッジ抽出などによって、露光時間Ｔ１〜Ｔ３の画素信号の周波数成分を抽出（算出）する。
周波数成分抽出部１６ｄは、公知のラプラシアンフィルタ（ハイパスフィルタ）を用いて、エッジ抽出対象の画素とその周辺画素の画素データに対してフィルタ処理を行い、対象画素データに対するエッジ成分（高周波成分）を抽出する。
【００９９】
比較部１６ｅは、周波数成分抽出部１６ｄで抽出された露光時間Ｔ１〜Ｔ３の画素データにそれぞれ対応したエッジ成分に基づき、露光時間Ｔ１〜Ｔ３に対応する画像のうち、エッジ成分量の最も多い画像の露光時間の情報を、比較結果として画素データ選択部１６ｃに出力する。
次に、本変形例１における復元情報付与部１７について説明する。
【０１００】
なお、本実施の形態においては、各画素データが、Ｒ、Ｇ、Ｂの三原色の各色信号に対応する、画素データＲ（Ｎビット）、画素データＧ（Ｎビット）、画素データＢ（Ｎビット）の３種類の画素データをそれぞれ含むものとする。
本変形例１における復元情報生成部１７ａは、復元対象画像選択部１６’から復元対象画素データＲｓＧｓＢｓが入力されると、本実施の形態においては、まず、復元対象画素データＲｓＧｓＢｓを構成するＲｓ、Ｇｓ、Ｂｓの各色に対応する画素データＲｓ、Ｇｓ、Ｂｓの中から画素データＧｓを選択し、該画素データＧｓ（Ｎビット）を色数（３）で分割する。
【０１０１】
本実施の形態においては、画素データＧｓ（Ｎビット）が均等に３分割できないビット数のデータである場合は、画素データＧｓを倍にするなどして、均等に３分割できるビット数のデータに変換する。例えば、画素データＧｓが８ビットである場合は、２倍にして９ビットのデータに変換し、該変換後の画素データＧｓを３分割する。
このようにして３分割して得られた３種類の分割データＧｓＡ〜ＧｓＣ（Ｎ／３ビット）は復元情報として、復元情報埋込部１７ｂに出力される。例えば、画素データＧｓが「１０１０１０１０１（２進数）」であった場合に、上位ビット側から順に、分割データＧｓＡは「１０１」、分割データＧｓＢは「０１０」、分割データＧｓＣは「１０１」となる。
【０１０２】
本変形例１における復元情報埋込部１７ｂは、復元情報生成部１７ａから分割データＧｓＡ〜ＧｓＣが入力されると、該分割データＧｓＡ〜ＧｓＣを、合成後画素データＲｐＧｐＢｐにおける各色に対応する画素データＲｐ、Ｇｐ、Ｂｐの下位「Ｎ／３」ビットに埋め込むことで、合成後画素データに復元情報を付与する。
具体的に、画素データＲｐの下位「Ｎ／３」ビットに分割データＧｓＡを埋め込み、画素データＧｐの下位「Ｎ／３」ビットに分割データＧｓＢを埋め込み、画素データＢｐの下位「Ｎ／３」ビットに分割データＧｓＣを埋め込む。
【０１０３】
このようにして、分割データＧｓＡ〜ＧｓＣが埋め込まれた画素データＲｐ、Ｇｐ、Ｂｐは、復元情報付与合成後画素データとして、画像保存部１８及び表示部１９にそれぞれ出力される。
次に、本変形例１における画素データ復元部２０について説明する。
本変形例１における画素データ復元部２０は、画像保存部１８から復元情報付与合成後画素データを取得すると、該復元情報付与合成後画素データに含まれる各色の画素データＲｐ、Ｇｐ、Ｂｐに含まれる復元情報に基づき、復元対象の画素データＲｓ、Ｇｓ、Ｂｓを復元する。
【０１０４】
具体的には、復元情報付与合成後画素データＲｐ、Ｇｐ、Ｂｐの下位「Ｎ／３」ビットに復元情報ＧｓＡ、ＧｓＢ、ＧｓＣがそれぞれ埋め込まれているので、まず、Ｒｐ、Ｇｐ、Ｂｐから、復元情報ＧｓＡ、ＧｓＢ、ＧｓＣの各ビット列を抽出し、更に、抽出したビット列を、復元対象の画素データＧｓの対応するビット位置へとシフトしたデータを生成する。これらシフトしたデータの論理和を演算することで、復元対象の画素データＧｓを求めることができる。
【０１０５】
画素データＧｓが復元されると、該画素データＧｓと画素データＧｐとの比を、画素データＲｐ、Ｂｐにそれぞれ乗じることで、復元対象の画素データＲｓ（「Ｒｓ＝Ｒｐ×Ｇｓ／Ｇｐ」）、画素データＢｓ（「Ｂｓ＝Ｂｐ×Ｇｓ／Ｇｐ」）を求めることができる。
次に、図９〜図１０に基づき、本実施の形態の動作を説明する。
ここで、図９（ａ）は、ハイパスフィルタの一例を示す図であり、（ｂ）は処理対象画素とその周辺８画素の画素値の一例を示す図である。また、図１０は、図９（ａ）のハイパスフィルタでフィルタ処理後の各露光時間の画像及び合成後の画像の一例を示す図である。
【０１０６】
なお、画素データ合成部１５までの動作は、上記第１の実施の形態と同様となるので説明を省略する。
以下、復元対象画像選択部１６’の動作から説明する。
復元対象画像選択部１６は、周波数成分抽出部１６ｄにおいて、露光時間Ｔ１〜Ｔ３にそれぞれ対応した画素データ群に基づき、画像毎に、各画素データに対してラプラシアンフィルタ（ハイパスフィルタ）を用いたフィルタ処理を行い、各露光時間に対応する画像のエッジ成分量を抽出する。
【０１０７】
ここでは、まず、処理対象の画素データ（ｘ，ｙ）と、該画素データの画素の周辺８画素の画素データに対して、図９（ａ）に示すようなハイパスフィルタを用いてフィルタ処理し、各画素のエッジ成分（高周波成分）を抽出する。
例えば、処理対象画素とその周辺８画素の画素値が、図９（ｂ）に示すようになっている場合は、処理対象画素のエッジ成分は、図９（ａ）のハイパスフィルタを用いて、「６０×１＋６０×１＋６０×１＋６０×１＋６０×−９＋６０×１＋６０×１＋６０×１＋６０×１＝−６０」と抽出される。
【０１０８】
このようなエッジ成分の抽出処理を、露光時間Ｔ１〜Ｔ３にそれぞれ対応する画像の全画素に対して行い、更に、画像毎に抽出した各画素のエッジ成分の絶対値の総和を画像のエッジ成分量として算出する。ここで、露光時間Ｔ１、Ｔ２、Ｔ３に対応するエッジ成分量を、それぞれＥ１、Ｅ２、Ｅ３とする。該算出されたエッジ成分量Ｅ１〜Ｅ３は、比較部１６ｅに出力される。
【０１０９】
比較部１６ｅは、周波数成分抽出部１６ｄから、エッジ成分量Ｅ１〜Ｅ３が入力されると、該Ｅ１〜Ｅ３に基づき、復元対象として復元情報を付与する露光時間の画像を選択する。本実施の形態においては、エッジ成分量が多いほど画像の先鋭度が高いと定義し、エッジ成分量Ｅ１〜Ｅ３のそれぞれの値の大小を比較して、最も大きい値のエッジ成分量に対応する露光時間の画像を、復元対象の画像として選択し、該画像の露光時間の情報を、画素データ選択部１６ｃに出力する。
【０１１０】
ここでは、露光時間Ｔ１〜Ｔ３に対応するフィルタ処理後の画像が、図１０（ａ）〜（ｃ）に示すようになったとする。各画像の白色の部分が、エッジ成分となる。図１０（ａ）〜（ｃ）を見ると解るように、これらのうちでは、露光時間Ｔ３に対応する画像にエッジ成分が最も多く含まれている。つまり、露光時間Ｔ３に対応する画像には、より多くのオブジェクトが写っていることが期待されるので、露光時間Ｔ３の時間情報が画素データ選択部１６ｃに出力される。
【０１１１】
画素データ選択部１６ｃは、露光時間Ｔ３の情報が入力されると、露光時間Ｔ３に対応する第３メモリ１４に対して、画素データのリードコマンドを出力する。
第３メモリ１４は、画素データ選択部１６ｃからリードコマンドを受け取ると、メモリコントローラによってフレームメモリの先頭アドレスから順次第３画素データを読みだして、該読み出した第３画素データを画素データ選択部１６ｃに転送する。
【０１１２】
画素データ選択部１６ｃは、第３メモリ１４から転送されてきた第３画素データを、復元対象画素データとして、復元情報付与部１７に出力する。
復元情報付与部１７は、復元対象画像選択部１６から復元対象画素データ（ここでは、第３画素データ）が入力され、画素データ合成部１５から合成後画素データが入力されると、まず、復元情報生成部１７ａにおいて、第３画素データに含まれる画素データＲｓ、Ｇｓ、Ｂｓのうち、画素データＧｓを３分割する。ここでは、画素データＧｓが８ビットであるとして、これを２倍にして９ビットのデータに変換してから３分割する。３分割して得られた分割データＧｓＡ〜ＧｓＣは復元情報として、復元情報埋込部１７ｂに出力される。
【０１１３】
復元情報埋込部１７ｂは、画素データ合成部１５から合成後画素データが入力され、復元情報生成部１７ａから復元情報（ＧｓＡ〜ＧｓＣ）が入力されると、合成後画素データを構成する各色の画素データＲｐ、Ｇｐ、Ｂｐの下位３ビットに、分割データＧｓＡ、ＧｓＢ、ＧｓＣをそれぞれ埋め込む。例えば、画素データＲｐ、Ｇｐ、Ｂｐがいずれも「１０１０１０１０（２進数）」であり、ＧｓＡ、ＧｓＢ、ＧｓＣが、「１０１」、「０１０」、「１０１」である場合には、上記第１の実施の形態における復元情報埋込部１７ｂと同様に、画素データＲｐの下位３ビットにＧｓＡを、Ｇｐの下位３ビットにＧｓＢを、Ｂｐの下位３ビットにＧｓＣをそれぞれ埋め込み、各色の画素データが、Ｒｐ「１０１０１１０１」、Ｇｐ「１０１０１０１０」、Ｂｐ「１０１０１１０１」で構成される復元情報付与合成後画素データを生成する。
【０１１４】
上記一連の処理を、被写体の撮像領域に対応する全画素に対して行うことで、復元情報付与ＨＤＲ画像データが生成される。該生成された復元情報付与ＨＤＲ画像データは、画像保存部１８及び表示部１９にそれぞれ出力される。
一方、上記のような復元情報付与ＨＤＲ画像データから復元対象の画像を復元する場合の、画素データ復元部２０の動作を説明する。
【０１１５】
画素データ復元部２０は、復元指示が入力されると、復元対象の復元情報付与ＨＤＲ画像データを画像保存部１８を介して記憶媒体から読み出す。
そして、読み出した復元情報付与ＨＤＲ画像データに基づき、復元情報付与画素データ毎（画素毎）に、復元対象画素データの復元を行う。
本実施の形態においては、例えば、復元情報付与合成後画素データの各色の画素データＲｐ、Ｇｐ、Ｂｐが、それぞれ「１０１０１１０１（２進数）」、「１０１０１０１０（２進数）」、「１０１０１１０１（２進数）」である場合に、これらの下位３ビットが復元情報となるので、Ｒｐに付与されたＧｓの復元情報ＧｓＡは、Ｒｐ「１０１０１１０１」と「０００００１１１」との論理積を演算して「０００００１０１」を抽出し、次に、「０００００１０１」の下位３ビット「１０１」を左に５ビットシフトして、「１０１０００００」と求めることができる。
【０１１６】
また、Ｇｐに付与されたＧｓの復元情報ＧｓＢは、まず、Ｇｐ「１０１０１０１０」と「０００００１１１」との論理積を演算して「００００００１０」を抽出し、次に、「００００００１０」の下位３ビットを左に２ビットシフトして、「００００１０００」と求めることができる。
また、Ｂｐに付与されたＧｓの復元情報ＧｓＣは、まず、Ｂｐ「１０１０１１０１」と「０００００１１１」との論理積を演算して「０００００１０１」を抽出し、次に、「０００００１０１」の下位３ビットを右に１ビットシフトして、「００００００１０」と求めることができる。ここで、右に１ビットシフトして最下位ビットを削除するのは、分割データの作成時に画素データＧｓを乗算器などで２倍にして９ビットのデータとして扱っているからである。
【０１１７】
そして、このようにして求められたＧｓＡ、ＧｓＢ、ＧｓＣの論理和を演算することで、復元対象の画素データＧｓ「１０１０１０１０」を求めることができる。
画素データＧｓが求まると、更に、該画素データＧｓと画素データＧｐとの比「Ｇｓ／Ｇｐ」を、画素データＲｐ、画素データＢｐにそれぞれ乗じることで、復元対象の画素データＲｓ（「Ｒｓ＝Ｒｐ×Ｇｓ／Ｇｐ」）、画素データＢｓ（「Ｂｓ＝Ｂｐ×Ｇｓ／Ｇｐ」）を求める。
【０１１８】
以上、露光時間Ｔ１〜Ｔ３にそれぞれ対応する第１〜第３の画素データから、露光時間毎に、周波数成分量（エッジ成分量Ｅ１〜Ｅ３）を抽出し、該抽出したエッジ成分量の値の大小を比較して、最も値の大きいエッジ成分量に対応した露光時間の画素データを対象画素データとして選択することができる。
また、上記選択した復元対象画素データ（Ｎビット）の複数色の各色に対応する画素データのうちいずれか一色の画素データを色数Ｃで分割し、該分割して得られた分割データを（いずれもＮ／Ｃビット）を、合成後画素データの各色に対応する画素データの下位「Ｎ／Ｃ」ビットに埋め込むことで、合成後画素データに復元情報を付与することができる。
【０１１９】
また、復元情報の付与された画素データから、復元情報として付与した一色に対応する画素データと、合成後画素データの複数色に対応する画素データとを用いて、復元対象の各色の画素データを復元することができる。
以上より、露光時間Ｔ１〜Ｔ３のうち、先鋭度の最も大きい露光時間の画素データを復元対象画素データとして選択し、この復元対象画素データを復元するための復元情報を合成画素データに付与することができる。
【０１２０】
また、復元対象画素データの各色の画素データのうちいずれか一色の画素データを色数で分割したものを復元情報として、合成画素データの各色の画素データの下位ビットに分散して埋め込むようにしたので、合成後画素データの形式を変更せずに復元情報を付与することができる。これにより、復元情報として付与するデータを小さくできると共に、復元情報付与合成後画素データをそのまま汎用のアプリケーションなどで使用できる。
【０１２１】
また、復元情報付与合成画素データから、復元対象の画素データを復元することができるので、合成画像において、重要な被写体の画像がボケていたりした場合に、復元対象画素データを復元し、その復元データから構成される画像を参照したり、該画像の画像データを用いて識別処理などを行ったりすることができる。
上記変形例１において、復元対象画像選択部１６は、形態１２又は１４に記載の復元画像選択手段に対応し、復元情報付与部１７は、形態１、６、１２及び２０のいずれか１に記載の復元情報付与手段又は形態１９、２１及び２２のいずれか１に記載の復元情報付与ステップに対応し、画素データ復元部２０は、形態１５又は１６に記載の画素データ復元手段に対応する。
【０１２２】
また、上記第１の実施の形態において、撮像システム１００における、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態１、２、３、６、１２及び１４のいずれか１に記載の撮像装置に対応し、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態２０に記載の画像処理装置に対応する。
〔第１の実施の形態の変形例２〕
次に、本発明に係る撮像装置、撮像システム、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第１の実施の形態の変形例２を説明する。
【０１２３】
本変形例２は、Ｒ、Ｇ、Ｂの各色に対応する画素データを輝度データと色差データとに分割し、更に、輝度データを３分割して得られたデータを復元情報として、合成後画素データの各色の画素データの下位ビットに埋め込むことで合成後画素データに対して復元情報を付与する点が、上記第１の実施の形態及び上記変形例１と異なる。
また、画素データ復元部２０において、復元対象の画素データの復元方法が、上記相違点に伴い上記第１の実施の形態及び上記変形例１と異なる。
【０１２４】
具体的に、本変形例１の撮像システム１００は、復元情報付与部１７及び画素データ復元部２０の処理内容が異なる以外は、上記第１の実施の形態の撮像システム１００と同様となる。
以下、上記第１の実施の形態と同様の構成部には同じ符号を付して説明を適宜省略し、上記第１の実施の形態と異なる部分を詳細に説明する。
【０１２５】
まず、本変形例２における復元情報付与部１７について説明する。
なお、本実施の形態においては、各画素データが、Ｒ、Ｇ、Ｂの三原色の各色信号に対応する、画素データＲ（Ｎビット）、画素データＧ（Ｎビット）、画素データＢ（Ｎビット）の３種類の画素データをそれぞれ含むものとする。
本変形例２における復元情報生成部１７ａは、復元対象画像選択部１６から復元対象画素データＲｓＧｓＢｓが入力されると、復元対象画素データＲｓＧｓＢｓを構成するＲ、Ｇ、Ｂの各色に対応する画素データＲｓ、Ｇｓ、Ｂｓを、輝度データＹと、色差データＣｂ、Ｃｒとに分割し、輝度データＹを３分割する。
【０１２６】
ここでは、色差データの情報は復元情報として付与しないので、輝度データＹのみを、下式（４）に従って求める。
Ｙ＝０．３０×Ｒｓ＋０．５９×Ｇｓ＋０．１１×Ｂｓ ・・・（４）
本実施の形態においては、輝度データＹ（Ｎビット）が均等に３分割できないビット数のデータである場合は、輝度データを求める際の係数を倍にするなどして、均等に３分割できるビット数のデータに変換する。例えば、各画素データが８ビットである場合は、下式（５）に示すように、輝度データＹを求めるときの係数を２倍にして９ビットの輝度データを求め、該輝度データＹを３分割する。
Ｙ＝０．６０×Ｒｓ＋１．１７×Ｇｓ＋０．２３×Ｂｓ ・・・（５）
上記式（４）又は（５）に従って算出した輝度データＹを３分割して得られた３種類の分割データＹＡ〜ＹＣ（Ｎ／３ビット）は復元情報として、復元情報埋込部１７ｂに出力される。なお、輝度データＹの上位〜下位に向かって分割データＹＡ、ＹＢ、ＹＣとなる。
【０１２７】
本変形例２における復元情報埋込部１７ｂは、復元情報生成部１７ａから分割データＹＡ〜ＹＣが入力されると、該分割データＹＡ〜ＹＣを、合成後画素データＲｐＧｐＢｐを構成する各色の画素データＲｐ、Ｇｐ、Ｂｐの下位「Ｎ／３」ビットに埋め込むことで、合成後画素データに復元情報を付与する。
具体的に、画素データＲｐの下位「Ｎ／３」ビットに分割データＹＡを埋め込み、画素データＧｐの下位「Ｎ／３」ビットに分割データＹＢを埋め込み、画素データＢｐの下位「Ｎ／３」ビットに分割データＹＣを埋め込む。
【０１２８】
このようにして、分割データＹＡ〜ＹＣが埋め込まれた画素データＲｐ、Ｇｐ、Ｂｐは、復元情報付与合成後画素データとして、画像保存部１８及び表示部１９にそれぞれ出力される。
次に、本変形例２における画素データ復元部２０について説明する。
本変形例２における画素データ復元部２０は、画像保存部１８から復元情報付与合成後画素データを取得すると、該復元情報付与合成後画素データに含まれる各色の画素データＲｐ、Ｇｐ、Ｂｐに含まれる復元情報に基づき、復元対象の輝度データＹを復元する。また、本実施の形態においては、復元対象のカラー画像を、モノクロ画像として復元する。
【０１２９】
具体的には、復元情報付与合成後画素データＲｐ、Ｇｐ、Ｂｐの下位「Ｎ／３」ビットに復元情報ＹＡ、ＹＢ、ＹＣがそれぞれ埋め込まれているので、上記第１の実施の形態の変形例１と同様の方法で、輝度データＹを求めることができる。この輝度データＹが復元対象のモノクロ画像データとなる。
以上、復元対象画素データのＲ、Ｇ、Ｂの各色に対応する画素データ（Ｎビット）を、輝度データＹ及び色差データＣｂ、Ｃｒに分割し、輝度データＹを３分割し、該分割して得られた分割データＹＡ〜ＹＣ（いずれもＮ／Ｃビット）を、合成後画素データの各色に対応する画素データの下位「Ｎ／Ｃ」ビットに埋め込むことで、合成後画素データに復元情報を付与することができる。
【０１３０】
また、復元情報の付与された画素データから、復元情報として付与した輝度データを復元することで、復元対象のモノクロ画素データを復元することができる。
以上より、復元対象画素データの各色の画素データから求めた輝度データを３分割したものを復元情報として、合成画素データの各色の画素データの下位ビットに分散して埋め込むようにしたので、復元対象の画像の輝度情報を損失無く復元情報として付与できると共に、復元情報付与合成後画素データを、形式変換等せずにそのまま汎用のアプリケーションなどで使用できる。
【０１３１】
また、復元情報付与合成画素データから、復元対象の画素データを復元することができるので、合成画像において、重要な被写体の画像がボケていたりした場合に、復元対象画素データを復元し、その復元データから構成される画像を参照したり、該画像の画像データを用いて識別処理などを行ったりすることができる。
上記変形例２において、復元情報付与部１７は、形態１、７、１２及び２０のいずれか１に記載の復元情報付与手段又は形態１９、２１及び２２のいずれか１に記載の復元情報付与ステップに対応し、画素データ復元部２０は、形態１５又は１７に記載の画素データ復元手段に対応する。
【０１３２】
また、上記変形例２において、撮像システム１００における、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態１、２、３、７、１２及び１４のいずれか１に記載の撮像装置に対応し、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態２０に記載の画像処理装置に対応する。
【０１３３】
〔第２の実施の形態〕
以下、本発明の第２の実施の形態を図面に基づき説明する。図１１〜図１３は、本発明に係る撮像装置、撮像システム、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第２の実施の形態を示す図である。
【０１３４】
上記第１の実施の形態、上記変形例１及び上記変形例２においては、復元対象画素データの情報を圧縮又は分割したものを復元情報として、合成後画素データに付与しているのに対して、本実施の形態は、所定ビット列から構成される検出ビット列に対応付けて差分情報が登録された差分情報テーブルを有し、復元対象画素データを復元するための差分情報に対応する検出ビット列を復元情報として、合成後画素データに付与する点が異なる。
【０１３５】
具体的に、本実施の形態の撮像システム２００は、上記第１の実施の形態の撮像システム１００において、復元情報付与部１７が、本実施の形態の動作処理に対応した復元情報付与部２１に変更され、差分情報テーブル記憶部２２が追加され、更に、こられの変更及び追加に応じて画素データ復元部２０の処理内容が異なり、それ以外は、上記第１の実施の形態の撮像システム１００と同様となる。
【０１３６】
以下、上記第１の実施の形態と同様の構成部には同じ符号を付して説明を適宜省略し、上記第１の実施の形態と異なる部分を詳細に説明する。
まず、図１１に基づき、本実施の形態の撮像システム２００の構成を説明する。
ここで、図１１は、撮像システム２００の構成を示すブロック図である。
撮像システム２００は、図１１に示すように、撮像部１０と、スイッチ（ＳＷ）１１と、第１〜第３メモリ１２〜１４と、画素データ合成部１５と、復元対象画像選択部１６と、差分情報テーブルに基づき復元対象の画素データの復元情報を合成後画素データに付与する復元情報付与部２１と、差分情報テーブルを記憶する差分情報テーブル記憶部２２と、画像保存部１８と、表示部１９と、差分情報テーブルに基づき復元対象の画素データを復元する画素データ復元部２０と、を含んで構成される。
【０１３７】
復元情報付与部２１は、図１２に示すように、復元情報生成部２１ａと、復元情報埋込部２１ｂとを含んで構成される。
ここで、図１２は、復元情報付与部２１の詳細な構成を示すブロック図である。
復元情報生成部２１ａは、画素データ合成部１５から入力された合成後画素データと、復元対象画像選択部１６から入力された復元対象画素データと、差分情報テーブル記憶部２２に記憶された差分情報テーブルとに基づき、復元対象画素データを復元するための復元情報を生成する。
【０１３８】
本実施の形態においては、具体的に、画素データが単色のデータであれば、まず、復元対象画素データＳ（Ｎビット）と、合成後画素データＰ（Ｎビット）とに基づき差分情報を生成する。
具体的に、復元対象画素データＳと合成後画素データＰとの絶対的な差分量を差分情報とする場合は、「絶対差分量α＝Ｓ−Ｐ」を演算で求める。また、復元対象画素データＳと合成後画素データＰとの相対的な差分量を差分情報とする場合は、「相対差分量β＝Ｓ／Ｐ」を演算で求める。
【０１３９】
また、画素データがＲ、Ｇ、Ｂなどの各色に対応したデータであれば、復元対象画素データの各色に対応した画素データＲｓ、Ｇｓ、Ｂｓ（Ｎビット）と、合成後画素データの各色に対応した画素データＲｐ、Ｇｐ、Ｂｐ（Ｎビット）との色毎の差分情報を求める。
更に、復元情報生成部２１ａは、差分情報テーブルの各差分情報と、上記演算で求めた差分情報とを比較し、該差分情報と最も近い差分情報に対応付けられた検出ビット列（ＮＣビット（ＮＣ＜Ｎ））を取得する。そして、該取得した検出ビット列を復元情報として、復元情報埋込部２１ｂに出力する。
【０１４０】
復元情報埋込部２１ｂは、復元情報生成部２１ａから入力された復元情報を、画素データ合成部１５から入力された合成後画素データに埋め込む。
具体的に、復元情報埋込部２１ｂは、上記第１の実施の形態の復元情報埋込部１７ｂと同様に、合成後画素データの下位ＮＣビットのデータを、復元情報のＮＣビットのデータに入れ替える。これにより、復元情報の付与された復元情報付与合成後画素データが生成される。該生成された復元情報付与合成後画素データは、画像保存部１８及び表示部１９にそれぞれ出力される。
【０１４１】
図１１に戻って、差分情報テーブル記憶部２２は、ＮＣビットのビット列から構成される各検出ビット列に対応付けて、差分情報（画素データの階調範囲に応じた離散的な絶対差分量又は相対差分量の情報）が記憶された差分情報テーブルを記憶する。
画素データ復元部２０は、復元指示に応じて画像保存部１８から復元情報付与合成後画素データを取得し、該取得した復元情報付与合成後画素データに含まれる検出ビット列を抽出し、該抽出した検出ビット列に対応する差分情報を、差分情報テーブル記憶部２２に記憶された差分情報テーブルから取得する。
【０１４２】
更に、画素データ復元部２０は、上記取得した差分情報と合成後画素データとから復元対象画素データＳを復元する。
具体的に、差分情報が絶対差分量αであれば「Ｓ＝Ｐ＋α」を演算して復元対象画素データＳを復元する。また、差分情報が相対差分量βであれば「Ｓ＝Ｐ×β」を演算することで復元対象画素データＳを復元する。
【０１４３】
なお、一般的に、合成前の画像は、合成後の画像と比較して暗い画像となるため、差分情報テーブルには、なるべく負の係数（復元時に輝度を減少させる値）を持たせることが望ましい。
ここで、撮像システム２００の上記各構成部の機能は、ハードウェアのみ、ソフトウェアのみ、ハードウェアとソフトウェアとの組み合わせのいずれかで実現される。従って、撮像システム２００は、ソフトウェアを用いて機能を実現する構成部がある場合に、図示していないが、ソフトウェアを実行するためのプロセッサ、ソフトウェアを記憶するためのＲＯＭ等の記憶媒体、ソフトウェアの実行に用いるＲＡＭ等の記憶媒体、各構成部とのデータの授受を行うためのバスなどを備える。
【０１４４】
また、上記各構成部は、１つの装置内に全てが含まれる構成（この場合は、撮像装置＝撮像システムとなる）としても良いし、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６、復元情報付与部２１及び差分情報テーブル記憶部２２を１つの装置内で構成（この場合は、撮像装置に対応する）し、画像保存部１８、表示部１９及び画素データ復元部２０は１つ又は複数の装置で構成しても良い。後者の場合は、撮像装置と、画像保存部１８、表示部１９及び画素データ復元部２０とは、有線又は無線で接続する。
【０１４５】
次に、図１３に基づき、本実施の形態の動作を説明する。
ここで、図１３は、差分情報テーブルの一例を示す図である。
なお、復元対象画像選択部１６までの動作は、上記第１の実施の形態と同様となるので説明を省略する。
以下、復元情報付与部２１の動作から説明する。
【０１４６】
なお、ここでは、画素データはモノクロのデータであるとする。
復元情報付与部２１は、復元対象画像選択部１６から復元対象画素データ（ここでは、第２画素データとする）が入力され、画素データ合成部１５から合成後画素データが入力されると、まず、復元情報生成部２１ａにおいて、復元対象画素データと、合成後画素データとに基づき差分情報を生成する。
【０１４７】
例えば、合成後画素データＰの画素値が「１４０」、復元対象画素データＳの画素値が「８５」であったとすると、絶対差分量αは「α＝８５−１４０＝−５５」となり、相対差分量βは「β＝８５／１４０≒６１[％]」となる。
次に、復元情報生成部２１ａは、上記生成した差分情報と、差分情報テーブルの差分情報とを比較して、最も近い値を有する差分情報に対応した検出ビット列を、復元情報として取得する。
【０１４８】
ここで、差分情報テーブルが、３ビットの検出ビット列に対して、図１３に示すような絶対差分量又は相対差分量を有しているとする。
αが「−５５」の場合は、図１３に示すように、「−６４」が最も近い値となっているので、復元情報生成部２１ａは、差分情報テーブル記憶部２２に記憶された差分情報テーブルから、「−６４」に対応する検出ビット列「１００」を復元情報として取得する。
【０１４９】
また、βが「６１[％]」の場合は、図１３に示すように、「５０[％]」が最も近い値となっているので、復元情報生成部２１ａは、差分情報テーブル記憶部２２に記憶された差分情報テーブルから、「５０[％]」に対応する「１０１」を復元情報として取得する。
従って、差分情報を絶対差分量αとした場合は「１００」が、差分情報を相対差分量βとした場合は「１０１」が復元情報として、復元情報埋込部２１ｂに出力される。
【０１５０】
復元情報埋込部２１ｂは、復元情報生成部２１ａから復元情報が入力されると、合成後画素データ「１０００１１００（２進数）」の下位３ビットを、該入力された復元情報（３ビット）に入れ替える。この具体的な方法は、上記第１の実施の形態と同様となるので説明を省略する。
なお、第１〜第３画素データがカラーデータである場合は、各色の色信号に対応した画素データに対して、上記モノクロデータと同様の処理を行う。具体的に、第１〜第３画素データが、例えば、Ｒ、Ｇ、Ｂの三原色に対応する３種類の画素データを含んでいるときに、上記モノクロデータのときと同様に、Ｒ、Ｇ、Ｂ各色の画素データと、合成後画素データにおけるＲ、Ｇ、Ｂ各色の画素データとの差分情報を色毎に生成し、該生成した差分情報に対応する検出ビット列（例えば、３ビット）を差分情報テーブルから取得し、該取得した検出ビット列を、合成後画素データにおける各色の画素データの下位３ビットに、同じ色同士でそれぞれ埋め込む。
【０１５１】
上記一連の処理を、被写体の撮像領域に対応する全画素に対して行うことで、広ダイナミックレンジで且つ復元情報が付与され画像データ（以下、復元情報付与ＨＤＲ画像データと称す）が生成される。該生成された復元情報付与ＨＤＲ画像データは、表示部１９に出力されると共に、画像保存部１８に出力される。
一方、上記のような復元情報付与ＨＤＲ画像データから復元対象の画像を復元する場合の、画素データ復元部２０の動作を説明する。
【０１５２】
画素データ復元部２０は、復元指示が入力されると、復元対象の復元情報付与ＨＤＲ画像データを画像保存部１８を介して記憶媒体から読み出す。
そして、読み出した復元情報付与ＨＤＲ画像データに基づき、復元情報付与画素データ毎（画素毎）に、復元対象画素データの復元を行う。
復元情報付与画素データの下位３ビットには、差分情報テーブルに対応した検出ビットが埋め込まれているので、画素データ復元部２０は、まず検出ビットを抽出する。
【０１５３】
ここでは、絶対差分量αに対応する検出ビット列「１００」が抽出されたとする。
次に、この抽出した検出ビット列「１００」を用いて、図１３に示すような絶対差分量を有する差分情報テーブルを検索する。これにより、図１３に示すように、「１００」に対応する絶対差分量「−６４」が索出される。
復元情報に対応する絶対差分量αが索出されると、索出された該絶対差分量α「−６４」と、合成後画素データＰ「１４０」とから、復元対象画素データＳ「Ｓ＝Ｐ＋α＝１４０−６４＝７６」を復元する。
【０１５４】
一方、相対差分量βに対応する検出ビット列「１０１」が抽出された場合は、この抽出した検出ビット列「１０１」を用いて、図１３に示すような絶対差分量を有する差分情報テーブルを検索する。これにより、図１３に示すように、「１０１」に対応する相対差分量「５０[％]」が索出される。
復元情報に対応する相対差分量βが索出されると、索出された該相対差分量β「５０[％]」と、合成後画素データＰ「１４０」とから、復元対象画素データＳ「Ｓ＝Ｐ×β＝１４０×０．５＝７０」を復元する。
【０１５５】
以上より、復元対象画素データの画素データと、合成後画素データとの差分情報を生成し、該生成した差分情報に最も近い値の、差分情報テーブルに記憶された差分情報に対応する検出ビット列を復元情報として、合成画素データの下位ビットに埋め込むことで、復元対象の画素データの復元情報を、合成後画素データに付与することができる。
これにより、差分情報テーブルの設定内容次第で、復元対象の画像を精度良く復元できる復元情報を付与できると共に、差分情報によってテーブルを構成することで画素データそのものを用いるよりもテーブルの容量を低減することができる。また、復元情報を合成後画素データの下位ビットに埋め込む構成としたので、復元情報付与合成後画素データを、形式変換等せずにそのまま汎用のアプリケーションなどで使用できる。
【０１５６】
また、復元情報（検索ビット列）を検索キーとして、差分情報テーブルを検出し、検索キーに対応する差分情報を取得して、該取得した差分情報と、合成後画素データとから復元対象の画素データを復元することができる。
合成画像において、重要な被写体の画像がボケていたりした場合に、復元対象画素データを復元し、その復元データから構成される画像を参照したり、該画像の画像データを用いて識別処理などを行ったりすることができる。
【０１５７】
上記第２の実施の形態において、復元情報付与部２１は、形態１、８、１２及び２０のいずれか１に記載の復元情報付与手段又は形態１９、２１及び２２のいずれか１に記載の復元情報付与ステップに対応し、画素データ復元部２０は、形態１５又は１７に記載の画素データ復元手段に対応する。
また、上記第２の実施の形態において、撮像システム１００における、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態１、２、３、８、１２及び１４のいずれか１に記載の撮像装置に対応し、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態２０に記載の画像処理装置に対応する。
【０１５８】
〔第２の実施の形態の変形例〕
次に、図１４〜図１７に基づき、本発明に係る撮像装置、撮像システム、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第２の実施の形態の変形例を説明する。
【０１５９】
本変形例は、復元情報を生成及び付与する前処理として、復元対象の画像（以下、復元対象画像と称す）の明るさを合成後の画像（以下、合成画像と称す）の明るさに近似する処理を行うことで、差分情報テーブルを構成する絶対差分量α及び相対差分量βの値をより細かい値にした点が上記第２の実施の形態と異なる。
具体的に、本変形例の撮像システム２００’は、上記第２の実施の形態の撮像システム２００に、上記明るさを近似する処理を行う近似部２３を追加し、更に、差分情報テーブル記憶部２２に記憶される差分情報テーブルが近似部２３の近似内容に応じたものとなっている。
【０１６０】
以下、上記第１及び第２の実施の形態と同様の構成部には同じ符号を付して説明を適宜省略し、上記第１及び第２の実施の形態と異なる部分を詳細に説明する。
まず、図１４に基づき、本実施の形態の撮像システム２００’の構成を説明する。
ここで、図１４は、撮像システム２００’の構成を示すブロック図である。
撮像システム２００’は、図１４に示すように、撮像部１０と、スイッチ（ＳＷ）１１と、第１〜第３メモリ１２〜１４と、画素データ合成部１５と、復元対象画像選択部１６と、復元情報付与部２１と、差分情報テーブル記憶部２２と、復元対象画像の明るさを合成画像の明るさに近似させる近似部２３と、画像保存部１８と、表示部１９と、画素データ復元部２０と、を含んで構成される。
【０１６１】
近似部２３は、復元対象画像選択部１６から入力された復元対象画素データを補正することで画像の入出力特性を調整し、復元対象画像の明るさを合成画像の明るさに近似させる。
本実施の形態において、近似部２３は、第１の明るさ近似処理として、復元対象画素データから生成される復元対象画像のガンマ値を調整することで、復元対象画像の明るさを合成画像の明るさに近似させる処理を実行することができる。
【０１６２】
更に、近似部２３は、第２の明るさ近似処理として、復元対象画素データから生成される復元対象画像のゲインを調整することで、復元対象画像の明るさを合成画像の明るさに近似させる処理を実行することができる。
ここで、撮像システム２００’の上記各構成部の機能は、ハードウェアのみ、ソフトウェアのみ、ハードウェアとソフトウェアとの組み合わせのいずれかで実現される。従って、撮像システム２００’は、ソフトウェアを用いて機能を実現する構成部がある場合に、図示していないが、ソフトウェアを実行するためのプロセッサ、ソフトウェアを記憶するためのＲＯＭ等の記憶媒体、ソフトウェアの実行に用いるＲＡＭ等の記憶媒体、各構成部とのデータの授受を行うためのバスなどを備える。
【０１６３】
また、上記各構成部は、１つの装置内に全てが含まれる構成（この場合は、撮像装置＝撮像システムとなる）としても良いし、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６、復元情報付与部２１、差分情報テーブル記憶部２２及び近似部２３を１つの装置内で構成（この場合は、撮像装置に対応する）し、画像保存部１８、表示部１９及び画素データ復元部２０は１つ又は複数の装置で構成しても良い。後者の場合は、撮像装置と、画像保存部１８、表示部１９及び画素データ復元部２０とは、有線又は無線で接続する。また、後者の場合に、差分情報テーブル記憶部２２を別々に有する構成としても良い。
【０１６４】
次に、図１５に基づき、近似部２３における第１の明るさ近似処理の流れを説明する。なお、第１の明るさ近似処理は、プロセッサによって、ＲＯＭ等の記憶媒体に記憶された専用のプログラムを実行することで実現される処理である。
ここで、図１５は、第１の明るさ近似処理を示すフローチャートである。
第１の明るさ近似処理が開始されると、図１５に示すように、まずステップＳ１００に移行し、近似部２３において、暫定ガンマに対応する変数γＴに「０．１」を代入して、ステップＳ１０２に移行する。
【０１６５】
ステップＳ１０２では、近似部２３において、最小値に対応する変数ｍｉｎに、最小値のとり得る最大値（最大階調値×画素数）よりも大きい値を代入して、ステップＳ１０４に移行する。
ステップＳ１０４では、近似部２３において、復元対象画像の画像データに対する、ガンマ調整後の復元対象の画素値に対応する変数Ｓ’（ｘ，ｙ）に、ガンマ調整前の復元対象の画素値Ｓ（ｘ，ｙ）をγＴ乗した値（ＳγT）を代入して、ステップＳ１０６に移行する。
【０１６６】
ステップＳ１０６では、近似部２３において、復元対象画像の画像データに対する、ガンマ調整後の復元対象の画素値に対応した変数Ｓ’（ｘ，ｙ）の値と、合成後画素データＰ（ｘ，ｙ）との差分値の絶対値の合計値を算出し、該算出値を差分量に対応する変数ｄｑに代入して、ステップＳ１０８に移行する。
ステップＳ１０８では、近似部２３において、差分量に対応する変数ｄｑの値が、変数ｍｉｎの値よりも小さいか否かを判定し、小さいと判定したときは、ステップＳ１１０に移行し、そうでない場合(No)は、ステップＳ１１４に移行する。
【０１６７】
ステップＳ１１０に移行した場合は、近似部２３において、変数ｍｉｎに変数ｄｑの値を代入して、ステップＳ１１２に移行する。
ステップＳ１１２では、近似部２３において、ガンマに対応する変数γに、暫定ガンマに対応する変数γＴの値を代入して、ステップＳ１１４に移行する。
ステップＳ１１４では、近似部２３において、変数γＴの値が「１０」になったか否かを判定し、「１０」になったと判定したときは、ステップＳ１１６に移行し、そうでない場合(No)は、ステップＳ１１８に移行する。
【０１６８】
ステップＳ１１６に移行した場合は、近似部２３において、ガンマ調整後の復元対象の画素値に対応する変数Ｓ’（ｘ，ｙ）に、ガンマ調整前の復元対象の画素値Ｓ（ｘ，ｙ）の値を変数γの値乗した値（Ｓγ）を代入して、処理を終了する。
一方、ステップＳ１１８に移行した場合は、近似部２３において、変数γＴに、現在のγＴの値に０．１を加算した値を代入して、ステップＳ１０４に移行する。
【０１６９】
次に、図１６に基づき、近似部２３における第２の明るさ近似処理の流れを説明する。なお、第２の明るさ近似処理は、プロセッサによって、ＲＯＭ等の記憶媒体に記憶された専用のプログラムを実行することで実現される処理である。
ここで、図１６は、第２の明るさ近似処理を示すフローチャートである。
第２の明るさ近似処理が開始されると、図１６に示すように、まずステップＳ２００に移行し、近似部２３において、暫定ゲインに対応する変数ＧＴに「０．１」を代入して、ステップＳ２０２に移行する。
【０１７０】
ステップＳ２０２では、近似部２３において、最小値に対応する変数ｍｉｎに、最小値のとり得る最大値（最大階調値×画素数）よりも大きい値を代入して、ステップＳ２０４に移行する。
ステップＳ２０４では、近似部２３において、復元対象画像の画像データに対する、ガンマ調整後の復元対象の画素値に対応する変数Ｓ’（ｘ，ｙ）に、ゲイン調整前の復元対象の画素値Ｓ（ｘ，ｙ）に変数ＧＴの値を乗じた値（Ｓ×ＧＴ）を代入して、ステップＳ２０６に移行する。
【０１７１】
ステップＳ２０６では、近似部２３において、復元対象画像の画像データに対する、ゲイン調整後の復元対象の画素値に対応した変数Ｓ’（ｘ，ｙ）の値と、合成後画素データＰ（ｘ，ｙ）との差分値の絶対値の合計値を算出し、該算出値を差分量に対応する変数ｄｑに代入して、ステップＳ２０８に移行する。
ステップＳ２０８では、近似部２３において、変数ｄｑの値が、変数ｍｉｎの値よりも小さいか否かを判定し、小さいと判定したときは、ステップＳ２１０に移行し、そうでない場合(No)は、ステップＳ２１４に移行する。
【０１７２】
ステップＳ２１０に移行した場合は、近似部２３において、変数ｍｉｎに変数ｄｑの値を代入して、ステップＳ２１２に移行する。
ステップＳ２１２では、近似部２３において、ゲインに対応する変数Ｇに、暫定ゲインに対応する変数ＧＴの値を代入して、ステップＳ２１４に移行する。
ステップＳ２１４では、近似部２３において、変数ＧＴの値が「１０」になったか否かを判定し、「１０」になったと判定したときは、ステップＳ２１６に移行し、そうでない場合(No)は、ステップＳ２１８に移行する。
【０１７３】
ステップＳ２１６に移行した場合は、近似部２３において、ゲイン調整後の復元対象の画素値に対応する変数Ｓ’（ｘ，ｙ）に、ゲイン調整前の復元対象の画素値Ｓ（ｘ，ｙ）の値にゲインに対応する変数Ｇの値を乗じた値（Ｓ×Ｇ）を代入して、処理を終了する。
一方、ステップＳ２１８に移行した場合は、近似部２３において、変数ＧＴに、現在のＧＴの値に０．１を加算した値を代入して、ステップＳ２０４に移行する。
【０１７４】
次に、図１７に基づき、本実施の形態の動作を説明する。
ここで、図１７は、明るさ近似処理を前提にした差分情報テーブルの一例を示す図である。
ここで、復元対象画像選択部１６までの動作は、上記第１の実施の形態と同様となるので説明を省略する。
【０１７５】
以下、近似部２３の動作から説明する。
まず、第１の近似処理の実際の動作を説明する。
ここでは、画素データが８ビットの階調値（０〜２５５）を有することとする。
近似部２３は、画素データ合成部１５から合成後画素データが入力され、復元対象画像選択部１６から復元対象画素データが入力されると、暫定ガンマに対応する変数γＴに初期値「０．１」を代入し（ステップＳ１００）、最小値に対応する変数ｍｉｎに、初期値として、ここでは「２５５×復元対象画像の画素数」よりも大きな値を代入する（ステップＳ１０２）。
【０１７６】
次に、復元対象画像の各復元対象画素データＳ（ｘ，ｙ）の値（輝度値）をγＴの値乗した値（２５５×（Ｓ（ｘ，ｙ）／２５５）0.1）を算出し、該算出値を、ガンマ調整後の復元対象画素データに対応する変数Ｓ’（ｘ，ｙ）に代入する（ステップＳ１０４）。この処理は、復元対象画像の全画素に対して行う。
復元対象画像の全画素に対する現在の暫定ガンマによる調整後の画素値が算出されると、次に、復元対象画像のガンマ調整後の復元対象画素データＳ’（ｘ，ｙ）の値と、合成後画素データＰ（ｘ，ｙ）の値との差分値を算出する。具体的に、同じ画素位置の両者の画素値の差分値（Ｓ’（ｘ，ｙ）−Ｐ（ｘ，ｙ））を全画素分算出する。そして、これら全画素分の差分値の絶対値の総和（合計）を算出し、該算出値を差分量として変数ｄｑに代入する（ステップＳ１０６）。
【０１７７】
そして、変数ｄｑの値が、変数ｍｉｎの値よりも小さいか否かを判定する（ステップＳ１０８）。現時点では、変数ｍｉｎに初期値が代入されているので、必ず変数ｄｑの値が小さくなる（ステップＳ１０８の「Ｙｅｓ」の分岐）。従って、変数ｍｉｎに、変数ｄｑの値を代入し（ステップＳ１１０）、変数γに現在の変数γＴの値「０．１」を代入する（ステップＳ１１２）。
【０１７８】
次に、変数γＴの値が「１０」になったか否かを判定する（ステップＳ１１４）。現時点では、変数γＴの値は「０．１」となっているので（ステップＳ１１４の「Ｎｏ」の分岐）、変数γＴの値を０．１増やす（ステップＳ１１８）。この時点で、変数γの値は「０．１」、変数γＴの値は「０．２」となる。
上記一連の処理を繰り返し行うことで、１回前の差分量（変数ｍｉｎの値）と、今回のガンマ調整後の差分量（変数ｄｑの値）との大小比較が繰り返し行われ、今回の差分量の方が小さい間は変数ｍｉｎの値が今回の差分量の値に更新されると共に、変数γの値が変数γＴの値に更新される。一方、今回の差分量が１回前の差分量以上となった場合は、更新処理を行わずに、変数γＴの値が１０になるまでループを繰り返し、変数γＴの値が１０になると、変数Ｓ’（ｘ，ｙ）に、復元対象画素データＳ（ｘ，ｙ）の値を変数γの値乗した値（Ｓ（ｘ，ｙ）γ）を代入して処理を終了する（ステップＳ１１６）。
【０１７９】
これにより、復元対象画像の全画素に対応する復元対象画素データが、調整後のガンマ値で補正される。
つまり、上記一連の処理を繰り返し行うことによって、ガンマ値を、復元対象画像の輝度値と合成画像の輝度値との差分値の絶対値の合計が最小値（できるだけ小さい値）となる値に調整し、この調整後のガンマ値で復元対象画素データを補正することで、復元対象画像の明るさを合成画像の明るさに近似させる。
【０１８０】
次に、第２の近似処理の動作について説明する。
近似部２３は、画素データ合成部１５から合成後画素データが入力され、復元対象画像選択部１６から復元対象画素データが入力されると、暫定ゲインに対応する変数ＧＴに初期値「０．１」を代入し（ステップＳ２００）、最小値に対応する変数ｍｉｎに、初期値として、ここでは「２５５×復元対象画像の画素数」よりも大きな値を代入する（ステップＳ２０２）。
【０１８１】
次に、復元対象画像の各復元対象画素データＳ（ｘ，ｙ）の値（輝度値）を変数ＧＴの値で乗じた値（Ｓ（ｘ，ｙ）×０．１）を算出し、該算出値を、ゲイン調整後の復元対象画素データに対応する変数Ｓ’（ｘ，ｙ）に代入する（ステップＳ２０４）。この処理は、復元対象画像の全画素に対して行う。
復元対象画像の全画素に対する現在の暫定ゲインによる調整後の画素値が算出されると、次に、復元対象画像のゲイン調整後の復元対象画素データＳ’（ｘ，ｙ）の値と、合成後画素データＰ（ｘ，ｙ）の値との差分値を算出する。そして、全画素分の差分値の絶対値の総和（合計）を算出し、該算出値を差分量として変数ｄｑに代入する（ステップＳ２０６）。
【０１８２】
そして、変数ｄｑの値が、変数ｍｉｎの値よりも小さいか否かを判定する（ステップＳ２０８）。現時点では、変数ｍｉｎに初期値が代入されているので、必ず変数ｄｑの値が小さくなる（ステップＳ２０８の「Ｙｅｓ」の分岐）。従って、変数ｍｉｎに、変数ｄｑの値を代入し（ステップＳ２１０）、変数Ｇに現在の変数ＧＴの値「０．１」を代入する（ステップＳ２１２）。
【０１８３】
次に、変数ＧＴの値が「１０」になったか否かを判定する（ステップＳ２１４）。現時点では、変数ＧＴの値は「０．１」となっているので（ステップＳ２１４の「Ｎｏ」の分岐）、変数ＧＴの値を０．１増やす（ステップＳ２１８）。この時点で、変数Ｇの値は「０．１」、変数ＧＴの値は「０．２」となる。
上記一連の処理を繰り返し行うことで、１回前の差分量（変数ｍｉｎの値）と、今回のゲイン調整後の差分量（変数ｄｑの値）との大小比較が繰り返し行われ、今回の差分量の方が小さい間は変数ｍｉｎの値が今回の差分量の値に更新される共に、変数Ｇの値が変数ＧＴの値に更新される。一方、今回の差分量が１回前の差分量以上となった場合は、更新処理を行わずに、変数ＧＴの値が１０になるまでループを繰り返し、変数ＧＴの値が１０になると、変数Ｓ’（ｘ，ｙ）に、復元対象画素データＳ（ｘ，ｙ）の値を変数Ｇの値で乗じた値（Ｓ（ｘ，ｙ）×Ｇ）を代入して処理を終了する（ステップＳ２１６）。
【０１８４】
これにより、復元対象画像の全画素に対応する復元対象画素データが、調整後のゲインで補正される。
つまり、上記一連の処理を繰り返し行うことによって、ゲインを、復元対象画像の輝度値と合成画像の輝度値との差分値の絶対値の合計が最小値（できるだけ小さい値）となる値に調整し、この調整後のゲインで復元対象画素データを補正することで、復元対象画像の明るさを合成画像の明るさに近似させる。
【０１８５】
上記第１の近似処理又は第２の近似処理のいずれかによって、復元対象画像の明るさを合成画像の明るさに近似させる前処理を実行することで、この復元対象画素データＳ’と合成後画素データＰとの差分値（Ｓ’−Ｐ）は、前処理をしない場合の差分値と比較して小さな値となる。従って、差分情報テーブルの値を、図１７に示すように、上記第２の実施の形態における図１３に示す値よりも細かく（各値を小さく）することができる。
【０１８６】
例えば、合成後画素データＰの画素値が「１４０」、復元対象画素データＳの画素値が「８５」であったとすると、上記前処理を行わない場合は、絶対差分量αは「α＝８５−１４０＝−５５」となり、相対差分量βは「β＝８５／１４０≒６１[％]」となる。
一方、上記前処理によって、調整後のガンマ値が「０．６」になったとすると、復元対象画素データＳの画素値「８５」は、「Ｓ’＝２５５×（８５／２５５）0.6≒１３２」と補正されることになる。従って、絶対差分量αは「α＝１３２−１４０＝−８」となり、相対差分量βは「β＝１３２／１４０≒９４[％]」となる。
【０１８７】
従って、復元情報生成部２１ａは、差分情報を絶対差分量αにした場合は、図１７に示す値を有する差分情報テーブルから、絶対差分量α「−８」に最も近い「０」に対応する検出ビット列「０１１」を取得する。
また、差分情報を相対差分量βにした場合は、図１７に示す値を有する差分情報テーブルから、相対差分量β「９４[％]」と同じ値の「９４[％]」に対応する検出ビット列「１００」を取得する。
【０１８８】
以降の処理は、上記第２の実施の形態と同様となるので説明を省略する。
以上より、本変形例の撮像システム２００’は、近似部２３において、復元対象画素データから生成される復元対象画像の明るさを、合成後画素データから生成される合成画像の明るさに近似することができる。
また、明るさ近似処理に対応する差分情報テーブルの値を用いて、復元情報の生成及び付与を行うことができる。
【０１８９】
これにより、復元対象画素データと合成後画素データとの差を小さくできるので、差分情報テーブルの値を細かい値にすることができると共に、テーブルの値同士の差も小さくできるので、より高精度に復元対象画像の復元をすることができる差分情報が得られる復元情報を付与することができる。
上記第２の実施の形態の変形例において、近似部２３は、形態９、１０及び１１のいずれか１に記載の近似手段に対応する。
【０１９０】
なお、上記各実施の形態並びに各変形例においては、撮像部１０を、ＣＣＤイメージセンサを有する構成としたが、これに限らず、各画素がＣＭＯＳ素子で構成されるＣＭＯＳイメージセンサを有する構成など他の構成としても良い。ＣＭＯＳイメージセンサを有する構成であれば、各画素から非破壊で画素信号を読み出すことができるので、１フレームの期間において、複数種類の露光時間に対応する画素信号を読み出すことができる。これにより、例えば、ローリングシャッタ方式の電子シャッタ機能を有するものであれば、画像のライン単位で順次露光時間の異なる画素信号を読み出すことができるようになるため、各露光時間の画素データを全画素分取得してから処理を行うのと比較して、上記各処理を高速に行うことができる。
【０１９１】
また、上記第１の実施の形態の変形例２においては、各画素データの周波数成分として、エッジ量を抽出する構成としたが、これに限らず、ＦＦＴを用いて周波数成分を抽出するなど他の構成としても良い。
また、上記各実施の形態並びに各変形例においては、輝度ヒストグラムや周波数成分に基づき、復元対象の画素データを選択する構成としたが、これに限らず、予め決められた露光時間に対応する画素データを復元対象として選択する構成としても良いし、全ての露光時間に対応する画素データを復元対象として選択する構成としても良い。
【０１９２】
また、上記各実施の形態並びに各変形例においては、露光時間Ｔ１、Ｔ２、Ｔ３を、それぞれ１５Ｈ、１００Ｈ、５００Ｈとしたが、これに限らず、Ｔ１＜Ｔ２＜Ｔ３の関係が保たれれば、他の露光時間としても良い。また、この露光時間の設定をユーザが任意に設定できる構成としても良いし、被写体の種類や撮像環境に応じて動的に変化させる構成としても良い。
【図面の簡単な説明】
【０１９３】
【図１】本発明に係る撮像システム１００の構成を示すブロック図である。
【図２】復元対象画像選択部１６の詳細な構成を示すブロック図である。
【図３】復元情報付与部１７の詳細な構成を示すブロック図である。
【図４】直線合成した合成後画素データと、ガンマ補正によってハイライト部を圧縮した合成後画素データとの関係を示す図である。
【図５】（ａ）〜（ｄ）は、理想形のヒストグラムと、露光時間Ｔ１〜Ｔ３に対応する画像のヒストグラムとの一例を示す図である。
【図６】復元情報の生成処理及び復元情報の埋込処理の概念の一例を示す図である。
【図７】（ａ）〜（ｆ）は、画素データ合成処理、復元対象画像選択処理、復元情報の埋込処理、復元対象画像の復元処理を含む一連の処理の流れを示す図である。
【図８】復元対象画像選択部１６’の詳細な構成を示すブロック図である。
【図９】（ａ）は、ハイパスフィルタの一例を示す図であり、（ｂ）は処理対象画素とその周辺８画素の画素値の一例を示す図である。
【図１０】図９（ａ）のハイパスフィルタでフィルタ処理後の各露光時間の画像及び合成後の画像の一例を示す図である。
【図１１】撮像システム２００の構成を示すブロック図である。
【図１２】復元情報付与部２１の詳細な構成を示すブロック図である。
【図１３】差分情報テーブルの一例を示す図である。
【図１４】撮像システム２００’の構成を示すブロック図である。
【図１５】第１の明るさ近似処理を示すフローチャートである。
【図１６】第２の明るさ近似処理を示すフローチャートである。
【図１７】明るさ近似処理を前提にした差分情報テーブルの一例を示す図である。
【符号の説明】
【０１９４】
１００，２００，２００’…撮像システム、１０…撮像部、１１…ＳＷ、１２…第１メモリ、１３…第２メモリ、１４…第３メモリ、１５…画素データ合成部、１６，１６’…復元対象画像選択部、１７，２１…復元情報付与部、１８…画像保存部、１９…表示部、２０…画素データ復元部、２２…差分情報テーブル記憶部、２３…近似部、１６ａ…ヒストグラム生成部、１６ｂ，１６ｅ…比較部、１６ｃ…画素データ選択部、１７ａ，２１ａ…復元情報生成部、１７ｂ，２１ｂ…復元情報埋込部
【技術分野】
【０００１】
本発明は、撮像装置に係り、特に、複数種類の露光時間で被写体を撮像して得られる画素信号を合成して、撮像画像のダイナミックレンジを拡大することができる撮像装置に関する。
【背景技術】
【０００２】
従来、監視や防犯を目的としたカメラが様々な場所に設置されている。一般的にカメラのダイナミックレンジは人間のダイナミックレンジよりも狭いため、人間の目であれば確認できるはずの対象物が、カメラ映像では黒つぶれ或いは白とびにより映らない問題があった。そこで広ダイナミックレンジ（ＨＤＲ（High Dynamic Range））映像を得る手段として、多段階露光による画像合成方法が存在する。多段階露光による画像合成方法を用いた撮像装置としては、例えば、特許文献１に記載された撮像装置及び撮像方法がある。
【０００３】
特許文献１に記載の撮像装置及び撮像方法は、多段露光画像を合成してＨＤＲ画像を生成する際に、移動物の有無を画素毎に判定して画像の合成比率を変化させる。例えば移動物がある領域では露光時間の小さい（短い）画像を使用し、移動物がなく飽和していない領域では露光時間の大きい（長い）画像を使用する。
【特許文献１】特開２００４−２５４１５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の従来技術においては、合成後の画像において、重要な画像部分がボケて識別できないようなときに、合成に使用しなかった画素の情報は捨ててしまうので、例えば、合成前の画像を参照したり、合成前の画像を手がかりにして重要な画像部分の識別処理を行うなどすることはできなかった。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、合成後の画像に合成前の画像を復元するための情報を付与することが可能な撮像装置及び撮像システムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
〔形態１〕 上記目的を達成するために、形態１の撮像装置は、
受光した光を電荷に変換して蓄積する複数の光電変換素子をマトリックス状に配列した構成の光電変換部と、前記光電変換素子の露光時間を制御する機能とを備えた撮像装置であって、
前記光電変換素子の構成する各画素から、複数種類の露光時間で露光された時の前記複数種類の露光時間に対応する画素信号を読み出す画素信号読出手段と、
前記画素信号読出手段で読み出した、前記複数種類の露光時間に対応する画素信号のデータである画素データを前記画素毎に合成する画素データ合成手段と、
前記画素データ合成手段で合成後の画素データに、前記複数種類の露光時間における所定の露光時間に対応する前記合成前の画素データを復元する際に用いる復元情報を付与する復元情報付与手段と、を備えることを特徴とする。
【０００６】
このような構成であれば、被写体の撮像において、例えば、光電変換素子が露光時間Ｔ１〜ＴＮ（Ｔ１＜Ｔ２＜・・・＜Ｔ（Ｎ−１）、ＴＮ）の順にそれぞれ露光されると、各露光時間で光電変換素子に蓄積された電荷量に応じた画素信号がそれぞれ読み出される。この読出処理においては、例えば、Ｔ１〜ＴＮの各露光時間で光電変換素子を露光し、各露光時間で露光された光電変換素子から破壊読み出しによって画素信号を読み出すことが可能である。また、例えば、露光時間ＴＮまでの露光を行い、各露光時間Ｔ１〜ＴＮの時点において、光電変換素子から非破壊読み出しで画素信号を読み出すことも可能である。以下、形態１９に記載の撮像方法において同じである。
【０００７】
複数種類の露光時間（Ｔ１〜ＴＮ）にそれぞれ対応する画素信号が読み出されると、画素毎に、該読み出された複数種類の露光時間にそれぞれ対応する画素信号のデータである画素データが画素毎に合成される。例えば、露光時間Ｔ１〜Ｔ３で露光された場合は、対象画素に対する、この３種類の露光時間に対応した画素データが合成され、対象画素の合成画素データが生成される。また、この合成画素データによって、広ダイナミックレンジ（ＨＤＲ）の撮像画像データが構成されることになる。
【０００８】
そして、合成後の画素データには、複数種類の露光時間のうち所定露光時間に対応する合成前の画素データを復元する際に用いる復元情報が付与される。この復元情報は、この情報だけで合成前の画素データを復元できるもの、復元情報に加え合成後の画素データの情報も用いて合成前の画素データを復元できるもの、復元情報に対応するデータが記憶されたデータテーブルを参照して合成前の画素データを復元できるものなどが該当する。以下、形態１９の撮像方法、形態２０の画像処理装置、形態２１の画像処理プログラム、形態２２の画像処理方法などにおいて同じである。
【０００９】
以上より、合成後の画素データに、所定露光時間の合成前の画素データを復元する際に用いる復元情報を付与することができるので、合成後の画素データに付与された復元情報を用いて合成前の画素データを復元することができる。
これにより、例えば、合成後の画像において、重要な被写体が識別できない状態であるときに、合成前の画像を復元して、その復元された画像から識別したり、復元した合成前の画像と合成後の画像とを用いて識別したりするなど、撮像後において、合成前の画像を利用した識別処理などを行うことができるという効果が得られる。
【００１０】
ここで、上記「光電変換部」は、例えば、ＣＣＤ（charge-coupled device）や、ＣＭＯＳ技術などを用いて構成された撮像素子である。例えば、ＣＭＯＳ技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子（例えば、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。以下、形態１９の撮像方法において同じである。
【００１１】
また、上記露光時間を制御する機能とは、例えば、グローバルシャッタ、フォーカルプレーンシャッタ（ローリングシャッタ）等の方式を含む公知の電子シャッタ機能や、撮像装置の有する絞り機構を制御して露光量を変更する機能などが該当する。電子シャッタ機能は、ＣＣＤやＣＭＯＳなどから構成される撮像素子に電圧をかけて、撮像素子に光を電荷として蓄積させる機能を有している。絞り機構は、絞り羽と呼ばれる光を遮る羽根がレンズの中に入っており、この羽を開閉させてレンズに入る光の量を調節する機構である。以下、形態１９の撮像方法において同じである。
【００１２】
また、上記破壊読み出しは、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。
また、上記非破壊読み出しは、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、異なる露光時間に対して何度でも電荷の読み出しを行うことができる。従って、非破壊読み出しは、多段階露光を容易に実現することができるという利点がある。以下、形態１９に記載の撮像方法において同じである。
【００１３】
〔形態２〕 更に、形態２の撮像装置は、形態１に記載の撮像装置において、
前記復元情報は、前記合成前の画素データが有する、単色の輝度情報と色差情報と色信号情報とのうち少なくともいずれか１つを含むことを特徴とする。
このような構成であれば、例えば、画素データがモノクロの画素データであれば、その輝度情報を復元情報として、合成後の画素データに付与することができる。
【００１４】
また、例えば、画素データが複数色の色信号情報からなるカラー画素データであれば、いずれか一色の輝度情報もしくはいずれか一色の輝度情報及び色差情報、または各色の色信号情報を復元情報として、合成後の画素データに付与することができる。
ここで、上記色信号情報は、色情報及びその輝度情報を含む信号の情報である。
【００１５】
〔形態３〕 更に、形態３の撮像装置は、形態２に記載の撮像装置において、
前記復元情報は、前記合成前の画素データが有する輝度情報と前記合成後の画素データが有する輝度情報との差分値の情報、前記合成前の画素データが有する色差情報と前記合成後の画素データが有する色差情報との差分値の情報、及び前記合成前の画素データが有する色信号情報と前記合成後の画素データが有する色信号情報との差分値の情報のうち少なくともいずれか１つを含むことを特徴とする。
【００１６】
このような構成であれば、合成前の画素データが有する輝度情報と合成後の画素データが有する輝度情報との差分値の情報、合成前の画素データが有する色差情報と合成後の画素データが有する色差情報との差分値の情報、及び合成前の画素データが有する色信号情報と合成後の画素データが有する色信号情報との差分値の情報のうちいずれか１つを復元情報として、合成後の画素データに付与することができる。
これにより、復元情報として、付与するデータ量を低減することができるという効果が得られる。
【００１７】
〔形態４〕 更に、形態４の撮像装置は、形態１乃至３のいずれか１に記載の撮像装置において、
前記復元情報付与手段は、前記合成後の画素データにおける下位のＮＣビットのビット列を、前記復元情報のＮビットのビット列を圧縮したＮＣビットのビット列（ＮＣ＜Ｎ）に入れ替えることを特徴とする。
【００１８】
このような構成であれば、復元情報として付与する情報のデータ量を低減することができると共に、合成後の画像データの形式を変更することなく復元情報を付与することができるという効果が得られる。例えば、８ビットの輝度情報を復元情報として付与するときに、上位３ビットの情報に圧縮して、この３ビットの復元情報を、合成後の画素データの下位３ビットに代えて埋め込むことで、合成後の画像及び合成前の画像の双方が、オリジナルと殆ど遜色のない画質で得られると共に、画素データの形式を変更することなく復元情報を付与することができるので、特別な処理を施すことなく汎用のアプリケーションソフトなどにおいて復元情報の付与された合成後の画像データを取り扱うことができる。
【００１９】
〔形態５〕 更に、形態５の撮像装置は、形態１乃至４のいずれか１に記載の撮像装置において、
前記復元情報付与手段は、前記画素データが複数色の色信号情報を有するときに、前記合成前の画素データが有する前記複数色の色信号情報を復元する際に用いる前記複数色の各色に対応する復元情報を、前記合成後の画素データが有する各色の色信号情報にそれぞれ付与することを特徴とする。
【００２０】
このような構成であれば、各画素の画素データを構成する、例えばＲ、Ｇ、Ｂの三原色にそれぞれ対応する輝度情報を復元するための情報を復元情報として付与することができるので、合成後の各色の色信号情報（各色の画素データ）に付与された復元情報から各色の合成前の画素データを復元することができる。
【００２１】
〔形態６〕 更に、形態６の撮像装置は、形態１乃至３のいずれか１に記載の撮像装置において、
前記復元情報付与手段は、前記画素データが複数色の色信号情報を含むときに、前記合成前の画素データの前記複数色のうちのいずれか一色の色信号情報のビット列を前記複数色の色数分に分割し、前記合成後の各色の画素データの下位側のビット列を、前記分割した各ビット列に入れ替えることで、前記合成後の画素データに前記復元情報を付与することを特徴とする。
【００２２】
このような構成であれば、合成前の画素データが有する複数色の色信号情報のうち、いずれか一色の色信号情報を情報の損失なく復元情報として合成後の画素データに付与することができると共に、一色分の色信号情報を付与するだけで済むので付与するデータ量を低減することができるという効果が得られる。更に、合成後の画素データの形式を変更することなく復元情報を付与することができるという効果も得られる。
なお、この場合は、例えば、復元情報の色信号情報と、合成後の画素データが有する他の色の色信号情報とを用いることで合成前の画素データを復元することができる。
【００２３】
〔形態７〕 更に、形態７の撮像装置は、形態１乃至３のいずれか１に記載の撮像装置において、
前記復元情報付与手段は、前記画素データがＲ（Red）、Ｇ（Green）、Ｂ（Blue）の色信号情報を有するときに、前記合成前の画素データが有する色信号情報を、輝度情報及び色差情報に分け、該輝度情報を３つに分割し、前記合成後の各色の画素データの下位側のビット列を、前記分割した各ビット列に入れ替えることで、前記合成後の画素データに前記復元情報を付与することを特徴とする。
【００２４】
このような構成であれば、合成前の画素データが有する輝度情報を情報の損失なく復元情報として合成後の画素データに付与することができると共に、輝度情報のみを付与するだけで済むので付与するデータ量を低減することができるという効果が得られる。更に、合成後の画素データの形式を変更することなく復元情報を付与することができるという効果も得られる。
なお、この場合は、合成後の各色信号情報に分割して付与された復元情報（輝度情報）を結合することで、元データに対して輝度情報に損失のないモノクロデータを復元することができる。
【００２５】
〔形態８〕 更に、形態８の撮像装置は、形態３に記載の撮像装置において、
前記画素データのビット数よりも少ないビット数Ｌで表現される各ビット列に対応付けて、それぞれ異なる数値の前記差分値の情報を記憶した差分情報テーブルを備え、
前記復元情報付与手段は、前記合成後の画素データの下位側のＬビットを、前記差分情報テーブルにおける、前記合成前の画素データの前記復元情報に最も近い差分値の情報に対応付けられたビット列に入れ替えることを特徴とする。
【００２６】
このような構成であれば、復元情報として付与されたビット列に対応した差分値の情報をテーブルから取得して、合成前の画素データを復元することができるので、付与する復元情報のデータ量を低減しつつ、より精度良く合成前の画素データを復元することができるという効果が得られる。更に、テーブルとして有する情報を差分値の情報としたので、差分情報テーブルのサイズを小さくすることができるという効果も得られる。
【００２７】
ここで、上記差分値の情報は、合成前の画素データをＳ、合成後の画素データをＰとすると、例えば、画素データＳ及びＰの絶対的な差分量である絶対差分量α「α＝Ｓ−Ｐ」、又は差分値の画素データＰに対する相対量である相対差分量β「β＝Ｓ／Ｐ」などが該当する。以下、形態９の撮像装置において同じである。
また、上記差分情報テーブルは、例えば、３ビットから構成される各ビット列に、差分値の情報を対応付けて記憶した差分情報テーブルを作成する場合を例に挙げると、「０００」、「００１」、・・・、「１１０」、「１１１」の８種類のビット列に対して差分値の情報を対応付けて記憶することになる。例えば、絶対差分量であれば、前記８種類のビット列に対して、＋１９２、＋１２８、＋６４・・・、−１９２、−２５５を対応付けて記憶し、一方、相対差分量であれば、１７５％、１５０％、・・・、２５％、０％などを対応付けて記憶する。なお、ビット列のビット数を増やすことによって、より細かい差分値の情報を用意することができる。以下、形態９の撮像装置において同じである。
【００２８】
〔形態９〕 更に、形態９の撮像装置は、形態３乃至８のいずれか１に記載の撮像装置において、
前記合成前の画素データから生成される画像の明るさの情報を、前記合成後の画素データから生成される画像の明るさの情報に近似する近似手段を備えることを特徴とする。
このような構成であれば、例えば、復元情報の付与に差分情報テーブルを用いる場合に、復元情報として付与するビット列に対して、より細かい差分値の情報を対応付けることができる。これによって、各ビット列間の差分値の差を小さくすることができるので、より精度良く合成前の画素データを復元することができるという効果が得られる。また、差分値を小さくできるので、差分値の情報を復元情報としてそのまま付与する場合に、そのデータ量（ビット数）を低減することができるという効果が得られる。また、差分値を圧縮して付与する場合においても、同じビット数でより高精度の情報を付与することができるという効果が得られる。
【００２９】
〔形態１０〕 更に、形態１０の撮像装置は、形態９に記載の撮像装置において、
前記近似手段は、前記合成前の画素データから生成される画像のガンマ値を調整することで、該画像の明るさの情報を、前記合成後の画素データから生成される画像の明るさの情報に近似することを特徴とする。
このような構成であれば、合成前の画素データから生成される画像に対して、画像の明るさの変化と、出入力電圧の比であるガンマ値を調整することで、合成前の画素データから生成される画像の明るさの情報を、合成後の画素データから生成される画像の明るさの情報に適切に近似させることができる。
【００３０】
これにより、例えば、復元情報の付与に差分情報テーブルを用いる場合に、復元情報として付与するビット列に対して、より細かい差分値の情報を対応付けることができる。これによって、各ビット列間の差分値の差を小さくすることができるので、より精度良く合成前の画素データを復元することができるという効果が得られる。また、差分値を小さくできるので、差分値の情報を復元情報としてそのまま付与する場合に、そのデータ量（ビット数）を低減することができるという効果が得られる。また、差分値を圧縮して付与する場合においても、同じビット数でより高精度の情報を付与することができるという効果が得られる。
【００３１】
〔形態１１〕 更に、形態１１の撮像装置は、形態９に記載の撮像装置において、
前記近似手段は、前記合成前の画素データから生成される画像のゲインを調整することで、該画像の明るさの情報を、前記合成後の画素データから生成される画像の明るさの情報に近似することを特徴とする。
このような構成であれば、合成前の画素データから生成される画像に対して、その出力信号のゲインを調整することで、合成前の画素データから生成される画像の明るさの情報を、合成後の画素データから生成される画像の明るさの情報に適切に近似させることができる。
【００３２】
これにより、差分情報テーブルにおいて、復元情報として付与するビット列に対して、より細かい差分値の情報を対応付けることができる。これによって、各ビット列間の差分値の差を小さくすることができるので、より精度良く合成前の画素データを復元することができるという効果が得られる。
【００３３】
〔形態１２〕 更に、形態１２の撮像装置は、形態１乃至１１のいずれか１に記載の撮像装置において、
前記複数種類の露光時間に対応する画素データに基づき、該複数種類の露光時間に対応する画素データの中から、復元対象とする露光時間の画素データを選択する復元画像選択手段を備え、
前記復元情報付与手段は、前記復元画像選択手段で決定された前記復元対象の画素データの復元情報を、前記合成後の画素データに付与することを特徴とする。
【００３４】
このような構成であれば、複数種類の露光時間にそれぞれ対応する画像の画素データに基づき、これら各露光時間に対応する画素データのうち、比較的画質の良好となる（被写体が比較的はっきりと表示された）画像を形成する画素データを復元対象として選択することができる。
これにより、合成後の画像の画質が悪かったときなどに参照したり、被写体の識別処理に用いたりするのにより適切な画素データの復元情報を付与することができるという効果が得られる。
【００３５】
〔形態１３〕 更に、形態１３の撮像装置は、形態１２に記載の撮像装置において、
前記復元画像選択手段は、前記合成前の画素データから構成される露光時間毎の画像の輝度情報のヒストグラムに基づき、前記復元対象とする露光時間に対応する画素データを選択することを特徴とする。
このような構成であれば、例えば、理想的な輝度情報のヒストグラムの形状と、各露光時間に対応する合成前の画素データから構成される画像のヒストグラムとを比較し、これらのうち、理想的な輝度情報（シャープな画質となる輝度情報）のヒストグラムに最も近い形状のヒストグラムを有する画像を判別することができる。
【００３６】
従って、複数種類の露光時間にそれぞれ対応する画素データのうち、理想的なヒストグラムに最も近いヒストグラムを有する画像を形成する画素データの復元情報を、合成後の各画素データに付与することができるので、合成後の画像の画質が悪かったときなどに参照したり、被写体の識別処理に用いたりするのにより適切な画素データの復元情報を付与することができるという効果が得られる。
【００３７】
〔形態１４〕 更に、形態１４の撮像装置は、形態１２に記載の撮像装置において、
前記復元画像選択手段は、前記合成前の画素データから構成される露光時間毎の画像の周波数情報に基づき、前記復元対象とする露光時間に対応する画素データを選択することを特徴とする。
このような構成であれば、例えば、合成前の画素データの高周波数成分などから、各露光時間に対応する画素データから構成される画像の画質を判断することができるので、これらを比較することで、画質の最も良い（例えば、ボケた画像とならない又は比較的ボケ具合が軽い）画像や最も情報（オブジェクト）を含む画像などを判別することができる。
【００３８】
従って、複数種類の露光時間にそれぞれ対応する画像のうち、例えば、高周波成分をより多く含む画像（よりシャープで且つより多くのオブジェクトを含む画像）を形成する画素データの復元情報を、合成後の各画素データに付与することで、合成後の画像の画質が悪かったときなどに参照したり、被写体の識別処理に用いたりするのにより適切な画像の復元情報を付与することができるという効果が得られる。
ここで、周波数成分の抽出処理は、例えば、ラプラシアンフィルタなどの公知のエッジフィルタ（ハイパスフィルタ）を用いて画素データに含まれるエッジ成分（高周波数成分）を抽出するなどして行われる。
【００３９】
〔形態１５〕 一方、上記目的を達成するために、形態１５の撮像システムは、
形態１乃至１４のいずれか１に記載の撮像装置と、
前記合成後の画素データに付与された復元情報に基づき、前記合成前の画素データを復元する画素データ復元手段と、を備えることを特徴とする。
このような構成であれば、上記形態１乃至１３に記載の撮像装置と同等の作用が得られると共に、合成後の画素データに含まれる復元情報を用いて所定露光時間に対応する合成前の画素データを復元することができる。
これにより、上記形態１乃至１４のいずれか１に記載の撮像装置と同等の効果が得られる。
【００４０】
ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
【００４１】
〔形態１６〕 更に、形態１６の撮像システムは、形態１５に記載の撮像システムにおいて、
前記画素データ復元手段は、前記画素データが複数色の色信号情報を有し、且つ前記合成後の画素データの有する復元情報が前記複数色のうちのいずれか一色の輝度情報であるときに、該輝度情報と、前記合成後の画素データが有する色差情報とに基づき、前記合成前の画素データを復元することを特徴とする。
このような構成であれば、合成前後の画素データにおいて色差には殆ど差がないことから、合成後の画素データの色差情報を用いて合成前の画素データを復元することでオリジナルと殆ど遜色のない画像を復元することができるという効果が得られる。
【００４２】
〔形態１７〕 更に、形態１７の撮像システムは、形態１５又は１６に記載の撮像システムにおいて、
前記画素データ復元手段は、前記画素データがＲ（Red）、Ｇ（Green）、Ｂ（Blue）の色信号情報を含み、且つ前記合成後の画素データに含まれる復元情報が前記Ｒ、Ｇ、Ｂの色信号情報を輝度情報と色差情報に分けたときの該輝度情報を色数分に分割した情報であるときに、前記合成後の各色に対応する画素データに付与された前記分割された各輝度情報を結合して、前記合成前の画素データの単色の輝度情報を復元することを特徴とする。
【００４３】
このような構成であれば、合成後の各色信号情報に分割して付与された復元情報（輝度情報）を結合することで、元データに対して輝度情報に損失のないモノクロデータを復元することができる。
従って、元データを復元するための情報として、輝度データのみを付与すれば良いので、復元情報のデータ量を小さくできるという効果が得られると共に、色は単色となるが、元データと同じ輝度情報の画像を復元することができるので、画質の良い画像の輝度情報を復元情報として付与することで、画像中の重要物などをはっきりと視認できる画像を復元することができるという効果が得られる。
【００４４】
〔形態１８〕 更に、形態１８の撮像システムは、形態１５乃至１７のいずれか１に記載の撮像システムにおいて、
前記画素データのビット数よりも少ないビット数Ｌで表現される各ビット列に対応付けて、それぞれ異なる数値の前記差分値の情報を記憶した差分情報テーブルを備え、
前記画素データ復元手段は、前記合成後の画素データに含まれる復元情報が前記差分値の情報に対応するビット列であるときに、該ビット列に対応する差分値の情報を前記差分情報テーブルから取得し、該取得した差分値の情報に基づき、前記合成前の画素データを復元することを特徴とする。
【００４５】
このような構成であれば、復元情報として付与されたビット列に対応した差分値の情報をテーブルから取得して、合成前の画素データを復元することができるので、差分情報テーブルの精度次第で、復元対象の画像により近い画質の画像を復元することができるという効果が得られる。
【００４６】
〔形態１９〕 一方、上記目的を達成するために、形態１９の撮像方法は、
受光した光を電荷に変換して蓄積する複数の光電変換素子をマトリックス状に配列した構成の光電変換部と、前記光電変換素子の露光時間を制御する機能とを備えた撮像装置に用いられる撮像方法であって、
前記光電変換素子の構成する各画素から、複数種類の露光時間で露光された時の前記複数種類の露光時間に対応する画素信号を読み出す画素信号読出ステップと、
前記画素信号読出ステップで読み出した、前記複数種類の露光時間に対応する画素信号のデータである画素データを前記画素毎に合成する画素データ合成ステップと、
前記画素データ合成ステップで合成後の画素データに、前記複数種類の露光時間における所定の露光時間に対応する前記合成前の画素データを復元する際に用いる復元情報を付与する復元情報付与ステップと、を含むことを特徴とする。
これにより、形態１の撮像装置と同等の作用及び効果が得られる。
【００４７】
〔形態２０〕 また、上記目的を達成するために、形態２０の画像処理装置は、
複数種類の露光時間で被写体を撮像して得られる、各露光時間にそれぞれ対応した画素信号から構成される画素データを画素毎に合成する画素データ合成手段と、
前記画素データ合成手段で合成後の画素データに、前記複数種類の露光時間における所定の露光時間に対応する合成前の画素データを復元する際に用いる復元情報を付与する復元情報付与手段と、を備えることを特徴とする。
これにより、形態１の撮像装置と同等の作用及び効果が得られる。
【００４８】
〔形態２１〕 また、上記目的を達成するために、形態２１の画像処理プログラムは、
複数種類の露光時間で被写体を撮像して得られる、各露光時間にそれぞれ対応した画素信号から構成される画素データを画素毎に合成する画素データ合成ステップと、
前記画素データ合成ステップで合成後の画素データに、前記複数種類の露光時間における所定の露光時間に対応する合成前の画素データを復元する際に用いる復元情報を付与する復元情報付与ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態１に記載の撮像装置と同等の作用及び効果が得られる。
【００４９】
〔形態２２〕 また、上記目的を達成するために、形態２２の画像処理方法は、
複数種類の露光時間で被写体を撮像して得られる、各露光時間にそれぞれ対応した画素信号から構成される画素データを画素毎に合成する画素データ合成ステップと、
前記画素データ合成ステップで合成後の画素データに、前記複数種類の露光時間における所定の露光時間に対応する合成前の画素データを復元する際に用いる復元情報を付与する復元情報付与ステップと、を含むことを特徴とする。
これにより、形態１に記載の撮像装置と同等の作用及び効果が得られる。
【発明を実施するための最良の形態】
【００５０】
〔第１の実施の形態〕
以下、本発明の第１の実施の形態を図面に基づき説明する。図１〜図７は、本発明に係る撮像装置、撮像システム、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第１の実施の形態を示す図である。
まず、本発明に係る撮像システムの構成を図１に基づき説明する。図１は、本発明に係る撮像システム１００の構成を示すブロック図である。
【００５１】
撮像システム１００は、図１に示すように、３種類の露光時間Ｔ１〜Ｔ３（Ｔ１＜Ｔ２＜Ｔ３）で被写体を撮像する撮像部１０と、撮像部１０から出力される露光時間Ｔ１〜Ｔ３にそれぞれ対応する画素信号の出力先を露光時間の種類毎に切り替えるスイッチ（ＳＷ）１１と、露光時間Ｔ１に対応する画素信号のデータ（以下、第１画素データと称す）を記憶する第１メモリ１２と、露光時間Ｔ２に対応する画素信号のデータ（以下、第２画素データと称す）を記憶する第２メモリ１３と、露光時間Ｔ３に対応する画素信号のデータ（以下、第３画素データと称す）を記憶する第３メモリ１４とを含んで構成される。
【００５２】
撮像部１０は、ＣＣＤ及び受光素子（フォトトランジスタ）を含んで構成されるＣＣＤイメージセンサを備え、レンズを介して被写体からの光を各画素に集光すると共に、電子シャッタ機能により露光時間を制御して、露光時間Ｔ１、Ｔ２、Ｔ３で各画素の受光素子を露光する。そして、露光時間Ｔ１、Ｔ２、Ｔ３でそれぞれ露光された各画素からこれら各露光時間に対応する画素信号（アナログデータ）を読み出し、該読み出したアナログの画素信号を、不図示のＡＦＥ(Analog Front End)においてデジタルの画素信号（画素データ）に変換してからＳＷ１１に出力する。このとき、撮像部１０からは、出力する画素データが露光時間Ｔ１、Ｔ２、Ｔ３のいずれに対応するものなのかを識別する信号も出力する。
【００５３】
ＳＷ１１は、撮像部１０から画素データが入力されると、これと対応して入力された識別信号に基づきスイッチを切り替え、第１〜第３メモリ１２〜１４のうち識別信号が示す露光時間に対応するメモリに、入力された画素データを出力する。
第１〜第３メモリ１２〜１４は、フレームメモリ及びメモリコントローラから構成され、それぞれ自己に対応する露光時間で撮像された１フレーム分の画素データを記憶する。このとき、メモリコントローラによって、不図示のタイミング制御部からのピクセルクロック、垂直同期信号及び水平同期信号に基づき、各画素データの２次元の格納アドレスを生成し、２次元のメモリ空間上のデータとして管理する。
【００５４】
撮像システム１００は、更に、露光時間Ｔ１〜Ｔ３に対応する画素データを合成する画素データ合成部１５と、復元対象の画像を選択する復元対象画像選択部１６と、画素データ合成部１５で合成後の画素データ（以下、合成後画素データと称す）に、復元対象の画素データを復元するための復元情報を付与する復元情報付与部１７と、復元情報の付与された合成後画素データ（以下、復元情報付与合成後画素データと称す）を保存する画像保存部１８と、復元情報付与合成後画素データに基づき画像を表示する表示部１９と、復元情報付与合成後画素データに付与された復元情報に基づき復元対象の画素データを復元する画素データ復元部２０とを含んで構成される。
【００５５】
画素データ合成部１５は、まず、露光時間Ｔ１〜Ｔ３に対応する画素データをＴ３に合わせて正規化し、次に、該正規化後のＴ１〜Ｔ３の画素データを合成して合成後画素データを生成する。合成後画素データは、露光時間の異なる３つの画素データを合成して生成されるため、各画素の合成後画素データにより構成される画像は、ダイナミックレンジの広い画像（ＨＤＲ画像）となる。
【００５６】
また、画素データ合成部１５は、例えば、外部機器等において、表示部の表示能力が合成後画素データ（ＨＤＲ画素データ）のダイナミックレンジに対応していないときのために、合成後画素データに対して、ガンマ補正又はＬＵＴ（Look-Up Table）による補正を行い、ハイライト部を圧縮することが可能である。
復元対象画像選択部１６は、図２に示すように、ヒストグラム生成部１６ａと、比較部１６ｂと、画素データ選択部１６ｃとを含んで構成される。
【００５７】
ここで、図２は、復元対象画像選択部１６の詳細な構成を示すブロック図である。
ヒストグラム生成部１６ａは、第１〜第３メモリから露光時間Ｔ１〜Ｔ３にそれぞれ対応する第１〜第３画素データを読み出し、該読み出した第１〜第３画素データに基づき、露光時間毎に、画素値（輝度値）と画素数との関係を示すヒストグラムを生成する。該生成された、露光時間Ｔ１〜Ｔ３の画像にそれぞれ対応するヒストグラムは、比較部１６ｂに出力される。
【００５８】
比較部１６ｂは、理想的な分布形状を有するヒストグラム（以下、理想ヒストグラムと称す）を有し、該理想ヒストグラムと、露光時間Ｔ１〜Ｔ３の画像にそれぞれ対応する第１〜第３ヒストグラムとを比較する。具体的に、理想ヒストグラムと第１〜第３ヒストグラムとで、各輝度レベルあるいは所定範囲の輝度レベルに対する画素数を比較し、両者が最も一致する露光時間の情報を比較結果として、画素データ選択部１６ｃに出力する。
【００５９】
画素データ選択部１６ｃは、比較部１６ｂから露光時間の情報が入力されると、第１〜第３メモリ１２〜１４のうち、露光時間の情報に対応するメモリから画素データを読み出し、該読み出した画素データを復元対象の画素データ（以下、復元対象画素データと称す）として、復元情報付与部１７に出力する。
復元情報付与部１７は、復元情報生成部１７ａと、復元情報埋込部１７ｂとを含んで構成される。
【００６０】
ここで、図３は、復元情報付与部１７の詳細な構成を示すブロック図である。
復元情報生成部１７ａは、復元対象画像選択部１６から入力された復元対象画素データに基づき、該復元対象画素データを復元するための復元情報を生成する。
本実施の形態においては、具体的に、画素データが単色のデータであれば、復元対象画素データ（Ｎビット）における上位ＮＣビット（ＮＣ＜Ｎ）を抽出する。また、画素データがＲ、Ｇ、Ｂなどの各色に対応したデータであれば、各色に対応した画素データ（Ｎビット）の上位ＮＣビットを抽出する。復元情報生成部１７ａは、これら抽出した上位ＮＣビットのデータを復元情報として、復元情報埋込部１７ｂに出力する。
【００６１】
復元情報埋込部１７ｂは、復元情報生成部１７ａから入力された復元情報を、画素データ合成部１５から入力された合成後画素データに埋め込む。
具体的に、合成後画素データの下位ＮＣビットのデータを、復元情報のＮＣビットのデータに入れ替える。これにより、復元情報の付与された復元情報付与合成後画素データが生成される。該生成された復元情報付与合成後画素データは、画像保存部１８及び表示部１９にそれぞれ出力される。
【００６２】
画像保存部１８は、フラッシュメモリやハードディスク等の記憶媒体及びそのドライブ装置を有し、復元情報付与部で復元情報の付与された復元情報付与合成後画素データを、所定のファイル形式で記憶媒体に保存する。
表示部１９は、ＨＤＲディスプレイ（例えば、コントラスト比が「４００００：１」など）から構成されており、復元情報付与部１７から入力された復元情報付与合成後画像データ（以下、復元情報付与ＨＤＲ画像データと称す）、又は画像保存部１８によって保存された復元情報付与ＨＤＲ画像データに基づき、被写体の画像を表示する。また、ＨＤＲディスプレイにより、復元情報付与ＨＤＲ画像データの画像をレンジ圧縮せずに表示することができる。
【００６３】
画素データ復元部２０は、復元指示に応じて、復元対象の復元情報付与合成後画素データを画像保存部１８を介して記憶媒体から読み出し、該読み出した復元情報付与合成後画素データに含まれる復元情報に基づき、復元対象の画素データを復元する。
本実施の形態では、復元対象画素データの上位ＮＣビットが復元情報として付与されているので、該ＮＣビットを、Ｎビットのデータに戻す（下位（Ｎ−ＮＣ）ビットを全て０）にしたデータに変換することで、復元対象画素データを復元する。
【００６４】
なお、撮像システム１００の上記各構成部の機能は、ハードウェアのみ、ソフトウェアのみ、ハードウェアとソフトウェアとの組み合わせのいずれかで実現される。従って、撮像システム１００は、ソフトウェアを用いて機能を実現する構成部がある場合に、図示していないが、ソフトウェアを実行するためのプロセッサ、ソフトウェアを記憶するためのＲＯＭ等の記憶媒体、ソフトウェアの実行に用いるＲＡＭ等の記憶媒体、各構成部とのデータの授受を行うためのバスなどを備える。
【００６５】
また、上記各構成部は、１つの装置内に全てが含まれる構成（この場合は、撮像装置＝撮像システムとなる）としても良いし、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７を１つの装置内で構成（この場合は、撮像装置に対応する）し、画像保存部１８、表示部１９及び画素データ復元部２０は１つ又は複数の装置で構成しても良い。後者の場合は、撮像装置と、画像保存部１８、表示部１９及び画素データ復元部２０とは、有線又は無線で接続する。
【００６６】
次に、図４〜図７に基づき、本実施の形態の動作を説明する。
ここで、図４は、直線合成した合成後画素データと、ガンマ補正によってハイライト部を圧縮した合成後画素データとの関係を示す図である。また、図５（ａ）〜（ｄ）は、理想形のヒストグラムと、露光時間Ｔ１〜Ｔ３に対応する画像のヒストグラムとの一例を示す図である。また、図６は、復元情報の生成処理及び復元情報の埋込処理の概念の一例を示す図である。また、図７（ａ）〜（ｆ）は、画素データ合成処理、復元対象画像選択処理、復元情報の埋込処理、復元対象画像の復元処理を含む一連の処理の流れを示す図である。
【００６７】
撮像システム１００は、まず、電子シャッタ機能によりシャッタ速度（露光時間）を制御して、露光時間Ｔ１（１５Ｈ）、Ｔ２（１００Ｈ）、Ｔ３（５００Ｈ）の順で、撮像部１０の各画素を露光し、各露光時間における露光量に応じた画素信号を読み出す。ここで、Ｈは、１水平期間の時間（ｓ）を表す。従って、例えば１５Ｈであれば、露光時間は、１５×Ｈ（ｓ）となる。
【００６８】
読み出した画素信号（アナログデータ）は、不図示のラインメモリに一旦蓄えられた後、不図示のＡＦＥを介してデジタルの画素データへと変換され、露光時間Ｔ１〜Ｔ３を識別する識別信号と共にＳＷ１１へと出力される。ＳＷ１１は、画素データ及び識別信号が入力されると、第１〜第３メモリ１２〜１４のうち、識別信号の示す露光時間に対応したメモリへとスイッチを切り替え、該メモリに向けて画素データを出力する。ここで、画素データは、８ビットの階調値（輝度値）を有するデータであるとする。
【００６９】
一方、第１〜第３メモリ１２〜１４は、画素データが入力されると、メモリコントローラによって、不図示のタイミング制御部から入力される垂直同期信号、水平同期信号、ピクセルクロックに基づき、入力された画素データに対する２次元のアドレス（ｘ，ｙ）を生成すると共に、該アドレスに対応する記憶領域に画素データを記憶する。なお、第１〜第３メモリ１２〜１４において、同一画素のアドレス値を共通とする。
【００７０】
ここでは、露光時間Ｔ１〜Ｔ３において、図７（ａ）〜（ｃ）に示すような画像に対応した第１〜第３画素データがそれぞれ得られたとする。
このようにして、第１〜第３メモリ１２〜１４に、１フレーム分の露光時間Ｔ１〜Ｔ３に対応する画素データが記憶されると、画素データ合成部１５は、第１〜第３メモリ１２〜１４から、画素毎に、露光時間Ｔ１〜Ｔ３に対応する第１〜第３画素データをそれぞれ読み出す。一方、復元対象画像選択部１６は、第１〜第３メモリ１２〜１４から、画像毎に、第１〜第３画素データを読み出す。
画素データ合成部１５は、読み出した各画素に対する第１〜第３画素データを合成する。
合成の方法としては、第１〜第３画素データを直線合成して、その後、必要に応じて、ガンマ補正又はＬＵＴによる補正を行い、ハイライト部を圧縮する。
【００７１】
具体的に、下式（１）に従って、露光時間Ｔ１〜Ｔ３に対応する第１〜第３画素データを直線合成する。
IMG_HDR_Linear＝（IMG_T1×T3/T1＋IMG_T2×T3/T2＋IMG_T3×T3/T3）/（255×T3/T1＋255×T3/T2＋255×T3/T3） ・・・（１）
上式（１）において、IMG_HDR_Linearは合成後画素データの画素値、IMG_T1〜IMG_T3は第１〜第３画素データの画素値である。
上式（１）に示すように、第１〜第３画素データを露光時間Ｔ３に合わせて正規化して、その総和を求め、更に、この総和を、ハイライトの輝度レベルを第１〜第３画素データと同様に正規化した総和で除算することによって、合成後画素データを得る。
【００７２】
更に、ハイライト部を圧縮する場合は、下式（２）に従って、図４に示す入出力関係を有するガンマ値によってガンマ補正を行い、合成後画素データのハイライト部を圧縮する。
IMG_HDR_Gamma＝２５５×IMG_HDR_Linear0.3 ・・・（２）
ここでは、ガンマ補正によるハイライト部の圧縮を行っているが、これに限らず、ＬＵＴを用いた補正を行うことも可能である。ＬＵＴを用いることによって、より確実にハイライト部の圧縮を行うことができる。
【００７３】
なお、上記ハイライト部の圧縮／非圧縮に関わらず合成後の画素データを合成後画素データと称す。また、上式（１）は、ガンマ補正によるハイライト部の圧縮を前提とした式となっているので、ガンマ補正を行わない場合でも、上式（１）で算出した合成後の画素値に対して「２５５」を乗算する必要がある。
このようにして、画素毎に合成後画素データが生成されると、該生成された合成後画素データは復元情報付与部１７に出力される。
【００７４】
なお、この時点では、上記合成後画素データから、図７（ｄ）に示すような合成画像が得られる。
一方、復元対象画像選択部１６は、各露光時間に対応した画素データ群に基づき、画像毎に、各輝度値（輝度レベル）に対応する画素数を計数し、輝度レベルと画素数との関係を示す輝度ヒストグラムを生成する。
【００７５】
ここでは、露光時間Ｔ１〜Ｔ３の各画像に対して、図５（ｂ）〜（ｄ）に示す第１〜第３ヒストグラムが生成されたとする。
これら生成された第１〜第３ヒストグラムの情報は、比較部１６ｂに出力される。
比較部１６ｂは、ヒストグラム生成部１６ａから第１〜第３ヒストグラムの情報が入力されると、該第１〜第３ヒストグラムと、図５（ａ）に示す理想ヒストグラムとを比較する。
【００７６】
図５（ａ）に示すように、理想ヒストグラムは、「０〜２５５」の輝度レベルの範囲に対して、輝度値「０」、「２５５」の画素数を「０」とし、輝度値１２７の画素数を最大数として、これら「０」、「１２７」、「２５５」を各頂点として結んだ二等辺三角形を形成している。
一方、図５（ｂ）に示すように、露光時間Ｔ１に対応する第１ヒストグラムは、輝度レベルの比較的低い範囲（輝度値８５以下の範囲）の画素数が多くなっている。また、図５（ｃ）に示すように、露光時間Ｔ２に対応する第２ヒストグラムは、中間範囲（輝度値８６〜１６９の範囲）の輝度レベルの画素数が多くなっている。また、図５（ｄ）に示すように、露光時間Ｔ３に対応する第３ヒストグラムは、輝度レベルの比較的高い範囲（輝度値１７０以上の範囲）の画素数が多くなっている。
【００７７】
以上より、中間範囲の画素数が最も多い露光時間Ｔ２に対応する第２ヒストグラムが、理想ヒストグラムと形状が一番似ていると判断できるので、比較部１６ｂは、露光時間Ｔ２の情報を、画素データ選択部１６ｃに出力する。
画素データ選択部１６ｃは、露光時間Ｔ２の情報が入力されると、露光時間Ｔ２に対応する第２メモリ１３に対して、画素データのリードコマンドを出力する。
【００７８】
第２メモリ１３は、画素データ選択部１６ｃからリードコマンドを受け取ると、メモリコントローラによってフレームメモリの先頭アドレスから順次第２画素データを読みだして、該読み出した第２画素データを画素データ選択部１６ｃに転送する。
画素データ選択部１６ｃは、第２メモリ１３から転送されてきた第２画素データを、復元対象画素データとして、復元情報付与部１７に出力する。
【００７９】
復元情報付与部１７は、復元対象画像選択部１６から復元対象画素データ（ここでは、第２画素データ）が入力され、画素データ合成部１５から合成後画素データが入力されると、まず、復元情報生成部１７ａにおいて、復元対象画素データの上位ＮＣビットのデータを抽出する。
ここでは、画素データがモノクロデータであるとして、図６に示すように、合成後画素データをＰ「１０１０１０１０（２進数）」、復元対象画素データをＳ「１０１０１０１０（２進数）」とする。
【００８０】
そして、図６に示すように、復元対象画素データＳ「１０１０１０１０」の上位３ビット「１０１」を抽出する。
具体的に、復元対象画素データＳの上位３ビットを右（下位側）に５ビットシフトすると共に、シフト後の上位５ビットを全て「０」にしたデータ「０００００１０１」を生成する。
【００８１】
そして、上記生成した「０００００１０１」を復元情報として、復元情報埋込部１７ｂに出力する。
復元情報埋込部１７ｂは、復元情報生成部１７ａから復元情報「０００００１０１」が入力されると、合成後画素データＰ「１０１０１０１０」の上位５ビット「１０１０１」を抽出する。
【００８２】
具体的に、内部論理回路によって、合成後画素データＰ「１０１０１０１０」と「１１１１１０００」との論理積を演算し、下位３ビットを「０」とした「１０１０１０００」を得る。
そして、合成後画素データＰの上位５ビットが抽出されると、復元情報埋込部１７ｂは、内部論理回路によって、復元情報「０００００１０１」と、「１０１０１０００」との論理和を演算し、図６に示すように、復元対象画素データＳの上位３ビット「１０１」を、合成後画素データＰの下位３ビットに埋め込む。これにより、合成後画素データに対して、復元情報が付与された、復元情報付与合成後画素データ「１０１０１１０１」が生成される。
【００８３】
なお、第１〜第３画素データがカラーデータである場合は、各色の色信号に対応した画素データに対して、上記モノクロデータと同様の処理を行う。具体的に、第１〜第３画素データが、例えば、Ｒ、Ｇ、Ｂの三原色に対応する３種類の画素データを含んでいるときに、上記モノクロデータのときと同様に、Ｒ、Ｇ、Ｂ各色の画素データの上位３ビットをそれぞれ抽出し、該抽出した３ビットのデータを、合成後画素データにおける各色の画素データの下位３ビットに、同じ色同士でそれぞれ埋め込む。
【００８４】
上記一連の処理を、被写体の撮像領域に対応する全画素に対して行うことで、広ダイナミックレンジで且つ復元情報が付与された画像データ（復元情報付与ＨＤＲ画像データ）が生成される。該生成された復元情報付与ＨＤＲ画像データは、表示部１９に出力されると共に、画像保存部１８に出力される。
画像保存部１８は、復元情報付与部１７から入力された復元情報付与ＨＤＲ画像データを、所定のファイル形式で記憶媒体に保存する。
【００８５】
表示部１９は、復元情報付与部１７から入力された復元情報付与ＨＤＲ画像データに基づき、被写体の広ダイナミックレンジの画像をリアルタイムに表示する。一方、リアルタイムに映像を表示しない場合は、表示部１９は、ユーザからの指示に応じて、画像保存部１８によって保存された復元情報付与ＨＤＲ画像データを記憶媒体から読み出し、該読み出した復元情報付与ＨＤＲ画像データに基づき、図７（ｅ）に示すように、被写体の広ダイナミックレンジの画像を表示する。
【００８６】
復元情報が付与された合成後画素データにおいては、下位３ビットのデータの一部又は全部が付与前の合成後画素データと異なる場合があるが、上位５ビットが付与前のデータと同じであるため、付与後の画質は付与前の画質と殆ど遜色がない。
一方、被写体の広ダイナミックレンジ画像において、例えば、重要な情報が識別できない状態となっており、合成前の画像を参照したいときなどに、画素データ復元部２０において、復元対象（合成前）の画像を復元することができる。
【００８７】
復元対象の画像を復元する場合は、画素データ復元部２０に対して、復元したい復元情報付与ＨＤＲ画像データの情報を含む復元指示を与える。
画素データ復元部２０は、復元指示が入力されると、復元対象の復元情報付与ＨＤＲ画像データを画像保存部１８を介して記憶媒体から読み出す。
そして、読み出した復元情報付与ＨＤＲ画像データに基づき、復元情報付与画素データ毎（画素毎）に、復元対象画素データの復元を行う。
【００８８】
本実施の形態においては、復元情報付与画素データ（８ビット）における下位３ビットが復元情報となるので、下位３ビットを左（上位側）に５ビットシフトし、シフト後の下位５ビットを「０」として（そのままでも良い）、復元対象画素データを復元する。例えば、復元情報付与画素データが「１０１０１１０１（２進数）」である場合に、下位３ビット「１０１」を左に５ビットシフトし、シフト後の下位５ビットを全て「０」にした「１０１０００００」が復元された復元対象画素データ（以下、復元データと称す）となる。
【００８９】
このようにして復元されたデータから、図７（ｆ）に示すように、復元対象の画像である露光時間Ｔ２に対応した画像を得ることができる。
なお、復元データは、元のデータ「１０１０１０１０」に対して、下位５ビットの一部又は全部のデータが異なる場合があるが、少なくとも上位３ビットは元データと同じ値となるので、復元データから構成される画像データの画像は、元の画像データの画像と殆ど遜色のない画質となる。
【００９０】
以上、本実施の形態の撮像システム１００は、ＣＣＤイメージセンサの各画素を、３種類の露光時間Ｔ１〜Ｔ３で露光して得られた画素データを合成して広ダイナミックレンジの画像に対応した合成後画素データを生成することができる。
また、露光時間Ｔ１〜Ｔ３にそれぞれ対応する第１〜第３の画素データから、露光時間毎に、輝度のヒストグラム（第１〜第３ヒストグラム）を生成し、該生成した第１〜第３ヒストグラムと、理想ヒストグラムとを比較して、該比較結果から、最も理想ヒストグラムに近いヒストグラムに対応する露光時間の画素データを対象画素データとして選択することができる。
【００９１】
また、上記選択した復元対象画素データの上位ＮＣビットのデータから復元情報を生成し、合成後画素データの下位ＮＣビットを、復元情報に入れ替えることで、合成後画素データに復元情報を付与することができる。
また、復元情報の付与された画素データから、復元対象の画素データを復元することができる。
【００９２】
以上より、露光時間Ｔ１〜Ｔ３のうち、画質の最も良い露光時間の画素データを復元対象画素データとして選択し、この復元対象画素データを復元するための復元情報を合成画素データに付与することができる。
また、復元対象画素データを圧縮したデータを復元情報として、これを合成画素データの下位ビットと入れ替えることで付与するようにしたので、合成後画素データの形式を変更せずに復元情報を付与することができる。これにより、復元情報として付与するデータを小さくできると共に、復元情報付与合成後画素データの形式を変換することなく汎用のアプリケーションなどで使用できる。
【００９３】
また、復元情報付与合成画素データから、復元対象の画素データを復元することができるので、合成画像において、重要な被写体の画像がボケていたりした場合に、復元対象画素データを復元し、その復元データから構成される画像を参照したり、該画像の画像データを用いて識別処理などを行ったりすることができる。
上記第１の実施の形態において、撮像部１０のＣＣＤイメージセンサは、形態１又は１９に記載の光電変換部に対応し、撮像部１０における各画素から画素信号を読み出す処理は、形態１に記載の画素信号読出手段又は形態１９に記載の画素信号読出ステップに対応し、画素データ合成部１５は、形態１又は２０に記載の画素データ合成手段に対応し、復元対象画像選択部１６は、形態１２又は１３に記載の復元画像選択手段に対応し、復元情報付与部１７は、形態１、４、５、１２及び２０のいずれか１に記載の復元情報付与手段又は形態１９、２１及び２２のいずれか１に記載の復元情報付与ステップに対応し、画素データ復元部２０は、形態１５に記載の画素データ復元手段に対応する。
【００９４】
また、上記第１の実施の形態において、撮像システム１００における、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態１、２、３、４、５、１２及び１３のいずれか１に記載の撮像装置に対応し、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態２０に記載の画像処理装置に対応する。
〔第１の実施の形態の変形例１〕
次に、図８〜図１０に基づき、本発明に係る撮像装置、撮像システム、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第１の実施の形態の変形例１を説明する。
【００９５】
上記第１の実施の形態において、復元対象画像選択部１６で、各露光時間に対応した画像のヒストグラムに基づき復元対象の画素データを選択しているのに対して、本変形例１は、各露光時間に対応する周波数成分に基づき復元対象の画素データを選択している点が異なる。
更に、上記第１の実施の形態において、復元情報付与部１７において、復元対象の画素データがカラー画像データであるときに、各色に対応する画素データの上位３ビットを抽出して、該上位３ビットのデータを、各色に対応する合成後画素データの下位３ビットにそれぞれ埋め込むことで合成後画素データに対して復元情報を付与しているのに対して、本変形例１は、複数色に対応する画素データのうち、いずれか一色に対応する画素データの情報を複数色の色数分に分割し、該分割したデータを復元情報として、合成後画素データの各色の画素データの下位ビットに埋め込むことで合成後画素データに対して復元情報を付与する点が異なる。
【００９６】
また、画素データ復元部２０における復元対象の画素データの復元方法が、上記相違点に伴い上記第１の実施の形態と異なる。
具体的に、本変形例１の撮像システム１００は、復元対象画像選択部１６が、復元対象画像選択部１６’に変更され、更に、復元情報付与部１７及び画素データ復元部２０の処理内容が異なっており、それ以外の構成部は、上記第１の実施の形態の撮像システム１００と同様となる。
【００９７】
以下、上記第１の実施の形態と同様の構成部には同じ符号を付して説明を適宜省略し、上記第１の実施の形態と異なる部分を詳細に説明する。
まず、図８に基づき、復元対象画像選択部１６’の詳細な構成を説明する。
ここで、図８は、復元対象画像選択部１６’の詳細な構成を示すブロック図である。
復元対象画像選択部１６’は、図８に示すように、周波数成分抽出部１６ｄと、比較部１６ｅと、画素データ選択部１６ｃとを含んで構成される。
【００９８】
公知のエッジ抽出フィルタを用いたエッジ抽出などによって、露光時間Ｔ１〜Ｔ３の画素信号の周波数成分を抽出（算出）する。
周波数成分抽出部１６ｄは、公知のラプラシアンフィルタ（ハイパスフィルタ）を用いて、エッジ抽出対象の画素とその周辺画素の画素データに対してフィルタ処理を行い、対象画素データに対するエッジ成分（高周波成分）を抽出する。
【００９９】
比較部１６ｅは、周波数成分抽出部１６ｄで抽出された露光時間Ｔ１〜Ｔ３の画素データにそれぞれ対応したエッジ成分に基づき、露光時間Ｔ１〜Ｔ３に対応する画像のうち、エッジ成分量の最も多い画像の露光時間の情報を、比較結果として画素データ選択部１６ｃに出力する。
次に、本変形例１における復元情報付与部１７について説明する。
【０１００】
なお、本実施の形態においては、各画素データが、Ｒ、Ｇ、Ｂの三原色の各色信号に対応する、画素データＲ（Ｎビット）、画素データＧ（Ｎビット）、画素データＢ（Ｎビット）の３種類の画素データをそれぞれ含むものとする。
本変形例１における復元情報生成部１７ａは、復元対象画像選択部１６’から復元対象画素データＲｓＧｓＢｓが入力されると、本実施の形態においては、まず、復元対象画素データＲｓＧｓＢｓを構成するＲｓ、Ｇｓ、Ｂｓの各色に対応する画素データＲｓ、Ｇｓ、Ｂｓの中から画素データＧｓを選択し、該画素データＧｓ（Ｎビット）を色数（３）で分割する。
【０１０１】
本実施の形態においては、画素データＧｓ（Ｎビット）が均等に３分割できないビット数のデータである場合は、画素データＧｓを倍にするなどして、均等に３分割できるビット数のデータに変換する。例えば、画素データＧｓが８ビットである場合は、２倍にして９ビットのデータに変換し、該変換後の画素データＧｓを３分割する。
このようにして３分割して得られた３種類の分割データＧｓＡ〜ＧｓＣ（Ｎ／３ビット）は復元情報として、復元情報埋込部１７ｂに出力される。例えば、画素データＧｓが「１０１０１０１０１（２進数）」であった場合に、上位ビット側から順に、分割データＧｓＡは「１０１」、分割データＧｓＢは「０１０」、分割データＧｓＣは「１０１」となる。
【０１０２】
本変形例１における復元情報埋込部１７ｂは、復元情報生成部１７ａから分割データＧｓＡ〜ＧｓＣが入力されると、該分割データＧｓＡ〜ＧｓＣを、合成後画素データＲｐＧｐＢｐにおける各色に対応する画素データＲｐ、Ｇｐ、Ｂｐの下位「Ｎ／３」ビットに埋め込むことで、合成後画素データに復元情報を付与する。
具体的に、画素データＲｐの下位「Ｎ／３」ビットに分割データＧｓＡを埋め込み、画素データＧｐの下位「Ｎ／３」ビットに分割データＧｓＢを埋め込み、画素データＢｐの下位「Ｎ／３」ビットに分割データＧｓＣを埋め込む。
【０１０３】
このようにして、分割データＧｓＡ〜ＧｓＣが埋め込まれた画素データＲｐ、Ｇｐ、Ｂｐは、復元情報付与合成後画素データとして、画像保存部１８及び表示部１９にそれぞれ出力される。
次に、本変形例１における画素データ復元部２０について説明する。
本変形例１における画素データ復元部２０は、画像保存部１８から復元情報付与合成後画素データを取得すると、該復元情報付与合成後画素データに含まれる各色の画素データＲｐ、Ｇｐ、Ｂｐに含まれる復元情報に基づき、復元対象の画素データＲｓ、Ｇｓ、Ｂｓを復元する。
【０１０４】
具体的には、復元情報付与合成後画素データＲｐ、Ｇｐ、Ｂｐの下位「Ｎ／３」ビットに復元情報ＧｓＡ、ＧｓＢ、ＧｓＣがそれぞれ埋め込まれているので、まず、Ｒｐ、Ｇｐ、Ｂｐから、復元情報ＧｓＡ、ＧｓＢ、ＧｓＣの各ビット列を抽出し、更に、抽出したビット列を、復元対象の画素データＧｓの対応するビット位置へとシフトしたデータを生成する。これらシフトしたデータの論理和を演算することで、復元対象の画素データＧｓを求めることができる。
【０１０５】
画素データＧｓが復元されると、該画素データＧｓと画素データＧｐとの比を、画素データＲｐ、Ｂｐにそれぞれ乗じることで、復元対象の画素データＲｓ（「Ｒｓ＝Ｒｐ×Ｇｓ／Ｇｐ」）、画素データＢｓ（「Ｂｓ＝Ｂｐ×Ｇｓ／Ｇｐ」）を求めることができる。
次に、図９〜図１０に基づき、本実施の形態の動作を説明する。
ここで、図９（ａ）は、ハイパスフィルタの一例を示す図であり、（ｂ）は処理対象画素とその周辺８画素の画素値の一例を示す図である。また、図１０は、図９（ａ）のハイパスフィルタでフィルタ処理後の各露光時間の画像及び合成後の画像の一例を示す図である。
【０１０６】
なお、画素データ合成部１５までの動作は、上記第１の実施の形態と同様となるので説明を省略する。
以下、復元対象画像選択部１６’の動作から説明する。
復元対象画像選択部１６は、周波数成分抽出部１６ｄにおいて、露光時間Ｔ１〜Ｔ３にそれぞれ対応した画素データ群に基づき、画像毎に、各画素データに対してラプラシアンフィルタ（ハイパスフィルタ）を用いたフィルタ処理を行い、各露光時間に対応する画像のエッジ成分量を抽出する。
【０１０７】
ここでは、まず、処理対象の画素データ（ｘ，ｙ）と、該画素データの画素の周辺８画素の画素データに対して、図９（ａ）に示すようなハイパスフィルタを用いてフィルタ処理し、各画素のエッジ成分（高周波成分）を抽出する。
例えば、処理対象画素とその周辺８画素の画素値が、図９（ｂ）に示すようになっている場合は、処理対象画素のエッジ成分は、図９（ａ）のハイパスフィルタを用いて、「６０×１＋６０×１＋６０×１＋６０×１＋６０×−９＋６０×１＋６０×１＋６０×１＋６０×１＝−６０」と抽出される。
【０１０８】
このようなエッジ成分の抽出処理を、露光時間Ｔ１〜Ｔ３にそれぞれ対応する画像の全画素に対して行い、更に、画像毎に抽出した各画素のエッジ成分の絶対値の総和を画像のエッジ成分量として算出する。ここで、露光時間Ｔ１、Ｔ２、Ｔ３に対応するエッジ成分量を、それぞれＥ１、Ｅ２、Ｅ３とする。該算出されたエッジ成分量Ｅ１〜Ｅ３は、比較部１６ｅに出力される。
【０１０９】
比較部１６ｅは、周波数成分抽出部１６ｄから、エッジ成分量Ｅ１〜Ｅ３が入力されると、該Ｅ１〜Ｅ３に基づき、復元対象として復元情報を付与する露光時間の画像を選択する。本実施の形態においては、エッジ成分量が多いほど画像の先鋭度が高いと定義し、エッジ成分量Ｅ１〜Ｅ３のそれぞれの値の大小を比較して、最も大きい値のエッジ成分量に対応する露光時間の画像を、復元対象の画像として選択し、該画像の露光時間の情報を、画素データ選択部１６ｃに出力する。
【０１１０】
ここでは、露光時間Ｔ１〜Ｔ３に対応するフィルタ処理後の画像が、図１０（ａ）〜（ｃ）に示すようになったとする。各画像の白色の部分が、エッジ成分となる。図１０（ａ）〜（ｃ）を見ると解るように、これらのうちでは、露光時間Ｔ３に対応する画像にエッジ成分が最も多く含まれている。つまり、露光時間Ｔ３に対応する画像には、より多くのオブジェクトが写っていることが期待されるので、露光時間Ｔ３の時間情報が画素データ選択部１６ｃに出力される。
【０１１１】
画素データ選択部１６ｃは、露光時間Ｔ３の情報が入力されると、露光時間Ｔ３に対応する第３メモリ１４に対して、画素データのリードコマンドを出力する。
第３メモリ１４は、画素データ選択部１６ｃからリードコマンドを受け取ると、メモリコントローラによってフレームメモリの先頭アドレスから順次第３画素データを読みだして、該読み出した第３画素データを画素データ選択部１６ｃに転送する。
【０１１２】
画素データ選択部１６ｃは、第３メモリ１４から転送されてきた第３画素データを、復元対象画素データとして、復元情報付与部１７に出力する。
復元情報付与部１７は、復元対象画像選択部１６から復元対象画素データ（ここでは、第３画素データ）が入力され、画素データ合成部１５から合成後画素データが入力されると、まず、復元情報生成部１７ａにおいて、第３画素データに含まれる画素データＲｓ、Ｇｓ、Ｂｓのうち、画素データＧｓを３分割する。ここでは、画素データＧｓが８ビットであるとして、これを２倍にして９ビットのデータに変換してから３分割する。３分割して得られた分割データＧｓＡ〜ＧｓＣは復元情報として、復元情報埋込部１７ｂに出力される。
【０１１３】
復元情報埋込部１７ｂは、画素データ合成部１５から合成後画素データが入力され、復元情報生成部１７ａから復元情報（ＧｓＡ〜ＧｓＣ）が入力されると、合成後画素データを構成する各色の画素データＲｐ、Ｇｐ、Ｂｐの下位３ビットに、分割データＧｓＡ、ＧｓＢ、ＧｓＣをそれぞれ埋め込む。例えば、画素データＲｐ、Ｇｐ、Ｂｐがいずれも「１０１０１０１０（２進数）」であり、ＧｓＡ、ＧｓＢ、ＧｓＣが、「１０１」、「０１０」、「１０１」である場合には、上記第１の実施の形態における復元情報埋込部１７ｂと同様に、画素データＲｐの下位３ビットにＧｓＡを、Ｇｐの下位３ビットにＧｓＢを、Ｂｐの下位３ビットにＧｓＣをそれぞれ埋め込み、各色の画素データが、Ｒｐ「１０１０１１０１」、Ｇｐ「１０１０１０１０」、Ｂｐ「１０１０１１０１」で構成される復元情報付与合成後画素データを生成する。
【０１１４】
上記一連の処理を、被写体の撮像領域に対応する全画素に対して行うことで、復元情報付与ＨＤＲ画像データが生成される。該生成された復元情報付与ＨＤＲ画像データは、画像保存部１８及び表示部１９にそれぞれ出力される。
一方、上記のような復元情報付与ＨＤＲ画像データから復元対象の画像を復元する場合の、画素データ復元部２０の動作を説明する。
【０１１５】
画素データ復元部２０は、復元指示が入力されると、復元対象の復元情報付与ＨＤＲ画像データを画像保存部１８を介して記憶媒体から読み出す。
そして、読み出した復元情報付与ＨＤＲ画像データに基づき、復元情報付与画素データ毎（画素毎）に、復元対象画素データの復元を行う。
本実施の形態においては、例えば、復元情報付与合成後画素データの各色の画素データＲｐ、Ｇｐ、Ｂｐが、それぞれ「１０１０１１０１（２進数）」、「１０１０１０１０（２進数）」、「１０１０１１０１（２進数）」である場合に、これらの下位３ビットが復元情報となるので、Ｒｐに付与されたＧｓの復元情報ＧｓＡは、Ｒｐ「１０１０１１０１」と「０００００１１１」との論理積を演算して「０００００１０１」を抽出し、次に、「０００００１０１」の下位３ビット「１０１」を左に５ビットシフトして、「１０１０００００」と求めることができる。
【０１１６】
また、Ｇｐに付与されたＧｓの復元情報ＧｓＢは、まず、Ｇｐ「１０１０１０１０」と「０００００１１１」との論理積を演算して「００００００１０」を抽出し、次に、「００００００１０」の下位３ビットを左に２ビットシフトして、「００００１０００」と求めることができる。
また、Ｂｐに付与されたＧｓの復元情報ＧｓＣは、まず、Ｂｐ「１０１０１１０１」と「０００００１１１」との論理積を演算して「０００００１０１」を抽出し、次に、「０００００１０１」の下位３ビットを右に１ビットシフトして、「００００００１０」と求めることができる。ここで、右に１ビットシフトして最下位ビットを削除するのは、分割データの作成時に画素データＧｓを乗算器などで２倍にして９ビットのデータとして扱っているからである。
【０１１７】
そして、このようにして求められたＧｓＡ、ＧｓＢ、ＧｓＣの論理和を演算することで、復元対象の画素データＧｓ「１０１０１０１０」を求めることができる。
画素データＧｓが求まると、更に、該画素データＧｓと画素データＧｐとの比「Ｇｓ／Ｇｐ」を、画素データＲｐ、画素データＢｐにそれぞれ乗じることで、復元対象の画素データＲｓ（「Ｒｓ＝Ｒｐ×Ｇｓ／Ｇｐ」）、画素データＢｓ（「Ｂｓ＝Ｂｐ×Ｇｓ／Ｇｐ」）を求める。
【０１１８】
以上、露光時間Ｔ１〜Ｔ３にそれぞれ対応する第１〜第３の画素データから、露光時間毎に、周波数成分量（エッジ成分量Ｅ１〜Ｅ３）を抽出し、該抽出したエッジ成分量の値の大小を比較して、最も値の大きいエッジ成分量に対応した露光時間の画素データを対象画素データとして選択することができる。
また、上記選択した復元対象画素データ（Ｎビット）の複数色の各色に対応する画素データのうちいずれか一色の画素データを色数Ｃで分割し、該分割して得られた分割データを（いずれもＮ／Ｃビット）を、合成後画素データの各色に対応する画素データの下位「Ｎ／Ｃ」ビットに埋め込むことで、合成後画素データに復元情報を付与することができる。
【０１１９】
また、復元情報の付与された画素データから、復元情報として付与した一色に対応する画素データと、合成後画素データの複数色に対応する画素データとを用いて、復元対象の各色の画素データを復元することができる。
以上より、露光時間Ｔ１〜Ｔ３のうち、先鋭度の最も大きい露光時間の画素データを復元対象画素データとして選択し、この復元対象画素データを復元するための復元情報を合成画素データに付与することができる。
【０１２０】
また、復元対象画素データの各色の画素データのうちいずれか一色の画素データを色数で分割したものを復元情報として、合成画素データの各色の画素データの下位ビットに分散して埋め込むようにしたので、合成後画素データの形式を変更せずに復元情報を付与することができる。これにより、復元情報として付与するデータを小さくできると共に、復元情報付与合成後画素データをそのまま汎用のアプリケーションなどで使用できる。
【０１２１】
また、復元情報付与合成画素データから、復元対象の画素データを復元することができるので、合成画像において、重要な被写体の画像がボケていたりした場合に、復元対象画素データを復元し、その復元データから構成される画像を参照したり、該画像の画像データを用いて識別処理などを行ったりすることができる。
上記変形例１において、復元対象画像選択部１６は、形態１２又は１４に記載の復元画像選択手段に対応し、復元情報付与部１７は、形態１、６、１２及び２０のいずれか１に記載の復元情報付与手段又は形態１９、２１及び２２のいずれか１に記載の復元情報付与ステップに対応し、画素データ復元部２０は、形態１５又は１６に記載の画素データ復元手段に対応する。
【０１２２】
また、上記第１の実施の形態において、撮像システム１００における、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態１、２、３、６、１２及び１４のいずれか１に記載の撮像装置に対応し、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態２０に記載の画像処理装置に対応する。
〔第１の実施の形態の変形例２〕
次に、本発明に係る撮像装置、撮像システム、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第１の実施の形態の変形例２を説明する。
【０１２３】
本変形例２は、Ｒ、Ｇ、Ｂの各色に対応する画素データを輝度データと色差データとに分割し、更に、輝度データを３分割して得られたデータを復元情報として、合成後画素データの各色の画素データの下位ビットに埋め込むことで合成後画素データに対して復元情報を付与する点が、上記第１の実施の形態及び上記変形例１と異なる。
また、画素データ復元部２０において、復元対象の画素データの復元方法が、上記相違点に伴い上記第１の実施の形態及び上記変形例１と異なる。
【０１２４】
具体的に、本変形例１の撮像システム１００は、復元情報付与部１７及び画素データ復元部２０の処理内容が異なる以外は、上記第１の実施の形態の撮像システム１００と同様となる。
以下、上記第１の実施の形態と同様の構成部には同じ符号を付して説明を適宜省略し、上記第１の実施の形態と異なる部分を詳細に説明する。
【０１２５】
まず、本変形例２における復元情報付与部１７について説明する。
なお、本実施の形態においては、各画素データが、Ｒ、Ｇ、Ｂの三原色の各色信号に対応する、画素データＲ（Ｎビット）、画素データＧ（Ｎビット）、画素データＢ（Ｎビット）の３種類の画素データをそれぞれ含むものとする。
本変形例２における復元情報生成部１７ａは、復元対象画像選択部１６から復元対象画素データＲｓＧｓＢｓが入力されると、復元対象画素データＲｓＧｓＢｓを構成するＲ、Ｇ、Ｂの各色に対応する画素データＲｓ、Ｇｓ、Ｂｓを、輝度データＹと、色差データＣｂ、Ｃｒとに分割し、輝度データＹを３分割する。
【０１２６】
ここでは、色差データの情報は復元情報として付与しないので、輝度データＹのみを、下式（４）に従って求める。
Ｙ＝０．３０×Ｒｓ＋０．５９×Ｇｓ＋０．１１×Ｂｓ ・・・（４）
本実施の形態においては、輝度データＹ（Ｎビット）が均等に３分割できないビット数のデータである場合は、輝度データを求める際の係数を倍にするなどして、均等に３分割できるビット数のデータに変換する。例えば、各画素データが８ビットである場合は、下式（５）に示すように、輝度データＹを求めるときの係数を２倍にして９ビットの輝度データを求め、該輝度データＹを３分割する。
Ｙ＝０．６０×Ｒｓ＋１．１７×Ｇｓ＋０．２３×Ｂｓ ・・・（５）
上記式（４）又は（５）に従って算出した輝度データＹを３分割して得られた３種類の分割データＹＡ〜ＹＣ（Ｎ／３ビット）は復元情報として、復元情報埋込部１７ｂに出力される。なお、輝度データＹの上位〜下位に向かって分割データＹＡ、ＹＢ、ＹＣとなる。
【０１２７】
本変形例２における復元情報埋込部１７ｂは、復元情報生成部１７ａから分割データＹＡ〜ＹＣが入力されると、該分割データＹＡ〜ＹＣを、合成後画素データＲｐＧｐＢｐを構成する各色の画素データＲｐ、Ｇｐ、Ｂｐの下位「Ｎ／３」ビットに埋め込むことで、合成後画素データに復元情報を付与する。
具体的に、画素データＲｐの下位「Ｎ／３」ビットに分割データＹＡを埋め込み、画素データＧｐの下位「Ｎ／３」ビットに分割データＹＢを埋め込み、画素データＢｐの下位「Ｎ／３」ビットに分割データＹＣを埋め込む。
【０１２８】
このようにして、分割データＹＡ〜ＹＣが埋め込まれた画素データＲｐ、Ｇｐ、Ｂｐは、復元情報付与合成後画素データとして、画像保存部１８及び表示部１９にそれぞれ出力される。
次に、本変形例２における画素データ復元部２０について説明する。
本変形例２における画素データ復元部２０は、画像保存部１８から復元情報付与合成後画素データを取得すると、該復元情報付与合成後画素データに含まれる各色の画素データＲｐ、Ｇｐ、Ｂｐに含まれる復元情報に基づき、復元対象の輝度データＹを復元する。また、本実施の形態においては、復元対象のカラー画像を、モノクロ画像として復元する。
【０１２９】
具体的には、復元情報付与合成後画素データＲｐ、Ｇｐ、Ｂｐの下位「Ｎ／３」ビットに復元情報ＹＡ、ＹＢ、ＹＣがそれぞれ埋め込まれているので、上記第１の実施の形態の変形例１と同様の方法で、輝度データＹを求めることができる。この輝度データＹが復元対象のモノクロ画像データとなる。
以上、復元対象画素データのＲ、Ｇ、Ｂの各色に対応する画素データ（Ｎビット）を、輝度データＹ及び色差データＣｂ、Ｃｒに分割し、輝度データＹを３分割し、該分割して得られた分割データＹＡ〜ＹＣ（いずれもＮ／Ｃビット）を、合成後画素データの各色に対応する画素データの下位「Ｎ／Ｃ」ビットに埋め込むことで、合成後画素データに復元情報を付与することができる。
【０１３０】
また、復元情報の付与された画素データから、復元情報として付与した輝度データを復元することで、復元対象のモノクロ画素データを復元することができる。
以上より、復元対象画素データの各色の画素データから求めた輝度データを３分割したものを復元情報として、合成画素データの各色の画素データの下位ビットに分散して埋め込むようにしたので、復元対象の画像の輝度情報を損失無く復元情報として付与できると共に、復元情報付与合成後画素データを、形式変換等せずにそのまま汎用のアプリケーションなどで使用できる。
【０１３１】
また、復元情報付与合成画素データから、復元対象の画素データを復元することができるので、合成画像において、重要な被写体の画像がボケていたりした場合に、復元対象画素データを復元し、その復元データから構成される画像を参照したり、該画像の画像データを用いて識別処理などを行ったりすることができる。
上記変形例２において、復元情報付与部１７は、形態１、７、１２及び２０のいずれか１に記載の復元情報付与手段又は形態１９、２１及び２２のいずれか１に記載の復元情報付与ステップに対応し、画素データ復元部２０は、形態１５又は１７に記載の画素データ復元手段に対応する。
【０１３２】
また、上記変形例２において、撮像システム１００における、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態１、２、３、７、１２及び１４のいずれか１に記載の撮像装置に対応し、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態２０に記載の画像処理装置に対応する。
【０１３３】
〔第２の実施の形態〕
以下、本発明の第２の実施の形態を図面に基づき説明する。図１１〜図１３は、本発明に係る撮像装置、撮像システム、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第２の実施の形態を示す図である。
【０１３４】
上記第１の実施の形態、上記変形例１及び上記変形例２においては、復元対象画素データの情報を圧縮又は分割したものを復元情報として、合成後画素データに付与しているのに対して、本実施の形態は、所定ビット列から構成される検出ビット列に対応付けて差分情報が登録された差分情報テーブルを有し、復元対象画素データを復元するための差分情報に対応する検出ビット列を復元情報として、合成後画素データに付与する点が異なる。
【０１３５】
具体的に、本実施の形態の撮像システム２００は、上記第１の実施の形態の撮像システム１００において、復元情報付与部１７が、本実施の形態の動作処理に対応した復元情報付与部２１に変更され、差分情報テーブル記憶部２２が追加され、更に、こられの変更及び追加に応じて画素データ復元部２０の処理内容が異なり、それ以外は、上記第１の実施の形態の撮像システム１００と同様となる。
【０１３６】
以下、上記第１の実施の形態と同様の構成部には同じ符号を付して説明を適宜省略し、上記第１の実施の形態と異なる部分を詳細に説明する。
まず、図１１に基づき、本実施の形態の撮像システム２００の構成を説明する。
ここで、図１１は、撮像システム２００の構成を示すブロック図である。
撮像システム２００は、図１１に示すように、撮像部１０と、スイッチ（ＳＷ）１１と、第１〜第３メモリ１２〜１４と、画素データ合成部１５と、復元対象画像選択部１６と、差分情報テーブルに基づき復元対象の画素データの復元情報を合成後画素データに付与する復元情報付与部２１と、差分情報テーブルを記憶する差分情報テーブル記憶部２２と、画像保存部１８と、表示部１９と、差分情報テーブルに基づき復元対象の画素データを復元する画素データ復元部２０と、を含んで構成される。
【０１３７】
復元情報付与部２１は、図１２に示すように、復元情報生成部２１ａと、復元情報埋込部２１ｂとを含んで構成される。
ここで、図１２は、復元情報付与部２１の詳細な構成を示すブロック図である。
復元情報生成部２１ａは、画素データ合成部１５から入力された合成後画素データと、復元対象画像選択部１６から入力された復元対象画素データと、差分情報テーブル記憶部２２に記憶された差分情報テーブルとに基づき、復元対象画素データを復元するための復元情報を生成する。
【０１３８】
本実施の形態においては、具体的に、画素データが単色のデータであれば、まず、復元対象画素データＳ（Ｎビット）と、合成後画素データＰ（Ｎビット）とに基づき差分情報を生成する。
具体的に、復元対象画素データＳと合成後画素データＰとの絶対的な差分量を差分情報とする場合は、「絶対差分量α＝Ｓ−Ｐ」を演算で求める。また、復元対象画素データＳと合成後画素データＰとの相対的な差分量を差分情報とする場合は、「相対差分量β＝Ｓ／Ｐ」を演算で求める。
【０１３９】
また、画素データがＲ、Ｇ、Ｂなどの各色に対応したデータであれば、復元対象画素データの各色に対応した画素データＲｓ、Ｇｓ、Ｂｓ（Ｎビット）と、合成後画素データの各色に対応した画素データＲｐ、Ｇｐ、Ｂｐ（Ｎビット）との色毎の差分情報を求める。
更に、復元情報生成部２１ａは、差分情報テーブルの各差分情報と、上記演算で求めた差分情報とを比較し、該差分情報と最も近い差分情報に対応付けられた検出ビット列（ＮＣビット（ＮＣ＜Ｎ））を取得する。そして、該取得した検出ビット列を復元情報として、復元情報埋込部２１ｂに出力する。
【０１４０】
復元情報埋込部２１ｂは、復元情報生成部２１ａから入力された復元情報を、画素データ合成部１５から入力された合成後画素データに埋め込む。
具体的に、復元情報埋込部２１ｂは、上記第１の実施の形態の復元情報埋込部１７ｂと同様に、合成後画素データの下位ＮＣビットのデータを、復元情報のＮＣビットのデータに入れ替える。これにより、復元情報の付与された復元情報付与合成後画素データが生成される。該生成された復元情報付与合成後画素データは、画像保存部１８及び表示部１９にそれぞれ出力される。
【０１４１】
図１１に戻って、差分情報テーブル記憶部２２は、ＮＣビットのビット列から構成される各検出ビット列に対応付けて、差分情報（画素データの階調範囲に応じた離散的な絶対差分量又は相対差分量の情報）が記憶された差分情報テーブルを記憶する。
画素データ復元部２０は、復元指示に応じて画像保存部１８から復元情報付与合成後画素データを取得し、該取得した復元情報付与合成後画素データに含まれる検出ビット列を抽出し、該抽出した検出ビット列に対応する差分情報を、差分情報テーブル記憶部２２に記憶された差分情報テーブルから取得する。
【０１４２】
更に、画素データ復元部２０は、上記取得した差分情報と合成後画素データとから復元対象画素データＳを復元する。
具体的に、差分情報が絶対差分量αであれば「Ｓ＝Ｐ＋α」を演算して復元対象画素データＳを復元する。また、差分情報が相対差分量βであれば「Ｓ＝Ｐ×β」を演算することで復元対象画素データＳを復元する。
【０１４３】
なお、一般的に、合成前の画像は、合成後の画像と比較して暗い画像となるため、差分情報テーブルには、なるべく負の係数（復元時に輝度を減少させる値）を持たせることが望ましい。
ここで、撮像システム２００の上記各構成部の機能は、ハードウェアのみ、ソフトウェアのみ、ハードウェアとソフトウェアとの組み合わせのいずれかで実現される。従って、撮像システム２００は、ソフトウェアを用いて機能を実現する構成部がある場合に、図示していないが、ソフトウェアを実行するためのプロセッサ、ソフトウェアを記憶するためのＲＯＭ等の記憶媒体、ソフトウェアの実行に用いるＲＡＭ等の記憶媒体、各構成部とのデータの授受を行うためのバスなどを備える。
【０１４４】
また、上記各構成部は、１つの装置内に全てが含まれる構成（この場合は、撮像装置＝撮像システムとなる）としても良いし、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６、復元情報付与部２１及び差分情報テーブル記憶部２２を１つの装置内で構成（この場合は、撮像装置に対応する）し、画像保存部１８、表示部１９及び画素データ復元部２０は１つ又は複数の装置で構成しても良い。後者の場合は、撮像装置と、画像保存部１８、表示部１９及び画素データ復元部２０とは、有線又は無線で接続する。
【０１４５】
次に、図１３に基づき、本実施の形態の動作を説明する。
ここで、図１３は、差分情報テーブルの一例を示す図である。
なお、復元対象画像選択部１６までの動作は、上記第１の実施の形態と同様となるので説明を省略する。
以下、復元情報付与部２１の動作から説明する。
【０１４６】
なお、ここでは、画素データはモノクロのデータであるとする。
復元情報付与部２１は、復元対象画像選択部１６から復元対象画素データ（ここでは、第２画素データとする）が入力され、画素データ合成部１５から合成後画素データが入力されると、まず、復元情報生成部２１ａにおいて、復元対象画素データと、合成後画素データとに基づき差分情報を生成する。
【０１４７】
例えば、合成後画素データＰの画素値が「１４０」、復元対象画素データＳの画素値が「８５」であったとすると、絶対差分量αは「α＝８５−１４０＝−５５」となり、相対差分量βは「β＝８５／１４０≒６１[％]」となる。
次に、復元情報生成部２１ａは、上記生成した差分情報と、差分情報テーブルの差分情報とを比較して、最も近い値を有する差分情報に対応した検出ビット列を、復元情報として取得する。
【０１４８】
ここで、差分情報テーブルが、３ビットの検出ビット列に対して、図１３に示すような絶対差分量又は相対差分量を有しているとする。
αが「−５５」の場合は、図１３に示すように、「−６４」が最も近い値となっているので、復元情報生成部２１ａは、差分情報テーブル記憶部２２に記憶された差分情報テーブルから、「−６４」に対応する検出ビット列「１００」を復元情報として取得する。
【０１４９】
また、βが「６１[％]」の場合は、図１３に示すように、「５０[％]」が最も近い値となっているので、復元情報生成部２１ａは、差分情報テーブル記憶部２２に記憶された差分情報テーブルから、「５０[％]」に対応する「１０１」を復元情報として取得する。
従って、差分情報を絶対差分量αとした場合は「１００」が、差分情報を相対差分量βとした場合は「１０１」が復元情報として、復元情報埋込部２１ｂに出力される。
【０１５０】
復元情報埋込部２１ｂは、復元情報生成部２１ａから復元情報が入力されると、合成後画素データ「１０００１１００（２進数）」の下位３ビットを、該入力された復元情報（３ビット）に入れ替える。この具体的な方法は、上記第１の実施の形態と同様となるので説明を省略する。
なお、第１〜第３画素データがカラーデータである場合は、各色の色信号に対応した画素データに対して、上記モノクロデータと同様の処理を行う。具体的に、第１〜第３画素データが、例えば、Ｒ、Ｇ、Ｂの三原色に対応する３種類の画素データを含んでいるときに、上記モノクロデータのときと同様に、Ｒ、Ｇ、Ｂ各色の画素データと、合成後画素データにおけるＲ、Ｇ、Ｂ各色の画素データとの差分情報を色毎に生成し、該生成した差分情報に対応する検出ビット列（例えば、３ビット）を差分情報テーブルから取得し、該取得した検出ビット列を、合成後画素データにおける各色の画素データの下位３ビットに、同じ色同士でそれぞれ埋め込む。
【０１５１】
上記一連の処理を、被写体の撮像領域に対応する全画素に対して行うことで、広ダイナミックレンジで且つ復元情報が付与され画像データ（以下、復元情報付与ＨＤＲ画像データと称す）が生成される。該生成された復元情報付与ＨＤＲ画像データは、表示部１９に出力されると共に、画像保存部１８に出力される。
一方、上記のような復元情報付与ＨＤＲ画像データから復元対象の画像を復元する場合の、画素データ復元部２０の動作を説明する。
【０１５２】
画素データ復元部２０は、復元指示が入力されると、復元対象の復元情報付与ＨＤＲ画像データを画像保存部１８を介して記憶媒体から読み出す。
そして、読み出した復元情報付与ＨＤＲ画像データに基づき、復元情報付与画素データ毎（画素毎）に、復元対象画素データの復元を行う。
復元情報付与画素データの下位３ビットには、差分情報テーブルに対応した検出ビットが埋め込まれているので、画素データ復元部２０は、まず検出ビットを抽出する。
【０１５３】
ここでは、絶対差分量αに対応する検出ビット列「１００」が抽出されたとする。
次に、この抽出した検出ビット列「１００」を用いて、図１３に示すような絶対差分量を有する差分情報テーブルを検索する。これにより、図１３に示すように、「１００」に対応する絶対差分量「−６４」が索出される。
復元情報に対応する絶対差分量αが索出されると、索出された該絶対差分量α「−６４」と、合成後画素データＰ「１４０」とから、復元対象画素データＳ「Ｓ＝Ｐ＋α＝１４０−６４＝７６」を復元する。
【０１５４】
一方、相対差分量βに対応する検出ビット列「１０１」が抽出された場合は、この抽出した検出ビット列「１０１」を用いて、図１３に示すような絶対差分量を有する差分情報テーブルを検索する。これにより、図１３に示すように、「１０１」に対応する相対差分量「５０[％]」が索出される。
復元情報に対応する相対差分量βが索出されると、索出された該相対差分量β「５０[％]」と、合成後画素データＰ「１４０」とから、復元対象画素データＳ「Ｓ＝Ｐ×β＝１４０×０．５＝７０」を復元する。
【０１５５】
以上より、復元対象画素データの画素データと、合成後画素データとの差分情報を生成し、該生成した差分情報に最も近い値の、差分情報テーブルに記憶された差分情報に対応する検出ビット列を復元情報として、合成画素データの下位ビットに埋め込むことで、復元対象の画素データの復元情報を、合成後画素データに付与することができる。
これにより、差分情報テーブルの設定内容次第で、復元対象の画像を精度良く復元できる復元情報を付与できると共に、差分情報によってテーブルを構成することで画素データそのものを用いるよりもテーブルの容量を低減することができる。また、復元情報を合成後画素データの下位ビットに埋め込む構成としたので、復元情報付与合成後画素データを、形式変換等せずにそのまま汎用のアプリケーションなどで使用できる。
【０１５６】
また、復元情報（検索ビット列）を検索キーとして、差分情報テーブルを検出し、検索キーに対応する差分情報を取得して、該取得した差分情報と、合成後画素データとから復元対象の画素データを復元することができる。
合成画像において、重要な被写体の画像がボケていたりした場合に、復元対象画素データを復元し、その復元データから構成される画像を参照したり、該画像の画像データを用いて識別処理などを行ったりすることができる。
【０１５７】
上記第２の実施の形態において、復元情報付与部２１は、形態１、８、１２及び２０のいずれか１に記載の復元情報付与手段又は形態１９、２１及び２２のいずれか１に記載の復元情報付与ステップに対応し、画素データ復元部２０は、形態１５又は１７に記載の画素データ復元手段に対応する。
また、上記第２の実施の形態において、撮像システム１００における、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態１、２、３、８、１２及び１４のいずれか１に記載の撮像装置に対応し、画素データ合成部１５、復元対象画像選択部１６及び復元情報付与部１７から構成されるブロックは、形態２０に記載の画像処理装置に対応する。
【０１５８】
〔第２の実施の形態の変形例〕
次に、図１４〜図１７に基づき、本発明に係る撮像装置、撮像システム、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第２の実施の形態の変形例を説明する。
【０１５９】
本変形例は、復元情報を生成及び付与する前処理として、復元対象の画像（以下、復元対象画像と称す）の明るさを合成後の画像（以下、合成画像と称す）の明るさに近似する処理を行うことで、差分情報テーブルを構成する絶対差分量α及び相対差分量βの値をより細かい値にした点が上記第２の実施の形態と異なる。
具体的に、本変形例の撮像システム２００’は、上記第２の実施の形態の撮像システム２００に、上記明るさを近似する処理を行う近似部２３を追加し、更に、差分情報テーブル記憶部２２に記憶される差分情報テーブルが近似部２３の近似内容に応じたものとなっている。
【０１６０】
以下、上記第１及び第２の実施の形態と同様の構成部には同じ符号を付して説明を適宜省略し、上記第１及び第２の実施の形態と異なる部分を詳細に説明する。
まず、図１４に基づき、本実施の形態の撮像システム２００’の構成を説明する。
ここで、図１４は、撮像システム２００’の構成を示すブロック図である。
撮像システム２００’は、図１４に示すように、撮像部１０と、スイッチ（ＳＷ）１１と、第１〜第３メモリ１２〜１４と、画素データ合成部１５と、復元対象画像選択部１６と、復元情報付与部２１と、差分情報テーブル記憶部２２と、復元対象画像の明るさを合成画像の明るさに近似させる近似部２３と、画像保存部１８と、表示部１９と、画素データ復元部２０と、を含んで構成される。
【０１６１】
近似部２３は、復元対象画像選択部１６から入力された復元対象画素データを補正することで画像の入出力特性を調整し、復元対象画像の明るさを合成画像の明るさに近似させる。
本実施の形態において、近似部２３は、第１の明るさ近似処理として、復元対象画素データから生成される復元対象画像のガンマ値を調整することで、復元対象画像の明るさを合成画像の明るさに近似させる処理を実行することができる。
【０１６２】
更に、近似部２３は、第２の明るさ近似処理として、復元対象画素データから生成される復元対象画像のゲインを調整することで、復元対象画像の明るさを合成画像の明るさに近似させる処理を実行することができる。
ここで、撮像システム２００’の上記各構成部の機能は、ハードウェアのみ、ソフトウェアのみ、ハードウェアとソフトウェアとの組み合わせのいずれかで実現される。従って、撮像システム２００’は、ソフトウェアを用いて機能を実現する構成部がある場合に、図示していないが、ソフトウェアを実行するためのプロセッサ、ソフトウェアを記憶するためのＲＯＭ等の記憶媒体、ソフトウェアの実行に用いるＲＡＭ等の記憶媒体、各構成部とのデータの授受を行うためのバスなどを備える。
【０１６３】
また、上記各構成部は、１つの装置内に全てが含まれる構成（この場合は、撮像装置＝撮像システムとなる）としても良いし、撮像部１０、ＳＷ１１、第１〜第３メモリ１２〜１４、画素データ合成部１５、復元対象画像選択部１６、復元情報付与部２１、差分情報テーブル記憶部２２及び近似部２３を１つの装置内で構成（この場合は、撮像装置に対応する）し、画像保存部１８、表示部１９及び画素データ復元部２０は１つ又は複数の装置で構成しても良い。後者の場合は、撮像装置と、画像保存部１８、表示部１９及び画素データ復元部２０とは、有線又は無線で接続する。また、後者の場合に、差分情報テーブル記憶部２２を別々に有する構成としても良い。
【０１６４】
次に、図１５に基づき、近似部２３における第１の明るさ近似処理の流れを説明する。なお、第１の明るさ近似処理は、プロセッサによって、ＲＯＭ等の記憶媒体に記憶された専用のプログラムを実行することで実現される処理である。
ここで、図１５は、第１の明るさ近似処理を示すフローチャートである。
第１の明るさ近似処理が開始されると、図１５に示すように、まずステップＳ１００に移行し、近似部２３において、暫定ガンマに対応する変数γＴに「０．１」を代入して、ステップＳ１０２に移行する。
【０１６５】
ステップＳ１０２では、近似部２３において、最小値に対応する変数ｍｉｎに、最小値のとり得る最大値（最大階調値×画素数）よりも大きい値を代入して、ステップＳ１０４に移行する。
ステップＳ１０４では、近似部２３において、復元対象画像の画像データに対する、ガンマ調整後の復元対象の画素値に対応する変数Ｓ’（ｘ，ｙ）に、ガンマ調整前の復元対象の画素値Ｓ（ｘ，ｙ）をγＴ乗した値（ＳγT）を代入して、ステップＳ１０６に移行する。
【０１６６】
ステップＳ１０６では、近似部２３において、復元対象画像の画像データに対する、ガンマ調整後の復元対象の画素値に対応した変数Ｓ’（ｘ，ｙ）の値と、合成後画素データＰ（ｘ，ｙ）との差分値の絶対値の合計値を算出し、該算出値を差分量に対応する変数ｄｑに代入して、ステップＳ１０８に移行する。
ステップＳ１０８では、近似部２３において、差分量に対応する変数ｄｑの値が、変数ｍｉｎの値よりも小さいか否かを判定し、小さいと判定したときは、ステップＳ１１０に移行し、そうでない場合(No)は、ステップＳ１１４に移行する。
【０１６７】
ステップＳ１１０に移行した場合は、近似部２３において、変数ｍｉｎに変数ｄｑの値を代入して、ステップＳ１１２に移行する。
ステップＳ１１２では、近似部２３において、ガンマに対応する変数γに、暫定ガンマに対応する変数γＴの値を代入して、ステップＳ１１４に移行する。
ステップＳ１１４では、近似部２３において、変数γＴの値が「１０」になったか否かを判定し、「１０」になったと判定したときは、ステップＳ１１６に移行し、そうでない場合(No)は、ステップＳ１１８に移行する。
【０１６８】
ステップＳ１１６に移行した場合は、近似部２３において、ガンマ調整後の復元対象の画素値に対応する変数Ｓ’（ｘ，ｙ）に、ガンマ調整前の復元対象の画素値Ｓ（ｘ，ｙ）の値を変数γの値乗した値（Ｓγ）を代入して、処理を終了する。
一方、ステップＳ１１８に移行した場合は、近似部２３において、変数γＴに、現在のγＴの値に０．１を加算した値を代入して、ステップＳ１０４に移行する。
【０１６９】
次に、図１６に基づき、近似部２３における第２の明るさ近似処理の流れを説明する。なお、第２の明るさ近似処理は、プロセッサによって、ＲＯＭ等の記憶媒体に記憶された専用のプログラムを実行することで実現される処理である。
ここで、図１６は、第２の明るさ近似処理を示すフローチャートである。
第２の明るさ近似処理が開始されると、図１６に示すように、まずステップＳ２００に移行し、近似部２３において、暫定ゲインに対応する変数ＧＴに「０．１」を代入して、ステップＳ２０２に移行する。
【０１７０】
ステップＳ２０２では、近似部２３において、最小値に対応する変数ｍｉｎに、最小値のとり得る最大値（最大階調値×画素数）よりも大きい値を代入して、ステップＳ２０４に移行する。
ステップＳ２０４では、近似部２３において、復元対象画像の画像データに対する、ガンマ調整後の復元対象の画素値に対応する変数Ｓ’（ｘ，ｙ）に、ゲイン調整前の復元対象の画素値Ｓ（ｘ，ｙ）に変数ＧＴの値を乗じた値（Ｓ×ＧＴ）を代入して、ステップＳ２０６に移行する。
【０１７１】
ステップＳ２０６では、近似部２３において、復元対象画像の画像データに対する、ゲイン調整後の復元対象の画素値に対応した変数Ｓ’（ｘ，ｙ）の値と、合成後画素データＰ（ｘ，ｙ）との差分値の絶対値の合計値を算出し、該算出値を差分量に対応する変数ｄｑに代入して、ステップＳ２０８に移行する。
ステップＳ２０８では、近似部２３において、変数ｄｑの値が、変数ｍｉｎの値よりも小さいか否かを判定し、小さいと判定したときは、ステップＳ２１０に移行し、そうでない場合(No)は、ステップＳ２１４に移行する。
【０１７２】
ステップＳ２１０に移行した場合は、近似部２３において、変数ｍｉｎに変数ｄｑの値を代入して、ステップＳ２１２に移行する。
ステップＳ２１２では、近似部２３において、ゲインに対応する変数Ｇに、暫定ゲインに対応する変数ＧＴの値を代入して、ステップＳ２１４に移行する。
ステップＳ２１４では、近似部２３において、変数ＧＴの値が「１０」になったか否かを判定し、「１０」になったと判定したときは、ステップＳ２１６に移行し、そうでない場合(No)は、ステップＳ２１８に移行する。
【０１７３】
ステップＳ２１６に移行した場合は、近似部２３において、ゲイン調整後の復元対象の画素値に対応する変数Ｓ’（ｘ，ｙ）に、ゲイン調整前の復元対象の画素値Ｓ（ｘ，ｙ）の値にゲインに対応する変数Ｇの値を乗じた値（Ｓ×Ｇ）を代入して、処理を終了する。
一方、ステップＳ２１８に移行した場合は、近似部２３において、変数ＧＴに、現在のＧＴの値に０．１を加算した値を代入して、ステップＳ２０４に移行する。
【０１７４】
次に、図１７に基づき、本実施の形態の動作を説明する。
ここで、図１７は、明るさ近似処理を前提にした差分情報テーブルの一例を示す図である。
ここで、復元対象画像選択部１６までの動作は、上記第１の実施の形態と同様となるので説明を省略する。
【０１７５】
以下、近似部２３の動作から説明する。
まず、第１の近似処理の実際の動作を説明する。
ここでは、画素データが８ビットの階調値（０〜２５５）を有することとする。
近似部２３は、画素データ合成部１５から合成後画素データが入力され、復元対象画像選択部１６から復元対象画素データが入力されると、暫定ガンマに対応する変数γＴに初期値「０．１」を代入し（ステップＳ１００）、最小値に対応する変数ｍｉｎに、初期値として、ここでは「２５５×復元対象画像の画素数」よりも大きな値を代入する（ステップＳ１０２）。
【０１７６】
次に、復元対象画像の各復元対象画素データＳ（ｘ，ｙ）の値（輝度値）をγＴの値乗した値（２５５×（Ｓ（ｘ，ｙ）／２５５）0.1）を算出し、該算出値を、ガンマ調整後の復元対象画素データに対応する変数Ｓ’（ｘ，ｙ）に代入する（ステップＳ１０４）。この処理は、復元対象画像の全画素に対して行う。
復元対象画像の全画素に対する現在の暫定ガンマによる調整後の画素値が算出されると、次に、復元対象画像のガンマ調整後の復元対象画素データＳ’（ｘ，ｙ）の値と、合成後画素データＰ（ｘ，ｙ）の値との差分値を算出する。具体的に、同じ画素位置の両者の画素値の差分値（Ｓ’（ｘ，ｙ）−Ｐ（ｘ，ｙ））を全画素分算出する。そして、これら全画素分の差分値の絶対値の総和（合計）を算出し、該算出値を差分量として変数ｄｑに代入する（ステップＳ１０６）。
【０１７７】
そして、変数ｄｑの値が、変数ｍｉｎの値よりも小さいか否かを判定する（ステップＳ１０８）。現時点では、変数ｍｉｎに初期値が代入されているので、必ず変数ｄｑの値が小さくなる（ステップＳ１０８の「Ｙｅｓ」の分岐）。従って、変数ｍｉｎに、変数ｄｑの値を代入し（ステップＳ１１０）、変数γに現在の変数γＴの値「０．１」を代入する（ステップＳ１１２）。
【０１７８】
次に、変数γＴの値が「１０」になったか否かを判定する（ステップＳ１１４）。現時点では、変数γＴの値は「０．１」となっているので（ステップＳ１１４の「Ｎｏ」の分岐）、変数γＴの値を０．１増やす（ステップＳ１１８）。この時点で、変数γの値は「０．１」、変数γＴの値は「０．２」となる。
上記一連の処理を繰り返し行うことで、１回前の差分量（変数ｍｉｎの値）と、今回のガンマ調整後の差分量（変数ｄｑの値）との大小比較が繰り返し行われ、今回の差分量の方が小さい間は変数ｍｉｎの値が今回の差分量の値に更新されると共に、変数γの値が変数γＴの値に更新される。一方、今回の差分量が１回前の差分量以上となった場合は、更新処理を行わずに、変数γＴの値が１０になるまでループを繰り返し、変数γＴの値が１０になると、変数Ｓ’（ｘ，ｙ）に、復元対象画素データＳ（ｘ，ｙ）の値を変数γの値乗した値（Ｓ（ｘ，ｙ）γ）を代入して処理を終了する（ステップＳ１１６）。
【０１７９】
これにより、復元対象画像の全画素に対応する復元対象画素データが、調整後のガンマ値で補正される。
つまり、上記一連の処理を繰り返し行うことによって、ガンマ値を、復元対象画像の輝度値と合成画像の輝度値との差分値の絶対値の合計が最小値（できるだけ小さい値）となる値に調整し、この調整後のガンマ値で復元対象画素データを補正することで、復元対象画像の明るさを合成画像の明るさに近似させる。
【０１８０】
次に、第２の近似処理の動作について説明する。
近似部２３は、画素データ合成部１５から合成後画素データが入力され、復元対象画像選択部１６から復元対象画素データが入力されると、暫定ゲインに対応する変数ＧＴに初期値「０．１」を代入し（ステップＳ２００）、最小値に対応する変数ｍｉｎに、初期値として、ここでは「２５５×復元対象画像の画素数」よりも大きな値を代入する（ステップＳ２０２）。
【０１８１】
次に、復元対象画像の各復元対象画素データＳ（ｘ，ｙ）の値（輝度値）を変数ＧＴの値で乗じた値（Ｓ（ｘ，ｙ）×０．１）を算出し、該算出値を、ゲイン調整後の復元対象画素データに対応する変数Ｓ’（ｘ，ｙ）に代入する（ステップＳ２０４）。この処理は、復元対象画像の全画素に対して行う。
復元対象画像の全画素に対する現在の暫定ゲインによる調整後の画素値が算出されると、次に、復元対象画像のゲイン調整後の復元対象画素データＳ’（ｘ，ｙ）の値と、合成後画素データＰ（ｘ，ｙ）の値との差分値を算出する。そして、全画素分の差分値の絶対値の総和（合計）を算出し、該算出値を差分量として変数ｄｑに代入する（ステップＳ２０６）。
【０１８２】
そして、変数ｄｑの値が、変数ｍｉｎの値よりも小さいか否かを判定する（ステップＳ２０８）。現時点では、変数ｍｉｎに初期値が代入されているので、必ず変数ｄｑの値が小さくなる（ステップＳ２０８の「Ｙｅｓ」の分岐）。従って、変数ｍｉｎに、変数ｄｑの値を代入し（ステップＳ２１０）、変数Ｇに現在の変数ＧＴの値「０．１」を代入する（ステップＳ２１２）。
【０１８３】
次に、変数ＧＴの値が「１０」になったか否かを判定する（ステップＳ２１４）。現時点では、変数ＧＴの値は「０．１」となっているので（ステップＳ２１４の「Ｎｏ」の分岐）、変数ＧＴの値を０．１増やす（ステップＳ２１８）。この時点で、変数Ｇの値は「０．１」、変数ＧＴの値は「０．２」となる。
上記一連の処理を繰り返し行うことで、１回前の差分量（変数ｍｉｎの値）と、今回のゲイン調整後の差分量（変数ｄｑの値）との大小比較が繰り返し行われ、今回の差分量の方が小さい間は変数ｍｉｎの値が今回の差分量の値に更新される共に、変数Ｇの値が変数ＧＴの値に更新される。一方、今回の差分量が１回前の差分量以上となった場合は、更新処理を行わずに、変数ＧＴの値が１０になるまでループを繰り返し、変数ＧＴの値が１０になると、変数Ｓ’（ｘ，ｙ）に、復元対象画素データＳ（ｘ，ｙ）の値を変数Ｇの値で乗じた値（Ｓ（ｘ，ｙ）×Ｇ）を代入して処理を終了する（ステップＳ２１６）。
【０１８４】
これにより、復元対象画像の全画素に対応する復元対象画素データが、調整後のゲインで補正される。
つまり、上記一連の処理を繰り返し行うことによって、ゲインを、復元対象画像の輝度値と合成画像の輝度値との差分値の絶対値の合計が最小値（できるだけ小さい値）となる値に調整し、この調整後のゲインで復元対象画素データを補正することで、復元対象画像の明るさを合成画像の明るさに近似させる。
【０１８５】
上記第１の近似処理又は第２の近似処理のいずれかによって、復元対象画像の明るさを合成画像の明るさに近似させる前処理を実行することで、この復元対象画素データＳ’と合成後画素データＰとの差分値（Ｓ’−Ｐ）は、前処理をしない場合の差分値と比較して小さな値となる。従って、差分情報テーブルの値を、図１７に示すように、上記第２の実施の形態における図１３に示す値よりも細かく（各値を小さく）することができる。
【０１８６】
例えば、合成後画素データＰの画素値が「１４０」、復元対象画素データＳの画素値が「８５」であったとすると、上記前処理を行わない場合は、絶対差分量αは「α＝８５−１４０＝−５５」となり、相対差分量βは「β＝８５／１４０≒６１[％]」となる。
一方、上記前処理によって、調整後のガンマ値が「０．６」になったとすると、復元対象画素データＳの画素値「８５」は、「Ｓ’＝２５５×（８５／２５５）0.6≒１３２」と補正されることになる。従って、絶対差分量αは「α＝１３２−１４０＝−８」となり、相対差分量βは「β＝１３２／１４０≒９４[％]」となる。
【０１８７】
従って、復元情報生成部２１ａは、差分情報を絶対差分量αにした場合は、図１７に示す値を有する差分情報テーブルから、絶対差分量α「−８」に最も近い「０」に対応する検出ビット列「０１１」を取得する。
また、差分情報を相対差分量βにした場合は、図１７に示す値を有する差分情報テーブルから、相対差分量β「９４[％]」と同じ値の「９４[％]」に対応する検出ビット列「１００」を取得する。
【０１８８】
以降の処理は、上記第２の実施の形態と同様となるので説明を省略する。
以上より、本変形例の撮像システム２００’は、近似部２３において、復元対象画素データから生成される復元対象画像の明るさを、合成後画素データから生成される合成画像の明るさに近似することができる。
また、明るさ近似処理に対応する差分情報テーブルの値を用いて、復元情報の生成及び付与を行うことができる。
【０１８９】
これにより、復元対象画素データと合成後画素データとの差を小さくできるので、差分情報テーブルの値を細かい値にすることができると共に、テーブルの値同士の差も小さくできるので、より高精度に復元対象画像の復元をすることができる差分情報が得られる復元情報を付与することができる。
上記第２の実施の形態の変形例において、近似部２３は、形態９、１０及び１１のいずれか１に記載の近似手段に対応する。
【０１９０】
なお、上記各実施の形態並びに各変形例においては、撮像部１０を、ＣＣＤイメージセンサを有する構成としたが、これに限らず、各画素がＣＭＯＳ素子で構成されるＣＭＯＳイメージセンサを有する構成など他の構成としても良い。ＣＭＯＳイメージセンサを有する構成であれば、各画素から非破壊で画素信号を読み出すことができるので、１フレームの期間において、複数種類の露光時間に対応する画素信号を読み出すことができる。これにより、例えば、ローリングシャッタ方式の電子シャッタ機能を有するものであれば、画像のライン単位で順次露光時間の異なる画素信号を読み出すことができるようになるため、各露光時間の画素データを全画素分取得してから処理を行うのと比較して、上記各処理を高速に行うことができる。
【０１９１】
また、上記第１の実施の形態の変形例２においては、各画素データの周波数成分として、エッジ量を抽出する構成としたが、これに限らず、ＦＦＴを用いて周波数成分を抽出するなど他の構成としても良い。
また、上記各実施の形態並びに各変形例においては、輝度ヒストグラムや周波数成分に基づき、復元対象の画素データを選択する構成としたが、これに限らず、予め決められた露光時間に対応する画素データを復元対象として選択する構成としても良いし、全ての露光時間に対応する画素データを復元対象として選択する構成としても良い。
【０１９２】
また、上記各実施の形態並びに各変形例においては、露光時間Ｔ１、Ｔ２、Ｔ３を、それぞれ１５Ｈ、１００Ｈ、５００Ｈとしたが、これに限らず、Ｔ１＜Ｔ２＜Ｔ３の関係が保たれれば、他の露光時間としても良い。また、この露光時間の設定をユーザが任意に設定できる構成としても良いし、被写体の種類や撮像環境に応じて動的に変化させる構成としても良い。
【図面の簡単な説明】
【０１９３】
【図１】本発明に係る撮像システム１００の構成を示すブロック図である。
【図２】復元対象画像選択部１６の詳細な構成を示すブロック図である。
【図３】復元情報付与部１７の詳細な構成を示すブロック図である。
【図４】直線合成した合成後画素データと、ガンマ補正によってハイライト部を圧縮した合成後画素データとの関係を示す図である。
【図５】（ａ）〜（ｄ）は、理想形のヒストグラムと、露光時間Ｔ１〜Ｔ３に対応する画像のヒストグラムとの一例を示す図である。
【図６】復元情報の生成処理及び復元情報の埋込処理の概念の一例を示す図である。
【図７】（ａ）〜（ｆ）は、画素データ合成処理、復元対象画像選択処理、復元情報の埋込処理、復元対象画像の復元処理を含む一連の処理の流れを示す図である。
【図８】復元対象画像選択部１６’の詳細な構成を示すブロック図である。
【図９】（ａ）は、ハイパスフィルタの一例を示す図であり、（ｂ）は処理対象画素とその周辺８画素の画素値の一例を示す図である。
【図１０】図９（ａ）のハイパスフィルタでフィルタ処理後の各露光時間の画像及び合成後の画像の一例を示す図である。
【図１１】撮像システム２００の構成を示すブロック図である。
【図１２】復元情報付与部２１の詳細な構成を示すブロック図である。
【図１３】差分情報テーブルの一例を示す図である。
【図１４】撮像システム２００’の構成を示すブロック図である。
【図１５】第１の明るさ近似処理を示すフローチャートである。
【図１６】第２の明るさ近似処理を示すフローチャートである。
【図１７】明るさ近似処理を前提にした差分情報テーブルの一例を示す図である。
【符号の説明】
【０１９４】
１００，２００，２００’…撮像システム、１０…撮像部、１１…ＳＷ、１２…第１メモリ、１３…第２メモリ、１４…第３メモリ、１５…画素データ合成部、１６，１６’…復元対象画像選択部、１７，２１…復元情報付与部、１８…画像保存部、１９…表示部、２０…画素データ復元部、２２…差分情報テーブル記憶部、２３…近似部、１６ａ…ヒストグラム生成部、１６ｂ，１６ｅ…比較部、１６ｃ…画素データ選択部、１７ａ，２１ａ…復元情報生成部、１７ｂ，２１ｂ…復元情報埋込部
【特許請求の範囲】
【請求項１】
受光した光を電荷に変換して蓄積する複数の光電変換素子をマトリックス状に配列した構成の光電変換部と、前記光電変換素子の露光時間を制御する機能とを備えた撮像装置であって、
前記光電変換素子の構成する各画素から、複数種類の露光時間で露光された時の前記複数種類の露光時間に対応する画素信号を読み出す画素信号読出手段と、
前記画素信号読出手段で読み出した、前記複数種類の露光時間に対応する画素信号のデータである画素データを前記画素毎に合成する画素データ合成手段と、
前記画素データ合成手段で合成後の画素データに、前記複数種類の露光時間における所定の露光時間に対応する前記合成前の画素データを復元する際に用いる復元情報を付与する復元情報付与手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記復元情報は、前記合成前の画素データが有する、単色の輝度情報と色差情報と色信号情報とのうち少なくともいずれか１つを含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記復元情報は、前記合成前の画素データが有する輝度情報と前記合成後の画素データが有する輝度情報との差分値の情報、前記合成前の画素データが有する色差情報と前記合成後の画素データが有する色差情報との差分値の情報、及び前記合成前の画素データが有する色信号情報と前記合成後の画素データが有する色信号情報との差分値の情報のうち少なくともいずれか１つを含むことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記復元情報付与手段は、前記合成後の画素データにおける下位のＮＣビットのビット列を、前記復元情報のＮビットのビット列を圧縮したＮＣビットのビット列（ＮＣ＜Ｎ）に入れ替えることを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記復元情報付与手段は、前記画素データが複数色の色信号情報を有するときに、前記合成前の画素データが有する前記複数色の色信号情報を復元する際に用いる前記複数色の各色に対応する復元情報を、前記合成後の画素データが有する各色の色信号情報にそれぞれ付与することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記復元情報付与手段は、前記画素データが複数色の色信号情報を含むときに、前記合成前の画素データの前記複数色のうちのいずれか一色の色信号情報のビット列を前記複数色の色数分に分割し、前記合成後の各色の画素データの下位側のビット列を、前記分割した各ビット列に入れ替えることで、前記合成後の画素データに前記復元情報を付与することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項７】
前記復元情報付与手段は、前記画素データがＲ（Red）、Ｇ（Green）、Ｂ（Blue）の色信号情報を有するときに、前記合成前の画素データが有する色信号情報を、輝度情報及び色差情報に分け、該輝度情報を３つに分割し、前記合成後の各色の画素データの下位側のビット列を、前記分割した各ビット列に入れ替えることで、前記合成後の画素データに前記復元情報を付与することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項８】
前記画素データのビット数よりも少ないビット数Ｌで表現される各ビット列に対応付けて、それぞれ異なる数値の前記差分値の情報を記憶した差分情報テーブルを備え、
前記復元情報付与手段は、前記合成後の画素データの下位側のＬビットを、前記差分情報テーブルにおける、前記合成前の画素データの前記復元情報に最も近い差分値の情報に対応付けられたビット列に入れ替えることを特徴とする請求項３に記載の撮像装置。
【請求項９】
前記合成前の画素データから生成される画像の明るさの情報を、前記合成後の画素データから生成される画像の明るさの情報に近似する近似手段を備えることを特徴とする請求項３乃至請求項８のいずれか１項に記載の撮像装置。
【請求項１０】
前記近似手段は、前記合成前の画素データから生成される画像のガンマ値を調整することで、該画像の明るさの情報を、前記合成後の画素データから生成される画像の明るさの情報に近似することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記近似手段は、前記合成前の画素データから生成される画像のゲインを調整することで、該画像の明るさの情報を、前記合成後の画素データから生成される画像の明るさの情報に近似することを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記複数種類の露光時間に対応する画素データに基づき、該複数種類の露光時間に対応する画素データの中から、復元対象とする露光時間の画素データを選択する復元画像選択手段を備え、
前記復元情報付与手段は、前記復元画像選択手段で決定された前記復元対象の画素データの復元情報を、前記合成後の画素データに付与することを特徴とする請求項１乃至請求項１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記復元画像選択手段は、前記合成前の画素データから構成される露光時間毎の画像の輝度情報のヒストグラムに基づき、前記復元対象とする露光時間に対応する画素データを選択することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記復元画像選択手段は、前記合成前の画素データから構成される露光時間毎の画像の周波数情報に基づき、前記復元対象とする露光時間に対応する画素データを選択することを特徴とする請求項１２に記載の撮像装置。
【請求項１５】
請求項１乃至請求項１４のいずれか１項に記載の撮像装置と、
前記合成後の画素データに付与された復元情報に基づき、前記合成前の画素データを復元する画素データ復元手段と、を備えることを特徴とする撮像システム。
【請求項１】
受光した光を電荷に変換して蓄積する複数の光電変換素子をマトリックス状に配列した構成の光電変換部と、前記光電変換素子の露光時間を制御する機能とを備えた撮像装置であって、
前記光電変換素子の構成する各画素から、複数種類の露光時間で露光された時の前記複数種類の露光時間に対応する画素信号を読み出す画素信号読出手段と、
前記画素信号読出手段で読み出した、前記複数種類の露光時間に対応する画素信号のデータである画素データを前記画素毎に合成する画素データ合成手段と、
前記画素データ合成手段で合成後の画素データに、前記複数種類の露光時間における所定の露光時間に対応する前記合成前の画素データを復元する際に用いる復元情報を付与する復元情報付与手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記復元情報は、前記合成前の画素データが有する、単色の輝度情報と色差情報と色信号情報とのうち少なくともいずれか１つを含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記復元情報は、前記合成前の画素データが有する輝度情報と前記合成後の画素データが有する輝度情報との差分値の情報、前記合成前の画素データが有する色差情報と前記合成後の画素データが有する色差情報との差分値の情報、及び前記合成前の画素データが有する色信号情報と前記合成後の画素データが有する色信号情報との差分値の情報のうち少なくともいずれか１つを含むことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記復元情報付与手段は、前記合成後の画素データにおける下位のＮＣビットのビット列を、前記復元情報のＮビットのビット列を圧縮したＮＣビットのビット列（ＮＣ＜Ｎ）に入れ替えることを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記復元情報付与手段は、前記画素データが複数色の色信号情報を有するときに、前記合成前の画素データが有する前記複数色の色信号情報を復元する際に用いる前記複数色の各色に対応する復元情報を、前記合成後の画素データが有する各色の色信号情報にそれぞれ付与することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記復元情報付与手段は、前記画素データが複数色の色信号情報を含むときに、前記合成前の画素データの前記複数色のうちのいずれか一色の色信号情報のビット列を前記複数色の色数分に分割し、前記合成後の各色の画素データの下位側のビット列を、前記分割した各ビット列に入れ替えることで、前記合成後の画素データに前記復元情報を付与することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項７】
前記復元情報付与手段は、前記画素データがＲ（Red）、Ｇ（Green）、Ｂ（Blue）の色信号情報を有するときに、前記合成前の画素データが有する色信号情報を、輝度情報及び色差情報に分け、該輝度情報を３つに分割し、前記合成後の各色の画素データの下位側のビット列を、前記分割した各ビット列に入れ替えることで、前記合成後の画素データに前記復元情報を付与することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項８】
前記画素データのビット数よりも少ないビット数Ｌで表現される各ビット列に対応付けて、それぞれ異なる数値の前記差分値の情報を記憶した差分情報テーブルを備え、
前記復元情報付与手段は、前記合成後の画素データの下位側のＬビットを、前記差分情報テーブルにおける、前記合成前の画素データの前記復元情報に最も近い差分値の情報に対応付けられたビット列に入れ替えることを特徴とする請求項３に記載の撮像装置。
【請求項９】
前記合成前の画素データから生成される画像の明るさの情報を、前記合成後の画素データから生成される画像の明るさの情報に近似する近似手段を備えることを特徴とする請求項３乃至請求項８のいずれか１項に記載の撮像装置。
【請求項１０】
前記近似手段は、前記合成前の画素データから生成される画像のガンマ値を調整することで、該画像の明るさの情報を、前記合成後の画素データから生成される画像の明るさの情報に近似することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記近似手段は、前記合成前の画素データから生成される画像のゲインを調整することで、該画像の明るさの情報を、前記合成後の画素データから生成される画像の明るさの情報に近似することを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記複数種類の露光時間に対応する画素データに基づき、該複数種類の露光時間に対応する画素データの中から、復元対象とする露光時間の画素データを選択する復元画像選択手段を備え、
前記復元情報付与手段は、前記復元画像選択手段で決定された前記復元対象の画素データの復元情報を、前記合成後の画素データに付与することを特徴とする請求項１乃至請求項１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記復元画像選択手段は、前記合成前の画素データから構成される露光時間毎の画像の輝度情報のヒストグラムに基づき、前記復元対象とする露光時間に対応する画素データを選択することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記復元画像選択手段は、前記合成前の画素データから構成される露光時間毎の画像の周波数情報に基づき、前記復元対象とする露光時間に対応する画素データを選択することを特徴とする請求項１２に記載の撮像装置。
【請求項１５】
請求項１乃至請求項１４のいずれか１項に記載の撮像装置と、
前記合成後の画素データに付与された復元情報に基づき、前記合成前の画素データを復元する画素データ復元手段と、を備えることを特徴とする撮像システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００９−１７３３６（Ｐ２００９−１７３３６Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７８１３９（Ｐ２００７−１７８１３９）
【出願日】平成１９年７月６日（２００７．７．６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年７月６日（２００７．７．６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]