撮像制御装置、撮像装置及び撮像制御方法
【課題】ＨＤＲ画像データの輝度の階調範囲を圧縮する処理において発生する時間ロスを低減するのに好適な撮像制御装置、撮像装置及び撮像制御方法を提供する。
【解決手段】撮像制御装置２０を、ＨＤＲ信号処理部３０と、フレームメモリ４０とを含む構成とし、ＨＤＲ信号処理部３０において、超短露光時間Ｔ１及び短露光時間Ｔ２で撮像して得られた画素データＳ１及びＳ２を、標準露光時間Ｔ３で撮像して得られた画素データＳ３よりも先行して取得し、画素データＳ２の取得タイミングを開始タイミングとして、画素データＳ１及びＳ２から、その照明光成分を分離した輝度画像データＰを生成し、この輝度画像データＰからトーンマッピング用のゲインを生成する。一方、画素データＳ３の取得タイミングを開始タイミングとして画素データＳ１〜Ｓ３からＨＤＲ画像データを生成し、この画像データに対して前記ゲインを乗算することでトーンマッピングを施す。
【解決手段】撮像制御装置２０を、ＨＤＲ信号処理部３０と、フレームメモリ４０とを含む構成とし、ＨＤＲ信号処理部３０において、超短露光時間Ｔ１及び短露光時間Ｔ２で撮像して得られた画素データＳ１及びＳ２を、標準露光時間Ｔ３で撮像して得られた画素データＳ３よりも先行して取得し、画素データＳ２の取得タイミングを開始タイミングとして、画素データＳ１及びＳ２から、その照明光成分を分離した輝度画像データＰを生成し、この輝度画像データＰからトーンマッピング用のゲインを生成する。一方、画素データＳ３の取得タイミングを開始タイミングとして画素データＳ１〜Ｓ３からＨＤＲ画像データを生成し、この画像データに対して前記ゲインを乗算することでトーンマッピングを施す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に係り、特に、画像データのダイナミックレンジを圧縮するのにかかる時間を低減するのに好適な撮像制御装置、撮像装置及び撮像制御方法等に関する。
【背景技術】
【０００２】
従来、長さの異なる複数の露光時間で撮像して得られた画像データを合成して、ダイナミックレンジを拡大した画像データ（ＨＤＲ画像データ）を生成する技術がある。しかし、ＨＤＲ画像データは、例えば、２０ビットなどの非常に広いレンジを有するため、そのままのレンジでは、例えば、８ビットなどの比較的狭いレンジを有する、既存の多くの表示装置において表示できない。そのため、ＨＤＲ画像データのダイナミックレンジを、既存の表示装置のレンジに合わせて変換する必要があった。
【０００３】
ＨＤＲ画像データのダイナミックレンジを変換する技術としては、例えば、特許文献１に記載の高ダイナミックレンジ（ＨＤＲ）画像を低ダイナミックレンジ（ＬＤＲ）画像に変換する方法がある。
一般に、ＨＤＲ画像を高コントラストでＬＤＲ画像に変換する技術は、トーンマッピング、ダイナミックレンジ圧縮技術などと呼ばれている。これらは、暗部（シャドウ）から明部（ハイライト）まで良好な色再現性を維持したままレンジ圧縮を行う技術である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２８４５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１を含む従来技術において、トーンマッピングは計算機上で実現される。ＨＤＲ（High Dynamic Range）画像データを得るためには、デジタルカメラ等によって、長さの異なる複数の露光時間で撮像した複数の画像データが必要である。または、感度の異なる複数の撮像部（画素群）を有するデジタルカメラ等で撮像した複数の画像デーが必要である。そして、従来は、これら複数の画像データを全て取得してから計算機においてＨＤＲ画像データの生成、及びトーンマッピング等の画像処理を順に行っていた。
【０００６】
また、トーンマッピングに用いる、ＨＤＲ画像データから照明光成分を分離（抽出）して得られる「ぼかし」画像データを得るために、ＨＤＲ画像データに対してローパスフィルタ（ＬＰＦ）を用いたフィルタ処理が必要となる。このフィルタ処理は、計算機のリソースを多量に必要にすると共に、処理時間も大きい。従って、ぼかし画像の生成における時間ロスが大きくなり、実時間でＨＤＲ画像データをＬＤＲ画像データに変換して動画像を作成するような場合に、その実現が困難となっている。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものである。本発明の幾つかの態様によれば、画像データの輝度の階調範囲（ダイナミックレンジ）を圧縮する処理において発生する時間ロスを低減するのに好適な撮像制御装置、撮像装置及び撮像制御方法を提供できる。
【課題を解決するための手段】
【０００７】
〔形態１〕 上記目的を達成するために、形態１の撮像制御装置は、
撮像素子において長さの異なる複数の露光時間で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得手段と、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得手段と、
前記画像データ取得手段で取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成手段と、
前記ゲイン分布生成手段で生成したゲイン分布に基づき、前記合成画像データ取得手段で取得した前記第１の合成画像データの輝度の階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換手段と、を備える。
【０００８】
このような構成であれば、画像データ取得手段によって、撮像素子において長さの異なる複数の露光時間で撮像して得られた複数の画像データのうち１つが取得される。更に、合成画像データ取得手段によって、前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データ（例えば、ＨＤＲ画像データ）が取得される。これら画像データが取得されると、ゲイン分布生成手段によって、第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布が生成される。ゲイン分布が生成されると、階調変換手段によって、第１の合成画像データの輝度の階調範囲が、当該階調範囲より狭い範囲に変換される。
【０００９】
例えば、ゲイン分布生成手段において、第１の合成画像データの各画素に対応する輝度成分のうち、反射率成分を保持した状態で照明光成分を圧縮するゲイン分布を生成する。そして、階調変換手段において、この生成したゲイン分布を用いて、第１の合成画像データに対して階調変換（トーンマッピング）を施す。
以上より、第１の合成画像データの生成に係る複数の画像データのうち少なくとも１に基づき、ゲイン分布を生成することができるので、全てのダイナミックレンジにおいて階調性を維持し、且つ色再現性の良い階調変換を施すことができるという効果が得られる。
【００１０】
また、例えば、前記複数の画像データのうち、より先に撮像素子から出力される画像データを、ゲイン分布の生成に用いるようにすることで、第１の合成画像データを生成する手段が第１の合成画像データを生成する前に、ゲイン分布生成手段でゲイン分布の生成処理を開始することができる。
これによって、第１の合成画像データの生成が終了する時間と、ゲイン分布の生成が終了する時間との遅延差を低減することができるという効果が得られる。
ここで、上記合成画像データ取得手段は、撮像制御装置の内部に第１の合成画像データを生成する機能部がある場合は、その機能部から第１の合成画像データを取得し、撮像素子などの外部装置が第１の合成画像データを生成する機能を有する場合は、外部装置から第１の合成画像データを取得する。
【００１１】
〔形態２〕 更に、形態２の撮像制御装置は、形態１の撮像制御装置において、
前記撮像素子は、各画素から蓄積電荷を維持したまま前記蓄積電荷に応じた画素信号を読み出す非破壊読み出し方式で画素信号を読み出すことが可能であり、露光時間の短い順に前記長さの異なる複数の露光時間で前記各画素を露光すると共に、露光した各画素から前記非破壊読み出し方式で前記画素信号を読み出し、読み出した順番に前記画素信号のデータを出力する。
【００１２】
このような構成であれば、撮像素子において、各画素から非破壊方式で画素信号を読み出すことができるので、最長の露光時間に対応する画素信号を読み出すまでの間に、より短い露光時間から順に各露光時間に対応する画素信号の読み出しを行うことができる。
従って、第１の合成画像データの生成に用いる前記２以上の画像データの取得時間を低減することができる。更に、より短い露光時間に対応した画像データを、ゲイン分布の生成に用いるようにすることで、該短い露光時間の画像データを取得してから第１の合成画像データが生成されるまでの時間（ゲイン分布を生成する時間）をより長く確保することができる。
【００１３】
これによって、第１の合成画像データの生成が終了する時間と、ゲイン分布の生成が終了する時間との遅延差を、より低減することができるという効果が得られる。
特に、車載カメラやマシンビジョンなどのように実時間性が要求されるアプリケーションにおいて、実時間に近いタイミングで出力装置の階調に合わせて階調変換された合成画像（映像）の取得を行うのに有効である。
【００１４】
〔形態３〕 更に、形態３の撮像制御装置は、形態１又は形態２の撮像制御装置において、
前記撮像して得られた複数の画像データのうち、少なくとも２以上の画像データを合成して前記第１の合成画像データを生成する合成画像データ生成手段を備える。
このような構成であれば、長さの異なる複数の露光時間で撮像して得られた複数の画像データのうち、少なくとも２以上の画像データを取得し、取得した画像データを合成して第１の合成画像データ生成することができる。
また、この構成の場合に、合成画像データ取得手段は、合成画像データ生成手段で生成した第１の合成画像データを取得する。
【００１５】
〔形態４〕 更に、形態４の撮像制御装置は、形態３の撮像制御装置において、
前記画像データ取得手段は、前記第１の合成画像データの生成に用いられる前記少なくとも２以上の画像データのうち、最長の露光時間の画像データよりも短い露光時間の画像データを、少なくとも、前記合成画像データ生成手段が前記最長の露光時間の画像データを取得するよりも先行して取得し、
前記ゲイン分布生成手段は、前記先行して取得した短い露光時間の画像データに基づき、前記ゲイン分布を生成する。
【００１６】
このような構成であれば、ゲイン分布生成手段が、撮像素子から最長の露光時間よりも短い露光時間の画像データを取得してから、合成画像データ生成手段が、撮像素子から最長の露光時間の画像データを取得するまでの間をゲイン分布の生成に用いることができる。
これにより、撮像素子が、最長の露光時間の画像データを出力するまでの時間を有効に活用することができる。従って、第１の合成画像データの階調範囲が変換されるまでにかかる時間をより低減することができるという効果が得られる。
【００１７】
〔形態５〕 一方、上記目的を達成するために、形態５の撮像制御装置は、
感度の異なる複数の画素群を有する撮像素子において前記複数の画素群で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得手段と、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得手段と、
前記画像データ取得手段で取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成手段と、
前記ゲイン分布生成手段で生成したゲイン分布に基づき、前記合成画像データ取得手段で取得した前記第１の合成画像データの輝度の階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換手段と、を備える。
【００１８】
このような構成であれば、画像データ取得手段によって、撮像素子において感度の異なる複数の画素郡で撮像して得られた複数の画像データのうち少なくとも１の画像データが取得される。更に、合成画像データ取得手段によって、前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データ（例えば、ＨＤＲ画像データ）が取得される。これら画像データが取得されると、ゲイン分布生成手段によって、第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布が生成される。ゲイン分布が生成されると、階調変換手段によって、ゲイン分布に基づき、第１の合成画像データの輝度の階調範囲が、当該階調範囲より狭い範囲に変換される。
【００１９】
ここで、人間の目に入る光は物体の反射率と照明光の積で決まり、人の目の知覚は反射率と強い相関を持つ。このことから、例えば、ゲイン分布生成手段において、第１の合成画像データの各画素に対応する輝度成分のうち、反射率成分を保持した状態で照明光成分を圧縮するゲイン分布を生成する。そして、階調変換手段において、この生成したゲイン分布を用いて、第１の合成画像データに対して階調変換（トーンマッピング）を施す。
以上より、第１の合成画像データの生成に係る複数の画像データのうち少なくとも１に基づき、ゲイン分布を生成することができるので、全てのダイナミックレンジにおいて階調性を維持し、且つ色再現性の良い階調変換を施すことができるという効果が得られる。
【００２０】
また、例えば、前記複数の画像データのうち、より先に撮像素子から出力される画像データを、ゲイン分布の生成に用いるようにすることで、第１の合成画像データを生成する手段が第１の合成画像データを生成する前に、ゲイン分布生成手段でゲイン分布の生成処理を開始することができる。
これによって、第１の合成画像データの生成が終了する時間と、ゲイン分布の生成が終了する時間との遅延差を低減することができるという効果が得られる。
【００２１】
〔形態６〕 更に、形態６の撮像制御装置は、形態５の撮像制御装置において、
前記撮像して得られた複数の画像データのうち、少なくとも２以上の画像データを合成して前記第１の合成画像データを生成する合成画像データ生成手段を備える。
このような構成であれば、感度の異なる複数の画素郡で撮像して得られた複数の画像データのうち、少なくとも２以上の画像データを取得し、取得した画像データを合成して第１の合成画像データ生成することができる。
【００２２】
〔形態７〕 更に、形態７の撮像制御装置は、形態１乃至６のいずれか１の撮像制御装置において、
前記ゲイン分布生成手段は、処理対象の画像データを構成する複数の画素データの各々に対して前記ゲインを算出して前記ゲイン分布を生成する。
このような構成であれば、画像データ取得手段で取得した画像データに基づき、第１の合成画像データの輝度の階調範囲を圧縮するためのゲインが、処理対象の画像データの複数の画素データの各々に対して算出される。
これによって、第１の合成画像データの輝度の階調範囲の圧縮を、精度良く行うことができるという効果が得られる。
【００２３】
〔形態８〕 更に、形態８の撮像制御装置は、形態１乃至７のいずれか１の撮像制御装置において、
前記ゲイン分布生成手段は、前記画像データ取得手段で取得した画像データに対して、その画像の照明光成分を抽出するフィルタ処理を施して輝度画像データを生成し、生成した輝度画像データに基づき、前記ゲイン分布を生成する。
このような構成であれば、画像データ取得手段で取得した画像データに対してフィルタ処理を施すことによって、取得した画像データの画像の照明光成分を簡易に得ることができるという効果が得られる。
具体的に、反射率成分を保持して照明光成分を圧縮するゲイン係数の分布を生成するために、照明光成分を通過させて反射率成分を遮断又は低減させる性能を有したフィルタを用いてフィルタ処理を行うことが望ましい。
【００２４】
〔形態９〕 更に、形態９の撮像制御装置は、形態１乃至７のいずれか１の撮像制御装置において、
前記画像データ取得手段は、前記第１の合成画像データの生成に用いる３以上の画像データのうちから２以上の画像データを取得し、
前記ゲイン分布生成手段は、前記画像データ取得手段で取得した２以上の画像データを合成して第２の合成画像データを生成し、生成した第２の合成画像データに対して、その画像の照明光成分を抽出するフィルタ処理を施して輝度画像データを生成し、生成した輝度画像データに基づき、前記ゲイン分布を生成する。
【００２５】
このような構成であれば、画像データ取得手段で取得した、第１の合成画像データの生成に用いる３以上の画像データのうちの２以上の画像データを合成して第２の合成画像データを生成し、該生成した第２の合成画像データに基づき、ゲイン分布を生成することができる。
これによって、第１の合成画像データの輝度の階調範囲を圧縮するのに、より適切なゲイン分布を生成することができ、より高画質な階調圧縮画像を得ることができるという効果が得られる。
【００２６】
〔形態１０〕 更に、形態１０の撮像制御装置は、形態８又は９の撮像制御装置において、
前記ゲイン分布生成手段は、前記フィルタ処理を、処理対象の画像データにおける照明光成分を通過させて反射率成分の通過を阻止する特性のローパスフィルタを用いて行う。
ここで、照明光成分は、反射率成分と比較して低周波数である。
従って、上記構成であれば、画像データ取得手段で取得した画像データに対して照明光成分を通過させて反射率成分の通過を阻止する特性のローパスフィルタを用いたフィルタ処理を施すことができる。
これによって、画像データから、照明光成分を簡易に分離することができるという効果が得られる。
【００２７】
〔形態１１〕 更に、形態１１の撮像制御装置は、形態８乃至１０のいずれか１の撮像制御装置において、
前記第１の合成画像データにおける各画素データの示す値をＹとし、前記輝度画像データにおける各画素データの示す値をＰとし、前記Ｙに対応するゲインをＫ（Ｐ）とすると、前記階調変換手段で階調変換後の画素データの示す値Ｙ’は、下式（１）で算出されることを特徴とする請求項８乃至請求項１０のいずれか１項に記載の撮像制御装置。
Ｙ’＝Ｋ（Ｐ）×Ｙ （１）
このような構成であれば、画像データ取得手段で画像データが取得され、取得した画像データに基づきゲイン分布生成手段でゲイン分布が生成される。そして、合成画像データ取得手段で第１の合成画像データが取得されると、上式（１）に従って、第１の合成画像データの各画素データに対して、照明光成分の圧縮された階調変換後の輝度値が算出される。
【００２８】
〔形態１２〕 更に、形態１２の撮像制御装置は、形態１１の撮像制御装置において、
指数部ｉを１以下の正の実数とし、前記輝度画像データの各画素データの示す輝度値を０〜１の範囲で正規化した値をＰLとして、前記ゲインＫ（Ｐ）は、下式（２）で算出されることを特徴とする請求項１１に記載の撮像制御装置。
Ｋ（Ｐ）＝１／ＰLi （２）
このような構成であれば、画像データ取得手段で画像データが取得され、取得した画像データに基づきゲイン分布生成手段で輝度画像データが生成される。そして、輝度画像データの各画素データの示す輝度値から、上式（２）に従って、第１の合成画像データの各画素に対応するゲインＫ（Ｐ）が算出される。
【００２９】
〔形態１３〕 更に、形態１３の撮像制御装置は、形態１１又は１２の撮像制御装置において、
前記ゲイン分布生成手段は、所定の輝度値に対する前記ゲインＫ（Ｐ）のデータが登録されたルックアップテーブルを有し、前記輝度画像データの複数の画素データの各々に対して、前記ルックアップテーブルから対応するゲインＫを取得することで前記ゲイン分布を生成することを特徴とする請求項１１又は請求項１２に記載の撮像制御装置。
このような構成であれば、輝度画像データが生成されることで、該輝度画像データの複数の画素データの各々の輝度値に対応するゲインＫ（Ｙ）を、ルックアップテーブルから取得することができる。これによって、簡易且つ高速にゲイン分布を生成することができるという効果が得られる。
【００３０】
〔形態１４〕 更に、形態１４の撮像制御装置は、形態１乃至１３のいずれか１の撮像制御装置において、
前記ゲイン分布生成手段は、処理対象の画像データを構成する複数の画素データの各々の示す輝度値を所定数の画素郡毎に合成して画像データのサイズを縮小化し、該縮小化した画像データに基づき、前記ゲイン分布として前記画素群毎のゲインの分布を生成する。
【００３１】
このような構成であれば、ゲイン分布生成手段において、画像データ取得手段で取得した画像データを構成する複数の画素データの各々の示す輝度値が、所定数の画素郡毎に合成（例えば、平均化）され、画像データのサイズが縮小化される。更に、ゲイン分布生成手段において、縮小化された画像データに基づきゲイン分布が生成される。
これによって、画像データのサイズを縮小化（リサイズ）することができるので、後段の処理（例えば、輝度画像データを生成するためのフィルタ処理）を簡易化することができる。
従って、第１の合成画像データの輝度の階調範囲の圧縮に係る処理を、より高速に行うことができるという効果が得られる。
【００３２】
〔形態１５〕 更に、形態１５の撮像制御装置は、形態１０乃至１４のいずれか１の撮像制御装置において、
前記撮像素子は、赤色、緑色及び青色で構成される原色もしくはその補色のカラーフィルターを有する。
このような形態であれば、例えば、前記ローパスフィルタを通過した前記輝度画像データＰは、画像の局所領域においては、その領域を構成する画素の輝度画像データＰがほぼ同じ値なので前記ゲインＫもほぼ同じ値となる。そのため、撮像素子を構成する赤色、緑色、青色の画素のゲインが、局所的にみれば同じ値となることから、赤色、緑色、青色のバランスが崩れない。よって、色再現性が優れている、という特徴を有する。
【００３３】
〔形態１６〕 更に、形態１６の撮像制御装置は、形態１４の撮像制御装置において、
前記撮像素子は、赤色、緑色及び青色の各画素に対応するフィルター部が赤、緑、緑、青の組み合わせでベイヤ配列されたカラーフィルター、もしくはその補色のカラーフィルターを有し、
前記ゲイン分布生成手段は、処理対象の画像データのうち前記カラーフィルターで区分される各４画素の画素データを合成して画像データのサイズを１／４に縮小化し、該縮小化した画像データに基づき、前記ゲイン分布として前記区分された４画素毎のゲインの分布を生成する。
【００３４】
このような構成であれば、ゲイン分布生成手段において、画像データ取得手段で取得した画像データのサイズを、カラーフィルターアレイ１３で区分された４画素ごとに適切な色成分で合成して画像のサイズを１／４にリサイズすることができる。そして、リサイズされた画像データに基づき各４画素の領域毎のゲインの分布となるゲイン分布を生成することができる。
これによって、画像のサイズを縮小化（リサイズ）することができるので、後段の処理を簡易化することができ、第１の合成画像データの輝度の階調範囲の圧縮に係る処理を、より高速に行うことができるという効果が得られる。
【００３５】
〔形態１７〕 更に、形態１６の撮像制御装置は、形態１乃至１５のいずれか１の撮像制御装置において、
前記階調変換手段は、前記ゲイン分布を用いた階調変換後の前記第１の合成画像データの輝度のヒストグラムがブロード化されるように前記ゲイン分布の内容を補正し、当該補正したゲイン分布を用いて前記第１の合成画像データの階調範囲を変換し、変換後の前記第１の合成画像データにガンマ変換を施す。
【００３６】
このような構成であれば、第１の合成画像データのヒストグラムがブロード化されるように階調範囲を変換してから、変換後の第１の合成画像データに対してガンマ変換を施すことができる。
これによって、ヒストグラムをブロード化してから、トーンカーブによってガンマ変換が施されるので、階調性を維持することが可能となり、且つレンジ圧縮したことと同じ結果を得ることができる。
【００３７】
特に、上式（２）において、輝度値Ｙの範囲を０〜１とすると、輝度値が０に近い小さい値のときには、ゲインが大きくなり、輝度値が１に近い大きい値のときには、ゲインが１に極めて近い値となる。これによって、１枚の画像の中で、入力が暗い領域はゲインによって持ち上げられて明るくなり、入力が明るい領域はそのまま維持される。つまり、このようにして生成されたゲイン分布を第１の合成画像データに適用することで、適用後のヒストグラムをブロード化することができる。
【００３８】
〔形態１８〕 更に、形態１８の撮像制御装置は、形態１７の撮像制御装置において、
前記第１の合成画像データの画像を出力する出力装置の出力可能な階調範囲に係る情報を、前記出力装置から取得する階調情報取得手段と、
前記出力可能な階調範囲に対応する複数種類のトーンカーブの情報を記憶するトーンカーブ情報記憶手段と、を備え、
前記階調変換手段は、前記トーンカーブ情報記憶手段に記憶された、前記階調情報取得手段で取得した情報に対応する種類のトーンカーブの情報を用いて、前記ブロード化した第１の合成画像データに対して、ガンマ変換を施す。
【００３９】
このような構成であれば、階調情報取得手段によって、第１の合成画像データの画像を出力する出力装置から、該出力装置の出力可能な階調範囲に係る情報が取得される。そして、階調変換手段において、補正後のゲイン分布を用いてヒストグラムがブロード化された第１の合成画像データに対して、前記取得した情報に対応する種類のトーンカーブの情報を用いたガンマ変換が施される。
【００４０】
これによって、撮像制御装置に接続された出力装置の画像の出力性能に応じた階調変換を施すことができるので、出力装置の性能に柔軟に対応できるシステムを容易に構築することができるという効果が得られる。
ここで、上記階調範囲に係る情報とは、表示可能な階調範囲の情報そのもの、階調範囲を算出できる情報などの他、階調変換手段側で出力装置の機種に対応する表示可能な階調範囲のデータテーブルを用意できれば、出力装置の機種情報なども含む情報となる。
【００４１】
〔形態１９〕 また、上記目的を達成するために、形態１９の撮像装置は、
長さの異なる複数の露光時間で被写体を撮像して、前記複数の露光時間に対応する複数の画像データを出力する撮像素子と、
形態１乃至４のいずれか１に記載の撮像制御装置と、を備える。
このような構成であれば、上記形態１〜４の撮像制御装置と同等の作用及び効果が得られる。
【００４２】
〔形態２０〕 また、上記目的を達成するために、形態２０の撮像装置は、
感度の異なる複数の画素群を有し、前記複数の画素群で被写体を撮像して前記複数の画素群に対応する複数の画像データを出力する撮像素子と、
形態５又は６の撮像制御装置と、を備える。
このような構成であれば、上記形態５又は６の撮像制御装置と同等の作用及び効果が得られる。
【００４３】
〔形態２１〕 また、上記目的を達成するために、形態２１の撮像制御方法は、
撮像素子において長さの異なる複数の露光時間で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得ステップと、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得ステップと、
前記画像データ取得ステップで取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成ステップと、
前記ゲイン分布生成ステップで生成したゲイン分布に基づき、前記合成画像データ取得ステップで取得した前記第１の合成画像データの階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換ステップと、を含む。
このような構成であれば、上記形態１の撮像制御装置と同等の作用及び効果が得られる。
【００４４】
〔形態２２〕 また、上記目的を達成するために、形態２２の撮像制御方法は、
感度の異なる複数の画素群を有する撮像素子において前記複数の画素群で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得ステップと、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得ステップと、
前記画像データ取得ステップで取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成ステップと、
前記ゲイン分布生成ステップで生成したゲイン分布に基づき、前記合成画像データ取得ステップで取得した前記第１の合成画像データの階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換ステップと、を含む。
このような構成であれば、上記形態５の撮像制御装置と同等の作用及び効果が得られる。
【図面の簡単な説明】
【００４５】
【図１】本発明に係る撮像システム１の構成を示すブロック図である。
【図２】カラーフィルタアレイ１３の構成を示す図である。
【図３】ＨＤＲセンサ１４のセンサセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
【図４】蓄積電荷のリセットタイミングと、各露光時間の画素信号の読み出しタイミングとの一例を示す図である。
【図５】第１実施形態の撮像制御装置２０の詳細な構成を示すブロック図である。
【図６】輝度画像生成部３２の詳細な構成を示すブロック図である。
【図７】本線系処理部３３の詳細な構成を示すブロック図である。
【図８】ＨＤＲセンサ１４からの画素データの出力形式の一例を示す図である。
【図９】各フレームにおける画素データの出力タイミングの一例を示す図である。
【図１０】（ａ）は、ＨＤＲ画像データのヒストグラムの一例を示す図であり、（ｂ）は、トーンマップ処理によってブロード化されたヒストグラムの一例を示す図である。
【図１１】第２実施形態の撮像制御装置５０の詳細な構成を示すブロック図である。
【発明を実施するための形態】
【００４６】
〔第１実施形態〕
以下、本発明の第１実施形態を図面に基づき説明する。図１〜図１０は、本発明に係る撮像制御装置、撮像装置及び撮像制御方法の第１実施形態を示す図である。
まず、本発明に係る撮像システムの構成を図１に基づき説明する。図１は、本発明に係る撮像システム１の構成を示すブロック図である。
撮像システム１は、図１に示すように、撮像装置２と、表示装置３とを含んで構成される。
撮像装置２は、撮像素子１０と、撮像制御装置２０とを含んで構成され、撮像制御装置２０は、ＨＤＲ信号処理部３０と、フレームメモリ４０とを含んで構成される。
【００４７】
撮像素子１０は、レンズ１１と、マイクロレンズ１２と、カラーフィルタアレイ１３と、ＨＤＲセンサ１４とを含んで構成される。
レンズ１１は、被写体からの反射光を集光して、マイクロレンズ１２へと導くものである。なお、撮像条件などに応じて、単焦点レンズ、ズームレンズ、オートアイリスレンズなどの種類がある。
マイクロレンズ１２は、レンズ１１を透過した光をＨＤＲセンサ１４の有するセンサセルアレイの各センサセル（画素）に集光するものである。
【００４８】
カラーフィルタアレイ１３は、マイクロレンズ１２を透過した光から所定の１種類の色要素に対応する波長の光を分離して該分離した光を対応する各画素に入射するカラーフィルター部（以下、ＣＦ部と称す）を少なくとも画素数分含んで構成されるものである。
ＨＤＲセンサ１４は、各センサセル（画素）がフォトダイオード及びＣＭＯＳ素子から構成されるセンサセルアレイを有し、電子シャッタ方式によって露光時間を制御して露光時間の異なる複数種類の画像データを出力するものである。
【００４９】
ＨＤＲ信号処理部３０は、撮像素子１０から出力される、露光時間の異なる複数種類の撮像画像データに基づき、ノイズ除去処理、輝度画像データ生成処理、ゲイン分布生成処理、トーンマッピング処理、合成処理、色処理、ガンマ変換処理等を行うものである。なお、詳細な構成は後述する。
フレームメモリ４０は、ＨＤＲ信号処理部３０において、ノイズ除去処理後の撮像画像データ、輝度画像データ生成処理によって生成された輝度画像データなどの各種画像データを記憶するメモリである。
表示装置３は、ＨＤＲ信号処理部３０で生成された、ＨＤＲカラー画像データ（Ｒ＿ＨＤＲ画像データ、Ｇ＿ＨＤＲ画像データ、Ｂ＿ＨＤＲ画像データ）に基づき、撮像画像を表示する装置である。
【００５０】
次に、図２に基づき、カラーフィルタアレイ１３の構成を説明する。
ここで、図２は、カラーフィルタアレイ１３の構成を示す図である。
図２において、Ｒ、Ｇ、Ｂは、光の３原色（赤色、緑色、青色）のいずれか１色の波長領域の光を選択的に透過するＣＦ部に対応し、これらに付された下付の数字は、行番号及び列番号を示す。例えば、Ｒ00であれば、行番号１の第１列目の画素に対応するＲの波長領域の光を透過するフィルタ部となる。なお、本実施形態においては、水平方向を行方向とし、垂直方向を列方向として、撮像装置２は、水平方向に並ぶ複数の画素から構成されるラインの単位で処理を行うようになっている。
【００５１】
具体的に、ＣＦアレイ１３は、マイクロレンズ１２を介して入射された光から、赤色に対応する波長領域の光（以下、Ｒ光と称す）、緑色に対応する波長領域の光（以下、Ｇ光と称す）及び青色に対応する波長領域の光（以下、Ｂ光と称す）のうち所定の１色に対応する波長領域の光を分離して、該分離した光をそれぞれ対応する画素に入射する複数のＣＦ部から構成されている。
【００５２】
より具体的に、ＣＦアレイ１３は、図２に示すように、入射光からＲ光を分離して、該分離したＲ光を画素に入射する複数のＲ光透過フィルタ部（図２中のＲ）と入射光からＧ光を分離して、該分離したＧ光を画素に入射する複数のＧ光透過フィルタ部（図２中のＧ）とがＲ→Ｇ→Ｒ→Ｇ→Ｒ→Ｇ→・・・の順で水平方向に連続した構成のフィルタラインＲＧＦＬを複数備えている。
【００５３】
更に、複数のＧ光透過フィルタ部と、入射光からＢ光を分離して、該分離したＢ光を画素に入射する複数のＢ光透過フィルタ部（図２中のＢ）とがＧ→Ｂ→Ｇ→Ｂ→Ｇ→Ｂ→・・・の順で水平方向に連続した構成のフィルタラインＧＢＦＬを複数備えている。これら複数の、フィルタラインＲＧＦＬと、フィルタラインＧＢＦＬとは、図２に示すように、ＲＧＦＬ→ＧＢＦＬ→ＲＧＦＬ→ＧＢＦＬ→ＲＧＦＬ→・・・の順で垂直方向に連続して配列されている。つまり、複数のＧ光透過フィルタ部と、複数のＢ光透過フィルタ部と、複数のＲ光透過フィルタ部とがベイヤ型に配列された構成となっている。
【００５４】
次に、図３及び図４に基づき、撮像素子１０のＨＤＲセンサ１４の露光時間の制御方法、及びセンサセルアレイからの画素信号の読み出し方法について説明する。ここで、図３は、ＨＤＲセンサ１４のセンサセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。また、図４は、蓄積電荷のリセットタイミングと、各露光時間の画素信号の読み出しタイミングとの一例を示す図である。
【００５５】
ここで、本発明の露光時間の制御は、センサセルアレイの露光領域（走査領域）に対して、超短露光時間Ｔ１の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ１と、短露光時間Ｔ２の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ２とを設定する。更に、各画素のラインの蓄積電荷のリセット及び標準露光時間Ｔ３の画素信号の読み出しを行う読み出し＆リセットラインＬ３を設定する。なお、Ｔ１〜Ｔ３の関係は、図４に示すように、「Ｔ１＜Ｔ２＜Ｔ３」となっており、リセットされてから、まずＴ１経過時に非破壊読み出しラインＬ１が設定される。次にＴ２経過時に非破壊読み出しラインＬ２が設定され、次にＴ３経過時に読み出し＆リセットラインＬ３が設定される。
【００５６】
具体的に、非破壊読み出しラインＬ１及びＬ２並びに読み出し＆リセットラインＬ３は、図３に示すように、露光領域における画素のラインに順次標準露光時間Ｔ３分の電荷が蓄積されると、読み出し＆リセットラインＬ３が各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次リセットするように設定される。一方、露光領域のリセット後の各画素のラインにおいては、標準露光時間Ｔ３分の電荷が蓄積される期間中、超短露光時間Ｔ１及び短露光時間Ｔ２において各画素のラインの画素信号を非破壊で順次読み出すように非破壊読み出しラインＬ１及びＬ２がそれぞれ設定される。
【００５７】
なお、本実施の形態においては、図３に示すように、リセット直後の超短露光時間Ｔ１に対応する画素信号（アナログデータ）Ｓ１は、第１ラインメモリに読み出され、短露光時間Ｔ２に対応する画素信号（アナログデータ）Ｓ２は、第２ラインメモリに読み出される。更に、標準露光時間Ｔ３に対応する画素信号（アナログデータ）Ｓ３は、第３ラインメモリに読み出される。そして、これら読み出された画素信号Ｓ１〜Ｓ３は、図３に示すように、それぞれ選択回路を経てＡＤＣにＳ１〜Ｓ３の順で順次出力されそこでデジタルデータ（画素データ）に変換される。変換された各画素データは、変換された順に（Ｓ１〜Ｓ３の順に）ライン単位で撮像制御装置２０のＨＤＲ信号処理部３０に出力される。
【００５８】
また、上記非破壊読み出しラインＬ１及びＬ２並びに読み出し＆リセットラインＬ３の画素信号の読み出しタイミングの制御は、図３に示すように、各画素のライン毎に、読み出し＆リセットラインＬ３を順次走査する（図３のスキャン方向）。そして、読み出し＆リセットラインＬ３においては、蓄積電荷のリセットを行うとともに、蓄積電荷のリセット直前に標準露光時間Ｔ３の露光が行われた画素の画素信号の読み出しを行う。更に、リセット直後に、超短露光時間Ｔ１の画素信号の読み出しを行う。
【００５９】
例えば、露光領域の一番目のラインである第１ラインにおいて標準露光時間Ｔ３の画素信号Ｓ３の読み出し及びリセットが行われたとする。以降は、画素信号Ｓ３が第３ラインメモリから全て外部に読み出される毎に、図３中のスキャン方向に１ラインずつ、読み出し＆リセットラインＬ３の走査が順次行われる。このとき、読み出し＆リセットラインＬ３が再び第１ラインに到達したときに、丁度標準露光時間Ｔ３が経過するタイミングとなるように走査が行われる。このような手順で、センサセルアレイの露光領域の画素のラインに対して、各画素のライン毎に、標準露光時の画素信号の読み出し及び蓄積電荷のリセットを順次行う。
【００６０】
一方、蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、非破壊読み出しラインＬ１において超短露光時間Ｔ１の露光が行われた画素の画素信号Ｓ１の非破壊読み出しを行い、引き続き、非破壊読み出しラインＬ２において短露光時間Ｔ２の露光が行われた画素の画素信号Ｓ２の非破壊読み出しを行う。このような手順で、センサセルアレイの各画素のラインに対して、ライン毎に、超短露光時間Ｔ１及び短露光時間Ｔ２で露光時の画素信号Ｓ１及びＳ２の非破壊読み出しを順次行う。
【００６１】
次に、図５〜図７に基づき、ＨＤＲ信号処理部３０及びフレームメモリ４０の構成を説明する。
ここで、図５は、撮像制御装置２０の詳細な構成を示すブロック図である。
ＨＤＲ信号処理部３０は、図５に示すように、プリプロセス部３１と、輝度画像生成部３２と、本線系処理部３３と、メモリインターフェース（以下、メモリＩＦと称す）３４とを含んで構成される。
プリプロセス部３１は、ＨＤＲセンサ１４からの画素信号（画素データＳ１〜Ｓ３）に対して、超短露光時間Ｔ１の画素データＳ１を用いた固定パターンノイズの除去処理、クランプ処理などを行う。
【００６２】
具体的に、固定パターンノイズの除去処理は、短露光時間Ｔ２及び標準露光時間Ｔ３の画素データから、超短露光時間Ｔ１の画素データを各対応する画素毎に減算する処理となる。つまり、超短露光時間Ｔ１の画素データは、リセット直後の画素信号に対応するデータであるため、電荷の蓄積量が少なく、固定パターンノイズの成分に支配されているので、このデータを、他の露光時間のデータから減算することで、固定パターンノイズの成分のみを除去することができる。
【００６３】
また、クランプ処理は、ＨＤＲセンサ１４からの画素データＳ１〜Ｓ３を受信し、それが遮光領域の信号か否かを検出し、遮光領域と検出された場合はその信号レベルが黒（基準）レベルになるように、全ての入力画素データの直流成分をクランプする処理となる。
そして、固定パターンノイズの除去処理及びクランプ処理を経た画素データＳ１〜Ｓ３は、メモリＩＦ３４を介して、フレームメモリ４０にセンサセルアレイの画素の配列順と対応する順番で格納される。以下、露光時間Ｔ１〜Ｔ３にそれぞれ対応する撮像画像データ（１フレーム分の画素データ）を、画素データと同様に、撮像画像データＳ１〜Ｓ３と称す。
【００６４】
輝度画像生成部３２は、フレームメモリ４０から、メモリＩＦ３４を介して、画素データＳ１及びＳ２を読み出し、読み出した画素データＳ１及びＳ２から、トーンマッピング処理のための輝度画像データＰを生成する。
本線系処理部３３は、フレームメモリ４０から、メモリＩＦ３４を介して、撮像画像データＳ１〜Ｓ３を読み出すと共に、輝度画像データＰを読み出して、これら読み出した画像データに基づき、ＨＤＲ合成処理、トーンマップ処理、色処理、ガンマ変換処理を行う。そして、ガンマ変換後の画像データをＬＤＲ画像データとして、表示装置３に出力する。
【００６５】
メモリＩＦ３４は、フレームメモリ４０に対するデータの書き込み及びデータの読み出しを調停する機能を有している。具体的に、プリプロセス部３１、輝度画像生成部３２及び本線系処理部３３からの、データの読出要求及び書込要求に応じて、正常に読み書きが行われるように、これらの調停を行う。そして、各構成部からの要求に応じた、フレームメモリ４０からのデータの読み出し、及びフレームメモリ４０へのデータの書き込み処理を実行する。
【００６６】
次に、図６に基づき、輝度画像生成部３２の詳細な構成を説明する。
ここで、図６は、輝度画像生成部３２の詳細な構成を示すブロック図である。
輝度画像生成部３２は、Ｌｉｎｅ Ｍｅｍｏｒｙ（以下、ＬＭと称す）３２０Ａ及び３２０Ｂと、画素混合部３２１Ａ及び３２１Ｂと、ＬＭ３２２と、ＨＤＲ合成処理部３２３と、ぼかし処理部３２４と、ＬＭ３２５と、ＬＭ３２６とを含んだ構成となっている。
【００６７】
ＬＭ３２０Ａは、メモリＩＦ３４を介して、フレームメモリ４０から読み出した、超短露光時間Ｔ１の画素データＳ１を少なくとも２ライン単位で格納するためのメモリである。
ＬＭ３２０Ｂは、メモリＩＦ３４を介して、フレームメモリ４０から読み出した、短露光時間Ｔ２の画素データＳ２を少なくとも２ライン単位で格納するためのメモリである。
【００６８】
画素混合部３２１Ａは、ＬＭ３２０Ａに格納された画素データＳ１における、カラーフィルタアレイ１３で区分される２行×２列のＲ、Ｇ、Ｇ、ＢのＣＦ部にそれぞれ対応する４画素の輝度値を混合する処理を行う。４画素の輝度値を混合して１画素の輝度値とした画素データは、１／４のサイズにリサイズされる。以下、リサイズ後の画素データＳ１を、画素データＣＳ１と称す。
【００６９】
画素混合部３２１Ｂは、ＬＭ３２０Ｂに格納された画素データＳ２における、カラーフィルタアレイ１３で区分されるＲ、Ｇ、Ｇ、ＢのＣＦ部にそれぞれ対応する４画素の輝度値を混合する処理を行う。以下、リサイズ後の画素データＳ２を、画素データＣＳ２と称す。
ＬＭ３２２は、画素混合部３２１Ａ及び３２１Ｂで混合された画素データＣＳ１及びＣＳ２を格納するメモリである。
【００７０】
ＨＤＲ合成処理部３２３は、画素混合部３２１Ａで混合された画素データＣＳ１と、画素混合部３２１Ｂで混合された画素データＣＳ２とに対して、露光時間Ｔ１及びＴ２の比に応じたゲインで正規化処理を行う。更に、正規化したデータに対して、重み付け処理を行い、重み付けされた画素データＣＳ１及びＣＳ２を足し合わせて、輝度画像データ生成用のＨＤＲ画素データ（Ｙ＿ＲＡＷ＿ＨＤＲ画素データ）を生成する。なお、Ｙ＿ＲＡＷ＿ＨＤＲ画素データの１フレーム分のデータがＹ＿ＲＡＷ＿ＨＤＲ画像データとなる。
【００７１】
ぼかし処理部３２４は、ＨＤＲ合成処理部３２３で生成されたＹ＿ＲＡＷ＿ＨＤＲ画素データに対して、ローパスフィルター（以下、ＬＰＦと称す）を用いたぼかし処理を行って、輝度画像データＰを生成する。このぼかし処理を行う目的は、Ｙ＿ＲＡＷ＿ＨＤＲ画像データから照明光成分を分離し、分離した照明光成分の輝度画像を得るためである。また、輝度画像は、画素毎のゲインを算出することが目的で、画素毎もしくは領域毎にその輝度値が推定できればよいので、本実施形態では、１／４にリサイズした画素データＣＳ１及びＣＳ２から生成する。
【００７２】
ＬＭ３２５は、ぼかし処理を行うのに必要な分のＹ＿ＲＡＷ＿ＨＤＲ画素データを格納するメモリである。例えば、ＬＰＦが５×５のサイズであれば、Ｙ＿ＲＡＷ＿ＨＤＲ画素データの５行分のデータが格納される。
ＬＭ３２６は、ぼかし処理を行った後の輝度画像データＰを格納するメモリである。輝度画像生成部３２は、このメモリがいっぱいになると、格納された輝度画像データＰを、メモリＩＦ３４を介して、フレームメモリ４０に格納する。
【００７３】
次に、図７に基づき、本線系処理部３３の詳細な構成を説明する。
ここで、図７は、本線系処理部３３の詳細な構成を示すブロック図である。
本線系処理部３３は、図７に示すように、ＬＭ３３０Ａ〜３３０Ｃと、ＨＤＲ合成処理部３３１と、ＬＭ３３２と、輝度画像→ゲイン変換器３３３と、ＬＵＴ（Lookup table）３３４と、トーンマップ用乗算器３３５とを含んだ構成となっている。
【００７４】
本線系処理部３３は、更に、色処理部３３６と、ＬＭ３３７と、ガンマ変換部３３８と、ＬＵＴ３３９とを含んだ構成となっている。
ＬＭ３３０Ａは、メモリＩＦ３４を介して、フレームメモリ４０から読み出した、超短露光時間Ｔ１の画素データＳ１をライン単位で格納するためのメモリである。
ＬＭ３３０Ｂは、メモリＩＦ３４を介して、フレームメモリ４０から読み出した、短露光時間Ｔ２の画素データＳ２をライン単位で格納するためのメモリである。
【００７５】
ＬＭ３３０Ｃは、メモリＩＦ３４を介して、フレームメモリ４０から読み出した、標準露光時間Ｔ３の画素データＳ３をライン単位で格納するためのメモリである。
ＨＤＲ合成処理部３３１は、ＬＭ３３０Ａ〜３３０Ｃに格納された画素データＳ１〜Ｓ３に対して、露光時間Ｔ１及びＴ３、並びにＴ２及びＴ３の比率に応じたゲインをそれぞれ求めると共に、求めたゲインによって画素データＳ１及びＳ２の正規化を行う。更に、正規化した画素データＳ１〜Ｓ２と、画素データＳ３とに対して、それぞれ重み付け処理を行う。更に、重み付けされた画素データＳ１〜Ｓ３を合成して、ＨＤＲ画素データ（ＨＤＲ＿ＲＡＷ画素データ）を生成する。例えば、画素データＳ１〜Ｓ３がそれぞれ１０ビットのデータであるとして、１６ビットのＨＤＲ画素データを生成する。なお、１フレーム分のＨＤＲ画素データが、ＨＤＲ画像データ（ＨＤＲ＿ＲＡＷ画像データ）となる。
【００７６】
ＬＭ３３２は、メモリＩＦ３４を介して、フレームメモリ４０から読み出した、輝度画像データＰを構成する複数の輝度画素データをライン単位で格納するためのメモリである。
輝度画像→ゲイン変換器３３３は、ＬＭ３３２に格納された輝度画素データの入力に対して、各輝度画素データの示す輝度値に対応したゲインを、ＬＵＴ３３４から読み出して、トーンマップ用乗算器３３５に出力する。
【００７７】
ＬＵＴ３３４は、予め下式（１）に従って算出された、各輝度値Ｐに対するゲインＫ（Ｐ）を格納したデータテーブルである。本実施形態では、ＨＤＲ画像データの輝度のヒストグラムを、ブロード化するゲインＫ（Ｐ）が格納されている。
Ｋ（Ｐ）＝１／ＰLi （１）
但し、指数部ｉは、１以下の正の実数であり、ＰLは正規化された輝度値であり「０〜１」の範囲の値となる。
【００７８】
トーンマップ用乗算器３３５は、ＨＤＲ合成処理部３３１で生成されたＨＤＲ画像データを構成する各ＨＤＲ画素データに対して、輝度画像→ゲイン変換器３３３から出力されるゲインを乗算することでトーンマッピングを行う。つまり、ＨＤＲ画像データの各画素データの示す値Ｙと、トーンマッピング後の値Ｙ’との間には、下式（２）の関係が成立する。
Ｙ’＝Ｋ（Ｐ）×Ｙ （２）
【００７９】
本実施形態では、１／４のサイズにリサイズされた輝度画像データＰに対してゲイン分布を生成するので、輝度画像→ゲイン変換器３３３では、４画素の領域毎のゲインが生成されることになる。従って、トーンマップ用乗算器３３５においては、輝度画像→ゲイン変換器３３３から出力される１つのゲインを、ＨＤＲ画像データにおけるカラーフィルタアレイ１３で区分される４画素毎に対応するＨＤＲ画素データに対して乗算する。
【００８０】
トーンマップ用乗算器３３５においてトーンマッピングしたＨＤＲ画素データは、色処理部３３６へと出力される。
色処理部３３６は、ＬＭ３３７に格納されたＨＤＲ画素データ（処理すべき画素のデータ）と、ＬＭ３３７に格納された、処理すべき画素の周辺のＨＤＲ画素データとを用いて色補間処理を行う。すなわち、ＬＭ３３７により遅延された、ＨＤＲ画素データを用いて、画像の各点について、ＲＧＢ色空間に規定される色信号（データ）を生成する処理（色信号処理）を行う。
【００８１】
具体的に、色処理部３３６は、色補間処理によって、ＨＤＲ画素データを、画素毎に、ＲＧＢの各色要素にそれぞれ対応するカラーＨＤＲ画素データに変換する。
これにより、画素毎に、Ｒの色要素に対応するＲ＿ＨＤＲ画素データ、Ｇの色要素に対応するＧ＿ＨＤＲ画素データ及びＢの色要素に対応するＢ＿ＨＤＲ画素データを有するカラーＨＤＲ画素データが生成される。なお、１フレーム分の画素データＳ１〜Ｓ３に対応するカラーＨＤＲ画素データからカラーＨＤＲ画像データが構成される。
【００８２】
ＬＭ３３７は、色処理に必要なトーンマッピング後の画素データをライン単位で格納するメモリである。
ここで、前記ＬＰＦを通過した前記輝度画像データＰは、画像の局所領域においては、その領域を構成する画素の輝度画像データＰがほぼ同じ値なので前記ゲインＫもほぼ同じ値となる。そのため、撮像素子を構成する赤色、緑色、青色の画素のゲインが、局所的にみれば同じ値となることから、赤色、緑色、青色のバランスが崩れない。
【００８３】
なお、トーンマップ用乗算器３３５と色処理部３３６の順番は逆でも良い。すなわち、ＨＤＲ合成処理後のＨＤＲ＿ＲＡＷ画素データに対して色信号処理を施して、Ｒ、Ｇ、ＢのカラーＨＤＲ画素データを生成後、各々のＲ、Ｇ、Ｂに対してトーンマップ用の乗算を施す。この場合、乗算処理が３回必要となる。
ガンマ変換部３３８は、表示装置３の表示可能な階調範囲に対応するトーンカーブの情報が格納されたＬＵＴ３３９から、色処理部３３６で色処理後の各画素データの示す輝度値に対応した変換値を取得する。つまり、各画素データの示す輝度値を、トーンカーブにおける対応する変換値に置き換えることでガンマ変換を施す。
【００８４】
例えば、ＨＤＲカラー画素データの階調範囲が２０ビットで、表示装置３の表示可能な階調範囲が８ビットである場合は、ＬＵＴ３３９に格納された、２０ビットの階調範囲の輝度値を８ビットの階調範囲の輝度値に変換するトーンカーブの情報から、各入力輝度値に対応した変換値を取得する。このとき、表示装置３から、その表示可能な階調範囲が解る情報を取得するようにしてもよい。
【００８５】
このようにして、トーンマッピングによってヒストグラムがブロード化されたＨＤＲカラー画像データをガンマ変換し、２０ビットの階調範囲のＨＤＲ画像データを、８ビットの階調範囲のＬＤＲカラー画像データへと変換する。
ＬＵＴ３３９は、少なくとも、表示装置３の表示可能な階調範囲に対応するトーンカーブの情報が格納されたデータテーブルである。
【００８６】
次に、図８〜図１０に基づき、本実施形態の動作を説明する。
ここで、図８は、ＨＤＲセンサ１４からの画素データの出力形式の一例を示す図である。また、図９は、各フレームにおける画素データの出力タイミングの一例を示す図である。また、図１０（ａ）は、ＨＤＲ画像データのヒストグラムの一例を示す図であり、（ｂ）は、トーンマップ処理によってブロード化されたヒストグラムの一例を示す図である。
【００８７】
被写体の撮像が開始されると、被写体から反射された光は、レンズ１１で集光されてマイクロレンズ１２に入射される。レンズ１１からの入射光は、マイクロレンズ１２において平行化されて、カラーフィルタアレイ１３の各ＣＦ部を介してセンサセルアレイの各画素に入射される。カラーフィルタアレイ１３は、ＲＧＢの三原色に対応するＣＦ部がベイヤ配列された構成となっているので、Ｒ光、Ｇ光及びＢ光のうち各ＣＦ部に対応した色要素の光のみが各画素に入射されることになる。
【００８８】
一方、撮像が開始されると、開始ラインから順に１ラインずつ読み出し＆リセットラインＬ３が設定されて、走査されたラインの各画素から画素信号Ｓ３が読み出され、その後、各画素の蓄積電荷がリセットされる。なお、最初に読み出される画素信号Ｓ３は、標準露光時間Ｔ３での露光がされていないため後段の各構成部において無視するように処理される。引き続き、各走査ラインに対して、各画素のリセット後において超短露光時間Ｔ１の経過タイミングで非破壊読み出しラインＬ１が設定され、画素信号Ｓ１が読み出される。引き続き、各走査ラインに対して、各画素のリセット後において短露光時間Ｔ２の経過タイミングで非破壊読み出しラインＬ２が設定され、画素信号Ｓ２が読み出される。そして、再び、開始ラインから順に読み出し＆リセットラインＬ３が設定されて、走査されたラインの各画素から画素信号Ｓ３が読み出され、その後、各画素の蓄積電荷がリセットされる。このとき読み出される画素信号Ｓ３とその前に読み出された画素信号Ｓ１及びＳ２とが後段の各構成部において処理対象となる。
以降、撮像が行われている間は、上記のＬ１〜Ｌ３の設定、画素信号Ｓ１〜Ｓ３の読み出し及びリセット処理が繰り返し行われる。
【００８９】
このようにして読み出された画素信号Ｓ１〜Ｓ３は、ライン毎に、第１ラインメモリ〜第３ラインメモリにそれぞれ格納されライン単位で選択回路へと出力される。選択回路からは、Ｓ１〜Ｓ３の順でアナログの画素データＳ１〜Ｓ３がＡＤＣに出力される。ＡＤＣは、アナログの画素データＳ１〜Ｓ３を、デジタルの画素データＳ１〜Ｓ３に変換する。そして、ＡＤＣからは、図８に示すように、ライン単位でＳ１〜Ｓ３の順に画素データが順次、ＨＤＲ信号処理部３０へと出力される。つまり、ＨＤＲ信号処理部３０には、図９に示すように、画素データＳ３に先行して、画素データＳ１〜Ｓ２が順に入力される。
【００９０】
一方、ＨＤＲ信号処理部３０は、ＨＤＲセンサ１４からの画素データＳ１〜Ｓ３をＳ１から順番に受信すると、プリプロセス部３１において、受信した順に画素データに対して、固定パターンノイズの除去処理、及びクランプ処理を施す。そして、これらの処理が施された画素データを、メモリＩＦ３４を介して、Ｓ１〜Ｓ３の順にフレームメモリ４０に格納する。
【００９１】
また、フレームメモリ４０に画素データＳ１〜Ｓ２が格納されると、輝度画像生成部３２は、格納された画素データＳ１〜Ｓ２を、メモリＩＦ３４を介して読み出す。そして、読み出した画素データＳ１をＬＭ３２０Ａに、画素データＳ２をＬＭ３２０Ｂにそれぞれ格納する。輝度画像生成部３２は、ＬＭ３２０Ａ及び３２０Ｂに、１ライン分の画素データＳ１〜Ｓ２が格納されると、格納された画素データＳ１〜Ｓ２を、画素混合部３２１Ａ及び３２１Ｂに出力する。画素混合部３２１Ａ及び３２１Ｂは、入力された画素データＳ１〜Ｓ２をＬＭ３２２に格納する。そして、ＬＭ３２２に、処理対象の２ライン分の画素データＳ１〜Ｓ２が格納されると、画素混合部３２１Ａにおいて、画素データＳ１の画素混合処理が、画素混合部３２１Ｂにおいて、画素データＳ２の画素混合処理がそれぞれ実行される。具体的に、ベイヤ配列で区分された２行×２列の４つの画素毎に、これらの画素に対応するＲ、Ｇ、Ｇ、Ｂの４つの色要素に対応する画素データを混合する。
【００９２】
図２に示す、「Ｒ00、Ｇ01、Ｇ10、Ｂ11」の４画素に着目すると、画素データの混合は、例えば、混合後の画素データの示す輝度値をＣＳとすると、「ＣＳ＝Ｒ00＋Ｇ01＋Ｇ10＋Ｂ11」のように行う。つまり、２つのＧ光の画素データの示す輝度値と、Ｒ光及びＢ光の画素データの示す輝度値とを足し合わせて、各４画素の領域の代表の輝度値を決定する。
これによって、撮像画像データＳ１及びＳ２を構成する画素データＳ１及びＳ２は４画素のデータが１画素のデータに変換され、撮像画像が、それぞれ１／４のサイズにリサイズされる。画素混合部３２１Ａ及び３２１Ｂは、画素混合処理後の画素データＣＳ１及びＣＳ２を、ＨＤＲ合成処理部３２３に出力する。
【００９３】
ＨＤＲ合成処理部３２３は、画素データＣＳ１及びＣＳ２が入力されると、まず、画素データＣＳ１を、露光時間Ｔ１及びＴ２の比率に応じたゲインによって正規化する。次に、正規化した画素データＣＳ１と画素データＣＳ２とに対して、重み付け処理を行う。次に、重み付け処理を施した画素データＣＳ１及びＣＳ２を足し合わせることで、輝度画像データ生成用のＨＤＲ画素データ（Ｙ＿ＲＡＷ＿ＨＤＲ画素データ）を生成する。
ＨＤＲ合成処理部３２３は、生成したＹ＿ＲＡＷ＿ＨＤＲ画素データを、ぼかし処理部３２４に出力する。
【００９４】
ぼかし処理部３２４は、ＨＤＲ合成処理部３２３から、Ｙ＿ＲＡＷ＿ＨＤＲ画素データが入力されると、これをＬＭ３２５に格納する。そして、ＬＭ３２５に、処理に必要な分のＹ＿ＲＡＷ＿ＨＤＲ画素データが格納されると、格納されたＹ＿ＲＡＷ＿ＨＤＲ画素データを読み出し、読み出したデータに対してＬＰＦを用いたフィルタ処理を行う。このフィルタ処理は、単純な平均化処理でもよいし、各画素データ毎に重み付けをしてもよい。
【００９５】
このようにして、Ｙ＿ＲＡＷ＿ＨＤＲ画素データに対して、ぼかし処理が施されると、その画素データに対する輝度画素データが生成される。つまり、反射率成分が低減され、照明光成分を多く含む画素データが生成される。ぼかし処理部３２４は、生成した輝度画素データをＬＭ３２６に格納する。輝度画像生成部３２は、ＬＭ３２６がいっぱいになった時点で、格納された輝度画素データを、メモリＩＦ３４を介して、フレームメモリ４０に格納する。なお、画素データＳ１及びＳ２の１フレーム分のデータに対する輝度画素データによって輝度画像データＰが構成される。
【００９６】
一方、本線系処理部３３は、フレームメモリ４０に輝度画素データが格納されると、メモリＩＦ３４を介して、フレームメモリ４０から輝度画素データを読み出して、ＬＭ３３２に格納する。ＬＭ３３２に輝度画素データが格納されると、輝度画像→ゲイン変換器３３３は、格納された各輝度画素データを順次読み出して、そのデータの示す輝度値に対応したゲインを、ＬＵＴ３３４から取得して、取得したゲインをトーンマップ用乗算器３３５に出力する。
【００９７】
また、本線系処理部３３は、フレームメモリ４０に画素データＳ３が格納されると、メモリＩＦ３４を介して、フレームメモリ４０から、画素データＳ１〜Ｓ３を読み出し、読み出した画素データＳ１〜Ｓ３を、それぞれ対応するＬＭ３３０Ａ〜３３０Ｃに格納する。
ＨＤＲ合成処理部３３１は、ＬＭ３３０Ａ〜３３０Ｃに画素データＳ１〜Ｓ３が格納されると、まず、露光時間Ｔ１及びＴ３、並びにＴ２及びＴ３の比率に応じたゲインＧ１１及びＧ１２をそれぞれ求める。次に、ＬＭ３３０Ａ〜３３０Ｃから画素データＳ１〜Ｓ３を読み出し、読み出した画素データＳ１に対してゲインＧ１１を乗算し、読み出した画素データＳ２にゲインＧ１２を乗算することで、画素データＳ１及びＳ２の正規化を行う。
【００９８】
次に、正規化した画素データＳ１〜Ｓ２と、画素データＳ３とに対して、それぞれ重み付け処理を行う。そして、重み付けされた画素データＳ１〜Ｓ３を合成して、ＨＤＲ画素データ（ＨＤＲ＿ＲＡＷ画素データ）を生成する。生成したＨＤＲ＿ＲＡＷ画素データは、トーンマップ用乗算器３３５に出力される。
ここでは、ＬＵＴ３３４に、上式（２）において、ｉを「０．６」に設定した下式（３）によって算出したゲインＫ（Ｐ）を登録していることとする。
Ｋ（Ｐ）＝１／ＰL0.6 （３）
【００９９】
上式（３）において、ＰLは、ＨＤＲ＿ＲＡＷ画素データの階調範囲の輝度値を０〜１の範囲に正規化した値である。例えば、ＨＤＲ＿ＲＡＷ画素データの階調範囲が２０ビットであれば、最小値「０」〜最大値「２０’ｈＦＦＦＦＦ（１６進数）」の範囲の輝度値Ｙを「２20」で除算することで正規化される。
上式（３）で算出されたゲインＫ（Ｐ）は、ＰLが１に近い（明るい）ほどその値を保持し、ＰLが０に近い（暗い）ほどその値を明るく持ち上げる特性を有している。
【０１００】
トーンマップ用乗算器３３５は、ＨＤＲ合成処理部３３１から入力されたＨＤＲ＿ＲＡＷ画素データの示す輝度値に、輝度画像→ゲイン変換器３３３から入力されたゲインを乗算して、その乗算結果を色処理部３３６に出力する。
ここで、トーンマップ用乗算器３３５において、ゲインを乗算する前のＨＤＲ＿ＲＡＷ画像データの輝度のヒストグラムは、図１０（ａ）に示すように、ＰLが０に近い暗部（図１０（ａ）中の丸で囲った部分）において画素数の多い突出した部分を有している。一方、ゲインを乗算して、トーンマッピングを施した後のＨＤＲ＿ＲＡＷ画像データの輝度のヒストグラムは、図１０（ｂ）に示すように、暗部が図１０（ｂ）中の丸で囲った範囲に渡って広がり、明部は現状が維持されて、全体的にブロード化されたものとなる。
【０１０１】
色処理部３３６は、トーンマップ用乗算器３３５から入力されたＨＤＲ＿ＲＡＷ画素データを、ＬＭ３３７に格納し、処理に必要なＨＤＲ＿ＲＡＷ画素データがＬＭ３３７に格納されると、格納されたＨＤＲ＿ＲＡＷ画素データを読み出す。
そして、読み出したデータに対して、色補間処理を施し、画素毎に、Ｒの色要素に対応するＲ＿ＨＤＲ画素データ、Ｇの色要素に対応するＧ＿ＨＤＲ画素データ及びＢの色要素に対応するＢ＿ＨＤＲ画素データを有するカラーＨＤＲ画素データを生成する。生成されたカラーＨＤＲ画素データは、ガンマ変換部３３８に出力される。
【０１０２】
ガンマ変換部３３８は、色処理部３３６から、カラーＨＤＲ画素データが入力されると、表示装置３の表示可能な階調範囲に対応したトーンカーブの情報が格納されたＬＵＴ３３９から、入力された各画素データの示す輝度値に対応する変換値を読み出す。そして、この読み出した変換値をガンマ変換後の値とすることで、カラーＨＤＲ画素データに対して、ガンマ変換を施す。このガンマ変換後の画素データが、カラーＬＤＲ画素データとなる。
【０１０３】
例えば、表示装置３の表示可能な階調範囲が８ビットであるとすると、８ビットのカラーＬＤＲ画像データが、ガンマ変換によって生成される。カラーＬＤＲ画像データは、ＲＧＢビデオ出力信号として、表示装置３に出力される。
なお、上記したように、各フレームの画素信号Ｓ１〜Ｓ３は、画素データＳ１→Ｓ２→Ｓ３の順番でフレームメモリ４０に格納される。
【０１０４】
そして、本線系処理部３３においては、上記したように、画素データＳ１〜Ｓ３を全て用いてＨＤＲ画像データを生成する処理（本線系処理）が行われる。
従って、本実施形態では、本線系処理の開始タイミングを、図９の本線系ＶＳＹＮＣ０〜２に示すように、フレームメモリ４０に各フレームの最初の画素データＳ３（ライン単位）が格納されたタイミングとしている。各フレームにおいては、新たな画素データＳ３が格納される毎に、順次、パイプライン処理のごとく本線系処理が行われる。
【０１０５】
また、上記したように、輝度画像生成部３２及び本線系処理部３３においては、画素データＳ１〜Ｓ２を用いて輝度画像データＰを生成し、輝度画像データＰからトーンマッピングのためのゲインを求める処理（ＴＭ系処理）が行われる。
従って、本実施形態では、ＴＭ系処理の開始タイミングを、図９のＴＭ系ＶＳＹＮＣ１〜２に示すように、フレームメモリ４０に各フレームの最初の画素データＳ２（ライン単位）が格納されたタイミングとしている。各フレームにおいては、新たな画素データＳ２が格納される毎に、順次、パイプライン処理のごとくＴＭ系処理が行われる。
【０１０６】
その結果、各フレームにおける、本線系処理の開始タイミングと、ＴＭ系処理の開始タイミングとには、図９に示す時間差が発生する。この時間差において、ＴＭ系処理を完了させ、生成した輝度画像データＰをフレームメモリ４０に格納することができれば、本線系処理と、ＴＭ系処理との一方を遅延させることなく合わせることができる。本実施形態では、時間差の間にＴＭ系処理を完了させるようにしている。つまり、タイミングを合わせるための遅延素子を不要とした構成としている。
【０１０７】
以上説明したように、本実施形態の撮像装置２は、輝度画像生成部３２において、標準露光時間Ｔ３の取得に先立って取得される、超短露光時間Ｔ１及び短露光時間Ｔ２の画素データＳ１及びＳ２を使って輝度画像データＰを生成し、それをフレームメモリ４０に格納することができる。そして、本線系処理部３３が、標準露光時間Ｔ３の画素データＳ３を取得して、画素データＳ１〜Ｓ３からＨＤＲ画像データを生成すると、生成したＨＤＲ画像データに対して、フレームメモリに格納した輝度画像データＰを使って、トーンマッピングを行うことができる。
これによって、ＨＤＲ画像データを生成する本線系処理と、輝度画像データＰを生成するＴＭ系処理とのタイミングを合わせるための遅延素子を不要とすることができる。
【０１０８】
更に、輝度画像データＰの生成に、非破壊読み出しで取得した画素データＳ１及びＳ２を用いるようにしたので、全ダイナミックレンジにおいて、色相の維持ができる。
更に、輝度画像データＰに基づき、ＨＤＲ画像データに対して、トーンマップ処理を施すようにしたので、全ダイナミックレンジにおいて、階調性を維持し、色再現性の良い映像を出力することができる。
【０１０９】
更に、輝度画像データＰの生成において、画素データＳ１及びＳ２をリサイズして、リサイズした画素データを合成して輝度画像生成用のＨＤＲ画像データを生成し、これにＬＰＦによるフィルタ処理を施すようにした。
これによって、フィルタ処理を軽減できると共に、リサイズによって輝度画像データＰを１／４のサイズにすることができるので、ラインメモリを小さくでき、より安価な構成とすることができる。
上記第１実施形態において、プリプロセス部３１は、形態１、４及び９のいずれか１に記載の画像データ取得手段に対応し、輝度画像生成部３２、ＬＭ３３２、輝度画像→ゲイン変換器３３３及びＬＵＴ３３４は、形態１、４、７、９、１０、１３、１４及び１６のいずれか１に記載のゲイン分布生成手段に対応する。
【０１１０】
また、上記第１実施形態において、トーンマップ用乗算器３３５、色処理部３３６、ＬＭ３３７、ガンマ変換部３３８及びＬＵＴ３３９は、形態１、１１、１７及び１８のいずれか１に記載の階調変換手段に対応する。
また、上記第１実施形態において、トーンマップ用乗算器３３５におけるＨＤＲ合成処理部３３１からＨＤＲ＿ＲＡＷ画素データを取得する機能部は、形態１の合成画像データ取得手段に対応する。
【０１１１】
また、上記第１実施形態において、ＬＭ３３０Ａ〜３３０Ｃ及びＨＤＲ合成処理部３３１は、形態３又は４に記載の合成画像データ生成手段に対応する。
また、上記第１実施形態において、プリプロセス部３１における画素データＳ１〜Ｓ２の取得処理は、形態２１に記載の画像データ取得ステップに対応し、輝度画像生成部３２、ＬＭ３３２、輝度画像→ゲイン変換器３３３及びＬＵＴ３３４によるゲインの生成処理は、形態２１に記載のゲイン分布生成ステップに対応する。
【０１１２】
また、上記第１実施形態において、ＬＭ３３０Ａ〜３３０Ｃ及びＨＤＲ合成処理部３３１におけるＨＤＲ画像データの生成処理は、形態２１に記載の合成画像データ取得ステップに対応する。
また、上記第１実施形態において、トーンマップ用乗算器３３５、色処理部３３６、ＬＭ３３７、ガンマ変換部３３８及びＬＵＴ３３９によるＨＤＲ画像データの階調を変換する処理は、形態２１に記載の階調変換ステップに対応する。
【０１１３】
〔第２実施形態〕
次に、本発明の第２実施形態を図面に基づき説明する。図１１は、本発明に係る撮像制御装置、撮像装置及び撮像制御方法の第２実施形態を示す図である。
本実施形態は、上記第１実施形態の撮像素子１０におけるＨＤＲセンサ１４が、感度の異なる２種類の画素群から構成されたセンサセルアレイを有し、異なる感度の画素で撮像した２種類の画素データＳＬ及びＳＨを出力する点が異なる。ここで、画素データＳＬの方が画素データＳＨよりも低感度の画素で撮像されたデータであるとする。
【０１１４】
更に、本実施形態は、撮像制御装置の構成が、上記第１実施形態の撮像制御装置と異なり、画素データＳＬ及びＳＨからＨＤＲ画像データを生成する本線系処理を行い、一方、画素データＳＬから輝度画像データＰを生成するＴＭ系処理を行う。
まず、本発明に係る撮像制御装置の構成を図１１に基づき説明する。図１１は、本実施形態に係る撮像制御装置５０の詳細な構成を示すブロック図である。
図１１に示すように、撮像装置４は、撮像素子１５と、撮像制御装置５０とを含んで構成される。
【０１１５】
撮像素子１５は、上記第１実施形態の撮像素子１０と同様のレンズ１１、マイクロレンズ１２、カラーフィルタアレイ１３を備えている。そして、比較的感度の低い画素で被写体を撮像して得られた低感度画素データＳＬと、比較的感度の高い画素で被写体を撮像して得られた高感度画素データＳＨとを同じタイミングで出力する。
具体的に、サイズが異なる２種類の画素群からセンサセルアレイを構成する。これによって、同じ露光時間に対して、サイズの大きい方が高感度（受光量大）に、サイズの小さい方が低感度（受光量小）となる。
【０１１６】
また、本実施形態では、センサセルアレイは、上記第１実施形態とは異なり、ＣＣＤ（Charge Coupled Device）で構成されている。
撮像制御装置５０は、輝度画像生成部５１と、輝度画像→ゲイン変換器５２と、ＬＵＴ５３と、ＨＤＲ合成処理部５４と、遅延部５５と、補正部５６とを含んだ構成となっている。なお、撮像制御装置５０には、上記第１実施形態と同様に、表示装置３が接続されるものとする。
【０１１７】
輝度画像生成部５１は、上記第１実施形態の輝度画像生成部３２から、ＨＤＲ合成処理部３２３とこれに関連するＬＭを除いた構成となっており、低感度画素データＳＬに対して画素混合処理を行う画素混合部を備えている。更に、画素混合処理を施してリサイズされた低感度画素データＳＬ’に対して上記第１実施形態のぼかし処理部３２４と同様のぼかし処理を行うぼかし処理部を備えている。ぼかし処理後の画素データは、輝度画素データとして、輝度画像→ゲイン変換器５２に出力される。
【０１１８】
輝度画像→ゲイン変換器５２は、輝度画像生成部５１から入力される輝度画素データの示す輝度値に対応したゲインを、ＬＵＴ５３から取得して、補正部５６に出力する。即ち、入力される輝度画素データの生成工程が異なるのみで、上記第１実施形態の輝度画像→ゲイン変換器３３３と同様となる。
ＬＵＴ５３は、上記第１実施形態のＬＵＴ３３４と同様に、輝度画素データの輝度値に対応するゲインＫ（Ｙ）のデータテーブルを格納したものである。
【０１１９】
ＨＤＲ合成処理部５４は、撮像素子１５から入力される低感度画素データＳＬ及び高感度画素データＳＨに対して、感度の比率に応じたゲインを算出し、算出したゲインを用いて、低感度画素データＳＬの正規化を行う。更に、正規化した低感度画素データと、高感度画素データＳＨに対して重み付け処理を行い、重み付け処理後のＳＬ及びＳＨを足し合わせることで、ＨＤＲ＿ＲＡＷ画素データを生成する。生成したＨＤＲ＿ＲＡＷ画素データは、遅延部５５に出力される。
【０１２０】
遅延部５５は、ＨＤＲ合成処理部５４から入力されたＨＤＲ＿ＲＡＷ画素データを、輝度画像→ゲイン変換器５２のゲインの出力タイミングとタイミングが合うように所定時間だけ遅延させてから、補正部５６に出力する。
補正部５６は、上記第１実施形態と同様のトーンマップ用乗算器３３５と、色処理部３３６と、ＬＭ３３７と、ガンマ変換部３３８と、ＬＵＴ３３９とを含んで構成される。
【０１２１】
従って、トーンマップ用乗算器３３５は、遅延部５５から入力されたＨＤＲ＿ＲＡＷ画素データに、輝度画像→ゲイン変換器５２から入力されたゲインを乗算して、ＨＤＲ＿ＲＡＷ画素データをトーンマッピングする。更に、色処理部３３６は、トーンマッピングされたＨＤＲ＿ＲＡＷ画素データに対して、色補間処理を施して、画素毎に、Ｒ＿ＨＤＲ画素データ、Ｇ＿ＨＤＲ画素データ及びＢ＿ＨＤＲ画素データを有するカラーＨＤＲ画素データを生成する。更に、ガンマ変換部３３８は、撮像制御装置５０に接続された表示装置３の表示可能な階調範囲に対応したトーンカーブの情報が格納されたＬＵＴ３３９から、入力された各画素データの示す輝度値に対応する変換値を読み出す。そして、入力された輝度値を、この読み出した変換値に置き換えることで、カラーＨＤＲ画素データに対して、ガンマ変換を施す。このガンマ変換後の画素データが、カラーＬＤＲ画素データとなる。カラーＬＤＲ画素データは、ＲＧＢビデオ出力信号として、表示装置３に出力される。
【０１２２】
次に、本実施形態の実際の動作を説明する。
被写体の撮像が開始されると、被写体から反射された光は、レンズ１１で集光されてマイクロレンズ１２に入射される。レンズ１１からの入射光は、マイクロレンズ１２において平行化されて、カラーフィルタアレイ１３の各ＣＦ部を介してセンサセルアレイの各画素に入射される。
低感度の画素群からは、撮像によって得られた低感度画素データＳＬが、高感度の画素群からは、撮像によって得られた高感度画素データＳＨが、それぞれ撮像制御装置５０に出力される。具体的に、低感度画素データＳＬが、輝度画像生成部５０及びＨＤＲ合成処理部５４に出力され、高感度画素データＳＨが、ＨＤＲ合成処理部５４に出力される。
【０１２３】
一方、撮像制御装置５０は、撮像素子１５からの画素データＳＬ及びＳＨを受信すると、輝度画像生成部５１において、低感度画素データＳＬを、画素混合部に出力する。画素混合部は、入力された低感度画素データＳＬの画素混合処理を実行する。具体的に、ベイヤ配列で区分された２行×２列の４つの画素毎に、これらの画素に対応するＲ、Ｇ、Ｇ、Ｂの４つの色要素に対応する画素データを混合する。
これによって、低感度画素データＳＬは４画素のデータが１画素のデータに変換され、低感度の画素で撮像して得られた低感度撮像画像データが、１／４のサイズにリサイズされる。画素混合部は、画素混合処理後の低感度画素データＣＳＬを、ぼかし処理部に出力する。
【０１２４】
ぼかし処理部は、画素混合部から、低感度画素データＣＳＬが入力されると、入力されたデータに対してＬＰＦを用いたフィルタ処理を行う。
このようにして、低感度画素データＣＳＬに対して、ぼかし処理が施されると、その画素データに対する輝度画素データが生成される。ぼかし処理部は、生成した輝度画素データを、輝度画像→ゲイン変換器５２に出力する。
輝度画像→ゲイン変換器５２は、入力された各輝度画素データの示す輝度値に対応したゲインを、ＬＵＴ５３から取得して、取得したゲインを補正部５６のトーンマップ用乗算器に出力する。ここでは、ＬＵＴ５３に、上式（３）によって算出したゲインＫ（Ｙ）を登録していることとする。
【０１２５】
一方、輝度画素データを生成し、生成した輝度画素データをゲインに変換する処理と並列して、ＨＤＲ合成処理部５４では、入力された低感度画素データＳＬと、高感度画素データＳＨからＨＤＲ＿ＲＡＷ画素データを生成する処理を実行する。
具体的に、ＨＤＲ合成処理部５４は、まず、感度の比率に応じたゲインを求める。次に、低感度画素データＳＬに対してゲインを乗算することで、低感度画素データＳＬの正規化を行う。
【０１２６】
次に、正規化した低感度画素データＳＬと、高感度画素データＳＨとに対して、それぞれ重み付け処理を行う。そして、重み付けされた低感度画素データＳＬと高感度画素データＳＨとを合成して、ＨＤＲ画素データ（ＨＤＲ＿ＲＡＷ画素データ）を生成する。生成したＨＤＲ＿ＲＡＷ画素データは、遅延部５５に出力される。
遅延部５５は、ＨＤＲ合成処理部５４から入力されたＨＤＲ＿ＲＡＷ画素データを遅延させて、補正部５６に出力する。
つまり、輝度画像生成部５１及び輝度画像→ゲイン変換器５２で行われる処理にかかる時間よりも、ＨＤＲ合成処理部５４で行われる処理にかかる時間の方が短いため、その分を遅延部５５で吸収する。
【０１２７】
補正部５６は、遅延部５５からＨＤＲ＿ＲＡＷ画素データが入力され、輝度画像→ゲイン変換器５２からゲインが入力されると、トーンマップ用乗算器３３５において、ＨＤＲ＿ＲＡＷ画素データの示す輝度値にゲインを乗算して、その乗算結果を色処理部３３６に出力する。
具体的に、輝度画像データＰは、ＨＤＲ＿ＲＡＷ画像データに対して、１／４のサイズとなるので、ＨＤＲ＿ＲＡＷ画像データの４つの画素データに対して、１つの輝度画素データが対応する。従って、１つのゲインによって、ベイヤ配列で区分される各４つのＨＤＲ＿ＲＡＷ画素データがトーンマッピングされることになる。
これにより、ＨＤＲ＿ＲＡＷ画像データの輝度のヒストグラムは、全体的にブロード化されたものとなる。
【０１２８】
色処理部３３６は、トーンマップ用乗算器３３５から入力されたゲインを乗算後のＨＤＲ＿ＲＡＷ画素データに対して、色補間処理を施し、カラーＨＤＲ画素データを生成する。生成されたカラーＨＤＲ画素データは、ガンマ変換部３３８に出力される。
ガンマ変換部３３８は、色処理部３３６から、カラーＨＤＲ画素データが入力されると、このカラーＨＤＲ画素データに対して、ガンマ変換を施す。このガンマ変換後の画素データが、カラーＬＤＲ画素データとなる。ＬＤＲ画像データは、ＲＧＢビデオ出力信号として、表示装置３に出力される。
【０１２９】
以上説明したように、本実施形態の撮像装置４は、輝度画像生成部５１において、撮像素子１５から入力される、低感度画素データＳＬを使って輝度画像データＰを生成し、生成した輝度画像データＰを輝度画像→ゲイン変換器５２において、ゲインに変換することができる。
また、これらの処理と並列して、ＨＤＲ合成処理部５４において、撮像素子１５から入力される、低感度画素データＳＬ及び高感度画素データＳＨからＨＤＲ画像データを生成することができる。そして、遅延部５５において、生成したＨＤＲ画像データの補正部５６への出力を、ゲインの出力に合わせて遅延させることができる。更に、トーンマップ用乗算器３３５において、輝度画像→ゲイン変換器５２から入力されるゲインを、遅延部５５から入力される輝度画素データに乗算することで、トーンマッピングを行うことができる。
【０１３０】
これによって、輝度画像データＰの生成に、同じ被写体に対して同じ露光時間で２種類の感度で撮像して得られた低感度画素データＳＬ及び高感度画素データＳＨのうち、低感度画素データＳＬを用いるようにしたので、全ダイナミックレンジにおいて、色相の維持ができる。
更に、輝度画像データＰに基づき、ＨＤＲ画像データに対して、トーンマップ処理を施すようにしたので、全ダイナミックレンジにおいて、階調性を維持し、色再現性の良い映像を出力することができる。
【０１３１】
更に、撮像制御装置５０は、輝度画像データＰの生成において、低感度画素データＳＬを画素混合処理によってリサイズし、リサイズした画素データにＬＰＦによるフィルタ処理を施して輝度画像データＰを生成することができる。
これによって、フィルタ処理を軽減できると共に、リサイズによって輝度画像データＰを１／４のサイズにすることができるので、ラインメモリを小さくでき、より安価な構成とすることができる。
【０１３２】
上記第２実施形態において、輝度画像生成部５１における低感度画素データＳＬを取得する機能は、形態５又は８に記載の画像データ取得手段に対応し、輝度画像生成部５１、輝度画像→ゲイン変換器５２及びＬＵＴ５３は、形態５、７、８、１０、１３、１４及び１６のいずれか１に記載のゲイン分布生成手段に対応する。
また、上記第２実施形態において、トーンマップ用乗算器３３５、色処理部３３６、ＬＭ３３７、ガンマ変換部３３８及びＬＵＴ３３９は、形態５、１１、１７及び１８のいずれか１に記載の階調変換手段に対応する。
【０１３３】
また、上記第２実施形態において、ＨＤＲ合成処理部５４は、形態５に記載の合成画像データ取得手段、及び形態６に記載の合成画像データ生成手段に対応する。
また、上記第２実施形態において、輝度画像生成部５１における低感度画素データＳＬを取得する処理は、形態２２に記載の画像データ取得ステップに対応し、輝度画像生成部５１、輝度画像→ゲイン変換器５２及びＬＵＴ５３によるゲインの生成処理は、形態２２に記載のゲイン分布生成ステップに対応する。
【０１３４】
また、上記第２実施形態において、ＨＤＲ合成処理部５４におけるＨＤＲ画像データの生成処理は、形態２２に記載の合成画像データ取得ステップに対応する。
また、上記第２実施形態において、補正部５６のトーンマップ用乗算器３３５、色処理部３３６、ＬＭ３３７、ガンマ変換部３３８及びＬＵＴ３３９によるＨＤＲ画像データの階調を変換する処理は、形態２２に記載の階調変換ステップに対応する。
【０１３５】
なお、上記各実施形態において、輝度画像データＰの生成に用いる画像データをリサイズする構成としたが、この構成に限らず、リサイズせずにぼかし処理を適用して輝度画像データを生成する構成としてもよい。
また、上記各実施形態において、ＨＤＲ信号処理部３０が、撮像素子１０又は１５から露光時間の長さ又は感度の異なる複数種類の画像データを取得し、取得した複数種類の画像データを合成して、ＨＤＲ画像データを生成する構成を例として説明したが、この構成に限らない。
【０１３６】
例えば、撮像素子１０又は１５がＨＤＲ画像データを生成する手段を有する構成、又は外部の別の装置が撮像素子１０又は１５から取得した画像データを用いてＨＤＲ画像データを生成する構成としてもよい。この構成であれば、ＨＤＲ信号処理部３０から、ＬＭ３３０Ａ〜３３０Ｃ及びＨＤＲ合成処理部３３１を取り除くことが可能となる。
この場合に、撮像素子１０若しくは１５、又は外部の装置からＨＤＲ画像データを取得する機能は、形態１の合成画像データ取得手段に対応する。
【０１３７】
また、上記各実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
また、本発明は上記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【符号の説明】
【０１３８】
１…撮像システム、２，４…撮像装置、３…表示装置、１０，１５…撮像素子、１１…レンズ、１２…マイクロレンズ、１３…カラーフィルタアレイ、１４…ＨＤＲセンサ、２０，５０…撮像制御装置、３０…ＨＤＲ信号処理部、３１…プリプロセス部、３２，５１…輝度画像生成部、３３…本線系処理部、３４…メモリＩＦ、４０…フレームメモリ、５５…遅延部、５６…補正部、３２０Ａ，３２０Ｂ，３２２，３２５，３２６，３３０Ａ〜３３０Ｃ，３３２，３３７…ラインメモリ、３２１Ａ〜３２１Ｂ…画素混合部、５４，３２３，３３１…ＨＤＲ合成処理部、３２４…ぼかし処理部、５２，３３３…輝度画像→ゲイン変換器、５３，３３４，３３９…ＬＵＴ、３３５…トーンマップ用乗算器、３３６…色処理部、３３８…ガンマ変換部
【技術分野】
【０００１】
本発明は、撮像装置に係り、特に、画像データのダイナミックレンジを圧縮するのにかかる時間を低減するのに好適な撮像制御装置、撮像装置及び撮像制御方法等に関する。
【背景技術】
【０００２】
従来、長さの異なる複数の露光時間で撮像して得られた画像データを合成して、ダイナミックレンジを拡大した画像データ（ＨＤＲ画像データ）を生成する技術がある。しかし、ＨＤＲ画像データは、例えば、２０ビットなどの非常に広いレンジを有するため、そのままのレンジでは、例えば、８ビットなどの比較的狭いレンジを有する、既存の多くの表示装置において表示できない。そのため、ＨＤＲ画像データのダイナミックレンジを、既存の表示装置のレンジに合わせて変換する必要があった。
【０００３】
ＨＤＲ画像データのダイナミックレンジを変換する技術としては、例えば、特許文献１に記載の高ダイナミックレンジ（ＨＤＲ）画像を低ダイナミックレンジ（ＬＤＲ）画像に変換する方法がある。
一般に、ＨＤＲ画像を高コントラストでＬＤＲ画像に変換する技術は、トーンマッピング、ダイナミックレンジ圧縮技術などと呼ばれている。これらは、暗部（シャドウ）から明部（ハイライト）まで良好な色再現性を維持したままレンジ圧縮を行う技術である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２８４５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１を含む従来技術において、トーンマッピングは計算機上で実現される。ＨＤＲ（High Dynamic Range）画像データを得るためには、デジタルカメラ等によって、長さの異なる複数の露光時間で撮像した複数の画像データが必要である。または、感度の異なる複数の撮像部（画素群）を有するデジタルカメラ等で撮像した複数の画像デーが必要である。そして、従来は、これら複数の画像データを全て取得してから計算機においてＨＤＲ画像データの生成、及びトーンマッピング等の画像処理を順に行っていた。
【０００６】
また、トーンマッピングに用いる、ＨＤＲ画像データから照明光成分を分離（抽出）して得られる「ぼかし」画像データを得るために、ＨＤＲ画像データに対してローパスフィルタ（ＬＰＦ）を用いたフィルタ処理が必要となる。このフィルタ処理は、計算機のリソースを多量に必要にすると共に、処理時間も大きい。従って、ぼかし画像の生成における時間ロスが大きくなり、実時間でＨＤＲ画像データをＬＤＲ画像データに変換して動画像を作成するような場合に、その実現が困難となっている。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものである。本発明の幾つかの態様によれば、画像データの輝度の階調範囲（ダイナミックレンジ）を圧縮する処理において発生する時間ロスを低減するのに好適な撮像制御装置、撮像装置及び撮像制御方法を提供できる。
【課題を解決するための手段】
【０００７】
〔形態１〕 上記目的を達成するために、形態１の撮像制御装置は、
撮像素子において長さの異なる複数の露光時間で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得手段と、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得手段と、
前記画像データ取得手段で取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成手段と、
前記ゲイン分布生成手段で生成したゲイン分布に基づき、前記合成画像データ取得手段で取得した前記第１の合成画像データの輝度の階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換手段と、を備える。
【０００８】
このような構成であれば、画像データ取得手段によって、撮像素子において長さの異なる複数の露光時間で撮像して得られた複数の画像データのうち１つが取得される。更に、合成画像データ取得手段によって、前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データ（例えば、ＨＤＲ画像データ）が取得される。これら画像データが取得されると、ゲイン分布生成手段によって、第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布が生成される。ゲイン分布が生成されると、階調変換手段によって、第１の合成画像データの輝度の階調範囲が、当該階調範囲より狭い範囲に変換される。
【０００９】
例えば、ゲイン分布生成手段において、第１の合成画像データの各画素に対応する輝度成分のうち、反射率成分を保持した状態で照明光成分を圧縮するゲイン分布を生成する。そして、階調変換手段において、この生成したゲイン分布を用いて、第１の合成画像データに対して階調変換（トーンマッピング）を施す。
以上より、第１の合成画像データの生成に係る複数の画像データのうち少なくとも１に基づき、ゲイン分布を生成することができるので、全てのダイナミックレンジにおいて階調性を維持し、且つ色再現性の良い階調変換を施すことができるという効果が得られる。
【００１０】
また、例えば、前記複数の画像データのうち、より先に撮像素子から出力される画像データを、ゲイン分布の生成に用いるようにすることで、第１の合成画像データを生成する手段が第１の合成画像データを生成する前に、ゲイン分布生成手段でゲイン分布の生成処理を開始することができる。
これによって、第１の合成画像データの生成が終了する時間と、ゲイン分布の生成が終了する時間との遅延差を低減することができるという効果が得られる。
ここで、上記合成画像データ取得手段は、撮像制御装置の内部に第１の合成画像データを生成する機能部がある場合は、その機能部から第１の合成画像データを取得し、撮像素子などの外部装置が第１の合成画像データを生成する機能を有する場合は、外部装置から第１の合成画像データを取得する。
【００１１】
〔形態２〕 更に、形態２の撮像制御装置は、形態１の撮像制御装置において、
前記撮像素子は、各画素から蓄積電荷を維持したまま前記蓄積電荷に応じた画素信号を読み出す非破壊読み出し方式で画素信号を読み出すことが可能であり、露光時間の短い順に前記長さの異なる複数の露光時間で前記各画素を露光すると共に、露光した各画素から前記非破壊読み出し方式で前記画素信号を読み出し、読み出した順番に前記画素信号のデータを出力する。
【００１２】
このような構成であれば、撮像素子において、各画素から非破壊方式で画素信号を読み出すことができるので、最長の露光時間に対応する画素信号を読み出すまでの間に、より短い露光時間から順に各露光時間に対応する画素信号の読み出しを行うことができる。
従って、第１の合成画像データの生成に用いる前記２以上の画像データの取得時間を低減することができる。更に、より短い露光時間に対応した画像データを、ゲイン分布の生成に用いるようにすることで、該短い露光時間の画像データを取得してから第１の合成画像データが生成されるまでの時間（ゲイン分布を生成する時間）をより長く確保することができる。
【００１３】
これによって、第１の合成画像データの生成が終了する時間と、ゲイン分布の生成が終了する時間との遅延差を、より低減することができるという効果が得られる。
特に、車載カメラやマシンビジョンなどのように実時間性が要求されるアプリケーションにおいて、実時間に近いタイミングで出力装置の階調に合わせて階調変換された合成画像（映像）の取得を行うのに有効である。
【００１４】
〔形態３〕 更に、形態３の撮像制御装置は、形態１又は形態２の撮像制御装置において、
前記撮像して得られた複数の画像データのうち、少なくとも２以上の画像データを合成して前記第１の合成画像データを生成する合成画像データ生成手段を備える。
このような構成であれば、長さの異なる複数の露光時間で撮像して得られた複数の画像データのうち、少なくとも２以上の画像データを取得し、取得した画像データを合成して第１の合成画像データ生成することができる。
また、この構成の場合に、合成画像データ取得手段は、合成画像データ生成手段で生成した第１の合成画像データを取得する。
【００１５】
〔形態４〕 更に、形態４の撮像制御装置は、形態３の撮像制御装置において、
前記画像データ取得手段は、前記第１の合成画像データの生成に用いられる前記少なくとも２以上の画像データのうち、最長の露光時間の画像データよりも短い露光時間の画像データを、少なくとも、前記合成画像データ生成手段が前記最長の露光時間の画像データを取得するよりも先行して取得し、
前記ゲイン分布生成手段は、前記先行して取得した短い露光時間の画像データに基づき、前記ゲイン分布を生成する。
【００１６】
このような構成であれば、ゲイン分布生成手段が、撮像素子から最長の露光時間よりも短い露光時間の画像データを取得してから、合成画像データ生成手段が、撮像素子から最長の露光時間の画像データを取得するまでの間をゲイン分布の生成に用いることができる。
これにより、撮像素子が、最長の露光時間の画像データを出力するまでの時間を有効に活用することができる。従って、第１の合成画像データの階調範囲が変換されるまでにかかる時間をより低減することができるという効果が得られる。
【００１７】
〔形態５〕 一方、上記目的を達成するために、形態５の撮像制御装置は、
感度の異なる複数の画素群を有する撮像素子において前記複数の画素群で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得手段と、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得手段と、
前記画像データ取得手段で取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成手段と、
前記ゲイン分布生成手段で生成したゲイン分布に基づき、前記合成画像データ取得手段で取得した前記第１の合成画像データの輝度の階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換手段と、を備える。
【００１８】
このような構成であれば、画像データ取得手段によって、撮像素子において感度の異なる複数の画素郡で撮像して得られた複数の画像データのうち少なくとも１の画像データが取得される。更に、合成画像データ取得手段によって、前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データ（例えば、ＨＤＲ画像データ）が取得される。これら画像データが取得されると、ゲイン分布生成手段によって、第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布が生成される。ゲイン分布が生成されると、階調変換手段によって、ゲイン分布に基づき、第１の合成画像データの輝度の階調範囲が、当該階調範囲より狭い範囲に変換される。
【００１９】
ここで、人間の目に入る光は物体の反射率と照明光の積で決まり、人の目の知覚は反射率と強い相関を持つ。このことから、例えば、ゲイン分布生成手段において、第１の合成画像データの各画素に対応する輝度成分のうち、反射率成分を保持した状態で照明光成分を圧縮するゲイン分布を生成する。そして、階調変換手段において、この生成したゲイン分布を用いて、第１の合成画像データに対して階調変換（トーンマッピング）を施す。
以上より、第１の合成画像データの生成に係る複数の画像データのうち少なくとも１に基づき、ゲイン分布を生成することができるので、全てのダイナミックレンジにおいて階調性を維持し、且つ色再現性の良い階調変換を施すことができるという効果が得られる。
【００２０】
また、例えば、前記複数の画像データのうち、より先に撮像素子から出力される画像データを、ゲイン分布の生成に用いるようにすることで、第１の合成画像データを生成する手段が第１の合成画像データを生成する前に、ゲイン分布生成手段でゲイン分布の生成処理を開始することができる。
これによって、第１の合成画像データの生成が終了する時間と、ゲイン分布の生成が終了する時間との遅延差を低減することができるという効果が得られる。
【００２１】
〔形態６〕 更に、形態６の撮像制御装置は、形態５の撮像制御装置において、
前記撮像して得られた複数の画像データのうち、少なくとも２以上の画像データを合成して前記第１の合成画像データを生成する合成画像データ生成手段を備える。
このような構成であれば、感度の異なる複数の画素郡で撮像して得られた複数の画像データのうち、少なくとも２以上の画像データを取得し、取得した画像データを合成して第１の合成画像データ生成することができる。
【００２２】
〔形態７〕 更に、形態７の撮像制御装置は、形態１乃至６のいずれか１の撮像制御装置において、
前記ゲイン分布生成手段は、処理対象の画像データを構成する複数の画素データの各々に対して前記ゲインを算出して前記ゲイン分布を生成する。
このような構成であれば、画像データ取得手段で取得した画像データに基づき、第１の合成画像データの輝度の階調範囲を圧縮するためのゲインが、処理対象の画像データの複数の画素データの各々に対して算出される。
これによって、第１の合成画像データの輝度の階調範囲の圧縮を、精度良く行うことができるという効果が得られる。
【００２３】
〔形態８〕 更に、形態８の撮像制御装置は、形態１乃至７のいずれか１の撮像制御装置において、
前記ゲイン分布生成手段は、前記画像データ取得手段で取得した画像データに対して、その画像の照明光成分を抽出するフィルタ処理を施して輝度画像データを生成し、生成した輝度画像データに基づき、前記ゲイン分布を生成する。
このような構成であれば、画像データ取得手段で取得した画像データに対してフィルタ処理を施すことによって、取得した画像データの画像の照明光成分を簡易に得ることができるという効果が得られる。
具体的に、反射率成分を保持して照明光成分を圧縮するゲイン係数の分布を生成するために、照明光成分を通過させて反射率成分を遮断又は低減させる性能を有したフィルタを用いてフィルタ処理を行うことが望ましい。
【００２４】
〔形態９〕 更に、形態９の撮像制御装置は、形態１乃至７のいずれか１の撮像制御装置において、
前記画像データ取得手段は、前記第１の合成画像データの生成に用いる３以上の画像データのうちから２以上の画像データを取得し、
前記ゲイン分布生成手段は、前記画像データ取得手段で取得した２以上の画像データを合成して第２の合成画像データを生成し、生成した第２の合成画像データに対して、その画像の照明光成分を抽出するフィルタ処理を施して輝度画像データを生成し、生成した輝度画像データに基づき、前記ゲイン分布を生成する。
【００２５】
このような構成であれば、画像データ取得手段で取得した、第１の合成画像データの生成に用いる３以上の画像データのうちの２以上の画像データを合成して第２の合成画像データを生成し、該生成した第２の合成画像データに基づき、ゲイン分布を生成することができる。
これによって、第１の合成画像データの輝度の階調範囲を圧縮するのに、より適切なゲイン分布を生成することができ、より高画質な階調圧縮画像を得ることができるという効果が得られる。
【００２６】
〔形態１０〕 更に、形態１０の撮像制御装置は、形態８又は９の撮像制御装置において、
前記ゲイン分布生成手段は、前記フィルタ処理を、処理対象の画像データにおける照明光成分を通過させて反射率成分の通過を阻止する特性のローパスフィルタを用いて行う。
ここで、照明光成分は、反射率成分と比較して低周波数である。
従って、上記構成であれば、画像データ取得手段で取得した画像データに対して照明光成分を通過させて反射率成分の通過を阻止する特性のローパスフィルタを用いたフィルタ処理を施すことができる。
これによって、画像データから、照明光成分を簡易に分離することができるという効果が得られる。
【００２７】
〔形態１１〕 更に、形態１１の撮像制御装置は、形態８乃至１０のいずれか１の撮像制御装置において、
前記第１の合成画像データにおける各画素データの示す値をＹとし、前記輝度画像データにおける各画素データの示す値をＰとし、前記Ｙに対応するゲインをＫ（Ｐ）とすると、前記階調変換手段で階調変換後の画素データの示す値Ｙ’は、下式（１）で算出されることを特徴とする請求項８乃至請求項１０のいずれか１項に記載の撮像制御装置。
Ｙ’＝Ｋ（Ｐ）×Ｙ （１）
このような構成であれば、画像データ取得手段で画像データが取得され、取得した画像データに基づきゲイン分布生成手段でゲイン分布が生成される。そして、合成画像データ取得手段で第１の合成画像データが取得されると、上式（１）に従って、第１の合成画像データの各画素データに対して、照明光成分の圧縮された階調変換後の輝度値が算出される。
【００２８】
〔形態１２〕 更に、形態１２の撮像制御装置は、形態１１の撮像制御装置において、
指数部ｉを１以下の正の実数とし、前記輝度画像データの各画素データの示す輝度値を０〜１の範囲で正規化した値をＰLとして、前記ゲインＫ（Ｐ）は、下式（２）で算出されることを特徴とする請求項１１に記載の撮像制御装置。
Ｋ（Ｐ）＝１／ＰLi （２）
このような構成であれば、画像データ取得手段で画像データが取得され、取得した画像データに基づきゲイン分布生成手段で輝度画像データが生成される。そして、輝度画像データの各画素データの示す輝度値から、上式（２）に従って、第１の合成画像データの各画素に対応するゲインＫ（Ｐ）が算出される。
【００２９】
〔形態１３〕 更に、形態１３の撮像制御装置は、形態１１又は１２の撮像制御装置において、
前記ゲイン分布生成手段は、所定の輝度値に対する前記ゲインＫ（Ｐ）のデータが登録されたルックアップテーブルを有し、前記輝度画像データの複数の画素データの各々に対して、前記ルックアップテーブルから対応するゲインＫを取得することで前記ゲイン分布を生成することを特徴とする請求項１１又は請求項１２に記載の撮像制御装置。
このような構成であれば、輝度画像データが生成されることで、該輝度画像データの複数の画素データの各々の輝度値に対応するゲインＫ（Ｙ）を、ルックアップテーブルから取得することができる。これによって、簡易且つ高速にゲイン分布を生成することができるという効果が得られる。
【００３０】
〔形態１４〕 更に、形態１４の撮像制御装置は、形態１乃至１３のいずれか１の撮像制御装置において、
前記ゲイン分布生成手段は、処理対象の画像データを構成する複数の画素データの各々の示す輝度値を所定数の画素郡毎に合成して画像データのサイズを縮小化し、該縮小化した画像データに基づき、前記ゲイン分布として前記画素群毎のゲインの分布を生成する。
【００３１】
このような構成であれば、ゲイン分布生成手段において、画像データ取得手段で取得した画像データを構成する複数の画素データの各々の示す輝度値が、所定数の画素郡毎に合成（例えば、平均化）され、画像データのサイズが縮小化される。更に、ゲイン分布生成手段において、縮小化された画像データに基づきゲイン分布が生成される。
これによって、画像データのサイズを縮小化（リサイズ）することができるので、後段の処理（例えば、輝度画像データを生成するためのフィルタ処理）を簡易化することができる。
従って、第１の合成画像データの輝度の階調範囲の圧縮に係る処理を、より高速に行うことができるという効果が得られる。
【００３２】
〔形態１５〕 更に、形態１５の撮像制御装置は、形態１０乃至１４のいずれか１の撮像制御装置において、
前記撮像素子は、赤色、緑色及び青色で構成される原色もしくはその補色のカラーフィルターを有する。
このような形態であれば、例えば、前記ローパスフィルタを通過した前記輝度画像データＰは、画像の局所領域においては、その領域を構成する画素の輝度画像データＰがほぼ同じ値なので前記ゲインＫもほぼ同じ値となる。そのため、撮像素子を構成する赤色、緑色、青色の画素のゲインが、局所的にみれば同じ値となることから、赤色、緑色、青色のバランスが崩れない。よって、色再現性が優れている、という特徴を有する。
【００３３】
〔形態１６〕 更に、形態１６の撮像制御装置は、形態１４の撮像制御装置において、
前記撮像素子は、赤色、緑色及び青色の各画素に対応するフィルター部が赤、緑、緑、青の組み合わせでベイヤ配列されたカラーフィルター、もしくはその補色のカラーフィルターを有し、
前記ゲイン分布生成手段は、処理対象の画像データのうち前記カラーフィルターで区分される各４画素の画素データを合成して画像データのサイズを１／４に縮小化し、該縮小化した画像データに基づき、前記ゲイン分布として前記区分された４画素毎のゲインの分布を生成する。
【００３４】
このような構成であれば、ゲイン分布生成手段において、画像データ取得手段で取得した画像データのサイズを、カラーフィルターアレイ１３で区分された４画素ごとに適切な色成分で合成して画像のサイズを１／４にリサイズすることができる。そして、リサイズされた画像データに基づき各４画素の領域毎のゲインの分布となるゲイン分布を生成することができる。
これによって、画像のサイズを縮小化（リサイズ）することができるので、後段の処理を簡易化することができ、第１の合成画像データの輝度の階調範囲の圧縮に係る処理を、より高速に行うことができるという効果が得られる。
【００３５】
〔形態１７〕 更に、形態１６の撮像制御装置は、形態１乃至１５のいずれか１の撮像制御装置において、
前記階調変換手段は、前記ゲイン分布を用いた階調変換後の前記第１の合成画像データの輝度のヒストグラムがブロード化されるように前記ゲイン分布の内容を補正し、当該補正したゲイン分布を用いて前記第１の合成画像データの階調範囲を変換し、変換後の前記第１の合成画像データにガンマ変換を施す。
【００３６】
このような構成であれば、第１の合成画像データのヒストグラムがブロード化されるように階調範囲を変換してから、変換後の第１の合成画像データに対してガンマ変換を施すことができる。
これによって、ヒストグラムをブロード化してから、トーンカーブによってガンマ変換が施されるので、階調性を維持することが可能となり、且つレンジ圧縮したことと同じ結果を得ることができる。
【００３７】
特に、上式（２）において、輝度値Ｙの範囲を０〜１とすると、輝度値が０に近い小さい値のときには、ゲインが大きくなり、輝度値が１に近い大きい値のときには、ゲインが１に極めて近い値となる。これによって、１枚の画像の中で、入力が暗い領域はゲインによって持ち上げられて明るくなり、入力が明るい領域はそのまま維持される。つまり、このようにして生成されたゲイン分布を第１の合成画像データに適用することで、適用後のヒストグラムをブロード化することができる。
【００３８】
〔形態１８〕 更に、形態１８の撮像制御装置は、形態１７の撮像制御装置において、
前記第１の合成画像データの画像を出力する出力装置の出力可能な階調範囲に係る情報を、前記出力装置から取得する階調情報取得手段と、
前記出力可能な階調範囲に対応する複数種類のトーンカーブの情報を記憶するトーンカーブ情報記憶手段と、を備え、
前記階調変換手段は、前記トーンカーブ情報記憶手段に記憶された、前記階調情報取得手段で取得した情報に対応する種類のトーンカーブの情報を用いて、前記ブロード化した第１の合成画像データに対して、ガンマ変換を施す。
【００３９】
このような構成であれば、階調情報取得手段によって、第１の合成画像データの画像を出力する出力装置から、該出力装置の出力可能な階調範囲に係る情報が取得される。そして、階調変換手段において、補正後のゲイン分布を用いてヒストグラムがブロード化された第１の合成画像データに対して、前記取得した情報に対応する種類のトーンカーブの情報を用いたガンマ変換が施される。
【００４０】
これによって、撮像制御装置に接続された出力装置の画像の出力性能に応じた階調変換を施すことができるので、出力装置の性能に柔軟に対応できるシステムを容易に構築することができるという効果が得られる。
ここで、上記階調範囲に係る情報とは、表示可能な階調範囲の情報そのもの、階調範囲を算出できる情報などの他、階調変換手段側で出力装置の機種に対応する表示可能な階調範囲のデータテーブルを用意できれば、出力装置の機種情報なども含む情報となる。
【００４１】
〔形態１９〕 また、上記目的を達成するために、形態１９の撮像装置は、
長さの異なる複数の露光時間で被写体を撮像して、前記複数の露光時間に対応する複数の画像データを出力する撮像素子と、
形態１乃至４のいずれか１に記載の撮像制御装置と、を備える。
このような構成であれば、上記形態１〜４の撮像制御装置と同等の作用及び効果が得られる。
【００４２】
〔形態２０〕 また、上記目的を達成するために、形態２０の撮像装置は、
感度の異なる複数の画素群を有し、前記複数の画素群で被写体を撮像して前記複数の画素群に対応する複数の画像データを出力する撮像素子と、
形態５又は６の撮像制御装置と、を備える。
このような構成であれば、上記形態５又は６の撮像制御装置と同等の作用及び効果が得られる。
【００４３】
〔形態２１〕 また、上記目的を達成するために、形態２１の撮像制御方法は、
撮像素子において長さの異なる複数の露光時間で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得ステップと、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得ステップと、
前記画像データ取得ステップで取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成ステップと、
前記ゲイン分布生成ステップで生成したゲイン分布に基づき、前記合成画像データ取得ステップで取得した前記第１の合成画像データの階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換ステップと、を含む。
このような構成であれば、上記形態１の撮像制御装置と同等の作用及び効果が得られる。
【００４４】
〔形態２２〕 また、上記目的を達成するために、形態２２の撮像制御方法は、
感度の異なる複数の画素群を有する撮像素子において前記複数の画素群で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得ステップと、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得ステップと、
前記画像データ取得ステップで取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成ステップと、
前記ゲイン分布生成ステップで生成したゲイン分布に基づき、前記合成画像データ取得ステップで取得した前記第１の合成画像データの階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換ステップと、を含む。
このような構成であれば、上記形態５の撮像制御装置と同等の作用及び効果が得られる。
【図面の簡単な説明】
【００４５】
【図１】本発明に係る撮像システム１の構成を示すブロック図である。
【図２】カラーフィルタアレイ１３の構成を示す図である。
【図３】ＨＤＲセンサ１４のセンサセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
【図４】蓄積電荷のリセットタイミングと、各露光時間の画素信号の読み出しタイミングとの一例を示す図である。
【図５】第１実施形態の撮像制御装置２０の詳細な構成を示すブロック図である。
【図６】輝度画像生成部３２の詳細な構成を示すブロック図である。
【図７】本線系処理部３３の詳細な構成を示すブロック図である。
【図８】ＨＤＲセンサ１４からの画素データの出力形式の一例を示す図である。
【図９】各フレームにおける画素データの出力タイミングの一例を示す図である。
【図１０】（ａ）は、ＨＤＲ画像データのヒストグラムの一例を示す図であり、（ｂ）は、トーンマップ処理によってブロード化されたヒストグラムの一例を示す図である。
【図１１】第２実施形態の撮像制御装置５０の詳細な構成を示すブロック図である。
【発明を実施するための形態】
【００４６】
〔第１実施形態〕
以下、本発明の第１実施形態を図面に基づき説明する。図１〜図１０は、本発明に係る撮像制御装置、撮像装置及び撮像制御方法の第１実施形態を示す図である。
まず、本発明に係る撮像システムの構成を図１に基づき説明する。図１は、本発明に係る撮像システム１の構成を示すブロック図である。
撮像システム１は、図１に示すように、撮像装置２と、表示装置３とを含んで構成される。
撮像装置２は、撮像素子１０と、撮像制御装置２０とを含んで構成され、撮像制御装置２０は、ＨＤＲ信号処理部３０と、フレームメモリ４０とを含んで構成される。
【００４７】
撮像素子１０は、レンズ１１と、マイクロレンズ１２と、カラーフィルタアレイ１３と、ＨＤＲセンサ１４とを含んで構成される。
レンズ１１は、被写体からの反射光を集光して、マイクロレンズ１２へと導くものである。なお、撮像条件などに応じて、単焦点レンズ、ズームレンズ、オートアイリスレンズなどの種類がある。
マイクロレンズ１２は、レンズ１１を透過した光をＨＤＲセンサ１４の有するセンサセルアレイの各センサセル（画素）に集光するものである。
【００４８】
カラーフィルタアレイ１３は、マイクロレンズ１２を透過した光から所定の１種類の色要素に対応する波長の光を分離して該分離した光を対応する各画素に入射するカラーフィルター部（以下、ＣＦ部と称す）を少なくとも画素数分含んで構成されるものである。
ＨＤＲセンサ１４は、各センサセル（画素）がフォトダイオード及びＣＭＯＳ素子から構成されるセンサセルアレイを有し、電子シャッタ方式によって露光時間を制御して露光時間の異なる複数種類の画像データを出力するものである。
【００４９】
ＨＤＲ信号処理部３０は、撮像素子１０から出力される、露光時間の異なる複数種類の撮像画像データに基づき、ノイズ除去処理、輝度画像データ生成処理、ゲイン分布生成処理、トーンマッピング処理、合成処理、色処理、ガンマ変換処理等を行うものである。なお、詳細な構成は後述する。
フレームメモリ４０は、ＨＤＲ信号処理部３０において、ノイズ除去処理後の撮像画像データ、輝度画像データ生成処理によって生成された輝度画像データなどの各種画像データを記憶するメモリである。
表示装置３は、ＨＤＲ信号処理部３０で生成された、ＨＤＲカラー画像データ（Ｒ＿ＨＤＲ画像データ、Ｇ＿ＨＤＲ画像データ、Ｂ＿ＨＤＲ画像データ）に基づき、撮像画像を表示する装置である。
【００５０】
次に、図２に基づき、カラーフィルタアレイ１３の構成を説明する。
ここで、図２は、カラーフィルタアレイ１３の構成を示す図である。
図２において、Ｒ、Ｇ、Ｂは、光の３原色（赤色、緑色、青色）のいずれか１色の波長領域の光を選択的に透過するＣＦ部に対応し、これらに付された下付の数字は、行番号及び列番号を示す。例えば、Ｒ00であれば、行番号１の第１列目の画素に対応するＲの波長領域の光を透過するフィルタ部となる。なお、本実施形態においては、水平方向を行方向とし、垂直方向を列方向として、撮像装置２は、水平方向に並ぶ複数の画素から構成されるラインの単位で処理を行うようになっている。
【００５１】
具体的に、ＣＦアレイ１３は、マイクロレンズ１２を介して入射された光から、赤色に対応する波長領域の光（以下、Ｒ光と称す）、緑色に対応する波長領域の光（以下、Ｇ光と称す）及び青色に対応する波長領域の光（以下、Ｂ光と称す）のうち所定の１色に対応する波長領域の光を分離して、該分離した光をそれぞれ対応する画素に入射する複数のＣＦ部から構成されている。
【００５２】
より具体的に、ＣＦアレイ１３は、図２に示すように、入射光からＲ光を分離して、該分離したＲ光を画素に入射する複数のＲ光透過フィルタ部（図２中のＲ）と入射光からＧ光を分離して、該分離したＧ光を画素に入射する複数のＧ光透過フィルタ部（図２中のＧ）とがＲ→Ｇ→Ｒ→Ｇ→Ｒ→Ｇ→・・・の順で水平方向に連続した構成のフィルタラインＲＧＦＬを複数備えている。
【００５３】
更に、複数のＧ光透過フィルタ部と、入射光からＢ光を分離して、該分離したＢ光を画素に入射する複数のＢ光透過フィルタ部（図２中のＢ）とがＧ→Ｂ→Ｇ→Ｂ→Ｇ→Ｂ→・・・の順で水平方向に連続した構成のフィルタラインＧＢＦＬを複数備えている。これら複数の、フィルタラインＲＧＦＬと、フィルタラインＧＢＦＬとは、図２に示すように、ＲＧＦＬ→ＧＢＦＬ→ＲＧＦＬ→ＧＢＦＬ→ＲＧＦＬ→・・・の順で垂直方向に連続して配列されている。つまり、複数のＧ光透過フィルタ部と、複数のＢ光透過フィルタ部と、複数のＲ光透過フィルタ部とがベイヤ型に配列された構成となっている。
【００５４】
次に、図３及び図４に基づき、撮像素子１０のＨＤＲセンサ１４の露光時間の制御方法、及びセンサセルアレイからの画素信号の読み出し方法について説明する。ここで、図３は、ＨＤＲセンサ１４のセンサセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。また、図４は、蓄積電荷のリセットタイミングと、各露光時間の画素信号の読み出しタイミングとの一例を示す図である。
【００５５】
ここで、本発明の露光時間の制御は、センサセルアレイの露光領域（走査領域）に対して、超短露光時間Ｔ１の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ１と、短露光時間Ｔ２の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ２とを設定する。更に、各画素のラインの蓄積電荷のリセット及び標準露光時間Ｔ３の画素信号の読み出しを行う読み出し＆リセットラインＬ３を設定する。なお、Ｔ１〜Ｔ３の関係は、図４に示すように、「Ｔ１＜Ｔ２＜Ｔ３」となっており、リセットされてから、まずＴ１経過時に非破壊読み出しラインＬ１が設定される。次にＴ２経過時に非破壊読み出しラインＬ２が設定され、次にＴ３経過時に読み出し＆リセットラインＬ３が設定される。
【００５６】
具体的に、非破壊読み出しラインＬ１及びＬ２並びに読み出し＆リセットラインＬ３は、図３に示すように、露光領域における画素のラインに順次標準露光時間Ｔ３分の電荷が蓄積されると、読み出し＆リセットラインＬ３が各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次リセットするように設定される。一方、露光領域のリセット後の各画素のラインにおいては、標準露光時間Ｔ３分の電荷が蓄積される期間中、超短露光時間Ｔ１及び短露光時間Ｔ２において各画素のラインの画素信号を非破壊で順次読み出すように非破壊読み出しラインＬ１及びＬ２がそれぞれ設定される。
【００５７】
なお、本実施の形態においては、図３に示すように、リセット直後の超短露光時間Ｔ１に対応する画素信号（アナログデータ）Ｓ１は、第１ラインメモリに読み出され、短露光時間Ｔ２に対応する画素信号（アナログデータ）Ｓ２は、第２ラインメモリに読み出される。更に、標準露光時間Ｔ３に対応する画素信号（アナログデータ）Ｓ３は、第３ラインメモリに読み出される。そして、これら読み出された画素信号Ｓ１〜Ｓ３は、図３に示すように、それぞれ選択回路を経てＡＤＣにＳ１〜Ｓ３の順で順次出力されそこでデジタルデータ（画素データ）に変換される。変換された各画素データは、変換された順に（Ｓ１〜Ｓ３の順に）ライン単位で撮像制御装置２０のＨＤＲ信号処理部３０に出力される。
【００５８】
また、上記非破壊読み出しラインＬ１及びＬ２並びに読み出し＆リセットラインＬ３の画素信号の読み出しタイミングの制御は、図３に示すように、各画素のライン毎に、読み出し＆リセットラインＬ３を順次走査する（図３のスキャン方向）。そして、読み出し＆リセットラインＬ３においては、蓄積電荷のリセットを行うとともに、蓄積電荷のリセット直前に標準露光時間Ｔ３の露光が行われた画素の画素信号の読み出しを行う。更に、リセット直後に、超短露光時間Ｔ１の画素信号の読み出しを行う。
【００５９】
例えば、露光領域の一番目のラインである第１ラインにおいて標準露光時間Ｔ３の画素信号Ｓ３の読み出し及びリセットが行われたとする。以降は、画素信号Ｓ３が第３ラインメモリから全て外部に読み出される毎に、図３中のスキャン方向に１ラインずつ、読み出し＆リセットラインＬ３の走査が順次行われる。このとき、読み出し＆リセットラインＬ３が再び第１ラインに到達したときに、丁度標準露光時間Ｔ３が経過するタイミングとなるように走査が行われる。このような手順で、センサセルアレイの露光領域の画素のラインに対して、各画素のライン毎に、標準露光時の画素信号の読み出し及び蓄積電荷のリセットを順次行う。
【００６０】
一方、蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、非破壊読み出しラインＬ１において超短露光時間Ｔ１の露光が行われた画素の画素信号Ｓ１の非破壊読み出しを行い、引き続き、非破壊読み出しラインＬ２において短露光時間Ｔ２の露光が行われた画素の画素信号Ｓ２の非破壊読み出しを行う。このような手順で、センサセルアレイの各画素のラインに対して、ライン毎に、超短露光時間Ｔ１及び短露光時間Ｔ２で露光時の画素信号Ｓ１及びＳ２の非破壊読み出しを順次行う。
【００６１】
次に、図５〜図７に基づき、ＨＤＲ信号処理部３０及びフレームメモリ４０の構成を説明する。
ここで、図５は、撮像制御装置２０の詳細な構成を示すブロック図である。
ＨＤＲ信号処理部３０は、図５に示すように、プリプロセス部３１と、輝度画像生成部３２と、本線系処理部３３と、メモリインターフェース（以下、メモリＩＦと称す）３４とを含んで構成される。
プリプロセス部３１は、ＨＤＲセンサ１４からの画素信号（画素データＳ１〜Ｓ３）に対して、超短露光時間Ｔ１の画素データＳ１を用いた固定パターンノイズの除去処理、クランプ処理などを行う。
【００６２】
具体的に、固定パターンノイズの除去処理は、短露光時間Ｔ２及び標準露光時間Ｔ３の画素データから、超短露光時間Ｔ１の画素データを各対応する画素毎に減算する処理となる。つまり、超短露光時間Ｔ１の画素データは、リセット直後の画素信号に対応するデータであるため、電荷の蓄積量が少なく、固定パターンノイズの成分に支配されているので、このデータを、他の露光時間のデータから減算することで、固定パターンノイズの成分のみを除去することができる。
【００６３】
また、クランプ処理は、ＨＤＲセンサ１４からの画素データＳ１〜Ｓ３を受信し、それが遮光領域の信号か否かを検出し、遮光領域と検出された場合はその信号レベルが黒（基準）レベルになるように、全ての入力画素データの直流成分をクランプする処理となる。
そして、固定パターンノイズの除去処理及びクランプ処理を経た画素データＳ１〜Ｓ３は、メモリＩＦ３４を介して、フレームメモリ４０にセンサセルアレイの画素の配列順と対応する順番で格納される。以下、露光時間Ｔ１〜Ｔ３にそれぞれ対応する撮像画像データ（１フレーム分の画素データ）を、画素データと同様に、撮像画像データＳ１〜Ｓ３と称す。
【００６４】
輝度画像生成部３２は、フレームメモリ４０から、メモリＩＦ３４を介して、画素データＳ１及びＳ２を読み出し、読み出した画素データＳ１及びＳ２から、トーンマッピング処理のための輝度画像データＰを生成する。
本線系処理部３３は、フレームメモリ４０から、メモリＩＦ３４を介して、撮像画像データＳ１〜Ｓ３を読み出すと共に、輝度画像データＰを読み出して、これら読み出した画像データに基づき、ＨＤＲ合成処理、トーンマップ処理、色処理、ガンマ変換処理を行う。そして、ガンマ変換後の画像データをＬＤＲ画像データとして、表示装置３に出力する。
【００６５】
メモリＩＦ３４は、フレームメモリ４０に対するデータの書き込み及びデータの読み出しを調停する機能を有している。具体的に、プリプロセス部３１、輝度画像生成部３２及び本線系処理部３３からの、データの読出要求及び書込要求に応じて、正常に読み書きが行われるように、これらの調停を行う。そして、各構成部からの要求に応じた、フレームメモリ４０からのデータの読み出し、及びフレームメモリ４０へのデータの書き込み処理を実行する。
【００６６】
次に、図６に基づき、輝度画像生成部３２の詳細な構成を説明する。
ここで、図６は、輝度画像生成部３２の詳細な構成を示すブロック図である。
輝度画像生成部３２は、Ｌｉｎｅ Ｍｅｍｏｒｙ（以下、ＬＭと称す）３２０Ａ及び３２０Ｂと、画素混合部３２１Ａ及び３２１Ｂと、ＬＭ３２２と、ＨＤＲ合成処理部３２３と、ぼかし処理部３２４と、ＬＭ３２５と、ＬＭ３２６とを含んだ構成となっている。
【００６７】
ＬＭ３２０Ａは、メモリＩＦ３４を介して、フレームメモリ４０から読み出した、超短露光時間Ｔ１の画素データＳ１を少なくとも２ライン単位で格納するためのメモリである。
ＬＭ３２０Ｂは、メモリＩＦ３４を介して、フレームメモリ４０から読み出した、短露光時間Ｔ２の画素データＳ２を少なくとも２ライン単位で格納するためのメモリである。
【００６８】
画素混合部３２１Ａは、ＬＭ３２０Ａに格納された画素データＳ１における、カラーフィルタアレイ１３で区分される２行×２列のＲ、Ｇ、Ｇ、ＢのＣＦ部にそれぞれ対応する４画素の輝度値を混合する処理を行う。４画素の輝度値を混合して１画素の輝度値とした画素データは、１／４のサイズにリサイズされる。以下、リサイズ後の画素データＳ１を、画素データＣＳ１と称す。
【００６９】
画素混合部３２１Ｂは、ＬＭ３２０Ｂに格納された画素データＳ２における、カラーフィルタアレイ１３で区分されるＲ、Ｇ、Ｇ、ＢのＣＦ部にそれぞれ対応する４画素の輝度値を混合する処理を行う。以下、リサイズ後の画素データＳ２を、画素データＣＳ２と称す。
ＬＭ３２２は、画素混合部３２１Ａ及び３２１Ｂで混合された画素データＣＳ１及びＣＳ２を格納するメモリである。
【００７０】
ＨＤＲ合成処理部３２３は、画素混合部３２１Ａで混合された画素データＣＳ１と、画素混合部３２１Ｂで混合された画素データＣＳ２とに対して、露光時間Ｔ１及びＴ２の比に応じたゲインで正規化処理を行う。更に、正規化したデータに対して、重み付け処理を行い、重み付けされた画素データＣＳ１及びＣＳ２を足し合わせて、輝度画像データ生成用のＨＤＲ画素データ（Ｙ＿ＲＡＷ＿ＨＤＲ画素データ）を生成する。なお、Ｙ＿ＲＡＷ＿ＨＤＲ画素データの１フレーム分のデータがＹ＿ＲＡＷ＿ＨＤＲ画像データとなる。
【００７１】
ぼかし処理部３２４は、ＨＤＲ合成処理部３２３で生成されたＹ＿ＲＡＷ＿ＨＤＲ画素データに対して、ローパスフィルター（以下、ＬＰＦと称す）を用いたぼかし処理を行って、輝度画像データＰを生成する。このぼかし処理を行う目的は、Ｙ＿ＲＡＷ＿ＨＤＲ画像データから照明光成分を分離し、分離した照明光成分の輝度画像を得るためである。また、輝度画像は、画素毎のゲインを算出することが目的で、画素毎もしくは領域毎にその輝度値が推定できればよいので、本実施形態では、１／４にリサイズした画素データＣＳ１及びＣＳ２から生成する。
【００７２】
ＬＭ３２５は、ぼかし処理を行うのに必要な分のＹ＿ＲＡＷ＿ＨＤＲ画素データを格納するメモリである。例えば、ＬＰＦが５×５のサイズであれば、Ｙ＿ＲＡＷ＿ＨＤＲ画素データの５行分のデータが格納される。
ＬＭ３２６は、ぼかし処理を行った後の輝度画像データＰを格納するメモリである。輝度画像生成部３２は、このメモリがいっぱいになると、格納された輝度画像データＰを、メモリＩＦ３４を介して、フレームメモリ４０に格納する。
【００７３】
次に、図７に基づき、本線系処理部３３の詳細な構成を説明する。
ここで、図７は、本線系処理部３３の詳細な構成を示すブロック図である。
本線系処理部３３は、図７に示すように、ＬＭ３３０Ａ〜３３０Ｃと、ＨＤＲ合成処理部３３１と、ＬＭ３３２と、輝度画像→ゲイン変換器３３３と、ＬＵＴ（Lookup table）３３４と、トーンマップ用乗算器３３５とを含んだ構成となっている。
【００７４】
本線系処理部３３は、更に、色処理部３３６と、ＬＭ３３７と、ガンマ変換部３３８と、ＬＵＴ３３９とを含んだ構成となっている。
ＬＭ３３０Ａは、メモリＩＦ３４を介して、フレームメモリ４０から読み出した、超短露光時間Ｔ１の画素データＳ１をライン単位で格納するためのメモリである。
ＬＭ３３０Ｂは、メモリＩＦ３４を介して、フレームメモリ４０から読み出した、短露光時間Ｔ２の画素データＳ２をライン単位で格納するためのメモリである。
【００７５】
ＬＭ３３０Ｃは、メモリＩＦ３４を介して、フレームメモリ４０から読み出した、標準露光時間Ｔ３の画素データＳ３をライン単位で格納するためのメモリである。
ＨＤＲ合成処理部３３１は、ＬＭ３３０Ａ〜３３０Ｃに格納された画素データＳ１〜Ｓ３に対して、露光時間Ｔ１及びＴ３、並びにＴ２及びＴ３の比率に応じたゲインをそれぞれ求めると共に、求めたゲインによって画素データＳ１及びＳ２の正規化を行う。更に、正規化した画素データＳ１〜Ｓ２と、画素データＳ３とに対して、それぞれ重み付け処理を行う。更に、重み付けされた画素データＳ１〜Ｓ３を合成して、ＨＤＲ画素データ（ＨＤＲ＿ＲＡＷ画素データ）を生成する。例えば、画素データＳ１〜Ｓ３がそれぞれ１０ビットのデータであるとして、１６ビットのＨＤＲ画素データを生成する。なお、１フレーム分のＨＤＲ画素データが、ＨＤＲ画像データ（ＨＤＲ＿ＲＡＷ画像データ）となる。
【００７６】
ＬＭ３３２は、メモリＩＦ３４を介して、フレームメモリ４０から読み出した、輝度画像データＰを構成する複数の輝度画素データをライン単位で格納するためのメモリである。
輝度画像→ゲイン変換器３３３は、ＬＭ３３２に格納された輝度画素データの入力に対して、各輝度画素データの示す輝度値に対応したゲインを、ＬＵＴ３３４から読み出して、トーンマップ用乗算器３３５に出力する。
【００７７】
ＬＵＴ３３４は、予め下式（１）に従って算出された、各輝度値Ｐに対するゲインＫ（Ｐ）を格納したデータテーブルである。本実施形態では、ＨＤＲ画像データの輝度のヒストグラムを、ブロード化するゲインＫ（Ｐ）が格納されている。
Ｋ（Ｐ）＝１／ＰLi （１）
但し、指数部ｉは、１以下の正の実数であり、ＰLは正規化された輝度値であり「０〜１」の範囲の値となる。
【００７８】
トーンマップ用乗算器３３５は、ＨＤＲ合成処理部３３１で生成されたＨＤＲ画像データを構成する各ＨＤＲ画素データに対して、輝度画像→ゲイン変換器３３３から出力されるゲインを乗算することでトーンマッピングを行う。つまり、ＨＤＲ画像データの各画素データの示す値Ｙと、トーンマッピング後の値Ｙ’との間には、下式（２）の関係が成立する。
Ｙ’＝Ｋ（Ｐ）×Ｙ （２）
【００７９】
本実施形態では、１／４のサイズにリサイズされた輝度画像データＰに対してゲイン分布を生成するので、輝度画像→ゲイン変換器３３３では、４画素の領域毎のゲインが生成されることになる。従って、トーンマップ用乗算器３３５においては、輝度画像→ゲイン変換器３３３から出力される１つのゲインを、ＨＤＲ画像データにおけるカラーフィルタアレイ１３で区分される４画素毎に対応するＨＤＲ画素データに対して乗算する。
【００８０】
トーンマップ用乗算器３３５においてトーンマッピングしたＨＤＲ画素データは、色処理部３３６へと出力される。
色処理部３３６は、ＬＭ３３７に格納されたＨＤＲ画素データ（処理すべき画素のデータ）と、ＬＭ３３７に格納された、処理すべき画素の周辺のＨＤＲ画素データとを用いて色補間処理を行う。すなわち、ＬＭ３３７により遅延された、ＨＤＲ画素データを用いて、画像の各点について、ＲＧＢ色空間に規定される色信号（データ）を生成する処理（色信号処理）を行う。
【００８１】
具体的に、色処理部３３６は、色補間処理によって、ＨＤＲ画素データを、画素毎に、ＲＧＢの各色要素にそれぞれ対応するカラーＨＤＲ画素データに変換する。
これにより、画素毎に、Ｒの色要素に対応するＲ＿ＨＤＲ画素データ、Ｇの色要素に対応するＧ＿ＨＤＲ画素データ及びＢの色要素に対応するＢ＿ＨＤＲ画素データを有するカラーＨＤＲ画素データが生成される。なお、１フレーム分の画素データＳ１〜Ｓ３に対応するカラーＨＤＲ画素データからカラーＨＤＲ画像データが構成される。
【００８２】
ＬＭ３３７は、色処理に必要なトーンマッピング後の画素データをライン単位で格納するメモリである。
ここで、前記ＬＰＦを通過した前記輝度画像データＰは、画像の局所領域においては、その領域を構成する画素の輝度画像データＰがほぼ同じ値なので前記ゲインＫもほぼ同じ値となる。そのため、撮像素子を構成する赤色、緑色、青色の画素のゲインが、局所的にみれば同じ値となることから、赤色、緑色、青色のバランスが崩れない。
【００８３】
なお、トーンマップ用乗算器３３５と色処理部３３６の順番は逆でも良い。すなわち、ＨＤＲ合成処理後のＨＤＲ＿ＲＡＷ画素データに対して色信号処理を施して、Ｒ、Ｇ、ＢのカラーＨＤＲ画素データを生成後、各々のＲ、Ｇ、Ｂに対してトーンマップ用の乗算を施す。この場合、乗算処理が３回必要となる。
ガンマ変換部３３８は、表示装置３の表示可能な階調範囲に対応するトーンカーブの情報が格納されたＬＵＴ３３９から、色処理部３３６で色処理後の各画素データの示す輝度値に対応した変換値を取得する。つまり、各画素データの示す輝度値を、トーンカーブにおける対応する変換値に置き換えることでガンマ変換を施す。
【００８４】
例えば、ＨＤＲカラー画素データの階調範囲が２０ビットで、表示装置３の表示可能な階調範囲が８ビットである場合は、ＬＵＴ３３９に格納された、２０ビットの階調範囲の輝度値を８ビットの階調範囲の輝度値に変換するトーンカーブの情報から、各入力輝度値に対応した変換値を取得する。このとき、表示装置３から、その表示可能な階調範囲が解る情報を取得するようにしてもよい。
【００８５】
このようにして、トーンマッピングによってヒストグラムがブロード化されたＨＤＲカラー画像データをガンマ変換し、２０ビットの階調範囲のＨＤＲ画像データを、８ビットの階調範囲のＬＤＲカラー画像データへと変換する。
ＬＵＴ３３９は、少なくとも、表示装置３の表示可能な階調範囲に対応するトーンカーブの情報が格納されたデータテーブルである。
【００８６】
次に、図８〜図１０に基づき、本実施形態の動作を説明する。
ここで、図８は、ＨＤＲセンサ１４からの画素データの出力形式の一例を示す図である。また、図９は、各フレームにおける画素データの出力タイミングの一例を示す図である。また、図１０（ａ）は、ＨＤＲ画像データのヒストグラムの一例を示す図であり、（ｂ）は、トーンマップ処理によってブロード化されたヒストグラムの一例を示す図である。
【００８７】
被写体の撮像が開始されると、被写体から反射された光は、レンズ１１で集光されてマイクロレンズ１２に入射される。レンズ１１からの入射光は、マイクロレンズ１２において平行化されて、カラーフィルタアレイ１３の各ＣＦ部を介してセンサセルアレイの各画素に入射される。カラーフィルタアレイ１３は、ＲＧＢの三原色に対応するＣＦ部がベイヤ配列された構成となっているので、Ｒ光、Ｇ光及びＢ光のうち各ＣＦ部に対応した色要素の光のみが各画素に入射されることになる。
【００８８】
一方、撮像が開始されると、開始ラインから順に１ラインずつ読み出し＆リセットラインＬ３が設定されて、走査されたラインの各画素から画素信号Ｓ３が読み出され、その後、各画素の蓄積電荷がリセットされる。なお、最初に読み出される画素信号Ｓ３は、標準露光時間Ｔ３での露光がされていないため後段の各構成部において無視するように処理される。引き続き、各走査ラインに対して、各画素のリセット後において超短露光時間Ｔ１の経過タイミングで非破壊読み出しラインＬ１が設定され、画素信号Ｓ１が読み出される。引き続き、各走査ラインに対して、各画素のリセット後において短露光時間Ｔ２の経過タイミングで非破壊読み出しラインＬ２が設定され、画素信号Ｓ２が読み出される。そして、再び、開始ラインから順に読み出し＆リセットラインＬ３が設定されて、走査されたラインの各画素から画素信号Ｓ３が読み出され、その後、各画素の蓄積電荷がリセットされる。このとき読み出される画素信号Ｓ３とその前に読み出された画素信号Ｓ１及びＳ２とが後段の各構成部において処理対象となる。
以降、撮像が行われている間は、上記のＬ１〜Ｌ３の設定、画素信号Ｓ１〜Ｓ３の読み出し及びリセット処理が繰り返し行われる。
【００８９】
このようにして読み出された画素信号Ｓ１〜Ｓ３は、ライン毎に、第１ラインメモリ〜第３ラインメモリにそれぞれ格納されライン単位で選択回路へと出力される。選択回路からは、Ｓ１〜Ｓ３の順でアナログの画素データＳ１〜Ｓ３がＡＤＣに出力される。ＡＤＣは、アナログの画素データＳ１〜Ｓ３を、デジタルの画素データＳ１〜Ｓ３に変換する。そして、ＡＤＣからは、図８に示すように、ライン単位でＳ１〜Ｓ３の順に画素データが順次、ＨＤＲ信号処理部３０へと出力される。つまり、ＨＤＲ信号処理部３０には、図９に示すように、画素データＳ３に先行して、画素データＳ１〜Ｓ２が順に入力される。
【００９０】
一方、ＨＤＲ信号処理部３０は、ＨＤＲセンサ１４からの画素データＳ１〜Ｓ３をＳ１から順番に受信すると、プリプロセス部３１において、受信した順に画素データに対して、固定パターンノイズの除去処理、及びクランプ処理を施す。そして、これらの処理が施された画素データを、メモリＩＦ３４を介して、Ｓ１〜Ｓ３の順にフレームメモリ４０に格納する。
【００９１】
また、フレームメモリ４０に画素データＳ１〜Ｓ２が格納されると、輝度画像生成部３２は、格納された画素データＳ１〜Ｓ２を、メモリＩＦ３４を介して読み出す。そして、読み出した画素データＳ１をＬＭ３２０Ａに、画素データＳ２をＬＭ３２０Ｂにそれぞれ格納する。輝度画像生成部３２は、ＬＭ３２０Ａ及び３２０Ｂに、１ライン分の画素データＳ１〜Ｓ２が格納されると、格納された画素データＳ１〜Ｓ２を、画素混合部３２１Ａ及び３２１Ｂに出力する。画素混合部３２１Ａ及び３２１Ｂは、入力された画素データＳ１〜Ｓ２をＬＭ３２２に格納する。そして、ＬＭ３２２に、処理対象の２ライン分の画素データＳ１〜Ｓ２が格納されると、画素混合部３２１Ａにおいて、画素データＳ１の画素混合処理が、画素混合部３２１Ｂにおいて、画素データＳ２の画素混合処理がそれぞれ実行される。具体的に、ベイヤ配列で区分された２行×２列の４つの画素毎に、これらの画素に対応するＲ、Ｇ、Ｇ、Ｂの４つの色要素に対応する画素データを混合する。
【００９２】
図２に示す、「Ｒ00、Ｇ01、Ｇ10、Ｂ11」の４画素に着目すると、画素データの混合は、例えば、混合後の画素データの示す輝度値をＣＳとすると、「ＣＳ＝Ｒ00＋Ｇ01＋Ｇ10＋Ｂ11」のように行う。つまり、２つのＧ光の画素データの示す輝度値と、Ｒ光及びＢ光の画素データの示す輝度値とを足し合わせて、各４画素の領域の代表の輝度値を決定する。
これによって、撮像画像データＳ１及びＳ２を構成する画素データＳ１及びＳ２は４画素のデータが１画素のデータに変換され、撮像画像が、それぞれ１／４のサイズにリサイズされる。画素混合部３２１Ａ及び３２１Ｂは、画素混合処理後の画素データＣＳ１及びＣＳ２を、ＨＤＲ合成処理部３２３に出力する。
【００９３】
ＨＤＲ合成処理部３２３は、画素データＣＳ１及びＣＳ２が入力されると、まず、画素データＣＳ１を、露光時間Ｔ１及びＴ２の比率に応じたゲインによって正規化する。次に、正規化した画素データＣＳ１と画素データＣＳ２とに対して、重み付け処理を行う。次に、重み付け処理を施した画素データＣＳ１及びＣＳ２を足し合わせることで、輝度画像データ生成用のＨＤＲ画素データ（Ｙ＿ＲＡＷ＿ＨＤＲ画素データ）を生成する。
ＨＤＲ合成処理部３２３は、生成したＹ＿ＲＡＷ＿ＨＤＲ画素データを、ぼかし処理部３２４に出力する。
【００９４】
ぼかし処理部３２４は、ＨＤＲ合成処理部３２３から、Ｙ＿ＲＡＷ＿ＨＤＲ画素データが入力されると、これをＬＭ３２５に格納する。そして、ＬＭ３２５に、処理に必要な分のＹ＿ＲＡＷ＿ＨＤＲ画素データが格納されると、格納されたＹ＿ＲＡＷ＿ＨＤＲ画素データを読み出し、読み出したデータに対してＬＰＦを用いたフィルタ処理を行う。このフィルタ処理は、単純な平均化処理でもよいし、各画素データ毎に重み付けをしてもよい。
【００９５】
このようにして、Ｙ＿ＲＡＷ＿ＨＤＲ画素データに対して、ぼかし処理が施されると、その画素データに対する輝度画素データが生成される。つまり、反射率成分が低減され、照明光成分を多く含む画素データが生成される。ぼかし処理部３２４は、生成した輝度画素データをＬＭ３２６に格納する。輝度画像生成部３２は、ＬＭ３２６がいっぱいになった時点で、格納された輝度画素データを、メモリＩＦ３４を介して、フレームメモリ４０に格納する。なお、画素データＳ１及びＳ２の１フレーム分のデータに対する輝度画素データによって輝度画像データＰが構成される。
【００９６】
一方、本線系処理部３３は、フレームメモリ４０に輝度画素データが格納されると、メモリＩＦ３４を介して、フレームメモリ４０から輝度画素データを読み出して、ＬＭ３３２に格納する。ＬＭ３３２に輝度画素データが格納されると、輝度画像→ゲイン変換器３３３は、格納された各輝度画素データを順次読み出して、そのデータの示す輝度値に対応したゲインを、ＬＵＴ３３４から取得して、取得したゲインをトーンマップ用乗算器３３５に出力する。
【００９７】
また、本線系処理部３３は、フレームメモリ４０に画素データＳ３が格納されると、メモリＩＦ３４を介して、フレームメモリ４０から、画素データＳ１〜Ｓ３を読み出し、読み出した画素データＳ１〜Ｓ３を、それぞれ対応するＬＭ３３０Ａ〜３３０Ｃに格納する。
ＨＤＲ合成処理部３３１は、ＬＭ３３０Ａ〜３３０Ｃに画素データＳ１〜Ｓ３が格納されると、まず、露光時間Ｔ１及びＴ３、並びにＴ２及びＴ３の比率に応じたゲインＧ１１及びＧ１２をそれぞれ求める。次に、ＬＭ３３０Ａ〜３３０Ｃから画素データＳ１〜Ｓ３を読み出し、読み出した画素データＳ１に対してゲインＧ１１を乗算し、読み出した画素データＳ２にゲインＧ１２を乗算することで、画素データＳ１及びＳ２の正規化を行う。
【００９８】
次に、正規化した画素データＳ１〜Ｓ２と、画素データＳ３とに対して、それぞれ重み付け処理を行う。そして、重み付けされた画素データＳ１〜Ｓ３を合成して、ＨＤＲ画素データ（ＨＤＲ＿ＲＡＷ画素データ）を生成する。生成したＨＤＲ＿ＲＡＷ画素データは、トーンマップ用乗算器３３５に出力される。
ここでは、ＬＵＴ３３４に、上式（２）において、ｉを「０．６」に設定した下式（３）によって算出したゲインＫ（Ｐ）を登録していることとする。
Ｋ（Ｐ）＝１／ＰL0.6 （３）
【００９９】
上式（３）において、ＰLは、ＨＤＲ＿ＲＡＷ画素データの階調範囲の輝度値を０〜１の範囲に正規化した値である。例えば、ＨＤＲ＿ＲＡＷ画素データの階調範囲が２０ビットであれば、最小値「０」〜最大値「２０’ｈＦＦＦＦＦ（１６進数）」の範囲の輝度値Ｙを「２20」で除算することで正規化される。
上式（３）で算出されたゲインＫ（Ｐ）は、ＰLが１に近い（明るい）ほどその値を保持し、ＰLが０に近い（暗い）ほどその値を明るく持ち上げる特性を有している。
【０１００】
トーンマップ用乗算器３３５は、ＨＤＲ合成処理部３３１から入力されたＨＤＲ＿ＲＡＷ画素データの示す輝度値に、輝度画像→ゲイン変換器３３３から入力されたゲインを乗算して、その乗算結果を色処理部３３６に出力する。
ここで、トーンマップ用乗算器３３５において、ゲインを乗算する前のＨＤＲ＿ＲＡＷ画像データの輝度のヒストグラムは、図１０（ａ）に示すように、ＰLが０に近い暗部（図１０（ａ）中の丸で囲った部分）において画素数の多い突出した部分を有している。一方、ゲインを乗算して、トーンマッピングを施した後のＨＤＲ＿ＲＡＷ画像データの輝度のヒストグラムは、図１０（ｂ）に示すように、暗部が図１０（ｂ）中の丸で囲った範囲に渡って広がり、明部は現状が維持されて、全体的にブロード化されたものとなる。
【０１０１】
色処理部３３６は、トーンマップ用乗算器３３５から入力されたＨＤＲ＿ＲＡＷ画素データを、ＬＭ３３７に格納し、処理に必要なＨＤＲ＿ＲＡＷ画素データがＬＭ３３７に格納されると、格納されたＨＤＲ＿ＲＡＷ画素データを読み出す。
そして、読み出したデータに対して、色補間処理を施し、画素毎に、Ｒの色要素に対応するＲ＿ＨＤＲ画素データ、Ｇの色要素に対応するＧ＿ＨＤＲ画素データ及びＢの色要素に対応するＢ＿ＨＤＲ画素データを有するカラーＨＤＲ画素データを生成する。生成されたカラーＨＤＲ画素データは、ガンマ変換部３３８に出力される。
【０１０２】
ガンマ変換部３３８は、色処理部３３６から、カラーＨＤＲ画素データが入力されると、表示装置３の表示可能な階調範囲に対応したトーンカーブの情報が格納されたＬＵＴ３３９から、入力された各画素データの示す輝度値に対応する変換値を読み出す。そして、この読み出した変換値をガンマ変換後の値とすることで、カラーＨＤＲ画素データに対して、ガンマ変換を施す。このガンマ変換後の画素データが、カラーＬＤＲ画素データとなる。
【０１０３】
例えば、表示装置３の表示可能な階調範囲が８ビットであるとすると、８ビットのカラーＬＤＲ画像データが、ガンマ変換によって生成される。カラーＬＤＲ画像データは、ＲＧＢビデオ出力信号として、表示装置３に出力される。
なお、上記したように、各フレームの画素信号Ｓ１〜Ｓ３は、画素データＳ１→Ｓ２→Ｓ３の順番でフレームメモリ４０に格納される。
【０１０４】
そして、本線系処理部３３においては、上記したように、画素データＳ１〜Ｓ３を全て用いてＨＤＲ画像データを生成する処理（本線系処理）が行われる。
従って、本実施形態では、本線系処理の開始タイミングを、図９の本線系ＶＳＹＮＣ０〜２に示すように、フレームメモリ４０に各フレームの最初の画素データＳ３（ライン単位）が格納されたタイミングとしている。各フレームにおいては、新たな画素データＳ３が格納される毎に、順次、パイプライン処理のごとく本線系処理が行われる。
【０１０５】
また、上記したように、輝度画像生成部３２及び本線系処理部３３においては、画素データＳ１〜Ｓ２を用いて輝度画像データＰを生成し、輝度画像データＰからトーンマッピングのためのゲインを求める処理（ＴＭ系処理）が行われる。
従って、本実施形態では、ＴＭ系処理の開始タイミングを、図９のＴＭ系ＶＳＹＮＣ１〜２に示すように、フレームメモリ４０に各フレームの最初の画素データＳ２（ライン単位）が格納されたタイミングとしている。各フレームにおいては、新たな画素データＳ２が格納される毎に、順次、パイプライン処理のごとくＴＭ系処理が行われる。
【０１０６】
その結果、各フレームにおける、本線系処理の開始タイミングと、ＴＭ系処理の開始タイミングとには、図９に示す時間差が発生する。この時間差において、ＴＭ系処理を完了させ、生成した輝度画像データＰをフレームメモリ４０に格納することができれば、本線系処理と、ＴＭ系処理との一方を遅延させることなく合わせることができる。本実施形態では、時間差の間にＴＭ系処理を完了させるようにしている。つまり、タイミングを合わせるための遅延素子を不要とした構成としている。
【０１０７】
以上説明したように、本実施形態の撮像装置２は、輝度画像生成部３２において、標準露光時間Ｔ３の取得に先立って取得される、超短露光時間Ｔ１及び短露光時間Ｔ２の画素データＳ１及びＳ２を使って輝度画像データＰを生成し、それをフレームメモリ４０に格納することができる。そして、本線系処理部３３が、標準露光時間Ｔ３の画素データＳ３を取得して、画素データＳ１〜Ｓ３からＨＤＲ画像データを生成すると、生成したＨＤＲ画像データに対して、フレームメモリに格納した輝度画像データＰを使って、トーンマッピングを行うことができる。
これによって、ＨＤＲ画像データを生成する本線系処理と、輝度画像データＰを生成するＴＭ系処理とのタイミングを合わせるための遅延素子を不要とすることができる。
【０１０８】
更に、輝度画像データＰの生成に、非破壊読み出しで取得した画素データＳ１及びＳ２を用いるようにしたので、全ダイナミックレンジにおいて、色相の維持ができる。
更に、輝度画像データＰに基づき、ＨＤＲ画像データに対して、トーンマップ処理を施すようにしたので、全ダイナミックレンジにおいて、階調性を維持し、色再現性の良い映像を出力することができる。
【０１０９】
更に、輝度画像データＰの生成において、画素データＳ１及びＳ２をリサイズして、リサイズした画素データを合成して輝度画像生成用のＨＤＲ画像データを生成し、これにＬＰＦによるフィルタ処理を施すようにした。
これによって、フィルタ処理を軽減できると共に、リサイズによって輝度画像データＰを１／４のサイズにすることができるので、ラインメモリを小さくでき、より安価な構成とすることができる。
上記第１実施形態において、プリプロセス部３１は、形態１、４及び９のいずれか１に記載の画像データ取得手段に対応し、輝度画像生成部３２、ＬＭ３３２、輝度画像→ゲイン変換器３３３及びＬＵＴ３３４は、形態１、４、７、９、１０、１３、１４及び１６のいずれか１に記載のゲイン分布生成手段に対応する。
【０１１０】
また、上記第１実施形態において、トーンマップ用乗算器３３５、色処理部３３６、ＬＭ３３７、ガンマ変換部３３８及びＬＵＴ３３９は、形態１、１１、１７及び１８のいずれか１に記載の階調変換手段に対応する。
また、上記第１実施形態において、トーンマップ用乗算器３３５におけるＨＤＲ合成処理部３３１からＨＤＲ＿ＲＡＷ画素データを取得する機能部は、形態１の合成画像データ取得手段に対応する。
【０１１１】
また、上記第１実施形態において、ＬＭ３３０Ａ〜３３０Ｃ及びＨＤＲ合成処理部３３１は、形態３又は４に記載の合成画像データ生成手段に対応する。
また、上記第１実施形態において、プリプロセス部３１における画素データＳ１〜Ｓ２の取得処理は、形態２１に記載の画像データ取得ステップに対応し、輝度画像生成部３２、ＬＭ３３２、輝度画像→ゲイン変換器３３３及びＬＵＴ３３４によるゲインの生成処理は、形態２１に記載のゲイン分布生成ステップに対応する。
【０１１２】
また、上記第１実施形態において、ＬＭ３３０Ａ〜３３０Ｃ及びＨＤＲ合成処理部３３１におけるＨＤＲ画像データの生成処理は、形態２１に記載の合成画像データ取得ステップに対応する。
また、上記第１実施形態において、トーンマップ用乗算器３３５、色処理部３３６、ＬＭ３３７、ガンマ変換部３３８及びＬＵＴ３３９によるＨＤＲ画像データの階調を変換する処理は、形態２１に記載の階調変換ステップに対応する。
【０１１３】
〔第２実施形態〕
次に、本発明の第２実施形態を図面に基づき説明する。図１１は、本発明に係る撮像制御装置、撮像装置及び撮像制御方法の第２実施形態を示す図である。
本実施形態は、上記第１実施形態の撮像素子１０におけるＨＤＲセンサ１４が、感度の異なる２種類の画素群から構成されたセンサセルアレイを有し、異なる感度の画素で撮像した２種類の画素データＳＬ及びＳＨを出力する点が異なる。ここで、画素データＳＬの方が画素データＳＨよりも低感度の画素で撮像されたデータであるとする。
【０１１４】
更に、本実施形態は、撮像制御装置の構成が、上記第１実施形態の撮像制御装置と異なり、画素データＳＬ及びＳＨからＨＤＲ画像データを生成する本線系処理を行い、一方、画素データＳＬから輝度画像データＰを生成するＴＭ系処理を行う。
まず、本発明に係る撮像制御装置の構成を図１１に基づき説明する。図１１は、本実施形態に係る撮像制御装置５０の詳細な構成を示すブロック図である。
図１１に示すように、撮像装置４は、撮像素子１５と、撮像制御装置５０とを含んで構成される。
【０１１５】
撮像素子１５は、上記第１実施形態の撮像素子１０と同様のレンズ１１、マイクロレンズ１２、カラーフィルタアレイ１３を備えている。そして、比較的感度の低い画素で被写体を撮像して得られた低感度画素データＳＬと、比較的感度の高い画素で被写体を撮像して得られた高感度画素データＳＨとを同じタイミングで出力する。
具体的に、サイズが異なる２種類の画素群からセンサセルアレイを構成する。これによって、同じ露光時間に対して、サイズの大きい方が高感度（受光量大）に、サイズの小さい方が低感度（受光量小）となる。
【０１１６】
また、本実施形態では、センサセルアレイは、上記第１実施形態とは異なり、ＣＣＤ（Charge Coupled Device）で構成されている。
撮像制御装置５０は、輝度画像生成部５１と、輝度画像→ゲイン変換器５２と、ＬＵＴ５３と、ＨＤＲ合成処理部５４と、遅延部５５と、補正部５６とを含んだ構成となっている。なお、撮像制御装置５０には、上記第１実施形態と同様に、表示装置３が接続されるものとする。
【０１１７】
輝度画像生成部５１は、上記第１実施形態の輝度画像生成部３２から、ＨＤＲ合成処理部３２３とこれに関連するＬＭを除いた構成となっており、低感度画素データＳＬに対して画素混合処理を行う画素混合部を備えている。更に、画素混合処理を施してリサイズされた低感度画素データＳＬ’に対して上記第１実施形態のぼかし処理部３２４と同様のぼかし処理を行うぼかし処理部を備えている。ぼかし処理後の画素データは、輝度画素データとして、輝度画像→ゲイン変換器５２に出力される。
【０１１８】
輝度画像→ゲイン変換器５２は、輝度画像生成部５１から入力される輝度画素データの示す輝度値に対応したゲインを、ＬＵＴ５３から取得して、補正部５６に出力する。即ち、入力される輝度画素データの生成工程が異なるのみで、上記第１実施形態の輝度画像→ゲイン変換器３３３と同様となる。
ＬＵＴ５３は、上記第１実施形態のＬＵＴ３３４と同様に、輝度画素データの輝度値に対応するゲインＫ（Ｙ）のデータテーブルを格納したものである。
【０１１９】
ＨＤＲ合成処理部５４は、撮像素子１５から入力される低感度画素データＳＬ及び高感度画素データＳＨに対して、感度の比率に応じたゲインを算出し、算出したゲインを用いて、低感度画素データＳＬの正規化を行う。更に、正規化した低感度画素データと、高感度画素データＳＨに対して重み付け処理を行い、重み付け処理後のＳＬ及びＳＨを足し合わせることで、ＨＤＲ＿ＲＡＷ画素データを生成する。生成したＨＤＲ＿ＲＡＷ画素データは、遅延部５５に出力される。
【０１２０】
遅延部５５は、ＨＤＲ合成処理部５４から入力されたＨＤＲ＿ＲＡＷ画素データを、輝度画像→ゲイン変換器５２のゲインの出力タイミングとタイミングが合うように所定時間だけ遅延させてから、補正部５６に出力する。
補正部５６は、上記第１実施形態と同様のトーンマップ用乗算器３３５と、色処理部３３６と、ＬＭ３３７と、ガンマ変換部３３８と、ＬＵＴ３３９とを含んで構成される。
【０１２１】
従って、トーンマップ用乗算器３３５は、遅延部５５から入力されたＨＤＲ＿ＲＡＷ画素データに、輝度画像→ゲイン変換器５２から入力されたゲインを乗算して、ＨＤＲ＿ＲＡＷ画素データをトーンマッピングする。更に、色処理部３３６は、トーンマッピングされたＨＤＲ＿ＲＡＷ画素データに対して、色補間処理を施して、画素毎に、Ｒ＿ＨＤＲ画素データ、Ｇ＿ＨＤＲ画素データ及びＢ＿ＨＤＲ画素データを有するカラーＨＤＲ画素データを生成する。更に、ガンマ変換部３３８は、撮像制御装置５０に接続された表示装置３の表示可能な階調範囲に対応したトーンカーブの情報が格納されたＬＵＴ３３９から、入力された各画素データの示す輝度値に対応する変換値を読み出す。そして、入力された輝度値を、この読み出した変換値に置き換えることで、カラーＨＤＲ画素データに対して、ガンマ変換を施す。このガンマ変換後の画素データが、カラーＬＤＲ画素データとなる。カラーＬＤＲ画素データは、ＲＧＢビデオ出力信号として、表示装置３に出力される。
【０１２２】
次に、本実施形態の実際の動作を説明する。
被写体の撮像が開始されると、被写体から反射された光は、レンズ１１で集光されてマイクロレンズ１２に入射される。レンズ１１からの入射光は、マイクロレンズ１２において平行化されて、カラーフィルタアレイ１３の各ＣＦ部を介してセンサセルアレイの各画素に入射される。
低感度の画素群からは、撮像によって得られた低感度画素データＳＬが、高感度の画素群からは、撮像によって得られた高感度画素データＳＨが、それぞれ撮像制御装置５０に出力される。具体的に、低感度画素データＳＬが、輝度画像生成部５０及びＨＤＲ合成処理部５４に出力され、高感度画素データＳＨが、ＨＤＲ合成処理部５４に出力される。
【０１２３】
一方、撮像制御装置５０は、撮像素子１５からの画素データＳＬ及びＳＨを受信すると、輝度画像生成部５１において、低感度画素データＳＬを、画素混合部に出力する。画素混合部は、入力された低感度画素データＳＬの画素混合処理を実行する。具体的に、ベイヤ配列で区分された２行×２列の４つの画素毎に、これらの画素に対応するＲ、Ｇ、Ｇ、Ｂの４つの色要素に対応する画素データを混合する。
これによって、低感度画素データＳＬは４画素のデータが１画素のデータに変換され、低感度の画素で撮像して得られた低感度撮像画像データが、１／４のサイズにリサイズされる。画素混合部は、画素混合処理後の低感度画素データＣＳＬを、ぼかし処理部に出力する。
【０１２４】
ぼかし処理部は、画素混合部から、低感度画素データＣＳＬが入力されると、入力されたデータに対してＬＰＦを用いたフィルタ処理を行う。
このようにして、低感度画素データＣＳＬに対して、ぼかし処理が施されると、その画素データに対する輝度画素データが生成される。ぼかし処理部は、生成した輝度画素データを、輝度画像→ゲイン変換器５２に出力する。
輝度画像→ゲイン変換器５２は、入力された各輝度画素データの示す輝度値に対応したゲインを、ＬＵＴ５３から取得して、取得したゲインを補正部５６のトーンマップ用乗算器に出力する。ここでは、ＬＵＴ５３に、上式（３）によって算出したゲインＫ（Ｙ）を登録していることとする。
【０１２５】
一方、輝度画素データを生成し、生成した輝度画素データをゲインに変換する処理と並列して、ＨＤＲ合成処理部５４では、入力された低感度画素データＳＬと、高感度画素データＳＨからＨＤＲ＿ＲＡＷ画素データを生成する処理を実行する。
具体的に、ＨＤＲ合成処理部５４は、まず、感度の比率に応じたゲインを求める。次に、低感度画素データＳＬに対してゲインを乗算することで、低感度画素データＳＬの正規化を行う。
【０１２６】
次に、正規化した低感度画素データＳＬと、高感度画素データＳＨとに対して、それぞれ重み付け処理を行う。そして、重み付けされた低感度画素データＳＬと高感度画素データＳＨとを合成して、ＨＤＲ画素データ（ＨＤＲ＿ＲＡＷ画素データ）を生成する。生成したＨＤＲ＿ＲＡＷ画素データは、遅延部５５に出力される。
遅延部５５は、ＨＤＲ合成処理部５４から入力されたＨＤＲ＿ＲＡＷ画素データを遅延させて、補正部５６に出力する。
つまり、輝度画像生成部５１及び輝度画像→ゲイン変換器５２で行われる処理にかかる時間よりも、ＨＤＲ合成処理部５４で行われる処理にかかる時間の方が短いため、その分を遅延部５５で吸収する。
【０１２７】
補正部５６は、遅延部５５からＨＤＲ＿ＲＡＷ画素データが入力され、輝度画像→ゲイン変換器５２からゲインが入力されると、トーンマップ用乗算器３３５において、ＨＤＲ＿ＲＡＷ画素データの示す輝度値にゲインを乗算して、その乗算結果を色処理部３３６に出力する。
具体的に、輝度画像データＰは、ＨＤＲ＿ＲＡＷ画像データに対して、１／４のサイズとなるので、ＨＤＲ＿ＲＡＷ画像データの４つの画素データに対して、１つの輝度画素データが対応する。従って、１つのゲインによって、ベイヤ配列で区分される各４つのＨＤＲ＿ＲＡＷ画素データがトーンマッピングされることになる。
これにより、ＨＤＲ＿ＲＡＷ画像データの輝度のヒストグラムは、全体的にブロード化されたものとなる。
【０１２８】
色処理部３３６は、トーンマップ用乗算器３３５から入力されたゲインを乗算後のＨＤＲ＿ＲＡＷ画素データに対して、色補間処理を施し、カラーＨＤＲ画素データを生成する。生成されたカラーＨＤＲ画素データは、ガンマ変換部３３８に出力される。
ガンマ変換部３３８は、色処理部３３６から、カラーＨＤＲ画素データが入力されると、このカラーＨＤＲ画素データに対して、ガンマ変換を施す。このガンマ変換後の画素データが、カラーＬＤＲ画素データとなる。ＬＤＲ画像データは、ＲＧＢビデオ出力信号として、表示装置３に出力される。
【０１２９】
以上説明したように、本実施形態の撮像装置４は、輝度画像生成部５１において、撮像素子１５から入力される、低感度画素データＳＬを使って輝度画像データＰを生成し、生成した輝度画像データＰを輝度画像→ゲイン変換器５２において、ゲインに変換することができる。
また、これらの処理と並列して、ＨＤＲ合成処理部５４において、撮像素子１５から入力される、低感度画素データＳＬ及び高感度画素データＳＨからＨＤＲ画像データを生成することができる。そして、遅延部５５において、生成したＨＤＲ画像データの補正部５６への出力を、ゲインの出力に合わせて遅延させることができる。更に、トーンマップ用乗算器３３５において、輝度画像→ゲイン変換器５２から入力されるゲインを、遅延部５５から入力される輝度画素データに乗算することで、トーンマッピングを行うことができる。
【０１３０】
これによって、輝度画像データＰの生成に、同じ被写体に対して同じ露光時間で２種類の感度で撮像して得られた低感度画素データＳＬ及び高感度画素データＳＨのうち、低感度画素データＳＬを用いるようにしたので、全ダイナミックレンジにおいて、色相の維持ができる。
更に、輝度画像データＰに基づき、ＨＤＲ画像データに対して、トーンマップ処理を施すようにしたので、全ダイナミックレンジにおいて、階調性を維持し、色再現性の良い映像を出力することができる。
【０１３１】
更に、撮像制御装置５０は、輝度画像データＰの生成において、低感度画素データＳＬを画素混合処理によってリサイズし、リサイズした画素データにＬＰＦによるフィルタ処理を施して輝度画像データＰを生成することができる。
これによって、フィルタ処理を軽減できると共に、リサイズによって輝度画像データＰを１／４のサイズにすることができるので、ラインメモリを小さくでき、より安価な構成とすることができる。
【０１３２】
上記第２実施形態において、輝度画像生成部５１における低感度画素データＳＬを取得する機能は、形態５又は８に記載の画像データ取得手段に対応し、輝度画像生成部５１、輝度画像→ゲイン変換器５２及びＬＵＴ５３は、形態５、７、８、１０、１３、１４及び１６のいずれか１に記載のゲイン分布生成手段に対応する。
また、上記第２実施形態において、トーンマップ用乗算器３３５、色処理部３３６、ＬＭ３３７、ガンマ変換部３３８及びＬＵＴ３３９は、形態５、１１、１７及び１８のいずれか１に記載の階調変換手段に対応する。
【０１３３】
また、上記第２実施形態において、ＨＤＲ合成処理部５４は、形態５に記載の合成画像データ取得手段、及び形態６に記載の合成画像データ生成手段に対応する。
また、上記第２実施形態において、輝度画像生成部５１における低感度画素データＳＬを取得する処理は、形態２２に記載の画像データ取得ステップに対応し、輝度画像生成部５１、輝度画像→ゲイン変換器５２及びＬＵＴ５３によるゲインの生成処理は、形態２２に記載のゲイン分布生成ステップに対応する。
【０１３４】
また、上記第２実施形態において、ＨＤＲ合成処理部５４におけるＨＤＲ画像データの生成処理は、形態２２に記載の合成画像データ取得ステップに対応する。
また、上記第２実施形態において、補正部５６のトーンマップ用乗算器３３５、色処理部３３６、ＬＭ３３７、ガンマ変換部３３８及びＬＵＴ３３９によるＨＤＲ画像データの階調を変換する処理は、形態２２に記載の階調変換ステップに対応する。
【０１３５】
なお、上記各実施形態において、輝度画像データＰの生成に用いる画像データをリサイズする構成としたが、この構成に限らず、リサイズせずにぼかし処理を適用して輝度画像データを生成する構成としてもよい。
また、上記各実施形態において、ＨＤＲ信号処理部３０が、撮像素子１０又は１５から露光時間の長さ又は感度の異なる複数種類の画像データを取得し、取得した複数種類の画像データを合成して、ＨＤＲ画像データを生成する構成を例として説明したが、この構成に限らない。
【０１３６】
例えば、撮像素子１０又は１５がＨＤＲ画像データを生成する手段を有する構成、又は外部の別の装置が撮像素子１０又は１５から取得した画像データを用いてＨＤＲ画像データを生成する構成としてもよい。この構成であれば、ＨＤＲ信号処理部３０から、ＬＭ３３０Ａ〜３３０Ｃ及びＨＤＲ合成処理部３３１を取り除くことが可能となる。
この場合に、撮像素子１０若しくは１５、又は外部の装置からＨＤＲ画像データを取得する機能は、形態１の合成画像データ取得手段に対応する。
【０１３７】
また、上記各実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
また、本発明は上記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【符号の説明】
【０１３８】
１…撮像システム、２，４…撮像装置、３…表示装置、１０，１５…撮像素子、１１…レンズ、１２…マイクロレンズ、１３…カラーフィルタアレイ、１４…ＨＤＲセンサ、２０，５０…撮像制御装置、３０…ＨＤＲ信号処理部、３１…プリプロセス部、３２，５１…輝度画像生成部、３３…本線系処理部、３４…メモリＩＦ、４０…フレームメモリ、５５…遅延部、５６…補正部、３２０Ａ，３２０Ｂ，３２２，３２５，３２６，３３０Ａ〜３３０Ｃ，３３２，３３７…ラインメモリ、３２１Ａ〜３２１Ｂ…画素混合部、５４，３２３，３３１…ＨＤＲ合成処理部、３２４…ぼかし処理部、５２，３３３…輝度画像→ゲイン変換器、５３，３３４，３３９…ＬＵＴ、３３５…トーンマップ用乗算器、３３６…色処理部、３３８…ガンマ変換部
【特許請求の範囲】
【請求項１】
撮像素子において長さの異なる複数の露光時間で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得手段と、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得手段と、
前記画像データ取得手段で取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成手段と、
前記ゲイン分布生成手段で生成したゲイン分布に基づき、前記合成画像データ取得手段で取得した前記第１の合成画像データの輝度の階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換手段と、を備えることを特徴とする撮像制御装置。
【請求項２】
前記撮像素子は、各画素から蓄積電荷を維持したまま前記蓄積電荷に応じた画素信号を読み出す非破壊読み出し方式で画素信号を読み出すことが可能であり、露光時間の短い順に前記長さの異なる複数の露光時間で前記各画素を露光すると共に、露光した各画素から前記非破壊読み出し方式で前記画素信号を読み出し、読み出した順番に前記画素信号のデータを出力することを特徴とする請求項１に記載の撮像制御装置。
【請求項３】
前記撮像して得られた複数の画像データのうち、少なくとも２以上の画像データを合成して前記第１の合成画像データを生成する合成画像データ生成手段を備えることを特徴とする請求項１又は請求項２に記載の撮像制御装置。
【請求項４】
前記画像データ取得手段は、前記第１の合成画像データの生成に用いられる前記少なくとも２以上の画像データのうち、最長の露光時間の画像データよりも短い露光時間の画像データを、少なくとも、前記合成画像データ生成手段が前記最長の露光時間の画像データを取得するよりも先行して取得し、
前記ゲイン分布生成手段は、前記先行して取得した短い露光時間の画像データに基づき、前記ゲイン分布を生成することを特徴とする請求項３に記載の撮像制御装置。
【請求項５】
感度の異なる複数の画素群を有する撮像素子において前記複数の画素群で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得手段と、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得手段と、
前記画像データ取得手段で取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成手段と、
前記ゲイン分布生成手段で生成したゲイン分布に基づき、前記合成画像データ取得手段で取得した前記第１の合成画像データの輝度の階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換手段と、を備えることを特徴とする撮像制御装置。
【請求項６】
前記ゲイン分布生成手段は、前記画像データ取得手段で取得した画像データに対して、その画像の照明光成分を抽出するフィルタ処理を施して輝度画像データを生成し、生成した輝度画像データに基づき、前記ゲイン分布を生成することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像制御装置。
【請求項７】
前記画像データ取得手段は、前記第１の合成画像データの生成に用いる３以上の画像データのうちから２以上の画像データを取得し、
前記ゲイン分布生成手段は、前記画像データ取得手段で取得した２以上の画像データを合成して第２の合成画像データを生成し、生成した第２の合成画像データに対して、その画像の照明光成分を抽出するフィルタ処理を施して輝度画像データを生成し、生成した輝度画像データに基づき、前記ゲイン分布を生成することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像制御装置。
【請求項８】
前記第１の合成画像データにおける各画素データの示す値をＹとし、前記輝度画像データにおける各画素データの示す値をＰとし、前記Ｙに対応するゲインをＫ（Ｐ）とすると、前記階調変換手段で階調変換後の画素データの示す値Ｙ’は、下式（１）で算出されることを特徴とする請求項６又は請求項７に記載の撮像制御装置。
Ｙ’＝Ｋ（Ｐ）×Ｙ （１）
【請求項９】
指数部ｉを１以下の正の実数とし、前記輝度画像データの各画素データの示す輝度値を０〜１の範囲で正規化した値をＰLとして、前記ゲインＫ（Ｐ）は、下式（２）で算出されることを特徴とする請求項８に記載の撮像制御装置。
Ｋ（Ｐ）＝１／ＰLi （２）
【請求項１０】
前記ゲイン分布生成手段は、所定の輝度値に対する前記ゲインＫ（Ｐ）のデータが登録されたルックアップテーブルを有し、前記輝度画像データの複数の画素データの各々に対して、前記ルックアップテーブルから対応するゲインＫを取得することで前記ゲイン分布を生成することを特徴とする請求項８又は請求項９に記載の撮像制御装置。
【請求項１１】
前記ゲイン分布生成手段は、処理対象の画像データを構成する複数の画素データの各々の示す輝度値を所定数の画素郡毎に合成して画像データのサイズを縮小化し、該縮小化した画像データに基づき、前記ゲイン分布として前記画素群毎のゲインの分布を生成することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の撮像制御装置。
【請求項１２】
長さの異なる複数の露光時間で被写体を撮像して、前記複数の露光時間に対応する複数の画像データを出力する撮像素子と、
請求項１乃至請求項４のいずれか１項に記載の撮像制御装置と、を備えることを特徴とする撮像装置。
【請求項１３】
撮像素子において長さの異なる複数の露光時間で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得ステップと、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得ステップと、
前記画像データ取得ステップで取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成ステップと、
前記ゲイン分布生成ステップで生成したゲイン分布に基づき、前記合成画像データ取得ステップで取得した前記第１の合成画像データの階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換ステップと、を含むことを特徴とする撮像制御方法。
【請求項１】
撮像素子において長さの異なる複数の露光時間で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得手段と、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得手段と、
前記画像データ取得手段で取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成手段と、
前記ゲイン分布生成手段で生成したゲイン分布に基づき、前記合成画像データ取得手段で取得した前記第１の合成画像データの輝度の階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換手段と、を備えることを特徴とする撮像制御装置。
【請求項２】
前記撮像素子は、各画素から蓄積電荷を維持したまま前記蓄積電荷に応じた画素信号を読み出す非破壊読み出し方式で画素信号を読み出すことが可能であり、露光時間の短い順に前記長さの異なる複数の露光時間で前記各画素を露光すると共に、露光した各画素から前記非破壊読み出し方式で前記画素信号を読み出し、読み出した順番に前記画素信号のデータを出力することを特徴とする請求項１に記載の撮像制御装置。
【請求項３】
前記撮像して得られた複数の画像データのうち、少なくとも２以上の画像データを合成して前記第１の合成画像データを生成する合成画像データ生成手段を備えることを特徴とする請求項１又は請求項２に記載の撮像制御装置。
【請求項４】
前記画像データ取得手段は、前記第１の合成画像データの生成に用いられる前記少なくとも２以上の画像データのうち、最長の露光時間の画像データよりも短い露光時間の画像データを、少なくとも、前記合成画像データ生成手段が前記最長の露光時間の画像データを取得するよりも先行して取得し、
前記ゲイン分布生成手段は、前記先行して取得した短い露光時間の画像データに基づき、前記ゲイン分布を生成することを特徴とする請求項３に記載の撮像制御装置。
【請求項５】
感度の異なる複数の画素群を有する撮像素子において前記複数の画素群で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得手段と、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得手段と、
前記画像データ取得手段で取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成手段と、
前記ゲイン分布生成手段で生成したゲイン分布に基づき、前記合成画像データ取得手段で取得した前記第１の合成画像データの輝度の階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換手段と、を備えることを特徴とする撮像制御装置。
【請求項６】
前記ゲイン分布生成手段は、前記画像データ取得手段で取得した画像データに対して、その画像の照明光成分を抽出するフィルタ処理を施して輝度画像データを生成し、生成した輝度画像データに基づき、前記ゲイン分布を生成することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像制御装置。
【請求項７】
前記画像データ取得手段は、前記第１の合成画像データの生成に用いる３以上の画像データのうちから２以上の画像データを取得し、
前記ゲイン分布生成手段は、前記画像データ取得手段で取得した２以上の画像データを合成して第２の合成画像データを生成し、生成した第２の合成画像データに対して、その画像の照明光成分を抽出するフィルタ処理を施して輝度画像データを生成し、生成した輝度画像データに基づき、前記ゲイン分布を生成することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像制御装置。
【請求項８】
前記第１の合成画像データにおける各画素データの示す値をＹとし、前記輝度画像データにおける各画素データの示す値をＰとし、前記Ｙに対応するゲインをＫ（Ｐ）とすると、前記階調変換手段で階調変換後の画素データの示す値Ｙ’は、下式（１）で算出されることを特徴とする請求項６又は請求項７に記載の撮像制御装置。
Ｙ’＝Ｋ（Ｐ）×Ｙ （１）
【請求項９】
指数部ｉを１以下の正の実数とし、前記輝度画像データの各画素データの示す輝度値を０〜１の範囲で正規化した値をＰLとして、前記ゲインＫ（Ｐ）は、下式（２）で算出されることを特徴とする請求項８に記載の撮像制御装置。
Ｋ（Ｐ）＝１／ＰLi （２）
【請求項１０】
前記ゲイン分布生成手段は、所定の輝度値に対する前記ゲインＫ（Ｐ）のデータが登録されたルックアップテーブルを有し、前記輝度画像データの複数の画素データの各々に対して、前記ルックアップテーブルから対応するゲインＫを取得することで前記ゲイン分布を生成することを特徴とする請求項８又は請求項９に記載の撮像制御装置。
【請求項１１】
前記ゲイン分布生成手段は、処理対象の画像データを構成する複数の画素データの各々の示す輝度値を所定数の画素郡毎に合成して画像データのサイズを縮小化し、該縮小化した画像データに基づき、前記ゲイン分布として前記画素群毎のゲインの分布を生成することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の撮像制御装置。
【請求項１２】
長さの異なる複数の露光時間で被写体を撮像して、前記複数の露光時間に対応する複数の画像データを出力する撮像素子と、
請求項１乃至請求項４のいずれか１項に記載の撮像制御装置と、を備えることを特徴とする撮像装置。
【請求項１３】
撮像素子において長さの異なる複数の露光時間で被写体を撮像して得られた複数の画像データのうち、少なくとも１の画像データを取得する画像データ取得ステップと、
前記複数の画像データのうち、少なくとも２以上の画像データを合成して得られる第１の合成画像データを取得する合成画像データ取得ステップと、
前記画像データ取得ステップで取得した前記画像データに基づき、前記第１の合成画像データの輝度の階調範囲の圧縮に用いるゲイン係数の分布であるゲイン分布を生成するゲイン分布生成ステップと、
前記ゲイン分布生成ステップで生成したゲイン分布に基づき、前記合成画像データ取得ステップで取得した前記第１の合成画像データの階調範囲を、当該階調範囲よりも狭い範囲に変換する階調変換ステップと、を含むことを特徴とする撮像制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１０１０８（Ｐ２０１１−１０１０８Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２００９−１５２６０４（Ｐ２００９−１５２６０４）
【出願日】平成２１年６月２６日（２００９．６．２６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２１年６月２６日（２００９．６．２６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]