画像処理装置及び画像処理方法、並びに画像撮像装置
【課題】少ないフレーム遅延で、理想的な撮像に近づけ、広ダイナミックレンジの調整を実現する。
【解決手段】撮像素子から出力される画像フレームＦ（ｉ）からガンマ補正の効果を取り除く手段（３２２）、該ガンマ補正の効果が取り除かれた画像フレームＦ（ｉ）から輝度ヒストグラムを作成する手段（３２３）、該輝度ヒストグラムの特徴から最適露光時間を算出する手段（３２４）、撮像素子が該最適露光時間で撮影した際の画像フレームＦ（ｉ＋１）の輝度（仮想輝度）を推定し、仮想輝度ヒストグラムを作成する手段（３２５）、該仮想輝度ヒストグラムの特徴から最適ガンマ補正値を算出する手段（３２６）を有し、これら最適露光時間及び最適ガンマ補正値を次の画像フレームＦ（ｉ＋１）に反映させる。
【解決手段】撮像素子から出力される画像フレームＦ（ｉ）からガンマ補正の効果を取り除く手段（３２２）、該ガンマ補正の効果が取り除かれた画像フレームＦ（ｉ）から輝度ヒストグラムを作成する手段（３２３）、該輝度ヒストグラムの特徴から最適露光時間を算出する手段（３２４）、撮像素子が該最適露光時間で撮影した際の画像フレームＦ（ｉ＋１）の輝度（仮想輝度）を推定し、仮想輝度ヒストグラムを作成する手段（３２５）、該仮想輝度ヒストグラムの特徴から最適ガンマ補正値を算出する手段（３２６）を有し、これら最適露光時間及び最適ガンマ補正値を次の画像フレームＦ（ｉ＋１）に反映させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子におけるダイナミックレンジの調整を図る画像処理装置及び画像処理方法、並びに該画像処理装置を備えた画像撮像装置に関する。
【背景技術】
【０００２】
撮像素子におけるダイナミックレンジとは、一枚の撮像の中で表現できる最小の被写体照度と最大照度の比を表わす。一般にレンズの絞りやシャッタースピードの調整により、ダイナミックレンジを輝度軸に対して平行移動させることで、明るい被写体から暗い被写体までを適切な階調で撮影することが可能である。また、実際にシャッタースピードを変化させる代わりに、撮像素子の電荷蓄積時間を制御することで露光時間を調整する電子シャッタも広く用いられている。
【０００３】
しかし、明るい部分と暗い部分との輝度差が撮像素子のダイナミックレンジよりも大きいような被写体を撮影した際においては、明るい部分が白とびし、暗い部分が黒つぶれしてしまう。
【０００４】
これを回避するため、従来、撮像フレームＦ（ｉ）の輝度ヒストグラムを生成して該撮像フレームＦ（ｉ）の明暗を判断し、明すぎる又は暗すぎる場合に応じて最適な露光時間を設定し、次の撮像フレーム（ｉ＋１）の輝度を調整することが知られている。また、例えば特許文献１では、露光時間に加え、最適なゲインや最適なガンマ補正値を設定して、広ダイナミックレンジの画像を得るようにしている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のような従来の撮像フレームＦ（ｉ）の輝度ヒストグラムから、最適な露光時間とガンマ補正値を設定する方法では、露光時間とガンマ補正が互いに影響を及ぼし合う可能性があり、理想的な画像が得られるかどうか疑わしい問題があった。
【０００６】
これの解決策としては、まず、撮像フレームＦ（ｉ）の輝度ヒストグラムをもとに最適な露光時間を設定し、次に、その露光時間で撮影した撮像フレーム（ｉ＋１）の輝度ヒストグラムをもとに最適なガンマ補正を設定し、次の撮像フレーム（ｉ＋２）で、そのガンマ補正値を反映するようにする方法が考えられるが、理想的な画像を得るまでには２フレームの遅延が発生する。フレームレートを落として使用するときには、数十フレームの遅延が発生してしまう。
【０００７】
本発明は、フレームの遅延を少なくして、かつ、より確実に理想的な撮像に近づけ、広ダイナミックレンジの画像を得ることができる画像処理装置及び画像処理方法、並びに該画像処理装置を備えた画像撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１の発明の画像処理装置は、撮像素子から出力される画像フレームＦ（ｉ）の画像データからガンマ補正の効果を取り除くガンマ補正除去手段と、前記ガンマ補正の効果が取り除かれた画像フレームＦ（ｉ）の画像データから輝度ヒストグラムを作成する輝度ヒストグラム作成手段と、前記輝度ヒストグラムの特徴から最適露光時間を算出する最適露光時間算出手段と、前記撮像素子が前記最適露光時間で撮影した際の画像フレームＦ（ｉ＋１）の画像データの輝度（以下、仮想輝度）を推定し、仮想輝度ヒストグラムを作成する輝度ヒストグラム推定手段と、前記仮想輝度ヒストグラムの特徴から最適ガンマ補正値を算出する最適ガンマ補正値算出手段とを有し、前記最適露光時間及び前記最適ガンマ補正値を設定して得られる次の画像フレームＦ（ｉ＋１）の画像データを送出することを特徴とする。
【０００９】
請求項２の発明は、請求項１に記載の画像処理装置において、撮像素子から出力される画像フレームＦ（ｉ）の画像データの明度を分類する明度分類手段を有し、前記画像フレームＦ（ｉ）の画像データの明度が所定の条件を満足する場合、該画像フレームＦ（ｉ）の画像データをそのまま送出することを特徴とする。
【００１０】
請求項３の発明は、請求項２に記載の画像処理装置において、前記明度分類手段にて、前記画像フレームＦ（ｉ）の画像データが高明度、中間明度、低明度に分類され、中間明度の画素数が予め定めた数より多く、高明度と低明度の画素数が予め定めた数より少ない場合、あるいは、高明度、中間明度、低明度ともに画素数が予め定めた数より少ない場合に、前記画像フレームＦ（ｉ）の画像データをそのまま送出することを特徴とする。
【００１１】
請求項４の発明は、請求項１乃至３のいずれか１項に記載の画像処理装置において、前記輝度ヒストグラム推定手段は、前記ガンマ成分除去手段でガンマ補正の効果が除かれた撮像フレームＦ（ｉ）の画像データの輝度Ｙ（ｘ，ｙ）gammaoffと、前記最適露光時間算出手段で算出された最適露光時間Ｔｂ、現露光時間Ｔｎとから、仮想輝度Ｙ’（ｘ，ｙ）を、
Ｙ’（ｘ，ｙ）＝Ｙ（ｘ，ｙ）gammaoff＊Ｔｂ／Ｔｎ
として算出し推定することを特徴とする。
【００１２】
請求項５の発明は、請求項１乃至４のいずれか１項に記載の画像処理装置において、前記輝度ヒストグラム推定手段は、仮想輝度が適正かどうか判定し、適正でない場合には、前記最適露光時間算出手段にフィードバックをかけて最適露光時間を調整せしめ、調整された最適露光時間をもとに再び仮想輝度を推定し、仮想輝度ヒストグラムを作成し直すことを特徴とする。
【００１３】
請求項６の発明は、請求項５に記載の画像処理装置において、前記輝度ヒストグラム推定手段は、最高明度付近の仮想輝度の画素数が予め定めた数より多い場合、あるいは最低明度付近の仮想輝度の画素数が予め定めた数より多い場合に、仮想輝度が適当でないと判定することを特徴とする。
【００１４】
請求項７の発明は、請求項５又は６に記載の画像処理装置において、前記最適露光時間算出手段へのフィードバックは、最適露光時間及び最適ガンマ補正値の設定が１フレーム遅延内で収まる限り何回でも行われることを特徴とする。
【００１５】
請求項８の発明の画像処理方法は、撮像素子から出力される画像フレームＦ（ｉ）の画像データからガンマ補正の効果を取り除くガンマ補正除去ステップと、前記ガンマ補正の効果が取り除かれた画像フレームＦ（ｉ）の画像データから輝度ヒストグラムを作成する輝度ヒストグラム作成ステップと、前記輝度ヒストグラムの特徴から最適露光時間を算出する最適露光時間算出ステップと、前記撮像素子が前記最適露光時間で撮影した際の画像フレームＦ（ｉ＋１）の画像データの輝度（以下、仮想輝度）を推定し、仮想輝度ヒストグラムを作成する輝度ヒストグラム推定ステップと、前記仮想輝度ヒストグラムの特徴から最適ガンマ補正値を算出する最適ガンマ補正値算出ステップとを有し、前記最適露光時間及び前記最適ガンマ補正値を設定して得られる次の画像フレームＦ（ｉ＋１）の画像データを送出することを特徴とする。
【００１６】
請求項９の発明は、請求項８に記載の画像処理方法において、撮像素子から出力される画像フレームＦ（ｉ）の画像データの明度を分類する明度分類ステップを有し、前記画像フレームＦ（ｉ）の画像データの明度が所定の条件を満足する場合、該画像フレームＦ（ｉ）の画像データをそのまま送出することを特徴とする。
【００１７】
請求項１０の発明は、請求項８又は９に記載の画像処理方法において、前記輝度ヒストグラム推定ステップは、仮想輝度が適正かどうか判定し、適正でない場合には、前記最適露光時間算出手段にフィードバックをかけて最適露光時間を調整せしめ、調整された最適露光時間をもとに再び仮想輝度を推定し、仮想輝度ヒストグラムを作成し直すことを特徴とする。
【００１８】
請求項１１の発明は、請求項１０に記載の画像処理方法において、前記最適露光時間算出ステップへのフィードバックは、最適露光時間及び最適ガンマ補正値の設定が１フレーム遅延内で収まる限り何回でも行われることを特徴とする。
【００１９】
請求項１２の発明の画像撮像装置は、被写体の光学像を集光する光学系と、前記光学系により集光された光学像を電気信号に変換し、画像データを出力する撮像素子と、前記請求項１乃至７のいずれか１項に記載の画像処理装置と、前記画像処理装置から送出される画像データを表示する表示装置とを備えていることを特徴とする。
【発明の効果】
【００２０】
本発明の画像処理装置及び画像処理方法によれば、ガンマ補正の効果が取り除かれた撮像フレームＦ（ｉ）の輝度ヒストグラムから最適な露光時間を算出するとともに、該露光時間を設定した際の撮像フレームＦ（ｉ＋１）の輝度を推定し、その輝度ヒストグラム（仮想輝度ヒストグラム）を元に最適なガンマ補正値を算出し、該最適化した露光時間とガンマ補正値を次の実際の撮像フレームＦ（ｉ＋１）に反映させることで、１フレームのみの遅延で、理想的な撮像に近づけ、広ダイナミックレンジの画像を得ることができる。また、撮像フレームＦ（ｉ）の明度を分類し、所定の条件を満足する場合には、該撮像フレームＦ（ｉ）をそのまま出力することで、不必要なフレームの遅延を抑止することができる。したがって、少ないフレーム遅延で、より確実に理想的な撮像に近づける広ダイナミックレンジの調整が可能な画像撮像装置を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の画像処理装置を備えた画像撮像装置の全体構成図である。
【図２】図１中の画像処理装置の一実施形態の詳細機能ブロック図である。
【図３】図２の画像処理装置の全体的処理フローチャートである。
【図４】画像フレームの輝度ヒストグラムのタイプを説明する図である。
【図５】図２中の輝度ヒストグラム推定部の詳細機能ブロック図である。
【図６】ガンマ補正曲線の一例を示す図である。
【図７】図１中の画像処理装置の別の実施形態の詳細機能ブロック図である。
【図８】図７の画像処理装置の全体的処理フローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照して詳しく説明する。
図１は、本発明の画像処理装置を備えた画像撮像装置の全体構成図を示す。本画像撮像装置は、例えば、車載カメラ装置として使用されるが、勿論、用途はそれに限らない。
【００２３】
図１において、光学系１００は撮像素子２００に被写体光を効率よく集光させる。撮像素子２００はＣＣＤやＣＭＯＳなどの光センサを有し、その光強度に応じた強弱の電気信号（アナログ信）に変換する。さらに、撮像素子２００は、光センサの露光時間を調整する電子シャッタ、光センサから出力されるアナログ信号の画像信号を所定のレベルに調整するＡＧＣ回路、その画像信号をデジタル信号の画像データに変換するＡＤＣ回路、該画像データに対してガンマ補正を行うガンマ補正回路などを内蔵している。
【００２４】
画像処理装置３００はフレームメモリ３１０と画像処理部３２０を有する。撮像素子２００から出力される画像データは、フレームメモリ３１０に格納されると共に画像処理部３２０に入力される。画像処理部３２０は、その一実施形態では、撮像素子２００から出力される画像データの明度を分類し、所定の条件を満足する場合には、フレームメモリ３１０に格納された現撮像フレームＦ（ｉ）の画像データをそのまま出力する。一方、所定の条件を満足しない場合あるいは他の実施形態では、撮像素子２００から出力された現撮像フレームＦ（ｉ）の画像データからガンマ補正の効果を取り除いた後、該画像データの輝度ヒストグラムから最適露光時間を算出し、さらに、該露光時間で撮影して得られる画像データの輝度（仮想輝度）を推定（予測）して、その仮想輝度ヒストグラムから最適ガンマ補正値を算出し、これら最適露光時間及び最適ガンマ補正値を撮像素子２００に設定する。そして、画像処理部３２０は、撮像素子２００から出力されてフレームメモリ３１０に新たに格納される次の撮像フレームＦ（ｉ＋１）の画像データを送出するようにする。この画像処理部３２０の詳細については後述する。
【００２５】
ＤＡＣ（デジタル・アナログ変換器）４００は、フレームメモリ３１０から出力される画像データを入力し、例えば、ＮＴＳＣ方式の映像信号に変換する。表示装置５００は、該映像信号を表示する。
【００２６】
図２は、画像処理装置３００の主要構成である画像処理部３２０の一実施形態の詳細機能ブロック図を示す。本実施形態では、画像処理部３２０は、明度分類部３２１、ガンマ成分除去部３２２、輝度ヒストグラム作成部３２３、最適露光時間算出部３２４、輝度ヒストグラム推定部３２５、最適ガンマ補正値算出部３２６、及び、これら各部の動作やフレームメモリ３１０の読み書き動作、撮像素子２００の動作を制御する制御部３１７などで構成される。
【００２７】
なお、画像処理部３２０は、例えばＣＰＵ，ＲＯＭ，ＲＡＭ等で構成され、ＲＯＭに記憶されたプログラムをＣＰＵが実行することで、各部の機能が実現される。また、ＲＡＭは、処理途中の画像データや必要な閾値、パラメータ等を記憶するために用いられる。勿論、画像処理部３２０の各部はハードロジツクで構成することでもよい。
【００２８】
図３に、本実施形態の全体的処理フローチャートを示す。以下、図３を参照して本実施形態の画像処理装置３００（特に画像処理部３２０）の動作を詳述する。
【００２９】
制御部３２７は、まず、フレーム番号ｉを初期設定する（ステップ１００１）。そして、撮像素子２００から出力される撮像フレームＦ（ｉ）の画像データをフレームメモリ３１０に格納すると共に明度分類部３２１に入力する（ステップ１００２）。
【００３０】
明度分類部３２１は、この入力された撮像フレームＦ（ｉ）の画像データの明度を分類する（ステップ１００３）。具体的には、入力された画像データの輝度ヒストグラムを作成して、それを高明度、中間明度および低明度の各範囲に分け、それぞれの画素数をカウントし、該カウント値を所定の閾値と比較して、下記のタイプのいずれかに分類する。なお、輝度ヒストグラムを高明度、中間明度、低明度の各範囲に分ける閾値や、各範囲のカウント値を比較する閾値は予め決めておく。
【００３１】
タイプａ：低明度の画素数が多く、中間明度と高明度の画素数が少ない。
タイプｂ：高明度の画素数が多く、低明度と中間明度の画素数が少ない。
タイプｃ：中間明度の画素数が多く、低明度と高明度の画素数が少ない。
タイプｄ：低明度と高明度の画素数が多く、中間明度の画素数が少ない。
タイプｅ：低明度、中間明度、高明度の画素数がいずれも少ない。
図４は、上記タイプａ〜ｅを輝度ヒストグラムで表わした図である。
【００３２】
制御部３２７は、明度分類部３２１から分類結果を受け取り、撮像フレームＦ（ｉ）がいずれのタイプに属するか判定する（ステップ１００４）。そして、タイプｃおよびｅの場合、制御部３２７は、フレームメモリ３１０に対して、該フレームメモリ３１０に格納された撮像フレームＦ（ｉ）の画像データをそのままＤＡＣ４００へ出力するように制御し（ステップ１００５）、ｉ←ｉ＋１として（ステップ１００６）、ステップ１０１８に進む。すなわち、タイプｃおよびｅの場合、撮像画像は明るすぎず、暗すぎず、良い状態であるので、露光時間もガンマ補正も変更する必要がない。本実施形態では、このような場合、現撮像フレームＦ（ｉ）の画像データをそのまま出力することで、不必要なフレームの遅延を抑止することができる。
【００３３】
一方、タイプａ，ｂおよびｄの場合には、制御部３２７は、フリームメモリ３１０に対して、該フレームメモリ３１０に格納された現撮像フレームＦ（ｉ）の画像データをガンマ成分除去部３２２に入力するように制御する。以下、ガンマ成分除去部３２２から最適ガンマ補正値算出部３２６の各処理は、撮像素子２００のブランキング期間に実施される。
【００３４】
ガンマ成分除去部３２２は、入力された現撮像フレームＦ（ｉ）の画像データからガンマ補正の効果を取り除き、撮像素子２００の光センサが光電変換した状態の画像データを出力する（ステップ１００７）。具体的には、現撮像フレームＦ（ｉ）の各画素の輝度情報Ｙ（ｘ，ｙ）について、逆ガンマ補正関数を乗じることで、撮像素子２００の光センサが出力した生の輝度情報Ｙ（ｘ，ｙ）_gammaoffを得る。
【００３５】
いま、撮像素子２００の光センサが出力した輝度Ｙ（ｘ，ｙ）_gammaoffにガンマ補正を実行した輝度Ｙ（ｘ，ｙ）が、下記の式で表わされるとする。
Ｙ（ｘ，ｙ）＝ａ＊ｌｎ（Ｙ（ｘ，ｙ）_gammaoff）＋ｂ （ａ，ｂは係数）
この場合、ガンマ補正の効果を除くためには、次のように計算すればよい。
Ｙ（ｘ，ｙ）_gammaoff＝ｅ＾（（Ｙ（ｘ，ｙ）−ｂ）／ａ） （＾はべき乗）
【００３６】
輝度ヒストグラム作成部８２３は、ガンマ成分除去部３２２にてガンマ補正の効果が取り除かれた現撮像フレームＦ（ｉ）の画像データを入力して、その輝度ヒストグラムを作成する（ステップ１００８）。
【００３７】
最適露光時間算出部３２４は、輝度ヒストグラム作成部３２３で作成された輝度ヒストグラムの特徴から最適露光時間を算出する（ステップ１００９）。具体的には、輝度ヒストグラムのタイプａ〜ｅ（図４参照）によって、以下のように最適露光時間を決める。
【００３８】
タイプａ：露光時間を現設定値より長時間にする。
タイプｂ：露光時間を現設定値より短時間にする。
タイプｃ：露光時間を現設定値のままとする。
タイプｄ：高明度画素数＞低明度画素数なら、露光時間を現設定値より短時間にする。
高明度画素数＜低明度画素数なら、露光時間を現設定値より長時間にする。
タイプｅ：露光時間を現設定値のままとする。
なお、タイプａ，ｂ，ｄにおいて、露光時間を現設定値に対して、どの程度長時間あるいは短時間にするかは、その低明度画素数あるいは高明度画素数に応じて決めればよい。また、タイプｄにおいて、高明度画素数≒低明度画素数の場合には、露光時間を現設定値より短時間にするか長時間にするかは、ユーザ設定等により予め決めておけばよい。
【００３９】
最適露光時間算出部３２４は、算出した最適露光時間を撮像素子２００に設定する（ステップ１０１０）。なお、後述するように、最適露光時間算出部３２４では、輝度ヒストグラム推定部３２５からのフィードバック指示により、算出した露光時間を調整することが可能である。この場合には、調整後の露光時間が最適露光時間として撮像素子２００に設定されることとなる。
【００４０】
輝度ヒストグラム推定部３２５は、ガンマ成分除去部３２２からガンマ補正の効果が取り除かれた現撮像フレームＦ（ｉ）の画像データを入力し、さらに、最適露光時間算出部３２４から最適露光時間を入力して、該最適露光時間を設定した際の撮像素子２００の光センサが出力する次撮像フレームＦ（ｉ＋１）の各画素の輝度（仮想輝度と称す）を予測計算して、その仮想輝度ヒストグラムを作成する（ステップ１０１１）。また、この輝度ヒストグラム推定部３２５では、仮想輝度が適正かどうかチェックし、適正でないし場合には、最適露光時間算出部３２４にフィードバックをかけて最適露光時間を調整させる。そして、調整後の最適露光時間を用いて、改めて仮想輝度を予測計算し、仮想輝度ヒストグラムを作成し直すようにする。
【００４１】
図５に、輝度ヒストグラム推定部３２５の詳細機能ブロック図を示す。仮想輝度計算部３２５１は、ガンマ成分除去部３２２からのガンマ補正の効果が除かれた現撮像フレームＦ（ｉ）の画像データの輝度Ｙ（ｘ，ｙ）_gammaoffと、最適露光時間算出部３２４で算出された最適露光時間Ｔｂと、現撮像フレームＦ（ｉ）の露光時間Ｔｎとから、仮想輝度Ｙ’（ｘ，ｙ）を以下のように計算する。
Ｙ’（ｘ，ｙ）＝Ｙ（ｘ，ｙ）_gammaoff＊Ｔｂ／Ｔｎ
これを現撮像フレームＦ（ｉ）の全画素について繰り返す。ここで、露光時間Ｔｎは、前回算出された最適露光時間であり、最適露光時間算出部３２４から送付されたものを該仮想輝度計算部３２５１で保持しておくようにする。
【００４２】
仮想輝度ヒストグラム作成部３２５３は、仮想輝度計算部３２５１で計算された仮想輝度のヒストグラム（仮想輝度ヒストグラム）を作成する。
【００４３】
適正輝度判定部３２５２は、仮想輝度計算部３２５１で計算された仮想輝度が適正かどうかチェックし、適正でない場合、最適露光時間算出部３２４にフィードバックをかけて最適露光時間を調整させる。例えば、画像データが８ビットとした場合、仮想輝度Ｙ’が２５５付近（最高明度付近）の画素数をカウントして、そのカウント値が予め設定した閾値より大きい場合には（明るすぎる）、最適露光時間Ｔｂを短くするように最適露光時間算出部３２４にフィードバックする。また、仮想輝度Ｙ’が０付近（最低明度付近）の画素数をカウントして、そのカウント値が予め設定した閾値より大きい場合には（暗すぎる）、最適露光時間Ｔｂを長くするように最適露光時間算出部３２４にフィードバックする。
【００４４】
最適露光時間算出部３２４では、輝度ヒストグラム推定部３２５（適正輝度判定部３２５２）からのフィードバックを受けて最適露光時間Ｔｂを調整し、あらためて最適露光時間Ｔｂを輝度ヒストグラム推定部３２５へ送出する。
【００４５】
仮想輝度計算部３２５１は、最適露光時間計算部３２４からの調整後の最適露光時間Ｔｂを用いて、あらためて仮想輝度Ｙ’を計算し、仮想輝度ヒストグラム作成部３２５３では、該仮想輝度をもとに仮想輝度ヒストグラムを作成し直す。また、適正輝度判定部３２５２では、更に該仮想輝度が適正かどうかチェックし、適正でない場合、再び最適露光時間算出部３２４にフィードバックをかける。このフィードバッグは、最適露光時間および後述の最適ガンマ補正値の設定が１フレーム遅延内で収まる間、何回行っても構わない。
【００４６】
図２及び図３に戻り、最適ガンマ補正値算出部３２６は、輝度ヒストグラム推定部３２５で作成された仮想輝度ヒストグラムの特徴から最適ガンマ補正値を算出する（ステップ１０１２）。ここでも、輝度ヒストグラムのタイプａ〜ｅ（図４参照）によって、以下のように最適ガンマ補正値を決める。
タイプａ：低明度のコントラストを確保する。
タイプｂ：高明度のコントラストを確保する。
タイプｃ：中間明度のコントラストを確保する。
タイプｄ：高明度画素数＞低明度画素数なら、高明度のコントラストを確保する。
高明度画素数＜低明度画素数なら、低明度のコントラストを確保する。
タイプｅ：一般的なガンマ曲線とする。例えば、タイプｃのケースと同じとする。
【００４７】
なお、タイプａ，ｂ，ｃ，ｄにおいて、どの程度、コントラストを確保するか（どの程度ガンマ補正するか）は、その低明度画素数、高明度画素数あるいは中間明度画素数に応じて決めればよい。また、タイプｄにおいて、高明度画素数≒低明度画素数の場合には、高明度あるいは低明度のコントラストのいずれを確保するかは、ユーザ設定等により予め決めておけばよい。
【００４８】
最適ガンマ補正値算出部３２６は、算出した最適ガンマ補正値を撮像素子２００に設定する（ステップ１０１３）。図６に、上記タイプａ〜ｅに対応するガンマ補正曲線の一例を示す。
【００４９】
制御部３２７は、ｉ←ｉ＋１とする（ステップ１０１４）。そして、撮像素子２００から次に出力された撮像フレームＦ（ｉ＋１）の画像データをフレームメモリ３１０に格納し、そのままＤＡＣ４００側へ出力するようにする（ステップ１０１５、１０１６）。この撮像フレームＦ（Ｆ＋１）の画像データは、最適露光時間及び最適ガンマ補正が施されたものであり、理想的な撮像に近いものとなっている。
【００５０】
その後、制御部３２７は、ｉ←ｉ＋２として（ステップ１０１７）、ステップ１０１８に進み、最終フレームまで到達したかどうか判定する（ステップ１０１８）。そして、最終フレームまで到達しない場合には、ステップ１００２に戻り、到達したなら処理を終了とする。
【００５１】
本実施形態によれば、ガンマ補正の効果が取り除かれた撮像フレームＦ（ｉ）の輝度ヒストグラムをもとに最適露光時間を算出して設定すると共に、この最適露光時間を設定した際に、撮像素子が出力する撮像フレームＦ（ｉ＋１）の仮想輝度を推定（予測）し、その仮想輝度ヒストグラムをもとに最適ガンマ補正値を算出して設定し、こうして最適化した露光時間とガンマ補正を次の実際の撮像フレームＦ（ｉ＋１）に反映することで、１フレームのみの遅延で、理想的な撮像に近づけ、広ダイナミックレンジの画像を得ることができる。また、撮像フレームＦ（ｉ）の明度を分類し、露光時間もガンマ補正も変更する必要がない場合には、該撮像フレームＦ（ｉ）を直ちに出力することで、不必要なフレームの遅延を抑止することができる。
【００５２】
図７は、画像処理装置３００の主要構成である画像処理部３１０の別の実施形態の詳細機能ブロック図を示したものである。図２との構成上の相違点は、明度分類部３２１がないことであり、それ以外は図２と同じである。
【００５３】
図８に、本実施形態の画像処理装置３００（特にその画像処理部３２０）の全体的処理フローチャートを示す。制御部３２７は、まず、フレーム番号ｉを初期設定する（ステップ２００１）。そして、撮像素子２００から出力される撮像フレームＦ（ｉ）の画像データをフレームメモリ３１０を経由してガンマ成分除去部３２２に入力する（ステップ２００２）。これ以降のステップ２００３〜２０１４の処理は、先の図３のステップ１００７〜１０１８とまったく同じであるので、説明は省略する。なお、ステップ２００２では、撮像素子２００から出力される撮像フレームＦ（ｉ）の画像データを、フレームメモリ３１０を経由することなく直接、ガンマ成分除去部３２２に入力することでもよい。
【００５４】
本実施形態においても、先の実施形態と同様に、１フレームのみの遅延で、理想的な画像に近づけ、広ダイナミックレンジの画像を得ることができる。しかも、構成の簡素化、処理の簡単化が可能になる。なお、本実施形態では、露光時間もガンマ補正も変更する必要がない場合でも、１フレームの遅延を必要とするが、表示面上の見た目には、先の実施形態と大差がない。
【００５５】
以上、２つの実施形態を示したが、本発明はこれに限定されるものではない。例えば、画像処理部３２０がガンマ補正部を備えることでもよい。この場合、図３や図８において、ステップ１００２やステップ２００２の後にガンマ補正のステップが追加されることになる。また、ステップ１０１３、２００９は、最適ガンマ補正値を画像処理部３２０内のガンマ補正部へ設定と変更されることになる。
【００５６】
さらに、実施形態の説明では、最適露光時間算出部と最適ガンマ補正値算出部が、算出した最適露光時間あるいは最適ガンマ補正値をそれぞれ個別に設定するとしたが、制御部が、これら最適露光時間及び最適ガンマ補正値を受け取り、まとめて設定することでもよい。
【産業上の利用可能性】
【００５７】
例えば、車載カメラの場合、トンネルへの出入りなど、照度が変化しやすい環境で使用されることが多い。これに対応するため、まず、画面明度を露光調整で大まかに調整し、次いで、ガンマ補正で微調整を行う。この場合、露光調整が合っていない状態でガンマ補正を行うと、大胆なガンマ補正が実行される可能性があり、画像劣化の原因になるが、本発明の画像処理装置を備えた画像撮像装置によれば、このような事態を避けることができる。
【符号の説明】
【００５８】
１００ 光学系
２００ 撮像素子
３００ 画像処理装置
３１０ フレームメモリ
３２０ 画像処理部
３２１ 明度分類部
３２２ ガンマ成分除去部
３２３ 輝度ヒストグラム作成部
３２４ 最適露光時間算出部
３２５ 輝度ヒストグラム推定部
３２６ 最適ガンマ補正値算出部
３２７ 制御部
４００ ＤＡＣ
５００ 表示装置
３２５１ 仮想輝度計算部
３２５２ 適正輝度判定部
３２５３ 仮想輝度ヒストグラム作成部
【先行技術文献】
【特許文献】
【００５９】
【特許文献１】特開２００８−００５３６５号公報
【技術分野】
【０００１】
本発明は、撮像素子におけるダイナミックレンジの調整を図る画像処理装置及び画像処理方法、並びに該画像処理装置を備えた画像撮像装置に関する。
【背景技術】
【０００２】
撮像素子におけるダイナミックレンジとは、一枚の撮像の中で表現できる最小の被写体照度と最大照度の比を表わす。一般にレンズの絞りやシャッタースピードの調整により、ダイナミックレンジを輝度軸に対して平行移動させることで、明るい被写体から暗い被写体までを適切な階調で撮影することが可能である。また、実際にシャッタースピードを変化させる代わりに、撮像素子の電荷蓄積時間を制御することで露光時間を調整する電子シャッタも広く用いられている。
【０００３】
しかし、明るい部分と暗い部分との輝度差が撮像素子のダイナミックレンジよりも大きいような被写体を撮影した際においては、明るい部分が白とびし、暗い部分が黒つぶれしてしまう。
【０００４】
これを回避するため、従来、撮像フレームＦ（ｉ）の輝度ヒストグラムを生成して該撮像フレームＦ（ｉ）の明暗を判断し、明すぎる又は暗すぎる場合に応じて最適な露光時間を設定し、次の撮像フレーム（ｉ＋１）の輝度を調整することが知られている。また、例えば特許文献１では、露光時間に加え、最適なゲインや最適なガンマ補正値を設定して、広ダイナミックレンジの画像を得るようにしている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のような従来の撮像フレームＦ（ｉ）の輝度ヒストグラムから、最適な露光時間とガンマ補正値を設定する方法では、露光時間とガンマ補正が互いに影響を及ぼし合う可能性があり、理想的な画像が得られるかどうか疑わしい問題があった。
【０００６】
これの解決策としては、まず、撮像フレームＦ（ｉ）の輝度ヒストグラムをもとに最適な露光時間を設定し、次に、その露光時間で撮影した撮像フレーム（ｉ＋１）の輝度ヒストグラムをもとに最適なガンマ補正を設定し、次の撮像フレーム（ｉ＋２）で、そのガンマ補正値を反映するようにする方法が考えられるが、理想的な画像を得るまでには２フレームの遅延が発生する。フレームレートを落として使用するときには、数十フレームの遅延が発生してしまう。
【０００７】
本発明は、フレームの遅延を少なくして、かつ、より確実に理想的な撮像に近づけ、広ダイナミックレンジの画像を得ることができる画像処理装置及び画像処理方法、並びに該画像処理装置を備えた画像撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１の発明の画像処理装置は、撮像素子から出力される画像フレームＦ（ｉ）の画像データからガンマ補正の効果を取り除くガンマ補正除去手段と、前記ガンマ補正の効果が取り除かれた画像フレームＦ（ｉ）の画像データから輝度ヒストグラムを作成する輝度ヒストグラム作成手段と、前記輝度ヒストグラムの特徴から最適露光時間を算出する最適露光時間算出手段と、前記撮像素子が前記最適露光時間で撮影した際の画像フレームＦ（ｉ＋１）の画像データの輝度（以下、仮想輝度）を推定し、仮想輝度ヒストグラムを作成する輝度ヒストグラム推定手段と、前記仮想輝度ヒストグラムの特徴から最適ガンマ補正値を算出する最適ガンマ補正値算出手段とを有し、前記最適露光時間及び前記最適ガンマ補正値を設定して得られる次の画像フレームＦ（ｉ＋１）の画像データを送出することを特徴とする。
【０００９】
請求項２の発明は、請求項１に記載の画像処理装置において、撮像素子から出力される画像フレームＦ（ｉ）の画像データの明度を分類する明度分類手段を有し、前記画像フレームＦ（ｉ）の画像データの明度が所定の条件を満足する場合、該画像フレームＦ（ｉ）の画像データをそのまま送出することを特徴とする。
【００１０】
請求項３の発明は、請求項２に記載の画像処理装置において、前記明度分類手段にて、前記画像フレームＦ（ｉ）の画像データが高明度、中間明度、低明度に分類され、中間明度の画素数が予め定めた数より多く、高明度と低明度の画素数が予め定めた数より少ない場合、あるいは、高明度、中間明度、低明度ともに画素数が予め定めた数より少ない場合に、前記画像フレームＦ（ｉ）の画像データをそのまま送出することを特徴とする。
【００１１】
請求項４の発明は、請求項１乃至３のいずれか１項に記載の画像処理装置において、前記輝度ヒストグラム推定手段は、前記ガンマ成分除去手段でガンマ補正の効果が除かれた撮像フレームＦ（ｉ）の画像データの輝度Ｙ（ｘ，ｙ）gammaoffと、前記最適露光時間算出手段で算出された最適露光時間Ｔｂ、現露光時間Ｔｎとから、仮想輝度Ｙ’（ｘ，ｙ）を、
Ｙ’（ｘ，ｙ）＝Ｙ（ｘ，ｙ）gammaoff＊Ｔｂ／Ｔｎ
として算出し推定することを特徴とする。
【００１２】
請求項５の発明は、請求項１乃至４のいずれか１項に記載の画像処理装置において、前記輝度ヒストグラム推定手段は、仮想輝度が適正かどうか判定し、適正でない場合には、前記最適露光時間算出手段にフィードバックをかけて最適露光時間を調整せしめ、調整された最適露光時間をもとに再び仮想輝度を推定し、仮想輝度ヒストグラムを作成し直すことを特徴とする。
【００１３】
請求項６の発明は、請求項５に記載の画像処理装置において、前記輝度ヒストグラム推定手段は、最高明度付近の仮想輝度の画素数が予め定めた数より多い場合、あるいは最低明度付近の仮想輝度の画素数が予め定めた数より多い場合に、仮想輝度が適当でないと判定することを特徴とする。
【００１４】
請求項７の発明は、請求項５又は６に記載の画像処理装置において、前記最適露光時間算出手段へのフィードバックは、最適露光時間及び最適ガンマ補正値の設定が１フレーム遅延内で収まる限り何回でも行われることを特徴とする。
【００１５】
請求項８の発明の画像処理方法は、撮像素子から出力される画像フレームＦ（ｉ）の画像データからガンマ補正の効果を取り除くガンマ補正除去ステップと、前記ガンマ補正の効果が取り除かれた画像フレームＦ（ｉ）の画像データから輝度ヒストグラムを作成する輝度ヒストグラム作成ステップと、前記輝度ヒストグラムの特徴から最適露光時間を算出する最適露光時間算出ステップと、前記撮像素子が前記最適露光時間で撮影した際の画像フレームＦ（ｉ＋１）の画像データの輝度（以下、仮想輝度）を推定し、仮想輝度ヒストグラムを作成する輝度ヒストグラム推定ステップと、前記仮想輝度ヒストグラムの特徴から最適ガンマ補正値を算出する最適ガンマ補正値算出ステップとを有し、前記最適露光時間及び前記最適ガンマ補正値を設定して得られる次の画像フレームＦ（ｉ＋１）の画像データを送出することを特徴とする。
【００１６】
請求項９の発明は、請求項８に記載の画像処理方法において、撮像素子から出力される画像フレームＦ（ｉ）の画像データの明度を分類する明度分類ステップを有し、前記画像フレームＦ（ｉ）の画像データの明度が所定の条件を満足する場合、該画像フレームＦ（ｉ）の画像データをそのまま送出することを特徴とする。
【００１７】
請求項１０の発明は、請求項８又は９に記載の画像処理方法において、前記輝度ヒストグラム推定ステップは、仮想輝度が適正かどうか判定し、適正でない場合には、前記最適露光時間算出手段にフィードバックをかけて最適露光時間を調整せしめ、調整された最適露光時間をもとに再び仮想輝度を推定し、仮想輝度ヒストグラムを作成し直すことを特徴とする。
【００１８】
請求項１１の発明は、請求項１０に記載の画像処理方法において、前記最適露光時間算出ステップへのフィードバックは、最適露光時間及び最適ガンマ補正値の設定が１フレーム遅延内で収まる限り何回でも行われることを特徴とする。
【００１９】
請求項１２の発明の画像撮像装置は、被写体の光学像を集光する光学系と、前記光学系により集光された光学像を電気信号に変換し、画像データを出力する撮像素子と、前記請求項１乃至７のいずれか１項に記載の画像処理装置と、前記画像処理装置から送出される画像データを表示する表示装置とを備えていることを特徴とする。
【発明の効果】
【００２０】
本発明の画像処理装置及び画像処理方法によれば、ガンマ補正の効果が取り除かれた撮像フレームＦ（ｉ）の輝度ヒストグラムから最適な露光時間を算出するとともに、該露光時間を設定した際の撮像フレームＦ（ｉ＋１）の輝度を推定し、その輝度ヒストグラム（仮想輝度ヒストグラム）を元に最適なガンマ補正値を算出し、該最適化した露光時間とガンマ補正値を次の実際の撮像フレームＦ（ｉ＋１）に反映させることで、１フレームのみの遅延で、理想的な撮像に近づけ、広ダイナミックレンジの画像を得ることができる。また、撮像フレームＦ（ｉ）の明度を分類し、所定の条件を満足する場合には、該撮像フレームＦ（ｉ）をそのまま出力することで、不必要なフレームの遅延を抑止することができる。したがって、少ないフレーム遅延で、より確実に理想的な撮像に近づける広ダイナミックレンジの調整が可能な画像撮像装置を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の画像処理装置を備えた画像撮像装置の全体構成図である。
【図２】図１中の画像処理装置の一実施形態の詳細機能ブロック図である。
【図３】図２の画像処理装置の全体的処理フローチャートである。
【図４】画像フレームの輝度ヒストグラムのタイプを説明する図である。
【図５】図２中の輝度ヒストグラム推定部の詳細機能ブロック図である。
【図６】ガンマ補正曲線の一例を示す図である。
【図７】図１中の画像処理装置の別の実施形態の詳細機能ブロック図である。
【図８】図７の画像処理装置の全体的処理フローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照して詳しく説明する。
図１は、本発明の画像処理装置を備えた画像撮像装置の全体構成図を示す。本画像撮像装置は、例えば、車載カメラ装置として使用されるが、勿論、用途はそれに限らない。
【００２３】
図１において、光学系１００は撮像素子２００に被写体光を効率よく集光させる。撮像素子２００はＣＣＤやＣＭＯＳなどの光センサを有し、その光強度に応じた強弱の電気信号（アナログ信）に変換する。さらに、撮像素子２００は、光センサの露光時間を調整する電子シャッタ、光センサから出力されるアナログ信号の画像信号を所定のレベルに調整するＡＧＣ回路、その画像信号をデジタル信号の画像データに変換するＡＤＣ回路、該画像データに対してガンマ補正を行うガンマ補正回路などを内蔵している。
【００２４】
画像処理装置３００はフレームメモリ３１０と画像処理部３２０を有する。撮像素子２００から出力される画像データは、フレームメモリ３１０に格納されると共に画像処理部３２０に入力される。画像処理部３２０は、その一実施形態では、撮像素子２００から出力される画像データの明度を分類し、所定の条件を満足する場合には、フレームメモリ３１０に格納された現撮像フレームＦ（ｉ）の画像データをそのまま出力する。一方、所定の条件を満足しない場合あるいは他の実施形態では、撮像素子２００から出力された現撮像フレームＦ（ｉ）の画像データからガンマ補正の効果を取り除いた後、該画像データの輝度ヒストグラムから最適露光時間を算出し、さらに、該露光時間で撮影して得られる画像データの輝度（仮想輝度）を推定（予測）して、その仮想輝度ヒストグラムから最適ガンマ補正値を算出し、これら最適露光時間及び最適ガンマ補正値を撮像素子２００に設定する。そして、画像処理部３２０は、撮像素子２００から出力されてフレームメモリ３１０に新たに格納される次の撮像フレームＦ（ｉ＋１）の画像データを送出するようにする。この画像処理部３２０の詳細については後述する。
【００２５】
ＤＡＣ（デジタル・アナログ変換器）４００は、フレームメモリ３１０から出力される画像データを入力し、例えば、ＮＴＳＣ方式の映像信号に変換する。表示装置５００は、該映像信号を表示する。
【００２６】
図２は、画像処理装置３００の主要構成である画像処理部３２０の一実施形態の詳細機能ブロック図を示す。本実施形態では、画像処理部３２０は、明度分類部３２１、ガンマ成分除去部３２２、輝度ヒストグラム作成部３２３、最適露光時間算出部３２４、輝度ヒストグラム推定部３２５、最適ガンマ補正値算出部３２６、及び、これら各部の動作やフレームメモリ３１０の読み書き動作、撮像素子２００の動作を制御する制御部３１７などで構成される。
【００２７】
なお、画像処理部３２０は、例えばＣＰＵ，ＲＯＭ，ＲＡＭ等で構成され、ＲＯＭに記憶されたプログラムをＣＰＵが実行することで、各部の機能が実現される。また、ＲＡＭは、処理途中の画像データや必要な閾値、パラメータ等を記憶するために用いられる。勿論、画像処理部３２０の各部はハードロジツクで構成することでもよい。
【００２８】
図３に、本実施形態の全体的処理フローチャートを示す。以下、図３を参照して本実施形態の画像処理装置３００（特に画像処理部３２０）の動作を詳述する。
【００２９】
制御部３２７は、まず、フレーム番号ｉを初期設定する（ステップ１００１）。そして、撮像素子２００から出力される撮像フレームＦ（ｉ）の画像データをフレームメモリ３１０に格納すると共に明度分類部３２１に入力する（ステップ１００２）。
【００３０】
明度分類部３２１は、この入力された撮像フレームＦ（ｉ）の画像データの明度を分類する（ステップ１００３）。具体的には、入力された画像データの輝度ヒストグラムを作成して、それを高明度、中間明度および低明度の各範囲に分け、それぞれの画素数をカウントし、該カウント値を所定の閾値と比較して、下記のタイプのいずれかに分類する。なお、輝度ヒストグラムを高明度、中間明度、低明度の各範囲に分ける閾値や、各範囲のカウント値を比較する閾値は予め決めておく。
【００３１】
タイプａ：低明度の画素数が多く、中間明度と高明度の画素数が少ない。
タイプｂ：高明度の画素数が多く、低明度と中間明度の画素数が少ない。
タイプｃ：中間明度の画素数が多く、低明度と高明度の画素数が少ない。
タイプｄ：低明度と高明度の画素数が多く、中間明度の画素数が少ない。
タイプｅ：低明度、中間明度、高明度の画素数がいずれも少ない。
図４は、上記タイプａ〜ｅを輝度ヒストグラムで表わした図である。
【００３２】
制御部３２７は、明度分類部３２１から分類結果を受け取り、撮像フレームＦ（ｉ）がいずれのタイプに属するか判定する（ステップ１００４）。そして、タイプｃおよびｅの場合、制御部３２７は、フレームメモリ３１０に対して、該フレームメモリ３１０に格納された撮像フレームＦ（ｉ）の画像データをそのままＤＡＣ４００へ出力するように制御し（ステップ１００５）、ｉ←ｉ＋１として（ステップ１００６）、ステップ１０１８に進む。すなわち、タイプｃおよびｅの場合、撮像画像は明るすぎず、暗すぎず、良い状態であるので、露光時間もガンマ補正も変更する必要がない。本実施形態では、このような場合、現撮像フレームＦ（ｉ）の画像データをそのまま出力することで、不必要なフレームの遅延を抑止することができる。
【００３３】
一方、タイプａ，ｂおよびｄの場合には、制御部３２７は、フリームメモリ３１０に対して、該フレームメモリ３１０に格納された現撮像フレームＦ（ｉ）の画像データをガンマ成分除去部３２２に入力するように制御する。以下、ガンマ成分除去部３２２から最適ガンマ補正値算出部３２６の各処理は、撮像素子２００のブランキング期間に実施される。
【００３４】
ガンマ成分除去部３２２は、入力された現撮像フレームＦ（ｉ）の画像データからガンマ補正の効果を取り除き、撮像素子２００の光センサが光電変換した状態の画像データを出力する（ステップ１００７）。具体的には、現撮像フレームＦ（ｉ）の各画素の輝度情報Ｙ（ｘ，ｙ）について、逆ガンマ補正関数を乗じることで、撮像素子２００の光センサが出力した生の輝度情報Ｙ（ｘ，ｙ）_gammaoffを得る。
【００３５】
いま、撮像素子２００の光センサが出力した輝度Ｙ（ｘ，ｙ）_gammaoffにガンマ補正を実行した輝度Ｙ（ｘ，ｙ）が、下記の式で表わされるとする。
Ｙ（ｘ，ｙ）＝ａ＊ｌｎ（Ｙ（ｘ，ｙ）_gammaoff）＋ｂ （ａ，ｂは係数）
この場合、ガンマ補正の効果を除くためには、次のように計算すればよい。
Ｙ（ｘ，ｙ）_gammaoff＝ｅ＾（（Ｙ（ｘ，ｙ）−ｂ）／ａ） （＾はべき乗）
【００３６】
輝度ヒストグラム作成部８２３は、ガンマ成分除去部３２２にてガンマ補正の効果が取り除かれた現撮像フレームＦ（ｉ）の画像データを入力して、その輝度ヒストグラムを作成する（ステップ１００８）。
【００３７】
最適露光時間算出部３２４は、輝度ヒストグラム作成部３２３で作成された輝度ヒストグラムの特徴から最適露光時間を算出する（ステップ１００９）。具体的には、輝度ヒストグラムのタイプａ〜ｅ（図４参照）によって、以下のように最適露光時間を決める。
【００３８】
タイプａ：露光時間を現設定値より長時間にする。
タイプｂ：露光時間を現設定値より短時間にする。
タイプｃ：露光時間を現設定値のままとする。
タイプｄ：高明度画素数＞低明度画素数なら、露光時間を現設定値より短時間にする。
高明度画素数＜低明度画素数なら、露光時間を現設定値より長時間にする。
タイプｅ：露光時間を現設定値のままとする。
なお、タイプａ，ｂ，ｄにおいて、露光時間を現設定値に対して、どの程度長時間あるいは短時間にするかは、その低明度画素数あるいは高明度画素数に応じて決めればよい。また、タイプｄにおいて、高明度画素数≒低明度画素数の場合には、露光時間を現設定値より短時間にするか長時間にするかは、ユーザ設定等により予め決めておけばよい。
【００３９】
最適露光時間算出部３２４は、算出した最適露光時間を撮像素子２００に設定する（ステップ１０１０）。なお、後述するように、最適露光時間算出部３２４では、輝度ヒストグラム推定部３２５からのフィードバック指示により、算出した露光時間を調整することが可能である。この場合には、調整後の露光時間が最適露光時間として撮像素子２００に設定されることとなる。
【００４０】
輝度ヒストグラム推定部３２５は、ガンマ成分除去部３２２からガンマ補正の効果が取り除かれた現撮像フレームＦ（ｉ）の画像データを入力し、さらに、最適露光時間算出部３２４から最適露光時間を入力して、該最適露光時間を設定した際の撮像素子２００の光センサが出力する次撮像フレームＦ（ｉ＋１）の各画素の輝度（仮想輝度と称す）を予測計算して、その仮想輝度ヒストグラムを作成する（ステップ１０１１）。また、この輝度ヒストグラム推定部３２５では、仮想輝度が適正かどうかチェックし、適正でないし場合には、最適露光時間算出部３２４にフィードバックをかけて最適露光時間を調整させる。そして、調整後の最適露光時間を用いて、改めて仮想輝度を予測計算し、仮想輝度ヒストグラムを作成し直すようにする。
【００４１】
図５に、輝度ヒストグラム推定部３２５の詳細機能ブロック図を示す。仮想輝度計算部３２５１は、ガンマ成分除去部３２２からのガンマ補正の効果が除かれた現撮像フレームＦ（ｉ）の画像データの輝度Ｙ（ｘ，ｙ）_gammaoffと、最適露光時間算出部３２４で算出された最適露光時間Ｔｂと、現撮像フレームＦ（ｉ）の露光時間Ｔｎとから、仮想輝度Ｙ’（ｘ，ｙ）を以下のように計算する。
Ｙ’（ｘ，ｙ）＝Ｙ（ｘ，ｙ）_gammaoff＊Ｔｂ／Ｔｎ
これを現撮像フレームＦ（ｉ）の全画素について繰り返す。ここで、露光時間Ｔｎは、前回算出された最適露光時間であり、最適露光時間算出部３２４から送付されたものを該仮想輝度計算部３２５１で保持しておくようにする。
【００４２】
仮想輝度ヒストグラム作成部３２５３は、仮想輝度計算部３２５１で計算された仮想輝度のヒストグラム（仮想輝度ヒストグラム）を作成する。
【００４３】
適正輝度判定部３２５２は、仮想輝度計算部３２５１で計算された仮想輝度が適正かどうかチェックし、適正でない場合、最適露光時間算出部３２４にフィードバックをかけて最適露光時間を調整させる。例えば、画像データが８ビットとした場合、仮想輝度Ｙ’が２５５付近（最高明度付近）の画素数をカウントして、そのカウント値が予め設定した閾値より大きい場合には（明るすぎる）、最適露光時間Ｔｂを短くするように最適露光時間算出部３２４にフィードバックする。また、仮想輝度Ｙ’が０付近（最低明度付近）の画素数をカウントして、そのカウント値が予め設定した閾値より大きい場合には（暗すぎる）、最適露光時間Ｔｂを長くするように最適露光時間算出部３２４にフィードバックする。
【００４４】
最適露光時間算出部３２４では、輝度ヒストグラム推定部３２５（適正輝度判定部３２５２）からのフィードバックを受けて最適露光時間Ｔｂを調整し、あらためて最適露光時間Ｔｂを輝度ヒストグラム推定部３２５へ送出する。
【００４５】
仮想輝度計算部３２５１は、最適露光時間計算部３２４からの調整後の最適露光時間Ｔｂを用いて、あらためて仮想輝度Ｙ’を計算し、仮想輝度ヒストグラム作成部３２５３では、該仮想輝度をもとに仮想輝度ヒストグラムを作成し直す。また、適正輝度判定部３２５２では、更に該仮想輝度が適正かどうかチェックし、適正でない場合、再び最適露光時間算出部３２４にフィードバックをかける。このフィードバッグは、最適露光時間および後述の最適ガンマ補正値の設定が１フレーム遅延内で収まる間、何回行っても構わない。
【００４６】
図２及び図３に戻り、最適ガンマ補正値算出部３２６は、輝度ヒストグラム推定部３２５で作成された仮想輝度ヒストグラムの特徴から最適ガンマ補正値を算出する（ステップ１０１２）。ここでも、輝度ヒストグラムのタイプａ〜ｅ（図４参照）によって、以下のように最適ガンマ補正値を決める。
タイプａ：低明度のコントラストを確保する。
タイプｂ：高明度のコントラストを確保する。
タイプｃ：中間明度のコントラストを確保する。
タイプｄ：高明度画素数＞低明度画素数なら、高明度のコントラストを確保する。
高明度画素数＜低明度画素数なら、低明度のコントラストを確保する。
タイプｅ：一般的なガンマ曲線とする。例えば、タイプｃのケースと同じとする。
【００４７】
なお、タイプａ，ｂ，ｃ，ｄにおいて、どの程度、コントラストを確保するか（どの程度ガンマ補正するか）は、その低明度画素数、高明度画素数あるいは中間明度画素数に応じて決めればよい。また、タイプｄにおいて、高明度画素数≒低明度画素数の場合には、高明度あるいは低明度のコントラストのいずれを確保するかは、ユーザ設定等により予め決めておけばよい。
【００４８】
最適ガンマ補正値算出部３２６は、算出した最適ガンマ補正値を撮像素子２００に設定する（ステップ１０１３）。図６に、上記タイプａ〜ｅに対応するガンマ補正曲線の一例を示す。
【００４９】
制御部３２７は、ｉ←ｉ＋１とする（ステップ１０１４）。そして、撮像素子２００から次に出力された撮像フレームＦ（ｉ＋１）の画像データをフレームメモリ３１０に格納し、そのままＤＡＣ４００側へ出力するようにする（ステップ１０１５、１０１６）。この撮像フレームＦ（Ｆ＋１）の画像データは、最適露光時間及び最適ガンマ補正が施されたものであり、理想的な撮像に近いものとなっている。
【００５０】
その後、制御部３２７は、ｉ←ｉ＋２として（ステップ１０１７）、ステップ１０１８に進み、最終フレームまで到達したかどうか判定する（ステップ１０１８）。そして、最終フレームまで到達しない場合には、ステップ１００２に戻り、到達したなら処理を終了とする。
【００５１】
本実施形態によれば、ガンマ補正の効果が取り除かれた撮像フレームＦ（ｉ）の輝度ヒストグラムをもとに最適露光時間を算出して設定すると共に、この最適露光時間を設定した際に、撮像素子が出力する撮像フレームＦ（ｉ＋１）の仮想輝度を推定（予測）し、その仮想輝度ヒストグラムをもとに最適ガンマ補正値を算出して設定し、こうして最適化した露光時間とガンマ補正を次の実際の撮像フレームＦ（ｉ＋１）に反映することで、１フレームのみの遅延で、理想的な撮像に近づけ、広ダイナミックレンジの画像を得ることができる。また、撮像フレームＦ（ｉ）の明度を分類し、露光時間もガンマ補正も変更する必要がない場合には、該撮像フレームＦ（ｉ）を直ちに出力することで、不必要なフレームの遅延を抑止することができる。
【００５２】
図７は、画像処理装置３００の主要構成である画像処理部３１０の別の実施形態の詳細機能ブロック図を示したものである。図２との構成上の相違点は、明度分類部３２１がないことであり、それ以外は図２と同じである。
【００５３】
図８に、本実施形態の画像処理装置３００（特にその画像処理部３２０）の全体的処理フローチャートを示す。制御部３２７は、まず、フレーム番号ｉを初期設定する（ステップ２００１）。そして、撮像素子２００から出力される撮像フレームＦ（ｉ）の画像データをフレームメモリ３１０を経由してガンマ成分除去部３２２に入力する（ステップ２００２）。これ以降のステップ２００３〜２０１４の処理は、先の図３のステップ１００７〜１０１８とまったく同じであるので、説明は省略する。なお、ステップ２００２では、撮像素子２００から出力される撮像フレームＦ（ｉ）の画像データを、フレームメモリ３１０を経由することなく直接、ガンマ成分除去部３２２に入力することでもよい。
【００５４】
本実施形態においても、先の実施形態と同様に、１フレームのみの遅延で、理想的な画像に近づけ、広ダイナミックレンジの画像を得ることができる。しかも、構成の簡素化、処理の簡単化が可能になる。なお、本実施形態では、露光時間もガンマ補正も変更する必要がない場合でも、１フレームの遅延を必要とするが、表示面上の見た目には、先の実施形態と大差がない。
【００５５】
以上、２つの実施形態を示したが、本発明はこれに限定されるものではない。例えば、画像処理部３２０がガンマ補正部を備えることでもよい。この場合、図３や図８において、ステップ１００２やステップ２００２の後にガンマ補正のステップが追加されることになる。また、ステップ１０１３、２００９は、最適ガンマ補正値を画像処理部３２０内のガンマ補正部へ設定と変更されることになる。
【００５６】
さらに、実施形態の説明では、最適露光時間算出部と最適ガンマ補正値算出部が、算出した最適露光時間あるいは最適ガンマ補正値をそれぞれ個別に設定するとしたが、制御部が、これら最適露光時間及び最適ガンマ補正値を受け取り、まとめて設定することでもよい。
【産業上の利用可能性】
【００５７】
例えば、車載カメラの場合、トンネルへの出入りなど、照度が変化しやすい環境で使用されることが多い。これに対応するため、まず、画面明度を露光調整で大まかに調整し、次いで、ガンマ補正で微調整を行う。この場合、露光調整が合っていない状態でガンマ補正を行うと、大胆なガンマ補正が実行される可能性があり、画像劣化の原因になるが、本発明の画像処理装置を備えた画像撮像装置によれば、このような事態を避けることができる。
【符号の説明】
【００５８】
１００ 光学系
２００ 撮像素子
３００ 画像処理装置
３１０ フレームメモリ
３２０ 画像処理部
３２１ 明度分類部
３２２ ガンマ成分除去部
３２３ 輝度ヒストグラム作成部
３２４ 最適露光時間算出部
３２５ 輝度ヒストグラム推定部
３２６ 最適ガンマ補正値算出部
３２７ 制御部
４００ ＤＡＣ
５００ 表示装置
３２５１ 仮想輝度計算部
３２５２ 適正輝度判定部
３２５３ 仮想輝度ヒストグラム作成部
【先行技術文献】
【特許文献】
【００５９】
【特許文献１】特開２００８−００５３６５号公報
【特許請求の範囲】
【請求項１】
撮像素子から出力される画像フレームＦ（ｉ）の画像データからガンマ補正の効果を取り除くガンマ補正除去手段と、
前記ガンマ補正の効果が取り除かれた画像フレームＦ（ｉ）の画像データから輝度ヒストグラムを作成する輝度ヒストグラム作成手段と、
前記輝度ヒストグラムの特徴から最適露光時間を算出する最適露光時間算出手段と、
前記撮像素子が前記最適露光時間で撮影した際の画像フレームＦ（ｉ＋１）の画像データの輝度（以下、仮想輝度）を推定し、仮想輝度ヒストグラムを作成する輝度ヒストグラム推定手段と、
前記仮想輝度ヒストグラムの特徴から最適ガンマ補正値を算出する最適ガンマ補正値算出手段とを有し、
前記最適露光時間及び前記最適ガンマ補正値を設定して得られる次の画像フレームＦ（ｉ＋１）の画像データを送出することを特徴とする画像処理装置。
【請求項２】
撮像素子から出力される画像フレームＦ（ｉ）の画像データの明度を分類する明度分類手段を有し、
前記画像フレームＦ（ｉ）の画像データの明度が所定の条件を満足する場合、該画像フレームＦ（ｉ）の画像データをそのまま送出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記明度分類手段にて、前記画像フレームＦ（ｉ）の画像データが高明度、中間明度、低明度に分類され、
中間明度の画素数が予め定めた数より多く、高明度と低明度の画素数が予め定めた数より少ない場合、あるいは、高明度、中間明度、低明度ともに画素数が予め定めた数より少ない場合に、前記画像フレームＦ（ｉ）の画像データをそのまま送出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記輝度ヒストグラム推定手段は、前記ガンマ成分除去手段でガンマ補正の効果が除かれた撮像フレームＦ（ｉ）の画像データの輝度Ｙ（ｘ，ｙ）gammaoffと、前記最適露光時間算出手段で算出された最適露光時間Ｔｂ、現露光時間Ｔｎとから、仮想輝度Ｙ’（ｘ，ｙ）を、
Ｙ’（ｘ，ｙ）＝Ｙ（ｘ，ｙ）gammaoff＊Ｔｂ／Ｔｎ
として算出し推定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記輝度ヒストグラム推定手段は、仮想輝度が適正かどうか判定し、適正でない場合には、前記最適露光時間算出手段にフィードバックをかけて最適露光時間を調整せしめ、調整された最適露光時間をもとに再び仮想輝度を推定し、仮想輝度ヒストグラムを作成し直すことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記輝度ヒストグラム推定手段は、最高明度付近の仮想輝度の画素数が予め定めた数より多い場合、あるいは最低明度付近の仮想輝度の画素数が予め定めた数より多い場合に、仮想輝度が適当でないと判定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記最適露光時間算出手段へのフィードバックは、最適露光時間及び最適ガンマ補正値の設定が１フレーム遅延内で収まる限り何回でも行われることを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
撮像素子から出力される画像フレームＦ（ｉ）の画像データからガンマ補正の効果を取り除くガンマ補正除去ステップと、
前記ガンマ補正の効果が取り除かれた画像フレームＦ（ｉ）の画像データから輝度ヒストグラムを作成する輝度ヒストグラム作成ステップと、
前記輝度ヒストグラムの特徴から最適露光時間を算出する最適露光時間算出ステップと、
前記撮像素子が前記最適露光時間で撮影した際の画像フレームＦ（ｉ＋１）の画像データの輝度（以下、仮想輝度）を推定し、仮想輝度ヒストグラムを作成する輝度ヒストグラム推定ステップと、
前記仮想輝度ヒストグラムの特徴から最適ガンマ補正値を算出する最適ガンマ補正値算出ステップとを有し、
前記最適露光時間及び前記最適ガンマ補正値を設定して得られる次の画像フレームＦ（ｉ＋１）の画像データを送出することを特徴とする画像処理方法。
【請求項９】
撮像素子から出力される画像フレームＦ（ｉ）の画像データの明度を分類する明度分類ステップを有し、
前記画像フレームＦ（ｉ）の画像データの明度が所定の条件を満足する場合、該画像フレームＦ（ｉ）の画像データをそのまま送出することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記輝度ヒストグラム推定ステップは、仮想輝度が適正かどうか判定し、適正でない場合には、前記最適露光時間算出手段にフィードバックをかけて最適露光時間を調整せしめ、調整された最適露光時間をもとに再び仮想輝度を推定し、仮想輝度ヒストグラムを作成し直すことを特徴とする請求項８又は９に記載の画像処理方法。
【請求項１１】
前記最適露光時間算出ステップへのフィードバックは、最適露光時間及び最適ガンマ補正値の設定が１フレーム遅延内で収まる限り何回でも行われることを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
被写体の光学像を集光する光学系と、
前記光学系により集光された光学像を電気信号に変換し、画像データを出力する撮像素子と、
前記請求項１乃至７のいずれか１項に記載の画像処理装置と、
前記画像処理装置から送出される画像データを表示する表示装置と、
を備えていることを特徴とする画像撮像装置。
【請求項１】
撮像素子から出力される画像フレームＦ（ｉ）の画像データからガンマ補正の効果を取り除くガンマ補正除去手段と、
前記ガンマ補正の効果が取り除かれた画像フレームＦ（ｉ）の画像データから輝度ヒストグラムを作成する輝度ヒストグラム作成手段と、
前記輝度ヒストグラムの特徴から最適露光時間を算出する最適露光時間算出手段と、
前記撮像素子が前記最適露光時間で撮影した際の画像フレームＦ（ｉ＋１）の画像データの輝度（以下、仮想輝度）を推定し、仮想輝度ヒストグラムを作成する輝度ヒストグラム推定手段と、
前記仮想輝度ヒストグラムの特徴から最適ガンマ補正値を算出する最適ガンマ補正値算出手段とを有し、
前記最適露光時間及び前記最適ガンマ補正値を設定して得られる次の画像フレームＦ（ｉ＋１）の画像データを送出することを特徴とする画像処理装置。
【請求項２】
撮像素子から出力される画像フレームＦ（ｉ）の画像データの明度を分類する明度分類手段を有し、
前記画像フレームＦ（ｉ）の画像データの明度が所定の条件を満足する場合、該画像フレームＦ（ｉ）の画像データをそのまま送出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記明度分類手段にて、前記画像フレームＦ（ｉ）の画像データが高明度、中間明度、低明度に分類され、
中間明度の画素数が予め定めた数より多く、高明度と低明度の画素数が予め定めた数より少ない場合、あるいは、高明度、中間明度、低明度ともに画素数が予め定めた数より少ない場合に、前記画像フレームＦ（ｉ）の画像データをそのまま送出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記輝度ヒストグラム推定手段は、前記ガンマ成分除去手段でガンマ補正の効果が除かれた撮像フレームＦ（ｉ）の画像データの輝度Ｙ（ｘ，ｙ）gammaoffと、前記最適露光時間算出手段で算出された最適露光時間Ｔｂ、現露光時間Ｔｎとから、仮想輝度Ｙ’（ｘ，ｙ）を、
Ｙ’（ｘ，ｙ）＝Ｙ（ｘ，ｙ）gammaoff＊Ｔｂ／Ｔｎ
として算出し推定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記輝度ヒストグラム推定手段は、仮想輝度が適正かどうか判定し、適正でない場合には、前記最適露光時間算出手段にフィードバックをかけて最適露光時間を調整せしめ、調整された最適露光時間をもとに再び仮想輝度を推定し、仮想輝度ヒストグラムを作成し直すことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記輝度ヒストグラム推定手段は、最高明度付近の仮想輝度の画素数が予め定めた数より多い場合、あるいは最低明度付近の仮想輝度の画素数が予め定めた数より多い場合に、仮想輝度が適当でないと判定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記最適露光時間算出手段へのフィードバックは、最適露光時間及び最適ガンマ補正値の設定が１フレーム遅延内で収まる限り何回でも行われることを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
撮像素子から出力される画像フレームＦ（ｉ）の画像データからガンマ補正の効果を取り除くガンマ補正除去ステップと、
前記ガンマ補正の効果が取り除かれた画像フレームＦ（ｉ）の画像データから輝度ヒストグラムを作成する輝度ヒストグラム作成ステップと、
前記輝度ヒストグラムの特徴から最適露光時間を算出する最適露光時間算出ステップと、
前記撮像素子が前記最適露光時間で撮影した際の画像フレームＦ（ｉ＋１）の画像データの輝度（以下、仮想輝度）を推定し、仮想輝度ヒストグラムを作成する輝度ヒストグラム推定ステップと、
前記仮想輝度ヒストグラムの特徴から最適ガンマ補正値を算出する最適ガンマ補正値算出ステップとを有し、
前記最適露光時間及び前記最適ガンマ補正値を設定して得られる次の画像フレームＦ（ｉ＋１）の画像データを送出することを特徴とする画像処理方法。
【請求項９】
撮像素子から出力される画像フレームＦ（ｉ）の画像データの明度を分類する明度分類ステップを有し、
前記画像フレームＦ（ｉ）の画像データの明度が所定の条件を満足する場合、該画像フレームＦ（ｉ）の画像データをそのまま送出することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記輝度ヒストグラム推定ステップは、仮想輝度が適正かどうか判定し、適正でない場合には、前記最適露光時間算出手段にフィードバックをかけて最適露光時間を調整せしめ、調整された最適露光時間をもとに再び仮想輝度を推定し、仮想輝度ヒストグラムを作成し直すことを特徴とする請求項８又は９に記載の画像処理方法。
【請求項１１】
前記最適露光時間算出ステップへのフィードバックは、最適露光時間及び最適ガンマ補正値の設定が１フレーム遅延内で収まる限り何回でも行われることを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
被写体の光学像を集光する光学系と、
前記光学系により集光された光学像を電気信号に変換し、画像データを出力する撮像素子と、
前記請求項１乃至７のいずれか１項に記載の画像処理装置と、
前記画像処理装置から送出される画像データを表示する表示装置と、
を備えていることを特徴とする画像撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−４６２１（Ｐ２０１２−４６２１Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３４８２８（Ｐ２０１０−１３４８２８）
【出願日】平成２２年６月１４日（２０１０．６．１４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１４日（２０１０．６．１４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]