画像処理装置及び方法、並びに電子機器
【課題】ドライブレコーダー等において用いられる画像処理装置において、ハイダイナミックレンジ合成によって白とびや黒つぶれの少ない画像を得る一方、画像の不自然さや擬似輪郭等を回避して、記録される画像の画質を改善する。
【解決手段】この画像処理装置は、異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、選択信号に従って、複数の画像の内の１つを表す画像データと合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、複数の画像の内の１つを表す画像データについて輝度レベルを評価し、評価結果に従って選択信号を生成する画像評価部とを含む。
【解決手段】この画像処理装置は、異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、選択信号に従って、複数の画像の内の１つを表す画像データと合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、複数の画像の内の１つを表す画像データについて輝度レベルを評価し、評価結果に従って選択信号を生成する画像評価部とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交通事故に関する情報を記録するために自動車に設置されるドライブレコーダー等において用いられる画像処理装置及び画像処理方法に関し、さらに、そのような画像処理装置を搭載した電子機器等に関する。
【背景技術】
【０００２】
ドライブレコーダーは、自動車事故が発生した場合に、どの自動車の運転手に過失があったか等を立証するために用いられるので、明瞭な画像を記録する必要がある。しかしながら、例えば、ドライブレコーダーによってトンネルの出口付近を昼間に撮影した場合に、露光量が小さければ、トンネルの外の明るい被写体は明瞭に撮影されるが、トンネルの中の暗い被写体は黒くつぶれて撮影されてしまう（黒つぶれ）。一方、露光量が大きければ、トンネルの中の暗い被写体は明瞭に撮影されるが、トンネルの外の明るい被写体は白く飽和して撮影されてしまう（白とび）。
【０００３】
そこで、ドライブレコーダーにおいて、ハイダイナミックレンジ合成（ＨＤＲ：high dynamic range imaging）を用いることが考えられる。ハイダイナミックレンジ合成とは、露光量を変化させながら複数枚の画像を撮影し、それらを合成することによって、白とびや黒つぶれの少ない広大なダイナミックレンジを有する画像（ＨＤＲ画像）を生成する技法である（例えば、特許文献１を参照）。
【０００４】
ハイダイナミックレンジ合成によれば、自動車がトンネルの出口付近を走行する場合や逆光の場合に、白とびや黒つぶれの少ない画像を得ることができる。その一方で、被写体が瞬間的に大きく動いた場合には、露光量の異なる複数枚の画像を適切に合成できなくなり、不自然な画像となることがある。また、合成される複数枚の画像の輝度レベルが異なるので、合成の境目に擬似輪郭と呼ばれる虚像が出現する場合がある。さらに、合成によって画像のコントラストが低下し、ＨＤＲ画像よりも通常の画像の方が鮮明になる場合もある。
【０００５】
関連する技術として、特許文献２には、通常撮影モードで撮影を開始して、複数の領域毎の輝度積算値の平均値を算出し、明領域における明平均値と暗領域における暗平均値との差が所定値より小さい場合には通常撮影モードでの撮影を継続する一方、明平均値と暗平均値との差が所定値以上となった場合には撮影モードを合成撮影モードに切り替える撮像装置が開示されている。
【０００６】
しかしながら、特許文献２の発明をドライブレコーダーに適用した場合に、１つのフレームにおける輝度積算値に基づいて次のフレームにおける撮影モードを切り替えたのでは、不明瞭な画像が撮影された後に撮影モードが切り替えられることになるので、不明瞭な画像が記録されてしまう。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２６３３４５号公報（段落０００２−０００９）
【特許文献２】特開２００２−８４４４９号公報（段落００７７−００８０、図１３）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の幾つかの観点によれば、ドライブレコーダー等において被写体を撮影して画像信号を記録する際に、ハイダイナミックレンジ合成によって白とびや黒つぶれの少ない画像を得る一方、ハイダイナミックレンジ合成の欠点である画像の不自然さや擬似輪郭等を回避して、記録される画像の画質を改善することができる。
【課題を解決するための手段】
【０００９】
本発明の第１の観点に係る画像処理装置は、異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、選択信号に従って、複数の画像の内の１つを表す画像データと合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、複数の画像の内の１つを表す画像データについて、少なくとも１つの領域の少なくとも１つの画素における輝度レベルを評価し、評価結果に従って選択信号を生成する画像評価部とを具備する。
【００１０】
ここで、画像評価部が、複数の画像の内の１つを表す１フレーム分の画像データについて、全ての色成分の輝度レベルが飽和値である画素の数が少なくとも１つの領域において閾値以上である場合、及び／又は、全ての色成分の輝度レベルがゼロ値である画素の数が少なくとも１つの領域において閾値以上である場合に、合成画像データを選択するように選択信号を生成し、それ以外の場合に、複数の画像の内の１つを表す画像データを選択するように選択信号を生成しても良い。
【００１１】
本発明の第２の観点に係る画像処理装置は、異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、選択信号に従って、複数の画像の内の１つを表す画像データと合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、複数の画像データに基づいて、少なくとも１つの領域における撮影対象の相対的な動きを検出し、撮影対象が設定限度以上動いたと判定した場合に、複数の画像の内の１つを表す画像データを選択するように選択信号を生成し、撮影対象が設定限度以上動いていないと判定した場合に、合成画像データを選択するように選択信号を生成する動き検出部とを具備する。
【００１２】
本発明の第３の観点に係る画像処理装置は、撮像部を用いて異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、選択信号に従って、複数の画像の内の１つを表す画像データと合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、加速度を感知して感知信号を出力する加速度センサーと、加速度センサーから出力される感知信号に基づいて、撮像部が撮影時に設定限度以上振動したか否かを判定し、撮像部が設定限度以上振動したと判定した場合に、複数の画像の内の１つを表す画像データを選択するように選択信号を生成し、撮像部が設定限度以上振動していないと判定した場合に、合成画像データを選択するように選択信号を生成する動き判定部とを具備する。
【００１３】
以上において、ダイナミックレンジ拡張部が、合成画像データのビット数を、複数の画像の内の１つを表す画像データのビット数に一致させる処理を行うトーンマップ処理部を含むようにしても良い。
【００１４】
本発明の１つの観点に係る電子機器は、異なる露光量で撮影対象を撮影し、異なる露光量で撮影対象が撮影された複数の画像を表す画像信号を生成する撮像部と、撮像部によって生成される画像信号が供給される本発明のいずれかの観点に係る画像処理装置と、画像処理装置から出力される画像データを格納する画像データ格納部とを具備する。
【００１５】
また、本発明の第１の観点に係る画像処理方法は、異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得するステップ（ａ）と、複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するステップ（ｂ）と、複数の画像の内の１つを表す画像データについて、少なくとも１つの領域の少なくとも１つの画素における輝度レベルを評価し、評価結果に従って選択信号を生成するステップ（ｃ）と、選択信号に従って、複数の画像の内の１つを表す画像データと合成画像データとの内の一方を選択し、選択された画像データを出力するステップ（ｄ）とを具備する。
【発明の効果】
【００１６】
本発明によれば、撮影により得られる画像データの状態、又は、感知される加速度の大きさに従って、撮影により得られる複数の画像の内の１つを表す画像データと合成画像データとの内の一方を選択することにより、ハイダイナミックレンジ合成によって白とびや黒つぶれの少ない画像を得る一方、ハイダイナミックレンジ合成の欠点である画像の不自然さや擬似輪郭等を回避して、記録される画像の画質を改善することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る電子機器の構成例を示すブロック図。
【図２】ＣＣＤカメラが異なる露光時間で撮影対象を撮影する動作を説明する図。
【図３】異なる露光時間の画像においてオレンジ色を構成する色成分を示す図。
【図４】画像合成処理の第１の例を説明するための図。
【図５】合成画像データにおける元の画像データの混合割合の例を示す図。
【図６】ドライブレコーダーによって撮影された画像の例を示す図。
【図７】標準画像の評価のために領域を設定する例を説明するための図。
【図８】図１に示す画像処理装置において行われる画像処理方法の例を示す図。
【図９】本発明の第２の実施形態に係る電子機器の構成例を示すブロック図。
【図１０】動き検出の具体例を説明するための図。
【図１１】本発明の第３の実施形態に係る電子機器の構成例を示すブロック図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
図１は、本発明の第１の実施形態に係る電子機器の構成例を示すブロック図である。本発明の第１の実施形態によれば、交通事故に関する情報を記録するために自動車に設置されるドライブレコーダー等の電子機器を実現することができる。
【００１９】
図１に示すように、この電子機器は、ＣＣＤ（Charge Coupled Device）カメラ等によって構成される撮像部１０と、半導体集積回路等によって構成される画像処理装置２０と、ＳＤカード等の記録媒体を用いる画像データ格納部３０とを含んでいる。
【００２０】
撮像部１０は、異なる露光量で撮影対象（被写体）を撮影し、異なる露光量で撮影対象が撮影された複数の画像を表す画像信号を生成する。撮像部１０によって生成される画像信号は、画像処理装置２０に供給される。この画像信号は、ディジタル画像信号（画像データ）でも良いし、アナログ画像信号でも良い。画像処理装置２０に供給される画像信号がアナログ画像信号である場合には、画像処理装置２０が、アナログ画像信号をＡ／Ｄ（アナログ／ディジタル）変換して画像データを取得する。
【００２１】
画像処理装置２０は、取得した画像データに画像処理等を施すことにより、記録すべき画像データを生成して出力し、画像データ格納部３０に画像データを記録させる。画像データ格納部３０は、画像処理装置２０から出力される画像データをＳＤカード等の記録媒体に格納する。なお、ＳＤカードは、フラッシュメモリーに属する持ち運び可能な記録媒体である。
【００２２】
以下の実施形態においては、撮像部１０が、露光時間を変更することによって、異なる露光量で撮影対象が撮影された複数の画像を表す画像データＡ、Ｂ、Ｃを生成する場合について説明する。画像データＡによって表される画像の露光時間Ｔ１と、画像データＢによって表される画像の露光時間Ｔ２と、画像データＣによって表される画像の露光時間Ｔ３とは、Ｔ１＜Ｔ２＜Ｔ３の関係にあって、Ｔ１：Ｔ２：Ｔ３＝２：３：６であるものとする。
【００２３】
ここで、中間的な露光量が得られる露光時間Ｔ２を標準露光時間とし、標準露光時間で撮影された撮影対象の画像を標準画像とする。なお、４種類以上の露光量で撮影対象を撮影することにより４つ以上の画像を得る場合には、最小の露光量で撮影された画像及び最大の露光量で撮影された画像を除く画像の内から１つの画像を標準画像として選択すれば良い。また、各画像を表す画像データは、複数の色成分を含んでも良い。本実施形態においては、画像データが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色の色成分（例えば、各成分について８ビット）を含むものとする。
【００２４】
以下の実施形態においては、撮像部の例として、ＣＣＤカメラについて説明する。図２は、ＣＣＤカメラが異なる露光時間で撮影対象を撮影する動作を説明するための図である。ＣＣＤカメラに搭載されるＣＣＤ１０１ａを含むセンサセルアレイ１０１の露光領域には、ＣＣＤ１０１ａに蓄積された電荷を読み出すために３つの読出しラインＬ１、Ｌ２、Ｌ３が設けられている。ＣＣＤ１０１ａは、図中に示すスキャン方向に繰り返しスキャンされて、ＣＣＤ１０１ａに蓄積された電荷が読み出される。
【００２５】
読出しラインＬ１は、最も多くのＣＣＤ１０１ａに蓄積された電荷を読み出すと共に、ＣＣＤ１０１ａをリセットするために用いられる読出しラインである。リセットを伴う読出しは、破壊読出しとも呼ばれている。読出しラインＬ１から読み出された電荷は、図示しないＡＦＥ（Analog Front End）を介してＡ／Ｄ変換部に入力され、画像データに変換される。読出しラインＬ１から読み出された電荷に基づく画像データは、露光時間が最も長い画像を表す画像データＣとなる。
【００２６】
読出しラインＬ２から読み出された画像データは、標準露光時間による画像（標準画像）を表す画像データ（標準画像データ）Ｂとなる。また、読出しラインＬ３は、最も少ないＣＣＤ１０１ａに蓄積された電荷を読み出すために用いられる読出しラインである。読出しラインＬ３から読み出された画像データは、露光時間が最も短い画像を表す画像データＡとなる。なお、読出しラインＬ２、Ｌ３からの読出しは、いずれもリセットを伴わない非破壊読出しである。
【００２７】
１回の撮影において、読出しラインＬ３からの非破壊読出しと、読出しラインＬ２からの非破壊読出しと、読出しラインＬ１からの破壊読出しとは、それぞれ独立に実行される。このような読出しタイミングの制御は、電子シャッター機能によって実現される。ただし、本発明は、このような構成に限定されるものではなく、撮像部の絞りを制御して露光量を変更するようにしても良い。
【００２８】
再び図１を参照すると、画像処理装置２０は、画像データ取得部２１と、ダイナミックレンジ拡張部２２と、画像選択部（ＳＷ２）２３と、標準画像評価部２４とを含んでいる。画像データ取得部２１は、画像切換部（ＳＷ１）２１１と、複数のメモリー２１２ａ、２１２ｂ、２１２ｃとを含み、撮像部１０を用いて異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データＡ、Ｂ、Ｃを取得する。
【００２９】
画像切換部２１１は、撮像部１０から順次供給される画像データＡ、Ｂ、Ｃを、メモリー２１２ａ、２１２ｂ、２１２ｃにそれぞれ振り分ける。これにより、メモリー２１２ａは画像データＡを蓄積し、メモリー２１２ｂは画像データＢを蓄積し、メモリー２１２ｃは画像データＣを蓄積する。
【００３０】
ダイナミックレンジ拡張部２２は、正規化部２２１と、画像信頼性評価部２２２と、画像合成部２２３と、トーンマップ処理部２２４とを含み、画像データ取得部２１によって取得された複数の画像を表す画像データＡ、Ｂ、Ｃを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データＤを生成する。
【００３１】
正規化部２２１は、メモリー２１２ａ、２１２ｂ、２１２ｃにそれぞれ蓄積された画像データＡ、Ｂ、Ｃを読み出して正規化する。これと並行して、画像信頼性評価部２２２は、メモリー２１２ａ、２１２ｂ、２１２ｃにそれぞれ蓄積された画像データＡ、Ｂ、Ｃの信頼性を評価して、信頼性の評価結果を画像合成部２２３に供給する。
【００３２】
画像合成部２２３は、画像信頼性評価部２２２から供給される信頼性の評価結果に基づいて、正規化部２２１によって正規化された画像データＡ、Ｂ、Ｃをハイダイナミックレンジ合成することにより、ダイナミックレンジが拡張された画像を表す合成画像データＤを生成する。
【００３３】
トーンマップ処理部２２４は、画像合成部２２３から出力されるダイナミックレンジが拡張された画像を表す合成画像データＤのビット数を、画像データ取得部２１によって取得された画像データのビット数（例えば、Ｒ、Ｇ、Ｂ成分の各々について８ビット）に一致させるトーンマップ処理を行う。
【００３４】
画像選択部２３は、選択信号に従って、画像データ取得部２１によって取得された複数の画像の内の１つを表す画像データ（ここでは、標準画像データＢ）と、ダイナミックレンジ拡張部２２によって生成された合成画像データＤとの内の一方を選択し、選択された画像データを出力する。画像選択部２３から出力される画像データは、画像データ格納部３０によって記録媒体に格納される。
【００３５】
標準画像評価部２４は、画像データ取得部２１によって取得された複数の画像の内の１つを表す画像データ（ここでは、標準画像データＢ）について、少なくとも１つの領域の少なくとも１つの画素における輝度レベルを評価し、評価結果に従って選択信号を生成することにより、画像選択部２３を制御する。
【００３６】
即ち、ハイダイナミックレンジ合成によれば、自動車がトンネルの出口付近を走行する場合や逆光の場合に、白とびや黒つぶれの少ない画像を得ることができるが、その一方で、画像の不自然さ、擬似輪郭、コントラストの低下等を招く場合がある。また、ドライブレコーダーに要求される画像として、多くの場合には、標準露光で撮影された画像で十分である。そこで、標準画像評価部２４は、標準画像データＢの輝度レベルを評価することにより、標準画像データＢを記録すべきか合成画像データＤを記録すべきかの判断を行っている。
【００３７】
次に、本発明の第１の実施形態に係る電子機器の動作例について詳しく説明する。
まず、図１に示す正規化部２２１において行われる正規化処理の例について説明する。以下の式において、「ｘ、ｙ」は画素の座標を表し、「Ｒ」はＲ成分を表す。正規化部２２１に入力される正規化前の画像データＡ、Ｂ、ＣのＲ成分の輝度レベルを、それぞれ、Ａ_T1（ｘ、ｙ、Ｒ）、Ｂ_T2（ｘ、ｙ、Ｒ）、Ｃ_T3（ｘ、ｙ、Ｒ）とする。また、正規化部２２１によって正規化された画像データＡ、Ｂ、Ｃの輝度レベルを、それぞれ、Ａ_NT3（ｘ、ｙ、Ｒ）、Ｂ_NT3（ｘ、ｙ、Ｒ）、Ｃ_NT3（ｘ、ｙ、Ｒ）とする。正規化における両者の関係は、次式で表される。
【００３８】
Ａ_NT3（ｘ、ｙ、Ｒ）＝Ａ_T1（ｘ、ｙ、Ｒ）×（Ｔ３／Ｔ１）
Ｂ_NT3（ｘ、ｙ、Ｒ）＝Ｂ_T2（ｘ、ｙ、Ｒ）×（Ｔ３／Ｔ２）
Ｃ_NT3（ｘ、ｙ、Ｒ）＝Ｃ_T3（ｘ、ｙ、Ｒ）
これらの式は、画像データのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様に成立する。
【００３９】
次に、図１に示す画像信頼性評価部２２２によって行われる画像データの信頼性評価の第１の例について説明する。図３は、異なる露光時間で同一の撮影対象を撮影することにより得られた画像においてオレンジ色を構成するＲ、Ｇ、Ｂ成分の輝度レベルを示している。図３において、横軸は、Ｒ、Ｇ、Ｂ成分を区別しており、縦軸は、各成分の輝度レベルを表している。また、図３（Ａ）は、最も短い露光時間Ｔ１で撮影された画像を表す画像データＡの輝度レベルを示し、図３（Ｂ）は、標準露光時間Ｔ２で撮影された画像を表す画像データＢの輝度レベルを示し、図３（Ｃ）は、最も長い露光時間Ｔ３で撮影された画像を表す画像データＣの輝度レベルを示している。
【００４０】
画像信頼性評価部２２２は、輝度レベルに基づいて画像データの信頼性を評価することにより、信頼性の評価結果を表す値である信頼度を求める。本実施形態においては、輝度レベルが大きければＳ／Ｎ比が高くなることから、より大きい輝度レベルに、より高い信頼度を付与している。ただし、輝度レベルが高過ぎて最大値２５５に達している（飽和している）場合には、元の画像の正確な輝度レベルが得られない。従って、最大値２５５よりもやや低い輝度レベル（例えば、２２４）に、信頼度の最高値を付与するようにしている。
【００４１】
このような信頼度の付与は、予め設定されている式に輝度レベルを代入するか、あるいは、輝度レベルに基づいてＬＵＴ（Look Up Table）を参照することによって実現される。以下に、画像データＡ_T1（ｘ、ｙ、Ｒ）の輝度レベルが２２４を超えた場合に信頼度Ｅ_T1（ｘ、ｙ、Ｒ）を算出するための式を例示する。
【００４２】
ｉｆ Ａ_T1（ｘ、ｙ、Ｒ）＞２２４
ｔｈｅｎ Ｅ_T1（ｘ、ｙ、Ｒ）＝（２５５−Ａ_T1（ｘ、ｙ、Ｒ））／３１
ｅｌｓｅ Ｅ_T1（ｘ、ｙ、Ｒ）＝Ａ_T1（ｘ、ｙ、Ｒ））／２２４
これらの式は、画像データのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様に成立する。
【００４３】
上式中の数字「３１」は、輝度レベルの最大値２５５と信頼度が最高値となる輝度レベル２２４との差である。輝度レベルの最大値２５５と輝度レベル２２４との差によって、輝度レベルの最大値２５５と画像データＡ_T1（ｘ、ｙ、Ｒ）の輝度レベルとの差を除算することにより、画像データＡ_T1（ｘ、ｙ、Ｒ）の輝度レベルが飽和に近くなると信頼度を低下させることができる。
【００４４】
画像信頼性評価部２２２は、以上述べた信頼性の評価を実行し、算出された信頼度を画像合成部２２３に出力する。なお、信頼度を算出する式は、上記のような形式に限定されるものではなく、出力特性やノイズ特性を考慮して輝度レベルの信頼性の指標となるものであれば、どのような形式のものであっても良い。また、信頼性の評価は、信頼度を用いることに限定されるものではなく、最も高い信頼性を有する画像データを特定する信号を出力するようにしても良い。
【００４５】
上式に従って、図３（Ａ）〜（Ｃ）に示す輝度レベルを評価すると、Ｒ成分については、図３（Ａ）に示す画像データＡのＲ成分Ｒ１が、図３（Ｂ）に示す画像データＢのＲ成分Ｒ２や図３（Ｃ）に示す画像データＣのＲ成分Ｒ３よりも高い信頼度を得る。また、Ｇ成分については、図３（Ｂ）に示す画像データＢのＧ成分Ｇ２が、図３（Ａ）に示す画像データＡのＧ成分Ｇ１や図３（Ｃ）に示す画像データＣのＧ成分Ｇ３よりも高い信頼度を得る。さらに、Ｂ成分については、図３（Ｃ）に示す画像データＣのＢ成分Ｂ３が、図３（Ａ）に示す画像データＡのＧ成分Ｂ１や図３（Ｂ）に示す画像データＢのＧ成分Ｂ２よりも高い信頼度を得ることになる。
【００４６】
次に、図１に示す画像合成部２２３によって行われる画像合成処理の第１の例について説明する。画像合成部２２３は、Ｒ、Ｇ、Ｂ成分の各々について、画像データＡ、Ｂ、Ｃの内で信頼度が最も高い画像データを選択する。そして、選択された画像データのＲ、Ｇ、Ｂ成分を合成することにより、オレンジ色を表示する合成画像データＤを生成する。
【００４７】
図４は、画像合成処理の第１の例を説明するための図である。図４（Ａ）、図４（Ｂ）、図４（Ｃ）は、図１に示す正規化部２２１によって正規化された画像データＡ、Ｂ、Ｃの各色成分の輝度レベルをそれぞれ示しており、図４（Ｄ）は、図１に示す画像合成部２２３によって合成された合成画像データＤの各色成分の輝度レベルを示している。
【００４８】
画像合成部２２３は、図４（Ａ）に示す画像データＡのＲ成分Ｒ１と、図４（Ｂ）に示す画像データＢのＧ成分Ｇ２と、図４（Ｃ）に示す画像データＣのＢ成分Ｂ３とを選択して合成することにより、図４（Ｄ）に示す合成画像データＤを生成する。この合成画像データＤは、図３（Ａ）に示す輝度レベルが飽和していない短時間露光のＲ成分Ｒ１と、図３（Ｂ）に示す輝度レベルが適切な標準露光のＧ成分Ｇ２と、図３（Ｃ）に示す輝度レベルが改善された長時間露光のＢ成分Ｂ３とに基づいて生成されるので、図３（Ｂ）に示す標準露光の画像データＢと比較してダイナミックレンジが拡張されている。
【００４９】
ただし、図４（Ｄ）に示す合成画像データＤにおいては、正規化によって、輝度レベルの最大値が２５５を超えている。そこで、図１に示すトーンマップ処理部２２４は、画像合成部２２３から出力される合成画像データＤのビット数を、画像データ取得部２１によって取得された画像データのビット数（ここでは、Ｒ、Ｇ、Ｂ成分の各々について８ビット）に一致させるトーンマップ処理を行う。このトーンマップ処理は、例えば、合成画像データＤの各色成分の輝度レベルに（Ｔ１／Ｔ３）を掛けることによって行われる。
【００５０】
次に、画像データの信頼性評価及び画像合成処理の第２の例について説明する。第２の例においては、画像合成部２２３が、露光量が異なる複数の画像データＡ、Ｂ、Ｃの同一の色成分を混合することにより、合成画像データＤを生成する。そのために、画像信頼性評価部２２２は、信頼性評価結果として、複数の画像データＡ、Ｂ、Ｃの各色成分の混合割合（重み付け係数）を算出して画像合成部２２３に供給する。画像合成部２２３は、供給された混合割合に従って、複数の画像データＡ、Ｂ、Ｃの同一の色成分を混合する。
【００５１】
このような混合の結果、画像データＡのＲ成分Ｒ１と画像データＢのＲ成分Ｒ２と画像データＣのＲ成分Ｒ３とが混合されて、合成画像データＤのＲ成分が生成される。同様に、画像データＡのＧ成分Ｇ１と画像データＢのＧ成分Ｇ２と画像データＣのＧ成分Ｇ３とが混合されて、合成画像データＤのＧ成分が生成される。また、画像データＡのＢ成分Ｂ１と画像データＢのＢ成分Ｂ２と画像データＣのＢ成分Ｂ３とが混合されて、合成画像データＤのＢ成分が生成される。混合されたＲ、Ｇ、Ｂ成分によって、合成画像データＤが構成される。
【００５２】
画像信頼性評価部２２２は、次のようにして、複数の画像データＡ、Ｂ、Ｃの各色成分の重み付け係数を決定しても良い。ここで、重み付け係数とは、画像データＡ、Ｂ、Ｃの混合割合を示すものであって、重み付け係数が大きいほど混合割合が大きいものとする。画像データＡのＲ成分の重み付け係数Ｗ＿T1（ｘ、ｙ、Ｒ）は、例えば、信頼度に基づいて、次式によって算出される。
【００５３】
Ｗ＿T1（ｘ、ｙ、Ｒ）＝Ｅ＿T1（ｘ、ｙ、Ｒ）／Ｅsum
Ｗ＿T2（ｘ、ｙ、Ｒ）＝Ｅ＿T2（ｘ、ｙ、Ｒ）／Ｅsum
Ｗ＿T3（ｘ、ｙ、Ｒ）＝Ｅ＿T3（ｘ、ｙ、Ｒ）／Ｅsum
ただし、Ｅsum＝Ｅ＿T1（ｘ、ｙ、Ｒ）＋Ｅ＿T2（ｘ、ｙ、Ｒ）＋Ｅ＿T3（ｘ、ｙ、Ｒ）である。これらの式は、画像データＡ、Ｂ、ＣのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様に成立する。
【００５４】
画像信頼性評価部２２２によって算出された重み付け係数は、画像合成部２２３に供給される。画像合成部２２３は、それらの重み付け係数を画像データＡ、Ｂ、Ｃのそれぞれの色成分に乗算し、乗算後の輝度レベルを色成分毎に加算して、合成画像データＤを生成する。
【００５５】
Ｄ（ｘ、ｙ、Ｒ）＝Ｗ＿T1（ｘ、ｙ、Ｒ）×Ａ_NT3（ｘ、ｙ、Ｒ）
＋Ｗ＿T2（ｘ、ｙ、Ｒ）×Ｂ_NT3（ｘ、ｙ、Ｒ）
＋Ｗ＿T3（ｘ、ｙ、Ｒ）×Ｃ_NT3（ｘ、ｙ、Ｒ）
これらの式は、画像データＡ、Ｂ、Ｃ、ＤのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様に成立する。
【００５６】
図５は、合成画像データにおける元の画像データの混合割合の例を示す図である。この例においては、合成画像データＤのＲ、Ｇ、Ｂ成分が、全ての画像データＡ、Ｂ、ＣのＲ、Ｇ、Ｂ成分をそれぞれ含んでいるが、信頼性の最も低い画像データの色成分の重み付け係数をゼロに設定することにより、信頼性の最も低い画像データの色成分を排除しても良い。
【００５７】
以上述べたダイナミックレンジ拡張処理によれば、異なる露光量で撮影対象を撮影することにより得られる複数の画像データの信頼性を、画像データの色成分毎に評価することができる。また、評価された信頼性に基づいて、それらの画像データの色成分の内から信頼性の高い色成分を採用し、採用された色成分を合成して合成画像データを生成することができる。
【００５８】
図６は、本発明が適用されるドライブレコーダーによって撮影された画像の例を示す図である。図６には、露光時間を３段階に変えてトンネルの出口付近を撮影して得られた画像、及び、それらの画像を合成して得られた合成画像が示されている。
【００５９】
図６（Ａ）は、短時間露光の画像を示している。短時間露光の場合には、トンネルの外の被写体は明瞭に撮影されるが、トンネルの中の被写体は黒つぶれによって不明瞭となる。一方、図６（Ｃ）は、長時間露光の画像を示している。長時間露光の場合には、トンネルの中の被写体は明瞭に撮影されるが、トンネルの外の被写体は白とびによって不明瞭となる。図６（Ｂ）は、標準露光の画像を示している。標準露光の場合には、トンネルの中の一部において黒つぶれが発生し、トンネルの外の一部において白とびが発生する。
【００６０】
図６（Ｄ）は、図６（Ａ）〜（Ｃ）に示す画像を合成して得られた合成画像を示している。図６（Ａ）〜（Ｃ）に示す画像から、輝度が適切な領域（画素）の画像を切り出して合成することにより、黒つぶれや白とびのない１枚（１フレーム）の画像を得ることができる。
【００６１】
次に、図１に示す標準画像評価部２４によって行われる標準画像の評価の例について説明する。標準画像評価部２４は、画像データ取得部２１によって取得された１フレーム分の標準画像データＢについて、全ての色成分Ｒ、Ｇ、Ｂの輝度レベルが飽和値である画素の数が少なくとも１つの領域において閾値以上である場合、及び／又は、全ての色成分Ｒ、Ｇ、Ｂの輝度レベルがゼロ値である画素の数が少なくとも１つの領域において閾値以上である場合に、合成画像データＤを選択するように選択信号を生成し、それ以外の場合に、標準画像データＢを選択するように選択信号を生成する。
【００６２】
このような評価は、フレーム毎に行われる。なお、上記の「少なくとも１つの領域」は、撮影された１枚の標準画像の一部の領域でも良いし、撮影された１枚の標準画像の全領域でも良い。また、上記の「閾値」は、「１」又は「２」以上でも良いし、少なくとも１つの領域における全画素数でも良い。
【００６３】
例えば、標準画像評価部２４は、１フレーム分の標準画像データＢについて、領域Ｘ１において少なくともＮ１個（Ｎ１は自然数）の画素の色成分Ｒ、Ｇ、Ｂの輝度レベルが飽和値に達している場合（条件１）に、標準画像に白とびが発生するので合成画像データＤを選択し、それ以外の場合には、標準画像データＢを選択しても良い。
【００６４】
あるいは、標準画像評価部２４は、１フレーム分の標準画像データＢについて、領域Ｘ２において少なくともＮ２個（Ｎ２は自然数）の画素の色成分Ｒ、Ｇ、Ｂの輝度レベルがゼロ値である場合（条件２）に、標準画像に黒つぶれが発生するので合成画像データＤを選択し、それ以外の場合には、標準画像データＢを選択しても良い。
【００６５】
あるいは、標準画像評価部２４は、条件１と条件２との内の一方又は両方を満たした場合に、合成画像データＤを選択し、それ以外の場合には、標準画像データＢを選択するようにしても良い。その場合に、領域Ｘ１と領域Ｘ２とは、等しくても良いし、異なっても良く、閾値Ｎ１と閾値Ｎ２とは、等しくても良いし、異なっても良い。
【００６６】
図７は、標準画像の評価のために領域を設定する例を説明するための図である。この例においては、図７（Ａ）に示すような１枚の標準画像を１２分割することにより、図７（Ｂ）に示す領域（１）〜（１２）において標準画像の各色成分の輝度レベルが評価される。
【００６７】
図１に示す標準画像評価部２４は、領域（１）〜（１２）の内の少なくとも１つの領域において、全ての色成分Ｒ、Ｇ、Ｂの輝度レベルが飽和値である画素の数が閾値以上である場合、及び／又は、全ての色成分Ｒ、Ｇ、Ｂの輝度レベルがゼロ値である画素の数が閾値以上である場合に、合成画像データＤを選択するように選択信号を生成し、それ以外の場合に、標準画像データＢを選択するように選択信号を生成しても良い。
【００６８】
例えば、標準画像評価部２４は、領域（１）〜（１２）の内の何れか１つの領域において、全画素の色成分Ｒ、Ｇ、Ｂの輝度レベルが飽和値である場合、及び／又は、全画素の色成分Ｒ、Ｇ、Ｂの輝度レベルがゼロ値である場合に、合成画像データＤを選択するように選択信号を生成し、それ以外の場合に、標準画像データＢを選択するように選択信号を生成する。
【００６９】
これによって、画素単位で白とび又は黒つぶれを評価する際の誤評価を回避することができる。誤評価の原因としては、撮像部１０の欠陥画素により、輝度レベルが常に飽和値又はゼロ値になる場合等が考えられる。また、１枚の標準画像における全ての画素について評価を行わなくても良い。例えば、図７（Ｂ）に示す領域（１）〜（１２）の内の幾つかの領域について評価を行っても良いし、１つの領域内の幾つかの画素について評価を行っても良い。
【００７０】
次に、本発明の第１の実施形態に係る画像処理方法について、図１及び図８を参照しながら説明する。図８は、図１に示す画像処理装置において行われる画像処理方法の例を示すフローチャートである。なお、図１に示すダイナミックレンジ拡張部２２〜標準画像評価部２４の機能は、コンピューターが行うことも可能である。その場合に、それらのステップは、中央演算装置（ＣＰＵ）と、ＣＰＵに各種の処理を行わせるためのソフトウェア（画像処理プログラム）とによって実現される。
【００７１】
図８に示すステップＳ１において、画像データ取得部２１が、異なる露光量で撮影対象を撮影することにより得られる１組の画像を表す画像データＡ、Ｂ、Ｃを取得する。画像データＡ、Ｂ、Ｃは、メモリー２１２ａ、２１２ｂ、２１２ｃにそれぞれ蓄積される。
【００７２】
ステップＳ２〜Ｓ５において、ダイナミックレンジ拡張部２２が、１組の画像を表す画像データＡ、Ｂ、Ｃを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データＤを生成する。
【００７３】
具体的には、ステップＳ２において、正規化部２２１が、メモリー２１２ａ、２１２ｂ、２１２ｃからそれぞれ読み出された画像データＡ、Ｂ、Ｃの各色成分を正規化する。ステップＳ２と並行して、ステップＳ３において、画像信頼性評価部２２２が、画像データＡ、Ｂ、Ｃの各色成分の信頼性を評価する。
【００７４】
ステップＳ２及びＳ３が終了すると、ステップＳ４において、画像合成部２２３が、Ｒ、Ｇ、Ｂの各色成分について、正規化された画像データＡ、Ｂ、Ｃの内から最も高い信頼性の評価結果を得た画像データを選択することにより、画像データＡ、Ｂ、Ｃを合成して合成画像データＤを生成する。ステップＳ５において、トーンマップ処理部２２４が、合成画像データＤのビット数を、標準画像データＢのビット数に一致させる。
【００７５】
ステップＳ２〜Ｓ５と並行して、ステップＳ６において、標準画像評価部２４が、標準画像データＢについて、少なくとも１つの領域の少なくとも１つの画素における輝度レベルを評価し、評価結果に従って選択信号を生成する。
【００７６】
ステップＳ５及びＳ６が終了すると、ステップＳ７において、画像選択部２３が、選択信号に従って、標準画像データＢと合成画像データＤとの内の一方を選択し、選択された画像データを出力する。画像選択部２３から出力された画像データは、画像データ格納部３０によって記録される。
【００７７】
ステップＳ７が終了すると、処理がステップＳ１に戻って、画像データ取得部２１が、次の１組の画像を表す画像データＡ、Ｂ、Ｃを取得する。取得すべき画像データが存在しない場合には、処理が完了する。
【００７８】
第１の実施形態によれば、標準画像において白とびや黒つぶれが発生しない場合には、標準画像を選択することにより、画像の不自然さや擬似輪郭のない標準画像が記録されることになる。一方、標準画像において白とびや黒つぶれが発生した場合には、合成画像を選択することにより、白とびや黒つぶれのない合成画像が記録されることになる。
【００７９】
次に、本発明の第２の実施形態について説明する。第２の実施形態においては、撮影対象（被写体）が瞬間的に大きく動いた場合（例えば、自動車の速度が一定値以上になった場合）には、標準画像が記録され、それ以外の場合には、合成画像が記録される。
【００８０】
図９は、本発明の第２の実施形態に係る電子機器の構成例を示すブロック図である。第２の実施形態は、図１に示す第１の実施形態における標準画像評価部２４の替わりに動き検出部２５が設けられている点で第１の実施形態と異なっており、その他の点に関しては第１の実施形態と同様である。
【００８１】
動き検出部２５は、異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データＡ、Ｂ、Ｃに基づいて、少なくとも１つの領域における撮影対象の相対的な動きを検出する。さらに、動き検出部２５は、撮影対象が設定限度以上動いたと判定した場合に、標準画像データＢを選択するように選択信号を生成し、撮影対象が設定限度以上動いていないと判定した場合に、合成画像データＤを選択するように選択信号を生成する。
【００８２】
画像選択部２３は、選択信号に従って、標準画像データＢと合成画像データＤとの内の一方を選択し、選択された画像データを出力する。画像選択部２３から出力された画像データは、画像データ格納部３０によって記録される。
【００８３】
動き検出部２５における動き検出は、露光量の異なる複数の画像を表す画像データ、即ち、短時間露光によって得られた画像データＡと、標準露光によって得られた標準画像データＢと、長時間露光によって得られた画像データＣとの内の２つ以上の画像データにおける色成分Ｒ、Ｇ、Ｂの輝度レベルの関係に基づいて行うようにしても良い。
【００８４】
図１０は、動き検出の具体例を説明するための図である。例えば、標準露光によって得られた標準画像データＢにおけるある位置の画素の色成分Ｒ２、Ｇ２、Ｂ２の輝度レベルＶ（Ｒ２）、Ｖ（Ｇ２）、Ｖ（Ｂ２）の関係がＶ（Ｒ２）＞Ｖ（Ｇ２）＞Ｖ（Ｂ２）である場合に、長時間露光によって得られた画像データＣにおける同じ位置の画素の色成分Ｒ３、Ｇ３、Ｂ３の輝度レベルＶ（Ｒ３）、Ｖ（Ｇ３）、Ｖ（Ｂ３）の関係がＶ（Ｇ３）＞Ｖ（Ｒ３）＞Ｖ（Ｂ３）のように変化したとすれば、撮影対象が瞬間的に大きく動いた可能性が高い。一方、画像データＣにおける同じ位置の画素の色成分Ｒ３、Ｇ３、Ｂ３の輝度レベルＶ（Ｒ３）、Ｖ（Ｇ３）、Ｖ（Ｂ３）の関係がＶ（Ｒ３）＞Ｖ（Ｇ３）＞Ｖ（Ｂ３）のままで変化しなかったとすれば、撮影対象が瞬間的に大きく動いていない可能性が高い。
【００８５】
露光量の異なる複数の画像を表す画像データにおける色成分Ｒ、Ｇ、Ｂの輝度レベルの関係の比較は、１フレームの画像の１つ又は複数の特定の画素に対して行っても良いし、１フレームの画像の全画素に対して行っても良い。例えば、比較対象の画素の内で色成分Ｒ、Ｇ、Ｂの輝度レベルの関係が変化した画素の数が閾値以上である場合に、動き検出部２５は、撮影対象が設定限度以上動いたと判定する。一方、比較対象の画素の内で色成分Ｒ、Ｇ、Ｂの輝度レベルの関係が変化した画素の数が閾値未満である場合に、動き検出部２５は、撮影対象が設定限度以上動いていないと判定する。なお、上記「閾値」は、「１」でも良いし、「２」以上でも良い。
【００８６】
また、露光量の異なる複数の画像を表す画像データにおける色成分Ｒ、Ｇ、Ｂの輝度レベルの関係の比較は、画素ではなく、所定の大きさを有する領域に対して行っても良い。例えば、図７（Ｂ）に示す領域（１）〜（１２）において、短時間露光によって得られた画像データＡの色成分Ｒ１、Ｇ１、Ｂ１の輝度レベルの領域内平均値Ｖａ（Ｒ１）、Ｖａ（Ｇ１）、Ｖａ（Ｂ１）の関係がＶａ（Ｒ１）＞Ｖａ（Ｇ１）＞Ｖａ（Ｂ１）である場合に、標準露光によって得られた標準画像データＢの色成分Ｒ２、Ｇ２、Ｂ２の輝度レベルの領域内平均値Ｖａ（Ｒ２）、Ｖａ（Ｇ２）、Ｖａ（Ｂ２）の関係がＶａ（Ｒ２）＞Ｖａ（Ｇ２）＞Ｖａ（Ｂ２）であり、長時間露光によって得られた画像データＣの色成分Ｒ３、Ｇ３、Ｂ３の輝度レベルの領域内平均値Ｖａ（Ｒ３）、Ｖａ（Ｇ３）、Ｖａ（Ｂ３）の関係がＶａ（Ｒ３）＞Ｖａ（Ｇ３）＞Ｖａ（Ｂ３）であれば、動き検出部２５は、撮影対象が設定限度以上動いていないと判定する。一方、図７（Ｂ）に示す領域（１）〜（１２）のいずれかにおいて、画像データＡ、Ｂ、Ｃの間で色成分Ｒ、Ｇ、Ｂの輝度レベルの領域内平均値の関係が異なっていれば、動き検出部２５は、撮影対象が設定限度以上動いたと判定する。
【００８７】
これによって、画素単位で撮影対象の動きを判定する際の誤判定を回避することができる。また、１枚の画像における全ての画素について比較を行わなくても良い。たとえば、図７（Ｂ）に示す領域（１）〜（１２）の内の幾つかの領域について評価を行っても良いし、１つの領域内の幾つかの画素について評価を行っても良い。
【００８８】
第２の実施形態によれば、撮影対象が瞬間的に大きく動いていない場合には、合成画像を選択することにより、白とびや黒つぶれのない合成画像が記録されることになる。一方、撮影対象が瞬間的に大きく動いている場合には、標準画像を選択することにより、画像の不自然さや擬似輪郭のない標準画像が記録されることになる。
【００８９】
次に、本発明の第３の実施形態について説明する。第３の実施形態においては、例えば、自動車が走行する路面の状態が悪く、撮像部１０が大きく振動して撮影対象（被写体）が瞬間的に大きくぶれた場合には、標準画像が記録され、それ以外の場合には、合成画像が記録される。
【００９０】
図１１は、本発明の第３の実施形態に係る電子機器の構成例を示すブロック図である。第３の実施形態は、図９に示す第２の実施形態における動き検出部２５の替わりに加速度センサー２６及び動き判定部２７が設けられている点で第２の実施形態と異なっており、その他の点に関しては第２の実施形態と同様である。
【００９１】
加速度センサー２６は、例えば、撮像部１０が設けられた自動車の車内に搭載されており、撮像部１０に印加される加速度を感知して感知信号を出力する。動き判定部２７は、加速度センサー２６から出力される感知信号に基づいて、撮像部１０が撮影時に設定限度以上振動したか否かを判定する。
【００９２】
例えば、動き判定部２７は、撮影期間において感知信号の振幅が閾値以上となった場合に、撮像部１０が設定限度以上振動したと判定し、撮影期間において感知信号の振幅が閾値未満である場合に、撮像部１０が設定限度以上振動していないと判定する。
【００９３】
さらに、動き判定部２７は、撮像部１０が設定限度以上振動したと判定した場合に、標準画像データＢを選択するように選択信号を生成し、撮像部１０が設定限度以上振動していないと判定した場合に、合成画像データＤを選択するように選択信号を生成する。
【００９４】
画像選択部２３は、選択信号に従って、標準画像データＢと合成画像データＤとの内の一方を選択し、選択された画像データを出力する。画像選択部２３から出力された画像データは、画像データ格納部３０によって記録される。
【００９５】
第３の実施形態によれば、撮像部１０が大きく振動していない場合には、合成画像を選択することにより、白とびや黒つぶれのない合成画像が記録されることになる。一方、撮像部１０が大きく振動している場合には、標準画像を選択することにより、画像の不自然さや擬似輪郭のない標準画像が記録されることになる。
【符号の説明】
【００９６】
１０…撮像部、１０１…センサセルアレイ、１０１ａ…ＣＣＤ、２０…画像処理装置、２１…画像データ取得部、２１１…画像切換部、２１２ａ〜２１２ｃ…メモリー、２２…ダイナミックレンジ拡張部、２２１…正規化部、２２２…画像信頼性評価部、２２３…画像合成部、２２４…トーンマップ処理部、２３…画像選択部、２４…標準画像評価部、２５…動き検出部、２６…加速度センサー、２７…動き判定部、３０…画像データ格納部
【技術分野】
【０００１】
本発明は、交通事故に関する情報を記録するために自動車に設置されるドライブレコーダー等において用いられる画像処理装置及び画像処理方法に関し、さらに、そのような画像処理装置を搭載した電子機器等に関する。
【背景技術】
【０００２】
ドライブレコーダーは、自動車事故が発生した場合に、どの自動車の運転手に過失があったか等を立証するために用いられるので、明瞭な画像を記録する必要がある。しかしながら、例えば、ドライブレコーダーによってトンネルの出口付近を昼間に撮影した場合に、露光量が小さければ、トンネルの外の明るい被写体は明瞭に撮影されるが、トンネルの中の暗い被写体は黒くつぶれて撮影されてしまう（黒つぶれ）。一方、露光量が大きければ、トンネルの中の暗い被写体は明瞭に撮影されるが、トンネルの外の明るい被写体は白く飽和して撮影されてしまう（白とび）。
【０００３】
そこで、ドライブレコーダーにおいて、ハイダイナミックレンジ合成（ＨＤＲ：high dynamic range imaging）を用いることが考えられる。ハイダイナミックレンジ合成とは、露光量を変化させながら複数枚の画像を撮影し、それらを合成することによって、白とびや黒つぶれの少ない広大なダイナミックレンジを有する画像（ＨＤＲ画像）を生成する技法である（例えば、特許文献１を参照）。
【０００４】
ハイダイナミックレンジ合成によれば、自動車がトンネルの出口付近を走行する場合や逆光の場合に、白とびや黒つぶれの少ない画像を得ることができる。その一方で、被写体が瞬間的に大きく動いた場合には、露光量の異なる複数枚の画像を適切に合成できなくなり、不自然な画像となることがある。また、合成される複数枚の画像の輝度レベルが異なるので、合成の境目に擬似輪郭と呼ばれる虚像が出現する場合がある。さらに、合成によって画像のコントラストが低下し、ＨＤＲ画像よりも通常の画像の方が鮮明になる場合もある。
【０００５】
関連する技術として、特許文献２には、通常撮影モードで撮影を開始して、複数の領域毎の輝度積算値の平均値を算出し、明領域における明平均値と暗領域における暗平均値との差が所定値より小さい場合には通常撮影モードでの撮影を継続する一方、明平均値と暗平均値との差が所定値以上となった場合には撮影モードを合成撮影モードに切り替える撮像装置が開示されている。
【０００６】
しかしながら、特許文献２の発明をドライブレコーダーに適用した場合に、１つのフレームにおける輝度積算値に基づいて次のフレームにおける撮影モードを切り替えたのでは、不明瞭な画像が撮影された後に撮影モードが切り替えられることになるので、不明瞭な画像が記録されてしまう。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２６３３４５号公報（段落０００２−０００９）
【特許文献２】特開２００２−８４４４９号公報（段落００７７−００８０、図１３）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の幾つかの観点によれば、ドライブレコーダー等において被写体を撮影して画像信号を記録する際に、ハイダイナミックレンジ合成によって白とびや黒つぶれの少ない画像を得る一方、ハイダイナミックレンジ合成の欠点である画像の不自然さや擬似輪郭等を回避して、記録される画像の画質を改善することができる。
【課題を解決するための手段】
【０００９】
本発明の第１の観点に係る画像処理装置は、異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、選択信号に従って、複数の画像の内の１つを表す画像データと合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、複数の画像の内の１つを表す画像データについて、少なくとも１つの領域の少なくとも１つの画素における輝度レベルを評価し、評価結果に従って選択信号を生成する画像評価部とを具備する。
【００１０】
ここで、画像評価部が、複数の画像の内の１つを表す１フレーム分の画像データについて、全ての色成分の輝度レベルが飽和値である画素の数が少なくとも１つの領域において閾値以上である場合、及び／又は、全ての色成分の輝度レベルがゼロ値である画素の数が少なくとも１つの領域において閾値以上である場合に、合成画像データを選択するように選択信号を生成し、それ以外の場合に、複数の画像の内の１つを表す画像データを選択するように選択信号を生成しても良い。
【００１１】
本発明の第２の観点に係る画像処理装置は、異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、選択信号に従って、複数の画像の内の１つを表す画像データと合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、複数の画像データに基づいて、少なくとも１つの領域における撮影対象の相対的な動きを検出し、撮影対象が設定限度以上動いたと判定した場合に、複数の画像の内の１つを表す画像データを選択するように選択信号を生成し、撮影対象が設定限度以上動いていないと判定した場合に、合成画像データを選択するように選択信号を生成する動き検出部とを具備する。
【００１２】
本発明の第３の観点に係る画像処理装置は、撮像部を用いて異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、選択信号に従って、複数の画像の内の１つを表す画像データと合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、加速度を感知して感知信号を出力する加速度センサーと、加速度センサーから出力される感知信号に基づいて、撮像部が撮影時に設定限度以上振動したか否かを判定し、撮像部が設定限度以上振動したと判定した場合に、複数の画像の内の１つを表す画像データを選択するように選択信号を生成し、撮像部が設定限度以上振動していないと判定した場合に、合成画像データを選択するように選択信号を生成する動き判定部とを具備する。
【００１３】
以上において、ダイナミックレンジ拡張部が、合成画像データのビット数を、複数の画像の内の１つを表す画像データのビット数に一致させる処理を行うトーンマップ処理部を含むようにしても良い。
【００１４】
本発明の１つの観点に係る電子機器は、異なる露光量で撮影対象を撮影し、異なる露光量で撮影対象が撮影された複数の画像を表す画像信号を生成する撮像部と、撮像部によって生成される画像信号が供給される本発明のいずれかの観点に係る画像処理装置と、画像処理装置から出力される画像データを格納する画像データ格納部とを具備する。
【００１５】
また、本発明の第１の観点に係る画像処理方法は、異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得するステップ（ａ）と、複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するステップ（ｂ）と、複数の画像の内の１つを表す画像データについて、少なくとも１つの領域の少なくとも１つの画素における輝度レベルを評価し、評価結果に従って選択信号を生成するステップ（ｃ）と、選択信号に従って、複数の画像の内の１つを表す画像データと合成画像データとの内の一方を選択し、選択された画像データを出力するステップ（ｄ）とを具備する。
【発明の効果】
【００１６】
本発明によれば、撮影により得られる画像データの状態、又は、感知される加速度の大きさに従って、撮影により得られる複数の画像の内の１つを表す画像データと合成画像データとの内の一方を選択することにより、ハイダイナミックレンジ合成によって白とびや黒つぶれの少ない画像を得る一方、ハイダイナミックレンジ合成の欠点である画像の不自然さや擬似輪郭等を回避して、記録される画像の画質を改善することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る電子機器の構成例を示すブロック図。
【図２】ＣＣＤカメラが異なる露光時間で撮影対象を撮影する動作を説明する図。
【図３】異なる露光時間の画像においてオレンジ色を構成する色成分を示す図。
【図４】画像合成処理の第１の例を説明するための図。
【図５】合成画像データにおける元の画像データの混合割合の例を示す図。
【図６】ドライブレコーダーによって撮影された画像の例を示す図。
【図７】標準画像の評価のために領域を設定する例を説明するための図。
【図８】図１に示す画像処理装置において行われる画像処理方法の例を示す図。
【図９】本発明の第２の実施形態に係る電子機器の構成例を示すブロック図。
【図１０】動き検出の具体例を説明するための図。
【図１１】本発明の第３の実施形態に係る電子機器の構成例を示すブロック図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
図１は、本発明の第１の実施形態に係る電子機器の構成例を示すブロック図である。本発明の第１の実施形態によれば、交通事故に関する情報を記録するために自動車に設置されるドライブレコーダー等の電子機器を実現することができる。
【００１９】
図１に示すように、この電子機器は、ＣＣＤ（Charge Coupled Device）カメラ等によって構成される撮像部１０と、半導体集積回路等によって構成される画像処理装置２０と、ＳＤカード等の記録媒体を用いる画像データ格納部３０とを含んでいる。
【００２０】
撮像部１０は、異なる露光量で撮影対象（被写体）を撮影し、異なる露光量で撮影対象が撮影された複数の画像を表す画像信号を生成する。撮像部１０によって生成される画像信号は、画像処理装置２０に供給される。この画像信号は、ディジタル画像信号（画像データ）でも良いし、アナログ画像信号でも良い。画像処理装置２０に供給される画像信号がアナログ画像信号である場合には、画像処理装置２０が、アナログ画像信号をＡ／Ｄ（アナログ／ディジタル）変換して画像データを取得する。
【００２１】
画像処理装置２０は、取得した画像データに画像処理等を施すことにより、記録すべき画像データを生成して出力し、画像データ格納部３０に画像データを記録させる。画像データ格納部３０は、画像処理装置２０から出力される画像データをＳＤカード等の記録媒体に格納する。なお、ＳＤカードは、フラッシュメモリーに属する持ち運び可能な記録媒体である。
【００２２】
以下の実施形態においては、撮像部１０が、露光時間を変更することによって、異なる露光量で撮影対象が撮影された複数の画像を表す画像データＡ、Ｂ、Ｃを生成する場合について説明する。画像データＡによって表される画像の露光時間Ｔ１と、画像データＢによって表される画像の露光時間Ｔ２と、画像データＣによって表される画像の露光時間Ｔ３とは、Ｔ１＜Ｔ２＜Ｔ３の関係にあって、Ｔ１：Ｔ２：Ｔ３＝２：３：６であるものとする。
【００２３】
ここで、中間的な露光量が得られる露光時間Ｔ２を標準露光時間とし、標準露光時間で撮影された撮影対象の画像を標準画像とする。なお、４種類以上の露光量で撮影対象を撮影することにより４つ以上の画像を得る場合には、最小の露光量で撮影された画像及び最大の露光量で撮影された画像を除く画像の内から１つの画像を標準画像として選択すれば良い。また、各画像を表す画像データは、複数の色成分を含んでも良い。本実施形態においては、画像データが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色の色成分（例えば、各成分について８ビット）を含むものとする。
【００２４】
以下の実施形態においては、撮像部の例として、ＣＣＤカメラについて説明する。図２は、ＣＣＤカメラが異なる露光時間で撮影対象を撮影する動作を説明するための図である。ＣＣＤカメラに搭載されるＣＣＤ１０１ａを含むセンサセルアレイ１０１の露光領域には、ＣＣＤ１０１ａに蓄積された電荷を読み出すために３つの読出しラインＬ１、Ｌ２、Ｌ３が設けられている。ＣＣＤ１０１ａは、図中に示すスキャン方向に繰り返しスキャンされて、ＣＣＤ１０１ａに蓄積された電荷が読み出される。
【００２５】
読出しラインＬ１は、最も多くのＣＣＤ１０１ａに蓄積された電荷を読み出すと共に、ＣＣＤ１０１ａをリセットするために用いられる読出しラインである。リセットを伴う読出しは、破壊読出しとも呼ばれている。読出しラインＬ１から読み出された電荷は、図示しないＡＦＥ（Analog Front End）を介してＡ／Ｄ変換部に入力され、画像データに変換される。読出しラインＬ１から読み出された電荷に基づく画像データは、露光時間が最も長い画像を表す画像データＣとなる。
【００２６】
読出しラインＬ２から読み出された画像データは、標準露光時間による画像（標準画像）を表す画像データ（標準画像データ）Ｂとなる。また、読出しラインＬ３は、最も少ないＣＣＤ１０１ａに蓄積された電荷を読み出すために用いられる読出しラインである。読出しラインＬ３から読み出された画像データは、露光時間が最も短い画像を表す画像データＡとなる。なお、読出しラインＬ２、Ｌ３からの読出しは、いずれもリセットを伴わない非破壊読出しである。
【００２７】
１回の撮影において、読出しラインＬ３からの非破壊読出しと、読出しラインＬ２からの非破壊読出しと、読出しラインＬ１からの破壊読出しとは、それぞれ独立に実行される。このような読出しタイミングの制御は、電子シャッター機能によって実現される。ただし、本発明は、このような構成に限定されるものではなく、撮像部の絞りを制御して露光量を変更するようにしても良い。
【００２８】
再び図１を参照すると、画像処理装置２０は、画像データ取得部２１と、ダイナミックレンジ拡張部２２と、画像選択部（ＳＷ２）２３と、標準画像評価部２４とを含んでいる。画像データ取得部２１は、画像切換部（ＳＷ１）２１１と、複数のメモリー２１２ａ、２１２ｂ、２１２ｃとを含み、撮像部１０を用いて異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データＡ、Ｂ、Ｃを取得する。
【００２９】
画像切換部２１１は、撮像部１０から順次供給される画像データＡ、Ｂ、Ｃを、メモリー２１２ａ、２１２ｂ、２１２ｃにそれぞれ振り分ける。これにより、メモリー２１２ａは画像データＡを蓄積し、メモリー２１２ｂは画像データＢを蓄積し、メモリー２１２ｃは画像データＣを蓄積する。
【００３０】
ダイナミックレンジ拡張部２２は、正規化部２２１と、画像信頼性評価部２２２と、画像合成部２２３と、トーンマップ処理部２２４とを含み、画像データ取得部２１によって取得された複数の画像を表す画像データＡ、Ｂ、Ｃを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データＤを生成する。
【００３１】
正規化部２２１は、メモリー２１２ａ、２１２ｂ、２１２ｃにそれぞれ蓄積された画像データＡ、Ｂ、Ｃを読み出して正規化する。これと並行して、画像信頼性評価部２２２は、メモリー２１２ａ、２１２ｂ、２１２ｃにそれぞれ蓄積された画像データＡ、Ｂ、Ｃの信頼性を評価して、信頼性の評価結果を画像合成部２２３に供給する。
【００３２】
画像合成部２２３は、画像信頼性評価部２２２から供給される信頼性の評価結果に基づいて、正規化部２２１によって正規化された画像データＡ、Ｂ、Ｃをハイダイナミックレンジ合成することにより、ダイナミックレンジが拡張された画像を表す合成画像データＤを生成する。
【００３３】
トーンマップ処理部２２４は、画像合成部２２３から出力されるダイナミックレンジが拡張された画像を表す合成画像データＤのビット数を、画像データ取得部２１によって取得された画像データのビット数（例えば、Ｒ、Ｇ、Ｂ成分の各々について８ビット）に一致させるトーンマップ処理を行う。
【００３４】
画像選択部２３は、選択信号に従って、画像データ取得部２１によって取得された複数の画像の内の１つを表す画像データ（ここでは、標準画像データＢ）と、ダイナミックレンジ拡張部２２によって生成された合成画像データＤとの内の一方を選択し、選択された画像データを出力する。画像選択部２３から出力される画像データは、画像データ格納部３０によって記録媒体に格納される。
【００３５】
標準画像評価部２４は、画像データ取得部２１によって取得された複数の画像の内の１つを表す画像データ（ここでは、標準画像データＢ）について、少なくとも１つの領域の少なくとも１つの画素における輝度レベルを評価し、評価結果に従って選択信号を生成することにより、画像選択部２３を制御する。
【００３６】
即ち、ハイダイナミックレンジ合成によれば、自動車がトンネルの出口付近を走行する場合や逆光の場合に、白とびや黒つぶれの少ない画像を得ることができるが、その一方で、画像の不自然さ、擬似輪郭、コントラストの低下等を招く場合がある。また、ドライブレコーダーに要求される画像として、多くの場合には、標準露光で撮影された画像で十分である。そこで、標準画像評価部２４は、標準画像データＢの輝度レベルを評価することにより、標準画像データＢを記録すべきか合成画像データＤを記録すべきかの判断を行っている。
【００３７】
次に、本発明の第１の実施形態に係る電子機器の動作例について詳しく説明する。
まず、図１に示す正規化部２２１において行われる正規化処理の例について説明する。以下の式において、「ｘ、ｙ」は画素の座標を表し、「Ｒ」はＲ成分を表す。正規化部２２１に入力される正規化前の画像データＡ、Ｂ、ＣのＲ成分の輝度レベルを、それぞれ、Ａ_T1（ｘ、ｙ、Ｒ）、Ｂ_T2（ｘ、ｙ、Ｒ）、Ｃ_T3（ｘ、ｙ、Ｒ）とする。また、正規化部２２１によって正規化された画像データＡ、Ｂ、Ｃの輝度レベルを、それぞれ、Ａ_NT3（ｘ、ｙ、Ｒ）、Ｂ_NT3（ｘ、ｙ、Ｒ）、Ｃ_NT3（ｘ、ｙ、Ｒ）とする。正規化における両者の関係は、次式で表される。
【００３８】
Ａ_NT3（ｘ、ｙ、Ｒ）＝Ａ_T1（ｘ、ｙ、Ｒ）×（Ｔ３／Ｔ１）
Ｂ_NT3（ｘ、ｙ、Ｒ）＝Ｂ_T2（ｘ、ｙ、Ｒ）×（Ｔ３／Ｔ２）
Ｃ_NT3（ｘ、ｙ、Ｒ）＝Ｃ_T3（ｘ、ｙ、Ｒ）
これらの式は、画像データのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様に成立する。
【００３９】
次に、図１に示す画像信頼性評価部２２２によって行われる画像データの信頼性評価の第１の例について説明する。図３は、異なる露光時間で同一の撮影対象を撮影することにより得られた画像においてオレンジ色を構成するＲ、Ｇ、Ｂ成分の輝度レベルを示している。図３において、横軸は、Ｒ、Ｇ、Ｂ成分を区別しており、縦軸は、各成分の輝度レベルを表している。また、図３（Ａ）は、最も短い露光時間Ｔ１で撮影された画像を表す画像データＡの輝度レベルを示し、図３（Ｂ）は、標準露光時間Ｔ２で撮影された画像を表す画像データＢの輝度レベルを示し、図３（Ｃ）は、最も長い露光時間Ｔ３で撮影された画像を表す画像データＣの輝度レベルを示している。
【００４０】
画像信頼性評価部２２２は、輝度レベルに基づいて画像データの信頼性を評価することにより、信頼性の評価結果を表す値である信頼度を求める。本実施形態においては、輝度レベルが大きければＳ／Ｎ比が高くなることから、より大きい輝度レベルに、より高い信頼度を付与している。ただし、輝度レベルが高過ぎて最大値２５５に達している（飽和している）場合には、元の画像の正確な輝度レベルが得られない。従って、最大値２５５よりもやや低い輝度レベル（例えば、２２４）に、信頼度の最高値を付与するようにしている。
【００４１】
このような信頼度の付与は、予め設定されている式に輝度レベルを代入するか、あるいは、輝度レベルに基づいてＬＵＴ（Look Up Table）を参照することによって実現される。以下に、画像データＡ_T1（ｘ、ｙ、Ｒ）の輝度レベルが２２４を超えた場合に信頼度Ｅ_T1（ｘ、ｙ、Ｒ）を算出するための式を例示する。
【００４２】
ｉｆ Ａ_T1（ｘ、ｙ、Ｒ）＞２２４
ｔｈｅｎ Ｅ_T1（ｘ、ｙ、Ｒ）＝（２５５−Ａ_T1（ｘ、ｙ、Ｒ））／３１
ｅｌｓｅ Ｅ_T1（ｘ、ｙ、Ｒ）＝Ａ_T1（ｘ、ｙ、Ｒ））／２２４
これらの式は、画像データのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様に成立する。
【００４３】
上式中の数字「３１」は、輝度レベルの最大値２５５と信頼度が最高値となる輝度レベル２２４との差である。輝度レベルの最大値２５５と輝度レベル２２４との差によって、輝度レベルの最大値２５５と画像データＡ_T1（ｘ、ｙ、Ｒ）の輝度レベルとの差を除算することにより、画像データＡ_T1（ｘ、ｙ、Ｒ）の輝度レベルが飽和に近くなると信頼度を低下させることができる。
【００４４】
画像信頼性評価部２２２は、以上述べた信頼性の評価を実行し、算出された信頼度を画像合成部２２３に出力する。なお、信頼度を算出する式は、上記のような形式に限定されるものではなく、出力特性やノイズ特性を考慮して輝度レベルの信頼性の指標となるものであれば、どのような形式のものであっても良い。また、信頼性の評価は、信頼度を用いることに限定されるものではなく、最も高い信頼性を有する画像データを特定する信号を出力するようにしても良い。
【００４５】
上式に従って、図３（Ａ）〜（Ｃ）に示す輝度レベルを評価すると、Ｒ成分については、図３（Ａ）に示す画像データＡのＲ成分Ｒ１が、図３（Ｂ）に示す画像データＢのＲ成分Ｒ２や図３（Ｃ）に示す画像データＣのＲ成分Ｒ３よりも高い信頼度を得る。また、Ｇ成分については、図３（Ｂ）に示す画像データＢのＧ成分Ｇ２が、図３（Ａ）に示す画像データＡのＧ成分Ｇ１や図３（Ｃ）に示す画像データＣのＧ成分Ｇ３よりも高い信頼度を得る。さらに、Ｂ成分については、図３（Ｃ）に示す画像データＣのＢ成分Ｂ３が、図３（Ａ）に示す画像データＡのＧ成分Ｂ１や図３（Ｂ）に示す画像データＢのＧ成分Ｂ２よりも高い信頼度を得ることになる。
【００４６】
次に、図１に示す画像合成部２２３によって行われる画像合成処理の第１の例について説明する。画像合成部２２３は、Ｒ、Ｇ、Ｂ成分の各々について、画像データＡ、Ｂ、Ｃの内で信頼度が最も高い画像データを選択する。そして、選択された画像データのＲ、Ｇ、Ｂ成分を合成することにより、オレンジ色を表示する合成画像データＤを生成する。
【００４７】
図４は、画像合成処理の第１の例を説明するための図である。図４（Ａ）、図４（Ｂ）、図４（Ｃ）は、図１に示す正規化部２２１によって正規化された画像データＡ、Ｂ、Ｃの各色成分の輝度レベルをそれぞれ示しており、図４（Ｄ）は、図１に示す画像合成部２２３によって合成された合成画像データＤの各色成分の輝度レベルを示している。
【００４８】
画像合成部２２３は、図４（Ａ）に示す画像データＡのＲ成分Ｒ１と、図４（Ｂ）に示す画像データＢのＧ成分Ｇ２と、図４（Ｃ）に示す画像データＣのＢ成分Ｂ３とを選択して合成することにより、図４（Ｄ）に示す合成画像データＤを生成する。この合成画像データＤは、図３（Ａ）に示す輝度レベルが飽和していない短時間露光のＲ成分Ｒ１と、図３（Ｂ）に示す輝度レベルが適切な標準露光のＧ成分Ｇ２と、図３（Ｃ）に示す輝度レベルが改善された長時間露光のＢ成分Ｂ３とに基づいて生成されるので、図３（Ｂ）に示す標準露光の画像データＢと比較してダイナミックレンジが拡張されている。
【００４９】
ただし、図４（Ｄ）に示す合成画像データＤにおいては、正規化によって、輝度レベルの最大値が２５５を超えている。そこで、図１に示すトーンマップ処理部２２４は、画像合成部２２３から出力される合成画像データＤのビット数を、画像データ取得部２１によって取得された画像データのビット数（ここでは、Ｒ、Ｇ、Ｂ成分の各々について８ビット）に一致させるトーンマップ処理を行う。このトーンマップ処理は、例えば、合成画像データＤの各色成分の輝度レベルに（Ｔ１／Ｔ３）を掛けることによって行われる。
【００５０】
次に、画像データの信頼性評価及び画像合成処理の第２の例について説明する。第２の例においては、画像合成部２２３が、露光量が異なる複数の画像データＡ、Ｂ、Ｃの同一の色成分を混合することにより、合成画像データＤを生成する。そのために、画像信頼性評価部２２２は、信頼性評価結果として、複数の画像データＡ、Ｂ、Ｃの各色成分の混合割合（重み付け係数）を算出して画像合成部２２３に供給する。画像合成部２２３は、供給された混合割合に従って、複数の画像データＡ、Ｂ、Ｃの同一の色成分を混合する。
【００５１】
このような混合の結果、画像データＡのＲ成分Ｒ１と画像データＢのＲ成分Ｒ２と画像データＣのＲ成分Ｒ３とが混合されて、合成画像データＤのＲ成分が生成される。同様に、画像データＡのＧ成分Ｇ１と画像データＢのＧ成分Ｇ２と画像データＣのＧ成分Ｇ３とが混合されて、合成画像データＤのＧ成分が生成される。また、画像データＡのＢ成分Ｂ１と画像データＢのＢ成分Ｂ２と画像データＣのＢ成分Ｂ３とが混合されて、合成画像データＤのＢ成分が生成される。混合されたＲ、Ｇ、Ｂ成分によって、合成画像データＤが構成される。
【００５２】
画像信頼性評価部２２２は、次のようにして、複数の画像データＡ、Ｂ、Ｃの各色成分の重み付け係数を決定しても良い。ここで、重み付け係数とは、画像データＡ、Ｂ、Ｃの混合割合を示すものであって、重み付け係数が大きいほど混合割合が大きいものとする。画像データＡのＲ成分の重み付け係数Ｗ＿T1（ｘ、ｙ、Ｒ）は、例えば、信頼度に基づいて、次式によって算出される。
【００５３】
Ｗ＿T1（ｘ、ｙ、Ｒ）＝Ｅ＿T1（ｘ、ｙ、Ｒ）／Ｅsum
Ｗ＿T2（ｘ、ｙ、Ｒ）＝Ｅ＿T2（ｘ、ｙ、Ｒ）／Ｅsum
Ｗ＿T3（ｘ、ｙ、Ｒ）＝Ｅ＿T3（ｘ、ｙ、Ｒ）／Ｅsum
ただし、Ｅsum＝Ｅ＿T1（ｘ、ｙ、Ｒ）＋Ｅ＿T2（ｘ、ｙ、Ｒ）＋Ｅ＿T3（ｘ、ｙ、Ｒ）である。これらの式は、画像データＡ、Ｂ、ＣのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様に成立する。
【００５４】
画像信頼性評価部２２２によって算出された重み付け係数は、画像合成部２２３に供給される。画像合成部２２３は、それらの重み付け係数を画像データＡ、Ｂ、Ｃのそれぞれの色成分に乗算し、乗算後の輝度レベルを色成分毎に加算して、合成画像データＤを生成する。
【００５５】
Ｄ（ｘ、ｙ、Ｒ）＝Ｗ＿T1（ｘ、ｙ、Ｒ）×Ａ_NT3（ｘ、ｙ、Ｒ）
＋Ｗ＿T2（ｘ、ｙ、Ｒ）×Ｂ_NT3（ｘ、ｙ、Ｒ）
＋Ｗ＿T3（ｘ、ｙ、Ｒ）×Ｃ_NT3（ｘ、ｙ、Ｒ）
これらの式は、画像データＡ、Ｂ、Ｃ、ＤのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様に成立する。
【００５６】
図５は、合成画像データにおける元の画像データの混合割合の例を示す図である。この例においては、合成画像データＤのＲ、Ｇ、Ｂ成分が、全ての画像データＡ、Ｂ、ＣのＲ、Ｇ、Ｂ成分をそれぞれ含んでいるが、信頼性の最も低い画像データの色成分の重み付け係数をゼロに設定することにより、信頼性の最も低い画像データの色成分を排除しても良い。
【００５７】
以上述べたダイナミックレンジ拡張処理によれば、異なる露光量で撮影対象を撮影することにより得られる複数の画像データの信頼性を、画像データの色成分毎に評価することができる。また、評価された信頼性に基づいて、それらの画像データの色成分の内から信頼性の高い色成分を採用し、採用された色成分を合成して合成画像データを生成することができる。
【００５８】
図６は、本発明が適用されるドライブレコーダーによって撮影された画像の例を示す図である。図６には、露光時間を３段階に変えてトンネルの出口付近を撮影して得られた画像、及び、それらの画像を合成して得られた合成画像が示されている。
【００５９】
図６（Ａ）は、短時間露光の画像を示している。短時間露光の場合には、トンネルの外の被写体は明瞭に撮影されるが、トンネルの中の被写体は黒つぶれによって不明瞭となる。一方、図６（Ｃ）は、長時間露光の画像を示している。長時間露光の場合には、トンネルの中の被写体は明瞭に撮影されるが、トンネルの外の被写体は白とびによって不明瞭となる。図６（Ｂ）は、標準露光の画像を示している。標準露光の場合には、トンネルの中の一部において黒つぶれが発生し、トンネルの外の一部において白とびが発生する。
【００６０】
図６（Ｄ）は、図６（Ａ）〜（Ｃ）に示す画像を合成して得られた合成画像を示している。図６（Ａ）〜（Ｃ）に示す画像から、輝度が適切な領域（画素）の画像を切り出して合成することにより、黒つぶれや白とびのない１枚（１フレーム）の画像を得ることができる。
【００６１】
次に、図１に示す標準画像評価部２４によって行われる標準画像の評価の例について説明する。標準画像評価部２４は、画像データ取得部２１によって取得された１フレーム分の標準画像データＢについて、全ての色成分Ｒ、Ｇ、Ｂの輝度レベルが飽和値である画素の数が少なくとも１つの領域において閾値以上である場合、及び／又は、全ての色成分Ｒ、Ｇ、Ｂの輝度レベルがゼロ値である画素の数が少なくとも１つの領域において閾値以上である場合に、合成画像データＤを選択するように選択信号を生成し、それ以外の場合に、標準画像データＢを選択するように選択信号を生成する。
【００６２】
このような評価は、フレーム毎に行われる。なお、上記の「少なくとも１つの領域」は、撮影された１枚の標準画像の一部の領域でも良いし、撮影された１枚の標準画像の全領域でも良い。また、上記の「閾値」は、「１」又は「２」以上でも良いし、少なくとも１つの領域における全画素数でも良い。
【００６３】
例えば、標準画像評価部２４は、１フレーム分の標準画像データＢについて、領域Ｘ１において少なくともＮ１個（Ｎ１は自然数）の画素の色成分Ｒ、Ｇ、Ｂの輝度レベルが飽和値に達している場合（条件１）に、標準画像に白とびが発生するので合成画像データＤを選択し、それ以外の場合には、標準画像データＢを選択しても良い。
【００６４】
あるいは、標準画像評価部２４は、１フレーム分の標準画像データＢについて、領域Ｘ２において少なくともＮ２個（Ｎ２は自然数）の画素の色成分Ｒ、Ｇ、Ｂの輝度レベルがゼロ値である場合（条件２）に、標準画像に黒つぶれが発生するので合成画像データＤを選択し、それ以外の場合には、標準画像データＢを選択しても良い。
【００６５】
あるいは、標準画像評価部２４は、条件１と条件２との内の一方又は両方を満たした場合に、合成画像データＤを選択し、それ以外の場合には、標準画像データＢを選択するようにしても良い。その場合に、領域Ｘ１と領域Ｘ２とは、等しくても良いし、異なっても良く、閾値Ｎ１と閾値Ｎ２とは、等しくても良いし、異なっても良い。
【００６６】
図７は、標準画像の評価のために領域を設定する例を説明するための図である。この例においては、図７（Ａ）に示すような１枚の標準画像を１２分割することにより、図７（Ｂ）に示す領域（１）〜（１２）において標準画像の各色成分の輝度レベルが評価される。
【００６７】
図１に示す標準画像評価部２４は、領域（１）〜（１２）の内の少なくとも１つの領域において、全ての色成分Ｒ、Ｇ、Ｂの輝度レベルが飽和値である画素の数が閾値以上である場合、及び／又は、全ての色成分Ｒ、Ｇ、Ｂの輝度レベルがゼロ値である画素の数が閾値以上である場合に、合成画像データＤを選択するように選択信号を生成し、それ以外の場合に、標準画像データＢを選択するように選択信号を生成しても良い。
【００６８】
例えば、標準画像評価部２４は、領域（１）〜（１２）の内の何れか１つの領域において、全画素の色成分Ｒ、Ｇ、Ｂの輝度レベルが飽和値である場合、及び／又は、全画素の色成分Ｒ、Ｇ、Ｂの輝度レベルがゼロ値である場合に、合成画像データＤを選択するように選択信号を生成し、それ以外の場合に、標準画像データＢを選択するように選択信号を生成する。
【００６９】
これによって、画素単位で白とび又は黒つぶれを評価する際の誤評価を回避することができる。誤評価の原因としては、撮像部１０の欠陥画素により、輝度レベルが常に飽和値又はゼロ値になる場合等が考えられる。また、１枚の標準画像における全ての画素について評価を行わなくても良い。例えば、図７（Ｂ）に示す領域（１）〜（１２）の内の幾つかの領域について評価を行っても良いし、１つの領域内の幾つかの画素について評価を行っても良い。
【００７０】
次に、本発明の第１の実施形態に係る画像処理方法について、図１及び図８を参照しながら説明する。図８は、図１に示す画像処理装置において行われる画像処理方法の例を示すフローチャートである。なお、図１に示すダイナミックレンジ拡張部２２〜標準画像評価部２４の機能は、コンピューターが行うことも可能である。その場合に、それらのステップは、中央演算装置（ＣＰＵ）と、ＣＰＵに各種の処理を行わせるためのソフトウェア（画像処理プログラム）とによって実現される。
【００７１】
図８に示すステップＳ１において、画像データ取得部２１が、異なる露光量で撮影対象を撮影することにより得られる１組の画像を表す画像データＡ、Ｂ、Ｃを取得する。画像データＡ、Ｂ、Ｃは、メモリー２１２ａ、２１２ｂ、２１２ｃにそれぞれ蓄積される。
【００７２】
ステップＳ２〜Ｓ５において、ダイナミックレンジ拡張部２２が、１組の画像を表す画像データＡ、Ｂ、Ｃを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データＤを生成する。
【００７３】
具体的には、ステップＳ２において、正規化部２２１が、メモリー２１２ａ、２１２ｂ、２１２ｃからそれぞれ読み出された画像データＡ、Ｂ、Ｃの各色成分を正規化する。ステップＳ２と並行して、ステップＳ３において、画像信頼性評価部２２２が、画像データＡ、Ｂ、Ｃの各色成分の信頼性を評価する。
【００７４】
ステップＳ２及びＳ３が終了すると、ステップＳ４において、画像合成部２２３が、Ｒ、Ｇ、Ｂの各色成分について、正規化された画像データＡ、Ｂ、Ｃの内から最も高い信頼性の評価結果を得た画像データを選択することにより、画像データＡ、Ｂ、Ｃを合成して合成画像データＤを生成する。ステップＳ５において、トーンマップ処理部２２４が、合成画像データＤのビット数を、標準画像データＢのビット数に一致させる。
【００７５】
ステップＳ２〜Ｓ５と並行して、ステップＳ６において、標準画像評価部２４が、標準画像データＢについて、少なくとも１つの領域の少なくとも１つの画素における輝度レベルを評価し、評価結果に従って選択信号を生成する。
【００７６】
ステップＳ５及びＳ６が終了すると、ステップＳ７において、画像選択部２３が、選択信号に従って、標準画像データＢと合成画像データＤとの内の一方を選択し、選択された画像データを出力する。画像選択部２３から出力された画像データは、画像データ格納部３０によって記録される。
【００７７】
ステップＳ７が終了すると、処理がステップＳ１に戻って、画像データ取得部２１が、次の１組の画像を表す画像データＡ、Ｂ、Ｃを取得する。取得すべき画像データが存在しない場合には、処理が完了する。
【００７８】
第１の実施形態によれば、標準画像において白とびや黒つぶれが発生しない場合には、標準画像を選択することにより、画像の不自然さや擬似輪郭のない標準画像が記録されることになる。一方、標準画像において白とびや黒つぶれが発生した場合には、合成画像を選択することにより、白とびや黒つぶれのない合成画像が記録されることになる。
【００７９】
次に、本発明の第２の実施形態について説明する。第２の実施形態においては、撮影対象（被写体）が瞬間的に大きく動いた場合（例えば、自動車の速度が一定値以上になった場合）には、標準画像が記録され、それ以外の場合には、合成画像が記録される。
【００８０】
図９は、本発明の第２の実施形態に係る電子機器の構成例を示すブロック図である。第２の実施形態は、図１に示す第１の実施形態における標準画像評価部２４の替わりに動き検出部２５が設けられている点で第１の実施形態と異なっており、その他の点に関しては第１の実施形態と同様である。
【００８１】
動き検出部２５は、異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データＡ、Ｂ、Ｃに基づいて、少なくとも１つの領域における撮影対象の相対的な動きを検出する。さらに、動き検出部２５は、撮影対象が設定限度以上動いたと判定した場合に、標準画像データＢを選択するように選択信号を生成し、撮影対象が設定限度以上動いていないと判定した場合に、合成画像データＤを選択するように選択信号を生成する。
【００８２】
画像選択部２３は、選択信号に従って、標準画像データＢと合成画像データＤとの内の一方を選択し、選択された画像データを出力する。画像選択部２３から出力された画像データは、画像データ格納部３０によって記録される。
【００８３】
動き検出部２５における動き検出は、露光量の異なる複数の画像を表す画像データ、即ち、短時間露光によって得られた画像データＡと、標準露光によって得られた標準画像データＢと、長時間露光によって得られた画像データＣとの内の２つ以上の画像データにおける色成分Ｒ、Ｇ、Ｂの輝度レベルの関係に基づいて行うようにしても良い。
【００８４】
図１０は、動き検出の具体例を説明するための図である。例えば、標準露光によって得られた標準画像データＢにおけるある位置の画素の色成分Ｒ２、Ｇ２、Ｂ２の輝度レベルＶ（Ｒ２）、Ｖ（Ｇ２）、Ｖ（Ｂ２）の関係がＶ（Ｒ２）＞Ｖ（Ｇ２）＞Ｖ（Ｂ２）である場合に、長時間露光によって得られた画像データＣにおける同じ位置の画素の色成分Ｒ３、Ｇ３、Ｂ３の輝度レベルＶ（Ｒ３）、Ｖ（Ｇ３）、Ｖ（Ｂ３）の関係がＶ（Ｇ３）＞Ｖ（Ｒ３）＞Ｖ（Ｂ３）のように変化したとすれば、撮影対象が瞬間的に大きく動いた可能性が高い。一方、画像データＣにおける同じ位置の画素の色成分Ｒ３、Ｇ３、Ｂ３の輝度レベルＶ（Ｒ３）、Ｖ（Ｇ３）、Ｖ（Ｂ３）の関係がＶ（Ｒ３）＞Ｖ（Ｇ３）＞Ｖ（Ｂ３）のままで変化しなかったとすれば、撮影対象が瞬間的に大きく動いていない可能性が高い。
【００８５】
露光量の異なる複数の画像を表す画像データにおける色成分Ｒ、Ｇ、Ｂの輝度レベルの関係の比較は、１フレームの画像の１つ又は複数の特定の画素に対して行っても良いし、１フレームの画像の全画素に対して行っても良い。例えば、比較対象の画素の内で色成分Ｒ、Ｇ、Ｂの輝度レベルの関係が変化した画素の数が閾値以上である場合に、動き検出部２５は、撮影対象が設定限度以上動いたと判定する。一方、比較対象の画素の内で色成分Ｒ、Ｇ、Ｂの輝度レベルの関係が変化した画素の数が閾値未満である場合に、動き検出部２５は、撮影対象が設定限度以上動いていないと判定する。なお、上記「閾値」は、「１」でも良いし、「２」以上でも良い。
【００８６】
また、露光量の異なる複数の画像を表す画像データにおける色成分Ｒ、Ｇ、Ｂの輝度レベルの関係の比較は、画素ではなく、所定の大きさを有する領域に対して行っても良い。例えば、図７（Ｂ）に示す領域（１）〜（１２）において、短時間露光によって得られた画像データＡの色成分Ｒ１、Ｇ１、Ｂ１の輝度レベルの領域内平均値Ｖａ（Ｒ１）、Ｖａ（Ｇ１）、Ｖａ（Ｂ１）の関係がＶａ（Ｒ１）＞Ｖａ（Ｇ１）＞Ｖａ（Ｂ１）である場合に、標準露光によって得られた標準画像データＢの色成分Ｒ２、Ｇ２、Ｂ２の輝度レベルの領域内平均値Ｖａ（Ｒ２）、Ｖａ（Ｇ２）、Ｖａ（Ｂ２）の関係がＶａ（Ｒ２）＞Ｖａ（Ｇ２）＞Ｖａ（Ｂ２）であり、長時間露光によって得られた画像データＣの色成分Ｒ３、Ｇ３、Ｂ３の輝度レベルの領域内平均値Ｖａ（Ｒ３）、Ｖａ（Ｇ３）、Ｖａ（Ｂ３）の関係がＶａ（Ｒ３）＞Ｖａ（Ｇ３）＞Ｖａ（Ｂ３）であれば、動き検出部２５は、撮影対象が設定限度以上動いていないと判定する。一方、図７（Ｂ）に示す領域（１）〜（１２）のいずれかにおいて、画像データＡ、Ｂ、Ｃの間で色成分Ｒ、Ｇ、Ｂの輝度レベルの領域内平均値の関係が異なっていれば、動き検出部２５は、撮影対象が設定限度以上動いたと判定する。
【００８７】
これによって、画素単位で撮影対象の動きを判定する際の誤判定を回避することができる。また、１枚の画像における全ての画素について比較を行わなくても良い。たとえば、図７（Ｂ）に示す領域（１）〜（１２）の内の幾つかの領域について評価を行っても良いし、１つの領域内の幾つかの画素について評価を行っても良い。
【００８８】
第２の実施形態によれば、撮影対象が瞬間的に大きく動いていない場合には、合成画像を選択することにより、白とびや黒つぶれのない合成画像が記録されることになる。一方、撮影対象が瞬間的に大きく動いている場合には、標準画像を選択することにより、画像の不自然さや擬似輪郭のない標準画像が記録されることになる。
【００８９】
次に、本発明の第３の実施形態について説明する。第３の実施形態においては、例えば、自動車が走行する路面の状態が悪く、撮像部１０が大きく振動して撮影対象（被写体）が瞬間的に大きくぶれた場合には、標準画像が記録され、それ以外の場合には、合成画像が記録される。
【００９０】
図１１は、本発明の第３の実施形態に係る電子機器の構成例を示すブロック図である。第３の実施形態は、図９に示す第２の実施形態における動き検出部２５の替わりに加速度センサー２６及び動き判定部２７が設けられている点で第２の実施形態と異なっており、その他の点に関しては第２の実施形態と同様である。
【００９１】
加速度センサー２６は、例えば、撮像部１０が設けられた自動車の車内に搭載されており、撮像部１０に印加される加速度を感知して感知信号を出力する。動き判定部２７は、加速度センサー２６から出力される感知信号に基づいて、撮像部１０が撮影時に設定限度以上振動したか否かを判定する。
【００９２】
例えば、動き判定部２７は、撮影期間において感知信号の振幅が閾値以上となった場合に、撮像部１０が設定限度以上振動したと判定し、撮影期間において感知信号の振幅が閾値未満である場合に、撮像部１０が設定限度以上振動していないと判定する。
【００９３】
さらに、動き判定部２７は、撮像部１０が設定限度以上振動したと判定した場合に、標準画像データＢを選択するように選択信号を生成し、撮像部１０が設定限度以上振動していないと判定した場合に、合成画像データＤを選択するように選択信号を生成する。
【００９４】
画像選択部２３は、選択信号に従って、標準画像データＢと合成画像データＤとの内の一方を選択し、選択された画像データを出力する。画像選択部２３から出力された画像データは、画像データ格納部３０によって記録される。
【００９５】
第３の実施形態によれば、撮像部１０が大きく振動していない場合には、合成画像を選択することにより、白とびや黒つぶれのない合成画像が記録されることになる。一方、撮像部１０が大きく振動している場合には、標準画像を選択することにより、画像の不自然さや擬似輪郭のない標準画像が記録されることになる。
【符号の説明】
【００９６】
１０…撮像部、１０１…センサセルアレイ、１０１ａ…ＣＣＤ、２０…画像処理装置、２１…画像データ取得部、２１１…画像切換部、２１２ａ〜２１２ｃ…メモリー、２２…ダイナミックレンジ拡張部、２２１…正規化部、２２２…画像信頼性評価部、２２３…画像合成部、２２４…トーンマップ処理部、２３…画像選択部、２４…標準画像評価部、２５…動き検出部、２６…加速度センサー、２７…動き判定部、３０…画像データ格納部
【特許請求の範囲】
【請求項１】
異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、
前記複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、
選択信号に従って、前記複数の画像の内の１つを表す画像データと前記合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、
前記複数の画像の内の１つを表す画像データについて、少なくとも１つの領域の少なくとも１つの画素における輝度レベルを評価し、評価結果に従って前記選択信号を生成する画像評価部と、
を具備する画像処理装置。
【請求項２】
異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、
前記複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、
選択信号に従って、前記複数の画像の内の１つを表す画像データと前記合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、
前記複数の画像データに基づいて、少なくとも１つの領域における撮影対象の相対的な動きを検出し、撮影対象が設定限度以上動いたと判定した場合に、前記複数の画像の内の１つを表す画像データを選択するように前記選択信号を生成し、撮影対象が設定限度以上動いていないと判定した場合に、前記合成画像データを選択するように前記選択信号を生成する動き検出部と、
を具備する画像処理装置。
【請求項３】
撮像部を用いて異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、
前記複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、
選択信号に従って、前記複数の画像の内の１つを表す画像データと前記合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、
加速度を感知して感知信号を出力する加速度センサーと、
前記加速度センサーから出力される感知信号に基づいて、前記撮像部が撮影時に設定限度以上振動したか否かを判定し、前記撮像部が設定限度以上振動したと判定した場合に、前記複数の画像の内の１つを表す画像データを選択するように前記選択信号を生成し、前記撮像部が設定限度以上振動していないと判定した場合に、前記合成画像データを選択するように前記選択信号を生成する動き判定部と、
を具備する画像処理装置。
【請求項４】
前記画像評価部が、前記複数の画像の内の１つを表す１フレーム分の画像データについて、全ての色成分の輝度レベルが飽和値である画素の数が少なくとも１つの領域において閾値以上である場合、及び／又は、全ての色成分の輝度レベルがゼロ値である画素の数が少なくとも１つの領域において閾値以上である場合に、前記合成画像データを選択するように前記選択信号を生成し、それ以外の場合に、前記複数の画像の内の１つを表す画像データを選択するように前記選択信号を生成する、請求項１記載の画像処理装置。
【請求項５】
前記ダイナミックレンジ拡張部が、前記合成画像データのビット数を、前記複数の画像の内の１つを表す画像データのビット数に一致させる処理を行うトーンマップ処理部を含む、請求項１〜４のいずれか１項記載の画像処理装置。
【請求項６】
異なる露光量で撮影対象を撮影し、異なる露光量で撮影対象が撮影された複数の画像を表す画像信号を生成する撮像部と、
前記撮像部によって生成される画像信号が供給される請求項１〜５のいずれか１項記載の画像処理装置と、
前記画像処理装置から出力される画像データを格納する画像データ格納部と、
を具備する電子機器。
【請求項７】
異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得するステップ（ａ）と、
前記複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するステップ（ｂ）と、
前記複数の画像の内の１つを表す画像データについて、少なくとも１つの領域の少なくとも１つの画素における輝度レベルを評価し、評価結果に従って選択信号を生成するステップ（ｃ）と、
前記選択信号に従って、前記複数の画像の内の１つを表す画像データと前記合成画像データとの内の一方を選択し、選択された画像データを出力するステップ（ｄ）と、
を具備する画像処理方法。
【請求項１】
異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、
前記複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、
選択信号に従って、前記複数の画像の内の１つを表す画像データと前記合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、
前記複数の画像の内の１つを表す画像データについて、少なくとも１つの領域の少なくとも１つの画素における輝度レベルを評価し、評価結果に従って前記選択信号を生成する画像評価部と、
を具備する画像処理装置。
【請求項２】
異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、
前記複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、
選択信号に従って、前記複数の画像の内の１つを表す画像データと前記合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、
前記複数の画像データに基づいて、少なくとも１つの領域における撮影対象の相対的な動きを検出し、撮影対象が設定限度以上動いたと判定した場合に、前記複数の画像の内の１つを表す画像データを選択するように前記選択信号を生成し、撮影対象が設定限度以上動いていないと判定した場合に、前記合成画像データを選択するように前記選択信号を生成する動き検出部と、
を具備する画像処理装置。
【請求項３】
撮像部を用いて異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得する画像データ取得部と、
前記複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するダイナミックレンジ拡張部と、
選択信号に従って、前記複数の画像の内の１つを表す画像データと前記合成画像データとの内の一方を選択し、選択された画像データを出力する画像選択部と、
加速度を感知して感知信号を出力する加速度センサーと、
前記加速度センサーから出力される感知信号に基づいて、前記撮像部が撮影時に設定限度以上振動したか否かを判定し、前記撮像部が設定限度以上振動したと判定した場合に、前記複数の画像の内の１つを表す画像データを選択するように前記選択信号を生成し、前記撮像部が設定限度以上振動していないと判定した場合に、前記合成画像データを選択するように前記選択信号を生成する動き判定部と、
を具備する画像処理装置。
【請求項４】
前記画像評価部が、前記複数の画像の内の１つを表す１フレーム分の画像データについて、全ての色成分の輝度レベルが飽和値である画素の数が少なくとも１つの領域において閾値以上である場合、及び／又は、全ての色成分の輝度レベルがゼロ値である画素の数が少なくとも１つの領域において閾値以上である場合に、前記合成画像データを選択するように前記選択信号を生成し、それ以外の場合に、前記複数の画像の内の１つを表す画像データを選択するように前記選択信号を生成する、請求項１記載の画像処理装置。
【請求項５】
前記ダイナミックレンジ拡張部が、前記合成画像データのビット数を、前記複数の画像の内の１つを表す画像データのビット数に一致させる処理を行うトーンマップ処理部を含む、請求項１〜４のいずれか１項記載の画像処理装置。
【請求項６】
異なる露光量で撮影対象を撮影し、異なる露光量で撮影対象が撮影された複数の画像を表す画像信号を生成する撮像部と、
前記撮像部によって生成される画像信号が供給される請求項１〜５のいずれか１項記載の画像処理装置と、
前記画像処理装置から出力される画像データを格納する画像データ格納部と、
を具備する電子機器。
【請求項７】
異なる露光量で撮影対象を撮影することにより得られる複数の画像を表す画像データを取得するステップ（ａ）と、
前記複数の画像を表す画像データを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データを生成するステップ（ｂ）と、
前記複数の画像の内の１つを表す画像データについて、少なくとも１つの領域の少なくとも１つの画素における輝度レベルを評価し、評価結果に従って選択信号を生成するステップ（ｃ）と、
前記選択信号に従って、前記複数の画像の内の１つを表す画像データと前記合成画像データとの内の一方を選択し、選択された画像データを出力するステップ（ｄ）と、
を具備する画像処理方法。
【図１】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図６】
【図７】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図６】
【図７】
【公開番号】特開２０１３−９３７８６（Ｐ２０１３−９３７８６Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３５７３３（Ｐ２０１１−２３５７３３）
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]