電子機器、画像処理方法及びプログラム
【課題】ユーザの好みに沿ったダイナミックレンジ拡大画像を提供する。
【解決手段】露出条件の異なる複数の入力画像を合成することでダイナミックレンジが拡大されたＨＤＲ画像を生成し、生成されたＨＤＲ画像に対して複数の階調変換処理（トーンマッピング）を個別に適用することで複数の合成結果画像を生成する。一方で、単一の入力画像に階調補正を行うことで擬似的にダイナミックレンジが拡大された階調補正画像を生成する。入力画像列における物体の動き、フリッカの有無又は彩度に基づき、複数の合成結果画像及び階調補正画像に優先順位を設定し、優先順位に従って複数の合成結果画像及び階調補正画像の表示制御又は記録制御を行う。
【解決手段】露出条件の異なる複数の入力画像を合成することでダイナミックレンジが拡大されたＨＤＲ画像を生成し、生成されたＨＤＲ画像に対して複数の階調変換処理（トーンマッピング）を個別に適用することで複数の合成結果画像を生成する。一方で、単一の入力画像に階調補正を行うことで擬似的にダイナミックレンジが拡大された階調補正画像を生成する。入力画像列における物体の動き、フリッカの有無又は彩度に基づき、複数の合成結果画像及び階調補正画像に優先順位を設定し、優先順位に従って複数の合成結果画像及び階調補正画像の表示制御又は記録制御を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置等の電子機器に関する。また、画像に対して様々な処理を施すための画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
撮影によって得られた入力画像のダイナミックレンジを拡大することで、ＨＤＲ（High Dynamic range）画像を生成する方法が知られている。
【０００３】
この方法を実現する一般的なＨＤＲ処理では、露出条件が互いに異なる複数の入力画像を合成することでダイナミックレンジの拡大を図っている。ダイナミックレンジが拡大された画像に対し、ビット長圧縮などを目的とした階調変換を成すことで、最終的なＨＤＲ画像を生成することも多い。また、単一画像に対して適切な階調補正を行うことにより、ダイナミックレンジ（見かけ上のダイナミックレンジ）を拡大する方法も提案されている。
【０００４】
この他、ダイナミックレンジの拡大を図った従来方法として、以下の第１及び第２従来方法が存在する。
【０００５】
第１従来方法に係る撮像装置は、単一画像に階調補正を行うことでダイナミックレンジを拡大する第１のダイナミックレンジ拡大手段と、互いに異なる露出条件にて撮影された複数の画像を合成することでダイナミックレンジを拡大する第２のダイナミックレンジ拡大手段と、第１及び第２のダイナミックレンジ拡大手段のどちらを用いてダイナミックレンジを拡大した画像を取得するかを選択する選択手段と、選択されたダイナミックレンジ拡大手段が必要とする画像を撮像手段に撮影させる手段と、を備える（例えば、下記特許文献１参照）。
【０００６】
第２従来方法に係る撮像装置は、互いに異なる露出条件にて撮影された複数の画像を合成することによりダイナミックレンジを拡大する画像合成手段を備え、画像合成手段において、画像の合焦状態の詳細度の高低に応じてダイナミックレンジ拡大幅を変更している（例えば、下記特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−０９３６７９号公報
【特許文献２】特開２００９−２１８８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
複数の画像を用いたＨＤＲ処理の結果画像は、当然に、処理の内容に依存して変化し、特に上記の階調変換に依存して大きく変化する。ユーザの好みに合った結果画像が生成されるように、階調変換を含むＨＤＲ処理の内容をユーザが指定するといったことも考えられるが、そのような指定は比較的大きな操作負担をユーザに課す。ユーザに過度の負担を与えることなく、ユーザの好みに合った結果画像を提供することができれば有益であることは言うまでもないが、上記第１及び第２従来方法を含む従来方法では、これが十分に実現されていない。
【０００９】
そこで本発明は、ユーザの好みに合ったダイナミックレンジ拡大画像の提供に寄与する電子機器、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る第１の電子機器は、互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得部と、前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理部と、前記合成処理部の生成画像に対し、互いに異なる複数の階調変換条件を個別に用いて階調変換を行うことにより複数の合成結果画像を生成する階調変換部と、を備えたことを特徴とする。
【００１１】
これにより、ユーザは、複数の合成結果画像の中から、自分の好みにあった合成結果画像（ダイナミックレンジ拡大画像）を抽出することが可能となる。
【００１２】
そして例えば、前記入力画像列の画像データに基づき前記複数の合成結果画像に対して優先順位を設定する優先順位設定部と、前記優先順位に応じて前記複数の合成結果画像の表示又は記録を制御する画像出力制御部とを、前記第１の電子機器に更に設けると良い。
【００１３】
これにより、ユーザの好みに合っていると推測される合成結果画像を優先的に表示又は記録することが可能となる。
【００１４】
また例えば、前記ｎ枚の入力画像に含まれる１枚の入力画像に階調補正を行うことで階調補正画像を生成する階調補正部を、前記第１の電子機器に更に設けてもよい。
【００１５】
そして例えば、前記入力画像列の画像データに基づき前記複数の合成結果画像及び前記階調補正画像に対して優先順位を設定する優先順位設定部と、前記優先順位に応じて前記複数の合成結果画像及び前記階調補正画像の表示又は記録を制御する画像出力制御部とを、前記第１の電子機器に更に設けても良い。
【００１６】
これにより、ユーザの好みに合っていると推測される合成結果画像又は階調補正画像を優先的に表示又は記録することが可能となる。
【００１７】
具体的は例えば、前記優先順位設定部は、前記入力画像列の画像データに基づいて、前記入力画像列上の物体の動き、前記入力画像列におけるフリッカの有無、及び、前記入力画像列における彩度の内の１以上を評価し、評価結果に基づいて前記優先順位を設定しても良い。
【００１８】
また例えば、前記第１の電子機器は、前記入力画像列の画像データを撮影によって取得する撮像装置であって、前記入力画像列を形成する各入力画像の露出条件を設定する露出条件設定部と、前記複数の合成結果画像を生成することの要否を判定する要否判定部と、を更に備え、前記複数の合成結果画像を生成するか否かは、前記要否の判定結果に従って定められ、前記ｎ枚の入力画像に先立って撮影される入力画像には、第１及び第２の判定用入力画像が含まれ、前記露出条件設定部は、前記第１の判定用入力画像において所定の第１基準輝度以上の輝度を有する画素の数が所定の第１基準値以下になるように、前記第１の判定用入力画像の撮影時における第１の露出条件を設定するとともに、前記第２の判定用入力画像において所定の第２基準輝度以下の輝度を有する画素の数が所定の第２基準値以下になるように、前記第２の判定用入力画像の撮影時における第２の露出条件を設定し、前記要否判定部は、前記第１及び第２の露出条件に基づいて前記要否の判定を行っても良い。
【００１９】
本発明に係る第２の電子機器は、互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得部と、前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理部と、前記合成処理部の生成画像に対し、階調変換を行うことにより合成結果画像を生成する階調変換部と、を備え、前記階調変換部は、前記階調変換の内容を前記入力画像列の画像データに基づいて変更することを特徴とする。
【００２０】
これにより、ユーザの好みにあった合成結果画像（ダイナミックレンジ拡大画像）の提供が期待される。
【００２１】
本発明に係る第１の画像処理方法は、互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得ステップと、前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理ステップと、前記合成処理ステップの生成画像に対し、互いに異なる複数の階調変換条件を個別に用いて階調変換を行うことにより複数の合成結果画像を生成する階調変換ステップと、を実行することを特徴とする。
【００２２】
本発明に係る第２の画像処理方法は、互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得ステップと、前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理ステップと、前記合成処理ステップの生成画像に対し、階調変換を行うことにより合成結果画像を生成する階調変換ステップと、を実行し、前記階調変換ステップでは、前記階調変換の内容を前記入力画像列の画像データに基づいて変更することを特徴とする。
【００２３】
そして例えば、第１又は第２の画像処理方法における画像データ取得ステップ、合成処理ステップ及び階調変換ステップをコンピュータに実行させるためのプログラムを形成すると良い。
【発明の効果】
【００２４】
本発明によれば、ユーザの好みに合ったダイナミックレンジ拡大画像の提供に寄与する電子機器、画像処理方法及びプログラムを提供することが可能である。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】二次元の画像空間と二次元画像との関係を示す図である。
【図４】ダイナミックレンジ拡大に特に関与する部位のブロック図である。
【図５】短露光画像としての入力画像、長露光画像としての入力画像及びそれらから生成されるＨＤＲ画像を示す図（ａ）と、短露光画像の輝度の増大処理を示す図（ｂ）である。
【図６】入力画像における入射光量と信号レベルとの関係を表す図である。
【図７】ＨＤＲ画像における入射光量と信号レベルとの関係を表す図である。
【図８】階調変換によってＨＤＲ画像から合成結果画像が得られる様子を示す図である。
【図９】第１の階調変換処理で用いられるトーンカーブを示す図である。
【図１０】第２の階調変換処理によって、ＨＤＲ画像から合成結果画像を生成される様子を示す図である。
【図１１】第２の階調変換処理における単純ビット長圧縮を説明するための図である。
【図１２】第２の階調変換処理において参照されるＨＤＲ画像及び合成結果画像の輝度ヒストグラムである。
【図１３】入力画像から階調補正画像が得られる様子を示す図である。
【図１４】ＨＤＲ画像及び階調補正画像の輝度ヒストグラムを示す図（ａ）（ｂ）と、階調補正処理におけるゲイン関数を示す図（ｃ）である。
【図１５】ＨＤＲ撮影要否判定用期間と本撮影期間との関係を示す図（ａ）と、それらの期間に撮影される入力画像を説明するための図（ｂ）である。
【図１６】短露光判定用画像及び長露光判定用画像を含む判定用画像列を示す図である。
【図１７】短露光判定用画像及び長露光判定用画像の輝度ヒストグラムである。
【図１８】２枚の対象入力画像から３種類の合成結果画像が得られる様子を示す図である。
【図１９】５枚の対象入力画像から３種類の合成結果画像が得られる様子を示す図である。
【図２０】図１の撮像装置の動作フローチャートである。
【図２１】優先順位に従った画像表示方法例を説明するための図である。
【図２２】図１の撮像装置に設けておくことのできる複数の検出部を示した図である。
【図２３】画像間でオプティカルフローが導出される様子を示す図である。
【図２４】第１〜第３の出力ＨＤＲ画像に対する優先順位の設定方法を説明するための図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２７】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。
【００２８】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、ＣＰＵ（Central Processing Unit）２３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。
【００２９】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ（Analog Front End）１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各画像の撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。
【００３０】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、ＣＰＵ２３によって制御される。
【００３１】
映像信号処理部１３は、ＲＡＷデータにて表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００３２】
圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を互いに関連付けた状態で記録する。
【００３３】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。
【００３４】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
【００３５】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００３６】
撮影モードでは、次々と被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。上記ＲＡＷデータも画像データの一種である。
【００３７】
尚、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する（即ち例えば、圧縮された画像データを記録することを、単に、画像データを記録すると表現する）。また、本明細書では、或る画像の画像データのことを単に画像と言うこともある。また、本明細書において、単に表示又は表示画面といった場合、それは、表示部２７における表示又は表示画面を指す。
【００３８】
図３に、二次元の画像空間ＸＹを示す。画像空間ＸＹは、Ｘ軸及びＹ軸を座標軸として有する、空間領域（spatial domain）上の二次元座標系である。任意の二次元画像３００は、画像空間ＸＹ上に配置された画像であると考えることができる。Ｘ軸及びＹ軸は、夫々、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。
【００３９】
撮像装置１には、撮影によって得られた入力画像のダイナミックレンジを拡大する機能が設けられている。図４に、この機能に特に関与する部位のブロック図を示す。図４に示される各部位を撮像装置１内に設けておくことができる。例えば、画像処理部５０及び画像データ取得部５１を図１の映像信号処理部１３に設けておくことができると共に、露出制御部（露出条件設定部）５２及び画像出力制御部５８をＣＰＵ２３にて実現することができる。画像処理部５０は、符号５３〜５７によって参照される各部位を備える。
【００４０】
画像データ取得部５１は、入力画像列の画像データを取得する。入力画像列の画像データは、画像データ取得部５１を介して画像処理部５０及び露出制御部５２に供給される。入力画像列に代表される画像列とは、時系列上に並ぶ複数の画像の集まりを指す。従って、入力画像列は、時系列上に並ぶ複数の入力画像から成る。画像列は、動画像とも読み替えられる。入力画像は、ＲＡＷデータそのものにて表される静止画像、又は、ＲＡＷデータにて表される静止画像に所定の画像処理（例えば、ノイズ除去処理やデモザイキング処理）を施して得られる静止画像を指す。画像データ取得部５１は、再生モードにおいて入力画像列の画像データを取得することもできる。この場合、画像データ取得部５１は、外部メモリ１８に記録された任意の画像列を入力画像列として外部メモリ１８から読み出すことにより、入力画像列の画像データを取得する。但し、以下では、特に断りなき限り、撮影モードにおいて入力画像列の画像データが取得されることを想定する。
【００４１】
露出制御部５２は、入力画像の露出条件を設定する。この際、既に撮影された入力画像列の画像データに基づいて、以後の撮影によって得られることになる入力画像の露出条件を設定することができる（詳細は後述）。入力画像の露出条件とは、入力画像の露出状態を定める条件である。入力画像の露出条件には、入力画像の露光時間（即ちシャッタスピード）、入力画像の撮影時における絞り値、及び、入力画像の撮影時におけるＩＳＯ感度が含まれる。入力画像の露光時間とは、入力画像の画像データを得るために撮像素子３３が露光される時間の長さを指す。ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することで入力画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ１２における信号増幅の増幅度を決定する。その増幅度はＩＳＯ感度に比例している。ＩＳＯ感度が２倍になれば、その増幅度も２倍となり、これによって入力画像の各画素の輝度も２倍となる（但し、飽和を無視）。
【００４２】
合成処理部５３は、互いに異なる露出条件にて撮影された複数の入力画像を合成する画像合成処理を行い、これによって各入力画像のダイナミックレンジよりも広いダイナミックレンジを有するＨＤＲ（High Dynamic Range）画像を生成する。ＨＤＲ画像の各画素位置における画素信号のビット長は、入力画像のそれよりも長い。従って、ＨＤＲ画像のビット長を維持したまま、ＨＤＲ画像を表示部２７に表示することができないこともある、或いは、ＨＤＲ画像を外部メモリ１８に記録できないこともある。
【００４３】
このため、階調変換部５４は、生成されたＨＤＲ画像の階調を圧縮するための階調変換処理をＨＤＲ画像に施し、階調変換処理後のＨＤＲ画像を合成結果画像として生成する。階調変換部５４における階調圧縮の条件、即ち、ＨＤＲ画像から合成結果画像を生成するための階調変換処理の条件を階調変換条件と呼ぶ。階調変換部５４における階調変換処理及び階調変換条件を、夫々、階調圧縮処理及び階調圧縮条件と呼ぶこともできる。階調変換部５４は、互いに異なる複数の階調変換条件を個別に用いてＨＤＲ画像に階調変換処理を成すことができ、これによって互いに異なる複数の合成結果画像を生成することができる。
【００４４】
ＨＤＲ画像及び合成結果画像は、入力画像のダイナミックレンジを拡大した画像に相当する。複数の入力画像から入力画像のダイナミックレンジを拡大した画像を生成する方法として、公知の方法（例えば、特開２００８−１０９１７６号公報、特開２００８−１３６１１３号公報又は特開２０１０−９３６７９号公報に記載された方法）を含む任意のダイナミックレンジ拡大方法を利用可能である。
【００４５】
階調補正部５５は、１枚の入力画像に対して階調補正処理を施すことで当該入力画像の階調を補正する。階調補正後の入力画像を階調補正画像と呼ぶ。階調補正部５５は、入力画像の見かけ上のダイナミックレンジが拡大されるように（換言すれば、入力画像のダイナミックレンジが擬似的に拡大されるように）階調補正処理を行う。
【００４６】
階調補正画像も、入力画像のダイナミックレンジを拡大した画像に相当する。１枚の入力画像に対する階調補正により入力画像のダイナミックレンジを拡大する方法として、公知の方法（例えば、特開２０１０−９３６７９号公報に記載された方法）を含む任意のダイナミックレンジ拡大方法を利用可能である。
【００４７】
ＨＤＲ撮影要否判定部５６（以下、要否判定部５６と略記することがある）は、入力画像列の画像データに基づいてＨＤＲ撮影の要否を判定する。ＨＤＲ撮影とは、合成結果画像及び階調補正画像の生成元になる複数の入力画像の撮影を指す。要否判定部５６又はＣＰＵ２３は、ＨＤＲ撮影が必要と判断された場合においてのみ、合成結果画像及び階調補正画像の生成元になる複数の入力画像が撮影されるように、撮像部１１を制御することができる。ＨＤＲ撮影が必要と判断された場合においてのみ合成結果画像及び階調補正画像が生成されるため、要否判定部５６にて、合成結果画像及び階調補正画像の生成要否が判定されているとも言える。
【００４８】
優先順位設定部５７は、階調変換部５４から得られる複数の合成結果画像及び階調補正部５５から得られる階調補正画像に対して、優先順位を設定する。優先順位設定部５７は、優先順位の設定を入力画像列の画像データに基づいて行うことができる。
【００４９】
画像出力制御部５８は、複数の合成結果画像及び階調補正画像を表示部２７に表示させるための表示制御及び外部メモリ１８に記録させるための記録制御を行う。画像出力制御部５８は、優先順位設定部５７にて設定された優先順位に応じて表示制御及び記録制御を成すことができる。
【００５０】
以下、図４に示される各部位の動作を更に詳細を説明する。
【００５１】
［画像合成処理］
合成処理部５３による画像合成処理の一例を説明する。図５（ａ）及び（ｂ）を参照する。ここでは、２枚の入力画像３３１及び３３２からＨＤＲ画像３３３を生成する方法を説明する。入力画像３３１及び３３２は、共通の被写体を撮影することで得られた入力画像であり、互いになるだけ近接した時刻で撮影される。例えば、入力画像３３１及び３３２は、連続的に撮影された２枚の入力画像である。
【００５２】
露出制御部５２は、入力画像３３１の露出条件と入力画像３３２の露出条件とを互いに異ならせる。具体的には例えば、入力画像３３１の露光時間を入力画像３３２の露光時間よりも短く設定する。ここでは説明の具体化のため、長露光画像である入力画像３３２の露光時間が、短露光画像である入力画像３３１の露光時間の２倍であるものとし、露光時間以外の露出条件は入力画像３３１及び３３２間で同じであるとする。入力画像３３１の画素位置（ｘ，ｙ）における画素信号、入力画像３３２の画素位置（ｘ，ｙ）における画素信号及びＨＤＲ画像３３３の画素位置（ｘ，ｙ）における画素信号を、夫々、ＳＳ（ｘ，ｙ）、ＳＬ（ｘ，ｙ）及びＳＨ（ｘ，ｙ）にて表す。合成処理部５３は、入力画像３３１の各画素位置における画素信号に２を乗じることにより、図５（ｂ）の入力画像３３１’を生成することができる。入力画像３３１’の画素位置（ｘ，ｙ）における画素信号をＳＳ’（ｘ，ｙ）にて表す。ＳＳ’（ｘ，ｙ）＝２×ＳＳ（ｘ，ｙ）である。或る画素又は画素位置における画素信号は当該画素又は当該画素位置における映像信号を指し、映像信号はＲＡＷデータ形式にて表現される、或いは、映像信号は輝度信号及び色差信号を含む。
【００５３】
図６において、実線３４１は、入力画像３３１における入射光量と信号レベルとの関係を表し、実線３４２は、入力画像３３２における入射光量と信号レベルとの関係を表している。破線３４１’は、入力画像３３１’における入射光量と信号レベルとの関係を表している。ここにおける入射光量とは、単位時間当たりにおける撮像素子３３への入射光量を指し、信号レベルとは、入力画像における画素信号の大きさを指す。各画素位置において、理想的には入力画像３３２の信号レベルは入力画像３３１の信号レベルの２倍になり、結果、理想的には実線３４２と破線３４１’は完全に一致する。しかしながら、撮像素子３３はアナログデバイスであるため、入射光量と撮像素子３３の各受光画素の蓄積電荷量との間には、非線形性が存在する。この他、蓄積電荷の信号を増幅する増幅器にも非線形性が存在する。このため、正確には、入力画像３３２の信号レベルが入力画像３３１の信号レベルの２倍にならず、結果、実線３４２と破線３４１’も完全には重なり合わない。
【００５４】
図７を参照する。合成処理部５３は、入射光量が光量ＩＬ１以下の画素位置に対しては、入力画像３３２の画素信号がＨＤＲ画像３３３の画素信号として用いられるように、且つ、入射光量が光量ＩＬ２以上の画素位置に対しては、入力画像３３１’の画素信号がＨＤＲ画像３３３の画素信号として用いられるように、且つ、入射光量が光量ＩＬ１よりも大きいが光量ＩＬ２未満の画素位置に対しては、入力画像３３２の画素信号と入力画像３３１’の画素信号との混合信号がＨＤＲ画像３３３の画素信号として用いられるように、ＨＤＲ画像３３３の画素信号を生成する。ここで、０＜ＩＬ１＜ＩＬ２である。
【００５５】
より具体的には例えば、
ＳＬ（ｘ，ｙ）≦ＳＴＨ１の成立時には、ＳＨ（ｘ，ｙ）＝ＳＬ（ｘ，ｙ）となるように、
ＳＳ’（ｘ，ｙ）≧ＳＴＨ２の成立時には、ＳＨ（ｘ，ｙ）＝ＳＳ’（ｘ，ｙ）となるように、ＳＨ（ｘ，ｙ）を生成する。ＳＬ（ｘ，ｙ）≦ＳＴＨ１及びＳＳ’（ｘ，ｙ）≧ＳＴＨ２の双方が成立しないときには、ＳＬ（ｘ，ｙ）及びＳＳ’（ｘ，ｙ）を混合することによって、即ち、
ＳＨ（ｘ，ｙ）＝ｋＬ・ＳＬ（ｘ，ｙ）＋ｋＳ・ＳＳ’（ｘ，ｙ）
に従ってＳＨ（ｘ，ｙ）を生成する。ＳＴＨ１及びＳＴＨ２は、光量ＩＬ１及びＩＬ２に対応する信号閾値であり、０＜ＳＴＨ１＜ＳＴＨ２を満たす。
【００５６】
係数ｋＳ及びｋＬは、
ｋＳ＝（ＳＬ（ｘ，ｙ）−ＳＴＨ１）／（ＳＴＨ２−ＳＴＨ１）、及び、
ｋＬ＝１−ｋＳ
を満たすように設定される。但し、ｋＳ＞０且つｋＬ＞０且つｋＳ＋ｋＬ＝１を満たす範囲内で、ｋＳ及びｋＬの値を任意に決定することもできる（例えば、ｋＳ＝ｋＬ＝０．５、とすることも可能である）。
【００５７】
合成処理部５３は、ＨＤＲ画像３３３の画素信号ＳＨ（ｘ，ｙ）を得るための、上述のような処理を画素位置ごとに行う。これにより、ＨＤＲ画像３３３の全画素位置の画素信号が得られる（即ち、ＨＤＲ画像３３３が完成する）。入力画像３３１’は入力画像３３１の各画素信号を２倍にすることで得られた画像であるため、入力画像３３１’の内、比較的輝度の大きい部分の信号レベルは、撮像素子３３の信号飽和レベルＳＳＡＴを超える（図７参照）。従って、ＨＤＲ画像３３３のダイナミックレンジ３５２は、撮像素子３３のダイナミックレンジ３５１よりも広くなる。
【００５８】
［階調変換処理］
次に、階調変換部５４による階調変換処理について説明する。例として、上述のＨＤＲ画像３３３（図５（ａ）参照）に対し、階調変換処理を成す方法を説明する。図８の画像３６０は、ＨＤＲ画像３３３に階調変換処理を施して得られる画像であり、上述の合成結果画像（図４参照）に相当する。合成結果画像３６０の画素位置（ｘ，ｙ）における画素信号をＳＨ’（ｘ，ｙ）にて表す。
【００５９】
上述したように、階調変換部５４は、互いに異なる複数の階調変換条件を個別に用いてＨＤＲ画像３３３に階調変換処理を成すことができる。以下に説明する階調変換処理は、トーンマッピングとも呼ばれ、トーンマッピングによってＨＤＲ画像３３３の各画素信号のビット長ＢＬＨＤＲが、所望のビット長ＢＬＯＵＴに変換される。０＜ＢＬＯＵＴ＜ＢＬＨＤＲである。ビット長ＢＬＯＵＴは、例えば、表示部２７にて表示可能な画像のビット長と同じに設定される、或いは、所定の画像記録フォーマットに従った画像のビット長と同じに設定される。ビット長ＢＬＯＵＴは、入力画像の各画素信号のビット長と同じであっても良い。上記複数の階調変換条件には、互いに異なる第１及び第２の階調変換条件が含まれる。
【００６０】
第１の階調変換条件を用いた階調変換処理（以下、第１の階調変換処理とも呼ぶ）を説明する。第１の階調変換処理では、ＨＤＲ画像３３３の全体に対して共通の階調変換関数（gray-level transformation function）を設定し、該共通の階調変換関数を用いてＨＤＲ画像３３３の各画素信号を合成結果画像３６０の各画素信号に変換する。階調変換関数をグラフで表したものは、一般にトーンカーブ（tone curve）と呼ばれる。図９に、第１の階調変換条件の採用時に用いられるトーンカーブ３８０を示す。トーンカーブ３８０によって表される階調変換関数は、ＨＤＲ画像３３３の画素信号ＳＨ（ｘ，ｙ）と合成結果画像３６０の画素信号ＳＨ’（ｘ，ｙ）との関係を規定する関数である。トーンカーブ３８０による階調変換処理は、最も一般的な階調変換処理であるが、自然な階調圧縮を実現することができる。
【００６１】
第２の階調変換条件を用いた階調変換処理（以下、第２の階調変換処理とも呼ぶ）を説明する。第２の階調変換処理では、階調圧縮の自由度が高い、絵画調のトーンマッピングが可能である。以下、一方法例を説明する。第２の階調変換処理では、まず、図１０に示す如く、ＨＤＲ画像３３３に対して単純ビット長圧縮を施すことでＨＤＲ画像３３４を生成する。即ち例えば、図１１に示す如く、ＨＤＲ画像３３３の各画素信号を表すデジタル信号の内、下位側の（ＢＬＨＤＲ−ＢＬＯＵＴ）ビットを切り捨てることによって、ＨＤＲ画像３３４を生成する。そうすると、ＨＤＲ画像３３４の画素位置（ｘ，ｙ）における画素信号ＳＨＡ（ｘ，ｙ）のデジタル値は、画素信号ＳＨ（ｘ，ｙ）のデジタル値の１／（ＢＬＨＤＲ−ＢＬＯＵＴ）になる。一方で、ＨＤＲ画像３３４の各画素信号のビット長はＢＬＯＵＴになる。
【００６２】
図１２（ａ）に、ＨＤＲ画像３３４の輝度ヒストグラムＨＳＴ３３４を示す。第２の階調変換処理では、基準輝度ＬＲＥＦを設定し、基準輝度ＬＲＥＦ付近に輝度レベルが集中するようにＨＤＲ画像３３４の輝度ヒストグラムＨＳＴ３３４を変化させる。この変化後の輝度ヒストグラムが、図１２（ｂ）に示す合成結果画像３６０の輝度ヒストグラムＨＳＴ３６０である。具体的には以下のようにすれば良い。
【００６３】
ＨＤＲ画像３３４の全画素を、基準輝度ＬＲＥＦよりも低い輝度を有する画素である暗画素、又は、基準輝度ＬＲＥＦ以上の輝度を有する明画素に分類する。そして、各暗画素の画素信号に対しては１以上のゲインＧＵＰを乗じる一方で、各明画素の画素信号に対しては１以下のゲインＧＤＯＷＮを乗じることにより、合成結果画像３６０の各画素信号を生成する。即ち、合成結果画像３６０の画素位置（ｘ，ｙ）における画素信号ＳＨ’（ｘ，ｙ）は、ＨＤＲ画像３３４の画素位置（ｘ，ｙ）における画素が暗画素である場合には、
ＳＨ’（ｘ，ｙ）＝ＧＵＰ×ＳＨＡ（ｘ，ｙ）、に従って求められ、
ＨＤＲ画像３３４の画素位置（ｘ，ｙ）における画素が明画素である場合には、
ＳＨ’（ｘ，ｙ）＝ＧＤＯＷＭ×ＳＨＡ（ｘ，ｙ）、に従って求められる。
【００６４】
ゲインＧＵＰを１よりも大きな値に設定すると良い。また、暗画素の輝度と基準輝度ＬＲＥＦとの差が大きくなるに従って（ＧＵＰ−１）が大きくなるように、暗画素ごとに暗画素の輝度に応じてゲインＧＵＰの値を設定すると良い。但し、ゲインＧＵＰの値を、１よりも大きな一定値に固定することも可能である。
ゲインＧＤＯＷＮを１よりも小さな値に設定すると良い（但し、ＧＤＯＷＮ＞０）。また、明画素の輝度と基準輝度ＬＲＥＦとの差が大きくなるに従って（１−ＧＤＯＷＮ）が大きくなるように、明画素ごとに明画素の輝度に応じてゲインＧＤＯＷＮの値を設定すると良い。但し、ＧＤＯＷＮの値を、１よりも小さな一定値に固定することも可能である。
【００６５】
如何なる輝度を基準輝度ＬＲＥＦに設定するのかは任意である。通常は、合成結果画像３６０の中間階調付近に基準輝度ＬＲＥＦが設定される。輝度ヒストグラムＨＳＴ３３４において最大頻度を有する輝度を基準にして、基準輝度ＬＲＥＦを設定することもできる。
【００６６】
ゲインＧＵＰを各暗画素の画素信号に乗じると共にゲインＧＤＯＷＮを各明画素の画素信号に乗じることにより、輝度の頻度が基準輝度ＬＲＥＦ付近に集中化する。図１２（ｂ）の輝度ヒストグラムＨＳＴ３６０から、その集中化の様子が見てとれる。輝度ヒストグラムＨＳＴ３６０に対応する合成結果画像３６０は、絵画調のＨＤＲ画像であると言える。絵画調の画像とは、絵の具などの画材を用いて紙面に描いた絵の雰囲気を有する画像である。絵の具などの画材を用いて紙面に描いた絵は、一般に彩度が高い一方で濃淡変化が少ない。第２の階調変換処理では、彩度を維持しつつ濃淡変化が減少せしめられるため、時として幻想的な雰囲気を持つ絵画調の合成結果画像３６０が得られる。
【００６７】
絵画調の合成結果画像３６０を得るための第２の階調変換処理の方法として、公知の方法を用いることができ、例えば、非特許文献「Raanan Fattal、外２名、“Gradient Domain High Dynamic Range Compression”、［ｏｎｌｉｎｅ］、［平成２２年１０月３１日検索］、インターネット＜URL：http://www.cs.huji.ac.il/~danix/hdr/＞」に記載の方法、又は、非特許文献「Erik Reinhard、外３名、“Photographic Tone Reproduction for Digital Images”、［ｏｎｌｉｎｅ］、［平成２２年１０月３１日検索］、インターネット＜URL：http://www.cs.utah.edu/~reinhard/cdrom/＞」に記載の階調変換方法を用いることもできる。
【００６８】
［階調補正処理］
次に、階調補正部５５による階調補正処理について説明する。例として、短露光画像としての入力画像３３１（図５（ａ）参照）に対して階調補正処理を成す方法を説明する。図１３における画像３９０は、入力画像３３１に階調補正処理を施して得られる画像であり、上述の階調補正画像（図４参照）に相当する。階調補正画像３９０の画素位置（ｘ，ｙ）における画素信号をＳＣＳ（ｘ，ｙ）にて表す。
【００６９】
図１４（ａ）及び（ｂ）に、夫々、入力画像３３１の輝度ヒストグラムＨＳＴ３３１及び階調補正画像３９０の輝度ヒストグラムＨＳＴ３９０を示す。図１４（ｃ）の実線３９５は、入力画像３３１から階調補正画像３９０を得る際に用いるゲイン関数を表している。階調補正画像３９０の各画素信号は、ゲイン関数３９５に従うゲインＧＣを入力画像３３１の各画素信号に乗じることで得られる。即ち、
ＳＣＳ（ｘ，ｙ）＝ＧＣ×ＳＳ（ｘ，ｙ）、である。
【００７０】
ゲインＧＣの値は、入力画像３３１の各画素位置の輝度に応じて画素位置ごとに設定される。ＧＣＨ及びＧＣＬは、夫々、ゲインＧＣがとり得る数値範囲の上限値及び下限値である。画素信号ＳＳ（ｘ，ｙ）に乗じられるゲインＧＣは、入力画像３３１の画素位置（ｘ，ｙ）における輝度がゼロ又はゼロ近傍であるとき上限値ＧＣＨに設定され、入力画像３３１の画素位置（ｘ，ｙ）における輝度がゼロから増大するにつれて、上限値ＧＣＨから下限値ＧＣＬに向けて減少せしめられる。この減少は線形的な減少であってもよいし、非線形的な減少であっても良い。０＜ＧＣＬ＜ＧＣＨであり、例えば、ＧＣＬ＝１且つＧＣＨ＝２である。
【００７１】
上述のようなゲインＧＣを用いた階調補正により、短露光画像としての入力画像３３１各画素の階調は高輝度側にシフトされ、そのシフトの程度は、暗い画素に対してほど大きくなる。結果、高輝度側の画像情報を維持したまま低輝度側の画像情報が比較的大きなビット長を用いて表現されるようになり、見かけ上、ダイナミックレンジが拡大されたような階調補正画像３９０を生成することが可能となる。
【００７２】
尚、上述の方法例では、短露光画像としての入力画像３３１から階調補正画像を生成しているが、長露光画像としての入力画像３３２から階調補正画像を生成することも可能である。
【００７３】
［ＨＤＲ撮影の要否判定］
次に、図４の要否判定部５６による、ＨＤＲ撮影の要否判定方法を説明する。図１５（ａ）及び（ｂ）を参照する。要否判定部５６は、ＨＤＲ撮影要否判定用期間（以下、判定用期間と略記することがある）内に撮影された入力画像の画像データに基づき、ＨＤＲ撮影の要否を判定することができる。時間が進行するにつれ、時刻ｔＡ、ｔＢ及びｔＣが、この順番で訪れるものとする。判定用期間は、時刻ｔＡから時刻ｔＢまでの期間である。また、時刻ｔＢから時刻ｔＣまでの期間を本撮影期間と呼ぶ。本撮影期間は、合成結果画像及び階調補正画像の元となる複数の入力画像が撮影される期間であり、以下では、本撮影期間中に撮影される入力画像を特に対象入力画像とも呼ぶ（図１５（ｂ）参照）。図５（ａ）の入力画像３３１及び３３２の夫々は対象入力画像である。
【００７４】
また、時刻ｔＢより前に撮影される各入力画像をプレビュー画像とも呼び、更に、判定用期間内に撮影される各入力画像を判定用画像とも呼ぶ（図１５（ｂ）参照）。判定用画像はプレビュー画像の一種である。プレビュー画像は所定のフレーム周期で順次撮影され、得られたプレビュー画像列は動画像として表示部２７に表示されてユーザによる構図確認に利用される。
【００７５】
本撮影期間の開始時刻である時刻ｔＢを、ユーザの指示によって決定することができる。判定用期間の開示時刻である時刻ｔＡは、ユーザの指示によって決定されても良いし、時刻ｔＢを基準にして定められても良い（例えば、時刻ｔＢから所定時間前が時刻ｔＡであると定めても良い）。ここでは、時刻ｔＢと同様、時刻ｔＡもユーザの指示によって決定されることを想定し、シャッタボタン２６ｂに対して半押し操作、全押し操作が成された時点が、夫々、時刻ｔＡ、ｔＢに相当すると考える。シャッタボタン２６ｂは２段階の押下操作が可能なボタンであり、シャッタボタン２６ｂに圧力が付与されていない開放状態からユーザがシャッタボタン２６ｂを軽く押しこむとシャッタボタン２６ｂの状態は半押し状態となり、その状態から更にユーザがシャッタボタン２６ｂを押しこむとシャッタボタン２６ｂの状態は全押し状態となる。シャッタボタン２６ｂの状態を開放状態から半押し状態へと変化させる操作が半押し操作であり、シャッタボタン２６ｂの状態を半押し状態から全押し状態へと変化させる操作が全押し操作である。
【００７６】
判定用期間において、露出制御部５２（図４参照）は、露光時間ＥＴＳと露光時間ＥＴＳよりも長い露光時間ＥＴＬを設定し、図１６に示す如く、露光時間ＥＴＳによる入力画像の撮影と露光時間ＥＴＬによる入力画像の撮影とが交互に行われるように露出制御を行う。判定用期間において、露光時間ＥＴＳが特定の露光時間ＥＴＳＯに収束するように且つ露光時間ＥＴＬが特定の露光時間ＥＴＬＯに収束するように、露光時間ＥＴＳ及びＥＴＬは逐次変更される。露光時間ＥＴＬＯは、露光時間ＥＴＳＯよりも長い。
【００７７】
図１６において、画像４１１〜４１６は、夫々、判定用期間において連続的に撮影された判定用画像である。判定用画像の内、露光時間ＥＴＳにて撮影された判定用画像を短露光判定用画像とも呼び、露光時間ＥＴＬにて撮影された判定用画像を長露光判定用画像とも呼ぶ。画像４１１、４１３及び４１５は、夫々、第１、第２及び第３枚目の短露光判定用画像であり、画像４１２、４１４及び４１６は、夫々、第１、第２及び第３枚目の長露光判定用画像である。
【００７８】
図１７（ａ）及び（ｂ）は、夫々、任意の短露光判定用画像の輝度ヒストグラムＨＳＴＳ及び任意の長露光判定用画像の輝度ヒストグラムＨＳＴＬを表している。要否判定部５６は、短露光判定用画像及び長露光判定用画像の画像データに基づき、短露光判定用画像において所定の基準輝度ＬＴＨ１以上の輝度を有する画素の総数ＰＮＵＭＳ及び長露光判定用画像において所定の基準輝度ＬＴＨ２以下の輝度を有する画素の総数ＰＮＵＭＬを求める。総数ＰＮＵＭＳは図１７（ａ）の斜線領域の面積に相当し、総数ＰＮＵＭＬは図１７（ｂ）の斜線領域の面積に相当する。総数ＰＮＵＭＳの導出は短露光判定用画像ごとに行われ、総数ＰＮＵＭＬの導出は長露光判定用画像ごとに行われる。
【００７９】
露出制御部５２は、導出されたＰＮＵＭＳの値を参照して、ＰＮＵＭＳを基準値ＲＥＦＳ以下にするための露光時間ＥＴＳを探索すると共に、導出されたＰＮＵＭＬの値を参照して、ＰＮＵＭＬを基準値ＲＥＦＬ以下にするための露光時間ＥＴＬを探索する。より具体的には、短露光判定用画像４１１について導出されたＰＮＵＭＳに基づき、短露光判定用画像４１３又は４１５について導出されることになるＰＮＵＭＳが“ＲＥＦＳ−ΔＲＥＦＳ≦ＰＮＵＭＳ≦ＲＥＦＳ”を満たすように、露出制御部５２は、短露光判定用画像４１３又は４１５に対する露光時間ＥＴＳを調整する。同様に、長露光判定用画像４１２について導出されたＰＮＵＭＬに基づき、長露光判定用画像４１４又は４１６について導出されることになるＰＮＵＭＬが“ＲＥＦＬ−ΔＲＥＦＬ≦ＰＮＵＭＬ≦ＲＥＦＬ”を満たすように、露出制御部５２は、長露光判定用画像４１４又は４１６に対する露光時間ＥＴＳを調整する。ＲＥＦＳ、ＲＥＦＬ、ΔＲＥＦＳ及びΔＲＥＦＬの各値を予め設定しておくことができる。ＲＥＦＳ、ＲＥＦＬ、ΔＲＥＦＳ及びΔＲＥＦＬは全て正の整数値を有し、ＲＥＦＳ＞ΔＲＥＦＳ、且つ、ＲＥＦＬ−ΔＲＥＦＬ、である。
【００８０】
露光時間ＥＴＳ及びＥＴＬの調整により、判定用期間において、露光時間ＥＴＳは特定の露光時間ＥＴＳＯに収束し且つ露光時間ＥＴＬは特定の露光時間ＥＴＬＯに収束する。例えば、これらの調整の結果、短露光判定用画像４１５について導出されたＰＮＵＭＳが“ＲＥＦＳ−ΔＲＥＦＳ≦ＰＮＵＭＳ≦ＲＥＦＳ”を満たすように、且つ、長露光判定用画像４１６について導出されたＰＮＵＭＬが“ＲＥＦＬ−ΔＲＥＦＬ≦ＰＮＵＭＬ≦ＲＥＦＬ”を満たすように、判定用画像４１５及び４１６の露光時間が設定される。そうすると、短露光判定用画像４１５の露光時間ＥＴＳを露光時間ＥＴＳＯに代入すると共に、長露光判定用画像４１６の露光時間ＥＴＬを露光時間ＥＴＬＯに代入することができる。
【００８１】
要否判定部５６は、上記調整を経て得られる短露光判定用画像及び長露光判定用画像の露出条件に基づき、ＨＤＲ撮影の要否を判定する。具体的には、
要否判定不等式“ＥＴＬＯ／ＥＴＳＯ≧Ｊ”
が満たされる場合、ＨＤＲ撮影が必要であると判断する一方、その要否判定不等式が満たされない場合、ＨＤＲ撮影が不要であると判断する。Ｊは、１よりも大きな所定値であり、例えばＪ＝２である。後に述べるように、本撮影期間に撮影される入力画像３３１及び３３２（図５参照）の露光時間は露光時間ＥＴＳＯ及びＥＴＬＯを基準に設定される。これを考慮すれば、“ＥＴＬＯ／ＥＴＳＯ＜Ｊ”であるとき（即ち、ＥＴＳＯとＥＴＬＯとの間に、あまり差がないとき）、ダイナミックレンジ拡大用の処理を行っても、その処理の効果は小さい或いは殆ど無い。このことから、上記要否判定不等式の意義が理解される。
【００８２】
［対象入力画像について］
ＨＤＲ撮影が必要と判断されたときに、本撮影期間において撮影される対象入力画像の枚数は２であっても良い（図１５（ａ）及び（ｂ）参照）。この場合、本撮影期間において、図１８に示す２枚の対象入力画像５０１及び５０２が連続的に撮影される。対象入力画像５０１及び５０２は、夫々、図５（ａ）の入力画像３３１及び３３２と同じものである。露出制御部５２は、対象入力画像５０１及び５０２の露光時間を、それぞれ露光時間ＥＴＳＯ及びＥＴＬＯを基準にして設定する。単純には例えば、露光時間ＥＴＳＯをそのまま対象入力画像５０１の露光時間に設定すると共に露光時間ＥＴＬＯをそのまま対象入力画像５０２の露光時間に設定することができる。或いは例えば、所定の規則に従って露光時間ＥＴＳＯを増加又は減少させて露光時間ＥＴＳＯ’を求め、露光時間ＥＴＳＯ’を対象入力画像５０１の露光時間に設定しても良い。同様に、所定の規則に従って露光時間ＥＴＬＯを増加又は減少させて露光時間ＥＴＬＯ’を求め、露光時間ＥＴＬＯ’を対象入力画像５０２の露光時間に設定しても良い。但し、露光時間ＥＴＬＯ’は露光時間ＥＴＳＯ及びＥＴＳＯ’よりも長い。
【００８３】
対象入力画像５０１及び５０２に対し、第１のＨＤＲ処理を施すことで合成結果画像５１１が得られ、第２のＨＤＲ処理を施すことで合成結果画像５１２が得られ、第３のＨＤＲ処理を施すことで階調補正画像５１３が得られる。第１及び第２のＨＤＲ処理は合成処理部５３及び階調変換部５４によって成され、第３のＨＤＲ処理は階調補正部５５によって成される。
第１のＨＤＲ処理は画像合成処理と第１の階調変換処理から成る。即ち、対象入力画像５０１及び５０２を合成する画像合成処理によりＨＤＲ画像を生成した後、そのＨＤＲ画像に第１の階調変換処理を施すことで合成結果画像５１１が得られる。合成結果画像５１１は、第１の階調変換処理を用いた場合における、上述の合成結果画像３６０（図８参照）に相当する。
第２のＨＤＲ処理は画像合成処理と第２の階調変換処理から成る。即ち、対象入力画像５０１及び５０２を合成する画像合成処理によりＨＤＲ画像を生成した後、そのＨＤＲ画像に第２の階調変換処理を施すことで合成結果画像５１２が得られる。合成結果画像５１２は、第２の階調変換処理を用いた場合における、上述の合成結果画像３６０（図１０参照）に相当する。
第３のＨＤＲ処理は階調補正処理から成る。即ち、対象入力画像５０１又は５０２に階調補正処理を施すことで階調補正画像５１３が得られる。階調補正画像５１３は、図１３の階調補正画像３９０に相当する。
【００８４】
ＨＤＲ撮影が必要と判断されたときに、本撮影期間において撮影される対象入力画像の枚数は３枚以上であっても良い。例えば、本撮影期間において、図１９に示す５枚の対象入力画像５２１〜５２５が連続的に撮影されても良い。対象入力画像５２１〜５２５は、共通の被写体を撮影することで得られる。露出制御部５２は、対象入力画像５２１、５２３及び５２５の露光時間を、露光時間ＥＴＳＯを基準にして設定する。例えば、露光時間ＥＴＳＯ又はＥＴＳＯ’を、対象入力画像５２１、５２３及び５２５の露光時間に設定することができる。対象入力画像５２１、５２３及び５２５の露出条件は互いに一致していても良いし、互いに異なっていても良い。露出制御部５２は、対象入力画像５２２及び５２４の露光時間を、露光時間ＥＴＬＯを基準にして設定する。例えば、露光時間ＥＴＬＯ又はＥＴＬＯ’を、対象入力画像５２２及び５２４の露光時間に設定することができる。対象入力画像５２２及び５２４の露出条件は互いに一致していても良いし、互いに異なっていても良い。尚、上述の説明とは異なるが、露光時間ＥＴＬＯ又はＥＴＬＯ’を対象入力画像５２５の露光時間に設定することも可能である。
【００８５】
対象入力画像５２１及び５２２に対し、第１のＨＤＲ処理を施すことで合成結果画像５３１が得られる。即ち、対象入力画像５２１及び５２２を合成する画像合成処理によりＨＤＲ画像を生成した後、そのＨＤＲ画像に第１の階調変換処理を施すことで合成結果画像５３１が得られる。
対象入力画像５２３及び５２４に対し、第２のＨＤＲ処理を施すことで合成結果画像５３２が得られる。即ち、対象入力画像５２３及び５２４を合成する画像合成処理によりＨＤＲ画像を生成した後、そのＨＤＲ画像に第２の階調変換処理を施すことで合成結果画像５３２が得られる。
対象入力画像５２５に対し、第３のＨＤＲ処理を施すことで階調補正画像５３３が得られる。即ち、対象入力画像５２５に階調補正処理を施すことで階調補正画像５３３が得られる。
【００８６】
以下では（図１８及び図１９参照）、第１のＨＤＲ処理にて得られた合成結果画像（５１１又は５３１）を第１の出力ＨＤＲ画像とも呼び、第２のＨＤＲ処理にて得られた合成結果画像（５１２又は５３２）を第２の出力ＨＤＲ画像とも呼び、第３のＨＤＲ処理にて得られた階調補正画像（５１３又は５３３）を第３の出力ＨＤＲ画像とも呼ぶ。
【００８７】
［動作フローチャート］
図４に示される優先順位設定部５７の機能説明の前に、図２０を参照して、撮像装置１の動作手順を説明する。図２０は、ＨＤＲ撮影に関与する動作の手順を表すフローチャートである。
【００８８】
撮影モードにおける動作が開始されると、ステップＳ１１においてプレビュー画像列の撮影が開始される。得られたプレビュー画像列は動画像として表示される。一方で、ステップＳ１２において、ＣＰＵ２３は、シャッタボタン２６ｂに対して半押し操作が成されたか否かを監視し、半押し操作が成されるとステップＳ１２からステップＳ１３への遷移が発生する。ステップＳ１３において、要否判定部５６は、プレビュー画像の一種である判定用画像の画像データに基づきＨＤＲ撮影の要否判定を行い、一方で、ステップＳ１４では、シャッタボタン２６ｂに対して全押し操作が成されたか否かがＣＰＵ２３により監視される。ステップＳ１４において、全押し操作が成されたことが確認されるとステップＳ１５への遷移が発生し、以後、ステップＳ１６〜Ｓ１９の処理又はステップＳ２０の処理が実行される。要否判定部５６によりＨＤＲ撮影が必要と判断されている場合には、ステップＳ１６〜Ｓ１９の処理が順次実行され、ＨＤＲ撮影が不要と判断されている場合にはステップＳ２０の処理が実行される。
【００８９】
ステップＳ２０では、１枚の入力画像が撮影されて、得られた入力画像の表示及び外部メモリ１８への記録が成される。これに対し、ステップＳ１６では、複数の露出条件にて複数の対象入力画像（例えば、図１８の対象入力画像５０１及び５０２、又は、図１９の対象入力画像５２１〜５２５）が連続的に撮影される。ステップＳ１７では、ステップＳ１６で得られた複数の対象入力画像に対し、第１〜第３のＨＤＲ処理が実行され、これによって第１〜第３の出力ＨＤＲ画像が生成される。
【００９０】
続くステップＳ１８において、図４の優先順位設定部５７は、第１〜第３の出力ＨＤＲ画像に対して優先順位を設定するための処理（以下、優先順位設定処理という）を実行する。優先順位設定処理によって、第１〜第３の出力ＨＤＲ画像の夫々に、第１、第２又は第３の優先順位が１つずつ付与される。第１の優先順位は第２の優先順位よりも高い優先順位であり、第２の優先順位は第３の優先順位よりも高い優先順位である。その後のステップＳ１９において、図４の画像出力制御部５８は、優先順位に従って第１〜第３の出力ＨＤＲ画像の表示及び外部メモリ１８への記録を成す。ステップＳ１９において、１又は２つの出力ＨＤＲ画像しか表示されないこともあるし、１又は２つの出力ＨＤＲ画像しか外部メモリ１８に記録されないこともある。
【００９１】
優先順位に従った第１〜第３の出力ＨＤＲ画像の表示及び記録方法の例として、第１〜第３の表示／記録方法を説明する。
【００９２】
第１の表示／記録方法を説明する。第１の表示／記録方法では、図２１（ａ）に示す如く、表示画面の全表示領域内に互いに異なる表示領域５５１〜５５３を設け、ユーザからの特段の指示がない限り、図２１（ｂ）に示す如く、表示領域５５１〜５５３に、それぞれ第１〜第３の優先順位が与えられた出力ＨＤＲ画像を表示する。ここで、表示領域５５１の大きさは、表示領域５５２及び５５３のそれらよりも大きい。表示領域５５２の大きさは、表示領域５５３のそれよりも大きくてもよいし、表示領域５５２及び５５３の大きさは互いに同じであっても良い。ユーザは、操作部２６に対する所定操作又はタッチパネル操作により、表示領域５５１に表示される出力ＨＤＲ画像を、第１〜第３の出力ＨＤＲ画像の中で切り替えることができる。
第１の表示／記録方法において、ユーザの記録指示があったとき、表示領域５５１に表示されている出力ＨＤＲ画像のみを外部メモリ１８に記録すると良い。記録指示は、操作部２６に対する所定操作又はタッチパネル操作によって実現される。
【００９３】
第２の表示／記録方法を説明する。第２の表示／記録方法では、図２１（ｃ）に示す如く、表示画面の全表示領域内に互いに異なる表示領域５６１〜５６４を設け、図２１（ｄ）に示す如く、表示領域５６２〜５６４に、夫々、第１〜第３の優先順位が与えられた出力ＨＤＲ画像を表示する。表示領域５６２〜５６４の大きさを互いに同じにしておくことができる。一方で、表示領域５６１の大きさは、表示領域５６２〜５６４のそれらよりも大きい。表示領域５６１には、第１〜第３の出力ＨＤＲ画像の中から選択された出力ＨＤＲ画像が拡大表示される。ユーザからの特段の指示がない限り、表示領域５６１には、第１優先順位が与えられた出力ＨＤＲ画像が表示される（図２１（ｄ）参照）。ユーザは、操作部２６に対する所定操作又はタッチパネル操作により、表示領域５６１に表示される出力ＨＤＲ画像を、第１〜第３の出力ＨＤＲ画像の中で切り替えることができる。
第２の表示／記録方法において、ユーザの記録指示があったとき、表示領域５６１に表示されている出力ＨＤＲ画像のみを外部メモリ１８に記録すると良い。
【００９４】
第３の表示／記録方法を説明する。第３の表示／記録方法では、図２１（ｅ）に示す如く、１つの時刻に１枚の出力ＨＤＲ画像しか表示しない。ユーザからの特段の指示がない限り、第１の優先順位が与えられた出力ＨＤＲ画像のみが表示される。ユーザは、スクロール指示を撮像装置１に与えることにより、表示画面に表示される出力ＨＤＲ画像を、第１〜第３の出力ＨＤＲ画像の中で切り替えることができる。スクロール指示は、操作部２６に対する所定操作又はタッチパネル操作によって実現される。第１の優先順位の出力ＨＤＲ画像が表示されている状態において１回分のスクロール指示が成されると、表示画像が第１の優先順位の出力ＨＤＲ画像から第２の優先順位の出力ＨＤＲ画像に切り替わり、第２の優先順位の出力ＨＤＲ画像が表示されている状態において１回分のスクロール指示が成されると、表示画像が第２の優先順位の出力ＨＤＲ画像から第１又は第３の優先順位の出力ＨＤＲ画像に切り替わる。
第３の表示／記録方法において、ユーザの記録指示があったとき、表示されている出力ＨＤＲ画像のみを外部メモリ１８に記録すると良い。
【００９５】
尚、第１〜第３の表示／記録方法において、第１の優先順位の出力ＨＤＲ画像のみを常に外部メモリ１８に記録するようにしても良いし、或いは、第１、第２及び第３の優先順位の出力ＨＤＲ画像が夫々第１、第２及び第３番目に外部メモリ１８に記録されるように第１〜第３の出力ＨＤＲ画像の並べ替えを行った上で、第１〜第３の出力ＨＤＲ画像を全て外部メモリ１８に記録するようにしても良い。優先順位に応じた上述の表示／記録方法例は、あくまで例示であり、第１〜第３の出力ＨＤＲ画像の表示又は記録に対して、優先順位に応じた何らかの序列を与える任意の方法を採用可能である。
【００９６】
［優先順位設定処理］
優先順位設定部５７は、プレビュー画像列の画像データから抽出された設定指標に基づき、第１〜第３の出力ＨＤＲ画像に対して優先順位を設定することができる。設定指標の抽出方法の説明を交えながら、優先順位設定処理を詳説する。
【００９７】
優先順位を設定するために、露出制御部５２（図４参照）は、２つの露光時間ＥＴＳ及びＥＴＬを設定し、露光時間ＥＴＳによる入力画像の撮影と露光時間ＥＴＬによる入力画像の撮影とが交互に行われるように露出制御を行う。このような露出制御が行われる期間は、図１５（ａ）の本撮影期間前に設定され、上記の判定用期間と同じであっても良いし異なっていてもよい。ここでは、優先順位を設定するため行われる、露光時間ＥＴＳによる入力画像と露光時間ＥＴＬによる入力画像との交互撮影が、図１５（ｂ）の判定用期間中に成されると考える。そうすると、図１６の判定用画像４１１〜４１６の画像データが、優先順位の設定に利用される。
【００９８】
図４の優先順位設定部５７又は画像処理部５０に、任意の２枚の入力画像間のオプティカルフローを導出する動き検出部７１（図２２参照）を設けておくことができる。動き検出部７１は、時間的に隣接する２枚の短露光判定用画像間のオプティカルフローを導出し、時間的に隣接する２枚の長露光判定用画像間のオプティカルフローを導出する。判定用画像４１１〜４１６に対しては、図２３に示す如く、画像４１１及び４１３間のオプティカルフローと、画像４１２及び４１４間のオプティカルフローと、画像４１３及び４１５間のオプティカルフローと、画像４１４及び４１６間のオプティカルフローと、が導出される。
【００９９】
第１及び第２入力画像間のオプティカルフローは、第１及び第２入力画像上に現われる物体の動きベクトルの束である。或る物体の動きベクトルは、当該物体の動きの向き及び大きさを表すベクトル量である。動き検出部７１は、導出したオプティカルフローごとに、オプティカルフローを形成する動きベクトルの大きさの平均値又は積算値を動き評価値として求める。優先順位設定部５７は、動き評価値を優先順位設定用の第１の設定指標として用いた上で、優先順位を設定することができる（設定の詳細は図２４（ａ）及び（ｂ）を参照して後述する）。
【０１００】
また、図４の優先順位設定部５７又は画像処理部５０に、図２２のフリッカ検出部７２を設けておくことができる。
【０１０１】
撮像素子３３は、電子シャッタ機能を備えており、所謂ローリングシャッタによって各受光画素の露光を実施する。ローリングシャッタでは、撮像面の各受光画素が露光されるタイミング（時刻）が水平ラインごとに異なる。つまり、撮像面において、互いに異なる水平ライン間では露光タイミングが互いに異なる。非インバータ式の蛍光灯の照明下で、ローリングシャッタ特性を有する撮像素子３３（ＸＹアドレス型のＣＭＯＳイメージセンサ等）を用いて撮影を行った場合、各入力画像の露光時間を蛍光灯の発光周期より著しく短くすると、各入力画像において垂直方向の輝度ムラが生じる。このような、各々の入力画像において発生しうる輝度ムラを、フレーム内フリッカと呼ぶ。非インバータ式の蛍光灯とは、インバータを用いることなく、商用交流電源によって直接点灯される蛍光灯を意味する。また、撮影のフレームレートと非インバータ式の蛍光灯を駆動する商用交流電源の周波数とが異なる場合、垂直方向の輝度ムラの状態がフレーム間で変化し、時間方向に輝度のフリッカが生じる。このような、時間方向に生じる輝度のフリッカ（互いに異なる入力画像間で輝度が変化することによるフリッカ）をフレーム間フリッカと呼ぶ。
【０１０２】
フリッカ検出部７２は、露光時間ＥＴＳによる入力画像の撮影と露光時間ＥＴＬによる入力画像の撮影とを交互に行うことで得られた判定用画像列（例えば、図１６の判定用画像４１１〜４１６）に基づき、フリッカの有無を検出することができる。有無検出の対象となるフリッカは、少なくともフレーム内フリッカを含み、更にフレーム間フリッカをも含みうる。フリッカ検出部７２は、公知のフリッカ検出方法（例えば、特開２００８−１０９２５３号公報）を利用することができる。例えば、判定画像列のフレームレートを６０ｆｐｓ（frame per second）に設定し、且つ、露光時間ＥＴＳを１／２４０秒に設定すると共に露光時間ＥＴＬを１／６０秒に設定する。この場合において、撮像装置１の光源が非インバータ式の蛍光灯であると、短露光判定用画像では垂直方向に輝度ムラが発生する一方で長露光判定用画像では垂直方向に輝度ムラが全く又は殆ど発生しない。従って、時間的に隣接する短露光判定用画像と長露光判定用画像との間で垂直方向の輝度分布を対比することにより、判定用画像列にフリッカが存在しているか否かを判定することができる。フリッカ検出部７２は、判定用画像列にフリッカが存在していると判定した場合、対象入力画像列にもフリッカが存在すると判断することができる。
【０１０３】
フリッカ検出部７２は、判定用画像列及び対象入力画像列にフリッカが存在するか否かを表すフリッカ有無信号を出力する。判定用画像列及び対象入力画像列にフリッカが存在すると判定した場合、「１」の値を有するフリッカ有無信号を出力し、判定用画像列及び対象入力画像列にフリッカが存在すると判定しなかった場合、「０」の値を有するフリッカ有無信号を出力する。優先順位設定部５７は、フリッカ有無信号を優先順位設定用の第２の設定指標として用いた上で、優先順位を設定することができる（設定の詳細は図２４（ａ）及び（ｂ）を参照して後述する）。
【０１０４】
また、図４の優先順位設定部５７又は画像処理部５０に、図２２の彩度検出部７３を設けておくことができる。彩度検出部７３は、判定用期間に得られた判定用画像から１枚以上の判定用画像を抽出し、抽出した判定用画像の彩度に応じた彩度評価値を算出する。判定用期間内の判定用画像から任意の１枚の判定用画像を抽出することができ、この場合、抽出した判定用画像の各画素の彩度の平均値を彩度評価値として算出すればよい。また例えば、判定用期間内の判定用画像から任意の複数の判定用画像を抽出することができ、この場合、抽出した複数の判定用画像の各画素における彩度の平均値を彩度評価値として算出すればよい。優先順位設定部５７は、彩度評価値を優先順位設定用の第３の設定指標として用いた上で、優先順位を設定することができる。
【０１０５】
判定用期間中に、プレビュー画像列の画像データから第１〜第３の設定指標又はそれの元になる情報を抽出して内部メモリ１７に保存しておくことができる。この場合、全押し操作後に、優先順位設定部５７は、保存された情報から第１〜第３の設定指標を得ることができる。但し、プレビュー画像列の画像データを必要分だけ内部メモリ１７又は外部メモリ１８に一時的に記録しておき、全押し操作後に、一時記録された画像データから第１〜第３の設定指標を導出するようにしてもよい。
【０１０６】
優先順位設定部５７は、第１〜第３の設定指標の内、少なくとも１つの設定指標に基づいて優先順位を設定することができる。
【０１０７】
図２４（ａ）に、第１及び第３の設定指標（即ち動き評価値及び彩度評価値）を用いた場合における優先順位の設定内容を示す。優先順位設定部５７は、動き評価値が所定の基準動き値以上であるとき「動きは大きい」と判断し、動き評価値が該基準動き値未満であるとき「動きは小さい」と判断する。また、優先順位設定部５７は、彩度評価値が所定の基準彩度値以上であるとき「彩度は高い」と判断し、彩度評価値が該基準彩度値未満であるとき「彩度は低い」と判断する。そして、
彩度が高く且つ動きが小さいと判断した場合には第１規則に従って、
彩度が低く且つ動きが小さいと判断した場合には第２規則に従って、
彩度が低く且つ動きが大きいと判断した場合には第３規則に従って、
彩度が高く且つ動きが大きいと判断した場合には第４規則に従って、
優先順位を設定する。
【０１０８】
第１規則が適用される場合、第２、第１及び第３の出力ＨＤＲ画像に、夫々、第１、第２及び第３の優先順位が与えられる。
第２規則が適用される場合、第１、第２及び第３の出力ＨＤＲ画像に、夫々、第１、第２及び第３の優先順位が与えられる。
第３規則が適用される場合、第３、第１及び第２の出力ＨＤＲ画像に、夫々、第１、第２及び第３の優先順位が与えられる。
第４規則が適用される場合、第３、第２及び第１の出力ＨＤＲ画像に、夫々、第１、第２及び第３の優先順位が与えられる。
【０１０９】
図２４（ｂ）に、第２及び第３の設定指標（即ちフリッカ有無信号及び彩度評価値）を用いた場合における優先順位の設定内容を示す。フリッカ有無信号の値が「１」であるときフリッカは有ると判断され、フリッカ有無信号の値が「０」であるときフリッカは無いと判断される。
彩度が高く且つフリッカが無いと判断した場合には第１規則に従って、
彩度が低く且つフリッカが無いと判断した場合には第２規則に従って、
彩度が低く且つフリッカが有ると判断した場合には第３規則に従って、
彩度が高く且つフリッカが有ると判断した場合には第４規則に従って、
優先順位を設定することができる。
【０１１０】
入力画像の彩度が高いとき、ユーザは、彩度の高い鮮やかな画像の取得を望んでいると推測されるため、自然なトーンマッピングを利用した第１の出力ＨＤＲ画像よりも、絵画調のＨＤＲ画像とも言うべき第２の出力ＨＤＲ画像の方が、ユーザの好みに合致する可能性が高い。これを考慮し、彩度評価値から彩度が高いと判断される場合には、第２の出力ＨＤＲ画像に付与される優先順位を第１の出力ＨＤＲ画像のそれよりも高める。
逆に、入力画像の彩度が低いときには、絵画調のＨＤＲ画像が望まれている可能性は比較的低いと推測されるため、自然なトーンマッピングを利用した出力ＨＤＲ画像の方がユーザに好まれやすいと考えられる。これを考慮し、彩度評価値から彩度が低いと判断される場合には、第１の出力ＨＤＲ画像に付与される優先順位を第２の出力ＨＤＲ画像のそれよりも高める。
【０１１１】
また、入力画像上の物体の動きが大きい場合又はフリッカが存在する場合、複数画像の合成が困難になることが多く、合成によって輪郭のぼけや二重像の発生等を招くこともある。これを考慮し、動き評価値から動きが大きいと判断される場合又はフリッカ有無信号からフリッカが有ると判断される場合には、第３の出力ＨＤＲ画像に付与される優先順位を第１及び第２の出力ＨＤＲ画像のそれらよりも高める。逆に、動き評価値から動きが小さいと判断される場合又はフリッカ有無信号からフリッカが無いと判断される場合には、複数画像の合成によるダイナミックレンジ拡大が有効に機能すると考えられるため、第３の出力ＨＤＲ画像に付与される優先順位を第１及び第２の出力ＨＤＲ画像のそれらよりも低くする。
【０１１２】
図２４（ａ）及び（ｂ）では２つの設定指標を用いて優先順位を決定しているが、第１〜第３の設定指標を全て用いて優先順位を決定しても良い。この場合、動きが小さいという第１条件、フリッカが無いという第２条件、及び、彩度が高いという第３条件を設定する。そして例えば、
第１〜第３条件が全て満たされる場合には第１規則に従って、
第３条件が満たされるが第１及び第２条件の少なくとも一方が満たされない場合には第４規則に従って、
第３条件は満たされないが第１及び第２条件が双方満たされる場合には第２規則に従って、
第３条件が満たされず且つ第１及び第２条件が少なくとも一方が満たされない場合には第３規則に従って、
優先順位を設定することができる。
【０１１３】
また、第１の設定指標のみを用いて優先順位を決定することも可能である。
この場合例えば、
動きが小さいと判断したときには第１規則に従って、
動きが大きいと判断したときには第４規則に従って優先順位を設定する、
或いは例えば、
動きが小さいと判断したときには第２規則に従って、
動きが大きいと判断したときには第３規則に従って優先順位を設定する。
【０１１４】
また、第２の設定指標のみを用いて優先順位を決定することも可能である。
この場合例えば、
フリッカが無いと判断したときには第１規則に従って、
フリッカが有ると判断したときには第４規則に従って優先順位を設定する、
或いは例えば、
フリッカが無いと判断したときには第２規則に従って、
フリッカが有ると判断したときには第３規則に従って優先順位を設定する。
【０１１５】
また、第３の設定指標のみを用いて優先順位を決定することも可能である。
この場合例えば、
彩度が高いと判断したときには第１規則に従って、
彩度が低いと判断したときには第２規則に従って、優先順位を設定する、
或いは例えば、
彩度が高いと判断したときには第４規則に従って、
彩度が低いと判断したときには第３規則に従って、優先順位を設定する。
【０１１６】
上述の撮像装置１によれば、複数のＨＤＲ処理によって複数の出力ＨＤＲ画像を生成することができる。このため、ユーザは、複数の出力ＨＤＲ画像の中から、自分の好みにあった出力ＨＤＲ画像を選択的に表示又は記録するといったことが可能となる。また、優先順位に応じた表示制御又は記録制御により、ユーザの好みに合っていると推測される出力ＨＤＲ画像を優先的に表示又は記録することができる。ユーザの好みに沿った優先表示又は優先記録が、ユーザの利便性向上（ユーザの操作負担軽減など）に寄与することは言うまでもない。仮に、高い優先順位を与えられた出力ＨＤＲ画像がユーザの好みに合ったものでない場合においても、ユーザは、低い優先順位が与えられた出力ＨＤＲ画像の中から、好みの出力ＨＤＲ画像を選択的に表示又は記録させることができる。また、ＨＤＲ撮影の要否判定により、必要性の少ないＨＤＲ撮影及びＨＤＲ処理の実行を回避することができる。
【０１１７】
尚、当然ではあるが、ＨＤＲ処理は、ＨＤＲ撮影が必要と判断されて対象入力画像が撮影されたときにのみ実行される。従って、要否判定部５６によるＨＤＲ撮影の要否判定は、ＨＤＲ処理の要否判定（ＨＤＲ処理の実行が必要か否かの判定）であるとも言え、出力ＨＤＲ画像の要否判定（出力ＨＤＲ画像の生成が必要か否かの判定）であるとも言える。
【０１１８】
［高優先順位の画像のみの生成］
図２０の動作では、生成した第１〜第３の出力ＨＤＲ画像に対して優先順位を設定しているが、ステップＳ１８の優先順位設定処理をステップＳ１７の処理の実行前に実行し、第１〜第３の出力ＨＤＲ画像の内、第１の優先順位が設定された出力ＨＤＲ画像のみ、或いは、第１及び第２の優先順位が設定された出力ＨＤＲ画像のみを生成するようにしても良い。このような生成を実現する方法を、便宜上、方法αと呼ぶ。
【０１１９】
方法αでは、例えば、
上記の第１規則が適用される状況下において、
第１〜第３の出力ＨＤＲ画像の内、第２の出力ＨＤＲ画像のみ、或いは、第２及び第１の出力ＨＤＲ画像のみを生成し、
上記の第２規則が適用される状況下において、
第１〜第３の出力ＨＤＲ画像の内、第１の出力ＨＤＲ画像のみ、或いは、第１及び第２の出力ＨＤＲ画像のみを生成し、
上記の第３規則が適用される状況下において、
第１〜第３の出力ＨＤＲ画像の内、第３の出力ＨＤＲ画像のみ、或いは、第３及び第１の出力ＨＤＲ画像のみを生成し、
上記の第４規則が適用される状況下において、
第１〜第３の出力ＨＤＲ画像の内、第３の出力ＨＤＲ画像のみ、或いは、第３及び第２の出力ＨＤＲ画像のみを生成する。
図４の画像出力制御部５８は、生成された出力ＨＤＲ画像を表示部２７に表示させることができると共に外部メモリ１８に記録させることができる。
【０１２０】
方法αでは、第１〜第３のＨＤＲ処理の内、１つ又は２つのＨＤＲ処理のみが選択的に実行され、第１〜第３の出力ＨＤＲ画像の内、１枚又は２枚の出力ＨＤＲ画像のみが生成される。このため、方法αでは、出力ＨＤＲ画像を生成するためのＨＤＲ処理の内容が優先順位に従って変更される、と言える。優先順位をプレビュー画像列の画像データから設定することができるため、方法αでは、出力ＨＤＲ画像を生成するためのＨＤＲ処理の内容がプレビュー画像列の画像データに基づいて変更される、とも言える。
【０１２１】
更に、方法αを、以下のような方法αＡに変形することもできる。方法αＡでは、第１及び第２の出力ＨＤＲ画像の内、より高い優先順位が設定された出力ＨＤＲ画像のみを生成する。従って、方法αＡを用いる場合、
上記の第１又は第４規則が適用される状況下においては、
第１及び第２の出力ＨＤＲ画像の内、第２の出力ＨＤＲ画像のみ生成するようにし、
上記の第２又は第３規則が適用される状況下においては、
第１及び第２の出力ＨＤＲ画像の内、第１の出力ＨＤＲ画像のみを生成するようにする。
図４の画像出力制御部５８は、生成された出力ＨＤＲ画像を表示部２７に表示させることができると共に外部メモリ１８に記録させることができる。
【０１２２】
方法αＡでは、第１及び第２のＨＤＲ処理の内、一方のＨＤＲ処理のみが選択され、選択されたＨＤＲ処理を用いて、第１及び第２の出力ＨＤＲ画像の内、一方の出力ＨＤＲ画像のみが生成される。このため、方法αと同様に、方法αＡにおいても、出力ＨＤＲ画像を生成するためのＨＤＲ処理の内容が優先順位に従って変更される、と言え、出力ＨＤＲ画像を生成するためのＨＤＲ処理の内容がプレビュー画像列の画像データに基づいて変更される、とも言える。他方、第１及び第２の出力ＨＤＲ画像は、常に画像合成処理及び階調変換処理を介して生成される。従って、方法αＡでは、出力ＨＤＲ画像を生成するための階調変換処理の内容が優先順位に従って変更される、と言え、出力ＨＤＲ画像を生成するための階調変換処理の内容がプレビュー画像列の画像データに基づいて変更される、とも言える。
【０１２３】
方法α又はαＡによれば、ユーザの好みに合っていると推測される出力ＨＤＲ画像を選択的に生成することが可能となる。
【０１２４】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１２５】
［注釈１］
上述の動作例では、画像処理部５０にて実現可能なＨＤＲ処理の種類数が３になっているが、その種類数は２以上であれば幾つでもよい。画像処理部５０から、ＨＤＲ処理の種類数と同数の出力ＨＤＲ画像を得ることができる。
【０１２６】
［注釈２］
図４に示される画像処理部５０、画像データ取得部５１及び画像出力制御部５８並びに図１に示される任意の部位（表示部２７等）は、撮像装置１以外の電子機器（不図示）に設けられていても良く、その電子機器上において上述の各動作を実現させても良い。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置１も、電子機器の一種である。
【０１２７】
［注釈３］
図１の撮像装置１及び上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１及び電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。特に、図４の各部位にて実現される機能の全部又は一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部又は一部を実現するようにしてもよい。
【符号の説明】
【０１２８】
１ 撮像装置
１１ 撮像部
２７ 表示部
５０ 画像処理部
５１ 画像データ取得部
５２ 露出制御部
５３ 合成処理部
５４ 階調変換部
５５ 階調補正部
５６ ＨＤＲ撮影要否判定部
５７ 優先順位設定部
５８ 画像出力制御部
【技術分野】
【０００１】
本発明は、撮像装置等の電子機器に関する。また、画像に対して様々な処理を施すための画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
撮影によって得られた入力画像のダイナミックレンジを拡大することで、ＨＤＲ（High Dynamic range）画像を生成する方法が知られている。
【０００３】
この方法を実現する一般的なＨＤＲ処理では、露出条件が互いに異なる複数の入力画像を合成することでダイナミックレンジの拡大を図っている。ダイナミックレンジが拡大された画像に対し、ビット長圧縮などを目的とした階調変換を成すことで、最終的なＨＤＲ画像を生成することも多い。また、単一画像に対して適切な階調補正を行うことにより、ダイナミックレンジ（見かけ上のダイナミックレンジ）を拡大する方法も提案されている。
【０００４】
この他、ダイナミックレンジの拡大を図った従来方法として、以下の第１及び第２従来方法が存在する。
【０００５】
第１従来方法に係る撮像装置は、単一画像に階調補正を行うことでダイナミックレンジを拡大する第１のダイナミックレンジ拡大手段と、互いに異なる露出条件にて撮影された複数の画像を合成することでダイナミックレンジを拡大する第２のダイナミックレンジ拡大手段と、第１及び第２のダイナミックレンジ拡大手段のどちらを用いてダイナミックレンジを拡大した画像を取得するかを選択する選択手段と、選択されたダイナミックレンジ拡大手段が必要とする画像を撮像手段に撮影させる手段と、を備える（例えば、下記特許文献１参照）。
【０００６】
第２従来方法に係る撮像装置は、互いに異なる露出条件にて撮影された複数の画像を合成することによりダイナミックレンジを拡大する画像合成手段を備え、画像合成手段において、画像の合焦状態の詳細度の高低に応じてダイナミックレンジ拡大幅を変更している（例えば、下記特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−０９３６７９号公報
【特許文献２】特開２００９−２１８８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
複数の画像を用いたＨＤＲ処理の結果画像は、当然に、処理の内容に依存して変化し、特に上記の階調変換に依存して大きく変化する。ユーザの好みに合った結果画像が生成されるように、階調変換を含むＨＤＲ処理の内容をユーザが指定するといったことも考えられるが、そのような指定は比較的大きな操作負担をユーザに課す。ユーザに過度の負担を与えることなく、ユーザの好みに合った結果画像を提供することができれば有益であることは言うまでもないが、上記第１及び第２従来方法を含む従来方法では、これが十分に実現されていない。
【０００９】
そこで本発明は、ユーザの好みに合ったダイナミックレンジ拡大画像の提供に寄与する電子機器、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る第１の電子機器は、互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得部と、前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理部と、前記合成処理部の生成画像に対し、互いに異なる複数の階調変換条件を個別に用いて階調変換を行うことにより複数の合成結果画像を生成する階調変換部と、を備えたことを特徴とする。
【００１１】
これにより、ユーザは、複数の合成結果画像の中から、自分の好みにあった合成結果画像（ダイナミックレンジ拡大画像）を抽出することが可能となる。
【００１２】
そして例えば、前記入力画像列の画像データに基づき前記複数の合成結果画像に対して優先順位を設定する優先順位設定部と、前記優先順位に応じて前記複数の合成結果画像の表示又は記録を制御する画像出力制御部とを、前記第１の電子機器に更に設けると良い。
【００１３】
これにより、ユーザの好みに合っていると推測される合成結果画像を優先的に表示又は記録することが可能となる。
【００１４】
また例えば、前記ｎ枚の入力画像に含まれる１枚の入力画像に階調補正を行うことで階調補正画像を生成する階調補正部を、前記第１の電子機器に更に設けてもよい。
【００１５】
そして例えば、前記入力画像列の画像データに基づき前記複数の合成結果画像及び前記階調補正画像に対して優先順位を設定する優先順位設定部と、前記優先順位に応じて前記複数の合成結果画像及び前記階調補正画像の表示又は記録を制御する画像出力制御部とを、前記第１の電子機器に更に設けても良い。
【００１６】
これにより、ユーザの好みに合っていると推測される合成結果画像又は階調補正画像を優先的に表示又は記録することが可能となる。
【００１７】
具体的は例えば、前記優先順位設定部は、前記入力画像列の画像データに基づいて、前記入力画像列上の物体の動き、前記入力画像列におけるフリッカの有無、及び、前記入力画像列における彩度の内の１以上を評価し、評価結果に基づいて前記優先順位を設定しても良い。
【００１８】
また例えば、前記第１の電子機器は、前記入力画像列の画像データを撮影によって取得する撮像装置であって、前記入力画像列を形成する各入力画像の露出条件を設定する露出条件設定部と、前記複数の合成結果画像を生成することの要否を判定する要否判定部と、を更に備え、前記複数の合成結果画像を生成するか否かは、前記要否の判定結果に従って定められ、前記ｎ枚の入力画像に先立って撮影される入力画像には、第１及び第２の判定用入力画像が含まれ、前記露出条件設定部は、前記第１の判定用入力画像において所定の第１基準輝度以上の輝度を有する画素の数が所定の第１基準値以下になるように、前記第１の判定用入力画像の撮影時における第１の露出条件を設定するとともに、前記第２の判定用入力画像において所定の第２基準輝度以下の輝度を有する画素の数が所定の第２基準値以下になるように、前記第２の判定用入力画像の撮影時における第２の露出条件を設定し、前記要否判定部は、前記第１及び第２の露出条件に基づいて前記要否の判定を行っても良い。
【００１９】
本発明に係る第２の電子機器は、互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得部と、前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理部と、前記合成処理部の生成画像に対し、階調変換を行うことにより合成結果画像を生成する階調変換部と、を備え、前記階調変換部は、前記階調変換の内容を前記入力画像列の画像データに基づいて変更することを特徴とする。
【００２０】
これにより、ユーザの好みにあった合成結果画像（ダイナミックレンジ拡大画像）の提供が期待される。
【００２１】
本発明に係る第１の画像処理方法は、互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得ステップと、前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理ステップと、前記合成処理ステップの生成画像に対し、互いに異なる複数の階調変換条件を個別に用いて階調変換を行うことにより複数の合成結果画像を生成する階調変換ステップと、を実行することを特徴とする。
【００２２】
本発明に係る第２の画像処理方法は、互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得ステップと、前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理ステップと、前記合成処理ステップの生成画像に対し、階調変換を行うことにより合成結果画像を生成する階調変換ステップと、を実行し、前記階調変換ステップでは、前記階調変換の内容を前記入力画像列の画像データに基づいて変更することを特徴とする。
【００２３】
そして例えば、第１又は第２の画像処理方法における画像データ取得ステップ、合成処理ステップ及び階調変換ステップをコンピュータに実行させるためのプログラムを形成すると良い。
【発明の効果】
【００２４】
本発明によれば、ユーザの好みに合ったダイナミックレンジ拡大画像の提供に寄与する電子機器、画像処理方法及びプログラムを提供することが可能である。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】二次元の画像空間と二次元画像との関係を示す図である。
【図４】ダイナミックレンジ拡大に特に関与する部位のブロック図である。
【図５】短露光画像としての入力画像、長露光画像としての入力画像及びそれらから生成されるＨＤＲ画像を示す図（ａ）と、短露光画像の輝度の増大処理を示す図（ｂ）である。
【図６】入力画像における入射光量と信号レベルとの関係を表す図である。
【図７】ＨＤＲ画像における入射光量と信号レベルとの関係を表す図である。
【図８】階調変換によってＨＤＲ画像から合成結果画像が得られる様子を示す図である。
【図９】第１の階調変換処理で用いられるトーンカーブを示す図である。
【図１０】第２の階調変換処理によって、ＨＤＲ画像から合成結果画像を生成される様子を示す図である。
【図１１】第２の階調変換処理における単純ビット長圧縮を説明するための図である。
【図１２】第２の階調変換処理において参照されるＨＤＲ画像及び合成結果画像の輝度ヒストグラムである。
【図１３】入力画像から階調補正画像が得られる様子を示す図である。
【図１４】ＨＤＲ画像及び階調補正画像の輝度ヒストグラムを示す図（ａ）（ｂ）と、階調補正処理におけるゲイン関数を示す図（ｃ）である。
【図１５】ＨＤＲ撮影要否判定用期間と本撮影期間との関係を示す図（ａ）と、それらの期間に撮影される入力画像を説明するための図（ｂ）である。
【図１６】短露光判定用画像及び長露光判定用画像を含む判定用画像列を示す図である。
【図１７】短露光判定用画像及び長露光判定用画像の輝度ヒストグラムである。
【図１８】２枚の対象入力画像から３種類の合成結果画像が得られる様子を示す図である。
【図１９】５枚の対象入力画像から３種類の合成結果画像が得られる様子を示す図である。
【図２０】図１の撮像装置の動作フローチャートである。
【図２１】優先順位に従った画像表示方法例を説明するための図である。
【図２２】図１の撮像装置に設けておくことのできる複数の検出部を示した図である。
【図２３】画像間でオプティカルフローが導出される様子を示す図である。
【図２４】第１〜第３の出力ＨＤＲ画像に対する優先順位の設定方法を説明するための図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２７】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。
【００２８】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、ＣＰＵ（Central Processing Unit）２３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。
【００２９】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ（Analog Front End）１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各画像の撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。
【００３０】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、ＣＰＵ２３によって制御される。
【００３１】
映像信号処理部１３は、ＲＡＷデータにて表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００３２】
圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を互いに関連付けた状態で記録する。
【００３３】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。
【００３４】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
【００３５】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００３６】
撮影モードでは、次々と被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。上記ＲＡＷデータも画像データの一種である。
【００３７】
尚、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する（即ち例えば、圧縮された画像データを記録することを、単に、画像データを記録すると表現する）。また、本明細書では、或る画像の画像データのことを単に画像と言うこともある。また、本明細書において、単に表示又は表示画面といった場合、それは、表示部２７における表示又は表示画面を指す。
【００３８】
図３に、二次元の画像空間ＸＹを示す。画像空間ＸＹは、Ｘ軸及びＹ軸を座標軸として有する、空間領域（spatial domain）上の二次元座標系である。任意の二次元画像３００は、画像空間ＸＹ上に配置された画像であると考えることができる。Ｘ軸及びＹ軸は、夫々、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。
【００３９】
撮像装置１には、撮影によって得られた入力画像のダイナミックレンジを拡大する機能が設けられている。図４に、この機能に特に関与する部位のブロック図を示す。図４に示される各部位を撮像装置１内に設けておくことができる。例えば、画像処理部５０及び画像データ取得部５１を図１の映像信号処理部１３に設けておくことができると共に、露出制御部（露出条件設定部）５２及び画像出力制御部５８をＣＰＵ２３にて実現することができる。画像処理部５０は、符号５３〜５７によって参照される各部位を備える。
【００４０】
画像データ取得部５１は、入力画像列の画像データを取得する。入力画像列の画像データは、画像データ取得部５１を介して画像処理部５０及び露出制御部５２に供給される。入力画像列に代表される画像列とは、時系列上に並ぶ複数の画像の集まりを指す。従って、入力画像列は、時系列上に並ぶ複数の入力画像から成る。画像列は、動画像とも読み替えられる。入力画像は、ＲＡＷデータそのものにて表される静止画像、又は、ＲＡＷデータにて表される静止画像に所定の画像処理（例えば、ノイズ除去処理やデモザイキング処理）を施して得られる静止画像を指す。画像データ取得部５１は、再生モードにおいて入力画像列の画像データを取得することもできる。この場合、画像データ取得部５１は、外部メモリ１８に記録された任意の画像列を入力画像列として外部メモリ１８から読み出すことにより、入力画像列の画像データを取得する。但し、以下では、特に断りなき限り、撮影モードにおいて入力画像列の画像データが取得されることを想定する。
【００４１】
露出制御部５２は、入力画像の露出条件を設定する。この際、既に撮影された入力画像列の画像データに基づいて、以後の撮影によって得られることになる入力画像の露出条件を設定することができる（詳細は後述）。入力画像の露出条件とは、入力画像の露出状態を定める条件である。入力画像の露出条件には、入力画像の露光時間（即ちシャッタスピード）、入力画像の撮影時における絞り値、及び、入力画像の撮影時におけるＩＳＯ感度が含まれる。入力画像の露光時間とは、入力画像の画像データを得るために撮像素子３３が露光される時間の長さを指す。ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することで入力画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ１２における信号増幅の増幅度を決定する。その増幅度はＩＳＯ感度に比例している。ＩＳＯ感度が２倍になれば、その増幅度も２倍となり、これによって入力画像の各画素の輝度も２倍となる（但し、飽和を無視）。
【００４２】
合成処理部５３は、互いに異なる露出条件にて撮影された複数の入力画像を合成する画像合成処理を行い、これによって各入力画像のダイナミックレンジよりも広いダイナミックレンジを有するＨＤＲ（High Dynamic Range）画像を生成する。ＨＤＲ画像の各画素位置における画素信号のビット長は、入力画像のそれよりも長い。従って、ＨＤＲ画像のビット長を維持したまま、ＨＤＲ画像を表示部２７に表示することができないこともある、或いは、ＨＤＲ画像を外部メモリ１８に記録できないこともある。
【００４３】
このため、階調変換部５４は、生成されたＨＤＲ画像の階調を圧縮するための階調変換処理をＨＤＲ画像に施し、階調変換処理後のＨＤＲ画像を合成結果画像として生成する。階調変換部５４における階調圧縮の条件、即ち、ＨＤＲ画像から合成結果画像を生成するための階調変換処理の条件を階調変換条件と呼ぶ。階調変換部５４における階調変換処理及び階調変換条件を、夫々、階調圧縮処理及び階調圧縮条件と呼ぶこともできる。階調変換部５４は、互いに異なる複数の階調変換条件を個別に用いてＨＤＲ画像に階調変換処理を成すことができ、これによって互いに異なる複数の合成結果画像を生成することができる。
【００４４】
ＨＤＲ画像及び合成結果画像は、入力画像のダイナミックレンジを拡大した画像に相当する。複数の入力画像から入力画像のダイナミックレンジを拡大した画像を生成する方法として、公知の方法（例えば、特開２００８−１０９１７６号公報、特開２００８−１３６１１３号公報又は特開２０１０−９３６７９号公報に記載された方法）を含む任意のダイナミックレンジ拡大方法を利用可能である。
【００４５】
階調補正部５５は、１枚の入力画像に対して階調補正処理を施すことで当該入力画像の階調を補正する。階調補正後の入力画像を階調補正画像と呼ぶ。階調補正部５５は、入力画像の見かけ上のダイナミックレンジが拡大されるように（換言すれば、入力画像のダイナミックレンジが擬似的に拡大されるように）階調補正処理を行う。
【００４６】
階調補正画像も、入力画像のダイナミックレンジを拡大した画像に相当する。１枚の入力画像に対する階調補正により入力画像のダイナミックレンジを拡大する方法として、公知の方法（例えば、特開２０１０−９３６７９号公報に記載された方法）を含む任意のダイナミックレンジ拡大方法を利用可能である。
【００４７】
ＨＤＲ撮影要否判定部５６（以下、要否判定部５６と略記することがある）は、入力画像列の画像データに基づいてＨＤＲ撮影の要否を判定する。ＨＤＲ撮影とは、合成結果画像及び階調補正画像の生成元になる複数の入力画像の撮影を指す。要否判定部５６又はＣＰＵ２３は、ＨＤＲ撮影が必要と判断された場合においてのみ、合成結果画像及び階調補正画像の生成元になる複数の入力画像が撮影されるように、撮像部１１を制御することができる。ＨＤＲ撮影が必要と判断された場合においてのみ合成結果画像及び階調補正画像が生成されるため、要否判定部５６にて、合成結果画像及び階調補正画像の生成要否が判定されているとも言える。
【００４８】
優先順位設定部５７は、階調変換部５４から得られる複数の合成結果画像及び階調補正部５５から得られる階調補正画像に対して、優先順位を設定する。優先順位設定部５７は、優先順位の設定を入力画像列の画像データに基づいて行うことができる。
【００４９】
画像出力制御部５８は、複数の合成結果画像及び階調補正画像を表示部２７に表示させるための表示制御及び外部メモリ１８に記録させるための記録制御を行う。画像出力制御部５８は、優先順位設定部５７にて設定された優先順位に応じて表示制御及び記録制御を成すことができる。
【００５０】
以下、図４に示される各部位の動作を更に詳細を説明する。
【００５１】
［画像合成処理］
合成処理部５３による画像合成処理の一例を説明する。図５（ａ）及び（ｂ）を参照する。ここでは、２枚の入力画像３３１及び３３２からＨＤＲ画像３３３を生成する方法を説明する。入力画像３３１及び３３２は、共通の被写体を撮影することで得られた入力画像であり、互いになるだけ近接した時刻で撮影される。例えば、入力画像３３１及び３３２は、連続的に撮影された２枚の入力画像である。
【００５２】
露出制御部５２は、入力画像３３１の露出条件と入力画像３３２の露出条件とを互いに異ならせる。具体的には例えば、入力画像３３１の露光時間を入力画像３３２の露光時間よりも短く設定する。ここでは説明の具体化のため、長露光画像である入力画像３３２の露光時間が、短露光画像である入力画像３３１の露光時間の２倍であるものとし、露光時間以外の露出条件は入力画像３３１及び３３２間で同じであるとする。入力画像３３１の画素位置（ｘ，ｙ）における画素信号、入力画像３３２の画素位置（ｘ，ｙ）における画素信号及びＨＤＲ画像３３３の画素位置（ｘ，ｙ）における画素信号を、夫々、ＳＳ（ｘ，ｙ）、ＳＬ（ｘ，ｙ）及びＳＨ（ｘ，ｙ）にて表す。合成処理部５３は、入力画像３３１の各画素位置における画素信号に２を乗じることにより、図５（ｂ）の入力画像３３１’を生成することができる。入力画像３３１’の画素位置（ｘ，ｙ）における画素信号をＳＳ’（ｘ，ｙ）にて表す。ＳＳ’（ｘ，ｙ）＝２×ＳＳ（ｘ，ｙ）である。或る画素又は画素位置における画素信号は当該画素又は当該画素位置における映像信号を指し、映像信号はＲＡＷデータ形式にて表現される、或いは、映像信号は輝度信号及び色差信号を含む。
【００５３】
図６において、実線３４１は、入力画像３３１における入射光量と信号レベルとの関係を表し、実線３４２は、入力画像３３２における入射光量と信号レベルとの関係を表している。破線３４１’は、入力画像３３１’における入射光量と信号レベルとの関係を表している。ここにおける入射光量とは、単位時間当たりにおける撮像素子３３への入射光量を指し、信号レベルとは、入力画像における画素信号の大きさを指す。各画素位置において、理想的には入力画像３３２の信号レベルは入力画像３３１の信号レベルの２倍になり、結果、理想的には実線３４２と破線３４１’は完全に一致する。しかしながら、撮像素子３３はアナログデバイスであるため、入射光量と撮像素子３３の各受光画素の蓄積電荷量との間には、非線形性が存在する。この他、蓄積電荷の信号を増幅する増幅器にも非線形性が存在する。このため、正確には、入力画像３３２の信号レベルが入力画像３３１の信号レベルの２倍にならず、結果、実線３４２と破線３４１’も完全には重なり合わない。
【００５４】
図７を参照する。合成処理部５３は、入射光量が光量ＩＬ１以下の画素位置に対しては、入力画像３３２の画素信号がＨＤＲ画像３３３の画素信号として用いられるように、且つ、入射光量が光量ＩＬ２以上の画素位置に対しては、入力画像３３１’の画素信号がＨＤＲ画像３３３の画素信号として用いられるように、且つ、入射光量が光量ＩＬ１よりも大きいが光量ＩＬ２未満の画素位置に対しては、入力画像３３２の画素信号と入力画像３３１’の画素信号との混合信号がＨＤＲ画像３３３の画素信号として用いられるように、ＨＤＲ画像３３３の画素信号を生成する。ここで、０＜ＩＬ１＜ＩＬ２である。
【００５５】
より具体的には例えば、
ＳＬ（ｘ，ｙ）≦ＳＴＨ１の成立時には、ＳＨ（ｘ，ｙ）＝ＳＬ（ｘ，ｙ）となるように、
ＳＳ’（ｘ，ｙ）≧ＳＴＨ２の成立時には、ＳＨ（ｘ，ｙ）＝ＳＳ’（ｘ，ｙ）となるように、ＳＨ（ｘ，ｙ）を生成する。ＳＬ（ｘ，ｙ）≦ＳＴＨ１及びＳＳ’（ｘ，ｙ）≧ＳＴＨ２の双方が成立しないときには、ＳＬ（ｘ，ｙ）及びＳＳ’（ｘ，ｙ）を混合することによって、即ち、
ＳＨ（ｘ，ｙ）＝ｋＬ・ＳＬ（ｘ，ｙ）＋ｋＳ・ＳＳ’（ｘ，ｙ）
に従ってＳＨ（ｘ，ｙ）を生成する。ＳＴＨ１及びＳＴＨ２は、光量ＩＬ１及びＩＬ２に対応する信号閾値であり、０＜ＳＴＨ１＜ＳＴＨ２を満たす。
【００５６】
係数ｋＳ及びｋＬは、
ｋＳ＝（ＳＬ（ｘ，ｙ）−ＳＴＨ１）／（ＳＴＨ２−ＳＴＨ１）、及び、
ｋＬ＝１−ｋＳ
を満たすように設定される。但し、ｋＳ＞０且つｋＬ＞０且つｋＳ＋ｋＬ＝１を満たす範囲内で、ｋＳ及びｋＬの値を任意に決定することもできる（例えば、ｋＳ＝ｋＬ＝０．５、とすることも可能である）。
【００５７】
合成処理部５３は、ＨＤＲ画像３３３の画素信号ＳＨ（ｘ，ｙ）を得るための、上述のような処理を画素位置ごとに行う。これにより、ＨＤＲ画像３３３の全画素位置の画素信号が得られる（即ち、ＨＤＲ画像３３３が完成する）。入力画像３３１’は入力画像３３１の各画素信号を２倍にすることで得られた画像であるため、入力画像３３１’の内、比較的輝度の大きい部分の信号レベルは、撮像素子３３の信号飽和レベルＳＳＡＴを超える（図７参照）。従って、ＨＤＲ画像３３３のダイナミックレンジ３５２は、撮像素子３３のダイナミックレンジ３５１よりも広くなる。
【００５８】
［階調変換処理］
次に、階調変換部５４による階調変換処理について説明する。例として、上述のＨＤＲ画像３３３（図５（ａ）参照）に対し、階調変換処理を成す方法を説明する。図８の画像３６０は、ＨＤＲ画像３３３に階調変換処理を施して得られる画像であり、上述の合成結果画像（図４参照）に相当する。合成結果画像３６０の画素位置（ｘ，ｙ）における画素信号をＳＨ’（ｘ，ｙ）にて表す。
【００５９】
上述したように、階調変換部５４は、互いに異なる複数の階調変換条件を個別に用いてＨＤＲ画像３３３に階調変換処理を成すことができる。以下に説明する階調変換処理は、トーンマッピングとも呼ばれ、トーンマッピングによってＨＤＲ画像３３３の各画素信号のビット長ＢＬＨＤＲが、所望のビット長ＢＬＯＵＴに変換される。０＜ＢＬＯＵＴ＜ＢＬＨＤＲである。ビット長ＢＬＯＵＴは、例えば、表示部２７にて表示可能な画像のビット長と同じに設定される、或いは、所定の画像記録フォーマットに従った画像のビット長と同じに設定される。ビット長ＢＬＯＵＴは、入力画像の各画素信号のビット長と同じであっても良い。上記複数の階調変換条件には、互いに異なる第１及び第２の階調変換条件が含まれる。
【００６０】
第１の階調変換条件を用いた階調変換処理（以下、第１の階調変換処理とも呼ぶ）を説明する。第１の階調変換処理では、ＨＤＲ画像３３３の全体に対して共通の階調変換関数（gray-level transformation function）を設定し、該共通の階調変換関数を用いてＨＤＲ画像３３３の各画素信号を合成結果画像３６０の各画素信号に変換する。階調変換関数をグラフで表したものは、一般にトーンカーブ（tone curve）と呼ばれる。図９に、第１の階調変換条件の採用時に用いられるトーンカーブ３８０を示す。トーンカーブ３８０によって表される階調変換関数は、ＨＤＲ画像３３３の画素信号ＳＨ（ｘ，ｙ）と合成結果画像３６０の画素信号ＳＨ’（ｘ，ｙ）との関係を規定する関数である。トーンカーブ３８０による階調変換処理は、最も一般的な階調変換処理であるが、自然な階調圧縮を実現することができる。
【００６１】
第２の階調変換条件を用いた階調変換処理（以下、第２の階調変換処理とも呼ぶ）を説明する。第２の階調変換処理では、階調圧縮の自由度が高い、絵画調のトーンマッピングが可能である。以下、一方法例を説明する。第２の階調変換処理では、まず、図１０に示す如く、ＨＤＲ画像３３３に対して単純ビット長圧縮を施すことでＨＤＲ画像３３４を生成する。即ち例えば、図１１に示す如く、ＨＤＲ画像３３３の各画素信号を表すデジタル信号の内、下位側の（ＢＬＨＤＲ−ＢＬＯＵＴ）ビットを切り捨てることによって、ＨＤＲ画像３３４を生成する。そうすると、ＨＤＲ画像３３４の画素位置（ｘ，ｙ）における画素信号ＳＨＡ（ｘ，ｙ）のデジタル値は、画素信号ＳＨ（ｘ，ｙ）のデジタル値の１／（ＢＬＨＤＲ−ＢＬＯＵＴ）になる。一方で、ＨＤＲ画像３３４の各画素信号のビット長はＢＬＯＵＴになる。
【００６２】
図１２（ａ）に、ＨＤＲ画像３３４の輝度ヒストグラムＨＳＴ３３４を示す。第２の階調変換処理では、基準輝度ＬＲＥＦを設定し、基準輝度ＬＲＥＦ付近に輝度レベルが集中するようにＨＤＲ画像３３４の輝度ヒストグラムＨＳＴ３３４を変化させる。この変化後の輝度ヒストグラムが、図１２（ｂ）に示す合成結果画像３６０の輝度ヒストグラムＨＳＴ３６０である。具体的には以下のようにすれば良い。
【００６３】
ＨＤＲ画像３３４の全画素を、基準輝度ＬＲＥＦよりも低い輝度を有する画素である暗画素、又は、基準輝度ＬＲＥＦ以上の輝度を有する明画素に分類する。そして、各暗画素の画素信号に対しては１以上のゲインＧＵＰを乗じる一方で、各明画素の画素信号に対しては１以下のゲインＧＤＯＷＮを乗じることにより、合成結果画像３６０の各画素信号を生成する。即ち、合成結果画像３６０の画素位置（ｘ，ｙ）における画素信号ＳＨ’（ｘ，ｙ）は、ＨＤＲ画像３３４の画素位置（ｘ，ｙ）における画素が暗画素である場合には、
ＳＨ’（ｘ，ｙ）＝ＧＵＰ×ＳＨＡ（ｘ，ｙ）、に従って求められ、
ＨＤＲ画像３３４の画素位置（ｘ，ｙ）における画素が明画素である場合には、
ＳＨ’（ｘ，ｙ）＝ＧＤＯＷＭ×ＳＨＡ（ｘ，ｙ）、に従って求められる。
【００６４】
ゲインＧＵＰを１よりも大きな値に設定すると良い。また、暗画素の輝度と基準輝度ＬＲＥＦとの差が大きくなるに従って（ＧＵＰ−１）が大きくなるように、暗画素ごとに暗画素の輝度に応じてゲインＧＵＰの値を設定すると良い。但し、ゲインＧＵＰの値を、１よりも大きな一定値に固定することも可能である。
ゲインＧＤＯＷＮを１よりも小さな値に設定すると良い（但し、ＧＤＯＷＮ＞０）。また、明画素の輝度と基準輝度ＬＲＥＦとの差が大きくなるに従って（１−ＧＤＯＷＮ）が大きくなるように、明画素ごとに明画素の輝度に応じてゲインＧＤＯＷＮの値を設定すると良い。但し、ＧＤＯＷＮの値を、１よりも小さな一定値に固定することも可能である。
【００６５】
如何なる輝度を基準輝度ＬＲＥＦに設定するのかは任意である。通常は、合成結果画像３６０の中間階調付近に基準輝度ＬＲＥＦが設定される。輝度ヒストグラムＨＳＴ３３４において最大頻度を有する輝度を基準にして、基準輝度ＬＲＥＦを設定することもできる。
【００６６】
ゲインＧＵＰを各暗画素の画素信号に乗じると共にゲインＧＤＯＷＮを各明画素の画素信号に乗じることにより、輝度の頻度が基準輝度ＬＲＥＦ付近に集中化する。図１２（ｂ）の輝度ヒストグラムＨＳＴ３６０から、その集中化の様子が見てとれる。輝度ヒストグラムＨＳＴ３６０に対応する合成結果画像３６０は、絵画調のＨＤＲ画像であると言える。絵画調の画像とは、絵の具などの画材を用いて紙面に描いた絵の雰囲気を有する画像である。絵の具などの画材を用いて紙面に描いた絵は、一般に彩度が高い一方で濃淡変化が少ない。第２の階調変換処理では、彩度を維持しつつ濃淡変化が減少せしめられるため、時として幻想的な雰囲気を持つ絵画調の合成結果画像３６０が得られる。
【００６７】
絵画調の合成結果画像３６０を得るための第２の階調変換処理の方法として、公知の方法を用いることができ、例えば、非特許文献「Raanan Fattal、外２名、“Gradient Domain High Dynamic Range Compression”、［ｏｎｌｉｎｅ］、［平成２２年１０月３１日検索］、インターネット＜URL：http://www.cs.huji.ac.il/~danix/hdr/＞」に記載の方法、又は、非特許文献「Erik Reinhard、外３名、“Photographic Tone Reproduction for Digital Images”、［ｏｎｌｉｎｅ］、［平成２２年１０月３１日検索］、インターネット＜URL：http://www.cs.utah.edu/~reinhard/cdrom/＞」に記載の階調変換方法を用いることもできる。
【００６８】
［階調補正処理］
次に、階調補正部５５による階調補正処理について説明する。例として、短露光画像としての入力画像３３１（図５（ａ）参照）に対して階調補正処理を成す方法を説明する。図１３における画像３９０は、入力画像３３１に階調補正処理を施して得られる画像であり、上述の階調補正画像（図４参照）に相当する。階調補正画像３９０の画素位置（ｘ，ｙ）における画素信号をＳＣＳ（ｘ，ｙ）にて表す。
【００６９】
図１４（ａ）及び（ｂ）に、夫々、入力画像３３１の輝度ヒストグラムＨＳＴ３３１及び階調補正画像３９０の輝度ヒストグラムＨＳＴ３９０を示す。図１４（ｃ）の実線３９５は、入力画像３３１から階調補正画像３９０を得る際に用いるゲイン関数を表している。階調補正画像３９０の各画素信号は、ゲイン関数３９５に従うゲインＧＣを入力画像３３１の各画素信号に乗じることで得られる。即ち、
ＳＣＳ（ｘ，ｙ）＝ＧＣ×ＳＳ（ｘ，ｙ）、である。
【００７０】
ゲインＧＣの値は、入力画像３３１の各画素位置の輝度に応じて画素位置ごとに設定される。ＧＣＨ及びＧＣＬは、夫々、ゲインＧＣがとり得る数値範囲の上限値及び下限値である。画素信号ＳＳ（ｘ，ｙ）に乗じられるゲインＧＣは、入力画像３３１の画素位置（ｘ，ｙ）における輝度がゼロ又はゼロ近傍であるとき上限値ＧＣＨに設定され、入力画像３３１の画素位置（ｘ，ｙ）における輝度がゼロから増大するにつれて、上限値ＧＣＨから下限値ＧＣＬに向けて減少せしめられる。この減少は線形的な減少であってもよいし、非線形的な減少であっても良い。０＜ＧＣＬ＜ＧＣＨであり、例えば、ＧＣＬ＝１且つＧＣＨ＝２である。
【００７１】
上述のようなゲインＧＣを用いた階調補正により、短露光画像としての入力画像３３１各画素の階調は高輝度側にシフトされ、そのシフトの程度は、暗い画素に対してほど大きくなる。結果、高輝度側の画像情報を維持したまま低輝度側の画像情報が比較的大きなビット長を用いて表現されるようになり、見かけ上、ダイナミックレンジが拡大されたような階調補正画像３９０を生成することが可能となる。
【００７２】
尚、上述の方法例では、短露光画像としての入力画像３３１から階調補正画像を生成しているが、長露光画像としての入力画像３３２から階調補正画像を生成することも可能である。
【００７３】
［ＨＤＲ撮影の要否判定］
次に、図４の要否判定部５６による、ＨＤＲ撮影の要否判定方法を説明する。図１５（ａ）及び（ｂ）を参照する。要否判定部５６は、ＨＤＲ撮影要否判定用期間（以下、判定用期間と略記することがある）内に撮影された入力画像の画像データに基づき、ＨＤＲ撮影の要否を判定することができる。時間が進行するにつれ、時刻ｔＡ、ｔＢ及びｔＣが、この順番で訪れるものとする。判定用期間は、時刻ｔＡから時刻ｔＢまでの期間である。また、時刻ｔＢから時刻ｔＣまでの期間を本撮影期間と呼ぶ。本撮影期間は、合成結果画像及び階調補正画像の元となる複数の入力画像が撮影される期間であり、以下では、本撮影期間中に撮影される入力画像を特に対象入力画像とも呼ぶ（図１５（ｂ）参照）。図５（ａ）の入力画像３３１及び３３２の夫々は対象入力画像である。
【００７４】
また、時刻ｔＢより前に撮影される各入力画像をプレビュー画像とも呼び、更に、判定用期間内に撮影される各入力画像を判定用画像とも呼ぶ（図１５（ｂ）参照）。判定用画像はプレビュー画像の一種である。プレビュー画像は所定のフレーム周期で順次撮影され、得られたプレビュー画像列は動画像として表示部２７に表示されてユーザによる構図確認に利用される。
【００７５】
本撮影期間の開始時刻である時刻ｔＢを、ユーザの指示によって決定することができる。判定用期間の開示時刻である時刻ｔＡは、ユーザの指示によって決定されても良いし、時刻ｔＢを基準にして定められても良い（例えば、時刻ｔＢから所定時間前が時刻ｔＡであると定めても良い）。ここでは、時刻ｔＢと同様、時刻ｔＡもユーザの指示によって決定されることを想定し、シャッタボタン２６ｂに対して半押し操作、全押し操作が成された時点が、夫々、時刻ｔＡ、ｔＢに相当すると考える。シャッタボタン２６ｂは２段階の押下操作が可能なボタンであり、シャッタボタン２６ｂに圧力が付与されていない開放状態からユーザがシャッタボタン２６ｂを軽く押しこむとシャッタボタン２６ｂの状態は半押し状態となり、その状態から更にユーザがシャッタボタン２６ｂを押しこむとシャッタボタン２６ｂの状態は全押し状態となる。シャッタボタン２６ｂの状態を開放状態から半押し状態へと変化させる操作が半押し操作であり、シャッタボタン２６ｂの状態を半押し状態から全押し状態へと変化させる操作が全押し操作である。
【００７６】
判定用期間において、露出制御部５２（図４参照）は、露光時間ＥＴＳと露光時間ＥＴＳよりも長い露光時間ＥＴＬを設定し、図１６に示す如く、露光時間ＥＴＳによる入力画像の撮影と露光時間ＥＴＬによる入力画像の撮影とが交互に行われるように露出制御を行う。判定用期間において、露光時間ＥＴＳが特定の露光時間ＥＴＳＯに収束するように且つ露光時間ＥＴＬが特定の露光時間ＥＴＬＯに収束するように、露光時間ＥＴＳ及びＥＴＬは逐次変更される。露光時間ＥＴＬＯは、露光時間ＥＴＳＯよりも長い。
【００７７】
図１６において、画像４１１〜４１６は、夫々、判定用期間において連続的に撮影された判定用画像である。判定用画像の内、露光時間ＥＴＳにて撮影された判定用画像を短露光判定用画像とも呼び、露光時間ＥＴＬにて撮影された判定用画像を長露光判定用画像とも呼ぶ。画像４１１、４１３及び４１５は、夫々、第１、第２及び第３枚目の短露光判定用画像であり、画像４１２、４１４及び４１６は、夫々、第１、第２及び第３枚目の長露光判定用画像である。
【００７８】
図１７（ａ）及び（ｂ）は、夫々、任意の短露光判定用画像の輝度ヒストグラムＨＳＴＳ及び任意の長露光判定用画像の輝度ヒストグラムＨＳＴＬを表している。要否判定部５６は、短露光判定用画像及び長露光判定用画像の画像データに基づき、短露光判定用画像において所定の基準輝度ＬＴＨ１以上の輝度を有する画素の総数ＰＮＵＭＳ及び長露光判定用画像において所定の基準輝度ＬＴＨ２以下の輝度を有する画素の総数ＰＮＵＭＬを求める。総数ＰＮＵＭＳは図１７（ａ）の斜線領域の面積に相当し、総数ＰＮＵＭＬは図１７（ｂ）の斜線領域の面積に相当する。総数ＰＮＵＭＳの導出は短露光判定用画像ごとに行われ、総数ＰＮＵＭＬの導出は長露光判定用画像ごとに行われる。
【００７９】
露出制御部５２は、導出されたＰＮＵＭＳの値を参照して、ＰＮＵＭＳを基準値ＲＥＦＳ以下にするための露光時間ＥＴＳを探索すると共に、導出されたＰＮＵＭＬの値を参照して、ＰＮＵＭＬを基準値ＲＥＦＬ以下にするための露光時間ＥＴＬを探索する。より具体的には、短露光判定用画像４１１について導出されたＰＮＵＭＳに基づき、短露光判定用画像４１３又は４１５について導出されることになるＰＮＵＭＳが“ＲＥＦＳ−ΔＲＥＦＳ≦ＰＮＵＭＳ≦ＲＥＦＳ”を満たすように、露出制御部５２は、短露光判定用画像４１３又は４１５に対する露光時間ＥＴＳを調整する。同様に、長露光判定用画像４１２について導出されたＰＮＵＭＬに基づき、長露光判定用画像４１４又は４１６について導出されることになるＰＮＵＭＬが“ＲＥＦＬ−ΔＲＥＦＬ≦ＰＮＵＭＬ≦ＲＥＦＬ”を満たすように、露出制御部５２は、長露光判定用画像４１４又は４１６に対する露光時間ＥＴＳを調整する。ＲＥＦＳ、ＲＥＦＬ、ΔＲＥＦＳ及びΔＲＥＦＬの各値を予め設定しておくことができる。ＲＥＦＳ、ＲＥＦＬ、ΔＲＥＦＳ及びΔＲＥＦＬは全て正の整数値を有し、ＲＥＦＳ＞ΔＲＥＦＳ、且つ、ＲＥＦＬ−ΔＲＥＦＬ、である。
【００８０】
露光時間ＥＴＳ及びＥＴＬの調整により、判定用期間において、露光時間ＥＴＳは特定の露光時間ＥＴＳＯに収束し且つ露光時間ＥＴＬは特定の露光時間ＥＴＬＯに収束する。例えば、これらの調整の結果、短露光判定用画像４１５について導出されたＰＮＵＭＳが“ＲＥＦＳ−ΔＲＥＦＳ≦ＰＮＵＭＳ≦ＲＥＦＳ”を満たすように、且つ、長露光判定用画像４１６について導出されたＰＮＵＭＬが“ＲＥＦＬ−ΔＲＥＦＬ≦ＰＮＵＭＬ≦ＲＥＦＬ”を満たすように、判定用画像４１５及び４１６の露光時間が設定される。そうすると、短露光判定用画像４１５の露光時間ＥＴＳを露光時間ＥＴＳＯに代入すると共に、長露光判定用画像４１６の露光時間ＥＴＬを露光時間ＥＴＬＯに代入することができる。
【００８１】
要否判定部５６は、上記調整を経て得られる短露光判定用画像及び長露光判定用画像の露出条件に基づき、ＨＤＲ撮影の要否を判定する。具体的には、
要否判定不等式“ＥＴＬＯ／ＥＴＳＯ≧Ｊ”
が満たされる場合、ＨＤＲ撮影が必要であると判断する一方、その要否判定不等式が満たされない場合、ＨＤＲ撮影が不要であると判断する。Ｊは、１よりも大きな所定値であり、例えばＪ＝２である。後に述べるように、本撮影期間に撮影される入力画像３３１及び３３２（図５参照）の露光時間は露光時間ＥＴＳＯ及びＥＴＬＯを基準に設定される。これを考慮すれば、“ＥＴＬＯ／ＥＴＳＯ＜Ｊ”であるとき（即ち、ＥＴＳＯとＥＴＬＯとの間に、あまり差がないとき）、ダイナミックレンジ拡大用の処理を行っても、その処理の効果は小さい或いは殆ど無い。このことから、上記要否判定不等式の意義が理解される。
【００８２】
［対象入力画像について］
ＨＤＲ撮影が必要と判断されたときに、本撮影期間において撮影される対象入力画像の枚数は２であっても良い（図１５（ａ）及び（ｂ）参照）。この場合、本撮影期間において、図１８に示す２枚の対象入力画像５０１及び５０２が連続的に撮影される。対象入力画像５０１及び５０２は、夫々、図５（ａ）の入力画像３３１及び３３２と同じものである。露出制御部５２は、対象入力画像５０１及び５０２の露光時間を、それぞれ露光時間ＥＴＳＯ及びＥＴＬＯを基準にして設定する。単純には例えば、露光時間ＥＴＳＯをそのまま対象入力画像５０１の露光時間に設定すると共に露光時間ＥＴＬＯをそのまま対象入力画像５０２の露光時間に設定することができる。或いは例えば、所定の規則に従って露光時間ＥＴＳＯを増加又は減少させて露光時間ＥＴＳＯ’を求め、露光時間ＥＴＳＯ’を対象入力画像５０１の露光時間に設定しても良い。同様に、所定の規則に従って露光時間ＥＴＬＯを増加又は減少させて露光時間ＥＴＬＯ’を求め、露光時間ＥＴＬＯ’を対象入力画像５０２の露光時間に設定しても良い。但し、露光時間ＥＴＬＯ’は露光時間ＥＴＳＯ及びＥＴＳＯ’よりも長い。
【００８３】
対象入力画像５０１及び５０２に対し、第１のＨＤＲ処理を施すことで合成結果画像５１１が得られ、第２のＨＤＲ処理を施すことで合成結果画像５１２が得られ、第３のＨＤＲ処理を施すことで階調補正画像５１３が得られる。第１及び第２のＨＤＲ処理は合成処理部５３及び階調変換部５４によって成され、第３のＨＤＲ処理は階調補正部５５によって成される。
第１のＨＤＲ処理は画像合成処理と第１の階調変換処理から成る。即ち、対象入力画像５０１及び５０２を合成する画像合成処理によりＨＤＲ画像を生成した後、そのＨＤＲ画像に第１の階調変換処理を施すことで合成結果画像５１１が得られる。合成結果画像５１１は、第１の階調変換処理を用いた場合における、上述の合成結果画像３６０（図８参照）に相当する。
第２のＨＤＲ処理は画像合成処理と第２の階調変換処理から成る。即ち、対象入力画像５０１及び５０２を合成する画像合成処理によりＨＤＲ画像を生成した後、そのＨＤＲ画像に第２の階調変換処理を施すことで合成結果画像５１２が得られる。合成結果画像５１２は、第２の階調変換処理を用いた場合における、上述の合成結果画像３６０（図１０参照）に相当する。
第３のＨＤＲ処理は階調補正処理から成る。即ち、対象入力画像５０１又は５０２に階調補正処理を施すことで階調補正画像５１３が得られる。階調補正画像５１３は、図１３の階調補正画像３９０に相当する。
【００８４】
ＨＤＲ撮影が必要と判断されたときに、本撮影期間において撮影される対象入力画像の枚数は３枚以上であっても良い。例えば、本撮影期間において、図１９に示す５枚の対象入力画像５２１〜５２５が連続的に撮影されても良い。対象入力画像５２１〜５２５は、共通の被写体を撮影することで得られる。露出制御部５２は、対象入力画像５２１、５２３及び５２５の露光時間を、露光時間ＥＴＳＯを基準にして設定する。例えば、露光時間ＥＴＳＯ又はＥＴＳＯ’を、対象入力画像５２１、５２３及び５２５の露光時間に設定することができる。対象入力画像５２１、５２３及び５２５の露出条件は互いに一致していても良いし、互いに異なっていても良い。露出制御部５２は、対象入力画像５２２及び５２４の露光時間を、露光時間ＥＴＬＯを基準にして設定する。例えば、露光時間ＥＴＬＯ又はＥＴＬＯ’を、対象入力画像５２２及び５２４の露光時間に設定することができる。対象入力画像５２２及び５２４の露出条件は互いに一致していても良いし、互いに異なっていても良い。尚、上述の説明とは異なるが、露光時間ＥＴＬＯ又はＥＴＬＯ’を対象入力画像５２５の露光時間に設定することも可能である。
【００８５】
対象入力画像５２１及び５２２に対し、第１のＨＤＲ処理を施すことで合成結果画像５３１が得られる。即ち、対象入力画像５２１及び５２２を合成する画像合成処理によりＨＤＲ画像を生成した後、そのＨＤＲ画像に第１の階調変換処理を施すことで合成結果画像５３１が得られる。
対象入力画像５２３及び５２４に対し、第２のＨＤＲ処理を施すことで合成結果画像５３２が得られる。即ち、対象入力画像５２３及び５２４を合成する画像合成処理によりＨＤＲ画像を生成した後、そのＨＤＲ画像に第２の階調変換処理を施すことで合成結果画像５３２が得られる。
対象入力画像５２５に対し、第３のＨＤＲ処理を施すことで階調補正画像５３３が得られる。即ち、対象入力画像５２５に階調補正処理を施すことで階調補正画像５３３が得られる。
【００８６】
以下では（図１８及び図１９参照）、第１のＨＤＲ処理にて得られた合成結果画像（５１１又は５３１）を第１の出力ＨＤＲ画像とも呼び、第２のＨＤＲ処理にて得られた合成結果画像（５１２又は５３２）を第２の出力ＨＤＲ画像とも呼び、第３のＨＤＲ処理にて得られた階調補正画像（５１３又は５３３）を第３の出力ＨＤＲ画像とも呼ぶ。
【００８７】
［動作フローチャート］
図４に示される優先順位設定部５７の機能説明の前に、図２０を参照して、撮像装置１の動作手順を説明する。図２０は、ＨＤＲ撮影に関与する動作の手順を表すフローチャートである。
【００８８】
撮影モードにおける動作が開始されると、ステップＳ１１においてプレビュー画像列の撮影が開始される。得られたプレビュー画像列は動画像として表示される。一方で、ステップＳ１２において、ＣＰＵ２３は、シャッタボタン２６ｂに対して半押し操作が成されたか否かを監視し、半押し操作が成されるとステップＳ１２からステップＳ１３への遷移が発生する。ステップＳ１３において、要否判定部５６は、プレビュー画像の一種である判定用画像の画像データに基づきＨＤＲ撮影の要否判定を行い、一方で、ステップＳ１４では、シャッタボタン２６ｂに対して全押し操作が成されたか否かがＣＰＵ２３により監視される。ステップＳ１４において、全押し操作が成されたことが確認されるとステップＳ１５への遷移が発生し、以後、ステップＳ１６〜Ｓ１９の処理又はステップＳ２０の処理が実行される。要否判定部５６によりＨＤＲ撮影が必要と判断されている場合には、ステップＳ１６〜Ｓ１９の処理が順次実行され、ＨＤＲ撮影が不要と判断されている場合にはステップＳ２０の処理が実行される。
【００８９】
ステップＳ２０では、１枚の入力画像が撮影されて、得られた入力画像の表示及び外部メモリ１８への記録が成される。これに対し、ステップＳ１６では、複数の露出条件にて複数の対象入力画像（例えば、図１８の対象入力画像５０１及び５０２、又は、図１９の対象入力画像５２１〜５２５）が連続的に撮影される。ステップＳ１７では、ステップＳ１６で得られた複数の対象入力画像に対し、第１〜第３のＨＤＲ処理が実行され、これによって第１〜第３の出力ＨＤＲ画像が生成される。
【００９０】
続くステップＳ１８において、図４の優先順位設定部５７は、第１〜第３の出力ＨＤＲ画像に対して優先順位を設定するための処理（以下、優先順位設定処理という）を実行する。優先順位設定処理によって、第１〜第３の出力ＨＤＲ画像の夫々に、第１、第２又は第３の優先順位が１つずつ付与される。第１の優先順位は第２の優先順位よりも高い優先順位であり、第２の優先順位は第３の優先順位よりも高い優先順位である。その後のステップＳ１９において、図４の画像出力制御部５８は、優先順位に従って第１〜第３の出力ＨＤＲ画像の表示及び外部メモリ１８への記録を成す。ステップＳ１９において、１又は２つの出力ＨＤＲ画像しか表示されないこともあるし、１又は２つの出力ＨＤＲ画像しか外部メモリ１８に記録されないこともある。
【００９１】
優先順位に従った第１〜第３の出力ＨＤＲ画像の表示及び記録方法の例として、第１〜第３の表示／記録方法を説明する。
【００９２】
第１の表示／記録方法を説明する。第１の表示／記録方法では、図２１（ａ）に示す如く、表示画面の全表示領域内に互いに異なる表示領域５５１〜５５３を設け、ユーザからの特段の指示がない限り、図２１（ｂ）に示す如く、表示領域５５１〜５５３に、それぞれ第１〜第３の優先順位が与えられた出力ＨＤＲ画像を表示する。ここで、表示領域５５１の大きさは、表示領域５５２及び５５３のそれらよりも大きい。表示領域５５２の大きさは、表示領域５５３のそれよりも大きくてもよいし、表示領域５５２及び５５３の大きさは互いに同じであっても良い。ユーザは、操作部２６に対する所定操作又はタッチパネル操作により、表示領域５５１に表示される出力ＨＤＲ画像を、第１〜第３の出力ＨＤＲ画像の中で切り替えることができる。
第１の表示／記録方法において、ユーザの記録指示があったとき、表示領域５５１に表示されている出力ＨＤＲ画像のみを外部メモリ１８に記録すると良い。記録指示は、操作部２６に対する所定操作又はタッチパネル操作によって実現される。
【００９３】
第２の表示／記録方法を説明する。第２の表示／記録方法では、図２１（ｃ）に示す如く、表示画面の全表示領域内に互いに異なる表示領域５６１〜５６４を設け、図２１（ｄ）に示す如く、表示領域５６２〜５６４に、夫々、第１〜第３の優先順位が与えられた出力ＨＤＲ画像を表示する。表示領域５６２〜５６４の大きさを互いに同じにしておくことができる。一方で、表示領域５６１の大きさは、表示領域５６２〜５６４のそれらよりも大きい。表示領域５６１には、第１〜第３の出力ＨＤＲ画像の中から選択された出力ＨＤＲ画像が拡大表示される。ユーザからの特段の指示がない限り、表示領域５６１には、第１優先順位が与えられた出力ＨＤＲ画像が表示される（図２１（ｄ）参照）。ユーザは、操作部２６に対する所定操作又はタッチパネル操作により、表示領域５６１に表示される出力ＨＤＲ画像を、第１〜第３の出力ＨＤＲ画像の中で切り替えることができる。
第２の表示／記録方法において、ユーザの記録指示があったとき、表示領域５６１に表示されている出力ＨＤＲ画像のみを外部メモリ１８に記録すると良い。
【００９４】
第３の表示／記録方法を説明する。第３の表示／記録方法では、図２１（ｅ）に示す如く、１つの時刻に１枚の出力ＨＤＲ画像しか表示しない。ユーザからの特段の指示がない限り、第１の優先順位が与えられた出力ＨＤＲ画像のみが表示される。ユーザは、スクロール指示を撮像装置１に与えることにより、表示画面に表示される出力ＨＤＲ画像を、第１〜第３の出力ＨＤＲ画像の中で切り替えることができる。スクロール指示は、操作部２６に対する所定操作又はタッチパネル操作によって実現される。第１の優先順位の出力ＨＤＲ画像が表示されている状態において１回分のスクロール指示が成されると、表示画像が第１の優先順位の出力ＨＤＲ画像から第２の優先順位の出力ＨＤＲ画像に切り替わり、第２の優先順位の出力ＨＤＲ画像が表示されている状態において１回分のスクロール指示が成されると、表示画像が第２の優先順位の出力ＨＤＲ画像から第１又は第３の優先順位の出力ＨＤＲ画像に切り替わる。
第３の表示／記録方法において、ユーザの記録指示があったとき、表示されている出力ＨＤＲ画像のみを外部メモリ１８に記録すると良い。
【００９５】
尚、第１〜第３の表示／記録方法において、第１の優先順位の出力ＨＤＲ画像のみを常に外部メモリ１８に記録するようにしても良いし、或いは、第１、第２及び第３の優先順位の出力ＨＤＲ画像が夫々第１、第２及び第３番目に外部メモリ１８に記録されるように第１〜第３の出力ＨＤＲ画像の並べ替えを行った上で、第１〜第３の出力ＨＤＲ画像を全て外部メモリ１８に記録するようにしても良い。優先順位に応じた上述の表示／記録方法例は、あくまで例示であり、第１〜第３の出力ＨＤＲ画像の表示又は記録に対して、優先順位に応じた何らかの序列を与える任意の方法を採用可能である。
【００９６】
［優先順位設定処理］
優先順位設定部５７は、プレビュー画像列の画像データから抽出された設定指標に基づき、第１〜第３の出力ＨＤＲ画像に対して優先順位を設定することができる。設定指標の抽出方法の説明を交えながら、優先順位設定処理を詳説する。
【００９７】
優先順位を設定するために、露出制御部５２（図４参照）は、２つの露光時間ＥＴＳ及びＥＴＬを設定し、露光時間ＥＴＳによる入力画像の撮影と露光時間ＥＴＬによる入力画像の撮影とが交互に行われるように露出制御を行う。このような露出制御が行われる期間は、図１５（ａ）の本撮影期間前に設定され、上記の判定用期間と同じであっても良いし異なっていてもよい。ここでは、優先順位を設定するため行われる、露光時間ＥＴＳによる入力画像と露光時間ＥＴＬによる入力画像との交互撮影が、図１５（ｂ）の判定用期間中に成されると考える。そうすると、図１６の判定用画像４１１〜４１６の画像データが、優先順位の設定に利用される。
【００９８】
図４の優先順位設定部５７又は画像処理部５０に、任意の２枚の入力画像間のオプティカルフローを導出する動き検出部７１（図２２参照）を設けておくことができる。動き検出部７１は、時間的に隣接する２枚の短露光判定用画像間のオプティカルフローを導出し、時間的に隣接する２枚の長露光判定用画像間のオプティカルフローを導出する。判定用画像４１１〜４１６に対しては、図２３に示す如く、画像４１１及び４１３間のオプティカルフローと、画像４１２及び４１４間のオプティカルフローと、画像４１３及び４１５間のオプティカルフローと、画像４１４及び４１６間のオプティカルフローと、が導出される。
【００９９】
第１及び第２入力画像間のオプティカルフローは、第１及び第２入力画像上に現われる物体の動きベクトルの束である。或る物体の動きベクトルは、当該物体の動きの向き及び大きさを表すベクトル量である。動き検出部７１は、導出したオプティカルフローごとに、オプティカルフローを形成する動きベクトルの大きさの平均値又は積算値を動き評価値として求める。優先順位設定部５７は、動き評価値を優先順位設定用の第１の設定指標として用いた上で、優先順位を設定することができる（設定の詳細は図２４（ａ）及び（ｂ）を参照して後述する）。
【０１００】
また、図４の優先順位設定部５７又は画像処理部５０に、図２２のフリッカ検出部７２を設けておくことができる。
【０１０１】
撮像素子３３は、電子シャッタ機能を備えており、所謂ローリングシャッタによって各受光画素の露光を実施する。ローリングシャッタでは、撮像面の各受光画素が露光されるタイミング（時刻）が水平ラインごとに異なる。つまり、撮像面において、互いに異なる水平ライン間では露光タイミングが互いに異なる。非インバータ式の蛍光灯の照明下で、ローリングシャッタ特性を有する撮像素子３３（ＸＹアドレス型のＣＭＯＳイメージセンサ等）を用いて撮影を行った場合、各入力画像の露光時間を蛍光灯の発光周期より著しく短くすると、各入力画像において垂直方向の輝度ムラが生じる。このような、各々の入力画像において発生しうる輝度ムラを、フレーム内フリッカと呼ぶ。非インバータ式の蛍光灯とは、インバータを用いることなく、商用交流電源によって直接点灯される蛍光灯を意味する。また、撮影のフレームレートと非インバータ式の蛍光灯を駆動する商用交流電源の周波数とが異なる場合、垂直方向の輝度ムラの状態がフレーム間で変化し、時間方向に輝度のフリッカが生じる。このような、時間方向に生じる輝度のフリッカ（互いに異なる入力画像間で輝度が変化することによるフリッカ）をフレーム間フリッカと呼ぶ。
【０１０２】
フリッカ検出部７２は、露光時間ＥＴＳによる入力画像の撮影と露光時間ＥＴＬによる入力画像の撮影とを交互に行うことで得られた判定用画像列（例えば、図１６の判定用画像４１１〜４１６）に基づき、フリッカの有無を検出することができる。有無検出の対象となるフリッカは、少なくともフレーム内フリッカを含み、更にフレーム間フリッカをも含みうる。フリッカ検出部７２は、公知のフリッカ検出方法（例えば、特開２００８−１０９２５３号公報）を利用することができる。例えば、判定画像列のフレームレートを６０ｆｐｓ（frame per second）に設定し、且つ、露光時間ＥＴＳを１／２４０秒に設定すると共に露光時間ＥＴＬを１／６０秒に設定する。この場合において、撮像装置１の光源が非インバータ式の蛍光灯であると、短露光判定用画像では垂直方向に輝度ムラが発生する一方で長露光判定用画像では垂直方向に輝度ムラが全く又は殆ど発生しない。従って、時間的に隣接する短露光判定用画像と長露光判定用画像との間で垂直方向の輝度分布を対比することにより、判定用画像列にフリッカが存在しているか否かを判定することができる。フリッカ検出部７２は、判定用画像列にフリッカが存在していると判定した場合、対象入力画像列にもフリッカが存在すると判断することができる。
【０１０３】
フリッカ検出部７２は、判定用画像列及び対象入力画像列にフリッカが存在するか否かを表すフリッカ有無信号を出力する。判定用画像列及び対象入力画像列にフリッカが存在すると判定した場合、「１」の値を有するフリッカ有無信号を出力し、判定用画像列及び対象入力画像列にフリッカが存在すると判定しなかった場合、「０」の値を有するフリッカ有無信号を出力する。優先順位設定部５７は、フリッカ有無信号を優先順位設定用の第２の設定指標として用いた上で、優先順位を設定することができる（設定の詳細は図２４（ａ）及び（ｂ）を参照して後述する）。
【０１０４】
また、図４の優先順位設定部５７又は画像処理部５０に、図２２の彩度検出部７３を設けておくことができる。彩度検出部７３は、判定用期間に得られた判定用画像から１枚以上の判定用画像を抽出し、抽出した判定用画像の彩度に応じた彩度評価値を算出する。判定用期間内の判定用画像から任意の１枚の判定用画像を抽出することができ、この場合、抽出した判定用画像の各画素の彩度の平均値を彩度評価値として算出すればよい。また例えば、判定用期間内の判定用画像から任意の複数の判定用画像を抽出することができ、この場合、抽出した複数の判定用画像の各画素における彩度の平均値を彩度評価値として算出すればよい。優先順位設定部５７は、彩度評価値を優先順位設定用の第３の設定指標として用いた上で、優先順位を設定することができる。
【０１０５】
判定用期間中に、プレビュー画像列の画像データから第１〜第３の設定指標又はそれの元になる情報を抽出して内部メモリ１７に保存しておくことができる。この場合、全押し操作後に、優先順位設定部５７は、保存された情報から第１〜第３の設定指標を得ることができる。但し、プレビュー画像列の画像データを必要分だけ内部メモリ１７又は外部メモリ１８に一時的に記録しておき、全押し操作後に、一時記録された画像データから第１〜第３の設定指標を導出するようにしてもよい。
【０１０６】
優先順位設定部５７は、第１〜第３の設定指標の内、少なくとも１つの設定指標に基づいて優先順位を設定することができる。
【０１０７】
図２４（ａ）に、第１及び第３の設定指標（即ち動き評価値及び彩度評価値）を用いた場合における優先順位の設定内容を示す。優先順位設定部５７は、動き評価値が所定の基準動き値以上であるとき「動きは大きい」と判断し、動き評価値が該基準動き値未満であるとき「動きは小さい」と判断する。また、優先順位設定部５７は、彩度評価値が所定の基準彩度値以上であるとき「彩度は高い」と判断し、彩度評価値が該基準彩度値未満であるとき「彩度は低い」と判断する。そして、
彩度が高く且つ動きが小さいと判断した場合には第１規則に従って、
彩度が低く且つ動きが小さいと判断した場合には第２規則に従って、
彩度が低く且つ動きが大きいと判断した場合には第３規則に従って、
彩度が高く且つ動きが大きいと判断した場合には第４規則に従って、
優先順位を設定する。
【０１０８】
第１規則が適用される場合、第２、第１及び第３の出力ＨＤＲ画像に、夫々、第１、第２及び第３の優先順位が与えられる。
第２規則が適用される場合、第１、第２及び第３の出力ＨＤＲ画像に、夫々、第１、第２及び第３の優先順位が与えられる。
第３規則が適用される場合、第３、第１及び第２の出力ＨＤＲ画像に、夫々、第１、第２及び第３の優先順位が与えられる。
第４規則が適用される場合、第３、第２及び第１の出力ＨＤＲ画像に、夫々、第１、第２及び第３の優先順位が与えられる。
【０１０９】
図２４（ｂ）に、第２及び第３の設定指標（即ちフリッカ有無信号及び彩度評価値）を用いた場合における優先順位の設定内容を示す。フリッカ有無信号の値が「１」であるときフリッカは有ると判断され、フリッカ有無信号の値が「０」であるときフリッカは無いと判断される。
彩度が高く且つフリッカが無いと判断した場合には第１規則に従って、
彩度が低く且つフリッカが無いと判断した場合には第２規則に従って、
彩度が低く且つフリッカが有ると判断した場合には第３規則に従って、
彩度が高く且つフリッカが有ると判断した場合には第４規則に従って、
優先順位を設定することができる。
【０１１０】
入力画像の彩度が高いとき、ユーザは、彩度の高い鮮やかな画像の取得を望んでいると推測されるため、自然なトーンマッピングを利用した第１の出力ＨＤＲ画像よりも、絵画調のＨＤＲ画像とも言うべき第２の出力ＨＤＲ画像の方が、ユーザの好みに合致する可能性が高い。これを考慮し、彩度評価値から彩度が高いと判断される場合には、第２の出力ＨＤＲ画像に付与される優先順位を第１の出力ＨＤＲ画像のそれよりも高める。
逆に、入力画像の彩度が低いときには、絵画調のＨＤＲ画像が望まれている可能性は比較的低いと推測されるため、自然なトーンマッピングを利用した出力ＨＤＲ画像の方がユーザに好まれやすいと考えられる。これを考慮し、彩度評価値から彩度が低いと判断される場合には、第１の出力ＨＤＲ画像に付与される優先順位を第２の出力ＨＤＲ画像のそれよりも高める。
【０１１１】
また、入力画像上の物体の動きが大きい場合又はフリッカが存在する場合、複数画像の合成が困難になることが多く、合成によって輪郭のぼけや二重像の発生等を招くこともある。これを考慮し、動き評価値から動きが大きいと判断される場合又はフリッカ有無信号からフリッカが有ると判断される場合には、第３の出力ＨＤＲ画像に付与される優先順位を第１及び第２の出力ＨＤＲ画像のそれらよりも高める。逆に、動き評価値から動きが小さいと判断される場合又はフリッカ有無信号からフリッカが無いと判断される場合には、複数画像の合成によるダイナミックレンジ拡大が有効に機能すると考えられるため、第３の出力ＨＤＲ画像に付与される優先順位を第１及び第２の出力ＨＤＲ画像のそれらよりも低くする。
【０１１２】
図２４（ａ）及び（ｂ）では２つの設定指標を用いて優先順位を決定しているが、第１〜第３の設定指標を全て用いて優先順位を決定しても良い。この場合、動きが小さいという第１条件、フリッカが無いという第２条件、及び、彩度が高いという第３条件を設定する。そして例えば、
第１〜第３条件が全て満たされる場合には第１規則に従って、
第３条件が満たされるが第１及び第２条件の少なくとも一方が満たされない場合には第４規則に従って、
第３条件は満たされないが第１及び第２条件が双方満たされる場合には第２規則に従って、
第３条件が満たされず且つ第１及び第２条件が少なくとも一方が満たされない場合には第３規則に従って、
優先順位を設定することができる。
【０１１３】
また、第１の設定指標のみを用いて優先順位を決定することも可能である。
この場合例えば、
動きが小さいと判断したときには第１規則に従って、
動きが大きいと判断したときには第４規則に従って優先順位を設定する、
或いは例えば、
動きが小さいと判断したときには第２規則に従って、
動きが大きいと判断したときには第３規則に従って優先順位を設定する。
【０１１４】
また、第２の設定指標のみを用いて優先順位を決定することも可能である。
この場合例えば、
フリッカが無いと判断したときには第１規則に従って、
フリッカが有ると判断したときには第４規則に従って優先順位を設定する、
或いは例えば、
フリッカが無いと判断したときには第２規則に従って、
フリッカが有ると判断したときには第３規則に従って優先順位を設定する。
【０１１５】
また、第３の設定指標のみを用いて優先順位を決定することも可能である。
この場合例えば、
彩度が高いと判断したときには第１規則に従って、
彩度が低いと判断したときには第２規則に従って、優先順位を設定する、
或いは例えば、
彩度が高いと判断したときには第４規則に従って、
彩度が低いと判断したときには第３規則に従って、優先順位を設定する。
【０１１６】
上述の撮像装置１によれば、複数のＨＤＲ処理によって複数の出力ＨＤＲ画像を生成することができる。このため、ユーザは、複数の出力ＨＤＲ画像の中から、自分の好みにあった出力ＨＤＲ画像を選択的に表示又は記録するといったことが可能となる。また、優先順位に応じた表示制御又は記録制御により、ユーザの好みに合っていると推測される出力ＨＤＲ画像を優先的に表示又は記録することができる。ユーザの好みに沿った優先表示又は優先記録が、ユーザの利便性向上（ユーザの操作負担軽減など）に寄与することは言うまでもない。仮に、高い優先順位を与えられた出力ＨＤＲ画像がユーザの好みに合ったものでない場合においても、ユーザは、低い優先順位が与えられた出力ＨＤＲ画像の中から、好みの出力ＨＤＲ画像を選択的に表示又は記録させることができる。また、ＨＤＲ撮影の要否判定により、必要性の少ないＨＤＲ撮影及びＨＤＲ処理の実行を回避することができる。
【０１１７】
尚、当然ではあるが、ＨＤＲ処理は、ＨＤＲ撮影が必要と判断されて対象入力画像が撮影されたときにのみ実行される。従って、要否判定部５６によるＨＤＲ撮影の要否判定は、ＨＤＲ処理の要否判定（ＨＤＲ処理の実行が必要か否かの判定）であるとも言え、出力ＨＤＲ画像の要否判定（出力ＨＤＲ画像の生成が必要か否かの判定）であるとも言える。
【０１１８】
［高優先順位の画像のみの生成］
図２０の動作では、生成した第１〜第３の出力ＨＤＲ画像に対して優先順位を設定しているが、ステップＳ１８の優先順位設定処理をステップＳ１７の処理の実行前に実行し、第１〜第３の出力ＨＤＲ画像の内、第１の優先順位が設定された出力ＨＤＲ画像のみ、或いは、第１及び第２の優先順位が設定された出力ＨＤＲ画像のみを生成するようにしても良い。このような生成を実現する方法を、便宜上、方法αと呼ぶ。
【０１１９】
方法αでは、例えば、
上記の第１規則が適用される状況下において、
第１〜第３の出力ＨＤＲ画像の内、第２の出力ＨＤＲ画像のみ、或いは、第２及び第１の出力ＨＤＲ画像のみを生成し、
上記の第２規則が適用される状況下において、
第１〜第３の出力ＨＤＲ画像の内、第１の出力ＨＤＲ画像のみ、或いは、第１及び第２の出力ＨＤＲ画像のみを生成し、
上記の第３規則が適用される状況下において、
第１〜第３の出力ＨＤＲ画像の内、第３の出力ＨＤＲ画像のみ、或いは、第３及び第１の出力ＨＤＲ画像のみを生成し、
上記の第４規則が適用される状況下において、
第１〜第３の出力ＨＤＲ画像の内、第３の出力ＨＤＲ画像のみ、或いは、第３及び第２の出力ＨＤＲ画像のみを生成する。
図４の画像出力制御部５８は、生成された出力ＨＤＲ画像を表示部２７に表示させることができると共に外部メモリ１８に記録させることができる。
【０１２０】
方法αでは、第１〜第３のＨＤＲ処理の内、１つ又は２つのＨＤＲ処理のみが選択的に実行され、第１〜第３の出力ＨＤＲ画像の内、１枚又は２枚の出力ＨＤＲ画像のみが生成される。このため、方法αでは、出力ＨＤＲ画像を生成するためのＨＤＲ処理の内容が優先順位に従って変更される、と言える。優先順位をプレビュー画像列の画像データから設定することができるため、方法αでは、出力ＨＤＲ画像を生成するためのＨＤＲ処理の内容がプレビュー画像列の画像データに基づいて変更される、とも言える。
【０１２１】
更に、方法αを、以下のような方法αＡに変形することもできる。方法αＡでは、第１及び第２の出力ＨＤＲ画像の内、より高い優先順位が設定された出力ＨＤＲ画像のみを生成する。従って、方法αＡを用いる場合、
上記の第１又は第４規則が適用される状況下においては、
第１及び第２の出力ＨＤＲ画像の内、第２の出力ＨＤＲ画像のみ生成するようにし、
上記の第２又は第３規則が適用される状況下においては、
第１及び第２の出力ＨＤＲ画像の内、第１の出力ＨＤＲ画像のみを生成するようにする。
図４の画像出力制御部５８は、生成された出力ＨＤＲ画像を表示部２７に表示させることができると共に外部メモリ１８に記録させることができる。
【０１２２】
方法αＡでは、第１及び第２のＨＤＲ処理の内、一方のＨＤＲ処理のみが選択され、選択されたＨＤＲ処理を用いて、第１及び第２の出力ＨＤＲ画像の内、一方の出力ＨＤＲ画像のみが生成される。このため、方法αと同様に、方法αＡにおいても、出力ＨＤＲ画像を生成するためのＨＤＲ処理の内容が優先順位に従って変更される、と言え、出力ＨＤＲ画像を生成するためのＨＤＲ処理の内容がプレビュー画像列の画像データに基づいて変更される、とも言える。他方、第１及び第２の出力ＨＤＲ画像は、常に画像合成処理及び階調変換処理を介して生成される。従って、方法αＡでは、出力ＨＤＲ画像を生成するための階調変換処理の内容が優先順位に従って変更される、と言え、出力ＨＤＲ画像を生成するための階調変換処理の内容がプレビュー画像列の画像データに基づいて変更される、とも言える。
【０１２３】
方法α又はαＡによれば、ユーザの好みに合っていると推測される出力ＨＤＲ画像を選択的に生成することが可能となる。
【０１２４】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１２５】
［注釈１］
上述の動作例では、画像処理部５０にて実現可能なＨＤＲ処理の種類数が３になっているが、その種類数は２以上であれば幾つでもよい。画像処理部５０から、ＨＤＲ処理の種類数と同数の出力ＨＤＲ画像を得ることができる。
【０１２６】
［注釈２］
図４に示される画像処理部５０、画像データ取得部５１及び画像出力制御部５８並びに図１に示される任意の部位（表示部２７等）は、撮像装置１以外の電子機器（不図示）に設けられていても良く、その電子機器上において上述の各動作を実現させても良い。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置１も、電子機器の一種である。
【０１２７】
［注釈３］
図１の撮像装置１及び上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１及び電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。特に、図４の各部位にて実現される機能の全部又は一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部又は一部を実現するようにしてもよい。
【符号の説明】
【０１２８】
１ 撮像装置
１１ 撮像部
２７ 表示部
５０ 画像処理部
５１ 画像データ取得部
５２ 露出制御部
５３ 合成処理部
５４ 階調変換部
５５ 階調補正部
５６ ＨＤＲ撮影要否判定部
５７ 優先順位設定部
５８ 画像出力制御部
【特許請求の範囲】
【請求項１】
互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得部と、
前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理部と、
前記合成処理部の生成画像に対し、互いに異なる複数の階調変換条件を個別に用いて階調変換を行うことにより複数の合成結果画像を生成する階調変換部と、を備えた
ことを特徴とする電子機器。
【請求項２】
前記入力画像列の画像データに基づき前記複数の合成結果画像に対して優先順位を設定する優先順位設定部と、
前記優先順位に応じて前記複数の合成結果画像の表示又は記録を制御する画像出力制御部と、を更に備えた
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記ｎ枚の入力画像に含まれる１枚の入力画像に階調補正を行うことで階調補正画像を生成する階調補正部を更に備えた
ことを特徴とする請求項１に記載の電子機器。
【請求項４】
前記入力画像列の画像データに基づき前記複数の合成結果画像及び前記階調補正画像に対して優先順位を設定する優先順位設定部と、
前記優先順位に応じて前記複数の合成結果画像及び前記階調補正画像の表示又は記録を制御する画像出力制御部と、を更に備えた
ことを特徴とする請求項３に記載の電子機器。
【請求項５】
前記優先順位設定部は、前記入力画像列の画像データに基づいて、
前記入力画像列上の物体の動き、
前記入力画像列におけるフリッカの有無、及び、
前記入力画像列における彩度、
の内の１以上を評価し、評価結果に基づいて前記優先順位を設定する
ことを特徴とする請求項２又は請求項４に記載の電子機器。
【請求項６】
当該電子機器は、前記入力画像列の画像データを撮影によって取得する撮像装置であって、
前記入力画像列を形成する各入力画像の露出条件を設定する露出条件設定部と、
前記複数の合成結果画像を生成することの要否を判定する要否判定部と、を更に備え、
前記複数の合成結果画像を生成するか否かは、前記要否の判定結果に従って定められ、
前記ｎ枚の入力画像に先立って撮影される入力画像には、第１及び第２の判定用入力画像が含まれ、
前記露出条件設定部は、前記第１の判定用入力画像において所定の第１基準輝度以上の輝度を有する画素の数が所定の第１基準値以下になるように、前記第１の判定用入力画像の撮影時における第１の露出条件を設定するとともに、前記第２の判定用入力画像において所定の第２基準輝度以下の輝度を有する画素の数が所定の第２基準値以下になるように、前記第２の判定用入力画像の撮影時における第２の露出条件を設定し、
前記要否判定部は、前記第１及び第２の露出条件に基づいて前記要否の判定を行う
ことを特徴とする請求項１〜請求項５の何れかに記載の電子機器。
【請求項７】
互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得部と、
前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理部と、
前記合成処理部の生成画像に対し、階調変換を行うことにより合成結果画像を生成する階調変換部と、を備え、
前記階調変換部は、前記階調変換の内容を前記入力画像列の画像データに基づいて変更する
ことを特徴とする電子機器。
【請求項８】
互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得ステップと、
前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理ステップと、
前記合成処理ステップの生成画像に対し、互いに異なる複数の階調変換条件を個別に用いて階調変換を行うことにより複数の合成結果画像を生成する階調変換ステップと、を実行する
ことを特徴とする画像処理方法。
【請求項９】
互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得ステップと、
前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理ステップと、
前記合成処理ステップの生成画像に対し、階調変換を行うことにより合成結果画像を生成する階調変換ステップと、を実行し、
前記階調変換ステップでは、前記階調変換の内容を前記入力画像列の画像データに基づいて変更する
ことを特徴とする画像処理方法。
【請求項１０】
請求項８又は請求項９に記載の画像データ取得ステップ、合成処理ステップ及び階調変換ステップをコンピュータに実行させるためのプログラム。
【請求項１】
互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得部と、
前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理部と、
前記合成処理部の生成画像に対し、互いに異なる複数の階調変換条件を個別に用いて階調変換を行うことにより複数の合成結果画像を生成する階調変換部と、を備えた
ことを特徴とする電子機器。
【請求項２】
前記入力画像列の画像データに基づき前記複数の合成結果画像に対して優先順位を設定する優先順位設定部と、
前記優先順位に応じて前記複数の合成結果画像の表示又は記録を制御する画像出力制御部と、を更に備えた
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記ｎ枚の入力画像に含まれる１枚の入力画像に階調補正を行うことで階調補正画像を生成する階調補正部を更に備えた
ことを特徴とする請求項１に記載の電子機器。
【請求項４】
前記入力画像列の画像データに基づき前記複数の合成結果画像及び前記階調補正画像に対して優先順位を設定する優先順位設定部と、
前記優先順位に応じて前記複数の合成結果画像及び前記階調補正画像の表示又は記録を制御する画像出力制御部と、を更に備えた
ことを特徴とする請求項３に記載の電子機器。
【請求項５】
前記優先順位設定部は、前記入力画像列の画像データに基づいて、
前記入力画像列上の物体の動き、
前記入力画像列におけるフリッカの有無、及び、
前記入力画像列における彩度、
の内の１以上を評価し、評価結果に基づいて前記優先順位を設定する
ことを特徴とする請求項２又は請求項４に記載の電子機器。
【請求項６】
当該電子機器は、前記入力画像列の画像データを撮影によって取得する撮像装置であって、
前記入力画像列を形成する各入力画像の露出条件を設定する露出条件設定部と、
前記複数の合成結果画像を生成することの要否を判定する要否判定部と、を更に備え、
前記複数の合成結果画像を生成するか否かは、前記要否の判定結果に従って定められ、
前記ｎ枚の入力画像に先立って撮影される入力画像には、第１及び第２の判定用入力画像が含まれ、
前記露出条件設定部は、前記第１の判定用入力画像において所定の第１基準輝度以上の輝度を有する画素の数が所定の第１基準値以下になるように、前記第１の判定用入力画像の撮影時における第１の露出条件を設定するとともに、前記第２の判定用入力画像において所定の第２基準輝度以下の輝度を有する画素の数が所定の第２基準値以下になるように、前記第２の判定用入力画像の撮影時における第２の露出条件を設定し、
前記要否判定部は、前記第１及び第２の露出条件に基づいて前記要否の判定を行う
ことを特徴とする請求項１〜請求項５の何れかに記載の電子機器。
【請求項７】
互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得部と、
前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理部と、
前記合成処理部の生成画像に対し、階調変換を行うことにより合成結果画像を生成する階調変換部と、を備え、
前記階調変換部は、前記階調変換の内容を前記入力画像列の画像データに基づいて変更する
ことを特徴とする電子機器。
【請求項８】
互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得ステップと、
前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理ステップと、
前記合成処理ステップの生成画像に対し、互いに異なる複数の階調変換条件を個別に用いて階調変換を行うことにより複数の合成結果画像を生成する階調変換ステップと、を実行する
ことを特徴とする画像処理方法。
【請求項９】
互いに異なる露出条件で撮影されたｎ枚の入力画像（ｎは２以上の整数）を含む入力画像列の画像データを取得する画像データ取得ステップと、
前記ｎ枚の入力画像に含まれる複数の入力画像を合成することで各入力画像のダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する合成処理ステップと、
前記合成処理ステップの生成画像に対し、階調変換を行うことにより合成結果画像を生成する階調変換ステップと、を実行し、
前記階調変換ステップでは、前記階調変換の内容を前記入力画像列の画像データに基づいて変更する
ことを特徴とする画像処理方法。
【請求項１０】
請求項８又は請求項９に記載の画像データ取得ステップ、合成処理ステップ及び階調変換ステップをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−１１９７６１（Ｐ２０１２−１１９７６１Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６５２７８（Ｐ２０１０−２６５２７８）
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]