画像処理装置、撮像装置、及び画像処理プログラム
【課題】同一の撮影シーンから互いに異なる露光条件で撮像されたカラー画像群を適切に圧縮する。
【解決手段】本発明の画像処理装置の一態様は、同一の撮影シーンから互いに異なる露光条件で撮像されたＮ枚のカラー画像を圧縮対象として入力する入力手段（１６）と、前記Ｎ枚のカラー画像の各々の輝度分布を個別に示すＮ枚分の輝度画像を抽出する輝度画像抽出手段（１９、２０）と、 前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を作成する色差画像作成手段（１９、２０）と、前記Ｎ枚分の輝度画像を示す輝度情報と前記１枚分の色差画像を示す色差情報とを互いに対応付けたものを、圧縮結果として取得する結果取得手段（１９、２０）とを備える。
【解決手段】本発明の画像処理装置の一態様は、同一の撮影シーンから互いに異なる露光条件で撮像されたＮ枚のカラー画像を圧縮対象として入力する入力手段（１６）と、前記Ｎ枚のカラー画像の各々の輝度分布を個別に示すＮ枚分の輝度画像を抽出する輝度画像抽出手段（１９、２０）と、 前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を作成する色差画像作成手段（１９、２０）と、前記Ｎ枚分の輝度画像を示す輝度情報と前記１枚分の色差画像を示す色差情報とを互いに対応付けたものを、圧縮結果として取得する結果取得手段（１９、２０）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、同一の撮影シーンから互いに異なる露光条件で撮像されたカラー画像群を合成・階調変換することにより、広ダイナミックレンジな合成カラー画像を再生するディジタルカメラが提案されている（特許文献１等を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２２３３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のディジタルカメラは、再生のパラメータを自動的に設定するので、ユーザの注目している被写体が必ずしも広ダイナミックレンジで再現されない。また、再生後にパラメータを調節可能とするためには、オリジナルのカラー画像群をカメラが保持し続ける必要があるが、その場合、カラー画像群の枚数分だけ画像記憶領域が占有されるため、携帯装置であるカメラにとって大きな負担となる。
【０００５】
そこで本発明は、同一の撮影シーンから互いに異なる露光条件で撮像されたカラー画像群を適切に圧縮することのできる画像処理装置、撮像装置、及び画像処理プログラムを提供することを目的とする。また、本発明は、圧縮後のカラー画像群を適切に再生することのできる画像処理装置、撮像装置、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置の一態様は、同一の撮影シーンから互いに異なる露光条件で撮像されたＮ枚のカラー画像を圧縮する画像処理装置であって、前記Ｎ枚のカラー画像を圧縮対象として入力する入力手段と、前記Ｎ枚のカラー画像の各々の輝度分布を個別に示すＮ枚分の輝度画像を抽出する輝度画像抽出手段と、前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を作成する色差画像作成手段と、前記Ｎ枚分の輝度画像を示す輝度情報と前記１枚分の色差画像を示す色差情報とを互いに対応付けたものを、圧縮結果として取得する結果取得手段とを備える。
【０００７】
また、本発明の別の画像処理装置の一態様は、前記圧縮結果を再生対象として入力する入力手段と、前記圧縮結果に含まれる前記輝度情報に基づき、前記Ｎ枚のカラー画像の全体の輝度分布を一括に示す１枚分の輝度画像を作成する輝度画像作成手段と、前記圧縮結果に含まれる前記色差情報に基づき、前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を取得する色差画像取得手段と、前記１枚分の輝度画像と前記１枚分の色差画像とを組み合わせてなる１枚分の合成カラー画像を、再生結果として取得する結果取得手段とを備える。
【０００８】
また、本発明の撮像装置の一態様は、同一の撮影シーンから互いに異なる露光条件でＮ枚のカラー画像を撮像する撮像手段と、本発明の何れかの画像処理装置の一態様とを備える。
【０００９】
また、本発明の画像処理プログラムの一態様は、同一の撮影シーンから互いに異なる露光条件で撮像されたＮ枚のカラー画像を圧縮する画像処理プログラムであって、前記Ｎ枚のカラー画像を圧縮対象として入力する入力手順と、前記Ｎ枚のカラー画像の各々の輝度分布を個別に示すＮ枚分の輝度画像を抽出する輝度画像抽出手順と、前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を作成する色差画像作成手順と、前記Ｎ枚分の輝度画像を示す輝度情報と前記１枚分の色差画像を示す色差情報とを互いに対応付けたものを、圧縮結果として取得する結果取得手順とを含む。
【００１０】
また、本発明の別の画像処理プログラムの一態様は、前記圧縮結果を再生対象として入力する入力手順と、前記圧縮結果に含まれる前記輝度情報に基づき、前記Ｎ枚のカラー画像の全体の輝度分布を一括に示す１枚分の輝度画像を作成する輝度画像作成手順と、前記圧縮結果に含まれる前記色差情報に基づき、前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を取得する色差画像取得手段と、前記１枚分の輝度画像と前記１枚分の色差画像とを組み合わせてなる１枚分の合成カラー画像を、再生結果として取得する結果取得手順とを含む。
【発明の効果】
【００１１】
本発明によれば、同一の撮影シーンから互いに異なる露光条件で撮像されたカラー画像群を適切に圧縮することのできる画像処理装置、撮像装置、及び画像処理プログラムが実現する。また、本発明によれば、圧縮後のカラー画像群を適切に再生することのできる画像処理装置、撮像装置、及び画像処理プログラムが実現する。
【図面の簡単な説明】
【００１２】
【図１】ディジタルカメラの構成を示すブロック図。
【図２】撮影モード（広ダイナミックレンジ撮影の機能がオンされているとき）における制御部１９の動作フローチャート。
【図３】圧縮／展開部２０による圧縮処理の動作フローチャート。
【図４】輝度ヒストグラムの例である。
【図５】再生モード（広ダイナミックレンジ再生の機能がオンされているとき）における制御部１９の動作フローチャート。
【図６】階調変換処理のサブルーチン。
【図７】モニタ１８の表示例（初回）。
【図８】モニタ１８の表示例（２回目以降）。
【図９】ガウス型の輝度ヒストグラム。
【図１０】目標の輝度ヒストグラム。
【図１１】実際の累積ヒストグラムの例。
【図１２】目標の累積ヒストグラムの例。
【図１３】階調変換特性カーブの例。
【発明を実施するための形態】
【００１３】
［実施形態］
以下、本発明の実施形態としてディジタルカメラを説明する。
【００１４】
図１は、本実施形態のディジタルカメラの構成を示すブロック図である。図１に示すとおりディジタルカメラは、撮影レンズ１１と、レンズ駆動部１２と、カラーの撮像素子１３と、アナログ信号処理部１４と、タイミングジェネレータ（ＴＧ）１５と、バッファメモリ１６と、画像処理部１７と、モニタ１８と、制御部１９と、圧縮／展開部２０と、記録媒体２１と、操作部２２と、バス２３とを有している。ここで、バッファメモリ１６、画像処理部１７、モニタ１８、制御部１９、圧縮／展開部２０、記録媒体２１は、バス２３を介して接続されている。また、レンズ駆動部１２、アナログ信号処理部１４、ＴＧ１５、操作部２２は、それぞれ制御部１９に接続されている。
【００１５】
撮影レンズ１１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、図１では簡単のため撮影レンズ１１を１枚のレンズとして図示している。
【００１６】
レンズ駆動部１２は、制御部１９の指示に応じてレンズ駆動信号を発生し、撮影レンズ１１を光軸方向に移動させてフォーカス制御やズーム調整を行うと共に、撮影レンズ１１を通過した光束による被写体像を撮像素子１３の受光面に形成する。また、レンズ駆動部１２は、撮影レンズ１１の絞り値を必要に応じて調整する。
【００１７】
撮像素子１３は、ＣＣＤ型やＣＭＯＳ型の撮像素子であり、撮影レンズ１１の像空間側に配置されている。撮像素子１３は、受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子１３の出力はアナログ信号処理部１４に接続されている。
【００１８】
アナログ信号処理部１４は、制御部１９の指示に応じて、撮像素子１３から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、Ａ／Ｄ変換などのアナログ信号処理を施す。このアナログ信号処理部１４の出力はバッファメモリ１６に接続されている。
【００１９】
ＴＧ１５は、制御部１９の指示に応じて、撮像素子１３およびアナログ信号処理部１４へタイミングパルスを供給する。撮像素子１３およびアナログ信号処理部１４の駆動タイミングはそのタイミングパルスによって制御される。また、撮像素子１３の電荷蓄積時間も、そのタイミングパルスによって制御される。なお、ここでは簡単のため、ディジタルカメラのシャッター速度（Ｔｖ値）は、撮像素子１３の電荷蓄積時間のみによって設定されるものと仮定する（但し、実際には、撮像素子１３の電荷蓄積時間と不図示のメカシャッターの開放時間との組み合わせによって設定することができる）。
【００２０】
バッファメモリ１６は、アナログ信号処理部１４から出力されるディジタルの画像信号をフレーム毎に蓄積する。以下、１フレーム分の画像信号を単に「カラー画像」と称す。なお、バッファメモリ１６は、複数枚のカラー画像を同時に蓄積することができる。
【００２１】
画像処理部１７は、制御部１９の指示に応じて、バッファメモリ１６のカラー画像に対して画像処理を施す。この画像処理には、例えば、ホワイトバランス調整、色補間、輪郭強調、ガンマ補正、色変換などが含まれる。なお、画像処理部１７は、ＡＳＩＣなどとして構成される。
【００２２】
モニタ１８は、ディジタルカメラ筐体の背面などに設けられたＬＣＤモニタや、接眼部を備えた電子ファインダなどであり、制御部１９の指示に応じて各種の画像を表示する。
【００２３】
圧縮／展開部２０は、制御部１９の指示に応じて、バッファメモリ１６のカラー画像に対して圧縮処理を施す。また、圧縮／展開部２０は、制御部１９の指示に応じて、バッファメモリ１６の圧縮ファイルに対して展開処理を施す。なお、圧縮処理及び展開処理の詳細は後述する。
【００２４】
記録媒体２１は、メモリカード、小型ハードディスク、ＤＶＤ等の光ディスクなどで構成される。なお、記録媒体２１は、ディジタルカメラに内蔵されるものであっても、着脱可能に装着されるものであってもよいし、外部に設けられるものであってもよい。外部に設けられる場合、記録媒体２１とディジタルカメラとは、有線または無線で電気的に接続される。
【００２５】
操作部２２は、モード設定ボタン、レリーズボタン、メニューボタンなどの各種の操作部材であって、ユーザによる操作内容に応じて操作信号を生成し、制御部１９に送る。
【００２６】
制御部１９は、操作部２２から送られる操作信号に応じて、ディジタルカメラの各部を統括制御する。なお、制御部１９の動作プログラムは、不図示のＲＯＭに予め格納されており、不図示のＲＡＭ上に必要に応じて読み出され、実行されるものとする。
【００２７】
以上の構成のディジタルカメラは、ユーザによる操作部２２の操作に応じて、そのモードを撮影モードと再生モードとの間で切り替える。本実施形態のディジタルカメラは、撮影モードの機能の１つとして、広ダイナミックレンジ撮影の機能を有しており、再生モードの機能の１つとして、広ダイナミックレンジ再生の機能を有している。
【００２８】
図２は、広ダイナミックレンジ撮影の機能がオンされているときの撮影モードにおける制御部１９の動作フローチャートであり、図３は、圧縮／展開部２０による圧縮処理の動作フローチャートである。以下、図２、図３の各ステップを説明する。
【００２９】
ステップＳ１００：制御部１９は、自動露出制御を開始する。自動露出制御における制御部１９は、撮像素子１３をドラフトモード（間引き読み出しモード）で連続駆動し、撮像素子１３から連続して送出されるスルー画像からＡＦ評価値及びＡＥ評価値を抽出する。そして、制御部１９は、ＡＦ評価値に応じて撮像レンズ１１のフォーカス制御（ＡＦ制御）を行うと共に、ＡＥ評価値に応じてスルー画像の露出制御（ＡＥ制御）を行う。なお、ＡＥ制御は、撮像素子１３の電荷蓄積時間（Ｔｖ値）の調整と撮影レンズ１１の絞り値（Ａｖ値）の調整との組み合わせによって行われる。
【００３０】
ステップＳ１０１：制御部１９は、操作部２２に含まれるレリーズボタンが全押しされたか否かを判別し、全押しされた場合にはステップＳ１０２へ移行する。
【００３１】
ステップＳ１０２：制御部１９は、露出ブラケット撮影を実行する。すなわち、制御部１９は、撮影レンズ１１の絞り値（Ａｖ値）を固定したまま、撮像素子１３の電荷蓄積時間（Ｔｖ値）のみを順次に切り替える。なお、このときのＴｖ値は、レリーズボタンが全押しされた時点の値を基準として、プラス側及びマイナス側にそれぞれ複数段階ずつ順次に切り替わる。そして、制御部１９は、Ｔｖ値が各段階にあるときに撮像素子１３をフレームモード（全画素読み出しモード）で１回ずつ駆動する。これによって、撮像素子１３からは、同一の撮影シーンのカラー画像であって露出量（Ｅｖ値）のみが異なるＮ枚のカラー画像ｈｉ（ｉ＝１〜Ｎ）が順次に送出される。これらカラー画像ｈｉ（ｉ＝１〜Ｎ）は、アナログ信号処理部１４を介してバッファメモリ１６へ順次に蓄積される。
【００３２】
なお、以上の説明では、露出ブラケット撮影の基準となる露出量（Ｅｖ値）を、自動露出制御で設定された露出量（Ｅｖ値）としたが、ユーザがマニュアル設定した露出量（Ｅｖ値）としてもよい。
【００３３】
ステップＳ１０３：制御部１９は、バッファメモリ１６上のカラー画像ｈｉ（ｉ＝１〜Ｎ）に対して圧縮処理を施すよう圧縮／展開部２０へ指示を与える。圧縮／展開部２０は、図３の圧縮処理を開始する。
【００３４】
ステップＳ１０３−１：圧縮／展開部２０は、バッファメモリ１６上のカラー画像ｈｉ（ｉ＝１〜Ｎ）の各々から輝度成分（Ｙ成分）を抽出する。以下、ｉ番目のカラー画像ｈｉから抽出された輝度成分（Ｙ成分）を「輝度画像ｈＹｉ」と称す。
【００３５】
ステップＳ１０３−２：圧縮／展開部２０は、ステップＳ１０３で抽出した輝度画像ｈＹｉ（ｉ＝１〜Ｎ）の各々の輝度ヒストグラム（図４参照）に基づき、カラー画像ｈｉ（ｉ＝１〜Ｎ）の各々の有効輝度範囲を求める。
【００３６】
なお、カラー画像ｈｉの有効輝度範囲は、輝度画像ｈＹｉの輝度ヒストグラムにおいて、輝度画像ｈＹｉの全画素数の所定割合以上の頻度（例えば０．１％以上の頻度）を有した１又は複数の輝度範囲をカバーする範囲全体のことである（図４のｍａｘ、ｍｉｎ）。
【００３７】
そして、圧縮／展開部２０は、カラー画像ｈｉ（ｉ＝１〜Ｎ）の中から有効輝度範囲（ｍａｘ、ｍｉｎ）が最も広いものを基準として選出する。以下、選出された基準のカラー画像を「基準カラー画像ｆ」と称す。この基準カラー画像ｆの露出は、他のカラー画像の露出よりも適正露出に近かったとみなせる。以下、カラー画像ｈｉ（ｉ＝１〜Ｎ）から基準カラー画像ｆを除く残りのカラー画像を、「比較対象カラー画像ｈｊ（ｊ＝１〜（Ｎ−１））」称す。
【００３８】
なお、以上の説明では、基準カラー画像ｆを、カラー画像ｈｉ（ｉ＝１〜Ｎ）の輝度に基づき選出したが、その代わりに、露出ブラケット撮影時に基準の露出量で取得されたカラー画像を基準カラー画像ｆとして選出してもよい。
【００３９】
ステップＳ１０３−３：圧縮／展開部２０は、基準カラー画像ｆの輝度を基準とした個々の比較対象カラー画像ｈｊの輝度比ｇａｉｎｊを次式（１）により算出する。
【００４０】
【数１】
【００４１】
但し、ｆＹは、基準カラー画像ｆの輝度画像であり、ｈＹｊは、ｊ番目の比較対象カラー画像ｈｊの輝度画像であり、式中の（ｘ，ｙ）は、画像上の座標を表している（以下も同様。）。
【００４２】
ここで、或る比較対象カラー画像ｈｊの輝度比ｇａｉｎｊが１．０よりも小さかった場合、その比較対象カラー画像ｈｊの露出は、アンダーであったとみなせる。一方、或る比較対象カラー画像ｈｊのｇａｉｎｊが１．０よりも大きかった場合、その比較対象カラー画像ｈｊの露出は、オーバーであったとみなせる。
【００４３】
なお、以上の説明では、輝度比ｇａｉｎｊをカラー画像ｈｉ（ｉ＝１〜Ｎ）の輝度に基づき算出したが、露出ブラケット撮影時のＴｖ設定値に基づき算出してもよい。
【００４４】
ステップＳ１０３−４：圧縮／展開部２０は、比較対象カラー画像ｈｊ（ｊ＝１〜（Ｎ−１））の輝度画像ｈＹｊ（ｊ＝１〜（Ｎ−１））の各々を、差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１））に変換する。ここで、ｊ番目の輝度画像ｈＹｊの変換先である差分輝度画像ΔｈＹｊは、ｊ番目の輝度画像ｈＹｊから輝度画像ｆＹを差し引いたものである。
【００４５】
以上の変換によると、輝度画像ｈＹｉ（ｉ＝１〜Ｎ）は、輝度画像ｆＹと差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１））とに圧縮される。この圧縮は、可逆圧縮である。
【００４６】
ステップＳ１０３−５：圧縮／展開部２０は、バッファメモリ１６上のカラー画像ｈｉ（ｉ＝１〜Ｎ）の各々から色差成分（Ｃｂ成分、Ｃｒ成分）を抽出する。以下、カラー画像ｈｉ（ｉ＝１〜Ｎ）のうち、基準カラー画像ｆから抽出されたＣｂ成分を「色差画像ｆＣｂ」と称し、基準カラー画像ｆから抽出されたＣｒ成分を「色差画像ｆＣｒ」と称し、ｊ番目の比較対象カラー画像ｈｊから抽出されたＣｂ成分を「色差画像ｆＣｂｊ」と称し、ｊ番目の比較対象カラー画像ｈｊから抽出されたＣｒ成分を「色差画像ｈＣｒｊ」と称す。
【００４７】
ステップ１０３−６：圧縮／展開部２０は、ステップＳ１０３−３で算出した輝度比ｇａｉｎｊ（ｊ＝１〜（Ｎ−１））を次式（２）へ当てはめることにより、重み付け合成（加重平均）で使用すべき、比較対象カラー画像ｈｊ毎の重み分布Ｗｊを算出する。
【００４８】
【数２】
【００４９】
式（２）においてＷｊが、ｊ番目の比較対象カラー画像ｈｊに関する重み分布である。
【００５０】
この式（２）によれば、露出アンダー（ｇａｉｎｊ＜１）の比較対象カラー画像ｈｊでは、高輝度部分ほど重みが大きく設定されることになる（但し、ｆＹ＜ｍｉｎのときには式（２）に拘わらずＷｊは０に設定され、ｆＹ＞ｍａｘのときには式（２）に拘わらずＷｊは（−２ｌｏｇ２（ｇａｉｎｊ））に設定されるものとする。）。露出アンダーの比較対象カラー画像ｈでは、高輝度部分ほど画素値の信頼性が高いので、このような重み分布が適当である。
【００５１】
また、式（２）によれば、露出オーバー（ｇａｉｎｊ＞１）の比較対象カラー画像ｈｊでは、低輝度部分ほど重みが大きく設定されることになる（但し、ｆＹ＜ｍｉｎのときには式（２）に拘わらずＷｊは（２ｌｏｇ２（ｇａｉｎｊ））に設定され、ｆＹ＞ｍａｘのときには式（２）に拘わらずＷｊは０に設定されるものとする。）。露出オーバーの比較対象カラー画像ｈでは、低輝度部分ほど画素値の信頼性が高いので、このような重み分布が適当である。
【００５２】
ステップＳ１０３−７：圧縮／展開部２０は、ステップＳ１０３−５で抽出した色差画像ｆＣｂ、ｈＣｂｊ（ｊ＝１〜（Ｎ−１））を次式（３）で重み付け合成することにより、合成色差画像ｇＣｂを取得する。
【００５３】
【数３】
【００５４】
但し、Ｗｊは、ステップＳ１０３−６で算出した重み分布である。
【００５５】
また、圧縮／展開部２０は、ステップＳ１０３−５で抽出した色差画像ｆＣｒ、ｈＣｒｉ（ｊ＝１〜（Ｎ−１））を次式（４）で重み付け合成することにより、合成色差画像ｇＣｒを取得する。
【００５６】
【数４】
【００５７】
但し、Ｗｊは、ステップＳ１０３−６で算出した重み分布である。
【００５８】
以上の重み付け合成によると、色差画像ｆＣｂｉ、ｆＣｒ、ｈＣｂｉ、ｈＣｒｉ（ｊ＝１〜（Ｎ−１））は、合成色差画像ｇＣｂ、ｇＣｒに圧縮される。この圧縮は、非可逆圧縮である。
【００５９】
そして、圧縮／展開部２０は、以上のステップで取得した以下のデータをカラー画像ｈｉ（ｉ＝１〜Ｎ）の圧縮結果としてバッファメモリ１６へ書き込む。
【００６０】
・輝度画像ｆＹ
・差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１））
・合成色差画像ｇＣｂ、ｇＣｒ
・輝度比ｇａｉｎｊ（ｊ＝１〜（Ｎ−１））
ステップＳ１０４：制御部１９は、バッファメモリ１６に書き込まれた以上のデータを１ファイルに纏め、そのファイルをＮ枚のカラー画像ｈｉ（ｉ＝１〜Ｎ）の圧縮ファイルとして記憶媒体２１へ書き込む。なお、制御部１９は、その書き込みに当たり、例えばＮ枚のカラー画像ｈｉ（ｉ＝１〜Ｎ）の撮影日時などをファイル名として圧縮ファイルへ付与する。圧縮ファイルの書き込み後、制御部１９は、次の撮影を待機するべくステップＳ１００へ戻る（以上、撮影モードの説明。）。
【００６１】
以上の撮影モードによると、撮影を１回行う度に圧縮ファイルが１つずつ記憶媒体２１上に作成される。個々の圧縮ファイルは、同一の撮影シーンに関する圧縮ファイルであって、主に、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）の各々の輝度分布を個別に示す情報（輝度画像ｆＹ及び差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１）））と、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）の全体の色差分布を一括に示す情報（合成色差画像ｇＣｂ、ｇＣｒ）とからなる。すなわち、この撮影モードでは、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）の輝度成分は、重み付け合成前の状態で保存され、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）の色差成分は、重み付け合成後の状態で保存される。
【００６２】
ここで、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）は同一の撮影シーンから撮像されたものなので、それらカラー画像ｈｉ（ｉ＝１〜Ｎ）の輝度成分同士は互いに類似せず、それらカラー画像の色差成分同士は互いに類似する。このため、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）を広ダイナミックレンジな１枚の合成カラー画像として再生する（重み付け合成する）際には、輝度成分に関するパラメータを可変とする必要性は高いが、色差成分に関するパラメータを可変とする必要性は低い。
【００６３】
したがって、以上の撮影モードによる圧縮方法（輝度成分は重み付け合成前の状態で保存され、色差成分は重み付け合成後の状態で保存される圧縮方法）は、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）にとって好適である。
【００６４】
図５は、広ダイナミックレンジ再生の機能がオンされているときの再生モードにおける制御部１９の動作フローチャートである。
【００６５】
ステップＳ２００：制御部１９は、記憶媒体２１に書き込まれている１又は複数の圧縮ファイルの各々のファイル名を参照し、それらをモニタ１８上へ一覧表示すると共に、それらファイル名の何れか１つをユーザに指定させる。ユーザは、操作部２２を操作することにより、任意のファイル名をディジタルカメラへ指定する。制御部１９は、操作部２２からの操作信号に基づきユーザが指定したファイル名を特定すると、ステップＳ２０１へ移行する。
【００６６】
ステップＳ２０１：制御部１９は、ユーザが指定したファイル名に対応する圧縮ファイルを記憶媒体２１から読み出してバッファメモリ１６へ書き込む。
【００６７】
ステップＳ２０２：制御部１９は、バッファメモリ１６上の圧縮ファイルに対して展開処理を施すよう圧縮／展開部２０へ指示を与える。圧縮／展開部２０は、次の手順（ａ）、（ｂ）、（ｃ）により圧縮ファイルを展開する。
【００６８】
（ａ）圧縮／展開部２０は、圧縮ファイルから、輝度画像ｆＹと、差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１））と、合成色差画像ｇＣｂ、ｇＣｒと、輝度比ｇａｉｎｊ（ｊ＝１〜（Ｎ−１））とを読み出す。このうち輝度画像ｆＹは、基準カラー画像ｆの輝度画像であり、輝度比ｇａｉｎｊは、比較対象カラー画像ｈｊの輝度比である。
【００６９】
（ｂ）圧縮／展開部２０は、差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１））の各々に対して輝度画像ｆＹを加算することにより、輝度画像ｈＹｊ（ｊ＝１〜（Ｎ−１））を復元する。なお、輝度画像ｈＹｊは、比較対象カラー画像ｈｊの輝度画像である。
【００７０】
（ｃ）圧縮／展開部２０は、輝度画像ｆＹ、ｈＹｊ（ｊ＝１〜（Ｎ−１））と、合成色差画像ｇＣｂ、ｇＣｒと、輝度比ｇａｉｎｊ（ｊ＝１〜（Ｎ−１））とを、圧縮ファイルの展開結果としてバッファメモリ１６へ書き込む。
【００７１】
ステップＳ２０３（初回）：制御部１９は、処理対象領域の設定と、輝度再現範囲（ＭＩＮ、ＭＡＸ）の設定とを行う。初回の本ステップでは、処理対象領域は画像全域に設定され、輝度再現範囲は基準カラー画像ｆの有効輝度範囲（ｍｉｎ、ｍａｘ）と同じに設定される。なお、基準カラー画像ｆの有効輝度範囲は、輝度画像ｆＹの輝度ヒストグラムにおいて、輝度画像ｆＹの全画素数の所定割合以上の頻度（例えば０．１％以上の頻度）を有した１又は複数の輝度範囲をカバーする範囲全体のことである。
【００７２】
ステップＳ２０４（初回）：制御部１９は、ステップＳ２０２で取得した輝度比ｇａｉｎｊ（ｊ＝１〜（１−Ｎ））を次式（５）へ当てはめることにより、重み付け合成で使用すべき重み分布Ｗｊ（ｊ＝１〜（１−Ｎ））を算出する。
【００７３】
【数５】
【００７４】
式（５）においてＷｊが、ｊ番目の比較対象カラー画像ｈｊに関する重み分布である。また、式（５）のｆＹは、ステップＳ２０２で取得した輝度画像ｆＹであり、ＭＩＮは、ステップＳ２０３で設定された輝度再現範囲の下限値であり、ＭＡＸは、ステップＳ２０３で設定された輝度再現範囲の上限値である。
【００７５】
この式（５）によれば、露出アンダー（ｇａｉｎｊ＜１）の比較対象カラー画像ｈｊでは、高輝度部分ほど重みが大きく設定されることになる（但し、ｆＹ＜ＭＩＮのときには式（５）に拘わらずＷｊは０に設定され、ｆＹ＞ＭＡＸのときには式（５）に拘わらずＷｊは（−２ｌｏｇ２（ｇａｉｎｊ））に設定されるものとする。）。露出アンダーの比較対象カラー画像ｈでは、高輝度部分ほど画素値の信頼性が高いので、このような重み分布が適当である。
【００７６】
また、式（５）によれば、露出オーバー（ｇａｉｎｊ＞１）の比較対象カラー画像ｈｊでは、低輝度部分ほど重みが大きく設定されることになる（但し、ｆＹ＜ＭＩＮのときには式（５）に拘わらずＷｊは（２ｌｏｇ２（ｇａｉｎｊ））に設定され、ｆＹ＞ＭＡＸのときには式（５）に拘わらずＷｊは０に設定されるものとする。）。露出オーバーの比較対象カラー画像ｈでは、低輝度部分ほど画素値の信頼性が高いので、このような重み分布が適当である。
【００７７】
なお、初回の本ステップでは、ＮＩＮ＝ｍｉｎ、ＭＡＸ＝ｍａｘに設定されるので、重み分布Ｗｊ（ｊ＝１〜（Ｎ−１））は、撮影モードで算出された重み分布Ｗｊ（ｊ＝１〜（Ｎ−１））と同じになる。
【００７８】
ステップＳ２０５（初回）：制御部１９は、輝度画像ｆＹ、ｈＹｊ（ｊ＝１〜（Ｎ−１））を次式（６）で重み付け合成することにより、合成輝度画像ｇＹを取得する。
【００７９】
【数６】
【００８０】
但し、Ｗｊは、ステップＳ２０４で算出した重み分布である。
【００８１】
このような重み付け合成で取得された合成輝度画像ｇＹは、撮影シーンの明るさ分布を広ダイナミックレンジで表すものである。
【００８２】
ステップ２０６（初回）：制御部１９は、階調変換処理のサブルーチン（図６）を呼び出し、ステップＳ２０５で取得した合成輝度画像ｇＹに対して階調変換処理を施す。この階調変換処理は、合成輝度画像ｇＹの処理対象領域に属し、かつ輝度再現範囲（ＭＩＮ、ＭＡＸ）に属する画素を、最大の階調幅で表現するための階調変換処理である。よって、初回の本ステップでは、合成輝度画像ｇＹの全域で有効輝度範囲（ｍｉｎ、ｍａｘ）に属する画素が最大の階調幅で表現されることになる。なお、サブルーチン（図６）の詳細は、後述する。
【００８３】
ステップＳ２０７（初回）：制御部１９は、階調変換後の合成輝度画像ｇＹに基づき、合成色差画像ｇＣｂ、ｇＣｒを微調整する。
【００８４】
具体的に、制御部１９は、合成輝度画像ｇＹ上の画素を参照し、その画素の適正色差範囲（適正色域）を呼び出す。なお、画素の適正色差範囲は、画素の輝度によって異なり、一般に、輝度が高い場合や低い場合の適正色差範囲は、輝度が中程度である場合の適正色差範囲よりも狭い。次に、制御部１９は、合成色差画像ｇＣｂ、ｇＣｒ上において、参照した画素と座標が共通である画素を参照し、その画素の画素値（色差）が適正色差範囲に収まっているか否かを判別する。そして、適正色差範囲に収まっていなかった場合には、その画素を異常画素とみなし、異常画素の画素値（色差）を適切色差範囲内の値にクリッピングする（例えば、周知のガットマッピング手法など）。さらに制御部１９は、以上の処理を、合成輝度画像ｇＹ上の参照先を移動させながら繰り返す。これによって、合成色差画像ｇＣｂ、ｇＣｒの異常画素は適正画素に置き換わる。
【００８５】
ステップＳ２０８（初回）：制御部１９は、ステップＳ２０６で取得した合成輝度画像ｇＹと、ステップＳ２０７で取得した合成色差画像ｇＣｂ、ｇＣｒとを組み合わせることにより、１枚分の合成カラー画像ｇを作成すると、例えば図７に示すとおりモニタ１８へ表示する。なお、制御部１９は、表示に当たり、合成カラー画像ｇに対してガンマ処理を含む必要な表示処理を施す。また、制御部１９は、モニタ１８に対して合成カラー画像ｇと共に必要なＧＵＩ画像を表示する。
【００８６】
図７の下部に示すとおり、初回の本ステップで表示されるＧＵＩ画像には、調整バー３００がある。この調整バー３００は、輝度再現範囲（ＭＩＮ、ＭＡＸ）をユーザに調整させるための調整バーである。この調整バー３００は、下限つまみ３００−１と、上限つまみ３００−２とを有しており、このうち下限つまみ３００−１は、下限値ＭＩＮを調節するためのつまみであって、上限つまみ３００−２は、上限値ＭＡＸを調節するためのつまみである。表示当初、下限つまみ３００−１のスライド位置は、基準カラー画像ｆの有効輝度範囲の下限値ｍｉｎを示しており、上限つまみ３００−２のスライド位置は、基準カラー画像ｆの有効輝度範囲の上限値ｍａｘを示しているが、これらのスライド位置は、ユーザが操作部２２を介して任意に変更することができる（但し、下限つまみ３００−１のスライド位置と上限つまみ３００−２のスライド位置との左右が逆転することは無いものとする。）。
【００８７】
また、図７に点線で示すとおり、本ステップでモニタ１８に表示されるＧＵＩ画像には、矩形枠イメージ３１０がある。この矩形枠イメージ３１０は、処理対象領域を合成カラー画像ｇ上でユーザが指定するための枠イメージである。表示当初、矩形枠イメージ３１０は、合成カラー画像ｇの全域を示しているが、矩形枠イメージ３１０の縦横比・サイズ・位置は、ユーザが操作部２２を介して任意に変更することが可能である（但し、矩形枠イメージ３１０が合成カラー画像ｇの外部へはみ出すことは無いものとする。）。
【００８８】
ステップＳ２０９：制御部１９は、操作部２２からの操作信号を監視し、ユーザから画像更新の指示が入力されたか否か（すなわち調整バー３００の調節又は矩形枠イメージ３１０の調節が行われたか否か）を判別する。そして、画像更新の指示が入力された場合には、下限つまみ３００−１の現時点のスライド位置に相当する値（ユーザ指定の下限値）と、上限つまみ３００−２の現時点のスライド位置に相当する値（ユーザ指定の上限値）と、合成カラー画像ｇ上で現時点の矩形枠イメージ３１０の内部に相当する領域（ユーザ指定の領域）とを認識し、ステップＳ２０３へ戻る。
【００８９】
ステップＳ２０３（２回目以降）：制御部１９は、処理対象領域の再設定と、輝度再現範囲（ＭＩＮ、ＭＡＸ）の再設定とを行う。２回目以降の本ステップでは、処理対象領域は、ユーザ指定の領域と同じに設定され、輝度再現範囲の下限値ＭＩＮは、ユーザ指定の下限値と同じに設定され、輝度再現範囲の上限値ＭＡＸは、ユーザ指定の上限値と同じに設定される。
【００９０】
ステップＳ２０４（２回目以降）：制御部１９は、現時点の設定下で重み分布Ｗｊ（ｊ＝１〜（Ｎ−１））を算出する（式（５））。２回目以降の本ステップでは、比較対象カラー画像ｈｊの全域に関する重み分布を算出する代わりに、比較対象カラー画像ｈｊの処理対象領域のみに関する重み分布を算出すればよい。
【００９１】
ステップＳ２０５（２回目以降）：制御部１９は、現時点の設定下で合成輝度画像ｇＹを取得する（式（６））。２回目以降の本ステップでは、合成輝度画像ｇＹの全領域を取得する代わりに、合成輝度画像ｇＹの処理対象領域のみを取得すればよい。
【００９２】
ステップＳ２０６（２回目以降）：制御部１９は、図６に示す階調変換処理のサブルーチンを呼び出し、現時点の設定下で合成輝度画像ｇＹに対して階調変換処理を施す。２回目以降のサブルーチンでは、合成輝度画像ｇＹの全域を階調変換する代わりに、合成輝度画像ｇＹの処理対象領域のみを階調変換すればよい。
【００９３】
ステップＳ２０７（２回目以降）：制御部１９は、現時点の設定下で階調変換後の合成色差画像ｇＣｂ、ｇＣｒを微調整する。２回目以降の本ステップでは、合成色差画像ｇＣｂ、ｇＣｒの全域を微調整する代わりに、合成色差画像ｇＣｂ、ｇＣｒの処理対象領域のみを微調整すればよい。
【００９４】
ステップＳ２０８（２回目以降）：制御部１９は、現時点の設定下で１枚分の合成カラー画像ｇを作成し、それをＧＵＩ画像と共にモニタ１８へ表示する。２回目以降の本ステップでは、図８に示すとおり、合成カラー画像ｇの全領域を作成・表示する代わりに、合成カラー画像ｇの処理対象領域（部分合成カラー画像ｇ’）のみを作成・表示すればよい。
【００９５】
ここで、２回目以降の本ステップでは、初回に表示した各画像（合成カラー画像ｇ、調整バー３００、矩形枠イメージ３１０）は表示したまま、部分合成カラー画像ｇ’がオーバーラップ表示される。また、部分合成カラー画像ｇ’の表示サイズは、合成カラー画像ｇの表示サイズと同等程度の大きな表示サイズに設定される。また、部分合成カラー画像ｇ’と合成カラー画像ｇとの上下関係は、ユーザによる操作部２２の操作に応じて変更可能である（以上、再生モードの説明。）。
【００９６】
以上の再生モードでは、重み付け合成前の状態で保存されていた輝度成分と、重み付け合成後の状態で保存されていた色差成分とを読み出し、輝度成分についてはその時点で重み付け合成することで合成カラー画像を作成する。したがって、この再生モードでは、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）は、１枚の合成カラー画像ｇとして再生される。
【００９７】
しかも、この再生モードでは、重み付け合成前の状態で保存されていた輝度成分を利用し、輝度成分に関する重み付け合成のパラメータを、ユーザの指定した輝度再現範囲（ＭＩＮ、ＭＡＸ）に応じて調整する。
【００９８】
また、この再生モードでは、輝度成分に関する階調変換のパラメータを、ユーザの指定した処理対象領域及び輝度再現範囲（ＭＩＮ、ＭＡＸ）に応じて調整する。
【００９９】
したがって、ユーザは、撮影シーンの様々な位置に含まれる様々な明るさの被写体の中から、任意の被写体を広ダイナミックレンジ再生の対象として指定することができると共に、その指定内容を自由に変更することができる。
【０１００】
また、この再生モードでは、非可逆圧縮で圧縮された色差成分（合成色差画像ｇＣｂ、ｇＣｒ）の異常部分を、可逆圧縮で圧縮された輝度成分（合成輝度画像ｇＹ）に基づき補正するので、合成カラー画像ｇの色が不自然になるのを防ぐことができる。
［実施形態への補足］
なお、上述した撮影モードでは、カラー画像ｈｉを以下のとおり圧縮した。
【０１０１】
・輝度画像ｆＹ
・差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１））
・合成色差画像ｇＣｂ、ｇＣｒ
・輝度比ｇａｉｎｊ（ｊ＝１〜（Ｎ−１））
しかし、このうち輝度画像ｆＹについては、更なる圧縮を施してもよい。輝度画像ｆＹの圧縮には、例えば、画素を隣接画素間の差分に変換することにより、画素の値を比較的小さな値で表す方法などが適用できる（例えば、ＪＰＥＧ圧縮など。）。
【０１０２】
また、本実施形態の撮影モード又は再生モードの何れかの処理では、演算負荷を低減するため、処理対象となる画像に対してサイズ縮小処理を施してもよい。例えば、輝度ヒストグラムを作成する際、輝度ヒストグラムの作成元となる画像に対し、サイズ縮小処理を施してもよい。
【０１０３】
また、本実施形態のディジタルカメラは、生体顕微鏡又は工業用顕微鏡の撮像部にも適用することができる。その場合、上述した撮影レンズ１１は、顕微鏡の対物レンズとなる。
【０１０４】
また、本実施形態の再生モードに関する動作プログラムを、ディジタルカメラ以外のコンピュータに実行させてもよい。また、その動作プログラムを汎用のコンピュータに実行させる場合は、その動作プログラムを通信網又は記憶媒体を介してコンピュータへインストールすればよい。
［図６のサブルーチン］
図６は、制御部１９による階調変換処理のサブルーチンである。以下、図６の各ステップを説明する。
【０１０５】
ステップ２０６−１：制御部１９は、ステップＳ２０５で取得した、処理対象領域における合成輝度画像ｇＹのうち、輝度再現範囲（ＭＩＮ、ＭＡＸ）に属する画素を参照し、それらの画素に関する輝度ヒストグラム（実際の輝度ヒストグラム）を作成する。
【０１０６】
また、制御部１９は、目標の輝度ヒストグラムを作成する（図１０参照）。目標の輝度ヒストグラムは、ガウス型の輝度ヒストグラム（図９）を逆ガンマ変換したものに相当する。
【０１０７】
続いて、制御部１９は、実際の輝度ヒストグラムの頻度と、目標の輝度ヒストグラムの頻度とをそれぞれ累積し、実際の累積ヒストグラムと、目標の累積ヒストグラムとを作成する。
【０１０８】
図１１は、本ステップで得られた実際の累積ヒストグラムの例であり、図１２は、本ステップで得られた目標の累積ヒストグラムの例である。図１１、図１２の例では、階調変換処理の入力画素数（＝処理対象領域かつ輝度再現範囲に属する画素の個数）が１９２万画素であって、階調変換処理の入力ビット数（＝輝度再現範囲（ＭＩＮ、ＭＡＸ））が１６ビット階調であり、階調変換処理の出力ビット数が１０ビット階調である場合を想定した。
【０１０９】
この場合、実際の累積ヒストグラム（図１１）の累積頻度の最大値は１９２００００であり、実際の累積ヒストグラム（図１１）の輝度の最大値は６５５３５（１６ビット階調）である。
【０１１０】
そして、制御部１９は、目標の累積ヒストグラム（図１２）における累積頻度の最大値が、実際の累積ヒストグラム（図１１）における累積頻度の最大値に一致するように、目標の累積ヒストグラムを正規化する。
【０１１１】
正規化後の目標の累積ヒストグラム（図１２の縦軸を正規化したもの）の累積頻度の最大値は１９２００００であり、目標の累積ヒストグラム（図１２の縦軸を正規化したもの）の輝度の最大値は１０２３（１０ビット階調）である。
【０１１２】
ステップ２０６−２：制御部１９は、実際の累積ヒストグラム（図１１）と、目標の累積ヒストグラム（図１２の縦軸を正規化したもの）との各々を、累積頻度方向にｎ等分する（以下、ｎ＝１６とする。）。そして、制御部１９は、実際の累積ヒストグラム（図１１）のうち分割線の交点に位置する輝度値ａ０Ｙ〜ａ１６Ｙと、目標の累積ヒストグラム（図１２の縦軸を正規化したもの）のうち分割線の交点に位置する輝度値ｂ０Ｙ〜ｂ１６Ｙとを見出し、輝度値ａ０Ｙ〜ａ１６Ｙを輝度値ｂ０Ｙ〜ｂ１６Ｙへと個別に変換する階調変換テーブルを作成する。
【０１１３】
ステップ２０６−３：制御部１９は、ステップＳ２０６−２で作成した階調変換テーブルによって表される入出力特性（離散データ）のうち、データの存在しない部分を補間することによって、例えば図１３に示すような階調変換特性カーブを作成する。なお、この補間には、線形補間、平滑化等が適用される。また、階調変換特性カーブの各部の傾きは、階調変換後に階調飛びが発生しないよう適切な範囲内に収められる。
【０１１４】
ステップ２０６−４：制御部１９は、ステップＳ２０６−３で作成した階調変換特性カーブにより、処理対象領域における合成輝度画像ｇＹを階調変換し、階調変換後の合成輝度画像ｇＹ（処理対象領域における合成輝度画像ｇＹ）を取得すると、それを階調変換結果としてバッファメモリ１６へ書き込み、図５のフローチャートの処理へ復帰する（以上、図６の説明。）。
【符号の説明】
【０１１５】
１１…撮影レンズ、１２…レンズ駆動部、１３…カラーの撮像素子、１４…アナログ信号処理部、１５…タイミングジェネレータ（ＴＧ）、１６…バッファメモリ、１７…画像処理部、１８…モニタ、１９…制御部、２０…圧縮／展開部、２１…記録媒体、２２…操作部、２３…バス
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、同一の撮影シーンから互いに異なる露光条件で撮像されたカラー画像群を合成・階調変換することにより、広ダイナミックレンジな合成カラー画像を再生するディジタルカメラが提案されている（特許文献１等を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２２３３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のディジタルカメラは、再生のパラメータを自動的に設定するので、ユーザの注目している被写体が必ずしも広ダイナミックレンジで再現されない。また、再生後にパラメータを調節可能とするためには、オリジナルのカラー画像群をカメラが保持し続ける必要があるが、その場合、カラー画像群の枚数分だけ画像記憶領域が占有されるため、携帯装置であるカメラにとって大きな負担となる。
【０００５】
そこで本発明は、同一の撮影シーンから互いに異なる露光条件で撮像されたカラー画像群を適切に圧縮することのできる画像処理装置、撮像装置、及び画像処理プログラムを提供することを目的とする。また、本発明は、圧縮後のカラー画像群を適切に再生することのできる画像処理装置、撮像装置、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置の一態様は、同一の撮影シーンから互いに異なる露光条件で撮像されたＮ枚のカラー画像を圧縮する画像処理装置であって、前記Ｎ枚のカラー画像を圧縮対象として入力する入力手段と、前記Ｎ枚のカラー画像の各々の輝度分布を個別に示すＮ枚分の輝度画像を抽出する輝度画像抽出手段と、前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を作成する色差画像作成手段と、前記Ｎ枚分の輝度画像を示す輝度情報と前記１枚分の色差画像を示す色差情報とを互いに対応付けたものを、圧縮結果として取得する結果取得手段とを備える。
【０００７】
また、本発明の別の画像処理装置の一態様は、前記圧縮結果を再生対象として入力する入力手段と、前記圧縮結果に含まれる前記輝度情報に基づき、前記Ｎ枚のカラー画像の全体の輝度分布を一括に示す１枚分の輝度画像を作成する輝度画像作成手段と、前記圧縮結果に含まれる前記色差情報に基づき、前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を取得する色差画像取得手段と、前記１枚分の輝度画像と前記１枚分の色差画像とを組み合わせてなる１枚分の合成カラー画像を、再生結果として取得する結果取得手段とを備える。
【０００８】
また、本発明の撮像装置の一態様は、同一の撮影シーンから互いに異なる露光条件でＮ枚のカラー画像を撮像する撮像手段と、本発明の何れかの画像処理装置の一態様とを備える。
【０００９】
また、本発明の画像処理プログラムの一態様は、同一の撮影シーンから互いに異なる露光条件で撮像されたＮ枚のカラー画像を圧縮する画像処理プログラムであって、前記Ｎ枚のカラー画像を圧縮対象として入力する入力手順と、前記Ｎ枚のカラー画像の各々の輝度分布を個別に示すＮ枚分の輝度画像を抽出する輝度画像抽出手順と、前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を作成する色差画像作成手順と、前記Ｎ枚分の輝度画像を示す輝度情報と前記１枚分の色差画像を示す色差情報とを互いに対応付けたものを、圧縮結果として取得する結果取得手順とを含む。
【００１０】
また、本発明の別の画像処理プログラムの一態様は、前記圧縮結果を再生対象として入力する入力手順と、前記圧縮結果に含まれる前記輝度情報に基づき、前記Ｎ枚のカラー画像の全体の輝度分布を一括に示す１枚分の輝度画像を作成する輝度画像作成手順と、前記圧縮結果に含まれる前記色差情報に基づき、前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を取得する色差画像取得手段と、前記１枚分の輝度画像と前記１枚分の色差画像とを組み合わせてなる１枚分の合成カラー画像を、再生結果として取得する結果取得手順とを含む。
【発明の効果】
【００１１】
本発明によれば、同一の撮影シーンから互いに異なる露光条件で撮像されたカラー画像群を適切に圧縮することのできる画像処理装置、撮像装置、及び画像処理プログラムが実現する。また、本発明によれば、圧縮後のカラー画像群を適切に再生することのできる画像処理装置、撮像装置、及び画像処理プログラムが実現する。
【図面の簡単な説明】
【００１２】
【図１】ディジタルカメラの構成を示すブロック図。
【図２】撮影モード（広ダイナミックレンジ撮影の機能がオンされているとき）における制御部１９の動作フローチャート。
【図３】圧縮／展開部２０による圧縮処理の動作フローチャート。
【図４】輝度ヒストグラムの例である。
【図５】再生モード（広ダイナミックレンジ再生の機能がオンされているとき）における制御部１９の動作フローチャート。
【図６】階調変換処理のサブルーチン。
【図７】モニタ１８の表示例（初回）。
【図８】モニタ１８の表示例（２回目以降）。
【図９】ガウス型の輝度ヒストグラム。
【図１０】目標の輝度ヒストグラム。
【図１１】実際の累積ヒストグラムの例。
【図１２】目標の累積ヒストグラムの例。
【図１３】階調変換特性カーブの例。
【発明を実施するための形態】
【００１３】
［実施形態］
以下、本発明の実施形態としてディジタルカメラを説明する。
【００１４】
図１は、本実施形態のディジタルカメラの構成を示すブロック図である。図１に示すとおりディジタルカメラは、撮影レンズ１１と、レンズ駆動部１２と、カラーの撮像素子１３と、アナログ信号処理部１４と、タイミングジェネレータ（ＴＧ）１５と、バッファメモリ１６と、画像処理部１７と、モニタ１８と、制御部１９と、圧縮／展開部２０と、記録媒体２１と、操作部２２と、バス２３とを有している。ここで、バッファメモリ１６、画像処理部１７、モニタ１８、制御部１９、圧縮／展開部２０、記録媒体２１は、バス２３を介して接続されている。また、レンズ駆動部１２、アナログ信号処理部１４、ＴＧ１５、操作部２２は、それぞれ制御部１９に接続されている。
【００１５】
撮影レンズ１１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、図１では簡単のため撮影レンズ１１を１枚のレンズとして図示している。
【００１６】
レンズ駆動部１２は、制御部１９の指示に応じてレンズ駆動信号を発生し、撮影レンズ１１を光軸方向に移動させてフォーカス制御やズーム調整を行うと共に、撮影レンズ１１を通過した光束による被写体像を撮像素子１３の受光面に形成する。また、レンズ駆動部１２は、撮影レンズ１１の絞り値を必要に応じて調整する。
【００１７】
撮像素子１３は、ＣＣＤ型やＣＭＯＳ型の撮像素子であり、撮影レンズ１１の像空間側に配置されている。撮像素子１３は、受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子１３の出力はアナログ信号処理部１４に接続されている。
【００１８】
アナログ信号処理部１４は、制御部１９の指示に応じて、撮像素子１３から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、Ａ／Ｄ変換などのアナログ信号処理を施す。このアナログ信号処理部１４の出力はバッファメモリ１６に接続されている。
【００１９】
ＴＧ１５は、制御部１９の指示に応じて、撮像素子１３およびアナログ信号処理部１４へタイミングパルスを供給する。撮像素子１３およびアナログ信号処理部１４の駆動タイミングはそのタイミングパルスによって制御される。また、撮像素子１３の電荷蓄積時間も、そのタイミングパルスによって制御される。なお、ここでは簡単のため、ディジタルカメラのシャッター速度（Ｔｖ値）は、撮像素子１３の電荷蓄積時間のみによって設定されるものと仮定する（但し、実際には、撮像素子１３の電荷蓄積時間と不図示のメカシャッターの開放時間との組み合わせによって設定することができる）。
【００２０】
バッファメモリ１６は、アナログ信号処理部１４から出力されるディジタルの画像信号をフレーム毎に蓄積する。以下、１フレーム分の画像信号を単に「カラー画像」と称す。なお、バッファメモリ１６は、複数枚のカラー画像を同時に蓄積することができる。
【００２１】
画像処理部１７は、制御部１９の指示に応じて、バッファメモリ１６のカラー画像に対して画像処理を施す。この画像処理には、例えば、ホワイトバランス調整、色補間、輪郭強調、ガンマ補正、色変換などが含まれる。なお、画像処理部１７は、ＡＳＩＣなどとして構成される。
【００２２】
モニタ１８は、ディジタルカメラ筐体の背面などに設けられたＬＣＤモニタや、接眼部を備えた電子ファインダなどであり、制御部１９の指示に応じて各種の画像を表示する。
【００２３】
圧縮／展開部２０は、制御部１９の指示に応じて、バッファメモリ１６のカラー画像に対して圧縮処理を施す。また、圧縮／展開部２０は、制御部１９の指示に応じて、バッファメモリ１６の圧縮ファイルに対して展開処理を施す。なお、圧縮処理及び展開処理の詳細は後述する。
【００２４】
記録媒体２１は、メモリカード、小型ハードディスク、ＤＶＤ等の光ディスクなどで構成される。なお、記録媒体２１は、ディジタルカメラに内蔵されるものであっても、着脱可能に装着されるものであってもよいし、外部に設けられるものであってもよい。外部に設けられる場合、記録媒体２１とディジタルカメラとは、有線または無線で電気的に接続される。
【００２５】
操作部２２は、モード設定ボタン、レリーズボタン、メニューボタンなどの各種の操作部材であって、ユーザによる操作内容に応じて操作信号を生成し、制御部１９に送る。
【００２６】
制御部１９は、操作部２２から送られる操作信号に応じて、ディジタルカメラの各部を統括制御する。なお、制御部１９の動作プログラムは、不図示のＲＯＭに予め格納されており、不図示のＲＡＭ上に必要に応じて読み出され、実行されるものとする。
【００２７】
以上の構成のディジタルカメラは、ユーザによる操作部２２の操作に応じて、そのモードを撮影モードと再生モードとの間で切り替える。本実施形態のディジタルカメラは、撮影モードの機能の１つとして、広ダイナミックレンジ撮影の機能を有しており、再生モードの機能の１つとして、広ダイナミックレンジ再生の機能を有している。
【００２８】
図２は、広ダイナミックレンジ撮影の機能がオンされているときの撮影モードにおける制御部１９の動作フローチャートであり、図３は、圧縮／展開部２０による圧縮処理の動作フローチャートである。以下、図２、図３の各ステップを説明する。
【００２９】
ステップＳ１００：制御部１９は、自動露出制御を開始する。自動露出制御における制御部１９は、撮像素子１３をドラフトモード（間引き読み出しモード）で連続駆動し、撮像素子１３から連続して送出されるスルー画像からＡＦ評価値及びＡＥ評価値を抽出する。そして、制御部１９は、ＡＦ評価値に応じて撮像レンズ１１のフォーカス制御（ＡＦ制御）を行うと共に、ＡＥ評価値に応じてスルー画像の露出制御（ＡＥ制御）を行う。なお、ＡＥ制御は、撮像素子１３の電荷蓄積時間（Ｔｖ値）の調整と撮影レンズ１１の絞り値（Ａｖ値）の調整との組み合わせによって行われる。
【００３０】
ステップＳ１０１：制御部１９は、操作部２２に含まれるレリーズボタンが全押しされたか否かを判別し、全押しされた場合にはステップＳ１０２へ移行する。
【００３１】
ステップＳ１０２：制御部１９は、露出ブラケット撮影を実行する。すなわち、制御部１９は、撮影レンズ１１の絞り値（Ａｖ値）を固定したまま、撮像素子１３の電荷蓄積時間（Ｔｖ値）のみを順次に切り替える。なお、このときのＴｖ値は、レリーズボタンが全押しされた時点の値を基準として、プラス側及びマイナス側にそれぞれ複数段階ずつ順次に切り替わる。そして、制御部１９は、Ｔｖ値が各段階にあるときに撮像素子１３をフレームモード（全画素読み出しモード）で１回ずつ駆動する。これによって、撮像素子１３からは、同一の撮影シーンのカラー画像であって露出量（Ｅｖ値）のみが異なるＮ枚のカラー画像ｈｉ（ｉ＝１〜Ｎ）が順次に送出される。これらカラー画像ｈｉ（ｉ＝１〜Ｎ）は、アナログ信号処理部１４を介してバッファメモリ１６へ順次に蓄積される。
【００３２】
なお、以上の説明では、露出ブラケット撮影の基準となる露出量（Ｅｖ値）を、自動露出制御で設定された露出量（Ｅｖ値）としたが、ユーザがマニュアル設定した露出量（Ｅｖ値）としてもよい。
【００３３】
ステップＳ１０３：制御部１９は、バッファメモリ１６上のカラー画像ｈｉ（ｉ＝１〜Ｎ）に対して圧縮処理を施すよう圧縮／展開部２０へ指示を与える。圧縮／展開部２０は、図３の圧縮処理を開始する。
【００３４】
ステップＳ１０３−１：圧縮／展開部２０は、バッファメモリ１６上のカラー画像ｈｉ（ｉ＝１〜Ｎ）の各々から輝度成分（Ｙ成分）を抽出する。以下、ｉ番目のカラー画像ｈｉから抽出された輝度成分（Ｙ成分）を「輝度画像ｈＹｉ」と称す。
【００３５】
ステップＳ１０３−２：圧縮／展開部２０は、ステップＳ１０３で抽出した輝度画像ｈＹｉ（ｉ＝１〜Ｎ）の各々の輝度ヒストグラム（図４参照）に基づき、カラー画像ｈｉ（ｉ＝１〜Ｎ）の各々の有効輝度範囲を求める。
【００３６】
なお、カラー画像ｈｉの有効輝度範囲は、輝度画像ｈＹｉの輝度ヒストグラムにおいて、輝度画像ｈＹｉの全画素数の所定割合以上の頻度（例えば０．１％以上の頻度）を有した１又は複数の輝度範囲をカバーする範囲全体のことである（図４のｍａｘ、ｍｉｎ）。
【００３７】
そして、圧縮／展開部２０は、カラー画像ｈｉ（ｉ＝１〜Ｎ）の中から有効輝度範囲（ｍａｘ、ｍｉｎ）が最も広いものを基準として選出する。以下、選出された基準のカラー画像を「基準カラー画像ｆ」と称す。この基準カラー画像ｆの露出は、他のカラー画像の露出よりも適正露出に近かったとみなせる。以下、カラー画像ｈｉ（ｉ＝１〜Ｎ）から基準カラー画像ｆを除く残りのカラー画像を、「比較対象カラー画像ｈｊ（ｊ＝１〜（Ｎ−１））」称す。
【００３８】
なお、以上の説明では、基準カラー画像ｆを、カラー画像ｈｉ（ｉ＝１〜Ｎ）の輝度に基づき選出したが、その代わりに、露出ブラケット撮影時に基準の露出量で取得されたカラー画像を基準カラー画像ｆとして選出してもよい。
【００３９】
ステップＳ１０３−３：圧縮／展開部２０は、基準カラー画像ｆの輝度を基準とした個々の比較対象カラー画像ｈｊの輝度比ｇａｉｎｊを次式（１）により算出する。
【００４０】
【数１】
【００４１】
但し、ｆＹは、基準カラー画像ｆの輝度画像であり、ｈＹｊは、ｊ番目の比較対象カラー画像ｈｊの輝度画像であり、式中の（ｘ，ｙ）は、画像上の座標を表している（以下も同様。）。
【００４２】
ここで、或る比較対象カラー画像ｈｊの輝度比ｇａｉｎｊが１．０よりも小さかった場合、その比較対象カラー画像ｈｊの露出は、アンダーであったとみなせる。一方、或る比較対象カラー画像ｈｊのｇａｉｎｊが１．０よりも大きかった場合、その比較対象カラー画像ｈｊの露出は、オーバーであったとみなせる。
【００４３】
なお、以上の説明では、輝度比ｇａｉｎｊをカラー画像ｈｉ（ｉ＝１〜Ｎ）の輝度に基づき算出したが、露出ブラケット撮影時のＴｖ設定値に基づき算出してもよい。
【００４４】
ステップＳ１０３−４：圧縮／展開部２０は、比較対象カラー画像ｈｊ（ｊ＝１〜（Ｎ−１））の輝度画像ｈＹｊ（ｊ＝１〜（Ｎ−１））の各々を、差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１））に変換する。ここで、ｊ番目の輝度画像ｈＹｊの変換先である差分輝度画像ΔｈＹｊは、ｊ番目の輝度画像ｈＹｊから輝度画像ｆＹを差し引いたものである。
【００４５】
以上の変換によると、輝度画像ｈＹｉ（ｉ＝１〜Ｎ）は、輝度画像ｆＹと差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１））とに圧縮される。この圧縮は、可逆圧縮である。
【００４６】
ステップＳ１０３−５：圧縮／展開部２０は、バッファメモリ１６上のカラー画像ｈｉ（ｉ＝１〜Ｎ）の各々から色差成分（Ｃｂ成分、Ｃｒ成分）を抽出する。以下、カラー画像ｈｉ（ｉ＝１〜Ｎ）のうち、基準カラー画像ｆから抽出されたＣｂ成分を「色差画像ｆＣｂ」と称し、基準カラー画像ｆから抽出されたＣｒ成分を「色差画像ｆＣｒ」と称し、ｊ番目の比較対象カラー画像ｈｊから抽出されたＣｂ成分を「色差画像ｆＣｂｊ」と称し、ｊ番目の比較対象カラー画像ｈｊから抽出されたＣｒ成分を「色差画像ｈＣｒｊ」と称す。
【００４７】
ステップ１０３−６：圧縮／展開部２０は、ステップＳ１０３−３で算出した輝度比ｇａｉｎｊ（ｊ＝１〜（Ｎ−１））を次式（２）へ当てはめることにより、重み付け合成（加重平均）で使用すべき、比較対象カラー画像ｈｊ毎の重み分布Ｗｊを算出する。
【００４８】
【数２】
【００４９】
式（２）においてＷｊが、ｊ番目の比較対象カラー画像ｈｊに関する重み分布である。
【００５０】
この式（２）によれば、露出アンダー（ｇａｉｎｊ＜１）の比較対象カラー画像ｈｊでは、高輝度部分ほど重みが大きく設定されることになる（但し、ｆＹ＜ｍｉｎのときには式（２）に拘わらずＷｊは０に設定され、ｆＹ＞ｍａｘのときには式（２）に拘わらずＷｊは（−２ｌｏｇ２（ｇａｉｎｊ））に設定されるものとする。）。露出アンダーの比較対象カラー画像ｈでは、高輝度部分ほど画素値の信頼性が高いので、このような重み分布が適当である。
【００５１】
また、式（２）によれば、露出オーバー（ｇａｉｎｊ＞１）の比較対象カラー画像ｈｊでは、低輝度部分ほど重みが大きく設定されることになる（但し、ｆＹ＜ｍｉｎのときには式（２）に拘わらずＷｊは（２ｌｏｇ２（ｇａｉｎｊ））に設定され、ｆＹ＞ｍａｘのときには式（２）に拘わらずＷｊは０に設定されるものとする。）。露出オーバーの比較対象カラー画像ｈでは、低輝度部分ほど画素値の信頼性が高いので、このような重み分布が適当である。
【００５２】
ステップＳ１０３−７：圧縮／展開部２０は、ステップＳ１０３−５で抽出した色差画像ｆＣｂ、ｈＣｂｊ（ｊ＝１〜（Ｎ−１））を次式（３）で重み付け合成することにより、合成色差画像ｇＣｂを取得する。
【００５３】
【数３】
【００５４】
但し、Ｗｊは、ステップＳ１０３−６で算出した重み分布である。
【００５５】
また、圧縮／展開部２０は、ステップＳ１０３−５で抽出した色差画像ｆＣｒ、ｈＣｒｉ（ｊ＝１〜（Ｎ−１））を次式（４）で重み付け合成することにより、合成色差画像ｇＣｒを取得する。
【００５６】
【数４】
【００５７】
但し、Ｗｊは、ステップＳ１０３−６で算出した重み分布である。
【００５８】
以上の重み付け合成によると、色差画像ｆＣｂｉ、ｆＣｒ、ｈＣｂｉ、ｈＣｒｉ（ｊ＝１〜（Ｎ−１））は、合成色差画像ｇＣｂ、ｇＣｒに圧縮される。この圧縮は、非可逆圧縮である。
【００５９】
そして、圧縮／展開部２０は、以上のステップで取得した以下のデータをカラー画像ｈｉ（ｉ＝１〜Ｎ）の圧縮結果としてバッファメモリ１６へ書き込む。
【００６０】
・輝度画像ｆＹ
・差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１））
・合成色差画像ｇＣｂ、ｇＣｒ
・輝度比ｇａｉｎｊ（ｊ＝１〜（Ｎ−１））
ステップＳ１０４：制御部１９は、バッファメモリ１６に書き込まれた以上のデータを１ファイルに纏め、そのファイルをＮ枚のカラー画像ｈｉ（ｉ＝１〜Ｎ）の圧縮ファイルとして記憶媒体２１へ書き込む。なお、制御部１９は、その書き込みに当たり、例えばＮ枚のカラー画像ｈｉ（ｉ＝１〜Ｎ）の撮影日時などをファイル名として圧縮ファイルへ付与する。圧縮ファイルの書き込み後、制御部１９は、次の撮影を待機するべくステップＳ１００へ戻る（以上、撮影モードの説明。）。
【００６１】
以上の撮影モードによると、撮影を１回行う度に圧縮ファイルが１つずつ記憶媒体２１上に作成される。個々の圧縮ファイルは、同一の撮影シーンに関する圧縮ファイルであって、主に、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）の各々の輝度分布を個別に示す情報（輝度画像ｆＹ及び差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１）））と、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）の全体の色差分布を一括に示す情報（合成色差画像ｇＣｂ、ｇＣｒ）とからなる。すなわち、この撮影モードでは、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）の輝度成分は、重み付け合成前の状態で保存され、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）の色差成分は、重み付け合成後の状態で保存される。
【００６２】
ここで、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）は同一の撮影シーンから撮像されたものなので、それらカラー画像ｈｉ（ｉ＝１〜Ｎ）の輝度成分同士は互いに類似せず、それらカラー画像の色差成分同士は互いに類似する。このため、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）を広ダイナミックレンジな１枚の合成カラー画像として再生する（重み付け合成する）際には、輝度成分に関するパラメータを可変とする必要性は高いが、色差成分に関するパラメータを可変とする必要性は低い。
【００６３】
したがって、以上の撮影モードによる圧縮方法（輝度成分は重み付け合成前の状態で保存され、色差成分は重み付け合成後の状態で保存される圧縮方法）は、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）にとって好適である。
【００６４】
図５は、広ダイナミックレンジ再生の機能がオンされているときの再生モードにおける制御部１９の動作フローチャートである。
【００６５】
ステップＳ２００：制御部１９は、記憶媒体２１に書き込まれている１又は複数の圧縮ファイルの各々のファイル名を参照し、それらをモニタ１８上へ一覧表示すると共に、それらファイル名の何れか１つをユーザに指定させる。ユーザは、操作部２２を操作することにより、任意のファイル名をディジタルカメラへ指定する。制御部１９は、操作部２２からの操作信号に基づきユーザが指定したファイル名を特定すると、ステップＳ２０１へ移行する。
【００６６】
ステップＳ２０１：制御部１９は、ユーザが指定したファイル名に対応する圧縮ファイルを記憶媒体２１から読み出してバッファメモリ１６へ書き込む。
【００６７】
ステップＳ２０２：制御部１９は、バッファメモリ１６上の圧縮ファイルに対して展開処理を施すよう圧縮／展開部２０へ指示を与える。圧縮／展開部２０は、次の手順（ａ）、（ｂ）、（ｃ）により圧縮ファイルを展開する。
【００６８】
（ａ）圧縮／展開部２０は、圧縮ファイルから、輝度画像ｆＹと、差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１））と、合成色差画像ｇＣｂ、ｇＣｒと、輝度比ｇａｉｎｊ（ｊ＝１〜（Ｎ−１））とを読み出す。このうち輝度画像ｆＹは、基準カラー画像ｆの輝度画像であり、輝度比ｇａｉｎｊは、比較対象カラー画像ｈｊの輝度比である。
【００６９】
（ｂ）圧縮／展開部２０は、差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１））の各々に対して輝度画像ｆＹを加算することにより、輝度画像ｈＹｊ（ｊ＝１〜（Ｎ−１））を復元する。なお、輝度画像ｈＹｊは、比較対象カラー画像ｈｊの輝度画像である。
【００７０】
（ｃ）圧縮／展開部２０は、輝度画像ｆＹ、ｈＹｊ（ｊ＝１〜（Ｎ−１））と、合成色差画像ｇＣｂ、ｇＣｒと、輝度比ｇａｉｎｊ（ｊ＝１〜（Ｎ−１））とを、圧縮ファイルの展開結果としてバッファメモリ１６へ書き込む。
【００７１】
ステップＳ２０３（初回）：制御部１９は、処理対象領域の設定と、輝度再現範囲（ＭＩＮ、ＭＡＸ）の設定とを行う。初回の本ステップでは、処理対象領域は画像全域に設定され、輝度再現範囲は基準カラー画像ｆの有効輝度範囲（ｍｉｎ、ｍａｘ）と同じに設定される。なお、基準カラー画像ｆの有効輝度範囲は、輝度画像ｆＹの輝度ヒストグラムにおいて、輝度画像ｆＹの全画素数の所定割合以上の頻度（例えば０．１％以上の頻度）を有した１又は複数の輝度範囲をカバーする範囲全体のことである。
【００７２】
ステップＳ２０４（初回）：制御部１９は、ステップＳ２０２で取得した輝度比ｇａｉｎｊ（ｊ＝１〜（１−Ｎ））を次式（５）へ当てはめることにより、重み付け合成で使用すべき重み分布Ｗｊ（ｊ＝１〜（１−Ｎ））を算出する。
【００７３】
【数５】
【００７４】
式（５）においてＷｊが、ｊ番目の比較対象カラー画像ｈｊに関する重み分布である。また、式（５）のｆＹは、ステップＳ２０２で取得した輝度画像ｆＹであり、ＭＩＮは、ステップＳ２０３で設定された輝度再現範囲の下限値であり、ＭＡＸは、ステップＳ２０３で設定された輝度再現範囲の上限値である。
【００７５】
この式（５）によれば、露出アンダー（ｇａｉｎｊ＜１）の比較対象カラー画像ｈｊでは、高輝度部分ほど重みが大きく設定されることになる（但し、ｆＹ＜ＭＩＮのときには式（５）に拘わらずＷｊは０に設定され、ｆＹ＞ＭＡＸのときには式（５）に拘わらずＷｊは（−２ｌｏｇ２（ｇａｉｎｊ））に設定されるものとする。）。露出アンダーの比較対象カラー画像ｈでは、高輝度部分ほど画素値の信頼性が高いので、このような重み分布が適当である。
【００７６】
また、式（５）によれば、露出オーバー（ｇａｉｎｊ＞１）の比較対象カラー画像ｈｊでは、低輝度部分ほど重みが大きく設定されることになる（但し、ｆＹ＜ＭＩＮのときには式（５）に拘わらずＷｊは（２ｌｏｇ２（ｇａｉｎｊ））に設定され、ｆＹ＞ＭＡＸのときには式（５）に拘わらずＷｊは０に設定されるものとする。）。露出オーバーの比較対象カラー画像ｈでは、低輝度部分ほど画素値の信頼性が高いので、このような重み分布が適当である。
【００７７】
なお、初回の本ステップでは、ＮＩＮ＝ｍｉｎ、ＭＡＸ＝ｍａｘに設定されるので、重み分布Ｗｊ（ｊ＝１〜（Ｎ−１））は、撮影モードで算出された重み分布Ｗｊ（ｊ＝１〜（Ｎ−１））と同じになる。
【００７８】
ステップＳ２０５（初回）：制御部１９は、輝度画像ｆＹ、ｈＹｊ（ｊ＝１〜（Ｎ−１））を次式（６）で重み付け合成することにより、合成輝度画像ｇＹを取得する。
【００７９】
【数６】
【００８０】
但し、Ｗｊは、ステップＳ２０４で算出した重み分布である。
【００８１】
このような重み付け合成で取得された合成輝度画像ｇＹは、撮影シーンの明るさ分布を広ダイナミックレンジで表すものである。
【００８２】
ステップ２０６（初回）：制御部１９は、階調変換処理のサブルーチン（図６）を呼び出し、ステップＳ２０５で取得した合成輝度画像ｇＹに対して階調変換処理を施す。この階調変換処理は、合成輝度画像ｇＹの処理対象領域に属し、かつ輝度再現範囲（ＭＩＮ、ＭＡＸ）に属する画素を、最大の階調幅で表現するための階調変換処理である。よって、初回の本ステップでは、合成輝度画像ｇＹの全域で有効輝度範囲（ｍｉｎ、ｍａｘ）に属する画素が最大の階調幅で表現されることになる。なお、サブルーチン（図６）の詳細は、後述する。
【００８３】
ステップＳ２０７（初回）：制御部１９は、階調変換後の合成輝度画像ｇＹに基づき、合成色差画像ｇＣｂ、ｇＣｒを微調整する。
【００８４】
具体的に、制御部１９は、合成輝度画像ｇＹ上の画素を参照し、その画素の適正色差範囲（適正色域）を呼び出す。なお、画素の適正色差範囲は、画素の輝度によって異なり、一般に、輝度が高い場合や低い場合の適正色差範囲は、輝度が中程度である場合の適正色差範囲よりも狭い。次に、制御部１９は、合成色差画像ｇＣｂ、ｇＣｒ上において、参照した画素と座標が共通である画素を参照し、その画素の画素値（色差）が適正色差範囲に収まっているか否かを判別する。そして、適正色差範囲に収まっていなかった場合には、その画素を異常画素とみなし、異常画素の画素値（色差）を適切色差範囲内の値にクリッピングする（例えば、周知のガットマッピング手法など）。さらに制御部１９は、以上の処理を、合成輝度画像ｇＹ上の参照先を移動させながら繰り返す。これによって、合成色差画像ｇＣｂ、ｇＣｒの異常画素は適正画素に置き換わる。
【００８５】
ステップＳ２０８（初回）：制御部１９は、ステップＳ２０６で取得した合成輝度画像ｇＹと、ステップＳ２０７で取得した合成色差画像ｇＣｂ、ｇＣｒとを組み合わせることにより、１枚分の合成カラー画像ｇを作成すると、例えば図７に示すとおりモニタ１８へ表示する。なお、制御部１９は、表示に当たり、合成カラー画像ｇに対してガンマ処理を含む必要な表示処理を施す。また、制御部１９は、モニタ１８に対して合成カラー画像ｇと共に必要なＧＵＩ画像を表示する。
【００８６】
図７の下部に示すとおり、初回の本ステップで表示されるＧＵＩ画像には、調整バー３００がある。この調整バー３００は、輝度再現範囲（ＭＩＮ、ＭＡＸ）をユーザに調整させるための調整バーである。この調整バー３００は、下限つまみ３００−１と、上限つまみ３００−２とを有しており、このうち下限つまみ３００−１は、下限値ＭＩＮを調節するためのつまみであって、上限つまみ３００−２は、上限値ＭＡＸを調節するためのつまみである。表示当初、下限つまみ３００−１のスライド位置は、基準カラー画像ｆの有効輝度範囲の下限値ｍｉｎを示しており、上限つまみ３００−２のスライド位置は、基準カラー画像ｆの有効輝度範囲の上限値ｍａｘを示しているが、これらのスライド位置は、ユーザが操作部２２を介して任意に変更することができる（但し、下限つまみ３００−１のスライド位置と上限つまみ３００−２のスライド位置との左右が逆転することは無いものとする。）。
【００８７】
また、図７に点線で示すとおり、本ステップでモニタ１８に表示されるＧＵＩ画像には、矩形枠イメージ３１０がある。この矩形枠イメージ３１０は、処理対象領域を合成カラー画像ｇ上でユーザが指定するための枠イメージである。表示当初、矩形枠イメージ３１０は、合成カラー画像ｇの全域を示しているが、矩形枠イメージ３１０の縦横比・サイズ・位置は、ユーザが操作部２２を介して任意に変更することが可能である（但し、矩形枠イメージ３１０が合成カラー画像ｇの外部へはみ出すことは無いものとする。）。
【００８８】
ステップＳ２０９：制御部１９は、操作部２２からの操作信号を監視し、ユーザから画像更新の指示が入力されたか否か（すなわち調整バー３００の調節又は矩形枠イメージ３１０の調節が行われたか否か）を判別する。そして、画像更新の指示が入力された場合には、下限つまみ３００−１の現時点のスライド位置に相当する値（ユーザ指定の下限値）と、上限つまみ３００−２の現時点のスライド位置に相当する値（ユーザ指定の上限値）と、合成カラー画像ｇ上で現時点の矩形枠イメージ３１０の内部に相当する領域（ユーザ指定の領域）とを認識し、ステップＳ２０３へ戻る。
【００８９】
ステップＳ２０３（２回目以降）：制御部１９は、処理対象領域の再設定と、輝度再現範囲（ＭＩＮ、ＭＡＸ）の再設定とを行う。２回目以降の本ステップでは、処理対象領域は、ユーザ指定の領域と同じに設定され、輝度再現範囲の下限値ＭＩＮは、ユーザ指定の下限値と同じに設定され、輝度再現範囲の上限値ＭＡＸは、ユーザ指定の上限値と同じに設定される。
【００９０】
ステップＳ２０４（２回目以降）：制御部１９は、現時点の設定下で重み分布Ｗｊ（ｊ＝１〜（Ｎ−１））を算出する（式（５））。２回目以降の本ステップでは、比較対象カラー画像ｈｊの全域に関する重み分布を算出する代わりに、比較対象カラー画像ｈｊの処理対象領域のみに関する重み分布を算出すればよい。
【００９１】
ステップＳ２０５（２回目以降）：制御部１９は、現時点の設定下で合成輝度画像ｇＹを取得する（式（６））。２回目以降の本ステップでは、合成輝度画像ｇＹの全領域を取得する代わりに、合成輝度画像ｇＹの処理対象領域のみを取得すればよい。
【００９２】
ステップＳ２０６（２回目以降）：制御部１９は、図６に示す階調変換処理のサブルーチンを呼び出し、現時点の設定下で合成輝度画像ｇＹに対して階調変換処理を施す。２回目以降のサブルーチンでは、合成輝度画像ｇＹの全域を階調変換する代わりに、合成輝度画像ｇＹの処理対象領域のみを階調変換すればよい。
【００９３】
ステップＳ２０７（２回目以降）：制御部１９は、現時点の設定下で階調変換後の合成色差画像ｇＣｂ、ｇＣｒを微調整する。２回目以降の本ステップでは、合成色差画像ｇＣｂ、ｇＣｒの全域を微調整する代わりに、合成色差画像ｇＣｂ、ｇＣｒの処理対象領域のみを微調整すればよい。
【００９４】
ステップＳ２０８（２回目以降）：制御部１９は、現時点の設定下で１枚分の合成カラー画像ｇを作成し、それをＧＵＩ画像と共にモニタ１８へ表示する。２回目以降の本ステップでは、図８に示すとおり、合成カラー画像ｇの全領域を作成・表示する代わりに、合成カラー画像ｇの処理対象領域（部分合成カラー画像ｇ’）のみを作成・表示すればよい。
【００９５】
ここで、２回目以降の本ステップでは、初回に表示した各画像（合成カラー画像ｇ、調整バー３００、矩形枠イメージ３１０）は表示したまま、部分合成カラー画像ｇ’がオーバーラップ表示される。また、部分合成カラー画像ｇ’の表示サイズは、合成カラー画像ｇの表示サイズと同等程度の大きな表示サイズに設定される。また、部分合成カラー画像ｇ’と合成カラー画像ｇとの上下関係は、ユーザによる操作部２２の操作に応じて変更可能である（以上、再生モードの説明。）。
【００９６】
以上の再生モードでは、重み付け合成前の状態で保存されていた輝度成分と、重み付け合成後の状態で保存されていた色差成分とを読み出し、輝度成分についてはその時点で重み付け合成することで合成カラー画像を作成する。したがって、この再生モードでは、一連のカラー画像ｈｉ（ｉ＝１〜Ｎ）は、１枚の合成カラー画像ｇとして再生される。
【００９７】
しかも、この再生モードでは、重み付け合成前の状態で保存されていた輝度成分を利用し、輝度成分に関する重み付け合成のパラメータを、ユーザの指定した輝度再現範囲（ＭＩＮ、ＭＡＸ）に応じて調整する。
【００９８】
また、この再生モードでは、輝度成分に関する階調変換のパラメータを、ユーザの指定した処理対象領域及び輝度再現範囲（ＭＩＮ、ＭＡＸ）に応じて調整する。
【００９９】
したがって、ユーザは、撮影シーンの様々な位置に含まれる様々な明るさの被写体の中から、任意の被写体を広ダイナミックレンジ再生の対象として指定することができると共に、その指定内容を自由に変更することができる。
【０１００】
また、この再生モードでは、非可逆圧縮で圧縮された色差成分（合成色差画像ｇＣｂ、ｇＣｒ）の異常部分を、可逆圧縮で圧縮された輝度成分（合成輝度画像ｇＹ）に基づき補正するので、合成カラー画像ｇの色が不自然になるのを防ぐことができる。
［実施形態への補足］
なお、上述した撮影モードでは、カラー画像ｈｉを以下のとおり圧縮した。
【０１０１】
・輝度画像ｆＹ
・差分輝度画像ΔｈＹｊ（ｊ＝１〜（Ｎ−１））
・合成色差画像ｇＣｂ、ｇＣｒ
・輝度比ｇａｉｎｊ（ｊ＝１〜（Ｎ−１））
しかし、このうち輝度画像ｆＹについては、更なる圧縮を施してもよい。輝度画像ｆＹの圧縮には、例えば、画素を隣接画素間の差分に変換することにより、画素の値を比較的小さな値で表す方法などが適用できる（例えば、ＪＰＥＧ圧縮など。）。
【０１０２】
また、本実施形態の撮影モード又は再生モードの何れかの処理では、演算負荷を低減するため、処理対象となる画像に対してサイズ縮小処理を施してもよい。例えば、輝度ヒストグラムを作成する際、輝度ヒストグラムの作成元となる画像に対し、サイズ縮小処理を施してもよい。
【０１０３】
また、本実施形態のディジタルカメラは、生体顕微鏡又は工業用顕微鏡の撮像部にも適用することができる。その場合、上述した撮影レンズ１１は、顕微鏡の対物レンズとなる。
【０１０４】
また、本実施形態の再生モードに関する動作プログラムを、ディジタルカメラ以外のコンピュータに実行させてもよい。また、その動作プログラムを汎用のコンピュータに実行させる場合は、その動作プログラムを通信網又は記憶媒体を介してコンピュータへインストールすればよい。
［図６のサブルーチン］
図６は、制御部１９による階調変換処理のサブルーチンである。以下、図６の各ステップを説明する。
【０１０５】
ステップ２０６−１：制御部１９は、ステップＳ２０５で取得した、処理対象領域における合成輝度画像ｇＹのうち、輝度再現範囲（ＭＩＮ、ＭＡＸ）に属する画素を参照し、それらの画素に関する輝度ヒストグラム（実際の輝度ヒストグラム）を作成する。
【０１０６】
また、制御部１９は、目標の輝度ヒストグラムを作成する（図１０参照）。目標の輝度ヒストグラムは、ガウス型の輝度ヒストグラム（図９）を逆ガンマ変換したものに相当する。
【０１０７】
続いて、制御部１９は、実際の輝度ヒストグラムの頻度と、目標の輝度ヒストグラムの頻度とをそれぞれ累積し、実際の累積ヒストグラムと、目標の累積ヒストグラムとを作成する。
【０１０８】
図１１は、本ステップで得られた実際の累積ヒストグラムの例であり、図１２は、本ステップで得られた目標の累積ヒストグラムの例である。図１１、図１２の例では、階調変換処理の入力画素数（＝処理対象領域かつ輝度再現範囲に属する画素の個数）が１９２万画素であって、階調変換処理の入力ビット数（＝輝度再現範囲（ＭＩＮ、ＭＡＸ））が１６ビット階調であり、階調変換処理の出力ビット数が１０ビット階調である場合を想定した。
【０１０９】
この場合、実際の累積ヒストグラム（図１１）の累積頻度の最大値は１９２００００であり、実際の累積ヒストグラム（図１１）の輝度の最大値は６５５３５（１６ビット階調）である。
【０１１０】
そして、制御部１９は、目標の累積ヒストグラム（図１２）における累積頻度の最大値が、実際の累積ヒストグラム（図１１）における累積頻度の最大値に一致するように、目標の累積ヒストグラムを正規化する。
【０１１１】
正規化後の目標の累積ヒストグラム（図１２の縦軸を正規化したもの）の累積頻度の最大値は１９２００００であり、目標の累積ヒストグラム（図１２の縦軸を正規化したもの）の輝度の最大値は１０２３（１０ビット階調）である。
【０１１２】
ステップ２０６−２：制御部１９は、実際の累積ヒストグラム（図１１）と、目標の累積ヒストグラム（図１２の縦軸を正規化したもの）との各々を、累積頻度方向にｎ等分する（以下、ｎ＝１６とする。）。そして、制御部１９は、実際の累積ヒストグラム（図１１）のうち分割線の交点に位置する輝度値ａ０Ｙ〜ａ１６Ｙと、目標の累積ヒストグラム（図１２の縦軸を正規化したもの）のうち分割線の交点に位置する輝度値ｂ０Ｙ〜ｂ１６Ｙとを見出し、輝度値ａ０Ｙ〜ａ１６Ｙを輝度値ｂ０Ｙ〜ｂ１６Ｙへと個別に変換する階調変換テーブルを作成する。
【０１１３】
ステップ２０６−３：制御部１９は、ステップＳ２０６−２で作成した階調変換テーブルによって表される入出力特性（離散データ）のうち、データの存在しない部分を補間することによって、例えば図１３に示すような階調変換特性カーブを作成する。なお、この補間には、線形補間、平滑化等が適用される。また、階調変換特性カーブの各部の傾きは、階調変換後に階調飛びが発生しないよう適切な範囲内に収められる。
【０１１４】
ステップ２０６−４：制御部１９は、ステップＳ２０６−３で作成した階調変換特性カーブにより、処理対象領域における合成輝度画像ｇＹを階調変換し、階調変換後の合成輝度画像ｇＹ（処理対象領域における合成輝度画像ｇＹ）を取得すると、それを階調変換結果としてバッファメモリ１６へ書き込み、図５のフローチャートの処理へ復帰する（以上、図６の説明。）。
【符号の説明】
【０１１５】
１１…撮影レンズ、１２…レンズ駆動部、１３…カラーの撮像素子、１４…アナログ信号処理部、１５…タイミングジェネレータ（ＴＧ）、１６…バッファメモリ、１７…画像処理部、１８…モニタ、１９…制御部、２０…圧縮／展開部、２１…記録媒体、２２…操作部、２３…バス
【特許請求の範囲】
【請求項１】
同一の撮影シーンから互いに異なる露光条件で撮像されたＮ枚のカラー画像を圧縮する画像処理装置であって、
前記Ｎ枚のカラー画像を圧縮対象として入力する入力手段と、
前記Ｎ枚のカラー画像の各々の輝度分布を個別に示すＮ枚分の輝度画像を抽出する輝度画像抽出手段と、
前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を作成する色差画像作成手段と、
前記Ｎ枚分の輝度画像を示す輝度情報と前記１枚分の色差画像を示す色差情報とを互いに対応付けたものを、圧縮結果として取得する結果取得手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記色差画像作成手段は、
前記Ｎ枚のカラー画像の色差分布の平均画像を、前記１枚分の色差画像として作成する
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記色差画像作成手段は、
前記Ｎ枚のカラー画像の色差分布の加重平均画像を、前記１枚分の色差画像として作成する
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記色差画像作成手段は、
前記加重平均の加重を、前記Ｎ枚のカラー画像の輝度比に応じて設定する
ことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記色差画像作成手段は、
前記加重平均の加重を、前記Ｎ枚のカラー画像を代表する基準画像の輝度分布に応じて画素毎に設定する
ことを特徴とする画像処理装置。
【請求項６】
請求項１〜請求項５の何れか一項に記載の画像処理装置が圧縮した前記Ｎ枚のカラー画像を再生する画像処理装置であって、
前記圧縮結果を再生対象として入力する入力手段と、
前記圧縮結果に含まれる前記輝度情報に基づき、前記Ｎ枚のカラー画像の全体の輝度分布を一括に示す１枚分の輝度画像を作成する輝度画像作成手段と、
前記圧縮結果に含まれる前記色差情報に基づき、前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を取得する色差画像取得手段と、
前記１枚分の輝度画像と前記１枚分の色差画像とを組み合わせてなる１枚分の合成カラー画像を、再生結果として取得する結果取得手段と
を備えたことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記輝度画像作成手段は、
前記Ｎ枚のカラー画像の輝度分布の平均画像を、前記１枚分の輝度画像として作成する
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記輝度画像作成手段は、
前記Ｎ枚のカラー画像の輝度分布の加重平均画像を、前記１枚分の輝度画像として作成する
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記輝度画像作成手段は、
前記加重平均の加重を、前記Ｎ枚のカラー画像の輝度比に応じて設定する
ことを特徴とする画像処理装置。
【請求項１０】
請求項８に記載の画像処理装置において、
前記輝度画像作成手段は、
前記加重平均の加重を、前記Ｎ枚のカラー画像を代表する基準画像の輝度分布に応じて画素毎に設定する
ことを特徴とする画像処理装置。
【請求項１１】
請求項９又は請求項１０に記載の画像処理装置において、
前記輝度画像作成手段は、
前記加重平均の加重を、ユーザの指定した輝度再現範囲に応じて設定する
ことを特徴とする画像処理装置。
【請求項１２】
請求項６〜請求項１１の何れか一項に記載の画像処理装置において、
前記結果取得手段は、
前記合成カラー画像を取得する際、前記１枚分の輝度画像を、ユーザの指定した輝度再現範囲に応じて階調変換する
ことを特徴とする画像処理装置。
【請求項１３】
請求項６〜請求項１２の何れか一項に記載の画像処理装置において、
前記結果取得手段は、
前記合成カラー画像を取得する際、前記１枚分の輝度画像を、ユーザの指定した処理対象領域の輝度ヒストグラムに応じて階調変換する
ことを特徴とする画像処理装置。
【請求項１４】
請求項６〜請求項１３の何れか一項に記載の画像処理装置において、
前記結果取得手段は、
前記合成カラー画像を取得する際、前記１枚分の輝度画像に基づき前記１枚分の色差画像の異常画素を補正する
ことを特徴とする画像処理装置。
【請求項１５】
同一の撮影シーンから互いに異なる露光条件でＮ枚のカラー画像を撮像する撮像手段と、
請求項１〜請求項１４の何れか一項に記載の画像処理装置と
を備えたことを特徴とする撮像装置。
【請求項１６】
同一の撮影シーンから互いに異なる露光条件で撮像されたＮ枚のカラー画像を圧縮する画像処理プログラムであって、
前記Ｎ枚のカラー画像を圧縮対象として入力する入力手順と、
前記Ｎ枚のカラー画像の各々の輝度分布を個別に示すＮ枚分の輝度画像を抽出する輝度画像抽出手順と、
前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を作成する色差画像作成手順と、
前記Ｎ枚分の輝度画像を示す輝度情報と前記１枚分の色差画像を示す色差情報とを互いに対応付けたものを、圧縮結果として取得する結果取得手順と
を含むことを特徴とする画像処理プログラム。
【請求項１７】
請求項１６に記載の画像処理プログラムで圧縮された前記Ｎ枚のカラー画像を再生する画像処理プログラムであって、
前記圧縮結果を再生対象として入力する入力手順と、
前記圧縮結果に含まれる前記輝度情報に基づき、前記Ｎ枚のカラー画像の全体の輝度分布を一括に示す１枚分の輝度画像を作成する輝度画像作成手順と、
前記圧縮結果に含まれる前記色差情報に基づき、前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を取得する色差画像取得手段と、
前記１枚分の輝度画像と前記１枚分の色差画像とを組み合わせてなる１枚分の合成カラー画像を、再生結果として取得する結果取得手順と
を含むことを特徴とする画像処理プログラム。
【請求項１】
同一の撮影シーンから互いに異なる露光条件で撮像されたＮ枚のカラー画像を圧縮する画像処理装置であって、
前記Ｎ枚のカラー画像を圧縮対象として入力する入力手段と、
前記Ｎ枚のカラー画像の各々の輝度分布を個別に示すＮ枚分の輝度画像を抽出する輝度画像抽出手段と、
前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を作成する色差画像作成手段と、
前記Ｎ枚分の輝度画像を示す輝度情報と前記１枚分の色差画像を示す色差情報とを互いに対応付けたものを、圧縮結果として取得する結果取得手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記色差画像作成手段は、
前記Ｎ枚のカラー画像の色差分布の平均画像を、前記１枚分の色差画像として作成する
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記色差画像作成手段は、
前記Ｎ枚のカラー画像の色差分布の加重平均画像を、前記１枚分の色差画像として作成する
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記色差画像作成手段は、
前記加重平均の加重を、前記Ｎ枚のカラー画像の輝度比に応じて設定する
ことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記色差画像作成手段は、
前記加重平均の加重を、前記Ｎ枚のカラー画像を代表する基準画像の輝度分布に応じて画素毎に設定する
ことを特徴とする画像処理装置。
【請求項６】
請求項１〜請求項５の何れか一項に記載の画像処理装置が圧縮した前記Ｎ枚のカラー画像を再生する画像処理装置であって、
前記圧縮結果を再生対象として入力する入力手段と、
前記圧縮結果に含まれる前記輝度情報に基づき、前記Ｎ枚のカラー画像の全体の輝度分布を一括に示す１枚分の輝度画像を作成する輝度画像作成手段と、
前記圧縮結果に含まれる前記色差情報に基づき、前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を取得する色差画像取得手段と、
前記１枚分の輝度画像と前記１枚分の色差画像とを組み合わせてなる１枚分の合成カラー画像を、再生結果として取得する結果取得手段と
を備えたことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記輝度画像作成手段は、
前記Ｎ枚のカラー画像の輝度分布の平均画像を、前記１枚分の輝度画像として作成する
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記輝度画像作成手段は、
前記Ｎ枚のカラー画像の輝度分布の加重平均画像を、前記１枚分の輝度画像として作成する
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記輝度画像作成手段は、
前記加重平均の加重を、前記Ｎ枚のカラー画像の輝度比に応じて設定する
ことを特徴とする画像処理装置。
【請求項１０】
請求項８に記載の画像処理装置において、
前記輝度画像作成手段は、
前記加重平均の加重を、前記Ｎ枚のカラー画像を代表する基準画像の輝度分布に応じて画素毎に設定する
ことを特徴とする画像処理装置。
【請求項１１】
請求項９又は請求項１０に記載の画像処理装置において、
前記輝度画像作成手段は、
前記加重平均の加重を、ユーザの指定した輝度再現範囲に応じて設定する
ことを特徴とする画像処理装置。
【請求項１２】
請求項６〜請求項１１の何れか一項に記載の画像処理装置において、
前記結果取得手段は、
前記合成カラー画像を取得する際、前記１枚分の輝度画像を、ユーザの指定した輝度再現範囲に応じて階調変換する
ことを特徴とする画像処理装置。
【請求項１３】
請求項６〜請求項１２の何れか一項に記載の画像処理装置において、
前記結果取得手段は、
前記合成カラー画像を取得する際、前記１枚分の輝度画像を、ユーザの指定した処理対象領域の輝度ヒストグラムに応じて階調変換する
ことを特徴とする画像処理装置。
【請求項１４】
請求項６〜請求項１３の何れか一項に記載の画像処理装置において、
前記結果取得手段は、
前記合成カラー画像を取得する際、前記１枚分の輝度画像に基づき前記１枚分の色差画像の異常画素を補正する
ことを特徴とする画像処理装置。
【請求項１５】
同一の撮影シーンから互いに異なる露光条件でＮ枚のカラー画像を撮像する撮像手段と、
請求項１〜請求項１４の何れか一項に記載の画像処理装置と
を備えたことを特徴とする撮像装置。
【請求項１６】
同一の撮影シーンから互いに異なる露光条件で撮像されたＮ枚のカラー画像を圧縮する画像処理プログラムであって、
前記Ｎ枚のカラー画像を圧縮対象として入力する入力手順と、
前記Ｎ枚のカラー画像の各々の輝度分布を個別に示すＮ枚分の輝度画像を抽出する輝度画像抽出手順と、
前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を作成する色差画像作成手順と、
前記Ｎ枚分の輝度画像を示す輝度情報と前記１枚分の色差画像を示す色差情報とを互いに対応付けたものを、圧縮結果として取得する結果取得手順と
を含むことを特徴とする画像処理プログラム。
【請求項１７】
請求項１６に記載の画像処理プログラムで圧縮された前記Ｎ枚のカラー画像を再生する画像処理プログラムであって、
前記圧縮結果を再生対象として入力する入力手順と、
前記圧縮結果に含まれる前記輝度情報に基づき、前記Ｎ枚のカラー画像の全体の輝度分布を一括に示す１枚分の輝度画像を作成する輝度画像作成手順と、
前記圧縮結果に含まれる前記色差情報に基づき、前記Ｎ枚のカラー画像の全体の色差分布を一括に示す１枚分の色差画像を取得する色差画像取得手段と、
前記１枚分の輝度画像と前記１枚分の色差画像とを組み合わせてなる１枚分の合成カラー画像を、再生結果として取得する結果取得手順と
を含むことを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２４４０５３（Ｐ２０１１−２４４０５３Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１１７８９（Ｐ２０１０−１１１７８９）
【出願日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]