合成画像データ生成装置およびその制御方法ならびにその制御プログラム
【目的】 合成画像のレベルの分布状態が分かるようにする。
【構成】 低感度画像データと高感度画像データとがダイナミック・レンジにより決定される比率で合成される。合成画像131が表示画面90に表示される。合成画像のヒストグラム132が生成され,表示画面90に表示される。ユーザは,ヒストグラム132および合成画像131を見て,合成画像のダイナミック・レンジを変更する必要があると考えると,ダイナミック・レンジ変更ボタン101を押す。ダイナミック・レンジが変更されて,変更後のダイナミック・レンジにより決定される比率で合成された合成画像が得られる。ヒストグラム132によりダイナミック・レンジの変更の要否を判定できる。
【構成】 低感度画像データと高感度画像データとがダイナミック・レンジにより決定される比率で合成される。合成画像131が表示画面90に表示される。合成画像のヒストグラム132が生成され,表示画面90に表示される。ユーザは,ヒストグラム132および合成画像131を見て,合成画像のダイナミック・レンジを変更する必要があると考えると,ダイナミック・レンジ変更ボタン101を押す。ダイナミック・レンジが変更されて,変更後のダイナミック・レンジにより決定される比率で合成された合成画像が得られる。ヒストグラム132によりダイナミック・レンジの変更の要否を判定できる。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は,合成画像データ生成装置およびその制御プログラムならびに合成画像データ生成方法に関する。
【背景技術】
【0002】
ダイナミック・レンジを広げるために2回の露光を行い,得られた2枚の画像を合成するものがある(特許文献1)。
【特許文献1】特開2001-94999号公報
【0003】
しかしながら,得られた合成画像のダイナミック・レンジが適正かどうかは分からないことがある。
【発明の開示】
【0004】
この発明は,得られた合成画像のダイナミック・レンジが適正かどうかを比較的簡単に判定できるようにすることを目的とする。
【0005】
この発明による合成画像データ生成装置は,与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを出力する画像データ合成手段,上記画像データ合成手段から出力される合成画像データによって表される合成画像のヒストグラムを表すヒストグラム・データを生成するヒストグラム・データ生成手段,上記画像データ合成手段から出力された合成画像データによって表される合成画像および上記ヒストグラム・データ生成手段によって生成されるヒストグラムを表示するように表示装置を制御する表示制御手段,ダイナミック・レンジを変更するダイナミック・レンジ変更手段,ならびに上記ダイナミック・レンジ変更手段によるダイナミック・レンジの変更に応じて,変更されたダイナミック・レンジにもとづいて決定する比率で,与えられる高感度画像データと与えられる低感度画像データとを合成するように上記画像データ合成手段を制御する合成制御手段を備えていることを特徴とする。
【0006】
この発明は,上記合成画像データ生成装置に適した合成画像データ生成方法も提供している。すなわち,この方法は,与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを得,得られた合成画像データによって表される合成画像のヒストグラムを表すヒストグラム・データを生成し,得られた合成画像データによって表される合成画像および生成されたヒストグラムを表示するように表示装置を制御し,ダイナミック・レンジを変更するダイナミック・レンジ変更手段を設け,上記ダイナミック・レンジ変更手段によるダイナミック・レンジの変更に応じて,変更されたダイナミック・レンジにもとづいて決定する比率で,与えられる高感度画像データと与えられる低感度画像データとを合成するものである。
【0007】
この発明は,上記合成画像データ生成方法に適したプログラムも提供している。
【0008】
この発明によると,与えられる高感度画像データと与えられる低感度画像データとがダイナミック・レンジ(ユーザによって指定されていてもよいし,あらかじめ定められていても良い)にもとづいて決定される比率で合成され,合成画像データが得られる。得られた合成画像データによって表される合成画像のヒストグラムが合成画像とともに表示される。ヒストグラムを見て,適正なダイナミック・レンジにもとづいて合成画像が生成されていないと考えられると,ダイナミック・レンジが変更される。変更されたダイナミック・レンジにもとづいて決定される比率で高感度画像データと低感度画像データとが合成され,合成画像が生成される。
【0009】
この発明によると,ヒストグラムが表示されるので,そのヒストグラムを見ることにより合成画像が適正なダイナミック・レンジをもつものかを判定できる。適正なダイナミック・レンジをもつものではないと考えられるときには,ダイナミック・レンジを変更して,新たに合成画像を得ることができる。
【0010】
上記表示制御手段は,所定レベル以上の合成画像データの出現頻度が他の出現頻度と異なる態様でヒストグラムを表示するように上記表示装置を制御するものでもよい。
【0011】
ダイナミック・レンジを指定するダイナミック・レンジ指定手段をさらに備えてもよい。この場合,上記画像データ合成手段は,与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを出力するものとなろう。また,上記高感度画像データと上記低感度画像データとの少なくとも一方にもとづいてオート・ダイナミック・レンジを決定するオート・ダイナミック・レンジ決定手段をさらに備えることとなろう。そして,上記表示制御手段は,上記ダイナミック・レンジ指定手段によって指定されたダイナミック・レンジと上記オート・ダイナミック・レンジ決定手段によって決定されたオート・ダイナミック・レンジとをダイナミック・レンジの範囲を示すダイナミック・レンジ・スケールの画像に関連づけて表示するように上記表示装置を制御するものとなろう。
【0012】
指定したダイナミック・レンジとオート・ダイナミック・レンジとの差が一見して分かる。
【0013】
被写体を撮像し,被写体像を表す上記高感度画像データと上記低感度画像データとを出力する固体電子撮像装置をさらに備えてもよい。この場合,上記画像データ合成手段は,上記ダイナミック・レンジ指定手段によって指定されたダイナミック・レンジにもとづいて決定される比率で,上記固体電子撮像装置から出力された高感度画像データと低感度画像データとを合成するものとなろう。
【0014】
上記画像データ合成手段から出力された合成画像データによって表される画像を表示するように表示装置を制御する合成画像表示制御手段,および記録指令を与える記録指令スイッチをさらに備えてもよい。この場合には,上記記録指令スイッチから記録指令が与えられたことに応答して,上記合成画像表示制御手段の制御にもとづいて表示装置に表示される画像を表す合成画像データを記録媒体に記録するものとなろう。
【実施例】
【0015】
図1は,この発明の実施例によるディジタル・スチル・カメラに用いられるCCD5を模式的に示している。
【0016】
CCD5には,水平方向および垂直方向に多数のフォトダイオード20が配列されている。フォトダイオード20は,奇数列は奇数行に配置され,偶数列は偶数行に配置されている。偶数列は奇数行に配置し,奇数列は偶数行に配置するようにしてもよい。
【0017】
フォトダイオード20は,その受光領域が2つに分けられている。一方の受光領域21を主受光領域,他方の受光領域22を副受光領域ということにする。主受光領域21に蓄積された信号電荷と副受光領域22に蓄積された信号電荷とは混ざらないようにフォトダイオード20が形成されている。主受光領域21の受光面積と副受光領域22の受光面積との比率は,4対1に規定されている。もっとも,その他の比率でもよいのはいうまでもない。
【0018】
フォトダイオード20の右側には,フォトダイオード20に蓄積された信号電荷を垂直方向に転送する垂直転送路23が設けられている。フォトダイオード20に蓄積された信号電荷のうち,主受光領域21に蓄積された信号電荷(主信号電荷という)がフォトダイオード20から垂直転送路22にシフトされる。主信号電荷は,水平転送路24に与えられ,水平方向に転送させられる。主信号電荷は,増幅回路25において増幅され,一駒分の画像を表す高感度映像信号としてCCD5から出力される。
【0019】
高感度映像信号の出力が終了すると,フォトダイオード20の副受光領域22に蓄積された信号電荷(副信号電荷という)が垂直転送路23にシフトされる。主信号電荷と同様に,副信号電荷は,垂直転送路23内を垂直方向に転送させられ,水平転送路24に与えられる。副信号電荷は,水平転送路24内を水平方向に転送させられ,増幅回路25を介して低感度映像信号としてCCD5から出力される。
【0020】
主受光領域21の受光面積は,副受光領域22の受光面積の4倍であるから,同一の被写体を撮像した場合高感度映像信号のレベルは低感度映像信号のレベルの4倍となる。
【0021】
図2は,ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【0022】
ディジタル・スチル・カメラの全体の動作は,CPU2によって統括される。ディジタル・スチル・カメラの後述する動作は,プリインストールされているプログラムにもとづいて行われる。もっとも,メモリ・カードまたは外部入力端子を介して与えられるプログラムをユーザがインストールするようにしてもよい。
【0023】
ディジタル・スチル・カメラには,操作装置1が含まれている。この操作装置1には,シャッタ・レリーズ・ボタン,ワイド・ボタン,テレ・ボタン,上下左右の矢印ボタン,メニュー/OKボタン,ダイナミック・レンジの変更ボタンなどの各種ボタンが含まれている。操作装置1からの出力信号は,CPU2に入力する。
【0024】
この実施例によるディジタル・スチル・カメラにおいては,被写体像を携帯電話に表示する場合の記録モード,被写体像をプリンタを用いてプリントする場合の記録モード,CRT(Cathode Ray Tube)表示装置に表示する場合の記録モードなど種々の記録モードを設定することができる。設定された記録モードに適した複数のダイナミック・レンジが定められており,記録モードに応じた複数のダイナミック・レンジが表示される。複数のダイナミック・レンジの中からユーザが所望のダイナミック・レンジを指定する。指定されたダイナミック・レンジをもつ被写体像を表す画像データが記録される。とくに,この実施例においては,表示されるダイナック・レンジは,ユーザによって選択された記録モードに適したものが表示され,選択された記録モードに適さないものは表示されない。ユーザは,選択された記録モードに適したダイナミック・レンジの中から所望のダイナミック・レンジを指定することとなるから,比較的適切なダイナミック・レンジをもつ被写体像を表す画像データが記録されることとなる。
【0025】
ディジタル・スチル・カメラには,被写体にストロボ光を照射するためのストロボ発光装置3が含まれている。
【0026】
また,ディジタル・スチル・カメラには,各種クロック・パルス等を生成するためのタイミング・ジェネレータ4が含まれている。このタイミング・ジェネレータ4から出力されるクロック・パルス等は,CCD5およびアナログ信号処理回路6に与えられる。
【0027】
CCD5によって被写体が撮像されると,上述のように,被写体像を表す高感度映像信号と低感度映像信号とが順に出力される。高感度映像信号および低感度映像信号は,それぞれ順にアナログ信号処理回路6に入力し,相関二重サンプリング処理およびアナログ/ディジタル変換処理が行われ,高感度画像データおよび低感度画像データが得られる。高感度画像データおよび低感度画像データは,ディジタル信号処理回路7を通過して,メモリ8に与えられ,一時的に記憶される。
【0028】
高感度画像データおよび低感度画像データは,メモリ8から読み出され,ディジタル信号処理回路7に入力する。ディジタル信号処理回路7において,画像合成処理が行われ,合成画像を表す合成画像データが生成れる。この画像合成処理について詳しくは後述する。合成画像データは,表示装置11に与えられ,表示画面上に合成画像が表示される。
【0029】
シャッタ・レリーズ・ボタンが押されると,表示装置11の表示画面上に表示されている合成画像を表す画像データがメモリ8から圧縮回路9に与えられ,JPEG(joint photographic experts group)などにもとづくデータ圧縮が行われる。圧縮された合成画像データは,メモリ・カード・インターフェイス10を介してメモリ・カード12に与えられ,記録される。
【0030】
図3は,ディジタル信号処理回路7に含まれる画像データ合成回路の電気的構成を示すブロック図である。
【0031】
上述のように,メモリ8に記憶されている高感度画像データおよび低感度画像データが読み取られ,画像データ合成回路に入力する。高感度画像データHおよび低感度画像データLは,それぞれオフセット処理回路31および41においてそれぞれオフセット処理が行われる。オフセット処理回路31および41からそれぞれ出力された高感度RAW画像データおよび低感度RAW画像データは,リニア・マトリクス回路32および42においてCCD5の分光特性を補正する色調補正処理が行われる。また,この実施例においては,高感度RAW画像データおよび低感度RAW画像データをメモリ・カード12に記録することもできる。このためにオフセット処理回路31および41から出力される高感度RAW画像データおよび低感度RAW画像データは,メモリ・カード12にも与えられる。
【0032】
リニア・マトリクス回路32および42から出力された高感度画像データおよび低感度画像データは,ホワイト・バランス/ゲイン調整回路33および43にそれぞれ与えられ,入力する14ビットの高感度画像データおよび低感度画像データがそれぞれ10ビットの高感度画像データおよび低感度画像データとなるようにゲイン調整処理が行われ,かつ白バランス調整が行われる。ホワイト・バランス/ゲイン調整回路33および43から出力された高感度画像データおよび低感度画像データは,それぞれガンマ補正回路34および44に与えられる。
【0033】
低感度画像データ用のリニア・マトリクス回路42から出力された低感度画像データは,積算回路51にも与えられる。積算回路51において,後述のように緑色成分の最大値Gmaxを表すデータが算出される。算出された緑成分の最大値Gmaxを表すデータは,Dレンジ算出回路52に与えられる。Dレンジ算出回路52において,後述のように,オート・ダイナミック・レンジDautoが算出される。
【0034】
Dレンジ算出回路52には,メモリ(図示略)も内蔵されており,そのメモリ内に図4に示すパラメータ格納テーブルが格納されている。
【0035】
図4を参照して,パラメータ格納テーブルにはダイナミック・レンジ(Dレンジ)100%,130%,150%,170%,200%,230%,250%,300%,350%および400%に対応して高感度画像データ用のγ補正回路34のγ補正特性γhigh,低感度画像データ用のγ補正回路44のγ補正特性γlow,合成テーブル(高感度画像データに乗じられる係数hgainと低感度画像データlowに乗じられる係数lgainとの組み合わせ),色差補正ゲインCrおよび色差補正ゲインCbが格納されている。
【0036】
後述のように,ユーザにより指定されたダイナミック・レンジの値またはユーザによってオート・ダイナミック・レンジが指定されたことにより計算されるオート・ダイナミック・レンジの値に対応して高感度画像データ用のγ補正回路34のγ補正特性γhigh,低感度画像データ用のγ補正回路44のγ補正特性γlow,合成テーブルならびに色差補正ゲインCrおよび色差補正ゲインCbがパラメータ格納テーブルから読み取られる。読み取られたパラメータが高感度画像データ用のγ補正回路34,低感度画像データ用のγ補正回路44,ルックアップ・テーブル35ならびに色差マトリクス56にそれぞれ与えられる。また,これらのパラメータ等は,メモリ・カードに与えられ,記録される。
【0037】
高感度画像データ用ガンマ補正回路34から出力された高感度画像データhigh(ガンマ処理により8ビットとなっている)は,LUT35および第1の乗算回路36に与えられ,低感度画像データ用ガンマ補正回路44から出力された低感度画像データlow(ガンマ処理により8ビットとなっている)は,第2の乗算回路46に与えられる。
【0038】
Dレンジ算出回路52からLUT35に,算出されたダイナミック・レンジに対応した合成テーブル(係数hgainおよびlgain)の指定データが与えられる。この指定データが与えられることにより,LUT35において指定された合成テーブルが設定される。設定された係数hgainは第1の乗算回路36に,係数lgainは第2の乗算回路46にそれぞれ与えられる。第1の乗算回路36において高感度画像データhighに係数hgainが乗じられ(high×hgain),第2の乗算回路46において低感度画像データlowに係数lgainが乗じられる(low×lgain)。
【0039】
第1の乗算回路36から出力されたデータ(high×hgain)および第2の乗算回路46から出力されたデータ(low×lgain)が加算されて,ユーザによって設定されたダイナミック・レンジDsetまたはオート・ダイナミック・レンジDautoをもつ合成画像データdataが得られる(data=high×hgain+low×lgain)。
【0040】
合成画像データは,リミッタ54において振幅が制限されてY/C処理回路55において合成輝度データおよび合成色差データが生成される。生成された合成輝度データおよび合成色差データは,色差マトリクス回路56において,Dレンジ算出回路52から与えられた色差ゲイン補正CrおよびCbに基準のゲインが乗じられて合成色差データが補正される。色差マトリクス回路56においては,ダイナミック・レンジが広がるほど色差ゲイン補正値が大きくなっている。
【0041】
色差マトリクス回路56から出力された合成輝度データおよび合成色差データがメモリ8に与えられ,一時的に記憶される。合成輝度データおよび合成色差データがメモリ8から読み出され,表示装置11に与えられる。ユーザによって設定されたダイナミック・レンジDsetまたはオート・ダイナミック・レンジDautoをもつ初期画像が表示装置11の表示画面上に表示される。
【0042】
図5および図6は,高感度画像データhighと低感度画像データlowと合成画像データdataとの関係を示している。
【0043】
上述したように,高感度画像データhighに係数hgainが乗じられることにより修正高感度画像データ(high×hgain)が得られ,低感度画像データlowに係数lgainが乗じられることにより修正低感度画像データ(low×lgain)が得られる。得られた修正高感度画像データ(high×hgain)と修正低感度画像データ(low×lgain)とが加算されることにより,上述したように,合成画像データdataが得られる。
【0044】
図5に示すように,ダイナミック・レンジが230%の場合には合成画像データdataのダイナミック・レンジが230%となるように,高感度画像データhighと低感度画像データlowとの合成処理が行われる。
【0045】
同様に,図6に示すように,ダイナミック・レンジが400%の場合には合成画像データdataのダイナミック・レンジが400%となるように,高感度画像データhighと低感度画像データlowとの合成処理が行われる。
【0046】
図7は,合成画像データのレベルとダイナミック・レンジとの関係を示している。
【0047】
この実施例においては,合成画像データD100,D130,D150,D170,D200,D230,D250,D300,D350およびD400は,100%,130%,150%,170%,200%,230%,250%,300%,350%および400%のダイナミック・レンジをそれぞれもつことができる。合成画像データがこれらのダイナミック・レンジをもつことができるようにするために,この実施例においては,上述のように,それぞれのダイナミック・レンジに対応して,高感度用画像データの係数hgain,低感度用画像データの係数lgainが合成テーブルとして規定されている。
【0048】
図8から図10は,グラフによって表された合成テーブルの一例をグラフ化したものである。
【0049】
図8は,ダイナミック・レンジが230%のときに用いられる合成テーブルを構成する高感度用画像データ係数hgainと低感度用画像データ係数lgainとを示し,図9は,ダイナミック・レンジが400%のときに用いられる合成テーブルを構成する高感度用画像データ係数hgainと低感度用画像データの係数lgainとを示している。これらの合成テーブルが用いられることにより,ダイナミック・レンジが230%,400%の合成画像データが得られる。
【0050】
図8および図9に示す高感度用画像データ係数hgainは,いずれも高感度画像データhighのレベルが高くなるにつれて,そのレベルが徐々低くなるように規定されている。ダイナミック・レンジが230%の場合よりもダイナミック・レンジが400%の場合の方が高感度画像データhighのレベルが少し低くなるように係数hgainが規定されている。
【0051】
また,図8および図9に示す低感度用画像データ係数lgainは,いずれも低感度用画像データlowのレベルが高くなるにつれて,合成画像データdataに対する割合が大きくなるように規定されている。低感度画像データlowのデータのレベルが高くなるにつれて,ダイナミック・レンジが400%の場合よりもダイナミック・レンジが230%の場合の方が合成画像データdataに対する低感度画像データlowの割合が大きくなるように係数lgainが規定されている。
【0052】
これらの高感度用画像データ係数hgainおよび低感度用画像データ係数lgainは,まず,適当な係数hgainが定められる。定められた係数hgainに高感度画像データhighが乗じられて得られる修正高感度画像データ(high×hgain)と目標とするダイナミック・レンジをもつ合成画像データdataと種々のレベルの低感度画像データlowとから低感度用画像データ係数lowが定められる。
【0053】
図10は,ダイナミック・レンジが100%のときに用いられる合成テーブルを構成する高感度画像データ係数hgainと低感度用画像データ係数lgainとを示している。
【0054】
ダイナミック・レンジが100%のときは,係数hgainは高感度画像データhighのレベルにかかわらず1となり,係数lgainは低感度画像データlowのレベルにかかわらず0となる。したがって,ダイナミック・レンジが100%のときには,高感度画像データhighと合成画像データdataとが一致する。
【0055】
図11は,低感度画像データlowによって表される一駒の低感度画像を示している。
【0056】
この低感度画像Ilowを利用してオート・ダイナミック・レンジDautoが決定される。
【0057】
低感度画像Ilowが横方向および縦方向ともに16個となるように分けられて256個のブロックBrが得られる。得られた256個のブロックBrのそれぞれのブロックBrにおいて緑色データが積算される。各ブロックBrごとの緑色データの積算値のうち最大の積算値Gmax(最大の積算値Gmaxを与えるブロックが符号BrGmaxで示されている)が積算回路51において検出される。すると,オート・ダイナミック・レンジDautoは,次のようにして求められる。
【0058】
まず,仮のダイナミック・レンジDxが式1から得られる。
【0059】
Dx=Gmax×400%/4095・・・式1
【0060】
式1において,低感度画像データlowが14ビットで表示されていることから最大の積算値Gmaxも14ビットで表現されており,かつ低感度画像データlowを与える副画素は,高感度画像データhighを与える主画素の1/4であるから,最大で4095となる。低感度画像データlowの出力4095がダイナミック・レンジの400%に相当するから式1に示す比例演算で仮のダイナミック・レンジDxが算出される。
【0061】
このようにして算出されたダイナミック・レンジDxの値に応じて式2から式7に示すようにオート・ダイナミック・レンジDautoがDレンジ算出回路52において決定される。
【0062】
Dxが115%未満の場合Dauto=100%・・・式2
Dxが115%以上であり,かつ150%未満の場合Dauto=130%・・・式3
Dxが150%以上であり,かつ200%未満の場合Dauto=170%・・・式4
Dxが200%以上であり,かつ260%未満の場合Dauto=230%・・・式5
Dxが260%以上であり,かつ350%未満の場合Dauto=300%・・・式6
Dxが350%以上の場合Dauto=400%・・・式7
【0063】
図12は,ディジタル・スチル・カメラの背面図である。
【0064】
ディジタル・スチル・カメラの背面にはそのほぼ全体に渡って表示画面90が形成されている。
【0065】
表示画面90内の右側には,ワイド・ボタン91,テレ・ボタン92,キャンセル・ボタン97が設けられている。キャンセル・ボタン97の下には,メニュー/OKボタン100が設けられている。このメニュー/OKボタン100の回りには,上矢印ボタン93,右矢印ボタン94,下矢印ボタン95および左矢印ボタン96が設けられている。さらに,ディジタル・スチル・カメラの右下には,ダイナミック・レンジ変更ボタン101が設けられている。
【0066】
表示画面90内の下には,セルフ・タイマ・アイコン81,白バランス・アイコン82,合焦位置アイコン83,ダイナミック・レンジ・アイコン84およびセット・アイコン80が表示されている。セルフ・タイマ・アイコン81は,セルフ・タイマを設定するときに選択されるものである。白バランス・アイコン82は,白バランス調整を行うときに選択されるものである。合焦位置アイコン83は,合焦位置を調整するときに選択されるものである。ダイナミック・レンジ・アイコン84は,ダイナミック・レンジを設定するときに選択されるものである。セット・アイコン84は,ディジタル・スチル・カメラの各種設定するときに選択されるものである。
【0067】
アイコン81から85のうち,いずれかのアイコンが明るく点灯しており,メニュー/OKボタン100が押されることにより,その明るく点灯しているアイコンが選択されることとなる。左矢印ボタン96が押されることにより,明るく点灯しているアイコンの左側にあるアイコンが新たに明るく点灯することとなり,右矢印ボタン94が押されることにより,明るく点灯しているアイコンの右側にあるアイコンが新たに明るく点灯することとなる。左矢印ボタン96,右矢印ボタン94およびメニュー/OKボタン100を用いて所望のアイコンを選択することができる。
【0068】
図12においては,ダイナミック・レンジ・アイコン84が選択されており,表示画面90にはダイナミック・レンジ設定初期画像70が表示されている。
【0069】
ダイナミック・レンジ設定初期画像70は,撮像によって得られた上述の合成画像データの記録用途(記録モード)ごとにダイナミック・レンジを設定できるようにするためのものである。ダイナミック・レンジ設定初期画像70には,「携帯」の文字が表示されている区画71,「プリンタ」の文字が表示されている区画72および「CRT」の文字が表示されている区画73が表示されている。
【0070】
区画71の右側には「AUTO」,「100」,「150」および「200」の文字が表示されている区画がある。区画72の右側には「AUTO」,「100」,「150」,「200」,「250」,「300」,「350」および「400」の文字が表示されている区画がある。区画72の右側には「AUTO」,「100」,「150」,「200」,「250」および「300」の文字が表示されている区画がある。
,「350」および「400」の文字が表示されている区画がある。区画71,72および73の右側に表示されている区画の文字はユーザによって設定できるダイナミック・レンジを示している。「AUTO」は,オート・ダイナミック・レンジの意味であり,「100」,「150」,「200」,「250」,「300」,「350」および「400」は,それぞれダイナミック・レンジが100%,150%,200%,250%,300%,350%および400%の意味である。
【0071】
区画71,72または73のうちいずれかの区画が他の区画よりも明るく点灯しており(暗い区画がハッチングで示されている),上矢印ボタン93または下矢印ボタン94が押されることにより,点灯している区画の上の区画または下の区画が明るく点灯することとなる。点灯している区画がユーザによって選択されている区画である。ユーザによって選択されている区画の右側のある文字のうちいずれか一つの区画が明るく点灯しており,左矢印ボタン96または右矢印ボタン94が押されることにより,点灯している文字の区画の左側の区画または右側の区画が明るく点灯することとなる。図12に示す例では,区画72が選択されており,かつ「400」の文字が表示されている区画がユーザによって選択されている。メニュー/OKボタン100が押されると,ダイナミック・レンジとして400%が指定されることとなる。
【0072】
区画71,72および73の右側に表示されている区画の文字(ダイナミック・レンジ)は,それぞれの区画71,72および73によって示されている記録用途に適したものが表示されている。したがって,記録用途に適したダイナミック・レンジの中から所望のダイナミック・レンジをユーザは指定することができ,記録用途に不適切なダイナミック・レンジをユーザが指定してしまうことを未然に防止できる。
【0073】
ダイナミックレンジ・アイコン84が明るく点灯している場合に,メニュー/OKボタン100が押されると,図12に示したようにダイナミック・レンジ設定初期画像が表示されるが,ダイナミックレンジ・アイコン84が明るく点灯している場合に下矢印ボタン95が押されると,他のダイナミックレンジ設定画像が表示画面90に表示される。
【0074】
図13は,トーンSTD(スタンダード)用のダイナミック・レンジ設定画像70Aの一例である。
【0075】
トーンSTD(標準的なトーンで被写体像を記録するときのもの)用のダイナミック・レンジ設定画像70Aには,「Dレンジ」の文字の区画74が表示されている。この区画74の右側には,「AUTO」,「100」,「150」,「200」,「250」,「300」,「350」および「400」の文字が表示されている区画がある。トーンSTDにしたがって,合成画像データを記録する場合にはオート・ダイナミック・レンジまたは100%,150%,200%,250%,300%,350%もしくは400%のダイナミック・レンジをユーザが指定できることがわかる。
【0076】
図14は,トーンHARD用のダイナミック・レンジ設定画像70Bの一例である。
【0077】
トーンHARD(硬調のトーンで被写体像を記録するときのもの)用のダイナミック・レンジ設定画像70Bは,図12のトーンSTD用のダイナミック・レンジ設定画像70Aが表示されているときに下矢印ボタン96が押されることにより,表示される。
【0078】
トーンHARD用のダイナミック・レンジ設定画像70Bにも,「Dレンジ」の文字の区画75が表示されている。この区画75の右側には,「AUTO」,「100」,「150」,「200」,「250」および「300」の文字が表示されている区画がある。トーンSTDにしたがって,合成画像データを記録する場合にはオート・ダイナミック・レンジまたは100%,150%,200%,250%もしくは300%のダイナミック・レンジをユーザが指定できることがわかる。
【0079】
図15は,sRGBカラー空間用のダイナミック・レンジ設定画像70Cの一例である。
【0080】
sRGBカラー空間用のダイナミック・レンジ設定画像70Cは,図14のトーンHARD用のダイナミック・レンジ設定画像70Bが表示されているときに下矢印ボタン96が押されことにより,表示される。
【0081】
sRGB用のダイナミック・レンジ設定画像70Cにも「Dレンジ」の文字の区画76が表示されている。この区画76の右側には,「AUTO」,「100」,「150」,「200」,「250」および「300」の文字が表示されている区画がある。sRGBカラー空間にしたがって,合成画像データを記録する場合にはオート・ダイナミック・レンジまたは100%,150%,200%,250%もしくは300%のダイナミック・レンジをユーザが指定できることがわかる。
【0082】
図16は,adobeRGBカラー空間用のダイナミック・レンジ設定画像70Cの一例である。
【0083】
adobeRGBカラー空間用のダイナミック・レンジ設定画像70Dは,図15のsRGBカラー空間用のダイナミック・レンジ設定画像70Cが表示されているときに下矢印ボタン96が押されことにより,表示される。
【0084】
adobeRGBカラー空間用のダイナミック・レンジ設定画像70Dにも「Dレンジ」の文字の区画77が表示されている。この区画77の右側には,「AUTO」,「100」,「150」,「200」,「250」「300」,「350」および「400」の文字が表示されている区画がある。adobeRGBにしたがって,合成画像データを記録する場合にはオート・ダイナミック・レンジまたは100%,150%,200%,250%,300%,350%もしくは400%のダイナミック・レンジをユーザが指定できることがわかる。
【0085】
図17は,ダイナミック・レンジの設定処理手順を示すフローチャートである。
【0086】
ダイナミック・レンジ・アイコン84が選択されると(ステップ61でYES),図12に示すように記録モード(記録用途)に応じて,指定可能なダイナミック・レンジが複数表示画面90に表示される(ステップ62)。まず,ユーザによって記録モードが選択される(ステップ63)。選択された記録モードに対応した複数のダイナミック・レンジが明るく表示される(ステップ64)。明るく表示された複数のダイナミック・レンジの中から所望のダイナミック・レンジがユーザによって指定される(ステップ65)。指定されたダイナミック・レンジで上述した合成画像データが生成されるように,ディジタル・スチル・カメラが設定される(ステップ66)。
【0087】
図18および図19は,ディジタル・スチル・カメラの記録処理手順を示すフローチャートである。
【0088】
シャッタ・レリーズ・ボタンが押されると(ステップ111でYES),被写体像を表す高感度画像データおよび低感度画像データが得られる(ステップ112)。得られた低感度画像データから上述のように,オート・ダイナミック・レンジの値が算出される(ステップ113)。
【0089】
プレビュー・レックがオンに設定されているかが判定される(ステップ114)(プレビュー・レックは,メニュー/OKボタン100が押されることにより,表示画面90に表示されるメニューを利用して設定することができる)。
【0090】
プレビュー・レックがオンに設定されていなければ(ステップ114でNO),上述のようにして設定されたダイナミック・レンジが読み取られる(ステップ115)。読み取られたダイナミック・レンジに応じた合成テーブルを用いて上述のように,合成画像データが生成される(ステップ116)。合成画像データによつて表される被写体像が表示画面90に表示されて(ステップ117),合成画像データがメモリ・カードに記録される(ステップ118)。
【0091】
プレビュー・レックがオンに設定されている場合にも(ステップ114でYES),上述のようにして設定されたダイナミック・レンジが読み取られる(ステップ121)。また,読み取られたダイナミック・レンジに応じた合成テーブルを用いて上述のように,合成画像データが生成される(ステップ122)。つづいて,生成された合成画像データから,レベルごとの出現頻度を表すヒストグラムが生成される(ステップ123)。生成されたヒストグラムと合成画像データによって表される被写体像が表示画面90に表示される(ステップ124)。ユーザは,表示画面90に表示されているヒストグラムと被写体像を見て,その被写体像を表す合成画像データをメモリ・カードに記録するかどうかを確認できる
【0092】
表示されている被写体像を表す合成画像データをメモリ・カードに記録する場合には,ユーザによってメニュー/OKボタン100が押される(ステップ125でYES)。すると被写体像を表す合成画像データがメモリ・カードに記録されるようになる(ステップ126)。
【0093】
表示されている被写体像が気に入らなければ,ダイナミック・レンジの変更またはキャンセルが行われる。ダイナミック・レンジを変更する場合には(ステップ127でYES),図11の処理にしたがって,ダイナミック・レンジの変更処理が行われる(ステップ129)。変更されたダイナミック・レンジでステップ121から125までの処理が繰り返される。キャンセル・ボタン96が押されると(ステップ128でYES),合成画像データのメモリ・カードへの記録は行われず,記録処理は終了する。
【0094】
図20および図21は,ディジタル・スチル・カメラの背面図である。これらの図において,図12から図16に示すものと同一物には同一の符号を付して説明を省略する。
【0095】
図20を参照して,プレビュー・レックが設定されていると,表示画面90には上述したように合成画像データによって表される被写体像131および合成画像データのヒストグラム(被写体像のヒストグラム)132が表示される。ヒストグラム132は,横軸が合成画像データのレベル(被写体像の白から黒までの階調),縦軸が合成画像データのレベルの出現頻度である。ヒストグラム132の算出は,CPU2によって行うことができる。また表示画面90には,表示されている被写体像を表す合成画像データをメモリ・カードに記録するときにメニュー/OKボタン100を押すように示唆するガイダンス134,キャンセルするときにキャンセル・ボタン97を押すように示唆するガイダンス135,ダイナミック・レンジを変更するときにダイナミック・レンジ変更ボタン101を押すように示唆するガイダンス136も表示されている。
【0096】
被写体像を確認することにより,メモリ・カードに記録する価値のある合成画像データかどうかを確認できる。とくに,この実施例においてはヒストグラム132も表示されているので,そのヒストグラム132を確認することによってもメモリ・カードに記録する価値のある合成画像データかどうかを確認できる。たとえば,図20に示すヒストグラム132から,画像データ・レベルの高い部分が比較的多いことがわかる。このために,合成画像データか設定されているダイナミック・レンジ内に収まっていないと考えられるために,ダイナミック・レンジが変更されるようになる。
【0097】
図21を参照して,図21に示す表示画面90に表示されているヒストグラム133においては画像データのレベルは平均的に全体に渡っているので,合成画像データは設定されているダイナミック・レンジ内に収まっていると考えられる。
【0098】
表示画面に被写体像だけでなく,ヒストグラムも表示されるので,合成画像データのレベル分布が比較的分かりやすくなる。
【0099】
図22および図23は,表示画面90に表示されるヒストグラムの他の一例を示している。
【0100】
図22に示すヒストグラム134においては,合成画像データのレベルを0から255までの256段階に分けた場合に240以上のレベルの高レベル出現頻度について黒塗り135で示されている。また,この黒塗り134の上に高レベル出現頻度の全体に対する割合(3%)136が表示されている。
【0101】
ユーザは,高レベルの出現頻度を表す黒塗り135の部分および高レベルの出現頻度の全体に対する割合136を見ることにより,設定されているダイナミック・レンジが適正かどうかを判定することができる。適正ではないと判定した場合には,上述したようにダイナミック・レンジを変更できる。比較的適正なダイナミック・レンジをもつ合成画像データを得ることができる。
【0102】
図23に示すものにおいてはヒストグラム137の下にダイナミック・レンジ・スケール138が表示されている。このダイナミック・レンジ・スケール138は,記録モードに応じて設定可能なダイナミック・レンジの範囲(図23においては,100%から400%)に対応している。ダイナミック・レンジ・スケール138の上には,ユーザによって設定されたダイナミック・レンジを示す第1のマーク139がダイナミック・レンジ・スケール138によって示されるダイナミック・レンジに対応して表示されている。また,ダイナミック・レンジ・スケール138の下には,オート・ダイナミック・レンジによって算出されたダイナミック・レンジを示す第2のマーク140がダイナミック・レンジ・スケール138に対応して表示されている。もっとも,ユーザによってオート・ダイナミック・レンジが設定されている場合には,第1のマーク139の表示位置と第2のマーク140の表示位置とは同じとなるのはいうまでもない。
【0103】
ユーザは,ユーザが設定したダイナミック・レンジとオート・ダイナミック・レンジとを比較することができ,必要に応じてダイナミック・レンジを変更することができる。
【0104】
図24は,メモリ・カードのデータ構造(ファイル構造)を示している。
【0105】
メモリ・カードの記録領域には,Exif(exchangeble image file format)記録領域,高感度画像データ用パラメータ記録領域,低感度画像データ用パラメータ記録領域,高感度RAW画像データ記録領域および低感度RAW画像データ記録領域が含まれている。
【0106】
Exif記録領域には,ディジタル・スチル・カメラを用いて撮像されたときの撮影情報(シャッタ速度,絞り値,撮影日など)などを表すデータが記録される。
【0107】
高感度画像データ用パラメータ記録領域には,LMTX値,WBゲイン値,オート・ダイナミック・レンジDauto,ユーザによって設定されたダイナミック・レンジDset,変更可能な最大のダイナミック・レンジDmax,合成テーブル(係数hgain,lgain)などのパラメータ等が記録される。LMTX値は,リニア・マトリクス回路32における色調補正を行うために用いられるパラメータである。WBゲイン値は,WB/ゲイン回路33において行われるゲイン調整において用いられるゲイン値を示すものである。
【0108】
低感度画像データ用パラメータ記録領域にも,高感度画像データ用パラメータ記録領域に記録されているパラメータ等と同様のパラメータが記録されている。
【0109】
高感度RAW画像データ記録領域および低感度RAW画像データ記録領域には,それぞれオフセット調整が行われた後の高感度画像データおよび低感度画像データが記録されている。
【0110】
図25は,画像合成装置(パーソナル・コンピュータにより実現してもよい)の電気的構成を示すブロック図である。図25において,図2に示す回路と同一の回路については同一の符号を付して説明を省略する。
【0111】
画像合成装置の全体の動作は,制御装置157によって統括される。
【0112】
画像合成装置には,CDドライブ156が含まれている。CD-ROM(コンパクト・ディスク−リード・オンリ・メモリ)155に,後述する動作を行わせるためのプログラムが格納されており,CD-R0M155に格納されているプログラムがCDドライブ156によって読み取られ,制御装置157にインストールされる。
【0113】
図24に示すデータ構造をもつメモリ・カード151が画像合成装置に装填され,インターフェイス152に接続される。インターフェイス152によって,メモリ・カード151に記録されている高感度RAW画像データ,低感度RAW画像データおよびパラメータが読み取られる。高感度RAW画像データは第1のリニア・マトリクス回路32に,低感度RAW画像データは第2のリニア・マトリクス回路42に,パラメータ等は,制御回路157にそれぞれ与えられる。
【0114】
メモリ・カード151から与えられたパラメータ等のうち,合成テーブルは,LUT35に与えられ,読み取られた色差ゲイン補正値は色差マトリクス回路56に与えられる。設定されたダイナミック・レンジDsetをもつ合成画像データdataが,LUT35,乗算回路36,46,加算回路53により生成されることは理解されよう。生成された合成画像データは,ハードディスク・ドライブ(図示略)によってハードディスクに記録される。
【0115】
画像合成装置においても合成画像を,最大のダイナミック・レンジDmax内においてユーザの所望のダイナミック・レンジをもつように調整することができる。このために,画像合成装置には,設定装置93が設けられている。設定装置93には,キーボード,マウスなどが含まれている。また,画像合成装置には,表示装置(図示略)も含まれており,その表示装置の表示画面上に,図12に示すダイナミック・レンジ設定画像70が表示される。
【0116】
図26は,画像合成装置の処理手順を示すフローチャートである。
【0117】
メモリ・カードから高感度RAW画像データ,低感度RAW画像データが読み取られる(ステップ161)。設定ダイナミック・レンジDsetがメモリ・カード151から読み取られ(ステップ162),対応した合成テーブルもメモリ・カード151から読み取られる(ステップ163),読み取られた合成テーブルを用いて高感度RAW画像データと低感度RAW画像データとが合成される(ステップ164)。
【0118】
合成によって得られた合成画像データのヒストグラムが算出され(ステップ165),合成画像データによって表される被写体像とともに,算出されたヒストグラムが表示装置に表示される(ステップ166)。
【0119】
表示された被写体像,ヒストグラムを確認して,その被写体像を表す合成画像データをハードディスクに記録する場合には,設定装置153から記録指令が与えられる(ステップ167でYES)。すると,得られた合成画像テータがハードディスクに記録される(ステップ168)。
【0120】
被写体像のダイナミック・レンジを変更する場合には(ステップ167でNO,ステップ169でYES),ダイナミック・レンジ変更指令が設定装置153から与えられる。すると,上述したように,ダイナミック・レンジの変更が可能となる(ステップ170)。最大のダイナミック・レンジ内で所望のダイナミック・レンジをもつ合成画像データをハードディスクに記録できるようになる。
【0121】
上述した実施例においては,ハードウエア回路により構成されているがソフトウエアにより実現するようにしてもよい。
【0122】
上述した実施例においては,フォトダイオード20の主受光領域21に蓄積された信号電荷にもとづいて高感度映像信号を得,フォトダイオード20の副受光領域22に蓄積された信号電荷にもとづいて低感度映像信号を得ているが,露出量を変えて同一の被写体を2回撮像することにより高感度映像信号と低感度映像信号とを得るようにしてもよい。
【図面の簡単な説明】
【0123】
【図1】CCDの模式図である。
【図2】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図3】画像データ合成回路の電気的構成を示すブロック図である。
【図4】パラメータ格納テーブルである。
【図5】高感度画像データと低感度画像データと合成画像データとの関係を示している。
【図6】高感度画像データと低感度画像データと合成画像データとの関係を示している。
【図7】ダイナミック・レンジの異なる合成画像データを示している。
【図8】ダイナミック・レンジが230%の場合の合成テーブルをグラフ化したものである。
【図9】ダイナミック・レンジが400%の場合の合成テーブルをグラフ化したものである。
【図10】ダイナミック・レンジが100%の場合の合成テーブルをグラフ化したものである。
【図11】画像を分割した様子を示している。
【図12】ディジタル・スチル・カメラの背面図である。
【図13】ディジタル・スチル・カメラの背面図である。
【図14】ディジタル・スチル・カメラの背面図である。
【図15】ディジタル・スチル・カメラの背面図である。
【図16】ディジタル・スチル・カメラの背面図である。
【図17】ダイナミック・レンジの設定処理手順を示すフローチャートである。
【図18】ディジタル・スチル・カメラの記録処理手順を示すフローチャートである。
【図19】ディジタル・スチル・カメラの記録処理手順を示すフローチャートである。
【図20】ディジタル・スチル・カメラの背面図である。
【図21】ディジタル・スチル・カメラの背面図である。
【図22】ヒストグラムの一例である。
【図23】ヒストグラムの一例である。
【図24】メモリ・カードのデータ構造を示している。
【図25】画像データ合成装置の電気的構成を示すブロック図である。
【図26】画像データ合成装置の処理手順を示すフローチャートである。
【符号の説明】
【0124】
2 CPU
5 CCD
7 ディジタル信号処理回路
35 LUT
36,46 乗算回路
51 積算回路
52 Dレンジ算出回路
53 加算回路
70,70A,70B,70C,70D ダイナミック・レンジ設定画像
84 ダイナミック・レンジ・アイコン
90 表示画面
132,133,134,137 ヒストグラム
138 ダイナミック・レンジ・スケール
【技術分野】
【0001】
この発明は,合成画像データ生成装置およびその制御プログラムならびに合成画像データ生成方法に関する。
【背景技術】
【0002】
ダイナミック・レンジを広げるために2回の露光を行い,得られた2枚の画像を合成するものがある(特許文献1)。
【特許文献1】特開2001-94999号公報
【0003】
しかしながら,得られた合成画像のダイナミック・レンジが適正かどうかは分からないことがある。
【発明の開示】
【0004】
この発明は,得られた合成画像のダイナミック・レンジが適正かどうかを比較的簡単に判定できるようにすることを目的とする。
【0005】
この発明による合成画像データ生成装置は,与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを出力する画像データ合成手段,上記画像データ合成手段から出力される合成画像データによって表される合成画像のヒストグラムを表すヒストグラム・データを生成するヒストグラム・データ生成手段,上記画像データ合成手段から出力された合成画像データによって表される合成画像および上記ヒストグラム・データ生成手段によって生成されるヒストグラムを表示するように表示装置を制御する表示制御手段,ダイナミック・レンジを変更するダイナミック・レンジ変更手段,ならびに上記ダイナミック・レンジ変更手段によるダイナミック・レンジの変更に応じて,変更されたダイナミック・レンジにもとづいて決定する比率で,与えられる高感度画像データと与えられる低感度画像データとを合成するように上記画像データ合成手段を制御する合成制御手段を備えていることを特徴とする。
【0006】
この発明は,上記合成画像データ生成装置に適した合成画像データ生成方法も提供している。すなわち,この方法は,与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを得,得られた合成画像データによって表される合成画像のヒストグラムを表すヒストグラム・データを生成し,得られた合成画像データによって表される合成画像および生成されたヒストグラムを表示するように表示装置を制御し,ダイナミック・レンジを変更するダイナミック・レンジ変更手段を設け,上記ダイナミック・レンジ変更手段によるダイナミック・レンジの変更に応じて,変更されたダイナミック・レンジにもとづいて決定する比率で,与えられる高感度画像データと与えられる低感度画像データとを合成するものである。
【0007】
この発明は,上記合成画像データ生成方法に適したプログラムも提供している。
【0008】
この発明によると,与えられる高感度画像データと与えられる低感度画像データとがダイナミック・レンジ(ユーザによって指定されていてもよいし,あらかじめ定められていても良い)にもとづいて決定される比率で合成され,合成画像データが得られる。得られた合成画像データによって表される合成画像のヒストグラムが合成画像とともに表示される。ヒストグラムを見て,適正なダイナミック・レンジにもとづいて合成画像が生成されていないと考えられると,ダイナミック・レンジが変更される。変更されたダイナミック・レンジにもとづいて決定される比率で高感度画像データと低感度画像データとが合成され,合成画像が生成される。
【0009】
この発明によると,ヒストグラムが表示されるので,そのヒストグラムを見ることにより合成画像が適正なダイナミック・レンジをもつものかを判定できる。適正なダイナミック・レンジをもつものではないと考えられるときには,ダイナミック・レンジを変更して,新たに合成画像を得ることができる。
【0010】
上記表示制御手段は,所定レベル以上の合成画像データの出現頻度が他の出現頻度と異なる態様でヒストグラムを表示するように上記表示装置を制御するものでもよい。
【0011】
ダイナミック・レンジを指定するダイナミック・レンジ指定手段をさらに備えてもよい。この場合,上記画像データ合成手段は,与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを出力するものとなろう。また,上記高感度画像データと上記低感度画像データとの少なくとも一方にもとづいてオート・ダイナミック・レンジを決定するオート・ダイナミック・レンジ決定手段をさらに備えることとなろう。そして,上記表示制御手段は,上記ダイナミック・レンジ指定手段によって指定されたダイナミック・レンジと上記オート・ダイナミック・レンジ決定手段によって決定されたオート・ダイナミック・レンジとをダイナミック・レンジの範囲を示すダイナミック・レンジ・スケールの画像に関連づけて表示するように上記表示装置を制御するものとなろう。
【0012】
指定したダイナミック・レンジとオート・ダイナミック・レンジとの差が一見して分かる。
【0013】
被写体を撮像し,被写体像を表す上記高感度画像データと上記低感度画像データとを出力する固体電子撮像装置をさらに備えてもよい。この場合,上記画像データ合成手段は,上記ダイナミック・レンジ指定手段によって指定されたダイナミック・レンジにもとづいて決定される比率で,上記固体電子撮像装置から出力された高感度画像データと低感度画像データとを合成するものとなろう。
【0014】
上記画像データ合成手段から出力された合成画像データによって表される画像を表示するように表示装置を制御する合成画像表示制御手段,および記録指令を与える記録指令スイッチをさらに備えてもよい。この場合には,上記記録指令スイッチから記録指令が与えられたことに応答して,上記合成画像表示制御手段の制御にもとづいて表示装置に表示される画像を表す合成画像データを記録媒体に記録するものとなろう。
【実施例】
【0015】
図1は,この発明の実施例によるディジタル・スチル・カメラに用いられるCCD5を模式的に示している。
【0016】
CCD5には,水平方向および垂直方向に多数のフォトダイオード20が配列されている。フォトダイオード20は,奇数列は奇数行に配置され,偶数列は偶数行に配置されている。偶数列は奇数行に配置し,奇数列は偶数行に配置するようにしてもよい。
【0017】
フォトダイオード20は,その受光領域が2つに分けられている。一方の受光領域21を主受光領域,他方の受光領域22を副受光領域ということにする。主受光領域21に蓄積された信号電荷と副受光領域22に蓄積された信号電荷とは混ざらないようにフォトダイオード20が形成されている。主受光領域21の受光面積と副受光領域22の受光面積との比率は,4対1に規定されている。もっとも,その他の比率でもよいのはいうまでもない。
【0018】
フォトダイオード20の右側には,フォトダイオード20に蓄積された信号電荷を垂直方向に転送する垂直転送路23が設けられている。フォトダイオード20に蓄積された信号電荷のうち,主受光領域21に蓄積された信号電荷(主信号電荷という)がフォトダイオード20から垂直転送路22にシフトされる。主信号電荷は,水平転送路24に与えられ,水平方向に転送させられる。主信号電荷は,増幅回路25において増幅され,一駒分の画像を表す高感度映像信号としてCCD5から出力される。
【0019】
高感度映像信号の出力が終了すると,フォトダイオード20の副受光領域22に蓄積された信号電荷(副信号電荷という)が垂直転送路23にシフトされる。主信号電荷と同様に,副信号電荷は,垂直転送路23内を垂直方向に転送させられ,水平転送路24に与えられる。副信号電荷は,水平転送路24内を水平方向に転送させられ,増幅回路25を介して低感度映像信号としてCCD5から出力される。
【0020】
主受光領域21の受光面積は,副受光領域22の受光面積の4倍であるから,同一の被写体を撮像した場合高感度映像信号のレベルは低感度映像信号のレベルの4倍となる。
【0021】
図2は,ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【0022】
ディジタル・スチル・カメラの全体の動作は,CPU2によって統括される。ディジタル・スチル・カメラの後述する動作は,プリインストールされているプログラムにもとづいて行われる。もっとも,メモリ・カードまたは外部入力端子を介して与えられるプログラムをユーザがインストールするようにしてもよい。
【0023】
ディジタル・スチル・カメラには,操作装置1が含まれている。この操作装置1には,シャッタ・レリーズ・ボタン,ワイド・ボタン,テレ・ボタン,上下左右の矢印ボタン,メニュー/OKボタン,ダイナミック・レンジの変更ボタンなどの各種ボタンが含まれている。操作装置1からの出力信号は,CPU2に入力する。
【0024】
この実施例によるディジタル・スチル・カメラにおいては,被写体像を携帯電話に表示する場合の記録モード,被写体像をプリンタを用いてプリントする場合の記録モード,CRT(Cathode Ray Tube)表示装置に表示する場合の記録モードなど種々の記録モードを設定することができる。設定された記録モードに適した複数のダイナミック・レンジが定められており,記録モードに応じた複数のダイナミック・レンジが表示される。複数のダイナミック・レンジの中からユーザが所望のダイナミック・レンジを指定する。指定されたダイナミック・レンジをもつ被写体像を表す画像データが記録される。とくに,この実施例においては,表示されるダイナック・レンジは,ユーザによって選択された記録モードに適したものが表示され,選択された記録モードに適さないものは表示されない。ユーザは,選択された記録モードに適したダイナミック・レンジの中から所望のダイナミック・レンジを指定することとなるから,比較的適切なダイナミック・レンジをもつ被写体像を表す画像データが記録されることとなる。
【0025】
ディジタル・スチル・カメラには,被写体にストロボ光を照射するためのストロボ発光装置3が含まれている。
【0026】
また,ディジタル・スチル・カメラには,各種クロック・パルス等を生成するためのタイミング・ジェネレータ4が含まれている。このタイミング・ジェネレータ4から出力されるクロック・パルス等は,CCD5およびアナログ信号処理回路6に与えられる。
【0027】
CCD5によって被写体が撮像されると,上述のように,被写体像を表す高感度映像信号と低感度映像信号とが順に出力される。高感度映像信号および低感度映像信号は,それぞれ順にアナログ信号処理回路6に入力し,相関二重サンプリング処理およびアナログ/ディジタル変換処理が行われ,高感度画像データおよび低感度画像データが得られる。高感度画像データおよび低感度画像データは,ディジタル信号処理回路7を通過して,メモリ8に与えられ,一時的に記憶される。
【0028】
高感度画像データおよび低感度画像データは,メモリ8から読み出され,ディジタル信号処理回路7に入力する。ディジタル信号処理回路7において,画像合成処理が行われ,合成画像を表す合成画像データが生成れる。この画像合成処理について詳しくは後述する。合成画像データは,表示装置11に与えられ,表示画面上に合成画像が表示される。
【0029】
シャッタ・レリーズ・ボタンが押されると,表示装置11の表示画面上に表示されている合成画像を表す画像データがメモリ8から圧縮回路9に与えられ,JPEG(joint photographic experts group)などにもとづくデータ圧縮が行われる。圧縮された合成画像データは,メモリ・カード・インターフェイス10を介してメモリ・カード12に与えられ,記録される。
【0030】
図3は,ディジタル信号処理回路7に含まれる画像データ合成回路の電気的構成を示すブロック図である。
【0031】
上述のように,メモリ8に記憶されている高感度画像データおよび低感度画像データが読み取られ,画像データ合成回路に入力する。高感度画像データHおよび低感度画像データLは,それぞれオフセット処理回路31および41においてそれぞれオフセット処理が行われる。オフセット処理回路31および41からそれぞれ出力された高感度RAW画像データおよび低感度RAW画像データは,リニア・マトリクス回路32および42においてCCD5の分光特性を補正する色調補正処理が行われる。また,この実施例においては,高感度RAW画像データおよび低感度RAW画像データをメモリ・カード12に記録することもできる。このためにオフセット処理回路31および41から出力される高感度RAW画像データおよび低感度RAW画像データは,メモリ・カード12にも与えられる。
【0032】
リニア・マトリクス回路32および42から出力された高感度画像データおよび低感度画像データは,ホワイト・バランス/ゲイン調整回路33および43にそれぞれ与えられ,入力する14ビットの高感度画像データおよび低感度画像データがそれぞれ10ビットの高感度画像データおよび低感度画像データとなるようにゲイン調整処理が行われ,かつ白バランス調整が行われる。ホワイト・バランス/ゲイン調整回路33および43から出力された高感度画像データおよび低感度画像データは,それぞれガンマ補正回路34および44に与えられる。
【0033】
低感度画像データ用のリニア・マトリクス回路42から出力された低感度画像データは,積算回路51にも与えられる。積算回路51において,後述のように緑色成分の最大値Gmaxを表すデータが算出される。算出された緑成分の最大値Gmaxを表すデータは,Dレンジ算出回路52に与えられる。Dレンジ算出回路52において,後述のように,オート・ダイナミック・レンジDautoが算出される。
【0034】
Dレンジ算出回路52には,メモリ(図示略)も内蔵されており,そのメモリ内に図4に示すパラメータ格納テーブルが格納されている。
【0035】
図4を参照して,パラメータ格納テーブルにはダイナミック・レンジ(Dレンジ)100%,130%,150%,170%,200%,230%,250%,300%,350%および400%に対応して高感度画像データ用のγ補正回路34のγ補正特性γhigh,低感度画像データ用のγ補正回路44のγ補正特性γlow,合成テーブル(高感度画像データに乗じられる係数hgainと低感度画像データlowに乗じられる係数lgainとの組み合わせ),色差補正ゲインCrおよび色差補正ゲインCbが格納されている。
【0036】
後述のように,ユーザにより指定されたダイナミック・レンジの値またはユーザによってオート・ダイナミック・レンジが指定されたことにより計算されるオート・ダイナミック・レンジの値に対応して高感度画像データ用のγ補正回路34のγ補正特性γhigh,低感度画像データ用のγ補正回路44のγ補正特性γlow,合成テーブルならびに色差補正ゲインCrおよび色差補正ゲインCbがパラメータ格納テーブルから読み取られる。読み取られたパラメータが高感度画像データ用のγ補正回路34,低感度画像データ用のγ補正回路44,ルックアップ・テーブル35ならびに色差マトリクス56にそれぞれ与えられる。また,これらのパラメータ等は,メモリ・カードに与えられ,記録される。
【0037】
高感度画像データ用ガンマ補正回路34から出力された高感度画像データhigh(ガンマ処理により8ビットとなっている)は,LUT35および第1の乗算回路36に与えられ,低感度画像データ用ガンマ補正回路44から出力された低感度画像データlow(ガンマ処理により8ビットとなっている)は,第2の乗算回路46に与えられる。
【0038】
Dレンジ算出回路52からLUT35に,算出されたダイナミック・レンジに対応した合成テーブル(係数hgainおよびlgain)の指定データが与えられる。この指定データが与えられることにより,LUT35において指定された合成テーブルが設定される。設定された係数hgainは第1の乗算回路36に,係数lgainは第2の乗算回路46にそれぞれ与えられる。第1の乗算回路36において高感度画像データhighに係数hgainが乗じられ(high×hgain),第2の乗算回路46において低感度画像データlowに係数lgainが乗じられる(low×lgain)。
【0039】
第1の乗算回路36から出力されたデータ(high×hgain)および第2の乗算回路46から出力されたデータ(low×lgain)が加算されて,ユーザによって設定されたダイナミック・レンジDsetまたはオート・ダイナミック・レンジDautoをもつ合成画像データdataが得られる(data=high×hgain+low×lgain)。
【0040】
合成画像データは,リミッタ54において振幅が制限されてY/C処理回路55において合成輝度データおよび合成色差データが生成される。生成された合成輝度データおよび合成色差データは,色差マトリクス回路56において,Dレンジ算出回路52から与えられた色差ゲイン補正CrおよびCbに基準のゲインが乗じられて合成色差データが補正される。色差マトリクス回路56においては,ダイナミック・レンジが広がるほど色差ゲイン補正値が大きくなっている。
【0041】
色差マトリクス回路56から出力された合成輝度データおよび合成色差データがメモリ8に与えられ,一時的に記憶される。合成輝度データおよび合成色差データがメモリ8から読み出され,表示装置11に与えられる。ユーザによって設定されたダイナミック・レンジDsetまたはオート・ダイナミック・レンジDautoをもつ初期画像が表示装置11の表示画面上に表示される。
【0042】
図5および図6は,高感度画像データhighと低感度画像データlowと合成画像データdataとの関係を示している。
【0043】
上述したように,高感度画像データhighに係数hgainが乗じられることにより修正高感度画像データ(high×hgain)が得られ,低感度画像データlowに係数lgainが乗じられることにより修正低感度画像データ(low×lgain)が得られる。得られた修正高感度画像データ(high×hgain)と修正低感度画像データ(low×lgain)とが加算されることにより,上述したように,合成画像データdataが得られる。
【0044】
図5に示すように,ダイナミック・レンジが230%の場合には合成画像データdataのダイナミック・レンジが230%となるように,高感度画像データhighと低感度画像データlowとの合成処理が行われる。
【0045】
同様に,図6に示すように,ダイナミック・レンジが400%の場合には合成画像データdataのダイナミック・レンジが400%となるように,高感度画像データhighと低感度画像データlowとの合成処理が行われる。
【0046】
図7は,合成画像データのレベルとダイナミック・レンジとの関係を示している。
【0047】
この実施例においては,合成画像データD100,D130,D150,D170,D200,D230,D250,D300,D350およびD400は,100%,130%,150%,170%,200%,230%,250%,300%,350%および400%のダイナミック・レンジをそれぞれもつことができる。合成画像データがこれらのダイナミック・レンジをもつことができるようにするために,この実施例においては,上述のように,それぞれのダイナミック・レンジに対応して,高感度用画像データの係数hgain,低感度用画像データの係数lgainが合成テーブルとして規定されている。
【0048】
図8から図10は,グラフによって表された合成テーブルの一例をグラフ化したものである。
【0049】
図8は,ダイナミック・レンジが230%のときに用いられる合成テーブルを構成する高感度用画像データ係数hgainと低感度用画像データ係数lgainとを示し,図9は,ダイナミック・レンジが400%のときに用いられる合成テーブルを構成する高感度用画像データ係数hgainと低感度用画像データの係数lgainとを示している。これらの合成テーブルが用いられることにより,ダイナミック・レンジが230%,400%の合成画像データが得られる。
【0050】
図8および図9に示す高感度用画像データ係数hgainは,いずれも高感度画像データhighのレベルが高くなるにつれて,そのレベルが徐々低くなるように規定されている。ダイナミック・レンジが230%の場合よりもダイナミック・レンジが400%の場合の方が高感度画像データhighのレベルが少し低くなるように係数hgainが規定されている。
【0051】
また,図8および図9に示す低感度用画像データ係数lgainは,いずれも低感度用画像データlowのレベルが高くなるにつれて,合成画像データdataに対する割合が大きくなるように規定されている。低感度画像データlowのデータのレベルが高くなるにつれて,ダイナミック・レンジが400%の場合よりもダイナミック・レンジが230%の場合の方が合成画像データdataに対する低感度画像データlowの割合が大きくなるように係数lgainが規定されている。
【0052】
これらの高感度用画像データ係数hgainおよび低感度用画像データ係数lgainは,まず,適当な係数hgainが定められる。定められた係数hgainに高感度画像データhighが乗じられて得られる修正高感度画像データ(high×hgain)と目標とするダイナミック・レンジをもつ合成画像データdataと種々のレベルの低感度画像データlowとから低感度用画像データ係数lowが定められる。
【0053】
図10は,ダイナミック・レンジが100%のときに用いられる合成テーブルを構成する高感度画像データ係数hgainと低感度用画像データ係数lgainとを示している。
【0054】
ダイナミック・レンジが100%のときは,係数hgainは高感度画像データhighのレベルにかかわらず1となり,係数lgainは低感度画像データlowのレベルにかかわらず0となる。したがって,ダイナミック・レンジが100%のときには,高感度画像データhighと合成画像データdataとが一致する。
【0055】
図11は,低感度画像データlowによって表される一駒の低感度画像を示している。
【0056】
この低感度画像Ilowを利用してオート・ダイナミック・レンジDautoが決定される。
【0057】
低感度画像Ilowが横方向および縦方向ともに16個となるように分けられて256個のブロックBrが得られる。得られた256個のブロックBrのそれぞれのブロックBrにおいて緑色データが積算される。各ブロックBrごとの緑色データの積算値のうち最大の積算値Gmax(最大の積算値Gmaxを与えるブロックが符号BrGmaxで示されている)が積算回路51において検出される。すると,オート・ダイナミック・レンジDautoは,次のようにして求められる。
【0058】
まず,仮のダイナミック・レンジDxが式1から得られる。
【0059】
Dx=Gmax×400%/4095・・・式1
【0060】
式1において,低感度画像データlowが14ビットで表示されていることから最大の積算値Gmaxも14ビットで表現されており,かつ低感度画像データlowを与える副画素は,高感度画像データhighを与える主画素の1/4であるから,最大で4095となる。低感度画像データlowの出力4095がダイナミック・レンジの400%に相当するから式1に示す比例演算で仮のダイナミック・レンジDxが算出される。
【0061】
このようにして算出されたダイナミック・レンジDxの値に応じて式2から式7に示すようにオート・ダイナミック・レンジDautoがDレンジ算出回路52において決定される。
【0062】
Dxが115%未満の場合Dauto=100%・・・式2
Dxが115%以上であり,かつ150%未満の場合Dauto=130%・・・式3
Dxが150%以上であり,かつ200%未満の場合Dauto=170%・・・式4
Dxが200%以上であり,かつ260%未満の場合Dauto=230%・・・式5
Dxが260%以上であり,かつ350%未満の場合Dauto=300%・・・式6
Dxが350%以上の場合Dauto=400%・・・式7
【0063】
図12は,ディジタル・スチル・カメラの背面図である。
【0064】
ディジタル・スチル・カメラの背面にはそのほぼ全体に渡って表示画面90が形成されている。
【0065】
表示画面90内の右側には,ワイド・ボタン91,テレ・ボタン92,キャンセル・ボタン97が設けられている。キャンセル・ボタン97の下には,メニュー/OKボタン100が設けられている。このメニュー/OKボタン100の回りには,上矢印ボタン93,右矢印ボタン94,下矢印ボタン95および左矢印ボタン96が設けられている。さらに,ディジタル・スチル・カメラの右下には,ダイナミック・レンジ変更ボタン101が設けられている。
【0066】
表示画面90内の下には,セルフ・タイマ・アイコン81,白バランス・アイコン82,合焦位置アイコン83,ダイナミック・レンジ・アイコン84およびセット・アイコン80が表示されている。セルフ・タイマ・アイコン81は,セルフ・タイマを設定するときに選択されるものである。白バランス・アイコン82は,白バランス調整を行うときに選択されるものである。合焦位置アイコン83は,合焦位置を調整するときに選択されるものである。ダイナミック・レンジ・アイコン84は,ダイナミック・レンジを設定するときに選択されるものである。セット・アイコン84は,ディジタル・スチル・カメラの各種設定するときに選択されるものである。
【0067】
アイコン81から85のうち,いずれかのアイコンが明るく点灯しており,メニュー/OKボタン100が押されることにより,その明るく点灯しているアイコンが選択されることとなる。左矢印ボタン96が押されることにより,明るく点灯しているアイコンの左側にあるアイコンが新たに明るく点灯することとなり,右矢印ボタン94が押されることにより,明るく点灯しているアイコンの右側にあるアイコンが新たに明るく点灯することとなる。左矢印ボタン96,右矢印ボタン94およびメニュー/OKボタン100を用いて所望のアイコンを選択することができる。
【0068】
図12においては,ダイナミック・レンジ・アイコン84が選択されており,表示画面90にはダイナミック・レンジ設定初期画像70が表示されている。
【0069】
ダイナミック・レンジ設定初期画像70は,撮像によって得られた上述の合成画像データの記録用途(記録モード)ごとにダイナミック・レンジを設定できるようにするためのものである。ダイナミック・レンジ設定初期画像70には,「携帯」の文字が表示されている区画71,「プリンタ」の文字が表示されている区画72および「CRT」の文字が表示されている区画73が表示されている。
【0070】
区画71の右側には「AUTO」,「100」,「150」および「200」の文字が表示されている区画がある。区画72の右側には「AUTO」,「100」,「150」,「200」,「250」,「300」,「350」および「400」の文字が表示されている区画がある。区画72の右側には「AUTO」,「100」,「150」,「200」,「250」および「300」の文字が表示されている区画がある。
,「350」および「400」の文字が表示されている区画がある。区画71,72および73の右側に表示されている区画の文字はユーザによって設定できるダイナミック・レンジを示している。「AUTO」は,オート・ダイナミック・レンジの意味であり,「100」,「150」,「200」,「250」,「300」,「350」および「400」は,それぞれダイナミック・レンジが100%,150%,200%,250%,300%,350%および400%の意味である。
【0071】
区画71,72または73のうちいずれかの区画が他の区画よりも明るく点灯しており(暗い区画がハッチングで示されている),上矢印ボタン93または下矢印ボタン94が押されることにより,点灯している区画の上の区画または下の区画が明るく点灯することとなる。点灯している区画がユーザによって選択されている区画である。ユーザによって選択されている区画の右側のある文字のうちいずれか一つの区画が明るく点灯しており,左矢印ボタン96または右矢印ボタン94が押されることにより,点灯している文字の区画の左側の区画または右側の区画が明るく点灯することとなる。図12に示す例では,区画72が選択されており,かつ「400」の文字が表示されている区画がユーザによって選択されている。メニュー/OKボタン100が押されると,ダイナミック・レンジとして400%が指定されることとなる。
【0072】
区画71,72および73の右側に表示されている区画の文字(ダイナミック・レンジ)は,それぞれの区画71,72および73によって示されている記録用途に適したものが表示されている。したがって,記録用途に適したダイナミック・レンジの中から所望のダイナミック・レンジをユーザは指定することができ,記録用途に不適切なダイナミック・レンジをユーザが指定してしまうことを未然に防止できる。
【0073】
ダイナミックレンジ・アイコン84が明るく点灯している場合に,メニュー/OKボタン100が押されると,図12に示したようにダイナミック・レンジ設定初期画像が表示されるが,ダイナミックレンジ・アイコン84が明るく点灯している場合に下矢印ボタン95が押されると,他のダイナミックレンジ設定画像が表示画面90に表示される。
【0074】
図13は,トーンSTD(スタンダード)用のダイナミック・レンジ設定画像70Aの一例である。
【0075】
トーンSTD(標準的なトーンで被写体像を記録するときのもの)用のダイナミック・レンジ設定画像70Aには,「Dレンジ」の文字の区画74が表示されている。この区画74の右側には,「AUTO」,「100」,「150」,「200」,「250」,「300」,「350」および「400」の文字が表示されている区画がある。トーンSTDにしたがって,合成画像データを記録する場合にはオート・ダイナミック・レンジまたは100%,150%,200%,250%,300%,350%もしくは400%のダイナミック・レンジをユーザが指定できることがわかる。
【0076】
図14は,トーンHARD用のダイナミック・レンジ設定画像70Bの一例である。
【0077】
トーンHARD(硬調のトーンで被写体像を記録するときのもの)用のダイナミック・レンジ設定画像70Bは,図12のトーンSTD用のダイナミック・レンジ設定画像70Aが表示されているときに下矢印ボタン96が押されることにより,表示される。
【0078】
トーンHARD用のダイナミック・レンジ設定画像70Bにも,「Dレンジ」の文字の区画75が表示されている。この区画75の右側には,「AUTO」,「100」,「150」,「200」,「250」および「300」の文字が表示されている区画がある。トーンSTDにしたがって,合成画像データを記録する場合にはオート・ダイナミック・レンジまたは100%,150%,200%,250%もしくは300%のダイナミック・レンジをユーザが指定できることがわかる。
【0079】
図15は,sRGBカラー空間用のダイナミック・レンジ設定画像70Cの一例である。
【0080】
sRGBカラー空間用のダイナミック・レンジ設定画像70Cは,図14のトーンHARD用のダイナミック・レンジ設定画像70Bが表示されているときに下矢印ボタン96が押されことにより,表示される。
【0081】
sRGB用のダイナミック・レンジ設定画像70Cにも「Dレンジ」の文字の区画76が表示されている。この区画76の右側には,「AUTO」,「100」,「150」,「200」,「250」および「300」の文字が表示されている区画がある。sRGBカラー空間にしたがって,合成画像データを記録する場合にはオート・ダイナミック・レンジまたは100%,150%,200%,250%もしくは300%のダイナミック・レンジをユーザが指定できることがわかる。
【0082】
図16は,adobeRGBカラー空間用のダイナミック・レンジ設定画像70Cの一例である。
【0083】
adobeRGBカラー空間用のダイナミック・レンジ設定画像70Dは,図15のsRGBカラー空間用のダイナミック・レンジ設定画像70Cが表示されているときに下矢印ボタン96が押されことにより,表示される。
【0084】
adobeRGBカラー空間用のダイナミック・レンジ設定画像70Dにも「Dレンジ」の文字の区画77が表示されている。この区画77の右側には,「AUTO」,「100」,「150」,「200」,「250」「300」,「350」および「400」の文字が表示されている区画がある。adobeRGBにしたがって,合成画像データを記録する場合にはオート・ダイナミック・レンジまたは100%,150%,200%,250%,300%,350%もしくは400%のダイナミック・レンジをユーザが指定できることがわかる。
【0085】
図17は,ダイナミック・レンジの設定処理手順を示すフローチャートである。
【0086】
ダイナミック・レンジ・アイコン84が選択されると(ステップ61でYES),図12に示すように記録モード(記録用途)に応じて,指定可能なダイナミック・レンジが複数表示画面90に表示される(ステップ62)。まず,ユーザによって記録モードが選択される(ステップ63)。選択された記録モードに対応した複数のダイナミック・レンジが明るく表示される(ステップ64)。明るく表示された複数のダイナミック・レンジの中から所望のダイナミック・レンジがユーザによって指定される(ステップ65)。指定されたダイナミック・レンジで上述した合成画像データが生成されるように,ディジタル・スチル・カメラが設定される(ステップ66)。
【0087】
図18および図19は,ディジタル・スチル・カメラの記録処理手順を示すフローチャートである。
【0088】
シャッタ・レリーズ・ボタンが押されると(ステップ111でYES),被写体像を表す高感度画像データおよび低感度画像データが得られる(ステップ112)。得られた低感度画像データから上述のように,オート・ダイナミック・レンジの値が算出される(ステップ113)。
【0089】
プレビュー・レックがオンに設定されているかが判定される(ステップ114)(プレビュー・レックは,メニュー/OKボタン100が押されることにより,表示画面90に表示されるメニューを利用して設定することができる)。
【0090】
プレビュー・レックがオンに設定されていなければ(ステップ114でNO),上述のようにして設定されたダイナミック・レンジが読み取られる(ステップ115)。読み取られたダイナミック・レンジに応じた合成テーブルを用いて上述のように,合成画像データが生成される(ステップ116)。合成画像データによつて表される被写体像が表示画面90に表示されて(ステップ117),合成画像データがメモリ・カードに記録される(ステップ118)。
【0091】
プレビュー・レックがオンに設定されている場合にも(ステップ114でYES),上述のようにして設定されたダイナミック・レンジが読み取られる(ステップ121)。また,読み取られたダイナミック・レンジに応じた合成テーブルを用いて上述のように,合成画像データが生成される(ステップ122)。つづいて,生成された合成画像データから,レベルごとの出現頻度を表すヒストグラムが生成される(ステップ123)。生成されたヒストグラムと合成画像データによって表される被写体像が表示画面90に表示される(ステップ124)。ユーザは,表示画面90に表示されているヒストグラムと被写体像を見て,その被写体像を表す合成画像データをメモリ・カードに記録するかどうかを確認できる
【0092】
表示されている被写体像を表す合成画像データをメモリ・カードに記録する場合には,ユーザによってメニュー/OKボタン100が押される(ステップ125でYES)。すると被写体像を表す合成画像データがメモリ・カードに記録されるようになる(ステップ126)。
【0093】
表示されている被写体像が気に入らなければ,ダイナミック・レンジの変更またはキャンセルが行われる。ダイナミック・レンジを変更する場合には(ステップ127でYES),図11の処理にしたがって,ダイナミック・レンジの変更処理が行われる(ステップ129)。変更されたダイナミック・レンジでステップ121から125までの処理が繰り返される。キャンセル・ボタン96が押されると(ステップ128でYES),合成画像データのメモリ・カードへの記録は行われず,記録処理は終了する。
【0094】
図20および図21は,ディジタル・スチル・カメラの背面図である。これらの図において,図12から図16に示すものと同一物には同一の符号を付して説明を省略する。
【0095】
図20を参照して,プレビュー・レックが設定されていると,表示画面90には上述したように合成画像データによって表される被写体像131および合成画像データのヒストグラム(被写体像のヒストグラム)132が表示される。ヒストグラム132は,横軸が合成画像データのレベル(被写体像の白から黒までの階調),縦軸が合成画像データのレベルの出現頻度である。ヒストグラム132の算出は,CPU2によって行うことができる。また表示画面90には,表示されている被写体像を表す合成画像データをメモリ・カードに記録するときにメニュー/OKボタン100を押すように示唆するガイダンス134,キャンセルするときにキャンセル・ボタン97を押すように示唆するガイダンス135,ダイナミック・レンジを変更するときにダイナミック・レンジ変更ボタン101を押すように示唆するガイダンス136も表示されている。
【0096】
被写体像を確認することにより,メモリ・カードに記録する価値のある合成画像データかどうかを確認できる。とくに,この実施例においてはヒストグラム132も表示されているので,そのヒストグラム132を確認することによってもメモリ・カードに記録する価値のある合成画像データかどうかを確認できる。たとえば,図20に示すヒストグラム132から,画像データ・レベルの高い部分が比較的多いことがわかる。このために,合成画像データか設定されているダイナミック・レンジ内に収まっていないと考えられるために,ダイナミック・レンジが変更されるようになる。
【0097】
図21を参照して,図21に示す表示画面90に表示されているヒストグラム133においては画像データのレベルは平均的に全体に渡っているので,合成画像データは設定されているダイナミック・レンジ内に収まっていると考えられる。
【0098】
表示画面に被写体像だけでなく,ヒストグラムも表示されるので,合成画像データのレベル分布が比較的分かりやすくなる。
【0099】
図22および図23は,表示画面90に表示されるヒストグラムの他の一例を示している。
【0100】
図22に示すヒストグラム134においては,合成画像データのレベルを0から255までの256段階に分けた場合に240以上のレベルの高レベル出現頻度について黒塗り135で示されている。また,この黒塗り134の上に高レベル出現頻度の全体に対する割合(3%)136が表示されている。
【0101】
ユーザは,高レベルの出現頻度を表す黒塗り135の部分および高レベルの出現頻度の全体に対する割合136を見ることにより,設定されているダイナミック・レンジが適正かどうかを判定することができる。適正ではないと判定した場合には,上述したようにダイナミック・レンジを変更できる。比較的適正なダイナミック・レンジをもつ合成画像データを得ることができる。
【0102】
図23に示すものにおいてはヒストグラム137の下にダイナミック・レンジ・スケール138が表示されている。このダイナミック・レンジ・スケール138は,記録モードに応じて設定可能なダイナミック・レンジの範囲(図23においては,100%から400%)に対応している。ダイナミック・レンジ・スケール138の上には,ユーザによって設定されたダイナミック・レンジを示す第1のマーク139がダイナミック・レンジ・スケール138によって示されるダイナミック・レンジに対応して表示されている。また,ダイナミック・レンジ・スケール138の下には,オート・ダイナミック・レンジによって算出されたダイナミック・レンジを示す第2のマーク140がダイナミック・レンジ・スケール138に対応して表示されている。もっとも,ユーザによってオート・ダイナミック・レンジが設定されている場合には,第1のマーク139の表示位置と第2のマーク140の表示位置とは同じとなるのはいうまでもない。
【0103】
ユーザは,ユーザが設定したダイナミック・レンジとオート・ダイナミック・レンジとを比較することができ,必要に応じてダイナミック・レンジを変更することができる。
【0104】
図24は,メモリ・カードのデータ構造(ファイル構造)を示している。
【0105】
メモリ・カードの記録領域には,Exif(exchangeble image file format)記録領域,高感度画像データ用パラメータ記録領域,低感度画像データ用パラメータ記録領域,高感度RAW画像データ記録領域および低感度RAW画像データ記録領域が含まれている。
【0106】
Exif記録領域には,ディジタル・スチル・カメラを用いて撮像されたときの撮影情報(シャッタ速度,絞り値,撮影日など)などを表すデータが記録される。
【0107】
高感度画像データ用パラメータ記録領域には,LMTX値,WBゲイン値,オート・ダイナミック・レンジDauto,ユーザによって設定されたダイナミック・レンジDset,変更可能な最大のダイナミック・レンジDmax,合成テーブル(係数hgain,lgain)などのパラメータ等が記録される。LMTX値は,リニア・マトリクス回路32における色調補正を行うために用いられるパラメータである。WBゲイン値は,WB/ゲイン回路33において行われるゲイン調整において用いられるゲイン値を示すものである。
【0108】
低感度画像データ用パラメータ記録領域にも,高感度画像データ用パラメータ記録領域に記録されているパラメータ等と同様のパラメータが記録されている。
【0109】
高感度RAW画像データ記録領域および低感度RAW画像データ記録領域には,それぞれオフセット調整が行われた後の高感度画像データおよび低感度画像データが記録されている。
【0110】
図25は,画像合成装置(パーソナル・コンピュータにより実現してもよい)の電気的構成を示すブロック図である。図25において,図2に示す回路と同一の回路については同一の符号を付して説明を省略する。
【0111】
画像合成装置の全体の動作は,制御装置157によって統括される。
【0112】
画像合成装置には,CDドライブ156が含まれている。CD-ROM(コンパクト・ディスク−リード・オンリ・メモリ)155に,後述する動作を行わせるためのプログラムが格納されており,CD-R0M155に格納されているプログラムがCDドライブ156によって読み取られ,制御装置157にインストールされる。
【0113】
図24に示すデータ構造をもつメモリ・カード151が画像合成装置に装填され,インターフェイス152に接続される。インターフェイス152によって,メモリ・カード151に記録されている高感度RAW画像データ,低感度RAW画像データおよびパラメータが読み取られる。高感度RAW画像データは第1のリニア・マトリクス回路32に,低感度RAW画像データは第2のリニア・マトリクス回路42に,パラメータ等は,制御回路157にそれぞれ与えられる。
【0114】
メモリ・カード151から与えられたパラメータ等のうち,合成テーブルは,LUT35に与えられ,読み取られた色差ゲイン補正値は色差マトリクス回路56に与えられる。設定されたダイナミック・レンジDsetをもつ合成画像データdataが,LUT35,乗算回路36,46,加算回路53により生成されることは理解されよう。生成された合成画像データは,ハードディスク・ドライブ(図示略)によってハードディスクに記録される。
【0115】
画像合成装置においても合成画像を,最大のダイナミック・レンジDmax内においてユーザの所望のダイナミック・レンジをもつように調整することができる。このために,画像合成装置には,設定装置93が設けられている。設定装置93には,キーボード,マウスなどが含まれている。また,画像合成装置には,表示装置(図示略)も含まれており,その表示装置の表示画面上に,図12に示すダイナミック・レンジ設定画像70が表示される。
【0116】
図26は,画像合成装置の処理手順を示すフローチャートである。
【0117】
メモリ・カードから高感度RAW画像データ,低感度RAW画像データが読み取られる(ステップ161)。設定ダイナミック・レンジDsetがメモリ・カード151から読み取られ(ステップ162),対応した合成テーブルもメモリ・カード151から読み取られる(ステップ163),読み取られた合成テーブルを用いて高感度RAW画像データと低感度RAW画像データとが合成される(ステップ164)。
【0118】
合成によって得られた合成画像データのヒストグラムが算出され(ステップ165),合成画像データによって表される被写体像とともに,算出されたヒストグラムが表示装置に表示される(ステップ166)。
【0119】
表示された被写体像,ヒストグラムを確認して,その被写体像を表す合成画像データをハードディスクに記録する場合には,設定装置153から記録指令が与えられる(ステップ167でYES)。すると,得られた合成画像テータがハードディスクに記録される(ステップ168)。
【0120】
被写体像のダイナミック・レンジを変更する場合には(ステップ167でNO,ステップ169でYES),ダイナミック・レンジ変更指令が設定装置153から与えられる。すると,上述したように,ダイナミック・レンジの変更が可能となる(ステップ170)。最大のダイナミック・レンジ内で所望のダイナミック・レンジをもつ合成画像データをハードディスクに記録できるようになる。
【0121】
上述した実施例においては,ハードウエア回路により構成されているがソフトウエアにより実現するようにしてもよい。
【0122】
上述した実施例においては,フォトダイオード20の主受光領域21に蓄積された信号電荷にもとづいて高感度映像信号を得,フォトダイオード20の副受光領域22に蓄積された信号電荷にもとづいて低感度映像信号を得ているが,露出量を変えて同一の被写体を2回撮像することにより高感度映像信号と低感度映像信号とを得るようにしてもよい。
【図面の簡単な説明】
【0123】
【図1】CCDの模式図である。
【図2】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図3】画像データ合成回路の電気的構成を示すブロック図である。
【図4】パラメータ格納テーブルである。
【図5】高感度画像データと低感度画像データと合成画像データとの関係を示している。
【図6】高感度画像データと低感度画像データと合成画像データとの関係を示している。
【図7】ダイナミック・レンジの異なる合成画像データを示している。
【図8】ダイナミック・レンジが230%の場合の合成テーブルをグラフ化したものである。
【図9】ダイナミック・レンジが400%の場合の合成テーブルをグラフ化したものである。
【図10】ダイナミック・レンジが100%の場合の合成テーブルをグラフ化したものである。
【図11】画像を分割した様子を示している。
【図12】ディジタル・スチル・カメラの背面図である。
【図13】ディジタル・スチル・カメラの背面図である。
【図14】ディジタル・スチル・カメラの背面図である。
【図15】ディジタル・スチル・カメラの背面図である。
【図16】ディジタル・スチル・カメラの背面図である。
【図17】ダイナミック・レンジの設定処理手順を示すフローチャートである。
【図18】ディジタル・スチル・カメラの記録処理手順を示すフローチャートである。
【図19】ディジタル・スチル・カメラの記録処理手順を示すフローチャートである。
【図20】ディジタル・スチル・カメラの背面図である。
【図21】ディジタル・スチル・カメラの背面図である。
【図22】ヒストグラムの一例である。
【図23】ヒストグラムの一例である。
【図24】メモリ・カードのデータ構造を示している。
【図25】画像データ合成装置の電気的構成を示すブロック図である。
【図26】画像データ合成装置の処理手順を示すフローチャートである。
【符号の説明】
【0124】
2 CPU
5 CCD
7 ディジタル信号処理回路
35 LUT
36,46 乗算回路
51 積算回路
52 Dレンジ算出回路
53 加算回路
70,70A,70B,70C,70D ダイナミック・レンジ設定画像
84 ダイナミック・レンジ・アイコン
90 表示画面
132,133,134,137 ヒストグラム
138 ダイナミック・レンジ・スケール
【特許請求の範囲】
【請求項1】
与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを出力する画像データ合成手段,
上記画像データ合成手段から出力される合成画像データによって表される合成画像のヒストグラムを表すヒストグラム・データを生成するヒストグラム・データ生成手段,
上記画像データ合成手段から出力された合成画像データによって表される合成画像および上記ヒストグラム・データ生成手段によって生成されるヒストグラムを表示するように表示装置を制御する表示制御手段,
ダイナミック・レンジを変更するダイナミック・レンジ変更手段,ならびに
上記ダイナミック・レンジ変更手段によるダイナミック・レンジの変更に応じて,変更されたダイナミック・レンジにもとづいて決定する比率で,与えられる高感度画像データと与えられる低感度画像データとを合成するように上記画像データ合成手段を制御する合成制御手段,
を備えた合成画像データ生成装置。
【請求項2】
上記表示制御手段が,所定レベル以上の合成画像データの出現頻度が他の出現頻度と異なる態様でヒストグラムを表示するように上記表示装置を制御するものである,請求項1に記載の合成画像データ生成装置。
【請求項3】
ダイナミック・レンジを指定するダイナミック・レンジ指定手段をさらに備え,
上記画像データ合成手段は,与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを出力するものであり,
上記高感度画像データと上記低感度画像データとの少なくとも一方にもとづいてオート・ダイナミック・レンジを決定するオート・ダイナミック・レンジ決定手段をさらに備え,
上記表示制御手段が,上記ダイナミック・レンジ指定手段によって指定されたダイナミック・レンジと上記オート・ダイナミック・レンジ決定手段によって決定されたオート・ダイナミック・レンジとをダイナミック・レンジの範囲を示すダイナミック・レンジ・スケールの画像に関連づけて表示するように上記表示装置を制御するものである,
請求項1に記載の合成画像データ生成装置。
【請求項4】
被写体を撮像し,被写体像を表す上記高感度画像データと上記低感度画像データとを出力する固体電子撮像装置をさらに備え,
上記画像データ合成手段が,上記ダイナミック・レンジ指定手段によって指定されたダイナミック・レンジにもとづいて決定される比率で,上記固体電子撮像装置から出力された高感度画像データと低感度画像データとを合成するものである,
請求項1に記載の合成画像データ生成装置。
【請求項5】
上記画像データ合成手段から出力された合成画像データによって表される画像を表示するように表示装置を制御する合成画像表示制御手段,および
記録指令を与える記録指令スイッチをさらに備え,
上記記録指令スイッチから記録指令が与えられたことに応答して,上記合成画像表示制御手段の制御にもとづいて表示装置に表示される画像を表す合成画像データを記録媒体に記録するものである,
請求項1に記載の合成画像データ生成装置。
【請求項6】
与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを得,
得られた合成画像データによって表される合成画像のヒストグラムを表すヒストグラム・データを生成し,
得られた合成画像データによって表される合成画像および生成されたヒストグラムを表示するように表示装置を制御し,
ダイナミック・レンジを変更するダイナミック・レンジ変更手段を設け,
上記ダイナミック・レンジ変更手段によるダイナミック・レンジの変更に応じて,変更されたダイナミック・レンジにもとづいて決定する比率で,与えられる高感度画像データと与えられる低感度画像データとを合成する,
合成画像データ生成方法。
【請求項7】
与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを得る合成画像データ生成装置を制御するプログラムであって,
得られた合成画像データによって表される合成画像のヒストグラムを表すヒストグラム・データを生成させ,
得られた合成画像データによって表される合成画像および生成されたヒストグラムを表示するように表示装置を制御させ,
ダイナミック・レンジ変更手段によるダイナミック・レンジの変更に応じて,変更されたダイナミック・レンジにもとづいて決定する比率で,与えられる高感度画像データと与えられる低感度画像データとを合成するように合成画像データ生成装置を制御するプログラム。
【請求項1】
与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを出力する画像データ合成手段,
上記画像データ合成手段から出力される合成画像データによって表される合成画像のヒストグラムを表すヒストグラム・データを生成するヒストグラム・データ生成手段,
上記画像データ合成手段から出力された合成画像データによって表される合成画像および上記ヒストグラム・データ生成手段によって生成されるヒストグラムを表示するように表示装置を制御する表示制御手段,
ダイナミック・レンジを変更するダイナミック・レンジ変更手段,ならびに
上記ダイナミック・レンジ変更手段によるダイナミック・レンジの変更に応じて,変更されたダイナミック・レンジにもとづいて決定する比率で,与えられる高感度画像データと与えられる低感度画像データとを合成するように上記画像データ合成手段を制御する合成制御手段,
を備えた合成画像データ生成装置。
【請求項2】
上記表示制御手段が,所定レベル以上の合成画像データの出現頻度が他の出現頻度と異なる態様でヒストグラムを表示するように上記表示装置を制御するものである,請求項1に記載の合成画像データ生成装置。
【請求項3】
ダイナミック・レンジを指定するダイナミック・レンジ指定手段をさらに備え,
上記画像データ合成手段は,与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを出力するものであり,
上記高感度画像データと上記低感度画像データとの少なくとも一方にもとづいてオート・ダイナミック・レンジを決定するオート・ダイナミック・レンジ決定手段をさらに備え,
上記表示制御手段が,上記ダイナミック・レンジ指定手段によって指定されたダイナミック・レンジと上記オート・ダイナミック・レンジ決定手段によって決定されたオート・ダイナミック・レンジとをダイナミック・レンジの範囲を示すダイナミック・レンジ・スケールの画像に関連づけて表示するように上記表示装置を制御するものである,
請求項1に記載の合成画像データ生成装置。
【請求項4】
被写体を撮像し,被写体像を表す上記高感度画像データと上記低感度画像データとを出力する固体電子撮像装置をさらに備え,
上記画像データ合成手段が,上記ダイナミック・レンジ指定手段によって指定されたダイナミック・レンジにもとづいて決定される比率で,上記固体電子撮像装置から出力された高感度画像データと低感度画像データとを合成するものである,
請求項1に記載の合成画像データ生成装置。
【請求項5】
上記画像データ合成手段から出力された合成画像データによって表される画像を表示するように表示装置を制御する合成画像表示制御手段,および
記録指令を与える記録指令スイッチをさらに備え,
上記記録指令スイッチから記録指令が与えられたことに応答して,上記合成画像表示制御手段の制御にもとづいて表示装置に表示される画像を表す合成画像データを記録媒体に記録するものである,
請求項1に記載の合成画像データ生成装置。
【請求項6】
与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを得,
得られた合成画像データによって表される合成画像のヒストグラムを表すヒストグラム・データを生成し,
得られた合成画像データによって表される合成画像および生成されたヒストグラムを表示するように表示装置を制御し,
ダイナミック・レンジを変更するダイナミック・レンジ変更手段を設け,
上記ダイナミック・レンジ変更手段によるダイナミック・レンジの変更に応じて,変更されたダイナミック・レンジにもとづいて決定する比率で,与えられる高感度画像データと与えられる低感度画像データとを合成する,
合成画像データ生成方法。
【請求項7】
与えられる高感度画像データと与えられる低感度画像データとをダイナミック・レンジにもとづいて決定される比率で合成して合成画像データを得る合成画像データ生成装置を制御するプログラムであって,
得られた合成画像データによって表される合成画像のヒストグラムを表すヒストグラム・データを生成させ,
得られた合成画像データによって表される合成画像および生成されたヒストグラムを表示するように表示装置を制御させ,
ダイナミック・レンジ変更手段によるダイナミック・レンジの変更に応じて,変更されたダイナミック・レンジにもとづいて決定する比率で,与えられる高感度画像データと与えられる低感度画像データとを合成するように合成画像データ生成装置を制御するプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【公開番号】特開2006−309301(P2006−309301A)
【公開日】平成18年11月9日(2006.11.9)
【国際特許分類】
【出願番号】特願2005−127531(P2005−127531)
【出願日】平成17年4月26日(2005.4.26)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Exif
【出願人】(000005201)富士写真フイルム株式会社 (7,609)
【Fターム(参考)】
【公開日】平成18年11月9日(2006.11.9)
【国際特許分類】
【出願日】平成17年4月26日(2005.4.26)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Exif
【出願人】(000005201)富士写真フイルム株式会社 (7,609)
【Fターム(参考)】
[ Back to top ]