撮影装置及びその制御方法
【課題】フラッシュ撮影時においても広ダイナミックレンジの画像を得ることを可能とする。
【解決手段】露光期間をそれぞれ独立に制御可能な第１受光素子と第２受光素子とが対となって複数配列され、第１受光素子の露光期間ｔＬ中に、これより短い露光期間ｔＳで第２受光素子の露光を行うことを可能とする固体撮像素子を用い、第１及び第２受光素子が、露光期間ｔＬ，ｔＳの比率に対応する光量をそれぞれ受光するように、フラッシュ発光期間ｔＦ（＝ｔ０〜ｔ２）に対する第２受光素子の露光タイミングｔ１，ｔ３を決定する。そして、第１及び第２受光素子の出力信号を合成することにより、露光期間ｔＬ，ｔＳの比率に対応した広ダイナミックレンジの画像データが生成される。
【解決手段】露光期間をそれぞれ独立に制御可能な第１受光素子と第２受光素子とが対となって複数配列され、第１受光素子の露光期間ｔＬ中に、これより短い露光期間ｔＳで第２受光素子の露光を行うことを可能とする固体撮像素子を用い、第１及び第２受光素子が、露光期間ｔＬ，ｔＳの比率に対応する光量をそれぞれ受光するように、フラッシュ発光期間ｔＦ（＝ｔ０〜ｔ２）に対する第２受光素子の露光タイミングｔ１，ｔ３を決定する。そして、第１及び第２受光素子の出力信号を合成することにより、露光期間ｔＬ，ｔＳの比率に対応した広ダイナミックレンジの画像データが生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤやＣＭＯＳセンサ等の固体撮像素子を備えた撮影装置及びその制御方法に関し、特に、画像の広ダイナミックレンジ化を可能とする撮影装置及びその制御方法に関する。
【背景技術】
【０００２】
ＣＣＤやＣＭＯＳセンサ等の固体撮像素子を内蔵したデジタルカメラ等の撮影装置が普及している。固体撮像素子に対する代表的な要求として、高画素化と広ダイナミックレンジ化がある。高画素化については、受光素子の微細化により１０００万画素以上の画素数が達成されており、要求はほぼ満たされている。一方の広ダイナミックレンジ化については、受光素子の微細化により飽和電荷量の減少が伴うため、受光素子の構造的な改良では広ダイナミックレンジ化に限界がある。このため、広ダイナミックレンジ化には、付加的な技術が必要とされている。
【０００３】
この付加的な技術として、露光期間を独立して制御可能な第１受光素子と第２受光素子とが対となって複数配列された固体撮像素子において、第１受光素子を長期間露光（高感度）、第２受光素子を短期間露光（低感度）とし、第１受光素子の露光期間中に第２受光素子の露光を行い、第１受光素子と第２受光素子との出力信号を合成（飽和電圧を揃えて加算）することにより、ダイナミックレンジが広く、かつ同時性が確保された画像を得る技術が本出願人により提案されている（特許文献１参照）。
【０００４】
この技術によれば、第１受光素子の露光期間と、第２受光素子の露光期間との比を選択することにより、所望のダイナミックレンジを得ることができる。一方、広ダイナミックレンジ化を必要としない場合には、第１及び第２受光素子の露光期間を同一とし、第１及び第２受光素子の出力信号を合成せずに個別の画素データとすることで、高解像度の画像を得ることができる。
【０００５】
さらに、特許文献１では、フラッシュ撮影時に広ダイナミックレンジ化を実現するために、フラッシュ発光（補助光源の発光）を、短期間露光の期間外で、かつ長期間露光の期間内である期間に行うことが提案されている。このタイミングでフラッシュ発光を行うことにより、第２受光素子の短期間露光には影響を与えずに、第１受光素子の長期間露光の光量（積分露光エネルギ）を増大させることができると述べられている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２３５６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載のように、短期間露光の期間外で、かつ長期間露光の期間内である期間にフラッシュ発光を行う場合、フラッシュ発光の光量は、長期間露光の第１受光素子の露光期間に基づいて決定されることになる。この場合、長期間露光の第１受光素子は適正な光量が得られることになるが、短期間露光の第２受光素子は光量が不足する。したがって、特許文献１に記載の技術では、フラッシュ撮影時に所望のダイナミックレンジが得られないといった問題がある。
【０００８】
本発明は、上記課題を鑑みてなされたものであり、フラッシュ撮影時においても広ダイナミックレンジの画像を得ることができる撮影装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の撮影装置は、フラッシュ光を発するフラッシュ発光手段と、露光期間をそれぞれ独立に制御可能な第１受光素子と第２受光素子とが対となって複数配列され、前記第１受光素子の第１露光期間中に、前記第１露光期間より短い第２露光期間で前記第２受光素子の露光を行うことを可能とする撮像手段と、前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記フラッシュ発光手段のフラッシュ発光期間と前記第２露光期間との相対的なタイミング関係を制御する制御手段と、前記第１及び第２受光素子の出力信号を合成して画像データを生成する信号処理手段と、を備えたことを特徴とする。
【００１０】
なお、前記制御手段は、前記フラッシュ発光期間を前記第１露光期間に同期させ、前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記フラッシュ発光期間に対する前記第２露光期間のタイミングを制御することが好ましい。この場合、前記制御手段は、前記フラッシュ発光期間と前記第１露光期間の開始時間を同時とすることが好適である。
【００１１】
また、前記制御手段は、前記第２露光期間を前記第１露光期間に同期させ、前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記第２露光期間に対する前記フラッシュ発光期間のタイミングを制御することも好ましい。この場合、前記制御手段は、前記第１露光期間と前記第２露光期間の終了時間を同時とすることが好適である。
【００１２】
また、前記制御手段は、前記フラッシュ発光手段に予備発光を行わせ、前記撮像手段により検出されるフラッシュ光の反射輝度情報に基づいて本撮影用の発光量を算出し、算出した発光量に基づいて前記フラッシュ光の発光時間を決定することが好ましい。
【００１３】
また、前記制御手段は、前記発光量に対する発光時間を、複数の前記発光量について記憶した第１テーブルを備え、前記第１テーブルを参照することにより、前記発光時間を決定し、前記第１及び第２露光期間の比率に基づき、前記フラッシュ発光期間と前記第２露光期間との相対的なタイミング関係を決定することが好ましい。さらに前記制御手段は、前記第１テーブルに記憶されていない発光量に対する発光時間を、補間演算により算出することが好ましい。
【００１４】
また、前記制御手段は、前記第１露光期間中の発光量に対する前記第２露光期間中の発光量の割合が、前記第１及び第２露光期間の比率となる前記タイミング関係を、複数の前記比率について記憶した第２テーブルをさらに備え、前記第２テーブルを参照することにより、前記比率に対応した前記タイミング関係を決定することが好ましい。さらに前記制御手段は、前記第２テーブルに記憶されていない前記比率に対する前記タイミング関係を、補間演算により算出することが好ましい。
【００１５】
また、前記制御手段は、前記第１受光素子から得られる前記反射輝度情報に基づいて前記発光時間を決定し、前記第２受光素子から得られる前記反射輝度情報に基づいて前記タイミング関係を決定することも好ましい。
【００１６】
また、前記フラッシュ発光期間及び前記タイミング関係の決定値を、前記画像データに対応づけて記録する記録手段を備えることが好ましい。
【００１７】
また、前記第１受光素子は、行方向とこれに直交する列方向とに正方格子状に配列され、前記第２受光素子は、行方向とこれに直交する列方向とに正方格子状に配列されており、前記第１受光素子と前記第２受光素子とは、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずらして配列されていることが好ましい。
【００１８】
また、前記撮像手段には、前記第１受光素子に対応して赤、緑、青のカラーフィルタがベイヤー配列され、かつ、前記第２受光素子に対応して赤、緑、青のカラーフィルタがベイヤー配列されていることが好ましい。
【００１９】
また、前記撮像手段は、前記第１受光素子が配列された列と、前記第２受光素子が配列された列とに沿って配列され、前記第１及び第２受光素子に蓄積された信号電荷を読み出して列方向に転送する垂直電荷転送部と、前記垂直電荷転送部からの信号電荷を行方向に転送する水平電荷転送部とを備えたＣＣＤ型の固体撮像素子であることが好ましい。
【００２０】
さらに、本発明の撮影装置の制御方法は、フラッシュ光を発するフラッシュ発光手段と、露光期間をそれぞれ独立に制御可能な第１受光素子と第２受光素子とが対となって複数配列され、前記第１受光素子の第１露光期間中に、前記第１露光期間より短い第２露光期間で前記第２受光素子の露光を行うことを可能とする撮像手段と、前記第１及び第２受光素子の出力信号を合成して画像データを生成する信号処理手段とを備えた撮影装置の制御方法において、前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記フラッシュ発光手段のフラッシュ発光期間と前記第２露光期間との相対的なタイミング関係を制御することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、第１及び第２受光素子が第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、フラッシュ発光手段のフラッシュ発光期間と第２露光期間との相対的なタイミング関係を制御するので、フラッシュ撮影時においても広ダイナミックレンジの画像を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態に係るデジタルカメラの構成を示すブロック図である。
【図２】固体撮像素子の平面模式図である。
【図３】固体撮像素子及びフラッシュ発光部の駆動方法を説明するタイミングチャートである。
【図４】画像合成処理を説明する画像データの模式図である。
【図５】デジタルカメラの作用を説明するフローチャートである。
【図６】調光処理を説明するフローチャートである。
【図７】画像データのエリア分割の一例を示す図である。
【図８】各分割エリアの重み係数の一例を示す図である。
【図９】各種発光量と発光時間とを対応づけたテーブルを示す図である。
【図１０】フラッシュ駆動パルスに対するフラッシュ光の波形を示す図である。
【図１１】本発明の第２実施形態に係るテーブルである。
【図１２】本発明の第４実施形態に係る固体撮像素子及びフラッシュ発光部の駆動方法を説明するタイミングチャートである。
【図１３】本発明の第４実施形態に係る調光処理を説明するフローチャートである。
【図１４】本発明の第５実施形態に係るデジタルカメラの構成を示すブロック図である。
【図１５】本発明の第５実施形態に係る固体撮像素子、フラッシュ発光部、及びメカニカルシャッタの駆動方法を説明するタイミングチャートである。
【発明を実施するための形態】
【００２３】
（第１実施形態）
図１において、本発明の第１実施形態に係るデジタルカメラ１０の撮像光学系は、撮影レンズ１１と、ＣＣＤ型の固体撮像素子１２と、この両者の間に設けられた絞り１３とを備える。撮影レンズ１１にはレンズ駆動部１４が接続されている。固体撮像素子１２には撮像素子駆動部１５が接続されている。絞り１３には絞り駆動部１６が接続されている。
【００２４】
ＣＰＵ１７は、操作部１８からの操作信号に基づき、デジタルカメラ１０の電気制御系全体を統括制御するものである。また、ＣＰＵ１７には、フラッシュ発光部１９の発光タイミングや発光量を制御する発光制御部１７ａ、レンズ駆動部１４に撮影レンズ１１の移動を指示して焦点合わせを行う焦点調節部１７ｂ、絞り値及びシャッタ速度（露光期間）を決定し、絞り駆動部１６及び撮像素子駆動部１５に指示信号を送出する露出調整部１７ｃが構成されている。撮像素子駆動部１５は、指示信号に基づいて介して固体撮像素子１２を駆動し、撮影レンズ１１を通して撮像した被写体画像を撮像信号として出力させる。
【００２５】
デジタルカメラ１０の電気制御系は、固体撮像素子１２の出力信号に対して、ノイズ除去等のアナログ信号処理を施すアナログ信号処理部２０と、アナログ信号処理部２０の出力信号（ＲＧＢの色信号）をデジタル信号に変換するＡ／Ｄ変換部２１とを備え、これらはＣＰＵ１７によって制御される。
【００２６】
さらに、デジタルカメラ１０の電気制御系は、フレームメモリ２２に接続されたメモリ制御部２３と、後述する画像合成処理の他、色補間、ガンマ補正、ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２４と、撮像画像をＪＰＥＧ画像に圧縮したり、圧縮された画像を伸張したりする圧縮伸張処理部２５と、着脱自在の記録媒体２６に対するデータの記録及び読み出し制御を行う外部メモリ制御部２７と、カメラ本体の背面に搭載された液晶表示部（ＬＣＤ）２８の表示制御を行う表示制御部２９とを備える。これら電気制御系の各部は、制御バス３０及びデータバス３１によって相互に接続され、ＣＰＵ１７によって制御される。
【００２７】
操作部１８には、シャッタ操作を行うためのレリーズボタン、動作モードを切り替えるためのモードダイヤル、撮影メニュー（設定項目）をＬＣＤ２８に表示させるメニューボタン、設定項目を選択し決定するための選択決定ボタン等が含まれている。ＣＰＵ１７は、操作部１８を通してユーザからの指示が操作信号として入力され、入力された操作信号に基づいて各種制御を行う。
【００２８】
レリーズボタンは、２段式押しボタンスイッチである。自動焦点調節機能（ＡＦ：Auto Focus）、自動露出調整機能（ＡＥ：Auto Exposure）を用いた撮影では、レリーズボタンが軽く押下される第１の押下操作（半押しともいう）がなされると、焦点調節部１７ｂ及び露出調整部１７ｃによりＡＦ処理及びＡＥ処理が行われ、焦点合わせ及び露出調整等の撮影準備が行われる。その状態で、レリーズボタンが強く押下される第２の押下操作（全押しともいう）がなされると、固体撮像素子１２により被写体画像の撮像が行われる。
【００２９】
モードダイヤルは、各種動作モードの切り替えを行うものであり、広ダイナミックレンジの画像を撮影する「広ダイナミックレンジモード」や、ダイナミックレンジを拡大せずに高解像度の画像を撮影する「高解像度モード」等の選択が可能となっている。
【００３０】
さらに、操作部１８により、広ダイナミックレンジモード時のダイナミックレンジの拡大率の設定や、フラッシュ発光部１９によるフラッシュ発光のオン／オフ設定が可能となっている。
【００３１】
フラッシュ発光を伴う撮影（フラッシュ撮影）を行う場合には、発光制御部１７ａは、レリーズボタンの第２の押下操作に連動して、フラッシュ発光部１９を２回発光させる。１回目の発光は被写体からの反射光量を測定するための予備発光（プリ発光）であり、通常の発光に比べて発光量は微小である。２回目の発光は被写体に対して撮影に十分な光を供給するための（適切な露光量を得るための）本発光であり、本発光の発光量が適正であれば、適切な明るさの画像を得ることができる。
【００３２】
図２において、固体撮像素子１２は、半導体基板上の垂直方向とこれに直交する水平方向に配列され、被写体光を光電変換して電荷を発生する複数の受光素子（光電変換素子）４０と、複数の受光素子４０の各々で発生した電荷を垂直方向に転送する複数の垂直電荷転送部（ＶＣＣＤ）４１と、各ＶＣＣＤ４１の端部に接続され、ＶＣＣＤ４１の各々を転送されてきた電荷を、水平方向に転送する水平電荷転送部（ＨＣＣＤ）４２と、ＨＣＣＤ４２から転送されてきた電荷を電圧信号に変換して出力する出力部４３とを備えている。以下、受光素子４０の垂直方向の並びを列、水平方向の並びを行と呼ぶ。
【００３３】
複数の受光素子４０は、符号Ｒ１，Ｇ１，Ｂ１を付した第１受光素子群と、符号Ｒ２，Ｇ２，Ｂ２を付した第２受光素子群とに分けられる。第１受光素子群と第２受光素子群とは、それぞれ行方向及び列方向に正方格子状に配列された受光素子４０からなり、上記符号に含まれるＲ，Ｇ，Ｂは、受光素子４０上に配列された赤Ｒ、緑Ｇ、青Ｂの３原色のカラーフィルタの種類に対応している。第１受光素子群と第２受光素子群とは、行方向及び列方向に同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずらして配置されている。受光素子４０は、全体として、所謂ハニカム配列となっている。
【００３４】
第１及び第２受光素子群のカラーフィルタの配列は、それぞれベイヤー配列（一方向に「Ｇ」と「Ｂ」を繰り返し、それと直交する方向に「Ｇ」と「Ｒ」を繰り返した色配列）となっている。このように、カラーフィルタの配列は、全体としてベイヤー配列を２つ組み合わせた色配列であることから、ダブルベイヤー配列とも称される。なお、各受光素子４０は、フォトダイオードからなり、カラーフィルタの種類以外は、基本的に同一の構造（同一素子面積、同一開口面積、同一接合深さ、同一飽和量等）を有する。
【００３５】
受光素子４０の１列ごとに１つのＶＣＣＤ４１が設けられている。受光素子４０の各列とそれに対応するＶＣＣＤ４１の電荷転送チャネル（図示せず）との間には、図中に矢印で模式的に示した電荷読み出しゲートが形成されている。露光期間中に各受光素子４０で発生して蓄積された信号電荷は、電荷読み出しゲートを介して、ＶＣＣＤ４１の電荷転送チャネルに読み出される。
【００３６】
ＶＣＣＤ４１の電荷転送チャネルは、半導体基板の表層に、受光素子４０を避けるように垂直方向に蛇行して形成されている。半導体基板の表面上には、電荷転送チャネルを水平方向に横切り、かつ、受光素子４０を避けるように蛇行した垂直転送電極Ｖ１，Ｖ２，・・・，Ｖ８が敷設されている。ＶＣＣＤ４１は、撮像素子駆動部１５から出力され、垂直転送電極Ｖ１〜Ｖ８にそれぞれ供給される垂直転送パルスφＶ１〜φＶ８によって転送駆動される。
【００３７】
第１受光素子群の電荷読み出しゲートは、垂直転送電極Ｖ３，Ｖ７に隣接して設けられている。一方の第２受光素子群の電荷読み出しゲートは、垂直転送電極Ｖ１，Ｖ５に隣接して設けられている。したがって、第１受光素子群の受光素子４０からＶＣＣＤ４１の電荷転送チャネルへの電荷読み出しは、垂直転送電極Ｖ３，Ｖ７に読み出しパルスを印加することにより行われる。同様に、第２受光素子群の受光素子４０からＶＣＣＤ４１の電荷転送チャネルへの電荷読み出しは、垂直転送電極Ｖ１，Ｖ５に読み出しパルスを印加することにより行われる。このように、第１及び第２受光素子群の電荷読み出しは、異なる垂直転送電極への読み出しパルスの供給によって行われるため、それぞれ独立に異なるタイミングで行うことが可能である。
【００３８】
ＨＣＣＤ４２は、電荷転送チャネル（図示せず）とその上に設けられた複数の水平転送電極（図示せず）とで構成される。ＨＣＣＤ４２は、撮像素子駆動部１５から出力される水平転送パルスφＨ１，φＨ２によって２相駆動される。ＨＣＣＤ４２の端部に接続される出力部４３は、電荷を電圧に変換するフローティングディフュージョン（ＦＤ）部とソースフォロア回路とからなるＦＤアンプにより構成されている。
【００３９】
さらに、固体撮像素子１２は、受光素子４０に蓄積された不要電荷を半導体基板に掃き出すための縦型オーバーフロードレイン（ＶＯＤ）構造が構成されている。このＶＯＤ構造による電荷排出動作は、電子シャッタと呼ばれる動作である。撮像素子駆動部１５から半導体基板に所定の電圧（以下、電子シャッタパルスφＳＵＢと呼ぶ）が印加されると、すべての受光素子４０の底部に形成されたポテンシャルバリアが低下し、すべての受光素子４０に蓄積された電荷が、一斉に半導体基板に掃き出される。
【００４０】
次に、広ダイナミックレンジモードにおいてフラッシュ撮影を行う場合の固体撮像素子１２及びフラッシュ発光部１９の駆動方法を説明する。図３において、タイミングｔ０以前は、電子シャッタパルスφＳＵＢを周期的に印加し、受光素子４０内の蓄積電荷を半導体基板に掃き出す。タイミングｔ０において、電子シャッタパルスφＳＵＢの印加を停止するとともに、フラッシュ発光部１９にフラッシュ駆動パルスの印加を開始し、フラッシュ駆動パルスの印加を停止するタイミングｔ２までの期間ｔＦの間、フラッシュ発光部１９から所定光量のフラッシュ光を出力させる。
【００４１】
固体撮像素子１２の第１及び第２受光素子群は、タイミングｔ０から電荷蓄積を開始する。第１受光素子群については、フラッシュ発光期間ｔＦの経過後、タイミングｔ４において、垂直転送電極Ｖ３，Ｖ７に読み出しパルスを印加することで、タイミングｔ０からｔ４までの露光期間ｔＬの蓄積電荷をＶＣＣＤ４１に読み出す。
【００４２】
一方の第２受光素子群については、フラッシュ発光期間ｔＦ内のタイミングｔ１において、垂直転送電極Ｖ１，Ｖ５に読み出しパルスを印加して、タイミングｔ０からｔ１までの間の蓄積電荷をＶＣＣＤ４１に読み出し、この後、高周波数の垂直転送パルスφＶ１〜φＶ８及び水平転送パルスφＨ１，φＨ２を印加することで、読み出された電荷を、不要電荷として高速に掃き捨てる（すなわち、第２受光素子群は、フラッシュ発光期間ｔＦ内のタイミングｔ１の時点から露光が開始する）。そして、不要電荷を掃き捨てた後、タイミングｔ３において、垂直転送電極Ｖ１，Ｖ５に読み出しパルスを印加することで、タイミングｔ１からｔ３までの露光期間ｔＳの蓄積電荷をＶＣＣＤ４１に読み出す。
【００４３】
上記タイミングｔ４の後、ＶＣＣＤ４１に読み出された第１及び第２受光素子群の蓄積電荷（信号電荷）をそれぞれ垂直転送及び水平転送し、撮像信号として出力部４３から出力させる。このように、第１受光素子群は、露光期間ｔＬで露光され、フラッシュ発光期間ｔＦの全期間（タイミングｔ０からｔ２）が露光に寄与する。一方の第２受光素子群は、露光期間ｔＳで露光され、フラッシュ発光期間ｔＦの一部の期間ｔＦＰ（タイミングｔ１からｔ２）のみが露光に寄与する。
【００４４】
したがって、タイミングｔ１，ｔ２の設定により、フラッシュ発光による第１及び第２受光素子群の受光量を、それぞれ個別に調節することが可能であり、第１及び第２受光素子群の露光量をそれぞれ適正化することができる。このタイミングｔ１，ｔ２は、前述の発光制御部１７ａにより決定される。
【００４５】
図４は、上記駆動方法により固体撮像素子１２から出力された信号（画像データ）を模式的に示している。第１受光素子からは、長期間露光であるため高感度画像データが得られ、第２受光素子からは、短期間露光であるため低感度画像データが得られる。この高感度画像データと低感度画像データとは、デジタル信号処理部２４において、対応する同色の画素同士が、破線で示すように１組ずつ合成され、これにより、広ダイナミックレンジの画像データが生成される。この合成処理は、特開２００７−２３５６５６に開示されているように、高感度画像データの飽和電圧を、信号スライス処理により低感度画像データの飽和電圧に揃えたうえで、対応する同色の画素同士を加算することによりなされる。
【００４６】
なお、ＣＰＵ１７は、高解像度モードでは、第２受光素子群を、第１受光素子群と同一のタイミングで駆動し、両者の露光期間を同一とする（この場合、図３に示す高速Ｖ転送は不要となる）。高解像度モードでは、デジタル信号処理部２４は、上記の合成処理を実行せず、それぞれを個別の画素データとして、高解像度の画像データを生成する。
【００４７】
次いで、デジタルカメラ１０の作用を、図５のフローチャートに沿って説明する。ＣＰＵ１７は、モードダイヤルにより広ダイナミックレンジモード以外のモードが選択されている場合には（ステップＳ１：ＮＯ）、その選択されたモードに従う処理を実行し（ステップＳ２）、広ダイナミックレンジモードが選択されている場合には（ステップＳ１：ＹＥＳ）、以下の処理を実行する。
【００４８】
ＣＰＵ１７は、レリーズボタンの第１の押下操作（半押し）を検出すると（ステップＳ３：ＹＥＳ）、焦点調節部１７ｂ及び露出調整部１７ｃに第１の押下操作が検出されたことを通知する。この通知を受けて、露出調整部１７ｃがＡＥ処理を行い、焦点調節部１７ｂがＡＦ処理を行う（ステップＳ４）。ＣＰＵ１７は、ＡＥ処理の結果に基づき、絞り値及びシャッタ速度（露出値）を設定する（ステップＳ５）。ここで、シャッタ速度は、第１受光素子群の露光期間ｔＬに対応し、第２受光素子群の露光期間ｔＳは、ダイナミックレンジの拡大率に応じた値に設定される。例えば、ダイナミックレンジの拡大率が２００％の場合には「ｔＳ＝ｔＬ／２」、４００％の場合には「ｔＳ＝ｔＬ／４」、８００％の場合には「ｔＳ＝ｔＬ／８」と設定される。また、ここで、第２受光素子群の露光開始タイミングｔ１は、任意の初期値に設定される。例えば、ｔ１＝ｔ０と設定される。
【００４９】
続いて、ＣＰＵ１７は、レリーズボタンの第２の押下操作（全押し）を検出すると（ステップＳ６：ＹＥＳ判定）、フラッシュ発光部１９によるフラッシュ発光の要否を判定し（ステップＳ７）、フラッシュ発光が必要である場合には（ステップＳ７：ＹＥＳ）、調光処理を行う（ステップＳ８）。一方、フラッシュ発光が不要で有る場合には（ステップＳ７：ＮＯ）、本撮影を実行する（ステップＳ９）。
【００５０】
ステップＳ８の調光処理を説明する図６において、ＣＰＵ１７が調光処理の開始を指示する指示信号を発光制御部１７ａに送出すると、発光制御部１７ａは、フラッシュ発光を伴わない非発光露光により撮影されフレームメモリ２２に記憶された画像データ（非発光時画像データ）を取得する（ステップＳ１１）。続いて、発光制御部１７ａは、フラッシュ発光部１９により予備発光を行って、予備発光露光により撮影されフレームメモリ２２に記憶された画像データ（予備発光時画像データ）を取得する（ステップＳ１２）。なお、ステップＳ１１及びＳ１２では、発光制御部１７ａは、長期間露光の第１受光素子群に対する非発光時の輝度値Ｙａ及び予備発光時の輝度値Ｙｂを取得する。
【００５１】
次いで、発光制御部１７ａは、取得した非発光時画像データ及び予備発光時画像データを複数のエリアに分割し、分割エリアごとに輝度値の差分値を算出する（ステップＳ１３）。図７は、画像データのエリア分割の一例を示し、画像データ（非発光時画像データまたは予備発光時画像データ）により表される画像を、ｉ×ｊ（ここでは、８×８）個のエリアに分割している。以下では、分割ブロックを、（１，１）、（ｉ，ｊ）といった符号により、区別する。
【００５２】
次いで、発光制御部１７ａは、非発光時画像データから分割エリアごとの非発光時の輝度値Ｙａ（１，１）〜Ｙａ（ｉ，ｊ）を取得する。例えば、非発光時画像データをＲＧＢ／ＹＣ変換して、各画素の輝度値を求め、画素輝度値の領域ごとの平均値を、非発光時の輝度値Ｙａとする。一方の予備発光時画像データについても、同様の手順により、各分割エリアの予備発光時の輝度値Ｙｂ（１，１）〜Ｙｂ（ｉ，ｊ）を取得する。
【００５３】
次いで、発光制御部１７ａは、分割エリアごとに、非発光時の輝度値Ｙａ（ｘ，ｙ）と予備発光時の輝度値Ｙｂ（ｘ，ｙ）との差分値Ｙｄ（ｘ，ｙ）（＝Ｙｂ（ｘ，ｙ）−Ｙａ（ｘ，ｙ））を算出する。この差分値Ｙｄ（ｘ，ｙ）は、被写体からのフラッシュ光の反射成分（反射輝度情報）を表している。
【００５４】
次いで、発光制御部１７ａは、全分割エリアの差分値Ｙｄ（１，１）〜Ｙｄ（ｉ，ｊ）に基づき、本撮影時におけるフラッシュ発光量を、予備発光の発光量の何倍とするか（発光倍率Ｈｍ）を算出する（ステップＳ１７）。例えば、差分値Ｙｄ（１，１）〜Ｙｄ（ｉ，ｊ）の単純平均値、あるいは、図８に示すように例えば画像の中央に近い分割エリアの重み付けを大きくして平均した加重平均Ｙｄｈ，Ｙａｈを算出し、目標輝度Ｙｏを用いて次式（１）により、発光倍率Ｈｍを算出する。
【００５５】
Ｈｍ＝（Ｙｏ−Ｙａｈ）／Ｙｄｈ ・・・（１）
【００５６】
次いで、発光制御部１７ａは、本撮影時のフラッシュ発光量Ｅｖを、発光倍率Ｈｍに基づいて、次式（２）により算出する（ステップＳ１５）。
【００５７】
Ｅｖ＝ｌｏｇ２Ｈｍ ・・・（２）
【００５８】
次いで、発光制御部１７ａは、算出した発光量Ｅｖに対する発光時間（前述の期間ｔＦ（タイミングｔ０を基準としたタイミングｔ２の値））を決定する（ステップＳ１６）。このタイミングｔ２の決定は、例えば、図９に示すように、各種発光量Ｅｖに対する発光時間を記憶したテーブルＬＵＴ１を用いて行う。例えば、発光量Ｅｖが２．０である場合、テーブルＬＵＴ１を参照して、タイミングｔ２は、３２．０μｓと決定される。
【００５９】
次いで、発光制御部１７ａは、第１及び第２受光素子群の露光期間の比（ｔＳ／ｔＬ）に基づいて、第２受光素子群の露光タイミング（タイミングｔ０を基準としたタイミングｔ１，ｔ３の値）を決定する（ステップＳ１７）。
【００６０】
ステップＳ１７において、期間ｔＦの発光量に対する期間ｔＦＰの発光量の割合が、露光期間の比ｔＳ／ｔＬと一致するようにタイミングｔ１が決定される。具体的には、上記テーブルＬＵＴ１を参照し、ステップＳ１５で求められた発光量Ｅｖの（１−ｔＳ／ｔＬ）倍の光量に対する発光時間を求め、この発光時間をタイミングｔ１とする。例えば、露光期間の比ｔＳ／ｔＬが「１／２」、ステップＳ１５で求められた発光量Ｅｖが「２．０」である場合、発光量Ｅｖの１／２倍の光量１．０に対する発光時間をテーブルＬＵＴ１から参照し、タイミングｔ１は１８．０μｓと決定される。そして、タイミングｔ１に露光期間ｔＳを加算した値をタイミングｔ３とする。
【００６１】
なお、ステップＳ１６及びＳ１７において、テーブルＬＵＴ１に記憶されていない発光量Ｅｖに対する発光時間を求める場合には、最も近い発光量Ｅｖに対する発光時間を参照するようにしてもよいが、より精度の高い処理が望まれる場合には、発光制御部１７ａに補間処理機能を設け、テーブルＬＵＴ１に記憶されていない発光量Ｅｖに対する発光時間を、補間演算により求めることが好ましい。
【００６２】
図５に戻り、ＣＰＵ１７は、フラッシュ撮影を行う場合には、以上の処理により決定されたタイミングｔ１〜ｔ４に基づき、フラッシュ発光部１９及び固体撮像素子１２を駆動し、本撮影を行う（ステップＳ９）。この結果、第１及び第２受光素子群が受光する光量がともに最適化されるため、デジタル信号処理部２４による合成処理後の画像データは、ダイナミックレンジの拡大率に対応した、広ダイナミックレンジの画像データとなる。
【００６３】
さらに、ＣＰＵ１７は、外部メモリ制御部２７を制御し、本撮影の結果得られた画像データを記録媒体２６に記録するとともに、本撮影で用いたタイミングｔ１〜ｔ４の値を、付加情報として、該画像データに関連付けて記録媒体２６に記録する（ステップＳ１０）。例えば、ＣＰＵ１７は、タイミングｔ１〜ｔ４の値を、ＪＰＥＧ形式の画像データに付加されるＥｘｉｆデータとして記録する。
【００６４】
（第２実施形態）
次に、本発明の第２実施形態として、フラッシュ発光の残光を考慮した調光処理の変形例を示す。フラッシュ発光部１９から発せられるフラッシュ光は、フラッシュ発光部１９に印加されるフラッシュ駆動パルスの終了とともに瞬時には消滅せず、図１０（Ａ）に示すように、タイミングｔ２におけるフラッシュ駆動パルスの停止後も残光が生じる。
【００６５】
このため、図９に示すテーブルＬＵＴ１を、フラッシュ発光の残光成分を考慮して、発光量と発光時間（タイミングｔ２）との関係を規定することにより、図６のステップＳ１６で決定されるタイミングｔ２は高精度となる。
【００６６】
一方、上記ステップＳ１７では、タイミングｔ１は、図１０（Ｂ）に示す領域Ａの光量が、発光量Ｅｖ（総発光量）のｔＳ／ｔＬの割合となるように決定される。この領域Ａの光量は、発光終了時間がタイミングｔ１の場合の発光量Ｅｖを、発光終了時間がタイミングｔ２の場合の発光量Ｅｖから減算した値に相当する。しかしながら、実際に、第２受光素子群の露光に係る光量は、タイミングｔ１以降の発光量（領域Ａと領域Ｂを加算したした光量）である。このため、第１実施形態では、第２受光素子群には、残光の影響により、領域Ｂに対応する光量（発光終了時間がタイミングｔ１の場合の残光成分）だけ、余分に露光が行われることになる。
【００６７】
本第２実施形態は、図６に示す調光処理のステップＳ１７の処理内容が相違する点以外は、第１実施形態と同一構成である。第２実施形態では、発光制御部１７ａは、図１１に示すテーブルＬＵＴ２を用いてタイミングｔ１，ｔ３を決定する。テーブルＬＵＴ２は、各種の露光期間の比ｔＳ／ｔＬ（３／４，１／２，１／４等）について、上記領域Ａ及び領域Ｂの加算光量が、総発光量（発光量Ｅｖ）のｔＳ／ｔＬの割合となるタイミングｔ１を、それぞれ記憶したものである。
【００６８】
タイミングｔ３は、第１実施形態と同様に、タイミングｔ１に露光期間ｔＳを加算した値とする。なお、テーブルＬＵＴ２に記憶されていない発光量Ｅｖまたは比ｔＳ／ｔＬに対するタイミングｔ１を求める場合には、前述の発光制御部１７ａの補間処理機能により、補間演算を行えばよい。
【００６９】
このように、本発明の第２実施形態によれば、フラッシュ発光の残光の影響が防止され、ダイナミックレンジの拡大率に正確に対応した、広ダイナミックレンジの画像データが生成される。
【００７０】
（第３実施形態）
次に、本発明の第３実施形態として、フラッシュ発光の残光の影響を防止可能な調光処理の別の変形例を示す。上記第１実施形態では、調光処理において、ステップＳ１１〜Ｓ１５の処理を第１受光素子群に対してのみ行い、この結果算出された本撮影用のフラッシュ発光量Ｅｖに基づいて発光時間（タイミングｔ２）を決定した後、ダイナミックレンジの拡大率に対応した露光期間の比ｔＳ／ｔＬに基づいて、第２受光素子群の露光タイミング（タイミングｔ１，ｔ３）を決定しているが、これに対して、第３実施形態では、ステップＳ１１〜Ｓ１５の処理を、第１及び第２受光素子群のそれぞれに対して行い、反射輝度情報に対応した発光量Ｅｖを第１及び第２受光素子群のそれぞれについて個別に求めることにより、発光時間（タイミングｔ２）と第２受光素子群の露光タイミング（タイミングｔ１，ｔ３）とをそれぞれ独立に決定する。つまり、第３実施形態では、第１受光素子群から得られる反射輝度情報に基づいてタイミングｔ２を決定し、これとは独立して第２受光素子群から得られる反射輝度情報に基づいてタイミングｔ１，ｔ３を決定する。その他の点については、第１実施形態と同一であるため、説明を省略する。
【００７１】
このように、本発明の第３実施形態によれば、タイミングｔ１，ｔ２をそれぞれ独立に決定することにより、第１及び第２受光素子群の露光量はそれぞれ個別に適正化されるため、前述したような残光による影響は防止される。
【００７２】
（第４実施形態）
次に、本発明の第４実施形態について説明する。上記第１実施形態では、フラッシュ発光期間に対して、短期間露光の第２受光素子群の露光期間を制御することにより、第２受光素子群の露光量を適正化しているが、逆に、第２受光素子群の露光期間に対して、フラッシュ発光期間を制御することにより、第２受光素子群の露光量を最適化することも可能である。
【００７３】
図１２は、第４実施形態において、広ダイナミックレンジモードにおいてフラッシュ撮影を行う場合の固体撮像素子１２及びフラッシュ発光部１９の駆動方法を示す。ＣＰＵ１７は、第１受光素子群の露光期間ｔＬと第２受光素子群の露光期間ｔＳとを同一の時点（タイミングｔ４）で終了させるように固体撮像素子１２の駆動を制御するとともに、フラッシュ発光のタイミングｔ１，ｔ３を、短露光側の露光期間ｔＳ（タイミングｔ２からｔ４）に対して調整する。
【００７４】
図１３は、第４実施形態の調光処理を示す。ステップＳ２１〜Ｓ２５については、第１実施形態で説明したステップＳ１１〜Ｓ１５と同一の処理であるので説明を省略する。ステップＳ２６において、発光制御部１７ａは、ステップＳ２５で算出した発光量Ｅｖに対する発光時間ｔＦを決定する。この発光時間ｔＦの決定は、前述のテーブルＬＵＴ１を用いて行う。
【００７５】
次いで、発光制御部１７ａは、第１及び第２受光素子群の露光期間の比（ｔＳ／ｔＬ）に基づき、期間ｔＦ（タイミングｔ１からｔ３）の発光量に対する期間ｔＦＰ（タイミングｔ２からｔ３）の発光量の割合が、露光期間の比ｔＳ／ｔＬと一致するように、第２受光素子群の露光開始タイミングｔ２に対するフラッシュ発光のタイミングｔ１，ｔ３を決定する（ステップＳ２７）。このタイミングｔ１，ｔ３は、第１実施形態と同様な方法で決定することができる。なお、タイミングｔ１，ｔ３は、第２実施形態や、第３実施形態の方法を用いて決定することも可能である。
【００７６】
（第５実施形態）
次に、本発明の第５実施形態について説明する。第５実施形態では、図１４に示すように、撮影レンズ１１の前方にメカニカルシャッタ５０を配置し、このメカニカルシャッタ５０を駆動するシャッタ駆動部５１を設け、ＣＰＵ１７がシャッタ駆動部５１を介してメカニカルシャッタ５０を駆動することにより、第１及び第２受光素子群の露光期間ｔＬ，ｔＳの終了タイミングｔ４を規定する点が上記第４実施形態と異なる。
【００７７】
具体的には、図１５に示すように、メカニカルシャッタ５０を開放した状態で、電子シャッタパルスφＳＵＢの印加を停止することにより、第１受光素子群の露光を開始し（タイミングｔ０）、この後、垂直転送電極Ｖ１，Ｖ５に読み出しパルスを印加することにより、第２受光素子群の露光を開始する（タイミングｔ２）。そして、期間ｔＳの経過時にメカシャッタ５０を閉じることにより、第１及び第２受光素子群の露光を終了させる（タイミングｔ４）。なお、フラッシュ発光は、上記第４実施形態で説明したタイミングｔ１，ｔ３で行う。
【００７８】
メカニカルシャッタ５０を閉状態とした後、高周波数の垂直転送パルスφＶ１〜φＶ８及び水平転送パルスφＨ１，φＨ２を印加することにより、ＶＣＣＤ４１内の蓄積電荷（不要電荷）を高速に掃き捨てる（高速Ｖ転送）。この後、垂直転送電極Ｖ３，Ｖ７及び垂直転送電極Ｖ１，Ｖ５に読み出しパルスを印加し、第１及び第２受光素子群の蓄積電荷（信号電荷）をＶＣＣＤ４１に読み出す。そして、ＶＣＣＤ４１に読み出した信号電荷を垂直転送及び水平転送し、撮像信号として出力部４３から出力させる。
【００７９】
このように、第５実施形態では、ＶＣＣＤ４１への信号電荷の読み出しの直前に、ＶＣＣＤ４１の不要電荷を掃き捨てるため、スミアの発生が防止される。また、上記第４実施形態のように、短露光期間ｔＳ中に高速Ｖ転送が介在しないため、短露光期間ｔＳを、高速Ｖ転送に要する時間以下とすることが可能である。
【００８０】
なお、上記第１〜第５実施形態では、固体撮像素子１２としてＣＣＤ型イメージセンサを用いているが、固体撮像素子としては、露光期間を独立して制御可能な第１受光素子と第２受光素子とを一対として複数配列したものであればよく、ＣＭＯＳ型イメージセンサ等を用いることも可能である。
【符号の説明】
【００８１】
１０ デジタルカメラ
１２ 固体撮像素子
１７ ＣＰＵ
１７ａ 発光制御部
１７ｂ 焦点調節部
１７ｃ 露出調整部
１９ フラッシュ発光部
２４ デジタル信号処理部
２６ 記録媒体
２７ 外部メモリ制御部
４０ 受光素子
４１ 垂直電荷転送部
４２ 水平電荷転送部
５０ メカニカルシャッタ
Ｖ１〜Ｖ８ 垂直転送電極
Ｒ１，Ｇ１，Ｂ１ 第１受光素子群
Ｒ２，Ｇ２，Ｂ２ 第２受光素子群
【技術分野】
【０００１】
本発明は、ＣＣＤやＣＭＯＳセンサ等の固体撮像素子を備えた撮影装置及びその制御方法に関し、特に、画像の広ダイナミックレンジ化を可能とする撮影装置及びその制御方法に関する。
【背景技術】
【０００２】
ＣＣＤやＣＭＯＳセンサ等の固体撮像素子を内蔵したデジタルカメラ等の撮影装置が普及している。固体撮像素子に対する代表的な要求として、高画素化と広ダイナミックレンジ化がある。高画素化については、受光素子の微細化により１０００万画素以上の画素数が達成されており、要求はほぼ満たされている。一方の広ダイナミックレンジ化については、受光素子の微細化により飽和電荷量の減少が伴うため、受光素子の構造的な改良では広ダイナミックレンジ化に限界がある。このため、広ダイナミックレンジ化には、付加的な技術が必要とされている。
【０００３】
この付加的な技術として、露光期間を独立して制御可能な第１受光素子と第２受光素子とが対となって複数配列された固体撮像素子において、第１受光素子を長期間露光（高感度）、第２受光素子を短期間露光（低感度）とし、第１受光素子の露光期間中に第２受光素子の露光を行い、第１受光素子と第２受光素子との出力信号を合成（飽和電圧を揃えて加算）することにより、ダイナミックレンジが広く、かつ同時性が確保された画像を得る技術が本出願人により提案されている（特許文献１参照）。
【０００４】
この技術によれば、第１受光素子の露光期間と、第２受光素子の露光期間との比を選択することにより、所望のダイナミックレンジを得ることができる。一方、広ダイナミックレンジ化を必要としない場合には、第１及び第２受光素子の露光期間を同一とし、第１及び第２受光素子の出力信号を合成せずに個別の画素データとすることで、高解像度の画像を得ることができる。
【０００５】
さらに、特許文献１では、フラッシュ撮影時に広ダイナミックレンジ化を実現するために、フラッシュ発光（補助光源の発光）を、短期間露光の期間外で、かつ長期間露光の期間内である期間に行うことが提案されている。このタイミングでフラッシュ発光を行うことにより、第２受光素子の短期間露光には影響を与えずに、第１受光素子の長期間露光の光量（積分露光エネルギ）を増大させることができると述べられている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２３５６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載のように、短期間露光の期間外で、かつ長期間露光の期間内である期間にフラッシュ発光を行う場合、フラッシュ発光の光量は、長期間露光の第１受光素子の露光期間に基づいて決定されることになる。この場合、長期間露光の第１受光素子は適正な光量が得られることになるが、短期間露光の第２受光素子は光量が不足する。したがって、特許文献１に記載の技術では、フラッシュ撮影時に所望のダイナミックレンジが得られないといった問題がある。
【０００８】
本発明は、上記課題を鑑みてなされたものであり、フラッシュ撮影時においても広ダイナミックレンジの画像を得ることができる撮影装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の撮影装置は、フラッシュ光を発するフラッシュ発光手段と、露光期間をそれぞれ独立に制御可能な第１受光素子と第２受光素子とが対となって複数配列され、前記第１受光素子の第１露光期間中に、前記第１露光期間より短い第２露光期間で前記第２受光素子の露光を行うことを可能とする撮像手段と、前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記フラッシュ発光手段のフラッシュ発光期間と前記第２露光期間との相対的なタイミング関係を制御する制御手段と、前記第１及び第２受光素子の出力信号を合成して画像データを生成する信号処理手段と、を備えたことを特徴とする。
【００１０】
なお、前記制御手段は、前記フラッシュ発光期間を前記第１露光期間に同期させ、前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記フラッシュ発光期間に対する前記第２露光期間のタイミングを制御することが好ましい。この場合、前記制御手段は、前記フラッシュ発光期間と前記第１露光期間の開始時間を同時とすることが好適である。
【００１１】
また、前記制御手段は、前記第２露光期間を前記第１露光期間に同期させ、前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記第２露光期間に対する前記フラッシュ発光期間のタイミングを制御することも好ましい。この場合、前記制御手段は、前記第１露光期間と前記第２露光期間の終了時間を同時とすることが好適である。
【００１２】
また、前記制御手段は、前記フラッシュ発光手段に予備発光を行わせ、前記撮像手段により検出されるフラッシュ光の反射輝度情報に基づいて本撮影用の発光量を算出し、算出した発光量に基づいて前記フラッシュ光の発光時間を決定することが好ましい。
【００１３】
また、前記制御手段は、前記発光量に対する発光時間を、複数の前記発光量について記憶した第１テーブルを備え、前記第１テーブルを参照することにより、前記発光時間を決定し、前記第１及び第２露光期間の比率に基づき、前記フラッシュ発光期間と前記第２露光期間との相対的なタイミング関係を決定することが好ましい。さらに前記制御手段は、前記第１テーブルに記憶されていない発光量に対する発光時間を、補間演算により算出することが好ましい。
【００１４】
また、前記制御手段は、前記第１露光期間中の発光量に対する前記第２露光期間中の発光量の割合が、前記第１及び第２露光期間の比率となる前記タイミング関係を、複数の前記比率について記憶した第２テーブルをさらに備え、前記第２テーブルを参照することにより、前記比率に対応した前記タイミング関係を決定することが好ましい。さらに前記制御手段は、前記第２テーブルに記憶されていない前記比率に対する前記タイミング関係を、補間演算により算出することが好ましい。
【００１５】
また、前記制御手段は、前記第１受光素子から得られる前記反射輝度情報に基づいて前記発光時間を決定し、前記第２受光素子から得られる前記反射輝度情報に基づいて前記タイミング関係を決定することも好ましい。
【００１６】
また、前記フラッシュ発光期間及び前記タイミング関係の決定値を、前記画像データに対応づけて記録する記録手段を備えることが好ましい。
【００１７】
また、前記第１受光素子は、行方向とこれに直交する列方向とに正方格子状に配列され、前記第２受光素子は、行方向とこれに直交する列方向とに正方格子状に配列されており、前記第１受光素子と前記第２受光素子とは、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずらして配列されていることが好ましい。
【００１８】
また、前記撮像手段には、前記第１受光素子に対応して赤、緑、青のカラーフィルタがベイヤー配列され、かつ、前記第２受光素子に対応して赤、緑、青のカラーフィルタがベイヤー配列されていることが好ましい。
【００１９】
また、前記撮像手段は、前記第１受光素子が配列された列と、前記第２受光素子が配列された列とに沿って配列され、前記第１及び第２受光素子に蓄積された信号電荷を読み出して列方向に転送する垂直電荷転送部と、前記垂直電荷転送部からの信号電荷を行方向に転送する水平電荷転送部とを備えたＣＣＤ型の固体撮像素子であることが好ましい。
【００２０】
さらに、本発明の撮影装置の制御方法は、フラッシュ光を発するフラッシュ発光手段と、露光期間をそれぞれ独立に制御可能な第１受光素子と第２受光素子とが対となって複数配列され、前記第１受光素子の第１露光期間中に、前記第１露光期間より短い第２露光期間で前記第２受光素子の露光を行うことを可能とする撮像手段と、前記第１及び第２受光素子の出力信号を合成して画像データを生成する信号処理手段とを備えた撮影装置の制御方法において、前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記フラッシュ発光手段のフラッシュ発光期間と前記第２露光期間との相対的なタイミング関係を制御することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、第１及び第２受光素子が第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、フラッシュ発光手段のフラッシュ発光期間と第２露光期間との相対的なタイミング関係を制御するので、フラッシュ撮影時においても広ダイナミックレンジの画像を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態に係るデジタルカメラの構成を示すブロック図である。
【図２】固体撮像素子の平面模式図である。
【図３】固体撮像素子及びフラッシュ発光部の駆動方法を説明するタイミングチャートである。
【図４】画像合成処理を説明する画像データの模式図である。
【図５】デジタルカメラの作用を説明するフローチャートである。
【図６】調光処理を説明するフローチャートである。
【図７】画像データのエリア分割の一例を示す図である。
【図８】各分割エリアの重み係数の一例を示す図である。
【図９】各種発光量と発光時間とを対応づけたテーブルを示す図である。
【図１０】フラッシュ駆動パルスに対するフラッシュ光の波形を示す図である。
【図１１】本発明の第２実施形態に係るテーブルである。
【図１２】本発明の第４実施形態に係る固体撮像素子及びフラッシュ発光部の駆動方法を説明するタイミングチャートである。
【図１３】本発明の第４実施形態に係る調光処理を説明するフローチャートである。
【図１４】本発明の第５実施形態に係るデジタルカメラの構成を示すブロック図である。
【図１５】本発明の第５実施形態に係る固体撮像素子、フラッシュ発光部、及びメカニカルシャッタの駆動方法を説明するタイミングチャートである。
【発明を実施するための形態】
【００２３】
（第１実施形態）
図１において、本発明の第１実施形態に係るデジタルカメラ１０の撮像光学系は、撮影レンズ１１と、ＣＣＤ型の固体撮像素子１２と、この両者の間に設けられた絞り１３とを備える。撮影レンズ１１にはレンズ駆動部１４が接続されている。固体撮像素子１２には撮像素子駆動部１５が接続されている。絞り１３には絞り駆動部１６が接続されている。
【００２４】
ＣＰＵ１７は、操作部１８からの操作信号に基づき、デジタルカメラ１０の電気制御系全体を統括制御するものである。また、ＣＰＵ１７には、フラッシュ発光部１９の発光タイミングや発光量を制御する発光制御部１７ａ、レンズ駆動部１４に撮影レンズ１１の移動を指示して焦点合わせを行う焦点調節部１７ｂ、絞り値及びシャッタ速度（露光期間）を決定し、絞り駆動部１６及び撮像素子駆動部１５に指示信号を送出する露出調整部１７ｃが構成されている。撮像素子駆動部１５は、指示信号に基づいて介して固体撮像素子１２を駆動し、撮影レンズ１１を通して撮像した被写体画像を撮像信号として出力させる。
【００２５】
デジタルカメラ１０の電気制御系は、固体撮像素子１２の出力信号に対して、ノイズ除去等のアナログ信号処理を施すアナログ信号処理部２０と、アナログ信号処理部２０の出力信号（ＲＧＢの色信号）をデジタル信号に変換するＡ／Ｄ変換部２１とを備え、これらはＣＰＵ１７によって制御される。
【００２６】
さらに、デジタルカメラ１０の電気制御系は、フレームメモリ２２に接続されたメモリ制御部２３と、後述する画像合成処理の他、色補間、ガンマ補正、ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２４と、撮像画像をＪＰＥＧ画像に圧縮したり、圧縮された画像を伸張したりする圧縮伸張処理部２５と、着脱自在の記録媒体２６に対するデータの記録及び読み出し制御を行う外部メモリ制御部２７と、カメラ本体の背面に搭載された液晶表示部（ＬＣＤ）２８の表示制御を行う表示制御部２９とを備える。これら電気制御系の各部は、制御バス３０及びデータバス３１によって相互に接続され、ＣＰＵ１７によって制御される。
【００２７】
操作部１８には、シャッタ操作を行うためのレリーズボタン、動作モードを切り替えるためのモードダイヤル、撮影メニュー（設定項目）をＬＣＤ２８に表示させるメニューボタン、設定項目を選択し決定するための選択決定ボタン等が含まれている。ＣＰＵ１７は、操作部１８を通してユーザからの指示が操作信号として入力され、入力された操作信号に基づいて各種制御を行う。
【００２８】
レリーズボタンは、２段式押しボタンスイッチである。自動焦点調節機能（ＡＦ：Auto Focus）、自動露出調整機能（ＡＥ：Auto Exposure）を用いた撮影では、レリーズボタンが軽く押下される第１の押下操作（半押しともいう）がなされると、焦点調節部１７ｂ及び露出調整部１７ｃによりＡＦ処理及びＡＥ処理が行われ、焦点合わせ及び露出調整等の撮影準備が行われる。その状態で、レリーズボタンが強く押下される第２の押下操作（全押しともいう）がなされると、固体撮像素子１２により被写体画像の撮像が行われる。
【００２９】
モードダイヤルは、各種動作モードの切り替えを行うものであり、広ダイナミックレンジの画像を撮影する「広ダイナミックレンジモード」や、ダイナミックレンジを拡大せずに高解像度の画像を撮影する「高解像度モード」等の選択が可能となっている。
【００３０】
さらに、操作部１８により、広ダイナミックレンジモード時のダイナミックレンジの拡大率の設定や、フラッシュ発光部１９によるフラッシュ発光のオン／オフ設定が可能となっている。
【００３１】
フラッシュ発光を伴う撮影（フラッシュ撮影）を行う場合には、発光制御部１７ａは、レリーズボタンの第２の押下操作に連動して、フラッシュ発光部１９を２回発光させる。１回目の発光は被写体からの反射光量を測定するための予備発光（プリ発光）であり、通常の発光に比べて発光量は微小である。２回目の発光は被写体に対して撮影に十分な光を供給するための（適切な露光量を得るための）本発光であり、本発光の発光量が適正であれば、適切な明るさの画像を得ることができる。
【００３２】
図２において、固体撮像素子１２は、半導体基板上の垂直方向とこれに直交する水平方向に配列され、被写体光を光電変換して電荷を発生する複数の受光素子（光電変換素子）４０と、複数の受光素子４０の各々で発生した電荷を垂直方向に転送する複数の垂直電荷転送部（ＶＣＣＤ）４１と、各ＶＣＣＤ４１の端部に接続され、ＶＣＣＤ４１の各々を転送されてきた電荷を、水平方向に転送する水平電荷転送部（ＨＣＣＤ）４２と、ＨＣＣＤ４２から転送されてきた電荷を電圧信号に変換して出力する出力部４３とを備えている。以下、受光素子４０の垂直方向の並びを列、水平方向の並びを行と呼ぶ。
【００３３】
複数の受光素子４０は、符号Ｒ１，Ｇ１，Ｂ１を付した第１受光素子群と、符号Ｒ２，Ｇ２，Ｂ２を付した第２受光素子群とに分けられる。第１受光素子群と第２受光素子群とは、それぞれ行方向及び列方向に正方格子状に配列された受光素子４０からなり、上記符号に含まれるＲ，Ｇ，Ｂは、受光素子４０上に配列された赤Ｒ、緑Ｇ、青Ｂの３原色のカラーフィルタの種類に対応している。第１受光素子群と第２受光素子群とは、行方向及び列方向に同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずらして配置されている。受光素子４０は、全体として、所謂ハニカム配列となっている。
【００３４】
第１及び第２受光素子群のカラーフィルタの配列は、それぞれベイヤー配列（一方向に「Ｇ」と「Ｂ」を繰り返し、それと直交する方向に「Ｇ」と「Ｒ」を繰り返した色配列）となっている。このように、カラーフィルタの配列は、全体としてベイヤー配列を２つ組み合わせた色配列であることから、ダブルベイヤー配列とも称される。なお、各受光素子４０は、フォトダイオードからなり、カラーフィルタの種類以外は、基本的に同一の構造（同一素子面積、同一開口面積、同一接合深さ、同一飽和量等）を有する。
【００３５】
受光素子４０の１列ごとに１つのＶＣＣＤ４１が設けられている。受光素子４０の各列とそれに対応するＶＣＣＤ４１の電荷転送チャネル（図示せず）との間には、図中に矢印で模式的に示した電荷読み出しゲートが形成されている。露光期間中に各受光素子４０で発生して蓄積された信号電荷は、電荷読み出しゲートを介して、ＶＣＣＤ４１の電荷転送チャネルに読み出される。
【００３６】
ＶＣＣＤ４１の電荷転送チャネルは、半導体基板の表層に、受光素子４０を避けるように垂直方向に蛇行して形成されている。半導体基板の表面上には、電荷転送チャネルを水平方向に横切り、かつ、受光素子４０を避けるように蛇行した垂直転送電極Ｖ１，Ｖ２，・・・，Ｖ８が敷設されている。ＶＣＣＤ４１は、撮像素子駆動部１５から出力され、垂直転送電極Ｖ１〜Ｖ８にそれぞれ供給される垂直転送パルスφＶ１〜φＶ８によって転送駆動される。
【００３７】
第１受光素子群の電荷読み出しゲートは、垂直転送電極Ｖ３，Ｖ７に隣接して設けられている。一方の第２受光素子群の電荷読み出しゲートは、垂直転送電極Ｖ１，Ｖ５に隣接して設けられている。したがって、第１受光素子群の受光素子４０からＶＣＣＤ４１の電荷転送チャネルへの電荷読み出しは、垂直転送電極Ｖ３，Ｖ７に読み出しパルスを印加することにより行われる。同様に、第２受光素子群の受光素子４０からＶＣＣＤ４１の電荷転送チャネルへの電荷読み出しは、垂直転送電極Ｖ１，Ｖ５に読み出しパルスを印加することにより行われる。このように、第１及び第２受光素子群の電荷読み出しは、異なる垂直転送電極への読み出しパルスの供給によって行われるため、それぞれ独立に異なるタイミングで行うことが可能である。
【００３８】
ＨＣＣＤ４２は、電荷転送チャネル（図示せず）とその上に設けられた複数の水平転送電極（図示せず）とで構成される。ＨＣＣＤ４２は、撮像素子駆動部１５から出力される水平転送パルスφＨ１，φＨ２によって２相駆動される。ＨＣＣＤ４２の端部に接続される出力部４３は、電荷を電圧に変換するフローティングディフュージョン（ＦＤ）部とソースフォロア回路とからなるＦＤアンプにより構成されている。
【００３９】
さらに、固体撮像素子１２は、受光素子４０に蓄積された不要電荷を半導体基板に掃き出すための縦型オーバーフロードレイン（ＶＯＤ）構造が構成されている。このＶＯＤ構造による電荷排出動作は、電子シャッタと呼ばれる動作である。撮像素子駆動部１５から半導体基板に所定の電圧（以下、電子シャッタパルスφＳＵＢと呼ぶ）が印加されると、すべての受光素子４０の底部に形成されたポテンシャルバリアが低下し、すべての受光素子４０に蓄積された電荷が、一斉に半導体基板に掃き出される。
【００４０】
次に、広ダイナミックレンジモードにおいてフラッシュ撮影を行う場合の固体撮像素子１２及びフラッシュ発光部１９の駆動方法を説明する。図３において、タイミングｔ０以前は、電子シャッタパルスφＳＵＢを周期的に印加し、受光素子４０内の蓄積電荷を半導体基板に掃き出す。タイミングｔ０において、電子シャッタパルスφＳＵＢの印加を停止するとともに、フラッシュ発光部１９にフラッシュ駆動パルスの印加を開始し、フラッシュ駆動パルスの印加を停止するタイミングｔ２までの期間ｔＦの間、フラッシュ発光部１９から所定光量のフラッシュ光を出力させる。
【００４１】
固体撮像素子１２の第１及び第２受光素子群は、タイミングｔ０から電荷蓄積を開始する。第１受光素子群については、フラッシュ発光期間ｔＦの経過後、タイミングｔ４において、垂直転送電極Ｖ３，Ｖ７に読み出しパルスを印加することで、タイミングｔ０からｔ４までの露光期間ｔＬの蓄積電荷をＶＣＣＤ４１に読み出す。
【００４２】
一方の第２受光素子群については、フラッシュ発光期間ｔＦ内のタイミングｔ１において、垂直転送電極Ｖ１，Ｖ５に読み出しパルスを印加して、タイミングｔ０からｔ１までの間の蓄積電荷をＶＣＣＤ４１に読み出し、この後、高周波数の垂直転送パルスφＶ１〜φＶ８及び水平転送パルスφＨ１，φＨ２を印加することで、読み出された電荷を、不要電荷として高速に掃き捨てる（すなわち、第２受光素子群は、フラッシュ発光期間ｔＦ内のタイミングｔ１の時点から露光が開始する）。そして、不要電荷を掃き捨てた後、タイミングｔ３において、垂直転送電極Ｖ１，Ｖ５に読み出しパルスを印加することで、タイミングｔ１からｔ３までの露光期間ｔＳの蓄積電荷をＶＣＣＤ４１に読み出す。
【００４３】
上記タイミングｔ４の後、ＶＣＣＤ４１に読み出された第１及び第２受光素子群の蓄積電荷（信号電荷）をそれぞれ垂直転送及び水平転送し、撮像信号として出力部４３から出力させる。このように、第１受光素子群は、露光期間ｔＬで露光され、フラッシュ発光期間ｔＦの全期間（タイミングｔ０からｔ２）が露光に寄与する。一方の第２受光素子群は、露光期間ｔＳで露光され、フラッシュ発光期間ｔＦの一部の期間ｔＦＰ（タイミングｔ１からｔ２）のみが露光に寄与する。
【００４４】
したがって、タイミングｔ１，ｔ２の設定により、フラッシュ発光による第１及び第２受光素子群の受光量を、それぞれ個別に調節することが可能であり、第１及び第２受光素子群の露光量をそれぞれ適正化することができる。このタイミングｔ１，ｔ２は、前述の発光制御部１７ａにより決定される。
【００４５】
図４は、上記駆動方法により固体撮像素子１２から出力された信号（画像データ）を模式的に示している。第１受光素子からは、長期間露光であるため高感度画像データが得られ、第２受光素子からは、短期間露光であるため低感度画像データが得られる。この高感度画像データと低感度画像データとは、デジタル信号処理部２４において、対応する同色の画素同士が、破線で示すように１組ずつ合成され、これにより、広ダイナミックレンジの画像データが生成される。この合成処理は、特開２００７−２３５６５６に開示されているように、高感度画像データの飽和電圧を、信号スライス処理により低感度画像データの飽和電圧に揃えたうえで、対応する同色の画素同士を加算することによりなされる。
【００４６】
なお、ＣＰＵ１７は、高解像度モードでは、第２受光素子群を、第１受光素子群と同一のタイミングで駆動し、両者の露光期間を同一とする（この場合、図３に示す高速Ｖ転送は不要となる）。高解像度モードでは、デジタル信号処理部２４は、上記の合成処理を実行せず、それぞれを個別の画素データとして、高解像度の画像データを生成する。
【００４７】
次いで、デジタルカメラ１０の作用を、図５のフローチャートに沿って説明する。ＣＰＵ１７は、モードダイヤルにより広ダイナミックレンジモード以外のモードが選択されている場合には（ステップＳ１：ＮＯ）、その選択されたモードに従う処理を実行し（ステップＳ２）、広ダイナミックレンジモードが選択されている場合には（ステップＳ１：ＹＥＳ）、以下の処理を実行する。
【００４８】
ＣＰＵ１７は、レリーズボタンの第１の押下操作（半押し）を検出すると（ステップＳ３：ＹＥＳ）、焦点調節部１７ｂ及び露出調整部１７ｃに第１の押下操作が検出されたことを通知する。この通知を受けて、露出調整部１７ｃがＡＥ処理を行い、焦点調節部１７ｂがＡＦ処理を行う（ステップＳ４）。ＣＰＵ１７は、ＡＥ処理の結果に基づき、絞り値及びシャッタ速度（露出値）を設定する（ステップＳ５）。ここで、シャッタ速度は、第１受光素子群の露光期間ｔＬに対応し、第２受光素子群の露光期間ｔＳは、ダイナミックレンジの拡大率に応じた値に設定される。例えば、ダイナミックレンジの拡大率が２００％の場合には「ｔＳ＝ｔＬ／２」、４００％の場合には「ｔＳ＝ｔＬ／４」、８００％の場合には「ｔＳ＝ｔＬ／８」と設定される。また、ここで、第２受光素子群の露光開始タイミングｔ１は、任意の初期値に設定される。例えば、ｔ１＝ｔ０と設定される。
【００４９】
続いて、ＣＰＵ１７は、レリーズボタンの第２の押下操作（全押し）を検出すると（ステップＳ６：ＹＥＳ判定）、フラッシュ発光部１９によるフラッシュ発光の要否を判定し（ステップＳ７）、フラッシュ発光が必要である場合には（ステップＳ７：ＹＥＳ）、調光処理を行う（ステップＳ８）。一方、フラッシュ発光が不要で有る場合には（ステップＳ７：ＮＯ）、本撮影を実行する（ステップＳ９）。
【００５０】
ステップＳ８の調光処理を説明する図６において、ＣＰＵ１７が調光処理の開始を指示する指示信号を発光制御部１７ａに送出すると、発光制御部１７ａは、フラッシュ発光を伴わない非発光露光により撮影されフレームメモリ２２に記憶された画像データ（非発光時画像データ）を取得する（ステップＳ１１）。続いて、発光制御部１７ａは、フラッシュ発光部１９により予備発光を行って、予備発光露光により撮影されフレームメモリ２２に記憶された画像データ（予備発光時画像データ）を取得する（ステップＳ１２）。なお、ステップＳ１１及びＳ１２では、発光制御部１７ａは、長期間露光の第１受光素子群に対する非発光時の輝度値Ｙａ及び予備発光時の輝度値Ｙｂを取得する。
【００５１】
次いで、発光制御部１７ａは、取得した非発光時画像データ及び予備発光時画像データを複数のエリアに分割し、分割エリアごとに輝度値の差分値を算出する（ステップＳ１３）。図７は、画像データのエリア分割の一例を示し、画像データ（非発光時画像データまたは予備発光時画像データ）により表される画像を、ｉ×ｊ（ここでは、８×８）個のエリアに分割している。以下では、分割ブロックを、（１，１）、（ｉ，ｊ）といった符号により、区別する。
【００５２】
次いで、発光制御部１７ａは、非発光時画像データから分割エリアごとの非発光時の輝度値Ｙａ（１，１）〜Ｙａ（ｉ，ｊ）を取得する。例えば、非発光時画像データをＲＧＢ／ＹＣ変換して、各画素の輝度値を求め、画素輝度値の領域ごとの平均値を、非発光時の輝度値Ｙａとする。一方の予備発光時画像データについても、同様の手順により、各分割エリアの予備発光時の輝度値Ｙｂ（１，１）〜Ｙｂ（ｉ，ｊ）を取得する。
【００５３】
次いで、発光制御部１７ａは、分割エリアごとに、非発光時の輝度値Ｙａ（ｘ，ｙ）と予備発光時の輝度値Ｙｂ（ｘ，ｙ）との差分値Ｙｄ（ｘ，ｙ）（＝Ｙｂ（ｘ，ｙ）−Ｙａ（ｘ，ｙ））を算出する。この差分値Ｙｄ（ｘ，ｙ）は、被写体からのフラッシュ光の反射成分（反射輝度情報）を表している。
【００５４】
次いで、発光制御部１７ａは、全分割エリアの差分値Ｙｄ（１，１）〜Ｙｄ（ｉ，ｊ）に基づき、本撮影時におけるフラッシュ発光量を、予備発光の発光量の何倍とするか（発光倍率Ｈｍ）を算出する（ステップＳ１７）。例えば、差分値Ｙｄ（１，１）〜Ｙｄ（ｉ，ｊ）の単純平均値、あるいは、図８に示すように例えば画像の中央に近い分割エリアの重み付けを大きくして平均した加重平均Ｙｄｈ，Ｙａｈを算出し、目標輝度Ｙｏを用いて次式（１）により、発光倍率Ｈｍを算出する。
【００５５】
Ｈｍ＝（Ｙｏ−Ｙａｈ）／Ｙｄｈ ・・・（１）
【００５６】
次いで、発光制御部１７ａは、本撮影時のフラッシュ発光量Ｅｖを、発光倍率Ｈｍに基づいて、次式（２）により算出する（ステップＳ１５）。
【００５７】
Ｅｖ＝ｌｏｇ２Ｈｍ ・・・（２）
【００５８】
次いで、発光制御部１７ａは、算出した発光量Ｅｖに対する発光時間（前述の期間ｔＦ（タイミングｔ０を基準としたタイミングｔ２の値））を決定する（ステップＳ１６）。このタイミングｔ２の決定は、例えば、図９に示すように、各種発光量Ｅｖに対する発光時間を記憶したテーブルＬＵＴ１を用いて行う。例えば、発光量Ｅｖが２．０である場合、テーブルＬＵＴ１を参照して、タイミングｔ２は、３２．０μｓと決定される。
【００５９】
次いで、発光制御部１７ａは、第１及び第２受光素子群の露光期間の比（ｔＳ／ｔＬ）に基づいて、第２受光素子群の露光タイミング（タイミングｔ０を基準としたタイミングｔ１，ｔ３の値）を決定する（ステップＳ１７）。
【００６０】
ステップＳ１７において、期間ｔＦの発光量に対する期間ｔＦＰの発光量の割合が、露光期間の比ｔＳ／ｔＬと一致するようにタイミングｔ１が決定される。具体的には、上記テーブルＬＵＴ１を参照し、ステップＳ１５で求められた発光量Ｅｖの（１−ｔＳ／ｔＬ）倍の光量に対する発光時間を求め、この発光時間をタイミングｔ１とする。例えば、露光期間の比ｔＳ／ｔＬが「１／２」、ステップＳ１５で求められた発光量Ｅｖが「２．０」である場合、発光量Ｅｖの１／２倍の光量１．０に対する発光時間をテーブルＬＵＴ１から参照し、タイミングｔ１は１８．０μｓと決定される。そして、タイミングｔ１に露光期間ｔＳを加算した値をタイミングｔ３とする。
【００６１】
なお、ステップＳ１６及びＳ１７において、テーブルＬＵＴ１に記憶されていない発光量Ｅｖに対する発光時間を求める場合には、最も近い発光量Ｅｖに対する発光時間を参照するようにしてもよいが、より精度の高い処理が望まれる場合には、発光制御部１７ａに補間処理機能を設け、テーブルＬＵＴ１に記憶されていない発光量Ｅｖに対する発光時間を、補間演算により求めることが好ましい。
【００６２】
図５に戻り、ＣＰＵ１７は、フラッシュ撮影を行う場合には、以上の処理により決定されたタイミングｔ１〜ｔ４に基づき、フラッシュ発光部１９及び固体撮像素子１２を駆動し、本撮影を行う（ステップＳ９）。この結果、第１及び第２受光素子群が受光する光量がともに最適化されるため、デジタル信号処理部２４による合成処理後の画像データは、ダイナミックレンジの拡大率に対応した、広ダイナミックレンジの画像データとなる。
【００６３】
さらに、ＣＰＵ１７は、外部メモリ制御部２７を制御し、本撮影の結果得られた画像データを記録媒体２６に記録するとともに、本撮影で用いたタイミングｔ１〜ｔ４の値を、付加情報として、該画像データに関連付けて記録媒体２６に記録する（ステップＳ１０）。例えば、ＣＰＵ１７は、タイミングｔ１〜ｔ４の値を、ＪＰＥＧ形式の画像データに付加されるＥｘｉｆデータとして記録する。
【００６４】
（第２実施形態）
次に、本発明の第２実施形態として、フラッシュ発光の残光を考慮した調光処理の変形例を示す。フラッシュ発光部１９から発せられるフラッシュ光は、フラッシュ発光部１９に印加されるフラッシュ駆動パルスの終了とともに瞬時には消滅せず、図１０（Ａ）に示すように、タイミングｔ２におけるフラッシュ駆動パルスの停止後も残光が生じる。
【００６５】
このため、図９に示すテーブルＬＵＴ１を、フラッシュ発光の残光成分を考慮して、発光量と発光時間（タイミングｔ２）との関係を規定することにより、図６のステップＳ１６で決定されるタイミングｔ２は高精度となる。
【００６６】
一方、上記ステップＳ１７では、タイミングｔ１は、図１０（Ｂ）に示す領域Ａの光量が、発光量Ｅｖ（総発光量）のｔＳ／ｔＬの割合となるように決定される。この領域Ａの光量は、発光終了時間がタイミングｔ１の場合の発光量Ｅｖを、発光終了時間がタイミングｔ２の場合の発光量Ｅｖから減算した値に相当する。しかしながら、実際に、第２受光素子群の露光に係る光量は、タイミングｔ１以降の発光量（領域Ａと領域Ｂを加算したした光量）である。このため、第１実施形態では、第２受光素子群には、残光の影響により、領域Ｂに対応する光量（発光終了時間がタイミングｔ１の場合の残光成分）だけ、余分に露光が行われることになる。
【００６７】
本第２実施形態は、図６に示す調光処理のステップＳ１７の処理内容が相違する点以外は、第１実施形態と同一構成である。第２実施形態では、発光制御部１７ａは、図１１に示すテーブルＬＵＴ２を用いてタイミングｔ１，ｔ３を決定する。テーブルＬＵＴ２は、各種の露光期間の比ｔＳ／ｔＬ（３／４，１／２，１／４等）について、上記領域Ａ及び領域Ｂの加算光量が、総発光量（発光量Ｅｖ）のｔＳ／ｔＬの割合となるタイミングｔ１を、それぞれ記憶したものである。
【００６８】
タイミングｔ３は、第１実施形態と同様に、タイミングｔ１に露光期間ｔＳを加算した値とする。なお、テーブルＬＵＴ２に記憶されていない発光量Ｅｖまたは比ｔＳ／ｔＬに対するタイミングｔ１を求める場合には、前述の発光制御部１７ａの補間処理機能により、補間演算を行えばよい。
【００６９】
このように、本発明の第２実施形態によれば、フラッシュ発光の残光の影響が防止され、ダイナミックレンジの拡大率に正確に対応した、広ダイナミックレンジの画像データが生成される。
【００７０】
（第３実施形態）
次に、本発明の第３実施形態として、フラッシュ発光の残光の影響を防止可能な調光処理の別の変形例を示す。上記第１実施形態では、調光処理において、ステップＳ１１〜Ｓ１５の処理を第１受光素子群に対してのみ行い、この結果算出された本撮影用のフラッシュ発光量Ｅｖに基づいて発光時間（タイミングｔ２）を決定した後、ダイナミックレンジの拡大率に対応した露光期間の比ｔＳ／ｔＬに基づいて、第２受光素子群の露光タイミング（タイミングｔ１，ｔ３）を決定しているが、これに対して、第３実施形態では、ステップＳ１１〜Ｓ１５の処理を、第１及び第２受光素子群のそれぞれに対して行い、反射輝度情報に対応した発光量Ｅｖを第１及び第２受光素子群のそれぞれについて個別に求めることにより、発光時間（タイミングｔ２）と第２受光素子群の露光タイミング（タイミングｔ１，ｔ３）とをそれぞれ独立に決定する。つまり、第３実施形態では、第１受光素子群から得られる反射輝度情報に基づいてタイミングｔ２を決定し、これとは独立して第２受光素子群から得られる反射輝度情報に基づいてタイミングｔ１，ｔ３を決定する。その他の点については、第１実施形態と同一であるため、説明を省略する。
【００７１】
このように、本発明の第３実施形態によれば、タイミングｔ１，ｔ２をそれぞれ独立に決定することにより、第１及び第２受光素子群の露光量はそれぞれ個別に適正化されるため、前述したような残光による影響は防止される。
【００７２】
（第４実施形態）
次に、本発明の第４実施形態について説明する。上記第１実施形態では、フラッシュ発光期間に対して、短期間露光の第２受光素子群の露光期間を制御することにより、第２受光素子群の露光量を適正化しているが、逆に、第２受光素子群の露光期間に対して、フラッシュ発光期間を制御することにより、第２受光素子群の露光量を最適化することも可能である。
【００７３】
図１２は、第４実施形態において、広ダイナミックレンジモードにおいてフラッシュ撮影を行う場合の固体撮像素子１２及びフラッシュ発光部１９の駆動方法を示す。ＣＰＵ１７は、第１受光素子群の露光期間ｔＬと第２受光素子群の露光期間ｔＳとを同一の時点（タイミングｔ４）で終了させるように固体撮像素子１２の駆動を制御するとともに、フラッシュ発光のタイミングｔ１，ｔ３を、短露光側の露光期間ｔＳ（タイミングｔ２からｔ４）に対して調整する。
【００７４】
図１３は、第４実施形態の調光処理を示す。ステップＳ２１〜Ｓ２５については、第１実施形態で説明したステップＳ１１〜Ｓ１５と同一の処理であるので説明を省略する。ステップＳ２６において、発光制御部１７ａは、ステップＳ２５で算出した発光量Ｅｖに対する発光時間ｔＦを決定する。この発光時間ｔＦの決定は、前述のテーブルＬＵＴ１を用いて行う。
【００７５】
次いで、発光制御部１７ａは、第１及び第２受光素子群の露光期間の比（ｔＳ／ｔＬ）に基づき、期間ｔＦ（タイミングｔ１からｔ３）の発光量に対する期間ｔＦＰ（タイミングｔ２からｔ３）の発光量の割合が、露光期間の比ｔＳ／ｔＬと一致するように、第２受光素子群の露光開始タイミングｔ２に対するフラッシュ発光のタイミングｔ１，ｔ３を決定する（ステップＳ２７）。このタイミングｔ１，ｔ３は、第１実施形態と同様な方法で決定することができる。なお、タイミングｔ１，ｔ３は、第２実施形態や、第３実施形態の方法を用いて決定することも可能である。
【００７６】
（第５実施形態）
次に、本発明の第５実施形態について説明する。第５実施形態では、図１４に示すように、撮影レンズ１１の前方にメカニカルシャッタ５０を配置し、このメカニカルシャッタ５０を駆動するシャッタ駆動部５１を設け、ＣＰＵ１７がシャッタ駆動部５１を介してメカニカルシャッタ５０を駆動することにより、第１及び第２受光素子群の露光期間ｔＬ，ｔＳの終了タイミングｔ４を規定する点が上記第４実施形態と異なる。
【００７７】
具体的には、図１５に示すように、メカニカルシャッタ５０を開放した状態で、電子シャッタパルスφＳＵＢの印加を停止することにより、第１受光素子群の露光を開始し（タイミングｔ０）、この後、垂直転送電極Ｖ１，Ｖ５に読み出しパルスを印加することにより、第２受光素子群の露光を開始する（タイミングｔ２）。そして、期間ｔＳの経過時にメカシャッタ５０を閉じることにより、第１及び第２受光素子群の露光を終了させる（タイミングｔ４）。なお、フラッシュ発光は、上記第４実施形態で説明したタイミングｔ１，ｔ３で行う。
【００７８】
メカニカルシャッタ５０を閉状態とした後、高周波数の垂直転送パルスφＶ１〜φＶ８及び水平転送パルスφＨ１，φＨ２を印加することにより、ＶＣＣＤ４１内の蓄積電荷（不要電荷）を高速に掃き捨てる（高速Ｖ転送）。この後、垂直転送電極Ｖ３，Ｖ７及び垂直転送電極Ｖ１，Ｖ５に読み出しパルスを印加し、第１及び第２受光素子群の蓄積電荷（信号電荷）をＶＣＣＤ４１に読み出す。そして、ＶＣＣＤ４１に読み出した信号電荷を垂直転送及び水平転送し、撮像信号として出力部４３から出力させる。
【００７９】
このように、第５実施形態では、ＶＣＣＤ４１への信号電荷の読み出しの直前に、ＶＣＣＤ４１の不要電荷を掃き捨てるため、スミアの発生が防止される。また、上記第４実施形態のように、短露光期間ｔＳ中に高速Ｖ転送が介在しないため、短露光期間ｔＳを、高速Ｖ転送に要する時間以下とすることが可能である。
【００８０】
なお、上記第１〜第５実施形態では、固体撮像素子１２としてＣＣＤ型イメージセンサを用いているが、固体撮像素子としては、露光期間を独立して制御可能な第１受光素子と第２受光素子とを一対として複数配列したものであればよく、ＣＭＯＳ型イメージセンサ等を用いることも可能である。
【符号の説明】
【００８１】
１０ デジタルカメラ
１２ 固体撮像素子
１７ ＣＰＵ
１７ａ 発光制御部
１７ｂ 焦点調節部
１７ｃ 露出調整部
１９ フラッシュ発光部
２４ デジタル信号処理部
２６ 記録媒体
２７ 外部メモリ制御部
４０ 受光素子
４１ 垂直電荷転送部
４２ 水平電荷転送部
５０ メカニカルシャッタ
Ｖ１〜Ｖ８ 垂直転送電極
Ｒ１，Ｇ１，Ｂ１ 第１受光素子群
Ｒ２，Ｇ２，Ｂ２ 第２受光素子群
【特許請求の範囲】
【請求項１】
フラッシュ光を発するフラッシュ発光手段と、
露光期間をそれぞれ独立に制御可能な第１受光素子と第２受光素子とが対となって複数配列され、前記第１受光素子の第１露光期間中に、前記第１露光期間より短い第２露光期間で前記第２受光素子の露光を行うことを可能とする撮像手段と、
前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記フラッシュ発光手段のフラッシュ発光期間と前記第２露光期間との相対的なタイミング関係を制御する制御手段と、
前記第１及び第２受光素子の出力信号を合成して画像データを生成する信号処理手段と、
を備えたことを特徴とする撮影装置。
【請求項２】
前記制御手段は、前記フラッシュ発光期間を前記第１露光期間に同期させ、前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記フラッシュ発光期間に対する前記第２露光期間のタイミングを制御することを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記制御手段は、前記フラッシュ発光期間と前記第１露光期間の開始時間を同時とすることを特徴とする請求項２に記載の撮影装置。
【請求項４】
前記制御手段は、前記第２露光期間を前記第１露光期間に同期させ、前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記第２露光期間に対する前記フラッシュ発光期間のタイミングを制御することを特徴とする請求項１に記載の撮影装置。
【請求項５】
前記制御手段は、前記第１露光期間と前記第２露光期間の終了時間を同時とすることを特徴とする請求項４に記載の撮影装置。
【請求項６】
前記制御手段は、前記フラッシュ発光手段に予備発光を行わせ、前記撮像手段により検出されるフラッシュ光の反射輝度情報に基づいて本撮影用の発光量を算出し、算出した発光量に基づいて前記フラッシュ光の発光時間を決定することを特徴とする請求項１から５いずれか１項に記載の撮影装置。
【請求項７】
前記制御手段は、前記発光量に対する発光時間を、複数の前記発光量について記憶した第１テーブルを備え、
前記第１テーブルを参照することにより、前記発光時間を決定し、前記第１及び第２露光期間の比率に基づき、前記フラッシュ発光期間と前記第２露光期間との相対的なタイミング関係を決定することを特徴とする請求項６に記載の撮影装置。
【請求項８】
前記制御手段は、前記第１テーブルに記憶されていない発光量に対する発光時間を、補間演算により算出することを特徴とする請求項７に記載の撮影装置。
【請求項９】
前記制御手段は、前記第１露光期間中の発光量に対する前記第２露光期間中の発光量の割合が、前記第１及び第２露光期間の比率となる前記タイミング関係を、複数の前記比率について記憶した第２テーブルをさらに備え、
前記第２テーブルを参照することにより、前記比率に対応した前記タイミング関係を決定することを特徴とする請求項７または８に記載の撮影装置。
【請求項１０】
前記制御手段は、前記第２テーブルに記憶されていない前記比率に対する前記タイミング関係を、補間演算により算出することを特徴とする請求項９に記載の撮影装置。
【請求項１１】
前記制御手段は、前記第１受光素子から得られる前記反射輝度情報に基づいて前記発光時間を決定し、前記第２受光素子から得られる前記反射輝度情報に基づいて前記タイミング関係を決定することを特徴とする請求項６に記載の撮影装置。
【請求項１２】
前記フラッシュ発光期間及び前記タイミング関係の決定値を、前記画像データに対応づけて記録する記録手段を備えたことを特徴とする請求項１から１１いずれか１項に記載の撮影装置。
【請求項１３】
前記第１受光素子は、行方向とこれに直交する列方向とに正方格子状に配列され、前記第２受光素子は、行方向とこれに直交する列方向とに正方格子状に配列されており、前記第１受光素子と前記第２受光素子とは、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずらして配列されていることを特徴とする請求項１から１２いずれか１項に記載の撮影装置。
【請求項１４】
前記撮像手段には、前記第１受光素子に対応して赤、緑、青のカラーフィルタがベイヤー配列され、かつ、前記第２受光素子に対応して赤、緑、青のカラーフィルタがベイヤー配列されていることを特徴とする請求項１３に記載の撮影装置。
【請求項１５】
前記撮像手段は、前記第１受光素子が配列された列と、前記第２受光素子が配列された列とに沿って配列され、前記第１及び第２受光素子に蓄積された信号電荷を読み出して列方向に転送する垂直電荷転送部と、前記垂直電荷転送部からの信号電荷を行方向に転送する水平電荷転送部とを備えたＣＣＤ型の固体撮像素子であることを特徴とする請求項１４に記載の撮影装置。
【請求項１６】
フラッシュ光を発するフラッシュ発光手段と、露光期間をそれぞれ独立に制御可能な第１受光素子と第２受光素子とが対となって複数配列され、前記第１受光素子の第１露光期間中に、前記第１露光期間より短い第２露光期間で前記第２受光素子の露光を行うことを可能とする撮像手段と、前記第１及び第２受光素子の出力信号を合成して画像データを生成する信号処理手段とを備えた撮影装置の制御方法において、
前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記フラッシュ発光手段のフラッシュ発光期間と前記第２露光期間との相対的なタイミング関係を制御することを特徴とする撮影装置の制御方法。
【請求項１】
フラッシュ光を発するフラッシュ発光手段と、
露光期間をそれぞれ独立に制御可能な第１受光素子と第２受光素子とが対となって複数配列され、前記第１受光素子の第１露光期間中に、前記第１露光期間より短い第２露光期間で前記第２受光素子の露光を行うことを可能とする撮像手段と、
前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記フラッシュ発光手段のフラッシュ発光期間と前記第２露光期間との相対的なタイミング関係を制御する制御手段と、
前記第１及び第２受光素子の出力信号を合成して画像データを生成する信号処理手段と、
を備えたことを特徴とする撮影装置。
【請求項２】
前記制御手段は、前記フラッシュ発光期間を前記第１露光期間に同期させ、前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記フラッシュ発光期間に対する前記第２露光期間のタイミングを制御することを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記制御手段は、前記フラッシュ発光期間と前記第１露光期間の開始時間を同時とすることを特徴とする請求項２に記載の撮影装置。
【請求項４】
前記制御手段は、前記第２露光期間を前記第１露光期間に同期させ、前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記第２露光期間に対する前記フラッシュ発光期間のタイミングを制御することを特徴とする請求項１に記載の撮影装置。
【請求項５】
前記制御手段は、前記第１露光期間と前記第２露光期間の終了時間を同時とすることを特徴とする請求項４に記載の撮影装置。
【請求項６】
前記制御手段は、前記フラッシュ発光手段に予備発光を行わせ、前記撮像手段により検出されるフラッシュ光の反射輝度情報に基づいて本撮影用の発光量を算出し、算出した発光量に基づいて前記フラッシュ光の発光時間を決定することを特徴とする請求項１から５いずれか１項に記載の撮影装置。
【請求項７】
前記制御手段は、前記発光量に対する発光時間を、複数の前記発光量について記憶した第１テーブルを備え、
前記第１テーブルを参照することにより、前記発光時間を決定し、前記第１及び第２露光期間の比率に基づき、前記フラッシュ発光期間と前記第２露光期間との相対的なタイミング関係を決定することを特徴とする請求項６に記載の撮影装置。
【請求項８】
前記制御手段は、前記第１テーブルに記憶されていない発光量に対する発光時間を、補間演算により算出することを特徴とする請求項７に記載の撮影装置。
【請求項９】
前記制御手段は、前記第１露光期間中の発光量に対する前記第２露光期間中の発光量の割合が、前記第１及び第２露光期間の比率となる前記タイミング関係を、複数の前記比率について記憶した第２テーブルをさらに備え、
前記第２テーブルを参照することにより、前記比率に対応した前記タイミング関係を決定することを特徴とする請求項７または８に記載の撮影装置。
【請求項１０】
前記制御手段は、前記第２テーブルに記憶されていない前記比率に対する前記タイミング関係を、補間演算により算出することを特徴とする請求項９に記載の撮影装置。
【請求項１１】
前記制御手段は、前記第１受光素子から得られる前記反射輝度情報に基づいて前記発光時間を決定し、前記第２受光素子から得られる前記反射輝度情報に基づいて前記タイミング関係を決定することを特徴とする請求項６に記載の撮影装置。
【請求項１２】
前記フラッシュ発光期間及び前記タイミング関係の決定値を、前記画像データに対応づけて記録する記録手段を備えたことを特徴とする請求項１から１１いずれか１項に記載の撮影装置。
【請求項１３】
前記第１受光素子は、行方向とこれに直交する列方向とに正方格子状に配列され、前記第２受光素子は、行方向とこれに直交する列方向とに正方格子状に配列されており、前記第１受光素子と前記第２受光素子とは、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずらして配列されていることを特徴とする請求項１から１２いずれか１項に記載の撮影装置。
【請求項１４】
前記撮像手段には、前記第１受光素子に対応して赤、緑、青のカラーフィルタがベイヤー配列され、かつ、前記第２受光素子に対応して赤、緑、青のカラーフィルタがベイヤー配列されていることを特徴とする請求項１３に記載の撮影装置。
【請求項１５】
前記撮像手段は、前記第１受光素子が配列された列と、前記第２受光素子が配列された列とに沿って配列され、前記第１及び第２受光素子に蓄積された信号電荷を読み出して列方向に転送する垂直電荷転送部と、前記垂直電荷転送部からの信号電荷を行方向に転送する水平電荷転送部とを備えたＣＣＤ型の固体撮像素子であることを特徴とする請求項１４に記載の撮影装置。
【請求項１６】
フラッシュ光を発するフラッシュ発光手段と、露光期間をそれぞれ独立に制御可能な第１受光素子と第２受光素子とが対となって複数配列され、前記第１受光素子の第１露光期間中に、前記第１露光期間より短い第２露光期間で前記第２受光素子の露光を行うことを可能とする撮像手段と、前記第１及び第２受光素子の出力信号を合成して画像データを生成する信号処理手段とを備えた撮影装置の制御方法において、
前記第１及び第２受光素子が、前記第１及び第２露光期間の比率に対応する光量をそれぞれ受光するように、前記フラッシュ発光手段のフラッシュ発光期間と前記第２露光期間との相対的なタイミング関係を制御することを特徴とする撮影装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−５５３２７（Ｐ２０１１−５５３２７Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０３４８６（Ｐ２００９−２０３４８６）
【出願日】平成２１年９月３日（２００９．９．３）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月３日（２００９．９．３）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]