撮像装置、撮像システム、撮像方法
【課題】画像処理の負荷を大きくすることなく自然な動きの広ダイナミックレンジの画像データを合成可能な撮像を行い得る撮像装置等を提供する。
【解決手段】長時間露光ＬＥと短時間露光ＳＥとを交互に繰り返す撮像を行う撮像装置において、ＳＥにおける画素の露光終了時刻とその直後のＬＥにおける画素の露光開始時刻との第１の時間間隔と、ＬＥにおける画素の露光終了時刻とその直後のＳＥにおける画素の露光開始時刻との第２の時間間隔と、を等しく時間間隔ｅとする第１の駆動モードで撮像素子を駆動する撮像装置。
【解決手段】長時間露光ＬＥと短時間露光ＳＥとを交互に繰り返す撮像を行う撮像装置において、ＳＥにおける画素の露光終了時刻とその直後のＬＥにおける画素の露光開始時刻との第１の時間間隔と、ＬＥにおける画素の露光終了時刻とその直後のＳＥにおける画素の露光開始時刻との第２の時間間隔と、を等しく時間間隔ｅとする第１の駆動モードで撮像素子を駆動する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、長時間露光と短時間露光とを交互に繰り返すことにより広ダイナミックレンジの画像データを合成可能な撮像を行う撮像装置、撮像システム、撮像方法に関する。
【背景技術】
【０００２】
近年、短時間露光（ＳＥ：Short Exposure）と長時間露光（ＬＥ：Long Exposure）とを行って露光時間が異なる２枚の画像を取得し、得られた２枚の画像を合成することにより広ダイナミックレンジの静止画像を得るようにしたデジタルカメラが提案され、市販されている。
【０００３】
このような広ダイナミックレンジ画像を、動画像について得るための提案も、近年種々なされている。
【０００４】
例えば、特開２００３−４６８５７号公報には、撮像時間を長短に変化させた画像列から広ダイナミックレンジ画像を合成する技術が記載されている。
【０００５】
こうした従来の広ダイナミックレンジ動画像を取得するための撮像の流れについて、図７および図８を参照して説明する。ここに、図７は移動している被写体の一例を示す図、図８は広ダイナミックレンジ動画像を撮像するときの各信号の様子を示すタイミングチャートである。
【０００６】
撮像タイミングの基準となる垂直同期信号ＶＤは、一定の垂直同期期間ｘ毎のパルスとして出力される。
【０００７】
撮像素子から画像データを読み出すタイミングを規定する読出開始パルスは、ＳＥ画像とＬＥ画像との何れについても、垂直同期信号ＶＤが出力されてから予め設定された一定時間ｙだけ経過した後に出力される。この読出開始パルスが出力されると、撮像素子の例えば第１ライン目から順に画像データが順次出力され始める。そして、読出開始パルスが出力されてから時間ｄだけ経過した後に、最後のラインの画像データが出力され、読み出しが終了する。
【０００８】
このように画像読み出しのタイミングは垂直同期信号ＶＤに従って予め定められているために、露光時間の制御は、読み出しタイミングから露光時間だけ遡った時点を電子シャッタｅｓの走行タイミングとすることにより行われる。すなわち、ＳＥは、読出開始パルスからＳＥ時間ｂ（ただし、ｂ＜ｘ）だけ遡った時点で電子シャッタ開始パルスを発生させることにより行われる。同様に、ＬＥは、読出開始パルスからＬＥ時間ｃ（ただし、ｂ＜ｃ＜ｘ）だけ遡った時点で電子シャッタ開始パルスを発生させることにより行われる。
【０００９】
このようなタイミングで露光を行うと、任意のラインについて、ＳＥ期間が終了してからＬＥ期間が開始されるまでの間の露光間隔時間はｘ−ｃ、ＬＥ期間が終了してからＳＥ期間が開始されるまでの間の露光間隔時間はｘ−ｂとなり、一致しない。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−４６８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
このために、例えば図７に示すような、静止する背景の下に画面左側から右側へ向かって一定の速度で移動する被写体を撮像して、時間的に隣接するＳＥ画像とＬＥ画像とを合成することにより垂直同期信号ＶＤの周期に対応するフレームレートの合成画像を得る場合において、合成処理として処理負荷の小さい単純加算等を採用すると、図８に示すように、合成画像における被写体の移動量が１フレーム毎に異なってしまい、円滑でない不自然な動きとして観察されてしまうことになる。
【００１２】
一方、より自然な動きに近付けるように予測演算等を行って画像を合成する場合には、画像処理自体が複雑になるだけでなく、時間的に先行するＳＥ画像と時間的に後続するＬＥ画像とを合成するための画像処理アルゴリズムと、時間的に先行するＬＥ画像と時間的に後続するＳＥ画像とを合成するための画像処理アルゴリズムとを異ならせる必要が生じ、画像処理がさらに複雑となって処理負荷が大きくなってしまう。
【００１３】
本発明は上記事情に鑑みてなされたものであり、画像処理の負荷を大きくすることなく自然な動きの広ダイナミックレンジの画像データを合成可能な撮像を行うことができる撮像装置、撮像システム、撮像方法を提供することを目的としている。
【課題を解決するための手段】
【００１４】
上記の目的を達成するために、本発明の第１の態様による撮像装置は、長時間露光と短時間露光とを交互に繰り返すことにより、広ダイナミックレンジの画像データを合成可能な撮像を行う撮像装置において、複数の画素が配列された撮像素子と、短時間露光における画素の露光終了時刻とその直後の長時間露光における該画素の露光開始時刻との第１の時間間隔と、該長時間露光における該画素の露光終了時刻とその直後の短時間露光における該画素の露光開始時刻との第２の時間間隔と、を等しく時間間隔ｅとする第１の駆動モードで上記撮像素子を駆動するタイミング制御部と、を具備したものである。
【００１５】
また、本発明の第２の態様による撮像システムは、上記撮像装置と、該撮像装置による相前後するタイミングの長時間露光と短時間露光とにより得られた２つの画像データを処理して広ダイナミックレンジの画像データを合成する合成処理部と、を具備したものである。
【００１６】
さらに、本発明の第３の態様による撮像方法は、長時間露光と短時間露光とを交互に繰り返すことにより、広ダイナミックレンジの画像データを合成可能な撮像を行う撮像方法において、複数の画素が配列された撮像素子により長時間露光を行うステップと、上記撮像素子により短時間露光を行うステップと、を有し、タイミング制御部が前記撮像素子を駆動することにより、短時間露光における画素の露光終了時刻とその直後の長時間露光における該画素の露光開始時刻との第１の時間間隔と、該長時間露光における該画素の露光終了時刻とその直後の短時間露光における該画素の露光開始時刻との第２の時間間隔と、を等しく時間間隔ｅとする第１の駆動モードで、前記長時間露光を行うステップと前記短時間露光を行うステップとを交互に繰り返す方法である。
【発明の効果】
【００１７】
本発明の撮像装置、撮像システム、撮像方法によれば、画像処理の負荷を大きくすることなく自然な動きの広ダイナミックレンジの画像データを合成可能な撮像を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態１において、撮像装置の構成の一例を示すブロック図。
【図２】上記実施形態１において、撮像装置と外部合成処理部とを組み合わせた撮像システムの構成例を示すブロック図。
【図３】上記実施形態１において、第１の駆動モードで広ダイナミックレンジ動画像を撮像するときの各信号の様子を示すタイミングチャート。
【図４】上記実施形態１において、ダイナミックレンジ拡大撮像モードにおける撮像装置の処理を示すフローチャート。
【図５】本発明の実施形態２において、第１の駆動モードで広ダイナミックレンジ動画像を撮像するときの各信号の様子を示すタイミングチャート。
【図６】上記実施形態２において、ダイナミックレンジ拡大撮像モードにおける撮像装置の処理を示すフローチャート。
【図７】移動している被写体の一例を示す図。
【図８】従来、および本発明の各実施形態における第２の駆動モードに係る、広ダイナミックレンジ動画像を撮像するときの各信号の様子を示すタイミングチャート。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００２０】
図１から図４は本発明の実施形態１を示したものであり、図１は撮像装置の構成の一例を示すブロック図である。
【００２１】
図１に示す撮像装置は、レンズ１と、撮像素子２と、同期信号生成部３と、駆動部４と、合成処理部５と、画像処理部６と、記録部７と、表示部８と、指示部９と、システム制御部１０と、を備えている。なお、本実施形態においては、撮像装置がデジタルカメラとして構成されているものとして説明を行うが、勿論、これに限るものではなく、デジタルビデオカメラや撮影機能付きの携帯電話など、動画表示や動画撮影の機能を備える各種の機器に広く適用することができる。
【００２２】
レンズ１は、光学的な被写体像を撮像素子２の撮像面上に結像するための撮影光学系であり、絞りやフォーカスレンズ等を含んで構成されている。
【００２３】
撮像素子２は、複数の画素が配列された撮像面を備え、レンズ１により結像された光学的な被写体像を光電変換して電気的な画像信号を生成するものである。ここに、撮像素子２は、画素単位やライン単位で画素リセットを順次行うことができるようなものとなっている。この撮像素子２の具体例としては、ＣＭＯＳ撮像素子等のＸＹアドレス型撮像素子を挙げることができるが、これに限定されるものではない。
【００２４】
同期信号生成部３は、システム制御部１０の制御の下に、垂直同期信号ＶＤ（図３を参照）を生成するものである。
【００２５】
駆動部４は、システム制御部１０の制御の下に、同期信号生成部３によって生成された垂直同期信号ＶＤに基づき、読出開始パルスや電子シャッタ開始パルスを発生して撮像素子２を駆動するものである。
【００２６】
画像処理部６は、撮像素子２により撮像されて読み出された画像信号に各種の画像処理を施すものであり、合成処理部５を含んで構成されている。ここに、合成処理部５は、交互に繰り返して行われる短時間露光（ＳＥ：Short Exposure）および長時間露光（ＬＥ：Long Exposure）の内の、相前後するタイミングのＳＥとＬＥとにより得られた２つの画像データを処理して１フレームの広ダイナミックレンジの画像データを合成することを、各フレームについて行うものである。
【００２７】
記録部７は、撮影され画像処理部６により記録用に処理された画像データを不揮発に記憶するものであり、例えばメモリカードなどの撮像装置の外部に搬出し得るリムーバブルメモリとして構成されている。従って、記録部７は、撮像装置に固有の構成でなくても構わない。
【００２８】
表示部８は、撮影され画像処理部６により表示用に処理された画像や、この撮像装置の操作に係るメニューの表示などを行う表示デバイスである。
【００２９】
指示部９は、この撮像装置に対する操作入力を行うためのユーザーインタフェースであり、電源のオン／オフを指示するための電源ボタンや撮影開始を指示するための撮影ボタン、ダイナミックレンジ拡大撮像モードに設定するための撮像モード設定ボタン、その他各種の設定ボタンなどが含まれている。
【００３０】
システム制御部１０は、指示部９から入力されたユーザーからの指示や、画像処理部６から得られる撮像された被写体に係る情報（例えばＡＦ情報やＡＥ情報、被写体のダイナミックレンジに係る情報など）等に基づいて、この撮像装置全体の制御を行うものである。例えば、システム制御部１０は、ＡＥ情報や被写体のダイナミックレンジに係る情報に基づいて、ＳＥ時間ｂおよびＬＥ時間ｃ（図３等参照）を決定し、同期信号生成部３や駆動部４、合成処理部５を制御して、広ダイナミックレンジの画像データを生成させる。また、システム制御部１０は、ライブビュー（ＬＶ）表示を行っている最中に、指示部９から静止画像の撮影指示が入力されると、ＡＦ情報やＡＥ情報などを高速に取得するために、撮像フレームレートを高くするように同期信号生成部３や駆動部４の制御を行うことができるようになっている。従って、システム制御部１０、同期信号生成部３、および駆動部４が、タイミング制御部を構成している。
【００３１】
また、図２は撮像装置と外部合成処理部とを組み合わせた撮像システムの構成例を示すブロック図である。
【００３２】
この図２に示す構成は、合成処理部を、撮像装置内に設ける代わりに、撮像装置の外部に設けるようにしたものである。
【００３３】
すなわち、図２の構成例では、画像処理部６は合成処理部５を備えておらず、撮像装置の外部に外部合成処理部１５が設けられている。この外部合成処理部１５の例としては、合成処理プログラムを実行するコンピュータなどが挙げられる。
【００３４】
そして、ＬＥおよびＳＥを交互に繰り返して行うことにより得られた画像データが、図示しない通信回線や記録部７等を介して外部合成処理部１５へ伝達され、外部合成処理部１５において、相前後するタイミングのＳＥとＬＥとにより得られた２つの画像データを処理して１フレームの広ダイナミックレンジの画像データを合成することが、各フレームについて行われる。
【００３５】
次に、図３は第１の駆動モードで広ダイナミックレンジ動画像を撮像するときの各信号の様子を示すタイミングチャートである。
【００３６】
システム制御部１０は、通常のＬＶ表示を行うときであるのか、あるいはＡＦ情報やＡＥ情報などを高速に取得するために撮像データを得るときであるのか、などの状況に応じて、単位時間に垂直同期信号ＶＤが発生される数である撮像フレームレートを設定する。この撮像フレームレートは、画像処理部６が生成する動画像のフレームレートともなる。このとき、設定した撮像フレームレートにおける２フレーム分の時間、つまり、ＳＥとＬＥとが１回ずつ行われる時間であって、連続する３つの垂直同期信号ＶＤによって定まる連続する２つの垂直同期期間の合計期間（本実施形態においては、垂直同期信号ＶＤの２つの異なる周期を加算したもの）をａとする。
【００３７】
また、システム制御部１０は、ＡＥ情報や被写体のダイナミックレンジに係る情報に基づいて、ＳＥ時間ｂとＬＥ時間ｃとを、ｂ＋ｃ＜ａの制限の下に設定する。
【００３８】
そして、システム制御部１０は、垂直同期信号ＶＤの発生からＳＥにおける画素の信号の読み出しを開始するまで（読出開始パルスの発生まで）の時間と、垂直同期信号ＶＤの発生からＬＥにおける画素の信号の読み出しを開始するまで（読出開始パルスの発生まで）の時間との両方を、クロック単位で計り得る正の値として予め設定された一定時間ｙに設定する。
【００３９】
この制限の下に、システム制御部１０は、ＳＥにおける画素の露光終了時刻とその直後のＬＥにおける画素の露光開始時刻との第１の時間間隔と、ＬＥにおける画素の露光終了時刻とその直後のＳＥにおける画素の露光開始時刻との第２の時間間隔と、を等しくする時間間隔ｅを、次の数式１
［数１］
ｅ＝（ａ−ｂ−ｃ）／２
に基づいて求める。なお、上述したようにｂ＋ｃ＜ａの制限を課しているために、この時間間隔ｅは正の値（実際には、クロック単位で計り得る正の値に設定される）であることが保証される。
【００４０】
そして、ＬＥに係る垂直同期期間ｘ１を次の数式２
［数２］
ｘ１＝ｅ＋ｃ＝（ａ−ｂ＋ｃ）／２
に示すように設定するとともに、ＳＥに係る垂直同期期間ｘ２を次の数式３
［数３］
ｘ２＝ａ−ｘ１＝（ａ＋ｂ−ｃ）／２
に示すように設定する。
【００４１】
そして、図３に示すように、システム制御部１０は、同期信号生成部３を制御することにより、垂直同期期間が交互にｘ１，ｘ２となるように垂直同期信号ＶＤを発生させるとともに、駆動部４を制御することにより、垂直同期信号ＶＤが発生されてから一定時間ｙが経過したところで読出開始パルスを発生させる。
【００４２】
例えば、図３に示すように、垂直同期期間ｘ１の開始タイミングを示す垂直同期信号ＶＤが発生されてから一定時間ｙが経過すると、駆動部４から読出開始パルスが発生され、ＳＥ画像データの読み出しが開始されて、例えばライン単位で順に行われる（つまり、ＳＥの終了が例えばライン単位で順に行われる）。なお、ＳＥの終了が最初のラインについて行われる時点からＳＥ時間ｂだけ遡った時点が、ＳＥの開始が該最初のラインについて行われる時点となる（ひいては、任意のラインについて、ＳＥ画像データの読み出しが行われる時点から露光時間ｂだけ遡った時点が、図３において点線で示すような画素リセットによる電子シャッタｅｓが行われる時点となる）。また、画像データの読み出しが開始されてから終了するまでの時間は、撮像素子２の読み出し速度や、読み出すライン数などによって異なるが、ここではｄとして図示している。
【００４３】
次に、ＳＥ画像データの読み出しが終了したラインについては、ＬＥ画像の電荷蓄積を開始することが可能である。そこで、システム制御部１０が駆動部４を制御することにより、ＳＥに係る読出開始パルスが発生された時点から上述した時間間隔ｅが経過した時点で、電子シャッタ開始パルスを発生させる。電子シャッタの走行特性は、画像データ読み出しの走行特性に一致するように予め設定されているために、これにより、任意のラインについて、ＳＥ画像データの読み出しが終了してから上述した時間間隔ｅが経過した時点で、ＬＥ画像の電荷蓄積を開始するための画素リセットによる電子シャッタｅｓが行われる。
【００４４】
その後、垂直同期期間ｘ２の開始タイミングを示す垂直同期信号ＶＤが発生されてから一定時間ｙが経過すると、駆動部４から読出開始パルスが発生され、ＬＥ画像データの読み出しが例えばライン単位で順に行われる。そして、このようなタイミングでＬＥの開始と終了とを行うと、ＬＥ時間は上述したようなｃとなる。
【００４５】
続いて、ＬＥ画像データの読み出しが終了したラインについては、ＳＥ画像の電荷蓄積を開始することが可能である。そこで、システム制御部１０が駆動部４を制御することにより、ＬＥに係る読出開始パルスが発生された時点から上述した時間間隔ｅが経過した時点で、電子シャッタ開始パルスを発生させる。これにより、任意のラインについて、ＬＥ画像データの読み出しが終了してから上述した時間間隔ｅが経過した時点で、ＳＥ画像の電荷蓄積を開始するための画素リセットによる電子シャッタｅｓが行われる。
【００４６】
そして、垂直同期期間ｘ１の開始タイミングを示す垂直同期信号ＶＤが発生されてから一定時間ｙが経過すると、駆動部４から読出開始パルスが発生され、ＳＥ画像データの読み出しが例えばライン単位で順に行われる。そして、このようなタイミングでＳＥの開始と終了とを行うと、ＳＥ時間は上述したようなｂとなる。
【００４７】
その後も同様に、垂直同期期間が交互にｘ１，ｘ２となるように垂直同期信号ＶＤを発生させ、垂直同期信号ＶＤが発生されてから一定時間ｙが経過したところで読出開始パルスを発生させ、読出開始パルスが発生されてから時間間隔ｅが経過した時点で電子シャッタ開始パルスを発生させるタイミング制御により撮像素子２が駆動される。
【００４８】
次に、本実施形態の撮像装置は、図３に示したような第１の駆動モードに加えて、さらに、図８に示したような従来と同様の第２の駆動モード、すなわち、ＳＥに係る垂直同期信号ＶＤの周期とＬＥに係る垂直同期信号ＶＤの周期との何れについても一定周期（垂直同期期間ｘ）とする制限と、垂直同期信号ＶＤの発生からＳＥにおける画素の信号の読み出しを開始するまでの時間と、垂直同期信号ＶＤの発生からＬＥにおける画素の信号の読み出しを開始するまでの時間との両方を予め設定された一定時間ｙにする制限と、の双方を満たす第２の駆動モードでも撮像素子２を駆動可能となっている。
【００４９】
そこで、２種類の駆動モードを使い分けながら広ダイナミックレンジ動画像を撮像するときの処理の流れを、図４を参照して説明する。ここに、図４は、ダイナミックレンジ拡大撮像モードにおける撮像装置の処理を示すフローチャートである。
【００５０】
ダイナミックレンジ拡大撮像モードが設定された状態で電源ボタンにより電源がオンされるか、または電源がオンされているときに撮像モード設定ボタンが操作されてダイナミックレンジ拡大撮像モードが設定されると、このダイナミックレンジ拡大撮像モードの処理が開始される。
【００５１】
するとまず、システム制御部１０が、上述したように撮像フレームレート（この撮像フレームレートに対応する垂直同期期間は、図３に示した平均垂直同期期間ａ／２、または図８に示した垂直同期期間ｘ）を設定する（ステップＳ１）。
【００５２】
次に、システム制御部１０が、ＡＥ情報や被写体のダイナミックレンジに係る情報に基づいて、ＳＥ時間ｂとＬＥ時間ｃとを設定する（ステップＳ２）。
【００５３】
続いて、システム制御部１０は、ステップＳ１において設定した撮像フレームレートが、予め設定された所定レート以上であるか否かを判定する（ステップＳ３）。ここに、出願人が実験を行ったところ、撮像フレームレートが例えば１２０ｆｐｓ以上である場合には、図８に示したような第２の駆動モードで撮像素子２を駆動したときでも、すなわち、ＳＥの露光終了時刻とその直後のＬＥの露光開始時刻との第１の時間間隔と、ＬＥの露光終了時刻とその直後のＳＥの露光開始時刻との第２の時間間隔と、が等しくないときでも、合成される広ダイナミックレンジ動画像の不自然さは目立たないことが分かった。そこで、この所定レートは、第２の駆動モードで撮像素子２を駆動したときに、合成される広ダイナミックレンジ動画像の不自然さが目立つか目立たなくなるかを区分けする閾値となっていて、一例の値は上述したように１２０ｆｐｓである。
【００５４】
ここで、撮像フレームレートが所定レート未満である場合には、さらにシステム制御部１０は、ステップＳ２において設定したＬＥ時間ｃが予め設定された所定時間以上であるか否かを判定する（ステップＳ４）。
【００５５】
この判定を行う理由を、ＳＥ時間ｂとＬＥ時間ｃとの比が１：４である場合を例に挙げて説明する。例えば、ｃ＝０．９ｘ、ｂ＝０．２２５ｘである場合に図８に示すような第２の駆動モードで撮像素子２を駆動すると、第１の時間間隔はｘ−ｃ＝０．１ｘ、第２の時間間隔はｘ−ｂ＝０．７７５ｘとなって、その比は１：７．７５であり、第１の時間間隔と第２の時間間隔とは大きく異なっている。
【００５６】
これに対して、ＬＥ時間ｃが小さいとき、例えばｃ＝０．２ｘ、ｂ＝０．０５ｘである場合には、第１の時間間隔はｘ−ｃ＝０．８ｘ、第２の時間間隔はｘ−ｂ＝０．９９５ｘとなって、その比は１：１．２４であり、第１の時間間隔と第２の時間間隔とはあまり異なっておらず、合成される広ダイナミックレンジ動画像の不自然さも目立たなくなると考えられる。
【００５７】
そこで、判定に用いる所定時間を、第２の駆動モードで撮像素子２を駆動したときに、合成される広ダイナミックレンジ動画像の不自然さが目立つか目立たなくなるかを区分けする閾値としている。この所定時間は、垂直同期期間ｘに対する（１未満の値をとる）比として表すこともできる。従って、ＬＥ時間ｃが所定時間以上であるか否かを判定する代わりに、ＬＥ時間ｃが垂直同期期間ｘの所定割合以上であるか否かを判定するようにしても良い。
【００５８】
上述したステップＳ３において撮像フレームレートが所定レート以上である場合、または、上述したステップＳ４においてＬＥ時間が所定時間未満である場合には、システム制御部１０が第２の駆動モードにより撮像素子２を駆動するように制御して、図８に示したようなＳＥとＬＥの露光間隔が等間隔ではない一定ＶＤ周期の繰り返し撮像を行う（ステップＳ５）。
【００５９】
一方、上述したステップＳ３において撮像フレームレートが所定レート未満であり、かつ、上述したステップＳ４においてＬＥ時間が所定時間以上である場合には、システム制御部１０は、ステップＳ１において設定した撮像フレームレート（ひいては、連続する２つの垂直同期期間の合計期間ａ）と、ステップＳ２において設定したＳＥ時間ｂおよびＬＥ時間ｃとに基づいて、ＳＥとＬＥとの時間間隔ｅを上述した数式１に示すように算出する（ステップＳ６）。なお、ここではシステム制御部１０が数式１に基づき算出を行っている例を説明したが、算出するに限るものではなく、例えばテーブル参照することにより求める等であっても構わない。
【００６０】
さらに、システム制御部１０は、ＬＥに係る垂直同期期間ｘ１とＳＥに係る垂直同期期間ｘ２とを、上述した数式２，３にそれぞれ示すように算出する（ステップＳ７）。
【００６１】
そして、システム制御部１０は、第１の駆動モードにより撮像素子２を駆動するように制御して、図３に示したようなＳＥとＬＥの露光間隔が等間隔になった、異なるＶＤ周期の繰り返し撮像を行う（ステップＳ８）。
【００６２】
ステップＳ５またはステップＳ８の処理を行ってＳＥ画像とＬＥ画像が繰り返し出力されたら、図１の構成の場合には、合成処理部５が、相前後するタイミングのＳＥとＬＥとにより得られた２つの画像データを処理して、広ダイナミックレンジの画像データを合成する処理を行う。また、画像処理部６によるその他の画像処理も行う（ステップＳ９）。
【００６３】
そして、合成された広ダイナミックレンジの画像データを、表示部８に表示したり、あるいは記録部７に記録したりして（ステップＳ１０）、全てのフレームの画像データについて処理が行われたところで、この処理を終了する。
【００６４】
なお、図２の構成の場合には、ステップＳ９における広ダイナミックレンジの画像データを合成する処理を少なくとも省略して、ステップＳ１０の処理においてＬＥ画像データとＳＥ画像データとをそれぞれ記録部７に記録する。そして、この記録部７に記録されたデータを外部合成処理部１５に読み取らせて、外部合成処理部１５によりステップＳ９において省略された処理、つまり広ダイナミックレンジの画像データを合成する処理等を行うことになる。
【００６５】
このような実施形態１によれば、短時間露光の露光時間の中央時点（図３に符号ＳＥを付した菱形領域の重心位置の時間軸位置）と、長時間露光の露光時間の中央時点（図３に符号ＬＥを付した菱形領域の重心位置の時間軸位置）と、が時間軸方向に均等に分散するために、画像処理の負荷を大きくすることなく自然な動きの広ダイナミックレンジの画像データを合成可能な撮像を行うことができる。
【００６６】
また、垂直同期信号ＶＤを基準として撮像素子２の駆動信号、つまり読出開始パルスおよび電子シャッタ開始パルスを生成することができるために、駆動部４におけるパルス生成の回路構成を簡単にしたり、駆動部４の制御を簡単にしたりすることができる。また、ＬＥ画像とＳＥ画像との何れであっても、垂直同期信号ＶＤの発生から一定時間が経過した時点で画像データの読み出しが開始されるために、画像処理部６のタイミング制御も簡単になる利点がある。
【００６７】
さらに、撮像フレームレートが所定フレームレート（例えば１２０ｆｐｓ）以上であるとき、または、長時間露光の露光時間が所定時間未満であるとき（垂直同期期間の所定割合未満であるとき）には、第２の駆動モードで撮像素子を駆動するようにしたために、垂直同期信号ＶＤもさらに一定周期とすることができ、合成される広ダイナミックレンジ動画像の不自然さを目立たせることなく、同期信号生成部３の制御をより簡単にすることができる。
［実施形態２］
【００６８】
図５および図６は本発明の実施形態２を示したものであり、図５は第１の駆動モードで広ダイナミックレンジ動画像を撮像するときの各信号の様子を示すタイミングチャート、図６はダイナミックレンジ拡大撮像モードにおける撮像装置の処理を示すフローチャートである。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【００６９】
上述した実施形態１は、垂直同期信号ＶＤの発生から読出開始パルスの発生までの時間を一定にしたまま、垂直同期信号ＶＤの発生タイミングを変化させることにより、ＳＥ終了時刻とＬＥ開始時刻との第１の時間間隔と、ＬＥ終了時刻とＳＥ開始時刻との第２の時間間隔と、を等しく時間間隔ｅとするようにしたものであった。これに対して、この実施形態２は、垂直同期信号ＶＤの周期を一定周期としたまま、垂直同期信号ＶＤの発生からＳＥにおける画素の信号の読み出しを開始するまでの時間と、垂直同期信号ＶＤの発生からＬＥにおける画素の信号の読み出しを開始するまでの時間と、を制御することにより、第１の時間間隔と第２の時間間隔とを等しく時間間隔ｅとするようにしたものとなっている。
【００７０】
まず、本実施形態の撮像装置または撮像システムの構成は、上述した実施形態１の図１または図２に示したものと同様である。
【００７１】
次に、システム制御部１０は、ＬＥに係る垂直同期期間とＳＥに係る垂直同期期間との何れも、同一のｘ（従って、連続する２つの垂直同期期間の合計期間ａを２ｘ）に設定するとともに、ＳＥ時間ｂとＬＥ時間ｃとを上述した実施形態１と同様に設定する。
【００７２】
この垂直同期信号ＶＤの周期を一定周期とする制限の下に、システム制御部１０は、ＳＥにおける画素の露光終了時刻とその直後のＬＥにおける画素の露光開始時刻との第１の時間間隔と、ＬＥにおける画素の露光終了時刻とその直後のＳＥにおける画素の露光開始時刻との第２の時間間隔と、を等しくする時間間隔ｅを、上述した数式１に基づいて求める。
【００７３】
また、システム制御部１０は、垂直同期信号ＶＤの発生からＳＥにおける画素の信号の読み出しを開始するまでの時間を、予め設定された所定時間ｙ１に設定するとともに、垂直同期信号ＶＤの発生からＬＥにおける画素の信号の読み出しを開始するまでの時間ｙ３を、次の数式４
［数４］
ｙ３＝ｙ１＋ｅ＋ｃ−ｘ
に示すように設定する。
【００７４】
ただし、ｙ１およびｙ３の設定は、ＳＥ画像の読み出しが終了してから次の垂直同期信号ＶＤが発生するまでの時間ｙ２と、ＬＥ画像の読み出しが終了してから次の垂直同期信号ＶＤが発生するまでの時間ｙ４と、の何れもが正の値（より望ましくは、ある正の最小値以上の値）となるように設定する必要がある。
【００７５】
そして、図５に示すように、システム制御部１０は、同期信号生成部３を制御することにより、垂直同期期間が一定のｘとなるように垂直同期信号ＶＤを発生させるとともに、駆動部４を制御することにより、ＳＥに係る垂直同期信号ＶＤが発生されてから所定時間ｙ１が経過したところで読出開始パルスを発生させ、ＬＥに係る垂直同期信号ＶＤが発生されてから時間ｙ３が経過したところで読出開始パルスを発生させることを交互に行う。また、ＳＥとＬＥとの何れについても、システム制御部１０が駆動部４を制御することにより、読出開始パルスが発生されてから時間間隔ｅが経過した時点で電子シャッタ開始パルスを発生させるのは上述した実施形態１と同様である。
【００７６】
なお、上述ではｙ１が一定時間として予め設定されている下でｙ３を求めたが、これとは逆に、ｙ３が一定時間として予め設定されている下でｙ１を求めることも不可能ではない。しかし、図５を参照すれば分かるように、ｙ３を例えば小さい値に設定するとｙ１が負の値になってしまい各値の再調整が必要になるなどが生じ易いために、上述したように、まずｙ１を予め設定された小さい値の一定時間としておく方が各値の設定が容易になって望ましい。
【００７７】
次に、本実施形態の撮像装置も、図５に示したような第１の駆動モードと、図８に示したような従来と同様の第２の駆動モードと、の両方で撮像素子２を駆動可能となっている。図６は、ダイナミックレンジ拡大撮像モードにおける撮像装置の処理を示すフローチャートである。
【００７８】
この図６において、ステップＳ１〜Ｓ６までの処理は図４に示した処理と同様である。
【００７９】
その後、システム制御部１０は、ＳＥに係る読み出しタイミングを示す所定時間ｙ１を設定するとともに、ＬＥに係る読み出しタイミングを示す時間ｙ３を、上述した数式４により算出する。このときには、ＬＥに係る電子シャッタｅｓの走行開始は垂直同期信号ＶＤ発生後の経過時間ｙ１＋ｅのタイミングとなり、ＳＥに係る電子シャッタｅｓの走行開始は経過時間ｙ３＋ｅのタイミングとなる（ステップＳ２１）。
【００８０】
そして、システム制御部１０は、第１の駆動モードにより撮像素子２を駆動するように制御して、図５に示したようなＳＥとＬＥの露光間隔が等間隔になった、一定ＶＤ周期の繰り返し撮像を行う（ステップＳ２２）。
【００８１】
ステップＳ５またはステップＳ２２の処理を行った後のステップＳ９およびステップＳ１０の処理は、図４に示した処理と同様である。
【００８２】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、垂直同期信号ＶＤの周期を異ならせる必要がなく一定周期とすることができるために、同期信号生成部３におけるパルス生成の回路構成を簡単にしたり、同期信号生成部３の制御を簡単にしたりすることができる。
【００８３】
また、撮像フレームレートが所定フレームレート（例えば１２０ｆｐｓ）以上であるとき、または、長時間露光の露光時間が所定時間未満であるとき（垂直同期期間の所定割合未満であるとき）には、第２の駆動モードで撮像素子を駆動するようにしたために、垂直同期信号ＶＤを基準として読出開始パルスを生成することがさらに可能となって、合成される広ダイナミックレンジ動画像の不自然さを目立たせることなく、駆動部４の制御をより簡単にすることができる。
【００８４】
なお、上述においては、主として撮像装置や撮像システムについて説明したが、同様の機能を実現する撮像方法、撮像プログラム、撮像プログラムを記録する記録媒体等であっても勿論構わない。
【００８５】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【００８６】
１…レンズ
２…撮像素子
３…同期信号生成部（タイミング制御部）
４…駆動部（タイミング制御部）
５…合成処理部
６…画像処理部
７…記録部
８…表示部
９…指示部
１０…システム制御部（タイミング制御部）
１５…外部合成処理部
【技術分野】
【０００１】
本発明は、長時間露光と短時間露光とを交互に繰り返すことにより広ダイナミックレンジの画像データを合成可能な撮像を行う撮像装置、撮像システム、撮像方法に関する。
【背景技術】
【０００２】
近年、短時間露光（ＳＥ：Short Exposure）と長時間露光（ＬＥ：Long Exposure）とを行って露光時間が異なる２枚の画像を取得し、得られた２枚の画像を合成することにより広ダイナミックレンジの静止画像を得るようにしたデジタルカメラが提案され、市販されている。
【０００３】
このような広ダイナミックレンジ画像を、動画像について得るための提案も、近年種々なされている。
【０００４】
例えば、特開２００３−４６８５７号公報には、撮像時間を長短に変化させた画像列から広ダイナミックレンジ画像を合成する技術が記載されている。
【０００５】
こうした従来の広ダイナミックレンジ動画像を取得するための撮像の流れについて、図７および図８を参照して説明する。ここに、図７は移動している被写体の一例を示す図、図８は広ダイナミックレンジ動画像を撮像するときの各信号の様子を示すタイミングチャートである。
【０００６】
撮像タイミングの基準となる垂直同期信号ＶＤは、一定の垂直同期期間ｘ毎のパルスとして出力される。
【０００７】
撮像素子から画像データを読み出すタイミングを規定する読出開始パルスは、ＳＥ画像とＬＥ画像との何れについても、垂直同期信号ＶＤが出力されてから予め設定された一定時間ｙだけ経過した後に出力される。この読出開始パルスが出力されると、撮像素子の例えば第１ライン目から順に画像データが順次出力され始める。そして、読出開始パルスが出力されてから時間ｄだけ経過した後に、最後のラインの画像データが出力され、読み出しが終了する。
【０００８】
このように画像読み出しのタイミングは垂直同期信号ＶＤに従って予め定められているために、露光時間の制御は、読み出しタイミングから露光時間だけ遡った時点を電子シャッタｅｓの走行タイミングとすることにより行われる。すなわち、ＳＥは、読出開始パルスからＳＥ時間ｂ（ただし、ｂ＜ｘ）だけ遡った時点で電子シャッタ開始パルスを発生させることにより行われる。同様に、ＬＥは、読出開始パルスからＬＥ時間ｃ（ただし、ｂ＜ｃ＜ｘ）だけ遡った時点で電子シャッタ開始パルスを発生させることにより行われる。
【０００９】
このようなタイミングで露光を行うと、任意のラインについて、ＳＥ期間が終了してからＬＥ期間が開始されるまでの間の露光間隔時間はｘ−ｃ、ＬＥ期間が終了してからＳＥ期間が開始されるまでの間の露光間隔時間はｘ−ｂとなり、一致しない。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−４６８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
このために、例えば図７に示すような、静止する背景の下に画面左側から右側へ向かって一定の速度で移動する被写体を撮像して、時間的に隣接するＳＥ画像とＬＥ画像とを合成することにより垂直同期信号ＶＤの周期に対応するフレームレートの合成画像を得る場合において、合成処理として処理負荷の小さい単純加算等を採用すると、図８に示すように、合成画像における被写体の移動量が１フレーム毎に異なってしまい、円滑でない不自然な動きとして観察されてしまうことになる。
【００１２】
一方、より自然な動きに近付けるように予測演算等を行って画像を合成する場合には、画像処理自体が複雑になるだけでなく、時間的に先行するＳＥ画像と時間的に後続するＬＥ画像とを合成するための画像処理アルゴリズムと、時間的に先行するＬＥ画像と時間的に後続するＳＥ画像とを合成するための画像処理アルゴリズムとを異ならせる必要が生じ、画像処理がさらに複雑となって処理負荷が大きくなってしまう。
【００１３】
本発明は上記事情に鑑みてなされたものであり、画像処理の負荷を大きくすることなく自然な動きの広ダイナミックレンジの画像データを合成可能な撮像を行うことができる撮像装置、撮像システム、撮像方法を提供することを目的としている。
【課題を解決するための手段】
【００１４】
上記の目的を達成するために、本発明の第１の態様による撮像装置は、長時間露光と短時間露光とを交互に繰り返すことにより、広ダイナミックレンジの画像データを合成可能な撮像を行う撮像装置において、複数の画素が配列された撮像素子と、短時間露光における画素の露光終了時刻とその直後の長時間露光における該画素の露光開始時刻との第１の時間間隔と、該長時間露光における該画素の露光終了時刻とその直後の短時間露光における該画素の露光開始時刻との第２の時間間隔と、を等しく時間間隔ｅとする第１の駆動モードで上記撮像素子を駆動するタイミング制御部と、を具備したものである。
【００１５】
また、本発明の第２の態様による撮像システムは、上記撮像装置と、該撮像装置による相前後するタイミングの長時間露光と短時間露光とにより得られた２つの画像データを処理して広ダイナミックレンジの画像データを合成する合成処理部と、を具備したものである。
【００１６】
さらに、本発明の第３の態様による撮像方法は、長時間露光と短時間露光とを交互に繰り返すことにより、広ダイナミックレンジの画像データを合成可能な撮像を行う撮像方法において、複数の画素が配列された撮像素子により長時間露光を行うステップと、上記撮像素子により短時間露光を行うステップと、を有し、タイミング制御部が前記撮像素子を駆動することにより、短時間露光における画素の露光終了時刻とその直後の長時間露光における該画素の露光開始時刻との第１の時間間隔と、該長時間露光における該画素の露光終了時刻とその直後の短時間露光における該画素の露光開始時刻との第２の時間間隔と、を等しく時間間隔ｅとする第１の駆動モードで、前記長時間露光を行うステップと前記短時間露光を行うステップとを交互に繰り返す方法である。
【発明の効果】
【００１７】
本発明の撮像装置、撮像システム、撮像方法によれば、画像処理の負荷を大きくすることなく自然な動きの広ダイナミックレンジの画像データを合成可能な撮像を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態１において、撮像装置の構成の一例を示すブロック図。
【図２】上記実施形態１において、撮像装置と外部合成処理部とを組み合わせた撮像システムの構成例を示すブロック図。
【図３】上記実施形態１において、第１の駆動モードで広ダイナミックレンジ動画像を撮像するときの各信号の様子を示すタイミングチャート。
【図４】上記実施形態１において、ダイナミックレンジ拡大撮像モードにおける撮像装置の処理を示すフローチャート。
【図５】本発明の実施形態２において、第１の駆動モードで広ダイナミックレンジ動画像を撮像するときの各信号の様子を示すタイミングチャート。
【図６】上記実施形態２において、ダイナミックレンジ拡大撮像モードにおける撮像装置の処理を示すフローチャート。
【図７】移動している被写体の一例を示す図。
【図８】従来、および本発明の各実施形態における第２の駆動モードに係る、広ダイナミックレンジ動画像を撮像するときの各信号の様子を示すタイミングチャート。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００２０】
図１から図４は本発明の実施形態１を示したものであり、図１は撮像装置の構成の一例を示すブロック図である。
【００２１】
図１に示す撮像装置は、レンズ１と、撮像素子２と、同期信号生成部３と、駆動部４と、合成処理部５と、画像処理部６と、記録部７と、表示部８と、指示部９と、システム制御部１０と、を備えている。なお、本実施形態においては、撮像装置がデジタルカメラとして構成されているものとして説明を行うが、勿論、これに限るものではなく、デジタルビデオカメラや撮影機能付きの携帯電話など、動画表示や動画撮影の機能を備える各種の機器に広く適用することができる。
【００２２】
レンズ１は、光学的な被写体像を撮像素子２の撮像面上に結像するための撮影光学系であり、絞りやフォーカスレンズ等を含んで構成されている。
【００２３】
撮像素子２は、複数の画素が配列された撮像面を備え、レンズ１により結像された光学的な被写体像を光電変換して電気的な画像信号を生成するものである。ここに、撮像素子２は、画素単位やライン単位で画素リセットを順次行うことができるようなものとなっている。この撮像素子２の具体例としては、ＣＭＯＳ撮像素子等のＸＹアドレス型撮像素子を挙げることができるが、これに限定されるものではない。
【００２４】
同期信号生成部３は、システム制御部１０の制御の下に、垂直同期信号ＶＤ（図３を参照）を生成するものである。
【００２５】
駆動部４は、システム制御部１０の制御の下に、同期信号生成部３によって生成された垂直同期信号ＶＤに基づき、読出開始パルスや電子シャッタ開始パルスを発生して撮像素子２を駆動するものである。
【００２６】
画像処理部６は、撮像素子２により撮像されて読み出された画像信号に各種の画像処理を施すものであり、合成処理部５を含んで構成されている。ここに、合成処理部５は、交互に繰り返して行われる短時間露光（ＳＥ：Short Exposure）および長時間露光（ＬＥ：Long Exposure）の内の、相前後するタイミングのＳＥとＬＥとにより得られた２つの画像データを処理して１フレームの広ダイナミックレンジの画像データを合成することを、各フレームについて行うものである。
【００２７】
記録部７は、撮影され画像処理部６により記録用に処理された画像データを不揮発に記憶するものであり、例えばメモリカードなどの撮像装置の外部に搬出し得るリムーバブルメモリとして構成されている。従って、記録部７は、撮像装置に固有の構成でなくても構わない。
【００２８】
表示部８は、撮影され画像処理部６により表示用に処理された画像や、この撮像装置の操作に係るメニューの表示などを行う表示デバイスである。
【００２９】
指示部９は、この撮像装置に対する操作入力を行うためのユーザーインタフェースであり、電源のオン／オフを指示するための電源ボタンや撮影開始を指示するための撮影ボタン、ダイナミックレンジ拡大撮像モードに設定するための撮像モード設定ボタン、その他各種の設定ボタンなどが含まれている。
【００３０】
システム制御部１０は、指示部９から入力されたユーザーからの指示や、画像処理部６から得られる撮像された被写体に係る情報（例えばＡＦ情報やＡＥ情報、被写体のダイナミックレンジに係る情報など）等に基づいて、この撮像装置全体の制御を行うものである。例えば、システム制御部１０は、ＡＥ情報や被写体のダイナミックレンジに係る情報に基づいて、ＳＥ時間ｂおよびＬＥ時間ｃ（図３等参照）を決定し、同期信号生成部３や駆動部４、合成処理部５を制御して、広ダイナミックレンジの画像データを生成させる。また、システム制御部１０は、ライブビュー（ＬＶ）表示を行っている最中に、指示部９から静止画像の撮影指示が入力されると、ＡＦ情報やＡＥ情報などを高速に取得するために、撮像フレームレートを高くするように同期信号生成部３や駆動部４の制御を行うことができるようになっている。従って、システム制御部１０、同期信号生成部３、および駆動部４が、タイミング制御部を構成している。
【００３１】
また、図２は撮像装置と外部合成処理部とを組み合わせた撮像システムの構成例を示すブロック図である。
【００３２】
この図２に示す構成は、合成処理部を、撮像装置内に設ける代わりに、撮像装置の外部に設けるようにしたものである。
【００３３】
すなわち、図２の構成例では、画像処理部６は合成処理部５を備えておらず、撮像装置の外部に外部合成処理部１５が設けられている。この外部合成処理部１５の例としては、合成処理プログラムを実行するコンピュータなどが挙げられる。
【００３４】
そして、ＬＥおよびＳＥを交互に繰り返して行うことにより得られた画像データが、図示しない通信回線や記録部７等を介して外部合成処理部１５へ伝達され、外部合成処理部１５において、相前後するタイミングのＳＥとＬＥとにより得られた２つの画像データを処理して１フレームの広ダイナミックレンジの画像データを合成することが、各フレームについて行われる。
【００３５】
次に、図３は第１の駆動モードで広ダイナミックレンジ動画像を撮像するときの各信号の様子を示すタイミングチャートである。
【００３６】
システム制御部１０は、通常のＬＶ表示を行うときであるのか、あるいはＡＦ情報やＡＥ情報などを高速に取得するために撮像データを得るときであるのか、などの状況に応じて、単位時間に垂直同期信号ＶＤが発生される数である撮像フレームレートを設定する。この撮像フレームレートは、画像処理部６が生成する動画像のフレームレートともなる。このとき、設定した撮像フレームレートにおける２フレーム分の時間、つまり、ＳＥとＬＥとが１回ずつ行われる時間であって、連続する３つの垂直同期信号ＶＤによって定まる連続する２つの垂直同期期間の合計期間（本実施形態においては、垂直同期信号ＶＤの２つの異なる周期を加算したもの）をａとする。
【００３７】
また、システム制御部１０は、ＡＥ情報や被写体のダイナミックレンジに係る情報に基づいて、ＳＥ時間ｂとＬＥ時間ｃとを、ｂ＋ｃ＜ａの制限の下に設定する。
【００３８】
そして、システム制御部１０は、垂直同期信号ＶＤの発生からＳＥにおける画素の信号の読み出しを開始するまで（読出開始パルスの発生まで）の時間と、垂直同期信号ＶＤの発生からＬＥにおける画素の信号の読み出しを開始するまで（読出開始パルスの発生まで）の時間との両方を、クロック単位で計り得る正の値として予め設定された一定時間ｙに設定する。
【００３９】
この制限の下に、システム制御部１０は、ＳＥにおける画素の露光終了時刻とその直後のＬＥにおける画素の露光開始時刻との第１の時間間隔と、ＬＥにおける画素の露光終了時刻とその直後のＳＥにおける画素の露光開始時刻との第２の時間間隔と、を等しくする時間間隔ｅを、次の数式１
［数１］
ｅ＝（ａ−ｂ−ｃ）／２
に基づいて求める。なお、上述したようにｂ＋ｃ＜ａの制限を課しているために、この時間間隔ｅは正の値（実際には、クロック単位で計り得る正の値に設定される）であることが保証される。
【００４０】
そして、ＬＥに係る垂直同期期間ｘ１を次の数式２
［数２］
ｘ１＝ｅ＋ｃ＝（ａ−ｂ＋ｃ）／２
に示すように設定するとともに、ＳＥに係る垂直同期期間ｘ２を次の数式３
［数３］
ｘ２＝ａ−ｘ１＝（ａ＋ｂ−ｃ）／２
に示すように設定する。
【００４１】
そして、図３に示すように、システム制御部１０は、同期信号生成部３を制御することにより、垂直同期期間が交互にｘ１，ｘ２となるように垂直同期信号ＶＤを発生させるとともに、駆動部４を制御することにより、垂直同期信号ＶＤが発生されてから一定時間ｙが経過したところで読出開始パルスを発生させる。
【００４２】
例えば、図３に示すように、垂直同期期間ｘ１の開始タイミングを示す垂直同期信号ＶＤが発生されてから一定時間ｙが経過すると、駆動部４から読出開始パルスが発生され、ＳＥ画像データの読み出しが開始されて、例えばライン単位で順に行われる（つまり、ＳＥの終了が例えばライン単位で順に行われる）。なお、ＳＥの終了が最初のラインについて行われる時点からＳＥ時間ｂだけ遡った時点が、ＳＥの開始が該最初のラインについて行われる時点となる（ひいては、任意のラインについて、ＳＥ画像データの読み出しが行われる時点から露光時間ｂだけ遡った時点が、図３において点線で示すような画素リセットによる電子シャッタｅｓが行われる時点となる）。また、画像データの読み出しが開始されてから終了するまでの時間は、撮像素子２の読み出し速度や、読み出すライン数などによって異なるが、ここではｄとして図示している。
【００４３】
次に、ＳＥ画像データの読み出しが終了したラインについては、ＬＥ画像の電荷蓄積を開始することが可能である。そこで、システム制御部１０が駆動部４を制御することにより、ＳＥに係る読出開始パルスが発生された時点から上述した時間間隔ｅが経過した時点で、電子シャッタ開始パルスを発生させる。電子シャッタの走行特性は、画像データ読み出しの走行特性に一致するように予め設定されているために、これにより、任意のラインについて、ＳＥ画像データの読み出しが終了してから上述した時間間隔ｅが経過した時点で、ＬＥ画像の電荷蓄積を開始するための画素リセットによる電子シャッタｅｓが行われる。
【００４４】
その後、垂直同期期間ｘ２の開始タイミングを示す垂直同期信号ＶＤが発生されてから一定時間ｙが経過すると、駆動部４から読出開始パルスが発生され、ＬＥ画像データの読み出しが例えばライン単位で順に行われる。そして、このようなタイミングでＬＥの開始と終了とを行うと、ＬＥ時間は上述したようなｃとなる。
【００４５】
続いて、ＬＥ画像データの読み出しが終了したラインについては、ＳＥ画像の電荷蓄積を開始することが可能である。そこで、システム制御部１０が駆動部４を制御することにより、ＬＥに係る読出開始パルスが発生された時点から上述した時間間隔ｅが経過した時点で、電子シャッタ開始パルスを発生させる。これにより、任意のラインについて、ＬＥ画像データの読み出しが終了してから上述した時間間隔ｅが経過した時点で、ＳＥ画像の電荷蓄積を開始するための画素リセットによる電子シャッタｅｓが行われる。
【００４６】
そして、垂直同期期間ｘ１の開始タイミングを示す垂直同期信号ＶＤが発生されてから一定時間ｙが経過すると、駆動部４から読出開始パルスが発生され、ＳＥ画像データの読み出しが例えばライン単位で順に行われる。そして、このようなタイミングでＳＥの開始と終了とを行うと、ＳＥ時間は上述したようなｂとなる。
【００４７】
その後も同様に、垂直同期期間が交互にｘ１，ｘ２となるように垂直同期信号ＶＤを発生させ、垂直同期信号ＶＤが発生されてから一定時間ｙが経過したところで読出開始パルスを発生させ、読出開始パルスが発生されてから時間間隔ｅが経過した時点で電子シャッタ開始パルスを発生させるタイミング制御により撮像素子２が駆動される。
【００４８】
次に、本実施形態の撮像装置は、図３に示したような第１の駆動モードに加えて、さらに、図８に示したような従来と同様の第２の駆動モード、すなわち、ＳＥに係る垂直同期信号ＶＤの周期とＬＥに係る垂直同期信号ＶＤの周期との何れについても一定周期（垂直同期期間ｘ）とする制限と、垂直同期信号ＶＤの発生からＳＥにおける画素の信号の読み出しを開始するまでの時間と、垂直同期信号ＶＤの発生からＬＥにおける画素の信号の読み出しを開始するまでの時間との両方を予め設定された一定時間ｙにする制限と、の双方を満たす第２の駆動モードでも撮像素子２を駆動可能となっている。
【００４９】
そこで、２種類の駆動モードを使い分けながら広ダイナミックレンジ動画像を撮像するときの処理の流れを、図４を参照して説明する。ここに、図４は、ダイナミックレンジ拡大撮像モードにおける撮像装置の処理を示すフローチャートである。
【００５０】
ダイナミックレンジ拡大撮像モードが設定された状態で電源ボタンにより電源がオンされるか、または電源がオンされているときに撮像モード設定ボタンが操作されてダイナミックレンジ拡大撮像モードが設定されると、このダイナミックレンジ拡大撮像モードの処理が開始される。
【００５１】
するとまず、システム制御部１０が、上述したように撮像フレームレート（この撮像フレームレートに対応する垂直同期期間は、図３に示した平均垂直同期期間ａ／２、または図８に示した垂直同期期間ｘ）を設定する（ステップＳ１）。
【００５２】
次に、システム制御部１０が、ＡＥ情報や被写体のダイナミックレンジに係る情報に基づいて、ＳＥ時間ｂとＬＥ時間ｃとを設定する（ステップＳ２）。
【００５３】
続いて、システム制御部１０は、ステップＳ１において設定した撮像フレームレートが、予め設定された所定レート以上であるか否かを判定する（ステップＳ３）。ここに、出願人が実験を行ったところ、撮像フレームレートが例えば１２０ｆｐｓ以上である場合には、図８に示したような第２の駆動モードで撮像素子２を駆動したときでも、すなわち、ＳＥの露光終了時刻とその直後のＬＥの露光開始時刻との第１の時間間隔と、ＬＥの露光終了時刻とその直後のＳＥの露光開始時刻との第２の時間間隔と、が等しくないときでも、合成される広ダイナミックレンジ動画像の不自然さは目立たないことが分かった。そこで、この所定レートは、第２の駆動モードで撮像素子２を駆動したときに、合成される広ダイナミックレンジ動画像の不自然さが目立つか目立たなくなるかを区分けする閾値となっていて、一例の値は上述したように１２０ｆｐｓである。
【００５４】
ここで、撮像フレームレートが所定レート未満である場合には、さらにシステム制御部１０は、ステップＳ２において設定したＬＥ時間ｃが予め設定された所定時間以上であるか否かを判定する（ステップＳ４）。
【００５５】
この判定を行う理由を、ＳＥ時間ｂとＬＥ時間ｃとの比が１：４である場合を例に挙げて説明する。例えば、ｃ＝０．９ｘ、ｂ＝０．２２５ｘである場合に図８に示すような第２の駆動モードで撮像素子２を駆動すると、第１の時間間隔はｘ−ｃ＝０．１ｘ、第２の時間間隔はｘ−ｂ＝０．７７５ｘとなって、その比は１：７．７５であり、第１の時間間隔と第２の時間間隔とは大きく異なっている。
【００５６】
これに対して、ＬＥ時間ｃが小さいとき、例えばｃ＝０．２ｘ、ｂ＝０．０５ｘである場合には、第１の時間間隔はｘ−ｃ＝０．８ｘ、第２の時間間隔はｘ−ｂ＝０．９９５ｘとなって、その比は１：１．２４であり、第１の時間間隔と第２の時間間隔とはあまり異なっておらず、合成される広ダイナミックレンジ動画像の不自然さも目立たなくなると考えられる。
【００５７】
そこで、判定に用いる所定時間を、第２の駆動モードで撮像素子２を駆動したときに、合成される広ダイナミックレンジ動画像の不自然さが目立つか目立たなくなるかを区分けする閾値としている。この所定時間は、垂直同期期間ｘに対する（１未満の値をとる）比として表すこともできる。従って、ＬＥ時間ｃが所定時間以上であるか否かを判定する代わりに、ＬＥ時間ｃが垂直同期期間ｘの所定割合以上であるか否かを判定するようにしても良い。
【００５８】
上述したステップＳ３において撮像フレームレートが所定レート以上である場合、または、上述したステップＳ４においてＬＥ時間が所定時間未満である場合には、システム制御部１０が第２の駆動モードにより撮像素子２を駆動するように制御して、図８に示したようなＳＥとＬＥの露光間隔が等間隔ではない一定ＶＤ周期の繰り返し撮像を行う（ステップＳ５）。
【００５９】
一方、上述したステップＳ３において撮像フレームレートが所定レート未満であり、かつ、上述したステップＳ４においてＬＥ時間が所定時間以上である場合には、システム制御部１０は、ステップＳ１において設定した撮像フレームレート（ひいては、連続する２つの垂直同期期間の合計期間ａ）と、ステップＳ２において設定したＳＥ時間ｂおよびＬＥ時間ｃとに基づいて、ＳＥとＬＥとの時間間隔ｅを上述した数式１に示すように算出する（ステップＳ６）。なお、ここではシステム制御部１０が数式１に基づき算出を行っている例を説明したが、算出するに限るものではなく、例えばテーブル参照することにより求める等であっても構わない。
【００６０】
さらに、システム制御部１０は、ＬＥに係る垂直同期期間ｘ１とＳＥに係る垂直同期期間ｘ２とを、上述した数式２，３にそれぞれ示すように算出する（ステップＳ７）。
【００６１】
そして、システム制御部１０は、第１の駆動モードにより撮像素子２を駆動するように制御して、図３に示したようなＳＥとＬＥの露光間隔が等間隔になった、異なるＶＤ周期の繰り返し撮像を行う（ステップＳ８）。
【００６２】
ステップＳ５またはステップＳ８の処理を行ってＳＥ画像とＬＥ画像が繰り返し出力されたら、図１の構成の場合には、合成処理部５が、相前後するタイミングのＳＥとＬＥとにより得られた２つの画像データを処理して、広ダイナミックレンジの画像データを合成する処理を行う。また、画像処理部６によるその他の画像処理も行う（ステップＳ９）。
【００６３】
そして、合成された広ダイナミックレンジの画像データを、表示部８に表示したり、あるいは記録部７に記録したりして（ステップＳ１０）、全てのフレームの画像データについて処理が行われたところで、この処理を終了する。
【００６４】
なお、図２の構成の場合には、ステップＳ９における広ダイナミックレンジの画像データを合成する処理を少なくとも省略して、ステップＳ１０の処理においてＬＥ画像データとＳＥ画像データとをそれぞれ記録部７に記録する。そして、この記録部７に記録されたデータを外部合成処理部１５に読み取らせて、外部合成処理部１５によりステップＳ９において省略された処理、つまり広ダイナミックレンジの画像データを合成する処理等を行うことになる。
【００６５】
このような実施形態１によれば、短時間露光の露光時間の中央時点（図３に符号ＳＥを付した菱形領域の重心位置の時間軸位置）と、長時間露光の露光時間の中央時点（図３に符号ＬＥを付した菱形領域の重心位置の時間軸位置）と、が時間軸方向に均等に分散するために、画像処理の負荷を大きくすることなく自然な動きの広ダイナミックレンジの画像データを合成可能な撮像を行うことができる。
【００６６】
また、垂直同期信号ＶＤを基準として撮像素子２の駆動信号、つまり読出開始パルスおよび電子シャッタ開始パルスを生成することができるために、駆動部４におけるパルス生成の回路構成を簡単にしたり、駆動部４の制御を簡単にしたりすることができる。また、ＬＥ画像とＳＥ画像との何れであっても、垂直同期信号ＶＤの発生から一定時間が経過した時点で画像データの読み出しが開始されるために、画像処理部６のタイミング制御も簡単になる利点がある。
【００６７】
さらに、撮像フレームレートが所定フレームレート（例えば１２０ｆｐｓ）以上であるとき、または、長時間露光の露光時間が所定時間未満であるとき（垂直同期期間の所定割合未満であるとき）には、第２の駆動モードで撮像素子を駆動するようにしたために、垂直同期信号ＶＤもさらに一定周期とすることができ、合成される広ダイナミックレンジ動画像の不自然さを目立たせることなく、同期信号生成部３の制御をより簡単にすることができる。
［実施形態２］
【００６８】
図５および図６は本発明の実施形態２を示したものであり、図５は第１の駆動モードで広ダイナミックレンジ動画像を撮像するときの各信号の様子を示すタイミングチャート、図６はダイナミックレンジ拡大撮像モードにおける撮像装置の処理を示すフローチャートである。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【００６９】
上述した実施形態１は、垂直同期信号ＶＤの発生から読出開始パルスの発生までの時間を一定にしたまま、垂直同期信号ＶＤの発生タイミングを変化させることにより、ＳＥ終了時刻とＬＥ開始時刻との第１の時間間隔と、ＬＥ終了時刻とＳＥ開始時刻との第２の時間間隔と、を等しく時間間隔ｅとするようにしたものであった。これに対して、この実施形態２は、垂直同期信号ＶＤの周期を一定周期としたまま、垂直同期信号ＶＤの発生からＳＥにおける画素の信号の読み出しを開始するまでの時間と、垂直同期信号ＶＤの発生からＬＥにおける画素の信号の読み出しを開始するまでの時間と、を制御することにより、第１の時間間隔と第２の時間間隔とを等しく時間間隔ｅとするようにしたものとなっている。
【００７０】
まず、本実施形態の撮像装置または撮像システムの構成は、上述した実施形態１の図１または図２に示したものと同様である。
【００７１】
次に、システム制御部１０は、ＬＥに係る垂直同期期間とＳＥに係る垂直同期期間との何れも、同一のｘ（従って、連続する２つの垂直同期期間の合計期間ａを２ｘ）に設定するとともに、ＳＥ時間ｂとＬＥ時間ｃとを上述した実施形態１と同様に設定する。
【００７２】
この垂直同期信号ＶＤの周期を一定周期とする制限の下に、システム制御部１０は、ＳＥにおける画素の露光終了時刻とその直後のＬＥにおける画素の露光開始時刻との第１の時間間隔と、ＬＥにおける画素の露光終了時刻とその直後のＳＥにおける画素の露光開始時刻との第２の時間間隔と、を等しくする時間間隔ｅを、上述した数式１に基づいて求める。
【００７３】
また、システム制御部１０は、垂直同期信号ＶＤの発生からＳＥにおける画素の信号の読み出しを開始するまでの時間を、予め設定された所定時間ｙ１に設定するとともに、垂直同期信号ＶＤの発生からＬＥにおける画素の信号の読み出しを開始するまでの時間ｙ３を、次の数式４
［数４］
ｙ３＝ｙ１＋ｅ＋ｃ−ｘ
に示すように設定する。
【００７４】
ただし、ｙ１およびｙ３の設定は、ＳＥ画像の読み出しが終了してから次の垂直同期信号ＶＤが発生するまでの時間ｙ２と、ＬＥ画像の読み出しが終了してから次の垂直同期信号ＶＤが発生するまでの時間ｙ４と、の何れもが正の値（より望ましくは、ある正の最小値以上の値）となるように設定する必要がある。
【００７５】
そして、図５に示すように、システム制御部１０は、同期信号生成部３を制御することにより、垂直同期期間が一定のｘとなるように垂直同期信号ＶＤを発生させるとともに、駆動部４を制御することにより、ＳＥに係る垂直同期信号ＶＤが発生されてから所定時間ｙ１が経過したところで読出開始パルスを発生させ、ＬＥに係る垂直同期信号ＶＤが発生されてから時間ｙ３が経過したところで読出開始パルスを発生させることを交互に行う。また、ＳＥとＬＥとの何れについても、システム制御部１０が駆動部４を制御することにより、読出開始パルスが発生されてから時間間隔ｅが経過した時点で電子シャッタ開始パルスを発生させるのは上述した実施形態１と同様である。
【００７６】
なお、上述ではｙ１が一定時間として予め設定されている下でｙ３を求めたが、これとは逆に、ｙ３が一定時間として予め設定されている下でｙ１を求めることも不可能ではない。しかし、図５を参照すれば分かるように、ｙ３を例えば小さい値に設定するとｙ１が負の値になってしまい各値の再調整が必要になるなどが生じ易いために、上述したように、まずｙ１を予め設定された小さい値の一定時間としておく方が各値の設定が容易になって望ましい。
【００７７】
次に、本実施形態の撮像装置も、図５に示したような第１の駆動モードと、図８に示したような従来と同様の第２の駆動モードと、の両方で撮像素子２を駆動可能となっている。図６は、ダイナミックレンジ拡大撮像モードにおける撮像装置の処理を示すフローチャートである。
【００７８】
この図６において、ステップＳ１〜Ｓ６までの処理は図４に示した処理と同様である。
【００７９】
その後、システム制御部１０は、ＳＥに係る読み出しタイミングを示す所定時間ｙ１を設定するとともに、ＬＥに係る読み出しタイミングを示す時間ｙ３を、上述した数式４により算出する。このときには、ＬＥに係る電子シャッタｅｓの走行開始は垂直同期信号ＶＤ発生後の経過時間ｙ１＋ｅのタイミングとなり、ＳＥに係る電子シャッタｅｓの走行開始は経過時間ｙ３＋ｅのタイミングとなる（ステップＳ２１）。
【００８０】
そして、システム制御部１０は、第１の駆動モードにより撮像素子２を駆動するように制御して、図５に示したようなＳＥとＬＥの露光間隔が等間隔になった、一定ＶＤ周期の繰り返し撮像を行う（ステップＳ２２）。
【００８１】
ステップＳ５またはステップＳ２２の処理を行った後のステップＳ９およびステップＳ１０の処理は、図４に示した処理と同様である。
【００８２】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、垂直同期信号ＶＤの周期を異ならせる必要がなく一定周期とすることができるために、同期信号生成部３におけるパルス生成の回路構成を簡単にしたり、同期信号生成部３の制御を簡単にしたりすることができる。
【００８３】
また、撮像フレームレートが所定フレームレート（例えば１２０ｆｐｓ）以上であるとき、または、長時間露光の露光時間が所定時間未満であるとき（垂直同期期間の所定割合未満であるとき）には、第２の駆動モードで撮像素子を駆動するようにしたために、垂直同期信号ＶＤを基準として読出開始パルスを生成することがさらに可能となって、合成される広ダイナミックレンジ動画像の不自然さを目立たせることなく、駆動部４の制御をより簡単にすることができる。
【００８４】
なお、上述においては、主として撮像装置や撮像システムについて説明したが、同様の機能を実現する撮像方法、撮像プログラム、撮像プログラムを記録する記録媒体等であっても勿論構わない。
【００８５】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【００８６】
１…レンズ
２…撮像素子
３…同期信号生成部（タイミング制御部）
４…駆動部（タイミング制御部）
５…合成処理部
６…画像処理部
７…記録部
８…表示部
９…指示部
１０…システム制御部（タイミング制御部）
１５…外部合成処理部
【特許請求の範囲】
【請求項１】
長時間露光と短時間露光とを交互に繰り返すことにより、広ダイナミックレンジの画像データを合成可能な撮像を行う撮像装置において、
複数の画素が配列された撮像素子と、
短時間露光における画素の露光終了時刻とその直後の長時間露光における該画素の露光開始時刻との第１の時間間隔と、該長時間露光における該画素の露光終了時刻とその直後の短時間露光における該画素の露光開始時刻との第２の時間間隔と、を等しく時間間隔ｅとする第１の駆動モードで上記撮像素子を駆動するタイミング制御部と、
を具備したことを特徴とする撮像装置。
【請求項２】
上記タイミング制御部は、連続する３つの垂直同期信号によって定まる連続する２つの垂直同期期間に、上記短時間露光と上記長時間露光とを１回ずつ行うように上記撮像素子を駆動するものであり、
上記時間間隔ｅは、連続する２つの垂直同期期間の合計期間をａ、短時間露光の露光時間をｂ、長時間露光の露光時間をｃとすると、
ｅ＝（ａ−ｂ−ｃ）／２
によって表されること特徴とする請求項１に記載の撮像装置。
【請求項３】
上記タイミング制御部は、さらに、垂直同期信号の発生から上記短時間露光における画素の信号の読み出しを開始するまでの時間と、垂直同期信号の発生から上記長時間露光における該画素の信号の読み出しを開始するまでの時間との両方を予め設定された一定時間にする制限の下に、上記第１の時間間隔と上記第２の時間間隔とが等しく上記時間間隔ｅとなるように、垂直同期信号の周期を制御するものであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記タイミング制御部は、さらに、上記垂直同期信号の周期を一定周期とする制限の下に、上記第１の時間間隔と上記第２の時間間隔とが等しく上記時間間隔ｅとなるように、垂直同期信号の発生から上記短時間露光における画素の信号の読み出しを開始するまでの時間と、垂直同期信号の発生から上記長時間露光における画素の信号の読み出しを開始するまでの時間と、を制御するものであることを特徴とする請求項２に記載の撮像装置。
【請求項５】
上記タイミング制御部は、上記第１の駆動モードに加えて、さらに、垂直同期信号の周期を一定周期とする制限と、垂直同期信号の発生から上記短時間露光における画素の信号の読み出しを開始するまでの時間と、垂直同期信号の発生から上記長時間露光における該画素の信号の読み出しを開始するまでの時間との両方を予め設定された一定時間にする制限と、の両方を満たす第２の駆動モードでも上記撮像素子を駆動可能であり、単位時間に上記垂直同期信号が発生される数である撮像フレームレートが所定フレームレート未満であるときには上記第１の駆動モードで上記撮像素子を駆動し、該撮像フレームレートが該所定フレームレート以上であるときには上記第２の駆動モードで上記撮像素子を駆動するものであることを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記所定フレームレートは、１２０ｆｐｓであることを特徴とする請求項５に記載の撮像装置。
【請求項７】
上記タイミング制御部は、上記第１の駆動モードに加えて、さらに、垂直同期信号の周期を一定周期とする制限と、垂直同期信号の発生から上記短時間露光における画素の信号の読み出しを開始するまでの時間と、垂直同期信号の発生から上記長時間露光における該画素の信号の読み出しを開始するまでの時間との両方を予め設定された一定時間にする制限と、の両方を満たす第２の駆動モードでも上記撮像素子を駆動可能であり、上記長時間露光の露光時間が垂直同期期間の所定割合以上であるときには上記第１の駆動モードで上記撮像素子を駆動し、該長時間露光の露光時間が該垂直同期期間の所定割合未満であるときには上記第２の駆動モードで上記撮像素子を駆動するものであることを特徴とする請求項１に記載の撮像装置。
【請求項８】
相前後するタイミングの長時間露光と短時間露光とにより得られた２つの画像データを処理して、広ダイナミックレンジの画像データを合成する合成処理部をさらに具備したことを特徴とする請求項１から請求項７の何れか一項に記載の撮像装置。
【請求項９】
請求項１から請求項７の何れか一項に記載の撮像装置と、
上記撮像装置による相前後するタイミングの長時間露光と短時間露光とにより得られた２つの画像データを処理して、広ダイナミックレンジの画像データを合成する合成処理部と、
を具備したことを特徴とする撮像システム。
【請求項１０】
長時間露光と短時間露光とを交互に繰り返すことにより、広ダイナミックレンジの画像データを合成可能な撮像を行う撮像方法において、
複数の画素が配列された撮像素子により長時間露光を行うステップと、
上記撮像素子により短時間露光を行うステップと、
を有し、タイミング制御部が前記撮像素子を駆動することにより、短時間露光における画素の露光終了時刻とその直後の長時間露光における該画素の露光開始時刻との第１の時間間隔と、該長時間露光における該画素の露光終了時刻とその直後の短時間露光における該画素の露光開始時刻との第２の時間間隔と、を等しく時間間隔ｅとする第１の駆動モードで、前記長時間露光を行うステップと前記短時間露光を行うステップとを交互に繰り返すことを特徴とする撮像方法。
【請求項１】
長時間露光と短時間露光とを交互に繰り返すことにより、広ダイナミックレンジの画像データを合成可能な撮像を行う撮像装置において、
複数の画素が配列された撮像素子と、
短時間露光における画素の露光終了時刻とその直後の長時間露光における該画素の露光開始時刻との第１の時間間隔と、該長時間露光における該画素の露光終了時刻とその直後の短時間露光における該画素の露光開始時刻との第２の時間間隔と、を等しく時間間隔ｅとする第１の駆動モードで上記撮像素子を駆動するタイミング制御部と、
を具備したことを特徴とする撮像装置。
【請求項２】
上記タイミング制御部は、連続する３つの垂直同期信号によって定まる連続する２つの垂直同期期間に、上記短時間露光と上記長時間露光とを１回ずつ行うように上記撮像素子を駆動するものであり、
上記時間間隔ｅは、連続する２つの垂直同期期間の合計期間をａ、短時間露光の露光時間をｂ、長時間露光の露光時間をｃとすると、
ｅ＝（ａ−ｂ−ｃ）／２
によって表されること特徴とする請求項１に記載の撮像装置。
【請求項３】
上記タイミング制御部は、さらに、垂直同期信号の発生から上記短時間露光における画素の信号の読み出しを開始するまでの時間と、垂直同期信号の発生から上記長時間露光における該画素の信号の読み出しを開始するまでの時間との両方を予め設定された一定時間にする制限の下に、上記第１の時間間隔と上記第２の時間間隔とが等しく上記時間間隔ｅとなるように、垂直同期信号の周期を制御するものであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記タイミング制御部は、さらに、上記垂直同期信号の周期を一定周期とする制限の下に、上記第１の時間間隔と上記第２の時間間隔とが等しく上記時間間隔ｅとなるように、垂直同期信号の発生から上記短時間露光における画素の信号の読み出しを開始するまでの時間と、垂直同期信号の発生から上記長時間露光における画素の信号の読み出しを開始するまでの時間と、を制御するものであることを特徴とする請求項２に記載の撮像装置。
【請求項５】
上記タイミング制御部は、上記第１の駆動モードに加えて、さらに、垂直同期信号の周期を一定周期とする制限と、垂直同期信号の発生から上記短時間露光における画素の信号の読み出しを開始するまでの時間と、垂直同期信号の発生から上記長時間露光における該画素の信号の読み出しを開始するまでの時間との両方を予め設定された一定時間にする制限と、の両方を満たす第２の駆動モードでも上記撮像素子を駆動可能であり、単位時間に上記垂直同期信号が発生される数である撮像フレームレートが所定フレームレート未満であるときには上記第１の駆動モードで上記撮像素子を駆動し、該撮像フレームレートが該所定フレームレート以上であるときには上記第２の駆動モードで上記撮像素子を駆動するものであることを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記所定フレームレートは、１２０ｆｐｓであることを特徴とする請求項５に記載の撮像装置。
【請求項７】
上記タイミング制御部は、上記第１の駆動モードに加えて、さらに、垂直同期信号の周期を一定周期とする制限と、垂直同期信号の発生から上記短時間露光における画素の信号の読み出しを開始するまでの時間と、垂直同期信号の発生から上記長時間露光における該画素の信号の読み出しを開始するまでの時間との両方を予め設定された一定時間にする制限と、の両方を満たす第２の駆動モードでも上記撮像素子を駆動可能であり、上記長時間露光の露光時間が垂直同期期間の所定割合以上であるときには上記第１の駆動モードで上記撮像素子を駆動し、該長時間露光の露光時間が該垂直同期期間の所定割合未満であるときには上記第２の駆動モードで上記撮像素子を駆動するものであることを特徴とする請求項１に記載の撮像装置。
【請求項８】
相前後するタイミングの長時間露光と短時間露光とにより得られた２つの画像データを処理して、広ダイナミックレンジの画像データを合成する合成処理部をさらに具備したことを特徴とする請求項１から請求項７の何れか一項に記載の撮像装置。
【請求項９】
請求項１から請求項７の何れか一項に記載の撮像装置と、
上記撮像装置による相前後するタイミングの長時間露光と短時間露光とにより得られた２つの画像データを処理して、広ダイナミックレンジの画像データを合成する合成処理部と、
を具備したことを特徴とする撮像システム。
【請求項１０】
長時間露光と短時間露光とを交互に繰り返すことにより、広ダイナミックレンジの画像データを合成可能な撮像を行う撮像方法において、
複数の画素が配列された撮像素子により長時間露光を行うステップと、
上記撮像素子により短時間露光を行うステップと、
を有し、タイミング制御部が前記撮像素子を駆動することにより、短時間露光における画素の露光終了時刻とその直後の長時間露光における該画素の露光開始時刻との第１の時間間隔と、該長時間露光における該画素の露光終了時刻とその直後の短時間露光における該画素の露光開始時刻との第２の時間間隔と、を等しく時間間隔ｅとする第１の駆動モードで、前記長時間露光を行うステップと前記短時間露光を行うステップとを交互に繰り返すことを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２１１６２０（Ｐ２０１１−２１１６２０Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７９０７７（Ｐ２０１０−７９０７７）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]