撮像装置及びその制御方法、並びにプログラム
【課題】露出の異なる複数枚の画像を合成して合成画像を生成するために要する処理の負荷を低減する。
【解決手段】撮像装置１００は、被写体を、異なる複数の露出条件を一度ずつ用いて予め定められた間隔で連続して撮像する連続撮像を複数回に渡り行うことが可能な撮像手段と、撮像手段により、複数回に渡り連続撮像を行う場合、２回目以降の連続撮像では、連続撮像における最初の撮像での露出条件を、前に行われた連続撮像における最後の露出条件と一致させるように撮像手段を制御する制御手段と、撮像手段による連続撮像ごとに得られた複数の画像を１つの画像に合成する合成手段とを備えた。
【解決手段】撮像装置１００は、被写体を、異なる複数の露出条件を一度ずつ用いて予め定められた間隔で連続して撮像する連続撮像を複数回に渡り行うことが可能な撮像手段と、撮像手段により、複数回に渡り連続撮像を行う場合、２回目以降の連続撮像では、連続撮像における最初の撮像での露出条件を、前に行われた連続撮像における最後の露出条件と一致させるように撮像手段を制御する制御手段と、撮像手段による連続撮像ごとに得られた複数の画像を１つの画像に合成する合成手段とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法、並びにプログラムに関し、特に、複数の画像を合成して１つの画像を生成する撮像装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子を用いたデジタルスチルカメラやデジタルビデオカメラが数多く開発されている。
【０００３】
これらのカメラにおける撮影画像のダイナミックレンジは、通常、固体撮像素子のもつダイナミックレンジ性能に依存されることとなる。そのため逆光をはじめとする主被写体と背景の明暗差が大きい条件などでは、主被写体を適正露出に調整しても、背景には白とびや黒つぶれ等が発生してしまっていた。
【０００４】
このような課題に対応するため、複数画像合成によるダイナミックレンジ拡大手法が開発されている（例えば、特許文献１参照）。
【０００５】
これは画面の領域毎に、露出条件の異なる複数の画像から被写体のコントラストが残存している部分を有効に活用した画像処理を施すことによって、撮影画像の実質的なダイナミックレンジを拡大するものである。
【０００６】
このような技術は、従来静止画像に対して行うものが主であったが、撮像素子からの読み出し速度の高速化に伴い動画に対して施すことも活発に行われている。
【０００７】
動画において、複数画像合成を行うダイナミックレンジ拡大手法における、露出条件の異なる複数の画像の取得方法について説明する。
【０００８】
図７は、一般的なダイナミックレンジ拡大手法の複数画像の取得方法を示す撮像素子駆動タイミングチャートである。
【０００９】
図７において、出力同期信号は、複数画像合成後の画像を出力するタイミングを表す同期信号であり、この周期が画像出力のフレームレートに対応している。また撮影同期信号は、１フレームの画像を撮影するタイミングを表す同期信号であり、この周期が画像撮影のフレームレートに対応している。この例では、出力同期信号の周期は撮影同期信号の周期の２倍の周期となっている。
【００１０】
撮影画像及び合成後出力画像は撮影及び生成タイミングを示す概念図として表現しており、高露出画像をＨｉｇｈ、低露出画像をＬｏｗ、合成後のダイナミックレンジ拡大画像をＨＤＲとしている。また、露出切り替え処理負荷が発生するタイミングを概念図であらわしている。
【００１１】
同図に示される取得方法では、時刻Ｔ１のタイミングで、自動露出（ＡＥ）処理から得られる被写体の適正露出条件を元に、適正露出条件よりプラス１段の高露出の条件を算出し、その条件で高露出画像の撮影を行う。
【００１２】
このとき、図に示される通りの露出切り替え処理が生じることとなる。この露出切り替え処理負荷は、ＣＰＵの計算処理等に加え、撮像素子の露光時間の切り替え指示、信号増幅量の切り替え指示、絞り値変更指示等に要する処理負荷や、それに伴う撮像素子や絞り機構の動作等を意味している。
【００１３】
続く時刻Ｔ２のタイミングで、適正露出条件よりマイナス１段の低露出の条件を算出し、その条件で低露出画像の撮影を行う。このときにも図示の通り露出切り替え処理負荷が生じることとなる。
【００１４】
続く時刻Ｔ３のタイミングで、２フレーム前に撮影した高露出画像と１フレーム前に撮像した低露出画像から生成されたダイナミックレンジ拡大画像を動画像として出力する。これと同時に、時刻Ｔ１の時と同様に露出切り替え処理と次フレームの高露出画像の撮影を行う。
【００１５】
以上の様に、出力動画像のフレームレートの倍の速度で高露出と低露出の画像撮影を切り替える動作を繰り返し、ダイナミックレンジ拡大画像を生成するための複数画像を取得している。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特公平０７−９７８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、上述した従来技術では、合成画像同士の露光時刻のずれを縮小化するため、可能な限り高速の読み出しが求められている。そのため、合成する画像処理の負荷などといった課題と同様に、高速の読み出しに伴う制御、特に高速の読み出しに対応した露出切り替え処理がＣＰＵ処理等の各種処理負荷を圧迫することとなる。
【００１８】
本発明の目的は、露出の異なる複数枚の画像を合成して合成画像を生成するために要する処理の負荷を低減した撮像装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、請求項１の撮像装置は、被写体を、異なる複数の露出条件を一度ずつ用いて予め定められた間隔で連続して撮像する連続撮像を複数回に渡り行うことが可能な撮像手段と、前記撮像手段により、複数回に渡り連続撮像を行う場合、２回目以降の連続撮像では、当該連続撮像における最初の撮像での露出条件を、前に行われた連続撮像における最後の露出条件と一致させるように前記撮像手段を制御する制御手段と、前記撮像手段による連続撮像ごとに得られた複数の画像を１つの画像に合成する合成手段とを備えたことを特徴とする。
【発明の効果】
【００２０】
本発明によれば、露出の異なる複数枚の画像を合成して合成画像を生成するために要する処理の負荷を低減することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態に係る撮像装置の概略構成を示す図である。
【図２】図１におけるシステム制御回路により実行される撮像処理の手順を示すフローチャートである。
【図３】複数画像合成後の画像を出力するタイミングを表す撮像素子駆動タイミングチャートである。
【図４】図１におけるシステム制御回路により実行される撮像処理の手順を示すフローチャートである。
【図５】図１におけるシステム制御回路により実行される撮像処理の手順を示すフローチャートである。
【図６】複数画像合成後の画像を出力するタイミングを表す撮像素子駆動タイミングチャートである。
【図７】一般的なダイナミックレンジ拡大手法の複数画像の取得方法を示す撮像素子駆動タイミングチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００２３】
［第１の実施の形態］
図１は、本発明の実施の形態に係る撮像装置１００の概略構成を示す図である。
【００２４】
図１において、撮影レンズ１１０は被写体像を撮像素子１２０に導く。この撮影レンズ１１０を１つのレンズとして表しているが、実際にはフォーカスレンズやズームレンズ等、複数のレンズから構成されている。また、絞り機構もここに含まれる。
【００２５】
レンズ制御部１１１はシステム制御回路１８０による制御に基づいて、撮影レンズ１１０のフォーカスやズーム、絞りを制御する。
【００２６】
撮像素子１２０は、光電変換により入射光量に応じた電荷を生成して出力するＣＭＯＳセンサであり、全画素の信号を読み出す以外に、特定の画素の加算および特定の行または列おきに間引いて電荷を読み出すこともできる。
【００２７】
撮像素子駆動回路１２１は、システム制御回路１８０による制御に基づいて撮像素子１２０を駆動する。この撮像素子駆動回路１２１の制御に基づいて、撮像素子１２０の撮影時露光時間や信号増幅量などを変更することができる。
【００２８】
撮像素子１２０から出力された画像信号は、ダイナミックレンジ拡大回路２００を内包する画像処理回路１３０に取り込まれる。ダイナミックレンジ拡大回路２００は予めメモリ部１４０に保存された高露出画像及び低露出画像を用いてダイナミックレンジ拡大画像を生成する機能を備えている。このダイナミックレンジ拡大回路２００は、撮像手段による連続撮像ごとに得られた複数の画像を１つの画像に合成する合成手段に対応する。
【００２９】
また、動き検出回路２１０は、被写体の移動量を検出する検出手段に対応し、必要に応じてフレーム及びその前のフレームの画像から主被写体の動き量を検出する処理を行い、処理結果をシステム制御回路１８０に伝達することが出来る。
【００３０】
画像処理回路１３０は、画像信号をデジタル変換するとともにガンマ処理、色信号処理などの各種信号処理を行い、画像データを出力する。この処理では、画像信号をメモリ部１４０との間で書き込み／読み出し処理をしている。また、画像処理回路１３０の出力はＬＣＤ１５０にて表示することも可能となっている。
【００３１】
画像処理回路１３０で画像処理により出力された画像データは、画像変換回路１６０を介して圧縮され、メモリカード１７０に書き込まれ、記録される。
【００３２】
画像変換回路１６０は、画像処理回路１３０からの画像データを圧縮してメモリカード１７０へ出力する機能と、メモリカード１７０より読み出した画像データを伸長して画像処理回路１３０へ出力する機能とを有する。
【００３３】
また、システム制御回路１８０は、画像処理回路１３０から出力された画像データを用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理等を行う。
【００３４】
なお、システム制御回路１８０は、画像撮影時の露出条件について、自動露出（ＡＥ）処理の結果やダイナミックレンジ拡大に必要な条件などから任意の条件を算出し、レンズ制御部１１１や撮像素子駆動回路１２１に制御指示をすることができる。
【００３５】
また、操作部１９０は、例えば、レリーズ釦やモード切り換えダイヤルなど、撮影者が撮像装置１００に指示を入力するための操作部であり、入力内容はシステム制御回路１８０に通知される。
【００３６】
上記撮像レンズ１１０、レンズ制御部１１１、撮像素子１２０、及び撮像素子駆動回路１２１が、撮像手段に対応する。
【００３７】
図２は、図１におけるシステム制御回路１８０により実行される撮像処理の手順を示すフローチャートである。
【００３８】
図３は、複数画像合成後の画像を出力するタイミングを表す撮像素子駆動タイミングチャートである。
【００３９】
図２において、１フレームを生成するために撮影する２枚の画像のうち１枚目を１ｓｔフレーム、２枚目を２ｎｄフレームと呼ぶ。また、図３では、１ｓｔフレームを１ｓｔ、２ｎｄフレームを２ｎｄとしている。
【００４０】
図３において、出力同期信号は、複数画像合成後の画像を出力するタイミングを表す同期信号であり、この周期が画像出力のフレームレートに対応している。また撮影同期信号は、１フレームの画像を撮影するタイミングを表す同期信号であり、この周期が画像撮影のフレームレートに対応している。従って、撮像装置１００は、予め定められた間隔で連続して撮像する連続撮像を複数回に渡り行うことが可能となっている。この例では、出力同期信号の周期は撮影同期信号の周期の２倍の周期となっている。図３において、連続撮像は、異なる複数の露出条件（High,Low）を一度ずつ用いて予め定められた間隔で連続して撮像するものである。従って、連続撮像は、出力同期信号１周期で１回だけ行われることとなる。
【００４１】
なお、撮影画像及び合成画像は撮影及び生成タイミングを示す概念図として表しており、高露出画像をＨｉｇｈ、低露出画像をＬｏｗ、合成後のダイナミックレンジ拡大画像をＨＤＲとして表記している。また、露出切り替え処理負荷も発生するタイミングも示されている。
【００４２】
これら図２、及び図３を用いて、本実施の形態での１フレームの画像の撮像方法について説明する。
【００４３】
時刻Ｔ１において、前フレームと同じ露出条件にて１ｓｔフレームの撮影を行い、撮影画像をメモリ部１４０に保存する（ステップＳ２０１）。
【００４４】
続く時刻Ｔ２において、システム制御回路１８０は、自動露出（ＡＥ）処理から得られる被写体の適正露出条件を算出する（ステップＳ２０２）。この適正露出条件は、被写体の明るさ、及び撮像素子１２０の感度によって定まる。以下の説明で用いられる適正露出条件も同じ意味である。
【００４５】
上記ステップＳ２０１において撮像された１ｓｔフレームの撮像時露出条件が低露出条件であるか否か判別する（ステップＳ２０３）。
【００４６】
ステップＳ２０３の判別の結果、１ｓｔフレームの撮像時露出条件が低露出条件のとき（ステップＳ２０３でＹＥＳ）、露出条件を適正露出条件＋１段とした高露出条件に変更し（ステップＳ２０４）、ステップＳ２０６に進む。
【００４７】
一方、１ｓｔフレームの撮像時露出条件が低露出条件ではないとき（ステップＳ２０３でＮＯ）、露出条件を適正露出条件−１段とした低露出条件に変更し（ステップＳ２０５）、ステップＳ２０６に進む。このように、露出条件は、適正露出条件に応じた露出条件である。
【００４８】
ステップＳ２０４及び２０５で変更された露出条件は、システム制御回路１８０からレンズ制御部１１１及び撮像素子駆動回路１２１に指示される。
【００４９】
次いで、変更された露出条件にて２ｎｄフレームを撮像し（ステップＳ２０６）、撮影画像をメモリ部１４０に保存する。
【００５０】
続いて時刻Ｔ３において、メモリ部１４０の高露出画像及び低露出画像を用い、ダイナミックレンジ拡大回路２００にて合成処理を行い、１フレームのダイナミックレンジ拡大画像を生成する（ステップＳ２０７）。
【００５１】
次いで、ステップＳ２０７にて生成された１フレームの画像に画像処理回路１３０の各画像処理を施し、出力画像としてメモリカード１７０に保存するとともにＬＣＤ１５０に表示し（ステップＳ２０８）、本処理を終了する。
【００５２】
なお、高露出画像と低露出画像を利用したダイナミックレンジ合成処理方法は、特許文献１をはじめ一般的な方法であるため詳細については省略する。
【００５３】
上記撮像処理に示される処理を毎フレーム行うことで動画像の撮影及び保存を行っている。
【００５４】
図２に示される処理の場合、あるフレームでは１ｓｔフレームが高露出で２ｎｄフレームが低露出になるのに対し、その次のフレームでは１ｓｔフレームが低露出で２ｎｄフレームが高露出になる。しかしこの違いはダイナミックレンジ拡大回路２００で各画像の合成処理を行うのに何ら障害とはならない。
【００５５】
上記に示した通り、本実施の形態における撮像処理ではステップＳ２０１にて前フレームと同じ露出条件を用いた撮影とすることにより、従来技術と比較して露出条件の切り替えを削減することが出来ている。
【００５６】
なお、本実施の形態では説明を簡単にするため高露出、低露出の露出条件をそれぞれプラス１段、マイナス１段としたが、適宜変更しても同様の効果が期待できることは言うまでもない。
【００５７】
また、図２の撮像処理のうち、ステップＳ２０１〜ステップＳ２０６が制御手段に対応する。そして、図２の撮像処理によれば、複数回に渡り連続撮像を行う場合、２回目以降の連続撮像では、当該連続撮像における最初の撮像での露出条件を、前に行われた連続撮像における最後の露出条件と一致させるように撮像手段を制御する。その結果、（High,Low）、（High,Low）・・として撮像する場合と比較して、露出条件の切り換えを低減できるので、露出の異なる複数枚の画像を合成して合成画像を生成するために要する処理の負荷を低減することができる。
【００５８】
本実施の形態によれば、露出の異なる複数枚の画像を合成してダイナミックレンジ拡大画像を生成する動画システムにおいて、撮影時の露出切り替えの周期を低減した撮像装置を提供することができる。
【００５９】
［第２の実施の形態］
第２の実施の形態は、例えば高露出画像にて白とびし、低露出画像にて鮮明な被写体像が撮像された場合、図３のように低露出画像が等間隔となってないときは、被写体が高速に移動する際に動きの滑らかさが損なわれることを回避するための実施の形態である。
【００６０】
そのため、第２の実施の形態は、被写体の動きが小さいときには第１の実施の形態と同様に露出切り替え処理を低減する一方、被写体の動きが大きいときには高露出画像、低露出画像の撮影タイミングを等間隔となるように撮影シーケンスを切り替える。
【００６１】
前者は図３に示すタイミングチャート、後者は図７に示すタイミングチャートの通りとなる。また、第２の実施の形態においても、撮像装置１００の構成は、図１に示した構成と同じ構成となっている。
【００６２】
図４は、図１におけるシステム制御回路１８０により実行される撮像処理の手順を示すフローチャートである。
【００６３】
時刻Ｔ１において、前フレームの画像及び前々フレームの画像を動き検出回路２１０に入力し、主被写体の移動量Ｍを算出する（ステップＳ５０１）。移動量Ｍは、フレーム間で主被写体のエッジ部にあたる座標の差分を積算し、求められる値である。動き量の検出に関しては一般的な技術であるので詳細は省略する。
【００６４】
次いで、移動量Ｍが予め定められた閾値Ｔｈ未満か否か判別する（ステップＳ５０２）。ステップＳ５０２の判別の結果、移動量Ｍが閾値Ｔｈ未満のとき（ステップＳ５０２でＹＥＳ）、動きが微少であると判断し、前フレームと同じ露出条件にて１ｓｔフレームの撮影を行い、撮影画像をメモリ部１４０に保存する（ステップＳ５０３）。
【００６５】
続く時刻Ｔ２において、システム制御回路１８０は、自動露出（ＡＥ）処理から得られる被写体の適正露出条件を算出する（ステップＳ５０４）。
【００６６】
上記ステップＳ５０３において撮像された１ｓｔフレームの撮像時露出条件が低露出条件であるか否か判別する（ステップＳ５０５）。
【００６７】
ステップＳ５０５の判別の結果、１ｓｔフレームの撮像時露出条件が低露出条件のとき（ステップＳ５０５でＹＥＳ）、露出条件を適正露出条件＋１段とした高露出条件に変更し（ステップＳ５０７）、ステップＳ５０８に進む。
【００６８】
一方、１ｓｔフレームの撮像時露出条件が低露出条件ではないとき（ステップＳ５０５でＮＯ）、露出条件を適正露出条件−１段とした低露出条件に変更し（ステップＳ５０６）、ステップＳ５０８に進む。
【００６９】
ステップＳ５０６及び５０７で変更された露出条件は、システム制御回路１８０からレンズ制御部１１１及び撮像素子駆動回路１２１に指示される。
【００７０】
次いで、変更された露出条件にて２ｎｄフレームを撮像し（ステップＳ５０８）、撮影画像をメモリ部１４０に保存する。
【００７１】
続いて時刻Ｔ３において、メモリ部１４０の高露出画像及び低露出画像を用い、ダイナミックレンジ拡大回路２００にて合成処理を行い、１フレームのダイナミックレンジ拡大画像を生成する（ステップＳ５０９）。
【００７２】
次いで、ステップＳ５０９にて生成された１フレームの画像に画像処理回路１３０の各画像処理を施し、出力画像としてメモリカード１７０に保存するとともにＬＣＤ１５０に表示し（ステップＳ５１０）、本処理を終了する。
【００７３】
一方、移動量Ｍが閾値Ｔｈ以上のとき（ステップＳ５０２でＮＯ）、システム制御回路１８０は自動露出（ＡＥ）処理から得られる被写体の適正露出条件を算出する（ステップＳ５１１）。
【００７４】
次いで、露出条件を適正露出条件＋１段の高露出の条件を算出してこれに変更し（ステップＳ５１２）、その露出条件をレンズ制御部１１１及び撮像素子駆動回路１２１に指示する。
【００７５】
次いで、変更した露出条件にて１ｓｔフレームを撮像し（ステップＳ５１３）、撮像画像をメモリ部１４０に保存する。
【００７６】
続く時刻Ｔ２において、露出条件を適正露出条件−１段の低露出の条件を算出してこれに変更し（ステップＳ５１４）、その露出条件をレンズ制御部１１１及び撮像素子駆動回路１２１に指示する。
【００７７】
この露出条件にて２ｎｄフレームを撮像し（ステップＳ５１５）、撮影画像をメモリ部１４０に保存して、上述したステップＳ５０９に進む。
【００７８】
上述したように、図４の処理では主被写体の動きが小さいときには露出切り替え処理を低減することが出来る。一方で主被写体の動きが大きいときには、高露出画像及び低露出画像の撮影タイミングが等間隔となるように露出切り替えを行うことで、出力動画像における主被写体の動きを滑らかにすることが可能となる。
【００７９】
図４の撮像処理のうち、ステップＳ５０３〜ステップＳ５０８が、制御手段に対応する。また、ステップＳ５１１〜ステップＳ５１５が他の制御手段に対応する。そして、図４の撮像処理によれば、検出された移動量が、予め定められた閾値未満の場合には、制御手段による制御を行う。一方、検出された移動量が、予め定められた閾値以上の場合には、同一の露出条件による撮像が等間隔で行われるように撮像手段を制御する。
【００８０】
本実施の形態によれば、被写体の動きが小さいときは撮像時の露出切り替えの周期を低減しつつ、動きが大きいときはその滑らかさを損なうことなくダイナミックレンジ拡大画像を生成することができる。
【００８１】
［第３の実施の形態］
本実施の形態は、第１の実施の形態における出力同期信号の周期が撮影同期信号の周期の２倍の周期であったのに対し、３倍の周期となっている場合の実施の形態である。この場合、撮影時の露出切り替えの周期を低減しつつ、適正露出となる画像の撮影タイミングを等間隔となる。その結果、被写体が高速に移動する際も動きの滑らかさを損なわないようにすることができる。
【００８２】
図５は、図１におけるシステム制御回路１８０により実行される撮像処理の手順を示すフローチャートである。
【００８３】
図６は、複数画像合成後の画像を出力するタイミングを表す撮像素子駆動タイミングチャートである。
【００８４】
図６において、出力同期信号は、複数画像合成後の画像を出力するタイミングを表す同期信号であり、この周期が画像出力のフレームレートに対応している。また撮影同期信号は、１フレームの画像を撮影するタイミングを表す同期信号であり、この周期が画像撮影のフレームレートに対応している。この例では、出力同期信号の周期は撮影同期信号の周期の３倍の周期となっている。
【００８５】
図５において、１フレームを生成するために撮像する３枚の画像のうち１枚目を１ｓｔフレーム、２枚目を２ｎｄフレーム、３枚目を３ｒｄフレームと呼ぶ。また、図６では、１ｓｔフレームを１ｓｔ、２ｎｄフレームを２ｎｄ、３ｒｄフレームを３ｒｄとしている。
【００８６】
さらに、図６において、撮像画像及び合成画像は撮像及び生成タイミングを示す概念図としてあらわしており、高露出画像をＨｉｇｈ、適正露出画像をＭｉｄ、低露出画像をＬｏｗ、合成後のダイナミックレンジ拡大画像をＨＤＲとして表記している。また、露出切り替え処理負荷も発生するタイミングも示されている。
【００８７】
時刻Ｔ１において、前フレームと同じ露出条件にて１ｓｔフレームの撮影を行い（ステップＳ６０１）、撮影画像をメモリ部１４０に保存する。
【００８８】
続く時刻Ｔ２において、システム制御回路１８０は自動露出（ＡＥ）処理から得られる被写体の適正露出条件を算出する（ステップＳ６０２）。この適正露出条件を露出条件に変更するようにレンズ制御部１１１及び撮像素子駆動回路１２１に指示する（ステップＳ６０３）。
【００８９】
この適正露出条件にて２ｎｄフレームを撮像し（ステップＳ６０４）、撮影画像をメモリ部１４０に保存する。
【００９０】
続く時刻Ｔ３において、上記ステップＳ６０１において撮像された１ｓｔフレームの撮像時露出条件が低露出条件であるか否か判別する（ステップＳ６０５）。
【００９１】
ステップＳ６０５の判別の結果、１ｓｔフレームの撮像時露出条件が低露出条件のとき（ステップＳ６０５でＹＥＳ）、露出条件を適正露出条件＋１段とした高露出条件に変更し（ステップＳ６０６）、ステップＳ６０８に進む。
【００９２】
一方、１ｓｔフレームの撮像時露出条件が低露出条件ではないとき（ステップＳ６０５でＮＯ）、露出条件を適正露出条件−１段とした低露出条件に変更し（ステップＳ６０７）、ステップＳ６０８に進む。
【００９３】
ステップＳ６０６及び６０７で変更された露出条件は、システム制御回路１８０からレンズ制御部１１１及び撮像素子駆動回路１２１に指示される。
【００９４】
次いで、変更された露出条件にて３ｒｄフレームを撮像し（ステップＳ６０８）、撮影画像をメモリ部１４０に保存する。
【００９５】
続いてＴ４において、メモリ部１４０の高露出画像、適正露出画像及び低露出画像を用い、ダイナミックレンジ拡大回路２００にて合成処理を行い、１フレームのダイナミックレンジ拡大画像を生成する（ステップＳ６０９）。
【００９６】
次いで、ステップＳ６０９にて生成された１フレームの画像に画像処理回路１３０の各画像処理を施し、出力画像としてメモリカード１７０に保存するとともにＬＣＤ１５０に表示し（ステップＳ６１０）、本処理を終了する。
【００９７】
なお、高露出画像と低露出画像を利用したダイナミックレンジ合成処理方法は、特許文献１をはじめ一般的な方法であるため詳細については省略する。
【００９８】
上記撮像処理に示される処理を毎フレーム行うことで動画像の撮影及び保存を行っている。
【００９９】
本実施の形態における撮像処理ではステップＳ６０１にて前フレームと同じ露出条件を用いた撮影とすることにより、従来技術と比較して露出条件の切り替えを削減することが出来ている。
【０１００】
なお、本実施の形態では説明を簡単にするため高露出、低露出の露出条件をそれぞれプラス１段、マイナス１段としたが、適宜変更しても同様の効果が期待できることは言うまでもない。
【０１０１】
本実施の形態によれば、露出の異なる複数枚の画像を合成してダイナミックレンジ拡大画像を生成する動画システムにおいて、撮像時の露出切り替えの周期を低減し、さらに被写体の動きの滑らかさを損なわない撮像装置を提供することができる。
【０１０２】
以上、本発明をその好適な実施の形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【０１０３】
１００ 撮像装置
１１０ レンズ
１１１ レンズ制御部
１２０ 撮像素子
１２１ 撮像素子駆動回路
１３０ 画像処理回路
１４０ メモリ部
１６０ 画像変換回路
１７０ メモリカード
２００ ダイナミックレンジ拡大回路
２１０ 動き検出回路
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法、並びにプログラムに関し、特に、複数の画像を合成して１つの画像を生成する撮像装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子を用いたデジタルスチルカメラやデジタルビデオカメラが数多く開発されている。
【０００３】
これらのカメラにおける撮影画像のダイナミックレンジは、通常、固体撮像素子のもつダイナミックレンジ性能に依存されることとなる。そのため逆光をはじめとする主被写体と背景の明暗差が大きい条件などでは、主被写体を適正露出に調整しても、背景には白とびや黒つぶれ等が発生してしまっていた。
【０００４】
このような課題に対応するため、複数画像合成によるダイナミックレンジ拡大手法が開発されている（例えば、特許文献１参照）。
【０００５】
これは画面の領域毎に、露出条件の異なる複数の画像から被写体のコントラストが残存している部分を有効に活用した画像処理を施すことによって、撮影画像の実質的なダイナミックレンジを拡大するものである。
【０００６】
このような技術は、従来静止画像に対して行うものが主であったが、撮像素子からの読み出し速度の高速化に伴い動画に対して施すことも活発に行われている。
【０００７】
動画において、複数画像合成を行うダイナミックレンジ拡大手法における、露出条件の異なる複数の画像の取得方法について説明する。
【０００８】
図７は、一般的なダイナミックレンジ拡大手法の複数画像の取得方法を示す撮像素子駆動タイミングチャートである。
【０００９】
図７において、出力同期信号は、複数画像合成後の画像を出力するタイミングを表す同期信号であり、この周期が画像出力のフレームレートに対応している。また撮影同期信号は、１フレームの画像を撮影するタイミングを表す同期信号であり、この周期が画像撮影のフレームレートに対応している。この例では、出力同期信号の周期は撮影同期信号の周期の２倍の周期となっている。
【００１０】
撮影画像及び合成後出力画像は撮影及び生成タイミングを示す概念図として表現しており、高露出画像をＨｉｇｈ、低露出画像をＬｏｗ、合成後のダイナミックレンジ拡大画像をＨＤＲとしている。また、露出切り替え処理負荷が発生するタイミングを概念図であらわしている。
【００１１】
同図に示される取得方法では、時刻Ｔ１のタイミングで、自動露出（ＡＥ）処理から得られる被写体の適正露出条件を元に、適正露出条件よりプラス１段の高露出の条件を算出し、その条件で高露出画像の撮影を行う。
【００１２】
このとき、図に示される通りの露出切り替え処理が生じることとなる。この露出切り替え処理負荷は、ＣＰＵの計算処理等に加え、撮像素子の露光時間の切り替え指示、信号増幅量の切り替え指示、絞り値変更指示等に要する処理負荷や、それに伴う撮像素子や絞り機構の動作等を意味している。
【００１３】
続く時刻Ｔ２のタイミングで、適正露出条件よりマイナス１段の低露出の条件を算出し、その条件で低露出画像の撮影を行う。このときにも図示の通り露出切り替え処理負荷が生じることとなる。
【００１４】
続く時刻Ｔ３のタイミングで、２フレーム前に撮影した高露出画像と１フレーム前に撮像した低露出画像から生成されたダイナミックレンジ拡大画像を動画像として出力する。これと同時に、時刻Ｔ１の時と同様に露出切り替え処理と次フレームの高露出画像の撮影を行う。
【００１５】
以上の様に、出力動画像のフレームレートの倍の速度で高露出と低露出の画像撮影を切り替える動作を繰り返し、ダイナミックレンジ拡大画像を生成するための複数画像を取得している。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特公平０７−９７８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、上述した従来技術では、合成画像同士の露光時刻のずれを縮小化するため、可能な限り高速の読み出しが求められている。そのため、合成する画像処理の負荷などといった課題と同様に、高速の読み出しに伴う制御、特に高速の読み出しに対応した露出切り替え処理がＣＰＵ処理等の各種処理負荷を圧迫することとなる。
【００１８】
本発明の目的は、露出の異なる複数枚の画像を合成して合成画像を生成するために要する処理の負荷を低減した撮像装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、請求項１の撮像装置は、被写体を、異なる複数の露出条件を一度ずつ用いて予め定められた間隔で連続して撮像する連続撮像を複数回に渡り行うことが可能な撮像手段と、前記撮像手段により、複数回に渡り連続撮像を行う場合、２回目以降の連続撮像では、当該連続撮像における最初の撮像での露出条件を、前に行われた連続撮像における最後の露出条件と一致させるように前記撮像手段を制御する制御手段と、前記撮像手段による連続撮像ごとに得られた複数の画像を１つの画像に合成する合成手段とを備えたことを特徴とする。
【発明の効果】
【００２０】
本発明によれば、露出の異なる複数枚の画像を合成して合成画像を生成するために要する処理の負荷を低減することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態に係る撮像装置の概略構成を示す図である。
【図２】図１におけるシステム制御回路により実行される撮像処理の手順を示すフローチャートである。
【図３】複数画像合成後の画像を出力するタイミングを表す撮像素子駆動タイミングチャートである。
【図４】図１におけるシステム制御回路により実行される撮像処理の手順を示すフローチャートである。
【図５】図１におけるシステム制御回路により実行される撮像処理の手順を示すフローチャートである。
【図６】複数画像合成後の画像を出力するタイミングを表す撮像素子駆動タイミングチャートである。
【図７】一般的なダイナミックレンジ拡大手法の複数画像の取得方法を示す撮像素子駆動タイミングチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００２３】
［第１の実施の形態］
図１は、本発明の実施の形態に係る撮像装置１００の概略構成を示す図である。
【００２４】
図１において、撮影レンズ１１０は被写体像を撮像素子１２０に導く。この撮影レンズ１１０を１つのレンズとして表しているが、実際にはフォーカスレンズやズームレンズ等、複数のレンズから構成されている。また、絞り機構もここに含まれる。
【００２５】
レンズ制御部１１１はシステム制御回路１８０による制御に基づいて、撮影レンズ１１０のフォーカスやズーム、絞りを制御する。
【００２６】
撮像素子１２０は、光電変換により入射光量に応じた電荷を生成して出力するＣＭＯＳセンサであり、全画素の信号を読み出す以外に、特定の画素の加算および特定の行または列おきに間引いて電荷を読み出すこともできる。
【００２７】
撮像素子駆動回路１２１は、システム制御回路１８０による制御に基づいて撮像素子１２０を駆動する。この撮像素子駆動回路１２１の制御に基づいて、撮像素子１２０の撮影時露光時間や信号増幅量などを変更することができる。
【００２８】
撮像素子１２０から出力された画像信号は、ダイナミックレンジ拡大回路２００を内包する画像処理回路１３０に取り込まれる。ダイナミックレンジ拡大回路２００は予めメモリ部１４０に保存された高露出画像及び低露出画像を用いてダイナミックレンジ拡大画像を生成する機能を備えている。このダイナミックレンジ拡大回路２００は、撮像手段による連続撮像ごとに得られた複数の画像を１つの画像に合成する合成手段に対応する。
【００２９】
また、動き検出回路２１０は、被写体の移動量を検出する検出手段に対応し、必要に応じてフレーム及びその前のフレームの画像から主被写体の動き量を検出する処理を行い、処理結果をシステム制御回路１８０に伝達することが出来る。
【００３０】
画像処理回路１３０は、画像信号をデジタル変換するとともにガンマ処理、色信号処理などの各種信号処理を行い、画像データを出力する。この処理では、画像信号をメモリ部１４０との間で書き込み／読み出し処理をしている。また、画像処理回路１３０の出力はＬＣＤ１５０にて表示することも可能となっている。
【００３１】
画像処理回路１３０で画像処理により出力された画像データは、画像変換回路１６０を介して圧縮され、メモリカード１７０に書き込まれ、記録される。
【００３２】
画像変換回路１６０は、画像処理回路１３０からの画像データを圧縮してメモリカード１７０へ出力する機能と、メモリカード１７０より読み出した画像データを伸長して画像処理回路１３０へ出力する機能とを有する。
【００３３】
また、システム制御回路１８０は、画像処理回路１３０から出力された画像データを用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理等を行う。
【００３４】
なお、システム制御回路１８０は、画像撮影時の露出条件について、自動露出（ＡＥ）処理の結果やダイナミックレンジ拡大に必要な条件などから任意の条件を算出し、レンズ制御部１１１や撮像素子駆動回路１２１に制御指示をすることができる。
【００３５】
また、操作部１９０は、例えば、レリーズ釦やモード切り換えダイヤルなど、撮影者が撮像装置１００に指示を入力するための操作部であり、入力内容はシステム制御回路１８０に通知される。
【００３６】
上記撮像レンズ１１０、レンズ制御部１１１、撮像素子１２０、及び撮像素子駆動回路１２１が、撮像手段に対応する。
【００３７】
図２は、図１におけるシステム制御回路１８０により実行される撮像処理の手順を示すフローチャートである。
【００３８】
図３は、複数画像合成後の画像を出力するタイミングを表す撮像素子駆動タイミングチャートである。
【００３９】
図２において、１フレームを生成するために撮影する２枚の画像のうち１枚目を１ｓｔフレーム、２枚目を２ｎｄフレームと呼ぶ。また、図３では、１ｓｔフレームを１ｓｔ、２ｎｄフレームを２ｎｄとしている。
【００４０】
図３において、出力同期信号は、複数画像合成後の画像を出力するタイミングを表す同期信号であり、この周期が画像出力のフレームレートに対応している。また撮影同期信号は、１フレームの画像を撮影するタイミングを表す同期信号であり、この周期が画像撮影のフレームレートに対応している。従って、撮像装置１００は、予め定められた間隔で連続して撮像する連続撮像を複数回に渡り行うことが可能となっている。この例では、出力同期信号の周期は撮影同期信号の周期の２倍の周期となっている。図３において、連続撮像は、異なる複数の露出条件（High,Low）を一度ずつ用いて予め定められた間隔で連続して撮像するものである。従って、連続撮像は、出力同期信号１周期で１回だけ行われることとなる。
【００４１】
なお、撮影画像及び合成画像は撮影及び生成タイミングを示す概念図として表しており、高露出画像をＨｉｇｈ、低露出画像をＬｏｗ、合成後のダイナミックレンジ拡大画像をＨＤＲとして表記している。また、露出切り替え処理負荷も発生するタイミングも示されている。
【００４２】
これら図２、及び図３を用いて、本実施の形態での１フレームの画像の撮像方法について説明する。
【００４３】
時刻Ｔ１において、前フレームと同じ露出条件にて１ｓｔフレームの撮影を行い、撮影画像をメモリ部１４０に保存する（ステップＳ２０１）。
【００４４】
続く時刻Ｔ２において、システム制御回路１８０は、自動露出（ＡＥ）処理から得られる被写体の適正露出条件を算出する（ステップＳ２０２）。この適正露出条件は、被写体の明るさ、及び撮像素子１２０の感度によって定まる。以下の説明で用いられる適正露出条件も同じ意味である。
【００４５】
上記ステップＳ２０１において撮像された１ｓｔフレームの撮像時露出条件が低露出条件であるか否か判別する（ステップＳ２０３）。
【００４６】
ステップＳ２０３の判別の結果、１ｓｔフレームの撮像時露出条件が低露出条件のとき（ステップＳ２０３でＹＥＳ）、露出条件を適正露出条件＋１段とした高露出条件に変更し（ステップＳ２０４）、ステップＳ２０６に進む。
【００４７】
一方、１ｓｔフレームの撮像時露出条件が低露出条件ではないとき（ステップＳ２０３でＮＯ）、露出条件を適正露出条件−１段とした低露出条件に変更し（ステップＳ２０５）、ステップＳ２０６に進む。このように、露出条件は、適正露出条件に応じた露出条件である。
【００４８】
ステップＳ２０４及び２０５で変更された露出条件は、システム制御回路１８０からレンズ制御部１１１及び撮像素子駆動回路１２１に指示される。
【００４９】
次いで、変更された露出条件にて２ｎｄフレームを撮像し（ステップＳ２０６）、撮影画像をメモリ部１４０に保存する。
【００５０】
続いて時刻Ｔ３において、メモリ部１４０の高露出画像及び低露出画像を用い、ダイナミックレンジ拡大回路２００にて合成処理を行い、１フレームのダイナミックレンジ拡大画像を生成する（ステップＳ２０７）。
【００５１】
次いで、ステップＳ２０７にて生成された１フレームの画像に画像処理回路１３０の各画像処理を施し、出力画像としてメモリカード１７０に保存するとともにＬＣＤ１５０に表示し（ステップＳ２０８）、本処理を終了する。
【００５２】
なお、高露出画像と低露出画像を利用したダイナミックレンジ合成処理方法は、特許文献１をはじめ一般的な方法であるため詳細については省略する。
【００５３】
上記撮像処理に示される処理を毎フレーム行うことで動画像の撮影及び保存を行っている。
【００５４】
図２に示される処理の場合、あるフレームでは１ｓｔフレームが高露出で２ｎｄフレームが低露出になるのに対し、その次のフレームでは１ｓｔフレームが低露出で２ｎｄフレームが高露出になる。しかしこの違いはダイナミックレンジ拡大回路２００で各画像の合成処理を行うのに何ら障害とはならない。
【００５５】
上記に示した通り、本実施の形態における撮像処理ではステップＳ２０１にて前フレームと同じ露出条件を用いた撮影とすることにより、従来技術と比較して露出条件の切り替えを削減することが出来ている。
【００５６】
なお、本実施の形態では説明を簡単にするため高露出、低露出の露出条件をそれぞれプラス１段、マイナス１段としたが、適宜変更しても同様の効果が期待できることは言うまでもない。
【００５７】
また、図２の撮像処理のうち、ステップＳ２０１〜ステップＳ２０６が制御手段に対応する。そして、図２の撮像処理によれば、複数回に渡り連続撮像を行う場合、２回目以降の連続撮像では、当該連続撮像における最初の撮像での露出条件を、前に行われた連続撮像における最後の露出条件と一致させるように撮像手段を制御する。その結果、（High,Low）、（High,Low）・・として撮像する場合と比較して、露出条件の切り換えを低減できるので、露出の異なる複数枚の画像を合成して合成画像を生成するために要する処理の負荷を低減することができる。
【００５８】
本実施の形態によれば、露出の異なる複数枚の画像を合成してダイナミックレンジ拡大画像を生成する動画システムにおいて、撮影時の露出切り替えの周期を低減した撮像装置を提供することができる。
【００５９】
［第２の実施の形態］
第２の実施の形態は、例えば高露出画像にて白とびし、低露出画像にて鮮明な被写体像が撮像された場合、図３のように低露出画像が等間隔となってないときは、被写体が高速に移動する際に動きの滑らかさが損なわれることを回避するための実施の形態である。
【００６０】
そのため、第２の実施の形態は、被写体の動きが小さいときには第１の実施の形態と同様に露出切り替え処理を低減する一方、被写体の動きが大きいときには高露出画像、低露出画像の撮影タイミングを等間隔となるように撮影シーケンスを切り替える。
【００６１】
前者は図３に示すタイミングチャート、後者は図７に示すタイミングチャートの通りとなる。また、第２の実施の形態においても、撮像装置１００の構成は、図１に示した構成と同じ構成となっている。
【００６２】
図４は、図１におけるシステム制御回路１８０により実行される撮像処理の手順を示すフローチャートである。
【００６３】
時刻Ｔ１において、前フレームの画像及び前々フレームの画像を動き検出回路２１０に入力し、主被写体の移動量Ｍを算出する（ステップＳ５０１）。移動量Ｍは、フレーム間で主被写体のエッジ部にあたる座標の差分を積算し、求められる値である。動き量の検出に関しては一般的な技術であるので詳細は省略する。
【００６４】
次いで、移動量Ｍが予め定められた閾値Ｔｈ未満か否か判別する（ステップＳ５０２）。ステップＳ５０２の判別の結果、移動量Ｍが閾値Ｔｈ未満のとき（ステップＳ５０２でＹＥＳ）、動きが微少であると判断し、前フレームと同じ露出条件にて１ｓｔフレームの撮影を行い、撮影画像をメモリ部１４０に保存する（ステップＳ５０３）。
【００６５】
続く時刻Ｔ２において、システム制御回路１８０は、自動露出（ＡＥ）処理から得られる被写体の適正露出条件を算出する（ステップＳ５０４）。
【００６６】
上記ステップＳ５０３において撮像された１ｓｔフレームの撮像時露出条件が低露出条件であるか否か判別する（ステップＳ５０５）。
【００６７】
ステップＳ５０５の判別の結果、１ｓｔフレームの撮像時露出条件が低露出条件のとき（ステップＳ５０５でＹＥＳ）、露出条件を適正露出条件＋１段とした高露出条件に変更し（ステップＳ５０７）、ステップＳ５０８に進む。
【００６８】
一方、１ｓｔフレームの撮像時露出条件が低露出条件ではないとき（ステップＳ５０５でＮＯ）、露出条件を適正露出条件−１段とした低露出条件に変更し（ステップＳ５０６）、ステップＳ５０８に進む。
【００６９】
ステップＳ５０６及び５０７で変更された露出条件は、システム制御回路１８０からレンズ制御部１１１及び撮像素子駆動回路１２１に指示される。
【００７０】
次いで、変更された露出条件にて２ｎｄフレームを撮像し（ステップＳ５０８）、撮影画像をメモリ部１４０に保存する。
【００７１】
続いて時刻Ｔ３において、メモリ部１４０の高露出画像及び低露出画像を用い、ダイナミックレンジ拡大回路２００にて合成処理を行い、１フレームのダイナミックレンジ拡大画像を生成する（ステップＳ５０９）。
【００７２】
次いで、ステップＳ５０９にて生成された１フレームの画像に画像処理回路１３０の各画像処理を施し、出力画像としてメモリカード１７０に保存するとともにＬＣＤ１５０に表示し（ステップＳ５１０）、本処理を終了する。
【００７３】
一方、移動量Ｍが閾値Ｔｈ以上のとき（ステップＳ５０２でＮＯ）、システム制御回路１８０は自動露出（ＡＥ）処理から得られる被写体の適正露出条件を算出する（ステップＳ５１１）。
【００７４】
次いで、露出条件を適正露出条件＋１段の高露出の条件を算出してこれに変更し（ステップＳ５１２）、その露出条件をレンズ制御部１１１及び撮像素子駆動回路１２１に指示する。
【００７５】
次いで、変更した露出条件にて１ｓｔフレームを撮像し（ステップＳ５１３）、撮像画像をメモリ部１４０に保存する。
【００７６】
続く時刻Ｔ２において、露出条件を適正露出条件−１段の低露出の条件を算出してこれに変更し（ステップＳ５１４）、その露出条件をレンズ制御部１１１及び撮像素子駆動回路１２１に指示する。
【００７７】
この露出条件にて２ｎｄフレームを撮像し（ステップＳ５１５）、撮影画像をメモリ部１４０に保存して、上述したステップＳ５０９に進む。
【００７８】
上述したように、図４の処理では主被写体の動きが小さいときには露出切り替え処理を低減することが出来る。一方で主被写体の動きが大きいときには、高露出画像及び低露出画像の撮影タイミングが等間隔となるように露出切り替えを行うことで、出力動画像における主被写体の動きを滑らかにすることが可能となる。
【００７９】
図４の撮像処理のうち、ステップＳ５０３〜ステップＳ５０８が、制御手段に対応する。また、ステップＳ５１１〜ステップＳ５１５が他の制御手段に対応する。そして、図４の撮像処理によれば、検出された移動量が、予め定められた閾値未満の場合には、制御手段による制御を行う。一方、検出された移動量が、予め定められた閾値以上の場合には、同一の露出条件による撮像が等間隔で行われるように撮像手段を制御する。
【００８０】
本実施の形態によれば、被写体の動きが小さいときは撮像時の露出切り替えの周期を低減しつつ、動きが大きいときはその滑らかさを損なうことなくダイナミックレンジ拡大画像を生成することができる。
【００８１】
［第３の実施の形態］
本実施の形態は、第１の実施の形態における出力同期信号の周期が撮影同期信号の周期の２倍の周期であったのに対し、３倍の周期となっている場合の実施の形態である。この場合、撮影時の露出切り替えの周期を低減しつつ、適正露出となる画像の撮影タイミングを等間隔となる。その結果、被写体が高速に移動する際も動きの滑らかさを損なわないようにすることができる。
【００８２】
図５は、図１におけるシステム制御回路１８０により実行される撮像処理の手順を示すフローチャートである。
【００８３】
図６は、複数画像合成後の画像を出力するタイミングを表す撮像素子駆動タイミングチャートである。
【００８４】
図６において、出力同期信号は、複数画像合成後の画像を出力するタイミングを表す同期信号であり、この周期が画像出力のフレームレートに対応している。また撮影同期信号は、１フレームの画像を撮影するタイミングを表す同期信号であり、この周期が画像撮影のフレームレートに対応している。この例では、出力同期信号の周期は撮影同期信号の周期の３倍の周期となっている。
【００８５】
図５において、１フレームを生成するために撮像する３枚の画像のうち１枚目を１ｓｔフレーム、２枚目を２ｎｄフレーム、３枚目を３ｒｄフレームと呼ぶ。また、図６では、１ｓｔフレームを１ｓｔ、２ｎｄフレームを２ｎｄ、３ｒｄフレームを３ｒｄとしている。
【００８６】
さらに、図６において、撮像画像及び合成画像は撮像及び生成タイミングを示す概念図としてあらわしており、高露出画像をＨｉｇｈ、適正露出画像をＭｉｄ、低露出画像をＬｏｗ、合成後のダイナミックレンジ拡大画像をＨＤＲとして表記している。また、露出切り替え処理負荷も発生するタイミングも示されている。
【００８７】
時刻Ｔ１において、前フレームと同じ露出条件にて１ｓｔフレームの撮影を行い（ステップＳ６０１）、撮影画像をメモリ部１４０に保存する。
【００８８】
続く時刻Ｔ２において、システム制御回路１８０は自動露出（ＡＥ）処理から得られる被写体の適正露出条件を算出する（ステップＳ６０２）。この適正露出条件を露出条件に変更するようにレンズ制御部１１１及び撮像素子駆動回路１２１に指示する（ステップＳ６０３）。
【００８９】
この適正露出条件にて２ｎｄフレームを撮像し（ステップＳ６０４）、撮影画像をメモリ部１４０に保存する。
【００９０】
続く時刻Ｔ３において、上記ステップＳ６０１において撮像された１ｓｔフレームの撮像時露出条件が低露出条件であるか否か判別する（ステップＳ６０５）。
【００９１】
ステップＳ６０５の判別の結果、１ｓｔフレームの撮像時露出条件が低露出条件のとき（ステップＳ６０５でＹＥＳ）、露出条件を適正露出条件＋１段とした高露出条件に変更し（ステップＳ６０６）、ステップＳ６０８に進む。
【００９２】
一方、１ｓｔフレームの撮像時露出条件が低露出条件ではないとき（ステップＳ６０５でＮＯ）、露出条件を適正露出条件−１段とした低露出条件に変更し（ステップＳ６０７）、ステップＳ６０８に進む。
【００９３】
ステップＳ６０６及び６０７で変更された露出条件は、システム制御回路１８０からレンズ制御部１１１及び撮像素子駆動回路１２１に指示される。
【００９４】
次いで、変更された露出条件にて３ｒｄフレームを撮像し（ステップＳ６０８）、撮影画像をメモリ部１４０に保存する。
【００９５】
続いてＴ４において、メモリ部１４０の高露出画像、適正露出画像及び低露出画像を用い、ダイナミックレンジ拡大回路２００にて合成処理を行い、１フレームのダイナミックレンジ拡大画像を生成する（ステップＳ６０９）。
【００９６】
次いで、ステップＳ６０９にて生成された１フレームの画像に画像処理回路１３０の各画像処理を施し、出力画像としてメモリカード１７０に保存するとともにＬＣＤ１５０に表示し（ステップＳ６１０）、本処理を終了する。
【００９７】
なお、高露出画像と低露出画像を利用したダイナミックレンジ合成処理方法は、特許文献１をはじめ一般的な方法であるため詳細については省略する。
【００９８】
上記撮像処理に示される処理を毎フレーム行うことで動画像の撮影及び保存を行っている。
【００９９】
本実施の形態における撮像処理ではステップＳ６０１にて前フレームと同じ露出条件を用いた撮影とすることにより、従来技術と比較して露出条件の切り替えを削減することが出来ている。
【０１００】
なお、本実施の形態では説明を簡単にするため高露出、低露出の露出条件をそれぞれプラス１段、マイナス１段としたが、適宜変更しても同様の効果が期待できることは言うまでもない。
【０１０１】
本実施の形態によれば、露出の異なる複数枚の画像を合成してダイナミックレンジ拡大画像を生成する動画システムにおいて、撮像時の露出切り替えの周期を低減し、さらに被写体の動きの滑らかさを損なわない撮像装置を提供することができる。
【０１０２】
以上、本発明をその好適な実施の形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【０１０３】
１００ 撮像装置
１１０ レンズ
１１１ レンズ制御部
１２０ 撮像素子
１２１ 撮像素子駆動回路
１３０ 画像処理回路
１４０ メモリ部
１６０ 画像変換回路
１７０ メモリカード
２００ ダイナミックレンジ拡大回路
２１０ 動き検出回路
【特許請求の範囲】
【請求項１】
被写体を、異なる複数の露出条件を一度ずつ用いて予め定められた間隔で連続して撮像する連続撮像を複数回に渡り行うことが可能な撮像手段と、
前記撮像手段により、複数回に渡り連続撮像を行う場合、２回目以降の連続撮像では、当該連続撮像における最初の撮像での露出条件を、前に行われた連続撮像における最後の露出条件と一致させるように前記撮像手段を制御する制御手段と、
前記撮像手段による連続撮像ごとに得られた複数の画像を１つの画像に合成する合成手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記被写体の移動量を検出する検出手段をさらに備え、
前記検出手段により検出された移動量が、予め定められた閾値未満の場合には、前記制御手段による制御を行い、
前記検出手段により検出された移動量が、予め定められた閾値以上の場合には、同一の露出条件による撮像が等間隔で行われるように前記撮像手段を制御する他の制御手段をさらに備えたことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記露出条件は、被写体の明るさ、及び前記撮像手段に設けられた撮像素子の感度によって定まる適正露出条件に応じた露出条件であることを特徴する請求項１又は２記載の撮像装置。
【請求項４】
被写体を、異なる複数の露出条件を一度ずつ用いて予め定められた間隔で連続して撮像する連続撮像を複数回に渡り行うことが可能な撮像手段を備えた撮像装置の制御方法であって、
前記撮像手段により、複数回に渡り連続撮像を行う場合、２回目以降の連続撮像では、当該連続撮像における最初の撮像での露出条件を、前に行われた連続撮像における最後の露出条件と一致させるように前記撮像手段を制御する制御ステップと、
前記撮像手段による連続撮像ごとに得られた複数の画像を１つの画像に合成する合成ステップと
を備えたことを特徴とする制御方法。
【請求項５】
被写体を、異なる複数の露出条件を一度ずつ用いて予め定められた間隔で連続して撮像する連続撮像を複数回に渡り行うことが可能な撮像手段を備えた撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記制御方法は、
前記撮像手段により、複数回に渡り連続撮像を行う場合、２回目以降の連続撮像では、当該連続撮像における最初の撮像での露出条件を、前に行われた連続撮像における最後の露出条件と一致させるように前記撮像手段を制御する制御ステップと、
前記撮像手段による連続撮像ごとに得られた複数の画像を１つの画像に合成する合成ステップと
を備えたことを特徴とするプログラム。
【請求項１】
被写体を、異なる複数の露出条件を一度ずつ用いて予め定められた間隔で連続して撮像する連続撮像を複数回に渡り行うことが可能な撮像手段と、
前記撮像手段により、複数回に渡り連続撮像を行う場合、２回目以降の連続撮像では、当該連続撮像における最初の撮像での露出条件を、前に行われた連続撮像における最後の露出条件と一致させるように前記撮像手段を制御する制御手段と、
前記撮像手段による連続撮像ごとに得られた複数の画像を１つの画像に合成する合成手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記被写体の移動量を検出する検出手段をさらに備え、
前記検出手段により検出された移動量が、予め定められた閾値未満の場合には、前記制御手段による制御を行い、
前記検出手段により検出された移動量が、予め定められた閾値以上の場合には、同一の露出条件による撮像が等間隔で行われるように前記撮像手段を制御する他の制御手段をさらに備えたことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記露出条件は、被写体の明るさ、及び前記撮像手段に設けられた撮像素子の感度によって定まる適正露出条件に応じた露出条件であることを特徴する請求項１又は２記載の撮像装置。
【請求項４】
被写体を、異なる複数の露出条件を一度ずつ用いて予め定められた間隔で連続して撮像する連続撮像を複数回に渡り行うことが可能な撮像手段を備えた撮像装置の制御方法であって、
前記撮像手段により、複数回に渡り連続撮像を行う場合、２回目以降の連続撮像では、当該連続撮像における最初の撮像での露出条件を、前に行われた連続撮像における最後の露出条件と一致させるように前記撮像手段を制御する制御ステップと、
前記撮像手段による連続撮像ごとに得られた複数の画像を１つの画像に合成する合成ステップと
を備えたことを特徴とする制御方法。
【請求項５】
被写体を、異なる複数の露出条件を一度ずつ用いて予め定められた間隔で連続して撮像する連続撮像を複数回に渡り行うことが可能な撮像手段を備えた撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記制御方法は、
前記撮像手段により、複数回に渡り連続撮像を行う場合、２回目以降の連続撮像では、当該連続撮像における最初の撮像での露出条件を、前に行われた連続撮像における最後の露出条件と一致させるように前記撮像手段を制御する制御ステップと、
前記撮像手段による連続撮像ごとに得られた複数の画像を１つの画像に合成する合成ステップと
を備えたことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−７０２３４（Ｐ２０１３−７０２３４Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０７２９３（Ｐ２０１１−２０７２９３）
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]