画像合成装置
【課題】いかなる撮影条件においても動画の品位低下を軽減する。
【解決手段】１フレーム内で所定より長い露光時間の画像と複数の短い露光時間の画像の信号を出力する撮像手段と、撮影条件に基づき１フレーム内の複数の短い露光時間の画像の中で長い露光時間の画像を挟む少なくとも２枚の画像を選択する画像選択手段と、画像選択手段で選択された画像合成する画像合成手段と、を有することを特徴とする。
【解決手段】１フレーム内で所定より長い露光時間の画像と複数の短い露光時間の画像の信号を出力する撮像手段と、撮影条件に基づき１フレーム内の複数の短い露光時間の画像の中で長い露光時間の画像を挟む少なくとも２枚の画像を選択する画像選択手段と、画像選択手段で選択された画像合成する画像合成手段と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理技術に関する。
【背景技術】
【０００２】
高速で複数の画像を取得し、それら画像を適宜合成する事で高品位な静止画や動画を得る技術が特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７-２７４２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された技術においては固定時間で露光した各フレームの重みづけを事ならせて合成する事で露出の制御を行う事が出来る。しかしながら輝度の高い被写体領域においては露光時点で既に画像信号が飽和している為に重みづけを変化させても高品位の露出制御が行えない恐れがある。
【０００５】
上記撮影条件における飽和問題を回避する為には露光条件を変更した画像を複数枚取得し被写体の明るさに応じて選択、合成する手法が考えられる。しかしその様な構成で露光時間の短い画像のみを選択して合成するとそれら画像を連続再生した時に滑らかな動画にならず動画品位を低下してしまう。
【０００６】
本発明は上記課題に鑑みてなされたものであり、いかなる撮影条件においても動画の品位低下を軽減することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成する為の、本発明の一様態による画像合成装置は以下の構成を備える。すなわち、
１フレーム内で所定より長い露光時間の画像と複数の短い露光時間の画像の信号を出力する撮像手段と、撮影条件に基づき１フレーム内の複数の短い露光時間の画像の中で長い露光時間の画像を挟む少なくとも２枚の画像を選択する画像選択手段と、画像選択手段で選択された画像合成する画像合成手段で画像合成装置を構成する。
【発明の効果】
【０００８】
本発明によれば画像の品位低下を軽減することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施形態における画像合成装置のブロック図
【図２】第１実施形態の画像取得タイミングを説明する図
【図３】第１実施形態の画像の選択、合成を説明する図
【図４】第１実施形態の画像処理を説明するフローチャート
【図５】第２実施形態の画像取得タイミングを説明する図
【図６】第２実施形態の画像の選択、合成を説明する図
【図７】第２実施形態の画像の選択、合成の別形態を説明する図
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明の好適な実施形態を説明する。
【００１１】
［第１実施形態］
図１は本発明の第１実施形態における光学機器の図であり、１１は撮影光軸、１２はカメラ本体、１３は固定レンズ１３ａ、変倍レンズ１３ｂ、ＡＦレンズ１３ｃ、光学ローパスフィルタ１３ｄ、及び撮像素子１３eで構成される撮影光学系であり鏡筒１４に保持されている。またＡＦレンズ１３ｃは不図示のアクチュエータにより矢印１５方向に駆動される。シャッタ１６は適切な露光期間の間シャッタ羽根１７を開く事で被写体からの光束を撮像素子１３ｅに導く。１８は背面液晶モニタである。
【００１２】
カメラ本体１２に内蔵されるＣＰＵ１９は本発明に関連する要素のみブロック図としてカメラ本体１２の外に示してある。ＣＰＵ１９内は画像処理手段１１０、露光制御手段１１１、画像一時記憶手段１１３、画像選択手段１１４、画像合成手段１１５、画像記録手段１１６、画像再生手段１１７、評価値算出手段１１９、ＡＦ駆動制御手段１２０を有する。
【００１３】
露光制御手段１１１はシャッタ駆動手段１１２を介してシャッタ羽根１７の開閉駆動制御を行う。また、画像再生手段１１７は再生駆動手段１１８を介して背面液晶モニタ１８に記録画像の再生を行う。ＡＦ駆動制御手段１２０はＡＦ駆動手段１２１を介してＡＦレンズ１３ｃを矢印１５方向に駆動制御する。
【００１４】
露光制御手段１１１は画像処理手段１１０からの被写体情報に基づいて静止画や動画撮影時に適した露光時間を設定する。そして静止画撮影時には撮影条件に見合った時間だけシャッタ羽根１７を開き、被写体光束を撮像素子１３ｅに導く事で撮像を行ない、その結果を画像処理手段１１３で処理して記録手段１１６に記録する。動画撮影時には露光制御手段１１１は動画撮影中シャッタ羽根１７を常に開状態にしておき、撮像素子の不図示の電子シャッタ機能を制御して与えられたフレーム長（例えば１／３０秒）毎に画像を更新してゆく。
【００１５】
ここで本発明においては図２を用いて詳細後述する様に、各フレーム長を所定周期のグループに分け、そのグループ内で撮影周期が異なる（露光時間が異なる）複数の画像を取得する。
【００１６】
画像一時記憶手段１１３は画像処理手段１１０で取得した１フレーム内の画像を一時的に記憶する。画像選択手段１１４は再生画像選択手段１１４ａとＡＦ画像選択手段１１４ｂで構成されており、先ずは再生画像に対して説明する。
【００１７】
再生画像選択手段１１４ａは露光制御手段１１１が設定した露光条件に基づいて画像一時記憶手段に記憶されている画像を選択する（選択方法は図２を用いて詳細後述する。）画像合成手段１１５は再生画像合成手段１１５ａとＡＦ画像合成手段１１５ｂで構成されており、先ずは再生画像に対して説明する。再生画像合成手段１１５ａは再生画像選択手段１１４ａで選択された複数の画像を合成する。ここで各画像はその取得時間が異なっている為に手ぶれや被写体の動きによる像ずれが生じている。そこで再生画像合成手段１１５ａは各画像間の像ずれを公知の技術で位置合わせした後で合成する。
【００１８】
画像記録手段１１６は再生画像合成手段１１５ａで合成された画像を記録する。画像再生手段１１７は撮影者からの要求に応じて再生駆動手段１１８を介して画像記録手段１１６の画像を背面液晶モニタ１１８に表示する。
【００１９】
ＡＦ画像選択手段１１４ｂは露光制御手段１１１が設定したＡＦ検出に適した露光条件に基づいて画像一時記憶手段１１３に記憶されている画像を選択する。（選択方法は図２を用いて詳細後述する。）ＡＦ画像合成手段１１５ｂはＡＦ画像選択手段１１４ｂで選択された複数の画像を合成する。ここでも各画像はその取得時間が異なっている為に手ぶれや被写体の動きによる像ずれが生じている。そこでＡＦ画像合成手段１１５ｂは各画像間の像ずれを公知の技術で位置合わせした後で合成する。
【００２０】
評価値算出手段１１９はＡＦ画像合成手段１１５ｂで合成された画像から画像のコントラス評価値を算出する。そしてその結果に基づいてＡＦ駆動制御手段１２０はＡＦ駆動手段１２１を介してＡＦレンズ１３ｃを矢印１５方向に合焦調節駆動する。
【００２１】
図２は動画撮影において露光制御手段１１１が撮像素子の不図示の電子シャッタ機能を制御して１フレーム長（例えば１／３０秒）毎に更新してゆく複数の画像の様子を具体的に説明する図である。
【００２２】
図２において、横軸は経過時間、縦軸は各画像の画面上の高さを示している。そして撮像素子１３ｅとしてＣＭＯＳタイプのイメージャーを用いて電子シャッタ−で画像を取得する場合にはいわゆるローリングシャッタ−読み出しの為に画像の上下で露光タイミングがずれる事になる。
【００２３】
図２において１フレーム長２３（１／３０）を第１のグループ２２ａ、第２のグループ２２ｂ（１／６０）に分けている。露光制御手段１１１は予め定めた所定時間である１／２００秒より短い１／５００秒の画像２1ａ、１／２５０秒の画像２１ｂ、および予め定めた所定時間である１／２００秒より長い１／１２５秒の画像２１ｃを取得し第１のグループ２２ａに格納する。同様に露光制御手段１１１は１／５００秒の画像２１ｄ、１／２５０秒の画像２１ｅ、１／１２５秒の画像２１ｆを取得し第２のグループ２２ｂに格納する。
【００２４】
図示していないが、次のフレームに対しても同様な動作を繰り返す。
【００２５】
ここでグループ内の各画像は異なる露光時間で取得されており、図２においては１／５００秒、１／２５０秒、１／１２５秒の様にその時間を倍ずつに伸ばしている。しかしながら、この各画像の露光時間の比や、その並べる順番はこれに限られるものではない。
【００２６】
図３は画像一時記憶手段１１３に記憶された画像を再生画像選択手段１１４ａ及びＡＦ画像選択手段１１４ｂで選択する方法を説明する図である。
【００２７】
例えば再生画像としては１／８０秒程度の露光時間が好ましいと露光制御手段１１１が判定した場合には再生画像選択手段１１４ａは第１グループ２２ａの画像２１ａ、２１ｂおよび第２グループ２２ｂの画像２１ｄ、２１ｅを選択する。即ち予め定めた所定時間である１／２００秒より長い１／１２５秒の画像２１ｃを挟む画像２１ａ、２１ｂおよびグループを跨ぎ画像２１ｄ、２１ｅを選択する。またＡＦ評価の為には１／２５０秒程度の露光時間が好ましいと露光制御手段１１１が判定した場合にはＡＦ画像選択手段１１４ｂは第１グループ２２ａの画像２１ａおよび第２グループ２２ｂの画像２１ｄを選択する。
【００２８】
その後に再生画像合成手段１１５ａ、ＡＦ画像合成手段１１５ｂは各々再生画像選択手段１１４ａ及びＡＦ画像選択手段１１４ｂで選択された画像を位置合わせ合成する。
【００２９】
ここで再生画像合成手段１１５ａが合成する画像２３は露出の異なる複数画像の合成であるために、ダイナミックレンジの広い画像が得られる。それに対してＡＦ画像合成手段１１５ｂが合成する画像２４は露出の揃った短時間の画像である為にダイナミックレンジは再生画像ほど広くはないが手ぶれが少なく焦点検出に適した画像が得られる。
【００３０】
図４は本発明の画像選択、合成動作を説明するフローチャートであり、このフローは動画撮影開始と共にスタートする。
【００３１】
ステップＳ１０１では露光制御手段１１１は撮像素子の不図示の電子シャッタ機能を制御して適正露光の動画を与えられたフレーム長（例えば１／３０秒）毎に更新してゆく。
【００３２】
ここで前述した様に、各フレーム長を所定周期のグループに分け、そのグループ内で撮影周期が異なる（露光時間が異なる）複数の画像を取得する。
【００３３】
ステップ１０２では１フレームの撮影が終了するまでステップ１０１、ステップ１０２を循環して待機する。
【００３４】
ステップ１０３では露光制御手段１１１は画像処理手段１１０からの被写体情報に基づいて動画撮影時に適した再生画像用の露光時間及びＡＦ検出用の露光時間を設定し、その為に必要な画像合成の組み合わせを求める。
【００３５】
ステップ１０４では画像一時記憶手段１１３に記憶されている画像処理手段１１０で取得した１フレーム内の画像をステップ１０４の結果に基づいて再生画像選択手段１１４ａとＡＦ画像選択手段が選択する。
【００３６】
ここで再生画像選択手段１１４ａとＡＦ画像選択手段は画像グループを跨いだ選択を行う。即ち第１グループ２２ａ、第２グル―プ２２ｂの各々の画像を選択することで予め定めた所定時間である１／２００秒より長い１／１２５秒の画像を挟む短い露光時間の画像を選択する事になる。
【００３７】
ステップ１０５では画像合成手段１１５及びＡＦ画像合成手段１１５ｂはステップ１０４で選択された複数の画像を合成する。ここで各画像はその取得時間が異なっている為に手ぶれや被写体の動きによる像ずれが生じている。そこで再生画像合成手段１１５ａ及びＡＦ画像合成手段１１５は各画像間の像ずれを公知の技術で位置合わせした後で合成する。
【００３８】
ステップ１０６では評価値算出手段１１９はＡＦ画像合成手段１１５ｂで合成された画像から画像のコントラス評価値を算出する。
【００３９】
ステップ１０７では評価値算出手段１１９の結果に基づいてＡＦ駆動制御手段１２０はＡＦ駆動手段１２１を介してＡＦレンズ１３ｃを合焦調節駆動する。
【００４０】
ステップ１０８では画像再生手段１１７は撮影者からの要求に応じて再生駆動手段１１８を介して画像記録手段１１６の画像を背面液晶モニタ１１８に表示する。
【００４１】
ステップ１０９では画像記録手段１１６は再生画像合成手段１１５ａで合成された画像を記録する。
【００４２】
以上説明した様に本発明においては１フレーム２３内で所定より長い露光時間の画像２１ｃ、２１ｆと複数の短い露光時間の画像２１ａ、２１ｂ、２１ｄ、２１ｆの信号を出力する撮像手段１３ｅと、撮影条件に基づき１フレーム内の複数の短い露光時間の画像の中で長い露光時間の画像２１ｃを挟む少なくとも２枚の画像２１ａ、２１ｂ、２１ｄ、２１ｆを選択する画像選択手段１１４と、画像選択手段で選択された画像を合成する画像合成手段１１５で画像合成装置を構成する。
【００４３】
具体的にはグループ（第１のグループ２２ａ、第２のグル―プ２２ｂ）毎に複数画像の信号を異なる露光時間で出力する撮像手段１３ｅと、撮影条件に基づき前記グループを跨いで画像を選択する画像選択手段１１４と、選択手段で選択された画像を合成する画像合成手段１１５で画像合成装置を構成する。
【００４４】
これにより適正露出且つ滑らかな動きの高品位動画を得る事が出来た。
【００４５】
［第２実施形態］
図５は第２実施形態において動画撮影に露光制御手段１１１が撮像素子の不図示の電子シャッタ機能を制御して１フレーム長（例えば１／３０秒）毎に更新してゆく複数の画像の様子を具体的に説明する図である。尚、ブロック図は第１実施形態（図１）と同様な為説明は省く。
【００４６】
第２実施形態では第１実施形態と異なり、１フレーム長２３（１／３０）のグループ分けは行っていない。露光制御手段１１１は１／３００秒の画像５1ｂ、５１ｄ、１／１５０秒の画像５１ａ、５１ｅ、１／７５秒の画像５１ｃを取得する。
【００４７】
図示していないが、次のフレームに対しても同様な動作を繰り返す。
【００４８】
図６は画像一時記憶手段１１３に記憶された画像を再生画像選択手段１１４ａ及びＡＦ画像選択手段１１４ｂで選択する方法を説明する図である。
【００４９】
例えば再生画像としては１／５０秒程度の露光時間が好ましいと露光制御手段１１１が判定した場合には再生画像選択手段１１４ａは画像５１ｂ、５１ｃ、５１ｄを選択する。ここで露光時時間の短い画像５１ｂ、５１ｄを選択する事で輝度の高い被写体による画像信号飽和を防いでいる。ＡＦ評価の為には１／１００秒程度の露光時間が好ましいと露光制御手段１１１が判定した場合にはＡＦ画像選択手段１１４ｂは画像５１ａ、５１ｂを選択する。その後に再生画像合成手段１１５ａ、ＡＦ画像合成手段１１５ｂは各々再生画像選択手段１１４ａ及びＡＦ画像選択手段１１４ｂで選択された画像を位置合わせ合成する。
【００５０】
再生用の合成画像５３を構成する露光時間の短い画像５１ｂ、５１ｄはそれより長い画像５１ｃを挟んでいる。その為５１ｂ、５１ｄの間には時間的なズレが生じ、それにより合成画像５３は適度なブレで滑らかな動画が得られる。また、ＡＦ用の合成画像５４は隣り合う画像５１ａ、５１ｂで構成される為に時間的なずれが少なくシャープな合成画像になる。
【００５１】
図７は画像一時記憶手段１１３に記憶された画像を再生画像選択手段１１４ａ及びＡＦ画像選択手段１１４ｂで選択する別の方法を説明する図である。
【００５２】
例えば再生画像としては１／１５０秒程度の露光時間が好ましいと露光制御手段１１１が判定した場合には再生画像選択手段１１４ａは画像５１ｂ、５１ｄを選択する。ここで露光時時間の短い画像５１ｂ、５１ｄを選択する事で輝度の高い被写体による画像信号飽和を防いでいる。ＡＦ評価の為には１／１００秒程度の露光時間が好ましいと露光制御手段１１１が判定した場合にはＡＦ画像選択手段１１４ｂは画像５１ａ、５１ｂを選択する。その後に再生画像合成手段１１５ａ、ＡＦ画像合成手段１１５ｂは各々再生画像選択手段１１４ａ及びＡＦ画像選択手段１１４ｂで選択された画像を位置合わせ合成する。
【００５３】
再生用の合成画像５３を構成する露光時間の短い画像５１ｂ、５１ｄはそれより長い画像５１ｃを挟んでいる。その為５１ｂ、５１ｄの間には時間的なズレが生じ、それにより合成画像５３は適度なブレで滑らかな動画が得られる。また、ＡＦ用の合成画像５４は隣り合う画像５１ａ、５１ｂで構成される為に時間的なずれが少なくシャープな合成画像になる。
【００５４】
以上説明した様に本発明においては１フレーム２３内で所定より長い露光時間の画像５１ｃと複数の短い露光時間の画像５１ａ、５１ｂ、５１ｄ、５１ｆの信号を出力する撮像手段１３ｅと、撮影条件に基づき１フレーム内の複数の短い露光時間の画像の中で長い露光時間の画像５１ｃを挟む少なくとも２枚の画像５１ｂ、５１ｄを選択する画像選択手段１１４と、画像選択手段で選択された画像を合成する画像合成手段１１５で画像合成装置を構成する。
【００５５】
これにより適正露出且つ滑らかな動きの高品位動画を得る事が出来た。
【符号の説明】
【００５６】
１２ カメラ本体
１３ 撮影光学系
１３ｅ 撮像素子
１４ 鏡筒
１１０ 画像処理手段
１１１ 露光制御手段
１１３ 画像一時記憶手段
１１４ 画像選択手段
１１５ 画像合成手段
１１６ 画像記録手段
１１７ 画像再生手段
１１９ 評価値算出手段
１２０ ＡＦ駆動制御手段
【技術分野】
【０００１】
本発明は画像処理技術に関する。
【背景技術】
【０００２】
高速で複数の画像を取得し、それら画像を適宜合成する事で高品位な静止画や動画を得る技術が特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７-２７４２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された技術においては固定時間で露光した各フレームの重みづけを事ならせて合成する事で露出の制御を行う事が出来る。しかしながら輝度の高い被写体領域においては露光時点で既に画像信号が飽和している為に重みづけを変化させても高品位の露出制御が行えない恐れがある。
【０００５】
上記撮影条件における飽和問題を回避する為には露光条件を変更した画像を複数枚取得し被写体の明るさに応じて選択、合成する手法が考えられる。しかしその様な構成で露光時間の短い画像のみを選択して合成するとそれら画像を連続再生した時に滑らかな動画にならず動画品位を低下してしまう。
【０００６】
本発明は上記課題に鑑みてなされたものであり、いかなる撮影条件においても動画の品位低下を軽減することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成する為の、本発明の一様態による画像合成装置は以下の構成を備える。すなわち、
１フレーム内で所定より長い露光時間の画像と複数の短い露光時間の画像の信号を出力する撮像手段と、撮影条件に基づき１フレーム内の複数の短い露光時間の画像の中で長い露光時間の画像を挟む少なくとも２枚の画像を選択する画像選択手段と、画像選択手段で選択された画像合成する画像合成手段で画像合成装置を構成する。
【発明の効果】
【０００８】
本発明によれば画像の品位低下を軽減することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施形態における画像合成装置のブロック図
【図２】第１実施形態の画像取得タイミングを説明する図
【図３】第１実施形態の画像の選択、合成を説明する図
【図４】第１実施形態の画像処理を説明するフローチャート
【図５】第２実施形態の画像取得タイミングを説明する図
【図６】第２実施形態の画像の選択、合成を説明する図
【図７】第２実施形態の画像の選択、合成の別形態を説明する図
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明の好適な実施形態を説明する。
【００１１】
［第１実施形態］
図１は本発明の第１実施形態における光学機器の図であり、１１は撮影光軸、１２はカメラ本体、１３は固定レンズ１３ａ、変倍レンズ１３ｂ、ＡＦレンズ１３ｃ、光学ローパスフィルタ１３ｄ、及び撮像素子１３eで構成される撮影光学系であり鏡筒１４に保持されている。またＡＦレンズ１３ｃは不図示のアクチュエータにより矢印１５方向に駆動される。シャッタ１６は適切な露光期間の間シャッタ羽根１７を開く事で被写体からの光束を撮像素子１３ｅに導く。１８は背面液晶モニタである。
【００１２】
カメラ本体１２に内蔵されるＣＰＵ１９は本発明に関連する要素のみブロック図としてカメラ本体１２の外に示してある。ＣＰＵ１９内は画像処理手段１１０、露光制御手段１１１、画像一時記憶手段１１３、画像選択手段１１４、画像合成手段１１５、画像記録手段１１６、画像再生手段１１７、評価値算出手段１１９、ＡＦ駆動制御手段１２０を有する。
【００１３】
露光制御手段１１１はシャッタ駆動手段１１２を介してシャッタ羽根１７の開閉駆動制御を行う。また、画像再生手段１１７は再生駆動手段１１８を介して背面液晶モニタ１８に記録画像の再生を行う。ＡＦ駆動制御手段１２０はＡＦ駆動手段１２１を介してＡＦレンズ１３ｃを矢印１５方向に駆動制御する。
【００１４】
露光制御手段１１１は画像処理手段１１０からの被写体情報に基づいて静止画や動画撮影時に適した露光時間を設定する。そして静止画撮影時には撮影条件に見合った時間だけシャッタ羽根１７を開き、被写体光束を撮像素子１３ｅに導く事で撮像を行ない、その結果を画像処理手段１１３で処理して記録手段１１６に記録する。動画撮影時には露光制御手段１１１は動画撮影中シャッタ羽根１７を常に開状態にしておき、撮像素子の不図示の電子シャッタ機能を制御して与えられたフレーム長（例えば１／３０秒）毎に画像を更新してゆく。
【００１５】
ここで本発明においては図２を用いて詳細後述する様に、各フレーム長を所定周期のグループに分け、そのグループ内で撮影周期が異なる（露光時間が異なる）複数の画像を取得する。
【００１６】
画像一時記憶手段１１３は画像処理手段１１０で取得した１フレーム内の画像を一時的に記憶する。画像選択手段１１４は再生画像選択手段１１４ａとＡＦ画像選択手段１１４ｂで構成されており、先ずは再生画像に対して説明する。
【００１７】
再生画像選択手段１１４ａは露光制御手段１１１が設定した露光条件に基づいて画像一時記憶手段に記憶されている画像を選択する（選択方法は図２を用いて詳細後述する。）画像合成手段１１５は再生画像合成手段１１５ａとＡＦ画像合成手段１１５ｂで構成されており、先ずは再生画像に対して説明する。再生画像合成手段１１５ａは再生画像選択手段１１４ａで選択された複数の画像を合成する。ここで各画像はその取得時間が異なっている為に手ぶれや被写体の動きによる像ずれが生じている。そこで再生画像合成手段１１５ａは各画像間の像ずれを公知の技術で位置合わせした後で合成する。
【００１８】
画像記録手段１１６は再生画像合成手段１１５ａで合成された画像を記録する。画像再生手段１１７は撮影者からの要求に応じて再生駆動手段１１８を介して画像記録手段１１６の画像を背面液晶モニタ１１８に表示する。
【００１９】
ＡＦ画像選択手段１１４ｂは露光制御手段１１１が設定したＡＦ検出に適した露光条件に基づいて画像一時記憶手段１１３に記憶されている画像を選択する。（選択方法は図２を用いて詳細後述する。）ＡＦ画像合成手段１１５ｂはＡＦ画像選択手段１１４ｂで選択された複数の画像を合成する。ここでも各画像はその取得時間が異なっている為に手ぶれや被写体の動きによる像ずれが生じている。そこでＡＦ画像合成手段１１５ｂは各画像間の像ずれを公知の技術で位置合わせした後で合成する。
【００２０】
評価値算出手段１１９はＡＦ画像合成手段１１５ｂで合成された画像から画像のコントラス評価値を算出する。そしてその結果に基づいてＡＦ駆動制御手段１２０はＡＦ駆動手段１２１を介してＡＦレンズ１３ｃを矢印１５方向に合焦調節駆動する。
【００２１】
図２は動画撮影において露光制御手段１１１が撮像素子の不図示の電子シャッタ機能を制御して１フレーム長（例えば１／３０秒）毎に更新してゆく複数の画像の様子を具体的に説明する図である。
【００２２】
図２において、横軸は経過時間、縦軸は各画像の画面上の高さを示している。そして撮像素子１３ｅとしてＣＭＯＳタイプのイメージャーを用いて電子シャッタ−で画像を取得する場合にはいわゆるローリングシャッタ−読み出しの為に画像の上下で露光タイミングがずれる事になる。
【００２３】
図２において１フレーム長２３（１／３０）を第１のグループ２２ａ、第２のグループ２２ｂ（１／６０）に分けている。露光制御手段１１１は予め定めた所定時間である１／２００秒より短い１／５００秒の画像２1ａ、１／２５０秒の画像２１ｂ、および予め定めた所定時間である１／２００秒より長い１／１２５秒の画像２１ｃを取得し第１のグループ２２ａに格納する。同様に露光制御手段１１１は１／５００秒の画像２１ｄ、１／２５０秒の画像２１ｅ、１／１２５秒の画像２１ｆを取得し第２のグループ２２ｂに格納する。
【００２４】
図示していないが、次のフレームに対しても同様な動作を繰り返す。
【００２５】
ここでグループ内の各画像は異なる露光時間で取得されており、図２においては１／５００秒、１／２５０秒、１／１２５秒の様にその時間を倍ずつに伸ばしている。しかしながら、この各画像の露光時間の比や、その並べる順番はこれに限られるものではない。
【００２６】
図３は画像一時記憶手段１１３に記憶された画像を再生画像選択手段１１４ａ及びＡＦ画像選択手段１１４ｂで選択する方法を説明する図である。
【００２７】
例えば再生画像としては１／８０秒程度の露光時間が好ましいと露光制御手段１１１が判定した場合には再生画像選択手段１１４ａは第１グループ２２ａの画像２１ａ、２１ｂおよび第２グループ２２ｂの画像２１ｄ、２１ｅを選択する。即ち予め定めた所定時間である１／２００秒より長い１／１２５秒の画像２１ｃを挟む画像２１ａ、２１ｂおよびグループを跨ぎ画像２１ｄ、２１ｅを選択する。またＡＦ評価の為には１／２５０秒程度の露光時間が好ましいと露光制御手段１１１が判定した場合にはＡＦ画像選択手段１１４ｂは第１グループ２２ａの画像２１ａおよび第２グループ２２ｂの画像２１ｄを選択する。
【００２８】
その後に再生画像合成手段１１５ａ、ＡＦ画像合成手段１１５ｂは各々再生画像選択手段１１４ａ及びＡＦ画像選択手段１１４ｂで選択された画像を位置合わせ合成する。
【００２９】
ここで再生画像合成手段１１５ａが合成する画像２３は露出の異なる複数画像の合成であるために、ダイナミックレンジの広い画像が得られる。それに対してＡＦ画像合成手段１１５ｂが合成する画像２４は露出の揃った短時間の画像である為にダイナミックレンジは再生画像ほど広くはないが手ぶれが少なく焦点検出に適した画像が得られる。
【００３０】
図４は本発明の画像選択、合成動作を説明するフローチャートであり、このフローは動画撮影開始と共にスタートする。
【００３１】
ステップＳ１０１では露光制御手段１１１は撮像素子の不図示の電子シャッタ機能を制御して適正露光の動画を与えられたフレーム長（例えば１／３０秒）毎に更新してゆく。
【００３２】
ここで前述した様に、各フレーム長を所定周期のグループに分け、そのグループ内で撮影周期が異なる（露光時間が異なる）複数の画像を取得する。
【００３３】
ステップ１０２では１フレームの撮影が終了するまでステップ１０１、ステップ１０２を循環して待機する。
【００３４】
ステップ１０３では露光制御手段１１１は画像処理手段１１０からの被写体情報に基づいて動画撮影時に適した再生画像用の露光時間及びＡＦ検出用の露光時間を設定し、その為に必要な画像合成の組み合わせを求める。
【００３５】
ステップ１０４では画像一時記憶手段１１３に記憶されている画像処理手段１１０で取得した１フレーム内の画像をステップ１０４の結果に基づいて再生画像選択手段１１４ａとＡＦ画像選択手段が選択する。
【００３６】
ここで再生画像選択手段１１４ａとＡＦ画像選択手段は画像グループを跨いだ選択を行う。即ち第１グループ２２ａ、第２グル―プ２２ｂの各々の画像を選択することで予め定めた所定時間である１／２００秒より長い１／１２５秒の画像を挟む短い露光時間の画像を選択する事になる。
【００３７】
ステップ１０５では画像合成手段１１５及びＡＦ画像合成手段１１５ｂはステップ１０４で選択された複数の画像を合成する。ここで各画像はその取得時間が異なっている為に手ぶれや被写体の動きによる像ずれが生じている。そこで再生画像合成手段１１５ａ及びＡＦ画像合成手段１１５は各画像間の像ずれを公知の技術で位置合わせした後で合成する。
【００３８】
ステップ１０６では評価値算出手段１１９はＡＦ画像合成手段１１５ｂで合成された画像から画像のコントラス評価値を算出する。
【００３９】
ステップ１０７では評価値算出手段１１９の結果に基づいてＡＦ駆動制御手段１２０はＡＦ駆動手段１２１を介してＡＦレンズ１３ｃを合焦調節駆動する。
【００４０】
ステップ１０８では画像再生手段１１７は撮影者からの要求に応じて再生駆動手段１１８を介して画像記録手段１１６の画像を背面液晶モニタ１１８に表示する。
【００４１】
ステップ１０９では画像記録手段１１６は再生画像合成手段１１５ａで合成された画像を記録する。
【００４２】
以上説明した様に本発明においては１フレーム２３内で所定より長い露光時間の画像２１ｃ、２１ｆと複数の短い露光時間の画像２１ａ、２１ｂ、２１ｄ、２１ｆの信号を出力する撮像手段１３ｅと、撮影条件に基づき１フレーム内の複数の短い露光時間の画像の中で長い露光時間の画像２１ｃを挟む少なくとも２枚の画像２１ａ、２１ｂ、２１ｄ、２１ｆを選択する画像選択手段１１４と、画像選択手段で選択された画像を合成する画像合成手段１１５で画像合成装置を構成する。
【００４３】
具体的にはグループ（第１のグループ２２ａ、第２のグル―プ２２ｂ）毎に複数画像の信号を異なる露光時間で出力する撮像手段１３ｅと、撮影条件に基づき前記グループを跨いで画像を選択する画像選択手段１１４と、選択手段で選択された画像を合成する画像合成手段１１５で画像合成装置を構成する。
【００４４】
これにより適正露出且つ滑らかな動きの高品位動画を得る事が出来た。
【００４５】
［第２実施形態］
図５は第２実施形態において動画撮影に露光制御手段１１１が撮像素子の不図示の電子シャッタ機能を制御して１フレーム長（例えば１／３０秒）毎に更新してゆく複数の画像の様子を具体的に説明する図である。尚、ブロック図は第１実施形態（図１）と同様な為説明は省く。
【００４６】
第２実施形態では第１実施形態と異なり、１フレーム長２３（１／３０）のグループ分けは行っていない。露光制御手段１１１は１／３００秒の画像５1ｂ、５１ｄ、１／１５０秒の画像５１ａ、５１ｅ、１／７５秒の画像５１ｃを取得する。
【００４７】
図示していないが、次のフレームに対しても同様な動作を繰り返す。
【００４８】
図６は画像一時記憶手段１１３に記憶された画像を再生画像選択手段１１４ａ及びＡＦ画像選択手段１１４ｂで選択する方法を説明する図である。
【００４９】
例えば再生画像としては１／５０秒程度の露光時間が好ましいと露光制御手段１１１が判定した場合には再生画像選択手段１１４ａは画像５１ｂ、５１ｃ、５１ｄを選択する。ここで露光時時間の短い画像５１ｂ、５１ｄを選択する事で輝度の高い被写体による画像信号飽和を防いでいる。ＡＦ評価の為には１／１００秒程度の露光時間が好ましいと露光制御手段１１１が判定した場合にはＡＦ画像選択手段１１４ｂは画像５１ａ、５１ｂを選択する。その後に再生画像合成手段１１５ａ、ＡＦ画像合成手段１１５ｂは各々再生画像選択手段１１４ａ及びＡＦ画像選択手段１１４ｂで選択された画像を位置合わせ合成する。
【００５０】
再生用の合成画像５３を構成する露光時間の短い画像５１ｂ、５１ｄはそれより長い画像５１ｃを挟んでいる。その為５１ｂ、５１ｄの間には時間的なズレが生じ、それにより合成画像５３は適度なブレで滑らかな動画が得られる。また、ＡＦ用の合成画像５４は隣り合う画像５１ａ、５１ｂで構成される為に時間的なずれが少なくシャープな合成画像になる。
【００５１】
図７は画像一時記憶手段１１３に記憶された画像を再生画像選択手段１１４ａ及びＡＦ画像選択手段１１４ｂで選択する別の方法を説明する図である。
【００５２】
例えば再生画像としては１／１５０秒程度の露光時間が好ましいと露光制御手段１１１が判定した場合には再生画像選択手段１１４ａは画像５１ｂ、５１ｄを選択する。ここで露光時時間の短い画像５１ｂ、５１ｄを選択する事で輝度の高い被写体による画像信号飽和を防いでいる。ＡＦ評価の為には１／１００秒程度の露光時間が好ましいと露光制御手段１１１が判定した場合にはＡＦ画像選択手段１１４ｂは画像５１ａ、５１ｂを選択する。その後に再生画像合成手段１１５ａ、ＡＦ画像合成手段１１５ｂは各々再生画像選択手段１１４ａ及びＡＦ画像選択手段１１４ｂで選択された画像を位置合わせ合成する。
【００５３】
再生用の合成画像５３を構成する露光時間の短い画像５１ｂ、５１ｄはそれより長い画像５１ｃを挟んでいる。その為５１ｂ、５１ｄの間には時間的なズレが生じ、それにより合成画像５３は適度なブレで滑らかな動画が得られる。また、ＡＦ用の合成画像５４は隣り合う画像５１ａ、５１ｂで構成される為に時間的なずれが少なくシャープな合成画像になる。
【００５４】
以上説明した様に本発明においては１フレーム２３内で所定より長い露光時間の画像５１ｃと複数の短い露光時間の画像５１ａ、５１ｂ、５１ｄ、５１ｆの信号を出力する撮像手段１３ｅと、撮影条件に基づき１フレーム内の複数の短い露光時間の画像の中で長い露光時間の画像５１ｃを挟む少なくとも２枚の画像５１ｂ、５１ｄを選択する画像選択手段１１４と、画像選択手段で選択された画像を合成する画像合成手段１１５で画像合成装置を構成する。
【００５５】
これにより適正露出且つ滑らかな動きの高品位動画を得る事が出来た。
【符号の説明】
【００５６】
１２ カメラ本体
１３ 撮影光学系
１３ｅ 撮像素子
１４ 鏡筒
１１０ 画像処理手段
１１１ 露光制御手段
１１３ 画像一時記憶手段
１１４ 画像選択手段
１１５ 画像合成手段
１１６ 画像記録手段
１１７ 画像再生手段
１１９ 評価値算出手段
１２０ ＡＦ駆動制御手段
【特許請求の範囲】
【請求項１】
１フレーム内で所定より長い露光時間の画像と所定より短い露光時間の複数画像の信号を出力する撮像手段と、
撮影条件に基づき１フレーム内の前記所定より短い露光時間の複数画像の中で前記所定より長い露光時間の画像を挟む少なくとも２枚の画像を選択する画像選択手段と、
該画像選択手段で選択された画像を合成する画像合成手段で構成された画像合成装置。
【請求項２】
１フレーム内でグループ毎に複数の画像信号を異なる露光時間で出力する撮像手段と、
撮影条件に基づき前記グループを跨いで画像信号を選択する画像選択手段と、
画像選択手段で選択された画像信号を合成する合成手段で構成された請求項１に記載の画像合成装置。
【請求項１】
１フレーム内で所定より長い露光時間の画像と所定より短い露光時間の複数画像の信号を出力する撮像手段と、
撮影条件に基づき１フレーム内の前記所定より短い露光時間の複数画像の中で前記所定より長い露光時間の画像を挟む少なくとも２枚の画像を選択する画像選択手段と、
該画像選択手段で選択された画像を合成する画像合成手段で構成された画像合成装置。
【請求項２】
１フレーム内でグループ毎に複数の画像信号を異なる露光時間で出力する撮像手段と、
撮影条件に基づき前記グループを跨いで画像信号を選択する画像選択手段と、
画像選択手段で選択された画像信号を合成する合成手段で構成された請求項１に記載の画像合成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−８１０６０（Ｐ２０１３−８１０６０Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２１９７８２（Ｐ２０１１−２１９７８２）
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]