カメラ装置、及びその撮影方法とプログラム
【課題】流し撮り撮影において主要被写体にぶれのない質の良い撮影画像を確実に得ることが可能とする。
【解決手段】記録用の被写体画像を撮像するＣＣＤ１３とは別に、同一の被写体を撮像するＣＣＤ２３を設け、撮影時におけるＣＣＤ１３の露光時間内にＣＣＤ２３に複数回の撮像動作を行わせる。複数回の撮像動作により相前後して撮像された画像間における被写体各部の移動量及び移動方向を示す動きベクトルを動き検出部３８に検出させる。ＣＰＵ３１に、検出された動きベクトルのうち主要被写体の移動量及び移動方向を示す動きベクトルを特定させ、特定した動きベクトルに基づきＣＣＤ１３の位置を制御するＣＣＤシフト方式による手振れ補正処理を実施させる。撮影時における露光時間内においても主要被写体の相対的な動きが反映された正確な揺れ情報に基づく正しい手振れ補正を行うことができる。
【解決手段】記録用の被写体画像を撮像するＣＣＤ１３とは別に、同一の被写体を撮像するＣＣＤ２３を設け、撮影時におけるＣＣＤ１３の露光時間内にＣＣＤ２３に複数回の撮像動作を行わせる。複数回の撮像動作により相前後して撮像された画像間における被写体各部の移動量及び移動方向を示す動きベクトルを動き検出部３８に検出させる。ＣＰＵ３１に、検出された動きベクトルのうち主要被写体の移動量及び移動方向を示す動きベクトルを特定させ、特定した動きベクトルに基づきＣＣＤ１３の位置を制御するＣＣＤシフト方式による手振れ補正処理を実施させる。撮影時における露光時間内においても主要被写体の相対的な動きが反映された正確な揺れ情報に基づく正しい手振れ補正を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、流し撮り撮影に用いて好適なカメラ装置、及びその撮影方法とプログラムに関するものである。
【背景技術】
【０００２】
従来、静止画撮影における撮影技法の１つに、撮影者が、移動被写体である主要被写体の移動方向にカメラを振りながら撮影するという流し撮りが知られている。この流し撮り撮影によれば、撮影画像中において主要被写体の像が静止して背景だけがボケることとなるので、撮影画像上で主要被写体の躍動感やスピード感を表現できる。
【０００３】
しかし、流し撮りは、主要被写体とカメラとが相対的に静止した状態を、撮影者が手動でカメラを移動させて作り出さなければならないため、初心者にとっては失敗しやすい撮影技法であった。
【０００４】
これを解決可能とする技術として、例えば下記特許文献１には、本撮影に先立つ「試し撮り」で得られた主要被写体の撮影画像中における移動速度を算出し、本撮影時には、算出した移動速度と予め入力された被写体の移動の向きとに基づいて、撮影画像中における主要被写体の像のぶれ（揺れ）を打ち消すように補正レンズを移動させながら、流し撮り撮影による撮影を行う技術が記載されている。
【０００５】
かかる従来技術によれば、主要被写体に対する流し撮りを自動化できるので、初心者であっても流し撮りを実行することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−５０１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術では、本撮影時における補正レンズの移動速度には、「試し撮り」時点で得た主要被写体の撮影画像中における移動速度（カメラの速度と被写体の速度との相対速度）、つまり撮影以前における移動速度を反映させているため、上記補正レンズの移動速度を、必ずしも本撮影時（露光期間内）における主要被写体の撮影画像中における移動速度と一致するとは限らない。
【０００８】
そのため、上記従来技術では、試し撮り時の画像中における主要被写体の移動速度と、本撮影時における画像中における主要被写体の移動速度とが異なるものであった場合には、本撮影時において補正レンズの移動速度に対し画像中における主要被写体の正確な移動速度が反映されないので、主要被写体の像のぶれを打ち消すように補正レンズを適切に移動させることができない。
【０００９】
その結果、上記従来技術では、本撮影で得られる撮影画像内で主要被写体の像にぶれが生じてしまい、流し撮りに失敗する場合があるという問題があった。
【００１０】
本発明は、かかる従来の課題に鑑みてなされたものであり、流し撮り撮影において主要被写体にぶれのない質の良い撮影画像を確実に得ることができるカメラ装置、及びその撮影方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記課題を解決するため、請求項１記載の発明に係るカメラ装置にあっては、第１の撮像素子により撮像した複数の被写体を含む画像を記録するカメラ装置において、前記第１の撮像素子が撮像対象とする被写体を撮像する第２の撮像素子と、この前記第２の撮像素子に、記録用の被写体画像の生成に向けた撮影時における前記第１の撮像素子の露光時間内に複数回の撮像動作を行わせる第１の撮像制御手段と、前記画像に含まれる複数の被写体の中から主要被写体を特定する特定手段と、撮影時における前記第１の撮像素子の露光時間内に前記第２の撮像素子の複数回の撮像動作により撮像された画像間における、前記特定手段により特定された前記主要被写体の移動量及び移動方向を含む揺れ情報を検出する揺れ情報検出手段と、前記露光時間内に、前記揺れ情報検出手段により検出された揺れ情報に基づき前記第１の撮像素子に対する光学像の結像位置を補正し、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止する揺れ防止手段とを備えたことを特徴とする。
【００１２】
また、請求項２記載の発明に係るカメラ装置にあっては、撮影時における前記第１の撮像素子の露光時間内に前記第２の撮像素子の複数回の撮像動作により撮像された相前後する画像間において前記複数の被写体の各々の移動量を個別に検出する個別移動量検出手段を更に備え、前記特定手段は、前記個別移動量検出手段によって検出された前記複数の被写体の各々の移動量に基づき主要被写体を特定することを特徴とする。
【００１３】
また、請求項３記載の発明に係るカメラ装置にあっては、前記特定手段は、前記複数の被写体のうちで前記個別移動量検出手段によって検出された移動量が最も小さい被写体部分に相当する領域を前記主要被写体として特定することを特徴とする。
【００１４】
また、請求項４記載の発明に係るカメラ装置にあっては、前記揺れ防止手段は、撮影光軸と垂直な平面上での前記第１の撮像素子の位置を前記揺れ情報に基づき補正することによって、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止することを特徴とする。
【００１５】
また、請求項５記載の発明に係る撮影方法にあっては、第１の撮像素子により撮像した複数の被写体を含む画像を記録するカメラ装置において、記録用の被写体画像の生成に向けた撮影時における前記第１の撮像素子の露光時間内に、前記第１の撮像素子が撮像対象とする被写体を撮像する第２の撮像素子に複数回の撮像動作を行わせる工程と、前記画像に含まれる複数の被写体の中から主要被写体を特定する工程と、撮影時における前記第１の撮像素子の露光時間内に、前記第２の撮像素子の複数回の撮像動作により撮像された画像間における、前記主要被写体を特定する工程により特定された前記主要被写体の移動量及び移動方向を含む揺れ情報を検出する工程と、前記露光時間内に、前記揺れ情報を検出する工程により検出された揺れ情報に基づき前記第１の撮像素子に対する光学像の結像位置を補正し、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止する工程とを含むことを特徴とする。
【００１６】
また、請求項６記載の発明にあっては、第１の撮像素子により撮像した複数の被写体を含む画像を記録するカメラ装置が有するコンピュータに、
記録用の被写体画像の生成に向けた撮影時における前記第１の撮像素子の露光時間内に、前記第１の撮像素子が撮像対象とする被写体を撮像する第２の撮像素子に複数回の撮像動作を行わせる処理と、
前記画像に含まれる複数の被写体の中から主要被写体を特定する処理と、
前記露光時間内に、前記第２の撮像素子の複数回の撮像動作により撮像された画像間における、前記主要被写体の移動量及び移動方向を含む揺れ情報を検出する処理と、
撮影時における前記第１の撮像素子の露光時間内に、前記揺れ情報を検出する処理により検出された揺れ情報に基づき前記第１の撮像素子に対する光学像の結像位置を補正し、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止する処理と
を実行させることを特徴とするプログラムとした。
【発明の効果】
【００１７】
本発明によれば、流し撮り撮影において主要被写体にぶれのない質の良い撮影画像を確実に得ることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係るデジタルカメラの正面図である。
【図２】同デジタルカメラの電子回路構成の概略を示すブロック図である。
【図３】主カメラブロック及び副カメラブロックの動作中にワークメモリに確保されるバッファ領域を示した概念図である。
【図４】流し撮りモードによるＣＰＵの処理手順を示すフローチャートである。
【図５】流し撮りモードでのデジタルカメラの動作内容を示すタイミングチャートである。
【図６】ユーザが設定可能な背景の流れの度合と、流れの度合に応じた規定移動量を示す説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明のカメラ装置であるデジタルカメラの正面図である。
【００２０】
図示したようにカメラ本体１の正面には沈胴式の第１の撮像レンズ２と、固定式の第２の撮像レンズ３とが配置されており、カメラ本体１の上面にはシャッタキー４が設けられている。シャッタキー４は半押し操作と全押し操作との２段階操作が可能な所謂ハーフシャッター機能を有する構成であり、半押し操作がＡＦ（オートフォーカス）動作の開始指示等として使用され、全押し操作が撮影指示として使用される。なお、図示しないがカメラ本体１の背面側には、電源キー及び、記録モード、再生モードの各モードの切り替えを行うモード切替キー、ズームキー、ＭＥＮＵキー等の複数のスイッチ類と、撮影待機状態で被写体のライブビュー画像（スルー画像）を表示したり記録済の画像を再生表示する液晶モニタ（図２参照）とが設けられている。
【００２１】
図２は、上記デジタルカメラの電気的構成の概略を示すブロック図であり、デジタルカメラは同一の被写体を個別に撮影し、略同一内容の２種類の被写体画像を取り込むための主カメラブロック１１と副カメラブロック２１とを備えている。
【００２２】
主カメラブロック１１は、前述した沈胴式の第１の撮像レンズ２を含む結像光学系ブロック１２と、ＣＣＤ１３（撮像素子）、位置補正部１４、ＩＳＰ（Image Signa1 Processor）１５、光学系駆動制御部１６とから構成されている。
【００２３】
結像光学系ブロック１２は、前記第１の撮像レンズ２であってズームレンズ及びフォーカスレンズを構成するレンズ群と、絞り及びメカニカルシャッタと、それらを駆動するためのズーム用及びフォーカス用のモータやアクチュエータから構成される。結像光学系ブロック１２の各部の動作はＣＰＵ３１の命令に従い光学系駆動制御部１６が生成する駆動信号によって制御される。
【００２４】
ＣＣＤ１３はタイミング発生器３２により生成される駆動信号により駆動され、前記結像光学系ブロック１２により結像された被写体の光学像を光電変換し、撮像信号としてＩＳＰ１５に出力する。ＣＣＤ１３は記録用の被写体画像（撮影画像）の取得に使用されるものであって、撮影時の手振れ防止を実現するために、位置補正部１４により撮影光軸と垂直な平面内での垂直方向及び水平方向の位置調整が可能となっている。
【００２５】
位置補正部１４は、ＣＣＤ１３を垂直方向に移動させる垂直用アクチュエータと、水平方向に移動させる水平用アクチュエータとから構成され、ＣＰＵ３１から送られる後述する主要被写体の相対的な移動量及び移動方向を示す移動量情報に応じてＣＣＤ位置制御部３３が生成する駆動信号により駆動され、露光面上での主要被写体の相対的な移動を打ち消すようにＣＣＤ１３を垂直方向及び水平方向へ移動させる。すなわち本実施形態においては位置補正部１４とＣＣＤ位置制御部３３とＣＰＵ３１とによって本発明の揺れ防止手段が実現されている。
【００２６】
ＩＳＰ１５は、ＣＣＤ１３から出力された撮像信号のノイズ除去やＩＳＯ感度に応じたゲイン調整を行い、デジタルの画像信号に変換した後、データフォーマット変換（ベイヤー配列から輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換）等を行い、Ｙ，Ｃｂ，Ｃｒの画像データとして出力する。
【００２７】
一方、前記副カメラブロック２１は、前述した固定式の第２の撮像レンズ３を含む結像光学系ブロック２２と、ＣＣＤ２３、ＩＳＰ（Image Signa1 Processor）２５から構成されている。結像光学系ブロック２２は単焦点レンズ、及び開度が固定の絞りから構成される。
【００２８】
ＣＣＤ２３は、後述する流し撮りモードでの撮影時に画角内の移動体の動きを検出するためのセンサとして使用される本発明の第２の撮像素子であって、主カメラブロック１１のＣＣＤ１３と比べて解像度が低く（有効画素数が少なく）、かつタイミング発生器３２により個別に生成されるＣＣＤ１３側とは異なる駆動信号によって、ＣＣＤ１３よりも高いフレームレートで駆動されるものであり、画像データを高速で取り込み可能となっている。ＩＳＰ２５は主カメラブロック１１のＩＳＰ１５と同様の信号処理を行い、ＣＣＤ２３から出力された撮像信号をＹ，Ｃｂ，Ｃｒの画像データに変換する。
【００２９】
また、主カメラブロック１１と副カメラブロック２１とからそれぞれ出力された画像データ（Ｙ，Ｃｒ，Ｃｂの各データ）はワークメモリ３４へ個別に転送される。なお、以下の説明においては、主カメラブロック１１から出力された画像データを主画像データ、副カメラブロック２１から出力された画像データを副画像データと呼ぶことにより両者を区別する。
【００３０】
ワークメモリ３４はＤＲＡＭ等であって、主カメラブロック１１及び副カメラブロック２１の動作中には、ワークメモリ３４の内部には、図３に示したように主画像バッファ領域３４１と、第１の副画像バッファ領域３４２ａと第２の副画像バッファ領域３４２ｂとが確保され、主画像バッファ領域３４１に主画像データが記憶され、第１の副画像バッファ領域３４２ａと第２の副画像バッファ領域３４２ｂとに、相前後する最新２フレーム分の副画像データが個別に記憶される。
【００３１】
そして、撮影待機状態でワークメモリ３４へ転送された主画像データは表示処理部３５へ送られる。表示処理部３５はＶＲＡＭを含み、主画像データに解像度変換処理を行って表示データを生成して液晶モニタ３６に出力し、液晶モニタ３６に画像を表示させる。すなわち撮影待機状態において所定のフレームレートで主カメラブロック１１から取り込まれた画像をライブビュー画像として液晶モニタ３６に表示させる。
【００３２】
また、シャッタキー４の全押しに応答してワークメモリ３４へ転送された撮影時の主画像データは、ＣＰＵ３１によってＪＰＥＧ等の所定のファイルフォーマットの画像データに圧縮された後、画像メモリ３７に記憶される。なお、画像メモリ３７に記憶された画像データ（記録画像データ）は、ＣＰＵ３１によって必要に応じて読み出されて伸張され、ワークメモリ３４内に展開された後、表示処理部３５を介して液晶モニタ３６において再生表示される。
【００３３】
一方、ワークメモリ３４へ転送された相前後する２フレーム分の副画像データは動き検出部３８によって読み出される。動き検出部３８は本発明の個別移動量検出手段であって、読み出した一組の副画像データを比較することによって、画像内（画角内）における移動体の移動量、及び移動方向を示す動きベクトルを周知のブロックマッチング法により取得する。そして、この動き検出部３８により取得された動きベクトルに基づきＣＰＵ３１により決定された後述する主要被写体の移動量情報が前述したＣＣＤ位置制御部３３へ送られる。
【００３４】
キー入力部３９は、前述したシャッタキー４等の各種の操作キー含み各キーの操作状態を示すキー操作信号をＣＰＵ３１へ出力する。
【００３５】
ＣＰＵ３１は、フラッシュメモリ４０に記憶されている種々のプログラムに従い、またキー入力部３９から送られるキー操作信号に対応して動作することにより上述した各部の動作を制御するとともに、ＡＦ処理やＡＥ処理、画像の圧縮・伸張処理を含む各種の処理を実行する。
【００３６】
そして、ＣＰＵ３１は、記録モードの下位モードであって、流し撮り撮影での使用を目的としてデジタルカメラに予め用意されている流し撮りモードが設定されたときには、後述する処理を実行することにより本発明の撮像制御手段、揺れ情報検出手段、揺れ防止手段、第２の撮像制御手段、移動量検出手段、算出手段、撮影条件設定手段、移動量設定手段、個別移動量検出手段、特定手段、決定手段として機能する。
【００３７】
なお、前記フラッシュメモリ４０には上記プログラム以外にも、ＣＰＵ３１により使用される各種のデータが記憶されているとともに、ユーザにより必要に応じて変更されたり、ＣＰＵ３１により自動的に変更されたりする種々の設定データも記憶されている。
【００３８】
次に、以上の構成からなるデジタルカメラの本発明に係る動作について説明する。図４は、ユーザにより流し撮りモードが設定されたときのＣＰＵ３１の処理手順を示すフローチャートであり、また、図５は、そのときのデジタルカメラの動作内容を示すタイミングチャートである。なお、以下の説明では、便宜的に前述した主カメラブロック１１を主カメラといい、副カメラブロック２１を副カメラという。
【００３９】
流し撮りモードが設定されると、ＣＰＵ３１は主カメラと副カメラによる撮像動作を直ちに開始する（ステップＳ１）。すなわち各々のＣＣＤ１３，２３を所定のフレームレートで周期的に駆動し、略同一内容の２種類の被写体画像を周期的に取り込み、各々の画像データ（主画像データと副画像データ）をワークメモリ３４へ記録する撮影（撮像処理）を開始する。ここで、主カメラ側のフレームレートは、液晶モニタ３６におけるライブビュー画像の更新周期に対応するフレームレート（例えば３０ｆｐｓ）である。また、副カメラ側のフレームレートは主カメラ側よりも遙かに高いフレームレートである。
【００４０】
これ以後、主画像バッファ領域３４１に記憶された主画像データが前記フレームレートで逐次更新され、同時に第１及び第２の副画像バッファ領域３４２ａ，３４２ｂに記憶された相前後する２フレーム分の副画像データのうち先に記憶された副画像データが前記フレームレートで最新のものに逐次更新される。
【００４１】
そして、ＣＰＵ３１は主カメラによって撮影した撮影画像（主画像データ）をライブビュー画像として液晶モニタ３６に表示させる（ステップＳ２）。また、ライブビュー画像を表示している間には、ユーザによって背景の移動量設定を指示するための所定のキー操作が行われたか否か、及びシャッタキー４が半押しされたか否かを逐次確認し（ステップＳ３，Ｓ５）、背景の移動量設定指示を検知したときには（ステップＳ３でＹＥＳ）、ユーザに背景の規定移動量（特定の移動量）を設定する（ステップＳ４）。
【００４２】
上記規定移動量は流し撮りによって得られる撮影画像において、躍動感やスピード感を表現するために確保すべき背景（移動する主要被写体以外の部分）の流れの度合に応じた移動量である。すなわち規定移動量は背景となる被写体部分の任意の点が撮影画像内で移動する（流れる）量をピクセル数で表した移動量であって、本実施形態においては、図６に示したように、流れの度合として「大」、「中」、「小」の３段階が選択可能であり、各々の度合に応じて規定移動量が予め決められている。
【００４３】
そして、ステップＳ４においては、液晶モニタ３６に所定の選択画面を表示させ、その選択画面においてユーザに所望する流れの度合をキー操作により選択させ、選択された度合に対応する規定移動量を前記フラッシュメモリ４０に他の設定データとともに記憶する。なお、規定移動量の初期値には、所定のレベル（例えば「中」レベル）に対応するピクセル数が予め設定されている。
【００４４】
一方、ライブビュー画像を表示している間にシャッタキー４が半押しされると（ステップＳ５でＹＥＳ）、ＣＰＵ３１は画角内に存在する主要被写体を特定する（ステップＳ６）。係る処理では、その時点でワークメモリ３４の第１及び第２の副画像バッファ領域３４２ａ，３４２ｂに記憶されている相前後する最新２フレーム分の副画像データを対象として、前記動き検出部３８に、画像内全域における被写体各部の移動量及び移動方向を示す動きベクトルをブロックマッチング法により取得させる。
【００４５】
動き検出部３８における動きベクトルの具体的な取得方法は、以下の通りである。すなわち、先に取得された一方の副画像データにおいて画像内全域を複数ブロックに分割し、いずれかのブロックを処理対象として、後に取得された他方の副画像データにおける上記のブロックと同じ大きさの比較領域について処理対象ブロックとの類似度を求める。なお、類似度はブロック間対応画素の輝度の差分絶対和（ＳＡＤ： Summation of Absolute Difference）によって求め、ＳＡＤが小さい程類似度が高いと判断する。そして、係る処理を他方の副画像データにおける比較領域をずらしながら全体の領域に対して行い、最も類似度が高い領域を移動先の領域とする。係る処理を、一方の副画像データの全てのブロックを処理対象として繰り返し行い、全てのブロックについて動きベクトルを算出する。
【００４６】
そして、ＣＰＵ３１は、上記のように動き検出部３８により取得された動きベクトルにより示される移動量が最小のブロック（複数ブロック）に対応する被写体領域を主要被写体として特定する。なお、ステップＳ６における主要被写体の具体的な特定方法については任意であり、前述したブロックマッチング法とは異なる方法を用いて行うようにしても構わない。
【００４７】
引き続き、ＣＰＵ３１は、上記のように特定した主要被写体にピントを合わせるためのＡＦ処理を行う（ステップＳ７）。係るＡＦ処理は周知のコントラスト検出方式によるものであり、前述した第１の撮像レンズ２のフォーカスレンズを移動させる間に、その間に（主カメラから出力される）主画像データにおいて、前述した主要被写体として特定した被写体領域（又は、その被写体領域を含む所定面積の領域）を対象としてコントラストの変化を検出することによりフォーカス位置をサーチして、主要被写体にピントを合わせる。
【００４８】
次に、ＣＰＵ３１は、ステップＳ６で特定した主要被写体を除く被写体部分を背景被写体として特定し（ステップＳ８）、さらに、特定した背景被写体の移動量情報を特定する（ステップＳ９）。ここでは、ステップＳ６で動き検出部３８により取得された上記背景被写体に対応する被写体部分（前述したブロック）の動きベクトルの中で、取得数が最も多い同一の動きベクトル（移動量、移動方向が一致する動きベクトル）を代表となる動きベクトルとして決定し、その動きベクトルの移動量を背景被写体の移動量情報として特定する。
【００４９】
次に、ＣＰＵ３１は、前述したステップＳ４で設定した背景の規定移動量、または初期値として設定されている背景の規定移動量をフラッシュメモリ４０から読み出し（ステップＳ１０）、読み出した規定移動量に基づき撮影時における露光時間（シャッタ速度）を算出する（ステップＳ１１）。ここで算出する露光時間は、前述した背景被写体が上記規定移動量（決められたピクセル数）だけ画角内で移動するのに要する時間であって、具体的には規定移動量と、ステップＳ９で取得した背景被写体の移動量（移動量情報）と、副カメラ側のフレームレートとに基づき下記式から算出する。
露光時間 ＝ 規定移動量 ／ 背景被写体の移動量 × フレームレート
【００５０】
そして、ここで算出した露光時間を基準として適正露出を得るための他の撮影条件、すなわちＩＳＯ感度と絞り値を決定し、それらを撮影時の撮影条件として設定する（ステップＳ１２）。以後、シャッタキー４が全押しされるまでは（ステップＳ１３でＮＯ）、シャッタキー４の半押しが維持されている間には前述したステップＳ６〜ステップＳ１２の処理を繰り返し、シャッタキー４の半押しが解除された場合には、前述したステップＳ２以降の処理を繰り返する。また、その間にシャッタキー４が全押しされたら（ステップＳ１３でＹＥＳ）、記録用の画像の生成に向けて直ちに主カメラ側のＣＣＤ１３の露光を開始する（ステップＳ１４）。つまり本撮影を開始する。
【００５１】
その後、ＣＰＵ３１はステップＳ６と同様に、前記動き検出部３８に逐次更新される最新２フレーム分の副画像データを対象として、画像内全域における被写体の各部の移動量及び移動方向を示す動きベクトルを取得させ、取得された動きベクトルに基づき主要被写体を特定し、その揺れ情報を取得する（ステップＳ１５）。すなわち取得された動きベクトルのうちで移動量が最小の動きベクトルを主要被写体の揺れ情報として取得する。
【００５２】
引き続き、ＣＰＵ３１は特定した揺れ情報をＣＣＤ位置制御部３３へ送り、揺れ情報に応じた駆動信号をＣＣＤ位置制御部３３に生成させ、位置補正部１４に主カメラ側のＣＣＤ１３を揺れ情報により示される移動方向と逆方向に、揺れ情報により示される移動量だけ移動（シフト）させる（ステップＳ１６）。すなわちＣＣＤ１３の主要被写体に対する相対的な移動を打ち消す所謂ＣＣＤシフト方式による手振れ補正処理を実施する。
【００５３】
以後、ＣＰＵ３１は、ステップＳ１２で設定した露光時間が経過するまでの間（ステップＳ１７がＮＯ）、ステップＳ１５，Ｓ１６による手振れ補正処理を副カメラ側のフレームレートで繰り返し実施する。やがて上記の露光時間が経過したら（ステップＳ１７でＹＥＳ）、ＣＰＵ３１は、主画像バッファ領域３４１に記憶された主画像データに対して色調整やコントラスト調整等の画質に関する所定の画像処理、及び処理後の画像データを圧縮といった撮影処理を行った後（ステップＳ１８）、圧縮後の画像データを画像ファイルとして画像メモリ３７に記録し（ステップＳ１９）、流し撮りモードによる処理を終了する。
【００５４】
以上のように本実施形態においては、流し撮りモードが設定されているときの本撮影では、露光期間中においても副カメラによる被写体の撮像動作を継続して行い、副カメラによって取得した副画像データに基づき主要被写体の揺れ情報を検出し、その検出結果を用いてＣＣＤシフト方式による手振れ補正を行うようにした。
【００５５】
そのため、本撮影時の露光時間内において主要被写体のカメラ本体１に対する相対的な移動方向や移動量が本撮影の直前の時点から変化したり、さらには変動したりする場合であっても、露光時間内には主要被写体の相対的な動きが反映された正確な揺れ情報に基づく正しい手振れ補正を行うことができる。したがって、撮影画像において主要被写体（移動被写体）にぶれが生じることがなく、流し撮り撮影において主要被写体にぶれのない質の良い撮影画像を確実に得ることができる。
【００５６】
しかも、本実施形態においては、シャッタキー４が全押しされる以前の段階で、画角内での移動量が最も小さい被写体部分を主要被写体であると自動的に特定し、露光時間内には、自動的に特定した主要被写体の揺れ情報に基づいた手振れ補正を行うようにした。したがって、シャッタキー４を全押しする以前に主要被写体を手動で設定するといった煩雑な操作をユーザに強いることなく主要被写体を特定することができる。つまりユーザに負担をかけることなく質の良い撮影画像を確実に得ることができる。
【００５７】
また、本実施形態では、本撮影時における主カメラブロック１１のＣＣＤ１３の露光時間を、露光時間内に背景被写体が規定移動量（決められたピクセル数）だけ画角内で移動するのに要する時間に設定するようにした。したがって、背景被写体が特定の所定の移動量だけぶれた（流れた）撮影画像を確実に得ることができ、その結果、撮影画像において主要被写体（移動被写体）の躍動感やスピード感をより確実に表現できる。
【００５８】
加えて、ユーザが上記の規定移動量を必要に応じて変更することができるようにしたことから、背景被写体がユーザの所望する程度だけぶれた（流れた）撮影画像を確実に得ることができる。つまり、撮影画像の躍動感やスピード感の度合いにユーザの意図を反映させることができる。なお、本実施形態においては、ユーザが設定可能な規定移動量、つまり流れの度合を「大」、「中」、「小」の３段階としたが、規定移動量をさらに細かく設定できるようにしてもよいし、さらには、規定移動量を段階的に設定するのではなく、無段階に設定できるようにしてもよい。
【００５９】
なお、本実施形態では、シャッタキー４が半押しされたことをトリガとして主要被写体であると自動的に特定する構成としたが、主要被写体を特定するタイミングは、シャッタキー４が全押しされる以前であれば任意であり、例えば所謂ハーフシャッター機能を有していないシャッタキーを備えた構成においては、流し撮りモードが設定された時点で主要被写体の特定を開始すればよい。
【００６０】
また、本実施形態では、主要被写体の揺れ情報に基づいた手振れ補正をＣＣＤシフト方式で行う構成について説明したが、これに限らず、本発明は例えば撮影光学系に設けられた補正レンズをシフトさせて像ブレを補正する光学式の手振れ補正が可能な構成のものにも適用可能であり、その場合には、主要被写体の揺れ情報に基づいて上記補正レンズをシフトさせればよい。また、撮像素子としてＣＣＤを用いる場合について説明したが、撮像素子は例えばＣＭＯＳイメージセンサ等であっても構わない。
【００６１】
また、本実施形態では、相前後する最新２フレーム分の副画像データを対象として、動き検出部３８に、動きベクトルを取得させるようにした。しかし、最新のフレームで取得された最新の副画像データと、この最新の副画像データより所定フレーム分（例えば２フレーム分）前のフレームで取得された副画像データとを対象として、動き検出部３８に、動きベクトルを取得させるようにしてもよい。この場合、第１及び第２の副画像バッファ領域３４２ａ，３４２ｂに記憶される２フレーム分の副画像データは、所定フレーム周期が経過する度に、先に記憶された副画像データが最新の副画像データに逐次更新されることとなる。
【００６２】
また、ここでは本発明を一般的なデジタルカメラに適用した場合について説明したが、これに限らず本発明は、例えば静止画撮影機能を有するデジタルビデオカメラや、携帯電話端末等に内蔵されている他のカメラ装置にも適用することができる。
【符号の説明】
【００６３】
２ 第１の撮像レンズ
３ 第２の撮像レンズ
４ シャッタキー
１１ 主カメラブロック
１３ ＣＣＤ
１４ 位置補正部
２１ 副カメラブロック
２３ ＣＣＤ
３１ ＣＰＵ
３３ ＣＣＤ位置制御部
３４ ワークメモリ
３８ 動き検出部
４０ フラッシュメモリ
【技術分野】
【０００１】
本発明は、流し撮り撮影に用いて好適なカメラ装置、及びその撮影方法とプログラムに関するものである。
【背景技術】
【０００２】
従来、静止画撮影における撮影技法の１つに、撮影者が、移動被写体である主要被写体の移動方向にカメラを振りながら撮影するという流し撮りが知られている。この流し撮り撮影によれば、撮影画像中において主要被写体の像が静止して背景だけがボケることとなるので、撮影画像上で主要被写体の躍動感やスピード感を表現できる。
【０００３】
しかし、流し撮りは、主要被写体とカメラとが相対的に静止した状態を、撮影者が手動でカメラを移動させて作り出さなければならないため、初心者にとっては失敗しやすい撮影技法であった。
【０００４】
これを解決可能とする技術として、例えば下記特許文献１には、本撮影に先立つ「試し撮り」で得られた主要被写体の撮影画像中における移動速度を算出し、本撮影時には、算出した移動速度と予め入力された被写体の移動の向きとに基づいて、撮影画像中における主要被写体の像のぶれ（揺れ）を打ち消すように補正レンズを移動させながら、流し撮り撮影による撮影を行う技術が記載されている。
【０００５】
かかる従来技術によれば、主要被写体に対する流し撮りを自動化できるので、初心者であっても流し撮りを実行することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−５０１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術では、本撮影時における補正レンズの移動速度には、「試し撮り」時点で得た主要被写体の撮影画像中における移動速度（カメラの速度と被写体の速度との相対速度）、つまり撮影以前における移動速度を反映させているため、上記補正レンズの移動速度を、必ずしも本撮影時（露光期間内）における主要被写体の撮影画像中における移動速度と一致するとは限らない。
【０００８】
そのため、上記従来技術では、試し撮り時の画像中における主要被写体の移動速度と、本撮影時における画像中における主要被写体の移動速度とが異なるものであった場合には、本撮影時において補正レンズの移動速度に対し画像中における主要被写体の正確な移動速度が反映されないので、主要被写体の像のぶれを打ち消すように補正レンズを適切に移動させることができない。
【０００９】
その結果、上記従来技術では、本撮影で得られる撮影画像内で主要被写体の像にぶれが生じてしまい、流し撮りに失敗する場合があるという問題があった。
【００１０】
本発明は、かかる従来の課題に鑑みてなされたものであり、流し撮り撮影において主要被写体にぶれのない質の良い撮影画像を確実に得ることができるカメラ装置、及びその撮影方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記課題を解決するため、請求項１記載の発明に係るカメラ装置にあっては、第１の撮像素子により撮像した複数の被写体を含む画像を記録するカメラ装置において、前記第１の撮像素子が撮像対象とする被写体を撮像する第２の撮像素子と、この前記第２の撮像素子に、記録用の被写体画像の生成に向けた撮影時における前記第１の撮像素子の露光時間内に複数回の撮像動作を行わせる第１の撮像制御手段と、前記画像に含まれる複数の被写体の中から主要被写体を特定する特定手段と、撮影時における前記第１の撮像素子の露光時間内に前記第２の撮像素子の複数回の撮像動作により撮像された画像間における、前記特定手段により特定された前記主要被写体の移動量及び移動方向を含む揺れ情報を検出する揺れ情報検出手段と、前記露光時間内に、前記揺れ情報検出手段により検出された揺れ情報に基づき前記第１の撮像素子に対する光学像の結像位置を補正し、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止する揺れ防止手段とを備えたことを特徴とする。
【００１２】
また、請求項２記載の発明に係るカメラ装置にあっては、撮影時における前記第１の撮像素子の露光時間内に前記第２の撮像素子の複数回の撮像動作により撮像された相前後する画像間において前記複数の被写体の各々の移動量を個別に検出する個別移動量検出手段を更に備え、前記特定手段は、前記個別移動量検出手段によって検出された前記複数の被写体の各々の移動量に基づき主要被写体を特定することを特徴とする。
【００１３】
また、請求項３記載の発明に係るカメラ装置にあっては、前記特定手段は、前記複数の被写体のうちで前記個別移動量検出手段によって検出された移動量が最も小さい被写体部分に相当する領域を前記主要被写体として特定することを特徴とする。
【００１４】
また、請求項４記載の発明に係るカメラ装置にあっては、前記揺れ防止手段は、撮影光軸と垂直な平面上での前記第１の撮像素子の位置を前記揺れ情報に基づき補正することによって、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止することを特徴とする。
【００１５】
また、請求項５記載の発明に係る撮影方法にあっては、第１の撮像素子により撮像した複数の被写体を含む画像を記録するカメラ装置において、記録用の被写体画像の生成に向けた撮影時における前記第１の撮像素子の露光時間内に、前記第１の撮像素子が撮像対象とする被写体を撮像する第２の撮像素子に複数回の撮像動作を行わせる工程と、前記画像に含まれる複数の被写体の中から主要被写体を特定する工程と、撮影時における前記第１の撮像素子の露光時間内に、前記第２の撮像素子の複数回の撮像動作により撮像された画像間における、前記主要被写体を特定する工程により特定された前記主要被写体の移動量及び移動方向を含む揺れ情報を検出する工程と、前記露光時間内に、前記揺れ情報を検出する工程により検出された揺れ情報に基づき前記第１の撮像素子に対する光学像の結像位置を補正し、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止する工程とを含むことを特徴とする。
【００１６】
また、請求項６記載の発明にあっては、第１の撮像素子により撮像した複数の被写体を含む画像を記録するカメラ装置が有するコンピュータに、
記録用の被写体画像の生成に向けた撮影時における前記第１の撮像素子の露光時間内に、前記第１の撮像素子が撮像対象とする被写体を撮像する第２の撮像素子に複数回の撮像動作を行わせる処理と、
前記画像に含まれる複数の被写体の中から主要被写体を特定する処理と、
前記露光時間内に、前記第２の撮像素子の複数回の撮像動作により撮像された画像間における、前記主要被写体の移動量及び移動方向を含む揺れ情報を検出する処理と、
撮影時における前記第１の撮像素子の露光時間内に、前記揺れ情報を検出する処理により検出された揺れ情報に基づき前記第１の撮像素子に対する光学像の結像位置を補正し、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止する処理と
を実行させることを特徴とするプログラムとした。
【発明の効果】
【００１７】
本発明によれば、流し撮り撮影において主要被写体にぶれのない質の良い撮影画像を確実に得ることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係るデジタルカメラの正面図である。
【図２】同デジタルカメラの電子回路構成の概略を示すブロック図である。
【図３】主カメラブロック及び副カメラブロックの動作中にワークメモリに確保されるバッファ領域を示した概念図である。
【図４】流し撮りモードによるＣＰＵの処理手順を示すフローチャートである。
【図５】流し撮りモードでのデジタルカメラの動作内容を示すタイミングチャートである。
【図６】ユーザが設定可能な背景の流れの度合と、流れの度合に応じた規定移動量を示す説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明のカメラ装置であるデジタルカメラの正面図である。
【００２０】
図示したようにカメラ本体１の正面には沈胴式の第１の撮像レンズ２と、固定式の第２の撮像レンズ３とが配置されており、カメラ本体１の上面にはシャッタキー４が設けられている。シャッタキー４は半押し操作と全押し操作との２段階操作が可能な所謂ハーフシャッター機能を有する構成であり、半押し操作がＡＦ（オートフォーカス）動作の開始指示等として使用され、全押し操作が撮影指示として使用される。なお、図示しないがカメラ本体１の背面側には、電源キー及び、記録モード、再生モードの各モードの切り替えを行うモード切替キー、ズームキー、ＭＥＮＵキー等の複数のスイッチ類と、撮影待機状態で被写体のライブビュー画像（スルー画像）を表示したり記録済の画像を再生表示する液晶モニタ（図２参照）とが設けられている。
【００２１】
図２は、上記デジタルカメラの電気的構成の概略を示すブロック図であり、デジタルカメラは同一の被写体を個別に撮影し、略同一内容の２種類の被写体画像を取り込むための主カメラブロック１１と副カメラブロック２１とを備えている。
【００２２】
主カメラブロック１１は、前述した沈胴式の第１の撮像レンズ２を含む結像光学系ブロック１２と、ＣＣＤ１３（撮像素子）、位置補正部１４、ＩＳＰ（Image Signa1 Processor）１５、光学系駆動制御部１６とから構成されている。
【００２３】
結像光学系ブロック１２は、前記第１の撮像レンズ２であってズームレンズ及びフォーカスレンズを構成するレンズ群と、絞り及びメカニカルシャッタと、それらを駆動するためのズーム用及びフォーカス用のモータやアクチュエータから構成される。結像光学系ブロック１２の各部の動作はＣＰＵ３１の命令に従い光学系駆動制御部１６が生成する駆動信号によって制御される。
【００２４】
ＣＣＤ１３はタイミング発生器３２により生成される駆動信号により駆動され、前記結像光学系ブロック１２により結像された被写体の光学像を光電変換し、撮像信号としてＩＳＰ１５に出力する。ＣＣＤ１３は記録用の被写体画像（撮影画像）の取得に使用されるものであって、撮影時の手振れ防止を実現するために、位置補正部１４により撮影光軸と垂直な平面内での垂直方向及び水平方向の位置調整が可能となっている。
【００２５】
位置補正部１４は、ＣＣＤ１３を垂直方向に移動させる垂直用アクチュエータと、水平方向に移動させる水平用アクチュエータとから構成され、ＣＰＵ３１から送られる後述する主要被写体の相対的な移動量及び移動方向を示す移動量情報に応じてＣＣＤ位置制御部３３が生成する駆動信号により駆動され、露光面上での主要被写体の相対的な移動を打ち消すようにＣＣＤ１３を垂直方向及び水平方向へ移動させる。すなわち本実施形態においては位置補正部１４とＣＣＤ位置制御部３３とＣＰＵ３１とによって本発明の揺れ防止手段が実現されている。
【００２６】
ＩＳＰ１５は、ＣＣＤ１３から出力された撮像信号のノイズ除去やＩＳＯ感度に応じたゲイン調整を行い、デジタルの画像信号に変換した後、データフォーマット変換（ベイヤー配列から輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換）等を行い、Ｙ，Ｃｂ，Ｃｒの画像データとして出力する。
【００２７】
一方、前記副カメラブロック２１は、前述した固定式の第２の撮像レンズ３を含む結像光学系ブロック２２と、ＣＣＤ２３、ＩＳＰ（Image Signa1 Processor）２５から構成されている。結像光学系ブロック２２は単焦点レンズ、及び開度が固定の絞りから構成される。
【００２８】
ＣＣＤ２３は、後述する流し撮りモードでの撮影時に画角内の移動体の動きを検出するためのセンサとして使用される本発明の第２の撮像素子であって、主カメラブロック１１のＣＣＤ１３と比べて解像度が低く（有効画素数が少なく）、かつタイミング発生器３２により個別に生成されるＣＣＤ１３側とは異なる駆動信号によって、ＣＣＤ１３よりも高いフレームレートで駆動されるものであり、画像データを高速で取り込み可能となっている。ＩＳＰ２５は主カメラブロック１１のＩＳＰ１５と同様の信号処理を行い、ＣＣＤ２３から出力された撮像信号をＹ，Ｃｂ，Ｃｒの画像データに変換する。
【００２９】
また、主カメラブロック１１と副カメラブロック２１とからそれぞれ出力された画像データ（Ｙ，Ｃｒ，Ｃｂの各データ）はワークメモリ３４へ個別に転送される。なお、以下の説明においては、主カメラブロック１１から出力された画像データを主画像データ、副カメラブロック２１から出力された画像データを副画像データと呼ぶことにより両者を区別する。
【００３０】
ワークメモリ３４はＤＲＡＭ等であって、主カメラブロック１１及び副カメラブロック２１の動作中には、ワークメモリ３４の内部には、図３に示したように主画像バッファ領域３４１と、第１の副画像バッファ領域３４２ａと第２の副画像バッファ領域３４２ｂとが確保され、主画像バッファ領域３４１に主画像データが記憶され、第１の副画像バッファ領域３４２ａと第２の副画像バッファ領域３４２ｂとに、相前後する最新２フレーム分の副画像データが個別に記憶される。
【００３１】
そして、撮影待機状態でワークメモリ３４へ転送された主画像データは表示処理部３５へ送られる。表示処理部３５はＶＲＡＭを含み、主画像データに解像度変換処理を行って表示データを生成して液晶モニタ３６に出力し、液晶モニタ３６に画像を表示させる。すなわち撮影待機状態において所定のフレームレートで主カメラブロック１１から取り込まれた画像をライブビュー画像として液晶モニタ３６に表示させる。
【００３２】
また、シャッタキー４の全押しに応答してワークメモリ３４へ転送された撮影時の主画像データは、ＣＰＵ３１によってＪＰＥＧ等の所定のファイルフォーマットの画像データに圧縮された後、画像メモリ３７に記憶される。なお、画像メモリ３７に記憶された画像データ（記録画像データ）は、ＣＰＵ３１によって必要に応じて読み出されて伸張され、ワークメモリ３４内に展開された後、表示処理部３５を介して液晶モニタ３６において再生表示される。
【００３３】
一方、ワークメモリ３４へ転送された相前後する２フレーム分の副画像データは動き検出部３８によって読み出される。動き検出部３８は本発明の個別移動量検出手段であって、読み出した一組の副画像データを比較することによって、画像内（画角内）における移動体の移動量、及び移動方向を示す動きベクトルを周知のブロックマッチング法により取得する。そして、この動き検出部３８により取得された動きベクトルに基づきＣＰＵ３１により決定された後述する主要被写体の移動量情報が前述したＣＣＤ位置制御部３３へ送られる。
【００３４】
キー入力部３９は、前述したシャッタキー４等の各種の操作キー含み各キーの操作状態を示すキー操作信号をＣＰＵ３１へ出力する。
【００３５】
ＣＰＵ３１は、フラッシュメモリ４０に記憶されている種々のプログラムに従い、またキー入力部３９から送られるキー操作信号に対応して動作することにより上述した各部の動作を制御するとともに、ＡＦ処理やＡＥ処理、画像の圧縮・伸張処理を含む各種の処理を実行する。
【００３６】
そして、ＣＰＵ３１は、記録モードの下位モードであって、流し撮り撮影での使用を目的としてデジタルカメラに予め用意されている流し撮りモードが設定されたときには、後述する処理を実行することにより本発明の撮像制御手段、揺れ情報検出手段、揺れ防止手段、第２の撮像制御手段、移動量検出手段、算出手段、撮影条件設定手段、移動量設定手段、個別移動量検出手段、特定手段、決定手段として機能する。
【００３７】
なお、前記フラッシュメモリ４０には上記プログラム以外にも、ＣＰＵ３１により使用される各種のデータが記憶されているとともに、ユーザにより必要に応じて変更されたり、ＣＰＵ３１により自動的に変更されたりする種々の設定データも記憶されている。
【００３８】
次に、以上の構成からなるデジタルカメラの本発明に係る動作について説明する。図４は、ユーザにより流し撮りモードが設定されたときのＣＰＵ３１の処理手順を示すフローチャートであり、また、図５は、そのときのデジタルカメラの動作内容を示すタイミングチャートである。なお、以下の説明では、便宜的に前述した主カメラブロック１１を主カメラといい、副カメラブロック２１を副カメラという。
【００３９】
流し撮りモードが設定されると、ＣＰＵ３１は主カメラと副カメラによる撮像動作を直ちに開始する（ステップＳ１）。すなわち各々のＣＣＤ１３，２３を所定のフレームレートで周期的に駆動し、略同一内容の２種類の被写体画像を周期的に取り込み、各々の画像データ（主画像データと副画像データ）をワークメモリ３４へ記録する撮影（撮像処理）を開始する。ここで、主カメラ側のフレームレートは、液晶モニタ３６におけるライブビュー画像の更新周期に対応するフレームレート（例えば３０ｆｐｓ）である。また、副カメラ側のフレームレートは主カメラ側よりも遙かに高いフレームレートである。
【００４０】
これ以後、主画像バッファ領域３４１に記憶された主画像データが前記フレームレートで逐次更新され、同時に第１及び第２の副画像バッファ領域３４２ａ，３４２ｂに記憶された相前後する２フレーム分の副画像データのうち先に記憶された副画像データが前記フレームレートで最新のものに逐次更新される。
【００４１】
そして、ＣＰＵ３１は主カメラによって撮影した撮影画像（主画像データ）をライブビュー画像として液晶モニタ３６に表示させる（ステップＳ２）。また、ライブビュー画像を表示している間には、ユーザによって背景の移動量設定を指示するための所定のキー操作が行われたか否か、及びシャッタキー４が半押しされたか否かを逐次確認し（ステップＳ３，Ｓ５）、背景の移動量設定指示を検知したときには（ステップＳ３でＹＥＳ）、ユーザに背景の規定移動量（特定の移動量）を設定する（ステップＳ４）。
【００４２】
上記規定移動量は流し撮りによって得られる撮影画像において、躍動感やスピード感を表現するために確保すべき背景（移動する主要被写体以外の部分）の流れの度合に応じた移動量である。すなわち規定移動量は背景となる被写体部分の任意の点が撮影画像内で移動する（流れる）量をピクセル数で表した移動量であって、本実施形態においては、図６に示したように、流れの度合として「大」、「中」、「小」の３段階が選択可能であり、各々の度合に応じて規定移動量が予め決められている。
【００４３】
そして、ステップＳ４においては、液晶モニタ３６に所定の選択画面を表示させ、その選択画面においてユーザに所望する流れの度合をキー操作により選択させ、選択された度合に対応する規定移動量を前記フラッシュメモリ４０に他の設定データとともに記憶する。なお、規定移動量の初期値には、所定のレベル（例えば「中」レベル）に対応するピクセル数が予め設定されている。
【００４４】
一方、ライブビュー画像を表示している間にシャッタキー４が半押しされると（ステップＳ５でＹＥＳ）、ＣＰＵ３１は画角内に存在する主要被写体を特定する（ステップＳ６）。係る処理では、その時点でワークメモリ３４の第１及び第２の副画像バッファ領域３４２ａ，３４２ｂに記憶されている相前後する最新２フレーム分の副画像データを対象として、前記動き検出部３８に、画像内全域における被写体各部の移動量及び移動方向を示す動きベクトルをブロックマッチング法により取得させる。
【００４５】
動き検出部３８における動きベクトルの具体的な取得方法は、以下の通りである。すなわち、先に取得された一方の副画像データにおいて画像内全域を複数ブロックに分割し、いずれかのブロックを処理対象として、後に取得された他方の副画像データにおける上記のブロックと同じ大きさの比較領域について処理対象ブロックとの類似度を求める。なお、類似度はブロック間対応画素の輝度の差分絶対和（ＳＡＤ： Summation of Absolute Difference）によって求め、ＳＡＤが小さい程類似度が高いと判断する。そして、係る処理を他方の副画像データにおける比較領域をずらしながら全体の領域に対して行い、最も類似度が高い領域を移動先の領域とする。係る処理を、一方の副画像データの全てのブロックを処理対象として繰り返し行い、全てのブロックについて動きベクトルを算出する。
【００４６】
そして、ＣＰＵ３１は、上記のように動き検出部３８により取得された動きベクトルにより示される移動量が最小のブロック（複数ブロック）に対応する被写体領域を主要被写体として特定する。なお、ステップＳ６における主要被写体の具体的な特定方法については任意であり、前述したブロックマッチング法とは異なる方法を用いて行うようにしても構わない。
【００４７】
引き続き、ＣＰＵ３１は、上記のように特定した主要被写体にピントを合わせるためのＡＦ処理を行う（ステップＳ７）。係るＡＦ処理は周知のコントラスト検出方式によるものであり、前述した第１の撮像レンズ２のフォーカスレンズを移動させる間に、その間に（主カメラから出力される）主画像データにおいて、前述した主要被写体として特定した被写体領域（又は、その被写体領域を含む所定面積の領域）を対象としてコントラストの変化を検出することによりフォーカス位置をサーチして、主要被写体にピントを合わせる。
【００４８】
次に、ＣＰＵ３１は、ステップＳ６で特定した主要被写体を除く被写体部分を背景被写体として特定し（ステップＳ８）、さらに、特定した背景被写体の移動量情報を特定する（ステップＳ９）。ここでは、ステップＳ６で動き検出部３８により取得された上記背景被写体に対応する被写体部分（前述したブロック）の動きベクトルの中で、取得数が最も多い同一の動きベクトル（移動量、移動方向が一致する動きベクトル）を代表となる動きベクトルとして決定し、その動きベクトルの移動量を背景被写体の移動量情報として特定する。
【００４９】
次に、ＣＰＵ３１は、前述したステップＳ４で設定した背景の規定移動量、または初期値として設定されている背景の規定移動量をフラッシュメモリ４０から読み出し（ステップＳ１０）、読み出した規定移動量に基づき撮影時における露光時間（シャッタ速度）を算出する（ステップＳ１１）。ここで算出する露光時間は、前述した背景被写体が上記規定移動量（決められたピクセル数）だけ画角内で移動するのに要する時間であって、具体的には規定移動量と、ステップＳ９で取得した背景被写体の移動量（移動量情報）と、副カメラ側のフレームレートとに基づき下記式から算出する。
露光時間 ＝ 規定移動量 ／ 背景被写体の移動量 × フレームレート
【００５０】
そして、ここで算出した露光時間を基準として適正露出を得るための他の撮影条件、すなわちＩＳＯ感度と絞り値を決定し、それらを撮影時の撮影条件として設定する（ステップＳ１２）。以後、シャッタキー４が全押しされるまでは（ステップＳ１３でＮＯ）、シャッタキー４の半押しが維持されている間には前述したステップＳ６〜ステップＳ１２の処理を繰り返し、シャッタキー４の半押しが解除された場合には、前述したステップＳ２以降の処理を繰り返する。また、その間にシャッタキー４が全押しされたら（ステップＳ１３でＹＥＳ）、記録用の画像の生成に向けて直ちに主カメラ側のＣＣＤ１３の露光を開始する（ステップＳ１４）。つまり本撮影を開始する。
【００５１】
その後、ＣＰＵ３１はステップＳ６と同様に、前記動き検出部３８に逐次更新される最新２フレーム分の副画像データを対象として、画像内全域における被写体の各部の移動量及び移動方向を示す動きベクトルを取得させ、取得された動きベクトルに基づき主要被写体を特定し、その揺れ情報を取得する（ステップＳ１５）。すなわち取得された動きベクトルのうちで移動量が最小の動きベクトルを主要被写体の揺れ情報として取得する。
【００５２】
引き続き、ＣＰＵ３１は特定した揺れ情報をＣＣＤ位置制御部３３へ送り、揺れ情報に応じた駆動信号をＣＣＤ位置制御部３３に生成させ、位置補正部１４に主カメラ側のＣＣＤ１３を揺れ情報により示される移動方向と逆方向に、揺れ情報により示される移動量だけ移動（シフト）させる（ステップＳ１６）。すなわちＣＣＤ１３の主要被写体に対する相対的な移動を打ち消す所謂ＣＣＤシフト方式による手振れ補正処理を実施する。
【００５３】
以後、ＣＰＵ３１は、ステップＳ１２で設定した露光時間が経過するまでの間（ステップＳ１７がＮＯ）、ステップＳ１５，Ｓ１６による手振れ補正処理を副カメラ側のフレームレートで繰り返し実施する。やがて上記の露光時間が経過したら（ステップＳ１７でＹＥＳ）、ＣＰＵ３１は、主画像バッファ領域３４１に記憶された主画像データに対して色調整やコントラスト調整等の画質に関する所定の画像処理、及び処理後の画像データを圧縮といった撮影処理を行った後（ステップＳ１８）、圧縮後の画像データを画像ファイルとして画像メモリ３７に記録し（ステップＳ１９）、流し撮りモードによる処理を終了する。
【００５４】
以上のように本実施形態においては、流し撮りモードが設定されているときの本撮影では、露光期間中においても副カメラによる被写体の撮像動作を継続して行い、副カメラによって取得した副画像データに基づき主要被写体の揺れ情報を検出し、その検出結果を用いてＣＣＤシフト方式による手振れ補正を行うようにした。
【００５５】
そのため、本撮影時の露光時間内において主要被写体のカメラ本体１に対する相対的な移動方向や移動量が本撮影の直前の時点から変化したり、さらには変動したりする場合であっても、露光時間内には主要被写体の相対的な動きが反映された正確な揺れ情報に基づく正しい手振れ補正を行うことができる。したがって、撮影画像において主要被写体（移動被写体）にぶれが生じることがなく、流し撮り撮影において主要被写体にぶれのない質の良い撮影画像を確実に得ることができる。
【００５６】
しかも、本実施形態においては、シャッタキー４が全押しされる以前の段階で、画角内での移動量が最も小さい被写体部分を主要被写体であると自動的に特定し、露光時間内には、自動的に特定した主要被写体の揺れ情報に基づいた手振れ補正を行うようにした。したがって、シャッタキー４を全押しする以前に主要被写体を手動で設定するといった煩雑な操作をユーザに強いることなく主要被写体を特定することができる。つまりユーザに負担をかけることなく質の良い撮影画像を確実に得ることができる。
【００５７】
また、本実施形態では、本撮影時における主カメラブロック１１のＣＣＤ１３の露光時間を、露光時間内に背景被写体が規定移動量（決められたピクセル数）だけ画角内で移動するのに要する時間に設定するようにした。したがって、背景被写体が特定の所定の移動量だけぶれた（流れた）撮影画像を確実に得ることができ、その結果、撮影画像において主要被写体（移動被写体）の躍動感やスピード感をより確実に表現できる。
【００５８】
加えて、ユーザが上記の規定移動量を必要に応じて変更することができるようにしたことから、背景被写体がユーザの所望する程度だけぶれた（流れた）撮影画像を確実に得ることができる。つまり、撮影画像の躍動感やスピード感の度合いにユーザの意図を反映させることができる。なお、本実施形態においては、ユーザが設定可能な規定移動量、つまり流れの度合を「大」、「中」、「小」の３段階としたが、規定移動量をさらに細かく設定できるようにしてもよいし、さらには、規定移動量を段階的に設定するのではなく、無段階に設定できるようにしてもよい。
【００５９】
なお、本実施形態では、シャッタキー４が半押しされたことをトリガとして主要被写体であると自動的に特定する構成としたが、主要被写体を特定するタイミングは、シャッタキー４が全押しされる以前であれば任意であり、例えば所謂ハーフシャッター機能を有していないシャッタキーを備えた構成においては、流し撮りモードが設定された時点で主要被写体の特定を開始すればよい。
【００６０】
また、本実施形態では、主要被写体の揺れ情報に基づいた手振れ補正をＣＣＤシフト方式で行う構成について説明したが、これに限らず、本発明は例えば撮影光学系に設けられた補正レンズをシフトさせて像ブレを補正する光学式の手振れ補正が可能な構成のものにも適用可能であり、その場合には、主要被写体の揺れ情報に基づいて上記補正レンズをシフトさせればよい。また、撮像素子としてＣＣＤを用いる場合について説明したが、撮像素子は例えばＣＭＯＳイメージセンサ等であっても構わない。
【００６１】
また、本実施形態では、相前後する最新２フレーム分の副画像データを対象として、動き検出部３８に、動きベクトルを取得させるようにした。しかし、最新のフレームで取得された最新の副画像データと、この最新の副画像データより所定フレーム分（例えば２フレーム分）前のフレームで取得された副画像データとを対象として、動き検出部３８に、動きベクトルを取得させるようにしてもよい。この場合、第１及び第２の副画像バッファ領域３４２ａ，３４２ｂに記憶される２フレーム分の副画像データは、所定フレーム周期が経過する度に、先に記憶された副画像データが最新の副画像データに逐次更新されることとなる。
【００６２】
また、ここでは本発明を一般的なデジタルカメラに適用した場合について説明したが、これに限らず本発明は、例えば静止画撮影機能を有するデジタルビデオカメラや、携帯電話端末等に内蔵されている他のカメラ装置にも適用することができる。
【符号の説明】
【００６３】
２ 第１の撮像レンズ
３ 第２の撮像レンズ
４ シャッタキー
１１ 主カメラブロック
１３ ＣＣＤ
１４ 位置補正部
２１ 副カメラブロック
２３ ＣＣＤ
３１ ＣＰＵ
３３ ＣＣＤ位置制御部
３４ ワークメモリ
３８ 動き検出部
４０ フラッシュメモリ
【特許請求の範囲】
【請求項１】
第１の撮像素子により撮像した複数の被写体を含む画像を記録するカメラ装置において、
前記第１の撮像素子が撮像対象とする被写体を撮像する第２の撮像素子と、
この前記第２の撮像素子に、記録用の被写体画像の生成に向けた撮影時における前記第１の撮像素子の露光時間内に複数回の撮像動作を行わせる第１の撮像制御手段と、
前記画像に含まれる複数の被写体の中から主要被写体を特定する特定手段と、
撮影時における前記第１の撮像素子の露光時間内に前記第２の撮像素子の複数回の撮像動作により撮像された画像間における、前記特定手段により特定された前記主要被写体の移動量及び移動方向を含む揺れ情報を検出する揺れ情報検出手段と、
前記露光時間内に、前記揺れ情報検出手段により検出された揺れ情報に基づき前記第１の撮像素子に対する光学像の結像位置を補正し、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止する揺れ防止手段と
を備えたことを特徴とするカメラ装置。
【請求項２】
撮影時における前記第１の撮像素子の露光時間内に前記第２の撮像素子の複数回の撮像動作により撮像された相前後する画像間において前記複数の被写体の各々の移動量を個別に検出する個別移動量検出手段を更に備え、
前記特定手段は、前記個別移動量検出手段によって検出された前記複数の被写体の各々の移動量に基づき主要被写体を特定することを特徴とする請求項１記載のカメラ装置。
【請求項３】
前記特定手段は、前記複数の被写体のうちで前記個別移動量検出手段によって検出された移動量が最も小さい被写体部分に相当する領域を前記主要被写体として特定することを特徴とする請求項２記載のカメラ装置。
【請求項４】
前記揺れ防止手段は、撮影光軸と垂直な平面上での前記第１の撮像素子の位置を前記揺れ情報に基づき補正することによって、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止することを特徴とする請求項１乃至３の何れかに記載のカメラ装置。
【請求項５】
第１の撮像素子により撮像した複数の被写体を含む画像を記録するカメラ装置において、
記録用の被写体画像の生成に向けた撮影時における前記第１の撮像素子の露光時間内に、前記第１の撮像素子が撮像対象とする被写体を撮像する第２の撮像素子に複数回の撮像動作を行わせる工程と、
前記画像に含まれる複数の被写体の中から主要被写体を特定する工程と、
撮影時における前記第１の撮像素子の露光時間内に、前記第２の撮像素子の複数回の撮像動作により撮像された画像間における、前記主要被写体を特定する工程により特定された前記主要被写体の移動量及び移動方向を含む揺れ情報を検出する工程と、
前記露光時間内に、前記揺れ情報を検出する工程により検出された揺れ情報に基づき前記第１の撮像素子に対する光学像の結像位置を補正し、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止する工程と
を含むことを特徴とする撮影方法。
【請求項６】
第１の撮像素子により撮像した複数の被写体を含む画像を記録するカメラ装置が有するコンピュータに、
記録用の被写体画像の生成に向けた撮影時における前記第１の撮像素子の露光時間内に、前記第１の撮像素子が撮像対象とする被写体を撮像する第２の撮像素子に複数回の撮像動作を行わせる処理と、
前記画像に含まれる複数の被写体の中から主要被写体を特定する処理と、
前記露光時間内に、前記第２の撮像素子の複数回の撮像動作により撮像された画像間における、前記主要被写体の移動量及び移動方向を含む揺れ情報を検出する処理と、
撮影時における前記第１の撮像素子の露光時間内に、前記揺れ情報を検出する処理により検出された揺れ情報に基づき前記第１の撮像素子に対する光学像の結像位置を補正し、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止する処理と
を実行させることを特徴とするプログラム。
【請求項１】
第１の撮像素子により撮像した複数の被写体を含む画像を記録するカメラ装置において、
前記第１の撮像素子が撮像対象とする被写体を撮像する第２の撮像素子と、
この前記第２の撮像素子に、記録用の被写体画像の生成に向けた撮影時における前記第１の撮像素子の露光時間内に複数回の撮像動作を行わせる第１の撮像制御手段と、
前記画像に含まれる複数の被写体の中から主要被写体を特定する特定手段と、
撮影時における前記第１の撮像素子の露光時間内に前記第２の撮像素子の複数回の撮像動作により撮像された画像間における、前記特定手段により特定された前記主要被写体の移動量及び移動方向を含む揺れ情報を検出する揺れ情報検出手段と、
前記露光時間内に、前記揺れ情報検出手段により検出された揺れ情報に基づき前記第１の撮像素子に対する光学像の結像位置を補正し、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止する揺れ防止手段と
を備えたことを特徴とするカメラ装置。
【請求項２】
撮影時における前記第１の撮像素子の露光時間内に前記第２の撮像素子の複数回の撮像動作により撮像された相前後する画像間において前記複数の被写体の各々の移動量を個別に検出する個別移動量検出手段を更に備え、
前記特定手段は、前記個別移動量検出手段によって検出された前記複数の被写体の各々の移動量に基づき主要被写体を特定することを特徴とする請求項１記載のカメラ装置。
【請求項３】
前記特定手段は、前記複数の被写体のうちで前記個別移動量検出手段によって検出された移動量が最も小さい被写体部分に相当する領域を前記主要被写体として特定することを特徴とする請求項２記載のカメラ装置。
【請求項４】
前記揺れ防止手段は、撮影光軸と垂直な平面上での前記第１の撮像素子の位置を前記揺れ情報に基づき補正することによって、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止することを特徴とする請求項１乃至３の何れかに記載のカメラ装置。
【請求項５】
第１の撮像素子により撮像した複数の被写体を含む画像を記録するカメラ装置において、
記録用の被写体画像の生成に向けた撮影時における前記第１の撮像素子の露光時間内に、前記第１の撮像素子が撮像対象とする被写体を撮像する第２の撮像素子に複数回の撮像動作を行わせる工程と、
前記画像に含まれる複数の被写体の中から主要被写体を特定する工程と、
撮影時における前記第１の撮像素子の露光時間内に、前記第２の撮像素子の複数回の撮像動作により撮像された画像間における、前記主要被写体を特定する工程により特定された前記主要被写体の移動量及び移動方向を含む揺れ情報を検出する工程と、
前記露光時間内に、前記揺れ情報を検出する工程により検出された揺れ情報に基づき前記第１の撮像素子に対する光学像の結像位置を補正し、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止する工程と
を含むことを特徴とする撮影方法。
【請求項６】
第１の撮像素子により撮像した複数の被写体を含む画像を記録するカメラ装置が有するコンピュータに、
記録用の被写体画像の生成に向けた撮影時における前記第１の撮像素子の露光時間内に、前記第１の撮像素子が撮像対象とする被写体を撮像する第２の撮像素子に複数回の撮像動作を行わせる処理と、
前記画像に含まれる複数の被写体の中から主要被写体を特定する処理と、
前記露光時間内に、前記第２の撮像素子の複数回の撮像動作により撮像された画像間における、前記主要被写体の移動量及び移動方向を含む揺れ情報を検出する処理と、
撮影時における前記第１の撮像素子の露光時間内に、前記揺れ情報を検出する処理により検出された揺れ情報に基づき前記第１の撮像素子に対する光学像の結像位置を補正し、前記第１の撮像素子の露光面における前記主要被写体の揺れを防止する処理と
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−１１０７５４（Ｐ２０１３−１１０７５４Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１３−５９３０（Ｐ２０１３−５９３０）
【出願日】平成２５年１月１７日（２０１３．１．１７）
【分割の表示】特願２００９−３７２６０（Ｐ２００９−３７２６０）の分割
【原出願日】平成２１年２月２０日（２００９．２．２０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２５年１月１７日（２０１３．１．１７）
【分割の表示】特願２００９−３７２６０（Ｐ２００９−３７２６０）の分割
【原出願日】平成２１年２月２０日（２００９．２．２０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]