撮像装置、撮像装置の画像処理方法及び画像処理プログラム
【課題】撮影後の画像処理において流し撮り効果を付与する際に、撮影者の設定によって、好みに応じた流し撮り画像を得る。
【解決手段】仮想シャッター時間を設定し（ステップＳＡ３）、シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して第１の被写体画像を取得し（ステップＳＡ７）、シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得し（ステップＳＡ８）、仮想シャッター時間と方向データとに基づいて、被写体画像に変形を加えた流し撮り画像を生成する。このように、シャッター時間にて被写体を撮像して取得した被写体画像に、仮想シャッター時間中に取得した方向データと仮想シャッター時間とに基づいて変形を加えた流し撮り画像を生成することから、仮想シャッター時間に応じた流し撮り画像を得られ、被写体に好適な流し撮り効果を反映させることができる。
【解決手段】仮想シャッター時間を設定し（ステップＳＡ３）、シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して第１の被写体画像を取得し（ステップＳＡ７）、シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得し（ステップＳＡ８）、仮想シャッター時間と方向データとに基づいて、被写体画像に変形を加えた流し撮り画像を生成する。このように、シャッター時間にて被写体を撮像して取得した被写体画像に、仮想シャッター時間中に取得した方向データと仮想シャッター時間とに基づいて変形を加えた流し撮り画像を生成することから、仮想シャッター時間に応じた流し撮り画像を得られ、被写体に好適な流し撮り効果を反映させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルカメラ等の撮像装置に係り、特に被写体の流し撮り撮影を行う場合に好適な撮像装置、撮像装置の画像処理方法及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来より、メインの被写体の動きに合わせてカメラを的確に追従させることによって、被写体を静止させ、かつ背景を流したように撮影する「流し撮り」と呼ばれる撮影方法がある。このようにして撮像された「流し撮り画像」では、背景に対してメインの被写体が鮮明に強調され、通常の静止画像と比較して臨場感に溢れたものが多い。
【０００３】
流し撮り画像を得るためには、シャッターを開放して露光している間にメインの被写体の動きに合わせてカメラを的確に追従させる必要があるが、カメラを動かすスピードをメインの被写体の実際の移動速度と正確に合わせることは困難であり、カメラを動かす際に手ブレが発生しやすい。また、カメラを動かすスピードが速くなるほど背景が大きく流れるので流し撮りの効果を大きく表出できる一方、被写体の像ブレは大きくなる。
【０００４】
このため、撮影者によるカメラを動かす動作のみによって流し撮り画像を得るのではなく、デジタルカメラ等では、フィルタリング処理を行うことにより、流し撮りの効果を撮影した画像に事後的に反映させることも可能となっている（例えば、特許文献１参照）。
【０００５】
特許文献１に記載のものは、連写撮影により複数の画像データを取得し、これらの複数の画像データを比較して被写体の動き情報を取得し、取得した動き情報に基づいてメインの被写体と背景とを判別して、背景のブレ量を増大させる処理を撮影した画像に行う。このようにして流し撮りの効果を反映させるものである。
【０００６】
【特許文献１】特開２００６−８０８４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の技術によっても、連写撮影により複数の画像データを得る間はメインの被写体の動きに合わせてカメラを的確に追従させる必要があるので、メインの被写体の実際の移動速度とカメラのスピードが合わない可能性がある。また、カメラのスピードを無理に被写体のスピードに合わせようとすると被写体の像ブレが大きくなってしまうという問題もある。さらに、画像エフェクタ等で撮影後に処理をするのは専門的な知識や操作を要し、操作が煩雑で面倒であったりする。
【０００８】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮影後の画像処理において、撮影者の設定に応じた流し撮り効果を付与することによって、撮影者の好みに応じた流し撮り画像を取得可能な撮像装置、撮像装置の画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するため請求項１記載の発明に係る撮像装置にあっては、シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して被写体画像を取得する撮像手段と、所定の時間における被写体の動きを付与するための仮想シャッター時間を設定する設定手段と、シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得する取得手段と、前記仮想シャッター時間と前記方向データとに基づいて、前記被写体画像に変形を加えた流し撮り画像を生成する画像生成処理手段と、を備えることを特徴とする。
【００１０】
また、請求項２記載の発明に係る撮像装置にあっては、前記仮想シャッター時間は前記シャッター時間とは独立して、ユーザにより任意に設定可能であり、前記撮像手段は、前記シャッター時間に応じた第1の被写体画像を取得することを特徴とする。
【００１１】
また、請求項３記載の発明に係る撮像装置にあっては、前記取得手段は、加速度センサーによる検出結果又は被写体画像の変化前後における変化量及び変化方向を示す動きベクトルに基づいて方向データを取得することを特徴とする。
【００１２】
また、請求項４記載の発明に係る撮像装置にあっては、前記撮像手段は、さらに、シャッターキーの押下後前記仮想シャッター時間の経過によって第２の被写体画像を取得し、前記画像生成処理手段は、前記第１の被写体画像と前記第２の被写体画像とに基づいて流し撮り画像を生成することを特徴とする。
【００１３】
また、請求項５記載の発明に係る撮像装置にあっては、前記取得手段は、前記被写体画像を複数のブロックに分割して、各ブロックごとに前記検出結果又は前記動きベクトルを取得し、前記画像生成処理手段は、各ブロックごとに変形を加えた流し撮り画像を生成することを特徴とする。
【００１４】
また、請求項６記載の発明に係る撮像装置にあっては、前記画像生成処理手段は、加速度センサーによる検出結果又は被写体画像の変化前後における被写体部分の変化量及び変化方向を示す動きベクトルの大小に応じて流し撮り画像を生成することを特徴とする。
【００１５】
また、請求項７記載の発明に係る撮像装置にあっては、前記撮像手段によって取得された被写体画像から被写体の特徴部を検出する検出手段と、前記画像生成処理手段は、被写体の前記特徴部を除く部分に変形を加えた流し撮り画像を生成することを特徴とする。
【００１６】
また、請求項８記載の発明に係る撮像装置の画像処理方法にあっては、シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して被写体画像を取得する工程と、所定の時間における被写体の動きを付与するための仮想シャッター時間を設定する工程と、シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得する工程と、前記仮想シャッター時間と前記方向データとに基づいて、前記被写体画像に変形を加えた流し撮り画像を生成する工程と、を有することを特徴とする。
【００１７】
さらに、請求項９記載の発明に係る撮像装置の画像処理プログラムにあっては、撮像装置が有するコンピュータに、シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して被写体画像を取得する工程と、所定の時間における被写体の動きを付与するための仮想シャッター時間を設定する工程と、シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得する工程と、前記仮想シャッター時間と前記方向データとに基づいて、被写体画像に変形を加えた流し撮り画像を生成する工程と、を実行させることを特徴とする
【発明の効果】
【００１８】
本発明によれば、仮想シャッター時間に応じた流し撮り画像を得ることができるので、好適な被写体の流し撮り効果を得ることができる。
【発明を実施するための最良の形態】
【００１９】
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態の撮像装置のデジタルカメラの電気的構成を示したブロック図である。このデジタルカメラは、基本となる動作モードとして撮影を行うための記録モードと、撮影した画像を再生するための再生モードとが設けられている。
【００２０】
図１に示したように本実施の形態のデジタルカメラは、撮影レンズ１と、撮影レンズ１により収束された撮影光をシャッター２を介して受光するとともに、受光面に結像された被写体の光学像を光電変換し画像信号として出力する撮像素子であるＣＭＯＳセンサー３、ＣＭＯＳセンサー３の出力信号をデジタルの画像データへ変換するＡ／Ｄ変換器４、変換後の画像データを逐次記憶するＤＲＡＭ５を備えている。
【００２１】
シャッター２の動作はＣＰＵ９の命令に従いシャッター制御部８により制御され、ＣＭＯＳセンサー３及びＡ／Ｄ変換器４の動作はＣＰＵ９の命令に従い受光制御部１０により制御される。ＤＲＡＭ５に格納された１枚分の画像データ、すなわちＲＡＷデータはデモザイク部１１により画素ごとに色情報を補間されてＹＵＶデータに変換された後、液晶表示コントローラ６を介して液晶表示器７にスルー画像として表示される。
【００２２】
なお、デモザイク部１１は、記録モードでの撮影時においてはＲＡＷデータをＹＵＶデータ（撮影画像）のみならず、必要に応じて輝度情報のみからなる輝度画像データ（輝度画像）へ変換する。また、変換されたＹＵＶデータ及び輝度画像データはＤＲＡＭ５に一時的に記憶される。
【００２３】
記録モードでの撮影時にデモザイク部１１によりＹＵＶデータに変換された画像データは、ＣＰＵ９によってＪＰＥＧ等の所定の圧縮方式に従い圧縮された後、外部記憶メモリ１２に静止画ファイルとして記憶される。外部記憶メモリ１２に静止画ファイルとして記憶された画像データは、再生モードにおいては、必要に応じＣＰＵ９によって読み出されて伸張された後、液晶表示コントローラ６を介して液晶表示器７において表示される。なお、外部記憶メモリ１２は、例えばカメラ本体に着脱可能なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。
【００２４】
また、ＣＰＵ９には、キー入力ブロック１３、プログラムメモリ１４、被写体検出部１５、マッチング部１６、画像変形合成加算部１７、ＳＲＡＭ１８が接続されている。キー入力ブロック１３は、ユーザによるデジタルカメラの操作に使用される、電源キーやシャッターキー、ズームボタン（Ｗボタン，Ｔボタン）、モード切替キー等を含む複数のスイッチ類から構成される。プログラムメモリ１４は、ＣＰＵ９の動作に必要な種々のプログラム、及びプログラムの実行に際して使用される各種のデータ、ログが記憶されたメモリである。ＣＰＵ９は、プログラムメモリ１４に記憶されたプログラムに従い、キー入力ブロック１３におけるいずれかのキーの操作に応じてデジタルカメラの各部の動作を制御するとともに、前述した画像データの圧縮・伸張処理を行う。また、ＣＰＵ９は、記録モードにおいては本発明の撮像手段、設定手段、取得手段として機能する。
【００２５】
被写体検出部１５は、被写体画像のうち、メインの被写体とメインの被写体以外の背景とを分離して検出する本発明の検出手段として機能する。メインの被写体は、流し撮りに際して撮影者がフレーム内の中央部分に位置させるようにしてシャッターキーの半押しをした時に認識された物体や、各ブロックごとに検出される動きベクトルによって、動きの量が小さいと認識された物体を特徴部として認識する。なお、ＣＰＵ９は、撮像した被写体画像から特徴部を検出する処理を検出用プログラムを実行させるようにして行ってもよく、ロバーツフィルタ等のフィルタリング処理によって行うことができる。
【００２６】
マッチング部１６は、記録モードでの撮影に際して、ＳＲＡＭ１８を作業メモリとして使用し、ＣＭＯＳセンサー３により撮像された被写体画像同士との間でマッチングを行い、時間的に前後する変化前の被写体画像と変化後の被写体画像の相対的な変化量及び変化方向を示す動きベクトルを取得してＣＰＵ９に出力する。マッチングは、被写体画像を３×３や４×４等の複数ブロックに分割した各ブロックごとに行う。
【００２７】
画像変形合成加算部１７は、ＣＰＵ９の指示に応じ、ＣＭＯＳセンサー３により撮像された被写体画像に変形を加えて流し撮り画像を生成する本発明の画像生成処理手段である。
【００２８】
次に、以上の構成からなるデジタルカメラにおいて、記録モードの下位モードである流し撮りモードが設定されているときの動作について説明する。図２は、記録モードが設定されているとき撮影者によって流し撮りモードが設定された場合におけるＣＰＵ９の処理手順を示すフローチャートである。
【００２９】
ＣＰＵ９は、流し撮りモードの設定とともに、周知のＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）技術により液晶表示器７にスルー画像に重ねてグリッドを表示させる（ステップＳＡ１）。図３に、液晶表示器７に表示されるグリッドの一例を示す。このグリッド１００は、撮影者がカメラの向きをメインの被写体に追従させるとき、メインの被写体をフレーム内の特定位置にガイドするものであり、本実施の形態において上記特定位置はフレーム内の中央部分である。したがって、流し撮りに際して撮影者はメインの被写体を極力フレーム内の中央部分に位置させるようにして所望のシャッターチャンスでシャッターキーを押すこととなる。
【００３０】
次に、撮影者が仮想シャッター時間の設定を行うと、その設定操作を検知して（ステップＳＡ２）、ＣＰＵ９は、仮想シャッター時間Ｂｔを設定する（ステップＳＡ３）。なお、撮影者が仮想シャッター時間の設定を行わない場合は、その設定操作を検知せず（ステップＳＡ３）、仮想シャッター時間Ｂｔを設定することなく、ステップＳＡ４に進む。すなわち、撮影者が仮想シャッター時間の設定を行わない場合は、公知の流し撮り撮影が行われる。
【００３１】
次に、撮影者がシャッターキーの半押しを行うと、その操作を検知して（ステップＳＡ４）、ＡＦ処理を行う（ステップＳＡ５）。シャッターキーは、撮像時にレリーズ操作を行うもので、２段階のストロークを有しており、１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための前処理指示信号を発生し、２段目の操作（全押し状態）で撮像処理を行うための撮像指示信号を発生する。ＡＦ処理とＡＥ処理については公知であるので詳細な説明は省略する。
【００３２】
次に、撮影者がシャッターキーの全押しを行うと、その操作を検知して（ステップＳＡ６）、第１の被写体画像Ｇ１をＣＭＯＳセンサー３によって撮像してＤＲＡＭ５に記憶する（ステップＳＡ７）。第１の被写体画像Ｇ１の撮像は、上記自動露出処理で求めたシャッター時間によって行われる。なお、第１の被写体画像Ｇ１の撮像を連写により行う場合には、ＣＭＯＳセンサー３によって時間的に連続する複数枚の画像のＲＡＷデータを取得し、ＤＲＡＭ５に記憶する。第１の被写体画像Ｇ１の撮像中、すなわち、シャッターキーの全押し押下後シャッター時間が経過するまでは、メインの被写体が撮影フレーム内の中央部分（特定位置）に位置するようにメインの被写体の動きに合わせてカメラを追従させる。本実施の形態において、シャッター時間として、自動露出処理で求めたシャッター時間を用いるが、本発明はこれに限定されず、シャッター時間は、被写体を露光する露光時間が被写体を撮像するために適正となる値であればよい。シャッター時間は、例えば、ＡＥ処理により得られる適正露光値に基づいて自動的に設定してもよく、あるいはユーザがマニュアル操作で事前に設定するようにしてもよい。また、このように、被写体を露光する露光時間が被写体を撮像するために適正となるように決定されるシャッター時間を本明細書では「適正露光に基づくシャッター時間」ともいう。
【００３３】
シャッターキーの全押し押下後から仮想シャッター時間Ｂｔ経過までは、カメラの追従によって発生するカメラの加速度を記録する（ステップＳＡ８）。加速度は、カメラに搭載されたジャイロセンサー等の加速度センサーによって検出でき、この検出結果をＤＲＡＭ５に記録しておく。或いは、スルー画像から得られる動きベクトルの検出によって加速度を得ることができる。
【００３４】
なお、第１の被写体画像Ｇ１を連写取得している場合には、時間的に連続する前後の画像の動きベクトルの大きさを算出して、カメラの加速度を記録することができる。
【００３５】
ステップＳＡ８による加速度の記録は、シャッターキーの全押し押下後から仮想シャッター時間Ｂｔ経過まで行われ、Ｂｔ経過か否かを判断する（ステップＳＡ９）。ここで、Ｂｔ経過と判断すると、第２の被写体画像Ｇ２をＣＭＯＳセンサー３によって上述したシャッター時間で撮像してＤＲＡＭ５に記憶する（ステップＳＡ１０）。
【００３６】
次に、取得された第１の被写体画像Ｇ１と第２の被写体画像Ｇ２とに基づいて流し撮り効果処理を行う（ステップＳＡ１１）。流し撮り効果処理については後述する。
【００３７】
最後に、ステップＳＡ１１において流し撮り効果処理が行われて生成された流し撮り画像データをＤＲＡＭ５や外部記憶メモリ１２に記録して（ステップＳＡ１２）、本サブルーチンを終了する。
【００３８】
続いて、図１のステップＳＡ１１に示す流し撮り効果処理について説明する。図４は、ＣＰＵ９の制御によって行われる流し撮り効果処理の処理手順を示すフローチャートである。
【００３９】
まず、ＣＰＵ９は、被写体検出部１５を制御して、第１の被写体画像Ｇ１のデータに基づいてメイン被写体部分を検出し、メイン被写体以外の背景部分の動きベクトルを検出する（ステップＳＢ１）。すなわち、メイン被写体部分は、その動きに合わせてカメラを追従させた結果、相対的に画像内での動き（像ブレ）が生じていない部分であり、本実施の形態においては流し撮り効果を付与しない部分である。メイン被写体は、シャッターキーの半押しによって合焦点にある物体を検出して特定する方法の場合、メイン被写体とされた物体についてフィルタリング処理を行ってその輪郭を検出することができる。或いは、タッチパネルの操作によって、メイン被写体を撮影者が選択指示して、選択指示された物体についてフィルタリング処理を行ってその輪郭を検出することができる。図５はフィルタリング処理の一例を示す図であり、図５（ａ）の枠２００をメイン被写体として検出し、その輪郭を検出・追跡してフィルタ領域を設定したのが図５（ｂ）である。また、メイン被写体以外の背景部分の動きベクトルの検出は、第１の被写体画像Ｇ１を複数ブロックに分割して、背景部分が含まれるブロックごとの動きベクトルを検出する。すなわち、マッチング部１６においては、前フレームと現フレームとの間で、背景部分を追跡対象としてマッチングを行い、双方の間における背景部分の相対的な変化量及び変化方向を示す動きベクトルを取得する。
【００４０】
次に、ステップＳＡ８で記録した加速度値が所定の閾値より高いか低いかを判断し（ステップＳＢ２）、所定の閾値より低いか近似している（例えば、０に近い）と判断した場合は、ステップＳＢ１で検出した動きベクトルの方向を方向データＤとして設定する（ステップＳＢ３）。一方、ステップＳＡ８で記録した加速度値が所定の閾値より高いか近似していないと判断した場合は、加速度センサーによって得られた方向を方向データＤとして設定する（ステップＳＢ４）。すなわち、ステップＳＢ３では、カメラを被写体に追従させておらず、カメラを固定したまま被写体が動いている場合に、被写体の動きに流し撮り効果を付与するための処理であり、ステップＳＢ４では、カメラを被写体に追従させて動かしている場合に、被写体の動きに流し撮り効果を付与するための処理である。
【００４１】
次に、仮想シャッター時間Ｂｔ、方向データＤの値に基づいて、第１の被写体画像Ｇ１に画素加算移動平均処理を行う（ステップＳＢ５）。具体的には、第１の被写体画像Ｇ１のメイン被写体以外の背景部分について、仮想シャッター時間Ｂｔの値だけ方向データＤの方向に応じた画素加算を行うことで、仮想シャッター時間Ｂｔの大きさが大きいほど平均する画素数を大きくして、流し撮り効果を付与する。一方、メイン被写体部分は流し撮り効果を付与しない。このように、仮想シャッター時間Ｂｔに相当する量の画素加算を行うことで、メイン被写体や風景が一定速度で動いていても、仮想シャッター時間を変えることにより様々なスピード感をもった流し撮り画像を得ることができる。
【００４２】
最後に、第２の被写体画像Ｇ２を用いて第１の被写体画像Ｇ１に補間処理を行う（ステップＳＢ６）。これは、第１の被写体画像Ｇ１は撮影開始時点の画像であるため、画素加算を行っていくと最終的に仮想シャッター時間Ｂｔが経過した時点の端部の画像が不足してしまうことから、これを補うための補間処理を行うものである。以上の処理により、本サブルーチンを終了する。
【００４３】
本実施の形態によれば、第１の被写体画像を得るシャッター時間と第２の被写体画像を得る仮想シャッター時間とを使い分け、短いシャッター時間でも十分な流し撮り効果を得ることができるよう仮想シャッター時間を設定することができるので、従来同様に撮影する感覚で手軽に流し撮り画像を得ることができる。その際、メイン被写体とメイン被写体以外の背景の切り分けを行い、背景のみに流し撮り効果を付与することができるので、撮影状況に応じた的確な流し撮り効果の付与が可能となる。
【００４４】
＜第２の実施の形態＞
第２の実施の形態の撮像装置は、図１〜図５を参照して説明した第１の実施の形態の撮像装置と構成及び動作が略同様であるので、同様の構成には同様の符号を付して、説明の重複を省略する。
【００４５】
図６は、第２の実施の形態の撮像装置が実行する流し撮りの効果処理の処理手順を示すフローチャートである。本実施の形態の撮像装置は、図６に示すように、第１の実施の形態の撮像装置と、仮想シャッター時間Ｂｔ、方向データＤ、動きベクトルの値に基づいて、第１の被写体画像Ｇ１に画素加算移動平均処理を行うステップＳＢ５の処理を、ブロックごとに行う点が第１の実施の形態の撮像装置と異なる。
【００４６】
具体的には、ステップＳＢ５に代えてステップＳＣ５を実行して、第１の被写体画像Ｇ１のメイン被写体以外の背景部分についてブロックごとに、仮想シャッタ時間Ｂｔだけ方向データＤの方向に応じた画素加算を行うことで、各ブロックごとに仮想シャッタ時間Ｂｔの大きさが大きいほど平均する画素数を大きくして、流し撮り効果を付与する。一方、メイン被写体部分は平均する画素数を小さくして、流し撮り効果を付与しない。さらにこの時、各ブロックの動きベクトルの大きさに応じて画素加算量を微調整して、臨場感のある流し撮り画像を得るようにしてもよい。具体的には、仮想シャッター時間Ｂｔによって決まった平均する画素数を、動きベクトルの大きな箇所では、例えば、１．０倍とし、動きベクトルの小さなところでは、例えば、０．５倍となるように、動きベクトルの大きさに応じて画素加算量を増減させてもよい。
【００４７】
このように、画素加算移動平均処理を各ブロックごとに行うことで、各ブロックの動きベクトルの大きさに応じた比率で画素加算平均を行うことができる。例えば、図７に示すように、９つのブロック１０１乃至１０９に分割した場合、遠くの被写体領域１０１〜１０３はほぼ動かないので平均する画素数をより小さく、若干近くの被写体領域１０４〜１０６は動きは小さいので平均する画素数を若干小さく、手前の被写体領域１０７〜１０９は動きが大きいので平均する画素数を大きくするなど、撮影位置から遠くの被写体は流し撮りの効果を小さくし、近くの被写体は流し撮りの効果を大きくすることができる。これによって、図７に示すように、ブロック１０１〜１０３が表す遠くの空はほぼ動いていないように見え、ブロック１０４〜１０６が表す若干近くの風景は動きが小さく見え、ブロック１０７〜１０９が表す手前の風景は動きが大きいように見えるようにすることができる。
【００４８】
本実施の形態によれば、ブロックごとに画素加算移動平均処理を行なうため、上述の実施の形態の撮像装置の効果に加えて、撮影位置から遠くの被写体は流し撮りの効果を小さくし、撮影位置から近くの被写体は流し撮りの効果を大きくするなど、撮影状況に応じた的確できめの細かい流し撮り効果の付与が可能となる。
【００４９】
以上、代表的な実施の形態の撮像装置について説明したが、本発明の撮像装置は、ＣＰＵとメモリを含む、撮像装置が有するコンピュータを上述した各手段として機能させる画像処理プログラムによって動作させることができる。画像処理プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００５０】
以上、本発明について様々な実施の形態を、図面を参照して詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではない。本発明の目的を実現可能な範囲における様々な変形、改良等は本発明の範囲に含まれる。
【図面の簡単な説明】
【００５１】
【図１】本発明の第１の実施の形態の撮像装置の実施の形態であるデジタルカメラの電気的構成を示したブロック図である。
【図２】図１の撮像装置において流し撮りモードが設定された場合におけるＣＰＵの処理手順を示すフローチャートである。
【図３】図１の撮像装置において流し撮りモードが設定された場合に液晶表示器７に表示されるグリッドの一例を示す図である。
【図４】図１の撮像装置において流し撮り効果処理の処理手順を示すフローチャートである。
【図５】図１の撮像装置においてフィルタリング処理の一例を示す図である。
【図６】第２の実施の形態の流し撮り効果処理の処理手順を示すフローチャートである。
【図７】各ブロックごとの動きベクトルを示す図である。
【符号の説明】
【００５２】
１ レンズ
２ シャッター
３ ＣＭＯＳセンサー
４ Ａ／Ｄ変換器
５ ＤＲＡＭ
６ 液晶表示コントローラ
７ 液晶表示器
８ シャッター制御部
９ ＣＰＵ
１０ 受光制御部
１１ デモザイク部
１２ 外部記憶メモリ
１３ キー入力ブロック
１４ プログラムメモリ
１６ マッチング部
１７ 画像変形合成加算部
１８ ＳＲＡＭ
【技術分野】
【０００１】
本発明は、例えばデジタルカメラ等の撮像装置に係り、特に被写体の流し撮り撮影を行う場合に好適な撮像装置、撮像装置の画像処理方法及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来より、メインの被写体の動きに合わせてカメラを的確に追従させることによって、被写体を静止させ、かつ背景を流したように撮影する「流し撮り」と呼ばれる撮影方法がある。このようにして撮像された「流し撮り画像」では、背景に対してメインの被写体が鮮明に強調され、通常の静止画像と比較して臨場感に溢れたものが多い。
【０００３】
流し撮り画像を得るためには、シャッターを開放して露光している間にメインの被写体の動きに合わせてカメラを的確に追従させる必要があるが、カメラを動かすスピードをメインの被写体の実際の移動速度と正確に合わせることは困難であり、カメラを動かす際に手ブレが発生しやすい。また、カメラを動かすスピードが速くなるほど背景が大きく流れるので流し撮りの効果を大きく表出できる一方、被写体の像ブレは大きくなる。
【０００４】
このため、撮影者によるカメラを動かす動作のみによって流し撮り画像を得るのではなく、デジタルカメラ等では、フィルタリング処理を行うことにより、流し撮りの効果を撮影した画像に事後的に反映させることも可能となっている（例えば、特許文献１参照）。
【０００５】
特許文献１に記載のものは、連写撮影により複数の画像データを取得し、これらの複数の画像データを比較して被写体の動き情報を取得し、取得した動き情報に基づいてメインの被写体と背景とを判別して、背景のブレ量を増大させる処理を撮影した画像に行う。このようにして流し撮りの効果を反映させるものである。
【０００６】
【特許文献１】特開２００６−８０８４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の技術によっても、連写撮影により複数の画像データを得る間はメインの被写体の動きに合わせてカメラを的確に追従させる必要があるので、メインの被写体の実際の移動速度とカメラのスピードが合わない可能性がある。また、カメラのスピードを無理に被写体のスピードに合わせようとすると被写体の像ブレが大きくなってしまうという問題もある。さらに、画像エフェクタ等で撮影後に処理をするのは専門的な知識や操作を要し、操作が煩雑で面倒であったりする。
【０００８】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮影後の画像処理において、撮影者の設定に応じた流し撮り効果を付与することによって、撮影者の好みに応じた流し撮り画像を取得可能な撮像装置、撮像装置の画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するため請求項１記載の発明に係る撮像装置にあっては、シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して被写体画像を取得する撮像手段と、所定の時間における被写体の動きを付与するための仮想シャッター時間を設定する設定手段と、シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得する取得手段と、前記仮想シャッター時間と前記方向データとに基づいて、前記被写体画像に変形を加えた流し撮り画像を生成する画像生成処理手段と、を備えることを特徴とする。
【００１０】
また、請求項２記載の発明に係る撮像装置にあっては、前記仮想シャッター時間は前記シャッター時間とは独立して、ユーザにより任意に設定可能であり、前記撮像手段は、前記シャッター時間に応じた第1の被写体画像を取得することを特徴とする。
【００１１】
また、請求項３記載の発明に係る撮像装置にあっては、前記取得手段は、加速度センサーによる検出結果又は被写体画像の変化前後における変化量及び変化方向を示す動きベクトルに基づいて方向データを取得することを特徴とする。
【００１２】
また、請求項４記載の発明に係る撮像装置にあっては、前記撮像手段は、さらに、シャッターキーの押下後前記仮想シャッター時間の経過によって第２の被写体画像を取得し、前記画像生成処理手段は、前記第１の被写体画像と前記第２の被写体画像とに基づいて流し撮り画像を生成することを特徴とする。
【００１３】
また、請求項５記載の発明に係る撮像装置にあっては、前記取得手段は、前記被写体画像を複数のブロックに分割して、各ブロックごとに前記検出結果又は前記動きベクトルを取得し、前記画像生成処理手段は、各ブロックごとに変形を加えた流し撮り画像を生成することを特徴とする。
【００１４】
また、請求項６記載の発明に係る撮像装置にあっては、前記画像生成処理手段は、加速度センサーによる検出結果又は被写体画像の変化前後における被写体部分の変化量及び変化方向を示す動きベクトルの大小に応じて流し撮り画像を生成することを特徴とする。
【００１５】
また、請求項７記載の発明に係る撮像装置にあっては、前記撮像手段によって取得された被写体画像から被写体の特徴部を検出する検出手段と、前記画像生成処理手段は、被写体の前記特徴部を除く部分に変形を加えた流し撮り画像を生成することを特徴とする。
【００１６】
また、請求項８記載の発明に係る撮像装置の画像処理方法にあっては、シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して被写体画像を取得する工程と、所定の時間における被写体の動きを付与するための仮想シャッター時間を設定する工程と、シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得する工程と、前記仮想シャッター時間と前記方向データとに基づいて、前記被写体画像に変形を加えた流し撮り画像を生成する工程と、を有することを特徴とする。
【００１７】
さらに、請求項９記載の発明に係る撮像装置の画像処理プログラムにあっては、撮像装置が有するコンピュータに、シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して被写体画像を取得する工程と、所定の時間における被写体の動きを付与するための仮想シャッター時間を設定する工程と、シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得する工程と、前記仮想シャッター時間と前記方向データとに基づいて、被写体画像に変形を加えた流し撮り画像を生成する工程と、を実行させることを特徴とする
【発明の効果】
【００１８】
本発明によれば、仮想シャッター時間に応じた流し撮り画像を得ることができるので、好適な被写体の流し撮り効果を得ることができる。
【発明を実施するための最良の形態】
【００１９】
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態の撮像装置のデジタルカメラの電気的構成を示したブロック図である。このデジタルカメラは、基本となる動作モードとして撮影を行うための記録モードと、撮影した画像を再生するための再生モードとが設けられている。
【００２０】
図１に示したように本実施の形態のデジタルカメラは、撮影レンズ１と、撮影レンズ１により収束された撮影光をシャッター２を介して受光するとともに、受光面に結像された被写体の光学像を光電変換し画像信号として出力する撮像素子であるＣＭＯＳセンサー３、ＣＭＯＳセンサー３の出力信号をデジタルの画像データへ変換するＡ／Ｄ変換器４、変換後の画像データを逐次記憶するＤＲＡＭ５を備えている。
【００２１】
シャッター２の動作はＣＰＵ９の命令に従いシャッター制御部８により制御され、ＣＭＯＳセンサー３及びＡ／Ｄ変換器４の動作はＣＰＵ９の命令に従い受光制御部１０により制御される。ＤＲＡＭ５に格納された１枚分の画像データ、すなわちＲＡＷデータはデモザイク部１１により画素ごとに色情報を補間されてＹＵＶデータに変換された後、液晶表示コントローラ６を介して液晶表示器７にスルー画像として表示される。
【００２２】
なお、デモザイク部１１は、記録モードでの撮影時においてはＲＡＷデータをＹＵＶデータ（撮影画像）のみならず、必要に応じて輝度情報のみからなる輝度画像データ（輝度画像）へ変換する。また、変換されたＹＵＶデータ及び輝度画像データはＤＲＡＭ５に一時的に記憶される。
【００２３】
記録モードでの撮影時にデモザイク部１１によりＹＵＶデータに変換された画像データは、ＣＰＵ９によってＪＰＥＧ等の所定の圧縮方式に従い圧縮された後、外部記憶メモリ１２に静止画ファイルとして記憶される。外部記憶メモリ１２に静止画ファイルとして記憶された画像データは、再生モードにおいては、必要に応じＣＰＵ９によって読み出されて伸張された後、液晶表示コントローラ６を介して液晶表示器７において表示される。なお、外部記憶メモリ１２は、例えばカメラ本体に着脱可能なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。
【００２４】
また、ＣＰＵ９には、キー入力ブロック１３、プログラムメモリ１４、被写体検出部１５、マッチング部１６、画像変形合成加算部１７、ＳＲＡＭ１８が接続されている。キー入力ブロック１３は、ユーザによるデジタルカメラの操作に使用される、電源キーやシャッターキー、ズームボタン（Ｗボタン，Ｔボタン）、モード切替キー等を含む複数のスイッチ類から構成される。プログラムメモリ１４は、ＣＰＵ９の動作に必要な種々のプログラム、及びプログラムの実行に際して使用される各種のデータ、ログが記憶されたメモリである。ＣＰＵ９は、プログラムメモリ１４に記憶されたプログラムに従い、キー入力ブロック１３におけるいずれかのキーの操作に応じてデジタルカメラの各部の動作を制御するとともに、前述した画像データの圧縮・伸張処理を行う。また、ＣＰＵ９は、記録モードにおいては本発明の撮像手段、設定手段、取得手段として機能する。
【００２５】
被写体検出部１５は、被写体画像のうち、メインの被写体とメインの被写体以外の背景とを分離して検出する本発明の検出手段として機能する。メインの被写体は、流し撮りに際して撮影者がフレーム内の中央部分に位置させるようにしてシャッターキーの半押しをした時に認識された物体や、各ブロックごとに検出される動きベクトルによって、動きの量が小さいと認識された物体を特徴部として認識する。なお、ＣＰＵ９は、撮像した被写体画像から特徴部を検出する処理を検出用プログラムを実行させるようにして行ってもよく、ロバーツフィルタ等のフィルタリング処理によって行うことができる。
【００２６】
マッチング部１６は、記録モードでの撮影に際して、ＳＲＡＭ１８を作業メモリとして使用し、ＣＭＯＳセンサー３により撮像された被写体画像同士との間でマッチングを行い、時間的に前後する変化前の被写体画像と変化後の被写体画像の相対的な変化量及び変化方向を示す動きベクトルを取得してＣＰＵ９に出力する。マッチングは、被写体画像を３×３や４×４等の複数ブロックに分割した各ブロックごとに行う。
【００２７】
画像変形合成加算部１７は、ＣＰＵ９の指示に応じ、ＣＭＯＳセンサー３により撮像された被写体画像に変形を加えて流し撮り画像を生成する本発明の画像生成処理手段である。
【００２８】
次に、以上の構成からなるデジタルカメラにおいて、記録モードの下位モードである流し撮りモードが設定されているときの動作について説明する。図２は、記録モードが設定されているとき撮影者によって流し撮りモードが設定された場合におけるＣＰＵ９の処理手順を示すフローチャートである。
【００２９】
ＣＰＵ９は、流し撮りモードの設定とともに、周知のＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）技術により液晶表示器７にスルー画像に重ねてグリッドを表示させる（ステップＳＡ１）。図３に、液晶表示器７に表示されるグリッドの一例を示す。このグリッド１００は、撮影者がカメラの向きをメインの被写体に追従させるとき、メインの被写体をフレーム内の特定位置にガイドするものであり、本実施の形態において上記特定位置はフレーム内の中央部分である。したがって、流し撮りに際して撮影者はメインの被写体を極力フレーム内の中央部分に位置させるようにして所望のシャッターチャンスでシャッターキーを押すこととなる。
【００３０】
次に、撮影者が仮想シャッター時間の設定を行うと、その設定操作を検知して（ステップＳＡ２）、ＣＰＵ９は、仮想シャッター時間Ｂｔを設定する（ステップＳＡ３）。なお、撮影者が仮想シャッター時間の設定を行わない場合は、その設定操作を検知せず（ステップＳＡ３）、仮想シャッター時間Ｂｔを設定することなく、ステップＳＡ４に進む。すなわち、撮影者が仮想シャッター時間の設定を行わない場合は、公知の流し撮り撮影が行われる。
【００３１】
次に、撮影者がシャッターキーの半押しを行うと、その操作を検知して（ステップＳＡ４）、ＡＦ処理を行う（ステップＳＡ５）。シャッターキーは、撮像時にレリーズ操作を行うもので、２段階のストロークを有しており、１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための前処理指示信号を発生し、２段目の操作（全押し状態）で撮像処理を行うための撮像指示信号を発生する。ＡＦ処理とＡＥ処理については公知であるので詳細な説明は省略する。
【００３２】
次に、撮影者がシャッターキーの全押しを行うと、その操作を検知して（ステップＳＡ６）、第１の被写体画像Ｇ１をＣＭＯＳセンサー３によって撮像してＤＲＡＭ５に記憶する（ステップＳＡ７）。第１の被写体画像Ｇ１の撮像は、上記自動露出処理で求めたシャッター時間によって行われる。なお、第１の被写体画像Ｇ１の撮像を連写により行う場合には、ＣＭＯＳセンサー３によって時間的に連続する複数枚の画像のＲＡＷデータを取得し、ＤＲＡＭ５に記憶する。第１の被写体画像Ｇ１の撮像中、すなわち、シャッターキーの全押し押下後シャッター時間が経過するまでは、メインの被写体が撮影フレーム内の中央部分（特定位置）に位置するようにメインの被写体の動きに合わせてカメラを追従させる。本実施の形態において、シャッター時間として、自動露出処理で求めたシャッター時間を用いるが、本発明はこれに限定されず、シャッター時間は、被写体を露光する露光時間が被写体を撮像するために適正となる値であればよい。シャッター時間は、例えば、ＡＥ処理により得られる適正露光値に基づいて自動的に設定してもよく、あるいはユーザがマニュアル操作で事前に設定するようにしてもよい。また、このように、被写体を露光する露光時間が被写体を撮像するために適正となるように決定されるシャッター時間を本明細書では「適正露光に基づくシャッター時間」ともいう。
【００３３】
シャッターキーの全押し押下後から仮想シャッター時間Ｂｔ経過までは、カメラの追従によって発生するカメラの加速度を記録する（ステップＳＡ８）。加速度は、カメラに搭載されたジャイロセンサー等の加速度センサーによって検出でき、この検出結果をＤＲＡＭ５に記録しておく。或いは、スルー画像から得られる動きベクトルの検出によって加速度を得ることができる。
【００３４】
なお、第１の被写体画像Ｇ１を連写取得している場合には、時間的に連続する前後の画像の動きベクトルの大きさを算出して、カメラの加速度を記録することができる。
【００３５】
ステップＳＡ８による加速度の記録は、シャッターキーの全押し押下後から仮想シャッター時間Ｂｔ経過まで行われ、Ｂｔ経過か否かを判断する（ステップＳＡ９）。ここで、Ｂｔ経過と判断すると、第２の被写体画像Ｇ２をＣＭＯＳセンサー３によって上述したシャッター時間で撮像してＤＲＡＭ５に記憶する（ステップＳＡ１０）。
【００３６】
次に、取得された第１の被写体画像Ｇ１と第２の被写体画像Ｇ２とに基づいて流し撮り効果処理を行う（ステップＳＡ１１）。流し撮り効果処理については後述する。
【００３７】
最後に、ステップＳＡ１１において流し撮り効果処理が行われて生成された流し撮り画像データをＤＲＡＭ５や外部記憶メモリ１２に記録して（ステップＳＡ１２）、本サブルーチンを終了する。
【００３８】
続いて、図１のステップＳＡ１１に示す流し撮り効果処理について説明する。図４は、ＣＰＵ９の制御によって行われる流し撮り効果処理の処理手順を示すフローチャートである。
【００３９】
まず、ＣＰＵ９は、被写体検出部１５を制御して、第１の被写体画像Ｇ１のデータに基づいてメイン被写体部分を検出し、メイン被写体以外の背景部分の動きベクトルを検出する（ステップＳＢ１）。すなわち、メイン被写体部分は、その動きに合わせてカメラを追従させた結果、相対的に画像内での動き（像ブレ）が生じていない部分であり、本実施の形態においては流し撮り効果を付与しない部分である。メイン被写体は、シャッターキーの半押しによって合焦点にある物体を検出して特定する方法の場合、メイン被写体とされた物体についてフィルタリング処理を行ってその輪郭を検出することができる。或いは、タッチパネルの操作によって、メイン被写体を撮影者が選択指示して、選択指示された物体についてフィルタリング処理を行ってその輪郭を検出することができる。図５はフィルタリング処理の一例を示す図であり、図５（ａ）の枠２００をメイン被写体として検出し、その輪郭を検出・追跡してフィルタ領域を設定したのが図５（ｂ）である。また、メイン被写体以外の背景部分の動きベクトルの検出は、第１の被写体画像Ｇ１を複数ブロックに分割して、背景部分が含まれるブロックごとの動きベクトルを検出する。すなわち、マッチング部１６においては、前フレームと現フレームとの間で、背景部分を追跡対象としてマッチングを行い、双方の間における背景部分の相対的な変化量及び変化方向を示す動きベクトルを取得する。
【００４０】
次に、ステップＳＡ８で記録した加速度値が所定の閾値より高いか低いかを判断し（ステップＳＢ２）、所定の閾値より低いか近似している（例えば、０に近い）と判断した場合は、ステップＳＢ１で検出した動きベクトルの方向を方向データＤとして設定する（ステップＳＢ３）。一方、ステップＳＡ８で記録した加速度値が所定の閾値より高いか近似していないと判断した場合は、加速度センサーによって得られた方向を方向データＤとして設定する（ステップＳＢ４）。すなわち、ステップＳＢ３では、カメラを被写体に追従させておらず、カメラを固定したまま被写体が動いている場合に、被写体の動きに流し撮り効果を付与するための処理であり、ステップＳＢ４では、カメラを被写体に追従させて動かしている場合に、被写体の動きに流し撮り効果を付与するための処理である。
【００４１】
次に、仮想シャッター時間Ｂｔ、方向データＤの値に基づいて、第１の被写体画像Ｇ１に画素加算移動平均処理を行う（ステップＳＢ５）。具体的には、第１の被写体画像Ｇ１のメイン被写体以外の背景部分について、仮想シャッター時間Ｂｔの値だけ方向データＤの方向に応じた画素加算を行うことで、仮想シャッター時間Ｂｔの大きさが大きいほど平均する画素数を大きくして、流し撮り効果を付与する。一方、メイン被写体部分は流し撮り効果を付与しない。このように、仮想シャッター時間Ｂｔに相当する量の画素加算を行うことで、メイン被写体や風景が一定速度で動いていても、仮想シャッター時間を変えることにより様々なスピード感をもった流し撮り画像を得ることができる。
【００４２】
最後に、第２の被写体画像Ｇ２を用いて第１の被写体画像Ｇ１に補間処理を行う（ステップＳＢ６）。これは、第１の被写体画像Ｇ１は撮影開始時点の画像であるため、画素加算を行っていくと最終的に仮想シャッター時間Ｂｔが経過した時点の端部の画像が不足してしまうことから、これを補うための補間処理を行うものである。以上の処理により、本サブルーチンを終了する。
【００４３】
本実施の形態によれば、第１の被写体画像を得るシャッター時間と第２の被写体画像を得る仮想シャッター時間とを使い分け、短いシャッター時間でも十分な流し撮り効果を得ることができるよう仮想シャッター時間を設定することができるので、従来同様に撮影する感覚で手軽に流し撮り画像を得ることができる。その際、メイン被写体とメイン被写体以外の背景の切り分けを行い、背景のみに流し撮り効果を付与することができるので、撮影状況に応じた的確な流し撮り効果の付与が可能となる。
【００４４】
＜第２の実施の形態＞
第２の実施の形態の撮像装置は、図１〜図５を参照して説明した第１の実施の形態の撮像装置と構成及び動作が略同様であるので、同様の構成には同様の符号を付して、説明の重複を省略する。
【００４５】
図６は、第２の実施の形態の撮像装置が実行する流し撮りの効果処理の処理手順を示すフローチャートである。本実施の形態の撮像装置は、図６に示すように、第１の実施の形態の撮像装置と、仮想シャッター時間Ｂｔ、方向データＤ、動きベクトルの値に基づいて、第１の被写体画像Ｇ１に画素加算移動平均処理を行うステップＳＢ５の処理を、ブロックごとに行う点が第１の実施の形態の撮像装置と異なる。
【００４６】
具体的には、ステップＳＢ５に代えてステップＳＣ５を実行して、第１の被写体画像Ｇ１のメイン被写体以外の背景部分についてブロックごとに、仮想シャッタ時間Ｂｔだけ方向データＤの方向に応じた画素加算を行うことで、各ブロックごとに仮想シャッタ時間Ｂｔの大きさが大きいほど平均する画素数を大きくして、流し撮り効果を付与する。一方、メイン被写体部分は平均する画素数を小さくして、流し撮り効果を付与しない。さらにこの時、各ブロックの動きベクトルの大きさに応じて画素加算量を微調整して、臨場感のある流し撮り画像を得るようにしてもよい。具体的には、仮想シャッター時間Ｂｔによって決まった平均する画素数を、動きベクトルの大きな箇所では、例えば、１．０倍とし、動きベクトルの小さなところでは、例えば、０．５倍となるように、動きベクトルの大きさに応じて画素加算量を増減させてもよい。
【００４７】
このように、画素加算移動平均処理を各ブロックごとに行うことで、各ブロックの動きベクトルの大きさに応じた比率で画素加算平均を行うことができる。例えば、図７に示すように、９つのブロック１０１乃至１０９に分割した場合、遠くの被写体領域１０１〜１０３はほぼ動かないので平均する画素数をより小さく、若干近くの被写体領域１０４〜１０６は動きは小さいので平均する画素数を若干小さく、手前の被写体領域１０７〜１０９は動きが大きいので平均する画素数を大きくするなど、撮影位置から遠くの被写体は流し撮りの効果を小さくし、近くの被写体は流し撮りの効果を大きくすることができる。これによって、図７に示すように、ブロック１０１〜１０３が表す遠くの空はほぼ動いていないように見え、ブロック１０４〜１０６が表す若干近くの風景は動きが小さく見え、ブロック１０７〜１０９が表す手前の風景は動きが大きいように見えるようにすることができる。
【００４８】
本実施の形態によれば、ブロックごとに画素加算移動平均処理を行なうため、上述の実施の形態の撮像装置の効果に加えて、撮影位置から遠くの被写体は流し撮りの効果を小さくし、撮影位置から近くの被写体は流し撮りの効果を大きくするなど、撮影状況に応じた的確できめの細かい流し撮り効果の付与が可能となる。
【００４９】
以上、代表的な実施の形態の撮像装置について説明したが、本発明の撮像装置は、ＣＰＵとメモリを含む、撮像装置が有するコンピュータを上述した各手段として機能させる画像処理プログラムによって動作させることができる。画像処理プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００５０】
以上、本発明について様々な実施の形態を、図面を参照して詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではない。本発明の目的を実現可能な範囲における様々な変形、改良等は本発明の範囲に含まれる。
【図面の簡単な説明】
【００５１】
【図１】本発明の第１の実施の形態の撮像装置の実施の形態であるデジタルカメラの電気的構成を示したブロック図である。
【図２】図１の撮像装置において流し撮りモードが設定された場合におけるＣＰＵの処理手順を示すフローチャートである。
【図３】図１の撮像装置において流し撮りモードが設定された場合に液晶表示器７に表示されるグリッドの一例を示す図である。
【図４】図１の撮像装置において流し撮り効果処理の処理手順を示すフローチャートである。
【図５】図１の撮像装置においてフィルタリング処理の一例を示す図である。
【図６】第２の実施の形態の流し撮り効果処理の処理手順を示すフローチャートである。
【図７】各ブロックごとの動きベクトルを示す図である。
【符号の説明】
【００５２】
１ レンズ
２ シャッター
３ ＣＭＯＳセンサー
４ Ａ／Ｄ変換器
５ ＤＲＡＭ
６ 液晶表示コントローラ
７ 液晶表示器
８ シャッター制御部
９ ＣＰＵ
１０ 受光制御部
１１ デモザイク部
１２ 外部記憶メモリ
１３ キー入力ブロック
１４ プログラムメモリ
１６ マッチング部
１７ 画像変形合成加算部
１８ ＳＲＡＭ
【特許請求の範囲】
【請求項１】
シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して被写体画像を取得する撮像手段と、
所定の時間における被写体の動きを付与するための仮想シャッター時間を設定する設定手段と、
シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得する取得手段と、
前記仮想シャッター時間と前記方向データとに基づいて、前記被写体画像に変形を加えた流し撮り画像を生成する画像生成処理手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記仮想シャッター時間は前記シャッター時間とは独立して、ユーザにより任意に設定可能であり、
前記撮像手段は、前記シャッター時間に応じた第１の被写体画像を取得することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記取得手段は、加速度センサーによる検出結果又は被写体画像の変化前後における被写体部分の変化量及び変化方向を示す動きベクトルに基づいて方向データを取得することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記撮像手段は、さらに、シャッターキーの押下後前記仮想シャッター時間の経過によって第２の被写体画像を取得し、
前記画像生成処理手段は、前記第１の被写体画像と前記第２の被写体画像とに基づいて流し撮り画像を生成することを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記取得手段は、前記被写体画像を複数のブロックに分割して、各ブロックごとに前記検出結果又は前記動きベクトルを取得し、
前記画像生成処理手段は、各ブロックごとに変形を加えた流し撮り画像を生成することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記画像生成処理手段は、加速度センサーによる検出結果又は被写体画像の変化前後における被写体部分の変化量及び変化方向を示す動きベクトルの大小に応じて流し撮り画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記撮像手段によって取得された被写体画像から被写体の特徴部を検出する検出手段と、
前記画像生成処理手段は、被写体の前記特徴部を除く部分に変形を加えた流し撮り画像を生成することを特徴とする請求項１から６のいずれか記載の撮像装置。
【請求項８】
シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して被写体画像を取得する工程と、
所定の時間における被写体の動きを付与するための仮想シャッター時間を設定する工程と、
シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得する工程と、
前記仮想シャッター時間と前記方向データとに基づいて、前記被写体画像に変形を加えた流し撮り画像を生成する工程と、
を有することを特徴とする撮像装置の画像処理方法。
【請求項９】
撮像装置が有するコンピュータに、
シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して被写体画像を取得する工程と、
所定の時間における被写体の動きを付与するための仮想シャッター時間を設定する工程と、
シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得する工程と、
前記仮想シャッター時間と前記方向データとに基づいて、前記被写体画像に変形を加えた流し撮り画像を生成する工程と、
を実行させることを特徴とする撮像装置の画像処理プログラム。
【請求項１】
シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して被写体画像を取得する撮像手段と、
所定の時間における被写体の動きを付与するための仮想シャッター時間を設定する設定手段と、
シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得する取得手段と、
前記仮想シャッター時間と前記方向データとに基づいて、前記被写体画像に変形を加えた流し撮り画像を生成する画像生成処理手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記仮想シャッター時間は前記シャッター時間とは独立して、ユーザにより任意に設定可能であり、
前記撮像手段は、前記シャッター時間に応じた第１の被写体画像を取得することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記取得手段は、加速度センサーによる検出結果又は被写体画像の変化前後における被写体部分の変化量及び変化方向を示す動きベクトルに基づいて方向データを取得することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記撮像手段は、さらに、シャッターキーの押下後前記仮想シャッター時間の経過によって第２の被写体画像を取得し、
前記画像生成処理手段は、前記第１の被写体画像と前記第２の被写体画像とに基づいて流し撮り画像を生成することを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記取得手段は、前記被写体画像を複数のブロックに分割して、各ブロックごとに前記検出結果又は前記動きベクトルを取得し、
前記画像生成処理手段は、各ブロックごとに変形を加えた流し撮り画像を生成することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記画像生成処理手段は、加速度センサーによる検出結果又は被写体画像の変化前後における被写体部分の変化量及び変化方向を示す動きベクトルの大小に応じて流し撮り画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記撮像手段によって取得された被写体画像から被写体の特徴部を検出する検出手段と、
前記画像生成処理手段は、被写体の前記特徴部を除く部分に変形を加えた流し撮り画像を生成することを特徴とする請求項１から６のいずれか記載の撮像装置。
【請求項８】
シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して被写体画像を取得する工程と、
所定の時間における被写体の動きを付与するための仮想シャッター時間を設定する工程と、
シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得する工程と、
前記仮想シャッター時間と前記方向データとに基づいて、前記被写体画像に変形を加えた流し撮り画像を生成する工程と、
を有することを特徴とする撮像装置の画像処理方法。
【請求項９】
撮像装置が有するコンピュータに、
シャッターキーの押下後適正露光に基づくシャッター時間にて被写体を撮像して被写体画像を取得する工程と、
所定の時間における被写体の動きを付与するための仮想シャッター時間を設定する工程と、
シャッターキーの押下後から前記仮想シャッター時間が経過するまでに発生する被写体画像の像ブレの方向データを取得する工程と、
前記仮想シャッター時間と前記方向データとに基づいて、前記被写体画像に変形を加えた流し撮り画像を生成する工程と、
を実行させることを特徴とする撮像装置の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２２６６２４（Ｐ２０１０−２２６６２４Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−７３８７８（Ｐ２００９−７３８７８）
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]