撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
【課題】画像に含まれるブレを適切に補正する。
【解決手段】対象物位置決定部３２０は、撮像部１１０により撮像された画像である撮像画像に含まれる対象物の位置を、操作受付部２５０における対象物の選択入力により決定する。対象物動き量検出部３３０は、撮像画像に含まれる対象物の動き量を検出する。対象物領域抽出部３６０は、その対象物の領域を抽出する。対象物動き予測量算出部３５０は、検出された対象物の動き量に基づいて対象物の動き量を予測する。ブレ補正部３８１は、対象物の動き量に基づいて撮像画像を補正して補正画像とする。画像合成部３８３は、対象物画像抽出部３８２により抽出された対象物の領域内の補正画像を、撮像画像の対象物の領域に合成する。領域境界補正部３８４は、合成画像における背景と対象物との境界の周辺領域において境界からの距離に応じて合成画像の画素値を変更して補正する。
【解決手段】対象物位置決定部３２０は、撮像部１１０により撮像された画像である撮像画像に含まれる対象物の位置を、操作受付部２５０における対象物の選択入力により決定する。対象物動き量検出部３３０は、撮像画像に含まれる対象物の動き量を検出する。対象物領域抽出部３６０は、その対象物の領域を抽出する。対象物動き予測量算出部３５０は、検出された対象物の動き量に基づいて対象物の動き量を予測する。ブレ補正部３８１は、対象物の動き量に基づいて撮像画像を補正して補正画像とする。画像合成部３８３は、対象物画像抽出部３８２により抽出された対象物の領域内の補正画像を、撮像画像の対象物の領域に合成する。領域境界補正部３８４は、合成画像における背景と対象物との境界の周辺領域において境界からの距離に応じて合成画像の画素値を変更して補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、撮影画像等のブレを補正する撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物等の被写体を撮像して画像データとして記録するデジタルスチルカメラ等の撮像装置が急速に普及し、これらの撮像装置の高性能化が進んでいる。また、これらの撮像装置の小型化も進んでおり、携帯が可能な撮像装置が各種提案されている。これにより、ユーザが撮像装置を旅行等に携帯して色々な場所で撮影をすることができる。
【０００３】
これらの撮像装置を手で持って撮影する場合には、撮像装置自体のブレおよび被写体のブレの２種類のブレが主に生じる。
【０００４】
これらのブレを検出する方法として、振動センサ、速度センサ、加速度センサ、重力センサ等による撮像装置自体のブレの検出方法や、画像処理による動きベクトルの検出方法等の検出方法が主に知られている。
【０００５】
これらの検出方法によって検出されたブレ成分を用いて、このブレ成分をキャンセルする方向に撮影画像の位置を移動させることによって撮影画像におけるブレを補正することができる。
【０００６】
例えば、タイミングジェネレータから供給されるサンプリング信号のうちシャッター速度に応じたサンプルタイミングによって、手振れセンサから供給される手振れ検出情報をサンプリングし、サンプリングされた手振れ検出情報に基づいて、撮像素子によって得られる画像信号の読み出し位置を制御して手振れを補正する撮像装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開平０５−３１６４０４号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述の従来技術では、撮影画像に含まれる被写体の動きとは無関係に均一的にブレ補正処理が実施される。これにより、撮影画像全体としての手振れ等のブレを補正することができる。
【０００８】
一般に、撮像装置が用いられる状況としては、例えば、遊園地の動く乗り物に乗って遊んでいる人物を撮影したり、水族館の水槽で泳ぐ亀等を撮影したりすることも考えられる。このように、移動している物体を撮像装置で撮影する場合には、撮影された画像に含まれる物体がブレてしまう、いわゆる、被写体ブレが生じることが多い。
【０００９】
しかしながら、これらの補正処理では、撮影画像に含まれる背景や人物が均一に扱われるため、撮影者が被写体として狙っていた人物やその顔、目、鼻、口等にブレ成分が残った状態となることが考えられる。
【００１０】
そこで、移動している物体を撮影する場合において、移動している物体に合わせて撮像装置のレンズを移動させる、いわゆる、流し撮りを行うことが考えられる。しかしながら、この流し撮りは、難しい技法と言われているため、初心者等にとっては撮影が難しいという問題がある。また、この流し撮りを行うことによって、被写体ブレを軽減させることができるものの、背景がブレてしまうことが多く、写真全体を鮮鋭度の高い画像としたい人の要請に応えることが困難である。
【００１１】
このため、例えば、移動している亀を撮影する場合において、画像に含まれるブレを適切に補正し、移動している亀のブレとともに、この亀の背景のブレについても低減させることができれば、ユーザの好みに応じた適切な画像を提供することができると考えられる。
【００１２】
そこで、本発明は、画像に含まれるブレを適切に補正することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入射光を撮像データに変換する撮像手段と、上記撮像データに含まれる所定の領域の動き量を検出する動き量検出手段と、上記動き量に基づいて上記撮像データの上記所定の領域を補正して補正画像とする補正手段と、上記補正画像を上記撮像データの上記所定の領域に合成する合成手段とを具備することを特徴とする撮像装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像データに含まれる所定の領域の動き量を検出し、この動き量に基づいて撮像データの所定の領域を補正して補正画像とし、この補正画像を撮像データの所定の領域に合成するという作用をもたらす。
【００１４】
また、この第１の側面において、上記撮像データを記憶する画像記憶手段と、上記検出された動き量を上記所定の領域の画像に関連付けて上記画像記憶手段に記憶する記憶制御手段とをさらに具備し、上記補正手段は、上記画像記憶手段に記憶されている撮像データの上記所定の領域を当該撮像データに対応して上記画像記憶手段に記憶されている動き量に基づいて補正して補正画像とし、上記合成手段は、上記画像記憶手段に記憶されている撮像データの上記所定の領域に上記補正画像を合成することができる。これにより、検出された動き量を所定の領域の画像に関連付けて画像記憶手段に記憶して、この画像記憶手段に記憶されている撮像データの所定の領域を、その撮像データに対応する動き量に基づいて補正して補正画像とし、その撮像データの所定の領域に補正画像を合成するという作用をもたらす。また、この場合において、上記記憶制御手段は、上記所定の領域に関する領域情報を上記所定の領域の画像に関連付けて上記画像記憶手段に記憶することができる。これにより、所定の領域に関する領域情報を、この領域の画像に関連付けて画像記憶手段に記憶するという作用をもたらす。また、この場合において、上記領域情報は、上記所定の領域に含まれる画像の縮小画像を含むことができる。これにより、所定の領域に含まれる画像の縮小画像を、この領域の画像に関連付けて画像記憶手段に記憶するという作用をもたらす。
【００１５】
また、この第１の側面において、上記撮像手段により撮像された画像の記録操作を受け付ける記録操作受付手段をさらに具備し、上記動き量検出手段は、上記撮像手段により撮像された画像について１フレーム毎に上記所定の領域の動き量を検出し、上記記憶制御手段は、上記記録操作が受け付けられた際に上記撮像手段により撮像された画像を記録するとともに記録操作が受け付けられた際に検出された上記所定の領域の動き量を当該画像に関連付けて上記画像記憶手段に記録することができる。これにより、撮像された画像について１フレーム毎に所定の領域の動き量を検出して、記録操作が受け付けられた際に撮像された画像と、記録操作が受け付けられた際に検出された所定の領域の動き量とを関連付けて画像記憶手段に記録するという作用をもたらす。また、この場合において、上記記録操作が受け付けられた際に検出された上記所定の領域の動き量に基づいて新たな動き量を予測する動き量予測手段をさらに具備し、上記記憶制御手段は、上記記録操作が受け付けられた際に上記撮像手段により撮像された画像を記憶するとともに上記新たな動き量を当該画像に関連付けて上記画像記憶手段に記憶することができる。これにより、記録操作が受け付けられた際に検出された所定の領域の動き量に基づいて新たな動き量を予測して、記録操作が受け付けられた際に撮像された画像と新たな動き量とを関連付けて画像記憶手段に記憶するという作用をもたらす。
【００１６】
また、この第１の側面において、上記撮像された画像を表示する表示手段と、上記表示された画像に含まれる特定の物体の選択入力を受け付ける選択受付手段と、上記選択された物体の領域を上記所定の領域として抽出する所定領域抽出手段とをさらに具備することができる。これにより、撮像された画像を表示して、この表示された画像に含まれる特定の物体の選択入力が受け付けられると、この選択された物体の領域を所定の領域として抽出するという作用をもたらす。
【００１７】
また、この第１の側面において、上記合成された画像における上記所定の領域に含まれる画像の境界の周辺領域において当該境界からの距離に応じて上記合成された画像の画素値を変更する境界補正手段をさらに具備することができる。これにより、合成された画像における所定の領域に含まれる画像の境界の周辺領域において、その境界からの距離に応じて、合成された画像の画素値を変更するという作用をもたらす。
【００１８】
また、本発明の第２の側面は、入射光が変換された撮像データと当該撮像データに含まれる所定の領域の動き量とを入力する入力手段と、上記動き量に基づいて上記撮像データの上記所定の領域を補正して補正画像とする補正手段と、上記補正画像を上記撮像データの上記所定の領域に合成する合成手段とを具備することを特徴とする画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像データとこれに含まれる所定の領域の動き量とを入力して、この動き量に基づいて撮像データの所定の領域を補正して補正画像とし、この補正画像を撮像データの所定の領域に合成するという作用をもたらす。
【発明の効果】
【００１９】
本発明によれば、画像に含まれるブレを適切に補正することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２０】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２１】
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【００２２】
撮像装置１００は、撮像部１１０と、ＣＰＵ１２０と、ＲＡＭ１３０と、カメラ信号処理エンジン１４０と、対象物検出エンジン１５０と、対象物領域抽出エンジン１６０と、動き量検出エンジン１８０と、ブレ補正エンジン１９０と、画像表示エンジン２００と、表示部２１０と、メディアコントローラ２２０と、撮影画像記憶部２３０と、操作入力コントローラ２４０と、操作受付部２５０と、データバス２６０とを備える。
【００２３】
撮像部１１０は、光学系と撮像素子とから構成され、光学系を通して撮像された画像を画像信号に光電変換し、光電変換された画像信号をカメラ信号処理エンジン１４０に出力するものである。
【００２４】
ＣＰＵ（Central Processing Unit）１２０は、各種制御プログラムに基づいて撮像装置１００全体を制御するものである。
【００２５】
ＲＡＭ（Random Access Memory）１３０は、各種データを格納するメモリであり、画像処理のための各種の画像保存領域を備える。
【００２６】
カメラ信号処理エンジン１４０は、撮像部１１０から出力された画像信号に対して適正な信号処理を施してデータバス２６０に出力するものである。
【００２７】
対象物検出エンジン１５０は、入力された画像から、被写体の対象となる特定の物体である対象物を検出するものである。例えば、対象物検出エンジン１５０は、入力された画像に含まれる人の顔を対象物として検出することができる。
【００２８】
対象物領域抽出エンジン１６０は、ユーザにより決定された対象物または対象物検出エンジン１５０により検出された対象物について、入力された画像における領域を抽出するものである。
【００２９】
動き量検出エンジン１８０は、ユーザにより決定された対象物または対象物検出エンジン１５０により検出された対象物について、入力された画像における動き量を検出するものである。
【００３０】
ブレ補正エンジン１９０は、ユーザにより決定された対象物または対象物検出エンジン１５０により検出された対象物について、対象物領域抽出エンジン１６０により抽出された領域と、動き量検出エンジン１８０により検出された動き量とに基づいてブレ成分を補正するものである。
【００３１】
画像表示エンジン２００は、ＣＰＵ１２０からの制御に基づいて、各種画像を表示部２１０に出力するものである。
【００３２】
表示部２１０は、画像表示エンジン２００から出力された各種画像データに対応する画像を表示する画像表示装置である。画像表示装置として、例えば、液晶ディスプレイ（ＬＣＤ）や電子ビューファインダ（ＥＶＦ）が用いられる。
【００３３】
メディアコントローラ２２０は、撮影画像記憶部２３０から入力された画像データをデータバス２６０を介してＲＡＭ１３０等に出力するとともに、各種画像データを撮影画像記憶部２３０に出力して記録するものである。
【００３４】
撮影画像記憶部２３０は、ＪＰＥＧ（Joint Photographic Experts Group）形式の画像データ等の各種データを記録する情報記録媒体である。
【００３５】
操作入力コントローラ２４０は、操作受付部２５０において受け付けられた操作入力をデータバス２６０を介してＣＰＵ１２０に出力するものである。
【００３６】
操作受付部２５０は、表示部２１０に表示されている画像において対象物を指定するための上下左右キーや撮影する際に押下するシャッターボタン等の各種操作部材を備え、これらの操作部材から操作入力を受け付けると、受け付けた操作入力の内容を操作入力コントローラ２４０に出力するものである。なお、表示部２１０および操作受付部２５０については、これらの一部または全部をタッチパネルとして一体で構成するようにしてもよい。
【００３７】
図２は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。ここでは、撮像された画像から対象物の動き量および領域情報を検出して、撮像画像と対象物の動き量および領域情報とを関連付けて撮影画像記憶部２３０に記憶する場合における機能構成例と、撮影画像記憶部２３０に記憶されている撮像画像について対象物の動き量および領域情報を用いて被写体のブレを補正する場合における機能構成例を示す。
【００３８】
撮像装置１００は、撮像部１１０と、表示部２１０と、撮影画像記憶部２３０と、操作受付部２５０と、画像入力部３１０と、対象物位置決定部３２０と、対象物動き量検出部３３０と、対象物位置更新部３４０と、対象物動き予測量算出部３５０と、対象物領域抽出部３６０と、記憶制御部３７０と、対象物ブレ補正部３８０と、表示制御部３９０とを備える。
【００３９】
撮像部１１０は、図１に示す撮像部１１０に対応するものであり、光電変換された画像信号を画像入力部３１０に出力するものである。
【００４０】
操作受付部２５０は、図１に示す操作受付部２５０に対応するものであり、表示部２１０に表示されている画像に含まれる対象物を選択する旨の操作入力を対象物位置決定部３２０に出力するものである。また、操作受付部２５０は、ユーザによりシャッターボタンが押下された場合には、この押下の際に撮像された画像を記憶する旨の操作入力を記憶制御部３７０に出力する。さらに、操作受付部２５０は、撮像部１１０により撮像された画像を表示部２１０に表示する旨の操作入力や、対象物ブレ補正部３８０により補正された画像を表示部２１０に表示する旨の操作入力を表示制御部３９０に出力する。
【００４１】
画像入力部３１０は、撮像部１１０から出力された画像信号を入力するものであり、入力された画像信号に対応する画像を１フレーム毎に、対象物位置決定部３２０、対象物領域抽出部３６０、記憶制御部３７０および表示制御部３９０に出力するものである。
【００４２】
対象物位置決定部３２０は、画像入力部３１０から出力された画像に含まれる被写体のうちから、操作受付部２５０からの操作入力に応じて、少なくとも１つの物体を対象物として決定するものであり、決定された対象物の位置を、対象物動き量検出部３３０および対象物領域抽出部３６０に出力する。また、対象物位置決定部３２０は、操作受付部２５０からの操作入力に応じて対象物が決定された後に、対象物位置更新部３４０から出力される対象物の位置の更新情報によって、１フレーム毎に対象物の位置を更新して、更新された対象物の位置を、対象物動き量検出部３３０および対象物領域抽出部３６０に出力する。なお、対象物位置決定部３２０による対象物の決定については、図３を参照して詳細に説明する。また、対象物位置決定部３２０は、対象物検出エンジン１５０により検出された対象物を決定するようにしてもよい。
【００４３】
対象物動き量検出部３３０は、対象物位置決定部３２０から出力された対象物の位置に基づいて、１フレーム毎に対象物の動き量を検出するものであり、検出された動き量を対象物位置更新部３４０および対象物動き予測量算出部３５０に出力するものである。なお、動き量の検出については、図５（ａ）および（ｂ）を参照して詳細に説明する。
【００４４】
対象物位置更新部３４０は、対象物動き量検出部３３０から出力された対象物の動き量に基づいて、対象物の位置の更新情報を作成し、作成された対象物の位置の更新情報を対象物位置決定部３２０に出力するものである。
【００４５】
対象物動き予測量算出部３５０は、対象物動き量検出部３３０から出力された対象物の動き量に基づいて、その対象物について予測される動き量を動き予測量として算出するものであり、算出された動き予測量を記憶制御部３７０に出力する。なお、動き予測量の算出については、図５（ｂ）および（ｃ）を参照して詳細に説明する。
【００４６】
対象物領域抽出部３６０は、画像入力部３１０から出力された画像における対象物位置決定部３２０により決定された対象物を囲む領域を、対象物位置決定部３２０から出力された対象物の位置に基づいて抽出するものであり、抽出された対象物を囲む領域に関する情報を記憶制御部３７０に出力する。対象物を囲む領域に関する情報は、例えば、対象物を囲む領域の座標、形状、縮小画像等である。なお、対象物を囲む領域については、図４を参照して詳細に説明する。
【００４７】
記憶制御部３７０は、画像入力部３１０から出力された画像と、この画像に対応して対象物動き予測量算出部３５０から出力された動き予測量と、この画像に対応して対象物領域抽出部３６０から出力された対象物を囲む領域に関する情報とを関連付けて撮影画像記憶部２３０に記憶するものである。
【００４８】
撮影画像記憶部２３０は、撮影画像と、この画像に対応する動き予測量と、この画像に対応する対象物を囲む領域に関する情報とを関連付けて記憶する記憶部であり、記憶されている情報を対象物ブレ補正部３８０に出力する。なお、撮影画像記憶部２３０に記録される撮影画像等については、図６を参照して詳細に説明する。
【００４９】
対象物ブレ補正部３８０は、ブレ補正部３８１と、対象物画像抽出部３８２と、画像合成部３８３と、領域境界補正部３８４とを備える。
【００５０】
ブレ補正部３８１は、撮影画像記憶部２３０に記憶されている撮影画像について、この画像に関連付けて記憶されている対象物の動き量に基づいてブレを補正するものであり、ブレが補正されたブレ補正画像を対象物画像抽出部３８２に出力するものである。このブレ補正については、図７等を参照して詳細に説明する。
【００５１】
対象物画像抽出部３８２は、ブレ補正部３８１から出力されたブレ補正画像について、この画像に関連付けて記憶されている対象物を囲む領域に関する情報に基づいて、ブレ補正画像からその領域内の対象物画像を抽出するものであり、抽出された対象物画像を画像合成部３８３に出力するものである。この対象物画像抽出については、図８等を参照して詳細に説明する。
【００５２】
画像合成部３８３は、撮影画像記憶部２３０に記憶されている撮影画像に関連付けて記憶されている対象物を囲む領域に関する情報に基づいて、対象物画像抽出部３８２から出力された対象物画像を、その撮影画像における対象物を囲む領域に合成するものであり、合成された合成画像を領域境界補正部３８４に出力するものである。この対象物画像合成については、図８等を参照して詳細に説明する。
【００５３】
領域境界補正部３８４は、撮影画像に合成された対象物画像の領域境界において境界補正処理を施すものであり、境界補正処理が施された対象物ブレ補正画像を表示制御部３９０に出力する。この境界補正処理については、図９乃至１１を参照して詳細に説明する。
【００５４】
表示制御部３９０は、操作受付部２５０からの操作入力に応じて、画像入力部３１０から出力された画像、または領域境界補正部３８４から出力された対象物ブレ補正画像を表示部２１０に表示させる制御を実行するものである。
【００５５】
表示部２１０は、表示制御部３９０の制御に基づいて、画像入力部３１０から出力された画像、または領域境界補正部３８４から出力された対象物ブレ補正画像を表示する。
【００５６】
次に、撮像部１１０に取り込まれている画像に含まれる対象物を決定する対象物決定方法について図面を参照して詳細に説明する。
【００５７】
図３は、撮像部１１０に取り込まれている画像を表示部２１０に表示する場合における表示例を示す図である。図３（ａ）は、水族館の水槽の中を泳いでいる亀４０１が表示部２１０に表示されている場合におけるＡＦエリアマーク４０２を含む画像４００を示す図であり、図３（ｂ）は、水族館の水槽の中を泳いでいる亀４０１が表示部２１０に表示されている場合におけるカーソル４０６を含む画像４０５を示す図であり、図３（ｃ）は、山麓を背景にして撮影される人４１１が表示部２１０に表示されている場合における画像４１０を示す図である。
【００５８】
撮像装置１００を用いて対象物を撮影する場合には、ユーザが撮像部１１０のレンズをその対象物に向け、ファインダ（図示せず）または表示部２１０を見ながら、その対象物が画角の範囲内に入るようにする。対象物が画角の範囲内に入っている場合には、表示部２１０にその対象物が表示される。例えば、対象物が亀４０１である場合には、図３（ａ）および（ｂ）に示すように、亀４０１が表示部２１０に表示され、対象物が人４１１である場合には、図３（ｃ）に示すように、人４１１が表示部２１０に表示される。このように、対象物が画角の範囲内に含まれている場合において、その対象物の位置を決定することができる。
【００５９】
ここで、図３（ａ）に示す画像４００には、対象物である亀４０１とともに、オートフォーカス時に使用されるＡＦ（Auto-Focus）エリアを示すＡＦエリアマーク４０２が含まれる。なお、ＡＦエリアマーク４０２は、オートフォーカス時の合焦エリアの位置に対応する。また、図３（ｂ）に示す画像４０５には、対象物である亀４０１とともに、操作受付部２５０からの操作入力に応じて移動するカーソル４０６が含まれる。さらに、図３（ｃ）に示す画像には、対象物である人４１１とともに、対象物検出エンジン１５０により検出された人４１１の顔４１２の領域を示す顔領域マーク４１３が含まれる。
【００６０】
対象物の決定方法として、例えば、オートフォーカス時に使用されるＡＦエリアを、対象物の位置として決定することができる。例えば、図３（ａ）に示すように、ＡＦエリアマーク４０２が付されている亀４０１の位置を、対象物の位置として決定する。
【００６１】
また、対象物の決定方法として、例えば、操作受付部２５０におけるユーザからの操作入力により、その対象物の位置を決定することができる。例えば、図３（ｂ）に示すように、操作受付部２５０からの操作入力により、亀４０１に重なるようにカーソル４０６を移動させ、カーソル４０６が亀４０１に重なっている状態で決定ボタン（図示せず）を押下する。これにより、ユーザの対象物である亀４０１の位置を決定（指定）することができる。なお、表示部２１０および操作受付部２５０がタッチパネルとして一体で構成されている場合には、パッチパネルに表示されている対象物の位置をユーザが押下することによって、対象物を決定することができる。
【００６２】
さらに、対象物の決定方法として、例えば、対象物検出エンジン１５０により検出された人の顔の位置を、対象物の位置として決定することができる。例えば、図３（ｃ）に示すように、顔領域マーク４１３が付されている人４１１の顔４１２の位置を、対象物の位置として決定する。なお、人の顔以外に、ペット等の動物の顔を検出する検出エンジンを用いるようにしてもよい。
【００６３】
なお、決定された対象物の位置を示す対象物位置マークを、決定された対象物に付すように表示部２１０に表示するようにしてもよい。
【００６４】
次に、決定された対象物の領域を抽出する領域抽出方法について図面を参照して詳細に説明する。
【００６５】
図４は、撮像部１１０に取り込まれている画像のうちから決定された対象物の領域の概略を示す図である。図４（ａ）は、図３（ａ）および（ｂ）に示す画像４００および４０５における被写体領域情報４２０を示す図であり、図４（ｂ）は、図３（ｃ）に示す画像４１０における被写体領域情報４３０を示す図である。
【００６６】
撮像部１１０に取り込まれている画像のうちから対象物が決定された場合には、撮像部１１０に取り込まれている画像が、その対象物の領域と、その対象物以外の領域とに分割され、その対象物の領域が抽出される。例えば、図３（ａ）および（ｂ）に示す亀４０１が対象物として決定された場合には、図４（ａ）に示すように、図３（ａ）および（ｂ）に示す画像４００および４０５に対応する被写体領域情報４２０のうちで、亀４０１の領域を示す対象物領域４２１が抽出される。また、図３（ｃ）に示す人４１１の顔４１２が対象物として決定された場合には、図４（ｂ）に示すように、図３（ｃ）に示す画像４１０に対応する被写体領域情報４３０のうちで、人４１１の領域を示す対象物領域４３１が抽出される。
【００６７】
ここで、対象物の領域抽出について説明する。対象物の領域抽出方法として、例えば、オートフォーカス時に使用されるＡＦエリアの大きさを、そのまま対象物領域として抽出することができる。例えば、図３（ａ）に示すように、亀４０１に付されているＡＦエリアマーク４０２の範囲内を、対象物領域として抽出する。
【００６８】
また、対象物の領域抽出方法として、例えば、対象物検出エンジン１５０により検出された人の顔の領域を、対象物の領域として抽出することができる。例えば、図３（ｃ）に示すように、人４１１の顔４１２に付されている顔領域マーク４１３の範囲内を、対象物の領域として抽出する
【００６９】
さらに、対象物の領域抽出方法として、例えば、撮像部１１０に現在取り込まれている画像を領域分割し、決定された対象物の位置が含まれる領域を対象物領域とすることができる。
【００７０】
この領域分割は、撮像部１１０に現在取り込まれている画像の１フレーム前の画像から、決定された対象物の形状を検出し、この形状に基づいて、対象物領域が決定される。このような領域決定のための手法として、例えば、決定木を用いて領域分割を行う手法が知られている（Richard Nock:"Fast and Reliable Color Region Merging inspired by Decision Tree Pruning", IEEE International Conference on Computer Vision and Pattern Recognition, pp.271-276, IEEE CS press, 2001）。
【００７１】
図４（ａ）に示す被写体領域情報４２０は、図３（ａ）および（ｂ）に示す画像４００および４０５において、関連する領域毎に領域分割がされたものであり、対象物領域４２１は、決定された対象物である亀４０１の領域である。ここでは、分割された各領域を色別に示す。
【００７２】
図４（ｂ）に示す被写体領域情報４３０は、図３（ｃ）に示す画像４１０において、関連する領域毎に領域分割がされたものであり、対象物領域４３１は、決定された対象物である人４１１の画像の領域である。ここでは、対象物領域４３１を斜線で示す。
【００７３】
撮像部１１０に取り込まれている画像について決定された対象物の領域が抽出された場合には、図４（ａ）または（ｂ）に示すように、抽出された対象物領域の形状を表示部２１０の一部の領域に表示するようにしてもよい。また、撮像部１１０に取り込まれている画像に重ねて表示するようにしてよい。
【００７４】
次に、決定された対象物の動き量を検出する動き量検出方法について図面を参照して詳細に説明する。
【００７５】
図５は、撮像部１１０に取り込まれている画像のうちから決定された対象物の動きの変移の概略を示す図である。図５（ａ）乃至（ｃ）は、図３（ａ）または（ｂ）に示す画像４００または４０５を簡略化した画像４４０、４５０、４６０を示す図であり、画像４００または４０５に含まれる亀４０１に対応する亀４４１の変移の概略を示す図である。
【００７６】
撮像部１１０に取り込まれている画像のうちから対象物が決定された場合には、操作受付部２５０においてシャッター押下の操作入力がされるまでの間、決定された対象物の対象物領域の更新およびその対象物の動き量の検出が継続して行われる。
【００７７】
対象物の動き量を検出する動き量検出方法として、例えば、撮像部１１０から取得された現在の画像と、この画像の１フレーム前の画像とに基づいて、対象物領域の動き量を検出する方法を用いることができる。
【００７８】
例えば、１フレーム前の画像および対象物領域内の画像パターンが、現在の画像中のどの部分に一番似ているかについて、ＳＡＤ（Sum of Absolute Differences）を類似度としたパターン検出法を用いて、対象物領域の動き量を検出する方法を用いることができる。例えば、次の式１を用いて、ＲＳＡＤ（ｕ，ｖ）を算出する。
【数１】
【００７９】
ここで、Ａは対象物領域に含まれる画素の集合を示し、Ｔ（ｘ，ｙ）は１フレーム前の画像の画素値を示し、Ｉ（ｘ，ｙ）は現在の画像の画素値を示す。そして、次の式２で示すように、式１を用いて算出されたＲＳＡＤ（ｕ，ｖ）を最小にする（ｕ，ｖ）を対象物域の動きベクトルＶ（ｕ，ｖ）とすることができる。ここで、動きベクトルは、動き量の例である。
対象物領域の動きベクトルＶ（ｕ，ｖ）＝ｍｉｎ｛ＲＳＡＤ（ｕ，ｖ）｝…（式２）
【００８０】
例えば、図５（ｂ）に示す画像４５０を、撮像部１１０に現在取り込まれている画像とし、図５（ａ）に示す画像４４０を、画像４５０の１フレーム前の画像とする。この場合に、画像４５０に含まれる亀４５１における所定位置を対象物位置４５２とし、画像４４０に含まれる亀４４１における対象物位置４５２に対応する位置を対象物位置４４２とする。なお、図５（ｂ）に示す画像４５０において、図５（ａ）に示す亀４４１の位置を破線で示す。
【００８１】
画像４４０の撮像時刻から画像４５０の撮像時刻の間に、図５（ａ）および（ｂ）に示すように、亀が亀４４１の位置から亀４５１の位置まで移動している。この亀の移動に対応して、対象物位置４５２が対象物位置４５２に移動している。この移動における動き量として、動きベクトル４５３が検出される。この動き量の検出は、シャッターが押下されるまでの間、継続される。
【００８２】
操作受付部２５０においてシャッターが押下された場合には、シャッター押下の際に検出された動きベクトルに基づいて、亀の動き量を予測し、この予測された動き量および亀の対象物領域が、この押下の際に撮像部１１０に取り込まれた画像とともに撮影画像記憶部２３０に記憶される。
【００８３】
図５（ｃ）は、操作受付部２５０においてシャッターが押下された際に検出された動きベクトルに基づいて予測された亀４５１の変移の概略を示す図である。例えば、図５（ｂ）に示す画像４５０を、シャッター押下の際に撮像部１１０に取り込まれた画像とし、図５（ｃ）に示す画像４６０を、画像４５０の１フレーム後に予測される亀４５１の位置を示す画像とする。ここで、図５（ｃ）に示す画像４６０において、図５（ｂ）に示す亀４５１の位置から移動先として予想される亀４６１の位置を破線で示す。また、予測された動きベクトルを動きベクトル４６３とする。
【００８４】
この予測された動きベクトルは、例えば、シャッターが押下された際に検出された動きベクトルと同じ値を用いることができる。すなわち、動きベクトル４６３を、動きベクトル４５３と同じ値とすることができる。また、シャッターが押下された際のフレーム画像から所定枚数前までの各フレーム画像について検出された各動きベクトルの平均を用いることができる。さらに、シャッターが押下された際のフレーム画像から所定枚数前までの各フレーム画像について検出された各動きベクトルの増加または減少等に基づいて予測された動きベクトルの値を算出し、この算出された値を用いることができる。
【００８５】
次に、対象物の動き量および対象物領域を撮影画像に関連付けて撮影画像記憶部２３０に記憶する例について説明する。ここでは、撮影画像の画像ファイルに対象物の動き量および対象物領域を記録する例について説明する。なお、対象物の動き量および対象物領域については、撮影画像と関連付けてメタ情報データベース等に記録するようにしてもよい。
【００８６】
図６は、ＤＣＦ（Design rule for Camera File system）規格により記録される静止画ファイルのファイル構造の概略を示す図である。ＤＣＦは、デジタルスチルカメラやプリンタ等の機器間で、記録媒体を介して画像の相互利用を実現するためのファイルシステム規格であり、Ｅｘｉｆ（Exchangeable image file format）をベースにして記録媒体に記録する場合におけるファイル名の付け方やフォルダの構成が規定されている。このＥｘｉｆは、画像ファイルの中に画像データおよびカメラ情報を付加するための規格であり、画像ファイルを記録するための形式（ファイルフォーマット）を規定するものである。
【００８７】
静止画ファイル４７０は、ＤＣＦ規格により記録される静止画ファイルであり、図６（ａ）に示すように、付属情報４７１および画像情報４７２から構成されている。画像情報４７２は、例えば、撮像部１１０により撮像された画像データである。
【００８８】
付属情報４７１は、図６（ｂ）に示すように、属性情報４７３およびメーカーノート（maker note）４７４から構成されている。属性情報４７３は、静止画ファイル４７０に関する属性情報等であり、例えば、撮影更新日時、画サイズ、色空間情報、メーカー名等が含まれる。
【００８９】
メーカーノート４７４は、一般的にユーザ独自のデータが記録される領域であり、各メーカーが自由に情報を記録することができる拡張領域である（ＴＡＧＩＤ＝３７５００、MakerNote）。この例では、このメーカーノート４７４に、対象物の動き量および対象物領域が記録される。なお、対象物領域としては、位置情報および大きさが記録されるが、決定された対象物の縮小画像についても記録するようにしてもよい。
【００９０】
このように、対象物の動き量および対象物領域が関連付けられた撮影画像が撮影画像記憶部２３０に記録される。そして、撮影画像記憶部２３０に記憶されている画像を出力（表示、印刷等）する場合には、例えば、被写体のブレ成分を補正して出力することができる。次に、この補正方法について図面を参照して詳細に説明する。
【００９１】
図７は、撮影画像記憶部２３０に記録されている画像について、対象物の動き量に基づいて、補正を施す前の画像と補正を施した後の画像とを示す図である。
【００９２】
図７（ａ）は、撮影画像記憶部２３０に記録されている画像５００を示す図である。例えば、撮像装置１００を手で持って固定した状態で、水族館の中を泳ぐ亀を撮影すると、図７（ａ）に示すように、亀５０１の背景は静止している状態であるため、くっきりと撮影されるものの、泳いで移動している亀５０１がブレて撮影されることが多い。このため、本発明の実施の形態では、ブレて撮影される対象物の部分のみを補正する。
【００９３】
図７（ｂ）は、図７（ａ）に示す画像５００に、対象物の動き量に基づいてブレ補正が施された画像５１０を示す図である。例えば、水族館の中を泳いで移動している亀５０１に基づいて、画像５００にブレ補正を施すと、図７（ｂ）に示すように、亀５１１のブレが補正されるものの、くっきりと撮影されていた亀５１１の背景についても補正されるため、亀５１１の背景がブレてしまうことが多い。このため、本発明の実施の形態では、ブレが補正された対象物部分の画像と、補正前の画像に含まれる対象物以外の部分の画像とを合成して補正画像を作成する。この合成による補正画像の作成について図面を参照してさらに詳細に説明する。
【００９４】
図８は、ブレが補正された対象物部分の画像と、補正前の画像に含まれる対象物以外の部分の画像とを合成して画像を補正する場合における補正方法の概略を示す図である。
【００９５】
図８（ａ）は、対象物の対象物領域に基づいて、撮影画像記憶部２３０に記録されている画像から対象物画像が切り出された画像５２０を示す図である。なお、画像５２０は、図７（ａ）に示す画像５００に対応するものである。画像５２０において、対象物画像が切り出された対象物領域５２１を黒で示す。このように、撮影画像とともに記憶されている亀の対象物領域情報に基づいて、撮影画像から対象物画像が切り取られる。
【００９６】
図８（ｂ）は、対象物の対象物領域に基づいて、ブレ補正が施された画像から切り取られた対象物画像５３０を示す図である。なお、対象物画像５３０は、図７（ｂ）に示す画像５１０に含まれる亀５１１に対応するものである。また、画像５１０に対応する領域の中で、対象物画像５３０以外の領域を黒で示す。この切り取られた対象物画像５３０は、図７（ｂ）に示すように、ブレ補正処理が施されている画像である。このブレ補正処理については、式３乃至式１４を用いて詳細に説明する。
【００９７】
図８（ｃ）は、ブレ補正が施された対象物画像５３０と、対象物画像が切り取られた画像５２０とが合成された画像５４０を示す図である。このように、ブレ補正が施された対象物画像５３０とブレが発生していない画像５２０とを合成することによって、対象物および背景ともブレのない綺麗な画像を生成することができる。
【００９８】
次に、撮影画像記憶部２３０に記録されている撮影画像について、ブレを補正するブレ補正処理について詳細に説明する。
【００９９】
最初に、撮影画像記憶部２３０に記録されている撮影画像について、輝度成分と色成分とが分離され、輝度成分のみが抽出された輝度画像ｇ（ｘ，ｙ）が生成される。ここで、撮影画像がＲＧＢ（Ｇ（Green：緑）、Ｒ（Red：赤）、Ｂ（Blue：青））カラー画像である場合には、次の式３乃至５を用いて、撮影画像中の全画素について、ＲＧＢデータからＹＵＶ（Ｙ（輝度信号）、Ｕ（輝度信号と青色成分の差）、Ｖ（輝度信号と赤色成分の差））データが算出される。そして、撮影画像中の全画素の輝度信号Ｙを、輝度画像ｇ（ｘ，ｙ）とする。
【０１００】
例えば、輝度画像ｇ（ｘ，ｙ）は、各画素における輝度を８ｂｉｔ符号なし整数で表現されたものなどとすることができる。
Ｙ＝ ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ …（式３）
Ｕ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５００Ｂ＋１２７．５ …（式４）
Ｖ＝ ０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ＋１２７．５ …（式５）
【０１０１】
続いて、撮影画像に対応する動きベクトルに基づいて、次の式６を用いて、この対象物のブレを表す点拡がり関数（ＰＳＦ：Point Spread Function）ｈ（ｘ，ｙ）が求められる。
ｈ（ｘ，ｙ）＝ｔｎ・Ｖ（ｘ，ｙ） …（式６）
【０１０２】
ここで、Ｖ（ｘ，ｙ）は、撮影画像に記録されている動きベクトルを示し、ｎは、補正の対象となる撮影画像の解像度が、動きベクトルが検出された際における画像の解像度で除算された値であり、ｔは、動きベクトルが検出された際における露光時間が、１フレーム時間で除算された値である。
【０１０３】
また、点拡がり関数ｈ（ｘ，ｙ）は、いわゆる空間フィルタの形状で、画像座標の原点に１の入力があった場合に、インパルス応答を画像座標系で表現されるもの等を用いることができる。
【０１０４】
続いて、タップ数として、撮影画像の幅をＭとし、撮影画像の高さをＮとし、次の式７を用いて、輝度画像ｇ（ｘ，ｙ）が２次元離散フーリエ変換（２次元ＤＦＴ）される。
【数２】
【０１０５】
続いて、タップ数として、撮影画像の幅をＭとし、撮影画像の高さをＮとし、次の式８を用いて、点拡がり関数ｈ（ｘ，ｙ）が２次元離散フーリエ変換（２次元ＤＦＴ）される。
【数３】
【０１０６】
続いて、式８により求められたＨ（ｘ，ｙ）から、復元フィルタＨｗ（ｘ，ｙ）が、次の式９を用いて求められる。
【数４】
【０１０７】
ここで、Γは定数である。例えば、輝度画像ｇ（ｘ，ｙ）が８ｂｉｔ符号なし整数で表現されている場合には、Γの値として０．０１〜０．０３程度が好ましい。
【０１０８】
続いて、式７により求められたＧ（ｘ，ｙ）および復元フィルタＨｗ（ｘ，ｙ）に基づいて、次の式１０を用いて、ブレ補正画像が２次元離散フーリエ変換された関数Ｆ（ｘ，ｙ）が求められる。
【数５】
【０１０９】
続いて、式１０により求められたＦ（ｘ，ｙ）が、次の式１１を用いて、２次元離散逆フーリエ変換（逆２次元ＤＦＴ）されて、対象物領域の被写体ブレが補正された輝度画像ｆ（ｘ，ｙ）が算出される。
【数６】
【０１１０】
続いて、被写体ブレが補正された輝度画像ｆ（ｘ，ｙ）に、式３乃至５を用いて分離された色成分を合わせ、被写体ブレが補正された画像が生成される。
【０１１１】
例えば、ｆ（ｘ，ｙ）の各画素位置における値をＹとし、式３乃至５を用いて計算された各画素位置におけるＵ、Ｖの値からカラー補正画像のＲＧＢの値は、次の式１２乃至１４を用いて算出される。
Ｒ＝ Ｙ＋１．４０２Ｖ …（式１２）
Ｇ＝ Ｙ−０．３４４Ｕ−０．７１４Ｖ …（式１３）
Ｂ＝ Ｙ＋１．７７２Ｕ …（式１４）
【０１１２】
このようにして算出されたＲＧＢデータから、例えば、図７（ｂ）に示すように、対象物領域のブレが補正された対象物ブレ補正画像が生成される。
【０１１３】
続いて、図８（ａ）に示すように、対象物の対象物領域に基づいて、撮影画像記憶部２３０に記録されている画像から対象物領域５２１内の対象物画像が切り出される。また、図８（ｂ）に示すように、対象物の対象物領域に基づいて、対象物ブレ補正画像から対象物画像５３０が取り出される。そして、図８（ｃ）に示すように、対象物画像５３０が画像５２０の対象物領域に合成されて合成画像５４０が作成される。
【０１１４】
次に、対象物ブレ補正画像に含まれる対象物画像と、補正前の撮影画像とを合成する場合における境界補正処理について図面を参照して詳細に説明する。
【０１１５】
図９は、原画像６００と対象物画像６０２とを合成する場合について概略的に示す図である。なお、図９では、各画像を簡略化して四角で示す。図９（ａ）は、撮影画像から対象物画像が切り出された画像である原画像６００を示す図である。ここで、対象物画像が取り出された部分を対象物領域６０１として示す。また、図９（ａ）に示す原画像６００において、対象物領域６０１以外の領域については、ブレのない画像であるとする。
【０１１６】
図９（ｂ）は、原画像６００にブレ補正処理が施された画像である対象物ブレ補正画像から取り出された対象物画像６０２を示す図である。対象物画像６０２の周りの破線６０３は、原画像６００に対応する対象物ブレ補正画像の大きさを示す破線である。
【０１１７】
図９（ｃ）は、原画像６００の対象物領域６０１に、対象物画像６０２を合成させた画像である合成画像６１０を示す図である。このように、ブレ補正処理が施された対象物画像６０２を原画像６００の対象物領域６０１に合成して合成画像６１０を作成する。これにより、合成画像６１０全体がブレのない画像となる。
【０１１８】
ここで、現画像と補正画像の対象物領域部分を合成すると、図９（ｃ）に示すように、合成した領域の境界部分が目立って不自然に見えることがある。そこで、図１０に示すように、境界部分について画像処理を施す。
【０１１９】
図１０は、原画像と対象物画像とを合成する場合に境界部分に施す画像処理の一例を示す図である。図１０では、原画像６２０と対象物画像６３０とを合成する場合における原画像６２０と対象物画像６３０との領域境界を領域境界６４０とし、領域境界６４０を中心として原画像６２０側および対象物画像６３０側の双方に２ｎ画素の範囲内の領域を補正処理する例について説明する。
【０１２０】
この例では、次の式１５を用いて、合成画像の画素値Ｃ（ｘ，ｙ）を求める。
Ｃ（ｘ，ｙ）＝ｗ（ｘ，ｙ）・Ａ（ｘ，ｙ）＋（１．０−ｗ（ｘ，ｙ））・Ｂ（ｘ，ｙ） …（式１５）
【０１２１】
ここで、Ａ（ｘ，ｙ）は、原画像６２０の画素値であり、Ｂ（ｘ，ｙ）は、対象物画像６３０の画素値である。また、ｗ（ｘ，ｙ）は、０．０〜１．０の範囲内の値をとる重み係数であり、例えば、領域境界６４０上の値を０．５とし、領域境界６４０から原画像６２０側にｎ画素離れる毎に、ｗ（ｘ，ｙ）の値をｋづつ増やすように設定する。そして、原画像６２０側ではｋが１になる範囲まで補正して、対象物画像６３０側ではｋが０になる範囲まで補正する。例えば、原画像６２０の解像度がＶＧＡ（６４０×４８０）程度の場合には、ｎ＝１、ｋ＝０．０５程度の値で境界部分を目立たなくすることができる。
【０１２２】
このように、原画像６２０から対象物画像６３０方向に、ｎ画素領域６２１、６２２、６３２、６３２と進むに従って、原画像６２０と対象物画像６３０との双方の画素値の変化に応じて画素値を補正することができるため、境界部分を自然に見せることが可能となる。
【０１２３】
図１１は、原画像６００と対象物画像６０２との領域境界において境界補正処理が施された場合について概略的に示す図である。なお、図１１（ａ）および（ｂ）は、図９（ａ）および（ｂ）と同じであるため、ここでの説明を省略する。
【０１２４】
図１１（ｃ）は、図１１（ａ）に示す原画像６００の対象物領域６０１に、図１１（ｂ）に示す対象物画像６０２を合成させた画像である合成画像６５０を示す図である。ここで、図１１（ｃ）に示す合成画像６５０は、原画像６００と対象物画像６０２との領域境界において境界補正処理が施されている点で、図９（ｃ）に示す合成画像６１０と異なる。なお、図１１（ｃ）では、説明のため、領域境界における補正部分を比較的大きく表している。
【０１２５】
このように、原画像６００と対象物画像６０２との領域境界に補正処理を施すことによって、原画像６００と対象物画像６０２との領域境界を目立たなくして自然に見せることができる。
【０１２６】
次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１２７】
図１２は、撮像装置１００による撮像画像記憶処理の処理手順を示すフローチャートである。この例では、画像入力部３１０から１フレーム毎に画像が入力されている場合について説明する。また、ユーザによる操作受付部２５０からの操作入力に応じて、表示部２１０に表示されている撮影画像に含まれる対象物を決定する場合について説明する。
【０１２８】
最初に、表示部２１０に表示されている撮影画像において、対象物を決定する旨の操作入力が操作受付部２５０により受け付けられたか否かが判断される（ステップＳ９０１）。例えば、図３（ｂ）に示す画像４０５において、カーソル４０６を用いて亀４０１を選択することにより、対象物を決定することができる。対象物を決定する旨の操作入力が受け付けられていなければ（ステップＳ９０１）、対象物を決定する旨の操作入力が受け付けられるまで、監視を継続する。
【０１２９】
対象物を決定する旨の操作入力が受け付けられた場合には（ステップＳ９０１）、その操作入力に対応する対象物の動き量が検出される（ステップＳ９０２）。例えば、図５（ｂ）に示すように、亀４５１の動き量として動きベクトル４５３が検出される。続いて、その操作入力に対応する対象物の領域が抽出される（ステップＳ９０３）。例えば、図４（ａ）に示すように、亀の領域として対象物領域４２１が抽出される。
【０１３０】
続いて、シャッター押下の操作入力が操作受付部２５０により受け付けられたか否かが判断される（ステップＳ９０４）。シャッター押下の操作入力が受け付けられていなければ（ステップＳ９０４）、ステップＳ９０１で決定された対象物が表示部２１０に表示されている撮影画像に存在するか否かが判断される（ステップＳ９０５）。ステップＳ９０１で決定された対象物が表示部２１０に表示されている撮影画像に存在しなければ（ステップＳ９０５）、動き量の検出等をする対象物が存在しないため、ステップＳ９０１に戻り、対象物を決定する旨の操作入力が受け付けられるまで監視する。
【０１３１】
一方、ステップＳ９０１で決定された対象物が表示部２１０に表示されている撮影画像に存在する場合には（ステップＳ９０５）、ステップＳ９０２で検出された対象物の動き量に基づいて、対象物の位置が更新される（ステップＳ９０６）。そして、シャッター押下の操作入力が受け付けられるまでの間（ステップＳ９０４）、位置が更新された対象物の動き量の検出（ステップＳ９０２）、および、その対象物の領域の抽出（ステップＳ９０３）が継続される。
【０１３２】
また、シャッター押下の操作入力が操作受付部２５０により受け付けられた場合には（ステップＳ９０４）、シャッター押下の際に検出された対象物の動き量に基づいて、その対象物の動き量が予測される（ステップＳ９０７）。例えば、図５（ｃ）に示すように、亀４５１の動き予測量として動きベクトル４６３が算出される。
【０１３３】
続いて、算出された対象物の動き予測量およびシャッター押下の際に抽出された対象物領域が、シャッター押下の際に撮像された画像に関連付けられて撮影画像記憶部２３０に記憶される（ステップＳ９０８）。
【０１３４】
図１３は、撮像装置１００による対象物ブレ補正処理の処理手順を示すフローチャートである。この例では、撮影画像記憶部２３０に記憶されている撮影画像について、この画像に含まれる対象物のブレを補正する場合について説明する。
【０１３５】
最初に、撮影画像記憶部２３０に記憶されている撮影画像が入力される（ステップＳ９１１）。続いて、入力された撮影画像に、対象物の動き量および対象物領域が記録されているか否かが判断される（ステップＳ９１２）。入力された撮影画像に対象物の動き量および対象物領域が記録されていなければ（ステップＳ９１２）、対象物ブレ補正処理をせずに、入力された撮影画像が表示部２１０に表示される（ステップＳ９２４）。
【０１３６】
入力された撮影画像に、対象物の動き量および対象物領域が記録されている場合には（ステップＳ９１２）、入力された撮影画像について、輝度成分と色成分とが分離され、輝度成分のみが抽出された輝度画像ｇ（ｘ，ｙ）が生成される（ステップＳ９１３）。例えば、上述の式３乃至５を用いて、輝度成分と色成分とが分離され、輝度画像ｇ（ｘ，ｙ）が生成される。
【０１３７】
続いて、入力された撮影画像に記録されている対象物の動き量に基づいて、点拡がり関数ｈ（ｘ，ｙ）が算出される（ステップＳ９１４）。例えば、上述の式６を用いて、点拡がり関数ｈ（ｘ，ｙ）が求められる。
【０１３８】
続いて、ステップＳ９１３で生成された輝度画像ｇ（ｘ，ｙ）が２次元離散フーリエ変換（２次元ＤＦＴ）され、Ｇ（ｘ，ｙ）が算出される（ステップＳ９１５）。例えば、タップ数として、撮影画像の幅をＭとし、撮影画像の高さをＮとし、上述の式７を用いて、輝度画像ｇ（ｘ，ｙ）が２次元離散フーリエ変換（２次元ＤＦＴ）される。
【０１３９】
続いて、ステップＳ９１４で算出された点拡がり関数ｈ（ｘ，ｙ）が２次元離散フーリエ変換（２次元ＤＦＴ）され、Ｈ（ｘ，ｙ）が算出される（ステップＳ９１６）。例えば、タップ数として、撮影画像の幅をＭとし、撮影画像の高さをＮとし、上述の式８を用いて、点拡がり関数ｈ（ｘ，ｙ）が２次元離散フーリエ変換（２次元ＤＦＴ）される。
【０１４０】
続いて、ステップＳ９１６で求められたＨ（ｘ，ｙ）から、復元フィルタＨｗ（ｘ，ｙ）が、算出される（ステップＳ９１７）。例えば、式８により求められたＨ（ｘ，ｙ）から、復元フィルタＨｗ（ｘ，ｙ）が、上述の式９を用いて求められる。
【０１４１】
続いて、ステップＳ９１５で算出されたＧ（ｘ，ｙ）、およびステップＳ９１７で算出された復元フィルタＨｗ（ｘ，ｙ）に基づいて、ブレ補正画像が２次元離散フーリエ変換された関数Ｆ（ｘ，ｙ）が算出される（ステップＳ９１８）。例えば、上述の式７により求められたＧ（ｘ，ｙ）、および、上述の式９により求められた復元フィルタＨｗ（ｘ，ｙ）に基づいて、上述の式１０を用いて、ブレ補正画像が２次元離散フーリエ変換された関数Ｆ（ｘ，ｙ）が求められる。
【０１４２】
続いて、ステップＳ９１８で算出されたＦ（ｘ，ｙ）が、２次元離散逆フーリエ変換（逆２次元ＤＦＴ）されて、対象物領域の被写体ブレが補正された輝度画像ｆ（ｘ，ｙ）が算出される（ステップＳ９１９）。例えば、上述の式１０により求められたＦ（ｘ，ｙ）が、上述の式１１を用いて、２次元離散逆フーリエ変換（逆２次元ＤＦＴ）されて、対象物域の被写体ブレが補正された輝度画像ｆ（ｘ，ｙ）が算出される。
【０１４３】
続いて、被写体ブレが補正された輝度画像ｆ（ｘ，ｙ）に、ステップＳ９１３で分離された色成分を合わせ、被写体ブレが補正された画像が生成される（ステップＳ９２０）。例えば、ｆ（ｘ，ｙ）の各画素位置における値をＹとし、上述の式３乃至５を用いて計算された各画素位置におけるＵ、Ｖの値からカラー補正画像のＲＧＢの値が、上述の式１２乃至１４を用いて算出される。これにより、例えば、図７（ｂ）に示すように、対象物領域のブレが補正されたブレ補正画像が生成される。
【０１４４】
続いて、入力された撮影画像に記録されている対象物領域に基づいて、ステップＳ９２０で生成されたブレ補正画像から対象物画像が取り出され、入力された撮影画像における対象物領域内に、取り出された対象物画像が合成される（ステップＳ９２１）。例えば、図８（ｃ）に示すように、入力された撮影画像に対象物画像が合成される。
【０１４５】
続いて、対象物画像が合成された合成画像における対象物画像の領域境界に補正処理が施される（ステップＳ９２２）。例えば、図１１（ｃ）に示すように、合成画像６５０における対象物画像６５１の領域境界に補正処理が施される。
【０１４６】
続いて、合成画像における対象物画像の領域境界に補正処理が施された対象物ブレ補正画像が表示部２１０に表示される（ステップＳ９２３）。
【０１４７】
以上で示したように、例えば、ユーザが撮像装置１００を固定させた状態で水族館の水槽の中を泳ぐ亀を撮影した場合には、図７（ａ）の画像５００に示すように、亀５０１の背景はブレが生じていないものの、泳ぐ亀５０１に被写体ブレが生じて撮影される。そこで、本発明の実施の形態では、撮影時に亀の動き量の検出および領域の抽出が実行され、この亀の動き量および領域を用いて、画像５００にブレ補正が施された画像５１０（図７（ｂ）に示す）が生成される。そして、このブレ補正が施された画像５１０に含まれる亀５１１の画像が抽出され、ブレ補正が施されていない画像５００の亀５０１の領域に、抽出された亀５１１の画像が合成される。これにより、移動している対象物のみのブレを補正して、対象物および背景ともブレのない綺麗な画像を作成することができる。また、ユーザが撮影に関する特別なテクニックを必要とせずに、対象物ブレおよび背景ブレが軽減された画像を容易に取得することができる。
【０１４８】
なお、本発明の実施の形態では、撮影時において対象物の動き量の検出および領域の抽出を実行するが、撮影時には対象物の動き量の検出のみを実行して、対象物ブレ補正処理を行う際に対象物の領域の抽出を行うようにしてもよい。
【０１４９】
また、本発明の実施の形態では、撮影時には対象物の動き量および領域を撮影画像と関連付けて撮影画像記憶部２３０に記録するが、撮影時において、対象物の動き量および領域を用いて、撮影画像に対象物ブレ補正を施し、この対象物ブレ補正が施された画像を撮影画像記憶部２３０に記録するようにしてもよい。
【０１５０】
また、本発明の実施の形態では、対象物動き予測量算出部３５０により算出された動き予測量を、対象物の動き量として対象物ブレ補正に用いるが、対象物動き量検出部３３０により検出された動き量を対象物ブレ補正に用いるようにしてもよい。
【０１５１】
また、本発明の実施の形態では、撮像装置を例にして説明したが、撮影画像を入力してブレ補正処理を行うことが可能な画像処理装置に本発明の実施の形態を適用することができる。
【０１５２】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１５３】
すなわち、請求項１乃至８において、撮像装置は、例えば撮像装置１００に対応する。また、請求項９において、画像処理装置は、例えば撮像装置１００に対応する。
【０１５４】
また、請求項１において、撮像手段は、例えば撮像部１１０に対応する。また、動き量検出手段は、例えば対象物動き量検出部３３０に対応する。
【０１５５】
また、請求項１または請求項９において、補正手段は、例えばブレ補正部３８１に対応する。また、合成手段は、画像合成部３８３に対応する。
【０１５６】
また、請求項２において、画像記憶手段は、例えば撮影画像記憶部２３０に対応する。また、記憶制御手段は、例えば記憶制御部３７０に対応する。
【０１５７】
また、請求項５において、記録操作受付手段は、例えば操作受付部２５０に対応する。
【０１５８】
また、請求項６において、動き量予測手段は、例えば対象物動き予測量算出部３５０に対応する。
【０１５９】
また、請求項７において、表示手段は、例えば表示部２１０に対応する。また、選択受付手段は、例えば操作受付部２５０に対応する。
【０１６０】
また、請求項８において、境界補正手段は、領域境界補正部３８４に対応する。
【０１６１】
また、請求項９において、入力手段は、例えば画像入力部３１０に対応する。
【０１６２】
また、請求項１０または請求項１１において、撮像手順は、例えばステップＳ９０１乃至Ｓ９０６に対応する。また、動き量検出手順は、例えばステップＳ９０３に対応する。また、補正手順は、例えばステップＳ９１３乃至９２０に対応する。また、合成手順は、例えばステップＳ９２２に対応する。
【０１６３】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０１６４】
【図１】撮像装置１００の機能構成例を示すブロック図である。
【図２】撮像装置１００の機能構成例を示すブロック図である。
【図３】撮像部１１０に取り込まれている画像を表示部２１０に表示する場合における表示例を示す図である。
【図４】撮像部１１０に取り込まれている画像のうちから決定された対象物の領域の概略を示す図である。
【図５】撮像部１１０に取り込まれている画像のうちから決定された対象物の動きの変移の概略を示す図である。
【図６】ＤＣＦ規格により記録される静止画ファイルのファイル構造の概略を示す図である。
【図７】撮影画像記憶部２３０に記録されている画像について、対象物の動き量に基づいて、補正を施す前の画像と補正を施した後の画像とを示す図である。
【図８】ブレが補正された対象物部分の画像と、補正前の画像に含まれる対象物以外の部分の画像とを合成して画像を補正する場合における補正方法の概略を示す図である。
【図９】原画像６００と対象物画像６０２とを合成する場合について概略的に示す図である。
【図１０】原画像と対象物画像とを合成する場合に境界部分に施す画像処理の一例を示す図である。
【図１１】原画像６００と対象物画像６０２との領域境界において境界補正処理が施された場合について概略的に示す図である。
【図１２】撮像装置１００による撮像画像記憶処理の処理手順を示すフローチャートである。
【図１３】撮像装置１００による対象物ブレ補正処理の処理手順を示すフローチャートである。
【符号の説明】
【０１６５】
１００ 撮像装置
１１０ 撮像部
１２０ ＣＰＵ
１３０ ＲＡＭ
１４０ カメラ信号処理エンジン
１５０ 対象物検出エンジン
１６０ 対象物領域抽出エンジン
１８０ 動き量検出エンジン
１９０ ブレ補正エンジン
２００ 画像表示エンジン
２１０ 表示部
２２０ メディアコントローラ
２３０ 撮影画像記憶部
２４０ 操作入力コントローラ
２５０ 操作受付部
２６０ データバス
３１０ 画像入力部
３２０ 対象物位置決定部
３３０ 対象物動き量検出部
３４０ 対象物位置更新部
３５０ 対象物動き予測量算出部
３６０ 対象物領域抽出部
３７０ 記憶制御部
３８０ 対象物ブレ補正部
３８１ ブレ補正部
３８２ 対象物画像抽出部
３８３ 画像合成部
３８４ 領域境界補正部
３９０ 表示制御部
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、撮影画像等のブレを補正する撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物等の被写体を撮像して画像データとして記録するデジタルスチルカメラ等の撮像装置が急速に普及し、これらの撮像装置の高性能化が進んでいる。また、これらの撮像装置の小型化も進んでおり、携帯が可能な撮像装置が各種提案されている。これにより、ユーザが撮像装置を旅行等に携帯して色々な場所で撮影をすることができる。
【０００３】
これらの撮像装置を手で持って撮影する場合には、撮像装置自体のブレおよび被写体のブレの２種類のブレが主に生じる。
【０００４】
これらのブレを検出する方法として、振動センサ、速度センサ、加速度センサ、重力センサ等による撮像装置自体のブレの検出方法や、画像処理による動きベクトルの検出方法等の検出方法が主に知られている。
【０００５】
これらの検出方法によって検出されたブレ成分を用いて、このブレ成分をキャンセルする方向に撮影画像の位置を移動させることによって撮影画像におけるブレを補正することができる。
【０００６】
例えば、タイミングジェネレータから供給されるサンプリング信号のうちシャッター速度に応じたサンプルタイミングによって、手振れセンサから供給される手振れ検出情報をサンプリングし、サンプリングされた手振れ検出情報に基づいて、撮像素子によって得られる画像信号の読み出し位置を制御して手振れを補正する撮像装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開平０５−３１６４０４号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述の従来技術では、撮影画像に含まれる被写体の動きとは無関係に均一的にブレ補正処理が実施される。これにより、撮影画像全体としての手振れ等のブレを補正することができる。
【０００８】
一般に、撮像装置が用いられる状況としては、例えば、遊園地の動く乗り物に乗って遊んでいる人物を撮影したり、水族館の水槽で泳ぐ亀等を撮影したりすることも考えられる。このように、移動している物体を撮像装置で撮影する場合には、撮影された画像に含まれる物体がブレてしまう、いわゆる、被写体ブレが生じることが多い。
【０００９】
しかしながら、これらの補正処理では、撮影画像に含まれる背景や人物が均一に扱われるため、撮影者が被写体として狙っていた人物やその顔、目、鼻、口等にブレ成分が残った状態となることが考えられる。
【００１０】
そこで、移動している物体を撮影する場合において、移動している物体に合わせて撮像装置のレンズを移動させる、いわゆる、流し撮りを行うことが考えられる。しかしながら、この流し撮りは、難しい技法と言われているため、初心者等にとっては撮影が難しいという問題がある。また、この流し撮りを行うことによって、被写体ブレを軽減させることができるものの、背景がブレてしまうことが多く、写真全体を鮮鋭度の高い画像としたい人の要請に応えることが困難である。
【００１１】
このため、例えば、移動している亀を撮影する場合において、画像に含まれるブレを適切に補正し、移動している亀のブレとともに、この亀の背景のブレについても低減させることができれば、ユーザの好みに応じた適切な画像を提供することができると考えられる。
【００１２】
そこで、本発明は、画像に含まれるブレを適切に補正することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入射光を撮像データに変換する撮像手段と、上記撮像データに含まれる所定の領域の動き量を検出する動き量検出手段と、上記動き量に基づいて上記撮像データの上記所定の領域を補正して補正画像とする補正手段と、上記補正画像を上記撮像データの上記所定の領域に合成する合成手段とを具備することを特徴とする撮像装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像データに含まれる所定の領域の動き量を検出し、この動き量に基づいて撮像データの所定の領域を補正して補正画像とし、この補正画像を撮像データの所定の領域に合成するという作用をもたらす。
【００１４】
また、この第１の側面において、上記撮像データを記憶する画像記憶手段と、上記検出された動き量を上記所定の領域の画像に関連付けて上記画像記憶手段に記憶する記憶制御手段とをさらに具備し、上記補正手段は、上記画像記憶手段に記憶されている撮像データの上記所定の領域を当該撮像データに対応して上記画像記憶手段に記憶されている動き量に基づいて補正して補正画像とし、上記合成手段は、上記画像記憶手段に記憶されている撮像データの上記所定の領域に上記補正画像を合成することができる。これにより、検出された動き量を所定の領域の画像に関連付けて画像記憶手段に記憶して、この画像記憶手段に記憶されている撮像データの所定の領域を、その撮像データに対応する動き量に基づいて補正して補正画像とし、その撮像データの所定の領域に補正画像を合成するという作用をもたらす。また、この場合において、上記記憶制御手段は、上記所定の領域に関する領域情報を上記所定の領域の画像に関連付けて上記画像記憶手段に記憶することができる。これにより、所定の領域に関する領域情報を、この領域の画像に関連付けて画像記憶手段に記憶するという作用をもたらす。また、この場合において、上記領域情報は、上記所定の領域に含まれる画像の縮小画像を含むことができる。これにより、所定の領域に含まれる画像の縮小画像を、この領域の画像に関連付けて画像記憶手段に記憶するという作用をもたらす。
【００１５】
また、この第１の側面において、上記撮像手段により撮像された画像の記録操作を受け付ける記録操作受付手段をさらに具備し、上記動き量検出手段は、上記撮像手段により撮像された画像について１フレーム毎に上記所定の領域の動き量を検出し、上記記憶制御手段は、上記記録操作が受け付けられた際に上記撮像手段により撮像された画像を記録するとともに記録操作が受け付けられた際に検出された上記所定の領域の動き量を当該画像に関連付けて上記画像記憶手段に記録することができる。これにより、撮像された画像について１フレーム毎に所定の領域の動き量を検出して、記録操作が受け付けられた際に撮像された画像と、記録操作が受け付けられた際に検出された所定の領域の動き量とを関連付けて画像記憶手段に記録するという作用をもたらす。また、この場合において、上記記録操作が受け付けられた際に検出された上記所定の領域の動き量に基づいて新たな動き量を予測する動き量予測手段をさらに具備し、上記記憶制御手段は、上記記録操作が受け付けられた際に上記撮像手段により撮像された画像を記憶するとともに上記新たな動き量を当該画像に関連付けて上記画像記憶手段に記憶することができる。これにより、記録操作が受け付けられた際に検出された所定の領域の動き量に基づいて新たな動き量を予測して、記録操作が受け付けられた際に撮像された画像と新たな動き量とを関連付けて画像記憶手段に記憶するという作用をもたらす。
【００１６】
また、この第１の側面において、上記撮像された画像を表示する表示手段と、上記表示された画像に含まれる特定の物体の選択入力を受け付ける選択受付手段と、上記選択された物体の領域を上記所定の領域として抽出する所定領域抽出手段とをさらに具備することができる。これにより、撮像された画像を表示して、この表示された画像に含まれる特定の物体の選択入力が受け付けられると、この選択された物体の領域を所定の領域として抽出するという作用をもたらす。
【００１７】
また、この第１の側面において、上記合成された画像における上記所定の領域に含まれる画像の境界の周辺領域において当該境界からの距離に応じて上記合成された画像の画素値を変更する境界補正手段をさらに具備することができる。これにより、合成された画像における所定の領域に含まれる画像の境界の周辺領域において、その境界からの距離に応じて、合成された画像の画素値を変更するという作用をもたらす。
【００１８】
また、本発明の第２の側面は、入射光が変換された撮像データと当該撮像データに含まれる所定の領域の動き量とを入力する入力手段と、上記動き量に基づいて上記撮像データの上記所定の領域を補正して補正画像とする補正手段と、上記補正画像を上記撮像データの上記所定の領域に合成する合成手段とを具備することを特徴とする画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像データとこれに含まれる所定の領域の動き量とを入力して、この動き量に基づいて撮像データの所定の領域を補正して補正画像とし、この補正画像を撮像データの所定の領域に合成するという作用をもたらす。
【発明の効果】
【００１９】
本発明によれば、画像に含まれるブレを適切に補正することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２０】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２１】
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【００２２】
撮像装置１００は、撮像部１１０と、ＣＰＵ１２０と、ＲＡＭ１３０と、カメラ信号処理エンジン１４０と、対象物検出エンジン１５０と、対象物領域抽出エンジン１６０と、動き量検出エンジン１８０と、ブレ補正エンジン１９０と、画像表示エンジン２００と、表示部２１０と、メディアコントローラ２２０と、撮影画像記憶部２３０と、操作入力コントローラ２４０と、操作受付部２５０と、データバス２６０とを備える。
【００２３】
撮像部１１０は、光学系と撮像素子とから構成され、光学系を通して撮像された画像を画像信号に光電変換し、光電変換された画像信号をカメラ信号処理エンジン１４０に出力するものである。
【００２４】
ＣＰＵ（Central Processing Unit）１２０は、各種制御プログラムに基づいて撮像装置１００全体を制御するものである。
【００２５】
ＲＡＭ（Random Access Memory）１３０は、各種データを格納するメモリであり、画像処理のための各種の画像保存領域を備える。
【００２６】
カメラ信号処理エンジン１４０は、撮像部１１０から出力された画像信号に対して適正な信号処理を施してデータバス２６０に出力するものである。
【００２７】
対象物検出エンジン１５０は、入力された画像から、被写体の対象となる特定の物体である対象物を検出するものである。例えば、対象物検出エンジン１５０は、入力された画像に含まれる人の顔を対象物として検出することができる。
【００２８】
対象物領域抽出エンジン１６０は、ユーザにより決定された対象物または対象物検出エンジン１５０により検出された対象物について、入力された画像における領域を抽出するものである。
【００２９】
動き量検出エンジン１８０は、ユーザにより決定された対象物または対象物検出エンジン１５０により検出された対象物について、入力された画像における動き量を検出するものである。
【００３０】
ブレ補正エンジン１９０は、ユーザにより決定された対象物または対象物検出エンジン１５０により検出された対象物について、対象物領域抽出エンジン１６０により抽出された領域と、動き量検出エンジン１８０により検出された動き量とに基づいてブレ成分を補正するものである。
【００３１】
画像表示エンジン２００は、ＣＰＵ１２０からの制御に基づいて、各種画像を表示部２１０に出力するものである。
【００３２】
表示部２１０は、画像表示エンジン２００から出力された各種画像データに対応する画像を表示する画像表示装置である。画像表示装置として、例えば、液晶ディスプレイ（ＬＣＤ）や電子ビューファインダ（ＥＶＦ）が用いられる。
【００３３】
メディアコントローラ２２０は、撮影画像記憶部２３０から入力された画像データをデータバス２６０を介してＲＡＭ１３０等に出力するとともに、各種画像データを撮影画像記憶部２３０に出力して記録するものである。
【００３４】
撮影画像記憶部２３０は、ＪＰＥＧ（Joint Photographic Experts Group）形式の画像データ等の各種データを記録する情報記録媒体である。
【００３５】
操作入力コントローラ２４０は、操作受付部２５０において受け付けられた操作入力をデータバス２６０を介してＣＰＵ１２０に出力するものである。
【００３６】
操作受付部２５０は、表示部２１０に表示されている画像において対象物を指定するための上下左右キーや撮影する際に押下するシャッターボタン等の各種操作部材を備え、これらの操作部材から操作入力を受け付けると、受け付けた操作入力の内容を操作入力コントローラ２４０に出力するものである。なお、表示部２１０および操作受付部２５０については、これらの一部または全部をタッチパネルとして一体で構成するようにしてもよい。
【００３７】
図２は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。ここでは、撮像された画像から対象物の動き量および領域情報を検出して、撮像画像と対象物の動き量および領域情報とを関連付けて撮影画像記憶部２３０に記憶する場合における機能構成例と、撮影画像記憶部２３０に記憶されている撮像画像について対象物の動き量および領域情報を用いて被写体のブレを補正する場合における機能構成例を示す。
【００３８】
撮像装置１００は、撮像部１１０と、表示部２１０と、撮影画像記憶部２３０と、操作受付部２５０と、画像入力部３１０と、対象物位置決定部３２０と、対象物動き量検出部３３０と、対象物位置更新部３４０と、対象物動き予測量算出部３５０と、対象物領域抽出部３６０と、記憶制御部３７０と、対象物ブレ補正部３８０と、表示制御部３９０とを備える。
【００３９】
撮像部１１０は、図１に示す撮像部１１０に対応するものであり、光電変換された画像信号を画像入力部３１０に出力するものである。
【００４０】
操作受付部２５０は、図１に示す操作受付部２５０に対応するものであり、表示部２１０に表示されている画像に含まれる対象物を選択する旨の操作入力を対象物位置決定部３２０に出力するものである。また、操作受付部２５０は、ユーザによりシャッターボタンが押下された場合には、この押下の際に撮像された画像を記憶する旨の操作入力を記憶制御部３７０に出力する。さらに、操作受付部２５０は、撮像部１１０により撮像された画像を表示部２１０に表示する旨の操作入力や、対象物ブレ補正部３８０により補正された画像を表示部２１０に表示する旨の操作入力を表示制御部３９０に出力する。
【００４１】
画像入力部３１０は、撮像部１１０から出力された画像信号を入力するものであり、入力された画像信号に対応する画像を１フレーム毎に、対象物位置決定部３２０、対象物領域抽出部３６０、記憶制御部３７０および表示制御部３９０に出力するものである。
【００４２】
対象物位置決定部３２０は、画像入力部３１０から出力された画像に含まれる被写体のうちから、操作受付部２５０からの操作入力に応じて、少なくとも１つの物体を対象物として決定するものであり、決定された対象物の位置を、対象物動き量検出部３３０および対象物領域抽出部３６０に出力する。また、対象物位置決定部３２０は、操作受付部２５０からの操作入力に応じて対象物が決定された後に、対象物位置更新部３４０から出力される対象物の位置の更新情報によって、１フレーム毎に対象物の位置を更新して、更新された対象物の位置を、対象物動き量検出部３３０および対象物領域抽出部３６０に出力する。なお、対象物位置決定部３２０による対象物の決定については、図３を参照して詳細に説明する。また、対象物位置決定部３２０は、対象物検出エンジン１５０により検出された対象物を決定するようにしてもよい。
【００４３】
対象物動き量検出部３３０は、対象物位置決定部３２０から出力された対象物の位置に基づいて、１フレーム毎に対象物の動き量を検出するものであり、検出された動き量を対象物位置更新部３４０および対象物動き予測量算出部３５０に出力するものである。なお、動き量の検出については、図５（ａ）および（ｂ）を参照して詳細に説明する。
【００４４】
対象物位置更新部３４０は、対象物動き量検出部３３０から出力された対象物の動き量に基づいて、対象物の位置の更新情報を作成し、作成された対象物の位置の更新情報を対象物位置決定部３２０に出力するものである。
【００４５】
対象物動き予測量算出部３５０は、対象物動き量検出部３３０から出力された対象物の動き量に基づいて、その対象物について予測される動き量を動き予測量として算出するものであり、算出された動き予測量を記憶制御部３７０に出力する。なお、動き予測量の算出については、図５（ｂ）および（ｃ）を参照して詳細に説明する。
【００４６】
対象物領域抽出部３６０は、画像入力部３１０から出力された画像における対象物位置決定部３２０により決定された対象物を囲む領域を、対象物位置決定部３２０から出力された対象物の位置に基づいて抽出するものであり、抽出された対象物を囲む領域に関する情報を記憶制御部３７０に出力する。対象物を囲む領域に関する情報は、例えば、対象物を囲む領域の座標、形状、縮小画像等である。なお、対象物を囲む領域については、図４を参照して詳細に説明する。
【００４７】
記憶制御部３７０は、画像入力部３１０から出力された画像と、この画像に対応して対象物動き予測量算出部３５０から出力された動き予測量と、この画像に対応して対象物領域抽出部３６０から出力された対象物を囲む領域に関する情報とを関連付けて撮影画像記憶部２３０に記憶するものである。
【００４８】
撮影画像記憶部２３０は、撮影画像と、この画像に対応する動き予測量と、この画像に対応する対象物を囲む領域に関する情報とを関連付けて記憶する記憶部であり、記憶されている情報を対象物ブレ補正部３８０に出力する。なお、撮影画像記憶部２３０に記録される撮影画像等については、図６を参照して詳細に説明する。
【００４９】
対象物ブレ補正部３８０は、ブレ補正部３８１と、対象物画像抽出部３８２と、画像合成部３８３と、領域境界補正部３８４とを備える。
【００５０】
ブレ補正部３８１は、撮影画像記憶部２３０に記憶されている撮影画像について、この画像に関連付けて記憶されている対象物の動き量に基づいてブレを補正するものであり、ブレが補正されたブレ補正画像を対象物画像抽出部３８２に出力するものである。このブレ補正については、図７等を参照して詳細に説明する。
【００５１】
対象物画像抽出部３８２は、ブレ補正部３８１から出力されたブレ補正画像について、この画像に関連付けて記憶されている対象物を囲む領域に関する情報に基づいて、ブレ補正画像からその領域内の対象物画像を抽出するものであり、抽出された対象物画像を画像合成部３８３に出力するものである。この対象物画像抽出については、図８等を参照して詳細に説明する。
【００５２】
画像合成部３８３は、撮影画像記憶部２３０に記憶されている撮影画像に関連付けて記憶されている対象物を囲む領域に関する情報に基づいて、対象物画像抽出部３８２から出力された対象物画像を、その撮影画像における対象物を囲む領域に合成するものであり、合成された合成画像を領域境界補正部３８４に出力するものである。この対象物画像合成については、図８等を参照して詳細に説明する。
【００５３】
領域境界補正部３８４は、撮影画像に合成された対象物画像の領域境界において境界補正処理を施すものであり、境界補正処理が施された対象物ブレ補正画像を表示制御部３９０に出力する。この境界補正処理については、図９乃至１１を参照して詳細に説明する。
【００５４】
表示制御部３９０は、操作受付部２５０からの操作入力に応じて、画像入力部３１０から出力された画像、または領域境界補正部３８４から出力された対象物ブレ補正画像を表示部２１０に表示させる制御を実行するものである。
【００５５】
表示部２１０は、表示制御部３９０の制御に基づいて、画像入力部３１０から出力された画像、または領域境界補正部３８４から出力された対象物ブレ補正画像を表示する。
【００５６】
次に、撮像部１１０に取り込まれている画像に含まれる対象物を決定する対象物決定方法について図面を参照して詳細に説明する。
【００５７】
図３は、撮像部１１０に取り込まれている画像を表示部２１０に表示する場合における表示例を示す図である。図３（ａ）は、水族館の水槽の中を泳いでいる亀４０１が表示部２１０に表示されている場合におけるＡＦエリアマーク４０２を含む画像４００を示す図であり、図３（ｂ）は、水族館の水槽の中を泳いでいる亀４０１が表示部２１０に表示されている場合におけるカーソル４０６を含む画像４０５を示す図であり、図３（ｃ）は、山麓を背景にして撮影される人４１１が表示部２１０に表示されている場合における画像４１０を示す図である。
【００５８】
撮像装置１００を用いて対象物を撮影する場合には、ユーザが撮像部１１０のレンズをその対象物に向け、ファインダ（図示せず）または表示部２１０を見ながら、その対象物が画角の範囲内に入るようにする。対象物が画角の範囲内に入っている場合には、表示部２１０にその対象物が表示される。例えば、対象物が亀４０１である場合には、図３（ａ）および（ｂ）に示すように、亀４０１が表示部２１０に表示され、対象物が人４１１である場合には、図３（ｃ）に示すように、人４１１が表示部２１０に表示される。このように、対象物が画角の範囲内に含まれている場合において、その対象物の位置を決定することができる。
【００５９】
ここで、図３（ａ）に示す画像４００には、対象物である亀４０１とともに、オートフォーカス時に使用されるＡＦ（Auto-Focus）エリアを示すＡＦエリアマーク４０２が含まれる。なお、ＡＦエリアマーク４０２は、オートフォーカス時の合焦エリアの位置に対応する。また、図３（ｂ）に示す画像４０５には、対象物である亀４０１とともに、操作受付部２５０からの操作入力に応じて移動するカーソル４０６が含まれる。さらに、図３（ｃ）に示す画像には、対象物である人４１１とともに、対象物検出エンジン１５０により検出された人４１１の顔４１２の領域を示す顔領域マーク４１３が含まれる。
【００６０】
対象物の決定方法として、例えば、オートフォーカス時に使用されるＡＦエリアを、対象物の位置として決定することができる。例えば、図３（ａ）に示すように、ＡＦエリアマーク４０２が付されている亀４０１の位置を、対象物の位置として決定する。
【００６１】
また、対象物の決定方法として、例えば、操作受付部２５０におけるユーザからの操作入力により、その対象物の位置を決定することができる。例えば、図３（ｂ）に示すように、操作受付部２５０からの操作入力により、亀４０１に重なるようにカーソル４０６を移動させ、カーソル４０６が亀４０１に重なっている状態で決定ボタン（図示せず）を押下する。これにより、ユーザの対象物である亀４０１の位置を決定（指定）することができる。なお、表示部２１０および操作受付部２５０がタッチパネルとして一体で構成されている場合には、パッチパネルに表示されている対象物の位置をユーザが押下することによって、対象物を決定することができる。
【００６２】
さらに、対象物の決定方法として、例えば、対象物検出エンジン１５０により検出された人の顔の位置を、対象物の位置として決定することができる。例えば、図３（ｃ）に示すように、顔領域マーク４１３が付されている人４１１の顔４１２の位置を、対象物の位置として決定する。なお、人の顔以外に、ペット等の動物の顔を検出する検出エンジンを用いるようにしてもよい。
【００６３】
なお、決定された対象物の位置を示す対象物位置マークを、決定された対象物に付すように表示部２１０に表示するようにしてもよい。
【００６４】
次に、決定された対象物の領域を抽出する領域抽出方法について図面を参照して詳細に説明する。
【００６５】
図４は、撮像部１１０に取り込まれている画像のうちから決定された対象物の領域の概略を示す図である。図４（ａ）は、図３（ａ）および（ｂ）に示す画像４００および４０５における被写体領域情報４２０を示す図であり、図４（ｂ）は、図３（ｃ）に示す画像４１０における被写体領域情報４３０を示す図である。
【００６６】
撮像部１１０に取り込まれている画像のうちから対象物が決定された場合には、撮像部１１０に取り込まれている画像が、その対象物の領域と、その対象物以外の領域とに分割され、その対象物の領域が抽出される。例えば、図３（ａ）および（ｂ）に示す亀４０１が対象物として決定された場合には、図４（ａ）に示すように、図３（ａ）および（ｂ）に示す画像４００および４０５に対応する被写体領域情報４２０のうちで、亀４０１の領域を示す対象物領域４２１が抽出される。また、図３（ｃ）に示す人４１１の顔４１２が対象物として決定された場合には、図４（ｂ）に示すように、図３（ｃ）に示す画像４１０に対応する被写体領域情報４３０のうちで、人４１１の領域を示す対象物領域４３１が抽出される。
【００６７】
ここで、対象物の領域抽出について説明する。対象物の領域抽出方法として、例えば、オートフォーカス時に使用されるＡＦエリアの大きさを、そのまま対象物領域として抽出することができる。例えば、図３（ａ）に示すように、亀４０１に付されているＡＦエリアマーク４０２の範囲内を、対象物領域として抽出する。
【００６８】
また、対象物の領域抽出方法として、例えば、対象物検出エンジン１５０により検出された人の顔の領域を、対象物の領域として抽出することができる。例えば、図３（ｃ）に示すように、人４１１の顔４１２に付されている顔領域マーク４１３の範囲内を、対象物の領域として抽出する
【００６９】
さらに、対象物の領域抽出方法として、例えば、撮像部１１０に現在取り込まれている画像を領域分割し、決定された対象物の位置が含まれる領域を対象物領域とすることができる。
【００７０】
この領域分割は、撮像部１１０に現在取り込まれている画像の１フレーム前の画像から、決定された対象物の形状を検出し、この形状に基づいて、対象物領域が決定される。このような領域決定のための手法として、例えば、決定木を用いて領域分割を行う手法が知られている（Richard Nock:"Fast and Reliable Color Region Merging inspired by Decision Tree Pruning", IEEE International Conference on Computer Vision and Pattern Recognition, pp.271-276, IEEE CS press, 2001）。
【００７１】
図４（ａ）に示す被写体領域情報４２０は、図３（ａ）および（ｂ）に示す画像４００および４０５において、関連する領域毎に領域分割がされたものであり、対象物領域４２１は、決定された対象物である亀４０１の領域である。ここでは、分割された各領域を色別に示す。
【００７２】
図４（ｂ）に示す被写体領域情報４３０は、図３（ｃ）に示す画像４１０において、関連する領域毎に領域分割がされたものであり、対象物領域４３１は、決定された対象物である人４１１の画像の領域である。ここでは、対象物領域４３１を斜線で示す。
【００７３】
撮像部１１０に取り込まれている画像について決定された対象物の領域が抽出された場合には、図４（ａ）または（ｂ）に示すように、抽出された対象物領域の形状を表示部２１０の一部の領域に表示するようにしてもよい。また、撮像部１１０に取り込まれている画像に重ねて表示するようにしてよい。
【００７４】
次に、決定された対象物の動き量を検出する動き量検出方法について図面を参照して詳細に説明する。
【００７５】
図５は、撮像部１１０に取り込まれている画像のうちから決定された対象物の動きの変移の概略を示す図である。図５（ａ）乃至（ｃ）は、図３（ａ）または（ｂ）に示す画像４００または４０５を簡略化した画像４４０、４５０、４６０を示す図であり、画像４００または４０５に含まれる亀４０１に対応する亀４４１の変移の概略を示す図である。
【００７６】
撮像部１１０に取り込まれている画像のうちから対象物が決定された場合には、操作受付部２５０においてシャッター押下の操作入力がされるまでの間、決定された対象物の対象物領域の更新およびその対象物の動き量の検出が継続して行われる。
【００７７】
対象物の動き量を検出する動き量検出方法として、例えば、撮像部１１０から取得された現在の画像と、この画像の１フレーム前の画像とに基づいて、対象物領域の動き量を検出する方法を用いることができる。
【００７８】
例えば、１フレーム前の画像および対象物領域内の画像パターンが、現在の画像中のどの部分に一番似ているかについて、ＳＡＤ（Sum of Absolute Differences）を類似度としたパターン検出法を用いて、対象物領域の動き量を検出する方法を用いることができる。例えば、次の式１を用いて、ＲＳＡＤ（ｕ，ｖ）を算出する。
【数１】
【００７９】
ここで、Ａは対象物領域に含まれる画素の集合を示し、Ｔ（ｘ，ｙ）は１フレーム前の画像の画素値を示し、Ｉ（ｘ，ｙ）は現在の画像の画素値を示す。そして、次の式２で示すように、式１を用いて算出されたＲＳＡＤ（ｕ，ｖ）を最小にする（ｕ，ｖ）を対象物域の動きベクトルＶ（ｕ，ｖ）とすることができる。ここで、動きベクトルは、動き量の例である。
対象物領域の動きベクトルＶ（ｕ，ｖ）＝ｍｉｎ｛ＲＳＡＤ（ｕ，ｖ）｝…（式２）
【００８０】
例えば、図５（ｂ）に示す画像４５０を、撮像部１１０に現在取り込まれている画像とし、図５（ａ）に示す画像４４０を、画像４５０の１フレーム前の画像とする。この場合に、画像４５０に含まれる亀４５１における所定位置を対象物位置４５２とし、画像４４０に含まれる亀４４１における対象物位置４５２に対応する位置を対象物位置４４２とする。なお、図５（ｂ）に示す画像４５０において、図５（ａ）に示す亀４４１の位置を破線で示す。
【００８１】
画像４４０の撮像時刻から画像４５０の撮像時刻の間に、図５（ａ）および（ｂ）に示すように、亀が亀４４１の位置から亀４５１の位置まで移動している。この亀の移動に対応して、対象物位置４５２が対象物位置４５２に移動している。この移動における動き量として、動きベクトル４５３が検出される。この動き量の検出は、シャッターが押下されるまでの間、継続される。
【００８２】
操作受付部２５０においてシャッターが押下された場合には、シャッター押下の際に検出された動きベクトルに基づいて、亀の動き量を予測し、この予測された動き量および亀の対象物領域が、この押下の際に撮像部１１０に取り込まれた画像とともに撮影画像記憶部２３０に記憶される。
【００８３】
図５（ｃ）は、操作受付部２５０においてシャッターが押下された際に検出された動きベクトルに基づいて予測された亀４５１の変移の概略を示す図である。例えば、図５（ｂ）に示す画像４５０を、シャッター押下の際に撮像部１１０に取り込まれた画像とし、図５（ｃ）に示す画像４６０を、画像４５０の１フレーム後に予測される亀４５１の位置を示す画像とする。ここで、図５（ｃ）に示す画像４６０において、図５（ｂ）に示す亀４５１の位置から移動先として予想される亀４６１の位置を破線で示す。また、予測された動きベクトルを動きベクトル４６３とする。
【００８４】
この予測された動きベクトルは、例えば、シャッターが押下された際に検出された動きベクトルと同じ値を用いることができる。すなわち、動きベクトル４６３を、動きベクトル４５３と同じ値とすることができる。また、シャッターが押下された際のフレーム画像から所定枚数前までの各フレーム画像について検出された各動きベクトルの平均を用いることができる。さらに、シャッターが押下された際のフレーム画像から所定枚数前までの各フレーム画像について検出された各動きベクトルの増加または減少等に基づいて予測された動きベクトルの値を算出し、この算出された値を用いることができる。
【００８５】
次に、対象物の動き量および対象物領域を撮影画像に関連付けて撮影画像記憶部２３０に記憶する例について説明する。ここでは、撮影画像の画像ファイルに対象物の動き量および対象物領域を記録する例について説明する。なお、対象物の動き量および対象物領域については、撮影画像と関連付けてメタ情報データベース等に記録するようにしてもよい。
【００８６】
図６は、ＤＣＦ（Design rule for Camera File system）規格により記録される静止画ファイルのファイル構造の概略を示す図である。ＤＣＦは、デジタルスチルカメラやプリンタ等の機器間で、記録媒体を介して画像の相互利用を実現するためのファイルシステム規格であり、Ｅｘｉｆ（Exchangeable image file format）をベースにして記録媒体に記録する場合におけるファイル名の付け方やフォルダの構成が規定されている。このＥｘｉｆは、画像ファイルの中に画像データおよびカメラ情報を付加するための規格であり、画像ファイルを記録するための形式（ファイルフォーマット）を規定するものである。
【００８７】
静止画ファイル４７０は、ＤＣＦ規格により記録される静止画ファイルであり、図６（ａ）に示すように、付属情報４７１および画像情報４７２から構成されている。画像情報４７２は、例えば、撮像部１１０により撮像された画像データである。
【００８８】
付属情報４７１は、図６（ｂ）に示すように、属性情報４７３およびメーカーノート（maker note）４７４から構成されている。属性情報４７３は、静止画ファイル４７０に関する属性情報等であり、例えば、撮影更新日時、画サイズ、色空間情報、メーカー名等が含まれる。
【００８９】
メーカーノート４７４は、一般的にユーザ独自のデータが記録される領域であり、各メーカーが自由に情報を記録することができる拡張領域である（ＴＡＧＩＤ＝３７５００、MakerNote）。この例では、このメーカーノート４７４に、対象物の動き量および対象物領域が記録される。なお、対象物領域としては、位置情報および大きさが記録されるが、決定された対象物の縮小画像についても記録するようにしてもよい。
【００９０】
このように、対象物の動き量および対象物領域が関連付けられた撮影画像が撮影画像記憶部２３０に記録される。そして、撮影画像記憶部２３０に記憶されている画像を出力（表示、印刷等）する場合には、例えば、被写体のブレ成分を補正して出力することができる。次に、この補正方法について図面を参照して詳細に説明する。
【００９１】
図７は、撮影画像記憶部２３０に記録されている画像について、対象物の動き量に基づいて、補正を施す前の画像と補正を施した後の画像とを示す図である。
【００９２】
図７（ａ）は、撮影画像記憶部２３０に記録されている画像５００を示す図である。例えば、撮像装置１００を手で持って固定した状態で、水族館の中を泳ぐ亀を撮影すると、図７（ａ）に示すように、亀５０１の背景は静止している状態であるため、くっきりと撮影されるものの、泳いで移動している亀５０１がブレて撮影されることが多い。このため、本発明の実施の形態では、ブレて撮影される対象物の部分のみを補正する。
【００９３】
図７（ｂ）は、図７（ａ）に示す画像５００に、対象物の動き量に基づいてブレ補正が施された画像５１０を示す図である。例えば、水族館の中を泳いで移動している亀５０１に基づいて、画像５００にブレ補正を施すと、図７（ｂ）に示すように、亀５１１のブレが補正されるものの、くっきりと撮影されていた亀５１１の背景についても補正されるため、亀５１１の背景がブレてしまうことが多い。このため、本発明の実施の形態では、ブレが補正された対象物部分の画像と、補正前の画像に含まれる対象物以外の部分の画像とを合成して補正画像を作成する。この合成による補正画像の作成について図面を参照してさらに詳細に説明する。
【００９４】
図８は、ブレが補正された対象物部分の画像と、補正前の画像に含まれる対象物以外の部分の画像とを合成して画像を補正する場合における補正方法の概略を示す図である。
【００９５】
図８（ａ）は、対象物の対象物領域に基づいて、撮影画像記憶部２３０に記録されている画像から対象物画像が切り出された画像５２０を示す図である。なお、画像５２０は、図７（ａ）に示す画像５００に対応するものである。画像５２０において、対象物画像が切り出された対象物領域５２１を黒で示す。このように、撮影画像とともに記憶されている亀の対象物領域情報に基づいて、撮影画像から対象物画像が切り取られる。
【００９６】
図８（ｂ）は、対象物の対象物領域に基づいて、ブレ補正が施された画像から切り取られた対象物画像５３０を示す図である。なお、対象物画像５３０は、図７（ｂ）に示す画像５１０に含まれる亀５１１に対応するものである。また、画像５１０に対応する領域の中で、対象物画像５３０以外の領域を黒で示す。この切り取られた対象物画像５３０は、図７（ｂ）に示すように、ブレ補正処理が施されている画像である。このブレ補正処理については、式３乃至式１４を用いて詳細に説明する。
【００９７】
図８（ｃ）は、ブレ補正が施された対象物画像５３０と、対象物画像が切り取られた画像５２０とが合成された画像５４０を示す図である。このように、ブレ補正が施された対象物画像５３０とブレが発生していない画像５２０とを合成することによって、対象物および背景ともブレのない綺麗な画像を生成することができる。
【００９８】
次に、撮影画像記憶部２３０に記録されている撮影画像について、ブレを補正するブレ補正処理について詳細に説明する。
【００９９】
最初に、撮影画像記憶部２３０に記録されている撮影画像について、輝度成分と色成分とが分離され、輝度成分のみが抽出された輝度画像ｇ（ｘ，ｙ）が生成される。ここで、撮影画像がＲＧＢ（Ｇ（Green：緑）、Ｒ（Red：赤）、Ｂ（Blue：青））カラー画像である場合には、次の式３乃至５を用いて、撮影画像中の全画素について、ＲＧＢデータからＹＵＶ（Ｙ（輝度信号）、Ｕ（輝度信号と青色成分の差）、Ｖ（輝度信号と赤色成分の差））データが算出される。そして、撮影画像中の全画素の輝度信号Ｙを、輝度画像ｇ（ｘ，ｙ）とする。
【０１００】
例えば、輝度画像ｇ（ｘ，ｙ）は、各画素における輝度を８ｂｉｔ符号なし整数で表現されたものなどとすることができる。
Ｙ＝ ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ …（式３）
Ｕ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５００Ｂ＋１２７．５ …（式４）
Ｖ＝ ０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ＋１２７．５ …（式５）
【０１０１】
続いて、撮影画像に対応する動きベクトルに基づいて、次の式６を用いて、この対象物のブレを表す点拡がり関数（ＰＳＦ：Point Spread Function）ｈ（ｘ，ｙ）が求められる。
ｈ（ｘ，ｙ）＝ｔｎ・Ｖ（ｘ，ｙ） …（式６）
【０１０２】
ここで、Ｖ（ｘ，ｙ）は、撮影画像に記録されている動きベクトルを示し、ｎは、補正の対象となる撮影画像の解像度が、動きベクトルが検出された際における画像の解像度で除算された値であり、ｔは、動きベクトルが検出された際における露光時間が、１フレーム時間で除算された値である。
【０１０３】
また、点拡がり関数ｈ（ｘ，ｙ）は、いわゆる空間フィルタの形状で、画像座標の原点に１の入力があった場合に、インパルス応答を画像座標系で表現されるもの等を用いることができる。
【０１０４】
続いて、タップ数として、撮影画像の幅をＭとし、撮影画像の高さをＮとし、次の式７を用いて、輝度画像ｇ（ｘ，ｙ）が２次元離散フーリエ変換（２次元ＤＦＴ）される。
【数２】
【０１０５】
続いて、タップ数として、撮影画像の幅をＭとし、撮影画像の高さをＮとし、次の式８を用いて、点拡がり関数ｈ（ｘ，ｙ）が２次元離散フーリエ変換（２次元ＤＦＴ）される。
【数３】
【０１０６】
続いて、式８により求められたＨ（ｘ，ｙ）から、復元フィルタＨｗ（ｘ，ｙ）が、次の式９を用いて求められる。
【数４】
【０１０７】
ここで、Γは定数である。例えば、輝度画像ｇ（ｘ，ｙ）が８ｂｉｔ符号なし整数で表現されている場合には、Γの値として０．０１〜０．０３程度が好ましい。
【０１０８】
続いて、式７により求められたＧ（ｘ，ｙ）および復元フィルタＨｗ（ｘ，ｙ）に基づいて、次の式１０を用いて、ブレ補正画像が２次元離散フーリエ変換された関数Ｆ（ｘ，ｙ）が求められる。
【数５】
【０１０９】
続いて、式１０により求められたＦ（ｘ，ｙ）が、次の式１１を用いて、２次元離散逆フーリエ変換（逆２次元ＤＦＴ）されて、対象物領域の被写体ブレが補正された輝度画像ｆ（ｘ，ｙ）が算出される。
【数６】
【０１１０】
続いて、被写体ブレが補正された輝度画像ｆ（ｘ，ｙ）に、式３乃至５を用いて分離された色成分を合わせ、被写体ブレが補正された画像が生成される。
【０１１１】
例えば、ｆ（ｘ，ｙ）の各画素位置における値をＹとし、式３乃至５を用いて計算された各画素位置におけるＵ、Ｖの値からカラー補正画像のＲＧＢの値は、次の式１２乃至１４を用いて算出される。
Ｒ＝ Ｙ＋１．４０２Ｖ …（式１２）
Ｇ＝ Ｙ−０．３４４Ｕ−０．７１４Ｖ …（式１３）
Ｂ＝ Ｙ＋１．７７２Ｕ …（式１４）
【０１１２】
このようにして算出されたＲＧＢデータから、例えば、図７（ｂ）に示すように、対象物領域のブレが補正された対象物ブレ補正画像が生成される。
【０１１３】
続いて、図８（ａ）に示すように、対象物の対象物領域に基づいて、撮影画像記憶部２３０に記録されている画像から対象物領域５２１内の対象物画像が切り出される。また、図８（ｂ）に示すように、対象物の対象物領域に基づいて、対象物ブレ補正画像から対象物画像５３０が取り出される。そして、図８（ｃ）に示すように、対象物画像５３０が画像５２０の対象物領域に合成されて合成画像５４０が作成される。
【０１１４】
次に、対象物ブレ補正画像に含まれる対象物画像と、補正前の撮影画像とを合成する場合における境界補正処理について図面を参照して詳細に説明する。
【０１１５】
図９は、原画像６００と対象物画像６０２とを合成する場合について概略的に示す図である。なお、図９では、各画像を簡略化して四角で示す。図９（ａ）は、撮影画像から対象物画像が切り出された画像である原画像６００を示す図である。ここで、対象物画像が取り出された部分を対象物領域６０１として示す。また、図９（ａ）に示す原画像６００において、対象物領域６０１以外の領域については、ブレのない画像であるとする。
【０１１６】
図９（ｂ）は、原画像６００にブレ補正処理が施された画像である対象物ブレ補正画像から取り出された対象物画像６０２を示す図である。対象物画像６０２の周りの破線６０３は、原画像６００に対応する対象物ブレ補正画像の大きさを示す破線である。
【０１１７】
図９（ｃ）は、原画像６００の対象物領域６０１に、対象物画像６０２を合成させた画像である合成画像６１０を示す図である。このように、ブレ補正処理が施された対象物画像６０２を原画像６００の対象物領域６０１に合成して合成画像６１０を作成する。これにより、合成画像６１０全体がブレのない画像となる。
【０１１８】
ここで、現画像と補正画像の対象物領域部分を合成すると、図９（ｃ）に示すように、合成した領域の境界部分が目立って不自然に見えることがある。そこで、図１０に示すように、境界部分について画像処理を施す。
【０１１９】
図１０は、原画像と対象物画像とを合成する場合に境界部分に施す画像処理の一例を示す図である。図１０では、原画像６２０と対象物画像６３０とを合成する場合における原画像６２０と対象物画像６３０との領域境界を領域境界６４０とし、領域境界６４０を中心として原画像６２０側および対象物画像６３０側の双方に２ｎ画素の範囲内の領域を補正処理する例について説明する。
【０１２０】
この例では、次の式１５を用いて、合成画像の画素値Ｃ（ｘ，ｙ）を求める。
Ｃ（ｘ，ｙ）＝ｗ（ｘ，ｙ）・Ａ（ｘ，ｙ）＋（１．０−ｗ（ｘ，ｙ））・Ｂ（ｘ，ｙ） …（式１５）
【０１２１】
ここで、Ａ（ｘ，ｙ）は、原画像６２０の画素値であり、Ｂ（ｘ，ｙ）は、対象物画像６３０の画素値である。また、ｗ（ｘ，ｙ）は、０．０〜１．０の範囲内の値をとる重み係数であり、例えば、領域境界６４０上の値を０．５とし、領域境界６４０から原画像６２０側にｎ画素離れる毎に、ｗ（ｘ，ｙ）の値をｋづつ増やすように設定する。そして、原画像６２０側ではｋが１になる範囲まで補正して、対象物画像６３０側ではｋが０になる範囲まで補正する。例えば、原画像６２０の解像度がＶＧＡ（６４０×４８０）程度の場合には、ｎ＝１、ｋ＝０．０５程度の値で境界部分を目立たなくすることができる。
【０１２２】
このように、原画像６２０から対象物画像６３０方向に、ｎ画素領域６２１、６２２、６３２、６３２と進むに従って、原画像６２０と対象物画像６３０との双方の画素値の変化に応じて画素値を補正することができるため、境界部分を自然に見せることが可能となる。
【０１２３】
図１１は、原画像６００と対象物画像６０２との領域境界において境界補正処理が施された場合について概略的に示す図である。なお、図１１（ａ）および（ｂ）は、図９（ａ）および（ｂ）と同じであるため、ここでの説明を省略する。
【０１２４】
図１１（ｃ）は、図１１（ａ）に示す原画像６００の対象物領域６０１に、図１１（ｂ）に示す対象物画像６０２を合成させた画像である合成画像６５０を示す図である。ここで、図１１（ｃ）に示す合成画像６５０は、原画像６００と対象物画像６０２との領域境界において境界補正処理が施されている点で、図９（ｃ）に示す合成画像６１０と異なる。なお、図１１（ｃ）では、説明のため、領域境界における補正部分を比較的大きく表している。
【０１２５】
このように、原画像６００と対象物画像６０２との領域境界に補正処理を施すことによって、原画像６００と対象物画像６０２との領域境界を目立たなくして自然に見せることができる。
【０１２６】
次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１２７】
図１２は、撮像装置１００による撮像画像記憶処理の処理手順を示すフローチャートである。この例では、画像入力部３１０から１フレーム毎に画像が入力されている場合について説明する。また、ユーザによる操作受付部２５０からの操作入力に応じて、表示部２１０に表示されている撮影画像に含まれる対象物を決定する場合について説明する。
【０１２８】
最初に、表示部２１０に表示されている撮影画像において、対象物を決定する旨の操作入力が操作受付部２５０により受け付けられたか否かが判断される（ステップＳ９０１）。例えば、図３（ｂ）に示す画像４０５において、カーソル４０６を用いて亀４０１を選択することにより、対象物を決定することができる。対象物を決定する旨の操作入力が受け付けられていなければ（ステップＳ９０１）、対象物を決定する旨の操作入力が受け付けられるまで、監視を継続する。
【０１２９】
対象物を決定する旨の操作入力が受け付けられた場合には（ステップＳ９０１）、その操作入力に対応する対象物の動き量が検出される（ステップＳ９０２）。例えば、図５（ｂ）に示すように、亀４５１の動き量として動きベクトル４５３が検出される。続いて、その操作入力に対応する対象物の領域が抽出される（ステップＳ９０３）。例えば、図４（ａ）に示すように、亀の領域として対象物領域４２１が抽出される。
【０１３０】
続いて、シャッター押下の操作入力が操作受付部２５０により受け付けられたか否かが判断される（ステップＳ９０４）。シャッター押下の操作入力が受け付けられていなければ（ステップＳ９０４）、ステップＳ９０１で決定された対象物が表示部２１０に表示されている撮影画像に存在するか否かが判断される（ステップＳ９０５）。ステップＳ９０１で決定された対象物が表示部２１０に表示されている撮影画像に存在しなければ（ステップＳ９０５）、動き量の検出等をする対象物が存在しないため、ステップＳ９０１に戻り、対象物を決定する旨の操作入力が受け付けられるまで監視する。
【０１３１】
一方、ステップＳ９０１で決定された対象物が表示部２１０に表示されている撮影画像に存在する場合には（ステップＳ９０５）、ステップＳ９０２で検出された対象物の動き量に基づいて、対象物の位置が更新される（ステップＳ９０６）。そして、シャッター押下の操作入力が受け付けられるまでの間（ステップＳ９０４）、位置が更新された対象物の動き量の検出（ステップＳ９０２）、および、その対象物の領域の抽出（ステップＳ９０３）が継続される。
【０１３２】
また、シャッター押下の操作入力が操作受付部２５０により受け付けられた場合には（ステップＳ９０４）、シャッター押下の際に検出された対象物の動き量に基づいて、その対象物の動き量が予測される（ステップＳ９０７）。例えば、図５（ｃ）に示すように、亀４５１の動き予測量として動きベクトル４６３が算出される。
【０１３３】
続いて、算出された対象物の動き予測量およびシャッター押下の際に抽出された対象物領域が、シャッター押下の際に撮像された画像に関連付けられて撮影画像記憶部２３０に記憶される（ステップＳ９０８）。
【０１３４】
図１３は、撮像装置１００による対象物ブレ補正処理の処理手順を示すフローチャートである。この例では、撮影画像記憶部２３０に記憶されている撮影画像について、この画像に含まれる対象物のブレを補正する場合について説明する。
【０１３５】
最初に、撮影画像記憶部２３０に記憶されている撮影画像が入力される（ステップＳ９１１）。続いて、入力された撮影画像に、対象物の動き量および対象物領域が記録されているか否かが判断される（ステップＳ９１２）。入力された撮影画像に対象物の動き量および対象物領域が記録されていなければ（ステップＳ９１２）、対象物ブレ補正処理をせずに、入力された撮影画像が表示部２１０に表示される（ステップＳ９２４）。
【０１３６】
入力された撮影画像に、対象物の動き量および対象物領域が記録されている場合には（ステップＳ９１２）、入力された撮影画像について、輝度成分と色成分とが分離され、輝度成分のみが抽出された輝度画像ｇ（ｘ，ｙ）が生成される（ステップＳ９１３）。例えば、上述の式３乃至５を用いて、輝度成分と色成分とが分離され、輝度画像ｇ（ｘ，ｙ）が生成される。
【０１３７】
続いて、入力された撮影画像に記録されている対象物の動き量に基づいて、点拡がり関数ｈ（ｘ，ｙ）が算出される（ステップＳ９１４）。例えば、上述の式６を用いて、点拡がり関数ｈ（ｘ，ｙ）が求められる。
【０１３８】
続いて、ステップＳ９１３で生成された輝度画像ｇ（ｘ，ｙ）が２次元離散フーリエ変換（２次元ＤＦＴ）され、Ｇ（ｘ，ｙ）が算出される（ステップＳ９１５）。例えば、タップ数として、撮影画像の幅をＭとし、撮影画像の高さをＮとし、上述の式７を用いて、輝度画像ｇ（ｘ，ｙ）が２次元離散フーリエ変換（２次元ＤＦＴ）される。
【０１３９】
続いて、ステップＳ９１４で算出された点拡がり関数ｈ（ｘ，ｙ）が２次元離散フーリエ変換（２次元ＤＦＴ）され、Ｈ（ｘ，ｙ）が算出される（ステップＳ９１６）。例えば、タップ数として、撮影画像の幅をＭとし、撮影画像の高さをＮとし、上述の式８を用いて、点拡がり関数ｈ（ｘ，ｙ）が２次元離散フーリエ変換（２次元ＤＦＴ）される。
【０１４０】
続いて、ステップＳ９１６で求められたＨ（ｘ，ｙ）から、復元フィルタＨｗ（ｘ，ｙ）が、算出される（ステップＳ９１７）。例えば、式８により求められたＨ（ｘ，ｙ）から、復元フィルタＨｗ（ｘ，ｙ）が、上述の式９を用いて求められる。
【０１４１】
続いて、ステップＳ９１５で算出されたＧ（ｘ，ｙ）、およびステップＳ９１７で算出された復元フィルタＨｗ（ｘ，ｙ）に基づいて、ブレ補正画像が２次元離散フーリエ変換された関数Ｆ（ｘ，ｙ）が算出される（ステップＳ９１８）。例えば、上述の式７により求められたＧ（ｘ，ｙ）、および、上述の式９により求められた復元フィルタＨｗ（ｘ，ｙ）に基づいて、上述の式１０を用いて、ブレ補正画像が２次元離散フーリエ変換された関数Ｆ（ｘ，ｙ）が求められる。
【０１４２】
続いて、ステップＳ９１８で算出されたＦ（ｘ，ｙ）が、２次元離散逆フーリエ変換（逆２次元ＤＦＴ）されて、対象物領域の被写体ブレが補正された輝度画像ｆ（ｘ，ｙ）が算出される（ステップＳ９１９）。例えば、上述の式１０により求められたＦ（ｘ，ｙ）が、上述の式１１を用いて、２次元離散逆フーリエ変換（逆２次元ＤＦＴ）されて、対象物域の被写体ブレが補正された輝度画像ｆ（ｘ，ｙ）が算出される。
【０１４３】
続いて、被写体ブレが補正された輝度画像ｆ（ｘ，ｙ）に、ステップＳ９１３で分離された色成分を合わせ、被写体ブレが補正された画像が生成される（ステップＳ９２０）。例えば、ｆ（ｘ，ｙ）の各画素位置における値をＹとし、上述の式３乃至５を用いて計算された各画素位置におけるＵ、Ｖの値からカラー補正画像のＲＧＢの値が、上述の式１２乃至１４を用いて算出される。これにより、例えば、図７（ｂ）に示すように、対象物領域のブレが補正されたブレ補正画像が生成される。
【０１４４】
続いて、入力された撮影画像に記録されている対象物領域に基づいて、ステップＳ９２０で生成されたブレ補正画像から対象物画像が取り出され、入力された撮影画像における対象物領域内に、取り出された対象物画像が合成される（ステップＳ９２１）。例えば、図８（ｃ）に示すように、入力された撮影画像に対象物画像が合成される。
【０１４５】
続いて、対象物画像が合成された合成画像における対象物画像の領域境界に補正処理が施される（ステップＳ９２２）。例えば、図１１（ｃ）に示すように、合成画像６５０における対象物画像６５１の領域境界に補正処理が施される。
【０１４６】
続いて、合成画像における対象物画像の領域境界に補正処理が施された対象物ブレ補正画像が表示部２１０に表示される（ステップＳ９２３）。
【０１４７】
以上で示したように、例えば、ユーザが撮像装置１００を固定させた状態で水族館の水槽の中を泳ぐ亀を撮影した場合には、図７（ａ）の画像５００に示すように、亀５０１の背景はブレが生じていないものの、泳ぐ亀５０１に被写体ブレが生じて撮影される。そこで、本発明の実施の形態では、撮影時に亀の動き量の検出および領域の抽出が実行され、この亀の動き量および領域を用いて、画像５００にブレ補正が施された画像５１０（図７（ｂ）に示す）が生成される。そして、このブレ補正が施された画像５１０に含まれる亀５１１の画像が抽出され、ブレ補正が施されていない画像５００の亀５０１の領域に、抽出された亀５１１の画像が合成される。これにより、移動している対象物のみのブレを補正して、対象物および背景ともブレのない綺麗な画像を作成することができる。また、ユーザが撮影に関する特別なテクニックを必要とせずに、対象物ブレおよび背景ブレが軽減された画像を容易に取得することができる。
【０１４８】
なお、本発明の実施の形態では、撮影時において対象物の動き量の検出および領域の抽出を実行するが、撮影時には対象物の動き量の検出のみを実行して、対象物ブレ補正処理を行う際に対象物の領域の抽出を行うようにしてもよい。
【０１４９】
また、本発明の実施の形態では、撮影時には対象物の動き量および領域を撮影画像と関連付けて撮影画像記憶部２３０に記録するが、撮影時において、対象物の動き量および領域を用いて、撮影画像に対象物ブレ補正を施し、この対象物ブレ補正が施された画像を撮影画像記憶部２３０に記録するようにしてもよい。
【０１５０】
また、本発明の実施の形態では、対象物動き予測量算出部３５０により算出された動き予測量を、対象物の動き量として対象物ブレ補正に用いるが、対象物動き量検出部３３０により検出された動き量を対象物ブレ補正に用いるようにしてもよい。
【０１５１】
また、本発明の実施の形態では、撮像装置を例にして説明したが、撮影画像を入力してブレ補正処理を行うことが可能な画像処理装置に本発明の実施の形態を適用することができる。
【０１５２】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１５３】
すなわち、請求項１乃至８において、撮像装置は、例えば撮像装置１００に対応する。また、請求項９において、画像処理装置は、例えば撮像装置１００に対応する。
【０１５４】
また、請求項１において、撮像手段は、例えば撮像部１１０に対応する。また、動き量検出手段は、例えば対象物動き量検出部３３０に対応する。
【０１５５】
また、請求項１または請求項９において、補正手段は、例えばブレ補正部３８１に対応する。また、合成手段は、画像合成部３８３に対応する。
【０１５６】
また、請求項２において、画像記憶手段は、例えば撮影画像記憶部２３０に対応する。また、記憶制御手段は、例えば記憶制御部３７０に対応する。
【０１５７】
また、請求項５において、記録操作受付手段は、例えば操作受付部２５０に対応する。
【０１５８】
また、請求項６において、動き量予測手段は、例えば対象物動き予測量算出部３５０に対応する。
【０１５９】
また、請求項７において、表示手段は、例えば表示部２１０に対応する。また、選択受付手段は、例えば操作受付部２５０に対応する。
【０１６０】
また、請求項８において、境界補正手段は、領域境界補正部３８４に対応する。
【０１６１】
また、請求項９において、入力手段は、例えば画像入力部３１０に対応する。
【０１６２】
また、請求項１０または請求項１１において、撮像手順は、例えばステップＳ９０１乃至Ｓ９０６に対応する。また、動き量検出手順は、例えばステップＳ９０３に対応する。また、補正手順は、例えばステップＳ９１３乃至９２０に対応する。また、合成手順は、例えばステップＳ９２２に対応する。
【０１６３】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０１６４】
【図１】撮像装置１００の機能構成例を示すブロック図である。
【図２】撮像装置１００の機能構成例を示すブロック図である。
【図３】撮像部１１０に取り込まれている画像を表示部２１０に表示する場合における表示例を示す図である。
【図４】撮像部１１０に取り込まれている画像のうちから決定された対象物の領域の概略を示す図である。
【図５】撮像部１１０に取り込まれている画像のうちから決定された対象物の動きの変移の概略を示す図である。
【図６】ＤＣＦ規格により記録される静止画ファイルのファイル構造の概略を示す図である。
【図７】撮影画像記憶部２３０に記録されている画像について、対象物の動き量に基づいて、補正を施す前の画像と補正を施した後の画像とを示す図である。
【図８】ブレが補正された対象物部分の画像と、補正前の画像に含まれる対象物以外の部分の画像とを合成して画像を補正する場合における補正方法の概略を示す図である。
【図９】原画像６００と対象物画像６０２とを合成する場合について概略的に示す図である。
【図１０】原画像と対象物画像とを合成する場合に境界部分に施す画像処理の一例を示す図である。
【図１１】原画像６００と対象物画像６０２との領域境界において境界補正処理が施された場合について概略的に示す図である。
【図１２】撮像装置１００による撮像画像記憶処理の処理手順を示すフローチャートである。
【図１３】撮像装置１００による対象物ブレ補正処理の処理手順を示すフローチャートである。
【符号の説明】
【０１６５】
１００ 撮像装置
１１０ 撮像部
１２０ ＣＰＵ
１３０ ＲＡＭ
１４０ カメラ信号処理エンジン
１５０ 対象物検出エンジン
１６０ 対象物領域抽出エンジン
１８０ 動き量検出エンジン
１９０ ブレ補正エンジン
２００ 画像表示エンジン
２１０ 表示部
２２０ メディアコントローラ
２３０ 撮影画像記憶部
２４０ 操作入力コントローラ
２５０ 操作受付部
２６０ データバス
３１０ 画像入力部
３２０ 対象物位置決定部
３３０ 対象物動き量検出部
３４０ 対象物位置更新部
３５０ 対象物動き予測量算出部
３６０ 対象物領域抽出部
３７０ 記憶制御部
３８０ 対象物ブレ補正部
３８１ ブレ補正部
３８２ 対象物画像抽出部
３８３ 画像合成部
３８４ 領域境界補正部
３９０ 表示制御部
【特許請求の範囲】
【請求項１】
入射光を撮像データに変換する撮像手段と、
前記撮像データに含まれる所定の領域の動き量を検出する動き量検出手段と、
前記動き量に基づいて前記撮像データの前記所定の領域を補正して補正画像とする補正手段と、
前記補正画像を前記撮像データの前記所定の領域に合成する合成手段と
を具備することを特徴とする撮像装置。
【請求項２】
前記撮像データを記憶する画像記憶手段と、
前記検出された動き量を前記所定の領域の画像に関連付けて前記画像記憶手段に記憶する記憶制御手段とをさらに具備し、
前記補正手段は、前記画像記憶手段に記憶されている撮像データの前記所定の領域を当該撮像データに対応して前記画像記憶手段に記憶されている動き量に基づいて補正して補正画像とし、
前記合成手段は、前記画像記憶手段に記憶されている撮像データの前記所定の領域に前記補正画像を合成する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記記憶制御手段は、前記所定の領域に関する領域情報を前記所定の領域の画像に関連付けて前記画像記憶手段に記憶する
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記領域情報は、前記所定の領域に含まれる画像の縮小画像を含む
ことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記撮像手段により撮像された画像の記録操作を受け付ける記録操作受付手段をさらに具備し、
前記動き量検出手段は、前記撮像手段により撮像された画像について１フレーム毎に前記所定の領域の動き量を検出し、
前記記憶制御手段は、前記記録操作が受け付けられた際に前記撮像手段により撮像された画像を記録するとともに記録操作が受け付けられた際に検出された前記所定の領域の動き量を当該画像に関連付けて前記画像記憶手段に記録する
ことを特徴とする請求項２記載の撮像装置。
【請求項６】
前記記録操作が受け付けられた際に検出された前記所定の領域の動き量に基づいて新たな動き量を予測する動き量予測手段をさらに具備し、
前記記憶制御手段は、前記記録操作が受け付けられた際に前記撮像手段により撮像された画像を記憶するとともに前記新たな動き量を当該画像に関連付けて前記画像記憶手段に記憶する
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
前記撮像された画像を表示する表示手段と、
前記表示された画像に含まれる特定の物体の選択入力を受け付ける選択受付手段と、
前記選択された物体の領域を前記所定の領域として抽出する所定領域抽出手段とをさらに具備する
ことを特徴とする請求項１記載の撮像装置。
【請求項８】
前記合成された画像における前記所定の領域に含まれる画像の境界の周辺領域において当該境界からの距離に応じて前記合成された画像の画素値を変更する境界補正手段をさらに具備する
ことを特徴とする請求項１記載の撮像装置。
【請求項９】
入射光が変換された撮像データと当該撮像データに含まれる所定の領域の動き量とを入力する入力手段と、
前記動き量に基づいて前記撮像データの前記所定の領域を補正して補正画像とする補正手段と、
前記補正画像を前記撮像データの前記所定の領域に合成する合成手段と
を具備することを特徴とする画像処理装置。
【請求項１０】
入射光を撮像データに変換する撮像手順と、
前記撮像データに含まれる所定の領域の動き量を検出する動き量検出手順と、
前記動き量に基づいて前記撮像データの前記所定の領域を補正して補正画像とする補正手順と、
前記補正画像を前記撮像データの前記所定の領域に合成する合成手順と
を具備することを特徴とする画像処理方法。
【請求項１１】
入射光を撮像データに変換する撮像手順と、
前記撮像データに含まれる所定の領域の動き量を検出する動き量検出手順と、
前記動き量に基づいて前記撮像データの前記所定の領域を補正して補正画像とする補正手順と、
前記補正画像を前記撮像データの前記所定の領域に合成する合成手順と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
入射光を撮像データに変換する撮像手段と、
前記撮像データに含まれる所定の領域の動き量を検出する動き量検出手段と、
前記動き量に基づいて前記撮像データの前記所定の領域を補正して補正画像とする補正手段と、
前記補正画像を前記撮像データの前記所定の領域に合成する合成手段と
を具備することを特徴とする撮像装置。
【請求項２】
前記撮像データを記憶する画像記憶手段と、
前記検出された動き量を前記所定の領域の画像に関連付けて前記画像記憶手段に記憶する記憶制御手段とをさらに具備し、
前記補正手段は、前記画像記憶手段に記憶されている撮像データの前記所定の領域を当該撮像データに対応して前記画像記憶手段に記憶されている動き量に基づいて補正して補正画像とし、
前記合成手段は、前記画像記憶手段に記憶されている撮像データの前記所定の領域に前記補正画像を合成する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記記憶制御手段は、前記所定の領域に関する領域情報を前記所定の領域の画像に関連付けて前記画像記憶手段に記憶する
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記領域情報は、前記所定の領域に含まれる画像の縮小画像を含む
ことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記撮像手段により撮像された画像の記録操作を受け付ける記録操作受付手段をさらに具備し、
前記動き量検出手段は、前記撮像手段により撮像された画像について１フレーム毎に前記所定の領域の動き量を検出し、
前記記憶制御手段は、前記記録操作が受け付けられた際に前記撮像手段により撮像された画像を記録するとともに記録操作が受け付けられた際に検出された前記所定の領域の動き量を当該画像に関連付けて前記画像記憶手段に記録する
ことを特徴とする請求項２記載の撮像装置。
【請求項６】
前記記録操作が受け付けられた際に検出された前記所定の領域の動き量に基づいて新たな動き量を予測する動き量予測手段をさらに具備し、
前記記憶制御手段は、前記記録操作が受け付けられた際に前記撮像手段により撮像された画像を記憶するとともに前記新たな動き量を当該画像に関連付けて前記画像記憶手段に記憶する
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
前記撮像された画像を表示する表示手段と、
前記表示された画像に含まれる特定の物体の選択入力を受け付ける選択受付手段と、
前記選択された物体の領域を前記所定の領域として抽出する所定領域抽出手段とをさらに具備する
ことを特徴とする請求項１記載の撮像装置。
【請求項８】
前記合成された画像における前記所定の領域に含まれる画像の境界の周辺領域において当該境界からの距離に応じて前記合成された画像の画素値を変更する境界補正手段をさらに具備する
ことを特徴とする請求項１記載の撮像装置。
【請求項９】
入射光が変換された撮像データと当該撮像データに含まれる所定の領域の動き量とを入力する入力手段と、
前記動き量に基づいて前記撮像データの前記所定の領域を補正して補正画像とする補正手段と、
前記補正画像を前記撮像データの前記所定の領域に合成する合成手段と
を具備することを特徴とする画像処理装置。
【請求項１０】
入射光を撮像データに変換する撮像手順と、
前記撮像データに含まれる所定の領域の動き量を検出する動き量検出手順と、
前記動き量に基づいて前記撮像データの前記所定の領域を補正して補正画像とする補正手順と、
前記補正画像を前記撮像データの前記所定の領域に合成する合成手順と
を具備することを特徴とする画像処理方法。
【請求項１１】
入射光を撮像データに変換する撮像手順と、
前記撮像データに含まれる所定の領域の動き量を検出する動き量検出手順と、
前記動き量に基づいて前記撮像データの前記所定の領域を補正して補正画像とする補正手順と、
前記補正画像を前記撮像データの前記所定の領域に合成する合成手順と
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図５】
【図６】
【図９】
【図１２】
【図１３】
【図３】
【図４】
【図７】
【図８】
【図１０】
【図１１】
【図２】
【図５】
【図６】
【図９】
【図１２】
【図１３】
【図３】
【図４】
【図７】
【図８】
【図１０】
【図１１】
【公開番号】特開２００９−１７２２３（Ｐ２００９−１７２２３Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７６５３９（Ｐ２００７−１７６５３９）
【出願日】平成１９年７月４日（２００７．７．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年７月４日（２００７．７．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]