画像処理装置、撮像装置、画像処理方法、プログラム
【課題】注目動物体の運動の様子をみやすく表示する。
【解決手段】複数の入力画像から成る入力画像列の画像データに基づき、動物体又は特定種類の物体が存在する画像領域を検出し、検出結果から各入力画像に切り出し領域を設定する。所定のサンプリング間隔で複数の入力画像から複数の対象入力画像を抽出し、各対象入力画像から切り出し領域内の画像を切り出し画像として抽出する。複数の対象入力画像から抽出された複数の切り出し画像を水平又は垂直方向に並べて結合することにより出力合成画像（５００）を生成し、表示画面上に表示する。
【解決手段】複数の入力画像から成る入力画像列の画像データに基づき、動物体又は特定種類の物体が存在する画像領域を検出し、検出結果から各入力画像に切り出し領域を設定する。所定のサンプリング間隔で複数の入力画像から複数の対象入力画像を抽出し、各対象入力画像から切り出し領域内の画像を切り出し画像として抽出する。複数の対象入力画像から抽出された複数の切り出し画像を水平又は垂直方向に並べて結合することにより出力合成画像（５００）を生成し、表示画面上に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理を行う画像処理装置、画像処理方法及びプログラムに関する。また、本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
図２５に示すような動画像９００の各フレームから運動している対象物体を切り出し、切り出した対象物体の画像を背景画像に順番に重ね書きすることによリ、図２６に示すような画像を作成する方法が提案されている。このような画像は、ストロボ画像（strobe light image）とも呼ばれ、スポーツのフォームチェック用途などにも利用される。図２６では、対象物体としての人物がゴルフクラブをスイングする様子がストロボ画像として示されている。図２６及び後述の図２７において、斜線部分はストロボ画像等を表示する表示装置の筐体部分を表している。
【０００３】
また、図２７に示す如く、表示画面を複数の表示領域に分割し、動画像を形成する複数のフレームを複数の分割表示領域を用いてマルチ表示する方法も提案されている（例えば下記特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４６０６８８号公報
【特許文献２】特許第３５３５７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
対象物体がゴルフクラブをスイングする人物である場合など、動画像上において対象物体の位置が殆ど変化しない場合においては、図２６に示す如く、異なる時刻の対象物体がストロボ画像上で重なり合うため、対象物体の運動の様子を確認しづらくなる。
【０００６】
図２７に示すようなマルチ表示方法によれば、このような対象物体の重なりは発生しなくなるが、個々の対象物体の表示サイズが小さくなるため、結果、図２７の方法によっても対象物体の運動の様子を確認しづらくなる。
【０００７】
そこで本発明は、注目物体の運動の様子確認の容易化に寄与する画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、複数の入力画像から成る入力画像列の画像データに基づいて各入力画像上の画像領域である切り出し領域を設定する領域設定部と、前記複数の入力画像に含まれる複数の対象入力画像の夫々から、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理部と、抽出された複数の切り出し画像を並べて結合する画像合成部と、を備えたことを特徴とする。
【０００９】
複数の切り出し画像が並べて結合されるように画像合成部を形成しておけば、切り出し領域に収められるべき注目物体の位置が入力画像列上で殆ど変化しない場合においても、異なる時刻の注目物体が合成結果画像上で重なり合わない。結果、例えば、図２６に示すようなストロボ画像よりも、注目物体の運動の様子を確認し易くなることが期待される。加えて、入力画像同士をそのまま結合するのではなく、切り出し画像を結合するようにすれば、合成結果画像上において注目物体が比較的大きく映し出される。結果、図２７に示すような方法よりも、注目物体の運動の様子を確認し易くなることが期待される。
【００１０】
即ち例えば、前記画像合成部は、前記複数の切り出し画像を結合する際、前記複数の切り出し画像が互いに重なり合わないように前記複数の切り出し画像を並べるとよい。
【００１１】
また例えば、前記複数の対象入力画像は第１及び第２の対象入力画像を含み、前記第１の対象入力画像上における前記切り出し領域と前記第２の対象入力画像上における前記切り出し領域とは互いに重なり合い、前記画像合成部は、前記複数の切り出し画像を結合する際、前記第１の対象入力画像に基づく切り出し画像と前記第２の対象入力画像に基づく切り出し画像とが互いに重なり合わないように前記複数の切り出し画像を並べるとよい。
【００１２】
また具体的は例えば、前記領域設定部は、前記入力画像列の画像データに基づいて動物体又は特定種類の物体が存在する画像領域を検出し、検出した画像領域に基づいて前記切り出し領域を設定してもよい。
【００１３】
また具体的は例えば、前記複数の切り出し画像を並べて結合することにより合成結果画像が生成され、前記画像合成部は、前記合成結果画像に対して定められたアスペクト比又は画像サイズに基づき、前記複数の切り出し画像の並べ方を決定してもよい。
【００１４】
また例えば、記入力画像列として互いに異なる複数の入力画像列が当該画像処理装置に与えられ、前記領域設定部は、前記入力画像列ごとに前記切り出し領域を設定し、前記切り出し処理部は、前記入力画像列ごとに前記切り出し画像を抽出し、前記画像合成部は、前記入力画像列ごとに前記結合を行うことで得られる前記複数の入力画像列に対する複数の合成結果画像を、更に所定方向に並べて結合してもよい。
【００１５】
これにより例えば、第１入力画像列における注目物体と第２入力画像列における注目物体との間で運動の様子を詳細に比較するといったことが可能となる。
【００１６】
本発明に係る撮像装置は、撮像素子を用いた順次撮影の結果から複数の入力画像から成る入力画像列を取得する撮像装置において、当該撮像装置の動きの検出結果に基づき、前記動きに基づく前記入力画像間における被写体のぶれを低減するぶれ補正部と、前記動きの検出結果に基づき、各入力画像上の画像領域である切り出し領域を設定する領域設定部と、前記複数の入力画像に含まれる複数の対象入力画像の夫々から、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理部と、抽出された複数の切り出し画像を並べて結合する画像合成部と、を備えたことを特徴とする。
【００１７】
複数の切り出し画像が並べて結合されるように画像合成部を形成しておけば、切り出し領域に収められるべき注目物体の位置が入力画像列上で殆ど変化しない場合においても、異なる時刻の注目物体が合成結果画像上で重なり合わない。結果、例えば、図２６に示すようなストロボ画像よりも、注目物体の運動の様子を確認し易くなることが期待される。加えて、入力画像同士をそのまま結合するのではなく、切り出し画像を結合するようにすれば、合成結果画像上において注目物体が比較的大きく映し出される。結果、図２７に示すような方法よりも、注目物体の運動の様子を確認し易くなることが期待される。
【００１８】
具体的は例えば、前記撮像素子上に結像する全体像の内、ぶれ補正用領域内の画像が前記入力画像に相当し、前記ぶれ補正部は、前記動きの検出結果に基づき各入力画像に対する前記ぶれ補正用領域の位置を設定することにより前記ぶれを低減し、前記領域設定部は、前記複数の対象入力画像に対する複数のぶれ補正用領域の重なり領域を前記動きの検出結果に基づいて検出し、前記重なり領域から前記切り出し領域を設定しても良い。
【００１９】
このような構成によれば、重なり領域に撮影者の注目物体が収められる可能性が高くなり、結果、切り出し領域内に注目物体が収まることが期待される。
【００２０】
本発明に係る画像処理方法は、複数の入力画像から成る入力画像列の画像データに基づいて各入力画像上の画像領域である切り出し領域を設定する領域設定ステップと、前記複数の入力画像に含まれる複数の対象入力画像の夫々から、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理ステップと、抽出された複数の切り出し画像を並べて結合する画像合成ステップと、を実行することを特徴とする。
【００２１】
そして、上記の領域設定ステップ、切り出し処理ステップ及び画像合成ステップをコンピュータに実行させるためのプログラムを形成すると良い。
【発明の効果】
【００２２】
本発明によれば、注目物体の運動の様子確認の容易化に寄与する画像処理装置、撮像装置、画像処理方法及びプログラムを提供することが可能である。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に係る撮像装置の全体ブロック図である。
【図２】二次元の画像空間と二次元画像との関係を示す図である。
【図３】図１の撮像装置に設けられる画像処理部の内部ブロック図である。
【図４】本発明の第１実施形態に係る撮像装置の動作フローチャートである。
【図５】入力画像列の構成を示す図である。
【図６】合成開始フレーム及び合成終了フレーム選択時における表示画面の様子を示す図である。
【図７】合成開始フレーム、合成終了フレーム及び合成対象期間の意義を説明するための図である。
【図８】入力画像列から複数の対象入力画像が抽出される様子を示した図である。
【図９】切り出し領域の設定処理のフローチャートである。
【図１０】背景画像生成処理を説明するための図である。
【図１１】背景画像と各対象入力画像に基づき各対象入力画像から動物体領域が検出される様子を示した図である。
【図１２】検出された動物体領域の利用方法を説明するための図である。
【図１３】切り出し領域の設定処理の変形フローチャートである。
【図１４】各対象入力画像に切り出し領域が設定される様子を示した図（ａ）と、２枚の対象入力画像における２つの切り出し領域が互いに重なり合う様子を示した図（ｂ）である。
【図１５】本発明の第１実施形態に係る出力合成画像の例を示す図である。
【図１６】合成枚数を増大させる方法の処理イメージ図である。
【図１７】合成枚数を増大させる他の方法の処理イメージ図である。
【図１８】本発明の第２実施形態に係り、出力合成画像の生成処理の流れを示す図である。
【図１９】本発明の第２実施形態に係るスクロール表示を説明するための図である。
【図２０】スクロール表示を成すために生成された複数のスクロール用画像により、動画像が形成される様子を示した図である。
【図２１】本発明の第３実施形態に係る電子式手ぶれ補正を説明するための図である。
【図２２】電子式手ぶれ補正に関与する部位のブロック図である。
【図２３】電子式手ぶれ補正と連動した切り出し領域の設定方法を説明するための図である。
【図２４】図２３（ａ）〜（ｃ）の対象入力画像に対応する切り出し領域を表す図である。
【図２５】従来技術に係り、動画像の例を示す図である。
【図２６】従来のストロボ画像が表示される様子を示す図である。
【図２７】従来のマルチ表示画面を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２５】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。
【００２６】
撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３の各受光画素は、光学系及び絞りを介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。
【００２７】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００２８】
圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を互いに関連付けた状態で記録する。
【００２９】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。
【００３０】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
【００３１】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００３２】
撮影モードでは、次々と被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。
【００３３】
尚、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する（即ち例えば、圧縮された画像データを記録することを、単に、画像データを記録すると表現する）。また、本明細書では、或る画像の画像データのことを単に画像と言うこともある。また、本明細書において、単に表示又は表示画面といった場合、それは、表示部２７における表示又は表示画面を指す。
【００３４】
図２に、二次元の画像空間ＸＹを示す。画像空間ＸＹは、Ｘ軸及びＹ軸を座標軸として有する、空間領域（spatial domain）上の二次元座標系である。任意の二次元画像３００は、画像空間ＸＹ上に配置された画像であると考えることができる。Ｘ軸及びＹ軸は、夫々、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。
【００３５】
撮像装置１には、時系列上に並ぶ複数の入力画像を合成する画像合成機能が設けられている。図３に、画像合成機能を担う画像処理部（画像処理装置）５０の内部ブロック図を示す。画像処理部５０を、図１の映像信号処理部１３に含めておくことができる。或いは、映像信号処理部１３及びＣＰＵ２３によって画像処理部５０が形成されていても良い。画像処理部５０は、符号５１〜５３によって参照される各部位を備える。
【００３６】
画像処理部５０には、入力画像列の画像データが与えられる。入力画像列に代表される画像列とは、時系列上に並ぶ複数の画像の集まりを指す。従って、入力画像列は、時系列上に並ぶ複数の入力画像から成る。画像列は、動画像とも読み替えられる。例えば、入力画像列は、時系列上に並ぶ複数の入力画像を複数のフレームとして持つ動画像である。入力画像は、例えば、ＡＦＥ１２の出力信号そのものにて表現される撮影画像、又は、ＡＦＥ１２の出力信号そのものにて表現される撮影画像に対し所定の画像処理（デモザイキング処理、ノイズ低減処理など）を施して得られる画像である。外部メモリ１８に記録された任意の画像列を入力画像列として外部メモリ１８から読み出して画像処理部５０に与えることができる。例えば、被写体がゴルフクラブや野球のバットをスイングする様子を撮像装置１にて動画像として撮影して外部メモリ１８に記録した後、記録された動画像を入力画像列として画像処理部５０に与えることができる。尚、入力画像列は、外部メモリ１８以外の任意の部位から与えられても良い。例えば、撮像装置１の外部機器（不図示）から通信を介して画像処理部５０に入力画像列が与えられても良い。
【００３７】
領域設定部５１は、入力画像列の画像データに基づいて、入力画像上の画像領域である切り出し領域を設定し、切り出し領域の位置及び大きさを表す切り出し領域情報を生成及び出力する。切り出し領域情報によって表される切り出し領域の位置は、例えば、切り出し領域の中心位置又は重心位置である。切り出し領域情報によって表される切り出し領域の大きさは、例えば、水平及び垂直方向における切り出し領域の大きさである。切り出し領域が矩形以外の領域である場合、切り出し領域情報に、切り出し領域の形状をも特定できる情報が含められる。
【００３８】
切り出し処理部５２は、切り出し領域情報に基づき、入力画像から切り出し領域内の画像を切り出し画像として抽出する（換言すれば、入力画像から切り出し領域内の画像を切り出し画像として切り出す）。切り出し画像は入力画像の一部である。切り出し領域情報に基づき入力画像から切り出し画像を生成する処理を、以下、切り出し処理と呼ぶ。切り出し処理は複数の入力画像に対して実行され、これによって複数の切り出し画像が得られる。複数の入力画像と同様、複数の切り出し画像も時系列上に並んでいるため、複数の切り出し画像を切り出し画像列と呼ぶこともできる。
【００３９】
画像合成部５３は、複数の切り出し画像を合成し、合成によって得られた画像を出力合成画像として出力する。出力合成画像を表示部２７の表示画面上に表示することができ、出力合成画像の画像データを外部メモリ１８に記録することもできる。
【００４０】
画像合成機能を再生モードにて実現することができる。画像合成機能を実現するときの再生モードは、複数の合成モードに細分化される。ユーザが複数の合成モードの何れかを選択する指示を撮像装置１に与えることで、選択された合成モードにおける動作が実行される。ユーザは、操作部２６を介して任意の指示を撮像装置１に与えることができる。所謂タッチパネルが操作部２６に含まれていても良い。複数の合成モードに、マルチウィンドウ合成モードとも呼ぶことができる第１合成モードを含めることができる。第１実施形態では、以下、第１合成モードにおける撮像装置１の動作を説明する。
【００４１】
図４は、第１合成モードにおける撮像装置１の動作フローチャートである。第１合成モードでは、ステップＳ１１〜Ｓ１８の処理が順次実行される。ステップＳ１１において、ユーザによる入力画像列の選択が行われる。外部メモリ１８に記録されている動画像の中からユーザは所望の動画像を選択することができ、選択された動画像が入力画像列として画像処理部５０に供給される。尚、入力画像列としての動画像の選択を行った後に、複数の合成モードの中から第１合成モードを選択する操作が成されても良い。
【００４２】
今、画像処理部５０に供給された入力画像列が図５に示す入力画像列３２０であるとする。入力画像列３２０を形成するｉ番目のフレーム、即ち、入力画像列３２０を形成するｉ番目の入力画像を記号Ｆ［ｉ］によって表す。入力画像列３２０は、入力画像Ｆ［１］、Ｆ［２］、Ｆ［３］、・・・、Ｆ［ｎ］、Ｆ［ｎ＋１］、・・・、Ｆ［ｎ＋ｍ］、・・・を含んで形成される。ｉ、ｎ及びｍは自然数である。時刻ｔｉは入力画像Ｆ［ｉ］の撮影時刻であり、時刻ｔｉ＋１は時刻ｔｉよりも後の時刻である。従って、入力画像Ｆ［ｉ＋１］は、入力画像Ｆ［ｉ］よりも後に撮影された画像である。時刻ｔｉ及びｔｉ＋１間の時間差Δｔは、入力画像列３２０としての動画像のフレーム周期に相当する。図５からは明らかではないが、入力画像列３２０は、被写体がゴルフクラブをスイングする様子を撮影した動画像であるとする。
【００４３】
ステップＳ１２において、ユーザは操作部２６を用いて合成開始フレームを選択する。合成開始フレームの選択の際、例えば、図６（ａ）に示す如く、操作部２６に対するユーザ操作に従い、入力画像列３２０を形成する入力画像の何れかであって且つユーザが希望する入力画像を表示部２７に表示するようし、ユーザの決定操作が成された時点の表示画像を合成開始フレームとして選択すると良い。図６（ａ）において、斜線部分は表示部２７の筐体部分を表している（後述の図６（ｂ）についても同様）。
【００４４】
続くステップＳ１３において、ユーザは操作部２６を用いて合成終了フレームを選択する。合成終了フレームの選択の際、例えば、図６（ｂ）に示す如く、操作部２６に対するユーザ操作に従い、入力画像列３２０を形成する入力画像の何れかであって且つユーザが希望する入力画像を表示部２７に表示するようし、ユーザの決定操作が成された時点の表示画像を合成終了フレームとして選択すると良い。
【００４５】
合成開始フレーム及び合成終了フレームは、入力画像列３２０を形成する何れかの入力画像であって、合成終了フレームとしての入力画像は、合成開始フレームよりも後に撮影された入力画像である。今、図７に示す如く、入力画像Ｆ［ｎ］及びＦ［ｎ＋ｍ］が夫々合成開始フレーム及び合成終了フレームとして選択されたものとする。合成開始フレームの撮影時刻である時刻ｔｎから合成終了フレームの撮影時刻である時刻ｔｎ＋ｍまでの期間を、合成対象期間と呼ぶ。例えば、合成開始フレームに対応する時刻ｔｎは、被写体がゴルフクラブのスイングを開始する直前であり（図６（ａ）参照）、合成終了フレームに対応する時刻ｔｎ＋ｍは、被写体がゴルフクラブのスイングを終了した直後である（図６（ｂ）参照）。時刻ｔｎ及び時刻ｔｎ＋ｍも合成対象期間に含まれていると考える。従って、合成対象期間に属する入力画像は、入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］である。
【００４６】
合成開始フレーム及び合成終了フレームの選択後、ステップＳ１４において、ユーザは、操作部２６を用いて合成条件を指定することができる。例えば、出力合成画像を得るために合成される画像の枚数（以下、合成枚数ＣＮＵＭと呼ぶ）などを指定することができる。合成条件は予め設定されていても良く、この場合、ステップＳ１４における指定を割愛しても良い。合成条件の意義については後述の説明からより明らかとなる。ステップＳ１４の処理を、ステップＳ１２及びＳ１３の処理よりも前に実行しても構わない。
【００４７】
合成対象期間に属する入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］が全て出力合成画像の形成に寄与するとは限らない。入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］の内、出力合成画像の形成に寄与する入力画像を、特に対象入力画像と呼ぶ。対象入力画像は複数存在し、１番目の対象入力画像は入力画像Ｆ［ｎ］である。ユーザは、ステップＳ１４において、合成条件の一種であるサンプリング間隔を指定することができる。但し、サンプリング間隔は予め設定されていても良い。サンプリング間隔は、時間的に隣接する２枚の対象入力画像間の撮影時刻間隔である。例えば、サンプリング間隔が（Δｔ×ｉ）である場合（図５も参照）、入力画像Ｆ［ｎ］を基準としてサンプリング間隔（Δｔ×ｉ）にて入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］から対象入力画像がサンプリングされる（ｉは整数）。より具体的には例えば、ｍ＝８であって且つサンプリング間隔が（Δｔ×２）である場合、図８に示す如く、入力画像Ｆ［ｎ］、Ｆ［ｎ＋２］、Ｆ［ｎ＋４］、Ｆ［ｎ＋６］及びＦ［ｎ＋８］が対象入力画像として抽出される。ｍの値はステップＳ１２及びＳ１３の処理によって定まるため、サンプリング間隔が定まれば自動的に合成枚数ＣＮＵＭが定まる。
【００４８】
ｍの値と合成枚数ＣＮＵＭが定められた後、定められたｍの値と合成枚数ＣＮＵＭに基づいてサンプリング間隔及び対象入力画像が設定されても良い。例えば、ｍ＝８且つＣＮＵＭ＝５と定められたならば、サンプリング間隔がΔｔ×（ｍ／（ＣＮＵＭ−１））、即ち（Δｔ×２）に設定され、結果、入力画像Ｆ［ｎ］、Ｆ［ｎ＋２］、Ｆ［ｎ＋４］、Ｆ［ｎ＋６］及びＦ［ｎ＋８］が対象入力画像として抽出される。
【００４９】
ステップＳ１２〜Ｓ１４の処理の後、ステップＳ１５〜Ｓ１７の処理が順次実行される。即ち、ステップＳ１５において領域設定部５１により切り出し領域の設定処理が実行され、ステップＳ１６において切り出し処理部５２により切り出し処理が実行され、ステップＳ１７において画像合成部５３により合成処理が実行されることで出力合成画像が生成される（図３も参照）。ステップ１７にて生成された出力合成画像はステップＳ１８において表示部２７の表示画面上に表示される。出力合成画像の画像データを外部メモリ１８に記録することもできる。ステップＳ１５〜Ｓ１７における処理内容を詳細に説明する。
【００５０】
［Ｓ１５：切り出し領域の設定］
ステップＳ１５における切り出し領域の設定処理を説明する。図９は、切り出し領域の設定処理のフローチャートである。領域設定部５１がステップＳ２１〜Ｓ２３の処理を順次実行することで切り出し領域を設定することができる。
【００５１】
まずステップＳ２１において、領域設定部５１は、背景画像の抽出又は生成を行う。入力画像列３２０を形成する入力画像の内、合成対象期間に属さない入力画像を背景候補画像と捉え、複数の背景候補画像の内の何れかを背景画像として抽出することができる。複数の背景候補画像には、入力画像Ｆ［１］〜Ｆ［ｎ−１］が含まれ、更に入力画像Ｆ［ｎ＋ｍ＋１］、Ｆ［ｎ＋ｍ＋２］、・・・が含まれうる。領域設定部５１は、入力画像列３２０の画像データに基づき複数の背景候補画像の中から背景画像を選択することができる。ユーザが複数の背景候補画像の中から背景画像を手動で選択するようにしても良い。
【００５２】
動物体領域が存在しない入力画像を背景画像として選択することが望ましい。複数の入力画像から成る動画像上において動いている物体を動物体と呼び、動物体の画像データが存在している画像領域を動物体領域と呼ぶ。
【００５３】
例えば、動き検出処理を実行できるように領域設定部５１を形成しておく。動き検出処理では、時間的に隣接する２枚の入力画像の画像データに基づき当該２枚の入力画像間のオプティカルフローを導出する。周知の如く、２枚の入力画像間のオプティカルフローは、当該２枚の入力画像間における物体の動きベクトルの束である。２枚の入力画像間における或る物体の動きベクトルは、２枚の入力画像間における該物体の動きの向き及び大きさを表している。
動物体領域に対応する動きベクトルの大きさは、動物体領域以外の領域のそれよりも大きい。従って、複数の入力画像に対するオプティカルフローから、複数の入力画像上に動物体が存在しているか否かを推定できる。故に例えば、入力画像Ｆ［１］〜Ｆ［ｎ−１］に対して動き検出処理を実行して、入力画像Ｆ［１］及びＦ［２］間のオプティカルフロー、入力画像Ｆ［２］及びＦ［３］間のオプティカルフロー、・・・、及び入力画像Ｆ［ｎ−２］及びＦ［ｎ−１］間のオプティカルフローを導出し、導出したオプティカルフローに基づき、動物体が存在していないと推定される入力画像を入力画像Ｆ［１］〜Ｆ［ｎ−１］から抽出すると良い。抽出した入力画像（動物体が存在していないと推定される入力画像）を背景画像として選択することができる。
【００５４】
また例えば、複数の入力画像を用いた背景画像生成処理によって背景画像を生成するようにしても良い。背景画像生成処理の方法を、図１０（ａ）及び（ｂ）を参照して説明する。図１０（ａ）には、背景画像の生成元となる複数の入力画像Ｇ［１］〜Ｇ［５］が示されている。画像３３０は、入力画像Ｇ［１］〜Ｇ［５］から生成される背景画像である。図１０（ａ）の各入力画像において、斜線領域は動物体領域を表している。入力画像Ｇ［１］〜Ｇ［５］は、入力画像列３２０を形成する入力画像の中から抽出された５枚の入力画像である。ｍ＝４の場合、複数の入力画像Ｇ［１］〜Ｇ［５］は、例えば入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］である（図７参照）。或いは例えば、ｍ＞４の場合、複数の入力画像Ｇ［１］〜Ｇ［５］は、入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］の内の何れか５枚の入力画像である。更に或いは例えば、入力画像Ｇ［１］〜Ｇ［５］の中に、入力画像Ｆ［１］〜Ｆ［ｎ−１］の何れか、又は、入力画像Ｆ［ｎ＋ｍ＋１］、Ｆ［ｎ＋ｍ＋２］・・・の何れかが含まれていても良い。更に或いは例えば、合成対象期間に属さない入力画像のみを用いて入力画像Ｇ［１］〜Ｇ［５］を形成しても良い。
【００５５】
背景画像生成処理では、画素位置ごとに背景画素抽出処理を行う。画素位置（ｘ，ｙ）に対する背景画素抽出処理を説明する。背景画素抽出処理において、領域設定部５１は、まず、入力画像Ｇ［１］を基準画像に設定すると共に入力画像Ｇ［２］〜Ｇ［５］の夫々を非基準画像に設定した上で、非基準画像ごとに差分演算を行う。ここにおける差分演算とは、基準画像の画素位置（ｘ，ｙ）における画素信号と、非基準画像の画素位置（ｘ，ｙ）における画素信号との差分の絶対値を、差分要素値として求める演算を指す。画素信号とは、画素の持つ信号を指し、画素信号の値を画素値とも言う。差分演算における画素信号として、例えば輝度信号を用いることができる。
【００５６】
入力画像Ｇ［１］が基準画像であるとき、非基準画像ごとの差分演算によって、
入力画像Ｇ［１］の画素位置（ｘ，ｙ）における画素信号及び入力画像Ｇ［２］の画素位置（ｘ，ｙ）における画素信号に基づく差分要素値ＶＡＬ［１，２］と、
入力画像Ｇ［１］の画素位置（ｘ，ｙ）における画素信号及び入力画像Ｇ［３］の画素位置（ｘ，ｙ）における画素信号に基づく差分要素値ＶＡＬ［１，３］と、
入力画像Ｇ［１］の画素位置（ｘ，ｙ）における画素信号及び入力画像Ｇ［４］の画素位置（ｘ，ｙ）における画素信号に基づく差分要素値ＶＡＬ［１，４］と、
入力画像Ｇ［１］の画素位置（ｘ，ｙ）における画素信号及び入力画像Ｇ［５］の画素位置（ｘ，ｙ）における画素信号に基づく差分要素値ＶＡＬ［１，５］と、が求められる。
【００５７】
領域設定部５１は、基準画像に設定される入力画像を、入力画像Ｇ［１］から入力画像Ｇ［２］、Ｇ［３］、Ｇ［４］及びＧ［５］へと順次切り替えながら、非基準画像ごとの差分演算を行う（基準画像以外の入力画像は非基準画像に設定される）。これにより、入力画像Ｇ［ｉ］の画素位置（ｘ，ｙ）における画素信号及び入力画像Ｇ［ｊ］の画素位置（ｘ，ｙ）における画素信号に基づく差分要素値ＶＡＬ［ｉ，ｊ］が、１≦ｉ≦５且つ１≦ｊ≦５を満たす変数ｉ及びｊの全ての組み合わせに対して求まる（但し、ｉ及びｊは互いに異なる整数）。
【００５８】
領域設定部５１は、入力画像Ｇ［ｉ］を基準画像に設定した状態で求められた４つの差分要素値ＶＡＬ［ｉ，ｊ］の合計を、差分積算値ＳＵＭ［ｉ］として求める。差分積算値ＳＵＭ［ｉ］の導出は入力画像Ｇ［１］〜Ｇ［５］の夫々に対して成される。故に、画素位置（ｘ，ｙ）に対して、５つの差分積算値ＳＵＭ［１］〜ＳＵＭ［５］が求められる。領域設定部５１は、差分積算値ＳＵＭ［１］〜ＳＵＭ［５］の内の最小値を特定し、その最小値に対応する入力画像の画素位置（ｘ，ｙ）における画素及び画素信号を、背景画像３３０の画素位置（ｘ，ｙ）における画素及び画素信号に設定する。即ち例えば、差分積算値ＳＵＭ［１］〜ＳＵＭ［５］の内、差分積算値ＳＵＭ［４］が最小である場合、差分積算値ＳＵＭ［４］に対応する入力画像Ｇ［４］の画素位置（ｘ，ｙ）における画素及び画素信号を、背景画像３３０の画素位置（ｘ，ｙ）における画素及び画素信号に設定する。
【００５９】
図１０（ａ）に示す例の動物体領域は、入力画像Ｇ［１］及びＧ［２］においては画素位置（ｘ，ｙ）に位置し、入力画像Ｇ［３］〜Ｇ［５］においては画素位置（ｘ，ｙ）に位置していない。従って、差分積算値ＳＵＭ［１］及びＳＵＭ［２］は比較的大きな値を取る一方で、差分積算値ＳＵＭ［３］〜ＳＵＭ［５］は比較的小さな値を取る。従って、動物体領域内の画素とは異なる画素（即ち、背景の画素）が、背景画像３３０の画素として採用されることになる。
【００６０】
上述したように、背景画像生成処理では、画素位置ごとに背景画素抽出処理が行われる。従って、上述と同様の処理が、画素位置（ｘ，ｙ）以外の画素位置に対しても順次行われ、最終的に背景画像３３０の全画素位置における画素信号が決定される（即ち、背景画像３３０の生成が完了する）。尚、上述の説明の動作によれば、差分要素値ＶＡＬ［ｉ，ｊ］と差分要素値ＶＡＬ［ｊ，ｉ］とが個別に算出されるが、それらの値は同じであるため、実際には一方のみを算出すれば足る。また、図１０（ａ）及び（ｂ）に示す例では、５枚の入力画像から背景画像を生成しているが、２枚以上の任意の枚数の入力画像から背景画像を生成することができる。
【００６１】
ステップＳ２２（図９参照）において、図３の領域設定部５１は、背景画像及び各対象入力画像の画像データに基づき動物体領域を検出する。図１１において、画像３４０は背景画像の例であり、画像３４１〜３４３は対象入力画像の例である。説明の具体化のため、背景画像が画像３４０であって且つ入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］から抽出された複数の対象入力画像が画像３４１〜３４３であることを想定して、動物体領域の検出方法及び後述のステップＳ２３の処理内容を説明する。
【００６２】
領域設定部５１は、対象入力画像ごとに、背景画像及び対象入力画像間の差分画像を生成すると共に生成した差分画像を二値化することにより二値化差分画像を生成する。図１１において、画像３５１は背景画像３４０及び対象入力画像３４１に基づく二値化差分画像であり、画像３５２は背景画像３４０及び対象入力画像３４２に基づく二値化差分画像であり、画像３５３は背景画像３４０及び対象入力画像３４３に基づく二値化差分画像である。第１及び第２画像間の差分画像とは、第１及び第２画像間における画素信号の差分を画素信号として有する画像である。例えば、第１及び第２画像間の差分画像における画素位置（ｘ，ｙ）の画素値は、第１画像における画素位置（ｘ，ｙ）の輝度値と、第２画像における画素位置（ｘ，ｙ）の輝度値との差の絶対値である。背景画像３４０及び対象入力画像３４１間の差分画像において、所定の閾値以上の画素値を有する画素に対し“１”の画素値を与える一方、その閾値未満の画素値を有する画素に対し“０”の画素値を与えることで、“１”又は“０”の画素値のみを有する二値化差分画像３５１が得られる。二値化差分画像３５２及び３５３についても同様である。図１１を含む二値化差分画像を示した図において、“１”の画素値を有する画像領域（即ち差分の大きい画像領域）を白で表し、“０”の画素値を有する画像領域（即ち差分の小さい画像領域）を黒で表している。二値化差分画像３５１において、“１”の画素値を有する画像領域が動物体領域３６１として検出される。同様に、二値化差分画像３５２において、“１”の画素値を有する画像領域が動物体領域３６２として検出され、二値化差分画像３５３において、“１”の画素値を有する画像領域が動物体領域３６３として検出される。二値化差分画像において、白領域が動物体領域に相当する（後述の図１２（ａ）等においても同様）。
【００６３】
図１１では、動物体領域３６１〜３６３が二値化差分画像３５１〜３５３上に示されているが、動物体領域３６１〜３６３は、夫々、対象入力画像３４１〜３４３上の動物体領域である、と考えることができる。図１１において、点３６１Ｃ、３６２Ｃ、３６３Ｃは、夫々、対象入力画像３４１上における動物体領域３６１の中心位置又は重心位置、対象入力画像３４２上における動物体領域３６２の中心位置又は重心位置、対象入力画像３４３上における動物体領域３６３の中心位置又は重心位置を表している。
【００６４】
その後、ステップＳ２３（図９参照）において、図３の領域設定部５１は、ステップＳ２２で検出した動物体領域に基づき切り出し領域を設定する。図１２（ａ）〜（ｅ）を参照して、動物体領域３６１〜３６３から切り出し領域を設定する方法を説明する。
【００６５】
図１２（ａ）に示す如く、領域設定部５１は、動物体領域３６１〜３６３の論理和領域である領域（白領域）４０１を求めることができる。図１２（ａ）において、画像４００は、画像３５１〜３５３の論理和演算によって得られる二値化画像である。即ち、二値化画像４００の画素位置（ｘ，ｙ）における画素値は、画像３５１の画素位置（ｘ，ｙ）における画素値と、画像３５２の画素位置（ｘ，ｙ）における画素値と、画像３５３の画素位置（ｘ，ｙ）における画素値との論理和である。二値化画像４００において、“１”の画素値を有する画像領域が領域４０１である。
【００６６】
図１２（ｂ）に示す如く、領域設定部５１は、動物体領域３６１〜３６３の内、最大の大きさを有する動物体領域を領域（白領域）４１１として求めることができる。図１２（ｂ）における二値化画像４１０は、領域４１１が動物体領域３６１であるとき画像３５１であり、領域４１１が動物体領域３６２であるとき画像３５２であり、領域４１１が動物体領域３６３であるとき画像３５３である。
【００６７】
図１２（ｃ）に示す如く、領域設定部５１は、動物体領域３６１〜３６３の内、任意の１領域を領域（白領域）４２１として設定することができる。図１２（ｃ）における二値化画像４２０は、領域４２１が動物体領域３６１であるとき画像３５１であり、領域４２１が動物体領域３６２であるとき画像３５２であり、領域４２１が動物体領域３６３であるとき画像３５３である。
【００６８】
図１２（ｄ）に示す如く、領域設定部５１は、何れかの動物体領域に外接する矩形領域を領域（白領域）４３１として設定することができる。図１２（ａ）の領域４０１に外接する矩形領域を領域４３１として設定しても良い。即ち、領域４３１は、領域４０１、４１１又は４２１を内包することのできる最小の矩形画像領域である。図１２（ｄ）の画像４３０は、領域４３１内において“１”の画素値のみを有し、それ以外の画像領域においては“０”の画素値のみを有する二値化画像である。
【００６９】
図１２（ｅ）の領域（白領域）４４１は、矩形領域４３１を所定比率で拡大又は縮小した画像領域である。或いは、領域４０１、４１１又は４２１を所定比率で拡大又は縮小した画像領域が領域４４１であっても良い。領域４４１の生成時における拡大又は縮小を、水平及び垂直方向の夫々において成すことができる。図１２（ｅ）の画像４４０は、領域４４１内において“１”の画素値のみを有し、それ以外の画像領域においては“０”の画素値のみを有する二値化画像である。
【００７０】
ステップＳ２３（図９参照）において、領域設定部５１は、領域４０１、４１１、４２１、４３１又は４４１を切り出し領域として設定することができる。
【００７１】
図９のステップＳ２１〜Ｓ２３による方法では、切り出し領域の設定時に背景画像が利用されるが、背景画像を用いることなく切り出し領域を設定することも可能である。即ち例えば、入力画像列３２０の画像データに基づき動き検出処理によって入力画像Ｆ［ｉ］及びＦ［ｉ＋１］間のオプティカルフローを導出する。導出されるべきオプティカルフローには、合成対象期間中の入力画像に基づくオプティカルフローが少なくとも含まれ、必要に応じて合成対象期間外の入力画像に基づくオプティカルフロー（例えば、入力画像Ｆ［ｎ−２］及びＦ［ｎ−１］間のオプティカルフロー）も導出する。そして、導出したオプティカルフローに基づいて入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］の夫々から動物体領域を検出すれば良い。オプティカルフローに基づく動物体及び動物体領域の検出方法は公知である。動物体領域の検出後の動作は、上述した通りである。
【００７２】
或いは例えば、図９のステップＳ２１〜Ｓ２３の処理の代わりに、図１３のステップＳ３１及びＳ３２の処理を実行することで切り出し領域を設定しても良い。図１３は、切り出し領域の設定処理の変形フローチャートに相当する。
【００７３】
ステップＳ３１において、領域設定部５１は、対象入力画像の画像データに基づき対象入力画像から特定種類の物体が存在する画像領域を特定物体領域（特定被写体領域）として検出する。特定物体領域の検出を対象入力画像ごとに成すことができる。特定種類の物体とは、予め登録された種類の物体であり、例えば、任意の人物又は登録人物である。特定種類の物体が登録人物である場合、対象入力画像の画像データに基づく顔認証処理によって特定物体領域の検出が可能である。顔認証処理では、対象入力画像上に人物の顔が存在する場合、その顔が登録人物の顔であるのか否かを峻別することができる。特定物体領域の検出方法として、公知の検出方法を含む任意の検出方法を利用することができる。例えば、対象入力画像から人物の顔を検出する顔検出処理、顔検出処理の結果を利用しつつ人物全体の画像データが存在する画像領域を他の画像領域と区別する領域分割処理を用いれば、特定物体領域を検出可能である。
【００７４】
ステップＳ３２において、領域設定部５１は、ステップＳ３１で検出した特定物体領域に基づき切り出し領域を設定する。特定物体領域に基づく切り出し領域の設定方法は、上述した動物体領域に基づく切り出し領域の設定方法と同様である。即ち例えば、入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］から抽出された複数の対象入力画像が図１１の画像３４１〜３４３である場合において、対象入力画像３４１〜３４３から領域３６１〜３６３が特定物体領域として検出されたならば、領域設定部５１は、図１２（ａ）等に示される領域４０１、４１１、４２１、４３１又は４４１を切り出し領域として設定することができる。
【００７５】
尚、合成モード利用時に注目される特定種類の物体は動物体であることが通常であるため、特定物体領域を動物体領域として捉えることも可能である。以下では、説明の便宜上、特定物体領域も動物体領域の一種であると捉えると共に対象入力画像３４１〜３４３から検出された特定物体領域は夫々動物体領域３６１〜３６３と一致しているものとする。また、以下では、特に記述なき限り、切り出し領域が矩形領域であるものとする。
【００７６】
［Ｓ１６：切り出し処理］
図４のステップＳ１６における切り出し処理を説明する。切り出し処理では、上述の如くして求められた切り出し領域を夫々の対象入力画像に設定し、各対象入力画像から切り出し領域内の画像を切り出し画像として抽出する。
【００７７】
対象入力画像上における切り出し領域の位置、大きさ及び形状は、原則として、全対象入力画像において共通である。但し、対象入力画像上における切り出し領域の位置は、異なる対象入力画像間で互いに異なっていても良い。対象入力画像上における切り出し領域の位置とは、対象入力画像上における切り出し領域の中心位置又は重心位置を指す。切り出し領域の大きさとは、水平及び垂直方向における切り出し領域の大きさである。
【００７８】
入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］から抽出された複数の対象入力画像に図１１の画像３４１〜３４３が含まれていると共に対象入力画像３４１が合成開始フレームであることを想定し、ステップＳ１６の切り出し処理をより具体的に説明する。この想定下において、切り出し処理部５２は、図１４（ａ）に示す如く、対象入力画像３４１、３４２及び３４３に夫々切り出し領域４７１、４７２及び４７３を設定し、切り出し領域４７１内の画像、切り出し領域４７２内の画像及び切り出し領域４７３内の画像を、３枚の切り出し画像として抽出する。切り出し領域４７１〜４７３は同じ切り出し領域であるので、対象入力画３４１上における切り出し領域４７１の大きさ及び形状と、対象入力画３４２上における切り出し領域４７２の大きさ及び形状と、対象入力画３４３上における切り出し領域４７３の大きさ及び形状は、同じである。
【００７９】
図１４（ａ）において、点４７１Ｃ、４７２Ｃ、４７３Ｃは、夫々、対象入力画像３４１上における切り出し領域４７１の中心位置又は重心位置、対象入力画像３４２上における切り出し領域４７２の中心位置又は重心位置、対象入力画像３４３上における切り出し領域４７３の中心位置又は重心位置を表している。位置４７１Ｃは、対象入力画像３４１上における動物体領域３６１の中心位置又は重心位置、即ち、図１１の位置３６１Ｃと一致する。そして、基本的には、位置４７２Ｃ及び４７３Ｃは、位置４７１Ｃと同じとされる。従って、図１４（ｂ）に示す如く、対象入力画３４１上の画素位置（ｘ，ｙ）と対象入力画３４２上の画素位置（ｘ，ｙ）とが重なり合うように対象入力画３４１及び３４２を共通の画像区間ＸＹに配置したとき、切り出し領域４７１及び４７２は完全に互いに重なり合う。切り出し領域４７１及び４７３についても同様である。
【００８０】
但し、図１４（ａ）の位置４７２Ｃ及び４７３Ｃを、夫々、図１１の位置３６２Ｃ及び３６３Ｃと一致させるようにしても良い。この場合、位置４７１Ｃ、４７２Ｃ及び４７３Ｃは互いに異なりうる。
【００８１】
［Ｓ１７：合成処理］
図４のステップＳ１７における合成処理を説明する。合成処理では、複数の切り出し画像が互いに重なり合わないように複数の切り出し画像を水平又は垂直方向に並べて結合し、この結合によって得られた画像を出力合成画像として生成する。水平方向（即ち、図２のＸ軸方向）に並べられる切り出し画像の枚数及び垂直方向（即ち、図２のＹ軸方向）に並べられる切り出し画像の枚数を、夫々、ＨＮＵＭ及びＶＮＵＭにて表す。切り出し画像の枚数と一致する上述の合成枚数ＣＮＵＭは、ＨＮＵＭとＶＮＵＭの積である。
【００８２】
図１５（ａ）の画像５００は、ＣＮＵＭ＝１０、ＨＮＵＭ＝５且つＶＮＵＭ＝２であるときの出力合成画像の例である。図１５（ｂ）には、出力合成画像５００の具体例が示されている。出力合成画像５００が生成される場合、第１〜第１０の対象入力画像から第１〜第１０の切り出し画像が生成される。第ｉの切り出し画像は第ｉの対象入力画像から抽出される。第（ｉ＋１）の対象入力画像の撮影時刻は、第ｉの対象入力画像のそれよりも遅い。出力合成画像５００において、画像領域５００［１］〜５００［５］は、この順番で左から右に向かって連続的に配置され、画像領域５００［６］〜５００［１０］も、この順番で左から右に向かって連続的に配置される（左右の定義については図２参照）。ｉ＝１、２、３、４又は５において、画像領域５００［ｉ］と５００［ｉ＋５］は垂直方向に互いに隣接している。ｉ及びｊが互いに異なる整数である場合、画像領域５００［ｉ］及び５００［ｊ］は互いに重なり合わない。出力合成画像５００の画像領域５００［１］〜５００［１０］には、夫々、第１〜第１０の切り出し画像が配置される。従って、出力合成画像５００は、第１〜第１０の切り出し画像を水平又は垂直方向に並べて結合した合成結果画像である。
【００８３】
図１５（ａ）に示すような、出力合成画像上における切り出し画像の並べ方は一例であり、図３の画像合成部５３は、切り出し画像の並べ方を、合成枚数ＣＮＵＭや出力合成画像のアスペクト比又は画像サイズ等に応じて決定することができる。撮像装置１において、出力合成画像のアスペクト比又は画像サイズを予め設定しておくことができる。
【００８４】
出力合成画像のアスペクト比に応じて切り出し画像の並べ方を決定する方法（即ち出力合成画像のアスペクト比を固定した状態で切り出し画像の並べ方を決定する方法）を説明する。出力合成画像のアスペクト比とは、出力合成画像の水平方向における画素数と出力合成画像の垂直方向における画素数との比を指す。今、出力合成画像のアスペクト比が４：３であるとする。即ち、出力合成画像の水平方向における画素数は、出力合成画像の垂直方向における画素数の４／３倍であるとする。また、図４のステップＳ１５にて設定された切り出し領域の水平及び垂直方向における画素数を夫々ＨＣＵＴＳＩＺＥ及びＶＣＵＴＳＩＺＥにて表す。そうすると、画像合成部５３は、下記（１）に従って枚数ＨＮＵＭ及びＶＮＵＭを求めることができる。
（ＨＮＵＭ×ＨＣＵＴＳＩＺＥ）：（ＶＮＵＭ×ＶＣＵＴＳＩＺＥ）＝４：３ ・・・（１）
【００８５】
例えば、（ＨＣＵＴＳＩＺＥ，ＶＣＵＴＳＩＺＥ）＝（１２８：２４０）であるとき、式（１）からＨＮＵＭ：ＶＮＵＭ＝５：２となる。この場合において、仮にＣＮＵＭ＝ＨＮＵＭ×ＶＮＵＭ＝１０ならばＨＮＵＭ＝５且つＶＮＵＭ＝２となって図１５（ａ）の出力合成画像５００が生成され、仮にＣＮＵＭ＝ＨＮＵＭ×ＶＮＵＭ＝４０ならばＨＮＵＭ＝１０且つＶＮＵＭ＝４となって、切り出し画像を水平方向に１０枚ずつ且つ垂直方向に４枚ずつ並べた出力合成画像が生成される。出力合成画像のアスペクト比に応じて切り出し画像の並べ方を決定する場合、出力合成画像の画像サイズは様々に変化しうる。
【００８６】
出力合成画像の画像サイズに応じて切り出し画像の並べ方を決定する方法（即ち出力合成画像の画像サイズを固定した状態で切り出し画像の並べ方を決定する方法）を説明する。出力合成画像の画像サイズは、出力合成画像の水平方向における画素数ＨＯＳＩＺＥ及び出力合成画像の垂直方向における画素数ＶＯＳＩＺＥによって表現される。画像合成部５３は、下記（２）及び（３）に従って枚数ＨＮＵＭ及びＶＮＵＭを求めることができる。
ＨＮＵＭ＝ＨＯＳＩＺＥ／ＨＣＵＴＳＩＺＥ ・・・（２）
ＶＮＵＭ＝ＶＯＳＩＺＥ／ＶＣＵＴＳＩＺＥ ・・・（３）
【００８７】
例えば、ＣＮＵＭ＝ＨＮＵＭ×ＶＮＵＭ＝１０、（ＨＯＳＩＺＥ，ＶＯＳＩＺＥ）＝（６４０，４８０）且つ（ＨＣＵＴＳＩＺＥ，ＶＣＵＴＳＩＺＥ）＝（１２８，２４０）である場合、ＨＯＳＩＺＥ／ＨＣＵＴＳＩＺＥ＝６４０／１２８＝５、ＶＯＳＩＺＥ／ＶＣＵＴＳＩＺＥ＝４８０／２４０＝２より、ＨＮＵＭ＝５且つＶＮＵＭ＝２となって図１５（ａ）の出力合成画像５００が生成される。
【００８８】
仮に式（２）及び（３）の右辺が整数以外の実数になる場合には、式（２）の右辺を四捨五入して得た整数値ＨＩＮＴ及び式（３）の右辺を四捨五入して得た整数値ＶＩＮＴを夫々ＨＮＵＭ及びＶＮＵＭに代入し、“ＨＩＮＴ＝ＨＯＳＩＺＥ／ＨＣＵＴＳＩＺＥ”且つ“ＶＩＮＴ＝ＶＯＳＩＺＥ／ＶＣＵＴＳＩＺＥ”が満たされるように、切り出し領域を再設定するようにしても良い（即ち、一旦設定した切り出し領域を拡大又は縮小するようにしても良い）。例えば、ＣＮＵＭ＝ＨＮＵＭ×ＶＮＵＭ＝１０、（ＨＯＳＩＺＥ，ＶＯＳＩＺＥ）＝（６４０，４８０）であって、且つ、一旦設定された切り出し領域について（ＨＣＵＴＳＩＺＥ，ＶＣＵＴＳＩＺＥ）＝（１３０，２３５）が満たされる場合、式（２）及び（３）の右辺は、夫々、約４．９２及び約２．０４となる。この場合、ＨＩＮＴ＝５をＨＮＵＭに代入すると共にＶＩＮＴ＝２をＶＮＵＭに代入し、“ＨＩＮＴ＝ＨＯＳＩＺＥ／ＨＣＵＴＳＩＺＥ”且つ“ＶＩＮＴ＝ＶＯＳＩＺＥ／ＶＣＵＴＳＩＺＥ”が満たされるように、切り出し領域を再設定する。この結果、再設定された切り出し領域の水平及び垂直方向における画素数は夫々１２８及び２４０となる。切り出し領域の再設定が成された場合、再設定された切り出し領域を用いて切り出し画像が生成されて出力合成画像が生成される。
【００８９】
尚、図４のフローチャートでは、ステップＳ１５及びＳ１６にて切り出し領域の設定処理及び切り出し処理を実行した後に、ステップＳ１７において切り出し画像の並べ方の決定処理を含む合成処理を実行しているが、切り出し領域が再設定されうることを考慮し、切り出し画像の並べ方の決定処理を成した後に実際の切り出し処理を実行するようにしても良い。また、ＨＮＵＭ及びＶＮＵＭの値は合成条件の一種であり、ＨＮＵＭ及びＶＮＵＭの値をユーザの指定に従って設定しても良い（図４のステップＳ１４参照）。
【００９０】
［合成枚数の増減］
ユーザは、自身が一旦指定した合成枚数ＣＮＵＭ又は撮像装置１側で自動的に設定した合成枚数ＣＮＵＭの変更を指示することができる。ユーザは、合成枚数ＣＮＵＭの変更指示を、任意のタイミングで成すことができる。例えば、ＣＮＵＭ＝１０の状態の出力合成画像が生成及び表示された後に、ユーザが、ＣＮＵＭ＝２０の状態の出力合成画像の生成及び表示を希望する場合、ユーザは操作部２６に対する所定操作によって合成枚数ＣＮＵＭを１０から２０に増大させることができる。逆に、ユーザは、合成枚数ＣＮＵＭの減少を指示することもできる。
【００９１】
合成枚数ＣＮＵＭの第１増減方法を説明する。図１６は、合成枚数ＣＮＵＭの増大が指示された場合における第１増減方法の処理イメージ図である。図７に示す如く合成対象期間が時刻ｔｎから時刻ｔｎ＋ｍまでの期間である場合においてユーザにより合成枚数ＣＮＵＭの増大指示が成されたとき、第１増減方法に係る画像処理部５０は、合成対象期間を時刻ｔｎから時刻ｔｎ＋ｍまでの期間に維持したまま増大指示前のサンプリング間隔を基準にしてサンプリング間隔を減少させ、これによって対象入力画像の枚数（即ち合成枚数ＣＮＵＭ）を増大させる。逆に、図７に示す如く合成対象期間が時刻ｔｎから時刻ｔｎ＋ｍまでの期間である場合においてユーザにより合成枚数ＣＮＵＭの減少指示が成されたとき、第１増減方法に係る画像処理部５０は、合成対象期間を時刻ｔｎから時刻ｔｎ＋ｍまでの期間に維持したまま減少指示前のサンプリング間隔を基準にしてサンプリング間隔を増大させ、これによって対象入力画像の枚数（即ち合成枚数ＣＮＵＭ）を減少させる。ユーザによって指定された増大指示後又は減少指示後の合成枚数ＣＮＵＭに基づき、増大指示後又は減少指示後のサンプリング間隔の具体的数値は決定される。
【００９２】
合成枚数ＣＮＵＭの第２増減方法を説明する。図１７は、合成枚数ＣＮＵＭの増大が指示された場合における第２増減方法の処理イメージ図である。図７に示す如く合成対象期間が時刻ｔｎから時刻ｔｎ＋ｍまでの期間である場合においてユーザにより合成枚数ＣＮＵＭの増大指示が成されたとき、第２増減方法に係る画像処理部５０は、合成対象期間の開始時刻を時刻ｔｎよりも早い時刻に修正する若しくは合成対象期間の終了時刻を時刻ｔｎ＋ｍよりも遅い時刻に修正する又はそれらの双方の修正を行うことで合成対象期間を増大させ、これによって対象入力画像の枚数（即ち合成枚数ＣＮＵＭ）を増大させる。逆に、図７に示す如く合成対象期間が時刻ｔｎから時刻ｔｎ＋ｍまでの期間である場合においてユーザにより合成枚数ＣＮＵＭの減少指示が成されたとき、第２増減方法に係る画像処理部５０は、合成対象期間の開始時刻を時刻ｔｎよりも遅い時刻に修正する若しくは合成対象期間の終了時刻を時刻ｔｎ＋ｍよりも早い時刻に修正する又はそれらの双方の修正を行うことで合成対象期間を減少させ、これによって対象入力画像の枚数（即ち合成枚数ＣＮＵＭ）を減少させる。ユーザによって指定された増大指示後又は減少指示後の合成枚数ＣＮＵＭに基づき、合成対象期間の開始時刻及び終了時刻の修正量は決定される。
【００９３】
第２増減方法では、サンプリング間隔は変更されない。但し、第１及び第２増減方法を組み合わせることも可能である。即ち例えば、ユーザにより合成枚数ＣＮＵＭの増大指示が成されたとき、第１増減方法に係るサンプリング間隔の減少と第２増減方法に係る合成対象期間の増大とを同時に実行するようにしても良いし、ユーザにより合成枚数ＣＮＵＭの減少指示が成されたとき、第１増減方法に係るサンプリング間隔の増大と第２増減方法に係る合成対象期間の減少とを同時に実行するようにしても良い。
【００９４】
上述の如く、本実施形態では、動物体についての切り出し画像を水平又は垂直方向に並べて結合することで出力合成画像を生成している。このため、動物体がゴルフクラブをスイングする人物である場合など、動画像上において動物体の位置が殆ど変化しない場合においても、異なる時刻の動物体が出力合成画像上で重なり合わない。結果、図２６に示すようなストロボ画像よりも、動物体の運動の様子を確認し易くなる。加えて、動画像を形成するフレームそのものではなく、動物体部分の切り出し画像を用いて出力合成画像を生成しているため、出力合成画像上において動物体が比較的大きく映し出される。結果、図２７に示すような方法よりも、動物体の運動の様子を確認し易くなる。
【００９５】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２及び後述の第３実施形態は、第１実施形態を基礎とする実施形態であり、第２及び第３実施形態において特に述べない事項に関しては、矛盾なき限り、第１実施形態の記載が第２及び第３実施形態にも適用される。第１実施形態で述べた複数の合成モードに、シンクロ合成モードとも呼ぶことができる第２合成モードを含めることができる。第２実施形態では、以下、第２合成モードにおける撮像装置１の動作を説明する。
【００９６】
第２合成モードでは、出力合成画像の生成に複数の入力画像列が利用される。ここでは、説明の具体化のため、２つの入力画像列を利用する方法を説明する。図１８は、第２合成モードにおいて出力合成画像が生成されるときの処理の流れを示している。ユーザは、外部メモリ１８に記録されている動画像の中から任意の２つの動画像を選択することができ、選択された２つの動画像が第１及び第２の入力画像列５５１及び５５２として画像処理部５０に供給される。通常、入力画像列５５１及び５５２は互いに異なる。
【００９７】
画像処理部５０において、入力画像列５５１及び５５２に対し個別に図４のステップＳ１２〜Ｓ１７の処理が実行される。入力画像列５５１に対するステップＳ１２〜Ｓ１７の処理内容は第１実施形態で述べたものと同様であり、入力画像列５５２に対するステップＳ１２〜Ｓ１７の処理内容も第１実施形態で述べたものと同様である。入力画像列５５１に対するステップ１２〜Ｓ１７の処理により生成される出力合成画像を中間合成画像（合成結果画像）５６１と呼び、入力画像列５５２に対するステップ１２〜Ｓ１７の処理により生成される出力合成画像を中間合成画像（合成結果画像）５６２と呼ぶ。
【００９８】
中間合成画像５６１及び５６２の夫々において、ＨＮＵＭ（水平方向に並べられる切り出し画像の枚数）は２以上とされ、ＶＮＵＭ（垂直方向に並べられる切り出し画像の枚数）は１とされる。即ち、中間合成画像５６１は、入力画像列５５１に基づく複数の切り出し画像を水平方向に並べて結合することにより生成され、中間合成画像５６２は、入力画像列５５２に基づく複数の切り出し画像を水平方向に並べて結合することにより生成される。基本的に、サンプリング間隔及び合成枚数ＣＮＵＭは、入力画像列５５１及び５５２間で同じとされるが、それらを入力画像列５５１及び５５２間で異ならせることも可能である。図１８に示す例では、中間合成画像５６１及び５６２の夫々において、ＨＮＵＭ＝１０且つＶＮＵＭ＝１に設定されている。尚、各入力画像に設定される切り出し領域の大きさを、入力画像列５５１及び５５２間で同じにしておくことが望ましい。切り出し領域の大きさが入力画像列５５１及び５５２間で異なる場合には、切り出し領域内の画像データから切り出し画像を生成する際に解像度変換を実行することにより、入力画像列５５１に基づく切り出し画像の画像サイズと入力画像列５５２に基づく切り出し画像の画像サイズとを一致させることもできる。
【００９９】
図３の画像合成部５３は、中間合成画像（合成結果画像）５６１及び５６２を垂直方向に並べて結合することにより、最終的な出力合成画像５７０を生成する。出力合成画像５７０の全体画像領域を水平方向に沿って２分割することにより第１及び第２画像領域が設定され、出力合成画像５７０の第１及び第２画像領域に夫々中間合成画像５６１及び５６２が配置される。尚、中間合成画像５６１及び５６２を生成することなく、入力画像列５５１及び５５２に基づく複数の切り出し画像から出力合成画像５７０を直接生成するようにしても良い。
【０１００】
出力合成画像５７０を表示部２７の表示画面上に表示することができ、これによって表示画面の鑑賞者は、入力画像列５５１上の動物体の運動の様子と入力画像列５５２上の動物体の運動の様子とを容易に比較することが可能となる。例えば、前者及び後者の動物体間のゴルフスイングフォームを詳細に比較することが可能となる。
【０１０１】
出力合成画像５７０を表示する際、必要に応じて解像度変換などを利用し、出力合成画像５７０の全体を一度に表示させることも可能であるが、以下のようなスクロール表示を成すこともできる。例えば、図１の表示処理部２０がスクロール表示の実行を担う。スクロール表示では、図１９に示す如く、出力合成画像５７０内に抽出枠５８０を設定し、出力合成画像５７０から抽出枠５８０内の画像をスクロール用画像として抽出する。水平方向において抽出枠５８０は出力合成画像５７０よりも小さいため、スクロール用画像は出力合成画像５７０の一部である。垂直方向における抽出枠５８０の大きさを出力合成画像５７０のそれと同じにしておくことができる。
【０１０２】
抽出枠５８０の左端を出力合成画像５７０の左端に一致させた状態を起点として、抽出枠５８０の右端が出力合成画像５７０の右端と一致するまで、抽出枠５８０の位置を一定間隔で順次移動させ、移動の度にスクロール用画像を抽出する。スクロール表示では、これによって得られる複数のスクロール用画像を時系列順に並べて動画像５８５として表示部２７に表示させる（図２０参照）。切り出し画像の枚数にも依存するが、出力合成画像５７０の全体を一度に表示しようとすると、動物体の表示サイズが小さくなりすぎることがある。上述のようなスクロール表示を利用すれば、切り出し画像の枚数が多くても、動物体の表示サイズが小さくなりすぎることが回避される。また、時系列上に並べられた複数のスクロール用画像を動画像５８５として外部メモリ１８に記録することも可能である。
【０１０３】
尚、上述の例では、入力画像列５５１に基づく中間合成画像と入力画像列５５２に基づく中間合成画像を垂直方向に並べて結合しているが、入力画像列５５１に基づく中間合成画像と入力画像列５５２に基づく中間合成画像を水平方向に並べて結合しても良い。この場合、入力画像列５５１に基づく複数の切り出し画像を垂直方向に並べて結合することにより得た中間合成画像と、入力画像列５５２に基づく複数の切り出し画像を垂直方向に並べて結合することにより得た中間合成画像とを水平方向に並べて結合し、この結合によって最終的な出力合成画像を得ると良い。
【０１０４】
また、３以上の入力画像列を用いて出力合成画像を得ても良い。即ち、３以上の入力画像列を画像処理部５０に供給し、入力画像列ごとに得た中間合成画像を水平又は垂直方向に並べて結合することで最終的な出力合成画像を得ても良い。
【０１０５】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。上述の第１又は第２実施形態における入力画像を撮影によって得る際、いわゆる光学式手ぶれ補正又は電子式手ぶれ補正を撮像装置１において実行しても良い。第３実施形態では、入力画像を撮影によって得る際、電子式手ぶれ補正が撮像装置１において実行されることを想定し、電子式手ぶれ補正と連動した切り出し領域の設定方法を説明する。
【０１０６】
まず、図２１（ａ）及び（ｂ）を参照して、撮像装置１において実行される電子式手ぶれ補正について説明する。図２１（ａ）等において、符号６００が付された実線矩形枠内の領域は撮像素子３３の有効画素領域を表している。尚、領域６００は、撮像素子３３の有効画素領域における各画素信号が配列された、内部メモリ１７上のメモリ空間であると考えても良い。以下では、領域６００が撮像素子３３の有効画素領域であると考える。
【０１０７】
有効画素領域６００には、有効画素領域６００よりも小さな矩形の抽出枠６０１が設定され、抽出枠６０１内に属する各画素信号を読み出すことで入力画像が生成される。即ち、抽出枠６０１内の画像が入力画像である。以下の説明において、抽出枠６０１の位置及び移動とは、有効画素領域６００上における抽出枠６０１の中心位置及び移動を指す。
【０１０８】
図２２には、撮像装置１に設けておくことのできる装置動き検出部６１及びぶれ補正部６２が示されている。装置動き検出部６１は、公知の方法によって、撮像素子３３の出力信号から撮像装置１の動きを検出する。或いは、撮像装置１の筐体の角加速度又は加速度を検出するセンサを用いて撮像装置１の動きを検出しても良い。撮像装置１の動きは、例えば、撮像装置１の筐体を保持する人間の手のぶれによって生じる。撮像装置１の動きは、撮像素子３３の動きでもある。
【０１０９】
時刻ｔｎ及びｔｎ＋１間において撮像装置１が動くと実空間上において注目被写体が静止していても、注目被写体は撮像素子３３及び有効画素領域６００上において移動する。即ち、撮像素子３３及び有効画素領域６００上における注目被写体の位置は、時刻ｔｎ及びｔｎ＋１間において移動する。この場合において仮に抽出枠６０１の位置が固定されていたならば、入力画像Ｆ［ｎ＋１］上における注目被写体の位置が入力画像Ｆ［ｎ］上における注目被写体の位置から変化し、入力画像Ｆ［ｎ］及びＦ［ｎ＋１］から成る入力画像列上で注目被写体が移動したように見える。このような移動、即ち、撮像装置１の動きによって生じる、入力画像間における注目被写体の位置変化を、フレーム間ぶれと呼ぶ。
【０１１０】
装置動き検出部６１による撮像装置１の動きの検出結果を、装置動き検出結果とも呼ぶ。図２２のぶれ補正部６２は、装置動き検出結果に基づきフレーム間ぶれを低減する。フレーム間ぶれの低減には、フレーム間ぶれの完全なる消失も含まれる。撮像装置１の動きの検出によって、撮像装置１の動きの向き及び大きさを表す装置動きベクトルが求められる。ぶれ補正部６２は、装置動きベクトルに基づき、フレーム間ぶれが低減するように抽出枠６０１を移動させる。図２１（ｂ）におけるベクトル６０５は、時刻ｔｎ及びｔｎ＋１間における装置動きベクトルの逆ベクトルであり、入力画像Ｆ［ｎ］及びＦ［ｎ＋１］についてのフレーム間ぶれを低減するべく、抽出枠６０１がベクトル６０５に従って移動せしめられる。
【０１１１】
抽出枠６０１内の領域をぶれ補正用領域と呼ぶこともできる。撮像素子３３の有効画素領域６００上に結像する全体像（全体の光学像）の内、抽出枠６０１内の画像（即ち、ぶれ補正用領域内の画像）が入力画像に相当する。ぶれ補正部６２は、装置動きベクトルに基づいて入力画像Ｆ［ｎ］及びＦ［ｎ＋１］を得る際の抽出枠６０１の位置を設定することにより、入力画像Ｆ［ｎ］及びＦ［ｎ＋１］についてのフレーム間ぶれを低減する。他の入力画像間についてのフレーム間ぶれも同様である。
【０１１２】
上述のようなフレーム間ぶれの低減が成された上で入力画像列３２０（図５）が生成されたことを想定し、図３の画像処理部５０の動作を説明する。入力画像列３２０のフレーム間ぶれを低減するために利用された、入力画像列３２０の撮影期間中における装置動き検出結果を、入力画像列３２０の画像データに関連付けて外部メモリ１８に記録しておくと良い。例えば、入力画像列３２０の画像データを画像ファイルに格納した上で外部メモリ１８に記録する際、その画像ファイルのヘッダ領域に、入力画像列３２０の撮影期間中における装置動き検出結果を格納しておくと良い。
【０１１３】
図３の領域設定部５１は、外部メモリ１８から読み出した装置動き検出結果に基づき、切り出し領域を設定することができる。今、図２３（ａ）〜（ｄ）及び図２４を参照しつつ、入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］から抽出された複数の対象入力画像が画像６２１〜６２３であることを想定して、切り出し領域の設定方法を説明する。図２３（ａ）〜（ｃ）において、斜線で満たされた矩形領域６３１、６３２及び６３３は、夫々、対象入力画像６２１、６２２及び６２３の画像データを取得する際に設定された抽出枠６０１内の領域（ぶれ補正用領域）である。図２３（ｄ）の斜線領域６４０は、有効画素領域６００において矩形領域６３１〜６３３が互いに重なり合う重なり領域を表している。領域設定部５１は、外部メモリ１８から読み出した装置動き検出結果に基づき、有効画素領域６００上における矩形領域６３１、６３２及び６３３の位置関係を認識することができると共に重なり領域６４０の位置及び大きさを検出することもできる。
【０１１４】
領域設定部５１は、矩形領域６３１、６３２及び６３３内における重なり領域６４０の位置に、夫々、入力画像６２１、６２２及び６２３内の切り出し領域を設定する。即ち、図２４に示す如く、入力画像６２１上における重なり領域（斜線領域）６４０を入力画像６２１上における切り出し領域に設定し、入力画像６２２上における重なり領域（斜線領域）６４０を入力画像６２２上における切り出し領域に設定し、入力画像６２３上における重なり領域（斜線領域）６４０を入力画像６２３上における切り出し領域に設定する。切り出し処理部５２は、入力画像６２１における切り出し領域内の画像を入力画像６２１に基づく切り出し画像として抽出し、入力画像６２２における切り出し領域内の画像を入力画像６２２に基づく切り出し画像として抽出し、入力画像６２３における切り出し領域内の画像を入力画像６２３に基づく切り出し画像として抽出する。これによって得られた複数の切り出し画像から出力合成画像を生成する方法は、第１又は第２実施形態で述べたものと同様である。
【０１１５】
撮影者は、切り出し画像内に収められるべき注目動物体に注意を払いながら撮影方向の調整などを行うため、手ぶれ等によって撮影範囲が変動したとしても、少なくとも注目動物体は撮影範囲内に収め続けられることが通常であり、結果、各対象入力画像の重なり領域６４０には注目動物体の画像データが存在している可能性が高い。そこで、第３実施形態では、重なり領域６４０を切り出し領域に設定し、各対象入力画像の切り出し領域から得た切り出し画像を水平又は垂直方向に並べて結合することで出力合成画像を生成している。このため、第１実施形態と同様の効果が得られる。即ち、異なる時刻の動物体が出力合成画像上で重なり合わないため、図２６に示すようなストロボ画像よりも、動物体の運動の様子を確認し易くなる。加えて、出力合成画像上において動物体が比較的大きく映し出されるため、動画像の各フレームをそのままマルチ表示する図２７の方法よりも、動物体の運動の様子を確認し易くなる。
【０１１６】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１７】
［注釈１］
第１及び第２実施形態に係る第１及び第２合成モード以外の合成モードを実現できるように画像処理部５０を形成しておいても良い。
【０１１８】
［注釈２］
図３の画像処理部５０は撮像装置１以外の電子機器（不図示）に設けられていても良く、その電子機器上において第１又は第２実施形態にて説明した各動作を実現させても良い。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置１も、電子機器の一種である。
【０１１９】
［注釈３］
図１の撮像装置１及び上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１及び電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。特に、画像処理部５０にて実現される機能の全部又は一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部又は一部を実現するようにしてもよい。
【符号の説明】
【０１２０】
１ 撮像装置
３３ 撮像素子
５１ 領域設定部
５２ 切り出し処理部
５３ 画像合成部
６１ 装置動き検出部
６２ ぶれ補正部
【技術分野】
【０００１】
本発明は、画像処理を行う画像処理装置、画像処理方法及びプログラムに関する。また、本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
図２５に示すような動画像９００の各フレームから運動している対象物体を切り出し、切り出した対象物体の画像を背景画像に順番に重ね書きすることによリ、図２６に示すような画像を作成する方法が提案されている。このような画像は、ストロボ画像（strobe light image）とも呼ばれ、スポーツのフォームチェック用途などにも利用される。図２６では、対象物体としての人物がゴルフクラブをスイングする様子がストロボ画像として示されている。図２６及び後述の図２７において、斜線部分はストロボ画像等を表示する表示装置の筐体部分を表している。
【０００３】
また、図２７に示す如く、表示画面を複数の表示領域に分割し、動画像を形成する複数のフレームを複数の分割表示領域を用いてマルチ表示する方法も提案されている（例えば下記特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４６０６８８号公報
【特許文献２】特許第３５３５７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
対象物体がゴルフクラブをスイングする人物である場合など、動画像上において対象物体の位置が殆ど変化しない場合においては、図２６に示す如く、異なる時刻の対象物体がストロボ画像上で重なり合うため、対象物体の運動の様子を確認しづらくなる。
【０００６】
図２７に示すようなマルチ表示方法によれば、このような対象物体の重なりは発生しなくなるが、個々の対象物体の表示サイズが小さくなるため、結果、図２７の方法によっても対象物体の運動の様子を確認しづらくなる。
【０００７】
そこで本発明は、注目物体の運動の様子確認の容易化に寄与する画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、複数の入力画像から成る入力画像列の画像データに基づいて各入力画像上の画像領域である切り出し領域を設定する領域設定部と、前記複数の入力画像に含まれる複数の対象入力画像の夫々から、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理部と、抽出された複数の切り出し画像を並べて結合する画像合成部と、を備えたことを特徴とする。
【０００９】
複数の切り出し画像が並べて結合されるように画像合成部を形成しておけば、切り出し領域に収められるべき注目物体の位置が入力画像列上で殆ど変化しない場合においても、異なる時刻の注目物体が合成結果画像上で重なり合わない。結果、例えば、図２６に示すようなストロボ画像よりも、注目物体の運動の様子を確認し易くなることが期待される。加えて、入力画像同士をそのまま結合するのではなく、切り出し画像を結合するようにすれば、合成結果画像上において注目物体が比較的大きく映し出される。結果、図２７に示すような方法よりも、注目物体の運動の様子を確認し易くなることが期待される。
【００１０】
即ち例えば、前記画像合成部は、前記複数の切り出し画像を結合する際、前記複数の切り出し画像が互いに重なり合わないように前記複数の切り出し画像を並べるとよい。
【００１１】
また例えば、前記複数の対象入力画像は第１及び第２の対象入力画像を含み、前記第１の対象入力画像上における前記切り出し領域と前記第２の対象入力画像上における前記切り出し領域とは互いに重なり合い、前記画像合成部は、前記複数の切り出し画像を結合する際、前記第１の対象入力画像に基づく切り出し画像と前記第２の対象入力画像に基づく切り出し画像とが互いに重なり合わないように前記複数の切り出し画像を並べるとよい。
【００１２】
また具体的は例えば、前記領域設定部は、前記入力画像列の画像データに基づいて動物体又は特定種類の物体が存在する画像領域を検出し、検出した画像領域に基づいて前記切り出し領域を設定してもよい。
【００１３】
また具体的は例えば、前記複数の切り出し画像を並べて結合することにより合成結果画像が生成され、前記画像合成部は、前記合成結果画像に対して定められたアスペクト比又は画像サイズに基づき、前記複数の切り出し画像の並べ方を決定してもよい。
【００１４】
また例えば、記入力画像列として互いに異なる複数の入力画像列が当該画像処理装置に与えられ、前記領域設定部は、前記入力画像列ごとに前記切り出し領域を設定し、前記切り出し処理部は、前記入力画像列ごとに前記切り出し画像を抽出し、前記画像合成部は、前記入力画像列ごとに前記結合を行うことで得られる前記複数の入力画像列に対する複数の合成結果画像を、更に所定方向に並べて結合してもよい。
【００１５】
これにより例えば、第１入力画像列における注目物体と第２入力画像列における注目物体との間で運動の様子を詳細に比較するといったことが可能となる。
【００１６】
本発明に係る撮像装置は、撮像素子を用いた順次撮影の結果から複数の入力画像から成る入力画像列を取得する撮像装置において、当該撮像装置の動きの検出結果に基づき、前記動きに基づく前記入力画像間における被写体のぶれを低減するぶれ補正部と、前記動きの検出結果に基づき、各入力画像上の画像領域である切り出し領域を設定する領域設定部と、前記複数の入力画像に含まれる複数の対象入力画像の夫々から、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理部と、抽出された複数の切り出し画像を並べて結合する画像合成部と、を備えたことを特徴とする。
【００１７】
複数の切り出し画像が並べて結合されるように画像合成部を形成しておけば、切り出し領域に収められるべき注目物体の位置が入力画像列上で殆ど変化しない場合においても、異なる時刻の注目物体が合成結果画像上で重なり合わない。結果、例えば、図２６に示すようなストロボ画像よりも、注目物体の運動の様子を確認し易くなることが期待される。加えて、入力画像同士をそのまま結合するのではなく、切り出し画像を結合するようにすれば、合成結果画像上において注目物体が比較的大きく映し出される。結果、図２７に示すような方法よりも、注目物体の運動の様子を確認し易くなることが期待される。
【００１８】
具体的は例えば、前記撮像素子上に結像する全体像の内、ぶれ補正用領域内の画像が前記入力画像に相当し、前記ぶれ補正部は、前記動きの検出結果に基づき各入力画像に対する前記ぶれ補正用領域の位置を設定することにより前記ぶれを低減し、前記領域設定部は、前記複数の対象入力画像に対する複数のぶれ補正用領域の重なり領域を前記動きの検出結果に基づいて検出し、前記重なり領域から前記切り出し領域を設定しても良い。
【００１９】
このような構成によれば、重なり領域に撮影者の注目物体が収められる可能性が高くなり、結果、切り出し領域内に注目物体が収まることが期待される。
【００２０】
本発明に係る画像処理方法は、複数の入力画像から成る入力画像列の画像データに基づいて各入力画像上の画像領域である切り出し領域を設定する領域設定ステップと、前記複数の入力画像に含まれる複数の対象入力画像の夫々から、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理ステップと、抽出された複数の切り出し画像を並べて結合する画像合成ステップと、を実行することを特徴とする。
【００２１】
そして、上記の領域設定ステップ、切り出し処理ステップ及び画像合成ステップをコンピュータに実行させるためのプログラムを形成すると良い。
【発明の効果】
【００２２】
本発明によれば、注目物体の運動の様子確認の容易化に寄与する画像処理装置、撮像装置、画像処理方法及びプログラムを提供することが可能である。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に係る撮像装置の全体ブロック図である。
【図２】二次元の画像空間と二次元画像との関係を示す図である。
【図３】図１の撮像装置に設けられる画像処理部の内部ブロック図である。
【図４】本発明の第１実施形態に係る撮像装置の動作フローチャートである。
【図５】入力画像列の構成を示す図である。
【図６】合成開始フレーム及び合成終了フレーム選択時における表示画面の様子を示す図である。
【図７】合成開始フレーム、合成終了フレーム及び合成対象期間の意義を説明するための図である。
【図８】入力画像列から複数の対象入力画像が抽出される様子を示した図である。
【図９】切り出し領域の設定処理のフローチャートである。
【図１０】背景画像生成処理を説明するための図である。
【図１１】背景画像と各対象入力画像に基づき各対象入力画像から動物体領域が検出される様子を示した図である。
【図１２】検出された動物体領域の利用方法を説明するための図である。
【図１３】切り出し領域の設定処理の変形フローチャートである。
【図１４】各対象入力画像に切り出し領域が設定される様子を示した図（ａ）と、２枚の対象入力画像における２つの切り出し領域が互いに重なり合う様子を示した図（ｂ）である。
【図１５】本発明の第１実施形態に係る出力合成画像の例を示す図である。
【図１６】合成枚数を増大させる方法の処理イメージ図である。
【図１７】合成枚数を増大させる他の方法の処理イメージ図である。
【図１８】本発明の第２実施形態に係り、出力合成画像の生成処理の流れを示す図である。
【図１９】本発明の第２実施形態に係るスクロール表示を説明するための図である。
【図２０】スクロール表示を成すために生成された複数のスクロール用画像により、動画像が形成される様子を示した図である。
【図２１】本発明の第３実施形態に係る電子式手ぶれ補正を説明するための図である。
【図２２】電子式手ぶれ補正に関与する部位のブロック図である。
【図２３】電子式手ぶれ補正と連動した切り出し領域の設定方法を説明するための図である。
【図２４】図２３（ａ）〜（ｃ）の対象入力画像に対応する切り出し領域を表す図である。
【図２５】従来技術に係り、動画像の例を示す図である。
【図２６】従来のストロボ画像が表示される様子を示す図である。
【図２７】従来のマルチ表示画面を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２５】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。
【００２６】
撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３の各受光画素は、光学系及び絞りを介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。
【００２７】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００２８】
圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を互いに関連付けた状態で記録する。
【００２９】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。
【００３０】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
【００３１】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００３２】
撮影モードでは、次々と被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。
【００３３】
尚、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する（即ち例えば、圧縮された画像データを記録することを、単に、画像データを記録すると表現する）。また、本明細書では、或る画像の画像データのことを単に画像と言うこともある。また、本明細書において、単に表示又は表示画面といった場合、それは、表示部２７における表示又は表示画面を指す。
【００３４】
図２に、二次元の画像空間ＸＹを示す。画像空間ＸＹは、Ｘ軸及びＹ軸を座標軸として有する、空間領域（spatial domain）上の二次元座標系である。任意の二次元画像３００は、画像空間ＸＹ上に配置された画像であると考えることができる。Ｘ軸及びＹ軸は、夫々、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。
【００３５】
撮像装置１には、時系列上に並ぶ複数の入力画像を合成する画像合成機能が設けられている。図３に、画像合成機能を担う画像処理部（画像処理装置）５０の内部ブロック図を示す。画像処理部５０を、図１の映像信号処理部１３に含めておくことができる。或いは、映像信号処理部１３及びＣＰＵ２３によって画像処理部５０が形成されていても良い。画像処理部５０は、符号５１〜５３によって参照される各部位を備える。
【００３６】
画像処理部５０には、入力画像列の画像データが与えられる。入力画像列に代表される画像列とは、時系列上に並ぶ複数の画像の集まりを指す。従って、入力画像列は、時系列上に並ぶ複数の入力画像から成る。画像列は、動画像とも読み替えられる。例えば、入力画像列は、時系列上に並ぶ複数の入力画像を複数のフレームとして持つ動画像である。入力画像は、例えば、ＡＦＥ１２の出力信号そのものにて表現される撮影画像、又は、ＡＦＥ１２の出力信号そのものにて表現される撮影画像に対し所定の画像処理（デモザイキング処理、ノイズ低減処理など）を施して得られる画像である。外部メモリ１８に記録された任意の画像列を入力画像列として外部メモリ１８から読み出して画像処理部５０に与えることができる。例えば、被写体がゴルフクラブや野球のバットをスイングする様子を撮像装置１にて動画像として撮影して外部メモリ１８に記録した後、記録された動画像を入力画像列として画像処理部５０に与えることができる。尚、入力画像列は、外部メモリ１８以外の任意の部位から与えられても良い。例えば、撮像装置１の外部機器（不図示）から通信を介して画像処理部５０に入力画像列が与えられても良い。
【００３７】
領域設定部５１は、入力画像列の画像データに基づいて、入力画像上の画像領域である切り出し領域を設定し、切り出し領域の位置及び大きさを表す切り出し領域情報を生成及び出力する。切り出し領域情報によって表される切り出し領域の位置は、例えば、切り出し領域の中心位置又は重心位置である。切り出し領域情報によって表される切り出し領域の大きさは、例えば、水平及び垂直方向における切り出し領域の大きさである。切り出し領域が矩形以外の領域である場合、切り出し領域情報に、切り出し領域の形状をも特定できる情報が含められる。
【００３８】
切り出し処理部５２は、切り出し領域情報に基づき、入力画像から切り出し領域内の画像を切り出し画像として抽出する（換言すれば、入力画像から切り出し領域内の画像を切り出し画像として切り出す）。切り出し画像は入力画像の一部である。切り出し領域情報に基づき入力画像から切り出し画像を生成する処理を、以下、切り出し処理と呼ぶ。切り出し処理は複数の入力画像に対して実行され、これによって複数の切り出し画像が得られる。複数の入力画像と同様、複数の切り出し画像も時系列上に並んでいるため、複数の切り出し画像を切り出し画像列と呼ぶこともできる。
【００３９】
画像合成部５３は、複数の切り出し画像を合成し、合成によって得られた画像を出力合成画像として出力する。出力合成画像を表示部２７の表示画面上に表示することができ、出力合成画像の画像データを外部メモリ１８に記録することもできる。
【００４０】
画像合成機能を再生モードにて実現することができる。画像合成機能を実現するときの再生モードは、複数の合成モードに細分化される。ユーザが複数の合成モードの何れかを選択する指示を撮像装置１に与えることで、選択された合成モードにおける動作が実行される。ユーザは、操作部２６を介して任意の指示を撮像装置１に与えることができる。所謂タッチパネルが操作部２６に含まれていても良い。複数の合成モードに、マルチウィンドウ合成モードとも呼ぶことができる第１合成モードを含めることができる。第１実施形態では、以下、第１合成モードにおける撮像装置１の動作を説明する。
【００４１】
図４は、第１合成モードにおける撮像装置１の動作フローチャートである。第１合成モードでは、ステップＳ１１〜Ｓ１８の処理が順次実行される。ステップＳ１１において、ユーザによる入力画像列の選択が行われる。外部メモリ１８に記録されている動画像の中からユーザは所望の動画像を選択することができ、選択された動画像が入力画像列として画像処理部５０に供給される。尚、入力画像列としての動画像の選択を行った後に、複数の合成モードの中から第１合成モードを選択する操作が成されても良い。
【００４２】
今、画像処理部５０に供給された入力画像列が図５に示す入力画像列３２０であるとする。入力画像列３２０を形成するｉ番目のフレーム、即ち、入力画像列３２０を形成するｉ番目の入力画像を記号Ｆ［ｉ］によって表す。入力画像列３２０は、入力画像Ｆ［１］、Ｆ［２］、Ｆ［３］、・・・、Ｆ［ｎ］、Ｆ［ｎ＋１］、・・・、Ｆ［ｎ＋ｍ］、・・・を含んで形成される。ｉ、ｎ及びｍは自然数である。時刻ｔｉは入力画像Ｆ［ｉ］の撮影時刻であり、時刻ｔｉ＋１は時刻ｔｉよりも後の時刻である。従って、入力画像Ｆ［ｉ＋１］は、入力画像Ｆ［ｉ］よりも後に撮影された画像である。時刻ｔｉ及びｔｉ＋１間の時間差Δｔは、入力画像列３２０としての動画像のフレーム周期に相当する。図５からは明らかではないが、入力画像列３２０は、被写体がゴルフクラブをスイングする様子を撮影した動画像であるとする。
【００４３】
ステップＳ１２において、ユーザは操作部２６を用いて合成開始フレームを選択する。合成開始フレームの選択の際、例えば、図６（ａ）に示す如く、操作部２６に対するユーザ操作に従い、入力画像列３２０を形成する入力画像の何れかであって且つユーザが希望する入力画像を表示部２７に表示するようし、ユーザの決定操作が成された時点の表示画像を合成開始フレームとして選択すると良い。図６（ａ）において、斜線部分は表示部２７の筐体部分を表している（後述の図６（ｂ）についても同様）。
【００４４】
続くステップＳ１３において、ユーザは操作部２６を用いて合成終了フレームを選択する。合成終了フレームの選択の際、例えば、図６（ｂ）に示す如く、操作部２６に対するユーザ操作に従い、入力画像列３２０を形成する入力画像の何れかであって且つユーザが希望する入力画像を表示部２７に表示するようし、ユーザの決定操作が成された時点の表示画像を合成終了フレームとして選択すると良い。
【００４５】
合成開始フレーム及び合成終了フレームは、入力画像列３２０を形成する何れかの入力画像であって、合成終了フレームとしての入力画像は、合成開始フレームよりも後に撮影された入力画像である。今、図７に示す如く、入力画像Ｆ［ｎ］及びＦ［ｎ＋ｍ］が夫々合成開始フレーム及び合成終了フレームとして選択されたものとする。合成開始フレームの撮影時刻である時刻ｔｎから合成終了フレームの撮影時刻である時刻ｔｎ＋ｍまでの期間を、合成対象期間と呼ぶ。例えば、合成開始フレームに対応する時刻ｔｎは、被写体がゴルフクラブのスイングを開始する直前であり（図６（ａ）参照）、合成終了フレームに対応する時刻ｔｎ＋ｍは、被写体がゴルフクラブのスイングを終了した直後である（図６（ｂ）参照）。時刻ｔｎ及び時刻ｔｎ＋ｍも合成対象期間に含まれていると考える。従って、合成対象期間に属する入力画像は、入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］である。
【００４６】
合成開始フレーム及び合成終了フレームの選択後、ステップＳ１４において、ユーザは、操作部２６を用いて合成条件を指定することができる。例えば、出力合成画像を得るために合成される画像の枚数（以下、合成枚数ＣＮＵＭと呼ぶ）などを指定することができる。合成条件は予め設定されていても良く、この場合、ステップＳ１４における指定を割愛しても良い。合成条件の意義については後述の説明からより明らかとなる。ステップＳ１４の処理を、ステップＳ１２及びＳ１３の処理よりも前に実行しても構わない。
【００４７】
合成対象期間に属する入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］が全て出力合成画像の形成に寄与するとは限らない。入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］の内、出力合成画像の形成に寄与する入力画像を、特に対象入力画像と呼ぶ。対象入力画像は複数存在し、１番目の対象入力画像は入力画像Ｆ［ｎ］である。ユーザは、ステップＳ１４において、合成条件の一種であるサンプリング間隔を指定することができる。但し、サンプリング間隔は予め設定されていても良い。サンプリング間隔は、時間的に隣接する２枚の対象入力画像間の撮影時刻間隔である。例えば、サンプリング間隔が（Δｔ×ｉ）である場合（図５も参照）、入力画像Ｆ［ｎ］を基準としてサンプリング間隔（Δｔ×ｉ）にて入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］から対象入力画像がサンプリングされる（ｉは整数）。より具体的には例えば、ｍ＝８であって且つサンプリング間隔が（Δｔ×２）である場合、図８に示す如く、入力画像Ｆ［ｎ］、Ｆ［ｎ＋２］、Ｆ［ｎ＋４］、Ｆ［ｎ＋６］及びＦ［ｎ＋８］が対象入力画像として抽出される。ｍの値はステップＳ１２及びＳ１３の処理によって定まるため、サンプリング間隔が定まれば自動的に合成枚数ＣＮＵＭが定まる。
【００４８】
ｍの値と合成枚数ＣＮＵＭが定められた後、定められたｍの値と合成枚数ＣＮＵＭに基づいてサンプリング間隔及び対象入力画像が設定されても良い。例えば、ｍ＝８且つＣＮＵＭ＝５と定められたならば、サンプリング間隔がΔｔ×（ｍ／（ＣＮＵＭ−１））、即ち（Δｔ×２）に設定され、結果、入力画像Ｆ［ｎ］、Ｆ［ｎ＋２］、Ｆ［ｎ＋４］、Ｆ［ｎ＋６］及びＦ［ｎ＋８］が対象入力画像として抽出される。
【００４９】
ステップＳ１２〜Ｓ１４の処理の後、ステップＳ１５〜Ｓ１７の処理が順次実行される。即ち、ステップＳ１５において領域設定部５１により切り出し領域の設定処理が実行され、ステップＳ１６において切り出し処理部５２により切り出し処理が実行され、ステップＳ１７において画像合成部５３により合成処理が実行されることで出力合成画像が生成される（図３も参照）。ステップ１７にて生成された出力合成画像はステップＳ１８において表示部２７の表示画面上に表示される。出力合成画像の画像データを外部メモリ１８に記録することもできる。ステップＳ１５〜Ｓ１７における処理内容を詳細に説明する。
【００５０】
［Ｓ１５：切り出し領域の設定］
ステップＳ１５における切り出し領域の設定処理を説明する。図９は、切り出し領域の設定処理のフローチャートである。領域設定部５１がステップＳ２１〜Ｓ２３の処理を順次実行することで切り出し領域を設定することができる。
【００５１】
まずステップＳ２１において、領域設定部５１は、背景画像の抽出又は生成を行う。入力画像列３２０を形成する入力画像の内、合成対象期間に属さない入力画像を背景候補画像と捉え、複数の背景候補画像の内の何れかを背景画像として抽出することができる。複数の背景候補画像には、入力画像Ｆ［１］〜Ｆ［ｎ−１］が含まれ、更に入力画像Ｆ［ｎ＋ｍ＋１］、Ｆ［ｎ＋ｍ＋２］、・・・が含まれうる。領域設定部５１は、入力画像列３２０の画像データに基づき複数の背景候補画像の中から背景画像を選択することができる。ユーザが複数の背景候補画像の中から背景画像を手動で選択するようにしても良い。
【００５２】
動物体領域が存在しない入力画像を背景画像として選択することが望ましい。複数の入力画像から成る動画像上において動いている物体を動物体と呼び、動物体の画像データが存在している画像領域を動物体領域と呼ぶ。
【００５３】
例えば、動き検出処理を実行できるように領域設定部５１を形成しておく。動き検出処理では、時間的に隣接する２枚の入力画像の画像データに基づき当該２枚の入力画像間のオプティカルフローを導出する。周知の如く、２枚の入力画像間のオプティカルフローは、当該２枚の入力画像間における物体の動きベクトルの束である。２枚の入力画像間における或る物体の動きベクトルは、２枚の入力画像間における該物体の動きの向き及び大きさを表している。
動物体領域に対応する動きベクトルの大きさは、動物体領域以外の領域のそれよりも大きい。従って、複数の入力画像に対するオプティカルフローから、複数の入力画像上に動物体が存在しているか否かを推定できる。故に例えば、入力画像Ｆ［１］〜Ｆ［ｎ−１］に対して動き検出処理を実行して、入力画像Ｆ［１］及びＦ［２］間のオプティカルフロー、入力画像Ｆ［２］及びＦ［３］間のオプティカルフロー、・・・、及び入力画像Ｆ［ｎ−２］及びＦ［ｎ−１］間のオプティカルフローを導出し、導出したオプティカルフローに基づき、動物体が存在していないと推定される入力画像を入力画像Ｆ［１］〜Ｆ［ｎ−１］から抽出すると良い。抽出した入力画像（動物体が存在していないと推定される入力画像）を背景画像として選択することができる。
【００５４】
また例えば、複数の入力画像を用いた背景画像生成処理によって背景画像を生成するようにしても良い。背景画像生成処理の方法を、図１０（ａ）及び（ｂ）を参照して説明する。図１０（ａ）には、背景画像の生成元となる複数の入力画像Ｇ［１］〜Ｇ［５］が示されている。画像３３０は、入力画像Ｇ［１］〜Ｇ［５］から生成される背景画像である。図１０（ａ）の各入力画像において、斜線領域は動物体領域を表している。入力画像Ｇ［１］〜Ｇ［５］は、入力画像列３２０を形成する入力画像の中から抽出された５枚の入力画像である。ｍ＝４の場合、複数の入力画像Ｇ［１］〜Ｇ［５］は、例えば入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］である（図７参照）。或いは例えば、ｍ＞４の場合、複数の入力画像Ｇ［１］〜Ｇ［５］は、入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］の内の何れか５枚の入力画像である。更に或いは例えば、入力画像Ｇ［１］〜Ｇ［５］の中に、入力画像Ｆ［１］〜Ｆ［ｎ−１］の何れか、又は、入力画像Ｆ［ｎ＋ｍ＋１］、Ｆ［ｎ＋ｍ＋２］・・・の何れかが含まれていても良い。更に或いは例えば、合成対象期間に属さない入力画像のみを用いて入力画像Ｇ［１］〜Ｇ［５］を形成しても良い。
【００５５】
背景画像生成処理では、画素位置ごとに背景画素抽出処理を行う。画素位置（ｘ，ｙ）に対する背景画素抽出処理を説明する。背景画素抽出処理において、領域設定部５１は、まず、入力画像Ｇ［１］を基準画像に設定すると共に入力画像Ｇ［２］〜Ｇ［５］の夫々を非基準画像に設定した上で、非基準画像ごとに差分演算を行う。ここにおける差分演算とは、基準画像の画素位置（ｘ，ｙ）における画素信号と、非基準画像の画素位置（ｘ，ｙ）における画素信号との差分の絶対値を、差分要素値として求める演算を指す。画素信号とは、画素の持つ信号を指し、画素信号の値を画素値とも言う。差分演算における画素信号として、例えば輝度信号を用いることができる。
【００５６】
入力画像Ｇ［１］が基準画像であるとき、非基準画像ごとの差分演算によって、
入力画像Ｇ［１］の画素位置（ｘ，ｙ）における画素信号及び入力画像Ｇ［２］の画素位置（ｘ，ｙ）における画素信号に基づく差分要素値ＶＡＬ［１，２］と、
入力画像Ｇ［１］の画素位置（ｘ，ｙ）における画素信号及び入力画像Ｇ［３］の画素位置（ｘ，ｙ）における画素信号に基づく差分要素値ＶＡＬ［１，３］と、
入力画像Ｇ［１］の画素位置（ｘ，ｙ）における画素信号及び入力画像Ｇ［４］の画素位置（ｘ，ｙ）における画素信号に基づく差分要素値ＶＡＬ［１，４］と、
入力画像Ｇ［１］の画素位置（ｘ，ｙ）における画素信号及び入力画像Ｇ［５］の画素位置（ｘ，ｙ）における画素信号に基づく差分要素値ＶＡＬ［１，５］と、が求められる。
【００５７】
領域設定部５１は、基準画像に設定される入力画像を、入力画像Ｇ［１］から入力画像Ｇ［２］、Ｇ［３］、Ｇ［４］及びＧ［５］へと順次切り替えながら、非基準画像ごとの差分演算を行う（基準画像以外の入力画像は非基準画像に設定される）。これにより、入力画像Ｇ［ｉ］の画素位置（ｘ，ｙ）における画素信号及び入力画像Ｇ［ｊ］の画素位置（ｘ，ｙ）における画素信号に基づく差分要素値ＶＡＬ［ｉ，ｊ］が、１≦ｉ≦５且つ１≦ｊ≦５を満たす変数ｉ及びｊの全ての組み合わせに対して求まる（但し、ｉ及びｊは互いに異なる整数）。
【００５８】
領域設定部５１は、入力画像Ｇ［ｉ］を基準画像に設定した状態で求められた４つの差分要素値ＶＡＬ［ｉ，ｊ］の合計を、差分積算値ＳＵＭ［ｉ］として求める。差分積算値ＳＵＭ［ｉ］の導出は入力画像Ｇ［１］〜Ｇ［５］の夫々に対して成される。故に、画素位置（ｘ，ｙ）に対して、５つの差分積算値ＳＵＭ［１］〜ＳＵＭ［５］が求められる。領域設定部５１は、差分積算値ＳＵＭ［１］〜ＳＵＭ［５］の内の最小値を特定し、その最小値に対応する入力画像の画素位置（ｘ，ｙ）における画素及び画素信号を、背景画像３３０の画素位置（ｘ，ｙ）における画素及び画素信号に設定する。即ち例えば、差分積算値ＳＵＭ［１］〜ＳＵＭ［５］の内、差分積算値ＳＵＭ［４］が最小である場合、差分積算値ＳＵＭ［４］に対応する入力画像Ｇ［４］の画素位置（ｘ，ｙ）における画素及び画素信号を、背景画像３３０の画素位置（ｘ，ｙ）における画素及び画素信号に設定する。
【００５９】
図１０（ａ）に示す例の動物体領域は、入力画像Ｇ［１］及びＧ［２］においては画素位置（ｘ，ｙ）に位置し、入力画像Ｇ［３］〜Ｇ［５］においては画素位置（ｘ，ｙ）に位置していない。従って、差分積算値ＳＵＭ［１］及びＳＵＭ［２］は比較的大きな値を取る一方で、差分積算値ＳＵＭ［３］〜ＳＵＭ［５］は比較的小さな値を取る。従って、動物体領域内の画素とは異なる画素（即ち、背景の画素）が、背景画像３３０の画素として採用されることになる。
【００６０】
上述したように、背景画像生成処理では、画素位置ごとに背景画素抽出処理が行われる。従って、上述と同様の処理が、画素位置（ｘ，ｙ）以外の画素位置に対しても順次行われ、最終的に背景画像３３０の全画素位置における画素信号が決定される（即ち、背景画像３３０の生成が完了する）。尚、上述の説明の動作によれば、差分要素値ＶＡＬ［ｉ，ｊ］と差分要素値ＶＡＬ［ｊ，ｉ］とが個別に算出されるが、それらの値は同じであるため、実際には一方のみを算出すれば足る。また、図１０（ａ）及び（ｂ）に示す例では、５枚の入力画像から背景画像を生成しているが、２枚以上の任意の枚数の入力画像から背景画像を生成することができる。
【００６１】
ステップＳ２２（図９参照）において、図３の領域設定部５１は、背景画像及び各対象入力画像の画像データに基づき動物体領域を検出する。図１１において、画像３４０は背景画像の例であり、画像３４１〜３４３は対象入力画像の例である。説明の具体化のため、背景画像が画像３４０であって且つ入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］から抽出された複数の対象入力画像が画像３４１〜３４３であることを想定して、動物体領域の検出方法及び後述のステップＳ２３の処理内容を説明する。
【００６２】
領域設定部５１は、対象入力画像ごとに、背景画像及び対象入力画像間の差分画像を生成すると共に生成した差分画像を二値化することにより二値化差分画像を生成する。図１１において、画像３５１は背景画像３４０及び対象入力画像３４１に基づく二値化差分画像であり、画像３５２は背景画像３４０及び対象入力画像３４２に基づく二値化差分画像であり、画像３５３は背景画像３４０及び対象入力画像３４３に基づく二値化差分画像である。第１及び第２画像間の差分画像とは、第１及び第２画像間における画素信号の差分を画素信号として有する画像である。例えば、第１及び第２画像間の差分画像における画素位置（ｘ，ｙ）の画素値は、第１画像における画素位置（ｘ，ｙ）の輝度値と、第２画像における画素位置（ｘ，ｙ）の輝度値との差の絶対値である。背景画像３４０及び対象入力画像３４１間の差分画像において、所定の閾値以上の画素値を有する画素に対し“１”の画素値を与える一方、その閾値未満の画素値を有する画素に対し“０”の画素値を与えることで、“１”又は“０”の画素値のみを有する二値化差分画像３５１が得られる。二値化差分画像３５２及び３５３についても同様である。図１１を含む二値化差分画像を示した図において、“１”の画素値を有する画像領域（即ち差分の大きい画像領域）を白で表し、“０”の画素値を有する画像領域（即ち差分の小さい画像領域）を黒で表している。二値化差分画像３５１において、“１”の画素値を有する画像領域が動物体領域３６１として検出される。同様に、二値化差分画像３５２において、“１”の画素値を有する画像領域が動物体領域３６２として検出され、二値化差分画像３５３において、“１”の画素値を有する画像領域が動物体領域３６３として検出される。二値化差分画像において、白領域が動物体領域に相当する（後述の図１２（ａ）等においても同様）。
【００６３】
図１１では、動物体領域３６１〜３６３が二値化差分画像３５１〜３５３上に示されているが、動物体領域３６１〜３６３は、夫々、対象入力画像３４１〜３４３上の動物体領域である、と考えることができる。図１１において、点３６１Ｃ、３６２Ｃ、３６３Ｃは、夫々、対象入力画像３４１上における動物体領域３６１の中心位置又は重心位置、対象入力画像３４２上における動物体領域３６２の中心位置又は重心位置、対象入力画像３４３上における動物体領域３６３の中心位置又は重心位置を表している。
【００６４】
その後、ステップＳ２３（図９参照）において、図３の領域設定部５１は、ステップＳ２２で検出した動物体領域に基づき切り出し領域を設定する。図１２（ａ）〜（ｅ）を参照して、動物体領域３６１〜３６３から切り出し領域を設定する方法を説明する。
【００６５】
図１２（ａ）に示す如く、領域設定部５１は、動物体領域３６１〜３６３の論理和領域である領域（白領域）４０１を求めることができる。図１２（ａ）において、画像４００は、画像３５１〜３５３の論理和演算によって得られる二値化画像である。即ち、二値化画像４００の画素位置（ｘ，ｙ）における画素値は、画像３５１の画素位置（ｘ，ｙ）における画素値と、画像３５２の画素位置（ｘ，ｙ）における画素値と、画像３５３の画素位置（ｘ，ｙ）における画素値との論理和である。二値化画像４００において、“１”の画素値を有する画像領域が領域４０１である。
【００６６】
図１２（ｂ）に示す如く、領域設定部５１は、動物体領域３６１〜３６３の内、最大の大きさを有する動物体領域を領域（白領域）４１１として求めることができる。図１２（ｂ）における二値化画像４１０は、領域４１１が動物体領域３６１であるとき画像３５１であり、領域４１１が動物体領域３６２であるとき画像３５２であり、領域４１１が動物体領域３６３であるとき画像３５３である。
【００６７】
図１２（ｃ）に示す如く、領域設定部５１は、動物体領域３６１〜３６３の内、任意の１領域を領域（白領域）４２１として設定することができる。図１２（ｃ）における二値化画像４２０は、領域４２１が動物体領域３６１であるとき画像３５１であり、領域４２１が動物体領域３６２であるとき画像３５２であり、領域４２１が動物体領域３６３であるとき画像３５３である。
【００６８】
図１２（ｄ）に示す如く、領域設定部５１は、何れかの動物体領域に外接する矩形領域を領域（白領域）４３１として設定することができる。図１２（ａ）の領域４０１に外接する矩形領域を領域４３１として設定しても良い。即ち、領域４３１は、領域４０１、４１１又は４２１を内包することのできる最小の矩形画像領域である。図１２（ｄ）の画像４３０は、領域４３１内において“１”の画素値のみを有し、それ以外の画像領域においては“０”の画素値のみを有する二値化画像である。
【００６９】
図１２（ｅ）の領域（白領域）４４１は、矩形領域４３１を所定比率で拡大又は縮小した画像領域である。或いは、領域４０１、４１１又は４２１を所定比率で拡大又は縮小した画像領域が領域４４１であっても良い。領域４４１の生成時における拡大又は縮小を、水平及び垂直方向の夫々において成すことができる。図１２（ｅ）の画像４４０は、領域４４１内において“１”の画素値のみを有し、それ以外の画像領域においては“０”の画素値のみを有する二値化画像である。
【００７０】
ステップＳ２３（図９参照）において、領域設定部５１は、領域４０１、４１１、４２１、４３１又は４４１を切り出し領域として設定することができる。
【００７１】
図９のステップＳ２１〜Ｓ２３による方法では、切り出し領域の設定時に背景画像が利用されるが、背景画像を用いることなく切り出し領域を設定することも可能である。即ち例えば、入力画像列３２０の画像データに基づき動き検出処理によって入力画像Ｆ［ｉ］及びＦ［ｉ＋１］間のオプティカルフローを導出する。導出されるべきオプティカルフローには、合成対象期間中の入力画像に基づくオプティカルフローが少なくとも含まれ、必要に応じて合成対象期間外の入力画像に基づくオプティカルフロー（例えば、入力画像Ｆ［ｎ−２］及びＦ［ｎ−１］間のオプティカルフロー）も導出する。そして、導出したオプティカルフローに基づいて入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］の夫々から動物体領域を検出すれば良い。オプティカルフローに基づく動物体及び動物体領域の検出方法は公知である。動物体領域の検出後の動作は、上述した通りである。
【００７２】
或いは例えば、図９のステップＳ２１〜Ｓ２３の処理の代わりに、図１３のステップＳ３１及びＳ３２の処理を実行することで切り出し領域を設定しても良い。図１３は、切り出し領域の設定処理の変形フローチャートに相当する。
【００７３】
ステップＳ３１において、領域設定部５１は、対象入力画像の画像データに基づき対象入力画像から特定種類の物体が存在する画像領域を特定物体領域（特定被写体領域）として検出する。特定物体領域の検出を対象入力画像ごとに成すことができる。特定種類の物体とは、予め登録された種類の物体であり、例えば、任意の人物又は登録人物である。特定種類の物体が登録人物である場合、対象入力画像の画像データに基づく顔認証処理によって特定物体領域の検出が可能である。顔認証処理では、対象入力画像上に人物の顔が存在する場合、その顔が登録人物の顔であるのか否かを峻別することができる。特定物体領域の検出方法として、公知の検出方法を含む任意の検出方法を利用することができる。例えば、対象入力画像から人物の顔を検出する顔検出処理、顔検出処理の結果を利用しつつ人物全体の画像データが存在する画像領域を他の画像領域と区別する領域分割処理を用いれば、特定物体領域を検出可能である。
【００７４】
ステップＳ３２において、領域設定部５１は、ステップＳ３１で検出した特定物体領域に基づき切り出し領域を設定する。特定物体領域に基づく切り出し領域の設定方法は、上述した動物体領域に基づく切り出し領域の設定方法と同様である。即ち例えば、入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］から抽出された複数の対象入力画像が図１１の画像３４１〜３４３である場合において、対象入力画像３４１〜３４３から領域３６１〜３６３が特定物体領域として検出されたならば、領域設定部５１は、図１２（ａ）等に示される領域４０１、４１１、４２１、４３１又は４４１を切り出し領域として設定することができる。
【００７５】
尚、合成モード利用時に注目される特定種類の物体は動物体であることが通常であるため、特定物体領域を動物体領域として捉えることも可能である。以下では、説明の便宜上、特定物体領域も動物体領域の一種であると捉えると共に対象入力画像３４１〜３４３から検出された特定物体領域は夫々動物体領域３６１〜３６３と一致しているものとする。また、以下では、特に記述なき限り、切り出し領域が矩形領域であるものとする。
【００７６】
［Ｓ１６：切り出し処理］
図４のステップＳ１６における切り出し処理を説明する。切り出し処理では、上述の如くして求められた切り出し領域を夫々の対象入力画像に設定し、各対象入力画像から切り出し領域内の画像を切り出し画像として抽出する。
【００７７】
対象入力画像上における切り出し領域の位置、大きさ及び形状は、原則として、全対象入力画像において共通である。但し、対象入力画像上における切り出し領域の位置は、異なる対象入力画像間で互いに異なっていても良い。対象入力画像上における切り出し領域の位置とは、対象入力画像上における切り出し領域の中心位置又は重心位置を指す。切り出し領域の大きさとは、水平及び垂直方向における切り出し領域の大きさである。
【００７８】
入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］から抽出された複数の対象入力画像に図１１の画像３４１〜３４３が含まれていると共に対象入力画像３４１が合成開始フレームであることを想定し、ステップＳ１６の切り出し処理をより具体的に説明する。この想定下において、切り出し処理部５２は、図１４（ａ）に示す如く、対象入力画像３４１、３４２及び３４３に夫々切り出し領域４７１、４７２及び４７３を設定し、切り出し領域４７１内の画像、切り出し領域４７２内の画像及び切り出し領域４７３内の画像を、３枚の切り出し画像として抽出する。切り出し領域４７１〜４７３は同じ切り出し領域であるので、対象入力画３４１上における切り出し領域４７１の大きさ及び形状と、対象入力画３４２上における切り出し領域４７２の大きさ及び形状と、対象入力画３４３上における切り出し領域４７３の大きさ及び形状は、同じである。
【００７９】
図１４（ａ）において、点４７１Ｃ、４７２Ｃ、４７３Ｃは、夫々、対象入力画像３４１上における切り出し領域４７１の中心位置又は重心位置、対象入力画像３４２上における切り出し領域４７２の中心位置又は重心位置、対象入力画像３４３上における切り出し領域４７３の中心位置又は重心位置を表している。位置４７１Ｃは、対象入力画像３４１上における動物体領域３６１の中心位置又は重心位置、即ち、図１１の位置３６１Ｃと一致する。そして、基本的には、位置４７２Ｃ及び４７３Ｃは、位置４７１Ｃと同じとされる。従って、図１４（ｂ）に示す如く、対象入力画３４１上の画素位置（ｘ，ｙ）と対象入力画３４２上の画素位置（ｘ，ｙ）とが重なり合うように対象入力画３４１及び３４２を共通の画像区間ＸＹに配置したとき、切り出し領域４７１及び４７２は完全に互いに重なり合う。切り出し領域４７１及び４７３についても同様である。
【００８０】
但し、図１４（ａ）の位置４７２Ｃ及び４７３Ｃを、夫々、図１１の位置３６２Ｃ及び３６３Ｃと一致させるようにしても良い。この場合、位置４７１Ｃ、４７２Ｃ及び４７３Ｃは互いに異なりうる。
【００８１】
［Ｓ１７：合成処理］
図４のステップＳ１７における合成処理を説明する。合成処理では、複数の切り出し画像が互いに重なり合わないように複数の切り出し画像を水平又は垂直方向に並べて結合し、この結合によって得られた画像を出力合成画像として生成する。水平方向（即ち、図２のＸ軸方向）に並べられる切り出し画像の枚数及び垂直方向（即ち、図２のＹ軸方向）に並べられる切り出し画像の枚数を、夫々、ＨＮＵＭ及びＶＮＵＭにて表す。切り出し画像の枚数と一致する上述の合成枚数ＣＮＵＭは、ＨＮＵＭとＶＮＵＭの積である。
【００８２】
図１５（ａ）の画像５００は、ＣＮＵＭ＝１０、ＨＮＵＭ＝５且つＶＮＵＭ＝２であるときの出力合成画像の例である。図１５（ｂ）には、出力合成画像５００の具体例が示されている。出力合成画像５００が生成される場合、第１〜第１０の対象入力画像から第１〜第１０の切り出し画像が生成される。第ｉの切り出し画像は第ｉの対象入力画像から抽出される。第（ｉ＋１）の対象入力画像の撮影時刻は、第ｉの対象入力画像のそれよりも遅い。出力合成画像５００において、画像領域５００［１］〜５００［５］は、この順番で左から右に向かって連続的に配置され、画像領域５００［６］〜５００［１０］も、この順番で左から右に向かって連続的に配置される（左右の定義については図２参照）。ｉ＝１、２、３、４又は５において、画像領域５００［ｉ］と５００［ｉ＋５］は垂直方向に互いに隣接している。ｉ及びｊが互いに異なる整数である場合、画像領域５００［ｉ］及び５００［ｊ］は互いに重なり合わない。出力合成画像５００の画像領域５００［１］〜５００［１０］には、夫々、第１〜第１０の切り出し画像が配置される。従って、出力合成画像５００は、第１〜第１０の切り出し画像を水平又は垂直方向に並べて結合した合成結果画像である。
【００８３】
図１５（ａ）に示すような、出力合成画像上における切り出し画像の並べ方は一例であり、図３の画像合成部５３は、切り出し画像の並べ方を、合成枚数ＣＮＵＭや出力合成画像のアスペクト比又は画像サイズ等に応じて決定することができる。撮像装置１において、出力合成画像のアスペクト比又は画像サイズを予め設定しておくことができる。
【００８４】
出力合成画像のアスペクト比に応じて切り出し画像の並べ方を決定する方法（即ち出力合成画像のアスペクト比を固定した状態で切り出し画像の並べ方を決定する方法）を説明する。出力合成画像のアスペクト比とは、出力合成画像の水平方向における画素数と出力合成画像の垂直方向における画素数との比を指す。今、出力合成画像のアスペクト比が４：３であるとする。即ち、出力合成画像の水平方向における画素数は、出力合成画像の垂直方向における画素数の４／３倍であるとする。また、図４のステップＳ１５にて設定された切り出し領域の水平及び垂直方向における画素数を夫々ＨＣＵＴＳＩＺＥ及びＶＣＵＴＳＩＺＥにて表す。そうすると、画像合成部５３は、下記（１）に従って枚数ＨＮＵＭ及びＶＮＵＭを求めることができる。
（ＨＮＵＭ×ＨＣＵＴＳＩＺＥ）：（ＶＮＵＭ×ＶＣＵＴＳＩＺＥ）＝４：３ ・・・（１）
【００８５】
例えば、（ＨＣＵＴＳＩＺＥ，ＶＣＵＴＳＩＺＥ）＝（１２８：２４０）であるとき、式（１）からＨＮＵＭ：ＶＮＵＭ＝５：２となる。この場合において、仮にＣＮＵＭ＝ＨＮＵＭ×ＶＮＵＭ＝１０ならばＨＮＵＭ＝５且つＶＮＵＭ＝２となって図１５（ａ）の出力合成画像５００が生成され、仮にＣＮＵＭ＝ＨＮＵＭ×ＶＮＵＭ＝４０ならばＨＮＵＭ＝１０且つＶＮＵＭ＝４となって、切り出し画像を水平方向に１０枚ずつ且つ垂直方向に４枚ずつ並べた出力合成画像が生成される。出力合成画像のアスペクト比に応じて切り出し画像の並べ方を決定する場合、出力合成画像の画像サイズは様々に変化しうる。
【００８６】
出力合成画像の画像サイズに応じて切り出し画像の並べ方を決定する方法（即ち出力合成画像の画像サイズを固定した状態で切り出し画像の並べ方を決定する方法）を説明する。出力合成画像の画像サイズは、出力合成画像の水平方向における画素数ＨＯＳＩＺＥ及び出力合成画像の垂直方向における画素数ＶＯＳＩＺＥによって表現される。画像合成部５３は、下記（２）及び（３）に従って枚数ＨＮＵＭ及びＶＮＵＭを求めることができる。
ＨＮＵＭ＝ＨＯＳＩＺＥ／ＨＣＵＴＳＩＺＥ ・・・（２）
ＶＮＵＭ＝ＶＯＳＩＺＥ／ＶＣＵＴＳＩＺＥ ・・・（３）
【００８７】
例えば、ＣＮＵＭ＝ＨＮＵＭ×ＶＮＵＭ＝１０、（ＨＯＳＩＺＥ，ＶＯＳＩＺＥ）＝（６４０，４８０）且つ（ＨＣＵＴＳＩＺＥ，ＶＣＵＴＳＩＺＥ）＝（１２８，２４０）である場合、ＨＯＳＩＺＥ／ＨＣＵＴＳＩＺＥ＝６４０／１２８＝５、ＶＯＳＩＺＥ／ＶＣＵＴＳＩＺＥ＝４８０／２４０＝２より、ＨＮＵＭ＝５且つＶＮＵＭ＝２となって図１５（ａ）の出力合成画像５００が生成される。
【００８８】
仮に式（２）及び（３）の右辺が整数以外の実数になる場合には、式（２）の右辺を四捨五入して得た整数値ＨＩＮＴ及び式（３）の右辺を四捨五入して得た整数値ＶＩＮＴを夫々ＨＮＵＭ及びＶＮＵＭに代入し、“ＨＩＮＴ＝ＨＯＳＩＺＥ／ＨＣＵＴＳＩＺＥ”且つ“ＶＩＮＴ＝ＶＯＳＩＺＥ／ＶＣＵＴＳＩＺＥ”が満たされるように、切り出し領域を再設定するようにしても良い（即ち、一旦設定した切り出し領域を拡大又は縮小するようにしても良い）。例えば、ＣＮＵＭ＝ＨＮＵＭ×ＶＮＵＭ＝１０、（ＨＯＳＩＺＥ，ＶＯＳＩＺＥ）＝（６４０，４８０）であって、且つ、一旦設定された切り出し領域について（ＨＣＵＴＳＩＺＥ，ＶＣＵＴＳＩＺＥ）＝（１３０，２３５）が満たされる場合、式（２）及び（３）の右辺は、夫々、約４．９２及び約２．０４となる。この場合、ＨＩＮＴ＝５をＨＮＵＭに代入すると共にＶＩＮＴ＝２をＶＮＵＭに代入し、“ＨＩＮＴ＝ＨＯＳＩＺＥ／ＨＣＵＴＳＩＺＥ”且つ“ＶＩＮＴ＝ＶＯＳＩＺＥ／ＶＣＵＴＳＩＺＥ”が満たされるように、切り出し領域を再設定する。この結果、再設定された切り出し領域の水平及び垂直方向における画素数は夫々１２８及び２４０となる。切り出し領域の再設定が成された場合、再設定された切り出し領域を用いて切り出し画像が生成されて出力合成画像が生成される。
【００８９】
尚、図４のフローチャートでは、ステップＳ１５及びＳ１６にて切り出し領域の設定処理及び切り出し処理を実行した後に、ステップＳ１７において切り出し画像の並べ方の決定処理を含む合成処理を実行しているが、切り出し領域が再設定されうることを考慮し、切り出し画像の並べ方の決定処理を成した後に実際の切り出し処理を実行するようにしても良い。また、ＨＮＵＭ及びＶＮＵＭの値は合成条件の一種であり、ＨＮＵＭ及びＶＮＵＭの値をユーザの指定に従って設定しても良い（図４のステップＳ１４参照）。
【００９０】
［合成枚数の増減］
ユーザは、自身が一旦指定した合成枚数ＣＮＵＭ又は撮像装置１側で自動的に設定した合成枚数ＣＮＵＭの変更を指示することができる。ユーザは、合成枚数ＣＮＵＭの変更指示を、任意のタイミングで成すことができる。例えば、ＣＮＵＭ＝１０の状態の出力合成画像が生成及び表示された後に、ユーザが、ＣＮＵＭ＝２０の状態の出力合成画像の生成及び表示を希望する場合、ユーザは操作部２６に対する所定操作によって合成枚数ＣＮＵＭを１０から２０に増大させることができる。逆に、ユーザは、合成枚数ＣＮＵＭの減少を指示することもできる。
【００９１】
合成枚数ＣＮＵＭの第１増減方法を説明する。図１６は、合成枚数ＣＮＵＭの増大が指示された場合における第１増減方法の処理イメージ図である。図７に示す如く合成対象期間が時刻ｔｎから時刻ｔｎ＋ｍまでの期間である場合においてユーザにより合成枚数ＣＮＵＭの増大指示が成されたとき、第１増減方法に係る画像処理部５０は、合成対象期間を時刻ｔｎから時刻ｔｎ＋ｍまでの期間に維持したまま増大指示前のサンプリング間隔を基準にしてサンプリング間隔を減少させ、これによって対象入力画像の枚数（即ち合成枚数ＣＮＵＭ）を増大させる。逆に、図７に示す如く合成対象期間が時刻ｔｎから時刻ｔｎ＋ｍまでの期間である場合においてユーザにより合成枚数ＣＮＵＭの減少指示が成されたとき、第１増減方法に係る画像処理部５０は、合成対象期間を時刻ｔｎから時刻ｔｎ＋ｍまでの期間に維持したまま減少指示前のサンプリング間隔を基準にしてサンプリング間隔を増大させ、これによって対象入力画像の枚数（即ち合成枚数ＣＮＵＭ）を減少させる。ユーザによって指定された増大指示後又は減少指示後の合成枚数ＣＮＵＭに基づき、増大指示後又は減少指示後のサンプリング間隔の具体的数値は決定される。
【００９２】
合成枚数ＣＮＵＭの第２増減方法を説明する。図１７は、合成枚数ＣＮＵＭの増大が指示された場合における第２増減方法の処理イメージ図である。図７に示す如く合成対象期間が時刻ｔｎから時刻ｔｎ＋ｍまでの期間である場合においてユーザにより合成枚数ＣＮＵＭの増大指示が成されたとき、第２増減方法に係る画像処理部５０は、合成対象期間の開始時刻を時刻ｔｎよりも早い時刻に修正する若しくは合成対象期間の終了時刻を時刻ｔｎ＋ｍよりも遅い時刻に修正する又はそれらの双方の修正を行うことで合成対象期間を増大させ、これによって対象入力画像の枚数（即ち合成枚数ＣＮＵＭ）を増大させる。逆に、図７に示す如く合成対象期間が時刻ｔｎから時刻ｔｎ＋ｍまでの期間である場合においてユーザにより合成枚数ＣＮＵＭの減少指示が成されたとき、第２増減方法に係る画像処理部５０は、合成対象期間の開始時刻を時刻ｔｎよりも遅い時刻に修正する若しくは合成対象期間の終了時刻を時刻ｔｎ＋ｍよりも早い時刻に修正する又はそれらの双方の修正を行うことで合成対象期間を減少させ、これによって対象入力画像の枚数（即ち合成枚数ＣＮＵＭ）を減少させる。ユーザによって指定された増大指示後又は減少指示後の合成枚数ＣＮＵＭに基づき、合成対象期間の開始時刻及び終了時刻の修正量は決定される。
【００９３】
第２増減方法では、サンプリング間隔は変更されない。但し、第１及び第２増減方法を組み合わせることも可能である。即ち例えば、ユーザにより合成枚数ＣＮＵＭの増大指示が成されたとき、第１増減方法に係るサンプリング間隔の減少と第２増減方法に係る合成対象期間の増大とを同時に実行するようにしても良いし、ユーザにより合成枚数ＣＮＵＭの減少指示が成されたとき、第１増減方法に係るサンプリング間隔の増大と第２増減方法に係る合成対象期間の減少とを同時に実行するようにしても良い。
【００９４】
上述の如く、本実施形態では、動物体についての切り出し画像を水平又は垂直方向に並べて結合することで出力合成画像を生成している。このため、動物体がゴルフクラブをスイングする人物である場合など、動画像上において動物体の位置が殆ど変化しない場合においても、異なる時刻の動物体が出力合成画像上で重なり合わない。結果、図２６に示すようなストロボ画像よりも、動物体の運動の様子を確認し易くなる。加えて、動画像を形成するフレームそのものではなく、動物体部分の切り出し画像を用いて出力合成画像を生成しているため、出力合成画像上において動物体が比較的大きく映し出される。結果、図２７に示すような方法よりも、動物体の運動の様子を確認し易くなる。
【００９５】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２及び後述の第３実施形態は、第１実施形態を基礎とする実施形態であり、第２及び第３実施形態において特に述べない事項に関しては、矛盾なき限り、第１実施形態の記載が第２及び第３実施形態にも適用される。第１実施形態で述べた複数の合成モードに、シンクロ合成モードとも呼ぶことができる第２合成モードを含めることができる。第２実施形態では、以下、第２合成モードにおける撮像装置１の動作を説明する。
【００９６】
第２合成モードでは、出力合成画像の生成に複数の入力画像列が利用される。ここでは、説明の具体化のため、２つの入力画像列を利用する方法を説明する。図１８は、第２合成モードにおいて出力合成画像が生成されるときの処理の流れを示している。ユーザは、外部メモリ１８に記録されている動画像の中から任意の２つの動画像を選択することができ、選択された２つの動画像が第１及び第２の入力画像列５５１及び５５２として画像処理部５０に供給される。通常、入力画像列５５１及び５５２は互いに異なる。
【００９７】
画像処理部５０において、入力画像列５５１及び５５２に対し個別に図４のステップＳ１２〜Ｓ１７の処理が実行される。入力画像列５５１に対するステップＳ１２〜Ｓ１７の処理内容は第１実施形態で述べたものと同様であり、入力画像列５５２に対するステップＳ１２〜Ｓ１７の処理内容も第１実施形態で述べたものと同様である。入力画像列５５１に対するステップ１２〜Ｓ１７の処理により生成される出力合成画像を中間合成画像（合成結果画像）５６１と呼び、入力画像列５５２に対するステップ１２〜Ｓ１７の処理により生成される出力合成画像を中間合成画像（合成結果画像）５６２と呼ぶ。
【００９８】
中間合成画像５６１及び５６２の夫々において、ＨＮＵＭ（水平方向に並べられる切り出し画像の枚数）は２以上とされ、ＶＮＵＭ（垂直方向に並べられる切り出し画像の枚数）は１とされる。即ち、中間合成画像５６１は、入力画像列５５１に基づく複数の切り出し画像を水平方向に並べて結合することにより生成され、中間合成画像５６２は、入力画像列５５２に基づく複数の切り出し画像を水平方向に並べて結合することにより生成される。基本的に、サンプリング間隔及び合成枚数ＣＮＵＭは、入力画像列５５１及び５５２間で同じとされるが、それらを入力画像列５５１及び５５２間で異ならせることも可能である。図１８に示す例では、中間合成画像５６１及び５６２の夫々において、ＨＮＵＭ＝１０且つＶＮＵＭ＝１に設定されている。尚、各入力画像に設定される切り出し領域の大きさを、入力画像列５５１及び５５２間で同じにしておくことが望ましい。切り出し領域の大きさが入力画像列５５１及び５５２間で異なる場合には、切り出し領域内の画像データから切り出し画像を生成する際に解像度変換を実行することにより、入力画像列５５１に基づく切り出し画像の画像サイズと入力画像列５５２に基づく切り出し画像の画像サイズとを一致させることもできる。
【００９９】
図３の画像合成部５３は、中間合成画像（合成結果画像）５６１及び５６２を垂直方向に並べて結合することにより、最終的な出力合成画像５７０を生成する。出力合成画像５７０の全体画像領域を水平方向に沿って２分割することにより第１及び第２画像領域が設定され、出力合成画像５７０の第１及び第２画像領域に夫々中間合成画像５６１及び５６２が配置される。尚、中間合成画像５６１及び５６２を生成することなく、入力画像列５５１及び５５２に基づく複数の切り出し画像から出力合成画像５７０を直接生成するようにしても良い。
【０１００】
出力合成画像５７０を表示部２７の表示画面上に表示することができ、これによって表示画面の鑑賞者は、入力画像列５５１上の動物体の運動の様子と入力画像列５５２上の動物体の運動の様子とを容易に比較することが可能となる。例えば、前者及び後者の動物体間のゴルフスイングフォームを詳細に比較することが可能となる。
【０１０１】
出力合成画像５７０を表示する際、必要に応じて解像度変換などを利用し、出力合成画像５７０の全体を一度に表示させることも可能であるが、以下のようなスクロール表示を成すこともできる。例えば、図１の表示処理部２０がスクロール表示の実行を担う。スクロール表示では、図１９に示す如く、出力合成画像５７０内に抽出枠５８０を設定し、出力合成画像５７０から抽出枠５８０内の画像をスクロール用画像として抽出する。水平方向において抽出枠５８０は出力合成画像５７０よりも小さいため、スクロール用画像は出力合成画像５７０の一部である。垂直方向における抽出枠５８０の大きさを出力合成画像５７０のそれと同じにしておくことができる。
【０１０２】
抽出枠５８０の左端を出力合成画像５７０の左端に一致させた状態を起点として、抽出枠５８０の右端が出力合成画像５７０の右端と一致するまで、抽出枠５８０の位置を一定間隔で順次移動させ、移動の度にスクロール用画像を抽出する。スクロール表示では、これによって得られる複数のスクロール用画像を時系列順に並べて動画像５８５として表示部２７に表示させる（図２０参照）。切り出し画像の枚数にも依存するが、出力合成画像５７０の全体を一度に表示しようとすると、動物体の表示サイズが小さくなりすぎることがある。上述のようなスクロール表示を利用すれば、切り出し画像の枚数が多くても、動物体の表示サイズが小さくなりすぎることが回避される。また、時系列上に並べられた複数のスクロール用画像を動画像５８５として外部メモリ１８に記録することも可能である。
【０１０３】
尚、上述の例では、入力画像列５５１に基づく中間合成画像と入力画像列５５２に基づく中間合成画像を垂直方向に並べて結合しているが、入力画像列５５１に基づく中間合成画像と入力画像列５５２に基づく中間合成画像を水平方向に並べて結合しても良い。この場合、入力画像列５５１に基づく複数の切り出し画像を垂直方向に並べて結合することにより得た中間合成画像と、入力画像列５５２に基づく複数の切り出し画像を垂直方向に並べて結合することにより得た中間合成画像とを水平方向に並べて結合し、この結合によって最終的な出力合成画像を得ると良い。
【０１０４】
また、３以上の入力画像列を用いて出力合成画像を得ても良い。即ち、３以上の入力画像列を画像処理部５０に供給し、入力画像列ごとに得た中間合成画像を水平又は垂直方向に並べて結合することで最終的な出力合成画像を得ても良い。
【０１０５】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。上述の第１又は第２実施形態における入力画像を撮影によって得る際、いわゆる光学式手ぶれ補正又は電子式手ぶれ補正を撮像装置１において実行しても良い。第３実施形態では、入力画像を撮影によって得る際、電子式手ぶれ補正が撮像装置１において実行されることを想定し、電子式手ぶれ補正と連動した切り出し領域の設定方法を説明する。
【０１０６】
まず、図２１（ａ）及び（ｂ）を参照して、撮像装置１において実行される電子式手ぶれ補正について説明する。図２１（ａ）等において、符号６００が付された実線矩形枠内の領域は撮像素子３３の有効画素領域を表している。尚、領域６００は、撮像素子３３の有効画素領域における各画素信号が配列された、内部メモリ１７上のメモリ空間であると考えても良い。以下では、領域６００が撮像素子３３の有効画素領域であると考える。
【０１０７】
有効画素領域６００には、有効画素領域６００よりも小さな矩形の抽出枠６０１が設定され、抽出枠６０１内に属する各画素信号を読み出すことで入力画像が生成される。即ち、抽出枠６０１内の画像が入力画像である。以下の説明において、抽出枠６０１の位置及び移動とは、有効画素領域６００上における抽出枠６０１の中心位置及び移動を指す。
【０１０８】
図２２には、撮像装置１に設けておくことのできる装置動き検出部６１及びぶれ補正部６２が示されている。装置動き検出部６１は、公知の方法によって、撮像素子３３の出力信号から撮像装置１の動きを検出する。或いは、撮像装置１の筐体の角加速度又は加速度を検出するセンサを用いて撮像装置１の動きを検出しても良い。撮像装置１の動きは、例えば、撮像装置１の筐体を保持する人間の手のぶれによって生じる。撮像装置１の動きは、撮像素子３３の動きでもある。
【０１０９】
時刻ｔｎ及びｔｎ＋１間において撮像装置１が動くと実空間上において注目被写体が静止していても、注目被写体は撮像素子３３及び有効画素領域６００上において移動する。即ち、撮像素子３３及び有効画素領域６００上における注目被写体の位置は、時刻ｔｎ及びｔｎ＋１間において移動する。この場合において仮に抽出枠６０１の位置が固定されていたならば、入力画像Ｆ［ｎ＋１］上における注目被写体の位置が入力画像Ｆ［ｎ］上における注目被写体の位置から変化し、入力画像Ｆ［ｎ］及びＦ［ｎ＋１］から成る入力画像列上で注目被写体が移動したように見える。このような移動、即ち、撮像装置１の動きによって生じる、入力画像間における注目被写体の位置変化を、フレーム間ぶれと呼ぶ。
【０１１０】
装置動き検出部６１による撮像装置１の動きの検出結果を、装置動き検出結果とも呼ぶ。図２２のぶれ補正部６２は、装置動き検出結果に基づきフレーム間ぶれを低減する。フレーム間ぶれの低減には、フレーム間ぶれの完全なる消失も含まれる。撮像装置１の動きの検出によって、撮像装置１の動きの向き及び大きさを表す装置動きベクトルが求められる。ぶれ補正部６２は、装置動きベクトルに基づき、フレーム間ぶれが低減するように抽出枠６０１を移動させる。図２１（ｂ）におけるベクトル６０５は、時刻ｔｎ及びｔｎ＋１間における装置動きベクトルの逆ベクトルであり、入力画像Ｆ［ｎ］及びＦ［ｎ＋１］についてのフレーム間ぶれを低減するべく、抽出枠６０１がベクトル６０５に従って移動せしめられる。
【０１１１】
抽出枠６０１内の領域をぶれ補正用領域と呼ぶこともできる。撮像素子３３の有効画素領域６００上に結像する全体像（全体の光学像）の内、抽出枠６０１内の画像（即ち、ぶれ補正用領域内の画像）が入力画像に相当する。ぶれ補正部６２は、装置動きベクトルに基づいて入力画像Ｆ［ｎ］及びＦ［ｎ＋１］を得る際の抽出枠６０１の位置を設定することにより、入力画像Ｆ［ｎ］及びＦ［ｎ＋１］についてのフレーム間ぶれを低減する。他の入力画像間についてのフレーム間ぶれも同様である。
【０１１２】
上述のようなフレーム間ぶれの低減が成された上で入力画像列３２０（図５）が生成されたことを想定し、図３の画像処理部５０の動作を説明する。入力画像列３２０のフレーム間ぶれを低減するために利用された、入力画像列３２０の撮影期間中における装置動き検出結果を、入力画像列３２０の画像データに関連付けて外部メモリ１８に記録しておくと良い。例えば、入力画像列３２０の画像データを画像ファイルに格納した上で外部メモリ１８に記録する際、その画像ファイルのヘッダ領域に、入力画像列３２０の撮影期間中における装置動き検出結果を格納しておくと良い。
【０１１３】
図３の領域設定部５１は、外部メモリ１８から読み出した装置動き検出結果に基づき、切り出し領域を設定することができる。今、図２３（ａ）〜（ｄ）及び図２４を参照しつつ、入力画像Ｆ［ｎ］〜Ｆ［ｎ＋ｍ］から抽出された複数の対象入力画像が画像６２１〜６２３であることを想定して、切り出し領域の設定方法を説明する。図２３（ａ）〜（ｃ）において、斜線で満たされた矩形領域６３１、６３２及び６３３は、夫々、対象入力画像６２１、６２２及び６２３の画像データを取得する際に設定された抽出枠６０１内の領域（ぶれ補正用領域）である。図２３（ｄ）の斜線領域６４０は、有効画素領域６００において矩形領域６３１〜６３３が互いに重なり合う重なり領域を表している。領域設定部５１は、外部メモリ１８から読み出した装置動き検出結果に基づき、有効画素領域６００上における矩形領域６３１、６３２及び６３３の位置関係を認識することができると共に重なり領域６４０の位置及び大きさを検出することもできる。
【０１１４】
領域設定部５１は、矩形領域６３１、６３２及び６３３内における重なり領域６４０の位置に、夫々、入力画像６２１、６２２及び６２３内の切り出し領域を設定する。即ち、図２４に示す如く、入力画像６２１上における重なり領域（斜線領域）６４０を入力画像６２１上における切り出し領域に設定し、入力画像６２２上における重なり領域（斜線領域）６４０を入力画像６２２上における切り出し領域に設定し、入力画像６２３上における重なり領域（斜線領域）６４０を入力画像６２３上における切り出し領域に設定する。切り出し処理部５２は、入力画像６２１における切り出し領域内の画像を入力画像６２１に基づく切り出し画像として抽出し、入力画像６２２における切り出し領域内の画像を入力画像６２２に基づく切り出し画像として抽出し、入力画像６２３における切り出し領域内の画像を入力画像６２３に基づく切り出し画像として抽出する。これによって得られた複数の切り出し画像から出力合成画像を生成する方法は、第１又は第２実施形態で述べたものと同様である。
【０１１５】
撮影者は、切り出し画像内に収められるべき注目動物体に注意を払いながら撮影方向の調整などを行うため、手ぶれ等によって撮影範囲が変動したとしても、少なくとも注目動物体は撮影範囲内に収め続けられることが通常であり、結果、各対象入力画像の重なり領域６４０には注目動物体の画像データが存在している可能性が高い。そこで、第３実施形態では、重なり領域６４０を切り出し領域に設定し、各対象入力画像の切り出し領域から得た切り出し画像を水平又は垂直方向に並べて結合することで出力合成画像を生成している。このため、第１実施形態と同様の効果が得られる。即ち、異なる時刻の動物体が出力合成画像上で重なり合わないため、図２６に示すようなストロボ画像よりも、動物体の運動の様子を確認し易くなる。加えて、出力合成画像上において動物体が比較的大きく映し出されるため、動画像の各フレームをそのままマルチ表示する図２７の方法よりも、動物体の運動の様子を確認し易くなる。
【０１１６】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１７】
［注釈１］
第１及び第２実施形態に係る第１及び第２合成モード以外の合成モードを実現できるように画像処理部５０を形成しておいても良い。
【０１１８】
［注釈２］
図３の画像処理部５０は撮像装置１以外の電子機器（不図示）に設けられていても良く、その電子機器上において第１又は第２実施形態にて説明した各動作を実現させても良い。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置１も、電子機器の一種である。
【０１１９】
［注釈３］
図１の撮像装置１及び上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１及び電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。特に、画像処理部５０にて実現される機能の全部又は一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部又は一部を実現するようにしてもよい。
【符号の説明】
【０１２０】
１ 撮像装置
３３ 撮像素子
５１ 領域設定部
５２ 切り出し処理部
５３ 画像合成部
６１ 装置動き検出部
６２ ぶれ補正部
【特許請求の範囲】
【請求項１】
複数の入力画像から成る入力画像列の画像データに基づいて各入力画像上の画像領域である切り出し領域を設定する領域設定部と、
前記複数の入力画像に含まれる複数の対象入力画像の夫々から、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理部と、
抽出された複数の切り出し画像を並べて結合する画像合成部と、を備えた
ことを特徴とする画像処理装置。
【請求項２】
前記画像合成部は、前記複数の切り出し画像を結合する際、前記複数の切り出し画像が互いに重なり合わないように前記複数の切り出し画像を並べる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の対象入力画像は第１及び第２の対象入力画像を含み、
前記第１の対象入力画像上における前記切り出し領域と前記第２の対象入力画像上における前記切り出し領域とは互いに重なり合い、
前記画像合成部は、前記複数の切り出し画像を結合する際、前記第１の対象入力画像に基づく切り出し画像と前記第２の対象入力画像に基づく切り出し画像とが互いに重なり合わないように前記複数の切り出し画像を並べる
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記領域設定部は、前記入力画像列の画像データに基づいて動物体又は特定種類の物体が存在する画像領域を検出し、検出した画像領域に基づいて前記切り出し領域を設定する
ことを特徴とする請求項１〜請求項３の何れかに記載の画像処理装置。
【請求項５】
前記複数の切り出し画像を並べて結合することにより合成結果画像が生成され、
前記画像合成部は、前記合成結果画像に対して定められたアスペクト比又は画像サイズに基づき、前記複数の切り出し画像の並べ方を決定する
ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
【請求項６】
前記入力画像列として互いに異なる複数の入力画像列が当該画像処理装置に与えられ、
前記領域設定部は、前記入力画像列ごとに前記切り出し領域を設定し、
前記切り出し処理部は、前記入力画像列ごとに前記切り出し画像を抽出し、
前記画像合成部は、前記入力画像列ごとに前記結合を行うことで得られる前記複数の入力画像列に対する複数の合成結果画像を、更に所定方向に並べて結合する
ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
【請求項７】
撮像素子を用いた順次撮影の結果から複数の入力画像から成る入力画像列を取得する撮像装置において、
当該撮像装置の動きの検出結果に基づき、前記動きに基づく前記入力画像間における被写体のぶれを低減するぶれ補正部と、
前記動きの検出結果に基づき、各入力画像上の画像領域である切り出し領域を設定する領域設定部と、
前記複数の入力画像に含まれる複数の対象入力画像の夫々から、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理部と、
抽出された複数の切り出し画像を並べて結合する画像合成部と、を備えた
ことを特徴とする撮像装置。
【請求項８】
前記撮像素子上に結像する全体像の内、ぶれ補正用領域内の画像が前記入力画像に相当し、
前記ぶれ補正部は、前記動きの検出結果に基づき各入力画像に対する前記ぶれ補正用領域の位置を設定することにより前記ぶれを低減し、
前記領域設定部は、前記複数の対象入力画像に対する複数のぶれ補正用領域の重なり領域を前記動きの検出結果に基づいて検出し、前記重なり領域から前記切り出し領域を設定する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
複数の入力画像から成る入力画像列の画像データに基づいて各入力画像上の画像領域である切り出し領域を設定する領域設定ステップと、
前記複数の入力画像に含まれる複数の対象入力画像の夫々から、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理ステップと、
抽出された複数の切り出し画像を並べて結合する画像合成ステップと、を実行する
ことを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の領域設定ステップ、切り出し処理ステップ及び画像合成ステップをコンピュータに実行させるためのプログラム。
【請求項１】
複数の入力画像から成る入力画像列の画像データに基づいて各入力画像上の画像領域である切り出し領域を設定する領域設定部と、
前記複数の入力画像に含まれる複数の対象入力画像の夫々から、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理部と、
抽出された複数の切り出し画像を並べて結合する画像合成部と、を備えた
ことを特徴とする画像処理装置。
【請求項２】
前記画像合成部は、前記複数の切り出し画像を結合する際、前記複数の切り出し画像が互いに重なり合わないように前記複数の切り出し画像を並べる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の対象入力画像は第１及び第２の対象入力画像を含み、
前記第１の対象入力画像上における前記切り出し領域と前記第２の対象入力画像上における前記切り出し領域とは互いに重なり合い、
前記画像合成部は、前記複数の切り出し画像を結合する際、前記第１の対象入力画像に基づく切り出し画像と前記第２の対象入力画像に基づく切り出し画像とが互いに重なり合わないように前記複数の切り出し画像を並べる
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記領域設定部は、前記入力画像列の画像データに基づいて動物体又は特定種類の物体が存在する画像領域を検出し、検出した画像領域に基づいて前記切り出し領域を設定する
ことを特徴とする請求項１〜請求項３の何れかに記載の画像処理装置。
【請求項５】
前記複数の切り出し画像を並べて結合することにより合成結果画像が生成され、
前記画像合成部は、前記合成結果画像に対して定められたアスペクト比又は画像サイズに基づき、前記複数の切り出し画像の並べ方を決定する
ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
【請求項６】
前記入力画像列として互いに異なる複数の入力画像列が当該画像処理装置に与えられ、
前記領域設定部は、前記入力画像列ごとに前記切り出し領域を設定し、
前記切り出し処理部は、前記入力画像列ごとに前記切り出し画像を抽出し、
前記画像合成部は、前記入力画像列ごとに前記結合を行うことで得られる前記複数の入力画像列に対する複数の合成結果画像を、更に所定方向に並べて結合する
ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
【請求項７】
撮像素子を用いた順次撮影の結果から複数の入力画像から成る入力画像列を取得する撮像装置において、
当該撮像装置の動きの検出結果に基づき、前記動きに基づく前記入力画像間における被写体のぶれを低減するぶれ補正部と、
前記動きの検出結果に基づき、各入力画像上の画像領域である切り出し領域を設定する領域設定部と、
前記複数の入力画像に含まれる複数の対象入力画像の夫々から、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理部と、
抽出された複数の切り出し画像を並べて結合する画像合成部と、を備えた
ことを特徴とする撮像装置。
【請求項８】
前記撮像素子上に結像する全体像の内、ぶれ補正用領域内の画像が前記入力画像に相当し、
前記ぶれ補正部は、前記動きの検出結果に基づき各入力画像に対する前記ぶれ補正用領域の位置を設定することにより前記ぶれを低減し、
前記領域設定部は、前記複数の対象入力画像に対する複数のぶれ補正用領域の重なり領域を前記動きの検出結果に基づいて検出し、前記重なり領域から前記切り出し領域を設定する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
複数の入力画像から成る入力画像列の画像データに基づいて各入力画像上の画像領域である切り出し領域を設定する領域設定ステップと、
前記複数の入力画像に含まれる複数の対象入力画像の夫々から、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理ステップと、
抽出された複数の切り出し画像を並べて結合する画像合成ステップと、を実行する
ことを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の領域設定ステップ、切り出し処理ステップ及び画像合成ステップをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１２−９９８７６（Ｐ２０１２−９９８７６Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４３１９６（Ｐ２０１０−２４３１９６）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]