撮像装置
【課題】複数の静止画像から得た１枚の静止画像に対して適切な音響信号を関連付ける。
【解決手段】撮影範囲３３１内の被写体を撮影することで１枚目の対象入力画像を取得した後、撮影方向を右方向へ変更し、撮影範囲３３２内の被写体を撮影することで２枚目の対象入力画像を取得する。２枚の対象入力画像をイメージモザイキングによって貼り合わせ合成することで目標合成画像を生成する。一方、複数のマイクロホンの出力音響信号に指向性制御を施すことにより、１枚目の対象入力画像の撮影時においては撮像装置の右方側（被写体３２１側）に指向軸を持った音響信号を生成し、２枚目の対象入力画像の撮影時においては撮像装置の左方側（被写体３２１側）に指向軸を持った音響信号を生成する。そして、生成した音響信号を時系列上に結合したリンク音響信号を目標合成画像に関連付けて記録する。
【解決手段】撮影範囲３３１内の被写体を撮影することで１枚目の対象入力画像を取得した後、撮影方向を右方向へ変更し、撮影範囲３３２内の被写体を撮影することで２枚目の対象入力画像を取得する。２枚の対象入力画像をイメージモザイキングによって貼り合わせ合成することで目標合成画像を生成する。一方、複数のマイクロホンの出力音響信号に指向性制御を施すことにより、１枚目の対象入力画像の撮影時においては撮像装置の右方側（被写体３２１側）に指向軸を持った音響信号を生成し、２枚目の対象入力画像の撮影時においては撮像装置の左方側（被写体３２１側）に指向軸を持った音響信号を生成する。そして、生成した音響信号を時系列上に結合したリンク音響信号を目標合成画像に関連付けて記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
近年、音声付き静止画像（換言すれば音響信号付き静止画像）を生成する方法が提案されている。
【０００３】
例えば、下記特許文献１には、静止画像の撮影時に所定時間分の音響信号を記録する方法が開示されている。また例えば、下記特許文献２には、記録済みの音響信号及び動画像から音声付き静止画像を抽出する方法が開示されている。また例えば、下記特許文献３には、１つの音響信号に対して複数の静止画像を関連付けておき、音響信号の再生時には再生音内容に応じた静止画像再生を行う方法が開示されている。
【０００４】
また例えば、撮影画像から特定被写体の存在する切り出し画像を切り出す一方で、複数のマイクロホンの出力音響信号にステレオ化処理を実行することで特定被写体から発せられる音の成分を強調した音響信号を生成し、生成した音響信号を切り出し画像と共に記録媒体に記録する方法が、下記特許文献４にて提案されている。
【０００５】
他方、複数の静止画像から１枚の静止画像を生成する方法も提案されている。例えば、撮影方向を変えながら静止画像撮影を複数回を行い、得られた複数の静止画像をイメージモザイキングによって貼り合わせ合成することで広画角を有するパノラマ画像を生成する方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２９４９１９号公報
【特許文献２】特開２００６−２９５５７５号公報
【特許文献３】特開２００１−６９４５３号公報
【特許文献４】特開２００９−１４７７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
音響信号に関わる上述の従来方法は、撮影された静止画像そのもの或いは静止画像の一部画像（切り出し画像）に音響信号を割り当てる方法であり、複数の静止画像から生成されるパノラマ画像等への適用は想定されていない。従って、複数の静止画像から生成されるパノラマ画像等に適切な音響信号を関連付ける技術の開発が要望される。
【０００８】
また、特許文献４の方法は、記録される切り出し画像の画角に適応した音響信号を生成及び記録できるという点において高い付加価値を有する。しかしながら、この方法は、切り出し処理との関連において用いられる方法であって、動画像から抽出したフレーム画像そのものに対して適用される方法ではない。よって、動画像から抽出したフレーム画像に適切な音響信号を関連付けることのできる技術の開発が要望される。
【０００９】
そこで本発明は、複数の静止画像から得た静止画像又は動画像から抽出された静止画像に対して適切な音響信号を関連付けることのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、撮影方向が互いに異なるｍ枚の入力画像を撮影する撮像部と（ｍは２以上の整数）、複数のマイクロホンから成るマイク部と、前記ｍ枚の入力画像又は前記ｍ枚の入力画像から抽出したｍ枚の抽出画像を合成することで出力画像を生成する画像合成部と、前記ｍ枚の入力画像の撮影期間中における前記複数のマイクロホンの出力音響信号から指向性を有するリンク音響信号を生成する指向性制御部と、前記出力画像と前記リンク音響信号を関連付ける関連付け部と、を備えたことを特徴とする。
【００１１】
具体的には例えば、前記出力画像は、特定の被写体の画像信号を有し、前記指向性制御部は、前記特定の被写体より到来する音の成分が強調されるように前記リンク音響信号を生成すると良い。
【００１２】
これにより、特定の被写体からの音に注目したような、出力画像に適した音響信号を出力画像に関連付けることが可能となる。
【００１３】
また例えば、前記撮像部は、前記ｍ枚の入力画像を含むｎ枚の入力画像を撮影し（ｎは整数であって、ｎ＞ｍ）、前記撮像装置に、前記ｎ枚の入力画像の内の、互いに異なる入力画像間の動き量を検出する動き検出部と、前記動き検出部の検出結果に基づいて、前記ｎ枚の入力画像の中から前記出力画像の元となる前記ｍ枚の入力画像を選択する画像選択部と、を更に設けるようにしても良い。
【００１４】
或いは例えば、前記撮像部は、前記ｍ枚の入力画像を含むｎ枚の入力画像を撮影し（ｎは整数であって、ｎ＞ｍ）、前記撮像装置に、前記複数のマイクロホンの出力音響信号に基づき、音源としての前記特定の被写体が位置する方向を推定する音源方向推定部と、前記音源方向推定部の推定結果に基づいて、前記ｎ枚の入力画像の中から前記出力画像の元となる前記ｍ枚の入力画像を選択する画像選択部と、を更に設けるようにしても良い。
【００１５】
本発明に係る他の撮像装置は、複数のフレーム画像から成る動画像を撮影する撮像部と、複数のマイクロホンから成るマイク部と、前記動画像から特定のフレーム画像を対象静止画像として抽出する対象静止画像抽出部と、前記特定のフレーム画像の撮影時点を基準とする特定期間中における前記複数のマイクロホンの出力音響信号から、前記対象静止画像の画角に応じた指向性を有するリンク音響信号を生成する指向性制御部と、前記対象静止画像と前記リンク音響信号を関連付ける関連付け部と、を備えたことを特徴とする。
【００１６】
具体的には例えば、前記指向性制御部は、前記対象静止画像の画角内に位置する被写体からの音の成分が強調されるように前記リンク音響信号を生成すると良い。
【００１７】
これにより、対象静止画像上の被写体に注目したような、対象静止画像に適した音響信号を対象静止画像に関連付けることが可能となる。
【発明の効果】
【００１８】
本発明によれば、複数の静止画像から得た静止画像又は動画像から抽出された静止画像に対して適切な音響信号を関連付けることのできる撮像装置を提供することができる。
【００１９】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１に示される撮像部の内部構成図である。
【図３】図１に示されるマイク部及び音響信号処理部の概略内部ブロック図である。
【図４】図１に示される撮像装置の外観斜視図である。
【図５】図３のチャンネル音響信号生成部にて生成されるＲ信号及びＬ信号のポーラパターン例を示す図（ａ）及び（ｂ）と、音源の角度を説明するための図（ｃ）である。
【図６】本発明の第１実施例に係り、撮像装置の前方に広がる風景を示す図（ａ）と、１回目及び２回目のシャッタ操作時における撮影範囲を示す図（ｂ）と、１回目及び２回目のシャッタ操作時における風景と撮像装置との関係イメージ図（ｃ）である。
【図７】本発明の第１実施例に係る撮像装置の動作手順を示すフローチャートである。
【図８】本発明の第１実施例に係る２枚の対象入力画像を示す図である。
【図９】図８に示される２枚の対象入力画像から生成可能な目標合成画像を示す図である。
【図１０】本発明の第１実施例に係り、各対象入力画像の撮影時刻を基準とした対象期間の設定方法を説明するための図である。
【図１１】図８に示される２枚の対象入力画像から生成可能な他の目標合成画像を示す図である。
【図１２】図１１の目標合成画像の生成時に設定される切り出し枠を説明するための図である。
【図１３】本発明の第１実施例に係り、対象合成画像に基づく動画像の構成を表す図である。
【図１４】本発明の第２実施例に係り、１〜３回目のシャッタ操作時における風景と撮像装置との関係イメージ図（ａ）と、１〜３回目のシャッタ操作時における撮影範囲を示す図（ｂ）である。
【図１５】本発明の第２実施例に係る３枚の対象入力画像を示す図である。
【図１６】図１５に示される３枚の対象入力画像から生成可能な目標合成画像を示す図である。
【図１７】本発明の第３実施例に係り、１回目及び２回目のシャッタ操作時における風景と撮像装置との関係イメージ図である。
【図１８】本発明の第４実施例の動作に特に関与する部位のブロック図である。
【図１９】本発明の第４実施例に係る入力画像列を示す図である。
【図２０】本発明の第５実施例の動作に特に関与する部位のブロック図である。
【図２１】本発明の第６実施例に係る強調対象エリアを説明するための図である。
【図２２】本発明の第６実施例に係り、撮像装置の前方に広がる風景を示す図である。
【図２３】本発明の第６実施例に係る動画像を示す図である。
【図２４】本発明の第６実施例に係り、抽出期間の意義を説明するための図（ａ）と、抽出期間中の音響信号から強調音響信号が生成される様子を示す図（ｂ）である。
【図２５】２枚の対象入力画像から生成される目標合成画像と、該目標合成画像内に設定される強調対象画像領域を表す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の一実施形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２２】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は撮像装置１の外部装置（不図示）に設けられたものである、と解釈することも可能である。
【００２３】
撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ＣＰＵ２３からの撮影制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御される。
【００２４】
撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。
【００２５】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから画像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。画像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像を表す画像信号を生成する。画像信号は、例えば、輝度信号及び色差信号を含む。マイク部１４は、撮像装置１の周辺音をアナログの音響信号に変換し、音響信号処理部１５は、このアナログの音響信号をデジタルの音響信号に変換する。
【００２６】
圧縮処理部１６は、画像信号処理部１３からの画像信号及び音響信号処理部１５からの音響信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の画像信号及び音響信号などの各種信号を記録することができる。
【００２７】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された画像信号及び音響信号を伸張する。伸張処理部１９による伸張後の画像信号又は画像信号処理部１３からの画像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音響信号は、音響信号出力回路２１を介してスピーカ２８に送られて音として出力される。
【００２８】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ、並びに、ズーム倍率を指定するためのズームボタン２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
【００２９】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作部２６に対する操作に応じて、各モード間の遷移は実施される。撮影モードにおいて、撮像装置１は、所定のフレーム周期にて周期的に被写体の撮影を行って被写体の撮影画像を順次取得することができる。
【００３０】
尚、本明細書では、或る画像の画像信号のことを単に画像と言うこともある。また、画像信号及び音響信号の圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、特に必要のない限り、画像信号及び音響信号の圧縮及び伸張の存在を無視する。従って、或る画像についての圧縮された画像信号を記録することを、単に、画像信号を記録する又は画像を記録すると表現することがある（音響信号についても同様）。また、或る画像の大きさ又は画像領域の大きさを、画像サイズとも呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。
【００３１】
図３は、マイク部１４及び音響信号処理部１５の概略内部ブロック図である。図４は、撮像装置１の外観斜視図である。マイク部１４は、撮像装置１の筐体上の互いに異なる位置に配置されたマイクロホン１４Ｌ及び１４Ｒを備える。マイクロホン１４Ｌは撮像装置１の筐体の左側に配置され、マイクロホン１４Ｒは撮像装置１の筐体の右側に配置されている。音響信号処理部１５には、Ａ／Ｄ変換器５１Ｌ及び５１Ｒと、チャンネル信号生成部５２と、リンク音響信号生成部５３と、が備えられている。
【００３２】
マイクロホン１４Ｌ及び１４Ｒの夫々は、自身が収音した音をアナログの音響信号に変換して出力する。Ａ／Ｄ変換器５１Ｌ及び５１Ｒは、夫々、マイクロホン１４Ｌ及び１４Ｒから出力されるアナログの音響信号を所定のサンプリング周期（例えば４８キロヘルツ）にてデジタルの音響信号に変換して出力する。Ａ／Ｄ変換器５１Ｌの出力信号を特に左原信号と呼び、Ａ／Ｄ変換器５１Ｒの出力信号を特に右原信号と呼ぶ。チャンネル音響信号生成部５２は、左原信号及び右原信号に基づいて、互いに異なる方向に指向軸を有するＬ信号及びＲ信号を生成する。
【００３３】
図４に示す如く、撮像部１１にて撮影可能な被写体が存在する方向を前方と定義し、その逆の方向を後方と定義する。前方及び後方は、撮像部１１の光軸に沿った方向である。また、右及び左とは、後方側から前方側を見たときの右及び左を意味するものとする。
【００３４】
マイクロホン１４Ｌ及び１４Ｒとして、指向性を有さない無指向性マイクロホンを採用することができる。マイクロホン１４Ｌ及び１４Ｒが無指向性マイクロホンである場合、左原信号及び右原信号は無指向性の音響信号（指向性を有さない音響信号）である。チャンネル音響信号生成部５２は、公知の指向性制御（ステレオ化処理）を無指向性の左原信号及び右原信号に施すことでＬ信号及びＲ信号を生成することができる。
【００３５】
無指向性の左原信号及び右原信号に対する指向性制御は、左原信号又は右原信号を遅延させる遅延処理と、左原信号又は右原信号を所定割合だけ減衰させる減衰処理と、遅延処理及び／又は減衰処理を経た左原信号及び右原信号の一方から他方を減算する減算処理と、によって実現される。具体的には例えば、指向性制御では、左原信号をマイクロホン１４Ｌ及び１４Ｒ間の距離に基づく時間だけ遅延させ且つ所定割合だけ減衰させることによって得た信号を、右原信号から減算することにより、左斜め後方４５°の方向に死角を有するＲ信号を生成することができる。このＲ信号のポーラパターンは図５（ａ）の曲線３１０のようになり、Ｒ信号は右斜め前方４５°の方向に指向軸を有するようになる。即ち、図５（ａ）に対応するＲ信号は、撮像装置１の右斜め前方４５°に位置する音源から撮像装置１に到来した音の成分に最も高い指向性を持った音響信号となる。同様に、右原信号をマイクロホン１４Ｌ及び１４Ｒ間の距離に基づく時間だけ遅延させ且つ所定割合だけ減衰させることによって得た信号を、左原信号から減算することにより、右斜め後方４５°の方向に死角を有するＬ信号を生成することができる。このＬ信号のポーラパターンは図５（ｂ）の曲線３１１のようになり、Ｌ信号は左斜め前方４５°の方向に指向軸を有するようになる。即ち、図５（ｂ）に対応するＬ信号は、撮像装置１の左斜め前方４５°に位置する音源から撮像装置１に到来した音の成分に最も高い指向性を持った音響信号となる。
【００３６】
マイクロホン１４Ｌ及び１４Ｒとして、指向性を有する指向性マイクロホン（例えば、単一指向性マイクロホン）を採用することもできる。この場合、指向性マイクロホンとしてのマイクロホン１４Ｌの指向軸の方向を左斜め前方４５°の方向に向けておくと共に、指向性マイクロホンとしてのマイクロホン１４Ｒの指向軸の方向を右斜め前方４５°の方向に向けておく。これにより、左原信号そのものをＬ信号とし、右原信号そのものをＲ信号として生成することができる。尚、上述したＬ信号及びＲ信号の指向性の具体的内容は例示であり、それらを様々に変形可能であることは言うまでもない。
【００３７】
また、図５（ｃ）に示すような、Ｘ軸及びＹ軸を座標軸としたＸＹ座標面（ＸＹ座標系）を定義する。Ｘ軸は、マイクロホン１４Ｌの中心とマイクロホン１４Ｒの中心とを通る軸であり、それらの中心の中間に原点Ｏが位置する。Ｙ軸は、原点ＯにてＸ軸と直交する。Ｙ軸に沿った方向は、撮像部１１の光軸（撮像素子３３にとっての光軸）の方向と一致する。Ｘ軸及びＹ軸は水平面と平行であるとする。原点Ｏからマイクロホン１４Ｒに向かう方向（即ち、撮像装置１の右方向）がＸ軸の正方向であるとし、原点Ｏから撮像装置１の前方に向かう方向がＹ軸の正方向であるとする。線分３１３は、原点Ｏと任意の音源である音源ＳＳとを結ぶ線分である。Ｘ軸と線分３１３との成す角度をθで表す。但し、角度θは、原点Ｏとマイクロホン１４Ｒの中心とを結ぶ線分から反時計周り方向に線分３１３を見たときの、Ｘ軸及び線分３１３間の角度であるとする。反時計周り方向とは、原点Ｏからマイクロホン１４Ｒの中心に伸びる線分を、撮像装置１の前方側に回転させる方向を指す。音源ＳＳの角度θは、音源ＳＳの位置する方向（即ち、音源ＳＳについての音源方向）を表す。
【００３８】
図３のリンク音響信号生成部５３は、左原信号及び右原信号より或いはＬ信号及びＲ信号よりリンク音響信号を生成する（詳細は後述）。録画ボタン２６ａの押下操作に伴う通常の動画像の撮影時においては、Ｌ信号及びＲ信号が動画像の画像信号と共に外部メモリ１８に記録される。但し、撮像装置１には音声付き静止画像（換言すれば音響信号付き静止画像）を生成する特殊機能が備えられており、この特殊機能が有効とされている場合、リンク音響信号が生成されて該リンク音響信号が特定の静止画像に関連付けられて外部メモリ１８に記録されると共に、再生モードにおいては表示部２７及びスピーカ２８を用いて該特定の静止画像が該リンク音響信号と共に再生される。撮影モードの一種である、上記特殊機能が働く撮像装置１の動作モードを特殊撮影モードと呼ぶ。
【００３９】
以下、特殊撮影モードにおける撮像装置１の動作及び構成例を第１〜第６実施例として説明する。矛盾なき限り、或る実施例について記載した事項を他の実施例に適用することも可能である。以下の説明は、特に記述なき限り、特殊撮影モードにおける撮像装置１の動作の説明である。
【００４０】
＜＜第１実施例＞＞
第１実施例を説明する。図６（ａ）に、撮像装置１の前方に広がる風景を示す。符号３２０が付された実線枠内の絵が、撮像装置１の前方に広がる風景である。風景３２０の中央付近には人物である被写体３２１が存在しており、被写体３２１の背景に山が存在している。被写体３２１は、発声によって音を発生する音源としての機能も持つ。
【００４１】
風景３２０の全体を同時に撮影画角内に収めることはできないが、ユーザが風景３２０の全体が写し出された画像の取得を希望していたとする。撮影画角とは、撮像部１１の画角を指す。図７は、その希望画像の生成手順を表すフローチャートである。この場合、ユーザは、まず、風景３２０の左側部分のみを撮影範囲に収めた状態で１回目のシャッタ操作を成す（ステップＳ１１）。図６（ｂ）の符号３３１が付された破線矩形枠内の範囲が、１回目のシャッタ操作が成された時点における撮影範囲である。
【００４２】
シャッタ操作とは、シャッタボタン２６ｂを押下する操作である。但し、シャッタ操作は、シャッタボタン２６ｂを押下する操作以外の操作（例えば所定のタッチパネル操作）であっても良い。撮影範囲とは、撮影画角内に収まる領域（実空間上の領域）を指し、該領域内に位置する各被写体の像が撮像素子３３上に結像する。シャッタ操作が成されると、シャッタ操作が成された時点における撮影範囲内の各被写体が撮影される。即ち、シャッタ操作が成された時点において撮影範囲内に位置している各被写体の像を表す撮影画像が静止画像として得られ、第１実施例において、その撮影画像が対象入力画像として取り扱われる。尚、シャッタ操作の有無に関係なく撮像部１１にて撮影された撮影画像を単に入力画像と呼ぶ（対象入力画像も入力画像の一種である）。
【００４３】
１回目のシャッタ操作を成した後、ユーザは、撮像装置１の撮影方向（即ち、撮像部１１の光軸の方向）を変更し（ステップＳ１２）、風景３２０の右側部分のみを撮影範囲に収めた状態で２回目のシャッタ操作を成す（ステップＳ１３）。図６（ｂ）の符号３３２が付された破線矩形枠内の範囲が、２回目のシャッタ操作が成された時点における撮影範囲である。撮影範囲３３１及び３３２が互いに重複する範囲を有するように（換言すれば、撮影範囲３３１及び３３２に共通の被写体が含まれるように）、ユーザは撮影方向の調整を行う。２回目のシャッタ操作前において、このような調整を支援する表示（ガイドライン表示など）を表示部２７にて行うようにしても良い。図６（ｂ）に示す例では、被写体３２１が風景３２０の中央付近に位置しており、撮影範囲３３１及び３３２の双方に被写体３２１が収まっている。図６（ｃ）は、１回目及び２回目のシャッタ操作時における風景３２０と撮像装置１との関係イメージ図である。図６（ｃ）の下方に示された２つの実線四角枠は、１回目及び２回目のシャッタ操作時における撮像装置１の筐体を表し、それらから伸びる破線は撮像部１１の視野の外縁を表している（後述する図１４（ａ）及び図１７についても同様）。
【００４４】
図８（ａ）の符号３４１は、１回目のシャッタ操作により得られた１枚目の対象入力画像であり、図８（ｂ）の符号３４２は、２回目のシャッタ操作により得られた２枚目の対象入力画像である。対象入力画像が必要枚数分だけ撮影されると、画像信号処理部１３は、複数の対象入力画像から１枚の静止画像である目標合成画像を生成する画像合成処理を実行する（ステップＳ１４）。第１実施例では、２枚の対象入力画像３４１及び３４２から、図９（ａ）に示す１枚の目標合成画像３４３が生成される。
【００４５】
画像信号処理部１３は、対象入力画像３４１及び３４２間の共通の被写体が重なり合うように対象入力画像３４１及び３４２を貼り合わせて合成することで目標合成画像３４３を生成する。このような合成は、一般にイメージモザイキングと呼ばれており、公知のイメージモザイキングの方法を画像信号処理部１３の画像合成処理に利用することができる。
【００４６】
画像信号処理部１３が目標合成画像３４３を生成する一方で、音響信号処理部１５は、各対象入力画像の撮影時刻周辺におけるマイクロホン１４Ｌ及び１４Ｒの出力信号に基づきリンク音響信号を生成する（ステップＳ１５）。図９（ｂ）は、生成されるリンク音響信号のイメージ図である。リンク音響信号の生成方法について説明する。
【００４７】
特殊撮影モードでは、マイク部１４及び音響信号処理部１５により左原信号及び右原信号並びにＬ信号及びＲ信号の生成が継続的に成されていると共に、得られた左原信号及び右原信号又はＬ信号及びＲ信号は、必要分だけ一時的に内部メモリ１７に保存される。対象入力画像を得るためのシャッタ操作が成された際、音響信号処理部１５は、対象入力画像ごとに、シャッタ操作の成された時点を基準とする対象期間を設定する。第１実施例では、対象入力画像３４１に対応する第１対象期間と対象入力画像３４２に対応する第２対象期間が設定される。
【００４８】
今、対象入力画像３４１及び３４２を得るためのシャッタ操作が成された時刻を、夫々、Ｔ1及びＴ2にて表す。対象入力画像３４１及び３４２の撮影時刻が、夫々、Ｔ1及びＴ2であると捉えても良い。或る画像の撮影時刻とは、より詳細には例えば、その画像の画像信号を取得するために撮像素子３３で実施される露光の開始時刻、中間時刻又は終了時刻を指す。図１０（ａ）に示す如く、第１対象期間の開始時刻及び終了時刻はそれぞれ時刻（Ｔ1−ΔＴA）及び（Ｔ1＋ΔＴB）とされ、第２対象期間の開始時刻及び終了時刻はそれぞれ時刻（Ｔ2−ΔＴA）及び（Ｔ2＋ΔＴB）とされる。ここで、ΔＴA及びΔＴBは、時間を単位とした所定の正の値を有し、それらの値をユーザが指定できるようにしておいても良い。時刻（Ｔ1−ΔＴA）は、時刻Ｔ1より時間ΔＴAだけ前の時刻を指し、時刻（Ｔ1＋ΔＴB）は、時刻Ｔ1より時間ΔＴBだけ後の時刻を指す（時刻（Ｔ2−ΔＴA）及び（Ｔ2＋ΔＴB）なども同様）。
【００４９】
図１０（ａ）に示す如く時刻（Ｔ1＋ΔＴB）が時刻（Ｔ2−ΔＴA）よりも前の時刻になる場合、第１対象期間の終了時刻を後にずらすことによって或いは第２対象期間の開始時刻を前にずらすことによって或いはその双方によって、図１０（ｂ）に示す如く第１対象期間の終了時刻と第２対象期間の開始時刻を一致させるようにしてもよい。また、時刻（Ｔ1＋ΔＴB）が時刻（Ｔ2−ΔＴA）よりも後の時刻になる場合には、図１０（ｃ）に示す如く、時刻Ｔ1及びＴ2間のちょうど中間の時刻が第１対象期間の終了時刻及び第２対象期間の開始時刻と一致するように第１及び第２対象期間の長さを縮小してもよい。また、上述のように定めた第１及び第２対象期間から無音期間を除去する修正を施し、その修正後の第１及び第２対象期間を最終的な第１及び第２対象期間として設定するようにしても良い。無音期間とは、左原信号及び右原信号の信号レベル又はＬ信号及びＲ信号の信号レベルが一定レベル以下となっている期間を指す。
【００５０】
各対象期間の設定後、音響信号処理部１５は、各対象期間中に生成された左原信号及び右原信号又はＬ信号及びＲ信号を内部メモリ１７から読み出し、読み出した左原信号及び右原信号又はＬ信号及びＲ信号から、特定の対象方向に指向性を持つ（換言すれば、特定の対象方向に指向軸を持つ）リンク音響信号を生成する。
【００５１】
対象方向とは、目標合成画像に存在している対象被写体と撮像装置１とを結ぶ、実空間上の方向である（但し、それ以外の方向を対象方向とすることも可能である）。対象被写体は音源としての機能も有している。図３のリンク音響信号生成部５３は、画像空間上における対象被写体の位置に基づき対象方向を決定することもできる。今、この対象被写体が被写体３２１である場合を考える。この場合、音源ＳＳとしての被写体３２１の角度θが定まれば対象方向は特定され（図５（ｃ）参照）、被写体３２１の声の到来方向に指向軸を持ったリンク音響信号が生成される。リンク音響信号の生成方法の説明を交えつつ、対象方向の設定方法を幾つか例示する。
【００５２】
――対象方向の第１設定方法――
対象方向の第１設定方法を説明する。第１設定方法において、撮像装置１は、画像処理を用いて対象被写体及び対象方向を設定する。具体的には例えば、対象入力画像の画像信号に基づき対象入力画像から人物の顔を検出する顔検出処理を実行できるように画像信号処理部１３を形成しておき、画像信号処理部１３が対象入力画像３４１及び３４２に顔検出処理を実行することで対象入力画像３４１及び３４２上における被写体３２１の位置（例えば、被写体３２１としての人物の顔領域又は胴体領域の中心位置）を検出する。
【００５３】
リンク音響信号生成部５３は、対象入力画像３４１上における被写体３２１の位置と時刻Ｔ1における焦点距離から、時刻Ｔ1における被写体３２１についての角度θ（以下、θ1で表す）を求め、対象入力画像３４２上における被写体３２１の位置と時刻Ｔ2における焦点距離から、時刻Ｔ2における被写体３２１の角度θ（以下、θ2で表す）を求める。時刻Ｔ1における角度θ1は、第１対象期間中における被写体３２１の角度θとして取り扱われ、時刻Ｔ2における角度θ2は、第２対象期間中における被写体３２１の角度θとして取り扱われる。尚、本明細書において、特に記述なき限り、焦点距離とは撮像部１１の焦点距離を指す。
【００５４】
リンク音響信号生成部５３は、角度θ1に基づき、第１対象期間中のＬ信号及びＲ信号から第１対象期間中のリンク音響信号を生成することができる。具体的には、角度θ1に対応する音源（即ち被写体３２１）から撮像装置１に到来した音の成分が第１対象期間中のリンク音響信号において強調されるように、角度θ1に応じた混合比率にて第１対象期間中のＬ信号及びＲ信号を混合し、この混合によって得たモノラル信号を第１対象期間中のリンク音響信号とすることができる。例えば、θ1＝４５°である時には、Ｌ信号に係数ｋL45を乗じた信号とＲ信号に係数ｋR45を乗じた信号を足し合わせることで第１対象期間中のリンク音響信号を生成し、θ1＝１３５°である時には、Ｌ信号に係数ｋL135を乗じた信号とＲ信号に係数ｋR135を乗じた信号を足し合わせることで第１対象期間中のリンク音響信号を生成する。ここで、０≦ｋL45＜ｋR45、且つ、０≦ｋR135＜ｋL135、であり、単純には例えば、ｋL45＝０、ｋR45＝１、ｋL135＝１、ｋR135＝０、とすることができる。第１実施例の想定下では、角度θ1は９０°未満であって４５°に近く、角度θ2は９０°以上であって１３５°に近い（図５（ｃ）及び図６（ｃ）も参照）。
【００５５】
同様にして、リンク音響信号生成部５３は、角度θ2に基づき、第２対象期間中のＬ信号及びＲ信号から第２対象期間中のリンク音響信号を生成することができる。つまり、角度θ2に対応する音源（即ち被写体３２１）から撮像装置１に到来した音の成分が第２対象期間中のリンク音響信号において強調されるように、角度θ2に応じた混合比率にて第２対象期間中のＬ信号及びＲ信号を混合し、この混合によって得たモノラル信号を第２対象期間中のリンク音響信号とすることができる。混合の具体的方法例は、第１対象期間のそれと同様である。
【００５６】
マイクロホン１４Ｌ及び１４Ｒが無指向性マイクロホンである場合には、無指向性の左原信号及び右原信号に対する指向性制御によってリンク音響信号を直接生成するようにしても良い。即ち、無指向性の左原信号及び右原信号から指向性を有するＬ信号及びＲ信号を生成するための指向性制御と同様の指向性制御を、第１対象期間中における無指向性の左原信号及び右原信号に施すことで第１対象期間中のリンク音響信号を生成するようにしても良く、同様に、第２対象期間中における無指向性の左原信号及び右原信号に施すことで第２対象期間中のリンク音響信号を生成するようにしても良い。これらの生成は、角度θiに対応する音源（即ち被写体３２１）から撮像装置１に到来した音の成分に最も高い指向性を持たせた音響信号が第ｉ対象期間中のリンク音響信号となるように、対象期間ごとに角度θiに基づき実行される（ここで、ｉは１又は２）。この方法によっても、角度θiに対応する音源（即ち被写体３２１）から撮像装置１に到来した音の成分が第ｉ対象期間中のリンク音響信号において強調されることとなる（ｉは１又は２）。
【００５７】
――対象方向の第２設定方法――
対象方向の第２設定方法を説明する。第２設定方法では、複数の対象入力画像の位置関係から対象方向を決定する。以下、具体的に説明する。
【００５８】
画像信号処理部１３は、対象入力画像３４１及び３４２から目標合成画像３４３を生成する際、対象入力画像３４１及び３４２間における特徴点の対応付けを行う。つまり、対象入力画像３４１上の特徴点が対象入力画像３４２上のどの点に対応しているかを検出する（対応点同士が目標合成画像３４３上で重なり合うように対象入力画像３４１及び３４２を合成することで目標合成画像３４３が得られる）。第１入力画像上の特徴点の位置から、その特徴点に対応する第２入力画像上の点の位置へと向かう、画像空間上のベクトルを位置ずれベクトルと呼ぶ。ここで、第２入力画像は、第１入力画像の撮影よりも後の撮影によって得られた入力画像である。対象入力画像３４１及び３４２に関しては、対象入力画像３４１が第１入力画像に対応し、対象入力画像３４２が第２入力画像に対応する。第１及び第２入力画像の画像信号に基づき、代表点マッチング法、ブロックマッチング法、勾配法などを用いて第１及び第２入力画像間のオプティカルフローを算出し、該オプティカルフローを形成する複数の動きベクトルの平均ベクトルを、第１及び第２入力画像間の位置ずれベクトルとしてもよい。
【００５９】
リンク音響信号生成部５３は、対象入力画像３４１及び３４２間の位置ずれベクトルに基づき対象方向を決定する。本例において、対象入力画像３４１及び３４２間の位置ずれベクトルの向きは右向きである。従って、ユーザの注目する対象被写体は対象入力画像３４１上では右側よりに位置し、対象入力画像３４２上では左側よりに位置していると推定される。よって、対象入力画像３４１及び３４２間の位置ずれベクトルの向きが右向きであることに基づき“０°＜θ1＜９０°＜θ2＜１８０°”を満たすように、角度θ1及びθ2を決定する。この際、時刻Ｔ1及びＴ2における焦点距離並びに位置ずれベクトルの大きさを用いてθ1及びθ2の具体的数値を決定しても良いし、或いは、位置ずれベクトルの向きが右向きであるという事実のみに基づき“０°＜θ1＜９０°＜θ2＜１８０°”を満たす範囲でθ1及びθ2を予め定めておいた角度に設定するようにしても良い（例えば、θ1＝４５°且つθ2＝１３５°とする）。角度θiの導出後に実行されるリンク音響信号の生成方法は、上述したものと同様である。
【００６０】
尚、図８（ａ）及び（ｂ）に示す状況には適合しないが、仮に、対象入力画像３４１及び３４２間の位置ずれベクトルの向きが左向きであったならば、“０°＜θ2＜９０°＜θ1＜１８０°”を満たすように角度θ1及びθ2を決定すればよい。
【００６１】
――対象方向の第３設定方法――
対象方向の第３設定方法を説明する。第３設定方法において、撮像装置１は、音響信号に基づく音源方向推定処理によって対象方向を設定する。音源方向推定処理では、無指向性の左原信号及び右原信号の位相差に基づき音源ＳＳの角度θを検出する。第３設定方法において、リンク音響信号生成部５３は、対象期間ごとに音源方向推定処理を実行する。従って、対象期間ごとに第ｉ対象期間中における無指向性の左原信号及び右原信号の位相差から角度θiが検出される（ｉは１又は２）。複数の無指向性マイクロホンの出力信号の位相差から音源の位置する方向（角度θに相当）を推定する方法は周知であるため、その方法の詳細説明を割愛する。尚、各対象期間の全部又は一部において音源ＳＳとしての被写体３２１が声を発していることを、第３設定方法は前提としている。角度θiの導出後に実行されるリンク音響信号の生成方法は、上述したものと同様である。
【００６２】
――対象方向の第４設定方法――
対象方向の第４設定方法を説明する。第４設定方法では、ユーザが、マニュアル操作で対象被写体及び／又は対象方向を指定する。マニュアル操作は、ユーザによる操作部２６に対する操作やタッチパネル操作である。このマニュアル操作に基づき、対象入力画像３４１及び３４２上の対象被写体の位置が指定される、或いは、対象入力画像３４１及び３４２における対象方向を表す角度θ1及びθ2が指定される。ユーザが、マニュアル操作で被写体３２１を対象被写体として指定した場合、対象入力画像３４１及び３４２上における被写体３２１の位置が定まるので、上述した方法により、その位置を用いて角度θ1及びθ2が決定される。角度θiの導出後に実行されるリンク音響信号の生成方法は、上述したものと同様である。
【００６３】
［目標合成画像の生成方法の変形例］
尚、目標合成画像３４３は、対象入力画像３４１の全体と対象入力画像３４２の全体をイメージモザイキングによって合成して得たものであるが、対象入力画像３４１の一部と対象入力画像３４２の全体又は一部、或いは、対象入力画像３４１の全体又は一部と対象入力画像３４２の全体、或いは、対象入力画像３４１の一部と対象入力画像３４２の一部をイメージモザイキングによって合成することで目標合成画像を生成するようにしても良い。例として、対象入力画像３４１の一部と対象入力画像３４２の一部をイメージモザイキングによって合成することで得た目標合成画像３４３ａを、図１１に示す。
【００６４】
目標合成画像３４３ａは、対象入力画像３４１内に設定された切り出し枠３４１ａ内の画像と、対象入力画像３４２内に設定された切り出し枠３４２ａ内の画像を、イメージモザイキングによって合成することで得た画像である（図１２（ａ）及び（ｂ）参照）。切り出し枠３４１ａ内の画像の画像サイズは対象入力画像３４１の画像サイズよりも小さく、同様に、切り出し枠３４２ａ内の画像の画像サイズは対象入力画像３４２の画像サイズよりも小さい。
【００６５】
画像信号処理部１３は、上述の第１〜第４設定方法の何れかを利用して、切り出し枠３４１ａ及び３４２ａ内に共通の被写体（対象被写体としての被写体３２１）が含まれるように切り出し枠３４１ａ及び３４２ａを設定した後、切り出し枠３４１ａ及び３４２ａ内の画像を対象入力画像３４１及び３４２から抽出し、抽出した２枚の画像から目標合成画像３４３ａを生成する。切り出し枠３４１ａ内の画像と切り出し枠３４２ａ内の画像から目標合成画像３４３ａを生成する方法は、対象入力画像３４１及び３４２から目標合成画像３４３を生成する方法と同様である。目標合成画像３４３ａの画像サイズ及びアスペクト比が対象入力画像（３４１又は３４２）のそれらと同じとなるように、目標合成画像３４３ａを生成しても良い。
【００６６】
［リンク音響信号と目標合成画像との関連付け］
上述のようにして得られた各対象期間のリンク音響信号は時系列上に結合される。この結合によって得られたリンク音響信号を、便宜上、リンク音響信号αと呼ぶ。第１実施例では、対象期間が２つのため、第１及び第２対象期間のリンク音響信号を時系列上に結合したものがリンク音響信号αとなる。
【００６７】
図１のＣＰＵ２３は、目標合成画像の画像信号とリンク音響信号αの関連付けを行い、それらを関連付けた状態で外部メモリ１８に記録する（図７のステップＳ１６）。この記録の具体的方法として、以下の第１〜第４記録方法を含む様々な方法を採用することができる。
第１記録方法では、目標合成画像の画像信号とリンク音響信号αを互いに関連付けた状態で外部メモリ１８に記録する。
第２記録方法では、目標合成画像の画像信号と、リンク音響信号αと、各対象期間中におけるＬ信号及びＲ信号を、互いに関連付けた状態で外部メモリ１８に記録する。
第３記録方法では、目標合成画像の画像信号と、目標合成画像の元となる複数の対象入力画像（第１実施例において対象入力画像３４１及び３４２）の画像信号と、リンク音響信号αと、各対象期間中におけるＬ信号及びＲ信号を、互いに関連付けた状態で外部メモリ１８に記録する。
第４記録方法では、目標合成画像に基づく動画像の画像信号と、動画像用音響信号に変換されたリンク音響信号αを、互いに関連付けた状態で外部メモリ１８に記録する。
【００６８】
目標合成画像に基づく動画像とは、図１３に示す如く、１枚の目標合成画像を単純に時系列上に繰り返して並べた構成を有する動画像であり、動画像用音響信号に変換されたリンク音響信号αとは、リンク音響信号αをＭＰ４（Moving Picture Experts Groupにて規定されたＭＰ４）等の規格に従って動画像用の音響信号に変換したものを指す。一般に静止画像は音響信号と共に再生されることが想定されていないため、静止画像を音響信号と共に再生するためには特定の再生制御が必要となるが、第４記録方法を用いれば、目標合成画像を容易にリンク音響信号αと共に再生することが可能となる。
【００６９】
尚、第１〜第４記録方法を複数個組み合わせて実施することも可能である。リンク音響信号αを記録する時に、音響信号を圧縮しても良いし、圧縮しなくても良い（後述の他の実施例においても同様）。
【００７０】
外部メモリ１８に共通のファイルを作成し、互いに関連付けられるべき画像信号及び音響信号を該共通のファイルに保存することで、それらの関連付けを行うことができる。或いは、互いに関連付けられるべき画像信号及び音響信号を別々のファイルに保存し、それらのファイル同士を互いに関連付けておくことで、画像信号及び音響信号の関連付けを行うこともできる。
【００７１】
目標合成画像及びリンク音響信号αの記録後、再生モードにおいて、目標合成画像の再生が指示されると、目標合成画像が表示部２７に表示されると同時に、目標合成画像に関連付けられたリンク音響信号αがスピーカ２８を介して音として再生される（後述の他の実施例においても同様）。
【００７２】
第１実施例によれば、複数の静止画像から音声付き静止画像としての目標合成画像を生成する際、目標合成画像に適した音響信号（目標合成画像上の特定音源に注目したような音響信号）が生成されるため、音声付き静止画像に付加価値を与えてユーザメリットを向上させることが可能となる。
【００７３】
＜＜第２実施例＞＞
第２実施例を説明する。第１実施例では、２枚の対象入力画像から１枚の目標合成画像を生成しているが、３枚以上の対象入力画像から１枚の目標合成画像を生成するようにしても良い。ユーザの指示等に基づき、目標合成画像の元となる対象入力画像の枚数を予め定めておくことができる。また、全ての対象入力画像の取得が完了した旨を表す所定操作がユーザにより成されるまで対象入力画像の取得を続け、該所定操作が成された時点で対象入力画像の取得を終了するようにしても良い（この場合、該所定操作が成される時点まで、目標合成画像の元となる対象入力画像の枚数は確定しない）。
【００７４】
例として、３枚の対象入力画像から１枚の目標合成画像を生成する方法を説明する。４枚以上の対象入力画像から１枚の目標合成画像を生成する方法も同様とされる。
【００７５】
図１４（ａ）は、１〜３回目のシャッタ操作時における風景３２０と撮像装置１との関係イメージ図である。図１４（ａ）に示す例では、所謂流し撮りを行うが如く、撮像装置１の筐体を右方向に振るカメラ操作を交えながら風景３２０を３回に分けて撮影する。つまり、ユーザは、風景３２０の左側部分のみを撮影範囲に収めた状態で１回目のシャッタ操作を成し、その後、撮影装置１の撮影方向を変更してから、風景３２０の中央部分のみを撮影範囲に収めた状態で２回目のシャッタ操作を成し、その後、更に撮影装置１の撮影方向を変更してから、風景３２０の右側部分のみを撮影範囲に収めた状態で３回目のシャッタ操作を成す。図１４（ｂ）において符号４０１〜４０３が付された破線矩形枠内の範囲が、夫々、１回目〜３回目のシャッタ操作が成された時点における撮影範囲である。撮影範囲４０１及び４０２が互いに重複する範囲を有するように（換言すれば、撮影範囲４０１及び４０２に共通の被写体が含まれるように）、且つ、撮影範囲４０２及び４０３が互いに重複する範囲を有するように（換言すれば、撮影範囲４０２及び４０３に共通の被写体が含まれるように）、ユーザは撮影方向の調整を行う。２回目及び３回目のシャッタ操作前において、このような調整を支援する表示（ガイドライン表示など）を表示部２７にて行うようにしても良い。
【００７６】
図１５（ａ）〜（ｃ）の符号４１１〜４１３は、夫々、１回目〜３回目のシャッタ操作により得られた対象入力画像を表す。第２実施例において、画像信号処理部１３は、３枚の対象入力画像４１１〜４１３に第１実施例で述べた画像合成処理を施すことで図１６の目標合成画像４２０を生成する。つまり、イメージモザイキングを用い、対象入力画像４１１及び４１２間の共通の被写体が重なり合うように且つ対象入力画像４１２及び４１３間の共通の被写体が重なり合うように、対象入力画像４１１〜４１３を貼り合わせて合成することで目標合成画像４２０を生成する。図１５（ａ）〜（ｃ）に示す例では（図１４（ａ）も参照）、対象入力画像４１１及び４１３間に共通の被写体が含まれていないが、対象入力画像４１１及び４１３間に共通の被写体が含まれている場合には、目標合成画像４２０の生成において、対象入力画像４１１及び４１３間の共通の被写体も重なり合うように合成が成される。尚、第１実施例でも述べたように、各対象入力画像に切り出し枠を設定して切り出し枠内の画像のみを用いて目標合成画像を生成するようにしてもよい。
【００７７】
画像信号処理部１３が目標合成画像４２０を生成する一方で、音響信号処理部１５は、各対象入力画像の撮影時刻周辺におけるマイクロホン１４Ｌ及び１４Ｒの出力信号に基づきリンク音響信号を生成する。第１実施例と同様、時刻Ｔ1を内包する第１対象期間、時刻Ｔ2を内包する第２対象期間及び時刻Ｔ3を内包する第３対象期間を設定し、各対象期間中における左原信号及び右原信号又は各対象期間中におけるＬ信号及びＲ信号から、特定の対象方向に指向性を持つ（換言すれば、特定の対象方向に指向軸を持つ）リンク音響信号を生成する。第２実施例において、時刻Ｔ1〜Ｔ3は、夫々、１〜３回目のシャッタ操作が成された時刻（或いは対象入力画像４１１〜４１３の撮影時刻）である。
【００７８】
第１実施例で述べた第１〜第４設定方法の何れかを用いて対象方向を設定し、その設定結果に基づき各対象期間のリンク音響信号を生成することができる。但し、図１５（ａ）〜（ｃ）に示す例では（図１４（ａ）も参照）、幾つかの対象入力画像中に対象被写体となるべき被写体３２１が含まれていないため、第１設定方法を単体で使用することは不適である。
【００７９】
例として、第２設定方法を利用するときの処理内容について説明する。対象方向に位置する対象被写体が被写体３２１であることを想定する。画像信号処理部１３は、対象入力画像４１１及び４１２間の位置ずれベクトルＶＥＣA及び対象入力画像４１２及び４１３間の位置ずれベクトルＶＥＣBに基づき対象方向を決定する。本例において、それらの位置ずれベクトルは共に右向きである。従って、ユーザの注目する対象被写体は、対象入力画像４１１上では右側よりに位置し、対象入力画像４１２上では中央付近に位置し、対象入力画像４１３上では左側よりに位置していると推定される。よって、位置ずれベクトルＶＥＣA及びＶＥＣBの向きが右向きであることに基づき“０°＜θ1＜θ2＜θ3＜１８０°”を満たすように、角度θ1〜θ3を決定する。第２実施例において、角度θ1〜θ3は、夫々、第１〜第３対象期間における音源ＳＳとしての対象被写体３２１の角度（又は、その角度の推定値）を表す。
【００８０】
時刻Ｔ1〜Ｔ3における焦点距離並びに位置ずれベクトルＶＥＣA及びＶＥＣBの大きさを用いてθ1〜θ3の具体的数値を決定しても良いし、或いは、位置ずれベクトルＶＥＣA及びＶＥＣBの向きが右向きであるという事実のみに基づき“０°＜θ1＜θ2＜θ3＜１８０°”を満たす範囲でθ1〜θ3を予め定めておいた角度に設定するようにしても良い（例えば、θ1＝４５°、θ2＝９０°且つθ3＝１３５°、とする）。
【００８１】
また、対象被写体が含まれている対象入力画像の画像信号を用いて該対象入力画像上における対象被写体の位置を検出し、その検出位置から対象被写体が含まれている対象入力画像に対応する角度θを決定し、その後、他の対象入力画像に対応する角度θを決定するようにしても良い。即ち、本例では、対象入力画像４１２に対象被写体が含まれている（対象入力画像４１２に対象被写体の画像信号が存在している）ため、対象入力画像４１２の画像信号を用いて対象入力画像４１２上における対象被写体３２１の位置を検出し、その検出位置と時刻Ｔ2における焦点距離から時刻Ｔ2における角度θ2を求める。仮に、対象被写体３２１が対象入力画像４１２の中心に位置しているならば、θ2＝９０°、とされる。その後、求めた角度θ2と、時刻Ｔ1〜Ｔ3における焦点距離と、位置ずれベクトルＶＥＣA及びＶＥＣBの向き及び大きさを用いて、“０°＜θ1＜θ2＜θ3＜１８０°”を満たす範囲で角度θ1及びθ3の具体的数値を決定するようにしても良い。
【００８２】
何れの方法によっても、音の強調方向が時間経過と共に撮像装置１の右側から左側に変化してゆくような、リンク音響信号の生成が成される。角度θiの導出後に実行されるリンク音響信号の生成方法は、第１実施例で述べたものと同様である。これにより、第１実施例と同様、角度θiに対応する音源（即ち被写体３２１）から撮像装置１に到来した音の成分に最も高い指向性を持たせた音響信号が、第ｉ対象期間中のリンク音響信号として生成される。つまり、角度θiに対応する音源（即ち被写体３２１）から撮像装置１に到来した音の成分が第ｉ対象期間中のリンク音響信号において強調されることとなる（ｉは、１、２又は３）。
【００８３】
第１〜第３対象期間のリンク音響信号は時系列上に結合され、この結合によって得られたリンク音響信号が、第２実施例におけるリンク音響信号αとなる。リンク音響信号αと目標合成画像の関連付け及び記録方法は、第１実施例で述べたものと同様である。
【００８４】
＜＜第３実施例＞＞
第３実施例を説明する。第１及び第２実施例では、対象入力画像の撮影間において撮像装置１の撮影方向を左右方向（水平方向）に変化させているが、対象入力画像の撮影間における撮影方向の変化方向は上下方向（垂直方向）であっても良い。
【００８５】
この場合において、２枚の対象入力画像から目標合成画像を生成するならば、１枚目の対象入力画像の撮影後、撮像装置１の撮影方向を上方向又は下方向に変化させてから、２枚目の対象入力画像の撮影を行う。撮像装置１の撮影方向を上方向又は下方向に変化させることによって、撮像部１１の光軸は鉛直面に沿って回転する。図１７は、その２枚の対象入力画像を得る際における撮影方向変化のイメージ図であると共に、１回目及び２回目のシャッタ操作時における風景と撮像装置１との関係イメージ図である。
【００８６】
対象入力画像の撮影間の撮影方向の変化方向が上下方向である場合においても、目標合成画像及びリンク音響信号の生成方法は第１又は第２実施例のそれと同様であり、第１又は第２実施例における左右を上下に置き換えて考えれば足る。但し、マイクロホン１４Ｌ及び１４Ｒとして無指向性マイクロホンが用いられる場合には、上下方向に対する指向性制御を可能とすべく、マイクロホン１４Ｌ及び１４Ｒを上下方向にずらして配置しておく必要がある。即ち、図５（ｃ）のＸ軸を水平面に対して傾けておく必要がある（単純には例えば、Ｘ軸を水平面と直交させる）。
【００８７】
更に、第１又は第２実施例と第３実施例を組み合わせて実施するようにしても良い。即ち、水平及び垂直方向に位置ずれを有する複数の対象入力画像を撮影し、その複数の対象入力画像から１枚の目標合成画像を生成するようにしても良い。この場合においても、対象方向に指向性を持ったリンク音響信号が生成されることに変わりはない。
【００８８】
後述の第４及び第５実施例においても、対象入力画像の撮影間において撮像装置１の撮影方向が左右方向に変化していることを想定しているが、第３実施例で述べた事項を、後述の第４及び第５実施例に適用することも可能である。
【００８９】
＜＜第４実施例＞＞
第４実施例を説明する。上述の第１〜第３実施例では、シャッタ操作に従って対象入力画像を取得するようにしているが、第４及び後述の第５実施例では、周期的に入力画像を撮像部１１にて撮影させ、得られたｎ枚の入力画像の中から目標合成画像の元となるｍ枚の対象入力画像を画像選択処理によって抽出する。ｎ及びｍは２以上の整数である。画像選択処理によって結果的にｎ枚の入力画像の全てが対象入力画像として選択されることもあり、その場合は、ｎ＝ｍとなるが、以下の説明では、画像選択処理の存在意義を明確にするべく、ｎ＞ｍであることを想定する（第５実施例も同様）。更に、ｍ＝３であるとする（第５実施例も同様）。
【００９０】
図１８は、第４実施例の動作に特に関与する部位のブロック図である。フレームメモリ７１及び対象入力画像メモリ７４を内部メモリ１７に設けておくことができ、動き検出部７２、画像選択部７３及び画像合成部７５を画像信号処理部１３に設けておくことができる。尚、対象入力画像の画像信号を保存しておく対象入力画像メモリ７４及びｍ枚の対象入力画像から目標合成画像を生成する画像合成部７５は、上述の第１〜第３実施例においても利用されうる。
【００９１】
第４実施例に係る特殊撮影モードの動作が開始すると、撮像部１１により所定のフレーム周期にて周期的に入力画像の撮影が成される。ｉ番目に撮影された入力画像を記号ＩＮiにて表す（ｉは整数）。今、図１９に示す入力画像ＩＮ1〜ＩＮ6を含む入力画像列が取得された場合を想定する。この入力画像列は、撮像装置１を右方向に非等速的に振りながら対象被写体としての被写体４５０を撮影した動画像である。従って、入力画像ＩＮ1〜ＩＮ6の撮影時において、対象被写体としての被写体４５０が撮影範囲に含められている。被写体４５０は音源としての機能も持つ人物である。
【００９２】
最新の入力画像の画像信号が、ＡＦＥ１２を介して、フレームメモリ７１、動き検出部７２及び画像選択部７３に与えられる。フレームメモリ７１は、取得された最新の入力画像の画像信号を保存する。動き検出部７２は、フレームメモリ７１に保存された画像信号と、ＡＦＥ１２を介して与えられる最新の入力画像の画像信号に基づき、時間的に隣接する２枚の入力画像間の動き量を算出する。ここで算出される動き量は、上述の位置ずれベクトルである。入力画像ＩＮi〜ＩＮi+1間の動き量、即ち、入力画像ＩＮi〜ＩＮi+1間の位置ずれベクトルをＶＥＣ［ｉ，ｉ＋１］にて表す。
【００９３】
画像選択部７３は、動き検出部７２にて算出された位置ずれベクトルに基づいて各入力画像を対象入力画像として選択すべきか否かを判断し、対象入力画像として選択した入力画像の画像信号を対象入力画像メモリ７４に保存する。画像選択部７３による対象入力画像の選択方法について説明する。
【００９４】
画像選択部７３は、まず、１番目に取得される入力画像ＩＮ1を１枚目の対象入力画像として選択する。
【００９５】
次に、２枚目の対象入力画像を選択するために、画像選択部７３は、動き検出部７２の算出結果を用いて１枚目の対象入力画像ＩＮ1を基準とした位置ずれベクトルＶＥＣ［１，ｊ］を導出する。ｊは２以上の整数である。ｊが３以上の整数である場合、位置ずれベクトルＶＥＣ［１，ｊ］は、位置ずれベクトルＶＥＣ［１，２］、［２，３］・・・、［ｊ−１，ｊ］の合成ベクトルである。
【００９６】
画像選択部７３は、変数ｊの値を２を起点として１ずつ増加させながら、位置ずれベクトルＶＥＣ［１，ｊ］の大きさを所定の基準値ＶＥＣTHと比較し（ＶＥＣTH＞０）、前者が後者未満であれば入力画像ＩＮ1及びＩＮj間に対象被写体の動きはない或いは撮影方向に変化はないと判断して入力画像ＩＮjを対象入力画像から除外する一方、前者が後者以上であれば入力画像ＩＮ1及びＩＮj間に対象被写体の動きがある或いは撮影方向に変化があると判断して入力画像ＩＮjを２枚目の対象入力画像として選択する。今、位置ずれベクトルＶＥＣ［１，２］及び［１，３］の大きさが基準値ＶＥＣTH未満であって、且つ、位置ずれベクトルＶＥＣ［１，４］の大きさが基準値ＶＥＣTH以上であるとする。そうすると、入力画像ＩＮ4が２枚目の対象入力画像として選択される（図１９参照）。
【００９７】
２枚目の対象入力画像の選択後、３枚目の対象入力画像を選択するために、画像選択部７３は、動き検出部７２の算出結果を用いて２枚目の対象入力画像ＩＮ4を基準とした位置ずれベクトルＶＥＣ［４，ｊ］を導出する。位置ずれベクトルＶＥＣ［４，ｊ］の導出時におけるｊは５以上の整数であり、ｊが６以上の整数である場合、位置ずれベクトルＶＥＣ［４，ｊ］は、位置ずれベクトルＶＥＣ［４，５］、［５，６］・・・、［ｊ−１，ｊ］の合成ベクトルである。
【００９８】
２枚目の対象入力画像を選択した場合と同様、画像選択部７３は、変数ｊの値を５を起点として１ずつ増加させながら、位置ずれベクトルＶＥＣ［４，ｊ］の大きさを上記基準値ＶＥＣTHと比較し、前者が後者未満であれば入力画像ＩＮ4及びＩＮj間に対象被写体の動きはない或いは撮影方向に変化はないと判断して入力画像ＩＮjを対象入力画像から除外する一方、前者が後者以上であれば入力画像ＩＮ4及びＩＮj間に対象被写体の動きがある或いは撮影方向に変化があると判断して入力画像ＩＮjを３枚目の対象入力画像として選択する。今、位置ずれベクトルＶＥＣ［４，５］の大きさが基準値ＶＥＣTH未満であって、且つ、位置ずれベクトルＶＥＣ［４，６］の大きさが基準値ＶＥＣTH以上であるとする。そうすると、入力画像ＩＮ6が３枚目の対象入力画像として選択される（図１９参照）。
【００９９】
本実施例では、ｍ＝３であることが想定されているため、３枚目の対象入力画像が選択された時点で対象入力画像の選択動作は完了するが、ｍ＞３である場合には、４枚目（及びそれ以降）の対象入力画像の選択動作が継続される。
【０１００】
画像選択部７３によって選択された各対象入力画像の画像信号は対象入力画像メモリ７４に一時保存され、画像合成部７５は、対象入力画像メモリ７４の保存内容を用いて、ｍ枚の対象入力画像（上述の具体例において入力画像ＩＮ1、ＩＮ4及びＩＮ6）から目標合成画像を生成する。ｍ枚の対象入力画像から目標合成画像を生成する方法は、上述してきたものと同様である。
【０１０１】
入力画像ＩＮ1〜ＩＮ6を含む入力画像列の撮影期間中における左原信号及び右原信号若しくはＬ信号及びＲ信号は、内部メモリ１７に保存されており、ｍ枚の対象入力画像の選択が成されると、音響信号処理部１５は、対象入力画像ごとに対象入力画像の撮影時刻を基準とした対象期間を設定する。例えば、ｉ枚目の対象入力画像の撮影時刻を上述の時刻Ｔiとみなして、時刻Ｔiを内包する第ｉ対象期間を、第１又は第２実施例で述べた方法に従って設定すればよい。
【０１０２】
そして、第１又は第２実施例と同様にして、対象期間ごとに対象期間中における左原信号及び右原信号又はＬ信号及びＲ信号から特定の対象方向に指向性を持つ（換言すれば、特定の対象方向に指向軸を持つ）リンク音響信号を生成し、第１〜第３対象期間のリンク音響信号を時系列上に結合して得られるリンク音響信号αを目標合成画像の画像信号と関連付けて外部メモリ１８に記録すると良い。
【０１０３】
尚、入力画像ＩＮ1〜ＩＮ6を含む入力画像列は、録画ボタン２６ａの押下操作に伴って撮影されたものであっても良く、この場合、入力画像列としての動画像の画像信号は、該動画像の撮影期間中における音響信号（左原信号及び右原信号、又は、Ｌ信号及びＲ信号）と共に外部メモリ１８に記録される（後述の第５実施例においても同様）。従って、この場合は、外部メモリ１８に記録された音響信号からリンク音響信号を生成することもできる（後述の第５実施例においても同様）。
【０１０４】
本実施例によれば、ユーザのシャッタ操作を必要とすることなく、第１及び第２実施例と同様の作用・効果を得ることができる。
【０１０５】
＜＜第５実施例＞＞
第５実施例を説明する。図２０は、第５実施例の動作に特に関与する部位のブロック図である。対象入力画像メモリ７４及び画像合成部７５は、図１８のそれらと同じものである。画像選択部７３ａを画像信号処理部１３に設けておくことができ、音源方向推定部８１を音響信号処理部１５に設けておくことができる。第４実施例と同様、特殊撮影モードの動作開始後において、図１９の入力画像ＩＮ1〜ＩＮ6を含む入力画像列が取得されたものとする。
【０１０６】
第５実施例では、マイクロホン１４Ｌ及び１４Ｒとして無指向性マイクロホンが用いられる。更に、各入力画像に存在している被写体４５０が対象被写体及び音源ＳＳであることを想定し、且つ、被写体４５０が上記入力画像列の撮影期間中に声を発していることを想定する。
【０１０７】
音源方向推定部８１は、上記入力画像列の撮影期間中における無指向性の左原信号及び右原信号の位相差に基づき、その撮影期間中の各時刻における音源ＳＳの角度θ（即ち、被写体４５０を音源ＳＳとして見立てたときの角度θ）を検出する。ｉを自然数とした場合、音源方向推定部８１は、入力画像ＩＮiの撮影時刻を基準とする第ｉ評価期間を設定し、第ｉ評価期間中における左原信号及び右原信号の位相差から第ｉ評価期間中における音源ＳＳの角度θ［ｉ］を検出する。入力画像ＩＮiの撮影時刻をＴ［ｉ］にて表す。第ｉ評価期間は、例えば、時刻（Ｔ［ｉ］−ΔＴC）から時刻（Ｔ［ｉ］＋ΔＴC）までの期間である。ΔＴCは時間を単位とした所定の正の値を有する。
【０１０８】
音源方向推定部８１は、入力画像ごとに評価期間を設定して音源ＳＳの角度θを検出し、その検出結果（θ［１］、θ［２］、θ［３］・・・）を画像選択部７３ａに与える。画像選択部７３ａは、音源ＳＳの角度θの変化を音源ＳＳとしての対象被写体４５０の動きとみなし、第４実施例の画像選択部７３と同様の主旨による画像選択を行う。
【０１０９】
具体的には、画像選択部７３ａは、まず、１番目に取得される入力画像ＩＮ1を１枚目の対象入力画像として選択する。続いて、２枚目の対象入力画像を選択するために、画像選択部７３ａは、１枚目の対象入力画像を基準とした音源方向（音源ＳＳの位置する方向）の変化量、即ち、入力画像ＩＮ1及びＩＮjの撮影間における音源方向の変化量を求める。入力画像ＩＮ1及びＩＮjの撮影間における音源方向の変化量は｜θ［ｊ］−θ［１］｜にて表現される。上述したように、ｊは２以上の整数である。
【０１１０】
画像選択部７３ａは、変数ｊの値を２を起点として１ずつ増加させながら、音源方向の変化量｜θ［ｊ］−θ［１］｜を所定の基準値θTHと比較し（θTH＞０）、前者が後者未満であれば入力画像ＩＮ1及びＩＮj間に対象被写体の動きはない或いは撮影方向に変化はない或いは音源方向に変化はないと判断して入力画像ＩＮjを対象入力画像から除外する一方、前者が後者以上であれば入力画像ＩＮ1及びＩＮj間に対象被写体の動きがある或いは撮影方向に変化がある或いは音源方向に変化があると判断して入力画像ＩＮjを２枚目の対象入力画像として選択する。今、変化量｜θ［２］−θ［１］｜及び｜θ［３］−θ［１］｜が基準値θTH未満であって、且つ、変化量｜θ［４］−θ［１］｜が基準値θTH以上であるとする。そうすると、入力画像ＩＮ4が２枚目の対象入力画像として選択される（図１９参照）。
【０１１１】
２枚目の対象入力画像の選択後、３枚目の対象入力画像を選択するために、画像選択部７３ａは、２枚目の対象入力画像を基準とした音源方向の変化量、即ち、入力画像ＩＮ4及びＩＮjの撮影間における音源方向の変化量｜θ［ｊ］−θ［４］｜を求める。変化量｜θ［ｊ］−θ［４］｜の導出時におけるｊは、５以上の整数である。
【０１１２】
２枚目の対象入力画像を選択した場合と同様、画像選択部７３ａは、変数ｊの値を５を起点として１ずつ増加させながら、音源方向の変化量｜θ［ｊ］−θ［４］｜を上記基準値θTHと比較し、前者が後者未満であれば入力画像ＩＮ4及びＩＮj間に対象被写体の動きはない或いは撮影方向に変化はない或いは音源方向に変化はないと判断して入力画像ＩＮjを対象入力画像から除外する一方、前者が後者以上であれば入力画像ＩＮ4及びＩＮj間に対象被写体の動きがある或いは撮影方向に変化がある或いは音源方向に変化があると判断して入力画像ＩＮjを３枚目の対象入力画像として選択する。今、変化量｜θ［５］−θ［４］｜が基準値θTH未満であって、且つ、変化量｜θ［６］−θ［４］｜が基準値θTH以上であるとする。そうすると、入力画像ＩＮ6が３枚目の対象入力画像として選択される（図１９参照）。
【０１１３】
本実施例では、ｍ＝３であることが想定されているため、３枚目の対象入力画像が選択された時点で対象入力画像の選択動作は完了するが、ｍ＞３である場合には、４枚目（及びそれ以降）の対象入力画像の選択動作が継続される。
【０１１４】
画像選択部７３ａによって選択された各対象入力画像の画像信号は対象入力画像メモリ７４に一時保存され、画像合成部７５は、対象入力画像メモリ７４の保存内容を用いて、ｍ枚の対象入力画像（上述の具体例において入力画像ＩＮ1、ＩＮ4及びＩＮ6）から目標合成画像を生成する。ｍ枚の対象入力画像から目標合成画像を生成する方法は、上述してきたものと同様である。音響信号処理部１５は、第４実施例で述べた方法にて該目標合成画像に関連付けられるべきリンク音響信号αを生成する。目標合成画像及びリンク音響信号αは、互いに関連付けられて外部メモリ１８に記録される。
【０１１５】
本実施例によっても、ユーザのシャッタ操作を必要とすることなく、第１及び第２実施例と同様の作用・効果を得ることができる。
【０１１６】
＜＜第６実施例＞＞
第６実施例を説明する。第６実施例では、動画像から抽出した入力画像としてのフレーム画像に対して最適な音響信号を光学ズーム倍率等に応じて生成し、抽出した静止画像に該最適な音響信号を関連付ける。この内容を詳細に説明する。
【０１１７】
まず、第６実施例の動作に関与するズーム機能について説明する。図２のドライバ３４は、撮像部１１の画角である撮影画角（換言すれば、入力画像の画角）がＣＰＵ２３にて設定された光学ズーム倍率に従った画角となるようにズームレンズ３０の位置を制御する。即ち、光学ズーム倍率に従ってズームレンズ３０の位置を制御することにより、撮像素子３３の有効画素領域上に結像する画像である入力画像の画角を決定する。光学ズーム倍率が或る倍率を起点としてｋ1倍になれば、入力画像の画角は、画像の水平及び垂直方向の夫々において１／ｋ1倍となる（ｋ1は正の数であって、例えば２倍）。光学ズーム倍率を記号ＺOPTにて表す。以下の説明では、光学ズーム倍率ＺOPTを、倍率ＺOPTと表現したり単にＺOPTと表現したりすることもある。
【０１１８】
第６実施例では、マイクロホン１４Ｌ及び１４Ｒとして、無指向性マイクロホンが用いられる。音響信号処理部１５は、無指向性の左原信号及び右原信号に対して適切な指向性制御を施すことで、強調対象エリア内の音源から到来した音の成分が強調された強調音響信号を生成することができる。
【０１１９】
図２１を参照して強調対象エリアＡＲについて説明する。図２１において、斜線で満たされたエリアが強調対象エリアＡＲである。強調対象エリアＡＲは、ＸＹ座標面上に定義されるエリアであって、破線で示された線分５０１及び５０２間に位置するエリアである。線分５０１及び５０２の夫々は、原点ＯからＸＹ座標面の第１又は第２象限へと伸びる線分であり、線分５０１及び５０２とＸ軸との成す角度を夫々φA及びφBにて表す。但し、角度φAは、原点Ｏとマイクロホン１４Ｒの中心とを結ぶ線分から反時計周り方向に線分５０１を見たときの、Ｘ軸及び線分５０１間の角度であり、角度φBは、原点Ｏとマイクロホン１４Ｒの中心とを結ぶ線分から反時計周り方向に線分５０２を見たときの、Ｘ軸及び線分５０２間の角度である。更に、０°＜φA＜φB＜１８０°であるとする。図２１に示す例では、０°＜φA＜９０°＜φB＜１８０°となっているが、０°＜φA＜φB≦９０°となることもあるし、９０°≦φA＜φB＜１８０°となることもある。
【０１２０】
音響信号処理部１５は、強調対象エリアＡＲ内に位置する音源（音源としての被写体）から到来する音の成分が強調された強調音響信号ＥＳＳを生成することができる。強調対象エリアＡＲ内に位置する音源から到来する音の信号成分を指向性制御によって左原信号及び右原信号から必要成分として抽出し、抽出した必要成分そのものを強調音響信号ＥＳＳとすることができる。或いは、その必要成分を左原信号及び右原信号から抽出する一方で、必要成分以外の信号成分を左原信号及び右原信号から不必要成分として抽出した後、必要成分の混合比率が比較的大きくなるように必要成分と不必要成分を加重加算することで強調音響信号ＥＳＳを生成しても良い。つまり、０＜ｋB＜ｋAを満たす係数ｋA及びｋBを設定し、必要成分に係数ｋAを乗じた信号と不必要成分に係数ｋBを乗じた信号とを足し合わせた信号を強調音響信号ＥＳＳとして生成しても良い。強調音響信号ＥＳＳに代表される強調音響信号の生成処理を、図３のリンク音響信号生成部５３にて行うことができる。
【０１２１】
図２２及び図２３を参照して、第６実施例に係る撮像装置１の動作について説明する。
第６実施例に係る特殊な動作の実行に先立ち、録画ボタン２６ａに対する操作等に応じて動画像５５０が撮影され、動画像５５０の画像信号が動画像５５０の撮影期間中における無指向性の左原信号及び右原信号と共に外部メモリ１８に記録されているものとする。通常は、動画像５５０の撮影期間中におけるＬ信号及びＲ信号も外部メモリ１８に記録されている。図２２には、動画像５５０の撮影時において撮像装置１の前方に広がる風景５３０が示され、図２３には、動画像５５０の構成が示されている。風景５３０上には、２本の木及び人物である被写体５６０が存在している。
【０１２２】
動画像５５０は、複数のフレーム画像を時系列上に並べて構成され、その複数のフレーム画像にはフレーム画像５５１〜５５６が含まれている。フレーム画像５５１〜５５６の撮影時刻を、それぞれＴA［１］〜ＴA［６］にて表し、フレーム画像５５１〜５５６の順番で撮影が成されたものとする。従って、時刻ＴA［ｉ＋１］は時刻ＴA［ｉ］よりも後の時刻である。フレーム５５１〜５５６上には共通して被写体５６０が存在している。フレーム画像５５１は、時刻ＴA［１］での撮影によって得られた入力画像に相当する（他のフレーム画像も同様）。
【０１２３】
今、説明の簡略化上、動画像５５０の撮影期間中において撮像装置１の筐体及び被写体５６０を含む全被写体は静止しているものとする。但し、時刻ＴA［１］から時刻ＴA［４］に向かうにつれて倍率ＺOPTが徐々に増大されていたものとする。時刻ＴA［ｉ］における倍率ＺOPTをＺOPT［ｉ］にて表す。ＺOPT［１］＜ＺOPT［２］＜ＺOPT［３］＜ＺOPT［４］、である。図２２において、符号５３１及び５３４が付された破線矩形内の範囲は、夫々、フレーム画像５５１及び５５４の撮影時における撮影範囲である。各フレーム画像の撮影時点における倍率ＺOPT（即ち、ＺOPT［ｉ］の値）は、動画像５５０の画像信号と共に外部メモリ１８に記録されているものとする。
【０１２４】
動画像５５０の撮影後、ユーザは、撮像装置１の動作モードを再生モードに変更させる。第６実施例における以下の説明は、再生モードにおける撮像装置１の動作の説明である。再生モードにおいて、ユーザは、動画像５５０の中から所望のフレーム画像を指定することができ、この指定が成された際、撮像装置１は、指定されたフレーム画像に基づく音声付き静止画像を生成することができる。例として、フレーム画像５５４が指定された場合における音声付き静止画像の生成方法を説明する。
【０１２５】
この場合、まず、音響信号処理部１５（例えばリンク音響信号生成部５３）は、図２４（ａ）に示す如く、フレーム画像５５４の撮影時刻ＴA［４］を内包する抽出期間５７０を設定する。抽出期間５７０は、例えば、時刻（ＴA［４］−ΔＴD）から時刻（ＴA［４］＋ΔＴD）までの期間である。ΔＴDは時間を単位とした所定の正の値を有し、その値をユーザが指定できるようにしておいても良い。リンク音響信号生成部５３は、抽出期間５７０における左原信号及び右原信号を外部メモリ１８から読み出し、読み出した左原信号及び右原信号に指向性制御を施すことによって、フレーム画像５５４の画角内に位置する音源（換言すれば撮影範囲５３４内に位置する音源としての被写体）からの音の成分が強調された強調音響信号ＥＳＳ554（図２４（ｂ）参照）を生成する。
【０１２６】
つまり、フレーム画像５５４の画角に応じた強調対象エリアＡＲ554を設定し、強調対象エリアＡＲに対応する強調音響信号ＥＳＳを生成する方法と同様の方法にて、抽出期間５７０における左原信号及び右原信号から強調対象エリアＡＲ554に対応する強調音響信号ＥＳＳ554を生成する。強調対象エリアＡＲ554についての角度φA及びφBである角度φ554A及びφ554Bは、時刻ＴA［４］の撮影画角であるフレーム画像５５４の画角から決定され、フレーム画像５５４の画角は外部メモリ１８に記録された倍率ＺOPT［４］の値から算出される。具体的には、角度（φ554B−φ554A）がフレーム画像５５４の画角と一致し且つ“（１８０°−φ554B）＝φ554A”が成立するように、φ554A及びφ554Bを決定する。これにより、強調音響信号ＥＳＳ554は、フレーム画像５５４の画角に応じた指向性を持つようになる（例えば、強調対象エリアＡＲ554内に位置する音源から到来する音の信号成分のみを有するようになる）。
【０１２７】
尚、フレーム画像５５４よりも前に撮影されたフレーム画像の画角が既に分かっている場合には、その既知の画角と、それらのフレーム画像間におけるオプティカルフローに基づいて、フレーム画像５５４の画角を推定することもできる。本例では、フレーム画像５５１及び５５２間のオプティカルフロー、フレーム画像５５２及び５５３間のオプティカルフロー並びにフレーム画像５５３及び５５４間のオプティカルフローから、フレーム画像５５１及び５５４間における画角の差異を推定することができるため、フレーム画像５５１の画角が既知ならば、それらのオプティカルフローとフレーム画像５５１の画角からフレーム画像５５４の画角を推定によって求めることもできる。この方法は、倍率ＺOPT［４］が外部メモリ１８に記録されていない場合に有益である。
【０１２８】
強調音響信号ＥＳＳ554は、フレーム画像５５４に対するリンク音響信号として機能する。図１のＣＰＵ２３は、第１実施例で述べた方法に従って、強調音響信号ＥＳＳ554としてのリンク音響信号とフレーム画像５５４の画像信号との関連付けを行い、それらを関連付けた状態で外部メモリ１８に記録することができる。その後、フレーム画像５５４の再生が指示されると、フレーム画像５５４が表示部２７に表示されると同時に、フレーム画像５５４に関連付けられたリンク音響信号がスピーカ２８を介して音として再生される。
【０１２９】
本実施例では、抽出期間中の記録音響信号を単に指定フレーム画像に関連付けるのではなく、指定フレーム画像の画角に応じた指向性を有する強調音響信号を生成し、それを指定フレーム画像に関連付けることで音声付き静止画像を生成する。このため、指定フレーム画像の画角に適応した音響信号（指定フレームの画角内に位置する音源に注目した音響信号）を、指定フレーム画像と共に再生することが可能となる。
【０１３０】
尚、上述の説明では、フレーム画像の画角を決定するズーム倍率が光学ズームによる光学ズーム倍率であることを想定したが、フレーム画像の画角を決定するズーム倍率は電子ズームによる電子ズーム倍率であっても良いし、光学ズーム倍率と電子ズーム倍率との組み合わせであっても良い。光学ズーム倍率と同様、電子ズーム倍率が或る倍率を起点としてｋ1倍になれば、フレーム画像としての入力画像の画角は、画像の水平及び垂直方向の夫々において１／ｋ1倍となる（ｋ1は正の数であって、例えば２倍）。
【０１３１】
＜＜変形等＞＞
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１３２】
［注釈１］
上述の説明では、画像間の動き量（位置ずれベクトル）の検出を画像信号に基づいて行っているが、撮像装置１の動きを検出する動きセンサ（不図示）を撮像装置１に設けておき、動き量の検出を該動きセンサの検出結果に基づいて行うようにしても良い。動きセンサは、例えば、撮像装置１の筐体及び撮像素子３３の角速度を検出する角速度センサ、又は、撮像装置１の筐体及び撮像素子３３の加速度を検出する加速度センサである。
【０１３３】
［注釈２］
上述の各実施例において、リンク音響信号の生成を任意の段階で行うことができる。即ち例えば、上述した幾つかの例（例えば、図７に示す例）においては、撮影モードにおいて左原信号及び右原信号又はＬ信号及びＲ信号から略リアルタイムにリンク音響信号が生成されているが、リンク音響信号の元となる左原信号及び右原信号（又はＬ信号及びＲ信号）を、一旦、内部メモリ１７又は外部メモリ１８に保存しておき、その保存後の任意のタイミングにおいて（例えば再生モードにおいて）、それらのメモリから左原信号及び右原信号又はＬ信号及びＲ信号を読み出すことでリンク音響信号を生成するようにしても良い。
【０１３４】
［注釈３］
第１実施例では、目標合成画像の元となる２枚の対象入力画像３４１及び３４２（図８（ａ）及び（ｂ））を共通の撮像素子３３を用いた２回の撮影によって得ているが、撮像部１１に第１及び第２撮像素子から成る２つの撮像素子（不図示）を設け、該２つの撮像素子にて対象入力画像３４１及び３４２を得るようにしても良い。第１及び第２撮像素子の夫々は、撮像素子３３と同等のものであるが、第１撮像素子を用いた撮影の撮影方向（第１撮像素子にとっての光軸の方向）と第２撮像素子を用いた撮影の撮影方向（第２撮像素子にとっての光軸の方向）は互いに異なる。
【０１３５】
同一時刻において第１撮像素子上には撮影範囲３３１内の各被写体の像が結像するように且つ第２撮像素子上には撮影範囲３３２内の各被写体の像が結像するように撮像部１１の光学系を形成しておくことで（図６（ｂ）参照）、第１及び第２撮像素子にて対象入力画像３４１及び３４２の画像信号を同時に取得することができ、得られた対象入力画像３４１及び３４２の画像信号から図２５の目標合成画像６００の画像信号を生成することができる。目標合成画像６００は、図９（ａ）の目標合成画像３４３又は図１１の目標合成画像３４３ａと等価なものである。
【０１３６】
この際、第１及び第２撮像素子を用いた対象入力画像３４１及び３４２の撮影時刻を内包する期間を対象期間として設定し、対象期間中における左原信号及び右原信号を目標合成画像６００に関連付けて目標合成信号６００の画像信号と共に外部メモリ１８に記録することもできる。目標合成画像６００内に強調対象画像領域６０１を設定して、強調対象画像領域６０１に注目した強調音響信号ＥＳＳ601を対象期間中における無指向性の左原信号及び右原信号から生成し、その強調音響信号ＥＳＳ601をリンク音響信号として目標合成信号６００の画像信号に関連付けて目標合成信号６００の画像信号と共に外部メモリ１８に記録するようにしても良い。強調対象画像領域６０１は、目標合成画像６００の中央付近に配置された、目標合成画像６００の全体画像領域の一部であり、対象入力画像３４１及び３４２間の共通の被写体の画像信号が存在する画像領域を内包する。従って、強調対象画像領域６０１には、対象被写体としての被写体３２１の画像信号が存在している。
【０１３７】
強調音響信号ＥＳＳ601は、強調対象画像領域６０１の画角内に位置する音源（被写体）からの音の成分が強調された音響信号である。強調対象画像領域６０１の画角内に位置する音源を図２１の強調対象エリアＡＲ内に位置する音源と見立てた上で、対象期間中における無指向性の左原信号及び右原信号に第６実施例で述べた指向性制御を施すことにより、強調音響信号ＥＳＳ601を生成することができる。
【０１３８】
［注釈４］
上述の説明では、撮像装置１に設けられたマイクロホンの個数は２であるが、３個以上のマイクロホンを撮像装置１に設け、３個以上のマイクロホンの出力信号からリンク音響信号を生成するようにしても良い。
【０１３９】
［注釈５］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい
【０１４０】
［注釈６］
例えば、以下のように考えることができる。撮像装置１には、複数のマイクロホンの出力音響信号から指向性を有するリンク音響信号を生成する指向性制御部が備えられている。指向性制御部は、図３のリンク音響信号生成部５３を備え、更にチャンネル音響信号生成部５２を構成要素として含みうる。また、第６実施例に係る撮像装置１には、動画像５５０から指定フレーム画像（上述の具体例においてはフレーム画像５５４）を対象静止画像として抽出する対象静止画像抽出部が備えられ、その対象静止画像抽出部は図１のＣＰＵ２３及び／又は画像信号処理部１３によって実現される。また、撮像装置１には、出力画像（目標合成画像又は上記の対象静止画像）とリンク音響信号を関連付ける関連付け部が備えられ、該関連付け部は図１のＣＰＵ２３によって実現される。
【符号の説明】
【０１４１】
１ 撮像装置
１１ 撮像部
１３ 画像信号処理部
１４ マイク部
１５ 音響信号処理部
３３ 撮像素子
５２ チャンネル音響信号生成部
５３ リンク音響信号生成部
１４Ｌ、１４Ｒ マイクロホン
ＳＳ 音源
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
近年、音声付き静止画像（換言すれば音響信号付き静止画像）を生成する方法が提案されている。
【０００３】
例えば、下記特許文献１には、静止画像の撮影時に所定時間分の音響信号を記録する方法が開示されている。また例えば、下記特許文献２には、記録済みの音響信号及び動画像から音声付き静止画像を抽出する方法が開示されている。また例えば、下記特許文献３には、１つの音響信号に対して複数の静止画像を関連付けておき、音響信号の再生時には再生音内容に応じた静止画像再生を行う方法が開示されている。
【０００４】
また例えば、撮影画像から特定被写体の存在する切り出し画像を切り出す一方で、複数のマイクロホンの出力音響信号にステレオ化処理を実行することで特定被写体から発せられる音の成分を強調した音響信号を生成し、生成した音響信号を切り出し画像と共に記録媒体に記録する方法が、下記特許文献４にて提案されている。
【０００５】
他方、複数の静止画像から１枚の静止画像を生成する方法も提案されている。例えば、撮影方向を変えながら静止画像撮影を複数回を行い、得られた複数の静止画像をイメージモザイキングによって貼り合わせ合成することで広画角を有するパノラマ画像を生成する方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２９４９１９号公報
【特許文献２】特開２００６−２９５５７５号公報
【特許文献３】特開２００１−６９４５３号公報
【特許文献４】特開２００９−１４７７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
音響信号に関わる上述の従来方法は、撮影された静止画像そのもの或いは静止画像の一部画像（切り出し画像）に音響信号を割り当てる方法であり、複数の静止画像から生成されるパノラマ画像等への適用は想定されていない。従って、複数の静止画像から生成されるパノラマ画像等に適切な音響信号を関連付ける技術の開発が要望される。
【０００８】
また、特許文献４の方法は、記録される切り出し画像の画角に適応した音響信号を生成及び記録できるという点において高い付加価値を有する。しかしながら、この方法は、切り出し処理との関連において用いられる方法であって、動画像から抽出したフレーム画像そのものに対して適用される方法ではない。よって、動画像から抽出したフレーム画像に適切な音響信号を関連付けることのできる技術の開発が要望される。
【０００９】
そこで本発明は、複数の静止画像から得た静止画像又は動画像から抽出された静止画像に対して適切な音響信号を関連付けることのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、撮影方向が互いに異なるｍ枚の入力画像を撮影する撮像部と（ｍは２以上の整数）、複数のマイクロホンから成るマイク部と、前記ｍ枚の入力画像又は前記ｍ枚の入力画像から抽出したｍ枚の抽出画像を合成することで出力画像を生成する画像合成部と、前記ｍ枚の入力画像の撮影期間中における前記複数のマイクロホンの出力音響信号から指向性を有するリンク音響信号を生成する指向性制御部と、前記出力画像と前記リンク音響信号を関連付ける関連付け部と、を備えたことを特徴とする。
【００１１】
具体的には例えば、前記出力画像は、特定の被写体の画像信号を有し、前記指向性制御部は、前記特定の被写体より到来する音の成分が強調されるように前記リンク音響信号を生成すると良い。
【００１２】
これにより、特定の被写体からの音に注目したような、出力画像に適した音響信号を出力画像に関連付けることが可能となる。
【００１３】
また例えば、前記撮像部は、前記ｍ枚の入力画像を含むｎ枚の入力画像を撮影し（ｎは整数であって、ｎ＞ｍ）、前記撮像装置に、前記ｎ枚の入力画像の内の、互いに異なる入力画像間の動き量を検出する動き検出部と、前記動き検出部の検出結果に基づいて、前記ｎ枚の入力画像の中から前記出力画像の元となる前記ｍ枚の入力画像を選択する画像選択部と、を更に設けるようにしても良い。
【００１４】
或いは例えば、前記撮像部は、前記ｍ枚の入力画像を含むｎ枚の入力画像を撮影し（ｎは整数であって、ｎ＞ｍ）、前記撮像装置に、前記複数のマイクロホンの出力音響信号に基づき、音源としての前記特定の被写体が位置する方向を推定する音源方向推定部と、前記音源方向推定部の推定結果に基づいて、前記ｎ枚の入力画像の中から前記出力画像の元となる前記ｍ枚の入力画像を選択する画像選択部と、を更に設けるようにしても良い。
【００１５】
本発明に係る他の撮像装置は、複数のフレーム画像から成る動画像を撮影する撮像部と、複数のマイクロホンから成るマイク部と、前記動画像から特定のフレーム画像を対象静止画像として抽出する対象静止画像抽出部と、前記特定のフレーム画像の撮影時点を基準とする特定期間中における前記複数のマイクロホンの出力音響信号から、前記対象静止画像の画角に応じた指向性を有するリンク音響信号を生成する指向性制御部と、前記対象静止画像と前記リンク音響信号を関連付ける関連付け部と、を備えたことを特徴とする。
【００１６】
具体的には例えば、前記指向性制御部は、前記対象静止画像の画角内に位置する被写体からの音の成分が強調されるように前記リンク音響信号を生成すると良い。
【００１７】
これにより、対象静止画像上の被写体に注目したような、対象静止画像に適した音響信号を対象静止画像に関連付けることが可能となる。
【発明の効果】
【００１８】
本発明によれば、複数の静止画像から得た静止画像又は動画像から抽出された静止画像に対して適切な音響信号を関連付けることのできる撮像装置を提供することができる。
【００１９】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１に示される撮像部の内部構成図である。
【図３】図１に示されるマイク部及び音響信号処理部の概略内部ブロック図である。
【図４】図１に示される撮像装置の外観斜視図である。
【図５】図３のチャンネル音響信号生成部にて生成されるＲ信号及びＬ信号のポーラパターン例を示す図（ａ）及び（ｂ）と、音源の角度を説明するための図（ｃ）である。
【図６】本発明の第１実施例に係り、撮像装置の前方に広がる風景を示す図（ａ）と、１回目及び２回目のシャッタ操作時における撮影範囲を示す図（ｂ）と、１回目及び２回目のシャッタ操作時における風景と撮像装置との関係イメージ図（ｃ）である。
【図７】本発明の第１実施例に係る撮像装置の動作手順を示すフローチャートである。
【図８】本発明の第１実施例に係る２枚の対象入力画像を示す図である。
【図９】図８に示される２枚の対象入力画像から生成可能な目標合成画像を示す図である。
【図１０】本発明の第１実施例に係り、各対象入力画像の撮影時刻を基準とした対象期間の設定方法を説明するための図である。
【図１１】図８に示される２枚の対象入力画像から生成可能な他の目標合成画像を示す図である。
【図１２】図１１の目標合成画像の生成時に設定される切り出し枠を説明するための図である。
【図１３】本発明の第１実施例に係り、対象合成画像に基づく動画像の構成を表す図である。
【図１４】本発明の第２実施例に係り、１〜３回目のシャッタ操作時における風景と撮像装置との関係イメージ図（ａ）と、１〜３回目のシャッタ操作時における撮影範囲を示す図（ｂ）である。
【図１５】本発明の第２実施例に係る３枚の対象入力画像を示す図である。
【図１６】図１５に示される３枚の対象入力画像から生成可能な目標合成画像を示す図である。
【図１７】本発明の第３実施例に係り、１回目及び２回目のシャッタ操作時における風景と撮像装置との関係イメージ図である。
【図１８】本発明の第４実施例の動作に特に関与する部位のブロック図である。
【図１９】本発明の第４実施例に係る入力画像列を示す図である。
【図２０】本発明の第５実施例の動作に特に関与する部位のブロック図である。
【図２１】本発明の第６実施例に係る強調対象エリアを説明するための図である。
【図２２】本発明の第６実施例に係り、撮像装置の前方に広がる風景を示す図である。
【図２３】本発明の第６実施例に係る動画像を示す図である。
【図２４】本発明の第６実施例に係り、抽出期間の意義を説明するための図（ａ）と、抽出期間中の音響信号から強調音響信号が生成される様子を示す図（ｂ）である。
【図２５】２枚の対象入力画像から生成される目標合成画像と、該目標合成画像内に設定される強調対象画像領域を表す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の一実施形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２２】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は撮像装置１の外部装置（不図示）に設けられたものである、と解釈することも可能である。
【００２３】
撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ＣＰＵ２３からの撮影制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御される。
【００２４】
撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。
【００２５】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから画像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。画像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像を表す画像信号を生成する。画像信号は、例えば、輝度信号及び色差信号を含む。マイク部１４は、撮像装置１の周辺音をアナログの音響信号に変換し、音響信号処理部１５は、このアナログの音響信号をデジタルの音響信号に変換する。
【００２６】
圧縮処理部１６は、画像信号処理部１３からの画像信号及び音響信号処理部１５からの音響信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の画像信号及び音響信号などの各種信号を記録することができる。
【００２７】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された画像信号及び音響信号を伸張する。伸張処理部１９による伸張後の画像信号又は画像信号処理部１３からの画像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音響信号は、音響信号出力回路２１を介してスピーカ２８に送られて音として出力される。
【００２８】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ、並びに、ズーム倍率を指定するためのズームボタン２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
【００２９】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作部２６に対する操作に応じて、各モード間の遷移は実施される。撮影モードにおいて、撮像装置１は、所定のフレーム周期にて周期的に被写体の撮影を行って被写体の撮影画像を順次取得することができる。
【００３０】
尚、本明細書では、或る画像の画像信号のことを単に画像と言うこともある。また、画像信号及び音響信号の圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、特に必要のない限り、画像信号及び音響信号の圧縮及び伸張の存在を無視する。従って、或る画像についての圧縮された画像信号を記録することを、単に、画像信号を記録する又は画像を記録すると表現することがある（音響信号についても同様）。また、或る画像の大きさ又は画像領域の大きさを、画像サイズとも呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。
【００３１】
図３は、マイク部１４及び音響信号処理部１５の概略内部ブロック図である。図４は、撮像装置１の外観斜視図である。マイク部１４は、撮像装置１の筐体上の互いに異なる位置に配置されたマイクロホン１４Ｌ及び１４Ｒを備える。マイクロホン１４Ｌは撮像装置１の筐体の左側に配置され、マイクロホン１４Ｒは撮像装置１の筐体の右側に配置されている。音響信号処理部１５には、Ａ／Ｄ変換器５１Ｌ及び５１Ｒと、チャンネル信号生成部５２と、リンク音響信号生成部５３と、が備えられている。
【００３２】
マイクロホン１４Ｌ及び１４Ｒの夫々は、自身が収音した音をアナログの音響信号に変換して出力する。Ａ／Ｄ変換器５１Ｌ及び５１Ｒは、夫々、マイクロホン１４Ｌ及び１４Ｒから出力されるアナログの音響信号を所定のサンプリング周期（例えば４８キロヘルツ）にてデジタルの音響信号に変換して出力する。Ａ／Ｄ変換器５１Ｌの出力信号を特に左原信号と呼び、Ａ／Ｄ変換器５１Ｒの出力信号を特に右原信号と呼ぶ。チャンネル音響信号生成部５２は、左原信号及び右原信号に基づいて、互いに異なる方向に指向軸を有するＬ信号及びＲ信号を生成する。
【００３３】
図４に示す如く、撮像部１１にて撮影可能な被写体が存在する方向を前方と定義し、その逆の方向を後方と定義する。前方及び後方は、撮像部１１の光軸に沿った方向である。また、右及び左とは、後方側から前方側を見たときの右及び左を意味するものとする。
【００３４】
マイクロホン１４Ｌ及び１４Ｒとして、指向性を有さない無指向性マイクロホンを採用することができる。マイクロホン１４Ｌ及び１４Ｒが無指向性マイクロホンである場合、左原信号及び右原信号は無指向性の音響信号（指向性を有さない音響信号）である。チャンネル音響信号生成部５２は、公知の指向性制御（ステレオ化処理）を無指向性の左原信号及び右原信号に施すことでＬ信号及びＲ信号を生成することができる。
【００３５】
無指向性の左原信号及び右原信号に対する指向性制御は、左原信号又は右原信号を遅延させる遅延処理と、左原信号又は右原信号を所定割合だけ減衰させる減衰処理と、遅延処理及び／又は減衰処理を経た左原信号及び右原信号の一方から他方を減算する減算処理と、によって実現される。具体的には例えば、指向性制御では、左原信号をマイクロホン１４Ｌ及び１４Ｒ間の距離に基づく時間だけ遅延させ且つ所定割合だけ減衰させることによって得た信号を、右原信号から減算することにより、左斜め後方４５°の方向に死角を有するＲ信号を生成することができる。このＲ信号のポーラパターンは図５（ａ）の曲線３１０のようになり、Ｒ信号は右斜め前方４５°の方向に指向軸を有するようになる。即ち、図５（ａ）に対応するＲ信号は、撮像装置１の右斜め前方４５°に位置する音源から撮像装置１に到来した音の成分に最も高い指向性を持った音響信号となる。同様に、右原信号をマイクロホン１４Ｌ及び１４Ｒ間の距離に基づく時間だけ遅延させ且つ所定割合だけ減衰させることによって得た信号を、左原信号から減算することにより、右斜め後方４５°の方向に死角を有するＬ信号を生成することができる。このＬ信号のポーラパターンは図５（ｂ）の曲線３１１のようになり、Ｌ信号は左斜め前方４５°の方向に指向軸を有するようになる。即ち、図５（ｂ）に対応するＬ信号は、撮像装置１の左斜め前方４５°に位置する音源から撮像装置１に到来した音の成分に最も高い指向性を持った音響信号となる。
【００３６】
マイクロホン１４Ｌ及び１４Ｒとして、指向性を有する指向性マイクロホン（例えば、単一指向性マイクロホン）を採用することもできる。この場合、指向性マイクロホンとしてのマイクロホン１４Ｌの指向軸の方向を左斜め前方４５°の方向に向けておくと共に、指向性マイクロホンとしてのマイクロホン１４Ｒの指向軸の方向を右斜め前方４５°の方向に向けておく。これにより、左原信号そのものをＬ信号とし、右原信号そのものをＲ信号として生成することができる。尚、上述したＬ信号及びＲ信号の指向性の具体的内容は例示であり、それらを様々に変形可能であることは言うまでもない。
【００３７】
また、図５（ｃ）に示すような、Ｘ軸及びＹ軸を座標軸としたＸＹ座標面（ＸＹ座標系）を定義する。Ｘ軸は、マイクロホン１４Ｌの中心とマイクロホン１４Ｒの中心とを通る軸であり、それらの中心の中間に原点Ｏが位置する。Ｙ軸は、原点ＯにてＸ軸と直交する。Ｙ軸に沿った方向は、撮像部１１の光軸（撮像素子３３にとっての光軸）の方向と一致する。Ｘ軸及びＹ軸は水平面と平行であるとする。原点Ｏからマイクロホン１４Ｒに向かう方向（即ち、撮像装置１の右方向）がＸ軸の正方向であるとし、原点Ｏから撮像装置１の前方に向かう方向がＹ軸の正方向であるとする。線分３１３は、原点Ｏと任意の音源である音源ＳＳとを結ぶ線分である。Ｘ軸と線分３１３との成す角度をθで表す。但し、角度θは、原点Ｏとマイクロホン１４Ｒの中心とを結ぶ線分から反時計周り方向に線分３１３を見たときの、Ｘ軸及び線分３１３間の角度であるとする。反時計周り方向とは、原点Ｏからマイクロホン１４Ｒの中心に伸びる線分を、撮像装置１の前方側に回転させる方向を指す。音源ＳＳの角度θは、音源ＳＳの位置する方向（即ち、音源ＳＳについての音源方向）を表す。
【００３８】
図３のリンク音響信号生成部５３は、左原信号及び右原信号より或いはＬ信号及びＲ信号よりリンク音響信号を生成する（詳細は後述）。録画ボタン２６ａの押下操作に伴う通常の動画像の撮影時においては、Ｌ信号及びＲ信号が動画像の画像信号と共に外部メモリ１８に記録される。但し、撮像装置１には音声付き静止画像（換言すれば音響信号付き静止画像）を生成する特殊機能が備えられており、この特殊機能が有効とされている場合、リンク音響信号が生成されて該リンク音響信号が特定の静止画像に関連付けられて外部メモリ１８に記録されると共に、再生モードにおいては表示部２７及びスピーカ２８を用いて該特定の静止画像が該リンク音響信号と共に再生される。撮影モードの一種である、上記特殊機能が働く撮像装置１の動作モードを特殊撮影モードと呼ぶ。
【００３９】
以下、特殊撮影モードにおける撮像装置１の動作及び構成例を第１〜第６実施例として説明する。矛盾なき限り、或る実施例について記載した事項を他の実施例に適用することも可能である。以下の説明は、特に記述なき限り、特殊撮影モードにおける撮像装置１の動作の説明である。
【００４０】
＜＜第１実施例＞＞
第１実施例を説明する。図６（ａ）に、撮像装置１の前方に広がる風景を示す。符号３２０が付された実線枠内の絵が、撮像装置１の前方に広がる風景である。風景３２０の中央付近には人物である被写体３２１が存在しており、被写体３２１の背景に山が存在している。被写体３２１は、発声によって音を発生する音源としての機能も持つ。
【００４１】
風景３２０の全体を同時に撮影画角内に収めることはできないが、ユーザが風景３２０の全体が写し出された画像の取得を希望していたとする。撮影画角とは、撮像部１１の画角を指す。図７は、その希望画像の生成手順を表すフローチャートである。この場合、ユーザは、まず、風景３２０の左側部分のみを撮影範囲に収めた状態で１回目のシャッタ操作を成す（ステップＳ１１）。図６（ｂ）の符号３３１が付された破線矩形枠内の範囲が、１回目のシャッタ操作が成された時点における撮影範囲である。
【００４２】
シャッタ操作とは、シャッタボタン２６ｂを押下する操作である。但し、シャッタ操作は、シャッタボタン２６ｂを押下する操作以外の操作（例えば所定のタッチパネル操作）であっても良い。撮影範囲とは、撮影画角内に収まる領域（実空間上の領域）を指し、該領域内に位置する各被写体の像が撮像素子３３上に結像する。シャッタ操作が成されると、シャッタ操作が成された時点における撮影範囲内の各被写体が撮影される。即ち、シャッタ操作が成された時点において撮影範囲内に位置している各被写体の像を表す撮影画像が静止画像として得られ、第１実施例において、その撮影画像が対象入力画像として取り扱われる。尚、シャッタ操作の有無に関係なく撮像部１１にて撮影された撮影画像を単に入力画像と呼ぶ（対象入力画像も入力画像の一種である）。
【００４３】
１回目のシャッタ操作を成した後、ユーザは、撮像装置１の撮影方向（即ち、撮像部１１の光軸の方向）を変更し（ステップＳ１２）、風景３２０の右側部分のみを撮影範囲に収めた状態で２回目のシャッタ操作を成す（ステップＳ１３）。図６（ｂ）の符号３３２が付された破線矩形枠内の範囲が、２回目のシャッタ操作が成された時点における撮影範囲である。撮影範囲３３１及び３３２が互いに重複する範囲を有するように（換言すれば、撮影範囲３３１及び３３２に共通の被写体が含まれるように）、ユーザは撮影方向の調整を行う。２回目のシャッタ操作前において、このような調整を支援する表示（ガイドライン表示など）を表示部２７にて行うようにしても良い。図６（ｂ）に示す例では、被写体３２１が風景３２０の中央付近に位置しており、撮影範囲３３１及び３３２の双方に被写体３２１が収まっている。図６（ｃ）は、１回目及び２回目のシャッタ操作時における風景３２０と撮像装置１との関係イメージ図である。図６（ｃ）の下方に示された２つの実線四角枠は、１回目及び２回目のシャッタ操作時における撮像装置１の筐体を表し、それらから伸びる破線は撮像部１１の視野の外縁を表している（後述する図１４（ａ）及び図１７についても同様）。
【００４４】
図８（ａ）の符号３４１は、１回目のシャッタ操作により得られた１枚目の対象入力画像であり、図８（ｂ）の符号３４２は、２回目のシャッタ操作により得られた２枚目の対象入力画像である。対象入力画像が必要枚数分だけ撮影されると、画像信号処理部１３は、複数の対象入力画像から１枚の静止画像である目標合成画像を生成する画像合成処理を実行する（ステップＳ１４）。第１実施例では、２枚の対象入力画像３４１及び３４２から、図９（ａ）に示す１枚の目標合成画像３４３が生成される。
【００４５】
画像信号処理部１３は、対象入力画像３４１及び３４２間の共通の被写体が重なり合うように対象入力画像３４１及び３４２を貼り合わせて合成することで目標合成画像３４３を生成する。このような合成は、一般にイメージモザイキングと呼ばれており、公知のイメージモザイキングの方法を画像信号処理部１３の画像合成処理に利用することができる。
【００４６】
画像信号処理部１３が目標合成画像３４３を生成する一方で、音響信号処理部１５は、各対象入力画像の撮影時刻周辺におけるマイクロホン１４Ｌ及び１４Ｒの出力信号に基づきリンク音響信号を生成する（ステップＳ１５）。図９（ｂ）は、生成されるリンク音響信号のイメージ図である。リンク音響信号の生成方法について説明する。
【００４７】
特殊撮影モードでは、マイク部１４及び音響信号処理部１５により左原信号及び右原信号並びにＬ信号及びＲ信号の生成が継続的に成されていると共に、得られた左原信号及び右原信号又はＬ信号及びＲ信号は、必要分だけ一時的に内部メモリ１７に保存される。対象入力画像を得るためのシャッタ操作が成された際、音響信号処理部１５は、対象入力画像ごとに、シャッタ操作の成された時点を基準とする対象期間を設定する。第１実施例では、対象入力画像３４１に対応する第１対象期間と対象入力画像３４２に対応する第２対象期間が設定される。
【００４８】
今、対象入力画像３４１及び３４２を得るためのシャッタ操作が成された時刻を、夫々、Ｔ1及びＴ2にて表す。対象入力画像３４１及び３４２の撮影時刻が、夫々、Ｔ1及びＴ2であると捉えても良い。或る画像の撮影時刻とは、より詳細には例えば、その画像の画像信号を取得するために撮像素子３３で実施される露光の開始時刻、中間時刻又は終了時刻を指す。図１０（ａ）に示す如く、第１対象期間の開始時刻及び終了時刻はそれぞれ時刻（Ｔ1−ΔＴA）及び（Ｔ1＋ΔＴB）とされ、第２対象期間の開始時刻及び終了時刻はそれぞれ時刻（Ｔ2−ΔＴA）及び（Ｔ2＋ΔＴB）とされる。ここで、ΔＴA及びΔＴBは、時間を単位とした所定の正の値を有し、それらの値をユーザが指定できるようにしておいても良い。時刻（Ｔ1−ΔＴA）は、時刻Ｔ1より時間ΔＴAだけ前の時刻を指し、時刻（Ｔ1＋ΔＴB）は、時刻Ｔ1より時間ΔＴBだけ後の時刻を指す（時刻（Ｔ2−ΔＴA）及び（Ｔ2＋ΔＴB）なども同様）。
【００４９】
図１０（ａ）に示す如く時刻（Ｔ1＋ΔＴB）が時刻（Ｔ2−ΔＴA）よりも前の時刻になる場合、第１対象期間の終了時刻を後にずらすことによって或いは第２対象期間の開始時刻を前にずらすことによって或いはその双方によって、図１０（ｂ）に示す如く第１対象期間の終了時刻と第２対象期間の開始時刻を一致させるようにしてもよい。また、時刻（Ｔ1＋ΔＴB）が時刻（Ｔ2−ΔＴA）よりも後の時刻になる場合には、図１０（ｃ）に示す如く、時刻Ｔ1及びＴ2間のちょうど中間の時刻が第１対象期間の終了時刻及び第２対象期間の開始時刻と一致するように第１及び第２対象期間の長さを縮小してもよい。また、上述のように定めた第１及び第２対象期間から無音期間を除去する修正を施し、その修正後の第１及び第２対象期間を最終的な第１及び第２対象期間として設定するようにしても良い。無音期間とは、左原信号及び右原信号の信号レベル又はＬ信号及びＲ信号の信号レベルが一定レベル以下となっている期間を指す。
【００５０】
各対象期間の設定後、音響信号処理部１５は、各対象期間中に生成された左原信号及び右原信号又はＬ信号及びＲ信号を内部メモリ１７から読み出し、読み出した左原信号及び右原信号又はＬ信号及びＲ信号から、特定の対象方向に指向性を持つ（換言すれば、特定の対象方向に指向軸を持つ）リンク音響信号を生成する。
【００５１】
対象方向とは、目標合成画像に存在している対象被写体と撮像装置１とを結ぶ、実空間上の方向である（但し、それ以外の方向を対象方向とすることも可能である）。対象被写体は音源としての機能も有している。図３のリンク音響信号生成部５３は、画像空間上における対象被写体の位置に基づき対象方向を決定することもできる。今、この対象被写体が被写体３２１である場合を考える。この場合、音源ＳＳとしての被写体３２１の角度θが定まれば対象方向は特定され（図５（ｃ）参照）、被写体３２１の声の到来方向に指向軸を持ったリンク音響信号が生成される。リンク音響信号の生成方法の説明を交えつつ、対象方向の設定方法を幾つか例示する。
【００５２】
――対象方向の第１設定方法――
対象方向の第１設定方法を説明する。第１設定方法において、撮像装置１は、画像処理を用いて対象被写体及び対象方向を設定する。具体的には例えば、対象入力画像の画像信号に基づき対象入力画像から人物の顔を検出する顔検出処理を実行できるように画像信号処理部１３を形成しておき、画像信号処理部１３が対象入力画像３４１及び３４２に顔検出処理を実行することで対象入力画像３４１及び３４２上における被写体３２１の位置（例えば、被写体３２１としての人物の顔領域又は胴体領域の中心位置）を検出する。
【００５３】
リンク音響信号生成部５３は、対象入力画像３４１上における被写体３２１の位置と時刻Ｔ1における焦点距離から、時刻Ｔ1における被写体３２１についての角度θ（以下、θ1で表す）を求め、対象入力画像３４２上における被写体３２１の位置と時刻Ｔ2における焦点距離から、時刻Ｔ2における被写体３２１の角度θ（以下、θ2で表す）を求める。時刻Ｔ1における角度θ1は、第１対象期間中における被写体３２１の角度θとして取り扱われ、時刻Ｔ2における角度θ2は、第２対象期間中における被写体３２１の角度θとして取り扱われる。尚、本明細書において、特に記述なき限り、焦点距離とは撮像部１１の焦点距離を指す。
【００５４】
リンク音響信号生成部５３は、角度θ1に基づき、第１対象期間中のＬ信号及びＲ信号から第１対象期間中のリンク音響信号を生成することができる。具体的には、角度θ1に対応する音源（即ち被写体３２１）から撮像装置１に到来した音の成分が第１対象期間中のリンク音響信号において強調されるように、角度θ1に応じた混合比率にて第１対象期間中のＬ信号及びＲ信号を混合し、この混合によって得たモノラル信号を第１対象期間中のリンク音響信号とすることができる。例えば、θ1＝４５°である時には、Ｌ信号に係数ｋL45を乗じた信号とＲ信号に係数ｋR45を乗じた信号を足し合わせることで第１対象期間中のリンク音響信号を生成し、θ1＝１３５°である時には、Ｌ信号に係数ｋL135を乗じた信号とＲ信号に係数ｋR135を乗じた信号を足し合わせることで第１対象期間中のリンク音響信号を生成する。ここで、０≦ｋL45＜ｋR45、且つ、０≦ｋR135＜ｋL135、であり、単純には例えば、ｋL45＝０、ｋR45＝１、ｋL135＝１、ｋR135＝０、とすることができる。第１実施例の想定下では、角度θ1は９０°未満であって４５°に近く、角度θ2は９０°以上であって１３５°に近い（図５（ｃ）及び図６（ｃ）も参照）。
【００５５】
同様にして、リンク音響信号生成部５３は、角度θ2に基づき、第２対象期間中のＬ信号及びＲ信号から第２対象期間中のリンク音響信号を生成することができる。つまり、角度θ2に対応する音源（即ち被写体３２１）から撮像装置１に到来した音の成分が第２対象期間中のリンク音響信号において強調されるように、角度θ2に応じた混合比率にて第２対象期間中のＬ信号及びＲ信号を混合し、この混合によって得たモノラル信号を第２対象期間中のリンク音響信号とすることができる。混合の具体的方法例は、第１対象期間のそれと同様である。
【００５６】
マイクロホン１４Ｌ及び１４Ｒが無指向性マイクロホンである場合には、無指向性の左原信号及び右原信号に対する指向性制御によってリンク音響信号を直接生成するようにしても良い。即ち、無指向性の左原信号及び右原信号から指向性を有するＬ信号及びＲ信号を生成するための指向性制御と同様の指向性制御を、第１対象期間中における無指向性の左原信号及び右原信号に施すことで第１対象期間中のリンク音響信号を生成するようにしても良く、同様に、第２対象期間中における無指向性の左原信号及び右原信号に施すことで第２対象期間中のリンク音響信号を生成するようにしても良い。これらの生成は、角度θiに対応する音源（即ち被写体３２１）から撮像装置１に到来した音の成分に最も高い指向性を持たせた音響信号が第ｉ対象期間中のリンク音響信号となるように、対象期間ごとに角度θiに基づき実行される（ここで、ｉは１又は２）。この方法によっても、角度θiに対応する音源（即ち被写体３２１）から撮像装置１に到来した音の成分が第ｉ対象期間中のリンク音響信号において強調されることとなる（ｉは１又は２）。
【００５７】
――対象方向の第２設定方法――
対象方向の第２設定方法を説明する。第２設定方法では、複数の対象入力画像の位置関係から対象方向を決定する。以下、具体的に説明する。
【００５８】
画像信号処理部１３は、対象入力画像３４１及び３４２から目標合成画像３４３を生成する際、対象入力画像３４１及び３４２間における特徴点の対応付けを行う。つまり、対象入力画像３４１上の特徴点が対象入力画像３４２上のどの点に対応しているかを検出する（対応点同士が目標合成画像３４３上で重なり合うように対象入力画像３４１及び３４２を合成することで目標合成画像３４３が得られる）。第１入力画像上の特徴点の位置から、その特徴点に対応する第２入力画像上の点の位置へと向かう、画像空間上のベクトルを位置ずれベクトルと呼ぶ。ここで、第２入力画像は、第１入力画像の撮影よりも後の撮影によって得られた入力画像である。対象入力画像３４１及び３４２に関しては、対象入力画像３４１が第１入力画像に対応し、対象入力画像３４２が第２入力画像に対応する。第１及び第２入力画像の画像信号に基づき、代表点マッチング法、ブロックマッチング法、勾配法などを用いて第１及び第２入力画像間のオプティカルフローを算出し、該オプティカルフローを形成する複数の動きベクトルの平均ベクトルを、第１及び第２入力画像間の位置ずれベクトルとしてもよい。
【００５９】
リンク音響信号生成部５３は、対象入力画像３４１及び３４２間の位置ずれベクトルに基づき対象方向を決定する。本例において、対象入力画像３４１及び３４２間の位置ずれベクトルの向きは右向きである。従って、ユーザの注目する対象被写体は対象入力画像３４１上では右側よりに位置し、対象入力画像３４２上では左側よりに位置していると推定される。よって、対象入力画像３４１及び３４２間の位置ずれベクトルの向きが右向きであることに基づき“０°＜θ1＜９０°＜θ2＜１８０°”を満たすように、角度θ1及びθ2を決定する。この際、時刻Ｔ1及びＴ2における焦点距離並びに位置ずれベクトルの大きさを用いてθ1及びθ2の具体的数値を決定しても良いし、或いは、位置ずれベクトルの向きが右向きであるという事実のみに基づき“０°＜θ1＜９０°＜θ2＜１８０°”を満たす範囲でθ1及びθ2を予め定めておいた角度に設定するようにしても良い（例えば、θ1＝４５°且つθ2＝１３５°とする）。角度θiの導出後に実行されるリンク音響信号の生成方法は、上述したものと同様である。
【００６０】
尚、図８（ａ）及び（ｂ）に示す状況には適合しないが、仮に、対象入力画像３４１及び３４２間の位置ずれベクトルの向きが左向きであったならば、“０°＜θ2＜９０°＜θ1＜１８０°”を満たすように角度θ1及びθ2を決定すればよい。
【００６１】
――対象方向の第３設定方法――
対象方向の第３設定方法を説明する。第３設定方法において、撮像装置１は、音響信号に基づく音源方向推定処理によって対象方向を設定する。音源方向推定処理では、無指向性の左原信号及び右原信号の位相差に基づき音源ＳＳの角度θを検出する。第３設定方法において、リンク音響信号生成部５３は、対象期間ごとに音源方向推定処理を実行する。従って、対象期間ごとに第ｉ対象期間中における無指向性の左原信号及び右原信号の位相差から角度θiが検出される（ｉは１又は２）。複数の無指向性マイクロホンの出力信号の位相差から音源の位置する方向（角度θに相当）を推定する方法は周知であるため、その方法の詳細説明を割愛する。尚、各対象期間の全部又は一部において音源ＳＳとしての被写体３２１が声を発していることを、第３設定方法は前提としている。角度θiの導出後に実行されるリンク音響信号の生成方法は、上述したものと同様である。
【００６２】
――対象方向の第４設定方法――
対象方向の第４設定方法を説明する。第４設定方法では、ユーザが、マニュアル操作で対象被写体及び／又は対象方向を指定する。マニュアル操作は、ユーザによる操作部２６に対する操作やタッチパネル操作である。このマニュアル操作に基づき、対象入力画像３４１及び３４２上の対象被写体の位置が指定される、或いは、対象入力画像３４１及び３４２における対象方向を表す角度θ1及びθ2が指定される。ユーザが、マニュアル操作で被写体３２１を対象被写体として指定した場合、対象入力画像３４１及び３４２上における被写体３２１の位置が定まるので、上述した方法により、その位置を用いて角度θ1及びθ2が決定される。角度θiの導出後に実行されるリンク音響信号の生成方法は、上述したものと同様である。
【００６３】
［目標合成画像の生成方法の変形例］
尚、目標合成画像３４３は、対象入力画像３４１の全体と対象入力画像３４２の全体をイメージモザイキングによって合成して得たものであるが、対象入力画像３４１の一部と対象入力画像３４２の全体又は一部、或いは、対象入力画像３４１の全体又は一部と対象入力画像３４２の全体、或いは、対象入力画像３４１の一部と対象入力画像３４２の一部をイメージモザイキングによって合成することで目標合成画像を生成するようにしても良い。例として、対象入力画像３４１の一部と対象入力画像３４２の一部をイメージモザイキングによって合成することで得た目標合成画像３４３ａを、図１１に示す。
【００６４】
目標合成画像３４３ａは、対象入力画像３４１内に設定された切り出し枠３４１ａ内の画像と、対象入力画像３４２内に設定された切り出し枠３４２ａ内の画像を、イメージモザイキングによって合成することで得た画像である（図１２（ａ）及び（ｂ）参照）。切り出し枠３４１ａ内の画像の画像サイズは対象入力画像３４１の画像サイズよりも小さく、同様に、切り出し枠３４２ａ内の画像の画像サイズは対象入力画像３４２の画像サイズよりも小さい。
【００６５】
画像信号処理部１３は、上述の第１〜第４設定方法の何れかを利用して、切り出し枠３４１ａ及び３４２ａ内に共通の被写体（対象被写体としての被写体３２１）が含まれるように切り出し枠３４１ａ及び３４２ａを設定した後、切り出し枠３４１ａ及び３４２ａ内の画像を対象入力画像３４１及び３４２から抽出し、抽出した２枚の画像から目標合成画像３４３ａを生成する。切り出し枠３４１ａ内の画像と切り出し枠３４２ａ内の画像から目標合成画像３４３ａを生成する方法は、対象入力画像３４１及び３４２から目標合成画像３４３を生成する方法と同様である。目標合成画像３４３ａの画像サイズ及びアスペクト比が対象入力画像（３４１又は３４２）のそれらと同じとなるように、目標合成画像３４３ａを生成しても良い。
【００６６】
［リンク音響信号と目標合成画像との関連付け］
上述のようにして得られた各対象期間のリンク音響信号は時系列上に結合される。この結合によって得られたリンク音響信号を、便宜上、リンク音響信号αと呼ぶ。第１実施例では、対象期間が２つのため、第１及び第２対象期間のリンク音響信号を時系列上に結合したものがリンク音響信号αとなる。
【００６７】
図１のＣＰＵ２３は、目標合成画像の画像信号とリンク音響信号αの関連付けを行い、それらを関連付けた状態で外部メモリ１８に記録する（図７のステップＳ１６）。この記録の具体的方法として、以下の第１〜第４記録方法を含む様々な方法を採用することができる。
第１記録方法では、目標合成画像の画像信号とリンク音響信号αを互いに関連付けた状態で外部メモリ１８に記録する。
第２記録方法では、目標合成画像の画像信号と、リンク音響信号αと、各対象期間中におけるＬ信号及びＲ信号を、互いに関連付けた状態で外部メモリ１８に記録する。
第３記録方法では、目標合成画像の画像信号と、目標合成画像の元となる複数の対象入力画像（第１実施例において対象入力画像３４１及び３４２）の画像信号と、リンク音響信号αと、各対象期間中におけるＬ信号及びＲ信号を、互いに関連付けた状態で外部メモリ１８に記録する。
第４記録方法では、目標合成画像に基づく動画像の画像信号と、動画像用音響信号に変換されたリンク音響信号αを、互いに関連付けた状態で外部メモリ１８に記録する。
【００６８】
目標合成画像に基づく動画像とは、図１３に示す如く、１枚の目標合成画像を単純に時系列上に繰り返して並べた構成を有する動画像であり、動画像用音響信号に変換されたリンク音響信号αとは、リンク音響信号αをＭＰ４（Moving Picture Experts Groupにて規定されたＭＰ４）等の規格に従って動画像用の音響信号に変換したものを指す。一般に静止画像は音響信号と共に再生されることが想定されていないため、静止画像を音響信号と共に再生するためには特定の再生制御が必要となるが、第４記録方法を用いれば、目標合成画像を容易にリンク音響信号αと共に再生することが可能となる。
【００６９】
尚、第１〜第４記録方法を複数個組み合わせて実施することも可能である。リンク音響信号αを記録する時に、音響信号を圧縮しても良いし、圧縮しなくても良い（後述の他の実施例においても同様）。
【００７０】
外部メモリ１８に共通のファイルを作成し、互いに関連付けられるべき画像信号及び音響信号を該共通のファイルに保存することで、それらの関連付けを行うことができる。或いは、互いに関連付けられるべき画像信号及び音響信号を別々のファイルに保存し、それらのファイル同士を互いに関連付けておくことで、画像信号及び音響信号の関連付けを行うこともできる。
【００７１】
目標合成画像及びリンク音響信号αの記録後、再生モードにおいて、目標合成画像の再生が指示されると、目標合成画像が表示部２７に表示されると同時に、目標合成画像に関連付けられたリンク音響信号αがスピーカ２８を介して音として再生される（後述の他の実施例においても同様）。
【００７２】
第１実施例によれば、複数の静止画像から音声付き静止画像としての目標合成画像を生成する際、目標合成画像に適した音響信号（目標合成画像上の特定音源に注目したような音響信号）が生成されるため、音声付き静止画像に付加価値を与えてユーザメリットを向上させることが可能となる。
【００７３】
＜＜第２実施例＞＞
第２実施例を説明する。第１実施例では、２枚の対象入力画像から１枚の目標合成画像を生成しているが、３枚以上の対象入力画像から１枚の目標合成画像を生成するようにしても良い。ユーザの指示等に基づき、目標合成画像の元となる対象入力画像の枚数を予め定めておくことができる。また、全ての対象入力画像の取得が完了した旨を表す所定操作がユーザにより成されるまで対象入力画像の取得を続け、該所定操作が成された時点で対象入力画像の取得を終了するようにしても良い（この場合、該所定操作が成される時点まで、目標合成画像の元となる対象入力画像の枚数は確定しない）。
【００７４】
例として、３枚の対象入力画像から１枚の目標合成画像を生成する方法を説明する。４枚以上の対象入力画像から１枚の目標合成画像を生成する方法も同様とされる。
【００７５】
図１４（ａ）は、１〜３回目のシャッタ操作時における風景３２０と撮像装置１との関係イメージ図である。図１４（ａ）に示す例では、所謂流し撮りを行うが如く、撮像装置１の筐体を右方向に振るカメラ操作を交えながら風景３２０を３回に分けて撮影する。つまり、ユーザは、風景３２０の左側部分のみを撮影範囲に収めた状態で１回目のシャッタ操作を成し、その後、撮影装置１の撮影方向を変更してから、風景３２０の中央部分のみを撮影範囲に収めた状態で２回目のシャッタ操作を成し、その後、更に撮影装置１の撮影方向を変更してから、風景３２０の右側部分のみを撮影範囲に収めた状態で３回目のシャッタ操作を成す。図１４（ｂ）において符号４０１〜４０３が付された破線矩形枠内の範囲が、夫々、１回目〜３回目のシャッタ操作が成された時点における撮影範囲である。撮影範囲４０１及び４０２が互いに重複する範囲を有するように（換言すれば、撮影範囲４０１及び４０２に共通の被写体が含まれるように）、且つ、撮影範囲４０２及び４０３が互いに重複する範囲を有するように（換言すれば、撮影範囲４０２及び４０３に共通の被写体が含まれるように）、ユーザは撮影方向の調整を行う。２回目及び３回目のシャッタ操作前において、このような調整を支援する表示（ガイドライン表示など）を表示部２７にて行うようにしても良い。
【００７６】
図１５（ａ）〜（ｃ）の符号４１１〜４１３は、夫々、１回目〜３回目のシャッタ操作により得られた対象入力画像を表す。第２実施例において、画像信号処理部１３は、３枚の対象入力画像４１１〜４１３に第１実施例で述べた画像合成処理を施すことで図１６の目標合成画像４２０を生成する。つまり、イメージモザイキングを用い、対象入力画像４１１及び４１２間の共通の被写体が重なり合うように且つ対象入力画像４１２及び４１３間の共通の被写体が重なり合うように、対象入力画像４１１〜４１３を貼り合わせて合成することで目標合成画像４２０を生成する。図１５（ａ）〜（ｃ）に示す例では（図１４（ａ）も参照）、対象入力画像４１１及び４１３間に共通の被写体が含まれていないが、対象入力画像４１１及び４１３間に共通の被写体が含まれている場合には、目標合成画像４２０の生成において、対象入力画像４１１及び４１３間の共通の被写体も重なり合うように合成が成される。尚、第１実施例でも述べたように、各対象入力画像に切り出し枠を設定して切り出し枠内の画像のみを用いて目標合成画像を生成するようにしてもよい。
【００７７】
画像信号処理部１３が目標合成画像４２０を生成する一方で、音響信号処理部１５は、各対象入力画像の撮影時刻周辺におけるマイクロホン１４Ｌ及び１４Ｒの出力信号に基づきリンク音響信号を生成する。第１実施例と同様、時刻Ｔ1を内包する第１対象期間、時刻Ｔ2を内包する第２対象期間及び時刻Ｔ3を内包する第３対象期間を設定し、各対象期間中における左原信号及び右原信号又は各対象期間中におけるＬ信号及びＲ信号から、特定の対象方向に指向性を持つ（換言すれば、特定の対象方向に指向軸を持つ）リンク音響信号を生成する。第２実施例において、時刻Ｔ1〜Ｔ3は、夫々、１〜３回目のシャッタ操作が成された時刻（或いは対象入力画像４１１〜４１３の撮影時刻）である。
【００７８】
第１実施例で述べた第１〜第４設定方法の何れかを用いて対象方向を設定し、その設定結果に基づき各対象期間のリンク音響信号を生成することができる。但し、図１５（ａ）〜（ｃ）に示す例では（図１４（ａ）も参照）、幾つかの対象入力画像中に対象被写体となるべき被写体３２１が含まれていないため、第１設定方法を単体で使用することは不適である。
【００７９】
例として、第２設定方法を利用するときの処理内容について説明する。対象方向に位置する対象被写体が被写体３２１であることを想定する。画像信号処理部１３は、対象入力画像４１１及び４１２間の位置ずれベクトルＶＥＣA及び対象入力画像４１２及び４１３間の位置ずれベクトルＶＥＣBに基づき対象方向を決定する。本例において、それらの位置ずれベクトルは共に右向きである。従って、ユーザの注目する対象被写体は、対象入力画像４１１上では右側よりに位置し、対象入力画像４１２上では中央付近に位置し、対象入力画像４１３上では左側よりに位置していると推定される。よって、位置ずれベクトルＶＥＣA及びＶＥＣBの向きが右向きであることに基づき“０°＜θ1＜θ2＜θ3＜１８０°”を満たすように、角度θ1〜θ3を決定する。第２実施例において、角度θ1〜θ3は、夫々、第１〜第３対象期間における音源ＳＳとしての対象被写体３２１の角度（又は、その角度の推定値）を表す。
【００８０】
時刻Ｔ1〜Ｔ3における焦点距離並びに位置ずれベクトルＶＥＣA及びＶＥＣBの大きさを用いてθ1〜θ3の具体的数値を決定しても良いし、或いは、位置ずれベクトルＶＥＣA及びＶＥＣBの向きが右向きであるという事実のみに基づき“０°＜θ1＜θ2＜θ3＜１８０°”を満たす範囲でθ1〜θ3を予め定めておいた角度に設定するようにしても良い（例えば、θ1＝４５°、θ2＝９０°且つθ3＝１３５°、とする）。
【００８１】
また、対象被写体が含まれている対象入力画像の画像信号を用いて該対象入力画像上における対象被写体の位置を検出し、その検出位置から対象被写体が含まれている対象入力画像に対応する角度θを決定し、その後、他の対象入力画像に対応する角度θを決定するようにしても良い。即ち、本例では、対象入力画像４１２に対象被写体が含まれている（対象入力画像４１２に対象被写体の画像信号が存在している）ため、対象入力画像４１２の画像信号を用いて対象入力画像４１２上における対象被写体３２１の位置を検出し、その検出位置と時刻Ｔ2における焦点距離から時刻Ｔ2における角度θ2を求める。仮に、対象被写体３２１が対象入力画像４１２の中心に位置しているならば、θ2＝９０°、とされる。その後、求めた角度θ2と、時刻Ｔ1〜Ｔ3における焦点距離と、位置ずれベクトルＶＥＣA及びＶＥＣBの向き及び大きさを用いて、“０°＜θ1＜θ2＜θ3＜１８０°”を満たす範囲で角度θ1及びθ3の具体的数値を決定するようにしても良い。
【００８２】
何れの方法によっても、音の強調方向が時間経過と共に撮像装置１の右側から左側に変化してゆくような、リンク音響信号の生成が成される。角度θiの導出後に実行されるリンク音響信号の生成方法は、第１実施例で述べたものと同様である。これにより、第１実施例と同様、角度θiに対応する音源（即ち被写体３２１）から撮像装置１に到来した音の成分に最も高い指向性を持たせた音響信号が、第ｉ対象期間中のリンク音響信号として生成される。つまり、角度θiに対応する音源（即ち被写体３２１）から撮像装置１に到来した音の成分が第ｉ対象期間中のリンク音響信号において強調されることとなる（ｉは、１、２又は３）。
【００８３】
第１〜第３対象期間のリンク音響信号は時系列上に結合され、この結合によって得られたリンク音響信号が、第２実施例におけるリンク音響信号αとなる。リンク音響信号αと目標合成画像の関連付け及び記録方法は、第１実施例で述べたものと同様である。
【００８４】
＜＜第３実施例＞＞
第３実施例を説明する。第１及び第２実施例では、対象入力画像の撮影間において撮像装置１の撮影方向を左右方向（水平方向）に変化させているが、対象入力画像の撮影間における撮影方向の変化方向は上下方向（垂直方向）であっても良い。
【００８５】
この場合において、２枚の対象入力画像から目標合成画像を生成するならば、１枚目の対象入力画像の撮影後、撮像装置１の撮影方向を上方向又は下方向に変化させてから、２枚目の対象入力画像の撮影を行う。撮像装置１の撮影方向を上方向又は下方向に変化させることによって、撮像部１１の光軸は鉛直面に沿って回転する。図１７は、その２枚の対象入力画像を得る際における撮影方向変化のイメージ図であると共に、１回目及び２回目のシャッタ操作時における風景と撮像装置１との関係イメージ図である。
【００８６】
対象入力画像の撮影間の撮影方向の変化方向が上下方向である場合においても、目標合成画像及びリンク音響信号の生成方法は第１又は第２実施例のそれと同様であり、第１又は第２実施例における左右を上下に置き換えて考えれば足る。但し、マイクロホン１４Ｌ及び１４Ｒとして無指向性マイクロホンが用いられる場合には、上下方向に対する指向性制御を可能とすべく、マイクロホン１４Ｌ及び１４Ｒを上下方向にずらして配置しておく必要がある。即ち、図５（ｃ）のＸ軸を水平面に対して傾けておく必要がある（単純には例えば、Ｘ軸を水平面と直交させる）。
【００８７】
更に、第１又は第２実施例と第３実施例を組み合わせて実施するようにしても良い。即ち、水平及び垂直方向に位置ずれを有する複数の対象入力画像を撮影し、その複数の対象入力画像から１枚の目標合成画像を生成するようにしても良い。この場合においても、対象方向に指向性を持ったリンク音響信号が生成されることに変わりはない。
【００８８】
後述の第４及び第５実施例においても、対象入力画像の撮影間において撮像装置１の撮影方向が左右方向に変化していることを想定しているが、第３実施例で述べた事項を、後述の第４及び第５実施例に適用することも可能である。
【００８９】
＜＜第４実施例＞＞
第４実施例を説明する。上述の第１〜第３実施例では、シャッタ操作に従って対象入力画像を取得するようにしているが、第４及び後述の第５実施例では、周期的に入力画像を撮像部１１にて撮影させ、得られたｎ枚の入力画像の中から目標合成画像の元となるｍ枚の対象入力画像を画像選択処理によって抽出する。ｎ及びｍは２以上の整数である。画像選択処理によって結果的にｎ枚の入力画像の全てが対象入力画像として選択されることもあり、その場合は、ｎ＝ｍとなるが、以下の説明では、画像選択処理の存在意義を明確にするべく、ｎ＞ｍであることを想定する（第５実施例も同様）。更に、ｍ＝３であるとする（第５実施例も同様）。
【００９０】
図１８は、第４実施例の動作に特に関与する部位のブロック図である。フレームメモリ７１及び対象入力画像メモリ７４を内部メモリ１７に設けておくことができ、動き検出部７２、画像選択部７３及び画像合成部７５を画像信号処理部１３に設けておくことができる。尚、対象入力画像の画像信号を保存しておく対象入力画像メモリ７４及びｍ枚の対象入力画像から目標合成画像を生成する画像合成部７５は、上述の第１〜第３実施例においても利用されうる。
【００９１】
第４実施例に係る特殊撮影モードの動作が開始すると、撮像部１１により所定のフレーム周期にて周期的に入力画像の撮影が成される。ｉ番目に撮影された入力画像を記号ＩＮiにて表す（ｉは整数）。今、図１９に示す入力画像ＩＮ1〜ＩＮ6を含む入力画像列が取得された場合を想定する。この入力画像列は、撮像装置１を右方向に非等速的に振りながら対象被写体としての被写体４５０を撮影した動画像である。従って、入力画像ＩＮ1〜ＩＮ6の撮影時において、対象被写体としての被写体４５０が撮影範囲に含められている。被写体４５０は音源としての機能も持つ人物である。
【００９２】
最新の入力画像の画像信号が、ＡＦＥ１２を介して、フレームメモリ７１、動き検出部７２及び画像選択部７３に与えられる。フレームメモリ７１は、取得された最新の入力画像の画像信号を保存する。動き検出部７２は、フレームメモリ７１に保存された画像信号と、ＡＦＥ１２を介して与えられる最新の入力画像の画像信号に基づき、時間的に隣接する２枚の入力画像間の動き量を算出する。ここで算出される動き量は、上述の位置ずれベクトルである。入力画像ＩＮi〜ＩＮi+1間の動き量、即ち、入力画像ＩＮi〜ＩＮi+1間の位置ずれベクトルをＶＥＣ［ｉ，ｉ＋１］にて表す。
【００９３】
画像選択部７３は、動き検出部７２にて算出された位置ずれベクトルに基づいて各入力画像を対象入力画像として選択すべきか否かを判断し、対象入力画像として選択した入力画像の画像信号を対象入力画像メモリ７４に保存する。画像選択部７３による対象入力画像の選択方法について説明する。
【００９４】
画像選択部７３は、まず、１番目に取得される入力画像ＩＮ1を１枚目の対象入力画像として選択する。
【００９５】
次に、２枚目の対象入力画像を選択するために、画像選択部７３は、動き検出部７２の算出結果を用いて１枚目の対象入力画像ＩＮ1を基準とした位置ずれベクトルＶＥＣ［１，ｊ］を導出する。ｊは２以上の整数である。ｊが３以上の整数である場合、位置ずれベクトルＶＥＣ［１，ｊ］は、位置ずれベクトルＶＥＣ［１，２］、［２，３］・・・、［ｊ−１，ｊ］の合成ベクトルである。
【００９６】
画像選択部７３は、変数ｊの値を２を起点として１ずつ増加させながら、位置ずれベクトルＶＥＣ［１，ｊ］の大きさを所定の基準値ＶＥＣTHと比較し（ＶＥＣTH＞０）、前者が後者未満であれば入力画像ＩＮ1及びＩＮj間に対象被写体の動きはない或いは撮影方向に変化はないと判断して入力画像ＩＮjを対象入力画像から除外する一方、前者が後者以上であれば入力画像ＩＮ1及びＩＮj間に対象被写体の動きがある或いは撮影方向に変化があると判断して入力画像ＩＮjを２枚目の対象入力画像として選択する。今、位置ずれベクトルＶＥＣ［１，２］及び［１，３］の大きさが基準値ＶＥＣTH未満であって、且つ、位置ずれベクトルＶＥＣ［１，４］の大きさが基準値ＶＥＣTH以上であるとする。そうすると、入力画像ＩＮ4が２枚目の対象入力画像として選択される（図１９参照）。
【００９７】
２枚目の対象入力画像の選択後、３枚目の対象入力画像を選択するために、画像選択部７３は、動き検出部７２の算出結果を用いて２枚目の対象入力画像ＩＮ4を基準とした位置ずれベクトルＶＥＣ［４，ｊ］を導出する。位置ずれベクトルＶＥＣ［４，ｊ］の導出時におけるｊは５以上の整数であり、ｊが６以上の整数である場合、位置ずれベクトルＶＥＣ［４，ｊ］は、位置ずれベクトルＶＥＣ［４，５］、［５，６］・・・、［ｊ−１，ｊ］の合成ベクトルである。
【００９８】
２枚目の対象入力画像を選択した場合と同様、画像選択部７３は、変数ｊの値を５を起点として１ずつ増加させながら、位置ずれベクトルＶＥＣ［４，ｊ］の大きさを上記基準値ＶＥＣTHと比較し、前者が後者未満であれば入力画像ＩＮ4及びＩＮj間に対象被写体の動きはない或いは撮影方向に変化はないと判断して入力画像ＩＮjを対象入力画像から除外する一方、前者が後者以上であれば入力画像ＩＮ4及びＩＮj間に対象被写体の動きがある或いは撮影方向に変化があると判断して入力画像ＩＮjを３枚目の対象入力画像として選択する。今、位置ずれベクトルＶＥＣ［４，５］の大きさが基準値ＶＥＣTH未満であって、且つ、位置ずれベクトルＶＥＣ［４，６］の大きさが基準値ＶＥＣTH以上であるとする。そうすると、入力画像ＩＮ6が３枚目の対象入力画像として選択される（図１９参照）。
【００９９】
本実施例では、ｍ＝３であることが想定されているため、３枚目の対象入力画像が選択された時点で対象入力画像の選択動作は完了するが、ｍ＞３である場合には、４枚目（及びそれ以降）の対象入力画像の選択動作が継続される。
【０１００】
画像選択部７３によって選択された各対象入力画像の画像信号は対象入力画像メモリ７４に一時保存され、画像合成部７５は、対象入力画像メモリ７４の保存内容を用いて、ｍ枚の対象入力画像（上述の具体例において入力画像ＩＮ1、ＩＮ4及びＩＮ6）から目標合成画像を生成する。ｍ枚の対象入力画像から目標合成画像を生成する方法は、上述してきたものと同様である。
【０１０１】
入力画像ＩＮ1〜ＩＮ6を含む入力画像列の撮影期間中における左原信号及び右原信号若しくはＬ信号及びＲ信号は、内部メモリ１７に保存されており、ｍ枚の対象入力画像の選択が成されると、音響信号処理部１５は、対象入力画像ごとに対象入力画像の撮影時刻を基準とした対象期間を設定する。例えば、ｉ枚目の対象入力画像の撮影時刻を上述の時刻Ｔiとみなして、時刻Ｔiを内包する第ｉ対象期間を、第１又は第２実施例で述べた方法に従って設定すればよい。
【０１０２】
そして、第１又は第２実施例と同様にして、対象期間ごとに対象期間中における左原信号及び右原信号又はＬ信号及びＲ信号から特定の対象方向に指向性を持つ（換言すれば、特定の対象方向に指向軸を持つ）リンク音響信号を生成し、第１〜第３対象期間のリンク音響信号を時系列上に結合して得られるリンク音響信号αを目標合成画像の画像信号と関連付けて外部メモリ１８に記録すると良い。
【０１０３】
尚、入力画像ＩＮ1〜ＩＮ6を含む入力画像列は、録画ボタン２６ａの押下操作に伴って撮影されたものであっても良く、この場合、入力画像列としての動画像の画像信号は、該動画像の撮影期間中における音響信号（左原信号及び右原信号、又は、Ｌ信号及びＲ信号）と共に外部メモリ１８に記録される（後述の第５実施例においても同様）。従って、この場合は、外部メモリ１８に記録された音響信号からリンク音響信号を生成することもできる（後述の第５実施例においても同様）。
【０１０４】
本実施例によれば、ユーザのシャッタ操作を必要とすることなく、第１及び第２実施例と同様の作用・効果を得ることができる。
【０１０５】
＜＜第５実施例＞＞
第５実施例を説明する。図２０は、第５実施例の動作に特に関与する部位のブロック図である。対象入力画像メモリ７４及び画像合成部７５は、図１８のそれらと同じものである。画像選択部７３ａを画像信号処理部１３に設けておくことができ、音源方向推定部８１を音響信号処理部１５に設けておくことができる。第４実施例と同様、特殊撮影モードの動作開始後において、図１９の入力画像ＩＮ1〜ＩＮ6を含む入力画像列が取得されたものとする。
【０１０６】
第５実施例では、マイクロホン１４Ｌ及び１４Ｒとして無指向性マイクロホンが用いられる。更に、各入力画像に存在している被写体４５０が対象被写体及び音源ＳＳであることを想定し、且つ、被写体４５０が上記入力画像列の撮影期間中に声を発していることを想定する。
【０１０７】
音源方向推定部８１は、上記入力画像列の撮影期間中における無指向性の左原信号及び右原信号の位相差に基づき、その撮影期間中の各時刻における音源ＳＳの角度θ（即ち、被写体４５０を音源ＳＳとして見立てたときの角度θ）を検出する。ｉを自然数とした場合、音源方向推定部８１は、入力画像ＩＮiの撮影時刻を基準とする第ｉ評価期間を設定し、第ｉ評価期間中における左原信号及び右原信号の位相差から第ｉ評価期間中における音源ＳＳの角度θ［ｉ］を検出する。入力画像ＩＮiの撮影時刻をＴ［ｉ］にて表す。第ｉ評価期間は、例えば、時刻（Ｔ［ｉ］−ΔＴC）から時刻（Ｔ［ｉ］＋ΔＴC）までの期間である。ΔＴCは時間を単位とした所定の正の値を有する。
【０１０８】
音源方向推定部８１は、入力画像ごとに評価期間を設定して音源ＳＳの角度θを検出し、その検出結果（θ［１］、θ［２］、θ［３］・・・）を画像選択部７３ａに与える。画像選択部７３ａは、音源ＳＳの角度θの変化を音源ＳＳとしての対象被写体４５０の動きとみなし、第４実施例の画像選択部７３と同様の主旨による画像選択を行う。
【０１０９】
具体的には、画像選択部７３ａは、まず、１番目に取得される入力画像ＩＮ1を１枚目の対象入力画像として選択する。続いて、２枚目の対象入力画像を選択するために、画像選択部７３ａは、１枚目の対象入力画像を基準とした音源方向（音源ＳＳの位置する方向）の変化量、即ち、入力画像ＩＮ1及びＩＮjの撮影間における音源方向の変化量を求める。入力画像ＩＮ1及びＩＮjの撮影間における音源方向の変化量は｜θ［ｊ］−θ［１］｜にて表現される。上述したように、ｊは２以上の整数である。
【０１１０】
画像選択部７３ａは、変数ｊの値を２を起点として１ずつ増加させながら、音源方向の変化量｜θ［ｊ］−θ［１］｜を所定の基準値θTHと比較し（θTH＞０）、前者が後者未満であれば入力画像ＩＮ1及びＩＮj間に対象被写体の動きはない或いは撮影方向に変化はない或いは音源方向に変化はないと判断して入力画像ＩＮjを対象入力画像から除外する一方、前者が後者以上であれば入力画像ＩＮ1及びＩＮj間に対象被写体の動きがある或いは撮影方向に変化がある或いは音源方向に変化があると判断して入力画像ＩＮjを２枚目の対象入力画像として選択する。今、変化量｜θ［２］−θ［１］｜及び｜θ［３］−θ［１］｜が基準値θTH未満であって、且つ、変化量｜θ［４］−θ［１］｜が基準値θTH以上であるとする。そうすると、入力画像ＩＮ4が２枚目の対象入力画像として選択される（図１９参照）。
【０１１１】
２枚目の対象入力画像の選択後、３枚目の対象入力画像を選択するために、画像選択部７３ａは、２枚目の対象入力画像を基準とした音源方向の変化量、即ち、入力画像ＩＮ4及びＩＮjの撮影間における音源方向の変化量｜θ［ｊ］−θ［４］｜を求める。変化量｜θ［ｊ］−θ［４］｜の導出時におけるｊは、５以上の整数である。
【０１１２】
２枚目の対象入力画像を選択した場合と同様、画像選択部７３ａは、変数ｊの値を５を起点として１ずつ増加させながら、音源方向の変化量｜θ［ｊ］−θ［４］｜を上記基準値θTHと比較し、前者が後者未満であれば入力画像ＩＮ4及びＩＮj間に対象被写体の動きはない或いは撮影方向に変化はない或いは音源方向に変化はないと判断して入力画像ＩＮjを対象入力画像から除外する一方、前者が後者以上であれば入力画像ＩＮ4及びＩＮj間に対象被写体の動きがある或いは撮影方向に変化がある或いは音源方向に変化があると判断して入力画像ＩＮjを３枚目の対象入力画像として選択する。今、変化量｜θ［５］−θ［４］｜が基準値θTH未満であって、且つ、変化量｜θ［６］−θ［４］｜が基準値θTH以上であるとする。そうすると、入力画像ＩＮ6が３枚目の対象入力画像として選択される（図１９参照）。
【０１１３】
本実施例では、ｍ＝３であることが想定されているため、３枚目の対象入力画像が選択された時点で対象入力画像の選択動作は完了するが、ｍ＞３である場合には、４枚目（及びそれ以降）の対象入力画像の選択動作が継続される。
【０１１４】
画像選択部７３ａによって選択された各対象入力画像の画像信号は対象入力画像メモリ７４に一時保存され、画像合成部７５は、対象入力画像メモリ７４の保存内容を用いて、ｍ枚の対象入力画像（上述の具体例において入力画像ＩＮ1、ＩＮ4及びＩＮ6）から目標合成画像を生成する。ｍ枚の対象入力画像から目標合成画像を生成する方法は、上述してきたものと同様である。音響信号処理部１５は、第４実施例で述べた方法にて該目標合成画像に関連付けられるべきリンク音響信号αを生成する。目標合成画像及びリンク音響信号αは、互いに関連付けられて外部メモリ１８に記録される。
【０１１５】
本実施例によっても、ユーザのシャッタ操作を必要とすることなく、第１及び第２実施例と同様の作用・効果を得ることができる。
【０１１６】
＜＜第６実施例＞＞
第６実施例を説明する。第６実施例では、動画像から抽出した入力画像としてのフレーム画像に対して最適な音響信号を光学ズーム倍率等に応じて生成し、抽出した静止画像に該最適な音響信号を関連付ける。この内容を詳細に説明する。
【０１１７】
まず、第６実施例の動作に関与するズーム機能について説明する。図２のドライバ３４は、撮像部１１の画角である撮影画角（換言すれば、入力画像の画角）がＣＰＵ２３にて設定された光学ズーム倍率に従った画角となるようにズームレンズ３０の位置を制御する。即ち、光学ズーム倍率に従ってズームレンズ３０の位置を制御することにより、撮像素子３３の有効画素領域上に結像する画像である入力画像の画角を決定する。光学ズーム倍率が或る倍率を起点としてｋ1倍になれば、入力画像の画角は、画像の水平及び垂直方向の夫々において１／ｋ1倍となる（ｋ1は正の数であって、例えば２倍）。光学ズーム倍率を記号ＺOPTにて表す。以下の説明では、光学ズーム倍率ＺOPTを、倍率ＺOPTと表現したり単にＺOPTと表現したりすることもある。
【０１１８】
第６実施例では、マイクロホン１４Ｌ及び１４Ｒとして、無指向性マイクロホンが用いられる。音響信号処理部１５は、無指向性の左原信号及び右原信号に対して適切な指向性制御を施すことで、強調対象エリア内の音源から到来した音の成分が強調された強調音響信号を生成することができる。
【０１１９】
図２１を参照して強調対象エリアＡＲについて説明する。図２１において、斜線で満たされたエリアが強調対象エリアＡＲである。強調対象エリアＡＲは、ＸＹ座標面上に定義されるエリアであって、破線で示された線分５０１及び５０２間に位置するエリアである。線分５０１及び５０２の夫々は、原点ＯからＸＹ座標面の第１又は第２象限へと伸びる線分であり、線分５０１及び５０２とＸ軸との成す角度を夫々φA及びφBにて表す。但し、角度φAは、原点Ｏとマイクロホン１４Ｒの中心とを結ぶ線分から反時計周り方向に線分５０１を見たときの、Ｘ軸及び線分５０１間の角度であり、角度φBは、原点Ｏとマイクロホン１４Ｒの中心とを結ぶ線分から反時計周り方向に線分５０２を見たときの、Ｘ軸及び線分５０２間の角度である。更に、０°＜φA＜φB＜１８０°であるとする。図２１に示す例では、０°＜φA＜９０°＜φB＜１８０°となっているが、０°＜φA＜φB≦９０°となることもあるし、９０°≦φA＜φB＜１８０°となることもある。
【０１２０】
音響信号処理部１５は、強調対象エリアＡＲ内に位置する音源（音源としての被写体）から到来する音の成分が強調された強調音響信号ＥＳＳを生成することができる。強調対象エリアＡＲ内に位置する音源から到来する音の信号成分を指向性制御によって左原信号及び右原信号から必要成分として抽出し、抽出した必要成分そのものを強調音響信号ＥＳＳとすることができる。或いは、その必要成分を左原信号及び右原信号から抽出する一方で、必要成分以外の信号成分を左原信号及び右原信号から不必要成分として抽出した後、必要成分の混合比率が比較的大きくなるように必要成分と不必要成分を加重加算することで強調音響信号ＥＳＳを生成しても良い。つまり、０＜ｋB＜ｋAを満たす係数ｋA及びｋBを設定し、必要成分に係数ｋAを乗じた信号と不必要成分に係数ｋBを乗じた信号とを足し合わせた信号を強調音響信号ＥＳＳとして生成しても良い。強調音響信号ＥＳＳに代表される強調音響信号の生成処理を、図３のリンク音響信号生成部５３にて行うことができる。
【０１２１】
図２２及び図２３を参照して、第６実施例に係る撮像装置１の動作について説明する。
第６実施例に係る特殊な動作の実行に先立ち、録画ボタン２６ａに対する操作等に応じて動画像５５０が撮影され、動画像５５０の画像信号が動画像５５０の撮影期間中における無指向性の左原信号及び右原信号と共に外部メモリ１８に記録されているものとする。通常は、動画像５５０の撮影期間中におけるＬ信号及びＲ信号も外部メモリ１８に記録されている。図２２には、動画像５５０の撮影時において撮像装置１の前方に広がる風景５３０が示され、図２３には、動画像５５０の構成が示されている。風景５３０上には、２本の木及び人物である被写体５６０が存在している。
【０１２２】
動画像５５０は、複数のフレーム画像を時系列上に並べて構成され、その複数のフレーム画像にはフレーム画像５５１〜５５６が含まれている。フレーム画像５５１〜５５６の撮影時刻を、それぞれＴA［１］〜ＴA［６］にて表し、フレーム画像５５１〜５５６の順番で撮影が成されたものとする。従って、時刻ＴA［ｉ＋１］は時刻ＴA［ｉ］よりも後の時刻である。フレーム５５１〜５５６上には共通して被写体５６０が存在している。フレーム画像５５１は、時刻ＴA［１］での撮影によって得られた入力画像に相当する（他のフレーム画像も同様）。
【０１２３】
今、説明の簡略化上、動画像５５０の撮影期間中において撮像装置１の筐体及び被写体５６０を含む全被写体は静止しているものとする。但し、時刻ＴA［１］から時刻ＴA［４］に向かうにつれて倍率ＺOPTが徐々に増大されていたものとする。時刻ＴA［ｉ］における倍率ＺOPTをＺOPT［ｉ］にて表す。ＺOPT［１］＜ＺOPT［２］＜ＺOPT［３］＜ＺOPT［４］、である。図２２において、符号５３１及び５３４が付された破線矩形内の範囲は、夫々、フレーム画像５５１及び５５４の撮影時における撮影範囲である。各フレーム画像の撮影時点における倍率ＺOPT（即ち、ＺOPT［ｉ］の値）は、動画像５５０の画像信号と共に外部メモリ１８に記録されているものとする。
【０１２４】
動画像５５０の撮影後、ユーザは、撮像装置１の動作モードを再生モードに変更させる。第６実施例における以下の説明は、再生モードにおける撮像装置１の動作の説明である。再生モードにおいて、ユーザは、動画像５５０の中から所望のフレーム画像を指定することができ、この指定が成された際、撮像装置１は、指定されたフレーム画像に基づく音声付き静止画像を生成することができる。例として、フレーム画像５５４が指定された場合における音声付き静止画像の生成方法を説明する。
【０１２５】
この場合、まず、音響信号処理部１５（例えばリンク音響信号生成部５３）は、図２４（ａ）に示す如く、フレーム画像５５４の撮影時刻ＴA［４］を内包する抽出期間５７０を設定する。抽出期間５７０は、例えば、時刻（ＴA［４］−ΔＴD）から時刻（ＴA［４］＋ΔＴD）までの期間である。ΔＴDは時間を単位とした所定の正の値を有し、その値をユーザが指定できるようにしておいても良い。リンク音響信号生成部５３は、抽出期間５７０における左原信号及び右原信号を外部メモリ１８から読み出し、読み出した左原信号及び右原信号に指向性制御を施すことによって、フレーム画像５５４の画角内に位置する音源（換言すれば撮影範囲５３４内に位置する音源としての被写体）からの音の成分が強調された強調音響信号ＥＳＳ554（図２４（ｂ）参照）を生成する。
【０１２６】
つまり、フレーム画像５５４の画角に応じた強調対象エリアＡＲ554を設定し、強調対象エリアＡＲに対応する強調音響信号ＥＳＳを生成する方法と同様の方法にて、抽出期間５７０における左原信号及び右原信号から強調対象エリアＡＲ554に対応する強調音響信号ＥＳＳ554を生成する。強調対象エリアＡＲ554についての角度φA及びφBである角度φ554A及びφ554Bは、時刻ＴA［４］の撮影画角であるフレーム画像５５４の画角から決定され、フレーム画像５５４の画角は外部メモリ１８に記録された倍率ＺOPT［４］の値から算出される。具体的には、角度（φ554B−φ554A）がフレーム画像５５４の画角と一致し且つ“（１８０°−φ554B）＝φ554A”が成立するように、φ554A及びφ554Bを決定する。これにより、強調音響信号ＥＳＳ554は、フレーム画像５５４の画角に応じた指向性を持つようになる（例えば、強調対象エリアＡＲ554内に位置する音源から到来する音の信号成分のみを有するようになる）。
【０１２７】
尚、フレーム画像５５４よりも前に撮影されたフレーム画像の画角が既に分かっている場合には、その既知の画角と、それらのフレーム画像間におけるオプティカルフローに基づいて、フレーム画像５５４の画角を推定することもできる。本例では、フレーム画像５５１及び５５２間のオプティカルフロー、フレーム画像５５２及び５５３間のオプティカルフロー並びにフレーム画像５５３及び５５４間のオプティカルフローから、フレーム画像５５１及び５５４間における画角の差異を推定することができるため、フレーム画像５５１の画角が既知ならば、それらのオプティカルフローとフレーム画像５５１の画角からフレーム画像５５４の画角を推定によって求めることもできる。この方法は、倍率ＺOPT［４］が外部メモリ１８に記録されていない場合に有益である。
【０１２８】
強調音響信号ＥＳＳ554は、フレーム画像５５４に対するリンク音響信号として機能する。図１のＣＰＵ２３は、第１実施例で述べた方法に従って、強調音響信号ＥＳＳ554としてのリンク音響信号とフレーム画像５５４の画像信号との関連付けを行い、それらを関連付けた状態で外部メモリ１８に記録することができる。その後、フレーム画像５５４の再生が指示されると、フレーム画像５５４が表示部２７に表示されると同時に、フレーム画像５５４に関連付けられたリンク音響信号がスピーカ２８を介して音として再生される。
【０１２９】
本実施例では、抽出期間中の記録音響信号を単に指定フレーム画像に関連付けるのではなく、指定フレーム画像の画角に応じた指向性を有する強調音響信号を生成し、それを指定フレーム画像に関連付けることで音声付き静止画像を生成する。このため、指定フレーム画像の画角に適応した音響信号（指定フレームの画角内に位置する音源に注目した音響信号）を、指定フレーム画像と共に再生することが可能となる。
【０１３０】
尚、上述の説明では、フレーム画像の画角を決定するズーム倍率が光学ズームによる光学ズーム倍率であることを想定したが、フレーム画像の画角を決定するズーム倍率は電子ズームによる電子ズーム倍率であっても良いし、光学ズーム倍率と電子ズーム倍率との組み合わせであっても良い。光学ズーム倍率と同様、電子ズーム倍率が或る倍率を起点としてｋ1倍になれば、フレーム画像としての入力画像の画角は、画像の水平及び垂直方向の夫々において１／ｋ1倍となる（ｋ1は正の数であって、例えば２倍）。
【０１３１】
＜＜変形等＞＞
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１３２】
［注釈１］
上述の説明では、画像間の動き量（位置ずれベクトル）の検出を画像信号に基づいて行っているが、撮像装置１の動きを検出する動きセンサ（不図示）を撮像装置１に設けておき、動き量の検出を該動きセンサの検出結果に基づいて行うようにしても良い。動きセンサは、例えば、撮像装置１の筐体及び撮像素子３３の角速度を検出する角速度センサ、又は、撮像装置１の筐体及び撮像素子３３の加速度を検出する加速度センサである。
【０１３３】
［注釈２］
上述の各実施例において、リンク音響信号の生成を任意の段階で行うことができる。即ち例えば、上述した幾つかの例（例えば、図７に示す例）においては、撮影モードにおいて左原信号及び右原信号又はＬ信号及びＲ信号から略リアルタイムにリンク音響信号が生成されているが、リンク音響信号の元となる左原信号及び右原信号（又はＬ信号及びＲ信号）を、一旦、内部メモリ１７又は外部メモリ１８に保存しておき、その保存後の任意のタイミングにおいて（例えば再生モードにおいて）、それらのメモリから左原信号及び右原信号又はＬ信号及びＲ信号を読み出すことでリンク音響信号を生成するようにしても良い。
【０１３４】
［注釈３］
第１実施例では、目標合成画像の元となる２枚の対象入力画像３４１及び３４２（図８（ａ）及び（ｂ））を共通の撮像素子３３を用いた２回の撮影によって得ているが、撮像部１１に第１及び第２撮像素子から成る２つの撮像素子（不図示）を設け、該２つの撮像素子にて対象入力画像３４１及び３４２を得るようにしても良い。第１及び第２撮像素子の夫々は、撮像素子３３と同等のものであるが、第１撮像素子を用いた撮影の撮影方向（第１撮像素子にとっての光軸の方向）と第２撮像素子を用いた撮影の撮影方向（第２撮像素子にとっての光軸の方向）は互いに異なる。
【０１３５】
同一時刻において第１撮像素子上には撮影範囲３３１内の各被写体の像が結像するように且つ第２撮像素子上には撮影範囲３３２内の各被写体の像が結像するように撮像部１１の光学系を形成しておくことで（図６（ｂ）参照）、第１及び第２撮像素子にて対象入力画像３４１及び３４２の画像信号を同時に取得することができ、得られた対象入力画像３４１及び３４２の画像信号から図２５の目標合成画像６００の画像信号を生成することができる。目標合成画像６００は、図９（ａ）の目標合成画像３４３又は図１１の目標合成画像３４３ａと等価なものである。
【０１３６】
この際、第１及び第２撮像素子を用いた対象入力画像３４１及び３４２の撮影時刻を内包する期間を対象期間として設定し、対象期間中における左原信号及び右原信号を目標合成画像６００に関連付けて目標合成信号６００の画像信号と共に外部メモリ１８に記録することもできる。目標合成画像６００内に強調対象画像領域６０１を設定して、強調対象画像領域６０１に注目した強調音響信号ＥＳＳ601を対象期間中における無指向性の左原信号及び右原信号から生成し、その強調音響信号ＥＳＳ601をリンク音響信号として目標合成信号６００の画像信号に関連付けて目標合成信号６００の画像信号と共に外部メモリ１８に記録するようにしても良い。強調対象画像領域６０１は、目標合成画像６００の中央付近に配置された、目標合成画像６００の全体画像領域の一部であり、対象入力画像３４１及び３４２間の共通の被写体の画像信号が存在する画像領域を内包する。従って、強調対象画像領域６０１には、対象被写体としての被写体３２１の画像信号が存在している。
【０１３７】
強調音響信号ＥＳＳ601は、強調対象画像領域６０１の画角内に位置する音源（被写体）からの音の成分が強調された音響信号である。強調対象画像領域６０１の画角内に位置する音源を図２１の強調対象エリアＡＲ内に位置する音源と見立てた上で、対象期間中における無指向性の左原信号及び右原信号に第６実施例で述べた指向性制御を施すことにより、強調音響信号ＥＳＳ601を生成することができる。
【０１３８】
［注釈４］
上述の説明では、撮像装置１に設けられたマイクロホンの個数は２であるが、３個以上のマイクロホンを撮像装置１に設け、３個以上のマイクロホンの出力信号からリンク音響信号を生成するようにしても良い。
【０１３９】
［注釈５］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい
【０１４０】
［注釈６］
例えば、以下のように考えることができる。撮像装置１には、複数のマイクロホンの出力音響信号から指向性を有するリンク音響信号を生成する指向性制御部が備えられている。指向性制御部は、図３のリンク音響信号生成部５３を備え、更にチャンネル音響信号生成部５２を構成要素として含みうる。また、第６実施例に係る撮像装置１には、動画像５５０から指定フレーム画像（上述の具体例においてはフレーム画像５５４）を対象静止画像として抽出する対象静止画像抽出部が備えられ、その対象静止画像抽出部は図１のＣＰＵ２３及び／又は画像信号処理部１３によって実現される。また、撮像装置１には、出力画像（目標合成画像又は上記の対象静止画像）とリンク音響信号を関連付ける関連付け部が備えられ、該関連付け部は図１のＣＰＵ２３によって実現される。
【符号の説明】
【０１４１】
１ 撮像装置
１１ 撮像部
１３ 画像信号処理部
１４ マイク部
１５ 音響信号処理部
３３ 撮像素子
５２ チャンネル音響信号生成部
５３ リンク音響信号生成部
１４Ｌ、１４Ｒ マイクロホン
ＳＳ 音源
【特許請求の範囲】
【請求項１】
撮影方向が互いに異なるｍ枚の入力画像を撮影する撮像部と（ｍは２以上の整数）、
複数のマイクロホンから成るマイク部と、
前記ｍ枚の入力画像又は前記ｍ枚の入力画像から抽出したｍ枚の抽出画像を合成することで出力画像を生成する画像合成部と、
前記ｍ枚の入力画像の撮影期間中における前記複数のマイクロホンの出力音響信号から指向性を有するリンク音響信号を生成する指向性制御部と、
前記出力画像と前記リンク音響信号を関連付ける関連付け部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
前記出力画像は、特定の被写体の画像信号を有し、
前記指向性制御部は、前記特定の被写体より到来する音の成分が強調されるように前記リンク音響信号を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像部は、前記ｍ枚の入力画像を含むｎ枚の入力画像を撮影し（ｎは整数であって、ｎ＞ｍ）、
当該撮像装置は、
前記ｎ枚の入力画像の内の、互いに異なる入力画像間の動き量を検出する動き検出部と、
前記動き検出部の検出結果に基づいて、前記ｎ枚の入力画像の中から前記出力画像の元となる前記ｍ枚の入力画像を選択する画像選択部と、を更に備えた
ことを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記撮像部は、前記ｍ枚の入力画像を含むｎ枚の入力画像を撮影し（ｎは整数であって、ｎ＞ｍ）、
当該撮像装置は、
前記複数のマイクロホンの出力音響信号に基づき、音源としての前記特定の被写体が位置する方向を推定する音源方向推定部と、
前記音源方向推定部の推定結果に基づいて、前記ｎ枚の入力画像の中から前記出力画像の元となる前記ｍ枚の入力画像を選択する画像選択部と、を更に備えた
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
複数のフレーム画像から成る動画像を撮影する撮像部と、
複数のマイクロホンから成るマイク部と、
前記動画像から特定のフレーム画像を対象静止画像として抽出する対象静止画像抽出部と、
前記特定のフレーム画像の撮影時点を基準とする特定期間中における前記複数のマイクロホンの出力音響信号から、前記対象静止画像の画角に応じた指向性を有するリンク音響信号を生成する指向性制御部と、
前記対象静止画像と前記リンク音響信号を関連付ける関連付け部と、を備えた
ことを特徴とする撮像装置。
【請求項６】
前記指向性制御部は、前記対象静止画像の画角内に位置する被写体からの音の成分が強調されるように前記リンク音響信号を生成する
ことを特徴とする請求項５に記載の撮像装置。
【請求項１】
撮影方向が互いに異なるｍ枚の入力画像を撮影する撮像部と（ｍは２以上の整数）、
複数のマイクロホンから成るマイク部と、
前記ｍ枚の入力画像又は前記ｍ枚の入力画像から抽出したｍ枚の抽出画像を合成することで出力画像を生成する画像合成部と、
前記ｍ枚の入力画像の撮影期間中における前記複数のマイクロホンの出力音響信号から指向性を有するリンク音響信号を生成する指向性制御部と、
前記出力画像と前記リンク音響信号を関連付ける関連付け部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
前記出力画像は、特定の被写体の画像信号を有し、
前記指向性制御部は、前記特定の被写体より到来する音の成分が強調されるように前記リンク音響信号を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像部は、前記ｍ枚の入力画像を含むｎ枚の入力画像を撮影し（ｎは整数であって、ｎ＞ｍ）、
当該撮像装置は、
前記ｎ枚の入力画像の内の、互いに異なる入力画像間の動き量を検出する動き検出部と、
前記動き検出部の検出結果に基づいて、前記ｎ枚の入力画像の中から前記出力画像の元となる前記ｍ枚の入力画像を選択する画像選択部と、を更に備えた
ことを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記撮像部は、前記ｍ枚の入力画像を含むｎ枚の入力画像を撮影し（ｎは整数であって、ｎ＞ｍ）、
当該撮像装置は、
前記複数のマイクロホンの出力音響信号に基づき、音源としての前記特定の被写体が位置する方向を推定する音源方向推定部と、
前記音源方向推定部の推定結果に基づいて、前記ｎ枚の入力画像の中から前記出力画像の元となる前記ｍ枚の入力画像を選択する画像選択部と、を更に備えた
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
複数のフレーム画像から成る動画像を撮影する撮像部と、
複数のマイクロホンから成るマイク部と、
前記動画像から特定のフレーム画像を対象静止画像として抽出する対象静止画像抽出部と、
前記特定のフレーム画像の撮影時点を基準とする特定期間中における前記複数のマイクロホンの出力音響信号から、前記対象静止画像の画角に応じた指向性を有するリンク音響信号を生成する指向性制御部と、
前記対象静止画像と前記リンク音響信号を関連付ける関連付け部と、を備えた
ことを特徴とする撮像装置。
【請求項６】
前記指向性制御部は、前記対象静止画像の画角内に位置する被写体からの音の成分が強調されるように前記リンク音響信号を生成する
ことを特徴とする請求項５に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１１−１５５５８０（Ｐ２０１１−１５５５８０Ａ）
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願番号】特願２０１０−１６７９９（Ｐ２０１０−１６７９９）
【出願日】平成２２年１月２８日（２０１０．１．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願日】平成２２年１月２８日（２０１０．１．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]