撮像装置
【課題】臨場感のあるパノラマ映像の再生を行う。
【解決手段】撮像装置を水平方向に振りながら複数の入力画像（静止画像）を撮影し、複数の入力画像を合成することでパノラマ画像を生成する。複数の入力画像を撮影する際、マイク部の出力信号を記録しておく。パノラマ画像の再生時には、パノラマ画像内に抽出枠を設定し、パノラマ画像上で抽出枠を移動させながら抽出枠内の画像を表示部に更新表示させることで、パノラマ画像の全体を、一定時間（ＰＲＥＰ）をかけて再生する。この際、記録音響信号に基づくリンク音響信号を同時に再生する。例えば、楽器３２１の表示時には楽器３２１の発生音が同時に再生されるように、人物３２３の表示時には人物３２３の発生音が同時に再生されるように、指向性制御を利用してリンク音響信号を生成する。
【解決手段】撮像装置を水平方向に振りながら複数の入力画像（静止画像）を撮影し、複数の入力画像を合成することでパノラマ画像を生成する。複数の入力画像を撮影する際、マイク部の出力信号を記録しておく。パノラマ画像の再生時には、パノラマ画像内に抽出枠を設定し、パノラマ画像上で抽出枠を移動させながら抽出枠内の画像を表示部に更新表示させることで、パノラマ画像の全体を、一定時間（ＰＲＥＰ）をかけて再生する。この際、記録音響信号に基づくリンク音響信号を同時に再生する。例えば、楽器３２１の表示時には楽器３２１の発生音が同時に再生されるように、人物３２３の表示時には人物３２３の発生音が同時に再生されるように、指向性制御を利用してリンク音響信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
カメラを左右又は上下に動かしながら複数の静止画像を撮影し、撮影した静止画像をつなぎ合わせて合成することで広視野角のパノラマ画像（パノラマ映像）を生成する方法が知られている。
【０００３】
パノラマ画像は動画像ではなく静止画像の一種であるため、再生時において、パノラマ画像を再生する際、通常、音響信号の再生は成されない。但し、パノラマ画像の元となる複数の静止画像の撮影後に、音声メモをパノラマ画像に付与する編集機能は存在する。
【０００４】
尚、下記特許文献１には、反射鏡によって入力された全周囲の画像を撮影する撮影手段と、前記撮影手段により入力された画像をパノラマ画像に変形する展開手段と、を備えたシステムが示されており、当該システムでは、音源方向（話者位置）の検出等を行うために、画像撮影時における音響信号を画像と共に記録させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−８１６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像撮影後に付与される上記音声メモは、画像撮影時のカメラ周辺音とは関係のないものであるため、当該音声メモをパノラマ画像と同時に再生したとしても、視聴者は画像撮影時の臨場感を得がたい。
【０００７】
そこで本発明は、パノラマ画像の再生時において強い臨場感を視聴者に与えることのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、撮影領域内の被写体の撮影を行う撮像部と、マイクロホンから成るマイク部と、前記撮影領域が互いに異なる状態で前記撮像部により撮影された複数の入力画像を合成することによりパノラマ画像を生成する画像合成部と、前記複数の入力画像の撮影期間中における前記マイク部の出力に基づく音響信号を、前記パノラマ画像の画像信号と共に記録する記録媒体と、前記パノラマ画像を部分画像ごとに表示部に更新表示させることで、前記パノラマ画像の全体を再生する再生制御部と、を備えた撮像装置において、前記マイク部の出力から指向性を有する音響信号である指向性音響信号を生成する音響信号処理部を更に備え、前記再生制御部は、前記パノラマ画像を再生する際、前記記録媒体に記録された音響信号に基づく出力音響信号として前記指向性音響信号を同時に再生することを特徴とする。
【０００９】
画像撮影時における音響信号から得た指向性音響信号をパノラマ画像と共に再生することで、強い臨場感を視聴者に与えることが可能となる。
【００１０】
より具体的には例えば、前記撮影範囲内の前記被写体には、音源として機能する被写体が含まれ、再生期間中において前記音源が前記表示部にて表示されるとき、前記音源からの音が強調して再生されるように、前記音響信号処理部は前記指向性音響信号を生成してもよい。
【００１１】
これにより、表示映像に合わせた音響信号再生が可能となり、臨場感のあるパノラマ画像再生が可能となる。
【００１２】
換言すれば例えば、再生期間は、時系列順に並ぶ第１、第２、・・・第ｎ再生時刻から成り（ｎは２以上の整数）、前記再生制御部は、前記第１、第２、・・・第ｎ再生時刻において、前記パノラマ画像の第１部分画像、第２部分画像、・・・第ｎ部分画像を、順次、前記表示部に更新表示させ、前記第１部分画像〜前記第ｎ部分画像は互いに異なり、前記再生期間中において第ｉ部分画像が前記表示部にて表示されるとき（ｉは１以上ｎ以下の整数）、前記第ｉ部分画像に描画される音源から到来した音が強調して再生されるように、前記音響信号処理部は前記指向性音響信号を生成してもよい。
【００１３】
また例えば、前記パノラマ画像の第１部分画像、第２部分画像、・・・第ｎ部分画像をｎ枚の静止画像として前記パノラマ画像から抽出して、前記ｎ枚の静止画像から成る動画像を生成する動画像生成部を当該撮像装置に更に設け（ｎは２以上の整数）、前記動画像を前記記録媒体に記録するようにしてもよい。例えば、前記第１部分画像〜前記第ｎ部分画像は互いに異なる。
【００１４】
これにより、動画像の記録信号を受けた任意の動画像再生装置上で、撮像装置にて実現指されるものと同様のパノラマ画像再生が可能となる。
【００１５】
そして例えば、前記動画像を前記記録媒体に記録する際、前記出力音響信号も前記動画像に関連付けて前記記録媒体に記録しても良い。
【００１６】
これにより、動画像及び出力音響信号の記録信号を受けた任意の動画像再生装置上で、表示映像に合わせた音響信号再生が可能となり、臨場感のあるパノラマ画像再生が可能となる。
【発明の効果】
【００１７】
本発明によれば、パノラマ画像の再生時において強い臨場感を視聴者に与えることのできる撮像装置を提供することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】図１のマイク部とマイク部の後段部位とを示す図である。
【図４】図１に示される撮像装置の外観斜視図である。
【図５】指向性制御によって生成可能な音響信号のポーラパターン例を示す図（ａ）及び（ｂ）と、音源の角度を説明するための図（ｃ）である。
【図６】図１の撮像装置の前方に広がる全景を示す図である。
【図７】パノラマ画像の生成に関与する部位のブロック図である。
【図８】複数の入力画像を示す図である。
【図９】複数の入力画像の撮影期間を説明するための図である。
【図１０】複数の入力画像の具体例を示す図である。
【図１１】パン操作の影響を説明するための図である。
【図１２】パノラマ画像の例を示す図（ａ）と、パノラマ画像における左側領域内の画像、中央領域内の画像及び右側領域内の画像を示す図（ｂ）である。
【図１３】リンク音響信号の生成に関与する部位のブロック図である。
【図１４】再生制御部と再生制御部の後段部位を示す図である。
【図１５】パノラマ画像の再生期間を説明するための図である。
【図１６】パノラマ画像に抽出枠が設定される様子を示す図である。
【図１７】パノラマ画像から抽出された複数の部分画像の例を示す図である。
【図１８】強調対象領域の意義を説明するための図である。
【図１９】撮影期間中の３つの時刻に対応する撮影領域及び強調対象領域を示す図である。
【図２０】再生期間中の表示映像と出力音声の例を示す図である。
【図２１】再生期間が３等分される様子を示す図である。
【図２２】再生期間を３等分することで得た３つの分割期間に対応する、３つのエリアを示す図である。
【図２３】撮影期間中の撮影画像と入力音声の例を示す図（ａ）と、再生期間中の表示映像と出力音声の例を示す図（ｂ）である。
【図２４】動画像生成部を示す図である。
【図２５】マイクロホンと撮像装置の筐体との関係を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、入力画像を記号Ｉ［１］によって表す場合、入力画像Ｉ［１］を、例えば画像Ｉ［１］と表記する場合もある。
【００２０】
図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００２１】
撮像装置１には、撮像部１１、ＡＦＥ１２、画像処理部１３、マイク部１４、音響信号処理部１５、表示部１６、スピーカ部１７、操作部１８、記録媒体１９及び主制御部２０が設けられている。表示部１６及びスピーカ部１７は、撮像装置１と異なる外部の再生機器（不図示；テレビ受信機など）に設けられたものあっても良い。
【００２２】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部２０からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。
【００２３】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして画像処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部２０によって制御される。
【００２４】
画像処理部１３は、ＡＦＥ１２からのＲＡＷデータに基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像信号を生成する。ここで生成される画像信号には、例えば、輝度信号及び色差信号が含まれる。但し、ＲＡＷデータそのものも画像信号の一種であり、撮像部１１から出力されるアナログ信号も画像信号の一種である。尚、本明細書では、或る画像の画像信号のことを単に画像と言うこともある。従って、例えば、入力画像の生成、取得、記録、加工、変形、編集又は保存とは、入力画像の画像信号の生成、取得、記録、加工、変形、編集又は保存を意味する。
【００２５】
マイク部１４は、撮像装置１の周辺音を音響信号に変換する。マイク部１４を、複数のマイクロホンにて形成することができる。ここでは、図３に示す如く、マイク部１４が２つのマイクロホン１４Ｌ及び１４Ｒから成るものとする。Ａ／Ｄ変換器５１Ｌ及び５１Ｒを、音響信号処理部１５に設けておくことができる。図４に、撮像装置１の外観斜視図を示す。マイクロホン１４Ｌ及び１４Ｒは、撮像装置１の筐体上の互いに異なる位置に配置される。図４には、撮像装置１によって撮影される物体である、撮像装置１の被写体も示されている。被写体の撮影画像が表示部１６に表示されることで、ユーザは撮像装置１の撮影領域（換言すれば撮影範囲）等を確認することができる。
【００２６】
図４に示す如く、撮像装置１にて撮影可能な被写体が存在する方向を前方と定義し、その逆の方向を後方と定義する。前方及び後方は、撮像部１１の光軸に沿った方向である。また、右及び左とは、後方側から前方側を見たときの右及び左を意味するものとする。
【００２７】
マイクロホン１４Ｌ及び１４Ｒの夫々は、自身が収音した音をアナログの音響信号に変換して出力する。図３のＡ／Ｄ変換器５１Ｌ及び５１Ｒは、夫々、マイクロホン１４Ｌ及び１４Ｒから出力されるアナログの音響信号を所定のサンプリング周期（例えば４８キロヘルツ）にてデジタルの音響信号に変換して出力する。Ａ／Ｄ変換器５１Ｌの出力信号を特に左原信号と呼び、Ａ／Ｄ変換器５１Ｒの出力信号を特に右原信号と呼ぶ。
【００２８】
音響信号処理部１５は、左原信号及び右原信号に必要な音響信号処理を施すことができる。この処理内容については後述する。
【００２９】
表示部１６は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部２０の制御の下、撮影画像や記録媒体１９に記録されている画像などを表示する。本実施形態で述べる表示及び表示画面とは、特に記述なき限り、表示部１６における表示及び表示画面を指す。スピーカ部１７は、１又は複数のスピーカから成り、マイク部１４にて生成された音響信号、音響信号処理部１５にて生成された音響信号、記録媒体１９から読み出された音響信号など、任意の音響信号を音として再生出力する。操作部１８は、機械式ボタン、タッチパネル等から成り、ユーザからの様々な操作を受け付ける。操作部１８に対する操作内容は、主制御部２０等に伝達される。記録媒体１９は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部２０による制御の下、撮影画像などを記憶する。主制御部２０は、操作部１８への操作内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。
【００３０】
撮像装置１の動作モードには、静止画像又は動画像を撮影可能な撮影モードと記録媒体１９に記録された静止画像又は動画像を表示部１６上で再生可能な再生モードとが含まれる。撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、撮像部１１から（より詳細にはＡＦＥ１２から）被写体の撮影画像列を表すＲＡＷデータが出力される。撮影画像列に代表される画像列とは、時系列で並ぶ静止画像の集まりを指す。
【００３１】
マイクロホン１４Ｌ及び１４Ｒとして、指向性を有さない無指向性マイクロホンを採用することができる。マイクロホン１４Ｌ及び１４Ｒが無指向性マイクロホンである場合、左原信号及び右原信号は無指向性の音響信号（指向性を有さない音響信号）である。音響信号処理部１５は、公知の指向性制御を用いて無指向性の左原信号及び右原信号から、任意の方向に指向軸を持つ音響信号を生成することができる。
【００３２】
この指向性制御を、例えば、左原信号又は右原信号を遅延させる遅延処理と、左原信号又は右原信号を所定割合だけ減衰させる減衰処理と、遅延処理及び／又は減衰処理を経た左原信号及び右原信号の一方から他方を減算する減算処理と、によって実現することができる。例えば、左原信号及び右原信号に対する指向性制御によって、図５（ａ）のポーラパターン３１０を持つ音響信号、即ち、左斜め後方４５°の方向に死角を有する音響信号を生成することができる。ポーラパターン３１０を持つ音響信号は、右斜め前方４５°の方向に指向軸を有する音響信号である、即ち、撮像装置１の右斜め前方４５°に位置する音源から撮像装置１に到来した音の成分に対して最も高い指向性（感度）を持った音響信号である。逆に例えば、左原信号及び右原信号に対する指向性制御によって、図５（ｂ）のポーラパターン３１１を持つ音響信号、即ち、右斜め後方４５°の方向に死角を有する音響信号を生成することができる。ポーラパターン３１１を持つ音響信号は、左斜め前方４５°の方向に指向軸を有する音響信号である、即ち、撮像装置１の左斜め前方４５°に位置する音源から撮像装置１に到来した音の成分に対して最も高い指向性（感度）を持った音響信号である。
【００３３】
また、図５（ｃ）に示すような、Ｘ軸及びＹ軸を座標軸としたＸＹ座標面（ＸＹ座標系）を定義する。Ｘ軸は、マイクロホン１４Ｌの中心とマイクロホン１４Ｒの中心とを通る軸であり、それらの中心の中間に原点Ｏが位置する。Ｙ軸は、原点ＯにてＸ軸と直交する。Ｙ軸に沿った方向は、撮像部１１の光軸（撮像素子３３にとっての光軸）の方向と一致する。Ｘ軸及びＹ軸は水平面と平行であるとする。原点Ｏからマイクロホン１４Ｒに向かう方向（即ち、撮像装置１の右方向）がＸ軸の正方向であるとし、原点Ｏから撮像装置１の前方に向かう方向がＹ軸の正方向であるとする。線分３１３は、原点Ｏと任意の音源である音源ＳＳとを結ぶ線分である。Ｘ軸と線分３１３との成す角度をθで表す。但し、角度θは、原点Ｏとマイクロホン１４Ｒの中心とを結ぶ線分から反時計周り方向に線分３１３を見たときの、Ｘ軸及び線分３１３間の角度であるとする。反時計周り方向とは、原点Ｏからマイクロホン１４Ｒの中心に伸びる線分を、撮像装置１の前方側に回転させる方向を指す。音源ＳＳの角度θは、音源ＳＳが位置する方向（即ち、音源ＳＳについての音源方向）を表す。
【００３４】
図６に、本実施形態で想定される、撮像装置１の前方側の全景を示す。符号３２０が付された実線枠内の絵が、撮像装置１の前方に広がる全景である。撮像装置１から見て、全景３２０の左側、中央付近及び右側には、夫々、被写体３２１、３２２及び３２３が存在している。被写体３２１、３２２及び３２３は、夫々、楽器、椅子及び人物である。楽器である被写体３２１及び人物である被写体３２３は、音を発生する音源としての機能も持つ。一方、椅子である被写体３２２は音源としての機能を持たない。
【００３５】
全景３２０の全体を同時に撮影画角内に収めることはできないが、ユーザが全景３２０の全体が写し出された画像の取得を希望していたとする。撮影画角とは、撮像部１１を用いた撮影における画角を指す。撮像装置１には、撮像装置１を振りながら得た複数の撮影画像から全景３２０を表すパノラマ画像を生成する機能が備えられている。
【００３６】
図７に、パノラマ画像の生成に関与する部位のブロック図を示す。入力画像取得部６１及び画像合成部６２を、図１の画像処理部１３に設けておくことができる。
【００３７】
入力画像取得部６１は、撮像部１１の出力信号に基づく複数の入力画像を取得する。撮像部１１は周期的に又は間欠的に撮影領域内の被写体を撮影することで被写体の撮影画像列を取得することができ、この撮影画像列が複数の入力画像として取得される。各々の入力画像は、撮像部１１を用いて撮影領域内の被写体を撮影することで得た静止画像（即ち、被写体の撮影画像）である。撮影領域とは、撮像部１１の視野に収まる、実空間上の領域を指す。入力画像取得部６１は、ＡＦＥ１２の出力信号を直接ＡＦＥ１２から受けることで各入力画像を取得することができる。或いは、撮影モードにおいて被写体の各撮影画像を一旦記録媒体１９に記録しておき、その後、再生モードにおいて記録媒体１９から読み出した被写体の各撮影画像を入力画像取得部６１に与えることで入力画像取得部６１に各入力画像を取得させても良い。
【００３８】
図８に示す如く、複数の入力画像を記号Ｉ［１］〜Ｉ［ｍ］によって表す（ｍは２以上の整数）。入力画像の撮影時における撮影画角は、入力画像Ｉ［１］〜Ｉ［ｍ］間で不変であるとする。また、図９に示す如く、入力画像Ｉ［１］〜Ｉ［ｍ］の撮影期間を記号ＰＳＨで表す。撮影期間ＰＳＨは、時刻ｔＳから時刻ｔＥまでの期間である。ユーザは、操作部１８に対する所定操作によって撮影期間ＰＳＨの開始及び終了を指示することができる（即ち、時刻ｔＳ及びｔＥを指定することができる）。時系列順に並ぶ時刻ｔ１〜ｔｍは、撮影期間ＰＳＨに属する。時刻ｔｉは、入力画像Ｉ［ｉ］の撮影時刻を表す（ｉは整数）。より具体的には例えば、時刻ｔｉは、入力画像Ｉ［ｉ］の画像信号を撮像素子３３から得るための、撮像素子３３の露光期間の開始時刻、中央時刻又は終了時刻である。時刻ｔｉ＋１は、時刻ｔｉよりも後の時刻である。時刻ｔ１及びｔｍはそれぞれ時刻ｔＳ及びｔＥと一致していても良いし、或いは、時刻ｔ１よりも所定時間だけ早い時刻が時刻ｔＳであると共に時刻ｔｍよりも所定時間だけ遅い時刻が時刻ｔＥであっても良い。
【００３９】
例えば、撮像装置１にパン操作を行いながら得たｍ枚の撮影画像が入力画像Ｉ［１］〜Ｉ［ｍ］として取得される。より具体的には例えば、ユーザは、時刻ｔＳにおいて被写体３２１を撮影領域内に収めた状態で操作部１８に設けられたシャッタボタン（不図示）を押し、その後、シャッタボタンを押し続けた状態で、撮影領域内に収まる被写体が被写体３２１から被写体３２２、３２３へと順次移り変わるように、撮像装置１にパン操作を行う。そして、撮影領域の中央付近に被写体３２３が収まった時点で、シャッタボタンを押す操作を解除する。この解除の時点が時刻ｔＥに相当する。シャッタボタンが押し続けられている期間中、撮像部１１は周期的に被写体の撮影を繰り返し行い、これによって時系列に並ぶ複数の撮影画像（被写体の撮影画像）を得る。入力画像取得部６１は、この複数の撮影画像を、入力画像Ｉ［１］〜Ｉ［ｍ］として得ることができる。
【００４０】
或いは例えば、時刻ｔ１〜ｔｍの１つ１つがユーザによって指定されても良い。この場合、ユーザは、撮影領域内に収まる被写体が被写体３２１から被写体３２２、３２３へと順次移り変わるように撮像装置１にパン操作を行いながら、時刻ｔ１、ｔ２、・・・及びｔｍにおいて、１回ずつシャッタボタンを押す。
【００４１】
図１０に、入力画像Ｉ［１］〜Ｉ［ｍ］の例である入力画像ＩＡ［１］〜ＩＡ［７］を示す。図１０の例では、ｍ＝７である。ｉ及びｊが互いに異なる整数である場合、入力画像Ｉ［ｉ］の撮影時における撮影領域と入力画像Ｉ［ｊ］の撮影時における撮影領域とは互いに異なる。被写体３２１〜３２３の内、入力画像ＩＡ［１］の撮影時には被写体３２１のみが撮影領域内に収まっており、入力画像ＩＡ［４］の撮影時には被写体３２２のみが撮影領域内に収まっており、入力画像ＩＡ［７］の撮影時には被写体３２３のみが撮影領域内に収まっている。
【００４２】
撮影期間ＰＳＨ中において撮像装置１に成されるパン操作は、図１１（ａ）に示す如く、原点Ｏ（図５（ｃ）も参照）を通る鉛直線を回転軸として撮像装置１を水平方向に回転させる操作に相当し、当該パン操作によって撮像部１１の光軸に相当するＹ軸は水平面上で回転する。今、時刻ｔｉにおけるＹ軸をＹ［ｔｉ］にて表すと共に、図１１（ｂ）に示す如く時刻ｔ１におけるＹ軸（即ちＹ［ｔ１］）と時刻ｔｉにおけるＹ軸（即ちＹ［ｔｉ］）との成す角度をφｉにて表す。φ１は０°である。ここでは、変数ｉが増大するにつれて角度φｉは単調増加するものとする。入力画像ＩＡ［１］〜ＩＡ［７］の撮影時には、“０°＝φ１＜φ２＜φ３＜φ４＜φ５＜φ６＜φ７＜３６０°”が成立している。
【００４３】
図７の画像合成部６２は、撮影領域が互いに異なる状態で撮像部１１により撮影された複数の入力画像、即ち、入力画像Ｉ［１］〜Ｉ［ｍ］を合成することによりパノラマ画像（合成結果画像）を生成する。パノラマ画像の画角は、入力画像Ｉ［１］〜Ｉ［ｍ］の夫々の画角よりも大きい。画像合成部６２は、入力画像Ｉ［１］〜Ｉ［ｍ］の共通の被写体が重なり合うように入力画像Ｉ［１］〜Ｉ［ｍ］を貼り合わせて合成することでパノラマ画像を生成する。このような合成は、一般にイメージモザイキングと呼ばれており、公知のイメージモザイキングの方法を、画像合成部６２の画像合成処理に利用することができる。
【００４４】
図１２（ａ）の画像４２０は、入力画像ＩＡ［１］〜ＩＡ［７］に基づくパノラマ画像の例を示している。パノラマ画像４２０の全画像領域を左側領域、中央領域及び右側領域にて３等分した場合、例えば図１２（ｂ）に示す如く、左側領域内の画像、中央領域内の画像及び右側領域内の画像は、夫々、図１０の入力画像ＩＡ［１］、ＩＡ［４］及びＩＡ［７］に相当する。
【００４５】
入力画像Ｉ［１］〜Ｉ［ｍ］の取得後の任意のタイミングでパノラマ画像を生成することができる。従って例えば、撮影モードにおいて入力画像Ｉ［１］〜Ｉ［ｍ］を取得した後、即時、撮影モードにおいてパノラマ画像を生成するようにしても良い。或いは、撮影モードにおいて入力画像Ｉ［１］〜Ｉ［ｍ］を記録媒体１９に記録しておき、その後、再生モードにおいて記録媒体１９から読み出した入力画像Ｉ［１］〜Ｉ［ｍ］に基づきパノラマ画像を生成するようにしても良い。撮影モード又は再生モードにおいて生成したパノラマ画像の画像信号を記録媒体１９に記録することができる。
【００４６】
一方、撮像装置１は、パノラマ画像と共に再生することのできる音響信号を記録及び生成する機能を備える。図１３は、この機能の実現に特に関与する部位のブロック図である。入力音響信号取得部６６及びリンク音響信号生成部６７を、図１の音響信号処理部１５に設けておくことができる。
【００４７】
入力音響信号取得部６６は、入力音響信号を取得してリンク音響信号生成部６７に出力する。入力音響信号は、撮影期間ＰＳＨ中における左原信号及び右原信号から成る。リンク音響信号生成部６７は、入力音響信号から、出力音響信号とも言うべきリンク音響信号を生成する（リンク音響信号の詳細については後述）。
【００４８】
入力音響信号の取得後の任意のタイミングでリンク音響信号を生成することができる。従って例えば、撮影モードにおいて入力音響信号を取得した後、即時、撮影モードにおいてリンク音響信号を生成するようにしても良い。或いは、撮影モードにおいて入力音響信号を記録媒体１９に記録しておき、その後、再生モードにおいて記録媒体１９から読み出した入力音響信号に基づきリンク音響信号を生成するようにしても良い。撮影モード又は再生モードにおいて生成したリンク音響信号を記録媒体１９に記録することができる。
【００４９】
入力画像Ｉ［１］〜Ｉ［ｍ］の画像信号と入力音響信号又はリンク音響信号とを互いに関連付けて記録媒体１９に記録することができ、パノラマ画像の画像信号と入力音響信号又はリンク音響信号とを互いに関連付けて記録媒体１９に記録することができる。例えば、撮影モードにてリンク音響信号及びパノラマ画像を生成する場合においては、リンク音響信号をパノラマ画像に関連付けた状態でパノラマ画像と共に記録媒体１９に記録すると良い。或いは例えば、再生モードにてリンク音響信号及びパノラマ画像を生成する場合においては、撮影モードにおいて入力音響信号及び入力画像Ｉ［１］〜Ｉ［ｍ］を互いに関連付けた状態で記録媒体１９に記録しておき、再生モードにおいて記録媒体１９から入力音響信号及び入力画像Ｉ［１］〜Ｉ［ｍ］を読み出して、読み出した入力音響信号及び入力画像Ｉ［１］〜Ｉ［ｍ］からリンク音響信号及びパノラマ画像を生成すればよい。再生モードにおいて生成したリンク音響信号及びパノラマ画像も記録媒体１９に記録することができる。
【００５０】
撮像装置１は、パノラマ画像を特徴的な方法によって再生することができる。上述の構成及び動作を基本とする、パノラマ画像の再生方法及び利用方法を、以下の第１実施例〜第３実施例において説明する。矛盾なき限り、複数の実施例を組み合わせることも可能である。
【００５１】
＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、再生モードの一種であるパノラマ再生モードにおける撮像装置１の動作を説明する。第１実施例並びに後述の第２及び第３実施例では、説明の具体化のため、入力画像Ｉ［１］〜Ｉ［ｍ］として図１０の入力画像ＩＡ［１］〜ＩＡ［７］が得られ、入力画像ＩＡ［１］〜ＩＡ［７］に基づき図１２（ａ）のパノラマ画像４２０が得られたことを想定する。
【００５２】
図１４の再生制御部７１を、図１の画像処理部１３又は主制御部２０によって実現することができる、或いは、画像処理部１３と主制御部２０の組み合わせによって実現することができる。再生制御部７１は、パノラマ画像４２０の再生を制御する。再生制御部７１には、パノラマ画像４２０の画像信号とリンク音響信号とが入力される。但し、図１３のリンク音響信号生成部６７を再生制御部７１内に設け、再生制御部７１内でリンク音響信号を生成するようにしても良い。
【００５３】
図１５及び図１６等を参照して、パノラマ再生モードの動作を説明する。パノラマ画像４２０の全体は、所定の時間長さを有する再生期間ＰＲＥＰをかけて再生される。図１５に示す如く、再生期間ＰＲＥＰの開始時刻及び終了時刻を夫々ｒＳ及びｒＥにて表す。時系列順に並ぶ時刻（再生時刻）ｒ１〜ｒｎは、再生期間ＰＲＥＰに属する（ｎは２以上の整数）。時刻ｒｉ＋１は、時刻ｒｉよりも後の時刻である。時刻ｒ１及びｒｎはそれぞれ時刻ｒＳ及びｒＥと一致していても良いし、或いは、時刻ｒ１よりも所定時間だけ早い時刻が時刻ｒＳであると共に時刻ｒｎよりも所定時間だけ遅い時刻が時刻ｒＥであっても良い。
【００５４】
再生制御部７１によるパノラマ画像４２０の再生をスライド再生と呼ぶ。スライド再生において再生制御部７１は、図１６に示す如くパノラマ画像４２０内に抽出枠４４０を設定し、再生期間ＰＲＥＰ中においてパノラマ画像４２０上で抽出枠４４０を移動させながら抽出枠４４０内の画像を表示部１６に更新表示させる。抽出枠４４０は矩形枠であって、抽出枠４４０のアスペクト比を表示部１６の表示画面のアスペクト比に合わせることができる。ここでは、説明の便宜上、抽出枠４４０のアスペクト比及び画角は各入力画像のアスペクト比及び画角と一致するものとする。時刻ｒ１における抽出枠４４０の左端はパノラマ画像４２０の左端と一致する一方で時刻ｒｎにおける抽出枠４４０の右端はパノラマ画像４２０の右端と一致し、再生期間ＰＲＥＰ中における抽出枠４４０の移動方向はパノラマ画像４２０の左端から右端に向かう方向である。従って単純な例では、時刻ｒｉにおいて表示部１６に表示される表示（以下、表示画像という）は入力画像ＩＡ［ｉ］と一致する。抽出枠４４０を少数の画素単位（例えば数画素〜数十画素単位）で移動させ、移動のたびに表示画像を更新すれば、滑らかな映像変化が得られる。上記のような更新表示により、再生期間ＰＲＥＰをかけてパノラマ画像４２０の全体が再生される。
【００５５】
再生期間ＰＲＥＰ中の各時刻における抽出枠４４０内の画像を部分画像と呼び、時刻ｒｉにおける抽出枠４４０内の画像を第ｉ部分画像と呼ぶ。そうすると、再生制御部７１は、時刻ｒ１、ｒ２、・・・ｒｎにおいて、パノラマ画像４２０の第１部分画像、第２部分画像、・・・第ｎ部分画像を、順次更新しながら、表示画像として表示部１６に表示させることになる。第１部分画像〜第ｎ部分画像の夫々はパノラマ画像４２０の一部であって、第１部分画像〜第ｎ部分画像は互いに異なる。図１７の画像ＪＡ［１］〜ＪＡ［７］は、夫々、第１〜第７部分画像の例である。図１７の第ｉ部分画像ＪＡ［ｉ］は、図１０の入力画像ＩＡ［ｉ］と同じ画像である。
【００５６】
再生制御部７１は、表示部１６を用いて上記の如くパノラマ画像４２０をスライド再生する際、記録媒体１９に記録された音響信号に基づくリンク音響信号を、スピーカ部１７を用いて同時に再生する。上述の説明から理解されるように、記録媒体１９に記録された音響信号はリンク音響信号そのものでありうる。
【００５７】
リンク音響信号生成部６７（図１３参照）は、指向性制御を用いて入力音響信号から指向性を有する音響信号である指向性音響信号を生成し、該指向性音響信号をリンク音響信号として出力することができる。図１８に示す如く（図５（ｃ）も参照）、θ１≦θ≦θ２を満たす音源ＳＳが位置する、実空間上の領域を強調対象領域と呼ぶ。そうすると、具体的には、強調対象領域外に位置する音源ＳＳからの音に対する感度よりも、強調対象領域内に位置する音源ＳＳからの音に対して高い感度を持つ指向性音響信号を生成すると良い。即ち、強調対象領域内の音源ＳＳが位置している方向に指向軸を持つ指向性音響信号を生成すると良い。θ１及びθ２は、０°≦θ１＜９０°＜θ２≦１８０°を満たす。更に、９０°−θ１＝θ２−９０°、が満たされてもよく、典型的には例えば、角度（θ２−θ１）を撮像部１１の撮影画角と一致させても良い。以下では、角度（θ２−θ１）が撮像部１１の撮影画角に一致しているものとする。
【００５８】
尚、リンク音響信号は、ステレオ信号（例えば、図５（ａ）のポーラパターン３１０を有する音響信号と図５（ｂ）のポーラパターン３１１を有する音響信号とから成るステレオ信号）であっても良いし、モノラル信号であっても良い。
【００５９】
撮影期間ＰＳＨ中のパン操作によるＹ軸の回転に伴って（図１１（ａ）及び（ｂ）参照）、強調対象領域も撮影期間ＰＳＨ中において刻々と変化する。例えば、図１９（ａ）に示す如く撮影期間ＰＳＨにおける時刻ｔ１では、被写体３２１〜３２３の内、被写体３２１のみが撮影領域内に収まると共に強調対象領域に収まり、図１９（ｂ）に示す如く撮影期間ＰＳＨにおける時刻ｔ４では、被写体３２１〜３２３の内、被写体３２２のみが撮影領域内に収まると共に強調対象領域に収まり、図１９（ｃ）に示す如く撮影期間ＰＳＨにおける時刻ｔ７では、被写体３２１〜３２３の内、被写体３２３のみが撮影領域内に収まると共に強調対象領域に収まる。
【００６０】
再生期間ＰＲＥＰの長さ（より具体的には例えば、時刻ｒ１及びｒｎ間の時間長さ）は、音響信号の記録時間の長さ、即ち撮影期間ＰＳＨの長さ（より具体的には例えば、時刻ｔ１及びｔｎ間の時間長さ）と一致させることが望ましく、この一致が実現されるように抽出枠４４０の移動速度を決定することが望ましい。再生期間ＰＲＥＰの長さを音響信号の記録時間の長さ（撮影期間ＰＳＨの長さ）と一致させた場合、撮影期間ＰＳＨ中の左原信号及び右原信号に基づく、撮影期間ＰＳＨの長さ分のリンク音響信号が再生期間ＰＲＥＰにおいて再生されることになる。
【００６１】
上記のようなスライド再生によれば、例えば、図２０に示す如く、最初は楽器３２１の映像再生に合わせて楽器３２１による音楽が再生され、表示画像が全景３２０の右側に移動するにつれ（抽出枠４４０がパノラマ画像４２０の右側に移動するにつれ）、観客としての人物３２３の発声音や拍手の音が再生されるようになる。
【００６２】
入力音響信号に対する指向性制御では、入力音響信号の内、特定の方向から到来する音の信号成分が他の信号成分よりも強調され、強調後の入力音響信号が指向性音響信号として生成される。従って、第１実施例における再生方法を以下のように表現することができる（この表現は後述の第２実施例にも適用される）。再生期間ＰＲＥＰにおいて音源としての被写体（楽器）３２１が表示されているタイミングにおいては、表示されていない被写体３２３からの音と比べて、被写体３２１からの音が強調されてスピーカ部１７から出力され、再生期間ＰＲＥＰにおいて音源としての被写体（人物）３２３が表示されているタイミングにおいては、表示されていない被写体３２１からの音と比べて、被写体３２３からの音が強調されてスピーカ部１７から出力される。
【００６３】
或いは、第１実施例における再生方法を以下のように表現することもできる（この表現は後述の第２実施例にも適用される）。再生期間ＰＲＥＰにおいて音源の画像信号を含む第ｉ部分画像が表示部されるとき（ここにおけるｉは１以上ｎ以下の整数）、第ｉ部分画像に描画される音源からの音が強調されてスピーカ部１７より出力される。即ち例えば、時刻ｒ１において図１７の部分画像ＪＡ［１］が表示されるとき、部分画像ＪＡ［１］に描画されない音源３２３からの音（即ち、人物の発生音）と比べて、部分画像ＪＡ［１］に描画される音源３２１からの音（即ち、楽器の発生音）が強調されてスピーカ部１７から出力され、時刻ｒ７において図１７の部分画像ＪＡ［７］が表示されるとき、部分画像ＪＡ［７］に描画されない音源３２１からの音（即ち、楽器の発生音）と比べて、部分画像ＪＡ［７］に描画される音源３２３からの音（即ち、人物の発生音）が強調されてスピーカ部１７から出力される。
【００６４】
第１実施例によれば、パノラマ映像とも言うべきパノラマ画像の再生時において、表示映像に合わせた音響信号再生が可能となり、臨場感のあるパノラマ画像再生が可能となる。
【００６５】
＜＜第２実施例＞＞
第２実施例を説明する。第２実施例及び後述の第３実施例は、第１実施例を基礎とする実施例であり、第２及び第３実施例において特に説明しない事項に関しては、矛盾なき限り、第１実施例の記載を第２及び第３実施例に適用することができる。第２実施例においても、パノラマ再生モードにおける撮像装置１の動作を説明する。
【００６６】
第２実施例では、再生期間ＰＲＥＰが複数の期間に分割される。ここでは、説明の具体化のため、図２１に示す如く、再生期間ＰＲＥＰが３つの分割期間ＰＲＥＰ１、ＰＲＥＰ２及びＰＲＥＰ３に等分割されるものとする。分割期間ＰＲＥＰ２は分割期間ＰＲＥＰ１の後の期間であり、分割期間ＰＲＥＰ３は分割期間ＰＲＥＰ２の後の期間である。
【００６７】
パノラマ画像４２０のスライド再生の方法は第１実施例に示したそれと同様である。従って、再生期間ＰＲＥＰの前半部分では被写体３２１が表示され、再生期間ＰＲＥＰの中央部分では被写体３２２が表示され、再生期間ＰＲＥＰの後半部分では被写体３２３が表示される（図２０参照）。尚、再生期間ＰＲＥＰの後半部分は、再生期間ＰＲＥＰの前半部分よりも時間的に後の部分であり、再生期間ＰＲＥＰの中央部分は、再生期間ＰＲＥＰの前半部分と再生期間ＰＲＥＰの後半部分との間の部分である。ここでは、分割期間ＰＲＥＰ１において図２２（ａ）のエリア５１１内の被写体が表示され、分割期間ＰＲＥＰ１において図２２（ｂ）のエリア５１２内の被写体が表示され、分割期間ＰＲＥＰ３において図２２（ｃ）のエリア５１３内の被写体が表示されるものとする。図２２（ａ）〜（ｃ）における斜線領域が、夫々、エリア５１１〜５１３に相当する。被写体３２１〜３２３の内、エリア５１１内には被写体３２１のみが存在し、エリア５１２内には被写体３２２のみが存在し、エリア５１３内には被写体３２３のみが存在する。
【００６８】
エリア５１１は、分割期間ＰＲＥＰ１に対応する撮影時の期間（即ち、撮影期間ＰＳＨの前半部分）において撮像部１１の撮影領域内に収められたエリアであり、エリア５１２は、分割期間ＰＲＥＰ２に対応する撮影時の期間（即ち、撮影期間ＰＳＨの中央部分）において撮像部１１の撮影領域内に収められたエリアであり、エリア５１３は、分割期間ＰＲＥＰ３に対応する撮影時の期間（即ち、撮影期間ＰＳＨの後半部分）において撮像部１１の撮影領域内に収められたエリアである。尚、撮影期間ＰＳＨの後半部分は、撮影期間ＰＳＨの前半部分よりも時間的に後の部分であり、撮影期間ＰＳＨの中央部分は、撮影期間ＰＳＨの前半部分と撮影期間ＰＳＨの後半部分との間の部分である。
【００６９】
図１３のリンク音響信号生成部６７は、指向性制御を用いて撮影期間ＰＳＨ中の全体の入力音響信号より、エリア５１１内に位置する音源からの音響信号を第１方向信号として抽出する。同様に、生成部６７は、指向性制御を用いて撮影期間ＰＳＨ中の全体の入力音響信号より、エリア５１２内に位置する音源からの音響信号を第２方向信号として抽出し、指向性制御を用いて撮影期間ＰＳＨ中の全体の入力音響信号より、エリア５１３内に位置する音源からの音響信号を第３方向信号として抽出する。第１〜第３方向信号はリンク音響信号に含められる。
【００７０】
図１４の再生制御部７１は、パノラマ画像４２０のスライド再生を行う際、被写体３２１の表示が成される分割期間ＰＲＥＰ１において第１方向信号をスピーカ部１７にて再生させ、被写体３２２の表示が成される分割期間ＰＲＥＰ２において第２方向信号をスピーカ部１７にて再生させ、被写体３２３の表示が成される分割期間ＰＲＥＰ３において第３方向信号をスピーカ部１７にて再生させる。
【００７１】
上記の方法による具体的な再生動作例を、図２３（ａ）及び（ｂ）を参照して説明する。撮影期間ＰＳＨにおいては、上述のパン操作によって撮影領域内に収まる被写体が被写体３２１から被写体３２２、３２３へと順次移り変わる。この際、図２３（ａ）に示す如く、人物としての被写体３２３からの音が撮影期間ＰＳＨの前半部分にだけ発生し、楽器としての被写体３２１からの音が撮影期間ＰＳＨの後半部分にだけ発生したことを想定する。被写体３２３からの音及び被写体３２１からの音は入力音響信号として取得される。
【００７２】
このような入力音響信号が取得された場合、撮影期間ＰＳＨ中の後半部分の入力音響信号から、エリア５１１内に位置する音源からの音響信号（即ち楽器３２１の発生音による音響信号）が指向性制御によって第１方向信号として抽出され、撮影期間ＰＳＨ中の前半部分の入力音響信号から、エリア５１３内に位置する音源からの音響信号（即ち人物３２３の発生音による音響信号）が指向性制御によって第３方向信号として抽出される。そして、パノラマ画像４２０のスライド再生が行われる際、図２３（ｂ）に示す如く、楽器３２１の表示が成される分割期間ＰＲＥＰ１において第１方向信号（即ち楽器３２１の発生音による音響信号）がスピーカ部１７にて再生され、人物３２３の表示が成される分割期間ＰＲＥＰ３において第３方向信号（即ち人物３２３の発生音による音響信号）がスピーカ部１７にて再生される。
【００７３】
上述したように、撮像部１１の光軸に相当するＹ軸は撮影期間ＰＳＨ中において回転し、これに伴ってマイクロホン１４Ｌ及び１４Ｒが配置されるＸ軸（図５（ｃ）参照）も回転する。従って、各方向信号を抽出するためには、撮影期間ＰＳＨ中の各時刻におけるＹ軸とエリア５１１〜５１３との位置関係を知る必要がある。リンク音響信号生成部６７は、当該位置関係を、撮影期間ＰＳＨ中に得られた角速度センサ情報より知ることができる。即ち、角速度センサ情報（撮影期間ＰＳＨ中に得られた角速度センサ情報）を用いた指向性制御により、入力音響信号から各方向信号を抽出することができる。各方向信号の生成を任意のタイミングにおいて実行可能とするために、角速度センサ情報を入力音響信号に関連付けて記録媒体１９に記録しておくことができる。
【００７４】
撮像装置１に、撮像装置１の筐体の角速度を検出する角速度センサ（不図示）及び角度検出部（不図示）を設けておくことができる。当該角速度センサは、パン操作における角速度、即ち、原点Ｏを通る鉛直線を回転軸としてＹ軸を水平面上で回転させるときにおける撮像装置１の筐体の角速度を、少なくとも検出可能である（図１１（ａ）及び（ｂ）参照）。上記角速度センサ情報は、当該角速度センサの検出結果を表す情報である。角度検出部は、角速度センサ情報に基づき、撮影期間ＰＳＨ中の任意の時刻における角度φｉを求めることができる。生成部６７は、角度検出部によって求められた角度φｉを用いて、各方向信号の抽出を行うことができる。
【００７５】
第１実施例と同様、再生制御部７１は、表示部１６を用いてパノラマ画像４２０をスライド再生する際、記録媒体１９に記録された音響信号に基づくリンク音響信号を、スピーカ部１７を用いて同時に再生する。リンク音響信号に含められる第１〜第３方向信号は、指向性制御を用いて入力音響信号から生成される指向性音響信号の一種である。上述したように、入力音響信号に対する指向性制御では、入力音響信号の内、特定の方向から到来する音の信号成分が他の信号成分よりも強調され、強調後の入力音響信号が指向性音響信号として生成される。第１、第２、第３方向信号においては、夫々、エリア５１１、５１２、５１３に位置する被写体からの音が強調されている（但し、第２実施例の想定下ではエリア５１２内の被写体は音を発しない）。
【００７６】
第１実施例と同様、第２実施例によっても、パノラマ映像とも言うべきパノラマ画像の再生時において、表示映像に合わせた音響信号再生が可能となり、臨場感のあるパノラマ画像再生が可能となる。
【００７７】
＜＜第３実施例＞＞
第３実施例を説明する。上述の第１及び第２実施例に係るスライド再生では、パノラマ画像４２０の第１部分画像、第２部分画像、・・・第ｎ部分画像を、順次、表示画像として表示部１６に表示させている。但し、このようなスライド再生は、スライド再生が元々可能な撮像装置１又はスライド再生用の専用ソフトウェアが搭載された機器では実行可能であるものの、パーソナルコンピュータ等の汎用機器においては実行困難である。
【００７８】
そこで、第３実施例では、第１〜第ｎ部分画像から成る動画像を生成する。図２４には、図１の画像処理部１３又は主制御部２０に設けておくことのできる動画像生成部７６が示されている。
【００７９】
動画像生成部７６は、パノラマ画像４２０から第１〜第ｎ部分画像をｎ枚の静止画像として抽出し、そのｎ枚の静止画像（即ち第１〜第ｎ部分画像）から成る動画像６００を生成する。動画像６００は、第１〜第ｎ部分画像を、第１番目〜第ｎ番目のフレームとして有する動画像である。撮像装置１は、動画像６００の画像信号を、動画像用の画像ファイル形式にて記録媒体１９に記録することができる。動画像６００の各フレームの画像サイズが所望の画像サイズ（例えば、６４０×４８０画素の解像度を持つＶＧＡサイズ）となるように、動画像生成部７６は、第１〜第ｎ部分画像の画像サイズを決定することができる。
【００８０】
撮像装置１は、動画像６００の画像信号とリンク音響信号を互いに関連付けて記録媒体１９に記録しても良い。具体的には例えば、動画像６００の画像信号とリンク音響信号を格納した動画像ファイルを生成し、当該動画像ファイルを記録媒体１９に記録しても良い。第１又は第２実施例にて述べたリンク音響信号を動画像６００に関連付けて記録媒体１９に記録することが可能である。動画像を音響信号と共に再生可能な任意の電子機器（例えば、携帯情報端末、パーソナルコンピュータ、テレビ受信機）に対して上記動画像ファイルを与えると、当該電子機器上において、動画像６００がリンク音響信号と共に再生され、これによって第１又は第２実施例で述べたものと同様の映像及び音の同時再生が成される。
【００８１】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００８２】
［注釈１］
上述の実施形態では、マイク部１４を形成するマイクロホンの個数が２つであることを想定しているが、マイク部１４は互いに異なる位置に配置された３以上のマイクロホンから形成されても良い。
【００８３】
［注釈２］
或いは、上述の第１実施例において、マイク部１４は、指向性を有する単一の有指向性マイクロホンのみにて形成されていても良い。第１実施例において、マイク部１４が単一の有指向性マイクロホンのみにて形成される場合の構成及び動作を説明する。この場合、例えば、図３のマイク部１４からマイクロホン１４Ｒを割愛し、有指向性マイクロホンをマイクロホン１４Ｌとして用いる。そして、有指向性マイクロホンとしてのマイクロホン１４Ｌの出力に基づく左原信号の内、撮影期間ＰＳＨ中における左原信号が、入力音響信号として入力音響信号取得部６６（図１３参照）に取得される。有指向性マイクロホンとしてのマイクロホン１４Ｌを、有指向性マイクロホン１４Ｌとも呼ぶ。
【００８４】
有指向性マイクロホン１４Ｌは、例えば（図１８参照）、強調対象領域外に位置する音源ＳＳからの音に対する感度よりも、強調対象領域内に位置する音源ＳＳからの音に対して高い感度を持つ（即ち、強調対象領域内の音源ＳＳが位置している方向に指向軸を持つ）。そうすると、図１３のリンク音響信号生成部６７は、有指向性マイクロホン１４Ｌの出力に基づく入力音響信号そのもの（即ち、撮影期間ＰＳＨ中における左原信号そのもの）をリンク音響信号として生成することができ、これによって第１実施例と同様の音響信号再生が可能となる。即ち例えば、撮影期間ＰＳＨ中の左原信号（有指向性マイクロホン１４Ｌの出力音響信号）に基づく、撮影期間ＰＳＨの長さ分のリンク音響信号が再生期間ＰＲＥＰにおいて再生されることになり、図２０に示すものと同様の画像再生及び音響信号再生が可能となる。
【００８５】
［注釈３］
或いは、上述の第１実施例において、マイク部１４は、指向性を有さない単一の無指向性マイクロホンのみにて形成されていても良い。第１実施例において、マイク部１４が単一の無指向性マイクロホンのみにて形成される場合の構成及び動作を説明する。この場合、例えば、図３のマイク部１４からマイクロホン１４Ｒを割愛し、無指向性マイクロホンをマイクロホン１４Ｌとして用いる。そして、無指向性マイクロホンとしてのマイクロホン１４Ｌの出力に基づく左原信号の内、撮影期間ＰＳＨ中における左原信号が、入力音響信号として入力音響信号取得部６６（図１３参照）に取得される。無指向性マイクロホンとしてのマイクロホン１４Ｌを、無指向性マイクロホン１４Ｌとも呼ぶ。
【００８６】
マイク部１４を無指向性マイクロホン１４Ｌのみにて形成する場合における、無指向性マイクロホン１４Ｌと撮像装置１の筐体１Ｂとの位置関係例を、図２５に示す。図２５の例において、無指向性マイクロホン１４Ｌの後方側には筐体１Ｂが位置しているため、撮像装置１の後方側から到来する音は筐体１Ｂによって遮蔽されて無指向性マイクロホン１４Ｌに収音されにくい。結果、無指向性マイクロホン１４Ｌは、筐体１Ｂと協働して、有指向性マイクロホンと等価な機能を持つようになる。
【００８７】
即ち例えば、無指向性マイクロホン１４Ｌは、筐体１Ｂと協働して実質的に、強調対象領域外に位置する音源ＳＳからの音に対する感度よりも、強調対象領域内に位置する音源ＳＳからの音に対して高い感度を持つ（即ち、強調対象領域内の音源ＳＳが位置している方向に指向軸を持つ）。そうすると、図１３のリンク音響信号生成部６７は、無指向性マイクロホン１４Ｌの出力に基づく入力音響信号そのもの（即ち、撮影期間ＰＳＨ中における左原信号そのもの）をリンク音響信号として生成することができ、これによって第１実施例と同様の音響信号再生が可能となる。即ち例えば、撮影期間ＰＳＨ中の左原信号（無指向性マイクロホン１４Ｌの出力音響信号）に基づく、撮影期間ＰＳＨの長さ分のリンク音響信号が再生期間ＰＲＥＰにおいて再生されることになり、図２０に示すものと同様の画像再生及び音響信号再生が可能となる。
【００８８】
尚、図４に示す如く、表示部１６の筐体である第１筐体と表示部１６以外の部材の筐体である第２筐体とを接合することで撮像装置１の全筐体が形成される場合、筐体１Ｂは第１筐体であっても良い。また、図４に示す状況とは異なるが、マイク部１４にマイクロホン１４Ｌ及び１４Ｒが含まれる場合においても、マイクロホン１４Ｌ及び１４Ｒを第１筐体に設けるようにしても良い。
【００８９】
［注釈４］
撮像装置１の運動をカメラ運動と呼ぶ。上述の実施形態では、撮影期間ＰＳＨ中におけるカメラ運動の例としてパン操作による回転運動を示しているが、撮影期間ＰＳＨ中におけるカメラ運動には、パン操作による回転運動の他にも、チルト操作による回転運動や任意の方向への平行移動が含まれうる。
【００９０】
［注釈５］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【００９１】
１ 撮像装置
１１ 撮像部
１３ 画像処理部
１４ マイク部
１４Ｌ、１４Ｒ マイクロホン
１５ 音響信号処理部
６２ 画像合成部
６７ リンク音響信号生成部
７１ 再生制御部
７６ 動画像生成部
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
カメラを左右又は上下に動かしながら複数の静止画像を撮影し、撮影した静止画像をつなぎ合わせて合成することで広視野角のパノラマ画像（パノラマ映像）を生成する方法が知られている。
【０００３】
パノラマ画像は動画像ではなく静止画像の一種であるため、再生時において、パノラマ画像を再生する際、通常、音響信号の再生は成されない。但し、パノラマ画像の元となる複数の静止画像の撮影後に、音声メモをパノラマ画像に付与する編集機能は存在する。
【０００４】
尚、下記特許文献１には、反射鏡によって入力された全周囲の画像を撮影する撮影手段と、前記撮影手段により入力された画像をパノラマ画像に変形する展開手段と、を備えたシステムが示されており、当該システムでは、音源方向（話者位置）の検出等を行うために、画像撮影時における音響信号を画像と共に記録させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−８１６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像撮影後に付与される上記音声メモは、画像撮影時のカメラ周辺音とは関係のないものであるため、当該音声メモをパノラマ画像と同時に再生したとしても、視聴者は画像撮影時の臨場感を得がたい。
【０００７】
そこで本発明は、パノラマ画像の再生時において強い臨場感を視聴者に与えることのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、撮影領域内の被写体の撮影を行う撮像部と、マイクロホンから成るマイク部と、前記撮影領域が互いに異なる状態で前記撮像部により撮影された複数の入力画像を合成することによりパノラマ画像を生成する画像合成部と、前記複数の入力画像の撮影期間中における前記マイク部の出力に基づく音響信号を、前記パノラマ画像の画像信号と共に記録する記録媒体と、前記パノラマ画像を部分画像ごとに表示部に更新表示させることで、前記パノラマ画像の全体を再生する再生制御部と、を備えた撮像装置において、前記マイク部の出力から指向性を有する音響信号である指向性音響信号を生成する音響信号処理部を更に備え、前記再生制御部は、前記パノラマ画像を再生する際、前記記録媒体に記録された音響信号に基づく出力音響信号として前記指向性音響信号を同時に再生することを特徴とする。
【０００９】
画像撮影時における音響信号から得た指向性音響信号をパノラマ画像と共に再生することで、強い臨場感を視聴者に与えることが可能となる。
【００１０】
より具体的には例えば、前記撮影範囲内の前記被写体には、音源として機能する被写体が含まれ、再生期間中において前記音源が前記表示部にて表示されるとき、前記音源からの音が強調して再生されるように、前記音響信号処理部は前記指向性音響信号を生成してもよい。
【００１１】
これにより、表示映像に合わせた音響信号再生が可能となり、臨場感のあるパノラマ画像再生が可能となる。
【００１２】
換言すれば例えば、再生期間は、時系列順に並ぶ第１、第２、・・・第ｎ再生時刻から成り（ｎは２以上の整数）、前記再生制御部は、前記第１、第２、・・・第ｎ再生時刻において、前記パノラマ画像の第１部分画像、第２部分画像、・・・第ｎ部分画像を、順次、前記表示部に更新表示させ、前記第１部分画像〜前記第ｎ部分画像は互いに異なり、前記再生期間中において第ｉ部分画像が前記表示部にて表示されるとき（ｉは１以上ｎ以下の整数）、前記第ｉ部分画像に描画される音源から到来した音が強調して再生されるように、前記音響信号処理部は前記指向性音響信号を生成してもよい。
【００１３】
また例えば、前記パノラマ画像の第１部分画像、第２部分画像、・・・第ｎ部分画像をｎ枚の静止画像として前記パノラマ画像から抽出して、前記ｎ枚の静止画像から成る動画像を生成する動画像生成部を当該撮像装置に更に設け（ｎは２以上の整数）、前記動画像を前記記録媒体に記録するようにしてもよい。例えば、前記第１部分画像〜前記第ｎ部分画像は互いに異なる。
【００１４】
これにより、動画像の記録信号を受けた任意の動画像再生装置上で、撮像装置にて実現指されるものと同様のパノラマ画像再生が可能となる。
【００１５】
そして例えば、前記動画像を前記記録媒体に記録する際、前記出力音響信号も前記動画像に関連付けて前記記録媒体に記録しても良い。
【００１６】
これにより、動画像及び出力音響信号の記録信号を受けた任意の動画像再生装置上で、表示映像に合わせた音響信号再生が可能となり、臨場感のあるパノラマ画像再生が可能となる。
【発明の効果】
【００１７】
本発明によれば、パノラマ画像の再生時において強い臨場感を視聴者に与えることのできる撮像装置を提供することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】図１のマイク部とマイク部の後段部位とを示す図である。
【図４】図１に示される撮像装置の外観斜視図である。
【図５】指向性制御によって生成可能な音響信号のポーラパターン例を示す図（ａ）及び（ｂ）と、音源の角度を説明するための図（ｃ）である。
【図６】図１の撮像装置の前方に広がる全景を示す図である。
【図７】パノラマ画像の生成に関与する部位のブロック図である。
【図８】複数の入力画像を示す図である。
【図９】複数の入力画像の撮影期間を説明するための図である。
【図１０】複数の入力画像の具体例を示す図である。
【図１１】パン操作の影響を説明するための図である。
【図１２】パノラマ画像の例を示す図（ａ）と、パノラマ画像における左側領域内の画像、中央領域内の画像及び右側領域内の画像を示す図（ｂ）である。
【図１３】リンク音響信号の生成に関与する部位のブロック図である。
【図１４】再生制御部と再生制御部の後段部位を示す図である。
【図１５】パノラマ画像の再生期間を説明するための図である。
【図１６】パノラマ画像に抽出枠が設定される様子を示す図である。
【図１７】パノラマ画像から抽出された複数の部分画像の例を示す図である。
【図１８】強調対象領域の意義を説明するための図である。
【図１９】撮影期間中の３つの時刻に対応する撮影領域及び強調対象領域を示す図である。
【図２０】再生期間中の表示映像と出力音声の例を示す図である。
【図２１】再生期間が３等分される様子を示す図である。
【図２２】再生期間を３等分することで得た３つの分割期間に対応する、３つのエリアを示す図である。
【図２３】撮影期間中の撮影画像と入力音声の例を示す図（ａ）と、再生期間中の表示映像と出力音声の例を示す図（ｂ）である。
【図２４】動画像生成部を示す図である。
【図２５】マイクロホンと撮像装置の筐体との関係を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、入力画像を記号Ｉ［１］によって表す場合、入力画像Ｉ［１］を、例えば画像Ｉ［１］と表記する場合もある。
【００２０】
図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００２１】
撮像装置１には、撮像部１１、ＡＦＥ１２、画像処理部１３、マイク部１４、音響信号処理部１５、表示部１６、スピーカ部１７、操作部１８、記録媒体１９及び主制御部２０が設けられている。表示部１６及びスピーカ部１７は、撮像装置１と異なる外部の再生機器（不図示；テレビ受信機など）に設けられたものあっても良い。
【００２２】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部２０からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。
【００２３】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして画像処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部２０によって制御される。
【００２４】
画像処理部１３は、ＡＦＥ１２からのＲＡＷデータに基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像信号を生成する。ここで生成される画像信号には、例えば、輝度信号及び色差信号が含まれる。但し、ＲＡＷデータそのものも画像信号の一種であり、撮像部１１から出力されるアナログ信号も画像信号の一種である。尚、本明細書では、或る画像の画像信号のことを単に画像と言うこともある。従って、例えば、入力画像の生成、取得、記録、加工、変形、編集又は保存とは、入力画像の画像信号の生成、取得、記録、加工、変形、編集又は保存を意味する。
【００２５】
マイク部１４は、撮像装置１の周辺音を音響信号に変換する。マイク部１４を、複数のマイクロホンにて形成することができる。ここでは、図３に示す如く、マイク部１４が２つのマイクロホン１４Ｌ及び１４Ｒから成るものとする。Ａ／Ｄ変換器５１Ｌ及び５１Ｒを、音響信号処理部１５に設けておくことができる。図４に、撮像装置１の外観斜視図を示す。マイクロホン１４Ｌ及び１４Ｒは、撮像装置１の筐体上の互いに異なる位置に配置される。図４には、撮像装置１によって撮影される物体である、撮像装置１の被写体も示されている。被写体の撮影画像が表示部１６に表示されることで、ユーザは撮像装置１の撮影領域（換言すれば撮影範囲）等を確認することができる。
【００２６】
図４に示す如く、撮像装置１にて撮影可能な被写体が存在する方向を前方と定義し、その逆の方向を後方と定義する。前方及び後方は、撮像部１１の光軸に沿った方向である。また、右及び左とは、後方側から前方側を見たときの右及び左を意味するものとする。
【００２７】
マイクロホン１４Ｌ及び１４Ｒの夫々は、自身が収音した音をアナログの音響信号に変換して出力する。図３のＡ／Ｄ変換器５１Ｌ及び５１Ｒは、夫々、マイクロホン１４Ｌ及び１４Ｒから出力されるアナログの音響信号を所定のサンプリング周期（例えば４８キロヘルツ）にてデジタルの音響信号に変換して出力する。Ａ／Ｄ変換器５１Ｌの出力信号を特に左原信号と呼び、Ａ／Ｄ変換器５１Ｒの出力信号を特に右原信号と呼ぶ。
【００２８】
音響信号処理部１５は、左原信号及び右原信号に必要な音響信号処理を施すことができる。この処理内容については後述する。
【００２９】
表示部１６は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部２０の制御の下、撮影画像や記録媒体１９に記録されている画像などを表示する。本実施形態で述べる表示及び表示画面とは、特に記述なき限り、表示部１６における表示及び表示画面を指す。スピーカ部１７は、１又は複数のスピーカから成り、マイク部１４にて生成された音響信号、音響信号処理部１５にて生成された音響信号、記録媒体１９から読み出された音響信号など、任意の音響信号を音として再生出力する。操作部１８は、機械式ボタン、タッチパネル等から成り、ユーザからの様々な操作を受け付ける。操作部１８に対する操作内容は、主制御部２０等に伝達される。記録媒体１９は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部２０による制御の下、撮影画像などを記憶する。主制御部２０は、操作部１８への操作内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。
【００３０】
撮像装置１の動作モードには、静止画像又は動画像を撮影可能な撮影モードと記録媒体１９に記録された静止画像又は動画像を表示部１６上で再生可能な再生モードとが含まれる。撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、撮像部１１から（より詳細にはＡＦＥ１２から）被写体の撮影画像列を表すＲＡＷデータが出力される。撮影画像列に代表される画像列とは、時系列で並ぶ静止画像の集まりを指す。
【００３１】
マイクロホン１４Ｌ及び１４Ｒとして、指向性を有さない無指向性マイクロホンを採用することができる。マイクロホン１４Ｌ及び１４Ｒが無指向性マイクロホンである場合、左原信号及び右原信号は無指向性の音響信号（指向性を有さない音響信号）である。音響信号処理部１５は、公知の指向性制御を用いて無指向性の左原信号及び右原信号から、任意の方向に指向軸を持つ音響信号を生成することができる。
【００３２】
この指向性制御を、例えば、左原信号又は右原信号を遅延させる遅延処理と、左原信号又は右原信号を所定割合だけ減衰させる減衰処理と、遅延処理及び／又は減衰処理を経た左原信号及び右原信号の一方から他方を減算する減算処理と、によって実現することができる。例えば、左原信号及び右原信号に対する指向性制御によって、図５（ａ）のポーラパターン３１０を持つ音響信号、即ち、左斜め後方４５°の方向に死角を有する音響信号を生成することができる。ポーラパターン３１０を持つ音響信号は、右斜め前方４５°の方向に指向軸を有する音響信号である、即ち、撮像装置１の右斜め前方４５°に位置する音源から撮像装置１に到来した音の成分に対して最も高い指向性（感度）を持った音響信号である。逆に例えば、左原信号及び右原信号に対する指向性制御によって、図５（ｂ）のポーラパターン３１１を持つ音響信号、即ち、右斜め後方４５°の方向に死角を有する音響信号を生成することができる。ポーラパターン３１１を持つ音響信号は、左斜め前方４５°の方向に指向軸を有する音響信号である、即ち、撮像装置１の左斜め前方４５°に位置する音源から撮像装置１に到来した音の成分に対して最も高い指向性（感度）を持った音響信号である。
【００３３】
また、図５（ｃ）に示すような、Ｘ軸及びＹ軸を座標軸としたＸＹ座標面（ＸＹ座標系）を定義する。Ｘ軸は、マイクロホン１４Ｌの中心とマイクロホン１４Ｒの中心とを通る軸であり、それらの中心の中間に原点Ｏが位置する。Ｙ軸は、原点ＯにてＸ軸と直交する。Ｙ軸に沿った方向は、撮像部１１の光軸（撮像素子３３にとっての光軸）の方向と一致する。Ｘ軸及びＹ軸は水平面と平行であるとする。原点Ｏからマイクロホン１４Ｒに向かう方向（即ち、撮像装置１の右方向）がＸ軸の正方向であるとし、原点Ｏから撮像装置１の前方に向かう方向がＹ軸の正方向であるとする。線分３１３は、原点Ｏと任意の音源である音源ＳＳとを結ぶ線分である。Ｘ軸と線分３１３との成す角度をθで表す。但し、角度θは、原点Ｏとマイクロホン１４Ｒの中心とを結ぶ線分から反時計周り方向に線分３１３を見たときの、Ｘ軸及び線分３１３間の角度であるとする。反時計周り方向とは、原点Ｏからマイクロホン１４Ｒの中心に伸びる線分を、撮像装置１の前方側に回転させる方向を指す。音源ＳＳの角度θは、音源ＳＳが位置する方向（即ち、音源ＳＳについての音源方向）を表す。
【００３４】
図６に、本実施形態で想定される、撮像装置１の前方側の全景を示す。符号３２０が付された実線枠内の絵が、撮像装置１の前方に広がる全景である。撮像装置１から見て、全景３２０の左側、中央付近及び右側には、夫々、被写体３２１、３２２及び３２３が存在している。被写体３２１、３２２及び３２３は、夫々、楽器、椅子及び人物である。楽器である被写体３２１及び人物である被写体３２３は、音を発生する音源としての機能も持つ。一方、椅子である被写体３２２は音源としての機能を持たない。
【００３５】
全景３２０の全体を同時に撮影画角内に収めることはできないが、ユーザが全景３２０の全体が写し出された画像の取得を希望していたとする。撮影画角とは、撮像部１１を用いた撮影における画角を指す。撮像装置１には、撮像装置１を振りながら得た複数の撮影画像から全景３２０を表すパノラマ画像を生成する機能が備えられている。
【００３６】
図７に、パノラマ画像の生成に関与する部位のブロック図を示す。入力画像取得部６１及び画像合成部６２を、図１の画像処理部１３に設けておくことができる。
【００３７】
入力画像取得部６１は、撮像部１１の出力信号に基づく複数の入力画像を取得する。撮像部１１は周期的に又は間欠的に撮影領域内の被写体を撮影することで被写体の撮影画像列を取得することができ、この撮影画像列が複数の入力画像として取得される。各々の入力画像は、撮像部１１を用いて撮影領域内の被写体を撮影することで得た静止画像（即ち、被写体の撮影画像）である。撮影領域とは、撮像部１１の視野に収まる、実空間上の領域を指す。入力画像取得部６１は、ＡＦＥ１２の出力信号を直接ＡＦＥ１２から受けることで各入力画像を取得することができる。或いは、撮影モードにおいて被写体の各撮影画像を一旦記録媒体１９に記録しておき、その後、再生モードにおいて記録媒体１９から読み出した被写体の各撮影画像を入力画像取得部６１に与えることで入力画像取得部６１に各入力画像を取得させても良い。
【００３８】
図８に示す如く、複数の入力画像を記号Ｉ［１］〜Ｉ［ｍ］によって表す（ｍは２以上の整数）。入力画像の撮影時における撮影画角は、入力画像Ｉ［１］〜Ｉ［ｍ］間で不変であるとする。また、図９に示す如く、入力画像Ｉ［１］〜Ｉ［ｍ］の撮影期間を記号ＰＳＨで表す。撮影期間ＰＳＨは、時刻ｔＳから時刻ｔＥまでの期間である。ユーザは、操作部１８に対する所定操作によって撮影期間ＰＳＨの開始及び終了を指示することができる（即ち、時刻ｔＳ及びｔＥを指定することができる）。時系列順に並ぶ時刻ｔ１〜ｔｍは、撮影期間ＰＳＨに属する。時刻ｔｉは、入力画像Ｉ［ｉ］の撮影時刻を表す（ｉは整数）。より具体的には例えば、時刻ｔｉは、入力画像Ｉ［ｉ］の画像信号を撮像素子３３から得るための、撮像素子３３の露光期間の開始時刻、中央時刻又は終了時刻である。時刻ｔｉ＋１は、時刻ｔｉよりも後の時刻である。時刻ｔ１及びｔｍはそれぞれ時刻ｔＳ及びｔＥと一致していても良いし、或いは、時刻ｔ１よりも所定時間だけ早い時刻が時刻ｔＳであると共に時刻ｔｍよりも所定時間だけ遅い時刻が時刻ｔＥであっても良い。
【００３９】
例えば、撮像装置１にパン操作を行いながら得たｍ枚の撮影画像が入力画像Ｉ［１］〜Ｉ［ｍ］として取得される。より具体的には例えば、ユーザは、時刻ｔＳにおいて被写体３２１を撮影領域内に収めた状態で操作部１８に設けられたシャッタボタン（不図示）を押し、その後、シャッタボタンを押し続けた状態で、撮影領域内に収まる被写体が被写体３２１から被写体３２２、３２３へと順次移り変わるように、撮像装置１にパン操作を行う。そして、撮影領域の中央付近に被写体３２３が収まった時点で、シャッタボタンを押す操作を解除する。この解除の時点が時刻ｔＥに相当する。シャッタボタンが押し続けられている期間中、撮像部１１は周期的に被写体の撮影を繰り返し行い、これによって時系列に並ぶ複数の撮影画像（被写体の撮影画像）を得る。入力画像取得部６１は、この複数の撮影画像を、入力画像Ｉ［１］〜Ｉ［ｍ］として得ることができる。
【００４０】
或いは例えば、時刻ｔ１〜ｔｍの１つ１つがユーザによって指定されても良い。この場合、ユーザは、撮影領域内に収まる被写体が被写体３２１から被写体３２２、３２３へと順次移り変わるように撮像装置１にパン操作を行いながら、時刻ｔ１、ｔ２、・・・及びｔｍにおいて、１回ずつシャッタボタンを押す。
【００４１】
図１０に、入力画像Ｉ［１］〜Ｉ［ｍ］の例である入力画像ＩＡ［１］〜ＩＡ［７］を示す。図１０の例では、ｍ＝７である。ｉ及びｊが互いに異なる整数である場合、入力画像Ｉ［ｉ］の撮影時における撮影領域と入力画像Ｉ［ｊ］の撮影時における撮影領域とは互いに異なる。被写体３２１〜３２３の内、入力画像ＩＡ［１］の撮影時には被写体３２１のみが撮影領域内に収まっており、入力画像ＩＡ［４］の撮影時には被写体３２２のみが撮影領域内に収まっており、入力画像ＩＡ［７］の撮影時には被写体３２３のみが撮影領域内に収まっている。
【００４２】
撮影期間ＰＳＨ中において撮像装置１に成されるパン操作は、図１１（ａ）に示す如く、原点Ｏ（図５（ｃ）も参照）を通る鉛直線を回転軸として撮像装置１を水平方向に回転させる操作に相当し、当該パン操作によって撮像部１１の光軸に相当するＹ軸は水平面上で回転する。今、時刻ｔｉにおけるＹ軸をＹ［ｔｉ］にて表すと共に、図１１（ｂ）に示す如く時刻ｔ１におけるＹ軸（即ちＹ［ｔ１］）と時刻ｔｉにおけるＹ軸（即ちＹ［ｔｉ］）との成す角度をφｉにて表す。φ１は０°である。ここでは、変数ｉが増大するにつれて角度φｉは単調増加するものとする。入力画像ＩＡ［１］〜ＩＡ［７］の撮影時には、“０°＝φ１＜φ２＜φ３＜φ４＜φ５＜φ６＜φ７＜３６０°”が成立している。
【００４３】
図７の画像合成部６２は、撮影領域が互いに異なる状態で撮像部１１により撮影された複数の入力画像、即ち、入力画像Ｉ［１］〜Ｉ［ｍ］を合成することによりパノラマ画像（合成結果画像）を生成する。パノラマ画像の画角は、入力画像Ｉ［１］〜Ｉ［ｍ］の夫々の画角よりも大きい。画像合成部６２は、入力画像Ｉ［１］〜Ｉ［ｍ］の共通の被写体が重なり合うように入力画像Ｉ［１］〜Ｉ［ｍ］を貼り合わせて合成することでパノラマ画像を生成する。このような合成は、一般にイメージモザイキングと呼ばれており、公知のイメージモザイキングの方法を、画像合成部６２の画像合成処理に利用することができる。
【００４４】
図１２（ａ）の画像４２０は、入力画像ＩＡ［１］〜ＩＡ［７］に基づくパノラマ画像の例を示している。パノラマ画像４２０の全画像領域を左側領域、中央領域及び右側領域にて３等分した場合、例えば図１２（ｂ）に示す如く、左側領域内の画像、中央領域内の画像及び右側領域内の画像は、夫々、図１０の入力画像ＩＡ［１］、ＩＡ［４］及びＩＡ［７］に相当する。
【００４５】
入力画像Ｉ［１］〜Ｉ［ｍ］の取得後の任意のタイミングでパノラマ画像を生成することができる。従って例えば、撮影モードにおいて入力画像Ｉ［１］〜Ｉ［ｍ］を取得した後、即時、撮影モードにおいてパノラマ画像を生成するようにしても良い。或いは、撮影モードにおいて入力画像Ｉ［１］〜Ｉ［ｍ］を記録媒体１９に記録しておき、その後、再生モードにおいて記録媒体１９から読み出した入力画像Ｉ［１］〜Ｉ［ｍ］に基づきパノラマ画像を生成するようにしても良い。撮影モード又は再生モードにおいて生成したパノラマ画像の画像信号を記録媒体１９に記録することができる。
【００４６】
一方、撮像装置１は、パノラマ画像と共に再生することのできる音響信号を記録及び生成する機能を備える。図１３は、この機能の実現に特に関与する部位のブロック図である。入力音響信号取得部６６及びリンク音響信号生成部６７を、図１の音響信号処理部１５に設けておくことができる。
【００４７】
入力音響信号取得部６６は、入力音響信号を取得してリンク音響信号生成部６７に出力する。入力音響信号は、撮影期間ＰＳＨ中における左原信号及び右原信号から成る。リンク音響信号生成部６７は、入力音響信号から、出力音響信号とも言うべきリンク音響信号を生成する（リンク音響信号の詳細については後述）。
【００４８】
入力音響信号の取得後の任意のタイミングでリンク音響信号を生成することができる。従って例えば、撮影モードにおいて入力音響信号を取得した後、即時、撮影モードにおいてリンク音響信号を生成するようにしても良い。或いは、撮影モードにおいて入力音響信号を記録媒体１９に記録しておき、その後、再生モードにおいて記録媒体１９から読み出した入力音響信号に基づきリンク音響信号を生成するようにしても良い。撮影モード又は再生モードにおいて生成したリンク音響信号を記録媒体１９に記録することができる。
【００４９】
入力画像Ｉ［１］〜Ｉ［ｍ］の画像信号と入力音響信号又はリンク音響信号とを互いに関連付けて記録媒体１９に記録することができ、パノラマ画像の画像信号と入力音響信号又はリンク音響信号とを互いに関連付けて記録媒体１９に記録することができる。例えば、撮影モードにてリンク音響信号及びパノラマ画像を生成する場合においては、リンク音響信号をパノラマ画像に関連付けた状態でパノラマ画像と共に記録媒体１９に記録すると良い。或いは例えば、再生モードにてリンク音響信号及びパノラマ画像を生成する場合においては、撮影モードにおいて入力音響信号及び入力画像Ｉ［１］〜Ｉ［ｍ］を互いに関連付けた状態で記録媒体１９に記録しておき、再生モードにおいて記録媒体１９から入力音響信号及び入力画像Ｉ［１］〜Ｉ［ｍ］を読み出して、読み出した入力音響信号及び入力画像Ｉ［１］〜Ｉ［ｍ］からリンク音響信号及びパノラマ画像を生成すればよい。再生モードにおいて生成したリンク音響信号及びパノラマ画像も記録媒体１９に記録することができる。
【００５０】
撮像装置１は、パノラマ画像を特徴的な方法によって再生することができる。上述の構成及び動作を基本とする、パノラマ画像の再生方法及び利用方法を、以下の第１実施例〜第３実施例において説明する。矛盾なき限り、複数の実施例を組み合わせることも可能である。
【００５１】
＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、再生モードの一種であるパノラマ再生モードにおける撮像装置１の動作を説明する。第１実施例並びに後述の第２及び第３実施例では、説明の具体化のため、入力画像Ｉ［１］〜Ｉ［ｍ］として図１０の入力画像ＩＡ［１］〜ＩＡ［７］が得られ、入力画像ＩＡ［１］〜ＩＡ［７］に基づき図１２（ａ）のパノラマ画像４２０が得られたことを想定する。
【００５２】
図１４の再生制御部７１を、図１の画像処理部１３又は主制御部２０によって実現することができる、或いは、画像処理部１３と主制御部２０の組み合わせによって実現することができる。再生制御部７１は、パノラマ画像４２０の再生を制御する。再生制御部７１には、パノラマ画像４２０の画像信号とリンク音響信号とが入力される。但し、図１３のリンク音響信号生成部６７を再生制御部７１内に設け、再生制御部７１内でリンク音響信号を生成するようにしても良い。
【００５３】
図１５及び図１６等を参照して、パノラマ再生モードの動作を説明する。パノラマ画像４２０の全体は、所定の時間長さを有する再生期間ＰＲＥＰをかけて再生される。図１５に示す如く、再生期間ＰＲＥＰの開始時刻及び終了時刻を夫々ｒＳ及びｒＥにて表す。時系列順に並ぶ時刻（再生時刻）ｒ１〜ｒｎは、再生期間ＰＲＥＰに属する（ｎは２以上の整数）。時刻ｒｉ＋１は、時刻ｒｉよりも後の時刻である。時刻ｒ１及びｒｎはそれぞれ時刻ｒＳ及びｒＥと一致していても良いし、或いは、時刻ｒ１よりも所定時間だけ早い時刻が時刻ｒＳであると共に時刻ｒｎよりも所定時間だけ遅い時刻が時刻ｒＥであっても良い。
【００５４】
再生制御部７１によるパノラマ画像４２０の再生をスライド再生と呼ぶ。スライド再生において再生制御部７１は、図１６に示す如くパノラマ画像４２０内に抽出枠４４０を設定し、再生期間ＰＲＥＰ中においてパノラマ画像４２０上で抽出枠４４０を移動させながら抽出枠４４０内の画像を表示部１６に更新表示させる。抽出枠４４０は矩形枠であって、抽出枠４４０のアスペクト比を表示部１６の表示画面のアスペクト比に合わせることができる。ここでは、説明の便宜上、抽出枠４４０のアスペクト比及び画角は各入力画像のアスペクト比及び画角と一致するものとする。時刻ｒ１における抽出枠４４０の左端はパノラマ画像４２０の左端と一致する一方で時刻ｒｎにおける抽出枠４４０の右端はパノラマ画像４２０の右端と一致し、再生期間ＰＲＥＰ中における抽出枠４４０の移動方向はパノラマ画像４２０の左端から右端に向かう方向である。従って単純な例では、時刻ｒｉにおいて表示部１６に表示される表示（以下、表示画像という）は入力画像ＩＡ［ｉ］と一致する。抽出枠４４０を少数の画素単位（例えば数画素〜数十画素単位）で移動させ、移動のたびに表示画像を更新すれば、滑らかな映像変化が得られる。上記のような更新表示により、再生期間ＰＲＥＰをかけてパノラマ画像４２０の全体が再生される。
【００５５】
再生期間ＰＲＥＰ中の各時刻における抽出枠４４０内の画像を部分画像と呼び、時刻ｒｉにおける抽出枠４４０内の画像を第ｉ部分画像と呼ぶ。そうすると、再生制御部７１は、時刻ｒ１、ｒ２、・・・ｒｎにおいて、パノラマ画像４２０の第１部分画像、第２部分画像、・・・第ｎ部分画像を、順次更新しながら、表示画像として表示部１６に表示させることになる。第１部分画像〜第ｎ部分画像の夫々はパノラマ画像４２０の一部であって、第１部分画像〜第ｎ部分画像は互いに異なる。図１７の画像ＪＡ［１］〜ＪＡ［７］は、夫々、第１〜第７部分画像の例である。図１７の第ｉ部分画像ＪＡ［ｉ］は、図１０の入力画像ＩＡ［ｉ］と同じ画像である。
【００５６】
再生制御部７１は、表示部１６を用いて上記の如くパノラマ画像４２０をスライド再生する際、記録媒体１９に記録された音響信号に基づくリンク音響信号を、スピーカ部１７を用いて同時に再生する。上述の説明から理解されるように、記録媒体１９に記録された音響信号はリンク音響信号そのものでありうる。
【００５７】
リンク音響信号生成部６７（図１３参照）は、指向性制御を用いて入力音響信号から指向性を有する音響信号である指向性音響信号を生成し、該指向性音響信号をリンク音響信号として出力することができる。図１８に示す如く（図５（ｃ）も参照）、θ１≦θ≦θ２を満たす音源ＳＳが位置する、実空間上の領域を強調対象領域と呼ぶ。そうすると、具体的には、強調対象領域外に位置する音源ＳＳからの音に対する感度よりも、強調対象領域内に位置する音源ＳＳからの音に対して高い感度を持つ指向性音響信号を生成すると良い。即ち、強調対象領域内の音源ＳＳが位置している方向に指向軸を持つ指向性音響信号を生成すると良い。θ１及びθ２は、０°≦θ１＜９０°＜θ２≦１８０°を満たす。更に、９０°−θ１＝θ２−９０°、が満たされてもよく、典型的には例えば、角度（θ２−θ１）を撮像部１１の撮影画角と一致させても良い。以下では、角度（θ２−θ１）が撮像部１１の撮影画角に一致しているものとする。
【００５８】
尚、リンク音響信号は、ステレオ信号（例えば、図５（ａ）のポーラパターン３１０を有する音響信号と図５（ｂ）のポーラパターン３１１を有する音響信号とから成るステレオ信号）であっても良いし、モノラル信号であっても良い。
【００５９】
撮影期間ＰＳＨ中のパン操作によるＹ軸の回転に伴って（図１１（ａ）及び（ｂ）参照）、強調対象領域も撮影期間ＰＳＨ中において刻々と変化する。例えば、図１９（ａ）に示す如く撮影期間ＰＳＨにおける時刻ｔ１では、被写体３２１〜３２３の内、被写体３２１のみが撮影領域内に収まると共に強調対象領域に収まり、図１９（ｂ）に示す如く撮影期間ＰＳＨにおける時刻ｔ４では、被写体３２１〜３２３の内、被写体３２２のみが撮影領域内に収まると共に強調対象領域に収まり、図１９（ｃ）に示す如く撮影期間ＰＳＨにおける時刻ｔ７では、被写体３２１〜３２３の内、被写体３２３のみが撮影領域内に収まると共に強調対象領域に収まる。
【００６０】
再生期間ＰＲＥＰの長さ（より具体的には例えば、時刻ｒ１及びｒｎ間の時間長さ）は、音響信号の記録時間の長さ、即ち撮影期間ＰＳＨの長さ（より具体的には例えば、時刻ｔ１及びｔｎ間の時間長さ）と一致させることが望ましく、この一致が実現されるように抽出枠４４０の移動速度を決定することが望ましい。再生期間ＰＲＥＰの長さを音響信号の記録時間の長さ（撮影期間ＰＳＨの長さ）と一致させた場合、撮影期間ＰＳＨ中の左原信号及び右原信号に基づく、撮影期間ＰＳＨの長さ分のリンク音響信号が再生期間ＰＲＥＰにおいて再生されることになる。
【００６１】
上記のようなスライド再生によれば、例えば、図２０に示す如く、最初は楽器３２１の映像再生に合わせて楽器３２１による音楽が再生され、表示画像が全景３２０の右側に移動するにつれ（抽出枠４４０がパノラマ画像４２０の右側に移動するにつれ）、観客としての人物３２３の発声音や拍手の音が再生されるようになる。
【００６２】
入力音響信号に対する指向性制御では、入力音響信号の内、特定の方向から到来する音の信号成分が他の信号成分よりも強調され、強調後の入力音響信号が指向性音響信号として生成される。従って、第１実施例における再生方法を以下のように表現することができる（この表現は後述の第２実施例にも適用される）。再生期間ＰＲＥＰにおいて音源としての被写体（楽器）３２１が表示されているタイミングにおいては、表示されていない被写体３２３からの音と比べて、被写体３２１からの音が強調されてスピーカ部１７から出力され、再生期間ＰＲＥＰにおいて音源としての被写体（人物）３２３が表示されているタイミングにおいては、表示されていない被写体３２１からの音と比べて、被写体３２３からの音が強調されてスピーカ部１７から出力される。
【００６３】
或いは、第１実施例における再生方法を以下のように表現することもできる（この表現は後述の第２実施例にも適用される）。再生期間ＰＲＥＰにおいて音源の画像信号を含む第ｉ部分画像が表示部されるとき（ここにおけるｉは１以上ｎ以下の整数）、第ｉ部分画像に描画される音源からの音が強調されてスピーカ部１７より出力される。即ち例えば、時刻ｒ１において図１７の部分画像ＪＡ［１］が表示されるとき、部分画像ＪＡ［１］に描画されない音源３２３からの音（即ち、人物の発生音）と比べて、部分画像ＪＡ［１］に描画される音源３２１からの音（即ち、楽器の発生音）が強調されてスピーカ部１７から出力され、時刻ｒ７において図１７の部分画像ＪＡ［７］が表示されるとき、部分画像ＪＡ［７］に描画されない音源３２１からの音（即ち、楽器の発生音）と比べて、部分画像ＪＡ［７］に描画される音源３２３からの音（即ち、人物の発生音）が強調されてスピーカ部１７から出力される。
【００６４】
第１実施例によれば、パノラマ映像とも言うべきパノラマ画像の再生時において、表示映像に合わせた音響信号再生が可能となり、臨場感のあるパノラマ画像再生が可能となる。
【００６５】
＜＜第２実施例＞＞
第２実施例を説明する。第２実施例及び後述の第３実施例は、第１実施例を基礎とする実施例であり、第２及び第３実施例において特に説明しない事項に関しては、矛盾なき限り、第１実施例の記載を第２及び第３実施例に適用することができる。第２実施例においても、パノラマ再生モードにおける撮像装置１の動作を説明する。
【００６６】
第２実施例では、再生期間ＰＲＥＰが複数の期間に分割される。ここでは、説明の具体化のため、図２１に示す如く、再生期間ＰＲＥＰが３つの分割期間ＰＲＥＰ１、ＰＲＥＰ２及びＰＲＥＰ３に等分割されるものとする。分割期間ＰＲＥＰ２は分割期間ＰＲＥＰ１の後の期間であり、分割期間ＰＲＥＰ３は分割期間ＰＲＥＰ２の後の期間である。
【００６７】
パノラマ画像４２０のスライド再生の方法は第１実施例に示したそれと同様である。従って、再生期間ＰＲＥＰの前半部分では被写体３２１が表示され、再生期間ＰＲＥＰの中央部分では被写体３２２が表示され、再生期間ＰＲＥＰの後半部分では被写体３２３が表示される（図２０参照）。尚、再生期間ＰＲＥＰの後半部分は、再生期間ＰＲＥＰの前半部分よりも時間的に後の部分であり、再生期間ＰＲＥＰの中央部分は、再生期間ＰＲＥＰの前半部分と再生期間ＰＲＥＰの後半部分との間の部分である。ここでは、分割期間ＰＲＥＰ１において図２２（ａ）のエリア５１１内の被写体が表示され、分割期間ＰＲＥＰ１において図２２（ｂ）のエリア５１２内の被写体が表示され、分割期間ＰＲＥＰ３において図２２（ｃ）のエリア５１３内の被写体が表示されるものとする。図２２（ａ）〜（ｃ）における斜線領域が、夫々、エリア５１１〜５１３に相当する。被写体３２１〜３２３の内、エリア５１１内には被写体３２１のみが存在し、エリア５１２内には被写体３２２のみが存在し、エリア５１３内には被写体３２３のみが存在する。
【００６８】
エリア５１１は、分割期間ＰＲＥＰ１に対応する撮影時の期間（即ち、撮影期間ＰＳＨの前半部分）において撮像部１１の撮影領域内に収められたエリアであり、エリア５１２は、分割期間ＰＲＥＰ２に対応する撮影時の期間（即ち、撮影期間ＰＳＨの中央部分）において撮像部１１の撮影領域内に収められたエリアであり、エリア５１３は、分割期間ＰＲＥＰ３に対応する撮影時の期間（即ち、撮影期間ＰＳＨの後半部分）において撮像部１１の撮影領域内に収められたエリアである。尚、撮影期間ＰＳＨの後半部分は、撮影期間ＰＳＨの前半部分よりも時間的に後の部分であり、撮影期間ＰＳＨの中央部分は、撮影期間ＰＳＨの前半部分と撮影期間ＰＳＨの後半部分との間の部分である。
【００６９】
図１３のリンク音響信号生成部６７は、指向性制御を用いて撮影期間ＰＳＨ中の全体の入力音響信号より、エリア５１１内に位置する音源からの音響信号を第１方向信号として抽出する。同様に、生成部６７は、指向性制御を用いて撮影期間ＰＳＨ中の全体の入力音響信号より、エリア５１２内に位置する音源からの音響信号を第２方向信号として抽出し、指向性制御を用いて撮影期間ＰＳＨ中の全体の入力音響信号より、エリア５１３内に位置する音源からの音響信号を第３方向信号として抽出する。第１〜第３方向信号はリンク音響信号に含められる。
【００７０】
図１４の再生制御部７１は、パノラマ画像４２０のスライド再生を行う際、被写体３２１の表示が成される分割期間ＰＲＥＰ１において第１方向信号をスピーカ部１７にて再生させ、被写体３２２の表示が成される分割期間ＰＲＥＰ２において第２方向信号をスピーカ部１７にて再生させ、被写体３２３の表示が成される分割期間ＰＲＥＰ３において第３方向信号をスピーカ部１７にて再生させる。
【００７１】
上記の方法による具体的な再生動作例を、図２３（ａ）及び（ｂ）を参照して説明する。撮影期間ＰＳＨにおいては、上述のパン操作によって撮影領域内に収まる被写体が被写体３２１から被写体３２２、３２３へと順次移り変わる。この際、図２３（ａ）に示す如く、人物としての被写体３２３からの音が撮影期間ＰＳＨの前半部分にだけ発生し、楽器としての被写体３２１からの音が撮影期間ＰＳＨの後半部分にだけ発生したことを想定する。被写体３２３からの音及び被写体３２１からの音は入力音響信号として取得される。
【００７２】
このような入力音響信号が取得された場合、撮影期間ＰＳＨ中の後半部分の入力音響信号から、エリア５１１内に位置する音源からの音響信号（即ち楽器３２１の発生音による音響信号）が指向性制御によって第１方向信号として抽出され、撮影期間ＰＳＨ中の前半部分の入力音響信号から、エリア５１３内に位置する音源からの音響信号（即ち人物３２３の発生音による音響信号）が指向性制御によって第３方向信号として抽出される。そして、パノラマ画像４２０のスライド再生が行われる際、図２３（ｂ）に示す如く、楽器３２１の表示が成される分割期間ＰＲＥＰ１において第１方向信号（即ち楽器３２１の発生音による音響信号）がスピーカ部１７にて再生され、人物３２３の表示が成される分割期間ＰＲＥＰ３において第３方向信号（即ち人物３２３の発生音による音響信号）がスピーカ部１７にて再生される。
【００７３】
上述したように、撮像部１１の光軸に相当するＹ軸は撮影期間ＰＳＨ中において回転し、これに伴ってマイクロホン１４Ｌ及び１４Ｒが配置されるＸ軸（図５（ｃ）参照）も回転する。従って、各方向信号を抽出するためには、撮影期間ＰＳＨ中の各時刻におけるＹ軸とエリア５１１〜５１３との位置関係を知る必要がある。リンク音響信号生成部６７は、当該位置関係を、撮影期間ＰＳＨ中に得られた角速度センサ情報より知ることができる。即ち、角速度センサ情報（撮影期間ＰＳＨ中に得られた角速度センサ情報）を用いた指向性制御により、入力音響信号から各方向信号を抽出することができる。各方向信号の生成を任意のタイミングにおいて実行可能とするために、角速度センサ情報を入力音響信号に関連付けて記録媒体１９に記録しておくことができる。
【００７４】
撮像装置１に、撮像装置１の筐体の角速度を検出する角速度センサ（不図示）及び角度検出部（不図示）を設けておくことができる。当該角速度センサは、パン操作における角速度、即ち、原点Ｏを通る鉛直線を回転軸としてＹ軸を水平面上で回転させるときにおける撮像装置１の筐体の角速度を、少なくとも検出可能である（図１１（ａ）及び（ｂ）参照）。上記角速度センサ情報は、当該角速度センサの検出結果を表す情報である。角度検出部は、角速度センサ情報に基づき、撮影期間ＰＳＨ中の任意の時刻における角度φｉを求めることができる。生成部６７は、角度検出部によって求められた角度φｉを用いて、各方向信号の抽出を行うことができる。
【００７５】
第１実施例と同様、再生制御部７１は、表示部１６を用いてパノラマ画像４２０をスライド再生する際、記録媒体１９に記録された音響信号に基づくリンク音響信号を、スピーカ部１７を用いて同時に再生する。リンク音響信号に含められる第１〜第３方向信号は、指向性制御を用いて入力音響信号から生成される指向性音響信号の一種である。上述したように、入力音響信号に対する指向性制御では、入力音響信号の内、特定の方向から到来する音の信号成分が他の信号成分よりも強調され、強調後の入力音響信号が指向性音響信号として生成される。第１、第２、第３方向信号においては、夫々、エリア５１１、５１２、５１３に位置する被写体からの音が強調されている（但し、第２実施例の想定下ではエリア５１２内の被写体は音を発しない）。
【００７６】
第１実施例と同様、第２実施例によっても、パノラマ映像とも言うべきパノラマ画像の再生時において、表示映像に合わせた音響信号再生が可能となり、臨場感のあるパノラマ画像再生が可能となる。
【００７７】
＜＜第３実施例＞＞
第３実施例を説明する。上述の第１及び第２実施例に係るスライド再生では、パノラマ画像４２０の第１部分画像、第２部分画像、・・・第ｎ部分画像を、順次、表示画像として表示部１６に表示させている。但し、このようなスライド再生は、スライド再生が元々可能な撮像装置１又はスライド再生用の専用ソフトウェアが搭載された機器では実行可能であるものの、パーソナルコンピュータ等の汎用機器においては実行困難である。
【００７８】
そこで、第３実施例では、第１〜第ｎ部分画像から成る動画像を生成する。図２４には、図１の画像処理部１３又は主制御部２０に設けておくことのできる動画像生成部７６が示されている。
【００７９】
動画像生成部７６は、パノラマ画像４２０から第１〜第ｎ部分画像をｎ枚の静止画像として抽出し、そのｎ枚の静止画像（即ち第１〜第ｎ部分画像）から成る動画像６００を生成する。動画像６００は、第１〜第ｎ部分画像を、第１番目〜第ｎ番目のフレームとして有する動画像である。撮像装置１は、動画像６００の画像信号を、動画像用の画像ファイル形式にて記録媒体１９に記録することができる。動画像６００の各フレームの画像サイズが所望の画像サイズ（例えば、６４０×４８０画素の解像度を持つＶＧＡサイズ）となるように、動画像生成部７６は、第１〜第ｎ部分画像の画像サイズを決定することができる。
【００８０】
撮像装置１は、動画像６００の画像信号とリンク音響信号を互いに関連付けて記録媒体１９に記録しても良い。具体的には例えば、動画像６００の画像信号とリンク音響信号を格納した動画像ファイルを生成し、当該動画像ファイルを記録媒体１９に記録しても良い。第１又は第２実施例にて述べたリンク音響信号を動画像６００に関連付けて記録媒体１９に記録することが可能である。動画像を音響信号と共に再生可能な任意の電子機器（例えば、携帯情報端末、パーソナルコンピュータ、テレビ受信機）に対して上記動画像ファイルを与えると、当該電子機器上において、動画像６００がリンク音響信号と共に再生され、これによって第１又は第２実施例で述べたものと同様の映像及び音の同時再生が成される。
【００８１】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００８２】
［注釈１］
上述の実施形態では、マイク部１４を形成するマイクロホンの個数が２つであることを想定しているが、マイク部１４は互いに異なる位置に配置された３以上のマイクロホンから形成されても良い。
【００８３】
［注釈２］
或いは、上述の第１実施例において、マイク部１４は、指向性を有する単一の有指向性マイクロホンのみにて形成されていても良い。第１実施例において、マイク部１４が単一の有指向性マイクロホンのみにて形成される場合の構成及び動作を説明する。この場合、例えば、図３のマイク部１４からマイクロホン１４Ｒを割愛し、有指向性マイクロホンをマイクロホン１４Ｌとして用いる。そして、有指向性マイクロホンとしてのマイクロホン１４Ｌの出力に基づく左原信号の内、撮影期間ＰＳＨ中における左原信号が、入力音響信号として入力音響信号取得部６６（図１３参照）に取得される。有指向性マイクロホンとしてのマイクロホン１４Ｌを、有指向性マイクロホン１４Ｌとも呼ぶ。
【００８４】
有指向性マイクロホン１４Ｌは、例えば（図１８参照）、強調対象領域外に位置する音源ＳＳからの音に対する感度よりも、強調対象領域内に位置する音源ＳＳからの音に対して高い感度を持つ（即ち、強調対象領域内の音源ＳＳが位置している方向に指向軸を持つ）。そうすると、図１３のリンク音響信号生成部６７は、有指向性マイクロホン１４Ｌの出力に基づく入力音響信号そのもの（即ち、撮影期間ＰＳＨ中における左原信号そのもの）をリンク音響信号として生成することができ、これによって第１実施例と同様の音響信号再生が可能となる。即ち例えば、撮影期間ＰＳＨ中の左原信号（有指向性マイクロホン１４Ｌの出力音響信号）に基づく、撮影期間ＰＳＨの長さ分のリンク音響信号が再生期間ＰＲＥＰにおいて再生されることになり、図２０に示すものと同様の画像再生及び音響信号再生が可能となる。
【００８５】
［注釈３］
或いは、上述の第１実施例において、マイク部１４は、指向性を有さない単一の無指向性マイクロホンのみにて形成されていても良い。第１実施例において、マイク部１４が単一の無指向性マイクロホンのみにて形成される場合の構成及び動作を説明する。この場合、例えば、図３のマイク部１４からマイクロホン１４Ｒを割愛し、無指向性マイクロホンをマイクロホン１４Ｌとして用いる。そして、無指向性マイクロホンとしてのマイクロホン１４Ｌの出力に基づく左原信号の内、撮影期間ＰＳＨ中における左原信号が、入力音響信号として入力音響信号取得部６６（図１３参照）に取得される。無指向性マイクロホンとしてのマイクロホン１４Ｌを、無指向性マイクロホン１４Ｌとも呼ぶ。
【００８６】
マイク部１４を無指向性マイクロホン１４Ｌのみにて形成する場合における、無指向性マイクロホン１４Ｌと撮像装置１の筐体１Ｂとの位置関係例を、図２５に示す。図２５の例において、無指向性マイクロホン１４Ｌの後方側には筐体１Ｂが位置しているため、撮像装置１の後方側から到来する音は筐体１Ｂによって遮蔽されて無指向性マイクロホン１４Ｌに収音されにくい。結果、無指向性マイクロホン１４Ｌは、筐体１Ｂと協働して、有指向性マイクロホンと等価な機能を持つようになる。
【００８７】
即ち例えば、無指向性マイクロホン１４Ｌは、筐体１Ｂと協働して実質的に、強調対象領域外に位置する音源ＳＳからの音に対する感度よりも、強調対象領域内に位置する音源ＳＳからの音に対して高い感度を持つ（即ち、強調対象領域内の音源ＳＳが位置している方向に指向軸を持つ）。そうすると、図１３のリンク音響信号生成部６７は、無指向性マイクロホン１４Ｌの出力に基づく入力音響信号そのもの（即ち、撮影期間ＰＳＨ中における左原信号そのもの）をリンク音響信号として生成することができ、これによって第１実施例と同様の音響信号再生が可能となる。即ち例えば、撮影期間ＰＳＨ中の左原信号（無指向性マイクロホン１４Ｌの出力音響信号）に基づく、撮影期間ＰＳＨの長さ分のリンク音響信号が再生期間ＰＲＥＰにおいて再生されることになり、図２０に示すものと同様の画像再生及び音響信号再生が可能となる。
【００８８】
尚、図４に示す如く、表示部１６の筐体である第１筐体と表示部１６以外の部材の筐体である第２筐体とを接合することで撮像装置１の全筐体が形成される場合、筐体１Ｂは第１筐体であっても良い。また、図４に示す状況とは異なるが、マイク部１４にマイクロホン１４Ｌ及び１４Ｒが含まれる場合においても、マイクロホン１４Ｌ及び１４Ｒを第１筐体に設けるようにしても良い。
【００８９】
［注釈４］
撮像装置１の運動をカメラ運動と呼ぶ。上述の実施形態では、撮影期間ＰＳＨ中におけるカメラ運動の例としてパン操作による回転運動を示しているが、撮影期間ＰＳＨ中におけるカメラ運動には、パン操作による回転運動の他にも、チルト操作による回転運動や任意の方向への平行移動が含まれうる。
【００９０】
［注釈５］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【００９１】
１ 撮像装置
１１ 撮像部
１３ 画像処理部
１４ マイク部
１４Ｌ、１４Ｒ マイクロホン
１５ 音響信号処理部
６２ 画像合成部
６７ リンク音響信号生成部
７１ 再生制御部
７６ 動画像生成部
【特許請求の範囲】
【請求項１】
撮影領域内の被写体の撮影を行う撮像部と、
マイクロホンから成るマイク部と、
前記撮影領域が互いに異なる状態で前記撮像部により撮影された複数の入力画像を合成することによりパノラマ画像を生成する画像合成部と、
前記複数の入力画像の撮影期間中における前記マイク部の出力に基づく音響信号を、前記パノラマ画像の画像信号と共に記録する記録媒体と、
前記パノラマ画像を部分画像ごとに表示部に更新表示させることで、前記パノラマ画像の全体を再生する再生制御部と、を備えた撮像装置において、
前記マイク部の出力から指向性を有する音響信号である指向性音響信号を生成する音響信号処理部を更に備え、
前記再生制御部は、前記パノラマ画像を再生する際、前記記録媒体に記録された音響信号に基づく出力音響信号として前記指向性音響信号を同時に再生する
ことを特徴とする撮像装置。
【請求項２】
前記撮影範囲内の前記被写体には、音源として機能する被写体が含まれ、
再生期間中において前記音源が前記表示部にて表示されるとき、前記音源からの音が強調して再生されるように、前記音響信号処理部は前記指向性音響信号を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
再生期間は、時系列順に並ぶ第１、第２、・・・第ｎ再生時刻から成り（ｎは２以上の整数）、
前記再生制御部は、前記第１、第２、・・・第ｎ再生時刻において、前記パノラマ画像の第１部分画像、第２部分画像、・・・第ｎ部分画像を、順次、前記表示部に更新表示させ、
前記第１部分画像〜前記第ｎ部分画像は互いに異なり、
前記再生期間中において第ｉ部分画像が前記表示部にて表示されるとき（ｉは１以上ｎ以下の整数）、前記第ｉ部分画像に描画される音源から到来した音が強調して再生されるように、前記音響信号処理部は前記指向性音響信号を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記パノラマ画像の第１部分画像、第２部分画像、・・・第ｎ部分画像をｎ枚の静止画像として前記パノラマ画像から抽出して、前記ｎ枚の静止画像から成る動画像を生成する動画像生成部を更に備え（ｎは２以上の整数）、前記動画像を前記記録媒体に記録し、
前記第１部分画像〜前記第ｎ部分画像は互いに異なる
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
【請求項５】
前記動画像を前記記録媒体に記録する際、前記出力音響信号も前記動画像に関連付けて前記記録媒体に記録する
ことを特徴とする請求項４に記載の撮像装置。
【請求項１】
撮影領域内の被写体の撮影を行う撮像部と、
マイクロホンから成るマイク部と、
前記撮影領域が互いに異なる状態で前記撮像部により撮影された複数の入力画像を合成することによりパノラマ画像を生成する画像合成部と、
前記複数の入力画像の撮影期間中における前記マイク部の出力に基づく音響信号を、前記パノラマ画像の画像信号と共に記録する記録媒体と、
前記パノラマ画像を部分画像ごとに表示部に更新表示させることで、前記パノラマ画像の全体を再生する再生制御部と、を備えた撮像装置において、
前記マイク部の出力から指向性を有する音響信号である指向性音響信号を生成する音響信号処理部を更に備え、
前記再生制御部は、前記パノラマ画像を再生する際、前記記録媒体に記録された音響信号に基づく出力音響信号として前記指向性音響信号を同時に再生する
ことを特徴とする撮像装置。
【請求項２】
前記撮影範囲内の前記被写体には、音源として機能する被写体が含まれ、
再生期間中において前記音源が前記表示部にて表示されるとき、前記音源からの音が強調して再生されるように、前記音響信号処理部は前記指向性音響信号を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
再生期間は、時系列順に並ぶ第１、第２、・・・第ｎ再生時刻から成り（ｎは２以上の整数）、
前記再生制御部は、前記第１、第２、・・・第ｎ再生時刻において、前記パノラマ画像の第１部分画像、第２部分画像、・・・第ｎ部分画像を、順次、前記表示部に更新表示させ、
前記第１部分画像〜前記第ｎ部分画像は互いに異なり、
前記再生期間中において第ｉ部分画像が前記表示部にて表示されるとき（ｉは１以上ｎ以下の整数）、前記第ｉ部分画像に描画される音源から到来した音が強調して再生されるように、前記音響信号処理部は前記指向性音響信号を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記パノラマ画像の第１部分画像、第２部分画像、・・・第ｎ部分画像をｎ枚の静止画像として前記パノラマ画像から抽出して、前記ｎ枚の静止画像から成る動画像を生成する動画像生成部を更に備え（ｎは２以上の整数）、前記動画像を前記記録媒体に記録し、
前記第１部分画像〜前記第ｎ部分画像は互いに異なる
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
【請求項５】
前記動画像を前記記録媒体に記録する際、前記出力音響信号も前記動画像に関連付けて前記記録媒体に記録する
ことを特徴とする請求項４に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２１】
【図２４】
【図５】
【図１９】
【図２０】
【図２２】
【図２３】
【図２５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２１】
【図２４】
【図５】
【図１９】
【図２０】
【図２２】
【図２３】
【図２５】
【公開番号】特開２０１２−１７８８０７（Ｐ２０１２−１７８８０７Ａ）
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１１−４１９６１（Ｐ２０１１−４１９６１）
【出願日】平成２３年２月２８日（２０１１．２．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願日】平成２３年２月２８日（２０１１．２．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]