撮像装置およびその制御方法
【課題】撮像装置において、複数の撮像手段によって撮像された画像の合成の開始についての利便性を向上させる。
【解決手段】撮像装置１００において、サブマイク２１１に撮影者側から音声が入力されたことに応じて、その時点から、サブカメラで撮像された映像がメインカメラで撮像された映像と合成されて、表示され記録される。
【解決手段】撮像装置１００において、サブマイク２１１に撮影者側から音声が入力されたことに応じて、その時点から、サブカメラで撮像された映像がメインカメラで撮像された映像と合成されて、表示され記録される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、複数の撮像手段を備えた撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
従来から複数の撮像手段を備えた装置が開示されていた。たとえば、特許文献１（特開２００５−８０１１７号公報）には、一対の撮像手段の中の、一方の撮像手段で撮影者自身を撮像し、他方の撮像手段で被写体を撮像し、そして、双方で撮像された画像を合成する技術が開示されている。なお、ここでいう合成は、一方の撮像手段で撮像された画像から背景画像を除去して撮影者を抽出し、抽出した画像を上記他方の撮像手段で撮像された画像に嵌めこむことにより、行なわれる。このようにされることで、娯楽性の高い写真撮像を行なうことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−８０１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記したような画像の合成を行なうには、撮像装置において「２ショット撮影モード」などの設定を行なわなければならず、たとえば、撮影者が、一方の撮像手段での撮像中に上記したような画像の合成をしたいと思い立った場合などには、撮影動作を中止して設定のための操作を必要とされ、煩雑であった。
【０００５】
本発明は、係る実情に鑑み考え出されたものであり、その目的は、撮像装置において、複数の撮像手段によって撮像された画像の合成の開始についての利便性を向上させることである。
【課題を解決するための手段】
【０００６】
本発明のある局面に従った撮像装置は、第１被写体を撮像する第１撮像手段と、第２被写体を撮像する第２撮像手段と、第１被写体側から発せられる音声を集音する集音手段と、集音手段に音声が集音されたことに起因して、第１撮像手段によって撮像された映像と第２撮像手段によって撮像された映像とを合成する態様で記録媒体に記録する記録手段とを備える。
【０００７】
また、本発明の撮像装置では、集音手段は、第１被写体に対向する向きで保持可能なマイクロフォンを含み、記録手段は、マイクロフォンによって第１被写体からの音声が集音されたことに起因して第１撮像手段によって撮像された映像を第２撮像手段によって撮像された映像に合成する態様で、記録媒体に記録することが好ましい。
【０００８】
また、本発明の撮像装置は、第１撮像手段によって撮像された映像と第２撮像手段によって撮像された映像とが合成された映像を表示する表示手段をさらに備えることが好ましい。
【０００９】
また、本発明の撮像装置では、記録手段は、集音手段が第１被写体から発せられる音声を集音した時点から、第１撮像手段によって撮像された映像を第２撮像手段によって撮像された映像に合成する態様での記録を開始することが好ましい。
【００１０】
また、本発明の撮像装置では、記録手段は、集音手段が第１被写体から発せられる音声を集音した時点より一定時間前から、第１撮像手段によって撮像された映像を第２撮像手段によって撮像された映像に合成する態様での記録を開始することが好ましい。
【００１１】
また、本発明の撮像装置では、記録手段は、集音手段が第１被写体から発せられる音声を集音した時点から所定時間が経過したときに、第１撮像手段によって撮像された映像を第２撮像手段によって撮像された映像に合成する態様での記録を停止することが好ましい。
【００１２】
本発明の他の局面に従った撮像装置は、第１被写体を撮像する第１撮像手段と、第１撮像手段によって撮像された第１映像を記録媒体に記録する第１記録手段と、第２被写体を撮像する第２撮像手段と、第２撮像手段によって撮像された第２映像を記録媒体に記録する第２記録手段と、第１被写体側から発せられる音声を集音する集音手段と、集音手段によって音声が集音されたことに起因して、第１映像と第２映像を合成する態様で再生するための情報を記録する第３記録手段と、情報に基づいて第１映像と第２映像を合成する態様で再生する再生手段とを備える。
【００１３】
本発明のさらに他の局面に従った撮像装置の制御方法は、第１被写体を撮像する第１撮像手段と、第２被写体を撮像する第２撮像手段と、第１被写体側から発せられる音声を集音する集音手段とを備えた撮像装置の制御方法であって、集音手段が音声を集音したか否かを判断するステップと、集音手段が音声を集音したと判断した場合に、第１撮像手段によって撮像された映像と第２撮像手段によって撮像された映像とを合成する態様で記録媒体に記録するステップとを備える。
【００１４】
本発明の別の局面に従った撮像装置の制御方法は、第１被写体を撮像する第１撮像手段と、第２被写体を撮像する第２撮像手段と、第１被写体側から発せられる音声を集音する集音手段とを備えた撮像装置の制御方法であって、第１撮像手段によって撮像された第１映像を記録媒体に記録するステップと、第２撮像手段によって撮像された第２映像を記録媒体に記録するステップと、集音手段によって音声が集音されたことに起因して、第１映像と第２映像を合成する態様で再生するための情報を記録するステップと、情報に基づいて第１映像と第２映像を合成する態様で再生するステップとを備える。
【発明の効果】
【００１５】
本発明によれば、撮像装置において、複数の撮像手段によって撮像された映像が合成されたものを、当該複数の撮像手段の中の１つの撮像手段の被写体側から発せられる音声を集音する集音手段が音声を集音したことに起因して開始することができる。
【００１６】
これにより、撮影者は、撮影動作を中止して特別な操作をすることなく、上記した複数の撮像手段によって撮像された映像を記録させることができ、撮像装置の利便性を向上することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施の形態である撮像装置の外観図である。
【図２】本発明の第１の実施の形態である撮像装置の外観図である。
【図３】図１の撮像装置の構成の概略を示すブロック図である。
【図４】図１の撮像装置における信号の流れを示す図である。
【図５】図１の撮像装置におけるメインカメラの映像とサブカメラの映像の合成を説明するための図である。
【図６】図１の撮像装置において実行される合成映像記録処理のフローチャートである。
【図７】図１の撮像装置における合成映像の生成態様を説明するための図である。
【図８】本発明の第２の実施の形態である撮像装置における合成映像の生成態様を説明するための図である。
【図９】本発明の第３の実施の形態である撮像装置の構成の概略を示すブロック図である。
【図１０】図９の撮像装置において実行される再生情報登録処理のフローチャートである。
【図１１】図９の撮像装置における、サブカメラの映像に関して登録される情報の内容を説明するための図である。
【図１２】図９の撮像装置において実行される再生処理のフローチャートである。
【図１３】図９の撮像装置において表示される案内画面の一例を示す図である。
【図１４】本発明の第１の実施の形態の撮像装置の変形例の外観図である。
【発明を実施するための形態】
【００１８】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００１９】
［第１の実施の形態］
（１．撮像装置の全体構成）
図１および図２は、この発明の第１の実施の形態である撮像装置１００の外観図である。図１は、撮像装置１００をレンズ側から見た外観図である。図２は、撮像装置１００を操作パネル側から見た外観図である。
【００２０】
撮像装置１００は、デジタルムービーカメラであってもよいし、またはビデオカメラ機能を有する携帯通信端末であってもよい。
【００２１】
撮像装置１００は、主に、レンズなどの光学系１５１を備える本体部と、表示部１４０を備えるモニタユニット部とから構成される。モニタユニット部を本体部に折り畳んだときにモニタユニット部が接する本体部の側面には、電源のオンまたはオフを切替えるための電源ボタン１３２が設けられる。本体部の上面の操作パネル側には、ズームレンジを広角または望遠に切替えるためのズームレンジボタン１３１が設けられる。
【００２２】
操作パネルには、広角側または望遠側に徐々にズームするためのズームスイッチ１３３、静止画を撮像するためのフォトボタン１３４、動画の録画を開始または停止するためのムービーボタン１３５、撮影モードまたは再生モードに切替えるためのＲＥＣ／ＰＬＡＹボタン１３６、各種設定モードに切替えるためのメニューボタン１３７、および、各種設定において上下左右に動かすことで選択操作をするとともに押下することで決定操作をするためのセットボタン１３８が設けられる。
【００２３】
光学系１５１と後述する撮像素子１６１は、被写体（第２被写体）を撮像するためのカメラ装置を構成し、第２撮像手段を構成する。
【００２４】
モニタユニット部の、当該モニタユニット部が開かれた状態にあるときに被写体に向けられる面には、メインマイク１８１が設けられている。メインマイク１８１は、被写体側の音声を主に集音するように、被写体側に良好な感度を有する。
【００２５】
モニタユニット部の、当該モニタユニット部が開かれた状態にあるときに撮影者に対向する面には、表示部１４０と、光学系２２１と、サブマイク２１１が設けられている。光学系２２１と後述する撮像素子２３１は、主に撮影者（第１被写体）を撮像するためのカメラ装置を構成し、第１撮像手段を構成する。モニタユニット部は、開かれた状態では、サブマイク２１１を撮影者に対向する向きで保持する。サブマイク２１１は、撮影者側の音声を主に集音するように、撮影者側に良好な感度を有する。本実施の形態では、サブマイク２１１により、集音手段が構成される。
【００２６】
本明細書では、以下、第１撮像手段を構成する光学系２２１と撮像素子２３１を合わせて「サブカメラ」と呼ぶ場合がある。また、第２撮像手段を構成する光学系１５１と撮像素子１６１を合わせて「メインカメラ」と呼ぶ場合がある。
【００２７】
モニタユニット部では、図２から主に理解されるように、ムービーボタン１３５等の操作ボタンが上方に位置するような、一般的に撮像が行なわれる状態において、表示部１４０は、撮像装置１００本体の左側に位置し、そして、光学系２２１およびサブマイク２１１は、表示部１４０の左側に位置するように設けられている。これにより、撮影者が右手で撮像装置１００の本体を持って撮像する際、より確実に、光学系２２１によって撮影者の顔等の映像を撮像でき、かつ、サブマイク２１１によって撮影者が発する声を集音することができる。
【００２８】
撮像装置１００では、表示部１４０、光学系２２１およびサブマイク２１１は、撮像装置１００本体に対して折畳可能なモニタユニット部に設けられているが、これらは、必ずしも本体に対して折畳み可能な部材に設けられていなくとも良い。つまり、撮像装置１００のいて、モニタユニット部が折畳可能であることは、必須の構成要件ではない。
【００２９】
（２．撮像装置のブロック構成）
図３は、この実施の形態における撮像装置１００の構成の概略を示すブロック図である。図４は、この実施の形態における撮像装置１００の信号の流れを示す図である。なお、図４において、流れを示す矢印のうち実線のものは、画像に関する信号を示し、破線のものは、制御に関する信号を示す。
【００３０】
図３および図４を参照して、撮像装置１００は、制御部１１０と、記憶部１２０と、操作部１３０と、表示部１４０と、光学系制御部１５０と、光学系１５１，２２１と、撮像素子制御部１６０，２３０と、撮像素子１６１，２３１と、映像処理部１７０，２４０と、ＡＤ（Analog Digital）変換部１７１，２４１と、音声処理部１８０，２１０と、メインマイク１８１と、サブマイク２１１と、スピーカ１８２と、圧縮伸張処理部１９０，２５０と、合成処理部２６０とを備える。
【００３１】
操作部１３０は、図１で説明した電源ボタン１３２、ズームレンジボタン１３１、および、操作パネルの各種ボタンからの操作信号を制御部１１０に送信する。
【００３２】
記憶部１２０は、ＲＯＭ（Read Only Memory）（たとえば、フラッシュメモリ）などの不揮発性メモリおよびＲＡＭ（Random Access Memory）（たとえば、ＳＤＲＡＭ（synchronous Dynamic Random Access Memory））などの揮発性メモリ、ならびに、メモリカード１２１（たとえば、ＳＤメモリカードおよびＵＳＢメモリ）のデータを読書きするためのメモリカードスロットを含む。
【００３３】
なお、記憶部１２０は、不揮発性メモリおよび揮発性メモリなどの半導体メモリに加えてまたは替えて、他の内部記憶装置、たとえば、ハードディスクドライブを含むようにしてもよい。また、記憶部１２０は、メモリカードスロットに加えてまたは替えて、他の外部記憶装置、たとえば、光ディスク（たとえば、ＤＶＤ（Digital Versatile Disc）およびＢＤ（Blu-ray Disc））などの記録媒体のデータを読書きする装置を含むようにしていもよい。
【００３４】
記憶部１２０は、撮像装置１００を制御するためのプログラムのデータ、撮像装置１００を制御するためのデータ、撮像装置１００の各種機能を設定するための設定データ、および、撮像装置１００によって撮像された静止画または動画のデータなどを記録する。
【００３５】
また、記憶部１２０は、プログラムが実行されるときのワークメモリ、および、撮像処理が行なわれるときのバッファメモリなどとして用いられる。
【００３６】
制御部１１０は、ＣＰＵ（Central Processing Unit）を含み、記憶部１２０に記録された撮像装置１００を制御するためのプログラムに従って、操作部１３０からの操作信号に応じて、記憶部１２０、表示部１４０、光学系制御部１５０、撮像素子制御部１６０，２３０、映像処理部１７０，２４０、音声処理部１８０，２１０、圧縮伸張処理部１９０，２５０、および合成処理部２６０を制御する。
【００３７】
光学系１５１は、複数のレンズ、絞り、および、レンズの位置および絞りの開度を変更するためのアクチュエータを含む。光学系１５１は、外部の被写体やその背景などから入射された光を撮像素子１６１の受光面に導く。
【００３８】
光学系１５１のアクチュエータは、光学系制御部１５０からの制御信号に従って、レンズの位置、ならびに、絞りの開度を調整することによって、所定の範囲で、撮像素子１６１の受光面で結像する画像のズーム倍率を変更したり、受光面でのフォーカスを調整したり、受光面に入射される光量を制限したりする。
【００３９】
光学系制御部１５０は、制御部１１０からの制御信号に従って、光学系１５１のアクチュエータを制御して、撮像素子１６１で結像される画像のズーム倍率およびフォーカス、ならびに、撮像素子１６１への入射光量を変化させる。
【００４０】
たとえば、操作部１３０は、ズームスイッチ１３３が望遠側または広角側に操作されると、それぞれ、その旨の操作信号を制御部１１０に送信する。制御部１１０のＣＰＵによってプログラムが実行されることによって制御部１１０に構成されるズーム制御部１１１は、望遠側または広角側にズームする旨の操作信号を受けると、それぞれ、光学ズームのズーム倍率を徐々に上げるまたは下げるための制御信号を、光学系制御部１５０に送信する。
【００４１】
光学系制御部１５０は、制御部１１０から光学ズームのズーム倍率を徐々に上げるための制御信号が送信されてきた場合は、光学系１５１の画角を徐々に望遠側に移行させるための制御信号を、光学系１５１のアクチュエータに送信し、ズーム倍率を徐々に下げるための制御信号が送信されてきた場合は、光学系１５１の画角を徐々に広角側に移行させるための制御信号を、光学系１５１のアクチュエータに送信する。光学系１５１のアクチュエータは、光学系制御部１５０からの制御信号に応じて、光学系１５１の画角を徐々に望遠側または広角側に移行させるようにレンズの位置を動かす。
【００４２】
光学系２２１は、複数のレンズを含み、当該レンズを介して、外部から入射された光を撮像素子２３１の受光面に導く。
【００４３】
撮像素子１６１，２３１は、光を検出して電荷を発生させるフォトダイオードをそれぞれ１つ含む受光部を２次元に複数配列した受光面を有するエリアイメージセンサであり、本実施の形態においては、ＣＣＤ（Charge Coupled Device）イメージセンサである。なお、撮像素子１６１，２３１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであってもよい。
【００４４】
撮像素子１６１，２３１は、撮像素子制御部１６０，２３０によって制御されて、光学系１５１，２２１のそれぞれから入射された光が受光面で結像した画像を、各受光部ごとの画像の光の明暗に応じて光電変換により電荷として蓄積し、撮像素子制御部１６０からの駆動パルスに従って、順次、受光部ごとの電荷の量を電圧に変換して、それらの電圧の変化を電気信号として出力する。
【００４５】
ＡＤ変換部１７１，２４１は、撮像素子制御部１６０，２３０によってそれぞれ制御されて、撮像素子１６１，２３１からのアナログの電気信号を、量子化してデジタルの画像信号に変換する。
【００４６】
撮像素子制御部１６０，２３０は、制御部１１０からの制御信号に従って、撮像素子１６１，２３１およびＡＤ変換部１７１，２４１にクロック信号を供給したり、撮像素子１６１，２３１の駆動モードを切替えたりする。
【００４７】
たとえば、操作部１３０は、ズームレンジボタン１３１が操作されると、その旨の操作信号を制御部１１０に送信する。制御部１１０のＣＰＵによってプログラムが実行されることによって制御部１１０に構成される駆動モード制御部１１２は、ズームレンジボタン１３１が操作された旨の操作信号を受信すると、撮像素子１６１の駆動モードを切替えるための制御信号を、撮像素子制御部１６０に送信する。撮像素子制御部１６０は、撮像素子１６１の駆動モードを切替えるための制御信号を受信すると、撮像素子１６１の駆動モードを切替える。撮像素子１６１は、切替えられた駆動モードに従って電気信号を出力する。
【００４８】
映像処理部１７０，２４０は、制御部１１０からの制御信号に従って、ＡＤ変換部１７１，２４１からのデジタル化されたベイヤーパターンの画像信号をＲＧＢ信号に変換したり、ガンマ補正などの階調補正処理をしたり、ＲＧＢ信号からＹＣｂＣｒ信号へ変換したり、ＹＣｂＣｒ信号を記憶部１２０の映像バッファ１２２，１２４のそれぞれに一時的に記録させたりする。また、映像処理部１７０，２４０は、画像を補正するための他の処理を行なうようにしてもよい。
【００４９】
メインマイク１８１，サブマイク２１１は、外部からの音声を電圧の変化で示される電気信号に変換して音声処理部１８０，２１０にそれぞれ送信する。
【００５０】
音声処理部１８０，２１０は、制御部１１０からの制御信号に従って、メインマイク１８１，サブマイク２１１からのアナログの電気信号を、量子化してデジタルの音声信号に変換して、記憶部１２０のバッファに記録させる。また、音声処理部１８０，２１０は、制御部１１０からの制御信号に従って、圧縮伸張処理部１９０，２５０で伸張された音声信号をアナログの電気信号に変換してスピーカ１８２に出力する。
【００５１】
スピーカ１８２は、音声処理部１８０，２１０から出力された電気信号を音声に変換して外部に出力する。なお、スピーカ１８２には、音声処理部１８０と音声処理部２１０から出力された電気信号を適宜合成するミキサを含む。
【００５２】
圧縮伸張処理部１９０，２５０は、制御部１１０からの制御信号に従って、記憶部１２０の映像バッファ１２２，１２４に記録されたＹＣｂＣｒ信号を読出し、合成処理部２６０に適宜合成させ、記憶部１２０のバッファの音声信号も読出し、読出したＹＣｂＣｒ信号および音声信号を圧縮して、ＭＰＥＧ−４（Moving Picture Experts Group phase 4）フォーマット形式の映像データに変換して、その映像データを記憶部１２０の書込みバッファ１２３に記録させる。
【００５３】
制御部１１０は、記憶部１２０の書込みバッファ１２３に記録された映像データをメモリカード１２１に記録させる。本実施の形態では、合成映像をメモリカード１２１に記録する記憶部１２０により、記録手段が構成されている。
【００５４】
たとえば、操作部１３０は、ムービーボタン１３５が操作されると、その旨の操作信号を制御部１１０に送信する。制御部１１０のＣＰＵによってプログラムが実行されることによって制御部１１０に構成される撮像開始停止制御部１１３は、ムービーボタン１３５が操作された旨の操作信号を受けると、動画を撮像中であれば、撮像を停止させるための制御を行ない、動画を撮像中でなければ、撮像を開始させるための制御を行なう。
【００５５】
具体的には、撮像を開始させるための制御として、撮像素子が撮像の設定に応じた電気信号を出力するように撮像素子制御部１６０，２３０に制御信号を送信し、撮像のための処理を開始するように映像処理部１７０，２４０、圧縮伸張処理部１９０，２５０、合成処理部２６０および記憶部１２０の各バッファを制御する。
【００５６】
表示部１４０は、表示装置（たとえば、ＬＣＤ（Liquid Crystal Display））を含み、制御部からの制御信号に従って、映像処理部１７０で処理された映像もしくは記憶部１２０のメモリカード１２１などに記録された映像、それらの映像に重ねて撮像装置１００の状態を示す表示（たとえば、残り撮像時間、電池の残量など）、および、各種メニュー画面（たとえば、各種設定値を設定するための画面、再生する映像を選択する画面など）等を表示する。
【００５７】
（３．映像の合成）
本実施の形態の撮像装置１００は、メインカメラで撮像された映像を記録しているときに、サブマイク２１１が音声を集音したことに起因して、サブカメラで撮像された映像をメインカメラで撮像された映像と合成して記録する。このことを、以下、図５を参照して具体的に説明する。
【００５８】
図５（Ａ）は、撮影者ＰＮ１が、撮像装置１００で被写体ＰＮ２，ＰＮ３を含むメインカメラの視野ＡＲ１の映像を撮像している状態が示されている。この状態で、表示部１４０に表示され、記憶部１２０に記録される映像を、図５（Ｂ）に示す。図５（Ｂ）には、被写体ＰＮ２，ＰＮ３が映る画面９００が示されている。
【００５９】
ここで、撮影者ＰＮ１が声を出すと、当該声は、サブマイク２１１によって集音される。サブマイク２１１による集音が検出されると、サブカメラによって撮像される映像が、メインカメラによって撮像される映像に合成されて、表示部１４０に表示され、記憶部１２０に記録される。この状態で、表示部１４０に表示され、記憶部１２０に記録される映像を、図５（Ｃ）に示す。図５（Ｃ）には、画面９００として示したものと映像と、撮影者ＰＮ１を含むサブカメラの視野ＡＲ２の映像とが組み合わされた画面９１０が示されている。画面９１０において、サブカメラによって撮像された映像（視野ＡＲ２の映像）は、枠９１１内の画像として、その他の部分とは区別可能な状態で合成されている。
【００６０】
（４．合成映像記録処理）
図６は、撮像装置１００において、上記したようなメインカメラの映像とサブカメラの映像を合成する際に、制御部１１０が実行する処理（合成映像記録処理）のフローチャートである。合成映像記録処理は、撮像装置１００において動画の録画が実行されているときに、実行される。
【００６１】
図６を参照して、合成映像記録処理では、制御部１１０は、まずステップＳ１０において、サブマイク２１１が音声の集音を開始したか否かを判断し、開始したと判断するとステップＳ２０へ処理を進める。
【００６２】
なお、制御部１１０は、ステップＳ１０では、たとえば、サブマイク２１１が集音した音量の方がメインマイク１８１が集音した音量よりも大きい場合、または、サブマイク２１１が集音した音量の方がメインマイク１８１が集音した音量よりも小さい場合であって後者の音量から前者の音量を差し引いたものが予め定められた量以下である場合に、サブマイク２１１が集音したと判断し、それ以外の場合には、サブマイク２１１は集音していないと判断する。
【００６３】
ステップＳ２０では、制御部１１０は、図５（Ｃ）を参照して説明したように、メインカメラによって撮像される映像とサブカメラによって撮像される映像とを合成した映像（以下、適宜「合成映像」という）を生成して、ステップＳ３０へ処理を進める。なお、２つの映像をどのように合成するか（たとえば、サブカメラによって撮像された映像の、メインカメラによって撮像された映像に対する嵌め込み位置や嵌めこむ画面の大きさ）については、記憶部１２０に予め設定内容が記録されていてもよいし、操作部１３０を介して入力され記憶部１２０に登録された情報に従うものとされてもよい。
【００６４】
ステップＳ３０では、制御部１１０は、ステップＳ２０で生成した合成映像を記憶部１２０に記録して、ステップＳ４０へ処理を進める。
【００６５】
ステップＳ４０では、制御部１１０は、サブマイク２１１が集音しなくなったか否かを判断し、しなくなったと判断するとステップＳ５０へ処理を進め、集音を継続していると判断するとステップＳ２０へ処理を戻す。
【００６６】
ステップＳ５０では、合成映像の生成を終了して、ステップＳ１０へ処理を戻す。これにより、表示部１４０に表示され、記憶部１２０に記録される映像は、図５（Ｂ）を参照して説明したような、メインカメラによって撮像された映像のみとなる。
【００６７】
以上説明した合成映像記憶処理では、サブマイク２１１が撮影者から発せられる音声を集音したことに応じて、その時点から、サブカメラで撮像された映像がメインカメラで撮像された映像と合成されて、表示され記録される。これにより、撮影者が、メインカメラで撮像された映像について解説する内容を声に出して話した場合、そのような解説をする撮影者の姿が、メインカメラの映像とともに、表示され、記録されることとなる。
【００６８】
また、本件において、メインカメラとサブカメラの映像が合成される場合には、メインマイク１８１とサブマイク２１１が集音した音声も合成して、出力され、記録される。
【００６９】
ここで、本発明では、合成指示のトリガーが、ボタン操作などでなく集音手段による集音とされる。このため、撮影者は、煩雑な操作を必要とされず、また、メインカメラでの撮像を継続しながら合成の指示が入力された場合であっても、ボタン操作によるノイズがメインカメラの映像やメインマイク１８１の音声に載ることを回避できる。
【００７０】
撮像装置１００において、サブカメラによる撮像は、図７（Ａ）に示されるように、動画の録画が行なわれている期間、つまり、メインカメラによる撮像が行なわれている期間すべてとされてもよいし、図７（Ｂ）に示されるように、合成映像が生成されるときのみとされてもよい。
【００７１】
図７（Ａ）および図７（Ｂ）では、メインカメラおよびサブカメラによって撮像された映像データが、枠体によって模式的に示されている。なお、斜線のハッチングを付された部分は、合成映像のデータに対応している。また、図７（Ａ）および図７（Ｂ）において、サブマイク２１１による集音が開始された時点が「音声入力ＯＮ」で示され、サブマイク２１１による集音が終了した時点が「音声入力ＯＦＦ」で示されている。
【００７２】
図７（Ａ）に示される例では、たとえば、サブカメラがメインカメラの撮像開始と同時に撮像を開始するなど、サブマイク２１１が集音を開始する前から、メインカメラと同様に、サブカメラでの撮像が行なわれている。そして、サブマイク２１１が集音を開始すると、集音が終了するまで、メインカメラの映像はサブカメラの映像と合成される。録画動作が実行されている場合、録画映像としては、基本的には、メインカメラの映像（図５（Ｂ）参照）が記憶部１２０に記録される。そして、上記した合成映像が生成されている期間については、メインカメラの映像が合成映像に置換えられて、録画映像として、記憶部１２０に記録される。なお、合成映像が生成されない期間についてのサブカメラの映像は、映像バッファ１２４に一時的に記録された後、適宜破棄される。
【００７３】
図７（Ｂ）に示された例では、サブマイク２１１による集音が検出されたことに応じてサブカメラでの撮像が開始され、当該集音が終了すると、サブカメラによる撮像が終了される。そして、撮像されたサブカメラの映像は、メインカメラの映像と合成されて、録画映像として、記憶部１２０に記録される。
【００７４】
本実施の形態において、図７（Ｂ）に示されたように、サブカメラの撮像を合成映像の生成期間のみとされることにより、合成映像の生成に利用されない映像の撮像を極力抑えることができ、これにより、消費電力を抑えるなどの利点がある。
【００７５】
一方、図７（Ａ）に示された例によれば、サブマイク２１１による集音が開始されたときに、その時点から一定時間遡った時点から、合成映像を生成することができる。
【００７６】
また、本実施の形態では、サブマイク２１１による集音が終了した時点で合成映像の生成を終了しているが、当該集音の終了が検出されてから特定の時間が経過したとき（たとえば３秒間）に合成映像の生成を終了するようにしてもよい。
【００７７】
また、サブマイク２１１による集音の開始から、その終了の有無に拘らず、当該集音の開始から所定時間（たとえば、３秒間）を経過したことを条件として、合成映像の生成が終了されてもよい。
【００７８】
また、一度サブマイク２１１による集音が検出されると、録画を停止する操作がなされるまで継続して（音声入力の終了の有無に拘らず）、合成映像の生成が継続されてもよい。
【００７９】
つまり、本実施の形態の撮像装置１００では、合成映像の生成開始のタイミングが、サブマイク２１１による集音の開始と対応していれば、集音の開始が生成開始のタイミングが一致してなくてもよく、また、生成終了のタイミングが集音終了のタイミングと一致していなくともよい。
【００８０】
［第２の実施の形態］
本実施の形態の撮像装置は、第１の実施の形態の撮像装置１００に対して、合成映像が生成される際の映像データの記録態様のみが相違する。
【００８１】
具体的には、図８（Ａ）および図８（Ｂ）に示されるように、本実施の形態では、合成映像が生成される際に、合成映像の映像データが、メインカメラによって撮像された映像データおよびサブカメラによって撮像された映像データとは別に、記憶部１２０に記録される。つまり、本実施の形態では、メインカメラによって撮像された映像がメモリカード１２１に記録され、さらに、当該メインカメラによる映像と同じ録画時間分の合成映像の映像データが、メモリカード１２１に記録される。また、メモリカード１２１には、サブカメラによって撮像された映像データがさらに記録されても良い。なお、図８（Ａ）は、図７（Ａ）と同様に、合成映像の生成期間以外でもサブカメラによる撮像が行なわれている場合を示し、図８（Ｂ）は、図７（Ｂ）と同様に、合成映像の生成される期間中のみ、サブカメラによる撮像が行なわれる場合を示している。
【００８２】
上記した合成映像の映像データには、開始時刻情報と終了時刻情報とが付されている。開始時刻情報は、サブマイク２１１による集音が開始されたときの再生位置を表わす情報であり、終了時刻情報は、サブマイク２１１による集音がなくなった時点の再生位置を表わす情報である。
【００８３】
合成映像では、サブマイク２１１による集音が開始された時点（音声入力ＯＮ）から当該集音が終了する時点（音声入力ＯＦＦ）までの映像はメインカメラの映像とサブカメラの映像が合成された映像であり、それ以外の映像はメインカメラの映像（つまり、メインカメラの映像がコピーされた映像）である。
【００８４】
このような態様で合成映像が記録されることにより、合成映像に対応する映像データが再生されると、開始時刻情報から終了時刻情報までの期間に対応する再生位置では合成された映像が再生され、それ以外の期間に対応する再生位置ではメインカメラによって撮像された映像のみが再生される。一方、「メインカメラ」に対応する映像データが再生されれば、開始時刻情報から終了時刻情報までの期間でも、メインカメラによって撮像された映像のみが再生される。
【００８５】
本実施の形態では、合成映像をメモリカード１２１に記録する記憶部１２０によって、記録手段が構成されている。なお、本実施の形態の記録手段は、メインカメラの映像の記録も行なう。
【００８６】
なお、本実施の形態では、合成映像として、開始時刻情報から終了時刻情報までの期間に対応する映像データのみが記録されても良い。この場合、メインカメラの映像データが再生されている場合、再生位置が開始時刻情報から終了時刻情報で特定される期間だけ、合成画像の映像データが再生されることにより、図８（Ａ）または図８（Ｂ）に示したような態様で記録された合成映像が再生されたときと同様の映像が再生される。
【００８７】
また、本実施の形態では、サブカメラの映像は、記憶部１２０に記録されても良いし、記録されなくても良い。また、サブカメラの映像として、メインカメラと合成された期間以外の期間の映像のみが記録されても良いし、当該期間の映像のみが記録されても良い。
【００８８】
［第３の実施の形態］
（１．全体構成）
図９に、本発明の撮像装置の第３の実施の形態である撮像装置１００Ａのブロック図を示す。
【００８９】
撮像装置１００Ａは、第１または第２の実施の形態において撮像装置１００が合成映像を生成していた期間において、合成映像を生成する代わりに、サブカメラの映像に、メインカメラの映像と合成されて再生されるための情報を付与する。このため、図９に示されるように、撮像装置１００Ａでは、撮像装置１００が備えていた合成処理部２６０が省略されている。なお、撮像装置１００Ａの構成は、合成処理部２６０を備えていない点以外は、撮像装置１００と同様のものとすることができる。
【００９０】
（２．再生情報登録処理）
図１０は、上記したような、サブカメラの映像に、メインカメラの映像と合成されて再生されるための情報を付与するために実行される処理（再生情報登録処理）のフローチャートである。
【００９１】
図１０を参照して、再生情報登録処理では、制御部１１０は、再生情報登録処理において、まずステップＳＡ１０で、サブマイク２１１が音声を集音したか否かを判断し、集音したと判断するとステップＳＡ２０へ処理を進める。
【００９２】
ステップＳＡ２０では、制御部１１０は、その時点のサブカメラの映像に対して、メインカメラの映像と合成されて再生される開始位置であることを示す情報を登録する処理を行なって、ステップＳＡ３０へ処理を進める。
【００９３】
本実施の形態では、サブカメラの映像について、メインカメラの映像と合成されて再生されるための情報として、たとえば、次の表１に示されるような合成情報テーブルを挙げることができる。
【００９４】
【表１】
【００９５】
合成情報テーブルは、１つの録画データの再生において、複数回の合成映像の生成箇所を特定することができる。そして、合成情報テーブルでは、合成映像の再生位置毎に、ＩＤとして、整理番号が付されている。各ＩＤは、開始位置と終了位置が関連付けられている。本実施の形態では、少なくとも、各ＩＤに関連付けられて登録されている開始位置から終了位置までは、サブカメラの映像が記憶部１２０に記録される。そして、当該録画データが再生される際には、各ＩＤの開始位置から終了位置までは、図５（Ｃ）を参照して説明したような合成映像が再生され、それ以外の期間については、メインカメラの映像のみが生成される。
【００９６】
そして、ステップＳＡ２０では、合成情報テーブルにおいて新しいＩＤが定義され、当該新しいＩＤについて、その時点での録画位置が開始位置として登録される。
【００９７】
ステップＳＡ３０では、制御部１１０は、サブマイク２１１による集音がなくなったか否かを判断し、なくなったと判断するとステップＳＡ４０へ処理を進める。
【００９８】
ステップＳＡ４０では、制御部１１０は、合成情報テーブルにおいて、ステップＳ２０で開始位置を登録したＩＤについて、その時点での録画時間を終了位置として登録して、ステップＳＡ１０へ処理を戻す。
【００９９】
以上説明した再生情報登録処理によれば、図１１に示されるように、サブカメラの映像について、サブマイク２１１による集音が開始した位置に対応して、合成情報テーブルにおいて開始位置が登録され、サブマイク２１１による集音が終了した時点に対応して、終了位置が登録される。
【０１００】
（３．再生処理）
本実施の形態の撮像装置１００Ａにおいて記憶部１２０に記録された録画映像が再生される際に、そのバックグラウンドで実行される合成映像再生処理について、当該処理のフローチャートである図１２を参照して説明する。
【０１０１】
図１２を参照して、合成映像再生処理では、まずステップＳＢ１０において、制御部１１０は、録画映像の再生位置が、合成情報テーブルに登録されている開始位置に一致したか否かを判断し、一致したと判断するとステップＳＢ２０へ処理を進める。
【０１０２】
ステップＳＢ２０では、制御部１１０は、録画映像として、メインカメラの映像とサブカメラの映像を、記憶部１２０に予め登録された合成態様で合成することにより合成映像を生成し、当該合成映像を表示部１４０等の表示装置に出力することにより、合成映像を再生して、ステップＳＢ３０へ処理を進める。
【０１０３】
ステップＳＢ３０では、制御部１１０は、録画映像の再生位置が合成情報テーブルの終了位置として登録されている位置に一致したか否かを判断し、まだ一致していないと判断するとステップＳＢ２０へ処理を戻し、合成映像の再生を継続させる。一方、再生位置が終了位置と一致したと判断すると、処理をステップＳＢ２０に戻すことなく、ステップＳＢ１０に戻す。これにより、合成映像の再生が終了され、つまり、再生される映像としては、合成映像ではなく、メインカメラの映像が再生される。
【０１０４】
以上説明した合成映像再生処理により、図１１においてハッチングを付した部分のサブカメラの映像、つまり、合成情報テーブルにおいて開始位置が登録された位置から終了位置が登録された位置までの映像が、合成映像として、メインカメラの映像と合成されて、再生されることとなる。
【０１０５】
（４．再生案内表示の例）
図１３に、本実施の形態において説明された再生情報登録処理に従って記録された録画映像の再生に際して表示される案内画面の一例を、図１３に示す。
【０１０６】
図１３を参照して、案内画面９９０には、再生情報登録処理に従って合成情報テーブルと共に記録された或る録画映像についての、合成映像の再生が開始される位置を示す画像９９１，９９２を含む。画像９９１は、たとえば、各位置のメインカメラの静止画像のサムネイル画像とすることができる。また、案内画面９９０では、画像９９１，９９２のそれぞれについて、対応する再生位置を示す情報（図１３中の「ＸＸ：ＸＸ：ＸＸ」や「ＹＹ：ＹＹ：ＹＹ」と共に表示させることができる。
【０１０７】
制御部１１０は、操作部１３０に対して、記憶部１２０の中から或る録画映像を選択する操作がなされ、さらに、案内画面を表示させることを指示する操作がなされると、合成テーブルに登録された各ＩＤの開始位置を取得し、それらの位置のメインカメラの映像についてのサムネイル画像を生成し、そして、生成したサムネイル画像を、開始位置と共に、予め生成されている画面の枠内に嵌め込むことにより、案内画面９９０を表示させるための情報を生成する。
【０１０８】
［変形例等］
以上説明した第１〜第３の実施の形態では、被写体側に設けられたマイクロフォン（メインマイク１８１）と、撮影者側に設けられたマイクロフォン（サブマイク２１１）とが、つまり、複数のマイクロフォンが設けられていた。そして、後者のマイクロフォンによる集音があったタイミングに対応して、合成映像が生成されたり、サブカメラの映像が合成映像として表示されるための情報が登録されたりした。
【０１０９】
なお、複数箇所にマイクロフォンを設ける代わりに、図１４に示すように、被写体側と撮影者側の双方の音声を集音するマイクロフォン２１１Ａが設けられ、当該マイクロフォン２１１Ａに入力される音声の中で、撮影者から発せられた音声を集音したと判断されたタイミングに対応して、上記合成映像の生成や情報の登録がなされてもよい。このようなマイクロフォン２１１Ａは、たとえば、被写体側に指向性を有するマイクロフォンと撮影者側に指向性を有するマイクロフォンとが組み合わされて構成されることにより実現される。
【０１１０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。また、各実施の形態で説明された技術的思想は、単独で実施されても良いし、可能な限り組み合わされて実施されることも意図される。
【符号の説明】
【０１１１】
１００，１００Ａ 撮像装置、１１０ 制御部、１２０ 記憶部、１２１ メモリカード、１２２，１２４ 映像バッファ、１２３ 書込バッファ、１３０ 操作部、１３２ 電源ボタン、１４０ 表示部、１６０，２３０ 撮像素子制御部、１６１，２３１ 撮像素子、１７０，２４０ 映像処理部、１７１，２４１ ＡＤ変換部、１８０，２１０ 音声処理部、１８１ メインマイク、１８２ スピーカ、１９０，２５０ 圧縮伸長処理部、２１１ サブマイク。
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、複数の撮像手段を備えた撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
従来から複数の撮像手段を備えた装置が開示されていた。たとえば、特許文献１（特開２００５−８０１１７号公報）には、一対の撮像手段の中の、一方の撮像手段で撮影者自身を撮像し、他方の撮像手段で被写体を撮像し、そして、双方で撮像された画像を合成する技術が開示されている。なお、ここでいう合成は、一方の撮像手段で撮像された画像から背景画像を除去して撮影者を抽出し、抽出した画像を上記他方の撮像手段で撮像された画像に嵌めこむことにより、行なわれる。このようにされることで、娯楽性の高い写真撮像を行なうことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−８０１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記したような画像の合成を行なうには、撮像装置において「２ショット撮影モード」などの設定を行なわなければならず、たとえば、撮影者が、一方の撮像手段での撮像中に上記したような画像の合成をしたいと思い立った場合などには、撮影動作を中止して設定のための操作を必要とされ、煩雑であった。
【０００５】
本発明は、係る実情に鑑み考え出されたものであり、その目的は、撮像装置において、複数の撮像手段によって撮像された画像の合成の開始についての利便性を向上させることである。
【課題を解決するための手段】
【０００６】
本発明のある局面に従った撮像装置は、第１被写体を撮像する第１撮像手段と、第２被写体を撮像する第２撮像手段と、第１被写体側から発せられる音声を集音する集音手段と、集音手段に音声が集音されたことに起因して、第１撮像手段によって撮像された映像と第２撮像手段によって撮像された映像とを合成する態様で記録媒体に記録する記録手段とを備える。
【０００７】
また、本発明の撮像装置では、集音手段は、第１被写体に対向する向きで保持可能なマイクロフォンを含み、記録手段は、マイクロフォンによって第１被写体からの音声が集音されたことに起因して第１撮像手段によって撮像された映像を第２撮像手段によって撮像された映像に合成する態様で、記録媒体に記録することが好ましい。
【０００８】
また、本発明の撮像装置は、第１撮像手段によって撮像された映像と第２撮像手段によって撮像された映像とが合成された映像を表示する表示手段をさらに備えることが好ましい。
【０００９】
また、本発明の撮像装置では、記録手段は、集音手段が第１被写体から発せられる音声を集音した時点から、第１撮像手段によって撮像された映像を第２撮像手段によって撮像された映像に合成する態様での記録を開始することが好ましい。
【００１０】
また、本発明の撮像装置では、記録手段は、集音手段が第１被写体から発せられる音声を集音した時点より一定時間前から、第１撮像手段によって撮像された映像を第２撮像手段によって撮像された映像に合成する態様での記録を開始することが好ましい。
【００１１】
また、本発明の撮像装置では、記録手段は、集音手段が第１被写体から発せられる音声を集音した時点から所定時間が経過したときに、第１撮像手段によって撮像された映像を第２撮像手段によって撮像された映像に合成する態様での記録を停止することが好ましい。
【００１２】
本発明の他の局面に従った撮像装置は、第１被写体を撮像する第１撮像手段と、第１撮像手段によって撮像された第１映像を記録媒体に記録する第１記録手段と、第２被写体を撮像する第２撮像手段と、第２撮像手段によって撮像された第２映像を記録媒体に記録する第２記録手段と、第１被写体側から発せられる音声を集音する集音手段と、集音手段によって音声が集音されたことに起因して、第１映像と第２映像を合成する態様で再生するための情報を記録する第３記録手段と、情報に基づいて第１映像と第２映像を合成する態様で再生する再生手段とを備える。
【００１３】
本発明のさらに他の局面に従った撮像装置の制御方法は、第１被写体を撮像する第１撮像手段と、第２被写体を撮像する第２撮像手段と、第１被写体側から発せられる音声を集音する集音手段とを備えた撮像装置の制御方法であって、集音手段が音声を集音したか否かを判断するステップと、集音手段が音声を集音したと判断した場合に、第１撮像手段によって撮像された映像と第２撮像手段によって撮像された映像とを合成する態様で記録媒体に記録するステップとを備える。
【００１４】
本発明の別の局面に従った撮像装置の制御方法は、第１被写体を撮像する第１撮像手段と、第２被写体を撮像する第２撮像手段と、第１被写体側から発せられる音声を集音する集音手段とを備えた撮像装置の制御方法であって、第１撮像手段によって撮像された第１映像を記録媒体に記録するステップと、第２撮像手段によって撮像された第２映像を記録媒体に記録するステップと、集音手段によって音声が集音されたことに起因して、第１映像と第２映像を合成する態様で再生するための情報を記録するステップと、情報に基づいて第１映像と第２映像を合成する態様で再生するステップとを備える。
【発明の効果】
【００１５】
本発明によれば、撮像装置において、複数の撮像手段によって撮像された映像が合成されたものを、当該複数の撮像手段の中の１つの撮像手段の被写体側から発せられる音声を集音する集音手段が音声を集音したことに起因して開始することができる。
【００１６】
これにより、撮影者は、撮影動作を中止して特別な操作をすることなく、上記した複数の撮像手段によって撮像された映像を記録させることができ、撮像装置の利便性を向上することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施の形態である撮像装置の外観図である。
【図２】本発明の第１の実施の形態である撮像装置の外観図である。
【図３】図１の撮像装置の構成の概略を示すブロック図である。
【図４】図１の撮像装置における信号の流れを示す図である。
【図５】図１の撮像装置におけるメインカメラの映像とサブカメラの映像の合成を説明するための図である。
【図６】図１の撮像装置において実行される合成映像記録処理のフローチャートである。
【図７】図１の撮像装置における合成映像の生成態様を説明するための図である。
【図８】本発明の第２の実施の形態である撮像装置における合成映像の生成態様を説明するための図である。
【図９】本発明の第３の実施の形態である撮像装置の構成の概略を示すブロック図である。
【図１０】図９の撮像装置において実行される再生情報登録処理のフローチャートである。
【図１１】図９の撮像装置における、サブカメラの映像に関して登録される情報の内容を説明するための図である。
【図１２】図９の撮像装置において実行される再生処理のフローチャートである。
【図１３】図９の撮像装置において表示される案内画面の一例を示す図である。
【図１４】本発明の第１の実施の形態の撮像装置の変形例の外観図である。
【発明を実施するための形態】
【００１８】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００１９】
［第１の実施の形態］
（１．撮像装置の全体構成）
図１および図２は、この発明の第１の実施の形態である撮像装置１００の外観図である。図１は、撮像装置１００をレンズ側から見た外観図である。図２は、撮像装置１００を操作パネル側から見た外観図である。
【００２０】
撮像装置１００は、デジタルムービーカメラであってもよいし、またはビデオカメラ機能を有する携帯通信端末であってもよい。
【００２１】
撮像装置１００は、主に、レンズなどの光学系１５１を備える本体部と、表示部１４０を備えるモニタユニット部とから構成される。モニタユニット部を本体部に折り畳んだときにモニタユニット部が接する本体部の側面には、電源のオンまたはオフを切替えるための電源ボタン１３２が設けられる。本体部の上面の操作パネル側には、ズームレンジを広角または望遠に切替えるためのズームレンジボタン１３１が設けられる。
【００２２】
操作パネルには、広角側または望遠側に徐々にズームするためのズームスイッチ１３３、静止画を撮像するためのフォトボタン１３４、動画の録画を開始または停止するためのムービーボタン１３５、撮影モードまたは再生モードに切替えるためのＲＥＣ／ＰＬＡＹボタン１３６、各種設定モードに切替えるためのメニューボタン１３７、および、各種設定において上下左右に動かすことで選択操作をするとともに押下することで決定操作をするためのセットボタン１３８が設けられる。
【００２３】
光学系１５１と後述する撮像素子１６１は、被写体（第２被写体）を撮像するためのカメラ装置を構成し、第２撮像手段を構成する。
【００２４】
モニタユニット部の、当該モニタユニット部が開かれた状態にあるときに被写体に向けられる面には、メインマイク１８１が設けられている。メインマイク１８１は、被写体側の音声を主に集音するように、被写体側に良好な感度を有する。
【００２５】
モニタユニット部の、当該モニタユニット部が開かれた状態にあるときに撮影者に対向する面には、表示部１４０と、光学系２２１と、サブマイク２１１が設けられている。光学系２２１と後述する撮像素子２３１は、主に撮影者（第１被写体）を撮像するためのカメラ装置を構成し、第１撮像手段を構成する。モニタユニット部は、開かれた状態では、サブマイク２１１を撮影者に対向する向きで保持する。サブマイク２１１は、撮影者側の音声を主に集音するように、撮影者側に良好な感度を有する。本実施の形態では、サブマイク２１１により、集音手段が構成される。
【００２６】
本明細書では、以下、第１撮像手段を構成する光学系２２１と撮像素子２３１を合わせて「サブカメラ」と呼ぶ場合がある。また、第２撮像手段を構成する光学系１５１と撮像素子１６１を合わせて「メインカメラ」と呼ぶ場合がある。
【００２７】
モニタユニット部では、図２から主に理解されるように、ムービーボタン１３５等の操作ボタンが上方に位置するような、一般的に撮像が行なわれる状態において、表示部１４０は、撮像装置１００本体の左側に位置し、そして、光学系２２１およびサブマイク２１１は、表示部１４０の左側に位置するように設けられている。これにより、撮影者が右手で撮像装置１００の本体を持って撮像する際、より確実に、光学系２２１によって撮影者の顔等の映像を撮像でき、かつ、サブマイク２１１によって撮影者が発する声を集音することができる。
【００２８】
撮像装置１００では、表示部１４０、光学系２２１およびサブマイク２１１は、撮像装置１００本体に対して折畳可能なモニタユニット部に設けられているが、これらは、必ずしも本体に対して折畳み可能な部材に設けられていなくとも良い。つまり、撮像装置１００のいて、モニタユニット部が折畳可能であることは、必須の構成要件ではない。
【００２９】
（２．撮像装置のブロック構成）
図３は、この実施の形態における撮像装置１００の構成の概略を示すブロック図である。図４は、この実施の形態における撮像装置１００の信号の流れを示す図である。なお、図４において、流れを示す矢印のうち実線のものは、画像に関する信号を示し、破線のものは、制御に関する信号を示す。
【００３０】
図３および図４を参照して、撮像装置１００は、制御部１１０と、記憶部１２０と、操作部１３０と、表示部１４０と、光学系制御部１５０と、光学系１５１，２２１と、撮像素子制御部１６０，２３０と、撮像素子１６１，２３１と、映像処理部１７０，２４０と、ＡＤ（Analog Digital）変換部１７１，２４１と、音声処理部１８０，２１０と、メインマイク１８１と、サブマイク２１１と、スピーカ１８２と、圧縮伸張処理部１９０，２５０と、合成処理部２６０とを備える。
【００３１】
操作部１３０は、図１で説明した電源ボタン１３２、ズームレンジボタン１３１、および、操作パネルの各種ボタンからの操作信号を制御部１１０に送信する。
【００３２】
記憶部１２０は、ＲＯＭ（Read Only Memory）（たとえば、フラッシュメモリ）などの不揮発性メモリおよびＲＡＭ（Random Access Memory）（たとえば、ＳＤＲＡＭ（synchronous Dynamic Random Access Memory））などの揮発性メモリ、ならびに、メモリカード１２１（たとえば、ＳＤメモリカードおよびＵＳＢメモリ）のデータを読書きするためのメモリカードスロットを含む。
【００３３】
なお、記憶部１２０は、不揮発性メモリおよび揮発性メモリなどの半導体メモリに加えてまたは替えて、他の内部記憶装置、たとえば、ハードディスクドライブを含むようにしてもよい。また、記憶部１２０は、メモリカードスロットに加えてまたは替えて、他の外部記憶装置、たとえば、光ディスク（たとえば、ＤＶＤ（Digital Versatile Disc）およびＢＤ（Blu-ray Disc））などの記録媒体のデータを読書きする装置を含むようにしていもよい。
【００３４】
記憶部１２０は、撮像装置１００を制御するためのプログラムのデータ、撮像装置１００を制御するためのデータ、撮像装置１００の各種機能を設定するための設定データ、および、撮像装置１００によって撮像された静止画または動画のデータなどを記録する。
【００３５】
また、記憶部１２０は、プログラムが実行されるときのワークメモリ、および、撮像処理が行なわれるときのバッファメモリなどとして用いられる。
【００３６】
制御部１１０は、ＣＰＵ（Central Processing Unit）を含み、記憶部１２０に記録された撮像装置１００を制御するためのプログラムに従って、操作部１３０からの操作信号に応じて、記憶部１２０、表示部１４０、光学系制御部１５０、撮像素子制御部１６０，２３０、映像処理部１７０，２４０、音声処理部１８０，２１０、圧縮伸張処理部１９０，２５０、および合成処理部２６０を制御する。
【００３７】
光学系１５１は、複数のレンズ、絞り、および、レンズの位置および絞りの開度を変更するためのアクチュエータを含む。光学系１５１は、外部の被写体やその背景などから入射された光を撮像素子１６１の受光面に導く。
【００３８】
光学系１５１のアクチュエータは、光学系制御部１５０からの制御信号に従って、レンズの位置、ならびに、絞りの開度を調整することによって、所定の範囲で、撮像素子１６１の受光面で結像する画像のズーム倍率を変更したり、受光面でのフォーカスを調整したり、受光面に入射される光量を制限したりする。
【００３９】
光学系制御部１５０は、制御部１１０からの制御信号に従って、光学系１５１のアクチュエータを制御して、撮像素子１６１で結像される画像のズーム倍率およびフォーカス、ならびに、撮像素子１６１への入射光量を変化させる。
【００４０】
たとえば、操作部１３０は、ズームスイッチ１３３が望遠側または広角側に操作されると、それぞれ、その旨の操作信号を制御部１１０に送信する。制御部１１０のＣＰＵによってプログラムが実行されることによって制御部１１０に構成されるズーム制御部１１１は、望遠側または広角側にズームする旨の操作信号を受けると、それぞれ、光学ズームのズーム倍率を徐々に上げるまたは下げるための制御信号を、光学系制御部１５０に送信する。
【００４１】
光学系制御部１５０は、制御部１１０から光学ズームのズーム倍率を徐々に上げるための制御信号が送信されてきた場合は、光学系１５１の画角を徐々に望遠側に移行させるための制御信号を、光学系１５１のアクチュエータに送信し、ズーム倍率を徐々に下げるための制御信号が送信されてきた場合は、光学系１５１の画角を徐々に広角側に移行させるための制御信号を、光学系１５１のアクチュエータに送信する。光学系１５１のアクチュエータは、光学系制御部１５０からの制御信号に応じて、光学系１５１の画角を徐々に望遠側または広角側に移行させるようにレンズの位置を動かす。
【００４２】
光学系２２１は、複数のレンズを含み、当該レンズを介して、外部から入射された光を撮像素子２３１の受光面に導く。
【００４３】
撮像素子１６１，２３１は、光を検出して電荷を発生させるフォトダイオードをそれぞれ１つ含む受光部を２次元に複数配列した受光面を有するエリアイメージセンサであり、本実施の形態においては、ＣＣＤ（Charge Coupled Device）イメージセンサである。なお、撮像素子１６１，２３１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであってもよい。
【００４４】
撮像素子１６１，２３１は、撮像素子制御部１６０，２３０によって制御されて、光学系１５１，２２１のそれぞれから入射された光が受光面で結像した画像を、各受光部ごとの画像の光の明暗に応じて光電変換により電荷として蓄積し、撮像素子制御部１６０からの駆動パルスに従って、順次、受光部ごとの電荷の量を電圧に変換して、それらの電圧の変化を電気信号として出力する。
【００４５】
ＡＤ変換部１７１，２４１は、撮像素子制御部１６０，２３０によってそれぞれ制御されて、撮像素子１６１，２３１からのアナログの電気信号を、量子化してデジタルの画像信号に変換する。
【００４６】
撮像素子制御部１６０，２３０は、制御部１１０からの制御信号に従って、撮像素子１６１，２３１およびＡＤ変換部１７１，２４１にクロック信号を供給したり、撮像素子１６１，２３１の駆動モードを切替えたりする。
【００４７】
たとえば、操作部１３０は、ズームレンジボタン１３１が操作されると、その旨の操作信号を制御部１１０に送信する。制御部１１０のＣＰＵによってプログラムが実行されることによって制御部１１０に構成される駆動モード制御部１１２は、ズームレンジボタン１３１が操作された旨の操作信号を受信すると、撮像素子１６１の駆動モードを切替えるための制御信号を、撮像素子制御部１６０に送信する。撮像素子制御部１６０は、撮像素子１６１の駆動モードを切替えるための制御信号を受信すると、撮像素子１６１の駆動モードを切替える。撮像素子１６１は、切替えられた駆動モードに従って電気信号を出力する。
【００４８】
映像処理部１７０，２４０は、制御部１１０からの制御信号に従って、ＡＤ変換部１７１，２４１からのデジタル化されたベイヤーパターンの画像信号をＲＧＢ信号に変換したり、ガンマ補正などの階調補正処理をしたり、ＲＧＢ信号からＹＣｂＣｒ信号へ変換したり、ＹＣｂＣｒ信号を記憶部１２０の映像バッファ１２２，１２４のそれぞれに一時的に記録させたりする。また、映像処理部１７０，２４０は、画像を補正するための他の処理を行なうようにしてもよい。
【００４９】
メインマイク１８１，サブマイク２１１は、外部からの音声を電圧の変化で示される電気信号に変換して音声処理部１８０，２１０にそれぞれ送信する。
【００５０】
音声処理部１８０，２１０は、制御部１１０からの制御信号に従って、メインマイク１８１，サブマイク２１１からのアナログの電気信号を、量子化してデジタルの音声信号に変換して、記憶部１２０のバッファに記録させる。また、音声処理部１８０，２１０は、制御部１１０からの制御信号に従って、圧縮伸張処理部１９０，２５０で伸張された音声信号をアナログの電気信号に変換してスピーカ１８２に出力する。
【００５１】
スピーカ１８２は、音声処理部１８０，２１０から出力された電気信号を音声に変換して外部に出力する。なお、スピーカ１８２には、音声処理部１８０と音声処理部２１０から出力された電気信号を適宜合成するミキサを含む。
【００５２】
圧縮伸張処理部１９０，２５０は、制御部１１０からの制御信号に従って、記憶部１２０の映像バッファ１２２，１２４に記録されたＹＣｂＣｒ信号を読出し、合成処理部２６０に適宜合成させ、記憶部１２０のバッファの音声信号も読出し、読出したＹＣｂＣｒ信号および音声信号を圧縮して、ＭＰＥＧ−４（Moving Picture Experts Group phase 4）フォーマット形式の映像データに変換して、その映像データを記憶部１２０の書込みバッファ１２３に記録させる。
【００５３】
制御部１１０は、記憶部１２０の書込みバッファ１２３に記録された映像データをメモリカード１２１に記録させる。本実施の形態では、合成映像をメモリカード１２１に記録する記憶部１２０により、記録手段が構成されている。
【００５４】
たとえば、操作部１３０は、ムービーボタン１３５が操作されると、その旨の操作信号を制御部１１０に送信する。制御部１１０のＣＰＵによってプログラムが実行されることによって制御部１１０に構成される撮像開始停止制御部１１３は、ムービーボタン１３５が操作された旨の操作信号を受けると、動画を撮像中であれば、撮像を停止させるための制御を行ない、動画を撮像中でなければ、撮像を開始させるための制御を行なう。
【００５５】
具体的には、撮像を開始させるための制御として、撮像素子が撮像の設定に応じた電気信号を出力するように撮像素子制御部１６０，２３０に制御信号を送信し、撮像のための処理を開始するように映像処理部１７０，２４０、圧縮伸張処理部１９０，２５０、合成処理部２６０および記憶部１２０の各バッファを制御する。
【００５６】
表示部１４０は、表示装置（たとえば、ＬＣＤ（Liquid Crystal Display））を含み、制御部からの制御信号に従って、映像処理部１７０で処理された映像もしくは記憶部１２０のメモリカード１２１などに記録された映像、それらの映像に重ねて撮像装置１００の状態を示す表示（たとえば、残り撮像時間、電池の残量など）、および、各種メニュー画面（たとえば、各種設定値を設定するための画面、再生する映像を選択する画面など）等を表示する。
【００５７】
（３．映像の合成）
本実施の形態の撮像装置１００は、メインカメラで撮像された映像を記録しているときに、サブマイク２１１が音声を集音したことに起因して、サブカメラで撮像された映像をメインカメラで撮像された映像と合成して記録する。このことを、以下、図５を参照して具体的に説明する。
【００５８】
図５（Ａ）は、撮影者ＰＮ１が、撮像装置１００で被写体ＰＮ２，ＰＮ３を含むメインカメラの視野ＡＲ１の映像を撮像している状態が示されている。この状態で、表示部１４０に表示され、記憶部１２０に記録される映像を、図５（Ｂ）に示す。図５（Ｂ）には、被写体ＰＮ２，ＰＮ３が映る画面９００が示されている。
【００５９】
ここで、撮影者ＰＮ１が声を出すと、当該声は、サブマイク２１１によって集音される。サブマイク２１１による集音が検出されると、サブカメラによって撮像される映像が、メインカメラによって撮像される映像に合成されて、表示部１４０に表示され、記憶部１２０に記録される。この状態で、表示部１４０に表示され、記憶部１２０に記録される映像を、図５（Ｃ）に示す。図５（Ｃ）には、画面９００として示したものと映像と、撮影者ＰＮ１を含むサブカメラの視野ＡＲ２の映像とが組み合わされた画面９１０が示されている。画面９１０において、サブカメラによって撮像された映像（視野ＡＲ２の映像）は、枠９１１内の画像として、その他の部分とは区別可能な状態で合成されている。
【００６０】
（４．合成映像記録処理）
図６は、撮像装置１００において、上記したようなメインカメラの映像とサブカメラの映像を合成する際に、制御部１１０が実行する処理（合成映像記録処理）のフローチャートである。合成映像記録処理は、撮像装置１００において動画の録画が実行されているときに、実行される。
【００６１】
図６を参照して、合成映像記録処理では、制御部１１０は、まずステップＳ１０において、サブマイク２１１が音声の集音を開始したか否かを判断し、開始したと判断するとステップＳ２０へ処理を進める。
【００６２】
なお、制御部１１０は、ステップＳ１０では、たとえば、サブマイク２１１が集音した音量の方がメインマイク１８１が集音した音量よりも大きい場合、または、サブマイク２１１が集音した音量の方がメインマイク１８１が集音した音量よりも小さい場合であって後者の音量から前者の音量を差し引いたものが予め定められた量以下である場合に、サブマイク２１１が集音したと判断し、それ以外の場合には、サブマイク２１１は集音していないと判断する。
【００６３】
ステップＳ２０では、制御部１１０は、図５（Ｃ）を参照して説明したように、メインカメラによって撮像される映像とサブカメラによって撮像される映像とを合成した映像（以下、適宜「合成映像」という）を生成して、ステップＳ３０へ処理を進める。なお、２つの映像をどのように合成するか（たとえば、サブカメラによって撮像された映像の、メインカメラによって撮像された映像に対する嵌め込み位置や嵌めこむ画面の大きさ）については、記憶部１２０に予め設定内容が記録されていてもよいし、操作部１３０を介して入力され記憶部１２０に登録された情報に従うものとされてもよい。
【００６４】
ステップＳ３０では、制御部１１０は、ステップＳ２０で生成した合成映像を記憶部１２０に記録して、ステップＳ４０へ処理を進める。
【００６５】
ステップＳ４０では、制御部１１０は、サブマイク２１１が集音しなくなったか否かを判断し、しなくなったと判断するとステップＳ５０へ処理を進め、集音を継続していると判断するとステップＳ２０へ処理を戻す。
【００６６】
ステップＳ５０では、合成映像の生成を終了して、ステップＳ１０へ処理を戻す。これにより、表示部１４０に表示され、記憶部１２０に記録される映像は、図５（Ｂ）を参照して説明したような、メインカメラによって撮像された映像のみとなる。
【００６７】
以上説明した合成映像記憶処理では、サブマイク２１１が撮影者から発せられる音声を集音したことに応じて、その時点から、サブカメラで撮像された映像がメインカメラで撮像された映像と合成されて、表示され記録される。これにより、撮影者が、メインカメラで撮像された映像について解説する内容を声に出して話した場合、そのような解説をする撮影者の姿が、メインカメラの映像とともに、表示され、記録されることとなる。
【００６８】
また、本件において、メインカメラとサブカメラの映像が合成される場合には、メインマイク１８１とサブマイク２１１が集音した音声も合成して、出力され、記録される。
【００６９】
ここで、本発明では、合成指示のトリガーが、ボタン操作などでなく集音手段による集音とされる。このため、撮影者は、煩雑な操作を必要とされず、また、メインカメラでの撮像を継続しながら合成の指示が入力された場合であっても、ボタン操作によるノイズがメインカメラの映像やメインマイク１８１の音声に載ることを回避できる。
【００７０】
撮像装置１００において、サブカメラによる撮像は、図７（Ａ）に示されるように、動画の録画が行なわれている期間、つまり、メインカメラによる撮像が行なわれている期間すべてとされてもよいし、図７（Ｂ）に示されるように、合成映像が生成されるときのみとされてもよい。
【００７１】
図７（Ａ）および図７（Ｂ）では、メインカメラおよびサブカメラによって撮像された映像データが、枠体によって模式的に示されている。なお、斜線のハッチングを付された部分は、合成映像のデータに対応している。また、図７（Ａ）および図７（Ｂ）において、サブマイク２１１による集音が開始された時点が「音声入力ＯＮ」で示され、サブマイク２１１による集音が終了した時点が「音声入力ＯＦＦ」で示されている。
【００７２】
図７（Ａ）に示される例では、たとえば、サブカメラがメインカメラの撮像開始と同時に撮像を開始するなど、サブマイク２１１が集音を開始する前から、メインカメラと同様に、サブカメラでの撮像が行なわれている。そして、サブマイク２１１が集音を開始すると、集音が終了するまで、メインカメラの映像はサブカメラの映像と合成される。録画動作が実行されている場合、録画映像としては、基本的には、メインカメラの映像（図５（Ｂ）参照）が記憶部１２０に記録される。そして、上記した合成映像が生成されている期間については、メインカメラの映像が合成映像に置換えられて、録画映像として、記憶部１２０に記録される。なお、合成映像が生成されない期間についてのサブカメラの映像は、映像バッファ１２４に一時的に記録された後、適宜破棄される。
【００７３】
図７（Ｂ）に示された例では、サブマイク２１１による集音が検出されたことに応じてサブカメラでの撮像が開始され、当該集音が終了すると、サブカメラによる撮像が終了される。そして、撮像されたサブカメラの映像は、メインカメラの映像と合成されて、録画映像として、記憶部１２０に記録される。
【００７４】
本実施の形態において、図７（Ｂ）に示されたように、サブカメラの撮像を合成映像の生成期間のみとされることにより、合成映像の生成に利用されない映像の撮像を極力抑えることができ、これにより、消費電力を抑えるなどの利点がある。
【００７５】
一方、図７（Ａ）に示された例によれば、サブマイク２１１による集音が開始されたときに、その時点から一定時間遡った時点から、合成映像を生成することができる。
【００７６】
また、本実施の形態では、サブマイク２１１による集音が終了した時点で合成映像の生成を終了しているが、当該集音の終了が検出されてから特定の時間が経過したとき（たとえば３秒間）に合成映像の生成を終了するようにしてもよい。
【００７７】
また、サブマイク２１１による集音の開始から、その終了の有無に拘らず、当該集音の開始から所定時間（たとえば、３秒間）を経過したことを条件として、合成映像の生成が終了されてもよい。
【００７８】
また、一度サブマイク２１１による集音が検出されると、録画を停止する操作がなされるまで継続して（音声入力の終了の有無に拘らず）、合成映像の生成が継続されてもよい。
【００７９】
つまり、本実施の形態の撮像装置１００では、合成映像の生成開始のタイミングが、サブマイク２１１による集音の開始と対応していれば、集音の開始が生成開始のタイミングが一致してなくてもよく、また、生成終了のタイミングが集音終了のタイミングと一致していなくともよい。
【００８０】
［第２の実施の形態］
本実施の形態の撮像装置は、第１の実施の形態の撮像装置１００に対して、合成映像が生成される際の映像データの記録態様のみが相違する。
【００８１】
具体的には、図８（Ａ）および図８（Ｂ）に示されるように、本実施の形態では、合成映像が生成される際に、合成映像の映像データが、メインカメラによって撮像された映像データおよびサブカメラによって撮像された映像データとは別に、記憶部１２０に記録される。つまり、本実施の形態では、メインカメラによって撮像された映像がメモリカード１２１に記録され、さらに、当該メインカメラによる映像と同じ録画時間分の合成映像の映像データが、メモリカード１２１に記録される。また、メモリカード１２１には、サブカメラによって撮像された映像データがさらに記録されても良い。なお、図８（Ａ）は、図７（Ａ）と同様に、合成映像の生成期間以外でもサブカメラによる撮像が行なわれている場合を示し、図８（Ｂ）は、図７（Ｂ）と同様に、合成映像の生成される期間中のみ、サブカメラによる撮像が行なわれる場合を示している。
【００８２】
上記した合成映像の映像データには、開始時刻情報と終了時刻情報とが付されている。開始時刻情報は、サブマイク２１１による集音が開始されたときの再生位置を表わす情報であり、終了時刻情報は、サブマイク２１１による集音がなくなった時点の再生位置を表わす情報である。
【００８３】
合成映像では、サブマイク２１１による集音が開始された時点（音声入力ＯＮ）から当該集音が終了する時点（音声入力ＯＦＦ）までの映像はメインカメラの映像とサブカメラの映像が合成された映像であり、それ以外の映像はメインカメラの映像（つまり、メインカメラの映像がコピーされた映像）である。
【００８４】
このような態様で合成映像が記録されることにより、合成映像に対応する映像データが再生されると、開始時刻情報から終了時刻情報までの期間に対応する再生位置では合成された映像が再生され、それ以外の期間に対応する再生位置ではメインカメラによって撮像された映像のみが再生される。一方、「メインカメラ」に対応する映像データが再生されれば、開始時刻情報から終了時刻情報までの期間でも、メインカメラによって撮像された映像のみが再生される。
【００８５】
本実施の形態では、合成映像をメモリカード１２１に記録する記憶部１２０によって、記録手段が構成されている。なお、本実施の形態の記録手段は、メインカメラの映像の記録も行なう。
【００８６】
なお、本実施の形態では、合成映像として、開始時刻情報から終了時刻情報までの期間に対応する映像データのみが記録されても良い。この場合、メインカメラの映像データが再生されている場合、再生位置が開始時刻情報から終了時刻情報で特定される期間だけ、合成画像の映像データが再生されることにより、図８（Ａ）または図８（Ｂ）に示したような態様で記録された合成映像が再生されたときと同様の映像が再生される。
【００８７】
また、本実施の形態では、サブカメラの映像は、記憶部１２０に記録されても良いし、記録されなくても良い。また、サブカメラの映像として、メインカメラと合成された期間以外の期間の映像のみが記録されても良いし、当該期間の映像のみが記録されても良い。
【００８８】
［第３の実施の形態］
（１．全体構成）
図９に、本発明の撮像装置の第３の実施の形態である撮像装置１００Ａのブロック図を示す。
【００８９】
撮像装置１００Ａは、第１または第２の実施の形態において撮像装置１００が合成映像を生成していた期間において、合成映像を生成する代わりに、サブカメラの映像に、メインカメラの映像と合成されて再生されるための情報を付与する。このため、図９に示されるように、撮像装置１００Ａでは、撮像装置１００が備えていた合成処理部２６０が省略されている。なお、撮像装置１００Ａの構成は、合成処理部２６０を備えていない点以外は、撮像装置１００と同様のものとすることができる。
【００９０】
（２．再生情報登録処理）
図１０は、上記したような、サブカメラの映像に、メインカメラの映像と合成されて再生されるための情報を付与するために実行される処理（再生情報登録処理）のフローチャートである。
【００９１】
図１０を参照して、再生情報登録処理では、制御部１１０は、再生情報登録処理において、まずステップＳＡ１０で、サブマイク２１１が音声を集音したか否かを判断し、集音したと判断するとステップＳＡ２０へ処理を進める。
【００９２】
ステップＳＡ２０では、制御部１１０は、その時点のサブカメラの映像に対して、メインカメラの映像と合成されて再生される開始位置であることを示す情報を登録する処理を行なって、ステップＳＡ３０へ処理を進める。
【００９３】
本実施の形態では、サブカメラの映像について、メインカメラの映像と合成されて再生されるための情報として、たとえば、次の表１に示されるような合成情報テーブルを挙げることができる。
【００９４】
【表１】
【００９５】
合成情報テーブルは、１つの録画データの再生において、複数回の合成映像の生成箇所を特定することができる。そして、合成情報テーブルでは、合成映像の再生位置毎に、ＩＤとして、整理番号が付されている。各ＩＤは、開始位置と終了位置が関連付けられている。本実施の形態では、少なくとも、各ＩＤに関連付けられて登録されている開始位置から終了位置までは、サブカメラの映像が記憶部１２０に記録される。そして、当該録画データが再生される際には、各ＩＤの開始位置から終了位置までは、図５（Ｃ）を参照して説明したような合成映像が再生され、それ以外の期間については、メインカメラの映像のみが生成される。
【００９６】
そして、ステップＳＡ２０では、合成情報テーブルにおいて新しいＩＤが定義され、当該新しいＩＤについて、その時点での録画位置が開始位置として登録される。
【００９７】
ステップＳＡ３０では、制御部１１０は、サブマイク２１１による集音がなくなったか否かを判断し、なくなったと判断するとステップＳＡ４０へ処理を進める。
【００９８】
ステップＳＡ４０では、制御部１１０は、合成情報テーブルにおいて、ステップＳ２０で開始位置を登録したＩＤについて、その時点での録画時間を終了位置として登録して、ステップＳＡ１０へ処理を戻す。
【００９９】
以上説明した再生情報登録処理によれば、図１１に示されるように、サブカメラの映像について、サブマイク２１１による集音が開始した位置に対応して、合成情報テーブルにおいて開始位置が登録され、サブマイク２１１による集音が終了した時点に対応して、終了位置が登録される。
【０１００】
（３．再生処理）
本実施の形態の撮像装置１００Ａにおいて記憶部１２０に記録された録画映像が再生される際に、そのバックグラウンドで実行される合成映像再生処理について、当該処理のフローチャートである図１２を参照して説明する。
【０１０１】
図１２を参照して、合成映像再生処理では、まずステップＳＢ１０において、制御部１１０は、録画映像の再生位置が、合成情報テーブルに登録されている開始位置に一致したか否かを判断し、一致したと判断するとステップＳＢ２０へ処理を進める。
【０１０２】
ステップＳＢ２０では、制御部１１０は、録画映像として、メインカメラの映像とサブカメラの映像を、記憶部１２０に予め登録された合成態様で合成することにより合成映像を生成し、当該合成映像を表示部１４０等の表示装置に出力することにより、合成映像を再生して、ステップＳＢ３０へ処理を進める。
【０１０３】
ステップＳＢ３０では、制御部１１０は、録画映像の再生位置が合成情報テーブルの終了位置として登録されている位置に一致したか否かを判断し、まだ一致していないと判断するとステップＳＢ２０へ処理を戻し、合成映像の再生を継続させる。一方、再生位置が終了位置と一致したと判断すると、処理をステップＳＢ２０に戻すことなく、ステップＳＢ１０に戻す。これにより、合成映像の再生が終了され、つまり、再生される映像としては、合成映像ではなく、メインカメラの映像が再生される。
【０１０４】
以上説明した合成映像再生処理により、図１１においてハッチングを付した部分のサブカメラの映像、つまり、合成情報テーブルにおいて開始位置が登録された位置から終了位置が登録された位置までの映像が、合成映像として、メインカメラの映像と合成されて、再生されることとなる。
【０１０５】
（４．再生案内表示の例）
図１３に、本実施の形態において説明された再生情報登録処理に従って記録された録画映像の再生に際して表示される案内画面の一例を、図１３に示す。
【０１０６】
図１３を参照して、案内画面９９０には、再生情報登録処理に従って合成情報テーブルと共に記録された或る録画映像についての、合成映像の再生が開始される位置を示す画像９９１，９９２を含む。画像９９１は、たとえば、各位置のメインカメラの静止画像のサムネイル画像とすることができる。また、案内画面９９０では、画像９９１，９９２のそれぞれについて、対応する再生位置を示す情報（図１３中の「ＸＸ：ＸＸ：ＸＸ」や「ＹＹ：ＹＹ：ＹＹ」と共に表示させることができる。
【０１０７】
制御部１１０は、操作部１３０に対して、記憶部１２０の中から或る録画映像を選択する操作がなされ、さらに、案内画面を表示させることを指示する操作がなされると、合成テーブルに登録された各ＩＤの開始位置を取得し、それらの位置のメインカメラの映像についてのサムネイル画像を生成し、そして、生成したサムネイル画像を、開始位置と共に、予め生成されている画面の枠内に嵌め込むことにより、案内画面９９０を表示させるための情報を生成する。
【０１０８】
［変形例等］
以上説明した第１〜第３の実施の形態では、被写体側に設けられたマイクロフォン（メインマイク１８１）と、撮影者側に設けられたマイクロフォン（サブマイク２１１）とが、つまり、複数のマイクロフォンが設けられていた。そして、後者のマイクロフォンによる集音があったタイミングに対応して、合成映像が生成されたり、サブカメラの映像が合成映像として表示されるための情報が登録されたりした。
【０１０９】
なお、複数箇所にマイクロフォンを設ける代わりに、図１４に示すように、被写体側と撮影者側の双方の音声を集音するマイクロフォン２１１Ａが設けられ、当該マイクロフォン２１１Ａに入力される音声の中で、撮影者から発せられた音声を集音したと判断されたタイミングに対応して、上記合成映像の生成や情報の登録がなされてもよい。このようなマイクロフォン２１１Ａは、たとえば、被写体側に指向性を有するマイクロフォンと撮影者側に指向性を有するマイクロフォンとが組み合わされて構成されることにより実現される。
【０１１０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。また、各実施の形態で説明された技術的思想は、単独で実施されても良いし、可能な限り組み合わされて実施されることも意図される。
【符号の説明】
【０１１１】
１００，１００Ａ 撮像装置、１１０ 制御部、１２０ 記憶部、１２１ メモリカード、１２２，１２４ 映像バッファ、１２３ 書込バッファ、１３０ 操作部、１３２ 電源ボタン、１４０ 表示部、１６０，２３０ 撮像素子制御部、１６１，２３１ 撮像素子、１７０，２４０ 映像処理部、１７１，２４１ ＡＤ変換部、１８０，２１０ 音声処理部、１８１ メインマイク、１８２ スピーカ、１９０，２５０ 圧縮伸長処理部、２１１ サブマイク。
【特許請求の範囲】
【請求項１】
第１被写体を撮像する第１撮像手段と、
第２被写体を撮像する第２撮像手段と、
前記第１被写体側から発せられる音声を集音する集音手段と、
前記集音手段に音声が集音されたことに起因して、前記第１撮像手段によって撮像された映像と前記第２撮像手段によって撮像された映像とを合成する態様で記録媒体に記録する記録手段とを備える、撮像装置。
【請求項２】
前記集音手段は、前記第１被写体に対向する向きで保持可能なマイクロフォンを含み、
前記記録手段は、前記マイクロフォンによって前記第１被写体からの音声が集音されたことに起因して前記第１撮像手段によって撮像された映像を前記第２撮像手段によって撮像された映像に合成する態様で、前記記録媒体に記録する、請求項１に記載の撮像装置。
【請求項３】
前記第１撮像手段によって撮像された映像と前記第２撮像手段によって撮像された映像とが合成された映像を表示する表示手段をさらに備える、請求項１または請求項２に記載の撮像装置。
【請求項４】
前記記録手段は、前記集音手段が前記第１被写体から発せられる音声を集音した時点から、前記第１撮像手段によって撮像された映像を前記第２撮像手段によって撮像された映像に合成する態様での記録を開始する、請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項５】
前記記録手段は、前記集音手段が前記第１被写体から発せられる音声を集音した時点より一定時間前から、前記第１撮像手段によって撮像された映像を前記第２撮像手段によって撮像された映像に合成する態様での記録を開始する、請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項６】
前記記録手段は、前記集音手段が前記第１被写体から発せられる音声を集音した時点から所定時間が経過したときに、前記第１撮像手段によって撮像された映像を前記第２撮像手段によって撮像された映像に合成する態様での記録を停止する、請求項１〜請求項５のいずれかに記載の撮像装置。
【請求項７】
第１被写体を撮像する第１撮像手段と、
前記第１撮像手段によって撮像された第１映像を記録媒体に記録する第１記録手段と、
第２被写体を撮像する第２撮像手段と、
前記第２撮像手段によって撮像された第２映像を記録媒体に記録する第２記録手段と、
前記第１被写体側から発せられる音声を集音する集音手段と、
前記集音手段によって音声が集音されたことに起因して、前記第１映像と前記第２映像を合成する態様で再生するための情報を記録する第３記録手段と、
前記情報に基づいて前記第１映像と前記第２映像を合成する態様で再生する再生手段とを備える、撮像装置。
【請求項８】
第１被写体を撮像する第１撮像手段と、第２被写体を撮像する第２撮像手段と、前記第１被写体側から発せられる音声を集音する集音手段とを備えた撮像装置の制御方法であって、
前記集音手段が音声を集音したか否かを判断するステップと、
前記集音手段が音声を集音したと判断した場合に、前記第１撮像手段によって撮像された映像と前記第２撮像手段によって撮像された映像とを合成する態様で記録媒体に記録するステップとを備える、撮像装置の制御方法。
【請求項９】
第１被写体を撮像する第１撮像手段と、第２被写体を撮像する第２撮像手段と、前記第１被写体側から発せられる音声を集音する集音手段とを備えた撮像装置の制御方法であって、
前記第１撮像手段によって撮像された第１映像を記録媒体に記録するステップと、
前記第２撮像手段によって撮像された第２映像を記録媒体に記録するステップと、
前記集音手段によって音声が集音されたことに起因して、前記第１映像と前記第２映像を合成する態様で再生するための情報を記録するステップと、
前記情報に基づいて前記第１映像と前記第２映像を合成する態様で再生するステップとを備える、撮像装置の制御方法。
【請求項１】
第１被写体を撮像する第１撮像手段と、
第２被写体を撮像する第２撮像手段と、
前記第１被写体側から発せられる音声を集音する集音手段と、
前記集音手段に音声が集音されたことに起因して、前記第１撮像手段によって撮像された映像と前記第２撮像手段によって撮像された映像とを合成する態様で記録媒体に記録する記録手段とを備える、撮像装置。
【請求項２】
前記集音手段は、前記第１被写体に対向する向きで保持可能なマイクロフォンを含み、
前記記録手段は、前記マイクロフォンによって前記第１被写体からの音声が集音されたことに起因して前記第１撮像手段によって撮像された映像を前記第２撮像手段によって撮像された映像に合成する態様で、前記記録媒体に記録する、請求項１に記載の撮像装置。
【請求項３】
前記第１撮像手段によって撮像された映像と前記第２撮像手段によって撮像された映像とが合成された映像を表示する表示手段をさらに備える、請求項１または請求項２に記載の撮像装置。
【請求項４】
前記記録手段は、前記集音手段が前記第１被写体から発せられる音声を集音した時点から、前記第１撮像手段によって撮像された映像を前記第２撮像手段によって撮像された映像に合成する態様での記録を開始する、請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項５】
前記記録手段は、前記集音手段が前記第１被写体から発せられる音声を集音した時点より一定時間前から、前記第１撮像手段によって撮像された映像を前記第２撮像手段によって撮像された映像に合成する態様での記録を開始する、請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項６】
前記記録手段は、前記集音手段が前記第１被写体から発せられる音声を集音した時点から所定時間が経過したときに、前記第１撮像手段によって撮像された映像を前記第２撮像手段によって撮像された映像に合成する態様での記録を停止する、請求項１〜請求項５のいずれかに記載の撮像装置。
【請求項７】
第１被写体を撮像する第１撮像手段と、
前記第１撮像手段によって撮像された第１映像を記録媒体に記録する第１記録手段と、
第２被写体を撮像する第２撮像手段と、
前記第２撮像手段によって撮像された第２映像を記録媒体に記録する第２記録手段と、
前記第１被写体側から発せられる音声を集音する集音手段と、
前記集音手段によって音声が集音されたことに起因して、前記第１映像と前記第２映像を合成する態様で再生するための情報を記録する第３記録手段と、
前記情報に基づいて前記第１映像と前記第２映像を合成する態様で再生する再生手段とを備える、撮像装置。
【請求項８】
第１被写体を撮像する第１撮像手段と、第２被写体を撮像する第２撮像手段と、前記第１被写体側から発せられる音声を集音する集音手段とを備えた撮像装置の制御方法であって、
前記集音手段が音声を集音したか否かを判断するステップと、
前記集音手段が音声を集音したと判断した場合に、前記第１撮像手段によって撮像された映像と前記第２撮像手段によって撮像された映像とを合成する態様で記録媒体に記録するステップとを備える、撮像装置の制御方法。
【請求項９】
第１被写体を撮像する第１撮像手段と、第２被写体を撮像する第２撮像手段と、前記第１被写体側から発せられる音声を集音する集音手段とを備えた撮像装置の制御方法であって、
前記第１撮像手段によって撮像された第１映像を記録媒体に記録するステップと、
前記第２撮像手段によって撮像された第２映像を記録媒体に記録するステップと、
前記集音手段によって音声が集音されたことに起因して、前記第１映像と前記第２映像を合成する態様で再生するための情報を記録するステップと、
前記情報に基づいて前記第１映像と前記第２映像を合成する態様で再生するステップとを備える、撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−２５０３４０（Ｐ２０１１−２５０３４０Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２３９１７（Ｐ２０１０−１２３９１７）
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]