撮影装置、プログラム、及び撮影方法
【課題】再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することを可能にする新たな技術を提供する。
【解決手段】映像信号を出力する撮像手段１１と、映像信号が記録される記録手段１６とを備えた撮影装置において、撮像手段により得られる第１の映像に係る第１の映像信号、及び外部から供給される第２の映像に係る第２の映像信号に基づき、所定の映像信号の記録を記録手段に対して行うとともに、該記録手段に対して行われた映像信号の記録に基づき、第１映像及び第２映像の合成映像に係る第３の映像信号を出力する制御手段１７とを設ける。
【解決手段】映像信号を出力する撮像手段１１と、映像信号が記録される記録手段１６とを備えた撮影装置において、撮像手段により得られる第１の映像に係る第１の映像信号、及び外部から供給される第２の映像に係る第２の映像信号に基づき、所定の映像信号の記録を記録手段に対して行うとともに、該記録手段に対して行われた映像信号の記録に基づき、第１映像及び第２映像の合成映像に係る第３の映像信号を出力する制御手段１７とを設ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段を有する撮影装置、該装置における制御手段としてコンピュータを機能させるプログラム、及び該装置における撮影方法に関する。
【背景技術】
【０００２】
従来、テレビ等の表示装置に自分を映し出す方法として、たとえばテレビ電話システムが知られている（たとえば特許文献１参照）。このシステムにおいては、話者のそれぞれがテレビジヨンカメラ及びディスプレイを有し、テレビジヨンカメラで撮影した画像情報を相手側のディスプレイ上に表示することができる。その際、自らのテレビジヨンカメラの撮影方向を制御するとともに、相手側のテレビジヨンカメラの撮影方向をも制御することができるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１１１８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、再生中の映像コンテンツを視聴しながら動作する自身の映像を、後で該映像コンテンツにおける動作と比較して見てみたいと思う場合がある。たとえば、ダンスやヨガ等の教則ビデオを視聴しながら、その教則ビデオの動作と同じ動作を試みた後、自身の動作と教則ビデオの動作とを比較してうまくいっているかどうかを確かめたり、不都合な部分を発見したりして、ダンスやヨガ等の上達に役立てることができれば好都合である。また身体を動かすテレビゲームの場合においても、同様にゲーム画面の進行と自分の動きを同時に記録しておき、その後、その記録を再生して双方の動きを比較し、ゲームの上達に役立てることができれば好都合である。
【０００５】
しかしながら、自身を映し出す装置としては、上述のテレビ電話システムやＴＶカメラが知られているが、これらは、自身が視聴している映像コンテンツと、視聴しながら行っている自身の動作とを、事後、容易に比較検討することを可能とするものではない。またこのような比較検討を容易に行うことを可能にするような簡便な装置は知られていない。
【０００６】
そこで本発明の目的は、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することを可能にする新たな技術を提供することにある。
【課題を解決するための手段】
【０００７】
この目的を達成するため、第１の発明に係る撮影装置は、映像信号を出力する撮像手段と、映像信号が記録される記録手段と、前記撮像手段により得られる第１の映像に係る第１の映像信号、及び外部から供給される第２の映像に係る第２の映像信号に基づき、所定の映像信号の記録を前記記録手段に対して行うとともに、該記録手段に対して行われた映像信号の記録に基づき、前記第１映像及び第２映像の合成映像に係る第３の映像信号を出力する制御手段とを具備することを特徴とする。
【０００８】
第２の発明に係る撮影装置は、第１発明において、前記所定の映像信号は、基礎となる前記第１映像信号及び第２映像信号を、前記合成映像の映像信号となるように合成した信号であることを特徴とする。
【０００９】
第３の発明に係る撮影装置は、第１発明において、前記所定の映像信号の記録は、前記第１映像信号の記録、前記第２映像信号の記録、及びこれらの記録の少なくとも一方に付随させて記録され、これらの記録が相互に対応するものであることを示す対応情報の記録であることを特徴とする。
【００１０】
第４の発明に係る撮影装置は、第３発明において、前記制御手段は、前記第１映像信号の記録又は第２映像信号の記録を再生する旨の指示が与えられたとき、該記録に基づく映像信号と、前記対応情報により示される対応する記録に基づく映像信号とを、前記第３映像信号として出力するものであることを特徴とする。
【００１１】
第５の発明に係る撮影装置は、第１〜第４のいずれかの発明において、前記第３映像信号に基づき、前記合成映像を表示する表示手段を有することを特徴とする。
【００１２】
第６の発明に係る撮影装置は、第１〜第５のいずれかの発明において、前記合成映像に関する設定を受け入れる入力手段を備え、前記設定には、前記合成映像において前記第１映像若しくは第２映像の部分を鏡像反転させるかどうかの設定が含まれることを特徴とする。
【００１３】
第７の発明に係る撮影装置は、第６発明において、前記設定には、前記撮像手段における撮像素子の使用領域の設定が含まれることを特徴とする。
【００１４】
第８の発明に係る撮影装置は、第６又は第７発明において、前記設定には、前記合成映像をピクチャ・イン・ピクチャ又は２画面表示のいずれの映像とするかの設定、又は前記合成映像における前記第１映像の部分若しくは前記第２映像の部分のアスペクト比の設定が含まれることを特徴とする。
【００１５】
第９の発明に係る撮影装置は、第１〜第８のいずれかの発明において、前記制御手段は、前記記録手段に対する映像信号の記録に際し、前記第２映像信号とともに供給される音声信号又は装置が備えるマイクからの音声信号を記録し、記録した音声信号を、前記第３映像信号の出力に際し、該信号とともに出力するものであることを特徴とする。
【００１６】
第１０の発明に係るプログラムは、コンピュータを、第１〜第９のいずれかの発明に係る撮影装置における制御手段として機能させることを特徴とする。
【００１７】
第１１の発明に係る撮影方法は、映像信号を出力する撮像手段と、映像信号が記録される記録手段とを備えた撮影装置における撮影方法であって、前記撮像手段により得られる第１の映像に係る第１の映像信号、及び外部から供給される第２の映像に係る第２の映像信号に基づき、所定の映像信号の記録を前記記録手段に対して行うとともに、該記録手段に対して行われた映像信号の記録に基づき、前記第１映像及び第２映像の合成映像に係る第３の映像信号を出力する制御工程を具備することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することを可能にする新たな技術を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係るＡＶシステムを示す図である。
【図２】図１のシステムにおける撮像装置の構成を示すブロック図である。
【図３】図２の撮像装置における記録処理を示すフローチャートである。
【図４】図３の一部の処理の詳細を示すフローチャートである。
【図５】図１のシステムにおける撮像装置の別の実施形態に係る構成を示すブロック図である。
【図６】図５の撮像装置における記録処理を示すフローチャートである。
【図７】図６の記録処理によって記録されたファイルを再生する再生処理を示すフローチャートである。
【図８】図３及び図４の処理によって記録されたファイルに基づいて再生される映像の一例を示す図である。
【図９】図７の再生処理によって再生される映像の一例を示す図である。
【発明を実施するための形態】
【００２０】
図１は、本発明の一実施形態に係るＡＶシステムを示す。このシステムは撮影に使用する撮像装置１、撮像装置１に接続されたＡＶ装置２を備える。ＡＶ装置２は、コンテンツの再生映像の表示や再生音の出力を行うと同時に、表示中の映像及び出力中の音声に係る映像信号及び音声信号を撮像装置１に出力する機能を備える。撮像装置１としてはたとえばビデオカメラが該当する。ＡＶ装置２としてはたとえば、テレビジョンセットや、ＡＶパソコン、ゲーム機が該当する。ＡＶ装置２により再生されるコンテンツとしては、無線又は有線の放送により提供される放送コンテンツや、ネットワークを介して配信されるコンテンツ、ＤＶＤ等に記録されたコンテンツなどが該当する。撮像装置１は撮影機能を備えるとともに、ＡＶ装置２から供給される映像信号及び音声信号の記録を撮影と同時に行う機能を備える。
【００２１】
図１においては、ユーザ３がＡＶ装置２において再生されているコンテンツを視聴しながら、コンテンツの映像及び音声に合わせて運動をしている様子を撮像装置１により撮影している状況が示されている。撮像装置１は、ユーザ３を撮影すると同時に、ＡＶ装置２から供給される映像信号及び音声信号を記録している。
【００２２】
図２は撮像装置１の構成を示すブロック図である。同図に示すように、撮像装置１は、装置の撮影範囲に存在する物体からの光に基づいて結像を行い、その像を映像信号に変換する撮像部１１、装置の周囲の音声を音声信号に変換するマイク部１２、テレビやゲーム機等の外部ソースからの映像信号の入力を受け入れる映像信号入力部１３、外部ソースからの音声信号の入力を受け入れる音声信号入力部１４、各種操作入力を受け入れるためのユーザインタフェースを構成する操作入力部１５、記録データを格納する記録部１６、装置各部の制御を行う制御部１７、各種の表示を行う表示部１８、記録又は再生中の音声信号に基づいて音声の出力を行うスピーカ部１９、記録又は再生中の映像信号を外部に出力する映像信号出力部２０、及び記録又は再生中の音声信号を外部に出力する音声信号出力部２１を備える。
【００２３】
操作入力部１５が受け入れる各種操作入力としては、たとえば、撮像部１１による撮影や、映像信号入力部１３や音声信号入力部１４からの信号に基づく記録部１６への記録、映像信号入力部１３及び撮像部１１からの映像信号の合成、記録部１６における記録内容の再生処理や編集処理に関するものが該当する。記録部１６に記録される信号としてはたとえば、撮像部１１や、マイク部１２、映像信号入力部１３、音声信号入力部１４からの信号や、これらの信号を操作入力部１５からの指示に基づいて合成したものが該当する。記録部１６としては、典型的にはハードディスクやメモリーカード等を用いることができるが、ＤＶＤやＢＤ（ブルーレイディスク）等のディスクメディアであってもよい。制御部１７は、操作入力部１５における操作入力に従い、記録部１６への記録処理や、記録部１６の記録内容に基づく再生処理や、撮影モード等に関する各種の設定処理を行う。表示部１８は、操作入力に基づく制御部１７からの指令に応じ、再生映像や記録中の映像の表示、設定画面の表示等の各種表示を行う。スピーカ部１９は、再生音の出力を行う。
【００２４】
図３は撮像装置１における記録処理を示すフローチャートである。この処理は、制御部１７により、所定のプログラムに従って行われ、ユーザの操作入力による所定の記録指示に基づいて開始される。記録処理を開始すると、制御部１７は、まず、ステップＳ３１において、撮像部１１からの映像信号と、映像信号入力部１３を介して入力される映像信号とを同時に記録する要求が、記録指示においてなされているかどうかを判定する。要求がなされていると判定した場合には、ステップＳ３２において、映像信号入力部１３からの映像信号に、コピーを禁止する旨を示す信号が含まれているか否かを判定する。含まれていないと判定した場合には、ステップＳ３３において、撮像部１１からの映像信号及びマイク部１２からの音声信号、並びに映像信号入力部１３からの映像信号及び音声信号入力部１４からの音声信号に基づき、これらの信号を合成しながら、記録部１６への記録を行う。これにより、図３の処理が終了する。
【００２５】
一方、ステップＳ３１において同時に記録する要求がなされていないと判定した場合には、ステップＳ３４へ進み、通常のビデオカメラの場合と同様に、撮像部１１からの映像信号及びマイク部１２からの音声信号に基づく記録を行い、図３の処理を終了する。また、ステップＳ３２においてコピー禁止の信号が含まれていると判定した場合には、ステップＳ３５へ進み、コピー禁止である旨を示す表示や音声の出力を行い、図３の処理を終了する。
【００２６】
図４は図３のステップＳ３３の処理を示すフローチャートである。この処理では、ユーザが設定する合成方法に従って、撮像部１１からの映像信号及びマイク部１２からの音声信号、並びに映像信号入力部１３からの映像信号及び音声信号入力部１４からの音声信号を合成し、１つの動画ファイルとして記録する。
【００２７】
すなわち、処理を開始すると、まずステップＳ４１において、ユーザの操作入力による合成方法の設定を受け入れる。この設定においては、映像信号入力部１３及び音声信号入力部１４からの信号と、撮像部１１及びマイク部１２からの信号とをどのようにして合成するかが設定される。設定事項としては、たとえば、映像信号入力部１３からの映像信号による映像及び撮像部１１からの映像信号による映像の配置に関する設定、撮像部１１による撮像エリアに関する設定、撮像部１１からの映像信号について撮像部１１からの映像信号について鏡に写ったような映像変換を行う処理（以下、反転処理又は鏡像変換処理と呼ぶ）を行うか否かの設定、音声信号入力部１４からの音声信号及びマイク部１２からの音声信号のうち記録する音声信号及びその記録形態に関する設定が該当する。
【００２８】
映像の配置に関する設定としては、たとえば、従来のピクチャ・イン・ピクチャや２画面表示といった表示形式に対応した画面配置形式の設定や、その場合におけるどちらの画面にどちらの映像を割り当てるかの設定や各画面のアスペクト比の設定が該当する。記録する音声信号及びその記録形態に関する設定としては、たとえば、音声信号入力部１４からの主・副音声信号のうちの双方又は一方のみを記録するかどうか、マイク部１２からの音声信号を記録するかどうか等に関する設定や、記録する各音声信号を主・副音声として記録するかどうか、どの音声信号をどのチャンネルの音声信号として記録するかどうか等に関する設定が該当する。各設定事項については、ユーザによる設定がなされない場合には、デフォルトの設定や、前回の設定が採用される。
【００２９】
撮像部１１による撮像エリアに関する設定は、画面配置形式の設定内容やアスペクト比の設定内容に応じ、予め定められた方法で行うようにしてもよい。たとえば、画面配置形式として２画面表示に対応した形式が設定され、設定映像信号入力部１３からの映像信号の映像を表示する画面のアスペクト比がデフォルトのままとされた場合には、撮像エリアを８：９のエリアに設定するようにしてもよい。なお、撮像エリアの設定とは、撮像部１１の撮像素子において使用する撮像エリアの設定を意味する。つまり、たとえば、２画面表示を行うために、撮像素子の全撮像エリア（全画素）を用いて１６：９で撮像して得た映像信号を縮小やトリミングして８：９の映像信号を得るのではなく、撮像素子における最大の８：９の撮像エリアにより撮影を行い、そのままの解像度により記録を行うことを意味する。
【００３０】
次に、ステップＳ４２において、設定された合成方法に応じ、撮像エリアを変更するか否かを判定する。変更すると判定した場合には、ステップＳ４３において、撮像エリアの変更を行うとともに、変更後の撮像部１１により撮影される映像を表示し、ステップＳ４４へ進む。ユーザはこの表示を参照し、撮像装置１を被写体に向けることができる。ステップＳ４２において撮像エリアの変更を要しないと判定した場合にはそのままステップＳ４４へ進む。
【００３１】
ステップＳ４４では、設定された合成方法に合致するように、映像信号入力部１３からの映像信号及び／又は撮像部１１からの映像信号のアスペクト比を変更する必要があるか否かを判定する。変更を要すると判定した場合には、ステップＳ４５においてアスペクト比の変更を行い、変更後の映像信号入力部１３からの映像信号及び/又は撮像部１１からの映像信号に基づく表示を行い、ステップＳ４６へ進む。アスペクト比の変更を要しないと判定した場合には、そのままステップＳ４６へ進む。
【００３２】
ステップＳ４６では、設定された合成方法に合致するように、撮像部１１からの映像信号について反転処理を行うかどうかを判定する。反転処理を行うと判定した場合には、ステップＳ４７において、撮影部１１からの映像信号について反転処理を開始し、反転処理された映像信号に基づく映像の表示を行い、ステップＳ４８に進む。反転処理は行わないと判定した場合には、そのままステップＳ４８に進む。
【００３３】
ステップＳ４８では、映像信号入力部１３及び撮像部１１からの映像信号を、設定された合成方法により合成した信号に基づく映像の表示を行うとともに、ユーザからの記録指示を待って、該合成信号を、音声に関する設定内容に従い、音声信号入力部１４又はマイク部１２からの音声信号とともに記録する。これにより図４の処理が完了する。なお、映像信号の合成は、たとえば、所定のメモリ領域を用い、両映像信号の各時点での映像フレーム毎に、設定された合成方法に従い、両フレームのデータに基づいて該メモリ領域に書込みを行い、該メモリ領域から１フレームの映像信号として読み出すことにより行うことができる。
【００３４】
図８は図３及び図４の処理によって記録されたファイルに基づいて再生される映像の一例を示す。図中の８１は撮像部１１により撮影された部分に対応する映像部分であり、８２は映像信号入力部１３からの映像信号に対応する映像部分である。つまり、図８においては、画面配置形式が２画面表示に対応した形式に設定され、撮像部１１における撮像エリアが８：９に設定され、かつ撮像部１１からの映像信号を鏡像反転するように設定されて記録が行われたファイルについての再生映像が示されている。映像部分８２は、デフォルトのアスペクト比に従い、縮小されている。映像部分８１は鏡像反転されている。映像部分８１により、ユーザは、鏡に映った自分を見ている場合と同じ向きで自分の映像を見ることができる。
【００３５】
本実施形態によれば、映像信号入力部１３及び音声信号入力部１４からの映像信号及び音声信号と、撮像部１１及びマイク部１２からの映像信号及び音声信号とを合成して記録できるようにしたため、たとえば、ＡＶ装置２により表示している映像とともに、それを視聴している状況も併せて記録することができる。たとえば、ダンスやヨガ、ゲームのコンテンツを観ながらそれらに対応する動作をしているユーザの映像や音声を、コンテンツのデータと合成して記録することができる。また、記録を開始するときに表示される映像（ステップＳ４３及びＳ４５）により示される合成方法の設定結果に合わせて、撮像部１１における撮像エリアを変更するようにしているため、撮像部１１により撮影される映像部分８１のアスペクト比を所定のアスペクト比（１６：９や４：３）に固定すること無く、かつ解像度の劣化を極力抑えて、合成映像の記録を行うことができる。したがって、ユーザは、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することができる。
【００３６】
図５は撮像装置１の別の実施形態に係る構成を示すブロック図である。図５中の図２の場合と符号が同一の要素は、図２の場合と同様の要素を示す。つまり、ブロック図としては、記録部１６を第１の記録部１６ａ及び第２の記録部１６ｂの２つの記録部により構成されるものとした以外は図２の場合と同様である。上述図２の撮像装置１においては、映像信号入力部１３及び撮像部１１からの信号を合成して記録するようにしているが、図５の撮像装置１においては、それぞれの信号を別個に記録し、再生を行う際に合成するようにしている。
【００３７】
すなわち、撮像部１１からの映像信号及びマイク部１２からの音声信号に基づく記録を第１の記録部１６ａに対して行い、映像信号入力部１３からの映像信号及び音声信号入力部１４からの音声信号に基づく記録は第２の記録部１６ｂに対して行うようにしている。また、第１の記録部１６ａ及び第２の記録部１６ｂに対する記録を同時に行う場合には、それぞれの記録により生成されるファイルに付随させて、同時に記録される他方のファイルを特定する情報が、対応ファイル特定情報として記録される。再生時には、再生するファイルの指示とともに対応ファイルを同時に再生する指示がなされた場合には、ユーザにより設定される合成方法に従った合成映像となるように、再生するファイル及び対応するファイルの映像信号が１つの映像信号に合成され、映像信号出力部２０を介してＡＶ装置２に出力される。該合成された映像信号に基づいて表示部１８により表示を行うようにしてもよい。また、これと同時に、両ファイルに基づく音声信号のうちの指示されたものが音声信号出力部２１を介してＡＶ装置２に出力され、又はスピーカ部１９により音声に変換される。
【００３８】
なお、表示部１８により表示を行う場合には、再生するファイル及び対応するファイルの映像信号を１つの映像信号に合成する代わりに、各映像信号に基づき、設定される合成方法に従った合成映像となるように、表示部１８のビデオメモリ上に書込みを行うようにしてもよい。また、ＡＶ装置２がピクチャ・イン・ピクチャ表示や、２画面表示に対応するものである場合には、各画面に対応した信号として、再生するファイル及び対応するファイルの映像信号をＡＶ装置２に供給し、ＡＶ装置２において、合成した映像の表示を、ユーザによる合成方法の設定に従い、行うようにしてもよい。
【００３９】
合成方法の設定に際しては、再生するファイル及び対応するファイルに基づく映像信号をどのようにして合成し、及び各ファイルに基づく音声信号のうちのどれを出力するかが設定される。設定事項としては、たとえば、各ファイルに基づく映像の表示位置に関する設定、各ファイルのうち第１の記録部１６ａに記録されているファイル（撮像部１１により撮影された映像のファイル）に基づく映像信号について反転処理（ミラー又は鏡像変換処理）を行うか否かの設定、音声信号入力部１４からの音声信号及びマイク部１２からの音声信号のうちのどれを出力するかに関する設定が該当する。
【００４０】
映像の表示位置に関する設定としては、たとえば、従来のピクチャ・イン・ピクチャや２画面表示といった表示形式の設定や、その場合におけるどちらの画面にどちらの映像を割り当てるかの設定や、各画面のアスペクト比の設定が該当する。出力する音声信号に関する設定としては、たとえば、再生するファイル又は対応するファイルのうちの第２の記録部１６ｂに記録されている方のファイルにおける主・副音声信号のうちの双方又は一方のみを出力するかどうかの設定や、第１の記録部１６ａに記録されている方のファイルからの音声信号（マイク部１２により記録した音声）を出力するかどうかに関する設定が該当する。各設定事項については、ユーザによる設定がなされない場合には、デフォルトの設定や、前回の設定が採用される。
【００４１】
図６は図５の撮像装置における記録処理を示すフローチャートである。この処理は、上述の第１の記録部１６ａ及び第２の記録部１６ｂに対する記録を行う処理であり、所定のプログラムに従い、制御部１７によって行われる。すなわち、ユーザからの記録指示に応じて処理を開始すると、ステップＳ６１において、撮像部１１により撮影して得られる映像信号と、映像信号入力部１３からの映像信号とを同時に記録する要求が記録指示においてなされているかどうかを判定する。要求がなされていると判定した場合には、ステップＳ６２において、映像信号入力部１３からの映像信号においてコピーを禁止する旨を示すコピー禁止信号が含まれているか否かを判定する。
【００４２】
コピー禁止信号が含まれていないと判定した場合には、ステップＳ６３において、撮像部１１からの映像信号に基づく記録を第１の記録部１６ａに対して行うとともに、これと同時に、映像信号入力部１３からの映像信号に基づく記録を第２の記録部１６ｂに対して行う。この記録により生成される各ファイルに付随させて、他方のファイルを特定する対応ファイル特定情報を、記録の終了時に記録する。対応ファイル特定情報は、たとえばメタデータやタグ情報として記録される。対応ファイル特定情報としては、たとえば対応するファイルのファイル名や記録日時、記録位置等に関する情報が該当する。これにより図６の処理が完了する。
【００４３】
ステップＳ６１において同時記録の要求がなされていないと判定した場合には、ステップＳ６４において、通常のビデオカメラの場合と同様に、撮像部１１からの映像信号及びマイク部１２からの音声信号に基づく記録を第１の記録部１６ａに対して行い、図６の処理を終了する。また、ステップＳ６２においてコピー禁止信号が含まれていると判定した場合には、ステップＳ６５において、映像信号入力部１３からの映像信号に係るコンテンツはコピー禁止である旨の表示や音声の出力を行い、記録処理を終了する。
【００４４】
図７は図６の記録処理によって記録されたファイルを再生する再生処理を示すフローチャートである。この処理は、所定のプログラムに従い、制御部１７によって行われる。すなわち、ユーザからの再生指示に応じて処理を開始すると、ステップＳ７１において、再生指示において再生対象として指示されたファイルに上述の対応ファイル特定情報が記録されているかどうかを判定する。記録されていると判定した場合には、ステップＳ７２において、該対応ファイル特定情報により特定される対応ファイルが第１の記録部１６ａ又は第２の記録部１６ｂにおいて実際に存在するかどうかを判定する。
【００４５】
対応ファイルが存在しない場合としては、たとえば、再生指示がなされたファイルの記録時に、第１の記録部１６ａ又は第２の記録部１６ｂとしてＳＤカードのような記録媒体が用いられたが、現在はその記録媒体が撮像装置１内に存在しない場合や、対応ファイルが既に消去されている場合が該当する。なお、再生指示がなされたファイルがＳＤカードのような可搬型記録媒体に存在する場合は、そのファイルの対応ファイル特定情報が他の機器において上書きされることにより、撮像装置１にはその対応ファイル特定情報により特定される対応ファイルが存在しない場合もあり得る。
【００４６】
ステップＳ７２において対応ファイルが存在すると判定した場合には、ステップＳ７３において、対応ファイルを同時に再生する旨のユーザ指示があったかどうかを判定する。該指示があったと判定した場合には、ステップＳ７４において、各ファイルを同時に再生する場合の合成方法の設定を受け入れる。設定事項に関しては上述したとおりである。
【００４７】
次に、ステップＳ７５において、再生するファイル及び対応するファイルのうち、第１の記録部１６ａのファイルに基づく映像（撮像部１１で撮影した映像）の反転処理（ミラー又は鏡像変換処理）を行うか否かを、上述ステップＳ７４における設定内容に基づいて判定する。反転処理を行うと判定した場合には、ステップＳ７６において、第１の記録部１６ａのファイルに基づく映像については反転処理を行うように設定し、ステップＳ７７へ進む。反転処理を行わないと判定した場合には、そのままステップＳ７７へ進む。
【００４８】
ステップＳ７７では、再生対象として指示されたファイル及びこれに対応するファイルに基づき、ステップＳ７４における設定に従い、合成した映像信号及び出力すべき音声信号を映像信号出力部２０及び音声信号出力部２１を介してＡＶ装置２に出力する。あるいは、該合成した映像信号及び出力すべき音声信号に基づき、表示部１８により表示を行い及びスピーカ部１９により音声の出力を行う。これにより図７の処理が完了する。ＡＶ装置２に出力される映像信号及び音声信号は、ＡＶ出力装置２における映像及び音声の出力に供されることになる。
【００４９】
なお、ステップＳ７７における再生対象とされたファイル及び対応ファイルに基づく映像信号の合成は、たとえば、所定のメモリ領域を用い、両映像信号の各時点での映像フレーム毎に、設定された合成方法に従い、両フレームのデータに基づいて該メモリ領域に書込みを行い、該メモリ領域から１フレームの映像信号として読み出すことにより行うことができる。その際、両映像信号の映像フレーム間の時間的関係は、両映像信号が記録されたときの時間的関係と同一である必要がある。この時間的関係の同一性が確保されるように合成時に両映像信号の映像フレーム間のタイミングを合わせるためには、再生対象とされたファイルに対応ファイル特定情報を記録する際に（図６のステップＳ６３）対応ファイル特定情報中にタイミングを合わせるための情報を含めておき、このタイミング情報を合成時に参照する必要がある。タイミング情報としては、たとえば、再生対象とされたファイルの映像信号の最初の映像フレームに対応する、対応ファイルの映像フレームに付されたタイムスタンプを用いることができる。両映像信号の合成に際しては、該タイムスタンプが示す時刻の対応ファイルの映像フレームと、再生対象とされたファイルの最初の映像フレームとを対応付けて合成を開始することにより、両映像信号のタイミングを合わせた合成を行うことができる。あるいは、図６のステップＳ６３における第１の記録部１６ａ及び第２の記録部１６ｂへの記録を同時に開始し、両記録の合成に際しては、最初の映像フレーム同士を対応付けて合成を開始することにより、両映像信号のタイミングを合わせた合成を行うようにしてもよい。なお、再生対象とされたファイル及び対応するファイルの映像信号をＡＶ装置２に供給し、ＡＶ装置２において、合成した映像の表示を行うよう場合にも、両映像信号のタイミングを同様にして一致させる必要がある。
【００５０】
一方、ステップＳ７１において対応ファイル特定情報が記録されていないと判定した場合、及びステップＳ７３において対応ファイルを同時に再生する旨のユーザ指示がなかったと判定した場合には、ステップＳ７９に進む。ステップＳ７２において対応ファイルが存在しないと判定した場合には、その旨を表示部１８において表示してからステップＳ７９に進む。ステップＳ７９においては、再生対象として指示されたファイルに基づき、映像信号及び音声信号を映像信号出力部２０及び音声信号出力部２１を介してＡＶ出力装置２に出力する。あるいは該ファイルに基づき、表示部１８により表示を行い及びスピーカ部１９により音声の出力を行う。出力される映像信号及び音声信号はＡＶ出力装置２における映像及び音声の出力に供されることになる。これにより図７の処理が完了する。なお、ステップＳ７３において対応ファイルを同時に再生する旨のユーザ指示がなかったと判定した場合には、再生指示がなされたファイルの再生終了後に続けて対応ファイルの再生を行うようにしてもよい。
【００５１】
図９は図７の再生処理によって再生される映像の一例を示す。図中の９１は撮像部１１により撮影して記録部１６ａに記録されたファイルに基づく映像部分、９２は映像信号入力部１３からの映像信号に基づいて記録部１６ｂに記録されたファイルに基づく映像部分である。図９においては、ステップＳ７４において表示形式が２画面表示に設定され、かつ第１の記録部１６ａに記録されているファイルに基づく映像信号について反転処理を行うように設定されている場合の再生映像の様子が示されている。映像部分９１及び９２はデフォルトのアスペクト比に従い、縮小されている。映像部分９１は鏡像反転されているので、ユーザは鏡に映った自分を見ている場合と同じ向きで、映像部分９１内の自分の映像を見ることができる。
【００５２】
本実施形態によれば、映像信号入力部１３及び音声信号入力部１４からの映像信号及び音声信号と、撮像部１１及びマイク部１２からの映像信号及び音声信号とを同時に記録するとともに、記録により生成される各ファイルに付随させて対応ファイル特定情報を記録できるようにしたため、一方のファイルを再生する際には、双方のファイルに基づく映像を合成した画面を表示させることができる。たとえば、ＡＶ装置２によりダンスやヨガ、ゲームのコンテンツを観ながらそれらに対応する動作をしているユーザの映像や音声を、コンテンツのデータと同時に記録し、後で、設定した合成方法により、合成して再生することができる。したがって、ユーザは、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することができる。
【００５３】
なお、本発明は、上述実施形態に限定されることなく適宜変形して実施することができる。たとえば、上述においては、鏡像反転の設定は、撮像部１１からの映像信号又は記録部１６ａに記録されているファイル（撮像部１１により撮影された映像のファイル）に基づく映像信号を対象として行うことができることとしているが、これとは逆に、映像信号入力部１３からの映像信号又は記録部１６ｂに記録されているファイルに基づく映像信号を対象として行うことができるようにしてもよい。この場合には、ユーザの映像は反転せず、ユーザが視聴しているコンテンツの映像の方を反転させて合成映像を再生することができるので、両映像の比較や確認を行いやすい場合がある。
【００５４】
また、上述においては、撮像部１１により得られた映像部分と、映像信号入力部１３からから取得した映像信号に基づく映像部分とをそのままの時間的関係で合成し、あるいはその時間的関係を維持したまま表示するようにしているが、この代わりに、撮像部１１により得られた映像部分を、映像信号入力部１３からから取得した映像信号に基づく映像部分よりもやや遅らせて合成し又は表示するようにしてもよい。
【符号の説明】
【００５５】
１：撮像装置、２：ＡＶ装置、３：ユーザ、１１：撮像部、１２：マイク部、１３：映像信号入力部、１４：音声信号入力部、１５：操作入力部、１６：記録部、１６ａ：第１の記録部、１６ｂ：第２の記録部、１７：制御部、１８：表示部、１９：スピーカ部、２０：映像信号出力部、２１：音声信号出力部、８１，８２，９１，９２：映像部分。
【技術分野】
【０００１】
本発明は、撮像手段を有する撮影装置、該装置における制御手段としてコンピュータを機能させるプログラム、及び該装置における撮影方法に関する。
【背景技術】
【０００２】
従来、テレビ等の表示装置に自分を映し出す方法として、たとえばテレビ電話システムが知られている（たとえば特許文献１参照）。このシステムにおいては、話者のそれぞれがテレビジヨンカメラ及びディスプレイを有し、テレビジヨンカメラで撮影した画像情報を相手側のディスプレイ上に表示することができる。その際、自らのテレビジヨンカメラの撮影方向を制御するとともに、相手側のテレビジヨンカメラの撮影方向をも制御することができるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１１１８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、再生中の映像コンテンツを視聴しながら動作する自身の映像を、後で該映像コンテンツにおける動作と比較して見てみたいと思う場合がある。たとえば、ダンスやヨガ等の教則ビデオを視聴しながら、その教則ビデオの動作と同じ動作を試みた後、自身の動作と教則ビデオの動作とを比較してうまくいっているかどうかを確かめたり、不都合な部分を発見したりして、ダンスやヨガ等の上達に役立てることができれば好都合である。また身体を動かすテレビゲームの場合においても、同様にゲーム画面の進行と自分の動きを同時に記録しておき、その後、その記録を再生して双方の動きを比較し、ゲームの上達に役立てることができれば好都合である。
【０００５】
しかしながら、自身を映し出す装置としては、上述のテレビ電話システムやＴＶカメラが知られているが、これらは、自身が視聴している映像コンテンツと、視聴しながら行っている自身の動作とを、事後、容易に比較検討することを可能とするものではない。またこのような比較検討を容易に行うことを可能にするような簡便な装置は知られていない。
【０００６】
そこで本発明の目的は、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することを可能にする新たな技術を提供することにある。
【課題を解決するための手段】
【０００７】
この目的を達成するため、第１の発明に係る撮影装置は、映像信号を出力する撮像手段と、映像信号が記録される記録手段と、前記撮像手段により得られる第１の映像に係る第１の映像信号、及び外部から供給される第２の映像に係る第２の映像信号に基づき、所定の映像信号の記録を前記記録手段に対して行うとともに、該記録手段に対して行われた映像信号の記録に基づき、前記第１映像及び第２映像の合成映像に係る第３の映像信号を出力する制御手段とを具備することを特徴とする。
【０００８】
第２の発明に係る撮影装置は、第１発明において、前記所定の映像信号は、基礎となる前記第１映像信号及び第２映像信号を、前記合成映像の映像信号となるように合成した信号であることを特徴とする。
【０００９】
第３の発明に係る撮影装置は、第１発明において、前記所定の映像信号の記録は、前記第１映像信号の記録、前記第２映像信号の記録、及びこれらの記録の少なくとも一方に付随させて記録され、これらの記録が相互に対応するものであることを示す対応情報の記録であることを特徴とする。
【００１０】
第４の発明に係る撮影装置は、第３発明において、前記制御手段は、前記第１映像信号の記録又は第２映像信号の記録を再生する旨の指示が与えられたとき、該記録に基づく映像信号と、前記対応情報により示される対応する記録に基づく映像信号とを、前記第３映像信号として出力するものであることを特徴とする。
【００１１】
第５の発明に係る撮影装置は、第１〜第４のいずれかの発明において、前記第３映像信号に基づき、前記合成映像を表示する表示手段を有することを特徴とする。
【００１２】
第６の発明に係る撮影装置は、第１〜第５のいずれかの発明において、前記合成映像に関する設定を受け入れる入力手段を備え、前記設定には、前記合成映像において前記第１映像若しくは第２映像の部分を鏡像反転させるかどうかの設定が含まれることを特徴とする。
【００１３】
第７の発明に係る撮影装置は、第６発明において、前記設定には、前記撮像手段における撮像素子の使用領域の設定が含まれることを特徴とする。
【００１４】
第８の発明に係る撮影装置は、第６又は第７発明において、前記設定には、前記合成映像をピクチャ・イン・ピクチャ又は２画面表示のいずれの映像とするかの設定、又は前記合成映像における前記第１映像の部分若しくは前記第２映像の部分のアスペクト比の設定が含まれることを特徴とする。
【００１５】
第９の発明に係る撮影装置は、第１〜第８のいずれかの発明において、前記制御手段は、前記記録手段に対する映像信号の記録に際し、前記第２映像信号とともに供給される音声信号又は装置が備えるマイクからの音声信号を記録し、記録した音声信号を、前記第３映像信号の出力に際し、該信号とともに出力するものであることを特徴とする。
【００１６】
第１０の発明に係るプログラムは、コンピュータを、第１〜第９のいずれかの発明に係る撮影装置における制御手段として機能させることを特徴とする。
【００１７】
第１１の発明に係る撮影方法は、映像信号を出力する撮像手段と、映像信号が記録される記録手段とを備えた撮影装置における撮影方法であって、前記撮像手段により得られる第１の映像に係る第１の映像信号、及び外部から供給される第２の映像に係る第２の映像信号に基づき、所定の映像信号の記録を前記記録手段に対して行うとともに、該記録手段に対して行われた映像信号の記録に基づき、前記第１映像及び第２映像の合成映像に係る第３の映像信号を出力する制御工程を具備することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することを可能にする新たな技術を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係るＡＶシステムを示す図である。
【図２】図１のシステムにおける撮像装置の構成を示すブロック図である。
【図３】図２の撮像装置における記録処理を示すフローチャートである。
【図４】図３の一部の処理の詳細を示すフローチャートである。
【図５】図１のシステムにおける撮像装置の別の実施形態に係る構成を示すブロック図である。
【図６】図５の撮像装置における記録処理を示すフローチャートである。
【図７】図６の記録処理によって記録されたファイルを再生する再生処理を示すフローチャートである。
【図８】図３及び図４の処理によって記録されたファイルに基づいて再生される映像の一例を示す図である。
【図９】図７の再生処理によって再生される映像の一例を示す図である。
【発明を実施するための形態】
【００２０】
図１は、本発明の一実施形態に係るＡＶシステムを示す。このシステムは撮影に使用する撮像装置１、撮像装置１に接続されたＡＶ装置２を備える。ＡＶ装置２は、コンテンツの再生映像の表示や再生音の出力を行うと同時に、表示中の映像及び出力中の音声に係る映像信号及び音声信号を撮像装置１に出力する機能を備える。撮像装置１としてはたとえばビデオカメラが該当する。ＡＶ装置２としてはたとえば、テレビジョンセットや、ＡＶパソコン、ゲーム機が該当する。ＡＶ装置２により再生されるコンテンツとしては、無線又は有線の放送により提供される放送コンテンツや、ネットワークを介して配信されるコンテンツ、ＤＶＤ等に記録されたコンテンツなどが該当する。撮像装置１は撮影機能を備えるとともに、ＡＶ装置２から供給される映像信号及び音声信号の記録を撮影と同時に行う機能を備える。
【００２１】
図１においては、ユーザ３がＡＶ装置２において再生されているコンテンツを視聴しながら、コンテンツの映像及び音声に合わせて運動をしている様子を撮像装置１により撮影している状況が示されている。撮像装置１は、ユーザ３を撮影すると同時に、ＡＶ装置２から供給される映像信号及び音声信号を記録している。
【００２２】
図２は撮像装置１の構成を示すブロック図である。同図に示すように、撮像装置１は、装置の撮影範囲に存在する物体からの光に基づいて結像を行い、その像を映像信号に変換する撮像部１１、装置の周囲の音声を音声信号に変換するマイク部１２、テレビやゲーム機等の外部ソースからの映像信号の入力を受け入れる映像信号入力部１３、外部ソースからの音声信号の入力を受け入れる音声信号入力部１４、各種操作入力を受け入れるためのユーザインタフェースを構成する操作入力部１５、記録データを格納する記録部１６、装置各部の制御を行う制御部１７、各種の表示を行う表示部１８、記録又は再生中の音声信号に基づいて音声の出力を行うスピーカ部１９、記録又は再生中の映像信号を外部に出力する映像信号出力部２０、及び記録又は再生中の音声信号を外部に出力する音声信号出力部２１を備える。
【００２３】
操作入力部１５が受け入れる各種操作入力としては、たとえば、撮像部１１による撮影や、映像信号入力部１３や音声信号入力部１４からの信号に基づく記録部１６への記録、映像信号入力部１３及び撮像部１１からの映像信号の合成、記録部１６における記録内容の再生処理や編集処理に関するものが該当する。記録部１６に記録される信号としてはたとえば、撮像部１１や、マイク部１２、映像信号入力部１３、音声信号入力部１４からの信号や、これらの信号を操作入力部１５からの指示に基づいて合成したものが該当する。記録部１６としては、典型的にはハードディスクやメモリーカード等を用いることができるが、ＤＶＤやＢＤ（ブルーレイディスク）等のディスクメディアであってもよい。制御部１７は、操作入力部１５における操作入力に従い、記録部１６への記録処理や、記録部１６の記録内容に基づく再生処理や、撮影モード等に関する各種の設定処理を行う。表示部１８は、操作入力に基づく制御部１７からの指令に応じ、再生映像や記録中の映像の表示、設定画面の表示等の各種表示を行う。スピーカ部１９は、再生音の出力を行う。
【００２４】
図３は撮像装置１における記録処理を示すフローチャートである。この処理は、制御部１７により、所定のプログラムに従って行われ、ユーザの操作入力による所定の記録指示に基づいて開始される。記録処理を開始すると、制御部１７は、まず、ステップＳ３１において、撮像部１１からの映像信号と、映像信号入力部１３を介して入力される映像信号とを同時に記録する要求が、記録指示においてなされているかどうかを判定する。要求がなされていると判定した場合には、ステップＳ３２において、映像信号入力部１３からの映像信号に、コピーを禁止する旨を示す信号が含まれているか否かを判定する。含まれていないと判定した場合には、ステップＳ３３において、撮像部１１からの映像信号及びマイク部１２からの音声信号、並びに映像信号入力部１３からの映像信号及び音声信号入力部１４からの音声信号に基づき、これらの信号を合成しながら、記録部１６への記録を行う。これにより、図３の処理が終了する。
【００２５】
一方、ステップＳ３１において同時に記録する要求がなされていないと判定した場合には、ステップＳ３４へ進み、通常のビデオカメラの場合と同様に、撮像部１１からの映像信号及びマイク部１２からの音声信号に基づく記録を行い、図３の処理を終了する。また、ステップＳ３２においてコピー禁止の信号が含まれていると判定した場合には、ステップＳ３５へ進み、コピー禁止である旨を示す表示や音声の出力を行い、図３の処理を終了する。
【００２６】
図４は図３のステップＳ３３の処理を示すフローチャートである。この処理では、ユーザが設定する合成方法に従って、撮像部１１からの映像信号及びマイク部１２からの音声信号、並びに映像信号入力部１３からの映像信号及び音声信号入力部１４からの音声信号を合成し、１つの動画ファイルとして記録する。
【００２７】
すなわち、処理を開始すると、まずステップＳ４１において、ユーザの操作入力による合成方法の設定を受け入れる。この設定においては、映像信号入力部１３及び音声信号入力部１４からの信号と、撮像部１１及びマイク部１２からの信号とをどのようにして合成するかが設定される。設定事項としては、たとえば、映像信号入力部１３からの映像信号による映像及び撮像部１１からの映像信号による映像の配置に関する設定、撮像部１１による撮像エリアに関する設定、撮像部１１からの映像信号について撮像部１１からの映像信号について鏡に写ったような映像変換を行う処理（以下、反転処理又は鏡像変換処理と呼ぶ）を行うか否かの設定、音声信号入力部１４からの音声信号及びマイク部１２からの音声信号のうち記録する音声信号及びその記録形態に関する設定が該当する。
【００２８】
映像の配置に関する設定としては、たとえば、従来のピクチャ・イン・ピクチャや２画面表示といった表示形式に対応した画面配置形式の設定や、その場合におけるどちらの画面にどちらの映像を割り当てるかの設定や各画面のアスペクト比の設定が該当する。記録する音声信号及びその記録形態に関する設定としては、たとえば、音声信号入力部１４からの主・副音声信号のうちの双方又は一方のみを記録するかどうか、マイク部１２からの音声信号を記録するかどうか等に関する設定や、記録する各音声信号を主・副音声として記録するかどうか、どの音声信号をどのチャンネルの音声信号として記録するかどうか等に関する設定が該当する。各設定事項については、ユーザによる設定がなされない場合には、デフォルトの設定や、前回の設定が採用される。
【００２９】
撮像部１１による撮像エリアに関する設定は、画面配置形式の設定内容やアスペクト比の設定内容に応じ、予め定められた方法で行うようにしてもよい。たとえば、画面配置形式として２画面表示に対応した形式が設定され、設定映像信号入力部１３からの映像信号の映像を表示する画面のアスペクト比がデフォルトのままとされた場合には、撮像エリアを８：９のエリアに設定するようにしてもよい。なお、撮像エリアの設定とは、撮像部１１の撮像素子において使用する撮像エリアの設定を意味する。つまり、たとえば、２画面表示を行うために、撮像素子の全撮像エリア（全画素）を用いて１６：９で撮像して得た映像信号を縮小やトリミングして８：９の映像信号を得るのではなく、撮像素子における最大の８：９の撮像エリアにより撮影を行い、そのままの解像度により記録を行うことを意味する。
【００３０】
次に、ステップＳ４２において、設定された合成方法に応じ、撮像エリアを変更するか否かを判定する。変更すると判定した場合には、ステップＳ４３において、撮像エリアの変更を行うとともに、変更後の撮像部１１により撮影される映像を表示し、ステップＳ４４へ進む。ユーザはこの表示を参照し、撮像装置１を被写体に向けることができる。ステップＳ４２において撮像エリアの変更を要しないと判定した場合にはそのままステップＳ４４へ進む。
【００３１】
ステップＳ４４では、設定された合成方法に合致するように、映像信号入力部１３からの映像信号及び／又は撮像部１１からの映像信号のアスペクト比を変更する必要があるか否かを判定する。変更を要すると判定した場合には、ステップＳ４５においてアスペクト比の変更を行い、変更後の映像信号入力部１３からの映像信号及び/又は撮像部１１からの映像信号に基づく表示を行い、ステップＳ４６へ進む。アスペクト比の変更を要しないと判定した場合には、そのままステップＳ４６へ進む。
【００３２】
ステップＳ４６では、設定された合成方法に合致するように、撮像部１１からの映像信号について反転処理を行うかどうかを判定する。反転処理を行うと判定した場合には、ステップＳ４７において、撮影部１１からの映像信号について反転処理を開始し、反転処理された映像信号に基づく映像の表示を行い、ステップＳ４８に進む。反転処理は行わないと判定した場合には、そのままステップＳ４８に進む。
【００３３】
ステップＳ４８では、映像信号入力部１３及び撮像部１１からの映像信号を、設定された合成方法により合成した信号に基づく映像の表示を行うとともに、ユーザからの記録指示を待って、該合成信号を、音声に関する設定内容に従い、音声信号入力部１４又はマイク部１２からの音声信号とともに記録する。これにより図４の処理が完了する。なお、映像信号の合成は、たとえば、所定のメモリ領域を用い、両映像信号の各時点での映像フレーム毎に、設定された合成方法に従い、両フレームのデータに基づいて該メモリ領域に書込みを行い、該メモリ領域から１フレームの映像信号として読み出すことにより行うことができる。
【００３４】
図８は図３及び図４の処理によって記録されたファイルに基づいて再生される映像の一例を示す。図中の８１は撮像部１１により撮影された部分に対応する映像部分であり、８２は映像信号入力部１３からの映像信号に対応する映像部分である。つまり、図８においては、画面配置形式が２画面表示に対応した形式に設定され、撮像部１１における撮像エリアが８：９に設定され、かつ撮像部１１からの映像信号を鏡像反転するように設定されて記録が行われたファイルについての再生映像が示されている。映像部分８２は、デフォルトのアスペクト比に従い、縮小されている。映像部分８１は鏡像反転されている。映像部分８１により、ユーザは、鏡に映った自分を見ている場合と同じ向きで自分の映像を見ることができる。
【００３５】
本実施形態によれば、映像信号入力部１３及び音声信号入力部１４からの映像信号及び音声信号と、撮像部１１及びマイク部１２からの映像信号及び音声信号とを合成して記録できるようにしたため、たとえば、ＡＶ装置２により表示している映像とともに、それを視聴している状況も併せて記録することができる。たとえば、ダンスやヨガ、ゲームのコンテンツを観ながらそれらに対応する動作をしているユーザの映像や音声を、コンテンツのデータと合成して記録することができる。また、記録を開始するときに表示される映像（ステップＳ４３及びＳ４５）により示される合成方法の設定結果に合わせて、撮像部１１における撮像エリアを変更するようにしているため、撮像部１１により撮影される映像部分８１のアスペクト比を所定のアスペクト比（１６：９や４：３）に固定すること無く、かつ解像度の劣化を極力抑えて、合成映像の記録を行うことができる。したがって、ユーザは、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することができる。
【００３６】
図５は撮像装置１の別の実施形態に係る構成を示すブロック図である。図５中の図２の場合と符号が同一の要素は、図２の場合と同様の要素を示す。つまり、ブロック図としては、記録部１６を第１の記録部１６ａ及び第２の記録部１６ｂの２つの記録部により構成されるものとした以外は図２の場合と同様である。上述図２の撮像装置１においては、映像信号入力部１３及び撮像部１１からの信号を合成して記録するようにしているが、図５の撮像装置１においては、それぞれの信号を別個に記録し、再生を行う際に合成するようにしている。
【００３７】
すなわち、撮像部１１からの映像信号及びマイク部１２からの音声信号に基づく記録を第１の記録部１６ａに対して行い、映像信号入力部１３からの映像信号及び音声信号入力部１４からの音声信号に基づく記録は第２の記録部１６ｂに対して行うようにしている。また、第１の記録部１６ａ及び第２の記録部１６ｂに対する記録を同時に行う場合には、それぞれの記録により生成されるファイルに付随させて、同時に記録される他方のファイルを特定する情報が、対応ファイル特定情報として記録される。再生時には、再生するファイルの指示とともに対応ファイルを同時に再生する指示がなされた場合には、ユーザにより設定される合成方法に従った合成映像となるように、再生するファイル及び対応するファイルの映像信号が１つの映像信号に合成され、映像信号出力部２０を介してＡＶ装置２に出力される。該合成された映像信号に基づいて表示部１８により表示を行うようにしてもよい。また、これと同時に、両ファイルに基づく音声信号のうちの指示されたものが音声信号出力部２１を介してＡＶ装置２に出力され、又はスピーカ部１９により音声に変換される。
【００３８】
なお、表示部１８により表示を行う場合には、再生するファイル及び対応するファイルの映像信号を１つの映像信号に合成する代わりに、各映像信号に基づき、設定される合成方法に従った合成映像となるように、表示部１８のビデオメモリ上に書込みを行うようにしてもよい。また、ＡＶ装置２がピクチャ・イン・ピクチャ表示や、２画面表示に対応するものである場合には、各画面に対応した信号として、再生するファイル及び対応するファイルの映像信号をＡＶ装置２に供給し、ＡＶ装置２において、合成した映像の表示を、ユーザによる合成方法の設定に従い、行うようにしてもよい。
【００３９】
合成方法の設定に際しては、再生するファイル及び対応するファイルに基づく映像信号をどのようにして合成し、及び各ファイルに基づく音声信号のうちのどれを出力するかが設定される。設定事項としては、たとえば、各ファイルに基づく映像の表示位置に関する設定、各ファイルのうち第１の記録部１６ａに記録されているファイル（撮像部１１により撮影された映像のファイル）に基づく映像信号について反転処理（ミラー又は鏡像変換処理）を行うか否かの設定、音声信号入力部１４からの音声信号及びマイク部１２からの音声信号のうちのどれを出力するかに関する設定が該当する。
【００４０】
映像の表示位置に関する設定としては、たとえば、従来のピクチャ・イン・ピクチャや２画面表示といった表示形式の設定や、その場合におけるどちらの画面にどちらの映像を割り当てるかの設定や、各画面のアスペクト比の設定が該当する。出力する音声信号に関する設定としては、たとえば、再生するファイル又は対応するファイルのうちの第２の記録部１６ｂに記録されている方のファイルにおける主・副音声信号のうちの双方又は一方のみを出力するかどうかの設定や、第１の記録部１６ａに記録されている方のファイルからの音声信号（マイク部１２により記録した音声）を出力するかどうかに関する設定が該当する。各設定事項については、ユーザによる設定がなされない場合には、デフォルトの設定や、前回の設定が採用される。
【００４１】
図６は図５の撮像装置における記録処理を示すフローチャートである。この処理は、上述の第１の記録部１６ａ及び第２の記録部１６ｂに対する記録を行う処理であり、所定のプログラムに従い、制御部１７によって行われる。すなわち、ユーザからの記録指示に応じて処理を開始すると、ステップＳ６１において、撮像部１１により撮影して得られる映像信号と、映像信号入力部１３からの映像信号とを同時に記録する要求が記録指示においてなされているかどうかを判定する。要求がなされていると判定した場合には、ステップＳ６２において、映像信号入力部１３からの映像信号においてコピーを禁止する旨を示すコピー禁止信号が含まれているか否かを判定する。
【００４２】
コピー禁止信号が含まれていないと判定した場合には、ステップＳ６３において、撮像部１１からの映像信号に基づく記録を第１の記録部１６ａに対して行うとともに、これと同時に、映像信号入力部１３からの映像信号に基づく記録を第２の記録部１６ｂに対して行う。この記録により生成される各ファイルに付随させて、他方のファイルを特定する対応ファイル特定情報を、記録の終了時に記録する。対応ファイル特定情報は、たとえばメタデータやタグ情報として記録される。対応ファイル特定情報としては、たとえば対応するファイルのファイル名や記録日時、記録位置等に関する情報が該当する。これにより図６の処理が完了する。
【００４３】
ステップＳ６１において同時記録の要求がなされていないと判定した場合には、ステップＳ６４において、通常のビデオカメラの場合と同様に、撮像部１１からの映像信号及びマイク部１２からの音声信号に基づく記録を第１の記録部１６ａに対して行い、図６の処理を終了する。また、ステップＳ６２においてコピー禁止信号が含まれていると判定した場合には、ステップＳ６５において、映像信号入力部１３からの映像信号に係るコンテンツはコピー禁止である旨の表示や音声の出力を行い、記録処理を終了する。
【００４４】
図７は図６の記録処理によって記録されたファイルを再生する再生処理を示すフローチャートである。この処理は、所定のプログラムに従い、制御部１７によって行われる。すなわち、ユーザからの再生指示に応じて処理を開始すると、ステップＳ７１において、再生指示において再生対象として指示されたファイルに上述の対応ファイル特定情報が記録されているかどうかを判定する。記録されていると判定した場合には、ステップＳ７２において、該対応ファイル特定情報により特定される対応ファイルが第１の記録部１６ａ又は第２の記録部１６ｂにおいて実際に存在するかどうかを判定する。
【００４５】
対応ファイルが存在しない場合としては、たとえば、再生指示がなされたファイルの記録時に、第１の記録部１６ａ又は第２の記録部１６ｂとしてＳＤカードのような記録媒体が用いられたが、現在はその記録媒体が撮像装置１内に存在しない場合や、対応ファイルが既に消去されている場合が該当する。なお、再生指示がなされたファイルがＳＤカードのような可搬型記録媒体に存在する場合は、そのファイルの対応ファイル特定情報が他の機器において上書きされることにより、撮像装置１にはその対応ファイル特定情報により特定される対応ファイルが存在しない場合もあり得る。
【００４６】
ステップＳ７２において対応ファイルが存在すると判定した場合には、ステップＳ７３において、対応ファイルを同時に再生する旨のユーザ指示があったかどうかを判定する。該指示があったと判定した場合には、ステップＳ７４において、各ファイルを同時に再生する場合の合成方法の設定を受け入れる。設定事項に関しては上述したとおりである。
【００４７】
次に、ステップＳ７５において、再生するファイル及び対応するファイルのうち、第１の記録部１６ａのファイルに基づく映像（撮像部１１で撮影した映像）の反転処理（ミラー又は鏡像変換処理）を行うか否かを、上述ステップＳ７４における設定内容に基づいて判定する。反転処理を行うと判定した場合には、ステップＳ７６において、第１の記録部１６ａのファイルに基づく映像については反転処理を行うように設定し、ステップＳ７７へ進む。反転処理を行わないと判定した場合には、そのままステップＳ７７へ進む。
【００４８】
ステップＳ７７では、再生対象として指示されたファイル及びこれに対応するファイルに基づき、ステップＳ７４における設定に従い、合成した映像信号及び出力すべき音声信号を映像信号出力部２０及び音声信号出力部２１を介してＡＶ装置２に出力する。あるいは、該合成した映像信号及び出力すべき音声信号に基づき、表示部１８により表示を行い及びスピーカ部１９により音声の出力を行う。これにより図７の処理が完了する。ＡＶ装置２に出力される映像信号及び音声信号は、ＡＶ出力装置２における映像及び音声の出力に供されることになる。
【００４９】
なお、ステップＳ７７における再生対象とされたファイル及び対応ファイルに基づく映像信号の合成は、たとえば、所定のメモリ領域を用い、両映像信号の各時点での映像フレーム毎に、設定された合成方法に従い、両フレームのデータに基づいて該メモリ領域に書込みを行い、該メモリ領域から１フレームの映像信号として読み出すことにより行うことができる。その際、両映像信号の映像フレーム間の時間的関係は、両映像信号が記録されたときの時間的関係と同一である必要がある。この時間的関係の同一性が確保されるように合成時に両映像信号の映像フレーム間のタイミングを合わせるためには、再生対象とされたファイルに対応ファイル特定情報を記録する際に（図６のステップＳ６３）対応ファイル特定情報中にタイミングを合わせるための情報を含めておき、このタイミング情報を合成時に参照する必要がある。タイミング情報としては、たとえば、再生対象とされたファイルの映像信号の最初の映像フレームに対応する、対応ファイルの映像フレームに付されたタイムスタンプを用いることができる。両映像信号の合成に際しては、該タイムスタンプが示す時刻の対応ファイルの映像フレームと、再生対象とされたファイルの最初の映像フレームとを対応付けて合成を開始することにより、両映像信号のタイミングを合わせた合成を行うことができる。あるいは、図６のステップＳ６３における第１の記録部１６ａ及び第２の記録部１６ｂへの記録を同時に開始し、両記録の合成に際しては、最初の映像フレーム同士を対応付けて合成を開始することにより、両映像信号のタイミングを合わせた合成を行うようにしてもよい。なお、再生対象とされたファイル及び対応するファイルの映像信号をＡＶ装置２に供給し、ＡＶ装置２において、合成した映像の表示を行うよう場合にも、両映像信号のタイミングを同様にして一致させる必要がある。
【００５０】
一方、ステップＳ７１において対応ファイル特定情報が記録されていないと判定した場合、及びステップＳ７３において対応ファイルを同時に再生する旨のユーザ指示がなかったと判定した場合には、ステップＳ７９に進む。ステップＳ７２において対応ファイルが存在しないと判定した場合には、その旨を表示部１８において表示してからステップＳ７９に進む。ステップＳ７９においては、再生対象として指示されたファイルに基づき、映像信号及び音声信号を映像信号出力部２０及び音声信号出力部２１を介してＡＶ出力装置２に出力する。あるいは該ファイルに基づき、表示部１８により表示を行い及びスピーカ部１９により音声の出力を行う。出力される映像信号及び音声信号はＡＶ出力装置２における映像及び音声の出力に供されることになる。これにより図７の処理が完了する。なお、ステップＳ７３において対応ファイルを同時に再生する旨のユーザ指示がなかったと判定した場合には、再生指示がなされたファイルの再生終了後に続けて対応ファイルの再生を行うようにしてもよい。
【００５１】
図９は図７の再生処理によって再生される映像の一例を示す。図中の９１は撮像部１１により撮影して記録部１６ａに記録されたファイルに基づく映像部分、９２は映像信号入力部１３からの映像信号に基づいて記録部１６ｂに記録されたファイルに基づく映像部分である。図９においては、ステップＳ７４において表示形式が２画面表示に設定され、かつ第１の記録部１６ａに記録されているファイルに基づく映像信号について反転処理を行うように設定されている場合の再生映像の様子が示されている。映像部分９１及び９２はデフォルトのアスペクト比に従い、縮小されている。映像部分９１は鏡像反転されているので、ユーザは鏡に映った自分を見ている場合と同じ向きで、映像部分９１内の自分の映像を見ることができる。
【００５２】
本実施形態によれば、映像信号入力部１３及び音声信号入力部１４からの映像信号及び音声信号と、撮像部１１及びマイク部１２からの映像信号及び音声信号とを同時に記録するとともに、記録により生成される各ファイルに付随させて対応ファイル特定情報を記録できるようにしたため、一方のファイルを再生する際には、双方のファイルに基づく映像を合成した画面を表示させることができる。たとえば、ＡＶ装置２によりダンスやヨガ、ゲームのコンテンツを観ながらそれらに対応する動作をしているユーザの映像や音声を、コンテンツのデータと同時に記録し、後で、設定した合成方法により、合成して再生することができる。したがって、ユーザは、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することができる。
【００５３】
なお、本発明は、上述実施形態に限定されることなく適宜変形して実施することができる。たとえば、上述においては、鏡像反転の設定は、撮像部１１からの映像信号又は記録部１６ａに記録されているファイル（撮像部１１により撮影された映像のファイル）に基づく映像信号を対象として行うことができることとしているが、これとは逆に、映像信号入力部１３からの映像信号又は記録部１６ｂに記録されているファイルに基づく映像信号を対象として行うことができるようにしてもよい。この場合には、ユーザの映像は反転せず、ユーザが視聴しているコンテンツの映像の方を反転させて合成映像を再生することができるので、両映像の比較や確認を行いやすい場合がある。
【００５４】
また、上述においては、撮像部１１により得られた映像部分と、映像信号入力部１３からから取得した映像信号に基づく映像部分とをそのままの時間的関係で合成し、あるいはその時間的関係を維持したまま表示するようにしているが、この代わりに、撮像部１１により得られた映像部分を、映像信号入力部１３からから取得した映像信号に基づく映像部分よりもやや遅らせて合成し又は表示するようにしてもよい。
【符号の説明】
【００５５】
１：撮像装置、２：ＡＶ装置、３：ユーザ、１１：撮像部、１２：マイク部、１３：映像信号入力部、１４：音声信号入力部、１５：操作入力部、１６：記録部、１６ａ：第１の記録部、１６ｂ：第２の記録部、１７：制御部、１８：表示部、１９：スピーカ部、２０：映像信号出力部、２１：音声信号出力部、８１，８２，９１，９２：映像部分。
【特許請求の範囲】
【請求項１】
映像信号を出力する撮像手段と、
映像信号が記録される記録手段と、
前記撮像手段により得られる第１の映像に係る第１の映像信号、及び外部から供給される第２の映像に係る第２の映像信号に基づき、所定の映像信号の記録を前記記録手段に対して行うとともに、該記録手段に対して行われた映像信号の記録に基づき、前記第１映像及び第２映像の合成映像に係る第３の映像信号を出力する制御手段とを具備することを特徴とする撮影装置。
【請求項２】
前記所定の映像信号は、基礎となる前記第１映像信号及び第２映像信号を、前記合成映像の映像信号となるように合成した信号であることを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記所定の映像信号の記録は、前記第１映像信号の記録、前記第２映像信号の記録、及びこれらの記録の少なくとも一方に付随させて記録され、これらの記録が相互に対応するものであることを示す対応情報の記録であることを特徴とする請求項１に記載の撮影装置。
【請求項４】
前記制御手段は、前記第１映像信号の記録又は第２映像信号の記録を再生する旨の指示が与えられたとき、該記録に基づく映像信号と、前記対応情報により示される対応する記録に基づく映像信号とを、前記第３映像信号として出力するものであることを特徴とする請求項３に記載の撮影装置。
【請求項５】
前記第３映像信号に基づき、前記合成映像を表示する表示手段を有することを特徴とする請求項１〜４に記載の撮影装置。
【請求項６】
前記合成映像に関する設定を受け入れる入力手段を備え、
前記設定には、前記合成映像において前記第１映像若しくは前記第２映像の部分を鏡像反転させるかどうかの設定が含まれることを特徴とする請求項１〜５のいずれか１項に記載の撮影装置。
【請求項７】
前記設定には、前記撮像手段における撮像素子の使用領域の設定が含まれることを特徴とする請求項６に記載の撮影装置。
【請求項８】
前記設定には、前記合成映像をピクチャ・イン・ピクチャ又は２画面表示のいずれの映像とするかの設定、又は前記合成映像における前記第１映像の部分若しくは前記第２映像の部分のアスペクト比の設定が含まれることを特徴とする請求項６又は７に記載の撮影装置。
【請求項９】
前記制御手段は、前記記録手段に対する映像信号の記録に際し、前記第２映像信号とともに供給される音声信号又は装置が備えるマイクからの音声信号を記録し、記録した音声信号を、前記第３映像信号の出力に際し、該信号とともに出力するものであることを特徴とする請求項１〜８のいずれか１項に記載の撮影装置。
【請求項１０】
コンピュータを、請求項１〜９のいずれかの撮影装置における制御手段として機能させることを特徴とするプログラム。
【請求項１１】
映像信号を出力する撮像手段と、映像信号が記録される記録手段とを備えた撮影装置における撮影方法であって、
前記撮像手段により得られる第１の映像に係る第１の映像信号、及び外部から供給される第２の映像に係る第２の映像信号に基づき、所定の映像信号の記録を前記記録手段に対して行うとともに、該記録手段に対して行われた映像信号の記録に基づき、前記第１映像及び第２映像の合成映像に係る第３の映像信号を出力する制御工程を具備することを特徴とする撮影方法。
【請求項１】
映像信号を出力する撮像手段と、
映像信号が記録される記録手段と、
前記撮像手段により得られる第１の映像に係る第１の映像信号、及び外部から供給される第２の映像に係る第２の映像信号に基づき、所定の映像信号の記録を前記記録手段に対して行うとともに、該記録手段に対して行われた映像信号の記録に基づき、前記第１映像及び第２映像の合成映像に係る第３の映像信号を出力する制御手段とを具備することを特徴とする撮影装置。
【請求項２】
前記所定の映像信号は、基礎となる前記第１映像信号及び第２映像信号を、前記合成映像の映像信号となるように合成した信号であることを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記所定の映像信号の記録は、前記第１映像信号の記録、前記第２映像信号の記録、及びこれらの記録の少なくとも一方に付随させて記録され、これらの記録が相互に対応するものであることを示す対応情報の記録であることを特徴とする請求項１に記載の撮影装置。
【請求項４】
前記制御手段は、前記第１映像信号の記録又は第２映像信号の記録を再生する旨の指示が与えられたとき、該記録に基づく映像信号と、前記対応情報により示される対応する記録に基づく映像信号とを、前記第３映像信号として出力するものであることを特徴とする請求項３に記載の撮影装置。
【請求項５】
前記第３映像信号に基づき、前記合成映像を表示する表示手段を有することを特徴とする請求項１〜４に記載の撮影装置。
【請求項６】
前記合成映像に関する設定を受け入れる入力手段を備え、
前記設定には、前記合成映像において前記第１映像若しくは前記第２映像の部分を鏡像反転させるかどうかの設定が含まれることを特徴とする請求項１〜５のいずれか１項に記載の撮影装置。
【請求項７】
前記設定には、前記撮像手段における撮像素子の使用領域の設定が含まれることを特徴とする請求項６に記載の撮影装置。
【請求項８】
前記設定には、前記合成映像をピクチャ・イン・ピクチャ又は２画面表示のいずれの映像とするかの設定、又は前記合成映像における前記第１映像の部分若しくは前記第２映像の部分のアスペクト比の設定が含まれることを特徴とする請求項６又は７に記載の撮影装置。
【請求項９】
前記制御手段は、前記記録手段に対する映像信号の記録に際し、前記第２映像信号とともに供給される音声信号又は装置が備えるマイクからの音声信号を記録し、記録した音声信号を、前記第３映像信号の出力に際し、該信号とともに出力するものであることを特徴とする請求項１〜８のいずれか１項に記載の撮影装置。
【請求項１０】
コンピュータを、請求項１〜９のいずれかの撮影装置における制御手段として機能させることを特徴とするプログラム。
【請求項１１】
映像信号を出力する撮像手段と、映像信号が記録される記録手段とを備えた撮影装置における撮影方法であって、
前記撮像手段により得られる第１の映像に係る第１の映像信号、及び外部から供給される第２の映像に係る第２の映像信号に基づき、所定の映像信号の記録を前記記録手段に対して行うとともに、該記録手段に対して行われた映像信号の記録に基づき、前記第１映像及び第２映像の合成映像に係る第３の映像信号を出力する制御工程を具備することを特徴とする撮影方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２５８９１７（Ｐ２０１０−２５８９１７Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０８５２３（Ｐ２００９−１０８５２３）
【出願日】平成２１年４月２７日（２００９．４．２７）
【出願人】（３０８０３６４０２）ＪＶＣ・ケンウッド・ホールディングス株式会社 (1,152)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２７日（２００９．４．２７）
【出願人】（３０８０３６４０２）ＪＶＣ・ケンウッド・ホールディングス株式会社 (1,152)
【Ｆターム（参考）】
[ Back to top ]