ＡＶシステム、プログラム、記録装置、及び映像記録方法
【課題】再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することを可能にする新たな技術を提供する。
【解決手段】ＡＶシステムにおいて、映像信号を出力する撮像装置１と、撮像装置により得られる第１の映像に係る第１の映像信号を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録装置２とを設け、第１映像信号は、第２映像信号に基づく映像表示と同時に取得されるものとし、前記合成映像又は連続映像における第１映像部分及び第２映像部分間の時間的関係は、第１映像の取得時における第１映像及び第２映像間の時間的関係と同じになるようにする。
【解決手段】ＡＶシステムにおいて、映像信号を出力する撮像装置１と、撮像装置により得られる第１の映像に係る第１の映像信号を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録装置２とを設け、第１映像信号は、第２映像信号に基づく映像表示と同時に取得されるものとし、前記合成映像又は連続映像における第１映像部分及び第２映像部分間の時間的関係は、第１映像の取得時における第１映像及び第２映像間の時間的関係と同じになるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を有するＡＶシステム、該システムにおける記録装置としてコンピュータを機能させるプログラム、該システムに用いるに適した記録装置、及び該システムに適した映像記録方法に関する。
【背景技術】
【０００２】
従来、テレビ等の表示装置に自分を映し出す方法として、たとえばテレビ電話システムが知られている（たとえば特許文献１参照）。このシステムにおいては、話者のそれぞれがテレビジョンカメラ及びディスプレイを有し、テレビジョンカメラで撮影した画像情報を相手側のディスプレイ上に表示することができる。その際、自らのテレビジョンカメラの撮影方向を制御するとともに、相手側のテレビジョンカメラの撮影方向をも制御することができるようになっている。
【０００３】
また、ゲーム空間内のイベントに対し、ゲーム空間内に配置した仮想カメラの画像をリプレイすることができるゲーム装置が記載されている（たとえば、特許文献２参照）。この装置のリプレイ機能においては、プレーヤの操作入力データや、ゲーム中のキャラクタの位置や姿勢のデータをプレイデータとして記憶し、記憶したプレイデータに基づいてゲームプレイを再現するようにしている。
【０００４】
また、各ゲーム装置に記録されたリプレイデータを収集・配信する技術が知られている（たとえば、特許文献３参照）。この技術においては、リプレイデータをネットワーク上のサーバを介してやり取りし、ダウンロードしたリプレイデータによりリプレイ映像を再生することができるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１１１８６３号公報
【特許文献２】特開２００７−３１３００１号公報
【特許文献３】特開２００６−６８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方、再生中の映像コンテンツを視聴しながら動作する自身の映像を、後で該映像コンテンツにおける動作と比較して見てみたいと思う場合がある。たとえば、ダンスやヨガ等の教則ビデオを視聴しながら、その教則ビデオの動作と同じ動作を試みた後、自身の動作と教則ビデオの動作とを比較してうまくいっているかどうかを確かめたり、不都合な部分を発見したりして、ダンスやヨガ等の上達に役立てることができれば好都合である。また身体を動かすテレビゲームの場合においても、同様にゲーム画面の進行と自分の動きを同時に記録しておき、その後、その記録を再生して双方の動きを比較し、ゲームの上達に役立てることができれば好都合である。
【０００７】
しかしながら、自身を映し出す装置としては、上述のテレビ電話システムやＴＶカメラが知られているが、これらは、自身が視聴している映像コンテンツと、視聴しながら行っている自身の動作とを、事後、容易に比較検討することを可能とするものではない。またこのような比較検討を容易に行うことを可能にするような簡便な装置は知られていない。
【０００８】
また、上述のゲーム装置においては、ゲームをプレイしているユーザのビデオ映像も併せてリプレイすることはできない。つまり、ゲームをプレイしているユーザの姿を、プレイが終わった後で、プレイデータによるリプレイ映像とともに、テレビの画面等において表示させることはできない。したがって、ダンスやヨガ等の教則ゲームや、遠く離れた友人と対戦ゲームをプレイしながら、教則ゲーム等の動作と同じ動作をしているつもりであっても、その後に、その動作を検証するために、自分の動作と、教則ゲームの動作や友人の動作とを比較してみることはできない。
【０００９】
そこで本発明の目的は、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することを可能にする新たな技術を提供することにある。
【課題を解決するための手段】
【００１０】
この目的を達成するため、第１の発明に係る記録装置は、装置外部の撮像装置から供給される第１の映像に係る第１の映像信号を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録装置であって、前記第１映像信号は、前記第２映像信号に基づく映像表示と同時に取得されるものであり、前記合成映像又は連続映像における前記第１映像部分及び第２映像部分間の時間的関係は、前記第１映像の取得時における前記第１映像及び第２映像間の時間的関係と同じであることを特徴とする。
【００１１】
第２の発明に係る記録装置は、第１発明において、前記第１映像信号の記録は、前記第２映像信号と合成した信号の記録として行われることを特徴とする。
【００１２】
第３の発明に係る記録装置は、第１発明において、前記第２映像信号は前記記録装置内の記録手段において記録されているファイルに基づくものであり、前記第１映像信号の記録は、該ファイルとは別のファイルへの記録として行われることを特徴とする。
【００１３】
第４の発明に係る記録装置は、第１発明において、前記第２映像信号は前記記録装置の外部から供給されるものであり、前記第１映像信号の記録は、該第２映像信号の前記記録装置における記録と同時に、かつ別個のファイルとして行われることを特徴とする。
【００１４】
第５の発明に係る記録装置は、第３又は第４発明において、前記第１映像信号の記録に際し、前記後の再生がなし得るように、対応する前記第２映像信号に係る映像データにおける再生開始アドレスを記録することを特徴とする。
【００１５】
第６の発明に係る記録装置は、第１発明において、前記記録装置はユーザの操作入力に応答して所定のデータに基づく映像の表示を行うものであり、前記第２映像信号は該表示映像の映像信号であり、前記第１映像信号の記録は、該第２映像信号の前記記録装置における記録と同時に、かつ別個のファイルとして行われることを特徴とする。
【００１６】
第７の発明に係る記録装置は、第１発明において、前記記録装置はユーザの操作入力に応答して所定のデータに基づく映像の表示を行うとともに、リプレイ再生を行うためのリプレイデータを記録するものであり、前記第２映像信号は該表示映像の映像信号であり、前記第１映像信号の記録は、該第２映像信号に対応するリプレイデータのファイルの前記記録装置における記録と同時に行われることを特徴とする。
【００１７】
第８の発明に係る記録装置は、第６又は第７発明において、前記１映像信号の記録は、所定のイベントが終了した時点で終了されることを特徴とする。
【００１８】
第９の発明に係る記録装置は、第６〜第８のいずれかの発明において、前記１映像信号の記録は、所定のイベントが開始された時点で開始されることを特徴とする。
【００１９】
第１０の発明に係る記録装置は、第３〜第８のいずれかの発明において、前記記録装置は、前記第１映像信号のファイル又はこれに対応する前記第２映像信号に係るファイルに基づく再生を行う旨の指示が与えられたとき、両ファイルに基づく映像信号を、前記合成映像又は連続映像を表示し得るように、合成した信号として、又は別個の信号として出力するものであることを特徴とする。
【００２０】
第１１の発明に係る記録装置は、第１０発明において、前記記録装置から出力される合成した信号又は別個の信号に基づき、前記合成映像又は連続映像を表示するＡＶ装置を有することを特徴とする。
【００２１】
第１２の発明に係る記録装置は、第１〜第１１のいずれかの発明において、前記記録装置は前記合成映像又は連続映像に関する設定を受け入れる入力手段を備え、前記設定には、前記合成映像において前記第１映像若しくは第２映像の部分を鏡像反転させるかどうかの設定が含まれることを特徴とする。
【００２２】
第１３の発明に係る記録装置は、第１２発明において、前記設定には、前記合成映像をピクチャ・イン・ピクチャ又は２画面表示のいずれの映像とするかの設定、又は前記合成映像における前記第１映像部分又は前記第２映像部分のアスペクト比の設定が含まれることを特徴とする。
【００２３】
第１４の発明に係る記録装置は、第１〜第１３のいずれかの発明において、前記第１映像信号及び第２映像信号には音声信号が付随しており、前記合成映像又は連続映像の再生に際しては、付随する各音声信号のうち、指示されたものが再生されることを特徴とする。
【００２４】
第１５の発明に係る記録装置は、第１〜第１４のいずれかの発明において、前記第１映像信号の記録は、前記撮像装置がユーザを認識したことを条件として開始されることを特徴とする。
【００２５】
第１６の発明に係るプログラムは、コンピュータを、第１〜第１５のいずれかの発明に係る記録装置として機能させることを特徴とする。
【００２６】
第１７の発明に係るＡＶシステムは、映像信号を出力する撮像装置と、前記撮像装置により得られる第１の映像に係る第１の映像信号を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録装置とを具備し、前記第１映像信号は、前記第２映像信号に基づく映像表示と同時に取得されるものであり、前記合成映像又は連続映像における前記第１映像部分及び第２映像部分間の時間的関係は、前記第１映像の取得時における前記第１映像及び第２映像間の時間的関係と同じであることを特徴とする。
【００２７】
第１８の発明に係る映像記録方法は、映像信号を出力する撮像工程と、前記撮像工程により得られる第１の映像に係る第１の映像信号を、該第１映像を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録工程とを具備し、前記第１映像信号は、前記第２映像信号に基づく映像表示と同時に取得されるものであり、前記合成映像又は連続映像における前記第１映像部分及び第２映像部分間の時間的関係は、前記第１映像の取得時における前記第１映像及び第２映像間の時間的関係と同じであることを特徴とする。
【発明の効果】
【００２８】
本発明によれば、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することを可能にする新たな技術を提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係るＡＶシステムを示す図である。
【図２】図１のシステムにおける撮像装置の構成を示すブロック図である。
【図３】図１のシステムにおける記録装置の構成を示すブロック図である。
【図４】図３の記録装置における記録処理を示すフローチャートである。
【図５】図４の一部の処理の詳細を示すフローチャートである。
【図６】図３の記録装置における再生処理を示すブロック図である。
【図７】図６の再生処理において記録されたファイルに対応した再生処理を示すフローチャートである。
【図８】図３の記録装置における別の記録処理を示すフローチャートである。
【図９】図３及び図４の処理によって記録されたファイルに基づいて再生される映像の一例を示す図である。
【図１０】図７の再生処理によって再生される映像の一例を示す図である。
【図１１】本発明の他の実施形態に係るＡＶシステムを示す図である。
【図１２】図１１のシステムにおけるゲーム装置の構成を示すブロック図である。
【図１３】図１１のシステムのゲーム装置における記録処理を示すフローチャートである。
【図１４】図１１のシステムのゲーム装置における別の記録処理を示すフローチャートである。
【図１５】図１１のシステムのゲーム装置におけるさらに別の記録処理を示すフローチャートである。
【図１６】図１１のシステムのゲーム装置における再生処理を示すフローチャートである。
【発明を実施するための形態】
【００３０】
図１は、本発明の一実施形態に係るＡＶシステムを示す。同図に示すように、このシステムは撮影に使用する撮像装置１、撮像装置１に接続されたレコーダ装置２、及びレコーダ装置２に接続されたＡＶ装置３を備える。レコーダ装置２は、撮像装置１から供給される撮影映像の映像信号及び音声信号を記録するとともに、記録した映像信号及び音声信号や、他のコンテンツの再生信号をＡＶ装置３に出力する機能を有する。ＡＶ装置３は、レコーダ装置２からの映像信号及び音声信号や、コンテンツの再生信号に基づいて映像表示や音声出力を行う機能を有する。撮像装置１としてはたとえばビデオカメラが該当する。ＡＶ装置３としてはたとえば、テレビジョンセットや、ＡＶパソコンが該当する。レコーダ装置２からＡＶ装置３に再生信号が送られるコンテンツとしては、無線又は有線の放送により提供される放送コンテンツや、ネットワークを介して配信されるコンテンツ、ＤＶＤ等に記録されたコンテンツなどが該当する。
【００３１】
図１においては、ユーザ４がＡＶ装置３において再生されているコンテンツを視聴しながら、コンテンツの映像及び音声に合わせて運動をしている様子を撮像装置１により撮影している状況が示されている。レコーダ装置２は、この撮影に伴って撮像装置１から送られる映像信号及び音声信号を、再生コンテンツのデータと合成しながら、又は関連付けながら記録している。
【００３２】
図２は撮像装置１の構成を示すブロック図である。同図に示すように、撮像装置１は、装置の撮影範囲に存在する物体からの光に基づいて結像を行い、その像を映像信号に変換する撮像部１１、装置の周囲の音声を音声信号に変換するマイク部１２、テレビやゲーム機等の外部ソースからの映像信号の入力を受け入れる映像信号入力部１３、外部ソースからの音声信号の入力を受け入れる音声信号入力部１４、各種操作入力を受け入れるためのユーザインタフェースを構成する操作入力部１５、記録データを格納する記録部１６、装置各部の制御を行う制御部１７、各種の表示を行う表示部１８、記録又は再生中の音声信号に基づいて音声の出力を行うスピーカ部１９、記録又は再生中の映像信号を外部に出力する映像信号出力部２０、及び記録又は再生中の音声信号を外部に出力する音声信号出力部２１を備える。
【００３３】
操作入力部１５が受け入れる各種操作入力としては、たとえば、撮像部１１による撮影や、映像信号入力部１３や音声信号入力部１４からの信号に基づく記録部１６への記録、記録部１６における記録内容に基づいて映像信号出力部２０及び音声信号出力部２１から出力を行う処理、撮像部１１からの映像信号やマイク部１２からの音声信号を記録部１６において記録させることなく映像信号出力部２０及び音声信号出力部２１から出力を行う処理、記録部１６における記録内容の再生処理や編集処理等に関する指示が該当する。記録部１６に記録される信号としてはたとえば、撮像部１１や、マイク部１２、映像信号入力部１３、音声信号入力部１４からの信号や、これらの信号を操作入力部１５からの指示に基づいて合成したものが該当する。記録部１６としては、典型的にはハードディスクやメモリカード等を用いることができるが、ＤＶＤやＢＤ（ブルーレイディスク）等のディスクメディアであってもよい。制御部１７は、操作入力部１５における操作入力に従い、記録部１６への記録処理や、記録部１６の記録内容に基づく再生処理や、撮影モード等に関する各種の設定処理を行う。表示部１８は、操作入力に基づく制御部１７からの指令に応じ、再生映像や記録中の映像の表示、設定画面の表示等の各種表示を行う。スピーカ部１９は、再生音等の出力を行う。
【００３４】
図３はレコーダ装置２の構成を示すブロック図である。同図に示すように、レコーダ装置２は、図示していないアンテナを介して放送波の受信処理を行うチューナ部３１、チューナ部３１からの受信信号をデコードするデコーダ３２、撮像装置１やゲーム装置等の外部機器からの映像信号及び音声信号の入力をそれぞれ受け入れる映像信号入力部３３及び音声信号入力部３４、ユーザの各種操作入力を受け入れる操作入力部３５、各種コンテンツデータの記録及び再生を行う第１の記録再生部３６、装置の各部を制御する制御部３７、各種コンテンツデータの記録及び再生を行う第２の記録再生部３８、並びにコンテンツの再生音声信号及び再生映像信号を外部に出力するための音声信号出力部３９及び映像信号出力部４０を備える。映像信号入力部３３及び音声信号入力部３４には撮像装置１が接続され、その撮像部１１からの映像信号及びマイク部１２からの音声信号が入力されるようになっている。また、音声信号出力部３９及び映像信号出力部４０にはＡＶ装置３が接続され、音声信号出力部３９及び映像信号出力部４０から出力される信号に基づき、ＡＶ装置３において映像表示及び音声出力が行われるようになっている。
【００３５】
デコーダ３２は第１の記録再生部３６及び第２の記録部３８に記録されているコンテンツデータについてのデコードも行う。制御部３７は、操作入力部３５を介して、種々の指示を受け入れ、必要な制御や処理を行う。受け入れる指示としては、たとえば、放送番組の録画予約やＥＰＧ（電子番組ガイド）の表示、第１の記録再生部３６及び第２の記録再生部３８間のダビング処理、映像信号入力部３３及び音声信号入力部３４を介して入力される映像信号及び音声信号についての第１又は第２の記録再生部３６又は３８への記録処理、第１又は第２の記録再生部３６又は３８に記録されているデータの再生処理等に関する指示が該当する。第１の記録再生部３６は、映像信号入力部３３及び音声信号入力部３４を介して供給される映像信号及び音声信号や、第２の記録再生部３８に記録されているコンテンツデータ等を記録し、記録したデータの再生等を行う。第１の記録再生部３６としては、典型的にはハードディスク装置が該当する。第２の記録再生部３８は、映像信号入力部３３及び音声信号入力部３４を介して供給されるコンテンツデータや、第１の記録再生部３６に記録されているコンテンツデータ等を記録し、記録したコンテンツデータの再生を行う。第２の記録再生部３８としては、典型的には、ＤＶＤ、ＢＤ（ブルーレイディスク）などのディスクメディアや、ＳＤカードなどのフラッシュメモリ等が該当する。
【００３６】
図４はレコーダ装置２における記録処理を示すフローチャートである。この処理は、制御部３７により、所定のプログラムに従って行われ、ユーザの操作入力による所定の記録指示に基づいて開始される。この記録処理においては、撮像装置１からの映像信号及び音声信号の記録が行われる。
【００３７】
記録処理を開始すると、制御部３７はまず、ステップＳ４１において、第１の記録再生部３６若しくは第２の記録再生部３８からの再生映像信号、又は放送波に基づく映像信号（以下、これらの信号を「内部映像信号」という。）と、撮像装置１からの映像信号とを同時に記録する要求が前記記録指示においてなされているかどうかを判定する。該要求がなされていると判定した場合には、ステップＳ４２において、内部映像信号中に、コピーを禁止する旨を示すコピー禁止（コピープロテクト）信号が含まれているか否かを判定する。含まれていないと判定した場合には、ステップＳ４３において、映像信号入力部３３及び音声信号入力部３４からの映像信号及び音声信号、並びに内部映像信号及びこれに付随する音声信号に基づき、これらの信号を合成しながら、第１又は第２の記録再生部３６又は３８への記録を行う。これにより図４の処理が終了する。なお、合成される内部映像信号及び付随する音声信号は、前記記録指示に含まれる指示により指定されたコンテンツに係るものである。
【００３８】
一方、ステップＳ４１において同時に記録する要求がなされていないと判定した場合には、ステップＳ４４へ進み、映像信号入力部３３及び音声信号入力部３４からの映像信号及び音声信号に基づく通常の記録を行い、図４の処理を終了する。また、ステップＳ４２においてコピー禁止信号が含まれていると判定した場合には、ステップＳ４５へ進み、コピー禁止である旨を示す表示や音声の出力を行い、図４の処理を終了する。
【００３９】
図５は図４のステップＳ４３の処理を示すフローチャートである。この処理では、ユーザが設定する合成方法に従って、映像信号入力部３３及び音声信号入力部３４からの映像信号及び音声信号と、内部映像信号及びこれに付随する音声信号とを合成し、１つの動画ファイルとして記録する。
【００４０】
すなわち、処理を開始すると、まず、ステップＳ５１において、ユーザの操作入力による合成方法の設定を受け入れる。この設定においては、映像信号入力部３３及び音声信号入力部３４からの信号と、内部映像信号及びこれに付随する音声信号とをどのようにして合成するかが設定される。設定事項としては、たとえば、映像信号入力部３３からの映像信号による映像及び内部映像信号による映像の配置に関する設定、映像信号入力部３３からの映像信号（撮像部１１からの映像信号）について鏡に写ったような映像変換を行う処理（以下、反転処理又は鏡像変換処理と呼ぶ）を行うか否かの設定、音声信号入力部３４からの音声信号及び内部映像信号に付随する音声信号のうち記録する音声信号及びその記録形態に関する設定が該当する。
【００４１】
映像の配置に関する設定としては、たとえば、従来のピクチャ・イン・ピクチャや２画面表示といった表示形式に対応した画面配置形式の設定や、その場合におけるどちらの画面にどちらの映像を割り当てるかの設定や、各画面のアスペクト比の設定が該当する。記録する音声信号及びその記録形態に関する設定としては、たとえば、内部映像信号に付随する主・副音声信号のうちの双方又は一方のみを記録するかどうか、音声信号入力部３４からの音声信号を記録するかどうか等に関する設定や、記録する各音声信号を主・副音声として記録するかどうか、どの音声信号をどのチャンネルの音声信号として記録するかどうか等に関する設定が該当する。各設定事項については、ユーザによる設定がなされない場合には、デフォルトの設定や、前回の設定が採用される。
【００４２】
次に、ステップＳ５２において、設定された合成方法に合致するように、映像信号入力部３３からの映像信号及び／又は内部映像信号のアスペクト比を変更する必要があるか否かを判定する。変更を要すると判定した場合には、ステップＳ５３においてアスペクト比の変更を行い、変更後の映像信号入力部３３からの映像信号及び/又は内部映像信号に基づく表示を行い、ステップＳ５４へ進む。アスペクト比の変更を要しないと判定した場合には、そのままステップＳ５４へ進む。
【００４３】
ステップＳ５４では、設定された合成方法に合致するように、映像信号入力部３３からの映像信号について反転処理を行うかどうかを判定する。反転処理を行うと判定した場合には、ステップＳ５５において、映像信号入力部３３からの映像信号について反転処理を開始し、反転処理された映像信号に基づく映像の表示を行い、ステップＳ５６に進む。反転処理は行わないと判定した場合には、そのままステップＳ５６に進む。
【００４４】
ステップＳ５６では、映像信号入力部３３からの映像信号及び内部映像信号を、設定された合成方法により合成した信号に基づく映像の表示を行うとともに、ユーザからの記録指示を待って、該合成信号を、音声に関する設定内容に従い、音声信号入力部３４からの音声信号及び／又は内部映像信号に付随する音声信号とともに、１つのファイルとして記録する処理を開始し、ユーザの指示により記録を終了する。これにより、図５の処理が完了する。なお、合成信号を記録する間、内部映像信号及び付随する音声信号がＡＶ装置３に出力され、これらの信号に基づき、ＡＶ装置３において映像の表示及び音声の出力がなされる。
【００４５】
なお、映像信号の合成は、たとえば、所定のメモリ領域を用い、両映像信号の各時点での映像フレーム毎に、設定された合成方法に従い、両フレームのデータに基づいて該メモリ領域に書込みを行い、該メモリ領域から１フレームの映像信号として読み出すことにより行うことができる。
【００４６】
図９は図４及び図５の処理によって合成して記録されたファイルに基づいて再生される映像の一例を示す。図中の９１は映像信号入力部３３からの映像信号に対応する映像部分であり、９２は内部映像信号に対応する映像部分である。つまり、図９においては、画面配置形式が２画面表示に対応した形式に設定され、かつ映像信号入力部３３からの映像信号について鏡像反転するように設定されて記録が行われたファイルについての再生映像が示されている。映像部分９１は、合成時に、トリミング処理及び拡大処理が行われ、かつ鏡像反転されている。映像部分９２は、デフォルトのアスペクト比に従い、縮小されている。映像部分９１により、ユーザは、鏡に映った自分を見ている場合と同じ向きで自分の映像を見ることができる。
【００４７】
本実施形態によれば、映像信号入力部３３及び音声信号入力部３４からの映像信号及び音声信号（撮像装置１からの信号）と、レコーダ装置２において生成される内部映像信号及びこれに付随する音声信号とを合成して記録できるようにしたため、レコーダ装置２から供給される内部映像信号及びこれに付随する音声信号に基づいてＡＶ装置３が表示及び出力している映像及び音声の内容とともに、それをユーザが視聴している状況を併せて記録することができる。たとえば、ＡＶ装置３により提示されるダンスやヨガ、ゲームのコンテンツを観ながらそれらに対応する動作をしているユーザの映像や音声を、コンテンツの映像信号（内部映像信号）及び音声信号と合成して記録することができる。したがってユーザは、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することができる。
【００４８】
図６はレコーダ装置２が撮像装置１からの信号を記録する別の例として、レコーダ装置２における再生処理を示すフローチャートである。この処理は、制御部３７により、所定のプログラムに従って行われる。上述図４及び図５の処理においては、撮像装置１からの信号と、内部映像信号及びこれに付随する音声信号とを合成して記録するようにしているのに対し、図６の処理においては撮像装置１からの信号のみを記録するようにしている。該記録に際し、ユーザに指示されたコンテンツの再生信号がＡＶ装置３に供給され、ＡＶ装置３における映像表示及び音声出力に供せられる。該コンテンツのファイルは、該記録により新たに生成されるファイルに対応する対応ファイルとされ、これを特定する対応ファイル特定情報が、新たに生成されるファイルに対し、付随情報として記録される。
【００４９】
図６の再生処理は、ユーザによる所定の再生開始指示に応じて開始される。この再生開始指示には、第１の記録再生部３６又は第２の記録再生部３８に記録されているコンテンツのうちの再生対象とするものの指定が含まれる。再生処理を開始すると、まず、ステップＳ６１において、再生対象とされたコンテンツの再生に連動し、撮像装置１により撮影される映像及びこれに付随する音声信号を、該コンテンツに関連付けて記録する要求が存在するか否かを検出する。この検出は、たとえば、上述の再生開始指示において該要求が含まれているかを調べることにより行うことができる。
【００５０】
該要求が存在することを検出した場合には、ステップＳ６２においてユーザからの記録開始指示を待ち、該指示に応答して、ステップＳ６３において、再生対象とされたコンテンツの再生と、映像信号入力部３３及び音声信号入力部３４を介して撮像装置１から入力される映像信号及び音声信号の記録とを開始する。この記録は該コンテンツが記録されている第１の記録再生部３６又は第２の記録再生部３８とは異なる第１の記録再生部３６又は第２の記録再生部３８に対して行われる。たとえばこの記録は、再生対象とされたコンテンツが第２の記録再生部３８のＢＤやＳＤカードに記録されている場合には、第１の記録再生部３６であるハードディスクに対して行い、逆に該ハードディスクに記録されている場合には、該ＢＤやＳＤカードに対して行う。
【００５１】
次に、ステップＳ６４において、ユーザからの記録の終了要求に応じ、撮像装置１からの信号の記録を終了し、この記録により生じたファイルに付随させて、再生対象とされたコンテンツのファイルを対応ファイルとして特定する対応ファイル特定情報を記録する。対応ファイル特定情報には、対応ファイルのファイル名やアドレス位置等の情報が含まれる。これにより、図６の処理が終了する。
【００５２】
一方、ステップＳ６１において、再生対象とされたコンテンツに関連付けて記録する要求が存在しないことを検出した場合には、ステップＳ６５において、通常のコンテンツ再生の場合と同様に、再生対象とされたコンテンツの再生のみを行い、図６の処理を終了する。なお、この例では対応ファイル特定情報をファイルに付随する情報として記録するようにしているが、この代わりに、ファイルとは別個のテーブル等において記録するようにしてもよい。
【００５３】
図７はレコーダ装置２における再生処理の別の例を示すフローチャートである。この再生処理は、制御部３７により、所定のプログラムに従って行われる。この再生処理においては、図６の処理によって記録されたファイルが、第１の記録再生部３６又は第２の記録再生部３８において存在し得ることを想定している。この再生処理は、再生対象とするファイルを特定したユーザからの再生要求に応じて開始される。
【００５４】
再生処理を開始すると、まず、ステップＳ７１において、再生対象とするファイルに対応ファイル特定情報が付随情報として記録されているか否かを判定する。記録されていると判定した場合には、ステップＳ７２において、該対応ファイル特定情報により特定されるファイルが第１の記録再生部３６又は第２の記録再生部３８において実際に存在するか否かを判定する。
【００５５】
対応ファイルが存在しない場合としては、たとえば、再生対象とされたファイルの記録時にはレコーダ装置２にセットされていたＳＤカードのような記録媒体上に対応ファイルが存在していたが、現在はその記録媒体がレコーダ装置２内に存在しない場合や、対応ファイルが既に消去されている場合が該当する。
【００５６】
ステップＳ７２において対応ファイルが存在すると判定した場合には、ステップＳ７３において、対応ファイルを同時に再生する旨のユーザ指示があったかどうかを判定する。該指示があったと判定した場合には、ステップＳ７４において、再生対象とされたファイル及び対応ファイルを同時に再生する場合の合成方法の設定を受け入れる。設定事項としては、たとえば、各ファイルに基づく映像の表示位置に関する設定、再生対象とされたファイルに基づく映像信号について反転処理（ミラー又は鏡像変換処理）を行うか否かの設定、各ファイルの音声信号のうちのどれを出力するかに関する設定が該当する。
【００５７】
映像の表示位置に関する設定としては、たとえば、従来のピクチャ・イン・ピクチャや２画面表示といった表示形式の設定や、その場合におけるどちらの画面にどちらの映像を割り当てるかの設定や、各画面のアスペクト比の設定が該当する。出力する音声信号に関する設定としては、たとえば、対応ファイルにおける主・副音声信号のうちの双方又は一方のみを出力するかどうかの設定や、再生対象とされたファイルの音声信号を出力するかどうかに関する設定が該当する。各設定事項については、ユーザによる設定がなされない場合には、デフォルトの設定や、前回の設定が採用される。
【００５８】
次に、ステップＳ７５において、再生対象とされたファイルに基づく映像の反転処理（ミラー又は鏡像変換処理）を行うか否かを、上述ステップＳ７４における設定内容に基づいて判定する。反転処理を行うと判定した場合には、ステップＳ７６において、再生対象とされたファイルに基づく映像については反転処理を行うように設定し、ステップＳ７７へ進む。反転処理を行わないと判定した場合には、そのままステップＳ７７へ進む。
【００５９】
ステップＳ７７では、再生対象とされたファイル及び対応ファイルに基づき、ステップＳ７４における設定に従い、合成した映像信号及び出力すべき音声信号を映像信号出力部４０及び音声信号出力部３９を介してＡＶ装置３に出力する。これにより図７の処理が完了する。ＡＶ装置３に出力される映像信号及び音声信号は、ＡＶ出力装置３における映像及び音声の出力に供されることになる。
【００６０】
ステップＳ７７における再生対象とされたファイル及び対応ファイルに基づく映像信号の合成は、たとえば、所定のメモリ領域を用い、両映像信号の各時点での映像フレーム毎に、設定された合成方法に従い、両フレームのデータに基づいて該メモリ領域に書込みを行い、該メモリ領域から１フレームの映像信号として読み出すことにより行うことができる。その際、両映像信号のタイミングを合わせる必要があるので、再生対象とされたファイルに対応ファイル特定情報を記録する際に（図６のステップＳ６４）対応ファイル特定情報中にタイミングを合わせるための情報を含めておき、この情報に基づいてタイミングを合わせる。タイミングを合わせるための情報としては、たとえば、再生対象とされたファイルの映像信号の最初の映像フレームに対応する、対応ファイルの映像フレームに付されたタイムスタンプを用いることができる。両映像信号の合成に際しては、該タイムスタンプが示す時刻の対応ファイルの映像フレームと、再生対象とされたファイルの最初の映像フレームとを対応付けて合成を開始することにより、両映像信号のタイミングを合わせた合成を行うことができる。
【００６１】
一方、ステップＳ７１において対応ファイル特定情報が記録されていないと判定した場合、及びステップＳ７３において対応ファイルを同時に再生する旨のユーザ指示がなかったと判定した場合には、ステップＳ７９に進む。ステップＳ７２において対応ファイルが存在しないと判定した場合には、ステップＳ７８においてその旨を表示してからステップＳ７９に進む。ステップＳ７９においては、再生対象とされたファイルに基づき、映像信号及び音声信号を映像信号出力部４０及び音声信号出力部３９を介してＡＶ出力装置３に出力する。出力される映像信号及び音声信号はＡＶ出力装置３における映像及び音声の出力に供される。この場合には、撮像装置１により撮影した結果のみがＡＶ出力装置３において提示されることになる。これにより図７の処理が完了する。なお、ステップＳ７３において対応ファイルを同時に再生する旨のユーザ指示がなかったと判定した場合には、再生対象とされたファイルの再生終了後に続けて対応ファイルの再生を行うようにしてもよい。
【００６２】
なお、この再生処理においては、再生対象とされたファイル及び対応ファイルに基づく各映像信号を合成してＡＶ装置３に供給するようにしているが、この代わりに、ＡＶ装置３がピクチャ・イン・ピクチャ表示や、２画面表示に対応するものである場合には、各映像信号を合成することなくそのままＡＶ装置３に供給し、ＡＶ装置３において、合成した映像の表示を、ユーザによる合成方法の設定に従い、行うようにしてもよい。ただしこの場合も、各映像信号の供給は、上述のようなタイミングを合わせるための情報に基づき、タイミングを合わせて行う必要がある。また、この例では対応ファイル特定情報がファイルに付随する情報として記録されているが、この代わりに、ファイルとは別個のテーブル等において記録されていてもよい。
【００６３】
図８はレコーダ装置２におけるさらに別の記録処理を示すフローチャートである。この記録処理は制御部３７により、所定のプログラムに従って行われる。この記録処理においては、放送コンテンツ又は、撮像装置１以外の外部から供給されるコンテンツを第１の記録再生部３６又は第２の記録再生部３８の一方において記録しつつ、他方において、撮像装置１からの映像信号及び音声信号を記録するようにしている。この記録処理は、ユーザの操作入力による所定の記録指示に基づいて開始される。
【００６４】
記録処理を開始すると、制御部３７はまず、ステップＳ８１において、放送又は外部のコンテンツの記録に連動させて、撮像装置１からの映像信号及び音声信号を関連付けて記録する要求があるか否かを検出する。この検出は、たとえば、上述の記録開始指示において該要求が含まれているかを調べることにより行うことができる。該要求が存在することを検出した場合には、ステップＳ８２において、放送又は外部のコンテンツ及び撮像装置１からの映像信号及び音声信号の各記録を第１の記録再生部３６又は第２の記録再生部３８のいずれで行うかについてのユーザ指示を受け入れる。たとえば、撮像装置１からの映像信号及び音声信号を第１の記録再生部３６であるハードディスクにおいて行い、放送又は外部のコンテンツの記録を第２の記録再生部３８におけるＳＤメモリに対して行うといった指定を受け入れる。
【００６５】
次に、ステップＳ８３において、放送又は外部のコンテンツ及び撮像装置１からの映像信号及び音声信号の各記録を指定された第１の記録再生部３６又は第２の記録再生部３８において開始する。なお、これと同時に、放送又は外部のコンテンツの再生映像及び音声の提示がＡＶ装置３において開始される。次に、ステップＳ８４において、ユーザからの記録終了要求に応じて、第１の記録再生部３６及び第２の記録再生部３８への記録を終了し、各記録により生じた各ファイルに対し、他方のファイルを対応ファイルとして特定する対応ファイル特定情報を付随情報として記録する。これにより図８の処理が終了する。対応ファイル特定情報には、対応ファイルのファイル名や格納場所等の情報が含まれる。また、両ファイルを連動させて再生するために必要であれば、上述のタイミングを合わせるための情報を含めるようにしてもよい。各ファイルの再生は、上述図７の場合と同様にして行うことができる。なお、各ファイルの記録に際し、各ファイルの各映像フレームに対し、タイムスタンプを付け直すことにより、このタイムスタンプを、各ファイルの再生に際し、同期をとるのに用いることができる。
【００６６】
一方、ステップＳ８１において、関連付けて記録する要求が存在しないことを検出した場合には、ステップＳ８５において、撮像装置１からの映像信号及び音声信号のみの記録を行い、図８の処理を終了する。なお、この例では対応ファイル特定情報をファイルに付随する情報として記録するようにしているが、この代わりに、ファイルとは別個のテーブル等において記録するようにしてもよい。
【００６７】
図１０は図６又は図８の処理により記録され、図７の再生処理によって再生される映像の一例を示す。図中の１０１は、撮像装置１により撮影してレコーダ装置２により記録され、図７の処理において再生対象とされたファイルに基づく映像部分であり、１０２は該ファイルに対応するファイル、すなわち撮像装置１による撮影に際し、ＡＶ装置３において提示されていたコンテンツのファイルに基づく映像部分である。図１０においては、表示形式が２画面表示に設定され、かつ再生対象とされたファイルに基づく映像信号について反転処理を行うように設定されている場合の再生映像が示されている。映像部分１０１及び１０２はデフォルトのアスペクト比に従い、縮小されている。映像部分１０１は鏡像反転されているので、ユーザは鏡に映った自分を見ている場合と同じ向きで、映像部分１０１内の自分の映像を見ることができる。
【００６８】
図６〜図８の実施形態によれば、レコーダ装置２において既に記録されているコンテンツ又は外部から供給されるコンテンツ（放送コンテンツも含む）に関連付けて撮像装置１からの映像信号及び音声信号をレコーダ装置２において記録し、その記録の再生時には該関連コンテンツと合成して提示することができるようにしたため、該関連コンテンツをＡＶ装置３により視聴しながら動作するユーザの様子をレコーダ装置２において記録するとともに、その後、該記録と、視聴していた関連コンテンツとを合成して再生し、該動作の様子を確認することができる。たとえば、ＡＶ装置３によりダンスやヨガ、ゲームのコンテンツを観ながらそれらに対応する動作をしているユーザの映像や音声を、該コンテンツのデータに関連付けて記録し、その後、設定した合成方法により該コンテンツと合成して再生することができる。したがって、ユーザは、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することができる。
【００６９】
図１１は本発明の他の実施形態に係るＡＶシステムを示す。同図に示すように、このシステムは、撮影に使用する撮像装置４１、撮像装置４１に接続されたゲーム装置４２、及びゲーム装置４２に接続されたＡＶ装置４３を備える。ゲーム装置４２はゲーム装置本来のゲーム機能のほか、撮像装置４１から供給される撮影映像の映像信号及び音声信号をユーザ記録情報として記録するとともに、記録したユーザ記録情報や、他のコンテンツの再生信号をＡＶ装置４３に出力する機能を有する。ゲーム装置４２はインターネット又は専用回線４４を介して他のユーザのゲーム装置４５に接続することができるようになっている。撮像装置４１及びＡＶ装置４３は、図１のシステムにおける撮像装置１及びＡＶ装置３と同様のものである。撮像装置４１はまた、公知の顔認識手段や人感センサ等を備え、撮像装置４１の所定の撮影範囲内にユーザ４６が存在する場合、その旨を検出し、ゲーム装置４２に通知する機能を備える。
【００７０】
図１１においては、ゲームコンテンツに基づいてゲーム装置４２により実行され、ＡＶ装置４３の画面を介して提供されるゲーム機能に係るゲームをユーザ４６が行っている様子を、撮像装置４１により撮影している状況が示されている。ゲーム装置４２は、撮影に伴って撮像装置４１から送られる映像信号及び音声信号をユーザ記録情報として記録している。
【００７１】
図１２はゲーム装置４２の構成を示すブロック図である。同図に示すように、ゲーム装置４２は、ゲームデータが記録されるゲーム記録媒体５１、撮像装置４１からの映像信号及び音声信号の入力をそれぞれ受け入れる映像信号入力部５２及び音声信号入力部５３、コンテンツの映像信号及び音声信号をＡＶ装置４３等に出力するための映像信号出力部５４及び音声信号出力部５５、ゲームの進行の度合い等のゲーム記録情報を記録する第１の記録部５６、映像信号入力部５２及び音声信号入力部５３を介して入力される映像信号及び音声信号をユーザ記録情報として記録する第２の記録部５７、装置の各部を制御する制御部５８、第１の記録部５６や第２の記録部５７に記録されているデータに基づいて再生を行う再生部５９、ユーザによる各種操作入力を受け入れる操作入力部６０、インターネット又は専用回線４４を介して他のユーザのゲーム装置４５との接続を可能とする通信部６１を備える。
【００７２】
映像信号入力部５２及び音声信号入力部５３は、撮像装置４１からの映像信号及び音声信号として、撮影対象とされるユーザ４６の動作等についての映像信号及び音声信号の入力を受け入れる。操作入力部６０はユーザインタフェースを構成し、ユーザからの各種操作の入力を受け付ける。典型的にはゲーム用コントローラであるが、ＴＶ用のリモコンのようなものであってもよい。具体的には、ゲームのプレイに用いたり、ゲーム機の有する各種機能、たとえばＤＶＤ等の記録媒体の再生機能や、ＵＳＢメモリやＳＤカードに記録された写真、動画、楽曲等の再生機能に関する指示を行うために用いられるものである。また、本実施形態においては、ゲームを行っている最中のユーザ４６の映像を記録させる指示や、記録した映像を所定の操作により再生させたり、ゲームのリプレイ画像に合わせて再生させたりするために用いられる。再生部５９は、ゲーム記録媒体５１に記録されたゲームデータに基づき、ユーザ指示やゲームイベントの進行に応じ、ゲーム画面の再生を行う。また、ユーザの指示に応じ、第２の記録部５７に記録されているユーザ記録情報のファイルに基づく再生を行う。
【００７３】
ゲーム記録媒体５１にはゲームソフトとして頒布されるゲームデータが記録される。映像信号出力部５４及び音声信号出力部５５は、ゲーム記録媒体５１から読み出されたゲームデータや、第２の記録部５７に記録されているファイルに基づく映像信号及び音声信号をＡＶ装置４３に出力する。音声信号はＡＶ装置４３とは別体のスピーカ装置等に出力されるようにしてもよい。制御部５８は、ユーザ操作等に応じて各部を制御し、上述のゲーム記録情報やユーザ記録情報を第１の記録部５６や第２の記録部５７へ記録したり、これらの記録に基づく再生を行ったり、ゲーム記録媒体５１のゲームデータ及びユーザ操作に従ってゲーム画面の表示や必要な処理をゲーム処理として行ったりする。通信部６１は、有線ＬＡＮ、無線ＬＡＮ、ブルートゥース、携帯電話網等に接続するための通信モジュール等で構成され、インターネット又は専用回線４４を通じて、他のユーザのゲーム装置４５との間で、ゲーム記録情報やユーザ記録情報等の送受を行う。
【００７４】
なお、ゲーム記録情報は、ゲームを行った後、ゲームのプレイ内容を再現するための情報である。ゲーム記録情報としては、リプレイデータ及び、映像及び音声のデータとが考えられる。リプレイデータとは、ゲームのプレイ内容を後で完全に再現するために記録されるデータである。リプレイデータとしてはたとえば、ゲーム中のキャラクタのパラメータデータの変化量についての推移や、ゲームイベントの進行状況等のデータが該当する。映像及び音声のデータとは、ゲーム機能を実行する際のゲーム処理によってＡＶ装置４３に送られる映像信号及び音声信号のデータそのものである。
【００７５】
図１３はゲーム装置４２における記録処理を示すフローチャートである。この記録処理は、制御部５８により所定のプログラムに従って行われる。この記録処理は、ゲーム処理を開始した後、ユーザからの記録指示に基づいて開始される。この記録処理においては、ユーザ記録情報（撮像装置からの信号）及びゲーム記録情報の記録が行われる。
【００７６】
記録処理を開始すると、制御部５８はまず、ステップＳ３０１において、撮像装置４１から、撮影範囲内にユーザ４６が存在することを認識した旨の通知を受信するのを待機する。該通知を受信すると、ステップＳ３０２において、撮像装置４１から送信されるユーザ４６の映像信号及び音声信号の記録を開始する。これにより、制御部５８によるゲーム処理によってＡＶ装置４３において提示されるゲーム内容に応じて動作するユーザの様子がユーザ記録情報として記録されることになる。記録は第２の記録部５７において行われる。次に、ステップＳ３０３において、ゲーム記録情報の記録を開始する。ゲーム記録情報の記録は第１の記録部５６に対して行われる。
【００７７】
次に、ステップＳ３０４において、ユーザからの撮影終了の指示を待機する。撮影終了の指示は、典型的には操作入力部６０を介して与えられる。撮影終了の指示があった場合には、ステップＳ３０５に進み、撮像装置４１からの映像信号及び音声信号の記録を終了する。これにより、ユーザ記録情報のファイルが生成されたことになる。このとき、生成されたファイルに対応する映像のサムネイルデータを生成するとともに、該ファイルに関連する特定の用語や該ファイルの記録日時等を記録する。また、ステップＳ３０６において、ゲーム記録情報の記録を終了する。記録の終了に際しては、記録の開始から終了までにおけるリプレイデータの記録又はゲームの映像信号及び音声信号の記録を１つのファイルにファイル化する等の処理を行う。また、生成されたユーザ記録情報及びゲーム記録情報のファイルが相互に関連するものである旨を示す情報を、双方のファイルに付随させ、対応ファイル特定情報として記録する。これにより、図１３の記録処理が終了する。なお、この例では対応ファイル特定情報をファイルに付随する情報として記録するようにしているが、この代わりに、ファイルとは別個のテーブル等において記録するようにしてもよい。
【００７８】
図１４はゲーム装置４２における別の記録処理を示すフローチャートである。この記録処理は、制御部５８により、所定のプログラムに従って行われる。この記録処理は、ゲーム処理を開始した後、ユーザの操作入力による所定の記録指示に基づいて開始される。この記録処理においては、ユーザ記録情報（撮像装置からの信号）及びゲーム記録情報の記録が行われる。同図におけるステップＳ４０１〜Ｓ４０３、Ｓ４０５及びＳ４０６の処理は、図１３中のステップＳ３０１〜Ｓ３０３、Ｓ３０５、及びＳ３０６の処理と同様である。
【００７９】
図１４の記録処理を開始し、ステップＳ４０１〜Ｓ４０３の処理を図１３におけるステップＳ３０１〜Ｓ３０３と同様に行った後、ステップステップＳ４０４では、ゲーム中の所定のイベントが終了するのを待機する。所定のイベントが終了した場合としては、たとえば、ゲームにおけるあるステージをクリアした場合や、教則型のゲームコンテンツにおける１単位、たとえばヨガの１ポーズが終了した場合、スポーツゲームにおける得点シーン、たとえば野球のホームランやサッカーのゴールシーンがあった場合が該当する。
【００８０】
ステップ４０４において所定のイベントが終了したことを検出すると、ステップＳ４０５及びＳ４０６において、図１３のステップＳ３０５及びＳ３０６の場合と同様にして、撮像装置４１からの信号の記録（ユーザ記録情報の記録）及びゲーム記録情報の記録を終了する。これにより、図１４の記録処理が終了する。
【００８１】
なお、この記録処理において、ステップＳ４０４で待機する所定のイベントの終了が得点シーンである場合には、記録終了時点から所定の期間又は箇所まで遡った部分までについてのゲーム記録情報及びユーザ記録情報のみを残し、それ以前の記録は削除するようにしてもよい。また、その削除を行うかどうか、又はゲーム記録情報若しくはユーザ記録情報のうちのいずれか若しくは双方を削除するかどうかをユーザが選択できるようにしてもよい。
【００８２】
図１５はゲーム装置４２におけるさらに別の記録処理を示すフローチャートである。この記録処理は、制御部５８により、所定のプログラムに従って行われる。この記録処理はゲーム処理を開始した後、ユーザからの記録指示に基づいて開始される。この記録処理においてはユーザ記録情報（撮像装置からの信号）及びゲーム記録情報の記録が行われる。同図におけるステップＳ５０１、Ｓ５０３〜Ｓ５０７の処理はそれぞれ、図１４中のステップＳ４０１〜Ｓ４０６の処理と同様である。
【００８３】
記録処理を開始し、ステップＳ５０１において、図１４のステップＳ４０１の場合と同様にして撮像装置４１からのユーザ４６の存在を認識した旨の通知を受信すると、制御部５８はステップＳ５０２において、ゲーム処理における所定のゲームイベントが開始されるのを待機する。所定のゲームイベントの開始としては、たとえば、ゲーム中のあるステージの開始、教則型のゲームコンテンツにおける１単位の開始、スポーツゲームにおける試合の開始、前半戦又は後半戦の開始、野球の攻撃・守備の交代などが該当する。
【００８４】
所定のゲームイベントの開始を検出すると、ステップＳ５０３〜Ｓ５０７において、図１４のステップＳ４０２〜４０６の場合と同様にして、所定のゲームイベントが終了するまで、ゲーム記録情報及びユーザ記録情報の記録を行う。この記録を終了すると、記録により生成したユーザ記録情報のファイルに対応する映像のサムネイルデータを生成するとともに、該ファイルに関連する特定の用語や該ファイルの記録日時等を記録する。そしてステップＳ５０８において、ゲームの終了指示がユーザからなされたか否かを判定する。具体的には、ゲーム装置４２において電源操作、リセットボタンの押下、別のゲームの選択等があったかどうかを判定する。ゲームオーバのイベントの発生を、ゲームの終了とみなすようにしてもよい。ゲームの終了指示がなされたと判定した場合は図１５の記録処理を終了する。終了指示がなされていないと判定した場合にはステップＳ５０２に戻り、次のゲームイベントの開始を待機する。
【００８５】
図１６はゲーム装置４２における再生処理を示すフローチャートである。この再生処理は、制御部５８により、所定のプログラムに従って行われる。
【００８６】
再生処理が開始されると、制御部５８は、まず、ステップＳ６０１において、ユーザの指示に応じ、第２の記録部５７において記録されているユーザ記録情報のファイルのうちの所望のものの選択を受け入れる。具体的には、各ファイルにおける記録映像のサムネイル表示を伴う選択の受入れや、特定の用語や記録日時等をキーとするソートや検索を伴う選択の受入れを行う。
【００８７】
次に、ステップＳ６０２において、選択されたファイルに関連するゲーム記録情報のファイルが存在するか否かを判定する。この判定は、各ファイルに付随する対応ファイル特定情報に基づいて行うことができる。関連するファイルが存在しない場合としては、たとえば、記録処理において第１の記録部５６に記録したゲーム記録情報のファイルが削除された場合が該当する。また、ゲーム記録情報がリプレイデータを記録したものである場合には、対応するゲームデータそのものがゲーム記録媒体５１において存在しない場合、たとえばゲーム記録媒体５１が交換された場合も該当する。
【００８８】
関連するゲーム記録情報の記録ファイルが存在すると判定した場合には、ステップＳ６０３において再生方法の設定を受け入れる。再生方法の設定としては、たとえば、ゲーム記録情報のファイルに基づくゲーム映像と、ユーザ記録情報のファイルに基づくユーザの映像とを１画面上に並べて同時に表示するか、又は一方の映像を再生した後に他方の映像を再生するかどうかの設定が該当する。上述のピクチャ・イン・ピクチャや、映像割り当て、反転処理の有無等の設定を受け入れるようにしてもよい。ゲーム映像及びユーザ映像を同時に又は連続して表示することにより、ゲーム映像とユーザ映像とを比較することが可能となる。
【００８９】
次に、ステップＳ６０４におて、設定された再生方法によりゲーム映像及びユーザ映像の再生表示を行い、図１５の再生処理を終了する。なお、ゲーム映像及びユーザ映像を同時に表示する場合には、再生時における両者の時間関係を記録時における時間関係と一致させるために、上述のようにタイムスタンプを用いるようにしてもよい。ステップＳ６０２において関連するゲーム記録情報のファイルが存在しないと判定した場合には、ステップＳ６０５において、ゲーム映像が存在しない旨を表示し、及びユーザ映像のみを再生表示して、図１６の再生処理を終了する。なお、この例では対応ファイル特定情報がファイルに付随する情報として記録されているが、この代わりに、ファイルとは別個のテーブル等において記録されていてもよい。
【００９０】
図１１〜図１６の実施形態によれば、ＡＶシステムにおいてゲームを行っているユーザの様子と、ゲーム記録情報とを並行して記録するとともに、相互に関連するユーザ映像及びゲーム映像を同時に又は連続的に再生できるようにしたため、ゲームを行った後、ゲームを行っているユーザの様子をゲームの映像ととともに確認することができる。その際、図１４や図１５の形態によれば、ゲームイベント毎にユーザ映像及びゲーム記録情報を記録するようにしたため、ゲームイベント毎に再生を行うことができる。また、ゲーム記録情報としてリプレイデータを記録する場合には、ゲーム記録情報として映像信号及び音声信号を記録する場合よりも、第１の記録部における記憶容量を節減することができる。
【００９１】
なお、本発明は、上述実施形態に限定されることなく適宜変形して実施することができる。たとえば、上述においては、鏡像反転の設定は、映像信号入力部３３からの映像信号（撮像部１からの映像信号）又は再生対象とされたファイル（撮像装置１により撮影された映像のファイル）に基づく映像信号を対象として行うことができることとしているが、これとは逆に、内部映像信号、又は再生対象ファイルの対応ファイルに基づく映像信号を対象として行うことができるようにしてもよい。この場合、ユーザの映像は反転せず、ユーザが視聴しているコンテンツの映像の方を反転させて合成映像を表示させることができるので、両映像の比較や確認を行いやすい場合がある。
【００９２】
また、上述においては、映像信号入力部３３からの映像信号（撮像部１からの映像信号と内部映像信号とをそのままの時間的関係で合成し、あるいは映像信号入力部３３からの映像信号の記録時における該映像信号と、再生コンテンツ又は放送若しくは外部コンテンツの再生信号との時間的関係を維持したまま合成表示を行うようにしているが、この代わりに、映像信号入力部３３からの映像信号の方をやや遅らせて合成し又は合成表示を行うようにしてもよい。
【００９３】
また、上述においては、対応ファイル特定情報をファイルに付随する情報として記録するようにしているが、この代わりに、ファイルとは別個のテーブル等において記録するようにしてもよい。
【符号の説明】
【００９４】
１：撮像装置、２：記録装置、３：ＡＶ装置、４：ユーザ、１１：撮像部、１２：マイク部、１３：映像信号入力部、１４：音声信号入力部、１５：操作入力部、１６：記録部、１７：制御部、１８：表示部、１９：スピーカ部、２０：映像信号出力部、２１：音声信号出力部、３１：チューナ部、３２：デコーダ、３３：映像信号入力部、３４：音声信号入力部、３５：操作入力部、３６：第１の記録再生部、３７：制御部、３８：第２の記録再生部、３９：音声信号出力部、４０：映像信号出力部、４１：撮像装置、４２：ゲーム装置、４３：ＡＶ装置、４４：インターネット又は専用回線、４５：ゲーム装置、４６：ユーザ、５１：ゲーム記録媒体、５２：映像信号入力部、５３：音声信号入力部、５４：映像信号出力部、５５：音声信号出力部、５６：第１の記録部、５７：第２の記録部、５８：制御部、５９：再生部、６０：操作入力部、６１：通信部、９１，９２，１０１，１０２：映像部分。
【技術分野】
【０００１】
本発明は、撮像装置を有するＡＶシステム、該システムにおける記録装置としてコンピュータを機能させるプログラム、該システムに用いるに適した記録装置、及び該システムに適した映像記録方法に関する。
【背景技術】
【０００２】
従来、テレビ等の表示装置に自分を映し出す方法として、たとえばテレビ電話システムが知られている（たとえば特許文献１参照）。このシステムにおいては、話者のそれぞれがテレビジョンカメラ及びディスプレイを有し、テレビジョンカメラで撮影した画像情報を相手側のディスプレイ上に表示することができる。その際、自らのテレビジョンカメラの撮影方向を制御するとともに、相手側のテレビジョンカメラの撮影方向をも制御することができるようになっている。
【０００３】
また、ゲーム空間内のイベントに対し、ゲーム空間内に配置した仮想カメラの画像をリプレイすることができるゲーム装置が記載されている（たとえば、特許文献２参照）。この装置のリプレイ機能においては、プレーヤの操作入力データや、ゲーム中のキャラクタの位置や姿勢のデータをプレイデータとして記憶し、記憶したプレイデータに基づいてゲームプレイを再現するようにしている。
【０００４】
また、各ゲーム装置に記録されたリプレイデータを収集・配信する技術が知られている（たとえば、特許文献３参照）。この技術においては、リプレイデータをネットワーク上のサーバを介してやり取りし、ダウンロードしたリプレイデータによりリプレイ映像を再生することができるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１１１８６３号公報
【特許文献２】特開２００７−３１３００１号公報
【特許文献３】特開２００６−６８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方、再生中の映像コンテンツを視聴しながら動作する自身の映像を、後で該映像コンテンツにおける動作と比較して見てみたいと思う場合がある。たとえば、ダンスやヨガ等の教則ビデオを視聴しながら、その教則ビデオの動作と同じ動作を試みた後、自身の動作と教則ビデオの動作とを比較してうまくいっているかどうかを確かめたり、不都合な部分を発見したりして、ダンスやヨガ等の上達に役立てることができれば好都合である。また身体を動かすテレビゲームの場合においても、同様にゲーム画面の進行と自分の動きを同時に記録しておき、その後、その記録を再生して双方の動きを比較し、ゲームの上達に役立てることができれば好都合である。
【０００７】
しかしながら、自身を映し出す装置としては、上述のテレビ電話システムやＴＶカメラが知られているが、これらは、自身が視聴している映像コンテンツと、視聴しながら行っている自身の動作とを、事後、容易に比較検討することを可能とするものではない。またこのような比較検討を容易に行うことを可能にするような簡便な装置は知られていない。
【０００８】
また、上述のゲーム装置においては、ゲームをプレイしているユーザのビデオ映像も併せてリプレイすることはできない。つまり、ゲームをプレイしているユーザの姿を、プレイが終わった後で、プレイデータによるリプレイ映像とともに、テレビの画面等において表示させることはできない。したがって、ダンスやヨガ等の教則ゲームや、遠く離れた友人と対戦ゲームをプレイしながら、教則ゲーム等の動作と同じ動作をしているつもりであっても、その後に、その動作を検証するために、自分の動作と、教則ゲームの動作や友人の動作とを比較してみることはできない。
【０００９】
そこで本発明の目的は、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することを可能にする新たな技術を提供することにある。
【課題を解決するための手段】
【００１０】
この目的を達成するため、第１の発明に係る記録装置は、装置外部の撮像装置から供給される第１の映像に係る第１の映像信号を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録装置であって、前記第１映像信号は、前記第２映像信号に基づく映像表示と同時に取得されるものであり、前記合成映像又は連続映像における前記第１映像部分及び第２映像部分間の時間的関係は、前記第１映像の取得時における前記第１映像及び第２映像間の時間的関係と同じであることを特徴とする。
【００１１】
第２の発明に係る記録装置は、第１発明において、前記第１映像信号の記録は、前記第２映像信号と合成した信号の記録として行われることを特徴とする。
【００１２】
第３の発明に係る記録装置は、第１発明において、前記第２映像信号は前記記録装置内の記録手段において記録されているファイルに基づくものであり、前記第１映像信号の記録は、該ファイルとは別のファイルへの記録として行われることを特徴とする。
【００１３】
第４の発明に係る記録装置は、第１発明において、前記第２映像信号は前記記録装置の外部から供給されるものであり、前記第１映像信号の記録は、該第２映像信号の前記記録装置における記録と同時に、かつ別個のファイルとして行われることを特徴とする。
【００１４】
第５の発明に係る記録装置は、第３又は第４発明において、前記第１映像信号の記録に際し、前記後の再生がなし得るように、対応する前記第２映像信号に係る映像データにおける再生開始アドレスを記録することを特徴とする。
【００１５】
第６の発明に係る記録装置は、第１発明において、前記記録装置はユーザの操作入力に応答して所定のデータに基づく映像の表示を行うものであり、前記第２映像信号は該表示映像の映像信号であり、前記第１映像信号の記録は、該第２映像信号の前記記録装置における記録と同時に、かつ別個のファイルとして行われることを特徴とする。
【００１６】
第７の発明に係る記録装置は、第１発明において、前記記録装置はユーザの操作入力に応答して所定のデータに基づく映像の表示を行うとともに、リプレイ再生を行うためのリプレイデータを記録するものであり、前記第２映像信号は該表示映像の映像信号であり、前記第１映像信号の記録は、該第２映像信号に対応するリプレイデータのファイルの前記記録装置における記録と同時に行われることを特徴とする。
【００１７】
第８の発明に係る記録装置は、第６又は第７発明において、前記１映像信号の記録は、所定のイベントが終了した時点で終了されることを特徴とする。
【００１８】
第９の発明に係る記録装置は、第６〜第８のいずれかの発明において、前記１映像信号の記録は、所定のイベントが開始された時点で開始されることを特徴とする。
【００１９】
第１０の発明に係る記録装置は、第３〜第８のいずれかの発明において、前記記録装置は、前記第１映像信号のファイル又はこれに対応する前記第２映像信号に係るファイルに基づく再生を行う旨の指示が与えられたとき、両ファイルに基づく映像信号を、前記合成映像又は連続映像を表示し得るように、合成した信号として、又は別個の信号として出力するものであることを特徴とする。
【００２０】
第１１の発明に係る記録装置は、第１０発明において、前記記録装置から出力される合成した信号又は別個の信号に基づき、前記合成映像又は連続映像を表示するＡＶ装置を有することを特徴とする。
【００２１】
第１２の発明に係る記録装置は、第１〜第１１のいずれかの発明において、前記記録装置は前記合成映像又は連続映像に関する設定を受け入れる入力手段を備え、前記設定には、前記合成映像において前記第１映像若しくは第２映像の部分を鏡像反転させるかどうかの設定が含まれることを特徴とする。
【００２２】
第１３の発明に係る記録装置は、第１２発明において、前記設定には、前記合成映像をピクチャ・イン・ピクチャ又は２画面表示のいずれの映像とするかの設定、又は前記合成映像における前記第１映像部分又は前記第２映像部分のアスペクト比の設定が含まれることを特徴とする。
【００２３】
第１４の発明に係る記録装置は、第１〜第１３のいずれかの発明において、前記第１映像信号及び第２映像信号には音声信号が付随しており、前記合成映像又は連続映像の再生に際しては、付随する各音声信号のうち、指示されたものが再生されることを特徴とする。
【００２４】
第１５の発明に係る記録装置は、第１〜第１４のいずれかの発明において、前記第１映像信号の記録は、前記撮像装置がユーザを認識したことを条件として開始されることを特徴とする。
【００２５】
第１６の発明に係るプログラムは、コンピュータを、第１〜第１５のいずれかの発明に係る記録装置として機能させることを特徴とする。
【００２６】
第１７の発明に係るＡＶシステムは、映像信号を出力する撮像装置と、前記撮像装置により得られる第１の映像に係る第１の映像信号を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録装置とを具備し、前記第１映像信号は、前記第２映像信号に基づく映像表示と同時に取得されるものであり、前記合成映像又は連続映像における前記第１映像部分及び第２映像部分間の時間的関係は、前記第１映像の取得時における前記第１映像及び第２映像間の時間的関係と同じであることを特徴とする。
【００２７】
第１８の発明に係る映像記録方法は、映像信号を出力する撮像工程と、前記撮像工程により得られる第１の映像に係る第１の映像信号を、該第１映像を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録工程とを具備し、前記第１映像信号は、前記第２映像信号に基づく映像表示と同時に取得されるものであり、前記合成映像又は連続映像における前記第１映像部分及び第２映像部分間の時間的関係は、前記第１映像の取得時における前記第１映像及び第２映像間の時間的関係と同じであることを特徴とする。
【発明の効果】
【００２８】
本発明によれば、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することを可能にする新たな技術を提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係るＡＶシステムを示す図である。
【図２】図１のシステムにおける撮像装置の構成を示すブロック図である。
【図３】図１のシステムにおける記録装置の構成を示すブロック図である。
【図４】図３の記録装置における記録処理を示すフローチャートである。
【図５】図４の一部の処理の詳細を示すフローチャートである。
【図６】図３の記録装置における再生処理を示すブロック図である。
【図７】図６の再生処理において記録されたファイルに対応した再生処理を示すフローチャートである。
【図８】図３の記録装置における別の記録処理を示すフローチャートである。
【図９】図３及び図４の処理によって記録されたファイルに基づいて再生される映像の一例を示す図である。
【図１０】図７の再生処理によって再生される映像の一例を示す図である。
【図１１】本発明の他の実施形態に係るＡＶシステムを示す図である。
【図１２】図１１のシステムにおけるゲーム装置の構成を示すブロック図である。
【図１３】図１１のシステムのゲーム装置における記録処理を示すフローチャートである。
【図１４】図１１のシステムのゲーム装置における別の記録処理を示すフローチャートである。
【図１５】図１１のシステムのゲーム装置におけるさらに別の記録処理を示すフローチャートである。
【図１６】図１１のシステムのゲーム装置における再生処理を示すフローチャートである。
【発明を実施するための形態】
【００３０】
図１は、本発明の一実施形態に係るＡＶシステムを示す。同図に示すように、このシステムは撮影に使用する撮像装置１、撮像装置１に接続されたレコーダ装置２、及びレコーダ装置２に接続されたＡＶ装置３を備える。レコーダ装置２は、撮像装置１から供給される撮影映像の映像信号及び音声信号を記録するとともに、記録した映像信号及び音声信号や、他のコンテンツの再生信号をＡＶ装置３に出力する機能を有する。ＡＶ装置３は、レコーダ装置２からの映像信号及び音声信号や、コンテンツの再生信号に基づいて映像表示や音声出力を行う機能を有する。撮像装置１としてはたとえばビデオカメラが該当する。ＡＶ装置３としてはたとえば、テレビジョンセットや、ＡＶパソコンが該当する。レコーダ装置２からＡＶ装置３に再生信号が送られるコンテンツとしては、無線又は有線の放送により提供される放送コンテンツや、ネットワークを介して配信されるコンテンツ、ＤＶＤ等に記録されたコンテンツなどが該当する。
【００３１】
図１においては、ユーザ４がＡＶ装置３において再生されているコンテンツを視聴しながら、コンテンツの映像及び音声に合わせて運動をしている様子を撮像装置１により撮影している状況が示されている。レコーダ装置２は、この撮影に伴って撮像装置１から送られる映像信号及び音声信号を、再生コンテンツのデータと合成しながら、又は関連付けながら記録している。
【００３２】
図２は撮像装置１の構成を示すブロック図である。同図に示すように、撮像装置１は、装置の撮影範囲に存在する物体からの光に基づいて結像を行い、その像を映像信号に変換する撮像部１１、装置の周囲の音声を音声信号に変換するマイク部１２、テレビやゲーム機等の外部ソースからの映像信号の入力を受け入れる映像信号入力部１３、外部ソースからの音声信号の入力を受け入れる音声信号入力部１４、各種操作入力を受け入れるためのユーザインタフェースを構成する操作入力部１５、記録データを格納する記録部１６、装置各部の制御を行う制御部１７、各種の表示を行う表示部１８、記録又は再生中の音声信号に基づいて音声の出力を行うスピーカ部１９、記録又は再生中の映像信号を外部に出力する映像信号出力部２０、及び記録又は再生中の音声信号を外部に出力する音声信号出力部２１を備える。
【００３３】
操作入力部１５が受け入れる各種操作入力としては、たとえば、撮像部１１による撮影や、映像信号入力部１３や音声信号入力部１４からの信号に基づく記録部１６への記録、記録部１６における記録内容に基づいて映像信号出力部２０及び音声信号出力部２１から出力を行う処理、撮像部１１からの映像信号やマイク部１２からの音声信号を記録部１６において記録させることなく映像信号出力部２０及び音声信号出力部２１から出力を行う処理、記録部１６における記録内容の再生処理や編集処理等に関する指示が該当する。記録部１６に記録される信号としてはたとえば、撮像部１１や、マイク部１２、映像信号入力部１３、音声信号入力部１４からの信号や、これらの信号を操作入力部１５からの指示に基づいて合成したものが該当する。記録部１６としては、典型的にはハードディスクやメモリカード等を用いることができるが、ＤＶＤやＢＤ（ブルーレイディスク）等のディスクメディアであってもよい。制御部１７は、操作入力部１５における操作入力に従い、記録部１６への記録処理や、記録部１６の記録内容に基づく再生処理や、撮影モード等に関する各種の設定処理を行う。表示部１８は、操作入力に基づく制御部１７からの指令に応じ、再生映像や記録中の映像の表示、設定画面の表示等の各種表示を行う。スピーカ部１９は、再生音等の出力を行う。
【００３４】
図３はレコーダ装置２の構成を示すブロック図である。同図に示すように、レコーダ装置２は、図示していないアンテナを介して放送波の受信処理を行うチューナ部３１、チューナ部３１からの受信信号をデコードするデコーダ３２、撮像装置１やゲーム装置等の外部機器からの映像信号及び音声信号の入力をそれぞれ受け入れる映像信号入力部３３及び音声信号入力部３４、ユーザの各種操作入力を受け入れる操作入力部３５、各種コンテンツデータの記録及び再生を行う第１の記録再生部３６、装置の各部を制御する制御部３７、各種コンテンツデータの記録及び再生を行う第２の記録再生部３８、並びにコンテンツの再生音声信号及び再生映像信号を外部に出力するための音声信号出力部３９及び映像信号出力部４０を備える。映像信号入力部３３及び音声信号入力部３４には撮像装置１が接続され、その撮像部１１からの映像信号及びマイク部１２からの音声信号が入力されるようになっている。また、音声信号出力部３９及び映像信号出力部４０にはＡＶ装置３が接続され、音声信号出力部３９及び映像信号出力部４０から出力される信号に基づき、ＡＶ装置３において映像表示及び音声出力が行われるようになっている。
【００３５】
デコーダ３２は第１の記録再生部３６及び第２の記録部３８に記録されているコンテンツデータについてのデコードも行う。制御部３７は、操作入力部３５を介して、種々の指示を受け入れ、必要な制御や処理を行う。受け入れる指示としては、たとえば、放送番組の録画予約やＥＰＧ（電子番組ガイド）の表示、第１の記録再生部３６及び第２の記録再生部３８間のダビング処理、映像信号入力部３３及び音声信号入力部３４を介して入力される映像信号及び音声信号についての第１又は第２の記録再生部３６又は３８への記録処理、第１又は第２の記録再生部３６又は３８に記録されているデータの再生処理等に関する指示が該当する。第１の記録再生部３６は、映像信号入力部３３及び音声信号入力部３４を介して供給される映像信号及び音声信号や、第２の記録再生部３８に記録されているコンテンツデータ等を記録し、記録したデータの再生等を行う。第１の記録再生部３６としては、典型的にはハードディスク装置が該当する。第２の記録再生部３８は、映像信号入力部３３及び音声信号入力部３４を介して供給されるコンテンツデータや、第１の記録再生部３６に記録されているコンテンツデータ等を記録し、記録したコンテンツデータの再生を行う。第２の記録再生部３８としては、典型的には、ＤＶＤ、ＢＤ（ブルーレイディスク）などのディスクメディアや、ＳＤカードなどのフラッシュメモリ等が該当する。
【００３６】
図４はレコーダ装置２における記録処理を示すフローチャートである。この処理は、制御部３７により、所定のプログラムに従って行われ、ユーザの操作入力による所定の記録指示に基づいて開始される。この記録処理においては、撮像装置１からの映像信号及び音声信号の記録が行われる。
【００３７】
記録処理を開始すると、制御部３７はまず、ステップＳ４１において、第１の記録再生部３６若しくは第２の記録再生部３８からの再生映像信号、又は放送波に基づく映像信号（以下、これらの信号を「内部映像信号」という。）と、撮像装置１からの映像信号とを同時に記録する要求が前記記録指示においてなされているかどうかを判定する。該要求がなされていると判定した場合には、ステップＳ４２において、内部映像信号中に、コピーを禁止する旨を示すコピー禁止（コピープロテクト）信号が含まれているか否かを判定する。含まれていないと判定した場合には、ステップＳ４３において、映像信号入力部３３及び音声信号入力部３４からの映像信号及び音声信号、並びに内部映像信号及びこれに付随する音声信号に基づき、これらの信号を合成しながら、第１又は第２の記録再生部３６又は３８への記録を行う。これにより図４の処理が終了する。なお、合成される内部映像信号及び付随する音声信号は、前記記録指示に含まれる指示により指定されたコンテンツに係るものである。
【００３８】
一方、ステップＳ４１において同時に記録する要求がなされていないと判定した場合には、ステップＳ４４へ進み、映像信号入力部３３及び音声信号入力部３４からの映像信号及び音声信号に基づく通常の記録を行い、図４の処理を終了する。また、ステップＳ４２においてコピー禁止信号が含まれていると判定した場合には、ステップＳ４５へ進み、コピー禁止である旨を示す表示や音声の出力を行い、図４の処理を終了する。
【００３９】
図５は図４のステップＳ４３の処理を示すフローチャートである。この処理では、ユーザが設定する合成方法に従って、映像信号入力部３３及び音声信号入力部３４からの映像信号及び音声信号と、内部映像信号及びこれに付随する音声信号とを合成し、１つの動画ファイルとして記録する。
【００４０】
すなわち、処理を開始すると、まず、ステップＳ５１において、ユーザの操作入力による合成方法の設定を受け入れる。この設定においては、映像信号入力部３３及び音声信号入力部３４からの信号と、内部映像信号及びこれに付随する音声信号とをどのようにして合成するかが設定される。設定事項としては、たとえば、映像信号入力部３３からの映像信号による映像及び内部映像信号による映像の配置に関する設定、映像信号入力部３３からの映像信号（撮像部１１からの映像信号）について鏡に写ったような映像変換を行う処理（以下、反転処理又は鏡像変換処理と呼ぶ）を行うか否かの設定、音声信号入力部３４からの音声信号及び内部映像信号に付随する音声信号のうち記録する音声信号及びその記録形態に関する設定が該当する。
【００４１】
映像の配置に関する設定としては、たとえば、従来のピクチャ・イン・ピクチャや２画面表示といった表示形式に対応した画面配置形式の設定や、その場合におけるどちらの画面にどちらの映像を割り当てるかの設定や、各画面のアスペクト比の設定が該当する。記録する音声信号及びその記録形態に関する設定としては、たとえば、内部映像信号に付随する主・副音声信号のうちの双方又は一方のみを記録するかどうか、音声信号入力部３４からの音声信号を記録するかどうか等に関する設定や、記録する各音声信号を主・副音声として記録するかどうか、どの音声信号をどのチャンネルの音声信号として記録するかどうか等に関する設定が該当する。各設定事項については、ユーザによる設定がなされない場合には、デフォルトの設定や、前回の設定が採用される。
【００４２】
次に、ステップＳ５２において、設定された合成方法に合致するように、映像信号入力部３３からの映像信号及び／又は内部映像信号のアスペクト比を変更する必要があるか否かを判定する。変更を要すると判定した場合には、ステップＳ５３においてアスペクト比の変更を行い、変更後の映像信号入力部３３からの映像信号及び/又は内部映像信号に基づく表示を行い、ステップＳ５４へ進む。アスペクト比の変更を要しないと判定した場合には、そのままステップＳ５４へ進む。
【００４３】
ステップＳ５４では、設定された合成方法に合致するように、映像信号入力部３３からの映像信号について反転処理を行うかどうかを判定する。反転処理を行うと判定した場合には、ステップＳ５５において、映像信号入力部３３からの映像信号について反転処理を開始し、反転処理された映像信号に基づく映像の表示を行い、ステップＳ５６に進む。反転処理は行わないと判定した場合には、そのままステップＳ５６に進む。
【００４４】
ステップＳ５６では、映像信号入力部３３からの映像信号及び内部映像信号を、設定された合成方法により合成した信号に基づく映像の表示を行うとともに、ユーザからの記録指示を待って、該合成信号を、音声に関する設定内容に従い、音声信号入力部３４からの音声信号及び／又は内部映像信号に付随する音声信号とともに、１つのファイルとして記録する処理を開始し、ユーザの指示により記録を終了する。これにより、図５の処理が完了する。なお、合成信号を記録する間、内部映像信号及び付随する音声信号がＡＶ装置３に出力され、これらの信号に基づき、ＡＶ装置３において映像の表示及び音声の出力がなされる。
【００４５】
なお、映像信号の合成は、たとえば、所定のメモリ領域を用い、両映像信号の各時点での映像フレーム毎に、設定された合成方法に従い、両フレームのデータに基づいて該メモリ領域に書込みを行い、該メモリ領域から１フレームの映像信号として読み出すことにより行うことができる。
【００４６】
図９は図４及び図５の処理によって合成して記録されたファイルに基づいて再生される映像の一例を示す。図中の９１は映像信号入力部３３からの映像信号に対応する映像部分であり、９２は内部映像信号に対応する映像部分である。つまり、図９においては、画面配置形式が２画面表示に対応した形式に設定され、かつ映像信号入力部３３からの映像信号について鏡像反転するように設定されて記録が行われたファイルについての再生映像が示されている。映像部分９１は、合成時に、トリミング処理及び拡大処理が行われ、かつ鏡像反転されている。映像部分９２は、デフォルトのアスペクト比に従い、縮小されている。映像部分９１により、ユーザは、鏡に映った自分を見ている場合と同じ向きで自分の映像を見ることができる。
【００４７】
本実施形態によれば、映像信号入力部３３及び音声信号入力部３４からの映像信号及び音声信号（撮像装置１からの信号）と、レコーダ装置２において生成される内部映像信号及びこれに付随する音声信号とを合成して記録できるようにしたため、レコーダ装置２から供給される内部映像信号及びこれに付随する音声信号に基づいてＡＶ装置３が表示及び出力している映像及び音声の内容とともに、それをユーザが視聴している状況を併せて記録することができる。たとえば、ＡＶ装置３により提示されるダンスやヨガ、ゲームのコンテンツを観ながらそれらに対応する動作をしているユーザの映像や音声を、コンテンツの映像信号（内部映像信号）及び音声信号と合成して記録することができる。したがってユーザは、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することができる。
【００４８】
図６はレコーダ装置２が撮像装置１からの信号を記録する別の例として、レコーダ装置２における再生処理を示すフローチャートである。この処理は、制御部３７により、所定のプログラムに従って行われる。上述図４及び図５の処理においては、撮像装置１からの信号と、内部映像信号及びこれに付随する音声信号とを合成して記録するようにしているのに対し、図６の処理においては撮像装置１からの信号のみを記録するようにしている。該記録に際し、ユーザに指示されたコンテンツの再生信号がＡＶ装置３に供給され、ＡＶ装置３における映像表示及び音声出力に供せられる。該コンテンツのファイルは、該記録により新たに生成されるファイルに対応する対応ファイルとされ、これを特定する対応ファイル特定情報が、新たに生成されるファイルに対し、付随情報として記録される。
【００４９】
図６の再生処理は、ユーザによる所定の再生開始指示に応じて開始される。この再生開始指示には、第１の記録再生部３６又は第２の記録再生部３８に記録されているコンテンツのうちの再生対象とするものの指定が含まれる。再生処理を開始すると、まず、ステップＳ６１において、再生対象とされたコンテンツの再生に連動し、撮像装置１により撮影される映像及びこれに付随する音声信号を、該コンテンツに関連付けて記録する要求が存在するか否かを検出する。この検出は、たとえば、上述の再生開始指示において該要求が含まれているかを調べることにより行うことができる。
【００５０】
該要求が存在することを検出した場合には、ステップＳ６２においてユーザからの記録開始指示を待ち、該指示に応答して、ステップＳ６３において、再生対象とされたコンテンツの再生と、映像信号入力部３３及び音声信号入力部３４を介して撮像装置１から入力される映像信号及び音声信号の記録とを開始する。この記録は該コンテンツが記録されている第１の記録再生部３６又は第２の記録再生部３８とは異なる第１の記録再生部３６又は第２の記録再生部３８に対して行われる。たとえばこの記録は、再生対象とされたコンテンツが第２の記録再生部３８のＢＤやＳＤカードに記録されている場合には、第１の記録再生部３６であるハードディスクに対して行い、逆に該ハードディスクに記録されている場合には、該ＢＤやＳＤカードに対して行う。
【００５１】
次に、ステップＳ６４において、ユーザからの記録の終了要求に応じ、撮像装置１からの信号の記録を終了し、この記録により生じたファイルに付随させて、再生対象とされたコンテンツのファイルを対応ファイルとして特定する対応ファイル特定情報を記録する。対応ファイル特定情報には、対応ファイルのファイル名やアドレス位置等の情報が含まれる。これにより、図６の処理が終了する。
【００５２】
一方、ステップＳ６１において、再生対象とされたコンテンツに関連付けて記録する要求が存在しないことを検出した場合には、ステップＳ６５において、通常のコンテンツ再生の場合と同様に、再生対象とされたコンテンツの再生のみを行い、図６の処理を終了する。なお、この例では対応ファイル特定情報をファイルに付随する情報として記録するようにしているが、この代わりに、ファイルとは別個のテーブル等において記録するようにしてもよい。
【００５３】
図７はレコーダ装置２における再生処理の別の例を示すフローチャートである。この再生処理は、制御部３７により、所定のプログラムに従って行われる。この再生処理においては、図６の処理によって記録されたファイルが、第１の記録再生部３６又は第２の記録再生部３８において存在し得ることを想定している。この再生処理は、再生対象とするファイルを特定したユーザからの再生要求に応じて開始される。
【００５４】
再生処理を開始すると、まず、ステップＳ７１において、再生対象とするファイルに対応ファイル特定情報が付随情報として記録されているか否かを判定する。記録されていると判定した場合には、ステップＳ７２において、該対応ファイル特定情報により特定されるファイルが第１の記録再生部３６又は第２の記録再生部３８において実際に存在するか否かを判定する。
【００５５】
対応ファイルが存在しない場合としては、たとえば、再生対象とされたファイルの記録時にはレコーダ装置２にセットされていたＳＤカードのような記録媒体上に対応ファイルが存在していたが、現在はその記録媒体がレコーダ装置２内に存在しない場合や、対応ファイルが既に消去されている場合が該当する。
【００５６】
ステップＳ７２において対応ファイルが存在すると判定した場合には、ステップＳ７３において、対応ファイルを同時に再生する旨のユーザ指示があったかどうかを判定する。該指示があったと判定した場合には、ステップＳ７４において、再生対象とされたファイル及び対応ファイルを同時に再生する場合の合成方法の設定を受け入れる。設定事項としては、たとえば、各ファイルに基づく映像の表示位置に関する設定、再生対象とされたファイルに基づく映像信号について反転処理（ミラー又は鏡像変換処理）を行うか否かの設定、各ファイルの音声信号のうちのどれを出力するかに関する設定が該当する。
【００５７】
映像の表示位置に関する設定としては、たとえば、従来のピクチャ・イン・ピクチャや２画面表示といった表示形式の設定や、その場合におけるどちらの画面にどちらの映像を割り当てるかの設定や、各画面のアスペクト比の設定が該当する。出力する音声信号に関する設定としては、たとえば、対応ファイルにおける主・副音声信号のうちの双方又は一方のみを出力するかどうかの設定や、再生対象とされたファイルの音声信号を出力するかどうかに関する設定が該当する。各設定事項については、ユーザによる設定がなされない場合には、デフォルトの設定や、前回の設定が採用される。
【００５８】
次に、ステップＳ７５において、再生対象とされたファイルに基づく映像の反転処理（ミラー又は鏡像変換処理）を行うか否かを、上述ステップＳ７４における設定内容に基づいて判定する。反転処理を行うと判定した場合には、ステップＳ７６において、再生対象とされたファイルに基づく映像については反転処理を行うように設定し、ステップＳ７７へ進む。反転処理を行わないと判定した場合には、そのままステップＳ７７へ進む。
【００５９】
ステップＳ７７では、再生対象とされたファイル及び対応ファイルに基づき、ステップＳ７４における設定に従い、合成した映像信号及び出力すべき音声信号を映像信号出力部４０及び音声信号出力部３９を介してＡＶ装置３に出力する。これにより図７の処理が完了する。ＡＶ装置３に出力される映像信号及び音声信号は、ＡＶ出力装置３における映像及び音声の出力に供されることになる。
【００６０】
ステップＳ７７における再生対象とされたファイル及び対応ファイルに基づく映像信号の合成は、たとえば、所定のメモリ領域を用い、両映像信号の各時点での映像フレーム毎に、設定された合成方法に従い、両フレームのデータに基づいて該メモリ領域に書込みを行い、該メモリ領域から１フレームの映像信号として読み出すことにより行うことができる。その際、両映像信号のタイミングを合わせる必要があるので、再生対象とされたファイルに対応ファイル特定情報を記録する際に（図６のステップＳ６４）対応ファイル特定情報中にタイミングを合わせるための情報を含めておき、この情報に基づいてタイミングを合わせる。タイミングを合わせるための情報としては、たとえば、再生対象とされたファイルの映像信号の最初の映像フレームに対応する、対応ファイルの映像フレームに付されたタイムスタンプを用いることができる。両映像信号の合成に際しては、該タイムスタンプが示す時刻の対応ファイルの映像フレームと、再生対象とされたファイルの最初の映像フレームとを対応付けて合成を開始することにより、両映像信号のタイミングを合わせた合成を行うことができる。
【００６１】
一方、ステップＳ７１において対応ファイル特定情報が記録されていないと判定した場合、及びステップＳ７３において対応ファイルを同時に再生する旨のユーザ指示がなかったと判定した場合には、ステップＳ７９に進む。ステップＳ７２において対応ファイルが存在しないと判定した場合には、ステップＳ７８においてその旨を表示してからステップＳ７９に進む。ステップＳ７９においては、再生対象とされたファイルに基づき、映像信号及び音声信号を映像信号出力部４０及び音声信号出力部３９を介してＡＶ出力装置３に出力する。出力される映像信号及び音声信号はＡＶ出力装置３における映像及び音声の出力に供される。この場合には、撮像装置１により撮影した結果のみがＡＶ出力装置３において提示されることになる。これにより図７の処理が完了する。なお、ステップＳ７３において対応ファイルを同時に再生する旨のユーザ指示がなかったと判定した場合には、再生対象とされたファイルの再生終了後に続けて対応ファイルの再生を行うようにしてもよい。
【００６２】
なお、この再生処理においては、再生対象とされたファイル及び対応ファイルに基づく各映像信号を合成してＡＶ装置３に供給するようにしているが、この代わりに、ＡＶ装置３がピクチャ・イン・ピクチャ表示や、２画面表示に対応するものである場合には、各映像信号を合成することなくそのままＡＶ装置３に供給し、ＡＶ装置３において、合成した映像の表示を、ユーザによる合成方法の設定に従い、行うようにしてもよい。ただしこの場合も、各映像信号の供給は、上述のようなタイミングを合わせるための情報に基づき、タイミングを合わせて行う必要がある。また、この例では対応ファイル特定情報がファイルに付随する情報として記録されているが、この代わりに、ファイルとは別個のテーブル等において記録されていてもよい。
【００６３】
図８はレコーダ装置２におけるさらに別の記録処理を示すフローチャートである。この記録処理は制御部３７により、所定のプログラムに従って行われる。この記録処理においては、放送コンテンツ又は、撮像装置１以外の外部から供給されるコンテンツを第１の記録再生部３６又は第２の記録再生部３８の一方において記録しつつ、他方において、撮像装置１からの映像信号及び音声信号を記録するようにしている。この記録処理は、ユーザの操作入力による所定の記録指示に基づいて開始される。
【００６４】
記録処理を開始すると、制御部３７はまず、ステップＳ８１において、放送又は外部のコンテンツの記録に連動させて、撮像装置１からの映像信号及び音声信号を関連付けて記録する要求があるか否かを検出する。この検出は、たとえば、上述の記録開始指示において該要求が含まれているかを調べることにより行うことができる。該要求が存在することを検出した場合には、ステップＳ８２において、放送又は外部のコンテンツ及び撮像装置１からの映像信号及び音声信号の各記録を第１の記録再生部３６又は第２の記録再生部３８のいずれで行うかについてのユーザ指示を受け入れる。たとえば、撮像装置１からの映像信号及び音声信号を第１の記録再生部３６であるハードディスクにおいて行い、放送又は外部のコンテンツの記録を第２の記録再生部３８におけるＳＤメモリに対して行うといった指定を受け入れる。
【００６５】
次に、ステップＳ８３において、放送又は外部のコンテンツ及び撮像装置１からの映像信号及び音声信号の各記録を指定された第１の記録再生部３６又は第２の記録再生部３８において開始する。なお、これと同時に、放送又は外部のコンテンツの再生映像及び音声の提示がＡＶ装置３において開始される。次に、ステップＳ８４において、ユーザからの記録終了要求に応じて、第１の記録再生部３６及び第２の記録再生部３８への記録を終了し、各記録により生じた各ファイルに対し、他方のファイルを対応ファイルとして特定する対応ファイル特定情報を付随情報として記録する。これにより図８の処理が終了する。対応ファイル特定情報には、対応ファイルのファイル名や格納場所等の情報が含まれる。また、両ファイルを連動させて再生するために必要であれば、上述のタイミングを合わせるための情報を含めるようにしてもよい。各ファイルの再生は、上述図７の場合と同様にして行うことができる。なお、各ファイルの記録に際し、各ファイルの各映像フレームに対し、タイムスタンプを付け直すことにより、このタイムスタンプを、各ファイルの再生に際し、同期をとるのに用いることができる。
【００６６】
一方、ステップＳ８１において、関連付けて記録する要求が存在しないことを検出した場合には、ステップＳ８５において、撮像装置１からの映像信号及び音声信号のみの記録を行い、図８の処理を終了する。なお、この例では対応ファイル特定情報をファイルに付随する情報として記録するようにしているが、この代わりに、ファイルとは別個のテーブル等において記録するようにしてもよい。
【００６７】
図１０は図６又は図８の処理により記録され、図７の再生処理によって再生される映像の一例を示す。図中の１０１は、撮像装置１により撮影してレコーダ装置２により記録され、図７の処理において再生対象とされたファイルに基づく映像部分であり、１０２は該ファイルに対応するファイル、すなわち撮像装置１による撮影に際し、ＡＶ装置３において提示されていたコンテンツのファイルに基づく映像部分である。図１０においては、表示形式が２画面表示に設定され、かつ再生対象とされたファイルに基づく映像信号について反転処理を行うように設定されている場合の再生映像が示されている。映像部分１０１及び１０２はデフォルトのアスペクト比に従い、縮小されている。映像部分１０１は鏡像反転されているので、ユーザは鏡に映った自分を見ている場合と同じ向きで、映像部分１０１内の自分の映像を見ることができる。
【００６８】
図６〜図８の実施形態によれば、レコーダ装置２において既に記録されているコンテンツ又は外部から供給されるコンテンツ（放送コンテンツも含む）に関連付けて撮像装置１からの映像信号及び音声信号をレコーダ装置２において記録し、その記録の再生時には該関連コンテンツと合成して提示することができるようにしたため、該関連コンテンツをＡＶ装置３により視聴しながら動作するユーザの様子をレコーダ装置２において記録するとともに、その後、該記録と、視聴していた関連コンテンツとを合成して再生し、該動作の様子を確認することができる。たとえば、ＡＶ装置３によりダンスやヨガ、ゲームのコンテンツを観ながらそれらに対応する動作をしているユーザの映像や音声を、該コンテンツのデータに関連付けて記録し、その後、設定した合成方法により該コンテンツと合成して再生することができる。したがって、ユーザは、再生中のコンテンツを視聴しながら行う自身の動作を、事後、該コンテンツの映像と容易に比較しながら確認することができる。
【００６９】
図１１は本発明の他の実施形態に係るＡＶシステムを示す。同図に示すように、このシステムは、撮影に使用する撮像装置４１、撮像装置４１に接続されたゲーム装置４２、及びゲーム装置４２に接続されたＡＶ装置４３を備える。ゲーム装置４２はゲーム装置本来のゲーム機能のほか、撮像装置４１から供給される撮影映像の映像信号及び音声信号をユーザ記録情報として記録するとともに、記録したユーザ記録情報や、他のコンテンツの再生信号をＡＶ装置４３に出力する機能を有する。ゲーム装置４２はインターネット又は専用回線４４を介して他のユーザのゲーム装置４５に接続することができるようになっている。撮像装置４１及びＡＶ装置４３は、図１のシステムにおける撮像装置１及びＡＶ装置３と同様のものである。撮像装置４１はまた、公知の顔認識手段や人感センサ等を備え、撮像装置４１の所定の撮影範囲内にユーザ４６が存在する場合、その旨を検出し、ゲーム装置４２に通知する機能を備える。
【００７０】
図１１においては、ゲームコンテンツに基づいてゲーム装置４２により実行され、ＡＶ装置４３の画面を介して提供されるゲーム機能に係るゲームをユーザ４６が行っている様子を、撮像装置４１により撮影している状況が示されている。ゲーム装置４２は、撮影に伴って撮像装置４１から送られる映像信号及び音声信号をユーザ記録情報として記録している。
【００７１】
図１２はゲーム装置４２の構成を示すブロック図である。同図に示すように、ゲーム装置４２は、ゲームデータが記録されるゲーム記録媒体５１、撮像装置４１からの映像信号及び音声信号の入力をそれぞれ受け入れる映像信号入力部５２及び音声信号入力部５３、コンテンツの映像信号及び音声信号をＡＶ装置４３等に出力するための映像信号出力部５４及び音声信号出力部５５、ゲームの進行の度合い等のゲーム記録情報を記録する第１の記録部５６、映像信号入力部５２及び音声信号入力部５３を介して入力される映像信号及び音声信号をユーザ記録情報として記録する第２の記録部５７、装置の各部を制御する制御部５８、第１の記録部５６や第２の記録部５７に記録されているデータに基づいて再生を行う再生部５９、ユーザによる各種操作入力を受け入れる操作入力部６０、インターネット又は専用回線４４を介して他のユーザのゲーム装置４５との接続を可能とする通信部６１を備える。
【００７２】
映像信号入力部５２及び音声信号入力部５３は、撮像装置４１からの映像信号及び音声信号として、撮影対象とされるユーザ４６の動作等についての映像信号及び音声信号の入力を受け入れる。操作入力部６０はユーザインタフェースを構成し、ユーザからの各種操作の入力を受け付ける。典型的にはゲーム用コントローラであるが、ＴＶ用のリモコンのようなものであってもよい。具体的には、ゲームのプレイに用いたり、ゲーム機の有する各種機能、たとえばＤＶＤ等の記録媒体の再生機能や、ＵＳＢメモリやＳＤカードに記録された写真、動画、楽曲等の再生機能に関する指示を行うために用いられるものである。また、本実施形態においては、ゲームを行っている最中のユーザ４６の映像を記録させる指示や、記録した映像を所定の操作により再生させたり、ゲームのリプレイ画像に合わせて再生させたりするために用いられる。再生部５９は、ゲーム記録媒体５１に記録されたゲームデータに基づき、ユーザ指示やゲームイベントの進行に応じ、ゲーム画面の再生を行う。また、ユーザの指示に応じ、第２の記録部５７に記録されているユーザ記録情報のファイルに基づく再生を行う。
【００７３】
ゲーム記録媒体５１にはゲームソフトとして頒布されるゲームデータが記録される。映像信号出力部５４及び音声信号出力部５５は、ゲーム記録媒体５１から読み出されたゲームデータや、第２の記録部５７に記録されているファイルに基づく映像信号及び音声信号をＡＶ装置４３に出力する。音声信号はＡＶ装置４３とは別体のスピーカ装置等に出力されるようにしてもよい。制御部５８は、ユーザ操作等に応じて各部を制御し、上述のゲーム記録情報やユーザ記録情報を第１の記録部５６や第２の記録部５７へ記録したり、これらの記録に基づく再生を行ったり、ゲーム記録媒体５１のゲームデータ及びユーザ操作に従ってゲーム画面の表示や必要な処理をゲーム処理として行ったりする。通信部６１は、有線ＬＡＮ、無線ＬＡＮ、ブルートゥース、携帯電話網等に接続するための通信モジュール等で構成され、インターネット又は専用回線４４を通じて、他のユーザのゲーム装置４５との間で、ゲーム記録情報やユーザ記録情報等の送受を行う。
【００７４】
なお、ゲーム記録情報は、ゲームを行った後、ゲームのプレイ内容を再現するための情報である。ゲーム記録情報としては、リプレイデータ及び、映像及び音声のデータとが考えられる。リプレイデータとは、ゲームのプレイ内容を後で完全に再現するために記録されるデータである。リプレイデータとしてはたとえば、ゲーム中のキャラクタのパラメータデータの変化量についての推移や、ゲームイベントの進行状況等のデータが該当する。映像及び音声のデータとは、ゲーム機能を実行する際のゲーム処理によってＡＶ装置４３に送られる映像信号及び音声信号のデータそのものである。
【００７５】
図１３はゲーム装置４２における記録処理を示すフローチャートである。この記録処理は、制御部５８により所定のプログラムに従って行われる。この記録処理は、ゲーム処理を開始した後、ユーザからの記録指示に基づいて開始される。この記録処理においては、ユーザ記録情報（撮像装置からの信号）及びゲーム記録情報の記録が行われる。
【００７６】
記録処理を開始すると、制御部５８はまず、ステップＳ３０１において、撮像装置４１から、撮影範囲内にユーザ４６が存在することを認識した旨の通知を受信するのを待機する。該通知を受信すると、ステップＳ３０２において、撮像装置４１から送信されるユーザ４６の映像信号及び音声信号の記録を開始する。これにより、制御部５８によるゲーム処理によってＡＶ装置４３において提示されるゲーム内容に応じて動作するユーザの様子がユーザ記録情報として記録されることになる。記録は第２の記録部５７において行われる。次に、ステップＳ３０３において、ゲーム記録情報の記録を開始する。ゲーム記録情報の記録は第１の記録部５６に対して行われる。
【００７７】
次に、ステップＳ３０４において、ユーザからの撮影終了の指示を待機する。撮影終了の指示は、典型的には操作入力部６０を介して与えられる。撮影終了の指示があった場合には、ステップＳ３０５に進み、撮像装置４１からの映像信号及び音声信号の記録を終了する。これにより、ユーザ記録情報のファイルが生成されたことになる。このとき、生成されたファイルに対応する映像のサムネイルデータを生成するとともに、該ファイルに関連する特定の用語や該ファイルの記録日時等を記録する。また、ステップＳ３０６において、ゲーム記録情報の記録を終了する。記録の終了に際しては、記録の開始から終了までにおけるリプレイデータの記録又はゲームの映像信号及び音声信号の記録を１つのファイルにファイル化する等の処理を行う。また、生成されたユーザ記録情報及びゲーム記録情報のファイルが相互に関連するものである旨を示す情報を、双方のファイルに付随させ、対応ファイル特定情報として記録する。これにより、図１３の記録処理が終了する。なお、この例では対応ファイル特定情報をファイルに付随する情報として記録するようにしているが、この代わりに、ファイルとは別個のテーブル等において記録するようにしてもよい。
【００７８】
図１４はゲーム装置４２における別の記録処理を示すフローチャートである。この記録処理は、制御部５８により、所定のプログラムに従って行われる。この記録処理は、ゲーム処理を開始した後、ユーザの操作入力による所定の記録指示に基づいて開始される。この記録処理においては、ユーザ記録情報（撮像装置からの信号）及びゲーム記録情報の記録が行われる。同図におけるステップＳ４０１〜Ｓ４０３、Ｓ４０５及びＳ４０６の処理は、図１３中のステップＳ３０１〜Ｓ３０３、Ｓ３０５、及びＳ３０６の処理と同様である。
【００７９】
図１４の記録処理を開始し、ステップＳ４０１〜Ｓ４０３の処理を図１３におけるステップＳ３０１〜Ｓ３０３と同様に行った後、ステップステップＳ４０４では、ゲーム中の所定のイベントが終了するのを待機する。所定のイベントが終了した場合としては、たとえば、ゲームにおけるあるステージをクリアした場合や、教則型のゲームコンテンツにおける１単位、たとえばヨガの１ポーズが終了した場合、スポーツゲームにおける得点シーン、たとえば野球のホームランやサッカーのゴールシーンがあった場合が該当する。
【００８０】
ステップ４０４において所定のイベントが終了したことを検出すると、ステップＳ４０５及びＳ４０６において、図１３のステップＳ３０５及びＳ３０６の場合と同様にして、撮像装置４１からの信号の記録（ユーザ記録情報の記録）及びゲーム記録情報の記録を終了する。これにより、図１４の記録処理が終了する。
【００８１】
なお、この記録処理において、ステップＳ４０４で待機する所定のイベントの終了が得点シーンである場合には、記録終了時点から所定の期間又は箇所まで遡った部分までについてのゲーム記録情報及びユーザ記録情報のみを残し、それ以前の記録は削除するようにしてもよい。また、その削除を行うかどうか、又はゲーム記録情報若しくはユーザ記録情報のうちのいずれか若しくは双方を削除するかどうかをユーザが選択できるようにしてもよい。
【００８２】
図１５はゲーム装置４２におけるさらに別の記録処理を示すフローチャートである。この記録処理は、制御部５８により、所定のプログラムに従って行われる。この記録処理はゲーム処理を開始した後、ユーザからの記録指示に基づいて開始される。この記録処理においてはユーザ記録情報（撮像装置からの信号）及びゲーム記録情報の記録が行われる。同図におけるステップＳ５０１、Ｓ５０３〜Ｓ５０７の処理はそれぞれ、図１４中のステップＳ４０１〜Ｓ４０６の処理と同様である。
【００８３】
記録処理を開始し、ステップＳ５０１において、図１４のステップＳ４０１の場合と同様にして撮像装置４１からのユーザ４６の存在を認識した旨の通知を受信すると、制御部５８はステップＳ５０２において、ゲーム処理における所定のゲームイベントが開始されるのを待機する。所定のゲームイベントの開始としては、たとえば、ゲーム中のあるステージの開始、教則型のゲームコンテンツにおける１単位の開始、スポーツゲームにおける試合の開始、前半戦又は後半戦の開始、野球の攻撃・守備の交代などが該当する。
【００８４】
所定のゲームイベントの開始を検出すると、ステップＳ５０３〜Ｓ５０７において、図１４のステップＳ４０２〜４０６の場合と同様にして、所定のゲームイベントが終了するまで、ゲーム記録情報及びユーザ記録情報の記録を行う。この記録を終了すると、記録により生成したユーザ記録情報のファイルに対応する映像のサムネイルデータを生成するとともに、該ファイルに関連する特定の用語や該ファイルの記録日時等を記録する。そしてステップＳ５０８において、ゲームの終了指示がユーザからなされたか否かを判定する。具体的には、ゲーム装置４２において電源操作、リセットボタンの押下、別のゲームの選択等があったかどうかを判定する。ゲームオーバのイベントの発生を、ゲームの終了とみなすようにしてもよい。ゲームの終了指示がなされたと判定した場合は図１５の記録処理を終了する。終了指示がなされていないと判定した場合にはステップＳ５０２に戻り、次のゲームイベントの開始を待機する。
【００８５】
図１６はゲーム装置４２における再生処理を示すフローチャートである。この再生処理は、制御部５８により、所定のプログラムに従って行われる。
【００８６】
再生処理が開始されると、制御部５８は、まず、ステップＳ６０１において、ユーザの指示に応じ、第２の記録部５７において記録されているユーザ記録情報のファイルのうちの所望のものの選択を受け入れる。具体的には、各ファイルにおける記録映像のサムネイル表示を伴う選択の受入れや、特定の用語や記録日時等をキーとするソートや検索を伴う選択の受入れを行う。
【００８７】
次に、ステップＳ６０２において、選択されたファイルに関連するゲーム記録情報のファイルが存在するか否かを判定する。この判定は、各ファイルに付随する対応ファイル特定情報に基づいて行うことができる。関連するファイルが存在しない場合としては、たとえば、記録処理において第１の記録部５６に記録したゲーム記録情報のファイルが削除された場合が該当する。また、ゲーム記録情報がリプレイデータを記録したものである場合には、対応するゲームデータそのものがゲーム記録媒体５１において存在しない場合、たとえばゲーム記録媒体５１が交換された場合も該当する。
【００８８】
関連するゲーム記録情報の記録ファイルが存在すると判定した場合には、ステップＳ６０３において再生方法の設定を受け入れる。再生方法の設定としては、たとえば、ゲーム記録情報のファイルに基づくゲーム映像と、ユーザ記録情報のファイルに基づくユーザの映像とを１画面上に並べて同時に表示するか、又は一方の映像を再生した後に他方の映像を再生するかどうかの設定が該当する。上述のピクチャ・イン・ピクチャや、映像割り当て、反転処理の有無等の設定を受け入れるようにしてもよい。ゲーム映像及びユーザ映像を同時に又は連続して表示することにより、ゲーム映像とユーザ映像とを比較することが可能となる。
【００８９】
次に、ステップＳ６０４におて、設定された再生方法によりゲーム映像及びユーザ映像の再生表示を行い、図１５の再生処理を終了する。なお、ゲーム映像及びユーザ映像を同時に表示する場合には、再生時における両者の時間関係を記録時における時間関係と一致させるために、上述のようにタイムスタンプを用いるようにしてもよい。ステップＳ６０２において関連するゲーム記録情報のファイルが存在しないと判定した場合には、ステップＳ６０５において、ゲーム映像が存在しない旨を表示し、及びユーザ映像のみを再生表示して、図１６の再生処理を終了する。なお、この例では対応ファイル特定情報がファイルに付随する情報として記録されているが、この代わりに、ファイルとは別個のテーブル等において記録されていてもよい。
【００９０】
図１１〜図１６の実施形態によれば、ＡＶシステムにおいてゲームを行っているユーザの様子と、ゲーム記録情報とを並行して記録するとともに、相互に関連するユーザ映像及びゲーム映像を同時に又は連続的に再生できるようにしたため、ゲームを行った後、ゲームを行っているユーザの様子をゲームの映像ととともに確認することができる。その際、図１４や図１５の形態によれば、ゲームイベント毎にユーザ映像及びゲーム記録情報を記録するようにしたため、ゲームイベント毎に再生を行うことができる。また、ゲーム記録情報としてリプレイデータを記録する場合には、ゲーム記録情報として映像信号及び音声信号を記録する場合よりも、第１の記録部における記憶容量を節減することができる。
【００９１】
なお、本発明は、上述実施形態に限定されることなく適宜変形して実施することができる。たとえば、上述においては、鏡像反転の設定は、映像信号入力部３３からの映像信号（撮像部１からの映像信号）又は再生対象とされたファイル（撮像装置１により撮影された映像のファイル）に基づく映像信号を対象として行うことができることとしているが、これとは逆に、内部映像信号、又は再生対象ファイルの対応ファイルに基づく映像信号を対象として行うことができるようにしてもよい。この場合、ユーザの映像は反転せず、ユーザが視聴しているコンテンツの映像の方を反転させて合成映像を表示させることができるので、両映像の比較や確認を行いやすい場合がある。
【００９２】
また、上述においては、映像信号入力部３３からの映像信号（撮像部１からの映像信号と内部映像信号とをそのままの時間的関係で合成し、あるいは映像信号入力部３３からの映像信号の記録時における該映像信号と、再生コンテンツ又は放送若しくは外部コンテンツの再生信号との時間的関係を維持したまま合成表示を行うようにしているが、この代わりに、映像信号入力部３３からの映像信号の方をやや遅らせて合成し又は合成表示を行うようにしてもよい。
【００９３】
また、上述においては、対応ファイル特定情報をファイルに付随する情報として記録するようにしているが、この代わりに、ファイルとは別個のテーブル等において記録するようにしてもよい。
【符号の説明】
【００９４】
１：撮像装置、２：記録装置、３：ＡＶ装置、４：ユーザ、１１：撮像部、１２：マイク部、１３：映像信号入力部、１４：音声信号入力部、１５：操作入力部、１６：記録部、１７：制御部、１８：表示部、１９：スピーカ部、２０：映像信号出力部、２１：音声信号出力部、３１：チューナ部、３２：デコーダ、３３：映像信号入力部、３４：音声信号入力部、３５：操作入力部、３６：第１の記録再生部、３７：制御部、３８：第２の記録再生部、３９：音声信号出力部、４０：映像信号出力部、４１：撮像装置、４２：ゲーム装置、４３：ＡＶ装置、４４：インターネット又は専用回線、４５：ゲーム装置、４６：ユーザ、５１：ゲーム記録媒体、５２：映像信号入力部、５３：音声信号入力部、５４：映像信号出力部、５５：音声信号出力部、５６：第１の記録部、５７：第２の記録部、５８：制御部、５９：再生部、６０：操作入力部、６１：通信部、９１，９２，１０１，１０２：映像部分。
【特許請求の範囲】
【請求項１】
装置外部の撮像装置から供給される第１の映像に係る第１の映像信号を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録装置であって、
前記第１映像信号は、前記第２映像信号に基づく映像表示と同時に取得されるものであり、
前記合成映像又は連続映像における前記第１映像部分及び第２映像部分間の時間的関係は、前記第１映像の取得時における前記第１映像及び第２映像間の時間的関係と同じであることを特徴とする記録装置。
【請求項２】
前記第１映像信号の記録は、前記第２映像信号と合成した信号の記録として行われることを特徴とする請求項１に記載の記録装置。
【請求項３】
前記第２映像信号は前記記録装置内の記録手段において記録されているファイルに基づくものであり、
前記第１映像信号の記録は、該ファイルとは別のファイルへの記録として行われることを特徴とする請求項１に記載の記録装置。
【請求項４】
前記第２映像信号は前記記録装置の外部から供給されるものであり、
前記第１映像信号の記録は、該第２映像信号の前記記録装置における記録と同時に、かつ別個のファイルとして行われることを特徴とする請求項１に記載の記録装置。
【請求項５】
前記第１映像信号の記録に際し、前記後の再生がなし得るように、対応する前記第２映像信号に係る映像データにおける再生開始アドレスを記録することを特徴とする請求項３又は４に記載の記録装置。
【請求項６】
前記記録装置はユーザの操作入力に応答して所定のデータに基づく映像の表示を行うものであり、
前記第２映像信号は該表示映像の映像信号であり、
前記第１映像信号の記録は、該第２映像信号の前記記録装置における記録と同時に、かつ別個のファイルとして行われることを特徴とする請求項１に記載の記録装置。
【請求項７】
前記記録装置はユーザの操作入力に応答して所定のデータに基づく映像の表示を行うとともに、リプレイ再生を行うためのリプレイデータを記録するものであり、
前記第２映像信号は該表示映像の映像信号であり、
前記第１映像信号の記録は、該第２映像信号に対応するリプレイデータのファイルの前記記録装置における記録と同時に行われることを特徴とする請求項１に記載の記録装置。
【請求項８】
前記１映像信号の記録は、所定のイベントが終了した時点で終了されることを特徴とする請求項６又は７に記載の記録装置。
【請求項９】
前記１映像信号の記録は、所定のイベントが開始された時点で開始されることを特徴とする請求項６〜８のいずれか１項に記載の記録装置。
【請求項１０】
前記記録装置は、前記第１映像信号のファイル又はこれに対応する前記第２映像信号に係るファイルに基づく再生を行う旨の指示が与えられたとき、両ファイルに基づく映像信号を、前記合成映像又は連続映像を表示し得るように、合成した信号として、又は別個の信号として出力するものであることを特徴とする請求項３〜９のいずれか１項に記載の記録装置。
【請求項１１】
前記記録装置から出力される合成した信号又は別個の信号に基づき、前記合成映像又は連続映像を表示するＡＶ装置を有することを特徴とする請求項１０に記載の記録装置。
【請求項１２】
前記記録装置は前記合成映像又は連続映像に関する設定を受け入れる入力手段を備え、
前記設定には、前記合成映像において前記第１映像若しくは第２映像の部分を鏡像反転させるかどうかの設定が含まれることを特徴とする請求項１〜１１のいずれか１項に記載の記録装置。
【請求項１３】
前記設定には、前記合成映像をピクチャ・イン・ピクチャ又は２画面表示のいずれの映像とするかの設定、又は前記合成映像における前記第１映像部分又は前記第２映像部分のアスペクト比の設定が含まれることを特徴とする請求項１２に記載の記録装置。
【請求項１４】
前記第１映像信号及び第２映像信号には音声信号が付随しており、
前記合成映像又は連続映像の再生に際しては、付随する各音声信号のうち、指示されたものが再生されることを特徴とする請求項１〜１３のいずれか１項に記載の記録装置。
【請求項１５】
前記第１映像信号の記録は、前記撮像装置がユーザを認識したことを条件として開始されることを特徴とする請求項１〜１４のいずれか１項に記載の記録装置。
【請求項１６】
コンピュータを、請求項１〜１５のいずれかの記録装置として機能させることを特徴とするプログラム。
【請求項１７】
映像信号を出力する撮像装置と、
前記撮像装置により得られる第１の映像に係る第１の映像信号を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録装置とを具備し、
前記第１映像信号は、前記第２映像信号に基づく映像表示と同時に取得されるものであり、
前記合成映像又は連続映像における前記第１映像部分及び第２映像部分間の時間的関係は、前記第１映像の取得時における前記第１映像及び第２映像間の時間的関係と同じであることを特徴とするＡＶシステム。
【請求項１８】
映像信号を出力する撮像工程と、
前記撮像工程により得られる第１の映像に係る第１の映像信号を、該第１映像を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録工程とを具備し、
前記第１映像信号は、前記第２映像信号に基づく映像表示と同時に取得されるものであり、
前記合成映像又は連続映像における前記第１映像部分及び第２映像部分間の時間的関係は、前記第１映像の取得時における前記第１映像及び第２映像間の時間的関係と同じであることを特徴とする映像記録方法。
【請求項１】
装置外部の撮像装置から供給される第１の映像に係る第１の映像信号を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録装置であって、
前記第１映像信号は、前記第２映像信号に基づく映像表示と同時に取得されるものであり、
前記合成映像又は連続映像における前記第１映像部分及び第２映像部分間の時間的関係は、前記第１映像の取得時における前記第１映像及び第２映像間の時間的関係と同じであることを特徴とする記録装置。
【請求項２】
前記第１映像信号の記録は、前記第２映像信号と合成した信号の記録として行われることを特徴とする請求項１に記載の記録装置。
【請求項３】
前記第２映像信号は前記記録装置内の記録手段において記録されているファイルに基づくものであり、
前記第１映像信号の記録は、該ファイルとは別のファイルへの記録として行われることを特徴とする請求項１に記載の記録装置。
【請求項４】
前記第２映像信号は前記記録装置の外部から供給されるものであり、
前記第１映像信号の記録は、該第２映像信号の前記記録装置における記録と同時に、かつ別個のファイルとして行われることを特徴とする請求項１に記載の記録装置。
【請求項５】
前記第１映像信号の記録に際し、前記後の再生がなし得るように、対応する前記第２映像信号に係る映像データにおける再生開始アドレスを記録することを特徴とする請求項３又は４に記載の記録装置。
【請求項６】
前記記録装置はユーザの操作入力に応答して所定のデータに基づく映像の表示を行うものであり、
前記第２映像信号は該表示映像の映像信号であり、
前記第１映像信号の記録は、該第２映像信号の前記記録装置における記録と同時に、かつ別個のファイルとして行われることを特徴とする請求項１に記載の記録装置。
【請求項７】
前記記録装置はユーザの操作入力に応答して所定のデータに基づく映像の表示を行うとともに、リプレイ再生を行うためのリプレイデータを記録するものであり、
前記第２映像信号は該表示映像の映像信号であり、
前記第１映像信号の記録は、該第２映像信号に対応するリプレイデータのファイルの前記記録装置における記録と同時に行われることを特徴とする請求項１に記載の記録装置。
【請求項８】
前記１映像信号の記録は、所定のイベントが終了した時点で終了されることを特徴とする請求項６又は７に記載の記録装置。
【請求項９】
前記１映像信号の記録は、所定のイベントが開始された時点で開始されることを特徴とする請求項６〜８のいずれか１項に記載の記録装置。
【請求項１０】
前記記録装置は、前記第１映像信号のファイル又はこれに対応する前記第２映像信号に係るファイルに基づく再生を行う旨の指示が与えられたとき、両ファイルに基づく映像信号を、前記合成映像又は連続映像を表示し得るように、合成した信号として、又は別個の信号として出力するものであることを特徴とする請求項３〜９のいずれか１項に記載の記録装置。
【請求項１１】
前記記録装置から出力される合成した信号又は別個の信号に基づき、前記合成映像又は連続映像を表示するＡＶ装置を有することを特徴とする請求項１０に記載の記録装置。
【請求項１２】
前記記録装置は前記合成映像又は連続映像に関する設定を受け入れる入力手段を備え、
前記設定には、前記合成映像において前記第１映像若しくは第２映像の部分を鏡像反転させるかどうかの設定が含まれることを特徴とする請求項１〜１１のいずれか１項に記載の記録装置。
【請求項１３】
前記設定には、前記合成映像をピクチャ・イン・ピクチャ又は２画面表示のいずれの映像とするかの設定、又は前記合成映像における前記第１映像部分又は前記第２映像部分のアスペクト比の設定が含まれることを特徴とする請求項１２に記載の記録装置。
【請求項１４】
前記第１映像信号及び第２映像信号には音声信号が付随しており、
前記合成映像又は連続映像の再生に際しては、付随する各音声信号のうち、指示されたものが再生されることを特徴とする請求項１〜１３のいずれか１項に記載の記録装置。
【請求項１５】
前記第１映像信号の記録は、前記撮像装置がユーザを認識したことを条件として開始されることを特徴とする請求項１〜１４のいずれか１項に記載の記録装置。
【請求項１６】
コンピュータを、請求項１〜１５のいずれかの記録装置として機能させることを特徴とするプログラム。
【請求項１７】
映像信号を出力する撮像装置と、
前記撮像装置により得られる第１の映像に係る第１の映像信号を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録装置とを具備し、
前記第１映像信号は、前記第２映像信号に基づく映像表示と同時に取得されるものであり、
前記合成映像又は連続映像における前記第１映像部分及び第２映像部分間の時間的関係は、前記第１映像の取得時における前記第１映像及び第２映像間の時間的関係と同じであることを特徴とするＡＶシステム。
【請求項１８】
映像信号を出力する撮像工程と、
前記撮像工程により得られる第１の映像に係る第１の映像信号を、該第１映像を、第２の映像信号に係る第２の映像と合成又は連続した映像として後で再生し得るように記録する記録工程とを具備し、
前記第１映像信号は、前記第２映像信号に基づく映像表示と同時に取得されるものであり、
前記合成映像又は連続映像における前記第１映像部分及び第２映像部分間の時間的関係は、前記第１映像の取得時における前記第１映像及び第２映像間の時間的関係と同じであることを特徴とする映像記録方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−２７９０１２（Ｐ２０１０−２７９０１２Ａ）
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願番号】特願２００９−２２４６８９（Ｐ２００９−２２４６８９）
【出願日】平成２１年９月２９日（２００９．９．２９）
【出願人】（３０８０３６４０２）ＪＶＣ・ケンウッド・ホールディングス株式会社 (1,152)
【Ｆターム（参考）】
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願日】平成２１年９月２９日（２００９．９．２９）
【出願人】（３０８０３６４０２）ＪＶＣ・ケンウッド・ホールディングス株式会社 (1,152)
【Ｆターム（参考）】
[ Back to top ]