ダイジェスト再生装置、ダイジェスト再生方法、およびプログラム
【課題】ゲーム映像中の特徴区間の検出精度を向上可能な、ダイジェスト再生装置、ダイジェスト再生方法、およびプログラムを提供する。
【解決手段】ゲームの画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出する画像音声特徴抽出部６７と、ゲームを操作するためのコントローラ５１を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出する操作特徴検出部６３と、画像音声特徴および操作特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出する特徴区間検出部６９と、を備える。これにより、コントローラを通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。
【解決手段】ゲームの画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出する画像音声特徴抽出部６７と、ゲームを操作するためのコントローラ５１を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出する操作特徴検出部６３と、画像音声特徴および操作特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出する特徴区間検出部６９と、を備える。これにより、コントローラを通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ダイジェスト再生装置、ダイジェスト再生方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラ装置等による記録映像から特徴的な区間（以下では、特徴区間とも称する。）を検出して再生する、記録映像のダイジェスト再生機能が知られている。特徴区間は、記録映像（画像）および記録音声から抽出される画像特徴および音声特徴（以下では、画像音声特徴区間とも称する。）、利用者から入力される指定情報等に基づいて検出される。ここで、記録操作中の利用者は、重要であると感じたシーン等を記録する際に、例えば、装置付属のボタン、センサを操作することで、指定情報を入力する。利用者は、記録映像のダイジェスト再生機能を用いて、記録映像中の特徴区間を効率的に再生することができる。
【０００３】
一方、ビデオゲーム装置の利用者の間では、ゲーム操作後に、ゲーム操作中に表示されたゲーム映像中の特徴区間を効率的に再生したいという要望がある。このため、ゲーム映像から特徴区間を検出して再生する、ゲーム映像のダイジェスト再生機能を実現することが望まれていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−６６２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ダイジェスト再生機能を実現する場合、特徴区間を適切に検出することが重要となるが、ゲーム映像のダイジェスト再生機能では、特徴区間の検出が困難となる場合がある。これは、記録映像のダイジェスト再生機能にもいえるが、画像音声特徴に基づく特徴区間の検出では、利用者が意図しない区間が特徴区間として誤検出され易くなる。このため、記録映像のダイジェスト再生機能では、記録操作中の利用者から映像記録時に指定情報を取得し、指定情報を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。
【０００６】
一方、ゲーム操作中の操作者は、ゲーム操作に専念しており、特にダイジェスト再生機能の再生対象となるような、利用者にとって重要な区間では、ゲーム操作になおさら熱中してしまう。このため、ゲーム操作中に操作者に指定情報を入力させることは困難であり、操作者が意図しない区間が特徴区間として誤検出されることで、特徴区間の検出精度が低下してしまう。
【０００７】
そこで、本発明は、ゲーム映像中の特徴区間の検出精度を向上可能な、ダイジェスト再生装置、ダイジェスト再生方法、およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００８】
本発明の第１の観点によれば、ゲームの画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出する画像音声特徴抽出部と、ゲームを操作するための操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出する操作特徴検出部と、画像音声特徴および操作特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出する特徴区間検出部と、を備えるダイジェスト再生装置が提供される。
【０００９】
かかる構成によれば、ダイジェスト再生装置は、操作部を通じて取得され、ゲーム操作中の操作状況の特徴として検出された操作特徴、およびゲームの画像および音声から抽出された画像音声特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出する。これにより、操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。
【００１０】
また、上記ダイジェスト再生装置は、ゲームの画像および音声を記録する画像音声記録部と、画像音声記録部に記録されている画像および音声のうち、特徴区間に対応する画像および音声を再生する特徴区間再生部をさらに備えてもよい。これにより、ゲームの記録画像および記録音声のうち、特徴区間に対応する画像および音声を再生することで、ゲーム映像中の特徴区間をダイジェスト再生することができる。
【００１１】
また、上記特徴区間検出部は、所定の画像区間および音声区間を、画像音声特徴および操作特徴に応じて優先度付けされた特徴区間として検出し、特徴区間再生部は、特徴区間の優先度に応じて、特徴区間に対応する画像および音声を再生してもよい。これにより、画像音声特徴および操作特徴に応じて優先度付けされた特徴区間に対応する画像および音声を、特徴区間の優先度に応じて再生することで、ゲーム映像中の特徴区間を効率的にダイジェスト再生することができる。例えば、画像音声特徴および操作特徴が所定の検出基準を満たす特徴区間を、優先度の高い特徴区間として検出し、他の特徴区間よりも優先的に再生することができる。
【００１２】
また、上記特徴区間検出部は、２以上の連続する所定の画像区間および音声区間を、各区間の画像音声特徴および操作特徴に応じて優先度付けされた１つの特徴区間として検出してもよい。これにより、２以上の連続する区間を、各区間の画像音声特徴および操作特徴に応じて優先度付けされた１つの特徴区間として検出することで、ゲーム映像中の特徴区間を適切にダイジェスト再生することができる。例えば、２以上の連続する区間が異なる優先度を伴う場合でも、各区間の優先度に応じて別々に再生される代わりに、連続区間で設定される優先度に応じて１つの特徴区間として適切に再生することができる。
【００１３】
また、上記特徴区間検出部は、画像音声特徴および／または操作特徴がゲームの特性に応じて設定される所定の検出基準を満たす場合に、所定の画像区間および音声区間を特徴区間として検出してもよい。これにより、ゲームの特性に応じて設定される検出基準を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。例えば、激しい操作の発生頻度が高いゲームでは、特徴区間の検出基準を高く／大きく設定し、激しい操作の発生頻度が低いゲームでは、検出基準を低く設定することで、特徴区間を適切に検出することができる。
【００１４】
また、上記特徴区間検出部は、画像音声特徴および／または操作特徴が操作者のゲームに対する習熟度に応じて設定される所定の検出基準を満たす場合に、所定の画像区間および音声区間を特徴区間として検出してもよい。これにより、操作者のゲームに対する習熟度に応じて設定される検出基準を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。例えば、習熟度の高い操作者の場合は、特徴区間の検出基準を高く／大きく設定し、習熟度の低い操作者の場合は、検出基準を相対的に低く／小さく設定することで、特徴区間を適切に検出することができる。
【００１５】
また、上記操作特徴検出部は、ゲーム操作に応じて、操作者から操作部を通じて入力される操作信号を操作特徴として検出してもよい。これにより、ゲーム操作に応じて、操作者から操作部を通じて入力される操作信号を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。ここで、操作信号の頻度、大きさ等には、操作者の感情が直接的または間接的に表れ易いので、特に操作者にとって重要な区間を特徴区間として適切に検出することができる。また、操作信号は、記録操作と別に入力される指定情報と異なり、ゲーム操作に伴って入力されるので、操作者がゲーム操作に熱中していても、操作特徴として確実に検出される。
【００１６】
また、上記操作特徴検出部は、操作者から操作部を通じて検知されるセンサ信号を操作特徴として検出してもよい。これにより、操作者から操作部を通じて検知されるセンサ信号を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。ここで、センサ信号は、例えば、操作者の体温、操作部に対する把持力等の圧力、操作部の振動、操作者の発汗、操作者の脈拍等を表す信号である。センサ信号には、操作者の感情が間接的に表れ易いので、特に操作者にとって重要な区間を特徴区間として適切に検出することができる。また、センサ信号は、記録操作と別に入力される指定情報と異なり、ゲーム操作に伴って検知されるので、操作者がゲーム操作に熱中していても、操作特徴として確実に検出される。
【００１７】
また、本発明の第２の観点によれば、ゲームの画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出し、ゲームを操作するための操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出し、画像音声特徴および操作特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出するダイジェスト再生方法が提供される。
【００１８】
かかる方法によれば、操作部を通じて取得され、ゲーム操作中の操作状況の特徴として検出された操作特徴、およびゲームの画像および音声から抽出された画像音声特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間が特徴区間として検出される。これにより、操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。
【００１９】
本発明の第３の観点によれば、本発明の第２の観点によるダイジェスト再生方法をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００２０】
以上説明したように本発明によれば、ゲーム映像中の特徴区間の検出精度を向上可能な、ダイジェスト再生装置、ダイジェスト再生方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係るダイジェスト再生装置の概要を示す図である。
【図２】本発明の実施形態に係るビデオゲーム装置の機能構成例を示すブロック図である。
【図３】ダイジェスト再生処理系の機能構成例を示すブロック図である。
【図４】本発明の実施形態に係るダイジェスト再生処理方法の処理手順を示すフロー図である。
【図５】特徴区間の検出基準の設定例を示す図である。
【図６】特徴区間の優先度情報の設定例を示す図である。
【図７】特徴区間検出の処理結果の一例を模式的に示す図である。
【図８】特徴区間検出の処理結果の一例を模式的に示す図である。
【図９】ダイジェスト再生の処理結果の一例を示す図である。
【図１０】ゲーム操作中に操作特徴区間を検出し、ゲームの進行を適応的に変化させる方法の処理手順の一例を示すフロー図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
［１．ダイジェスト再生装置の概要］
まず、図１を参照しながら、本発明の実施形態に係るダイジェスト再生装置の概要について説明する。図１は、本発明の実施形態に係るダイジェスト再生装置の概要を示す図である。
【００２４】
図１に示すように、ダイジェスト再生装置１は、ビデオゲーム装置３等に適用される。ビデオゲーム装置３は、家庭用ゲーム装置、パーソナルコンピュータ、ＰＤＡでもよく、遊技場に設置される商用ゲーム装置でもよいが、以下では、家庭用ゲーム装置を例として説明する。
【００２５】
ビデオゲーム装置３は、ゲームの進行中において、ビデオゲーム装置３により生成される画像および音声をディスプレイ装置５に出力する。ダイジェスト再生装置１は、ゲームの進行中にビデオゲーム装置３内で生成される画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出する。
【００２６】
ダイジェスト再生装置１は、ゲームを操作するための操作部７（コントローラ）を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出する。ここで、操作部７は、ビデオゲーム装置３と別体に設けられたコントローラでもよく、一体に設けられた操作パネル等でもよい。また、操作特徴は、ゲーム操作に応じて、操作者から操作部７を通じて入力される操作信号でもよく、操作者から操作部７を通じて検知されるセンサ信号でもよい。
【００２７】
そして、ダイジェスト再生装置１は、画像音声特徴および操作特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出する。これにより、操作部７を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。
【００２８】
また、ダイジェスト再生装置１は、ゲームの画像および音声を記録し、特徴区間に対応する画像および音声を再生する。これにより、ゲーム映像中の特徴区間をダイジェスト再生することができる。
【００２９】
［２．ビデオゲーム装置の機能構成］
次に、図２を参照しながら、本発明の実施形態に係るビデオゲーム装置の主要な機能構成について説明する。図２は、本発明の実施形態に係るビデオゲーム装置の機能構成例を示すブロック図である。
【００３０】
ビデオゲーム装置は、光ディスクＤから所定のゲームプログラムを読出して実行し、操作者の操作に応じて、画像信号および音声信号を処理する。図１に示すように、ビデオゲーム装置は、光ディスク再生系１０、ＣＰＵ２１を含む制御系２０、グラフィックシステム３０、サウンドシステム４０、操作系５０を含み、両システム３０、４０の出力が外部のディスプレイ８１およびスピーカ８３に供給される。さらに、ビデオゲーム装置は、ビデオ映像をダイジェスト再生するためのダイジェスト再生処理系６０を含む。ダイジェスト再生処理系６０は、光ディスク再生系１０、グラフィックシステム３０、サウンドシステム４０、操作系５０とともに、制御系２０のバスに接続される。
【００３１】
光ディスク再生系１０は、光ディスクＤに対向する光学ヘッド１１、デコーダ１３、バッファ１５、およびサブＣＰＵ１７を含む。デコーダ１３およびバッファ１５は、バスを通じてＣＰＵ２１に接続される。デコーダ１３は、サブＣＰＵ１７により制御され、光学ヘッド１１からの再生データを画像データおよび音声データに復号する。そして、画像データがフレームバッファ３３に供給され、音声データがＤ−Ａ変換器１９を介してスピーカ８３に供給される。
【００３２】
制御系２０は、ＣＰＵ２１、メインメモリ２３、ＲＯＭ２５、メモリカード２６、周辺制御部２７、通信制御部２９を含む。メインメモリ２３、ＲＯＭ２５、メモリカード２６、周辺制御部２７、通信制御部２９は、バスを通じてＣＰＵ２１に接続される。
【００３３】
ＲＯＭ２５は、メインメモリ２３、グラフィックシステム３０、サウンドシステム４０等を管理するオペレーティングシステム等のプログラムを格納する。メモリカード２６は、ゲームの設定データ等を記憶しており、不図示のカードコネクタ等を介して通信制御部２９に接続される。また、周辺制御部２７は、割込み制御、ダイレクトメモリアクセス（ＤＭＡ）転送等を処理する。通信制御部２９は、操作系５０からの操作信号入力、センサ信号入力等を処理する。
【００３４】
グラフィックシステム３０は、ＣＰＵ２１からの描画指示に従って画像を描画する画像処理部３１（以下では、ＧＰＵ３１（グラフィック・プロセッサ・ユニット）と称する）、ＧＰＵ３１により描画された画像を記憶するフレームバッファ３３、圧縮符号化された画像データを復号する画像デコーダ３５を含む。ＧＰＵ３１、画像デコーダ３５は、バスを通じてＣＰＵ２１に接続される。
【００３５】
ＧＰＵ３１は、ＣＰＵ２１により制御され、周辺制御部２７に含まれる不図示のＤＭＡコントローラ５１を介してメインメモリ２３から転送された描画命令に従って、フレームバッファ３３に対して１フレーム単位の画像を描画する。ＤＭＡコントローラ５１は、描画命令を転送すると、描画命令に組み込まれたアドレスに従って次の描画命令を実行する。
【００３６】
フレームバッファ３３は、いわゆるデュアルポートＲＡＭからなり、ＧＰＵ３１からの描画、またはメインメモリ２３からの転送と表示のための読出しを同時に処理する。フレームバッファ３３には、映像出力としてディスプレイ８１に出力されて表示される画像を記憶するための表示領域等が設けられる。
【００３７】
画像デコーダ３５は、ＣＰＵ２１により制御され、メインメモリ２３に記憶されている静止画または動画の画像データを復号してメインメモリ２３に記憶する。復号された画像データは、ＧＰＵ３１を介してフレームバッファ３３に記憶され、ＧＰＵ３１により描画される画像の背景として用いられる。
【００３８】
サウンドシステム４０は、ＣＰＵ２１により制御され、ゲーム音声を発生する音声処理部（以下では、ＳＰＵ４１（サウンド・プロセッサ・ユニット（ＳＰＵ）と称する。）、ＳＰＵ４１による音声データが記憶されるサウンドバッファ４３を含む。ＳＰＵ４１、サウンドバッファ４３は、バスを通じてＣＰＵ２１に接続され、ＳＰＵ４１から発生されるゲーム音声がスピーカ８３等から出力される。
【００３９】
操作系５０は、コントローラ５１を含む。コントローラ５１は、操作者によるゲーム操作を入力するための操作子５３、および操作者からセンサ値を検知するためのセンサ５５、５７を有し、不図示のスロットを介して通信制御部２９に接続される。コントローラ５１は、操作子５３の操作状況に応じた操作信号、およびセンサの検知状況に応じたセンサ信号を生成し、通信制御部２９を介してＣＰＵ２１に供給する。これにより、ＣＰＵ２１は、ゲームプログラム等に従って、操作信号に応じた処理を行うとともに、操作信号およびセンサ信号に基づいて、特徴区間検出処理を行う。
【００４０】
ビデオゲーム装置の電源が投入されると、ＣＰＵ２１は、ＲＯＭ２５に記憶されているオペレーティングシステムを実行し、グラフィックシステム３０、サウンドシステム４０等を制御する。オペレーティングシステムが実行されると、ＣＰＵ２１は、動作確認等の装置全体の初期化を行い、光ディスク再生系１０を制御して、光ディスクＤに記録されているゲームプログラムを実行する。ゲームプログラムが実行されると、ＣＰＵ２１は、コントローラ５１から供給される操作信号に応じて、グラフィックシステム３０、サウンドシステム４０等を制御し、ゲーム映像の表示、効果音・楽音等のゲーム音声の発生を制御する。
【００４１】
［３．ダイジェスト再生処理系６０の機能構成］
以下では、図３を参照しながら、ダイジェスト再生処理系６０の主要な機能構成について説明する。図３は、ダイジェスト再生処理系６０の機能構成例を示すブロック図である。
【００４２】
ダイジェスト再生処理系６０は、画像音声データ記録部６１、操作特徴検出部６３、操作データ記録部６５、画像音声特徴抽出部６７、特徴区間検出部６９、特徴区間情報記録部７１、ダイジェスト再生部７３を含む。
【００４３】
画像音声データ記録部６１は、ゲーム操作中の画像データおよび音声データをフレーム単位で記録する。画像音声データ記録部６１は、フレームバッファ３３およびサウンドバッファ４３から画像データおよび音声データを供給され、特徴区間の検出処理に際して画像音声特徴抽出部６７に供給し、特徴区間の検出結果に応じてダイジェスト再生部７３に供給する。
【００４４】
操作特徴検出部６３は、コントローラ５１を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を、画像データのフレームに同期するように検出し、操作データ記録部６５に供給する。操作特徴は、ゲーム操作に応じて、コントローラ５１を通じて操作者から入力される操作信号、および操作者からコントローラ５１を通じて検知されるセンサ信号として検出される。操作特徴検出部６３は、操作信号およびセンサ信号を、コントローラ５１から通信制御部２９を介してＣＰＵ２１に供給される前後に検出し、操作データに変換して操作データ記録部６５に供給する。
【００４５】
ここで、操作信号は、ゲーム操作のためにコントローラ５１に設けられた、操作ボタン、操作スイッチ、操作スティック、操作パッド等、操作子５３の操作状況に応じて、コントローラ５１により生成される。センサ信号は、操作者の体温を検知する温度センサ、コントローラ５１に対する操作者の把持力等を検知する圧力センサ、コントローラ５１の振動を検知する振動センサ、操作者からの発汗を検知する発汗センサ、操作者の脈拍を検知する脈拍センサ等、コントローラ５１に設けられた各種センサ５５、５７の検知状況に応じて、コントローラ５１により生成される。
【００４６】
操作データ記録部６５は、ゲーム操作中に検出された操作特徴に対応する操作データを画像データのフレームに同期するように記録する。操作データ記録部６５は、操作特徴検出部６３から操作データを供給され、特徴区間の検出処理に際して特徴区間検出部６９に供給する。
【００４７】
画像音声特徴抽出部６７は、特徴区間の検出処理に際して画像データおよび音声データを画像音声データ記録部６１から読出し、画像信号および音声信号に変換する。そして、画像音声特徴抽出部６７は、画像信号および音声信号から画像特徴および音声特徴をフレーム単位で抽出し、画像音声特徴として特徴区間検出部６９に供給する。ここで、画像特徴は、ゲーム映像（画像）が表す輝度、色差等に基づいて抽出され、音声特徴は、ゲーム音声の基本周波数、音声スペクトル等に基づいて抽出される。
【００４８】
特徴区間検出部６９は、画像音声特徴抽出部６７から供給される画像音声特徴および操作データ記録部６５から供給される操作特徴（操作データ）に基づいて、所定のフレーム区間を特徴区間として検出し、検出結果を特徴区間情報として特徴区間情報記録部７１に供給する。特徴区間検出部６９は、画像音声特徴のフレーム時系列から、画像音声特徴が所定の基準を満たす画像音声特徴区間を検出し、操作特徴のフレーム時系列から、操作特徴が所定の基準を満たす操作特徴区間を検出する。
【００４９】
ここで、画像音声特徴区間は、画像特徴が所定の検出基準を満たすフレーム区間、および／または音声特徴が所定の検出基準を満たすフレーム区間として検出される。また、操作特徴区間は、例えば、操作信号および／またはセンサ信号に対応する操作特徴が所定の検出基準を満たすフレーム区間として検出される。ここで、画像音声特徴区間および操作特徴区間の検出基準は、後述するように、ゲームの特性等に応じて設定されてもよい。
【００５０】
特徴区間検出部６９は、例えば、画像音声特徴区間、操作特徴区間、または両特徴区間の重複区間の検出結果に応じて特徴区間を検出し、特徴区間情報として特徴区間情報記録部７１に供給する。ここで、特徴区間情報は、特徴区間に対応するフレームを識別可能なフレームＩＤ、および後述するように特徴区間の優先度を表す優先度情報を含む。
【００５１】
ダイジェスト再生部７３は、特徴区間情報記録部７１から読出される特徴区間情報に基づいて、特徴区間に対応する画像データおよび音声データを画像音声データ記録部６１から読出し、画像信号および音声信号に変換し、ディスプレイ８１およびスピーカ８３に供給する。ダイジェスト再生部７３は、２以上の特徴区間が検出されている場合に、後述するように特徴区間の優先度情報に従って、再生処理の優先順位を決定する。
【００５２】
なお、ダイジェスト再生処理系６０の各構成要素は、汎用的な部材・回路により構成されてもよく、各構成要素の機能に特化したハードウェアにより構成されてもよい。また、各構成要素の機能のうち少なくとも一部は、ＣＰＵ２１上で実行されるプログラムにより実現されてもよい。
【００５３】
［４．ダイジェスト再生処理方法］
次に、図４〜図９を参照しながら、本発明の実施形態に係るダイジェスト再生処理方法について説明する。図４は、本発明の実施形態に係るダイジェスト再生処理方法の処理手順を示すフロー図である。図５は、特徴区間の検出基準の設定例を示す図である。図６は、特徴区間の優先度情報の設定例を示す図である。図７および図８は、特徴区間検出の処理結果の一例を模式的に示す図である。図９は、ダイジェスト再生の処理結果の一例を示す図である。
【００５４】
図４に示すように、ダイジェスト再生処理は、ゲーム操作中の処理（ステップＳ１０１〜Ｓ１０７）およびゲーム操作後の処理（Ｓ１１１〜Ｓ１３１）に区分される。
【００５５】
ゲーム操作中において、画像音声データ記録部６１は、フレームバッファ３３およびサウンドバッファ４３から供給される画像データおよび音声データをフレームＩＤに関連付けて記録する（Ｓ１０１）。操作特徴検出部６３は、コントローラ５１を通じて取得される操作信号およびセンサ信号を操作特徴として検出し、操作データとして操作データ記録部６５に供給する（Ｓ１０３）。操作データ記録部６５は、操作特徴検出部６３から供給される操作データを画像データのフレームに同期するように記録する（Ｓ１０５）。操作データは、画像データのフレームＩＤに関連付けて記録されてもよい。
【００５６】
ここで、ステップＳ１０１〜Ｓ１０５の処理は、ゲームの開始から終了まで継続して実行される（Ｓ１０７）。これにより、画像音声データ記録部６１には、ゲームの開始から終了までの画像データおよび音声データが記録され、操作データ記録部６５には、ゲームの開始から終了までの操作データが記録される。
【００５７】
ゲーム操作後に利用者がダイジェスト再生の開始を指示すると（Ｓ１１１）、特徴区間検出部６９は、ダイジェスト再生の対象となるゲームの特性に応じて、特徴区間の検出基準を設定する（Ｓ１１３）。ここで、ゲームの特性は、例えば、ゲームのジャンル、プレイの平均所要時間等であり、画像データとともに、画像音声データ記録部６１に記録されていてもよく、メモリカード２６に記録されていてもよい。
【００５８】
図５に示すように、特徴区間の検出基準は、ダイジェスト再生の対象となるゲームの特性に応じて設定される。特徴区間の検出基準は、画像特徴、音声特徴、操作特徴（操作信号、センサ信号）について設定される。図５には、激しい操作の発生頻度が高いゲーム（アクションゲーム等）に適用される検出基準の設定例、および激しい操作の発生頻度が低いゲーム（ロールプレイングゲーム等）に適用される検出基準の設定例が示されている。
【００５９】
激しい操作の発生頻度が高いゲームでは、一般に、ゲームの進行が早いので、画像音声特徴については、画像信号の輝度・色差の変化、音声信号の周波数スペクトルの変化が相対的に大きく、効果音も大きくなるので、音声信号レベルも相対的に大きくなる。また、操作特徴については、操作信号の発生頻度が相対的に高く、操作信号レベルも相対的に大きくなり、温度、圧力、振動、発汗、脈拍等のセンサ信号レベルも相対的に大きくなる。
【００６０】
このため、画像特徴区間、音声特徴区間の検出基準は、画像特徴、音声特徴が相対的に大きな変化を伴う区間、相対的に大きな音声レベルを伴う区間が検出されるように設定される。また、操作特徴区間（操作信号、センサ信号）の検出基準も、操作信号の発生頻度が相対的に高い区間、操作信号レベルが相対的に大きい区間、センサ信号レベルが相対的に大きい区間が検出されるように設定される。
【００６１】
ここで、画像特徴、音声特徴が変化を伴う区間は、例えば、画像特徴、音声特徴のフレーム時系列において、所定の抽出区間内で抽出される画像特徴、音声特徴の平均値または移動平均値（図５中の破線）等の変化傾向（図５中のΔ）が所定の閾値を超える区間として検出される。また、操作信号の発生頻度は、ゲーム操作信号の時系列において、所定の検出区間内で検出される操作信号の数として検出され、操作信号レベル、センサ信号レベルの大きい区間は、所定の検出区間内で検出される操作特徴の平均値または移動平均値等（図５中の破線）が所定の閾値（図５中のＴｈ）を超える区間として検出される。
【００６２】
一方、激しい操作の発生頻度が低いゲームでは、激しい操作の発生頻度が高い場合と対照的に、画像特徴区間、音声特徴区間の検出基準は、相対的に小さな変化を伴う区間、相対的に小さな音声レベルを伴う区間として検出されるように設定される。また、操作特徴区間の検出基準も、操作信号の発生頻度が相対的に低い区間、操作信号レベルが相対的に小さい区間、センサ信号レベルが相対的に小さい区間も特徴区間として検出されるように設定される。
【００６３】
図５に示す例では、フレーム区間Ｆａ、Ｆｂ、Ｆｃを含む各特徴のフレーム時系列において、フレーム区間Ｆｂが各特徴区間として検出されている。なお、画像音声特徴区間は、画像特徴および／または音声特徴が各々の検出基準を満たす区間として検出されてもよく、画像特徴および音声特徴の検出結果に重み付けを施した結果が所定の基準を満たす区間として検出されてもよい。また、操作特徴区間の検出における操作信号とセンサ信号についても同様である。
【００６４】
また、各特徴区間の検出基準は、操作者のゲームに対する習熟度に応じて設定されてもよい。各特徴区間の検出基準は、例えば、ゲームのスコアから操作者のゲームに対する習熟度を判定し、習熟度の高い操作者ほど相対的に高く／大きくなるように設定される。なお、ゲームのスコア情報は、例えば、画像データとともに、画像音声データ記録部６１に記録されていてもよく、メモリカード２６に記録されていてもよい。これは、ゲームに対する習熟度が高いほど、ゲーム所要時間が長くなり、相対的に多くの特徴区間が検出されることで、操作者にとって重要な映像区間を効率的にダイジェスト再生できなくなる場合があるためである。
【００６５】
画像音声特徴抽出部６７は、画像データおよび音声データを画像音声データ記録部６１からフレーム単位で読出し、画像信号および音声信号に変換する（Ｓ１１５）。ここで、画像データおよび音声データは、ゲーム開始時のフレームから読出されてもよく、例えば利用者による早送り・巻戻し操作等により指定されたフレームから読出されてもよい。画像音声特徴抽出部６７は、画像信号および音声信号から画像音声特徴をフレーム単位で抽出し、特徴区間検出部６９に供給する（Ｓ１１７）。
【００６６】
特徴区間検出部６９は、画像音声特徴抽出部６７から供給される画像音声特徴のフレーム時系列から画像音声特徴区間を検出する（Ｓ１１９）。特徴区間検出部６９は、操作データ記録部６５から操作データを読出し、操作特徴のフレーム時系列から操作特徴区間を検出する（Ｓ１２１、Ｓ１２３）。ここで、画像音声特徴区間および操作特徴区間は、前述したように、ゲームの特性等に応じて設定された検出基準に従って抽出される。
【００６７】
特徴区間検出部６９は、画像音声特徴区間および操作特徴区間の検出結果に応じて、特徴区間を検出するとともに、特徴区間の優先度情報を設定する（Ｓ１２５、Ｓ１２７）。ここで、特徴区間は、画像音声特徴区間または操作特徴区間の前後のフレーム区間を含めて検出されてもよい。これは、画像音声特徴区間または操作特徴区間の前後のフレーム区間にも、操作者にとって重要な区間が含まれる可能性が高いためである。
【００６８】
図６に示すように、特徴区間の優先度情報は、画像音声特徴区間および操作特徴区間の検出結果に応じて設定される。図６に示す例では、特徴区間が操作特徴区間に該当する場合に、優先度情報は、画像音声特徴区間にも該当すれば「３」に設定され、該当しなければ「２」に設定される。また、特徴区間が操作特徴区間に該当しない場合に、優先度情報は、画像音声特徴区間に該当すれば「１」に設定され、画像音声特徴区間にも該当しなければ、非特徴区間であるので、優先度情報が設定されない。特徴区間検出部６９は、特徴区間の検出結果を特徴区間情報として特徴区間情報記録部７１に供給する。
【００６９】
図７には、フレーム区間Ｆ１（フレームＩＤ：ｆｓ１〜ｆｅ１）、フレーム区間Ｆ２（同：ｆｓ２〜ｆｅ２）、フレーム区間Ｆ３（同：ｆｓ３〜ｆｅ３）、フレーム区間Ｆ４（同：ｆｓ４〜ｆｅ４）が示されている。なお、説明の便宜上、図７（図８も同様）では、画像音声特徴のフレーム時系列が信号レベルで、操作特徴のフレーム時系列が操作信号で模式的に表されている。ここで、フレーム区間Ｆ１、Ｆ２は、操作特徴区間として検出されているが、フレーム区間Ｆ３、Ｆ４は、操作特徴区間として検出されていない。また、フレーム区間Ｆ１、Ｆ３は、画像音声特徴区間として検出されているが、フレーム区間Ｆ２、Ｆ４は、画像音声特徴区間として検出されていない。
【００７０】
このため、優先度情報は、操作特徴区間および画像音声特徴区間に該当するフレーム区間Ｆ１で「３」に設定され、操作特徴区間に該当し、画像音声特徴区間に該当しないフレーム区間Ｆ２で「２」に設定され、操作特徴区間に該当せず、画像音声特徴区間に該当するフレーム区間Ｆ３で「１」に設定される。よって、図７に示す場合、フレーム区間Ｆ１〜Ｆ３のフレームＩＤおよび優先度情報３、２、１からなる特徴区間情報が特徴区間情報記録部７１に供給される。
【００７１】
また、図８には、連続するフレーム区間における優先度情報の設定例が示されている。図８には、連続するフレーム区間Ｆ５ａ、Ｆ５ｂ、Ｆ５ｃからなるフレーム区間Ｆ５（ｆｓ５〜ｆｅ５）、連続するフレーム区間Ｆ６ａ、Ｆ６ｂ、Ｆ６ｃからなるフレーム区間Ｆ６（ｆｓ６〜ｆｅ６）、連続するフレーム区間Ｆ７ａ、Ｆ７ｂ、Ｆ７ｃ、Ｆ７ｄ、Ｆ７ｅからなるフレーム区間Ｆ７（ｆｓ７〜ｆｅ７）が示されている。ここで、フレーム区間Ｆ５ｂ、Ｆ６ｂ、Ｆ７ｂ、Ｆ７ｄは、操作特徴区間および画像音声特徴区間として検出されている。フレーム区間Ｆ５ａ、Ｆ７ａ、Ｆ７ｅは、操作特徴区間としてのみ検出され、フレーム区間Ｆ５ｃ、Ｆ６ａ、Ｆ６ｃ、Ｆ７ｃは、画像音声特徴区間としてのみ検出されている。
【００７２】
このため、フレーム区間Ｆ５では、各フレーム区間Ｆ５ａ〜Ｆ５ｃの優先度情報２、３、１から、優先度情報が２（＝（２＋３＋１）÷３）と設定される。同様に、フレーム区間Ｆ６では、各フレーム区間Ｆ６ａ〜Ｆ６ｃの優先度情報から、優先度情報が１．７（＝（１＋３＋１）÷３）と設定され、フレーム区間Ｆ７では、各フレーム区間Ｆ７ａ〜Ｆ７ｅの優先度情報から、優先度情報が２．２（＝（２＋３＋１＋３＋２）÷５）と設定される。よって、図８に示す場合、フレーム区間Ｆ５〜Ｆ７のフレームＩＤおよび優先度情報２、１．７、２．２からなる特徴区間情報が特徴区間情報記録部７１に供給される。
【００７３】
ダイジェスト再生部７３は、特徴区間情報記録部７１から特徴区間情報を読出し、特徴区間に対応する画像データおよび音声データを再生処理する（Ｓ１２９、Ｓ１３１）。
【００７４】
図９には、図７および図８に示した特徴区間の検出結果に基づくダイジェスト再生の処理結果が示されている。図９に示すように、ダイジェスト再生部７３は、特徴区間の優先度に従って、フレーム区間Ｆ１（優先度情報３）、Ｆ７（同２．２）、Ｆ２（同２）、Ｆ５（同２）、Ｆ６（同１．７）、Ｆ３（同１）の順序で、特徴区間に対応する画像データおよび音声データを再生する。
【００７５】
なお、上記説明では、操作特徴区間および／または画像音声特徴区間に該当するか否かに応じて、フレーム区間の優先度情報を設定する場合について説明した。しかし、フレーム区間の優先度情報は、操作特徴区間の操作特徴量および画像音声特徴区間の画像音声特徴量を考慮して設定されてもよく、操作特徴区間の区間長および画像音声特徴区間の区間長を考慮して設定されてもよい。
【００７６】
［５．まとめ］
以上説明したように、本実施形態に係るビデオゲーム装置によれば、コントローラ５１を通じて取得され、ゲーム操作中の操作状況の特徴として検出された操作特徴、およびゲームの画像および音声から抽出された画像音声特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出する。これにより、コントローラ５１を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。また、ゲームの記録画像および記録音声のうち、特徴区間に対応する画像および音声を再生することで、ゲーム映像中の特徴区間をダイジェスト再生することができる。
【００７７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７８】
［６．変形例］
上記説明では、ゲーム操作中に検出された操作特徴を用いて、ゲーム操作後に操作特徴区間を検出することで、ゲーム映像のダイジェスト再生機能を実現する場合について説明した。しかし、ゲーム操作中に操作特徴区間を検出することで、ゲームの進行を適応的に変化させてもよい。
【００７９】
この場合、ＣＰＵ２１は、操作特徴区間の検出結果に応じて、ゲームの進行を適応的に変化させるように、グラフィックシステム３０、サウンドシステム４０等を制御する。特徴区間検出部６９は、ゲーム操作後の代わりにゲーム操作中に、操作特徴が所定の検出基準を満たす操作特徴区間を検出し、ＣＰＵ２１は、操作特徴区間の検出結果に応じて、ゲームの進行をリアルタイムに変化させる。ここで、ＣＰＵ２１は、例えば、アクションゲームであれば、ゲームの難易度を適応的に変化させてもよく、ロールプレイングゲームであれば、ゲームのストーリーを適応的に変化させてもよい。
【００８０】
図１０は、ゲーム操作中に操作特徴区間を検出し、ゲームの進行を適応的に変化させる方法の処理手順の一例を示すフロー図である。以下では、アクションゲーム（自動車レースゲーム）の難易度を適応的に変化させる場合について説明する。
【００８１】
図１０に示すように、ＣＰＵ２１は、ゲーム操作が開始されると（Ｓ２０１）、例えばゲームのスコアが所定のスコアを超えているかを判定し（Ｓ２０３）、判定条件に該当する場合に、特徴区間検出部６９に、操作特徴区間を検出させる。ここで、所定のスコアは、予め定められたスコアとして設定されてもよく、利用者の最高スコア等として設定されてもよい。なお、ＣＰＵ２１は、スコアの判定結果にかかわらずに、特徴区間検出部６９に、操作特徴区間を検出させてもよい。
【００８２】
特徴区間検出部６９は、操作特徴が所定の検出基準を満たす操作特徴区間を検出すると（Ｓ２０５）、操作特徴区間の検出、および選択的に操作特徴区間の詳細（操作特徴量、特徴区間長等）をＣＰＵ２１に通知する。操作特徴区間の検出を通知されると、ＣＰＵ２１は、ゲームの進行をリアルタイムに変化させる（Ｓ２０７）。ここで、ＣＰＵ２１は、操作特徴区間が検出されると、ゲームの進行に所定の変化を加えてもよく、さらに、操作特徴区間の詳細に応じて、ゲームの進行に異なる変化（例えば異なる難易度）を加えてもよい。
【００８３】
ＣＰＵ２１は、例えば、レースコースのカーブ数、カーブ曲率、レースコース上の障害物数、スコア基準等を変化させることで、ゲームの難易度を適応的に変化させる。そして、ＣＰＵ２１は、変化されたゲームの難易度を満たすように、グラフィックシステム３０、サウンドシステム４０等を制御する。そして、ＣＰＵ２１は、ゲーム操作が終了すると（Ｓ２０９）、処理を終了する。これにより、ゲーム操作中に操作特徴区間を検出し、ゲームの進行を適応的に変化させることで、ゲーム操作の楽しさを向上させることができる。
【符号の説明】
【００８４】
５１ コントローラ
５３ 操作子
５５、５７ センサ
６０ ダイジェスト再生処理系
６１ 画像音声データ記録部
６３ 操作特徴検出部
６５ 操作データ記録部
６７ 画像音声特徴抽出部
６９ 特徴区間検出部
７１ 特徴区間情報記録部
７３ ダイジェスト再生部
【技術分野】
【０００１】
本発明は、ダイジェスト再生装置、ダイジェスト再生方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラ装置等による記録映像から特徴的な区間（以下では、特徴区間とも称する。）を検出して再生する、記録映像のダイジェスト再生機能が知られている。特徴区間は、記録映像（画像）および記録音声から抽出される画像特徴および音声特徴（以下では、画像音声特徴区間とも称する。）、利用者から入力される指定情報等に基づいて検出される。ここで、記録操作中の利用者は、重要であると感じたシーン等を記録する際に、例えば、装置付属のボタン、センサを操作することで、指定情報を入力する。利用者は、記録映像のダイジェスト再生機能を用いて、記録映像中の特徴区間を効率的に再生することができる。
【０００３】
一方、ビデオゲーム装置の利用者の間では、ゲーム操作後に、ゲーム操作中に表示されたゲーム映像中の特徴区間を効率的に再生したいという要望がある。このため、ゲーム映像から特徴区間を検出して再生する、ゲーム映像のダイジェスト再生機能を実現することが望まれていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−６６２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ダイジェスト再生機能を実現する場合、特徴区間を適切に検出することが重要となるが、ゲーム映像のダイジェスト再生機能では、特徴区間の検出が困難となる場合がある。これは、記録映像のダイジェスト再生機能にもいえるが、画像音声特徴に基づく特徴区間の検出では、利用者が意図しない区間が特徴区間として誤検出され易くなる。このため、記録映像のダイジェスト再生機能では、記録操作中の利用者から映像記録時に指定情報を取得し、指定情報を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。
【０００６】
一方、ゲーム操作中の操作者は、ゲーム操作に専念しており、特にダイジェスト再生機能の再生対象となるような、利用者にとって重要な区間では、ゲーム操作になおさら熱中してしまう。このため、ゲーム操作中に操作者に指定情報を入力させることは困難であり、操作者が意図しない区間が特徴区間として誤検出されることで、特徴区間の検出精度が低下してしまう。
【０００７】
そこで、本発明は、ゲーム映像中の特徴区間の検出精度を向上可能な、ダイジェスト再生装置、ダイジェスト再生方法、およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００８】
本発明の第１の観点によれば、ゲームの画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出する画像音声特徴抽出部と、ゲームを操作するための操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出する操作特徴検出部と、画像音声特徴および操作特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出する特徴区間検出部と、を備えるダイジェスト再生装置が提供される。
【０００９】
かかる構成によれば、ダイジェスト再生装置は、操作部を通じて取得され、ゲーム操作中の操作状況の特徴として検出された操作特徴、およびゲームの画像および音声から抽出された画像音声特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出する。これにより、操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。
【００１０】
また、上記ダイジェスト再生装置は、ゲームの画像および音声を記録する画像音声記録部と、画像音声記録部に記録されている画像および音声のうち、特徴区間に対応する画像および音声を再生する特徴区間再生部をさらに備えてもよい。これにより、ゲームの記録画像および記録音声のうち、特徴区間に対応する画像および音声を再生することで、ゲーム映像中の特徴区間をダイジェスト再生することができる。
【００１１】
また、上記特徴区間検出部は、所定の画像区間および音声区間を、画像音声特徴および操作特徴に応じて優先度付けされた特徴区間として検出し、特徴区間再生部は、特徴区間の優先度に応じて、特徴区間に対応する画像および音声を再生してもよい。これにより、画像音声特徴および操作特徴に応じて優先度付けされた特徴区間に対応する画像および音声を、特徴区間の優先度に応じて再生することで、ゲーム映像中の特徴区間を効率的にダイジェスト再生することができる。例えば、画像音声特徴および操作特徴が所定の検出基準を満たす特徴区間を、優先度の高い特徴区間として検出し、他の特徴区間よりも優先的に再生することができる。
【００１２】
また、上記特徴区間検出部は、２以上の連続する所定の画像区間および音声区間を、各区間の画像音声特徴および操作特徴に応じて優先度付けされた１つの特徴区間として検出してもよい。これにより、２以上の連続する区間を、各区間の画像音声特徴および操作特徴に応じて優先度付けされた１つの特徴区間として検出することで、ゲーム映像中の特徴区間を適切にダイジェスト再生することができる。例えば、２以上の連続する区間が異なる優先度を伴う場合でも、各区間の優先度に応じて別々に再生される代わりに、連続区間で設定される優先度に応じて１つの特徴区間として適切に再生することができる。
【００１３】
また、上記特徴区間検出部は、画像音声特徴および／または操作特徴がゲームの特性に応じて設定される所定の検出基準を満たす場合に、所定の画像区間および音声区間を特徴区間として検出してもよい。これにより、ゲームの特性に応じて設定される検出基準を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。例えば、激しい操作の発生頻度が高いゲームでは、特徴区間の検出基準を高く／大きく設定し、激しい操作の発生頻度が低いゲームでは、検出基準を低く設定することで、特徴区間を適切に検出することができる。
【００１４】
また、上記特徴区間検出部は、画像音声特徴および／または操作特徴が操作者のゲームに対する習熟度に応じて設定される所定の検出基準を満たす場合に、所定の画像区間および音声区間を特徴区間として検出してもよい。これにより、操作者のゲームに対する習熟度に応じて設定される検出基準を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。例えば、習熟度の高い操作者の場合は、特徴区間の検出基準を高く／大きく設定し、習熟度の低い操作者の場合は、検出基準を相対的に低く／小さく設定することで、特徴区間を適切に検出することができる。
【００１５】
また、上記操作特徴検出部は、ゲーム操作に応じて、操作者から操作部を通じて入力される操作信号を操作特徴として検出してもよい。これにより、ゲーム操作に応じて、操作者から操作部を通じて入力される操作信号を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。ここで、操作信号の頻度、大きさ等には、操作者の感情が直接的または間接的に表れ易いので、特に操作者にとって重要な区間を特徴区間として適切に検出することができる。また、操作信号は、記録操作と別に入力される指定情報と異なり、ゲーム操作に伴って入力されるので、操作者がゲーム操作に熱中していても、操作特徴として確実に検出される。
【００１６】
また、上記操作特徴検出部は、操作者から操作部を通じて検知されるセンサ信号を操作特徴として検出してもよい。これにより、操作者から操作部を通じて検知されるセンサ信号を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。ここで、センサ信号は、例えば、操作者の体温、操作部に対する把持力等の圧力、操作部の振動、操作者の発汗、操作者の脈拍等を表す信号である。センサ信号には、操作者の感情が間接的に表れ易いので、特に操作者にとって重要な区間を特徴区間として適切に検出することができる。また、センサ信号は、記録操作と別に入力される指定情報と異なり、ゲーム操作に伴って検知されるので、操作者がゲーム操作に熱中していても、操作特徴として確実に検出される。
【００１７】
また、本発明の第２の観点によれば、ゲームの画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出し、ゲームを操作するための操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出し、画像音声特徴および操作特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出するダイジェスト再生方法が提供される。
【００１８】
かかる方法によれば、操作部を通じて取得され、ゲーム操作中の操作状況の特徴として検出された操作特徴、およびゲームの画像および音声から抽出された画像音声特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間が特徴区間として検出される。これにより、操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。
【００１９】
本発明の第３の観点によれば、本発明の第２の観点によるダイジェスト再生方法をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００２０】
以上説明したように本発明によれば、ゲーム映像中の特徴区間の検出精度を向上可能な、ダイジェスト再生装置、ダイジェスト再生方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係るダイジェスト再生装置の概要を示す図である。
【図２】本発明の実施形態に係るビデオゲーム装置の機能構成例を示すブロック図である。
【図３】ダイジェスト再生処理系の機能構成例を示すブロック図である。
【図４】本発明の実施形態に係るダイジェスト再生処理方法の処理手順を示すフロー図である。
【図５】特徴区間の検出基準の設定例を示す図である。
【図６】特徴区間の優先度情報の設定例を示す図である。
【図７】特徴区間検出の処理結果の一例を模式的に示す図である。
【図８】特徴区間検出の処理結果の一例を模式的に示す図である。
【図９】ダイジェスト再生の処理結果の一例を示す図である。
【図１０】ゲーム操作中に操作特徴区間を検出し、ゲームの進行を適応的に変化させる方法の処理手順の一例を示すフロー図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
［１．ダイジェスト再生装置の概要］
まず、図１を参照しながら、本発明の実施形態に係るダイジェスト再生装置の概要について説明する。図１は、本発明の実施形態に係るダイジェスト再生装置の概要を示す図である。
【００２４】
図１に示すように、ダイジェスト再生装置１は、ビデオゲーム装置３等に適用される。ビデオゲーム装置３は、家庭用ゲーム装置、パーソナルコンピュータ、ＰＤＡでもよく、遊技場に設置される商用ゲーム装置でもよいが、以下では、家庭用ゲーム装置を例として説明する。
【００２５】
ビデオゲーム装置３は、ゲームの進行中において、ビデオゲーム装置３により生成される画像および音声をディスプレイ装置５に出力する。ダイジェスト再生装置１は、ゲームの進行中にビデオゲーム装置３内で生成される画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出する。
【００２６】
ダイジェスト再生装置１は、ゲームを操作するための操作部７（コントローラ）を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出する。ここで、操作部７は、ビデオゲーム装置３と別体に設けられたコントローラでもよく、一体に設けられた操作パネル等でもよい。また、操作特徴は、ゲーム操作に応じて、操作者から操作部７を通じて入力される操作信号でもよく、操作者から操作部７を通じて検知されるセンサ信号でもよい。
【００２７】
そして、ダイジェスト再生装置１は、画像音声特徴および操作特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出する。これにより、操作部７を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。
【００２８】
また、ダイジェスト再生装置１は、ゲームの画像および音声を記録し、特徴区間に対応する画像および音声を再生する。これにより、ゲーム映像中の特徴区間をダイジェスト再生することができる。
【００２９】
［２．ビデオゲーム装置の機能構成］
次に、図２を参照しながら、本発明の実施形態に係るビデオゲーム装置の主要な機能構成について説明する。図２は、本発明の実施形態に係るビデオゲーム装置の機能構成例を示すブロック図である。
【００３０】
ビデオゲーム装置は、光ディスクＤから所定のゲームプログラムを読出して実行し、操作者の操作に応じて、画像信号および音声信号を処理する。図１に示すように、ビデオゲーム装置は、光ディスク再生系１０、ＣＰＵ２１を含む制御系２０、グラフィックシステム３０、サウンドシステム４０、操作系５０を含み、両システム３０、４０の出力が外部のディスプレイ８１およびスピーカ８３に供給される。さらに、ビデオゲーム装置は、ビデオ映像をダイジェスト再生するためのダイジェスト再生処理系６０を含む。ダイジェスト再生処理系６０は、光ディスク再生系１０、グラフィックシステム３０、サウンドシステム４０、操作系５０とともに、制御系２０のバスに接続される。
【００３１】
光ディスク再生系１０は、光ディスクＤに対向する光学ヘッド１１、デコーダ１３、バッファ１５、およびサブＣＰＵ１７を含む。デコーダ１３およびバッファ１５は、バスを通じてＣＰＵ２１に接続される。デコーダ１３は、サブＣＰＵ１７により制御され、光学ヘッド１１からの再生データを画像データおよび音声データに復号する。そして、画像データがフレームバッファ３３に供給され、音声データがＤ−Ａ変換器１９を介してスピーカ８３に供給される。
【００３２】
制御系２０は、ＣＰＵ２１、メインメモリ２３、ＲＯＭ２５、メモリカード２６、周辺制御部２７、通信制御部２９を含む。メインメモリ２３、ＲＯＭ２５、メモリカード２６、周辺制御部２７、通信制御部２９は、バスを通じてＣＰＵ２１に接続される。
【００３３】
ＲＯＭ２５は、メインメモリ２３、グラフィックシステム３０、サウンドシステム４０等を管理するオペレーティングシステム等のプログラムを格納する。メモリカード２６は、ゲームの設定データ等を記憶しており、不図示のカードコネクタ等を介して通信制御部２９に接続される。また、周辺制御部２７は、割込み制御、ダイレクトメモリアクセス（ＤＭＡ）転送等を処理する。通信制御部２９は、操作系５０からの操作信号入力、センサ信号入力等を処理する。
【００３４】
グラフィックシステム３０は、ＣＰＵ２１からの描画指示に従って画像を描画する画像処理部３１（以下では、ＧＰＵ３１（グラフィック・プロセッサ・ユニット）と称する）、ＧＰＵ３１により描画された画像を記憶するフレームバッファ３３、圧縮符号化された画像データを復号する画像デコーダ３５を含む。ＧＰＵ３１、画像デコーダ３５は、バスを通じてＣＰＵ２１に接続される。
【００３５】
ＧＰＵ３１は、ＣＰＵ２１により制御され、周辺制御部２７に含まれる不図示のＤＭＡコントローラ５１を介してメインメモリ２３から転送された描画命令に従って、フレームバッファ３３に対して１フレーム単位の画像を描画する。ＤＭＡコントローラ５１は、描画命令を転送すると、描画命令に組み込まれたアドレスに従って次の描画命令を実行する。
【００３６】
フレームバッファ３３は、いわゆるデュアルポートＲＡＭからなり、ＧＰＵ３１からの描画、またはメインメモリ２３からの転送と表示のための読出しを同時に処理する。フレームバッファ３３には、映像出力としてディスプレイ８１に出力されて表示される画像を記憶するための表示領域等が設けられる。
【００３７】
画像デコーダ３５は、ＣＰＵ２１により制御され、メインメモリ２３に記憶されている静止画または動画の画像データを復号してメインメモリ２３に記憶する。復号された画像データは、ＧＰＵ３１を介してフレームバッファ３３に記憶され、ＧＰＵ３１により描画される画像の背景として用いられる。
【００３８】
サウンドシステム４０は、ＣＰＵ２１により制御され、ゲーム音声を発生する音声処理部（以下では、ＳＰＵ４１（サウンド・プロセッサ・ユニット（ＳＰＵ）と称する。）、ＳＰＵ４１による音声データが記憶されるサウンドバッファ４３を含む。ＳＰＵ４１、サウンドバッファ４３は、バスを通じてＣＰＵ２１に接続され、ＳＰＵ４１から発生されるゲーム音声がスピーカ８３等から出力される。
【００３９】
操作系５０は、コントローラ５１を含む。コントローラ５１は、操作者によるゲーム操作を入力するための操作子５３、および操作者からセンサ値を検知するためのセンサ５５、５７を有し、不図示のスロットを介して通信制御部２９に接続される。コントローラ５１は、操作子５３の操作状況に応じた操作信号、およびセンサの検知状況に応じたセンサ信号を生成し、通信制御部２９を介してＣＰＵ２１に供給する。これにより、ＣＰＵ２１は、ゲームプログラム等に従って、操作信号に応じた処理を行うとともに、操作信号およびセンサ信号に基づいて、特徴区間検出処理を行う。
【００４０】
ビデオゲーム装置の電源が投入されると、ＣＰＵ２１は、ＲＯＭ２５に記憶されているオペレーティングシステムを実行し、グラフィックシステム３０、サウンドシステム４０等を制御する。オペレーティングシステムが実行されると、ＣＰＵ２１は、動作確認等の装置全体の初期化を行い、光ディスク再生系１０を制御して、光ディスクＤに記録されているゲームプログラムを実行する。ゲームプログラムが実行されると、ＣＰＵ２１は、コントローラ５１から供給される操作信号に応じて、グラフィックシステム３０、サウンドシステム４０等を制御し、ゲーム映像の表示、効果音・楽音等のゲーム音声の発生を制御する。
【００４１】
［３．ダイジェスト再生処理系６０の機能構成］
以下では、図３を参照しながら、ダイジェスト再生処理系６０の主要な機能構成について説明する。図３は、ダイジェスト再生処理系６０の機能構成例を示すブロック図である。
【００４２】
ダイジェスト再生処理系６０は、画像音声データ記録部６１、操作特徴検出部６３、操作データ記録部６５、画像音声特徴抽出部６７、特徴区間検出部６９、特徴区間情報記録部７１、ダイジェスト再生部７３を含む。
【００４３】
画像音声データ記録部６１は、ゲーム操作中の画像データおよび音声データをフレーム単位で記録する。画像音声データ記録部６１は、フレームバッファ３３およびサウンドバッファ４３から画像データおよび音声データを供給され、特徴区間の検出処理に際して画像音声特徴抽出部６７に供給し、特徴区間の検出結果に応じてダイジェスト再生部７３に供給する。
【００４４】
操作特徴検出部６３は、コントローラ５１を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を、画像データのフレームに同期するように検出し、操作データ記録部６５に供給する。操作特徴は、ゲーム操作に応じて、コントローラ５１を通じて操作者から入力される操作信号、および操作者からコントローラ５１を通じて検知されるセンサ信号として検出される。操作特徴検出部６３は、操作信号およびセンサ信号を、コントローラ５１から通信制御部２９を介してＣＰＵ２１に供給される前後に検出し、操作データに変換して操作データ記録部６５に供給する。
【００４５】
ここで、操作信号は、ゲーム操作のためにコントローラ５１に設けられた、操作ボタン、操作スイッチ、操作スティック、操作パッド等、操作子５３の操作状況に応じて、コントローラ５１により生成される。センサ信号は、操作者の体温を検知する温度センサ、コントローラ５１に対する操作者の把持力等を検知する圧力センサ、コントローラ５１の振動を検知する振動センサ、操作者からの発汗を検知する発汗センサ、操作者の脈拍を検知する脈拍センサ等、コントローラ５１に設けられた各種センサ５５、５７の検知状況に応じて、コントローラ５１により生成される。
【００４６】
操作データ記録部６５は、ゲーム操作中に検出された操作特徴に対応する操作データを画像データのフレームに同期するように記録する。操作データ記録部６５は、操作特徴検出部６３から操作データを供給され、特徴区間の検出処理に際して特徴区間検出部６９に供給する。
【００４７】
画像音声特徴抽出部６７は、特徴区間の検出処理に際して画像データおよび音声データを画像音声データ記録部６１から読出し、画像信号および音声信号に変換する。そして、画像音声特徴抽出部６７は、画像信号および音声信号から画像特徴および音声特徴をフレーム単位で抽出し、画像音声特徴として特徴区間検出部６９に供給する。ここで、画像特徴は、ゲーム映像（画像）が表す輝度、色差等に基づいて抽出され、音声特徴は、ゲーム音声の基本周波数、音声スペクトル等に基づいて抽出される。
【００４８】
特徴区間検出部６９は、画像音声特徴抽出部６７から供給される画像音声特徴および操作データ記録部６５から供給される操作特徴（操作データ）に基づいて、所定のフレーム区間を特徴区間として検出し、検出結果を特徴区間情報として特徴区間情報記録部７１に供給する。特徴区間検出部６９は、画像音声特徴のフレーム時系列から、画像音声特徴が所定の基準を満たす画像音声特徴区間を検出し、操作特徴のフレーム時系列から、操作特徴が所定の基準を満たす操作特徴区間を検出する。
【００４９】
ここで、画像音声特徴区間は、画像特徴が所定の検出基準を満たすフレーム区間、および／または音声特徴が所定の検出基準を満たすフレーム区間として検出される。また、操作特徴区間は、例えば、操作信号および／またはセンサ信号に対応する操作特徴が所定の検出基準を満たすフレーム区間として検出される。ここで、画像音声特徴区間および操作特徴区間の検出基準は、後述するように、ゲームの特性等に応じて設定されてもよい。
【００５０】
特徴区間検出部６９は、例えば、画像音声特徴区間、操作特徴区間、または両特徴区間の重複区間の検出結果に応じて特徴区間を検出し、特徴区間情報として特徴区間情報記録部７１に供給する。ここで、特徴区間情報は、特徴区間に対応するフレームを識別可能なフレームＩＤ、および後述するように特徴区間の優先度を表す優先度情報を含む。
【００５１】
ダイジェスト再生部７３は、特徴区間情報記録部７１から読出される特徴区間情報に基づいて、特徴区間に対応する画像データおよび音声データを画像音声データ記録部６１から読出し、画像信号および音声信号に変換し、ディスプレイ８１およびスピーカ８３に供給する。ダイジェスト再生部７３は、２以上の特徴区間が検出されている場合に、後述するように特徴区間の優先度情報に従って、再生処理の優先順位を決定する。
【００５２】
なお、ダイジェスト再生処理系６０の各構成要素は、汎用的な部材・回路により構成されてもよく、各構成要素の機能に特化したハードウェアにより構成されてもよい。また、各構成要素の機能のうち少なくとも一部は、ＣＰＵ２１上で実行されるプログラムにより実現されてもよい。
【００５３】
［４．ダイジェスト再生処理方法］
次に、図４〜図９を参照しながら、本発明の実施形態に係るダイジェスト再生処理方法について説明する。図４は、本発明の実施形態に係るダイジェスト再生処理方法の処理手順を示すフロー図である。図５は、特徴区間の検出基準の設定例を示す図である。図６は、特徴区間の優先度情報の設定例を示す図である。図７および図８は、特徴区間検出の処理結果の一例を模式的に示す図である。図９は、ダイジェスト再生の処理結果の一例を示す図である。
【００５４】
図４に示すように、ダイジェスト再生処理は、ゲーム操作中の処理（ステップＳ１０１〜Ｓ１０７）およびゲーム操作後の処理（Ｓ１１１〜Ｓ１３１）に区分される。
【００５５】
ゲーム操作中において、画像音声データ記録部６１は、フレームバッファ３３およびサウンドバッファ４３から供給される画像データおよび音声データをフレームＩＤに関連付けて記録する（Ｓ１０１）。操作特徴検出部６３は、コントローラ５１を通じて取得される操作信号およびセンサ信号を操作特徴として検出し、操作データとして操作データ記録部６５に供給する（Ｓ１０３）。操作データ記録部６５は、操作特徴検出部６３から供給される操作データを画像データのフレームに同期するように記録する（Ｓ１０５）。操作データは、画像データのフレームＩＤに関連付けて記録されてもよい。
【００５６】
ここで、ステップＳ１０１〜Ｓ１０５の処理は、ゲームの開始から終了まで継続して実行される（Ｓ１０７）。これにより、画像音声データ記録部６１には、ゲームの開始から終了までの画像データおよび音声データが記録され、操作データ記録部６５には、ゲームの開始から終了までの操作データが記録される。
【００５７】
ゲーム操作後に利用者がダイジェスト再生の開始を指示すると（Ｓ１１１）、特徴区間検出部６９は、ダイジェスト再生の対象となるゲームの特性に応じて、特徴区間の検出基準を設定する（Ｓ１１３）。ここで、ゲームの特性は、例えば、ゲームのジャンル、プレイの平均所要時間等であり、画像データとともに、画像音声データ記録部６１に記録されていてもよく、メモリカード２６に記録されていてもよい。
【００５８】
図５に示すように、特徴区間の検出基準は、ダイジェスト再生の対象となるゲームの特性に応じて設定される。特徴区間の検出基準は、画像特徴、音声特徴、操作特徴（操作信号、センサ信号）について設定される。図５には、激しい操作の発生頻度が高いゲーム（アクションゲーム等）に適用される検出基準の設定例、および激しい操作の発生頻度が低いゲーム（ロールプレイングゲーム等）に適用される検出基準の設定例が示されている。
【００５９】
激しい操作の発生頻度が高いゲームでは、一般に、ゲームの進行が早いので、画像音声特徴については、画像信号の輝度・色差の変化、音声信号の周波数スペクトルの変化が相対的に大きく、効果音も大きくなるので、音声信号レベルも相対的に大きくなる。また、操作特徴については、操作信号の発生頻度が相対的に高く、操作信号レベルも相対的に大きくなり、温度、圧力、振動、発汗、脈拍等のセンサ信号レベルも相対的に大きくなる。
【００６０】
このため、画像特徴区間、音声特徴区間の検出基準は、画像特徴、音声特徴が相対的に大きな変化を伴う区間、相対的に大きな音声レベルを伴う区間が検出されるように設定される。また、操作特徴区間（操作信号、センサ信号）の検出基準も、操作信号の発生頻度が相対的に高い区間、操作信号レベルが相対的に大きい区間、センサ信号レベルが相対的に大きい区間が検出されるように設定される。
【００６１】
ここで、画像特徴、音声特徴が変化を伴う区間は、例えば、画像特徴、音声特徴のフレーム時系列において、所定の抽出区間内で抽出される画像特徴、音声特徴の平均値または移動平均値（図５中の破線）等の変化傾向（図５中のΔ）が所定の閾値を超える区間として検出される。また、操作信号の発生頻度は、ゲーム操作信号の時系列において、所定の検出区間内で検出される操作信号の数として検出され、操作信号レベル、センサ信号レベルの大きい区間は、所定の検出区間内で検出される操作特徴の平均値または移動平均値等（図５中の破線）が所定の閾値（図５中のＴｈ）を超える区間として検出される。
【００６２】
一方、激しい操作の発生頻度が低いゲームでは、激しい操作の発生頻度が高い場合と対照的に、画像特徴区間、音声特徴区間の検出基準は、相対的に小さな変化を伴う区間、相対的に小さな音声レベルを伴う区間として検出されるように設定される。また、操作特徴区間の検出基準も、操作信号の発生頻度が相対的に低い区間、操作信号レベルが相対的に小さい区間、センサ信号レベルが相対的に小さい区間も特徴区間として検出されるように設定される。
【００６３】
図５に示す例では、フレーム区間Ｆａ、Ｆｂ、Ｆｃを含む各特徴のフレーム時系列において、フレーム区間Ｆｂが各特徴区間として検出されている。なお、画像音声特徴区間は、画像特徴および／または音声特徴が各々の検出基準を満たす区間として検出されてもよく、画像特徴および音声特徴の検出結果に重み付けを施した結果が所定の基準を満たす区間として検出されてもよい。また、操作特徴区間の検出における操作信号とセンサ信号についても同様である。
【００６４】
また、各特徴区間の検出基準は、操作者のゲームに対する習熟度に応じて設定されてもよい。各特徴区間の検出基準は、例えば、ゲームのスコアから操作者のゲームに対する習熟度を判定し、習熟度の高い操作者ほど相対的に高く／大きくなるように設定される。なお、ゲームのスコア情報は、例えば、画像データとともに、画像音声データ記録部６１に記録されていてもよく、メモリカード２６に記録されていてもよい。これは、ゲームに対する習熟度が高いほど、ゲーム所要時間が長くなり、相対的に多くの特徴区間が検出されることで、操作者にとって重要な映像区間を効率的にダイジェスト再生できなくなる場合があるためである。
【００６５】
画像音声特徴抽出部６７は、画像データおよび音声データを画像音声データ記録部６１からフレーム単位で読出し、画像信号および音声信号に変換する（Ｓ１１５）。ここで、画像データおよび音声データは、ゲーム開始時のフレームから読出されてもよく、例えば利用者による早送り・巻戻し操作等により指定されたフレームから読出されてもよい。画像音声特徴抽出部６７は、画像信号および音声信号から画像音声特徴をフレーム単位で抽出し、特徴区間検出部６９に供給する（Ｓ１１７）。
【００６６】
特徴区間検出部６９は、画像音声特徴抽出部６７から供給される画像音声特徴のフレーム時系列から画像音声特徴区間を検出する（Ｓ１１９）。特徴区間検出部６９は、操作データ記録部６５から操作データを読出し、操作特徴のフレーム時系列から操作特徴区間を検出する（Ｓ１２１、Ｓ１２３）。ここで、画像音声特徴区間および操作特徴区間は、前述したように、ゲームの特性等に応じて設定された検出基準に従って抽出される。
【００６７】
特徴区間検出部６９は、画像音声特徴区間および操作特徴区間の検出結果に応じて、特徴区間を検出するとともに、特徴区間の優先度情報を設定する（Ｓ１２５、Ｓ１２７）。ここで、特徴区間は、画像音声特徴区間または操作特徴区間の前後のフレーム区間を含めて検出されてもよい。これは、画像音声特徴区間または操作特徴区間の前後のフレーム区間にも、操作者にとって重要な区間が含まれる可能性が高いためである。
【００６８】
図６に示すように、特徴区間の優先度情報は、画像音声特徴区間および操作特徴区間の検出結果に応じて設定される。図６に示す例では、特徴区間が操作特徴区間に該当する場合に、優先度情報は、画像音声特徴区間にも該当すれば「３」に設定され、該当しなければ「２」に設定される。また、特徴区間が操作特徴区間に該当しない場合に、優先度情報は、画像音声特徴区間に該当すれば「１」に設定され、画像音声特徴区間にも該当しなければ、非特徴区間であるので、優先度情報が設定されない。特徴区間検出部６９は、特徴区間の検出結果を特徴区間情報として特徴区間情報記録部７１に供給する。
【００６９】
図７には、フレーム区間Ｆ１（フレームＩＤ：ｆｓ１〜ｆｅ１）、フレーム区間Ｆ２（同：ｆｓ２〜ｆｅ２）、フレーム区間Ｆ３（同：ｆｓ３〜ｆｅ３）、フレーム区間Ｆ４（同：ｆｓ４〜ｆｅ４）が示されている。なお、説明の便宜上、図７（図８も同様）では、画像音声特徴のフレーム時系列が信号レベルで、操作特徴のフレーム時系列が操作信号で模式的に表されている。ここで、フレーム区間Ｆ１、Ｆ２は、操作特徴区間として検出されているが、フレーム区間Ｆ３、Ｆ４は、操作特徴区間として検出されていない。また、フレーム区間Ｆ１、Ｆ３は、画像音声特徴区間として検出されているが、フレーム区間Ｆ２、Ｆ４は、画像音声特徴区間として検出されていない。
【００７０】
このため、優先度情報は、操作特徴区間および画像音声特徴区間に該当するフレーム区間Ｆ１で「３」に設定され、操作特徴区間に該当し、画像音声特徴区間に該当しないフレーム区間Ｆ２で「２」に設定され、操作特徴区間に該当せず、画像音声特徴区間に該当するフレーム区間Ｆ３で「１」に設定される。よって、図７に示す場合、フレーム区間Ｆ１〜Ｆ３のフレームＩＤおよび優先度情報３、２、１からなる特徴区間情報が特徴区間情報記録部７１に供給される。
【００７１】
また、図８には、連続するフレーム区間における優先度情報の設定例が示されている。図８には、連続するフレーム区間Ｆ５ａ、Ｆ５ｂ、Ｆ５ｃからなるフレーム区間Ｆ５（ｆｓ５〜ｆｅ５）、連続するフレーム区間Ｆ６ａ、Ｆ６ｂ、Ｆ６ｃからなるフレーム区間Ｆ６（ｆｓ６〜ｆｅ６）、連続するフレーム区間Ｆ７ａ、Ｆ７ｂ、Ｆ７ｃ、Ｆ７ｄ、Ｆ７ｅからなるフレーム区間Ｆ７（ｆｓ７〜ｆｅ７）が示されている。ここで、フレーム区間Ｆ５ｂ、Ｆ６ｂ、Ｆ７ｂ、Ｆ７ｄは、操作特徴区間および画像音声特徴区間として検出されている。フレーム区間Ｆ５ａ、Ｆ７ａ、Ｆ７ｅは、操作特徴区間としてのみ検出され、フレーム区間Ｆ５ｃ、Ｆ６ａ、Ｆ６ｃ、Ｆ７ｃは、画像音声特徴区間としてのみ検出されている。
【００７２】
このため、フレーム区間Ｆ５では、各フレーム区間Ｆ５ａ〜Ｆ５ｃの優先度情報２、３、１から、優先度情報が２（＝（２＋３＋１）÷３）と設定される。同様に、フレーム区間Ｆ６では、各フレーム区間Ｆ６ａ〜Ｆ６ｃの優先度情報から、優先度情報が１．７（＝（１＋３＋１）÷３）と設定され、フレーム区間Ｆ７では、各フレーム区間Ｆ７ａ〜Ｆ７ｅの優先度情報から、優先度情報が２．２（＝（２＋３＋１＋３＋２）÷５）と設定される。よって、図８に示す場合、フレーム区間Ｆ５〜Ｆ７のフレームＩＤおよび優先度情報２、１．７、２．２からなる特徴区間情報が特徴区間情報記録部７１に供給される。
【００７３】
ダイジェスト再生部７３は、特徴区間情報記録部７１から特徴区間情報を読出し、特徴区間に対応する画像データおよび音声データを再生処理する（Ｓ１２９、Ｓ１３１）。
【００７４】
図９には、図７および図８に示した特徴区間の検出結果に基づくダイジェスト再生の処理結果が示されている。図９に示すように、ダイジェスト再生部７３は、特徴区間の優先度に従って、フレーム区間Ｆ１（優先度情報３）、Ｆ７（同２．２）、Ｆ２（同２）、Ｆ５（同２）、Ｆ６（同１．７）、Ｆ３（同１）の順序で、特徴区間に対応する画像データおよび音声データを再生する。
【００７５】
なお、上記説明では、操作特徴区間および／または画像音声特徴区間に該当するか否かに応じて、フレーム区間の優先度情報を設定する場合について説明した。しかし、フレーム区間の優先度情報は、操作特徴区間の操作特徴量および画像音声特徴区間の画像音声特徴量を考慮して設定されてもよく、操作特徴区間の区間長および画像音声特徴区間の区間長を考慮して設定されてもよい。
【００７６】
［５．まとめ］
以上説明したように、本実施形態に係るビデオゲーム装置によれば、コントローラ５１を通じて取得され、ゲーム操作中の操作状況の特徴として検出された操作特徴、およびゲームの画像および音声から抽出された画像音声特徴に基づいて、ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出する。これにより、コントローラ５１を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を用いて特徴区間を検出することで、特徴区間の検出精度を向上させることができる。また、ゲームの記録画像および記録音声のうち、特徴区間に対応する画像および音声を再生することで、ゲーム映像中の特徴区間をダイジェスト再生することができる。
【００７７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７８】
［６．変形例］
上記説明では、ゲーム操作中に検出された操作特徴を用いて、ゲーム操作後に操作特徴区間を検出することで、ゲーム映像のダイジェスト再生機能を実現する場合について説明した。しかし、ゲーム操作中に操作特徴区間を検出することで、ゲームの進行を適応的に変化させてもよい。
【００７９】
この場合、ＣＰＵ２１は、操作特徴区間の検出結果に応じて、ゲームの進行を適応的に変化させるように、グラフィックシステム３０、サウンドシステム４０等を制御する。特徴区間検出部６９は、ゲーム操作後の代わりにゲーム操作中に、操作特徴が所定の検出基準を満たす操作特徴区間を検出し、ＣＰＵ２１は、操作特徴区間の検出結果に応じて、ゲームの進行をリアルタイムに変化させる。ここで、ＣＰＵ２１は、例えば、アクションゲームであれば、ゲームの難易度を適応的に変化させてもよく、ロールプレイングゲームであれば、ゲームのストーリーを適応的に変化させてもよい。
【００８０】
図１０は、ゲーム操作中に操作特徴区間を検出し、ゲームの進行を適応的に変化させる方法の処理手順の一例を示すフロー図である。以下では、アクションゲーム（自動車レースゲーム）の難易度を適応的に変化させる場合について説明する。
【００８１】
図１０に示すように、ＣＰＵ２１は、ゲーム操作が開始されると（Ｓ２０１）、例えばゲームのスコアが所定のスコアを超えているかを判定し（Ｓ２０３）、判定条件に該当する場合に、特徴区間検出部６９に、操作特徴区間を検出させる。ここで、所定のスコアは、予め定められたスコアとして設定されてもよく、利用者の最高スコア等として設定されてもよい。なお、ＣＰＵ２１は、スコアの判定結果にかかわらずに、特徴区間検出部６９に、操作特徴区間を検出させてもよい。
【００８２】
特徴区間検出部６９は、操作特徴が所定の検出基準を満たす操作特徴区間を検出すると（Ｓ２０５）、操作特徴区間の検出、および選択的に操作特徴区間の詳細（操作特徴量、特徴区間長等）をＣＰＵ２１に通知する。操作特徴区間の検出を通知されると、ＣＰＵ２１は、ゲームの進行をリアルタイムに変化させる（Ｓ２０７）。ここで、ＣＰＵ２１は、操作特徴区間が検出されると、ゲームの進行に所定の変化を加えてもよく、さらに、操作特徴区間の詳細に応じて、ゲームの進行に異なる変化（例えば異なる難易度）を加えてもよい。
【００８３】
ＣＰＵ２１は、例えば、レースコースのカーブ数、カーブ曲率、レースコース上の障害物数、スコア基準等を変化させることで、ゲームの難易度を適応的に変化させる。そして、ＣＰＵ２１は、変化されたゲームの難易度を満たすように、グラフィックシステム３０、サウンドシステム４０等を制御する。そして、ＣＰＵ２１は、ゲーム操作が終了すると（Ｓ２０９）、処理を終了する。これにより、ゲーム操作中に操作特徴区間を検出し、ゲームの進行を適応的に変化させることで、ゲーム操作の楽しさを向上させることができる。
【符号の説明】
【００８４】
５１ コントローラ
５３ 操作子
５５、５７ センサ
６０ ダイジェスト再生処理系
６１ 画像音声データ記録部
６３ 操作特徴検出部
６５ 操作データ記録部
６７ 画像音声特徴抽出部
６９ 特徴区間検出部
７１ 特徴区間情報記録部
７３ ダイジェスト再生部
【特許請求の範囲】
【請求項１】
ゲームの画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出する画像音声特徴抽出部と、
前記ゲームを操作するための操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出する操作特徴検出部と、
前記画像音声特徴および前記操作特徴に基づいて、前記ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出する特徴区間検出部と、
を備えるダイジェスト再生装置。
【請求項２】
前記ゲームの画像および音声を記録する画像音声記録部と、
前記画像音声記録部に記録されている画像および音声のうち、前記特徴区間に対応する画像および音声を再生する特徴区間再生部をさらに備える、請求項１に記載のダイジェスト再生装置。
【請求項３】
前記特徴区間検出部は、前記所定の画像区間および音声区間を、前記画像音声特徴および前記操作特徴に応じて優先度付けされた前記特徴区間として検出し、
前記特徴区間再生部は、前記特徴区間の優先度に応じて、前記特徴区間に対応する画像および音声を再生する、請求項２に記載のダイジェスト再生装置。
【請求項４】
前記特徴区間検出部は、２以上の連続する所定の画像区間および音声区間を、前記各区間の前記画像音声特徴および前記操作特徴に応じて優先度付けされた１つの前記特徴区間として検出する、請求項３に記載のダイジェスト再生装置。
【請求項５】
前記特徴区間検出部は、前記画像音声特徴および／または前記操作特徴が前記ゲームの特性に応じて設定される所定の検出基準を満たす場合に、前記所定の画像区間および音声区間を前記特徴区間として検出する、請求項１に記載のダイジェスト再生装置。
【請求項６】
前記特徴区間検出部は、前記画像音声特徴および／または前記操作特徴が操作者の前記ゲームに対する習熟度に応じて設定される所定の検出基準を満たす場合に、前記所定の画像区間および音声区間を前記特徴区間として検出する、請求項１に記載のダイジェスト再生装置。
【請求項７】
前記操作特徴検出部は、ゲーム操作に応じて、操作者から前記操作部を通じて入力される操作信号を前記操作特徴として検出する、請求項１に記載のダイジェスト再生装置。
【請求項８】
前記操作特徴検出部は、操作者から前記操作部を通じて検知されるセンサ信号を前記操作特徴として検出する、請求項１に記載のダイジェスト再生装置。
【請求項９】
ゲームの画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出し、
前記ゲームを操作するための操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出し、
前記画像音声特徴および前記操作特徴に基づいて、前記ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出するダイジェスト再生方法。
【請求項１０】
ゲームの画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出し、
前記ゲームを操作するための操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出し、
前記画像音声特徴および前記操作特徴に基づいて、前記ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出するダイジェスト再生方法をコンピュータに実行させるためのプログラム。
【請求項１】
ゲームの画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出する画像音声特徴抽出部と、
前記ゲームを操作するための操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出する操作特徴検出部と、
前記画像音声特徴および前記操作特徴に基づいて、前記ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出する特徴区間検出部と、
を備えるダイジェスト再生装置。
【請求項２】
前記ゲームの画像および音声を記録する画像音声記録部と、
前記画像音声記録部に記録されている画像および音声のうち、前記特徴区間に対応する画像および音声を再生する特徴区間再生部をさらに備える、請求項１に記載のダイジェスト再生装置。
【請求項３】
前記特徴区間検出部は、前記所定の画像区間および音声区間を、前記画像音声特徴および前記操作特徴に応じて優先度付けされた前記特徴区間として検出し、
前記特徴区間再生部は、前記特徴区間の優先度に応じて、前記特徴区間に対応する画像および音声を再生する、請求項２に記載のダイジェスト再生装置。
【請求項４】
前記特徴区間検出部は、２以上の連続する所定の画像区間および音声区間を、前記各区間の前記画像音声特徴および前記操作特徴に応じて優先度付けされた１つの前記特徴区間として検出する、請求項３に記載のダイジェスト再生装置。
【請求項５】
前記特徴区間検出部は、前記画像音声特徴および／または前記操作特徴が前記ゲームの特性に応じて設定される所定の検出基準を満たす場合に、前記所定の画像区間および音声区間を前記特徴区間として検出する、請求項１に記載のダイジェスト再生装置。
【請求項６】
前記特徴区間検出部は、前記画像音声特徴および／または前記操作特徴が操作者の前記ゲームに対する習熟度に応じて設定される所定の検出基準を満たす場合に、前記所定の画像区間および音声区間を前記特徴区間として検出する、請求項１に記載のダイジェスト再生装置。
【請求項７】
前記操作特徴検出部は、ゲーム操作に応じて、操作者から前記操作部を通じて入力される操作信号を前記操作特徴として検出する、請求項１に記載のダイジェスト再生装置。
【請求項８】
前記操作特徴検出部は、操作者から前記操作部を通じて検知されるセンサ信号を前記操作特徴として検出する、請求項１に記載のダイジェスト再生装置。
【請求項９】
ゲームの画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出し、
前記ゲームを操作するための操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出し、
前記画像音声特徴および前記操作特徴に基づいて、前記ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出するダイジェスト再生方法。
【請求項１０】
ゲームの画像および音声から、画像特徴および音声特徴を画像音声特徴として抽出し、
前記ゲームを操作するための操作部を通じて取得され、ゲーム操作中の操作状況の特徴を表す操作特徴を検出し、
前記画像音声特徴および前記操作特徴に基づいて、前記ゲームの画像および音声から所定の画像区間および音声区間を特徴区間として検出するダイジェスト再生方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２２００８９（Ｐ２０１０−２２００８９Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６６８４６（Ｐ２００９−６６８４６）
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]