連続再生データを部分的に再生する再生支援システム
【課題】音声データの中から希望する範囲を簡単に検索することができる情報処理装置を提供する。
【解決手段】コンピュータは音声データの記録とディスプレイに対するアノテーションの書き込みが可能である。イベントごとにデスクトップ空間画像（Ｉｍ０１〜Ｉｍ１５）が記録され、さらに連続再生データが音声ブロック（Ｖｏ０１〜Ｖｏ０８）として記録される。最適時系列予測モデルに基づいて音声ブロックの内容をより思い出しやすいデスクトップ空間画像に関連付ける。デスクトップ空間画像を示す既視感にもとづいて音声ブロックが容易に検索できるようになる。
【解決手段】コンピュータは音声データの記録とディスプレイに対するアノテーションの書き込みが可能である。イベントごとにデスクトップ空間画像（Ｉｍ０１〜Ｉｍ１５）が記録され、さらに連続再生データが音声ブロック（Ｖｏ０１〜Ｖｏ０８）として記録される。最適時系列予測モデルに基づいて音声ブロックの内容をより思い出しやすいデスクトップ空間画像に関連付ける。デスクトップ空間画像を示す既視感にもとづいて音声ブロックが容易に検索できるようになる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータに格納された音声や映像などの連続再生データの中から必要な範囲だけを検索して再生する技術に関する。
【背景技術】
【０００２】
今日のノートブック型パーソナル・コンピュータ（以下、ノートＰＣという。）には、マイクロフォン、スピーカ、およびカメラなどが実装されるようになり、ビジネスでの利用範囲が一層拡大してきている。たとえば、営業担当者がノートＰＣに接続されたプロジェクタの画面に商品カタログを表示して顧客の要望を聞きながら商品説明をすることがある。そして多くの商品について顧客が多くの質問や要望事項を話しているとする。営業担当者は、説明に集中しながら顧客の要望を漏らさず記録する必要がある。しかし、手書きのメモをとることは円滑な商談の妨げになるとともに時間のロスにつながるので困難である。
【０００３】
このときノートＰＣに内蔵されたボイス・レコーダを使用して顧客の話した内容を録音することができるが、再生時には必要な箇所だけを再生して再生時間を短縮したい。音声や映像のような連続再生データは、必要な箇所を短時間で見つけることが容易ではなく、場合によっては検索のために記録時間と同じ時間または早送りによる若干少ない程度の時間をかけて再生する必要がある。また、録音または撮影の開始からの経過時間を手がかりにして必要な部分をみつけようとしても適切な場所を正確に探すことはできないため、その時刻の近辺のデータをある程度の時間をかけて再生する必要がある。
【０００４】
特許文献１は、一度みたインターネット上のサイトを再度検索する場合の時間を短縮する技術を開示する。同文献には、インターネット上にて検索及び閲覧済みのサイトおよび情報を、サムネイル（画像の縮小見本）として一括蓄積し、再度過去検索サイトおよび情報を閲覧可能とし、情報収集の対象となる情報どうしの比較検討作業を簡略化ならしめることを記載している。
【０００５】
特許文献２は、媒体ファイルを高速でブラウジングする技術を開示する。同文献には、時間周期に対し、特定形式の媒体ファイル、アノテーションまたはブックマーク処理された媒体ファイル、または他のユーザ指定のブラウズ可能パラメータをブラウジングするよう構成し、ブラウジングまたはスクローリングファンクションのスピードをユーザの希望に基づき変更できるようにすることが記載されている。特許文献３は、ビデオカメラなどで撮影した映像から必要な部分のみを抽出する際に、映像から抽出された複数枚の代表フレーム画像をインデックス画像として編集画面上に時間を追って表示し、それらのインデックス画像を追っていくことで必要な部分の検索を行なうことを記載している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−７３６８４号公報
【特許文献２】特開２００５−２１６２８５号公報
【特許文献３】特開平６−２５３２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
人間には、ファイルの名称や作成日時などのような形式的な情報よりもそれに関連するイメージの方が記憶に残しやすいという特質がある。したがって、イメージを通じて特定のファイルを探し出すしくみがあれば、コンピュータの利便性を一層高めることができる。ここで、コンピュータのデスクトップ画面は、その時点でユーザが話していた内容に対する画像イメージを提供することができる。また、プレゼンテーションを行うための資料の各ページもその場で参加者が発言していた内容を記録した音声ファイルを思い出す手がかりとなる画像イメージを提供することができる。ユーザがターゲット・ファイルに感じる既視感をこのような画像イメージとして再現できれば、形式的な情報を覚えていなくても画像イメージを通じてターゲット・ファイルを連想することで検索を容易に行うことができる。
【０００８】
しかし、音声データから必要な部分だけを探して再生することは文書や静止画像の特定部分だけを再生するよりも難しい。理由の１つには音声データは文書やタグを関連付けた静止画像のように文字による検索が簡単にできないことが挙げられる。また、他の理由には、必要な部分を確認するためにはその前後も含めた範囲を再生する必要があり、そのために余分な時間を費やしてしまうことが挙げられる。一般的には必要な情報を得るためには視覚よりも聴覚の方が多くの時間を必要とする。まとまりのある音声データを所定のタイミングごとに画像イメージに関連付けて分割したファイルとして記録すれば、画像イメージを検索して途中から所定の範囲の音声データを再生することはできる。前述の商談の例では、営業担当者がノートＰＣの画面を操作して表示したカタログの画像イメージと音声データを関連付けて保存すれば、画像イメージを探すことで容易に関連付けられた音声データだけを再生することができる。
【０００９】
図１２には、時刻ｔ１〜ｔ５の各タイミングで発生したトリガにより、音声データに関連付けてそれぞれ画像イメージ＃１〜＃５を保存した様子を示している。ここでは、画像イメージ＃１は時刻ｔ０から時刻ｔ１までの音声データと関連付けられているといったように、各画像イメージは前のトリガから当該トリガまでの音声データに関連付けられているものとする。ここでユーザは、画像イメージを検索した結果、再生したい範囲の音声データに画像イメージ＃４が最も関連していると判断すれば、画像イメージ＃４を選択して時刻ｔ３〜ｔ４の範囲の音声データを再生することができる。しかしユーザが、実際に再生したかった音声データは時刻ｔ４〜ｔ５に録音されたものである場合がある。あるいは、時刻ｔ３〜ｔ５の範囲の音声データである場合がある。
【００１０】
画像イメージ＃４を選択して再生した音声データが望むものでない場合は、ユーザは再度他の画像イメージを選択してそれに関連する音声データを再生する必要があるため余分な時間を費やすことになる。各画像イメージに関連付ける適切な音声データの範囲を、画像イメージを生成するたびにユーザが指定できればこの問題を解消できる可能性がある。しかしユーザが会議や電話で会話を行っている間にそのような判断を行う必要があったり、時間的に連続している会話の中で将来の会話が行われてからでないと適切な再生範囲の判断ができない場合があったり、あるいはメモの書き込み時間がなかったりしてユーザが判断して指定することは困難である。
【００１１】
そこで本発明の目的は、連続再生データの中から希望する範囲を簡単に検索することができる再生支援システムを提供することにある。さらに本発明の目的は、そのような再生支援システムにおける連続再生データの記録方法、再生方法およびそのような再生支援システムを実現するコンピュータ・プログラムおよび情報処理装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、デスクトップ画面にデスクトップ空間画像を表示しながら連続再生データを記録しデスクトップ画面に対するアノテーションの書き込みが可能な音声再生支援システムに関する。連続再生データは音声データの他に、再生時に時間軸上で連続して再生される音声付き映像、音声無し映像、またはデスクトップ画面上でのマウス・カーソルの動的な軌跡などのデータとすることができる。アノテーションの書き込みは、マウスやトラックパッドなどのポインティング・デバイスまたはデジタイザにより行うことができる。また、ポインティング・デバイスは、無線で情報処理装置に接続するタイプのものでもよい。
【００１３】
再生支援システムでは、ユーザによりデスクトップ空間画像の表示と連続再生データの記録に対する所定の操作が行われるとイベントが生成される。そして、イベントに応答してその時点で表示されていたデスクトップ空間画像が取得され、さらに連続再生データがイベント間のデータ・ブロックとして取得される。すなわち、デスクトップ空間画像もデータ・ブロックもイベントのタイミングで取得されるが、デスクトップ空間画像はイベントのタイミングで存在していたものであり、データ・ブロックはイベント間に存在していたものとなる。デスクトップ空間画像とデータ・ブロックはいずれもイベントの識別子やイベントのタイムスタンプなどで特定することができ、取得されたタイミングの相互関係を特定することができる。
【００１４】
ユーザが記録されたデータから希望する再生範囲のデータ・ブロックを、デスクトップ空間画像を通じて検索する際には、デスクトップ空間画像がデータ・ブロックの希望する再生範囲に対する既視感を与える必要がある。デスクトップ空間画像は会話の途中で会話に関連して取得することができるため、そのとき行われ所定の操作により生成されるイベントは、データ・ブロックをいずれのデスクトップ空間画像に関連付けるのが適切かという特質を備えている。特に、複数の種類のイベントの発生状態を追跡し、デスクトップ空間画像を取得する特定のイベントの種類と当該特定のイベントが生成されたときにすでに生成されていた他のイベントの種類で構成されるイベント条件により、当該特定のイベントにより取得されたデスクトップ空間画像をいずれのデータ・ブロックに関連付けると既視感を効果的に利用できるかを決定することができる。
【００１５】
最適時系列予測モデルは、イベントの種類に基づいてデスクトップ空間画像とデータ・ブロックの関連づけを定義する。したがって再生支援システムを使用する際には、ユーザは所定の操作を行いながらデスクトップ空間画像とデータ・ブロックの関連づけを行う必要がなく会話に集中することができる。最適時系列予測モデルはまた、デスクトップ空間画像を取得する特定のイベントの種類と特定のイベントが生成されたときにすでに生成されていた他のイベントの種類で構成されるイベント条件に基づいて前デスクトップ空間画像とデータ・ブロックの関連づけを定義することができる。
【００１６】
したがって、デスクトップ空間画像を取得する特定のイベントが生成されたときに過去に生成された他のイベントの状態も認識すれば、最適時系列予測モデルに基づいて当該デスクトップ空間画像に対して最適なデータ・ブロックを関連付けることができる。ここに「関連付ける」とは、デスクトップ空間画像を選択することで当該デスクトップ空間画像を通じてデータ・ブロックを再生できる状態を実現するデータ構造を構築することを意味する。典型的には、ハイパーリンクでデスクトップ空間画像に埋め込まれたデータ・ブロックのアイコンを選択することで当該データ・ブロックが再生できるようなデータ構造の構築を意味する。
【００１７】
特定のデータ・ブロックの開始または終了のいずれかのタイミングで取得されたデスクトップ空間画像は、当該データ・ブロックに最も関係が深い可能性がある。よって、最適時系列予測モデルは、特定のイベントに応答して取得されたデスクトップ空間画像と、当該特定のイベントに応答して取得されたデータ・ブロックまたは特定のイベントの直後に生成されたイベントに応答して取得されたデータ・ブロックのいずれかとの関連づけを定義することができる。
【００１８】
所定の操作に対応するイベントは、連続再生データの取得の開始に対応する取得開始イベント、連続再生データの取得の終了に対応する取得終了イベント、アノテーションの書き込みが可能な状態への移行に対応するアノテーション開始イベント、およびアノテーションの書き込みを終了する状態への移行に対応するアノテーション終了イベントを含む。これらのイベントは、特にデータ・ブロックの内容に対する記憶を呼び起こすことができるデスクトップ空間画像を生成する可能性が高い。
【００１９】
特定のイベントが生成されたときにすでに生成されていた他のイベントの種類としては、取得開始イベントまたは取得終了イベントに応答して変化するＴＳＳ値と、アノテーション開始イベントまたはアノテーション終了イベントに応答して変化するＥＳＳ値を定義することができる。そして、最適時系列予測モデルがＴＳＳ値、ＥＳＳ値、およびイベントの種類で構成されるイベント条件に基づいてデスクトップ空間画像とデータ・ブロックの関連付けを定義することでより検索が容易な関連づけを行うことができる。
【００２０】
アノテーション終了イベントが生成されたときは、アノテーションが書き込まれたデスクトップ空間画像と該デスクトップ空間画像からアノテーションが消去されたデスクトップ空間画像を取得するようにすれば、前者はそれ以前に取得されたデータ・ブロックと関連付け、後者はそれ以後に取得されたデータ・ブロックと関連付けることでより検索の容易なデータを記録することができる。
【００２１】
イベントは、最適再生処理システムの開始に対応するシステム開始イベント、最適再生処理システムの終了に対応するシステム終了イベント、書き込まれたアノテーションを消去するアノテーション消去イベント、デスクトップ空間画像を取得する画像取得イベント、ディスプレイに表示されているウインドウのページを変更するページ・イベントからなるグループから選択されたいずれか１つの要素または任意の複数の要素を含むようにすることができる。これらのイベントは、音声再生支援システムが動作するときにユーザが通常行う操作により生成されるものであるため、ユーザは特別な負担をすることなくデータ・ブロックとデスクトップ空間画像を記録することができる。
【００２２】
最適時系列予測モデルに基づいて１つのデータ・ブロックに２つのデスクトップ空間画像が関連付けられた場合には、画像の冗長性を排除するために各イベントの既視感に関する優先度に基づいていずれか一方のデスクトップ空間画像だけを関連付けるようにすることができる。各データ・ブロックの再生時間は、デスクトップ空間画像の取得に関連した所定の操作のタイミングに関連するため、まとまりのある会話単位の全体が記録されているとは限らない。再生時間が所定の値よりも短いデータ・ブロックについては、複数のデータ・ブロックを結合して１回の操作で再生できる集合データ・ブロックを形成することができる。この場合、集合データ・ブロックには複数のデスクトップ空間画像が関連付けられることがあるので、内部イベントの優先度に基づいて１または複数のデスクトップ空間画像を選択することで画像の冗長性を排除することができる。
【００２３】
このように再生支援システムは、当該イベントの種類や他のイベントの発生の有無だけでデータ・ブロックをより既視感を惹起するデスクトップ空間画像に関連付けるので、ユーザは会話に集中しながらデスクトップ空間画像に対する負担の少ない操作をするだけでデスクトップ空間画像とデータ・ブロックを記録し、記録された連続再生データから必要な範囲の再生部分だけを容易に検索できる。
【発明の効果】
【００２４】
本発明により、連続再生データの中から希望する範囲を簡単に検索することができる再生支援システムを提供することができた。さらに本発明により、そのような再生支援システムにおける連続再生データの記録方法、再生方法およびそのような再生支援システムを実現するコンピュータ・プログラムおよび情報処理装置を提供することができた。
【図面の簡単な説明】
【００２５】
【図１】本実施の形態にかかるコンピュータのハードウエアの概略の構成を示す機能ブロック図である。
【図２】音声再生支援システムのソフトウエアの構成を説明するための機能ブロック図である。
【図３】外部トリガとそれに対応して生成される内部イベントの種類を示す図である。
【図４】最適再生処理システムの構成を説明するための機能ブロック図である。
【図５】最適時系列予測モデルの一例を示す図である。
【図６】会議における音声再生支援システムの動作状態の一例を示す図である。
【図７】時系列判定部が音声ブロックとデスクトップ空間画像を関連付けた状態を示す図である。
【図８】音声再生支援システムが音声データを記録する手順を示すフローチャートである。
【図９】１つの外部トリガでイベント条件の異なる２つの画像イメージを記録する手順を示すフローチャートである。
【図１０】複数の音声ブロックを結合して音声集合ブロックを作成する手順を示すフローチャートである。
【図１１】時系列判定部、再生範囲判定部、および最適画像選択部における処理を説明する図である。
【図１２】トリガのタイミングで音声データと画像イメージを関連付けるときの様子を説明するための図である。
【発明を実施するための形態】
【００２６】
［コンピュータのハードウエア構成］
図１は、本実施の形態にかかるコンピュータ１０のハードウエアの概略の構成を示す機能ブロック図である。コンピュータ１０は、ノートＰＣ、デスクトップ型パーソナル・コンピュータ、または会議専用の情報処理装置などとすることができる。コンピュータ１０は、ＣＰＵ１１、メイン・メモリ１３、ＨＤＤ１５、ＧＰＵ（Graphics Processing Unit）に接続された液晶ディスプレイ（ＬＣＤ）１７と、内蔵カメラ１９、内蔵マイクロフォン２１、無線モジュール２３、ＵＳＢポート２５、内蔵スピーカ２７、およびマウス２９がバス３１に接続されている。バス３１は、ノース・ブリッジやサウス・ブリッジなどの複数のチップ・セットを含む。ＵＳＢポート２５には、外付けのＬＣＤ、プロジェクタ、外付けマイクロフォン、外付けカメラ、外付けＨＤＤ、ブルートゥース（Bluetooth：登録商標）・マウス、光学ディスク・ドライブ（ＯＤＤ）、血圧計、歩数計、デジタイザまたはオシロスコープなどの外部デバイスを接続することができる。コンピュータ１０のハードウエアの構成は周知であるため、個々のデバイスの説明は省略する。
【００２７】
［音声再生支援システムの構成］
図２は、本実施の形態にかかる音声再生支援システム１００のソフトウエアの構成を説明するための機能ブロック図である。音声再生支援システム１００は、コンピュータ１０がＬＣＤ１７にデスクトップ空間画像を表示しながら、内蔵マイクロフォン２１が録音可能な状況において行われる電話会議、テレビ会議、または顧客へのプレゼンテーションなどで録音した音声データを短時間で必要な部分だけ探して再生することができる。デスクトップ空間画像は会話の進行に伴って変化するため、必然的に録音された音声データと関連性をもつことになる。音声再生支援システム１００は、主として、コンピュータ１０の内蔵マイクロフォン２１、マウス２９、ＬＣＤ１７、およびＨＤＤ１７に格納された図２、図４で説明するプログラムにより構成される。
【００２８】
図２の各機能ブロックは、ＨＤＤ１５、ＬＣＤ１７、内蔵マイクロフォン２１、およびマウス２９以外はすべてソフトウエアで構成されている。ソフトウエアの機能ブロックはＨＤＤ１５に格納されたプログラムがメイン・メモリ１３にロードされてＣＰＵ１１で実行されることで形成される。各機能ブロックのソフトウエアは、周知のオペレーティング・システム（ＯＳ）および周知のデバイス・ドライバなどと協働して所定の機能を実現する。したがって、ソフトウエアの各機能ブロックはＣＰＵ１１、メイン・メモリおよびプログラムの協働により実現されるハードウエアの機能ブロックとして捕らえることもできる。各機能ブロックは単体のプログラム・モジュールで構成してもよいし、複数の機能ブロックをまとめたプログラム・モジュールで構成してもよい。
【００２９】
内部イベント生成部１０１は、音声再生支援システム１００が動作を開始したときに、デスクトップ画面上にコントロール・パネルを表示する。ユーザは、コントロール・パネルに対してマウス２９を操作して音声再生支援システム１００に対して外部トリガを入力する。外部トリガは、コンピュータ・システムから入力することもできる。本実施の形態では、ＯＳが構成するタイマ１１１が、所定のタイム・インターバルを示す外部イベントを内部イベント生成部１０１に送る。内部イベント生成部１０１は、マウス２９またはタイマ１１１から受け取った外部トリガに対応する内部イベントを生成して所定の機能ブロックに送る。このとき内部イベント生成部１０１は、外部トリガを受け取ったタイミングでタイムスタンプを生成し内部トリガに付与する。タイムスタンプは音声再生支援システム１００において、デスクトップ空間画像または音声データを取得したタイミングや内部イベントが生成されたタイミングを識別するための識別子として利用される。
【００３０】
図３は、外部トリガとそれに対応して生成される内部イベントの種類を示す図である。「支援システム開始」および「支援システム終了」は、それぞれコンピュータ１０が動作しているときに音声再生支援システム１００を動作させたり停止させたりする外部トリガで、それぞれＮｄ−ｓ、Ｎｄ−ｅの内部イベントを生成する。「アノテーション・モード設定」、「アノテーション・モード終了」は、それぞれ音声再生支援システム１００が動作している間にマウス２９をアノテーション・モードで動作させるかポインティング・モードで動作させるかを設定する外部トリガである。マウス２９がアノテーション・モードに設定されたときは、その設定に連動してポインティング・モードは終了することになり、アノテーション・モードが終了するときは、その設定に連動してポインティング・モードが開始することを意味する。
【００３１】
アノテーション・モードで動作するマウス２９は、マウス・カーソルの軌跡でデスクトップ画面にアノテーションを書き込むことができるとともに、クリックやドラッグなどの本来のマウスの機能は停止する。ポインティング・モードで動作するマウス２９は、マウスの本来の動作をするが、アノテーションを書き込むことはできない。ただし、アノテーション・モードのときであっても、マウス２９は内部イベント生成部１０１が提供するコントロール・パネルに対する操作は可能である。「アノテーション・モード設定」の外部トリガは、アノテーション・モードの開始を示すＡｎ−ｓイベントとポインティング・モードの終了を示すＰｔ−ｅイベントの２つの内部イベントを生成する。「アノテーション・モード終了」の外部トリガは、アノテーション・モードの終了を示すＡｎ−ｅイベントとポインティング・モードの開始を示すＰｔ−ｓイベントの２つの内部イベントを生成する。
【００３２】
「アノテーション・クリア」は、アノテーション・モードのときに一旦書き込まれたアノテーションをデスクトップ画面から消去する操作を行うための外部トリガで、Ａｎ−ｃの内部イベントを生成する。「録音開始」および「録音終了」は、それぞれ内蔵マイクロフォン２１による音声の録音を開始または終了するための外部トリガで、それぞれＲｅ−ｓ、Ｒｅ−ｅの内部トリガを生成する。「画像キャプチャ」は、その時点でデスクトップ画面に表示されているデスクトップ空間画像（以下、画像イメージという。）をユーザが意図的にキャプチャするための外部トリガで、ＰｒｔＳｃｎの内部トリガを生成する。「ページ操作」は、複数のページで構成されたアプリケーション・ウインドウのページを操作する外部トリガで、ＰａｇｅＵ／Ｄの内部トリガを生成する。「タイマ・インターバル」は、音声再生支援システム１００が動作を開始している間に、コンピュータ・システムから定期的に送られてくる外部トリガで、Ｔｍ−ｉの内部イベントを生成する。
【００３３】
図３には各内部イベントに割り当てられた優先度が示されている。図３では数字が大きいほど優先度が高くなるように設定している。優先度は、画像イメージをキャプチャするタイミングを与える内部イベントが、当該画像イメージに対して音声データに対する既視感を与える強さの程度に基づいて設定している。たとえば、Ａｎ−ｅイベント、Ｐｔ―ｓイベント、Ａｎ−ｃイベントおよびＰｒｔＳｃｎイベントは、ユーザが会議の進行に合わせて意図的にその時点の画像イメージをキャプチャしようとする操作に関連する内部イベントであるため優先度を高くしている。
【００３４】
一方、Ｔｍ−ｉイベントは、録音時の状況やユーザの意思とは無関係にシステムが生成する内部イベントであるため優先度は低くしている。そして、ＰａｇｅＵ／Ｄイベントのように文書に対するユーザの操作により生成される内部イベントの優先度はその中間に設定している。この優先度は、同一の音声データに複数の画像イメージが関連付けられたときに、画像イメージの冗長性を排除するためにいずれかの画像イメージを削除するときに利用するが詳細は後に説明する。アノテーション作成部１０３は、内部イベント生成部１０１からＡｎ−ｓイベントを受け取ってからＡｎ−ｅイベントを受け取るまでの間、マウス２９、ＵＳＢポート２５に接続されたデジタイザ、または図示しないBluetooth（登録商標）のインターフェースで無線接続されたポインティング・デバイスなどでユーザがＬＣＤ１７に表示されたデスクトップ画面に対してアノテーションを書き込むための処理をする周知のソフトウエアである。本実施の形態におけるアノテーションは、ユーザがデスクトップ画面に書き込んだマークまたは文字などをいう。
【００３５】
アノテーションはキーボードから書き込むこともできる。ユーザはデスクトップ画面に表示されたデスクトップ空間画像の上にその時点で録音している音声に関連する内容のアノテーションを書き込むことができる。しかし、音声再生支援システム１００では、会話とデスクトップ画面を利用したコミュニケーションにおいて、ユーザがデスクトップ空間画像の強調したい箇所をラインで囲うと行ったようなコミュニケーションの自然な流れの中で書き込んだアノテーションの結果を有効に利用するができる。ユーザが音声データの再生を特に意識しないで会話をしながら書き込んだアノテーションが画像イメージとともに保存され、以下に説明するように音声ファイルと画像イメージが関連付けられると、アノテーションは画像イメージに関連付けられた音声ファイルに対するユーザの既視感を惹起するために有効に機能する。
【００３６】
アノテーション作成部１０３はまた、内部イベント生成部１０１からＡｎ−ｅイベントおよびＡｎ−ｃイベントを受け取ったときはその時点までにデスクトップ画面に書き込まれていたアノテーションを消去する。ただし内部イベント生成部１０１は、Ａｎ−ｅイベントを生成するときは、アノテーション作成部１０３がアノテーションを消去する前に空間画像取得部１０５にアノテーションが書き込まれた画像イメージをキャプチャさせる。本明細書においてはデスクトップ画面とは、画像を表示したりキーボードからフォント文字を書き込んだり、マウス２９から手書きのラインを書き込んだりすることができるＬＣＤ１７の表示領域を意味するものとする。デスクトップ画面には、アプリケーションが実行されていないときに壁紙、所定のアイコン、およびＯＳのバーなどの定型的な画像であるデスクトップ画像が表示される。したがってデスクトップ画面にはデスクトップ空間画像としての画像イメージまたはデスクトップ画像が表示される。
【００３７】
デスクトップ空間画像としての画像イメージは、デスクトップ画面の上にアプリケーション・ウインドウが表示されているときには、アプリケーション・ウインドウが表示されたＬＣＤ１７の画像全体をいい、アプリケーション・ウインドウが表示されていないときはデスクトップ画像をいう。また、アノテーション作成部１０３を通じてデスクトップ画面にアノテーションが書き込まれている場合は、画像イメージは当該アノテーションも含む。したがって画像イメージはデスクトップ画像、アプリケーション・ウインドウおよびアノテーションで構成される場合がある。アノテーション作成部１０３が作成したアノテーションは、ＧＰＵのＶＲＡＭに一旦保存されてＬＣＤ１７に送られる。
【００３８】
空間画像取得部１０５は、内部イベント生成部１０１からＰｔ−ｅイベントを除くいずれかの内部イベントを受け取ったときに、その時点でデスクトップ画面に表示されている画像イメージをキャプチャしそれにファイル名称を付して空間画像記録部１１７に記録する。Ｐｔ−ｅイベントに対応する画像イメージをキャプチャしないのは、Ｐｔ−ｅイベントが生成されるときは必ずＡｎ−ｅイベントが生成され、Ａｎ−ｅイベントに基づいて画像イメージがキャプチャされることになっているので、同一画像を取得することによる冗長性を排除するためである。空間画像取得部１０５はまた、キャプチャした画像イメージに付したファイル名、当該画像イメージに対応する内部イベントの識別子、およびタイムスタンプを最適再生処理システム２００の時系列判定部２０７（図４）に送る。画像イメージは、ＬＣＤ１７に画像データを供給するＶＲＡＭが保有している。空間画像取得部１０５は、たとえばキーボードのPrintScreenキーの押下やマウス２９のクリックまたはジェスチャー動作で画像イメージをキャプチャする周知のプログラムを利用して構成することができる。
【００３９】
マウス・モード制御部１０７は、内部イベント生成部１０１からＰｔ−ｅイベントまたはＰｔ−ｓイベントを受け取ってマウス２９をアノテーション・モードまたはポインティング・モードのいずれかで動作させる。音声データ取得部１０９は、Ｒｅ−ｓイベントを受け取ってからＲｅ−ｅイベントを受け取るまでの間に、内部イベント生成部１０１から図３に示したいずれかの内部イベントを受け取ると、前回の内部イベントから今回の内部イベントまで内蔵マイクロフォン２１が録音した音声データにファイル名称を付して音声記録部１１９に記録する。
【００４０】
音声データ取得部１０９はまた、録音した音声データに付したファイル名、当該音声データに対応する内部イベントの識別子、およびタイムスタンプを時系列判定部２０７（図４）に送る。音声データ取得部１０９は、連続的に収集した音声を内部イベントが発生したタイミングで分割して取得しそれぞれにファイル名を付して記録するが、このように分割された個々の音声データを本明細書では音声ブロックということにする。最適再生処理システム２００は、音声データの最適再生を実現するためにタグデータで画像イメージと音声ブロックをファイル名で関連付けたメタデータを作成して、メタデータ記録部１２１に記録する。最適再生処理システム２００の詳細は図４を参照して説明する。
【００４１】
空間画像記録部１１７、音声記録部１１９、およびメタデータ記録部１２１はＨＤＤ１５の記憶領域の一部である。検索部１２３はＬＣＤ１７にユーザ・インターフェースとなる検索画面を表示してメタデータ記録部１１１に記録したメタデータを検索し、メタデータから検索された画像イメージを空間画像記録部１１７からメイン・メモリ１３にロードしてＬＣＤ１７に表示する処理をする。検索部１２３はまた、ユーザがＬＣＤ１７に表示された画像イメージを選択すると、それに連結された音声ブロックを音声記録部１１９からメイン・メモリ１３にロードして内蔵スピーカ２７から再生する処理をする。
【００４２】
［最適再生処理システム］
図４は、図２の最適再生処理システム２００の構成を説明するための機能ブロック図である。最適再生処理システム２００は、内部イベント生成部１０１から受け取った内部イベントに基づいて動作する。内部イベント生成部１０１は、原則として１つの外部トリガに対応して１つの内部イベントを生成して１つの画像イメージと１つの音声ブロックを記録する。内部イベント生成部１０１は、例外的に音声再生支援システム１００の動作におけるユーザの重要な操作により生成された「アノテーション・モード終了」の外部イベントに対しては、Ａｎ−ｅイベントとＰｔ−ｓイベントを生成してそれぞれの内部イベントに対する画像イメージを記録できるようにする。その手順については図９を参照して後に説明する。
【００４３】
ＴＳＳ（Time Sequence Status）設定部２０１は、コンピュータ１０が現在音声データを録音しているか否かを示すメイン・メモリ１３上の状態設定領域で、時系列判定部２０７から各イベントに対応するＴＳＳ値の照会を受けたときにそれに応答する。ＴＳＳ設定部２０１は、内部イベント生成部１０１からＲｅ−ｓイベントを受け取ってからＲｅ−ｅイベントを受け取るまでの間は、時系列判定部２０７から特定のイベントに対応するＴＳＳ値の照会を受けたときにＴＳＳ＝１を表明する。ＴＳＳ設定部２０１は、Ｒｅ−ｅイベントを受け取ってからＲｅ−ｓイベントを受け取るまでの間は、時系列判定部２０７から特定のイベントに対応するＴＳＳ値の照会を受けたときにはＴＳＳ−０を表明する。ＴＳＳ設定部２０１は、Ｒｅ−ｅイベントに対応するＴＳＳ値の照会を受けたときにはＴＳＳ＝０を表明するが、これはＲｅ−ｅイベントが生成された瞬間は録音が終了しており録音すべき音声データが存在しないことに対応させている。
【００４４】
ＥＳＳ（Editing Sequence Status）設定部２０３は、マウス２９がアノテーション・モードに設定されているかポインティング・モードに設定されているかを示すメイン・メモリ１３上の状態設定領域で、時系列判定部２０７から各イベントに対応するＥＳＳ値の照会を受けたときにそれに応答する。ＥＳＳ設定部２０３は、内部イベント生成部１０１からＡｎ−sイベントを受け取ってからＡｎ−ｅイベントを受け取るまでの間は、時系列判定部２０７から特定のイベントに対応するＥＳＳ値の照会を受けたときにＥＳＳ＝１を表明する。ＥＳＳ設定部２０３は、Ａｎ−ｅイベントを受け取ってからＡｎ−ｓイベントを受け取るまでの間は、時系列判定部２０７から特定のイベントに対応するＥＳＳ値の照会を受けたときにはＥＳＳ＝０を表明する。ＥＳＳ設定部２０３は、時系列判定部２０７からＡｎ−ｃイベントに対応するＥＳＳ値またはＡｎ−ｅイベントに対応するＥＳＳ値の照会を受けたときにはいずれもＥＳＳ＝１を表明する。
【００４５】
時系列判定部２０７は、各内部イベントに基づいて画像イメージを取得する際に、ＴＳＳ設定部２０１およびＥＳＳ設定部２０３の値を参照して、内部イベント、ＴＳＳ値、およびＥＳＳ値を組にして構成したイベント条件をメイン・メモリ１３に記憶し、各イベントに対応する画像イメージに対してイベント条件について最適再生時系列モデル２０９を適用する。内部イベント生成部１０１は「アノテーション・モード終了」の外部トリガを受け取ったときには、Ａｎ−ｅイベントとＰｔ−ｓイベントを生成する。このとき空間画像取得部１０５は、Ａｎ−ｅイベントに対応するアノテーションが書き込まれた画像イメージと、Ｐｔ−ｓイベントに対応するアノテーションが消去された画像イメージを取得する。しかし、Ａｎ−ｅイベントが生成されるときはＥＳＳ＝１であり、その後に時系列判定部２０７で擬似的にＰｔ−ｓイベントが生成されるときはＥＳＳ＝０になる。
【００４６】
ＴＳＳ／ＥＳＳ変更部２０５は、Ａｎ−ｅイベントに対応するイベント条件とＰｔ−ｓイベントに対応するイベント条件が異なるため、Ａｎ−ｅイベントに対応する画像イメージを取得してそのときのイベント条件をメイン・メモリ１３に記憶したら、ＥＳＳ値を変更してからＰｔ−ｓイベントに対応する画像イメージを取得する処理をする。Ａｎ−ｅイベントとＰｔ−ｓイベントは、同一の外部トリガにより生成されたものであるが、イベント条件は異なるのでＴＳＳ／ＥＳＳ変更部２０５は異なるイベント条件を取得するための処理をする。本実施の形態では図９で説明するようにＥＳＳ値だけを変更するが、他の再生システムによってはＴＳＳ値または両方を変更する場合もある。
【００４７】
時系列判定部２０７は、内部イベント生成部１０１から内部イベントを受け取り、空間画像取得部１０５から画像イメージのファイル名とタイムスタンプ付きの内部イベント識別子を受け取り、音声データ取得部から音声ブロックのファイル名とタイムスタンプ付きの内部イベント識別子を受け取ってそれぞれの内部イベントに対応するイベント条件と組にしてメイン・メモリ１３に記憶する。時系列判定部２０７はメイン・メモリ１３に記憶した内部イベントの組ごとのデータについて図５の最適時系列予測モデル２０９を参照して図７（Ａ）に示した時系列テーブル２５０を作成する。時系列テーブル２５０を利用してメタデータを作成することで各内部イベントのタイミングで記録された画像イメージと音声ブロックを必要な音声ブロックだけを短時間で検索して再生できるように関連付けることができる。
【００４８】
時系列判定部２０７は最適時系列予測モデル２０９を参照して、各画像イメージに対して、当該画像イメージを生成する内部イベントに応じて録音された１個の音声ブロックまたは当該内部イベントの直後に生成された内部イベントに応じて録音された１個の音声ブロックのいずれかを関連付けるか、またはいずれの音声ブロックも関連付けないかの３つの処理のいずれかの処理をする。時系列判定部２０７が行う処理については図６〜図９を参照して後に説明する。
【００４９】
最適時系列予測モデル２０９は、ＴＳＳ設定部２０１の状態、ＥＳＳ設定部２０３の状態、および内部イベントの種類で構成されるイベント条件によって、３つの処理のいずれに該当するかを示す参照テーブルである。ＴＳＳ設定部２０１の状態とＥＳＳ設定部２０３の状態はいずれも内部イベントにより変化するので、最適時系列モデルはイベントの種類と複数のイベントにより構成されるイベント条件に基づいて各イベントにより取得された画像イメージを３つの処理のいずれで処理するかを示しているともいえる。図５に最適時系列予測モデルの一例を示す。
【００５０】
最適時系列予測モデル２０９は、以下の３つの項目を実現することを目標にして作成している。
（１）ユーザが再生したい音声ブロックを、ユーザに最も強い既視感を抱かせる画像イメージに関連付ける。
（２）いずれの画像イメージにも関連付けられない音声ブロックがないようにして音声ブロックの脱落を排除する。
（３）１つの音声ブロックには、１つの画像イメージを関連付けて検索時の画像イメージの冗長性を排除する。
【００５１】
最適時系列予測モデル２０９において、「制限」は、内部イベントが生成されたときに一意に定まるＴＳＳ値またはＥＳＳ値を示している。たとえば、Ｎｄ−ｓイベントが生成されるときは必ずＴＳＳ＝０でＥＳＳ＝０になり、Ａｎ−ｓイベントが生成されたときは必ずＥＳＳ＝１になることを意味し、それ以外の状態は取り得ないことを意味する。「ＮＡ」は、当該内部イベントに対してＴＳＳ値とＥＳＳ値の組み合わせ状態が存在しないことを意味しており、「制限」として示したＴＳＳ値またはＥＳＳ値により決定される。たとえば、Ａｎ−ｅイベントに対する制限はＥＳＳ＝１であるため、ＥＳＳ＝０である条件２および条件４はＮＡに設定している。
【００５２】
「前」または「後」は、目標（１）を実現するためにそれぞれ、当該内部イベントによりキャプチャされた画像イメージ２３１に対しては、当該イベントにより記録された音声ブロック２３３または当該イベントのつぎに発生したイベントにより記録された音声ブロック２３５を関連付けることを示している。条件１〜条件４は、ＴＳＳ値、ＥＳＳ値、および内部イベントの種類の組み合わせからなるイベント条件で構成される。音声再生支援システム１００の開始に対応するＮｄ−ｓイベントが生成されるときは必ずＴＳＳ＝０、ＥＳＳ＝０であるため、Ｎｄ−ｓイベントについてはいずれか一方の値が１である条件１〜３ではＮＡに設定する。また、ＴＳＳ＝０のときは音声データが録音されていないので条件４は「音声なし」に設定する。
【００５３】
Ｎｄ−ｓイベントは、音声再生支援システム１００がこれから動作を開始するための「支援システム開始」の外部トリガにより生成されるが、コントロール・パレットを操作して録音を開始するのは音声再生支援システム１００が動作した以降になり、外部トリガの発生時点では音声データが録音されていることはないので、Ｎｄ−ｓイベントにより取得された画像イメージに対してはいかなる音声ブロックの関連付けもしない。音声再生支援システム１００の終了に対応するＮｄ−ｅイベントは、Ｒｅ−ｓイベントが生成されてからＲｅ−ｅイベントが生成される前に生成されることもあるが、目標（２）を実現するためにＴＳＳ＝０にしている。
【００５４】
Ｎｄ−ｅイベントに対するＥＳＳ値は１または０のいずれかである。そして条件３、条件４が成立するときは「音声なし」に設定する。また、条件１および条件２が成立するときはいずれも「ＮＡ」に設定するべきであるが、条件１のときは目標（２）を実現するために例外的に「前」に設定している。アノテーション・モードが設定されたことに対応するＡｎ−ｓイベントが生成されるときはＥＳＳ＝１であるため、Ａｎ−ｓイベントについて条件２、条件４が成立するときは「ＮＡ」に設定し、条件３が成立するときは「音声なし」に設定する。条件１が成立するときは、音声が録音されているときに、ユーザはこれからの話の内容は重要であると感じてアノテーション・モードに設定したと考えられるので「後」に設定する。
【００５５】
「アノテーション・モード設定」の外部トリガは、マウス２９をアノテーション・モードに移行させるとともに、ポインティング・モードを終了させるＰｔ−ｅイベントも生成するが、この外部トリガが発生したときはアノテーションがまだ書き込まれていない段階なので、Ａｎ−ｓイベントの画像イメージと同じ画像イメージをさらに記録する必要はない。したがって、Ｐｔ−ｅイベントに対する画像イメージは記録せず、最適時系列予測モデル２０９からはＰｔ−ｅイベントの評価を除外している。アノテーション・モードが終了したことに対応するＡｎ−ｅイベントが生成されるときはＥＳＳ＝１になるので、Ａｎ−ｅイベントについて条件２、条件４が成立するときは「ＮＡ」に設定し、条件３が成立するときは「音声なし」に設定する。条件１が成立するときは、すでにアノテーションが書き込まれた画像イメージは、それまでの間に行われた会話の内容に対する既視感が強いと考えられるので「前」に設定する。
【００５６】
「アノテーション・モード終了」の外部トリガは、アノテーション・モードを終了させるとともに、マウス２９をポインティング・モードに移行させるＰｔ−ｓイベントも生成する。アノテーション・モードが終了するときは、それまで書き込まれていたアノテーションを消去することになっている。よって、「アノテーション・モード終了」の外部トリガが発生したタイミングでは、アノテーションが書き込まれた画像イメージの他にアノテーションが消去されたこと以外は同じ内容の画像イメージが別に存在することになる。
【００５７】
アノテーションが書き込まれた画像イメージは前述のように書き込まれている間に録音された音声ブロックに対する既視感を惹起するが、アノテーションが消去された画像イメージは新たに展開される話題に関する音声ブロックに対する既視感を惹起すると考えられる。よって、Ｐｔ−ｓイベントについて条件２が成立したときは「後」を設定する。また、Ｐｔ−ｓイベントが生成されるときはＥＳＳ＝０になるので、Ｐｔ−ｓイベントについて条件１、条件３が成立するときは「ＮＡ」に設定し、条件４が成立するときは「音声なし」に設定する。
【００５８】
アノテーションのクリアに対応するＡｎ−ｃイベントが生成されたときは、アノテーションの書き込みはアノテーション・モードで行われることが前提であるためＥＳＳ＝１になるので、Ａｎ−ｃイベントについて条件２、条件４が成立するときは「ＮＡ」に設定し、条件３が成立するときは「音声なし」に設定する。条件１が成立するときは、一旦書き込んだアノテーションを消して新たなアノテーションを書き込む操作なので、当該画像イメージはこれからの話題に関連する度合いが強いと考えられるため「後」に設定する。録音の開始に対応するＲｅ−ｓイベントが生成されるときはＴＳＳ＝１であるため、Ｒｅ−ｓイベントについて条件３、条件４が成立するときはいずれも「ＮＡ」に設定する。
【００５９】
条件１、条件２が成立するときは、音声ブロックはそれ以降にしか存在しないのでいずれも「後」に設定する。録音の終了に対応するＲｅ−ｅイベントが生成されたときはＴＳＳ＝０であるため、Ｒｅ−ｅイベントについて条件１、条件２が成立するときはいずれも「ＮＡ」に設定し、条件４が成立するときは「音声なし」に設定する。条件３が成立するときは、音声ブロックはそれ以前にしか存在しないので「前」に設定する。
【００６０】
画像イメージのユーザによる意図的なキャプチャに対応するＰｒｔＳｃｎイベントが生成されるときは、ＴＳＳ値、ＥＳＳ値はともにいずれの値も取り得るため、ＰｒｔＳｃｎイベントについて条件３、条件４が成立するときはいずれも「音声なし」に設定する。条件１が成立するときは、音声が録音されかつアノテーション・モードのときに、それまで書き込んだアノテーションを含む画像イメージを意図的にキャプチャする場合なので、それ以前に録音した音声ブロックはキャプチャされた画像イメージに関連する度合いが強いと想定できるため「前」に設定する。条件２が成立するときは、音声が録音されているときに画像イメージを意図的にキャプチャする場合なので、これから新たな話題を展開しようとする区切りの時点でユーザが画像イメージをキャプチャする場合であると想定できるので「後」に設定する。
【００６１】
アノテーションは背景に表示されている画像イメージの所定の位置に書き込まれる。したがって、あるデスクトップ画面にアノテーションが書き込まれている間に、ページが変更されるとアノテーションと背景のデスクトップ空間画像との関連性がなくなる。よって音声再生支援システム２００では、アノテーション・モードのときは、ページの変更ができないようにしている。したがって、ページ操作に対応するＰａｇｅＵ／Ｄイベントが生成されるときはＥＳＳ＝０になるため、ＰａｇｅＵ／Ｄイベントについて条件１、条件３が成立するときは「ＮＡ」に設定し、条件４が成立するときは「音声なし」に設定する。
【００６２】
条件２が成立するときは、音声が録音されているときにアプリケーション・ウインドウのページが変わって新たな話題が展開されようとしているときなので「後」に設定する。タイマ・インターバルに対応するＴｍ−ｉイベントは、長い時間内部イベントが発生しないときに１つの音声ブロックの再生時間が長くなりすぎることで必要な箇所だけの再生が困難になることを防止するために生成するが、設定はＰｒｔＳｃｎイベントと同じにしている。
【００６３】
［最適時系列の決定］
つぎに音声再生支援システム１００が、顧客に対する商品の説明会議で使用されるときに音声データを記録する方法を図６〜図８を参照して説明する。図６は、会議における音声再生支援システム１００の動作状態の一例を示す図である。図７は図６の動作状態のときに時系列判定部２０７が音声ブロックと画像イメージを必要な音声ブロックだけを短時間で検索して再生できるように関連付けた状態を示す図である。図８は、音声再生支援システム１００が画像イメージと音声データを記録する手順を示すフローチャートである。
【００６４】
図８のブロック３０１では、図６の時刻ｔ０においてユーザがＬＣＤ１７のデスクトップ画面に商品のカタログを表示して顧客からの質問に応答しながら説明を開始している。各内部イベントが生成された時刻ｔ０〜ｔ１４は音声再生システム１００がタイムスタンプとして利用する。ブロック３０３では、時刻ｔ１で音声再生支援システム１００が動作を開始し内部イベント生成部１０１によりデスクトップ画面にコントロール・パネルが表示され、それ以降は、会議の進行に伴って順番に外部トリガが入力されて画像イメージおよび音声データが取得されてゆく。
【００６５】
ブロック３０５では、アノテーション作成部１０３、空間画像取得部１０５、音声データ取得部１０９、マウス・モード制御部１０７、時系列判定部２０７、ＴＳＳ／ＥＳＳ変更部２０５、ＴＳＳ設定部２０１、およびＥＳＳ設定部２０３が内部イベントの発生を待っている。ブロック３０７では時刻ｔ２でＲｅ−ｓイベントが生成され、時刻ｔ１０でＲｅ−ｅイベントが生成されるまでの間に音声データ取得部１０９が、各内部イベントが生成されたタイミングで前回の内部イベントのタイミングから今回の内部イベントのタイミングまでに録音した音声ブロックにそれぞれＶｏ０１〜Ｖｏ０８といったファイル名を付与して音声記録部１１９に記録する。
【００６６】
音声ブロックには内部イベント生成部１０１により、前回の内部イベントと今回の内部イベントとの間に録音された音声データに今回の内部イベントに対応するタイムスタンプが付与される。たとえば音声ブロックＶｏ０２の音声ブロックには、タイムスタンプｔ４が付与される。音声データ取得部１０９は、音声ブロックのファイル名と内部イベント識別子およびタイムスタンプを時系列判定部２０７に送る。
【００６７】
ブロック３０９では空間画像取得部１０５が、時刻ｔ１でＮｄ−ｓイベントが生成されてから、時刻ｔ１４でＮｄ−ｅイベントが生成されるまで、各内部イベントが生成されたタイミングでキャプチャした画像イメージにＩｍ０１〜Ｉｍ１４といったファイル名を付して空間画像記録部１１７に記録する。さらに空間画像取得部１０５は、キャプチャした画像イメージのファイル名、内部イベント識別子およびタイムスタンプを時系列判定部２０７に送る。なお、ブロック３０７とブロック３０８の順番は時刻ｔ３から時刻ｔ１０までの間にすべての音声ブロックが記録されてから画像イメージが記録されていく意味ではなく、イベントごとに音声ブロックと画像イメージが組になって順番に記録されることを意味する。ブロック３０７とブロック３０９は順番を入れ替えてもよい。そのほかにマウス・モード制御部１０７は、時刻ｔ４〜時刻ｔ６の間と時刻ｔ８以降において、Ｐｔ−ｓイベントまたはＰｔ−ｅイベントに応じてマウス２９をアノテーション・モードに設定している。
【００６８】
アノテーション作成部１０３は、アノテーション・モードに設定されている間にマウス２９がアノテーションを書き込むための処理をする。また、アノテーション作成部１０３は、時刻ｔ６で発生したＡｎ−ｅイベントおよび時刻ｔ９で発生したＡｎ−ｃイベントによりそれまで書き込まれたアノテーションを消去する。時系列判定部２０７は、各イベントを受け取ったときに、ＴＳＳ設定部２０１およびＥＳＳ設定部２０３を参照して、当該内部イベントに対応するＴＳＳ値およびＥＳＳ値を取得し、内部イベントの識別子とともにイベント条件を構成してメイン・メモリ１３に記憶する。時刻ｔ１から時刻ｔ１４までの動作がブロック３０５からブロック３１１までの手順で行われると、ブロック３１１ではＮｄ−ｅイベントが生成されて音声再生支援システム１００の動作が終了する。
【００６９】
ブロック３１３では、Ｎｄ−ｅイベントを受け取った時系列判定部２０７が、空間画像取得部１０５から受け取った画像イメージのファイル名および音声データ取得部１０９から受け取った音声ブロックのファイル名、タイムスタンプ、およびイベント条件を最適時系列予測モデル２０９に適用して画像イメージと音声ブロックを関連付けた時系列テーブル２５０（図７）を作成する。時系列テーブル２５０には、画像イメージのタイムスタンプごとまたは内部イベントごとに相互に関連付けられた画像イメージのファイル名と音声ブロックのファイル名が示されている。
【００７０】
時系列判定部２０７は、内部イベントが発生した順番に各内部イベントについてのイベント条件を最適時系列予測モデル２０９に適用して、画像イメージと音声ブロックの関連付けを行う。たとえば、タイムスタンプｔ０２を有するＲｅ−ｓイベントが生成されたときは、録音が開始されかつマウス・モード制御部１０７がマウス２９をポインティング・モードに設定しているためＴＳＳ値は１でＥＳＳ値は０になる。そして最適時系列予測モデル２０９のＴＳＳ＝１、ＥＳＳ＝０、Ｒｅ−ｓのイベント条件には最適な時系列として「後」が設定されているので、時系列判定部２０７はタイムスタンプｔ０２を有する画像イメージＩｍ０２にタイムスタンプｔ０３を有する音声ブロックＶｏ０１を関連付ける。
【００７１】
また、タイムスタンプｔ０５を有するＰｒｔＳｃｎイベントが生成されたときは、マウス・モード制御部１０７はすでに時刻ｔ０３でマウス２９をアノテーション・モードに設定しているため、ＴＳＳ値およびＥＳＳ値はともに１になる。そして最適時系列予測モデル２０９のＴＳＳ＝１、ＥＳＳ＝１、ＰｒｔＳｃｎのイベント条件には最適な時系列として「前」が設定されているので、時系列判定部２０７はタイムスタンプｔ０５を有する画像イメージＩｍ０５にタイムスタンプｔ０５を有する音声ブロックＶｏ０３を関連付ける。
【００７２】
［１つの外部トリガによる２つの画像イメージの記録］
ともにタイムスタンプｔ０６を有するＡｎ−ｅイベントとＰｔ−ｓイベントの処理については図９のフローチャートで説明する。図９は、１つの外部トリガでイベント条件の異なる２つの画像イメージを記録する手順を示すフローチャートである。Ａｎ−ｅイベントとＰｔ−ｓイベントは、「アノテーション・モード終了」の１つの外部トリガで生成される。時系列判定部２０７は、内部イベント、ＴＳＳ値、およびＥＳＳ値からなるイベント条件に基づいて画像イメージに対する音声ブロックの関連づけを行うが、イベント条件が異なるためそれぞれに異なる音声ブロックを関連付けことができる。結果として、２つの画像イメージがそれぞれ関連付けられた音声ブロックに対する有意な既視感をもつように構成することができる。
【００７３】
本実施の形態のときにはＡｎ−ｅイベントからＰｔ―ｓイベントに変化するときに、ＥＳＳ値だけが１から０に変化するので、時系列判定部２０７がＡｎ−ｅイベントに関するイベント条件を取得した後は、ＥＳＳ値だけを変化させてＰｔ―ｓイベントに関するイベント条件を取得できるようにしている。ブロック３５１、３５３でデータを記録するためのタイム・シーケンスが進行し、ブロック３５３で内部イベント生成部１０１によりタイムスタンプｔ０６を有するＡｎ−ｅイベントが生成されるとブロック３５５に移行する。
【００７４】
ブロック３５５では時系列判定部２０７が、音声データ取得部１０９から音声ブロックＶｏ４のファイル名とタイムスタンプ付きの内部イベント識別子を受け取ってメイン・メモリ１３に記憶する。ブロック３５７では時系列判定部２０７が、空間画像取得部１０５から画像イメージＩｍ０６のファイル名とタイムスタンプ付きの内部イベント識別子を受け取ってメイン・メモリ１３に記録する。ブロック３５９では、時系列判定部２０７がタイムスタンプｔ０６に対するＴＳＳ値（１）とＥＳＳ値（１）を取得する。
【００７５】
ブロック３６１では、Ａｎ−ｅイベントに対する音声ブロックのファイル名、画像イメージのファイル名、ＴＳＳ値、およびＥＳＳ値などのデータの取得が完了すると、時系列判定部２０７はブロック３６１でアノテーションを消去するために、内部イベント生成部１０１に「アノテーション・クリア」の擬似的な外部トリガを送る。内部イベント生成部１０１が擬似的な外部トリガに応じてＡｎ−ｃイベントを生成してアノテーション作成部１０３に送ると、アノテーション作成部１０３はその時点でデスクトップ画面に書き込まれていたアノテーションを消去する。
【００７６】
ブロック３６３では、擬似的な外部トリガを生成した内部イベント生成部１０１が、ＴＳＳ／ＥＳＳ変更部２０５にＰｔ−ｓイベントを送る。ＴＳＳ／ＥＳＳ変更部２０５はＰｔ−ｓイベントを受け取ったときは、ＥＳＳ値を０に設定するように構成されているのでＥＳＳ２０３にＥＳＳ＝０を設定する。もし、Ｐｔ−ｓイベントに対するＴＳＳ値がＡｎ−ｅイベントに対する値から変化するように最適時系列予測モデル２０９が定義されていればＴＳＳ／ＥＳＳ変更部２０５はＴＳＳ値を変更することになる。Ａｎ−ｅイベントが生成されたあとはＡｎ−ｓイベントが生成されるまでＥＳＳ値は０を維持する。
【００７７】
ブロック３６５では、ＥＳＳ設定部２０３の状態が変化したことを認識した時系列判定部２０７は、内部イベント生成部１０１に「ポインティング・モード開始」の擬似的な外部トリガを送る。内部イベント生成部１０１が、擬似的な外部トリガに応じてＰｔ−ｓイベントを生成してマウス・モード制御部１０７に送ると、マウス・モード制御部１０７はマウス２９をポインティング・モードに設定する。さらにブロック３６７で内部イベント生成部１０１がＰｔ−ｓイベントを空間画像取得部１０５に送ると、空間画像取得部１０５はタイムスタンプｔ０６を有する画像イメージＩｍ０７を記録する。
【００７８】
そして時系列判定部２０７は空間画像取得部１０５から画像イメージＩｍ０７のファイル名とタイムスタンプ付きの内部イベント識別子を受け取ってメイン・メモリ１３に記録する。画像イメージＩｍ０７はアノテーションが消去されている点だけが画像イメージＩｍ０６と異なっている。ブロック３６９では、時系列判定部２０７は内部イベント生成部１０１からＰｔ−ｓイベントを受け取って、タイムスタンプｔ０６が付与されたＰｔ−ｓイベントに対応するＴＳＳ値（１）、ＥＳＳ値（０）を取得する。ブロック３７１で時系列判定部２０７は、Ａｎ−ｅイベントとＰｔ−ｓイベントのそれぞれについてのＴＳＳ値とＥＳＳ値を取得することができるので、それぞれの画像イメージに対して最適時系列予測モデル２０９を参照して適切な音声ブロックを関連付けることができるようになる。ブロック３７１では時系列判定部２０７がさらに、タイムスタンプｔ０７以降の内部イベントを処理する。
【００７９】
図７（Ｂ）は、時系列判定部２０７により上記手順で関連付けられた画像イメージと音声ブロックを時系列的に配置した図である。図７（Ｂ）では音声ブロックＶｏ０２には画像イメージＩｍ０３とＩｍ０４が関連付けられ、音声ブロックＶｏ０８には画像イメージＩｍ１０とＩｍ１１が関連付けられており検索が煩雑になるため目標（３）が実現されていない。図８のブロック３１５では、１つの音声ブロックに２つの画像イメージが関連付けられているときに、時系列判定部２０７は、図３に示した内部イベントの優先度に基づいて内部イベントの優先度が高い画像イメージにだけ音声ブロックを関連付ける。
【００８０】
そして関連する内部イベントの優先度がすべて５の場合はすべての画像イメージを同一音声ブロックに関連付けておく。よって時系列判定部２０７は、優先度５の複数の内部イベントにより生成された画像イメージはすべて残すが、いずれか１つの内部イベントの優先度が５の場合は他の内部イベントにより生成された画像イメージのファイル名はメイン・メモリ１３の時系列テーブル２５０から消去する。図７（Ｂ）の例では、画像イメージＩｍ０３の原因となったＡｎ−ｓイベントの優先度は３で、画像イメージＩｍ０４の原因となったＴｍ−ｉイベントの優先度は１であるため、音声ブロックＶｏ０２には画像イメージＩｍ０３だけを関連付けて画像イメージＩｍ０４のフィル名は時系列テーブル２５０から消去する。
【００８１】
また、画像イメージＩｍ１０の原因となったＡｎ−ｃイベントの優先度は５で、画像イメージＩｍ１１の原因となったＲｅ−ｅイベントの優先度は１であるため、音声ブロックＶｏ０８には画像イメージＩｍ１０だけを関連付けて画像イメージＩｍ１１のファイル名は時系列テーブル２５０から削除する。よって、単一の音声ブロックについては、よりユーザの記憶を呼び起こしやすい画像イメージだけが関連付けられることになる。
【００８２】
［最適再生範囲および最適画像イメージ］
図６、図７に示したように、内部イベントはほとんどユーザが入力した外部トリガにより生成される。したがって、各音声ブロックの再生時間はさまざまに変化することになるが、音声ブロックは内部イベント間の時間の単位で記録されるためその時間が短い場合は、一旦検索した音声ブロックには必要な情報がすべて含まれない場合がある。この場合、前後にキャプチャされた画像イメージを通じて、一旦再生した音声ブロックの前後に存在する音声ブロック再生する必要がでてくる。再生範囲判定部２１１は、短すぎる音声ブロックを他の音声ブロックに結合することで、１回で再生できる適切な範囲の音声集合ブロックを生成する。
【００８３】
図１０は、再生範囲判定部２１１が時間的に隣接する内部イベントで生成された複数の音声ブロックを結合して音声集合ブロックを作成する手順を示すフローチャートである。ブロック４０１では、時系列判定部２０７が時系列テーブル２５０の作成を終了している。ブロック４０３では、再生範囲判定部２１１が内部カウンタにｎ＝１を設定する。ｎは時系列テーブル２５０において音声ブロックのファイル名が記憶された順番に対応する。ブロック４０５では、再生範囲判定部２１１が音声ブロックｎの再生時間Δ（ｎ）を計算する。たとえばΔ（０２）は。音声ブロックＶｏ０２の再生時間に相当し、Δ（０３）は音声ブロックＶｏ０３の再生時間に相当する。
【００８４】
ブロック４０７では、再生範囲判定部２１１が再生時間Δ（ｎ）を発話データ指標ｔｍと比較する。発話データ指標は日本語の討論において、一人の発言者が作成する平均モーラ数（当該アクセント句に含まれる母音と促音、撥音の合計数）は約３６回であり、最も理解しやすい速度で話した時の１モーラ数に費やす時間は約２秒であることに基づいて、一人の発言者が費やす時間を１．２分と推定した指標をいう。発話データ指標は、討論、通常会話、または説明などのような会話形態により、また、使用される言語により異なる値になる。１つの音声ブロックの再生時間が発話データ指標よりも短い場合は、その音声ブロックだけでは発言内容が完結していないと判断して前後の音声ブロックとの結合を行う。
【００８５】
ブロック４０７では、再生範囲判定部２１１が音声ブロック１（Ｖｏ０１）についてΔｔ（１）＜ｔｍか否かを判断し、条件を満たせばブロック４０９に移行し、満たさない場合はブロック４１７に移行する。ブロック４０９では、対象とする音声ブロック１に前後する音声ブロックが存在するか否かを判断する。前後の方向は、対象とする音声ブロック１とそれに関連付けられた画像イメージＩｍ０２の関係で決定する。すなわち、音声ブロックＶｏ０１は関連付けられている画像イメージＩｍ０２の後に録音されているため、時間的に音声ブロックＶｏ１よりも後に記録された音声ブロックＶｏ０２の存在を確認する。もし、対象となる音声ブロックがそれに関連付けられた画像イメージの前に存在する場合は、時間的に先に記録された音声ブロックの存在を確認することになる。
【００８６】
ここでは１つ後に生成された内部イベントで記録された音声ブロックＶｏ０２が存在するので、再生範囲判定部２１１はブロック４１１で音声ブロックＶｏ０１と音声ブロックＶｏ０２を結合する。もし、所定の時間方向に隣接する音声ブロックが存在しない場合は、当該音声ブロックに関する音声集合ブロックは形成しない。再生範囲判定部２１１はブロック４１３で、結合した音声ブロックＶｏ０１と音声ブロックＶｏ０２の合計した録音時間Δｔ（ｓ）を計算して発話指標ｔｍと比較する。発話指標よりもΔｔ（ｓ）が短い場合は、ブロック４０９に戻ってさらに音声ブロックＶｏ０２に隣接する音声ブロックの存在を確認し結合する。
【００８７】
ブロック４１３でΔｔ（ｓ）＞ｔｍとなった場合は、再生範囲判定部２１１はブロック４１５でその時点で結合された音声ブロックを音声集合ブロックとして構成し新たなファイル名を付与する。音声集合ブロックは、関連付けられた画像イメージを通じて一度に再生することができる音声データである。再生範囲判定部２１１はブロック４１７で、内部カウンタにｎ＝ｎ＋ｘを設定する。ｘは、音声集合ブロックに組み込まれた音声ブロックをブロック４０５以降の処理から除外するように決定する。ブロック４１９では、時系列モデル２５０が含むすべての音声ブロックについての評価が終わるまで処理が繰り返され、ブロック４２１で終了して図８のブロック３１９に移行する。
【００８８】
図１１は、時系列判定部２０７、再生範囲判定部２１１、および最適画像選択部２１５における処理を説明する図である。図１１（Ａ）は時系列テーブル２５０のデータに対して、時系列判定部２０７が優先度に基づいて１つの音声ブロックに１つの画像イメージが対応するように関連付けた様子を示す。図１１（Ａ）からは、時系列判定部２０７の処理により画像イメージＩｍ０４のファイル名が消去されている。図１１（Ｂ）は、図１１（Ａ）に基づいて再生範囲判定部２１１が作成した音声集合ブロック２５１を示す図である。図１１（Ｂ）では、図１０の手順に基づいて音声ブロックＶｏ０１〜Ｖｏ０３が音声集合ブロック２５１として構成されたことが示されている。音声集合ブロック２５１には新たなファイル名が付与されるが３つの画像イメージＩｍ０２、Ｉｍ０３、Ｉｍ０５が関連付けられているので、このままでは不要な画像イメージが多くなって検索には不便である。
【００８９】
図８のブロック３１９では、音声集合ブロック２５１に関連する複数の画像イメージの中から最適画像選択部２１５が適切な画像イメージを１つまたは複数選択する。最適画像選択部２１５は、図３に示した内部イベントの優先度に基づいて最も優先度の高い画像イメージが１つだけ存在する場合はその画像イメージだけを選択し、その他の画像イメージはメタデータから消去する。また、同順位の優先度の画像イメージが複数個関連付けられている場合は、それより優先度の低い画像イメージをメタデータから消去する。
【００９０】
図１１（Ｃ）においては、図１１（Ｂ）の音声集合ブロック２５１に関連付けられた画像イメージの中で、Ｉｍ０５が優先度５のＰｒｔＳｃｎイベントによりキャプチャされたものであり、他の画像イメージはそれより優先度が低い内部イベントによりキャプチャされたものであるため、最適画像選択部２１５は音声集合ブロック２５１を画像イメージＩｍ０５にだけ関連付ける。そして画像イメージＩｍ０２、Ｉｍ０３のファイル名はメイン・メモリ１３から消去する。つづいて、図８のブロック３２１では、メタデータ作成部２１７が、各画像イメージのファイル名とそれに関連付けられた音声ブロックまたは音声集合ブロックのファイル名をタグデータとするメタデータをＸＭＬ（Extensible Markup Language）で作成し、メタデータ記録部１２１に記録する。
【００９１】
［検索］
空間画像記録部１１７には画像イメージが記録され、音声記録部１１９には音声ブロックが記録され、メタデータ記録部１２１にはメタデータが記録されているときに、必要な音声データを再生するときは、図３の検索部を通じてコンピュータ１０を操作する。最初に、メタデータに対してタイムスタンプをキーワードにした一次検索をして、確認する画像イメージの範囲を絞り込む。あるいは、１つの会議で記録したすべての画像イメージを確認の対象にしてもよい。メタデータは空間画像記録部１１７に記録された実際の画像イメージのファイルにリンクしており、検索部１２３はそれらをサムネール形式でＬＣＤ１７に表示する。ユーザは実際に画像イメージをみて再生したい音声ブロックのファイルを探す。
【００９２】
各画像イメージは、過去に音声データとともに記録されたものであり、アノテーションを書き込んだり、参加者との質疑の中で重要と判断して「画像キャプチャ」の外部トリガでキャプチャしたりしたものであるため、ユーザに音声データの内容に対する既視感を与える。ユーザは、再生したい部分が録音されたときに表示されていたと思われる画像イメージを選択して拡大表示する。画像イメージには、音声ブロックまたは音声集合ブロックのファイル名がタグデータとして埋め込まれている。ユーザがマウス２９でそのファイル名を選択すると、音声記録部１１９に記録された音声ブロックがロードされて再生される。画像イメージと音声ブロックは、最も既視感を与えるような関係になっており、また、１つの画像に対しては必要な情報を得るのに適した再生時間となるように音声集合ブロックが構成されているので、迅速に必要な範囲の音声データだけを抽出して再生することができる。
【００９３】
音声再生支援システム１００を使用すると、ユーザはどのタイミングでアノテーションを書き込むか、あるいは画像をキャプチャするかを意識することなく会議を進めることができる。そして結果として収集された音声データはユーザが強い既視感を抱く画像イメージに関連付けられているので、ユーザにデータ収集の負担を与えないで検索の容易な音声データを記録することができる。以上、本発明を音声データの再生を例示して説明したが、本発明は、音声に代えて音声無しの映像、音声付きの映像または作図や描画などのようなデスクトップ画面上でのマウス・カーソルの動的な軌跡などに適用することも可能である。本発明を音声付きの映像に適用する場合は、音声を録音しながら音声再生支援システム１００で例示して説明したイベントで映像をキャプチャしてそれにアノテーションを加えることで、キャプチャした静止映像から容易に希望する箇所の映像部分を再生できるようになる。
【００９４】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。
【符号の説明】
【００９５】
１００…音声再生支援システム
２００…最適再生処理システム
２０９…最適時系列予測モデル
２５０…時系列テーブル
２５１…音声集合ブロック
【技術分野】
【０００１】
本発明は、コンピュータに格納された音声や映像などの連続再生データの中から必要な範囲だけを検索して再生する技術に関する。
【背景技術】
【０００２】
今日のノートブック型パーソナル・コンピュータ（以下、ノートＰＣという。）には、マイクロフォン、スピーカ、およびカメラなどが実装されるようになり、ビジネスでの利用範囲が一層拡大してきている。たとえば、営業担当者がノートＰＣに接続されたプロジェクタの画面に商品カタログを表示して顧客の要望を聞きながら商品説明をすることがある。そして多くの商品について顧客が多くの質問や要望事項を話しているとする。営業担当者は、説明に集中しながら顧客の要望を漏らさず記録する必要がある。しかし、手書きのメモをとることは円滑な商談の妨げになるとともに時間のロスにつながるので困難である。
【０００３】
このときノートＰＣに内蔵されたボイス・レコーダを使用して顧客の話した内容を録音することができるが、再生時には必要な箇所だけを再生して再生時間を短縮したい。音声や映像のような連続再生データは、必要な箇所を短時間で見つけることが容易ではなく、場合によっては検索のために記録時間と同じ時間または早送りによる若干少ない程度の時間をかけて再生する必要がある。また、録音または撮影の開始からの経過時間を手がかりにして必要な部分をみつけようとしても適切な場所を正確に探すことはできないため、その時刻の近辺のデータをある程度の時間をかけて再生する必要がある。
【０００４】
特許文献１は、一度みたインターネット上のサイトを再度検索する場合の時間を短縮する技術を開示する。同文献には、インターネット上にて検索及び閲覧済みのサイトおよび情報を、サムネイル（画像の縮小見本）として一括蓄積し、再度過去検索サイトおよび情報を閲覧可能とし、情報収集の対象となる情報どうしの比較検討作業を簡略化ならしめることを記載している。
【０００５】
特許文献２は、媒体ファイルを高速でブラウジングする技術を開示する。同文献には、時間周期に対し、特定形式の媒体ファイル、アノテーションまたはブックマーク処理された媒体ファイル、または他のユーザ指定のブラウズ可能パラメータをブラウジングするよう構成し、ブラウジングまたはスクローリングファンクションのスピードをユーザの希望に基づき変更できるようにすることが記載されている。特許文献３は、ビデオカメラなどで撮影した映像から必要な部分のみを抽出する際に、映像から抽出された複数枚の代表フレーム画像をインデックス画像として編集画面上に時間を追って表示し、それらのインデックス画像を追っていくことで必要な部分の検索を行なうことを記載している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−７３６８４号公報
【特許文献２】特開２００５−２１６２８５号公報
【特許文献３】特開平６−２５３２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
人間には、ファイルの名称や作成日時などのような形式的な情報よりもそれに関連するイメージの方が記憶に残しやすいという特質がある。したがって、イメージを通じて特定のファイルを探し出すしくみがあれば、コンピュータの利便性を一層高めることができる。ここで、コンピュータのデスクトップ画面は、その時点でユーザが話していた内容に対する画像イメージを提供することができる。また、プレゼンテーションを行うための資料の各ページもその場で参加者が発言していた内容を記録した音声ファイルを思い出す手がかりとなる画像イメージを提供することができる。ユーザがターゲット・ファイルに感じる既視感をこのような画像イメージとして再現できれば、形式的な情報を覚えていなくても画像イメージを通じてターゲット・ファイルを連想することで検索を容易に行うことができる。
【０００８】
しかし、音声データから必要な部分だけを探して再生することは文書や静止画像の特定部分だけを再生するよりも難しい。理由の１つには音声データは文書やタグを関連付けた静止画像のように文字による検索が簡単にできないことが挙げられる。また、他の理由には、必要な部分を確認するためにはその前後も含めた範囲を再生する必要があり、そのために余分な時間を費やしてしまうことが挙げられる。一般的には必要な情報を得るためには視覚よりも聴覚の方が多くの時間を必要とする。まとまりのある音声データを所定のタイミングごとに画像イメージに関連付けて分割したファイルとして記録すれば、画像イメージを検索して途中から所定の範囲の音声データを再生することはできる。前述の商談の例では、営業担当者がノートＰＣの画面を操作して表示したカタログの画像イメージと音声データを関連付けて保存すれば、画像イメージを探すことで容易に関連付けられた音声データだけを再生することができる。
【０００９】
図１２には、時刻ｔ１〜ｔ５の各タイミングで発生したトリガにより、音声データに関連付けてそれぞれ画像イメージ＃１〜＃５を保存した様子を示している。ここでは、画像イメージ＃１は時刻ｔ０から時刻ｔ１までの音声データと関連付けられているといったように、各画像イメージは前のトリガから当該トリガまでの音声データに関連付けられているものとする。ここでユーザは、画像イメージを検索した結果、再生したい範囲の音声データに画像イメージ＃４が最も関連していると判断すれば、画像イメージ＃４を選択して時刻ｔ３〜ｔ４の範囲の音声データを再生することができる。しかしユーザが、実際に再生したかった音声データは時刻ｔ４〜ｔ５に録音されたものである場合がある。あるいは、時刻ｔ３〜ｔ５の範囲の音声データである場合がある。
【００１０】
画像イメージ＃４を選択して再生した音声データが望むものでない場合は、ユーザは再度他の画像イメージを選択してそれに関連する音声データを再生する必要があるため余分な時間を費やすことになる。各画像イメージに関連付ける適切な音声データの範囲を、画像イメージを生成するたびにユーザが指定できればこの問題を解消できる可能性がある。しかしユーザが会議や電話で会話を行っている間にそのような判断を行う必要があったり、時間的に連続している会話の中で将来の会話が行われてからでないと適切な再生範囲の判断ができない場合があったり、あるいはメモの書き込み時間がなかったりしてユーザが判断して指定することは困難である。
【００１１】
そこで本発明の目的は、連続再生データの中から希望する範囲を簡単に検索することができる再生支援システムを提供することにある。さらに本発明の目的は、そのような再生支援システムにおける連続再生データの記録方法、再生方法およびそのような再生支援システムを実現するコンピュータ・プログラムおよび情報処理装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、デスクトップ画面にデスクトップ空間画像を表示しながら連続再生データを記録しデスクトップ画面に対するアノテーションの書き込みが可能な音声再生支援システムに関する。連続再生データは音声データの他に、再生時に時間軸上で連続して再生される音声付き映像、音声無し映像、またはデスクトップ画面上でのマウス・カーソルの動的な軌跡などのデータとすることができる。アノテーションの書き込みは、マウスやトラックパッドなどのポインティング・デバイスまたはデジタイザにより行うことができる。また、ポインティング・デバイスは、無線で情報処理装置に接続するタイプのものでもよい。
【００１３】
再生支援システムでは、ユーザによりデスクトップ空間画像の表示と連続再生データの記録に対する所定の操作が行われるとイベントが生成される。そして、イベントに応答してその時点で表示されていたデスクトップ空間画像が取得され、さらに連続再生データがイベント間のデータ・ブロックとして取得される。すなわち、デスクトップ空間画像もデータ・ブロックもイベントのタイミングで取得されるが、デスクトップ空間画像はイベントのタイミングで存在していたものであり、データ・ブロックはイベント間に存在していたものとなる。デスクトップ空間画像とデータ・ブロックはいずれもイベントの識別子やイベントのタイムスタンプなどで特定することができ、取得されたタイミングの相互関係を特定することができる。
【００１４】
ユーザが記録されたデータから希望する再生範囲のデータ・ブロックを、デスクトップ空間画像を通じて検索する際には、デスクトップ空間画像がデータ・ブロックの希望する再生範囲に対する既視感を与える必要がある。デスクトップ空間画像は会話の途中で会話に関連して取得することができるため、そのとき行われ所定の操作により生成されるイベントは、データ・ブロックをいずれのデスクトップ空間画像に関連付けるのが適切かという特質を備えている。特に、複数の種類のイベントの発生状態を追跡し、デスクトップ空間画像を取得する特定のイベントの種類と当該特定のイベントが生成されたときにすでに生成されていた他のイベントの種類で構成されるイベント条件により、当該特定のイベントにより取得されたデスクトップ空間画像をいずれのデータ・ブロックに関連付けると既視感を効果的に利用できるかを決定することができる。
【００１５】
最適時系列予測モデルは、イベントの種類に基づいてデスクトップ空間画像とデータ・ブロックの関連づけを定義する。したがって再生支援システムを使用する際には、ユーザは所定の操作を行いながらデスクトップ空間画像とデータ・ブロックの関連づけを行う必要がなく会話に集中することができる。最適時系列予測モデルはまた、デスクトップ空間画像を取得する特定のイベントの種類と特定のイベントが生成されたときにすでに生成されていた他のイベントの種類で構成されるイベント条件に基づいて前デスクトップ空間画像とデータ・ブロックの関連づけを定義することができる。
【００１６】
したがって、デスクトップ空間画像を取得する特定のイベントが生成されたときに過去に生成された他のイベントの状態も認識すれば、最適時系列予測モデルに基づいて当該デスクトップ空間画像に対して最適なデータ・ブロックを関連付けることができる。ここに「関連付ける」とは、デスクトップ空間画像を選択することで当該デスクトップ空間画像を通じてデータ・ブロックを再生できる状態を実現するデータ構造を構築することを意味する。典型的には、ハイパーリンクでデスクトップ空間画像に埋め込まれたデータ・ブロックのアイコンを選択することで当該データ・ブロックが再生できるようなデータ構造の構築を意味する。
【００１７】
特定のデータ・ブロックの開始または終了のいずれかのタイミングで取得されたデスクトップ空間画像は、当該データ・ブロックに最も関係が深い可能性がある。よって、最適時系列予測モデルは、特定のイベントに応答して取得されたデスクトップ空間画像と、当該特定のイベントに応答して取得されたデータ・ブロックまたは特定のイベントの直後に生成されたイベントに応答して取得されたデータ・ブロックのいずれかとの関連づけを定義することができる。
【００１８】
所定の操作に対応するイベントは、連続再生データの取得の開始に対応する取得開始イベント、連続再生データの取得の終了に対応する取得終了イベント、アノテーションの書き込みが可能な状態への移行に対応するアノテーション開始イベント、およびアノテーションの書き込みを終了する状態への移行に対応するアノテーション終了イベントを含む。これらのイベントは、特にデータ・ブロックの内容に対する記憶を呼び起こすことができるデスクトップ空間画像を生成する可能性が高い。
【００１９】
特定のイベントが生成されたときにすでに生成されていた他のイベントの種類としては、取得開始イベントまたは取得終了イベントに応答して変化するＴＳＳ値と、アノテーション開始イベントまたはアノテーション終了イベントに応答して変化するＥＳＳ値を定義することができる。そして、最適時系列予測モデルがＴＳＳ値、ＥＳＳ値、およびイベントの種類で構成されるイベント条件に基づいてデスクトップ空間画像とデータ・ブロックの関連付けを定義することでより検索が容易な関連づけを行うことができる。
【００２０】
アノテーション終了イベントが生成されたときは、アノテーションが書き込まれたデスクトップ空間画像と該デスクトップ空間画像からアノテーションが消去されたデスクトップ空間画像を取得するようにすれば、前者はそれ以前に取得されたデータ・ブロックと関連付け、後者はそれ以後に取得されたデータ・ブロックと関連付けることでより検索の容易なデータを記録することができる。
【００２１】
イベントは、最適再生処理システムの開始に対応するシステム開始イベント、最適再生処理システムの終了に対応するシステム終了イベント、書き込まれたアノテーションを消去するアノテーション消去イベント、デスクトップ空間画像を取得する画像取得イベント、ディスプレイに表示されているウインドウのページを変更するページ・イベントからなるグループから選択されたいずれか１つの要素または任意の複数の要素を含むようにすることができる。これらのイベントは、音声再生支援システムが動作するときにユーザが通常行う操作により生成されるものであるため、ユーザは特別な負担をすることなくデータ・ブロックとデスクトップ空間画像を記録することができる。
【００２２】
最適時系列予測モデルに基づいて１つのデータ・ブロックに２つのデスクトップ空間画像が関連付けられた場合には、画像の冗長性を排除するために各イベントの既視感に関する優先度に基づいていずれか一方のデスクトップ空間画像だけを関連付けるようにすることができる。各データ・ブロックの再生時間は、デスクトップ空間画像の取得に関連した所定の操作のタイミングに関連するため、まとまりのある会話単位の全体が記録されているとは限らない。再生時間が所定の値よりも短いデータ・ブロックについては、複数のデータ・ブロックを結合して１回の操作で再生できる集合データ・ブロックを形成することができる。この場合、集合データ・ブロックには複数のデスクトップ空間画像が関連付けられることがあるので、内部イベントの優先度に基づいて１または複数のデスクトップ空間画像を選択することで画像の冗長性を排除することができる。
【００２３】
このように再生支援システムは、当該イベントの種類や他のイベントの発生の有無だけでデータ・ブロックをより既視感を惹起するデスクトップ空間画像に関連付けるので、ユーザは会話に集中しながらデスクトップ空間画像に対する負担の少ない操作をするだけでデスクトップ空間画像とデータ・ブロックを記録し、記録された連続再生データから必要な範囲の再生部分だけを容易に検索できる。
【発明の効果】
【００２４】
本発明により、連続再生データの中から希望する範囲を簡単に検索することができる再生支援システムを提供することができた。さらに本発明により、そのような再生支援システムにおける連続再生データの記録方法、再生方法およびそのような再生支援システムを実現するコンピュータ・プログラムおよび情報処理装置を提供することができた。
【図面の簡単な説明】
【００２５】
【図１】本実施の形態にかかるコンピュータのハードウエアの概略の構成を示す機能ブロック図である。
【図２】音声再生支援システムのソフトウエアの構成を説明するための機能ブロック図である。
【図３】外部トリガとそれに対応して生成される内部イベントの種類を示す図である。
【図４】最適再生処理システムの構成を説明するための機能ブロック図である。
【図５】最適時系列予測モデルの一例を示す図である。
【図６】会議における音声再生支援システムの動作状態の一例を示す図である。
【図７】時系列判定部が音声ブロックとデスクトップ空間画像を関連付けた状態を示す図である。
【図８】音声再生支援システムが音声データを記録する手順を示すフローチャートである。
【図９】１つの外部トリガでイベント条件の異なる２つの画像イメージを記録する手順を示すフローチャートである。
【図１０】複数の音声ブロックを結合して音声集合ブロックを作成する手順を示すフローチャートである。
【図１１】時系列判定部、再生範囲判定部、および最適画像選択部における処理を説明する図である。
【図１２】トリガのタイミングで音声データと画像イメージを関連付けるときの様子を説明するための図である。
【発明を実施するための形態】
【００２６】
［コンピュータのハードウエア構成］
図１は、本実施の形態にかかるコンピュータ１０のハードウエアの概略の構成を示す機能ブロック図である。コンピュータ１０は、ノートＰＣ、デスクトップ型パーソナル・コンピュータ、または会議専用の情報処理装置などとすることができる。コンピュータ１０は、ＣＰＵ１１、メイン・メモリ１３、ＨＤＤ１５、ＧＰＵ（Graphics Processing Unit）に接続された液晶ディスプレイ（ＬＣＤ）１７と、内蔵カメラ１９、内蔵マイクロフォン２１、無線モジュール２３、ＵＳＢポート２５、内蔵スピーカ２７、およびマウス２９がバス３１に接続されている。バス３１は、ノース・ブリッジやサウス・ブリッジなどの複数のチップ・セットを含む。ＵＳＢポート２５には、外付けのＬＣＤ、プロジェクタ、外付けマイクロフォン、外付けカメラ、外付けＨＤＤ、ブルートゥース（Bluetooth：登録商標）・マウス、光学ディスク・ドライブ（ＯＤＤ）、血圧計、歩数計、デジタイザまたはオシロスコープなどの外部デバイスを接続することができる。コンピュータ１０のハードウエアの構成は周知であるため、個々のデバイスの説明は省略する。
【００２７】
［音声再生支援システムの構成］
図２は、本実施の形態にかかる音声再生支援システム１００のソフトウエアの構成を説明するための機能ブロック図である。音声再生支援システム１００は、コンピュータ１０がＬＣＤ１７にデスクトップ空間画像を表示しながら、内蔵マイクロフォン２１が録音可能な状況において行われる電話会議、テレビ会議、または顧客へのプレゼンテーションなどで録音した音声データを短時間で必要な部分だけ探して再生することができる。デスクトップ空間画像は会話の進行に伴って変化するため、必然的に録音された音声データと関連性をもつことになる。音声再生支援システム１００は、主として、コンピュータ１０の内蔵マイクロフォン２１、マウス２９、ＬＣＤ１７、およびＨＤＤ１７に格納された図２、図４で説明するプログラムにより構成される。
【００２８】
図２の各機能ブロックは、ＨＤＤ１５、ＬＣＤ１７、内蔵マイクロフォン２１、およびマウス２９以外はすべてソフトウエアで構成されている。ソフトウエアの機能ブロックはＨＤＤ１５に格納されたプログラムがメイン・メモリ１３にロードされてＣＰＵ１１で実行されることで形成される。各機能ブロックのソフトウエアは、周知のオペレーティング・システム（ＯＳ）および周知のデバイス・ドライバなどと協働して所定の機能を実現する。したがって、ソフトウエアの各機能ブロックはＣＰＵ１１、メイン・メモリおよびプログラムの協働により実現されるハードウエアの機能ブロックとして捕らえることもできる。各機能ブロックは単体のプログラム・モジュールで構成してもよいし、複数の機能ブロックをまとめたプログラム・モジュールで構成してもよい。
【００２９】
内部イベント生成部１０１は、音声再生支援システム１００が動作を開始したときに、デスクトップ画面上にコントロール・パネルを表示する。ユーザは、コントロール・パネルに対してマウス２９を操作して音声再生支援システム１００に対して外部トリガを入力する。外部トリガは、コンピュータ・システムから入力することもできる。本実施の形態では、ＯＳが構成するタイマ１１１が、所定のタイム・インターバルを示す外部イベントを内部イベント生成部１０１に送る。内部イベント生成部１０１は、マウス２９またはタイマ１１１から受け取った外部トリガに対応する内部イベントを生成して所定の機能ブロックに送る。このとき内部イベント生成部１０１は、外部トリガを受け取ったタイミングでタイムスタンプを生成し内部トリガに付与する。タイムスタンプは音声再生支援システム１００において、デスクトップ空間画像または音声データを取得したタイミングや内部イベントが生成されたタイミングを識別するための識別子として利用される。
【００３０】
図３は、外部トリガとそれに対応して生成される内部イベントの種類を示す図である。「支援システム開始」および「支援システム終了」は、それぞれコンピュータ１０が動作しているときに音声再生支援システム１００を動作させたり停止させたりする外部トリガで、それぞれＮｄ−ｓ、Ｎｄ−ｅの内部イベントを生成する。「アノテーション・モード設定」、「アノテーション・モード終了」は、それぞれ音声再生支援システム１００が動作している間にマウス２９をアノテーション・モードで動作させるかポインティング・モードで動作させるかを設定する外部トリガである。マウス２９がアノテーション・モードに設定されたときは、その設定に連動してポインティング・モードは終了することになり、アノテーション・モードが終了するときは、その設定に連動してポインティング・モードが開始することを意味する。
【００３１】
アノテーション・モードで動作するマウス２９は、マウス・カーソルの軌跡でデスクトップ画面にアノテーションを書き込むことができるとともに、クリックやドラッグなどの本来のマウスの機能は停止する。ポインティング・モードで動作するマウス２９は、マウスの本来の動作をするが、アノテーションを書き込むことはできない。ただし、アノテーション・モードのときであっても、マウス２９は内部イベント生成部１０１が提供するコントロール・パネルに対する操作は可能である。「アノテーション・モード設定」の外部トリガは、アノテーション・モードの開始を示すＡｎ−ｓイベントとポインティング・モードの終了を示すＰｔ−ｅイベントの２つの内部イベントを生成する。「アノテーション・モード終了」の外部トリガは、アノテーション・モードの終了を示すＡｎ−ｅイベントとポインティング・モードの開始を示すＰｔ−ｓイベントの２つの内部イベントを生成する。
【００３２】
「アノテーション・クリア」は、アノテーション・モードのときに一旦書き込まれたアノテーションをデスクトップ画面から消去する操作を行うための外部トリガで、Ａｎ−ｃの内部イベントを生成する。「録音開始」および「録音終了」は、それぞれ内蔵マイクロフォン２１による音声の録音を開始または終了するための外部トリガで、それぞれＲｅ−ｓ、Ｒｅ−ｅの内部トリガを生成する。「画像キャプチャ」は、その時点でデスクトップ画面に表示されているデスクトップ空間画像（以下、画像イメージという。）をユーザが意図的にキャプチャするための外部トリガで、ＰｒｔＳｃｎの内部トリガを生成する。「ページ操作」は、複数のページで構成されたアプリケーション・ウインドウのページを操作する外部トリガで、ＰａｇｅＵ／Ｄの内部トリガを生成する。「タイマ・インターバル」は、音声再生支援システム１００が動作を開始している間に、コンピュータ・システムから定期的に送られてくる外部トリガで、Ｔｍ−ｉの内部イベントを生成する。
【００３３】
図３には各内部イベントに割り当てられた優先度が示されている。図３では数字が大きいほど優先度が高くなるように設定している。優先度は、画像イメージをキャプチャするタイミングを与える内部イベントが、当該画像イメージに対して音声データに対する既視感を与える強さの程度に基づいて設定している。たとえば、Ａｎ−ｅイベント、Ｐｔ―ｓイベント、Ａｎ−ｃイベントおよびＰｒｔＳｃｎイベントは、ユーザが会議の進行に合わせて意図的にその時点の画像イメージをキャプチャしようとする操作に関連する内部イベントであるため優先度を高くしている。
【００３４】
一方、Ｔｍ−ｉイベントは、録音時の状況やユーザの意思とは無関係にシステムが生成する内部イベントであるため優先度は低くしている。そして、ＰａｇｅＵ／Ｄイベントのように文書に対するユーザの操作により生成される内部イベントの優先度はその中間に設定している。この優先度は、同一の音声データに複数の画像イメージが関連付けられたときに、画像イメージの冗長性を排除するためにいずれかの画像イメージを削除するときに利用するが詳細は後に説明する。アノテーション作成部１０３は、内部イベント生成部１０１からＡｎ−ｓイベントを受け取ってからＡｎ−ｅイベントを受け取るまでの間、マウス２９、ＵＳＢポート２５に接続されたデジタイザ、または図示しないBluetooth（登録商標）のインターフェースで無線接続されたポインティング・デバイスなどでユーザがＬＣＤ１７に表示されたデスクトップ画面に対してアノテーションを書き込むための処理をする周知のソフトウエアである。本実施の形態におけるアノテーションは、ユーザがデスクトップ画面に書き込んだマークまたは文字などをいう。
【００３５】
アノテーションはキーボードから書き込むこともできる。ユーザはデスクトップ画面に表示されたデスクトップ空間画像の上にその時点で録音している音声に関連する内容のアノテーションを書き込むことができる。しかし、音声再生支援システム１００では、会話とデスクトップ画面を利用したコミュニケーションにおいて、ユーザがデスクトップ空間画像の強調したい箇所をラインで囲うと行ったようなコミュニケーションの自然な流れの中で書き込んだアノテーションの結果を有効に利用するができる。ユーザが音声データの再生を特に意識しないで会話をしながら書き込んだアノテーションが画像イメージとともに保存され、以下に説明するように音声ファイルと画像イメージが関連付けられると、アノテーションは画像イメージに関連付けられた音声ファイルに対するユーザの既視感を惹起するために有効に機能する。
【００３６】
アノテーション作成部１０３はまた、内部イベント生成部１０１からＡｎ−ｅイベントおよびＡｎ−ｃイベントを受け取ったときはその時点までにデスクトップ画面に書き込まれていたアノテーションを消去する。ただし内部イベント生成部１０１は、Ａｎ−ｅイベントを生成するときは、アノテーション作成部１０３がアノテーションを消去する前に空間画像取得部１０５にアノテーションが書き込まれた画像イメージをキャプチャさせる。本明細書においてはデスクトップ画面とは、画像を表示したりキーボードからフォント文字を書き込んだり、マウス２９から手書きのラインを書き込んだりすることができるＬＣＤ１７の表示領域を意味するものとする。デスクトップ画面には、アプリケーションが実行されていないときに壁紙、所定のアイコン、およびＯＳのバーなどの定型的な画像であるデスクトップ画像が表示される。したがってデスクトップ画面にはデスクトップ空間画像としての画像イメージまたはデスクトップ画像が表示される。
【００３７】
デスクトップ空間画像としての画像イメージは、デスクトップ画面の上にアプリケーション・ウインドウが表示されているときには、アプリケーション・ウインドウが表示されたＬＣＤ１７の画像全体をいい、アプリケーション・ウインドウが表示されていないときはデスクトップ画像をいう。また、アノテーション作成部１０３を通じてデスクトップ画面にアノテーションが書き込まれている場合は、画像イメージは当該アノテーションも含む。したがって画像イメージはデスクトップ画像、アプリケーション・ウインドウおよびアノテーションで構成される場合がある。アノテーション作成部１０３が作成したアノテーションは、ＧＰＵのＶＲＡＭに一旦保存されてＬＣＤ１７に送られる。
【００３８】
空間画像取得部１０５は、内部イベント生成部１０１からＰｔ−ｅイベントを除くいずれかの内部イベントを受け取ったときに、その時点でデスクトップ画面に表示されている画像イメージをキャプチャしそれにファイル名称を付して空間画像記録部１１７に記録する。Ｐｔ−ｅイベントに対応する画像イメージをキャプチャしないのは、Ｐｔ−ｅイベントが生成されるときは必ずＡｎ−ｅイベントが生成され、Ａｎ−ｅイベントに基づいて画像イメージがキャプチャされることになっているので、同一画像を取得することによる冗長性を排除するためである。空間画像取得部１０５はまた、キャプチャした画像イメージに付したファイル名、当該画像イメージに対応する内部イベントの識別子、およびタイムスタンプを最適再生処理システム２００の時系列判定部２０７（図４）に送る。画像イメージは、ＬＣＤ１７に画像データを供給するＶＲＡＭが保有している。空間画像取得部１０５は、たとえばキーボードのPrintScreenキーの押下やマウス２９のクリックまたはジェスチャー動作で画像イメージをキャプチャする周知のプログラムを利用して構成することができる。
【００３９】
マウス・モード制御部１０７は、内部イベント生成部１０１からＰｔ−ｅイベントまたはＰｔ−ｓイベントを受け取ってマウス２９をアノテーション・モードまたはポインティング・モードのいずれかで動作させる。音声データ取得部１０９は、Ｒｅ−ｓイベントを受け取ってからＲｅ−ｅイベントを受け取るまでの間に、内部イベント生成部１０１から図３に示したいずれかの内部イベントを受け取ると、前回の内部イベントから今回の内部イベントまで内蔵マイクロフォン２１が録音した音声データにファイル名称を付して音声記録部１１９に記録する。
【００４０】
音声データ取得部１０９はまた、録音した音声データに付したファイル名、当該音声データに対応する内部イベントの識別子、およびタイムスタンプを時系列判定部２０７（図４）に送る。音声データ取得部１０９は、連続的に収集した音声を内部イベントが発生したタイミングで分割して取得しそれぞれにファイル名を付して記録するが、このように分割された個々の音声データを本明細書では音声ブロックということにする。最適再生処理システム２００は、音声データの最適再生を実現するためにタグデータで画像イメージと音声ブロックをファイル名で関連付けたメタデータを作成して、メタデータ記録部１２１に記録する。最適再生処理システム２００の詳細は図４を参照して説明する。
【００４１】
空間画像記録部１１７、音声記録部１１９、およびメタデータ記録部１２１はＨＤＤ１５の記憶領域の一部である。検索部１２３はＬＣＤ１７にユーザ・インターフェースとなる検索画面を表示してメタデータ記録部１１１に記録したメタデータを検索し、メタデータから検索された画像イメージを空間画像記録部１１７からメイン・メモリ１３にロードしてＬＣＤ１７に表示する処理をする。検索部１２３はまた、ユーザがＬＣＤ１７に表示された画像イメージを選択すると、それに連結された音声ブロックを音声記録部１１９からメイン・メモリ１３にロードして内蔵スピーカ２７から再生する処理をする。
【００４２】
［最適再生処理システム］
図４は、図２の最適再生処理システム２００の構成を説明するための機能ブロック図である。最適再生処理システム２００は、内部イベント生成部１０１から受け取った内部イベントに基づいて動作する。内部イベント生成部１０１は、原則として１つの外部トリガに対応して１つの内部イベントを生成して１つの画像イメージと１つの音声ブロックを記録する。内部イベント生成部１０１は、例外的に音声再生支援システム１００の動作におけるユーザの重要な操作により生成された「アノテーション・モード終了」の外部イベントに対しては、Ａｎ−ｅイベントとＰｔ−ｓイベントを生成してそれぞれの内部イベントに対する画像イメージを記録できるようにする。その手順については図９を参照して後に説明する。
【００４３】
ＴＳＳ（Time Sequence Status）設定部２０１は、コンピュータ１０が現在音声データを録音しているか否かを示すメイン・メモリ１３上の状態設定領域で、時系列判定部２０７から各イベントに対応するＴＳＳ値の照会を受けたときにそれに応答する。ＴＳＳ設定部２０１は、内部イベント生成部１０１からＲｅ−ｓイベントを受け取ってからＲｅ−ｅイベントを受け取るまでの間は、時系列判定部２０７から特定のイベントに対応するＴＳＳ値の照会を受けたときにＴＳＳ＝１を表明する。ＴＳＳ設定部２０１は、Ｒｅ−ｅイベントを受け取ってからＲｅ−ｓイベントを受け取るまでの間は、時系列判定部２０７から特定のイベントに対応するＴＳＳ値の照会を受けたときにはＴＳＳ−０を表明する。ＴＳＳ設定部２０１は、Ｒｅ−ｅイベントに対応するＴＳＳ値の照会を受けたときにはＴＳＳ＝０を表明するが、これはＲｅ−ｅイベントが生成された瞬間は録音が終了しており録音すべき音声データが存在しないことに対応させている。
【００４４】
ＥＳＳ（Editing Sequence Status）設定部２０３は、マウス２９がアノテーション・モードに設定されているかポインティング・モードに設定されているかを示すメイン・メモリ１３上の状態設定領域で、時系列判定部２０７から各イベントに対応するＥＳＳ値の照会を受けたときにそれに応答する。ＥＳＳ設定部２０３は、内部イベント生成部１０１からＡｎ−sイベントを受け取ってからＡｎ−ｅイベントを受け取るまでの間は、時系列判定部２０７から特定のイベントに対応するＥＳＳ値の照会を受けたときにＥＳＳ＝１を表明する。ＥＳＳ設定部２０３は、Ａｎ−ｅイベントを受け取ってからＡｎ−ｓイベントを受け取るまでの間は、時系列判定部２０７から特定のイベントに対応するＥＳＳ値の照会を受けたときにはＥＳＳ＝０を表明する。ＥＳＳ設定部２０３は、時系列判定部２０７からＡｎ−ｃイベントに対応するＥＳＳ値またはＡｎ−ｅイベントに対応するＥＳＳ値の照会を受けたときにはいずれもＥＳＳ＝１を表明する。
【００４５】
時系列判定部２０７は、各内部イベントに基づいて画像イメージを取得する際に、ＴＳＳ設定部２０１およびＥＳＳ設定部２０３の値を参照して、内部イベント、ＴＳＳ値、およびＥＳＳ値を組にして構成したイベント条件をメイン・メモリ１３に記憶し、各イベントに対応する画像イメージに対してイベント条件について最適再生時系列モデル２０９を適用する。内部イベント生成部１０１は「アノテーション・モード終了」の外部トリガを受け取ったときには、Ａｎ−ｅイベントとＰｔ−ｓイベントを生成する。このとき空間画像取得部１０５は、Ａｎ−ｅイベントに対応するアノテーションが書き込まれた画像イメージと、Ｐｔ−ｓイベントに対応するアノテーションが消去された画像イメージを取得する。しかし、Ａｎ−ｅイベントが生成されるときはＥＳＳ＝１であり、その後に時系列判定部２０７で擬似的にＰｔ−ｓイベントが生成されるときはＥＳＳ＝０になる。
【００４６】
ＴＳＳ／ＥＳＳ変更部２０５は、Ａｎ−ｅイベントに対応するイベント条件とＰｔ−ｓイベントに対応するイベント条件が異なるため、Ａｎ−ｅイベントに対応する画像イメージを取得してそのときのイベント条件をメイン・メモリ１３に記憶したら、ＥＳＳ値を変更してからＰｔ−ｓイベントに対応する画像イメージを取得する処理をする。Ａｎ−ｅイベントとＰｔ−ｓイベントは、同一の外部トリガにより生成されたものであるが、イベント条件は異なるのでＴＳＳ／ＥＳＳ変更部２０５は異なるイベント条件を取得するための処理をする。本実施の形態では図９で説明するようにＥＳＳ値だけを変更するが、他の再生システムによってはＴＳＳ値または両方を変更する場合もある。
【００４７】
時系列判定部２０７は、内部イベント生成部１０１から内部イベントを受け取り、空間画像取得部１０５から画像イメージのファイル名とタイムスタンプ付きの内部イベント識別子を受け取り、音声データ取得部から音声ブロックのファイル名とタイムスタンプ付きの内部イベント識別子を受け取ってそれぞれの内部イベントに対応するイベント条件と組にしてメイン・メモリ１３に記憶する。時系列判定部２０７はメイン・メモリ１３に記憶した内部イベントの組ごとのデータについて図５の最適時系列予測モデル２０９を参照して図７（Ａ）に示した時系列テーブル２５０を作成する。時系列テーブル２５０を利用してメタデータを作成することで各内部イベントのタイミングで記録された画像イメージと音声ブロックを必要な音声ブロックだけを短時間で検索して再生できるように関連付けることができる。
【００４８】
時系列判定部２０７は最適時系列予測モデル２０９を参照して、各画像イメージに対して、当該画像イメージを生成する内部イベントに応じて録音された１個の音声ブロックまたは当該内部イベントの直後に生成された内部イベントに応じて録音された１個の音声ブロックのいずれかを関連付けるか、またはいずれの音声ブロックも関連付けないかの３つの処理のいずれかの処理をする。時系列判定部２０７が行う処理については図６〜図９を参照して後に説明する。
【００４９】
最適時系列予測モデル２０９は、ＴＳＳ設定部２０１の状態、ＥＳＳ設定部２０３の状態、および内部イベントの種類で構成されるイベント条件によって、３つの処理のいずれに該当するかを示す参照テーブルである。ＴＳＳ設定部２０１の状態とＥＳＳ設定部２０３の状態はいずれも内部イベントにより変化するので、最適時系列モデルはイベントの種類と複数のイベントにより構成されるイベント条件に基づいて各イベントにより取得された画像イメージを３つの処理のいずれで処理するかを示しているともいえる。図５に最適時系列予測モデルの一例を示す。
【００５０】
最適時系列予測モデル２０９は、以下の３つの項目を実現することを目標にして作成している。
（１）ユーザが再生したい音声ブロックを、ユーザに最も強い既視感を抱かせる画像イメージに関連付ける。
（２）いずれの画像イメージにも関連付けられない音声ブロックがないようにして音声ブロックの脱落を排除する。
（３）１つの音声ブロックには、１つの画像イメージを関連付けて検索時の画像イメージの冗長性を排除する。
【００５１】
最適時系列予測モデル２０９において、「制限」は、内部イベントが生成されたときに一意に定まるＴＳＳ値またはＥＳＳ値を示している。たとえば、Ｎｄ−ｓイベントが生成されるときは必ずＴＳＳ＝０でＥＳＳ＝０になり、Ａｎ−ｓイベントが生成されたときは必ずＥＳＳ＝１になることを意味し、それ以外の状態は取り得ないことを意味する。「ＮＡ」は、当該内部イベントに対してＴＳＳ値とＥＳＳ値の組み合わせ状態が存在しないことを意味しており、「制限」として示したＴＳＳ値またはＥＳＳ値により決定される。たとえば、Ａｎ−ｅイベントに対する制限はＥＳＳ＝１であるため、ＥＳＳ＝０である条件２および条件４はＮＡに設定している。
【００５２】
「前」または「後」は、目標（１）を実現するためにそれぞれ、当該内部イベントによりキャプチャされた画像イメージ２３１に対しては、当該イベントにより記録された音声ブロック２３３または当該イベントのつぎに発生したイベントにより記録された音声ブロック２３５を関連付けることを示している。条件１〜条件４は、ＴＳＳ値、ＥＳＳ値、および内部イベントの種類の組み合わせからなるイベント条件で構成される。音声再生支援システム１００の開始に対応するＮｄ−ｓイベントが生成されるときは必ずＴＳＳ＝０、ＥＳＳ＝０であるため、Ｎｄ−ｓイベントについてはいずれか一方の値が１である条件１〜３ではＮＡに設定する。また、ＴＳＳ＝０のときは音声データが録音されていないので条件４は「音声なし」に設定する。
【００５３】
Ｎｄ−ｓイベントは、音声再生支援システム１００がこれから動作を開始するための「支援システム開始」の外部トリガにより生成されるが、コントロール・パレットを操作して録音を開始するのは音声再生支援システム１００が動作した以降になり、外部トリガの発生時点では音声データが録音されていることはないので、Ｎｄ−ｓイベントにより取得された画像イメージに対してはいかなる音声ブロックの関連付けもしない。音声再生支援システム１００の終了に対応するＮｄ−ｅイベントは、Ｒｅ−ｓイベントが生成されてからＲｅ−ｅイベントが生成される前に生成されることもあるが、目標（２）を実現するためにＴＳＳ＝０にしている。
【００５４】
Ｎｄ−ｅイベントに対するＥＳＳ値は１または０のいずれかである。そして条件３、条件４が成立するときは「音声なし」に設定する。また、条件１および条件２が成立するときはいずれも「ＮＡ」に設定するべきであるが、条件１のときは目標（２）を実現するために例外的に「前」に設定している。アノテーション・モードが設定されたことに対応するＡｎ−ｓイベントが生成されるときはＥＳＳ＝１であるため、Ａｎ−ｓイベントについて条件２、条件４が成立するときは「ＮＡ」に設定し、条件３が成立するときは「音声なし」に設定する。条件１が成立するときは、音声が録音されているときに、ユーザはこれからの話の内容は重要であると感じてアノテーション・モードに設定したと考えられるので「後」に設定する。
【００５５】
「アノテーション・モード設定」の外部トリガは、マウス２９をアノテーション・モードに移行させるとともに、ポインティング・モードを終了させるＰｔ−ｅイベントも生成するが、この外部トリガが発生したときはアノテーションがまだ書き込まれていない段階なので、Ａｎ−ｓイベントの画像イメージと同じ画像イメージをさらに記録する必要はない。したがって、Ｐｔ−ｅイベントに対する画像イメージは記録せず、最適時系列予測モデル２０９からはＰｔ−ｅイベントの評価を除外している。アノテーション・モードが終了したことに対応するＡｎ−ｅイベントが生成されるときはＥＳＳ＝１になるので、Ａｎ−ｅイベントについて条件２、条件４が成立するときは「ＮＡ」に設定し、条件３が成立するときは「音声なし」に設定する。条件１が成立するときは、すでにアノテーションが書き込まれた画像イメージは、それまでの間に行われた会話の内容に対する既視感が強いと考えられるので「前」に設定する。
【００５６】
「アノテーション・モード終了」の外部トリガは、アノテーション・モードを終了させるとともに、マウス２９をポインティング・モードに移行させるＰｔ−ｓイベントも生成する。アノテーション・モードが終了するときは、それまで書き込まれていたアノテーションを消去することになっている。よって、「アノテーション・モード終了」の外部トリガが発生したタイミングでは、アノテーションが書き込まれた画像イメージの他にアノテーションが消去されたこと以外は同じ内容の画像イメージが別に存在することになる。
【００５７】
アノテーションが書き込まれた画像イメージは前述のように書き込まれている間に録音された音声ブロックに対する既視感を惹起するが、アノテーションが消去された画像イメージは新たに展開される話題に関する音声ブロックに対する既視感を惹起すると考えられる。よって、Ｐｔ−ｓイベントについて条件２が成立したときは「後」を設定する。また、Ｐｔ−ｓイベントが生成されるときはＥＳＳ＝０になるので、Ｐｔ−ｓイベントについて条件１、条件３が成立するときは「ＮＡ」に設定し、条件４が成立するときは「音声なし」に設定する。
【００５８】
アノテーションのクリアに対応するＡｎ−ｃイベントが生成されたときは、アノテーションの書き込みはアノテーション・モードで行われることが前提であるためＥＳＳ＝１になるので、Ａｎ−ｃイベントについて条件２、条件４が成立するときは「ＮＡ」に設定し、条件３が成立するときは「音声なし」に設定する。条件１が成立するときは、一旦書き込んだアノテーションを消して新たなアノテーションを書き込む操作なので、当該画像イメージはこれからの話題に関連する度合いが強いと考えられるため「後」に設定する。録音の開始に対応するＲｅ−ｓイベントが生成されるときはＴＳＳ＝１であるため、Ｒｅ−ｓイベントについて条件３、条件４が成立するときはいずれも「ＮＡ」に設定する。
【００５９】
条件１、条件２が成立するときは、音声ブロックはそれ以降にしか存在しないのでいずれも「後」に設定する。録音の終了に対応するＲｅ−ｅイベントが生成されたときはＴＳＳ＝０であるため、Ｒｅ−ｅイベントについて条件１、条件２が成立するときはいずれも「ＮＡ」に設定し、条件４が成立するときは「音声なし」に設定する。条件３が成立するときは、音声ブロックはそれ以前にしか存在しないので「前」に設定する。
【００６０】
画像イメージのユーザによる意図的なキャプチャに対応するＰｒｔＳｃｎイベントが生成されるときは、ＴＳＳ値、ＥＳＳ値はともにいずれの値も取り得るため、ＰｒｔＳｃｎイベントについて条件３、条件４が成立するときはいずれも「音声なし」に設定する。条件１が成立するときは、音声が録音されかつアノテーション・モードのときに、それまで書き込んだアノテーションを含む画像イメージを意図的にキャプチャする場合なので、それ以前に録音した音声ブロックはキャプチャされた画像イメージに関連する度合いが強いと想定できるため「前」に設定する。条件２が成立するときは、音声が録音されているときに画像イメージを意図的にキャプチャする場合なので、これから新たな話題を展開しようとする区切りの時点でユーザが画像イメージをキャプチャする場合であると想定できるので「後」に設定する。
【００６１】
アノテーションは背景に表示されている画像イメージの所定の位置に書き込まれる。したがって、あるデスクトップ画面にアノテーションが書き込まれている間に、ページが変更されるとアノテーションと背景のデスクトップ空間画像との関連性がなくなる。よって音声再生支援システム２００では、アノテーション・モードのときは、ページの変更ができないようにしている。したがって、ページ操作に対応するＰａｇｅＵ／Ｄイベントが生成されるときはＥＳＳ＝０になるため、ＰａｇｅＵ／Ｄイベントについて条件１、条件３が成立するときは「ＮＡ」に設定し、条件４が成立するときは「音声なし」に設定する。
【００６２】
条件２が成立するときは、音声が録音されているときにアプリケーション・ウインドウのページが変わって新たな話題が展開されようとしているときなので「後」に設定する。タイマ・インターバルに対応するＴｍ−ｉイベントは、長い時間内部イベントが発生しないときに１つの音声ブロックの再生時間が長くなりすぎることで必要な箇所だけの再生が困難になることを防止するために生成するが、設定はＰｒｔＳｃｎイベントと同じにしている。
【００６３】
［最適時系列の決定］
つぎに音声再生支援システム１００が、顧客に対する商品の説明会議で使用されるときに音声データを記録する方法を図６〜図８を参照して説明する。図６は、会議における音声再生支援システム１００の動作状態の一例を示す図である。図７は図６の動作状態のときに時系列判定部２０７が音声ブロックと画像イメージを必要な音声ブロックだけを短時間で検索して再生できるように関連付けた状態を示す図である。図８は、音声再生支援システム１００が画像イメージと音声データを記録する手順を示すフローチャートである。
【００６４】
図８のブロック３０１では、図６の時刻ｔ０においてユーザがＬＣＤ１７のデスクトップ画面に商品のカタログを表示して顧客からの質問に応答しながら説明を開始している。各内部イベントが生成された時刻ｔ０〜ｔ１４は音声再生システム１００がタイムスタンプとして利用する。ブロック３０３では、時刻ｔ１で音声再生支援システム１００が動作を開始し内部イベント生成部１０１によりデスクトップ画面にコントロール・パネルが表示され、それ以降は、会議の進行に伴って順番に外部トリガが入力されて画像イメージおよび音声データが取得されてゆく。
【００６５】
ブロック３０５では、アノテーション作成部１０３、空間画像取得部１０５、音声データ取得部１０９、マウス・モード制御部１０７、時系列判定部２０７、ＴＳＳ／ＥＳＳ変更部２０５、ＴＳＳ設定部２０１、およびＥＳＳ設定部２０３が内部イベントの発生を待っている。ブロック３０７では時刻ｔ２でＲｅ−ｓイベントが生成され、時刻ｔ１０でＲｅ−ｅイベントが生成されるまでの間に音声データ取得部１０９が、各内部イベントが生成されたタイミングで前回の内部イベントのタイミングから今回の内部イベントのタイミングまでに録音した音声ブロックにそれぞれＶｏ０１〜Ｖｏ０８といったファイル名を付与して音声記録部１１９に記録する。
【００６６】
音声ブロックには内部イベント生成部１０１により、前回の内部イベントと今回の内部イベントとの間に録音された音声データに今回の内部イベントに対応するタイムスタンプが付与される。たとえば音声ブロックＶｏ０２の音声ブロックには、タイムスタンプｔ４が付与される。音声データ取得部１０９は、音声ブロックのファイル名と内部イベント識別子およびタイムスタンプを時系列判定部２０７に送る。
【００６７】
ブロック３０９では空間画像取得部１０５が、時刻ｔ１でＮｄ−ｓイベントが生成されてから、時刻ｔ１４でＮｄ−ｅイベントが生成されるまで、各内部イベントが生成されたタイミングでキャプチャした画像イメージにＩｍ０１〜Ｉｍ１４といったファイル名を付して空間画像記録部１１７に記録する。さらに空間画像取得部１０５は、キャプチャした画像イメージのファイル名、内部イベント識別子およびタイムスタンプを時系列判定部２０７に送る。なお、ブロック３０７とブロック３０８の順番は時刻ｔ３から時刻ｔ１０までの間にすべての音声ブロックが記録されてから画像イメージが記録されていく意味ではなく、イベントごとに音声ブロックと画像イメージが組になって順番に記録されることを意味する。ブロック３０７とブロック３０９は順番を入れ替えてもよい。そのほかにマウス・モード制御部１０７は、時刻ｔ４〜時刻ｔ６の間と時刻ｔ８以降において、Ｐｔ−ｓイベントまたはＰｔ−ｅイベントに応じてマウス２９をアノテーション・モードに設定している。
【００６８】
アノテーション作成部１０３は、アノテーション・モードに設定されている間にマウス２９がアノテーションを書き込むための処理をする。また、アノテーション作成部１０３は、時刻ｔ６で発生したＡｎ−ｅイベントおよび時刻ｔ９で発生したＡｎ−ｃイベントによりそれまで書き込まれたアノテーションを消去する。時系列判定部２０７は、各イベントを受け取ったときに、ＴＳＳ設定部２０１およびＥＳＳ設定部２０３を参照して、当該内部イベントに対応するＴＳＳ値およびＥＳＳ値を取得し、内部イベントの識別子とともにイベント条件を構成してメイン・メモリ１３に記憶する。時刻ｔ１から時刻ｔ１４までの動作がブロック３０５からブロック３１１までの手順で行われると、ブロック３１１ではＮｄ−ｅイベントが生成されて音声再生支援システム１００の動作が終了する。
【００６９】
ブロック３１３では、Ｎｄ−ｅイベントを受け取った時系列判定部２０７が、空間画像取得部１０５から受け取った画像イメージのファイル名および音声データ取得部１０９から受け取った音声ブロックのファイル名、タイムスタンプ、およびイベント条件を最適時系列予測モデル２０９に適用して画像イメージと音声ブロックを関連付けた時系列テーブル２５０（図７）を作成する。時系列テーブル２５０には、画像イメージのタイムスタンプごとまたは内部イベントごとに相互に関連付けられた画像イメージのファイル名と音声ブロックのファイル名が示されている。
【００７０】
時系列判定部２０７は、内部イベントが発生した順番に各内部イベントについてのイベント条件を最適時系列予測モデル２０９に適用して、画像イメージと音声ブロックの関連付けを行う。たとえば、タイムスタンプｔ０２を有するＲｅ−ｓイベントが生成されたときは、録音が開始されかつマウス・モード制御部１０７がマウス２９をポインティング・モードに設定しているためＴＳＳ値は１でＥＳＳ値は０になる。そして最適時系列予測モデル２０９のＴＳＳ＝１、ＥＳＳ＝０、Ｒｅ−ｓのイベント条件には最適な時系列として「後」が設定されているので、時系列判定部２０７はタイムスタンプｔ０２を有する画像イメージＩｍ０２にタイムスタンプｔ０３を有する音声ブロックＶｏ０１を関連付ける。
【００７１】
また、タイムスタンプｔ０５を有するＰｒｔＳｃｎイベントが生成されたときは、マウス・モード制御部１０７はすでに時刻ｔ０３でマウス２９をアノテーション・モードに設定しているため、ＴＳＳ値およびＥＳＳ値はともに１になる。そして最適時系列予測モデル２０９のＴＳＳ＝１、ＥＳＳ＝１、ＰｒｔＳｃｎのイベント条件には最適な時系列として「前」が設定されているので、時系列判定部２０７はタイムスタンプｔ０５を有する画像イメージＩｍ０５にタイムスタンプｔ０５を有する音声ブロックＶｏ０３を関連付ける。
【００７２】
［１つの外部トリガによる２つの画像イメージの記録］
ともにタイムスタンプｔ０６を有するＡｎ−ｅイベントとＰｔ−ｓイベントの処理については図９のフローチャートで説明する。図９は、１つの外部トリガでイベント条件の異なる２つの画像イメージを記録する手順を示すフローチャートである。Ａｎ−ｅイベントとＰｔ−ｓイベントは、「アノテーション・モード終了」の１つの外部トリガで生成される。時系列判定部２０７は、内部イベント、ＴＳＳ値、およびＥＳＳ値からなるイベント条件に基づいて画像イメージに対する音声ブロックの関連づけを行うが、イベント条件が異なるためそれぞれに異なる音声ブロックを関連付けことができる。結果として、２つの画像イメージがそれぞれ関連付けられた音声ブロックに対する有意な既視感をもつように構成することができる。
【００７３】
本実施の形態のときにはＡｎ−ｅイベントからＰｔ―ｓイベントに変化するときに、ＥＳＳ値だけが１から０に変化するので、時系列判定部２０７がＡｎ−ｅイベントに関するイベント条件を取得した後は、ＥＳＳ値だけを変化させてＰｔ―ｓイベントに関するイベント条件を取得できるようにしている。ブロック３５１、３５３でデータを記録するためのタイム・シーケンスが進行し、ブロック３５３で内部イベント生成部１０１によりタイムスタンプｔ０６を有するＡｎ−ｅイベントが生成されるとブロック３５５に移行する。
【００７４】
ブロック３５５では時系列判定部２０７が、音声データ取得部１０９から音声ブロックＶｏ４のファイル名とタイムスタンプ付きの内部イベント識別子を受け取ってメイン・メモリ１３に記憶する。ブロック３５７では時系列判定部２０７が、空間画像取得部１０５から画像イメージＩｍ０６のファイル名とタイムスタンプ付きの内部イベント識別子を受け取ってメイン・メモリ１３に記録する。ブロック３５９では、時系列判定部２０７がタイムスタンプｔ０６に対するＴＳＳ値（１）とＥＳＳ値（１）を取得する。
【００７５】
ブロック３６１では、Ａｎ−ｅイベントに対する音声ブロックのファイル名、画像イメージのファイル名、ＴＳＳ値、およびＥＳＳ値などのデータの取得が完了すると、時系列判定部２０７はブロック３６１でアノテーションを消去するために、内部イベント生成部１０１に「アノテーション・クリア」の擬似的な外部トリガを送る。内部イベント生成部１０１が擬似的な外部トリガに応じてＡｎ−ｃイベントを生成してアノテーション作成部１０３に送ると、アノテーション作成部１０３はその時点でデスクトップ画面に書き込まれていたアノテーションを消去する。
【００７６】
ブロック３６３では、擬似的な外部トリガを生成した内部イベント生成部１０１が、ＴＳＳ／ＥＳＳ変更部２０５にＰｔ−ｓイベントを送る。ＴＳＳ／ＥＳＳ変更部２０５はＰｔ−ｓイベントを受け取ったときは、ＥＳＳ値を０に設定するように構成されているのでＥＳＳ２０３にＥＳＳ＝０を設定する。もし、Ｐｔ−ｓイベントに対するＴＳＳ値がＡｎ−ｅイベントに対する値から変化するように最適時系列予測モデル２０９が定義されていればＴＳＳ／ＥＳＳ変更部２０５はＴＳＳ値を変更することになる。Ａｎ−ｅイベントが生成されたあとはＡｎ−ｓイベントが生成されるまでＥＳＳ値は０を維持する。
【００７７】
ブロック３６５では、ＥＳＳ設定部２０３の状態が変化したことを認識した時系列判定部２０７は、内部イベント生成部１０１に「ポインティング・モード開始」の擬似的な外部トリガを送る。内部イベント生成部１０１が、擬似的な外部トリガに応じてＰｔ−ｓイベントを生成してマウス・モード制御部１０７に送ると、マウス・モード制御部１０７はマウス２９をポインティング・モードに設定する。さらにブロック３６７で内部イベント生成部１０１がＰｔ−ｓイベントを空間画像取得部１０５に送ると、空間画像取得部１０５はタイムスタンプｔ０６を有する画像イメージＩｍ０７を記録する。
【００７８】
そして時系列判定部２０７は空間画像取得部１０５から画像イメージＩｍ０７のファイル名とタイムスタンプ付きの内部イベント識別子を受け取ってメイン・メモリ１３に記録する。画像イメージＩｍ０７はアノテーションが消去されている点だけが画像イメージＩｍ０６と異なっている。ブロック３６９では、時系列判定部２０７は内部イベント生成部１０１からＰｔ−ｓイベントを受け取って、タイムスタンプｔ０６が付与されたＰｔ−ｓイベントに対応するＴＳＳ値（１）、ＥＳＳ値（０）を取得する。ブロック３７１で時系列判定部２０７は、Ａｎ−ｅイベントとＰｔ−ｓイベントのそれぞれについてのＴＳＳ値とＥＳＳ値を取得することができるので、それぞれの画像イメージに対して最適時系列予測モデル２０９を参照して適切な音声ブロックを関連付けることができるようになる。ブロック３７１では時系列判定部２０７がさらに、タイムスタンプｔ０７以降の内部イベントを処理する。
【００７９】
図７（Ｂ）は、時系列判定部２０７により上記手順で関連付けられた画像イメージと音声ブロックを時系列的に配置した図である。図７（Ｂ）では音声ブロックＶｏ０２には画像イメージＩｍ０３とＩｍ０４が関連付けられ、音声ブロックＶｏ０８には画像イメージＩｍ１０とＩｍ１１が関連付けられており検索が煩雑になるため目標（３）が実現されていない。図８のブロック３１５では、１つの音声ブロックに２つの画像イメージが関連付けられているときに、時系列判定部２０７は、図３に示した内部イベントの優先度に基づいて内部イベントの優先度が高い画像イメージにだけ音声ブロックを関連付ける。
【００８０】
そして関連する内部イベントの優先度がすべて５の場合はすべての画像イメージを同一音声ブロックに関連付けておく。よって時系列判定部２０７は、優先度５の複数の内部イベントにより生成された画像イメージはすべて残すが、いずれか１つの内部イベントの優先度が５の場合は他の内部イベントにより生成された画像イメージのファイル名はメイン・メモリ１３の時系列テーブル２５０から消去する。図７（Ｂ）の例では、画像イメージＩｍ０３の原因となったＡｎ−ｓイベントの優先度は３で、画像イメージＩｍ０４の原因となったＴｍ−ｉイベントの優先度は１であるため、音声ブロックＶｏ０２には画像イメージＩｍ０３だけを関連付けて画像イメージＩｍ０４のフィル名は時系列テーブル２５０から消去する。
【００８１】
また、画像イメージＩｍ１０の原因となったＡｎ−ｃイベントの優先度は５で、画像イメージＩｍ１１の原因となったＲｅ−ｅイベントの優先度は１であるため、音声ブロックＶｏ０８には画像イメージＩｍ１０だけを関連付けて画像イメージＩｍ１１のファイル名は時系列テーブル２５０から削除する。よって、単一の音声ブロックについては、よりユーザの記憶を呼び起こしやすい画像イメージだけが関連付けられることになる。
【００８２】
［最適再生範囲および最適画像イメージ］
図６、図７に示したように、内部イベントはほとんどユーザが入力した外部トリガにより生成される。したがって、各音声ブロックの再生時間はさまざまに変化することになるが、音声ブロックは内部イベント間の時間の単位で記録されるためその時間が短い場合は、一旦検索した音声ブロックには必要な情報がすべて含まれない場合がある。この場合、前後にキャプチャされた画像イメージを通じて、一旦再生した音声ブロックの前後に存在する音声ブロック再生する必要がでてくる。再生範囲判定部２１１は、短すぎる音声ブロックを他の音声ブロックに結合することで、１回で再生できる適切な範囲の音声集合ブロックを生成する。
【００８３】
図１０は、再生範囲判定部２１１が時間的に隣接する内部イベントで生成された複数の音声ブロックを結合して音声集合ブロックを作成する手順を示すフローチャートである。ブロック４０１では、時系列判定部２０７が時系列テーブル２５０の作成を終了している。ブロック４０３では、再生範囲判定部２１１が内部カウンタにｎ＝１を設定する。ｎは時系列テーブル２５０において音声ブロックのファイル名が記憶された順番に対応する。ブロック４０５では、再生範囲判定部２１１が音声ブロックｎの再生時間Δ（ｎ）を計算する。たとえばΔ（０２）は。音声ブロックＶｏ０２の再生時間に相当し、Δ（０３）は音声ブロックＶｏ０３の再生時間に相当する。
【００８４】
ブロック４０７では、再生範囲判定部２１１が再生時間Δ（ｎ）を発話データ指標ｔｍと比較する。発話データ指標は日本語の討論において、一人の発言者が作成する平均モーラ数（当該アクセント句に含まれる母音と促音、撥音の合計数）は約３６回であり、最も理解しやすい速度で話した時の１モーラ数に費やす時間は約２秒であることに基づいて、一人の発言者が費やす時間を１．２分と推定した指標をいう。発話データ指標は、討論、通常会話、または説明などのような会話形態により、また、使用される言語により異なる値になる。１つの音声ブロックの再生時間が発話データ指標よりも短い場合は、その音声ブロックだけでは発言内容が完結していないと判断して前後の音声ブロックとの結合を行う。
【００８５】
ブロック４０７では、再生範囲判定部２１１が音声ブロック１（Ｖｏ０１）についてΔｔ（１）＜ｔｍか否かを判断し、条件を満たせばブロック４０９に移行し、満たさない場合はブロック４１７に移行する。ブロック４０９では、対象とする音声ブロック１に前後する音声ブロックが存在するか否かを判断する。前後の方向は、対象とする音声ブロック１とそれに関連付けられた画像イメージＩｍ０２の関係で決定する。すなわち、音声ブロックＶｏ０１は関連付けられている画像イメージＩｍ０２の後に録音されているため、時間的に音声ブロックＶｏ１よりも後に記録された音声ブロックＶｏ０２の存在を確認する。もし、対象となる音声ブロックがそれに関連付けられた画像イメージの前に存在する場合は、時間的に先に記録された音声ブロックの存在を確認することになる。
【００８６】
ここでは１つ後に生成された内部イベントで記録された音声ブロックＶｏ０２が存在するので、再生範囲判定部２１１はブロック４１１で音声ブロックＶｏ０１と音声ブロックＶｏ０２を結合する。もし、所定の時間方向に隣接する音声ブロックが存在しない場合は、当該音声ブロックに関する音声集合ブロックは形成しない。再生範囲判定部２１１はブロック４１３で、結合した音声ブロックＶｏ０１と音声ブロックＶｏ０２の合計した録音時間Δｔ（ｓ）を計算して発話指標ｔｍと比較する。発話指標よりもΔｔ（ｓ）が短い場合は、ブロック４０９に戻ってさらに音声ブロックＶｏ０２に隣接する音声ブロックの存在を確認し結合する。
【００８７】
ブロック４１３でΔｔ（ｓ）＞ｔｍとなった場合は、再生範囲判定部２１１はブロック４１５でその時点で結合された音声ブロックを音声集合ブロックとして構成し新たなファイル名を付与する。音声集合ブロックは、関連付けられた画像イメージを通じて一度に再生することができる音声データである。再生範囲判定部２１１はブロック４１７で、内部カウンタにｎ＝ｎ＋ｘを設定する。ｘは、音声集合ブロックに組み込まれた音声ブロックをブロック４０５以降の処理から除外するように決定する。ブロック４１９では、時系列モデル２５０が含むすべての音声ブロックについての評価が終わるまで処理が繰り返され、ブロック４２１で終了して図８のブロック３１９に移行する。
【００８８】
図１１は、時系列判定部２０７、再生範囲判定部２１１、および最適画像選択部２１５における処理を説明する図である。図１１（Ａ）は時系列テーブル２５０のデータに対して、時系列判定部２０７が優先度に基づいて１つの音声ブロックに１つの画像イメージが対応するように関連付けた様子を示す。図１１（Ａ）からは、時系列判定部２０７の処理により画像イメージＩｍ０４のファイル名が消去されている。図１１（Ｂ）は、図１１（Ａ）に基づいて再生範囲判定部２１１が作成した音声集合ブロック２５１を示す図である。図１１（Ｂ）では、図１０の手順に基づいて音声ブロックＶｏ０１〜Ｖｏ０３が音声集合ブロック２５１として構成されたことが示されている。音声集合ブロック２５１には新たなファイル名が付与されるが３つの画像イメージＩｍ０２、Ｉｍ０３、Ｉｍ０５が関連付けられているので、このままでは不要な画像イメージが多くなって検索には不便である。
【００８９】
図８のブロック３１９では、音声集合ブロック２５１に関連する複数の画像イメージの中から最適画像選択部２１５が適切な画像イメージを１つまたは複数選択する。最適画像選択部２１５は、図３に示した内部イベントの優先度に基づいて最も優先度の高い画像イメージが１つだけ存在する場合はその画像イメージだけを選択し、その他の画像イメージはメタデータから消去する。また、同順位の優先度の画像イメージが複数個関連付けられている場合は、それより優先度の低い画像イメージをメタデータから消去する。
【００９０】
図１１（Ｃ）においては、図１１（Ｂ）の音声集合ブロック２５１に関連付けられた画像イメージの中で、Ｉｍ０５が優先度５のＰｒｔＳｃｎイベントによりキャプチャされたものであり、他の画像イメージはそれより優先度が低い内部イベントによりキャプチャされたものであるため、最適画像選択部２１５は音声集合ブロック２５１を画像イメージＩｍ０５にだけ関連付ける。そして画像イメージＩｍ０２、Ｉｍ０３のファイル名はメイン・メモリ１３から消去する。つづいて、図８のブロック３２１では、メタデータ作成部２１７が、各画像イメージのファイル名とそれに関連付けられた音声ブロックまたは音声集合ブロックのファイル名をタグデータとするメタデータをＸＭＬ（Extensible Markup Language）で作成し、メタデータ記録部１２１に記録する。
【００９１】
［検索］
空間画像記録部１１７には画像イメージが記録され、音声記録部１１９には音声ブロックが記録され、メタデータ記録部１２１にはメタデータが記録されているときに、必要な音声データを再生するときは、図３の検索部を通じてコンピュータ１０を操作する。最初に、メタデータに対してタイムスタンプをキーワードにした一次検索をして、確認する画像イメージの範囲を絞り込む。あるいは、１つの会議で記録したすべての画像イメージを確認の対象にしてもよい。メタデータは空間画像記録部１１７に記録された実際の画像イメージのファイルにリンクしており、検索部１２３はそれらをサムネール形式でＬＣＤ１７に表示する。ユーザは実際に画像イメージをみて再生したい音声ブロックのファイルを探す。
【００９２】
各画像イメージは、過去に音声データとともに記録されたものであり、アノテーションを書き込んだり、参加者との質疑の中で重要と判断して「画像キャプチャ」の外部トリガでキャプチャしたりしたものであるため、ユーザに音声データの内容に対する既視感を与える。ユーザは、再生したい部分が録音されたときに表示されていたと思われる画像イメージを選択して拡大表示する。画像イメージには、音声ブロックまたは音声集合ブロックのファイル名がタグデータとして埋め込まれている。ユーザがマウス２９でそのファイル名を選択すると、音声記録部１１９に記録された音声ブロックがロードされて再生される。画像イメージと音声ブロックは、最も既視感を与えるような関係になっており、また、１つの画像に対しては必要な情報を得るのに適した再生時間となるように音声集合ブロックが構成されているので、迅速に必要な範囲の音声データだけを抽出して再生することができる。
【００９３】
音声再生支援システム１００を使用すると、ユーザはどのタイミングでアノテーションを書き込むか、あるいは画像をキャプチャするかを意識することなく会議を進めることができる。そして結果として収集された音声データはユーザが強い既視感を抱く画像イメージに関連付けられているので、ユーザにデータ収集の負担を与えないで検索の容易な音声データを記録することができる。以上、本発明を音声データの再生を例示して説明したが、本発明は、音声に代えて音声無しの映像、音声付きの映像または作図や描画などのようなデスクトップ画面上でのマウス・カーソルの動的な軌跡などに適用することも可能である。本発明を音声付きの映像に適用する場合は、音声を録音しながら音声再生支援システム１００で例示して説明したイベントで映像をキャプチャしてそれにアノテーションを加えることで、キャプチャした静止映像から容易に希望する箇所の映像部分を再生できるようになる。
【００９４】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。
【符号の説明】
【００９５】
１００…音声再生支援システム
２００…最適再生処理システム
２０９…最適時系列予測モデル
２５０…時系列テーブル
２５１…音声集合ブロック
【特許請求の範囲】
【請求項１】
デスクトップ画面にデスクトップ空間画像を表示しながら連続再生データを記録し前記デスクトップ画面に対するアノテーションの書き込みが可能な再生支援システムであって、
前記デスクトップ空間画像の表示と前記連続再生データの記録に対する所定の操作に対応するイベントを生成するイベント生成部と、
前記イベントに応答して前記デスクトップ空間画像を取得する画像取得部と、
前記イベントに応答して前記連続再生データを前記イベント間のデータ・ブロックとして取得する再生データ取得部と、
前記イベントの種類に基づいて前記デスクトップ空間画像と前記データ・ブロックの関連づけを定義した最適時系列予測モデルと、
前記最適時系列予測モデルを参照し前記デスクトップ空間画像と前記データ・ブロックを関連付ける時系列判定部と
を有する再生支援システム。
【請求項２】
前記最適時系列予測モデルが、前記デスクトップ空間画像を取得する特定のイベントの種類と該特定のイベントが生成されたときにすでに生成されていた他のイベントの種類で構成されるイベント条件に基づいて前記デスクトップ空間画像と前記データ・ブロックの関連づけを定義する請求項１に記載の再生支援システム。
【請求項３】
前記最適時系列予測モデルは、特定のイベントに応答して取得された前記デスクトップ空間画像と前記特定のイベントに応答して取得された前記データ・ブロックまたは前記特定のイベントの直後に生成されたイベントに応答して取得された前記データ・ブロックのいずれかとの関連づけを定義する請求項１または請求項２に記載の再生支援システム。
【請求項４】
前記所定の操作に対応するイベントが、前記連続再生データの取得の開始に対応する取得開始イベント、前記連続再生データの取得の終了に対応する取得終了イベント、前記アノテーションの書き込みが可能な状態への移行に対応するアノテーション開始イベント、および前記アノテーションの書き込み終了する状態への移行に対応するアノテーション終了イベントを含む請求項１から請求項３のいずれかに記載の再生支援システム。
【請求項５】
前記取得開始イベントまたは前記取得終了イベントに応答して変化するＴＳＳ値を設定するＴＳＳ設定部と、
前記アノテーション開始イベントまたは前記アノテーション終了イベントに応答して変化するＥＳＳ値を設定するＥＳＳ設定部とを有し、
前記最適時系列予測モデルが前記ＴＳＳ値、前記ＥＳＳ値、および前記イベントの種類に応じて前記デスクトップ空間画像と前記データ・ブロックの関連付けを定義する請求項４に記載の再生支援システム。
【請求項６】
前記アノテーション終了イベントに基づいて前記画像取得部はアノテーションが書き込まれたデスクトップ空間画像と該デスクトップ空間画像から前記アノテーションが消去されたデスクトップ空間画像を記録し、前記時系列判定部は前記アノテーションが書き込まれたデスクトップ空間画像に前記アノテーション終了イベントに応答して取得されたデータ・ブロックを関連付け、前記アノテーションが消去されたデスクトップ空間画像に前記アノテーション終了イベントの直後に生成されたイベントに応答して取得されたデータ・ブロックを関連付ける請求項４または請求項５に記載の再生支援システム。
【請求項７】
前記イベントが、前記再生支援システムの動作の開始に対応するシステム開始イベント、前記再生支援システムの動作の終了に対応するシステム終了イベント、書き込まれたアノテーションを消去するアノテーション消去イベント、前記デスクトップ空間画像を取得する画像取得イベント、前記ディスプレイに表示されているウインドウのページを変更するページ・イベントからなるグループから選択されたいずれか１つの要素または任意の複数の要素を含む請求項１から請求項６のいずれかに記載の再生支援システム。
【請求項８】
前記時系列判定部は、前記最適時系列予測モデルに基づいて１つのデータ・ブロックに２つのデスクトップ空間画像を関連付けた場合に、前記イベントの優先度に基づいていずれかのデスクトップ空間画像の関連付けを解除する請求項１から請求項７のいずれかに記載の再生支援システム。
【請求項９】
各データ・ブロックの再生時間が所定の値よりも短い場合に複数のデータ・ブロックを結合して集合データ・ブロックを形成する再生範囲判定部を有する請求項１から請求項８のいずれかに記載の再生支援システム。
【請求項１０】
前記集合データ・ブロックに関連付けられている複数のデスクトップ空間画像の中から、前記イベントの優先度に基づいて１または複数のデスクトップ空間画像を選択する最適画像選択部を有する請求項９に記載の再生支援システム。
【請求項１１】
前記デスクトップ空間画像と前記データ・ブロックを関連付けたメタデータを作成するメタデータ作成部を有する請求項１から請求項１０のいずれかに記載の再生支援システム。
【請求項１２】
デスクトップ空間画像を表示するディスプレイと、
音声データを取得するマイクロフォンと、
請求項１から請求項１１のいずれかに記載の再生支援システムと
を有する情報処理装置。
【請求項１３】
連続再生データを取得しながらディスプレイにアノテーションを書き込むことが可能なコンピュータに、
所定のイベントごとに前記ディスプレイに表示されたデスクトップ空間画像を取得するステップと、
所定のイベントごとに前記連続再生データを前記イベント間のデータ・ブロックとして取得するステップと、
前記イベントの種類に基づいて前記デスクトップ空間画像にリンクさせる前記データ・ブロックを決定するステップと
を有する処理を実行させるコンピュータ・プログラム。
【請求項１４】
前記決定するステップは、さらに前記コンピュータが前記連続再生データの取得をしているか否かの判断および前記コンピュータが前記アノテーションの書き込みが可能な状態か否かの判断に基づいて前記デスクトップ空間画像にリンクさせる前記データ・ブロックを決定する請求項１３に記載のコンピュータ・プログラム。
【請求項１５】
前記特定のイベントのそれぞれに優先度を付与するステップと、
前記決定するステップにおいて１つのデータ・ブロックに２つのデスクトップ空間画像がリンクされた場合に、前記優先度に基づいていずれか一方のデスクトップ空間画像だけをリンクさせるステップと
を有する請求項１３または請求項１４に記載のコンピュータ・プログラム。
【請求項１６】
各データ・ブロックの再生時間を計算するステップと、
特定のデータ・ブロックの前記再生時間が所定の値よりも小さい場合に前記特定のデータ・ブロックの直前または直後に取得されたデータ・ブロックを前記特定のデータ・ブロックに結合して集合データ・ブロックを生成するステップと
を有する請求項１３から請求項１５のいずれかに記載のコンピュータ・プログラム。
【請求項１７】
連続再生データを記録しながらディスプレイに対するアノテーションの書き込みが可能なコンピュータにおいて前記連続再生データを記録する方法であって、
前記コンピュータが外部トリガを受け取るステップと、
前記外部トリガに応答して内部イベントを生成するステップと、
前記内部イベントごとに前記ディスプレイに表示されたデスクトップ空間画像を記録するステップと、
前記内部イベントごとに前記連続再生データを前記イベント間のデータ・ブロックとして記録するステップと、
前記内部イベントの種類に基づいて前記デスクトップ空間画像と前記データ・ブロックを関連付けるステップと、
前記デスクトップ空間画像に対する前記データ・ブロックの関連づけを示すメタデータを記録するステップと
を有する方法。
【請求項１８】
前記関連付けるステップが、前記イベントの種類と前記連続再生データの取得状態と前記アノテーションの書き込み状態とで構成されるイベント条件に基づいて前記デスクトップ空間画像と前記データ・ブロックの関連づけを定義した最適時系列予測モデルを参照するステップを含む請求項１７に記載の方法。
【請求項１９】
連続再生データの記録とディスプレイに対するアノテーションの書き込みが可能なコンピュータにおいて前記連続再生データを再生する方法であって、
前記コンピュータが外部トリガを受け取るステップと、
前記外部トリガに応答して内部イベントを生成するステップと、
前記内部イベントごとに前記ディスプレイに表示されたデスクトップ空間画像を記録するステップと、
前記内部イベントごとに前記連続再生データを前記イベント間のデータ・ブロックとして記録するステップと、
前記内部イベントの種類に基づいて前記デスクトップ空間画像と前記データ・ブロックを関連付けるステップと、
前記デスクトップ空間画像に対する前記データ・ブロックの関連づけを示すメタデータを作成するステップと、
前記メタデータを検索して前記デスクトップ空間画像を表示するステップと、
選択された前記デスクトップ空間画像に前記メタデータで関連付けられたデータ・ブロックを再生するステップと
を有する方法。
【請求項２０】
前記メタデータを作成するステップが特定のデータ・ブロックの再生時間が所定の時間よりも短い場合に、特定のデスクトップ空間画像に前記特定のデータ・ブロックの直前または直後に記録されたデータ・ブロックを結合したメタデータを作成する請求項１９に記載の方法。
【請求項１】
デスクトップ画面にデスクトップ空間画像を表示しながら連続再生データを記録し前記デスクトップ画面に対するアノテーションの書き込みが可能な再生支援システムであって、
前記デスクトップ空間画像の表示と前記連続再生データの記録に対する所定の操作に対応するイベントを生成するイベント生成部と、
前記イベントに応答して前記デスクトップ空間画像を取得する画像取得部と、
前記イベントに応答して前記連続再生データを前記イベント間のデータ・ブロックとして取得する再生データ取得部と、
前記イベントの種類に基づいて前記デスクトップ空間画像と前記データ・ブロックの関連づけを定義した最適時系列予測モデルと、
前記最適時系列予測モデルを参照し前記デスクトップ空間画像と前記データ・ブロックを関連付ける時系列判定部と
を有する再生支援システム。
【請求項２】
前記最適時系列予測モデルが、前記デスクトップ空間画像を取得する特定のイベントの種類と該特定のイベントが生成されたときにすでに生成されていた他のイベントの種類で構成されるイベント条件に基づいて前記デスクトップ空間画像と前記データ・ブロックの関連づけを定義する請求項１に記載の再生支援システム。
【請求項３】
前記最適時系列予測モデルは、特定のイベントに応答して取得された前記デスクトップ空間画像と前記特定のイベントに応答して取得された前記データ・ブロックまたは前記特定のイベントの直後に生成されたイベントに応答して取得された前記データ・ブロックのいずれかとの関連づけを定義する請求項１または請求項２に記載の再生支援システム。
【請求項４】
前記所定の操作に対応するイベントが、前記連続再生データの取得の開始に対応する取得開始イベント、前記連続再生データの取得の終了に対応する取得終了イベント、前記アノテーションの書き込みが可能な状態への移行に対応するアノテーション開始イベント、および前記アノテーションの書き込み終了する状態への移行に対応するアノテーション終了イベントを含む請求項１から請求項３のいずれかに記載の再生支援システム。
【請求項５】
前記取得開始イベントまたは前記取得終了イベントに応答して変化するＴＳＳ値を設定するＴＳＳ設定部と、
前記アノテーション開始イベントまたは前記アノテーション終了イベントに応答して変化するＥＳＳ値を設定するＥＳＳ設定部とを有し、
前記最適時系列予測モデルが前記ＴＳＳ値、前記ＥＳＳ値、および前記イベントの種類に応じて前記デスクトップ空間画像と前記データ・ブロックの関連付けを定義する請求項４に記載の再生支援システム。
【請求項６】
前記アノテーション終了イベントに基づいて前記画像取得部はアノテーションが書き込まれたデスクトップ空間画像と該デスクトップ空間画像から前記アノテーションが消去されたデスクトップ空間画像を記録し、前記時系列判定部は前記アノテーションが書き込まれたデスクトップ空間画像に前記アノテーション終了イベントに応答して取得されたデータ・ブロックを関連付け、前記アノテーションが消去されたデスクトップ空間画像に前記アノテーション終了イベントの直後に生成されたイベントに応答して取得されたデータ・ブロックを関連付ける請求項４または請求項５に記載の再生支援システム。
【請求項７】
前記イベントが、前記再生支援システムの動作の開始に対応するシステム開始イベント、前記再生支援システムの動作の終了に対応するシステム終了イベント、書き込まれたアノテーションを消去するアノテーション消去イベント、前記デスクトップ空間画像を取得する画像取得イベント、前記ディスプレイに表示されているウインドウのページを変更するページ・イベントからなるグループから選択されたいずれか１つの要素または任意の複数の要素を含む請求項１から請求項６のいずれかに記載の再生支援システム。
【請求項８】
前記時系列判定部は、前記最適時系列予測モデルに基づいて１つのデータ・ブロックに２つのデスクトップ空間画像を関連付けた場合に、前記イベントの優先度に基づいていずれかのデスクトップ空間画像の関連付けを解除する請求項１から請求項７のいずれかに記載の再生支援システム。
【請求項９】
各データ・ブロックの再生時間が所定の値よりも短い場合に複数のデータ・ブロックを結合して集合データ・ブロックを形成する再生範囲判定部を有する請求項１から請求項８のいずれかに記載の再生支援システム。
【請求項１０】
前記集合データ・ブロックに関連付けられている複数のデスクトップ空間画像の中から、前記イベントの優先度に基づいて１または複数のデスクトップ空間画像を選択する最適画像選択部を有する請求項９に記載の再生支援システム。
【請求項１１】
前記デスクトップ空間画像と前記データ・ブロックを関連付けたメタデータを作成するメタデータ作成部を有する請求項１から請求項１０のいずれかに記載の再生支援システム。
【請求項１２】
デスクトップ空間画像を表示するディスプレイと、
音声データを取得するマイクロフォンと、
請求項１から請求項１１のいずれかに記載の再生支援システムと
を有する情報処理装置。
【請求項１３】
連続再生データを取得しながらディスプレイにアノテーションを書き込むことが可能なコンピュータに、
所定のイベントごとに前記ディスプレイに表示されたデスクトップ空間画像を取得するステップと、
所定のイベントごとに前記連続再生データを前記イベント間のデータ・ブロックとして取得するステップと、
前記イベントの種類に基づいて前記デスクトップ空間画像にリンクさせる前記データ・ブロックを決定するステップと
を有する処理を実行させるコンピュータ・プログラム。
【請求項１４】
前記決定するステップは、さらに前記コンピュータが前記連続再生データの取得をしているか否かの判断および前記コンピュータが前記アノテーションの書き込みが可能な状態か否かの判断に基づいて前記デスクトップ空間画像にリンクさせる前記データ・ブロックを決定する請求項１３に記載のコンピュータ・プログラム。
【請求項１５】
前記特定のイベントのそれぞれに優先度を付与するステップと、
前記決定するステップにおいて１つのデータ・ブロックに２つのデスクトップ空間画像がリンクされた場合に、前記優先度に基づいていずれか一方のデスクトップ空間画像だけをリンクさせるステップと
を有する請求項１３または請求項１４に記載のコンピュータ・プログラム。
【請求項１６】
各データ・ブロックの再生時間を計算するステップと、
特定のデータ・ブロックの前記再生時間が所定の値よりも小さい場合に前記特定のデータ・ブロックの直前または直後に取得されたデータ・ブロックを前記特定のデータ・ブロックに結合して集合データ・ブロックを生成するステップと
を有する請求項１３から請求項１５のいずれかに記載のコンピュータ・プログラム。
【請求項１７】
連続再生データを記録しながらディスプレイに対するアノテーションの書き込みが可能なコンピュータにおいて前記連続再生データを記録する方法であって、
前記コンピュータが外部トリガを受け取るステップと、
前記外部トリガに応答して内部イベントを生成するステップと、
前記内部イベントごとに前記ディスプレイに表示されたデスクトップ空間画像を記録するステップと、
前記内部イベントごとに前記連続再生データを前記イベント間のデータ・ブロックとして記録するステップと、
前記内部イベントの種類に基づいて前記デスクトップ空間画像と前記データ・ブロックを関連付けるステップと、
前記デスクトップ空間画像に対する前記データ・ブロックの関連づけを示すメタデータを記録するステップと
を有する方法。
【請求項１８】
前記関連付けるステップが、前記イベントの種類と前記連続再生データの取得状態と前記アノテーションの書き込み状態とで構成されるイベント条件に基づいて前記デスクトップ空間画像と前記データ・ブロックの関連づけを定義した最適時系列予測モデルを参照するステップを含む請求項１７に記載の方法。
【請求項１９】
連続再生データの記録とディスプレイに対するアノテーションの書き込みが可能なコンピュータにおいて前記連続再生データを再生する方法であって、
前記コンピュータが外部トリガを受け取るステップと、
前記外部トリガに応答して内部イベントを生成するステップと、
前記内部イベントごとに前記ディスプレイに表示されたデスクトップ空間画像を記録するステップと、
前記内部イベントごとに前記連続再生データを前記イベント間のデータ・ブロックとして記録するステップと、
前記内部イベントの種類に基づいて前記デスクトップ空間画像と前記データ・ブロックを関連付けるステップと、
前記デスクトップ空間画像に対する前記データ・ブロックの関連づけを示すメタデータを作成するステップと、
前記メタデータを検索して前記デスクトップ空間画像を表示するステップと、
選択された前記デスクトップ空間画像に前記メタデータで関連付けられたデータ・ブロックを再生するステップと
を有する方法。
【請求項２０】
前記メタデータを作成するステップが特定のデータ・ブロックの再生時間が所定の時間よりも短い場合に、特定のデスクトップ空間画像に前記特定のデータ・ブロックの直前または直後に記録されたデータ・ブロックを結合したメタデータを作成する請求項１９に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１７５４９９（Ｐ２０１１−１７５４９９Ａ）
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願番号】特願２０１０−３９６５５（Ｐ２０１０−３９６５５）
【出願日】平成２２年２月２５日（２０１０．２．２５）
【出願人】（５０５２０５７３１）レノボ・シンガポール・プライベート・リミテッド (292)
【復代理人】
【識別番号】１００１０６６９９
【弁理士】
【氏名又は名称】渡部 弘道
【復代理人】
【識別番号】１０００７７５８４
【弁理士】
【氏名又は名称】守谷 一雄
【Ｆターム（参考）】
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願日】平成２２年２月２５日（２０１０．２．２５）
【出願人】（５０５２０５７３１）レノボ・シンガポール・プライベート・リミテッド (292)
【復代理人】
【識別番号】１００１０６６９９
【弁理士】
【氏名又は名称】渡部 弘道
【復代理人】
【識別番号】１０００７７５８４
【弁理士】
【氏名又は名称】守谷 一雄
【Ｆターム（参考）】
[ Back to top ]