コンテンツ作成装置、方法、コンテンツ提供システム、プログラム、及び記録媒体
【課題】習熟を必要とする技術や能力等の指導において、利用した資料の書き込み箇所に対応付けて、指導内容の映像/音声情報を頭出し再生可能なコンテンツを作成する。
【解決手段】コンテンツ作成装置1は、指導内容を撮影してその映像/音声情報を取得する映像/音声情報取得手段2、前記指導に利用した資料への書き込み(メモ)情報を取得するメモ情報取得手段3と接続可能とし、リアルタイムキャプチャ部1a,メタ情報生成部1b,コンテンツ生成部1cを備える。コンテンツ作成装置1は、前記指導内容の映像/音声情報を取り込むと共に、前記資料に書き込まれたタイミングで前記資料への書き込み時刻とドット位置を取得し、該書き込み時刻とドット位置から前記資料の書き込み単位毎にメタ情報を生成し、前記映像/音声情報及びメタ情報に基づいて前記資料の書き込み単位とその書き込み時刻に対応する映像/音声情報とを関連付けしてコンテンツを生成する。
【解決手段】コンテンツ作成装置1は、指導内容を撮影してその映像/音声情報を取得する映像/音声情報取得手段2、前記指導に利用した資料への書き込み(メモ)情報を取得するメモ情報取得手段3と接続可能とし、リアルタイムキャプチャ部1a,メタ情報生成部1b,コンテンツ生成部1cを備える。コンテンツ作成装置1は、前記指導内容の映像/音声情報を取り込むと共に、前記資料に書き込まれたタイミングで前記資料への書き込み時刻とドット位置を取得し、該書き込み時刻とドット位置から前記資料の書き込み単位毎にメタ情報を生成し、前記映像/音声情報及びメタ情報に基づいて前記資料の書き込み単位とその書き込み時刻に対応する映像/音声情報とを関連付けしてコンテンツを生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツ作成装置、方法、コンテンツ提供システム、プログラム、及び記録媒体、より詳細には、習熟を必要とする技術や能力等の指導内容を後で確認するためのコンテンツを作成する装置、方法、コンテンツ提供システム、プログラム、及び記録媒体に関する。
【背景技術】
【0002】
従来、楽器やダンスなどのレッスンの際に、ビデオや録音機器を持ち込み、試合や指導の様子を記録し、必要に応じて見直すことは行われている。一般的には1回全体を再生しなおした上で、どうしても必要なところがあれば、そこのタイムカウンタを頼りに何回か再生する。このとき以下のような問題がある。
【0003】
(1)必要な箇所を特定することが難しい。また特定したとして、タイムカウンタ等を用いてそこに移動するのに手間がかかる。
(2)テープメディアの場合、特定の場所を何度も見直したくても、必要な場所が離れていた場合に巻き戻しが面倒である。
このように、ビデオや音声の生情報のままでは、忘れてしまったことを思い出す目的で利用する程度にとどまっている。
【0004】
これに対して、例えば、特許文献1には、映像記録時にユーザの指定により任意のマークを併せて記録することで、頭出し再生を可能とし、編集作業の効率化を図るようにしたものが開示されている。これは、被写体を映像撮影装置により撮影すると共に、撮影者からのリモコン操作によるマーキング入力を受け付ける。マーキング入力がなされた位置に対応する画像に所定のマークを付けて、マークが付けられた映像を記録媒体に記録する。従って、マークが付けられた位置から再生して映像の編集を行うことが可能となり、撮影後所望のシーンの映像を容易に頭出し再生することができる。
【特許文献1】特開2003−153191号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
ここで、楽器演奏の実技や、勉強、仕事などにおいて個人指導を受けた後、その内容を確認したいことがよくある。例えば、口頭や、実演(模範演奏、演技など)で指導された内容を確認し、指摘事項や見本を見直すことで、自分の技術や能力の改善や上達につなげることができる。一方、個人指導に利用した資料に注意箇所を示すマークや、改善点のコメントが書き込まれていても(これは、指導者が書き込む場合、受講者がメモする場合の両方ある)、その資料にすべての指導内容が記載されているわけではない。そこで、資料の書き込み箇所と対応付けて、音や所作事、動きなど、マルチメディア情報(映像/音声情報など)でなければ表現できないものも含めて、指導内容を再度確認し、これによって、その場ではなんとなく聞き逃してしまったことも漏らさずに確認できるようにしたいという要望がある。
【0006】
例えば、楽器演奏等の実技の場合には、復習として前回なされた指摘事項が改善したかどうかを確認できるようにしたいし、あるいは、子供の教育の場合には親、会社等の仕事の場合には管理者などが指導現場に同席しなかった場合、その指導内容の確認をできるようにしたい。
【0007】
これに対して、上述の特許文献1に記載の発明では、映像記録時にユーザの指定により任意のマークを併せて記録することで、頭出し再生を可能としているが、指導時に利用した資料の書き込み箇所に対応付けて、指導内容の映像/音声情報を頭出し再生する機能は備えていないため、上記のような課題を解決することはできない。
【0008】
本発明は、上述のごとき実情に鑑みてなされたものであり、習熟を必要とする技術や能力等の指導において、利用した資料の書き込み箇所に対応付けて、指導内容の映像/音声情報を頭出し再生可能なコンテンツを作成すること、を目的としてなされたものである。
【課題を解決するための手段】
【0009】
上記課題を解決するために、請求項1の発明は、習熟を必要とする技術や能力等の指導内容を後から確認するためのコンテンツを作成するコンテンツ作成装置において、前記指導内容を撮影してその映像/音声情報を取得する映像/音声情報取得手段と、前記指導に利用した資料への書き込み情報を取得する書き込み情報取得手段と接続可能とし、前記映像/音声情報取得手段から前記指導内容の映像/音声情報を取り込む映像/音声情報取込手段と、前記資料に書き込まれたタイミングで前記書き込み情報取得手段から前記資料への書き込み時刻及び書き込みドット位置を取得し、該書き込み時刻及び書き込みドット位置から前記資料の書き込み単位毎にメタ情報を生成するメタ情報生成手段と、前記映像/音声情報及びメタ情報を記憶する記憶手段と、該記憶した映像/音声情報及びメタ情報に基づいて前記資料の書き込み単位とその書き込み時刻に対応する映像/音声情報とを関連付けして前記コンテンツを生成するコンテンツ生成手段とを備えていることを特徴とする。
【0010】
請求項2の発明は、請求項1の発明において、前記メタ情報生成手段は、前記書き込み時刻の間隔と前記書き込みドット位置から前記書き込み単位のビットマップデータを生成し、該生成したビットマップデータ及び前記書き込み時刻から前記メタ情報を生成することを特徴とする。
【0011】
請求項3の発明は、請求項2の発明において、前記メタ情報は、指導回数,指導回毎の書き込みID,書き込み時刻,ビットマップデータを少なくとも含むことを特徴とする。
【0012】
請求項4の発明は、請求項2の発明において、前記メタ情報生成手段は、前記書き込み単位のビットマップデータを文字あるいは画像として認識する手段を備え、該認識した結果から前記書き込み単位を分類し、その分類情報を前記メタ情報に追加することを特徴とする。
【0013】
請求項5の発明は、請求項4の発明において、前記メタ情報生成手段は、前記書き込み単位のビットマップデータを文字として認識した場合、該認識した文字をテキストデータとして取得できるようにしたことを特徴とする。
【0014】
請求項6の発明は、請求項1又は2の発明において、前記コンテンツ生成手段は、前記記憶手段に記憶したメタ情報に基づいて、前記書き込み単位に対応したクリック可能な領域を作成し、該作成した領域と、その領域の書き込み時刻に対応する映像/音声情報とを関連付けすることを特徴とする。
【0015】
請求項7の発明は、請求項6の発明において、前記コンテンツ生成手段は、前記クリック可能な領域を、前記資料のビットマップデータに重ね合わせることを特徴とする。
【0016】
請求項8の発明は、請求項6の発明において、前記コンテンツ生成手段は、前記クリック可能な領域の色あるいは形状を、前記メタ情報に含まれる属性毎に異ならせることを特徴とする。
【0017】
請求項9の発明は、請求項1乃至8のいずれか1の発明において、前記記憶手段に記憶したメタ情報を編集するためのメタ情報編集手段を備え、該メタ情報編集手段は、前記記憶手段に記憶したメタ情報を読み込んで、該読み込んだメタ情報を表示し、そのメタ情報に対応する映像/音声情報を再生しながら、前記メタ情報を編集できるようにしたことを特徴とする。
【0018】
請求項10の発明は、請求項9の発明において、前記指導時に資料を利用しない場合、前記メタ情報編集手段は、前記記憶手段に記憶した映像/音声情報を再生しながら、メタ情報を後から付加できるようにしたことを特徴とする。
【0019】
請求項11の発明は、請求項9の発明において、前記指導時に資料を利用しない場合、前記メタ情報生成手段は、前記指導内容の映像/音声情報に含まれる音声情報を音声認識してテキストデータに変換し、該テキストデータ及び当該音声が入力された時刻を取得する手段を備え、該取得したテキストデータ及び音声入力時刻に基づいてメタ情報を生成することを特徴とする。
【0020】
請求項12の発明は、習熟を必要とする技術や能力等の指導内容を後から確認するためのコンテンツを作成するコンテンツ作成装置を用いたコンテンツ作成方法において、該コンテンツ作成装置は、前記指導内容を撮影してその映像/音声情報を取得する映像/音声情報取得手段と、前記指導に利用した資料への書き込み情報を取得する書き込み情報取得手段と接続され、前記映像/音声情報取得手段から前記指導内容の映像/音声情報を取り込む映像/音声情報取込ステップと、前記資料に書き込まれたタイミングで前記書き込み情報取得手段から前記資料への書き込み時刻及び書き込みドット位置を取得し、該書き込み時刻及び書き込みドット位置から前記資料の書き込み単位毎にメタ情報を生成するメタ情報生成ステップと、前記映像/音声情報及びメタ情報を前記コンテンツ作成装置が備える記憶手段に記憶する記憶ステップと、該記憶した映像/音声情報及びメタ情報に基づいて前記資料の書き込み単位とその書き込み時刻に対応する映像/音声情報とを関連付けして前記コンテンツを生成するコンテンツ生成ステップとを有することを特徴とする。
【0021】
請求項13の発明は、請求項12の発明において、前記メタ情報生成ステップは、前記書き込み時刻の間隔と前記書き込みドット位置から前記書き込み単位のビットマップデータを生成し、該生成したビットマップデータ及び前記書き込み時刻から前記メタ情報を生成することを特徴とする。
【0022】
請求項14の発明は、請求項12又は請求項13の発明において、前記コンテンツ生成ステップは、前記記憶手段に記憶したメタ情報に基づいて、前記書き込み単位に対応したクリック可能な領域を作成し、該作成した領域と、その領域の書き込み時刻に対応する映像/音声情報とを関連付けすることを特徴とする。
【0023】
請求項15の発明は、請求項12乃至請求項14のいずれか1の発明において、前記記憶手段に記憶したメタ情報を編集するメタ情報編集ステップを有し、該メタ情報編集ステップは、前記記憶手段に記憶したメタ情報を読み込んで、該読み込んだメタ情報を表示し、そのメタ情報に対応する映像/音声情報を再生しながら、前記メタ情報を編集できるようにしたことを特徴とする。
【0024】
請求項16の発明は、請求項15の発明において、前記指導時に資料を利用しない場合、前記メタ情報編集ステップは、前記記憶手段に記憶した映像/音声情報を再生しながら、メタ情報を後から付加できるようにしたことを特徴とする。
【0025】
請求項17の発明は、請求項1乃至請求項11のいずれか1の発明により作成されたコンテンツを登録したサーバ装置と、指導を受ける受講者側が使用する端末装置とを有し、前記サーバ装置と前記端末装置とがネットワークを介して接続されたコンテンツ提供システムにおいて、前記サーバ装置は、前記端末装置からコンテンツ閲覧要求を受け付け、前記登録されているコンテンツから前記端末装置を使用する受講者のコンテンツを選択し、該選択したコンテンツを前記端末装置に送信することを特徴とする。
【0026】
請求項18の発明は、請求項1乃至請求項11のいずれか1に記載のコンテンツ作成装置としての機能を実行するためのプログラムである。
【0027】
請求項19の発明は、請求項18に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0028】
本発明は、習熟を必要とする技術や能力等の指導、教育であって、指導者のチェックを受けてそれを改善させるようなプロセスをともなうもの全般に適用できる。例えば、楽器やダンスなどの実技指導の他に、オフィスにおいてはプレゼンテーションの発表練習とそのレビュー、文書作成とそのチェック、プログラムのコーディングとそのレビュー、組み立て工程の練習などが考えられる。
【0029】
また、本発明では、一回の指導を最大限に利用するため、従来の方法で記録している映像/音声情報を効果的に役立てるようにする。すなわち、資料にインデックス(クリッカブルマップなど)を設けて、これらの映像/音声情報を利用しやすくしたコンテンツを生成するための装置を提供する。本発明のコンテンツ作成装置は、指導と習得という目的を妨げずに目的を達するため、デフォルトでは指導者と受講者の双方に負担をかけないような構成としている。さらには、多少の手間をかけることで、より充実したコンテンツを作成可能な構成とすることもできる。
【発明の効果】
【0030】
習熟を必要とする技術や能力等の指導において、利用した資料の書き込み箇所に対応付けて、指導内容の映像/音声情報を頭出し再生可能なコンテンツを作成することができるため、指導者と受講者の双方に負担をかけることがなく、受講者は指導内容を確認し、指導者の指摘事項や見本を見直すことで、効果的に技術や能力等の改善や上達につなげることができる。
【発明を実施するための最良の形態】
【0031】
以下の実施形態を説明するための全図において、同様の機能を有する部分には、同じ符号を付け、その繰り返しの説明は省略するものとする。
【0032】
図1は、本発明に係わる情報処理装置の内部構成例を示すブロック図で、図中、1は情報処理装置で、該情報処理装置1は、CPU11,RAM12,ROM13,HDD等の記憶装置14,入力装置15,表示装置16,通信装置17,出力装置18,入出力インタフェース(入出力I/F)19,システムバス20を備えた汎用コンピュータであって、後述する本発明のコンテンツ作成装置は、情報処理装置1に基づいて構成され、この情報処理装置1をコンテンツ作成装置として機能させるためのプログラム及びデータは、ROM13又は記憶装置14に格納され、実行時にCPU11がRAM12に読み出すことにより実行される。
【0033】
情報処理装置1は、通信装置17により公衆回線や,LAN,WAN,インターネットなどのネットワークに接続可能とし、出力装置18によりプリンタなどの外部機器にデータ出力を行うことができる。また、入出力I/F19は、各種の外部デバイスと接続するためのインタフェース手段である。また、処理の途中経過や処理結果は、CRT,LCD等の表示装置16を通じて操作者等に提示され、各処理において、操作者は、キーボード,マウス(ポインティングデバイス)等の入力装置15から必要なパラメータ等を入力指定する。これらCPU11,RAM12,ROM13,記憶装置(記憶手段)14,入力装置15,表示装置16,通信装置17,出力装置18,入出力I/F19はシステムバス20を介して相互に接続されている。尚、以下の各実施形態において、情報処理装置1をコンテンツ作成装置1として説明するものとする。
【0034】
本発明のコンテンツ作成装置1で作成されるコンテンツには、以下の(A),(B)の2種類がある。
(A)資料あるいはテキストを利用する場合、例えば、演奏楽譜,作成文書,工程説明書,プレゼンテーション資料などの書き込み箇所をクリックすると、そこからのリンクで映像/音声情報における必要な場所が特定され、その場所の映像/音声情報が再生される。
(B)資料あるいはテキストのない実技(講演、ダンス、体操など)の場合、別途作成するレッスン記録リスト上の所定箇所をクリックすると、そこからのリンクで映像/音声情報における必要な場所が特定され、その場所の映像/音声情報が再生される。ここで、映像/音声情報とは、映像,音声のいずれか又は両方の情報を含む所謂マルチメディア情報のことをいう。
【0035】
(第1の実施形態)
図2は、本発明の一実施形態に係るコンテンツ作成装置1の構成例を示すブロック図で、コンテンツ作成装置1は、指導内容を撮影してその映像/音声情報を取得する映像/音声情報取得手段2、指導に利用した資料への書き込み情報(以下、メモ情報という)を取得するメモ情報取得手段3と接続されている。また、コンテンツ作成装置1は、リアルタイムキャプチャ部1a,メタ情報生成部1b,コンテンツ生成部1cを備え、これらのリアルタイムキャプチャ部1a,メタ情報生成部1b,コンテンツ生成部1cはコンテンツ作成プログラムとして記憶手段14に記憶され、実行時にCPU11がRAM12に読み出すことにより実行される。また、記憶手段14(本例では記憶手段14a,14b)は、映像/音声情報,メタ情報を記憶する。尚、この記憶手段14a、14bはそれぞれ異なる記憶媒体としてもよく、あるいは記憶手段14の異なる記憶領域を利用してもよい。
【0036】
映像/音声情報取得手段2は、例えば、録音機21,MD(ミニディスク)22,ICレコーダ23,DVDCAM(DVDビデオカメラ)24,DVカメラ(デジタルビデオカメラ)25などの映像/音声情報を取得可能なデバイスであって、入出力I/F19を介してコンテンツ作成装置1と接続される。また、メモ情報取得手段3としては、例えば、ペン入力可能なタブレットや、特開2000−305559号公報などに記載されている電子譜面台、あるいは、普通紙や専用用紙への書き込みをデジタルデータとして取り込める電子ペン(例えば、Seiko Instruments USA Inc製のInkLink(登録商標)等)などの各種デバイスを利用することができる。
【0037】
リアルタイムキャプチャ部1aは、映像/音声情報取得手段2から、指導内容の映像/音声情報をリアルタイムで取り込む(キャプチャする)手段であって、取り込んだ映像/音声情報を記憶手段14aに直接書き込んで記憶する。
【0038】
メタ情報生成部1bは、資料に書き込まれたタイミングで、メモ情報取得手段2から、上記資料への書き込み時刻及び書き込みドット位置を取得し、その書き込み時刻及び書き込みドット位置から上記資料の書き込み単位毎にメタ情報を生成する。以下、メタ情報生成部1bにおける処理について詳細に説明する。
【0039】
メタ情報生成部1bは、資料への書き込みのタイミングで、当該資料に書き込まれた時刻,書き込み座標位置及びドット、をメモ情報取得手段2(デバイス)から取得する。取得した書き込み時刻の間隔と、書き込みドット位置から、そのときの書き込み単位のビットマップデータを生成する。さらに、書き込み時刻とビットマップデータから、書き込み単位毎のメタ情報を生成する。このメタ情報は、例えば、指導回数,指導回毎のID,書き込み時刻,ビットマップデータなどからなるデータ列で構成された映像/音声情報の属性(関連)情報のことをいう。
【0040】
メタ情報生成部1bは、上記ビットマップデータから、それが○などの注意マークなのか、文字コメントなのか、図なのかなどを認識する手段を備えていてもよい。この場合、認識結果に基づいて書き込み単位を分類し、その分類情報をメタ情報に加えてもよい。例えば、○として認識した場合には、注意の属性を付加し、□として認識した場合には、見本の属性を付加しておく。これによって、各書き込み単位を資料上で表示する際に、その属性(本例では注意/見本)に応じて表示(色を変えるなど)することができる。また、文字コメントとして認識した場合、ストローク認識と文字認識により、テキスト情報を取得してもよい。このメタ情報は、履歴として指導回ごとにデータベース(記憶手段14b)に記憶される。
【0041】
コンテンツ生成部1cは、記憶手段14a、14bにそれぞれ記憶した映像/音声情報及びメタ情報に基づいて、資料の書き込み単位と、その書き込み時刻に対応する映像/音声情報とを関連付けしてコンテンツを生成する。以下、コンテンツ生成部1cにおける処理について詳細に説明する。
【0042】
コンテンツ生成部1cは、上記メタ情報に基づいて、各書き込み単位のビットマップデータに対応するクリッカブルマップを作成し、必要に応じて資料(楽譜など)のビットマップデータを重ね合わせて、HTMLファイルあるいはFlashなどのWebコンテンツを生成する。具体的には、ある書き込み単位の領域を示す形を描き、クリッカブルマップを作成し、そこから対応する映像/音声情報の時刻イベントへリンクを貼る。この際、時刻イベントは映像/音声情報に埋め込まれる。
【0043】
以上により、指導終了後、1教材のその日の指導に関するコンテンツをすぐに自動生成することができ、受講者はこれを復習に利用できる。生成されたコンテンツでは、例えば、指導者等からの指摘事項一覧や、資料上に書き込まれた指摘個所から実際の指摘シーン(複数)への頭出し再生などが可能となる。
【0044】
さらに、HTML作成時は、その指導回のメタ情報を全部使ってもよいし、メタ情報中から属性ごとにフィルタリングしてもよい。この場合、属性ごとに書き込み単位を示す領域(クリッカブルマップなど)の色や、その領域の枠の色、あるいは形状などを変えて表示するようにしてもよい。また、書き込みに使用するペンの色を属性(注意/見本など)に応じて変更し、そのペンの色を認識することにより、属性ごとに書き込み単位を示す領域の色や、その領域の枠の色、あるいは形状などを変えて表示するようにしてもよい。また、属性ごとにレイヤに分けたイメージをつくり、ユーザ(受講者又は指導者)が指定した属性を重ねて表示するようにしてもよい。これにより、受講者は、例えば、当該シーンが注意なのか、見本なのか、などを容易に区別できるため、効果的に復習に役立てることができる。
【0045】
また、1つの教材に対しては複数回指導が行われることが多い。1教材1指導回ごとにメタ情報と映像/音声情報をデータベース(記憶手段14)に蓄積しておき、後述するメタ情報編集部を利用することで、複数回の履歴を参照し、複数の指導にまたがったコンテンツとして、例えば、履歴として残された複数回の指導で蓄積された指摘のうち、未改善指摘項目一覧や、ある書き込み単位ごとの改善(上達)の履歴表示などの表示も可能となる。
【0046】
また、紙資料の場合、指導が重なるほど資料上の情報が混在して重なりあってしまう。上記のごときコンテンツを利用することにより、当該コンテンツの資料を、電子的に情報を整理した上で印刷して利用できるため、受講者は、そのとき注意すべき情報だけが参照でき、効率的に学習が進められるという利点もある。
【0047】
本実施形態によれば、習熟を必要とする技術や能力等の指導において、利用した資料の書き込み箇所に対応付けて、指導内容の映像/音声情報を頭出し再生可能なコンテンツを作成することができるため、指導者と受講者の双方に負担をかけることがなく、受講者は指導内容を確認し、指導者の指摘事項や見本を見直すことで、効果的に技術や能力等の改善や上達につなげることができる。
【0048】
(第2の実施形態)
図3は、本発明の他の実施形態に係るコンテンツ作成装置1の構成例を示すブロック図で、コンテンツ作成装置1は、映像/音声情報取得手段2、メモ情報取得手段3と接続されている。また、コンテンツ作成装置1は、リアルタイムキャプチャ部1a,メタ情報生成部1b,コンテンツ生成部1cに加えて、さらにメタ情報編集部1dを備え、これらのリアルタイムキャプチャ部1a,メタ情報生成部1b,コンテンツ生成部1c,及びメタ情報編集部1dはコンテンツ作成プログラムとして記憶手段14に記憶され、実行時にCPU11がRAM12に読み出すことにより実行される。また、第1の実施形態と同様に、記憶手段14(本例では記憶手段14a,14b)は、映像/音声情報,メタ情報を記憶する。尚、この記憶手段14a、14bはそれぞれ異なる記憶媒体としてもよく、あるいは記憶手段14の異なる記憶領域を利用してもよい。
【0049】
メタ情報編集部1dは、記憶手段14bに記憶したメタ情報を編集,付加するための手段であって、指導時に資料を利用している場合、記憶手段14bに記憶したメタ情報を読み込んで、読み込んだメタ情報を表示し、そのメタ情報に対応する映像/音声情報を再生しながら、メタ情報を編集できるようにしたものである。
【0050】
前述の第1の実施形態に示したコンテンツ作成装置1では、資料への書き込みに対応して、コンテンツの自動作成を行うことができた。しかしながら、資料に書き込むための手間、書き込む余白領域の問題などにより、書き込みから自動生成するメタ情報だけでは、以下の制限がある。
・すべての指摘事項が書き込まれるわけではない。
・指摘事項を書き込むタイミングと、実際に指摘されている時刻がずれる場合がある。
・指摘事項の詳細内容まで書き込めない(書き込めるのはメモ程度)。
【0051】
そこで、本実施形態ではメタ情報編集部1dを利用し、メタ情報の内容を修正し、より充実かつ正確にすることで、より有効なコンテンツを作成できるようにしている。メタ情報編集部1dでは、自動生成したメタ情報があればそれを読み込み、各メタ情報と、映像/音声情報の対応部分を再生しながら、次のようにメタ情報を編集する。
・指導時に資料に書き込まれなかった指摘事項を新たに追加する。
・メタ情報のタイミングと、実際に指摘されている時刻がずれていればそれを修正する。
・指摘事項の詳細内容を追加する。
・属性を付加したり整理したりする。例えば、重複する指摘事項をまとめる。あるいは、データベース(記憶手段14)に履歴として保存されているメタ情報から、以前指摘された項目を確認し、修正されたかどうかと、今回の指摘と重複した内容であれば、ひとつにまとめて内容を追加する。そのとき指摘回数は属性として管理する。
・映像の頭出し位置を微調整する。これは、頭出しとして正確な場所を決めるよりも、だいたい該当する部分を仮決めし、その後、必要に応じて、およそ3〜5秒単位で微調整する。
【0052】
また、例えば、講演や、ダンス、体操などのように、資料を利用しない実技等の指導の場合には、資料への書き込みからメタ情報を自動生成することができない。この場合、メタ情報編集部1dは、記憶手段14aに記憶した映像/音声情報を再生しながら、メタ情報を後から付加,生成することができる。
【0053】
また、上記のように資料がなくてもメタ情報を自動生成することもできる。この場合、メタ情報生成部1bは、指導内容の映像/音声情報に含まれる音声情報を音声認識してテキスト情報に変換し、そのテキスト情報及び当該音声が入力された時刻を取得する手段を備え、取得したテキスト情報及び音声入力時刻に基づいてメタ情報を自動生成することができる。
【0054】
本実施形態によれば、習熟を必要とする技術や能力等の指導において、利用した資料の書き込み箇所に対応付けて、指導内容の映像/音声情報を頭出し再生可能なコンテンツを作成できることに加えて、その映像/音声情報に対応するメタ情報を編集することができ、さらに、資料がない場合でも、映像/音声情報に対応するメタ情報を後から付加することができるため、より内容の充実したコンテンツを作成することができる。
【0055】
図4は、資料への書き込みから映像/音声情報の該当シーンを頭出し再生したコンテンツの一例を示す図で、図中、30はコンテンツ作成装置1により作成されたコンテンツで、該コンテンツ30は、資料(本例では楽譜)及びその楽譜上に書き込まれたメモ情報からなるイメージデータ31(以下、単に楽譜31という)、メモ情報に対応する映像/音声情報のシーン32,指摘事項(コメント)33,ID情報34を含む。尚、楽譜31は、続きページがある場合に、次ページ以降を切り替え表示させるためのスクロール機能を備えている。
【0056】
書き込みに対応する楽譜31上の矩形部分は、クリック可能な領域(以下、クリッカブルマップ)31a,31b,31cを示す。ここでは、クリッカブルマップ31a,31b,31cに対応するメタ情報から、例えば、指摘の重要度や、指摘された日時、あるいは見本なのか注意なのか、などによって各領域の色を変えて表示している。本例ではクリック可能な領域が3箇所あり、例えば、クリッカブルマップ31aの領域をクリックすると、書き込みに対応するシーン32が再生される。このような操作により、指摘内容や、指導者による模範演奏などを再現することができる。
【0057】
ここで、指摘事項33には、メタ情報編集部1dによって後から追加した指摘事項を表示するようにしてもよいし、メタ情報生成部1bによってメモ情報から文字認識あるいはストローク認識したテキストデータを指摘事項として表示させるようにしてもよく、あるいは、メタ情報生成部1bによって映像/音声情報に含まれる音声情報を音声認識したテキストデータを指摘事項として表示させるようにしてもよい。また、ID情報34は、指摘箇所のIDであって、本例の「03−02」の場合、前の「03」が指導回で、後の「02」が当該指導回の指摘箇所のIDを示す。
【0058】
図5は、指摘項目一覧から映像/音声情報の該当シーンを頭出し再生したコンテンツの一例を示す図で、図中、40はコンテンツ作成装置1により作成されたコンテンツで、該コンテンツ40は、指摘回数,指摘日,ID,指摘コメントなどの項目を含む指摘項目一覧(TODOリスト)41、指摘コメントに対応する映像/音声情報のシーン42,指摘事項(コメント)43,ID情報44を含む。尚、指摘項目一覧41は、続きページがある場合に、次ページ以降を切り替え表示させるためのスクロール機能を備えている。
【0059】
本例では、指摘項目一覧41の指摘コメントをクリックすると、前述の図4と同様に、対応する指摘箇所のシーン42が再生される。このように、資料を利用しない場合でも、メタ情報編集部1dにより編集される指摘項目一覧41から映像/音声情報の該当シーンを頭出し再生することができる。ここで、指摘項目一覧41に含まれる指摘回数の星印は、受講者又は指導者によって編集されたもので、指摘コメント毎に指摘された回数を、星印の数で表している。
【0060】
図6は、本発明が適用されるコンテンツ作成方法における映像/音声情報の取り込み処理の一例を説明するためのフロー図である。本例は、図3に示したコンテンツ作成装置1に基づいて説明するものとする。まず、リアルタイムキャプチャ部1aは、映像/音声情報取得手段2から指導内容の映像/音声情報を取り込んで(ステップS1)、取り込んだ映像/音声情報を記憶手段14aに記憶する(ステップS2)。
【0061】
図7は、本発明が適用されるコンテンツ作成方法におけるメタ情報の生成からコンテンツを作成するまでの処理の一例を説明するためのフロー図である。本発明のコンテンツ作成装置1は、指導時において資料がある場合、資料がない場合の両方に適用することができる。まず、資料の有無を判断し(ステップS11)、資料有りの場合(YESの場合)、資料に書き込まれたメモ情報を取得し(ステップS12)、そのメモ情報と対応する映像/音声情報とを関連付けるためのメタ情報を生成し(ステップS13)、生成したメタ情報を記憶手段14bに記憶する(ステップS14)。この場合、記憶したメタ情報と映像/音声情報をコンテンツ生成部1cに入力すると、指導終了後、すぐにコンテンツの自動作成が可能となる。
【0062】
一方、ステップS11において、資料無しの場合(NOの場合)、書き込む資料が存在しないため、指導終了後、メタ情報編集部1dを利用し、映像/音声情報を再生しながらメタ情報を付加,編集し(ステップS15)、そのメタ情報を記憶手段14bに記憶する(ステップS14)。この場合も記憶したメタ情報と映像/音声情報をコンテンツ生成部1cに入力すると、コンテンツを生成することができる。但し、資料がない場合、メタ情報編集のための手作業が必要となる。そこで、資料がなくてもコンテンツの自動作成を可能とするために、メタ情報生成部1bは、映像/音声情報中に含まれる音声情報(指摘内容)に対して音声認識を適用してテキスト(文字)情報に変換し、変換したテキスト情報及びその時刻情報を組にしたメタ情報を生成するようにしてもよい。このメタ情報及び対応する映像/音声情報をコンテンツ生成部1cに入力することで、コンテンツを自動生成することも可能である。
【0063】
ここで、資料有りのコンテンツに対しても、資料無しのコンテンツと同様に、指導終了後、メタ情報編集部1dを利用して、映像/音声情報を再生しながらメタ情報を修正、付加することで内容をより充実、かつ整理したコンテンツを再生成することができる。従って、コンテンツ作成装置1は、記憶手段14bに記憶されたメタ情報を編集するかどうかを判断し(ステップS16)、編集する場合(YESの場合)、ステップS15に戻りメタ情報の編集処理を行う。一方、上記ステップS16において、メタ情報を編集しない場合(NOの場合)、コンテンツ生成部1cは、メタ情報と映像/音声情報とからコンテンツを生成する(ステップS17)。また、コンテンツ生成後に、メタ情報を編集して作り直すようにしてもよい。
【0064】
尚、メタ情報として属性と情報を保存した場合、その属性ごとにコンテンツの見せ方を変えることができる。見せ方を変えて表示するため、コンテンツは、作りっぱなしではなく、ユーザの表示指定によってメタ情報からフィルタリングしなおして動的に作りなおすこともできる。
【0065】
図8は、メタ情報編集部1dによって表示されるユーザインタフェースの一例を示す図で、ユーザインタフェースは、メタ情報表示/編集画面50及び映像/音声情報再生画面60から構成されている。メタ情報表示/編集画面50は、Eventボタン51、メタ情報一覧52、Replaceボタン53、Skipボタン54、Deleteボタン55,図示しないPlayボタンなどを有し、映像/音声情報再生画面60は、映像再生画面61、早戻しボタン62、再生ボタン63、一時停止ボタン64、早送りボタン65、停止ボタン66、スキップボタン67a,67b、数字入力欄68、現在位置表示欄69などを有している。
【0066】
メタ情報表示/編集画面50は、メタ情報を記憶手段14bから読み込んで表示、編集し、記憶手段14bに保存することができる。Eventボタン51は、クリックされると、現在の再生位置(映像/音声情報の先頭からの時刻t)を獲得し、メタ情報一覧52に一行追加する。メタ情報一覧52は、テキスト部分を編集可能とし、縦列のCol_0にはID、Col_1には時刻tを設定(変更可)、Col_2には内容入力欄、Col_nには任意の属性欄(履歴の指摘から、参照リンク、修正済の有無など)を表示させ、1行選択し、Skipボタン54を押すと該当時刻に現在位置が移動する。Replaceボタン53を押すと現在位置を獲得し、選択されたメタ情報の時刻を修正(タイミング修正)する。Deleteボタン55を押すと選択されたメタ情報を削除する。
【0067】
映像/音声情報再生画面60において、再生ボタン63は現在位置から映像の再生を開始する。停止ボタン66は映像の再生停止を行う。一時停止ボタン64は映像の一時停止を行う。早戻しボタン62は映像の早戻しを行う。早送りボタン65は映像の早送りを行う。現在位置表示欄69はHH:MM:SS.MMMの形式で再生映像の現在位置を表示する。
【0068】
また、スキップボタン67a,67b、数字入力欄68は、映像/音声情報の仮決め位置から、時刻を微調整するためのI/Fであって、数字入力欄68は1〜10の整数(=S秒)を設定可能とする。スキップボタン67aが押されると現在位置+S秒にスキップし、スキップボタン67bが押されると現在位置−S秒にスキップする。
【0069】
図9は、資料への書き込みに基づいてレッスン記録を作成するための装置の構成例を示す図で、コンテンツ作成装置1は、DVカメラやマイクなどの映像/音声情報取得デバイス2、資料表示機能3a及びメモ情報取得機能3bを備えたメモ情報取得手段3と接続されている。本例のメモ情報取得手段3は、各種資料をスキャンしてイメージデータとして取り込めるタブレットや、資料が楽譜の場合には電子譜面台(例えば、特開2000−305559号公報を参照)などで構成され、スキャンして取り込んだ資料を画面に表示させ、その資料上にペン入力などで書き込まれたメモ情報をその書き込み時刻と共に取得する。
【0070】
図10は、資料への書き込みに基づいてレッスン記録を作成するための装置の他の構成例を示す図で、コンテンツ作成装置1は、DVカメラやマイクなどの映像/音声情報取得デバイス2、メモ情報取得機能を備えたメモ情報取得手段3と接続されている。本例のメモ情報取得手段3は、記入メモ情報取得デバイスで構成され、これは、前述したように、普通紙や専用用紙への書き込みをデジタルデータとして取り込める電子ペン(例えば、InkLink(登録商標)等)などのデバイスで、このようなデバイスを利用することにより、紙の資料に直接書き込むことができ、事前にスキャンして資料を取り込んでおく必要がなくなる。
【0071】
さらに、メモ情報取得手段3の別の実施形態として、資料表示機能と記入メモ取得機能を、例えば、Microsoft Word(登録商標)や、Excel(登録商標)などのソフトウェアと、その機能の1つであるコメント記録機能を利用して実現してもよい。市販のソフトウェアの機能を利用することで、記入メモ情報と記入時の時刻情報とを簡単に取得することができる。
【0072】
図11は、資料有りコンテンツのメタ情報をメタ情報編集部1dにより編集して得られるレッスン指摘リストの一例を示す図で、図中、70はレッスン指摘リストで、該レッスン指摘リスト70は、指摘回数,指摘日,ID,指摘コメントなどを含む問題箇所71、演奏を通しで行ったときの記録であるこの日の通し72、これまでの軌跡や,お手本集,前回以前のレッスン記録などを含むその他73から構成されている。このレッスン指摘リスト70及び図4のコンテンツ30により1つのコンテンツを構成する。本例は、前述した図4のコンテンツ30に示したように、楽器のレッスンを復習するためのコンテンツのメタ情報を、メタ情報編集部1dで編集して得られるリストの例について説明する。
【0073】
図11において、メタ情報編集部1dによりメタ情報を整理し、問題箇所71の指摘コメントと、資料(楽譜)と映像/音声情報とのマッピングを作成した。この問題箇所71の指摘コメントをクリックすると、該当する資料の場所あるいは映像/音声情報の場所が表示される。この際、資料(楽譜)上には詳細を記入せずに○印や下線などの印だけを記入し、あとは映像/音声情報中で実演説明するようにしてもよい。指摘コメント(詳細は図5を参照)では、過去の指摘事項と照合し、繰り返し指摘されているが、現在も改善されていないことを示す情報を重要度などとともに一覧表示させる。図中の星印は、累積指摘回数を示す。また、図4に示した例では資料のクリッカブルマップとして実現したが、資料の1箇所に対し、指摘シーンが複数存在する場合には、楽譜の一行ずつをイメージとし、その下に指摘項目を必要な数だけ表示して個々のシーンに対応付けてもよい。複数の指導回にまたがった表示を行う場合、個々のシーンは複数の映像/音声情報中に存在する。
【0074】
図12は、メタ情報生成部1b及びメタ情報編集部1dにより生成/編集して得られる資料無しコンテンツのメタ情報の一例を示す図である。図12(A)は、資料がないダンス指導の第N回の指導における指摘内容を映像/音声情報中の音声から音声認識したテキスト情報をその時刻とともに抽出したメタ情報の例を示す。
【0075】
図12(B)は、図12(A)に示すメタ情報をメタ情報編集部1dで編集した例を示す図である。ここでは、図12(A)のメタ情報に対して、さらに指導回及び修正状態などを追加している。また、02:30と05:13は後から思い出して追加している。また、履歴をチェックし、過去に指摘されたものは同じ情報にまとめた。
【0076】
図13は、資料有りコンテンツのメタ情報の一例を示す図である。本例では、学習塾での指導内容を自宅で確認するためのコンテンツ(資料有り)のメタ情報の例について示す。このメタ情報は、資料としては問題集あるいはプリントを用いて、生徒が教材となる問題を解き、先生によって添削された資料をもとに指導したときに、時刻,項目,添削で記入された内容を含むものとする。この添削で記入された内容(書き込み)に対応して、指導内容の映像/音声情報が再生される。
【0077】
尚、説明のために、図13では映像/音声情報の内容が言葉で記載されているが、実際にはこの言葉に対応する映像/音声情報が画面上で再生される。例えば、00:03に行った項目(問1)の場合、資料上には「答えだけでなく式も書く。」と記入されており、この書き込みに対応して、指導内容の映像/音声情報が再生されるが、この場合、先生は生徒(子供)に対して「式も書かないと、○はあげられないよ。式を書いてみて。」といい、これに応じて、子供が式を書き、途中で止まる、という動作をする。これを受けて、さらに、先生が説明を行うという一連の動作/音声が映像/音声情報として再生される。
【0078】
上記のように、生成されたコンテンツは指導終了後すぐ、Webサーバに個人ごとにアップロードされる。生徒の自宅において、例えば親がパスワードを入力し、自分の子供のコンテンツにアクセスする。そのコンテンツから子供の様子や指導者の様子を確認し、どこがわからないのか、あるいは教え方が悪いのかなど、を把握し、その後の指導と対策の参考にする。学習塾は、このようなコンテンツ配信サービスを月謝の範囲で行うようにしてもよい。
【0079】
図14は、資料有りコンテンツのメタ情報の他の例を示す図である。本例では、社内のプレゼンテーションの発表練習に利用するためのコンテンツ(資料有り)のメタ情報の例について示す。このメタ情報は、例えば、Microsoft Power Point(登録商標)などの資料に簡単なメモだけを記入し、あとは映像/音声情報中で指導したときに、資料上の指摘箇所,記入内容(簡単なメモ),見本/注意の属性などを含むものとする。この記入内容(書き込み)に対応して、指導内容の映像/音声情報が再生される。
【0080】
尚、説明のために、図13と同様に、映像/音声情報の内容が言葉で記載されているが、実際にはこの言葉に対応する映像/音声情報が画面上で再生される。例えば、指摘箇所が資料の最初、記入内容が声小、属性が注意の場合、資料上には「声小」と記入されており、この書き込みに対応して、指導内容の映像/音声情報が再生されるが、この場合、例えば、上司は部下に対して「小さくて聞こえないよ。もう一度やってみて。」といい、これに応じて、部下が実演し、これを受けて、さらに、上司が「もっと。」といい、これに応じて、部下が実演し、さらに、上司が「それぐらい。」という、という一連の動作/音声が映像/音声情報として再生される。
【0081】
本発明では、情報が多岐にわたるほど、すべての情報を一度に見せると、整理されずに見にくくなる。そこでユーザの指定により表示するデータを変えたり、表示色を変えたりするためのI/F(コンテンツ生成部1c)を備える。コンテンツはサーバ型の場合、ユーザ指定時に動的に生成してもよいが、コンテンツの蓄積メディア(CD/DVDなど)による配布の場合に備え、静的にすべて用意しておいてもよい。ユーザ指定では、例えば、指導回ごと、見本か注意か、現在修正されていない注意点などのそれぞれに対して表示色を変えたり、情報ごとに表示のON/OFFを指定するようにしてもよい。
【0082】
図15は、資料への書き込みから映像/音声情報の該当シーンを頭出し再生したコンテンツの他の例を示す図で、図中、80はコンテンツ作成装置1により作成されたコンテンツで、該コンテンツ80は、資料(本例では楽譜)及びその楽譜上に書き込まれたメモ情報からなるイメージデータ81(以下、単に楽譜81という)、メモ情報に対応する映像/音声情報のシーン82,指摘事項(コメント)83,ID情報84を含む。尚、楽譜81は、続きページがある場合、スクロールあるいはページ切り替えにより次ページに移行させることができる。また、書き込みに対応する楽譜81上の矩形部分は、クリッカブルマップ81a〜81pを示す。ここでは、クリッカブルマップ81a〜81pに対応するメタ情報から、例えば、指導回ごと、見本か注意か、現在修正されていない注意点、などによって各領域の色を変えて表示している。
【0083】
図16は、複数のコンテンツを組み合わせて総合的に利用するためのレッスン記録リストの表示例を示す図で、図中、90はレッスン記録と累積TODOリスト(以下、レッスン記録リスト)で、該レッスン記録リスト90は、先生のお手本集91,これまでの軌跡(通し)92,前回以前のレッスン記録とTODOリスト93を含む。本例では、1つのコンテンツだけでなく、組み合わせて総合的に利用するためのリストについて説明する。
【0084】
1つの教材に対して、複数回の指導が行われるのが普通である。一方、1回の指導で、複数の教材にわたって同じことを繰り返し指摘されることもある。そこで、生徒ごとにポータルページを作成し、教材ごとに指導回別にコンテンツ一覧表示ページを用意したり、指導回ごとに複数教材のコンテンツ一覧表示ページを用意したりする。これにより、例えば、下記のようなことが実現できる。
(1)指導1回ごとのコンテンツを記録の意味で残す。
・指摘項目と該当シーンの頭だし(図16に示す前回以前のレッスン記録とTODOリスト93に相当する)。
・注意と悪い例と見本とを確認
・見本と自分との比較
(2)指導1回で直ることも直らないこともある。それまでの累積で指摘として残っている項目を明示する。同じ指摘がどのくらいあるかを確認するため、以前の指摘とも重ねあわせて、プライオリティをつけて表示する。その日時点で重要なものをピックアップして表示する。これは、図16に示す前回以前のレッスン記録とTODOリスト93に相当する。
(3)教材ごとのお手本集を表示する。これは、図16に示す先生のお手本集91に相当する。
(4)今回の自分と、以前の自分との比較を表示する。これは、図16に示すこれまでの軌跡(通し)92に相当する。
【0085】
(第3の実施形態)
図17は、本発明のコンテンツ作成装置1を利用したコンテンツ提供システムの構成例を示す図で、図中、100はインターネット、101はコンテンツを登録したコンテンツサーバ装置、102は先生用PC(すなわちコンテンツ作成装置1)、102a及び102bは先生用PC102で作成されたコンテンツ、103は生徒用PC、104は生徒、105は先生、106はDVカメラを示す。先生用PC102は、DVカメラ106と接続可能とする。コンテンツサーバ装置101は、生徒用PC103とインターネット100を介して接続され、先生用PC102とネットワーク等を介して接続されている。尚、本実施形態では、楽器のレッスンや、学習塾の個人授業などで、生徒が指導内容を後から確認するためのコンテンツを提供するためのシステムについて説明する。
【0086】
先生用PC102(コンテンツ作成装置1)は、指導内容に関するコンテンツ102a及び102bをコンテンツサーバ装置101にアップロードして登録する。コンテンツサーバ装置101は、生徒用PC103からコンテンツ閲覧要求を受け付け、登録されているコンテンツから生徒用PC103を使用する生徒のコンテンツを選択し、選択したコンテンツを生徒用PC103に送信する。
【0087】
このように、先生側がコンテンツをアップロードしてサーバ装置に登録し(あるいはCDやDVDなどの記録媒体で配布してもよい)、生徒側はサーバ装置にアクセスすることで、コンテンツを閲覧することができるため、指導内容を後から確認することができるようになり、復習等に役立てることができる。
【0088】
以上、本発明のコンテンツ作成装置、システムにおける各機能を中心に各実施形態を説明してきたが、本発明は、コンテンツ作成装置における各ステップを実行する方法としても説明したようにコンテンツ作成方法としての形態もとることができる。また、この各機能を有するコンテンツ作成装置と同様に、コンピュータにコンテンツ作成装置として機能させるためのプログラムとしての形態も、また、そのプログラムを記録した記録媒体としての形態も可能である。
【0089】
本発明によるコンテンツ作成の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態について説明する。記録媒体としては、具体的には、CD−ROM(−R/−RW)、光磁気ディスク、DVD−ROM(−R/−RW/−RAM)、FD、HD、フラッシュメモリ、メモリカードや、メモリスティック及びその他各種ROMやRAM等が想定でき、これら記録媒体に上述した本発明の各実施形態の装置としての機能をコンピュータに実行させ、コンテンツ作成の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わるコンテンツ作成の機能を実行することができる。
【図面の簡単な説明】
【0090】
【図1】本発明に係わる情報処理装置の内部構成例を示すブロック図である。
【図2】本発明の一実施形態に係るコンテンツ作成装置の構成例を示すブロック図である。
【図3】本発明の他の実施形態に係るコンテンツ作成装置の構成例を示すブロック図である。
【図4】資料への書き込みから映像/音声情報の該当シーンを頭出し再生したコンテンツの一例を示す図である。
【図5】指摘項目一覧から映像/音声情報の該当シーンを頭出し再生したコンテンツの一例を示す図である。
【図6】本発明が適用されるコンテンツ作成方法における映像/音声情報の取り込み処理の一例を説明するためのフロー図である。
【図7】本発明が適用されるコンテンツ作成方法におけるメタ情報の生成からコンテンツを作成するまでの処理の一例を説明するためのフロー図である。
【図8】メタ情報編集部によって表示されるユーザインタフェースの一例を示す図である。
【図9】資料への書き込みに基づいてレッスン記録を作成するための装置の構成例を示す図である。
【図10】資料への書き込みに基づいてレッスン記録を作成するための装置の他の構成例を示す図である。
【図11】資料有りコンテンツのメタ情報をメタ情報編集部により編集して得られるレッスン指摘リストの一例を示す図である。
【図12】メタ情報生成部及びメタ情報編集部により生成/編集して得られる資料無しコンテンツのメタ情報の一例を示す図である。
【図13】資料有りコンテンツのメタ情報の一例を示す図である。
【図14】資料有りコンテンツのメタ情報の他の例を示す図である。
【図15】資料への書き込みから映像/音声情報の該当シーンを頭出し再生したコンテンツの他の例を示す図である。
【図16】複数のコンテンツを組み合わせて総合的に利用するためのレッスン記録リストの表示例を示す図である。
【図17】本発明のコンテンツ作成装置を利用したコンテンツ提供システムの構成例を示す図である。
【符号の説明】
【0091】
1…情報処理装置(コンテンツ作成装置)、1a…リアルタイムキャプチャ部、1b…メタ情報生成部、1c…コンテンツ生成部、1d…メタ情報編集部、2…映像/音声情報取得手段(映像/音声情報取得デバイス)、3…メモ情報取得手段(記入メモ情報取得デバイス)、11…CPU、12…RAM、13…ROM、14,14a,14b…記憶装置(記憶手段)、15…入力装置、16…表示装置、17…通信装置、18…出力装置、19…入出力I/F、20…システムバス、21…録音機、22…MD、23…ICレコーダ、24…DVDCAM、25…DVカメラ、30,40,80…コンテンツ、31,81…イメージデータ(楽譜)、31a,31b,31c,81a〜81p…クリッカブルマップ、32,42,82…シーン、33,43,83…指摘事項(コメント)、34,44,84…ID情報、41…指摘項目一覧(TODOリスト)、50…メタ情報表示/編集画面、51…Eventボタン、52…メタ情報一覧、53…Replaceボタン、54…Skipボタン、55…Deleteボタン、60…映像/音声情報再生画面、61…映像再生画面、62…早戻しボタン、63…再生ボタン、64…一時停止ボタン、65…早送りボタン、66…停止ボタン、67a,67b…スキップボタン、68…数字入力欄、69…現在位置表示欄、70…レッスン記録リスト、71…問題箇所、72…この日の通し、73…その他、90…レッスン記録と累積TODOリスト、91…先生のお手本集、92…これまでの軌跡(通し)、93…前回以前のレッスン記録とTODOリスト、100…インターネット、101…コンテンツサーバ装置、102…先生用PC(コンテンツ作成装置)、102a,102b…コンテンツ、103…生徒用PC、104…生徒、105…先生、106…DVカメラ。
【技術分野】
【0001】
本発明は、コンテンツ作成装置、方法、コンテンツ提供システム、プログラム、及び記録媒体、より詳細には、習熟を必要とする技術や能力等の指導内容を後で確認するためのコンテンツを作成する装置、方法、コンテンツ提供システム、プログラム、及び記録媒体に関する。
【背景技術】
【0002】
従来、楽器やダンスなどのレッスンの際に、ビデオや録音機器を持ち込み、試合や指導の様子を記録し、必要に応じて見直すことは行われている。一般的には1回全体を再生しなおした上で、どうしても必要なところがあれば、そこのタイムカウンタを頼りに何回か再生する。このとき以下のような問題がある。
【0003】
(1)必要な箇所を特定することが難しい。また特定したとして、タイムカウンタ等を用いてそこに移動するのに手間がかかる。
(2)テープメディアの場合、特定の場所を何度も見直したくても、必要な場所が離れていた場合に巻き戻しが面倒である。
このように、ビデオや音声の生情報のままでは、忘れてしまったことを思い出す目的で利用する程度にとどまっている。
【0004】
これに対して、例えば、特許文献1には、映像記録時にユーザの指定により任意のマークを併せて記録することで、頭出し再生を可能とし、編集作業の効率化を図るようにしたものが開示されている。これは、被写体を映像撮影装置により撮影すると共に、撮影者からのリモコン操作によるマーキング入力を受け付ける。マーキング入力がなされた位置に対応する画像に所定のマークを付けて、マークが付けられた映像を記録媒体に記録する。従って、マークが付けられた位置から再生して映像の編集を行うことが可能となり、撮影後所望のシーンの映像を容易に頭出し再生することができる。
【特許文献1】特開2003−153191号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
ここで、楽器演奏の実技や、勉強、仕事などにおいて個人指導を受けた後、その内容を確認したいことがよくある。例えば、口頭や、実演(模範演奏、演技など)で指導された内容を確認し、指摘事項や見本を見直すことで、自分の技術や能力の改善や上達につなげることができる。一方、個人指導に利用した資料に注意箇所を示すマークや、改善点のコメントが書き込まれていても(これは、指導者が書き込む場合、受講者がメモする場合の両方ある)、その資料にすべての指導内容が記載されているわけではない。そこで、資料の書き込み箇所と対応付けて、音や所作事、動きなど、マルチメディア情報(映像/音声情報など)でなければ表現できないものも含めて、指導内容を再度確認し、これによって、その場ではなんとなく聞き逃してしまったことも漏らさずに確認できるようにしたいという要望がある。
【0006】
例えば、楽器演奏等の実技の場合には、復習として前回なされた指摘事項が改善したかどうかを確認できるようにしたいし、あるいは、子供の教育の場合には親、会社等の仕事の場合には管理者などが指導現場に同席しなかった場合、その指導内容の確認をできるようにしたい。
【0007】
これに対して、上述の特許文献1に記載の発明では、映像記録時にユーザの指定により任意のマークを併せて記録することで、頭出し再生を可能としているが、指導時に利用した資料の書き込み箇所に対応付けて、指導内容の映像/音声情報を頭出し再生する機能は備えていないため、上記のような課題を解決することはできない。
【0008】
本発明は、上述のごとき実情に鑑みてなされたものであり、習熟を必要とする技術や能力等の指導において、利用した資料の書き込み箇所に対応付けて、指導内容の映像/音声情報を頭出し再生可能なコンテンツを作成すること、を目的としてなされたものである。
【課題を解決するための手段】
【0009】
上記課題を解決するために、請求項1の発明は、習熟を必要とする技術や能力等の指導内容を後から確認するためのコンテンツを作成するコンテンツ作成装置において、前記指導内容を撮影してその映像/音声情報を取得する映像/音声情報取得手段と、前記指導に利用した資料への書き込み情報を取得する書き込み情報取得手段と接続可能とし、前記映像/音声情報取得手段から前記指導内容の映像/音声情報を取り込む映像/音声情報取込手段と、前記資料に書き込まれたタイミングで前記書き込み情報取得手段から前記資料への書き込み時刻及び書き込みドット位置を取得し、該書き込み時刻及び書き込みドット位置から前記資料の書き込み単位毎にメタ情報を生成するメタ情報生成手段と、前記映像/音声情報及びメタ情報を記憶する記憶手段と、該記憶した映像/音声情報及びメタ情報に基づいて前記資料の書き込み単位とその書き込み時刻に対応する映像/音声情報とを関連付けして前記コンテンツを生成するコンテンツ生成手段とを備えていることを特徴とする。
【0010】
請求項2の発明は、請求項1の発明において、前記メタ情報生成手段は、前記書き込み時刻の間隔と前記書き込みドット位置から前記書き込み単位のビットマップデータを生成し、該生成したビットマップデータ及び前記書き込み時刻から前記メタ情報を生成することを特徴とする。
【0011】
請求項3の発明は、請求項2の発明において、前記メタ情報は、指導回数,指導回毎の書き込みID,書き込み時刻,ビットマップデータを少なくとも含むことを特徴とする。
【0012】
請求項4の発明は、請求項2の発明において、前記メタ情報生成手段は、前記書き込み単位のビットマップデータを文字あるいは画像として認識する手段を備え、該認識した結果から前記書き込み単位を分類し、その分類情報を前記メタ情報に追加することを特徴とする。
【0013】
請求項5の発明は、請求項4の発明において、前記メタ情報生成手段は、前記書き込み単位のビットマップデータを文字として認識した場合、該認識した文字をテキストデータとして取得できるようにしたことを特徴とする。
【0014】
請求項6の発明は、請求項1又は2の発明において、前記コンテンツ生成手段は、前記記憶手段に記憶したメタ情報に基づいて、前記書き込み単位に対応したクリック可能な領域を作成し、該作成した領域と、その領域の書き込み時刻に対応する映像/音声情報とを関連付けすることを特徴とする。
【0015】
請求項7の発明は、請求項6の発明において、前記コンテンツ生成手段は、前記クリック可能な領域を、前記資料のビットマップデータに重ね合わせることを特徴とする。
【0016】
請求項8の発明は、請求項6の発明において、前記コンテンツ生成手段は、前記クリック可能な領域の色あるいは形状を、前記メタ情報に含まれる属性毎に異ならせることを特徴とする。
【0017】
請求項9の発明は、請求項1乃至8のいずれか1の発明において、前記記憶手段に記憶したメタ情報を編集するためのメタ情報編集手段を備え、該メタ情報編集手段は、前記記憶手段に記憶したメタ情報を読み込んで、該読み込んだメタ情報を表示し、そのメタ情報に対応する映像/音声情報を再生しながら、前記メタ情報を編集できるようにしたことを特徴とする。
【0018】
請求項10の発明は、請求項9の発明において、前記指導時に資料を利用しない場合、前記メタ情報編集手段は、前記記憶手段に記憶した映像/音声情報を再生しながら、メタ情報を後から付加できるようにしたことを特徴とする。
【0019】
請求項11の発明は、請求項9の発明において、前記指導時に資料を利用しない場合、前記メタ情報生成手段は、前記指導内容の映像/音声情報に含まれる音声情報を音声認識してテキストデータに変換し、該テキストデータ及び当該音声が入力された時刻を取得する手段を備え、該取得したテキストデータ及び音声入力時刻に基づいてメタ情報を生成することを特徴とする。
【0020】
請求項12の発明は、習熟を必要とする技術や能力等の指導内容を後から確認するためのコンテンツを作成するコンテンツ作成装置を用いたコンテンツ作成方法において、該コンテンツ作成装置は、前記指導内容を撮影してその映像/音声情報を取得する映像/音声情報取得手段と、前記指導に利用した資料への書き込み情報を取得する書き込み情報取得手段と接続され、前記映像/音声情報取得手段から前記指導内容の映像/音声情報を取り込む映像/音声情報取込ステップと、前記資料に書き込まれたタイミングで前記書き込み情報取得手段から前記資料への書き込み時刻及び書き込みドット位置を取得し、該書き込み時刻及び書き込みドット位置から前記資料の書き込み単位毎にメタ情報を生成するメタ情報生成ステップと、前記映像/音声情報及びメタ情報を前記コンテンツ作成装置が備える記憶手段に記憶する記憶ステップと、該記憶した映像/音声情報及びメタ情報に基づいて前記資料の書き込み単位とその書き込み時刻に対応する映像/音声情報とを関連付けして前記コンテンツを生成するコンテンツ生成ステップとを有することを特徴とする。
【0021】
請求項13の発明は、請求項12の発明において、前記メタ情報生成ステップは、前記書き込み時刻の間隔と前記書き込みドット位置から前記書き込み単位のビットマップデータを生成し、該生成したビットマップデータ及び前記書き込み時刻から前記メタ情報を生成することを特徴とする。
【0022】
請求項14の発明は、請求項12又は請求項13の発明において、前記コンテンツ生成ステップは、前記記憶手段に記憶したメタ情報に基づいて、前記書き込み単位に対応したクリック可能な領域を作成し、該作成した領域と、その領域の書き込み時刻に対応する映像/音声情報とを関連付けすることを特徴とする。
【0023】
請求項15の発明は、請求項12乃至請求項14のいずれか1の発明において、前記記憶手段に記憶したメタ情報を編集するメタ情報編集ステップを有し、該メタ情報編集ステップは、前記記憶手段に記憶したメタ情報を読み込んで、該読み込んだメタ情報を表示し、そのメタ情報に対応する映像/音声情報を再生しながら、前記メタ情報を編集できるようにしたことを特徴とする。
【0024】
請求項16の発明は、請求項15の発明において、前記指導時に資料を利用しない場合、前記メタ情報編集ステップは、前記記憶手段に記憶した映像/音声情報を再生しながら、メタ情報を後から付加できるようにしたことを特徴とする。
【0025】
請求項17の発明は、請求項1乃至請求項11のいずれか1の発明により作成されたコンテンツを登録したサーバ装置と、指導を受ける受講者側が使用する端末装置とを有し、前記サーバ装置と前記端末装置とがネットワークを介して接続されたコンテンツ提供システムにおいて、前記サーバ装置は、前記端末装置からコンテンツ閲覧要求を受け付け、前記登録されているコンテンツから前記端末装置を使用する受講者のコンテンツを選択し、該選択したコンテンツを前記端末装置に送信することを特徴とする。
【0026】
請求項18の発明は、請求項1乃至請求項11のいずれか1に記載のコンテンツ作成装置としての機能を実行するためのプログラムである。
【0027】
請求項19の発明は、請求項18に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0028】
本発明は、習熟を必要とする技術や能力等の指導、教育であって、指導者のチェックを受けてそれを改善させるようなプロセスをともなうもの全般に適用できる。例えば、楽器やダンスなどの実技指導の他に、オフィスにおいてはプレゼンテーションの発表練習とそのレビュー、文書作成とそのチェック、プログラムのコーディングとそのレビュー、組み立て工程の練習などが考えられる。
【0029】
また、本発明では、一回の指導を最大限に利用するため、従来の方法で記録している映像/音声情報を効果的に役立てるようにする。すなわち、資料にインデックス(クリッカブルマップなど)を設けて、これらの映像/音声情報を利用しやすくしたコンテンツを生成するための装置を提供する。本発明のコンテンツ作成装置は、指導と習得という目的を妨げずに目的を達するため、デフォルトでは指導者と受講者の双方に負担をかけないような構成としている。さらには、多少の手間をかけることで、より充実したコンテンツを作成可能な構成とすることもできる。
【発明の効果】
【0030】
習熟を必要とする技術や能力等の指導において、利用した資料の書き込み箇所に対応付けて、指導内容の映像/音声情報を頭出し再生可能なコンテンツを作成することができるため、指導者と受講者の双方に負担をかけることがなく、受講者は指導内容を確認し、指導者の指摘事項や見本を見直すことで、効果的に技術や能力等の改善や上達につなげることができる。
【発明を実施するための最良の形態】
【0031】
以下の実施形態を説明するための全図において、同様の機能を有する部分には、同じ符号を付け、その繰り返しの説明は省略するものとする。
【0032】
図1は、本発明に係わる情報処理装置の内部構成例を示すブロック図で、図中、1は情報処理装置で、該情報処理装置1は、CPU11,RAM12,ROM13,HDD等の記憶装置14,入力装置15,表示装置16,通信装置17,出力装置18,入出力インタフェース(入出力I/F)19,システムバス20を備えた汎用コンピュータであって、後述する本発明のコンテンツ作成装置は、情報処理装置1に基づいて構成され、この情報処理装置1をコンテンツ作成装置として機能させるためのプログラム及びデータは、ROM13又は記憶装置14に格納され、実行時にCPU11がRAM12に読み出すことにより実行される。
【0033】
情報処理装置1は、通信装置17により公衆回線や,LAN,WAN,インターネットなどのネットワークに接続可能とし、出力装置18によりプリンタなどの外部機器にデータ出力を行うことができる。また、入出力I/F19は、各種の外部デバイスと接続するためのインタフェース手段である。また、処理の途中経過や処理結果は、CRT,LCD等の表示装置16を通じて操作者等に提示され、各処理において、操作者は、キーボード,マウス(ポインティングデバイス)等の入力装置15から必要なパラメータ等を入力指定する。これらCPU11,RAM12,ROM13,記憶装置(記憶手段)14,入力装置15,表示装置16,通信装置17,出力装置18,入出力I/F19はシステムバス20を介して相互に接続されている。尚、以下の各実施形態において、情報処理装置1をコンテンツ作成装置1として説明するものとする。
【0034】
本発明のコンテンツ作成装置1で作成されるコンテンツには、以下の(A),(B)の2種類がある。
(A)資料あるいはテキストを利用する場合、例えば、演奏楽譜,作成文書,工程説明書,プレゼンテーション資料などの書き込み箇所をクリックすると、そこからのリンクで映像/音声情報における必要な場所が特定され、その場所の映像/音声情報が再生される。
(B)資料あるいはテキストのない実技(講演、ダンス、体操など)の場合、別途作成するレッスン記録リスト上の所定箇所をクリックすると、そこからのリンクで映像/音声情報における必要な場所が特定され、その場所の映像/音声情報が再生される。ここで、映像/音声情報とは、映像,音声のいずれか又は両方の情報を含む所謂マルチメディア情報のことをいう。
【0035】
(第1の実施形態)
図2は、本発明の一実施形態に係るコンテンツ作成装置1の構成例を示すブロック図で、コンテンツ作成装置1は、指導内容を撮影してその映像/音声情報を取得する映像/音声情報取得手段2、指導に利用した資料への書き込み情報(以下、メモ情報という)を取得するメモ情報取得手段3と接続されている。また、コンテンツ作成装置1は、リアルタイムキャプチャ部1a,メタ情報生成部1b,コンテンツ生成部1cを備え、これらのリアルタイムキャプチャ部1a,メタ情報生成部1b,コンテンツ生成部1cはコンテンツ作成プログラムとして記憶手段14に記憶され、実行時にCPU11がRAM12に読み出すことにより実行される。また、記憶手段14(本例では記憶手段14a,14b)は、映像/音声情報,メタ情報を記憶する。尚、この記憶手段14a、14bはそれぞれ異なる記憶媒体としてもよく、あるいは記憶手段14の異なる記憶領域を利用してもよい。
【0036】
映像/音声情報取得手段2は、例えば、録音機21,MD(ミニディスク)22,ICレコーダ23,DVDCAM(DVDビデオカメラ)24,DVカメラ(デジタルビデオカメラ)25などの映像/音声情報を取得可能なデバイスであって、入出力I/F19を介してコンテンツ作成装置1と接続される。また、メモ情報取得手段3としては、例えば、ペン入力可能なタブレットや、特開2000−305559号公報などに記載されている電子譜面台、あるいは、普通紙や専用用紙への書き込みをデジタルデータとして取り込める電子ペン(例えば、Seiko Instruments USA Inc製のInkLink(登録商標)等)などの各種デバイスを利用することができる。
【0037】
リアルタイムキャプチャ部1aは、映像/音声情報取得手段2から、指導内容の映像/音声情報をリアルタイムで取り込む(キャプチャする)手段であって、取り込んだ映像/音声情報を記憶手段14aに直接書き込んで記憶する。
【0038】
メタ情報生成部1bは、資料に書き込まれたタイミングで、メモ情報取得手段2から、上記資料への書き込み時刻及び書き込みドット位置を取得し、その書き込み時刻及び書き込みドット位置から上記資料の書き込み単位毎にメタ情報を生成する。以下、メタ情報生成部1bにおける処理について詳細に説明する。
【0039】
メタ情報生成部1bは、資料への書き込みのタイミングで、当該資料に書き込まれた時刻,書き込み座標位置及びドット、をメモ情報取得手段2(デバイス)から取得する。取得した書き込み時刻の間隔と、書き込みドット位置から、そのときの書き込み単位のビットマップデータを生成する。さらに、書き込み時刻とビットマップデータから、書き込み単位毎のメタ情報を生成する。このメタ情報は、例えば、指導回数,指導回毎のID,書き込み時刻,ビットマップデータなどからなるデータ列で構成された映像/音声情報の属性(関連)情報のことをいう。
【0040】
メタ情報生成部1bは、上記ビットマップデータから、それが○などの注意マークなのか、文字コメントなのか、図なのかなどを認識する手段を備えていてもよい。この場合、認識結果に基づいて書き込み単位を分類し、その分類情報をメタ情報に加えてもよい。例えば、○として認識した場合には、注意の属性を付加し、□として認識した場合には、見本の属性を付加しておく。これによって、各書き込み単位を資料上で表示する際に、その属性(本例では注意/見本)に応じて表示(色を変えるなど)することができる。また、文字コメントとして認識した場合、ストローク認識と文字認識により、テキスト情報を取得してもよい。このメタ情報は、履歴として指導回ごとにデータベース(記憶手段14b)に記憶される。
【0041】
コンテンツ生成部1cは、記憶手段14a、14bにそれぞれ記憶した映像/音声情報及びメタ情報に基づいて、資料の書き込み単位と、その書き込み時刻に対応する映像/音声情報とを関連付けしてコンテンツを生成する。以下、コンテンツ生成部1cにおける処理について詳細に説明する。
【0042】
コンテンツ生成部1cは、上記メタ情報に基づいて、各書き込み単位のビットマップデータに対応するクリッカブルマップを作成し、必要に応じて資料(楽譜など)のビットマップデータを重ね合わせて、HTMLファイルあるいはFlashなどのWebコンテンツを生成する。具体的には、ある書き込み単位の領域を示す形を描き、クリッカブルマップを作成し、そこから対応する映像/音声情報の時刻イベントへリンクを貼る。この際、時刻イベントは映像/音声情報に埋め込まれる。
【0043】
以上により、指導終了後、1教材のその日の指導に関するコンテンツをすぐに自動生成することができ、受講者はこれを復習に利用できる。生成されたコンテンツでは、例えば、指導者等からの指摘事項一覧や、資料上に書き込まれた指摘個所から実際の指摘シーン(複数)への頭出し再生などが可能となる。
【0044】
さらに、HTML作成時は、その指導回のメタ情報を全部使ってもよいし、メタ情報中から属性ごとにフィルタリングしてもよい。この場合、属性ごとに書き込み単位を示す領域(クリッカブルマップなど)の色や、その領域の枠の色、あるいは形状などを変えて表示するようにしてもよい。また、書き込みに使用するペンの色を属性(注意/見本など)に応じて変更し、そのペンの色を認識することにより、属性ごとに書き込み単位を示す領域の色や、その領域の枠の色、あるいは形状などを変えて表示するようにしてもよい。また、属性ごとにレイヤに分けたイメージをつくり、ユーザ(受講者又は指導者)が指定した属性を重ねて表示するようにしてもよい。これにより、受講者は、例えば、当該シーンが注意なのか、見本なのか、などを容易に区別できるため、効果的に復習に役立てることができる。
【0045】
また、1つの教材に対しては複数回指導が行われることが多い。1教材1指導回ごとにメタ情報と映像/音声情報をデータベース(記憶手段14)に蓄積しておき、後述するメタ情報編集部を利用することで、複数回の履歴を参照し、複数の指導にまたがったコンテンツとして、例えば、履歴として残された複数回の指導で蓄積された指摘のうち、未改善指摘項目一覧や、ある書き込み単位ごとの改善(上達)の履歴表示などの表示も可能となる。
【0046】
また、紙資料の場合、指導が重なるほど資料上の情報が混在して重なりあってしまう。上記のごときコンテンツを利用することにより、当該コンテンツの資料を、電子的に情報を整理した上で印刷して利用できるため、受講者は、そのとき注意すべき情報だけが参照でき、効率的に学習が進められるという利点もある。
【0047】
本実施形態によれば、習熟を必要とする技術や能力等の指導において、利用した資料の書き込み箇所に対応付けて、指導内容の映像/音声情報を頭出し再生可能なコンテンツを作成することができるため、指導者と受講者の双方に負担をかけることがなく、受講者は指導内容を確認し、指導者の指摘事項や見本を見直すことで、効果的に技術や能力等の改善や上達につなげることができる。
【0048】
(第2の実施形態)
図3は、本発明の他の実施形態に係るコンテンツ作成装置1の構成例を示すブロック図で、コンテンツ作成装置1は、映像/音声情報取得手段2、メモ情報取得手段3と接続されている。また、コンテンツ作成装置1は、リアルタイムキャプチャ部1a,メタ情報生成部1b,コンテンツ生成部1cに加えて、さらにメタ情報編集部1dを備え、これらのリアルタイムキャプチャ部1a,メタ情報生成部1b,コンテンツ生成部1c,及びメタ情報編集部1dはコンテンツ作成プログラムとして記憶手段14に記憶され、実行時にCPU11がRAM12に読み出すことにより実行される。また、第1の実施形態と同様に、記憶手段14(本例では記憶手段14a,14b)は、映像/音声情報,メタ情報を記憶する。尚、この記憶手段14a、14bはそれぞれ異なる記憶媒体としてもよく、あるいは記憶手段14の異なる記憶領域を利用してもよい。
【0049】
メタ情報編集部1dは、記憶手段14bに記憶したメタ情報を編集,付加するための手段であって、指導時に資料を利用している場合、記憶手段14bに記憶したメタ情報を読み込んで、読み込んだメタ情報を表示し、そのメタ情報に対応する映像/音声情報を再生しながら、メタ情報を編集できるようにしたものである。
【0050】
前述の第1の実施形態に示したコンテンツ作成装置1では、資料への書き込みに対応して、コンテンツの自動作成を行うことができた。しかしながら、資料に書き込むための手間、書き込む余白領域の問題などにより、書き込みから自動生成するメタ情報だけでは、以下の制限がある。
・すべての指摘事項が書き込まれるわけではない。
・指摘事項を書き込むタイミングと、実際に指摘されている時刻がずれる場合がある。
・指摘事項の詳細内容まで書き込めない(書き込めるのはメモ程度)。
【0051】
そこで、本実施形態ではメタ情報編集部1dを利用し、メタ情報の内容を修正し、より充実かつ正確にすることで、より有効なコンテンツを作成できるようにしている。メタ情報編集部1dでは、自動生成したメタ情報があればそれを読み込み、各メタ情報と、映像/音声情報の対応部分を再生しながら、次のようにメタ情報を編集する。
・指導時に資料に書き込まれなかった指摘事項を新たに追加する。
・メタ情報のタイミングと、実際に指摘されている時刻がずれていればそれを修正する。
・指摘事項の詳細内容を追加する。
・属性を付加したり整理したりする。例えば、重複する指摘事項をまとめる。あるいは、データベース(記憶手段14)に履歴として保存されているメタ情報から、以前指摘された項目を確認し、修正されたかどうかと、今回の指摘と重複した内容であれば、ひとつにまとめて内容を追加する。そのとき指摘回数は属性として管理する。
・映像の頭出し位置を微調整する。これは、頭出しとして正確な場所を決めるよりも、だいたい該当する部分を仮決めし、その後、必要に応じて、およそ3〜5秒単位で微調整する。
【0052】
また、例えば、講演や、ダンス、体操などのように、資料を利用しない実技等の指導の場合には、資料への書き込みからメタ情報を自動生成することができない。この場合、メタ情報編集部1dは、記憶手段14aに記憶した映像/音声情報を再生しながら、メタ情報を後から付加,生成することができる。
【0053】
また、上記のように資料がなくてもメタ情報を自動生成することもできる。この場合、メタ情報生成部1bは、指導内容の映像/音声情報に含まれる音声情報を音声認識してテキスト情報に変換し、そのテキスト情報及び当該音声が入力された時刻を取得する手段を備え、取得したテキスト情報及び音声入力時刻に基づいてメタ情報を自動生成することができる。
【0054】
本実施形態によれば、習熟を必要とする技術や能力等の指導において、利用した資料の書き込み箇所に対応付けて、指導内容の映像/音声情報を頭出し再生可能なコンテンツを作成できることに加えて、その映像/音声情報に対応するメタ情報を編集することができ、さらに、資料がない場合でも、映像/音声情報に対応するメタ情報を後から付加することができるため、より内容の充実したコンテンツを作成することができる。
【0055】
図4は、資料への書き込みから映像/音声情報の該当シーンを頭出し再生したコンテンツの一例を示す図で、図中、30はコンテンツ作成装置1により作成されたコンテンツで、該コンテンツ30は、資料(本例では楽譜)及びその楽譜上に書き込まれたメモ情報からなるイメージデータ31(以下、単に楽譜31という)、メモ情報に対応する映像/音声情報のシーン32,指摘事項(コメント)33,ID情報34を含む。尚、楽譜31は、続きページがある場合に、次ページ以降を切り替え表示させるためのスクロール機能を備えている。
【0056】
書き込みに対応する楽譜31上の矩形部分は、クリック可能な領域(以下、クリッカブルマップ)31a,31b,31cを示す。ここでは、クリッカブルマップ31a,31b,31cに対応するメタ情報から、例えば、指摘の重要度や、指摘された日時、あるいは見本なのか注意なのか、などによって各領域の色を変えて表示している。本例ではクリック可能な領域が3箇所あり、例えば、クリッカブルマップ31aの領域をクリックすると、書き込みに対応するシーン32が再生される。このような操作により、指摘内容や、指導者による模範演奏などを再現することができる。
【0057】
ここで、指摘事項33には、メタ情報編集部1dによって後から追加した指摘事項を表示するようにしてもよいし、メタ情報生成部1bによってメモ情報から文字認識あるいはストローク認識したテキストデータを指摘事項として表示させるようにしてもよく、あるいは、メタ情報生成部1bによって映像/音声情報に含まれる音声情報を音声認識したテキストデータを指摘事項として表示させるようにしてもよい。また、ID情報34は、指摘箇所のIDであって、本例の「03−02」の場合、前の「03」が指導回で、後の「02」が当該指導回の指摘箇所のIDを示す。
【0058】
図5は、指摘項目一覧から映像/音声情報の該当シーンを頭出し再生したコンテンツの一例を示す図で、図中、40はコンテンツ作成装置1により作成されたコンテンツで、該コンテンツ40は、指摘回数,指摘日,ID,指摘コメントなどの項目を含む指摘項目一覧(TODOリスト)41、指摘コメントに対応する映像/音声情報のシーン42,指摘事項(コメント)43,ID情報44を含む。尚、指摘項目一覧41は、続きページがある場合に、次ページ以降を切り替え表示させるためのスクロール機能を備えている。
【0059】
本例では、指摘項目一覧41の指摘コメントをクリックすると、前述の図4と同様に、対応する指摘箇所のシーン42が再生される。このように、資料を利用しない場合でも、メタ情報編集部1dにより編集される指摘項目一覧41から映像/音声情報の該当シーンを頭出し再生することができる。ここで、指摘項目一覧41に含まれる指摘回数の星印は、受講者又は指導者によって編集されたもので、指摘コメント毎に指摘された回数を、星印の数で表している。
【0060】
図6は、本発明が適用されるコンテンツ作成方法における映像/音声情報の取り込み処理の一例を説明するためのフロー図である。本例は、図3に示したコンテンツ作成装置1に基づいて説明するものとする。まず、リアルタイムキャプチャ部1aは、映像/音声情報取得手段2から指導内容の映像/音声情報を取り込んで(ステップS1)、取り込んだ映像/音声情報を記憶手段14aに記憶する(ステップS2)。
【0061】
図7は、本発明が適用されるコンテンツ作成方法におけるメタ情報の生成からコンテンツを作成するまでの処理の一例を説明するためのフロー図である。本発明のコンテンツ作成装置1は、指導時において資料がある場合、資料がない場合の両方に適用することができる。まず、資料の有無を判断し(ステップS11)、資料有りの場合(YESの場合)、資料に書き込まれたメモ情報を取得し(ステップS12)、そのメモ情報と対応する映像/音声情報とを関連付けるためのメタ情報を生成し(ステップS13)、生成したメタ情報を記憶手段14bに記憶する(ステップS14)。この場合、記憶したメタ情報と映像/音声情報をコンテンツ生成部1cに入力すると、指導終了後、すぐにコンテンツの自動作成が可能となる。
【0062】
一方、ステップS11において、資料無しの場合(NOの場合)、書き込む資料が存在しないため、指導終了後、メタ情報編集部1dを利用し、映像/音声情報を再生しながらメタ情報を付加,編集し(ステップS15)、そのメタ情報を記憶手段14bに記憶する(ステップS14)。この場合も記憶したメタ情報と映像/音声情報をコンテンツ生成部1cに入力すると、コンテンツを生成することができる。但し、資料がない場合、メタ情報編集のための手作業が必要となる。そこで、資料がなくてもコンテンツの自動作成を可能とするために、メタ情報生成部1bは、映像/音声情報中に含まれる音声情報(指摘内容)に対して音声認識を適用してテキスト(文字)情報に変換し、変換したテキスト情報及びその時刻情報を組にしたメタ情報を生成するようにしてもよい。このメタ情報及び対応する映像/音声情報をコンテンツ生成部1cに入力することで、コンテンツを自動生成することも可能である。
【0063】
ここで、資料有りのコンテンツに対しても、資料無しのコンテンツと同様に、指導終了後、メタ情報編集部1dを利用して、映像/音声情報を再生しながらメタ情報を修正、付加することで内容をより充実、かつ整理したコンテンツを再生成することができる。従って、コンテンツ作成装置1は、記憶手段14bに記憶されたメタ情報を編集するかどうかを判断し(ステップS16)、編集する場合(YESの場合)、ステップS15に戻りメタ情報の編集処理を行う。一方、上記ステップS16において、メタ情報を編集しない場合(NOの場合)、コンテンツ生成部1cは、メタ情報と映像/音声情報とからコンテンツを生成する(ステップS17)。また、コンテンツ生成後に、メタ情報を編集して作り直すようにしてもよい。
【0064】
尚、メタ情報として属性と情報を保存した場合、その属性ごとにコンテンツの見せ方を変えることができる。見せ方を変えて表示するため、コンテンツは、作りっぱなしではなく、ユーザの表示指定によってメタ情報からフィルタリングしなおして動的に作りなおすこともできる。
【0065】
図8は、メタ情報編集部1dによって表示されるユーザインタフェースの一例を示す図で、ユーザインタフェースは、メタ情報表示/編集画面50及び映像/音声情報再生画面60から構成されている。メタ情報表示/編集画面50は、Eventボタン51、メタ情報一覧52、Replaceボタン53、Skipボタン54、Deleteボタン55,図示しないPlayボタンなどを有し、映像/音声情報再生画面60は、映像再生画面61、早戻しボタン62、再生ボタン63、一時停止ボタン64、早送りボタン65、停止ボタン66、スキップボタン67a,67b、数字入力欄68、現在位置表示欄69などを有している。
【0066】
メタ情報表示/編集画面50は、メタ情報を記憶手段14bから読み込んで表示、編集し、記憶手段14bに保存することができる。Eventボタン51は、クリックされると、現在の再生位置(映像/音声情報の先頭からの時刻t)を獲得し、メタ情報一覧52に一行追加する。メタ情報一覧52は、テキスト部分を編集可能とし、縦列のCol_0にはID、Col_1には時刻tを設定(変更可)、Col_2には内容入力欄、Col_nには任意の属性欄(履歴の指摘から、参照リンク、修正済の有無など)を表示させ、1行選択し、Skipボタン54を押すと該当時刻に現在位置が移動する。Replaceボタン53を押すと現在位置を獲得し、選択されたメタ情報の時刻を修正(タイミング修正)する。Deleteボタン55を押すと選択されたメタ情報を削除する。
【0067】
映像/音声情報再生画面60において、再生ボタン63は現在位置から映像の再生を開始する。停止ボタン66は映像の再生停止を行う。一時停止ボタン64は映像の一時停止を行う。早戻しボタン62は映像の早戻しを行う。早送りボタン65は映像の早送りを行う。現在位置表示欄69はHH:MM:SS.MMMの形式で再生映像の現在位置を表示する。
【0068】
また、スキップボタン67a,67b、数字入力欄68は、映像/音声情報の仮決め位置から、時刻を微調整するためのI/Fであって、数字入力欄68は1〜10の整数(=S秒)を設定可能とする。スキップボタン67aが押されると現在位置+S秒にスキップし、スキップボタン67bが押されると現在位置−S秒にスキップする。
【0069】
図9は、資料への書き込みに基づいてレッスン記録を作成するための装置の構成例を示す図で、コンテンツ作成装置1は、DVカメラやマイクなどの映像/音声情報取得デバイス2、資料表示機能3a及びメモ情報取得機能3bを備えたメモ情報取得手段3と接続されている。本例のメモ情報取得手段3は、各種資料をスキャンしてイメージデータとして取り込めるタブレットや、資料が楽譜の場合には電子譜面台(例えば、特開2000−305559号公報を参照)などで構成され、スキャンして取り込んだ資料を画面に表示させ、その資料上にペン入力などで書き込まれたメモ情報をその書き込み時刻と共に取得する。
【0070】
図10は、資料への書き込みに基づいてレッスン記録を作成するための装置の他の構成例を示す図で、コンテンツ作成装置1は、DVカメラやマイクなどの映像/音声情報取得デバイス2、メモ情報取得機能を備えたメモ情報取得手段3と接続されている。本例のメモ情報取得手段3は、記入メモ情報取得デバイスで構成され、これは、前述したように、普通紙や専用用紙への書き込みをデジタルデータとして取り込める電子ペン(例えば、InkLink(登録商標)等)などのデバイスで、このようなデバイスを利用することにより、紙の資料に直接書き込むことができ、事前にスキャンして資料を取り込んでおく必要がなくなる。
【0071】
さらに、メモ情報取得手段3の別の実施形態として、資料表示機能と記入メモ取得機能を、例えば、Microsoft Word(登録商標)や、Excel(登録商標)などのソフトウェアと、その機能の1つであるコメント記録機能を利用して実現してもよい。市販のソフトウェアの機能を利用することで、記入メモ情報と記入時の時刻情報とを簡単に取得することができる。
【0072】
図11は、資料有りコンテンツのメタ情報をメタ情報編集部1dにより編集して得られるレッスン指摘リストの一例を示す図で、図中、70はレッスン指摘リストで、該レッスン指摘リスト70は、指摘回数,指摘日,ID,指摘コメントなどを含む問題箇所71、演奏を通しで行ったときの記録であるこの日の通し72、これまでの軌跡や,お手本集,前回以前のレッスン記録などを含むその他73から構成されている。このレッスン指摘リスト70及び図4のコンテンツ30により1つのコンテンツを構成する。本例は、前述した図4のコンテンツ30に示したように、楽器のレッスンを復習するためのコンテンツのメタ情報を、メタ情報編集部1dで編集して得られるリストの例について説明する。
【0073】
図11において、メタ情報編集部1dによりメタ情報を整理し、問題箇所71の指摘コメントと、資料(楽譜)と映像/音声情報とのマッピングを作成した。この問題箇所71の指摘コメントをクリックすると、該当する資料の場所あるいは映像/音声情報の場所が表示される。この際、資料(楽譜)上には詳細を記入せずに○印や下線などの印だけを記入し、あとは映像/音声情報中で実演説明するようにしてもよい。指摘コメント(詳細は図5を参照)では、過去の指摘事項と照合し、繰り返し指摘されているが、現在も改善されていないことを示す情報を重要度などとともに一覧表示させる。図中の星印は、累積指摘回数を示す。また、図4に示した例では資料のクリッカブルマップとして実現したが、資料の1箇所に対し、指摘シーンが複数存在する場合には、楽譜の一行ずつをイメージとし、その下に指摘項目を必要な数だけ表示して個々のシーンに対応付けてもよい。複数の指導回にまたがった表示を行う場合、個々のシーンは複数の映像/音声情報中に存在する。
【0074】
図12は、メタ情報生成部1b及びメタ情報編集部1dにより生成/編集して得られる資料無しコンテンツのメタ情報の一例を示す図である。図12(A)は、資料がないダンス指導の第N回の指導における指摘内容を映像/音声情報中の音声から音声認識したテキスト情報をその時刻とともに抽出したメタ情報の例を示す。
【0075】
図12(B)は、図12(A)に示すメタ情報をメタ情報編集部1dで編集した例を示す図である。ここでは、図12(A)のメタ情報に対して、さらに指導回及び修正状態などを追加している。また、02:30と05:13は後から思い出して追加している。また、履歴をチェックし、過去に指摘されたものは同じ情報にまとめた。
【0076】
図13は、資料有りコンテンツのメタ情報の一例を示す図である。本例では、学習塾での指導内容を自宅で確認するためのコンテンツ(資料有り)のメタ情報の例について示す。このメタ情報は、資料としては問題集あるいはプリントを用いて、生徒が教材となる問題を解き、先生によって添削された資料をもとに指導したときに、時刻,項目,添削で記入された内容を含むものとする。この添削で記入された内容(書き込み)に対応して、指導内容の映像/音声情報が再生される。
【0077】
尚、説明のために、図13では映像/音声情報の内容が言葉で記載されているが、実際にはこの言葉に対応する映像/音声情報が画面上で再生される。例えば、00:03に行った項目(問1)の場合、資料上には「答えだけでなく式も書く。」と記入されており、この書き込みに対応して、指導内容の映像/音声情報が再生されるが、この場合、先生は生徒(子供)に対して「式も書かないと、○はあげられないよ。式を書いてみて。」といい、これに応じて、子供が式を書き、途中で止まる、という動作をする。これを受けて、さらに、先生が説明を行うという一連の動作/音声が映像/音声情報として再生される。
【0078】
上記のように、生成されたコンテンツは指導終了後すぐ、Webサーバに個人ごとにアップロードされる。生徒の自宅において、例えば親がパスワードを入力し、自分の子供のコンテンツにアクセスする。そのコンテンツから子供の様子や指導者の様子を確認し、どこがわからないのか、あるいは教え方が悪いのかなど、を把握し、その後の指導と対策の参考にする。学習塾は、このようなコンテンツ配信サービスを月謝の範囲で行うようにしてもよい。
【0079】
図14は、資料有りコンテンツのメタ情報の他の例を示す図である。本例では、社内のプレゼンテーションの発表練習に利用するためのコンテンツ(資料有り)のメタ情報の例について示す。このメタ情報は、例えば、Microsoft Power Point(登録商標)などの資料に簡単なメモだけを記入し、あとは映像/音声情報中で指導したときに、資料上の指摘箇所,記入内容(簡単なメモ),見本/注意の属性などを含むものとする。この記入内容(書き込み)に対応して、指導内容の映像/音声情報が再生される。
【0080】
尚、説明のために、図13と同様に、映像/音声情報の内容が言葉で記載されているが、実際にはこの言葉に対応する映像/音声情報が画面上で再生される。例えば、指摘箇所が資料の最初、記入内容が声小、属性が注意の場合、資料上には「声小」と記入されており、この書き込みに対応して、指導内容の映像/音声情報が再生されるが、この場合、例えば、上司は部下に対して「小さくて聞こえないよ。もう一度やってみて。」といい、これに応じて、部下が実演し、これを受けて、さらに、上司が「もっと。」といい、これに応じて、部下が実演し、さらに、上司が「それぐらい。」という、という一連の動作/音声が映像/音声情報として再生される。
【0081】
本発明では、情報が多岐にわたるほど、すべての情報を一度に見せると、整理されずに見にくくなる。そこでユーザの指定により表示するデータを変えたり、表示色を変えたりするためのI/F(コンテンツ生成部1c)を備える。コンテンツはサーバ型の場合、ユーザ指定時に動的に生成してもよいが、コンテンツの蓄積メディア(CD/DVDなど)による配布の場合に備え、静的にすべて用意しておいてもよい。ユーザ指定では、例えば、指導回ごと、見本か注意か、現在修正されていない注意点などのそれぞれに対して表示色を変えたり、情報ごとに表示のON/OFFを指定するようにしてもよい。
【0082】
図15は、資料への書き込みから映像/音声情報の該当シーンを頭出し再生したコンテンツの他の例を示す図で、図中、80はコンテンツ作成装置1により作成されたコンテンツで、該コンテンツ80は、資料(本例では楽譜)及びその楽譜上に書き込まれたメモ情報からなるイメージデータ81(以下、単に楽譜81という)、メモ情報に対応する映像/音声情報のシーン82,指摘事項(コメント)83,ID情報84を含む。尚、楽譜81は、続きページがある場合、スクロールあるいはページ切り替えにより次ページに移行させることができる。また、書き込みに対応する楽譜81上の矩形部分は、クリッカブルマップ81a〜81pを示す。ここでは、クリッカブルマップ81a〜81pに対応するメタ情報から、例えば、指導回ごと、見本か注意か、現在修正されていない注意点、などによって各領域の色を変えて表示している。
【0083】
図16は、複数のコンテンツを組み合わせて総合的に利用するためのレッスン記録リストの表示例を示す図で、図中、90はレッスン記録と累積TODOリスト(以下、レッスン記録リスト)で、該レッスン記録リスト90は、先生のお手本集91,これまでの軌跡(通し)92,前回以前のレッスン記録とTODOリスト93を含む。本例では、1つのコンテンツだけでなく、組み合わせて総合的に利用するためのリストについて説明する。
【0084】
1つの教材に対して、複数回の指導が行われるのが普通である。一方、1回の指導で、複数の教材にわたって同じことを繰り返し指摘されることもある。そこで、生徒ごとにポータルページを作成し、教材ごとに指導回別にコンテンツ一覧表示ページを用意したり、指導回ごとに複数教材のコンテンツ一覧表示ページを用意したりする。これにより、例えば、下記のようなことが実現できる。
(1)指導1回ごとのコンテンツを記録の意味で残す。
・指摘項目と該当シーンの頭だし(図16に示す前回以前のレッスン記録とTODOリスト93に相当する)。
・注意と悪い例と見本とを確認
・見本と自分との比較
(2)指導1回で直ることも直らないこともある。それまでの累積で指摘として残っている項目を明示する。同じ指摘がどのくらいあるかを確認するため、以前の指摘とも重ねあわせて、プライオリティをつけて表示する。その日時点で重要なものをピックアップして表示する。これは、図16に示す前回以前のレッスン記録とTODOリスト93に相当する。
(3)教材ごとのお手本集を表示する。これは、図16に示す先生のお手本集91に相当する。
(4)今回の自分と、以前の自分との比較を表示する。これは、図16に示すこれまでの軌跡(通し)92に相当する。
【0085】
(第3の実施形態)
図17は、本発明のコンテンツ作成装置1を利用したコンテンツ提供システムの構成例を示す図で、図中、100はインターネット、101はコンテンツを登録したコンテンツサーバ装置、102は先生用PC(すなわちコンテンツ作成装置1)、102a及び102bは先生用PC102で作成されたコンテンツ、103は生徒用PC、104は生徒、105は先生、106はDVカメラを示す。先生用PC102は、DVカメラ106と接続可能とする。コンテンツサーバ装置101は、生徒用PC103とインターネット100を介して接続され、先生用PC102とネットワーク等を介して接続されている。尚、本実施形態では、楽器のレッスンや、学習塾の個人授業などで、生徒が指導内容を後から確認するためのコンテンツを提供するためのシステムについて説明する。
【0086】
先生用PC102(コンテンツ作成装置1)は、指導内容に関するコンテンツ102a及び102bをコンテンツサーバ装置101にアップロードして登録する。コンテンツサーバ装置101は、生徒用PC103からコンテンツ閲覧要求を受け付け、登録されているコンテンツから生徒用PC103を使用する生徒のコンテンツを選択し、選択したコンテンツを生徒用PC103に送信する。
【0087】
このように、先生側がコンテンツをアップロードしてサーバ装置に登録し(あるいはCDやDVDなどの記録媒体で配布してもよい)、生徒側はサーバ装置にアクセスすることで、コンテンツを閲覧することができるため、指導内容を後から確認することができるようになり、復習等に役立てることができる。
【0088】
以上、本発明のコンテンツ作成装置、システムにおける各機能を中心に各実施形態を説明してきたが、本発明は、コンテンツ作成装置における各ステップを実行する方法としても説明したようにコンテンツ作成方法としての形態もとることができる。また、この各機能を有するコンテンツ作成装置と同様に、コンピュータにコンテンツ作成装置として機能させるためのプログラムとしての形態も、また、そのプログラムを記録した記録媒体としての形態も可能である。
【0089】
本発明によるコンテンツ作成の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態について説明する。記録媒体としては、具体的には、CD−ROM(−R/−RW)、光磁気ディスク、DVD−ROM(−R/−RW/−RAM)、FD、HD、フラッシュメモリ、メモリカードや、メモリスティック及びその他各種ROMやRAM等が想定でき、これら記録媒体に上述した本発明の各実施形態の装置としての機能をコンピュータに実行させ、コンテンツ作成の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わるコンテンツ作成の機能を実行することができる。
【図面の簡単な説明】
【0090】
【図1】本発明に係わる情報処理装置の内部構成例を示すブロック図である。
【図2】本発明の一実施形態に係るコンテンツ作成装置の構成例を示すブロック図である。
【図3】本発明の他の実施形態に係るコンテンツ作成装置の構成例を示すブロック図である。
【図4】資料への書き込みから映像/音声情報の該当シーンを頭出し再生したコンテンツの一例を示す図である。
【図5】指摘項目一覧から映像/音声情報の該当シーンを頭出し再生したコンテンツの一例を示す図である。
【図6】本発明が適用されるコンテンツ作成方法における映像/音声情報の取り込み処理の一例を説明するためのフロー図である。
【図7】本発明が適用されるコンテンツ作成方法におけるメタ情報の生成からコンテンツを作成するまでの処理の一例を説明するためのフロー図である。
【図8】メタ情報編集部によって表示されるユーザインタフェースの一例を示す図である。
【図9】資料への書き込みに基づいてレッスン記録を作成するための装置の構成例を示す図である。
【図10】資料への書き込みに基づいてレッスン記録を作成するための装置の他の構成例を示す図である。
【図11】資料有りコンテンツのメタ情報をメタ情報編集部により編集して得られるレッスン指摘リストの一例を示す図である。
【図12】メタ情報生成部及びメタ情報編集部により生成/編集して得られる資料無しコンテンツのメタ情報の一例を示す図である。
【図13】資料有りコンテンツのメタ情報の一例を示す図である。
【図14】資料有りコンテンツのメタ情報の他の例を示す図である。
【図15】資料への書き込みから映像/音声情報の該当シーンを頭出し再生したコンテンツの他の例を示す図である。
【図16】複数のコンテンツを組み合わせて総合的に利用するためのレッスン記録リストの表示例を示す図である。
【図17】本発明のコンテンツ作成装置を利用したコンテンツ提供システムの構成例を示す図である。
【符号の説明】
【0091】
1…情報処理装置(コンテンツ作成装置)、1a…リアルタイムキャプチャ部、1b…メタ情報生成部、1c…コンテンツ生成部、1d…メタ情報編集部、2…映像/音声情報取得手段(映像/音声情報取得デバイス)、3…メモ情報取得手段(記入メモ情報取得デバイス)、11…CPU、12…RAM、13…ROM、14,14a,14b…記憶装置(記憶手段)、15…入力装置、16…表示装置、17…通信装置、18…出力装置、19…入出力I/F、20…システムバス、21…録音機、22…MD、23…ICレコーダ、24…DVDCAM、25…DVカメラ、30,40,80…コンテンツ、31,81…イメージデータ(楽譜)、31a,31b,31c,81a〜81p…クリッカブルマップ、32,42,82…シーン、33,43,83…指摘事項(コメント)、34,44,84…ID情報、41…指摘項目一覧(TODOリスト)、50…メタ情報表示/編集画面、51…Eventボタン、52…メタ情報一覧、53…Replaceボタン、54…Skipボタン、55…Deleteボタン、60…映像/音声情報再生画面、61…映像再生画面、62…早戻しボタン、63…再生ボタン、64…一時停止ボタン、65…早送りボタン、66…停止ボタン、67a,67b…スキップボタン、68…数字入力欄、69…現在位置表示欄、70…レッスン記録リスト、71…問題箇所、72…この日の通し、73…その他、90…レッスン記録と累積TODOリスト、91…先生のお手本集、92…これまでの軌跡(通し)、93…前回以前のレッスン記録とTODOリスト、100…インターネット、101…コンテンツサーバ装置、102…先生用PC(コンテンツ作成装置)、102a,102b…コンテンツ、103…生徒用PC、104…生徒、105…先生、106…DVカメラ。
【特許請求の範囲】
【請求項1】
習熟を必要とする技術や能力等の指導内容を後から確認するためのコンテンツを作成するコンテンツ作成装置において、前記指導内容を撮影してその映像/音声情報を取得する映像/音声情報取得手段と、前記指導に利用した資料への書き込み情報を取得する書き込み情報取得手段と接続可能とし、前記映像/音声情報取得手段から前記指導内容の映像/音声情報を取り込む映像/音声情報取込手段と、前記資料に書き込まれたタイミングで前記書き込み情報取得手段から前記資料への書き込み時刻及び書き込みドット位置を取得し、該書き込み時刻及び書き込みドット位置から前記資料の書き込み単位毎にメタ情報を生成するメタ情報生成手段と、前記映像/音声情報及びメタ情報を記憶する記憶手段と、該記憶した映像/音声情報及びメタ情報に基づいて前記資料の書き込み単位とその書き込み時刻に対応する映像/音声情報とを関連付けして前記コンテンツを生成するコンテンツ生成手段とを備えていることを特徴とするコンテンツ作成装置。
【請求項2】
請求項1に記載のコンテンツ作成装置において、前記メタ情報生成手段は、前記書き込み時刻の間隔と前記書き込みドット位置から前記書き込み単位のビットマップデータを生成し、該生成したビットマップデータ及び前記書き込み時刻から前記メタ情報を生成することを特徴とするコンテンツ作成装置。
【請求項3】
請求項2に記載のコンテンツ作成装置において、前記メタ情報は、指導回数,指導回毎の書き込みID,書き込み時刻,ビットマップデータを少なくとも含むことを特徴とするコンテンツ作成装置。
【請求項4】
請求項2に記載のコンテンツ作成装置において、前記メタ情報生成手段は、前記書き込み単位のビットマップデータを文字あるいは画像として認識する手段を備え、該認識した結果から前記書き込み単位を分類し、その分類情報を前記メタ情報に追加することを特徴とするコンテンツ作成装置。
【請求項5】
請求項4に記載のコンテンツ作成装置において、前記メタ情報生成手段は、前記書き込み単位のビットマップデータを文字として認識した場合、該認識した文字をテキストデータとして取得できるようにしたことを特徴とするコンテンツ作成装置。
【請求項6】
請求項1又は2に記載のコンテンツ作成装置において、前記コンテンツ生成手段は、前記記憶手段に記憶したメタ情報に基づいて、前記書き込み単位に対応したクリック可能な領域を作成し、該作成した領域と、その領域の書き込み時刻に対応する映像/音声情報とを関連付けすることを特徴とするコンテンツ作成装置。
【請求項7】
請求項6に記載のコンテンツ作成装置において、前記コンテンツ生成手段は、前記クリック可能な領域を、前記資料のビットマップデータに重ね合わせることを特徴とするコンテンツ作成装置。
【請求項8】
請求項6に記載のコンテンツ作成装置において、前記コンテンツ生成手段は、前記クリック可能な領域の色あるいは形状を、前記メタ情報に含まれる属性毎に異ならせることを特徴とするコンテンツ作成装置。
【請求項9】
請求項1乃至8のいずれか1に記載のコンテンツ作成装置において、前記記憶手段に記憶したメタ情報を編集するためのメタ情報編集手段を備え、該メタ情報編集手段は、前記記憶手段に記憶したメタ情報を読み込んで、該読み込んだメタ情報を表示し、そのメタ情報に対応する映像/音声情報を再生しながら、前記メタ情報を編集できるようにしたことを特徴とするコンテンツ作成装置。
【請求項10】
請求項9に記載のコンテンツ作成装置において、前記指導時に資料を利用しない場合、前記メタ情報編集手段は、前記記憶手段に記憶した映像/音声情報を再生しながら、メタ情報を後から付加できるようにしたことを特徴とするコンテンツ作成装置。
【請求項11】
請求項9に記載のコンテンツ作成装置において、前記指導時に資料を利用しない場合、前記メタ情報生成手段は、前記指導内容の映像/音声情報に含まれる音声情報を音声認識してテキストデータに変換し、該テキストデータ及び当該音声が入力された時刻を取得する手段を備え、該取得したテキストデータ及び音声入力時刻に基づいてメタ情報を生成することを特徴とするコンテンツ作成装置。
【請求項12】
習熟を必要とする技術や能力等の指導内容を後から確認するためのコンテンツを作成するコンテンツ作成装置を用いたコンテンツ作成方法において、該コンテンツ作成装置は、前記指導内容を撮影してその映像/音声情報を取得する映像/音声情報取得手段と、前記指導に利用した資料への書き込み情報を取得する書き込み情報取得手段と接続され、前記映像/音声情報取得手段から前記指導内容の映像/音声情報を取り込む映像/音声情報取込ステップと、前記資料に書き込まれたタイミングで前記書き込み情報取得手段から前記資料への書き込み時刻及び書き込みドット位置を取得し、該書き込み時刻及び書き込みドット位置から前記資料の書き込み単位毎にメタ情報を生成するメタ情報生成ステップと、前記映像/音声情報及びメタ情報を前記コンテンツ作成装置が備える記憶手段に記憶する記憶ステップと、該記憶した映像/音声情報及びメタ情報に基づいて前記資料の書き込み単位とその書き込み時刻に対応する映像/音声情報とを関連付けして前記コンテンツを生成するコンテンツ生成ステップとを有することを特徴とするコンテンツ作成方法。
【請求項13】
請求項12に記載のコンテンツ作成方法において、前記メタ情報生成ステップは、前記書き込み時刻の間隔と前記書き込みドット位置から前記書き込み単位のビットマップデータを生成し、該生成したビットマップデータ及び前記書き込み時刻から前記メタ情報を生成することを特徴とするコンテンツ作成方法。
【請求項14】
請求項12又は13に記載のコンテンツ作成方法において、前記コンテンツ生成ステップは、前記記憶手段に記憶したメタ情報に基づいて、前記書き込み単位に対応したクリック可能な領域を作成し、該作成した領域と、その領域の書き込み時刻に対応する映像/音声情報とを関連付けすることを特徴とするコンテンツ作成方法。
【請求項15】
請求項12乃至14のいずれか1に記載のコンテンツ作成方法において、前記記憶手段に記憶したメタ情報を編集するメタ情報編集ステップを有し、該メタ情報編集ステップは、前記記憶手段に記憶したメタ情報を読み込んで、該読み込んだメタ情報を表示し、そのメタ情報に対応する映像/音声情報を再生しながら、前記メタ情報を編集できるようにしたことを特徴とするコンテンツ作成方法。
【請求項16】
請求項15に記載のコンテンツ作成方法において、前記指導時に資料を利用しない場合、前記メタ情報編集ステップは、前記記憶手段に記憶した映像/音声情報を再生しながら、メタ情報を後から付加できるようにしたことを特徴とするコンテンツ作成方法。
【請求項17】
請求項1乃至11のいずれか1に記載のコンテンツ作成装置により作成されたコンテンツを登録したサーバ装置と、指導を受ける受講者側が使用する端末装置とを有し、前記サーバ装置と前記端末装置とがネットワークを介して接続されたコンテンツ提供システムにおいて、前記サーバ装置は、前記端末装置からコンテンツ閲覧要求を受け付け、前記登録されているコンテンツから前記端末装置を使用する受講者のコンテンツを選択し、該選択したコンテンツを前記端末装置に送信することを特徴とするコンテンツ提供システム。
【請求項18】
請求項1乃至11のいずれか1に記載のコンテンツ作成装置としての機能を実行するためのプログラム。
【請求項19】
請求項18に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項1】
習熟を必要とする技術や能力等の指導内容を後から確認するためのコンテンツを作成するコンテンツ作成装置において、前記指導内容を撮影してその映像/音声情報を取得する映像/音声情報取得手段と、前記指導に利用した資料への書き込み情報を取得する書き込み情報取得手段と接続可能とし、前記映像/音声情報取得手段から前記指導内容の映像/音声情報を取り込む映像/音声情報取込手段と、前記資料に書き込まれたタイミングで前記書き込み情報取得手段から前記資料への書き込み時刻及び書き込みドット位置を取得し、該書き込み時刻及び書き込みドット位置から前記資料の書き込み単位毎にメタ情報を生成するメタ情報生成手段と、前記映像/音声情報及びメタ情報を記憶する記憶手段と、該記憶した映像/音声情報及びメタ情報に基づいて前記資料の書き込み単位とその書き込み時刻に対応する映像/音声情報とを関連付けして前記コンテンツを生成するコンテンツ生成手段とを備えていることを特徴とするコンテンツ作成装置。
【請求項2】
請求項1に記載のコンテンツ作成装置において、前記メタ情報生成手段は、前記書き込み時刻の間隔と前記書き込みドット位置から前記書き込み単位のビットマップデータを生成し、該生成したビットマップデータ及び前記書き込み時刻から前記メタ情報を生成することを特徴とするコンテンツ作成装置。
【請求項3】
請求項2に記載のコンテンツ作成装置において、前記メタ情報は、指導回数,指導回毎の書き込みID,書き込み時刻,ビットマップデータを少なくとも含むことを特徴とするコンテンツ作成装置。
【請求項4】
請求項2に記載のコンテンツ作成装置において、前記メタ情報生成手段は、前記書き込み単位のビットマップデータを文字あるいは画像として認識する手段を備え、該認識した結果から前記書き込み単位を分類し、その分類情報を前記メタ情報に追加することを特徴とするコンテンツ作成装置。
【請求項5】
請求項4に記載のコンテンツ作成装置において、前記メタ情報生成手段は、前記書き込み単位のビットマップデータを文字として認識した場合、該認識した文字をテキストデータとして取得できるようにしたことを特徴とするコンテンツ作成装置。
【請求項6】
請求項1又は2に記載のコンテンツ作成装置において、前記コンテンツ生成手段は、前記記憶手段に記憶したメタ情報に基づいて、前記書き込み単位に対応したクリック可能な領域を作成し、該作成した領域と、その領域の書き込み時刻に対応する映像/音声情報とを関連付けすることを特徴とするコンテンツ作成装置。
【請求項7】
請求項6に記載のコンテンツ作成装置において、前記コンテンツ生成手段は、前記クリック可能な領域を、前記資料のビットマップデータに重ね合わせることを特徴とするコンテンツ作成装置。
【請求項8】
請求項6に記載のコンテンツ作成装置において、前記コンテンツ生成手段は、前記クリック可能な領域の色あるいは形状を、前記メタ情報に含まれる属性毎に異ならせることを特徴とするコンテンツ作成装置。
【請求項9】
請求項1乃至8のいずれか1に記載のコンテンツ作成装置において、前記記憶手段に記憶したメタ情報を編集するためのメタ情報編集手段を備え、該メタ情報編集手段は、前記記憶手段に記憶したメタ情報を読み込んで、該読み込んだメタ情報を表示し、そのメタ情報に対応する映像/音声情報を再生しながら、前記メタ情報を編集できるようにしたことを特徴とするコンテンツ作成装置。
【請求項10】
請求項9に記載のコンテンツ作成装置において、前記指導時に資料を利用しない場合、前記メタ情報編集手段は、前記記憶手段に記憶した映像/音声情報を再生しながら、メタ情報を後から付加できるようにしたことを特徴とするコンテンツ作成装置。
【請求項11】
請求項9に記載のコンテンツ作成装置において、前記指導時に資料を利用しない場合、前記メタ情報生成手段は、前記指導内容の映像/音声情報に含まれる音声情報を音声認識してテキストデータに変換し、該テキストデータ及び当該音声が入力された時刻を取得する手段を備え、該取得したテキストデータ及び音声入力時刻に基づいてメタ情報を生成することを特徴とするコンテンツ作成装置。
【請求項12】
習熟を必要とする技術や能力等の指導内容を後から確認するためのコンテンツを作成するコンテンツ作成装置を用いたコンテンツ作成方法において、該コンテンツ作成装置は、前記指導内容を撮影してその映像/音声情報を取得する映像/音声情報取得手段と、前記指導に利用した資料への書き込み情報を取得する書き込み情報取得手段と接続され、前記映像/音声情報取得手段から前記指導内容の映像/音声情報を取り込む映像/音声情報取込ステップと、前記資料に書き込まれたタイミングで前記書き込み情報取得手段から前記資料への書き込み時刻及び書き込みドット位置を取得し、該書き込み時刻及び書き込みドット位置から前記資料の書き込み単位毎にメタ情報を生成するメタ情報生成ステップと、前記映像/音声情報及びメタ情報を前記コンテンツ作成装置が備える記憶手段に記憶する記憶ステップと、該記憶した映像/音声情報及びメタ情報に基づいて前記資料の書き込み単位とその書き込み時刻に対応する映像/音声情報とを関連付けして前記コンテンツを生成するコンテンツ生成ステップとを有することを特徴とするコンテンツ作成方法。
【請求項13】
請求項12に記載のコンテンツ作成方法において、前記メタ情報生成ステップは、前記書き込み時刻の間隔と前記書き込みドット位置から前記書き込み単位のビットマップデータを生成し、該生成したビットマップデータ及び前記書き込み時刻から前記メタ情報を生成することを特徴とするコンテンツ作成方法。
【請求項14】
請求項12又は13に記載のコンテンツ作成方法において、前記コンテンツ生成ステップは、前記記憶手段に記憶したメタ情報に基づいて、前記書き込み単位に対応したクリック可能な領域を作成し、該作成した領域と、その領域の書き込み時刻に対応する映像/音声情報とを関連付けすることを特徴とするコンテンツ作成方法。
【請求項15】
請求項12乃至14のいずれか1に記載のコンテンツ作成方法において、前記記憶手段に記憶したメタ情報を編集するメタ情報編集ステップを有し、該メタ情報編集ステップは、前記記憶手段に記憶したメタ情報を読み込んで、該読み込んだメタ情報を表示し、そのメタ情報に対応する映像/音声情報を再生しながら、前記メタ情報を編集できるようにしたことを特徴とするコンテンツ作成方法。
【請求項16】
請求項15に記載のコンテンツ作成方法において、前記指導時に資料を利用しない場合、前記メタ情報編集ステップは、前記記憶手段に記憶した映像/音声情報を再生しながら、メタ情報を後から付加できるようにしたことを特徴とするコンテンツ作成方法。
【請求項17】
請求項1乃至11のいずれか1に記載のコンテンツ作成装置により作成されたコンテンツを登録したサーバ装置と、指導を受ける受講者側が使用する端末装置とを有し、前記サーバ装置と前記端末装置とがネットワークを介して接続されたコンテンツ提供システムにおいて、前記サーバ装置は、前記端末装置からコンテンツ閲覧要求を受け付け、前記登録されているコンテンツから前記端末装置を使用する受講者のコンテンツを選択し、該選択したコンテンツを前記端末装置に送信することを特徴とするコンテンツ提供システム。
【請求項18】
請求項1乃至11のいずれか1に記載のコンテンツ作成装置としての機能を実行するためのプログラム。
【請求項19】
請求項18に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2006−53696(P2006−53696A)
【公開日】平成18年2月23日(2006.2.23)
【国際特許分類】
【出願番号】特願2004−233858(P2004−233858)
【出願日】平成16年8月10日(2004.8.10)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成18年2月23日(2006.2.23)
【国際特許分類】
【出願日】平成16年8月10日(2004.8.10)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]