音声録音装置及び音声再生装置
【課題】資料を用いた会議や講義を録音する場合において、聴取者がその録音音声を聴取する際に、再生される音声が資料のどの部分に対応するかを把握し易くすることのできる技術を提供する。
【解決手段】講師は操作部１６を用いて表示部１５に資料を表示しながら講義を行う。コンピュータ装置１は、講師の音声をマイクロホン１７によって収音して音声データとして音声データ記憶領域１４２に記憶する。また、ＣＰＵ１１は、操作部１６から出力される操作信号を操作ログデータとしてタイムスタンプを付与して操作ログデータ記憶領域１４３に記憶する。聴取者は、講義の後で、コンピュータ装置２を用いて録音された音声を再生する。ＣＰＵ２１は、音声データを再生するとともに、再生される音声データに同期させて、操作ログデータに対応するコマンドを実行して、表示部２５に資料データの表す資料内容を表示する。
【解決手段】講師は操作部１６を用いて表示部１５に資料を表示しながら講義を行う。コンピュータ装置１は、講師の音声をマイクロホン１７によって収音して音声データとして音声データ記憶領域１４２に記憶する。また、ＣＰＵ１１は、操作部１６から出力される操作信号を操作ログデータとしてタイムスタンプを付与して操作ログデータ記憶領域１４３に記憶する。聴取者は、講義の後で、コンピュータ装置２を用いて録音された音声を再生する。ＣＰＵ２１は、音声データを再生するとともに、再生される音声データに同期させて、操作ログデータに対応するコマンドを実行して、表示部２５に資料データの表す資料内容を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声録音装置及び音声再生装置に関する。
【背景技術】
【０００２】
講義や会議等においては、講師や発表者が資料を用いて講義や説明を行い、聴取者は配布された資料を参照しつつ講義等を聴取するのが一般的である。このような講義等においては、その内容を記録するためにＩＣレコーダ等の音声録音装置を用いて音声を録音することが一般的に行われている。特許文献１には、携帯電話機による音声録音・再生機能とカメラによる画像撮影機能を用いて、会議中の音声を録音して再生し、会議の資料を撮影して表示することにより、会議の内容を１台の装置で容易に保存および再生する技術が提案されている。また、特許文献２には、講義中の講師の音声の録音を、講義で用いられるスライド毎に録音することにより、学習者によりわかりやすい教材を提供する技術が提案されている。
【特許文献１】特開２００４−３４３３９２号公報
【特許文献２】特開２０００−２１４７５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、講義等において録音のみを行った場合には、聴取者は、録音された音声を再生しただけでは、用いられた資料のどの部分を説明しているのかを把握することが困難であり、記録音声と資料内容の説明箇所とを一致させることができない場合があった。具体的には、例えば、「この部分については・・・」といった音声が録音されている場合に、録音された音声を聴いても、資料のどの部分について説明しているのかを聴取者が把握することが困難な場合が多い。そこで、講義等の録音をするとともに講義映像を録画する方法も考えられるが、この場合は講義等が長時間に及ぶほど録画データのデータ量が膨大になってしまうという問題があった。
【０００４】
本発明は上述した背景の下になされたものであり、資料を用いた会議や講義を録音する場合において、聴取者がその録音音声を聴取する際に、従来と比較して、再生される音声が資料のどの部分に対応するかを把握し易くすることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、所定のファイル形式のファイルデータを記憶するファイルデータ記憶手段と、操作者によって操作される操作手段から出力される操作信号を、前記ファイルデータに対応するアプリケーションのコマンドに変換する変換手段と、前記変換手段により変換されたコマンドを実行して、前記ファイルデータ記憶手段に記憶されたファイルデータを表す画像を表示手段に表示する表示制御手段と、収音手段から出力される音声データを所定の記憶手段に時系列に記憶するとともに、前記変換手段により変換されたコマンドを示すコマンドデータ及び前記操作手段から出力された操作信号の少なくともいずれか一方を、操作ログデータとして、タイムスタンプを付与して前記所定の記憶手段に記憶する記憶制御手段とを具備することを特徴とする音声録音装置を提供する。
【０００６】
本発明の好ましい態様において、前記操作手段から出力される操作信号に応じて、前記表示手段にポインタを表示させるポインタ表示制御手段と前記操作手段から出力される操作信号に応じて、前記ポインタの移動軌跡を算出する移動軌跡算出手段とを具備し、前記記憶制御手段は、前記移動軌跡算出手段により算出された移動軌跡を示す移動軌跡データを前記操作ログデータに付与して記憶してもよい。
【０００７】
また、本発明の更に好ましい態様において、前記記憶制御手段は、前記移動軌跡算出手段により算出された移動軌跡を示す移動軌跡データに、前記表示手段のサイズを示すサイズデータを付与して記憶してもよい。
【０００８】
また、本発明の更に好ましい態様において、前記収音手段から出力される音声データのレベルを検出し、検出したレベルが予め定められた閾値未満の状態が所定時間以上継続した場合には、該閾値以上のレベルが検出されるまで音声データの記録を停止してもよい。
【０００９】
また、本発明の更に好ましい態様において、前記操作手段から予め定められた閾値以下の時間間隔で連続して操作信号が出力された場合に、出力された複数の操作信号をひとつの操作ログデータに変換する早送り変換手段を具備してもよい。
【００１０】
また、本発明は、ファイルデータを記憶するファイルデータ記憶手段と、音声を表す音声データを記憶するとともに、前記ファイルデータのファイル形式に対応するアプリケーションのコマンドを示すコマンドデータ及び操作手段から出力される操作信号の少なくともいずれか一方を含む操作ログデータであってタイムスタンプが付与された操作ログデータを記憶する音声データ記憶手段と、実行されるコマンドに従って、前記ファイルデータの表す画像を表示手段に表示させる表示制御手段と、前記音声データ記憶手段に記憶された音声データを再生する再生手段と、前記音声データ記憶手段に記憶された操作ログデータに応じて、前記再生手段により再生される音声データに同期させて、該操作ログデータに対応するコマンドを実行するコマンド実行手段とを具備することを特徴とする音声再生装置を提供する。
【００１１】
上述の音声再生装置の好ましい態様において、操作手段から操作信号が出力されたときに、該出力された操作信号に応じて、前記ファイルデータの表示内容を変更する表示内容変更手段と、前記再生手段により再生される音声データの再生位置を、前記表示内容変更手段によって変更された表示内容に対応する時刻に変更する音声再生位置変更手段とを具備してもよい。
【００１２】
また、上述の音声再生装置の更に好ましい態様において、前記再生手段により再生されている音声データの再生位置と前記操作ログデータ特定手段により特定された操作ログデータに付与されたタイムスタンプの位置との間の時間に対応する操作ログデータがある場合には、該操作ログデータに対応するコマンドを、予め定められた時間毎に実行するコマンド実行手段を具備してもよい。
【００１３】
また、上述の音声再生装置の更に好ましい態様において、前記操作ログデータは、前記表示手段に表示されるポインタの移動軌跡を示す移動軌跡データを含み、前記移動軌跡データの示す移動軌跡に従って、前記表示手段にポインタを表示させるポインタ表示制御手段を具備してもよい。
【００１４】
また、上述の音声再生装置の更に好ましい態様において、前記操作ログデータは、前記表示手段に表示されるポインタの移動軌跡を示す移動軌跡データと、該移動軌跡データが生成された際に用いられた表示手段のサイズを示すサイズデータとを含み、前記表示手段のサイズを取得するサイズ取得手段と、前記移動軌跡データを、前記サイズデータの示すサイズと前記サイズ取得手段により取得されたサイズとの比率に従って変換する移動軌跡データ変換手段とを具備し、前記ポインタ表示制御手段は、前記移動軌跡データ変換手段により変換された移動軌跡データに従って、前記ポインタを前記表示手段に表示させてもよい。
【発明の効果】
【００１５】
本発明によれば、資料を用いた会議や講義を録音する場合において、聴取者がその録音音声を聴取する際に、従来と比較して、再生される音声が資料のどの部分に対応するかを把握し易くすることができる。
【発明を実施するための最良の形態】
【００１６】
＜Ａ：構成＞
＜Ａ−１：コンピュータ装置１の構成＞
図１は、この発明の一実施形態であるコンピュータ装置１のハードウェア構成を例示したブロック図である。このコンピュータ装置１は、講師や発表者等が講義や発表等を行う際に用いる装置であり、例えばパーソナルコンピュータである。コンピュータ装置１には、講義の際に用いる各種の資料を示す資料データ（ファイルデータ）が記憶されており、講師等は、コンピュータ装置１に記憶された資料データを用いて資料を聴取者に提示しつつ講義等を行う。図において、ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２又は記憶部１４に記憶されているコンピュータプログラムを読み出してＲＡＭ（Random Access Memory）１３にロードし、これを実行することにより、コンピュータ装置１の各部を制御する。記憶部１４は、例えばハードディスクなどの大容量の記憶手段であり、アプリケーションプログラムＰ１，Ｐ２，Ｐ３等の、ＣＰＵ１１によって実行される各種のアプリケーションプログラムを記憶している。
【００１７】
表示部１５は、例えば液晶ディスプレイなどであり、ＣＰＵ１１の制御の下で、コンピュータ装置１を操作するためのメニュー画面や、資料データの示す資料画像などの各種の画面を表示する。操作部１６は、マウスやキーボードを備え、操作された内容に応じた信号をＣＰＵ１１へ出力する。マイクロホン１７は、講師が発した音声を収音し、音声信号（アナログ信号）を出力する。音声処理部１８は、マイクロホン１７が出力する音声信号（アナログ信号）をＡ／Ｄ変換によりデジタルデータに変換してＣＰＵ１１に出力する。また、音声処理部１８は、ＣＰＵ１１から供給されるデジタルデータをＤ／Ａ変換によりアナログ信号に変換してスピーカ１９に供給する。スピーカ１９は、音声処理部１８から出力されるアナログ信号に応じた強度で放音する。
【００１８】
なお、この実施形態では、マイクロホン１７とスピーカ１９とがコンピュータ装置１に含まれている場合について説明するが、音声処理部１８に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１７から音声処理部１８へ入力されるオーディオ信号及び音声処理部１８からスピーカ１９へ出力されるオーディオ信号がアナログオーディオ信号である場合について説明するが、デジタルオーディオデータを入出力するようにしても良い。このような場合には、音声処理部１８にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。表示部１５についても同様であり、外部出力端子を設け、外部モニタを接続する構成としてもよい。
【００１９】
記憶部１４は、資料データ記憶領域１４１と、音声データ記憶領域１４２と、操作ログデータ記憶領域１４３とを有している。記憶部１４の資料データ記憶領域１４１には、講義で使用される資料を示す資料データＤ１，資料データＤ２，資料データＤ３が記憶されている。講師は、操作部１６を用いてこれらの資料データの示す資料を表示部１５に表示する旨の操作を行い、ＣＰＵ１１は、操作部１６から供給される信号に応じて、資料データの示す資料を表示部１５に表示する。これらの資料データＤ１，Ｄ２，Ｄ３は、それぞれ異なるアプリケーションプログラムに対応したファイルである。具体的には、資料データＤ１はアプリケーションプログラムＰ１を実行することにより作成されたファイルであり、資料データＤ２はアプリケーションプログラムＰ２を実行することにより作成されたファイルであり、資料データＤ３はアプリケーションプログラムＰ３を実行することにより作成されたファイルである。
【００２０】
記憶部１４の音声データ記憶領域１４２には、録音される音声を表す音声データが記憶される。操作ログデータ記憶領域１４３には、講師がコンピュータ装置１を操作した操作内容を示す操作ログデータが記憶される。図２は、操作ログデータの内容の一例を示す図である。操作ログデータは、図示のように、「操作ログデータ」と「タイムスタンプ」との各項目が互いに関連付けられて構成されている。これらの項目のうち、「操作ログデータ」の項目には、実行されたコマンド（例えば、「ファイルを開く」、「１ページ後ろに移動」、等）を示すコマンドデータが操作ログデータとして記憶される。「タイムスタンプ」の項目には、録音開始からの経過時間を示すデータが記憶される。
【００２１】
次に、図３に示すブロック図を参照しながら、コンピュータ装置１の機能的構成について説明する。図３に示したアプリケーション１１１，アプリケーション１１２，アプリケーション１１３，録音部１１４及び操作ログ記録部１１５は、ＣＰＵ１１がＲＯＭ１２又は記憶部１４に記憶されたコンピュータプログラムを実行することによって実現される。なお、図中の矢印は、データの流れを概略的に示したものである。
【００２２】
図３において、アプリケーション１１１は、資料データＤ１のファイル形式のファイルデータを作成・編集するためのアプリケーションである。アプリケーション１１１は、操作部１６からの操作信号を自アプリのコマンドに変換し、変換したコマンドを実行して、ファイルの作成・編集を行う。また、アプリケーション１１１は、変換したコマンドを実行して表示部１５の表示内容を変更する。
【００２３】
アプリケーション１１２は、資料データＤ２のファイル形式のファイルデータを作成・編集するためのアプリケーションである。アプリケーション１１２は、操作部１６からの操作信号を自アプリのコマンドに変換し、変換したコマンドを実行して、ファイルの作成・編集を行う。また、アプリケーション１１２は、変換したコマンドを実行して表示部１５の表示内容を変更する。
【００２４】
アプリケーション１１３は、資料データＤ３のファイル形式のファイルデータを作成・編集するためのアプリケーションである。アプリケーション１１３は、操作部１６からの操作信号を自アプリのコマンドに変換し、変換したコマンドを実行して、ファイルの作成・編集を行う。また、アプリケーション１１３は、変換したコマンドを実行して表示部１５の表示内容を変更する。
【００２５】
録音部１１４は、操作部１６からの録音開始・終了を指示する信号に応じて、マイクロホン１７によって収音した音声を表す音声データを時系列に記憶する。操作ログ記録部１１５は、アプリケーション１１１，１１２，１１３のそれぞれで変換されたコマンドを示すコマンドデータを、操作ログデータとして、タイムスタンプを付与して、操作ログデータ記憶領域１４３に時系列に記録する。
【００２６】
＜Ａ−２：コンピュータ装置２の構成＞
次に、コンピュータ装置２の構成を説明する。図４は、コンピュータ装置２のハードウェア構成を例示したブロック図である。このコンピュータ装置２は、講義や発表会の聴取者が用いる装置であり、例えばパーソナルコンピュータである。図において、ＣＰＵ２１，ＲＯＭ２２，ＲＡＭ２３，記憶部２４，表示部２５，操作部２６，マイクロホン２７，音声処理部２８，スピーカ２９は、上述したコンピュータ装置１の各部の構成と同様であり、ここではその詳細な説明を省略する。
【００２７】
記憶部２４は、図示のように、資料データ記憶領域２４１と、音声データ記憶領域２４２と、操作ログデータ記憶領域２４３とを有している。資料データ記憶領域２４１には、講義の際に用いられた資料を示す資料データが記憶されている。音声データ記憶領域２４２には、講義の音声を示す音声データが記憶されている。操作ログデータ記憶領域２４３には、講師の操作内容を示す操作ログデータが記憶されている。これらの資料データ、音声データ及び操作ログデータは、上述したコンピュータ装置１に記憶されるものと同様であり、ここではその詳細な説明を省略する。
【００２８】
次に、コンピュータ装置２の機能的構成について、図５を参照しつつ説明する。図５において、アプリケーション２１１，２１２，２１３は、上述のコンピュータ装置１で示したアプリケーション１１１，１１２，１１３と同様であり、ここではその詳細な説明を省略する。音声再生部２１４は、音声データ記憶領域２４２に記憶された音声データを再生する。操作ログ再生部２１５操作ログデータ記憶領域２４３に記憶された操作ログデータに応じて、音声再生部２１４によって再生される音声データに同期させて、操作ログデータに対応するコマンドを実行する。
【００２９】
＜Ｂ：動作＞
＜Ｂ−１：録音動作＞
次に、コンピュータ装置１の動作について説明する。まず、講師は、コンピュータ装置１の操作部１６を操作して、録音を開始するための操作を行う。操作部１６は操作された内容に応じた信号をＣＰＵ１１へ出力し、ＣＰＵ１１は、操作部１６から供給される信号に応じて、録音を開始する。講師の音声はマイクロホン１７によって収音されて音声信号に変換され、音声処理部１８へと出力される。音声処理部１８によってＡ／Ｄ変換された音声データは、録音開始からの経過時間を示す情報と共に、音声データ記憶領域１４２に時系列に記憶（録音）されていく。
【００３０】
講師は、講義を行っている最中において、操作部１６を操作して資料を表示部１５に表示することによって、聴取者に資料を提示する。操作部１６は、操作された内容に応じた操作信号を出力し、ＣＰＵ１１は、操作部１６から出力される信号を、起動中のアプリケーションのコマンドに変換し、変換したコマンドを実行して、コマンドに応じた画像を表示部１５に表示する。
【００３１】
このとき、ＣＰＵ１１は、実行したコマンドを示すコマンドデータを、操作ログデータとして、操作ログデータ記憶領域１４３に、タイムスタンプを付与して記憶する。このとき、ＣＰＵ１１は、録音開始からの経過時間を示す情報をタイムスタンプとして操作ログデータに付与する。
【００３２】
講義を終えると、講師は、操作部１６を用いて講義を終了する旨の操作を行う。ＣＰＵ１１は、操作部１６からの信号に応じて、音声データと操作ログデータの記録を停止する。以上により、コンピュータ装置１には、講義の内容を表す音声データと、講師の操作履歴（コマンドの実行履歴）を表す操作ログデータとが記憶される。この操作ログデータは、録音開始からの経過時間を示すタイムスタンプが付与されているから、音声データと操作ログデータとは時間的に対応付けられたデータとして管理することができる。
【００３３】
講義終了後、講師は、コンピュータ装置１に記憶された資料データと操作ログデータとを、聴取者に配布する。この配布の態様としては、資料データと操作ログデータとを、コンピュータが読取可能な記録媒体（ＣＤ−ＲＯＭ、ＵＳＢメモリ、フレキシブルディスク、等）に記録して配布してもよく、また、例えば、インターネットのようなネットワーク経由で、聴取者が用いるコンピュータ装置２にダウンロードさせるようにしてもよい。
【００３４】
＜Ｂ−２：再生動作＞
次に、コンピュータ装置１で記録された音声データと操作ログデータの再生動作について説明する。講義の聴取者は、コンピュータ装置２の操作部２６を操作して、音声の再生を開始するための操作を行う。操作部２６は操作された内容に応じた信号をＣＰＵ２１へ出力し、ＣＰＵ２１は、操作部２６から供給される信号に応じて音声の再生を開始する。これにより、コンピュータ装置２のスピーカ２９からは、録音された講義音声が放音される。
【００３５】
このとき、ＣＰＵ２１は、操作ログデータに含まれるタイムスタンプを参照して、再生する音声データに同期させて、操作ログデータに対応するコマンドを実行し、コマンドに応じた画像を表示部２５に表示する。これにより、表示部２５には、再生される音声に同期して、再生されている音声に対応する資料が表示される。ＣＰＵ２１は、音声データの再生を終えるまで、操作ログデータに含まれるタイムスタンプの示す時刻に、そのタイムスタンプに対応するコマンドを実行する。これにより、コンピュータ装置２のスピーカ２９からは講義音声が放音されるとともに、コンピュータ装置２の表示部２５には、放音される講義音声の録音時刻に表示されていた資料が表示される。
【００３６】
このように、本実施形態によれば、コンピュータ装置１が、音声を録音する際に、操作履歴を示す操作ログデータにタイムスタンプを付与して記録するとともに、コンピュータ装置２が、音声を再生する際に、操作ログデータのタイムスタンプを参照して、再生中の音声に同期させてアプリケーションを実行するから、これにより、聴取者は、表示部２５に表示される資料を参照しつつ録音音声を聴くことができる。すなわち、聴取者は、再生される音声がどの資料のどの部分に対応するかを把握しながら音声を聴くことができる。
【００３７】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述の実施形態では、操作ログデータとして、コンピュータ装置１が実行したアプリケーションのコマンドをコマンドデータを用いたが、操作ログデータはこれに限らず、例えば、操作部１６から出力された操作信号（例えば、どのキーが押下されたかを示す信号、等）を操作ログデータとして用いてもよい。また、コマンドデータと操作信号とを併用して操作ログデータとして用いてもよい。
【００３８】
また、上述の実施形態において、マウスの操作によるポインタの移動軌跡を操作ログデータとして記録するようにしてもよい。この場合は、ＣＰＵ１１が、マウスから出力される操作信号に応じて表示部１５にポインタを表示するとともに、このポインタの移動軌跡を操作ログデータとして時系列に記録するようにしてもよい。この場合は、コンピュータ装置２は、記録された操作ログデータの示す移動軌跡に従って表示部２５に表示するポインタを移動させるようにすればよい。このようにすることで、聴取者は、表示される資料と再生音声とをより好適に対応付けて把握することができる。
【００３９】
また、上述のようにポインタの移動軌跡を記録する場合において、コンピュータ装置１が、表示部１５の表示領域のサイズを示すサイズデータを操作ログデータに付与するようにしてもよい。このようにすることで、コンピュータ装置１の表示部１５（記録側）の表示領域のサイズとコンピュータ装置２の表示部２５（再生側）の表示領域のサイズとが異なる場合であっても、ポインタの移動軌跡を再生側の表示領域のサイズにあうように調整することができる。この場合は、具体的には、コンピュータ装置２のＣＰＵ２１が、表示部２５の表示領域のサイズを取得し、操作ログデータに含まれるサイズデータの示すサイズ（記録側のサイズ）と取得したサイズ（再生側のサイズ）との比率に従って、移動軌跡データを変換し、変換した移動軌跡データに従って表示部２５に表示するポインタを移動させるようにすればよい。このようにすることで、マウス等のポインタの移動軌跡も記録してコンピュータ装置２で再現することができる。
【００４０】
（２）また、上述の実施形態において、コンピュータ装置１のＣＰＵ１１が、マイクロホン１７から出力される音声データの音圧レベルを検出し、検出した音圧レベルが予め定められた閾値以下の状態が所定時間以上継続した場合に、該閾値未満のレベルが検出されるまで音声データの記録を停止するようにしてもよい。このようにすることで、録音が必要ない期間（例えば、休憩期間等）の録音を行わないようにすることができ、音声データのデータ量を削減することができる。
【００４１】
（３）上述の実施形態において、操作部１６から、予め定められた閾値以下の時間間隔で連続して操作信号が出力された場合に、出力された複数の信号をひとつの操作ログデータに変換するようにしてもよい。このようにすることで、操作ログデータのデータ量を削減することができる。
【００４２】
（４）また、上述の実施形態において、聴取者が、音声の再生中に、操作部２６を操作して音声の再生箇所を変更できるようにしてもよい。具体的には、例えば、ある資料のあるページについての説明を聴きたい場合がある。この場合、聴取者が、操作部２６を用いて資料の表示内容を変更する操作を行うと、ＣＰＵ２１は、操作部２６から出力される操作信号に応じて、ファイルデータの表示内容を変更する。それとともに、ＣＰＵ２１は、再生している音声データの再生位置を、変更された表示内容に対応する位置（時刻）に変更する。
【００４３】
ここで、この動作の具体例について図６を参照しつつ説明する。この動作例では、操作ログデータの内容が図６に例示する場合の動作例について説明する。この場合、時刻ｔ１の音声データを再生している最中において、聴取者が、資料データａの３ページ目を表示する操作を行ったとする。時刻ｔ１に対応する資料データは、資料データｂの２ページ目であるから、時刻ｔ１の音声データを再生している最中は、表示部２５には資料データｂの２ページ目が表示される。ここで、聴取者が、資料データａの３ページ目を表示する操作を行うと、ＣＰＵ２１は、操作部２６からの操作信号を実行中のアプリケーションのコマンドに変換し、変換したコマンドを操作ログデータ記憶領域２４３から検索し、検索されたコマンドに対応するタイムスタンプを読み出す。そして、ＣＰＵ２１は、表示部１５に資料データａの３ページ目を表示するとともに、音声データの再生位置を、読み出したタイムスタンプの示す時刻、すなわち資料データａの３ページ目に対応する時刻ｔ２に変更する。これにより、聴取者は、自身が聴取したい資料の説明を、簡単な操作で聴取することができる。
【００４４】
また、このように音声データの再生位置を変更された表示内容に対応する位置に変更する場合に、再生中の位置と特定された位置との間の時間に、対応する操作ログデータがある場合には、ＣＰＵ２１が、その操作ログデータに対応するコマンドを、予め定められた時間ごとに実行するようにしてもよい。
【００４５】
（５）上述の実施形態におけるコンピュータ装置１のＣＰＵ１１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でコンピュータ装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４６】
【図１】コンピュータ装置のハードウェア構成の一例を示すブロック図である。
【図２】操作ログデータの内容の一例を示す図である。
【図３】コンピュータ装置の機能的構成の一例を示す図である。
【図４】コンピュータ装置のハードウェア構成の一例を示すブロック図である。
【図５】コンピュータ装置の機能的構成の一例を示す図である。
【図６】操作ログデータの内容の一例を示す図である。
【符号の説明】
【００４７】
１…コンピュータ装置、１１，２１…ＣＰＵ、１２，２２…ＲＯＭ、１３，２３…ＲＡＭ、１４，２４…記憶部、１５，２５…表示部、１６，２６…操作部、１７，２７…マイクロホン、１８，２８…音声処理部、１９，２９…スピーカ、１１１，１１２，１１３…アプリケーション、１１４…録音部、１１５…操作ログ記録部、１４１，２４１…資料データ記憶領域、１４２，２４２…音声データ記憶領域、１４３，２４３…操作ログデータ記憶領域、２１４…音声再生部、２１５…操作ログ再生部。
【技術分野】
【０００１】
本発明は、音声録音装置及び音声再生装置に関する。
【背景技術】
【０００２】
講義や会議等においては、講師や発表者が資料を用いて講義や説明を行い、聴取者は配布された資料を参照しつつ講義等を聴取するのが一般的である。このような講義等においては、その内容を記録するためにＩＣレコーダ等の音声録音装置を用いて音声を録音することが一般的に行われている。特許文献１には、携帯電話機による音声録音・再生機能とカメラによる画像撮影機能を用いて、会議中の音声を録音して再生し、会議の資料を撮影して表示することにより、会議の内容を１台の装置で容易に保存および再生する技術が提案されている。また、特許文献２には、講義中の講師の音声の録音を、講義で用いられるスライド毎に録音することにより、学習者によりわかりやすい教材を提供する技術が提案されている。
【特許文献１】特開２００４−３４３３９２号公報
【特許文献２】特開２０００−２１４７５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、講義等において録音のみを行った場合には、聴取者は、録音された音声を再生しただけでは、用いられた資料のどの部分を説明しているのかを把握することが困難であり、記録音声と資料内容の説明箇所とを一致させることができない場合があった。具体的には、例えば、「この部分については・・・」といった音声が録音されている場合に、録音された音声を聴いても、資料のどの部分について説明しているのかを聴取者が把握することが困難な場合が多い。そこで、講義等の録音をするとともに講義映像を録画する方法も考えられるが、この場合は講義等が長時間に及ぶほど録画データのデータ量が膨大になってしまうという問題があった。
【０００４】
本発明は上述した背景の下になされたものであり、資料を用いた会議や講義を録音する場合において、聴取者がその録音音声を聴取する際に、従来と比較して、再生される音声が資料のどの部分に対応するかを把握し易くすることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、所定のファイル形式のファイルデータを記憶するファイルデータ記憶手段と、操作者によって操作される操作手段から出力される操作信号を、前記ファイルデータに対応するアプリケーションのコマンドに変換する変換手段と、前記変換手段により変換されたコマンドを実行して、前記ファイルデータ記憶手段に記憶されたファイルデータを表す画像を表示手段に表示する表示制御手段と、収音手段から出力される音声データを所定の記憶手段に時系列に記憶するとともに、前記変換手段により変換されたコマンドを示すコマンドデータ及び前記操作手段から出力された操作信号の少なくともいずれか一方を、操作ログデータとして、タイムスタンプを付与して前記所定の記憶手段に記憶する記憶制御手段とを具備することを特徴とする音声録音装置を提供する。
【０００６】
本発明の好ましい態様において、前記操作手段から出力される操作信号に応じて、前記表示手段にポインタを表示させるポインタ表示制御手段と前記操作手段から出力される操作信号に応じて、前記ポインタの移動軌跡を算出する移動軌跡算出手段とを具備し、前記記憶制御手段は、前記移動軌跡算出手段により算出された移動軌跡を示す移動軌跡データを前記操作ログデータに付与して記憶してもよい。
【０００７】
また、本発明の更に好ましい態様において、前記記憶制御手段は、前記移動軌跡算出手段により算出された移動軌跡を示す移動軌跡データに、前記表示手段のサイズを示すサイズデータを付与して記憶してもよい。
【０００８】
また、本発明の更に好ましい態様において、前記収音手段から出力される音声データのレベルを検出し、検出したレベルが予め定められた閾値未満の状態が所定時間以上継続した場合には、該閾値以上のレベルが検出されるまで音声データの記録を停止してもよい。
【０００９】
また、本発明の更に好ましい態様において、前記操作手段から予め定められた閾値以下の時間間隔で連続して操作信号が出力された場合に、出力された複数の操作信号をひとつの操作ログデータに変換する早送り変換手段を具備してもよい。
【００１０】
また、本発明は、ファイルデータを記憶するファイルデータ記憶手段と、音声を表す音声データを記憶するとともに、前記ファイルデータのファイル形式に対応するアプリケーションのコマンドを示すコマンドデータ及び操作手段から出力される操作信号の少なくともいずれか一方を含む操作ログデータであってタイムスタンプが付与された操作ログデータを記憶する音声データ記憶手段と、実行されるコマンドに従って、前記ファイルデータの表す画像を表示手段に表示させる表示制御手段と、前記音声データ記憶手段に記憶された音声データを再生する再生手段と、前記音声データ記憶手段に記憶された操作ログデータに応じて、前記再生手段により再生される音声データに同期させて、該操作ログデータに対応するコマンドを実行するコマンド実行手段とを具備することを特徴とする音声再生装置を提供する。
【００１１】
上述の音声再生装置の好ましい態様において、操作手段から操作信号が出力されたときに、該出力された操作信号に応じて、前記ファイルデータの表示内容を変更する表示内容変更手段と、前記再生手段により再生される音声データの再生位置を、前記表示内容変更手段によって変更された表示内容に対応する時刻に変更する音声再生位置変更手段とを具備してもよい。
【００１２】
また、上述の音声再生装置の更に好ましい態様において、前記再生手段により再生されている音声データの再生位置と前記操作ログデータ特定手段により特定された操作ログデータに付与されたタイムスタンプの位置との間の時間に対応する操作ログデータがある場合には、該操作ログデータに対応するコマンドを、予め定められた時間毎に実行するコマンド実行手段を具備してもよい。
【００１３】
また、上述の音声再生装置の更に好ましい態様において、前記操作ログデータは、前記表示手段に表示されるポインタの移動軌跡を示す移動軌跡データを含み、前記移動軌跡データの示す移動軌跡に従って、前記表示手段にポインタを表示させるポインタ表示制御手段を具備してもよい。
【００１４】
また、上述の音声再生装置の更に好ましい態様において、前記操作ログデータは、前記表示手段に表示されるポインタの移動軌跡を示す移動軌跡データと、該移動軌跡データが生成された際に用いられた表示手段のサイズを示すサイズデータとを含み、前記表示手段のサイズを取得するサイズ取得手段と、前記移動軌跡データを、前記サイズデータの示すサイズと前記サイズ取得手段により取得されたサイズとの比率に従って変換する移動軌跡データ変換手段とを具備し、前記ポインタ表示制御手段は、前記移動軌跡データ変換手段により変換された移動軌跡データに従って、前記ポインタを前記表示手段に表示させてもよい。
【発明の効果】
【００１５】
本発明によれば、資料を用いた会議や講義を録音する場合において、聴取者がその録音音声を聴取する際に、従来と比較して、再生される音声が資料のどの部分に対応するかを把握し易くすることができる。
【発明を実施するための最良の形態】
【００１６】
＜Ａ：構成＞
＜Ａ−１：コンピュータ装置１の構成＞
図１は、この発明の一実施形態であるコンピュータ装置１のハードウェア構成を例示したブロック図である。このコンピュータ装置１は、講師や発表者等が講義や発表等を行う際に用いる装置であり、例えばパーソナルコンピュータである。コンピュータ装置１には、講義の際に用いる各種の資料を示す資料データ（ファイルデータ）が記憶されており、講師等は、コンピュータ装置１に記憶された資料データを用いて資料を聴取者に提示しつつ講義等を行う。図において、ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２又は記憶部１４に記憶されているコンピュータプログラムを読み出してＲＡＭ（Random Access Memory）１３にロードし、これを実行することにより、コンピュータ装置１の各部を制御する。記憶部１４は、例えばハードディスクなどの大容量の記憶手段であり、アプリケーションプログラムＰ１，Ｐ２，Ｐ３等の、ＣＰＵ１１によって実行される各種のアプリケーションプログラムを記憶している。
【００１７】
表示部１５は、例えば液晶ディスプレイなどであり、ＣＰＵ１１の制御の下で、コンピュータ装置１を操作するためのメニュー画面や、資料データの示す資料画像などの各種の画面を表示する。操作部１６は、マウスやキーボードを備え、操作された内容に応じた信号をＣＰＵ１１へ出力する。マイクロホン１７は、講師が発した音声を収音し、音声信号（アナログ信号）を出力する。音声処理部１８は、マイクロホン１７が出力する音声信号（アナログ信号）をＡ／Ｄ変換によりデジタルデータに変換してＣＰＵ１１に出力する。また、音声処理部１８は、ＣＰＵ１１から供給されるデジタルデータをＤ／Ａ変換によりアナログ信号に変換してスピーカ１９に供給する。スピーカ１９は、音声処理部１８から出力されるアナログ信号に応じた強度で放音する。
【００１８】
なお、この実施形態では、マイクロホン１７とスピーカ１９とがコンピュータ装置１に含まれている場合について説明するが、音声処理部１８に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１７から音声処理部１８へ入力されるオーディオ信号及び音声処理部１８からスピーカ１９へ出力されるオーディオ信号がアナログオーディオ信号である場合について説明するが、デジタルオーディオデータを入出力するようにしても良い。このような場合には、音声処理部１８にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。表示部１５についても同様であり、外部出力端子を設け、外部モニタを接続する構成としてもよい。
【００１９】
記憶部１４は、資料データ記憶領域１４１と、音声データ記憶領域１４２と、操作ログデータ記憶領域１４３とを有している。記憶部１４の資料データ記憶領域１４１には、講義で使用される資料を示す資料データＤ１，資料データＤ２，資料データＤ３が記憶されている。講師は、操作部１６を用いてこれらの資料データの示す資料を表示部１５に表示する旨の操作を行い、ＣＰＵ１１は、操作部１６から供給される信号に応じて、資料データの示す資料を表示部１５に表示する。これらの資料データＤ１，Ｄ２，Ｄ３は、それぞれ異なるアプリケーションプログラムに対応したファイルである。具体的には、資料データＤ１はアプリケーションプログラムＰ１を実行することにより作成されたファイルであり、資料データＤ２はアプリケーションプログラムＰ２を実行することにより作成されたファイルであり、資料データＤ３はアプリケーションプログラムＰ３を実行することにより作成されたファイルである。
【００２０】
記憶部１４の音声データ記憶領域１４２には、録音される音声を表す音声データが記憶される。操作ログデータ記憶領域１４３には、講師がコンピュータ装置１を操作した操作内容を示す操作ログデータが記憶される。図２は、操作ログデータの内容の一例を示す図である。操作ログデータは、図示のように、「操作ログデータ」と「タイムスタンプ」との各項目が互いに関連付けられて構成されている。これらの項目のうち、「操作ログデータ」の項目には、実行されたコマンド（例えば、「ファイルを開く」、「１ページ後ろに移動」、等）を示すコマンドデータが操作ログデータとして記憶される。「タイムスタンプ」の項目には、録音開始からの経過時間を示すデータが記憶される。
【００２１】
次に、図３に示すブロック図を参照しながら、コンピュータ装置１の機能的構成について説明する。図３に示したアプリケーション１１１，アプリケーション１１２，アプリケーション１１３，録音部１１４及び操作ログ記録部１１５は、ＣＰＵ１１がＲＯＭ１２又は記憶部１４に記憶されたコンピュータプログラムを実行することによって実現される。なお、図中の矢印は、データの流れを概略的に示したものである。
【００２２】
図３において、アプリケーション１１１は、資料データＤ１のファイル形式のファイルデータを作成・編集するためのアプリケーションである。アプリケーション１１１は、操作部１６からの操作信号を自アプリのコマンドに変換し、変換したコマンドを実行して、ファイルの作成・編集を行う。また、アプリケーション１１１は、変換したコマンドを実行して表示部１５の表示内容を変更する。
【００２３】
アプリケーション１１２は、資料データＤ２のファイル形式のファイルデータを作成・編集するためのアプリケーションである。アプリケーション１１２は、操作部１６からの操作信号を自アプリのコマンドに変換し、変換したコマンドを実行して、ファイルの作成・編集を行う。また、アプリケーション１１２は、変換したコマンドを実行して表示部１５の表示内容を変更する。
【００２４】
アプリケーション１１３は、資料データＤ３のファイル形式のファイルデータを作成・編集するためのアプリケーションである。アプリケーション１１３は、操作部１６からの操作信号を自アプリのコマンドに変換し、変換したコマンドを実行して、ファイルの作成・編集を行う。また、アプリケーション１１３は、変換したコマンドを実行して表示部１５の表示内容を変更する。
【００２５】
録音部１１４は、操作部１６からの録音開始・終了を指示する信号に応じて、マイクロホン１７によって収音した音声を表す音声データを時系列に記憶する。操作ログ記録部１１５は、アプリケーション１１１，１１２，１１３のそれぞれで変換されたコマンドを示すコマンドデータを、操作ログデータとして、タイムスタンプを付与して、操作ログデータ記憶領域１４３に時系列に記録する。
【００２６】
＜Ａ−２：コンピュータ装置２の構成＞
次に、コンピュータ装置２の構成を説明する。図４は、コンピュータ装置２のハードウェア構成を例示したブロック図である。このコンピュータ装置２は、講義や発表会の聴取者が用いる装置であり、例えばパーソナルコンピュータである。図において、ＣＰＵ２１，ＲＯＭ２２，ＲＡＭ２３，記憶部２４，表示部２５，操作部２６，マイクロホン２７，音声処理部２８，スピーカ２９は、上述したコンピュータ装置１の各部の構成と同様であり、ここではその詳細な説明を省略する。
【００２７】
記憶部２４は、図示のように、資料データ記憶領域２４１と、音声データ記憶領域２４２と、操作ログデータ記憶領域２４３とを有している。資料データ記憶領域２４１には、講義の際に用いられた資料を示す資料データが記憶されている。音声データ記憶領域２４２には、講義の音声を示す音声データが記憶されている。操作ログデータ記憶領域２４３には、講師の操作内容を示す操作ログデータが記憶されている。これらの資料データ、音声データ及び操作ログデータは、上述したコンピュータ装置１に記憶されるものと同様であり、ここではその詳細な説明を省略する。
【００２８】
次に、コンピュータ装置２の機能的構成について、図５を参照しつつ説明する。図５において、アプリケーション２１１，２１２，２１３は、上述のコンピュータ装置１で示したアプリケーション１１１，１１２，１１３と同様であり、ここではその詳細な説明を省略する。音声再生部２１４は、音声データ記憶領域２４２に記憶された音声データを再生する。操作ログ再生部２１５操作ログデータ記憶領域２４３に記憶された操作ログデータに応じて、音声再生部２１４によって再生される音声データに同期させて、操作ログデータに対応するコマンドを実行する。
【００２９】
＜Ｂ：動作＞
＜Ｂ−１：録音動作＞
次に、コンピュータ装置１の動作について説明する。まず、講師は、コンピュータ装置１の操作部１６を操作して、録音を開始するための操作を行う。操作部１６は操作された内容に応じた信号をＣＰＵ１１へ出力し、ＣＰＵ１１は、操作部１６から供給される信号に応じて、録音を開始する。講師の音声はマイクロホン１７によって収音されて音声信号に変換され、音声処理部１８へと出力される。音声処理部１８によってＡ／Ｄ変換された音声データは、録音開始からの経過時間を示す情報と共に、音声データ記憶領域１４２に時系列に記憶（録音）されていく。
【００３０】
講師は、講義を行っている最中において、操作部１６を操作して資料を表示部１５に表示することによって、聴取者に資料を提示する。操作部１６は、操作された内容に応じた操作信号を出力し、ＣＰＵ１１は、操作部１６から出力される信号を、起動中のアプリケーションのコマンドに変換し、変換したコマンドを実行して、コマンドに応じた画像を表示部１５に表示する。
【００３１】
このとき、ＣＰＵ１１は、実行したコマンドを示すコマンドデータを、操作ログデータとして、操作ログデータ記憶領域１４３に、タイムスタンプを付与して記憶する。このとき、ＣＰＵ１１は、録音開始からの経過時間を示す情報をタイムスタンプとして操作ログデータに付与する。
【００３２】
講義を終えると、講師は、操作部１６を用いて講義を終了する旨の操作を行う。ＣＰＵ１１は、操作部１６からの信号に応じて、音声データと操作ログデータの記録を停止する。以上により、コンピュータ装置１には、講義の内容を表す音声データと、講師の操作履歴（コマンドの実行履歴）を表す操作ログデータとが記憶される。この操作ログデータは、録音開始からの経過時間を示すタイムスタンプが付与されているから、音声データと操作ログデータとは時間的に対応付けられたデータとして管理することができる。
【００３３】
講義終了後、講師は、コンピュータ装置１に記憶された資料データと操作ログデータとを、聴取者に配布する。この配布の態様としては、資料データと操作ログデータとを、コンピュータが読取可能な記録媒体（ＣＤ−ＲＯＭ、ＵＳＢメモリ、フレキシブルディスク、等）に記録して配布してもよく、また、例えば、インターネットのようなネットワーク経由で、聴取者が用いるコンピュータ装置２にダウンロードさせるようにしてもよい。
【００３４】
＜Ｂ−２：再生動作＞
次に、コンピュータ装置１で記録された音声データと操作ログデータの再生動作について説明する。講義の聴取者は、コンピュータ装置２の操作部２６を操作して、音声の再生を開始するための操作を行う。操作部２６は操作された内容に応じた信号をＣＰＵ２１へ出力し、ＣＰＵ２１は、操作部２６から供給される信号に応じて音声の再生を開始する。これにより、コンピュータ装置２のスピーカ２９からは、録音された講義音声が放音される。
【００３５】
このとき、ＣＰＵ２１は、操作ログデータに含まれるタイムスタンプを参照して、再生する音声データに同期させて、操作ログデータに対応するコマンドを実行し、コマンドに応じた画像を表示部２５に表示する。これにより、表示部２５には、再生される音声に同期して、再生されている音声に対応する資料が表示される。ＣＰＵ２１は、音声データの再生を終えるまで、操作ログデータに含まれるタイムスタンプの示す時刻に、そのタイムスタンプに対応するコマンドを実行する。これにより、コンピュータ装置２のスピーカ２９からは講義音声が放音されるとともに、コンピュータ装置２の表示部２５には、放音される講義音声の録音時刻に表示されていた資料が表示される。
【００３６】
このように、本実施形態によれば、コンピュータ装置１が、音声を録音する際に、操作履歴を示す操作ログデータにタイムスタンプを付与して記録するとともに、コンピュータ装置２が、音声を再生する際に、操作ログデータのタイムスタンプを参照して、再生中の音声に同期させてアプリケーションを実行するから、これにより、聴取者は、表示部２５に表示される資料を参照しつつ録音音声を聴くことができる。すなわち、聴取者は、再生される音声がどの資料のどの部分に対応するかを把握しながら音声を聴くことができる。
【００３７】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述の実施形態では、操作ログデータとして、コンピュータ装置１が実行したアプリケーションのコマンドをコマンドデータを用いたが、操作ログデータはこれに限らず、例えば、操作部１６から出力された操作信号（例えば、どのキーが押下されたかを示す信号、等）を操作ログデータとして用いてもよい。また、コマンドデータと操作信号とを併用して操作ログデータとして用いてもよい。
【００３８】
また、上述の実施形態において、マウスの操作によるポインタの移動軌跡を操作ログデータとして記録するようにしてもよい。この場合は、ＣＰＵ１１が、マウスから出力される操作信号に応じて表示部１５にポインタを表示するとともに、このポインタの移動軌跡を操作ログデータとして時系列に記録するようにしてもよい。この場合は、コンピュータ装置２は、記録された操作ログデータの示す移動軌跡に従って表示部２５に表示するポインタを移動させるようにすればよい。このようにすることで、聴取者は、表示される資料と再生音声とをより好適に対応付けて把握することができる。
【００３９】
また、上述のようにポインタの移動軌跡を記録する場合において、コンピュータ装置１が、表示部１５の表示領域のサイズを示すサイズデータを操作ログデータに付与するようにしてもよい。このようにすることで、コンピュータ装置１の表示部１５（記録側）の表示領域のサイズとコンピュータ装置２の表示部２５（再生側）の表示領域のサイズとが異なる場合であっても、ポインタの移動軌跡を再生側の表示領域のサイズにあうように調整することができる。この場合は、具体的には、コンピュータ装置２のＣＰＵ２１が、表示部２５の表示領域のサイズを取得し、操作ログデータに含まれるサイズデータの示すサイズ（記録側のサイズ）と取得したサイズ（再生側のサイズ）との比率に従って、移動軌跡データを変換し、変換した移動軌跡データに従って表示部２５に表示するポインタを移動させるようにすればよい。このようにすることで、マウス等のポインタの移動軌跡も記録してコンピュータ装置２で再現することができる。
【００４０】
（２）また、上述の実施形態において、コンピュータ装置１のＣＰＵ１１が、マイクロホン１７から出力される音声データの音圧レベルを検出し、検出した音圧レベルが予め定められた閾値以下の状態が所定時間以上継続した場合に、該閾値未満のレベルが検出されるまで音声データの記録を停止するようにしてもよい。このようにすることで、録音が必要ない期間（例えば、休憩期間等）の録音を行わないようにすることができ、音声データのデータ量を削減することができる。
【００４１】
（３）上述の実施形態において、操作部１６から、予め定められた閾値以下の時間間隔で連続して操作信号が出力された場合に、出力された複数の信号をひとつの操作ログデータに変換するようにしてもよい。このようにすることで、操作ログデータのデータ量を削減することができる。
【００４２】
（４）また、上述の実施形態において、聴取者が、音声の再生中に、操作部２６を操作して音声の再生箇所を変更できるようにしてもよい。具体的には、例えば、ある資料のあるページについての説明を聴きたい場合がある。この場合、聴取者が、操作部２６を用いて資料の表示内容を変更する操作を行うと、ＣＰＵ２１は、操作部２６から出力される操作信号に応じて、ファイルデータの表示内容を変更する。それとともに、ＣＰＵ２１は、再生している音声データの再生位置を、変更された表示内容に対応する位置（時刻）に変更する。
【００４３】
ここで、この動作の具体例について図６を参照しつつ説明する。この動作例では、操作ログデータの内容が図６に例示する場合の動作例について説明する。この場合、時刻ｔ１の音声データを再生している最中において、聴取者が、資料データａの３ページ目を表示する操作を行ったとする。時刻ｔ１に対応する資料データは、資料データｂの２ページ目であるから、時刻ｔ１の音声データを再生している最中は、表示部２５には資料データｂの２ページ目が表示される。ここで、聴取者が、資料データａの３ページ目を表示する操作を行うと、ＣＰＵ２１は、操作部２６からの操作信号を実行中のアプリケーションのコマンドに変換し、変換したコマンドを操作ログデータ記憶領域２４３から検索し、検索されたコマンドに対応するタイムスタンプを読み出す。そして、ＣＰＵ２１は、表示部１５に資料データａの３ページ目を表示するとともに、音声データの再生位置を、読み出したタイムスタンプの示す時刻、すなわち資料データａの３ページ目に対応する時刻ｔ２に変更する。これにより、聴取者は、自身が聴取したい資料の説明を、簡単な操作で聴取することができる。
【００４４】
また、このように音声データの再生位置を変更された表示内容に対応する位置に変更する場合に、再生中の位置と特定された位置との間の時間に、対応する操作ログデータがある場合には、ＣＰＵ２１が、その操作ログデータに対応するコマンドを、予め定められた時間ごとに実行するようにしてもよい。
【００４５】
（５）上述の実施形態におけるコンピュータ装置１のＣＰＵ１１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でコンピュータ装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４６】
【図１】コンピュータ装置のハードウェア構成の一例を示すブロック図である。
【図２】操作ログデータの内容の一例を示す図である。
【図３】コンピュータ装置の機能的構成の一例を示す図である。
【図４】コンピュータ装置のハードウェア構成の一例を示すブロック図である。
【図５】コンピュータ装置の機能的構成の一例を示す図である。
【図６】操作ログデータの内容の一例を示す図である。
【符号の説明】
【００４７】
１…コンピュータ装置、１１，２１…ＣＰＵ、１２，２２…ＲＯＭ、１３，２３…ＲＡＭ、１４，２４…記憶部、１５，２５…表示部、１６，２６…操作部、１７，２７…マイクロホン、１８，２８…音声処理部、１９，２９…スピーカ、１１１，１１２，１１３…アプリケーション、１１４…録音部、１１５…操作ログ記録部、１４１，２４１…資料データ記憶領域、１４２，２４２…音声データ記憶領域、１４３，２４３…操作ログデータ記憶領域、２１４…音声再生部、２１５…操作ログ再生部。
【特許請求の範囲】
【請求項１】
所定のファイル形式のファイルデータを記憶するファイルデータ記憶手段と、
操作者によって操作される操作手段から出力される操作信号を、前記ファイルデータに対応するアプリケーションのコマンドに変換する変換手段と、
前記変換手段により変換されたコマンドを実行して、前記ファイルデータ記憶手段に記憶されたファイルデータを表す画像を表示手段に表示する表示制御手段と、
収音手段から出力される音声データを所定の記憶手段に時系列に記憶するとともに、前記変換手段により変換されたコマンドを示すコマンドデータ及び前記操作手段から出力された操作信号の少なくともいずれか一方を、操作ログデータとして、タイムスタンプを付与して前記所定の記憶手段に記憶する記憶制御手段と
を具備することを特徴とする音声録音装置。
【請求項２】
前記操作手段から出力される操作信号に応じて、前記表示手段にポインタを表示させるポインタ表示制御手段と
前記操作手段から出力される操作信号に応じて、前記ポインタの移動軌跡を算出する移動軌跡算出手段と
を具備し、
前記記憶制御手段は、前記移動軌跡算出手段により算出された移動軌跡を示す移動軌跡データを前記操作ログデータに付与して記憶する
ことを特徴とする請求項１に記載の音声録音装置。
【請求項３】
前記記憶制御手段は、前記移動軌跡算出手段により算出された移動軌跡を示す移動軌跡データに、前記表示手段のサイズを示すサイズデータを付与して記憶する
ことを特徴とする請求項２に記載の音声録音装置。
【請求項４】
前記収音手段から出力される音声データのレベルを検出し、検出したレベルが予め定められた閾値未満の状態が所定時間以上継続した場合には、該閾値以上のレベルが検出されるまで音声データの記録を停止する
ことを特徴とする請求項１乃至３のいずれか１項に記載の音声録音装置。
【請求項５】
前記操作手段から予め定められた閾値以下の時間間隔で連続して操作信号が出力された場合に、出力された複数の操作信号をひとつの操作ログデータに変換する早送り変換手段
を具備することを特徴とする請求項１乃至４のいずれか１項に記載の音声録音装置。
【請求項６】
ファイルデータを記憶するファイルデータ記憶手段と、
音声を表す音声データを記憶するとともに、前記ファイルデータのファイル形式に対応するアプリケーションのコマンドを示すコマンドデータ及び操作手段から出力される操作信号の少なくともいずれか一方を含む操作ログデータであってタイムスタンプが付与された操作ログデータを記憶する音声データ記憶手段と、
実行されるコマンドに従って、前記ファイルデータの表す画像を表示手段に表示させる表示制御手段と、
前記音声データ記憶手段に記憶された音声データを再生する再生手段と、
前記音声データ記憶手段に記憶された操作ログデータに応じて、前記再生手段により再生される音声データに同期させて、該操作ログデータに対応するコマンドを実行するコマンド実行手段と
を具備することを特徴とする音声再生装置。
【請求項７】
操作手段から操作信号が出力されたときに、該出力された操作信号に応じて、前記ファイルデータの表示内容を変更する表示内容変更手段と、
前記再生手段により再生される音声データの再生位置を、前記表示内容変更手段によって変更された表示内容に対応する時刻に変更する音声再生位置変更手段と
を具備することを特徴とする請求項６に記載の音声再生装置。
【請求項８】
前記再生手段により再生されている音声データの再生位置と前記操作ログデータ特定手段により特定された操作ログデータに付与されたタイムスタンプの位置との間の時間に対応する操作ログデータがある場合には、該操作ログデータに対応するコマンドを、予め定められた時間毎に実行するコマンド実行手段
を具備することを特徴とする請求項７に記載の音声再生装置。
【請求項９】
前記操作ログデータは、前記表示手段に表示されるポインタの移動軌跡を示す移動軌跡データを含み、
前記移動軌跡データの示す移動軌跡に従って、前記表示手段にポインタを表示させるポインタ表示制御手段
を具備することを特徴とする請求項６乃至８のいずれか１項に記載の音声再生装置。
【請求項１０】
前記操作ログデータは、前記表示手段に表示されるポインタの移動軌跡を示す移動軌跡データと、該移動軌跡データが生成された際に用いられた表示手段のサイズを示すサイズデータとを含み、
前記表示手段のサイズを取得するサイズ取得手段と、
前記移動軌跡データを、前記サイズデータの示すサイズと前記サイズ取得手段により取得されたサイズとの比率に従って変換する移動軌跡データ変換手段と
を具備し、
前記ポインタ表示制御手段は、前記移動軌跡データ変換手段により変換された移動軌跡データに従って、前記ポインタを前記表示手段に表示させる
ことを特徴とする請求項９に記載の音声再生装置。
【請求項１】
所定のファイル形式のファイルデータを記憶するファイルデータ記憶手段と、
操作者によって操作される操作手段から出力される操作信号を、前記ファイルデータに対応するアプリケーションのコマンドに変換する変換手段と、
前記変換手段により変換されたコマンドを実行して、前記ファイルデータ記憶手段に記憶されたファイルデータを表す画像を表示手段に表示する表示制御手段と、
収音手段から出力される音声データを所定の記憶手段に時系列に記憶するとともに、前記変換手段により変換されたコマンドを示すコマンドデータ及び前記操作手段から出力された操作信号の少なくともいずれか一方を、操作ログデータとして、タイムスタンプを付与して前記所定の記憶手段に記憶する記憶制御手段と
を具備することを特徴とする音声録音装置。
【請求項２】
前記操作手段から出力される操作信号に応じて、前記表示手段にポインタを表示させるポインタ表示制御手段と
前記操作手段から出力される操作信号に応じて、前記ポインタの移動軌跡を算出する移動軌跡算出手段と
を具備し、
前記記憶制御手段は、前記移動軌跡算出手段により算出された移動軌跡を示す移動軌跡データを前記操作ログデータに付与して記憶する
ことを特徴とする請求項１に記載の音声録音装置。
【請求項３】
前記記憶制御手段は、前記移動軌跡算出手段により算出された移動軌跡を示す移動軌跡データに、前記表示手段のサイズを示すサイズデータを付与して記憶する
ことを特徴とする請求項２に記載の音声録音装置。
【請求項４】
前記収音手段から出力される音声データのレベルを検出し、検出したレベルが予め定められた閾値未満の状態が所定時間以上継続した場合には、該閾値以上のレベルが検出されるまで音声データの記録を停止する
ことを特徴とする請求項１乃至３のいずれか１項に記載の音声録音装置。
【請求項５】
前記操作手段から予め定められた閾値以下の時間間隔で連続して操作信号が出力された場合に、出力された複数の操作信号をひとつの操作ログデータに変換する早送り変換手段
を具備することを特徴とする請求項１乃至４のいずれか１項に記載の音声録音装置。
【請求項６】
ファイルデータを記憶するファイルデータ記憶手段と、
音声を表す音声データを記憶するとともに、前記ファイルデータのファイル形式に対応するアプリケーションのコマンドを示すコマンドデータ及び操作手段から出力される操作信号の少なくともいずれか一方を含む操作ログデータであってタイムスタンプが付与された操作ログデータを記憶する音声データ記憶手段と、
実行されるコマンドに従って、前記ファイルデータの表す画像を表示手段に表示させる表示制御手段と、
前記音声データ記憶手段に記憶された音声データを再生する再生手段と、
前記音声データ記憶手段に記憶された操作ログデータに応じて、前記再生手段により再生される音声データに同期させて、該操作ログデータに対応するコマンドを実行するコマンド実行手段と
を具備することを特徴とする音声再生装置。
【請求項７】
操作手段から操作信号が出力されたときに、該出力された操作信号に応じて、前記ファイルデータの表示内容を変更する表示内容変更手段と、
前記再生手段により再生される音声データの再生位置を、前記表示内容変更手段によって変更された表示内容に対応する時刻に変更する音声再生位置変更手段と
を具備することを特徴とする請求項６に記載の音声再生装置。
【請求項８】
前記再生手段により再生されている音声データの再生位置と前記操作ログデータ特定手段により特定された操作ログデータに付与されたタイムスタンプの位置との間の時間に対応する操作ログデータがある場合には、該操作ログデータに対応するコマンドを、予め定められた時間毎に実行するコマンド実行手段
を具備することを特徴とする請求項７に記載の音声再生装置。
【請求項９】
前記操作ログデータは、前記表示手段に表示されるポインタの移動軌跡を示す移動軌跡データを含み、
前記移動軌跡データの示す移動軌跡に従って、前記表示手段にポインタを表示させるポインタ表示制御手段
を具備することを特徴とする請求項６乃至８のいずれか１項に記載の音声再生装置。
【請求項１０】
前記操作ログデータは、前記表示手段に表示されるポインタの移動軌跡を示す移動軌跡データと、該移動軌跡データが生成された際に用いられた表示手段のサイズを示すサイズデータとを含み、
前記表示手段のサイズを取得するサイズ取得手段と、
前記移動軌跡データを、前記サイズデータの示すサイズと前記サイズ取得手段により取得されたサイズとの比率に従って変換する移動軌跡データ変換手段と
を具備し、
前記ポインタ表示制御手段は、前記移動軌跡データ変換手段により変換された移動軌跡データに従って、前記ポインタを前記表示手段に表示させる
ことを特徴とする請求項９に記載の音声再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−１８７４６２（Ｐ２００９−１８７４６２Ａ）
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願番号】特願２００８−２９１４７（Ｐ２００８−２９１４７）
【出願日】平成２０年２月８日（２００８．２．８）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願日】平成２０年２月８日（２００８．２．８）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]