表示制御装置および表示制御処理プログラム
【課題】音声，テキスト，画像などのデータを同期出力するための音声表示出力制御装置であり、テキストデータと音声データと画像データとの同期出力に際し、音声出力、テキスト表示、発音用画像表示を簡単に同期して出力する。
【解決手段】複数の会話パートからなるテキスト・音声・画像の同期再生出力が行われる場合に、再生対象となる複数の会話などのパート別のテキスト表示に従って、表示中の複数の人物画像Ｍ１，Ｍ２，Ｍ３中の口位置に、読み上げられている文字に対応する口画像を表示するので、ユーザはどの人物画像がどのパートの文字部分を読み上げているのかを確実に知ることができ、より効果的に会話などの練習を行うことができる。
【解決手段】複数の会話パートからなるテキスト・音声・画像の同期再生出力が行われる場合に、再生対象となる複数の会話などのパート別のテキスト表示に従って、表示中の複数の人物画像Ｍ１，Ｍ２，Ｍ３中の口位置に、読み上げられている文字に対応する口画像を表示するので、ユーザはどの人物画像がどのパートの文字部分を読み上げているのかを確実に知ることができ、より効果的に会話などの練習を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声，テキスト，画像などのデータを同期出力するための音声表示出力制御装置、編集装置、音声テキスト再生装置、および音声表示出力制御処理プログラム、編集処理プログラム、音声テキスト再生処理プログラムに関する。
【背景技術】
【０００２】
従来、音楽，テキスト，画像などを同時並行して再生する技術としては、例えばＭＰＥＧ−３により情報圧縮された音声ファイルのフレーム毎に、当該各フレームに設けられた付加データエリアに対して、音声ファイルに同期再生すべきテキストファイルや画像ファイルの同期情報を埋め込んでおくことにより、例えばカラオケの場合では、カラオケ音声とそのイメージ画像および歌詞のテキストを同期再生するものがある。
【０００３】
また、音声に対する文字の時間的な対応情報が予め用意されていることを前提に、当該音声信号の特徴量を抽出し対応する文字と関連付けて表示する装置も考えられている。（例えば、特許文献１参照。）
【０００４】
【特許文献１】特公平０６−０２５９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このように従来行われているＭＰＥＧファイルの付加データエリアを利用した複数種類のファイルの同期再生技術では、同期情報の埋め込みが主たるＭＰ３音声ファイルの各フレーム毎の付加データエリアに規定されるため、当該ＭＰ３音声ファイルを再生させない限り同期情報を取り出すことが出来ず、ＭＰ３ファイルの再生を軸としてしか他の種類のファイルの同期再生を行うことが出来ない。
【０００６】
このため、例えばＭＰ３音声ファイルにテキストファイルおよび画像ファイルの同期情報を埋め込んだ場合に、音声ファイルの再生を行わない期間にあっても無音声のデータとして音声再生処理を継続的に行っていないと同期対象テキストおよび画像の再生を行うことが出来ない問題がある。
【０００７】
例えば英会話テキストによってヒヤリング練習やリーディング練習を行う際は、テキストの表示および当該テキストの読み上げ音声の出力と共に、具体的にどのような発音をすれば良いのか明確に示すための画像表示を行う方が望ましい。しかし、このようなＭＰ３音声ファィルによる英会話テキストを作成した場合、当該ＭＰ３音声ファィルの各フレーム毎に対応部分の英文テキスト，発音表示のための画像の同期情報を埋め込んでおく必要があるばかりか、リーディング練習用として無音声期間を設定しても、前述した通り、当該無音声期間でも音声再生処理を継続して行わないと該当期間のテキスト，画像表示を行うことができない。
【０００８】
また、前記従来の特許文献１に記載の装置にあっても、音声信号に対応する文字が予め関連付けされて音声及び文字の同期再生が成されるだけであるため、音声出力及び文字を同期表示させるのと共に、対応画像を同期表示させたりすることはできない。
【０００９】
一方、カラオケのモニタなど、音声出力と同期して文字列や背景画像などを表示するものもあるが、前述したＭＰ３ファイルのように、音声，文字列，画像それぞれ別々でそのもののデータを予め合わせて組み込んだ同期再生用のファイルを作成しなければならない。
【００１０】
本発明は、前記のような問題に鑑みてなされたもので、テキストデータと音声データと画像データとの同期出力に際し、音声出力、テキスト表示、発音用画像表示を簡単に同期して出力することが可能になる音声表示出力制御装置、編集装置、音声テキスト再生装置、および音声表示出力制御処理プログラム、編集処理プログラム、音声テキスト再生処理プログラムを提供することを目的とる。
【課題を解決するための手段】
【００１１】
すなわち、本発明の請求項１に係る音声表示出力制御装置では、音声データ出力手段により出力される音声データに同期するようにテキスト同期表示制御手段によりテキストデータが表示され、この音声データに同期するように表示されるテキストの同期表示部分に対応して画像表示制御手段により口の動きを表現する画像が表示される。
【００１２】
これによれば、音声出力に対応するテキスト表示が同期するように行われるだけでなく、当該音声，テキストに対応した口の動きの表現画像をも表示できることになる。
【００１３】
また、本発明の請求項２に係る音声表示出力制御装置は、前記請求項１に係る音声表示出力制御装置にあって、前記画像表示制御手段には、前記テキストデータの各部に応じて異なる口の動きを表現した複数の画像を記憶する画像記憶手段が備えられ、前記テキスト同期表示制御手段により音声データに同期するように表示されるテキストの同期表示部分に対応した画像が前記画像記憶手段により記憶された複数の画像の中から読み出されて表示される。
【００１４】
これによれば、テキストデータの各部に応じて異なる口の動きを表現した複数の画像の中から、音声出力，テキスト表示に最も対応した口の動きの表現画像を表示できることになる。
【００１５】
また、本発明の請求項３に係る音声表示出力制御装置は、前記請求項１に係る音声表示出力制御装置にあって、前記画像表示制御手段として、画像を表示する画像表示手段と、種々の発音に応じて異なる口の動きを表現した複数の口画像を記憶する口画像記憶手段とが備えられ、テキスト同期表示制御手段により音声データに同期するように表示されるテキストの同期表示部分の発音に対応した口画像が口画像表示制御手段によって前記口画像記憶手段により記憶された複数の口画像の中から読み出され、前記画像表示手段により表示された画像の口の位置に表示される。
【００１６】
これによれば、テキストデータの各部の発音に応じて異なる口の動きを表現した複数の画像の中から、音声出力，テキスト表示部分の発音に最も対応した口の動きの表現画像を、表示されている画像の口の位置に表示できることになる。
【００１７】
また、本発明の請求項４に係る音声表示出力制御装置は、前記請求項３に係る音声表示出力制御装置にあって、前記口画像記憶手段には、種々の発音に応じて異なる口の動きを表現した複数の口画像と共に、この複数の口画像のそれぞれに対応付けて当該口の内部画像が記憶される。そして、前記口画像表示制御手段により表示された口画像に対応して、口内拡大表示手段により当該口の内部画像が読み出されて拡大表示される。
【００１８】
これによれば、テキストデータの各部の発音に応じて異なる口の動きを表現した複数の画像の中から、音声出力，テキスト表示部分の発音に最も対応した口の動きの表現画像を、表示されている画像の口の位置に表示できるだけでなく、その発音に対応する口の内部画像も明確に表示できることになる。
【００１９】
また、本発明の請求項５に係る音声表示出力制御装置は、前記請求項１乃至請求項４の何れか１項に係る音声表示出力制御装置にあって、前記テキスト同期表示制御手段には、予め設定された経過時間に従い前記テキストデータを前記音声データ出力手段により出力される音声データに同期するように表示させるための命令コードを記憶する命令コード記憶手段が備えられ、この命令コード記憶手段により記憶された命令コードに応じて、前記テキストデータが音声データに同期するように表示される。そして、前記画像表示制御手段では、前記命令コード記憶手段により記憶された命令コードに応じて音声，テキストに対応した画像の表示が行われる。
【００２０】
これによれば、命令コード記憶手段により記憶された命令コードによる設定経過時間に応じた指示に従い、テキストデータおよび当該テキストに対応した画像を音声データに同期させて表示できることになる。
【００２１】
また、本発明の請求項６に係る音声表示出力制御処理プログラムでは、当該プログラムを電子機器のコンピュータにインストールすることで、この電子機器のコンピュータにおいて、音声データ出力手段により出力される音声データに同期するようにテキスト同期表示制御手段によりテキストデータが表示され、この音声データに同期するように表示されるテキストの同期表示部分に対応して画像表示制御手段により口の動きを表現する画像が表示される。
【００２２】
これにより電子機器では、音声出力に対応するテキスト表示が同期するように行われるだけでなく、当該音声，テキストに対応した口の動きの表現画像をも表示できることになる。
【００２３】
また、本発明の請求項７に係る編集装置は、音声にテキストと画像を同期させて出力させるための対応データを編集する編集装置であって、種々の音声データに対応付けてそれぞれ異なる複数の口の画像を記憶する口画像記憶手段を有し、対応データ編集手段により、出力対象のテキストに応じた音声データに対応付けられて前記口画像記憶手段により記憶された口の画像が読み出され、当該出力対象のテキストまたは音声データの位置に対応付けて記憶される。
【００２４】
これによれば、音声にテキストと画像を同期させて出力させるための対応データとして、出力対象のテキストに応じた音声データに対応する口の画像を、当該出力対象のテキストまたは音声データの位置に対応付けて記憶し編集できることになる。
【００２５】
また、本発明の請求項８に係る音声テキスト再生装置は、前記請求項７に係る編集装置を備えた音声テキスト再生装置であって、同期再生手段により前記音声にテキストが同期されて出力されるのと共に、前記対応データ編集手段により記憶された対応データに基づいて、出力対象のテキストに対応付けられた口の画像が読み出されて表示される。
【００２６】
これによれば、編集された対応データに基づいて、音声およびテキストの同期出力に対応させた口の画像を容易に表示できることになる。
【００２７】
また、本発明の請求項９に係るテキスト再生装置では、複数の見出語と当該各見出語に対応付けて口の画像データを記憶する辞書記憶手段が備えられ、見出語検索手段により前記辞書記憶手段に記憶された見出語が検索されると、この検索された見出語と共に当該見出語に対応付けられて前記辞書記憶手段により記憶された口の画像データが表示制御手段により読み出され、その見出語の各文字と口の画像データとが順次同期表示される。
【００２８】
これによれば、辞書検索に伴い検索した見出語と共にその見出語に対応する発音口型などの口の画像データを同期して表示できることになる。
【００２９】
また、本発明の請求項１０に係る音声テキスト再生装置では、複数の見出語と当該各見出語に対応付けて音声データと口の画像データを記憶する辞書記憶手段が備えられ、見出語検索手段により前記辞書記憶手段に記憶された見出語が検索されると、この検索された見出語に対応付けられて前記辞書記憶手段により記憶された音声データが音声出力手段により出力され、また当該見出語に対応付けられて前記辞書記憶手段により記憶された口の画像データが表示制御手段により読み出され、前記音声出力に同期してその見出語と口の画像データが順次同期表示される。
【００３０】
これによれば、辞書検索に伴い検索した見出語表示と共にその見出語に対応する音声同期出力およびその発音口型などの口画像同期表示ができることになる。
【００３１】
また、本発明の請求項１１に係る編集処理プログラムでは、当該プログラムを電子機器のコンピュータにインストールすることで、この電子機器のコンピュータにおいて、種々の音声データに対応付けてそれぞれ異なる複数の口の画像を記憶する口画像記憶手段が備えられ、対応データ編集手段により、出力対象のテキストに応じた音声データに対応付けられて前記口画像記憶手段により記憶された口の画像が読み出され、当該出力対象のテキストまたは音声データの位置に対応付けて記憶される。
【００３２】
これにより電子機器では、音声にテキストと画像を同期させて出力させるための対応データとして、出力対象のテキストに応じた音声データに対応する口の画像を、当該出力対象のテキストまたは音声データの位置に対応付けて記憶し編集できることになる。
【００３３】
また、本発明の請求項１２に係る音声テキスト再生処理プログラムは、前記請求項１１に係る編集処理プログラムを備えた音声テキスト再生処理プログラムであり、当該プログラムを電子機器のコンピュータにインストールすることで、この電子機器のコンピュータにおいて、同期再生手段により音声にテキストが同期されて出力されるのと共に、対応データ編集手段により記憶された対応データに基づいて、出力対象のテキストに対応付けられた口の画像が読み出されて表示される。
【００３４】
これにより電子機器では、編集された対応データに基づいて、音声およびテキストの同期出力に対応させた口の画像を容易に表示できることになる。
【００３５】
また、本発明の請求項１３に係る音声表示出力制御装置では、テキストの発音記号と口型画像とを対応付けて複数組み記憶している第１の記憶手段と、文字と音声とを対応付けて複数組み記憶している第２の記憶手段とが備えられ、第１の制御手段により前記第２の記憶手段に記憶されている音声が外部に順次出力されると共に、この出力される音声に同期して前記第２の記憶手段に対応付けて記憶されている文字が順次識別表示される。するとこの第１の制御手段の制御により順次識別表示される文字に同期して、第２の制御手段により当該識別表示される文字の発音記号に対応して前記第１の記憶手段に対応付けて記憶されている口型画像が読み出され、この読み出された口型画像が順次切換表示される。
【００３６】
これによれば、音声を順次出力するのに同期してこれに対応記憶されている文字を順次識別表示でき、さらに、この順次識別表示される文字に同期して、当該識別表示文字の発音記号に対応した口型画像を順次切換表示できることになる。
【発明の効果】
【００３７】
以上のように、本発明の請求項１に係る音声表示出力制御装置によれば、音声データ出力手段により出力される音声データに同期するようにテキスト同期表示制御手段によりテキストデータが表示され、この音声データに同期するように表示されるテキストの同期表示部分に対応して画像表示制御手段により口の動きを表現する画像が表示されるので、音声出力に対応するテキスト表示が同期するように行われるだけでなく、当該音声，テキストに対応した口の動きの表現画像をも表示できるようになる。
【００３８】
また、本発明の請求項２に係る音声表示出力制御装置によれば、前記請求項１に係る音声表示出力制御装置にあって、前記画像表示制御手段には、前記テキストデータの各部に応じて異なる口の動きを表現した複数の画像を記憶する画像記憶手段が備えられ、前記テキスト同期表示制御手段により音声データに同期するように表示されるテキストの同期表示部分に対応した画像が前記画像記憶手段により記憶された複数の画像の中から読み出されて表示されるので、テキストデータの各部に応じて異なる口の動きを表現した複数の画像の中から、音声出力，テキスト表示に最も対応した口の動きの表現画像を表示できるようになる。
【００３９】
また、本発明の請求項３に係る音声表示出力制御装置によれば、前記請求項１に係る音声表示出力制御装置にあって、前記画像表示制御手段として、画像を表示する画像表示手段と、種々の発音に応じて異なる口の動きを表現した複数の口画像を記憶する口画像記憶手段とが備えられ、テキスト同期表示制御手段により音声データに同期するように表示されるテキストの同期表示部分の発音に対応した口画像が口画像表示制御手段によって前記口画像記憶手段により記憶された複数の口画像の中から読み出され、前記画像表示手段により表示された画像の口の位置に表示されるので、テキストデータの各部の発音に応じて異なる口の動きを表現した複数の画像の中から、音声出力，テキスト表示部分の発音に最も対応した口の動きの表現画像を、表示されている画像の口の位置に表示できるようになる。
【００４０】
また、本発明の請求項４に係る音声表示出力制御装置によれば、前記請求項３に係る音声表示出力制御装置にあって、前記口画像記憶手段には、種々の発音に応じて異なる口の動きを表現した複数の口画像と共に、この複数の口画像のそれぞれに対応付けて当該口の内部画像が記憶される。そして、前記口画像表示制御手段により表示された口画像に対応して、口内拡大表示手段により当該口の内部画像が読み出されて拡大表示されるので、テキストデータの各部の発音に応じて異なる口の動きを表現した複数の画像の中から、音声出力，テキスト表示部分の発音に最も対応した口の動きの表現画像を、表示されている画像の口の位置に表示できるだけでなく、その発音に対応する口の内部画像も明確に表示できるようになる。
【００４１】
また、本発明の請求項５に係る音声表示出力制御装置によれば、前記請求項１乃至請求項４の何れか１項に係る音声表示出力制御装置にあって、前記テキスト同期表示制御手段には、予め設定された経過時間に従い前記テキストデータを前記音声データ出力手段により出力される音声データに同期するように表示させるための命令コードを記憶する命令コード記憶手段が備えられ、この命令コード記憶手段により記憶された命令コードに応じて、前記テキストデータが音声データに同期するように表示される。そして、前記画像表示制御手段では、前記命令コード記憶手段により記憶された命令コードに応じて音声，テキストに対応した画像の表示が行われるので、命令コード記憶手段により記憶された命令コードによる設定経過時間に応じた指示に従い、テキストデータおよび当該テキストに対応した画像を音声データに同期させて表示できるようになる。
【００４２】
また、本発明の請求項６に係る音声表示出力制御処理プログラムによれば、当該プログラムを電子機器のコンピュータにインストールすることで、この電子機器のコンピュータにおいて、音声データ出力手段により出力される音声データに同期するようにテキスト同期表示制御手段によりテキストデータが表示され、この音声データに同期するように表示されるテキストの同期表示部分に対応して画像表示制御手段により口の動きを表現する画像が表示されるので、この電子機器では、音声出力に対応するテキスト表示が同期するように行われるだけでなく、当該音声，テキストに対応した口の動きの表現画像をも表示できるようになる。
【００４３】
また、本発明の請求項７に係る編集装置によれば、音声にテキストと画像を同期させて出力させるための対応データを編集する編集装置であって、種々の音声データに対応付けてそれぞれ異なる複数の口の画像を記憶する口画像記憶手段を有し、対応データ編集手段により、出力対象のテキストに応じた音声データに対応付けられて前記口画像記憶手段により記憶された口の画像が読み出され、当該出力対象のテキストまたは音声データの位置に対応付けて記憶されるので、音声にテキストと画像を同期させて出力させるための対応データとして、出力対象のテキストに応じた音声データに対応する口の画像を、当該出力対象のテキストまたは音声データの位置に対応付けて記憶し編集できるようになる。
【００４４】
また、本発明の請求項８に係る音声テキスト再生装置によれば、前記請求項７に係る編集装置を備えた音声テキスト再生装置であって、同期再生手段により前記音声にテキストが同期されて出力されるのと共に、前記対応データ編集手段により記憶された対応データに基づいて、出力対象のテキストに対応付けられた口の画像が読み出されて表示されるので、編集された対応データに基づいて、音声およびテキストの同期出力に対応させた口の画像を容易に表示できるようになる。
【００４５】
また、本発明の請求項９に係るテキスト再生装置によれば、複数の見出語と当該各見出語に対応付けて口の画像データを記憶する辞書記憶手段が備えられ、見出語検索手段により前記辞書記憶手段に記憶された見出語が検索されると、この検索された見出語と共に当該見出語に対応付けられて前記辞書記憶手段により記憶された口の画像データが表示制御手段により読み出され、その見出語の各文字と口の画像データとが順次同期表示されるので、辞書検索に伴い検索した見出語と共にその見出語に対応する発音口型などの口の画像データを同期して表示できるようになる。
【００４６】
また、本発明の請求項１０に係る音声テキスト再生装置によれば、複数の見出語と当該各見出語に対応付けて音声データと口の画像データを記憶する辞書記憶手段が備えられ、見出語検索手段により前記辞書記憶手段に記憶された見出語が検索されると、この検索された見出語に対応付けられて前記辞書記憶手段により記憶された音声データが音声出力手段により出力され、また当該見出語に対応付けられて前記辞書記憶手段により記憶された口の画像データが表示制御手段により読み出され、前記音声出力に同期してその見出語と口の画像データが順次同期表示されるので、辞書検索に伴い検索した見出語表示と共にその見出語に対応する音声同期出力およびその発音口型などの口画像同期表示ができるようになる。
【００４７】
また、本発明の請求項１１に係る編集処理プログラムによれば、当該プログラムを電子機器のコンピュータにインストールすることで、この電子機器のコンピュータにおいて、種々の音声データに対応付けてそれぞれ異なる複数の口の画像を記憶する口画像記憶手段が備えられ、対応データ編集手段により、出力対象のテキストに応じた音声データに対応付けられて前記口画像記憶手段により記憶された口の画像が読み出され、当該出力対象のテキストまたは音声データの位置に対応付けて記憶されるので、この電子機器では、音声にテキストと画像を同期させて出力させるための対応データとして、出力対象のテキストに応じた音声データに対応する口の画像を、当該出力対象のテキストまたは音声データの位置に対応付けて記憶し編集できるようになる。
【００４８】
また、本発明の請求項１２に係る音声テキスト再生処理プログラムは、前記請求項１１に係る編集処理プログラムを備えた音声テキスト再生処理プログラムであり、当該プログラムを電子機器のコンピュータにインストールすることで、この電子機器のコンピュータにおいて、同期再生手段により音声にテキストが同期されて出力されるのと共に、対応データ編集手段により記憶された対応データに基づいて、出力対象のテキストに対応付けられた口の画像が読み出されて表示される。これによりこの電子機器では、編集された対応データに基づいて、音声およびテキストの同期出力に対応させた口の画像を容易に表示できるようになる。
【００４９】
また、本発明の請求項１３に係る音声表示出力制御装置によれば、テキストの発音記号と口型画像とを対応付けて複数組み記憶している第１の記憶手段と、文字と音声とを対応付けて複数組み記憶している第２の記憶手段とが備えられ、第１の制御手段により前記第２の記憶手段に記憶されている音声が外部に順次出力されると共に、この出力される音声に同期して前記第２の記憶手段に対応付けて記憶されている文字が順次識別表示される。するとこの第１の制御手段の制御により順次識別表示される文字に同期して、第２の制御手段により当該識別表示される文字の発音記号に対応して前記第１の記憶手段に対応付けて記憶されている口型画像が読み出され、この読み出された口型画像が順次切換表示されるので、音声を順次出力するのに同期してこれに対応記憶されている文字を順次識別表示でき、さらに、この順次識別表示される文字に同期して、当該識別表示文字の発音記号に対応した口型画像を順次切換表示できるようになる。
【００５０】
よって、本発明によれば、テキストデータと音声データと画像データとの同期出力に際し、音声出力、テキスト表示、発音用画像表示を簡単に同期して出力することが可能になる音声表示出力制御装置、編集装置、音声テキスト再生装置、および音声表示出力制御処理プログラム、編集処理プログラム、音声テキスト再生処理プログラムを提供できる。
【発明を実施するための最良の形態】
【００５１】
以下、図面を参照して本発明の実施の形態について説明する。
【００５２】
（第１実施形態）
図１は本発明の音声表示出力制御装置（編集装置）（音声テキスト再生装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図である。
【００５３】
この携帯機器（ＰＤＡ：personal digital assistants）１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ（central processing unit）１１が備えられる。
【００５４】
ＣＰＵ１１は、メモリ１２内のＲＯＭ１２Ａに予め記憶されたＰＤＡ制御プログラム、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（３０）から電送制御部１５を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶されたＰＤＡ制御プログラムは、スイッチやキーからなる入力部１７ａおよびマウスやタブレットからなる座標入力装置１７ｂからのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信される通信ネットワークＮ上の他のコンピュータ端末（３０）からの通信信号、あるいはBluetooth（R）による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ：personal computer）２０からの通信信号に応じて起動される。
【００５５】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７ａ、座標入力装置１７ｂが接続される他に、ＬＣＤからなる表示部１８、マイクを備え音声を入力する音声入力部１９ａ、左右チャンネルのスピーカＬ，Ｒを備え音声を出力するステレオ音声出力部１９ｂなどが接続される。
【００５６】
また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。
【００５７】
この携帯機器１０のメモリ１２は、ＲＯＭ１２Ａ、ＦＬＡＳＨメモリ（EEP-ROM）１２Ｂ、ＲＡＭ１２Ｃを備えて構成される。
【００５８】
ＲＯＭ１２Ａには、当該携帯機器１０の全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記憶される他に、スケジュール管理プログラムやアドレス管理プログラム、そして音声・テキスト・画像などの各種のファイルを同期再生するための再生処理プログラム１２a1など、種々のＰＤＡ制御プログラムが記憶される。
【００５９】
また、ＲＯＭ１２Ａにはさらに、辞書データ１２a2、口型データ１２a3（図２参照）、および見出語音声データ１２a4が記憶される。辞書データ１２a2ｓとしては、英和辞書、和英辞書、国語辞書など、各種の辞書のデータが記憶される。
【００６０】
図２は前記携帯機器１０のＲＯＭ１２Ａに記憶される口型データ１２a3の内容を示す図である。
【００６１】
この口型データ１２a3としては、例えば英語の各発音記号とその口型番号のそれぞれに対応付けられて、正面方向から見た口型画像と、これを拡大した口の内部の横方向からの口型断面画像と、その小説明（コメント）データが記憶される。
【００６２】
なお、見出語音声データ１２a4については、後述の第２実施形態において説明する。
【００６３】
ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂには、前記再生処理プログラム１２a1に基づき再生処理の対象となる暗号化された再生用ファイル（ＣＡＳファイル）１２ｂが記憶される他に、前記スケジュール管理プログラムやアドレス管理プログラムに基づき管理されるユーザのスケジュール及び友人・知人のアドレスなどが記憶される。
【００６４】
ここで、前記FLASHメモリ（EEP-ROM）１２Ｂ内に記憶される暗号化再生用ファイル１２ｂは、例えば英語や歌の練習をテキスト・音声・画像の同期再生により行うためのファイルであり、所定のアルゴリズムにより圧縮・暗号化されている。
【００６５】
この暗号化再生用ファイル１２ｂは、例えばＣＤ−ＲＯＭに記録されて配布されたり、通信ネットワーク（インターネット）Ｎ上のファイル配信サーバ３０から配信配布されたりするもので、前記ＣＤ−ＲＯＭあるいはネットサーバ（３０）により配布された暗号化再生用ファイル１２ｂは、例えばユーザ自宅ＰＣとしての通信機器（ＰＣ）２０に読み込まれた後、携帯機器（ＰＤＡ）１０の通信部１６を介してFLASHメモリ（EEP-ROM）１２Ｂに転送格納される。
【００６６】
ＲＡＭ１２Ｃには、前記暗号化された再生用ファイル１２ｂを伸張・復号化した解読された再生用ファイル（ＣＡＳファイル）１２ｃが記憶されると共に、この解読再生ファイル１２ｃの中の画像ファイルが展開されて記憶される画像展開バッファ１２ｋが備えられる。解読されたＣＡＳファイル１２ｃは、再生命令の処理単位時間（１２c1a）を記憶するヘッダ情報（１２c1）、および後述するファイルシーケンステーブル（１２c2）、タイムコードファイル（１２c3）、コンテンツ内容データ（１２c4）で構成される。そして、ＲＡＭ１２Ｃには、この画像展開バッファ１２ｋに展開されて記憶された画像ファイルそれぞれの展開済の画像番号を示す画像展開済フラグ１２ｊが記憶される。
【００６７】
また、ＲＡＭ１２Ｃには、再生用ファイル１２ｂ（１２ｃ）の選択コンテンツにおける指定テキスト番号１２ｄ、指定されたテキスト番号に対応する英会話テキストに対しユーザにより指定された指定パート番号１２ｅ、指定されたテキスト番号に対応する英会話テキストの各英単語それぞれの全発音記号とその口型番号が前記辞書データ１２a2および口型データ１２a3から検索されて記憶されるテキスト対応発音口型データ１２ｆ（図７参照）、前記再生用ファイル１２ｂ（１２ｃ）基づき英会話テキストの各文字がその読み上げ音声と読み上げアニメ画像に同期付けられてハイライト識別表示された際に、現時点のハイライト識別文字としてリアルタイムに検知記憶されるテキストハイライト指定文字１２ｇ、そして前記再生用ファイル１２ｂ（１２ｃ）内の同期再生ファイルとして含まれる画像ファイルの同期再生する／しないを設定するための画像（オン／オフ）フラグ１２ｈ、前記再生用ファイル１２ｂ（１２ｃ）内の同期再生ファイルとして含まれる音声ファイルの同期再生する／しないを設定するための音声（オン／オフ）フラグ１２ｉが記憶される。
【００６８】
さらに、ＲＡＭ１２Ｃには、その他各種の処理に応じてＣＰＵ１１に入出力される種々のデータを一時記憶するためワークエリアが用意される。
【００６９】
図３は前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２c3を示す図である。
【００７０】
図４は前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２c2を示す図である。
【００７１】
図５は前記携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２c4を示す図である。
【００７２】
この携帯機器１０の再生対象ファイルとなる再生用ファイル１２ｂ（１２ｃ）は、図３〜図５で示すように、タイムコードファイル１２c3とファイルシーケンステーブル１２c2とコンテンツ内容データ１２c4との組み合わせにより構成される。
【００７３】
図３で示すタイムコードファイル１２c3には、個々のファイル毎に予め設定される一定時間間隔の元の（基準）処理単位時間（例えば２５ｍｓ）で各種ファイル同期再生のコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるファイル内容（図５参照）を対応付けするためのファイルシーケンステーブル１２c2（図４）の参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。
【００７４】
なお、このタイムコードに従い順次コマンド処理を行うための一定時間間隔の元の（基準）処理単位時間１２c1aは、当該タイムコードファイル１２c3のヘッダ情報１２c1に記述設定される。
【００７５】
例えば図３で示すタイムコードファイル１２c3からなる再生用ファイル１２ｂ（１２ｃ）のファイル再生時間は、予め設定された元の（基準）処理単位時間が２５ｍｓである場合、２４００ステップのタイムコードからなる再生処理を経て６０秒間となる。
【００７６】
図４で示すファイルシーケンステーブル１２c2は、複数種類のファイル（ＨＴＭＬ／画像／テキスト／音声）の各種類毎に、前記タイムコードファイル１２c3（図３参照）に記述される各コマンドのパラメータデータと実際のファイル内容の格納先（ＩＤ）番号とを対応付けたテーブルである。
【００７７】
図５で示すコンテンツ内容データ１２c4は、前記ファイルシーケンステーブル１２c2（図４参照）により前記各コマンドコードと対応付けされる実際の音声，画像，テキストなどのファイルデータが、そのそれぞれのＩＤ番号を対応付けて記憶される。
【００７８】
本実施形態のファイルシーケンステーブル１２c2においてリンク付けされるコンテンツ内容データ１２c4について簡単に説明すると、例えばＩＤ＝５に対応するデータ内容には、３人の会話パートによる英会話テキストの基本画像Ｇ０（図１５参照）が用意され、ＩＤ＝６に対応するデータ内容には、前記基本画像Ｇ０に基づいたパート１の会話中画像Ｇ１（図１２（Ａ）（Ｄ）参照）が用意され、ＩＤ＝７に対応するデータ内容には、前記基本画像Ｇ０に基づいたパート２の会話中画像Ｇ２（図１２（Ｂ）参照）が用意され、ＩＤ＝８に対応するデータ内容には、前記基本画像Ｇ０に基づいたパート３の会話中画像Ｇ３（図１２（Ｃ）参照）が用意される。
【００７９】
なお、前記コンテンツ内容データ１２c4のＩＤ＝５に対応する英会話テキストの基本画像Ｇ０（図１５参照）には、各パート人物画像毎の口エリアの座標データｘ１ｙ１，ｘ２ｙ２（図１５のＭ１〜Ｍ３参照）が対応付けられて記憶される。
【００８０】
また、例えばＩＤ＝２１に対応するデータ内容には、前記３人の会話パートによる英会話テキストの会話中画像Ｇ１〜Ｇ３が同期付けされる英会話テキストデータ（２）（図１２・図１５参照）が用意され、さらに、例えばＩＤ＝３２に対応するデータ内容には、同３人の会話パートによる英会話テキストの会話中画像Ｇ１〜Ｇ３および英会話テキストデータ（２）が同期付けされる英会話音声データ（２）（図１２・図１５の１９ｂ参照）が用意される。
【００８１】
図６は前記携帯機器１０のタイムコードファイル１２c3（図３参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび再生処理プログラム１２a1に基づき解析処理される命令内容を対応付けて示す図である。
【００８２】
タイムコードファイル１２c3に使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、ＬＴ（ｉ番目テキストロード）．ＶＤ（ｉ番目テキスト文節表示）．ＢＬ（文字カウンタリセット・ｉ番目文節ブロック指定）．ＨＮ（ハイライト無し・文字カウンタカウントアップ）．ＨＬ（ｉ番目文字までハイライト・文字カウント）．ＬＳ（１行スクロール・文字カウンタカウントアップ）．ＤＨ（ｉ番目ＨＴＭＬファイル表示）．ＤＩ（ｉ番目イメージファイル表示）．ＰＳ（ｉ番目サウンドファイルプレイ）．ＣＳ（クリアオールファイル）．ＰＰ（基本タイムｉ秒間停止）．ＦＮ（処理終了）．ＮＰ（無効）の各コマンドがあり、拡張コマンドには、ＰＴ（ｉ番目パート指定）．ＰＩ（パート別イメージファイル表示）などの各コマンドがある。
【００８３】
図７は前記携帯機器１０のＲＡＭ１２Ｃに記憶されるテキスト対応発音口型データ１２ｆの内容を示す図である。
【００８４】
すなわち、この携帯機器（ＰＤＡ）１０のＲＯＭ１２Ａに記憶されている再生処理プログラム１２a1を起動させて、ＦＬＡＳＨメモリ１２Ｂから解読されＲＡＭ１２Ｃに記憶された解読再生用ファイル１２ｃが、例えば図３乃至図５で示したファイル内容であり、設定処理単位時間毎のコマンド処理に伴い３番目のコマンドコード“ＤＩ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＤＩ”はｉ番目のイメージファイル表示命令であるため、パラメータデータｉ＝００からファイルシーケンステーブル１２c2（図４参照）にリンク付けられる画像ファイルのＩＤ番号＝５に従い、コンテンツ内容データ１２c4（図５参照）の英会話テキスト基本画像Ｇ０が読み出されて表示される。
【００８５】
また、設定処理単位時間毎のコマンド処理に伴い６番目のコマンドコード“ＶＤ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＶＤ”はｉ番目のテキスト文節表示命令であるため、パラメータデータｉ＝００に従い、テキストの０番目の文節が表示される。
【００８６】
また、設定処理単位時間毎のコマンド処理に伴い８番目のコマンドコード“ＰＩ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＰＩ”はパート別イメージファイル表示命令であるため、これ以降のコマンドコードＰＴ（ｉ番目パート指定）に従い指定されたパートの画像表示が指示される。
【００８７】
また、設定処理単位時間毎のコマンド処理に伴い９番目のコマンドコード“ＰＴ”およびパラメータデータ“０１”が読み込まれた場合には、このコマンド“ＰＴ”はｉ番目パート指定命令であるため、パラメータデータｉ＝０１に従い、再生対象ファイルにおける１番目のパートが指定される。
【００８８】
さらに、設定処理単位時間毎のコマンド処理に伴い１１番目のコマンドコード“ＮＰ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＮＰ”は無効命令であるため、現状のファイル出力状態が維持される。
【００８９】
なお、この図３乃至図５で示したファイル内容の再生用ファイル１２ｂ（１２ｃ）についての詳細な再生動作は、後述にて改めて説明する。
【００９０】
次に、前記構成の携帯機器１０によるファイル再生機能について説明する。
【００９１】
図８は前記携帯機器１０の再生処理プログラム１２a1に従った再生処理を示すフローチャートである。
【００９２】
図９は前記携帯機器１０の再生処理に伴う発音口型データ作成処理を示すフローチャートである。
【００９３】
図１０は前記携帯機器１０の再生処理に伴う対応パート別画像表示処理Ａを示すフローチャートである。
【００９４】
図１１は前記携帯機器１０の再生処理に伴う学習内容の選択操作・表示状態を示す図であり、同図（Ａ）は学習内容選択画面Ｇを示す図、同図（Ｂ）（Ｃ）は当該学習内容選択画面Ｇを対象とする選択操作キーを示す図である。
【００９５】
例えば英語の勉強がテキストと画像と音声で行える英語教材再生ファイルを、ＣＤ−ＲＯＭや通信ネットワーク（インターネット）Ｎ上のサーバ３０から自宅ＰＣである通信機器（ＰＣ）２０に取り込み、携帯機器（ＰＤＡ）１０の通信部１６を介して当該再生用ファイル（ＣＡＳファイル）１２ｂがＦＬＡＳＨメモリ１２Ｂに、あるいは解読された再生用ファイル１２ｃとしてＲＡＭ１２Ｃに格納された状態において、入力部１７ａあるいは座標入力装置（マウス／タブレット）１７ｂの操作によりこの再生用ファイル１２ｂ（１２ｃ）の再生が指示されると、まず、図１１（Ａ）に示すように、学習内容をユーザ選択させるための学習内容選択画面Ｇが表示部１８に表示される（ステップＳ１）。
【００９６】
この学習内容選択画面Ｇにあって、図１１（Ｂ）（Ｃ）に示すように、入力部１７ａのカーソルキー１７a1および「決定」キー１７a2の操作により、英会話の全体を聞く、またはパート別練習における各会話パート（１：２：３）の何れかが選択されると、ＲＡＭ１２Ｃ内の各ワークエリアのクリア処理などのイニシャライズ処理が行われ、前記選択された英会話パートのパート番号が指定パート番号１２ｅとしてＲＡＭ１２Ｃに記憶される（ステップＳ１，Ｓ２）。
【００９７】
そして、前記ＦＬＡＳＨメモリ１２Ｂに格納された再生用ファイル（ＣＡＳファイル）１２ｂが読み込まれ（ステップＳ３）、当該再生用ファイル（ＣＡＳファイル）１２ｂは暗号化ファイルであるか否か判断される（ステップＳ４）。
【００９８】
ここで、暗号化された再生用ファイル（ＣＡＳファイル）１２ｂであると判断された場合には、当該ＣＡＳファイル１２ｂは解読復号化され（ステップＳ４→Ｓ５）、ＲＡＭ１２Ｃに転送されて格納される（ステップＳ６）。
【００９９】
ここで、図９における発音口型データ作成処理が実行される（ステップＳＡ）。
【０１００】
この発音口型データ作成処理では、まず、コンテンツ内容データ１２c4として記憶されている英会話テキストデータが、例えば図７に示すように、ＲＡＭ１２Ｃ内のテキスト対応発音口型データ１２ｆとして読み込まれる（ステップＡ１）。
【０１０１】
すると、このテキスト対応発音口型データ１２ｆに読み込まれた英会話テキストデータのすべての単語が、ＲＯＭ１２Ａに記憶されている辞書データ１２a2に基づいて順次辞書引きされ、そのそれぞれの発音記号が読み出される（ステップＡ２）。
【０１０２】
そして、前記英会話テキストデータの全ての単語について読み出された発音記号の各々に対応する口型番号データが、ＲＯＭ１２Ａに記憶されている口型データ１２a3（図２参照）から読み出され、各会話パート毎のテキスト単語、発音記号、口型番号として対応付けられて前記ＲＡＭ１２Ｃ内のテキスト対応発音口型データ１２ｆに編集記憶される。
【０１０３】
なお、この発音口型データ作成処理では、コンテンツ内容データ１２c4として記憶されている英会話テキストデータが、ＲＡＭ１２Ｃ内のテキスト対応発音口型データ１２ｆとして読み込まれた際に、既に同一の英会話テキストデータについて前回の再生処理に伴いその発音口型データとの対応付け編集が完了している場合には、この同一の英会話テキストデータについての発音口型データ作成処理は省略されて行われない。
【０１０４】
こうして、発音口型データ作成処理により英会話テキストとその発音口型データとの対応付け編集が完了すると、ＣＰＵ１１による再生用ファイル（ＣＡＳファイル）１２ｃの処理単位時間１２c1a（例えば２５ｍｓ）がタイムコードファイル１２c3のヘッダ情報１２c1として設定される（ステップＳ７）。
【０１０５】
そして、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃの先頭に読み出しポインタがセットされ（ステップＳ８）、当該再生用ファイル１２ｃの再生処理タイミングを計時するためのタイマがスタートされる（ステップＳ９）。
【０１０６】
ここで、先読み処理が当該再生処理に並行して起動される（ステップＳ１０）。
【０１０７】
この先読み処理では、再生用ファイル１２ｃのタイムコードファイル１２c3（図３参照）に従った現在の読み出しポインタの位置のコマンド処理よりも後に画像ファイル表示の“ＤＩ”コマンドがある場合は、予め当該“ＤＩ”コマンドのパラメータデータにより指示される画像ファイルを先読みして画像展開バッファ１２ｋに展開しておくことで、前記読み出しポインタが実際に後の“ＤＩ”コマンドの位置まで移動した場合に、処理に遅れなく指定の画像ファイルを直ちに出力表示できるようにする。
【０１０８】
前記ステップＳ９において、処理タイマがスタートされると、前記ステップＳ７にて設定された今回の再生対象ファイル１２ｃに応じた処理単位時間（２５ｍｓ）毎に、前記ステップＳ８にて設定された読み出しポインタの位置の当該再生用ファイル１２ｃを構成するタイムコードファイル１２c3（図３参照）のコマンドコードおよびそのパラメータデータが読み出される（ステップＳ１１）。
【０１０９】
そして、前記再生用ファイル１２ｃにおけるタイムコードファイル１２c3（図３参照）から読み出されたコマンドコードが、“ＦＮ”か否か判断され（ステップＳ１２）、“ＦＮ”と判断された場合には、その時点で当該ファイル再生処理の停止処理が指示実行される（ステップＳ１２→Ｓ１３）。
【０１１０】
一方、前記再生用ファイル１２ｃにおけるタイムコードファイル１２c3（図３参照）から読み出されたコマンドコードが、“ＦＮ”ではないと判断された場合には、当該コマンドコードが、“ＰＴ”か否か判断される（ステップＳ１２→Ｓ１４）。
【０１１１】
そして、コマンドコード“ＰＴ”と判断された場合には、図１０における対応パート別画像表示処理Ａが実行される（ステップＳＢ）。
【０１１２】
この対応パート別画像表示処理Ａでは、まず、前記コマンドコード“ＰＴ”およびそのパラメータデータにより指定された英会話テキストのパート番号ｐが検知され（ステップＢa1）、このパート番号ｐを前記タイムコードファイル１２c3（図３参照）のコマンドコード“ＤＩ”およびそのパラメータデータで指定される英会話テキスト基本画像Ｇ０の画像番号に加算した値が、再生対象パートの画像番号ｉとして設定される（ステップＢa2）。例えば、タイムコードファイル１２c3（図３参照）の最初のコマンドコード“ＤＩ”のパラメータデータにより指定される基本画像番号が“００”であり、前記コマンドコード“ＰＴ”のパラメータデータにより指定されたパート番号ｐ＝“０１”である場合には、再生対象パートの画像番号ｉ＝０１（００＋０１）となる。
【０１１３】
すると、コマンドコード“ＤＩ”に対応する命令（ｉ番目の画像表示命令）が実行され、例えばファイルシーケンステーブル１２c2の画像番号ｉ＝０１に対応付けられてコンテンツ内容データ１２c4に記憶されているＩＤ番号＝６のパート１の会話中画像Ｇ１が表示される（ステップＢa3）。
【０１１４】
こうして、コマンドコード“ＰＴ”により指定されたパート別画像の表示が行われると、該コマンドコード“ＰＴ”のパラメータデータにより指定される英会話パートのパート番号ｐが、前記学習内容の選択処理（ステップＳ１）においてユーザ選択されて記憶されたパート別練習を行う場合の指定パート番号１２ｅと一致するか否か判断される（ステップＳ１５）。
【０１１５】
ここで、コマンドコード“ＰＴ”のパラメータデータにより指定される英会話パートのパート番号ｐが、ユーザ選択された指定パート番号１２ｅと一致しない場合、つまりユーザ所望の会話練習パートと異なる会話パートであると判断された場合には、当該会話パート部分における音声出力を行うために音声オンフラグ１２ｉがＲＡＭ１２Ｃにセットされると共に（ステップＳ１５→Ｓ１６）、コマンドコード“ＨＬ”に応じて該当会話パートのテキスト文字列を識別表示させるためのハイライトの種類が、アンダーラインによる識別表示形態に変更設定される（ステップＳ１７）。
【０１１６】
一方、コマンドコード“ＰＴ”のパラメータデータにより指定される英会話パートのパート番号ｐが、ユーザ選択された指定パート番号１２ｅと一致した場合、つまりユーザ所望の会話練習パートであると判断された場合には、当該会話パート部分における音声出力を停止させるために音声オフフラグ１２ｉがＲＡＭ１２Ｃにセットされると共に（ステップＳ１５→Ｓ１８）、コマンドコード“ＨＬ”に応じて該当会話パートのテキスト文字列を識別表示させるためのハイライトの種類が、反転による識別表示形態に変更設定される（ステップＳ１９）。
【０１１７】
すると、再び処理タイマによる計時動作に基づいて、当該タイマによる計時時間が次の処理単位時間１２c1aに到達したか否か判断される（ステップＳ２０）。
【０１１８】
一方、前記ステップＳ１４において、前記再生用ファイル１２ｃにおけるタイムコードファイル１２c3（図３参照）から読み出されたコマンドコードが、“ＰＴ”ではないと判断された場合には、他のコマンド処理へ移行されて各コマンド内容（図６参照）に対応する処理が実行される（ステップＳＣ）。
【０１１９】
そして、ステップＳ２０において、前記タイマによる計時時間が次の処理単位時間１２c1aに到達したと判断された場合には、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃに対する読み出しポインタが次の位置に更新セットされ（ステップＳ２０→Ｓ２１）、前記ステップＳ１１における当該読み出しポインタの位置のタイムコードファイル１２c3（図３参照）のコマンドコードおよびそのパラメータデータ読み出しからの処理が繰り返される（ステップＳ２１→Ｓ１１〜Ｓ１９（ＳＣ））。
【０１２０】
すなわち、携帯機器１０のＣＰＵ１１は、ＲＯＭ１２Ａに記憶された同期コンテンツ再生処理プログラム１２a2に従って、再生用ファイル１２ｂ（１２ｃ）に予め設定記述されているコマンド処理の単位時間毎に、タイムコードファイル１２c3（図３参照）に配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２c3に記述された各コマンドに応じたテキスト，音声，画像の同期再生出力処理が実行される。
【０１２１】
そして、このように再生用ファイル１２ｃにおけるタイムコードファイル１２c3（図３参照）からのコマンドコードの読み出しに応じて、音声，テキスト，画像の同期再生出力の指示を行う場合に、前記対応パート別画像表示処理Ａに従い、コマンドコード“ＰＴ”によって指示された次の再生パートに対応する会話中画像Ｇｎの表示が行われるので、簡単に各会話パート別の口の動きを表した画像表示を行うことができ、ユーザはより効果的に会話の練習を行うことができる。
【０１２２】
また、コマンドコード“ＰＴ”によって指示された次の再生パートが、ユーザ設定された練習対象のパートであるときには、当該パート部分の音声出力は停止され、テキスト，パート別画像Ｇｎのみの同期再生出力状態となることで、ユーザは該ユーザ自身で設定した練習パートにおいて表示出力されるテキスト，パート別画像Ｇｎを見ながら該テキストを自身で読み上げて会話の練習を行うことができる。
【０１２３】
また、同コマンドコード“ＰＴ”によって指示された次の再生パートが、ユーザ設定された練習対象のパートでないときには、当該パート部分の音声出力は停止されず、テキスト，音声，画像の同期再生出力状態となることで、ユーザは他のパートについて表示出力されるテキスト，画像を見ながら該テキストの音声出力を聞いて会話の練習を行うことができる。
【０１２４】
ここで、図３で示す英語教材再生ファイル１２ｃに基づいた、前記同期コンテンツ再生処理プログラム１２a1（図８〜図１０参照）による音声・テキスト・画像ファイルの同期再生出力動作について詳細に説明する。
【０１２５】
図１２は前記図３乃至図５における英語教材再生ファイル１２ｃに基づいた英会話テキスト・音声・画像ファイルの同期再生状態（その１）を示す図である。
【０１２６】
この英語教材ファイル（１２ｃ）は、そのヘッダに予め記述設定された（基準）処理単位時間（例えば２５ｍｓ）１２c1a毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２c3（図３参照）の第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ、テキスト・音声・画像ファイルの出力がクリアされる（ステップＳＣ）。
【０１２７】
第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２c2（図４参照）からＨＴＭＬ番号１のＩＤ番号＝２が読み出される。
【０１２８】
そして、このＩＤ番号＝２に対応付けられてコンテンツ内容データ１２c4（図５参照）から読み出されるＨＴＭＬデータの英会話テキスト・画像フレームデータに応じて、図１２（Ａ）に示すように、表示部１８に対するテキスト表示フレームＸや画像表示フレームＹが設定される（ステップＳＣ）。
【０１２９】
第３コマンドコード“ＤＩ”（ｉ番目イメージファイル表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ファイルシーケンステーブル１２c2（図４参照）から画像番号１のＩＤ番号＝５が読み出される。
【０１３０】
そして、このＩＤ番号＝５に対応付けられてコンテンツ内容データ１２c4（図５参照）から読み出されて画像展開バッファ１２ｋに展開された画像データ（英会話テキスト基本画像Ｇ０）が、前記ＨＴＭＬファイルで設定された画像表示フレームＹ内に表示される（ステップＳＣ）。
【０１３１】
第４コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝２）に応じて、ファイルシーケンステーブル１２c2（図４参照）から音声番号２のＩＤ番号＝３２が読み出される。
【０１３２】
そして、このＩＤ番号＝３２に対応付けられてコンテンツ内容データ１２c4（図５参照）から読み出された英会話音声データ（２）がステレオ音声出力部１９ｂから出力開始される（ステップＳＣ）。
【０１３３】
第５コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝２）に応じて、ファイルシーケンステーブル１２c2（図４参照）からテキスト番号２のＩＤ番号＝２１が読み出される。
【０１３４】
そして、このＩＤ番号＝２１に対応付けられてコンテンツ内容データ１２c4（図５参照）から読み出された英会話テキストデータ（２）
がＲＡＭ１２Ｃのワークエリアにロードされる（ステップＳＣ）。
【０１３５】
第６コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ファイルシーケンステーブル１２c2（図４参照）からテキスト番号０のＩＤ番号＝１９が読み出され、これに対応付けられてコンテンツ内容データ１２c4（図５参照）にて指定された英会話タイトル文字の文節が、前記ＲＡＭ１２Ｃにロードされた英会話テキストデータ（２）の中から呼び出されて表示画面上のテキスト表示フレームＸ内に表示される（ステップＳＣ）。
【０１３６】
第７コマンドコード“ＢＬ”（文字カウンタリセット・ｉ番目文節ブロック指定）およびそのパラメータデータ“００”が読み出されると、前記テキスト表示フレームＸで表示中の英会話文節の文字カウンタがリセットされ、０番目のブロックが指定される（ステップＳＣ）。
【０１３７】
第８コマンドコード“ＰＩ”（パート別イメージファイル表示）およびそのパラメータデータ“００”が読み出されると、これ以降に指定されたパートの画像を表示する指示が行われる（ステップＳＣ）。
【０１３８】
第９コマンドコード“ＰＴ”（ｉ番目パート指定）およびそのパラメータデータ“０１”が読み出されると、前記英会話テキスト基本画像Ｇ０に基づき、これから同期再生すべき前記英会話音声データ（２）および前記英会話テキストデータ（２）における会話パート１（Ａさん）が指定される（ステップＳ１４）。
【０１３９】
すると、図９における対応パート別画像表示処理Ａに従い、前記指定のパート番号ｐ＝１に応じた画像番号ｉ＝１に対応して、パート１の人物の口の動作を表した会話中画像Ｇ１が読み出され、図１２（Ａ）に示すように表示される（ステップＳＢ）。
【０１４０】
そして、予めユーザ設定された指定パート番号１２ｅが会話パート２（Ｂさん）である場合には、前記第９コマンドコード“ＰＴ”により指定された会話パート１（Ａさん）と一致しないので（ステップＳ１５）、該当パート１の音声出力オンにされ（ステップＳ１６）、また、コマンドコード“ＨＬ”に応じた処理内容のハイライト処理がアンダーライン処理に変更設定される（ステップＳ１７）。
【０１４１】
そして、第１０コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０７”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝７）に応じて、図１２（Ａ）に示すように、テキストデータの７番目の文字「A:What 」（スペース含む）までアンダーライン表示（下線表示）され、文字カウンタが同７番目の文字までカウントアップされる（ステップＳＣ）。
【０１４２】
この際、前記テキストデータのパート１（Ａさん）部分である会話文字列のアンダーライン表示中には、音声出力オンに設定されているので、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力されている英会話音声データ（２）は、同会話パート１（Ａさん）のアンダーライン表示部分を読み上げるところの音声が出力されることになる。
【０１４３】
第１１コマンドコード“ＮＰ”が読み出されると、現在の画像および英会話テキストデータの同期表示画面および英会話音声データの同期出力状態が維持される。
【０１４４】
この後、第１３コマンドコード“ＨＬ”、第３５コマンドコード“ＨＬ”、第５８コマンドコード“ＨＬ”に従い、パート１会話中画像Ｇ１の表示状態において、会話パート１（Ａさん）部分のテキストデータが、順次、１２番目の文字「high 」、１９番目の文字「school 」、２２番目の文字「do 」というように、アンダーライン表示（下線表示）されて行くのと共に、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力されている英会話音声データ（２）も、同会話パート１（Ａさん）のアンダーライン表示部分を読み上げるところの音声が順次出力される（ステップＳ１１〜Ｓ１４→ＳＣ，Ｓ２０，Ｓ２１→Ｓ１１）。
【０１４５】
つまり、コマンドコード“ＰＴ”によって指示された次の英会話再生パートが、ユーザ設定された練習対象のパート（例えばパート２（Ｂさん））でないときには、当該他のパート部分の音声出力は停止されず、英会話テキスト，その読み上げ音声，対応パート別画像Ｇｎの同期再生出力状態となることで、ユーザは他のパートについて表示出力されるテキスト，画像を見ながら該テキストの音声出力を聞いて会話の練習を行うことができる。
【０１４６】
そして、第１１９コマンドコード“ＰＴ”（ｉ番目パート指定）およびそのパラメータデータ“０２”が読み出されると、次に同期再生すべき前記英会話音声データ（２）および前記英会話テキストデータ（２）およびパート別画像Ｇｎにおける会話パート２（Ｂさん）が指定される（ステップＳ１４）。
【０１４７】
すると、図９における対応パート別画像表示処理Ａに従い、前記指定のパート番号ｐ＝２に応じた画像番号ｉ＝２に対応して、パート２の人物の口の動作を表した会話中画像Ｇ２が読み出され、図１２（Ｂ）に示すように表示される（ステップＳＢ）。
【０１４８】
ここで、予めユーザ設定された指定パート番号１２ｅが会話パート２（Ｂさん）である場合には、前記第１１９コマンドコード“ＰＴ”により指定された会話パート２（Ｂさん）と一致するので（ステップＳ１５）、該当パート２の音声出力オフにされ（ステップＳ１８）、また、コマンドコード“ＨＬ”に応じた処理内容のハイライト処理が反転処理に変更設定される（ステップＳ１９）。
【０１４９】
そして、第１２０コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“３７”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝３７）に応じて、図１２（Ｂ）に示すように、テキストデータの３７番目の文字、つまり会話パート２の文字「B:I 」（スペース含む）まで今度は反転により表示され、文字カウンタが同３７番目の文字までカウントアップされる（ステップＳＣ）。
【０１５０】
この際、前記テキストデータのパート２（Ｂさん）部分である会話文字列の反転表示中には、音声出力オフに設定されているので、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから順次出力されていた英会話音声データ（２）は停止される。
【０１５１】
この後、第１３２コマンドコード“ＨＬ”、第１４０コマンドコード“ＨＬ”に従い、パート２会話中画像Ｇ２の表示状態において、会話パート２（Ｂさん）部分のテキストデータが、音声出力無しのままで、順次、４０番目の文字「go 」、４３番目の文字「to 」というように、反転表示されて行く（ステップＳ１１〜Ｓ１４→ＳＣ，Ｓ２０，Ｓ２１→Ｓ１１）。
【０１５２】
つまり、コマンドコード“ＰＴ”によって指示された次の英会話再生パートが、ユーザ設定された練習対象のパート（例えばパート２（Ｂさん））であるときには、当該パート部分の音声出力は停止され、英会話テキストパート１，対応パート別画像Ｇ２のみの同期再生出力状態となることで、ユーザは該ユーザ自身で設定した練習パートにおいて表示出力されるテキスト，画像を見ながら該テキストを自身で読み上げて会話の練習を行うことができる。
【０１５３】
さらに、第１５９コマンドコード“ＰＴ”（ｉ番目パート指定）およびそのパラメータデータ“０３”が読み出されると、次に同期再生すべき前記英会話音声データ（２）および前記英会話テキストデータ（２）およびパート別画像Ｇｎにおける会話パート３（Ｃさん）が指定される（ステップＳ１４）。
【０１５４】
すると、図９における対応パート別画像表示処理Ａに従い、前記指定のパート番号ｐ＝３に応じた画像番号ｉ＝３に対応して、パート３の人物の口の動作を表した会話中画像Ｇ３が読み出され、図１２（Ｃ）に示すように表示される（ステップＳＢ）。
【０１５５】
ここで、予めユーザ設定された指定パート番号１２ｅが会話パート２（Ｂさん）である場合には、前記第１５９コマンドコード“ＰＴ”により指定された会話パート３（Ｃさん）と一致しないので（ステップＳ１５）、該当パート３の音声出力オンにされ（ステップＳ１６）、また、コマンドコード“ＨＬ”に応じた処理内容のハイライト処理がアンダーライン処理に変更設定される（ステップＳ１７）。
【０１５６】
そして、第１６０コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“７０”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝７０）に応じて、図１２（Ｃ）に示すように、テキストデータの７０番目の文字「C:Me, 」（スペース含む）までアンダーライン表示（下線表示）され、文字カウンタが同７０番目の文字までカウントアップされる（ステップＳＣ）。
【０１５７】
この際、前記テキストデータのパート３（Ｃさん）部分である会話文字列のアンダーライン表示中には、音声出力オンに設定されているので、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力されている英会話音声データ（２）は、同会話パート３（Ｃさん）のアンダーライン表示部分を読み上げるところの音声が出力されることになる。
【０１５８】
この後、第１７２コマンドコード“ＨＬ”に従い、パート３会話中画像Ｇ３の表示状態において、会話パート３（Ｃさん）部分のテキストデータが７５番目の文字「too．」までアンダーライン表示（下線表示）されて行くのと共に、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力されている英会話音声データ（２）も、同会話パート３（Ｃさん）のアンダーライン表示部分を読み上げるところの音声が続けて出力される（ステップＳ１１〜Ｓ１４→ＳＣ，Ｓ２０，Ｓ２１→Ｓ１１）。
【０１５９】
つまり、コマンドコード“ＰＴ”によって指示された次の英会話再生パートが、再び、ユーザ設定された練習対象のパート（例えばパート２（Ｂさん））でなくなったときには、当該他のパート部分の音声出力が再開され、英会話テキスト，その読み上げ音声，対応パート画像Ｇｎの同期再生出力状態となることで、ユーザは再び他のパートについて表示出力されるテキスト，画像を見ながら該テキストの音声出力を聞いて会話の練習を行うことができる。
【０１６０】
このように、前記英会話教材再生ファイル（１２ｃ）におけるタイムコードファイル１２c3（図３参照）・ファイルシーケンステーブル１２c2（図４参照）・コンテンツ内容データ１２c4（図５参照）に従って、当該再生ファイルに予め設定された（基準）処理単位時間（例えば２５ｍｓ）１２c1a毎のコマンド処理を行うことで、図１２（Ａ）〜（Ｄ）で示したように、表示画面上のテキスト表示フレームＸ内に英会話テキストデータがそのパート部分を識別表示されながら表示されると共に、画像表示フレームＹ内にそのパート人物の口の動きを示したパート別画像Ｇｎが同期表示され、さらに、ステレオ音声出力部１９ｂから識別表示中の英会話パートのテキストを読み上げる英会話音声データが同期出力されると共に、当該英会話テキストの読み上げ文節が各文字毎に順次同期ハイライト（強調）表示されるようになる。
【０１６１】
この際、対応パート別画像表示処理Ａに従い、コマンドコード“ＰＴ”によって指示された次の再生パートに対応するパート人物の口の動きを示した会話中画像Ｇｎの表示が行われるので、簡単に各会話パート別の口の動きを表した画像表示を行うことができ、ユーザはより効果的に会話の練習を行うことができる。
【０１６２】
また、ユーザが指定した会話パートの再生出力期間においては、その音声データの同期出力が停止されるので、ユーザは該ユーザ自身で設定した練習パートにおいて表示出力されるテキスト，パート別画像Ｇｎを見ながら該テキストを自身で読み上げて会話の練習を行うことができ、他の会話パートにおいては、テキスト，パート別画像Ｇｎを見ながらその読み上げ音声出力を聞いて練習することができる。
【０１６３】
したがって、前記構成の携帯機器１０によるファイル再生機能によれば、ＲＯＭ１２Ａに予め記憶された再生処理プログラム１２a1に従って、再生用ファイル１２ｂ（１２ｃ）に予め設定記述されているコマンド処理の基準単位時間（２５ｍｓ／５０ｍｓ）毎に、タイムコードファイル１２c3に配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２c3に記述された各コマンドに応じたテキスト・画像・音声ファイルなどの同期再生処理が実行される。
【０１６４】
そして、例えば英会話教材の再生用ファイル１２ｂ（１２ｃ）による複数の会話パートからなるテキスト・音声・画像の同期再生出力が行われる場合に、対応パート別画像表示処理Ａに従い、コマンドコード“ＰＴ”およびそのパラメータデータによって指示された次の再生対象会話パートに対応するパート別人物の口の動きを示した会話中画像Ｇｎの表示が行われるので、簡単に各会話パート別の口の動きを表した画像表示を行うことができ、ユーザはより効果的に会話の練習を行うことができる。
【０１６５】
また、前記コマンドコードおよびそのパラメータデータに応じて指定される次の出力対象会話パートが、ユーザにより設定した練習対象の会話パートと一致した場合には、当該設定会話パートでは音声出力を停止させてパート別テキストの識別・対応パーツ別画像Ｇｎの同期表示出力のみ行い、また、練習対象の会話パートと一致しない場合には、音声出力を再開させてパート別テキストの識別・対応パーツ別画像Ｇｎと共に同期再生が行われるので、ユーザ所望の会話パートのみテキストの読み上げ音声出力を簡単に消してユーザ自身が発音練習することができ、パート別の練習を容易且つ効果的に行うことができる。
【０１６６】
また、前記構成の携帯機器１０によるファイル再生機能によれば、タイムコードファイル１２c3に記述された基準処理単位時間毎のコマンドコードに応じて、音声データの出力指示“ＰＳ”や該音声データに合わせたテキストデータの表示指示“ＶＤ”“ＨＬ”およびパート別画像Ｇｎの表示指示“ＤＩ”“ＰＩ”を行う場合に、各会話パートの開始の指定を“ＰＴ”により行って、対応するパート別画像Ｇｎを表示したり、ユーザ設定された練習パートと一致した場合には当該パートの音声出力をオフにしたりする構成としたので、非常に簡単にパート別の練習を行うことができる。
【０１６７】
また、前記構成の携帯機器１０によるファイル再生機能によれば、タイムコードファイル１２c3のコマンドコード“ＰＴ”によって指定されるパート番号（種類）は、当該コマンドコード“ＰＴ”と対に記述されたパラメータデータによって設定されるので、簡単に各再生パート指定を行ったタイムコードファイル１２c3を作成することができる。
【０１６８】
なお、本第１実施形態の再生処理に伴う対応パート別画像表示処理Ａ（図１０参照）では、タイムコードファイル１２c3のコマンドコードＰＴによって指定されたパート番号ｐに応じて、予め各会話パート毎にそのパート人物の口の動きを表現して用意したパート別の会話中画像Ｇｎを切り替え表示させ、各パートの会話の状態を画像の上でも同期して表現する構成としたが、次の図１３〜図１５において示す対応パート別画像表示処理Ｂおよびテキスト対応口表示処理に従い説明するように、各パートの何れにも口の動きがない英会話テキスト基本画像Ｇ０をベースとして、前記コマンドコードＰＴにより指定される各パート人物の口エリアＭ１〜Ｍ３に対し、各パート英会話テキストの現在の識別表示文字に対応してテキスト対応発音口型データ１２ｆから読み出される該当テキスト文字の発音口型画像を合成表示することで、各パートの会話の状態を画像の上でよりリアルに同期して表現する構成としもよい。
【０１６９】
図１３は前記携帯機器１０の再生処理に伴う対応パート別画像表示処理Ｂを示すフローチャートである。
【０１７０】
図１４は前記携帯機器１０の再生処理におけるコマンドコードＨＬに応じたパート別テキストのハイライト（強調）表示処理に伴い割り込みで実行されるテキスト対応口表示処理を示すフローチャートである。
【０１７１】
図１５は前記図３乃至図５における英語教材再生ファイル１２ｃに基づいた英会話テキスト・音声・画像ファイルの同期再生状態（その２）を示す図である。
【０１７２】
すなわち、前記図８を参照して説明した再生処理のステップＳ１４において、タイムコードファイル１２c3からコマンドコードＰＴが読み出された場合に、図１３における対応パート別画像表示処理Ｂに移行されると、まず、コンテンツ内容データ１２c4の英会話テキスト基本画像Ｇ０が読み出されて、図１５に示すように、表示画面上の画像表示フレームＹ内に表示される（ステップＢb1）。
【０１７３】
すると、前記コマンドコードＰＴのパラメータデータにより指定された次の再生対象パート番号ｐが検知され（ステップＢb2）、当該指定のパート番号ｐに対応する前記英会話テキスト基本画像Ｇ０上での対応パート人物画像の口位置の矩形エリアデータ（位置座標）Ｍｎが、当該英会話テキスト基本画像Ｇ０が記憶されたコンテンツ内容データ１２c4から読み出される（ステップＢb3）。
【０１７４】
そして、再生処理のステップＳＣにおいて、タイムコードファイル１２c3から読み出されたコマンドコードＨＬに従い、表示中にある英会話テキストの現在の読み上げ文字までがハイライト処理により識別表示されるのに伴い、図１４におけるテキスト対応口表示処理が割り込みで起動されると、現在のテキストハイライト処理位置の文字が、当該コマンドコードＨＬのパラメータデータに基づき検知される（ステップＤ１）。
【０１７５】
すると、このテキストハイライト位置の文字に対応する発音の口型画像データが、前記図９における発音口型データ作成処理により作成されたテキスト対応発音口型データ１２ｆ（図７参照）の口番号に従いＲＯＭ１２Ａ内の口型データ１２a3（図２参照）から読み出される（ステップＤ２）。
【０１７６】
そして、この現在のテキストハイライト位置の文字に対応する発音の口型画像データが、前記対応パート別画像表示処理ＢのステップＢb3において読み出された指定パート人物画像の口位置の矩形エリアデータ（位置座標）Ｍｎに従い、図１５に示すように、表示中の英会話テキスト基本画像Ｇ０上に合成表示される（ステップＤ３）。
【０１７７】
これにより、現在再生中の英会話テキストの各パート別に、その発音に応じた口型を対応パート人物画像の口位置に合成して表示させることができ、各パートの会話の状態を画像の上でよりリアルに同期表現し、さらに効果的な会話の練習を行うことができる。
【０１７８】
そして、入力部１７ａあるいは座標入力装置１７ｂによって、「口内拡大表示」を指示するキー（ボタン）操作が行われると（ステップＤ４）、例えば図１５（Ｄ）に示すように、前記パート別のテキストハイライト表示に対応して英会話テキスト基本画像Ｇ０上で合成表示中の口型画像の拡大画像Ｇ４が、前記ＲＯＭ１２Ａ内の口型データ１２a3（図２参照）から読み出され（ステップＤ５）、前記英会話テキスト基本画像Ｇ０上のパート別口エリアＭ１とは別の表示エリアにウインドウ表示される（ステップＤ６）。
【０１７９】
この場合、図１５（Ｄ）では、パート１（Ａさん）に対応するテキストハイライト表示「Oh，both」および読み上げ音声出力（１９ｂ）に同期された、「both」の「th」に対応する口型画像のパート１口エリアＭ１への合成表示および当該発音口型拡大画像Ｇ４のウインドウ表示状態を示している。
【０１８０】
これにより、ユーザは会話練習中の発音の口型をリアルタイムに且つより詳しく知ることができ、最も効果的に英会話の練習を実施することができる。
【０１８１】
なお、このテキストハイライト位置に応じた口型合成表示の実施形態では、実際の発音に対応した口型画像を口型データ１２a3から読み出して各パート別人物画像の口エリアＭｎに合成表示する構成としたが、全パートの人物画像が口を閉じている英会話テキスト基本画像Ｇ０に対して、単に開いた口画像をパート別に合成表示する構成としてもよい。
【０１８２】
（第２実施形態）
次に、本発明の音声表示出力制御装置（編集装置）の第２実施形態に係る携帯機器１０について説明する。
【０１８３】
この第２実施形態の携帯機器１０では、辞書データ１２a2に基づく見出語の検索に伴い、各見出語毎に用意した前記第１実施形態と同様のタイムコードファイル１２c3に従って、当該見出語テキストの表示およびその読み上げ音声の出力に同期させた、発音の口型画像の表示を行う構成とする。
【０１８４】
図１６は本発明の第２実施形態の携帯機器１０のＲＯＭ１２Ａに記憶された辞書データ１２a2のデータ内容を示す図である。
【０１８５】
図１７は本発明の第２実施形態の携帯機器１０のＲＯＭ１２Ａに記憶された見出語音声データ１２a4のデータ内容を示す図である。
【０１８６】
辞書データ１２a2には、例えば英単語の見出語とその意味内容が、発音記号、この発音記号に応じた発声を行うための口型データ１２a3（図２参照）内の口型の種類を示す口型番号および見出語音声データ１２a4（図１７参照）内の見出語音声データを示す見出語音声番号と対応付けられて記憶される。
【０１８７】
見出語音声データ１２a4には、前記辞書データ１２a2として記憶された全ての英単語の見出語それぞれの読み上げ音声データがＰＣＭ音源からなるデータとして記憶される。
【０１８８】
図１８は前記第２実施形態の携帯機器１０による辞書検索・表示処理を示すフローチャートである。
【０１８９】
図１９は前記第２実施形態の携帯機器１０による辞書検索・表示処理に伴う検索見出語表示・音声出力・口型画像表示の同期再生状態を示す図である。
【０１９０】
例えば英単語「able」の検索を行う場合に、図１９（Ａ）に示すように、入力部１７ａの「英和」キー１７a3が操作されると、英和辞典の見出語入力画面Ｇ５が表示される。この見出語入力画面Ｇ５において、検索対象見出語「able」が入力表示され、図示しない「決定」キーが操作されると（ステップＥ１）、辞書データ１２a2（図１６参照）に基づいて当該検索対象見出語「able」の検索が実行され（ステップＥ２）、該当する複数の見出語が検索されたか否か判断される（ステップＥ３）。
【０１９１】
ここで、検索対象見出語「able」に該当する複数の見出語が、辞書データ１２a2から検索された場合には、当該検索された複数の見出語が表示部１８に一覧表示される（ステップＥ３→Ｅ４）。
【０１９２】
この見出し語一覧表示において表示された複数の見出語の中から前記検索対象見出語「able」に対応する一つの見出語がキー入力により選択操作されるか（ステップＥ５）、または前記ステップＥ３において、該当の見出語が一つだけ検索されたと判断された場合には、この検索された一つの見出し単語「able」と共に辞書データ１２a2として記憶されている発音記号が読み出され、表示部１８に表示される（ステップＥ６）。
【０１９３】
そして、この検索表示された見出し単語「able」の発音を練習するために、図１９（Ｂ）に示すように、入力部１７ａにおける「発音」キー１７a4が操作されると（ステップＥ７）、当該見出し単語「able」のテキスト表示および音声出力に同期させて、発音の口型画像を表示させるための音声・テキスト・口画像同期処理に移行される（ステップＥＳ）。
【０１９４】
この辞書検索・表示処理に伴う音声・テキスト・口画像同期処理は、前記第１実施形態と同様に各見出語毎に用意されたタイムコードファイル１２c3に従い再生処理（図８参照）のステップＳ３〜Ｓ２１（除くＳＡ）によって実行される。
【０１９５】
例えばタイムコードファイル１２c3のコマンドコード“ＰＳ”とそのパラメータデータによって、今回の見出し単語「able」の音声データが見出語音声データ１２a4（図１７参照）の中から読み出されてその音声出力が指示され、またコマンドコード“ＶＤ”とそのパラメータデータによって、当該見出し単語「able」のテキスト表示が指示され、コマンドコード“ＨＬ”とそのパラメータデータによって、テキスト表示された見出し単語「able」に対する前記音声データの出力に合わせた各文字毎のハイライト表示が指示され、コマンドコード“ＰＴ”とそのパラメータデータによって、前記見出し単語「able」のハイライト表示や音声データの出力に合わせた発音口型画像のイメージファイル表示が指示される。
【０１９６】
これにより、図１９（Ｂ）に示すように、辞書検索された見出し単語「able」の音声データ「エイブル」がステレオ音声出力部１９ｂから出力されるのに合わせて、テキスト表示された見出し単語「able」が各文字毎に順次ハイライト表示され、更に、その発音の口型画像が順次切換表示される。
【０１９７】
そして、前記検索された見出し単語に対応する発音口型画像の読み出し切換表示が終了すると（ステップＥ８）、当該検索対象見出し単語「able」に対応した一連の辞書検索・表示処理は終了される。
【０１９８】
したがって、前記構成の第２実施形態の携帯機器１０によるファイル再生機能によれば、辞書検索モードにおいて、辞書データ１２a2にある各見出し単語に対応付けられて見出語音声データ１２a4に記憶されている音声データおよび口型データ１２に記憶されている各発音記号毎の口型画像データを利用して、非常に簡単に、見出語テキストの表示およびその読み上げ音声の出力に同期させた、発音口型画像の表示を行うことができる。
【０１９９】
なお、前記実施形態において記載した携帯機器１０による各処理の手法、すなわち、図８のフローチャートに示すファイル再生処理、図９のフローチャートに示す前記ファイル再生処理に伴う発音口型データ作成処理、図１０のフローチャートに示す前記ファイル再生処理に伴う対応パート別画像表示処理Ａ、図１３のフローチャートに示す前記ファイル再生処理に伴う対応パート別画像表示処理Ｂ、図１４のフローチャートに示す前記ファイル再生処理におけるコマンドコードＨＬに応じたパート別テキストのハイライト（強調）表示処理に伴うテキスト対応口表示処理、図１８のフローチャートに示す辞書検索・表示処理などの手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記第１実施形態および第２実施形態において説明したテキスト，音声，画像の同期再生機能を実現し、前述した手法による同様の処理を実行することができる。
【０２００】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した各実施形態のテキスト，音声，画像の同期再生機能を実現することもできる。
【０２０１】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【図面の簡単な説明】
【０２０２】
【図１】本発明の音声表示出力制御装置（編集装置）（音声テキスト再生装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図。
【図２】前記携帯機器１０のＲＯＭ１２Ａに記憶される口型データ１２a3の内容を示す図。
【図３】前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２c3を示す図。
【図４】前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２c2を示す図。
【図５】前記携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２c4を示す図。
【図６】前記携帯機器１０のタイムコードファイル１２c3（図３参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび再生処理プログラム１２a1に基づき解析処理される命令内容を対応付けて示す図。
【図７】前記携帯機器１０のＲＡＭ１２Ｃに記憶されるテキスト対応発音口型データ１２ｆの内容を示す図。
【図８】前記携帯機器１０の再生処理プログラム１２a1に従った再生処理を示すフローチャート。
【図９】前記携帯機器１０の再生処理に伴う発音口型データ作成処理を示すフローチャート。
【図１０】前記携帯機器１０の再生処理に伴う対応パート別画像表示処理Ａを示すフローチャート。
【図１１】前記携帯機器１０の再生処理に伴う学習内容の選択操作・表示状態を示す図であり、同図（Ａ）は学習内容選択画面Ｇを示す図、同図（Ｂ）（Ｃ）は当該学習内容選択画面Ｇを対象とする選択操作キーを示す図。
【図１２】前記図３乃至図５における英語教材再生ファイル１２ｃに基づいた英会話テキスト・音声・画像ファイルの同期再生状態（その１）を示す図。
【図１３】前記携帯機器１０の再生処理に伴う対応パート別画像表示処理Ｂを示すフローチャート。
【図１４】前記携帯機器１０の再生処理におけるコマンドコードＨＬに応じたパート別テキストのハイライト（強調）表示処理に伴い割り込みで実行されるテキスト対応口表示処理を示すフローチャート。
【図１５】前記図３乃至図５における英語教材再生ファイル１２ｃに基づいた英会話テキスト・音声・画像ファイルの同期再生状態（その２）を示す図。
【図１６】本発明の第２実施形態の携帯機器１０のＲＯＭ１２Ａに記憶された辞書データ１２a2のデータ内容を示す図。
【図１７】本発明の第２実施形態の携帯機器１０のＲＯＭ１２Ａに記憶された見出語音声データ１２a4のデータ内容を示す図。
【図１８】前記第２実施形態の携帯機器１０による辞書検索・表示処理を示すフローチャート。
【図１９】前記第２実施形態の携帯機器１０による辞書検索・表示処理に伴う検索見出語表示・音声出力・口型画像表示の同期再生状態を示す図。
【符号の説明】
【０２０３】
１０ …携帯機器
１１ …ＣＰＵ
１２ …メモリ
１２Ａ…ＲＯＭ
１２a1…ファイル再生処理プログラム
１２a2…辞書データ
１２a3…口型データ
１２a4…見出語音声データ
１２Ｂ…ＦＬＡＳＨメモリ
１２ｂ…暗号化された再生用ファイル（ＣＡＳファイル）
１２Ｃ…ＲＡＭ
１２ｃ…解読された再生用ファイル（ＣＡＳファイル）
１２c1…ヘッダ情報
１２c1a…処理単位時間
１２c2…ファイルシーケンステーブル
１２c3…タイムコードファイル
１２c4…コンテンツ内容データ
１２ｄ…指定テキスト番号
１２ｅ…指定パート番号
１２ｆ…テキスト対応発音口型データ
１２ｇ…テキストハイライト指定文字
１２ｈ…画像（オン／オフ）フラグ
１２ｉ…音声（オン／オフ）フラグ
１２ｊ…画像展開済みフラグ
１２ｋ…画像展開バッファ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …通信部
１７ａ…入力部
１７ｂ…座標入力装置
１８ …表示部
１９ａ…音声入力部
１９ｂ…ステレオ音声出力部
２０ …通信機器（自宅ＰＣ）
３０ …Ｗｅｂサーバ
Ｎ …通信ネットワーク（インターネット）
Ｘ …テキスト表示フレーム
Ｙ …画像表示フレーム
Ｇ０ …英会話テキスト基本画像
Ｇ１〜Ｇ３…パート１〜パート３会話中画像
Ｇ４ …発音口型拡大画像
Ｇ５ …見出語入力画面
Ｍ１〜Ｍ３…パート１〜パート３口エリア
【技術分野】
【０００１】
本発明は、音声，テキスト，画像などのデータを同期出力するための音声表示出力制御装置、編集装置、音声テキスト再生装置、および音声表示出力制御処理プログラム、編集処理プログラム、音声テキスト再生処理プログラムに関する。
【背景技術】
【０００２】
従来、音楽，テキスト，画像などを同時並行して再生する技術としては、例えばＭＰＥＧ−３により情報圧縮された音声ファイルのフレーム毎に、当該各フレームに設けられた付加データエリアに対して、音声ファイルに同期再生すべきテキストファイルや画像ファイルの同期情報を埋め込んでおくことにより、例えばカラオケの場合では、カラオケ音声とそのイメージ画像および歌詞のテキストを同期再生するものがある。
【０００３】
また、音声に対する文字の時間的な対応情報が予め用意されていることを前提に、当該音声信号の特徴量を抽出し対応する文字と関連付けて表示する装置も考えられている。（例えば、特許文献１参照。）
【０００４】
【特許文献１】特公平０６−０２５９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このように従来行われているＭＰＥＧファイルの付加データエリアを利用した複数種類のファイルの同期再生技術では、同期情報の埋め込みが主たるＭＰ３音声ファイルの各フレーム毎の付加データエリアに規定されるため、当該ＭＰ３音声ファイルを再生させない限り同期情報を取り出すことが出来ず、ＭＰ３ファイルの再生を軸としてしか他の種類のファイルの同期再生を行うことが出来ない。
【０００６】
このため、例えばＭＰ３音声ファイルにテキストファイルおよび画像ファイルの同期情報を埋め込んだ場合に、音声ファイルの再生を行わない期間にあっても無音声のデータとして音声再生処理を継続的に行っていないと同期対象テキストおよび画像の再生を行うことが出来ない問題がある。
【０００７】
例えば英会話テキストによってヒヤリング練習やリーディング練習を行う際は、テキストの表示および当該テキストの読み上げ音声の出力と共に、具体的にどのような発音をすれば良いのか明確に示すための画像表示を行う方が望ましい。しかし、このようなＭＰ３音声ファィルによる英会話テキストを作成した場合、当該ＭＰ３音声ファィルの各フレーム毎に対応部分の英文テキスト，発音表示のための画像の同期情報を埋め込んでおく必要があるばかりか、リーディング練習用として無音声期間を設定しても、前述した通り、当該無音声期間でも音声再生処理を継続して行わないと該当期間のテキスト，画像表示を行うことができない。
【０００８】
また、前記従来の特許文献１に記載の装置にあっても、音声信号に対応する文字が予め関連付けされて音声及び文字の同期再生が成されるだけであるため、音声出力及び文字を同期表示させるのと共に、対応画像を同期表示させたりすることはできない。
【０００９】
一方、カラオケのモニタなど、音声出力と同期して文字列や背景画像などを表示するものもあるが、前述したＭＰ３ファイルのように、音声，文字列，画像それぞれ別々でそのもののデータを予め合わせて組み込んだ同期再生用のファイルを作成しなければならない。
【００１０】
本発明は、前記のような問題に鑑みてなされたもので、テキストデータと音声データと画像データとの同期出力に際し、音声出力、テキスト表示、発音用画像表示を簡単に同期して出力することが可能になる音声表示出力制御装置、編集装置、音声テキスト再生装置、および音声表示出力制御処理プログラム、編集処理プログラム、音声テキスト再生処理プログラムを提供することを目的とる。
【課題を解決するための手段】
【００１１】
すなわち、本発明の請求項１に係る音声表示出力制御装置では、音声データ出力手段により出力される音声データに同期するようにテキスト同期表示制御手段によりテキストデータが表示され、この音声データに同期するように表示されるテキストの同期表示部分に対応して画像表示制御手段により口の動きを表現する画像が表示される。
【００１２】
これによれば、音声出力に対応するテキスト表示が同期するように行われるだけでなく、当該音声，テキストに対応した口の動きの表現画像をも表示できることになる。
【００１３】
また、本発明の請求項２に係る音声表示出力制御装置は、前記請求項１に係る音声表示出力制御装置にあって、前記画像表示制御手段には、前記テキストデータの各部に応じて異なる口の動きを表現した複数の画像を記憶する画像記憶手段が備えられ、前記テキスト同期表示制御手段により音声データに同期するように表示されるテキストの同期表示部分に対応した画像が前記画像記憶手段により記憶された複数の画像の中から読み出されて表示される。
【００１４】
これによれば、テキストデータの各部に応じて異なる口の動きを表現した複数の画像の中から、音声出力，テキスト表示に最も対応した口の動きの表現画像を表示できることになる。
【００１５】
また、本発明の請求項３に係る音声表示出力制御装置は、前記請求項１に係る音声表示出力制御装置にあって、前記画像表示制御手段として、画像を表示する画像表示手段と、種々の発音に応じて異なる口の動きを表現した複数の口画像を記憶する口画像記憶手段とが備えられ、テキスト同期表示制御手段により音声データに同期するように表示されるテキストの同期表示部分の発音に対応した口画像が口画像表示制御手段によって前記口画像記憶手段により記憶された複数の口画像の中から読み出され、前記画像表示手段により表示された画像の口の位置に表示される。
【００１６】
これによれば、テキストデータの各部の発音に応じて異なる口の動きを表現した複数の画像の中から、音声出力，テキスト表示部分の発音に最も対応した口の動きの表現画像を、表示されている画像の口の位置に表示できることになる。
【００１７】
また、本発明の請求項４に係る音声表示出力制御装置は、前記請求項３に係る音声表示出力制御装置にあって、前記口画像記憶手段には、種々の発音に応じて異なる口の動きを表現した複数の口画像と共に、この複数の口画像のそれぞれに対応付けて当該口の内部画像が記憶される。そして、前記口画像表示制御手段により表示された口画像に対応して、口内拡大表示手段により当該口の内部画像が読み出されて拡大表示される。
【００１８】
これによれば、テキストデータの各部の発音に応じて異なる口の動きを表現した複数の画像の中から、音声出力，テキスト表示部分の発音に最も対応した口の動きの表現画像を、表示されている画像の口の位置に表示できるだけでなく、その発音に対応する口の内部画像も明確に表示できることになる。
【００１９】
また、本発明の請求項５に係る音声表示出力制御装置は、前記請求項１乃至請求項４の何れか１項に係る音声表示出力制御装置にあって、前記テキスト同期表示制御手段には、予め設定された経過時間に従い前記テキストデータを前記音声データ出力手段により出力される音声データに同期するように表示させるための命令コードを記憶する命令コード記憶手段が備えられ、この命令コード記憶手段により記憶された命令コードに応じて、前記テキストデータが音声データに同期するように表示される。そして、前記画像表示制御手段では、前記命令コード記憶手段により記憶された命令コードに応じて音声，テキストに対応した画像の表示が行われる。
【００２０】
これによれば、命令コード記憶手段により記憶された命令コードによる設定経過時間に応じた指示に従い、テキストデータおよび当該テキストに対応した画像を音声データに同期させて表示できることになる。
【００２１】
また、本発明の請求項６に係る音声表示出力制御処理プログラムでは、当該プログラムを電子機器のコンピュータにインストールすることで、この電子機器のコンピュータにおいて、音声データ出力手段により出力される音声データに同期するようにテキスト同期表示制御手段によりテキストデータが表示され、この音声データに同期するように表示されるテキストの同期表示部分に対応して画像表示制御手段により口の動きを表現する画像が表示される。
【００２２】
これにより電子機器では、音声出力に対応するテキスト表示が同期するように行われるだけでなく、当該音声，テキストに対応した口の動きの表現画像をも表示できることになる。
【００２３】
また、本発明の請求項７に係る編集装置は、音声にテキストと画像を同期させて出力させるための対応データを編集する編集装置であって、種々の音声データに対応付けてそれぞれ異なる複数の口の画像を記憶する口画像記憶手段を有し、対応データ編集手段により、出力対象のテキストに応じた音声データに対応付けられて前記口画像記憶手段により記憶された口の画像が読み出され、当該出力対象のテキストまたは音声データの位置に対応付けて記憶される。
【００２４】
これによれば、音声にテキストと画像を同期させて出力させるための対応データとして、出力対象のテキストに応じた音声データに対応する口の画像を、当該出力対象のテキストまたは音声データの位置に対応付けて記憶し編集できることになる。
【００２５】
また、本発明の請求項８に係る音声テキスト再生装置は、前記請求項７に係る編集装置を備えた音声テキスト再生装置であって、同期再生手段により前記音声にテキストが同期されて出力されるのと共に、前記対応データ編集手段により記憶された対応データに基づいて、出力対象のテキストに対応付けられた口の画像が読み出されて表示される。
【００２６】
これによれば、編集された対応データに基づいて、音声およびテキストの同期出力に対応させた口の画像を容易に表示できることになる。
【００２７】
また、本発明の請求項９に係るテキスト再生装置では、複数の見出語と当該各見出語に対応付けて口の画像データを記憶する辞書記憶手段が備えられ、見出語検索手段により前記辞書記憶手段に記憶された見出語が検索されると、この検索された見出語と共に当該見出語に対応付けられて前記辞書記憶手段により記憶された口の画像データが表示制御手段により読み出され、その見出語の各文字と口の画像データとが順次同期表示される。
【００２８】
これによれば、辞書検索に伴い検索した見出語と共にその見出語に対応する発音口型などの口の画像データを同期して表示できることになる。
【００２９】
また、本発明の請求項１０に係る音声テキスト再生装置では、複数の見出語と当該各見出語に対応付けて音声データと口の画像データを記憶する辞書記憶手段が備えられ、見出語検索手段により前記辞書記憶手段に記憶された見出語が検索されると、この検索された見出語に対応付けられて前記辞書記憶手段により記憶された音声データが音声出力手段により出力され、また当該見出語に対応付けられて前記辞書記憶手段により記憶された口の画像データが表示制御手段により読み出され、前記音声出力に同期してその見出語と口の画像データが順次同期表示される。
【００３０】
これによれば、辞書検索に伴い検索した見出語表示と共にその見出語に対応する音声同期出力およびその発音口型などの口画像同期表示ができることになる。
【００３１】
また、本発明の請求項１１に係る編集処理プログラムでは、当該プログラムを電子機器のコンピュータにインストールすることで、この電子機器のコンピュータにおいて、種々の音声データに対応付けてそれぞれ異なる複数の口の画像を記憶する口画像記憶手段が備えられ、対応データ編集手段により、出力対象のテキストに応じた音声データに対応付けられて前記口画像記憶手段により記憶された口の画像が読み出され、当該出力対象のテキストまたは音声データの位置に対応付けて記憶される。
【００３２】
これにより電子機器では、音声にテキストと画像を同期させて出力させるための対応データとして、出力対象のテキストに応じた音声データに対応する口の画像を、当該出力対象のテキストまたは音声データの位置に対応付けて記憶し編集できることになる。
【００３３】
また、本発明の請求項１２に係る音声テキスト再生処理プログラムは、前記請求項１１に係る編集処理プログラムを備えた音声テキスト再生処理プログラムであり、当該プログラムを電子機器のコンピュータにインストールすることで、この電子機器のコンピュータにおいて、同期再生手段により音声にテキストが同期されて出力されるのと共に、対応データ編集手段により記憶された対応データに基づいて、出力対象のテキストに対応付けられた口の画像が読み出されて表示される。
【００３４】
これにより電子機器では、編集された対応データに基づいて、音声およびテキストの同期出力に対応させた口の画像を容易に表示できることになる。
【００３５】
また、本発明の請求項１３に係る音声表示出力制御装置では、テキストの発音記号と口型画像とを対応付けて複数組み記憶している第１の記憶手段と、文字と音声とを対応付けて複数組み記憶している第２の記憶手段とが備えられ、第１の制御手段により前記第２の記憶手段に記憶されている音声が外部に順次出力されると共に、この出力される音声に同期して前記第２の記憶手段に対応付けて記憶されている文字が順次識別表示される。するとこの第１の制御手段の制御により順次識別表示される文字に同期して、第２の制御手段により当該識別表示される文字の発音記号に対応して前記第１の記憶手段に対応付けて記憶されている口型画像が読み出され、この読み出された口型画像が順次切換表示される。
【００３６】
これによれば、音声を順次出力するのに同期してこれに対応記憶されている文字を順次識別表示でき、さらに、この順次識別表示される文字に同期して、当該識別表示文字の発音記号に対応した口型画像を順次切換表示できることになる。
【発明の効果】
【００３７】
以上のように、本発明の請求項１に係る音声表示出力制御装置によれば、音声データ出力手段により出力される音声データに同期するようにテキスト同期表示制御手段によりテキストデータが表示され、この音声データに同期するように表示されるテキストの同期表示部分に対応して画像表示制御手段により口の動きを表現する画像が表示されるので、音声出力に対応するテキスト表示が同期するように行われるだけでなく、当該音声，テキストに対応した口の動きの表現画像をも表示できるようになる。
【００３８】
また、本発明の請求項２に係る音声表示出力制御装置によれば、前記請求項１に係る音声表示出力制御装置にあって、前記画像表示制御手段には、前記テキストデータの各部に応じて異なる口の動きを表現した複数の画像を記憶する画像記憶手段が備えられ、前記テキスト同期表示制御手段により音声データに同期するように表示されるテキストの同期表示部分に対応した画像が前記画像記憶手段により記憶された複数の画像の中から読み出されて表示されるので、テキストデータの各部に応じて異なる口の動きを表現した複数の画像の中から、音声出力，テキスト表示に最も対応した口の動きの表現画像を表示できるようになる。
【００３９】
また、本発明の請求項３に係る音声表示出力制御装置によれば、前記請求項１に係る音声表示出力制御装置にあって、前記画像表示制御手段として、画像を表示する画像表示手段と、種々の発音に応じて異なる口の動きを表現した複数の口画像を記憶する口画像記憶手段とが備えられ、テキスト同期表示制御手段により音声データに同期するように表示されるテキストの同期表示部分の発音に対応した口画像が口画像表示制御手段によって前記口画像記憶手段により記憶された複数の口画像の中から読み出され、前記画像表示手段により表示された画像の口の位置に表示されるので、テキストデータの各部の発音に応じて異なる口の動きを表現した複数の画像の中から、音声出力，テキスト表示部分の発音に最も対応した口の動きの表現画像を、表示されている画像の口の位置に表示できるようになる。
【００４０】
また、本発明の請求項４に係る音声表示出力制御装置によれば、前記請求項３に係る音声表示出力制御装置にあって、前記口画像記憶手段には、種々の発音に応じて異なる口の動きを表現した複数の口画像と共に、この複数の口画像のそれぞれに対応付けて当該口の内部画像が記憶される。そして、前記口画像表示制御手段により表示された口画像に対応して、口内拡大表示手段により当該口の内部画像が読み出されて拡大表示されるので、テキストデータの各部の発音に応じて異なる口の動きを表現した複数の画像の中から、音声出力，テキスト表示部分の発音に最も対応した口の動きの表現画像を、表示されている画像の口の位置に表示できるだけでなく、その発音に対応する口の内部画像も明確に表示できるようになる。
【００４１】
また、本発明の請求項５に係る音声表示出力制御装置によれば、前記請求項１乃至請求項４の何れか１項に係る音声表示出力制御装置にあって、前記テキスト同期表示制御手段には、予め設定された経過時間に従い前記テキストデータを前記音声データ出力手段により出力される音声データに同期するように表示させるための命令コードを記憶する命令コード記憶手段が備えられ、この命令コード記憶手段により記憶された命令コードに応じて、前記テキストデータが音声データに同期するように表示される。そして、前記画像表示制御手段では、前記命令コード記憶手段により記憶された命令コードに応じて音声，テキストに対応した画像の表示が行われるので、命令コード記憶手段により記憶された命令コードによる設定経過時間に応じた指示に従い、テキストデータおよび当該テキストに対応した画像を音声データに同期させて表示できるようになる。
【００４２】
また、本発明の請求項６に係る音声表示出力制御処理プログラムによれば、当該プログラムを電子機器のコンピュータにインストールすることで、この電子機器のコンピュータにおいて、音声データ出力手段により出力される音声データに同期するようにテキスト同期表示制御手段によりテキストデータが表示され、この音声データに同期するように表示されるテキストの同期表示部分に対応して画像表示制御手段により口の動きを表現する画像が表示されるので、この電子機器では、音声出力に対応するテキスト表示が同期するように行われるだけでなく、当該音声，テキストに対応した口の動きの表現画像をも表示できるようになる。
【００４３】
また、本発明の請求項７に係る編集装置によれば、音声にテキストと画像を同期させて出力させるための対応データを編集する編集装置であって、種々の音声データに対応付けてそれぞれ異なる複数の口の画像を記憶する口画像記憶手段を有し、対応データ編集手段により、出力対象のテキストに応じた音声データに対応付けられて前記口画像記憶手段により記憶された口の画像が読み出され、当該出力対象のテキストまたは音声データの位置に対応付けて記憶されるので、音声にテキストと画像を同期させて出力させるための対応データとして、出力対象のテキストに応じた音声データに対応する口の画像を、当該出力対象のテキストまたは音声データの位置に対応付けて記憶し編集できるようになる。
【００４４】
また、本発明の請求項８に係る音声テキスト再生装置によれば、前記請求項７に係る編集装置を備えた音声テキスト再生装置であって、同期再生手段により前記音声にテキストが同期されて出力されるのと共に、前記対応データ編集手段により記憶された対応データに基づいて、出力対象のテキストに対応付けられた口の画像が読み出されて表示されるので、編集された対応データに基づいて、音声およびテキストの同期出力に対応させた口の画像を容易に表示できるようになる。
【００４５】
また、本発明の請求項９に係るテキスト再生装置によれば、複数の見出語と当該各見出語に対応付けて口の画像データを記憶する辞書記憶手段が備えられ、見出語検索手段により前記辞書記憶手段に記憶された見出語が検索されると、この検索された見出語と共に当該見出語に対応付けられて前記辞書記憶手段により記憶された口の画像データが表示制御手段により読み出され、その見出語の各文字と口の画像データとが順次同期表示されるので、辞書検索に伴い検索した見出語と共にその見出語に対応する発音口型などの口の画像データを同期して表示できるようになる。
【００４６】
また、本発明の請求項１０に係る音声テキスト再生装置によれば、複数の見出語と当該各見出語に対応付けて音声データと口の画像データを記憶する辞書記憶手段が備えられ、見出語検索手段により前記辞書記憶手段に記憶された見出語が検索されると、この検索された見出語に対応付けられて前記辞書記憶手段により記憶された音声データが音声出力手段により出力され、また当該見出語に対応付けられて前記辞書記憶手段により記憶された口の画像データが表示制御手段により読み出され、前記音声出力に同期してその見出語と口の画像データが順次同期表示されるので、辞書検索に伴い検索した見出語表示と共にその見出語に対応する音声同期出力およびその発音口型などの口画像同期表示ができるようになる。
【００４７】
また、本発明の請求項１１に係る編集処理プログラムによれば、当該プログラムを電子機器のコンピュータにインストールすることで、この電子機器のコンピュータにおいて、種々の音声データに対応付けてそれぞれ異なる複数の口の画像を記憶する口画像記憶手段が備えられ、対応データ編集手段により、出力対象のテキストに応じた音声データに対応付けられて前記口画像記憶手段により記憶された口の画像が読み出され、当該出力対象のテキストまたは音声データの位置に対応付けて記憶されるので、この電子機器では、音声にテキストと画像を同期させて出力させるための対応データとして、出力対象のテキストに応じた音声データに対応する口の画像を、当該出力対象のテキストまたは音声データの位置に対応付けて記憶し編集できるようになる。
【００４８】
また、本発明の請求項１２に係る音声テキスト再生処理プログラムは、前記請求項１１に係る編集処理プログラムを備えた音声テキスト再生処理プログラムであり、当該プログラムを電子機器のコンピュータにインストールすることで、この電子機器のコンピュータにおいて、同期再生手段により音声にテキストが同期されて出力されるのと共に、対応データ編集手段により記憶された対応データに基づいて、出力対象のテキストに対応付けられた口の画像が読み出されて表示される。これによりこの電子機器では、編集された対応データに基づいて、音声およびテキストの同期出力に対応させた口の画像を容易に表示できるようになる。
【００４９】
また、本発明の請求項１３に係る音声表示出力制御装置によれば、テキストの発音記号と口型画像とを対応付けて複数組み記憶している第１の記憶手段と、文字と音声とを対応付けて複数組み記憶している第２の記憶手段とが備えられ、第１の制御手段により前記第２の記憶手段に記憶されている音声が外部に順次出力されると共に、この出力される音声に同期して前記第２の記憶手段に対応付けて記憶されている文字が順次識別表示される。するとこの第１の制御手段の制御により順次識別表示される文字に同期して、第２の制御手段により当該識別表示される文字の発音記号に対応して前記第１の記憶手段に対応付けて記憶されている口型画像が読み出され、この読み出された口型画像が順次切換表示されるので、音声を順次出力するのに同期してこれに対応記憶されている文字を順次識別表示でき、さらに、この順次識別表示される文字に同期して、当該識別表示文字の発音記号に対応した口型画像を順次切換表示できるようになる。
【００５０】
よって、本発明によれば、テキストデータと音声データと画像データとの同期出力に際し、音声出力、テキスト表示、発音用画像表示を簡単に同期して出力することが可能になる音声表示出力制御装置、編集装置、音声テキスト再生装置、および音声表示出力制御処理プログラム、編集処理プログラム、音声テキスト再生処理プログラムを提供できる。
【発明を実施するための最良の形態】
【００５１】
以下、図面を参照して本発明の実施の形態について説明する。
【００５２】
（第１実施形態）
図１は本発明の音声表示出力制御装置（編集装置）（音声テキスト再生装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図である。
【００５３】
この携帯機器（ＰＤＡ：personal digital assistants）１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ（central processing unit）１１が備えられる。
【００５４】
ＣＰＵ１１は、メモリ１２内のＲＯＭ１２Ａに予め記憶されたＰＤＡ制御プログラム、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（３０）から電送制御部１５を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶されたＰＤＡ制御プログラムは、スイッチやキーからなる入力部１７ａおよびマウスやタブレットからなる座標入力装置１７ｂからのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信される通信ネットワークＮ上の他のコンピュータ端末（３０）からの通信信号、あるいはBluetooth（R）による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ：personal computer）２０からの通信信号に応じて起動される。
【００５５】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７ａ、座標入力装置１７ｂが接続される他に、ＬＣＤからなる表示部１８、マイクを備え音声を入力する音声入力部１９ａ、左右チャンネルのスピーカＬ，Ｒを備え音声を出力するステレオ音声出力部１９ｂなどが接続される。
【００５６】
また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。
【００５７】
この携帯機器１０のメモリ１２は、ＲＯＭ１２Ａ、ＦＬＡＳＨメモリ（EEP-ROM）１２Ｂ、ＲＡＭ１２Ｃを備えて構成される。
【００５８】
ＲＯＭ１２Ａには、当該携帯機器１０の全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記憶される他に、スケジュール管理プログラムやアドレス管理プログラム、そして音声・テキスト・画像などの各種のファイルを同期再生するための再生処理プログラム１２a1など、種々のＰＤＡ制御プログラムが記憶される。
【００５９】
また、ＲＯＭ１２Ａにはさらに、辞書データ１２a2、口型データ１２a3（図２参照）、および見出語音声データ１２a4が記憶される。辞書データ１２a2ｓとしては、英和辞書、和英辞書、国語辞書など、各種の辞書のデータが記憶される。
【００６０】
図２は前記携帯機器１０のＲＯＭ１２Ａに記憶される口型データ１２a3の内容を示す図である。
【００６１】
この口型データ１２a3としては、例えば英語の各発音記号とその口型番号のそれぞれに対応付けられて、正面方向から見た口型画像と、これを拡大した口の内部の横方向からの口型断面画像と、その小説明（コメント）データが記憶される。
【００６２】
なお、見出語音声データ１２a4については、後述の第２実施形態において説明する。
【００６３】
ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂには、前記再生処理プログラム１２a1に基づき再生処理の対象となる暗号化された再生用ファイル（ＣＡＳファイル）１２ｂが記憶される他に、前記スケジュール管理プログラムやアドレス管理プログラムに基づき管理されるユーザのスケジュール及び友人・知人のアドレスなどが記憶される。
【００６４】
ここで、前記FLASHメモリ（EEP-ROM）１２Ｂ内に記憶される暗号化再生用ファイル１２ｂは、例えば英語や歌の練習をテキスト・音声・画像の同期再生により行うためのファイルであり、所定のアルゴリズムにより圧縮・暗号化されている。
【００６５】
この暗号化再生用ファイル１２ｂは、例えばＣＤ−ＲＯＭに記録されて配布されたり、通信ネットワーク（インターネット）Ｎ上のファイル配信サーバ３０から配信配布されたりするもので、前記ＣＤ−ＲＯＭあるいはネットサーバ（３０）により配布された暗号化再生用ファイル１２ｂは、例えばユーザ自宅ＰＣとしての通信機器（ＰＣ）２０に読み込まれた後、携帯機器（ＰＤＡ）１０の通信部１６を介してFLASHメモリ（EEP-ROM）１２Ｂに転送格納される。
【００６６】
ＲＡＭ１２Ｃには、前記暗号化された再生用ファイル１２ｂを伸張・復号化した解読された再生用ファイル（ＣＡＳファイル）１２ｃが記憶されると共に、この解読再生ファイル１２ｃの中の画像ファイルが展開されて記憶される画像展開バッファ１２ｋが備えられる。解読されたＣＡＳファイル１２ｃは、再生命令の処理単位時間（１２c1a）を記憶するヘッダ情報（１２c1）、および後述するファイルシーケンステーブル（１２c2）、タイムコードファイル（１２c3）、コンテンツ内容データ（１２c4）で構成される。そして、ＲＡＭ１２Ｃには、この画像展開バッファ１２ｋに展開されて記憶された画像ファイルそれぞれの展開済の画像番号を示す画像展開済フラグ１２ｊが記憶される。
【００６７】
また、ＲＡＭ１２Ｃには、再生用ファイル１２ｂ（１２ｃ）の選択コンテンツにおける指定テキスト番号１２ｄ、指定されたテキスト番号に対応する英会話テキストに対しユーザにより指定された指定パート番号１２ｅ、指定されたテキスト番号に対応する英会話テキストの各英単語それぞれの全発音記号とその口型番号が前記辞書データ１２a2および口型データ１２a3から検索されて記憶されるテキスト対応発音口型データ１２ｆ（図７参照）、前記再生用ファイル１２ｂ（１２ｃ）基づき英会話テキストの各文字がその読み上げ音声と読み上げアニメ画像に同期付けられてハイライト識別表示された際に、現時点のハイライト識別文字としてリアルタイムに検知記憶されるテキストハイライト指定文字１２ｇ、そして前記再生用ファイル１２ｂ（１２ｃ）内の同期再生ファイルとして含まれる画像ファイルの同期再生する／しないを設定するための画像（オン／オフ）フラグ１２ｈ、前記再生用ファイル１２ｂ（１２ｃ）内の同期再生ファイルとして含まれる音声ファイルの同期再生する／しないを設定するための音声（オン／オフ）フラグ１２ｉが記憶される。
【００６８】
さらに、ＲＡＭ１２Ｃには、その他各種の処理に応じてＣＰＵ１１に入出力される種々のデータを一時記憶するためワークエリアが用意される。
【００６９】
図３は前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２c3を示す図である。
【００７０】
図４は前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２c2を示す図である。
【００７１】
図５は前記携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２c4を示す図である。
【００７２】
この携帯機器１０の再生対象ファイルとなる再生用ファイル１２ｂ（１２ｃ）は、図３〜図５で示すように、タイムコードファイル１２c3とファイルシーケンステーブル１２c2とコンテンツ内容データ１２c4との組み合わせにより構成される。
【００７３】
図３で示すタイムコードファイル１２c3には、個々のファイル毎に予め設定される一定時間間隔の元の（基準）処理単位時間（例えば２５ｍｓ）で各種ファイル同期再生のコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるファイル内容（図５参照）を対応付けするためのファイルシーケンステーブル１２c2（図４）の参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。
【００７４】
なお、このタイムコードに従い順次コマンド処理を行うための一定時間間隔の元の（基準）処理単位時間１２c1aは、当該タイムコードファイル１２c3のヘッダ情報１２c1に記述設定される。
【００７５】
例えば図３で示すタイムコードファイル１２c3からなる再生用ファイル１２ｂ（１２ｃ）のファイル再生時間は、予め設定された元の（基準）処理単位時間が２５ｍｓである場合、２４００ステップのタイムコードからなる再生処理を経て６０秒間となる。
【００７６】
図４で示すファイルシーケンステーブル１２c2は、複数種類のファイル（ＨＴＭＬ／画像／テキスト／音声）の各種類毎に、前記タイムコードファイル１２c3（図３参照）に記述される各コマンドのパラメータデータと実際のファイル内容の格納先（ＩＤ）番号とを対応付けたテーブルである。
【００７７】
図５で示すコンテンツ内容データ１２c4は、前記ファイルシーケンステーブル１２c2（図４参照）により前記各コマンドコードと対応付けされる実際の音声，画像，テキストなどのファイルデータが、そのそれぞれのＩＤ番号を対応付けて記憶される。
【００７８】
本実施形態のファイルシーケンステーブル１２c2においてリンク付けされるコンテンツ内容データ１２c4について簡単に説明すると、例えばＩＤ＝５に対応するデータ内容には、３人の会話パートによる英会話テキストの基本画像Ｇ０（図１５参照）が用意され、ＩＤ＝６に対応するデータ内容には、前記基本画像Ｇ０に基づいたパート１の会話中画像Ｇ１（図１２（Ａ）（Ｄ）参照）が用意され、ＩＤ＝７に対応するデータ内容には、前記基本画像Ｇ０に基づいたパート２の会話中画像Ｇ２（図１２（Ｂ）参照）が用意され、ＩＤ＝８に対応するデータ内容には、前記基本画像Ｇ０に基づいたパート３の会話中画像Ｇ３（図１２（Ｃ）参照）が用意される。
【００７９】
なお、前記コンテンツ内容データ１２c4のＩＤ＝５に対応する英会話テキストの基本画像Ｇ０（図１５参照）には、各パート人物画像毎の口エリアの座標データｘ１ｙ１，ｘ２ｙ２（図１５のＭ１〜Ｍ３参照）が対応付けられて記憶される。
【００８０】
また、例えばＩＤ＝２１に対応するデータ内容には、前記３人の会話パートによる英会話テキストの会話中画像Ｇ１〜Ｇ３が同期付けされる英会話テキストデータ（２）（図１２・図１５参照）が用意され、さらに、例えばＩＤ＝３２に対応するデータ内容には、同３人の会話パートによる英会話テキストの会話中画像Ｇ１〜Ｇ３および英会話テキストデータ（２）が同期付けされる英会話音声データ（２）（図１２・図１５の１９ｂ参照）が用意される。
【００８１】
図６は前記携帯機器１０のタイムコードファイル１２c3（図３参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび再生処理プログラム１２a1に基づき解析処理される命令内容を対応付けて示す図である。
【００８２】
タイムコードファイル１２c3に使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、ＬＴ（ｉ番目テキストロード）．ＶＤ（ｉ番目テキスト文節表示）．ＢＬ（文字カウンタリセット・ｉ番目文節ブロック指定）．ＨＮ（ハイライト無し・文字カウンタカウントアップ）．ＨＬ（ｉ番目文字までハイライト・文字カウント）．ＬＳ（１行スクロール・文字カウンタカウントアップ）．ＤＨ（ｉ番目ＨＴＭＬファイル表示）．ＤＩ（ｉ番目イメージファイル表示）．ＰＳ（ｉ番目サウンドファイルプレイ）．ＣＳ（クリアオールファイル）．ＰＰ（基本タイムｉ秒間停止）．ＦＮ（処理終了）．ＮＰ（無効）の各コマンドがあり、拡張コマンドには、ＰＴ（ｉ番目パート指定）．ＰＩ（パート別イメージファイル表示）などの各コマンドがある。
【００８３】
図７は前記携帯機器１０のＲＡＭ１２Ｃに記憶されるテキスト対応発音口型データ１２ｆの内容を示す図である。
【００８４】
すなわち、この携帯機器（ＰＤＡ）１０のＲＯＭ１２Ａに記憶されている再生処理プログラム１２a1を起動させて、ＦＬＡＳＨメモリ１２Ｂから解読されＲＡＭ１２Ｃに記憶された解読再生用ファイル１２ｃが、例えば図３乃至図５で示したファイル内容であり、設定処理単位時間毎のコマンド処理に伴い３番目のコマンドコード“ＤＩ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＤＩ”はｉ番目のイメージファイル表示命令であるため、パラメータデータｉ＝００からファイルシーケンステーブル１２c2（図４参照）にリンク付けられる画像ファイルのＩＤ番号＝５に従い、コンテンツ内容データ１２c4（図５参照）の英会話テキスト基本画像Ｇ０が読み出されて表示される。
【００８５】
また、設定処理単位時間毎のコマンド処理に伴い６番目のコマンドコード“ＶＤ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＶＤ”はｉ番目のテキスト文節表示命令であるため、パラメータデータｉ＝００に従い、テキストの０番目の文節が表示される。
【００８６】
また、設定処理単位時間毎のコマンド処理に伴い８番目のコマンドコード“ＰＩ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＰＩ”はパート別イメージファイル表示命令であるため、これ以降のコマンドコードＰＴ（ｉ番目パート指定）に従い指定されたパートの画像表示が指示される。
【００８７】
また、設定処理単位時間毎のコマンド処理に伴い９番目のコマンドコード“ＰＴ”およびパラメータデータ“０１”が読み込まれた場合には、このコマンド“ＰＴ”はｉ番目パート指定命令であるため、パラメータデータｉ＝０１に従い、再生対象ファイルにおける１番目のパートが指定される。
【００８８】
さらに、設定処理単位時間毎のコマンド処理に伴い１１番目のコマンドコード“ＮＰ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＮＰ”は無効命令であるため、現状のファイル出力状態が維持される。
【００８９】
なお、この図３乃至図５で示したファイル内容の再生用ファイル１２ｂ（１２ｃ）についての詳細な再生動作は、後述にて改めて説明する。
【００９０】
次に、前記構成の携帯機器１０によるファイル再生機能について説明する。
【００９１】
図８は前記携帯機器１０の再生処理プログラム１２a1に従った再生処理を示すフローチャートである。
【００９２】
図９は前記携帯機器１０の再生処理に伴う発音口型データ作成処理を示すフローチャートである。
【００９３】
図１０は前記携帯機器１０の再生処理に伴う対応パート別画像表示処理Ａを示すフローチャートである。
【００９４】
図１１は前記携帯機器１０の再生処理に伴う学習内容の選択操作・表示状態を示す図であり、同図（Ａ）は学習内容選択画面Ｇを示す図、同図（Ｂ）（Ｃ）は当該学習内容選択画面Ｇを対象とする選択操作キーを示す図である。
【００９５】
例えば英語の勉強がテキストと画像と音声で行える英語教材再生ファイルを、ＣＤ−ＲＯＭや通信ネットワーク（インターネット）Ｎ上のサーバ３０から自宅ＰＣである通信機器（ＰＣ）２０に取り込み、携帯機器（ＰＤＡ）１０の通信部１６を介して当該再生用ファイル（ＣＡＳファイル）１２ｂがＦＬＡＳＨメモリ１２Ｂに、あるいは解読された再生用ファイル１２ｃとしてＲＡＭ１２Ｃに格納された状態において、入力部１７ａあるいは座標入力装置（マウス／タブレット）１７ｂの操作によりこの再生用ファイル１２ｂ（１２ｃ）の再生が指示されると、まず、図１１（Ａ）に示すように、学習内容をユーザ選択させるための学習内容選択画面Ｇが表示部１８に表示される（ステップＳ１）。
【００９６】
この学習内容選択画面Ｇにあって、図１１（Ｂ）（Ｃ）に示すように、入力部１７ａのカーソルキー１７a1および「決定」キー１７a2の操作により、英会話の全体を聞く、またはパート別練習における各会話パート（１：２：３）の何れかが選択されると、ＲＡＭ１２Ｃ内の各ワークエリアのクリア処理などのイニシャライズ処理が行われ、前記選択された英会話パートのパート番号が指定パート番号１２ｅとしてＲＡＭ１２Ｃに記憶される（ステップＳ１，Ｓ２）。
【００９７】
そして、前記ＦＬＡＳＨメモリ１２Ｂに格納された再生用ファイル（ＣＡＳファイル）１２ｂが読み込まれ（ステップＳ３）、当該再生用ファイル（ＣＡＳファイル）１２ｂは暗号化ファイルであるか否か判断される（ステップＳ４）。
【００９８】
ここで、暗号化された再生用ファイル（ＣＡＳファイル）１２ｂであると判断された場合には、当該ＣＡＳファイル１２ｂは解読復号化され（ステップＳ４→Ｓ５）、ＲＡＭ１２Ｃに転送されて格納される（ステップＳ６）。
【００９９】
ここで、図９における発音口型データ作成処理が実行される（ステップＳＡ）。
【０１００】
この発音口型データ作成処理では、まず、コンテンツ内容データ１２c4として記憶されている英会話テキストデータが、例えば図７に示すように、ＲＡＭ１２Ｃ内のテキスト対応発音口型データ１２ｆとして読み込まれる（ステップＡ１）。
【０１０１】
すると、このテキスト対応発音口型データ１２ｆに読み込まれた英会話テキストデータのすべての単語が、ＲＯＭ１２Ａに記憶されている辞書データ１２a2に基づいて順次辞書引きされ、そのそれぞれの発音記号が読み出される（ステップＡ２）。
【０１０２】
そして、前記英会話テキストデータの全ての単語について読み出された発音記号の各々に対応する口型番号データが、ＲＯＭ１２Ａに記憶されている口型データ１２a3（図２参照）から読み出され、各会話パート毎のテキスト単語、発音記号、口型番号として対応付けられて前記ＲＡＭ１２Ｃ内のテキスト対応発音口型データ１２ｆに編集記憶される。
【０１０３】
なお、この発音口型データ作成処理では、コンテンツ内容データ１２c4として記憶されている英会話テキストデータが、ＲＡＭ１２Ｃ内のテキスト対応発音口型データ１２ｆとして読み込まれた際に、既に同一の英会話テキストデータについて前回の再生処理に伴いその発音口型データとの対応付け編集が完了している場合には、この同一の英会話テキストデータについての発音口型データ作成処理は省略されて行われない。
【０１０４】
こうして、発音口型データ作成処理により英会話テキストとその発音口型データとの対応付け編集が完了すると、ＣＰＵ１１による再生用ファイル（ＣＡＳファイル）１２ｃの処理単位時間１２c1a（例えば２５ｍｓ）がタイムコードファイル１２c3のヘッダ情報１２c1として設定される（ステップＳ７）。
【０１０５】
そして、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃの先頭に読み出しポインタがセットされ（ステップＳ８）、当該再生用ファイル１２ｃの再生処理タイミングを計時するためのタイマがスタートされる（ステップＳ９）。
【０１０６】
ここで、先読み処理が当該再生処理に並行して起動される（ステップＳ１０）。
【０１０７】
この先読み処理では、再生用ファイル１２ｃのタイムコードファイル１２c3（図３参照）に従った現在の読み出しポインタの位置のコマンド処理よりも後に画像ファイル表示の“ＤＩ”コマンドがある場合は、予め当該“ＤＩ”コマンドのパラメータデータにより指示される画像ファイルを先読みして画像展開バッファ１２ｋに展開しておくことで、前記読み出しポインタが実際に後の“ＤＩ”コマンドの位置まで移動した場合に、処理に遅れなく指定の画像ファイルを直ちに出力表示できるようにする。
【０１０８】
前記ステップＳ９において、処理タイマがスタートされると、前記ステップＳ７にて設定された今回の再生対象ファイル１２ｃに応じた処理単位時間（２５ｍｓ）毎に、前記ステップＳ８にて設定された読み出しポインタの位置の当該再生用ファイル１２ｃを構成するタイムコードファイル１２c3（図３参照）のコマンドコードおよびそのパラメータデータが読み出される（ステップＳ１１）。
【０１０９】
そして、前記再生用ファイル１２ｃにおけるタイムコードファイル１２c3（図３参照）から読み出されたコマンドコードが、“ＦＮ”か否か判断され（ステップＳ１２）、“ＦＮ”と判断された場合には、その時点で当該ファイル再生処理の停止処理が指示実行される（ステップＳ１２→Ｓ１３）。
【０１１０】
一方、前記再生用ファイル１２ｃにおけるタイムコードファイル１２c3（図３参照）から読み出されたコマンドコードが、“ＦＮ”ではないと判断された場合には、当該コマンドコードが、“ＰＴ”か否か判断される（ステップＳ１２→Ｓ１４）。
【０１１１】
そして、コマンドコード“ＰＴ”と判断された場合には、図１０における対応パート別画像表示処理Ａが実行される（ステップＳＢ）。
【０１１２】
この対応パート別画像表示処理Ａでは、まず、前記コマンドコード“ＰＴ”およびそのパラメータデータにより指定された英会話テキストのパート番号ｐが検知され（ステップＢa1）、このパート番号ｐを前記タイムコードファイル１２c3（図３参照）のコマンドコード“ＤＩ”およびそのパラメータデータで指定される英会話テキスト基本画像Ｇ０の画像番号に加算した値が、再生対象パートの画像番号ｉとして設定される（ステップＢa2）。例えば、タイムコードファイル１２c3（図３参照）の最初のコマンドコード“ＤＩ”のパラメータデータにより指定される基本画像番号が“００”であり、前記コマンドコード“ＰＴ”のパラメータデータにより指定されたパート番号ｐ＝“０１”である場合には、再生対象パートの画像番号ｉ＝０１（００＋０１）となる。
【０１１３】
すると、コマンドコード“ＤＩ”に対応する命令（ｉ番目の画像表示命令）が実行され、例えばファイルシーケンステーブル１２c2の画像番号ｉ＝０１に対応付けられてコンテンツ内容データ１２c4に記憶されているＩＤ番号＝６のパート１の会話中画像Ｇ１が表示される（ステップＢa3）。
【０１１４】
こうして、コマンドコード“ＰＴ”により指定されたパート別画像の表示が行われると、該コマンドコード“ＰＴ”のパラメータデータにより指定される英会話パートのパート番号ｐが、前記学習内容の選択処理（ステップＳ１）においてユーザ選択されて記憶されたパート別練習を行う場合の指定パート番号１２ｅと一致するか否か判断される（ステップＳ１５）。
【０１１５】
ここで、コマンドコード“ＰＴ”のパラメータデータにより指定される英会話パートのパート番号ｐが、ユーザ選択された指定パート番号１２ｅと一致しない場合、つまりユーザ所望の会話練習パートと異なる会話パートであると判断された場合には、当該会話パート部分における音声出力を行うために音声オンフラグ１２ｉがＲＡＭ１２Ｃにセットされると共に（ステップＳ１５→Ｓ１６）、コマンドコード“ＨＬ”に応じて該当会話パートのテキスト文字列を識別表示させるためのハイライトの種類が、アンダーラインによる識別表示形態に変更設定される（ステップＳ１７）。
【０１１６】
一方、コマンドコード“ＰＴ”のパラメータデータにより指定される英会話パートのパート番号ｐが、ユーザ選択された指定パート番号１２ｅと一致した場合、つまりユーザ所望の会話練習パートであると判断された場合には、当該会話パート部分における音声出力を停止させるために音声オフフラグ１２ｉがＲＡＭ１２Ｃにセットされると共に（ステップＳ１５→Ｓ１８）、コマンドコード“ＨＬ”に応じて該当会話パートのテキスト文字列を識別表示させるためのハイライトの種類が、反転による識別表示形態に変更設定される（ステップＳ１９）。
【０１１７】
すると、再び処理タイマによる計時動作に基づいて、当該タイマによる計時時間が次の処理単位時間１２c1aに到達したか否か判断される（ステップＳ２０）。
【０１１８】
一方、前記ステップＳ１４において、前記再生用ファイル１２ｃにおけるタイムコードファイル１２c3（図３参照）から読み出されたコマンドコードが、“ＰＴ”ではないと判断された場合には、他のコマンド処理へ移行されて各コマンド内容（図６参照）に対応する処理が実行される（ステップＳＣ）。
【０１１９】
そして、ステップＳ２０において、前記タイマによる計時時間が次の処理単位時間１２c1aに到達したと判断された場合には、ＲＡＭ１２Ｃに格納された解読済再生用ファイル（ＣＡＳファイル）１２ｃに対する読み出しポインタが次の位置に更新セットされ（ステップＳ２０→Ｓ２１）、前記ステップＳ１１における当該読み出しポインタの位置のタイムコードファイル１２c3（図３参照）のコマンドコードおよびそのパラメータデータ読み出しからの処理が繰り返される（ステップＳ２１→Ｓ１１〜Ｓ１９（ＳＣ））。
【０１２０】
すなわち、携帯機器１０のＣＰＵ１１は、ＲＯＭ１２Ａに記憶された同期コンテンツ再生処理プログラム１２a2に従って、再生用ファイル１２ｂ（１２ｃ）に予め設定記述されているコマンド処理の単位時間毎に、タイムコードファイル１２c3（図３参照）に配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２c3に記述された各コマンドに応じたテキスト，音声，画像の同期再生出力処理が実行される。
【０１２１】
そして、このように再生用ファイル１２ｃにおけるタイムコードファイル１２c3（図３参照）からのコマンドコードの読み出しに応じて、音声，テキスト，画像の同期再生出力の指示を行う場合に、前記対応パート別画像表示処理Ａに従い、コマンドコード“ＰＴ”によって指示された次の再生パートに対応する会話中画像Ｇｎの表示が行われるので、簡単に各会話パート別の口の動きを表した画像表示を行うことができ、ユーザはより効果的に会話の練習を行うことができる。
【０１２２】
また、コマンドコード“ＰＴ”によって指示された次の再生パートが、ユーザ設定された練習対象のパートであるときには、当該パート部分の音声出力は停止され、テキスト，パート別画像Ｇｎのみの同期再生出力状態となることで、ユーザは該ユーザ自身で設定した練習パートにおいて表示出力されるテキスト，パート別画像Ｇｎを見ながら該テキストを自身で読み上げて会話の練習を行うことができる。
【０１２３】
また、同コマンドコード“ＰＴ”によって指示された次の再生パートが、ユーザ設定された練習対象のパートでないときには、当該パート部分の音声出力は停止されず、テキスト，音声，画像の同期再生出力状態となることで、ユーザは他のパートについて表示出力されるテキスト，画像を見ながら該テキストの音声出力を聞いて会話の練習を行うことができる。
【０１２４】
ここで、図３で示す英語教材再生ファイル１２ｃに基づいた、前記同期コンテンツ再生処理プログラム１２a1（図８〜図１０参照）による音声・テキスト・画像ファイルの同期再生出力動作について詳細に説明する。
【０１２５】
図１２は前記図３乃至図５における英語教材再生ファイル１２ｃに基づいた英会話テキスト・音声・画像ファイルの同期再生状態（その１）を示す図である。
【０１２６】
この英語教材ファイル（１２ｃ）は、そのヘッダに予め記述設定された（基準）処理単位時間（例えば２５ｍｓ）１２c1a毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２c3（図３参照）の第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ、テキスト・音声・画像ファイルの出力がクリアされる（ステップＳＣ）。
【０１２７】
第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝１）に応じて、ファイルシーケンステーブル１２c2（図４参照）からＨＴＭＬ番号１のＩＤ番号＝２が読み出される。
【０１２８】
そして、このＩＤ番号＝２に対応付けられてコンテンツ内容データ１２c4（図５参照）から読み出されるＨＴＭＬデータの英会話テキスト・画像フレームデータに応じて、図１２（Ａ）に示すように、表示部１８に対するテキスト表示フレームＸや画像表示フレームＹが設定される（ステップＳＣ）。
【０１２９】
第３コマンドコード“ＤＩ”（ｉ番目イメージファイル表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ファイルシーケンステーブル１２c2（図４参照）から画像番号１のＩＤ番号＝５が読み出される。
【０１３０】
そして、このＩＤ番号＝５に対応付けられてコンテンツ内容データ１２c4（図５参照）から読み出されて画像展開バッファ１２ｋに展開された画像データ（英会話テキスト基本画像Ｇ０）が、前記ＨＴＭＬファイルで設定された画像表示フレームＹ内に表示される（ステップＳＣ）。
【０１３１】
第４コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝２）に応じて、ファイルシーケンステーブル１２c2（図４参照）から音声番号２のＩＤ番号＝３２が読み出される。
【０１３２】
そして、このＩＤ番号＝３２に対応付けられてコンテンツ内容データ１２c4（図５参照）から読み出された英会話音声データ（２）がステレオ音声出力部１９ｂから出力開始される（ステップＳＣ）。
【０１３３】
第５コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“０２”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝２）に応じて、ファイルシーケンステーブル１２c2（図４参照）からテキスト番号２のＩＤ番号＝２１が読み出される。
【０１３４】
そして、このＩＤ番号＝２１に対応付けられてコンテンツ内容データ１２c4（図５参照）から読み出された英会話テキストデータ（２）
がＲＡＭ１２Ｃのワークエリアにロードされる（ステップＳＣ）。
【０１３５】
第６コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ファイルシーケンステーブル１２c2（図４参照）からテキスト番号０のＩＤ番号＝１９が読み出され、これに対応付けられてコンテンツ内容データ１２c4（図５参照）にて指定された英会話タイトル文字の文節が、前記ＲＡＭ１２Ｃにロードされた英会話テキストデータ（２）の中から呼び出されて表示画面上のテキスト表示フレームＸ内に表示される（ステップＳＣ）。
【０１３６】
第７コマンドコード“ＢＬ”（文字カウンタリセット・ｉ番目文節ブロック指定）およびそのパラメータデータ“００”が読み出されると、前記テキスト表示フレームＸで表示中の英会話文節の文字カウンタがリセットされ、０番目のブロックが指定される（ステップＳＣ）。
【０１３７】
第８コマンドコード“ＰＩ”（パート別イメージファイル表示）およびそのパラメータデータ“００”が読み出されると、これ以降に指定されたパートの画像を表示する指示が行われる（ステップＳＣ）。
【０１３８】
第９コマンドコード“ＰＴ”（ｉ番目パート指定）およびそのパラメータデータ“０１”が読み出されると、前記英会話テキスト基本画像Ｇ０に基づき、これから同期再生すべき前記英会話音声データ（２）および前記英会話テキストデータ（２）における会話パート１（Ａさん）が指定される（ステップＳ１４）。
【０１３９】
すると、図９における対応パート別画像表示処理Ａに従い、前記指定のパート番号ｐ＝１に応じた画像番号ｉ＝１に対応して、パート１の人物の口の動作を表した会話中画像Ｇ１が読み出され、図１２（Ａ）に示すように表示される（ステップＳＢ）。
【０１４０】
そして、予めユーザ設定された指定パート番号１２ｅが会話パート２（Ｂさん）である場合には、前記第９コマンドコード“ＰＴ”により指定された会話パート１（Ａさん）と一致しないので（ステップＳ１５）、該当パート１の音声出力オンにされ（ステップＳ１６）、また、コマンドコード“ＨＬ”に応じた処理内容のハイライト処理がアンダーライン処理に変更設定される（ステップＳ１７）。
【０１４１】
そして、第１０コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０７”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝７）に応じて、図１２（Ａ）に示すように、テキストデータの７番目の文字「A:What 」（スペース含む）までアンダーライン表示（下線表示）され、文字カウンタが同７番目の文字までカウントアップされる（ステップＳＣ）。
【０１４２】
この際、前記テキストデータのパート１（Ａさん）部分である会話文字列のアンダーライン表示中には、音声出力オンに設定されているので、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力されている英会話音声データ（２）は、同会話パート１（Ａさん）のアンダーライン表示部分を読み上げるところの音声が出力されることになる。
【０１４３】
第１１コマンドコード“ＮＰ”が読み出されると、現在の画像および英会話テキストデータの同期表示画面および英会話音声データの同期出力状態が維持される。
【０１４４】
この後、第１３コマンドコード“ＨＬ”、第３５コマンドコード“ＨＬ”、第５８コマンドコード“ＨＬ”に従い、パート１会話中画像Ｇ１の表示状態において、会話パート１（Ａさん）部分のテキストデータが、順次、１２番目の文字「high 」、１９番目の文字「school 」、２２番目の文字「do 」というように、アンダーライン表示（下線表示）されて行くのと共に、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力されている英会話音声データ（２）も、同会話パート１（Ａさん）のアンダーライン表示部分を読み上げるところの音声が順次出力される（ステップＳ１１〜Ｓ１４→ＳＣ，Ｓ２０，Ｓ２１→Ｓ１１）。
【０１４５】
つまり、コマンドコード“ＰＴ”によって指示された次の英会話再生パートが、ユーザ設定された練習対象のパート（例えばパート２（Ｂさん））でないときには、当該他のパート部分の音声出力は停止されず、英会話テキスト，その読み上げ音声，対応パート別画像Ｇｎの同期再生出力状態となることで、ユーザは他のパートについて表示出力されるテキスト，画像を見ながら該テキストの音声出力を聞いて会話の練習を行うことができる。
【０１４６】
そして、第１１９コマンドコード“ＰＴ”（ｉ番目パート指定）およびそのパラメータデータ“０２”が読み出されると、次に同期再生すべき前記英会話音声データ（２）および前記英会話テキストデータ（２）およびパート別画像Ｇｎにおける会話パート２（Ｂさん）が指定される（ステップＳ１４）。
【０１４７】
すると、図９における対応パート別画像表示処理Ａに従い、前記指定のパート番号ｐ＝２に応じた画像番号ｉ＝２に対応して、パート２の人物の口の動作を表した会話中画像Ｇ２が読み出され、図１２（Ｂ）に示すように表示される（ステップＳＢ）。
【０１４８】
ここで、予めユーザ設定された指定パート番号１２ｅが会話パート２（Ｂさん）である場合には、前記第１１９コマンドコード“ＰＴ”により指定された会話パート２（Ｂさん）と一致するので（ステップＳ１５）、該当パート２の音声出力オフにされ（ステップＳ１８）、また、コマンドコード“ＨＬ”に応じた処理内容のハイライト処理が反転処理に変更設定される（ステップＳ１９）。
【０１４９】
そして、第１２０コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“３７”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝３７）に応じて、図１２（Ｂ）に示すように、テキストデータの３７番目の文字、つまり会話パート２の文字「B:I 」（スペース含む）まで今度は反転により表示され、文字カウンタが同３７番目の文字までカウントアップされる（ステップＳＣ）。
【０１５０】
この際、前記テキストデータのパート２（Ｂさん）部分である会話文字列の反転表示中には、音声出力オフに設定されているので、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから順次出力されていた英会話音声データ（２）は停止される。
【０１５１】
この後、第１３２コマンドコード“ＨＬ”、第１４０コマンドコード“ＨＬ”に従い、パート２会話中画像Ｇ２の表示状態において、会話パート２（Ｂさん）部分のテキストデータが、音声出力無しのままで、順次、４０番目の文字「go 」、４３番目の文字「to 」というように、反転表示されて行く（ステップＳ１１〜Ｓ１４→ＳＣ，Ｓ２０，Ｓ２１→Ｓ１１）。
【０１５２】
つまり、コマンドコード“ＰＴ”によって指示された次の英会話再生パートが、ユーザ設定された練習対象のパート（例えばパート２（Ｂさん））であるときには、当該パート部分の音声出力は停止され、英会話テキストパート１，対応パート別画像Ｇ２のみの同期再生出力状態となることで、ユーザは該ユーザ自身で設定した練習パートにおいて表示出力されるテキスト，画像を見ながら該テキストを自身で読み上げて会話の練習を行うことができる。
【０１５３】
さらに、第１５９コマンドコード“ＰＴ”（ｉ番目パート指定）およびそのパラメータデータ“０３”が読み出されると、次に同期再生すべき前記英会話音声データ（２）および前記英会話テキストデータ（２）およびパート別画像Ｇｎにおける会話パート３（Ｃさん）が指定される（ステップＳ１４）。
【０１５４】
すると、図９における対応パート別画像表示処理Ａに従い、前記指定のパート番号ｐ＝３に応じた画像番号ｉ＝３に対応して、パート３の人物の口の動作を表した会話中画像Ｇ３が読み出され、図１２（Ｃ）に示すように表示される（ステップＳＢ）。
【０１５５】
ここで、予めユーザ設定された指定パート番号１２ｅが会話パート２（Ｂさん）である場合には、前記第１５９コマンドコード“ＰＴ”により指定された会話パート３（Ｃさん）と一致しないので（ステップＳ１５）、該当パート３の音声出力オンにされ（ステップＳ１６）、また、コマンドコード“ＨＬ”に応じた処理内容のハイライト処理がアンダーライン処理に変更設定される（ステップＳ１７）。
【０１５６】
そして、第１６０コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“７０”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝７０）に応じて、図１２（Ｃ）に示すように、テキストデータの７０番目の文字「C:Me, 」（スペース含む）までアンダーライン表示（下線表示）され、文字カウンタが同７０番目の文字までカウントアップされる（ステップＳＣ）。
【０１５７】
この際、前記テキストデータのパート３（Ｃさん）部分である会話文字列のアンダーライン表示中には、音声出力オンに設定されているので、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力されている英会話音声データ（２）は、同会話パート３（Ｃさん）のアンダーライン表示部分を読み上げるところの音声が出力されることになる。
【０１５８】
この後、第１７２コマンドコード“ＨＬ”に従い、パート３会話中画像Ｇ３の表示状態において、会話パート３（Ｃさん）部分のテキストデータが７５番目の文字「too．」までアンダーライン表示（下線表示）されて行くのと共に、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力されている英会話音声データ（２）も、同会話パート３（Ｃさん）のアンダーライン表示部分を読み上げるところの音声が続けて出力される（ステップＳ１１〜Ｓ１４→ＳＣ，Ｓ２０，Ｓ２１→Ｓ１１）。
【０１５９】
つまり、コマンドコード“ＰＴ”によって指示された次の英会話再生パートが、再び、ユーザ設定された練習対象のパート（例えばパート２（Ｂさん））でなくなったときには、当該他のパート部分の音声出力が再開され、英会話テキスト，その読み上げ音声，対応パート画像Ｇｎの同期再生出力状態となることで、ユーザは再び他のパートについて表示出力されるテキスト，画像を見ながら該テキストの音声出力を聞いて会話の練習を行うことができる。
【０１６０】
このように、前記英会話教材再生ファイル（１２ｃ）におけるタイムコードファイル１２c3（図３参照）・ファイルシーケンステーブル１２c2（図４参照）・コンテンツ内容データ１２c4（図５参照）に従って、当該再生ファイルに予め設定された（基準）処理単位時間（例えば２５ｍｓ）１２c1a毎のコマンド処理を行うことで、図１２（Ａ）〜（Ｄ）で示したように、表示画面上のテキスト表示フレームＸ内に英会話テキストデータがそのパート部分を識別表示されながら表示されると共に、画像表示フレームＹ内にそのパート人物の口の動きを示したパート別画像Ｇｎが同期表示され、さらに、ステレオ音声出力部１９ｂから識別表示中の英会話パートのテキストを読み上げる英会話音声データが同期出力されると共に、当該英会話テキストの読み上げ文節が各文字毎に順次同期ハイライト（強調）表示されるようになる。
【０１６１】
この際、対応パート別画像表示処理Ａに従い、コマンドコード“ＰＴ”によって指示された次の再生パートに対応するパート人物の口の動きを示した会話中画像Ｇｎの表示が行われるので、簡単に各会話パート別の口の動きを表した画像表示を行うことができ、ユーザはより効果的に会話の練習を行うことができる。
【０１６２】
また、ユーザが指定した会話パートの再生出力期間においては、その音声データの同期出力が停止されるので、ユーザは該ユーザ自身で設定した練習パートにおいて表示出力されるテキスト，パート別画像Ｇｎを見ながら該テキストを自身で読み上げて会話の練習を行うことができ、他の会話パートにおいては、テキスト，パート別画像Ｇｎを見ながらその読み上げ音声出力を聞いて練習することができる。
【０１６３】
したがって、前記構成の携帯機器１０によるファイル再生機能によれば、ＲＯＭ１２Ａに予め記憶された再生処理プログラム１２a1に従って、再生用ファイル１２ｂ（１２ｃ）に予め設定記述されているコマンド処理の基準単位時間（２５ｍｓ／５０ｍｓ）毎に、タイムコードファイル１２c3に配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２c3に記述された各コマンドに応じたテキスト・画像・音声ファイルなどの同期再生処理が実行される。
【０１６４】
そして、例えば英会話教材の再生用ファイル１２ｂ（１２ｃ）による複数の会話パートからなるテキスト・音声・画像の同期再生出力が行われる場合に、対応パート別画像表示処理Ａに従い、コマンドコード“ＰＴ”およびそのパラメータデータによって指示された次の再生対象会話パートに対応するパート別人物の口の動きを示した会話中画像Ｇｎの表示が行われるので、簡単に各会話パート別の口の動きを表した画像表示を行うことができ、ユーザはより効果的に会話の練習を行うことができる。
【０１６５】
また、前記コマンドコードおよびそのパラメータデータに応じて指定される次の出力対象会話パートが、ユーザにより設定した練習対象の会話パートと一致した場合には、当該設定会話パートでは音声出力を停止させてパート別テキストの識別・対応パーツ別画像Ｇｎの同期表示出力のみ行い、また、練習対象の会話パートと一致しない場合には、音声出力を再開させてパート別テキストの識別・対応パーツ別画像Ｇｎと共に同期再生が行われるので、ユーザ所望の会話パートのみテキストの読み上げ音声出力を簡単に消してユーザ自身が発音練習することができ、パート別の練習を容易且つ効果的に行うことができる。
【０１６６】
また、前記構成の携帯機器１０によるファイル再生機能によれば、タイムコードファイル１２c3に記述された基準処理単位時間毎のコマンドコードに応じて、音声データの出力指示“ＰＳ”や該音声データに合わせたテキストデータの表示指示“ＶＤ”“ＨＬ”およびパート別画像Ｇｎの表示指示“ＤＩ”“ＰＩ”を行う場合に、各会話パートの開始の指定を“ＰＴ”により行って、対応するパート別画像Ｇｎを表示したり、ユーザ設定された練習パートと一致した場合には当該パートの音声出力をオフにしたりする構成としたので、非常に簡単にパート別の練習を行うことができる。
【０１６７】
また、前記構成の携帯機器１０によるファイル再生機能によれば、タイムコードファイル１２c3のコマンドコード“ＰＴ”によって指定されるパート番号（種類）は、当該コマンドコード“ＰＴ”と対に記述されたパラメータデータによって設定されるので、簡単に各再生パート指定を行ったタイムコードファイル１２c3を作成することができる。
【０１６８】
なお、本第１実施形態の再生処理に伴う対応パート別画像表示処理Ａ（図１０参照）では、タイムコードファイル１２c3のコマンドコードＰＴによって指定されたパート番号ｐに応じて、予め各会話パート毎にそのパート人物の口の動きを表現して用意したパート別の会話中画像Ｇｎを切り替え表示させ、各パートの会話の状態を画像の上でも同期して表現する構成としたが、次の図１３〜図１５において示す対応パート別画像表示処理Ｂおよびテキスト対応口表示処理に従い説明するように、各パートの何れにも口の動きがない英会話テキスト基本画像Ｇ０をベースとして、前記コマンドコードＰＴにより指定される各パート人物の口エリアＭ１〜Ｍ３に対し、各パート英会話テキストの現在の識別表示文字に対応してテキスト対応発音口型データ１２ｆから読み出される該当テキスト文字の発音口型画像を合成表示することで、各パートの会話の状態を画像の上でよりリアルに同期して表現する構成としもよい。
【０１６９】
図１３は前記携帯機器１０の再生処理に伴う対応パート別画像表示処理Ｂを示すフローチャートである。
【０１７０】
図１４は前記携帯機器１０の再生処理におけるコマンドコードＨＬに応じたパート別テキストのハイライト（強調）表示処理に伴い割り込みで実行されるテキスト対応口表示処理を示すフローチャートである。
【０１７１】
図１５は前記図３乃至図５における英語教材再生ファイル１２ｃに基づいた英会話テキスト・音声・画像ファイルの同期再生状態（その２）を示す図である。
【０１７２】
すなわち、前記図８を参照して説明した再生処理のステップＳ１４において、タイムコードファイル１２c3からコマンドコードＰＴが読み出された場合に、図１３における対応パート別画像表示処理Ｂに移行されると、まず、コンテンツ内容データ１２c4の英会話テキスト基本画像Ｇ０が読み出されて、図１５に示すように、表示画面上の画像表示フレームＹ内に表示される（ステップＢb1）。
【０１７３】
すると、前記コマンドコードＰＴのパラメータデータにより指定された次の再生対象パート番号ｐが検知され（ステップＢb2）、当該指定のパート番号ｐに対応する前記英会話テキスト基本画像Ｇ０上での対応パート人物画像の口位置の矩形エリアデータ（位置座標）Ｍｎが、当該英会話テキスト基本画像Ｇ０が記憶されたコンテンツ内容データ１２c4から読み出される（ステップＢb3）。
【０１７４】
そして、再生処理のステップＳＣにおいて、タイムコードファイル１２c3から読み出されたコマンドコードＨＬに従い、表示中にある英会話テキストの現在の読み上げ文字までがハイライト処理により識別表示されるのに伴い、図１４におけるテキスト対応口表示処理が割り込みで起動されると、現在のテキストハイライト処理位置の文字が、当該コマンドコードＨＬのパラメータデータに基づき検知される（ステップＤ１）。
【０１７５】
すると、このテキストハイライト位置の文字に対応する発音の口型画像データが、前記図９における発音口型データ作成処理により作成されたテキスト対応発音口型データ１２ｆ（図７参照）の口番号に従いＲＯＭ１２Ａ内の口型データ１２a3（図２参照）から読み出される（ステップＤ２）。
【０１７６】
そして、この現在のテキストハイライト位置の文字に対応する発音の口型画像データが、前記対応パート別画像表示処理ＢのステップＢb3において読み出された指定パート人物画像の口位置の矩形エリアデータ（位置座標）Ｍｎに従い、図１５に示すように、表示中の英会話テキスト基本画像Ｇ０上に合成表示される（ステップＤ３）。
【０１７７】
これにより、現在再生中の英会話テキストの各パート別に、その発音に応じた口型を対応パート人物画像の口位置に合成して表示させることができ、各パートの会話の状態を画像の上でよりリアルに同期表現し、さらに効果的な会話の練習を行うことができる。
【０１７８】
そして、入力部１７ａあるいは座標入力装置１７ｂによって、「口内拡大表示」を指示するキー（ボタン）操作が行われると（ステップＤ４）、例えば図１５（Ｄ）に示すように、前記パート別のテキストハイライト表示に対応して英会話テキスト基本画像Ｇ０上で合成表示中の口型画像の拡大画像Ｇ４が、前記ＲＯＭ１２Ａ内の口型データ１２a3（図２参照）から読み出され（ステップＤ５）、前記英会話テキスト基本画像Ｇ０上のパート別口エリアＭ１とは別の表示エリアにウインドウ表示される（ステップＤ６）。
【０１７９】
この場合、図１５（Ｄ）では、パート１（Ａさん）に対応するテキストハイライト表示「Oh，both」および読み上げ音声出力（１９ｂ）に同期された、「both」の「th」に対応する口型画像のパート１口エリアＭ１への合成表示および当該発音口型拡大画像Ｇ４のウインドウ表示状態を示している。
【０１８０】
これにより、ユーザは会話練習中の発音の口型をリアルタイムに且つより詳しく知ることができ、最も効果的に英会話の練習を実施することができる。
【０１８１】
なお、このテキストハイライト位置に応じた口型合成表示の実施形態では、実際の発音に対応した口型画像を口型データ１２a3から読み出して各パート別人物画像の口エリアＭｎに合成表示する構成としたが、全パートの人物画像が口を閉じている英会話テキスト基本画像Ｇ０に対して、単に開いた口画像をパート別に合成表示する構成としてもよい。
【０１８２】
（第２実施形態）
次に、本発明の音声表示出力制御装置（編集装置）の第２実施形態に係る携帯機器１０について説明する。
【０１８３】
この第２実施形態の携帯機器１０では、辞書データ１２a2に基づく見出語の検索に伴い、各見出語毎に用意した前記第１実施形態と同様のタイムコードファイル１２c3に従って、当該見出語テキストの表示およびその読み上げ音声の出力に同期させた、発音の口型画像の表示を行う構成とする。
【０１８４】
図１６は本発明の第２実施形態の携帯機器１０のＲＯＭ１２Ａに記憶された辞書データ１２a2のデータ内容を示す図である。
【０１８５】
図１７は本発明の第２実施形態の携帯機器１０のＲＯＭ１２Ａに記憶された見出語音声データ１２a4のデータ内容を示す図である。
【０１８６】
辞書データ１２a2には、例えば英単語の見出語とその意味内容が、発音記号、この発音記号に応じた発声を行うための口型データ１２a3（図２参照）内の口型の種類を示す口型番号および見出語音声データ１２a4（図１７参照）内の見出語音声データを示す見出語音声番号と対応付けられて記憶される。
【０１８７】
見出語音声データ１２a4には、前記辞書データ１２a2として記憶された全ての英単語の見出語それぞれの読み上げ音声データがＰＣＭ音源からなるデータとして記憶される。
【０１８８】
図１８は前記第２実施形態の携帯機器１０による辞書検索・表示処理を示すフローチャートである。
【０１８９】
図１９は前記第２実施形態の携帯機器１０による辞書検索・表示処理に伴う検索見出語表示・音声出力・口型画像表示の同期再生状態を示す図である。
【０１９０】
例えば英単語「able」の検索を行う場合に、図１９（Ａ）に示すように、入力部１７ａの「英和」キー１７a3が操作されると、英和辞典の見出語入力画面Ｇ５が表示される。この見出語入力画面Ｇ５において、検索対象見出語「able」が入力表示され、図示しない「決定」キーが操作されると（ステップＥ１）、辞書データ１２a2（図１６参照）に基づいて当該検索対象見出語「able」の検索が実行され（ステップＥ２）、該当する複数の見出語が検索されたか否か判断される（ステップＥ３）。
【０１９１】
ここで、検索対象見出語「able」に該当する複数の見出語が、辞書データ１２a2から検索された場合には、当該検索された複数の見出語が表示部１８に一覧表示される（ステップＥ３→Ｅ４）。
【０１９２】
この見出し語一覧表示において表示された複数の見出語の中から前記検索対象見出語「able」に対応する一つの見出語がキー入力により選択操作されるか（ステップＥ５）、または前記ステップＥ３において、該当の見出語が一つだけ検索されたと判断された場合には、この検索された一つの見出し単語「able」と共に辞書データ１２a2として記憶されている発音記号が読み出され、表示部１８に表示される（ステップＥ６）。
【０１９３】
そして、この検索表示された見出し単語「able」の発音を練習するために、図１９（Ｂ）に示すように、入力部１７ａにおける「発音」キー１７a4が操作されると（ステップＥ７）、当該見出し単語「able」のテキスト表示および音声出力に同期させて、発音の口型画像を表示させるための音声・テキスト・口画像同期処理に移行される（ステップＥＳ）。
【０１９４】
この辞書検索・表示処理に伴う音声・テキスト・口画像同期処理は、前記第１実施形態と同様に各見出語毎に用意されたタイムコードファイル１２c3に従い再生処理（図８参照）のステップＳ３〜Ｓ２１（除くＳＡ）によって実行される。
【０１９５】
例えばタイムコードファイル１２c3のコマンドコード“ＰＳ”とそのパラメータデータによって、今回の見出し単語「able」の音声データが見出語音声データ１２a4（図１７参照）の中から読み出されてその音声出力が指示され、またコマンドコード“ＶＤ”とそのパラメータデータによって、当該見出し単語「able」のテキスト表示が指示され、コマンドコード“ＨＬ”とそのパラメータデータによって、テキスト表示された見出し単語「able」に対する前記音声データの出力に合わせた各文字毎のハイライト表示が指示され、コマンドコード“ＰＴ”とそのパラメータデータによって、前記見出し単語「able」のハイライト表示や音声データの出力に合わせた発音口型画像のイメージファイル表示が指示される。
【０１９６】
これにより、図１９（Ｂ）に示すように、辞書検索された見出し単語「able」の音声データ「エイブル」がステレオ音声出力部１９ｂから出力されるのに合わせて、テキスト表示された見出し単語「able」が各文字毎に順次ハイライト表示され、更に、その発音の口型画像が順次切換表示される。
【０１９７】
そして、前記検索された見出し単語に対応する発音口型画像の読み出し切換表示が終了すると（ステップＥ８）、当該検索対象見出し単語「able」に対応した一連の辞書検索・表示処理は終了される。
【０１９８】
したがって、前記構成の第２実施形態の携帯機器１０によるファイル再生機能によれば、辞書検索モードにおいて、辞書データ１２a2にある各見出し単語に対応付けられて見出語音声データ１２a4に記憶されている音声データおよび口型データ１２に記憶されている各発音記号毎の口型画像データを利用して、非常に簡単に、見出語テキストの表示およびその読み上げ音声の出力に同期させた、発音口型画像の表示を行うことができる。
【０１９９】
なお、前記実施形態において記載した携帯機器１０による各処理の手法、すなわち、図８のフローチャートに示すファイル再生処理、図９のフローチャートに示す前記ファイル再生処理に伴う発音口型データ作成処理、図１０のフローチャートに示す前記ファイル再生処理に伴う対応パート別画像表示処理Ａ、図１３のフローチャートに示す前記ファイル再生処理に伴う対応パート別画像表示処理Ｂ、図１４のフローチャートに示す前記ファイル再生処理におけるコマンドコードＨＬに応じたパート別テキストのハイライト（強調）表示処理に伴うテキスト対応口表示処理、図１８のフローチャートに示す辞書検索・表示処理などの手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記第１実施形態および第２実施形態において説明したテキスト，音声，画像の同期再生機能を実現し、前述した手法による同様の処理を実行することができる。
【０２００】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した各実施形態のテキスト，音声，画像の同期再生機能を実現することもできる。
【０２０１】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【図面の簡単な説明】
【０２０２】
【図１】本発明の音声表示出力制御装置（編集装置）（音声テキスト再生装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図。
【図２】前記携帯機器１０のＲＯＭ１２Ａに記憶される口型データ１２a3の内容を示す図。
【図３】前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するタイムコードファイル１２c3を示す図。
【図４】前記携帯機器１０のメモリ１２に格納された再生用ファイル１２ｂ（１２ｃ）を構成するファイルシーケンステーブル１２c2を示す図。
【図５】前記携帯機器１０のメモリ１２に格納される再生用ファイル１２ｂ（１２ｃ）を構成するコンテンツ内容データ１２c4を示す図。
【図６】前記携帯機器１０のタイムコードファイル１２c3（図３参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび再生処理プログラム１２a1に基づき解析処理される命令内容を対応付けて示す図。
【図７】前記携帯機器１０のＲＡＭ１２Ｃに記憶されるテキスト対応発音口型データ１２ｆの内容を示す図。
【図８】前記携帯機器１０の再生処理プログラム１２a1に従った再生処理を示すフローチャート。
【図９】前記携帯機器１０の再生処理に伴う発音口型データ作成処理を示すフローチャート。
【図１０】前記携帯機器１０の再生処理に伴う対応パート別画像表示処理Ａを示すフローチャート。
【図１１】前記携帯機器１０の再生処理に伴う学習内容の選択操作・表示状態を示す図であり、同図（Ａ）は学習内容選択画面Ｇを示す図、同図（Ｂ）（Ｃ）は当該学習内容選択画面Ｇを対象とする選択操作キーを示す図。
【図１２】前記図３乃至図５における英語教材再生ファイル１２ｃに基づいた英会話テキスト・音声・画像ファイルの同期再生状態（その１）を示す図。
【図１３】前記携帯機器１０の再生処理に伴う対応パート別画像表示処理Ｂを示すフローチャート。
【図１４】前記携帯機器１０の再生処理におけるコマンドコードＨＬに応じたパート別テキストのハイライト（強調）表示処理に伴い割り込みで実行されるテキスト対応口表示処理を示すフローチャート。
【図１５】前記図３乃至図５における英語教材再生ファイル１２ｃに基づいた英会話テキスト・音声・画像ファイルの同期再生状態（その２）を示す図。
【図１６】本発明の第２実施形態の携帯機器１０のＲＯＭ１２Ａに記憶された辞書データ１２a2のデータ内容を示す図。
【図１７】本発明の第２実施形態の携帯機器１０のＲＯＭ１２Ａに記憶された見出語音声データ１２a4のデータ内容を示す図。
【図１８】前記第２実施形態の携帯機器１０による辞書検索・表示処理を示すフローチャート。
【図１９】前記第２実施形態の携帯機器１０による辞書検索・表示処理に伴う検索見出語表示・音声出力・口型画像表示の同期再生状態を示す図。
【符号の説明】
【０２０３】
１０ …携帯機器
１１ …ＣＰＵ
１２ …メモリ
１２Ａ…ＲＯＭ
１２a1…ファイル再生処理プログラム
１２a2…辞書データ
１２a3…口型データ
１２a4…見出語音声データ
１２Ｂ…ＦＬＡＳＨメモリ
１２ｂ…暗号化された再生用ファイル（ＣＡＳファイル）
１２Ｃ…ＲＡＭ
１２ｃ…解読された再生用ファイル（ＣＡＳファイル）
１２c1…ヘッダ情報
１２c1a…処理単位時間
１２c2…ファイルシーケンステーブル
１２c3…タイムコードファイル
１２c4…コンテンツ内容データ
１２ｄ…指定テキスト番号
１２ｅ…指定パート番号
１２ｆ…テキスト対応発音口型データ
１２ｇ…テキストハイライト指定文字
１２ｈ…画像（オン／オフ）フラグ
１２ｉ…音声（オン／オフ）フラグ
１２ｊ…画像展開済みフラグ
１２ｋ…画像展開バッファ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …通信部
１７ａ…入力部
１７ｂ…座標入力装置
１８ …表示部
１９ａ…音声入力部
１９ｂ…ステレオ音声出力部
２０ …通信機器（自宅ＰＣ）
３０ …Ｗｅｂサーバ
Ｎ …通信ネットワーク（インターネット）
Ｘ …テキスト表示フレーム
Ｙ …画像表示フレーム
Ｇ０ …英会話テキスト基本画像
Ｇ１〜Ｇ３…パート１〜パート３会話中画像
Ｇ４ …発音口型拡大画像
Ｇ５ …見出語入力画面
Ｍ１〜Ｍ３…パート１〜パート３口エリア
【特許請求の範囲】
【請求項１】
音声データを出力する音声データ出力手段と、
テキストデータを前記音声データ出力手段により出力される音声データに同期するように表示させるテキスト同期表示制御手段と、
このテキスト同期表示制御手段により前記音声データに同期するように表示されるテキストの同期表示部分に対応して口の動きを表現する画像を表示させる画像表示制御手段と、
を備えたことを特徴とする音声表示出力制御装置。
【請求項２】
前記画像表示制御手段は、
前記テキストデータの各部に応じて異なる口の動きを表現した複数の画像を記憶する画像記憶手段を有し、
前記テキスト同期表示制御手段により音声データに同期するように表示されるテキストの同期表示部分に対応した画像を前記画像記憶手段により記憶された複数の画像の中から読み出して表示させる、
ことを特徴とする請求項１に記載の音声表示出力制御装置。
【請求項３】
前記画像表示制御手段は、
画像を表示する画像表示手段と、
種々の発音に応じて異なる口の動きを表現した複数の口画像を記憶する口画像記憶手段と、
前記テキスト同期表示制御手段により音声データに同期するように表示されるテキストの同期表示部分の発音に対応した口画像を前記口画像記憶手段により記憶された複数の口画像の中から読み出し、前記画像表示手段により表示された画像の口の位置に表示させる口画像表示制御手段と、
を備えてなることを特徴とする請求項１に記載の音声表示出力制御装置。
【請求項４】
前記口画像記憶手段は、種々の発音に応じて異なる口の動きを表現した複数の口画像と共に、この複数の口画像のそれぞれに対応付けて当該口の内部画像を記憶し、
前記口画像表示制御手段により表示された口画像に対応して、当該口の内部画像を読み出し拡大して表示する口内拡大表示手段をさらに備えたことを特徴とする請求項３に記載の音声表示出力制御装置。
【請求項５】
前記テキスト同期表示制御手段は、
予め設定された経過時間に従い前記テキストデータを前記音声データ出力手段により出力される音声データに同期するように表示させるための命令コードを記憶する命令コード記憶手段を有し、この命令コード記憶手段により記憶された命令コードに応じて、前記テキストデータを音声データに同期して表示させ、
前記画像表示制御手段は、前記命令コード記憶手段により記憶された命令コードに応じて画像の表示を行わせる、
ことを特徴とする請求項１乃至請求項４の何れか１項に記載の音声表示出力制御装置。
【請求項６】
電子機器のコンピュータを制御して音声データとテキストデータと画像データとを同期再生するための音声表示出力制御処理プログラムであって、
前記コンピュータを、
音声データを出力する音声データ出力手段、
テキストデータを前記音声データ出力手段により出力される音声データに同期するように表示させるテキスト同期表示制御手段、
このテキスト同期表示制御手段により前記音声データに同期するように表示されるテキストの同期表示部分に対応して口の動きを表現する画像を表示させる画像表示制御手段、
として機能させるようにしたコンピュータ読み込み可能な音声表示出力制御処理プログラム。
【請求項７】
音声にテキストと画像を同期させて出力させるための対応データを編集する編集装置であって、
種々の音声データに対応付けてそれぞれ異なる複数の口の画像を記憶する口画像記憶手段と、
出力対象のテキストに応じた音声データに対応付けられて前記口画像記憶手段により記憶された口の画像を読み出し、当該出力対象のテキストまたは音声データの位置に対応付けて記憶する対応データ編集手段と、
を備えたことを特徴とする編集装置。
【請求項８】
前記音声にテキストを同期させて出力させるのと共に、前記対応データ編集手段により記憶された対応データに基づいて、出力対象のテキストに対応付けられた口の画像を読み出して表示する同期再生手段を備えたことを特徴とする請求項７に記載の編集装置を備えた音声テキスト再生装置。
【請求項９】
複数の見出語と当該各見出語に対応付けて口の画像データを記憶する辞書記憶手段と、
この辞書記憶手段により記憶された見出語を検索する見出語検索手段と、
この見出語検索手段により検索された見出語と共に当該見出語に対応付けられて前記辞書記憶手段により記憶された口の画像データを読み出し、その見出語の各文字と口の画像データとを順次同期して表示させる同期表示制御手段と、
を備えたことを特徴とする音声テキスト再生装置。
【請求項１０】
複数の見出語と当該各見出語に対応付けて音声データと口の画像データを記憶する辞書記憶手段と、
この辞書記憶手段により記憶された見出語を検索する見出語検索手段と、
この見出し語検索手段により検索された見出語に対応付けられて前記辞書記憶手段により記憶された音声データを出力する音声出力手段と、
前記見出し語検索手段により検索された見出語の各文字を前記音声出力手段により出力される音声データに順次同期して表示させると共に、当該見出語に対応付けられて前記辞書記憶手段により記憶された口の画像データを読み出しその見出語各文字の表示に順次同期して表示させる同期表示制御手段と、
を備えたことを特徴とする音声テキスト再生装置。
【請求項１１】
コンピュータを制御して音声にテキストと画像を同期させて出力させるための対応データを編集する編集処理プログラムであって、
前記コンピュータを、
種々の音声データに対応付けてそれぞれ異なる複数の口の画像を記憶する口画像記憶手段、
出力対象のテキストに応じた音声データに対応付けられて前記口画像記憶手段により記憶された口の画像を読み出し、当該出力対象のテキストまたは音声データの位置に対応付けて記憶する対応データ編集手段、
として機能させるようにしたコンピュータ読み込み可能な編集処理プログラム。
【請求項１２】
前記コンピュータをさらに、
前記音声にテキストを同期させて出力させるのと共に、前記対応データ編集手段により記憶された対応データに基づいて、出力対象のテキストに対応付けられた口の画像を読み出して表示する同期再生手段、
として機能させるようにした請求項１１に記載の編集処理プログラムを備えた音声テキスト再生処理プログラム。
【請求項１３】
テキストの発音記号と口型画像とを対応付けて複数組み記憶している第１の記憶手段と、
文字と音声とを対応付けて複数組み記憶している第２の記憶手段と、
この第２の記憶手段に記憶されている音声を外部に順次出力させると共に、この出力される音声に同期して前記第２の記憶手段に対応付けて記憶されている文字を順次識別表示させる第１の制御手段と、
この第１の制御手段の制御により順次識別表示される文字に同期して、当該識別表示される文字の発音記号に対応して前記第１の記憶手段に対応付けて記憶されている口型画像を読み出し、この読み出された口型画像を順次切換表示させる第２の制御手段と、
を備えたことを特徴とする音声表示出力制御装置。
【請求項１４】
電子機器のコンピュータを制御して音声とテキストと画像を同期させて出力させるための音声表示出力制御処理プログラムであって、
前記コンピュータを、
テキストの発音記号と口型画像とを対応付けて複数組み記憶する第１の記憶手段、
文字と音声とを対応付けて複数組み記憶する第２の記憶手段、
この第２の記憶手段により記憶された音声を外部に順次出力させると共に、この出力される音声に同期して前記第２の記憶手段により対応付けて記憶された文字を順次識別表示させる第１の制御手段、
この第１の制御手段の制御により順次識別表示される文字に同期して、当該識別表示される文字の発音記号に対応して前記第１の記憶手段により対応付けて記憶された口型画像を読み出し、この読み出された口型画像を順次切換表示させる第２の制御手段、
として機能させるようにしたコンピュータ読み込み可能な音声表示出力制御処理プログラム。
【請求項１】
音声データを出力する音声データ出力手段と、
テキストデータを前記音声データ出力手段により出力される音声データに同期するように表示させるテキスト同期表示制御手段と、
このテキスト同期表示制御手段により前記音声データに同期するように表示されるテキストの同期表示部分に対応して口の動きを表現する画像を表示させる画像表示制御手段と、
を備えたことを特徴とする音声表示出力制御装置。
【請求項２】
前記画像表示制御手段は、
前記テキストデータの各部に応じて異なる口の動きを表現した複数の画像を記憶する画像記憶手段を有し、
前記テキスト同期表示制御手段により音声データに同期するように表示されるテキストの同期表示部分に対応した画像を前記画像記憶手段により記憶された複数の画像の中から読み出して表示させる、
ことを特徴とする請求項１に記載の音声表示出力制御装置。
【請求項３】
前記画像表示制御手段は、
画像を表示する画像表示手段と、
種々の発音に応じて異なる口の動きを表現した複数の口画像を記憶する口画像記憶手段と、
前記テキスト同期表示制御手段により音声データに同期するように表示されるテキストの同期表示部分の発音に対応した口画像を前記口画像記憶手段により記憶された複数の口画像の中から読み出し、前記画像表示手段により表示された画像の口の位置に表示させる口画像表示制御手段と、
を備えてなることを特徴とする請求項１に記載の音声表示出力制御装置。
【請求項４】
前記口画像記憶手段は、種々の発音に応じて異なる口の動きを表現した複数の口画像と共に、この複数の口画像のそれぞれに対応付けて当該口の内部画像を記憶し、
前記口画像表示制御手段により表示された口画像に対応して、当該口の内部画像を読み出し拡大して表示する口内拡大表示手段をさらに備えたことを特徴とする請求項３に記載の音声表示出力制御装置。
【請求項５】
前記テキスト同期表示制御手段は、
予め設定された経過時間に従い前記テキストデータを前記音声データ出力手段により出力される音声データに同期するように表示させるための命令コードを記憶する命令コード記憶手段を有し、この命令コード記憶手段により記憶された命令コードに応じて、前記テキストデータを音声データに同期して表示させ、
前記画像表示制御手段は、前記命令コード記憶手段により記憶された命令コードに応じて画像の表示を行わせる、
ことを特徴とする請求項１乃至請求項４の何れか１項に記載の音声表示出力制御装置。
【請求項６】
電子機器のコンピュータを制御して音声データとテキストデータと画像データとを同期再生するための音声表示出力制御処理プログラムであって、
前記コンピュータを、
音声データを出力する音声データ出力手段、
テキストデータを前記音声データ出力手段により出力される音声データに同期するように表示させるテキスト同期表示制御手段、
このテキスト同期表示制御手段により前記音声データに同期するように表示されるテキストの同期表示部分に対応して口の動きを表現する画像を表示させる画像表示制御手段、
として機能させるようにしたコンピュータ読み込み可能な音声表示出力制御処理プログラム。
【請求項７】
音声にテキストと画像を同期させて出力させるための対応データを編集する編集装置であって、
種々の音声データに対応付けてそれぞれ異なる複数の口の画像を記憶する口画像記憶手段と、
出力対象のテキストに応じた音声データに対応付けられて前記口画像記憶手段により記憶された口の画像を読み出し、当該出力対象のテキストまたは音声データの位置に対応付けて記憶する対応データ編集手段と、
を備えたことを特徴とする編集装置。
【請求項８】
前記音声にテキストを同期させて出力させるのと共に、前記対応データ編集手段により記憶された対応データに基づいて、出力対象のテキストに対応付けられた口の画像を読み出して表示する同期再生手段を備えたことを特徴とする請求項７に記載の編集装置を備えた音声テキスト再生装置。
【請求項９】
複数の見出語と当該各見出語に対応付けて口の画像データを記憶する辞書記憶手段と、
この辞書記憶手段により記憶された見出語を検索する見出語検索手段と、
この見出語検索手段により検索された見出語と共に当該見出語に対応付けられて前記辞書記憶手段により記憶された口の画像データを読み出し、その見出語の各文字と口の画像データとを順次同期して表示させる同期表示制御手段と、
を備えたことを特徴とする音声テキスト再生装置。
【請求項１０】
複数の見出語と当該各見出語に対応付けて音声データと口の画像データを記憶する辞書記憶手段と、
この辞書記憶手段により記憶された見出語を検索する見出語検索手段と、
この見出し語検索手段により検索された見出語に対応付けられて前記辞書記憶手段により記憶された音声データを出力する音声出力手段と、
前記見出し語検索手段により検索された見出語の各文字を前記音声出力手段により出力される音声データに順次同期して表示させると共に、当該見出語に対応付けられて前記辞書記憶手段により記憶された口の画像データを読み出しその見出語各文字の表示に順次同期して表示させる同期表示制御手段と、
を備えたことを特徴とする音声テキスト再生装置。
【請求項１１】
コンピュータを制御して音声にテキストと画像を同期させて出力させるための対応データを編集する編集処理プログラムであって、
前記コンピュータを、
種々の音声データに対応付けてそれぞれ異なる複数の口の画像を記憶する口画像記憶手段、
出力対象のテキストに応じた音声データに対応付けられて前記口画像記憶手段により記憶された口の画像を読み出し、当該出力対象のテキストまたは音声データの位置に対応付けて記憶する対応データ編集手段、
として機能させるようにしたコンピュータ読み込み可能な編集処理プログラム。
【請求項１２】
前記コンピュータをさらに、
前記音声にテキストを同期させて出力させるのと共に、前記対応データ編集手段により記憶された対応データに基づいて、出力対象のテキストに対応付けられた口の画像を読み出して表示する同期再生手段、
として機能させるようにした請求項１１に記載の編集処理プログラムを備えた音声テキスト再生処理プログラム。
【請求項１３】
テキストの発音記号と口型画像とを対応付けて複数組み記憶している第１の記憶手段と、
文字と音声とを対応付けて複数組み記憶している第２の記憶手段と、
この第２の記憶手段に記憶されている音声を外部に順次出力させると共に、この出力される音声に同期して前記第２の記憶手段に対応付けて記憶されている文字を順次識別表示させる第１の制御手段と、
この第１の制御手段の制御により順次識別表示される文字に同期して、当該識別表示される文字の発音記号に対応して前記第１の記憶手段に対応付けて記憶されている口型画像を読み出し、この読み出された口型画像を順次切換表示させる第２の制御手段と、
を備えたことを特徴とする音声表示出力制御装置。
【請求項１４】
電子機器のコンピュータを制御して音声とテキストと画像を同期させて出力させるための音声表示出力制御処理プログラムであって、
前記コンピュータを、
テキストの発音記号と口型画像とを対応付けて複数組み記憶する第１の記憶手段、
文字と音声とを対応付けて複数組み記憶する第２の記憶手段、
この第２の記憶手段により記憶された音声を外部に順次出力させると共に、この出力される音声に同期して前記第２の記憶手段により対応付けて記憶された文字を順次識別表示させる第１の制御手段、
この第１の制御手段の制御により順次識別表示される文字に同期して、当該識別表示される文字の発音記号に対応して前記第１の記憶手段により対応付けて記憶された口型画像を読み出し、この読み出された口型画像を順次切換表示させる第２の制御手段、
として機能させるようにしたコンピュータ読み込み可能な音声表示出力制御処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００７−３２８８０６（Ｐ２００７−３２８８０６Ａ）
【公開日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願番号】特願２００７−１９６１１４（Ｐ２００７−１９６１１４）
【出願日】平成１９年７月２７日（２００７．７．２７）
【分割の表示】特願２００３−５４８２９（Ｐ２００３−５４８２９）の分割
【原出願日】平成１５年２月２８日（２００３．２．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願日】平成１９年７月２７日（２００７．７．２７）
【分割の表示】特願２００３−５４８２９（Ｐ２００３−５４８２９）の分割
【原出願日】平成１５年２月２８日（２００３．２．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]