音声表示出力制御装置、画像表示制御装置、および音声表示出力制御処理プログラム、画像表示制御処理プログラム
【課題】音声，テキスト，画像などのデータを同期して出力するための音声表示出力制御装置であって、音声出力に同期した画像の表示において、アクセントのタイミングを明確に現すことを可能にする。
【解決手段】検索見出語「ｌｏｗ」の発音音声出力に同期しウインドウＷ１にて見出語「ｌｏｗ」およびその発音記号の識別表示ＨＬが順次なされると共に、ウインドウＷ２では設定キャラクタ画像１２ｄ（Ｎｏ３）をベースとしその口画像エリアに対し各発音記号に対応した発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が順次切り替え合成表示される。しかもアクセント文字「ｏ」に対する発音音声出力と同期した識別表示ＨＬと口型画像１２ｅ（Ｎｏ９）の切り替え合成表示の際は、その合成先画像１２ｄ（Ｎｏ３）が例えば頭部発汗や口元動揺により強い発音を表現するアクセント対応顔画像１２ｄ（Ｎｏ３′）に変更表示される。
【解決手段】検索見出語「ｌｏｗ」の発音音声出力に同期しウインドウＷ１にて見出語「ｌｏｗ」およびその発音記号の識別表示ＨＬが順次なされると共に、ウインドウＷ２では設定キャラクタ画像１２ｄ（Ｎｏ３）をベースとしその口画像エリアに対し各発音記号に対応した発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が順次切り替え合成表示される。しかもアクセント文字「ｏ」に対する発音音声出力と同期した識別表示ＨＬと口型画像１２ｅ（Ｎｏ９）の切り替え合成表示の際は、その合成先画像１２ｄ（Ｎｏ３）が例えば頭部発汗や口元動揺により強い発音を表現するアクセント対応顔画像１２ｄ（Ｎｏ３′）に変更表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声，テキスト，画像などのデータを同期して出力するための音声表示出力制御装置、画像表示制御装置、および音声表示出力制御処理プログラム、画像表示制御処理プログラムに関する。
【背景技術】
【０００２】
従来、例えば言語学習装置として、言語の音声を出力しその口型を表示させるものがある。
【０００３】
この言語学習装置では、マイクとカメラによって、母国語使用者の音声情報と口型のイメージデータを予めサンプルデータメモリに記録する。そして、学習者の音声情報と口型のイメージデータを前記マイクとカメラによって記録し、この学習者と前記サンプルデータメモリに予め記録された母国語使用者とのそれぞれの音声情報の波形とこれに対応する各口型のイメージデータとを対比しチャート形式で表示する。
【０００４】
これにより、母国語使用者と学習者との言語発音の差異を明確に分析し表示しようとするものである（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３１８５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような、従来の言語学習装置を用いると、手本である母国語使用者の発音音声とその口型イメージを知ることができるが、各言語のアクセントについては、主にアクセント部分の発音音声が強調されることで知らされるだけであって、口型イメージそのものには明確な違いが現れないため、各学習言語におけるアクセントのタイミングが分かり辛い問題がある。
【０００７】
本発明は、前記のような問題に鑑みてなされたもので、音声出力に同期した画像の表示において、アクセントのタイミングを明確に現すことが可能になる音声表示出力制御装置、画像表示制御装置、および音声表示出力制御処理プログラム、画像表示制御処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の請求項１に係る音声表示出力制御装置では、音声データ出力手段により音声データを出力し、テキスト同期表示制御手段により前記音声データの出力に同期してテキストを表示させ、画像表示制御手段により少なくとも口の部分を含む画像を表示させ、口画像表示制御手段により前記表示画像に含まれる口の部分について、前記音声出力される音声データに同期して当該音声データに対応した口型の画像を表示させる。そして、アクセント検出手段により前記音声データまたは前記テキストのアクセントの有無を検出し、画像変化表示制御手段により前記アクセントの有りの検出に応じて前記画像表示制御手段により表示される口型の画像を変化させる。
【０００９】
これによれば、音声データの出力に同期したテキストと画像の表示および画像に含まれる口部分で音声データに対応した口型の画像を表示できるだけでなく、音声データまたはテキストのアクセント検出に応じて口型の表示画像を変化でき、アクセントのタイミングを明確に表現できることになる。
【００１０】
本発明の請求項２に係る音声表示出力制御装置では、前記請求項１に係る音声表示出力制御装置にあって、さらに、辞書検索手段により入力された見出語に対応した辞書データを検索し、辞書データ表示制御手段により前記辞書検索された見出語に対応した辞書データを表示させる。そして、前記音声データは辞書検索手段により検索された見出語の発音音声データで、前記テキストは辞書検索手段により検索された見出語のテキストであり、前記音声データ出力手段による見出語発音音声データの出力、および前記テキスト同期表示制御手段による前記見出語発音音声データに同期した見出語テキストの表示、および前記画像表示制御手段による画像の表示は、前記辞書データ表示制御手段による検索見出語に対応した辞書データの表示状態において行う。
【００１１】
これによれば、入力した見出語に対応した辞書データの検索表示に伴い、当該見出語発音音声データの出力、これに同期した見出語テキストの表示および画像の表示と口型画像の同期表示ができ、しかもアクセント検出に応じた表示画像の変化により見出語アクセントのタイミングを明確に表現できることになる。
【００１２】
本発明の請求項３に係る音声表示出力制御装置では、単語記憶手段により複数の単語と当該各単語それぞれの正しいアクセント付き発音記号と誤りアクセント付き発音記号とを対応付けて記憶し、音声データ出力手段により前記記憶した単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力し、テキスト同期表示制御手段により前記音声出力される単語の発音音声データに同期して当該単語のテキストを表示させ、画像表示制御手段により少なくとも口の部分を含む画像を、前記音声データ出力手段により正しいアクセントの発音音声データが出力される場合と誤りアクセントの発音音声データが出力される場合とで異なる表示形態にして表示させ、さらに、口画像表示制御手段により前記表示画像に含まれる口の部分について、前記音声データ出力手段により出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる。そして、アクセント検出手段により前記テキスト同期表示制御手段による単語テキストの同期表示に伴い、前記単語記憶手段により記憶した該当単語のアクセント付き発音記号から該単語のアクセントを検出し、画像変化表示制御手段により前記アクセント検出に応じて前記画像表示制御手段により表示される画像を変化させる。
【００１３】
これによれば、単語記憶手段により記憶される単語について正しいアクセントの発音音声データと誤りアクセントの発音音声データとを出力できるだけでなく、この発音音声データに同期した単語テキストの表示および表示画像に含まれる口部分についての発音音声データに対応した口型画像を表示でき、しかも単語アクセントの検出に応じて表示画像を変化できるので、単語についての正しいアクセントと誤りアクセントを容易かつ明確なタイミングで学習できることになる。
【００１４】
本発明の請求項４に係る音声表示出力制御装置では、前記請求項３に係る音声表示出力制御装置にあって、さらに、正誤アクセント表示制御手段により前記単語記憶した単語と当該単語に対応付けられた正しいアクセント付き発音記号と誤りアクセント付き発音記号とを並べて表示させ、正誤アクセント選択手段により前記並べて表示された単語の正しいアクセント付き発音記号か誤りアクセント付き発音記号かの何れかを選択する。すると、音声データ出力手段は、前記正誤アクセント選択手段による単語アクセントの正誤選択に応じて、該当単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力する。
【００１５】
これによれば、さらに、単語記憶手段により記憶される単語について正しいアクセント付き発音記号か誤りアクセント付き発音記号かを選択してその発音音声データを出力でき、しかも、この発音音声データに同期した単語テキストの表示および表示画像に含まれる口部分についての発音音声データに対応した口型画像を表示でき、単語アクセントの検出に応じて表示画像を変化できるので、単語についての正しいアクセントと誤りアクセントをさらに容易かつ明確なタイミングで学習できることになる。
【００１６】
本発明の請求項５に係る音声表示出力制御装置では、記憶手段により複数の見出語と当該各見出語それぞれの少なくとも２以上の地域の発音音声データとを対応付けて記憶し、地域指定手段により前記記憶した見出語の２以上の地域の発音音声データのうち何れかの地域を指定する。すると、音声データ出力手段により前記発音音声データの地域指定に応じて、該当見出語の指定地域の発音音声データを出力し、テキスト同期表示制御手段により前記音声出力される見出語の指定地域の発音音声データに同期して当該見出語のテキストを表示させ、画像表示制御手段により少なくとも口の部分を含む画像を、前記指定地域に応じて異なる表示形態にして表示させ、口画像表示制御手段により前記表示画像に含まれる口の部分について、前記音声出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる。そして、アクセント検出手段により前記見出語テキストの同期表示に伴い、当該見出語のアクセントを検出し、画像変化表示制御手段により前記アクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる。
【００１７】
これによれば、同一の見出語で異なる地域方言のある発音音声データを指定して出力できると共に、この発音音声データの出力に同期して当該見出語テキストおよび表示画像中口部分の口型画像を表示でき、しかも指定地域に応じて異なる表示形態の画像を表示でき、アクセント検出によって当該画像の変化表示もできるので、指定地域の発音音声データとアクセントのタイミングを容易かつ明確に学習できることになる。
【００１８】
本発明の請求項６に係る画像表示制御装置では、単語の見出語を含む一連の発音対象データの発音順の表示に従って、口または表情を備えた顔画像を変更制御する画像表示制御装置であって、第１の記憶手段により前記発音対象データとアクセント記号付き発音記号を含む発音記号とを対応付けて複数組み記憶し、第２の記憶手段によりアクセント記号付き発音記号を含む発音記号とその音声および顔画像を対応付けて複数組み記憶する。そして、第１の制御手段により前記一連の発音対象データの発音順の表示に伴い、この発音対象データに対応する発音記号を前記第１の記憶手段から読み出し、この読み出された発音記号に対応する音声と顔画像とを前記第２の記憶手段から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御し、第２の制御手段により前記第１の制御によって音声を外部に出力する際に、前記読み出された発音記号の中にアクセント記号付き発音記号が含まれているか否かを判別し、アクセント記号が含まれていると判別された際は、このアクセント記号付き発音記号に対応する音声と顔画像とを前記第２の記憶手段から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御する。
【００１９】
これによれば、単語の見出し語などの発音対象データの発音順の表示に伴い、当該発音対象データの発音記号に対応する音声出力と顔画像表示ができると共に、そのアクセント部分では該アクセント記号付き発音記号に対応する音声出力と顔画像表示ができ、容易かつ明確に単語などの発音音声とこの発音に伴う顔の表現およびそのアクセント部分での発音音声とこのアクセント部分の発音に伴う顔の表現を学習できることになる。
【００２０】
本発明の請求項７に係る画像表示制御装置では、前記請求項６に係る画像表示制御装置にあって、前記第２の記憶手段に記憶されているアクセント記号付き発音記号を含む発音記号は、アクセント記号が付いている発音記号とアクセント記号が付いていない発音記号とからなり、前記アクセント記号が付いている発音記号に対応付けて記憶されている音声および顔画像と前記アクセント記号が付いていない発音記号に対応付けて記憶されている音声および顔画像とは異なっている。
【００２１】
これによれば、単語の見出し語などの発音対象データのアクセント記号の無い部分での発音音声とこれに伴う顔の表現、そしてアクセント記号がある部分での発音音声とこれに伴う顔の表現の相異をより明確に学習できることになる。
【００２２】
また、本発明の請求項８に係る画像表示制御装置では、単語の見出語を含む一連の発音対象データの発音順の表示に従って、口または表情を備えた顔画像を変更制御する画像表示制御装置であって、記憶手段により前記発音対象データとその音声および顔画像を対応付けて複数組み記憶し、検出手段により前記記憶されている音声の信号波形のうち、前記発音対象データのアクセント部分に対応する信号波形のピーク部分を検出し、表示制御手段により前記検出されたアクセント部分の音声に対応する顔画像を前記記憶手段から読み出しこの読み出された顔画像を、アクセント部分以外の他の信号波形部分の音声に対応する顔画像と異なる表示形態で表示するように制御する。
【００２３】
これによれば、単語の見出語などの発音対象データの発音順の表示に伴い、その発音音声に対応する顔画像を表示でき、しかも音声信号波形のピーク部分によって検出されるアクセント部分では異なる表示形態にした顔画像を表示でき、アクセント部分での発音に伴う顔の表現をより明確に学習できることになる。
【００２４】
また、本発明の請求項９に係る画像表示制御装置では、前記請求項８に係る画像表示制御装置にあって、前記表示制御手段は、前記検出手段により検出されたアクセント部分に対応する発音対象データの部分の表示を、アクセント部分以外の他の信号波形部分に対応する発音対象データの部分の表示と異なる表示形態で表示するように制御するテキスト表示制御手段を備えている。
【００２５】
これによれば、発音対象データの発音音声に対応する顔画像の表示に加え、さらに、発音対象データのアクセント部分の表示を、該アクセント部分以外の発音対象データの表示と異なる表示形態にして表示できるので、発音対象データのアクセント部分およびその発音音声の発声に伴う顔の表現をより明確に学習できることになる。
【発明の効果】
【００２６】
以上のように、本発明の請求項１（請求項１０）に係る音声表示出力制御装置（音声表示出力制御処理プログラム）によれば、音声データ出力手段により音声データを出力し、テキスト同期表示制御手段により前記音声データの出力に同期してテキストを表示させ、画像表示制御手段により少なくとも口の部分を含む画像を表示させ、口画像表示制御手段により前記表示画像に含まれる口の部分について、前記音声出力される音声データに同期して当該音声データに対応した口型の画像を表示させる。そして、アクセント検出手段により前記音声データまたは前記テキストのアクセントを検出し、画像変化表示制御手段により前記アクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる。これにより、音声データの出力に同期したテキストと画像の表示および画像に含まれる口部分で音声データに対応した口型の画像を表示できるだけでなく、音声データまたはテキストのアクセント検出に応じて表示画像を変化でき、アクセントのタイミングを明確に表現できるようになる。
【００２７】
本発明の請求項２に係る音声表示出力制御装置によれば、前記請求項１に係る音声表示出力制御装置にあって、さらに、辞書検索手段により入力された見出語に対応した辞書データを検索し、辞書データ表示制御手段により前記辞書検索された見出語に対応した辞書データを表示させる。そして、前記音声データは辞書検索手段により検索された見出語の発音音声データで、前記テキストは辞書検索手段により検索された見出語のテキストであり、前記音声データ出力手段による見出語発音音声データの出力、および前記テキスト同期表示制御手段による前記見出語発音音声データに同期した見出語テキストの表示、および前記画像表示制御手段による画像の表示は、前記辞書データ表示制御手段による検索見出語に対応した辞書データの表示状態において行う。これにより、入力した見出語に対応した辞書データの検索表示に伴い、当該見出語発音音声データの出力、これに同期した見出語テキストの表示および画像の表示と口型画像の同期表示ができ、しかもアクセント検出に応じた表示画像の変化により見出語アクセントのタイミングを明確に表現できるようになる。
【００２８】
本発明の請求項３（請求項１１）に係る音声表示出力制御装置（音声表示出力制御処理プログラム）によれば、単語記憶手段により複数の単語と当該各単語それぞれの正しいアクセント付き発音記号と誤りアクセント付き発音記号とを対応付けて記憶し、音声データ出力手段により前記記憶した単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力し、テキスト同期表示制御手段により前記音声出力される単語の発音音声データに同期して当該単語のテキストを表示させ、画像表示制御手段により少なくとも口の部分を含む画像を、前記音声データ出力手段により正しいアクセントの発音音声データが出力される場合と誤りアクセントの発音音声データが出力される場合とで異なる表示形態にして表示させ、さらに、口画像表示制御手段により前記表示画像に含まれる口の部分について、前記音声データ出力手段により出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる。そして、アクセント検出手段により前記テキスト同期表示制御手段による単語テキストの同期表示に伴い、前記単語記憶手段により記憶した該当単語のアクセント付き発音記号から該単語のアクセントを検出し、画像変化表示制御手段により前記アクセント検出に応じて前記画像表示制御手段により表示される画像を変化させる。これにより、単語記憶手段により記憶される単語について正しいアクセントの発音音声データと誤りアクセントの発音音声データとを出力できるだけでなく、この発音音声データに同期した単語テキストの表示および表示画像に含まれる口部分についての発音音声データに対応した口型画像を表示でき、しかも単語アクセントの検出に応じて表示画像を変化できるので、単語についての正しいアクセントと誤りアクセントを容易かつ明確なタイミングで学習できるようになる。
【００２９】
本発明の請求項４に係る音声表示出力制御装置によれば、前記請求項３に係る音声表示出力制御装置にあって、さらに、正誤アクセント表示制御手段により前記単語記憶した単語と当該単語に対応付けられた正しいアクセント付き発音記号と誤りアクセント付き発音記号とを並べて表示させ、正誤アクセント選択手段により前記並べて表示された単語の正しいアクセント付き発音記号か誤りアクセント付き発音記号かの何れかを選択する。すると、音声データ出力手段は、前記正誤アクセント選択手段による単語アクセントの正誤選択に応じて、該当単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力する。これにより、さらに、単語記憶手段により記憶される単語について正しいアクセント付き発音記号か誤りアクセント付き発音記号かを選択してその発音音声データを出力でき、しかも、この発音音声データに同期した単語テキストの表示および表示画像に含まれる口部分についての発音音声データに対応した口型画像を表示でき、単語アクセントの検出に応じて表示画像を変化できるので、単語についての正しいアクセントと誤りアクセントをさらに容易かつ明確なタイミングで学習できるようになる。
【００３０】
本発明の請求項５に係る音声表示出力制御装置によれば、記憶手段により複数の見出語と当該各見出語それぞれの少なくとも２以上の地域の発音音声データとを対応付けて記憶し、地域指定手段により前記記憶した見出語の２以上の地域の発音音声データのうち何れかの地域を指定する。すると、音声データ出力手段により前記発音音声データの地域指定に応じて、該当見出語の指定地域の発音音声データを出力し、テキスト同期表示制御手段により前記音声出力される見出語の指定地域の発音音声データに同期して当該見出語のテキストを表示させ、画像表示制御手段により少なくとも口の部分を含む画像を、前記指定地域に応じて異なる表示形態にして表示させ、口画像表示制御手段により前記表示画像に含まれる口の部分について、前記音声出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる。そして、アクセント検出手段により前記見出語テキストの同期表示に伴い、当該見出語のアクセントを検出し、画像変化表示制御手段により前記アクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる。これにより、同一の見出語で異なる地域方言のある発音音声データを指定して出力できると共に、この発音音声データの出力に同期して当該見出語テキストおよび表示画像中口部分の口型画像を表示でき、しかも指定地域に応じて異なる表示形態の画像を表示でき、アクセント検出によって当該画像の変化表示もできるので、指定地域の発音音声データとアクセントのタイミングを容易かつ明確に学習できるようになる。
【００３１】
本発明の請求項６（請求項１２）に係る画像表示制御装置（画像表示制御処理プログラム）によれば、単語の見出語を含む一連の発音対象データの発音順の表示に従って、口または表情を備えた顔画像を変更制御する画像表示制御装置であって、第１の記憶手段により前記発音対象データとアクセント記号付き発音記号を含む発音記号とを対応付けて複数組み記憶し、第２の記憶手段によりアクセント記号付き発音記号を含む発音記号とその音声および顔画像を対応付けて複数組み記憶する。そして、第１の制御手段により前記一連の発音対象データの発音順の表示に伴い、この発音対象データに対応する発音記号を前記第１の記憶手段から読み出し、この読み出された発音記号に対応する音声と顔画像とを前記第２の記憶手段から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御し、第２の制御手段により前記第１の制御によって音声を外部に出力する際に、前記読み出された発音記号の中にアクセント記号付き発音記号が含まれているか否かを判別し、アクセント記号が含まれていると判別された際は、このアクセント記号付き発音記号に対応する音声と顔画像とを前記第２の記憶手段から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御する。これにより、単語の見出し語などの発音対象データの発音順の表示に伴い、当該発音対象データの発音記号に対応する音声出力と顔画像表示ができると共に、そのアクセント部分では該アクセント記号付き発音記号に対応する音声出力と顔画像表示ができ、容易かつ明確に単語などの発音音声とこの発音に伴う顔の表現およびそのアクセント部分での発音音声とこのアクセント部分の発音に伴う顔の表現を学習できるようになる。
【００３２】
本発明の請求項７に係る画像表示制御装置によれば、前記請求項６に係る画像表示制御装置にあって、前記第２の記憶手段に記憶されているアクセント記号付き発音記号を含む発音記号は、アクセント記号が付いている発音記号とアクセント記号が付いていない発音記号とからなり、前記アクセント記号が付いている発音記号に対応付けて記憶されている音声および顔画像と前記アクセント記号が付いていない発音記号に対応付けて記憶されている音声および顔画像とは異なっている。これにより、単語の見出し語などの発音対象データのアクセント記号の無い部分での発音音声とこれに伴う顔の表現、そしてアクセント記号がある部分での発音音声とこれに伴う顔の表現の相異をより明確に学習できるようになる。
【００３３】
また、本発明の請求項８に係る画像表示制御装置によれば、単語の見出語を含む一連の発音対象データの発音順の表示に従って、口または表情を備えた顔画像を変更制御する画像表示制御装置であって、記憶手段により前記発音対象データとその音声および顔画像を対応付けて複数組み記憶し、検出手段により前記記憶されている音声の信号波形のうち、アクセント部分に対応する信号波形のピーク部分を検出し、表示制御手段により前記検出されたアクセント部分の音声に対応する顔画像を前記記憶手段から読み出しこの読み出された顔画像を、アクセント部分以外の他の信号波形部分の音声に対応する顔画像と異なる表示形態で表示するように制御する。これにより、単語の見出語などの発音対象データの発音順の表示に伴い、その発音音声に対応する顔画像を表示でき、しかも音声信号波形のピーク部分によって検出されるアクセント部分では異なる表示形態にした顔画像を表示でき、アクセント部分での発音に伴う顔の表現をより明確に学習できるようになる。
【００３４】
また、本発明の請求項９に係る画像表示制御装置によれば、前記請求項８に係る画像表示制御装置にあって、前記表示制御手段は、前記検出手段により検出されたアクセント部分に対応する発音対象データの部分の表示を、アクセント部分以外の他の信号波形部分に対応する発音対象データの部分の表示と異なる表示形態で表示するように制御するテキスト表示制御手段を備えている。これにより、発音対象データの発音音声に対応する顔画像の表示に加え、さらに、発音対象データのアクセント部分の表示を、該アクセント部分以外の発音対象データの表示と異なる表示形態にして表示できるので、発音対象データのアクセント部分およびその発音音声の発声に伴う顔の表現をより明確に学習できるようになる。
【００３５】
よって、本発明によれば、音声出力に同期した画像の表示において、アクセントのタイミングを明確に現すことが可能になる音声表示出力制御装置、画像表示制御装置、および音声表示出力制御処理プログラム、画像表示制御処理プログラムを提供できる。
【図面の簡単な説明】
【００３６】
【図１】本発明の音声表示出力制御装置（画像表示制御装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図。
【図２】前記携帯機器１０のメモリ１２に記憶される辞書データベース１２ｂのうち１つの見出語「ｌｏｗ」についての同期再生用リンクデータを示す図であり、同図（Ａ）は各ファイルＮｏと格納先アドレスを示すテーブル、同図（Ｂ）は当該テキストファイルＮｏに従い格納されているテキストデータ「ｌｏｗ」を示す図、同図（Ｃ）はテキスト口同期ファイルＮｏに従い格納されているテキストの文字，発音記号，口型番号を示す図。
【図３】前記携帯機器１０のメモリ１２に記憶され、辞書の見出語検索における発音口型画像の同期表示のためにユーザ設定により選択的に使用されるキャラクタ画像データ１２ｄを示す図。
【図４】前記携帯機器１０のメモリ１２に記憶され、辞書の見出語検索における発音口型画像の同期表示のためにキャラクタ画像（１２ｄ：Ｎｏ１〜Ｎｏ３）の口画像エリア（Ｘ１，Ｙ１，Ｘ２，Ｙ２）に合成表示される音声別口画像データ１２ｅを示す図。
【図５】前記携帯機器１０のメモリ１２に格納された辞書タイムコードファイル１２ｆにおける見出語「ｌｏｗ」に対応付けられたファイルＮｏ２３のタイムコードファイル１２ｆ２３（１２ｉ）を示す図。
【図６】前記携帯機器１０の辞書タイムコードファイル１２ｆｎ（図５参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータに基づき解析処理される命令内容を対応付けて示す図。
【図７】前記携帯機器１０の辞書処理プログラム１２ａに従ったメイン処理を示すフローチャート。
【図８】前記携帯機器１０のメイン処理に伴う見出語同期再生処理を示すフローチャート。
【図９】前記携帯機器１０の見出語同期再生処理に伴う各見出語文字のハイライト表示に応じて割り込みで実行されるテキスト対応口表示処理を示すフローチャート。
【図１０】前記携帯機器１０のメイン処理内のキャラクタ設定処理に伴う同期再生用キャラクタ画像の設定表示状態を示す図。
【図１１】前記携帯機器１０のメイン処理内の見出語検索処理に伴う検索見出語表示画面Ｇ２を示す図。
【図１２】前記携帯機器１０の見出語検索処理における同期再生処理に伴いキャラクタ画像Ｎｏ３の設定状態において検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１およびアクセント未対応の発音口型表示ウインドウＷ２の変化状態を示す図、同図（Ｃ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１およびアクセント対応の発音口型表示ウインドウＷ２の変化状態を示す図。
【図１３】前記携帯機器１０の見出語検索処理における同期再生処理に伴いキャラクタ画像Ｎｏ１の設定状態において検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。
【図１４】前記携帯機器１０のメイン処理内の見出語検索処理に伴い米国／英国の２国の発音形態を収録した英和辞書を利用した場合の検索見出語表示画面Ｇ２を示す図。
【図１５】前記携帯機器１０の見出語検索処理における同期再生処理に伴い米国式発音［米］を指定した場合に検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は米国式発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。
【図１６】前記携帯機器１０の見出語検索処理における同期再生処理に伴い英国式発音［英］を指定した場合に検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は英国式発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。
【図１７】前記携帯機器１０のアクセントテスト処理に伴い不正解を選択した場合の操作表示状態を示す図であり、同図（Ａ）はアクセントテスト出題表示画面Ｇ３を示す図、同図（Ｂ）は出題対象の見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｃ）は誤りアクセントの発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。
【図１８】前記携帯機器１０のアクセントテスト処理に伴い正解を選択した場合の操作表示状態を示す図であり、同図（Ａ）はアクセントテスト出題表示画面Ｇ３を示す図、同図（Ｂ）は出題対象の見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｃ）は正解アクセントの発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。
【図１９】前記携帯機器１０の第２実施形態の見出語同期再生処理を示すフローチャート。
【図２０】前記携帯機器１０の第３実施形態の見出語同期再生処理を示すフローチャート。
【発明を実施するための形態】
【００３７】
以下、図面を参照して本発明の実施の形態について説明する。
【００３８】
（第１実施形態）
図１は本発明の音声表示出力制御装置（画像表示制御装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図である。
【００３９】
この携帯機器（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１１が備えられる。
【００４０】
ＣＰＵ１１は、メモリ１２内のＦＬＡＳＨメモリ１２Ａに予め記憶されたＰＤＡ制御プログラム、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（３０）から電送制御部１５を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶されたＰＤＡ制御プログラムは、スイッチやキーからなる入力部１７ａおよびマウスやタブレットからなる座標入力装置１７ｂからのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信される通信ネットワークＮ上の他のコンピュータ端末（３０）からの通信信号、あるいはＢｌｕｅｔｏｏｔｈ（登録商標）による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）２０からの通信信号に応じて起動される。
【００４１】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７ａ、座標入力装置１７ｂが接続される他に、ＬＣＤからなる表示部１８、マイクを備え音声を入力する音声入力部１９ａ、左右チャンネルのスピーカＬ，Ｒを備え音声を出力するステレオ音声出力部１９ｂなどが接続される。
【００４２】
また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。
【００４３】
この携帯機器１０のメモリ１２は、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ａ、ＲＡＭ１２Ｂを備えて構成される。
【００４４】
ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ａには、当該携帯機器１０の全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記憶される他に、スケジュール管理プログラムやアドレス管理プログラム、そして辞書の見出語検索や検索見出語に対応する音声・テキスト・顔画像（含む口型合成画像）などの各種データの同期再生、および当該顔画像（キャラクタ）の種類設定、および見出語アクセントの出題テストを行うための辞書処理プログラム１２ａなど、種々のＰＤＡ制御プログラムが記憶される。
【００４５】
また、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ａにはさらに、辞書データベース１２ｂ（図２参照）、辞書音声データ１２ｃ、キャラクタ画像データ１２ｄ（図３参照）、音声別口（型）画像データ１２ｅ（図４参照）、および辞書タイムコードファイル１２ｆ（図５・図６参照）が記憶される。
【００４６】
辞書データベース１２ｂとしては、英和辞書、和英辞書、国語辞書など、各種の辞書のデータが記憶されると共に、図２に示すように、辞書内の全ての見出語についてそれぞれその見出語Ｎｏ、音声・テキスト・画像の同期再生を簡単に行うためのタイムコードファイルのＮｏと格納先アドレス、画像再生ウインドウを設定するためのＨＴＭＬファイルのＮｏと格納先アドレス、テキストファイルのＮｏと格納先アドレス、テキストの各文字，発音記号，口型番号を対応付けたテキスト口同期ファイルのＮｏと格納先アドレス、音声データであるサウンドファイルのＮｏと格納先アドレス、辞書内容のデータ番号と格納先アドレスが、それぞれリンク付けられて記憶される。
【００４７】
なお、各実施形態において、明細書上で記載される発音記号については、正式な発音記号の入力が困難なため類似の文字を代用し、正式な発音記号については図面上にて記載する。
【００４８】
図２は前記携帯機器１０のメモリ１２に記憶される辞書データベース１２ｂのうち１つの見出語「ｌｏｗ」についての同期再生用リンクデータを示す図であり、同図（Ａ）は各ファイルＮｏと格納先アドレスを示すテーブル、同図（Ｂ）は当該テキストファイルＮｏに従い格納されているテキストデータ「ｌｏｗ」を示す図、同図（Ｃ）はテキスト口同期ファイルＮｏに従い格納されているテキストの文字，発音記号，口型番号を示す図である。
【００４９】
辞書音声データ１２ｃとしては、前記辞書データベース１２ｂにおける各見出語毎の発音のための音声データがそのサウンドファイルＮｏとアドレスに対応付けられて記憶される。
【００５０】
図３は前記携帯機器１０のメモリ１２に記憶され、辞書の見出語検索における発音口型画像の同期表示のためにユーザ設定により選択的に使用されるキャラクタ画像データ１２ｄを示す図である。
【００５１】
キャラクタ画像データ１２ｄとしては、本実施形態の場合、３種類のキャラクタ画像（顔画像）Ｎｏ１〜Ｎｏ３が用意され、個々のキャラクタ画像Ｎｏ１，Ｎｏ２，Ｎｏ３には、その口型画像の合成矩形領域を対角する２点の座標として指定するための口画像エリアデータ（Ｘ１，Ｙ１，Ｘ２，Ｙ２）が対応付けられて記憶される。
【００５２】
なお、この３種類のキャラクタ画像（顔画像）Ｎｏ１〜Ｎｏ３には、それぞれさらに、辞書検索された見出語のアクセントのタイミングで発音の強調を表現するためのアクセント顔画像Ｎｏ１′〜Ｎｏ３′（図１２（Ｃ）(2)，図１３（Ｂ）(2)参照）が記憶され、さらには、米語または英語の発音音声が指定された場合の米語用キャラクタ画像Ｎｏ１ＵＳ〜Ｎｏ３ＵＳ（図１５参照）や英語用キャラクタ画像Ｎｏ１ＵＫ〜Ｎｏ３ＵＫ（図１６参照）、およびそのアクセント顔画像Ｎｏ１ＵＳ′〜Ｎｏ３ＵＳ′（図１５（Ｂ）(2)参照）やＮｏ１ＵＫ′〜Ｎｏ３ＵＫ′（図１６（Ｂ）(2)参照）が記憶される。
【００５３】
図４は前記携帯機器１０のメモリ１２に記憶され、辞書の見出語検索における発音口型画像の同期表示のためにキャラクタ画像（１２ｄ：Ｎｏ１〜Ｎｏ３）の口画像エリア（Ｘ１，Ｙ１，Ｘ２，Ｙ２）に合成表示される音声別口画像データ１２ｅを示す図である。
【００５４】
音声別口（型）画像データ１２ｅとしては、前記辞書データベース１２ｂに記憶された全ての見出し語の発音に要する各発音記号に対応付けた口型画像１２ｅ１，１２ｅ２，…がそれぞれその口番号Ｎｏ．ｎに対応付けられて記憶される。
【００５５】
また、前記携帯機器１０のメモリ１２に記憶される辞書タイムコードファイル１２ｆは、辞書検索された見出語に対応する音声・テキスト・顔画像（含む口型合成画像）の同期再生を行うための指令ファイル（図５参照）であり、全ての見出語毎ではなく、文字数と発音記号数およびその発音タイミングが同じである複数の見出語毎に用意され、所定のアルゴリズムにより圧縮・暗号化されている。
【００５６】
図５は前記携帯機器１０のメモリ１２に格納された辞書タイムコードファイル１２ｆにおける見出語「ｌｏｗ」に対応付けられたファイルＮｏ２３のタイムコードファイル１２ｆ２３（１２ｉ）を示す図である。
【００５７】
タイムコードファイル１２ｆｎには、予めヘッダ情報Ｈとして記述設定される一定時間間隔の基準処理単位時間（例えば２５ｍｓ）で各種データ（音声・テキスト・画像）を同期再生するコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるデータ内容（テキストファイル／サウンドファイル／イメージファイルなど）を対応付けするための参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。
【００５８】
例えば図５で示す見出語「ｌｏｗ」のタイムコードファイル１２ｆ２３によるファイル再生時間は、予め設定された基準処理単位時間が２５ｍｓである場合、４０ステップのタイムコードからなる再生処理を経て１秒間となる。
【００５９】
図６は前記携帯機器１０の辞書タイムコードファイル１２ｆｎ（図５参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータに基づき解析処理される命令内容を対応付けて示す図である。
【００６０】
タイムコードファイル１２ｆｎに使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、ＬＴ（ｉ番目テキストロード）．ＶＤ（ｉ番目テキスト文節表示）．ＢＬ（文字カウンタリセット・ｉ番目文節ブロック指定）．ＨＮ（ハイライト無し・文字カウンタカウントアップ）．ＨＬ（ｉ番目文字までハイライト・文字カウント）．ＬＳ（１行スクロール・文字カウンタカウントアップ）．ＤＨ（ｉ番目ＨＴＭＬファイル表示）．ＤＩ（ｉ番目イメージファイル表示）．ＰＳ（ｉ番目サウンドファイルプレイ）．ＣＳ（クリアオールファイル）．ＰＰ（基本タイムｉ秒間停止）．ＦＮ（処理終了）．ＮＰ（無効）の各コマンドがある。
【００６１】
また、メモリ１２内のＲＡＭ１２Ｂには、辞書データベース１２ｂの検索処理に伴う見出語がその見出語番号に従い読み出されて記憶される検索見出語メモリ１２ｇ、検索された見出語に対応する意味内容などの辞書データが前記辞書データベース１２ｂからその辞書データ番号に従い読み出されて記憶される見出語対応辞書データメモリ１２ｈ、検索された見出語に対応した音声・テキスト・画像の同期再生を行うためのタイムコードファイル１２ｆｎ（図５参照）が前記辞書データベース１２ｂ内のタイムコードファイルＮｏに従い辞書タイムコードファイル１２ｆの中から読み出され伸張・復号化されて記憶される再生タイムコードファイルメモリ１２ｉが用意される。
【００６２】
さらに、このメモリ１２内のＲＡＭ１２Ｂには、見出語検索画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１２・図１３参照）を設定するためのＨＴＭＬファイルが、前記辞書データベース１２ｂからＨＴＭＬファイルＮｏに従い読み出されて記憶される同期用ＨＴＭＬファイルメモリ１２ｊ、検索見出語のテキストデータが前記辞書データベース１２ｂからそのテキストファイルＮｏに従い読み出されて記憶される同期用テキストファイルメモリ１２ｋ、検索見出語の発音音声データが前記辞書データベース１２ｂ内のサウンドファイルＮｏに従い前記辞書音声データ１２ｃの中から読み出されて記憶される同期用サウンドファイルメモリ１２ｍ、検索見出語の発音画像表示用としてユーザ設定されたキャラクタ画像が前記キャラクタ画像データ１２ｄ（図３参照）の中から読み出されて記憶される同期用イメージファイルメモリ１２ｎ、この同期用イメージファイルメモリ１２ｎに記憶されたキャラクタ画像における口型画像の合成領域を示す口画像エリアデータ（Ｘ１，Ｙ１；Ｘ２，Ｙ２）が記憶される口画像エリアメモリ１２ｐ、そして、前記タイムコードファイルメモリ１２ｉに記憶された検索見出語に対応するタイムコードファイル１２ｆｎに従い音声・テキストに同期再生すべきキャラクタ画像と口型画像とが展開合成されて記憶される画像展開バッファ１２ｑなどが用意される。
【００６３】
すなわち、この携帯機器（ＰＤＡ）１０のＦＬＡＳＨメモリ１２Ａに記憶されている辞書処理プログラム１２ａを起動させて検索された見出語が「ｌｏｗ」であり、これに対応して辞書タイムコードファイル１２ｆ内から読み出されて再生タイムコードファイルメモリ１２ｉに記憶されたタイムコードファイル１２ｆが、例えば図５で示したタイムコードファイル１２ｆ２３であり、設定処理単位時間毎のコマンド処理に伴い３番目のコマンドコード“ＤＩ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＤＩ”はｉ番目のイメージファイル表示命令であるため、パラメータデータｉ＝００からリンク付けられる同期用イメージファイル１２ｎに記憶されたキャラクタ画像１２ｄｎが読み出されて表示される。
【００６４】
また、設定処理単位時間毎のコマンド処理に伴い４番目のコマンドコード“ＰＳ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＰＳ”はｉ番目のサウンドファイル再生命令であるため、パラメータデータｉ＝００からリンク付けられる同期用サウンドファイル１２ｍに記憶された音声データ１２ｃｎが読み出されて出力される。
【００６５】
また、設定処理単位時間毎のコマンド処理に伴い６番目のコマンドコード“ＶＤ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＶＤ”はｉ番目のテキスト文節表示命令であるため、パラメータデータｉ＝００に従い、テキストの０番目の文節（この場合は、同期用テキストファイルメモリ１２ｋに記憶された検索見出語のテキストファイル「ｌｏｗ」が表示される。
【００６６】
さらに、設定処理単位時間毎のコマンド処理に伴い９番目のコマンドコード“ＮＰ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＮＰ”は無効命令であるため、現状のファイル出力状態が維持される。
【００６７】
なお、この図５で示したファイル内容のタイムコードファイル１２ｆ２３（１２ｉ）に基づいた検索見出語に対応する発音音声・テキスト・画像（口型画像）の同期再生についての詳細な動作は、後述にて改めて説明する。
【００６８】
次に、前記構成の携帯機器１０による各種の動作について説明する。
【００６９】
図７は前記携帯機器１０の辞書処理プログラム１２ａに従ったメイン処理を示すフローチャートである。
【００７０】
図８は前記携帯機器１０のメイン処理に伴う見出語同期再生処理を示すフローチャートである。
【００７１】
図９は前記携帯機器１０の見出語同期再生処理に伴う各見出語文字のハイライト表示に応じて割り込みで実行されるテキスト対応口表示処理を示すフローチャートである。
【００７２】
図１０は前記携帯機器１０のメイン処理内のキャラクタ設定処理に伴う同期再生用キャラクタ画像の設定表示状態を示す図である。
【００７３】
入力部１７ａの「設定」キー１７ａ１およびカーソルキー１７ａ２の操作によりキャラクタ画像の設定モードに切り替えられると（ステップＳ１→Ｓ２）、ＦＬＡＳＨメモリ１２Ａに記憶されている例えば３種類のキャラクタ画像データ１２ｄ１（Ｎｏ１），１２ｄ２（Ｎｏ２），１２ｄ３（Ｎｏ３）［図３参照］が読み出され、図１０に示すように、キャラクタ画像の一覧選択画面Ｇ１として表示部１８に表示される（ステップＳ３）。
【００７４】
このキャラクタ画像の一覧選択画面Ｇ１において、カーソルキー１７ａ３の操作により各キャラクタ画像の選択フレームＸが移動操作されてユーザ所望のキャラクタ画像（例えば１２ｄ３（Ｎｏ３））が選択されると共に、「訳／決定（音声）」キー１７ａ４による決定操作により当該キャラクタ画像の選択が検知されると（ステップＳ４）、この選択検知されたキャラクタ画像１２ｄｎが読み出され、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎに転送格納される（ステップＳ５）。また、この選択検知されたキャラクタ画像１２ｄｎの口型画像の合成領域を示す口画像エリアデータ（Ｘ１，Ｙ１；Ｘ２，Ｙ２）も読み出され、ＲＡＭ１２Ｂ内の口画像エリアメモリ１２ｐに転送格納される（ステップＳ６）。
【００７５】
これにより、見出語検索に伴い、当該見出語の発音音声に同期表示させるべき口型画像合成対象のキャラクタ画像が選択設定される。
【００７６】
図１１は前記携帯機器１０のメイン処理内の見出語検索処理に伴う検索見出語表示画面Ｇ２を示す図である。
【００７７】
辞書データベース１２ｂに記憶されている例えば英和辞書の辞書データに基づいて見出語検索を行うのに、入力部１７ａの「英和」キー１７ａ５の操作により英和辞書の検索モードに設定した後に、検索対象の見出語（例えば「ｌｏｗ」）を入力すると（ステップＳ７→Ｓ８）、当該入力された見出語と一致及び一致文字を先頭に含む複数の見出語が前記英和辞書の辞書データから検索されて読み出され、検索見出語の一覧（図示せず）として表示部１８に表示される（ステップＳ９）。
【００７８】
この検索見出語の一覧画面において、ユーザ入力した検索対象の見出語と一致する見出語（この場合「ｌｏｗ」）がカーソルキーにより選択指示されて「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ１０）、当該選択検知された見出語「ｌｏｗ」がＲＡＭ１２Ｂ内の見出語メモリ１２ｇに記憶されると共に、この見出語「ｌｏｗ」に対応する発音／品詞／意味内容などの辞書データが読み出されてＲＡＭ１２Ｂ内の見出語対応辞書データメモリ１２ｈに記憶され、図１１に示すように、検索見出語表示画面Ｇ２として表示部１８に表示される（ステップＳ１１）。
【００７９】
ここで、前記検索表示された見出語「ｌｏｗ」について、その発音音声を出力させるのと同時に、当該見出語の文字，発音記号と発音の口型画像を同期表示させるために、「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ１２）、図８における同期再生処理に移行される（ステップＳＡ）。
【００８０】
図１２は前記携帯機器１０の見出語検索処理における同期再生処理に伴いキャラクタ画像Ｎｏ３の設定状態において検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１およびアクセント未対応の発音口型表示ウインドウＷ２の変化状態を示す図、同図（Ｃ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１およびアクセント対応の発音口型表示ウインドウＷ２の変化状態を示す図である。
【００８１】
前記検索見出語表示画面Ｇ２が表示されている状態での「訳／決定（音声）」キー１７ａ４の操作に伴い、図８における同期再生処理（ステップＳＡ）が起動されると、ＲＡＭ１２Ｂ内の各ワークエリアのクリア処理などのイニシャライズ処理が行われ（ステップＡ１）、まず、辞書データベース１２ｂに記憶されている今回の検索見出語「ｌｏｗ」についての同期再生用リンクデータ（図２参照）に基づき、見出語検索画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１２参照）を設定するためのＨＴＭＬファイルがそのＨＴＭＬファイルＮｏ３に従い読み出され同期用ＨＴＭＬファイルメモリ１２ｊに書き込まれる。また、検索見出語のテキストデータ「ｌｏｗ（発音記号付）」がそのテキストファイルＮｏ４２２２に従い読み出され同期用テキストファイルメモリ１２ｋに書き込まれる。また、検索見出語の発音音声データがそのサウンドファイルＮｏ４２２２に従い読み出され同期用サウンドファイルメモリ１２ｍに書き込まれる（ステップＡ２）。
【００８２】
なお、検索見出語の発音画像表示用としてユーザ設定されたキャラクタ画像（この場合、１２ｄ３（Ｎｏ３））は、前記キャラクタ設定処理に伴うステップＳ５に従って、既にキャラクタ画像データ１２ｄ（図３参照）の中から読み出されて同期用イメージファイルメモリ１２ｎに書き込まれ、さらに当該キャラクタ画像１２ｄ３（Ｎｏ３）における発音口型画像合成エリアである口画像エリアデータ（Ｘ１，Ｙ１；Ｘ２，Ｙ２）も前記キャラクタ設定処理に伴うステップＳ６に従って、既に口画像エリアメモリ１２ｐに書き込まれている。
【００８３】
すると、ＦＬＡＳＨメモリ１２Ａ内に辞書タイムコードファイル１２ｆとして記憶されている各種見出語対応の暗号化された音声・テキスト・画像の同期再生用タイムコードファイル１２ｆｎの中から、今回の検索見出語「ｌｏｗ」に対応するタイムコードファイル１２ｆ２３（図５参照）が、前記同期再生用リンクデータ（図２参照）に記述されたタイムコードファイルＮｏ２３に従い解読復号化されて読み出され、ＲＡＭ１２Ｂ内のタイムコードファイルメモリ１２ｉに転送されて格納される（ステップＡ３）。
【００８４】
こうして、前記検索見出語「ｌｏｗ」に対応する発音音声・テキスト・発音口型画像の同期再生用の各種ファイルのＲＡＭ１２Ｂへの読み込み設定、およびこれらのファイルを同期再生するためのタイムコードファイル１２ｆ２３のＲＡＭ１２Ｂへの転送設定が完了すると、タイムコードファイルメモリ１２ｉに格納されたタイムコードファイル（ＣＡＳファイル）１２ｆ２３（図５参照）のＣＰＵ１１による処理単位時間（例えば２５ｍｓ）が当該タイムコードファイル１２ｆ２３のヘッダ情報Ｈとして設定される（ステップＡ４）。
【００８５】
そして、前記タイムコードファイルメモリ１２ｉに格納されたタイムコードファイル１２ｆ２３の先頭に読み出しポインタがセットされると共に、各同期用ファイルメモリ１２ｊ，１２ｋ，１２ｍ，１２ｎに書き込まれた各種ファイルの先頭に読み出しポインタがセットされ（ステップＡ５）、当該各同期ファイルの再生処理タイミングを計時するためのタイマがスタートされる（ステップＡ６）。
【００８６】
このステップＡ６において、処理タイマがスタートされると、前記ステップＡ４にて設定された今回のタイムコードファイル１２ｆ２３に応じた処理単位時間（２５ｍｓ）毎に、前記ステップＡ５にて設定された読み出しポインタの初期位置の当該タイムコードファイル１２ｆ２３（図５参照）のコマンドコードおよびそのパラメータデータが読み出される（ステップＡ７）。
【００８７】
そして、前記タイムコードファイル１２ｆ２３（図５参照）から読み出されたコマンドコードが、“ＦＮ”か否か判断され（ステップＡ８）、“ＦＮ”と判断された場合には、その時点で当該同期再生処理の停止処理が指示実行される（ステップＡ８→Ａ９）。
【００８８】
一方、前記タイムコードファイル１２ｆ２３（図５参照）から読み出されたコマンドコードが、“ＦＮ”ではないと判断された場合には、当該コマンドコードの内容（図６参照）に対応する処理が実行される（ステップＡ１０）。
【００８９】
そして、前記タイマによる計時時間が次の処理単位時間（２５ｍｓ）に到達したと判断された場合には、ＲＡＭ１２Ｂに格納されたタイムコードファイル１２ｆ２３（図５参照）に対する読み出しポインタが次の位置に移動セットされ（ステップＡ１１→Ａ１２）、前記ステップＡ７における当該読み出しポインタの位置のタイムコードファイル１２ｆ２３（図５参照）のコマンドコードおよびそのパラメータデータ読み出しからの処理が繰り返される（ステップＡ１２→Ａ７〜Ａ１０）。
【００９０】
ここで、図５で示す検索見出語「ｌｏｗ」のタイムコードファイル１２ｆ２３に基づいた、発音音声・テキスト・発音口型画像ファイルの同期再生出力動作について詳細に説明する。
【００９１】
すなわち、このタイムコードファイル１２ｆ２３は、そのヘッダＨに予め記述設定された（基準）処理単位時間（例えば２５ｍｓ）毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２ｆ２３（図５参照）の第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ、テキスト・音声・画像ファイルの出力がクリアされる（ステップＡ１０）。
【００９２】
第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ＲＡＭ１２Ｂ内の同期用ＨＴＭＬファイルメモリ１２ｊからＨＴＭＬデータの見出語テキスト・画像フレームデータが読み出され、図１２（Ａ）に示すように、表示部１８に対する見出語検索画面Ｇ２上でのテキスト・画像の同期再生用ウインドウＷ１，Ｗ２が設定される（ステップＡ１０）。
【００９３】
第３コマンドコード“ＤＩ”（ｉ番目イメージファイル表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎから前記キャラクタ設定処理（ステップＳ２〜Ｓ６）にて設定記憶されたキャラクタ画像１２ｄ（この場合Ｎｏ３）が読み出され、図１２（Ａ）に示すように、前記見出語検索画面Ｇ２上でＨＴＭＬファイルで設定された画像の同期再生用ウインドウＷ２に表示される（ステップＡ１０）。
【００９４】
第４コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ＲＡＭ１２Ｂ内の同期用サウンドファイルメモリ１２ｍから前記ステップＡ２にて設定記憶された検索見出語「ｌｏｗ」に対応する発音音声データが読み出され、ステレオ音声出力部１９ｂからの音声出力が開始される（ステップＡ１０）。
【００９５】
第５コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ＲＡＭ１２Ｂ内の同期用テキストファイルメモリ１２ｋに前記ステップＡ２にて設定記憶された検索見出語「ｌｏｗ」に対応する１文節のテキストデータ「ｌ」「ｏ」「ｗ」（含む発音記号）が指定される（ステップＡ１０）。
【００９６】
第６コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝０）に応じて、前記第５コマンドコード“ＬＴ”に従い指定された１文節のテキストデータ「ｌ」「ｏ」「ｗ」（含む発音記号）が読み出され、図１２（Ａ）に示すように、前記見出語検索画面Ｇ２上のテキスト同期再生用ウインドウＷ１に表示される（ステップＡ１０）。
【００９７】
第７コマンドコード“ＢＬ”（文字カウンタリセット・ｉ番目文節ブロック指定）およびそのパラメータデータ“００”が読み出されると、前記テキスト同期再生用ウインドウＷ１で表示中の検索見出語「ｌｏｗ」の文字カウンタがリセットされる（ステップＡ１０）。
【００９８】
そして、第８コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝１）に応じて、図１２（Ａ）に示すように、テキスト同期再生用ウインドウＷ１に表示されている検索見出語「ｌｏｗ」（含む発音記号）のうち１番目の文字「ｌ」およびこれに対応する発音記号まで、色替え表示，反転表示，下線表示などによるハイライト（識別）表示ＨＬが行われ、文字カウンタが同２番目の文字およびこれに対応する発音記号までカウントアップされる（ステップＡ１０）。
【００９９】
このタイムコードファイル１２ｆ２３による検索見出語「ｌｏｗ」の各文字およびこれに対応する発音記号に対するハイライト（識別）表示に際しては、図９におけるテキスト対応口表示処理の割り込みが行われる。
【０１００】
すなわち、今回ハイライト（識別）表示ＨＬされた検索見出語「ｌｏｗ」の文字「ｌ」が検知されると（ステップＢ１）、この検知文字「ｌ」に対応する発音口型画像が、辞書データベース１２ｂ内のテキスト口同期ファイル（図２（Ｃ）参照）により示されるテキスト「ｌ」に対応する口番号「３６」に従い、音声別口画像データ１２ｅ（図４参照）の中から発音口型画像１２ｅ２（Ｎｏ３６）として読み出される（ステップＢ２）。そして、このハイライト（識別）表示された検索見出語「ｌｏｗ」の文字「ｌ」に対する発音口型画像１２ｅ２（Ｎｏ３６）は、図１２（Ａ）（図１２（Ｂ）(1)）に示すように、見出語検索画面Ｇ２上の画像同期再生用ウインドウＷ２に表示されているキャラクタ画像１２ｄ（Ｎｏ３）の口画像合成領域に対して、ＲＡＭ１２Ｂ内の口画像エリアメモリ１２ｐに記憶されている口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に従い合成されて表示される（ステップＢ３）。
【０１０１】
ここで、前記テキスト口同期ファイル（図２（Ｃ）参照）により示される今回のハイライト（識別）表示テキスト「ｌ」の発音記号に対するアクセントマークの有無が判断される（ステップＢ４）。このハイライト（識別）表示テキスト「ｌ」の発音記号［ｌ］の場合にはアクセントマーク無しと判断されるので、キャラクタ画像１２ｄ（Ｎｏ３）はその通常の顔画像のままの表示が維持される（ステップＢ４→Ｂ５）。
【０１０２】
なお、ここでアクセントマーク有りと判断された場合には、前記キャラクタ画像１２ｄ（Ｎｏ３）は、発音強調表現用のアクセント顔画像Ｎｏ３′（図１２（Ｃ）(2)参照）に変更表示される（ステップＢ４→Ｂ６）。
【０１０３】
そして、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力開始されている検索見出語「ｌｏｗ」に対応する発音音声データの出力タイミングと、本タイムコードファイル１２ｆ２３による処理単位時間（２５ｍｓ）に応じた検索見出語「ｌｏｗ」の１文字毎の識別表示タイミングとは、予め対応付けされて当該タイムコードファイル１２ｆ２３が作成されているので、当該検索見出語「ｌｏｗ」の１文字目「ｌ」の識別表示とその発音口型画像１２ｅ（Ｎｏ３６）の同期合成表示の際には、これに対応する発音記号を読み上げるところの発音音声が同期出力されることになる。
【０１０４】
これにより、検索見出語「ｌｏｗ」の第１文字目「ｌ」の識別表示、その発音口型画像１２ｅ３（Ｎｏ３６）の設定キャラクタ画像１２ｄ（Ｎｏ３）への合成表示、ならびにその発音音声の出力が同期して行われる。
【０１０５】
そして、第９コマンドコード“ＮＰ”が読み出されると、現在の検索見出語「ｌｏｗ」に対応するキャラクタ画像およびテキストデータの同期表示画面および発音音声データの同期出力状態が維持される。
【０１０６】
この後、第１２コマンドコード“ＨＬ”、第３５コマンドコード“ＨＬ”に従い、図１２（Ｃ）(2)、図１２（Ｃ）(3)に示すように、テキスト同期再生用ウインドウＷ１では、検索見出語のテキストデータ「ｌｏｗ」とその発音記号が、順次、２番目の文字「ｏ」と発音記号［ｏ］、３番目の文字「ｗ」と発音記号［ｕ］というように、ハイライト（識別）表示ＨＬされて行く（ステップＡ１０）。そして、これと共に、画像同期再生用ウインドウＷ２では、前記図９におけるテキスト対応の口表示処理に応じて、設定キャラクタ画像１２ｄ（Ｎｏ３）の口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に合成すべき発音口型画像も、前記テキスト口同期ファイル（図２（Ｃ）参照）に従い、口番号９に対応する発音口型画像１２ｅ（Ｎｏ９）、口番号８に対応する発音口型画像１２ｅ（Ｎｏ８）として音声別口画像１２ｅの中から読み出され、順次合成されて同期表示される（ステップＢ１〜Ｂ３）。
【０１０７】
さらに、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力されている検索見出語「ｌｏｗ」の発音音声データも、同テキスト「ｌｏｗ」とその発音記号のハイライト（識別）表示部分を読み上げるところの音声が順次同期出力される。
【０１０８】
なお、前記検索見出語「ｌｏｗ」の各文字「ｌ」「ｏ」「ｗ」毎のハイライト（識別）表示ＨＬに同期させたテキスト対応口表示処理による各発音口型画像１２ｅ（Ｎｏ３６）→１２ｅ（Ｎｏ９）→１２ｅ（Ｎｏ８）の設定キャラクタ画像１２ｄ（Ｎｏ３）に対する合成切り替え表示（ステップＢ１〜Ｂ５）に際し、図１２（Ｂ）(2)で示したように、２番目の文字「ｏ」とその発音記号のハイライト（識別）表示ＨＬに伴い発音口型画像１２ｅ（Ｎｏ９）を合成表示させるときには、当該ハイライト（識別）表示テキスト「ｏ」の発音記号にはアクセントマーク有りと判断されるので、図１２（Ｃ）(2)で示したように、このときのキャラクタ画像１２ｄ（Ｎｏ３）は、発音強調表現用のアクセント顔画像Ｎｏ３′に変更されて表示される（ステップＢ４→Ｂ６）。
【０１０９】
つまり、図１２で示した検索見出語「Ｌｏｗ」のアクセント文字「ｏ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ９）の切り替え合成表示に際しては、当該口型画像１２ｅ（Ｎｏ９）の合成先である図１２（Ｂ）(2)で示した通常の設定キャラクタ（顔）画像１２ｄ（Ｎｏ３）が、図１２（Ｃ）(2)で示した例えば頭部の発汗や口元の皺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ３′）に変更表示されるので、ユーザは検索見出語「Ｌｏｗ」の発音音声とその発声タイミングおよび各文字「Ｌ」「ｏ」「ｗ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、アクセントに応じて発声強調するタイミングをリアルに学習できるようになる。
【０１１０】
図１３は前記携帯機器１０の見出語検索処理における同期再生処理に伴いキャラクタ画像Ｎｏ１の設定状態において検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。
【０１１１】
すなわち、前記図７のステップＳ１〜Ｓ６によるキャラクタ設定処理において、予め記憶された３種類のキャラクタ画像データ１２ｄ（Ｎｏ１），１２ｄ（Ｎｏ２），１２ｃ（Ｎｏ３）［図３参照］の中からアニメ調のキャラクタ画像１２ｄ（Ｎｏ１）が選択設定された状態で、前記ステップＳ７〜ＳＡと同様に検索対象の見出語「ｌｏｗ」についての見出語検索処理および同期再生処理、そして図９におけるテキスト対応口表示処理が行われた場合には、図１３（Ａ）および図１３（Ｂ）に示すように、検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１には、検索見出語「ｌｏｗ」およびその発音記号の発音音声出力に同期させたハイライト（識別）表示ＨＬが順次行われる。これに伴い、発音口型表示ウインドウＷ２には、前記キャラクタ設定処理（ステップＳ１〜Ｓ６）において設定されたアニメ調のキャラクタ画像１２ｄ（Ｎｏ１）を基本の顔画像として、前記発音音声出力およびテキスト（含む発音記号）のハイライト表示ＨＬに同期させた各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が順次切り替え合成されて表示される。
【０１１２】
そして、図１３（Ｂ）(2)で示したように、検索見出語「ｌｏｗ」の２番目の文字「ｏ」とその発音記号のハイライト（識別）表示ＨＬに伴い発音口型画像１２ｅ（Ｎｏ９）を合成表示させるときには、当該ハイライト（識別）表示テキスト「ｏ」の発音記号にはアクセントマーク有りと判断されるので、このときのアニメ調キャラクタ画像１２ｄ（Ｎｏ１）は、発音強調表現用のアクセント顔画像Ｎｏ１′に変更されて表示される（ステップＢ４→Ｂ６）。
【０１１３】
つまり、図１３で示したアニメ調のキャラクタ画像１２ｄ（Ｎｏ１）を選択設定した場合の、検索見出語「Ｌｏｗ」のアクセント文字「ｏ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ９）の切り替え合成表示に際しても、当該口型画像１２ｅ（Ｎｏ９）の合成先である通常のアニメ調キャラクタ（顔）画像１２ｄ（Ｎｏ１）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ１′）に変更表示されるので、ユーザは検索見出語「Ｌｏｗ」の発音音声とその発声タイミングおよび各文字「Ｌ」「ｏ」「ｗ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、アクセントに応じて発声強調するタイミングをリアルに学習できるようになる。
【０１１４】
なお、前記図１１〜図１３を参照して説明した見出語検索に伴うテキスト・発音音声・発音口型画像の同期再生処理では、辞書データベース１２ｂとして予め記憶される英和辞書データの内容が、米国系１国の発音にのみ対応する内容である場合について説明したが、例えば、次の図１４〜図１６を参照して説明するように、辞書データベース１２ｂとして予め記憶される英和辞書データの内容が、米国系および英国系の２国の発音に対応する内容を有する場合に、米国系または英国系の何れか１国の発音形態を指定して見出語検索に伴うテキスト・発音音声・発音口型画像の同期再生処理を行うようにしてもよい。
【０１１５】
図１４は前記携帯機器１０のメイン処理内の見出語検索処理に伴い米国／英国の２国の発音形態を収録した英和辞書を利用した場合の検索見出語表示画面Ｇ２を示す図である。
【０１１６】
辞書データベース１２ｂに記憶されている例えば米国／英国の２国の発音形態を収録した英和辞書の辞書データに基づいて見出語検索を行うのに、入力部１７ａの「英和」キー１７ａ５の操作により英和辞書の検索モードに設定した後に、検索対象の見出語（例えば「ｌａｕｇｈ」）を入力すると（ステップＳ７→Ｓ８）、当該入力された見出語と一致及び一致文字を先頭に含む複数の見出語が前記英和辞書の辞書データから検索されて読み出され、検索見出語の一覧（図示せず）として表示部１８に表示される（ステップＳ９）。
【０１１７】
この検索見出語の一覧画面において、ユーザ入力した検索対象の見出語と一致する見出語（この場合「ｌａｕｇｈ」）がカーソルキーにより選択指示されて「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ１０）、当該選択検知された見出語「ｌａｕｇｈ」がＲＡＭ１２Ｂ内の見出語メモリ１２ｇに記憶されると共に、この見出語「ｌａｕｇｈ」に対応する米国／英国の２国の発音／品詞／意味内容などの辞書データが読み出されてＲＡＭ１２Ｂ内の見出語対応辞書データメモリ１２ｈに記憶され、図１４に示すように、検索見出語表示画面Ｇ２として表示部１８に表示される（ステップＳ１１）。
【０１１８】
ここで、前記検索表示された見出語「ｌａｕｇｈ」について、その米国式発音［ｌａｅｆ］または英国式発音［ｌａ：ｆ］の何れか一方の発音音声を選択的に出力させるのと同時に、これに対応した見出語の文字，発音記号と発音の口型画像を同期表示させるために、検索見出語表示画面Ｇ２上の辞書データに表示されている米国方言または英国方言の識別子［米］または［英］の何れかが指定されると共に（ステップＳ１１ａ）、「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ１２）、図８における同期再生処理に移行される（ステップＳＡ）。
【０１１９】
図１５は前記携帯機器１０の見出語検索処理における同期再生処理に伴い米国式発音［米］を指定した場合に検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は米国式発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。
【０１２０】
すなわち、前記検索見出語表示画面Ｇ２上の辞書データに表示されている米国方言または英国方言の識別子［米］または［英］の何れかが指定されて、図８における同期再生処理に移行されると、当該同期再生処理のステップＡ２では、例えば米国方言識別子［米］が指定された場合は、キャラクタ設定処理（ステップＳ２〜Ｓ６）において予め設定されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１）に対応して米語用キャラクタ画像１２ｄ（Ｎｏ１ＵＳ）が読み出され、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎに転送される。またこれと共に、辞書データベース１２ｂに記憶されている今回の検索見出語「ｌａｕｇｈ」についての同期再生用リンクデータ（図２参照）に基づき、見出語検索画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１５参照）を設定するためのＨＴＭＬファイルがそのＨＴＭＬファイルＮｏに従い読み出され同期用ＨＴＭＬファイルメモリ１２ｊに書き込まれる。また、検索見出語のテキストデータ「ｌａｕｇｈ（米国方言発音記号付）」がそのテキストファイルＮｏに従い読み出され同期用テキストファイルメモリ１２ｋに書き込まれる。また、検索見出語の米国方言の発音音声データがそのサウンドファイルＮｏに従い読み出され同期用サウンドファイルメモリ１２ｍに書き込まれる（ステップＡ２）。
【０１２１】
すると、ＦＬＡＳＨメモリ１２Ａ内に辞書タイムコードファイル１２ｆとして記憶されている各種見出語対応の暗号化された音声・テキスト・画像の同期再生用タイムコードファイル１２ｆｎの中から、今回の検索見出語「ｌａｕｇｈ」に対応するタイムコードファイル１２ｆｎ（図５参照）が、前記同期再生用リンクデータ（図２参照）に記述されたタイムコードファイルＮｏに従い解読復号化されて読み出され、ＲＡＭ１２Ｂ内のタイムコードファイルメモリ１２ｉに転送されて格納される（ステップＡ３）。
【０１２２】
そして、前記検索見出語「ｌａｕｇｈ」に対応するタイムコードファイル１２ｆｎに従った発音音声・見出語文字・発音口型画像の同期再生処理が、既に説明した検索見出語「ｌｏｗ」の場合と同様に、ステップＡ７〜Ａ１２による各コマンドコードに応じた再生処理および図９におけるテキスト対応口表示処理により開始されると、検索見出語表示画面Ｇ２上のテキスト同期再生用ウインドウＷ１には、検索見出語「ｌａｕｇｈ」と共に米国方言の発音記号が表示され、また、画像同期再生用ウインドウＷ２には、設定されたアニメ調キャラクタ画像で例えば米国旗Ｆを持っているデザインの米語用キャラクタ画像１２ｄ（Ｎｏ１ＵＳ）が口型画像合成の対象画像として表示される。
【０１２３】
これにより、検索見出語「ｌａｕｇｈ」の米国方言の発音音声出力に同期して、図１５（Ｂ）(1)〜(3)に示すように、テキスト同期再生用ウインドウＷ１では、当該検索見出語「ｌａｕｇｈ」およびその発音記号の先頭文字からのハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、前記米語用キャラクタ画像１２ｄ（Ｎｏ１ＵＳ）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。
【０１２４】
そして、この場合にも前記同様のテキスト対応口表示処理に従って、検索見出語「Ｌａｕｇｈ」のアクセント文字「ａｕ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏｎ２）の切り替え合成表示に際し、当該口型画像１２ｅ（Ｎｏｎ２）の合成先である米語用キャラクタ（顔）画像１２ｄ（Ｎｏ１ＵＳ）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ１ＵＳ′）に変更表示されるので、ユーザは検索見出語「Ｌａｕｇｈ」の米国方言の発音音声とその発声タイミングおよび各文字「Ｌ」「ａｕ」「ｇｈ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、米国方言アクセントに応じて発声強調するタイミングをリアルに学習できるようになる。
【０１２５】
図１６は前記携帯機器１０の見出語検索処理における同期再生処理に伴い英国式発音［英］を指定した場合に検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は英国式発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。
【０１２６】
すなわち、前記図１４で示した検索見出語表示画面Ｇ２上の辞書データに表示されている米国方言または英国方言の識別子［米］または［英］のうち、例えば英国方言識別子［英］が指定されて（ステップＳ１１ａ）、図８における同期再生処理（ステップＳＡ）に移行されると、当該同期再生処理のステップＡ２では、キャラクタ設定処理（ステップＳ２〜Ｓ６）において予め設定されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１）に対応して英語用キャラクタ画像１２ｄ（Ｎｏ１ＵＫ）が読み出され、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎに転送される。またこれと共に、辞書データベース１２ｂに記憶されている今回の検索見出語「ｌａｕｇｈ」についての同期再生用リンクデータ（図２参照）に基づき、見出語検索画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１６参照）を設定するためのＨＴＭＬファイルがそのＨＴＭＬファイルＮｏに従い読み出され同期用ＨＴＭＬファイルメモリ１２ｊに書き込まれる。また、検索見出語のテキストデータ「ｌａｕｇｈ（英国方言発音記号付）」がそのテキストファイルＮｏに従い読み出され同期用テキストファイルメモリ１２ｋに書き込まれる。また、検索見出語の英国方言の発音音声データがそのサウンドファイルＮｏに従い読み出され同期用サウンドファイルメモリ１２ｍに書き込まれる（ステップＡ２）。
【０１２７】
すると、ＦＬＡＳＨメモリ１２Ａ内に辞書タイムコードファイル１２ｆとして記憶されている各種見出語対応の暗号化された音声・テキスト・画像の同期再生用タイムコードファイル１２ｆｎの中から、今回の検索見出語「ｌａｕｇｈ」に対応するタイムコードファイル１２ｆｎ（図５参照）が、前記同期再生用リンクデータ（図２参照）に記述されたタイムコードファイルＮｏに従い解読復号化されて読み出され、ＲＡＭ１２Ｂ内のタイムコードファイルメモリ１２ｉに転送されて格納される（ステップＡ３）。
【０１２８】
そして、前記検索見出語「ｌａｕｇｈ」に対応するタイムコードファイル１２ｆｎに従った発音音声・見出語文字・発音口型画像の同期再生処理が、既に説明した検索見出語「ｌｏｗ」の場合と同様に、ステップＡ７〜Ａ１２による各コマンドコードに応じた再生処理および図９におけるテキスト対応口表示処理により開始されると、検索見出語表示画面Ｇ２上のテキスト同期再生用ウインドウＷ１には、検索見出語「ｌａｕｇｈ」と共に英国方言の発音記号が表示され、また、画像同期再生用ウインドウＷ２には、設定されたアニメ調キャラクタ画像で例えば英国帽Ｍ１をかぶりステッキＭ２を持っているデザインの英語用キャラクタ画像１２ｄ（Ｎｏ１ＵＫ）が口型画像合成の対象画像として表示される。
【０１２９】
これにより、検索見出語「ｌａｕｇｈ」の英国方言の発音音声出力に同期して、図１６（Ｂ）(1)〜(3)に示すように、テキスト同期再生用ウインドウＷ１では、当該検索見出語「ｌａｕｇｈ」およびその発音記号の先頭文字からのハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、前記英語用キャラクタ画像１２ｄ（Ｎｏ１ＵＫ）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。
【０１３０】
そして、この場合にも前記同様のテキスト対応口表示処理に従って、検索見出語「Ｌａｕｇｈ」のアクセント文字「ａｕ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏｎ２）の切り替え合成表示に際し、当該口型画像１２ｅ（Ｎｏｎ２）の合成先である英語用キャラクタ（顔）画像１２ｄ（Ｎｏ１ＵＫ）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ１ＵＫ′）に変更表示されるので、ユーザは検索見出語「Ｌａｕｇｈ」の英国方言の発音音声とその発声タイミングおよび各文字「Ｌ」「ａｕ」「ｇｈ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、英国方言のアクセントに応じて発声強調するタイミングをリアルに学習できるようになる。
【０１３１】
次に、前記構成の携帯機器１０のメイン処理に伴い、例えば英単語アクセントの正解／不正解を当てるテストを行うことができるアクセントテスト処理について説明する。
【０１３２】
図１７は前記携帯機器１０のアクセントテスト処理に伴い不正解を選択した場合の操作表示状態を示す図であり、同図（Ａ）はアクセントテスト出題表示画面Ｇ３を示す図、同図（Ｂ）は出題対象の見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｃ）は誤りアクセントの発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。
【０１３３】
図１８は前記携帯機器１０のアクセントテスト処理に伴い正解を選択した場合の操作表示状態を示す図であり、同図（Ａ）はアクセントテスト出題表示画面Ｇ３を示す図、同図（Ｂ）は出題対象の見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｃ）は正解アクセントの発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。
【０１３４】
すなわち、入力部１７ａにおける「アクセントテスト」キー１７ａ６が操作されアクセントテストモードに設定されると（ステップＳ１３）、辞書データベース１２ｃに予め記憶されている辞書データの中からランダムに見出単語が選択され（ステップＳ１４）、図１７（Ａ）に示すように、ランダム選択された単語「ｌｏｗ」について「ｏ」部分にアクセントのある正しいアクセントの発音記号と「ｕ」部分にアクセントのある誤ったアクセントの発音記号とを選択項目Ｅｔ／Ｅｆとして出題したアクセントテスト出題表示画面Ｇ３が表示部１８に表示される（ステップＳ１５）。
【０１３５】
このアクセントテスト出題表示画面Ｇ３において、カーソルキー１７ａ２の操作により選択フレームＸを移動させ、例えば誤ったアクセントの発音記号のある選択項目Ｅｆが選択検知されると（ステップＳ１６）、前記キャラクタ設定処理（ステップＳ２〜Ｓ６）において予め発音口型画像の合成先として選択設定されていたキャラクタ画像およびその関連画像（この場合はアニメ調キャラクタ画像１２ｄ（Ｎｏ１）およびそのアクセント対応画像（Ｎｏ１′））が、例えば黄色の通常色から青色のキャラクタ画像（Ｎｏ１ＢＬ）（Ｎｏ１ＢＬ′）に変更設定される（ステップＳ１７→Ｓ１８）。
【０１３６】
またこれと共に、出題単語「ｌｏｗ」に対応して辞書音声データ１２ｃの中から読み出される発音音声データが、前記ユーザ選択された誤ったアクセントの発音記号に応じた音声データに補正される（ステップＳ１９）。
【０１３７】
すると、出題単語「ｌｏｗ」がＲＡＭ１２Ｂ内の見出語メモリ１２ｇに記憶されると共に、この見出語「ｌｏｗ」に対応する発音／品詞／意味内容などの辞書データが読み出されてＲＡＭ１２Ｂ内の見出語対応辞書データメモリ１２ｈに記憶され、図１７（Ｂ）に示すように、出題単語に対応した検索見出語表示画面Ｇ２として表示部１８に表示される（ステップＳ２０）。
【０１３８】
ここで、前記ユーザにより選択したアクセントの出題単語「ｌｏｗ」について、その発音音声を出力させるのと同時に、当該見出単語の文字，発音記号と発音の口型画像を同期表示させるために、「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ２１）、図８における同期再生処理に移行される（ステップＳＡ）。
【０１３９】
すると、同期再生処理のステップＡ２では、前記誤ったアクセントのユーザ選択に応じて青色に変更されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１ＢＬ）が読み出され、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎに転送される。またこれと共に、辞書データベース１２ｂに記憶されている今回の出題単語「ｌｏｗ」についての同期再生用リンクデータ（図２参照）に基づき、検索見出語表示画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１７（Ｂ）参照）を設定するためのＨＴＭＬファイルがそのＨＴＭＬファイルＮｏに従い読み出され同期用ＨＴＭＬファイルメモリ１２ｊに書き込まれる。また、出題単語のテキストデータ「ｌｏｗ（誤り発音記号付）」が読み出され同期用テキストファイルメモリ１２ｋに書き込まれる。また、出題単語の誤りアクセントに応じて補正した発音音声データが読み出され同期用サウンドファイルメモリ１２ｍに書き込まれる（ステップＡ２）。
【０１４０】
すると、ＦＬＡＳＨメモリ１２Ａ内に辞書タイムコードファイル１２ｆとして記憶されている各種見出語対応の暗号化された音声・テキスト・画像の同期再生用タイムコードファイル１２ｆｎの中から、今回の出題単語「ｌｏｗ」に対応するタイムコードファイル１２ｆｎ（図５参照）が、前記同期再生用リンクデータ（図２参照）に記述されたタイムコードファイルＮｏに従い解読復号化されて読み出され、ＲＡＭ１２Ｂ内のタイムコードファイルメモリ１２ｉに転送されて格納される（ステップＡ３）。
【０１４１】
そして、前記出題単語「ｌｏｗ」に対応するタイムコードファイル１２ｆｎに従った誤りアクセントの発音音声・見出語文字・発音口型画像の同期再生処理が、既に説明した検索見出語「ｌｏｗ」の場合と同様に、ステップＡ７〜Ａ１２による各コマンドコードに応じた再生処理および図９におけるテキスト対応口表示処理により開始される。すると、図１７（Ｂ）に示すように、検索見出語表示画面Ｇ２上のテキスト同期再生用ウインドウＷ１（Ｅｆ）には、出題単語「ｌｏｗ」と共にユーザ選択による誤ったアクセントの発音記号が表示され、また、画像同期再生用ウインドウＷ２には、誤りアクセントのユーザ選択により青色変更されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１ＢＬ）が口型画像合成の対象画像として表示される。
【０１４２】
これにより、出題単語「ｌｏｗ」に対応する誤ったアクセントの発音音声出力に同期して、図１７（Ｃ）(1)〜(3)に示すように、テキスト同期再生用ウインドウＷ１（Ｅｆ）では、当該出題単語「ｌｏｗ」およびその誤った発音記号の先頭文字からのハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、前記誤ったアクセントの選択により青色変更されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１ＢＬ）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。
【０１４３】
そして、この場合にも前記同様のテキスト対応口表示処理に従って、見出単語「Ｌｏｗ」の誤ったアクセント文字「ｕ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ８）の切り替え合成表示に際し、当該口型画像１２ｅ（Ｎｏ８）の合成先である青色変更されたアニメ調キャラクタ（顔）画像１２ｄ（Ｎｏ１ＢＬ）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の青色顔画像１２ｄ（Ｎｏ１ＢＬ′）に変更表示されるので、ユーザは出題単語「Ｌｏｗ」の誤ったアクセントの発音音声とその誤った発声タイミングおよび各対応する発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を、誤ったアクセントによるものとして明確に学習できるようになる。
【０１４４】
一方、図１８（Ａ）に示すように、アクセントテスト出題表示画面Ｇ３において、カーソルキー１７ａ２の操作により選択フレームＸを移動させ、例えば正しいアクセントの発音記号のある選択項目Ｅｔが選択検知されると（ステップＳ１６）、前記キャラクタ画像１２ｄ（Ｎｏ１）の青色変更処理（ステップＳ１８）や誤りアクセントに応じた発音音声の補正処理（ステップＳ１９）が行われることなく、図８における同期再生処理に移行される（ステップＳ１７→ＳＡ）。
【０１４５】
すると、前記図１３を参照して前述した、アニメ調キャラクタ画像１２ｅ（Ｎｏ１）が設定されている状態での検索見出語「ｌｏｗ」に対応する発音音声・テキスト・発音口型画像の同期再生処理と同様にして、図１８（Ｂ）に示すように、検索見出語表示画面Ｇ２上のテキスト同期再生用ウインドウＷ１（Ｅｔ）には、出題単語「ｌｏｗ」と共にユーザ選択による正しいアクセントの発音記号が表示され、また、画像同期再生用ウインドウＷ２には、予め設定された通りの通常色のアニメ調キャラクタ画像１２ｄ（Ｎｏ１）が口型画像合成の対象画像として表示される。
【０１４６】
これにより、出題単語「ｌｏｗ」に対応する正しいアクセントの発音音声出力に同期して、図１８（Ｃ）(1)〜(3)に示すように、テキスト同期再生用ウインドウＷ１（Ｅｔ）では、当該出題単語「ｌｏｗ」およびその正しい発音記号の先頭文字からのハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、予め設定された通りの通常色のアニメ調キャラクタ画像１２ｄ（Ｎｏ１）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。
【０１４７】
そして、この場合にも前記同様のテキスト対応口表示処理に従って、見出単語「Ｌｏｗ」の正しいアクセント文字「ｏ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ９）の切り替え合成表示に際し、当該口型画像１２ｅ（Ｎｏ９）の合成先であるアニメ調キャラクタ（顔）画像１２ｄ（Ｎｏ１）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ１′）に変更表示されるので、ユーザは出題単語「Ｌｏｗ」の正しいアクセントの発音音声とその正しい発声タイミングおよび各対応する発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を明確に学習できるようになる。
【０１４８】
したがって、前記構成の第１実施形態の携帯機器１０による見出語検索に伴う発音音声・テキスト・発音口型画像の同期再生機能によれば、検索対象の見出語「ｌｏｗ」を入力して当該検索見出語に対応する辞書データを検索し、検索見出語表示画面Ｇ２として表示させた状態で、「訳／決定（音声）」キー１７ａ４を操作すると、当該検索見出語「ｌｏｗ」のタイムコードファイル１２ｆ２３に従い、ステレオ音声出力部１９ｂから出力される発音音声に同期して、テキスト同期再生用ウインドウＷ１において、検索見出語「ｌｏｗ」およびその発音記号のハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、予め設定されたキャラクタ画像１２ｄ（Ｎｏ３）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。
【０１４９】
しかも、前記検索見出語「Ｌｏｗ」のアクセント文字「ｏ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ９）の切り替え合成表示に際しては、当該口型画像１２ｅ（Ｎｏ９）の合成先であるキャラクタ（顔）画像１２ｄ（Ｎｏ３）が、例えば頭部の発汗や口元の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ３′）に変更表示されるので、ユーザは検索見出語「Ｌｏｗ」の発音音声とその発声タイミングおよび各文字「Ｌ」「ｏ」「ｗ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、アクセントに応じて発声強調するタイミングをリアルに学習できるようになる。
【０１５０】
さらに、前記構成の第１実施形態の携帯機器１０による見出語検索に伴う発音音声・テキスト・発音口型画像の同期再生機能によれば、例えば米国方言と英国方言の発音記号を有する辞書データベース１２ｂに基づき見出語検索を行った際に、図１５または図１６で示したように、米音［米］または英音［英］を指定して「訳／決定（音声）」キー１７ａ４を操作すると、指定された米音または英音の発音音声に同期して、テキスト同期再生用ウインドウＷ１において、検索見出語「ｌａｕｇｈ」およびその米音または英音発音記号のハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、予め設定されたキャラクタ画像１２ｄ（Ｎｏ１）が米音表現用（Ｎｏ１ＵＳ）または英音表現用（Ｎｏ１ＵＫ）としてベース表示され、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、米音または英音の各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示されるので、検索見出語に対応する米国方言の発音音声およびその発音記号・発音口型と英国方言の発音音声およびその発音記号・発音口型とを明確に区別して学習できるようになる。
【０１５１】
また、前記構成の第１実施形態の携帯機器１０による見出語検索に伴う発音音声・テキスト・発音口型画像の同期再生機能によれば、辞書データベース１２ｂに収録される各見出単語には、正しいアクセントの発音記号と共に誤ったアクセントの発音記号を有し、図１７および図１８で示すように、「アクセントテスト」キー１７ａ６が操作されると、ランダム選択された見出単語「ｌｏｗ」が正しいアクセントの発音記号および誤ったアクセントの発音記号と共にアクセントテスト出題表示画面Ｇ３として表示される。そして、正しいアクセントの発音記号が選択された場合には、その正しい発音音声出力に同期して通常の設定キャラクタ画像１２ｄ（Ｎｏ１）をベースとした各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）の切り替え合成表示が行われ、誤ったアクセントの発音記号が選択された場合には、その誤った発音音声出力に同期して青色変更されたキャラクタ画像１２ｄ（Ｎｏ１ＢＬ）をベースとした各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）の切り替え合成表示が行われ、しかも正誤何れのアクセント部分の同期再生時にも、前記口型画像合成ベースとしてのキャラクタ画像１２ｅ（Ｎｏ１）（Ｎｏ１ＢＬ）がアクセント対応のキャラクタ画像１２ｅ（Ｎｏ１′）（Ｎｏ１ＢＬ′）に変更表示されるので、各種単語の正しいアクセントの発音と、誤ったアクセントの発音とを、そのそれぞれに応じた音声・テキスト・画像の同期再生により明確に学習できるようになる。
【０１５２】
なお、前記第１実施形態では、検索見出語に対応する発音音声・テキスト（発音記号付き）・発音口型画像の同期生再処理を、タイムコードファイル１２ｆに従った同期再生処理による発音音声出力に同期させたテキスト文字の順次ハイライト（識別）表示、および当該１文字ずつの順次識別表示に伴い割り込みで実行されるテキスト対応口表示処理による識別表示文字対応の発音記号に応じた発音口型画像の切り替え合成表示により行う構成としたが、次の第２実施形態おいて説明するように、アクセント記号付きの発音記号を含む各種の発音記号とそのそれぞれの発音音声データおよび発音顔画像を予め対応付けて複数組み記憶させ、再生すべき見出語の文字を先頭から順番に強調表示させるのに伴い、順次その強調表示文字の発音記号に対応付けられた発音音声データの出力および顔画像データの表示を行う構成としてもよい。
【０１５３】
（第２実施形態）
図１９は前記携帯機器１０の第２実施形態の見出語同期再生処理を示すフローチャートである。
【０１５４】
すなわち、この第２実施形態の携帯機器１０では、アクセント記号付きの発音記号を含む各種の発音記号と、そのそれぞれの発音音声データ、および当該各種の発音記号に応じた発音音声データに対応して異なる形態の口部分や表情からなる発音顔画像を、予めメモリ１２内に複数組み記憶させる。
【０１５５】
そして、例えば辞書データベース１２ｂとして予め記憶される英和辞書を対象に、任意の見出語「ｌｏｗ」が入力されて検索され、前記図１１で示したように、検索見出語表示画面Ｇ２として表示された状態で、その発音音声および発音顔画像の同期再生を行わせるべく「訳／決定（音声）」キー１７ａ４が操作されると、図１９に示す第２実施形態の同期再生処理が開始される。
【０１５６】
この第２実施形態の同期再生処理が開始されると、前記図１２または図１３で示すように、まず、検索見出語表示画面Ｇ２上にテキスト同期再生用ウインドウＷ１が開かれ検索見出語「ｌｏｗ」の各文字と発音記号がその発音順に先頭から強調識別表示ＨＬされる（ステップＣ１）。そして、この強調識別表示ＨＬされた見出文字の発音記号が読み出されて（ステップＣ２）、アクセント記号付きであるか否か判断される（ステップＣ３）。
【０１５７】
ここで、図１２（Ｂ）(1)または図１３（Ｂ）(1)で示すように、今回強調表示ＨＬされた見出単語「ｌｏｗ」における文字「ｌ」の発音記号がアクセント記号無しである場合には、前記メモリ１２に予め記憶された当該発音記号に対応するアクセント無しの発音音声データが読み出されてステレオ音声出力部１９ｂから出力されるのと共に（ステップＣ３→Ｃ４）、これに対応付けられたアクセント無しの発音顔画像が読み出されて画像同期再生用ウインドウＷ２に表示される（ステップＣ５）。
【０１５８】
すると、現在出力中の検索見出語「ｌｏｗ」の次の文字「ｏ」が読み出され（ステップＣ６→Ｃ７）、再び前記ステップＣ１からの処理に戻り、図１２（Ｂ）(2)または図１３（Ｂ）(2)で示すように、その発音記号と共に強調識別表示ＨＬされる（ステップＣ１）。
【０１５９】
そして、今回強調表示ＨＬされた見出単語「ｌｏｗ」における文字「ｏ」の発音記号がアクセント記号有りであると判断された場合には（ステップＣ２，Ｃ３）、前記メモリ１２に予め記憶された当該発音記号に対応するアクセント有りの発音音声データが読み出されてステレオ音声出力部１９ｂから出力されるのと共に（ステップＣ３→Ｃ８）、図１２（Ｃ）(2)または図１３（Ｂ）(2)で示すように、これに対応付けられた例えば頭部の発汗や身体の動揺によってアクセント有り表現する発音顔画像が読み出されて画像同期再生用ウインドウＷ２に表示される（ステップＣ９）。
【０１６０】
したがって、この第２実施形態の携帯機器１０による場合でも、検索見出語「Ｌｏｗ」のアクセント文字「ｏ」をハイライト（識別）表示ＨＬしたことに伴う、発音音声の出力および発音顔画像の表示に際しては、そのアクセント付きの発音記号に基づき当該発音顔画像が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像として表示されるので、ユーザは検索見出語「Ｌｏｗ」の各文字「Ｌ」「ｏ」「ｗ」と発音音声、さらには各発音顔画像を、そのそれぞれの対応出力により容易に学習できるばかりでなく、アクセントに応じて発声強調する部分をリアルに学習できるようになる。
【０１６１】
なお、この第２実施形態において、前記メモリ１２に予め記憶されたアクセント記号付きの発音記号を含む各種の発音記号と、そのそれぞれの発音音声データ、および当該各種の発音記号に応じた発音音声データに対応して異なる形態の口部分や表情からなる発音顔画像について、アクセント付き発音記号に対応付けられた発音音声の出力はアクセント無し発音記号に対応付けられた発音音声より大きく設定され、また、アクセント付き発音記号に対応付けられた発音顔画像の口部分の開き具合はアクセント無し発音記号に対応付けられた発音顔画像の口部分の開き具合より大きく設定される。さらに、この顔画像における表情は、アクセント付き発音記号に対応付けられた発音顔画像の表情の方が、アクセント無し発音記号に対応付けられた発音顔画像の表情よりも強調されて設定される。
【０１６２】
なお、前記第２実施形態では、アクセント記号付きの発音記号を含む各種の発音記号と、そのそれぞれの発音音声データ、および当該各種の発音記号に応じた発音音声データに対応して異なる形態の口部分や表情からなる発音顔画像を予め記憶し、検索見出語の各文字をその発音順に強調表示すると共に、その発音記号に対応付けられた発音音声を読み出して出力し、また同発音記号に対応付けられ発音顔画像を読み出して表示する構成としたが、次の第３実施形態において説明するように、辞書データベース１２ｂにある各見出語のそれぞれに対応して当該見出し語の発音音声と発音顔画像とを予め組み合わせて記憶させ、検索見出語の文字表示に伴いその発音音声および発音顔画像を読み出して出力し、この際の発音音声信号のピークレベルを検出してアクセント部分を判断し、前記発音顔画像の口や表情の形態を異なる表示形態に変更制御する構成としてもよい。
【０１６３】
（第３実施形態）
図２０は前記携帯機器１０の第３実施形態の見出語同期再生処理を示すフローチャートである。
【０１６４】
すなわち、この第３実施形態の携帯機器１０では、辞書データベース１２ｂの各辞書データにある各見出語のそれぞれに対応して当該見出し語の発音音声と発音顔画像とを予め組み合わせて記憶させる。
【０１６５】
そして、例えば辞書データベース１２ｂとして予め記憶される英和辞書を対象に、任意の見出語「ｌｏｗ」が入力されて検索され、前記図１１で示したように、検索見出語表示画面Ｇ２として表示された状態で、その発音音声および発音顔画像の同期再生を行わせるべく「訳／決定（音声）」キー１７ａ４が操作されると、図２０に示す第３実施形態の同期再生処理が開始される。
【０１６６】
この第３実施形態の同期再生処理が開始されると、前記図１２または図１３で示すように、まず、検索見出語表示画面Ｇ２上にテキスト同期再生用ウインドウＷ１が開かれ検索見出語「ｌｏｗ」の各文字がその発音順に先頭から強調識別表示ＨＬされる（ステップＤ１）。そして、この強調識別表示ＨＬされた見出文字に対応する部分の発音音声データが読み出され（ステップＤ２）、ステレオ音声出力部１９ｂから出力される（ステップＤ３）。
【０１６７】
ここで、例えば今回強調表示ＨＬされた見出単語「ｌｏｗ」における文字「ｌ」に対応する部分の発音音声データの信号（波形）レベルが一定値以上の音声信号レベル（アクセント部分）か否か判断されるもので（ステップＤ４）、一定音声信号レベル以上ではない、つまりアクセント部分ではないと判断された場合には、当該検索見出語に対応付けられて記憶された発音顔画像が読み出されてそのまま画像同期再生用ウインドウＷ２に表示される（ステップＤ５）。
【０１６８】
すると、現在出力中の検索見出語「ｌｏｗ」の次の文字「ｏ」が読み出され（ステップＤ６→Ｄ７）、再び前記ステップＤ１からの処理に戻り、強調識別表示ＨＬされる（ステップＤ１）。
【０１６９】
すると、今回強調識別表示ＨＬされた見出文字「ｏ」に対応する部分の発音音声データが読み出され（ステップＤ２）、ステレオ音声出力部１９ｂから出力されると共に（ステップＤ３）、当該強調表示ＨＬされた単語文字「ｏ」に対応する部分の発音音声データの信号（波形）レベルが一定値以上の音声信号レベル（アクセント部分）か否か判断される（ステップＤ４）。
【０１７０】
ここで、一定音声信号レベル以上である、つまりアクセント部分であると判断された場合には、当該検索見出語に対応付けられて記憶された発音顔画像が読み出されると共に、当該顔画像はその口部分の開き具合が大きくまたその表情が強い顔画像に変更制御（例えば図１２（Ｂ）(2)→図１２（Ｃ）(2)）され、画像同期再生用ウインドウＷ２に表示される（ステップＤ４→Ｄ８）。
【０１７１】
なお、前記発音音声の音声信号波形レベルが一定値以上と判断されてアクセント部分であると判断された場合には、強調表示されている検索見出語の対応文字をさらに表示色の変更や付加あるいは文字フォントの変更などにより、アクセント部分の文字であることを示す形態に変更制御して表示させる構成としてもよい。
【０１７２】
したがって、この第３実施形態の携帯機器１０による場合でも、検索見出語「Ｌｏｗ」のアクセント文字「ｏ」をハイライト（識別）表示ＨＬしたことに伴う、発音音声の出力および発音顔画像の表示に際しては、そのときの発音音声信号レベルが一定値以上であることに基づき当該発音顔画像が、例えば口部分の開き具合が大きくまたその表情が強いアクセント対応の顔画像に変更制御されて表示されるので、ユーザは検索見出語「Ｌｏｗ」の各文字「Ｌ」「ｏ」「ｗ」とその発音音声、さらには発音顔画像を、そのそれぞれの対応出力により容易に学習できるばかりでなく、アクセントに応じて発声強調する部分をリアルに学習できるようになる。
【０１７３】
なお、前記各実施形態における検索見出語の各文字（テキスト）・発音音声・発音顔画像（含む発音口型画像）の同期再生機能の説明では、当該見出語のアクセントが１箇所に存在する場合について説明したが、検索見出語のアクセントが第１アクセントと第２アクセントの２箇所に存在する場合には、各アクセント部分に対応して表示するアクセント対応の発音顔画像（含む発音口型画像）を、第１アクセントの場合と第２アクセントの場合とで、例えば口の開き具合の大小や表情の強弱などによって異なる形態にして表示させる構成としてもよい。
【０１７４】
なお、前記各実施形態において記載した携帯機器１０による各処理の手法、すなわち、図７のフローチャートに示す第１実施形態での辞書処理プログラム１２ａに従ったメイン処理、図８のフローチャートに示す前記メイン処理に伴う見出語同期再生処理、図９のフローチャートに示す前記見出語同期再生処理に伴う各見出語文字のハイライト表示に応じて割り込みで実行されるテキスト対応口表示処理、図１９のフローチャートに示す第２実施形態での見出語同期再生処理、図２０のフローチャートに示す第３実施形態での見出語同期再生処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード、ＤＡＴＡ・ＣＡＲＤ等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した検索見出語に対応する各文字（テキスト）・発音音声・発音顔画像（含む発音口型画像）の同期再生機能を実現し、前述した手法による同様の処理を実行することができる。
【０１７５】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した検索見出語に対応する各文字（テキスト）・発音音声・発音顔画像（含む発音口型画像）の同期再生機能を実現することもできる。
【０１７６】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【符号の説明】
【０１７７】
１０ …携帯機器
１１ …ＣＰＵ
１２ …メモリ
１２Ａ…ＦＬＡＳＨメモリ
１２Ｂ…ＲＡＭ
１２ａ…辞書処理プログラム
１２ｂ…辞書データベース
１２ｃ…辞書音声データ
１２ｄ…キャラクタ画像データ
１２ｄ（Ｎｏ．ｎ）…設定キャラクタ画像
１２ｄ（Ｎｏ．ｎ′）…アクセント対応顔画像
１２ｄ（Ｎｏ．ｎＵＳ）…米語用設定キャラクタ画像
１２ｄ（Ｎｏ．ｎＵＳ′）…米語用アクセント対応顔画像
１２ｄ（Ｎｏ．ｎＵＫ）…英語用設定キャラクタ画像
１２ｄ（Ｎｏ．ｎＵＫ′）…英語用アクセント対応顔画像
１２ｄ（Ｎｏ．ｎＢＬ）…青色変更設定キャラクタ画像
１２ｄ（Ｎｏ．ｎＢＬ′）…アクセント対応の青色顔画像
１２ｅ…音声別口画像データ
１２ｆ…辞書タイムコードファイル
１２ｇ…見出語データメモリ
１２ｈ…見出語対応辞書データメモリ
１２ｉ…タイムコードファイルＮｏ２３
１２ｊ…同期用ＨＴＭＬファイルメモリ
１２ｋ…同期用テキストファイルメモリ
１２ｍ…同期用サウンドファイルメモリ
１２ｎ…同期用イメージファイルメモリ
１２ｐ…口画像エリアメモリ
１２ｑ…画像展開バッファ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …通信部
１７ａ…入力部
１７ｂ…座標入力装置
１８ …表示部
１９ａ…音声入力部
１９ｂ…ステレオ音声出力部
２０ …通信機器（自宅ＰＣ）
３０ …Ｗｅｂサーバ
Ｎ …通信ネットワーク（インターネット）
Ｘ …選択フレーム
Ｈ …タイムコードテーブルのヘッダ情報
Ｇ１ …キャラクタ画像の一覧選択画面
Ｇ２ …見出語検索画面
Ｇ３ …アクセントテスト出題表示画面
Ｗ１ …見出語文字表示ウインドウ（テキスト同期再生用ウインドウ）
Ｗ２ …発音口型表示ウインドウ（画像同期再生用ウインドウ）
ＨＬ …ハイライト（識別）表示
Ｅｔ …正解アクセント選択項目
Ｅｆ …誤りアクセント選択項目
【技術分野】
【０００１】
本発明は、音声，テキスト，画像などのデータを同期して出力するための音声表示出力制御装置、画像表示制御装置、および音声表示出力制御処理プログラム、画像表示制御処理プログラムに関する。
【背景技術】
【０００２】
従来、例えば言語学習装置として、言語の音声を出力しその口型を表示させるものがある。
【０００３】
この言語学習装置では、マイクとカメラによって、母国語使用者の音声情報と口型のイメージデータを予めサンプルデータメモリに記録する。そして、学習者の音声情報と口型のイメージデータを前記マイクとカメラによって記録し、この学習者と前記サンプルデータメモリに予め記録された母国語使用者とのそれぞれの音声情報の波形とこれに対応する各口型のイメージデータとを対比しチャート形式で表示する。
【０００４】
これにより、母国語使用者と学習者との言語発音の差異を明確に分析し表示しようとするものである（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３１８５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような、従来の言語学習装置を用いると、手本である母国語使用者の発音音声とその口型イメージを知ることができるが、各言語のアクセントについては、主にアクセント部分の発音音声が強調されることで知らされるだけであって、口型イメージそのものには明確な違いが現れないため、各学習言語におけるアクセントのタイミングが分かり辛い問題がある。
【０００７】
本発明は、前記のような問題に鑑みてなされたもので、音声出力に同期した画像の表示において、アクセントのタイミングを明確に現すことが可能になる音声表示出力制御装置、画像表示制御装置、および音声表示出力制御処理プログラム、画像表示制御処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の請求項１に係る音声表示出力制御装置では、音声データ出力手段により音声データを出力し、テキスト同期表示制御手段により前記音声データの出力に同期してテキストを表示させ、画像表示制御手段により少なくとも口の部分を含む画像を表示させ、口画像表示制御手段により前記表示画像に含まれる口の部分について、前記音声出力される音声データに同期して当該音声データに対応した口型の画像を表示させる。そして、アクセント検出手段により前記音声データまたは前記テキストのアクセントの有無を検出し、画像変化表示制御手段により前記アクセントの有りの検出に応じて前記画像表示制御手段により表示される口型の画像を変化させる。
【０００９】
これによれば、音声データの出力に同期したテキストと画像の表示および画像に含まれる口部分で音声データに対応した口型の画像を表示できるだけでなく、音声データまたはテキストのアクセント検出に応じて口型の表示画像を変化でき、アクセントのタイミングを明確に表現できることになる。
【００１０】
本発明の請求項２に係る音声表示出力制御装置では、前記請求項１に係る音声表示出力制御装置にあって、さらに、辞書検索手段により入力された見出語に対応した辞書データを検索し、辞書データ表示制御手段により前記辞書検索された見出語に対応した辞書データを表示させる。そして、前記音声データは辞書検索手段により検索された見出語の発音音声データで、前記テキストは辞書検索手段により検索された見出語のテキストであり、前記音声データ出力手段による見出語発音音声データの出力、および前記テキスト同期表示制御手段による前記見出語発音音声データに同期した見出語テキストの表示、および前記画像表示制御手段による画像の表示は、前記辞書データ表示制御手段による検索見出語に対応した辞書データの表示状態において行う。
【００１１】
これによれば、入力した見出語に対応した辞書データの検索表示に伴い、当該見出語発音音声データの出力、これに同期した見出語テキストの表示および画像の表示と口型画像の同期表示ができ、しかもアクセント検出に応じた表示画像の変化により見出語アクセントのタイミングを明確に表現できることになる。
【００１２】
本発明の請求項３に係る音声表示出力制御装置では、単語記憶手段により複数の単語と当該各単語それぞれの正しいアクセント付き発音記号と誤りアクセント付き発音記号とを対応付けて記憶し、音声データ出力手段により前記記憶した単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力し、テキスト同期表示制御手段により前記音声出力される単語の発音音声データに同期して当該単語のテキストを表示させ、画像表示制御手段により少なくとも口の部分を含む画像を、前記音声データ出力手段により正しいアクセントの発音音声データが出力される場合と誤りアクセントの発音音声データが出力される場合とで異なる表示形態にして表示させ、さらに、口画像表示制御手段により前記表示画像に含まれる口の部分について、前記音声データ出力手段により出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる。そして、アクセント検出手段により前記テキスト同期表示制御手段による単語テキストの同期表示に伴い、前記単語記憶手段により記憶した該当単語のアクセント付き発音記号から該単語のアクセントを検出し、画像変化表示制御手段により前記アクセント検出に応じて前記画像表示制御手段により表示される画像を変化させる。
【００１３】
これによれば、単語記憶手段により記憶される単語について正しいアクセントの発音音声データと誤りアクセントの発音音声データとを出力できるだけでなく、この発音音声データに同期した単語テキストの表示および表示画像に含まれる口部分についての発音音声データに対応した口型画像を表示でき、しかも単語アクセントの検出に応じて表示画像を変化できるので、単語についての正しいアクセントと誤りアクセントを容易かつ明確なタイミングで学習できることになる。
【００１４】
本発明の請求項４に係る音声表示出力制御装置では、前記請求項３に係る音声表示出力制御装置にあって、さらに、正誤アクセント表示制御手段により前記単語記憶した単語と当該単語に対応付けられた正しいアクセント付き発音記号と誤りアクセント付き発音記号とを並べて表示させ、正誤アクセント選択手段により前記並べて表示された単語の正しいアクセント付き発音記号か誤りアクセント付き発音記号かの何れかを選択する。すると、音声データ出力手段は、前記正誤アクセント選択手段による単語アクセントの正誤選択に応じて、該当単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力する。
【００１５】
これによれば、さらに、単語記憶手段により記憶される単語について正しいアクセント付き発音記号か誤りアクセント付き発音記号かを選択してその発音音声データを出力でき、しかも、この発音音声データに同期した単語テキストの表示および表示画像に含まれる口部分についての発音音声データに対応した口型画像を表示でき、単語アクセントの検出に応じて表示画像を変化できるので、単語についての正しいアクセントと誤りアクセントをさらに容易かつ明確なタイミングで学習できることになる。
【００１６】
本発明の請求項５に係る音声表示出力制御装置では、記憶手段により複数の見出語と当該各見出語それぞれの少なくとも２以上の地域の発音音声データとを対応付けて記憶し、地域指定手段により前記記憶した見出語の２以上の地域の発音音声データのうち何れかの地域を指定する。すると、音声データ出力手段により前記発音音声データの地域指定に応じて、該当見出語の指定地域の発音音声データを出力し、テキスト同期表示制御手段により前記音声出力される見出語の指定地域の発音音声データに同期して当該見出語のテキストを表示させ、画像表示制御手段により少なくとも口の部分を含む画像を、前記指定地域に応じて異なる表示形態にして表示させ、口画像表示制御手段により前記表示画像に含まれる口の部分について、前記音声出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる。そして、アクセント検出手段により前記見出語テキストの同期表示に伴い、当該見出語のアクセントを検出し、画像変化表示制御手段により前記アクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる。
【００１７】
これによれば、同一の見出語で異なる地域方言のある発音音声データを指定して出力できると共に、この発音音声データの出力に同期して当該見出語テキストおよび表示画像中口部分の口型画像を表示でき、しかも指定地域に応じて異なる表示形態の画像を表示でき、アクセント検出によって当該画像の変化表示もできるので、指定地域の発音音声データとアクセントのタイミングを容易かつ明確に学習できることになる。
【００１８】
本発明の請求項６に係る画像表示制御装置では、単語の見出語を含む一連の発音対象データの発音順の表示に従って、口または表情を備えた顔画像を変更制御する画像表示制御装置であって、第１の記憶手段により前記発音対象データとアクセント記号付き発音記号を含む発音記号とを対応付けて複数組み記憶し、第２の記憶手段によりアクセント記号付き発音記号を含む発音記号とその音声および顔画像を対応付けて複数組み記憶する。そして、第１の制御手段により前記一連の発音対象データの発音順の表示に伴い、この発音対象データに対応する発音記号を前記第１の記憶手段から読み出し、この読み出された発音記号に対応する音声と顔画像とを前記第２の記憶手段から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御し、第２の制御手段により前記第１の制御によって音声を外部に出力する際に、前記読み出された発音記号の中にアクセント記号付き発音記号が含まれているか否かを判別し、アクセント記号が含まれていると判別された際は、このアクセント記号付き発音記号に対応する音声と顔画像とを前記第２の記憶手段から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御する。
【００１９】
これによれば、単語の見出し語などの発音対象データの発音順の表示に伴い、当該発音対象データの発音記号に対応する音声出力と顔画像表示ができると共に、そのアクセント部分では該アクセント記号付き発音記号に対応する音声出力と顔画像表示ができ、容易かつ明確に単語などの発音音声とこの発音に伴う顔の表現およびそのアクセント部分での発音音声とこのアクセント部分の発音に伴う顔の表現を学習できることになる。
【００２０】
本発明の請求項７に係る画像表示制御装置では、前記請求項６に係る画像表示制御装置にあって、前記第２の記憶手段に記憶されているアクセント記号付き発音記号を含む発音記号は、アクセント記号が付いている発音記号とアクセント記号が付いていない発音記号とからなり、前記アクセント記号が付いている発音記号に対応付けて記憶されている音声および顔画像と前記アクセント記号が付いていない発音記号に対応付けて記憶されている音声および顔画像とは異なっている。
【００２１】
これによれば、単語の見出し語などの発音対象データのアクセント記号の無い部分での発音音声とこれに伴う顔の表現、そしてアクセント記号がある部分での発音音声とこれに伴う顔の表現の相異をより明確に学習できることになる。
【００２２】
また、本発明の請求項８に係る画像表示制御装置では、単語の見出語を含む一連の発音対象データの発音順の表示に従って、口または表情を備えた顔画像を変更制御する画像表示制御装置であって、記憶手段により前記発音対象データとその音声および顔画像を対応付けて複数組み記憶し、検出手段により前記記憶されている音声の信号波形のうち、前記発音対象データのアクセント部分に対応する信号波形のピーク部分を検出し、表示制御手段により前記検出されたアクセント部分の音声に対応する顔画像を前記記憶手段から読み出しこの読み出された顔画像を、アクセント部分以外の他の信号波形部分の音声に対応する顔画像と異なる表示形態で表示するように制御する。
【００２３】
これによれば、単語の見出語などの発音対象データの発音順の表示に伴い、その発音音声に対応する顔画像を表示でき、しかも音声信号波形のピーク部分によって検出されるアクセント部分では異なる表示形態にした顔画像を表示でき、アクセント部分での発音に伴う顔の表現をより明確に学習できることになる。
【００２４】
また、本発明の請求項９に係る画像表示制御装置では、前記請求項８に係る画像表示制御装置にあって、前記表示制御手段は、前記検出手段により検出されたアクセント部分に対応する発音対象データの部分の表示を、アクセント部分以外の他の信号波形部分に対応する発音対象データの部分の表示と異なる表示形態で表示するように制御するテキスト表示制御手段を備えている。
【００２５】
これによれば、発音対象データの発音音声に対応する顔画像の表示に加え、さらに、発音対象データのアクセント部分の表示を、該アクセント部分以外の発音対象データの表示と異なる表示形態にして表示できるので、発音対象データのアクセント部分およびその発音音声の発声に伴う顔の表現をより明確に学習できることになる。
【発明の効果】
【００２６】
以上のように、本発明の請求項１（請求項１０）に係る音声表示出力制御装置（音声表示出力制御処理プログラム）によれば、音声データ出力手段により音声データを出力し、テキスト同期表示制御手段により前記音声データの出力に同期してテキストを表示させ、画像表示制御手段により少なくとも口の部分を含む画像を表示させ、口画像表示制御手段により前記表示画像に含まれる口の部分について、前記音声出力される音声データに同期して当該音声データに対応した口型の画像を表示させる。そして、アクセント検出手段により前記音声データまたは前記テキストのアクセントを検出し、画像変化表示制御手段により前記アクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる。これにより、音声データの出力に同期したテキストと画像の表示および画像に含まれる口部分で音声データに対応した口型の画像を表示できるだけでなく、音声データまたはテキストのアクセント検出に応じて表示画像を変化でき、アクセントのタイミングを明確に表現できるようになる。
【００２７】
本発明の請求項２に係る音声表示出力制御装置によれば、前記請求項１に係る音声表示出力制御装置にあって、さらに、辞書検索手段により入力された見出語に対応した辞書データを検索し、辞書データ表示制御手段により前記辞書検索された見出語に対応した辞書データを表示させる。そして、前記音声データは辞書検索手段により検索された見出語の発音音声データで、前記テキストは辞書検索手段により検索された見出語のテキストであり、前記音声データ出力手段による見出語発音音声データの出力、および前記テキスト同期表示制御手段による前記見出語発音音声データに同期した見出語テキストの表示、および前記画像表示制御手段による画像の表示は、前記辞書データ表示制御手段による検索見出語に対応した辞書データの表示状態において行う。これにより、入力した見出語に対応した辞書データの検索表示に伴い、当該見出語発音音声データの出力、これに同期した見出語テキストの表示および画像の表示と口型画像の同期表示ができ、しかもアクセント検出に応じた表示画像の変化により見出語アクセントのタイミングを明確に表現できるようになる。
【００２８】
本発明の請求項３（請求項１１）に係る音声表示出力制御装置（音声表示出力制御処理プログラム）によれば、単語記憶手段により複数の単語と当該各単語それぞれの正しいアクセント付き発音記号と誤りアクセント付き発音記号とを対応付けて記憶し、音声データ出力手段により前記記憶した単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力し、テキスト同期表示制御手段により前記音声出力される単語の発音音声データに同期して当該単語のテキストを表示させ、画像表示制御手段により少なくとも口の部分を含む画像を、前記音声データ出力手段により正しいアクセントの発音音声データが出力される場合と誤りアクセントの発音音声データが出力される場合とで異なる表示形態にして表示させ、さらに、口画像表示制御手段により前記表示画像に含まれる口の部分について、前記音声データ出力手段により出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる。そして、アクセント検出手段により前記テキスト同期表示制御手段による単語テキストの同期表示に伴い、前記単語記憶手段により記憶した該当単語のアクセント付き発音記号から該単語のアクセントを検出し、画像変化表示制御手段により前記アクセント検出に応じて前記画像表示制御手段により表示される画像を変化させる。これにより、単語記憶手段により記憶される単語について正しいアクセントの発音音声データと誤りアクセントの発音音声データとを出力できるだけでなく、この発音音声データに同期した単語テキストの表示および表示画像に含まれる口部分についての発音音声データに対応した口型画像を表示でき、しかも単語アクセントの検出に応じて表示画像を変化できるので、単語についての正しいアクセントと誤りアクセントを容易かつ明確なタイミングで学習できるようになる。
【００２９】
本発明の請求項４に係る音声表示出力制御装置によれば、前記請求項３に係る音声表示出力制御装置にあって、さらに、正誤アクセント表示制御手段により前記単語記憶した単語と当該単語に対応付けられた正しいアクセント付き発音記号と誤りアクセント付き発音記号とを並べて表示させ、正誤アクセント選択手段により前記並べて表示された単語の正しいアクセント付き発音記号か誤りアクセント付き発音記号かの何れかを選択する。すると、音声データ出力手段は、前記正誤アクセント選択手段による単語アクセントの正誤選択に応じて、該当単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力する。これにより、さらに、単語記憶手段により記憶される単語について正しいアクセント付き発音記号か誤りアクセント付き発音記号かを選択してその発音音声データを出力でき、しかも、この発音音声データに同期した単語テキストの表示および表示画像に含まれる口部分についての発音音声データに対応した口型画像を表示でき、単語アクセントの検出に応じて表示画像を変化できるので、単語についての正しいアクセントと誤りアクセントをさらに容易かつ明確なタイミングで学習できるようになる。
【００３０】
本発明の請求項５に係る音声表示出力制御装置によれば、記憶手段により複数の見出語と当該各見出語それぞれの少なくとも２以上の地域の発音音声データとを対応付けて記憶し、地域指定手段により前記記憶した見出語の２以上の地域の発音音声データのうち何れかの地域を指定する。すると、音声データ出力手段により前記発音音声データの地域指定に応じて、該当見出語の指定地域の発音音声データを出力し、テキスト同期表示制御手段により前記音声出力される見出語の指定地域の発音音声データに同期して当該見出語のテキストを表示させ、画像表示制御手段により少なくとも口の部分を含む画像を、前記指定地域に応じて異なる表示形態にして表示させ、口画像表示制御手段により前記表示画像に含まれる口の部分について、前記音声出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる。そして、アクセント検出手段により前記見出語テキストの同期表示に伴い、当該見出語のアクセントを検出し、画像変化表示制御手段により前記アクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる。これにより、同一の見出語で異なる地域方言のある発音音声データを指定して出力できると共に、この発音音声データの出力に同期して当該見出語テキストおよび表示画像中口部分の口型画像を表示でき、しかも指定地域に応じて異なる表示形態の画像を表示でき、アクセント検出によって当該画像の変化表示もできるので、指定地域の発音音声データとアクセントのタイミングを容易かつ明確に学習できるようになる。
【００３１】
本発明の請求項６（請求項１２）に係る画像表示制御装置（画像表示制御処理プログラム）によれば、単語の見出語を含む一連の発音対象データの発音順の表示に従って、口または表情を備えた顔画像を変更制御する画像表示制御装置であって、第１の記憶手段により前記発音対象データとアクセント記号付き発音記号を含む発音記号とを対応付けて複数組み記憶し、第２の記憶手段によりアクセント記号付き発音記号を含む発音記号とその音声および顔画像を対応付けて複数組み記憶する。そして、第１の制御手段により前記一連の発音対象データの発音順の表示に伴い、この発音対象データに対応する発音記号を前記第１の記憶手段から読み出し、この読み出された発音記号に対応する音声と顔画像とを前記第２の記憶手段から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御し、第２の制御手段により前記第１の制御によって音声を外部に出力する際に、前記読み出された発音記号の中にアクセント記号付き発音記号が含まれているか否かを判別し、アクセント記号が含まれていると判別された際は、このアクセント記号付き発音記号に対応する音声と顔画像とを前記第２の記憶手段から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御する。これにより、単語の見出し語などの発音対象データの発音順の表示に伴い、当該発音対象データの発音記号に対応する音声出力と顔画像表示ができると共に、そのアクセント部分では該アクセント記号付き発音記号に対応する音声出力と顔画像表示ができ、容易かつ明確に単語などの発音音声とこの発音に伴う顔の表現およびそのアクセント部分での発音音声とこのアクセント部分の発音に伴う顔の表現を学習できるようになる。
【００３２】
本発明の請求項７に係る画像表示制御装置によれば、前記請求項６に係る画像表示制御装置にあって、前記第２の記憶手段に記憶されているアクセント記号付き発音記号を含む発音記号は、アクセント記号が付いている発音記号とアクセント記号が付いていない発音記号とからなり、前記アクセント記号が付いている発音記号に対応付けて記憶されている音声および顔画像と前記アクセント記号が付いていない発音記号に対応付けて記憶されている音声および顔画像とは異なっている。これにより、単語の見出し語などの発音対象データのアクセント記号の無い部分での発音音声とこれに伴う顔の表現、そしてアクセント記号がある部分での発音音声とこれに伴う顔の表現の相異をより明確に学習できるようになる。
【００３３】
また、本発明の請求項８に係る画像表示制御装置によれば、単語の見出語を含む一連の発音対象データの発音順の表示に従って、口または表情を備えた顔画像を変更制御する画像表示制御装置であって、記憶手段により前記発音対象データとその音声および顔画像を対応付けて複数組み記憶し、検出手段により前記記憶されている音声の信号波形のうち、アクセント部分に対応する信号波形のピーク部分を検出し、表示制御手段により前記検出されたアクセント部分の音声に対応する顔画像を前記記憶手段から読み出しこの読み出された顔画像を、アクセント部分以外の他の信号波形部分の音声に対応する顔画像と異なる表示形態で表示するように制御する。これにより、単語の見出語などの発音対象データの発音順の表示に伴い、その発音音声に対応する顔画像を表示でき、しかも音声信号波形のピーク部分によって検出されるアクセント部分では異なる表示形態にした顔画像を表示でき、アクセント部分での発音に伴う顔の表現をより明確に学習できるようになる。
【００３４】
また、本発明の請求項９に係る画像表示制御装置によれば、前記請求項８に係る画像表示制御装置にあって、前記表示制御手段は、前記検出手段により検出されたアクセント部分に対応する発音対象データの部分の表示を、アクセント部分以外の他の信号波形部分に対応する発音対象データの部分の表示と異なる表示形態で表示するように制御するテキスト表示制御手段を備えている。これにより、発音対象データの発音音声に対応する顔画像の表示に加え、さらに、発音対象データのアクセント部分の表示を、該アクセント部分以外の発音対象データの表示と異なる表示形態にして表示できるので、発音対象データのアクセント部分およびその発音音声の発声に伴う顔の表現をより明確に学習できるようになる。
【００３５】
よって、本発明によれば、音声出力に同期した画像の表示において、アクセントのタイミングを明確に現すことが可能になる音声表示出力制御装置、画像表示制御装置、および音声表示出力制御処理プログラム、画像表示制御処理プログラムを提供できる。
【図面の簡単な説明】
【００３６】
【図１】本発明の音声表示出力制御装置（画像表示制御装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図。
【図２】前記携帯機器１０のメモリ１２に記憶される辞書データベース１２ｂのうち１つの見出語「ｌｏｗ」についての同期再生用リンクデータを示す図であり、同図（Ａ）は各ファイルＮｏと格納先アドレスを示すテーブル、同図（Ｂ）は当該テキストファイルＮｏに従い格納されているテキストデータ「ｌｏｗ」を示す図、同図（Ｃ）はテキスト口同期ファイルＮｏに従い格納されているテキストの文字，発音記号，口型番号を示す図。
【図３】前記携帯機器１０のメモリ１２に記憶され、辞書の見出語検索における発音口型画像の同期表示のためにユーザ設定により選択的に使用されるキャラクタ画像データ１２ｄを示す図。
【図４】前記携帯機器１０のメモリ１２に記憶され、辞書の見出語検索における発音口型画像の同期表示のためにキャラクタ画像（１２ｄ：Ｎｏ１〜Ｎｏ３）の口画像エリア（Ｘ１，Ｙ１，Ｘ２，Ｙ２）に合成表示される音声別口画像データ１２ｅを示す図。
【図５】前記携帯機器１０のメモリ１２に格納された辞書タイムコードファイル１２ｆにおける見出語「ｌｏｗ」に対応付けられたファイルＮｏ２３のタイムコードファイル１２ｆ２３（１２ｉ）を示す図。
【図６】前記携帯機器１０の辞書タイムコードファイル１２ｆｎ（図５参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータに基づき解析処理される命令内容を対応付けて示す図。
【図７】前記携帯機器１０の辞書処理プログラム１２ａに従ったメイン処理を示すフローチャート。
【図８】前記携帯機器１０のメイン処理に伴う見出語同期再生処理を示すフローチャート。
【図９】前記携帯機器１０の見出語同期再生処理に伴う各見出語文字のハイライト表示に応じて割り込みで実行されるテキスト対応口表示処理を示すフローチャート。
【図１０】前記携帯機器１０のメイン処理内のキャラクタ設定処理に伴う同期再生用キャラクタ画像の設定表示状態を示す図。
【図１１】前記携帯機器１０のメイン処理内の見出語検索処理に伴う検索見出語表示画面Ｇ２を示す図。
【図１２】前記携帯機器１０の見出語検索処理における同期再生処理に伴いキャラクタ画像Ｎｏ３の設定状態において検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１およびアクセント未対応の発音口型表示ウインドウＷ２の変化状態を示す図、同図（Ｃ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１およびアクセント対応の発音口型表示ウインドウＷ２の変化状態を示す図。
【図１３】前記携帯機器１０の見出語検索処理における同期再生処理に伴いキャラクタ画像Ｎｏ１の設定状態において検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。
【図１４】前記携帯機器１０のメイン処理内の見出語検索処理に伴い米国／英国の２国の発音形態を収録した英和辞書を利用した場合の検索見出語表示画面Ｇ２を示す図。
【図１５】前記携帯機器１０の見出語検索処理における同期再生処理に伴い米国式発音［米］を指定した場合に検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は米国式発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。
【図１６】前記携帯機器１０の見出語検索処理における同期再生処理に伴い英国式発音［英］を指定した場合に検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は英国式発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。
【図１７】前記携帯機器１０のアクセントテスト処理に伴い不正解を選択した場合の操作表示状態を示す図であり、同図（Ａ）はアクセントテスト出題表示画面Ｇ３を示す図、同図（Ｂ）は出題対象の見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｃ）は誤りアクセントの発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。
【図１８】前記携帯機器１０のアクセントテスト処理に伴い正解を選択した場合の操作表示状態を示す図であり、同図（Ａ）はアクセントテスト出題表示画面Ｇ３を示す図、同図（Ｂ）は出題対象の見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｃ）は正解アクセントの発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。
【図１９】前記携帯機器１０の第２実施形態の見出語同期再生処理を示すフローチャート。
【図２０】前記携帯機器１０の第３実施形態の見出語同期再生処理を示すフローチャート。
【発明を実施するための形態】
【００３７】
以下、図面を参照して本発明の実施の形態について説明する。
【００３８】
（第１実施形態）
図１は本発明の音声表示出力制御装置（画像表示制御装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図である。
【００３９】
この携帯機器（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１１が備えられる。
【００４０】
ＣＰＵ１１は、メモリ１２内のＦＬＡＳＨメモリ１２Ａに予め記憶されたＰＤＡ制御プログラム、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（３０）から電送制御部１５を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶されたＰＤＡ制御プログラムは、スイッチやキーからなる入力部１７ａおよびマウスやタブレットからなる座標入力装置１７ｂからのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信される通信ネットワークＮ上の他のコンピュータ端末（３０）からの通信信号、あるいはＢｌｕｅｔｏｏｔｈ（登録商標）による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）２０からの通信信号に応じて起動される。
【００４１】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７ａ、座標入力装置１７ｂが接続される他に、ＬＣＤからなる表示部１８、マイクを備え音声を入力する音声入力部１９ａ、左右チャンネルのスピーカＬ，Ｒを備え音声を出力するステレオ音声出力部１９ｂなどが接続される。
【００４２】
また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。
【００４３】
この携帯機器１０のメモリ１２は、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ａ、ＲＡＭ１２Ｂを備えて構成される。
【００４４】
ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ａには、当該携帯機器１０の全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記憶される他に、スケジュール管理プログラムやアドレス管理プログラム、そして辞書の見出語検索や検索見出語に対応する音声・テキスト・顔画像（含む口型合成画像）などの各種データの同期再生、および当該顔画像（キャラクタ）の種類設定、および見出語アクセントの出題テストを行うための辞書処理プログラム１２ａなど、種々のＰＤＡ制御プログラムが記憶される。
【００４５】
また、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ａにはさらに、辞書データベース１２ｂ（図２参照）、辞書音声データ１２ｃ、キャラクタ画像データ１２ｄ（図３参照）、音声別口（型）画像データ１２ｅ（図４参照）、および辞書タイムコードファイル１２ｆ（図５・図６参照）が記憶される。
【００４６】
辞書データベース１２ｂとしては、英和辞書、和英辞書、国語辞書など、各種の辞書のデータが記憶されると共に、図２に示すように、辞書内の全ての見出語についてそれぞれその見出語Ｎｏ、音声・テキスト・画像の同期再生を簡単に行うためのタイムコードファイルのＮｏと格納先アドレス、画像再生ウインドウを設定するためのＨＴＭＬファイルのＮｏと格納先アドレス、テキストファイルのＮｏと格納先アドレス、テキストの各文字，発音記号，口型番号を対応付けたテキスト口同期ファイルのＮｏと格納先アドレス、音声データであるサウンドファイルのＮｏと格納先アドレス、辞書内容のデータ番号と格納先アドレスが、それぞれリンク付けられて記憶される。
【００４７】
なお、各実施形態において、明細書上で記載される発音記号については、正式な発音記号の入力が困難なため類似の文字を代用し、正式な発音記号については図面上にて記載する。
【００４８】
図２は前記携帯機器１０のメモリ１２に記憶される辞書データベース１２ｂのうち１つの見出語「ｌｏｗ」についての同期再生用リンクデータを示す図であり、同図（Ａ）は各ファイルＮｏと格納先アドレスを示すテーブル、同図（Ｂ）は当該テキストファイルＮｏに従い格納されているテキストデータ「ｌｏｗ」を示す図、同図（Ｃ）はテキスト口同期ファイルＮｏに従い格納されているテキストの文字，発音記号，口型番号を示す図である。
【００４９】
辞書音声データ１２ｃとしては、前記辞書データベース１２ｂにおける各見出語毎の発音のための音声データがそのサウンドファイルＮｏとアドレスに対応付けられて記憶される。
【００５０】
図３は前記携帯機器１０のメモリ１２に記憶され、辞書の見出語検索における発音口型画像の同期表示のためにユーザ設定により選択的に使用されるキャラクタ画像データ１２ｄを示す図である。
【００５１】
キャラクタ画像データ１２ｄとしては、本実施形態の場合、３種類のキャラクタ画像（顔画像）Ｎｏ１〜Ｎｏ３が用意され、個々のキャラクタ画像Ｎｏ１，Ｎｏ２，Ｎｏ３には、その口型画像の合成矩形領域を対角する２点の座標として指定するための口画像エリアデータ（Ｘ１，Ｙ１，Ｘ２，Ｙ２）が対応付けられて記憶される。
【００５２】
なお、この３種類のキャラクタ画像（顔画像）Ｎｏ１〜Ｎｏ３には、それぞれさらに、辞書検索された見出語のアクセントのタイミングで発音の強調を表現するためのアクセント顔画像Ｎｏ１′〜Ｎｏ３′（図１２（Ｃ）(2)，図１３（Ｂ）(2)参照）が記憶され、さらには、米語または英語の発音音声が指定された場合の米語用キャラクタ画像Ｎｏ１ＵＳ〜Ｎｏ３ＵＳ（図１５参照）や英語用キャラクタ画像Ｎｏ１ＵＫ〜Ｎｏ３ＵＫ（図１６参照）、およびそのアクセント顔画像Ｎｏ１ＵＳ′〜Ｎｏ３ＵＳ′（図１５（Ｂ）(2)参照）やＮｏ１ＵＫ′〜Ｎｏ３ＵＫ′（図１６（Ｂ）(2)参照）が記憶される。
【００５３】
図４は前記携帯機器１０のメモリ１２に記憶され、辞書の見出語検索における発音口型画像の同期表示のためにキャラクタ画像（１２ｄ：Ｎｏ１〜Ｎｏ３）の口画像エリア（Ｘ１，Ｙ１，Ｘ２，Ｙ２）に合成表示される音声別口画像データ１２ｅを示す図である。
【００５４】
音声別口（型）画像データ１２ｅとしては、前記辞書データベース１２ｂに記憶された全ての見出し語の発音に要する各発音記号に対応付けた口型画像１２ｅ１，１２ｅ２，…がそれぞれその口番号Ｎｏ．ｎに対応付けられて記憶される。
【００５５】
また、前記携帯機器１０のメモリ１２に記憶される辞書タイムコードファイル１２ｆは、辞書検索された見出語に対応する音声・テキスト・顔画像（含む口型合成画像）の同期再生を行うための指令ファイル（図５参照）であり、全ての見出語毎ではなく、文字数と発音記号数およびその発音タイミングが同じである複数の見出語毎に用意され、所定のアルゴリズムにより圧縮・暗号化されている。
【００５６】
図５は前記携帯機器１０のメモリ１２に格納された辞書タイムコードファイル１２ｆにおける見出語「ｌｏｗ」に対応付けられたファイルＮｏ２３のタイムコードファイル１２ｆ２３（１２ｉ）を示す図である。
【００５７】
タイムコードファイル１２ｆｎには、予めヘッダ情報Ｈとして記述設定される一定時間間隔の基準処理単位時間（例えば２５ｍｓ）で各種データ（音声・テキスト・画像）を同期再生するコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるデータ内容（テキストファイル／サウンドファイル／イメージファイルなど）を対応付けするための参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。
【００５８】
例えば図５で示す見出語「ｌｏｗ」のタイムコードファイル１２ｆ２３によるファイル再生時間は、予め設定された基準処理単位時間が２５ｍｓである場合、４０ステップのタイムコードからなる再生処理を経て１秒間となる。
【００５９】
図６は前記携帯機器１０の辞書タイムコードファイル１２ｆｎ（図５参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータに基づき解析処理される命令内容を対応付けて示す図である。
【００６０】
タイムコードファイル１２ｆｎに使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、ＬＴ（ｉ番目テキストロード）．ＶＤ（ｉ番目テキスト文節表示）．ＢＬ（文字カウンタリセット・ｉ番目文節ブロック指定）．ＨＮ（ハイライト無し・文字カウンタカウントアップ）．ＨＬ（ｉ番目文字までハイライト・文字カウント）．ＬＳ（１行スクロール・文字カウンタカウントアップ）．ＤＨ（ｉ番目ＨＴＭＬファイル表示）．ＤＩ（ｉ番目イメージファイル表示）．ＰＳ（ｉ番目サウンドファイルプレイ）．ＣＳ（クリアオールファイル）．ＰＰ（基本タイムｉ秒間停止）．ＦＮ（処理終了）．ＮＰ（無効）の各コマンドがある。
【００６１】
また、メモリ１２内のＲＡＭ１２Ｂには、辞書データベース１２ｂの検索処理に伴う見出語がその見出語番号に従い読み出されて記憶される検索見出語メモリ１２ｇ、検索された見出語に対応する意味内容などの辞書データが前記辞書データベース１２ｂからその辞書データ番号に従い読み出されて記憶される見出語対応辞書データメモリ１２ｈ、検索された見出語に対応した音声・テキスト・画像の同期再生を行うためのタイムコードファイル１２ｆｎ（図５参照）が前記辞書データベース１２ｂ内のタイムコードファイルＮｏに従い辞書タイムコードファイル１２ｆの中から読み出され伸張・復号化されて記憶される再生タイムコードファイルメモリ１２ｉが用意される。
【００６２】
さらに、このメモリ１２内のＲＡＭ１２Ｂには、見出語検索画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１２・図１３参照）を設定するためのＨＴＭＬファイルが、前記辞書データベース１２ｂからＨＴＭＬファイルＮｏに従い読み出されて記憶される同期用ＨＴＭＬファイルメモリ１２ｊ、検索見出語のテキストデータが前記辞書データベース１２ｂからそのテキストファイルＮｏに従い読み出されて記憶される同期用テキストファイルメモリ１２ｋ、検索見出語の発音音声データが前記辞書データベース１２ｂ内のサウンドファイルＮｏに従い前記辞書音声データ１２ｃの中から読み出されて記憶される同期用サウンドファイルメモリ１２ｍ、検索見出語の発音画像表示用としてユーザ設定されたキャラクタ画像が前記キャラクタ画像データ１２ｄ（図３参照）の中から読み出されて記憶される同期用イメージファイルメモリ１２ｎ、この同期用イメージファイルメモリ１２ｎに記憶されたキャラクタ画像における口型画像の合成領域を示す口画像エリアデータ（Ｘ１，Ｙ１；Ｘ２，Ｙ２）が記憶される口画像エリアメモリ１２ｐ、そして、前記タイムコードファイルメモリ１２ｉに記憶された検索見出語に対応するタイムコードファイル１２ｆｎに従い音声・テキストに同期再生すべきキャラクタ画像と口型画像とが展開合成されて記憶される画像展開バッファ１２ｑなどが用意される。
【００６３】
すなわち、この携帯機器（ＰＤＡ）１０のＦＬＡＳＨメモリ１２Ａに記憶されている辞書処理プログラム１２ａを起動させて検索された見出語が「ｌｏｗ」であり、これに対応して辞書タイムコードファイル１２ｆ内から読み出されて再生タイムコードファイルメモリ１２ｉに記憶されたタイムコードファイル１２ｆが、例えば図５で示したタイムコードファイル１２ｆ２３であり、設定処理単位時間毎のコマンド処理に伴い３番目のコマンドコード“ＤＩ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＤＩ”はｉ番目のイメージファイル表示命令であるため、パラメータデータｉ＝００からリンク付けられる同期用イメージファイル１２ｎに記憶されたキャラクタ画像１２ｄｎが読み出されて表示される。
【００６４】
また、設定処理単位時間毎のコマンド処理に伴い４番目のコマンドコード“ＰＳ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＰＳ”はｉ番目のサウンドファイル再生命令であるため、パラメータデータｉ＝００からリンク付けられる同期用サウンドファイル１２ｍに記憶された音声データ１２ｃｎが読み出されて出力される。
【００６５】
また、設定処理単位時間毎のコマンド処理に伴い６番目のコマンドコード“ＶＤ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＶＤ”はｉ番目のテキスト文節表示命令であるため、パラメータデータｉ＝００に従い、テキストの０番目の文節（この場合は、同期用テキストファイルメモリ１２ｋに記憶された検索見出語のテキストファイル「ｌｏｗ」が表示される。
【００６６】
さらに、設定処理単位時間毎のコマンド処理に伴い９番目のコマンドコード“ＮＰ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＮＰ”は無効命令であるため、現状のファイル出力状態が維持される。
【００６７】
なお、この図５で示したファイル内容のタイムコードファイル１２ｆ２３（１２ｉ）に基づいた検索見出語に対応する発音音声・テキスト・画像（口型画像）の同期再生についての詳細な動作は、後述にて改めて説明する。
【００６８】
次に、前記構成の携帯機器１０による各種の動作について説明する。
【００６９】
図７は前記携帯機器１０の辞書処理プログラム１２ａに従ったメイン処理を示すフローチャートである。
【００７０】
図８は前記携帯機器１０のメイン処理に伴う見出語同期再生処理を示すフローチャートである。
【００７１】
図９は前記携帯機器１０の見出語同期再生処理に伴う各見出語文字のハイライト表示に応じて割り込みで実行されるテキスト対応口表示処理を示すフローチャートである。
【００７２】
図１０は前記携帯機器１０のメイン処理内のキャラクタ設定処理に伴う同期再生用キャラクタ画像の設定表示状態を示す図である。
【００７３】
入力部１７ａの「設定」キー１７ａ１およびカーソルキー１７ａ２の操作によりキャラクタ画像の設定モードに切り替えられると（ステップＳ１→Ｓ２）、ＦＬＡＳＨメモリ１２Ａに記憶されている例えば３種類のキャラクタ画像データ１２ｄ１（Ｎｏ１），１２ｄ２（Ｎｏ２），１２ｄ３（Ｎｏ３）［図３参照］が読み出され、図１０に示すように、キャラクタ画像の一覧選択画面Ｇ１として表示部１８に表示される（ステップＳ３）。
【００７４】
このキャラクタ画像の一覧選択画面Ｇ１において、カーソルキー１７ａ３の操作により各キャラクタ画像の選択フレームＸが移動操作されてユーザ所望のキャラクタ画像（例えば１２ｄ３（Ｎｏ３））が選択されると共に、「訳／決定（音声）」キー１７ａ４による決定操作により当該キャラクタ画像の選択が検知されると（ステップＳ４）、この選択検知されたキャラクタ画像１２ｄｎが読み出され、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎに転送格納される（ステップＳ５）。また、この選択検知されたキャラクタ画像１２ｄｎの口型画像の合成領域を示す口画像エリアデータ（Ｘ１，Ｙ１；Ｘ２，Ｙ２）も読み出され、ＲＡＭ１２Ｂ内の口画像エリアメモリ１２ｐに転送格納される（ステップＳ６）。
【００７５】
これにより、見出語検索に伴い、当該見出語の発音音声に同期表示させるべき口型画像合成対象のキャラクタ画像が選択設定される。
【００７６】
図１１は前記携帯機器１０のメイン処理内の見出語検索処理に伴う検索見出語表示画面Ｇ２を示す図である。
【００７７】
辞書データベース１２ｂに記憶されている例えば英和辞書の辞書データに基づいて見出語検索を行うのに、入力部１７ａの「英和」キー１７ａ５の操作により英和辞書の検索モードに設定した後に、検索対象の見出語（例えば「ｌｏｗ」）を入力すると（ステップＳ７→Ｓ８）、当該入力された見出語と一致及び一致文字を先頭に含む複数の見出語が前記英和辞書の辞書データから検索されて読み出され、検索見出語の一覧（図示せず）として表示部１８に表示される（ステップＳ９）。
【００７８】
この検索見出語の一覧画面において、ユーザ入力した検索対象の見出語と一致する見出語（この場合「ｌｏｗ」）がカーソルキーにより選択指示されて「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ１０）、当該選択検知された見出語「ｌｏｗ」がＲＡＭ１２Ｂ内の見出語メモリ１２ｇに記憶されると共に、この見出語「ｌｏｗ」に対応する発音／品詞／意味内容などの辞書データが読み出されてＲＡＭ１２Ｂ内の見出語対応辞書データメモリ１２ｈに記憶され、図１１に示すように、検索見出語表示画面Ｇ２として表示部１８に表示される（ステップＳ１１）。
【００７９】
ここで、前記検索表示された見出語「ｌｏｗ」について、その発音音声を出力させるのと同時に、当該見出語の文字，発音記号と発音の口型画像を同期表示させるために、「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ１２）、図８における同期再生処理に移行される（ステップＳＡ）。
【００８０】
図１２は前記携帯機器１０の見出語検索処理における同期再生処理に伴いキャラクタ画像Ｎｏ３の設定状態において検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１およびアクセント未対応の発音口型表示ウインドウＷ２の変化状態を示す図、同図（Ｃ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１およびアクセント対応の発音口型表示ウインドウＷ２の変化状態を示す図である。
【００８１】
前記検索見出語表示画面Ｇ２が表示されている状態での「訳／決定（音声）」キー１７ａ４の操作に伴い、図８における同期再生処理（ステップＳＡ）が起動されると、ＲＡＭ１２Ｂ内の各ワークエリアのクリア処理などのイニシャライズ処理が行われ（ステップＡ１）、まず、辞書データベース１２ｂに記憶されている今回の検索見出語「ｌｏｗ」についての同期再生用リンクデータ（図２参照）に基づき、見出語検索画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１２参照）を設定するためのＨＴＭＬファイルがそのＨＴＭＬファイルＮｏ３に従い読み出され同期用ＨＴＭＬファイルメモリ１２ｊに書き込まれる。また、検索見出語のテキストデータ「ｌｏｗ（発音記号付）」がそのテキストファイルＮｏ４２２２に従い読み出され同期用テキストファイルメモリ１２ｋに書き込まれる。また、検索見出語の発音音声データがそのサウンドファイルＮｏ４２２２に従い読み出され同期用サウンドファイルメモリ１２ｍに書き込まれる（ステップＡ２）。
【００８２】
なお、検索見出語の発音画像表示用としてユーザ設定されたキャラクタ画像（この場合、１２ｄ３（Ｎｏ３））は、前記キャラクタ設定処理に伴うステップＳ５に従って、既にキャラクタ画像データ１２ｄ（図３参照）の中から読み出されて同期用イメージファイルメモリ１２ｎに書き込まれ、さらに当該キャラクタ画像１２ｄ３（Ｎｏ３）における発音口型画像合成エリアである口画像エリアデータ（Ｘ１，Ｙ１；Ｘ２，Ｙ２）も前記キャラクタ設定処理に伴うステップＳ６に従って、既に口画像エリアメモリ１２ｐに書き込まれている。
【００８３】
すると、ＦＬＡＳＨメモリ１２Ａ内に辞書タイムコードファイル１２ｆとして記憶されている各種見出語対応の暗号化された音声・テキスト・画像の同期再生用タイムコードファイル１２ｆｎの中から、今回の検索見出語「ｌｏｗ」に対応するタイムコードファイル１２ｆ２３（図５参照）が、前記同期再生用リンクデータ（図２参照）に記述されたタイムコードファイルＮｏ２３に従い解読復号化されて読み出され、ＲＡＭ１２Ｂ内のタイムコードファイルメモリ１２ｉに転送されて格納される（ステップＡ３）。
【００８４】
こうして、前記検索見出語「ｌｏｗ」に対応する発音音声・テキスト・発音口型画像の同期再生用の各種ファイルのＲＡＭ１２Ｂへの読み込み設定、およびこれらのファイルを同期再生するためのタイムコードファイル１２ｆ２３のＲＡＭ１２Ｂへの転送設定が完了すると、タイムコードファイルメモリ１２ｉに格納されたタイムコードファイル（ＣＡＳファイル）１２ｆ２３（図５参照）のＣＰＵ１１による処理単位時間（例えば２５ｍｓ）が当該タイムコードファイル１２ｆ２３のヘッダ情報Ｈとして設定される（ステップＡ４）。
【００８５】
そして、前記タイムコードファイルメモリ１２ｉに格納されたタイムコードファイル１２ｆ２３の先頭に読み出しポインタがセットされると共に、各同期用ファイルメモリ１２ｊ，１２ｋ，１２ｍ，１２ｎに書き込まれた各種ファイルの先頭に読み出しポインタがセットされ（ステップＡ５）、当該各同期ファイルの再生処理タイミングを計時するためのタイマがスタートされる（ステップＡ６）。
【００８６】
このステップＡ６において、処理タイマがスタートされると、前記ステップＡ４にて設定された今回のタイムコードファイル１２ｆ２３に応じた処理単位時間（２５ｍｓ）毎に、前記ステップＡ５にて設定された読み出しポインタの初期位置の当該タイムコードファイル１２ｆ２３（図５参照）のコマンドコードおよびそのパラメータデータが読み出される（ステップＡ７）。
【００８７】
そして、前記タイムコードファイル１２ｆ２３（図５参照）から読み出されたコマンドコードが、“ＦＮ”か否か判断され（ステップＡ８）、“ＦＮ”と判断された場合には、その時点で当該同期再生処理の停止処理が指示実行される（ステップＡ８→Ａ９）。
【００８８】
一方、前記タイムコードファイル１２ｆ２３（図５参照）から読み出されたコマンドコードが、“ＦＮ”ではないと判断された場合には、当該コマンドコードの内容（図６参照）に対応する処理が実行される（ステップＡ１０）。
【００８９】
そして、前記タイマによる計時時間が次の処理単位時間（２５ｍｓ）に到達したと判断された場合には、ＲＡＭ１２Ｂに格納されたタイムコードファイル１２ｆ２３（図５参照）に対する読み出しポインタが次の位置に移動セットされ（ステップＡ１１→Ａ１２）、前記ステップＡ７における当該読み出しポインタの位置のタイムコードファイル１２ｆ２３（図５参照）のコマンドコードおよびそのパラメータデータ読み出しからの処理が繰り返される（ステップＡ１２→Ａ７〜Ａ１０）。
【００９０】
ここで、図５で示す検索見出語「ｌｏｗ」のタイムコードファイル１２ｆ２３に基づいた、発音音声・テキスト・発音口型画像ファイルの同期再生出力動作について詳細に説明する。
【００９１】
すなわち、このタイムコードファイル１２ｆ２３は、そのヘッダＨに予め記述設定された（基準）処理単位時間（例えば２５ｍｓ）毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２ｆ２３（図５参照）の第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ、テキスト・音声・画像ファイルの出力がクリアされる（ステップＡ１０）。
【００９２】
第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ＲＡＭ１２Ｂ内の同期用ＨＴＭＬファイルメモリ１２ｊからＨＴＭＬデータの見出語テキスト・画像フレームデータが読み出され、図１２（Ａ）に示すように、表示部１８に対する見出語検索画面Ｇ２上でのテキスト・画像の同期再生用ウインドウＷ１，Ｗ２が設定される（ステップＡ１０）。
【００９３】
第３コマンドコード“ＤＩ”（ｉ番目イメージファイル表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎから前記キャラクタ設定処理（ステップＳ２〜Ｓ６）にて設定記憶されたキャラクタ画像１２ｄ（この場合Ｎｏ３）が読み出され、図１２（Ａ）に示すように、前記見出語検索画面Ｇ２上でＨＴＭＬファイルで設定された画像の同期再生用ウインドウＷ２に表示される（ステップＡ１０）。
【００９４】
第４コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ＲＡＭ１２Ｂ内の同期用サウンドファイルメモリ１２ｍから前記ステップＡ２にて設定記憶された検索見出語「ｌｏｗ」に対応する発音音声データが読み出され、ステレオ音声出力部１９ｂからの音声出力が開始される（ステップＡ１０）。
【００９５】
第５コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ＲＡＭ１２Ｂ内の同期用テキストファイルメモリ１２ｋに前記ステップＡ２にて設定記憶された検索見出語「ｌｏｗ」に対応する１文節のテキストデータ「ｌ」「ｏ」「ｗ」（含む発音記号）が指定される（ステップＡ１０）。
【００９６】
第６コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝０）に応じて、前記第５コマンドコード“ＬＴ”に従い指定された１文節のテキストデータ「ｌ」「ｏ」「ｗ」（含む発音記号）が読み出され、図１２（Ａ）に示すように、前記見出語検索画面Ｇ２上のテキスト同期再生用ウインドウＷ１に表示される（ステップＡ１０）。
【００９７】
第７コマンドコード“ＢＬ”（文字カウンタリセット・ｉ番目文節ブロック指定）およびそのパラメータデータ“００”が読み出されると、前記テキスト同期再生用ウインドウＷ１で表示中の検索見出語「ｌｏｗ」の文字カウンタがリセットされる（ステップＡ１０）。
【００９８】
そして、第８コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝１）に応じて、図１２（Ａ）に示すように、テキスト同期再生用ウインドウＷ１に表示されている検索見出語「ｌｏｗ」（含む発音記号）のうち１番目の文字「ｌ」およびこれに対応する発音記号まで、色替え表示，反転表示，下線表示などによるハイライト（識別）表示ＨＬが行われ、文字カウンタが同２番目の文字およびこれに対応する発音記号までカウントアップされる（ステップＡ１０）。
【００９９】
このタイムコードファイル１２ｆ２３による検索見出語「ｌｏｗ」の各文字およびこれに対応する発音記号に対するハイライト（識別）表示に際しては、図９におけるテキスト対応口表示処理の割り込みが行われる。
【０１００】
すなわち、今回ハイライト（識別）表示ＨＬされた検索見出語「ｌｏｗ」の文字「ｌ」が検知されると（ステップＢ１）、この検知文字「ｌ」に対応する発音口型画像が、辞書データベース１２ｂ内のテキスト口同期ファイル（図２（Ｃ）参照）により示されるテキスト「ｌ」に対応する口番号「３６」に従い、音声別口画像データ１２ｅ（図４参照）の中から発音口型画像１２ｅ２（Ｎｏ３６）として読み出される（ステップＢ２）。そして、このハイライト（識別）表示された検索見出語「ｌｏｗ」の文字「ｌ」に対する発音口型画像１２ｅ２（Ｎｏ３６）は、図１２（Ａ）（図１２（Ｂ）(1)）に示すように、見出語検索画面Ｇ２上の画像同期再生用ウインドウＷ２に表示されているキャラクタ画像１２ｄ（Ｎｏ３）の口画像合成領域に対して、ＲＡＭ１２Ｂ内の口画像エリアメモリ１２ｐに記憶されている口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に従い合成されて表示される（ステップＢ３）。
【０１０１】
ここで、前記テキスト口同期ファイル（図２（Ｃ）参照）により示される今回のハイライト（識別）表示テキスト「ｌ」の発音記号に対するアクセントマークの有無が判断される（ステップＢ４）。このハイライト（識別）表示テキスト「ｌ」の発音記号［ｌ］の場合にはアクセントマーク無しと判断されるので、キャラクタ画像１２ｄ（Ｎｏ３）はその通常の顔画像のままの表示が維持される（ステップＢ４→Ｂ５）。
【０１０２】
なお、ここでアクセントマーク有りと判断された場合には、前記キャラクタ画像１２ｄ（Ｎｏ３）は、発音強調表現用のアクセント顔画像Ｎｏ３′（図１２（Ｃ）(2)参照）に変更表示される（ステップＢ４→Ｂ６）。
【０１０３】
そして、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力開始されている検索見出語「ｌｏｗ」に対応する発音音声データの出力タイミングと、本タイムコードファイル１２ｆ２３による処理単位時間（２５ｍｓ）に応じた検索見出語「ｌｏｗ」の１文字毎の識別表示タイミングとは、予め対応付けされて当該タイムコードファイル１２ｆ２３が作成されているので、当該検索見出語「ｌｏｗ」の１文字目「ｌ」の識別表示とその発音口型画像１２ｅ（Ｎｏ３６）の同期合成表示の際には、これに対応する発音記号を読み上げるところの発音音声が同期出力されることになる。
【０１０４】
これにより、検索見出語「ｌｏｗ」の第１文字目「ｌ」の識別表示、その発音口型画像１２ｅ３（Ｎｏ３６）の設定キャラクタ画像１２ｄ（Ｎｏ３）への合成表示、ならびにその発音音声の出力が同期して行われる。
【０１０５】
そして、第９コマンドコード“ＮＰ”が読み出されると、現在の検索見出語「ｌｏｗ」に対応するキャラクタ画像およびテキストデータの同期表示画面および発音音声データの同期出力状態が維持される。
【０１０６】
この後、第１２コマンドコード“ＨＬ”、第３５コマンドコード“ＨＬ”に従い、図１２（Ｃ）(2)、図１２（Ｃ）(3)に示すように、テキスト同期再生用ウインドウＷ１では、検索見出語のテキストデータ「ｌｏｗ」とその発音記号が、順次、２番目の文字「ｏ」と発音記号［ｏ］、３番目の文字「ｗ」と発音記号［ｕ］というように、ハイライト（識別）表示ＨＬされて行く（ステップＡ１０）。そして、これと共に、画像同期再生用ウインドウＷ２では、前記図９におけるテキスト対応の口表示処理に応じて、設定キャラクタ画像１２ｄ（Ｎｏ３）の口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に合成すべき発音口型画像も、前記テキスト口同期ファイル（図２（Ｃ）参照）に従い、口番号９に対応する発音口型画像１２ｅ（Ｎｏ９）、口番号８に対応する発音口型画像１２ｅ（Ｎｏ８）として音声別口画像１２ｅの中から読み出され、順次合成されて同期表示される（ステップＢ１〜Ｂ３）。
【０１０７】
さらに、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力されている検索見出語「ｌｏｗ」の発音音声データも、同テキスト「ｌｏｗ」とその発音記号のハイライト（識別）表示部分を読み上げるところの音声が順次同期出力される。
【０１０８】
なお、前記検索見出語「ｌｏｗ」の各文字「ｌ」「ｏ」「ｗ」毎のハイライト（識別）表示ＨＬに同期させたテキスト対応口表示処理による各発音口型画像１２ｅ（Ｎｏ３６）→１２ｅ（Ｎｏ９）→１２ｅ（Ｎｏ８）の設定キャラクタ画像１２ｄ（Ｎｏ３）に対する合成切り替え表示（ステップＢ１〜Ｂ５）に際し、図１２（Ｂ）(2)で示したように、２番目の文字「ｏ」とその発音記号のハイライト（識別）表示ＨＬに伴い発音口型画像１２ｅ（Ｎｏ９）を合成表示させるときには、当該ハイライト（識別）表示テキスト「ｏ」の発音記号にはアクセントマーク有りと判断されるので、図１２（Ｃ）(2)で示したように、このときのキャラクタ画像１２ｄ（Ｎｏ３）は、発音強調表現用のアクセント顔画像Ｎｏ３′に変更されて表示される（ステップＢ４→Ｂ６）。
【０１０９】
つまり、図１２で示した検索見出語「Ｌｏｗ」のアクセント文字「ｏ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ９）の切り替え合成表示に際しては、当該口型画像１２ｅ（Ｎｏ９）の合成先である図１２（Ｂ）(2)で示した通常の設定キャラクタ（顔）画像１２ｄ（Ｎｏ３）が、図１２（Ｃ）(2)で示した例えば頭部の発汗や口元の皺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ３′）に変更表示されるので、ユーザは検索見出語「Ｌｏｗ」の発音音声とその発声タイミングおよび各文字「Ｌ」「ｏ」「ｗ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、アクセントに応じて発声強調するタイミングをリアルに学習できるようになる。
【０１１０】
図１３は前記携帯機器１０の見出語検索処理における同期再生処理に伴いキャラクタ画像Ｎｏ１の設定状態において検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。
【０１１１】
すなわち、前記図７のステップＳ１〜Ｓ６によるキャラクタ設定処理において、予め記憶された３種類のキャラクタ画像データ１２ｄ（Ｎｏ１），１２ｄ（Ｎｏ２），１２ｃ（Ｎｏ３）［図３参照］の中からアニメ調のキャラクタ画像１２ｄ（Ｎｏ１）が選択設定された状態で、前記ステップＳ７〜ＳＡと同様に検索対象の見出語「ｌｏｗ」についての見出語検索処理および同期再生処理、そして図９におけるテキスト対応口表示処理が行われた場合には、図１３（Ａ）および図１３（Ｂ）に示すように、検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１には、検索見出語「ｌｏｗ」およびその発音記号の発音音声出力に同期させたハイライト（識別）表示ＨＬが順次行われる。これに伴い、発音口型表示ウインドウＷ２には、前記キャラクタ設定処理（ステップＳ１〜Ｓ６）において設定されたアニメ調のキャラクタ画像１２ｄ（Ｎｏ１）を基本の顔画像として、前記発音音声出力およびテキスト（含む発音記号）のハイライト表示ＨＬに同期させた各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が順次切り替え合成されて表示される。
【０１１２】
そして、図１３（Ｂ）(2)で示したように、検索見出語「ｌｏｗ」の２番目の文字「ｏ」とその発音記号のハイライト（識別）表示ＨＬに伴い発音口型画像１２ｅ（Ｎｏ９）を合成表示させるときには、当該ハイライト（識別）表示テキスト「ｏ」の発音記号にはアクセントマーク有りと判断されるので、このときのアニメ調キャラクタ画像１２ｄ（Ｎｏ１）は、発音強調表現用のアクセント顔画像Ｎｏ１′に変更されて表示される（ステップＢ４→Ｂ６）。
【０１１３】
つまり、図１３で示したアニメ調のキャラクタ画像１２ｄ（Ｎｏ１）を選択設定した場合の、検索見出語「Ｌｏｗ」のアクセント文字「ｏ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ９）の切り替え合成表示に際しても、当該口型画像１２ｅ（Ｎｏ９）の合成先である通常のアニメ調キャラクタ（顔）画像１２ｄ（Ｎｏ１）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ１′）に変更表示されるので、ユーザは検索見出語「Ｌｏｗ」の発音音声とその発声タイミングおよび各文字「Ｌ」「ｏ」「ｗ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、アクセントに応じて発声強調するタイミングをリアルに学習できるようになる。
【０１１４】
なお、前記図１１〜図１３を参照して説明した見出語検索に伴うテキスト・発音音声・発音口型画像の同期再生処理では、辞書データベース１２ｂとして予め記憶される英和辞書データの内容が、米国系１国の発音にのみ対応する内容である場合について説明したが、例えば、次の図１４〜図１６を参照して説明するように、辞書データベース１２ｂとして予め記憶される英和辞書データの内容が、米国系および英国系の２国の発音に対応する内容を有する場合に、米国系または英国系の何れか１国の発音形態を指定して見出語検索に伴うテキスト・発音音声・発音口型画像の同期再生処理を行うようにしてもよい。
【０１１５】
図１４は前記携帯機器１０のメイン処理内の見出語検索処理に伴い米国／英国の２国の発音形態を収録した英和辞書を利用した場合の検索見出語表示画面Ｇ２を示す図である。
【０１１６】
辞書データベース１２ｂに記憶されている例えば米国／英国の２国の発音形態を収録した英和辞書の辞書データに基づいて見出語検索を行うのに、入力部１７ａの「英和」キー１７ａ５の操作により英和辞書の検索モードに設定した後に、検索対象の見出語（例えば「ｌａｕｇｈ」）を入力すると（ステップＳ７→Ｓ８）、当該入力された見出語と一致及び一致文字を先頭に含む複数の見出語が前記英和辞書の辞書データから検索されて読み出され、検索見出語の一覧（図示せず）として表示部１８に表示される（ステップＳ９）。
【０１１７】
この検索見出語の一覧画面において、ユーザ入力した検索対象の見出語と一致する見出語（この場合「ｌａｕｇｈ」）がカーソルキーにより選択指示されて「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ１０）、当該選択検知された見出語「ｌａｕｇｈ」がＲＡＭ１２Ｂ内の見出語メモリ１２ｇに記憶されると共に、この見出語「ｌａｕｇｈ」に対応する米国／英国の２国の発音／品詞／意味内容などの辞書データが読み出されてＲＡＭ１２Ｂ内の見出語対応辞書データメモリ１２ｈに記憶され、図１４に示すように、検索見出語表示画面Ｇ２として表示部１８に表示される（ステップＳ１１）。
【０１１８】
ここで、前記検索表示された見出語「ｌａｕｇｈ」について、その米国式発音［ｌａｅｆ］または英国式発音［ｌａ：ｆ］の何れか一方の発音音声を選択的に出力させるのと同時に、これに対応した見出語の文字，発音記号と発音の口型画像を同期表示させるために、検索見出語表示画面Ｇ２上の辞書データに表示されている米国方言または英国方言の識別子［米］または［英］の何れかが指定されると共に（ステップＳ１１ａ）、「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ１２）、図８における同期再生処理に移行される（ステップＳＡ）。
【０１１９】
図１５は前記携帯機器１０の見出語検索処理における同期再生処理に伴い米国式発音［米］を指定した場合に検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は米国式発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。
【０１２０】
すなわち、前記検索見出語表示画面Ｇ２上の辞書データに表示されている米国方言または英国方言の識別子［米］または［英］の何れかが指定されて、図８における同期再生処理に移行されると、当該同期再生処理のステップＡ２では、例えば米国方言識別子［米］が指定された場合は、キャラクタ設定処理（ステップＳ２〜Ｓ６）において予め設定されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１）に対応して米語用キャラクタ画像１２ｄ（Ｎｏ１ＵＳ）が読み出され、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎに転送される。またこれと共に、辞書データベース１２ｂに記憶されている今回の検索見出語「ｌａｕｇｈ」についての同期再生用リンクデータ（図２参照）に基づき、見出語検索画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１５参照）を設定するためのＨＴＭＬファイルがそのＨＴＭＬファイルＮｏに従い読み出され同期用ＨＴＭＬファイルメモリ１２ｊに書き込まれる。また、検索見出語のテキストデータ「ｌａｕｇｈ（米国方言発音記号付）」がそのテキストファイルＮｏに従い読み出され同期用テキストファイルメモリ１２ｋに書き込まれる。また、検索見出語の米国方言の発音音声データがそのサウンドファイルＮｏに従い読み出され同期用サウンドファイルメモリ１２ｍに書き込まれる（ステップＡ２）。
【０１２１】
すると、ＦＬＡＳＨメモリ１２Ａ内に辞書タイムコードファイル１２ｆとして記憶されている各種見出語対応の暗号化された音声・テキスト・画像の同期再生用タイムコードファイル１２ｆｎの中から、今回の検索見出語「ｌａｕｇｈ」に対応するタイムコードファイル１２ｆｎ（図５参照）が、前記同期再生用リンクデータ（図２参照）に記述されたタイムコードファイルＮｏに従い解読復号化されて読み出され、ＲＡＭ１２Ｂ内のタイムコードファイルメモリ１２ｉに転送されて格納される（ステップＡ３）。
【０１２２】
そして、前記検索見出語「ｌａｕｇｈ」に対応するタイムコードファイル１２ｆｎに従った発音音声・見出語文字・発音口型画像の同期再生処理が、既に説明した検索見出語「ｌｏｗ」の場合と同様に、ステップＡ７〜Ａ１２による各コマンドコードに応じた再生処理および図９におけるテキスト対応口表示処理により開始されると、検索見出語表示画面Ｇ２上のテキスト同期再生用ウインドウＷ１には、検索見出語「ｌａｕｇｈ」と共に米国方言の発音記号が表示され、また、画像同期再生用ウインドウＷ２には、設定されたアニメ調キャラクタ画像で例えば米国旗Ｆを持っているデザインの米語用キャラクタ画像１２ｄ（Ｎｏ１ＵＳ）が口型画像合成の対象画像として表示される。
【０１２３】
これにより、検索見出語「ｌａｕｇｈ」の米国方言の発音音声出力に同期して、図１５（Ｂ）(1)〜(3)に示すように、テキスト同期再生用ウインドウＷ１では、当該検索見出語「ｌａｕｇｈ」およびその発音記号の先頭文字からのハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、前記米語用キャラクタ画像１２ｄ（Ｎｏ１ＵＳ）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。
【０１２４】
そして、この場合にも前記同様のテキスト対応口表示処理に従って、検索見出語「Ｌａｕｇｈ」のアクセント文字「ａｕ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏｎ２）の切り替え合成表示に際し、当該口型画像１２ｅ（Ｎｏｎ２）の合成先である米語用キャラクタ（顔）画像１２ｄ（Ｎｏ１ＵＳ）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ１ＵＳ′）に変更表示されるので、ユーザは検索見出語「Ｌａｕｇｈ」の米国方言の発音音声とその発声タイミングおよび各文字「Ｌ」「ａｕ」「ｇｈ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、米国方言アクセントに応じて発声強調するタイミングをリアルに学習できるようになる。
【０１２５】
図１６は前記携帯機器１０の見出語検索処理における同期再生処理に伴い英国式発音［英］を指定した場合に検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は英国式発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。
【０１２６】
すなわち、前記図１４で示した検索見出語表示画面Ｇ２上の辞書データに表示されている米国方言または英国方言の識別子［米］または［英］のうち、例えば英国方言識別子［英］が指定されて（ステップＳ１１ａ）、図８における同期再生処理（ステップＳＡ）に移行されると、当該同期再生処理のステップＡ２では、キャラクタ設定処理（ステップＳ２〜Ｓ６）において予め設定されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１）に対応して英語用キャラクタ画像１２ｄ（Ｎｏ１ＵＫ）が読み出され、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎに転送される。またこれと共に、辞書データベース１２ｂに記憶されている今回の検索見出語「ｌａｕｇｈ」についての同期再生用リンクデータ（図２参照）に基づき、見出語検索画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１６参照）を設定するためのＨＴＭＬファイルがそのＨＴＭＬファイルＮｏに従い読み出され同期用ＨＴＭＬファイルメモリ１２ｊに書き込まれる。また、検索見出語のテキストデータ「ｌａｕｇｈ（英国方言発音記号付）」がそのテキストファイルＮｏに従い読み出され同期用テキストファイルメモリ１２ｋに書き込まれる。また、検索見出語の英国方言の発音音声データがそのサウンドファイルＮｏに従い読み出され同期用サウンドファイルメモリ１２ｍに書き込まれる（ステップＡ２）。
【０１２７】
すると、ＦＬＡＳＨメモリ１２Ａ内に辞書タイムコードファイル１２ｆとして記憶されている各種見出語対応の暗号化された音声・テキスト・画像の同期再生用タイムコードファイル１２ｆｎの中から、今回の検索見出語「ｌａｕｇｈ」に対応するタイムコードファイル１２ｆｎ（図５参照）が、前記同期再生用リンクデータ（図２参照）に記述されたタイムコードファイルＮｏに従い解読復号化されて読み出され、ＲＡＭ１２Ｂ内のタイムコードファイルメモリ１２ｉに転送されて格納される（ステップＡ３）。
【０１２８】
そして、前記検索見出語「ｌａｕｇｈ」に対応するタイムコードファイル１２ｆｎに従った発音音声・見出語文字・発音口型画像の同期再生処理が、既に説明した検索見出語「ｌｏｗ」の場合と同様に、ステップＡ７〜Ａ１２による各コマンドコードに応じた再生処理および図９におけるテキスト対応口表示処理により開始されると、検索見出語表示画面Ｇ２上のテキスト同期再生用ウインドウＷ１には、検索見出語「ｌａｕｇｈ」と共に英国方言の発音記号が表示され、また、画像同期再生用ウインドウＷ２には、設定されたアニメ調キャラクタ画像で例えば英国帽Ｍ１をかぶりステッキＭ２を持っているデザインの英語用キャラクタ画像１２ｄ（Ｎｏ１ＵＫ）が口型画像合成の対象画像として表示される。
【０１２９】
これにより、検索見出語「ｌａｕｇｈ」の英国方言の発音音声出力に同期して、図１６（Ｂ）(1)〜(3)に示すように、テキスト同期再生用ウインドウＷ１では、当該検索見出語「ｌａｕｇｈ」およびその発音記号の先頭文字からのハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、前記英語用キャラクタ画像１２ｄ（Ｎｏ１ＵＫ）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。
【０１３０】
そして、この場合にも前記同様のテキスト対応口表示処理に従って、検索見出語「Ｌａｕｇｈ」のアクセント文字「ａｕ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏｎ２）の切り替え合成表示に際し、当該口型画像１２ｅ（Ｎｏｎ２）の合成先である英語用キャラクタ（顔）画像１２ｄ（Ｎｏ１ＵＫ）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ１ＵＫ′）に変更表示されるので、ユーザは検索見出語「Ｌａｕｇｈ」の英国方言の発音音声とその発声タイミングおよび各文字「Ｌ」「ａｕ」「ｇｈ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、英国方言のアクセントに応じて発声強調するタイミングをリアルに学習できるようになる。
【０１３１】
次に、前記構成の携帯機器１０のメイン処理に伴い、例えば英単語アクセントの正解／不正解を当てるテストを行うことができるアクセントテスト処理について説明する。
【０１３２】
図１７は前記携帯機器１０のアクセントテスト処理に伴い不正解を選択した場合の操作表示状態を示す図であり、同図（Ａ）はアクセントテスト出題表示画面Ｇ３を示す図、同図（Ｂ）は出題対象の見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｃ）は誤りアクセントの発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。
【０１３３】
図１８は前記携帯機器１０のアクセントテスト処理に伴い正解を選択した場合の操作表示状態を示す図であり、同図（Ａ）はアクセントテスト出題表示画面Ｇ３を示す図、同図（Ｂ）は出題対象の見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｃ）は正解アクセントの発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。
【０１３４】
すなわち、入力部１７ａにおける「アクセントテスト」キー１７ａ６が操作されアクセントテストモードに設定されると（ステップＳ１３）、辞書データベース１２ｃに予め記憶されている辞書データの中からランダムに見出単語が選択され（ステップＳ１４）、図１７（Ａ）に示すように、ランダム選択された単語「ｌｏｗ」について「ｏ」部分にアクセントのある正しいアクセントの発音記号と「ｕ」部分にアクセントのある誤ったアクセントの発音記号とを選択項目Ｅｔ／Ｅｆとして出題したアクセントテスト出題表示画面Ｇ３が表示部１８に表示される（ステップＳ１５）。
【０１３５】
このアクセントテスト出題表示画面Ｇ３において、カーソルキー１７ａ２の操作により選択フレームＸを移動させ、例えば誤ったアクセントの発音記号のある選択項目Ｅｆが選択検知されると（ステップＳ１６）、前記キャラクタ設定処理（ステップＳ２〜Ｓ６）において予め発音口型画像の合成先として選択設定されていたキャラクタ画像およびその関連画像（この場合はアニメ調キャラクタ画像１２ｄ（Ｎｏ１）およびそのアクセント対応画像（Ｎｏ１′））が、例えば黄色の通常色から青色のキャラクタ画像（Ｎｏ１ＢＬ）（Ｎｏ１ＢＬ′）に変更設定される（ステップＳ１７→Ｓ１８）。
【０１３６】
またこれと共に、出題単語「ｌｏｗ」に対応して辞書音声データ１２ｃの中から読み出される発音音声データが、前記ユーザ選択された誤ったアクセントの発音記号に応じた音声データに補正される（ステップＳ１９）。
【０１３７】
すると、出題単語「ｌｏｗ」がＲＡＭ１２Ｂ内の見出語メモリ１２ｇに記憶されると共に、この見出語「ｌｏｗ」に対応する発音／品詞／意味内容などの辞書データが読み出されてＲＡＭ１２Ｂ内の見出語対応辞書データメモリ１２ｈに記憶され、図１７（Ｂ）に示すように、出題単語に対応した検索見出語表示画面Ｇ２として表示部１８に表示される（ステップＳ２０）。
【０１３８】
ここで、前記ユーザにより選択したアクセントの出題単語「ｌｏｗ」について、その発音音声を出力させるのと同時に、当該見出単語の文字，発音記号と発音の口型画像を同期表示させるために、「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ２１）、図８における同期再生処理に移行される（ステップＳＡ）。
【０１３９】
すると、同期再生処理のステップＡ２では、前記誤ったアクセントのユーザ選択に応じて青色に変更されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１ＢＬ）が読み出され、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎに転送される。またこれと共に、辞書データベース１２ｂに記憶されている今回の出題単語「ｌｏｗ」についての同期再生用リンクデータ（図２参照）に基づき、検索見出語表示画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１７（Ｂ）参照）を設定するためのＨＴＭＬファイルがそのＨＴＭＬファイルＮｏに従い読み出され同期用ＨＴＭＬファイルメモリ１２ｊに書き込まれる。また、出題単語のテキストデータ「ｌｏｗ（誤り発音記号付）」が読み出され同期用テキストファイルメモリ１２ｋに書き込まれる。また、出題単語の誤りアクセントに応じて補正した発音音声データが読み出され同期用サウンドファイルメモリ１２ｍに書き込まれる（ステップＡ２）。
【０１４０】
すると、ＦＬＡＳＨメモリ１２Ａ内に辞書タイムコードファイル１２ｆとして記憶されている各種見出語対応の暗号化された音声・テキスト・画像の同期再生用タイムコードファイル１２ｆｎの中から、今回の出題単語「ｌｏｗ」に対応するタイムコードファイル１２ｆｎ（図５参照）が、前記同期再生用リンクデータ（図２参照）に記述されたタイムコードファイルＮｏに従い解読復号化されて読み出され、ＲＡＭ１２Ｂ内のタイムコードファイルメモリ１２ｉに転送されて格納される（ステップＡ３）。
【０１４１】
そして、前記出題単語「ｌｏｗ」に対応するタイムコードファイル１２ｆｎに従った誤りアクセントの発音音声・見出語文字・発音口型画像の同期再生処理が、既に説明した検索見出語「ｌｏｗ」の場合と同様に、ステップＡ７〜Ａ１２による各コマンドコードに応じた再生処理および図９におけるテキスト対応口表示処理により開始される。すると、図１７（Ｂ）に示すように、検索見出語表示画面Ｇ２上のテキスト同期再生用ウインドウＷ１（Ｅｆ）には、出題単語「ｌｏｗ」と共にユーザ選択による誤ったアクセントの発音記号が表示され、また、画像同期再生用ウインドウＷ２には、誤りアクセントのユーザ選択により青色変更されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１ＢＬ）が口型画像合成の対象画像として表示される。
【０１４２】
これにより、出題単語「ｌｏｗ」に対応する誤ったアクセントの発音音声出力に同期して、図１７（Ｃ）(1)〜(3)に示すように、テキスト同期再生用ウインドウＷ１（Ｅｆ）では、当該出題単語「ｌｏｗ」およびその誤った発音記号の先頭文字からのハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、前記誤ったアクセントの選択により青色変更されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１ＢＬ）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。
【０１４３】
そして、この場合にも前記同様のテキスト対応口表示処理に従って、見出単語「Ｌｏｗ」の誤ったアクセント文字「ｕ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ８）の切り替え合成表示に際し、当該口型画像１２ｅ（Ｎｏ８）の合成先である青色変更されたアニメ調キャラクタ（顔）画像１２ｄ（Ｎｏ１ＢＬ）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の青色顔画像１２ｄ（Ｎｏ１ＢＬ′）に変更表示されるので、ユーザは出題単語「Ｌｏｗ」の誤ったアクセントの発音音声とその誤った発声タイミングおよび各対応する発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を、誤ったアクセントによるものとして明確に学習できるようになる。
【０１４４】
一方、図１８（Ａ）に示すように、アクセントテスト出題表示画面Ｇ３において、カーソルキー１７ａ２の操作により選択フレームＸを移動させ、例えば正しいアクセントの発音記号のある選択項目Ｅｔが選択検知されると（ステップＳ１６）、前記キャラクタ画像１２ｄ（Ｎｏ１）の青色変更処理（ステップＳ１８）や誤りアクセントに応じた発音音声の補正処理（ステップＳ１９）が行われることなく、図８における同期再生処理に移行される（ステップＳ１７→ＳＡ）。
【０１４５】
すると、前記図１３を参照して前述した、アニメ調キャラクタ画像１２ｅ（Ｎｏ１）が設定されている状態での検索見出語「ｌｏｗ」に対応する発音音声・テキスト・発音口型画像の同期再生処理と同様にして、図１８（Ｂ）に示すように、検索見出語表示画面Ｇ２上のテキスト同期再生用ウインドウＷ１（Ｅｔ）には、出題単語「ｌｏｗ」と共にユーザ選択による正しいアクセントの発音記号が表示され、また、画像同期再生用ウインドウＷ２には、予め設定された通りの通常色のアニメ調キャラクタ画像１２ｄ（Ｎｏ１）が口型画像合成の対象画像として表示される。
【０１４６】
これにより、出題単語「ｌｏｗ」に対応する正しいアクセントの発音音声出力に同期して、図１８（Ｃ）(1)〜(3)に示すように、テキスト同期再生用ウインドウＷ１（Ｅｔ）では、当該出題単語「ｌｏｗ」およびその正しい発音記号の先頭文字からのハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、予め設定された通りの通常色のアニメ調キャラクタ画像１２ｄ（Ｎｏ１）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。
【０１４７】
そして、この場合にも前記同様のテキスト対応口表示処理に従って、見出単語「Ｌｏｗ」の正しいアクセント文字「ｏ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ９）の切り替え合成表示に際し、当該口型画像１２ｅ（Ｎｏ９）の合成先であるアニメ調キャラクタ（顔）画像１２ｄ（Ｎｏ１）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ１′）に変更表示されるので、ユーザは出題単語「Ｌｏｗ」の正しいアクセントの発音音声とその正しい発声タイミングおよび各対応する発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を明確に学習できるようになる。
【０１４８】
したがって、前記構成の第１実施形態の携帯機器１０による見出語検索に伴う発音音声・テキスト・発音口型画像の同期再生機能によれば、検索対象の見出語「ｌｏｗ」を入力して当該検索見出語に対応する辞書データを検索し、検索見出語表示画面Ｇ２として表示させた状態で、「訳／決定（音声）」キー１７ａ４を操作すると、当該検索見出語「ｌｏｗ」のタイムコードファイル１２ｆ２３に従い、ステレオ音声出力部１９ｂから出力される発音音声に同期して、テキスト同期再生用ウインドウＷ１において、検索見出語「ｌｏｗ」およびその発音記号のハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、予め設定されたキャラクタ画像１２ｄ（Ｎｏ３）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。
【０１４９】
しかも、前記検索見出語「Ｌｏｗ」のアクセント文字「ｏ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ９）の切り替え合成表示に際しては、当該口型画像１２ｅ（Ｎｏ９）の合成先であるキャラクタ（顔）画像１２ｄ（Ｎｏ３）が、例えば頭部の発汗や口元の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ３′）に変更表示されるので、ユーザは検索見出語「Ｌｏｗ」の発音音声とその発声タイミングおよび各文字「Ｌ」「ｏ」「ｗ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、アクセントに応じて発声強調するタイミングをリアルに学習できるようになる。
【０１５０】
さらに、前記構成の第１実施形態の携帯機器１０による見出語検索に伴う発音音声・テキスト・発音口型画像の同期再生機能によれば、例えば米国方言と英国方言の発音記号を有する辞書データベース１２ｂに基づき見出語検索を行った際に、図１５または図１６で示したように、米音［米］または英音［英］を指定して「訳／決定（音声）」キー１７ａ４を操作すると、指定された米音または英音の発音音声に同期して、テキスト同期再生用ウインドウＷ１において、検索見出語「ｌａｕｇｈ」およびその米音または英音発音記号のハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、予め設定されたキャラクタ画像１２ｄ（Ｎｏ１）が米音表現用（Ｎｏ１ＵＳ）または英音表現用（Ｎｏ１ＵＫ）としてベース表示され、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、米音または英音の各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示されるので、検索見出語に対応する米国方言の発音音声およびその発音記号・発音口型と英国方言の発音音声およびその発音記号・発音口型とを明確に区別して学習できるようになる。
【０１５１】
また、前記構成の第１実施形態の携帯機器１０による見出語検索に伴う発音音声・テキスト・発音口型画像の同期再生機能によれば、辞書データベース１２ｂに収録される各見出単語には、正しいアクセントの発音記号と共に誤ったアクセントの発音記号を有し、図１７および図１８で示すように、「アクセントテスト」キー１７ａ６が操作されると、ランダム選択された見出単語「ｌｏｗ」が正しいアクセントの発音記号および誤ったアクセントの発音記号と共にアクセントテスト出題表示画面Ｇ３として表示される。そして、正しいアクセントの発音記号が選択された場合には、その正しい発音音声出力に同期して通常の設定キャラクタ画像１２ｄ（Ｎｏ１）をベースとした各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）の切り替え合成表示が行われ、誤ったアクセントの発音記号が選択された場合には、その誤った発音音声出力に同期して青色変更されたキャラクタ画像１２ｄ（Ｎｏ１ＢＬ）をベースとした各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）の切り替え合成表示が行われ、しかも正誤何れのアクセント部分の同期再生時にも、前記口型画像合成ベースとしてのキャラクタ画像１２ｅ（Ｎｏ１）（Ｎｏ１ＢＬ）がアクセント対応のキャラクタ画像１２ｅ（Ｎｏ１′）（Ｎｏ１ＢＬ′）に変更表示されるので、各種単語の正しいアクセントの発音と、誤ったアクセントの発音とを、そのそれぞれに応じた音声・テキスト・画像の同期再生により明確に学習できるようになる。
【０１５２】
なお、前記第１実施形態では、検索見出語に対応する発音音声・テキスト（発音記号付き）・発音口型画像の同期生再処理を、タイムコードファイル１２ｆに従った同期再生処理による発音音声出力に同期させたテキスト文字の順次ハイライト（識別）表示、および当該１文字ずつの順次識別表示に伴い割り込みで実行されるテキスト対応口表示処理による識別表示文字対応の発音記号に応じた発音口型画像の切り替え合成表示により行う構成としたが、次の第２実施形態おいて説明するように、アクセント記号付きの発音記号を含む各種の発音記号とそのそれぞれの発音音声データおよび発音顔画像を予め対応付けて複数組み記憶させ、再生すべき見出語の文字を先頭から順番に強調表示させるのに伴い、順次その強調表示文字の発音記号に対応付けられた発音音声データの出力および顔画像データの表示を行う構成としてもよい。
【０１５３】
（第２実施形態）
図１９は前記携帯機器１０の第２実施形態の見出語同期再生処理を示すフローチャートである。
【０１５４】
すなわち、この第２実施形態の携帯機器１０では、アクセント記号付きの発音記号を含む各種の発音記号と、そのそれぞれの発音音声データ、および当該各種の発音記号に応じた発音音声データに対応して異なる形態の口部分や表情からなる発音顔画像を、予めメモリ１２内に複数組み記憶させる。
【０１５５】
そして、例えば辞書データベース１２ｂとして予め記憶される英和辞書を対象に、任意の見出語「ｌｏｗ」が入力されて検索され、前記図１１で示したように、検索見出語表示画面Ｇ２として表示された状態で、その発音音声および発音顔画像の同期再生を行わせるべく「訳／決定（音声）」キー１７ａ４が操作されると、図１９に示す第２実施形態の同期再生処理が開始される。
【０１５６】
この第２実施形態の同期再生処理が開始されると、前記図１２または図１３で示すように、まず、検索見出語表示画面Ｇ２上にテキスト同期再生用ウインドウＷ１が開かれ検索見出語「ｌｏｗ」の各文字と発音記号がその発音順に先頭から強調識別表示ＨＬされる（ステップＣ１）。そして、この強調識別表示ＨＬされた見出文字の発音記号が読み出されて（ステップＣ２）、アクセント記号付きであるか否か判断される（ステップＣ３）。
【０１５７】
ここで、図１２（Ｂ）(1)または図１３（Ｂ）(1)で示すように、今回強調表示ＨＬされた見出単語「ｌｏｗ」における文字「ｌ」の発音記号がアクセント記号無しである場合には、前記メモリ１２に予め記憶された当該発音記号に対応するアクセント無しの発音音声データが読み出されてステレオ音声出力部１９ｂから出力されるのと共に（ステップＣ３→Ｃ４）、これに対応付けられたアクセント無しの発音顔画像が読み出されて画像同期再生用ウインドウＷ２に表示される（ステップＣ５）。
【０１５８】
すると、現在出力中の検索見出語「ｌｏｗ」の次の文字「ｏ」が読み出され（ステップＣ６→Ｃ７）、再び前記ステップＣ１からの処理に戻り、図１２（Ｂ）(2)または図１３（Ｂ）(2)で示すように、その発音記号と共に強調識別表示ＨＬされる（ステップＣ１）。
【０１５９】
そして、今回強調表示ＨＬされた見出単語「ｌｏｗ」における文字「ｏ」の発音記号がアクセント記号有りであると判断された場合には（ステップＣ２，Ｃ３）、前記メモリ１２に予め記憶された当該発音記号に対応するアクセント有りの発音音声データが読み出されてステレオ音声出力部１９ｂから出力されるのと共に（ステップＣ３→Ｃ８）、図１２（Ｃ）(2)または図１３（Ｂ）(2)で示すように、これに対応付けられた例えば頭部の発汗や身体の動揺によってアクセント有り表現する発音顔画像が読み出されて画像同期再生用ウインドウＷ２に表示される（ステップＣ９）。
【０１６０】
したがって、この第２実施形態の携帯機器１０による場合でも、検索見出語「Ｌｏｗ」のアクセント文字「ｏ」をハイライト（識別）表示ＨＬしたことに伴う、発音音声の出力および発音顔画像の表示に際しては、そのアクセント付きの発音記号に基づき当該発音顔画像が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像として表示されるので、ユーザは検索見出語「Ｌｏｗ」の各文字「Ｌ」「ｏ」「ｗ」と発音音声、さらには各発音顔画像を、そのそれぞれの対応出力により容易に学習できるばかりでなく、アクセントに応じて発声強調する部分をリアルに学習できるようになる。
【０１６１】
なお、この第２実施形態において、前記メモリ１２に予め記憶されたアクセント記号付きの発音記号を含む各種の発音記号と、そのそれぞれの発音音声データ、および当該各種の発音記号に応じた発音音声データに対応して異なる形態の口部分や表情からなる発音顔画像について、アクセント付き発音記号に対応付けられた発音音声の出力はアクセント無し発音記号に対応付けられた発音音声より大きく設定され、また、アクセント付き発音記号に対応付けられた発音顔画像の口部分の開き具合はアクセント無し発音記号に対応付けられた発音顔画像の口部分の開き具合より大きく設定される。さらに、この顔画像における表情は、アクセント付き発音記号に対応付けられた発音顔画像の表情の方が、アクセント無し発音記号に対応付けられた発音顔画像の表情よりも強調されて設定される。
【０１６２】
なお、前記第２実施形態では、アクセント記号付きの発音記号を含む各種の発音記号と、そのそれぞれの発音音声データ、および当該各種の発音記号に応じた発音音声データに対応して異なる形態の口部分や表情からなる発音顔画像を予め記憶し、検索見出語の各文字をその発音順に強調表示すると共に、その発音記号に対応付けられた発音音声を読み出して出力し、また同発音記号に対応付けられ発音顔画像を読み出して表示する構成としたが、次の第３実施形態において説明するように、辞書データベース１２ｂにある各見出語のそれぞれに対応して当該見出し語の発音音声と発音顔画像とを予め組み合わせて記憶させ、検索見出語の文字表示に伴いその発音音声および発音顔画像を読み出して出力し、この際の発音音声信号のピークレベルを検出してアクセント部分を判断し、前記発音顔画像の口や表情の形態を異なる表示形態に変更制御する構成としてもよい。
【０１６３】
（第３実施形態）
図２０は前記携帯機器１０の第３実施形態の見出語同期再生処理を示すフローチャートである。
【０１６４】
すなわち、この第３実施形態の携帯機器１０では、辞書データベース１２ｂの各辞書データにある各見出語のそれぞれに対応して当該見出し語の発音音声と発音顔画像とを予め組み合わせて記憶させる。
【０１６５】
そして、例えば辞書データベース１２ｂとして予め記憶される英和辞書を対象に、任意の見出語「ｌｏｗ」が入力されて検索され、前記図１１で示したように、検索見出語表示画面Ｇ２として表示された状態で、その発音音声および発音顔画像の同期再生を行わせるべく「訳／決定（音声）」キー１７ａ４が操作されると、図２０に示す第３実施形態の同期再生処理が開始される。
【０１６６】
この第３実施形態の同期再生処理が開始されると、前記図１２または図１３で示すように、まず、検索見出語表示画面Ｇ２上にテキスト同期再生用ウインドウＷ１が開かれ検索見出語「ｌｏｗ」の各文字がその発音順に先頭から強調識別表示ＨＬされる（ステップＤ１）。そして、この強調識別表示ＨＬされた見出文字に対応する部分の発音音声データが読み出され（ステップＤ２）、ステレオ音声出力部１９ｂから出力される（ステップＤ３）。
【０１６７】
ここで、例えば今回強調表示ＨＬされた見出単語「ｌｏｗ」における文字「ｌ」に対応する部分の発音音声データの信号（波形）レベルが一定値以上の音声信号レベル（アクセント部分）か否か判断されるもので（ステップＤ４）、一定音声信号レベル以上ではない、つまりアクセント部分ではないと判断された場合には、当該検索見出語に対応付けられて記憶された発音顔画像が読み出されてそのまま画像同期再生用ウインドウＷ２に表示される（ステップＤ５）。
【０１６８】
すると、現在出力中の検索見出語「ｌｏｗ」の次の文字「ｏ」が読み出され（ステップＤ６→Ｄ７）、再び前記ステップＤ１からの処理に戻り、強調識別表示ＨＬされる（ステップＤ１）。
【０１６９】
すると、今回強調識別表示ＨＬされた見出文字「ｏ」に対応する部分の発音音声データが読み出され（ステップＤ２）、ステレオ音声出力部１９ｂから出力されると共に（ステップＤ３）、当該強調表示ＨＬされた単語文字「ｏ」に対応する部分の発音音声データの信号（波形）レベルが一定値以上の音声信号レベル（アクセント部分）か否か判断される（ステップＤ４）。
【０１７０】
ここで、一定音声信号レベル以上である、つまりアクセント部分であると判断された場合には、当該検索見出語に対応付けられて記憶された発音顔画像が読み出されると共に、当該顔画像はその口部分の開き具合が大きくまたその表情が強い顔画像に変更制御（例えば図１２（Ｂ）(2)→図１２（Ｃ）(2)）され、画像同期再生用ウインドウＷ２に表示される（ステップＤ４→Ｄ８）。
【０１７１】
なお、前記発音音声の音声信号波形レベルが一定値以上と判断されてアクセント部分であると判断された場合には、強調表示されている検索見出語の対応文字をさらに表示色の変更や付加あるいは文字フォントの変更などにより、アクセント部分の文字であることを示す形態に変更制御して表示させる構成としてもよい。
【０１７２】
したがって、この第３実施形態の携帯機器１０による場合でも、検索見出語「Ｌｏｗ」のアクセント文字「ｏ」をハイライト（識別）表示ＨＬしたことに伴う、発音音声の出力および発音顔画像の表示に際しては、そのときの発音音声信号レベルが一定値以上であることに基づき当該発音顔画像が、例えば口部分の開き具合が大きくまたその表情が強いアクセント対応の顔画像に変更制御されて表示されるので、ユーザは検索見出語「Ｌｏｗ」の各文字「Ｌ」「ｏ」「ｗ」とその発音音声、さらには発音顔画像を、そのそれぞれの対応出力により容易に学習できるばかりでなく、アクセントに応じて発声強調する部分をリアルに学習できるようになる。
【０１７３】
なお、前記各実施形態における検索見出語の各文字（テキスト）・発音音声・発音顔画像（含む発音口型画像）の同期再生機能の説明では、当該見出語のアクセントが１箇所に存在する場合について説明したが、検索見出語のアクセントが第１アクセントと第２アクセントの２箇所に存在する場合には、各アクセント部分に対応して表示するアクセント対応の発音顔画像（含む発音口型画像）を、第１アクセントの場合と第２アクセントの場合とで、例えば口の開き具合の大小や表情の強弱などによって異なる形態にして表示させる構成としてもよい。
【０１７４】
なお、前記各実施形態において記載した携帯機器１０による各処理の手法、すなわち、図７のフローチャートに示す第１実施形態での辞書処理プログラム１２ａに従ったメイン処理、図８のフローチャートに示す前記メイン処理に伴う見出語同期再生処理、図９のフローチャートに示す前記見出語同期再生処理に伴う各見出語文字のハイライト表示に応じて割り込みで実行されるテキスト対応口表示処理、図１９のフローチャートに示す第２実施形態での見出語同期再生処理、図２０のフローチャートに示す第３実施形態での見出語同期再生処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード、ＤＡＴＡ・ＣＡＲＤ等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した検索見出語に対応する各文字（テキスト）・発音音声・発音顔画像（含む発音口型画像）の同期再生機能を実現し、前述した手法による同様の処理を実行することができる。
【０１７５】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した検索見出語に対応する各文字（テキスト）・発音音声・発音顔画像（含む発音口型画像）の同期再生機能を実現することもできる。
【０１７６】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【符号の説明】
【０１７７】
１０ …携帯機器
１１ …ＣＰＵ
１２ …メモリ
１２Ａ…ＦＬＡＳＨメモリ
１２Ｂ…ＲＡＭ
１２ａ…辞書処理プログラム
１２ｂ…辞書データベース
１２ｃ…辞書音声データ
１２ｄ…キャラクタ画像データ
１２ｄ（Ｎｏ．ｎ）…設定キャラクタ画像
１２ｄ（Ｎｏ．ｎ′）…アクセント対応顔画像
１２ｄ（Ｎｏ．ｎＵＳ）…米語用設定キャラクタ画像
１２ｄ（Ｎｏ．ｎＵＳ′）…米語用アクセント対応顔画像
１２ｄ（Ｎｏ．ｎＵＫ）…英語用設定キャラクタ画像
１２ｄ（Ｎｏ．ｎＵＫ′）…英語用アクセント対応顔画像
１２ｄ（Ｎｏ．ｎＢＬ）…青色変更設定キャラクタ画像
１２ｄ（Ｎｏ．ｎＢＬ′）…アクセント対応の青色顔画像
１２ｅ…音声別口画像データ
１２ｆ…辞書タイムコードファイル
１２ｇ…見出語データメモリ
１２ｈ…見出語対応辞書データメモリ
１２ｉ…タイムコードファイルＮｏ２３
１２ｊ…同期用ＨＴＭＬファイルメモリ
１２ｋ…同期用テキストファイルメモリ
１２ｍ…同期用サウンドファイルメモリ
１２ｎ…同期用イメージファイルメモリ
１２ｐ…口画像エリアメモリ
１２ｑ…画像展開バッファ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …通信部
１７ａ…入力部
１７ｂ…座標入力装置
１８ …表示部
１９ａ…音声入力部
１９ｂ…ステレオ音声出力部
２０ …通信機器（自宅ＰＣ）
３０ …Ｗｅｂサーバ
Ｎ …通信ネットワーク（インターネット）
Ｘ …選択フレーム
Ｈ …タイムコードテーブルのヘッダ情報
Ｇ１ …キャラクタ画像の一覧選択画面
Ｇ２ …見出語検索画面
Ｇ３ …アクセントテスト出題表示画面
Ｗ１ …見出語文字表示ウインドウ（テキスト同期再生用ウインドウ）
Ｗ２ …発音口型表示ウインドウ（画像同期再生用ウインドウ）
ＨＬ …ハイライト（識別）表示
Ｅｔ …正解アクセント選択項目
Ｅｆ …誤りアクセント選択項目
【特許請求の範囲】
【請求項１】
音声データを出力する音声データ出力手段と、
この音声データ出力手段により出力される音声データに同期してテキストを表示させるテキスト同期表示制御手段と、
少なくとも口の部分を含む画像を表示させる画像表示制御手段と、
この画像表示制御手段により表示される画像に含まれる口の部分について、前記音声データ出力手段により出力される音声データに同期して当該音声データに対応した口型の画像を表示させる口画像表示制御手段と、
前記音声データまたは前記テキストのアクセントの有無を検出するアクセント検出手段と、
このアクセント検出手段によるアクセントの有りの検出に応じて前記画像表示制御手段により表示される口型の画像を変化させる画像変化表示制御手段と、
を備えたことを特徴とする音声表示出力制御装置。
【請求項２】
さらに、
入力された見出語に対応した辞書データを検索する辞書検索手段と、
この辞書検索手段により検索された見出語に対応した辞書データを表示させる辞書データ表示制御手段とを備え、
前記音声データは前記辞書検索手段により検索された見出語の発音音声データで、前記テキストは前記辞書検索手段により検索された見出語のテキストであり、
前記音声データ出力手段による見出語発音音声データの出力、および前記テキスト同期表示制御手段による前記見出語発音音声データに同期した見出語テキストの表示、および前記画像表示制御手段による画像の表示は、前記辞書データ表示制御手段による検索見出語に対応した辞書データの表示状態において行う、
ことを特徴とする請求項１に記載の音声表示出力制御装置。
【請求項３】
複数の単語と当該各単語それぞれの正しいアクセント付き発音記号と誤りアクセント付き発音記号とを対応付けて記憶する単語記憶手段と、
この単語記憶手段により記憶した単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力する音声データ出力手段と、
この音声データ出力手段により出力される単語の発音音声データに同期して当該単語のテキストを表示させるテキスト同期表示制御手段と、
少なくとも口の部分を含む画像を、前記音声データ出力手段により正しいアクセントの発音音声データが出力される場合と誤りアクセントの発音音声データが出力される場合とで異なる表示形態にして表示させる画像表示制御手段と、
この画像表示制御手段により表示される画像に含まれる口の部分について、前記音声データ出力手段により出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる口画像表示制御手段と、
前記テキスト同期表示制御手段による単語テキストの同期表示に伴い、前記単語記憶手段により記憶した該当単語のアクセント付き発音記号から該単語のアクセントを検出するアクセント検出手段と、
このアクセント検出手段によるアクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる画像変化表示制御手段と、
を備えたことを特徴とする音声表示出力制御装置。
【請求項４】
さらに、
前記単語記憶手段により記憶した単語と当該単語に対応付けられた正しいアクセント付き発音記号と誤りアクセント付き発音記号とを並べて表示させる正誤アクセント表示制御手段と、
この正誤アクセント表示制御手段により表示された単語の正しいアクセント付き発音記号か誤りアクセント付き発音記号かの何れかを選択する正誤アクセント選択手段を備え、
前記音声データ出力手段は、前記正誤アクセント選択手段による単語アクセントの正誤選択に応じて、該当単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力する、
ことを特徴とする請求項３に記載の音声表示出力制御装置。
【請求項５】
複数の見出語と当該各見出語それぞれの少なくとも２以上の地域の発音音声データとを対応付けて記憶する記憶手段と、
この記憶手段により記憶した見出語の２以上の地域の発音音声データのうち何れかの地域を指定する地域指定手段と、
この地域指定手段による発音音声データの地域指定に応じて、該当見出語の指定地域の発音音声データを出力する音声データ出力手段と、
この音声データ出力手段により出力される見出語の指定地域の発音音声データに同期して当該見出語のテキストを表示させるテキスト同期表示制御手段と、
少なくとも口の部分を含む画像を、前記地域指定手段による発音音声データの指定地域に応じて異なる表示形態にして表示させる画像表示制御手段と、
この画像表示制御手段により表示される画像に含まれる口の部分について、前記音声データ出力手段により出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる口画像表示制御手段と、
前記テキスト同期表示制御手段による見出語テキストの同期表示に伴い、当該見出語のアクセントを検出するアクセント検出手段と、
このアクセント検出手段によるアクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる画像変化表示制御手段と、
を備えたことを特徴とする音声表示出力制御装置。
【請求項６】
単語の見出語を含む一連の発音対象データの発音順の表示に従って、口または表情を備えた顔画像を変更制御する画像表示制御装置であって、
前記発音対象データとアクセント記号付き発音記号を含む発音記号とを対応付けて複数組み記憶している第１の記憶手段と、
アクセント記号付き発音記号を含む発音記号とその音声および顔画像を対応付けて複数組み記憶している第２の記憶手段と、
前記一連の発音対象データの発音順の表示に伴い、この発音対象データに対応する発音記号を前記第１の記憶手段から読み出し、この読み出された発音記号に対応する音声と顔画像とを前記第２の記憶手段から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御する第１の制御手段と、
この第１の制御手段の制御により音声を外部に出力する際に、前記読み出された発音記号の中にアクセント記号付き発音記号が含まれているか否かを判別し、アクセント記号が含まれていると判別された際は、このアクセント記号付き発音記号に対応する音声と顔画像とを前記第２の記憶手段から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御する第２の制御手段と、
を備えていることを特徴とする画像表示制御装置。
【請求項７】
前記請求項６に記載の画像表示制御装置にあって、
前記第２の記憶手段に記憶されているアクセント記号付き発音記号を含む発音記号は、アクセント記号が付いている発音記号とアクセント記号が付いていない発音記号とからなり、前記アクセント記号が付いている発音記号に対応付けて記憶されている音声および顔画像と前記アクセント記号が付いていない発音記号に対応付けて記憶されている音声および顔画像とは異なっていることを特徴とする画像表示制御装置。
【請求項８】
単語の見出語を含む一連の発音対象データの発音順の表示に従って、口または表情を備えた顔画像を変更制御する画像表示制御装置であって、
前記発音対象データとその音声および顔画像を対応付けて複数組み記憶している記憶手段と、
この記憶手段に記憶されている音声の信号波形のうち、前記発音対象データのアクセント部分に対応する信号波形のピーク部分を検出する検出手段と、
この検出手段により検出されたアクセント部分の音声に対応する顔画像を前記記憶手段から読み出しこの読み出された顔画像を、アクセント部分以外の他の信号波形部分の音声に対応する顔画像と異なる表示形態で表示するように制御する表示制御手段と、
を備えていることを特徴とする画像表示制御装置。
【請求項９】
前記請求項８に記載の画像表示制御装置にあって、
前記表示制御手段は、前記検出手段により検出されたアクセント部分に対応する発音対象データの部分の表示を、アクセント部分以外の他の信号波形部分に対応する発音対象データの部分の表示と異なる表示形態で表示するように制御するテキスト表示制御手段を備えていることを特徴とする画像表示制御装置。
【請求項１０】
電子機器のコンピュータを制御して音声データとテキストと画像とを同期再生させるための音声表示出力制御処理プログラムであって、
前記コンピュータを、
音声データを出力する音声データ出力手段、
この音声データ出力手段により出力される音声データに同期してテキストを表示させるテキスト同期表示制御手段、
少なくとも口の部分を含む画像を表示させる画像表示制御手段、
この画像表示制御手段により表示される画像に含まれる口の部分について、前記音声データ出力手段により出力される音声データに同期して当該音声データに対応した口型の画像を表示させる口画像表示制御手段、
前記音声データまたは前記テキストのアクセントを検出するアクセント検出手段、
このアクセント検出手段によるアクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる画像変化表示制御手段、
として機能させるようにしたコンピュータ読み込み可能な音声表示出力制御処理プログラム。
【請求項１１】
電子機器のコンピュータを制御して音声データとテキストと画像とを同期再生させるための音声表示出力制御処理プログラムであって、
前記コンピュータを、
複数の単語と当該各単語それぞれの正しいアクセント付き発音記号と誤りアクセント付き発音記号とを対応付けて記憶する単語記憶手段、
この単語記憶手段により記憶した単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力する音声データ出力手段、
この音声データ出力手段により出力される単語の発音音声データに同期して当該単語のテキストを表示させるテキスト同期表示制御手段、
少なくとも口の部分を含む画像を、前記音声データ出力手段により正しいアクセントの発音音声データが出力される場合と誤りアクセントの発音音声データが出力される場合とで異なる表示形態にして表示させる画像表示制御手段、
この画像表示制御手段により表示される画像に含まれる口の部分について、前記音声データ出力手段により出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる口画像表示制御手段、
前記テキスト同期表示制御手段による単語テキストの同期表示に伴い、前記単語記憶手段により記憶した該当単語のアクセント付き発音記号から該単語のアクセントを検出するアクセント検出手段、
このアクセント検出手段によるアクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる画像変化表示制御手段、
として機能させるようにしたコンピュータ読み込み可能な音声表示出力制御処理プログラム。
【請求項１２】
電子機器のコンピュータを制御して、単語の見出語を含む一連の発音対象データの発音順の表示に従い、口または表情を備えた顔画像を変更制御するための画像表示制御処理プログラムであって、
前記コンピュータを、
前記発音対象データとアクセント記号付き発音記号を含む発音記号とを対応付けて複数組み記憶する第１の記憶手段、
アクセント記号付き発音記号を含む発音記号とその音声および顔画像を対応付けて複数組み記憶する第２の記憶手段、
前記一連の発音対象データの発音順の表示に伴い、この発音対象データに対応する発音記号を前記第１の記憶手段により記憶した発音記号の中から読み出し、この読み出された発音記号に対応する音声と顔画像とを前記第２の記憶手段により記憶した音声および顔画像の中から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御する第１の制御手段、
この第１の制御手段の制御により音声を外部に出力する際に、前記読み出された発音記号の中にアクセント記号付き発音記号が含まれているか否かを判別し、アクセント記号が含まれていると判別された際は、このアクセント記号付き発音記号に対応する音声と顔画像とを前記第２の記憶手段により記憶した音声および顔画像の中から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御する第２の制御手段、
として機能させるようにした画像表示制御処理プログラム。
【請求項１】
音声データを出力する音声データ出力手段と、
この音声データ出力手段により出力される音声データに同期してテキストを表示させるテキスト同期表示制御手段と、
少なくとも口の部分を含む画像を表示させる画像表示制御手段と、
この画像表示制御手段により表示される画像に含まれる口の部分について、前記音声データ出力手段により出力される音声データに同期して当該音声データに対応した口型の画像を表示させる口画像表示制御手段と、
前記音声データまたは前記テキストのアクセントの有無を検出するアクセント検出手段と、
このアクセント検出手段によるアクセントの有りの検出に応じて前記画像表示制御手段により表示される口型の画像を変化させる画像変化表示制御手段と、
を備えたことを特徴とする音声表示出力制御装置。
【請求項２】
さらに、
入力された見出語に対応した辞書データを検索する辞書検索手段と、
この辞書検索手段により検索された見出語に対応した辞書データを表示させる辞書データ表示制御手段とを備え、
前記音声データは前記辞書検索手段により検索された見出語の発音音声データで、前記テキストは前記辞書検索手段により検索された見出語のテキストであり、
前記音声データ出力手段による見出語発音音声データの出力、および前記テキスト同期表示制御手段による前記見出語発音音声データに同期した見出語テキストの表示、および前記画像表示制御手段による画像の表示は、前記辞書データ表示制御手段による検索見出語に対応した辞書データの表示状態において行う、
ことを特徴とする請求項１に記載の音声表示出力制御装置。
【請求項３】
複数の単語と当該各単語それぞれの正しいアクセント付き発音記号と誤りアクセント付き発音記号とを対応付けて記憶する単語記憶手段と、
この単語記憶手段により記憶した単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力する音声データ出力手段と、
この音声データ出力手段により出力される単語の発音音声データに同期して当該単語のテキストを表示させるテキスト同期表示制御手段と、
少なくとも口の部分を含む画像を、前記音声データ出力手段により正しいアクセントの発音音声データが出力される場合と誤りアクセントの発音音声データが出力される場合とで異なる表示形態にして表示させる画像表示制御手段と、
この画像表示制御手段により表示される画像に含まれる口の部分について、前記音声データ出力手段により出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる口画像表示制御手段と、
前記テキスト同期表示制御手段による単語テキストの同期表示に伴い、前記単語記憶手段により記憶した該当単語のアクセント付き発音記号から該単語のアクセントを検出するアクセント検出手段と、
このアクセント検出手段によるアクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる画像変化表示制御手段と、
を備えたことを特徴とする音声表示出力制御装置。
【請求項４】
さらに、
前記単語記憶手段により記憶した単語と当該単語に対応付けられた正しいアクセント付き発音記号と誤りアクセント付き発音記号とを並べて表示させる正誤アクセント表示制御手段と、
この正誤アクセント表示制御手段により表示された単語の正しいアクセント付き発音記号か誤りアクセント付き発音記号かの何れかを選択する正誤アクセント選択手段を備え、
前記音声データ出力手段は、前記正誤アクセント選択手段による単語アクセントの正誤選択に応じて、該当単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力する、
ことを特徴とする請求項３に記載の音声表示出力制御装置。
【請求項５】
複数の見出語と当該各見出語それぞれの少なくとも２以上の地域の発音音声データとを対応付けて記憶する記憶手段と、
この記憶手段により記憶した見出語の２以上の地域の発音音声データのうち何れかの地域を指定する地域指定手段と、
この地域指定手段による発音音声データの地域指定に応じて、該当見出語の指定地域の発音音声データを出力する音声データ出力手段と、
この音声データ出力手段により出力される見出語の指定地域の発音音声データに同期して当該見出語のテキストを表示させるテキスト同期表示制御手段と、
少なくとも口の部分を含む画像を、前記地域指定手段による発音音声データの指定地域に応じて異なる表示形態にして表示させる画像表示制御手段と、
この画像表示制御手段により表示される画像に含まれる口の部分について、前記音声データ出力手段により出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる口画像表示制御手段と、
前記テキスト同期表示制御手段による見出語テキストの同期表示に伴い、当該見出語のアクセントを検出するアクセント検出手段と、
このアクセント検出手段によるアクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる画像変化表示制御手段と、
を備えたことを特徴とする音声表示出力制御装置。
【請求項６】
単語の見出語を含む一連の発音対象データの発音順の表示に従って、口または表情を備えた顔画像を変更制御する画像表示制御装置であって、
前記発音対象データとアクセント記号付き発音記号を含む発音記号とを対応付けて複数組み記憶している第１の記憶手段と、
アクセント記号付き発音記号を含む発音記号とその音声および顔画像を対応付けて複数組み記憶している第２の記憶手段と、
前記一連の発音対象データの発音順の表示に伴い、この発音対象データに対応する発音記号を前記第１の記憶手段から読み出し、この読み出された発音記号に対応する音声と顔画像とを前記第２の記憶手段から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御する第１の制御手段と、
この第１の制御手段の制御により音声を外部に出力する際に、前記読み出された発音記号の中にアクセント記号付き発音記号が含まれているか否かを判別し、アクセント記号が含まれていると判別された際は、このアクセント記号付き発音記号に対応する音声と顔画像とを前記第２の記憶手段から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御する第２の制御手段と、
を備えていることを特徴とする画像表示制御装置。
【請求項７】
前記請求項６に記載の画像表示制御装置にあって、
前記第２の記憶手段に記憶されているアクセント記号付き発音記号を含む発音記号は、アクセント記号が付いている発音記号とアクセント記号が付いていない発音記号とからなり、前記アクセント記号が付いている発音記号に対応付けて記憶されている音声および顔画像と前記アクセント記号が付いていない発音記号に対応付けて記憶されている音声および顔画像とは異なっていることを特徴とする画像表示制御装置。
【請求項８】
単語の見出語を含む一連の発音対象データの発音順の表示に従って、口または表情を備えた顔画像を変更制御する画像表示制御装置であって、
前記発音対象データとその音声および顔画像を対応付けて複数組み記憶している記憶手段と、
この記憶手段に記憶されている音声の信号波形のうち、前記発音対象データのアクセント部分に対応する信号波形のピーク部分を検出する検出手段と、
この検出手段により検出されたアクセント部分の音声に対応する顔画像を前記記憶手段から読み出しこの読み出された顔画像を、アクセント部分以外の他の信号波形部分の音声に対応する顔画像と異なる表示形態で表示するように制御する表示制御手段と、
を備えていることを特徴とする画像表示制御装置。
【請求項９】
前記請求項８に記載の画像表示制御装置にあって、
前記表示制御手段は、前記検出手段により検出されたアクセント部分に対応する発音対象データの部分の表示を、アクセント部分以外の他の信号波形部分に対応する発音対象データの部分の表示と異なる表示形態で表示するように制御するテキスト表示制御手段を備えていることを特徴とする画像表示制御装置。
【請求項１０】
電子機器のコンピュータを制御して音声データとテキストと画像とを同期再生させるための音声表示出力制御処理プログラムであって、
前記コンピュータを、
音声データを出力する音声データ出力手段、
この音声データ出力手段により出力される音声データに同期してテキストを表示させるテキスト同期表示制御手段、
少なくとも口の部分を含む画像を表示させる画像表示制御手段、
この画像表示制御手段により表示される画像に含まれる口の部分について、前記音声データ出力手段により出力される音声データに同期して当該音声データに対応した口型の画像を表示させる口画像表示制御手段、
前記音声データまたは前記テキストのアクセントを検出するアクセント検出手段、
このアクセント検出手段によるアクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる画像変化表示制御手段、
として機能させるようにしたコンピュータ読み込み可能な音声表示出力制御処理プログラム。
【請求項１１】
電子機器のコンピュータを制御して音声データとテキストと画像とを同期再生させるための音声表示出力制御処理プログラムであって、
前記コンピュータを、
複数の単語と当該各単語それぞれの正しいアクセント付き発音記号と誤りアクセント付き発音記号とを対応付けて記憶する単語記憶手段、
この単語記憶手段により記憶した単語の正しいアクセントの発音音声データまたは誤りアクセントの発音音声データを出力する音声データ出力手段、
この音声データ出力手段により出力される単語の発音音声データに同期して当該単語のテキストを表示させるテキスト同期表示制御手段、
少なくとも口の部分を含む画像を、前記音声データ出力手段により正しいアクセントの発音音声データが出力される場合と誤りアクセントの発音音声データが出力される場合とで異なる表示形態にして表示させる画像表示制御手段、
この画像表示制御手段により表示される画像に含まれる口の部分について、前記音声データ出力手段により出力される発音音声データに同期して当該発音音声データに対応した口型の画像を表示させる口画像表示制御手段、
前記テキスト同期表示制御手段による単語テキストの同期表示に伴い、前記単語記憶手段により記憶した該当単語のアクセント付き発音記号から該単語のアクセントを検出するアクセント検出手段、
このアクセント検出手段によるアクセントの検出に応じて前記画像表示制御手段により表示される画像を変化させる画像変化表示制御手段、
として機能させるようにしたコンピュータ読み込み可能な音声表示出力制御処理プログラム。
【請求項１２】
電子機器のコンピュータを制御して、単語の見出語を含む一連の発音対象データの発音順の表示に従い、口または表情を備えた顔画像を変更制御するための画像表示制御処理プログラムであって、
前記コンピュータを、
前記発音対象データとアクセント記号付き発音記号を含む発音記号とを対応付けて複数組み記憶する第１の記憶手段、
アクセント記号付き発音記号を含む発音記号とその音声および顔画像を対応付けて複数組み記憶する第２の記憶手段、
前記一連の発音対象データの発音順の表示に伴い、この発音対象データに対応する発音記号を前記第１の記憶手段により記憶した発音記号の中から読み出し、この読み出された発音記号に対応する音声と顔画像とを前記第２の記憶手段により記憶した音声および顔画像の中から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御する第１の制御手段、
この第１の制御手段の制御により音声を外部に出力する際に、前記読み出された発音記号の中にアクセント記号付き発音記号が含まれているか否かを判別し、アクセント記号が含まれていると判別された際は、このアクセント記号付き発音記号に対応する音声と顔画像とを前記第２の記憶手段により記憶した音声および顔画像の中から読み出し、この読み出された音声を外部へ出力すると共に、読み出された顔画像を表示するように制御する第２の制御手段、
として機能させるようにした画像表示制御処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−９８７５３（Ｐ２０１２−９８７５３Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１２−１４６９０（Ｐ２０１２−１４６９０）
【出願日】平成２４年１月２７日（２０１２．１．２７）
【分割の表示】特願２００９−１４０６７０（Ｐ２００９−１４０６７０）の分割
【原出願日】平成１５年５月２１日（２００３．５．２１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２４年１月２７日（２０１２．１．２７）
【分割の表示】特願２００９−１４０６７０（Ｐ２００９−１４０６７０）の分割
【原出願日】平成１５年５月２１日（２００３．５．２１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]