説明

文字情報提示制御装置及びプログラム

【課題】文字情報を視認する者の視線移動が少なく、かつ視認性を向上させるための文字情報を提示する。
【解決手段】文字情報分割部20は、文字情報を分割し、文節毎の分割データを生成する。リアルタイムCG描画手段42は、文節毎の分割データに基づいて、文節毎の文字グループを設定し、モーラ数に基づいて文字グループ単位の間隔を設定する。文字グループが3次元の仮想空間内に配置され、仮想カメラの位置が設定されると、リアルタイムCG描画手段42は、仮想カメラで文字グループを撮影したときの映像、すなわち、画面中央奥側から手前側へ向けて、センタリングした文字グループ単位の文字情報を、所定速度、間隔及び文字表示率にて順次スクロールした映像を表示装置6に出力する。また、操作入力部30からの始動制御信号に従ってスクロールを開始し、文字情報の所定位置にてスクロールを停止する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文字情報提示制御装置及びプログラムに関し、特に、文字情報を視認する者に対し、視線を必要以上に移動させることのない形態で文字情報を提示する技術に関する。
【背景技術】
【0002】
従来、画面表示された文字情報を視認する者(視認者)に対し、文字情報を容易に読むことができるように、表示形態を工夫して文字情報を提示する装置が知られている(特許文献1を参照)。この装置は、発話者の音声信号を入力し、音声信号を文字情報に変換すると共に、発話音声の音量及び音調を測定し、音量の大小及び音調の高低を文字情報の形態に反映して表示するものである。これにより、文字情報を見た視認者は、文字情報の形態により、発話者の感情等を視覚的に理解することができる。このように、表示形態を工夫した文字情報を提示することによって、文字情報の形態に反映した意味合いを視認者へ伝えることができる。
【0003】
一方、テレビ番組、映画、教育、啓蒙等を目的とした映像制作において、アナウンサー、役者、教師、政治家等の発話者が、文字情報を見ながら撮影カメラに向かって発話をする際に、発話者に対して文字情報を提示する手法が知られている。例えば、カンペを用いる手法がある。この手法は、撮影カメラのレンズ付近でスタッフが持つスケッチブック等に書かれた文字情報を発話者へ提示するものである(非特許文献1,2を参照)。さらに、撮影カメラのレンズ付近に設置された表示装置によって、文字情報を発話者へ提示するものもある(特許文献2を参照)。
【0004】
また、プロンプタを用いて発話者へ文字情報を提示する手法がある。この手法は、発話者へ提示する文字情報を、撮影カメラのレンズの前(発話者側)に設けられたハーフミラーに、表示装置を介して投影することにより、文字情報を発話者へ提示しつつ、ハーフミラーの透過によって発話者の撮影を行うものである(特許文献3を参照)。また、プロンプタを用いる手法において、光の透過状態を電気的に制御可能なスクリーンを用い、透過または非透過状態に応じて撮影または表示を時分割的に実行する装置が提案されている(特許文献4,5を参照)。これにより、文字情報を発話者へ提示しながら、スクリーンの透過によって発話者の撮影を行うことができる。
【0005】
また、音声認識を利用して文字情報を提示する手法もある(特許文献6,7,8を参照)。特許文献6の文字情報提示手法は、プレゼンテーション用画面の文字列に効果を加えるものである。特許文献7の文字情報提示手法は、音声認識による情報提示装置の操作に関するものである。特許文献8の文字情報提示手法は、音声認識による字幕及び画面の表示速度を制御するものである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2005−274791号公報
【特許文献2】特許第3478308号公報
【特許文献3】特許第3566998号公報
【特許文献4】特開平4−96581号公報
【特許文献5】特開平4−11485号公報
【特許文献6】特開2005−208292号公報
【特許文献7】特開平11−184671号公報
【特許文献8】特開2003−29779号公報
【非特許文献】
【0007】
【非特許文献1】“フリー百科事典「ウィキペディア(Wikipedia)」”、[online]、[平成21年6月8日検索]、インターネット<URL:http://ja.wikipedia.org/wiki/カンペ>
【非特許文献2】“映像業界用語辞典”、[online]、[平成21年6月8日検索]、インターネット<URL:http://www.geocities.jp/amukoris/dictionary01aka.htm#ka>
【発明の概要】
【発明が解決しようとする課題】
【0008】
前述の特許文献1による文字情報提示制御装置は、発話者の感情等を文字情報の形態に反映することにより、発話者の感情等を視認者へ視覚的に伝えるものである。しかしながら、視認者へ提示される文字情報は画面の左から右へかつ上から下へ向けて表示されるため、視認者が文字情報を認識するには、文字情報の位置に応じて視線を左右上下に移動させる必要があった。
【0009】
また、映像制作を目的とした文字情報を提示する手法において、カンペを用いる手法では、カンペが撮影カメラのレンズ付近に設置されるため、発話者が文字情報を視認する際に、発話者の視線が撮影カメラの光軸からずれてしまい、撮影された発話者の視線が不自然になるという問題があった。また、カンペに書かれた文字が手書きの場合には、その文字が読み難く、読み誤ってしまう場合もあるという問題があった。さらに、撮影カメラ付近は照明の光量が少なく暗いのが通常であるから、カンペに書かれた文字が読み難いという問題もあった。特許文献2による表示装置を用いた手法においても同様に、発話者が文字情報を視認する際に、視線がずれてしまい不自然になるという問題があった。
【0010】
また、特許文献3のプロンプタを用いる手法では、発話者が読み上げる手元の原稿を、発話者の上方に設置したプロンプタ用カメラで撮影し、プロンプタ用カメラが捉えた手元原稿の映像を、撮影カメラのレンズの前に設置したハーフミラーで反射し、撮影レンズの光軸上に表示する。しかしながら、発話者が読み上げる原稿は、縦書きまたは横書き等の様々な書式により構成されているから、原稿を読んでいる発話者の視線は、その書式に従って配置された文字を追ってしまう。このため、発話者の視線の動きが撮影カメラに映ってしまい、発話者の視線が不自然になるという問題があった。また、発話者が読み上げる原稿は机の上等に固定されている必要があるが、立った状態の発話者は原稿を固定することができないため、立った状態の発話者に対してプロンプタを用いることは困難であった。
【0011】
特許文献4,5の装置を用いる手法も、特許文献3のプロンプタを用いる手法と同様に、表示される文字情報は、画面内の平面にレイアウトされるから、原稿を読んでいる発話者の視線は文字を追ってしまい、発話者の視線が不自然になるという問題があった。また、特許文献4,5の装置では、スクリーンの透過性が時間的に制御されるから、表示画像の投影が間欠的になり、表示画像が暗くなるという間題があった。さらに、投影装置を設置したり、スクリーン面からの反射光を防ぐために遮光処置を施したりする必要があるから、全体として装置が大きくなるという問題もあった。
【0012】
特許文献6の手法は、多数の人が見るためのプレゼンテーション用画面の文字情報に対し、発話に基づいて予定の効果を加えるものである。これに対し、本発明は、文字情報を視認する者に対し、視線を必要以上に移動させることのない形態で文字情報を提示するものである。したがって、特許文献6の手法は、視線の移動を最小限に抑えるという目的を達成するものではないという点で、本発明とは基本的に異なる。
【0013】
特許文献7の手法は、ユーザの音声を用いたユーザインタフェースに関するものであるから、本発明とは基本的に異なる。また、特許文献8の手法は、発話者の音声認識を利用した文字情報の再生制御に関するものであり、発話者の発声により制御された画面を、発話者及び第三者に提示するものである。したがって、この手法も、本発明とは基本的に異なる。
【0014】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、文字情報を視認する者の視線移動が少なく、かつ文字情報の視認性を向上させることが可能な文字情報提示制御装置及びプログラムを提供することにある。また、その目的は、発話者の映像制作において、発話者の視線移動が少なく、かつ、発話者の発話タイミングに合った文字情報を提示可能な文字情報提示制御装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0015】
本発明では、前記課題を解決するために以下の構成に係るものとした。請求項1の発明は、文字情報を画面表示してユーザへ提示するための制御を行う文字情報提示制御装置において、前記文字情報を、所定単位の文字グループに区分けし、前記文字グループ単位の文字情報に基づいて、連続した文字グループの間隔を設定し、前記画面中央の奥側から手前側へ向けて、前記文字グループ単位の文字情報をセンタリングし所定速度及び前記間隔にて順次スクロールさせ、前記画面中央の奥側から新たな文字グループを出現させ、前記手前側へ向けてスクロールさせた後に、前記文字グループを消失させる文字情報提示部を備えたことを特徴とする。
【0016】
また、請求項2の発明は、請求項1に記載の文字情報提示制御装置において、前記文字情報提示部が、前記文字グループ単位の文字情報を、前記文字グループの前後において重ねて表示するように提示し、かつ、奥側に位置する文字情報が透過するような文字表示率にて提示することを特徴とする。
【0017】
また、請求項3の発明は、請求項2に記載の文字情報提示制御装置において、前記文字表示率が、手前側から奥側へ向けて、0%から徐々に増加し、100%よりも低い所定の最大値に到達し、徐々に減少して0%に到達するように設定されていることを特徴とする。
【0018】
また、請求項4の発明は、請求項1から3までのいずれか一項に記載の文字情報提示制御装置において、さらに、前記文字情報を分割し、文節毎の分割データを生成する文字情報分割部を備え、前記文字情報提示部が、前記文字情報分割部により分割された文節毎の分割データを、前記所定単位の文字グループとして設定することを特徴とする。
【0019】
また、請求項5の発明は、請求項1から4までのいずれか一項に記載の文字情報提示制御装置において、前記文字情報提示部が、前記文字グループの終わりが句読点である場合に、前記文字グループの先頭に空白を挿入して新たな文字グループを生成し、前記新たな文字グループに対してセンタリングを行うことを特徴とする。
【0020】
また、請求項6の発明は、請求項1から5までのいずれか一項に記載の文字情報提示制御装置において、前記文字情報提示部が、前記文字グループ単位に、前記文字グループ単位の文字情報を発音するために必要な拍数を示すモーラ数を算出し、前記モーラ数に基づいて、前記連続した文字グループの間隔を設定することを特徴とする。
【0021】
また、請求項7の発明は、請求項6に記載の文字情報提示制御装置において、さらに、単語と前記単語のモーラ数とが記憶されたモーラ辞書を備え、前記文字情報提示部が、前記文字情報に含まれる単語のモーラ数を算出し、前記単語及びモーラ数を前記モーラ辞書に登録することを特徴とする。
【0022】
また、請求項8の発明は、請求項1から7までのいずれか一項に記載の文字情報提示制御装置において、さらに、前記ユーザのキー操作に従って、始動制御信号を出力する操作入力部を備え、前記文字情報提示部が、前記操作入力部から始動制御信号を入力し、前記始動制御信号の入力タイミングにて前記スクロールを開始し、前記文字情報の所定位置にて前記スクロールを停止することを特徴とする。
【0023】
また、請求項9の発明は、請求項1から7までのいずれか一項に記載の文字情報提示制御装置において、さらに、前記ユーザのキー操作に従って、開始及び停止の始動制御信号をそれぞれ出力する操作入力部を備え、前記文字情報提示部が、前記操作入力部から始動制御信号を入力し、前記始動制御信号が開始の信号の場合、前記スクロールを開始し、前記始動制御信号が停止の信号の場合、前記スクロールを停止することを特徴とする。
【0024】
また、請求項10の発明は、請求項1から7までのいずれか一項に記載の文字情報提示制御装置において、前記ユーザを、前記文字情報を読み上げる発話者とし、さらに、前記発話者による発話の音声信号を単語列に変換し、前記単語列に基づいて、前記文字情報における発話の進捗に応じた始動制御信号を出力する始動制御部を備え、前記文字情報提示部が、前記始動制御部から始動制御信号を入力し、前記始動制御信号の入力タイミングにて前記文字グループ単位のスクロールを開始し、前記文字情報の所定位置にて前記スクロールを停止することを特徴とする。
【0025】
また、請求項11の発明は、請求項10に記載の文字情報提示制御装置において、前記始動制御部が、前記発話者による発話の音声信号と、予め記録された音声周波数パターンとの間で周波数マッチングを行い、予め記憶された単語の辞書を用いて、前記音声信号を単語列に変換する音声認識手段と、前記音声認識手段により変換された単語列と、前記文字情報を構成する単語列とに基づいて、前記文字情報を構成する複数の文字グループのうちの、一文を構成する連続した文字グループの始まりが、前記発話者により発話されたことを判定した場合、前記始動制御信号を出力する動作判定手段とを備え、前記文字情報提示部が、前記一文毎に、前記スクロールを行い、前記始動制御部から始動制御信号を入力したタイミングにて、前記一文についてスクロールを開始し、次の一文を構成する連続した文字グループの始まりが前記画面の手前側に表示され、その次の文字グループが前記奥側へ向けてそれぞれ表示されたときに、前記スクロールを停止することを特徴とする。
【0026】
また、請求項12の発明は、請求項11に記載の文字情報提示制御装置において、前記一文がその終わりに句点を有することを特徴とする。
【0027】
また、請求項13の発明は、請求項10に記載の文字情報提示制御装置において、前記スクロールを停止したときに表示されている文字グループの数は、前記発話者が前記表示されている文字グループの読み上げを開始してから前記表示されている全ての文字グループの読み上げを完了する前に次のスクロールを開始するように、前記読み上げの開始から次のスクロールの開始までの間の遅延時間に応じた数とすることを特徴とする。
【0028】
また、請求項14の発明は、コンピュータを、請求項1から13までのいずれか一項に記載の文字情報提示制御装置として機能させるための文字情報提示制御プログラムであることを特徴とする。
【発明の効果】
【0029】
本発明によれば、文字グループ単位の文字情報をセンタリングし、所定速度及び所定間隔にて順次スクロール表示し、画面中央の奥側から新たな文字グループを出現させ、手前側へ向けてスクロール表示した後に、その文字グループを消失させるようにした。これにより、文字情報を視認する者の視線移動が少なく、かつ文字情報の視認性を向上させることが可能となる。
【0030】
また、本発明によれば、発話者による発話の音声信号を単語列に変換し、単語列から発話の進捗を求めて始動制御信号を生成し、始動制御信号のタイミングにて文字グループ単位のスクロール表示を開始し、文字情報の所定位置にてスクロール表示を停止するようにした。これにより、発話者の映像制作において、発話者の視線移動が少なく、かつ、発話者の発話タイミングに合った文字情報を提示することが可能となる。
【図面の簡単な説明】
【0031】
【図1】実施例1の文字情報提示制御装置を備えた携帯型情報端末の使用形態の例を説明する図である。
【図2】実施例1の文字情報提示制御装置を含む携帯型情報端末の構成を示すブロック図である。
【図3】実施例1の文字情報提示処理を説明するフローチャートである。
【図4】実施例1の文字情報提示制御を説明するフローチャートである。
【図5】文字情報の例を示す図である。
【図6】分割データの例を示す図である。
【図7】文字グループの例を示す図である。
【図8】仮想空間における文字グループと仮想カメラとの間の位置関係を示す図である。
【図9】文字グループの間隔及び文字表示率を示す図である。
【図10】文字情報の提示例を示す図である。
【図11】実施例2の文字情報提示制御装置を用いて撮影を行う際の使用形態の例を説明する図である。
【図12】実施例2の文字情報提示制御装置の構成を示すブロック図である。
【図13】実施例2の文字情報提示処理を説明するフローチャートである。
【図14】実施例2の文字情報提示制御を説明するフローチャートである。
【図15】音声認識手段の構成を示すブロック図である。
【図16】発声、音声認識及び文字情報提示の時間関係を説明する図である。
【発明を実施するための形態】
【0032】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。実施例1は、撮影を目的としない状況下で用いる文字情報提示制御装置において、ユーザの操作に従って、所定の文字グループ単位の文字情報をセンタリングし、所定サイズ、間隔、速度及び文字表示率にて、画面中央の奥側から手前側へ向けて連続してスクロール表示するものである。これにより、文字情報を視認する者は、センタリングされた文字情報を、所定の文字グループ単位に、画面中央の奥側から手前側への移動に伴って順番に認識することができるから、視線移動が少なくて済み、文字情報の視認性を向上させることができる。また、実施例2は、撮影を目的とする状況下で用いる文字情報提示制御装置において、実施例1と同様の形態で文字情報をスクロール表示することに加え、原稿を読み上げている発話者の読み上げ進捗タイミングに合わせて、発話の区切りに相当する一文単位に原稿の文字情報を表示するものである。これにより、発話者の視線移動が少なくなり、かつ、発話者の発話タイミングに合った文字情報を提示することができる。以下、実施例1,2について詳細に説明する。以下、文字情報とは、ユーザにより視認される文字、または発話者により発話される文字であり、句読点や記号を含む文字により構成される情報を意味する。
【0033】
〔実施例1〕
まず、実施例1について説明する。実施例1の文字情報提示制御装置は、撮影を目的としない状況において文字情報を提示する装置であり、ユーザの操作に従って提示される全体の文字情報を所定の文字グループ単位の文字情報に区分してセンタリングし、所定サイズ、間隔、速度及び文字表示率にて、文字グループ単位に画面中央の奥側から手前側へ向けてスクロール表示する機能を有する。
【0034】
図1は、実施例1の文字情報提示制御装置を備えた携帯型情報端末の使用形態の例を説明する図である。携帯型情報端末2は、小型ディスプレイ及び操作キーを備え、ユーザ3による操作に従い、文書を作成して電子メールを送受信したり、キーワードを入力してWeb画面を検索したりする通常の携帯電話機の機能を有し、さらに、実施例1の文字情報提示制御装置1−1(図示せず)を備えている。携帯型情報端末2は、受信した電子メール及び検索したWebデータ等の文字情報を、文字情報提示制御装置1−1(図示せず)を介して小型ディスプレイに出力して表示する。ユーザ3は、携帯型情報端末2の小型ディスプレイにより、電子メール及びWebデータ等の文字情報を視認することができる。
【0035】
図2は、実施例1の文字情報提示制御装置1−1を含む携帯型情報端末2の構成を示すブロック図である。この携帯型情報端末2は、通信部60、文字情報提示制御装置1−1及び表示部70を備えている。
【0036】
通信部60は、ユーザ3により作成された電子メールを送信する機能、電子メールを受信する機能、ユーザ3のキー操作により指定された検索ワード等を送信し、Webデータを受信する機能等を有する。また、通信部60は、電子メール、Webデータ等を外部から受信し、ユーザ3へ提示する文字情報を抽出し、文字情報提示制御装置1−1に出力する。抽出された文字情報は、文字情報提示制御装置1−1において所定の形態の文字情報に変換され、文字情報の映像信号として表示部70に出力される。ユーザ3は、表示部70により、携帯型情報端末2が受信した電子メール、Webデータ等の文字情報を視認する。
【0037】
(文字情報提示制御装置)
文字情報提示制御装置1−1は、記憶部10、文字情報分割部20、操作入力部30及び文字情報提示部40を備えている。文字情報提示部40は、提示制御手段41、リアルタイムCG描画手段42及びモーラ辞書43を備えている。文字情報提示制御装置1−1は、通信部60から文字情報を入力し、所定の形態の文字情報に変換し、映像信号として表示部70に出力する。
【0038】
図3は、実施例1の文字情報提示処理を説明するフローチャートであり、図4は、実施例1の文字情報提示制御を説明するフローチャートである。以下、図3及び図4のフローチャートを参照して、図2に示す文字情報提示制御装置1−1の各構成部の処理について説明する。
【0039】
(1.文字情報の準備)
文字情報提示制御装置1−1は、通信部60から文字情報を入力し、記憶部10に格納する(ステップS301)。図5は、文字情報の例を示す図である。記憶部10には、例えば図5に示す文字情報「まず、ガソリン税などの暫定税率を維持するとした税制関連法の成立です。」が格納される。
【0040】
(2.分割データの生成)
文字情報分割部20は、日本語辞書(図示せず)を備えており、記憶部10から文字情報を読み出し、日本語辞書を用いて、文字情報を文節及び単語に区切って分割データに変換し、分割データ(文節、単語)を文字情報提示部40に出力する。
【0041】
具体的には、文字情報分割部20は、日本語係り受け解析手法により、日本語辞書に登録された単語、品詞、文節区切り等の情報を参照して学習されたSVM(Support Vector Machine)のパターン認識手法を利用し、入力した文字情報を、連続した複数の単語からなる文節に区切り、文節と文節の間に<b>等のマーカーを挿入する(ステップS302)。日本語係り受け解析手法として、例えば、公知の日本語係り受け解析器(「CaboCha」、<http://chasen.org/~taku/software/cabocha/>を参照)が用いられる。また、文字情報分割部20は、形態素解析手法により、日本語辞書に登録された単語情報を参照して、入力した文字情報を、最小単位の形態素(単語)に区切り、単語と単語の間に空白(スペース)を挿入する(ステップS303)。形態素解析手法として、例えば、公知の形態素解析器(「ChaSen」、<http://chasen-legacy.sourceforge.jp/>を参照)が用いられる。
【0042】
図6は、文字情報が文節及び単語に区切られた場合の分割データの例を示す図である。図6に示すように、単語は、空白(スペース)に挟まれており、文節は、<b>のマーカーに挟まれている。このように、文字情報分割部20は、文字情報を構成する個々の文節及び単語に対し、その前後に空白等の識別情報を挿入し、文節、単語及び識別情報を含む分割データを出力する。
【0043】
(3.文字情報提示の準備)
次に、文字情報提示部40は、文字情報分割部20から分割データを入力し、文字情報を映像信号として表示部70に出力するための文字情報提示の準備を行う。ステップS304〜ステップS306において、分割データを構成する単語を、発音辞書(図2には図示せず)及びモーラ辞書43に登録する辞書登録処理が行われる。また、ステップS307〜ステップS312において、分割データを文節毎の文字グループに分け、3次元の仮想空間内に文節毎の文字グループを配置する等の処理が行われる。
【0044】
(3.1 発音辞書登録、モーラ辞書作成)
文字情報提示部40のリアルタイムCG描画手段42は、文字情報分割部20から分割データを入力し、分割データに含まれる空白で挟まれた単語を取り出し、取り出した単語と、発音辞書及びモーラ辞書43に既に登録されている単語とを比較し、未登録の単語を抽出する(ステップS304)。そして、リアルタイムCG描画手段42は、抽出した未登録単語を発音辞書に登録する(ステップS305)。また、リアルタイムCG描画手段42は、抽出した未登録単語のモーラ数を手動または自動にて設定し、未登録単語及びそのモーラ数をモーラ辞書43に登録することにより、新たなモーラ辞書43を作成する(ステップS306)。モーラ辞書43は、単語及びその単語のモーラ数が対応して、単語毎に格納されている。ここで、リアルタイムCG描画手段42は、手動にてモーラ数を設定する場合、未登録単語を表示部70に出力し、ユーザ3のキー操作により入力されたモーラ数をモーラ辞書43に登録する。一方、自動にてモーラ数を設定する場合、未登録単語から音素(母音、撥音、促音及び長母音)を特定し、その音素をカウントしてモーラ数を算出し、算出したモーラ数を未登録単語と共にモーラ辞書43に登録する。モーラ数は、単語を発音するために必要な拍数、すなわち音の区切り数である。このようにして作成されたモーラ辞書43は、後述するステップS309において用いられる。
【0045】
(3.2 文字グループ化)
リアルタイムCG描画手段42は、入力した分割データに対し、単語と単語の間に挿入された空白を除去し、<b>のマーカーで挟まれた文節を、1つの文字グループとして設定する(ステップS307)。図7は、文字グループの例を示す図である。図7に示すように、文字グループは、かぎ括弧で挟まれた文字列である。例えば、文節「まず、」の文字グループは、「まず」の文字及び読点「、」により構成されている。このように、リアルタイムCG描画手段42は、分割データから文節を取得し、文節毎の文字グループを設定する。尚、リアルタイムCG描画手段42は、文節毎の文字グループではなく、所定単位の文字グループを設定するようにしてもよい。文節よりも長い単位の文字グループを設定するようにしてもよいし、文節よりも短い単位の文字グループを設定するようにしてもよい。要するに、ユーザ3が視認しやすい単位の文字グループであればよい。
【0046】
(3.3 センタリングのための句読点処理)
リアルタイムCG描画手段42は、文字グループのセンタリングのために句読点処理を行う(ステップS308)。具体的には、リアルタイムCG描画手段42は、文字グループに対し、文字グループの終わりが「。」または「、」等の句読点であるか否かを判定し、句読点であると判定した場合、後述するステップS310における文字グループの仮想空間配置処理にて、文字グループ内で句読点以外の文字情報をセンタリングするために、文字グループの文頭に半角の空白を挿入する。これは、半角の空白を挿入しない場合は、文字グループをセンタリングしても、文字グループ内で句読点以外の文字情報が句読点によって中央から左へずれてしまうからであり、半角の空白を挿入することにより、全角の文字情報により構成された文字グループは全体として右に半角ずれることになり、結果として文字グループ内で句読点以外の文字情報がセンタリングされることになるからである。例えば、リアルタイムCG描画手段42は、文字グループ「まず、」に対し、文字グループの終わりが読点「、」であると判定し、この文字グループ内で読点以外の文字情報「まず」をセンタリングするために、文字グループの文頭に半角の空白を挿入する。
【0047】
一方、リアルタイムCG描画手段42は、文字グループの終わりが句読点でないと判定した場合、または、後述するステップS310における文字グループの仮想空間配置処理にて、文字グループの終わりの句読点を除去した状態で文字グループに含まれる文字情報をセンタリングして仮想空間に配置する場合、前述の半角の空白を挿入する処理を行わない。
【0048】
(3.4 文字情報提示間隔設定)
リアルタイムCG描画手段42は、文字グループ毎にモーラ数をカウントし、後述するステップS310において文字グループが3次元の仮想空間内に配置された場合の文字グループの間隔を設定する(ステップS309)。
【0049】
ここで、文字グループの間隔とは、3次元の仮想空間において、文字グループから次に配置される奥側の文字グループまでの間の空間的な距離である。文字グループに含まれる文字情報の数(文字数)は異なるため、文字グループを発声する時間が文字グループ毎に異なる。このため、仮に、全ての文字グループが3次元の仮想空間に等間隔で配置された場合には、文字数の多い文字グループが提示された後に、文字数の少ない文字グループが提示されると、文字グループの提示を受けたユーザ3は、これらの文字グループの間隔が短いように感じてしまう。逆に、文字数の少ない文字グループが提示された後に、文字数の多い文字グループが提示されると、ユーザ3は、これらの文字グループの間隔が長いように感じてしまう。このように、全ての文字グループが3次元の仮想空間に等間隔で配置された場合には、文字グループを構成する文字記号列の長さに応じて時間的な感覚が変わってしまうという不具合が生じる。そこで、文字グループを発声するのに要する時間に基づいて、文字グループの間隔を設定することとし、文字グループを発声するのに要する時間として、文字グループのモーラ数を基準とすることとした。
【0050】
リアルタイムCG描画手段42は、入力した分割データに含まれる空白を基準にして、文字グループから単語を抽出し、ステップS306において作成したモーラ辞書43を検索して単語のモーラ数を読み出し、文字グループを構成する全ての単語のモーラ数を合計し、文字グループのモーラ数を算出する。図7に示した文字グループの例のモーラ数は、「まず、」が2、「ガソリン税などの」が9、「暫定税率を」が9、「維持すると」が5、「した」が2、「税制関連法の」が11、「成立です。」が6となる。
【0051】
リアルタイムCG描画手段42は、文字グループについて算出したモーラ数の合計に応じて、その文字グループと次に配置される奥側の文字グループとの間隔を設定する。例えば、リアルタイムCG描画手段42は、文字グループのモーラ数が大きい場合は、それに比例して文字グループの間隔が広くなるように設定し、文字グループのモーラ数が小さい場合は、それに比例して文字グループの間隔が狭くなるように設定する。尚、リアルタイムCG描画手段42は、算出した文字グループのモーラ数に基づいて、その文字グループと前に配置される手前側の文字グループとの間隔を設定するようにしてもよい。また、文字グループを構成する文字の数等に基づいて、文字グループの間隔を設定するようにしてもよい。ここで、文字グループの間隔は比であり、実際に文字情報を提示する際に、基準となるcm、ピクセル、グリッド等の単位に応じて、仮想空間上における実際の間隔が規定される。
【0052】
後述するステップS310において文字グループが仮想空間内に配置された場合、ユーザ3が文字グループを視認する際の距離感覚は、スケール、仮想カメラの撮影画角等により変わってしまう。そこで、リアルタイムCG描画手段42は、例えば以下の式(1)により、モーラ数の合計に係数kを乗算し、文字グループの間隔を設定するようにしてもよい。
文字グループの間隔=k×(モーラ数の合計) ・・・(1)
【0053】
また、リアルタイムCG描画手段42は、後述するステップS313の文字情報提示処理において提示される文字情報の重なり具合や奥行感等に応じた間隔係数kを、前述のモーラ数の合計に乗算する等により、文字数の少ない文字グループまたは文字数の多い文字グループの間隔を平準化するようにしてもよい。例えば、以下の式(2)により、文字グループの間隔を設定する。
文字グループの間隔=k×((モーラ数の合計/1.5)+2) ・・・(2)
【0054】
リアルタイムCG描画手段42が、前述の式(2)を用いて、文字グループの間隔を設定することにより、文字グループのモーラ数が所定数未満の場合、すなわち文字列が比較的短い文字グループに対しては、その短さに応じた間隔よりも若干広く設定することができ、文字グループのモーラ数が所定数を超える場合、すなわち文字列が比較的長い文字グループに対しては、その長さに応じた間隔よりも若干狭く設定することができる。つまり、後述するステップS313の文字情報提示処理において提示される文字情報の重なり具合や奥行感等に応じて、ユーザ3が不具合を感じることなく文字情報を視認できるように、文字グループの間隔を平準化することができる。
【0055】
前述のとおり、リアルタイムCG描画手段42は、文字グループから単語を抽出し、モーラ辞書43に登録された単語毎のモーラ数を合計することにより、文字グループのモーラ数を算出するようにした。ここで、アラビア数字による文字情報は、組み合わせが無限にあるため、全てのモーラ数をモーラ辞書43に登録することは難しいが、漢数字のモーラ数は予め登録しておくことが可能である。そこで、リアルタイムCG描画手段42は、アラビア数字のモーラ数を一旦漢数字に変換し、モーラ辞書43から漢数字のモーラ数を読み出し、各漢数字毎のモーラ数を合算するようにしてもよい。これにより、どのような数字の組み合わせであっても、文字グループのモーラ数を算出することができる。例えば、リアルタイムCG描画手段42は、文字グループから「5236」を抽出した場合、このアラビア数字「5236」を漢数字「五千二百三十六」に変換し、モーラ辞書43からそれぞれのモーラ数を読み出し、五(1)千(2)二(1)百(3)三(2)十(3)六(2)=14モーラとして算出する。また、句読点は実際の文を人が読み上げる際に「間」となることが多いため、例えば、「、」=4モーラ、「。」=10モーラのように、句読点にモーラ数を割り当てるようにしてもよい。これにより、実際の文を読み上げたときのテンポに近くなるように、文字グループの間隔を策定することができる。
【0056】
(3.5 文字グループの仮想空間配置)
ユーザ3または文字情報提示制御装置1−1を調整するオペレータによって、それぞれの文字グループが1つのオブジェクトとして扱われ、3次元の仮想空間内に配置される(ステップS310)。図8は、仮想空間における文字グループと仮想カメラとの間の位置関係を示す図である。図8に示すように、文字グループ及び仮想カメラが3次元の仮想空間内に配置されることを想定する。仮想カメラにより撮影された文字グループの映像は映像信号として表示部70に出力され、その映像が表示される。仮想カメラにより撮影される文字グループの映像、すなわち表示部70に表示される画面は、公知の3次元グラフィック描画ソフトウェアにより、仮想カメラの位置、厚みのないプレートとしての文字グループの配置、文字表示率等の予め設定されたパラメータを用いて生成することができる。図8に示すように、3次元の仮想空間内に配置された仮想カメラが、仮想空間の底面に平行した光軸、または仮想空間の底面へ向けてやや下向きの光軸を有するものとする。そして、ステップS308にて句読点処理された文字グループは、仮想カメラの光軸に対して垂直または所定角度に、かつ底面から同じ高さになるように、仮想カメラに対して手前から奥へ向けて、ステップS309にて設定された文字グループの間隔により、センタリングして配置される。このように配置された文字グループは、仮想カメラへ向けて(奥側から手前側へ向けて)スクロール表示される。
【0057】
この場合、文字グループは、仮想カメラへ向けてスクロールしたときに、滑らかに迫り上がるように配置されることが望ましい。前述したように、仮想空間の底面に平行に文字グループが配置された場合には、表示部70に文字グループがスクロール表示されたときにユーザ3の視線が下へ移動する可能性がある。しかし、文字グループが滑らかに迫り上がるように配置された場合には、文字グループは、表示部70の画面中央付近でフェードアウトして消失することになり、ユーザ3の視線は上下に移動しなくなる。これにより、ユーザ3の視線移動は一層少なくなり、文字情報の視認性を一層向上させることができる。尚、リアルタイムCG描画手段42によって、ステップS308にて文字グループの句読点処理が行われない場合、文字グループの終わりの句読点を除去した文字グループに含まれる文字情報をセンタリングして配置される。
【0058】
(3.6 仮想カメラ位置の設定)
ユーザ3またはオペレータは、後述するステップS312において設定される文字表示率0%の区間位置(仮想カメラから奥側の位置に設定される文字表示率0%の区間位置)のいずれかの位置に仮想カメラの注視点を設定することにより、3次元の仮想空間内に配置された仮想カメラの高さを、ステップS310において配置した文字グループの高さよりもやや高い位置に調整し、また、仮想カメラの画角を調整する。すなわち、仮想カメラによって文字グループを僅かに見下ろして撮影することができるように、仮想カメラの位置を設定する(ステップS311)。これにより、後述するステップS313の文字情報提示処理において、表示部70には、3次元の仮想空間内の仮想カメラにより撮影されたときの文字グループ単位の文字情報が提示されるから、ユーザ3は、表示部70の表示により、文字グループ間では重なっているが、前後関係が分かるように文字情報を視認することができる。すなわち、仮想カメラが撮影する文字グループは、奥に配置されるほど遠近法により小さくなるから、ユーザ3は、直感的に文字グループの前後関係が分かるようになる。
【0059】
(3.7 文字表示率の設定)
ユーザ3またはオペレータによって、3次元の仮想空間に配置される文字グループ毎の文字情報の透過率(文字表示率)が、仮想カメラからの距離に応じて変化するように設定される(ステップS312)。文字表示率は、重なり合う文字情報の視認性を向上させるために設定される。具体的には、例えば、仮想カメラに最も近い位置で0%の文字表示率、すなわち完全透過状態になるように設定され、仮想カメラから離れるに従って徐々に上がるように文字表示率が設定される。そして、最大で80%の文字表示率とし、最も視認性が高い状態でもその文字グループの奥の文字グループが透けて見えるように設定される。そして、最大文字表示率80%が一定区間に設定され、その区間を過ぎると、今度は逆に徐々に下がるように設定される。最終的には0%の文字表示率、すなわち非表示状態に設定される。
【0060】
図9は、文字グループの間隔及び文字表示率を示す図である。横軸の矢印は、文字グループ単位の文字情報がスクロールにより進行する方向を示しており、縦軸は、文字表示率を示している。山型の台形の特性をしたグラフが、横軸の文字グループ位置に対する文字表示率である。また、文字グループ間の数字は、文字グループのモーラ数を示している。
【0061】
このように、文字表示率は、仮想カメラから所定距離離れた位置で最大の80%に設定され、その位置から仮想カメラに向けて徐々に下がり、最も近い位置で0%に設定される。したがって、後述するステップS313の文字情報提示処理において、ユーザ3は、表示部70により、手前側に移動するに従って徐々に薄くなるように、文字グループ単位の文字情報を視認することができる。また、文字表示率は、仮想カメラから所定距離離れた位置において、最大で100%ではなく80%に設定されるから、ユーザ3は、その位置よりも奥側に配置される文字グループを視認することができる。
【0062】
尚、文字グループの仮想空間配置(ステップS310)、仮想カメラ位置の設定(ステップS311)及び文字表示率の設定(ステップS312)における各種パラメータの設定は、ユーザ3またはオペレータにより行われるものとして説明したが、携帯型情報端末2の製造時においてメーカーによりプリセットとして設定されるようにしてもよい。また、携帯型情報端末2の通信部60が、これらのパラメータが挿入された電子メール、Webデータ等を外部の装置から受信し、電子メール、Webデータ等からパラメータを抽出して記憶部10に格納し、リアルタイムCG描画手段42が、記憶部10からパラメータを読み出し、ステップS310〜ステップS312の設定を行うようにしてもよい。また、これらのパラメータは、ユーザ3による携帯型情報端末2の操作により、視聴環境の変化、自らの好み等に応じて変更されるようにしてもよい。
【0063】
(4.文字情報の提示)
文字情報提示部40は、ステップS304〜ステップS312による文字情報提示の準備が完了した後、操作入力部30から始動制御信号を入力し、仮想空間内に配置された文字グループをスクロール制御し、仮想カメラが文字グループ単位の文字情報を仮想的に撮影したときの映像信号を生成し、表示部70に出力する(ステップS313)。
【0064】
図10は、表示部70に表示された文字情報の提示例を示す図である。図10に示すように、文字グループ単位の文字情報は、センタリングされた状態で画面中央の奥側から手前側へ向けて徐々に大きくなり、かつ、徐々に薄くなるように重なって表示される。これにより、ユーザ3は、仮想空間内に配置された仮想カメラが文字グループ単位の文字情報を仮想的に撮影したときの映像を、図10に示した形態で表示部70により見ることができ、画面に表示される全ての文字グループ単位の文字情報を視認することができる。
【0065】
(5.文字情報提示制御)
次に、文字グループ単位の文字情報を表示部70にスクロール表示するための、文字情報提示制御について説明する。この文字情報提示制御は、携帯型情報端末2に備えた始動制御スイッチをユーザ3が操作することにより行われる。文字情報提示部40は、始動制御スイッチの操作に従って発生する始動制御信号を操作入力部30から入力し、始動制御信号に基づいて、文字情報のスクロールを開始及び停止する。文字情報のスクロールは、予め設定された再生速度にて行われ、再生速度は、ユーザ3により設定される。
【0066】
また、スクロールの停止点については、全体の文字情報における句点までとするか、または全体の文字情報の終わりまでとするかが、ユーザ3により設定される。つまり、操作入力部30は、ユーザ3による開始の始動制御スイッチの操作に従って、開始の始動制御信号を文字情報提示部40に出力する。文字情報提示部40の提示制御手段41は、操作入力部30から開始の始動制御信号を入力すると、スクロールを開始するための制御信号をリアルタイムCG描画手段42に出力する。リアルタイムCG描画手段42は、提示制御手段41により出力されたスクロールを開始するための制御信号に基づいて、文字情報のスクロールを開始し、3次元の仮想空間内でスクロールする文字グループ単位の文字情報を仮想カメラが撮影したときの映像を生成し、映像信号として表示部70に出力する。これにより、ユーザ3は、表示部70の画面中央の奥側から手前側へ向けてスクロールする、連続した文字グループ単位の文字情報を視認することができる。この文字グループ単位の文字情報は、画面の横軸の中央に文字グループの中央が位置するようにセンタリングされ、新たな文字グループ単位の文字情報が画面中央の奥側から出現し、手前側へ向けてスクロールした後に消失する。
【0067】
そして、提示制御手段41は、スクロールの停止点が句点に設定されている場合、句点を含む文字グループがスクロールして手前から消失した時点で、すなわち表示部70に表示されなくなった時点で、スクロールを停止するための制御信号をリアルタイムCG描画手段42に出力する。リアルタイムCG描画手段42は、提示制御手段41により出力されたスクロールを停止するための制御信号に基づいて、スクロールを停止する。この場合、リアルタイムCG描画手段42は、句点を含む文字グループがスクロールして手前から消失した時点、すなわち表示部70に表示されなくなった時点を判定し、提示制御手段41からのスクロールを停止するための制御信号に基づくことなく、スクロールを停止するようにしてもよい。ユーザ3が表示部70によりスクロールの停止を認識し、続きの文字情報を読みたい場合は、再度、開始の始動制御スイッチを操作する。そうすると、操作入力部30は開始の始動制御信号を出力し、リアルタイムCG描画手段42は、提示制御手段41により出力されたスクロールを開始するための制御信号に基づいて、引き続き文字情報のスクロールを開始する。
【0068】
また、提示制御手段41は、スクロールの停止点が全体の文字情報の終わりに設定されている場合、全体の文字情報を構成する全ての文字グループがスクロールして手前から消失した時点で、すなわち表示部70に表示されなくなった時点で、スクロールを停止するための制御信号をリアルタイムCG描画手段42に出力する。リアルタイムCG描画手段42は、提示制御手段41により出力されたスクロールを停止するための制御信号に基づいて、スクロールを停止する。
【0069】
尚、前記説明では、スクロールの停止点を、全体の文字情報における句点、または全体の文字情報の終わりとしたが、後述する実施例2にて説明する一文の終わりとしてもよい。スクロールの停止点は、ユーザ3により設定される。
【0070】
また、文字情報がスクロールしているときに、ユーザ3がそのスクロールを一時停止したい場合、一時停止の始動制御スイッチを操作する。そうすると、操作入力部30は、一時停止の始動制御信号を提示制御手段41に出力する。提示制御手段41は、スクロールを途中で停止する場合、操作入力部30からの一時停止の始動制御信号の入力タイミングにて、スクロールを停止するための制御信号をリアルタイムCG描画手段42に出力する。一方、提示制御手段41は、最初に現れる句点まで表示した後にスクロールを停止する場合、最初に現れる句点を含む文字グループがスクロールして手前から消失した時点で、スクロールを停止するための制御信号をリアルタイムCG描画手段42に出力する。リアルタイムCG描画手段42は、提示制御手段41により出力されたスクロールを停止するための制御信号に基づいて、スクロールを停止する。そして、ユーザ3が一時停止を解除して続きの文字情報を読みたいと判断した場合は、再度、始動制御スイッチを操作する。このように、ユーザ3の意思に従って、スクロールの開始、所定の停止点での自動停止、及びスクロール途中の一時停止を実現することができる。
【0071】
図4を参照して、文字情報提示制御装置1−1が提示待機状態にあるときに(ステップS401)、文字情報提示部40の提示制御手段41は、ユーザ3の操作に従って、開始の始動制御信号を操作入力部30から入力する(ステップS402)。リアルタイムCG描画手段42は、提示制御手段41からの開始の制御信号に基づいて、文字グループ単位の文字情報の提示処理、すなわちスクロール処理を開始する(ステップS403)。これにより、文字グループ単位の文字情報が表示部70にスクロール表示され、ユーザ3は文字情報を認識することができる。
【0072】
操作入力部30は、ユーザ3により再生速度が設定変更されたか否かを判定し(ステップS404)、設定変更されたと判定した場合(ステップS404:Y)、設定変更された再生速度を文字情報提示部40に出力する(ステップS405)。一方、設定変更されていないと判定した場合(ステップS404:N)、ユーザ3による一時停止の操作入力があったか否かを判定する(ステップS406)。再生速度の設定変更は、文字情報が提示されている状態だけでなく、提示待機している状態においても可能である。
【0073】
操作入力部30は、ステップS406において、一時停止の操作入力があったと判定した場合(ステップS406:Y)、一時停止の始動制御信号を文字情報提示部40に出力する。そして、文字情報提示部40のリアルタイムCG描画手段42は、提示制御手段41からの停止の制御信号に基づいて、スクロールを一時停止する(ステップS407)。これにより、文字情報提示制御装置1−1は提示待機状態になる。そして、文字情報提示部40の提示制御手段41は、ユーザ3の操作に従って、開始の始動制御信号を操作入力部30から入力すると、リアルタイムCG描画手段42は、提示制御手段41からの開始の制御信号に基づいて、引き続き文字情報の提示処理、すなわちスクロール処理を再開する(ステップS408)。そして、ステップS409へ移行する。一方、提示制御手段41は、ステップS406において、操作入力部30により一時停止の操作入力がないと判定した場合(ステップS406:N)、ステップS409へ移行する。
【0074】
提示制御手段41は、リアルタイムCG描画手段42に、所定位置でスクロールを停止させ、文字情報提示処理を停止させる。すなわち、リアルタイムCG描画手段42は、全体の文字情報における句点を含む文字グループまでのスクロールを行った後に、または、全体の文字情報の終わりの文字グループまでのスクロールを行った後に、提示制御手段41からの停止の制御信号に基づいて、スクロールを停止する(ステップS409)。そして、提示制御手段41は、次の文が存在するか否かを判定する(ステップS410)。次の文が存在すると判定した場合(ステップS410:Y)、ユーザ3により設定されたスクロールの停止点が全体の文字情報における句点か、または全体の文字情報の終わりかを判定し、すなわち句点毎の提示待機があるか否かを判定し(ステップS411)、スクロールの停止点が句点であると判定した場合、すなわち句点毎の提示待機があると判定した場合(ステップS411:Y)、ステップS401へ移行する。一方、スクロールの停止点が全体の文字情報の終わりであると判定した場合、すなわち句点毎の提示待機がないと判定した場合(ステップS411:N)、ステップS403へ移行する。ステップS410において、次の文が存在しないと判定した場合(ステップS410:N)、処理を終了する。
【0075】
尚、携帯型情報端末2の通信部60が外部から受信した電子メール、Webデータ等に、間(ま)、再生速度、文字グループの仮想空間配置、仮想カメラ位置、文字表示率等を制御するコマンドが挿入されている場合には、文字情報提示部40のリアルタイムCG描画手段42は、コマンドから間の情報を抽出し、その間に応じた文字間隔になるように文字グループの間隔を設定するようにしてもよい。また、リアルタイムCG描画手段42は、コマンドから再生速度を抽出し、その再生速度を用いてスクロールするようにしてもよい。また、リアルタイムCG描画手段42は、コマンドから文字グループの仮想空間配置、仮想カメラ位置、文字表示率の各パラメータを抽出し、これらのパラメータを設定するようにしてもよい。これにより、電子メール、Webデータ等を携帯型情報端末2へ送信する外部の装置は、携帯型情報端末2における文字情報の表示制御を、意図的に調整することができる。つまり、携帯型情報端末2の文字情報提示制御装置1−1が一律な文字情報を提示するのではなく、外部の装置が、当該装置を操作するユーザにより想定された文字情報に関するニュアンス(文字グループの間隔、スクロールの速度(再生速度)、文字情報を構成する文字の間隔、大きさ、形態等)をコマンドに反映し、文字情報提示制御装置1−1がそのコマンドに基づいて文字情報を提示する。これにより、受け側である携帯型情報端末2のユーザ3は、外部の装置を操作するユーザによる文字情報に関するニュアンスを、表示部70におけるスクロールの変化によって読み取ることが可能となる。
【0076】
実施例1による文字情報提示制御装置1−1について、携帯型情報端末2を例にして説明したが、文字情報提示制御装置1−1は、携帯型情報端末2に限らず、卓上のコンピュータ用ディスプレイ、テレビ受像装置等にも適用することができる。この場合、ユーザ3は、コンピュータのマウス、テレビ受像装置のリモコン等を使って、文字情報をスクロール制御するための操作を行うことができる。
【0077】
以上のように、実施例1の文字情報提示制御装置1−1によれば、文字情報提示部40のリアルタイムCG描画手段42は、文字グループ単位の文字情報を、画面の手前側から奥側へ向けてセンタリングしてレイアウトした形態で、奥側から手前側へ向けてスクロールし、表示部70に表示するようにした。これにより、ユーザ3は、文字グループ単位に、手前側にスクロールする文字情報を視認することができる。文字グループ単位の文字情報は、所定のサイズ、間隔、速度及び文字表示率にて、画面中央の奥側から手前側へ向けてセンタリングされて移動する。そして、文字グループ単位の文字情報は、画面中央の最も奥から出現し、スクロールして最も手前に表示された後、表示部70から消失する。したがって、ユーザ3は、自ずと表示部70の中心を見るようになり、視線移動が少なくなり、文字情報の視認性を向上させることが可能となる。
【0078】
また、リアルタイムCG描画手段42は、文字グループ単位の文字情報を、手前側から奥側へ向け重ねて表示するようにした。また、奥側に位置する文字情報が遮蔽されることなく透過するような文字表示率にて、文字グループ単位の文字情報を表示するようにした。これにより、ユーザ3の視線移動は一層少なくなり、複数の文字グループ単位の文字情報における視認性を向上させることが可能となる。
【0079】
また、リアルタイムCG描画手段42は、文字グループ単位の文字情報を、画面の手前側から奥側へ向けて、図9に示したような山型の台形の特性を有する文字表示率にて表示するようにした。これにより、文字グループ単位の文字情報は、手前側へ移動するに従って徐々に薄くなるように表示される。また、最大の文字表示率は100%でないから、ユーザ3は、文字表示率が最も高い位置よりも奥側に位置する文字情報を視認することができる。したがって、画面表示される全体の文字情報の視認性を、一層向上させることができる。
【0080】
また、文字情報分割部20は、全体の文字情報を文節及び単語に区切り分割データを生成し、リアルタイムCG描画手段42は、分割データから文節を取得し、文節毎の文字グループを設定するようにした。これにより、文節毎に区切った文字グループ単位の文字情報は、文字グループの句読点処理、間隔を設定する処理、3次元の仮想空間へ配置する処理のための判断材料となり、スクロールの単位となる。また、ユーザ3は、表示部70にスクロール表示される文字情報を文節毎に視認するから、時間をかけることなく一目で読み切ることができる。
【0081】
また、リアルタイムCG描画手段42は、文字グループが全角の文字記号により構成されている場合、文字グループの終わりが句読点であるときに、その先頭に半角の空白を挿入するようにした。これにより、文字グループに含まれる文字情報がセンタリングされるから、文字情報を視認するユーザ3は、文字グループに応じて視線を左右に移動させる必要がない。したがって、視線移動を一層少なくすることができ、視認性を一層向上させることができる。
【0082】
また、リアルタイムCG描画手段42は、文字グループに含まれる文字情報のモーラ数または文字数を算出し、文字グループの間隔を設定するようにした。これにより、文字情報の長さに応じた間隔で文字グループがスクロール表示されるから、文字情報の視認性を一層向上させることが可能となる。
【0083】
また、リアルタイムCG描画手段42は、文字情報に含まれる単語がモーラ辞書43に登録されていない場合、その単語と、その単語を構成する文字数等に基づいて策定したモーラ数とを対応させてモーラ辞書43に登録するようにした。これにより、文字情報に新語、造語等が含まれている場合であっても、新たな単語の情報がモーラ辞書43に登録されるから、モーラ辞書43を用いた文字グループの間隔の設定処理は、正確に行われる。
【0084】
また、操作入力部30は、ユーザ3による開始の始動制御スイッチの操作に従って開始の始動制御信号を出力し、リアルタイムCG描画手段42は、開始の始動制御信号を入力する提示制御手段41からの開始の制御信号に基づいて、文字情報のスクロールを開始し、全体の文字情報の句点または終わりまでスクロールした後に停止するようにした。これにより、ユーザ3の意思に従ったスクロール表示を実現することができる。尚、停止位置は、全体の文字情報の句点または終わり以外に、所定位置、すなわち文の終わりまたは文節の終わりであってもよい。例えば、重文または複文の場合、重文または複文を構成するそれぞれの文の終わりであってもよい。
【0085】
また、操作入力部30は、文字情報がスクロールしている状態において、ユーザ3による一時停止の始動制御スイッチの操作に従って、一時停止の始動制御信号を出力し、リアルタイムCG描画手段42は、一時停止の始動制御信号を入力する提示制御手段41からの停止の制御信号に基づいて、スクロールを途中で停止するか、または最初に現れる句点までスクロールして停止するようにした。また、ユーザ3による開始の始動制御スイッチの操作に従って、スクロールを再開する。これにより、ユーザ3の意思に従って、スクロール表示を開始及び停止することができる。
【0086】
〔実施例2〕
次に、実施例2について説明する。実施例2の文字情報提示制御装置は、撮影を目的とする状況において文字情報を発話者へ提示する装置であり、実施例1と同様にして文字情報を提示する機能に加え、原稿を読み上げている発話者の読み上げ進捗タイミングに合わせて、発話の区切りに相当する一文単位に原稿の文字情報をスクロール表示する機能を有する。
【0087】
図11は、実施例2の文字情報提示制御装置を用いて撮影を行う際の使用形態の例を説明する図である。この使用形態の撮影システムは、テレビ放送局のスタジオにおいて、文字情報提示制御装置1−2から提示される原稿の文字情報を、撮影カメラ7のレンズ前方に設けられた透過型の表示装置6に表示し、表示装置6に表示された原稿の文字情報を発話者4が読み上げ、その発話者4を撮影カメラ7が撮影するシステムである。撮影カメラ7は、透過型の表示装置6を介して発話者4を撮影し、発話者4のカメラ映像をテレビ受像装置8へ出力する。
【0088】
文字情報提示制御装置1−2は、発話者4が読み上げる原稿の文字情報を、発話者4による読み上げ進捗タイミングに合わせて透過型の表示装置6へ出力する。具体的には、文字情報提示制御装置1−2は、発話者4による発話の音声信号をマイク5から入力し、音声信号を単語列に変換して原稿内の発話進捗を求め、発話者4が次に読み上げるべき原稿の文字情報を映像信号として、その進捗タイミングに合わせて表示装置6へ出力する。これにより、発話者4は、表示装置6により、発話者4が次に読み上げるべき原稿の文字情報を認識することができ、その文字情報に従って、所定の速度で原稿を読み上げることができる。
【0089】
透過型の表示装置6は、文字情報を表示する透過型液晶表示板と、透過型液晶表示板にて透過した文字情報を発話者4へ向けて反射するハーフミラーとを備えたプロンプタである。発話者4と撮影カメラ7との間の距離が約3〜5mであるため、撮影カメラ7の前方に設けられた表示装置6によって発話者4が文字情報を視認するには、表示装置6の画面の大きさが40インチ以上である必要がある。従来のプロンプタは、ディスプレイ画面が最大でも24インチ程度である。このため、図11に示した撮影システムに用いるプロンプタは、40インチ以上の大型ディスプレイとハーフミラーとを組み合わせた表示装置6とする必要がある。
【0090】
表示装置6におけるハーフミラーの中央を、発話者4が撮影される撮影カメラ7の光軸の中心に一致させる。これにより、表示装置6の文字情報を読み上げる発話者4は、自ずと撮影カメラ7のレンズを見ることになる。したがって、撮影カメラ7により撮影された発話者4の視線は不自然ではないから、発話者4の映像を見る視聴者は、発話者4があたかも自分に発話しているように感じ、違和感を受けることがない。
【0091】
(文字情報提示制御装置)
図12は、実施例2の文字情報提示制御装置1−2の構成を示すブロック図である。この文字情報提示制御装置1−2は、記憶部10、文字情報分割部20、文字情報提示部40及び始動制御部50を備えている。文字情報提示部40は、提示制御手段41、リアルタイムCG描画手段42及びモーラ辞書43を備えており、始動制御部50は、音声認識手段51及び動作判定手段52を備えている。文字情報提示制御装置1−2は、原稿の文字情報を分割して所定の文字グループを設定し、文字グループ単位の文字情報を、所定の形態の文字情報に変換し、すなわち、3次元の仮想空間内に配置された文字グループ単位の文字情報をスクロールし、その映像を仮想カメラに撮影させ、映像信号として出力する。また、文字情報提示制御装置1−2は、発話者4が原稿を読み上げているときの音声信号を入力し、3次元の仮想空間内に配置された文字グループ単位の文字情報のスクロールを、音声信号から変換した単語列に基づいて、発話の進捗タイミングに合うように制御する。
【0092】
図13は、実施例2の文字情報提示処理を説明するフローチャートであり、図14は、実施例2の文字情報提示制御を説明するフローチャートである。以下、図13及び図14のフローチャートを参照して、図12に示す文字情報提示制御装置1−2の各構成部の処理について説明する。
【0093】
(1.原稿の準備)
文字情報提示制御装置1−2の記憶部10には、発話者4が読み上げる原稿の文字情報が予め格納されている。原稿の文字情報は、例えば図5に示した文字で構成された情報である。
【0094】
(2.分割データの生成)
文字情報分割部20は、実施例1と同様に、記憶部10から原稿の文字情報を読み出し(ステップS1301)、日本語辞書を用いて、原稿の文字情報を文節及び単語に区切って分割データに変換し(ステップS1302,1303)、分割データ(文節、単語)を文字情報提示部40及び始動制御部50に出力する。尚、図13のステップS1301〜ステップS1303は、図3に示した実施例1のステップS301〜ステップS303と同様である。
【0095】
(3.文字情報提示の準備)
次に、文字情報提示部40は、実施例1と同様に、文字情報分割部20から分割データ(文節、単語)を入力し、文字情報を映像信号として表示装置6に出力するための準備を行う。また、始動制御部50は、文字情報分割部20から分割データ(文節、単語)を入力し、文字グループ単位の文字情報をスクロール制御するための準備を行う。ステップS1304〜ステップS1308において、分割データを構成する単語を、発音辞書(図12には図示せず)及びモーラ辞書43に登録する辞書登録処理が行われ、言語モデル及び音響モデル(図12には図示せず)の最適化が行われる。また、ステップS1309〜ステップS1314において、分割データを文節毎の文字グループに分け、3次元の仮想空間内に文字グループの文節を配置する等の処理が行われる。
【0096】
(3.1 単語辞書登録、モーラ辞書作成、言語モデル適応化、音響モデル適応化)
始動制御部50の音声認識手段51は、文字情報分割部20から分割データ(文節、単語)を入力し、分割データから単語を取り出し、取り出した単語と、発音辞書に登録されている単語とを比較し、未登録の単語を抽出する(ステップS1304)。そして、音声認識手段51は、抽出した未登録単語を発音辞書に登録する(ステップS1305)。これにより、発音辞書に登録されていない新語または造語等の単語が原稿に存在する場合、発音辞書に予め登録することができる。また、文字情報提示部40のリアルタイムCG描画手段42も同様に、モーラ辞書43の作成のために未登録の単語を抽出する。
【0097】
リアルタイムCG描画手段42は、抽出した未登録単語のモーラ数を手動または自動にて設定し、未登録単語及びそのモーラ数をモーラ辞書43に登録することにより、新たなモーラ辞書43を作成する(ステップS1306)。モーラ数及びモーラ辞書43については実施例1において説明済みであるから、ここでは説明を省略する。このようにして作成されたモーラ辞書43は、後述するステップS1311において用いられる。尚、図13のステップS1304〜ステップS1306は、図3に示した実施例1のステップS304〜ステップS306と同様である。
【0098】
また、音声認識手段51は、言語面からみた単語間の類似度(言語スコア)を算出するために、未登録単語の言語パターンを言語モデルに予め登録し、言語モデルの適応化を図る(ステップS1307)。また、音声認識手段51は、音響面からみた単語間の類似度(音響スコア)を算出するために、必要に応じて、予め同一の発話者4による発話の音声信号を入力し、未登録単語の周波数パターンを音響モデルに登録し、音響モデルの適応化を図る(ステップS1308)。
【0099】
このような事前学習による言語モデル及び音響モデルの適応化は、発話者4の発話を事前に録音することができる場合に行われる。このような適応化を図ることにより、音声認識手段51が音声信号を単語列に変換する際の音声認識精度を高めることができ、音声認識手段51は、入力した原稿の音声信号を、100%に近い音声認識精度で単語列に変換することができる。このため、発話者4による原稿の読み上げ音声に基づいた音声認識出力、すなわち、音声認識手段51により変換された単語列に基づいて、文字情報の提示制御を実現することができる。尚、発音辞書、言語モデル及び音響モデルを用いた音声認識手段51の処理については後述する。
【0100】
(3.2 文字グループ化)(3.3 センタリングのための句読点処理)(3.4 文字情報提示間隔設定)(3.5 文字グループの仮想空間配置)(3.6 仮想カメラ位置の設定)(3.7 文字表示率の設定)
これらの処理は、実施例1と同様である。すなわち、リアルタイムCG描画手段42は、入力した分割データ(文節、単語)から、文節を1つの文字グループとして設定し(ステップS1309)、文字グループをセンタリングするために、文字グループの終わりが「。」または「、」等の句読点の場合、文字グループの先頭に半角の空白を挿入して句読点処理を行う(ステップS1310)。リアルタイムCG描画手段42は、モーラ辞書43を用いて文字グループ毎にモーラ数をカウントし、文字グループを3次元の仮想空間内に配置した場合の文字グループの間隔を設定する(ステップS1311)。そして、文字グループが3次元の仮想空間内に配置され(ステップS1312)、3次元の仮想空間内の仮想カメラの位置(高さ及び画角)が設定される(ステップS1313)。また、3次元の仮想空間に配置される文字グループ毎の文字表示率が、仮想カメラからの距離に応じて変化するように設定される(ステップS1314)。尚、図13のステップS1309〜ステップS1314は、図3に示した実施例1のステップS307〜ステップS312と同様である。
【0101】
(4.文字情報の提示)
文字情報提示部40は、ステップS1309〜ステップS1314による文字情報提示の準備が完了した後、始動制御部50から始動制御信号を入力し、仮想空間内に配置した文字グループをスクロール制御し、仮想カメラが文字グループ単位の文字情報を仮想的に撮影したときの映像信号を生成し、表示装置6に出力する(ステップS1315)。尚、図13のステップS1315は、図3に示した実施例1のステップS313と同様である。
【0102】
(5.文字情報提示制御)
次に、原稿を読み上げる発話者4の発話進捗タイミングに合った文字グループ単位の文字情報をスクロールし、その映像信号を表示装置6に出力するための文字情報提示制御について説明する。この文字情報提示制御は、文字情報提示部40がスクロールを開始及び停止する制御であり、始動制御部50により生成された始動制御信号に基づいて、一文毎に、予め設定された再生速度にて行われる。例えば、8モーラ/秒の再生速度にて行われる。再生速度は、文字グループ単位の文字情報が画面中央の奥側から手前側へ向けて移動する速度であり、文字グループの間隔は、文字グループのモーラ数に基づいて決定される。つまり、8モーラ/秒の再生速度とは、例えば8モーラ数の文字グループの間隔を、1秒で移動する速度である。始動制御信号は、表示装置6に表示された原稿の文字情報を発話者4が読み上げているときの進捗タイミングに合わせて、発話者4が次に読み上げるべき一文の文字情報がスクロールして表示されるように、発話者4の音声信号及び原稿の分割データに基づいて生成される。
【0103】
ここで、一文とは、基本的には主語と述語(一方が省略されることもある)からなる、一つの完結した言明を表す言語表現の単位をいい、文の始めから終わりまでをいう。例えば、文の始めから最初に現れる句点「。」までの文字情報をいい、複数の文字グループにより構成される。図5に示した例では、「まず、ガソリン税などの暫定税率を維持するとした税制関連法の成立です。」が一文になる。また、一文には、重文または複文を構成するそれぞれの文が含まれる。この場合、一文の終わりは、必ずしも句点「。」であるとは限らない。
【0104】
文字情報提示制御を実現するために、音声認識手法が用いられる。図15は、図12に示した始動制御部50における音声認識手段51の構成を示すブロック図である。音声認識手段51は、音声分析手段53、探索手段54、言語モデル55、音響モデル56及び発音辞書57を備えており、撮影中の発話者4が原稿を読み上げているときのその音声信号を入力し、音声認識手法を用いて、音声信号と予め記憶された音声周波数パターンとの間で周波数マッチングを行い、音声信号を単語に変換し、単語列を動作判定手段52に出力する。言語モデル55は、大量の言語情報で学習された確率モデルであり、音響モデル56は、大量の音声データで学習された確率モデルである。発音辞書57は、単語の表記と発音とを対応づけたリストである。
【0105】
音声分析手段53は、発話者4の音声を集音したマイク5から音声信号を入力し、音声信号を分析し、その音声信号の特徴量を特徴ベクトルとして抽出する。探索手段54は、音声分析手段53から音声信号の特徴ベクトルを入力し、言語モデル55から得られる確率値(言語スコア)をもとに、接続される出力系列(単語)の候補を順次リストアップする。また、リストアップした出力系列の探索候補毎に、発音辞書57で示される発音に対応する各音素の音響モデル56における特徴量と、入力した音声信号の特徴量(特徴ベクトル)との間の類似度(確率値)を音響スコアとして算出する。そして、探索手段54は、音響スコアと言語スコアとの積が最大となる出力系列を、音声認識出力の単語列として動作判定手段52に出力する。動作判定手段52は、音声認識手段51により変換された、発話者4が実際に読み上げている原稿の単語列に基づいて、始動制御信号を生成する。そして、文字情報提示部40は、この始動制御信号に基づいて、文字グループ単位の文字情報を表示装置6に提示し、スクロール表示する。
【0106】
以下、文字情報提示制御について具体的に説明する。図14を参照して、文字情報提示制御装置1−2が提示待機状態にあるときに(ステップS1401)、始動制御部50の動作判定手段52は、音声認識手段51から音声認識出力の単語列を入力すると共に、文字情報分割部20から原稿の分割データを入力し、分割データにおける一文の始まり(文章冒頭)の単語列と、音声認識出力の単語列とを比較する(ステップS1402)。すなわち、動作判定手段52は、分割データの単語列と音声認識出力の単語列との間の一致率を算出し、一致率が所定の閾値以上であるか否かを判定する(ステップS1403)。
【0107】
動作判定手段52は、一致率が所定の閾値以上でないと判定した場合(ステップS1403:N)、ステップS1401へ移行する。一方、一致率が所定の閾値以上であると判定した場合(ステップS1403:Y)、発話者4が所定の一文の読み上げを開始したと判断し、始動制御信号を出力する。例えば、閾値を80%とした場合、分割データにおける一文の始まりから5個の単語と、音声認識出力の単語列における連続した5個の単語とをそれぞれ比較し、4個以上の単語が一致したときに、一致率が所定の閾値以上であると判定される。また、この例では、一文の始まりから5個の単語のうち4個以上一致した場合に閾値以上であると判定したが、応答速度を優先させるため、一文の始まりから3個の単語のうち2個以上の単語が一致した場合を閾値以上であると判定することもある等、発話者の声質や発話の特徴を考慮して、変更することも可能である。
【0108】
文字情報提示部40の提示制御手段41は、動作判定手段52から始動制御信号を入力すると、開始の制御信号をリアルタイムCG描画手段42に出力する。リアルタイムCG描画手段42は、提示制御手段41により出力された開始の制御信号に基づいて、一文に対する文字グループ単位の文字情報の提示処理、すなわち、一文のスクロール処理を開始する(ステップS1404)。これにより、一文に対する文字グループ単位の文字情報が表示装置6にスクロール表示され、発話者4は発話すべき文字情報を認識することができる。
【0109】
リアルタイムCG描画手段42は、提示制御手段41からの開始の制御信号に基づいて、一文の始まりの文字情報から終わりの文字情報まで、表示装置6の画面中央の奥側から手前側へ向けて文字グループ単位に、順次のスクロール表示を行い、一文の終わりの文字情報を表示装置6の最も手前に表示する。そして、リアルタイムCG描画手段42は、表示装置6から消失したときに、提示制御手段41からの停止の制御信号に基づいて、文字情報提示処理であるスクロール処理を停止する(ステップS1405)。この場合、リアルタイムCG描画手段42は、その一文の次に新たな一文が存在するときには、提示制御手段41からの制御信号に基づいて、その新たな一文の始まりの文字情報を表示装置6の最も手前までスクロール表示し、その次の文字情報を奥側に表示して、スクロール処理を停止する。
【0110】
これにより、発話者4は、現在読み上げている一文の読み上げが終了した後に読み上げるべき一文について、その始まりから複数の文字グループ単位の文字情報を、自分に最も近い位置から奥へ向けて順番に表示装置6によって認識することができる。したがって、発話者4は、一文の読み上げを終了した後に、一文と一文との間で間(ま)を置くことなく、継続して原稿を読み上げることができる。発話者4は、一文の読み上げを終了した後に間を置いたり、原稿の内容とは異なるアドリブを発話したり等、原稿の読み上げを継続しない場合であっても、次に読み上げるべき一文の始まりから複数の文字グループ単位の文字情報が表示装置6に表示されているから、次の一文の読み上げを円滑に行うことができる。
【0111】
提示制御手段41は、原稿の文字情報に次の一文が存在するか否かを判定する(ステップS1406)。次の一文が存在すると判定した場合(ステップS1406:Y)、その新たな一文の始まりの文字情報を表示装置6の最も手前に、それに続く一連の文字グループ単位の文字情報がその奥側にそれぞれ表示された状態で、文字情報提示制御装置1−2が提示待機状態となり、ステップS1401へ移行する。一方、次の一文が存在しないと判定した場合(ステップS1406:N)、処理を終了する。
【0112】
ところで、発話者4が新たな一文を読み上げ始めようとするときに、表示装置6には、その新たな一文の始まりの文字グループが最も手前に、それに続く複数の文字グループが中央奥へ向けて表示されている。そして、発話者4が表示装置6に表示されている新たな一文を読み始めると、図14のステップS1402,1403においてスクロール表示が開始される。
【0113】
しかし、図12及び図15に示した音声認識手段51の処理(発話者4の音声信号を単語列に変換する処理)には、通常約500msの時間が必要である。同様に、動作判定手段52により始動制御信号を生成する処理にも、複数の単語間の一致率を算出して始動制御信号を生成するから、所定の時間が必要である。つまり、発話者4による発話の音声信号を単語列に変換する音声認識処理、始動制御信号の生成処理に時間がかかり、その時間分の遅延が生じる。このため、表示装置6に表示されている新たな一文の読み上げを開始した後、次に読み上げるべき文字情報が、読み上げタイミングよりも遅れて表示装置6に表示される場合があり得る。
【0114】
そこで、表示装置6に表示されている一文の始まりの文字情報を読み始めてから、スクロールが開始するまでの間の遅延時間を吸収するために、すなわち、表示装置6において最も手前から開始して最も奥の文字情報の読み上げが完了する前にリアルタイムCG描画手段42がスクロールを開始するように、所定数の文字グループ単位の文字情報が予め表示装置6に表示されている必要がある。すなわち、文字情報提示準備の段階で、図13のステップS1312において、所定数の文字グループが3次元の仮想空間内に配置される必要がある。具体的には、図9を参照して、文字表示率が0%でない範囲における文字グループの数が所定数になるから、文字表示率が0%でない範囲において、一文の始まりの文字グループが手前(文字情報の進行方向側)に配置され、その文字グループから最も奥に後続の文字グループが配置された場合を想定する。発話者4が一文の先頭の文字グループから読み始めて最も奥の文字グループの読み上げを完了する時間(読み上げ時間)と、前述した遅延時間とにより、読み上げ時間が遅延時間よりも長くなるように、すなわち、遅延時間内に、最も奥までの読み上げが完了しないよう、ステップS1311にて設定された文字グループの間隔、及び再生速度を考慮し、文字表示率が0%でない範囲における文字グループの数が決定され、3次元の仮想空間内に文字グループが配置される。
【0115】
このように、一文の始まりの文字情報は、画面中央奥(中心)に対して、オフセットがかかった状態で手前側へ向けて表示される。図16は、発声、音声認識及び文字情報提示の時間関係を説明する図である。図16では、発話者4の発声と音声認識との間に遅延があり、画面の最も手前には「まず、」、その奥には「ガソリン税などの」「暫定税率を」「維持すると」「した」がそれぞれ表示されている状態を示している。また、発話者4が原稿の一文の読み上げを開始すると、2グループ分進んだ「暫定税率を」の文字グループを読み上げているときにスクロール表示が開始する。そして、「まず、」が手前から消失し、画面中央の最も奥から「税制関連法の」が出現し、画面の最も手前には「ガソリン税などの」、その奥には「暫定税率を」「維持すると」「した」「税制関連法の」がそれぞれ表示される。そして、スクロールにより文字グループ単位の文字情報の消失及び出現を繰り返し、表示される文字情報が順次更新される。
【0116】
したがって、発話者4が、表示装置6に表示されている一文の始まりの文字情報を読み始めてから、画面奥に表示されている文字情報を読み終わる前に、スクロール表示が開始されることになり、発話者4が読み上げるべき文字情報が、そのタイミングに遅れて表示装置6に表示されることがない。つまり、発話者4は、最も手前に表示されている文字情報から順次発声し、丁度、画面中央に表示されている文字グループを読み上げているときに、音声認識手段51及び動作判定手段52による音声認識等の処理が終了し、リアルタイムCG描画手段42は、次の文字グループ単位の文字情報を表示し、次の一文の始まりを表示するまで、予め設定された再生速度でスクロールを行う。
【0117】
以上のように、実施例2の文字情報提示制御装置1−2によれば、文字情報提示部40のリアルタイムCG描画手段42は、文字グループ単位の文字情報を、画面の手前側から奥側へ向けてセンタリングしてレイアウトした形態で、奥側から手前側へ向けてスクロールし、表示装置6に表示するようにした。これにより、発話者4は、文字グループ単位に手前側にスクロールする文字情報を、表示装置6のハーフミラーの反射により見ることができる。文字グループ単位の文字情報は、所定のサイズ、間隔、速度及び文字表示率にて、画面中央の奥側から手前側へ向けてセンタリングされて移動する。そして、文字グループ単位の文字情報は、画面中央の最も奥から出現し、スクロールして最も手前に表示された後消失する。したがって、発話者4は、自ずと表示装置6の中心を見るようになり、実施例1と同様に、視線移動が少なくなり、文字情報の視認性を向上させることが可能となる。また、発話者4は、撮影カメラ7の撮影レンズの中心を見ることになるから、発話者4の視線は不自然にならず、発話者4の映像を見る視聴者は、発話者4があたかも自分に発話しているように感じ、違和感を受けることがない。
【0118】
また、文字グループ単位の文字情報の表示形態、センタリングのための句読点処理、文字グループの間隔の設定等、実施例1と同一の処理については、実施例1と同様の効果を奏する。
【0119】
また、文字情報分割部20は、原稿の文字情報を文節及び単語に区切り分割データを生成し、音声認識手段51は、発話者4が読み上げている原稿の音声信号を、音声認識手法を用いて単語列に変換し、動作判定手段52は、音声信号の単語列と分割データの単語列とを比較し、表示装置6に既に表示されている一文の始まりを読み上げているかを判定し、発話進捗に応じた始動制御信号を出力するようにした。また、リアルタイムCG描画手段42は、始動制御信号のタイミングにて、スクロールを開始し、一文の終わりで停止するようにした。これにより、発話者4は、自分の手によって、読み上げている原稿を進めたり送ったりする必要がなくなり、自分の意思どおりに発話速度のタイミングで原稿を読み上げることができる。また、座った状態だけでなく立った状態においても、表示装置6から原稿の文字情報を連続的に入手することができる。
【0120】
また、動作判定手段52は、音声信号の単語列と分割データの単語列とを比較し、表示装置6に既に提示されている一文の始まりを読み上げているかを判定し、読み上げていると判定した場合、始動制御信号を出力するようにした。また、リアルタイムCG描画手段42は、始動制御信号のタイミングにて、提示制御手段41からの開始の制御信号に基づいて、スクロールを開始し、発話者4が読み上げ始めた一文の最後の文字情報(句点「。」)が表示装置6から消失し、次の一文の始まりの文字情報を手前側に表示し、それに続く文字情報を奥側へ向けてそれぞれ表示したときに、スクロールを停止するようにした。これにより、発話者4による一文の読み上げの開始に伴って、その一文の文字情報が表示装置6にスクロール表示される。そして、一文の読み上げが完了したときには、次の一文の始まりから所定数の文字グループにおける文字情報を、表示装置6にて視認することができる。したがって、発話者は一文と一文との間に間(ま)を置くことなく原稿を読み続けることができ、この場合、読み上げた次の一文の読み始めの音声信号を音声認識することにより、次の一文の表示を連続的に行うことができる。また、発話者が一文の読み上げを終了した後に間を置いたり、原稿の内容とは異なるアドリブを発話したりすることもでき、その後に、次の一文の読み上げを円滑に行うことができる。
【0121】
また、リアルタイムCG描画手段42は、発話者4が読み上げるべき一文の始まりから連続した文字グループ単位の文字情報を表示装置6に表示した状態で、提示制御手段41からの停止の制御信号に基づいて、スクロール表示を停止する。この場合、表示装置6に表示されている文字グループの数は、表示されている文字情報を発話者4が読み上げ始めてから全ての文字情報の読み上げを完了する前に、リアルタイムCG描画手段42が提示制御手段41からの開始の制御信号に基づいてスクロールを開始するように、読み上げの開始からスクロールの開始までの間の遅延時間に応じた数とするようにした。すなわち、発話者4の読み上げが完了する前にリアルタイムCG描画手段42が提示制御手段41からの開始の制御信号に基づいてスクロールを開始するように、3次元の仮想空間内に所定数の文字グループが配置される。これにより、表示装置6に表示されている文字情報を発話者4が読み上げ、音声信号を認識して一文の読み始めを判定する処理等による遅延時間を考慮した文字グループの数にて、表示装置6に文字情報が表示される。したがって、発話者4が表示装置6に表示されている文字情報を読み終わる前には、スクロール表示が開始されており、読み上げるべき文字情報は表示装置6に表示され、常に表示装置6を見ながら読み上げを継続することができる。
【0122】
尚、実施例1の文字情報提示制御装置1−1及び実施例2の文字情報提示制御装置1−2は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。文字情報提示制御装置1−1に備えた文字情報分割部20、操作入力部30及び文字情報提示部40の各機能、並びに、文字情報提示制御装置1−2に備えた文字情報分割部20、文字情報提示部40及び始動制御部50の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【符号の説明】
【0123】
1 文字情報提示制御装置
2 携帯型情報端末
3 ユーザ
4 発話者
5 マイク
6 表示装置
7 撮影カメラ
8 テレビ受像装置
10 記憶部
20 文字情報分割部
30 操作入力部
40 文字情報提示部
41 提示制御手段
42 リアルタイムCG描画手段
43 モーラ辞書
50 始動制御部
51 音声認識手段
52 動作判定手段
53 音声分析手段
54 探索手段
55 言語モデル
56 音響モデル
57 発音辞書
60 通信部
70 表示部

【特許請求の範囲】
【請求項1】
文字情報を画面表示してユーザへ提示するための制御を行う文字情報提示制御装置において、
前記文字情報を、所定単位の文字グループに区分けし、
前記文字グループ単位の文字情報に基づいて、連続した文字グループの間隔を設定し、
前記画面中央の奥側から手前側へ向けて、前記文字グループ単位の文字情報をセンタリングし所定速度及び前記間隔にて順次スクロールさせ、
前記画面中央の奥側から新たな文字グループを出現させ、前記手前側へ向けてスクロールさせた後に、前記文字グループを消失させる文字情報提示部を備えたことを特徴とする文字情報提示制御装置。
【請求項2】
請求項1に記載の文字情報提示制御装置において、
前記文字情報提示部は、
前記文字グループ単位の文字情報を、前記文字グループの前後において重ねて表示するように提示し、かつ、奥側に位置する文字情報が透過するような文字表示率にて提示する、ことを特徴とする文字情報提示制御装置。
【請求項3】
請求項2に記載の文字情報提示制御装置において、
前記文字表示率は、手前側から奥側へ向けて、0%から徐々に増加し、100%よりも低い所定の最大値に到達し、徐々に減少して0%に到達するように設定されている、ことを特徴とする文字情報提示制御装置。
【請求項4】
請求項1から3までのいずれか一項に記載の文字情報提示制御装置において、
さらに、前記文字情報を分割し、文節毎の分割データを生成する文字情報分割部を備え、
前記文字情報提示部は、
前記文字情報分割部により分割された文節毎の分割データを、前記所定単位の文字グループとして設定する、ことを特徴とする文字情報提示制御装置。
【請求項5】
請求項1から4までのいずれか一項に記載の文字情報提示制御装置において、
前記文字情報提示部は、
前記文字グループの終わりが句読点である場合に、前記文字グループの先頭に空白を挿入して新たな文字グループを生成し、前記新たな文字グループに対してセンタリングを行う、ことを特徴とする文字情報提示制御装置。
【請求項6】
請求項1から5までのいずれか一項に記載の文字情報提示制御装置において、
前記文字情報提示部は、
前記文字グループ単位に、前記文字グループ単位の文字情報からモーラ数を算出し、前記モーラ数に基づいて、前記連続した文字グループの間隔を設定する、ことを特徴とする文字情報提示制御装置。
【請求項7】
請求項6に記載の文字情報提示制御装置において、
さらに、単語と前記単語のモーラ数とが記憶されたモーラ辞書を備え、
前記文字情報提示部は、前記文字情報に含まれる単語のモーラ数を算出し、前記単語及びモーラ数を前記モーラ辞書に登録する、ことを特徴とする文字情報提示制御装置。
【請求項8】
請求項1から7までのいずれか一項に記載の文字情報提示制御装置において、
さらに、前記ユーザのキー操作に従って、始動制御信号を出力する操作入力部を備え、
前記文字情報提示部は、
前記操作入力部から始動制御信号を入力し、前記始動制御信号の入力タイミングにて前記スクロールを開始し、前記文字情報の所定位置にて前記スクロールを停止する、ことを特徴とする文字情報提示制御装置。
【請求項9】
請求項1から7までのいずれか一項に記載の文字情報提示制御装置において、
さらに、前記ユーザのキー操作に従って、開始及び停止の始動制御信号をそれぞれ出力する操作入力部を備え、
前記文字情報提示部は、
前記操作入力部から始動制御信号を入力し、前記始動制御信号が開始の信号の場合、前記スクロールを開始し、前記始動制御信号が停止の信号の場合、前記スクロールを停止する、ことを特徴とする文字情報提示制御装置。
【請求項10】
請求項1から7までのいずれか一項に記載の文字情報提示制御装置において、
前記ユーザを、前記文字情報を読み上げる発話者とし、
さらに、前記発話者による発話の音声信号を単語列に変換し、前記単語列に基づいて、前記文字情報における発話の進捗に応じた始動制御信号を出力する始動制御部を備え、
前記文字情報提示部は、
前記始動制御部から始動制御信号を入力し、前記始動制御信号の入力タイミングにて前記文字グループ単位のスクロールを開始し、前記文字情報の所定位置にて前記スクロールを停止する、ことを特徴とする文字情報提示制御装置。
【請求項11】
請求項10に記載の文字情報提示制御装置において、
前記始動制御部は、
前記発話者による発話の音声信号と、予め記録された音声周波数パターンとの間で周波数マッチングを行い、予め記憶された単語の辞書を用いて、前記音声信号を単語列に変換する音声認識手段と、
前記音声認識手段により変換された単語列と、前記文字情報を構成する単語列とに基づいて、前記文字情報を構成する複数の文字グループのうちの、一文を構成する連続した文字グループの始まりが、前記発話者により発話されたことを判定した場合、前記始動制御信号を出力する動作判定手段とを備え、
前記文字情報提示部は、
前記一文毎に、前記スクロールを行い、前記始動制御部から始動制御信号を入力したタイミングにて、前記一文についてスクロールを開始し、次の一文を構成する連続した文字グループの始まりが前記画面の手前側に表示され、その次の文字グループが前記奥側へ向けてそれぞれ表示されたときに、前記スクロールを停止する、ことを特徴とする文字情報提示制御装置。
【請求項12】
請求項11に記載の文字情報提示制御装置において、
前記一文は、その終わりに句点を有する、ことを特徴とする文字情報提示制御装置。
【請求項13】
請求項10に記載の文字情報提示制御装置において、
前記スクロールを停止したときに表示されている文字グループの数は、前記発話者が前記表示されている文字グループの読み上げを開始してから前記表示されている全ての文字グループの読み上げを完了する前に次のスクロールを開始するように、前記読み上げの開始から次のスクロールの開始までの間の遅延時間に応じた数とする、ことを特徴とする文字情報提示制御装置。
【請求項14】
コンピュータを、請求項1から13までのいずれか一項に記載の文字情報提示制御装置として機能させるための文字情報提示制御プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2011−13542(P2011−13542A)
【公開日】平成23年1月20日(2011.1.20)
【国際特許分類】
【出願番号】特願2009−158781(P2009−158781)
【出願日】平成21年7月3日(2009.7.3)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】