画像表示装置及び画像表示プログラム
【課題】音声情報の再生時刻に画像情報の再生タイミングが関連付けられた構成において、音声情報の内容に基づいて画像情報の表示倍率を変更する画像表示装置及び画像表示プログラムを提供する。
【解決手段】画像表示装置１は、音声情報１１１を再生する音声情報再生手段１００と、音声情報１１１の再生時刻に同期して資料画像情報１１２を再生する資料画像情報再生手段１０１と、資料画像情報１１２を複数の分割画像情報に分割する資料画像分割手段１０３と、複数の分割画像情報からそれぞれ第１の文字情報を抽出する資料テキスト抽出手段１０４と、音声情報１１１を第２の文字情報に変換する音声テキスト変換手段１０５と、第１の文字情報と前記第２の文字情報との類似度を計算する類似度計算手段１０６と、類似度に基づいて、資料画像情報１１２の表示倍率を、分割画像情報に対応した領域に合わせて変更する表示倍率変更手段１０７を有する。
【解決手段】画像表示装置１は、音声情報１１１を再生する音声情報再生手段１００と、音声情報１１１の再生時刻に同期して資料画像情報１１２を再生する資料画像情報再生手段１０１と、資料画像情報１１２を複数の分割画像情報に分割する資料画像分割手段１０３と、複数の分割画像情報からそれぞれ第１の文字情報を抽出する資料テキスト抽出手段１０４と、音声情報１１１を第２の文字情報に変換する音声テキスト変換手段１０５と、第１の文字情報と前記第２の文字情報との類似度を計算する類似度計算手段１０６と、類似度に基づいて、資料画像情報１１２の表示倍率を、分割画像情報に対応した領域に合わせて変更する表示倍率変更手段１０７を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置及び画像表示プログラムに関する。
【背景技術】
【０００２】
音声情報及び画像情報からそれぞれキーワードを抽出し、関連性の高い音声情報及び画像情報をデータベース化する技術が提案されている（例えば、特許文献１参照。）。
【０００３】
特許文献１に開示された情報分類装置は、検索対象として音声情報や文字を含む画像情報等が入力されるとそれぞれをテキスト情報に変換する変換手段と、変換されたテキスト情報から索引を作成する作成手段と、検索条件として音声情報や文字を含む画像情報等が入力されると変換手段に検索条件としてのテキスト情報に変換させて、変換された検索条件としてのテキスト情報を用いて索引から情報を検索する検索手段とを有する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２１９９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、音声情報の再生時刻に画像情報の再生タイミングが関連付けられた構成において、音声情報の内容に基づいて画像情報の表示倍率を変更する画像表示装置及び画像表示プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
［１］コンピュータを、
音声情報を再生する音声情報再生手段と、
前記音声情報の再生時刻に同期して資料画像情報を再生する資料画像情報再生手段と、
前記資料画像情報を複数の分割画像情報に分割する分割手段と、
前記分割手段が分割した前記複数の分割画像情報からそれぞれ第１の文字情報を抽出する抽出手段と、
前記音声情報を第２の文字情報に変換する変換手段と、
前記第１の文字情報と前記第２の文字情報との類似度を計算する計算手段と、
前記計算手段が算出した前記類似度に基づいて、前記資料画像情報再生手段が再生した前記資料画像情報の表示倍率を、前記分割画像情報に対応した領域に合わせて変更する表示倍率変更手段として機能させるための画像表示プログラム。
【０００７】
［２］前記分割手段は、領域の隣り合う前記分割画像情報において互いの領域が重複するように前記資料画像情報を分割する前記［１］に記載の画像表示プログラム。
【０００８】
［３］前記分割手段は、前記第１の文字情報の文字の大きさ、文字数及び書体の少なくともいずれかに基づいて前記分割画像情報の大きさを決定する前記［１］に記載の画像表示プログラム。
【０００９】
［４］音声情報を再生する音声情報再生手段と、
前記音声情報の再生時刻に同期して資料画像情報を再生する資料画像情報再生手段と、
前記資料画像情報を複数の分割画像情報に分割する分割手段と、
前記分割手段が分割した前記複数の分割画像情報からそれぞれ第１の文字情報を抽出する抽出手段と、
前記音声情報を第２の文字情報に変換する変換手段と、
前記第１の文字情報と前記第２の文字情報との類似度を計算する計算手段と、
前記計算手段が算出した前記類似度に基づいて、前記資料画像情報再生手段が再生した前記資料画像情報の表示倍率を、前記分割画像情報に対応した領域に合わせて変更する表示倍率変更手段を有する画像表示装置。
【発明の効果】
【００１０】
請求項１又は４に係る発明によれば、音声情報の再生時刻に画像情報の再生タイミングが関連付けられた構成において、音声情報の内容に基づいて画像情報の表示倍率を変更することができる。
【００１１】
請求項２に係る発明によれば、領域の隣り合う分割画像情報において互いの領域が重複するように資料画像情報を分割することができる。
【００１２】
請求項３に係る発明によれば、第１の文字情報の文字の大きさ、文字数及び書体の少なくともいずれかに基づいて分割画像情報の大きさを決定することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、画像表示装置の構成例を示すブロック図である。
【図２】図２は、同期情報の一例を示す概略図である。
【図３】図３は、画像表示装置の映像再生動作の一例を示す概略図である。
【図４Ａ】図４Ａ（ａ）及び（ｂ）は、資料画像分割手段の動作の一例を説明するための図である。
【図４Ｂ】図４Ｂ（ｃ）及び（ｄ）は、類似度計算動作の一例を説明するための図である。
【図５】図５は、画像表示装置の倍率変更された映像再生動作の一例を示す概略図である。
【発明を実施するための形態】
【００１４】
（画像表示装置の構成）
図１は、画像表示装置の構成例を示すブロック図である。
【００１５】
画像表示装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体であって情報を記憶する記憶部１１と、液晶ディスプレイ等であって文字や画像を表示する表示部１２と、イヤホン等が接続されて音声信号を出力する音声出力端子又は音声を出力するスピーカー等である音声出力部１３と、キーボードやマウス等であって操作に応じた操作信号を発する操作部１４とを備える。
【００１６】
なお、画像表示装置１は、例えば、パーソナルコンピュータやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔｓ）、携帯電話等の電子機器であり、特に表示部のサイズが限られたもの（例えば、表示する画像のサイズに対して表示部の画素数が少ないもの）を対象とする。
【００１７】
制御部１０は、後述する画像表示プログラム１１０を実行することで、音声情報再生手段１００、資料画像情報再生手段１０１、同期手段１０２、資料画像分割手段１０３、資料テキスト抽出手段１０４、音声テキスト変換手段１０５、類似度計算手段１０６及び表示倍率変更手段１０７等として機能する。
【００１８】
音声情報再生手段１００は、後述する音声情報１１１を再生し、音声信号を音声出力部１３に出力する。
【００１９】
資料画像情報再生手段１０１は、後述する資料画像情報１１２を再生し、資料画像信号を出力する。資料画像信号に応じて表示画面には資料画像情報１１２を再生した画像である再生画像が表示される。
【００２０】
同期手段１０２は、後述する同期情報１１３に基づいて音声情報再生手段１００の出力する音声信号と、資料画像情報再生手段１０１の出力する資料画像信号とを再生時刻において同期する。
【００２１】
資料画像分割手段１０３は、資料画像情報１１２をその表示画像上において複数の領域（分割領域）に分割し、分割した領域から分割画像を生成する。
【００２２】
資料テキスト抽出手段１０４は、資料画像分割手段１０３が生成した分割画像毎に画像からＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）等の方法を用いて第１の文字情報の一例としてのテキスト情報を抽出する。
【００２３】
音声テキスト変換手段１０５は、音声情報１１１を、例えば、センテンス毎に第２の文字情報としてのテキスト情報に変換する。
【００２４】
類似度計算手段１０６は、資料テキスト抽出手段１０４が抽出したテキスト情報と、音声テキスト変換手段１０５が変換したテキスト情報との類似度を計算する。
【００２５】
表示倍率変更手段は、類似度計算手段１０６が算出した類似度に基づいて、資料画像情報再生手段１０１が再生した再生画像の表示を、分割した領域に拡大又は縮小する。
【００２６】
記憶部１１は、制御部１０を上述した各手段１００〜１０７として動作させる画像表示プログラム１１０と、音声を再生するためのＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）やＷＡＶ（ＲＩＦＦ ｗａｖｅｆｏｒｍ Ａｕｄｉｏ Ｆｏｒｍａｔ）等の非可逆圧縮、可逆圧縮、または無圧縮なフォーマットの音声データである音声情報１１１と、動画又は静止画を再生表示するための資料画像情報１１２と、音声情報１１１の再生時刻と資料画像情報１１２の再生時刻とを同期するための同期情報１１３とを記憶する。
【００２７】
図２は、同期情報１１３の一例を示す概略図である。
【００２８】
同期情報１１３は、音声情報１１１の再生時刻が示される音声再生時刻欄１１３ａと、音声情報１１１の再生時刻において再生される資料画像情報の識別子である資料画像情報ＩＤが記録される資料画像情報ＩＤ欄１１３ｂとを有する。
【００２９】
つまり、音声再生時刻欄１１３ａに示す音声情報１１１の再生時刻に対応する資料画像情報ＩＤ欄１１３ｂに対応する資料画像情報１１２が再生される。
【００３０】
（画像表示装置の動作）
以下に、画像表示装置１の動作例を図１〜図５を参照しつつ、（１）基本動作、（２）資料画像分割動作、（３）類似度計算動作及び（４）倍率変更動作に分けて説明する。
【００３１】
（１）基本動作
まず、視聴者は、画像表示装置１の操作部１４を操作して、音声情報１１１の再生を指示する。操作部１４は、音声情報１１１の再生を指示する操作信号を制御部１０に出力する。
【００３２】
画像表示装置１の制御部１０が操作部１４から操作信号を受け付けると、音声情報再生手段１００は、音声情報１１１を再生して音声信号を音声出力部１３に出力する。また、資料画像情報再生手段１０１は、資料画像情報１１２を再生して資料画像信号を表示部１２に出力する。
【００３３】
なお、このとき同期手段１０２は、音声信号及び資料画像信号を同期情報１１３に基づいて同期させるべく、音声情報再生手段１００及び資料画像情報再生手段１０１に同期信号を送信する。
【００３４】
図３は、画像表示装置１の映像再生動作の一例を示す概略図である。
【００３５】
図３に示すように、音声出力部１３から音声情報１１１を構成する各音声１１１ａ〜１１１ｄが出力され、表示部１２には、図２に示す同期情報１１３に基づいて、それぞれ音声情報１１１の再生時刻「００：００：３０」、「００：０２：０１」、「００：０５：４５」、「００：１５：００」に資料１１２ａ〜１１２ｄが表示される。
【００３６】
しかし、表示部１２のサイズが小さい場合、資料１１２ｂ〜１１２ｄは視聴者にとって読みづらく、視認性が悪い。そこで、以下に説明する動作によって音声１１１ａ〜１１１ｄに応じて資料１１２ｂ〜１１２ｄの表示を拡大する。
【００３７】
（２）資料画像分割動作
以下に説明する資料画像情報１１２の分割動作及び後述する「（３）類似度計算動作」は、音声情報１１１及び資料画像情報１１２の再生前に行うことが望ましいが、再生中に行うものであってもよい。
【００３８】
図４Ａ（ａ）及び（ｂ）は、資料画像分割手段の動作の一例を説明するための図である。
【００３９】
まず、資料画像分割手段１０３は、図４Ａ（ａ）に示すように、資料１１２ｂを分割領域ｄ００〜ｄ３３に分割する。ここで、分割数は、資料１１２ｂに含まれる文字数やフォントサイズ等に基づいて定めるものとする。例えば、資料１１２ｂに含まれる文字数が多ければ分割数を多く、また、文字サイズが小さければ分割数を多くすることで単一又は複数の分割領域について拡大して表示した場合の視認性を確保する。
【００４０】
次に、資料画像分割手段１０３は、複数の分割領域ｄ００〜ｄ３３から分割画像Ｄ００〜Ｄ２２を生成する。ここで、各分割画像Ｄ００〜Ｄ２２は、隣り合う画像が互いに重複するような分割領域によって構成される。例えば、分割画像Ｄ００とＤ１０は、分割領域ｄ１０及びｄ１１が重複し、分割画像Ｄ００とＤ０１は、分割領域ｄ０１及びｄ１１が重複する。このように分割画像Ｄ００〜Ｄ２２を生成することで、各分割画像間で一つの意味を持つ単語が分断されづらくなる。
【００４１】
（３）類似度計算動作
図４Ｂ（ｃ）及び（ｄ）は、類似度計算動作の一例を説明するための図である。
【００４２】
次に、資料テキスト抽出手段１０４は、図４Ｂ（ｃ）に示すように、ＯＣＲ等によって分割画像Ｄ００〜Ｄ２２のそれぞれに含まれるテキスト情報を抽出する。
【００４３】
また、音声テキスト変換手段１０５は、図３に示す音声１１１ｂをテキスト情報「さて、７ステップの改善プロセスですが…」に変換する。この変換動作は、例えば、音声のセンテンス毎に行う。
【００４４】
次に、類似度計算手段１０６は、資料テキスト抽出手段１０４が抽出した各分割画像Ｄ００〜Ｄ２２のテキスト情報と、音声テキスト変換手段１０５が変換したテキスト情報との類似度を計算し、各分割画像Ｄ００〜Ｄ２２について図４Ｂ（ｄ）に示す類似度計算結果１０６ａを得る。この類似度計算動作も、例えば、音声のセンテンス毎に行う。
【００４５】
（４）倍率変更動作
図５は、画像表示装置の倍率変更された映像再生動作の一例を示す概略図である。
【００４６】
次に、表示倍率変更手段１０７は、図５に示すように、類似度計算結果１０６ａに基づいて、表示部１２に表示する資料１１２ｂを類似度が最も大きい分割画像Ｄ１０に拡大して拡大表示１０７ｂとして表示する。また、他の資料１１２ｃ、１１２ｄについても上記した動作を実行して拡大表示１０７ｃ、１０７ｄとして表示する。
【００４７】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。例えば、上記実施の形態では、音声情報の内容に基づいて資料画像情報の表示の拡大又は縮小を行ったが、映像情報の内容に基づいて資料画像情報の表示の拡大縮小を行ってもよい。また、表示の拡大又は縮小に限らず、表示の変形、回転、ハイライト表示、色調の変更等を行っても良い。
【００４８】
また、資料画像分割手段１０３が資料画像情報１１２を分割した後に資料テキスト抽出手段１０４がテキスト情報を抽出したが、資料テキスト抽出手段１０４が分割前の資料画像情報１１２からテキストを抽出した後に資料画像分割手段１０３が分割画像に分割してもよい。
【００４９】
また、上記画像表示プログラム１１０をＣＤ−ＲＯＭ等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、音声情報再生手段１００、資料画像情報再生手段１０１、同期手段１０２、資料画像分割手段１０３、資料テキスト抽出手段１０４、音声テキスト変換手段１０５、類似度計算手段１０６及び表示倍率変更手段１０７の一部又は全部をＡＳＩＣ等のハードウエアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。
【００５０】
上記実施の形態では制御部１０内の各手段１００〜１０７の機能をプログラムで実現したが、各手段１００〜１０７の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
【符号の説明】
【００５１】
１ 画像表示装置
１０ 制御部
１１ 記憶部
１２ 表示部
１３ 音声出力部
１４ 操作部
１００ 音声情報再生手段
１０１ 資料画像情報再生手段
１０２ 同期手段
１０３ 資料画像分割手段
１０４ 資料テキスト抽出手段
１０５ 音声テキスト変換手段
１０６ 類似度計算手段
１０６ａ 類似度計算結果
１０７ 表示倍率変更手段
１０７ｂ−１０７ｄ 拡大表示
１１０ 画像表示プログラム
１１１ 音声情報
１１２ 資料画像情報
１１２ａ−１１２ｃ 資料
１１３ 同期情報
【技術分野】
【０００１】
本発明は、画像表示装置及び画像表示プログラムに関する。
【背景技術】
【０００２】
音声情報及び画像情報からそれぞれキーワードを抽出し、関連性の高い音声情報及び画像情報をデータベース化する技術が提案されている（例えば、特許文献１参照。）。
【０００３】
特許文献１に開示された情報分類装置は、検索対象として音声情報や文字を含む画像情報等が入力されるとそれぞれをテキスト情報に変換する変換手段と、変換されたテキスト情報から索引を作成する作成手段と、検索条件として音声情報や文字を含む画像情報等が入力されると変換手段に検索条件としてのテキスト情報に変換させて、変換された検索条件としてのテキスト情報を用いて索引から情報を検索する検索手段とを有する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２１９９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、音声情報の再生時刻に画像情報の再生タイミングが関連付けられた構成において、音声情報の内容に基づいて画像情報の表示倍率を変更する画像表示装置及び画像表示プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
［１］コンピュータを、
音声情報を再生する音声情報再生手段と、
前記音声情報の再生時刻に同期して資料画像情報を再生する資料画像情報再生手段と、
前記資料画像情報を複数の分割画像情報に分割する分割手段と、
前記分割手段が分割した前記複数の分割画像情報からそれぞれ第１の文字情報を抽出する抽出手段と、
前記音声情報を第２の文字情報に変換する変換手段と、
前記第１の文字情報と前記第２の文字情報との類似度を計算する計算手段と、
前記計算手段が算出した前記類似度に基づいて、前記資料画像情報再生手段が再生した前記資料画像情報の表示倍率を、前記分割画像情報に対応した領域に合わせて変更する表示倍率変更手段として機能させるための画像表示プログラム。
【０００７】
［２］前記分割手段は、領域の隣り合う前記分割画像情報において互いの領域が重複するように前記資料画像情報を分割する前記［１］に記載の画像表示プログラム。
【０００８】
［３］前記分割手段は、前記第１の文字情報の文字の大きさ、文字数及び書体の少なくともいずれかに基づいて前記分割画像情報の大きさを決定する前記［１］に記載の画像表示プログラム。
【０００９】
［４］音声情報を再生する音声情報再生手段と、
前記音声情報の再生時刻に同期して資料画像情報を再生する資料画像情報再生手段と、
前記資料画像情報を複数の分割画像情報に分割する分割手段と、
前記分割手段が分割した前記複数の分割画像情報からそれぞれ第１の文字情報を抽出する抽出手段と、
前記音声情報を第２の文字情報に変換する変換手段と、
前記第１の文字情報と前記第２の文字情報との類似度を計算する計算手段と、
前記計算手段が算出した前記類似度に基づいて、前記資料画像情報再生手段が再生した前記資料画像情報の表示倍率を、前記分割画像情報に対応した領域に合わせて変更する表示倍率変更手段を有する画像表示装置。
【発明の効果】
【００１０】
請求項１又は４に係る発明によれば、音声情報の再生時刻に画像情報の再生タイミングが関連付けられた構成において、音声情報の内容に基づいて画像情報の表示倍率を変更することができる。
【００１１】
請求項２に係る発明によれば、領域の隣り合う分割画像情報において互いの領域が重複するように資料画像情報を分割することができる。
【００１２】
請求項３に係る発明によれば、第１の文字情報の文字の大きさ、文字数及び書体の少なくともいずれかに基づいて分割画像情報の大きさを決定することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、画像表示装置の構成例を示すブロック図である。
【図２】図２は、同期情報の一例を示す概略図である。
【図３】図３は、画像表示装置の映像再生動作の一例を示す概略図である。
【図４Ａ】図４Ａ（ａ）及び（ｂ）は、資料画像分割手段の動作の一例を説明するための図である。
【図４Ｂ】図４Ｂ（ｃ）及び（ｄ）は、類似度計算動作の一例を説明するための図である。
【図５】図５は、画像表示装置の倍率変更された映像再生動作の一例を示す概略図である。
【発明を実施するための形態】
【００１４】
（画像表示装置の構成）
図１は、画像表示装置の構成例を示すブロック図である。
【００１５】
画像表示装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体であって情報を記憶する記憶部１１と、液晶ディスプレイ等であって文字や画像を表示する表示部１２と、イヤホン等が接続されて音声信号を出力する音声出力端子又は音声を出力するスピーカー等である音声出力部１３と、キーボードやマウス等であって操作に応じた操作信号を発する操作部１４とを備える。
【００１６】
なお、画像表示装置１は、例えば、パーソナルコンピュータやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔｓ）、携帯電話等の電子機器であり、特に表示部のサイズが限られたもの（例えば、表示する画像のサイズに対して表示部の画素数が少ないもの）を対象とする。
【００１７】
制御部１０は、後述する画像表示プログラム１１０を実行することで、音声情報再生手段１００、資料画像情報再生手段１０１、同期手段１０２、資料画像分割手段１０３、資料テキスト抽出手段１０４、音声テキスト変換手段１０５、類似度計算手段１０６及び表示倍率変更手段１０７等として機能する。
【００１８】
音声情報再生手段１００は、後述する音声情報１１１を再生し、音声信号を音声出力部１３に出力する。
【００１９】
資料画像情報再生手段１０１は、後述する資料画像情報１１２を再生し、資料画像信号を出力する。資料画像信号に応じて表示画面には資料画像情報１１２を再生した画像である再生画像が表示される。
【００２０】
同期手段１０２は、後述する同期情報１１３に基づいて音声情報再生手段１００の出力する音声信号と、資料画像情報再生手段１０１の出力する資料画像信号とを再生時刻において同期する。
【００２１】
資料画像分割手段１０３は、資料画像情報１１２をその表示画像上において複数の領域（分割領域）に分割し、分割した領域から分割画像を生成する。
【００２２】
資料テキスト抽出手段１０４は、資料画像分割手段１０３が生成した分割画像毎に画像からＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）等の方法を用いて第１の文字情報の一例としてのテキスト情報を抽出する。
【００２３】
音声テキスト変換手段１０５は、音声情報１１１を、例えば、センテンス毎に第２の文字情報としてのテキスト情報に変換する。
【００２４】
類似度計算手段１０６は、資料テキスト抽出手段１０４が抽出したテキスト情報と、音声テキスト変換手段１０５が変換したテキスト情報との類似度を計算する。
【００２５】
表示倍率変更手段は、類似度計算手段１０６が算出した類似度に基づいて、資料画像情報再生手段１０１が再生した再生画像の表示を、分割した領域に拡大又は縮小する。
【００２６】
記憶部１１は、制御部１０を上述した各手段１００〜１０７として動作させる画像表示プログラム１１０と、音声を再生するためのＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）やＷＡＶ（ＲＩＦＦ ｗａｖｅｆｏｒｍ Ａｕｄｉｏ Ｆｏｒｍａｔ）等の非可逆圧縮、可逆圧縮、または無圧縮なフォーマットの音声データである音声情報１１１と、動画又は静止画を再生表示するための資料画像情報１１２と、音声情報１１１の再生時刻と資料画像情報１１２の再生時刻とを同期するための同期情報１１３とを記憶する。
【００２７】
図２は、同期情報１１３の一例を示す概略図である。
【００２８】
同期情報１１３は、音声情報１１１の再生時刻が示される音声再生時刻欄１１３ａと、音声情報１１１の再生時刻において再生される資料画像情報の識別子である資料画像情報ＩＤが記録される資料画像情報ＩＤ欄１１３ｂとを有する。
【００２９】
つまり、音声再生時刻欄１１３ａに示す音声情報１１１の再生時刻に対応する資料画像情報ＩＤ欄１１３ｂに対応する資料画像情報１１２が再生される。
【００３０】
（画像表示装置の動作）
以下に、画像表示装置１の動作例を図１〜図５を参照しつつ、（１）基本動作、（２）資料画像分割動作、（３）類似度計算動作及び（４）倍率変更動作に分けて説明する。
【００３１】
（１）基本動作
まず、視聴者は、画像表示装置１の操作部１４を操作して、音声情報１１１の再生を指示する。操作部１４は、音声情報１１１の再生を指示する操作信号を制御部１０に出力する。
【００３２】
画像表示装置１の制御部１０が操作部１４から操作信号を受け付けると、音声情報再生手段１００は、音声情報１１１を再生して音声信号を音声出力部１３に出力する。また、資料画像情報再生手段１０１は、資料画像情報１１２を再生して資料画像信号を表示部１２に出力する。
【００３３】
なお、このとき同期手段１０２は、音声信号及び資料画像信号を同期情報１１３に基づいて同期させるべく、音声情報再生手段１００及び資料画像情報再生手段１０１に同期信号を送信する。
【００３４】
図３は、画像表示装置１の映像再生動作の一例を示す概略図である。
【００３５】
図３に示すように、音声出力部１３から音声情報１１１を構成する各音声１１１ａ〜１１１ｄが出力され、表示部１２には、図２に示す同期情報１１３に基づいて、それぞれ音声情報１１１の再生時刻「００：００：３０」、「００：０２：０１」、「００：０５：４５」、「００：１５：００」に資料１１２ａ〜１１２ｄが表示される。
【００３６】
しかし、表示部１２のサイズが小さい場合、資料１１２ｂ〜１１２ｄは視聴者にとって読みづらく、視認性が悪い。そこで、以下に説明する動作によって音声１１１ａ〜１１１ｄに応じて資料１１２ｂ〜１１２ｄの表示を拡大する。
【００３７】
（２）資料画像分割動作
以下に説明する資料画像情報１１２の分割動作及び後述する「（３）類似度計算動作」は、音声情報１１１及び資料画像情報１１２の再生前に行うことが望ましいが、再生中に行うものであってもよい。
【００３８】
図４Ａ（ａ）及び（ｂ）は、資料画像分割手段の動作の一例を説明するための図である。
【００３９】
まず、資料画像分割手段１０３は、図４Ａ（ａ）に示すように、資料１１２ｂを分割領域ｄ００〜ｄ３３に分割する。ここで、分割数は、資料１１２ｂに含まれる文字数やフォントサイズ等に基づいて定めるものとする。例えば、資料１１２ｂに含まれる文字数が多ければ分割数を多く、また、文字サイズが小さければ分割数を多くすることで単一又は複数の分割領域について拡大して表示した場合の視認性を確保する。
【００４０】
次に、資料画像分割手段１０３は、複数の分割領域ｄ００〜ｄ３３から分割画像Ｄ００〜Ｄ２２を生成する。ここで、各分割画像Ｄ００〜Ｄ２２は、隣り合う画像が互いに重複するような分割領域によって構成される。例えば、分割画像Ｄ００とＤ１０は、分割領域ｄ１０及びｄ１１が重複し、分割画像Ｄ００とＤ０１は、分割領域ｄ０１及びｄ１１が重複する。このように分割画像Ｄ００〜Ｄ２２を生成することで、各分割画像間で一つの意味を持つ単語が分断されづらくなる。
【００４１】
（３）類似度計算動作
図４Ｂ（ｃ）及び（ｄ）は、類似度計算動作の一例を説明するための図である。
【００４２】
次に、資料テキスト抽出手段１０４は、図４Ｂ（ｃ）に示すように、ＯＣＲ等によって分割画像Ｄ００〜Ｄ２２のそれぞれに含まれるテキスト情報を抽出する。
【００４３】
また、音声テキスト変換手段１０５は、図３に示す音声１１１ｂをテキスト情報「さて、７ステップの改善プロセスですが…」に変換する。この変換動作は、例えば、音声のセンテンス毎に行う。
【００４４】
次に、類似度計算手段１０６は、資料テキスト抽出手段１０４が抽出した各分割画像Ｄ００〜Ｄ２２のテキスト情報と、音声テキスト変換手段１０５が変換したテキスト情報との類似度を計算し、各分割画像Ｄ００〜Ｄ２２について図４Ｂ（ｄ）に示す類似度計算結果１０６ａを得る。この類似度計算動作も、例えば、音声のセンテンス毎に行う。
【００４５】
（４）倍率変更動作
図５は、画像表示装置の倍率変更された映像再生動作の一例を示す概略図である。
【００４６】
次に、表示倍率変更手段１０７は、図５に示すように、類似度計算結果１０６ａに基づいて、表示部１２に表示する資料１１２ｂを類似度が最も大きい分割画像Ｄ１０に拡大して拡大表示１０７ｂとして表示する。また、他の資料１１２ｃ、１１２ｄについても上記した動作を実行して拡大表示１０７ｃ、１０７ｄとして表示する。
【００４７】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。例えば、上記実施の形態では、音声情報の内容に基づいて資料画像情報の表示の拡大又は縮小を行ったが、映像情報の内容に基づいて資料画像情報の表示の拡大縮小を行ってもよい。また、表示の拡大又は縮小に限らず、表示の変形、回転、ハイライト表示、色調の変更等を行っても良い。
【００４８】
また、資料画像分割手段１０３が資料画像情報１１２を分割した後に資料テキスト抽出手段１０４がテキスト情報を抽出したが、資料テキスト抽出手段１０４が分割前の資料画像情報１１２からテキストを抽出した後に資料画像分割手段１０３が分割画像に分割してもよい。
【００４９】
また、上記画像表示プログラム１１０をＣＤ−ＲＯＭ等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、音声情報再生手段１００、資料画像情報再生手段１０１、同期手段１０２、資料画像分割手段１０３、資料テキスト抽出手段１０４、音声テキスト変換手段１０５、類似度計算手段１０６及び表示倍率変更手段１０７の一部又は全部をＡＳＩＣ等のハードウエアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。
【００５０】
上記実施の形態では制御部１０内の各手段１００〜１０７の機能をプログラムで実現したが、各手段１００〜１０７の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
【符号の説明】
【００５１】
１ 画像表示装置
１０ 制御部
１１ 記憶部
１２ 表示部
１３ 音声出力部
１４ 操作部
１００ 音声情報再生手段
１０１ 資料画像情報再生手段
１０２ 同期手段
１０３ 資料画像分割手段
１０４ 資料テキスト抽出手段
１０５ 音声テキスト変換手段
１０６ 類似度計算手段
１０６ａ 類似度計算結果
１０７ 表示倍率変更手段
１０７ｂ−１０７ｄ 拡大表示
１１０ 画像表示プログラム
１１１ 音声情報
１１２ 資料画像情報
１１２ａ−１１２ｃ 資料
１１３ 同期情報
【特許請求の範囲】
【請求項１】
コンピュータを、
音声情報を再生する音声情報再生手段と、
前記音声情報の再生時刻に同期して資料画像情報を再生する資料画像情報再生手段と、
前記資料画像情報を複数の分割画像情報に分割する分割手段と、
前記分割手段が分割した前記複数の分割画像情報からそれぞれ第１の文字情報を抽出する抽出手段と、
前記音声情報を第２の文字情報に変換する変換手段と、
前記第１の文字情報と前記第２の文字情報との類似度を計算する計算手段と、
前記計算手段が算出した前記類似度に基づいて、前記資料画像情報再生手段が再生した前記資料画像情報の表示倍率を、前記分割画像情報に対応した領域に合わせて変更する表示倍率変更手段として機能させるための画像表示プログラム。
【請求項２】
前記分割手段は、領域の隣り合う前記分割画像情報において互いに領域が一部重複するように前記資料画像情報を分割する請求項１に記載の画像表示プログラム。
【請求項３】
前記分割手段は、前記第１の文字情報の文字の大きさ、文字数及び書体の少なくともいずれかに基づいて前記分割画像情報の大きさを決定する請求項１に記載の画像表示プログラム。
【請求項４】
音声情報を再生する音声情報再生手段と、
前記音声情報の再生時刻に同期して資料画像情報を再生する資料画像情報再生手段と、
前記資料画像情報を複数の分割画像情報に分割する分割手段と、
前記分割手段が分割した前記複数の分割画像情報からそれぞれ第１の文字情報を抽出する抽出手段と、
前記音声情報を第２の文字情報に変換する変換手段と、
前記第１の文字情報と前記第２の文字情報との類似度を計算する計算手段と、
前記計算手段が算出した前記類似度に基づいて、前記資料画像情報再生手段が再生した前記資料画像情報の表示倍率を、前記分割画像情報に対応した領域に合わせて変更する表示倍率変更手段を有する画像表示装置。
【請求項１】
コンピュータを、
音声情報を再生する音声情報再生手段と、
前記音声情報の再生時刻に同期して資料画像情報を再生する資料画像情報再生手段と、
前記資料画像情報を複数の分割画像情報に分割する分割手段と、
前記分割手段が分割した前記複数の分割画像情報からそれぞれ第１の文字情報を抽出する抽出手段と、
前記音声情報を第２の文字情報に変換する変換手段と、
前記第１の文字情報と前記第２の文字情報との類似度を計算する計算手段と、
前記計算手段が算出した前記類似度に基づいて、前記資料画像情報再生手段が再生した前記資料画像情報の表示倍率を、前記分割画像情報に対応した領域に合わせて変更する表示倍率変更手段として機能させるための画像表示プログラム。
【請求項２】
前記分割手段は、領域の隣り合う前記分割画像情報において互いに領域が一部重複するように前記資料画像情報を分割する請求項１に記載の画像表示プログラム。
【請求項３】
前記分割手段は、前記第１の文字情報の文字の大きさ、文字数及び書体の少なくともいずれかに基づいて前記分割画像情報の大きさを決定する請求項１に記載の画像表示プログラム。
【請求項４】
音声情報を再生する音声情報再生手段と、
前記音声情報の再生時刻に同期して資料画像情報を再生する資料画像情報再生手段と、
前記資料画像情報を複数の分割画像情報に分割する分割手段と、
前記分割手段が分割した前記複数の分割画像情報からそれぞれ第１の文字情報を抽出する抽出手段と、
前記音声情報を第２の文字情報に変換する変換手段と、
前記第１の文字情報と前記第２の文字情報との類似度を計算する計算手段と、
前記計算手段が算出した前記類似度に基づいて、前記資料画像情報再生手段が再生した前記資料画像情報の表示倍率を、前記分割画像情報に対応した領域に合わせて変更する表示倍率変更手段を有する画像表示装置。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【公開番号】特開２０１３−６８６９９（Ｐ２０１３−６８６９９Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０５７３０（Ｐ２０１１−２０５７３０）
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]