映像表示装置
【課題】従来技術において拡大される映像中の文字は、その文字の大きさを示す属性データが予め付加されたテキストデータであって、その属性を変更することで表示される文字の大きさを変更している。したがって文字の大きさを示す属性情報が無い場合、すなわち例えばテレビ映像中に含まれる文字画像やそれに類するアイコンなどのキャラクタ画像については視力に応じた拡大等の処理をすることができない、という課題がある。
【解決手段】以上の課題解決のため、本発明は、ディスプレイに出力される映像の画像中に含まれる、例えば看板の文字やテロップ文字などの文字画像を画像認識処理によって抽出し、その抽出した文字画像サイズに応じて、あるいはさらに視聴者の視力を示す識別能力情報を加味して文字画像の拡大/縮小倍率を計算して文字画像の拡大縮小処理を行う機能を備える映像表示装置を提供する。
【解決手段】以上の課題解決のため、本発明は、ディスプレイに出力される映像の画像中に含まれる、例えば看板の文字やテロップ文字などの文字画像を画像認識処理によって抽出し、その抽出した文字画像サイズに応じて、あるいはさらに視聴者の視力を示す識別能力情報を加味して文字画像の拡大/縮小倍率を計算して文字画像の拡大縮小処理を行う機能を備える映像表示装置を提供する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像中に含まれる文字などのキャラクタ画像を抽出し、その抽出したキャラクタ画像を適宜拡大したり縮小したりするための技術に関する。
【背景技術】
【0002】
従来、テレビなどに電子番組表を表示して視聴番組や録画番組を選択することができるユーザ・インターフェースが提供されている。ところが、特にリビングなどに置かれ視聴者との距離があるテレビなどのいわゆる「10フィート・ユーザ・インターフェース」の装置にあっては、電子番組表内の情報量が多い(表示文字数が多い)場合や視聴者の視力が悪い場合などには表示されている文字が見えづらい、といった問題がある。そこで、下記の特許文献1では、電子番組表内の文字フォントの大きさを利用者の視力に応じて変更する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−300983号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記従来技術において拡大される文字は、その文字の大きさ(フォントサイズ)の属性データが予め付加されたテキストデータであって、その予め付加されているフォントサイズを変更することで表示文字の大きさを変更している。したがって、このような文字の大きさを示す属性情報が無い場合、すなわち例えばテレビ映像中に含まれる看板の文字やテロップ文字などの文字画像、あるいはそれに類するアイコンなどの「キャラクタ画像」については視力に応じた拡大等の処理をすることができない、という課題がある。
【課題を解決するための手段】
【0005】
以上の課題を解決するために、本発明は、ディスプレイに出力される映像の画像中に含まれる、例えば看板の文字やテロップ文字などの文字画像を画像認識処理によって抽出し、その抽出した文字画像サイズを判別した上で文字画像の拡大/縮小倍率を計算して当該拡大縮小処理を行う機能を備える映像表示装置を提供する。
【0006】
具体的には、ディスプレイに対して映像を出力するためのディスプレイ出力部と、ディスプレイ出力部から出力される映像の画像を認識する画像認識部と、画像認識部での認識結果に基づいてディスプレイ出力されている映像中にキャラクタ画像が含まれているか否か判断する判断部と、キャラクタ画像が含まれているとの判断結果である場合に、画像認識部での認識結果に基づいて映像が出力されるディスプレイ上でのそのキャラクタ画像のサイズ情報を取得するサイズ情報取得部と、前記取得したサイズ情報に基づき少なくともキャラクタ画像が含まれている映像の領域を拡大又は縮小した拡縮キャラクタ映像を生成する拡縮キャラクタ映像生成部と、を有する映像表示装置を提供する。
【0007】
また、視聴者の視力などを示す識別能力情報を保持し、その識別能力情報も加味して好適なサイズにキャラクタ画像を拡大/縮小する機能をさらに備える映像表示装置なども提供する。具体的には、視聴者によるキャラクタ画像の識別能力を示す情報である識別能力情報を保持する識別能力情報保持部と、保持されている識別能力情報と、取得されたキャラクタ画像サイズ情報とに基づいて前記少なくともキャラクタ画像が含まれている映像領域の拡大倍率又は縮小倍率を演算する倍率演算部と、を有し、前記拡縮キャラクタ映像生成部は、前記演算された倍率に基づき前記拡大又は縮小した拡縮キャラクタ映像を生成する演算後拡縮手段を有する映像表示装置なども提供する。
【発明の効果】
【0008】
以上のような構成をとる本発明によって、フォントサイズなど大きさを示す属性情報が無い映像中のキャラクタ画像であっても、そのキャラクタ画像を抽出しその画像サイズを判別した上で、あるいはさらに視聴者の視力も加味してその拡大縮小倍率を演算することができる。したがって、視聴者に適した大きさのキャラクタ画像を含む映像を表示することができる。
【図面の簡単な説明】
【0009】
【図1】実施例1の映像表示装置による映像表示の一例を表す概念図
【図2】実施例1の映像表示装置における機能ブロックの一例を表す図
【図3】実施例1の映像表示装置の判断部にて利用されるパターン画像の一例を表す図
【図4】実施例1の映像表示装置の倍率演算部にて利用されるデータテーブルの一例を表す図
【図5】実施例1の映像表示装置におけるハードウェア構成の一例を表す図
【図6】実施例1の映像表示装置における処理の流れの一例を表すフローチャート
【図7】実施例2の映像表示装置による映像表示の一例を表す概念図
【図8】実施例2の映像表示装置における機能ブロックの一例を表す図
【図9】実施例2の映像表示装置における処理の流れの一例を表すフローチャート
【図10】実施例3の映像表示装置における機能ブロックの一例を表す図
【図11】実施例3の映像表示装置における処理の流れの一例を表すフローチャート
【発明を実施するための形態】
【0010】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、実施例1は、主に請求項1、2、7から11、14、および請求項15、16について説明する。また、実施例2は、主に請求項12,13について説明する。また、実施例3は、主に請求項3から6について説明する。
【0011】
≪実施例1≫
<概要>
図1は、本実施例の映像表示装置による映像表示の一例を表す概念図である。この図1(a)にあるように、ディスプレイに出力されるニュース映像に「市川で交通事故」などの記事タイトルのテロップ文字画像αが含まれている。すると本実施例の映像表示装置は、映像中からそのテロップ文字画像を抽出し、視聴者の入力した指定サイズや視聴者の視力に応じた大きさに拡大(あるいは縮小)する。そして図1(b)に示すように、その拡大(縮小)したテロップ画像βを元の映像に重畳するなどしてディスプレイに表示する。このようにして、映像中に含まれるテロップ文字などその大きさを示す属性情報が付加されていない文字などであっても、その大きさを変えて表示することができる。
【0012】
<機能的構成>
図2は、本実施例の映像表示装置における機能ブロックの一例を表す図である。なお、以下に記載する本装置の機能ブロックは、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、CPUや主メモリ、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CDやDVDなどの記憶メディアとそれらメディアの読取ドライブなど)、情報入力に利用される入力デバイス、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。そして主メモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本装置の機能ブロックは専用ハードウェアによって実現されてもよい。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
【0013】
そして図2にあるように、本実施例の「映像表示装置」(0200)は、「ディスプレイ出力部」(0201)と、「画像認識部」(0202)と、「判断部」(0203)と、「サイズ情報取得部」(0204)と、「拡縮キャラクタ映像生成部」(0207)と、を有することを特徴とする。また図に示すように、本実施例の「映像表示装置」は、さらに「識別能力情報保持部」(0205)と、「倍率演算部」(0206)と、を有し、かつ拡縮キャラクタ映像生成部が図示しない「演算後拡縮手段」を有していてもよい。
【0014】
「ディスプレイ出力部」(0201)は、ディスプレイに対して映像を出力するための機能を有し、例えば映像デコーダ、GPU(グラフィックス・プロセッシング・ユニット)やVRAM(ビデオ・ランダムアクセスメモリ)、グラフィックアクセラレータなどで実現することができる。具体的には、圧縮符号化映像情報をデコーダにてデコードしグラフィックアクセラレータなどで処理することで生成された例えばRGB映像信号などをディスプレイに対して出力する、という具合である。なお、本実施例の映像表示装置がテレビ装置などであれば装置内部のディスプレイ回路などに対して出力する。また、映像表示装置がチューナ付レコーダ装置などであれば装置外部のディスプレイ装置に対して出力すると良い。
【0015】
「画像認識部」(0202)は、ディスプレイ出力部から出力される映像の画像を認識する機能を有し、例えばCPUや主メモリ、画像認識プログラムなどによって実現することができる。具体的には、ディスプレイ出力部から出力された例えば各ピクセルのRGB値などで示される映像情報を取得する。そして、取得した映像情報で示される画像に対して次の判断部にて例えばパターンマッチング処理などを行うことで、文字画像やアイコン画像が映像中に含まれているか判断する、という具合である。またこの画像認識部では、後述するキャラクタ画像の拡大/縮小倍率の演算に利用するため、取得した映像情報からその映像の画像サイズなどを取得すると良い。
【0016】
「判断部」(0203)は、画像認識部での認識結果に基づいてディスプレイ出力されている映像中にキャラクタ画像が含まれているか否か判断する機能を有し、例えばCPUや主メモリ、判断プログラムなどで実現することができる。なお、「キャラクタ画像」とは、文字やそれに類する例えばアイコンなどで示される情報を視聴者に伝達するための画像をいい、例えば、文字、数字、記号、絵文字、またはアイコンのいずれか1または2以上の組み合わせの画像をいう。そしてこの判断部では、そのようなキャラクタ画像が含まれているか判断するため、例えば図3に示すような文字画像や所定のアイコン画像などのパターン画像を予めフラッシュメモリなどに保持しておく。そして、画像認識部で取得された映像情報とのパターンマッチング処理を行い、画像中にそれら文字やアイコンなどが含まれているか否かの判断処理を実行する。そして、パターン画像に略合致する画像が映像情報中にある場合、当該映像中に視聴者の見やすいサイズなどに拡大又は縮小すべきキャラクタ画像が含まれていると判断する、という具合である。
【0017】
また、判断部での判断に利用されるパターンマッチング画像を、利用者が登録できるよう構成しても良い。具体的には、例えば携帯電話などで撮影したキャラクタ画像を含む写真を映像表示装置に送信することで登録する方法が挙げられる。あるいは、映像表示装置にて表示された映像内で、所望のキャラクタ画像が含まれる画像領域を入力デバイスなどでユーザが指定できるよう構成し、その指定領域をパターンマッチング画像として登録する方法なども挙げられる。
【0018】
「サイズ情報取得部」(0204)は、キャラクタ画像が含まれているとの判断結果である場合に、画像認識部での認識結果に基づいて映像が出力されるディスプレイ上でのそのキャラクタ画像のサイズ情報を取得する機能を有し、例えばCPUや主メモリ、サイズ情報取得プログラムなどによって実現することができる。具体的には、例えば判断部で判断されたその映像中の文字などの縦横のピクセル数をサイズ情報として取得する、という具合である。なお、キャラクタ画像は基本的に不定形であるが、ここで取得されるサイズ情報は、キャラクタ画像を含む略最小の矩形領域の縦横のサイズ情報とすると良い。
【0019】
また、例えば同じ100ピクセル×100ピクセルのキャラクタ画像であっても、27インチのディスプレイに表示される場合と32インチに表示される場合(なお、両ディスプレイの解像度は同じ例えば1980×1080などとする)とでは実際の視聴者に提示されるキャラクタ画像の大きさは異なることになる。そこで、このサイズ情報取得部は、図示しない「ディスプレイサイズ情報取得手段」をさらに有していてもよい。「ディスプレイサイズ情報取得手段」は、ディスプレイ出力部が出力するディスプレイのサイズを示す情報を取得可能に構成されている。具体的には、例えばディスプレイのサイズとして「32インチ」といった情報を取得する。そしてサイズ情報取得部では、上記取得した文字などの縦横ピクセル数(100×100)に、例えば19インチを倍率「1」として予め設定されている32インチの倍率「1.68」を乗算して、そのサイズ情報「168×168」を算出する、という具合である。
【0020】
あるいは別のディスプレイサイズ情報として、画素ピッチ(一画素の縦横の長さ)を取得するよう構成しても良い。そして、この画素ピッチを上記文字の縦横ピクセル数に乗ずることでそのキャラクタ画像のサイズを算出する、という具合である。
【0021】
このように本発明の映像表示装置では、ディスプレイ出力部から出力される映像の画像を認識し、その認識結果に基づく判断結果から、予めそのサイズなどを示す属性情報が付加されていないキャラクタ画像を抽出し、そのサイズを前記出力に合せて略リアルタイムで演算することを特徴とする。そして、このように算出されたキャラクタ画像のサイズに対して、以下の構成によって例えばユーザの入力した指定サイズや視聴者の視力を示す識別能力情報などをもとに補正を行うことで、最終的にディスプレイに表示されるキャラクタ画像の大きさが決定される、という具合である。
【0022】
「拡縮キャラクタ映像生成部」(0207)は、前記取得したサイズ情報に基づき前記少なくともキャラクタ画像が含まれている映像の領域を拡大又は縮小した拡縮キャラクタ映像を生成する機能を有し、例えばCPUや主メモリ、拡縮キャラクタ映像生成プログラム、あるいはGPUやVRAM、グラフィックアクセラレータなどで実現することができる。
【0023】
具体的には、例えば視聴者からキャラクタ画像を拡大/縮小するための倍率値などのサイズ指定をリモコン操作による数値入力などによって受付ける。そして前記構成により取得したサイズ情報で示されるキャラクタ画像のサイズを、その入力された指定サイズ(倍率値)で拡大、または縮小などする、と言う具合である。また、指定サイズ入力の際には、当該指定サイズでの実際の拡縮キャラクタ画像のプレビューを提示することで、プレビューを確認しながら視聴者が見易いサイズのキャラクタ画像となるよう指定サイズを調整できるよう構成しても良い。
【0024】
あるいは本実施例の映像表示装置は、図2に示すように「識別能力情報保持部」(0205)と、「倍率演算部」(0206)をさらに有し、かつ上記「拡縮キャラクタ画像生成部」が図示しない「演算後拡縮手段」を有することで、視聴者の視力などに応じたキャラクタ画像の拡縮処理を行うよう構成しても良い。
【0025】
「識別能力情報保持部」(0205)は、識別能力情報を保持する機能を有し、例えばHDDやフラッシュメモリ、その他の各種記録媒体やその読取装置などによって実現することができる。また、「識別能力情報」とは、ディスプレイに表示されるキャラクタ画像サイズに応じた視聴者によるキャラクタ画像の識別能力を示す情報をいい、例えば「視力:1.0」などの情報、あるいは乱視やその程度を表す情報などが挙げられる。また、この識別能力情報の取得に関しては、例えばユーザが別途測定した視力をリモコンなどで入力することで取得する方法や、実施例3にて後述するように、この映像表示装置に例えばランドルト環などを表示して適宜ユーザの視力を測定して取得する方法などが挙げられる。
【0026】
「倍率演算部」(0206)は、保持されている識別能力情報と、取得されたキャラクタ画像サイズ情報とに基づいて前記少なくともキャラクタ画像が含まれている映像領域の拡大倍率又は縮小倍率を演算する機能を有し、例えばCPUや主メモリ、倍率演算プログラムなどで実現することができる。具体的には、例えば図4(a)に示すように、識別能力情報で示される視力などに適したキャラクタ画像のサイズを示すテーブルデータαを予め保持しておく。また、例えば映像中のサイズが10×10の小さい文字と100×100の大きい文字とを同じ大きさに拡大/縮小した場合、元の映像のバランスがおかしくなる可能性が高いので、図4(b)に示すようにキャラクタ画像のサイズごとにその最大/最小の拡大/縮小サイズを定めたテーブルデータβも用意しておく。そして、識別能力情報に応じてテーブルデータαからキャラクタ画像の(最適)サイズ情報を取得する。
【0027】
なお、この最適サイズに関しては、例えば視力0.5の人が2.0mの距離でキャラクタ画像を見る場合であれば、一つのキャラクタ画像の最適な表示サイズは「2.5cm×2.5cm」といった値、あるいはその値をピクセル数などに変換した値として設定されると良い。またこの最適サイズは予め設定される以外に、例えば各サイズのキャラクタ画像を順番に表示し、ユーザが自身にとっての最適サイズのキャラクタ画像を指定することで、その画像のサイズ情報が最適サイズとして取得、設定されるよう構成しても良い。
【0028】
つづいて元々のサイズ情報に応じてテーブルデータβからその最大/最小サイズを取得する。そして、最適サイズ情報が拡大によるサイズの場合には最大サイズ情報と比較し(縮小であれば最小サイズ情報と比較し)、最適サイズが最大サイズを超えていなければその最適サイズ情報となるよう元々のサイズ情報から拡大倍率を演算し、最適サイズが最大サイズを超えていれば最大サイズとなるよう元々のサイズ情報から拡大倍率を演算する、という具合である。
【0029】
もちろん上記例は一例であって、例えば、画像認識部での認識結果を利用して、キャラクタ画像周辺の画面周波数が低周波(構成画素の色や輝度変化がほとんど無い)であるか否か判断する。ここで、画面周波数が低周波である場合には、キャラクタ画像の周囲画像は例えば板や空のような平坦な画像になっていると考えられるため、その定収が領域の範囲内であれば、いくら文字を大きくしても元の映像の邪魔をしないと想定される。そこで、上記認識された低周波の画像領域を最大拡大可能なサイズとして利用する、などの倍率演算処理が行われても良い。また、顔画像などにキャラクタ画像が被ると映像自体の価値を損ねる可能性があるため、顔やその他重要な被写体などを認識可能なパターン画像を利用して映像内の顔画像などを認識し、その顔画像などに被らないキャラクタ画像の拡縮倍率を演算するよう構成しても良い。また上記のようなテーブルデータを利用する以外に、識別能力情報aとサイズ情報bとを変数とする関数y=f(a、b)などを利用して、倍率yを算出するなどの演算であっても良い。
【0030】
また、この倍率算出部は、例えば視聴者とディスプレイとの間の距離を測る測距センサや同距離情報を入力する距離入力手段などを備え、その距離情報を倍率演算の変数として利用するよう構成しても良い。
【0031】
「演算後拡縮手段」は、前記演算された倍率に基づき前記拡大又は縮小した拡縮キャラクタ映像を生成する機能を有し、例えばCPUや主メモリ、演算後拡縮プログラムなどによって実現することができる。
【0032】
そして、このように生成された拡縮キャラクタ画像を、例えば元の映像に重畳することで、視聴者の入力した指定サイズや視聴者の視力に合ったサイズのキャラクタ画像を含む映像を視聴者に提供することができる。そしてその重畳処理のため、本実施例の映像表示装置は、図示しない「重畳部」をさらに有していてもよい。「重畳部」とは、前記生成された拡縮キャラクタ映像を前記ディスプレイ出力される映像に重畳してディスプレイ出力部から出力されるようにする機能を有し、例えばCPUや主メモリ、重畳プログラム、あるいはGPUやVRAM、グラフィックアクセラレータなどで実現することができる。また、「重畳処理」としては、複数画像の合成による重畳処理のほか、OSD(オンスクリーン・ディスプレイ)表示による重畳などさまざまであって良い。また、拡縮キャラクタ画像は、元映像への重畳処理によって視聴者に提示される以外に、例えば実施例2で後述するように、この拡縮キャラクタ映像のみを別のディスプレイや同ディスプレイ内の別ウィンドウに表示するよう構成しても良い。
【0033】
なお前記重畳部にて、縮小したキャラクタ画像を元の映像にそのまま重畳すると、縮小した分の余白(何の映像も無い領域)が画面内に生じてしまう。そこで、例えば隣接画素の色情報や前後数フレームにおける同じ領域の色情報などを利用してその余白領域の色情報を補完生成処理するよう構成しても良い。
【0034】
また、重畳部にて重畳する場合の拡縮キャラクタ画像の重畳位置については、ユーザからの位置指定によって決定するよう構成しても良い。そのために、この重畳部は、図示しない「位置変更受付手段」と、「位置変更手段」と、を有していても良い。「位置変更受付手段」は、拡縮キャラクタ映像を重畳する位置をディスプレイ内で変更するための視聴者からの位置情報の入力を受け付ける機能を有し、具体的には、例えばリモコンのカーソル操作などで指定された映像中の座標情報を取得し、その座標情報で示される位置を変更位置として取得する、という具合である。また「位置変更手段」は、受け付けた位置情報に応じて前記変更処理を実行する機能を有する。
【0035】
また、その他の重畳位置の決定方法としては、元のキャラクタ画像の中心位置と拡縮キャラクタ画像の中心位置、あるいは両者の左上角の位置が合致するよう重畳位置を決める方法も挙げられる。なお、その際には拡縮キャラクタ画像が元映像からはみ出さないよう適宜調整すると良い。
【0036】
また本実施例の映像表示装置は、例えば野球中継映像において映像の右下領域にスコアなどが表示され、かつ上部領域にニュース速報が表示される、という具合に、映像中に異なる二以上のキャラクタ画像が表示される場合に、いずれのキャラクタ画像を拡縮するか視聴者が選択できるよう構成しても良い。具体的には、上記構成に加えて、前記ディスプレイ上の領域を示す領域情報の入力を受付ける領域情報入力受付部をさらに有するとともに、前記拡縮キャラクタ映像生成部は、入力された領域情報で示される領域内の映像を前記演算された倍率に基づき拡大又は縮小した拡縮キャラクタ映像を生成する入力領域拡縮キャラクタ映像生成手段を有する。このようにして、視聴者がリモコン装置などの入力デバイスを利用してディスプレイ(又は映像)上の「野球のスコア」の表示領域が指定されれば、野球中継映像中のニュース速報は拡縮処理されずに、指定された野球のスコアのみ拡縮処理された映像が出力される、という具合である。
【0037】
<ハードウェア構成>
図5は、上記機能的な各構成要件をハードウェアとして実現した際の映像表示装置における構成の一例を表す概略図である。この図を利用して拡縮キャラクタ画像の生成処理におけるそれぞれのハードウェア構成部の働きについて説明する。この図にあるように、映像表示装置は、上記画像認識部や判断部、サイズ情報取得部、倍率演算部、拡縮キャラクタ映像生成部に関する演算処理や、その他の各種演算処理を実行するための「CPU」(0501)と、「主メモリ」(0502)と、を備えている。また識別能力情報保持部である「フラッシュメモリ」(0503)や、ディスプレイ出力部である「GPU」(0504)や「VRAM」(0505)なども備えている。また、ユーザからのリモコン操作入力を受け付ける「受光器」(0506)や「チューナ」(0507)なども備えていると良い。そしてそれらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
【0038】
また、「主メモリ」にはプログラムが読み出され、「CPU」は読み出された当該プログラムを参照し、プログラムで示される手順に従い各種演算処理を実行する。また、この「主メモリ」や「フラッシュメモリ」にはそれぞれ複数のアドレスが割り当てられており、「CPU」の演算処理においては、そのアドレスを特定し格納されているデータにアクセスすることで、データを用いた演算処理を行うことが可能になっている。
【0039】
ここで本実施例の映像表示装置は、チャンネル切替えや録画番組再生などのリモコン操作信号を「受光器」にて受信し復調すると、その操作信号で示される操作内容に従った「CPU」の制御処理を行い「チューナ」にて取り出す映像信号周波数の指定制御や、図示しない「HDD」などに記録されている録画番組の再生制御を実行する。そして、その制御によって「チューナ」や「HDD」から取り出された圧縮符号化映像情報に対する図示しない「デコーダ」によるデコード処理や「CPU」によるソフトウェアデコード処理が実行され、伸張生成された映像情報中の1フレーム分の画像情報が「主メモリ」のアドレス1、・・・に格納される。そして、その画像情報が「GPU」の処理によって「VRAM」上に展開され、図示しない「ディスプレイ」に出力される際に、「CPU」は判断プログラムにしたがって「主メモリ」や「VRAM」上の画像情報と、「フラッシュメモリ」に保持されている文字やアイコンを示すパターン画像を利用したパターンマッチング処理を実行する。
【0040】
その結果、画像情報中にパターン画像で示されるような文字やアイコン(キャラクタ画像)が含まれているとの判断結果が出力された場合、続いて「CPU」はサイズ情報取得プログラムにしたがい、そのキャラクタ画像の縦横ピクセル数などを「主メモリ」などの格納されている画像情報を参照して取得し、「主メモリ」のアドレス2、・・・にサイズ情報として格納する。また、前述のように、表示先となるディスプレイのインチ情報などを取得し、そのインチ情報に応じたサイズ情報の補正率を乗じて算出されたサイズ情報を格納しても良い。
【0041】
つづいて、本実施例の映像表示装置は、「フラッシュメモリ」に保持されている視聴者の例えば視力情報など読出し、「主メモリ」のアドレス3、・・・に識別能力情報として格納する。また、フラッシュメモリに視聴者IDと関連付けてその視聴者別の視力情報が保持されている場合、「受光器」にて視聴者識別情報を指定する操作信号を受付け、それに応じて視力情報を読み出しても良い。
【0042】
そして「CPU」は倍率演算プログラムにしたがって、主メモリのアドレス3に格納されている識別能力情報をキーとして、「フラッシュメモリ」に保持されている図4(a)に示すような視力に合った最適サイズ情報を示すテーブルデータを検索する。また主メモリのアドレス2に格納されているサイズ情報をキーとして、「フラッシュメモリ」に保持されている図4(b)に示すような元のサイズに応じた最大/最小サイズを示すテーブルデータを検索する。そして検索された最適サイズが最大/最小サイズを超えるか否かを「CPU」の演算処理によって判断し、超えていないとの判断結果が出力された場合は最適サイズで示されるサイズにするための倍率を算出する。また。超えているとの判断結果が出力された場合は、最大/最小で示されるサイズにするため、元のサイズからの倍率を「CPU」の演算処理によって算出する。そして、その算出した倍率を「主メモリ」のアドレス4、・・・に格納する。
【0043】
そして「CPU」は、拡縮キャラクタ映像生成プログラムにしたがって元のキャラクタ画像を「主メモリ」のアドレス4に格納されている倍率で拡大処理し、拡縮キャラクタ映像として「主メモリ」のアドレス5、・・・に格納する。そして、その画像情報が「GPU」の処理によって「VRAM」上に展開されているフレーム画像の所定位置に重畳され、文字やアイコンが拡大されたフレーム画像が生成される。そして、そのフレーム画像データが図示しない「D/A(デジタル/アナログ)コンバータ」を介してRGB信号としてディスプレイ回路に送られ、「ディスプレイ」に表示される、という具合である。
【0044】
もちろん上記例は一例であって、「フラッシュメモリ」に保持されている識別能力情報に関するテーブルデータなどを利用せずに、例えばGUIを介してリモコン装置などの各種入力デバイスから入力された指定サイズに応じて、「CPU」がキャラクタ画像の拡大/縮小画像を生成する構成であっても良い。
【0045】
<処理の流れ>
図6は、本実施例の映像表示装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、あるいは媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、ディスプレイに対して映像を出力し(ステップS0601)、その出力される映像の画像を認識する(ステップS0602)。そして、その認識結果に基づいてディスプレイ出力されている映像中にキャラクタ画像(例えば文字、数字、記号、絵文字、またはアイコンのいずれか1または2以上の組み合わせの画像)が含まれているか否か、例えばパターンマッチング処理などを行い判断する(ステップS0603)。そして、キャラクタ画像が含まれているとの判断結果である場合に、前記ステップでの認識結果に基づいて映像が出力されるディスプレイ上でのそのキャラクタ画像のサイズ情報を取得する(ステップS0604)。また、このサイズ情報の取得に関しては、例えば「27インチ」という具合に前記ディスプレイのサイズを示す情報を取得し、それも加味してキャラクタ画像のサイズ情報を算出、取得するよう構成しても良い。
【0046】
つづいて、予め識別能力情報保持部に保持などされている視聴者視力などを示す識別能力情報と、取得されたキャラクタ画像サイズ情報とに基づいて前記少なくともキャラクタ画像が含まれている映像領域の拡大倍率又は縮小倍率を演算する(ステップS0605)。そして前記演算された倍率に基づき前記少なくともキャラクタ画像が含まれている映像の領域を拡大又は縮小した拡縮キャラクタ映像を生成し(ステップS0606)、例えば元の映像に生成した拡縮キャラクタ画像を重畳するなどしてディスプレイに出力する。また重畳に際しては、図示していないが拡縮キャラクタ映像を重畳する位置をディスプレイ内で変更するための視聴者からの位置情報の入力を受け付けるステップと、受け付けた位置情報に応じて前記変更処理を実行するステップと、をさらに有していてもよい。
【0047】
もちろん上記例は一例であって、ステップS0605における識別能力情報に基づくキャラクタ画像が含まれる映像領域の拡大縮小倍率の演算処理の替わりに、例えばGUIを介してリモコン装置などの各種入力デバイスから視聴者の所望する指定サイズの入力を受付け、その受付けた指定サイズに応じてキャラクタ画像の拡大/縮小画像を生成するステップを含むよう構成しても良い。
【0048】
<効果の簡単な説明>
以上のように、本実施例の映像表示装置によって、フォントサイズなど大きさを示す属性情報が無い映像中のキャラクタ画像であっても、そのキャラクタ画像を抽出しその画像サイズに応じて、あるいはさらに視聴者の視力も加味してその大きさを変えて表示することができる。
【0049】
≪実施例2≫
<概要>
図7は、本実施例の映像表示装置による映像表示の一例を表す概念図である。ここで、上記実施例で説明したように、例えばディスプレイに出力されるニュース映像に「市川で交通事故」などの記事タイトルのテロップ文字画像が含まれていると、この映像表示装置は映像中からそのテロップ文字画像を抽出し、視聴者の視力に応じた大きさに拡大(あるいは縮小)する。そして上記実施例では元の映像に重畳して表示していた拡縮キャラクタ画像(拡大したテロップ文字画像)を、本実施例では、図7(a)に示すように別のディスプレイαに出力し表示する。あるいは、図7(b)に示すように、ディスプレイ内のウィンドウ(子画面)βに表示する、という具合である。
【0050】
このように、本実施例の映像表示装置は、2画面出力機能やウィンドウ出力機能を備え、生成した拡縮キャラクタ画像を、その別のディスプレイや別ウィンドウに表示する機能を備えることを特徴とする。したがって、本実施例の映像表示装置でも、映像中に含まれるテロップ文字などその大きさを示す属性情報が付加されていない文字などであっても、視聴者の視力に応じてその大きさを変えて別ディスプレイや別ウィンドウに表示することができる。
【0051】
<機能的構成>
図8は、本実施例の映像表示装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「映像表示装置」(0800)は、上記実施例を基本として「ディスプレイ出力部」(0801)と、「画像認識部」(0802)と、「判断部」(0803)と、「サイズ情報取得部」(0804)と、「識別能力情報保持部」(0805)と、「倍率演算部」(0806)と、「拡縮キャラクタ映像生成部」(0807)と、を有する。なお、これら構成要件については、上記実施例ですでに記載済みであるのでその説明は省略する。そして、本実施例の特徴点は、その「ディスプレイ出力部」が、二以上のディスプレイに対して映像を出力可能に二以上の「出力手段」を有する場合には、「ディスプレイ出力先制御手段」(0808)を有する点である。
【0052】
「ディスプレイ出力先制御手段」(0808)は、拡縮キャラクタ映像生成部にて生成された拡縮キャラクタ映像を、前記二以上の出力手段の一の出力手段に対して出力し、元映像には変更を加えないで他の出力手段から出力するように出力先を制御する機能を有し、例えばCPUや主メモリ、ディスプレイ出力先制御プログラム、あるいはGPUやVRAM、グラフィックアクセラレータ、そして2以上の画面分のディスプレイ出力ポートなどで実現することができる。このようにして、図7(a)に示すように拡縮キャラクタ画像を別のディスプレイに出力し表示することができる。
【0053】
なお、拡縮キャラクタ画像を別ディスプレイへの出力する際の、元の映像のキャラクタ画像に対する処理については、上記のように変更を加えずにそのまま出力するよう構成しても良いし、あるいは、拡縮キャラクタ画像として別ディスプレイに表示されている領域部分を元映像から消去し、その消去した部分を前後のフレームから補完処理して埋めるよう構成しても良い。
【0054】
また、別ディスプレイに表示される拡縮キャラクタ画像の拡大/縮小倍率を演算する際には、上記実施例で記載したようにそのサイズ情報取得部が、ディスプレイ出力部が出力するディスプレイのサイズを示す情報を取得可能なディスプレイサイズ情報取得手段をさらに有していても良い。もちろん、その場合に倍率演算に利用されるためにサイズ情報が取得されるディスプレイは、拡縮キャラクタ画像の出力先となる方の別ウィンドウである。
【0055】
また本実施例の映像表示装置は、その「ディスプレイ出力部」が、ディスプレイ表示画面内のウィンドウに対して映像を出力可能とするウィンドウ出力手段を二以上有している場合には、上記「ディスプレイ出力先制御手段」の替わりに、図示しない「ウィンドウ出力先制御手段」を有していてもよい。
【0056】
「ウィンドウ出力先制御手段」は、拡縮キャラクタ映像生成部にて生成された拡縮キャラクタ映像を、前記二以上のウィンドウ出力手段の一の出力手段に対して出力し、元映像には変更を加えないで他のウィンドウ出力手段から出力するように出力先を制御する機能を有し、例えばCPUや主メモリ、ウィンドウ出力先制御プログラム、あるいはGPUやVRAM、グラフィックアクセラレータなどで実現することができる。このようにして、図7(b)に示すように、元映像が表示されているディスプレイ内の別ウィンドウに拡縮キャラクタ画像を出力し表示することができる。
【0057】
なお、拡縮キャラクタ画像を表示する別ウィンドウの表示位置に関しては、例えば元の映像においてキャラクタ画像が表示されている位置とするよう構成しても良いし、固定位置に表示するよう構成しても良い。また、固定位置に表示する場合には、拡縮キャラクタ画像として別ウィンドウに表示されている領域部分を元映像から消去し、その消去した部分を前後のフレームから補完処理して埋めるよう構成しても良い。
【0058】
また、画面内のウィンドウに表示される拡縮キャラクタ画像の拡大/縮小倍率を演算する際には、ディスプレイ出力部が出力するディスプレイ画面内での表示ウィンドウサイズを示す表示ウィンドウサイズ情報を取得可能な表示ウィンドウサイズ情報取得手段を有していても良い。
【0059】
このように本実施例の映像表示装置は、映像中に含まれるキャラクタ画像を、文字の大きさを示す属性がなくともユーザの視力に応じて拡大、又は縮小し、別ディスプレイやウィンドウ(子画面)にて表示することができる。したがって、文字の大きさを示す属性がないキャラクタ画像であっても、視聴者の視力に適した大きさでユーザに提示することができる。
【0060】
<処理の流れ>
図9は、本実施例の映像表示装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、あるいは媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。まず、上記実施例で説明したような処理によってキャラクタ画像の拡大倍率又は縮小倍率を演算し、拡縮キャラクタ映像を生成する(ステップS0901)。そして元映像には変更を加えないで二以上の出力手段の一の出力手段から出力しディスプレイに表示する(ステップS0902A)。また、前記生成した拡縮キャラクタ映像を他の出力手段から出力して元映像とは別ディスプレイに出力する(ステップS0903A)。
【0061】
あるいは、元映像には変更を加えないで二以上の出力手段の一の出力手段から出力してディスプレイに表示する(ステップS0902B)とともに、前記生成した拡縮キャラクタ映像を他の出力手段から出力して元映像とは別のウィンドウに出力する(ステップS0903B)。
【0062】
<効果の簡単な説明>
以上のように本実施例の映像表示装置によって、映像中に含まれるキャラクタ画像を、文字の大きさを示す属性がなくともユーザの視力に応じて拡大、又は縮小し、別ディスプレイやウィンドウ(子画面)にて表示することができる。したがって、文字の大きさを示す属性がないキャラクタ画像であっても、視聴者の視力に適した大きさでユーザに提示することができる。
【0063】
≪実施例3≫
<概要>
本実施例は、上記実施例を基本として、視力などの視聴者の識別能力を測定し、その測定結果を識別能力情報として保持する機能をさらに有することを特徴とする映像表示装置である。
【0064】
<機能的構成>
図10は、本実施例の映像表示装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「映像表示装置」(1000)は、上記実施例を基本として「ディスプレイ出力部」(1001)と、「画像認識部」(1002)と、「判断部」(1003)と、「サイズ情報取得部」(1004)と、「識別能力情報保持部」(1005)と、「倍率演算部」(1006)と、「拡縮キャラクタ映像生成部」(1007)と、を有する。また、図示しない「ディスプレイ出力先制御手段」や「ウィンドウ出力先制御手段」などを有していても良い。なお、これら構成要件については、上記実施例ですでに記載済みであるのでその説明は省略する。そして、本実施例の特徴点は、「識別能力測定部」(1008)をさらに有する点である。
【0065】
「識別能力測定部」(1008)は、ディスプレイに表示されるキャラクタ画像サイズに応じた視聴者による識別能力を測定し、測定された識別能力情報を識別能力情報保持部に出力するための機能を有し、例えばCPUや主メモリ、距離能力測定プログラムなどで実現できる。具体的には、例えばディスプレイ上に「C」などの形で表現されるいわゆる「ランドルト環」を各種大きさで表示し、ユーザが操作パネルを操作して入力したその切欠の方向を示す情報を取得する。そして、ランドルト環の大きさとユーザの入力した切欠方向の正答率とを利用して視聴者の視力を算出し、それを識別能力情報保持部に記録する、という具合である。
【0066】
また、ランドルト環などを利用する「自覚的測定手段」のほかに、本実施例の映像表示装置は、視力を他覚的に測定する他覚的測定手段を有するよう構成しても良い。具体的には、例えば気球などの画像の焦点を変えて表示し、その際の反発性眼球振盪が消失する距離と視性眼球振盪の起こる距離とをセンサで測定し、その平均値によって視力を測定する、という具合である。また、これらの自覚的/他覚的測定手段においては、リモコン装置をさらに有し、前記測定手段は、リモコン装置に備えられた視力検査装置であっても良い。そしてリモコン装置は、リモコンとディスプレイ間の距離を測定する「距離測定部」と、測定された視力検査結果と、測定された距離とを識別能力測定部に対して出力する「リモコン出力部」と、を有するよう構成しても良い。
【0067】
このようにして、本実施例の映像表示装置では視聴者の識別能力情報を実際に測定し記録する機能を有することで、直近の識別能力情報を正確に取得することができる。したがって、その正確な識別能力情報を利用することで、より視聴者に見易い大きさでキャラクタ画像を拡大/縮小し表示することができる。
【0068】
また識別能力情報保持部では、ユーザごとにそのIDと関連付けて識別能力情報を保持するよう構成しても良い。その場合には、視聴前に例えばリモコンなどで視聴者IDを選択入力することで、利用される識別能力情報が決定されるよう構成する、という具合である。具体的に、本実施例の映像表示装置は上記構成を備え、さらに前記識別能力情報保持部が、複数の視聴者について、それぞれの視聴者の識別能力情報を保持する視聴者別識別能力情報保持手段を有し、前記倍率演算部が、視聴者ごとの識別能力情報に基づいて前記演算を行う視聴者別倍率演算手段を有することを特徴とする。このようにして、視聴者の視力ごとに最適な大きさでキャラクタ画像の拡縮処理を行うことができる。
【0069】
<処理の流れ>
図11は、本実施例の映像表示装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、あるいは媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。まず、例えばランドルト環(自覚的測定用の画像)や焦点を変更可能な気球画像(他覚的測定用の画像)などを表示するなどして、ディスプレイに表示されるキャラクタ画像サイズに応じた視聴者による識別能力を測定する(ステップS1101)。また、その測定に際しては、リモコンにてその測定入力操作を受付けるよう構成し、リモコンとディスプレイ間の距離をくわえて測定するよう構成しても良い。そして、その測定された識別能力情報(および距離情報)を識別能力情報保持部に出力し(ステップS1102)、識別能力情報保持部に記録する(ステップS1103)。そして、このようにして識別能力情報保持部に保持された視聴者の識別能力情報を利用して、上記実施例で説明したような処理によってキャラクタ画像の拡大/縮小倍率が演算される。
【0070】
<効果の簡単な説明>
以上のように本実施例の映像表示装置によって、視聴者の識別能力情報を実際に測定し記録し、直近の識別能力情報を正確に取得することができる。したがって、その正確な識別能力情報を利用することで、より視聴者に見易い大きさでキャラクタ画像を拡大/縮小し表示することができる。
【符号の説明】
【0071】
0200 映像表示装置
0201 ディスプレイ出力部
0202 画像認識部
0203 判断部
0204 サイズ情報取得部
0205 識別能力情報保持部
0206 倍率演算部
0207 拡縮キャラクタ映像生成部
【技術分野】
【0001】
本発明は、映像中に含まれる文字などのキャラクタ画像を抽出し、その抽出したキャラクタ画像を適宜拡大したり縮小したりするための技術に関する。
【背景技術】
【0002】
従来、テレビなどに電子番組表を表示して視聴番組や録画番組を選択することができるユーザ・インターフェースが提供されている。ところが、特にリビングなどに置かれ視聴者との距離があるテレビなどのいわゆる「10フィート・ユーザ・インターフェース」の装置にあっては、電子番組表内の情報量が多い(表示文字数が多い)場合や視聴者の視力が悪い場合などには表示されている文字が見えづらい、といった問題がある。そこで、下記の特許文献1では、電子番組表内の文字フォントの大きさを利用者の視力に応じて変更する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−300983号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記従来技術において拡大される文字は、その文字の大きさ(フォントサイズ)の属性データが予め付加されたテキストデータであって、その予め付加されているフォントサイズを変更することで表示文字の大きさを変更している。したがって、このような文字の大きさを示す属性情報が無い場合、すなわち例えばテレビ映像中に含まれる看板の文字やテロップ文字などの文字画像、あるいはそれに類するアイコンなどの「キャラクタ画像」については視力に応じた拡大等の処理をすることができない、という課題がある。
【課題を解決するための手段】
【0005】
以上の課題を解決するために、本発明は、ディスプレイに出力される映像の画像中に含まれる、例えば看板の文字やテロップ文字などの文字画像を画像認識処理によって抽出し、その抽出した文字画像サイズを判別した上で文字画像の拡大/縮小倍率を計算して当該拡大縮小処理を行う機能を備える映像表示装置を提供する。
【0006】
具体的には、ディスプレイに対して映像を出力するためのディスプレイ出力部と、ディスプレイ出力部から出力される映像の画像を認識する画像認識部と、画像認識部での認識結果に基づいてディスプレイ出力されている映像中にキャラクタ画像が含まれているか否か判断する判断部と、キャラクタ画像が含まれているとの判断結果である場合に、画像認識部での認識結果に基づいて映像が出力されるディスプレイ上でのそのキャラクタ画像のサイズ情報を取得するサイズ情報取得部と、前記取得したサイズ情報に基づき少なくともキャラクタ画像が含まれている映像の領域を拡大又は縮小した拡縮キャラクタ映像を生成する拡縮キャラクタ映像生成部と、を有する映像表示装置を提供する。
【0007】
また、視聴者の視力などを示す識別能力情報を保持し、その識別能力情報も加味して好適なサイズにキャラクタ画像を拡大/縮小する機能をさらに備える映像表示装置なども提供する。具体的には、視聴者によるキャラクタ画像の識別能力を示す情報である識別能力情報を保持する識別能力情報保持部と、保持されている識別能力情報と、取得されたキャラクタ画像サイズ情報とに基づいて前記少なくともキャラクタ画像が含まれている映像領域の拡大倍率又は縮小倍率を演算する倍率演算部と、を有し、前記拡縮キャラクタ映像生成部は、前記演算された倍率に基づき前記拡大又は縮小した拡縮キャラクタ映像を生成する演算後拡縮手段を有する映像表示装置なども提供する。
【発明の効果】
【0008】
以上のような構成をとる本発明によって、フォントサイズなど大きさを示す属性情報が無い映像中のキャラクタ画像であっても、そのキャラクタ画像を抽出しその画像サイズを判別した上で、あるいはさらに視聴者の視力も加味してその拡大縮小倍率を演算することができる。したがって、視聴者に適した大きさのキャラクタ画像を含む映像を表示することができる。
【図面の簡単な説明】
【0009】
【図1】実施例1の映像表示装置による映像表示の一例を表す概念図
【図2】実施例1の映像表示装置における機能ブロックの一例を表す図
【図3】実施例1の映像表示装置の判断部にて利用されるパターン画像の一例を表す図
【図4】実施例1の映像表示装置の倍率演算部にて利用されるデータテーブルの一例を表す図
【図5】実施例1の映像表示装置におけるハードウェア構成の一例を表す図
【図6】実施例1の映像表示装置における処理の流れの一例を表すフローチャート
【図7】実施例2の映像表示装置による映像表示の一例を表す概念図
【図8】実施例2の映像表示装置における機能ブロックの一例を表す図
【図9】実施例2の映像表示装置における処理の流れの一例を表すフローチャート
【図10】実施例3の映像表示装置における機能ブロックの一例を表す図
【図11】実施例3の映像表示装置における処理の流れの一例を表すフローチャート
【発明を実施するための形態】
【0010】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、実施例1は、主に請求項1、2、7から11、14、および請求項15、16について説明する。また、実施例2は、主に請求項12,13について説明する。また、実施例3は、主に請求項3から6について説明する。
【0011】
≪実施例1≫
<概要>
図1は、本実施例の映像表示装置による映像表示の一例を表す概念図である。この図1(a)にあるように、ディスプレイに出力されるニュース映像に「市川で交通事故」などの記事タイトルのテロップ文字画像αが含まれている。すると本実施例の映像表示装置は、映像中からそのテロップ文字画像を抽出し、視聴者の入力した指定サイズや視聴者の視力に応じた大きさに拡大(あるいは縮小)する。そして図1(b)に示すように、その拡大(縮小)したテロップ画像βを元の映像に重畳するなどしてディスプレイに表示する。このようにして、映像中に含まれるテロップ文字などその大きさを示す属性情報が付加されていない文字などであっても、その大きさを変えて表示することができる。
【0012】
<機能的構成>
図2は、本実施例の映像表示装置における機能ブロックの一例を表す図である。なお、以下に記載する本装置の機能ブロックは、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、CPUや主メモリ、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CDやDVDなどの記憶メディアとそれらメディアの読取ドライブなど)、情報入力に利用される入力デバイス、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。そして主メモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本装置の機能ブロックは専用ハードウェアによって実現されてもよい。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
【0013】
そして図2にあるように、本実施例の「映像表示装置」(0200)は、「ディスプレイ出力部」(0201)と、「画像認識部」(0202)と、「判断部」(0203)と、「サイズ情報取得部」(0204)と、「拡縮キャラクタ映像生成部」(0207)と、を有することを特徴とする。また図に示すように、本実施例の「映像表示装置」は、さらに「識別能力情報保持部」(0205)と、「倍率演算部」(0206)と、を有し、かつ拡縮キャラクタ映像生成部が図示しない「演算後拡縮手段」を有していてもよい。
【0014】
「ディスプレイ出力部」(0201)は、ディスプレイに対して映像を出力するための機能を有し、例えば映像デコーダ、GPU(グラフィックス・プロセッシング・ユニット)やVRAM(ビデオ・ランダムアクセスメモリ)、グラフィックアクセラレータなどで実現することができる。具体的には、圧縮符号化映像情報をデコーダにてデコードしグラフィックアクセラレータなどで処理することで生成された例えばRGB映像信号などをディスプレイに対して出力する、という具合である。なお、本実施例の映像表示装置がテレビ装置などであれば装置内部のディスプレイ回路などに対して出力する。また、映像表示装置がチューナ付レコーダ装置などであれば装置外部のディスプレイ装置に対して出力すると良い。
【0015】
「画像認識部」(0202)は、ディスプレイ出力部から出力される映像の画像を認識する機能を有し、例えばCPUや主メモリ、画像認識プログラムなどによって実現することができる。具体的には、ディスプレイ出力部から出力された例えば各ピクセルのRGB値などで示される映像情報を取得する。そして、取得した映像情報で示される画像に対して次の判断部にて例えばパターンマッチング処理などを行うことで、文字画像やアイコン画像が映像中に含まれているか判断する、という具合である。またこの画像認識部では、後述するキャラクタ画像の拡大/縮小倍率の演算に利用するため、取得した映像情報からその映像の画像サイズなどを取得すると良い。
【0016】
「判断部」(0203)は、画像認識部での認識結果に基づいてディスプレイ出力されている映像中にキャラクタ画像が含まれているか否か判断する機能を有し、例えばCPUや主メモリ、判断プログラムなどで実現することができる。なお、「キャラクタ画像」とは、文字やそれに類する例えばアイコンなどで示される情報を視聴者に伝達するための画像をいい、例えば、文字、数字、記号、絵文字、またはアイコンのいずれか1または2以上の組み合わせの画像をいう。そしてこの判断部では、そのようなキャラクタ画像が含まれているか判断するため、例えば図3に示すような文字画像や所定のアイコン画像などのパターン画像を予めフラッシュメモリなどに保持しておく。そして、画像認識部で取得された映像情報とのパターンマッチング処理を行い、画像中にそれら文字やアイコンなどが含まれているか否かの判断処理を実行する。そして、パターン画像に略合致する画像が映像情報中にある場合、当該映像中に視聴者の見やすいサイズなどに拡大又は縮小すべきキャラクタ画像が含まれていると判断する、という具合である。
【0017】
また、判断部での判断に利用されるパターンマッチング画像を、利用者が登録できるよう構成しても良い。具体的には、例えば携帯電話などで撮影したキャラクタ画像を含む写真を映像表示装置に送信することで登録する方法が挙げられる。あるいは、映像表示装置にて表示された映像内で、所望のキャラクタ画像が含まれる画像領域を入力デバイスなどでユーザが指定できるよう構成し、その指定領域をパターンマッチング画像として登録する方法なども挙げられる。
【0018】
「サイズ情報取得部」(0204)は、キャラクタ画像が含まれているとの判断結果である場合に、画像認識部での認識結果に基づいて映像が出力されるディスプレイ上でのそのキャラクタ画像のサイズ情報を取得する機能を有し、例えばCPUや主メモリ、サイズ情報取得プログラムなどによって実現することができる。具体的には、例えば判断部で判断されたその映像中の文字などの縦横のピクセル数をサイズ情報として取得する、という具合である。なお、キャラクタ画像は基本的に不定形であるが、ここで取得されるサイズ情報は、キャラクタ画像を含む略最小の矩形領域の縦横のサイズ情報とすると良い。
【0019】
また、例えば同じ100ピクセル×100ピクセルのキャラクタ画像であっても、27インチのディスプレイに表示される場合と32インチに表示される場合(なお、両ディスプレイの解像度は同じ例えば1980×1080などとする)とでは実際の視聴者に提示されるキャラクタ画像の大きさは異なることになる。そこで、このサイズ情報取得部は、図示しない「ディスプレイサイズ情報取得手段」をさらに有していてもよい。「ディスプレイサイズ情報取得手段」は、ディスプレイ出力部が出力するディスプレイのサイズを示す情報を取得可能に構成されている。具体的には、例えばディスプレイのサイズとして「32インチ」といった情報を取得する。そしてサイズ情報取得部では、上記取得した文字などの縦横ピクセル数(100×100)に、例えば19インチを倍率「1」として予め設定されている32インチの倍率「1.68」を乗算して、そのサイズ情報「168×168」を算出する、という具合である。
【0020】
あるいは別のディスプレイサイズ情報として、画素ピッチ(一画素の縦横の長さ)を取得するよう構成しても良い。そして、この画素ピッチを上記文字の縦横ピクセル数に乗ずることでそのキャラクタ画像のサイズを算出する、という具合である。
【0021】
このように本発明の映像表示装置では、ディスプレイ出力部から出力される映像の画像を認識し、その認識結果に基づく判断結果から、予めそのサイズなどを示す属性情報が付加されていないキャラクタ画像を抽出し、そのサイズを前記出力に合せて略リアルタイムで演算することを特徴とする。そして、このように算出されたキャラクタ画像のサイズに対して、以下の構成によって例えばユーザの入力した指定サイズや視聴者の視力を示す識別能力情報などをもとに補正を行うことで、最終的にディスプレイに表示されるキャラクタ画像の大きさが決定される、という具合である。
【0022】
「拡縮キャラクタ映像生成部」(0207)は、前記取得したサイズ情報に基づき前記少なくともキャラクタ画像が含まれている映像の領域を拡大又は縮小した拡縮キャラクタ映像を生成する機能を有し、例えばCPUや主メモリ、拡縮キャラクタ映像生成プログラム、あるいはGPUやVRAM、グラフィックアクセラレータなどで実現することができる。
【0023】
具体的には、例えば視聴者からキャラクタ画像を拡大/縮小するための倍率値などのサイズ指定をリモコン操作による数値入力などによって受付ける。そして前記構成により取得したサイズ情報で示されるキャラクタ画像のサイズを、その入力された指定サイズ(倍率値)で拡大、または縮小などする、と言う具合である。また、指定サイズ入力の際には、当該指定サイズでの実際の拡縮キャラクタ画像のプレビューを提示することで、プレビューを確認しながら視聴者が見易いサイズのキャラクタ画像となるよう指定サイズを調整できるよう構成しても良い。
【0024】
あるいは本実施例の映像表示装置は、図2に示すように「識別能力情報保持部」(0205)と、「倍率演算部」(0206)をさらに有し、かつ上記「拡縮キャラクタ画像生成部」が図示しない「演算後拡縮手段」を有することで、視聴者の視力などに応じたキャラクタ画像の拡縮処理を行うよう構成しても良い。
【0025】
「識別能力情報保持部」(0205)は、識別能力情報を保持する機能を有し、例えばHDDやフラッシュメモリ、その他の各種記録媒体やその読取装置などによって実現することができる。また、「識別能力情報」とは、ディスプレイに表示されるキャラクタ画像サイズに応じた視聴者によるキャラクタ画像の識別能力を示す情報をいい、例えば「視力:1.0」などの情報、あるいは乱視やその程度を表す情報などが挙げられる。また、この識別能力情報の取得に関しては、例えばユーザが別途測定した視力をリモコンなどで入力することで取得する方法や、実施例3にて後述するように、この映像表示装置に例えばランドルト環などを表示して適宜ユーザの視力を測定して取得する方法などが挙げられる。
【0026】
「倍率演算部」(0206)は、保持されている識別能力情報と、取得されたキャラクタ画像サイズ情報とに基づいて前記少なくともキャラクタ画像が含まれている映像領域の拡大倍率又は縮小倍率を演算する機能を有し、例えばCPUや主メモリ、倍率演算プログラムなどで実現することができる。具体的には、例えば図4(a)に示すように、識別能力情報で示される視力などに適したキャラクタ画像のサイズを示すテーブルデータαを予め保持しておく。また、例えば映像中のサイズが10×10の小さい文字と100×100の大きい文字とを同じ大きさに拡大/縮小した場合、元の映像のバランスがおかしくなる可能性が高いので、図4(b)に示すようにキャラクタ画像のサイズごとにその最大/最小の拡大/縮小サイズを定めたテーブルデータβも用意しておく。そして、識別能力情報に応じてテーブルデータαからキャラクタ画像の(最適)サイズ情報を取得する。
【0027】
なお、この最適サイズに関しては、例えば視力0.5の人が2.0mの距離でキャラクタ画像を見る場合であれば、一つのキャラクタ画像の最適な表示サイズは「2.5cm×2.5cm」といった値、あるいはその値をピクセル数などに変換した値として設定されると良い。またこの最適サイズは予め設定される以外に、例えば各サイズのキャラクタ画像を順番に表示し、ユーザが自身にとっての最適サイズのキャラクタ画像を指定することで、その画像のサイズ情報が最適サイズとして取得、設定されるよう構成しても良い。
【0028】
つづいて元々のサイズ情報に応じてテーブルデータβからその最大/最小サイズを取得する。そして、最適サイズ情報が拡大によるサイズの場合には最大サイズ情報と比較し(縮小であれば最小サイズ情報と比較し)、最適サイズが最大サイズを超えていなければその最適サイズ情報となるよう元々のサイズ情報から拡大倍率を演算し、最適サイズが最大サイズを超えていれば最大サイズとなるよう元々のサイズ情報から拡大倍率を演算する、という具合である。
【0029】
もちろん上記例は一例であって、例えば、画像認識部での認識結果を利用して、キャラクタ画像周辺の画面周波数が低周波(構成画素の色や輝度変化がほとんど無い)であるか否か判断する。ここで、画面周波数が低周波である場合には、キャラクタ画像の周囲画像は例えば板や空のような平坦な画像になっていると考えられるため、その定収が領域の範囲内であれば、いくら文字を大きくしても元の映像の邪魔をしないと想定される。そこで、上記認識された低周波の画像領域を最大拡大可能なサイズとして利用する、などの倍率演算処理が行われても良い。また、顔画像などにキャラクタ画像が被ると映像自体の価値を損ねる可能性があるため、顔やその他重要な被写体などを認識可能なパターン画像を利用して映像内の顔画像などを認識し、その顔画像などに被らないキャラクタ画像の拡縮倍率を演算するよう構成しても良い。また上記のようなテーブルデータを利用する以外に、識別能力情報aとサイズ情報bとを変数とする関数y=f(a、b)などを利用して、倍率yを算出するなどの演算であっても良い。
【0030】
また、この倍率算出部は、例えば視聴者とディスプレイとの間の距離を測る測距センサや同距離情報を入力する距離入力手段などを備え、その距離情報を倍率演算の変数として利用するよう構成しても良い。
【0031】
「演算後拡縮手段」は、前記演算された倍率に基づき前記拡大又は縮小した拡縮キャラクタ映像を生成する機能を有し、例えばCPUや主メモリ、演算後拡縮プログラムなどによって実現することができる。
【0032】
そして、このように生成された拡縮キャラクタ画像を、例えば元の映像に重畳することで、視聴者の入力した指定サイズや視聴者の視力に合ったサイズのキャラクタ画像を含む映像を視聴者に提供することができる。そしてその重畳処理のため、本実施例の映像表示装置は、図示しない「重畳部」をさらに有していてもよい。「重畳部」とは、前記生成された拡縮キャラクタ映像を前記ディスプレイ出力される映像に重畳してディスプレイ出力部から出力されるようにする機能を有し、例えばCPUや主メモリ、重畳プログラム、あるいはGPUやVRAM、グラフィックアクセラレータなどで実現することができる。また、「重畳処理」としては、複数画像の合成による重畳処理のほか、OSD(オンスクリーン・ディスプレイ)表示による重畳などさまざまであって良い。また、拡縮キャラクタ画像は、元映像への重畳処理によって視聴者に提示される以外に、例えば実施例2で後述するように、この拡縮キャラクタ映像のみを別のディスプレイや同ディスプレイ内の別ウィンドウに表示するよう構成しても良い。
【0033】
なお前記重畳部にて、縮小したキャラクタ画像を元の映像にそのまま重畳すると、縮小した分の余白(何の映像も無い領域)が画面内に生じてしまう。そこで、例えば隣接画素の色情報や前後数フレームにおける同じ領域の色情報などを利用してその余白領域の色情報を補完生成処理するよう構成しても良い。
【0034】
また、重畳部にて重畳する場合の拡縮キャラクタ画像の重畳位置については、ユーザからの位置指定によって決定するよう構成しても良い。そのために、この重畳部は、図示しない「位置変更受付手段」と、「位置変更手段」と、を有していても良い。「位置変更受付手段」は、拡縮キャラクタ映像を重畳する位置をディスプレイ内で変更するための視聴者からの位置情報の入力を受け付ける機能を有し、具体的には、例えばリモコンのカーソル操作などで指定された映像中の座標情報を取得し、その座標情報で示される位置を変更位置として取得する、という具合である。また「位置変更手段」は、受け付けた位置情報に応じて前記変更処理を実行する機能を有する。
【0035】
また、その他の重畳位置の決定方法としては、元のキャラクタ画像の中心位置と拡縮キャラクタ画像の中心位置、あるいは両者の左上角の位置が合致するよう重畳位置を決める方法も挙げられる。なお、その際には拡縮キャラクタ画像が元映像からはみ出さないよう適宜調整すると良い。
【0036】
また本実施例の映像表示装置は、例えば野球中継映像において映像の右下領域にスコアなどが表示され、かつ上部領域にニュース速報が表示される、という具合に、映像中に異なる二以上のキャラクタ画像が表示される場合に、いずれのキャラクタ画像を拡縮するか視聴者が選択できるよう構成しても良い。具体的には、上記構成に加えて、前記ディスプレイ上の領域を示す領域情報の入力を受付ける領域情報入力受付部をさらに有するとともに、前記拡縮キャラクタ映像生成部は、入力された領域情報で示される領域内の映像を前記演算された倍率に基づき拡大又は縮小した拡縮キャラクタ映像を生成する入力領域拡縮キャラクタ映像生成手段を有する。このようにして、視聴者がリモコン装置などの入力デバイスを利用してディスプレイ(又は映像)上の「野球のスコア」の表示領域が指定されれば、野球中継映像中のニュース速報は拡縮処理されずに、指定された野球のスコアのみ拡縮処理された映像が出力される、という具合である。
【0037】
<ハードウェア構成>
図5は、上記機能的な各構成要件をハードウェアとして実現した際の映像表示装置における構成の一例を表す概略図である。この図を利用して拡縮キャラクタ画像の生成処理におけるそれぞれのハードウェア構成部の働きについて説明する。この図にあるように、映像表示装置は、上記画像認識部や判断部、サイズ情報取得部、倍率演算部、拡縮キャラクタ映像生成部に関する演算処理や、その他の各種演算処理を実行するための「CPU」(0501)と、「主メモリ」(0502)と、を備えている。また識別能力情報保持部である「フラッシュメモリ」(0503)や、ディスプレイ出力部である「GPU」(0504)や「VRAM」(0505)なども備えている。また、ユーザからのリモコン操作入力を受け付ける「受光器」(0506)や「チューナ」(0507)なども備えていると良い。そしてそれらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
【0038】
また、「主メモリ」にはプログラムが読み出され、「CPU」は読み出された当該プログラムを参照し、プログラムで示される手順に従い各種演算処理を実行する。また、この「主メモリ」や「フラッシュメモリ」にはそれぞれ複数のアドレスが割り当てられており、「CPU」の演算処理においては、そのアドレスを特定し格納されているデータにアクセスすることで、データを用いた演算処理を行うことが可能になっている。
【0039】
ここで本実施例の映像表示装置は、チャンネル切替えや録画番組再生などのリモコン操作信号を「受光器」にて受信し復調すると、その操作信号で示される操作内容に従った「CPU」の制御処理を行い「チューナ」にて取り出す映像信号周波数の指定制御や、図示しない「HDD」などに記録されている録画番組の再生制御を実行する。そして、その制御によって「チューナ」や「HDD」から取り出された圧縮符号化映像情報に対する図示しない「デコーダ」によるデコード処理や「CPU」によるソフトウェアデコード処理が実行され、伸張生成された映像情報中の1フレーム分の画像情報が「主メモリ」のアドレス1、・・・に格納される。そして、その画像情報が「GPU」の処理によって「VRAM」上に展開され、図示しない「ディスプレイ」に出力される際に、「CPU」は判断プログラムにしたがって「主メモリ」や「VRAM」上の画像情報と、「フラッシュメモリ」に保持されている文字やアイコンを示すパターン画像を利用したパターンマッチング処理を実行する。
【0040】
その結果、画像情報中にパターン画像で示されるような文字やアイコン(キャラクタ画像)が含まれているとの判断結果が出力された場合、続いて「CPU」はサイズ情報取得プログラムにしたがい、そのキャラクタ画像の縦横ピクセル数などを「主メモリ」などの格納されている画像情報を参照して取得し、「主メモリ」のアドレス2、・・・にサイズ情報として格納する。また、前述のように、表示先となるディスプレイのインチ情報などを取得し、そのインチ情報に応じたサイズ情報の補正率を乗じて算出されたサイズ情報を格納しても良い。
【0041】
つづいて、本実施例の映像表示装置は、「フラッシュメモリ」に保持されている視聴者の例えば視力情報など読出し、「主メモリ」のアドレス3、・・・に識別能力情報として格納する。また、フラッシュメモリに視聴者IDと関連付けてその視聴者別の視力情報が保持されている場合、「受光器」にて視聴者識別情報を指定する操作信号を受付け、それに応じて視力情報を読み出しても良い。
【0042】
そして「CPU」は倍率演算プログラムにしたがって、主メモリのアドレス3に格納されている識別能力情報をキーとして、「フラッシュメモリ」に保持されている図4(a)に示すような視力に合った最適サイズ情報を示すテーブルデータを検索する。また主メモリのアドレス2に格納されているサイズ情報をキーとして、「フラッシュメモリ」に保持されている図4(b)に示すような元のサイズに応じた最大/最小サイズを示すテーブルデータを検索する。そして検索された最適サイズが最大/最小サイズを超えるか否かを「CPU」の演算処理によって判断し、超えていないとの判断結果が出力された場合は最適サイズで示されるサイズにするための倍率を算出する。また。超えているとの判断結果が出力された場合は、最大/最小で示されるサイズにするため、元のサイズからの倍率を「CPU」の演算処理によって算出する。そして、その算出した倍率を「主メモリ」のアドレス4、・・・に格納する。
【0043】
そして「CPU」は、拡縮キャラクタ映像生成プログラムにしたがって元のキャラクタ画像を「主メモリ」のアドレス4に格納されている倍率で拡大処理し、拡縮キャラクタ映像として「主メモリ」のアドレス5、・・・に格納する。そして、その画像情報が「GPU」の処理によって「VRAM」上に展開されているフレーム画像の所定位置に重畳され、文字やアイコンが拡大されたフレーム画像が生成される。そして、そのフレーム画像データが図示しない「D/A(デジタル/アナログ)コンバータ」を介してRGB信号としてディスプレイ回路に送られ、「ディスプレイ」に表示される、という具合である。
【0044】
もちろん上記例は一例であって、「フラッシュメモリ」に保持されている識別能力情報に関するテーブルデータなどを利用せずに、例えばGUIを介してリモコン装置などの各種入力デバイスから入力された指定サイズに応じて、「CPU」がキャラクタ画像の拡大/縮小画像を生成する構成であっても良い。
【0045】
<処理の流れ>
図6は、本実施例の映像表示装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、あるいは媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、ディスプレイに対して映像を出力し(ステップS0601)、その出力される映像の画像を認識する(ステップS0602)。そして、その認識結果に基づいてディスプレイ出力されている映像中にキャラクタ画像(例えば文字、数字、記号、絵文字、またはアイコンのいずれか1または2以上の組み合わせの画像)が含まれているか否か、例えばパターンマッチング処理などを行い判断する(ステップS0603)。そして、キャラクタ画像が含まれているとの判断結果である場合に、前記ステップでの認識結果に基づいて映像が出力されるディスプレイ上でのそのキャラクタ画像のサイズ情報を取得する(ステップS0604)。また、このサイズ情報の取得に関しては、例えば「27インチ」という具合に前記ディスプレイのサイズを示す情報を取得し、それも加味してキャラクタ画像のサイズ情報を算出、取得するよう構成しても良い。
【0046】
つづいて、予め識別能力情報保持部に保持などされている視聴者視力などを示す識別能力情報と、取得されたキャラクタ画像サイズ情報とに基づいて前記少なくともキャラクタ画像が含まれている映像領域の拡大倍率又は縮小倍率を演算する(ステップS0605)。そして前記演算された倍率に基づき前記少なくともキャラクタ画像が含まれている映像の領域を拡大又は縮小した拡縮キャラクタ映像を生成し(ステップS0606)、例えば元の映像に生成した拡縮キャラクタ画像を重畳するなどしてディスプレイに出力する。また重畳に際しては、図示していないが拡縮キャラクタ映像を重畳する位置をディスプレイ内で変更するための視聴者からの位置情報の入力を受け付けるステップと、受け付けた位置情報に応じて前記変更処理を実行するステップと、をさらに有していてもよい。
【0047】
もちろん上記例は一例であって、ステップS0605における識別能力情報に基づくキャラクタ画像が含まれる映像領域の拡大縮小倍率の演算処理の替わりに、例えばGUIを介してリモコン装置などの各種入力デバイスから視聴者の所望する指定サイズの入力を受付け、その受付けた指定サイズに応じてキャラクタ画像の拡大/縮小画像を生成するステップを含むよう構成しても良い。
【0048】
<効果の簡単な説明>
以上のように、本実施例の映像表示装置によって、フォントサイズなど大きさを示す属性情報が無い映像中のキャラクタ画像であっても、そのキャラクタ画像を抽出しその画像サイズに応じて、あるいはさらに視聴者の視力も加味してその大きさを変えて表示することができる。
【0049】
≪実施例2≫
<概要>
図7は、本実施例の映像表示装置による映像表示の一例を表す概念図である。ここで、上記実施例で説明したように、例えばディスプレイに出力されるニュース映像に「市川で交通事故」などの記事タイトルのテロップ文字画像が含まれていると、この映像表示装置は映像中からそのテロップ文字画像を抽出し、視聴者の視力に応じた大きさに拡大(あるいは縮小)する。そして上記実施例では元の映像に重畳して表示していた拡縮キャラクタ画像(拡大したテロップ文字画像)を、本実施例では、図7(a)に示すように別のディスプレイαに出力し表示する。あるいは、図7(b)に示すように、ディスプレイ内のウィンドウ(子画面)βに表示する、という具合である。
【0050】
このように、本実施例の映像表示装置は、2画面出力機能やウィンドウ出力機能を備え、生成した拡縮キャラクタ画像を、その別のディスプレイや別ウィンドウに表示する機能を備えることを特徴とする。したがって、本実施例の映像表示装置でも、映像中に含まれるテロップ文字などその大きさを示す属性情報が付加されていない文字などであっても、視聴者の視力に応じてその大きさを変えて別ディスプレイや別ウィンドウに表示することができる。
【0051】
<機能的構成>
図8は、本実施例の映像表示装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「映像表示装置」(0800)は、上記実施例を基本として「ディスプレイ出力部」(0801)と、「画像認識部」(0802)と、「判断部」(0803)と、「サイズ情報取得部」(0804)と、「識別能力情報保持部」(0805)と、「倍率演算部」(0806)と、「拡縮キャラクタ映像生成部」(0807)と、を有する。なお、これら構成要件については、上記実施例ですでに記載済みであるのでその説明は省略する。そして、本実施例の特徴点は、その「ディスプレイ出力部」が、二以上のディスプレイに対して映像を出力可能に二以上の「出力手段」を有する場合には、「ディスプレイ出力先制御手段」(0808)を有する点である。
【0052】
「ディスプレイ出力先制御手段」(0808)は、拡縮キャラクタ映像生成部にて生成された拡縮キャラクタ映像を、前記二以上の出力手段の一の出力手段に対して出力し、元映像には変更を加えないで他の出力手段から出力するように出力先を制御する機能を有し、例えばCPUや主メモリ、ディスプレイ出力先制御プログラム、あるいはGPUやVRAM、グラフィックアクセラレータ、そして2以上の画面分のディスプレイ出力ポートなどで実現することができる。このようにして、図7(a)に示すように拡縮キャラクタ画像を別のディスプレイに出力し表示することができる。
【0053】
なお、拡縮キャラクタ画像を別ディスプレイへの出力する際の、元の映像のキャラクタ画像に対する処理については、上記のように変更を加えずにそのまま出力するよう構成しても良いし、あるいは、拡縮キャラクタ画像として別ディスプレイに表示されている領域部分を元映像から消去し、その消去した部分を前後のフレームから補完処理して埋めるよう構成しても良い。
【0054】
また、別ディスプレイに表示される拡縮キャラクタ画像の拡大/縮小倍率を演算する際には、上記実施例で記載したようにそのサイズ情報取得部が、ディスプレイ出力部が出力するディスプレイのサイズを示す情報を取得可能なディスプレイサイズ情報取得手段をさらに有していても良い。もちろん、その場合に倍率演算に利用されるためにサイズ情報が取得されるディスプレイは、拡縮キャラクタ画像の出力先となる方の別ウィンドウである。
【0055】
また本実施例の映像表示装置は、その「ディスプレイ出力部」が、ディスプレイ表示画面内のウィンドウに対して映像を出力可能とするウィンドウ出力手段を二以上有している場合には、上記「ディスプレイ出力先制御手段」の替わりに、図示しない「ウィンドウ出力先制御手段」を有していてもよい。
【0056】
「ウィンドウ出力先制御手段」は、拡縮キャラクタ映像生成部にて生成された拡縮キャラクタ映像を、前記二以上のウィンドウ出力手段の一の出力手段に対して出力し、元映像には変更を加えないで他のウィンドウ出力手段から出力するように出力先を制御する機能を有し、例えばCPUや主メモリ、ウィンドウ出力先制御プログラム、あるいはGPUやVRAM、グラフィックアクセラレータなどで実現することができる。このようにして、図7(b)に示すように、元映像が表示されているディスプレイ内の別ウィンドウに拡縮キャラクタ画像を出力し表示することができる。
【0057】
なお、拡縮キャラクタ画像を表示する別ウィンドウの表示位置に関しては、例えば元の映像においてキャラクタ画像が表示されている位置とするよう構成しても良いし、固定位置に表示するよう構成しても良い。また、固定位置に表示する場合には、拡縮キャラクタ画像として別ウィンドウに表示されている領域部分を元映像から消去し、その消去した部分を前後のフレームから補完処理して埋めるよう構成しても良い。
【0058】
また、画面内のウィンドウに表示される拡縮キャラクタ画像の拡大/縮小倍率を演算する際には、ディスプレイ出力部が出力するディスプレイ画面内での表示ウィンドウサイズを示す表示ウィンドウサイズ情報を取得可能な表示ウィンドウサイズ情報取得手段を有していても良い。
【0059】
このように本実施例の映像表示装置は、映像中に含まれるキャラクタ画像を、文字の大きさを示す属性がなくともユーザの視力に応じて拡大、又は縮小し、別ディスプレイやウィンドウ(子画面)にて表示することができる。したがって、文字の大きさを示す属性がないキャラクタ画像であっても、視聴者の視力に適した大きさでユーザに提示することができる。
【0060】
<処理の流れ>
図9は、本実施例の映像表示装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、あるいは媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。まず、上記実施例で説明したような処理によってキャラクタ画像の拡大倍率又は縮小倍率を演算し、拡縮キャラクタ映像を生成する(ステップS0901)。そして元映像には変更を加えないで二以上の出力手段の一の出力手段から出力しディスプレイに表示する(ステップS0902A)。また、前記生成した拡縮キャラクタ映像を他の出力手段から出力して元映像とは別ディスプレイに出力する(ステップS0903A)。
【0061】
あるいは、元映像には変更を加えないで二以上の出力手段の一の出力手段から出力してディスプレイに表示する(ステップS0902B)とともに、前記生成した拡縮キャラクタ映像を他の出力手段から出力して元映像とは別のウィンドウに出力する(ステップS0903B)。
【0062】
<効果の簡単な説明>
以上のように本実施例の映像表示装置によって、映像中に含まれるキャラクタ画像を、文字の大きさを示す属性がなくともユーザの視力に応じて拡大、又は縮小し、別ディスプレイやウィンドウ(子画面)にて表示することができる。したがって、文字の大きさを示す属性がないキャラクタ画像であっても、視聴者の視力に適した大きさでユーザに提示することができる。
【0063】
≪実施例3≫
<概要>
本実施例は、上記実施例を基本として、視力などの視聴者の識別能力を測定し、その測定結果を識別能力情報として保持する機能をさらに有することを特徴とする映像表示装置である。
【0064】
<機能的構成>
図10は、本実施例の映像表示装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「映像表示装置」(1000)は、上記実施例を基本として「ディスプレイ出力部」(1001)と、「画像認識部」(1002)と、「判断部」(1003)と、「サイズ情報取得部」(1004)と、「識別能力情報保持部」(1005)と、「倍率演算部」(1006)と、「拡縮キャラクタ映像生成部」(1007)と、を有する。また、図示しない「ディスプレイ出力先制御手段」や「ウィンドウ出力先制御手段」などを有していても良い。なお、これら構成要件については、上記実施例ですでに記載済みであるのでその説明は省略する。そして、本実施例の特徴点は、「識別能力測定部」(1008)をさらに有する点である。
【0065】
「識別能力測定部」(1008)は、ディスプレイに表示されるキャラクタ画像サイズに応じた視聴者による識別能力を測定し、測定された識別能力情報を識別能力情報保持部に出力するための機能を有し、例えばCPUや主メモリ、距離能力測定プログラムなどで実現できる。具体的には、例えばディスプレイ上に「C」などの形で表現されるいわゆる「ランドルト環」を各種大きさで表示し、ユーザが操作パネルを操作して入力したその切欠の方向を示す情報を取得する。そして、ランドルト環の大きさとユーザの入力した切欠方向の正答率とを利用して視聴者の視力を算出し、それを識別能力情報保持部に記録する、という具合である。
【0066】
また、ランドルト環などを利用する「自覚的測定手段」のほかに、本実施例の映像表示装置は、視力を他覚的に測定する他覚的測定手段を有するよう構成しても良い。具体的には、例えば気球などの画像の焦点を変えて表示し、その際の反発性眼球振盪が消失する距離と視性眼球振盪の起こる距離とをセンサで測定し、その平均値によって視力を測定する、という具合である。また、これらの自覚的/他覚的測定手段においては、リモコン装置をさらに有し、前記測定手段は、リモコン装置に備えられた視力検査装置であっても良い。そしてリモコン装置は、リモコンとディスプレイ間の距離を測定する「距離測定部」と、測定された視力検査結果と、測定された距離とを識別能力測定部に対して出力する「リモコン出力部」と、を有するよう構成しても良い。
【0067】
このようにして、本実施例の映像表示装置では視聴者の識別能力情報を実際に測定し記録する機能を有することで、直近の識別能力情報を正確に取得することができる。したがって、その正確な識別能力情報を利用することで、より視聴者に見易い大きさでキャラクタ画像を拡大/縮小し表示することができる。
【0068】
また識別能力情報保持部では、ユーザごとにそのIDと関連付けて識別能力情報を保持するよう構成しても良い。その場合には、視聴前に例えばリモコンなどで視聴者IDを選択入力することで、利用される識別能力情報が決定されるよう構成する、という具合である。具体的に、本実施例の映像表示装置は上記構成を備え、さらに前記識別能力情報保持部が、複数の視聴者について、それぞれの視聴者の識別能力情報を保持する視聴者別識別能力情報保持手段を有し、前記倍率演算部が、視聴者ごとの識別能力情報に基づいて前記演算を行う視聴者別倍率演算手段を有することを特徴とする。このようにして、視聴者の視力ごとに最適な大きさでキャラクタ画像の拡縮処理を行うことができる。
【0069】
<処理の流れ>
図11は、本実施例の映像表示装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、あるいは媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。まず、例えばランドルト環(自覚的測定用の画像)や焦点を変更可能な気球画像(他覚的測定用の画像)などを表示するなどして、ディスプレイに表示されるキャラクタ画像サイズに応じた視聴者による識別能力を測定する(ステップS1101)。また、その測定に際しては、リモコンにてその測定入力操作を受付けるよう構成し、リモコンとディスプレイ間の距離をくわえて測定するよう構成しても良い。そして、その測定された識別能力情報(および距離情報)を識別能力情報保持部に出力し(ステップS1102)、識別能力情報保持部に記録する(ステップS1103)。そして、このようにして識別能力情報保持部に保持された視聴者の識別能力情報を利用して、上記実施例で説明したような処理によってキャラクタ画像の拡大/縮小倍率が演算される。
【0070】
<効果の簡単な説明>
以上のように本実施例の映像表示装置によって、視聴者の識別能力情報を実際に測定し記録し、直近の識別能力情報を正確に取得することができる。したがって、その正確な識別能力情報を利用することで、より視聴者に見易い大きさでキャラクタ画像を拡大/縮小し表示することができる。
【符号の説明】
【0071】
0200 映像表示装置
0201 ディスプレイ出力部
0202 画像認識部
0203 判断部
0204 サイズ情報取得部
0205 識別能力情報保持部
0206 倍率演算部
0207 拡縮キャラクタ映像生成部
【特許請求の範囲】
【請求項1】
ディスプレイに対して映像を出力するためのディスプレイ出力部と、
ディスプレイ出力部から出力される映像の画像を認識する画像認識部と、
画像認識部での認識結果に基づいてディスプレイ出力されている映像中にキャラクタ画像が含まれているか否か判断する判断部と、
キャラクタ画像が含まれているとの判断結果である場合に、画像認識部での認識結果に基づいて映像が出力されるディスプレイ上でのそのキャラクタ画像のサイズ情報を取得するサイズ情報取得部と、
前記取得したサイズ情報に基づき少なくともキャラクタ画像が含まれている映像の領域を拡大又は縮小した拡縮キャラクタ映像を生成する拡縮キャラクタ映像生成部と、
を有する映像表示装置。
【請求項2】
視聴者によるキャラクタ画像の識別能力を示す情報である識別能力情報を保持する識別能力情報保持部と、
保持されている識別能力情報と、取得されたキャラクタ画像サイズ情報とに基づいて前記少なくともキャラクタ画像が含まれている映像領域の拡大倍率又は縮小倍率を演算する倍率演算部と、を有し、
前記拡縮キャラクタ映像生成部は、前記演算された倍率に基づき前記拡大又は縮小した拡縮キャラクタ映像を生成する演算後拡縮手段を有する請求項1に記載の映像表示装置。
【請求項3】
ディスプレイに表示されるキャラクタ画像サイズに応じた視聴者による識別能力を測定し、測定された識別能力情報を識別能力情報保持部に出力するための識別能力測定部をさらに有する請求項2に記載の映像表示装置。
【請求項4】
前記識別能力測定部は、視力を他覚的に測定する他覚的測定手段を有する請求項3に記載の映像表示装置。
【請求項5】
リモコン装置をさらに有し、
前記他覚的測定手段は、リモコン装置に備えられた視力検査装置であり、
リモコン装置は、
リモコンとディスプレイ間の距離を測定する距離測定部と、
測定された視力検査結果と、測定された距離とを識別能力測定部に対して出力するリモコン出力部を有する請求項4に記載の映像表示装置。
【請求項6】
前記識別能力情報保持部は、複数の視聴者について、それぞれの視聴者の識別能力情報を保持する視聴者別識別能力情報保持手段を有し、
前記倍率演算部は、視聴者ごとの識別能力情報に基づいて前記演算を行う視聴者別倍率演算手段を有する請求項2から5のいずれか一に記載の映像表示装置。
【請求項7】
前記キャラクタ画像は、文字、数字、記号、絵文字、またはアイコンのいずれか1または2以上の組み合わせの画像である請求項1から6のいずれか一に記載の映像表示装置。
【請求項8】
前記生成された拡縮キャラクタ映像を前記ディスプレイ出力される映像に重畳してディスプレイ出力部から出力されるようにする重畳部をさらに有する請求項1から7のいずれか一に記載の映像表示装置。
【請求項9】
重畳部は、
拡縮キャラクタ映像を重畳する位置をディスプレイ内で変更するための視聴者からの位置情報の入力を受け付ける位置変更受付手段と、
受け付けた位置情報に応じて前記変更処理を実行する位置変更手段と、を有する請求項8に記載の映像表示装置。
【請求項10】
サイズ情報取得部は、ディスプレイ出力部が出力するディスプレイのサイズを示す情報を取得可能なディスプレイサイズ情報取得手段をさらに有する請求項1から9のいずれか一に記載の映像表示装置。
【請求項11】
ディスプレイ出力部は、二以上のディスプレイに対して映像を出力可能に二以上の出力手段を有するとともに、
拡縮キャラクタ映像生成部にて生成された拡縮キャラクタ映像を、前記二以上の出力手段の一の出力手段に対して出力し、元映像には変更を加えないで他の出力手段から出力するように出力先を制御するディスプレイ出力先制御手段を有する請求項1から7のいずれか一に記載の映像表示装置。
【請求項12】
ディスプレイ出力部は、ディスプレイ表示画面内のウィンドウに対して映像を出力可能とするウィンドウ出力手段を二以上有するとともに、
拡縮キャラクタ映像生成部にて生成された拡縮キャラクタ映像を、前記二以上のウィンドウ出力手段の一の出力手段に対して出力し、元映像には変更を加えないで他のウィンドウ出力手段から出力するように出力先を制御するウィンドウ出力先制御手段を有する請求項1から7のいずれか一に記載の映像表示装置。
【請求項13】
キャラクタ画像サイズ情報取得部は、ディスプレイ出力部が出力するディスプレイ画面内での表示ウィンドウサイズを示す表示ウィンドウサイズ情報を取得可能な表示ウィンドウサイズ情報取得手段を有する請求項12に記載の映像表示装置。
【請求項14】
前記ディスプレイ上の領域を示す領域情報の入力を受付ける領域情報入力受付部をさらに有するとともに、
前記拡縮キャラクタ映像生成部は、入力された領域情報で示される領域内の映像を前記演算された倍率に基づき拡大又は縮小した拡縮キャラクタ映像を生成する入力領域拡縮キャラクタ映像生成手段を有する請求項1から13のいずれか一に記載の映像表示装置。
【請求項15】
ディスプレイに対して映像を出力するためのディスプレイ出力ステップと、
ディスプレイ出力ステップから出力される映像の画像を認識する画像認識ステップと、
画像認識ステップでの認識結果に基づいてディスプレイ出力されている映像中にキャラクタ画像が含まれているか否か判断する判断ステップと、
キャラクタ画像が含まれているとの判断結果である場合に、画像認識ステップでの認識結果に基づいて映像が出力されるディスプレイ上でのそのキャラクタ画像のサイズ情報を取得するサイズ情報取得ステップと、
前記取得したサイズ情報に基づき少なくともキャラクタ画像が含まれている映像の領域を拡大又は縮小した拡縮キャラクタ映像を生成する拡縮キャラクタ映像生成ステップと、
を計算機に実行させる映像表示装置の動作方法。
【請求項16】
予め識別能力情報保持部に保持されているディスプレイに表示されるキャラクタ画像サイズに応じた視聴者によるキャラクタ画像の識別能力を示す情報である識別能力情報と、取得されたキャラクタ画像サイズ情報とに基づいて前記少なくともキャラクタ画像が含まれている映像領域の拡大倍率又は縮小倍率を演算する倍率演算ステップをさらに計算機に実行させるとともに、
前記拡縮キャラクタ映像生成ステップは、前記演算された倍率に基づき前記拡大又は縮小した拡縮キャラクタ映像を生成する演算後拡縮ステップを含む請求項15に記載の映像表示装置の動作方法。
【請求項1】
ディスプレイに対して映像を出力するためのディスプレイ出力部と、
ディスプレイ出力部から出力される映像の画像を認識する画像認識部と、
画像認識部での認識結果に基づいてディスプレイ出力されている映像中にキャラクタ画像が含まれているか否か判断する判断部と、
キャラクタ画像が含まれているとの判断結果である場合に、画像認識部での認識結果に基づいて映像が出力されるディスプレイ上でのそのキャラクタ画像のサイズ情報を取得するサイズ情報取得部と、
前記取得したサイズ情報に基づき少なくともキャラクタ画像が含まれている映像の領域を拡大又は縮小した拡縮キャラクタ映像を生成する拡縮キャラクタ映像生成部と、
を有する映像表示装置。
【請求項2】
視聴者によるキャラクタ画像の識別能力を示す情報である識別能力情報を保持する識別能力情報保持部と、
保持されている識別能力情報と、取得されたキャラクタ画像サイズ情報とに基づいて前記少なくともキャラクタ画像が含まれている映像領域の拡大倍率又は縮小倍率を演算する倍率演算部と、を有し、
前記拡縮キャラクタ映像生成部は、前記演算された倍率に基づき前記拡大又は縮小した拡縮キャラクタ映像を生成する演算後拡縮手段を有する請求項1に記載の映像表示装置。
【請求項3】
ディスプレイに表示されるキャラクタ画像サイズに応じた視聴者による識別能力を測定し、測定された識別能力情報を識別能力情報保持部に出力するための識別能力測定部をさらに有する請求項2に記載の映像表示装置。
【請求項4】
前記識別能力測定部は、視力を他覚的に測定する他覚的測定手段を有する請求項3に記載の映像表示装置。
【請求項5】
リモコン装置をさらに有し、
前記他覚的測定手段は、リモコン装置に備えられた視力検査装置であり、
リモコン装置は、
リモコンとディスプレイ間の距離を測定する距離測定部と、
測定された視力検査結果と、測定された距離とを識別能力測定部に対して出力するリモコン出力部を有する請求項4に記載の映像表示装置。
【請求項6】
前記識別能力情報保持部は、複数の視聴者について、それぞれの視聴者の識別能力情報を保持する視聴者別識別能力情報保持手段を有し、
前記倍率演算部は、視聴者ごとの識別能力情報に基づいて前記演算を行う視聴者別倍率演算手段を有する請求項2から5のいずれか一に記載の映像表示装置。
【請求項7】
前記キャラクタ画像は、文字、数字、記号、絵文字、またはアイコンのいずれか1または2以上の組み合わせの画像である請求項1から6のいずれか一に記載の映像表示装置。
【請求項8】
前記生成された拡縮キャラクタ映像を前記ディスプレイ出力される映像に重畳してディスプレイ出力部から出力されるようにする重畳部をさらに有する請求項1から7のいずれか一に記載の映像表示装置。
【請求項9】
重畳部は、
拡縮キャラクタ映像を重畳する位置をディスプレイ内で変更するための視聴者からの位置情報の入力を受け付ける位置変更受付手段と、
受け付けた位置情報に応じて前記変更処理を実行する位置変更手段と、を有する請求項8に記載の映像表示装置。
【請求項10】
サイズ情報取得部は、ディスプレイ出力部が出力するディスプレイのサイズを示す情報を取得可能なディスプレイサイズ情報取得手段をさらに有する請求項1から9のいずれか一に記載の映像表示装置。
【請求項11】
ディスプレイ出力部は、二以上のディスプレイに対して映像を出力可能に二以上の出力手段を有するとともに、
拡縮キャラクタ映像生成部にて生成された拡縮キャラクタ映像を、前記二以上の出力手段の一の出力手段に対して出力し、元映像には変更を加えないで他の出力手段から出力するように出力先を制御するディスプレイ出力先制御手段を有する請求項1から7のいずれか一に記載の映像表示装置。
【請求項12】
ディスプレイ出力部は、ディスプレイ表示画面内のウィンドウに対して映像を出力可能とするウィンドウ出力手段を二以上有するとともに、
拡縮キャラクタ映像生成部にて生成された拡縮キャラクタ映像を、前記二以上のウィンドウ出力手段の一の出力手段に対して出力し、元映像には変更を加えないで他のウィンドウ出力手段から出力するように出力先を制御するウィンドウ出力先制御手段を有する請求項1から7のいずれか一に記載の映像表示装置。
【請求項13】
キャラクタ画像サイズ情報取得部は、ディスプレイ出力部が出力するディスプレイ画面内での表示ウィンドウサイズを示す表示ウィンドウサイズ情報を取得可能な表示ウィンドウサイズ情報取得手段を有する請求項12に記載の映像表示装置。
【請求項14】
前記ディスプレイ上の領域を示す領域情報の入力を受付ける領域情報入力受付部をさらに有するとともに、
前記拡縮キャラクタ映像生成部は、入力された領域情報で示される領域内の映像を前記演算された倍率に基づき拡大又は縮小した拡縮キャラクタ映像を生成する入力領域拡縮キャラクタ映像生成手段を有する請求項1から13のいずれか一に記載の映像表示装置。
【請求項15】
ディスプレイに対して映像を出力するためのディスプレイ出力ステップと、
ディスプレイ出力ステップから出力される映像の画像を認識する画像認識ステップと、
画像認識ステップでの認識結果に基づいてディスプレイ出力されている映像中にキャラクタ画像が含まれているか否か判断する判断ステップと、
キャラクタ画像が含まれているとの判断結果である場合に、画像認識ステップでの認識結果に基づいて映像が出力されるディスプレイ上でのそのキャラクタ画像のサイズ情報を取得するサイズ情報取得ステップと、
前記取得したサイズ情報に基づき少なくともキャラクタ画像が含まれている映像の領域を拡大又は縮小した拡縮キャラクタ映像を生成する拡縮キャラクタ映像生成ステップと、
を計算機に実行させる映像表示装置の動作方法。
【請求項16】
予め識別能力情報保持部に保持されているディスプレイに表示されるキャラクタ画像サイズに応じた視聴者によるキャラクタ画像の識別能力を示す情報である識別能力情報と、取得されたキャラクタ画像サイズ情報とに基づいて前記少なくともキャラクタ画像が含まれている映像領域の拡大倍率又は縮小倍率を演算する倍率演算ステップをさらに計算機に実行させるとともに、
前記拡縮キャラクタ映像生成ステップは、前記演算された倍率に基づき前記拡大又は縮小した拡縮キャラクタ映像を生成する演算後拡縮ステップを含む請求項15に記載の映像表示装置の動作方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−182289(P2011−182289A)
【公開日】平成23年9月15日(2011.9.15)
【国際特許分類】
【出願番号】特願2010−46280(P2010−46280)
【出願日】平成22年3月3日(2010.3.3)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成23年9月15日(2011.9.15)
【国際特許分類】
【出願日】平成22年3月3日(2010.3.3)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]