文字抽出装置、表示方法及び文字抽出方法
【課題】映像に含まれる文字画像に対して好適な抽出処理を実行できる文字抽出装置、表示方法及び文字抽出方法の提供。
【解決手段】本実施形態の文字抽出装置は、映像データを再生する再生手段と、再生手段により再生された映像データを表示装置に出力する出力手段と、映像データを用いて表示装置が表示する映像の何れかの位置に対応する外部入力を受け付ける受付手段と、表示装置が表示する映像の中の、外部入力が対応する位置から一定範囲内にある第１形状の画像を抽出する画像抽出手段と、抽出手段により抽出された画像から文字を抽出する文字抽出手段とを備える。
【解決手段】本実施形態の文字抽出装置は、映像データを再生する再生手段と、再生手段により再生された映像データを表示装置に出力する出力手段と、映像データを用いて表示装置が表示する映像の何れかの位置に対応する外部入力を受け付ける受付手段と、表示装置が表示する映像の中の、外部入力が対応する位置から一定範囲内にある第１形状の画像を抽出する画像抽出手段と、抽出手段により抽出された画像から文字を抽出する文字抽出手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像データ中から文字を抽出する文字抽出装置、表示方法及び文字抽出方法に関する。
【背景技術】
【０００２】
テレビ放送番組の本編やコマーシャル等において、視聴者に対してインターネットでの検索を促す映像が表示される場合がある。ここで当該映像には、インターネットでの検索ページを模した検索ボタンや検索窓の画像が配置される。そして当該検索窓内に検索対象となる文字の画像を配置することにより、視聴者に対して当該文字の検索を促す。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−４４６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、ユーザが当該文字を用いて検索等の処理を実行する場合には、テレビ受信装置や表示装置等の装置が、映像中の文字画像から文字を抽出することにより、当該文字をユーザが覚えたり書き留めたりする手間を抑制できることが好ましい。そして、当該文字の抽出の際には、装置による文字抽出の処理を好適に実行できることが好ましい。
【０００５】
そこで本発明の実施形態は、映像に含まれる文字画像に対して好適な抽出処理を実行できる文字抽出装置、表示方法及び文字抽出方法の提供を目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本実施形態の文字抽出装置は、映像データを再生する再生手段と、再生手段により再生された映像データを表示装置に出力する出力手段と、映像データを用いて表示装置が表示する映像の何れかの位置に対応する外部入力を受け付ける受付手段と、表示装置が表示する映像の中の、外部入力が対応する位置から一定範囲内にある第１形状の画像を抽出する画像抽出手段と、抽出手段により抽出された画像から文字を抽出する文字抽出手段とを備える。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態に係る表示装置の利用形態例を示す図。
【図２】第１実施形態に係る表示装置のシステム構成例を示す図。
【図３】第１実施形態に係る表示装置が生成する抽出文字履歴データベースの構成例を示す図。
【図４】第１実施形態に係る表示装置による文字抽出処理例を示す図。
【図５】第１実施形態に係る表示装置が表示する画面の遷移例を示す図。
【図６】第１実施形態に係る表示装置による文字抽出処理の処理フロー例を示す図。
【図７】第２実施形態に係る表示装置及び情報端末の利用形態例を示す図。
【図８】第２実施形態に係る表示装置及び情報端末のシステム構成例。
【図９】第２実施形態に係る表示装置及び情報端末による文字抽出処理シーケンス例を示す図。
【図１０】第３実施形態に係る表示装置及び情報端末が表示する画面の遷移例を示す図。
【図１１】第３実施形態に係る表示装置及び情報端末による文字抽出処理シーケンス例を示す図。
【発明を実施するための形態】
【０００８】
（第１実施形態）
以下、図面を参照して第１実施形態を説明する。本実施形態に係る文字抽出装置は、例えば表示装置１００として実現される。ここで表示装置１００は、テレビ放送等の映像データを受信し、当該受信した映像データに基づいた映像を表示部１０７に表示する機能を有する。また表示装置１００は、ポインティングデバイス２００等の操作装置からの操作信号を受け付け、当該操作信号に応じた処理を実行する。
【０００９】
表示装置１００は、表示部１０７に例えばＣＭ映像の画面Ｐ２０を表示する。当該画面Ｐ２０では、ＣＭ映像に含まれる検索ボックス画像Ｐ１１及び検索ボタン画像Ｐ１２と、表示装置１００が生成するカーソル画像Ｐ２１等が表示される。なおカーソル画像Ｐ２１の位置は、ポインティングデバイス２００からの移動指示操作入力に応じて変化する。そして実施形態に係る表示装置１００は、例えばポインティングデバイス２００のボタン２０１又は２０２に対する操作入力を受けた場合に、カーソル画像Ｐ１２が配置されている位置の一定範囲内から検索ボックス画像Ｐ１１を検出して、当該画像Ｐ１１に含まれる文字を抽出できるものであるが、詳細については図２乃至図６を参照して後述する。
【００１０】
図２は表示装置１００のシステム構成例を示す。表示装置１００は、受信部１０１、記憶部１０２、録画再生制御部１０３、デコード部１０４、合成部１０５、信号処理部１０６、表示部１０７、操作受付部１０８、ＧＵＩ処理部１０９、画像抽出部１１０、文字抽出部１１１、抽出文字データベース１１２、検索部１１３、通信部１１４等を備える。
【００１１】
受信部１０１は、例えば衛星デジタルテレビ放送や地上波デジタルテレビ放送の映像データを受信する。ここで受信部１０１は、録画再生制御部１０３からの指示に応じたチャンネルの映像データを受信し、受信した映像データを録画再生制御部１０３に出力する。なお受信部１０１は、インターネット等のネットワークを介して配信されるＩＰＴＶ等の映像データを受信しても良い。更に受信部１０１は、放送波に重畳された番組情報や、ネットワーク上のサーバに格納された番組情報を受信してもよい。これら番組情報には、例えば放送番組毎に、放送チャンネル、放送時間、番組タイトル名、出演者名、番組内容説明文等が対応付けられている。
【００１２】
記憶部１０２は、録画再生制御部１０３から入力される映像データのストリームを記憶（録画）する機能を有する。また記憶部１０２は、録画再生制御部１０３から映像データの再生指示を受けた場合、記憶した映像データのうち当該指示に応じた映像データを録画再生制御部１０３に出力する。
【００１３】
録画再生制御部１０３は、映像データの再生及び録画処理を制御する。再生処理において録画再生制御部１０３は、受信部１０１が受信する映像データ又は記憶部１０２に記憶された映像データをデコード部１０４にデコード（再生）させる。つまり、例えば操作受付部１０８がユーザから所定のチャンネルの放送番組の再生指示入力を受けた場合、録画再生制御部１０３は、受信部１０１に対して当該チャンネルの映像データの受信及び出力を指示する。なお録画再生制御部１０３は、当該再生の際に、再生中の映像データについての番組情報を文字抽出部１１１に出力する。
【００１４】
また録画再生制御部１０３は、録画した映像データの再生指示入力を操作受付部１０８が受け付けた場合、当該再生指示に応じた映像データの出力を記憶部１０２に指示する。そしてこのとき録画再生制御部１０３は、操作受付部１０８が受け付けた操作入力に応じて、映像データの再生及び停止を制御する。
【００１５】
また録画処理において録画再生制御部１０３は、受信部１０１が受信した映像データのストリームを記憶部１０２に出力し、当該映像データを記憶部１０２に記憶（録画）させる。
【００１６】
デコード部１０４は、録画再生制御部１０３から入力された映像データのストリームをデコードし、当該デコードデータを合成部１０５及び画像抽出部１１０に出力する。
【００１７】
合成部１０５は、デコード部１０４から入力された映像データと、ＧＵＩ処理部１０９から入力されたＧＵＩの映像データとを重畳し、当該重畳した映像データを信号処理部１０６に出力する。次に信号処理部１０６は、入力された映像データをディスプレイが表示可能な形式の映像信号に変換して、当該映像信号を表示部１０７に出力する。そして表示部１０７は、入力された映像信号を用いた映像を表示する。
【００１８】
操作受付部１０８は、ポインティングデバイス２００やリモートコントローラ等の操作装置からの操作入力信号を受信する。ここで操作受付部１０８は、例えばカーソル画像Ｐ２１の位置を移動させる移動指示操作入力、文字の抽出を指示する抽出指示操作入力、録画した映像データの再生及び停止操作入力等を受信する。そして操作受付部１０８は、受信した操作入力をＧＵＩ処理部１０９や録画再生制御部１０３に出力する（録画再生制御部１０３への出力経路は不図示）。
【００１９】
ＧＵＩ処理部１０９は、表示装置１００が表示するＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の映像データの生成と、ＧＵＩに対するユーザからの操作入力の処理とを行う。ここでＧＵＩ処理部１０９は、例えばカーソル画像Ｐ２１のデータを生成し、生成したデータを合成部１０５に出力する。そしてＧＵＩ処理部１０９は、操作受付部１０８から入力された移動指示操作入力に応じた位置にカーソル画像Ｐ２１が配置されるように映像データを生成する。
【００２０】
また、ここでＧＵＩ処理部１０９は、抽出指示操作入力を受けた場合、画像抽出部１１０に画像の抽出を指示する。なお抽出指示操作入力とは、例えばポインティングデバイス２００のボタン２０１又は２０２に対する操作入力等である。
【００２１】
画像抽出部１１０には、デコード部１０４から映像データが入力される。そして画像抽出部１１０は、入力された映像データに含まれる検索ボックス画像をＧＵＩ処理部１０９からの指示に応じて抽出する。更に画像抽出部１１０は、抽出した検索ボックス画像に含まれる文字画像を抽出し、当該抽出した文字画像を文字抽出部１１１に出力する。
【００２２】
文字抽出部１１１は、入力された文字画像を解析して、当該文字画像に含まれる文字を検出・抽出する。つまり文字抽出部１１１は、文字画像から文字データ(テキストデータ）を生成する。そして文字抽出部１１１は、生成した文字データを抽出文字データベース１１２及び検索部１１３に出力する。また、ここで文字抽出部１１１には、録画再生制御部１０３から、再生中の映像データについての番組情報（チャンネル、放送時間、番組タイトル名、出演者名、番組内容説明文等）が入力される。そして文字抽出部１１１は、抽出した文字データと、当該文字データを抽出した映像データについての番組情報とを抽出文字データベース１１２及び検索部１１３に出力する。
【００２３】
抽出文字データベース１１２は、文字抽出部１１１から入力された文字データと、当該文字データが抽出された映像データの番組情報とを対応付けて格納する。なお当該データベースについては図３を参照して後述する。
【００２４】
検索部１１３は、文字抽出部１１１により抽出された文字データと、例えばインターネット上のサーバに格納された検索エンジンとを用いて検索を実行する。当該検索を実行する場合、検索部１１３はまずインターネットを利用するためのブラウザソフトウェアを起動する。続いて検索部１１３は、抽出された文字データに応じたデータを、通信部１１４を介して検索エンジンのＵＲＩに対して送信するようにブラウザソフトウェアを制御する。
【００２５】
次に検索部１１３は、サーバから送信された検索結果に関するウェブページのデータを受信する。ここで検索部１１３は、受信したウェブページのデータに基づいた検索結果画面を、ブラウザソフトウェアを用いて構成する。そして検索部１１３は、構成された検索結果画面の映像データの生成をＧＵＩ処理部１０９に指示する。
【００２６】
また検索部１１３は、文字抽出部１１１又は抽出文字データベース１１２から入力される文字データと当該文字データに関する番組情報とについての履歴を表示する履歴画面の生成をＧＵＩ処理部１０９に指示することもできる。
【００２７】
図３は、抽出文字データベース１１２のデータ構成例を示す図である。当該データベース１１２は、抽出した文字Ｂ１に対して、当該文字の抽出日時Ｂ２及び当該文字を抽出した番組情報Ｂ３等を対応付けて格納している。なおここで番組情報Ｂ３とは、放送波に重畳される番組情報やネットワーク上の番組情報配信サーバが配信する番組情報等に基づいた情報であり、例えば番組の番組名、放送チャンネル、放送時間、出演者名及び番組内容説明等が含まれる。
【００２８】
図４は表示装置１００による文字抽出の処理例を示す。そして図４（Ａ）は、表示装置１００が映像データを再生している場合に表示部１０７が表示する画面例を示す図である。画面３００は、コマーシャル映像等における一画面の例であり、当該画面３００には、再生された映像データに基づいた検索ボックス画像Ｐ１１と検索ボタン画像Ｐ１２とが含まれる。
【００２９】
ここで検索ボックス画像Ｐ１１及び検索ボタン画像Ｐ１２は、例えばインターネット上の検索ウェブページで表示される検索語入力ボックスの画像と検索実行ボタンの画像とを模した画像であり、検索ボックス画像Ｐ１１は、検索ボタン画像Ｐ１２の左隣に配置されている。また検索ボックス画像Ｐ１１には、画面Ｐ１０が含まれる映像データの製作者や配信者が、ユーザに検索して欲しいと考えている文字の画像が含まれる。
【００３０】
ここで、操作受付部１０８が例えばポインティングデバイス２００からの操作入力を受け付けると、表示部１０７は画面Ｐ１０にカーソル画像Ｐ２１を重畳した画面Ｐ２０を表示する。なおカーソル画像Ｐ２１の画面Ｐ２０上での位置は、ポインティングデバイス２００からの移動操作入力に応じて変化する。
【００３１】
そして操作受付部１０８は、例えばポインティングデバイス２００からのボタン操作入力等を受け付けると、ＧＵＩ処理部１０９は画像抽出部１１０に画像の抽出を指示する。なおＧＵＩ処理部１０９は、当該指示の際に、画面Ｐ２０におけるカーソル画像Ｐ２１の位置（座標）についての情報を画像抽出部１１０に出力する。
【００３２】
画像抽出部１１０は、画像抽出指示を受けると、デコード部１０４から入力されている映像データから例えば１のフレームを抽出する。そして画像抽出部１１０は、カーソル画像Ｐ２１の位置情報に基づき、抽出フレームの映像から、当該カーソル画像Ｐ２１の位置の一定距離内にある検索ボックス画像Ｐ１１の画像を抽出する。つまり画像抽出部１１０は、例えばカーソル画像Ｐ２１の先端Ａ１の位置から上方向に距離Ｌ１、下方向に距離Ｌ２、左方向に距離Ｌ３の範囲Ａ２内から、例えば画像の輝度変化が小さい平坦部と輝度変化が大きいエッジ部を判別し、略矩形のエッジ部を有する所定のサイズ（解像度）の画像を抽出する。
【００３３】
ここで、前述のように、コマーシャル映像等において、検索ボックス画像Ｐ１１は検索ボタン画像Ｐ１２の近傍左方向に配置されることが多い。また検索ボックス画像の形状は、縦方向よりも横方向の長さが長い矩形形状であることが多い。更に検索ボックス画像は、ユーザにより視認できる所定範囲のサイズ（解像度）である場合が多い。このため、カーソル画像Ｐ２１が検索ボタン画像Ｐ１２に対応する位置にある場合に操作受付部１０８が当該画像Ｐ１２の位置に対応する位置への操作入力を受け付け、画像抽出部１１０が当該検索ボタン画像Ｐ１２の位置の一定範囲内から略矩形の所定サイズの画像を検出することにより、高い精度で検索ボックス画像Ｐ１１を検出でき、当該検索ボックス画像Ｐ１１に含まれる文字画像を検出・抽出できる。
【００３４】
しかしながら、検索ボックス画像Ｐ１１の形状は必ずしも矩形であるとは限らないため、画像抽出部１１０は、矩形形状の画像だけでなく例えばエッジ部が周状となっている画像や横長の画像等、所定の形状の画像を抽出してもよい。なおここでは、画像抽出部１１０は、検索ボックス画像Ｐ１１に重なる位置又は当該画像Ｐ１１の近傍の位置に対する操作を受け付けた場合に、当該検索ボックス画像Ｐ１１を検出・抽出しても良い。そしてこの場合にも画像抽出部１１０は、操作を受けた位置から所定範囲内にある所定の形状の画像を検出することにより、検索ボックス画像Ｐ１１を検出できる。
【００３５】
そして画像抽出部１１０は、図４（Ｃ）に示すような検索ボックス画像Ｐ１１を抽出すると、図４（Ｄ）に示すように、当該抽出画像に含まれる文字列の画像Ｐ３０及びＰ４０を抽出する。そして文字抽出部１１１は、画像Ｐ３０及び画像Ｐ４０に含まれる文字Ｔ１及びＴ２を抽出する。
【００３６】
図５は、表示装置１００が抽出した文字を用いて検索を実行する際に表示する画面の遷移例を示す図である。
まず表示装置１００は、図５（Ａ）に示す画面Ｐ２０を表示する。当該画面Ｐ２０には受信部１０１が受信した映像又は記憶部１０２に格納された映像に基づいて検索ボックス画像Ｐ１１及び検索ボタン画像Ｐ１２が配置され、またユーザからの操作入力に応じてカーソル画像Ｐ２１が配置される。ここで操作受付部１０８が、例えばポインティングデバイス２００からのボタン操作入力等を受け付けると、画像抽出部１１０及び文字抽出部１１１により、検索ボックス画像Ｐ１１に含まれる文字画像が文字データに変換される。そして検索部１１３は、当該文字データを用いて検索を実行する。そして表示装置１００は、検索結果の情報を取得すると、図５（Ｂ）に示す画面Ｐ５０を表示する。
【００３７】
そして図５（Ｂ）は、表示装置１００が検索結果を表示する場合の画面構成例である。画面Ｐ５０には、再生映像Ｐ６０、検索結果映像Ｐ７０、履歴映像Ｐ８０等が表示される。再生映像Ｐ６０は、デコード部１０４がデコード（再生）している映像データの映像、つまり受信部１０１が受信している映像データ又は記憶部１０２に記憶されている映像データの映像である。
【００３８】
検索結果映像Ｐ７０は、例えばブラウザソフトウェアのウィンドウ等であり、当該映像Ｐ７０には、インターネットサーバから取得した検索結果として、例えば検索されたウェブページＰ７１等が表示される。履歴映像Ｐ８０は、抽出文字データベース１１２に格納された情報に基づいた映像であり、文字抽出部１１１が抽出した文字Ｐ８１に対して、当該文字の抽出時間Ｐ８２、番組情報Ｐ８３等が対応付けられて表示される。
【００３９】
なお、検索結果を表示する場合の画面構成例はこれに限るものではなく、例えば画面Ｐ２０においてユーザからの抽出指示操作入力を受けた場合に、検索結果映像Ｐ７０を表示部１０７の表示画面の全画面に表示しても良い。
【００４０】
図６は、表示装置１００による文字抽出に係る処理フロー例を示す図である。
まず表示装置１００は、映像データを再生して再生映像を表示部１０７に出力する（Ｓ３０１）。ここで画像抽出部１１０は、ユーザからの抽出操作入力を受けると（Ｓ３０２のＹｅｓ）、再生映像のうち、カーソル画像Ｐ２１が表示されている位置の周辺の一定範囲内から検索ボックス画像Ｐ１１を検出及び抽出する（Ｓ３０３）。続いて画像抽出部１１０は、抽出した検索ボックス画像Ｐ１１に含まれる文字画像を抽出する（Ｓ３０４）。そして文字抽出部１１１は、文字画像を解析して文字データに変換し（Ｓ３０５）、当該文字データを抽出文字データベース１１２に格納する（Ｓ３０６）。
【００４１】
そして検索部１１３は、抽出した文字データを用いてインターネットでの検索を実行し（Ｓ３０７）、当該検索の結果を受信すると検索結果画面を表示部１０７に表示させる（Ｓ３０８）。なお当該処理フローにおいて、表示装置１００は文字を抽出した場合に当該抽出文字を用いて検索を実行しているが、検索を実行するタイミングはこれに限るものではない。例えばＳ３０６で抽出文字を格納した後にユーザから検索を指示する操作入力を受けた場合に検索を実行してもよい。
【００４２】
なお表示装置１００は、Ｓ３０２にて抽出操作入力を受ける前に、ユーザから映像再生の停止指示操作入力を受けてもよい。そしてこの場合に表示装置１００は、一時停止した映像を表示部１０７に表示し、停止映像に対するユーザからの抽出操作入力を受ける。また表示装置１００は、受信部１０１が受信中の映像データを再生している場合において当該停止指示操作を受けた場合には、映像の再生を一時停止するとともに映像データの録画を開始し、抽出操作入力を受けた後に当該録画映像の再生を開始できる。
【００４３】
また、本実施形態において、表示装置１００は、例えばポインティングデバイス２００やリモートコントローラからの操作入力を受け付けるとして説明したが、表示装置１００はスマートフォンやＰＣ等の情報端末からの操作入力を受け付けても良い。この場合、情報端末は表示装置１００に対して無線／有線ＬＡＮ等のネットワークで接続され、当該情報端末に入力された操作入力をネットワーク経由で表示装置１００に送信する。そして表示装置１００は、入力された操作入力に応じた処理を実行する。
【００４４】
（第２実施形態）
次に図７及び図８を参照して第２実施形態を説明する。図７（Ａ）は本実施形態に係る表示装置１００ｂと情報端末３００の利用形態例を示す図である。ここで、表示装置１００ｂは情報端末３００と無線／有線ＬＡＮ等のネットワークで接続される。情報端末３００は、表示部３０９の表示画面上にタッチスクリーンが設けられており、ユーザからの操作入力を受け付ける。そして情報端末３００は、当該表示画面上に対するユーザのタッチ操作入力を受け付け、受け付けたタッチ操作入力をネットワーク経由で表示装置１００ｂに送信する。
【００４５】
表示装置１００ｂは第１実施形態における表示装置１００と同様に、表示部１０７ｂに画面Ｐ２０を表示する。画面Ｐ２０には、検索ボックス画像Ｐ１１、検索ボタン画像Ｐ１２及びカーソル画像Ｐ２１等が表示される。カーソル画像Ｐ２１の位置は、ポインティングデバイス２００や情報端末３００からの移動指示操作入力に応じて変化する。そして本実施形態に係る表示装置１００ｂは、ポインティングデバイス２００や情報端末３００から抽出指示操作入力を受けた場合に、カーソル画像Ｐ１２が配置されている位置の一定範囲内から検索ボックス画像Ｐ１１を検出して、当該画像Ｐ１１に含まれる文字を抽出できる。そして情報端末３００は、当該抽出された文字を用いたインターネット検索を実行し、当該検索の結果を表示できる。
【００４６】
図７（Ｂ）及び（Ｃ）は、情報端末３００が表示する表示画面例である。画面Ｐ９０には、枠画像Ｐ９１、シークバー画像Ｐ９２、停止ボタン画像Ｐ９３、再生ボタン画像Ｐ９４等が表示される。ここで枠画像Ｐ９１は、表示装置１００ｂが表示するカーソル画像Ｐ２１に対する操作入力を受けるための領域である。そして情報端末３００は、当該画像Ｐ９１内の領域に対するタッチ操作に応じた指示を表示装置１００ｂに送信することにより、表示装置１００ｂに対するタッチパッドとして機能する。つまり情報端末３００は、画像Ｐ９１内の領域に対するタッチ操作に応じて、カーソル画像Ｐ２１の位置を移動させる移動指示、及び文字の抽出を指示する抽出指示を表示装置１００ｂに出力する。
【００４７】
シークバー画像Ｐ９２、停止ボタン画像Ｐ９３及び再生ボタン画像Ｐ９４は、表示装置１００ｂが録画映像を再生している場合に、映像の再生位置、再生停止及び再生開始を指示するための画像である。情報端末３００は、これらボタンに対するユーザのタッチ操作に応じた指示を表示装置１００ｂに送信する。また画面Ｐ１００は、検索結果を表示する画面であり、検索に応じてインターネット上のサーバから受信したウェブページの情報を表示する。なお図７には図示しないが、情報端末３００は、表示装置１００ｂが表示する放送番組の映像に関して、表示番組のチャンネル変更を指示するための画像を表示してもよい。
【００４８】
図８は第２実施形態に係る表示装置１００ｂ及び情報端末３００のシステム構成例を示す図である。ここで表示装置１００ｂと情報端末３００とは、無線又は有線のネットワーク４００により接続されている。
【００４９】
まず表示装置１００ｂを説明する。表示装置１００ｂは、受信部１０１ｂ、記憶部１０２ｂ、録画再生制御部１０３ｂ、デコード部１０４ｂ、合成部１０５ｂ、信号処理部１０６ｂ、表示部１０７ｂ、操作受付部１０８ｂ、ＧＵＩ処理部１０９ｂ、画像抽出部１１０ｂ、文字抽出部１１１ｂ、抽出文字データベース１１２ｂ、検索部１１３ｂ、通信部１１４ｂ等を備える。なお表示装置１００ｂの各構成は第１実施形態と同様の機能を有するため、ここでは第１実施形態と異なる機能を中心に説明する。
【００５０】
ＧＵＩ処理部１０９ｂは、抽出指示操作入力を受けた場合、画像抽出部１１０に画像の抽出を指示する。なおＧＵＩ処理部１０９は、抽出指示操作入力を受けた際のカーソル画像の位置情報を画像抽出部１１０ｂに出力する。
【００５１】
画像抽出部１１０ｂは、デコード部１０４ｂから入力された映像データから、抽出指示操作入力に応じたフレーム画像を抽出する。そして画像抽出部１１０ｂは、カーソル画像の位置情報に基づき、抽出フレーム画像において当該カーソル画像の位置の一定距離内にある検索ボックス画像の画像を抽出する。さらに画像抽出部１１０ｂは当該検索ボックス画像に含まれる文字画像を抽出する。そして画像抽出部１１０ｂは、当該抽出した文字画像を、文字抽出部１１１又は情報端末３００の通信部３０１に出力する。
【００５２】
文字抽出部１１１ｂは、入力された文字画像から文字データ(テキストデータ）を生成する。また、ここで文字抽出部１１１ｂには、録画再生制御部１０３ｂから、再生中の映像データについての番組情報が入力される。そして文字抽出部１１１ｂは、抽出した文字データと、当該文字データを抽出した映像データについての番組情報とを抽出文字データベース１１２ｂ又は情報端末３００の通信部３０１に出力する。
【００５３】
抽出文字データベース１１２ｂは、文字抽出部１１１ｂから入力された文字データと番組情報とを対応付けて格納する。検索部１１３ｂは、文字抽出部１１１ｂにより抽出された文字データを用いて検索を実行する。
【００５４】
通信部１１４ｂは、情報端末３００から、カーソル画像Ｐ２１の位置を移動させる移動指示操作入力、文字の抽出を指示する抽出指示操作入力、録画した映像データの再生及び停止操作入力等を受けた場合、これらの操作入力を操作受付部１０８ｂに出力する。そして操作受付部１０８ｂは、受信した操作入力をＧＵＩ処理部１０９ｂや録画再生制御部１０３ｂに出力する。また通信部１１４ｂは、画像抽出部１１０ｂが抽出したフレーム画像、検索ボックス画像、文字画像、及び文字抽出部１１１ｂが抽出した文字データのうち何れかを情報端末３００の通信部３０１に送信する機能も有する。なお通信部１１４ｂは、画像抽出部１１０ｂが抽出したフレーム画像を通信部３０１に送信する場合、カーソル画像の位置情報も合わせて送信する。
【００５５】
次に情報端末３００のシステム構成例を説明する。情報端末３００は、通信部３０１、画像抽出部３０２、文字抽出部３０３、検索部３０４、ＧＵＩ処理部３０５、信号処理部３０６、表示部３０７、操作受付部３０８等を備える。
【００５６】
通信部３０１は、ＧＵＩ処理部３０５から、表示装置１００ｂに表示されたカーソル画像Ｐ２１の位置の移動を指示する移動指示操作入力、文字の抽出を指示する抽出指示操作入力、表示装置１００ｂが録画した映像データの再生及び停止を指示する操作入力等が入力されると、当該操作入力をネットワーク４００経由で表示装置１００ｂの通信部１１４ｂに送信する。
【００５７】
また通信部３０１は、表示装置１００ｂから、フレーム画像及び検索ボックス画像の何れかが入力されると、当該画像を画像抽出部３０２に出力する。なお通信部３０１はカーソル画像の位置情報が入力された場合にも当該情報を画像抽出部３０２に出力する。また通信部３０１は、表示装置１００ｂから文字画像が入力されると当該文字画像を文字抽出部３０３に、文字データが入力されると当該文字データを検索部３０４に出力する。
【００５８】
画像抽出部３０２は、通信部３０１からフレーム画像とカーソル位置情報とが入力されると、フレーム画像の中のカーソル位置情報が示す位置の一定の範囲内から検索ボックス画像を検出・抽出する。また画像抽出部３０２は、通信部３０１から検索ボックス画像が入力された場合又は画像抽出部３０２が検索ボックス画像を抽出した場合、当該検索ボックス画像に含まれる文字画像を抽出し、当該文字画像を文字抽出部３０３に出力する。
【００５９】
文字抽出部３０３は、通信部３０１又は画像抽出部３０２から文字画像が入力されると、当該文字画像に含まれる文字を検出して文字データを生成し、検索部３０４に出力する。
【００６０】
検索部３０４は、通信部３０１又は文字抽出部３０３から文字データが入力されると、当該文字データを用いたインターネット検索を実行して、インターネット上のサーバから検索結果を取得する。そして検索部３０４は、検索結果表示画面の生成をＧＵＩ処理部３０５に指示する。
【００６１】
ＧＵＩ処理部３０５は、図７（Ｂ）及び（Ｃ）で示した画面Ｐ９０及びＰ１００の映像データを生成する。またＧＵＩ処理部３０５には、表示部３０７の画面に対する操作入力の位置情報が操作受付部３０８から入力される。ここでＧＵＩ処理部３０５は、当該位置情報に応じて、表示画面の何れの画像に対する操作を受けたかを判別し、操作を受けた画像に応じた指示の送信を通信部３０１に指示する。
【００６２】
そして信号処理部３０６は映像データを表示装置用の映像信号に変換し、表示部３０７は当該映像信号を用いて映像を出力する。
操作受付部３０８は、例えば表示部３０７の画面上に設けられたタッチパネル等であり、ユーザからの操作入力を受け付ける。そして操作受付部３０８は、操作を受けた画面の位置（座標）についての情報をＧＵＩ処理部３０５に出力する。
【００６３】
次に図９を参照して、表示装置１００ｂ及び情報端末３００による処理シーケンス例を説明する。まず表示装置１００ｂは、画面Ｐ２０の映像を出力する（Ｓ５０１）。ここで表示装置１００ｂは、ポインティングデバイス２００又は情報端末３００からの抽出指示を受けると（Ｓ５０２のＹｅｓ）、再生中の映像データのフレームを抽出する（Ｓ５０３）。そして表示装置１００ｂは、抽出したフレームの、カーソル画像Ｐ２１の位置情報に基づいた範囲内から検索ボックス画像を抽出する（Ｓ５０４）。
【００６４】
続いて表示装置１００ｂは、検索ボックス画像中の文字画像を抽出し、当該文字画像に含まれる文字を文字データとして検出する（Ｓ５０６）。次に表示装置１００ｂは、検出・抽出した文字データを情報端末３００に送信する（Ｓ５０７）。そして情報端末３００は、受信した文字データを用いた検索を実行し（Ｓ５０８）、検索結果を示す画面を表示する（Ｓ５０９）。
【００６５】
なお図９においては、表示装置１００ｂは文字データを情報端末３００に送信するとして説明したが、表示装置１００ｂが情報端末３００に送信するデータはこれに限るものではない。つまり表示装置１００ｂは、Ｓ５０３にて抽出したフレーム画像を情報端末３００に送信し、続くＳ５０４乃至Ｓ５０６の処理を情報端末３００が処理してもよい。また表示装置１００ｂは、Ｓ５０４にて抽出した検索ボックス画像を情報端末３００に送信し、情報端末３００がＳ５０５及びＳ５０６の処理を実行してもよい。更に表示装置１００ｂはＳ５０５で抽出した文字画像を情報端末３００に送信して、情報端末３００がＳ５０６の処理を実行しても良い。
【００６６】
（第３実施形態）
次に図１０及び図１１を参照して第３実施形態を説明する。第３実施形態は、第２実施形態に係る表示装置１００ｂ及び情報端末３００により実現される。
図１０は第３実施形態に係る表示装置１００ｂ及び情報端末３００が表示する画面の遷移例を示す図である。まず情報端末３００は画面Ｐ２００を表示する。当該画面Ｐ２００には、抽出指示ボタンＰ２０１等が表示される。ここで表示装置１００ｂが画面Ｐ３００を表示している場合に情報端末３００が抽出指示ボタンＰ２０１への操作を受け付けると、情報端末３００は表示装置１００ｂに対して画面Ｐ３００の抽出及び送信を指示する。そして表示装置１００ｂは、画面３００のフレーム画像を抽出して情報端末３００に送信する。なお表示装置１００ｂは、フレーム画像の抽出及び送信の際にも映像の再生及び表示を継続する。
【００６７】
情報端末３００は、フレーム画像を受信すると、画面Ｐ２１０に当該フレーム画像を表示し、ユーザからのタッチ操作入力を受け付ける。そして情報端末３００は、当該画面Ｐ２１０に対する操作を受け付けると、画面Ｐ２１０の画像の中から当該操作を受けた位置の一定範囲内にある所定形状の画像を検出して、当該所定形状の画像内に含まれる文字を文字データとして抽出する。なおここで表示装置１００ｂは映像の再生及び表示を継続しており、再生中の映像の画面Ｐ３１０を表示する。
【００６８】
続いて情報端末３００は、抽出した文字データに基づいた検索要求をインターネットサーバに送信し、当該要求に応じてインターネットサーバから受信した情報を画面Ｐ２２０に表示する。ここで表示装置１００ｂは、前述の通り映像の再生及び表示を継続しており、再生中の映像の画面Ｐ３２０を表示する。
【００６９】
次に図１１を参照して表示装置１００ｂ及び情報端末３００による処理シーケンス例を説明する。まず表示装置１００ｂは映像の再生及び表示を行い（Ｓ６０１）、情報端末３００は、図１０に示した画面Ｐ２００のような操作画面を表示する（Ｓ６０２）。ここで情報端末３００が抽出指示ボタンＰ２０１への操作を受け付けると（Ｓ６０３のＹｅｓ）、情報端末３００は表示装置１００ｂにフレーム抽出指示を送信する（Ｓ６０４）。続いて表示装置１００ｂは、フレーム抽出指示を受けると、再生中の映像のフレーム画像を抽出して（Ｓ６０５）情報端末３００に送信する（Ｓ６０７）。
【００７０】
そして情報端末３００は、受信したフレーム画像を表示し（Ｓ６０７）、当該表示画像に対する操作入力を受けた場合（Ｓ６０８のＹｅｓ）、表示画像のうち当該操作入力に対応する位置の一定範囲内にある所定の形状の画像を抽出する（Ｓ６０９）。次に情報端末３００は、当該所定形状の画像から文字画像を抽出し（Ｓ６１０）、当該文字画像に含まれる文字を文字データに変換する（Ｓ６１１）。そして情報端末３００は、当該文字データを用いて検索を実行し（Ｓ６１２）、当該検索により得た情報を表示する（Ｓ６１３）。
【００７１】
なお図１１においては、情報端末３００がＳ６０９乃至Ｓ６１１の処理を実行するとして説明したが、これらの処理は表示装置１００ｂが実行してもよい。この場合に情報端末３００は、Ｓ６０８において表示画像に対する操作入力を受けた場合に、当該操作入力が表示画像の何れの位置に対応しているかを判別し、操作入力の位置情報を表示装置１００ｂに送信する。そして表示装置１００ｂは、Ｓ６０５で抽出したフレーム画像の中から、Ｓ６０９の処理と同様に、当該位置情報が示す位置の一定範囲内にある所定の形状の画像を抽出する。続いて表示装置１００ｂは、文字画像及び文字データを抽出して、文字データを情報端末３００に送信する。
【００７２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。例えば実施形態に係る文字抽出装置は、チューナを備え、ディスプレイに映像を出力する受信装置として実現されても良い。また、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００７３】
１００…表示装置、１０１…受信部、１０２…記憶部、１０３…録画再生制御部、１０４…デコード部、１０５…合成部、１０６…信号処理部、１０７…表示部、１０８…操作受付部、１０９…ＧＵＩ処理部、１１０…画像抽出部、１１１…文字抽出部、１１２…抽出文字データベース、１１３…検索部、１１４…通信部、２００…ポインティングデバイス、３００…情報端末、３０１…通信部、３０２…画像抽出部、３０３…文字抽出部、３０４…検索部、３０５…ＧＵＩ処理部、３０６…信号処理部、３０７…表示部、３０８…操作受付部、４００…ネットワーク
【技術分野】
【０００１】
本発明の実施形態は、映像データ中から文字を抽出する文字抽出装置、表示方法及び文字抽出方法に関する。
【背景技術】
【０００２】
テレビ放送番組の本編やコマーシャル等において、視聴者に対してインターネットでの検索を促す映像が表示される場合がある。ここで当該映像には、インターネットでの検索ページを模した検索ボタンや検索窓の画像が配置される。そして当該検索窓内に検索対象となる文字の画像を配置することにより、視聴者に対して当該文字の検索を促す。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−４４６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、ユーザが当該文字を用いて検索等の処理を実行する場合には、テレビ受信装置や表示装置等の装置が、映像中の文字画像から文字を抽出することにより、当該文字をユーザが覚えたり書き留めたりする手間を抑制できることが好ましい。そして、当該文字の抽出の際には、装置による文字抽出の処理を好適に実行できることが好ましい。
【０００５】
そこで本発明の実施形態は、映像に含まれる文字画像に対して好適な抽出処理を実行できる文字抽出装置、表示方法及び文字抽出方法の提供を目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本実施形態の文字抽出装置は、映像データを再生する再生手段と、再生手段により再生された映像データを表示装置に出力する出力手段と、映像データを用いて表示装置が表示する映像の何れかの位置に対応する外部入力を受け付ける受付手段と、表示装置が表示する映像の中の、外部入力が対応する位置から一定範囲内にある第１形状の画像を抽出する画像抽出手段と、抽出手段により抽出された画像から文字を抽出する文字抽出手段とを備える。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態に係る表示装置の利用形態例を示す図。
【図２】第１実施形態に係る表示装置のシステム構成例を示す図。
【図３】第１実施形態に係る表示装置が生成する抽出文字履歴データベースの構成例を示す図。
【図４】第１実施形態に係る表示装置による文字抽出処理例を示す図。
【図５】第１実施形態に係る表示装置が表示する画面の遷移例を示す図。
【図６】第１実施形態に係る表示装置による文字抽出処理の処理フロー例を示す図。
【図７】第２実施形態に係る表示装置及び情報端末の利用形態例を示す図。
【図８】第２実施形態に係る表示装置及び情報端末のシステム構成例。
【図９】第２実施形態に係る表示装置及び情報端末による文字抽出処理シーケンス例を示す図。
【図１０】第３実施形態に係る表示装置及び情報端末が表示する画面の遷移例を示す図。
【図１１】第３実施形態に係る表示装置及び情報端末による文字抽出処理シーケンス例を示す図。
【発明を実施するための形態】
【０００８】
（第１実施形態）
以下、図面を参照して第１実施形態を説明する。本実施形態に係る文字抽出装置は、例えば表示装置１００として実現される。ここで表示装置１００は、テレビ放送等の映像データを受信し、当該受信した映像データに基づいた映像を表示部１０７に表示する機能を有する。また表示装置１００は、ポインティングデバイス２００等の操作装置からの操作信号を受け付け、当該操作信号に応じた処理を実行する。
【０００９】
表示装置１００は、表示部１０７に例えばＣＭ映像の画面Ｐ２０を表示する。当該画面Ｐ２０では、ＣＭ映像に含まれる検索ボックス画像Ｐ１１及び検索ボタン画像Ｐ１２と、表示装置１００が生成するカーソル画像Ｐ２１等が表示される。なおカーソル画像Ｐ２１の位置は、ポインティングデバイス２００からの移動指示操作入力に応じて変化する。そして実施形態に係る表示装置１００は、例えばポインティングデバイス２００のボタン２０１又は２０２に対する操作入力を受けた場合に、カーソル画像Ｐ１２が配置されている位置の一定範囲内から検索ボックス画像Ｐ１１を検出して、当該画像Ｐ１１に含まれる文字を抽出できるものであるが、詳細については図２乃至図６を参照して後述する。
【００１０】
図２は表示装置１００のシステム構成例を示す。表示装置１００は、受信部１０１、記憶部１０２、録画再生制御部１０３、デコード部１０４、合成部１０５、信号処理部１０６、表示部１０７、操作受付部１０８、ＧＵＩ処理部１０９、画像抽出部１１０、文字抽出部１１１、抽出文字データベース１１２、検索部１１３、通信部１１４等を備える。
【００１１】
受信部１０１は、例えば衛星デジタルテレビ放送や地上波デジタルテレビ放送の映像データを受信する。ここで受信部１０１は、録画再生制御部１０３からの指示に応じたチャンネルの映像データを受信し、受信した映像データを録画再生制御部１０３に出力する。なお受信部１０１は、インターネット等のネットワークを介して配信されるＩＰＴＶ等の映像データを受信しても良い。更に受信部１０１は、放送波に重畳された番組情報や、ネットワーク上のサーバに格納された番組情報を受信してもよい。これら番組情報には、例えば放送番組毎に、放送チャンネル、放送時間、番組タイトル名、出演者名、番組内容説明文等が対応付けられている。
【００１２】
記憶部１０２は、録画再生制御部１０３から入力される映像データのストリームを記憶（録画）する機能を有する。また記憶部１０２は、録画再生制御部１０３から映像データの再生指示を受けた場合、記憶した映像データのうち当該指示に応じた映像データを録画再生制御部１０３に出力する。
【００１３】
録画再生制御部１０３は、映像データの再生及び録画処理を制御する。再生処理において録画再生制御部１０３は、受信部１０１が受信する映像データ又は記憶部１０２に記憶された映像データをデコード部１０４にデコード（再生）させる。つまり、例えば操作受付部１０８がユーザから所定のチャンネルの放送番組の再生指示入力を受けた場合、録画再生制御部１０３は、受信部１０１に対して当該チャンネルの映像データの受信及び出力を指示する。なお録画再生制御部１０３は、当該再生の際に、再生中の映像データについての番組情報を文字抽出部１１１に出力する。
【００１４】
また録画再生制御部１０３は、録画した映像データの再生指示入力を操作受付部１０８が受け付けた場合、当該再生指示に応じた映像データの出力を記憶部１０２に指示する。そしてこのとき録画再生制御部１０３は、操作受付部１０８が受け付けた操作入力に応じて、映像データの再生及び停止を制御する。
【００１５】
また録画処理において録画再生制御部１０３は、受信部１０１が受信した映像データのストリームを記憶部１０２に出力し、当該映像データを記憶部１０２に記憶（録画）させる。
【００１６】
デコード部１０４は、録画再生制御部１０３から入力された映像データのストリームをデコードし、当該デコードデータを合成部１０５及び画像抽出部１１０に出力する。
【００１７】
合成部１０５は、デコード部１０４から入力された映像データと、ＧＵＩ処理部１０９から入力されたＧＵＩの映像データとを重畳し、当該重畳した映像データを信号処理部１０６に出力する。次に信号処理部１０６は、入力された映像データをディスプレイが表示可能な形式の映像信号に変換して、当該映像信号を表示部１０７に出力する。そして表示部１０７は、入力された映像信号を用いた映像を表示する。
【００１８】
操作受付部１０８は、ポインティングデバイス２００やリモートコントローラ等の操作装置からの操作入力信号を受信する。ここで操作受付部１０８は、例えばカーソル画像Ｐ２１の位置を移動させる移動指示操作入力、文字の抽出を指示する抽出指示操作入力、録画した映像データの再生及び停止操作入力等を受信する。そして操作受付部１０８は、受信した操作入力をＧＵＩ処理部１０９や録画再生制御部１０３に出力する（録画再生制御部１０３への出力経路は不図示）。
【００１９】
ＧＵＩ処理部１０９は、表示装置１００が表示するＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の映像データの生成と、ＧＵＩに対するユーザからの操作入力の処理とを行う。ここでＧＵＩ処理部１０９は、例えばカーソル画像Ｐ２１のデータを生成し、生成したデータを合成部１０５に出力する。そしてＧＵＩ処理部１０９は、操作受付部１０８から入力された移動指示操作入力に応じた位置にカーソル画像Ｐ２１が配置されるように映像データを生成する。
【００２０】
また、ここでＧＵＩ処理部１０９は、抽出指示操作入力を受けた場合、画像抽出部１１０に画像の抽出を指示する。なお抽出指示操作入力とは、例えばポインティングデバイス２００のボタン２０１又は２０２に対する操作入力等である。
【００２１】
画像抽出部１１０には、デコード部１０４から映像データが入力される。そして画像抽出部１１０は、入力された映像データに含まれる検索ボックス画像をＧＵＩ処理部１０９からの指示に応じて抽出する。更に画像抽出部１１０は、抽出した検索ボックス画像に含まれる文字画像を抽出し、当該抽出した文字画像を文字抽出部１１１に出力する。
【００２２】
文字抽出部１１１は、入力された文字画像を解析して、当該文字画像に含まれる文字を検出・抽出する。つまり文字抽出部１１１は、文字画像から文字データ(テキストデータ）を生成する。そして文字抽出部１１１は、生成した文字データを抽出文字データベース１１２及び検索部１１３に出力する。また、ここで文字抽出部１１１には、録画再生制御部１０３から、再生中の映像データについての番組情報（チャンネル、放送時間、番組タイトル名、出演者名、番組内容説明文等）が入力される。そして文字抽出部１１１は、抽出した文字データと、当該文字データを抽出した映像データについての番組情報とを抽出文字データベース１１２及び検索部１１３に出力する。
【００２３】
抽出文字データベース１１２は、文字抽出部１１１から入力された文字データと、当該文字データが抽出された映像データの番組情報とを対応付けて格納する。なお当該データベースについては図３を参照して後述する。
【００２４】
検索部１１３は、文字抽出部１１１により抽出された文字データと、例えばインターネット上のサーバに格納された検索エンジンとを用いて検索を実行する。当該検索を実行する場合、検索部１１３はまずインターネットを利用するためのブラウザソフトウェアを起動する。続いて検索部１１３は、抽出された文字データに応じたデータを、通信部１１４を介して検索エンジンのＵＲＩに対して送信するようにブラウザソフトウェアを制御する。
【００２５】
次に検索部１１３は、サーバから送信された検索結果に関するウェブページのデータを受信する。ここで検索部１１３は、受信したウェブページのデータに基づいた検索結果画面を、ブラウザソフトウェアを用いて構成する。そして検索部１１３は、構成された検索結果画面の映像データの生成をＧＵＩ処理部１０９に指示する。
【００２６】
また検索部１１３は、文字抽出部１１１又は抽出文字データベース１１２から入力される文字データと当該文字データに関する番組情報とについての履歴を表示する履歴画面の生成をＧＵＩ処理部１０９に指示することもできる。
【００２７】
図３は、抽出文字データベース１１２のデータ構成例を示す図である。当該データベース１１２は、抽出した文字Ｂ１に対して、当該文字の抽出日時Ｂ２及び当該文字を抽出した番組情報Ｂ３等を対応付けて格納している。なおここで番組情報Ｂ３とは、放送波に重畳される番組情報やネットワーク上の番組情報配信サーバが配信する番組情報等に基づいた情報であり、例えば番組の番組名、放送チャンネル、放送時間、出演者名及び番組内容説明等が含まれる。
【００２８】
図４は表示装置１００による文字抽出の処理例を示す。そして図４（Ａ）は、表示装置１００が映像データを再生している場合に表示部１０７が表示する画面例を示す図である。画面３００は、コマーシャル映像等における一画面の例であり、当該画面３００には、再生された映像データに基づいた検索ボックス画像Ｐ１１と検索ボタン画像Ｐ１２とが含まれる。
【００２９】
ここで検索ボックス画像Ｐ１１及び検索ボタン画像Ｐ１２は、例えばインターネット上の検索ウェブページで表示される検索語入力ボックスの画像と検索実行ボタンの画像とを模した画像であり、検索ボックス画像Ｐ１１は、検索ボタン画像Ｐ１２の左隣に配置されている。また検索ボックス画像Ｐ１１には、画面Ｐ１０が含まれる映像データの製作者や配信者が、ユーザに検索して欲しいと考えている文字の画像が含まれる。
【００３０】
ここで、操作受付部１０８が例えばポインティングデバイス２００からの操作入力を受け付けると、表示部１０７は画面Ｐ１０にカーソル画像Ｐ２１を重畳した画面Ｐ２０を表示する。なおカーソル画像Ｐ２１の画面Ｐ２０上での位置は、ポインティングデバイス２００からの移動操作入力に応じて変化する。
【００３１】
そして操作受付部１０８は、例えばポインティングデバイス２００からのボタン操作入力等を受け付けると、ＧＵＩ処理部１０９は画像抽出部１１０に画像の抽出を指示する。なおＧＵＩ処理部１０９は、当該指示の際に、画面Ｐ２０におけるカーソル画像Ｐ２１の位置（座標）についての情報を画像抽出部１１０に出力する。
【００３２】
画像抽出部１１０は、画像抽出指示を受けると、デコード部１０４から入力されている映像データから例えば１のフレームを抽出する。そして画像抽出部１１０は、カーソル画像Ｐ２１の位置情報に基づき、抽出フレームの映像から、当該カーソル画像Ｐ２１の位置の一定距離内にある検索ボックス画像Ｐ１１の画像を抽出する。つまり画像抽出部１１０は、例えばカーソル画像Ｐ２１の先端Ａ１の位置から上方向に距離Ｌ１、下方向に距離Ｌ２、左方向に距離Ｌ３の範囲Ａ２内から、例えば画像の輝度変化が小さい平坦部と輝度変化が大きいエッジ部を判別し、略矩形のエッジ部を有する所定のサイズ（解像度）の画像を抽出する。
【００３３】
ここで、前述のように、コマーシャル映像等において、検索ボックス画像Ｐ１１は検索ボタン画像Ｐ１２の近傍左方向に配置されることが多い。また検索ボックス画像の形状は、縦方向よりも横方向の長さが長い矩形形状であることが多い。更に検索ボックス画像は、ユーザにより視認できる所定範囲のサイズ（解像度）である場合が多い。このため、カーソル画像Ｐ２１が検索ボタン画像Ｐ１２に対応する位置にある場合に操作受付部１０８が当該画像Ｐ１２の位置に対応する位置への操作入力を受け付け、画像抽出部１１０が当該検索ボタン画像Ｐ１２の位置の一定範囲内から略矩形の所定サイズの画像を検出することにより、高い精度で検索ボックス画像Ｐ１１を検出でき、当該検索ボックス画像Ｐ１１に含まれる文字画像を検出・抽出できる。
【００３４】
しかしながら、検索ボックス画像Ｐ１１の形状は必ずしも矩形であるとは限らないため、画像抽出部１１０は、矩形形状の画像だけでなく例えばエッジ部が周状となっている画像や横長の画像等、所定の形状の画像を抽出してもよい。なおここでは、画像抽出部１１０は、検索ボックス画像Ｐ１１に重なる位置又は当該画像Ｐ１１の近傍の位置に対する操作を受け付けた場合に、当該検索ボックス画像Ｐ１１を検出・抽出しても良い。そしてこの場合にも画像抽出部１１０は、操作を受けた位置から所定範囲内にある所定の形状の画像を検出することにより、検索ボックス画像Ｐ１１を検出できる。
【００３５】
そして画像抽出部１１０は、図４（Ｃ）に示すような検索ボックス画像Ｐ１１を抽出すると、図４（Ｄ）に示すように、当該抽出画像に含まれる文字列の画像Ｐ３０及びＰ４０を抽出する。そして文字抽出部１１１は、画像Ｐ３０及び画像Ｐ４０に含まれる文字Ｔ１及びＴ２を抽出する。
【００３６】
図５は、表示装置１００が抽出した文字を用いて検索を実行する際に表示する画面の遷移例を示す図である。
まず表示装置１００は、図５（Ａ）に示す画面Ｐ２０を表示する。当該画面Ｐ２０には受信部１０１が受信した映像又は記憶部１０２に格納された映像に基づいて検索ボックス画像Ｐ１１及び検索ボタン画像Ｐ１２が配置され、またユーザからの操作入力に応じてカーソル画像Ｐ２１が配置される。ここで操作受付部１０８が、例えばポインティングデバイス２００からのボタン操作入力等を受け付けると、画像抽出部１１０及び文字抽出部１１１により、検索ボックス画像Ｐ１１に含まれる文字画像が文字データに変換される。そして検索部１１３は、当該文字データを用いて検索を実行する。そして表示装置１００は、検索結果の情報を取得すると、図５（Ｂ）に示す画面Ｐ５０を表示する。
【００３７】
そして図５（Ｂ）は、表示装置１００が検索結果を表示する場合の画面構成例である。画面Ｐ５０には、再生映像Ｐ６０、検索結果映像Ｐ７０、履歴映像Ｐ８０等が表示される。再生映像Ｐ６０は、デコード部１０４がデコード（再生）している映像データの映像、つまり受信部１０１が受信している映像データ又は記憶部１０２に記憶されている映像データの映像である。
【００３８】
検索結果映像Ｐ７０は、例えばブラウザソフトウェアのウィンドウ等であり、当該映像Ｐ７０には、インターネットサーバから取得した検索結果として、例えば検索されたウェブページＰ７１等が表示される。履歴映像Ｐ８０は、抽出文字データベース１１２に格納された情報に基づいた映像であり、文字抽出部１１１が抽出した文字Ｐ８１に対して、当該文字の抽出時間Ｐ８２、番組情報Ｐ８３等が対応付けられて表示される。
【００３９】
なお、検索結果を表示する場合の画面構成例はこれに限るものではなく、例えば画面Ｐ２０においてユーザからの抽出指示操作入力を受けた場合に、検索結果映像Ｐ７０を表示部１０７の表示画面の全画面に表示しても良い。
【００４０】
図６は、表示装置１００による文字抽出に係る処理フロー例を示す図である。
まず表示装置１００は、映像データを再生して再生映像を表示部１０７に出力する（Ｓ３０１）。ここで画像抽出部１１０は、ユーザからの抽出操作入力を受けると（Ｓ３０２のＹｅｓ）、再生映像のうち、カーソル画像Ｐ２１が表示されている位置の周辺の一定範囲内から検索ボックス画像Ｐ１１を検出及び抽出する（Ｓ３０３）。続いて画像抽出部１１０は、抽出した検索ボックス画像Ｐ１１に含まれる文字画像を抽出する（Ｓ３０４）。そして文字抽出部１１１は、文字画像を解析して文字データに変換し（Ｓ３０５）、当該文字データを抽出文字データベース１１２に格納する（Ｓ３０６）。
【００４１】
そして検索部１１３は、抽出した文字データを用いてインターネットでの検索を実行し（Ｓ３０７）、当該検索の結果を受信すると検索結果画面を表示部１０７に表示させる（Ｓ３０８）。なお当該処理フローにおいて、表示装置１００は文字を抽出した場合に当該抽出文字を用いて検索を実行しているが、検索を実行するタイミングはこれに限るものではない。例えばＳ３０６で抽出文字を格納した後にユーザから検索を指示する操作入力を受けた場合に検索を実行してもよい。
【００４２】
なお表示装置１００は、Ｓ３０２にて抽出操作入力を受ける前に、ユーザから映像再生の停止指示操作入力を受けてもよい。そしてこの場合に表示装置１００は、一時停止した映像を表示部１０７に表示し、停止映像に対するユーザからの抽出操作入力を受ける。また表示装置１００は、受信部１０１が受信中の映像データを再生している場合において当該停止指示操作を受けた場合には、映像の再生を一時停止するとともに映像データの録画を開始し、抽出操作入力を受けた後に当該録画映像の再生を開始できる。
【００４３】
また、本実施形態において、表示装置１００は、例えばポインティングデバイス２００やリモートコントローラからの操作入力を受け付けるとして説明したが、表示装置１００はスマートフォンやＰＣ等の情報端末からの操作入力を受け付けても良い。この場合、情報端末は表示装置１００に対して無線／有線ＬＡＮ等のネットワークで接続され、当該情報端末に入力された操作入力をネットワーク経由で表示装置１００に送信する。そして表示装置１００は、入力された操作入力に応じた処理を実行する。
【００４４】
（第２実施形態）
次に図７及び図８を参照して第２実施形態を説明する。図７（Ａ）は本実施形態に係る表示装置１００ｂと情報端末３００の利用形態例を示す図である。ここで、表示装置１００ｂは情報端末３００と無線／有線ＬＡＮ等のネットワークで接続される。情報端末３００は、表示部３０９の表示画面上にタッチスクリーンが設けられており、ユーザからの操作入力を受け付ける。そして情報端末３００は、当該表示画面上に対するユーザのタッチ操作入力を受け付け、受け付けたタッチ操作入力をネットワーク経由で表示装置１００ｂに送信する。
【００４５】
表示装置１００ｂは第１実施形態における表示装置１００と同様に、表示部１０７ｂに画面Ｐ２０を表示する。画面Ｐ２０には、検索ボックス画像Ｐ１１、検索ボタン画像Ｐ１２及びカーソル画像Ｐ２１等が表示される。カーソル画像Ｐ２１の位置は、ポインティングデバイス２００や情報端末３００からの移動指示操作入力に応じて変化する。そして本実施形態に係る表示装置１００ｂは、ポインティングデバイス２００や情報端末３００から抽出指示操作入力を受けた場合に、カーソル画像Ｐ１２が配置されている位置の一定範囲内から検索ボックス画像Ｐ１１を検出して、当該画像Ｐ１１に含まれる文字を抽出できる。そして情報端末３００は、当該抽出された文字を用いたインターネット検索を実行し、当該検索の結果を表示できる。
【００４６】
図７（Ｂ）及び（Ｃ）は、情報端末３００が表示する表示画面例である。画面Ｐ９０には、枠画像Ｐ９１、シークバー画像Ｐ９２、停止ボタン画像Ｐ９３、再生ボタン画像Ｐ９４等が表示される。ここで枠画像Ｐ９１は、表示装置１００ｂが表示するカーソル画像Ｐ２１に対する操作入力を受けるための領域である。そして情報端末３００は、当該画像Ｐ９１内の領域に対するタッチ操作に応じた指示を表示装置１００ｂに送信することにより、表示装置１００ｂに対するタッチパッドとして機能する。つまり情報端末３００は、画像Ｐ９１内の領域に対するタッチ操作に応じて、カーソル画像Ｐ２１の位置を移動させる移動指示、及び文字の抽出を指示する抽出指示を表示装置１００ｂに出力する。
【００４７】
シークバー画像Ｐ９２、停止ボタン画像Ｐ９３及び再生ボタン画像Ｐ９４は、表示装置１００ｂが録画映像を再生している場合に、映像の再生位置、再生停止及び再生開始を指示するための画像である。情報端末３００は、これらボタンに対するユーザのタッチ操作に応じた指示を表示装置１００ｂに送信する。また画面Ｐ１００は、検索結果を表示する画面であり、検索に応じてインターネット上のサーバから受信したウェブページの情報を表示する。なお図７には図示しないが、情報端末３００は、表示装置１００ｂが表示する放送番組の映像に関して、表示番組のチャンネル変更を指示するための画像を表示してもよい。
【００４８】
図８は第２実施形態に係る表示装置１００ｂ及び情報端末３００のシステム構成例を示す図である。ここで表示装置１００ｂと情報端末３００とは、無線又は有線のネットワーク４００により接続されている。
【００４９】
まず表示装置１００ｂを説明する。表示装置１００ｂは、受信部１０１ｂ、記憶部１０２ｂ、録画再生制御部１０３ｂ、デコード部１０４ｂ、合成部１０５ｂ、信号処理部１０６ｂ、表示部１０７ｂ、操作受付部１０８ｂ、ＧＵＩ処理部１０９ｂ、画像抽出部１１０ｂ、文字抽出部１１１ｂ、抽出文字データベース１１２ｂ、検索部１１３ｂ、通信部１１４ｂ等を備える。なお表示装置１００ｂの各構成は第１実施形態と同様の機能を有するため、ここでは第１実施形態と異なる機能を中心に説明する。
【００５０】
ＧＵＩ処理部１０９ｂは、抽出指示操作入力を受けた場合、画像抽出部１１０に画像の抽出を指示する。なおＧＵＩ処理部１０９は、抽出指示操作入力を受けた際のカーソル画像の位置情報を画像抽出部１１０ｂに出力する。
【００５１】
画像抽出部１１０ｂは、デコード部１０４ｂから入力された映像データから、抽出指示操作入力に応じたフレーム画像を抽出する。そして画像抽出部１１０ｂは、カーソル画像の位置情報に基づき、抽出フレーム画像において当該カーソル画像の位置の一定距離内にある検索ボックス画像の画像を抽出する。さらに画像抽出部１１０ｂは当該検索ボックス画像に含まれる文字画像を抽出する。そして画像抽出部１１０ｂは、当該抽出した文字画像を、文字抽出部１１１又は情報端末３００の通信部３０１に出力する。
【００５２】
文字抽出部１１１ｂは、入力された文字画像から文字データ(テキストデータ）を生成する。また、ここで文字抽出部１１１ｂには、録画再生制御部１０３ｂから、再生中の映像データについての番組情報が入力される。そして文字抽出部１１１ｂは、抽出した文字データと、当該文字データを抽出した映像データについての番組情報とを抽出文字データベース１１２ｂ又は情報端末３００の通信部３０１に出力する。
【００５３】
抽出文字データベース１１２ｂは、文字抽出部１１１ｂから入力された文字データと番組情報とを対応付けて格納する。検索部１１３ｂは、文字抽出部１１１ｂにより抽出された文字データを用いて検索を実行する。
【００５４】
通信部１１４ｂは、情報端末３００から、カーソル画像Ｐ２１の位置を移動させる移動指示操作入力、文字の抽出を指示する抽出指示操作入力、録画した映像データの再生及び停止操作入力等を受けた場合、これらの操作入力を操作受付部１０８ｂに出力する。そして操作受付部１０８ｂは、受信した操作入力をＧＵＩ処理部１０９ｂや録画再生制御部１０３ｂに出力する。また通信部１１４ｂは、画像抽出部１１０ｂが抽出したフレーム画像、検索ボックス画像、文字画像、及び文字抽出部１１１ｂが抽出した文字データのうち何れかを情報端末３００の通信部３０１に送信する機能も有する。なお通信部１１４ｂは、画像抽出部１１０ｂが抽出したフレーム画像を通信部３０１に送信する場合、カーソル画像の位置情報も合わせて送信する。
【００５５】
次に情報端末３００のシステム構成例を説明する。情報端末３００は、通信部３０１、画像抽出部３０２、文字抽出部３０３、検索部３０４、ＧＵＩ処理部３０５、信号処理部３０６、表示部３０７、操作受付部３０８等を備える。
【００５６】
通信部３０１は、ＧＵＩ処理部３０５から、表示装置１００ｂに表示されたカーソル画像Ｐ２１の位置の移動を指示する移動指示操作入力、文字の抽出を指示する抽出指示操作入力、表示装置１００ｂが録画した映像データの再生及び停止を指示する操作入力等が入力されると、当該操作入力をネットワーク４００経由で表示装置１００ｂの通信部１１４ｂに送信する。
【００５７】
また通信部３０１は、表示装置１００ｂから、フレーム画像及び検索ボックス画像の何れかが入力されると、当該画像を画像抽出部３０２に出力する。なお通信部３０１はカーソル画像の位置情報が入力された場合にも当該情報を画像抽出部３０２に出力する。また通信部３０１は、表示装置１００ｂから文字画像が入力されると当該文字画像を文字抽出部３０３に、文字データが入力されると当該文字データを検索部３０４に出力する。
【００５８】
画像抽出部３０２は、通信部３０１からフレーム画像とカーソル位置情報とが入力されると、フレーム画像の中のカーソル位置情報が示す位置の一定の範囲内から検索ボックス画像を検出・抽出する。また画像抽出部３０２は、通信部３０１から検索ボックス画像が入力された場合又は画像抽出部３０２が検索ボックス画像を抽出した場合、当該検索ボックス画像に含まれる文字画像を抽出し、当該文字画像を文字抽出部３０３に出力する。
【００５９】
文字抽出部３０３は、通信部３０１又は画像抽出部３０２から文字画像が入力されると、当該文字画像に含まれる文字を検出して文字データを生成し、検索部３０４に出力する。
【００６０】
検索部３０４は、通信部３０１又は文字抽出部３０３から文字データが入力されると、当該文字データを用いたインターネット検索を実行して、インターネット上のサーバから検索結果を取得する。そして検索部３０４は、検索結果表示画面の生成をＧＵＩ処理部３０５に指示する。
【００６１】
ＧＵＩ処理部３０５は、図７（Ｂ）及び（Ｃ）で示した画面Ｐ９０及びＰ１００の映像データを生成する。またＧＵＩ処理部３０５には、表示部３０７の画面に対する操作入力の位置情報が操作受付部３０８から入力される。ここでＧＵＩ処理部３０５は、当該位置情報に応じて、表示画面の何れの画像に対する操作を受けたかを判別し、操作を受けた画像に応じた指示の送信を通信部３０１に指示する。
【００６２】
そして信号処理部３０６は映像データを表示装置用の映像信号に変換し、表示部３０７は当該映像信号を用いて映像を出力する。
操作受付部３０８は、例えば表示部３０７の画面上に設けられたタッチパネル等であり、ユーザからの操作入力を受け付ける。そして操作受付部３０８は、操作を受けた画面の位置（座標）についての情報をＧＵＩ処理部３０５に出力する。
【００６３】
次に図９を参照して、表示装置１００ｂ及び情報端末３００による処理シーケンス例を説明する。まず表示装置１００ｂは、画面Ｐ２０の映像を出力する（Ｓ５０１）。ここで表示装置１００ｂは、ポインティングデバイス２００又は情報端末３００からの抽出指示を受けると（Ｓ５０２のＹｅｓ）、再生中の映像データのフレームを抽出する（Ｓ５０３）。そして表示装置１００ｂは、抽出したフレームの、カーソル画像Ｐ２１の位置情報に基づいた範囲内から検索ボックス画像を抽出する（Ｓ５０４）。
【００６４】
続いて表示装置１００ｂは、検索ボックス画像中の文字画像を抽出し、当該文字画像に含まれる文字を文字データとして検出する（Ｓ５０６）。次に表示装置１００ｂは、検出・抽出した文字データを情報端末３００に送信する（Ｓ５０７）。そして情報端末３００は、受信した文字データを用いた検索を実行し（Ｓ５０８）、検索結果を示す画面を表示する（Ｓ５０９）。
【００６５】
なお図９においては、表示装置１００ｂは文字データを情報端末３００に送信するとして説明したが、表示装置１００ｂが情報端末３００に送信するデータはこれに限るものではない。つまり表示装置１００ｂは、Ｓ５０３にて抽出したフレーム画像を情報端末３００に送信し、続くＳ５０４乃至Ｓ５０６の処理を情報端末３００が処理してもよい。また表示装置１００ｂは、Ｓ５０４にて抽出した検索ボックス画像を情報端末３００に送信し、情報端末３００がＳ５０５及びＳ５０６の処理を実行してもよい。更に表示装置１００ｂはＳ５０５で抽出した文字画像を情報端末３００に送信して、情報端末３００がＳ５０６の処理を実行しても良い。
【００６６】
（第３実施形態）
次に図１０及び図１１を参照して第３実施形態を説明する。第３実施形態は、第２実施形態に係る表示装置１００ｂ及び情報端末３００により実現される。
図１０は第３実施形態に係る表示装置１００ｂ及び情報端末３００が表示する画面の遷移例を示す図である。まず情報端末３００は画面Ｐ２００を表示する。当該画面Ｐ２００には、抽出指示ボタンＰ２０１等が表示される。ここで表示装置１００ｂが画面Ｐ３００を表示している場合に情報端末３００が抽出指示ボタンＰ２０１への操作を受け付けると、情報端末３００は表示装置１００ｂに対して画面Ｐ３００の抽出及び送信を指示する。そして表示装置１００ｂは、画面３００のフレーム画像を抽出して情報端末３００に送信する。なお表示装置１００ｂは、フレーム画像の抽出及び送信の際にも映像の再生及び表示を継続する。
【００６７】
情報端末３００は、フレーム画像を受信すると、画面Ｐ２１０に当該フレーム画像を表示し、ユーザからのタッチ操作入力を受け付ける。そして情報端末３００は、当該画面Ｐ２１０に対する操作を受け付けると、画面Ｐ２１０の画像の中から当該操作を受けた位置の一定範囲内にある所定形状の画像を検出して、当該所定形状の画像内に含まれる文字を文字データとして抽出する。なおここで表示装置１００ｂは映像の再生及び表示を継続しており、再生中の映像の画面Ｐ３１０を表示する。
【００６８】
続いて情報端末３００は、抽出した文字データに基づいた検索要求をインターネットサーバに送信し、当該要求に応じてインターネットサーバから受信した情報を画面Ｐ２２０に表示する。ここで表示装置１００ｂは、前述の通り映像の再生及び表示を継続しており、再生中の映像の画面Ｐ３２０を表示する。
【００６９】
次に図１１を参照して表示装置１００ｂ及び情報端末３００による処理シーケンス例を説明する。まず表示装置１００ｂは映像の再生及び表示を行い（Ｓ６０１）、情報端末３００は、図１０に示した画面Ｐ２００のような操作画面を表示する（Ｓ６０２）。ここで情報端末３００が抽出指示ボタンＰ２０１への操作を受け付けると（Ｓ６０３のＹｅｓ）、情報端末３００は表示装置１００ｂにフレーム抽出指示を送信する（Ｓ６０４）。続いて表示装置１００ｂは、フレーム抽出指示を受けると、再生中の映像のフレーム画像を抽出して（Ｓ６０５）情報端末３００に送信する（Ｓ６０７）。
【００７０】
そして情報端末３００は、受信したフレーム画像を表示し（Ｓ６０７）、当該表示画像に対する操作入力を受けた場合（Ｓ６０８のＹｅｓ）、表示画像のうち当該操作入力に対応する位置の一定範囲内にある所定の形状の画像を抽出する（Ｓ６０９）。次に情報端末３００は、当該所定形状の画像から文字画像を抽出し（Ｓ６１０）、当該文字画像に含まれる文字を文字データに変換する（Ｓ６１１）。そして情報端末３００は、当該文字データを用いて検索を実行し（Ｓ６１２）、当該検索により得た情報を表示する（Ｓ６１３）。
【００７１】
なお図１１においては、情報端末３００がＳ６０９乃至Ｓ６１１の処理を実行するとして説明したが、これらの処理は表示装置１００ｂが実行してもよい。この場合に情報端末３００は、Ｓ６０８において表示画像に対する操作入力を受けた場合に、当該操作入力が表示画像の何れの位置に対応しているかを判別し、操作入力の位置情報を表示装置１００ｂに送信する。そして表示装置１００ｂは、Ｓ６０５で抽出したフレーム画像の中から、Ｓ６０９の処理と同様に、当該位置情報が示す位置の一定範囲内にある所定の形状の画像を抽出する。続いて表示装置１００ｂは、文字画像及び文字データを抽出して、文字データを情報端末３００に送信する。
【００７２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。例えば実施形態に係る文字抽出装置は、チューナを備え、ディスプレイに映像を出力する受信装置として実現されても良い。また、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００７３】
１００…表示装置、１０１…受信部、１０２…記憶部、１０３…録画再生制御部、１０４…デコード部、１０５…合成部、１０６…信号処理部、１０７…表示部、１０８…操作受付部、１０９…ＧＵＩ処理部、１１０…画像抽出部、１１１…文字抽出部、１１２…抽出文字データベース、１１３…検索部、１１４…通信部、２００…ポインティングデバイス、３００…情報端末、３０１…通信部、３０２…画像抽出部、３０３…文字抽出部、３０４…検索部、３０５…ＧＵＩ処理部、３０６…信号処理部、３０７…表示部、３０８…操作受付部、４００…ネットワーク
【特許請求の範囲】
【請求項１】
映像データを再生する再生手段と、
前記再生手段により再生された前記映像データを表示装置に出力する出力手段と、
前記映像データを用いて前記表示装置が表示する映像の何れかの位置に対応する外部入力を受け付ける受付手段と、
前記表示装置が表示する前記映像の中の、前記外部入力が対応する位置から一定範囲内にある第１形状の画像を抽出する画像抽出手段と、
前記抽出手段により抽出された前記画像から文字を抽出する文字抽出手段と
を備える文字抽出装置。
【請求項２】
前記画像抽出手段は、略矩形形状の前記画像を抽出する、請求項１記載の文字抽出装置。
【請求項３】
前記画像抽出手段は、一定のサイズの前記画像を抽出する、請求項１記載の文字抽出装置。
【請求項４】
前記画像抽出手段は、前記外部入力の位置から一定範囲内の左方向にある前記画像を抽出する、請求項１記載の文字抽出装置。
【請求項５】
前記出力手段は、前記外部入力が対応する位置を示す画像の映像データと、前記再生された映像データとを前記表示装置に出力する、請求項１記載の文字抽出装置。
【請求項６】
前記抽出手段により抽出された前記文字を用いて検索を実行する検索手段を更に備え、
前記出力手段は、前記検索により得られた検索情報についての映像データを前記表示装置に出力する、請求項１記載の文字抽出装置。
【請求項７】
前記出力手段は、再生された前記映像データと前記検索情報についての映像データとを共に前記表示装置に出力する、請求項１記載の文字抽出装置。
【請求項８】
抽出された前記文字を記憶する文字記憶手段を更に備える、請求項１記載の文字抽出装置。
【請求項９】
前記出力手段は、前記文字記憶手段に記憶された１以上の前記文字を示す映像データを前記表示装置に出力する、請求項８記載の文字抽出装置。
【請求項１０】
前記再生手段は、前記受付手段が前記外部入力とは異なる第２外部入力を受けた場合、前記映像データの再生を停止し、
前記受付手段は、前記映像データの再生が停止された後に前記外部入力を受け付ける、請求項１記載の文字抽出装置。
【請求項１１】
放送番組の映像データを受信する受信手段と、
受信された前記映像データを記憶装置に記憶させる映像記憶手段とを更に備え、
前記再生手段は、受信された前記映像データを再生し、
前記映像記憶手段は、前記再生手段が前記映像データの再生を停止した場合に、受信されている前記映像データを前記記憶装置に記憶させる、請求項１記載の文字抽出装置。
【請求項１２】
前記受付手段は、前記文字抽出装置にネットワークを経由して接続された外部装置からの前記外部入力を受け付ける、請求項１記載の文字抽出装置。
【請求項１３】
情報処理装置である第１装置及び第２装置とを備え、前記第１装置と前記第２装置とがネットワークにより接続された表示システムにおける表示方法であって、
前記第１装置が、
映像データを再生することと、
再生された前記映像データを用いて映像を表示することと、
前記第１装置又は前記第２装置が、
表示された前記映像の何れかの位置に対応する外部入力を受け付けることと、
表示された前記映像の中の、前記外部入力に対応する位置から一定範囲内にある第１形状の画像を抽出することと、
抽出された前記第１形状の画像から文字を抽出することと、
抽出された文字を用いて検索を実行することと、
前記第２装置が、
前記検索により得られた情報を表示することと
を備える表示方法。
【請求項１４】
前記第２装置が、前記外部入力を受け付けることと、
前記第１装置が、前記第２装置が前記第１外部入力を受け付けている際に、前記外部入力に対応する位置を示すカーソル画像を含まない前記映像を表示することと
を更に備える請求項１２記載の表示方法。
【請求項１５】
表示装置が表示する映像から文字を抽出する装置における文字抽出方法であって、
映像データを再生することと、
再生された前記映像データを前記表示装置に出力することと、
前記映像データを用いて前記表示装置が表示する前記映像の何れかの位置に対応する外部入力を受け付けることと、
前記表示装置が表示する前記映像の中の、前記外部入力が対応する位置から一定範囲内にある第１形状の画像を抽出することと、
抽出された前記第１形状の画像から文字を抽出することと
を備える文字抽出方法。
【請求項１】
映像データを再生する再生手段と、
前記再生手段により再生された前記映像データを表示装置に出力する出力手段と、
前記映像データを用いて前記表示装置が表示する映像の何れかの位置に対応する外部入力を受け付ける受付手段と、
前記表示装置が表示する前記映像の中の、前記外部入力が対応する位置から一定範囲内にある第１形状の画像を抽出する画像抽出手段と、
前記抽出手段により抽出された前記画像から文字を抽出する文字抽出手段と
を備える文字抽出装置。
【請求項２】
前記画像抽出手段は、略矩形形状の前記画像を抽出する、請求項１記載の文字抽出装置。
【請求項３】
前記画像抽出手段は、一定のサイズの前記画像を抽出する、請求項１記載の文字抽出装置。
【請求項４】
前記画像抽出手段は、前記外部入力の位置から一定範囲内の左方向にある前記画像を抽出する、請求項１記載の文字抽出装置。
【請求項５】
前記出力手段は、前記外部入力が対応する位置を示す画像の映像データと、前記再生された映像データとを前記表示装置に出力する、請求項１記載の文字抽出装置。
【請求項６】
前記抽出手段により抽出された前記文字を用いて検索を実行する検索手段を更に備え、
前記出力手段は、前記検索により得られた検索情報についての映像データを前記表示装置に出力する、請求項１記載の文字抽出装置。
【請求項７】
前記出力手段は、再生された前記映像データと前記検索情報についての映像データとを共に前記表示装置に出力する、請求項１記載の文字抽出装置。
【請求項８】
抽出された前記文字を記憶する文字記憶手段を更に備える、請求項１記載の文字抽出装置。
【請求項９】
前記出力手段は、前記文字記憶手段に記憶された１以上の前記文字を示す映像データを前記表示装置に出力する、請求項８記載の文字抽出装置。
【請求項１０】
前記再生手段は、前記受付手段が前記外部入力とは異なる第２外部入力を受けた場合、前記映像データの再生を停止し、
前記受付手段は、前記映像データの再生が停止された後に前記外部入力を受け付ける、請求項１記載の文字抽出装置。
【請求項１１】
放送番組の映像データを受信する受信手段と、
受信された前記映像データを記憶装置に記憶させる映像記憶手段とを更に備え、
前記再生手段は、受信された前記映像データを再生し、
前記映像記憶手段は、前記再生手段が前記映像データの再生を停止した場合に、受信されている前記映像データを前記記憶装置に記憶させる、請求項１記載の文字抽出装置。
【請求項１２】
前記受付手段は、前記文字抽出装置にネットワークを経由して接続された外部装置からの前記外部入力を受け付ける、請求項１記載の文字抽出装置。
【請求項１３】
情報処理装置である第１装置及び第２装置とを備え、前記第１装置と前記第２装置とがネットワークにより接続された表示システムにおける表示方法であって、
前記第１装置が、
映像データを再生することと、
再生された前記映像データを用いて映像を表示することと、
前記第１装置又は前記第２装置が、
表示された前記映像の何れかの位置に対応する外部入力を受け付けることと、
表示された前記映像の中の、前記外部入力に対応する位置から一定範囲内にある第１形状の画像を抽出することと、
抽出された前記第１形状の画像から文字を抽出することと、
抽出された文字を用いて検索を実行することと、
前記第２装置が、
前記検索により得られた情報を表示することと
を備える表示方法。
【請求項１４】
前記第２装置が、前記外部入力を受け付けることと、
前記第１装置が、前記第２装置が前記第１外部入力を受け付けている際に、前記外部入力に対応する位置を示すカーソル画像を含まない前記映像を表示することと
を更に備える請求項１２記載の表示方法。
【請求項１５】
表示装置が表示する映像から文字を抽出する装置における文字抽出方法であって、
映像データを再生することと、
再生された前記映像データを前記表示装置に出力することと、
前記映像データを用いて前記表示装置が表示する前記映像の何れかの位置に対応する外部入力を受け付けることと、
前記表示装置が表示する前記映像の中の、前記外部入力が対応する位置から一定範囲内にある第１形状の画像を抽出することと、
抽出された前記第１形状の画像から文字を抽出することと
を備える文字抽出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１６００２３（Ｐ２０１２−１６００２３Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１９２４３（Ｐ２０１１−１９２４３）
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]