画像処理装置、及び画像処理装置の制御方法
【課題】より利便性の高い画像処理装置、及び画像処理装置の制御方法を提供する。
【解決手段】一実施形態に係る画像処理装置は、複数の放送番組を同時に受信する受信手段と、前記受信手段に受信した複数の放送番組を同時に復元する復元手段と、前記復元された複数の放送番組の映像から順にキーワードを抽出するキーワード抽出手段と、前記復元手段により復元された複数の放送番組を同時に記憶し、前記キーワード抽出手段により抽出されたキーワードを前記各放送番組毎に記憶する記憶手段と、前記キーワード抽出手段によるキーワードを抽出する処理の処理間隔を前記放送番組毎に制御する制御手段と、を具備する。
【解決手段】一実施形態に係る画像処理装置は、複数の放送番組を同時に受信する受信手段と、前記受信手段に受信した複数の放送番組を同時に復元する復元手段と、前記復元された複数の放送番組の映像から順にキーワードを抽出するキーワード抽出手段と、前記復元手段により復元された複数の放送番組を同時に記憶し、前記キーワード抽出手段により抽出されたキーワードを前記各放送番組毎に記憶する記憶手段と、前記キーワード抽出手段によるキーワードを抽出する処理の処理間隔を前記放送番組毎に制御する制御手段と、を具備する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置、及び画像処理装置の制御方法に関する。
【背景技術】
【0002】
従来、映画、テレビ番組、またはゲームなどの映像コンテンツを再生することができる例えば画像処理装置などの電子機器が一般的に普及している。画像処理装置により再生するコンテンツには、種々の文字列が映像中に埋め込まれている場合がある。
【0003】
また、近年、複数の受信部及び復元部を備える画像処理装置が実用化されている。このような画像処理装置は、放送信号などを複数の受信部により受信し、複数のコンテンツを同時に復調することができる。これにより、画像処理装置は、複数のコンテンツを同時に録画することが出来る。
【0004】
また、近年、コンテンツを記録する記録媒体(ストレージ)が大容量化されている。これにより、長時間に亘ってコンテンツを録画することができる画像処理装置が実用化されている。また、の大容量のストレージと、複数の受信部及び復元部とを備え、長時間に亘って複数のコンテンツを録画することが出来る画像処理装置が実用化されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−297647号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記したような画像処理装置は、複数のコンテンツを同時に長時間に亘って録画する。この結果、録画されたコンテンツ(録画コンテンツ)の数が膨大になる。この為、画像処理装置を使用するユーザが録画コンテンツを確認しきれないという課題がある。
【0007】
そこで、より利便性の高い画像処理装置、及び画像処理装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
一実施形態に係る画像処理装置は、複数の放送番組を同時に受信する受信手段と、前記受信手段に受信した複数の放送番組を同時に復元する復元手段と、前記復元された複数の放送番組の映像から順にキーワードを抽出するキーワード抽出手段と、前記復元手段により復元された複数の放送番組を同時に記憶し、前記キーワード抽出手段により抽出されたキーワードを前記各放送番組毎に記憶する記憶手段と、前記キーワード抽出手段によるキーワードを抽出する処理の処理間隔を前記放送番組毎に制御する制御手段と、を具備する。
【図面の簡単な説明】
【0009】
【図1】図1は、一実施形態に係る画像処理装置について説明する為の図である。
【図2】図2は、一実施形態に係る画像処理装置について説明する為の図である。
【図3】図3は、一実施形態に係る画像処理装置について説明する為の図である。
【図4】図4は、一実施形態に係る画像処理装置について説明する為の図である。
【図5】図5は、一実施形態に係る画像処理装置について説明する為の図である。
【図6】図6は、一実施形態に係る画像処理装置について説明する為の図である。
【図7】図7は、一実施形態に係る画像処理装置について説明する為の図である。
【図8】図8は、一実施形態に係る画像処理装置について説明する為の図である。
【図9】図9は、一実施形態に係る画像処理装置について説明する為の図である。
【図10】図10は、一実施形態に係る画像処理装置について説明する為の図である。
【図11】図11は、一実施形態に係る画像処理装置について説明する為の図である。
【図12】図12は、一実施形態に係る画像処理装置について説明する為の図である。
【図13】図13は、一実施形態に係る画像処理装置について説明する為の図である。
【発明を実施するための形態】
【0010】
以下、図を参照しながら、一実施形態に係る画像処理装置、及び画像処理装置の制御方法について詳細に説明する。
【0011】
図1は、一実施形態に係る画像処理装置としての放送受信装置100の例を示す。
放送受信装置100は、映像を表示するディスプレイ(表示部400)が設けられる本体と、本体を自立可能な状態で支える脚部とを備える。
【0012】
また、放送受信装置100は、放送入力端子110、受信部111、復元部112、通信インターフェース114、音声処理部121、映像処理部131、表示処理部133、制御部150、操作入力部161、カードコネクタ164、USBコネクタ166、ディスクドライブ170、LANコネクタ171、電源制御部180、及びストレージ190を備える。また、放送受信装置100は、さらにスピーカ300及びディスプレイ400を備える。
【0013】
放送入力端子110は、例えばアンテナ200により受信されるディジタル放送信号が入力される入力端子である。アンテナ200は、例えば、地上ディジタル放送信号、BS(broadcasting satellite)ディジタル放送信号、及び/または、110度CS(communication satellite)ディジタル放送信号を受信する。即ち、放送入力端子110には、放送信号により供給される番組などのコンテンツが入力される。
【0014】
放送入力端子110は、受信したディジタル放送信号を受信部111に供給する。受信部111は、ディジタル放送信号用の受信部である。受信部111は、アンテナ200から供給されるディジタル放送信号のチューニング(選局)を行う。受信部111は、チューニングしたディジタル放送信号を復元部112に送信する。受信部111は、送信入力端子110または通信インターフェース114から供給される信号がアナログ信号である場合は、ディジタル信号に変換する。
【0015】
復元部112は、受信するディジタル放送信号の復調を行う。さらに、復元部112は、復調したディジタル放送信号(コンテンツ)に対して信号処理を施す。これにより、復元部112は、ディジタル放送信号から映像信号、音声信号、及びその他のデータ信号を復元する。例えば、復元部112は、ディジタル放送信号から映像信号、音声信号、及びその他のデータ信号などが重畳されたトランスポートストリーム(TS)を復元する。
【0016】
復元部112は、音声処理部121に音声信号を供給する。また、復元部112は、映像処理部131に映像信号を供給する。さらに、復元部信号処理部113は、制御部150にデータ信号を供給する。即ち、アンテナ200、受信部111、及び復元部112は、コンテンツを受信する受信手段として機能する。
【0017】
通信インターフェース114は、例えばHDMI(High Definition Multimedia Interface)(登録商標)端子、オーディオ入力端子、S映像端子、コンポーネント映像端子、D映像端子、D−Sub端子、及びDVI−I端子などのコンテンツを受信可能なインターフェースのうちのいずれか、または複数を備える。通信インターフェース114は、ディジタル映像信号、及びディジタル音声信号などが多重化されたコンテンツを他の機器から受信する。通信インターフェース114は、他の機器から受信したディジタル信号(コンテンツ)を受信部111に供給する。通信インターフェース114は、他の機器から受信したコンテンツを復元部112に供給する。即ち、通信インターフェース114は、コンテンツを受信する受信手段として機能する。
【0018】
復元部112は、通信インターフェース114から受信部111経由で供給されたコンテンツに信号処理を施す。例えば、復元部112は、ディジタル信号をディジタル映像信号とディジタル音声信号とデータ信号とに分離する。復元部112は、音声処理部121にディジタル音声信号を供給する。また、復元部112は、映像処理部131にディジタル映像信号を供給する。さらに、復元部112は、制御部150にコンテンツに関する他の情報を供給する。
【0019】
またさらに、復元部112は、制御部150の制御に基づいてコンテンツを後述するストレージ190に供給する。ストレージ190は、供給されたコンテンツを記憶する。これにより、放送受信装置100は、コンテンツを録画することができる。
【0020】
音声処理部121は、復元部112から受信したディジタル音声信号を、スピーカ300により再生可能なフォーマットの信号(オーディオ信号)に変換する。音声処理部121は、オーディオ信号をスピーカ300に供給する。スピーカ300は、供給されるオーディオ信号に基づいて音を再生する。
【0021】
映像処理部131は、復元部112から受信したディジタル映像信号を、ディスプレイ400で再生可能なフォーマットの映像信号に変換する。即ち、映像処理部131は、復元部112から受信した映像信号を、ディスプレイ400で再生可能なフォーマットの映像信号にデコード(再生)する。また、映像処理部131は、図示しないOSD処理部から供給されるOSD信号を映像信号に重畳する。映像処理部131は、映像信号を表示処理部133に出力する。
【0022】
OSD処理部は、復元部112から供給されるデータ信号、及び/または制御部150から供給される制御信号に基づいて、GUI(グラフィック ユーザ インタフェース)画面、字幕、時刻、または他の情報などを画面に重畳して表示する為のOSD信号を生成する。OSD処理部は、個別にモジュールとして放送受信装置100内に設けられていてもよいし、制御部150の機能として設けられていてもよい。
【0023】
表示処理部133は、例えば、制御部150からの制御に基づいて、受信した映像信号に対して色味、明るさ、シャープ、コントラスト、またはその他の画質調整処理を行う。表示処理部133は、画質調整を施した映像信号をディスプレイ400に供給する。ディスプレイ400は、供給される映像信号に基づいて映像を表示する。
【0024】
ディスプレイ400は、例えば、マトリクス状に配列された複数の画素を備える液晶表示パネルと、この液晶パネルを照明するバックライトとを備える液晶表示装置などを備える。ディスプレイ400は、放送受信装置100から供給される映像信号に基づいて映像を表示する。
【0025】
なお、放送受信装置100は、ディスプレイ400の代わりに、映像出力端子を備える構成であってもよい。また、放送受信装置100は、スピーカ300の代わりに、音声出力端子を備える構成であってもよい。この場合、放送受信装置100は、映像出力端子に接続される表示装置に映像信号を出力し、音声出力端子に接続されるスピーカに音声信号を出力する。これにより、放送受信装置100は、表示装置に映像を表示させ、スピーカから音声を出力させることができる。
【0026】
制御部150は、放送受信装置100の各部の動作を制御する制御手段として機能する。制御部150は、CPU151、ROM152、RAM153、及びEEPROM154などを備えている。制御部150は、操作入力部161から供給される操作信号に基づいて、種々の処理を行う。
【0027】
CPU151は、種々の演算処理を実行する演算素子などを備える。CPU151は、ROM152、またはEEPROM154などに記憶されているプログラムを実行することにより種々の機能を実現する。
【0028】
ROM152は、放送受信装置100を制御する為のプログラム、及び各種の機能を実現する為のプログラムなどを記憶する。CPU151は、操作入力部161から供給される操作信号に基づいて、ROM152に記憶されているプログラムを起動する。これにより、制御部150は、各部の動作を制御する。
【0029】
RAM153は、CPU151のワークメモリとして機能する。即ち、RAM153は、CPU151の演算結果、CPU151により読み込まれたデータなどを記憶する。
【0030】
EEPROM154は、各種の設定情報、及びプログラムなどを記憶する不揮発性メモリである。
【0031】
操作入力部161は、例えば、操作キー、キーボード、マウス、音声入力装置、タッチパッドまたは操作入力に応じて操作信号を生成する事ができる他の入力装置などを備える。また、操作入力部161は、例えば、リモートコントローラからの操作信号を受信するセンサなどを備える構成であってもよい。また、操作入力部162は、上記の入力装置とセンサとを備える構成であってもよい。即ち、操作入力部161は、操作信号を受け取る操作信号受信手段として機能する。
【0032】
操作入力部161は、入力された操作信号を制御部150に供給する。制御部150は、操作入力部161から供給された操作信号に基づいて、放送受信装置100に種々の処理を行わせる。
【0033】
なお、タッチパッドは、静電センサ、サーモセンサ、または他の方式に基づいて位置情報を生成するデバイスを含む。また、放送受信装置100がディスプレイ400を備える場合、操作入力部161は、ディスプレイ400と一体に形成されるタッチパネルなどを備える構成であってもよい。
【0034】
リモートコントローラは、ユーザの操作入力に基づいて操作信号を生成する。リモートコントローラは、生成した操作信号を赤外線通信により操作入力部161のセンサに送信する。なお、センサとリモートコントローラとは、電波などの他の無線通信により操作信号の送受信を行う構成であってもよい。
【0035】
カードコネクタ164は、例えば、動画コンテンツを記憶するメモリカード165と通信を行う為のインターフェースである。カードコネクタ164は、接続されるメモリカード165から動画のコンテンツデータを読み出し、制御部150に供給する。
【0036】
USBコネクタ166は、USB機器167と通信を行う為のインターフェースである。USBコネクタ166は、接続されるUSB機器167から供給される信号を制御部150に供給する。
【0037】
例えば、USB機器167がキーボードなどの操作入力機器である場合、USBコネクタ166は、操作信号をUSB機器167から受け取る。USBコネクタ166は、受け取った操作信号を制御部150に供給する。この場合、制御部150は、USBコネクタ166から供給される操作信号に基づいて種々の処理を実行する。
【0038】
また、例えば、USB機器167が動画のコンテンツデータを記憶する記憶装置である場合、USBコネクタ166は、コンテンツをUSB機器167から取得することができる。USBコネクタ166は、取得したコンテンツを制御部150に供給する。
【0039】
ディスクドライブ170は、例えば、コンパクトディスク(CD)、ディジタルバーサタイルディスク(DVD)、ブルーレイディスク(Blu−ray Disk(登録商標))、または動画のコンテンツデータを記録可能な他の光ディスクMを装着可能なドライブを有する。ディスクドライブ170は、装着される光ディスクMからコンテンツを読み出し、読み出したコンテンツを制御部150に供給する。
【0040】
LANコネクタ171は、放送受信装置100をネットワークに接続する為のインターフェースである。制御部150は、LANコネクタ171がLANケーブルまたは無線LANなどにより公衆回線に接続された場合、ネットワーク経由で種々のデータのダウンロード及びアップロードを行なう事ができる。
【0041】
電源制御部180は、放送受信装置100の各部への電力の供給を制御する。電源制御部180は、例えば、ACアダプタなどを介して商用電源500などから電力を受け取る。商用電源500は、交流の電力を電源制御部180に供給する。電源制御部180は、受け取った交流の電力を直流に変換し各部へ供給する。
【0042】
また、放送受信装置100は、さらに他のインターフェースを備えていても良い。インターフェースは、例えば、Serial−ATAなどである。放送受信装置100は、インターフェースにより接続される機器に記録されているコンテンツを取得し、再生することができる。また、放送受信装置100は、再生したオーディオ信号及び映像信号を、インターフェースにより接続される機器に出力することが出来る。
【0043】
また、放送受信装置100がインターフェースを介してネットワークに接続される場合、放送受信装置100は、ネットワーク上の動画のコンテンツデータを取得し、再生することができる。
【0044】
ストレージ190は、コンテンツなどを記憶する記憶装置である。ストレージ190は、例えば、ハードディスク(HDD)、ソリッドステイトドライブ(SSD)、または半導体メモリなどの大容量記憶装置を備える。また、ストレージ190は、USBコネクタ166、LANコネクタ171、通信インターフェース114、または他のインターフェースに接続された記憶装置により構成されていてもよい。
【0045】
上記したように、制御部150は、コンテンツを録画する場合、復元部112により復調されたコンテンツのデータをストレージ190に入力させる。さらに、制御部150は、コンテンツを記憶するストレージ190内のアドレスをストレージ190に指示する。ストレージ190は、制御部150により指示されたアドレスに復元部112から供給されたコンテンツを記憶する。
【0046】
なお、ストレージ190は、ディジタル放送信号から復元されたTSを記憶する構成であってもよいし、TSがAVI、MPEGまたは他の圧縮方式により圧縮された圧縮コンテンツを記憶する構成であってもよい。
【0047】
また、制御部150は、ストレージ190に記憶されているコンテンツを読み出し、再生させることができる。例えば、制御部150は、ストレージ190におけるアドレスをストレージ190に指示する。ストレージ190は、制御部150により指示されたアドレスからコンテンツを読み出す。ストレージ190は、読み出したコンテンツを音声処理部121、映像処理部131、及び制御部150などに供給する。これにより、放送受信装置100は、録画したコンテンツを再生することができる。
【0048】
なお、放送受信装置100は、受信部111及び復元部112をそれぞれ複数備える。これにより、放送受信装置100は、複数のコンテンツを同時に受信し、受信した複数のコンテンツを同時に復元することができる。これにより、放送受信装置100は、再生可能なコンテンツデータを同時に複数取得することが出来る。即ち、放送受信装置100は、複数のコンテンツを同時に録画することが出来る。
【0049】
図2は、制御部150の有する機能の例を示す。
図2に示されるように、制御部150は、上記のCPU151によりプログラムを実行することにより、種々の機能を実現することが出来る。例えば、制御部150は、文字領域抽出部1511、文字データ認識部1512、誤り訂正部1513、キーワード解析部1514、及び保存部1515を備える。さらに、制御部150は、検索部1521、リスト表示部1522、リスト選択部1523、及び再生部1524を備える。
【0050】
また、図3及び図4は、コンテンツを保存する処理の例を示す。
図3に示されるように、受信部111は、コンテンツを受信する。例えば、受信部111は、LANコネクタ171経由でインターネット(ネットワーク)からコンテンツを受信する。また、受信部111は、通信インターフェース114、USBコネクタ166、カードコネクタ164、または他のインターフェース経由でコンテンツを出力するコンテンツ出力装置からコンテンツを受信する。またさらに、受信部111は、放送入力端子110経由で受信したディジタル放送信号からコンテンツを受信する。
【0051】
受信部111は、受信したコンテンツを復元部112に供給する。なお、上記したように。放送受信装置100は、複数の受信部111及び複数の復元部112を備える。複数の受信部111は、複数のコンテンツを複数の復元部112に供給することができる。
【0052】
また、復元部112は、供給された複数のコンテンツを同時に復元し、再生可能な複数のコンテンツデータを取得することができる。即ち、復元部112は、複数のコンテンツの映像信号及び音声信号を同時に取得することができる。さらに、復元部112は、複数のコンテンツデータから複数のコンテンツに関するデータ信号を取得する。
【0053】
図4に示されるように、復元部112は、制御部150の制御に基づいて、コンテンツデータをストレージ190に出力する。これにより、ストレージ190は、複数のコンテンツを同時に録画することができる。
【0054】
また、復元部112は、制御部150の制御に基づいて、コンテンツデータを映像処理部131及び音声処理部121に出力する。これにより、放送受信装置100は、複数のコンテンツを同時に再生することができる。
【0055】
また、復元部112は、コンテンツの映像信号を制御部150の文字領域抽出部1511に出力する。なお、復元部112から文字領域抽出部1511に供給されるコンテンツの映像信号は、複数であってもよい。しかし、説明を簡略化する為、復元部112から文字領域抽出部1511に1つの映像信号を供給すると仮定して説明する。
【0056】
またさらに、復元部112は、コンテンツの音声信号及びデータ信号を制御部150に出力する。このデータ信号は、例えば、時刻を示すデータ、EPGに関するデータ、字幕などの文字データなどを含む。また、制御部150は、音声信号に基づいてシーン検出を行う。また、制御部150は、データ信号に含まれているデータに基づいてシーンを認識する構成であってもよい。
【0057】
文字領域抽出部1511は、映像信号(映像データ)を解析し、映像の中から文字が存在する領域(文字領域)を抜き出す。文字領域は、文字列を含むエリアであり、例えば、文字列の上下左右の座標情報を示す。文字領域抽出部1511は、文字領域の位置を示す情報(位置情報)を出力する。
【0058】
なお、文字領域抽出部1511は、如何なる手法により文字領域を検出する構成であってもよい。例えば、文字領域抽出部1511は、映像の輝度の変化の割合が一定以上である領域を文字領域として検出する。
【0059】
また、映像中に文字領域が存在しない場合、映像中に1つの文字領域が存在する場合、映像中に複数の文字領域が存在する場合、などがある。文字領域抽出部1511は、映像中に1つの文字領域が存在する場合、1つの文字領域の位置を示す情報(位置情報)を算出する。例えば、文字領域抽出部1511は、1つの文字領域の位置と、文字領域の大きさとを算出する。また、文字領域抽出部1511は、1つの文字領域の四角の座標を算出する構成であってもよい。
【0060】
文字領域抽出部1511は、映像中に複数の文字領域が存在する場合、各文字領域毎に位置情報を算出する。この場合、文字領域抽出部1511は、複数の文字領域の位置情報を出力する。
【0061】
文字データ認識部1512は、文字領域内の文字を認識する。即ち、文字データ認識部1512は、文字領域抽出部1511から出力された文字領域の位置情報に基づいて、文字領域を認識する。文字データ認識部1512は、文字領域内の映像に基づいて文字を認識する。
【0062】
なお、文字データ認識部1512は、如何なる手法により文字を認識する構成であってもよい。例えば、文字データ認識部1512は、Optical Character Reader(OCR)により映像中の文字を認識する。例えば、文字データ認識部1512は、SJIS、EUC、または他の文字コードなどで上記の文字を認識する。
【0063】
図5に示す例によると、文字データA及び文字データBが映像中に埋め込まれている。文字領域抽出部1511は、映像中の文字データAが埋め込まれている領域(文字領域A)と、文字データBが埋め込まれている領域(文字領域B)と、を抽出する。文字領域抽出部1511は、文字領域Aを示す位置情報と、文字領域Bを示す位置情報とを文字データ認識部1512に出力する。
【0064】
文字データ認識部1512は、文字領域A内の映像から、文字データAを認識する。また、文字データ認識部1512は、文字領域B内の映像から、文字データBを認識する。これにより、文字データ認識部1512は、映像中に埋め込まれている文字データを認識することが出来る。
【0065】
またさらに、文字データ認識部1512は、文字データのフォントの種類、文字の大きさ、文字数、及び文字色などを認識する構成であってもよい。例えば、文字データ認識部1512は、文字領域内の映像と内蔵されているフォントごとの辞書とに基づいて、文字データのフォント、文字の大きさを認識することができる。
【0066】
また、図6に示すように、コンテンツの映像中にノイズ、背景、映像の重なり、または他の要素などが含まれている場合がある。コンテンツの映像中に含まれているノイズ、背景、映像の重なり、または他の要素の影響を受けて、文字領域抽出部1511による文字領域の抽出及び文字データ認識部1512による文字データの認識に誤りが生じる場合がある。
【0067】
誤り訂正部1513は、文字領域の抽出結果、及び、文字データの認識結果を訂正する。映像に現れる文字(テロップ)は、複数フレームにわたって連続して同一位置に同一文字で表示される可能性が高い。そこで、誤り訂正部1513は、前後のフレームから検出された文字領域の抽出結果、及び、文字データの認識結果に基づいて、誤りを訂正する。
【0068】
例えば、文字領域を訂正する場合、誤り訂正部1513は、前後のフレームから検出された文字領域の位置及び大きさと、現フレームから検出された文字領域の位置及び大きさとが異なる場合、誤りが生じた可能性が高いと判断する。この場合、誤り訂正部1513は、例えば、前後のフレームから検出された文字領域と現フレームから検出された文字領域とが同一領域となるように文字領域の抽出結果を訂正する。
【0069】
例えば、誤り訂正部1513は、前後の数フレームから抽出された文字領域と、この文字領域の映像から認識された文字認識結果とを参照し、一致する結果の数に基づいて正しい文字領域と、文字データとを認識する。
【0070】
また、例えば、誤り訂正部1513は、各フレームから認識された文字認識結果としての文字データと、予めROM152またはEEPROM154などに記憶された辞書とを突合する。誤り訂正部1513は、突合結果に基づいて、正しい文字データを推定する構成であってもよい。
【0071】
また、制御部150は、文字領域抽出部1511の後段に文字領域を訂正する為の誤り訂正部1513が設けられ、文字データ認識部1512の後段に文字データの認識結果を訂正する為の誤り訂正部1513がそれぞれ設けられる構成であってもよい。
【0072】
キーワード解析部1514は、認識した文字データからキーワードを認識する。キーワード認識には、あらかじめ作成されたキーワード辞書1514aが用いられる。
【0073】
キーワード辞書1514aは、キーワード毎にジャンル(ジャンルを示すデータ)を関連付けて記憶する。なお、キーワード辞書1514aは、キーワード毎に複数のジャンルを関連付けて記憶する構成であってもよい。さらに、キーワード辞書1514aは、各キーワードの各ジャンル毎に設定されたジャンル関連度(例えばポイントなど)を有する。
【0074】
キーワード解析部1514は、まず、文字データ認識部1512により認識された文字データからキーワードを抽出する。例えば、キーワード解析部1514は、文字データを文法的に解析し、文字データから主語、述語、名詞、冠詞、助詞などを抽出する。即ち、キーワード解析部1514は、文字データを文節で区切り、区切った単語をキーワードとして抽出する。
【0075】
キーワード解析部1514は、抽出したキーワードと上記のキーワード辞書1514aとを照らし合わせて、文字データのジャンルを特定する。
【0076】
図7は、キーワード辞書1514aの例と、ジャンルの特定の例とを示す。図7に示されるように、キーワード毎に複数のジャンルが設定されている。さらに各ジャンルには、それぞれジャンル関連度が設定されている。文字データに1つのキーワードが含まれている場合、キーワード解析部1514は、そのキーワードに関連付けられているジャンルのうち、最もジャンル関連度が高いジャンルを文字データのジャンルとして特定する。
【0077】
また、文字データに複数のキーワードが含まれている場合、キーワード解析部1514は、各キーワードに関連付けられているジャンルのジャンル関連度を統合し、文字データのジャンルを特定する。例えば、キーワード解析部1514は、各キーワードに関連付けられているジャンルのジャンル関連度をジャンル毎に加算し、最も最もジャンル関連度が高いジャンルを文字データのジャンルとして特定する。
【0078】
図7の例によると、文字データ「消費税、国会で討議」は、「消費税」、「国会」、「討議」などのキーワードを含んでいる。「消費税」には、ジャンル「経済」のジャンル関連度として0.7、ジャンル「社会」のジャンル関連度として0.2、ジャンル「政治」のジャンル関連度として0.1がそれぞれ対応付けられている。また、「国会」には、ジャンル「政治」のジャンル関連度として0.6、ジャンル「社会」のジャンル関連度として0.3、ジャンル「経済」のジャンル関連度として0.1がそれぞれ対応付けられている。「討論」には、ジャンル「政治」のジャンル関連度として0.6、ジャンル「社会」のジャンル関連度として0.4がそれぞれ対応付けられている。
【0079】
この場合、文字データ「消費税、国会で討議」は、ジャンル「経済」のジャンル関連度が0.8であり、ジャンル「政治」のジャンル関連度が1.3であり、ジャンル「社会」のジャンル関連度が0.9となる。この結果、キーワード解析部1514は、ジャンル「政治」を文字データのジャンルとして特定する。
【0080】
またさらに、キーワード解析部1514は、主語、述語などのキーワード間の関係より重みづけする構成であってもよい。例えば、キーワード毎に主語、述語などの成分を特定し、特定した成分に応じて予め設定された係数を上記のジャンル関連度に乗算する。これにより、キーワード解析部1514は、キーワード毎の成分を考慮してジャンルを特定することができる。
【0081】
またさらに、キーワード解析部1514は、認識された文字データに基づいて学習を行うことにより、キーワード辞書1514aを更新することができる。なお、キーワード解析部1514は、如何なる学習方法によりキーワード辞書1514aを更新する構成であってもよい。
【0082】
保存部1515は、文字領域、文字データ(フォントの種類、文字の大きさ、文字数、文字色なども含む)、ジャンル、チャンネル、日時、及びフレーム番号(文字列の表示フレーム番号)などの付加情報をストレージ190に記憶する。保存部1515は、コンテンツと関連付けてこれらのデータを保存する。
【0083】
図8は、保存部1515により保存された付加情報の例を示す。画面上に現れる文字は、数秒間連続して同じ領域に固定的に表示される可能性が高い。この為、文字領域は、複数フレームにわたって同じ位置及び大きさになる可能性が高い。この傾向から、保存部1515は、過去フレームの文字領域と文字データを比較することで、同一の文字データを判別することができる。
【0084】
図8は、フレーム番号2乃至5に亘って文字領域「0,200,400,600」に文字データ「平均株価」が認識されたことを示す。またさらに、保存部1515は、文字データのフォントの種類、文字の大きさ、文字数、文字色、ジャンル、チャンネル、及び日時などの情報を各フレーム毎に関連付けて保存してもよい。
【0085】
また、保存部1515は、判別した同一の文字データを対応付けることにより、この文字データが検出された開始フレームと終了フレームとを認識することができる。保存部1515は、文字データ毎の開始フレーム及び終了フレームを併せてストレージ190に保存する構成であってもよい。
【0086】
即ち、制御部150は、連続した複数のフレームの同じ位置に文字領域が存在する場合、文字領域が表示されている最初のフレームと最後のフレームとを、開始フレーム及び終了フレームとしてそれぞれ認識する。またさらに、制御部150は、連続した複数のフレームの同じ位置に文字領域が存在し、且つ文字領域内の文字データが連続した複数のフレームに亘って一致する場合、文字領域が表示されている最初のフレームと最後のフレームとを特定する構成であってもよい。
【0087】
上記した処理により、制御部150は、コンテンツをストレージ190に録画し、さらにコンテンツの映像中に埋め込まれている文字データを単語毎にキーワードとして抽出し、コンテンツと併せてストレージ190に記憶することができる。さらに、制御部150は、文字領域、文字データ(フォントの種類、文字の大きさ、文字数、文字色なども含む)、ジャンル、チャンネル、日時、及びフレーム番号(文字列の表示フレーム番号)などの付加情報をストレージ190に記憶することができる。
【0088】
またさらに、制御部150は、復元部112により復元された複数のコンテンツに対して上記の処理を行うことにより、複数のコンテンツに含まれているキーワード、文字領域、文字データ(フォントの種類、文字の大きさ、文字数、文字色なども含む)、ジャンル、チャンネル、日時、及びフレーム番号(文字列の表示フレーム番号)などをコンテンツと併せてストレージ190に記憶することができる。
【0089】
図9は、複数のコンテンツに対する制御部150の処理の例を示す。図9は、チャンネル011、チャンネル041、チャンネル051、チャンネル061、チャンネル071、及びチャンネル081が復元部112により復元された例を示す。この場合、チャンネル011、チャンネル041、チャンネル051、チャンネル061、チャンネル071、及びチャンネル081のコンテンツの映像信号が同時に制御部150に供給される。
【0090】
制御部150は、文字領域の抽出、文字データの認識、誤り訂正、及びキーワードの解析などの処理を各コンテンツに対して順次行う。即ち、制御部150は、チャンネル011のコンテンツの1つのフレームの映像に対して処理を行い、次に、チャンネル041のコンテンツの1つのフレームの映像に対して処理を行う。制御部150は、このような処理をチャンネル081まで順に行い、チャンネル011の処理に戻る。
【0091】
制御部150は、この処理を繰り返し実行することにより、複数のチャンネルのコンテンツの映像に埋め込まれている文字データを抽出し、さらにこの文字データのジャンルを特定することができる。
【0092】
なお、上記したように、同一の文字データが同一の文字領域に連続して表示される可能性が高い。この為、全てのフレームに対して上記の処理が行われる必要はない。例えば、システムの処理負荷が高い場合、処理を実行するフレームの間隔を広くし、システムの処理負荷が低い場合、処理を実行するフレームの間隔を狭くすることにより、制御部150は、より効率よく処理を行なう事ができる。
【0093】
また、コンテンツのジャンルにより、映像中の文字の出現度合いが大きく異なる。例えば、ニュースなどでは、文字が画面上に多く現れるが、ドラマやアニメなどでは逆に文字は画面上にほとんど表れない。制御部150は、例えば、EPGに関する情報などを用いてコンテンツのジャンルを特定し、特定したジャンルに応じて上記の処理の頻度を変更する構成であってもよい。
【0094】
また例えば、制御部150は、また、過去のコンテンツの視聴履歴、過去のコンテンツの録画履歴、検索履歴、時間帯、または視聴率などに応じて上記の処理の頻度を変更する構成であってもよい。制御部150は、例えば、ネットワークに接続されるサーバなどから配信情報などを取得し、配信情報から視聴率、検索履歴などの情報を取得する。
【0095】
またさらに、制御部150は、過去のフレームの文字検出の傾向から処理を実行するフレームの間隔を変更する構成であってもよい。またさらに制御部150は、CM区間を検出し、CM区間における処理を実行するフレームの間隔を変更しても良い。
【0096】
即ち、制御部150は、放送受信装置100全体の処理負荷、コンテンツのジャンル、視聴履歴、録画履歴、検索履歴、時間帯、コンテンツの視聴率、過去のフレームからのキーワード抽出結果、及びCM区間の検出結果のうちの1つ、または複数の組み合わせに基づいて、キーワード抽出処理の処理間隔をコンテンツ毎に制御する。
【0097】
次に、コンテンツの検索及び再生について説明する。
上記したように操作入力部161は、ユーザによる操作入力を受け取り、制御部150に出力する。操作入力部161は、入力に基づいてキーワードを制御部150の検索部1521に入力する。
【0098】
図10は、ストレージ190に記憶されているコンテンツの検索画面である。検索部1521は、コンテンツの検索を実行する場合、図10に示される検索画面を生成し、ディスプレイ400に表示させる。
【0099】
検索画面には、キーワードを入力する為の入力欄が表示されている。検索部1521は、操作入力部161により入力されたキーワードをこの入力欄に表示させる。
【0100】
また、検索部1521は、LANコネクタ171経由でインターネット(ネットワーク)からキーワードを受信する構成であってもよい。また、検索部1521は、通信インターフェース114、USBコネクタ166、カードコネクタ164、または他のインターフェース経由で接続される機器から出力されたキーワードを受信する構成であってもよい。またさらに、検索部1521は、放送入力端子110経由で受信したディジタル放送信号からキーワードを受信する構成であってもよい。
【0101】
例えば、ネットワークに接続された複数の放送受信装置100により検索されたキーワードを取得し、取得したキーワード毎に数をカウント、カウントの上位のキーワードをリストとして放送受信装置100に配信するネットワーク上のサーバがある。検索部1521は、このようなサーバからキーワードを受信し、図10に示すようにリストとして選択可能な状態で検索画面に表示させることにより、注目されているキーワードをユーザに知らせることが出来る。
【0102】
即ち、検索部1521は、複数のキーワードを外部から受信し、受信した複数のキーワードをリストとして画面を生成する。検索部1521は、この画面上で選択されたキーワードを検索に用いる。
【0103】
なお、キーワードの数をカウントする期間を放送受信装置100からサーバに指定する構成であってもよい。また、検索部1521は、放送受信装置100に登録された性別、年齢、または好みの番組ジャンルなどのユーザ情報に基づいて、検索画面にリスト表示するキーワードを絞り込む構成であってもよい。
【0104】
この場合、検索部1521は、入力に基づいてジャンルを選択し、選択したキーワードを含み、且つ、選択したジャンルと一致するフレームを有するコンテンツをストレージ190から検索する。
【0105】
またさらに、検索部1521は、過去に入力されたキーワード、過去に視聴されたコンテンツ及びジャンル、並びに過去に録画されたコンテンツ及びジャンルなどに基づいて、検索画面にリスト表示するキーワードを絞り込む構成であってもよい。
【0106】
検索部1521は、上記したように、入力または選択に応じてキーワードを特定する。なお、検索部1521は、複数のキーワードを特定する構成であってもよい。例えば、検索部1521は、複数のキーワードのAND、またはORを条件として検索を行う。
【0107】
検索部1521は、入力または選択されたキーワード、チャンネル、日付、ジャンル、または他の検索条件などに基づいて、ストレージ190に記憶されているコンテンツから検索条件に該当するコンテンツを検索する。検索部1521は、検索結果をリスト表示部1522に出力する。なお、検索処理にはデータベース機能などを利用することができる。即ち、検索部1521は、保存部1515によりコンテンツと併せてストレージ190に記憶された付加情報を参照し、検索条件に該当するコンテンツを検索する。
【0108】
リスト表示部1522は、検索部1521から出力された検索結果に基づいて検索結果画面を生成し、ディスプレイ400に表示させる。例えば、リスト表示部1522は、図11に示すように、検索されたコンテンツのタイトル(コンテンツ名)をリスト表示する。この場合、リスト表示部1522は、日付時刻、キーワードの表示時間、キーワードの表示位置、キーワードの重要度、文字の種類、文字の大きさ、及びコンテンツの視聴率のうちの1つ、または複数の組み合わせに基づいてコンテンツ名の表示順をソートする。
【0109】
例えば、日付時刻順でソートする場合、リスト表示部1522は、例えばもっとも最近の時間のコンテンツから順にリスト表示する。
【0110】
また、リスト表示部1522は、キーワードを含む文字データ、チャンネル、キーワード表示時間、コンテンツまたはシーンのジャンル、キーワードにマッチしている度合いを示す数値などを検索結果画面に表示する構成であってもよい。
【0111】
例えば、コンテンツのコーナーを表す文字列は、画面の右上などに一定時間表示される可能性が高い。また、コメンテーターの紹介、及び発言などは、画面の下部中央に数秒表示される可能性が高い。そこで、リスト表示部1522は、キーワード表示時間でコンテンツ名の表示順をソートすることにより、コーナーとしてキーワードが取り上げられているシーンをユーザが探しやすいようにリスト表示する事ができる。
【0112】
なお、制御部150は、音声信号に基づいてシーン検出を行う。この場合、制御部150は、例えば、音声が一定区間無音となった場合、シーンが切り替わったと判断する。また、制御部150は、映像信号に基づいてシーン検出を行う構成であってもよい。例えば、制御部150は、映像の輝度のヒストグラムを算出し、一定以上変化した場合、シーンが切り替わったと判断する。
【0113】
また、キーワード辞書1514aに記憶されているキーワード毎に、予めポイントを設定しておくことにより、リスト表示部1522は、キーワードのポイントに応じたソートを行うことができる。ポイントは、例えば、有名度、重要度、主要度、出現度、などの判断により算出される。例えば、富士山は、高尾山より有名と判断しポイントを高く設定する。このようにキーワード毎にキーワード辞書1514aに設定されたポイントに基づいてソートすることにより、リスト表示部1522は、より細かな設定に応じてコンテンツの表示順を変更することが出来る。
【0114】
リスト選択部1523は、リスト表示部1522によりリスト表示された検索結果画面の表示中に入力された操作に応じてコンテンツを選択する。リスト選択部1523は、選択したコンテンツを特定する為の情報(リスト選択情報)を生成し、再生部1524に出力する。リスト選択情報は、例えば、コンテンツ名、コンテンツが記憶されているアドレス、コンテンツのレコード番号などを有する。
【0115】
さらに、リスト選択部1523は、検索部1521により特定されたキーワードを含むシーンの位置を示す情報(シーン情報)をリスト選択情報に付加する構成であってもよい。シーン情報は、例えばフレーム番号、時間、またはシーンなどのコンテンツ中における再生位置を示す情報を有する。
【0116】
再生部1524は、リスト選択情報が示すコンテンツをストレージ190から読み出し、再生する。また、シーン情報がリスト選択情報に付加されている場合、シーン情報が示す位置に基づいてコンテンツを再生する。
【0117】
例えば、再生部1524は、シーン情報が示す位置からコンテンツの再生を開始する。また、再生部1524は、シーン情報が示す位置より一定時刻前の位置からコンテンツの再生を開始する構成であってもよい。またさらに、再生部1524は、シーン情報が示す位置を含むシーンの先頭からコンテンツの再生を開始する構成であってもよい。またさらに、再生部1524は、シーン情報が示す位置を含むシーンの1つ前のシーンの先頭からコンテンツの再生を開始する構成であってもよい。
【0118】
図12は、コンテンツの再生の例を示す。図12は、キーワードに基づく検索結果として、コンテンツ「温泉めぐり」(コンテンツA)とコンテンツ「都心から近い温泉特集」(コンテンツB)とが抽出された例を示す。
【0119】
コンテンツAは、シーンA、B、C、及びDを有する。また、コンテンツAのシーンCは、検索に用いられたキーワードが映像中に埋め込まれたフレームを含む。
【0120】
また、コンテンツBは、シーンA、B、及びCを有する。また、コンテンツBのシーンBは、検索に用いられたキーワードが映像中に埋め込まれたフレームを含む。
【0121】
コンテンツA上の位置aは、キーワードが映像中に埋め込まれたフレームの位置を示す。コンテンツA上の位置bは、キーワードが映像中に埋め込まれたフレームを含むシーンの先頭を示す。コンテンツA上の位置cは、キーワードが映像中に埋め込まれたフレームを含むシーンの先頭より一定時刻前の位置を示す。コンテンツA上の位置dは、キーワードが映像中に埋め込まれたフレームを含むシーンより1つ前のシーンの先頭を示す。
【0122】
上記したように、再生部1524は、位置a乃至dのうちのいずれかの位置からコンテンツの再生を開始する。
【0123】
また、再生部1524は、キーワードを含むシーンの再生が完了した場合、他のコンテンツ中のキーワードを含むシーンを再生する構成であってもよい。
【0124】
例えば、図12に示されるように再生部1524は、コンテンツAのシーンCの再生が完了した場合、コンテンツBの再生を開始する。
【0125】
なお、コンテンツB上の位置eは、キーワードが映像中に埋め込まれたフレームの位置を示す。コンテンツB上の位置fは、キーワードが映像中に埋め込まれたフレームを含むシーンの先頭を示す。コンテンツB上の位置gは、キーワードが映像中に埋め込まれたフレームを含むシーンの先頭より一定時刻前の位置を示す。コンテンツB上の位置hは、キーワードが映像中に埋め込まれたフレームを含むシーンより1つ前のシーンの先頭を示す。
【0126】
再生部1524は、コンテンツAのシーンCの再生が完了した場合、コンテンツBの位置e乃至hのうちのいずれかの位置からコンテンツの再生を開始する。
【0127】
再生部1524は、コンテンツを再生する場合、ストレージ190に記憶されているコンテンツを読み出し、音声処理部121及び映像処理部131に入力させる。音声処理部121及び映像処理部131は、上記したようにコンテンツのデータからスピーカ300及びディスプレイ400により再生可能な音声信号及び映像信号を復号し、スピーカ300及びディスプレイ400にそれぞれ出力する。これにより、放送受信装置100は、コンテンツをユーザが視聴可能な状態で再生することが出来る。
【0128】
図13は、コンテンツを再生する場合の表示画面の例を示す。
放送受信装置100は、再生画面1301を生成し、ディスプレイ400に出力する。放送受信装置100は、表示ウィンドウ1302、コンテンツ情報1303、及びタイムバー1304などを再生画面1301に表示する。
【0129】
表示ウィンドウ1302は、再生されたコンテンツの映像が表示されるウィンドウである。コンテンツ情報1303は、コンテンツのコンテンツ名、日時、チャンネル、または他の情報などの表示である。タイムバー1304は、コンテンツ中における現時点での再生位置を示す表示である。
【0130】
タイムバー1304は、上記した方法により検出されたシーンの位置を示す表示などを有する。またさらに、タイムバー1304は、キーワードが映像中に埋め込まれたフレームを含むシーンを特定して表示する吹き出し1305などを表示する。吹き出し1305内には、上記の検索に用いられたキーワードが表示される。
【0131】
吹き出し1305は、例えば、キーワードが映像中に埋め込まれたフレームの位置に表示される。また、例えば、吹き出し1305は、キーワードが映像中に埋め込まれたフレームを含むシーンの先頭に表示される。これにより、放送受信装置100は、ユーザにキーワードが映像中に埋め込まれたフレームまたはシーンの位置を容易に確認させることができる。
【0132】
また、表示ウィンドウ1302にキーワードが表示されている場合、放送受信装置100は、映像中のキーワードが写り込んでいる位置、即ち、文字領域抽出部1511により抽出された文字領域を強調するオブジェクト1306を表示ウィンドウ1302内に表示させてもよい。オブジェクト1306は、例えば、文字領域を囲う実線枠、点線枠、下線、または他の方法により、文字領域、またはキーワードを強調する。これにより、放送受信装置100は、ユーザにキーワードを容易に確認させることができる。
【0133】
またさらに、放送受信装置100は、キーワードが映像中に埋め込まれたフレームが表示されるまでの時間をリアルタイムで再生画面1301内に表示する構成であってもよい。これにより、放送受信装置100は、ユーザにキーワードが映像中に埋め込まれたフレームまでの時間を容易に確認させることができる。
【0134】
上記したように、放送受信装置100は、複数のコンテンツの録画時に、各コンテンツの映像中に埋め込まれているキーワードを抽出し、抽出したキーワードを各コンテンツに対応付けて記録する。この場合、放送受信装置の制御部150は、複数のコンテンツのジャンル、過去のコンテンツの視聴履歴、過去のコンテンツの録画履歴、検索履歴、時間帯、視聴率、CM区間か否か、などに基づいて、キーワードを抽出するフレームの間隔を制御する。このようにコンテンツに応じて処理間隔を制御することにより、制御部150は、キーワードの抽出漏れを防ぎ、且つ、処理の負担の軽減を実現することが出来る。
【0135】
また、制御部150は、文字データを抽出したフレームの前後のフレームから抽出された文字領域及び文字データを用いて誤り訂正を行うことにより、より正確にキーワードを抽出することができる。
【0136】
またさらに、制御部150は、予め設定されたキーワード辞書1514aを用いてキーワード毎にジャンルを特定する。これにより、制御部150は、キーワードにさらにジャンルを示す情報を付加することができる。
【0137】
制御部150は、ユーザにより指定されたキーワード、ジャンル、チャンネル、日付、または他の検索条件などに基づいて、ストレージ190に記憶されているコンテンツから検索条件に該当するコンテンツを検索する。制御部150は、検索結果に基づいてリストをディスプレイ400に表示させる。これにより、放送受信装置100は、ユーザの要望に沿ったコンテンツを検索し、一覧としてユーザに確認させることができる。
【0138】
この結果、より利便性の高い画像処理装置、及び画像処理装置の制御方法を提供することができる。
【0139】
なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【0140】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0141】
100…放送受信装置、110…放送入力端子、111…受信部、112…復元部、114…通信インターフェース、121…音声処理部、131…映像処理部、133…表示処理部、150…制御部、151…CPU、152…ROM、153…RAM、154…EEPROM、161…操作入力部、164…カードコネクタ、165…メモリカード、166…USBコネクタ、167…USB機器、170…ディスクドライブ、171…LANコネクタ、180…電源制御部、190…ストレージ、200…アンテナ、300…スピーカ、400…ディスプレイ、500…商用電源、1511…文字領域抽出部、1512…文字データ認識部、1513…誤り訂正部、1514…キーワード解析部、1514a…キーワード辞書、1515…保存部、1521…検索部、1522…リスト表示部、1523…リスト選択部、1524…再生部。
【技術分野】
【0001】
本発明の実施形態は、画像処理装置、及び画像処理装置の制御方法に関する。
【背景技術】
【0002】
従来、映画、テレビ番組、またはゲームなどの映像コンテンツを再生することができる例えば画像処理装置などの電子機器が一般的に普及している。画像処理装置により再生するコンテンツには、種々の文字列が映像中に埋め込まれている場合がある。
【0003】
また、近年、複数の受信部及び復元部を備える画像処理装置が実用化されている。このような画像処理装置は、放送信号などを複数の受信部により受信し、複数のコンテンツを同時に復調することができる。これにより、画像処理装置は、複数のコンテンツを同時に録画することが出来る。
【0004】
また、近年、コンテンツを記録する記録媒体(ストレージ)が大容量化されている。これにより、長時間に亘ってコンテンツを録画することができる画像処理装置が実用化されている。また、の大容量のストレージと、複数の受信部及び復元部とを備え、長時間に亘って複数のコンテンツを録画することが出来る画像処理装置が実用化されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−297647号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記したような画像処理装置は、複数のコンテンツを同時に長時間に亘って録画する。この結果、録画されたコンテンツ(録画コンテンツ)の数が膨大になる。この為、画像処理装置を使用するユーザが録画コンテンツを確認しきれないという課題がある。
【0007】
そこで、より利便性の高い画像処理装置、及び画像処理装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
一実施形態に係る画像処理装置は、複数の放送番組を同時に受信する受信手段と、前記受信手段に受信した複数の放送番組を同時に復元する復元手段と、前記復元された複数の放送番組の映像から順にキーワードを抽出するキーワード抽出手段と、前記復元手段により復元された複数の放送番組を同時に記憶し、前記キーワード抽出手段により抽出されたキーワードを前記各放送番組毎に記憶する記憶手段と、前記キーワード抽出手段によるキーワードを抽出する処理の処理間隔を前記放送番組毎に制御する制御手段と、を具備する。
【図面の簡単な説明】
【0009】
【図1】図1は、一実施形態に係る画像処理装置について説明する為の図である。
【図2】図2は、一実施形態に係る画像処理装置について説明する為の図である。
【図3】図3は、一実施形態に係る画像処理装置について説明する為の図である。
【図4】図4は、一実施形態に係る画像処理装置について説明する為の図である。
【図5】図5は、一実施形態に係る画像処理装置について説明する為の図である。
【図6】図6は、一実施形態に係る画像処理装置について説明する為の図である。
【図7】図7は、一実施形態に係る画像処理装置について説明する為の図である。
【図8】図8は、一実施形態に係る画像処理装置について説明する為の図である。
【図9】図9は、一実施形態に係る画像処理装置について説明する為の図である。
【図10】図10は、一実施形態に係る画像処理装置について説明する為の図である。
【図11】図11は、一実施形態に係る画像処理装置について説明する為の図である。
【図12】図12は、一実施形態に係る画像処理装置について説明する為の図である。
【図13】図13は、一実施形態に係る画像処理装置について説明する為の図である。
【発明を実施するための形態】
【0010】
以下、図を参照しながら、一実施形態に係る画像処理装置、及び画像処理装置の制御方法について詳細に説明する。
【0011】
図1は、一実施形態に係る画像処理装置としての放送受信装置100の例を示す。
放送受信装置100は、映像を表示するディスプレイ(表示部400)が設けられる本体と、本体を自立可能な状態で支える脚部とを備える。
【0012】
また、放送受信装置100は、放送入力端子110、受信部111、復元部112、通信インターフェース114、音声処理部121、映像処理部131、表示処理部133、制御部150、操作入力部161、カードコネクタ164、USBコネクタ166、ディスクドライブ170、LANコネクタ171、電源制御部180、及びストレージ190を備える。また、放送受信装置100は、さらにスピーカ300及びディスプレイ400を備える。
【0013】
放送入力端子110は、例えばアンテナ200により受信されるディジタル放送信号が入力される入力端子である。アンテナ200は、例えば、地上ディジタル放送信号、BS(broadcasting satellite)ディジタル放送信号、及び/または、110度CS(communication satellite)ディジタル放送信号を受信する。即ち、放送入力端子110には、放送信号により供給される番組などのコンテンツが入力される。
【0014】
放送入力端子110は、受信したディジタル放送信号を受信部111に供給する。受信部111は、ディジタル放送信号用の受信部である。受信部111は、アンテナ200から供給されるディジタル放送信号のチューニング(選局)を行う。受信部111は、チューニングしたディジタル放送信号を復元部112に送信する。受信部111は、送信入力端子110または通信インターフェース114から供給される信号がアナログ信号である場合は、ディジタル信号に変換する。
【0015】
復元部112は、受信するディジタル放送信号の復調を行う。さらに、復元部112は、復調したディジタル放送信号(コンテンツ)に対して信号処理を施す。これにより、復元部112は、ディジタル放送信号から映像信号、音声信号、及びその他のデータ信号を復元する。例えば、復元部112は、ディジタル放送信号から映像信号、音声信号、及びその他のデータ信号などが重畳されたトランスポートストリーム(TS)を復元する。
【0016】
復元部112は、音声処理部121に音声信号を供給する。また、復元部112は、映像処理部131に映像信号を供給する。さらに、復元部信号処理部113は、制御部150にデータ信号を供給する。即ち、アンテナ200、受信部111、及び復元部112は、コンテンツを受信する受信手段として機能する。
【0017】
通信インターフェース114は、例えばHDMI(High Definition Multimedia Interface)(登録商標)端子、オーディオ入力端子、S映像端子、コンポーネント映像端子、D映像端子、D−Sub端子、及びDVI−I端子などのコンテンツを受信可能なインターフェースのうちのいずれか、または複数を備える。通信インターフェース114は、ディジタル映像信号、及びディジタル音声信号などが多重化されたコンテンツを他の機器から受信する。通信インターフェース114は、他の機器から受信したディジタル信号(コンテンツ)を受信部111に供給する。通信インターフェース114は、他の機器から受信したコンテンツを復元部112に供給する。即ち、通信インターフェース114は、コンテンツを受信する受信手段として機能する。
【0018】
復元部112は、通信インターフェース114から受信部111経由で供給されたコンテンツに信号処理を施す。例えば、復元部112は、ディジタル信号をディジタル映像信号とディジタル音声信号とデータ信号とに分離する。復元部112は、音声処理部121にディジタル音声信号を供給する。また、復元部112は、映像処理部131にディジタル映像信号を供給する。さらに、復元部112は、制御部150にコンテンツに関する他の情報を供給する。
【0019】
またさらに、復元部112は、制御部150の制御に基づいてコンテンツを後述するストレージ190に供給する。ストレージ190は、供給されたコンテンツを記憶する。これにより、放送受信装置100は、コンテンツを録画することができる。
【0020】
音声処理部121は、復元部112から受信したディジタル音声信号を、スピーカ300により再生可能なフォーマットの信号(オーディオ信号)に変換する。音声処理部121は、オーディオ信号をスピーカ300に供給する。スピーカ300は、供給されるオーディオ信号に基づいて音を再生する。
【0021】
映像処理部131は、復元部112から受信したディジタル映像信号を、ディスプレイ400で再生可能なフォーマットの映像信号に変換する。即ち、映像処理部131は、復元部112から受信した映像信号を、ディスプレイ400で再生可能なフォーマットの映像信号にデコード(再生)する。また、映像処理部131は、図示しないOSD処理部から供給されるOSD信号を映像信号に重畳する。映像処理部131は、映像信号を表示処理部133に出力する。
【0022】
OSD処理部は、復元部112から供給されるデータ信号、及び/または制御部150から供給される制御信号に基づいて、GUI(グラフィック ユーザ インタフェース)画面、字幕、時刻、または他の情報などを画面に重畳して表示する為のOSD信号を生成する。OSD処理部は、個別にモジュールとして放送受信装置100内に設けられていてもよいし、制御部150の機能として設けられていてもよい。
【0023】
表示処理部133は、例えば、制御部150からの制御に基づいて、受信した映像信号に対して色味、明るさ、シャープ、コントラスト、またはその他の画質調整処理を行う。表示処理部133は、画質調整を施した映像信号をディスプレイ400に供給する。ディスプレイ400は、供給される映像信号に基づいて映像を表示する。
【0024】
ディスプレイ400は、例えば、マトリクス状に配列された複数の画素を備える液晶表示パネルと、この液晶パネルを照明するバックライトとを備える液晶表示装置などを備える。ディスプレイ400は、放送受信装置100から供給される映像信号に基づいて映像を表示する。
【0025】
なお、放送受信装置100は、ディスプレイ400の代わりに、映像出力端子を備える構成であってもよい。また、放送受信装置100は、スピーカ300の代わりに、音声出力端子を備える構成であってもよい。この場合、放送受信装置100は、映像出力端子に接続される表示装置に映像信号を出力し、音声出力端子に接続されるスピーカに音声信号を出力する。これにより、放送受信装置100は、表示装置に映像を表示させ、スピーカから音声を出力させることができる。
【0026】
制御部150は、放送受信装置100の各部の動作を制御する制御手段として機能する。制御部150は、CPU151、ROM152、RAM153、及びEEPROM154などを備えている。制御部150は、操作入力部161から供給される操作信号に基づいて、種々の処理を行う。
【0027】
CPU151は、種々の演算処理を実行する演算素子などを備える。CPU151は、ROM152、またはEEPROM154などに記憶されているプログラムを実行することにより種々の機能を実現する。
【0028】
ROM152は、放送受信装置100を制御する為のプログラム、及び各種の機能を実現する為のプログラムなどを記憶する。CPU151は、操作入力部161から供給される操作信号に基づいて、ROM152に記憶されているプログラムを起動する。これにより、制御部150は、各部の動作を制御する。
【0029】
RAM153は、CPU151のワークメモリとして機能する。即ち、RAM153は、CPU151の演算結果、CPU151により読み込まれたデータなどを記憶する。
【0030】
EEPROM154は、各種の設定情報、及びプログラムなどを記憶する不揮発性メモリである。
【0031】
操作入力部161は、例えば、操作キー、キーボード、マウス、音声入力装置、タッチパッドまたは操作入力に応じて操作信号を生成する事ができる他の入力装置などを備える。また、操作入力部161は、例えば、リモートコントローラからの操作信号を受信するセンサなどを備える構成であってもよい。また、操作入力部162は、上記の入力装置とセンサとを備える構成であってもよい。即ち、操作入力部161は、操作信号を受け取る操作信号受信手段として機能する。
【0032】
操作入力部161は、入力された操作信号を制御部150に供給する。制御部150は、操作入力部161から供給された操作信号に基づいて、放送受信装置100に種々の処理を行わせる。
【0033】
なお、タッチパッドは、静電センサ、サーモセンサ、または他の方式に基づいて位置情報を生成するデバイスを含む。また、放送受信装置100がディスプレイ400を備える場合、操作入力部161は、ディスプレイ400と一体に形成されるタッチパネルなどを備える構成であってもよい。
【0034】
リモートコントローラは、ユーザの操作入力に基づいて操作信号を生成する。リモートコントローラは、生成した操作信号を赤外線通信により操作入力部161のセンサに送信する。なお、センサとリモートコントローラとは、電波などの他の無線通信により操作信号の送受信を行う構成であってもよい。
【0035】
カードコネクタ164は、例えば、動画コンテンツを記憶するメモリカード165と通信を行う為のインターフェースである。カードコネクタ164は、接続されるメモリカード165から動画のコンテンツデータを読み出し、制御部150に供給する。
【0036】
USBコネクタ166は、USB機器167と通信を行う為のインターフェースである。USBコネクタ166は、接続されるUSB機器167から供給される信号を制御部150に供給する。
【0037】
例えば、USB機器167がキーボードなどの操作入力機器である場合、USBコネクタ166は、操作信号をUSB機器167から受け取る。USBコネクタ166は、受け取った操作信号を制御部150に供給する。この場合、制御部150は、USBコネクタ166から供給される操作信号に基づいて種々の処理を実行する。
【0038】
また、例えば、USB機器167が動画のコンテンツデータを記憶する記憶装置である場合、USBコネクタ166は、コンテンツをUSB機器167から取得することができる。USBコネクタ166は、取得したコンテンツを制御部150に供給する。
【0039】
ディスクドライブ170は、例えば、コンパクトディスク(CD)、ディジタルバーサタイルディスク(DVD)、ブルーレイディスク(Blu−ray Disk(登録商標))、または動画のコンテンツデータを記録可能な他の光ディスクMを装着可能なドライブを有する。ディスクドライブ170は、装着される光ディスクMからコンテンツを読み出し、読み出したコンテンツを制御部150に供給する。
【0040】
LANコネクタ171は、放送受信装置100をネットワークに接続する為のインターフェースである。制御部150は、LANコネクタ171がLANケーブルまたは無線LANなどにより公衆回線に接続された場合、ネットワーク経由で種々のデータのダウンロード及びアップロードを行なう事ができる。
【0041】
電源制御部180は、放送受信装置100の各部への電力の供給を制御する。電源制御部180は、例えば、ACアダプタなどを介して商用電源500などから電力を受け取る。商用電源500は、交流の電力を電源制御部180に供給する。電源制御部180は、受け取った交流の電力を直流に変換し各部へ供給する。
【0042】
また、放送受信装置100は、さらに他のインターフェースを備えていても良い。インターフェースは、例えば、Serial−ATAなどである。放送受信装置100は、インターフェースにより接続される機器に記録されているコンテンツを取得し、再生することができる。また、放送受信装置100は、再生したオーディオ信号及び映像信号を、インターフェースにより接続される機器に出力することが出来る。
【0043】
また、放送受信装置100がインターフェースを介してネットワークに接続される場合、放送受信装置100は、ネットワーク上の動画のコンテンツデータを取得し、再生することができる。
【0044】
ストレージ190は、コンテンツなどを記憶する記憶装置である。ストレージ190は、例えば、ハードディスク(HDD)、ソリッドステイトドライブ(SSD)、または半導体メモリなどの大容量記憶装置を備える。また、ストレージ190は、USBコネクタ166、LANコネクタ171、通信インターフェース114、または他のインターフェースに接続された記憶装置により構成されていてもよい。
【0045】
上記したように、制御部150は、コンテンツを録画する場合、復元部112により復調されたコンテンツのデータをストレージ190に入力させる。さらに、制御部150は、コンテンツを記憶するストレージ190内のアドレスをストレージ190に指示する。ストレージ190は、制御部150により指示されたアドレスに復元部112から供給されたコンテンツを記憶する。
【0046】
なお、ストレージ190は、ディジタル放送信号から復元されたTSを記憶する構成であってもよいし、TSがAVI、MPEGまたは他の圧縮方式により圧縮された圧縮コンテンツを記憶する構成であってもよい。
【0047】
また、制御部150は、ストレージ190に記憶されているコンテンツを読み出し、再生させることができる。例えば、制御部150は、ストレージ190におけるアドレスをストレージ190に指示する。ストレージ190は、制御部150により指示されたアドレスからコンテンツを読み出す。ストレージ190は、読み出したコンテンツを音声処理部121、映像処理部131、及び制御部150などに供給する。これにより、放送受信装置100は、録画したコンテンツを再生することができる。
【0048】
なお、放送受信装置100は、受信部111及び復元部112をそれぞれ複数備える。これにより、放送受信装置100は、複数のコンテンツを同時に受信し、受信した複数のコンテンツを同時に復元することができる。これにより、放送受信装置100は、再生可能なコンテンツデータを同時に複数取得することが出来る。即ち、放送受信装置100は、複数のコンテンツを同時に録画することが出来る。
【0049】
図2は、制御部150の有する機能の例を示す。
図2に示されるように、制御部150は、上記のCPU151によりプログラムを実行することにより、種々の機能を実現することが出来る。例えば、制御部150は、文字領域抽出部1511、文字データ認識部1512、誤り訂正部1513、キーワード解析部1514、及び保存部1515を備える。さらに、制御部150は、検索部1521、リスト表示部1522、リスト選択部1523、及び再生部1524を備える。
【0050】
また、図3及び図4は、コンテンツを保存する処理の例を示す。
図3に示されるように、受信部111は、コンテンツを受信する。例えば、受信部111は、LANコネクタ171経由でインターネット(ネットワーク)からコンテンツを受信する。また、受信部111は、通信インターフェース114、USBコネクタ166、カードコネクタ164、または他のインターフェース経由でコンテンツを出力するコンテンツ出力装置からコンテンツを受信する。またさらに、受信部111は、放送入力端子110経由で受信したディジタル放送信号からコンテンツを受信する。
【0051】
受信部111は、受信したコンテンツを復元部112に供給する。なお、上記したように。放送受信装置100は、複数の受信部111及び複数の復元部112を備える。複数の受信部111は、複数のコンテンツを複数の復元部112に供給することができる。
【0052】
また、復元部112は、供給された複数のコンテンツを同時に復元し、再生可能な複数のコンテンツデータを取得することができる。即ち、復元部112は、複数のコンテンツの映像信号及び音声信号を同時に取得することができる。さらに、復元部112は、複数のコンテンツデータから複数のコンテンツに関するデータ信号を取得する。
【0053】
図4に示されるように、復元部112は、制御部150の制御に基づいて、コンテンツデータをストレージ190に出力する。これにより、ストレージ190は、複数のコンテンツを同時に録画することができる。
【0054】
また、復元部112は、制御部150の制御に基づいて、コンテンツデータを映像処理部131及び音声処理部121に出力する。これにより、放送受信装置100は、複数のコンテンツを同時に再生することができる。
【0055】
また、復元部112は、コンテンツの映像信号を制御部150の文字領域抽出部1511に出力する。なお、復元部112から文字領域抽出部1511に供給されるコンテンツの映像信号は、複数であってもよい。しかし、説明を簡略化する為、復元部112から文字領域抽出部1511に1つの映像信号を供給すると仮定して説明する。
【0056】
またさらに、復元部112は、コンテンツの音声信号及びデータ信号を制御部150に出力する。このデータ信号は、例えば、時刻を示すデータ、EPGに関するデータ、字幕などの文字データなどを含む。また、制御部150は、音声信号に基づいてシーン検出を行う。また、制御部150は、データ信号に含まれているデータに基づいてシーンを認識する構成であってもよい。
【0057】
文字領域抽出部1511は、映像信号(映像データ)を解析し、映像の中から文字が存在する領域(文字領域)を抜き出す。文字領域は、文字列を含むエリアであり、例えば、文字列の上下左右の座標情報を示す。文字領域抽出部1511は、文字領域の位置を示す情報(位置情報)を出力する。
【0058】
なお、文字領域抽出部1511は、如何なる手法により文字領域を検出する構成であってもよい。例えば、文字領域抽出部1511は、映像の輝度の変化の割合が一定以上である領域を文字領域として検出する。
【0059】
また、映像中に文字領域が存在しない場合、映像中に1つの文字領域が存在する場合、映像中に複数の文字領域が存在する場合、などがある。文字領域抽出部1511は、映像中に1つの文字領域が存在する場合、1つの文字領域の位置を示す情報(位置情報)を算出する。例えば、文字領域抽出部1511は、1つの文字領域の位置と、文字領域の大きさとを算出する。また、文字領域抽出部1511は、1つの文字領域の四角の座標を算出する構成であってもよい。
【0060】
文字領域抽出部1511は、映像中に複数の文字領域が存在する場合、各文字領域毎に位置情報を算出する。この場合、文字領域抽出部1511は、複数の文字領域の位置情報を出力する。
【0061】
文字データ認識部1512は、文字領域内の文字を認識する。即ち、文字データ認識部1512は、文字領域抽出部1511から出力された文字領域の位置情報に基づいて、文字領域を認識する。文字データ認識部1512は、文字領域内の映像に基づいて文字を認識する。
【0062】
なお、文字データ認識部1512は、如何なる手法により文字を認識する構成であってもよい。例えば、文字データ認識部1512は、Optical Character Reader(OCR)により映像中の文字を認識する。例えば、文字データ認識部1512は、SJIS、EUC、または他の文字コードなどで上記の文字を認識する。
【0063】
図5に示す例によると、文字データA及び文字データBが映像中に埋め込まれている。文字領域抽出部1511は、映像中の文字データAが埋め込まれている領域(文字領域A)と、文字データBが埋め込まれている領域(文字領域B)と、を抽出する。文字領域抽出部1511は、文字領域Aを示す位置情報と、文字領域Bを示す位置情報とを文字データ認識部1512に出力する。
【0064】
文字データ認識部1512は、文字領域A内の映像から、文字データAを認識する。また、文字データ認識部1512は、文字領域B内の映像から、文字データBを認識する。これにより、文字データ認識部1512は、映像中に埋め込まれている文字データを認識することが出来る。
【0065】
またさらに、文字データ認識部1512は、文字データのフォントの種類、文字の大きさ、文字数、及び文字色などを認識する構成であってもよい。例えば、文字データ認識部1512は、文字領域内の映像と内蔵されているフォントごとの辞書とに基づいて、文字データのフォント、文字の大きさを認識することができる。
【0066】
また、図6に示すように、コンテンツの映像中にノイズ、背景、映像の重なり、または他の要素などが含まれている場合がある。コンテンツの映像中に含まれているノイズ、背景、映像の重なり、または他の要素の影響を受けて、文字領域抽出部1511による文字領域の抽出及び文字データ認識部1512による文字データの認識に誤りが生じる場合がある。
【0067】
誤り訂正部1513は、文字領域の抽出結果、及び、文字データの認識結果を訂正する。映像に現れる文字(テロップ)は、複数フレームにわたって連続して同一位置に同一文字で表示される可能性が高い。そこで、誤り訂正部1513は、前後のフレームから検出された文字領域の抽出結果、及び、文字データの認識結果に基づいて、誤りを訂正する。
【0068】
例えば、文字領域を訂正する場合、誤り訂正部1513は、前後のフレームから検出された文字領域の位置及び大きさと、現フレームから検出された文字領域の位置及び大きさとが異なる場合、誤りが生じた可能性が高いと判断する。この場合、誤り訂正部1513は、例えば、前後のフレームから検出された文字領域と現フレームから検出された文字領域とが同一領域となるように文字領域の抽出結果を訂正する。
【0069】
例えば、誤り訂正部1513は、前後の数フレームから抽出された文字領域と、この文字領域の映像から認識された文字認識結果とを参照し、一致する結果の数に基づいて正しい文字領域と、文字データとを認識する。
【0070】
また、例えば、誤り訂正部1513は、各フレームから認識された文字認識結果としての文字データと、予めROM152またはEEPROM154などに記憶された辞書とを突合する。誤り訂正部1513は、突合結果に基づいて、正しい文字データを推定する構成であってもよい。
【0071】
また、制御部150は、文字領域抽出部1511の後段に文字領域を訂正する為の誤り訂正部1513が設けられ、文字データ認識部1512の後段に文字データの認識結果を訂正する為の誤り訂正部1513がそれぞれ設けられる構成であってもよい。
【0072】
キーワード解析部1514は、認識した文字データからキーワードを認識する。キーワード認識には、あらかじめ作成されたキーワード辞書1514aが用いられる。
【0073】
キーワード辞書1514aは、キーワード毎にジャンル(ジャンルを示すデータ)を関連付けて記憶する。なお、キーワード辞書1514aは、キーワード毎に複数のジャンルを関連付けて記憶する構成であってもよい。さらに、キーワード辞書1514aは、各キーワードの各ジャンル毎に設定されたジャンル関連度(例えばポイントなど)を有する。
【0074】
キーワード解析部1514は、まず、文字データ認識部1512により認識された文字データからキーワードを抽出する。例えば、キーワード解析部1514は、文字データを文法的に解析し、文字データから主語、述語、名詞、冠詞、助詞などを抽出する。即ち、キーワード解析部1514は、文字データを文節で区切り、区切った単語をキーワードとして抽出する。
【0075】
キーワード解析部1514は、抽出したキーワードと上記のキーワード辞書1514aとを照らし合わせて、文字データのジャンルを特定する。
【0076】
図7は、キーワード辞書1514aの例と、ジャンルの特定の例とを示す。図7に示されるように、キーワード毎に複数のジャンルが設定されている。さらに各ジャンルには、それぞれジャンル関連度が設定されている。文字データに1つのキーワードが含まれている場合、キーワード解析部1514は、そのキーワードに関連付けられているジャンルのうち、最もジャンル関連度が高いジャンルを文字データのジャンルとして特定する。
【0077】
また、文字データに複数のキーワードが含まれている場合、キーワード解析部1514は、各キーワードに関連付けられているジャンルのジャンル関連度を統合し、文字データのジャンルを特定する。例えば、キーワード解析部1514は、各キーワードに関連付けられているジャンルのジャンル関連度をジャンル毎に加算し、最も最もジャンル関連度が高いジャンルを文字データのジャンルとして特定する。
【0078】
図7の例によると、文字データ「消費税、国会で討議」は、「消費税」、「国会」、「討議」などのキーワードを含んでいる。「消費税」には、ジャンル「経済」のジャンル関連度として0.7、ジャンル「社会」のジャンル関連度として0.2、ジャンル「政治」のジャンル関連度として0.1がそれぞれ対応付けられている。また、「国会」には、ジャンル「政治」のジャンル関連度として0.6、ジャンル「社会」のジャンル関連度として0.3、ジャンル「経済」のジャンル関連度として0.1がそれぞれ対応付けられている。「討論」には、ジャンル「政治」のジャンル関連度として0.6、ジャンル「社会」のジャンル関連度として0.4がそれぞれ対応付けられている。
【0079】
この場合、文字データ「消費税、国会で討議」は、ジャンル「経済」のジャンル関連度が0.8であり、ジャンル「政治」のジャンル関連度が1.3であり、ジャンル「社会」のジャンル関連度が0.9となる。この結果、キーワード解析部1514は、ジャンル「政治」を文字データのジャンルとして特定する。
【0080】
またさらに、キーワード解析部1514は、主語、述語などのキーワード間の関係より重みづけする構成であってもよい。例えば、キーワード毎に主語、述語などの成分を特定し、特定した成分に応じて予め設定された係数を上記のジャンル関連度に乗算する。これにより、キーワード解析部1514は、キーワード毎の成分を考慮してジャンルを特定することができる。
【0081】
またさらに、キーワード解析部1514は、認識された文字データに基づいて学習を行うことにより、キーワード辞書1514aを更新することができる。なお、キーワード解析部1514は、如何なる学習方法によりキーワード辞書1514aを更新する構成であってもよい。
【0082】
保存部1515は、文字領域、文字データ(フォントの種類、文字の大きさ、文字数、文字色なども含む)、ジャンル、チャンネル、日時、及びフレーム番号(文字列の表示フレーム番号)などの付加情報をストレージ190に記憶する。保存部1515は、コンテンツと関連付けてこれらのデータを保存する。
【0083】
図8は、保存部1515により保存された付加情報の例を示す。画面上に現れる文字は、数秒間連続して同じ領域に固定的に表示される可能性が高い。この為、文字領域は、複数フレームにわたって同じ位置及び大きさになる可能性が高い。この傾向から、保存部1515は、過去フレームの文字領域と文字データを比較することで、同一の文字データを判別することができる。
【0084】
図8は、フレーム番号2乃至5に亘って文字領域「0,200,400,600」に文字データ「平均株価」が認識されたことを示す。またさらに、保存部1515は、文字データのフォントの種類、文字の大きさ、文字数、文字色、ジャンル、チャンネル、及び日時などの情報を各フレーム毎に関連付けて保存してもよい。
【0085】
また、保存部1515は、判別した同一の文字データを対応付けることにより、この文字データが検出された開始フレームと終了フレームとを認識することができる。保存部1515は、文字データ毎の開始フレーム及び終了フレームを併せてストレージ190に保存する構成であってもよい。
【0086】
即ち、制御部150は、連続した複数のフレームの同じ位置に文字領域が存在する場合、文字領域が表示されている最初のフレームと最後のフレームとを、開始フレーム及び終了フレームとしてそれぞれ認識する。またさらに、制御部150は、連続した複数のフレームの同じ位置に文字領域が存在し、且つ文字領域内の文字データが連続した複数のフレームに亘って一致する場合、文字領域が表示されている最初のフレームと最後のフレームとを特定する構成であってもよい。
【0087】
上記した処理により、制御部150は、コンテンツをストレージ190に録画し、さらにコンテンツの映像中に埋め込まれている文字データを単語毎にキーワードとして抽出し、コンテンツと併せてストレージ190に記憶することができる。さらに、制御部150は、文字領域、文字データ(フォントの種類、文字の大きさ、文字数、文字色なども含む)、ジャンル、チャンネル、日時、及びフレーム番号(文字列の表示フレーム番号)などの付加情報をストレージ190に記憶することができる。
【0088】
またさらに、制御部150は、復元部112により復元された複数のコンテンツに対して上記の処理を行うことにより、複数のコンテンツに含まれているキーワード、文字領域、文字データ(フォントの種類、文字の大きさ、文字数、文字色なども含む)、ジャンル、チャンネル、日時、及びフレーム番号(文字列の表示フレーム番号)などをコンテンツと併せてストレージ190に記憶することができる。
【0089】
図9は、複数のコンテンツに対する制御部150の処理の例を示す。図9は、チャンネル011、チャンネル041、チャンネル051、チャンネル061、チャンネル071、及びチャンネル081が復元部112により復元された例を示す。この場合、チャンネル011、チャンネル041、チャンネル051、チャンネル061、チャンネル071、及びチャンネル081のコンテンツの映像信号が同時に制御部150に供給される。
【0090】
制御部150は、文字領域の抽出、文字データの認識、誤り訂正、及びキーワードの解析などの処理を各コンテンツに対して順次行う。即ち、制御部150は、チャンネル011のコンテンツの1つのフレームの映像に対して処理を行い、次に、チャンネル041のコンテンツの1つのフレームの映像に対して処理を行う。制御部150は、このような処理をチャンネル081まで順に行い、チャンネル011の処理に戻る。
【0091】
制御部150は、この処理を繰り返し実行することにより、複数のチャンネルのコンテンツの映像に埋め込まれている文字データを抽出し、さらにこの文字データのジャンルを特定することができる。
【0092】
なお、上記したように、同一の文字データが同一の文字領域に連続して表示される可能性が高い。この為、全てのフレームに対して上記の処理が行われる必要はない。例えば、システムの処理負荷が高い場合、処理を実行するフレームの間隔を広くし、システムの処理負荷が低い場合、処理を実行するフレームの間隔を狭くすることにより、制御部150は、より効率よく処理を行なう事ができる。
【0093】
また、コンテンツのジャンルにより、映像中の文字の出現度合いが大きく異なる。例えば、ニュースなどでは、文字が画面上に多く現れるが、ドラマやアニメなどでは逆に文字は画面上にほとんど表れない。制御部150は、例えば、EPGに関する情報などを用いてコンテンツのジャンルを特定し、特定したジャンルに応じて上記の処理の頻度を変更する構成であってもよい。
【0094】
また例えば、制御部150は、また、過去のコンテンツの視聴履歴、過去のコンテンツの録画履歴、検索履歴、時間帯、または視聴率などに応じて上記の処理の頻度を変更する構成であってもよい。制御部150は、例えば、ネットワークに接続されるサーバなどから配信情報などを取得し、配信情報から視聴率、検索履歴などの情報を取得する。
【0095】
またさらに、制御部150は、過去のフレームの文字検出の傾向から処理を実行するフレームの間隔を変更する構成であってもよい。またさらに制御部150は、CM区間を検出し、CM区間における処理を実行するフレームの間隔を変更しても良い。
【0096】
即ち、制御部150は、放送受信装置100全体の処理負荷、コンテンツのジャンル、視聴履歴、録画履歴、検索履歴、時間帯、コンテンツの視聴率、過去のフレームからのキーワード抽出結果、及びCM区間の検出結果のうちの1つ、または複数の組み合わせに基づいて、キーワード抽出処理の処理間隔をコンテンツ毎に制御する。
【0097】
次に、コンテンツの検索及び再生について説明する。
上記したように操作入力部161は、ユーザによる操作入力を受け取り、制御部150に出力する。操作入力部161は、入力に基づいてキーワードを制御部150の検索部1521に入力する。
【0098】
図10は、ストレージ190に記憶されているコンテンツの検索画面である。検索部1521は、コンテンツの検索を実行する場合、図10に示される検索画面を生成し、ディスプレイ400に表示させる。
【0099】
検索画面には、キーワードを入力する為の入力欄が表示されている。検索部1521は、操作入力部161により入力されたキーワードをこの入力欄に表示させる。
【0100】
また、検索部1521は、LANコネクタ171経由でインターネット(ネットワーク)からキーワードを受信する構成であってもよい。また、検索部1521は、通信インターフェース114、USBコネクタ166、カードコネクタ164、または他のインターフェース経由で接続される機器から出力されたキーワードを受信する構成であってもよい。またさらに、検索部1521は、放送入力端子110経由で受信したディジタル放送信号からキーワードを受信する構成であってもよい。
【0101】
例えば、ネットワークに接続された複数の放送受信装置100により検索されたキーワードを取得し、取得したキーワード毎に数をカウント、カウントの上位のキーワードをリストとして放送受信装置100に配信するネットワーク上のサーバがある。検索部1521は、このようなサーバからキーワードを受信し、図10に示すようにリストとして選択可能な状態で検索画面に表示させることにより、注目されているキーワードをユーザに知らせることが出来る。
【0102】
即ち、検索部1521は、複数のキーワードを外部から受信し、受信した複数のキーワードをリストとして画面を生成する。検索部1521は、この画面上で選択されたキーワードを検索に用いる。
【0103】
なお、キーワードの数をカウントする期間を放送受信装置100からサーバに指定する構成であってもよい。また、検索部1521は、放送受信装置100に登録された性別、年齢、または好みの番組ジャンルなどのユーザ情報に基づいて、検索画面にリスト表示するキーワードを絞り込む構成であってもよい。
【0104】
この場合、検索部1521は、入力に基づいてジャンルを選択し、選択したキーワードを含み、且つ、選択したジャンルと一致するフレームを有するコンテンツをストレージ190から検索する。
【0105】
またさらに、検索部1521は、過去に入力されたキーワード、過去に視聴されたコンテンツ及びジャンル、並びに過去に録画されたコンテンツ及びジャンルなどに基づいて、検索画面にリスト表示するキーワードを絞り込む構成であってもよい。
【0106】
検索部1521は、上記したように、入力または選択に応じてキーワードを特定する。なお、検索部1521は、複数のキーワードを特定する構成であってもよい。例えば、検索部1521は、複数のキーワードのAND、またはORを条件として検索を行う。
【0107】
検索部1521は、入力または選択されたキーワード、チャンネル、日付、ジャンル、または他の検索条件などに基づいて、ストレージ190に記憶されているコンテンツから検索条件に該当するコンテンツを検索する。検索部1521は、検索結果をリスト表示部1522に出力する。なお、検索処理にはデータベース機能などを利用することができる。即ち、検索部1521は、保存部1515によりコンテンツと併せてストレージ190に記憶された付加情報を参照し、検索条件に該当するコンテンツを検索する。
【0108】
リスト表示部1522は、検索部1521から出力された検索結果に基づいて検索結果画面を生成し、ディスプレイ400に表示させる。例えば、リスト表示部1522は、図11に示すように、検索されたコンテンツのタイトル(コンテンツ名)をリスト表示する。この場合、リスト表示部1522は、日付時刻、キーワードの表示時間、キーワードの表示位置、キーワードの重要度、文字の種類、文字の大きさ、及びコンテンツの視聴率のうちの1つ、または複数の組み合わせに基づいてコンテンツ名の表示順をソートする。
【0109】
例えば、日付時刻順でソートする場合、リスト表示部1522は、例えばもっとも最近の時間のコンテンツから順にリスト表示する。
【0110】
また、リスト表示部1522は、キーワードを含む文字データ、チャンネル、キーワード表示時間、コンテンツまたはシーンのジャンル、キーワードにマッチしている度合いを示す数値などを検索結果画面に表示する構成であってもよい。
【0111】
例えば、コンテンツのコーナーを表す文字列は、画面の右上などに一定時間表示される可能性が高い。また、コメンテーターの紹介、及び発言などは、画面の下部中央に数秒表示される可能性が高い。そこで、リスト表示部1522は、キーワード表示時間でコンテンツ名の表示順をソートすることにより、コーナーとしてキーワードが取り上げられているシーンをユーザが探しやすいようにリスト表示する事ができる。
【0112】
なお、制御部150は、音声信号に基づいてシーン検出を行う。この場合、制御部150は、例えば、音声が一定区間無音となった場合、シーンが切り替わったと判断する。また、制御部150は、映像信号に基づいてシーン検出を行う構成であってもよい。例えば、制御部150は、映像の輝度のヒストグラムを算出し、一定以上変化した場合、シーンが切り替わったと判断する。
【0113】
また、キーワード辞書1514aに記憶されているキーワード毎に、予めポイントを設定しておくことにより、リスト表示部1522は、キーワードのポイントに応じたソートを行うことができる。ポイントは、例えば、有名度、重要度、主要度、出現度、などの判断により算出される。例えば、富士山は、高尾山より有名と判断しポイントを高く設定する。このようにキーワード毎にキーワード辞書1514aに設定されたポイントに基づいてソートすることにより、リスト表示部1522は、より細かな設定に応じてコンテンツの表示順を変更することが出来る。
【0114】
リスト選択部1523は、リスト表示部1522によりリスト表示された検索結果画面の表示中に入力された操作に応じてコンテンツを選択する。リスト選択部1523は、選択したコンテンツを特定する為の情報(リスト選択情報)を生成し、再生部1524に出力する。リスト選択情報は、例えば、コンテンツ名、コンテンツが記憶されているアドレス、コンテンツのレコード番号などを有する。
【0115】
さらに、リスト選択部1523は、検索部1521により特定されたキーワードを含むシーンの位置を示す情報(シーン情報)をリスト選択情報に付加する構成であってもよい。シーン情報は、例えばフレーム番号、時間、またはシーンなどのコンテンツ中における再生位置を示す情報を有する。
【0116】
再生部1524は、リスト選択情報が示すコンテンツをストレージ190から読み出し、再生する。また、シーン情報がリスト選択情報に付加されている場合、シーン情報が示す位置に基づいてコンテンツを再生する。
【0117】
例えば、再生部1524は、シーン情報が示す位置からコンテンツの再生を開始する。また、再生部1524は、シーン情報が示す位置より一定時刻前の位置からコンテンツの再生を開始する構成であってもよい。またさらに、再生部1524は、シーン情報が示す位置を含むシーンの先頭からコンテンツの再生を開始する構成であってもよい。またさらに、再生部1524は、シーン情報が示す位置を含むシーンの1つ前のシーンの先頭からコンテンツの再生を開始する構成であってもよい。
【0118】
図12は、コンテンツの再生の例を示す。図12は、キーワードに基づく検索結果として、コンテンツ「温泉めぐり」(コンテンツA)とコンテンツ「都心から近い温泉特集」(コンテンツB)とが抽出された例を示す。
【0119】
コンテンツAは、シーンA、B、C、及びDを有する。また、コンテンツAのシーンCは、検索に用いられたキーワードが映像中に埋め込まれたフレームを含む。
【0120】
また、コンテンツBは、シーンA、B、及びCを有する。また、コンテンツBのシーンBは、検索に用いられたキーワードが映像中に埋め込まれたフレームを含む。
【0121】
コンテンツA上の位置aは、キーワードが映像中に埋め込まれたフレームの位置を示す。コンテンツA上の位置bは、キーワードが映像中に埋め込まれたフレームを含むシーンの先頭を示す。コンテンツA上の位置cは、キーワードが映像中に埋め込まれたフレームを含むシーンの先頭より一定時刻前の位置を示す。コンテンツA上の位置dは、キーワードが映像中に埋め込まれたフレームを含むシーンより1つ前のシーンの先頭を示す。
【0122】
上記したように、再生部1524は、位置a乃至dのうちのいずれかの位置からコンテンツの再生を開始する。
【0123】
また、再生部1524は、キーワードを含むシーンの再生が完了した場合、他のコンテンツ中のキーワードを含むシーンを再生する構成であってもよい。
【0124】
例えば、図12に示されるように再生部1524は、コンテンツAのシーンCの再生が完了した場合、コンテンツBの再生を開始する。
【0125】
なお、コンテンツB上の位置eは、キーワードが映像中に埋め込まれたフレームの位置を示す。コンテンツB上の位置fは、キーワードが映像中に埋め込まれたフレームを含むシーンの先頭を示す。コンテンツB上の位置gは、キーワードが映像中に埋め込まれたフレームを含むシーンの先頭より一定時刻前の位置を示す。コンテンツB上の位置hは、キーワードが映像中に埋め込まれたフレームを含むシーンより1つ前のシーンの先頭を示す。
【0126】
再生部1524は、コンテンツAのシーンCの再生が完了した場合、コンテンツBの位置e乃至hのうちのいずれかの位置からコンテンツの再生を開始する。
【0127】
再生部1524は、コンテンツを再生する場合、ストレージ190に記憶されているコンテンツを読み出し、音声処理部121及び映像処理部131に入力させる。音声処理部121及び映像処理部131は、上記したようにコンテンツのデータからスピーカ300及びディスプレイ400により再生可能な音声信号及び映像信号を復号し、スピーカ300及びディスプレイ400にそれぞれ出力する。これにより、放送受信装置100は、コンテンツをユーザが視聴可能な状態で再生することが出来る。
【0128】
図13は、コンテンツを再生する場合の表示画面の例を示す。
放送受信装置100は、再生画面1301を生成し、ディスプレイ400に出力する。放送受信装置100は、表示ウィンドウ1302、コンテンツ情報1303、及びタイムバー1304などを再生画面1301に表示する。
【0129】
表示ウィンドウ1302は、再生されたコンテンツの映像が表示されるウィンドウである。コンテンツ情報1303は、コンテンツのコンテンツ名、日時、チャンネル、または他の情報などの表示である。タイムバー1304は、コンテンツ中における現時点での再生位置を示す表示である。
【0130】
タイムバー1304は、上記した方法により検出されたシーンの位置を示す表示などを有する。またさらに、タイムバー1304は、キーワードが映像中に埋め込まれたフレームを含むシーンを特定して表示する吹き出し1305などを表示する。吹き出し1305内には、上記の検索に用いられたキーワードが表示される。
【0131】
吹き出し1305は、例えば、キーワードが映像中に埋め込まれたフレームの位置に表示される。また、例えば、吹き出し1305は、キーワードが映像中に埋め込まれたフレームを含むシーンの先頭に表示される。これにより、放送受信装置100は、ユーザにキーワードが映像中に埋め込まれたフレームまたはシーンの位置を容易に確認させることができる。
【0132】
また、表示ウィンドウ1302にキーワードが表示されている場合、放送受信装置100は、映像中のキーワードが写り込んでいる位置、即ち、文字領域抽出部1511により抽出された文字領域を強調するオブジェクト1306を表示ウィンドウ1302内に表示させてもよい。オブジェクト1306は、例えば、文字領域を囲う実線枠、点線枠、下線、または他の方法により、文字領域、またはキーワードを強調する。これにより、放送受信装置100は、ユーザにキーワードを容易に確認させることができる。
【0133】
またさらに、放送受信装置100は、キーワードが映像中に埋め込まれたフレームが表示されるまでの時間をリアルタイムで再生画面1301内に表示する構成であってもよい。これにより、放送受信装置100は、ユーザにキーワードが映像中に埋め込まれたフレームまでの時間を容易に確認させることができる。
【0134】
上記したように、放送受信装置100は、複数のコンテンツの録画時に、各コンテンツの映像中に埋め込まれているキーワードを抽出し、抽出したキーワードを各コンテンツに対応付けて記録する。この場合、放送受信装置の制御部150は、複数のコンテンツのジャンル、過去のコンテンツの視聴履歴、過去のコンテンツの録画履歴、検索履歴、時間帯、視聴率、CM区間か否か、などに基づいて、キーワードを抽出するフレームの間隔を制御する。このようにコンテンツに応じて処理間隔を制御することにより、制御部150は、キーワードの抽出漏れを防ぎ、且つ、処理の負担の軽減を実現することが出来る。
【0135】
また、制御部150は、文字データを抽出したフレームの前後のフレームから抽出された文字領域及び文字データを用いて誤り訂正を行うことにより、より正確にキーワードを抽出することができる。
【0136】
またさらに、制御部150は、予め設定されたキーワード辞書1514aを用いてキーワード毎にジャンルを特定する。これにより、制御部150は、キーワードにさらにジャンルを示す情報を付加することができる。
【0137】
制御部150は、ユーザにより指定されたキーワード、ジャンル、チャンネル、日付、または他の検索条件などに基づいて、ストレージ190に記憶されているコンテンツから検索条件に該当するコンテンツを検索する。制御部150は、検索結果に基づいてリストをディスプレイ400に表示させる。これにより、放送受信装置100は、ユーザの要望に沿ったコンテンツを検索し、一覧としてユーザに確認させることができる。
【0138】
この結果、より利便性の高い画像処理装置、及び画像処理装置の制御方法を提供することができる。
【0139】
なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【0140】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0141】
100…放送受信装置、110…放送入力端子、111…受信部、112…復元部、114…通信インターフェース、121…音声処理部、131…映像処理部、133…表示処理部、150…制御部、151…CPU、152…ROM、153…RAM、154…EEPROM、161…操作入力部、164…カードコネクタ、165…メモリカード、166…USBコネクタ、167…USB機器、170…ディスクドライブ、171…LANコネクタ、180…電源制御部、190…ストレージ、200…アンテナ、300…スピーカ、400…ディスプレイ、500…商用電源、1511…文字領域抽出部、1512…文字データ認識部、1513…誤り訂正部、1514…キーワード解析部、1514a…キーワード辞書、1515…保存部、1521…検索部、1522…リスト表示部、1523…リスト選択部、1524…再生部。
【特許請求の範囲】
【請求項1】
複数の放送番組を同時に受信する受信手段と、
前記受信手段に受信した複数の放送番組を同時に復元する復元手段と、
前記復元された複数の放送番組の映像から順にキーワードを抽出するキーワード抽出手段と、
前記復元手段により復元された複数の放送番組を同時に記憶し、前記キーワード抽出手段により抽出されたキーワードを前記各放送番組毎に記憶する記憶手段と、
前記キーワード抽出手段によるキーワードを抽出する処理の処理間隔を前記放送番組毎に制御する制御手段と、
を具備する画像処理装置。
【請求項2】
前記制御手段は、前記各放送番組のジャンルを特定し、特定したジャンルに基づいて、前記キーワード抽出処理の処理間隔を前記放送番組毎に制御する請求項1に記載の画像処理装置。
【請求項3】
前記制御手段は、前記画像処理装置全体の処理負荷、前記放送番組のジャンル、視聴履歴、録画履歴、検索履歴、時間帯、前記放送番組の視聴率、過去のフレームからのキーワード抽出結果、及びCM区間の検出結果のうちの1つ、または複数の組み合わせに基づいて、前記キーワード抽出処理の処理間隔を前記放送番組毎に制御する請求項2に記載の画像処理装置。
【請求項4】
前記キーワード抽出手段は、
前記放送番組の1つのフレームから文字が埋め込まれている文字領域を抽出する文字領域抽出手段と、
前記文字領域内の映像から文字データを認識する文字データ認識手段と、
前記前記文字領域抽出手段により抽出された前記文字領域を、前記フレームの前後のフレームから抽出された文字領域に基づいて訂正し、前記文字データ認識手段により認識された前記文字データを、前記フレームの前後のフレームから認識された文字データに基づいて訂正する訂正手段と、
を具備する、請求項1に記載の画像処理装置。
【請求項5】
前記キーワード抽出手段は、前記文字データ認識手段により認識された前記文字データを区切ってキーワードを抽出し、
前記記憶手段は、前記文字領域を示す情報と、前記文字データと、前記フレームを識別する為の識別情報とを併せて記憶する、
請求項4に記載の画像処理装置。
【請求項6】
予めキーワード毎にジャンルが対応付けられたキーワード辞書をさらに具備し、
前記キーワード抽出手段は、前記キーワード辞書に基づいて、抽出したキーワードのジャンルを特定し、特定したキーワードのジャンルに基づいて、前記フレーム毎のジャンルを特定し、
前記記憶手段は、特定されたジャンルを前記フレームの識別情報に対応付けて記憶する、
請求項5に記載の画像処理装置。
【請求項7】
前記文字データ認識手段は、前記文字領域内の映像から前記文字データのフォント、文字サイズ、文字数、及び文字色を認識し、
前記記憶手段は、さらに前記文字データのフォント、文字サイズ、文字数、及び文字色を前記フレームの識別情報に対応付けて記憶する、
請求項6に記載の画像処理装置。
【請求項8】
前記制御手段は、連続した複数のフレームの同じ位置に前記文字領域が存在する場合、前記文字領域が表示されている最初のフレームと最後のフレームとを特定し、
前記記憶手段は、前記最初のフレームを示す識別情報と、前記最後のフレームを示す識別情報とを前記放送番組に対応付けて記憶する、
請求項4に記載の画像処理装置。
【請求項9】
前記制御手段は、連続した複数のフレームの同じ位置に前記文字領域が存在し、且つ前記文字領域内の文字データが連続した複数のフレームに亘って一致する場合、前記文字領域が表示されている最初のフレームと最後のフレームとを特定する、
請求項8に記載の画像処理装置。
【請求項10】
入力に基づいてキーワードを選択するキーワード選択手段と、
前記キーワード選択手段により選択されたキーワードを含むフレームを有する放送番組を前記記憶手段により記憶されている放送番組から検索する検索手段と、
前記検索手段による検索結果に基づいて、検索条件に該当する放送番組の放送番組名をリストとして画面を生成するリスト表示手段と、
をさらに具備する請求項1に記載の画像処理装置。
【請求項11】
入力に基づいてジャンルを選択するジャンル選択手段をさらに具備し、
前記検索手段は、前記キーワード選択手段により選択されたキーワードを含み、且つ、前記ジャンル選択手段により選択されたジャンルと一致するフレームを有する放送番組を前記記憶手段により記憶されている放送番組から検索する、
請求項10に記載の画像処理装置。
【請求項12】
前記キーワード選択手段は、
複数のキーワードを受信するキーワード受信手段と、
前記キーワード受信手段により受信した前記複数のキーワードをリストとして画面を生成するキーワード表示手段と、
を具備し、
入力に基づいて前記リスト表示した前記複数のキーワードを選択する、
請求項10に記載の画像処理装置。
【請求項13】
前記リスト表示手段は、日時順、文字データの表示時間順、文字データの表示位置順、キーワードの重要度順、文字データのフォント順、文字データの大きさ順のうちの1つ、または複数の組み合わせに基づいて、前記検索手段により検索された放送番組を順序付けて画面を生成する、請求項10に記載の画像処理装置。
【請求項14】
入力に基づいて、前記リストとして表示した放送番組のうちの1つを選択する放送番組選択手段と、
前記放送番組選択手段により選択された前記放送番組を再生し、再生画面を生成し、前記再生画面を出力する再生手段と、
をさらに具備する請求項10に記載の画像処理装置。
【請求項15】
前記再生手段は、前記キーワードが含まれているフレームの位置、前記キーワードが含まれているフレームを含むシーンの先頭、前記キーワードが含まれているフレームを含むシーンの先頭より一定時刻前の位置、及び前記キーワードが含まれているフレームを含むシーンより1つ前のシーンの先頭のうちのいずれかの位置から前記放送番組の再生を開始する、請求項14に記載の画像処理装置。
【請求項16】
複数の放送番組を同時に画像処理装置により受信し、
受信した複数の放送番組を同時に画像処理装置により復元し、
復元された複数の放送番組の映像から順にキーワードを画像処理装置により抽出し、
復元された複数の放送番組を同時に記憶し、抽出されたキーワードを前記各放送番組毎に画像処理装置により記憶し、
前記キーワードを抽出する処理の処理間隔を前記放送番組毎に画像処理装置により制御する、
画像処理装置の制御方法。
【請求項1】
複数の放送番組を同時に受信する受信手段と、
前記受信手段に受信した複数の放送番組を同時に復元する復元手段と、
前記復元された複数の放送番組の映像から順にキーワードを抽出するキーワード抽出手段と、
前記復元手段により復元された複数の放送番組を同時に記憶し、前記キーワード抽出手段により抽出されたキーワードを前記各放送番組毎に記憶する記憶手段と、
前記キーワード抽出手段によるキーワードを抽出する処理の処理間隔を前記放送番組毎に制御する制御手段と、
を具備する画像処理装置。
【請求項2】
前記制御手段は、前記各放送番組のジャンルを特定し、特定したジャンルに基づいて、前記キーワード抽出処理の処理間隔を前記放送番組毎に制御する請求項1に記載の画像処理装置。
【請求項3】
前記制御手段は、前記画像処理装置全体の処理負荷、前記放送番組のジャンル、視聴履歴、録画履歴、検索履歴、時間帯、前記放送番組の視聴率、過去のフレームからのキーワード抽出結果、及びCM区間の検出結果のうちの1つ、または複数の組み合わせに基づいて、前記キーワード抽出処理の処理間隔を前記放送番組毎に制御する請求項2に記載の画像処理装置。
【請求項4】
前記キーワード抽出手段は、
前記放送番組の1つのフレームから文字が埋め込まれている文字領域を抽出する文字領域抽出手段と、
前記文字領域内の映像から文字データを認識する文字データ認識手段と、
前記前記文字領域抽出手段により抽出された前記文字領域を、前記フレームの前後のフレームから抽出された文字領域に基づいて訂正し、前記文字データ認識手段により認識された前記文字データを、前記フレームの前後のフレームから認識された文字データに基づいて訂正する訂正手段と、
を具備する、請求項1に記載の画像処理装置。
【請求項5】
前記キーワード抽出手段は、前記文字データ認識手段により認識された前記文字データを区切ってキーワードを抽出し、
前記記憶手段は、前記文字領域を示す情報と、前記文字データと、前記フレームを識別する為の識別情報とを併せて記憶する、
請求項4に記載の画像処理装置。
【請求項6】
予めキーワード毎にジャンルが対応付けられたキーワード辞書をさらに具備し、
前記キーワード抽出手段は、前記キーワード辞書に基づいて、抽出したキーワードのジャンルを特定し、特定したキーワードのジャンルに基づいて、前記フレーム毎のジャンルを特定し、
前記記憶手段は、特定されたジャンルを前記フレームの識別情報に対応付けて記憶する、
請求項5に記載の画像処理装置。
【請求項7】
前記文字データ認識手段は、前記文字領域内の映像から前記文字データのフォント、文字サイズ、文字数、及び文字色を認識し、
前記記憶手段は、さらに前記文字データのフォント、文字サイズ、文字数、及び文字色を前記フレームの識別情報に対応付けて記憶する、
請求項6に記載の画像処理装置。
【請求項8】
前記制御手段は、連続した複数のフレームの同じ位置に前記文字領域が存在する場合、前記文字領域が表示されている最初のフレームと最後のフレームとを特定し、
前記記憶手段は、前記最初のフレームを示す識別情報と、前記最後のフレームを示す識別情報とを前記放送番組に対応付けて記憶する、
請求項4に記載の画像処理装置。
【請求項9】
前記制御手段は、連続した複数のフレームの同じ位置に前記文字領域が存在し、且つ前記文字領域内の文字データが連続した複数のフレームに亘って一致する場合、前記文字領域が表示されている最初のフレームと最後のフレームとを特定する、
請求項8に記載の画像処理装置。
【請求項10】
入力に基づいてキーワードを選択するキーワード選択手段と、
前記キーワード選択手段により選択されたキーワードを含むフレームを有する放送番組を前記記憶手段により記憶されている放送番組から検索する検索手段と、
前記検索手段による検索結果に基づいて、検索条件に該当する放送番組の放送番組名をリストとして画面を生成するリスト表示手段と、
をさらに具備する請求項1に記載の画像処理装置。
【請求項11】
入力に基づいてジャンルを選択するジャンル選択手段をさらに具備し、
前記検索手段は、前記キーワード選択手段により選択されたキーワードを含み、且つ、前記ジャンル選択手段により選択されたジャンルと一致するフレームを有する放送番組を前記記憶手段により記憶されている放送番組から検索する、
請求項10に記載の画像処理装置。
【請求項12】
前記キーワード選択手段は、
複数のキーワードを受信するキーワード受信手段と、
前記キーワード受信手段により受信した前記複数のキーワードをリストとして画面を生成するキーワード表示手段と、
を具備し、
入力に基づいて前記リスト表示した前記複数のキーワードを選択する、
請求項10に記載の画像処理装置。
【請求項13】
前記リスト表示手段は、日時順、文字データの表示時間順、文字データの表示位置順、キーワードの重要度順、文字データのフォント順、文字データの大きさ順のうちの1つ、または複数の組み合わせに基づいて、前記検索手段により検索された放送番組を順序付けて画面を生成する、請求項10に記載の画像処理装置。
【請求項14】
入力に基づいて、前記リストとして表示した放送番組のうちの1つを選択する放送番組選択手段と、
前記放送番組選択手段により選択された前記放送番組を再生し、再生画面を生成し、前記再生画面を出力する再生手段と、
をさらに具備する請求項10に記載の画像処理装置。
【請求項15】
前記再生手段は、前記キーワードが含まれているフレームの位置、前記キーワードが含まれているフレームを含むシーンの先頭、前記キーワードが含まれているフレームを含むシーンの先頭より一定時刻前の位置、及び前記キーワードが含まれているフレームを含むシーンより1つ前のシーンの先頭のうちのいずれかの位置から前記放送番組の再生を開始する、請求項14に記載の画像処理装置。
【請求項16】
複数の放送番組を同時に画像処理装置により受信し、
受信した複数の放送番組を同時に画像処理装置により復元し、
復元された複数の放送番組の映像から順にキーワードを画像処理装置により抽出し、
復元された複数の放送番組を同時に記憶し、抽出されたキーワードを前記各放送番組毎に画像処理装置により記憶し、
前記キーワードを抽出する処理の処理間隔を前記放送番組毎に画像処理装置により制御する、
画像処理装置の制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−105502(P2013−105502A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2012−252217(P2012−252217)
【出願日】平成24年11月16日(2012.11.16)
【分割の表示】特願2011−248858(P2011−248858)の分割
【原出願日】平成23年11月14日(2011.11.14)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願日】平成24年11月16日(2012.11.16)
【分割の表示】特願2011−248858(P2011−248858)の分割
【原出願日】平成23年11月14日(2011.11.14)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]