デジタル放送受信装置及びデジタル放送受信方法
【課題】視聴している映像に複数の対象物が含まれていたり、対象物が動いていたりするような場合であっても、ユーザーは簡単なリモコン操作で対象物を容易に選択することができ、対象物を選択する際の煩わしい動作を軽減し、且つ確実に対象物を選択することができる。
【解決手段】映像に含まれる対象物の対象物画像データを自動的に抽出する対象物画像データ自動抽出手段と、対象物画像データと基準対象物画像データを照合して対象物画像データの対象物を特定する対象物特定手段と、対象物の名称と当該対象物の対象物画像データを対応付けた対象物リストを構築する対象物リスト構築手段と、対象物リストからユーザーからの操作によって対象物が選択される対象物選択手段と、選択された対象物に関する対象物情報の構成要素をインターネットの検索で取得した構成要素をもとに対象物情報を構築する対象物情報構築手段とを備えたものである。
【解決手段】映像に含まれる対象物の対象物画像データを自動的に抽出する対象物画像データ自動抽出手段と、対象物画像データと基準対象物画像データを照合して対象物画像データの対象物を特定する対象物特定手段と、対象物の名称と当該対象物の対象物画像データを対応付けた対象物リストを構築する対象物リスト構築手段と、対象物リストからユーザーからの操作によって対象物が選択される対象物選択手段と、選択された対象物に関する対象物情報の構成要素をインターネットの検索で取得した構成要素をもとに対象物情報を構築する対象物情報構築手段とを備えたものである。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像に含まれている人物や建物などをリスト表示し、当該人物や建物などに関連した情報をインターネット経由で取得することができるデジタル放送受信装置及びデジタル放送受信方法に関する。
【背景技術】
【0002】
近年、インターネットに接続可能なデジタル放送受信装置の普及が拡大している。このようなデジタル放送受信装置においては、ユーザーが、映像コンテンツを視聴中にこの映像コンテンツに含まれている人物や建物などについて詳細な情報が知りたくなった場合は、デジタル放送受信装置に搭載されているブラウザを起動し、人物の名前や建物の名称を検索キーワードとして検索エンジンに入力して検索を行い、その検索で探し出された人物や建物に関する詳しい情報を表示させている。
【0003】
しかしながら、視聴中の映像コンテンツに関連する情報を表示させるためにキーワードを入力する、もしくはキーワードを選択する動作はユーザーにとって煩わしい動作となる。さらに、映像に含まれている人物の名前や建物の名称をユーザーが特定できなければ、有用なキーワードを入力することができないため、ユーザーが期待する情報を表示させることができない。
【0004】
このような問題に対して、視聴している映像に含まれている人物や建物等に関連する情報を表示する際の煩わしい動作を軽減する方法が様々考案されている。例えば、表示中の映像から、その映像中の対象物(例えば、人物)に関する複数の画像データ(例えば、人物の顔画像)を抽出し、抽出された画像データを画像照合装置に送出し、この画像照合装置において蓄積されている多数の基準画像データと、抽出された画像データとのマッチング処理を行い、その画像データにマッチする基準画像データに関連付けられている対象物情報を取得して、その対象物情報である対象物の名前や名称、その対象物に関する詳しい情報などを表示するデジタル放送受信装置が開示されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−118411号公報(3頁、図1、2)
【発明の概要】
【発明が解決しようとする課題】
【0006】
このような従来のデジタル放送受信装置においては、表示中の映像に含まれている人物が複数人であり、その中からユーザーが詳細な情報を知りたい人物を選択するためには、画面上に表示したフレームをユーザーがリモコン操作等によって所望の人物の顔画像を囲うようにして選択する必要がある。そのため、ユーザーは顔画像がフレーム内に収まるように正確にフレームを操作しなければならず、非常に煩わしい動作が必要になるという問題がある。とくに、人物が動いているような映像に対して、リモコンに装備されている上下左右キーを連続的に押下して人物の動きにフレームを追従させるようなフレーム操作を行うことは非常に困難であり、人物を選択することができないという問題がある。
【0007】
また、特定した対象物に関する詳しい情報として表示される対象物情報は、基準画像データとともに画像照合装置に保存されている予め作成された過去の情報である。そのため、時間が経過すると対象物情報の内容が古くなり、有用な情報ではなくなるためユーザーに不快感を与えるという問題がある。さらに、有用な情報とするためには時間の経過とともに対象物情報を更新する必要があり、その手間が発生するという問題がある。
【0008】
この発明は、上述のような課題を解決するためになされたもので、視聴している映像に複数の対象物が含まれていたり、対象物が動いていたりするような場合であっても、ユーザーは簡単なリモコン操作で対象物を容易に選択することができ、対象物を選択する際の煩わしい動作を軽減し、且つ確実に対象物を選択することができる。
【0009】
また、ユーザーが選択した対象物に関する詳しい情報をインターネットの検索で取得し、取得した最新の情報をもとに構築した対象物情報を表示することで、ユーザーは常に有用な情報を入手することができるため、ユーザーに満足感を与えることができる。
【課題を解決するための手段】
【0010】
この発明に係るデジタル放送受信装置においては、
デジタル放送信号を受信するチューナ部と、
受信したデジタル放送信号をトランスポートストリームに復調する復調部と、
この復調部で復調された前記トランスポートストリームから番組データ、番組特定データおよび番組配列データを抽出するデマルチプレクサ部と、
このデマルチプレクサ部で抽出された前記番組データに含まれる映像データおよび音声データをMPEG復号するMPEGデコーダ部と、
このMPEGデコーダ部でMPEG復号された映像データにOSDを合成するOSD処理部と、
前記OSDが合成された前記MPEG復号された映像データを表示する表示部と、
前記MPEGデコーダ部でMPEG復号された音声データを出力するスピーカと、
アプリケーションプログラムが格納されているフラッシュROMと、
前記アプリケーションプログラムが実行されるRAMと、
装置全体を制御する制御部と、
リモコンのキー操作信号を受信するキー受信部と、
インターネットに接続された各種サーバーとデータの送受信を行うネットワークIF部とを有するデジタル放送受信装置おいて、
前記制御部は、
前記表示部に表示される映像に含まれている対象物の対象物画像データを自動的に抽出する対象物画像データ自動抽出手段と、
前記対象物の名称と当該対象物の基準対象物画像データが関連付けされた対象物データベースを参照し、前記対象物画像データ自動抽出手段で抽出された前記対象物画像データと前記基準対象物画像データを照合して前記対象物画像データの対象物を特定する対象物特定手段と、
前記対象物特定手段で特定された前記対象物の名称と当該対象物の対象物画像データを対応付けた対象物リストを構築する対象物リスト構築手段と、
前記対象物リスト構築手段で構築された前記対象物リストを前記OSD処理部に通知して前記表示部に前記対象物リストの表示を行う対象物リスト表示手段と、
前記表示部に表示された前記対象物リストからユーザーからの操作によって対象物が選択される対象物選択手段と、
前記対象物選択手段で選択された対象物に関する対象物情報の構成要素を前記インターネットの検索で前記各種サーバーから取得し、取得した前記構成要素をもとに前記対象物情報を構築する対象物情報構築手段と、
前記対象物情報構築手段で構築された前記対象物情報を前記OSD処理部に通知して前記表示部に前記対象物情報の表示を行う対象物情報表示手段と、
を備えたものである。
【発明の効果】
【0011】
この発明は、ユーザーが映像コンテンツを視聴中に、視聴している映像に含まれている対象物について詳細な情報が知りたくなった際、視聴している映像に含まれている全ての対象物の対象物画像データを自動的に抽出し、対象物データベースを参照して抽出した対象物画像データの対象物を特定し、特定した対象物の名称および当該対象物の対象物画像データをリスト表示し、リスト表示された対象物の中から詳しい情報を知りたい対象物をカーソル操作などによってユーザーが選択可能とすることで、対象物が動いているような映像に対してもユーザーはリモコンに装備されている上下左右キーを数回押下するだけで対象物を容易に選択することができる。そのため、対象物を選択する際の煩わしい動作を軽減し、且つ確実に対象物を選択することができる。
【0012】
また、ユーザーが選択した対象物に関する詳しい情報をインターネットの検索で取得し、取得した最新の情報をもとに構築した対象物情報を表示することができるので、ユーザーは常に有用な情報を入手することができるため、ユーザーに満足感を与えることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施の形態1を示すデジタル放送受信装置の構成を示すブロック図である。
【図2】本発明の実施の形態1を示すデジタル放送受信装置の人物リスト表示処理手順を示すフローチャートである。
【図3】本発明の実施の形態1を示すデジタル放送受信装置の表示部における映像表示画面の一例を示す説明図である。
【図4】本発明の実施の形態1を示すデジタル放送受信装置で抽出した顔画像データを保存したRAMの状態を示す説明図である。
【図5】本発明の実施の形態1を示すデジタル放送受信装置における人物リストの構成の一例を示す説明図である。
【図6】本発明の実施の形態1を示すデジタル放送受信装置の表示部における人物リストを表示するための表示画面の一例を示す説明図である。
【図7】本発明の実施の形態1を示すデジタル放送受信装置の人物情報表示処理手順を示すフローチャートである。
【図8】本発明の実施の形態1を示すデジタル放送受信装置における人物情報の構成の一例を示す説明図である。
【図9】本発明の実施の形態1を示すデジタル放送受信装置の表示部における人物情報を表示するための表示画面の一例を示す説明図である。
【図10】本発明の実施の形態1を示すデジタル放送受信装置の表示部における画像や動画を含む人物情報を表示するための表示画面の一例を示す説明図である。
【図11】本発明の実施の形態1を示すデジタル放送受信装置の人物情報表示処理における検索結果の解析処理を示すフローチャートである。
【図12】本発明の実施の形態1を示すデジタル放送受信装置におけるURLの信頼度リストの一例を示す説明図である。
【図13】本発明の実施の形態2を示すデジタル放送受信装置の構成を示すブロック図である。
【発明を実施するための形態】
【0014】
実施の形態1.
図1は、この発明を実施するための実施の形態1のデジタル放送受信装置の構成を示すブロック図である。本実施の形態においては、対象物として人物を想定して説明を行う。本実施の形態のデジタル放送受信装置は、アンテナ1、チューナ2、復調部3、デマルチプレクサ部4、MPEGデコーダ部5、OSD処理部6、フラッシュROM7、RAM8、制御部9、キー受信部10およびネットワークIF部11を備えて構成されている。また、本実施の形態のデジタル放送受信装置は、音声を出力するスピーカ12と映像を表示する表示部13とを備えている。さらに、本実施の形態のデジタル放送受信装置は、ネットワークIF部11を介して、人物データベースサーバー14、各種サーバー15と接続されている。人物データベースサーバー14は、人物の名前と当該人物の基準顔画像データが関連付けされた人物データベース14aを保持しているサーバーであり、各種サーバー15は、Webサーバーなどである。
【0015】
アンテナ1は、デジタル放送信号を受信するパラボラアンテナやUHFアンテナなどであり、受信したデジタル放送信号をチューナ2に出力する。
【0016】
チューナ2は、入力されたデジタル放送信号からユーザーが所望する物理チャンネルを選択して復調部3に出力する。
【0017】
復調部3は、伝送路符号化されたデジタル放送信号の誤り訂正処理、復調処理などを行い、ユーザーが所望する番組を構成する映像データ、音声データ等がMPEG2システムで多重化されたトランスポートストリームに変換してデマルチプレクサ部4に出力する。
【0018】
デマルチプレクサ部は、入力されたトランスポートストリームから番組データ(映像データパケット、音声データパケットなど)、番組特定データ(PATパケット、PMTパケットなど)および番組配列データ(EITパケット等)を抽出し、映像データおよび音声データをMPEGデコーダ部5に出力する。
【0019】
MPEGデコーダ部5は、MPEG符号された映像データおよび音声データのMPEG復号を行い、復号された映像データを表示部13に出力し、音声データをスピーカ12に出力する。
【0020】
OSD処理部6は、制御部9からの通知に従ってMPEGデコーダ部5から出力される映像データにOSD(On Screen Display)を合成する。OSDはメニューなどの文字や画像から構成されるグラフィックスであり、映像データに重畳されて表示部13に表示される。
【0021】
フラッシュROM7は、デジタル放送受信装置のアプリケーションプログラムやデータなどが予め格納されている記録媒体である。また、フラッシュROM7には、人物の名前と当該人物の基準顔画像データが関連付けされた人物データベース7aが格納されている。しかしながら、フラッシュROM7の容量が小さい場合は、人物データベース7aを省いてもよい。さらに、フラッシュROM7には、人物情報を一時的に保存する人物情報キャッシュ領域7bが設けられている。
【0022】
RAM8は、フラッシュROM7から展開されたデジタル放送受信装置のアプリケーションプログラムが実行される。さらに、図示していないがRAM8の容量が大きい場合は、人物情報を一時的に保存する人物情報キャッシュ領域をRAM8に設けてもよい。
【0023】
制御部9は、チューナ2、復調部3、デマルチプレクサ部4、MPEGデコーダ部5、OSD処理部6、フラッシュROM7、RAM8、キー受信部10、ネットワークIF部11と接続され、デジタル放送受信装置全体の制御を行う。
【0024】
さらに、制御部9は、顔画像データ自動抽出手段9aと、人物特定手段9bと、人物リスト構築手段9cと、人物リスト表示手段9dと、人物選択手段9eと、人物情報構築手段9fと、人物情報表示手段9gとを備えている。以下、制御部9について詳細に説明する。
【0025】
顔画像データ自動抽出手段9aは、表示部13に表示される映像に含まれている全ての人物の顔画像データを抽出し、抽出した顔画像データをRAM8に保存する。また、全ての人物の顔画像データを抽出した後、一定時間が経過すると再度顔画像データの抽出を行う。
【0026】
顔画像データ自動抽出手段9aにおける抽出方法としては、例えば、表示部13に表示される映像のスクリーンショットを撮り、撮影した画像データに顔画像認識処理を行うことで全ての人物の顔画像データを抽出することができる。
【0027】
人物特定手段9bは、まずデマルチプレクサ部4で抽出された番組配列データに含まれる番組情報から番組の登場人物名を取得する。
【0028】
次に、人物特定手段9bは、顔画像データ自動抽出手段9aで抽出された顔画像データと人物データベース7a、または人物データベース14aに登録されている人物の基準顔画像データを照合する。照合した結果、顔画像データと類似率の高い基準顔画像データを複数抽出し、抽出した基準顔画像データの人物の名前と前記登場人物名を照合して名前が一致した基準顔画像データの人物を顔画像データの人物として特定する。名前が一致しなかった場合と登場人物名が番組情報に存在しなかった場合は、類似率の最も高い基準顔画像データの人物を顔画像データの人物として特定する。
【0029】
人物リスト構築手段9cは、人物特定手段9bで特定された人物の名前と当該人物の顔画像データを対応付けた人物リストを構築する。このとき、人物リスト構築手段9cは、人物特定手段9bで特定された人物の名前が既に人物リストに登録されている場合は、当該人物を人物リストに追加しない。
【0030】
人物リスト表示手段9dは、人物リストに登録されている人物の名前と当該人物の顔画像データとをOSD処理部6に通知して表示部13に当該人物リストの表示を行う。
【0031】
人物選択手段9eは、表示部13に表示された人物リストとともに人物を選択するためのカーソルを表示し、例えばリモコンなどに装備されている上下左右キーのユーザーの操作によってカーソルが移動することで人物を選択する。
【0032】
人物情報構築手段9fは、人物選択手段9eで選択された人物に関する人物情報(プロフィールなど)を構築するため、人物情報の構成要素(生年月日、趣味等)に関する情報をインターネットの検索で各種サーバー15から取得し、取得した情報をもとに人物情報を構築する。また、人物情報構築手段9fは、構築した人物情報を人物情報キャッシュ領域7bに保存する。さらに、人物情報構築手段9fは、表示部13に表示された人物リストの中から選択された人物に関する人物情報が人物情報キャッシュ領域7bに存在する場合は、人物情報キャッシュ領域7bから人物情報を取得する。
【0033】
構成要素の取得方法としては、例えば、検索サイトが提供するWeb APIを使用し、人物名および生年月日などを検索キーワードとして検索サイトに送信して検索結果を受信する。検索結果には検索キーワードの情報を含むURLが複数記載されており、当該URLからの受信データを解析することで生年月日などを取得することができる。
【0034】
さらに、検索結果として得られた複数のURLに対して信頼度の推定を行い、信頼度の高いURLから順番に受信データの解析を行う。信頼度の推定方法としては、例えば、検索結果として得られた複数のURLの中でURLの記載順を信頼度とし、最初に記載されたURLを最も高い信頼度としてもよい。また、信頼度の尺度を設定し、URLを解析して尺度が満たされているかどうかの判定を行い、尺度ごとに定められた点数の総和を当該URLの信頼度としてもよい。尺度としては、例えば、ドメイン名(com等)、検索機能の有無、外部リンク数などを用いることができる。
【0035】
人物情報表示手段9gは、人物情報構築手段9fで構築した人物情報を前記OSD処理部6に通知して表示部13に当該人物情報の表示を行う。
【0036】
図2は、本実施の形態のデジタル放送受信装置の人物リスト表示処理手順を示すフローチャートである。図3は、本実施の形態のデジタル放送受信装置の表示部における映像表示画面の一例を示す説明図である。図4は、本実施の形態のデジタル放送受信装置における抽出した顔画像データを保存したRAMの状態を示す説明図である。図5は、本実施の形態のデジタル放送受信装置における人物リストの構成の一例を示す説明図である。図6は、本実施の形態のデジタル放送受信装置における人物リストを表示するための表示画面の一例を示す説明図である。以下、図2から図6に基づいて人物リスト表示処理について説明する。
【0037】
図2に基づいて、本実施の形態のデジタル放送受信装置の人物リスト表示処理の動作について説明する。デジタル放送受信装置の電源が投入されるとデジタル放送受信装置のアプリケーションプログラムが起動し、制御部9はデジタル放送信号を受信して選局したチャンネルの番組の映像を表示部13に表示する(ステップ100)。通常の映像表示は、例えば、図3に示すように、デジタル放送受信装置500の表示部13の映像表示領域501に映像が表示される。
【0038】
映像が表示部13に表示されると、制御部9は人物情報表示開始モードが開始されているか否かを判定する(ステップ101)。人物情報表示開始モードは、例えば、ユーザーがリモコン操作によって「開始」「停止」を選択する。
【0039】
ステップ101で人物情報表示開始モードが停止の場合は、通常の映像表示を継続する。ステップ101で人物情報表示開始モードが開始の場合は、顔画像データ自動抽出手段9aは、表示部13に表示される映像に含まれている全ての人物の顔画像データを抽出し、図4に示すように、各顔画像データに対して顔画像IDを割り振った状態でRAM8に保存する(ステップ102)。
【0040】
全ての顔画像データを抽出すると、人物特定手段9bは、選局番組の番組情報を取得し、番組情報に含まれる登場人物名を取得する(ステップ103)。
【0041】
次に、人物特定手段9bは、ステップ102で抽出された顔画像データと人物データベース7a、または人物データベース14aに登録されている人物の基準顔画像データを照合して類似率の高い基準顔画像データを複数抽出し、抽出した基準顔画像データの人物の名前と前記登場人物名を照合して名前が一致した基準顔画像データの人物を顔画像データの人物として特定する(ステップ104)。なお、フラッシュROM7に登録されている人物データベース7aは、デジタル放送受信装置に予め記憶されていたものである。
【0042】
顔画像データの人物を特定すると、人物リスト構築手段9cは、当該人物が既に人物リストに登録されているか否かを判定する(ステップ105)。人物リストは、例えば、図5に示すように、人物の名前と顔画像IDを対応付けることで人物の名前と当該人物の顔画像データが対応付けされたリストとなっている。なお、最初にこのステップ105を行うときは人物リストには何も登録されていない。また、後述するが、番組が切り替わったときにはこの人物リストは削除されて何も登録されていない状態となる。
【0043】
ステップ105で既に人物リストに登録されている場合は、ステップ104に戻り、人物が特定されていない顔画像データの人物の特定を行う。
【0044】
ステップ105で人物リストに登録されていない場合は、人物を特定した顔画像データの顔画像IDと当該人物の名前を人物リストに登録する(ステップ106)。
【0045】
このようにして人物リストが新たに構築されると、人物リスト表示手段9dは、人物リストに登録されている人物の名前と当該人物の顔画像データとをOSD処理部6に通知して表示部13に人物リストを表示する(ステップ107)。人物リストは、例えば、図6に示すように、縮小した映像表示領域501の下部に設けた人物リスト表示領域502に表示される。さらに、人物選択手段9eは、ユーザーが詳細な情報を知りたい人物を選択するためのカーソル503を人物表示リストに重畳させて表示する。カーソル503のデフォルト位置は、最初に人物リストに登録された人物とする。
【0046】
人物リストが表示されると、制御部9は、RAM8に保存した全ての顔画像データについて人物が特定できたか否かを判定する(ステップ108)。
【0047】
全ての顔画像データについて人物が特定できていない場合は、ステップ104に戻り、人物が特定されていない顔画像データの人物の特定を行う。
全ての顔画像データについて人物が特定できた場合は、一定時間が経過するのを待つ(ステップ109)。
一定時間が経過すると、ステップ102に戻り、再度表示部13に表示される映像に含まれている全ての人物の顔画像データの抽出を行う。
【0048】
図7は、本実施の形態のデジタル放送受信装置の人物情報表示処理手順を示すフローチャートである。図8は、人物情報の構成の一例を示す説明図である。図9は、人物情報を表示するための表示画面の一例を示す説明図である。以下、図7から図9に基づいて人物情報表示処理について説明する。
【0049】
図7に基づいて、本実施の形態のデジタル放送受信装置の人物情報表示処理の動作について説明する。表示部13に表示された人物リストの中から、ユーザーのカーソル503の操作によって、詳しい情報を知りたい人物が選択される(ステップ200)。カーソル503のデフォルト位置は最初に人物リストに登録された人物としたため、例えば、当該人物の人物情報表示処理が最初に動作する。
【0050】
詳しい情報を知りたい人物が選択されると、人物情報構築手段9fは、選択された人物に関する人物情報が人物情報キャッシュ領域7bに存在するか否かを判定する(ステップ201)。
人物情報が人物情報キャッシュ領域7bに存在している場合は、人物情報キャッシュ領域7bから当該人物情報を取得し(ステップ202)、ステップ209に進む。
【0051】
人物情報が人物情報キャッシュ領域7bに存在していない場合は、人物情報の構成要素を検索キーワードとして抽出する(ステップ203)。例えば、図8に示すような人物情報の場合は、人物情報の構成要素は職業、性別、出身地、生年月日、年齢、好物、趣味、出演ドラマ、出演映画となる。
【0052】
人物情報構築手段9fは、抽出したキーワードをインターネットで検索し(ステップ204)、検索結果として得られた複数のURLに対して信頼度の推定を行い、信頼度の高いURLから順番に構成要素に関する情報を取得する(ステップ205)。
【0053】
次に、人物情報構築手段9fは、これらの構成要素に関する情報を取得すると、構成要素全てに関する情報を取得したか否かを判定する(ステップ206)。
【0054】
さらに、人物情報構築手段9fは、構成要素全てに関する情報を取得できていない場合は、ステップ204に戻り、検索を継続する。
【0055】
さらに、人物情報構築手段9fは、構成要素全てに関する情報を取得できた場合は、取得した情報をもとに人物情報を構築する(ステップ207)。例えば、図8に示すような人物情報となる。
【0056】
また、人物情報構築手段9fは、構築した人物情報を人物情報キャッシュ領域7bに保存する(ステップ208)。
【0057】
人物情報構築手段9fによって人物情報が構築されると、人物情報表示手段9gは、人物情報を前記OSD処理部6に通知して表示部13に人物情報を表示する(ステップ209)。人物情報は、例えば、図9に示すように、映像表示領域501と人物リスト表示領域502の右部に設けた人物情報表示領域504に表示される。
【0058】
なお、図7に示すフローチャートでは説明していないが、ユーザーが視聴している番組が切り替わったタイミングで、人物リスト構築手段9cは、人物リストの登録情報を全て削除し、人物情報構築手段9fは、人物情報キャッシュ領域7bに保存されている人物情報を全て削除する。
【0059】
また、本実施の形態においては、人物情報の構成要素を生年月日、趣味などの文字情報のみを例として説明したが、例えば、人物に関する画像や動画などを構成要素に含めてもよい。その場合、例えば、図10に示すように、人物情報表示領域504に画像の表示領域504a、504b、動画の表示領域504c、504dを設けて、人物情報の構成要素となる画像や動画を表示することができる。
【0060】
図11、は本実施の形態のデジタル放送受信装置の人物情報表示処理における検索結果の解析処理を示すフローチャートである。図12は、URLの信頼度リストの一例を示す説明図である。以下、図11および図12に基づいて検索結果の解析処理について説明する。
【0061】
図11は、図7で説明した人物情報表示処理におけるステップ205に示す検索結果の解析の処理をさらに詳細に説明したフローチャートである。人物情報構築手段9fは、検索結果の解析を開始すると(ステップ600)、検索結果として得られたURLを抽出する(ステップ601)。
【0062】
次に、人物情報構築手段9fは、抽出した各URLに対して信頼度の推定を行い(ステップ602)、信頼度リストを作成する。信頼度リストは、例えば、図12に示すように、信頼度とURLを対応付けたリストであり、信頼度欄及びURL欄、さらに、URLからデータを受信したか否かを示す受信欄とから構成される。受信欄の初期値は、データの未受信を示す0となっている。
【0063】
信頼度の推定が完了すると、人物情報構築手段9fは、信頼度リストの受信欄が0となっているURLの中から最も信頼度が高いURLを抽出し、当該URLからデータを受信した後、信頼度リストの当該URLに対応付けられた受信欄を1とする(ステップ603)。
【0064】
人物情報構築手段9fは、データを受信すると、データ解析を行い、構成要素に関する情報を取得する(ステップ604)。
【0065】
人物情報構築手段9fは、データ解析を行った結果、構成要素に関する情報を取得できたか否かを判定する(ステップ605)。
【0066】
人物情報構築手段9fは、ステップ605で情報を取得できなかった場合は、ステップ603に戻る。人物情報構築手段9fは、ステップ605で情報を取得できた場合は、検索結果の解析を終了する(ステップ606)。
【0067】
以上のように、本実施の形態のデジタル放送受信装置は、視聴している映像に含まれている全ての人物の顔画像データを自動的に抽出し、人物データベースを参照して抽出した顔画像データの人物を特定し、特定した人物の名前および当該人物の顔画像データをリスト表示し、リスト表示された人物の中から詳しい情報を知りたい人物をカーソル操作によってユーザーが選択可能とすることができる。そのため、ユーザーが映像コンテンツを視聴中に、視聴している映像に含まれている人物について詳細な情報が知りたくなったときには、人物が動いているような映像に対してもユーザーはリモコンに装備されている上下左右キーを数回押下するだけで人物を容易に選択することができるため、人物を選択する際の煩わしい動作を軽減し、且つ確実に人物を選択することができる。
【0068】
また、ユーザーが選択した人物に関する詳しい情報をインターネットの検索で取得し、取得した最新の情報をもとに構築した人物情報を表示することができるので、ユーザーは常に有用な情報を入手することができるため、ユーザーに満足感を与えることができる。
【0069】
また、一定時間が経過するごとにユーザーが視聴している映像に含まれている全ての人物の顔画像データを抽出し、登場人物の出現に追従した人物リストの表示を行うことができるので、過去の映像シーンに登場した人物も含めてリスト表示することができるため、ユーザーは視聴している番組に登場する全ての人物を選択することができる。
【0070】
また、顔画像データの人物を特定する際に、顔画像データの照合と人物名の照合とを行うことができるので、人物の特定精度を向上することができる。
【0071】
また、人物リストに既に登録されている人物の二重登録を防止することができるので、メモリ使用量の削減と、同一人物が人物リストに2つ表示されることがなく、ユーザーに与える不快感を無くすことができる。
【0072】
また、番組が切り替わったときに人物リストの登録情報を削除することができるので、ユーザーが視聴している映像に関連しない人物が人物リストに表示されることがなく、ユーザーに与える不快感を無くすことができる。
【0073】
また、信頼度の高いサーバーから取得した情報をもとに人物情報を構築することで、ユーザーは常に信頼性の高い有用な情報を入手することができるため、ユーザーに満足感を与えることができる。
【0074】
また、構築した人物情報をキャッシュしておくことで、人物情報の表示開始時間を短縮することができる。
【0075】
実施の形態2.
図13は、この発明を実施するための実施の形態2のデジタル放送受信装置の構成を示すブロック図である。本実施の形態のデジタル放送受信装置の構成は、実施の形態1のデジタル放送受信装置と同様であるが、制御部9がさらに人物情報事前構築手段9hを備えている点で実施の形態1と異なる。
【0076】
人物情報事前構築手段9hは、表示部13に表示された人物リストの中から選択された人物以外の人物、つまり、人物リストに登録された人物の中で人物情報キャッシュ領域7bに人物情報が存在しない人物に関する人物情報を事前に構築し、構築した人物情報を予め人物情報キャッシュ領域7bに保存しておく。人物情報の構築方法は、人物情報構築手段9fと同じである。
【0077】
人物情報事前構築手段9hは、実施の形態1で説明した図7の人物情報表示処理のフローチャートにおいて、人物リストの中から最初に選択された人物の人物情報が表示された後(ステップ209の後)、人物リストの中から人物情報キャッシュ領域7bに人物情報が存在しない人物を選択し、当該人物についてステップ201からステップ208の処理を行う。
【0078】
このように構成されたデジタル放送受信装置においては、人物リストの中から選択された人物以外の人物に関する人物情報を事前に構築し、キャッシュしておくことで、人物情報の表示開始時間を短縮することができる。
【符号の説明】
【0079】
1 アンテナ
2 チューナ
3 復調部
4 デマルチプレクサ部
5 MPEGデコーダ部
6 OSD処理部
7 フラッシュROM
8 RAM
9 制御部
10 キー受信部
11 ネットワークIF部
12 スピーカ
13 表示部
14 人物データベースサーバー
15 一般サーバー
【技術分野】
【0001】
本発明は、映像に含まれている人物や建物などをリスト表示し、当該人物や建物などに関連した情報をインターネット経由で取得することができるデジタル放送受信装置及びデジタル放送受信方法に関する。
【背景技術】
【0002】
近年、インターネットに接続可能なデジタル放送受信装置の普及が拡大している。このようなデジタル放送受信装置においては、ユーザーが、映像コンテンツを視聴中にこの映像コンテンツに含まれている人物や建物などについて詳細な情報が知りたくなった場合は、デジタル放送受信装置に搭載されているブラウザを起動し、人物の名前や建物の名称を検索キーワードとして検索エンジンに入力して検索を行い、その検索で探し出された人物や建物に関する詳しい情報を表示させている。
【0003】
しかしながら、視聴中の映像コンテンツに関連する情報を表示させるためにキーワードを入力する、もしくはキーワードを選択する動作はユーザーにとって煩わしい動作となる。さらに、映像に含まれている人物の名前や建物の名称をユーザーが特定できなければ、有用なキーワードを入力することができないため、ユーザーが期待する情報を表示させることができない。
【0004】
このような問題に対して、視聴している映像に含まれている人物や建物等に関連する情報を表示する際の煩わしい動作を軽減する方法が様々考案されている。例えば、表示中の映像から、その映像中の対象物(例えば、人物)に関する複数の画像データ(例えば、人物の顔画像)を抽出し、抽出された画像データを画像照合装置に送出し、この画像照合装置において蓄積されている多数の基準画像データと、抽出された画像データとのマッチング処理を行い、その画像データにマッチする基準画像データに関連付けられている対象物情報を取得して、その対象物情報である対象物の名前や名称、その対象物に関する詳しい情報などを表示するデジタル放送受信装置が開示されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−118411号公報(3頁、図1、2)
【発明の概要】
【発明が解決しようとする課題】
【0006】
このような従来のデジタル放送受信装置においては、表示中の映像に含まれている人物が複数人であり、その中からユーザーが詳細な情報を知りたい人物を選択するためには、画面上に表示したフレームをユーザーがリモコン操作等によって所望の人物の顔画像を囲うようにして選択する必要がある。そのため、ユーザーは顔画像がフレーム内に収まるように正確にフレームを操作しなければならず、非常に煩わしい動作が必要になるという問題がある。とくに、人物が動いているような映像に対して、リモコンに装備されている上下左右キーを連続的に押下して人物の動きにフレームを追従させるようなフレーム操作を行うことは非常に困難であり、人物を選択することができないという問題がある。
【0007】
また、特定した対象物に関する詳しい情報として表示される対象物情報は、基準画像データとともに画像照合装置に保存されている予め作成された過去の情報である。そのため、時間が経過すると対象物情報の内容が古くなり、有用な情報ではなくなるためユーザーに不快感を与えるという問題がある。さらに、有用な情報とするためには時間の経過とともに対象物情報を更新する必要があり、その手間が発生するという問題がある。
【0008】
この発明は、上述のような課題を解決するためになされたもので、視聴している映像に複数の対象物が含まれていたり、対象物が動いていたりするような場合であっても、ユーザーは簡単なリモコン操作で対象物を容易に選択することができ、対象物を選択する際の煩わしい動作を軽減し、且つ確実に対象物を選択することができる。
【0009】
また、ユーザーが選択した対象物に関する詳しい情報をインターネットの検索で取得し、取得した最新の情報をもとに構築した対象物情報を表示することで、ユーザーは常に有用な情報を入手することができるため、ユーザーに満足感を与えることができる。
【課題を解決するための手段】
【0010】
この発明に係るデジタル放送受信装置においては、
デジタル放送信号を受信するチューナ部と、
受信したデジタル放送信号をトランスポートストリームに復調する復調部と、
この復調部で復調された前記トランスポートストリームから番組データ、番組特定データおよび番組配列データを抽出するデマルチプレクサ部と、
このデマルチプレクサ部で抽出された前記番組データに含まれる映像データおよび音声データをMPEG復号するMPEGデコーダ部と、
このMPEGデコーダ部でMPEG復号された映像データにOSDを合成するOSD処理部と、
前記OSDが合成された前記MPEG復号された映像データを表示する表示部と、
前記MPEGデコーダ部でMPEG復号された音声データを出力するスピーカと、
アプリケーションプログラムが格納されているフラッシュROMと、
前記アプリケーションプログラムが実行されるRAMと、
装置全体を制御する制御部と、
リモコンのキー操作信号を受信するキー受信部と、
インターネットに接続された各種サーバーとデータの送受信を行うネットワークIF部とを有するデジタル放送受信装置おいて、
前記制御部は、
前記表示部に表示される映像に含まれている対象物の対象物画像データを自動的に抽出する対象物画像データ自動抽出手段と、
前記対象物の名称と当該対象物の基準対象物画像データが関連付けされた対象物データベースを参照し、前記対象物画像データ自動抽出手段で抽出された前記対象物画像データと前記基準対象物画像データを照合して前記対象物画像データの対象物を特定する対象物特定手段と、
前記対象物特定手段で特定された前記対象物の名称と当該対象物の対象物画像データを対応付けた対象物リストを構築する対象物リスト構築手段と、
前記対象物リスト構築手段で構築された前記対象物リストを前記OSD処理部に通知して前記表示部に前記対象物リストの表示を行う対象物リスト表示手段と、
前記表示部に表示された前記対象物リストからユーザーからの操作によって対象物が選択される対象物選択手段と、
前記対象物選択手段で選択された対象物に関する対象物情報の構成要素を前記インターネットの検索で前記各種サーバーから取得し、取得した前記構成要素をもとに前記対象物情報を構築する対象物情報構築手段と、
前記対象物情報構築手段で構築された前記対象物情報を前記OSD処理部に通知して前記表示部に前記対象物情報の表示を行う対象物情報表示手段と、
を備えたものである。
【発明の効果】
【0011】
この発明は、ユーザーが映像コンテンツを視聴中に、視聴している映像に含まれている対象物について詳細な情報が知りたくなった際、視聴している映像に含まれている全ての対象物の対象物画像データを自動的に抽出し、対象物データベースを参照して抽出した対象物画像データの対象物を特定し、特定した対象物の名称および当該対象物の対象物画像データをリスト表示し、リスト表示された対象物の中から詳しい情報を知りたい対象物をカーソル操作などによってユーザーが選択可能とすることで、対象物が動いているような映像に対してもユーザーはリモコンに装備されている上下左右キーを数回押下するだけで対象物を容易に選択することができる。そのため、対象物を選択する際の煩わしい動作を軽減し、且つ確実に対象物を選択することができる。
【0012】
また、ユーザーが選択した対象物に関する詳しい情報をインターネットの検索で取得し、取得した最新の情報をもとに構築した対象物情報を表示することができるので、ユーザーは常に有用な情報を入手することができるため、ユーザーに満足感を与えることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施の形態1を示すデジタル放送受信装置の構成を示すブロック図である。
【図2】本発明の実施の形態1を示すデジタル放送受信装置の人物リスト表示処理手順を示すフローチャートである。
【図3】本発明の実施の形態1を示すデジタル放送受信装置の表示部における映像表示画面の一例を示す説明図である。
【図4】本発明の実施の形態1を示すデジタル放送受信装置で抽出した顔画像データを保存したRAMの状態を示す説明図である。
【図5】本発明の実施の形態1を示すデジタル放送受信装置における人物リストの構成の一例を示す説明図である。
【図6】本発明の実施の形態1を示すデジタル放送受信装置の表示部における人物リストを表示するための表示画面の一例を示す説明図である。
【図7】本発明の実施の形態1を示すデジタル放送受信装置の人物情報表示処理手順を示すフローチャートである。
【図8】本発明の実施の形態1を示すデジタル放送受信装置における人物情報の構成の一例を示す説明図である。
【図9】本発明の実施の形態1を示すデジタル放送受信装置の表示部における人物情報を表示するための表示画面の一例を示す説明図である。
【図10】本発明の実施の形態1を示すデジタル放送受信装置の表示部における画像や動画を含む人物情報を表示するための表示画面の一例を示す説明図である。
【図11】本発明の実施の形態1を示すデジタル放送受信装置の人物情報表示処理における検索結果の解析処理を示すフローチャートである。
【図12】本発明の実施の形態1を示すデジタル放送受信装置におけるURLの信頼度リストの一例を示す説明図である。
【図13】本発明の実施の形態2を示すデジタル放送受信装置の構成を示すブロック図である。
【発明を実施するための形態】
【0014】
実施の形態1.
図1は、この発明を実施するための実施の形態1のデジタル放送受信装置の構成を示すブロック図である。本実施の形態においては、対象物として人物を想定して説明を行う。本実施の形態のデジタル放送受信装置は、アンテナ1、チューナ2、復調部3、デマルチプレクサ部4、MPEGデコーダ部5、OSD処理部6、フラッシュROM7、RAM8、制御部9、キー受信部10およびネットワークIF部11を備えて構成されている。また、本実施の形態のデジタル放送受信装置は、音声を出力するスピーカ12と映像を表示する表示部13とを備えている。さらに、本実施の形態のデジタル放送受信装置は、ネットワークIF部11を介して、人物データベースサーバー14、各種サーバー15と接続されている。人物データベースサーバー14は、人物の名前と当該人物の基準顔画像データが関連付けされた人物データベース14aを保持しているサーバーであり、各種サーバー15は、Webサーバーなどである。
【0015】
アンテナ1は、デジタル放送信号を受信するパラボラアンテナやUHFアンテナなどであり、受信したデジタル放送信号をチューナ2に出力する。
【0016】
チューナ2は、入力されたデジタル放送信号からユーザーが所望する物理チャンネルを選択して復調部3に出力する。
【0017】
復調部3は、伝送路符号化されたデジタル放送信号の誤り訂正処理、復調処理などを行い、ユーザーが所望する番組を構成する映像データ、音声データ等がMPEG2システムで多重化されたトランスポートストリームに変換してデマルチプレクサ部4に出力する。
【0018】
デマルチプレクサ部は、入力されたトランスポートストリームから番組データ(映像データパケット、音声データパケットなど)、番組特定データ(PATパケット、PMTパケットなど)および番組配列データ(EITパケット等)を抽出し、映像データおよび音声データをMPEGデコーダ部5に出力する。
【0019】
MPEGデコーダ部5は、MPEG符号された映像データおよび音声データのMPEG復号を行い、復号された映像データを表示部13に出力し、音声データをスピーカ12に出力する。
【0020】
OSD処理部6は、制御部9からの通知に従ってMPEGデコーダ部5から出力される映像データにOSD(On Screen Display)を合成する。OSDはメニューなどの文字や画像から構成されるグラフィックスであり、映像データに重畳されて表示部13に表示される。
【0021】
フラッシュROM7は、デジタル放送受信装置のアプリケーションプログラムやデータなどが予め格納されている記録媒体である。また、フラッシュROM7には、人物の名前と当該人物の基準顔画像データが関連付けされた人物データベース7aが格納されている。しかしながら、フラッシュROM7の容量が小さい場合は、人物データベース7aを省いてもよい。さらに、フラッシュROM7には、人物情報を一時的に保存する人物情報キャッシュ領域7bが設けられている。
【0022】
RAM8は、フラッシュROM7から展開されたデジタル放送受信装置のアプリケーションプログラムが実行される。さらに、図示していないがRAM8の容量が大きい場合は、人物情報を一時的に保存する人物情報キャッシュ領域をRAM8に設けてもよい。
【0023】
制御部9は、チューナ2、復調部3、デマルチプレクサ部4、MPEGデコーダ部5、OSD処理部6、フラッシュROM7、RAM8、キー受信部10、ネットワークIF部11と接続され、デジタル放送受信装置全体の制御を行う。
【0024】
さらに、制御部9は、顔画像データ自動抽出手段9aと、人物特定手段9bと、人物リスト構築手段9cと、人物リスト表示手段9dと、人物選択手段9eと、人物情報構築手段9fと、人物情報表示手段9gとを備えている。以下、制御部9について詳細に説明する。
【0025】
顔画像データ自動抽出手段9aは、表示部13に表示される映像に含まれている全ての人物の顔画像データを抽出し、抽出した顔画像データをRAM8に保存する。また、全ての人物の顔画像データを抽出した後、一定時間が経過すると再度顔画像データの抽出を行う。
【0026】
顔画像データ自動抽出手段9aにおける抽出方法としては、例えば、表示部13に表示される映像のスクリーンショットを撮り、撮影した画像データに顔画像認識処理を行うことで全ての人物の顔画像データを抽出することができる。
【0027】
人物特定手段9bは、まずデマルチプレクサ部4で抽出された番組配列データに含まれる番組情報から番組の登場人物名を取得する。
【0028】
次に、人物特定手段9bは、顔画像データ自動抽出手段9aで抽出された顔画像データと人物データベース7a、または人物データベース14aに登録されている人物の基準顔画像データを照合する。照合した結果、顔画像データと類似率の高い基準顔画像データを複数抽出し、抽出した基準顔画像データの人物の名前と前記登場人物名を照合して名前が一致した基準顔画像データの人物を顔画像データの人物として特定する。名前が一致しなかった場合と登場人物名が番組情報に存在しなかった場合は、類似率の最も高い基準顔画像データの人物を顔画像データの人物として特定する。
【0029】
人物リスト構築手段9cは、人物特定手段9bで特定された人物の名前と当該人物の顔画像データを対応付けた人物リストを構築する。このとき、人物リスト構築手段9cは、人物特定手段9bで特定された人物の名前が既に人物リストに登録されている場合は、当該人物を人物リストに追加しない。
【0030】
人物リスト表示手段9dは、人物リストに登録されている人物の名前と当該人物の顔画像データとをOSD処理部6に通知して表示部13に当該人物リストの表示を行う。
【0031】
人物選択手段9eは、表示部13に表示された人物リストとともに人物を選択するためのカーソルを表示し、例えばリモコンなどに装備されている上下左右キーのユーザーの操作によってカーソルが移動することで人物を選択する。
【0032】
人物情報構築手段9fは、人物選択手段9eで選択された人物に関する人物情報(プロフィールなど)を構築するため、人物情報の構成要素(生年月日、趣味等)に関する情報をインターネットの検索で各種サーバー15から取得し、取得した情報をもとに人物情報を構築する。また、人物情報構築手段9fは、構築した人物情報を人物情報キャッシュ領域7bに保存する。さらに、人物情報構築手段9fは、表示部13に表示された人物リストの中から選択された人物に関する人物情報が人物情報キャッシュ領域7bに存在する場合は、人物情報キャッシュ領域7bから人物情報を取得する。
【0033】
構成要素の取得方法としては、例えば、検索サイトが提供するWeb APIを使用し、人物名および生年月日などを検索キーワードとして検索サイトに送信して検索結果を受信する。検索結果には検索キーワードの情報を含むURLが複数記載されており、当該URLからの受信データを解析することで生年月日などを取得することができる。
【0034】
さらに、検索結果として得られた複数のURLに対して信頼度の推定を行い、信頼度の高いURLから順番に受信データの解析を行う。信頼度の推定方法としては、例えば、検索結果として得られた複数のURLの中でURLの記載順を信頼度とし、最初に記載されたURLを最も高い信頼度としてもよい。また、信頼度の尺度を設定し、URLを解析して尺度が満たされているかどうかの判定を行い、尺度ごとに定められた点数の総和を当該URLの信頼度としてもよい。尺度としては、例えば、ドメイン名(com等)、検索機能の有無、外部リンク数などを用いることができる。
【0035】
人物情報表示手段9gは、人物情報構築手段9fで構築した人物情報を前記OSD処理部6に通知して表示部13に当該人物情報の表示を行う。
【0036】
図2は、本実施の形態のデジタル放送受信装置の人物リスト表示処理手順を示すフローチャートである。図3は、本実施の形態のデジタル放送受信装置の表示部における映像表示画面の一例を示す説明図である。図4は、本実施の形態のデジタル放送受信装置における抽出した顔画像データを保存したRAMの状態を示す説明図である。図5は、本実施の形態のデジタル放送受信装置における人物リストの構成の一例を示す説明図である。図6は、本実施の形態のデジタル放送受信装置における人物リストを表示するための表示画面の一例を示す説明図である。以下、図2から図6に基づいて人物リスト表示処理について説明する。
【0037】
図2に基づいて、本実施の形態のデジタル放送受信装置の人物リスト表示処理の動作について説明する。デジタル放送受信装置の電源が投入されるとデジタル放送受信装置のアプリケーションプログラムが起動し、制御部9はデジタル放送信号を受信して選局したチャンネルの番組の映像を表示部13に表示する(ステップ100)。通常の映像表示は、例えば、図3に示すように、デジタル放送受信装置500の表示部13の映像表示領域501に映像が表示される。
【0038】
映像が表示部13に表示されると、制御部9は人物情報表示開始モードが開始されているか否かを判定する(ステップ101)。人物情報表示開始モードは、例えば、ユーザーがリモコン操作によって「開始」「停止」を選択する。
【0039】
ステップ101で人物情報表示開始モードが停止の場合は、通常の映像表示を継続する。ステップ101で人物情報表示開始モードが開始の場合は、顔画像データ自動抽出手段9aは、表示部13に表示される映像に含まれている全ての人物の顔画像データを抽出し、図4に示すように、各顔画像データに対して顔画像IDを割り振った状態でRAM8に保存する(ステップ102)。
【0040】
全ての顔画像データを抽出すると、人物特定手段9bは、選局番組の番組情報を取得し、番組情報に含まれる登場人物名を取得する(ステップ103)。
【0041】
次に、人物特定手段9bは、ステップ102で抽出された顔画像データと人物データベース7a、または人物データベース14aに登録されている人物の基準顔画像データを照合して類似率の高い基準顔画像データを複数抽出し、抽出した基準顔画像データの人物の名前と前記登場人物名を照合して名前が一致した基準顔画像データの人物を顔画像データの人物として特定する(ステップ104)。なお、フラッシュROM7に登録されている人物データベース7aは、デジタル放送受信装置に予め記憶されていたものである。
【0042】
顔画像データの人物を特定すると、人物リスト構築手段9cは、当該人物が既に人物リストに登録されているか否かを判定する(ステップ105)。人物リストは、例えば、図5に示すように、人物の名前と顔画像IDを対応付けることで人物の名前と当該人物の顔画像データが対応付けされたリストとなっている。なお、最初にこのステップ105を行うときは人物リストには何も登録されていない。また、後述するが、番組が切り替わったときにはこの人物リストは削除されて何も登録されていない状態となる。
【0043】
ステップ105で既に人物リストに登録されている場合は、ステップ104に戻り、人物が特定されていない顔画像データの人物の特定を行う。
【0044】
ステップ105で人物リストに登録されていない場合は、人物を特定した顔画像データの顔画像IDと当該人物の名前を人物リストに登録する(ステップ106)。
【0045】
このようにして人物リストが新たに構築されると、人物リスト表示手段9dは、人物リストに登録されている人物の名前と当該人物の顔画像データとをOSD処理部6に通知して表示部13に人物リストを表示する(ステップ107)。人物リストは、例えば、図6に示すように、縮小した映像表示領域501の下部に設けた人物リスト表示領域502に表示される。さらに、人物選択手段9eは、ユーザーが詳細な情報を知りたい人物を選択するためのカーソル503を人物表示リストに重畳させて表示する。カーソル503のデフォルト位置は、最初に人物リストに登録された人物とする。
【0046】
人物リストが表示されると、制御部9は、RAM8に保存した全ての顔画像データについて人物が特定できたか否かを判定する(ステップ108)。
【0047】
全ての顔画像データについて人物が特定できていない場合は、ステップ104に戻り、人物が特定されていない顔画像データの人物の特定を行う。
全ての顔画像データについて人物が特定できた場合は、一定時間が経過するのを待つ(ステップ109)。
一定時間が経過すると、ステップ102に戻り、再度表示部13に表示される映像に含まれている全ての人物の顔画像データの抽出を行う。
【0048】
図7は、本実施の形態のデジタル放送受信装置の人物情報表示処理手順を示すフローチャートである。図8は、人物情報の構成の一例を示す説明図である。図9は、人物情報を表示するための表示画面の一例を示す説明図である。以下、図7から図9に基づいて人物情報表示処理について説明する。
【0049】
図7に基づいて、本実施の形態のデジタル放送受信装置の人物情報表示処理の動作について説明する。表示部13に表示された人物リストの中から、ユーザーのカーソル503の操作によって、詳しい情報を知りたい人物が選択される(ステップ200)。カーソル503のデフォルト位置は最初に人物リストに登録された人物としたため、例えば、当該人物の人物情報表示処理が最初に動作する。
【0050】
詳しい情報を知りたい人物が選択されると、人物情報構築手段9fは、選択された人物に関する人物情報が人物情報キャッシュ領域7bに存在するか否かを判定する(ステップ201)。
人物情報が人物情報キャッシュ領域7bに存在している場合は、人物情報キャッシュ領域7bから当該人物情報を取得し(ステップ202)、ステップ209に進む。
【0051】
人物情報が人物情報キャッシュ領域7bに存在していない場合は、人物情報の構成要素を検索キーワードとして抽出する(ステップ203)。例えば、図8に示すような人物情報の場合は、人物情報の構成要素は職業、性別、出身地、生年月日、年齢、好物、趣味、出演ドラマ、出演映画となる。
【0052】
人物情報構築手段9fは、抽出したキーワードをインターネットで検索し(ステップ204)、検索結果として得られた複数のURLに対して信頼度の推定を行い、信頼度の高いURLから順番に構成要素に関する情報を取得する(ステップ205)。
【0053】
次に、人物情報構築手段9fは、これらの構成要素に関する情報を取得すると、構成要素全てに関する情報を取得したか否かを判定する(ステップ206)。
【0054】
さらに、人物情報構築手段9fは、構成要素全てに関する情報を取得できていない場合は、ステップ204に戻り、検索を継続する。
【0055】
さらに、人物情報構築手段9fは、構成要素全てに関する情報を取得できた場合は、取得した情報をもとに人物情報を構築する(ステップ207)。例えば、図8に示すような人物情報となる。
【0056】
また、人物情報構築手段9fは、構築した人物情報を人物情報キャッシュ領域7bに保存する(ステップ208)。
【0057】
人物情報構築手段9fによって人物情報が構築されると、人物情報表示手段9gは、人物情報を前記OSD処理部6に通知して表示部13に人物情報を表示する(ステップ209)。人物情報は、例えば、図9に示すように、映像表示領域501と人物リスト表示領域502の右部に設けた人物情報表示領域504に表示される。
【0058】
なお、図7に示すフローチャートでは説明していないが、ユーザーが視聴している番組が切り替わったタイミングで、人物リスト構築手段9cは、人物リストの登録情報を全て削除し、人物情報構築手段9fは、人物情報キャッシュ領域7bに保存されている人物情報を全て削除する。
【0059】
また、本実施の形態においては、人物情報の構成要素を生年月日、趣味などの文字情報のみを例として説明したが、例えば、人物に関する画像や動画などを構成要素に含めてもよい。その場合、例えば、図10に示すように、人物情報表示領域504に画像の表示領域504a、504b、動画の表示領域504c、504dを設けて、人物情報の構成要素となる画像や動画を表示することができる。
【0060】
図11、は本実施の形態のデジタル放送受信装置の人物情報表示処理における検索結果の解析処理を示すフローチャートである。図12は、URLの信頼度リストの一例を示す説明図である。以下、図11および図12に基づいて検索結果の解析処理について説明する。
【0061】
図11は、図7で説明した人物情報表示処理におけるステップ205に示す検索結果の解析の処理をさらに詳細に説明したフローチャートである。人物情報構築手段9fは、検索結果の解析を開始すると(ステップ600)、検索結果として得られたURLを抽出する(ステップ601)。
【0062】
次に、人物情報構築手段9fは、抽出した各URLに対して信頼度の推定を行い(ステップ602)、信頼度リストを作成する。信頼度リストは、例えば、図12に示すように、信頼度とURLを対応付けたリストであり、信頼度欄及びURL欄、さらに、URLからデータを受信したか否かを示す受信欄とから構成される。受信欄の初期値は、データの未受信を示す0となっている。
【0063】
信頼度の推定が完了すると、人物情報構築手段9fは、信頼度リストの受信欄が0となっているURLの中から最も信頼度が高いURLを抽出し、当該URLからデータを受信した後、信頼度リストの当該URLに対応付けられた受信欄を1とする(ステップ603)。
【0064】
人物情報構築手段9fは、データを受信すると、データ解析を行い、構成要素に関する情報を取得する(ステップ604)。
【0065】
人物情報構築手段9fは、データ解析を行った結果、構成要素に関する情報を取得できたか否かを判定する(ステップ605)。
【0066】
人物情報構築手段9fは、ステップ605で情報を取得できなかった場合は、ステップ603に戻る。人物情報構築手段9fは、ステップ605で情報を取得できた場合は、検索結果の解析を終了する(ステップ606)。
【0067】
以上のように、本実施の形態のデジタル放送受信装置は、視聴している映像に含まれている全ての人物の顔画像データを自動的に抽出し、人物データベースを参照して抽出した顔画像データの人物を特定し、特定した人物の名前および当該人物の顔画像データをリスト表示し、リスト表示された人物の中から詳しい情報を知りたい人物をカーソル操作によってユーザーが選択可能とすることができる。そのため、ユーザーが映像コンテンツを視聴中に、視聴している映像に含まれている人物について詳細な情報が知りたくなったときには、人物が動いているような映像に対してもユーザーはリモコンに装備されている上下左右キーを数回押下するだけで人物を容易に選択することができるため、人物を選択する際の煩わしい動作を軽減し、且つ確実に人物を選択することができる。
【0068】
また、ユーザーが選択した人物に関する詳しい情報をインターネットの検索で取得し、取得した最新の情報をもとに構築した人物情報を表示することができるので、ユーザーは常に有用な情報を入手することができるため、ユーザーに満足感を与えることができる。
【0069】
また、一定時間が経過するごとにユーザーが視聴している映像に含まれている全ての人物の顔画像データを抽出し、登場人物の出現に追従した人物リストの表示を行うことができるので、過去の映像シーンに登場した人物も含めてリスト表示することができるため、ユーザーは視聴している番組に登場する全ての人物を選択することができる。
【0070】
また、顔画像データの人物を特定する際に、顔画像データの照合と人物名の照合とを行うことができるので、人物の特定精度を向上することができる。
【0071】
また、人物リストに既に登録されている人物の二重登録を防止することができるので、メモリ使用量の削減と、同一人物が人物リストに2つ表示されることがなく、ユーザーに与える不快感を無くすことができる。
【0072】
また、番組が切り替わったときに人物リストの登録情報を削除することができるので、ユーザーが視聴している映像に関連しない人物が人物リストに表示されることがなく、ユーザーに与える不快感を無くすことができる。
【0073】
また、信頼度の高いサーバーから取得した情報をもとに人物情報を構築することで、ユーザーは常に信頼性の高い有用な情報を入手することができるため、ユーザーに満足感を与えることができる。
【0074】
また、構築した人物情報をキャッシュしておくことで、人物情報の表示開始時間を短縮することができる。
【0075】
実施の形態2.
図13は、この発明を実施するための実施の形態2のデジタル放送受信装置の構成を示すブロック図である。本実施の形態のデジタル放送受信装置の構成は、実施の形態1のデジタル放送受信装置と同様であるが、制御部9がさらに人物情報事前構築手段9hを備えている点で実施の形態1と異なる。
【0076】
人物情報事前構築手段9hは、表示部13に表示された人物リストの中から選択された人物以外の人物、つまり、人物リストに登録された人物の中で人物情報キャッシュ領域7bに人物情報が存在しない人物に関する人物情報を事前に構築し、構築した人物情報を予め人物情報キャッシュ領域7bに保存しておく。人物情報の構築方法は、人物情報構築手段9fと同じである。
【0077】
人物情報事前構築手段9hは、実施の形態1で説明した図7の人物情報表示処理のフローチャートにおいて、人物リストの中から最初に選択された人物の人物情報が表示された後(ステップ209の後)、人物リストの中から人物情報キャッシュ領域7bに人物情報が存在しない人物を選択し、当該人物についてステップ201からステップ208の処理を行う。
【0078】
このように構成されたデジタル放送受信装置においては、人物リストの中から選択された人物以外の人物に関する人物情報を事前に構築し、キャッシュしておくことで、人物情報の表示開始時間を短縮することができる。
【符号の説明】
【0079】
1 アンテナ
2 チューナ
3 復調部
4 デマルチプレクサ部
5 MPEGデコーダ部
6 OSD処理部
7 フラッシュROM
8 RAM
9 制御部
10 キー受信部
11 ネットワークIF部
12 スピーカ
13 表示部
14 人物データベースサーバー
15 一般サーバー
【特許請求の範囲】
【請求項1】
デジタル放送信号を受信するチューナ部と、
受信したデジタル放送信号をトランスポートストリームに復調する復調部と、
この復調部で復調された前記トランスポートストリームから番組データ、番組特定データおよび番組配列データを抽出するデマルチプレクサ部と、
このデマルチプレクサ部で抽出された前記番組データに含まれる映像データおよび音声データをMPEG復号するMPEGデコーダ部と、
このMPEGデコーダ部でMPEG復号された映像データにOSDを合成するOSD処理部と、
前記OSDが合成された前記MPEG復号された映像データを表示する表示部と、
前記MPEGデコーダ部でMPEG復号された音声データを出力するスピーカと、
アプリケーションプログラムが格納されているフラッシュROMと、
前記アプリケーションプログラムが実行されるRAMと、
装置全体を制御する制御部と、
リモコンのキー操作信号を受信するキー受信部と、
インターネットに接続された各種サーバーとデータの送受信を行うネットワークIF部とを有するデジタル放送受信装置おいて、
前記制御部は、
前記表示部に表示される映像に含まれている対象物の対象物画像データを自動的に抽出する対象物画像データ自動抽出手段と、
前記対象物の名称と当該対象物の基準対象物画像データが関連付けされた対象物データベースを参照し、前記対象物画像データ自動抽出手段で抽出された前記対象物画像データと前記基準対象物画像データを照合して前記対象物画像データの対象物を特定する対象物特定手段と、
前記対象物特定手段で特定された前記対象物の名称と当該対象物の対象物画像データを対応付けた対象物リストを構築する対象物リスト構築手段と、
前記対象物リスト構築手段で構築された前記対象物リストを前記OSD処理部に通知して前記表示部に前記対象物リストの表示を行う対象物リスト表示手段と、
前記表示部に表示された前記対象物リストからユーザーからの操作によって対象物が選択される対象物選択手段と、
前記対象物選択手段で選択された対象物に関する対象物情報の構成要素を前記インターネットの検索で前記各種サーバーから取得し、取得した情報をもとに対象物情報を構築する対象物情報構築手段と、
前記対象物情報構築手段で構築された前記対象物情報を前記OSD処理部に通知して前記表示部に前記対象物情報の表示を行う対象物情報表示手段と、
を備えることを特徴とするデジタル放送受信装置。
【請求項2】
対象物画像データ自動抽出手段は、一定時間が経過するごとに表示部に表示される映像に含まれている対象物の対象物画像データを抽出することを特徴とする請求項1に記載のデジタル放送受信装置。
【請求項3】
対象物特定手段は、番組配列データに含まれる番組情報から番組の登場対象物の名称を取得し、対象物画像データ自動抽出手段で抽出された対象物画像データと前記対象物データベースに登録されている対象物の基準対象物画像データを照合して類似率の高い前記基準対象物画像データを複数抽出し、抽出された前記複数の基準対象物画像データの対象物の名称と前記登場対象物の名称とを照合し、名称が一致した基準対象物画像データの対象物を対象物画像データの対象物として特定することを特徴とする請求項1または2に記載のデジタル放送受信装置。
【請求項4】
対象物リスト構築手段は、前記対象物特定手段で特定された対象物の名称が既に対象物リストに登録されている場合は、当該対象物を対象物リストに追加しないことを特徴とする請求項1〜3のいずれか一項に記載のデジタル放送受信装置。
【請求項5】
対象物リスト構築手段は、番組が切り替わった時に対象物リストの登録情報を削除することを特徴とする請求項1〜4のいずれか一項に記載のデジタル放送受信装置。
【請求項6】
対象物情報構築手段は、前記インターネットの検索結果としてリストアップされた各種サーバーに対して信頼度の推定を行い、信頼度の高いサーバーから順番に対象物選択手段で選択された対象物に関する対象物情報の構成要素を取得することを特徴とする請求項1〜5のいずれか一項に記載のデジタル放送受信装置。
【請求項7】
対象物情報構築手段は、構築した対象物情報をフラッシュROMおよびRAMの少なくとも一方に設定された対象物情報キャッシュ領域に保存し、表示部に表示された対象物リストの中から選択された対象物の対象物情報を構築する際、選択された前記対象物の前記対象物情報が前記対象物情報キャッシュ領域に存在するか否かを判定し、存在する場合は前記対象物情報キャッシュ領域から当該対象物情報を取得することを特徴とする請求項1〜6のいずれか一項に記載のデジタル放送受信装置。
【請求項8】
対象物情報構築手段は、表示部に表示された対象物リストの中から選択された対象物以外の対象物に関する情報をインターネットの検索で各種サーバーから取得し、取得された情報に基づいて対象物情報を事前に構築して前記対象物情報キャッシュ領域に保存することを特徴とする請求項6に記載のデジタル放送受信装置。
【請求項9】
対象物情報構築手段は、番組が切り替わった時にフラッシュROMおよびRAMの少なくとも一方に設定された対象物情報キャッシュ領域に保存されている対象物情報を消去することを特徴とする請求項7または8に記載のデジタル放送受信装置。
【請求項10】
デジタル放送信号を受信する受信ステップと、
受信したデジタル放送信号をトランスポートストリームに復調する復調ステップと、
この復調ステップで復調された前記トランスポートストリームから番組データ、番組特定データおよび番組配列データを抽出する番組抽出ステップと、
この番組抽出ステップで抽出された前記番組データに含まれる映像データおよび音声データをMPEG復号するMPEG復号ステップと、
このMPEG復号ステップでMPEG復号された映像データにOSDを合成するOSD合成ステップと、
前記OSDが合成された前記MPEG復号された映像データを表示する表示ステップと、
前記MPEG復号ステップでMPEG復号された音声データを出力する出力ステップと、
リモコンのキー操作信号を受信するキー受信ステップと、
インターネットに接続された各種サーバーとデータの送受信を行うネットワーク送受信ステップと、
表示される映像に含まれている対象物の対象物画像データを自動的に抽出する対象画像データ自動抽出ステップと、
前記対象物の名称と当該対象物の基準対象物画像データが関連付けされた対象物データベースを参照し、前記対象物画像データ自動抽出ステップで抽出された前記対象物画像データと前記基準対象物画像データを照合して前記対象物画像データの対象物を特定する対象物特定ステップと、
前記対象物特定ステップで特定された前記対象物の名称と当該対象物の対象物画像データを対応付けた対象物リストを構築する対象物リスト構築ステップと、
前記対象物リスト構築ステップで構築された前記対象物リストの表示を行う対象物リスト表示ステップと、
前記対象物リストからユーザーからの操作によって対象物が選択される対象物選択ステップと、
前記対象物選択ステップで選択された対象物に関する対象物情報の構成要素を前記インターネットの検索で前記各種サーバーから取得し、取得した情報をもとに対象物情報を構築する対象物情報構築ステップと、
前記対象物情報構築ステップで構築された前記対象物情報の表示を行う対象物情報表示ステップと
を備えることを特徴とするデジタル放送受信方法。
【請求項1】
デジタル放送信号を受信するチューナ部と、
受信したデジタル放送信号をトランスポートストリームに復調する復調部と、
この復調部で復調された前記トランスポートストリームから番組データ、番組特定データおよび番組配列データを抽出するデマルチプレクサ部と、
このデマルチプレクサ部で抽出された前記番組データに含まれる映像データおよび音声データをMPEG復号するMPEGデコーダ部と、
このMPEGデコーダ部でMPEG復号された映像データにOSDを合成するOSD処理部と、
前記OSDが合成された前記MPEG復号された映像データを表示する表示部と、
前記MPEGデコーダ部でMPEG復号された音声データを出力するスピーカと、
アプリケーションプログラムが格納されているフラッシュROMと、
前記アプリケーションプログラムが実行されるRAMと、
装置全体を制御する制御部と、
リモコンのキー操作信号を受信するキー受信部と、
インターネットに接続された各種サーバーとデータの送受信を行うネットワークIF部とを有するデジタル放送受信装置おいて、
前記制御部は、
前記表示部に表示される映像に含まれている対象物の対象物画像データを自動的に抽出する対象物画像データ自動抽出手段と、
前記対象物の名称と当該対象物の基準対象物画像データが関連付けされた対象物データベースを参照し、前記対象物画像データ自動抽出手段で抽出された前記対象物画像データと前記基準対象物画像データを照合して前記対象物画像データの対象物を特定する対象物特定手段と、
前記対象物特定手段で特定された前記対象物の名称と当該対象物の対象物画像データを対応付けた対象物リストを構築する対象物リスト構築手段と、
前記対象物リスト構築手段で構築された前記対象物リストを前記OSD処理部に通知して前記表示部に前記対象物リストの表示を行う対象物リスト表示手段と、
前記表示部に表示された前記対象物リストからユーザーからの操作によって対象物が選択される対象物選択手段と、
前記対象物選択手段で選択された対象物に関する対象物情報の構成要素を前記インターネットの検索で前記各種サーバーから取得し、取得した情報をもとに対象物情報を構築する対象物情報構築手段と、
前記対象物情報構築手段で構築された前記対象物情報を前記OSD処理部に通知して前記表示部に前記対象物情報の表示を行う対象物情報表示手段と、
を備えることを特徴とするデジタル放送受信装置。
【請求項2】
対象物画像データ自動抽出手段は、一定時間が経過するごとに表示部に表示される映像に含まれている対象物の対象物画像データを抽出することを特徴とする請求項1に記載のデジタル放送受信装置。
【請求項3】
対象物特定手段は、番組配列データに含まれる番組情報から番組の登場対象物の名称を取得し、対象物画像データ自動抽出手段で抽出された対象物画像データと前記対象物データベースに登録されている対象物の基準対象物画像データを照合して類似率の高い前記基準対象物画像データを複数抽出し、抽出された前記複数の基準対象物画像データの対象物の名称と前記登場対象物の名称とを照合し、名称が一致した基準対象物画像データの対象物を対象物画像データの対象物として特定することを特徴とする請求項1または2に記載のデジタル放送受信装置。
【請求項4】
対象物リスト構築手段は、前記対象物特定手段で特定された対象物の名称が既に対象物リストに登録されている場合は、当該対象物を対象物リストに追加しないことを特徴とする請求項1〜3のいずれか一項に記載のデジタル放送受信装置。
【請求項5】
対象物リスト構築手段は、番組が切り替わった時に対象物リストの登録情報を削除することを特徴とする請求項1〜4のいずれか一項に記載のデジタル放送受信装置。
【請求項6】
対象物情報構築手段は、前記インターネットの検索結果としてリストアップされた各種サーバーに対して信頼度の推定を行い、信頼度の高いサーバーから順番に対象物選択手段で選択された対象物に関する対象物情報の構成要素を取得することを特徴とする請求項1〜5のいずれか一項に記載のデジタル放送受信装置。
【請求項7】
対象物情報構築手段は、構築した対象物情報をフラッシュROMおよびRAMの少なくとも一方に設定された対象物情報キャッシュ領域に保存し、表示部に表示された対象物リストの中から選択された対象物の対象物情報を構築する際、選択された前記対象物の前記対象物情報が前記対象物情報キャッシュ領域に存在するか否かを判定し、存在する場合は前記対象物情報キャッシュ領域から当該対象物情報を取得することを特徴とする請求項1〜6のいずれか一項に記載のデジタル放送受信装置。
【請求項8】
対象物情報構築手段は、表示部に表示された対象物リストの中から選択された対象物以外の対象物に関する情報をインターネットの検索で各種サーバーから取得し、取得された情報に基づいて対象物情報を事前に構築して前記対象物情報キャッシュ領域に保存することを特徴とする請求項6に記載のデジタル放送受信装置。
【請求項9】
対象物情報構築手段は、番組が切り替わった時にフラッシュROMおよびRAMの少なくとも一方に設定された対象物情報キャッシュ領域に保存されている対象物情報を消去することを特徴とする請求項7または8に記載のデジタル放送受信装置。
【請求項10】
デジタル放送信号を受信する受信ステップと、
受信したデジタル放送信号をトランスポートストリームに復調する復調ステップと、
この復調ステップで復調された前記トランスポートストリームから番組データ、番組特定データおよび番組配列データを抽出する番組抽出ステップと、
この番組抽出ステップで抽出された前記番組データに含まれる映像データおよび音声データをMPEG復号するMPEG復号ステップと、
このMPEG復号ステップでMPEG復号された映像データにOSDを合成するOSD合成ステップと、
前記OSDが合成された前記MPEG復号された映像データを表示する表示ステップと、
前記MPEG復号ステップでMPEG復号された音声データを出力する出力ステップと、
リモコンのキー操作信号を受信するキー受信ステップと、
インターネットに接続された各種サーバーとデータの送受信を行うネットワーク送受信ステップと、
表示される映像に含まれている対象物の対象物画像データを自動的に抽出する対象画像データ自動抽出ステップと、
前記対象物の名称と当該対象物の基準対象物画像データが関連付けされた対象物データベースを参照し、前記対象物画像データ自動抽出ステップで抽出された前記対象物画像データと前記基準対象物画像データを照合して前記対象物画像データの対象物を特定する対象物特定ステップと、
前記対象物特定ステップで特定された前記対象物の名称と当該対象物の対象物画像データを対応付けた対象物リストを構築する対象物リスト構築ステップと、
前記対象物リスト構築ステップで構築された前記対象物リストの表示を行う対象物リスト表示ステップと、
前記対象物リストからユーザーからの操作によって対象物が選択される対象物選択ステップと、
前記対象物選択ステップで選択された対象物に関する対象物情報の構成要素を前記インターネットの検索で前記各種サーバーから取得し、取得した情報をもとに対象物情報を構築する対象物情報構築ステップと、
前記対象物情報構築ステップで構築された前記対象物情報の表示を行う対象物情報表示ステップと
を備えることを特徴とするデジタル放送受信方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−12913(P2013−12913A)
【公開日】平成25年1月17日(2013.1.17)
【国際特許分類】
【出願番号】特願2011−144407(P2011−144407)
【出願日】平成23年6月29日(2011.6.29)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成25年1月17日(2013.1.17)
【国際特許分類】
【出願日】平成23年6月29日(2011.6.29)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]