番組再生装置および番組再生方法
【課題】番組の映像に含まれている複数の対象から視聴者が所望の対象を簡単に選択して、その対象の情報をネットワーク経由で速やかに得ることができる番組再生装置を実現する。
【解決手段】１つのフレームから１箇所または複数の領域を画像データとして抽出する画像抽出手段と、抽出した画像データの位置を明示するマーカーを生成するＧＵＩ制御手段と、マーカーを１つのフレームに重畳して表示する表示制御手段と、視聴者によってマーカーを用いて１つの画像データが選択される操作手段と、番組配列情報および番組特定情報から画像検索キーを生成する画像検索キー生成手段と、画像検索キーを用いて外部のサーバーから参照画像を取得して画像データと照合する画像検索照合手段と、照合結果に基づいて画像データの属性を示す情報検索キーを生成し、ネットワーク経由で画像データに関連する情報を取得する情報検索手段とを備えたものである。
【解決手段】１つのフレームから１箇所または複数の領域を画像データとして抽出する画像抽出手段と、抽出した画像データの位置を明示するマーカーを生成するＧＵＩ制御手段と、マーカーを１つのフレームに重畳して表示する表示制御手段と、視聴者によってマーカーを用いて１つの画像データが選択される操作手段と、番組配列情報および番組特定情報から画像検索キーを生成する画像検索キー生成手段と、画像検索キーを用いて外部のサーバーから参照画像を取得して画像データと照合する画像検索照合手段と、照合結果に基づいて画像データの属性を示す情報検索キーを生成し、ネットワーク経由で画像データに関連する情報を取得する情報検索手段とを備えたものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字、静止画、動画、音声などで構成される番組を再生することができるとともに、番組に関連する情報の検索ができる番組再生装置に関するものである。
【背景技術】
【０００２】
デジタル放送やネットワーク配信される番組を視聴している際に、視聴者が未知の出演者を見つけた場合、出演者の名前やプロフィールをその場で知りたくなることがある。例えばデジタル放送においては、放送ストリームに番組配列情報（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ：以降ＳＩ情報と称する）が含まれているので、受像機側でこのＳＩ情報を用いて電子番組表（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：以降ＥＰＧと称する）画面を生成する。視聴者はこのＥＰＧを参照することで視聴中の番組の主な出演者名を見ることができる。
【０００３】
しかし、視聴者は、そもそも出演者の顔を知らないこともあるので、どの出演者がＥＰＧに記載された出演者名であるかがわからない場合が多い。名前と顔とを一致させるためには、例えばパソコンなどを介して、Ｗｅｂの検索サイトを利用して出演者の名前で検索して出演者の顔を知る必要がある。例えば、ＥＰＧの出演者名を順次検索することで当該出演者名に対応した顔画像をパソコンの画面に呼び出して、この顔画像と番組の出演者映像とを照合することが考えられるが、視聴者にとっては非常に煩雑である。また、パソコンなどの検索環境が手元にない場合には、視聴者は、結局誰だか分からずにあきらめる可能性がある。また、ＳＩ情報には主要な出演者名しか含まれていないため、当該の出演者名がＥＰＧに記載されてない可能性もある。
【０００４】
このような課題を解決するために、放送映像に含まれる顔画像データを抽出した上で、抽出した顔画像データを、データベース化された基準画像と照合する装置に転送することで、抽出した顔画像に対応する情報（名前、性別、プロフィールなど）を取得して受像機の画面に表示することで、視聴者が未知の出演者を特定する事を可能とする方法が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１１８４１１号公報（第４−９頁、図６）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような従来の方法においては、画像から対象となる顔画像を切り出すために、領域を示すフレームを画面に表示させ、視聴者がリモコン操作などでフレームを移動させる方法と、顔画像検出処理によってフレームを自動的に顔の範囲に表示する方法とが示されているが、いずれの方法であっても１つの画面に複数の人物が映っている場面から所望の顔画像を切り出すことは困難である。また、画像サイズが小さい、顔が横を向いている、輝度やコントラストが不十分など、顔の照合に不適切な品質の画像が切り出される可能性もあり、このような場合、顔画面の切り出し以降の照合処理が困難になるという問題がある。
【０００７】
この発明は、上述のような課題を解決するためになされたもので、デジタル放送やネットワーク配信される番組の映像に含まれている複数の対象から視聴者が所望の対象を簡単に選択して、その対象の情報を速やかに得ることができる番組再生装置を実現することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る番組再生装置は、受信した番組を再生する番組再生装置であって、ネットワークを経由して外部のサーバーと通信する通信手段と、前記番組の伝送ストリームを映像ストリーム、音声ストリームおよびデータセクションに分離するデマルチプレクス手段と、前記映像ストリームをデコードして映像信号に変換する映像デコード手段と、前記映像信号に含まれる１つのフレームから１箇所または複数の領域を切り出して画像データとして抽出する画像抽出手段と、前記１つのフレーム内において、前記抽出した１箇所または複数の画像データの位置を明示するマーカーを生成するＧＵＩ制御手段と、前記マーカーを前記１つのフレームに重畳して表示する表示制御手段と、視聴者によって前記マーカーを用いて前記１箇所または複数の画像データから１つの画像データが選択される操作手段と、前記データセクションに含まれる番組配列情報および番組特定情報を抽出する番組データ抽出手段と、前記番組配列情報および前記番組特定情報から参照画像を検索するための画像検索キーを生成する画像検索キー生成手段と、前記画像検索キーを用いて、前記通信手段によって前記ネットワーク経由で前記外部のサーバーから前記参照画像を取得し、前記画像データと前記参照画像とを照合する画像検索照合手段と、前記照合結果に基づいて前記画像データの属性を示す情報検索キーを生成し、前記情報検索キーを用い前記通信手段によって前記ネットワーク経由で前記画像データに関連する情報を取得する情報検索手段とを備えたものである。
【発明の効果】
【０００９】
この発明は、番組の映像から抽出した１枚もしくは複数の画像データの位置を明示するマーカーを、画像データを抽出した元のフレームに重ねて表示し、視聴者がマーカーを基に１枚の画像データを選択してその画像データを参照画像と照合することで、視聴者が選択した画像データの属性を特定して、その属性を基にネットワーク経由で視聴者が選択した画像データの情報を取得するように構成することで、視聴者は番組の映像に含まれている複数の対象から特定の対象を簡単に選択して、その対象の情報を速やかに得ることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１における番組再生装置を示すブロック構成図である。
【図２】この発明の実施の形態１におけるネットワーク構成図である。
【図３】この発明の実施の形態１における番組再生装置の動作を示すフローチャートである。
【図４】この発明の実施の形態１における操作入力部の外観例である。
【図５】この発明の実施の形態１における設定画面の構成例である。
【図６】この発明の実施の形態１における設定画面のフォーカス移動例である。
【図７】この発明の実施の形態１における番組再生画面例である。
【図８】この発明の実施の形態１における顔画像切り出し領域例である。
【図９】この発明の実施の形態１における抽出画像テーブル例である。
【図１０】この発明の実施の形態１における抽出画像領域の選択画面例である。
【図１１】この発明の実施の形態１における抽出画像領域に対するマーカー設定例である。
【図１２】この発明の実施の形態１における画像検索キーリストの例である。
【図１３】この発明の実施の形態１における参照画像取得要求メッセージおよび参照画像取得応答メッセージの例である。
【図１４】この発明の実施の形態１における情報取得要求メッセージの例である。
【図１５】この発明の実施の形態１における情報取得応答メッセージの例である。
【図１６】この発明の実施の形態１における情報表示画面の例である。
【図１７】この発明の実施の形態２における番組再生装置の動作を示すフローチャートである。
【図１８】この発明の実施の形態２における抽出画像テーブル例である。
【図１９】この発明の実施の形態２における抽出画像領域の選択画面例である。
【図２０】この発明の実施の形態３における番組再生装置を示すブロック構成図である。
【図２１】この発明の実施の形態３における画像検索キーデータベースの例である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、この発明を実施するための実施の形態１における番組再生装置１の構成の一形態を示すブロック構成図である。番組再生装置１は、主な要素としてチューナー／復調部１０、デスクランブル部１１、デマルチプレクス部１２、映像デコード部１３、番組データ抽出部１４、画像検索キー生成部１６、画像抽出部１７、画像検索照合部１８、情報検索制御部１９、通信プロトコル処理部２０、ネットワーク通信部２１、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）制御部２２、操作入力部２３、操作解析部２４、表示制御部２５、表示部２６、音声デコード部２７および音声出力部２８から構成される。
【００１２】
チューナー／復調部１０は、放送を受信するためのフロントエンド処理を行う部分であり、放送を選局して復調することで放送波からストリームデータを抽出する。チューナー／復調部１０によって放送波から抽出されたストリームデータは、暗号化されているためデスクランブル部１１で復号化される。デマルチプレクス部１２は、デスクランブル部１１で復号化されたストリームデータから映像ストリーム、音声ストリーム、およびＳＩ情報、番組特定情報などのデータを含んだセクションに分離する。
【００１３】
映像デコード部１３は、ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２）などの形式で圧縮符号化されている映像ストリームを復号化することでビデオ信号に変換する。番組データ抽出部１４は、セクションからＳＩ情報、番組特定情報などのデータを抽出する。画像検索キー生成部１６は、画像を検索する際の検索キーを生成する。画像抽出部１７は映像デコード部１３が復号化したビデオ信号から顔画像の切り出しを行う。画像検索照合部１８は、画像抽出部１７で切り出された顔画像データを参照画像データと比較して顔の照合を行い、情報検索のための検索キーを生成する。
【００１４】
情報検索制御部１９は、ネットワーク経由で検索キーを基に検索を行う。通信プロトコル処理部２０は、必要なプロトコルに応じた送信メッセージの生成および受信メッセージの解析を行う。ネットワーク通信部２１は、ネットワーク経由でパケットの送受信を行う。
【００１５】
ＧＵＩ制御部２２は、各種操作画面や状態通知画面の生成、入力コマンドに応じた画面の切り替えなどを行う。操作入力部２３は、リモコン、キーボード、マウスなどであり、ユーザーが操作の指示を入力するための入力デバイスの総称である。操作解析部２４は、操作入力部２３から入力されたコマンドを解析してＧＵＩ制御部２２に通知する。表示制御部２５は、映像デコード部１３で復号化されたビデオ信号やＧＵＩ制御部２２で生成された各種画面の表示制御を行う。表示部２６は、表示制御部２５の表示制御にしたがって適切な映像を表示するディスプレイである。
【００１６】
音声デコード部２７は、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｅｃ）などの形式で圧縮符号化されている音声ストリームを復号化することで音声信号データに変換する。音声出力部２８は、音声デコード部２７で復号化された音声信号データをアナログ信号に変換し、増幅してスピーカーから出力する。
【００１７】
図２は、本実施の形態の番組再生装置１がネットワークに接続された状態を示すネットワーク構成図である。番組再生装置１は、ネットワーク通信部２１を介して、図２に示すとおりネットワーク２に接続されている。この図におけるネットワーク２の代表的なものとしてインターネットであるが、その他専用のイントラネットやホームネットワークなどの場合もある。
【００１８】
ネットワーク２には画像データベースサーバー３と情報データベースサーバー４とが接続されている。画像データベースサーバー３には顔照合に必要な参照画像データと、参照画像の内容を説明する属性情報（例えば、人物画像の場合はその人物の名前、性別、年齢などの情報）を対応付けたデータベースとが格納されている。情報データベースサーバー４には特定の人物のプロフィールなど詳細な情報が格納されている。
【００１９】
なお、図２において、画像データベースサーバー３と情報データベースサーバー４とをそれぞれ１台ずつ別のものとして記載しているが、物理的に同じサーバーに統合されていてもよい。また、図２において、番組再生装置１と画像データベースサーバー３と情報データベースサーバー４とをそれぞれ１台ずつ記載してあるが、それぞれが複数台接続されていてもよい。
【００２０】
次に、本実施の形態における、番組再生装置１の動作について説明する。図３は、本実施の形態における番組再生装置１の動作のフローを示す図である。図４に、本実施の形態における番組再生装置１の操作に用いる操作入力部２３の一例である。図４に示す通り、操作入力部２３としてリモコンを例として説明を行う。
【００２１】
操作入力部２３にはリモコンキーが配列されている。本実施の形態で使用するキーとして、チャンネル番号の直接選択や数字を入力するためのキーが３列×４行の形状で配置されている。これらのキーの名称は、それぞれ数字１キー４１、数字２キー４２、数字３キー４３、数字４キー４４、数字５キー４５、数字６キー４６、数字７キー４７、数字８キー４８、数字９キー４９、数字１０／０キー５０、数字１１キー５１および数字１２キー５２とする。また、上記の１２個のキーを総称して数字キーと称する。
【００２２】
番組再生装置１において、チャンネル指定、音量変更などリモコンキーを押下することで直接実行される操作ではなく、表示部２６に表示されたメニュー画面等のＧＵＩ画面（設定画面）を見ながら実行する操作の場合、ユーザーは、設定画面の選択可能な項目が表示されている部分にフォーカスを当てることで所望の項目を選択する。ここで言う「フォーカスを当てる」とは、表示画面に含まれている選択可能な箇所から任意の箇所を特定していることを示す。
【００２３】
図５は、本実施の形態における設定画面の構成例である。図５に示すようにフォーカスが当っている領域の色やトーンを変えたり、枠で囲んだりする。図５は「ネットワーク設定」にフォーカスが当っていることを示している。フォーカスの移動は、リモコンの「十字キー（上下左右の矢印キー）」を用いて、選択可能な箇所を順番に移動する方法が用いられる。
【００２４】
図４に示す操作入力部２３にはフォーカスを移動するための十字キーが配列されている。十字キーは、実際には上側に移動するキー、下側に移動するキー、右側に移動するキーおよび左側に移動するキーの４種類で構成されている。これらのキーは、それぞれ図４の３１、３２、３３および３４に相当し、以降は便宜的に上キー３１、下キー３２、右キー３３および左キー３４と称する。また、上キー３１、下キー３２、右キー３３および左キー３４の４つのキーを総称する場合は十字キーと称する。図６は、本実施の形態における設定画面のフォーカス移動例である。図６の例では、「受信設定」にフォーカスが当っている状態から「ネットワーク設定」にフォーカスを移動する場合を示しており、この移動には下キー３２を２回押下する必要がある。上記のキーに加えて操作入力部２３には図４の通り顔検索キー３６が配置されている。
【００２５】
番組再生装置１は、チューナー／復調部１０で放送波の同調および復調を行い、復調したストリームをデスクランブル部１１で暗号解除を行った後、暗号解除されたストリームデータからデマルチプレクス部１２によって映像ストリーム、音声ストリーム、およびＳＩ情報、番組特定情報などのデータを含んだセクションに分離する。なお、ストリームデータは、データストリーム（例えば、字幕に関するデータなど）を含んでいる場合があり、その場合にはデマルチプレクス部１２は、このデータストリームも分離する。映像ストリームは映像デコード部１３によって映像信号に復号化され、映像信号は表示制御部２５を経由して表示部２６に表示される。
【００２６】
図７は、本実施の形態における番組再生画面例である。これ以降、図３を用いて本実施の形態における番組再生装置１の動作を説明する。視聴者は、図７に示す通り４名の人物が映っている番組を視聴している状態で、ステップＳ１０１において番組再生装置１の操作入力部２３の顔検索キー３６を押下する。操作入力部２３は、操作解析部２４に対して押下されたキーのコード情報を送信する。操作解析部２４は、受信したキーコード情報から顔検索機能のＧＵＩ画面を有効にするようにＧＵＩ制御部２２に要求を行う。ＧＵＩ制御部２２は、画像抽出部１７に対して出画中の映像から顔画像の切り出しを行うように要求を行うと同時に、表示制御部２５に対して画像静止の要求を行う。
【００２７】
ステップＳ１０２において、画像抽出部１７は、映像デコード部１３によって復号化された映像信号に含まれる任意のフレームから顔画像の切り出しを行う。図８は、本実施の形態における顔画像切り出し領域例である。この例では４つの顔を検出して、図８に示す４つの領域Ａ１、Ａ２、Ａ３およびＡ４を切り出したとする。画像抽出部１７は、この切り出した領域が画面中のどこに位置するかを示す座標値を含んだ抽出画像テーブルを生成する。また、併せて切り出した４つの領域の画像をそれぞれ個別の抽出画像ファイルとして生成する。
【００２８】
図９は、本実施の形態における抽出画像テーブル例である。抽出画像テーブルの要素としては、この画面内におけるＡ１〜Ａ４領域それぞれの左上角の位置を示すための水平座標位置および垂直座標位置、領域Ａ１〜Ａ４それぞれのサイズを示すための水平サイズおよび垂直サイズ、並びに領域Ａ１〜Ａ４のそれぞれを特定するための画像ＩＤから構成される。また、一番右側の列には説明の便宜上、領域を区別する符号番号を示しているが実際の抽出画像テーブルの要素としては不要である。座標は、図８に示す通り、画面全体の左上を原点（座標０）として、水平方向は右側に進むにつれ座標値は増加する。また垂直方向は下側に進むにつれ座標値は増加する。
【００２９】
座標は画素数を単位としている。この例ではフルハイビジョン（水平方向：１９２０画素×垂直方向：１０８０画素）の画像を想定しているので、右端の水平位置座標は１９１９、下端の垂直位置座標は１０７９となる。図９の抽出画像テーブルにおいて、領域Ａ１は、画像ＩＤが１、左上角の位置座標が水平位置座標＝３２０、垂直位置座標＝２１２、水平サイズ＝３３０画素、垂直サイズ３４０画素であることを示している。また、この抽出画像テーブルにおいて、番組中のどのフレームに相当するかを示すためにフレームＩＤと抽出画像テーブルとの対応付けが行われる。フレームＩＤはある程度長い期間中（例えば番組単位）でそれぞれのフレームがユニークに特定できるように割り付けた番号である。例えばデコード時にフレーム１枚ごとに１ずつ増加させるカウンター値を割り付けることで実現できる。
【００３０】
ステップＳ１０３において、ＧＵＩ制御部２２は、抽出画像テーブルを参照して、視聴者が顔画像を区別して選択できるように、顔が表示されている領域を区別するためのマーカーのグラフィックスデータを生成し、生成したマーカーを重畳表示するフレームを指定するために、抽出画像テーブルに対応付けられたフレームＩＤとともにマーカーのグラフィックスデータを表示制御部２５に引き渡す。表示制御部２５は受け取ったフレームＩＤに対応するフレームを静止画として表示部２６に表示するとともに、マーカーのグラフィックスデータをこのフレームに重ねて表示する。図１０は、このようにしてグラフィックスデータがフレームに重畳して表示された、抽出画像領域の選択画面例である。
【００３１】
図１０の例では、顔の周辺を囲む楕円形を配置し、視聴者が区別できるようにそれぞれに「１」、「２」、「３」および「４」の番号を付加して表示している。図１１は、抽出画像領域に対するマーカー設定例である。この楕円形は、図１１に示す通り、抽出画像テーブルにおける水平座標位置、垂直座標位置、水平サイズおよび垂直サイズの４つの変数から領域Ａ２の長方形に内接する楕円として算出されて表示されている。この方法により、顔が近接している場面でもマーカー同士が重なりにくくなり視聴者による視認性が高まる効果が得られる。
【００３２】
ステップＳ１０４において、視聴者は検索したい顔の選択を行う。具体的な操作としては、図１０に示す抽出画像領域の選択画面を見ながら、所望の顔に該当する番号を操作入力部２３の数字キーを押下することで選択する。例えば、数字２キー４２を押下すると、領域Ａ２に対応する顔の選択を行ったことになる。この方法により視聴者は操作入力部２３のリモコンボタンの１つを１回押すだけで所望の顔を選択することが可能となり、操作が容易になるという効果が得られる。例えば、図１０の画面のように顔が縦一列もしくは横一列に並んでいないような場面では、十字キーを押したときにフォーカスが移動する方向が分かりにくいという問題がある（例えば、１にフォーカスが当たっている場合に右キー３３を押下したら２と３のどちらにフォーカスが移動するか分かりにくい）。しかしながら、本実施の形態のようにマーカーに個別の番号が付与されており、ユーザーはこの番号を数字キーで直接入力することができるので、視聴者が迷うことなく所望の顔を選択できる効果が得られる。
【００３３】
このステップＳ１０４において、操作解析部２４は、押下された数字キーのコードを受信して、受信したキーコード情報からＧＵＩ制御部２２に数字の「２」が選択されたことを通知する。ＧＵＩ制御部２２は、数字の「２」が選択された通知に従って、視聴者が選択した抽出画像の画像ＩＤを画像検索照合部１８に引き渡す。また、これと同時にＧＵＩ制御部は、表示制御部２５に対して画像静止終了の要求を行う、この要求を受けて表示制御部２５は、マーカーのグラフィックスの重畳表示を終了するとともに番組映像の再生表示を再開する。これにより視聴者が自身の選択操作が受付けられたことを認識できるという効果が得られる。
【００３４】
ステップＳ１０５において、画像検索照合部１８は、画像検索キー生成部１６に対して画像検索キーの生成要求を行う。画像検索キー生成部１６は、番組データ抽出部１４でセクションデータから抽出された番組特定情報を入手して、現在視聴中の番組を特定した上で、同じく番組データ抽出部１４でセクションデータから抽出された番組配列情報（ＳＩ情報）を参照して出演者名の一覧から構成される画像検索キーリストを生成する。図１２は、本実施の形態における画像検索キーリストの例である。画像検索キー生成部１６は、画像検索照合部１８に生成した画像検索キーリストを引き渡す。
【００３５】
ステップＳ１０６において、画像検索キー生成部１６は、画像検索キーリストを参照して、まず先頭に登録されている出演者名（図１２の例では画像検索キー番号１の「小田健二」）をキーとして、通信プロトコル処理部２０に参照画像取得要求のメッセージ作成コマンドを発行する。通信プロトコル部２０は、所定のプロトコルに従った参照画像取得要求メッセージを生成する。この場合の所定のプロトコルとは例えばＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）に従って構成されたＧＥＴメソッドなどである。図１３は、参照画像取得要求メッセージおよび参照画像取得応答メッセージの例である。このメッセージではｒｅｆｉｍｇ．ｂｍｐという名称の参照画像を要求している。この後に通信プロトコル部２０は、ネットワーク通信部２１を介してネットワーク経由で画像データベース３に対してこの参照画像取得要求メッセージを送信する。
【００３６】
画像データベース３は、受信した参照画像取得要求メッセージを解析して、「小田健二」に合致する参照画像データを参照画像取得応答メッセージとして番組再生装置１のネットワーク通信部２１に送信する。図１３には参照画像取得応答メッセージの例も示している。このメッセージでは、ＨＴＴＰのＧＥＴメソッドに対するレスポンスメッセージの形式を採用している。通常、参照画像データは１枚であるが、照合精度を向上させるために複数枚用いてもよい。
【００３７】
ステップＳ１０７において、番組再生装置１の通信プロトコル処理２０は、ネットワーク通信部２１を介して、参照画像取得応答メッセージを受信する。通信プロトコル処理２０は、参照画像取得応答メッセージから参照画像データのみを抽出して画像検索照合部１８に引き渡す。画像検索照合部１８は、ステップＳ１０２で画像抽出部１７が生成した抽出画像ファイルおよび抽出画像テーブルを基に、ステップＳ１０４でＧＵＩ制御部２２から引き渡された抽出画像の画像ＩＤからステップＳ１０６で取得した参照画像データとの照合を行う１つの抽出画像ファイルを決定し、この参照画像データとの照合判定を行う。
【００３８】
抽出画像ファイルと参照画像データとの照合判定の方法としては、一般に顔照合処理技術して知られている、例えば、固有顔法、ＬＦＡ（Ｌｏｃａｌ Ｆｅａｔｕｒｅ Ａｎａｌｙｓｙｓ）法などのアルゴリズムを適用することができる。これらの方法においては、抽出画像ファイルと参照画像データとの類似度など照合結果のスコア値がある一定の閾値以上であれば一致すると判定する。
【００３９】
ステップＳ１０８において、照合判定結果が「参照画像と合致しない」となった場合、すなわち照合結果のスコアが所定の閾値を越えなかった場合はステップＳ１０９に遷移する。ステップＳ１０９では、画像検索キー番号が画像検索キーリストの最後の画像を示す値ではなかった場合、例えば図１２の画像検索キーリストにおける画像検索キー番号が１から８のいずれかの場合は、ステップＳ１１０に遷移する。ステップＳ１１０において、画像検索キー番号を＋１増加させて再度ステップＳ１０６に遷移する。
【００４０】
ステップＳ１０８において、照合判定結果が「参照画像と合致する」となった場合、すなわち照合結果のスコアが所定の閾値を越えた場合はステップＳ１１１に遷移する。
【００４１】
ステップＳ１１１において、画像検索照合部１８は、情報検索制御部１９に参照画像と合致した検索キーを引渡し、情報検索要求を行う。
【００４２】
ステップＳ１１２において、情報検索制御部１９は、受け取った検索キーをベースとして、通信プロトコル処理部２０に対して情報取得要求のメッセージ作成コマンドを発行する。通信プロトコル部２０は、所定のプロトコルに従った情報取得要求メッセージを生成する。この場合の所定のプロトコルとは例えばＨＴＴＰに従って構成されたＰＯＳＴメソッドなどである。図１４は、情報取得要求メッセージの一例である。この例では、ＸＭＬ（ｅＸｔｅｎｄｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式の文書に検索キーを埋め込む形でメッセージを生成している。この後に通信プロトコル部２０は、ネットワーク通信部２１を介してネットワーク経由で情報データベース４に対してこの情報取得要求メッセージを送信する。
【００４３】
情報データベース４は、受信した情報取得要求メッセージを解析して、例えば「小田健二」に合致するプロフィールデータを情報取得応答メッセージとして番組再生装置１に送信する。図１５は、情報取得要求応答メッセージの一例である。この例では、メッセージはＨＴＴＰのＰＯＳＴメソッドに対するレスポンスメッセージの形式を採用している。プロフィールデータは、ＸＭＬ形式のテキスト文書の構成が採用されており、このＸＭＬ文書の中に、本名、年齢、性別、経歴、代表作などの情報がタグにより構造化されたデータとして埋め込まれている。
【００４４】
ステップＳ１１３において、番組再生装置１の通信プロトコル処理部２０は、ネットワーク通信部２１を介して、情報取得応答メッセージを受信する。通信プロトコル処理部２０は、情報取得応答メッセージからＸＭＬ形式のプロフィールデータのみを抽出して画像検索照合部１８に引き渡す。
【００４５】
画像検索照合部１８は、受け取ったＸＭＬ形式のプロフィールデータを解析し、タグで囲まれている個別の要素を取り出してＧＵＩ制御部２２に引き渡す。ＧＵＩ表示部２２は、プロフィールを表示するグラフィックスデータを生成して、表示制御部２５に引き渡す。表示制御部２５は、番組再生画面に重ねてプロフィール表示のグラフィックスデータを表示する。図１６は、本実施の形態における情報表示画面の一例である。
【００４６】
このように構成された番組再生装置においては、番組の映像から抽出した１枚もしくは複数の画像データの位置を明示するマーカー表示を、画像データを抽出した元のフレームに重ねて表示し、視聴者がマーカー表示を基に１枚の画像データを選択してその画像データを参照画像と照合することで、視聴者が選択した画像データの属性を特定して、その属性を基にネットワーク経由で視聴者が選択した画像データの情報を取得することができるので、視聴者は番組の映像に含まれている複数の対象から特定の対象を簡単に選択して、その対象の情報を速やかに得ることが可能となる。
【００４７】
実施の形態２．
実施の形態１において、図３に示すステップＳ１０２では、画像抽出部１７は映像デコード部１３によって復号化された映像信号に含まれる任意のフレームからから顔画像の切り出しを行うが、この際に切り出しを行った顔画像が例えばサイズが小さいなど顔照合に適さない場合がある。このような場合、これ以降のステップＳ１０７において実行される抽出画像と参照画像データと照合判定においてエラーが発生することがありうる。実施の形態２においては、このような課題を事前に回避することができる方法について説明する。
【００４８】
図１７は本実施の形態の番組再生装置の動作フローを示した図である。ステップＳ１０１において、視聴者は、図７に示す通り４名の人物が映っている番組を視聴している状態で、番組再生装置１の操作入力部２３の顔検索キー３６を押下する。操作入力部２３は、操作解析部２４に対して押下されたキーのコード情報を送信する。操作解析部２４は、受信したキーコード情報から顔検索機能のＧＵＩ画面を有効にするようにＧＵＩ制御部２２に要求を行う。ＧＵＩ制御部２２は、画像抽出部１７に対して出画中の映像から顔画像の切り出しを行うように要求を行うと同時に、表示制御部２５に対して画像静止の要求を行う。
【００４９】
ステップＳ１０２において、画像抽出部１７は、映像デコード部１３によって復号化された映像信号に含まれる任意のフレームからから顔画像の切り出しを行う。本実施の形態では、実施の形態１と同様に４つの顔を検出して、図８に示す４つの領域Ａ１、Ａ２、Ａ３およびＡ４を切り出したとする。画像抽出部１７は、この切り出した領域が画面中のどこに位置するかを示す座標値を含んだ抽出画像テーブルを生成する。また、併せて切り出した４つの領域の画像を個別の抽出画像ファイルとして生成する。
【００５０】
画像抽出部１７は、切り出した４つの抽出画像ファイルそれぞれに対して、参照画像データとの照合に適切かどうかの評価を行う。評価パラメータおよび判断基準は照合を行う画像検索照合部１８の性能に応じて適当なものを使用する。例えば抽出画像の画素数、平均輝度などである。評価パラメータとして抽出画像のサイズを使用する場合、画像における水平方向の画素数および垂直方向の画素数の閾値として、それぞれＰＨｒｅｆおよびＰＶｒｅｆと定め、抽出画像の水平方向の画素数をＰＨｅｘｔ、垂直方向の画素数をＰＶｅｘｔとしたとき、下記の不等式（１）もしくは不等式（２９に示す条件のいずれか一方もしくは両方が満たされない場合、照合に適切ではないと判断する。
【００５１】
ＰＨｒｅｆ ＞ ＰＨｅｘｔ ・・・・ （１）
ＰＶｒｅｆ ＞ ＰＶｅｘｔ ・・・・ （２）
【００５２】
評価パラメータとして平均輝度を使用する場合、画像中の全画素における輝度値の平均値を平均輝度とする。平均輝度の閾値としてＢｒｅｆと定め、抽出画像の平均輝度をＢｅｘｔとした時、下記の不等式（３）に示す条件が満たされない場合、照合に適切ではないと判断する。
【００５３】
Ｂｒｅｆ ＞ Ｂｅｘｔ ・・・・・・ （３）
【００５４】
上記の（１）、（２）および（３）の３つの不等式を組み合わせて、全ての条件を満たした場合のみ照合に適切と判断し、それ以外の場合は照合に適切でないと判断してもよい。
【００５５】
ステップＳ２０１において、画像抽出部１７は、切り出した４つの抽出画像ファイルそれぞれに対して、参照画像データとの照合に適切かどうかの判定を行い、照合に適切と判断した場合、ステップＳ２０２に進み抽出画像テーブルの照合有効フラグにＯＮを設定する。また、照合に適切ではないと判断した場合、ステップＳ２０３に進み抽出画像テーブルの照合有効フラグにＯＦＦを設定する。
【００５６】
図１８は、本実施の形態における抽出画像テーブル例である。この例では、領域Ａ１、領域Ａ２および領域Ａ４は照合に適切と判断され、領域Ａ３は照合に適切ではないと判断されている。
【００５７】
ステップＳ１０３において、ＧＵＩ制御部２２は、抽出画像テーブルを参照して、視聴者が顔画像を区別して選択できるように、顔が表示されている領域を区別するためのマーカーのグラフィックスデータを生成する。この際にマーカーは照合に適切と判断された領域Ａ１、領域Ａ２および領域Ａ４のみについて生成する。
【００５８】
この後、ＧＵＩ制御部２２は、生成したマーカーを重畳表示するフレームを指定するために、抽出画像テーブルに対応付けられたフレームＩＤとともにマーカーのグラフィックスデータを表示制御部２５に引き渡す。表示制御部２５は、受け取ったフレームＩＤに対応するフレームを静止画として表示部２６に表示するとともに、マーカーのグラフィックスデータをこのフレームに重ねて表示する。その後ステップＳ１０４に遷移し、以降は実施の形態１の図３で説明した手順と同様である。
【００５９】
図１９は、本実施の形態における抽出画像領域の選択画面例である。実施の形態１と異の図１０に示された符号３の領域Ａ３は、本実施の形態においては照合に適切ではないと判断されている。その結果、図１９に示すように、図１０に示された符号３マーカーは表示されず、視聴者は、この画像（顔）を選択することができない。
【００６０】
このように構成された番組再生装置においては、ステップＳ１０４で視聴者が検索したい顔の選択を行う場合に、照合に適切ではないと判断された領域の顔を選ぶことができないため、ステップＳ１０７において実行される抽出画像と参照画像データと照合判定においてエラーが発生することを回避できる。
【００６１】
実施の形態３．
図２０は、この発明の実施の形態３における番組再生装置１の構成の一形態を示すブロック構成図である。本実施の形態の番組再生装置は、実施の形態１で示した番組再生装置に対して、画像検索キー生成部１６に画像検索キーデータベース１５が追加されたものである。画像検索キーデータベース１５は、ネットワーク等の手段で随時更新可能な特定の番組に対する出演者のリストであり、メモリーなどに保持されている。図２１は、本実施の形態における画像検索キーデータベースの例である。
【００６２】
実施の形態１の図３に示すフローチャートにおけるステップＳ１０５において、画像検索照合部１８は、画像検索キー生成部１６に対して画像検索キーの生成要求を行う。画像検索キー生成部１６は番組データ抽出部１４がセクションデータから抽出した番組特定情報を入手して、現在視聴中の番組を特定した上で、画像検索キーデータベース１５に対して視聴中の番組の出演者名のリスト検索要求を行う。画像検索キーデータベース１５は、指定された番組名をキーにして検索した当該番組の出演者リストを画像検索キー生成部１６に引き渡す。この出演者リストを基に画像検索キー生成部１６は出演者名の一覧から構成される画像検索キーリストを生成する。以降は実施の形態１の図３で説明した手順と同様である。
【００６３】
このように構成された番組再生装置においては、画像検索キーデータベース１５が特定の番組に対する出演者のリストをネットワーク等の手段で随時更新可能であるため、番組配列情報に含まれる情報よりも豊富に（例えば端役の出演者名を含むなど）画像検索キーの情報を入手できるので、より多くの出演者を特定することができる。
【符号の説明】
【００６４】
１ 番組再生装置
２ ネットワーク
３ 画像データベース
４ 情報データベース
１０ チューナー／復調部
１１ デスクランブル部
１２ デマルチプレクス部
１３ 映像デコード部
１４ 番組データ抽出部
１５ 画像検索キーデータベース
１６ 画像検索キー生成部
１７ 画像抽出部
１８ 画像検索照合部
１９ 情報検索制御部
２０ 通信プロトコル処理部
２１ ネットワーク通信部
２２ ＧＵＩ制御部
２３ 操作入力部
２４ 操作解析部
２５ 表示制御部
２６ 表示部
２７ 音声デコード部
２８ 音声出力部
３１ 上キー
３２ 下キー
３３ 左キー
３４ 右キー
３５ 決定キー
３６ 顔検索キー
４１〜５２ 数字キー
【技術分野】
【０００１】
本発明は、文字、静止画、動画、音声などで構成される番組を再生することができるとともに、番組に関連する情報の検索ができる番組再生装置に関するものである。
【背景技術】
【０００２】
デジタル放送やネットワーク配信される番組を視聴している際に、視聴者が未知の出演者を見つけた場合、出演者の名前やプロフィールをその場で知りたくなることがある。例えばデジタル放送においては、放送ストリームに番組配列情報（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ：以降ＳＩ情報と称する）が含まれているので、受像機側でこのＳＩ情報を用いて電子番組表（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：以降ＥＰＧと称する）画面を生成する。視聴者はこのＥＰＧを参照することで視聴中の番組の主な出演者名を見ることができる。
【０００３】
しかし、視聴者は、そもそも出演者の顔を知らないこともあるので、どの出演者がＥＰＧに記載された出演者名であるかがわからない場合が多い。名前と顔とを一致させるためには、例えばパソコンなどを介して、Ｗｅｂの検索サイトを利用して出演者の名前で検索して出演者の顔を知る必要がある。例えば、ＥＰＧの出演者名を順次検索することで当該出演者名に対応した顔画像をパソコンの画面に呼び出して、この顔画像と番組の出演者映像とを照合することが考えられるが、視聴者にとっては非常に煩雑である。また、パソコンなどの検索環境が手元にない場合には、視聴者は、結局誰だか分からずにあきらめる可能性がある。また、ＳＩ情報には主要な出演者名しか含まれていないため、当該の出演者名がＥＰＧに記載されてない可能性もある。
【０００４】
このような課題を解決するために、放送映像に含まれる顔画像データを抽出した上で、抽出した顔画像データを、データベース化された基準画像と照合する装置に転送することで、抽出した顔画像に対応する情報（名前、性別、プロフィールなど）を取得して受像機の画面に表示することで、視聴者が未知の出演者を特定する事を可能とする方法が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１１８４１１号公報（第４−９頁、図６）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような従来の方法においては、画像から対象となる顔画像を切り出すために、領域を示すフレームを画面に表示させ、視聴者がリモコン操作などでフレームを移動させる方法と、顔画像検出処理によってフレームを自動的に顔の範囲に表示する方法とが示されているが、いずれの方法であっても１つの画面に複数の人物が映っている場面から所望の顔画像を切り出すことは困難である。また、画像サイズが小さい、顔が横を向いている、輝度やコントラストが不十分など、顔の照合に不適切な品質の画像が切り出される可能性もあり、このような場合、顔画面の切り出し以降の照合処理が困難になるという問題がある。
【０００７】
この発明は、上述のような課題を解決するためになされたもので、デジタル放送やネットワーク配信される番組の映像に含まれている複数の対象から視聴者が所望の対象を簡単に選択して、その対象の情報を速やかに得ることができる番組再生装置を実現することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る番組再生装置は、受信した番組を再生する番組再生装置であって、ネットワークを経由して外部のサーバーと通信する通信手段と、前記番組の伝送ストリームを映像ストリーム、音声ストリームおよびデータセクションに分離するデマルチプレクス手段と、前記映像ストリームをデコードして映像信号に変換する映像デコード手段と、前記映像信号に含まれる１つのフレームから１箇所または複数の領域を切り出して画像データとして抽出する画像抽出手段と、前記１つのフレーム内において、前記抽出した１箇所または複数の画像データの位置を明示するマーカーを生成するＧＵＩ制御手段と、前記マーカーを前記１つのフレームに重畳して表示する表示制御手段と、視聴者によって前記マーカーを用いて前記１箇所または複数の画像データから１つの画像データが選択される操作手段と、前記データセクションに含まれる番組配列情報および番組特定情報を抽出する番組データ抽出手段と、前記番組配列情報および前記番組特定情報から参照画像を検索するための画像検索キーを生成する画像検索キー生成手段と、前記画像検索キーを用いて、前記通信手段によって前記ネットワーク経由で前記外部のサーバーから前記参照画像を取得し、前記画像データと前記参照画像とを照合する画像検索照合手段と、前記照合結果に基づいて前記画像データの属性を示す情報検索キーを生成し、前記情報検索キーを用い前記通信手段によって前記ネットワーク経由で前記画像データに関連する情報を取得する情報検索手段とを備えたものである。
【発明の効果】
【０００９】
この発明は、番組の映像から抽出した１枚もしくは複数の画像データの位置を明示するマーカーを、画像データを抽出した元のフレームに重ねて表示し、視聴者がマーカーを基に１枚の画像データを選択してその画像データを参照画像と照合することで、視聴者が選択した画像データの属性を特定して、その属性を基にネットワーク経由で視聴者が選択した画像データの情報を取得するように構成することで、視聴者は番組の映像に含まれている複数の対象から特定の対象を簡単に選択して、その対象の情報を速やかに得ることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１における番組再生装置を示すブロック構成図である。
【図２】この発明の実施の形態１におけるネットワーク構成図である。
【図３】この発明の実施の形態１における番組再生装置の動作を示すフローチャートである。
【図４】この発明の実施の形態１における操作入力部の外観例である。
【図５】この発明の実施の形態１における設定画面の構成例である。
【図６】この発明の実施の形態１における設定画面のフォーカス移動例である。
【図７】この発明の実施の形態１における番組再生画面例である。
【図８】この発明の実施の形態１における顔画像切り出し領域例である。
【図９】この発明の実施の形態１における抽出画像テーブル例である。
【図１０】この発明の実施の形態１における抽出画像領域の選択画面例である。
【図１１】この発明の実施の形態１における抽出画像領域に対するマーカー設定例である。
【図１２】この発明の実施の形態１における画像検索キーリストの例である。
【図１３】この発明の実施の形態１における参照画像取得要求メッセージおよび参照画像取得応答メッセージの例である。
【図１４】この発明の実施の形態１における情報取得要求メッセージの例である。
【図１５】この発明の実施の形態１における情報取得応答メッセージの例である。
【図１６】この発明の実施の形態１における情報表示画面の例である。
【図１７】この発明の実施の形態２における番組再生装置の動作を示すフローチャートである。
【図１８】この発明の実施の形態２における抽出画像テーブル例である。
【図１９】この発明の実施の形態２における抽出画像領域の選択画面例である。
【図２０】この発明の実施の形態３における番組再生装置を示すブロック構成図である。
【図２１】この発明の実施の形態３における画像検索キーデータベースの例である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、この発明を実施するための実施の形態１における番組再生装置１の構成の一形態を示すブロック構成図である。番組再生装置１は、主な要素としてチューナー／復調部１０、デスクランブル部１１、デマルチプレクス部１２、映像デコード部１３、番組データ抽出部１４、画像検索キー生成部１６、画像抽出部１７、画像検索照合部１８、情報検索制御部１９、通信プロトコル処理部２０、ネットワーク通信部２１、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）制御部２２、操作入力部２３、操作解析部２４、表示制御部２５、表示部２６、音声デコード部２７および音声出力部２８から構成される。
【００１２】
チューナー／復調部１０は、放送を受信するためのフロントエンド処理を行う部分であり、放送を選局して復調することで放送波からストリームデータを抽出する。チューナー／復調部１０によって放送波から抽出されたストリームデータは、暗号化されているためデスクランブル部１１で復号化される。デマルチプレクス部１２は、デスクランブル部１１で復号化されたストリームデータから映像ストリーム、音声ストリーム、およびＳＩ情報、番組特定情報などのデータを含んだセクションに分離する。
【００１３】
映像デコード部１３は、ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２）などの形式で圧縮符号化されている映像ストリームを復号化することでビデオ信号に変換する。番組データ抽出部１４は、セクションからＳＩ情報、番組特定情報などのデータを抽出する。画像検索キー生成部１６は、画像を検索する際の検索キーを生成する。画像抽出部１７は映像デコード部１３が復号化したビデオ信号から顔画像の切り出しを行う。画像検索照合部１８は、画像抽出部１７で切り出された顔画像データを参照画像データと比較して顔の照合を行い、情報検索のための検索キーを生成する。
【００１４】
情報検索制御部１９は、ネットワーク経由で検索キーを基に検索を行う。通信プロトコル処理部２０は、必要なプロトコルに応じた送信メッセージの生成および受信メッセージの解析を行う。ネットワーク通信部２１は、ネットワーク経由でパケットの送受信を行う。
【００１５】
ＧＵＩ制御部２２は、各種操作画面や状態通知画面の生成、入力コマンドに応じた画面の切り替えなどを行う。操作入力部２３は、リモコン、キーボード、マウスなどであり、ユーザーが操作の指示を入力するための入力デバイスの総称である。操作解析部２４は、操作入力部２３から入力されたコマンドを解析してＧＵＩ制御部２２に通知する。表示制御部２５は、映像デコード部１３で復号化されたビデオ信号やＧＵＩ制御部２２で生成された各種画面の表示制御を行う。表示部２６は、表示制御部２５の表示制御にしたがって適切な映像を表示するディスプレイである。
【００１６】
音声デコード部２７は、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｅｃ）などの形式で圧縮符号化されている音声ストリームを復号化することで音声信号データに変換する。音声出力部２８は、音声デコード部２７で復号化された音声信号データをアナログ信号に変換し、増幅してスピーカーから出力する。
【００１７】
図２は、本実施の形態の番組再生装置１がネットワークに接続された状態を示すネットワーク構成図である。番組再生装置１は、ネットワーク通信部２１を介して、図２に示すとおりネットワーク２に接続されている。この図におけるネットワーク２の代表的なものとしてインターネットであるが、その他専用のイントラネットやホームネットワークなどの場合もある。
【００１８】
ネットワーク２には画像データベースサーバー３と情報データベースサーバー４とが接続されている。画像データベースサーバー３には顔照合に必要な参照画像データと、参照画像の内容を説明する属性情報（例えば、人物画像の場合はその人物の名前、性別、年齢などの情報）を対応付けたデータベースとが格納されている。情報データベースサーバー４には特定の人物のプロフィールなど詳細な情報が格納されている。
【００１９】
なお、図２において、画像データベースサーバー３と情報データベースサーバー４とをそれぞれ１台ずつ別のものとして記載しているが、物理的に同じサーバーに統合されていてもよい。また、図２において、番組再生装置１と画像データベースサーバー３と情報データベースサーバー４とをそれぞれ１台ずつ記載してあるが、それぞれが複数台接続されていてもよい。
【００２０】
次に、本実施の形態における、番組再生装置１の動作について説明する。図３は、本実施の形態における番組再生装置１の動作のフローを示す図である。図４に、本実施の形態における番組再生装置１の操作に用いる操作入力部２３の一例である。図４に示す通り、操作入力部２３としてリモコンを例として説明を行う。
【００２１】
操作入力部２３にはリモコンキーが配列されている。本実施の形態で使用するキーとして、チャンネル番号の直接選択や数字を入力するためのキーが３列×４行の形状で配置されている。これらのキーの名称は、それぞれ数字１キー４１、数字２キー４２、数字３キー４３、数字４キー４４、数字５キー４５、数字６キー４６、数字７キー４７、数字８キー４８、数字９キー４９、数字１０／０キー５０、数字１１キー５１および数字１２キー５２とする。また、上記の１２個のキーを総称して数字キーと称する。
【００２２】
番組再生装置１において、チャンネル指定、音量変更などリモコンキーを押下することで直接実行される操作ではなく、表示部２６に表示されたメニュー画面等のＧＵＩ画面（設定画面）を見ながら実行する操作の場合、ユーザーは、設定画面の選択可能な項目が表示されている部分にフォーカスを当てることで所望の項目を選択する。ここで言う「フォーカスを当てる」とは、表示画面に含まれている選択可能な箇所から任意の箇所を特定していることを示す。
【００２３】
図５は、本実施の形態における設定画面の構成例である。図５に示すようにフォーカスが当っている領域の色やトーンを変えたり、枠で囲んだりする。図５は「ネットワーク設定」にフォーカスが当っていることを示している。フォーカスの移動は、リモコンの「十字キー（上下左右の矢印キー）」を用いて、選択可能な箇所を順番に移動する方法が用いられる。
【００２４】
図４に示す操作入力部２３にはフォーカスを移動するための十字キーが配列されている。十字キーは、実際には上側に移動するキー、下側に移動するキー、右側に移動するキーおよび左側に移動するキーの４種類で構成されている。これらのキーは、それぞれ図４の３１、３２、３３および３４に相当し、以降は便宜的に上キー３１、下キー３２、右キー３３および左キー３４と称する。また、上キー３１、下キー３２、右キー３３および左キー３４の４つのキーを総称する場合は十字キーと称する。図６は、本実施の形態における設定画面のフォーカス移動例である。図６の例では、「受信設定」にフォーカスが当っている状態から「ネットワーク設定」にフォーカスを移動する場合を示しており、この移動には下キー３２を２回押下する必要がある。上記のキーに加えて操作入力部２３には図４の通り顔検索キー３６が配置されている。
【００２５】
番組再生装置１は、チューナー／復調部１０で放送波の同調および復調を行い、復調したストリームをデスクランブル部１１で暗号解除を行った後、暗号解除されたストリームデータからデマルチプレクス部１２によって映像ストリーム、音声ストリーム、およびＳＩ情報、番組特定情報などのデータを含んだセクションに分離する。なお、ストリームデータは、データストリーム（例えば、字幕に関するデータなど）を含んでいる場合があり、その場合にはデマルチプレクス部１２は、このデータストリームも分離する。映像ストリームは映像デコード部１３によって映像信号に復号化され、映像信号は表示制御部２５を経由して表示部２６に表示される。
【００２６】
図７は、本実施の形態における番組再生画面例である。これ以降、図３を用いて本実施の形態における番組再生装置１の動作を説明する。視聴者は、図７に示す通り４名の人物が映っている番組を視聴している状態で、ステップＳ１０１において番組再生装置１の操作入力部２３の顔検索キー３６を押下する。操作入力部２３は、操作解析部２４に対して押下されたキーのコード情報を送信する。操作解析部２４は、受信したキーコード情報から顔検索機能のＧＵＩ画面を有効にするようにＧＵＩ制御部２２に要求を行う。ＧＵＩ制御部２２は、画像抽出部１７に対して出画中の映像から顔画像の切り出しを行うように要求を行うと同時に、表示制御部２５に対して画像静止の要求を行う。
【００２７】
ステップＳ１０２において、画像抽出部１７は、映像デコード部１３によって復号化された映像信号に含まれる任意のフレームから顔画像の切り出しを行う。図８は、本実施の形態における顔画像切り出し領域例である。この例では４つの顔を検出して、図８に示す４つの領域Ａ１、Ａ２、Ａ３およびＡ４を切り出したとする。画像抽出部１７は、この切り出した領域が画面中のどこに位置するかを示す座標値を含んだ抽出画像テーブルを生成する。また、併せて切り出した４つの領域の画像をそれぞれ個別の抽出画像ファイルとして生成する。
【００２８】
図９は、本実施の形態における抽出画像テーブル例である。抽出画像テーブルの要素としては、この画面内におけるＡ１〜Ａ４領域それぞれの左上角の位置を示すための水平座標位置および垂直座標位置、領域Ａ１〜Ａ４それぞれのサイズを示すための水平サイズおよび垂直サイズ、並びに領域Ａ１〜Ａ４のそれぞれを特定するための画像ＩＤから構成される。また、一番右側の列には説明の便宜上、領域を区別する符号番号を示しているが実際の抽出画像テーブルの要素としては不要である。座標は、図８に示す通り、画面全体の左上を原点（座標０）として、水平方向は右側に進むにつれ座標値は増加する。また垂直方向は下側に進むにつれ座標値は増加する。
【００２９】
座標は画素数を単位としている。この例ではフルハイビジョン（水平方向：１９２０画素×垂直方向：１０８０画素）の画像を想定しているので、右端の水平位置座標は１９１９、下端の垂直位置座標は１０７９となる。図９の抽出画像テーブルにおいて、領域Ａ１は、画像ＩＤが１、左上角の位置座標が水平位置座標＝３２０、垂直位置座標＝２１２、水平サイズ＝３３０画素、垂直サイズ３４０画素であることを示している。また、この抽出画像テーブルにおいて、番組中のどのフレームに相当するかを示すためにフレームＩＤと抽出画像テーブルとの対応付けが行われる。フレームＩＤはある程度長い期間中（例えば番組単位）でそれぞれのフレームがユニークに特定できるように割り付けた番号である。例えばデコード時にフレーム１枚ごとに１ずつ増加させるカウンター値を割り付けることで実現できる。
【００３０】
ステップＳ１０３において、ＧＵＩ制御部２２は、抽出画像テーブルを参照して、視聴者が顔画像を区別して選択できるように、顔が表示されている領域を区別するためのマーカーのグラフィックスデータを生成し、生成したマーカーを重畳表示するフレームを指定するために、抽出画像テーブルに対応付けられたフレームＩＤとともにマーカーのグラフィックスデータを表示制御部２５に引き渡す。表示制御部２５は受け取ったフレームＩＤに対応するフレームを静止画として表示部２６に表示するとともに、マーカーのグラフィックスデータをこのフレームに重ねて表示する。図１０は、このようにしてグラフィックスデータがフレームに重畳して表示された、抽出画像領域の選択画面例である。
【００３１】
図１０の例では、顔の周辺を囲む楕円形を配置し、視聴者が区別できるようにそれぞれに「１」、「２」、「３」および「４」の番号を付加して表示している。図１１は、抽出画像領域に対するマーカー設定例である。この楕円形は、図１１に示す通り、抽出画像テーブルにおける水平座標位置、垂直座標位置、水平サイズおよび垂直サイズの４つの変数から領域Ａ２の長方形に内接する楕円として算出されて表示されている。この方法により、顔が近接している場面でもマーカー同士が重なりにくくなり視聴者による視認性が高まる効果が得られる。
【００３２】
ステップＳ１０４において、視聴者は検索したい顔の選択を行う。具体的な操作としては、図１０に示す抽出画像領域の選択画面を見ながら、所望の顔に該当する番号を操作入力部２３の数字キーを押下することで選択する。例えば、数字２キー４２を押下すると、領域Ａ２に対応する顔の選択を行ったことになる。この方法により視聴者は操作入力部２３のリモコンボタンの１つを１回押すだけで所望の顔を選択することが可能となり、操作が容易になるという効果が得られる。例えば、図１０の画面のように顔が縦一列もしくは横一列に並んでいないような場面では、十字キーを押したときにフォーカスが移動する方向が分かりにくいという問題がある（例えば、１にフォーカスが当たっている場合に右キー３３を押下したら２と３のどちらにフォーカスが移動するか分かりにくい）。しかしながら、本実施の形態のようにマーカーに個別の番号が付与されており、ユーザーはこの番号を数字キーで直接入力することができるので、視聴者が迷うことなく所望の顔を選択できる効果が得られる。
【００３３】
このステップＳ１０４において、操作解析部２４は、押下された数字キーのコードを受信して、受信したキーコード情報からＧＵＩ制御部２２に数字の「２」が選択されたことを通知する。ＧＵＩ制御部２２は、数字の「２」が選択された通知に従って、視聴者が選択した抽出画像の画像ＩＤを画像検索照合部１８に引き渡す。また、これと同時にＧＵＩ制御部は、表示制御部２５に対して画像静止終了の要求を行う、この要求を受けて表示制御部２５は、マーカーのグラフィックスの重畳表示を終了するとともに番組映像の再生表示を再開する。これにより視聴者が自身の選択操作が受付けられたことを認識できるという効果が得られる。
【００３４】
ステップＳ１０５において、画像検索照合部１８は、画像検索キー生成部１６に対して画像検索キーの生成要求を行う。画像検索キー生成部１６は、番組データ抽出部１４でセクションデータから抽出された番組特定情報を入手して、現在視聴中の番組を特定した上で、同じく番組データ抽出部１４でセクションデータから抽出された番組配列情報（ＳＩ情報）を参照して出演者名の一覧から構成される画像検索キーリストを生成する。図１２は、本実施の形態における画像検索キーリストの例である。画像検索キー生成部１６は、画像検索照合部１８に生成した画像検索キーリストを引き渡す。
【００３５】
ステップＳ１０６において、画像検索キー生成部１６は、画像検索キーリストを参照して、まず先頭に登録されている出演者名（図１２の例では画像検索キー番号１の「小田健二」）をキーとして、通信プロトコル処理部２０に参照画像取得要求のメッセージ作成コマンドを発行する。通信プロトコル部２０は、所定のプロトコルに従った参照画像取得要求メッセージを生成する。この場合の所定のプロトコルとは例えばＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）に従って構成されたＧＥＴメソッドなどである。図１３は、参照画像取得要求メッセージおよび参照画像取得応答メッセージの例である。このメッセージではｒｅｆｉｍｇ．ｂｍｐという名称の参照画像を要求している。この後に通信プロトコル部２０は、ネットワーク通信部２１を介してネットワーク経由で画像データベース３に対してこの参照画像取得要求メッセージを送信する。
【００３６】
画像データベース３は、受信した参照画像取得要求メッセージを解析して、「小田健二」に合致する参照画像データを参照画像取得応答メッセージとして番組再生装置１のネットワーク通信部２１に送信する。図１３には参照画像取得応答メッセージの例も示している。このメッセージでは、ＨＴＴＰのＧＥＴメソッドに対するレスポンスメッセージの形式を採用している。通常、参照画像データは１枚であるが、照合精度を向上させるために複数枚用いてもよい。
【００３７】
ステップＳ１０７において、番組再生装置１の通信プロトコル処理２０は、ネットワーク通信部２１を介して、参照画像取得応答メッセージを受信する。通信プロトコル処理２０は、参照画像取得応答メッセージから参照画像データのみを抽出して画像検索照合部１８に引き渡す。画像検索照合部１８は、ステップＳ１０２で画像抽出部１７が生成した抽出画像ファイルおよび抽出画像テーブルを基に、ステップＳ１０４でＧＵＩ制御部２２から引き渡された抽出画像の画像ＩＤからステップＳ１０６で取得した参照画像データとの照合を行う１つの抽出画像ファイルを決定し、この参照画像データとの照合判定を行う。
【００３８】
抽出画像ファイルと参照画像データとの照合判定の方法としては、一般に顔照合処理技術して知られている、例えば、固有顔法、ＬＦＡ（Ｌｏｃａｌ Ｆｅａｔｕｒｅ Ａｎａｌｙｓｙｓ）法などのアルゴリズムを適用することができる。これらの方法においては、抽出画像ファイルと参照画像データとの類似度など照合結果のスコア値がある一定の閾値以上であれば一致すると判定する。
【００３９】
ステップＳ１０８において、照合判定結果が「参照画像と合致しない」となった場合、すなわち照合結果のスコアが所定の閾値を越えなかった場合はステップＳ１０９に遷移する。ステップＳ１０９では、画像検索キー番号が画像検索キーリストの最後の画像を示す値ではなかった場合、例えば図１２の画像検索キーリストにおける画像検索キー番号が１から８のいずれかの場合は、ステップＳ１１０に遷移する。ステップＳ１１０において、画像検索キー番号を＋１増加させて再度ステップＳ１０６に遷移する。
【００４０】
ステップＳ１０８において、照合判定結果が「参照画像と合致する」となった場合、すなわち照合結果のスコアが所定の閾値を越えた場合はステップＳ１１１に遷移する。
【００４１】
ステップＳ１１１において、画像検索照合部１８は、情報検索制御部１９に参照画像と合致した検索キーを引渡し、情報検索要求を行う。
【００４２】
ステップＳ１１２において、情報検索制御部１９は、受け取った検索キーをベースとして、通信プロトコル処理部２０に対して情報取得要求のメッセージ作成コマンドを発行する。通信プロトコル部２０は、所定のプロトコルに従った情報取得要求メッセージを生成する。この場合の所定のプロトコルとは例えばＨＴＴＰに従って構成されたＰＯＳＴメソッドなどである。図１４は、情報取得要求メッセージの一例である。この例では、ＸＭＬ（ｅＸｔｅｎｄｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式の文書に検索キーを埋め込む形でメッセージを生成している。この後に通信プロトコル部２０は、ネットワーク通信部２１を介してネットワーク経由で情報データベース４に対してこの情報取得要求メッセージを送信する。
【００４３】
情報データベース４は、受信した情報取得要求メッセージを解析して、例えば「小田健二」に合致するプロフィールデータを情報取得応答メッセージとして番組再生装置１に送信する。図１５は、情報取得要求応答メッセージの一例である。この例では、メッセージはＨＴＴＰのＰＯＳＴメソッドに対するレスポンスメッセージの形式を採用している。プロフィールデータは、ＸＭＬ形式のテキスト文書の構成が採用されており、このＸＭＬ文書の中に、本名、年齢、性別、経歴、代表作などの情報がタグにより構造化されたデータとして埋め込まれている。
【００４４】
ステップＳ１１３において、番組再生装置１の通信プロトコル処理部２０は、ネットワーク通信部２１を介して、情報取得応答メッセージを受信する。通信プロトコル処理部２０は、情報取得応答メッセージからＸＭＬ形式のプロフィールデータのみを抽出して画像検索照合部１８に引き渡す。
【００４５】
画像検索照合部１８は、受け取ったＸＭＬ形式のプロフィールデータを解析し、タグで囲まれている個別の要素を取り出してＧＵＩ制御部２２に引き渡す。ＧＵＩ表示部２２は、プロフィールを表示するグラフィックスデータを生成して、表示制御部２５に引き渡す。表示制御部２５は、番組再生画面に重ねてプロフィール表示のグラフィックスデータを表示する。図１６は、本実施の形態における情報表示画面の一例である。
【００４６】
このように構成された番組再生装置においては、番組の映像から抽出した１枚もしくは複数の画像データの位置を明示するマーカー表示を、画像データを抽出した元のフレームに重ねて表示し、視聴者がマーカー表示を基に１枚の画像データを選択してその画像データを参照画像と照合することで、視聴者が選択した画像データの属性を特定して、その属性を基にネットワーク経由で視聴者が選択した画像データの情報を取得することができるので、視聴者は番組の映像に含まれている複数の対象から特定の対象を簡単に選択して、その対象の情報を速やかに得ることが可能となる。
【００４７】
実施の形態２．
実施の形態１において、図３に示すステップＳ１０２では、画像抽出部１７は映像デコード部１３によって復号化された映像信号に含まれる任意のフレームからから顔画像の切り出しを行うが、この際に切り出しを行った顔画像が例えばサイズが小さいなど顔照合に適さない場合がある。このような場合、これ以降のステップＳ１０７において実行される抽出画像と参照画像データと照合判定においてエラーが発生することがありうる。実施の形態２においては、このような課題を事前に回避することができる方法について説明する。
【００４８】
図１７は本実施の形態の番組再生装置の動作フローを示した図である。ステップＳ１０１において、視聴者は、図７に示す通り４名の人物が映っている番組を視聴している状態で、番組再生装置１の操作入力部２３の顔検索キー３６を押下する。操作入力部２３は、操作解析部２４に対して押下されたキーのコード情報を送信する。操作解析部２４は、受信したキーコード情報から顔検索機能のＧＵＩ画面を有効にするようにＧＵＩ制御部２２に要求を行う。ＧＵＩ制御部２２は、画像抽出部１７に対して出画中の映像から顔画像の切り出しを行うように要求を行うと同時に、表示制御部２５に対して画像静止の要求を行う。
【００４９】
ステップＳ１０２において、画像抽出部１７は、映像デコード部１３によって復号化された映像信号に含まれる任意のフレームからから顔画像の切り出しを行う。本実施の形態では、実施の形態１と同様に４つの顔を検出して、図８に示す４つの領域Ａ１、Ａ２、Ａ３およびＡ４を切り出したとする。画像抽出部１７は、この切り出した領域が画面中のどこに位置するかを示す座標値を含んだ抽出画像テーブルを生成する。また、併せて切り出した４つの領域の画像を個別の抽出画像ファイルとして生成する。
【００５０】
画像抽出部１７は、切り出した４つの抽出画像ファイルそれぞれに対して、参照画像データとの照合に適切かどうかの評価を行う。評価パラメータおよび判断基準は照合を行う画像検索照合部１８の性能に応じて適当なものを使用する。例えば抽出画像の画素数、平均輝度などである。評価パラメータとして抽出画像のサイズを使用する場合、画像における水平方向の画素数および垂直方向の画素数の閾値として、それぞれＰＨｒｅｆおよびＰＶｒｅｆと定め、抽出画像の水平方向の画素数をＰＨｅｘｔ、垂直方向の画素数をＰＶｅｘｔとしたとき、下記の不等式（１）もしくは不等式（２９に示す条件のいずれか一方もしくは両方が満たされない場合、照合に適切ではないと判断する。
【００５１】
ＰＨｒｅｆ ＞ ＰＨｅｘｔ ・・・・ （１）
ＰＶｒｅｆ ＞ ＰＶｅｘｔ ・・・・ （２）
【００５２】
評価パラメータとして平均輝度を使用する場合、画像中の全画素における輝度値の平均値を平均輝度とする。平均輝度の閾値としてＢｒｅｆと定め、抽出画像の平均輝度をＢｅｘｔとした時、下記の不等式（３）に示す条件が満たされない場合、照合に適切ではないと判断する。
【００５３】
Ｂｒｅｆ ＞ Ｂｅｘｔ ・・・・・・ （３）
【００５４】
上記の（１）、（２）および（３）の３つの不等式を組み合わせて、全ての条件を満たした場合のみ照合に適切と判断し、それ以外の場合は照合に適切でないと判断してもよい。
【００５５】
ステップＳ２０１において、画像抽出部１７は、切り出した４つの抽出画像ファイルそれぞれに対して、参照画像データとの照合に適切かどうかの判定を行い、照合に適切と判断した場合、ステップＳ２０２に進み抽出画像テーブルの照合有効フラグにＯＮを設定する。また、照合に適切ではないと判断した場合、ステップＳ２０３に進み抽出画像テーブルの照合有効フラグにＯＦＦを設定する。
【００５６】
図１８は、本実施の形態における抽出画像テーブル例である。この例では、領域Ａ１、領域Ａ２および領域Ａ４は照合に適切と判断され、領域Ａ３は照合に適切ではないと判断されている。
【００５７】
ステップＳ１０３において、ＧＵＩ制御部２２は、抽出画像テーブルを参照して、視聴者が顔画像を区別して選択できるように、顔が表示されている領域を区別するためのマーカーのグラフィックスデータを生成する。この際にマーカーは照合に適切と判断された領域Ａ１、領域Ａ２および領域Ａ４のみについて生成する。
【００５８】
この後、ＧＵＩ制御部２２は、生成したマーカーを重畳表示するフレームを指定するために、抽出画像テーブルに対応付けられたフレームＩＤとともにマーカーのグラフィックスデータを表示制御部２５に引き渡す。表示制御部２５は、受け取ったフレームＩＤに対応するフレームを静止画として表示部２６に表示するとともに、マーカーのグラフィックスデータをこのフレームに重ねて表示する。その後ステップＳ１０４に遷移し、以降は実施の形態１の図３で説明した手順と同様である。
【００５９】
図１９は、本実施の形態における抽出画像領域の選択画面例である。実施の形態１と異の図１０に示された符号３の領域Ａ３は、本実施の形態においては照合に適切ではないと判断されている。その結果、図１９に示すように、図１０に示された符号３マーカーは表示されず、視聴者は、この画像（顔）を選択することができない。
【００６０】
このように構成された番組再生装置においては、ステップＳ１０４で視聴者が検索したい顔の選択を行う場合に、照合に適切ではないと判断された領域の顔を選ぶことができないため、ステップＳ１０７において実行される抽出画像と参照画像データと照合判定においてエラーが発生することを回避できる。
【００６１】
実施の形態３．
図２０は、この発明の実施の形態３における番組再生装置１の構成の一形態を示すブロック構成図である。本実施の形態の番組再生装置は、実施の形態１で示した番組再生装置に対して、画像検索キー生成部１６に画像検索キーデータベース１５が追加されたものである。画像検索キーデータベース１５は、ネットワーク等の手段で随時更新可能な特定の番組に対する出演者のリストであり、メモリーなどに保持されている。図２１は、本実施の形態における画像検索キーデータベースの例である。
【００６２】
実施の形態１の図３に示すフローチャートにおけるステップＳ１０５において、画像検索照合部１８は、画像検索キー生成部１６に対して画像検索キーの生成要求を行う。画像検索キー生成部１６は番組データ抽出部１４がセクションデータから抽出した番組特定情報を入手して、現在視聴中の番組を特定した上で、画像検索キーデータベース１５に対して視聴中の番組の出演者名のリスト検索要求を行う。画像検索キーデータベース１５は、指定された番組名をキーにして検索した当該番組の出演者リストを画像検索キー生成部１６に引き渡す。この出演者リストを基に画像検索キー生成部１６は出演者名の一覧から構成される画像検索キーリストを生成する。以降は実施の形態１の図３で説明した手順と同様である。
【００６３】
このように構成された番組再生装置においては、画像検索キーデータベース１５が特定の番組に対する出演者のリストをネットワーク等の手段で随時更新可能であるため、番組配列情報に含まれる情報よりも豊富に（例えば端役の出演者名を含むなど）画像検索キーの情報を入手できるので、より多くの出演者を特定することができる。
【符号の説明】
【００６４】
１ 番組再生装置
２ ネットワーク
３ 画像データベース
４ 情報データベース
１０ チューナー／復調部
１１ デスクランブル部
１２ デマルチプレクス部
１３ 映像デコード部
１４ 番組データ抽出部
１５ 画像検索キーデータベース
１６ 画像検索キー生成部
１７ 画像抽出部
１８ 画像検索照合部
１９ 情報検索制御部
２０ 通信プロトコル処理部
２１ ネットワーク通信部
２２ ＧＵＩ制御部
２３ 操作入力部
２４ 操作解析部
２５ 表示制御部
２６ 表示部
２７ 音声デコード部
２８ 音声出力部
３１ 上キー
３２ 下キー
３３ 左キー
３４ 右キー
３５ 決定キー
３６ 顔検索キー
４１〜５２ 数字キー
【特許請求の範囲】
【請求項１】
受信した番組を再生する番組再生装置であって、
ネットワークを経由して外部のサーバーと通信する通信手段と、
前記番組の伝送ストリームを映像ストリーム、音声ストリームおよびデータセクションに分離するデマルチプレクス手段と、
前記映像ストリームをデコードして映像信号に変換する映像デコード手段と、
前記映像信号に含まれる１つのフレームから１箇所または複数の領域を切り出して画像データとして抽出する画像抽出手段と、
前記１つのフレーム内において、前記抽出した１箇所または複数の画像データの位置を明示するマーカーを生成するＧＵＩ制御手段と、
前記マーカーを前記１つのフレームに重畳して表示する表示制御手段と、
視聴者によって前記マーカーを用いて前記１箇所または複数の画像データから１つの画像データが選択される操作手段と、
前記データセクションに含まれる番組配列情報および番組特定情報を抽出する番組データ抽出手段と、
前記番組配列情報および前記番組特定情報から参照画像を検索するための画像検索キーを生成する画像検索キー生成手段と、
前記画像検索キーを用いて、前記通信手段によって前記ネットワーク経由で前記外部のサーバーから前記参照画像を取得し、前記画像データと前記参照画像とを照合する画像検索照合手段と、
前記照合結果に基づいて前記画像データの属性を示す情報検索キーを生成し、前記情報検索キーを用い前記通信手段によって前記ネットワーク経由で前記画像データに関連する情報を取得する情報検索手段とを備えることを特徴とする番組再生装置。
【請求項２】
画像抽出手段によって切り出される画像データの領域は矩形形状であり、
ＧＵＩ制御手段によって生成されるマーカーは、画像データの矩形形状の領域に内接する円形形状であることを特徴とするとする請求項１に記載の番組再生装置。
【請求項３】
ＧＵＩ制御手段によって生成されるマーカーは、抽出された１箇所または複数の画像データにそれぞれ個別の番号が付与されることを特徴とする請求項１または２に記載の番組再生装置。
【請求項４】
ＧＵＩ制御手段によってマーカーが生成された後、
操作手段によって選択画面データが選択されるまでは、表示制御手段によって表示される１つのフレームが静止画として表示されることを特徴とするとする請求項１〜３のいずれか１項に記載の番組再生装置。
【請求項５】
画像抽出手段は、画像データの水平方向の画素数および前記画像データの垂直方向の画素数の少なくとも１方が所定の閾値以下の場合には、前記画像データが参照画像との照合に適切ではないと判定することを特徴とする請求項１〜４のいずれか１項に記載の番組再生装置。
【請求項６】
画像抽出手段は、画像データの平均輝度が所定の閾値以下の場合には、前記画像データが参照画像との照合に適切ではないと判定することを特徴とする請求項１〜４のいずれか１項に記載の番組再生装置。
【請求項７】
画像抽出手段は、画像データの水平方向の画素数、前記画像データの垂直方向の画素数の少なくとも１方が所定の閾値以下の場合、あるいは前記画像データの平均輝度が所定の閾値以下の場合には、前記画像データが参照画像との照合に適切ではないと判定することを特徴とする請求項１〜４のいずれか１項に記載の番組再生装置。
【請求項８】
画像抽出手段によって画像データが参照画像との照合に適切ではないと判断された場合、
ＧＵＩ制御手段は、照合に適切ではないと判断された前記画像データに対応したマーカー表示を生成しないことを特徴とするとする請求項５〜７のいずれか１項に記載の番組再生装置。
【請求項９】
受信した番組を再生する番組再生装置であって、
ネットワークを経由して外部のサーバーと通信する通信手段と、
前記番組の伝送ストリームを映像ストリーム、音声ストリームおよびデータセクションに分離するデマルチプレクス手段と、
前記映像ストリームをデコードして映像信号に変換する映像デコード手段と、
前記映像信号に含まれる１つのフレームから１箇所または複数の領域を切り出して画像データとして抽出する画像抽出手段と、
前記１つのフレーム内において、前記抽出した１箇所または複数の画像データの位置を明示するマーカーを生成するＧＵＩ制御手段と、
前記ママーカーを前記１つのフレームに重畳して表示する表示制御手段と、
視聴者によって前記マーカーを用いて前記１箇所または複数の画像データから１つの画像データが選択される操作手段と、
前記データセクションに含まれる番組特定情報を抽出する番組データ抽出手段と、
前記番組に関する番組情報をデータベースとして保持するデータベース保持手段と、
前記データベースおよび前記番組特定情報から参照画像を検索するための画像検索キーを生成する画像検索キー生成手段と、
前記画像検索キーを用いて、前記通信手段によって前記ネットワーク経由で前記外部のサーバーから前記参照画像を取得し、前記画像データと前記参照画像とを照合する画像検索照合手段と、
前記照合結果に基づいて前記画像データの属性を示す情報検索キーを生成し、前記情報検索キーを用い前記通信手段によって前記ネットワーク経由で前記画像データに関連する情報を取得する情報検索手段とを備えることを特徴とする番組再生装置。
【請求項１０】
番組を受信する受信ステップと、
受信した前記番組の伝送ストリームを映像ストリーム、音声ストリームおよびデータセクションに分離するデマルチプレクスステップと、
前記映像ストリームをデコードして映像信号に変換する映像デコードステップと、
前記映像信号に含まれる１つのフレームから１箇所または複数の領域を切り出して画像データとして抽出する画像抽出ステップと、
前記１つのフレーム内において、前記抽出した１箇所または複数の画像データの位置を明示するマーカーを生成するＧＵＩ制御ステップと、
前記マーカーを前記１つのフレームに重畳して表示する表示制御ステップと、
視聴者によって前記マーカーを用いて前記１箇所または複数の画像データから１つの選択画像データが選択される操作ステップと、
前記データセクションに含まれる番組配列情報および番組特定情報を抽出する番組データ抽出ステップと、
前記番組配列情報および前記番組特定情報から参照画像を検索するための画像検索キーを生成する画像検索キー生成ステップと、
前記画像検索キーを用いて、ネットワーク経由で外部のサーバーから前記参照画像を取得し、前記選択画像データと前記参照画像とを照合する画像検索照合ステップと、
前記照合結果に基づいて前記選択画像データの属性を示す情報検索キーを生成し、前記情報検索キーを用い前記ネットワーク経由で前記選択画像データに関連する情報を取得する情報検索ステップとを備えたことを特徴とする番組再生方法。
【請求項１１】
画像抽出ステップによって切り出される画像データの領域は矩形形状であり、
ＧＵＩ制御ステップによって生成されるマーカー表示は、画像データの矩形形状の領域に内接する円形形状であることを特徴とするとする請求項１０に記載の番組再生方法。
【請求項１２】
ＧＵＩ制御ステップによって生成されるマーカーは、抽出された１箇所または複数の画像データにそれぞれ個別の番号が付与されることを特徴とする請求項１０または１１に記載の番組再生方法。
【請求項１３】
ＧＵＩ制御ステップによってマーカーが生成された後、
操作ステップによって選択画面データが選択されるまでは、表示制御ステップによって表示される１つのフレームが静止画として表示されることを特徴とするとする請求項１０〜１２のいずれか１項に記載の番組再生方法。
【請求項１４】
画像抽出ステップは、画像データの水平方向の画素数および前記画像データの垂直方向の画素数の少なくとも１方が所定の閾値以下の場合には、前記画像データが参照画像との照合に適切ではないと判定することを特徴とする請求項１０〜１３のいずれか１項に記載の番組再生方法。
【請求項１５】
画像抽出ステップは、画像データの平均輝度が所定の閾値以下の場合には、前記画像データが参照画像との照合に適切ではないと判定することを特徴とする請求項１０〜１３のいずれか１項に記載の番組再生方法。
【請求項１６】
画像抽出ステップは、画像データの水平方向の画素数、前記画像データの垂直方向の画素数の少なくとも１方が所定の閾値以下の場合、あるいは前記画像データの平均輝度が所定の閾値以下の場合には、前記画像データが参照画像との照合に適切ではないと判定することを特徴とする請求項１０〜１３のいずれか１項に記載の番組再生方法。
【請求項１７】
画像抽出ステップによって画像データが参照画像との照合に適切ではないと判断された場合、
ＧＵＩ制御ステップは、照合に適切ではないと判断された前記画像データに対応したマーカーを生成しないことを特徴とするとする請求項１４〜１６のいずれか１項に記載の番組再生方法。
【請求項１８】
番組を受信する受信ステップと、
受信した前記番組の伝送ストリームを映像ストリーム、音声ストリームおよびデータセクションに分離するデマルチプレクスステップと、
前記映像ストリームをデコードして映像信号に変換する映像デコードステップと、
前記映像信号に含まれる１つのフレームから１箇所または複数の領域を切り出して画像データとして抽出する画像抽出ステップと、
前記１つのフレーム内において、前記抽出した１箇所または複数の画像データの位置を明示するマーカーを生成するＧＵＩ制御ステップと、
前記マーカーを前記１つのフレームに重畳して表示する表示制御ステップと、
視聴者によって前記マーカーを用いて前記１箇所または複数の画像データから１つの選択画像データが選択される操作ステップと、
前記データセクションに含まれる番組特定情報を抽出する番組データ抽出ステップと、
前記番組に関する番組情報をデータベースとして保持するデータベース保持ステップと、
前記データベースおよび前記番組特定情報から参照画像を検索するための画像検索キーを生成する画像検索キー生成ステップと、
前記画像検索キーを用いて、ネットワーク経由で外部のサーバーから前記参照画像を取得し、前記選択画像データと前記参照画像とを照合する画像検索照合ステップと、
前記照合結果に基づいて前記選択画像データの属性を示す情報検索キーを生成し、前記情報検索キーを用い前記ネットワーク経由で前記選択画像データに関連する情報を取得する情報検索ステップとを備えたことを特徴とする番組再生方法。
【請求項１】
受信した番組を再生する番組再生装置であって、
ネットワークを経由して外部のサーバーと通信する通信手段と、
前記番組の伝送ストリームを映像ストリーム、音声ストリームおよびデータセクションに分離するデマルチプレクス手段と、
前記映像ストリームをデコードして映像信号に変換する映像デコード手段と、
前記映像信号に含まれる１つのフレームから１箇所または複数の領域を切り出して画像データとして抽出する画像抽出手段と、
前記１つのフレーム内において、前記抽出した１箇所または複数の画像データの位置を明示するマーカーを生成するＧＵＩ制御手段と、
前記マーカーを前記１つのフレームに重畳して表示する表示制御手段と、
視聴者によって前記マーカーを用いて前記１箇所または複数の画像データから１つの画像データが選択される操作手段と、
前記データセクションに含まれる番組配列情報および番組特定情報を抽出する番組データ抽出手段と、
前記番組配列情報および前記番組特定情報から参照画像を検索するための画像検索キーを生成する画像検索キー生成手段と、
前記画像検索キーを用いて、前記通信手段によって前記ネットワーク経由で前記外部のサーバーから前記参照画像を取得し、前記画像データと前記参照画像とを照合する画像検索照合手段と、
前記照合結果に基づいて前記画像データの属性を示す情報検索キーを生成し、前記情報検索キーを用い前記通信手段によって前記ネットワーク経由で前記画像データに関連する情報を取得する情報検索手段とを備えることを特徴とする番組再生装置。
【請求項２】
画像抽出手段によって切り出される画像データの領域は矩形形状であり、
ＧＵＩ制御手段によって生成されるマーカーは、画像データの矩形形状の領域に内接する円形形状であることを特徴とするとする請求項１に記載の番組再生装置。
【請求項３】
ＧＵＩ制御手段によって生成されるマーカーは、抽出された１箇所または複数の画像データにそれぞれ個別の番号が付与されることを特徴とする請求項１または２に記載の番組再生装置。
【請求項４】
ＧＵＩ制御手段によってマーカーが生成された後、
操作手段によって選択画面データが選択されるまでは、表示制御手段によって表示される１つのフレームが静止画として表示されることを特徴とするとする請求項１〜３のいずれか１項に記載の番組再生装置。
【請求項５】
画像抽出手段は、画像データの水平方向の画素数および前記画像データの垂直方向の画素数の少なくとも１方が所定の閾値以下の場合には、前記画像データが参照画像との照合に適切ではないと判定することを特徴とする請求項１〜４のいずれか１項に記載の番組再生装置。
【請求項６】
画像抽出手段は、画像データの平均輝度が所定の閾値以下の場合には、前記画像データが参照画像との照合に適切ではないと判定することを特徴とする請求項１〜４のいずれか１項に記載の番組再生装置。
【請求項７】
画像抽出手段は、画像データの水平方向の画素数、前記画像データの垂直方向の画素数の少なくとも１方が所定の閾値以下の場合、あるいは前記画像データの平均輝度が所定の閾値以下の場合には、前記画像データが参照画像との照合に適切ではないと判定することを特徴とする請求項１〜４のいずれか１項に記載の番組再生装置。
【請求項８】
画像抽出手段によって画像データが参照画像との照合に適切ではないと判断された場合、
ＧＵＩ制御手段は、照合に適切ではないと判断された前記画像データに対応したマーカー表示を生成しないことを特徴とするとする請求項５〜７のいずれか１項に記載の番組再生装置。
【請求項９】
受信した番組を再生する番組再生装置であって、
ネットワークを経由して外部のサーバーと通信する通信手段と、
前記番組の伝送ストリームを映像ストリーム、音声ストリームおよびデータセクションに分離するデマルチプレクス手段と、
前記映像ストリームをデコードして映像信号に変換する映像デコード手段と、
前記映像信号に含まれる１つのフレームから１箇所または複数の領域を切り出して画像データとして抽出する画像抽出手段と、
前記１つのフレーム内において、前記抽出した１箇所または複数の画像データの位置を明示するマーカーを生成するＧＵＩ制御手段と、
前記ママーカーを前記１つのフレームに重畳して表示する表示制御手段と、
視聴者によって前記マーカーを用いて前記１箇所または複数の画像データから１つの画像データが選択される操作手段と、
前記データセクションに含まれる番組特定情報を抽出する番組データ抽出手段と、
前記番組に関する番組情報をデータベースとして保持するデータベース保持手段と、
前記データベースおよび前記番組特定情報から参照画像を検索するための画像検索キーを生成する画像検索キー生成手段と、
前記画像検索キーを用いて、前記通信手段によって前記ネットワーク経由で前記外部のサーバーから前記参照画像を取得し、前記画像データと前記参照画像とを照合する画像検索照合手段と、
前記照合結果に基づいて前記画像データの属性を示す情報検索キーを生成し、前記情報検索キーを用い前記通信手段によって前記ネットワーク経由で前記画像データに関連する情報を取得する情報検索手段とを備えることを特徴とする番組再生装置。
【請求項１０】
番組を受信する受信ステップと、
受信した前記番組の伝送ストリームを映像ストリーム、音声ストリームおよびデータセクションに分離するデマルチプレクスステップと、
前記映像ストリームをデコードして映像信号に変換する映像デコードステップと、
前記映像信号に含まれる１つのフレームから１箇所または複数の領域を切り出して画像データとして抽出する画像抽出ステップと、
前記１つのフレーム内において、前記抽出した１箇所または複数の画像データの位置を明示するマーカーを生成するＧＵＩ制御ステップと、
前記マーカーを前記１つのフレームに重畳して表示する表示制御ステップと、
視聴者によって前記マーカーを用いて前記１箇所または複数の画像データから１つの選択画像データが選択される操作ステップと、
前記データセクションに含まれる番組配列情報および番組特定情報を抽出する番組データ抽出ステップと、
前記番組配列情報および前記番組特定情報から参照画像を検索するための画像検索キーを生成する画像検索キー生成ステップと、
前記画像検索キーを用いて、ネットワーク経由で外部のサーバーから前記参照画像を取得し、前記選択画像データと前記参照画像とを照合する画像検索照合ステップと、
前記照合結果に基づいて前記選択画像データの属性を示す情報検索キーを生成し、前記情報検索キーを用い前記ネットワーク経由で前記選択画像データに関連する情報を取得する情報検索ステップとを備えたことを特徴とする番組再生方法。
【請求項１１】
画像抽出ステップによって切り出される画像データの領域は矩形形状であり、
ＧＵＩ制御ステップによって生成されるマーカー表示は、画像データの矩形形状の領域に内接する円形形状であることを特徴とするとする請求項１０に記載の番組再生方法。
【請求項１２】
ＧＵＩ制御ステップによって生成されるマーカーは、抽出された１箇所または複数の画像データにそれぞれ個別の番号が付与されることを特徴とする請求項１０または１１に記載の番組再生方法。
【請求項１３】
ＧＵＩ制御ステップによってマーカーが生成された後、
操作ステップによって選択画面データが選択されるまでは、表示制御ステップによって表示される１つのフレームが静止画として表示されることを特徴とするとする請求項１０〜１２のいずれか１項に記載の番組再生方法。
【請求項１４】
画像抽出ステップは、画像データの水平方向の画素数および前記画像データの垂直方向の画素数の少なくとも１方が所定の閾値以下の場合には、前記画像データが参照画像との照合に適切ではないと判定することを特徴とする請求項１０〜１３のいずれか１項に記載の番組再生方法。
【請求項１５】
画像抽出ステップは、画像データの平均輝度が所定の閾値以下の場合には、前記画像データが参照画像との照合に適切ではないと判定することを特徴とする請求項１０〜１３のいずれか１項に記載の番組再生方法。
【請求項１６】
画像抽出ステップは、画像データの水平方向の画素数、前記画像データの垂直方向の画素数の少なくとも１方が所定の閾値以下の場合、あるいは前記画像データの平均輝度が所定の閾値以下の場合には、前記画像データが参照画像との照合に適切ではないと判定することを特徴とする請求項１０〜１３のいずれか１項に記載の番組再生方法。
【請求項１７】
画像抽出ステップによって画像データが参照画像との照合に適切ではないと判断された場合、
ＧＵＩ制御ステップは、照合に適切ではないと判断された前記画像データに対応したマーカーを生成しないことを特徴とするとする請求項１４〜１６のいずれか１項に記載の番組再生方法。
【請求項１８】
番組を受信する受信ステップと、
受信した前記番組の伝送ストリームを映像ストリーム、音声ストリームおよびデータセクションに分離するデマルチプレクスステップと、
前記映像ストリームをデコードして映像信号に変換する映像デコードステップと、
前記映像信号に含まれる１つのフレームから１箇所または複数の領域を切り出して画像データとして抽出する画像抽出ステップと、
前記１つのフレーム内において、前記抽出した１箇所または複数の画像データの位置を明示するマーカーを生成するＧＵＩ制御ステップと、
前記マーカーを前記１つのフレームに重畳して表示する表示制御ステップと、
視聴者によって前記マーカーを用いて前記１箇所または複数の画像データから１つの選択画像データが選択される操作ステップと、
前記データセクションに含まれる番組特定情報を抽出する番組データ抽出ステップと、
前記番組に関する番組情報をデータベースとして保持するデータベース保持ステップと、
前記データベースおよび前記番組特定情報から参照画像を検索するための画像検索キーを生成する画像検索キー生成ステップと、
前記画像検索キーを用いて、ネットワーク経由で外部のサーバーから前記参照画像を取得し、前記選択画像データと前記参照画像とを照合する画像検索照合ステップと、
前記照合結果に基づいて前記選択画像データの属性を示す情報検索キーを生成し、前記情報検索キーを用い前記ネットワーク経由で前記選択画像データに関連する情報を取得する情報検索ステップとを備えたことを特徴とする番組再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−１６０３０（Ｐ２０１３−１６０３０Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４８３９５（Ｐ２０１１−１４８３９５）
【出願日】平成２３年７月４日（２０１１．７．４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月４日（２０１１．７．４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]