動画処理装置
【課題】動画像データに表示された人物に関する情報を提供する。
【解決手段】動画処理装置１００は、人物画像データと当該人物の人名とを対応付けて記憶する人物データベース１１５と、人名を記憶する人名候補データベース１０９と、動画像データを取得するＤＥＭＵＸ／映像／音声データ分離部１０５と、動画像データに含まれるフレーム画像から顔画像を検出する顔検出部１１２と、当該フレーム画像から文字列データを抽出する文字列抽出部１１０と、抽出された文字列データと、人名候補データベース１０９に記憶される人名と、が一致するか否かを判定する人名判定部１１１と、文字列データと人名とが一致すると判定された場合に、文字列データを人名として、当該文字列データを抽出したフレーム画像で検出された顔画像を含む人物画像データと対応付けて人物データベース１１５に登録する登録部１１４と、を備える。
【解決手段】動画処理装置１００は、人物画像データと当該人物の人名とを対応付けて記憶する人物データベース１１５と、人名を記憶する人名候補データベース１０９と、動画像データを取得するＤＥＭＵＸ／映像／音声データ分離部１０５と、動画像データに含まれるフレーム画像から顔画像を検出する顔検出部１１２と、当該フレーム画像から文字列データを抽出する文字列抽出部１１０と、抽出された文字列データと、人名候補データベース１０９に記憶される人名と、が一致するか否かを判定する人名判定部１１１と、文字列データと人名とが一致すると判定された場合に、文字列データを人名として、当該文字列データを抽出したフレーム画像で検出された顔画像を含む人物画像データと対応付けて人物データベース１１５に登録する登録部１１４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画情報の処理を行う動画処理装置に関する。
【背景技術】
【０００２】
従来から、テレビジョン受信装置や、番組録画装置などの動画処理装置において、当該番組のコンテンツデータに出演している出演者の人名などのキーワードの入力を受け付けた場合に、入力を受け付けた人名を用いて出演者が出演する番組の番組情報など、当該出演者に関する関連情報を検索し、その検索結果を表示する機能が提案されている。
【０００３】
例えば、特許文献１には、コンテンツデータの動画像データおよび音声データからキーワードを抽出し、再生されている動画像データに対応する映像とともに抽出したキーワードを表示部に表示するとともに、当該キーワードの選択に応じて、選択されたキーワードに関連する関連情報を表示部に表示する関連情報検索装置が提案されている。これにより、ユーザは、出演者の人名などをキーワードとして検索することで、当該出演者の関連情報を知ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１４８９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、コンテンツデータの動画像データの表示中に、ユーザが気になる出演者を発見した場合、当該出演者のことを知りたいが、人名がわからないために、当該出演者のことを調べられないことがある。
【０００６】
この場合、上記特許文献１に記載の関連情報検索装置では、当該出演者を特定するキーワードが不明なため、当該人物に関する情報を提供することができない。つまり、上記特許文献１に記載の関連情報検索装置では、ユーザが予め知っている人物の関連情報しか表示することができない、という課題がある。
【０００７】
本発明は、上記に鑑みてなされたものであって、動画像データに含まれている人物を特定する動画処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明にかかる動画処理装置は、人物の顔画像を含む人物画像情報と、当該人物の名前情報と、を対応付けて記憶する人物記憶手段と、前記人物記憶手段に登録の対象となる人物の名前を示す人名情報を記憶する人名候補記憶手段と、動画情報を取得する取得手段と、前記動画情報に含まれる画面情報から、顔画像を検出する顔検出手段と、前記動画情報に含まれる画面情報から、文字列情報を抽出する文字列抽出手段と、抽出された前記文字列情報と、前記人名候補記憶手段に記憶される前記人名情報と、が一致するか否かを判定する人名判定手段と、前記文字列情報と前記人名情報とが一致すると判定された場合に、前記文字列情報を名前情報として、当該文字列情報を抽出した前記画面情報で検出された前記顔画像を含む人物画像情報と対応付けて前記人物記憶手段に登録する登録手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、動画情報に表示されている当該人物の名前を提供することが可能になるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１実施の形態にかかる動画処理装置の構成を示すブロック図である。
【図２】図２は、人名候補データベースのテーブル構造を示す図である。
【図３】図３は、第１実施の形態にかかる配置判定部が、入力された人名を、入力された顔画像を指し示す名前であると判断する配置を示した図である。
【図４】図４は、人物データベースのテーブル構造に関する図である。
【図５】図５は、第１実施の形態にかかる画像合成部が、画像生成部により生成された画像と、映像デコーダから受信した動画像データと、を合成して生成した画面の例を示す図である。
【図６】図６は、第１実施の形態にかかる動画処理装置における、人物データベースに人物画像データを登録するまでの処理の手順を示すシーケンス図である。
【図７】図７は、第１実施の形態にかかる人名判定部における、人名判定処理の手順を示すフローチャートである。
【図８】図８は、第１実施の形態にかかる顔検出部における、顔検出処理の手順を示すフローチャートである。
【図９】図９は、第１実施の形態にかかる配置判定部における、人名判定処理の手順を示すフローチャートである。
【図１０】図１０は、第１実施の形態にかかる顔認識処理部における、人物画像データの特定処理の手順を示すフローチャートである。
【図１１】図１１は、第２実施の形態にかかる動画処理装置の構成を示すブロック図である。
【図１２】図１２は、第２実施の形態にかかる顔検出部が切り出す人物画像データの例を示した図である。
【図１３】図１３は、第２実施の形態にかかる動画処理装置における人物データベースに人物画像データを登録するまでの処理の手順を示すシーケンス図である。
【図１４】図１４は、第２実施の形態にかかる顔検出部における顔検出処理の手順を示すフローチャートである。
【図１５】図１５は、第２実施の形態にかかる文字列抽出部及び人名判定部における人名判定処理の手順を示すフローチャートである。
【図１６】図１６は、第３実施の形態にかかる動画処理装置の構成を示すブロック図である。
【図１７】図１７は、第３実施の形態にかかる登録部における登録処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、この発明にかかる動画処理装置の最良な実施の形態を詳細に説明する。
【００１２】
（第１の実施の形態）
なお、第１の実施の形態では、この発明にかかる動画処理装置を、番組の動画情報を再生するＨＤＤ（Hard Disk Drive）レコーダやＨＤＤ+ＤＶＤ（Digital Versatile Disc）レコーダなどの動画処理装置に適用した例について説明するが、動画情報を処理することができる装置であれば、これに限定するものではない。例えば、チューナを用いて番組のコンテンツデータの受信、表示を行うテレビジョン受信装置などにも適用することができる。さらには、動画情報の処理を行うＰＣなどに適用しても良い。
【００１３】
図１は、第１実施の形態にかかる動画処理装置の構成を示すブロック図である。本第１実施の形態にかかる動画処理装置１００は、地上デジタルチューナ１０１と、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調部１０２と、ＢＳ（Broadcasting Satellite）／１１０度ＣＳ（Communication Satellite）デジタルチューナ１０３と、ＱＰＳＫ（Quadrature Phase Shift Keying）復調部１０４と、ＤＥＭＵＸ（De-Multiplexer）映像／音声／データ分離部１０５と、データ処理部１０６と、映像デコーダ１０７と、音声デコーダ１０８と、人名候補データベース１０９と、文字列抽出部１１０と、人名判定部１１１と、顔検出部１１２と、配置判定部１１３と、登録部１１４と、人物データベース１１５と、顔認識処理部１１６と、画像生成部１１７と、画像合成部１１８と、バックエンド部１１９と、コンテンツ取得部１２０と、コンテンツ記憶部１２１とを備える。
【００１４】
本第１実施の形態にかかる動画処理装置１００は、放送波又はインターネット等で配信される番組を表示する際に、番組から検出した顔画像から人物を特定し、当該人物の関連情報をユーザに提供する。このために、動画処理装置１００は、人物を示す人物画像データを、人物データベース１１５に予め登録する。なお、本第１実施の形態にかかる人物画像データは、当該人物の顔と名前とを表示する画像とする。つまり、番組出演者の人物画像データが表示されることで、視聴者は出演者の顔と名前とを対応付けることができる。
【００１５】
地上デジタルチューナ１０１は、アンテナで受信された地上デジタル放送の放送信号を受信し、受信した放送信号から特定の番組のコンテンツデータを抽出する。ＯＦＤＭ復調部１０２は、地上デジタルチューナ１０１で抽出されたデジタルのコンテンツデータの復調処理を行い、ＤＥＭＵＸ映像／音声／データ分離部１０５に送信する。
【００１６】
コンテンツデータとは、放送局から提供されるデータであり、当該番組の映像（動画）データ、及び音声データの他、番組データを含むデータとする。番組データとは、放送される番組を特定する情報（例えば番組を放送した放送局名、番組の取得日時、及び番組名）、当該番組の内容に関する情報（例えば、出演者、あらすじ）などの他に、番組表（例えばＥＰＧ（Electronic Program Guide）情報）などを含む情報とする。
【００１７】
ＢＳ／１１０度ＣＳデジタルチューナ１０３は、ＢＳデジタル放送および１１０度ＣＳデジタル放送の放送信号を受信し、受信した放送信号から特定の番組のコンテンツデータを抽出する。ＱＰＳＫ復調部１０４は、ＢＳ／１１０度ＣＳデジタルチューナ１０３により抽出されたデジタルのコンテンツデータの復調処理を行い、ＤＥＭＵＸ映像／音声／データ分離部１０５に送信する。
【００１８】
ＤＥＭＵＸ映像／音声／データ分離部１０５は、ＱＦＤＭ復調部１０２またはＱＰＳＫ復調部１０４から入力されたコンテンツデータを、動画像データ、音声データ、および番組データに分離し、番組データをデータ処理部１０６に、動画像データを映像デコーダ１０７に、音声データを音声デコーダ１０８に送信する。
【００１９】
データ処理部１０６は、ＤＥＭＵＸ映像／音声／データ分離部１０５から入力された番組データを処理する。そして、データ処理部１０６は、番組データを、画像生成部１１７、及び登録部１１４に送信する。
【００２０】
本第１実施の形態にかかるデータ処理部１０６は、番組データからＥＰＧ情報を抽出し、抽出されたＥＰＧ情報に含まれる各番組の出演者を示す人名を、人名候補データベース１０９に登録する。
【００２１】
また、データ処理部１０６は、ＥＰＧ情報に含まれる出演者毎に、ＥＰＧ情報から当該出演者が出演する番組や当該出演者に関する情報を抽出し、出演者を示す人名と、出演する番組情報と、出演者に関する関連情報と、を対応付けてコンテンツ記憶部１２１に登録する。
【００２２】
なお、本第１実施の形態では、データ処理部１０６は、放送波から受信したＥＰＧ情報から、出演者に関する関連情報を抽出しているが、出演者に関する関連情報を抽出するものであれば、これに限定するものではない。例えば、データ処理部１０６は、出演者に対応する人物に関する関連情報（例えば、顔画像、性別、生年月日、出身地、最新情報ニュース等の人物紹介情報など）を、インターネット（図示しない）上のサーバまたは動画処理装置１００が具備する辞書（図示しない）等のデータベースから抽出しても良い。これにより、コンテンツ記憶部１２１には、出演者のプロフィールなど様々な情報を格納できる。
【００２３】
コンテンツ記憶部１２１は、ＥＰＧ情報に含まれていた各番組の出演者を示す人名と、出演者が出演する番組情報と、当該出演者に関する関連情報と、を対応付けて記憶する。関連情報としては、ＥＰＧから抽出した出演者に関する情報から、当該出演者に関する情報として、インターネット等から取得したプロフィールなどを含むものとする。
【００２４】
人名候補データベース１０９は、ＥＰＧ情報に含まれている、全ての番組の人名を記憶する。図２は、人名候補データベース１０９のテーブル構造を示す図である。
【００２５】
図２に示すように、人名候補データベース１０９は、ＩＤと、人名と、を対応付けて記憶している。つまり、人名候補データベース１０９は、ＥＰＧ情報の様々な番組から抽出した人名情報をデータベースとして記憶する。この人名候補データベース１０９に記憶された人名情報は、人物データベース１１５に登録の対象となる人名を示す。そして、動画処理装置１００は、当該人名候補データベース１０９を参照することで、動画内に含まれている文字列が、人名であるか否かを判定することが可能となる。
【００２６】
また、人名候補データベース１０９は、ＦＩＦＯ(First Input First Out)形式とする。これにより、当該人名候補データベース１０９に、記憶領域における容量の制約で、人名が新たに登録できない場合に、登録が古い人名から順に削除していく。なお、同一の人名が複数レコードで登録されないように制御しても良い。
【００２７】
図１に戻り、映像デコーダ１０７は、ＤＥＭＵＸ映像／音声／データ分離部１０５から入力された動画像データを復号し、文字列抽出部１１０、顔検出部１１２、配置判定部１１３、及び画像合成部１１８に送信する。映像デコーダ１０７は、動画処理装置１００内の各部に動画像データを提供するための構成であり、換言すれば動画を取得する取得手段に相当する。
【００２８】
音声デコーダ１０８は、ＤＥＭＵＸ映像／音声／データ分離部１０５から入力された音声データを復号し、バックエンド部１１９に送信する。
【００２９】
文字列抽出部１１０は、映像デコーダ１０７から動画像データが入力された場合に、当該動画像データで表示される画面（換言すれば、動画像データに含まれるフレーム画像）から、文字列データを抽出する。本第１実施の形態にかかる文字列抽出部１１０は、動画像データに含まれるフレーム画像に対して、ＯＣＲ処理を行って、文字列データを抽出する。そして、文字列抽出部１１０は、抽出した文字列データと、当該文字列データを抽出した画面（フレーム画像）内の位置データと、を人名判定部１１１に送信する。
【００３０】
人名判定部１１１は、文字列抽出部１１０により抽出された文字列データと一致する人名が、人名候補データベース１０９に登録されているか否かを判定する。そして、人名判定部１１１は、人名候補データベース１０９に登録されていると判定した場合、入力された文字列データを人名として、入力された位置データと共に、配置判定部１１３に送信する。
【００３１】
顔検出部１１２は、映像デコーダ１０７から動画像データが入力された場合に、当該動画像データに含まれるフレーム画像から、顔画像を検出する。そして、顔検出部１１２は、顔画像を検出した場合に、当該顔画像の位置を示す位置データを、配置判定部１１３に送信する。また、顔検出部１１２は、検出した顔画像を含む画像情報を切り出し、顔画像データとして顔認識処理部１１６に送信する。
【００３２】
顔検出部１１２による顔画像の検出手法としては、どのような手法を用いても良いが、例えば、映像デコーダ１０７から入力された動画像データを構成するフレーム画像中の肌色の領域とそれを囲むエッジから顔画像の領域を推定し、推定した領域内の画像を顔画像データとして検出する、などが考えられる。
【００３３】
配置判定部１１３は、人名判定部１１１から入力された人名及び位置データ、並びに顔検出部１１２により入力された顔画像の位置を示す位置データとから、入力された人名が、当該顔画像の人名であるか否かを判定する。
【００３４】
図３は、配置判定部１１３が、入力された人名を、入力された顔画像を指し示す名前であると判断する配置を示した図である。図３に示すように、顔画像４０１から所定の距離下の位置４０２に人名が配置されている場合に、配置判定部１１３は、位置４０２に配置された人名が、顔画像４０１の名前であると判断する。そして、配置判定部１１３は、映像デコーダ１０７から入力された動画像データに含まれるフレーム画像から、当該人名と顔画像を含む画像領域を切り出して、人物画像データを生成する。そして、配置判定部１１３は、生成した人物画像データを、人名と共に、登録部１１４に送信する。
【００３５】
人物データベース１１５は、モニタに表示するための人物画像に関する情報を記憶する。図４は、人物データベース１１５のテーブル構造に関する図である。図４に示すように、人物データベース１１５は、ＩＤと、人名と、放送局名と、取得日時と、番組名と、人物画像と、その他様々な情報と、を対応付けて記憶する。また、番組データに含まれている他の情報も対応付けて登録しても良い。
【００３６】
人物画像は、配置判定部１１３により生成された人物画像データを特定する情報とする。人名は、当該人物画像データの人物の名前とする。放送局名、取得日時、及び番組名は、人物画像データを切り出した動画像データの番組を特定する情報とする。つまり、人物画像データの抽出元の番組を特定できる。これにより、人物画像データを、外部環境に出力する場合に、著作権保護規則（例えば、ダビング１０など）に従って処理を行うことができるので、著作権を保護することができる。
【００３７】
また、人物データベース１１５は、ＦＩＦＯ形式で予め定められたレコード数だけ、人物画像データを格納することを可能とする。これにより、人物画像データの経年に基づく更新が可能となる。
【００３８】
図１に戻り、登録部１１４は、配置判定部１１３から受信した人物画像データ及び人名と、データ処理部１０６により入力された番組データのうち当該番組を表す放送局名、取得日時及び番組名と、を対応付けて人物データベース１１５に登録する。
【００３９】
これにより、動画像データから抽出された人物画像データが、人物データベース１１５に登録されることになる。そして、動画処理装置１００においては、以下に示す構成で、当該人物データベース１１５を用いた人物画像データを含む人物紹介等の表示を行う。
【００４０】
顔認識処理部１１６は、顔検出部１１２から入力された顔画像データと、人物データベース１１５に格納されている各人物画像データと、が同一人物であるか否かを判定する。同一人物と判定した場合に、当該人物画像データと対応付けられている人名を、コンテンツ取得部１２０に送信すると共に、当該人物画像データを、画像生成部１１７に送信する。
【００４１】
同一人物であるか否かの判断はいずれの手法を用いても良い。例えば、顔認識処理部１１６が、顔検出部１１２から入力された顔画像データの画像分析を行い、当該顔画像データから人物の顔の特徴情報を抽出する。そして、人物データベース１１５に格納されている人物画像データの特徴情報と、顔画像データから抽出した特徴情報とを、比較して、所定の基準以上類似していると判断した場合には、同一人物と判定する、などが考えられる。
【００４２】
コンテンツ取得部１２０は、顔認識処理部１１６から人名を受信した場合に、当該人名と対応付けられた情報（当該人名の出演する番組、当該人名に関連する情報）を、コンテンツ記憶部１２１から取得し、画像生成部１１７に送信する。
【００４３】
画像生成部１１７は、データ処理部１０６から受信した番組データ、及びコンテンツ取得部１２０から入力された出演者に関連する情報を、画像データに変換すると共に、変換した画像データと、顔認識処理部１１６から受信した人物画像データとを結合し、モニタに表示するために適切な画像を生成する。生成した画像には、人物画像データや、出演者に関する関連情報（出演予定番組、人物紹介情報等）や、表示する番組の情報等が含まれているものとする。そして、画像生成部１１７は、生成した画像を、画像合成部１１８に送信する。
【００４４】
画像合成部１１８は、画像生成部１１７から受信した画像と、映像デコーダ１０７から受信した動画像データとを合成する。
【００４５】
図５は、画像合成部１１８が、画像生成部１１７により生成された画像と、映像デコーダ１０７から受信した動画像データと、を合成して生成した画面の例を示す図である。図５に示すように、モニタ５０１内のＴＶ画面に２人（この二人の名前を○○××、及び○△□□とする）が映し出されているものとする。この場合、モニタ５０１内に、ＴＶ画面に映し出されている２人それぞれの顔と同一人物と判定された人物画像データ５０２、５０３が表示されると共に、当該人物画像データ５０２、５０３に関連する情報が領域５０４内に表示される。これにより、ユーザはＴＶ画面に表示されている出演者を知ることができる。
【００４６】
なお、図５に示した画面は例として示したものであり、人物画像データが表示された画面であればよい。また、出演者の関連情報や、表示している番組に関するデータ以外のデータを表示するものでもよい。逆に、出演者の関連情報や、表示している番組に関するデータなどを表示しなくても良い。
【００４７】
図１に戻り、バックエンド部１１９は、画像合成部１１８により合成された画像を、図示しないモニタに出力する。また、バックエンド部１１９は、音声デコーダ１０８から入力された音声データを、図示しないスピーカから出力する。
【００４８】
次に、本第１実施の形態にかかる動画処理装置１００における人物データベース１１５に人物画像データを登録するまでの処理について説明する。図６は、本第１実施の形態にかかる動画処理装置１００における上述した処理の手順を示すシーケンス図である。なお、図６に示す処理は、動画像データの再生が行われている間、常に行われている処理とする。
【００４９】
まず、映像デコーダ１０７は、復号した動画像データを、文字列抽出部１１０に送信し、顔検出部１１２に送信し、配置判定部１１３に送信する（ステップＳ６０１、Ｓ６０２及びＳ６０３）。
【００５０】
次に、文字列抽出部１１０は、当該動画像データに含まれるフレーム画像から、文字列データを抽出する（ステップＳ６０４）。そのあと、文字列抽出部１１０は、抽出した文字列データと、文字列を抽出したフレーム画像内の位置を示す位置データと、を人名判定部１１１に送信する（ステップＳ６０５）。そして、人名判定部１１１は、受信した文字列データを検索キーとして、人名候補データベース１０９を検索し、当該文字列データが人名として登録されているか否かを判定する（ステップＳ６０６）。
【００５１】
本シーケンス図では、人名判定部１１１が、受信した文字列が人名であると判定した場合について説明する。人名であると判定した後、人名判定部１１１は、受信した文字列データを人名として、位置データと共に、配置判定部１１３に送信する（ステップＳ６０７）。
【００５２】
そして、顔検出部１１２は、受信した動画像データに含まれるフレーム画像から、顔画像の検出を行う（ステップＳ６０８）。そして、顔検出部１１２は、顔画像を検出した場合に、当該フレーム画像内で顔画像を検出した位置を示す位置データを、配置判定部１１３に送信する（ステップＳ６０９）。
【００５３】
その後、配置判定部１１３が、ステップＳ６０７で受信した人名の位置データと、ステップＳ６０９で受信した顔画像の位置データと、が所定の配置にあるか否かに基づいて、入力された人名が、受信した顔画像の人名であるか否かを判定する（ステップＳ６１０）。本シーケンス図では、配置判定部１１３が、受信した文字列が、入力された顔画像の人名であると判定した場合とする。
【００５４】
そして、配置判定部１１３が、受信した顔画像の人名であると判定した場合、当該人名と顔画像を含む画像領域を切り出して、人物画像データを生成し、生成した人物画像データを、人名と共に、登録部１１４に送信し、登録要求を行う（ステップＳ６１１）。
【００５５】
登録要求を受信した登録部１１４は、登録要求を受信した場合に、データ処理部１０６から番組データを取得する（ステップＳ６１２）。そして、登録部１１４は、登録要求に含まれていた人名データと、人物画像データと、番組に関するデータ（放送局名、取得日時、番組名）とを対応付けて、人物データベース１１５に登録する（ステップＳ６１３）。
【００５６】
上述した処理手順により、人物データベース１１５に人物画像データを登録することができる。次に，各構成の具体的な処理について説明する。
【００５７】
次に、本第１実施の形態にかかる動画処理装置１００の人名判定部１１１における人名判定処理について説明する。図７は、本第１実施の形態にかかる人名判定部１１１における上述した処理の手順を示すフローチャートである。
【００５８】
まず、人名判定部１１１は、文字列抽出部１１０から文字列データと、当該文字列を抽出した位置データとを受信する（ステップＳ７０１）。
【００５９】
そして、人名判定部１１１は、受信した文字列データを検索キーとして、人名候補データベース１０９を検索する（ステップＳ７０２）。
【００６０】
その後、人名判定部１１１は、受信した文字列データが、人名候補データベース１０９に人名として含まれているか否かを判定する（ステップＳ７０３）。含まれていないと判定した場合（ステップＳ７０３：Ｎｏ）、再びステップＳ７０１から処理を行う。
【００６１】
次に、人名判定部１１１は、文字列データが人名として含まれていると判定した場合（ステップＳ７０３：Ｙｅｓ）、当該文字列データを人名として、位置データと共に配置判定部１１３に送信する（ステップＳ７０４）。その後、再びステップＳ７０１から処理を行う。
【００６２】
上述した処理手順により、動画像データに含まれるフレーム画像内の人名を特定できる。次に、本第１実施の形態にかかる動画処理装置１００の顔検出部１１２における顔検出処理について説明する。図８は、本第１実施の形態にかかる顔検出部１１２における上述した処理の手順を示すフローチャートである。
【００６３】
まず、顔検出部１１２は、映像デコーダ１０７から動画データを受信する（ステップＳ８０１）。次に、顔検出部１１２は、受信した動画データに含まれるフレーム画像に、顔画像が含まれているか否かを判定する（ステップＳ８０２）。含まれていないと判定した場合（ステップＳ８０２：Ｎｏ）、再びステップＳ８０１から処理を行う。
【００６４】
一方、顔検出部１１２が、動画データのフレーム画像に、顔画像が含まれていると判定した場合（ステップＳ８０２：Ｙｅｓ）、検出した顔画像を含む画像情報を切り出し、顔画像データとして顔認識処理部１１６に送信する（ステップＳ８０３）。以降、顔認識処理部１１６等において、送信された顔画像データに基づいて、モニタ上に人物画像データを表示するための処理が行われる。
【００６５】
そして、顔検出部１１２は、検出した顔画像の位置を示す位置データを、配置判定部１１３に送信する（ステップＳ８０４）。これにより、検出した顔画像を含む人物画像データとして登録する処理が行われる。その後、再びステップＳ８０１から処理を行う。
【００６６】
つまり、本第１実施の形態にかかる動画処理装置１００においては、顔認識処理部１１６が検出した顔画像を検出した場合に、当該顔画像を人物画像データとして登録する処理と並行して、検出した顔画像に基づく人物画像データの検索、表示処理が行われている。なお、本第１実施の形態においては、これらの処理を並行して行っているが、装置によってはいずれか一方のみを行うことにしてもよい。
【００６７】
次に、本第１実施の形態にかかる動画処理装置１００の配置判定部１１３における、人名判定処理について説明する。図９は、本第１実施の形態にかかる配置判定部１１３における上述した処理の手順を示すフローチャートである。
【００６８】
配置判定部１１３は、映像デコーダ１０７から動画像データを受信する（ステップＳ９０１）。次に、配置判定部１１３は、人名判定部１１１から人名と位置データとを受信する（ステップＳ９０２）。
【００６９】
さらに、配置判定部１１３は、顔検出部１１２から顔画像の位置データを受信する（ステップＳ９０３）。
【００７０】
そして、配置判定部１１３は、動画データの同一のフレーム画像内について、人名の位置データと、顔画像の位置データとを受信した場合に、各位置データに基づいて、当該人名と顔画像とが予め設定されたパターンに合致するか否かを判定する（ステップＳ９０４）。予め設定されたパターンに合致しないと判定した場合（ステップＳ９０４：Ｎｏ）、人物画像データに適さないものとして、再びステップＳ９０１から処理を開始する。
【００７１】
一方、配置判定部１１３が、予め設定されたパターンに合致すると判定した場合（ステップＳ９０４：Ｙｅｓ）、人名が顔画像を指し示すものとして、人名と顔画像とを含む画像を、人物画像データとして、画像データから切り出す（ステップＳ９０５）。
【００７２】
その後、配置判定部１１３は、人名と顔画像とを含む人物画像データを、人名と共に登録部１１４に送信する（ステップＳ９０６）。これにより、人名と、人物画像データと、番組に関する情報とが対応付けて、人物データベース１１５に登録される。
【００７３】
上述した処理手順により、人物データベース１１５に人物画像データが登録されることになる。次に、人物画像データをモニタに表示する際の処理について説明する。
【００７４】
次に、以上のように構成された本第１実施の形態にかかる動画処理装置１００の顔認識処理部１１６における人物画像データの特定処理について説明する。図１０は、本第１実施の形態にかかる顔認識処理部１１６における上述した処理の手順を示すフローチャートである。
【００７５】
まず、顔認識処理部１１６は、顔検出部１１２から顔画像データを受信する（ステップＳ１００１）。そして、顔認識処理部１１６は、受信した顔画像データの特徴情報と、人物データベース１１５に登録されている人物画像データの特徴情報とを比較し、受信した顔画像データと同一人物の人物画像データが登録されているか否かを判定する（ステップＳ１００２）。登録されていないと判定した場合（ステップＳ１００２：Ｎｏ）、再びステップＳ１００１から処理を開始する。
【００７６】
一方、顔認識処理部１１６は、同一人物の人物画像データが人物データベース１１５に登録されていると判定した場合（ステップＳ１００２：Ｙｅｓ）、同一人物と判定された人物画像データは複数であるか否かを判定する（ステップＳ１００３）。
【００７７】
そして、顔認識処理部１１６が、人物画像データが単数であると判定した場合（ステップＳ１００３：Ｎｏ）、同一人物と判定された人物画像データと当該人物画像データと対応付けられた人名と、を画像生成部１１７に送信する（ステップＳ１００７）。
【００７８】
一方、顔認識処理部１１６が、人物画像データが複数であると判定した場合（ステップＳ１００３：Ｙｅｓ）、同一人物と判定された人物画像データと対応付けられた人名のうち、最も数が多い人名を特定する（ステップＳ１００４）。つまり、人物データベース１１５では、人物画像データを逐次登録するため、同一人物の人物画像データが複数登録されていることになる。そこで、本第１実施の形態においては、ステップＳ１００４の処理で、この複数登録されている人物画像データを用いて、顔画像データを示す人名として、最も確からしい人名を特定する。なお、最も確からしい人名及び人物画像データの特定手法は、上述した手法に限らず、さまざまな手法を用いて良い。
【００７９】
そして、顔認識処理部１１６は、人物データベース１１５において、特定された人名と対応付けられた人物画像データのうち、最新の人物画像データを特定する（ステップＳ１００５）。
【００８０】
その後、顔認識処理部１１６は、特定された人物画像データと人名とを、画像生成部１１７に送信する（ステップＳ１００６）。
【００８１】
上述した処理手順により、画像生成部１１７に、動画像データから検出した顔画像と同一人物の人物画像データと人名とが送信されるので、当該人物画像データと人名とを用いた表示が、モニタ上に行われる。
【００８２】
本第１実施の形態にかかる動画処理装置１００においては、現在ＴＶ画面に表示されている出演者に限り、関連する情報の表示を可能とした。つまり、従来から提案されている手法のように、放送波（ＥＰＧ含む）またはインターネット等で配信される番組情報から、当該番組に出演している出演者を特定し、当該出演者に関連する情報を取得すると、出演者数は多い番組の場合には、表示する情報が多くなり、ユーザが認識できなくなる可能性がある。
【００８３】
これに対し、本第１実施の形態にかかる動画処理装置１００では、表示している動画像データに含まれている人物画像データを、人物データベース１１５から検出し、当該画像を、人物紹介として用いることとした。そして、上述した構成で、人物データベース１１５で生成できるので、処理負担を低減できる。
【００８４】
ところで、従来技術においては、インターネット等で取得した顔画像を、人物紹介として用いる技術がある。しかしながら、インターネット等で取得した顔画像の中には、現在の当該人物とは同一人物とは判定できない古いものも含まれている。このような顔画像を用いて人物紹介を行うと、適切でない顔画像を誤使用する可能性があった。
【００８５】
これに対し、本第１実施の形態にかかる動画処理装置１００においては、現在受信されている動画像データから顔画像を検出するため、適切な顔画像を用いた（人物紹介などによる）表示を行うことができる。
【００８６】
また、従来技術である、インターネット等、実際のコンテンツ配信媒体以外から顔画像を取得し、当該顔画像を人物紹介として用いる技術が提案されている。しかしながら、どの人物が、番組に出演する人なのか特定できない。このような事情から、ユーザに人物を紹介する機能に満足できるように精度を高めるためには、インターネット等から必要以上の顔画像を収集する必要があった。
【００８７】
これに対し、本第１実施の形態にかかる動画処理装置１００においては、放送局から配信される映像内の、人物が紹介されている画像を検出し、当該画像を切り出して人物画像データとして、人物データベース１１５に登録することとした。そして、人物データベース１１５に登録されている人物画像データを、人物紹介として用いることした。これにより、出演する人物の人物画像データのみを登録でき、出演しない人物の人物画像データは登録されないため、動画処理装置１００の記憶容量を削減することができる。
【００８８】
また、従来技術においては、古い人物データを用いて人物紹介を行わないように有効期間が設けられている技術があった。これに対し、本第１実施の形態にかかる動画処理装置１００においては、人物データベース１１５をＦＩＦＯ形式としたため、人物画像データの量が所定の容量を超えた場合に、古い人物画像データから順に自動的に削除していた。これにより、古い人物画像データは蓄積されないため、先行技術のような、人物データの有効期間判定が不要となった。
【００８９】
本第１実施の形態にかかる動画処理装置１００においては、受信した番組の動画像データに基づいて、人物を示す人物画像データを抽出し、当該人物画像データで人物データベース１１５を構築することとした。しかしながら、受信した番組の動画像データに基づいて人物画像データを抽出するのではなく、すでに録画済みの動画像データに基づいて、人物データベース１１５を構築しても良い。この場合、録画した動画像データの番組データを予め記憶しておく必要がある。
【００９０】
また、人物データベース１１５においては、番組に関する情報から、人物画像データを抽出先の動画像データを特定できる。これにより、人物画像データを複製した場合に、動画像データの複製回数などもカウントできるので、著作権管理が容易となる。
【００９１】
また、本第１実施の形態にかかる動画処理装置１００においては、動画像データから人物画像データを切り出して人物データベース１１５に登録することで、当該人物画像データを用いた人物紹介が容易になる。これにより、ユーザは、動画像データに表示されている人物を容易に特定できると共に、当該人物に関連する情報の取得が容易になる。
【００９２】
また、本第１実施の形態にかかる動画処理装置１００の人物データベース１１５では、従来のように人名毎に単一の人物画像データを保持するのではなく、人物画像データ毎に人名などの情報を対応付けて記憶した。つまり、同一人名が複数のレコードに登録されることになっていた。これにより、従来においては、顔認証処理で表情や化粧などで、同一人物であるにもかかわらず、誤判定してしまうような状況においても、本第１実施の形態にかかる動画処理装置１００では、同一人物について、表情や化粧などが異なる複数の人物画像データを登録されているので、このような状況における検出精度を向上させることができる。
【００９３】
（第２の実施の形態）
第１の実施の形態にかかる動画処理装置１００においては、人名と顔画像の位置関係から人名が顔画像の人を占めているのか否か判定した。しかしながら、このような判定手法に制限するものではない。そこで、第２の実施の形態では、配置と関係なく人名と顔画像を結びつける例について説明する。
【００９４】
図１１は、第２の実施の形態にかかる動画処理装置１１００の構成を示すブロック図である。動画処理装置１１００は、上述した第１の実施の形態にかかる動画処理装置１００とは、配置判定部１１３が削除されていること、顔検出部１１２とは処理が異なる顔検出部１１０１に変更され、文字列抽出部１１０とは処理が異なる文字列抽出部１１０２に変更され、人名判定部１１１とは処理が異なる人名判定部１１０３に変更された構成を有している点で異なる。以下の説明では、上述した第１の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。
【００９５】
顔検出部１１０１は、映像デコーダ１０７から入力された動画像データのフレーム画像から、顔画像の検索を行う。そして、顔検出部１１０１は、顔画像を検出した場合に、第１の実施の形態と同様に、顔画像を顔認識処理部１１６に送信する。
【００９６】
さらに、第２の実施の形態にかかる顔検出部１１０１は、検出した顔画像に基づいて、所定のサイズの人物画像データを切り出して、文字列抽出部１１０２に送信する。
【００９７】
図１２は、顔検出部１１０１が切り出す人物画像データの例を示した図である。図１２に示すように、本第２実施の形態にかかる顔検出部１１０１は、顔画像の中心１２０２から顔画像のサイズ１２０３に基づいて、人物画像データ１２０１のサイズを決定する。すなわち、顔検出部１１０１は、顔画像の横サイズに定数ｎを乗じた値で人物画像データの横サイズを特定すると共に、顔画像の縦サイズに定数ｍ、ｍ’を乗じた値で人物画像データの縦サイズを特定する。なお、定数ｎ、ｍ、ｍ’は、実装に合わせて適切な値を用いることとする。
【００９８】
図１１に戻り、文字列抽出部１１０２は、顔検出部１１０１から受信した人物画像データの、当該人物画像データとして表示される領域から、文字列を抽出する。そして、文字列抽出部１１０は、抽出した文字列データと共に、人物画像データを人名判定部１１１に送信する。
【００９９】
なお、文字列抽出部１１０が、文字列を抽出できなかった場合、当該人物画像データを廃棄して処理を終了する。つまり、当該人物画像データは、人物データベース１１５へ登録するために適切な画像ではないものと判断したことを意味する。
【０１００】
人名判定部１１０３は、文字列抽出部１１０２から、人物画像データと文字列データを受信した場合に、当該文字列データを検索キーとして、人名候補データベース１０９に登録された人名を検索する。そして、人名判定部１１０３は、文字列に一致する人名を検出した場合に、文字列データが人名を示す文字列として、人物画像データと共に、登録部１１４に送信する。これにより、人名、人物画像データと、番組に関する情報が対応付けて人物データベース１１５に登録される。
【０１０１】
次に、本第２実施の形態にかかる動画処理装置１１００における人物データベース１１５に人物画像データを登録するまでの処理について説明する。図１３は、本第２実施の形態にかかる動画処理装置１１００における上述した処理の手順を示すシーケンス図である。なお、図１３に示す処理は、動画像データの再生が行われている間、常に行われている処理とする。
【０１０２】
まず、映像デコーダ１０７は、復号した動画像データを、顔検出部１１２に送信する（ステップＳ１３０１）。
【０１０３】
そして、顔検出部１１０１は、受信した動画像データに含まれるフレーム画像から、顔画像の検出を行う（ステップＳ１３０２）。そして、顔検出部１１０１は、顔画像を検出した場合に、顔画像を含む人物画像データを切り出して、人物画像データを文字列抽出部１１０２に送信する（ステップＳ１３０３）。なお、顔検出部１１０１は、シーケンス図に含まれない処理として、顔画像を顔認識処理部１１６に送信している。
【０１０４】
次に、文字列抽出部１１０２は、受信した人物画像データから、文字列データを抽出する（ステップＳ１３０４）。本シーケンス図では、人物画像データから、文字列データが抽出された場合について説明する。
【０１０５】
そして、文字列抽出部１１０２は、抽出した文字列データと、受信した人物画像データとを人名判定部１１１に送信する（ステップＳ１３０５）。
【０１０６】
そして、人名判定部１１０３は、受信した文字列データを検索キーとして、人名候補データベース１０９を検索し、当該文字列データが人名として登録されているか否かを判定する（ステップＳ１３０６）。
【０１０７】
本シーケンス図では、人名判定部１１０３が、受信した文字列が人名であると判定した場合について説明する。そこで、人名判定部１１１は、受信した文字列データを人名として、人物画像データと共に登録要求を、登録部１１４に送信する（ステップＳ１３０７）。
【０１０８】
登録要求を受信した登録部１１４は、登録要求を受信した場合に、データ処理部１０６から番組データを取得する。そして、登録部１１４は、登録要求に含まれていた人名データと、人物画像データと、番組に関するデータ（放送局名、取得日時、番組名）とを対応付けて、人物データベース１１５に登録する（ステップＳ１３０８）。
【０１０９】
次に、第２の実施の形態の各構成の処理について説明する。まずは、動画処理装置１１００の顔検出部１１０１における顔検出処理について説明する。図１４は、本第２実施の形態にかかる顔検出部１１０１における上述した処理の手順を示すフローチャートである。
【０１１０】
まず、顔検出部１１０１は、映像デコーダ１０７から動画データを受信する（ステップＳ１４０１）。次に、顔検出部１１０１は、受信した動画データに含まれるフレーム画像に、顔画像が含まれているか否かを判定する（ステップＳ１４０２）。含まれていないと判定した場合（ステップＳ１４０２：Ｎｏ）、再びステップＳ１４０１から処理を行う。
【０１１１】
一方、顔検出部１１０１が、動画データのフレーム画像に、顔画像が含まれていると判定した場合（ステップＳ１４０２：Ｙｅｓ）、検出した顔画像を含む画像情報を切り出し、顔画像データとして顔認識処理部１１６に送信する（ステップＳ１４０３）。以降、顔認識処理部１１６等において、送信された顔画像データに基づいて、モニタ上に人物画像データを表示するための処理が行われる。
【０１１２】
そして、顔検出部１１０１は、検出した顔画像に基づいて、動画像データから人物画像データの領域を特定し、当該人物画像データを切り出す（ステップＳ１４０４）。その後、顔検出部１１０１は、切り出した人物画像データを、文字列抽出部１１０２に送信する（ステップＳ１４０５）。これにより、人物画像データを人物データベース１１５に登録するための処理が継続される。その後、再びステップＳ１４０１から処理を行う。
【０１１３】
次に、本第２実施の形態にかかる動画処理装置１１００の文字列抽出部１１０２、及び人名判定部１１０３における人名判定処理について説明する。図１５は、本第２実施の形態にかかる文字列抽出部１１０２及び人名判定部１１０３における上述した処理の手順を示すフローチャートである。
【０１１４】
まず、文字列抽出部１１０２は、顔検出部１１０１から人物画像データを受信する（ステップＳ１５０１）。
【０１１５】
そして、文字列抽出部１１０２は、人物画像データから文字列データを抽出する（ステップＳ１５０２）。その後、文字列抽出部１１０２は、抽出した文字列データと、人物画像データとを人名判定部１１０３に送信する。
【０１１６】
そして、人名判定部１１０３は、受信した文字列データが、人名候補データベース１０９に含まれているか否か判定する（ステップＳ１５０３）。含まれていないと判定した場合（ステップＳ１５０３：Ｎｏ）、受信した人物画像データは人物データベース１１５に登録しないものとして、再びステップＳ１５０１から処理を開始する。
【０１１７】
一方、人名判定部１１０３が人名候補データベース１０９に含まれていると判定した場合（ステップＳ１５０３：Ｙｅｓ）、人名であると判定された文字列データと、人物画像データとを、登録要求と共に登録部１１４に送信する（ステップＳ１５０４）。その後、再びステップＳ１５０１から処理を行う。
【０１１８】
上述した処理手順により、人名と判定された文字列が含まれている人物画像データが、人物データベース１１５に登録されることになる。
【０１１９】
本第２実施の形態にかかる動画処理装置１１００においては、人名が含まれる人物画像データを人物データベース１１５に登録されるので、当該人物画像データを用いた人物紹介が可能となる。これにより、動画処理装置１１００においては、第１の実施の形態と同様の効果を得ることができる。
【０１２０】
また、本第２実施の形態にかかる動画処理装置１１００においては、人物画像データに人名が含まれていれば、人名の配置に拘わらず登録される。これにより、人物データベース１１５に登録される人物画像データが増加し、様々な人物の人物紹介が可能となる。
【０１２１】
（第３の実施の形態）
上述した第１及び第２の実施の形態においては、人物データベース１１５に同一人物の人物画像データが複数登録される例について説明した。しかしながら、人物データベース１１５に登録する人物画像データを、一人について一枚にしても良い。そこで、第３の実施の形態においては、一人について人物画像データを一枚登録する例について説明する。
【０１２２】
図１６は、第３の実施の形態にかかる動画処理装置１６００の構成を示すブロック図である。動画処理装置１６００は、上述した第２の実施の形態にかかる動画処理装置１１００とは、登録部１１４とは処理が異なる登録部１６０１に変更された構成を有している点で異なる。以下の説明では、上述した第２の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。
【０１２３】
登録部１６０１は、人物データベース１１５に、一つの人名について、一つの人物画像データを登録する。本第３実施の形態にかかる登録部１６０１は、人名を示す文字列データと、人物画像データと共に登録要求を受信した場合に、当該文字列データ及び人物画像データで人物データベース１１５を検索し、当該文字列データ又は人物画像データで登録されているレコードを削除した後、受信した人物画像データと、人名と、データ処理部１０６から受信した番組に関する情報と、を対応付けて人物データベース１１５に登録する。
【０１２４】
第３の実施の形態にかかる動画処理装置１６００の全体的な処理手順は、第２の実施の形態の動画処理装置１１００と同様であり、登録部１６０１による登録手順のみが、登録部１１４と異なる。
【０１２５】
そこで、動画処理装置１６００の登録部１６０１における登録処理について説明する。図１７は、本第３実施の形態にかかる登録部１６０１における上述した処理の手順を示すフローチャートである。
【０１２６】
まず、登録部１６０１は、人名判定部１１０３から人名を示す文字列データと、人物画像データとを受信する（ステップＳ１７０１）。
【０１２７】
次に、登録部１６０１は、データ処理部１０６から番組データを受信する（ステップＳ１７０２）。
【０１２８】
その後、登録部１６０１は、受信した人物画像データ又は人名と一致するレコードが登録されているか否か判別する（ステップＳ１７０３）。一致するレコードが登録されていると判別した場合（ステップＳ１７０３：Ｙｅｓ）、登録部１６０１は、当該レコードを削除する（ステップＳ１７０４）。
【０１２９】
そして、一致するレコードが登録されていないと判別した場合（ステップＳ１７０３：Ｎｏ）、又はステップＳ１７０４でレコードを削除した後、登録部１６０１は、受信した人物画像データ、人名、及び番組に関する情報を対応付けて、人物データベース１１５に登録する（ステップＳ１７０５）。
【０１３０】
本第３実施の形態にかかる動画処理装置１６００においては、第２の実施の形態にかかる動画処理装置１１００と同様の効果があるほか、人物データベース１１５に一人毎に一つの人物画像データを保持することで、記憶容量を削減することができる。
【０１３１】
上述した実施の形態にかかる動画処理装置（１００、１１００、１６００）においては、上述した各構成をプログラムで実現しても良い。そして動画処理装置（１００、１１００、１６００）で実行される動画再生プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１３２】
また、上述した実施の形態にかかる動画処理装置（１００、１１００、１６００）で実行される動画再生プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施の形態にかかる動画処理装置（１００、１１００、１６００）で実行される動画再生プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１３３】
また、上述した実施の形態の動画再生プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１３４】
上述した実施の形態の動画処理装置（１００、１１００、１６００）で実行される動画再生プログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から動画再生プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。
【０１３５】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【０１３６】
１００、１１００、１６００ 動画処理装置
１０１ 地上デジタルチューナ
１０２ ＯＦＤＭ復調部
１０３ ＢＳ／１１０度ＣＳデジタルチューナ
１０４ ＱＰＳＫ復調部
１０５ ＤＥＭＵＸ／映像／音声／データ分離部
１０６ データ処理部
１０７ 映像デコーダ
１０８ 音声デコーダ
１０９ 人名候補データベース
１１０、１１０２ 文字列抽出部
１１１、１１０３ 人名判定部
１１２、１１０１ 顔検出部
１１３ 配置判定部
１１４、１６０１ 登録部
１１５ 人物データベース
１１６ 顔認識処理部
１１７ 画像生成部
１１８ 画像合成部
１１９ バックエンド部
１２０ コンテンツ取得部
１２１ コンテンツ記憶部
【技術分野】
【０００１】
本発明は、動画情報の処理を行う動画処理装置に関する。
【背景技術】
【０００２】
従来から、テレビジョン受信装置や、番組録画装置などの動画処理装置において、当該番組のコンテンツデータに出演している出演者の人名などのキーワードの入力を受け付けた場合に、入力を受け付けた人名を用いて出演者が出演する番組の番組情報など、当該出演者に関する関連情報を検索し、その検索結果を表示する機能が提案されている。
【０００３】
例えば、特許文献１には、コンテンツデータの動画像データおよび音声データからキーワードを抽出し、再生されている動画像データに対応する映像とともに抽出したキーワードを表示部に表示するとともに、当該キーワードの選択に応じて、選択されたキーワードに関連する関連情報を表示部に表示する関連情報検索装置が提案されている。これにより、ユーザは、出演者の人名などをキーワードとして検索することで、当該出演者の関連情報を知ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１４８９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、コンテンツデータの動画像データの表示中に、ユーザが気になる出演者を発見した場合、当該出演者のことを知りたいが、人名がわからないために、当該出演者のことを調べられないことがある。
【０００６】
この場合、上記特許文献１に記載の関連情報検索装置では、当該出演者を特定するキーワードが不明なため、当該人物に関する情報を提供することができない。つまり、上記特許文献１に記載の関連情報検索装置では、ユーザが予め知っている人物の関連情報しか表示することができない、という課題がある。
【０００７】
本発明は、上記に鑑みてなされたものであって、動画像データに含まれている人物を特定する動画処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明にかかる動画処理装置は、人物の顔画像を含む人物画像情報と、当該人物の名前情報と、を対応付けて記憶する人物記憶手段と、前記人物記憶手段に登録の対象となる人物の名前を示す人名情報を記憶する人名候補記憶手段と、動画情報を取得する取得手段と、前記動画情報に含まれる画面情報から、顔画像を検出する顔検出手段と、前記動画情報に含まれる画面情報から、文字列情報を抽出する文字列抽出手段と、抽出された前記文字列情報と、前記人名候補記憶手段に記憶される前記人名情報と、が一致するか否かを判定する人名判定手段と、前記文字列情報と前記人名情報とが一致すると判定された場合に、前記文字列情報を名前情報として、当該文字列情報を抽出した前記画面情報で検出された前記顔画像を含む人物画像情報と対応付けて前記人物記憶手段に登録する登録手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、動画情報に表示されている当該人物の名前を提供することが可能になるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１実施の形態にかかる動画処理装置の構成を示すブロック図である。
【図２】図２は、人名候補データベースのテーブル構造を示す図である。
【図３】図３は、第１実施の形態にかかる配置判定部が、入力された人名を、入力された顔画像を指し示す名前であると判断する配置を示した図である。
【図４】図４は、人物データベースのテーブル構造に関する図である。
【図５】図５は、第１実施の形態にかかる画像合成部が、画像生成部により生成された画像と、映像デコーダから受信した動画像データと、を合成して生成した画面の例を示す図である。
【図６】図６は、第１実施の形態にかかる動画処理装置における、人物データベースに人物画像データを登録するまでの処理の手順を示すシーケンス図である。
【図７】図７は、第１実施の形態にかかる人名判定部における、人名判定処理の手順を示すフローチャートである。
【図８】図８は、第１実施の形態にかかる顔検出部における、顔検出処理の手順を示すフローチャートである。
【図９】図９は、第１実施の形態にかかる配置判定部における、人名判定処理の手順を示すフローチャートである。
【図１０】図１０は、第１実施の形態にかかる顔認識処理部における、人物画像データの特定処理の手順を示すフローチャートである。
【図１１】図１１は、第２実施の形態にかかる動画処理装置の構成を示すブロック図である。
【図１２】図１２は、第２実施の形態にかかる顔検出部が切り出す人物画像データの例を示した図である。
【図１３】図１３は、第２実施の形態にかかる動画処理装置における人物データベースに人物画像データを登録するまでの処理の手順を示すシーケンス図である。
【図１４】図１４は、第２実施の形態にかかる顔検出部における顔検出処理の手順を示すフローチャートである。
【図１５】図１５は、第２実施の形態にかかる文字列抽出部及び人名判定部における人名判定処理の手順を示すフローチャートである。
【図１６】図１６は、第３実施の形態にかかる動画処理装置の構成を示すブロック図である。
【図１７】図１７は、第３実施の形態にかかる登録部における登録処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、この発明にかかる動画処理装置の最良な実施の形態を詳細に説明する。
【００１２】
（第１の実施の形態）
なお、第１の実施の形態では、この発明にかかる動画処理装置を、番組の動画情報を再生するＨＤＤ（Hard Disk Drive）レコーダやＨＤＤ+ＤＶＤ（Digital Versatile Disc）レコーダなどの動画処理装置に適用した例について説明するが、動画情報を処理することができる装置であれば、これに限定するものではない。例えば、チューナを用いて番組のコンテンツデータの受信、表示を行うテレビジョン受信装置などにも適用することができる。さらには、動画情報の処理を行うＰＣなどに適用しても良い。
【００１３】
図１は、第１実施の形態にかかる動画処理装置の構成を示すブロック図である。本第１実施の形態にかかる動画処理装置１００は、地上デジタルチューナ１０１と、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調部１０２と、ＢＳ（Broadcasting Satellite）／１１０度ＣＳ（Communication Satellite）デジタルチューナ１０３と、ＱＰＳＫ（Quadrature Phase Shift Keying）復調部１０４と、ＤＥＭＵＸ（De-Multiplexer）映像／音声／データ分離部１０５と、データ処理部１０６と、映像デコーダ１０７と、音声デコーダ１０８と、人名候補データベース１０９と、文字列抽出部１１０と、人名判定部１１１と、顔検出部１１２と、配置判定部１１３と、登録部１１４と、人物データベース１１５と、顔認識処理部１１６と、画像生成部１１７と、画像合成部１１８と、バックエンド部１１９と、コンテンツ取得部１２０と、コンテンツ記憶部１２１とを備える。
【００１４】
本第１実施の形態にかかる動画処理装置１００は、放送波又はインターネット等で配信される番組を表示する際に、番組から検出した顔画像から人物を特定し、当該人物の関連情報をユーザに提供する。このために、動画処理装置１００は、人物を示す人物画像データを、人物データベース１１５に予め登録する。なお、本第１実施の形態にかかる人物画像データは、当該人物の顔と名前とを表示する画像とする。つまり、番組出演者の人物画像データが表示されることで、視聴者は出演者の顔と名前とを対応付けることができる。
【００１５】
地上デジタルチューナ１０１は、アンテナで受信された地上デジタル放送の放送信号を受信し、受信した放送信号から特定の番組のコンテンツデータを抽出する。ＯＦＤＭ復調部１０２は、地上デジタルチューナ１０１で抽出されたデジタルのコンテンツデータの復調処理を行い、ＤＥＭＵＸ映像／音声／データ分離部１０５に送信する。
【００１６】
コンテンツデータとは、放送局から提供されるデータであり、当該番組の映像（動画）データ、及び音声データの他、番組データを含むデータとする。番組データとは、放送される番組を特定する情報（例えば番組を放送した放送局名、番組の取得日時、及び番組名）、当該番組の内容に関する情報（例えば、出演者、あらすじ）などの他に、番組表（例えばＥＰＧ（Electronic Program Guide）情報）などを含む情報とする。
【００１７】
ＢＳ／１１０度ＣＳデジタルチューナ１０３は、ＢＳデジタル放送および１１０度ＣＳデジタル放送の放送信号を受信し、受信した放送信号から特定の番組のコンテンツデータを抽出する。ＱＰＳＫ復調部１０４は、ＢＳ／１１０度ＣＳデジタルチューナ１０３により抽出されたデジタルのコンテンツデータの復調処理を行い、ＤＥＭＵＸ映像／音声／データ分離部１０５に送信する。
【００１８】
ＤＥＭＵＸ映像／音声／データ分離部１０５は、ＱＦＤＭ復調部１０２またはＱＰＳＫ復調部１０４から入力されたコンテンツデータを、動画像データ、音声データ、および番組データに分離し、番組データをデータ処理部１０６に、動画像データを映像デコーダ１０７に、音声データを音声デコーダ１０８に送信する。
【００１９】
データ処理部１０６は、ＤＥＭＵＸ映像／音声／データ分離部１０５から入力された番組データを処理する。そして、データ処理部１０６は、番組データを、画像生成部１１７、及び登録部１１４に送信する。
【００２０】
本第１実施の形態にかかるデータ処理部１０６は、番組データからＥＰＧ情報を抽出し、抽出されたＥＰＧ情報に含まれる各番組の出演者を示す人名を、人名候補データベース１０９に登録する。
【００２１】
また、データ処理部１０６は、ＥＰＧ情報に含まれる出演者毎に、ＥＰＧ情報から当該出演者が出演する番組や当該出演者に関する情報を抽出し、出演者を示す人名と、出演する番組情報と、出演者に関する関連情報と、を対応付けてコンテンツ記憶部１２１に登録する。
【００２２】
なお、本第１実施の形態では、データ処理部１０６は、放送波から受信したＥＰＧ情報から、出演者に関する関連情報を抽出しているが、出演者に関する関連情報を抽出するものであれば、これに限定するものではない。例えば、データ処理部１０６は、出演者に対応する人物に関する関連情報（例えば、顔画像、性別、生年月日、出身地、最新情報ニュース等の人物紹介情報など）を、インターネット（図示しない）上のサーバまたは動画処理装置１００が具備する辞書（図示しない）等のデータベースから抽出しても良い。これにより、コンテンツ記憶部１２１には、出演者のプロフィールなど様々な情報を格納できる。
【００２３】
コンテンツ記憶部１２１は、ＥＰＧ情報に含まれていた各番組の出演者を示す人名と、出演者が出演する番組情報と、当該出演者に関する関連情報と、を対応付けて記憶する。関連情報としては、ＥＰＧから抽出した出演者に関する情報から、当該出演者に関する情報として、インターネット等から取得したプロフィールなどを含むものとする。
【００２４】
人名候補データベース１０９は、ＥＰＧ情報に含まれている、全ての番組の人名を記憶する。図２は、人名候補データベース１０９のテーブル構造を示す図である。
【００２５】
図２に示すように、人名候補データベース１０９は、ＩＤと、人名と、を対応付けて記憶している。つまり、人名候補データベース１０９は、ＥＰＧ情報の様々な番組から抽出した人名情報をデータベースとして記憶する。この人名候補データベース１０９に記憶された人名情報は、人物データベース１１５に登録の対象となる人名を示す。そして、動画処理装置１００は、当該人名候補データベース１０９を参照することで、動画内に含まれている文字列が、人名であるか否かを判定することが可能となる。
【００２６】
また、人名候補データベース１０９は、ＦＩＦＯ(First Input First Out)形式とする。これにより、当該人名候補データベース１０９に、記憶領域における容量の制約で、人名が新たに登録できない場合に、登録が古い人名から順に削除していく。なお、同一の人名が複数レコードで登録されないように制御しても良い。
【００２７】
図１に戻り、映像デコーダ１０７は、ＤＥＭＵＸ映像／音声／データ分離部１０５から入力された動画像データを復号し、文字列抽出部１１０、顔検出部１１２、配置判定部１１３、及び画像合成部１１８に送信する。映像デコーダ１０７は、動画処理装置１００内の各部に動画像データを提供するための構成であり、換言すれば動画を取得する取得手段に相当する。
【００２８】
音声デコーダ１０８は、ＤＥＭＵＸ映像／音声／データ分離部１０５から入力された音声データを復号し、バックエンド部１１９に送信する。
【００２９】
文字列抽出部１１０は、映像デコーダ１０７から動画像データが入力された場合に、当該動画像データで表示される画面（換言すれば、動画像データに含まれるフレーム画像）から、文字列データを抽出する。本第１実施の形態にかかる文字列抽出部１１０は、動画像データに含まれるフレーム画像に対して、ＯＣＲ処理を行って、文字列データを抽出する。そして、文字列抽出部１１０は、抽出した文字列データと、当該文字列データを抽出した画面（フレーム画像）内の位置データと、を人名判定部１１１に送信する。
【００３０】
人名判定部１１１は、文字列抽出部１１０により抽出された文字列データと一致する人名が、人名候補データベース１０９に登録されているか否かを判定する。そして、人名判定部１１１は、人名候補データベース１０９に登録されていると判定した場合、入力された文字列データを人名として、入力された位置データと共に、配置判定部１１３に送信する。
【００３１】
顔検出部１１２は、映像デコーダ１０７から動画像データが入力された場合に、当該動画像データに含まれるフレーム画像から、顔画像を検出する。そして、顔検出部１１２は、顔画像を検出した場合に、当該顔画像の位置を示す位置データを、配置判定部１１３に送信する。また、顔検出部１１２は、検出した顔画像を含む画像情報を切り出し、顔画像データとして顔認識処理部１１６に送信する。
【００３２】
顔検出部１１２による顔画像の検出手法としては、どのような手法を用いても良いが、例えば、映像デコーダ１０７から入力された動画像データを構成するフレーム画像中の肌色の領域とそれを囲むエッジから顔画像の領域を推定し、推定した領域内の画像を顔画像データとして検出する、などが考えられる。
【００３３】
配置判定部１１３は、人名判定部１１１から入力された人名及び位置データ、並びに顔検出部１１２により入力された顔画像の位置を示す位置データとから、入力された人名が、当該顔画像の人名であるか否かを判定する。
【００３４】
図３は、配置判定部１１３が、入力された人名を、入力された顔画像を指し示す名前であると判断する配置を示した図である。図３に示すように、顔画像４０１から所定の距離下の位置４０２に人名が配置されている場合に、配置判定部１１３は、位置４０２に配置された人名が、顔画像４０１の名前であると判断する。そして、配置判定部１１３は、映像デコーダ１０７から入力された動画像データに含まれるフレーム画像から、当該人名と顔画像を含む画像領域を切り出して、人物画像データを生成する。そして、配置判定部１１３は、生成した人物画像データを、人名と共に、登録部１１４に送信する。
【００３５】
人物データベース１１５は、モニタに表示するための人物画像に関する情報を記憶する。図４は、人物データベース１１５のテーブル構造に関する図である。図４に示すように、人物データベース１１５は、ＩＤと、人名と、放送局名と、取得日時と、番組名と、人物画像と、その他様々な情報と、を対応付けて記憶する。また、番組データに含まれている他の情報も対応付けて登録しても良い。
【００３６】
人物画像は、配置判定部１１３により生成された人物画像データを特定する情報とする。人名は、当該人物画像データの人物の名前とする。放送局名、取得日時、及び番組名は、人物画像データを切り出した動画像データの番組を特定する情報とする。つまり、人物画像データの抽出元の番組を特定できる。これにより、人物画像データを、外部環境に出力する場合に、著作権保護規則（例えば、ダビング１０など）に従って処理を行うことができるので、著作権を保護することができる。
【００３７】
また、人物データベース１１５は、ＦＩＦＯ形式で予め定められたレコード数だけ、人物画像データを格納することを可能とする。これにより、人物画像データの経年に基づく更新が可能となる。
【００３８】
図１に戻り、登録部１１４は、配置判定部１１３から受信した人物画像データ及び人名と、データ処理部１０６により入力された番組データのうち当該番組を表す放送局名、取得日時及び番組名と、を対応付けて人物データベース１１５に登録する。
【００３９】
これにより、動画像データから抽出された人物画像データが、人物データベース１１５に登録されることになる。そして、動画処理装置１００においては、以下に示す構成で、当該人物データベース１１５を用いた人物画像データを含む人物紹介等の表示を行う。
【００４０】
顔認識処理部１１６は、顔検出部１１２から入力された顔画像データと、人物データベース１１５に格納されている各人物画像データと、が同一人物であるか否かを判定する。同一人物と判定した場合に、当該人物画像データと対応付けられている人名を、コンテンツ取得部１２０に送信すると共に、当該人物画像データを、画像生成部１１７に送信する。
【００４１】
同一人物であるか否かの判断はいずれの手法を用いても良い。例えば、顔認識処理部１１６が、顔検出部１１２から入力された顔画像データの画像分析を行い、当該顔画像データから人物の顔の特徴情報を抽出する。そして、人物データベース１１５に格納されている人物画像データの特徴情報と、顔画像データから抽出した特徴情報とを、比較して、所定の基準以上類似していると判断した場合には、同一人物と判定する、などが考えられる。
【００４２】
コンテンツ取得部１２０は、顔認識処理部１１６から人名を受信した場合に、当該人名と対応付けられた情報（当該人名の出演する番組、当該人名に関連する情報）を、コンテンツ記憶部１２１から取得し、画像生成部１１７に送信する。
【００４３】
画像生成部１１７は、データ処理部１０６から受信した番組データ、及びコンテンツ取得部１２０から入力された出演者に関連する情報を、画像データに変換すると共に、変換した画像データと、顔認識処理部１１６から受信した人物画像データとを結合し、モニタに表示するために適切な画像を生成する。生成した画像には、人物画像データや、出演者に関する関連情報（出演予定番組、人物紹介情報等）や、表示する番組の情報等が含まれているものとする。そして、画像生成部１１７は、生成した画像を、画像合成部１１８に送信する。
【００４４】
画像合成部１１８は、画像生成部１１７から受信した画像と、映像デコーダ１０７から受信した動画像データとを合成する。
【００４５】
図５は、画像合成部１１８が、画像生成部１１７により生成された画像と、映像デコーダ１０７から受信した動画像データと、を合成して生成した画面の例を示す図である。図５に示すように、モニタ５０１内のＴＶ画面に２人（この二人の名前を○○××、及び○△□□とする）が映し出されているものとする。この場合、モニタ５０１内に、ＴＶ画面に映し出されている２人それぞれの顔と同一人物と判定された人物画像データ５０２、５０３が表示されると共に、当該人物画像データ５０２、５０３に関連する情報が領域５０４内に表示される。これにより、ユーザはＴＶ画面に表示されている出演者を知ることができる。
【００４６】
なお、図５に示した画面は例として示したものであり、人物画像データが表示された画面であればよい。また、出演者の関連情報や、表示している番組に関するデータ以外のデータを表示するものでもよい。逆に、出演者の関連情報や、表示している番組に関するデータなどを表示しなくても良い。
【００４７】
図１に戻り、バックエンド部１１９は、画像合成部１１８により合成された画像を、図示しないモニタに出力する。また、バックエンド部１１９は、音声デコーダ１０８から入力された音声データを、図示しないスピーカから出力する。
【００４８】
次に、本第１実施の形態にかかる動画処理装置１００における人物データベース１１５に人物画像データを登録するまでの処理について説明する。図６は、本第１実施の形態にかかる動画処理装置１００における上述した処理の手順を示すシーケンス図である。なお、図６に示す処理は、動画像データの再生が行われている間、常に行われている処理とする。
【００４９】
まず、映像デコーダ１０７は、復号した動画像データを、文字列抽出部１１０に送信し、顔検出部１１２に送信し、配置判定部１１３に送信する（ステップＳ６０１、Ｓ６０２及びＳ６０３）。
【００５０】
次に、文字列抽出部１１０は、当該動画像データに含まれるフレーム画像から、文字列データを抽出する（ステップＳ６０４）。そのあと、文字列抽出部１１０は、抽出した文字列データと、文字列を抽出したフレーム画像内の位置を示す位置データと、を人名判定部１１１に送信する（ステップＳ６０５）。そして、人名判定部１１１は、受信した文字列データを検索キーとして、人名候補データベース１０９を検索し、当該文字列データが人名として登録されているか否かを判定する（ステップＳ６０６）。
【００５１】
本シーケンス図では、人名判定部１１１が、受信した文字列が人名であると判定した場合について説明する。人名であると判定した後、人名判定部１１１は、受信した文字列データを人名として、位置データと共に、配置判定部１１３に送信する（ステップＳ６０７）。
【００５２】
そして、顔検出部１１２は、受信した動画像データに含まれるフレーム画像から、顔画像の検出を行う（ステップＳ６０８）。そして、顔検出部１１２は、顔画像を検出した場合に、当該フレーム画像内で顔画像を検出した位置を示す位置データを、配置判定部１１３に送信する（ステップＳ６０９）。
【００５３】
その後、配置判定部１１３が、ステップＳ６０７で受信した人名の位置データと、ステップＳ６０９で受信した顔画像の位置データと、が所定の配置にあるか否かに基づいて、入力された人名が、受信した顔画像の人名であるか否かを判定する（ステップＳ６１０）。本シーケンス図では、配置判定部１１３が、受信した文字列が、入力された顔画像の人名であると判定した場合とする。
【００５４】
そして、配置判定部１１３が、受信した顔画像の人名であると判定した場合、当該人名と顔画像を含む画像領域を切り出して、人物画像データを生成し、生成した人物画像データを、人名と共に、登録部１１４に送信し、登録要求を行う（ステップＳ６１１）。
【００５５】
登録要求を受信した登録部１１４は、登録要求を受信した場合に、データ処理部１０６から番組データを取得する（ステップＳ６１２）。そして、登録部１１４は、登録要求に含まれていた人名データと、人物画像データと、番組に関するデータ（放送局名、取得日時、番組名）とを対応付けて、人物データベース１１５に登録する（ステップＳ６１３）。
【００５６】
上述した処理手順により、人物データベース１１５に人物画像データを登録することができる。次に，各構成の具体的な処理について説明する。
【００５７】
次に、本第１実施の形態にかかる動画処理装置１００の人名判定部１１１における人名判定処理について説明する。図７は、本第１実施の形態にかかる人名判定部１１１における上述した処理の手順を示すフローチャートである。
【００５８】
まず、人名判定部１１１は、文字列抽出部１１０から文字列データと、当該文字列を抽出した位置データとを受信する（ステップＳ７０１）。
【００５９】
そして、人名判定部１１１は、受信した文字列データを検索キーとして、人名候補データベース１０９を検索する（ステップＳ７０２）。
【００６０】
その後、人名判定部１１１は、受信した文字列データが、人名候補データベース１０９に人名として含まれているか否かを判定する（ステップＳ７０３）。含まれていないと判定した場合（ステップＳ７０３：Ｎｏ）、再びステップＳ７０１から処理を行う。
【００６１】
次に、人名判定部１１１は、文字列データが人名として含まれていると判定した場合（ステップＳ７０３：Ｙｅｓ）、当該文字列データを人名として、位置データと共に配置判定部１１３に送信する（ステップＳ７０４）。その後、再びステップＳ７０１から処理を行う。
【００６２】
上述した処理手順により、動画像データに含まれるフレーム画像内の人名を特定できる。次に、本第１実施の形態にかかる動画処理装置１００の顔検出部１１２における顔検出処理について説明する。図８は、本第１実施の形態にかかる顔検出部１１２における上述した処理の手順を示すフローチャートである。
【００６３】
まず、顔検出部１１２は、映像デコーダ１０７から動画データを受信する（ステップＳ８０１）。次に、顔検出部１１２は、受信した動画データに含まれるフレーム画像に、顔画像が含まれているか否かを判定する（ステップＳ８０２）。含まれていないと判定した場合（ステップＳ８０２：Ｎｏ）、再びステップＳ８０１から処理を行う。
【００６４】
一方、顔検出部１１２が、動画データのフレーム画像に、顔画像が含まれていると判定した場合（ステップＳ８０２：Ｙｅｓ）、検出した顔画像を含む画像情報を切り出し、顔画像データとして顔認識処理部１１６に送信する（ステップＳ８０３）。以降、顔認識処理部１１６等において、送信された顔画像データに基づいて、モニタ上に人物画像データを表示するための処理が行われる。
【００６５】
そして、顔検出部１１２は、検出した顔画像の位置を示す位置データを、配置判定部１１３に送信する（ステップＳ８０４）。これにより、検出した顔画像を含む人物画像データとして登録する処理が行われる。その後、再びステップＳ８０１から処理を行う。
【００６６】
つまり、本第１実施の形態にかかる動画処理装置１００においては、顔認識処理部１１６が検出した顔画像を検出した場合に、当該顔画像を人物画像データとして登録する処理と並行して、検出した顔画像に基づく人物画像データの検索、表示処理が行われている。なお、本第１実施の形態においては、これらの処理を並行して行っているが、装置によってはいずれか一方のみを行うことにしてもよい。
【００６７】
次に、本第１実施の形態にかかる動画処理装置１００の配置判定部１１３における、人名判定処理について説明する。図９は、本第１実施の形態にかかる配置判定部１１３における上述した処理の手順を示すフローチャートである。
【００６８】
配置判定部１１３は、映像デコーダ１０７から動画像データを受信する（ステップＳ９０１）。次に、配置判定部１１３は、人名判定部１１１から人名と位置データとを受信する（ステップＳ９０２）。
【００６９】
さらに、配置判定部１１３は、顔検出部１１２から顔画像の位置データを受信する（ステップＳ９０３）。
【００７０】
そして、配置判定部１１３は、動画データの同一のフレーム画像内について、人名の位置データと、顔画像の位置データとを受信した場合に、各位置データに基づいて、当該人名と顔画像とが予め設定されたパターンに合致するか否かを判定する（ステップＳ９０４）。予め設定されたパターンに合致しないと判定した場合（ステップＳ９０４：Ｎｏ）、人物画像データに適さないものとして、再びステップＳ９０１から処理を開始する。
【００７１】
一方、配置判定部１１３が、予め設定されたパターンに合致すると判定した場合（ステップＳ９０４：Ｙｅｓ）、人名が顔画像を指し示すものとして、人名と顔画像とを含む画像を、人物画像データとして、画像データから切り出す（ステップＳ９０５）。
【００７２】
その後、配置判定部１１３は、人名と顔画像とを含む人物画像データを、人名と共に登録部１１４に送信する（ステップＳ９０６）。これにより、人名と、人物画像データと、番組に関する情報とが対応付けて、人物データベース１１５に登録される。
【００７３】
上述した処理手順により、人物データベース１１５に人物画像データが登録されることになる。次に、人物画像データをモニタに表示する際の処理について説明する。
【００７４】
次に、以上のように構成された本第１実施の形態にかかる動画処理装置１００の顔認識処理部１１６における人物画像データの特定処理について説明する。図１０は、本第１実施の形態にかかる顔認識処理部１１６における上述した処理の手順を示すフローチャートである。
【００７５】
まず、顔認識処理部１１６は、顔検出部１１２から顔画像データを受信する（ステップＳ１００１）。そして、顔認識処理部１１６は、受信した顔画像データの特徴情報と、人物データベース１１５に登録されている人物画像データの特徴情報とを比較し、受信した顔画像データと同一人物の人物画像データが登録されているか否かを判定する（ステップＳ１００２）。登録されていないと判定した場合（ステップＳ１００２：Ｎｏ）、再びステップＳ１００１から処理を開始する。
【００７６】
一方、顔認識処理部１１６は、同一人物の人物画像データが人物データベース１１５に登録されていると判定した場合（ステップＳ１００２：Ｙｅｓ）、同一人物と判定された人物画像データは複数であるか否かを判定する（ステップＳ１００３）。
【００７７】
そして、顔認識処理部１１６が、人物画像データが単数であると判定した場合（ステップＳ１００３：Ｎｏ）、同一人物と判定された人物画像データと当該人物画像データと対応付けられた人名と、を画像生成部１１７に送信する（ステップＳ１００７）。
【００７８】
一方、顔認識処理部１１６が、人物画像データが複数であると判定した場合（ステップＳ１００３：Ｙｅｓ）、同一人物と判定された人物画像データと対応付けられた人名のうち、最も数が多い人名を特定する（ステップＳ１００４）。つまり、人物データベース１１５では、人物画像データを逐次登録するため、同一人物の人物画像データが複数登録されていることになる。そこで、本第１実施の形態においては、ステップＳ１００４の処理で、この複数登録されている人物画像データを用いて、顔画像データを示す人名として、最も確からしい人名を特定する。なお、最も確からしい人名及び人物画像データの特定手法は、上述した手法に限らず、さまざまな手法を用いて良い。
【００７９】
そして、顔認識処理部１１６は、人物データベース１１５において、特定された人名と対応付けられた人物画像データのうち、最新の人物画像データを特定する（ステップＳ１００５）。
【００８０】
その後、顔認識処理部１１６は、特定された人物画像データと人名とを、画像生成部１１７に送信する（ステップＳ１００６）。
【００８１】
上述した処理手順により、画像生成部１１７に、動画像データから検出した顔画像と同一人物の人物画像データと人名とが送信されるので、当該人物画像データと人名とを用いた表示が、モニタ上に行われる。
【００８２】
本第１実施の形態にかかる動画処理装置１００においては、現在ＴＶ画面に表示されている出演者に限り、関連する情報の表示を可能とした。つまり、従来から提案されている手法のように、放送波（ＥＰＧ含む）またはインターネット等で配信される番組情報から、当該番組に出演している出演者を特定し、当該出演者に関連する情報を取得すると、出演者数は多い番組の場合には、表示する情報が多くなり、ユーザが認識できなくなる可能性がある。
【００８３】
これに対し、本第１実施の形態にかかる動画処理装置１００では、表示している動画像データに含まれている人物画像データを、人物データベース１１５から検出し、当該画像を、人物紹介として用いることとした。そして、上述した構成で、人物データベース１１５で生成できるので、処理負担を低減できる。
【００８４】
ところで、従来技術においては、インターネット等で取得した顔画像を、人物紹介として用いる技術がある。しかしながら、インターネット等で取得した顔画像の中には、現在の当該人物とは同一人物とは判定できない古いものも含まれている。このような顔画像を用いて人物紹介を行うと、適切でない顔画像を誤使用する可能性があった。
【００８５】
これに対し、本第１実施の形態にかかる動画処理装置１００においては、現在受信されている動画像データから顔画像を検出するため、適切な顔画像を用いた（人物紹介などによる）表示を行うことができる。
【００８６】
また、従来技術である、インターネット等、実際のコンテンツ配信媒体以外から顔画像を取得し、当該顔画像を人物紹介として用いる技術が提案されている。しかしながら、どの人物が、番組に出演する人なのか特定できない。このような事情から、ユーザに人物を紹介する機能に満足できるように精度を高めるためには、インターネット等から必要以上の顔画像を収集する必要があった。
【００８７】
これに対し、本第１実施の形態にかかる動画処理装置１００においては、放送局から配信される映像内の、人物が紹介されている画像を検出し、当該画像を切り出して人物画像データとして、人物データベース１１５に登録することとした。そして、人物データベース１１５に登録されている人物画像データを、人物紹介として用いることした。これにより、出演する人物の人物画像データのみを登録でき、出演しない人物の人物画像データは登録されないため、動画処理装置１００の記憶容量を削減することができる。
【００８８】
また、従来技術においては、古い人物データを用いて人物紹介を行わないように有効期間が設けられている技術があった。これに対し、本第１実施の形態にかかる動画処理装置１００においては、人物データベース１１５をＦＩＦＯ形式としたため、人物画像データの量が所定の容量を超えた場合に、古い人物画像データから順に自動的に削除していた。これにより、古い人物画像データは蓄積されないため、先行技術のような、人物データの有効期間判定が不要となった。
【００８９】
本第１実施の形態にかかる動画処理装置１００においては、受信した番組の動画像データに基づいて、人物を示す人物画像データを抽出し、当該人物画像データで人物データベース１１５を構築することとした。しかしながら、受信した番組の動画像データに基づいて人物画像データを抽出するのではなく、すでに録画済みの動画像データに基づいて、人物データベース１１５を構築しても良い。この場合、録画した動画像データの番組データを予め記憶しておく必要がある。
【００９０】
また、人物データベース１１５においては、番組に関する情報から、人物画像データを抽出先の動画像データを特定できる。これにより、人物画像データを複製した場合に、動画像データの複製回数などもカウントできるので、著作権管理が容易となる。
【００９１】
また、本第１実施の形態にかかる動画処理装置１００においては、動画像データから人物画像データを切り出して人物データベース１１５に登録することで、当該人物画像データを用いた人物紹介が容易になる。これにより、ユーザは、動画像データに表示されている人物を容易に特定できると共に、当該人物に関連する情報の取得が容易になる。
【００９２】
また、本第１実施の形態にかかる動画処理装置１００の人物データベース１１５では、従来のように人名毎に単一の人物画像データを保持するのではなく、人物画像データ毎に人名などの情報を対応付けて記憶した。つまり、同一人名が複数のレコードに登録されることになっていた。これにより、従来においては、顔認証処理で表情や化粧などで、同一人物であるにもかかわらず、誤判定してしまうような状況においても、本第１実施の形態にかかる動画処理装置１００では、同一人物について、表情や化粧などが異なる複数の人物画像データを登録されているので、このような状況における検出精度を向上させることができる。
【００９３】
（第２の実施の形態）
第１の実施の形態にかかる動画処理装置１００においては、人名と顔画像の位置関係から人名が顔画像の人を占めているのか否か判定した。しかしながら、このような判定手法に制限するものではない。そこで、第２の実施の形態では、配置と関係なく人名と顔画像を結びつける例について説明する。
【００９４】
図１１は、第２の実施の形態にかかる動画処理装置１１００の構成を示すブロック図である。動画処理装置１１００は、上述した第１の実施の形態にかかる動画処理装置１００とは、配置判定部１１３が削除されていること、顔検出部１１２とは処理が異なる顔検出部１１０１に変更され、文字列抽出部１１０とは処理が異なる文字列抽出部１１０２に変更され、人名判定部１１１とは処理が異なる人名判定部１１０３に変更された構成を有している点で異なる。以下の説明では、上述した第１の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。
【００９５】
顔検出部１１０１は、映像デコーダ１０７から入力された動画像データのフレーム画像から、顔画像の検索を行う。そして、顔検出部１１０１は、顔画像を検出した場合に、第１の実施の形態と同様に、顔画像を顔認識処理部１１６に送信する。
【００９６】
さらに、第２の実施の形態にかかる顔検出部１１０１は、検出した顔画像に基づいて、所定のサイズの人物画像データを切り出して、文字列抽出部１１０２に送信する。
【００９７】
図１２は、顔検出部１１０１が切り出す人物画像データの例を示した図である。図１２に示すように、本第２実施の形態にかかる顔検出部１１０１は、顔画像の中心１２０２から顔画像のサイズ１２０３に基づいて、人物画像データ１２０１のサイズを決定する。すなわち、顔検出部１１０１は、顔画像の横サイズに定数ｎを乗じた値で人物画像データの横サイズを特定すると共に、顔画像の縦サイズに定数ｍ、ｍ’を乗じた値で人物画像データの縦サイズを特定する。なお、定数ｎ、ｍ、ｍ’は、実装に合わせて適切な値を用いることとする。
【００９８】
図１１に戻り、文字列抽出部１１０２は、顔検出部１１０１から受信した人物画像データの、当該人物画像データとして表示される領域から、文字列を抽出する。そして、文字列抽出部１１０は、抽出した文字列データと共に、人物画像データを人名判定部１１１に送信する。
【００９９】
なお、文字列抽出部１１０が、文字列を抽出できなかった場合、当該人物画像データを廃棄して処理を終了する。つまり、当該人物画像データは、人物データベース１１５へ登録するために適切な画像ではないものと判断したことを意味する。
【０１００】
人名判定部１１０３は、文字列抽出部１１０２から、人物画像データと文字列データを受信した場合に、当該文字列データを検索キーとして、人名候補データベース１０９に登録された人名を検索する。そして、人名判定部１１０３は、文字列に一致する人名を検出した場合に、文字列データが人名を示す文字列として、人物画像データと共に、登録部１１４に送信する。これにより、人名、人物画像データと、番組に関する情報が対応付けて人物データベース１１５に登録される。
【０１０１】
次に、本第２実施の形態にかかる動画処理装置１１００における人物データベース１１５に人物画像データを登録するまでの処理について説明する。図１３は、本第２実施の形態にかかる動画処理装置１１００における上述した処理の手順を示すシーケンス図である。なお、図１３に示す処理は、動画像データの再生が行われている間、常に行われている処理とする。
【０１０２】
まず、映像デコーダ１０７は、復号した動画像データを、顔検出部１１２に送信する（ステップＳ１３０１）。
【０１０３】
そして、顔検出部１１０１は、受信した動画像データに含まれるフレーム画像から、顔画像の検出を行う（ステップＳ１３０２）。そして、顔検出部１１０１は、顔画像を検出した場合に、顔画像を含む人物画像データを切り出して、人物画像データを文字列抽出部１１０２に送信する（ステップＳ１３０３）。なお、顔検出部１１０１は、シーケンス図に含まれない処理として、顔画像を顔認識処理部１１６に送信している。
【０１０４】
次に、文字列抽出部１１０２は、受信した人物画像データから、文字列データを抽出する（ステップＳ１３０４）。本シーケンス図では、人物画像データから、文字列データが抽出された場合について説明する。
【０１０５】
そして、文字列抽出部１１０２は、抽出した文字列データと、受信した人物画像データとを人名判定部１１１に送信する（ステップＳ１３０５）。
【０１０６】
そして、人名判定部１１０３は、受信した文字列データを検索キーとして、人名候補データベース１０９を検索し、当該文字列データが人名として登録されているか否かを判定する（ステップＳ１３０６）。
【０１０７】
本シーケンス図では、人名判定部１１０３が、受信した文字列が人名であると判定した場合について説明する。そこで、人名判定部１１１は、受信した文字列データを人名として、人物画像データと共に登録要求を、登録部１１４に送信する（ステップＳ１３０７）。
【０１０８】
登録要求を受信した登録部１１４は、登録要求を受信した場合に、データ処理部１０６から番組データを取得する。そして、登録部１１４は、登録要求に含まれていた人名データと、人物画像データと、番組に関するデータ（放送局名、取得日時、番組名）とを対応付けて、人物データベース１１５に登録する（ステップＳ１３０８）。
【０１０９】
次に、第２の実施の形態の各構成の処理について説明する。まずは、動画処理装置１１００の顔検出部１１０１における顔検出処理について説明する。図１４は、本第２実施の形態にかかる顔検出部１１０１における上述した処理の手順を示すフローチャートである。
【０１１０】
まず、顔検出部１１０１は、映像デコーダ１０７から動画データを受信する（ステップＳ１４０１）。次に、顔検出部１１０１は、受信した動画データに含まれるフレーム画像に、顔画像が含まれているか否かを判定する（ステップＳ１４０２）。含まれていないと判定した場合（ステップＳ１４０２：Ｎｏ）、再びステップＳ１４０１から処理を行う。
【０１１１】
一方、顔検出部１１０１が、動画データのフレーム画像に、顔画像が含まれていると判定した場合（ステップＳ１４０２：Ｙｅｓ）、検出した顔画像を含む画像情報を切り出し、顔画像データとして顔認識処理部１１６に送信する（ステップＳ１４０３）。以降、顔認識処理部１１６等において、送信された顔画像データに基づいて、モニタ上に人物画像データを表示するための処理が行われる。
【０１１２】
そして、顔検出部１１０１は、検出した顔画像に基づいて、動画像データから人物画像データの領域を特定し、当該人物画像データを切り出す（ステップＳ１４０４）。その後、顔検出部１１０１は、切り出した人物画像データを、文字列抽出部１１０２に送信する（ステップＳ１４０５）。これにより、人物画像データを人物データベース１１５に登録するための処理が継続される。その後、再びステップＳ１４０１から処理を行う。
【０１１３】
次に、本第２実施の形態にかかる動画処理装置１１００の文字列抽出部１１０２、及び人名判定部１１０３における人名判定処理について説明する。図１５は、本第２実施の形態にかかる文字列抽出部１１０２及び人名判定部１１０３における上述した処理の手順を示すフローチャートである。
【０１１４】
まず、文字列抽出部１１０２は、顔検出部１１０１から人物画像データを受信する（ステップＳ１５０１）。
【０１１５】
そして、文字列抽出部１１０２は、人物画像データから文字列データを抽出する（ステップＳ１５０２）。その後、文字列抽出部１１０２は、抽出した文字列データと、人物画像データとを人名判定部１１０３に送信する。
【０１１６】
そして、人名判定部１１０３は、受信した文字列データが、人名候補データベース１０９に含まれているか否か判定する（ステップＳ１５０３）。含まれていないと判定した場合（ステップＳ１５０３：Ｎｏ）、受信した人物画像データは人物データベース１１５に登録しないものとして、再びステップＳ１５０１から処理を開始する。
【０１１７】
一方、人名判定部１１０３が人名候補データベース１０９に含まれていると判定した場合（ステップＳ１５０３：Ｙｅｓ）、人名であると判定された文字列データと、人物画像データとを、登録要求と共に登録部１１４に送信する（ステップＳ１５０４）。その後、再びステップＳ１５０１から処理を行う。
【０１１８】
上述した処理手順により、人名と判定された文字列が含まれている人物画像データが、人物データベース１１５に登録されることになる。
【０１１９】
本第２実施の形態にかかる動画処理装置１１００においては、人名が含まれる人物画像データを人物データベース１１５に登録されるので、当該人物画像データを用いた人物紹介が可能となる。これにより、動画処理装置１１００においては、第１の実施の形態と同様の効果を得ることができる。
【０１２０】
また、本第２実施の形態にかかる動画処理装置１１００においては、人物画像データに人名が含まれていれば、人名の配置に拘わらず登録される。これにより、人物データベース１１５に登録される人物画像データが増加し、様々な人物の人物紹介が可能となる。
【０１２１】
（第３の実施の形態）
上述した第１及び第２の実施の形態においては、人物データベース１１５に同一人物の人物画像データが複数登録される例について説明した。しかしながら、人物データベース１１５に登録する人物画像データを、一人について一枚にしても良い。そこで、第３の実施の形態においては、一人について人物画像データを一枚登録する例について説明する。
【０１２２】
図１６は、第３の実施の形態にかかる動画処理装置１６００の構成を示すブロック図である。動画処理装置１６００は、上述した第２の実施の形態にかかる動画処理装置１１００とは、登録部１１４とは処理が異なる登録部１６０１に変更された構成を有している点で異なる。以下の説明では、上述した第２の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。
【０１２３】
登録部１６０１は、人物データベース１１５に、一つの人名について、一つの人物画像データを登録する。本第３実施の形態にかかる登録部１６０１は、人名を示す文字列データと、人物画像データと共に登録要求を受信した場合に、当該文字列データ及び人物画像データで人物データベース１１５を検索し、当該文字列データ又は人物画像データで登録されているレコードを削除した後、受信した人物画像データと、人名と、データ処理部１０６から受信した番組に関する情報と、を対応付けて人物データベース１１５に登録する。
【０１２４】
第３の実施の形態にかかる動画処理装置１６００の全体的な処理手順は、第２の実施の形態の動画処理装置１１００と同様であり、登録部１６０１による登録手順のみが、登録部１１４と異なる。
【０１２５】
そこで、動画処理装置１６００の登録部１６０１における登録処理について説明する。図１７は、本第３実施の形態にかかる登録部１６０１における上述した処理の手順を示すフローチャートである。
【０１２６】
まず、登録部１６０１は、人名判定部１１０３から人名を示す文字列データと、人物画像データとを受信する（ステップＳ１７０１）。
【０１２７】
次に、登録部１６０１は、データ処理部１０６から番組データを受信する（ステップＳ１７０２）。
【０１２８】
その後、登録部１６０１は、受信した人物画像データ又は人名と一致するレコードが登録されているか否か判別する（ステップＳ１７０３）。一致するレコードが登録されていると判別した場合（ステップＳ１７０３：Ｙｅｓ）、登録部１６０１は、当該レコードを削除する（ステップＳ１７０４）。
【０１２９】
そして、一致するレコードが登録されていないと判別した場合（ステップＳ１７０３：Ｎｏ）、又はステップＳ１７０４でレコードを削除した後、登録部１６０１は、受信した人物画像データ、人名、及び番組に関する情報を対応付けて、人物データベース１１５に登録する（ステップＳ１７０５）。
【０１３０】
本第３実施の形態にかかる動画処理装置１６００においては、第２の実施の形態にかかる動画処理装置１１００と同様の効果があるほか、人物データベース１１５に一人毎に一つの人物画像データを保持することで、記憶容量を削減することができる。
【０１３１】
上述した実施の形態にかかる動画処理装置（１００、１１００、１６００）においては、上述した各構成をプログラムで実現しても良い。そして動画処理装置（１００、１１００、１６００）で実行される動画再生プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１３２】
また、上述した実施の形態にかかる動画処理装置（１００、１１００、１６００）で実行される動画再生プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施の形態にかかる動画処理装置（１００、１１００、１６００）で実行される動画再生プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１３３】
また、上述した実施の形態の動画再生プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１３４】
上述した実施の形態の動画処理装置（１００、１１００、１６００）で実行される動画再生プログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から動画再生プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。
【０１３５】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【０１３６】
１００、１１００、１６００ 動画処理装置
１０１ 地上デジタルチューナ
１０２ ＯＦＤＭ復調部
１０３ ＢＳ／１１０度ＣＳデジタルチューナ
１０４ ＱＰＳＫ復調部
１０５ ＤＥＭＵＸ／映像／音声／データ分離部
１０６ データ処理部
１０７ 映像デコーダ
１０８ 音声デコーダ
１０９ 人名候補データベース
１１０、１１０２ 文字列抽出部
１１１、１１０３ 人名判定部
１１２、１１０１ 顔検出部
１１３ 配置判定部
１１４、１６０１ 登録部
１１５ 人物データベース
１１６ 顔認識処理部
１１７ 画像生成部
１１８ 画像合成部
１１９ バックエンド部
１２０ コンテンツ取得部
１２１ コンテンツ記憶部
【特許請求の範囲】
【請求項１】
人物の顔画像を含む人物画像情報と、当該人物の名前情報と、を対応付けて記憶する人物記憶手段と、
前記人物記憶手段に登録の対象となる人物の名前を示す人名情報を記憶する人名候補記憶手段と、
動画情報を取得する取得手段と、
前記動画情報に含まれる画面情報から、顔画像を検出する顔検出手段と、
前記動画情報に含まれる画面情報から、文字列情報を抽出する文字列抽出手段と、
抽出された前記文字列情報と、前記人名候補記憶手段に記憶される前記人名情報と、が一致するか否かを判定する人名判定手段と、
前記文字列情報と前記人名情報とが一致すると判定された場合に、前記文字列情報を名前情報として、当該文字列情報を抽出した前記画面情報で検出された前記顔画像を含む人物画像情報と対応付けて前記人物記憶手段に登録する登録手段と、
を備えることを特徴とする動画処理装置。
【請求項２】
前記顔検出手段が検出した前記顔画像と、前記人物記憶手段に記憶された前記人物画像情報とが同一人物であるか否かを判定する人物判定手段と、
前記人物判定手段により同一人物と判定された場合に、動画情報に対して、前記人物画像情報を合成する合成手段と、
前記合成手段により前記人物画像情報が合成された前記動画情報を出力する出力手段と、
をさらに備えたことを特徴とする請求項１に記載の動画処理装置。
【請求項３】
前記名前情報と、当該人物に関する関連情報と、を対応付けて記憶する関連情報記憶手段と、
前記人物判定手段により同一人物と判定された場合に、同一人物と判定された人物を示す前記名前情報と対応付けられた前記関連情報を、前記関連情報記憶手段から取得する関連取得手段と、をさらに備え、
前記合成手段は、さらに、前記動画情報に対して、取得した前記関連情報を合成すること、
を特徴とする請求項２に記載の動画処理装置。
【請求項４】
前記文字列抽出手段は、前記動画情報に含まれる前記画面情報の所定の領域に対して、ＯＣＲ処理を行って、文字列情報を抽出すること、
を特徴とする請求項１乃至３のいずれか一つに記載の動画処理装置。
【請求項５】
前記動画情報が放送された番組を特定する情報を示す、番組情報を取得する取得手段と、
前記登録手段は、さらに、前記番組情報を対応付けて前記人物記憶手段に登録すること、
を特徴とする請求項１乃至４のいずれか一つに記載の動画処理装置。
【請求項６】
前記登録手段は、前記人名情報と一致した前記名前情報、又は検出された前記顔画像を含む人物画像情報が既に前記人物記憶手段に登録されている場合に、前記人名情報と一致した前記名前情報、又は検出された前記顔画像を含む前記人物画像情報と対応付けられたレコードを削除すること、
を特徴とする請求項１乃至５のいずれか一つに記載の動画処理装置。
【請求項７】
前記人物判定手段は、前記顔検出手段が検出した前記顔画像と同一人物であると判定された前記人物画像情報を複数判定した場合に、前記人物画像情報と対応付けられた前記名前情報のうち、一致する名前の数に基づいて、前記合成手段で合成する前記人物画像情報を特定すること、
を特徴とする請求項１乃至６のいずれか一つに記載の動画処理装置。
【請求項１】
人物の顔画像を含む人物画像情報と、当該人物の名前情報と、を対応付けて記憶する人物記憶手段と、
前記人物記憶手段に登録の対象となる人物の名前を示す人名情報を記憶する人名候補記憶手段と、
動画情報を取得する取得手段と、
前記動画情報に含まれる画面情報から、顔画像を検出する顔検出手段と、
前記動画情報に含まれる画面情報から、文字列情報を抽出する文字列抽出手段と、
抽出された前記文字列情報と、前記人名候補記憶手段に記憶される前記人名情報と、が一致するか否かを判定する人名判定手段と、
前記文字列情報と前記人名情報とが一致すると判定された場合に、前記文字列情報を名前情報として、当該文字列情報を抽出した前記画面情報で検出された前記顔画像を含む人物画像情報と対応付けて前記人物記憶手段に登録する登録手段と、
を備えることを特徴とする動画処理装置。
【請求項２】
前記顔検出手段が検出した前記顔画像と、前記人物記憶手段に記憶された前記人物画像情報とが同一人物であるか否かを判定する人物判定手段と、
前記人物判定手段により同一人物と判定された場合に、動画情報に対して、前記人物画像情報を合成する合成手段と、
前記合成手段により前記人物画像情報が合成された前記動画情報を出力する出力手段と、
をさらに備えたことを特徴とする請求項１に記載の動画処理装置。
【請求項３】
前記名前情報と、当該人物に関する関連情報と、を対応付けて記憶する関連情報記憶手段と、
前記人物判定手段により同一人物と判定された場合に、同一人物と判定された人物を示す前記名前情報と対応付けられた前記関連情報を、前記関連情報記憶手段から取得する関連取得手段と、をさらに備え、
前記合成手段は、さらに、前記動画情報に対して、取得した前記関連情報を合成すること、
を特徴とする請求項２に記載の動画処理装置。
【請求項４】
前記文字列抽出手段は、前記動画情報に含まれる前記画面情報の所定の領域に対して、ＯＣＲ処理を行って、文字列情報を抽出すること、
を特徴とする請求項１乃至３のいずれか一つに記載の動画処理装置。
【請求項５】
前記動画情報が放送された番組を特定する情報を示す、番組情報を取得する取得手段と、
前記登録手段は、さらに、前記番組情報を対応付けて前記人物記憶手段に登録すること、
を特徴とする請求項１乃至４のいずれか一つに記載の動画処理装置。
【請求項６】
前記登録手段は、前記人名情報と一致した前記名前情報、又は検出された前記顔画像を含む人物画像情報が既に前記人物記憶手段に登録されている場合に、前記人名情報と一致した前記名前情報、又は検出された前記顔画像を含む前記人物画像情報と対応付けられたレコードを削除すること、
を特徴とする請求項１乃至５のいずれか一つに記載の動画処理装置。
【請求項７】
前記人物判定手段は、前記顔検出手段が検出した前記顔画像と同一人物であると判定された前記人物画像情報を複数判定した場合に、前記人物画像情報と対応付けられた前記名前情報のうち、一致する名前の数に基づいて、前記合成手段で合成する前記人物画像情報を特定すること、
を特徴とする請求項１乃至６のいずれか一つに記載の動画処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−２３９５０７（Ｐ２０１０−２３９５０７Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８６８８９（Ｐ２００９−８６８８９）
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]