情報表示システム、情報表示方法および携帯端末装置
【課題】撮影している画像内に複数人の顔画像が存在する場合でも各顔画像の近傍に固有情報を表示することができ、かつ、固有情報が誰に対するものなのかが直感的にわかる情報表示システムを提供する。
【解決手段】携帯電話機により撮影し表示している動画像から人物の顔画像を抽出してサーバに送信し、サーバであらかじめ登録されている顔画像と照合して、照合に一致した顔画像に対応する人物の固有情報（名前等）を取得して携帯電話機に送信し、携帯電話機で撮影し表示している動画像内の対応する顔画像の近傍に当該固有情報を表示させる。
【解決手段】携帯電話機により撮影し表示している動画像から人物の顔画像を抽出してサーバに送信し、サーバであらかじめ登録されている顔画像と照合して、照合に一致した顔画像に対応する人物の固有情報（名前等）を取得して携帯電話機に送信し、携帯電話機で撮影し表示している動画像内の対応する顔画像の近傍に当該固有情報を表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、携帯電話機等の携帯端末装置により撮影し表示している動画像から人物の顔画像を抽出してホスト装置に送信し、ホスト装置であらかじめ登録されている顔画像と照合して、照合に一致した顔画像に対応する人物の固有情報を携帯端末装置に送信し、携帯端末装置で撮影し表示している動画像内の対応する顔画像の近傍に当該固有情報を表示せしめる情報表示システム、情報表示方法およびこの情報表示システム、情報表示方法に用いる携帯端末装置に関する。
【背景技術】
【０００２】
従来、たとえば、携帯電話機で撮影した人物の画像をサーバに送信して属性情報とともに登録しておき、携帯電話機内のメモリに保存された画像の属性情報を検索キーとして携帯電話機からサーバに送信し、サーバにおいて、この送信された属性情報と実質的に同一の属性情報を有する画像を保存されている画像内から検索し、検索した画像を携帯電話機に送信して、携帯電話機の表示部に表示せしめるようにした画像検索システムが知られている（たとえば、特許文献１参照）。
【特許文献１】特開２００４−１７８０１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記した従来の画像検索システムにおいて、たとえば、携帯端末装置により撮影している動画像から抽出した人物の顔画像をサーバに送信し、サーバ側で既に登録されている顔画像と照合して、照合により得られた固有情報を携帯端末装置に送信し、携帯端末装置で撮影し表示している動画像内に当該固有情報を表示させようとした場合、以下の問題点がある。
【０００４】
（１）撮影している画像内に複数人の顔画像が存在する場合、各顔画像の近傍に固有情報を表示しなければ、固有情報が誰に対するものなのか直感的にわかりづらい。
【０００５】
（２）サーバとの通信中やサーバでの顔画像の照合中に人物が移動していた場合、顔画像の近傍に固有情報を表示さることが困難である。
【０００６】
そこで、本発明は、撮影している画像内に複数人の顔画像が存在する場合でも各顔画像の近傍に固有情報を表示することができ、固有情報が誰に対するものなのかが直感的にわかる情報表示システム、情報表示方法および携帯端末装置を提供することを目的とする。
また、本発明は、固有情報を取得するまでの間に人物が移動していた場合でも、顔画像の近傍に固有情報を表示させることができる情報表示システム、情報表示方法および携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報表示システムは、あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、少なくとも人物を含む動画像を撮影する撮影手段と、この撮影手段により撮影された動画像を表示する表示手段と、前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、この顔抽出手段により抽出された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、この固有情報取得手段により取得された固有情報を前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備している。
【０００８】
また、本発明の情報表示システムは、利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有して構成され、前記携帯端末装置は、少なくとも人物を含む動画像を撮影する撮影手段と、この撮影手段により撮影された動画像を表示する表示手段と、前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、この顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第１の送信手段とを具備し、前記ホスト装置は、あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、前記携帯端末装置の第１の送信手段により送信された顔画像をそれに付加された識別子とともに受信する第１の受信手段と、この第１の受信手段により受信された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、この固有情報取得手段により取得された固有情報をそれに前記第１の受信手段により受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第２の送信手段とを具備し、前記携帯端末装置は、さらに、前記ホスト装置の第２の送信手段により送信された固有情報をそれに付加された識別子とともに受信する第２の受信手段と、この第２の受信手段により受信された固有情報を前記表示手段により表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備している。
【０００９】
また、本発明の情報表示方法は、利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有し、前記携帯端末装置において、少なくとも人物を含む動画像を撮影する撮影ステップと、前記携帯端末装置において、前記撮影ステップにより撮影された動画像を表示する表示ステップと、前記携帯端末装置において、前記撮影ステップにより撮影された動画像から人物の顔画像を抽出する顔抽出ステップと、前記携帯端末装置において、前記顔抽出ステップにより抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第１の送信ステップと、前記ホスト装置において、前記第１の送信ステップにより送信された顔画像をそれに付加された識別子とともに受信する第１の受信ステップと、前記ホスト装置において、前記第１の受信ステップにより受信された顔画像とあらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合ステップと、前記ホスト装置において、前記照合ステップにより前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得ステップと、前記ホスト装置において、前記固有情報取得ステップにより取得された固有情報をそれに前記第１の受信ステップにより受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第２の送信ステップと、前記携帯端末装置において、前記第２の送信ステップにより送信された固有情報をそれに付加された識別子とともに受信する第２の受信ステップと、前記携帯端末装置において、前記第２の受信ステップにより受信された固有情報を前記表示ステップにより表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御ステップとを具備している。
【００１０】
さらに、本発明の携帯端末装置は、利用者が携帯し、上位となるホスト装置と通信可能な携帯端末装置であって、少なくとも人物を含む動画像を撮影する撮影手段と、この撮影手段により撮影された動画像を表示する表示手段と、前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、この顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する送信手段と、前記ホスト装置から送信される、前記送信手段により送信された顔画像と対応する人物の固有情報を受信する受信手段と、この受信手段により受信された固有情報を前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備している。
【発明の効果】
【００１１】
本発明によれば、撮影している画像内に複数人の顔画像が存在する場合でも各顔画像の近傍に固有情報を表示することができ、かつ、固有情報が誰に対するものなのかが直感的にわかる情報表示システム、情報表示方法および携帯端末装置を提供できる。
また、本発明によれば、固有情報を取得するまでの間に人物が移動していた場合でも、顔画像の近傍に固有情報を表示させることができる情報表示システム、情報表示方法および携帯端末装置を提供できる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本実施の形態に係る情報表示システムの構成を概略的に示すものである。図１において、この情報表示システムは、利用者が携帯する携帯端末装置としての携帯電話機１０、この携帯電話機１０と通信可能なホスト装置としてのサーバ２０とを有して構成されている。
【００１３】
携帯電話機１０は、撮影手段としてのデジタルカメラ（以下、単にカメラと略称する）１１、キーボードなどの操作部１２、表示手段としての液晶表示部（以下、単に表示部と略称する）１３、記憶手段としてのメモリ１４、送信手段および受信手段としての通信部１５、および、これらを制御する制御手段としての制御部１６を有して構成されている。
【００１４】
カメラ１１は、所望の動画像（あるいは、静止画像）を撮影してカラー画像データに変換するもので、所定倍率のズーム機能を有しており、たとえば、ＣＣＤ型のカラーデジタルカメラからなる。
操作部１２および表示部１３は、携帯電話機としての一般的な操作に関する表示および入力などを行なう。また、表示部１３は、カメラ１１で撮影した画像の表示をも行なう。
【００１５】
メモリ１４は、制御部１６の処理に用いられる各種情報を記憶する。また、メモリ１４は、顔画像管理手段としての顔画像管理テーブル１７を有している。顔画像管理テーブル１７には、たとえば、図２に示すように、固有の識別子と顔画像の位置情報と固有情報としての名前とが対応して格納される。
通信部１５は、当該携帯電話機１０を用いた通話やメールの送受信、インターネット通信などの際に携帯電話回線３０との通信を行なう。
【００１６】
制御部１６は、たとえば、ＣＰＵ（セントラル・プロセッシング・ユニット）等を主体に構成されていて、当該携帯電話機１０における処理全体を制御する。また、制御部１６は、顔抽出手段、顔画像追跡手段、顔画像管理手段および固有情報表示制御手段として機能する画像処理部１８を有している。
【００１７】
サーバ２０は、記憶手段としてのメモリ２１、送信手段および受信手段としての通信部２２、および、これらを制御する制御手段としての制御部２３を有して構成されている。
メモリ２１は、制御部２３による制御に必要な各種情報（プログラム等）を記憶する。また、メモリ２１は、記憶手段としてのデータベース２４を有している。データベース２４には、たとえば、図３に示すように、あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶されている。ここに、固有情報としては顔画像に対応する人物の名前に関する情報、この実施の形態では例えば名前が用いられる。
【００１８】
通信部２２は、携帯電話機１０との通信などの際に携帯電話回線３０との通信を行なう。
制御部２３は、たとえば、ＣＰＵ（セントラル・プロセッシング・ユニット）等を主体に構成されていて、当該サーバ２０における処理全体を制御する。また、制御部２３は、照合手段および固有情報取得手段として機能する画像処理部２５を有している。
【００１９】
次に、このような構成において動作の流れを説明する。
まず、初期設定について説明する。サーバ２０において、たとえば、図３に示すように、データベース２４にあらかじめ登録された人物から取得した顔画像および固有情報（名前）を対応させて登録（記憶）する。
【００２０】
次に、携帯電話機１０における顔画像抽出処理および顔画像送信処理について図４に示すフローチャートを参照して説明する。
まず、カメラ１１により少なくとも人物を含む動画像を撮影する（ステップＳ１）。次に、画像処理部１８は、撮影した動画像から人物の顔画像を抽出する（ステップＳ２）。ここに、このステップＳ２の処理が本発明における顔抽出手段に対応している。
顔画像の抽出処理は、たとえば、特開２００４−１８５６１１号公報に記載されている顔位置の抽出方法により実現することが可能である。この顔位置の抽出方法について簡単に説明すると、人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備して、順次、対象となる画像領域内において、６つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出し、さらに、抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択することで、顔位置の抽出を行なうものであり、詳細については当該公報を参照されたい。
【００２１】
次に、画像処理部１８は、抽出した顔画像が追跡中の人物の顔画像かどうかを判定し（ステップＳ３）、追跡中の人物の顔画像でない場合、メモリ１４内の顔画像管理テーブル１７に固有の識別子、顔画像の位置情報を追加格納する（ステップＳ４）。なお、固有の識別子は、たとえば、顔画像が抽出された人物ごとに付与されるＩＤ番号などが用いられる。 次に、画像処理部１８は、抽出した顔画像の人物を追跡する（ステップＳ５）。ここに、このステップＳ５の処理が本発明における人物追跡手段に対応している。
人物の追跡処理は、たとえば、特開平４−２６１２９０号公報に記載されている移動物体追跡装置により実現することが可能である。この移動物体追跡装置について簡単に説明すると、入力される時系列的に連続した画像を用いて移動物体の変化領域を抽出し、この抽出された変化領域を包含する矩形情報を求め、この求めた矩形情報を所定倍率の大きさの矩形情報に拡大し、この拡大された矩形情報を基に、入力される時系列的に連続した画像の対応する領域に対して画像処理を行なうことにより移動物体を追跡するものであり、詳細については当該公報を参照されたい。 次に、画像処理部１８は、抽出した顔画像をそれに対応する識別子を付加して通信部１５からサーバ２０に対し送信する（ステップＳ６）。ここに、このステップＳ６の処理が本発明における第１の送信手段に対応している。 ステップＳ３における判定の結果、追跡中の人物の顔画像である場合、画像処理部１８は、顔画像管理テーブル１７の対応する顔画像の位置を最新の顔画像を抽出した位置に更新する（ステップＳ７）。
【００２２】
なお、複数の顔画像を抽出した場合には、各顔画像について図４の処理を繰り返し実施する。全ての顔画像について図４の処理を実施した後、顔画像管理テーブル１７内の不要なデータ（新規追加されず、更新もされなかったデータ）を削除する。
【００２３】
次に、サーバ２０における顔画像照合処理および固有情報取得処理について図５に示すフローチャートを参照して説明する。
まず、画像処理部２３は、ステップＳ６により携帯電話機１０から送信された識別子付きの顔画像を通信部２２から受信する（ステップＳ１１）。ここに、このステップＳ１１の処理が本発明における第１の受信手段に対応している。
【００２４】
次に、画像処理部２３は、受信した顔画像とメモリ２１内のデータベース２４に格納されている顔画像とを照合し（ステップＳ１２）、当該受信した顔画像との間に所定の関係が成立する顔画像、たとえば、この実施の形態では受信した顔画像と一致する顔画像がデータベース２４内に存在するか否かを判定する（ステップＳ１３）。ここに、このステップＳ１２，Ｓ１３の処理が本発明における照合手段に対応している。
【００２５】
ステップＳ１３における判定の結果、受信した顔画像と一致する顔画像がデータベース２４内に存在する場合、画像処理部２３は、当該一致した顔画像に対応する固有情報（名前）をデータベース２４から取得する（ステップＳ１４）。ここに、このステップＳ１４の処理が本発明における固有情報取得手段に対応している。
【００２６】
次に、画像処理部２３は、取得した固有情報をそれにステップＳ１１により受信された識別子と実質的に同一の識別子、たとえば、この実施の形態ではステップＳ１１で受信した識別子を付加して通信部２２から携帯電話機１０に対し送信し（ステップＳ１５）、当該処理を終了する。ここに、このステップＳ１５の処理が本発明における第２の送信手段に対応している。
【００２７】
ステップＳ１３における判定の結果、受信した顔画像と一致する顔画像がデータベース２４内に存在しない場合、画像処理部２３は、ステップＳ１１で受信した識別子に対し照合不一致であったことを意味する情報、たとえば情報「照合不可」を付加して通信部２２から携帯電話機１０に対し送信し（ステップＳ１６）、当該処理を終了する。
【００２８】
次に、携帯電話機１０における固有情報の保存処理について図６に示すフローチャートを参照して説明する。
まず、画像処理部１８は、サーバ２０から送信された照合結果情報（ステップＳ１５により送信された識別子付きの固有情報、あるいは、ステップＳ１６により送信された識別子付きの情報「照合不可」）を通信部１５から受信する（ステップＳ２１）。ここに、このステップＳ２１の処理が本発明における第２の受信手段に対応している。
【００２９】
次に、画像処理部１８は、受信した照合結果情報を顔画像管理テーブル１７の対応する識別子の位置に追加する（ステップＳ２２）。たとえば、受信した照合結果情報がステップＳ１５により送信された識別子付きの固有情報の場合、図２に示すように、対応する識別子を有する顔画像に対し受信した固有情報（名前）を付加（追加）する。また、受信した照合結果情報がステップＳ１６により送信された識別子付きの情報「照合不可」の場合、図２に示すように、対応する識別子を有する顔画像に対し受信した情報「照合不可」を付加（追加）する。 次に、携帯電話機１０における撮影画像および固有情報の表示処理について図７に示すフローチャートを参照して説明する。
まず、画像処理部１８は、カメラ１１により撮影した動画像を表示部１３に表示する（ステップＳ３１）。ここに、このステップＳ３１の処理が本発明における表示手段に対応している。
【００３０】
次に、画像処理部１８は、顔画像管理テーブル１７内の固有情報を表示部１３に表示されている画像内の対応する識別子の顔画像の近傍に表示する（ステップＳ３２）。ここに、このステップＳ３２の処理が本発明における固有情報表示制御手段に対応している。
図８に表示部１３における表示画面の一例を示す。図中、符号３１〜３５は撮影され表示されている人物を示し、符号４１〜４３は人物３１〜３３の顔画像の近傍に表示されている固有情報（名前）を示している。なお、図８の例では、人物３４，３５は照合結果が「照合不可」であったり、あるいは、まだ固有情報（名前）が取得されていなかったりした場合であり、したがって固有情報は表示されていない。
なお、図７の処理があらかじめ定められた一定時間間隔で実施される。
【００３１】
以上説明したように、上記実施の形態によれば、携帯電話機により撮影している動画像から抽出した人物の顔画像をサーバに送信し、サーバ側で既に登録されている顔画像と照合して、照合により得られた固有情報を携帯電話機に送信し、携帯電話機で撮影し表示している動画像内に当該固有情報を表示させることができる。その場合、撮影している画像内に複数人の顔画像が存在する場合でも各顔画像の近傍に固有情報を表示することができ、固有情報が誰に対するものなのかが直感的にわかる。
また、撮影した動画像から人物を追跡し、追跡中の人物の顔画像を管理しているので、撮影している人物が、携帯電話機とサーバとの通信中、あるいは、サーバにおける顔画像の照合処理中に移動していた場合でも、確実に顔画像の近傍に固有情報を表示させることができる。
【００３２】
なお、前記実施の形態では、携帯電話機とは別に顔画像および固有情報が登録されたデータベースを有するサーバを設け、サーバ内で顔画像の照合処理および固有情報の取得処理を行なう場合について説明したが、本発明はこれに限定されるものではなく、顔画像および固有情報が登録されたデータベースを携帯電話機内に設け、携帯電話機内で顔画像の照合処理および固有情報の取得処理を行なう場合にも同様に適用できる。このようにすればサーバは不要になる。
【００３３】
また、前記実施の形態では、携帯端末装置が携帯電話機の場合について説明したが、本発明はこれに限定されるものではなく、たとえば、ＰＤＡと称される携帯端末装置などであっても同様に適用できる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態に係る情報表示システムの構成を概略的に示すブロック図。
【図２】顔画像管理テーブルの一例を示す図。
【図３】データベースの一例を示す図。
【図４】携帯電話機における顔画像抽出処理および顔画像送信処理について説明するフローチャート。
【図５】サーバにおける顔画像照合処理および固有情報取得処理について説明するフローチャート。
【図６】携帯電話機における固有情報の保存処理について説明するフローチャート。
【図７】携帯電話機における撮影画像および固有情報の表示処理について説明するフローチャート。
【図８】表示部における表示画面の一例を示す図。
【符号の説明】
【００３５】
１０…携帯電話機（携帯端末装置）、２０…サーバ（ホスト装置）、３０…携帯電話回線、１１…カメラ（撮影手段）、１２…操作部、１３…液晶表示部（表示手段）、１４…メモリ（記憶手段）、１５…通信部（送信手段、受信手段）、１６…制御部（制御手段）、２１…メモリ（記憶手段）、２２…通信部（送信手段、受信手段）、２３…制御部（制御手段）。
【技術分野】
【０００１】
本発明は、たとえば、携帯電話機等の携帯端末装置により撮影し表示している動画像から人物の顔画像を抽出してホスト装置に送信し、ホスト装置であらかじめ登録されている顔画像と照合して、照合に一致した顔画像に対応する人物の固有情報を携帯端末装置に送信し、携帯端末装置で撮影し表示している動画像内の対応する顔画像の近傍に当該固有情報を表示せしめる情報表示システム、情報表示方法およびこの情報表示システム、情報表示方法に用いる携帯端末装置に関する。
【背景技術】
【０００２】
従来、たとえば、携帯電話機で撮影した人物の画像をサーバに送信して属性情報とともに登録しておき、携帯電話機内のメモリに保存された画像の属性情報を検索キーとして携帯電話機からサーバに送信し、サーバにおいて、この送信された属性情報と実質的に同一の属性情報を有する画像を保存されている画像内から検索し、検索した画像を携帯電話機に送信して、携帯電話機の表示部に表示せしめるようにした画像検索システムが知られている（たとえば、特許文献１参照）。
【特許文献１】特開２００４−１７８０１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記した従来の画像検索システムにおいて、たとえば、携帯端末装置により撮影している動画像から抽出した人物の顔画像をサーバに送信し、サーバ側で既に登録されている顔画像と照合して、照合により得られた固有情報を携帯端末装置に送信し、携帯端末装置で撮影し表示している動画像内に当該固有情報を表示させようとした場合、以下の問題点がある。
【０００４】
（１）撮影している画像内に複数人の顔画像が存在する場合、各顔画像の近傍に固有情報を表示しなければ、固有情報が誰に対するものなのか直感的にわかりづらい。
【０００５】
（２）サーバとの通信中やサーバでの顔画像の照合中に人物が移動していた場合、顔画像の近傍に固有情報を表示さることが困難である。
【０００６】
そこで、本発明は、撮影している画像内に複数人の顔画像が存在する場合でも各顔画像の近傍に固有情報を表示することができ、固有情報が誰に対するものなのかが直感的にわかる情報表示システム、情報表示方法および携帯端末装置を提供することを目的とする。
また、本発明は、固有情報を取得するまでの間に人物が移動していた場合でも、顔画像の近傍に固有情報を表示させることができる情報表示システム、情報表示方法および携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報表示システムは、あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、少なくとも人物を含む動画像を撮影する撮影手段と、この撮影手段により撮影された動画像を表示する表示手段と、前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、この顔抽出手段により抽出された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、この固有情報取得手段により取得された固有情報を前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備している。
【０００８】
また、本発明の情報表示システムは、利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有して構成され、前記携帯端末装置は、少なくとも人物を含む動画像を撮影する撮影手段と、この撮影手段により撮影された動画像を表示する表示手段と、前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、この顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第１の送信手段とを具備し、前記ホスト装置は、あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、前記携帯端末装置の第１の送信手段により送信された顔画像をそれに付加された識別子とともに受信する第１の受信手段と、この第１の受信手段により受信された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、この固有情報取得手段により取得された固有情報をそれに前記第１の受信手段により受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第２の送信手段とを具備し、前記携帯端末装置は、さらに、前記ホスト装置の第２の送信手段により送信された固有情報をそれに付加された識別子とともに受信する第２の受信手段と、この第２の受信手段により受信された固有情報を前記表示手段により表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備している。
【０００９】
また、本発明の情報表示方法は、利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有し、前記携帯端末装置において、少なくとも人物を含む動画像を撮影する撮影ステップと、前記携帯端末装置において、前記撮影ステップにより撮影された動画像を表示する表示ステップと、前記携帯端末装置において、前記撮影ステップにより撮影された動画像から人物の顔画像を抽出する顔抽出ステップと、前記携帯端末装置において、前記顔抽出ステップにより抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第１の送信ステップと、前記ホスト装置において、前記第１の送信ステップにより送信された顔画像をそれに付加された識別子とともに受信する第１の受信ステップと、前記ホスト装置において、前記第１の受信ステップにより受信された顔画像とあらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合ステップと、前記ホスト装置において、前記照合ステップにより前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得ステップと、前記ホスト装置において、前記固有情報取得ステップにより取得された固有情報をそれに前記第１の受信ステップにより受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第２の送信ステップと、前記携帯端末装置において、前記第２の送信ステップにより送信された固有情報をそれに付加された識別子とともに受信する第２の受信ステップと、前記携帯端末装置において、前記第２の受信ステップにより受信された固有情報を前記表示ステップにより表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御ステップとを具備している。
【００１０】
さらに、本発明の携帯端末装置は、利用者が携帯し、上位となるホスト装置と通信可能な携帯端末装置であって、少なくとも人物を含む動画像を撮影する撮影手段と、この撮影手段により撮影された動画像を表示する表示手段と、前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、この顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する送信手段と、前記ホスト装置から送信される、前記送信手段により送信された顔画像と対応する人物の固有情報を受信する受信手段と、この受信手段により受信された固有情報を前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備している。
【発明の効果】
【００１１】
本発明によれば、撮影している画像内に複数人の顔画像が存在する場合でも各顔画像の近傍に固有情報を表示することができ、かつ、固有情報が誰に対するものなのかが直感的にわかる情報表示システム、情報表示方法および携帯端末装置を提供できる。
また、本発明によれば、固有情報を取得するまでの間に人物が移動していた場合でも、顔画像の近傍に固有情報を表示させることができる情報表示システム、情報表示方法および携帯端末装置を提供できる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本実施の形態に係る情報表示システムの構成を概略的に示すものである。図１において、この情報表示システムは、利用者が携帯する携帯端末装置としての携帯電話機１０、この携帯電話機１０と通信可能なホスト装置としてのサーバ２０とを有して構成されている。
【００１３】
携帯電話機１０は、撮影手段としてのデジタルカメラ（以下、単にカメラと略称する）１１、キーボードなどの操作部１２、表示手段としての液晶表示部（以下、単に表示部と略称する）１３、記憶手段としてのメモリ１４、送信手段および受信手段としての通信部１５、および、これらを制御する制御手段としての制御部１６を有して構成されている。
【００１４】
カメラ１１は、所望の動画像（あるいは、静止画像）を撮影してカラー画像データに変換するもので、所定倍率のズーム機能を有しており、たとえば、ＣＣＤ型のカラーデジタルカメラからなる。
操作部１２および表示部１３は、携帯電話機としての一般的な操作に関する表示および入力などを行なう。また、表示部１３は、カメラ１１で撮影した画像の表示をも行なう。
【００１５】
メモリ１４は、制御部１６の処理に用いられる各種情報を記憶する。また、メモリ１４は、顔画像管理手段としての顔画像管理テーブル１７を有している。顔画像管理テーブル１７には、たとえば、図２に示すように、固有の識別子と顔画像の位置情報と固有情報としての名前とが対応して格納される。
通信部１５は、当該携帯電話機１０を用いた通話やメールの送受信、インターネット通信などの際に携帯電話回線３０との通信を行なう。
【００１６】
制御部１６は、たとえば、ＣＰＵ（セントラル・プロセッシング・ユニット）等を主体に構成されていて、当該携帯電話機１０における処理全体を制御する。また、制御部１６は、顔抽出手段、顔画像追跡手段、顔画像管理手段および固有情報表示制御手段として機能する画像処理部１８を有している。
【００１７】
サーバ２０は、記憶手段としてのメモリ２１、送信手段および受信手段としての通信部２２、および、これらを制御する制御手段としての制御部２３を有して構成されている。
メモリ２１は、制御部２３による制御に必要な各種情報（プログラム等）を記憶する。また、メモリ２１は、記憶手段としてのデータベース２４を有している。データベース２４には、たとえば、図３に示すように、あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶されている。ここに、固有情報としては顔画像に対応する人物の名前に関する情報、この実施の形態では例えば名前が用いられる。
【００１８】
通信部２２は、携帯電話機１０との通信などの際に携帯電話回線３０との通信を行なう。
制御部２３は、たとえば、ＣＰＵ（セントラル・プロセッシング・ユニット）等を主体に構成されていて、当該サーバ２０における処理全体を制御する。また、制御部２３は、照合手段および固有情報取得手段として機能する画像処理部２５を有している。
【００１９】
次に、このような構成において動作の流れを説明する。
まず、初期設定について説明する。サーバ２０において、たとえば、図３に示すように、データベース２４にあらかじめ登録された人物から取得した顔画像および固有情報（名前）を対応させて登録（記憶）する。
【００２０】
次に、携帯電話機１０における顔画像抽出処理および顔画像送信処理について図４に示すフローチャートを参照して説明する。
まず、カメラ１１により少なくとも人物を含む動画像を撮影する（ステップＳ１）。次に、画像処理部１８は、撮影した動画像から人物の顔画像を抽出する（ステップＳ２）。ここに、このステップＳ２の処理が本発明における顔抽出手段に対応している。
顔画像の抽出処理は、たとえば、特開２００４−１８５６１１号公報に記載されている顔位置の抽出方法により実現することが可能である。この顔位置の抽出方法について簡単に説明すると、人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備して、順次、対象となる画像領域内において、６つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出し、さらに、抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択することで、顔位置の抽出を行なうものであり、詳細については当該公報を参照されたい。
【００２１】
次に、画像処理部１８は、抽出した顔画像が追跡中の人物の顔画像かどうかを判定し（ステップＳ３）、追跡中の人物の顔画像でない場合、メモリ１４内の顔画像管理テーブル１７に固有の識別子、顔画像の位置情報を追加格納する（ステップＳ４）。なお、固有の識別子は、たとえば、顔画像が抽出された人物ごとに付与されるＩＤ番号などが用いられる。 次に、画像処理部１８は、抽出した顔画像の人物を追跡する（ステップＳ５）。ここに、このステップＳ５の処理が本発明における人物追跡手段に対応している。
人物の追跡処理は、たとえば、特開平４−２６１２９０号公報に記載されている移動物体追跡装置により実現することが可能である。この移動物体追跡装置について簡単に説明すると、入力される時系列的に連続した画像を用いて移動物体の変化領域を抽出し、この抽出された変化領域を包含する矩形情報を求め、この求めた矩形情報を所定倍率の大きさの矩形情報に拡大し、この拡大された矩形情報を基に、入力される時系列的に連続した画像の対応する領域に対して画像処理を行なうことにより移動物体を追跡するものであり、詳細については当該公報を参照されたい。 次に、画像処理部１８は、抽出した顔画像をそれに対応する識別子を付加して通信部１５からサーバ２０に対し送信する（ステップＳ６）。ここに、このステップＳ６の処理が本発明における第１の送信手段に対応している。 ステップＳ３における判定の結果、追跡中の人物の顔画像である場合、画像処理部１８は、顔画像管理テーブル１７の対応する顔画像の位置を最新の顔画像を抽出した位置に更新する（ステップＳ７）。
【００２２】
なお、複数の顔画像を抽出した場合には、各顔画像について図４の処理を繰り返し実施する。全ての顔画像について図４の処理を実施した後、顔画像管理テーブル１７内の不要なデータ（新規追加されず、更新もされなかったデータ）を削除する。
【００２３】
次に、サーバ２０における顔画像照合処理および固有情報取得処理について図５に示すフローチャートを参照して説明する。
まず、画像処理部２３は、ステップＳ６により携帯電話機１０から送信された識別子付きの顔画像を通信部２２から受信する（ステップＳ１１）。ここに、このステップＳ１１の処理が本発明における第１の受信手段に対応している。
【００２４】
次に、画像処理部２３は、受信した顔画像とメモリ２１内のデータベース２４に格納されている顔画像とを照合し（ステップＳ１２）、当該受信した顔画像との間に所定の関係が成立する顔画像、たとえば、この実施の形態では受信した顔画像と一致する顔画像がデータベース２４内に存在するか否かを判定する（ステップＳ１３）。ここに、このステップＳ１２，Ｓ１３の処理が本発明における照合手段に対応している。
【００２５】
ステップＳ１３における判定の結果、受信した顔画像と一致する顔画像がデータベース２４内に存在する場合、画像処理部２３は、当該一致した顔画像に対応する固有情報（名前）をデータベース２４から取得する（ステップＳ１４）。ここに、このステップＳ１４の処理が本発明における固有情報取得手段に対応している。
【００２６】
次に、画像処理部２３は、取得した固有情報をそれにステップＳ１１により受信された識別子と実質的に同一の識別子、たとえば、この実施の形態ではステップＳ１１で受信した識別子を付加して通信部２２から携帯電話機１０に対し送信し（ステップＳ１５）、当該処理を終了する。ここに、このステップＳ１５の処理が本発明における第２の送信手段に対応している。
【００２７】
ステップＳ１３における判定の結果、受信した顔画像と一致する顔画像がデータベース２４内に存在しない場合、画像処理部２３は、ステップＳ１１で受信した識別子に対し照合不一致であったことを意味する情報、たとえば情報「照合不可」を付加して通信部２２から携帯電話機１０に対し送信し（ステップＳ１６）、当該処理を終了する。
【００２８】
次に、携帯電話機１０における固有情報の保存処理について図６に示すフローチャートを参照して説明する。
まず、画像処理部１８は、サーバ２０から送信された照合結果情報（ステップＳ１５により送信された識別子付きの固有情報、あるいは、ステップＳ１６により送信された識別子付きの情報「照合不可」）を通信部１５から受信する（ステップＳ２１）。ここに、このステップＳ２１の処理が本発明における第２の受信手段に対応している。
【００２９】
次に、画像処理部１８は、受信した照合結果情報を顔画像管理テーブル１７の対応する識別子の位置に追加する（ステップＳ２２）。たとえば、受信した照合結果情報がステップＳ１５により送信された識別子付きの固有情報の場合、図２に示すように、対応する識別子を有する顔画像に対し受信した固有情報（名前）を付加（追加）する。また、受信した照合結果情報がステップＳ１６により送信された識別子付きの情報「照合不可」の場合、図２に示すように、対応する識別子を有する顔画像に対し受信した情報「照合不可」を付加（追加）する。 次に、携帯電話機１０における撮影画像および固有情報の表示処理について図７に示すフローチャートを参照して説明する。
まず、画像処理部１８は、カメラ１１により撮影した動画像を表示部１３に表示する（ステップＳ３１）。ここに、このステップＳ３１の処理が本発明における表示手段に対応している。
【００３０】
次に、画像処理部１８は、顔画像管理テーブル１７内の固有情報を表示部１３に表示されている画像内の対応する識別子の顔画像の近傍に表示する（ステップＳ３２）。ここに、このステップＳ３２の処理が本発明における固有情報表示制御手段に対応している。
図８に表示部１３における表示画面の一例を示す。図中、符号３１〜３５は撮影され表示されている人物を示し、符号４１〜４３は人物３１〜３３の顔画像の近傍に表示されている固有情報（名前）を示している。なお、図８の例では、人物３４，３５は照合結果が「照合不可」であったり、あるいは、まだ固有情報（名前）が取得されていなかったりした場合であり、したがって固有情報は表示されていない。
なお、図７の処理があらかじめ定められた一定時間間隔で実施される。
【００３１】
以上説明したように、上記実施の形態によれば、携帯電話機により撮影している動画像から抽出した人物の顔画像をサーバに送信し、サーバ側で既に登録されている顔画像と照合して、照合により得られた固有情報を携帯電話機に送信し、携帯電話機で撮影し表示している動画像内に当該固有情報を表示させることができる。その場合、撮影している画像内に複数人の顔画像が存在する場合でも各顔画像の近傍に固有情報を表示することができ、固有情報が誰に対するものなのかが直感的にわかる。
また、撮影した動画像から人物を追跡し、追跡中の人物の顔画像を管理しているので、撮影している人物が、携帯電話機とサーバとの通信中、あるいは、サーバにおける顔画像の照合処理中に移動していた場合でも、確実に顔画像の近傍に固有情報を表示させることができる。
【００３２】
なお、前記実施の形態では、携帯電話機とは別に顔画像および固有情報が登録されたデータベースを有するサーバを設け、サーバ内で顔画像の照合処理および固有情報の取得処理を行なう場合について説明したが、本発明はこれに限定されるものではなく、顔画像および固有情報が登録されたデータベースを携帯電話機内に設け、携帯電話機内で顔画像の照合処理および固有情報の取得処理を行なう場合にも同様に適用できる。このようにすればサーバは不要になる。
【００３３】
また、前記実施の形態では、携帯端末装置が携帯電話機の場合について説明したが、本発明はこれに限定されるものではなく、たとえば、ＰＤＡと称される携帯端末装置などであっても同様に適用できる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態に係る情報表示システムの構成を概略的に示すブロック図。
【図２】顔画像管理テーブルの一例を示す図。
【図３】データベースの一例を示す図。
【図４】携帯電話機における顔画像抽出処理および顔画像送信処理について説明するフローチャート。
【図５】サーバにおける顔画像照合処理および固有情報取得処理について説明するフローチャート。
【図６】携帯電話機における固有情報の保存処理について説明するフローチャート。
【図７】携帯電話機における撮影画像および固有情報の表示処理について説明するフローチャート。
【図８】表示部における表示画面の一例を示す図。
【符号の説明】
【００３５】
１０…携帯電話機（携帯端末装置）、２０…サーバ（ホスト装置）、３０…携帯電話回線、１１…カメラ（撮影手段）、１２…操作部、１３…液晶表示部（表示手段）、１４…メモリ（記憶手段）、１５…通信部（送信手段、受信手段）、１６…制御部（制御手段）、２１…メモリ（記憶手段）、２２…通信部（送信手段、受信手段）、２３…制御部（制御手段）。
【特許請求の範囲】
【請求項１】
あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
この顔抽出手段により抽出された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、
この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、
この固有情報取得手段により取得された固有情報を前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段と、
を具備したことを特徴とする情報表示システム。
【請求項２】
あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
前記撮影手段により撮影された動画像内において、前記顔抽出手段により顔画像が抽出された人物を追跡する人物追跡手段と、
この人物追跡手段により追跡される人物の顔画像を管理する顔画像管理手段と、
前記顔抽出手段により抽出された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、
この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、
この固有情報取得手段により取得された固有情報を前記顔画像管理手段の管理内容に基づき前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段と、
を具備したことを特徴とする情報表示システム。
【請求項３】
利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有して構成され、
前記携帯端末装置は、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
この顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第１の送信手段とを具備し、
前記ホスト装置は、
あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、
前記携帯端末装置の第１の送信手段により送信された顔画像をそれに付加された識別子とともに受信する第１の受信手段と、
この第１の受信手段により受信された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、
この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、
この固有情報取得手段により取得された固有情報をそれに前記第１の受信手段により受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第２の送信手段とを具備し、
前記携帯端末装置は、さらに、
前記ホスト装置の第２の送信手段により送信された固有情報をそれに付加された識別子とともに受信する第２の受信手段と、
この第２の受信手段により受信された固有情報を前記表示手段により表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備したことを特徴とする情報表示システム。
【請求項４】
利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有して構成され、
前記携帯端末装置は、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
前記撮影手段により撮影された動画像内において、前記顔抽出手段により顔画像が抽出された人物を追跡する人物追跡手段と、
この人物追跡手段により追跡される人物の顔画像を管理する顔画像管理手段と、
前記顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第１の送信手段とを具備し、
前記ホスト装置は、
あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、
前記携帯端末装置の第１の送信手段により送信された顔画像をそれに付加された識別子とともに受信する第１の受信手段と、
この第１の受信手段により受信された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、
この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、
この固有情報取得手段により取得された固有情報をそれに前記第１の受信手段により受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第２の送信手段とを具備し、
前記携帯端末装置は、さらに、
前記ホスト装置の第２の送信手段により送信された固有情報をそれに付加された識別子とともに受信する第２の受信手段と、
この第２の受信手段により受信された固有情報を前記顔画像管理手段の管理内容に基づき前記表示手段により表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備したことを特徴とする情報表示システム。
【請求項５】
前記固有情報は対応する顔画像に対応する人物の名前に関する情報であることを特徴とする請求項１から請求項４のうちいずれか１つに記載の情報表示システム。
【請求項６】
前記携帯端末装置は携帯電話機であることを特徴とする請求項３または請求項４記載の情報表示システム。
【請求項７】
利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有し、
前記携帯端末装置において、少なくとも人物を含む動画像を撮影する撮影ステップと、
前記携帯端末装置において、前記撮影ステップにより撮影された動画像を表示する表示ステップと、
前記携帯端末装置において、前記撮影ステップにより撮影された動画像から人物の顔画像を抽出する顔抽出ステップと、
前記携帯端末装置において、前記顔抽出ステップにより抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第１の送信ステップと、
前記ホスト装置において、前記第１の送信ステップにより送信された顔画像をそれに付加された識別子とともに受信する第１の受信ステップと、
前記ホスト装置において、前記第１の受信ステップにより受信された顔画像とあらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合ステップと、
前記ホスト装置において、前記照合ステップにより前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得ステップと、
前記ホスト装置において、前記固有情報取得ステップにより取得された固有情報をそれに前記第１の受信ステップにより受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第２の送信ステップと、
前記携帯端末装置において、前記第２の送信ステップにより送信された固有情報をそれに付加された識別子とともに受信する第２の受信ステップと、
前記携帯端末装置において、前記第２の受信ステップにより受信された固有情報を前記表示ステップにより表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御ステップと、
を具備したことを特徴とする情報表示方法。
【請求項８】
利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有し、
前記携帯端末装置において、少なくとも人物を含む動画像を撮影する撮影ステップと、
前記携帯端末装置において、前記撮影ステップにより撮影された動画像を表示する表示ステップと、
前記携帯端末装置において、前記撮影ステップにより撮影された動画像から人物の顔画像を抽出する顔抽出ステップと、
前記携帯端末装置において、前記撮影手段により撮影された動画像内において、前記顔抽出手段により顔画像が抽出された人物を追跡する人物追跡ステップと、
前記携帯端末装置において、前記人物追跡ステップにより追跡される人物の顔画像を管理する顔画像管理ステップと、
前記携帯端末装置において、前記顔抽出ステップにより抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第１の送信ステップと、
前記ホスト装置において、前記第１の送信ステップにより送信された顔画像をそれに付加された識別子とともに受信する第１の受信ステップと、
前記ホスト装置において、前記第１の受信ステップにより受信された顔画像とあらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合ステップと、
前記ホスト装置において、前記照合ステップにより前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得ステップと、
前記ホスト装置において、前記固有情報取得ステップにより取得された固有情報をそれに前記第１の受信ステップにより受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第２の送信ステップと、
前記携帯端末装置において、前記第２の送信ステップにより送信された固有情報をそれに付加された識別子とともに受信する第２の受信ステップと、
前記携帯端末装置において、前記第２の受信ステップにより受信された固有情報を前記顔画像管理ステップの管理内容に基づき前記表示ステップにより表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御ステップと、
を具備したことを特徴とする情報表示方法。
【請求項９】
利用者が携帯し、上位となるホスト装置と通信可能な携帯端末装置であって、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
この顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する送信手段と、
前記ホスト装置から送信される、前記送信手段により送信された顔画像と対応する人物の固有情報を受信する受信手段と、
この受信手段により受信された固有情報を前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段と、
を具備したことを特徴とする携帯端末装置。
【請求項１０】
利用者が携帯し、上位となるホスト装置と通信可能な携帯端末装置であって、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
前記撮影手段により撮影された動画像内において、前記顔抽出手段により顔画像が抽出された人物を追跡する人物追跡手段と、
この人物追跡手段により追跡される人物の顔画像を管理する顔画像管理手段と、
前記顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する送信手段と、
前記ホスト装置から送信される、前記送信手段により送信された顔画像と対応する人物の固有情報を受信する受信手段と、
この受信手段により受信された固有情報を前記顔画像管理手段の管理内容に基づき前記表示手段により表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御手段と、
を具備したことを特徴とする携帯端末装置。
【請求項１１】
当該携帯端末装置は携帯電話機であることを特徴とする請求項９または請求項１０記載の携帯端末装置。
【請求項１】
あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
この顔抽出手段により抽出された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、
この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、
この固有情報取得手段により取得された固有情報を前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段と、
を具備したことを特徴とする情報表示システム。
【請求項２】
あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
前記撮影手段により撮影された動画像内において、前記顔抽出手段により顔画像が抽出された人物を追跡する人物追跡手段と、
この人物追跡手段により追跡される人物の顔画像を管理する顔画像管理手段と、
前記顔抽出手段により抽出された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、
この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、
この固有情報取得手段により取得された固有情報を前記顔画像管理手段の管理内容に基づき前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段と、
を具備したことを特徴とする情報表示システム。
【請求項３】
利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有して構成され、
前記携帯端末装置は、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
この顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第１の送信手段とを具備し、
前記ホスト装置は、
あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、
前記携帯端末装置の第１の送信手段により送信された顔画像をそれに付加された識別子とともに受信する第１の受信手段と、
この第１の受信手段により受信された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、
この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、
この固有情報取得手段により取得された固有情報をそれに前記第１の受信手段により受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第２の送信手段とを具備し、
前記携帯端末装置は、さらに、
前記ホスト装置の第２の送信手段により送信された固有情報をそれに付加された識別子とともに受信する第２の受信手段と、
この第２の受信手段により受信された固有情報を前記表示手段により表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備したことを特徴とする情報表示システム。
【請求項４】
利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有して構成され、
前記携帯端末装置は、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
前記撮影手段により撮影された動画像内において、前記顔抽出手段により顔画像が抽出された人物を追跡する人物追跡手段と、
この人物追跡手段により追跡される人物の顔画像を管理する顔画像管理手段と、
前記顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第１の送信手段とを具備し、
前記ホスト装置は、
あらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段と、
前記携帯端末装置の第１の送信手段により送信された顔画像をそれに付加された識別子とともに受信する第１の受信手段と、
この第１の受信手段により受信された顔画像と前記記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合手段と、
この照合手段により前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得手段と、
この固有情報取得手段により取得された固有情報をそれに前記第１の受信手段により受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第２の送信手段とを具備し、
前記携帯端末装置は、さらに、
前記ホスト装置の第２の送信手段により送信された固有情報をそれに付加された識別子とともに受信する第２の受信手段と、
この第２の受信手段により受信された固有情報を前記顔画像管理手段の管理内容に基づき前記表示手段により表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御手段とを具備したことを特徴とする情報表示システム。
【請求項５】
前記固有情報は対応する顔画像に対応する人物の名前に関する情報であることを特徴とする請求項１から請求項４のうちいずれか１つに記載の情報表示システム。
【請求項６】
前記携帯端末装置は携帯電話機であることを特徴とする請求項３または請求項４記載の情報表示システム。
【請求項７】
利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有し、
前記携帯端末装置において、少なくとも人物を含む動画像を撮影する撮影ステップと、
前記携帯端末装置において、前記撮影ステップにより撮影された動画像を表示する表示ステップと、
前記携帯端末装置において、前記撮影ステップにより撮影された動画像から人物の顔画像を抽出する顔抽出ステップと、
前記携帯端末装置において、前記顔抽出ステップにより抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第１の送信ステップと、
前記ホスト装置において、前記第１の送信ステップにより送信された顔画像をそれに付加された識別子とともに受信する第１の受信ステップと、
前記ホスト装置において、前記第１の受信ステップにより受信された顔画像とあらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合ステップと、
前記ホスト装置において、前記照合ステップにより前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得ステップと、
前記ホスト装置において、前記固有情報取得ステップにより取得された固有情報をそれに前記第１の受信ステップにより受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第２の送信ステップと、
前記携帯端末装置において、前記第２の送信ステップにより送信された固有情報をそれに付加された識別子とともに受信する第２の受信ステップと、
前記携帯端末装置において、前記第２の受信ステップにより受信された固有情報を前記表示ステップにより表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御ステップと、
を具備したことを特徴とする情報表示方法。
【請求項８】
利用者が携帯する携帯端末装置と、この携帯端末装置と通信可能なホスト装置とを有し、
前記携帯端末装置において、少なくとも人物を含む動画像を撮影する撮影ステップと、
前記携帯端末装置において、前記撮影ステップにより撮影された動画像を表示する表示ステップと、
前記携帯端末装置において、前記撮影ステップにより撮影された動画像から人物の顔画像を抽出する顔抽出ステップと、
前記携帯端末装置において、前記撮影手段により撮影された動画像内において、前記顔抽出手段により顔画像が抽出された人物を追跡する人物追跡ステップと、
前記携帯端末装置において、前記人物追跡ステップにより追跡される人物の顔画像を管理する顔画像管理ステップと、
前記携帯端末装置において、前記顔抽出ステップにより抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する第１の送信ステップと、
前記ホスト装置において、前記第１の送信ステップにより送信された顔画像をそれに付加された識別子とともに受信する第１の受信ステップと、
前記ホスト装置において、前記第１の受信ステップにより受信された顔画像とあらかじめ登録された人物から取得した顔画像および固有情報を対応させて記憶している記憶手段に記憶されている顔画像とを照合し、当該抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在するか否かを判定する照合ステップと、
前記ホスト装置において、前記照合ステップにより前記抽出された顔画像との間に所定の関係が成立する顔画像が前記記憶手段内に存在すると判定された場合、当該顔画像に対応する固有情報を前記記憶手段から取得する固有情報取得ステップと、
前記ホスト装置において、前記固有情報取得ステップにより取得された固有情報をそれに前記第１の受信ステップにより受信された識別子と実質的に同一の識別子を付加して前記携帯端末装置へ送信する第２の送信ステップと、
前記携帯端末装置において、前記第２の送信ステップにより送信された固有情報をそれに付加された識別子とともに受信する第２の受信ステップと、
前記携帯端末装置において、前記第２の受信ステップにより受信された固有情報を前記顔画像管理ステップの管理内容に基づき前記表示ステップにより表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御ステップと、
を具備したことを特徴とする情報表示方法。
【請求項９】
利用者が携帯し、上位となるホスト装置と通信可能な携帯端末装置であって、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
この顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する送信手段と、
前記ホスト装置から送信される、前記送信手段により送信された顔画像と対応する人物の固有情報を受信する受信手段と、
この受信手段により受信された固有情報を前記表示手段により表示されている画像内の対応する顔画像の近傍に表示するよう制御する固有情報表示制御手段と、
を具備したことを特徴とする携帯端末装置。
【請求項１０】
利用者が携帯し、上位となるホスト装置と通信可能な携帯端末装置であって、
少なくとも人物を含む動画像を撮影する撮影手段と、
この撮影手段により撮影された動画像を表示する表示手段と、
前記撮影手段により撮影された動画像から人物の顔画像を抽出する顔抽出手段と、
前記撮影手段により撮影された動画像内において、前記顔抽出手段により顔画像が抽出された人物を追跡する人物追跡手段と、
この人物追跡手段により追跡される人物の顔画像を管理する顔画像管理手段と、
前記顔抽出手段により抽出された顔画像をそれに識別子を付加して前記ホスト装置へ送信する送信手段と、
前記ホスト装置から送信される、前記送信手段により送信された顔画像と対応する人物の固有情報を受信する受信手段と、
この受信手段により受信された固有情報を前記顔画像管理手段の管理内容に基づき前記表示手段により表示されている画像内の対応する識別子の顔画像の近傍に表示するよう制御する固有情報表示制御手段と、
を具備したことを特徴とする携帯端末装置。
【請求項１１】
当該携帯端末装置は携帯電話機であることを特徴とする請求項９または請求項１０記載の携帯端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−２９３９１２（Ｐ２００６−２９３９１２Ａ）
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願番号】特願２００５−１１７１９０（Ｐ２００５−１１７１９０）
【出願日】平成１７年４月１４日（２００５．４．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願日】平成１７年４月１４日（２００５．４．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]