画像通信端末
【課題】 大掛かりな追従機構を用いることなく、利用者の位置にカメラ部側が追従し、利用者を良好な位置で撮影できる画像通信端末を提供する。
【解決手段】 カメラ部４で撮影された画像について、顔領域の位置及び大きさを抽出する顔抽出部７と、利用者に画像を表示する表示部３と、相手の情報処理装置に対し、画像についての双方向通信を行う通信部９と、カメラ部４で撮影された画像内において移動可能に設定される矩形の送信領域内の画像を、通信部９へ出力する送信データ処理部８とを備える。そして、カメラ部４で撮影された画像中において、送信領域と一体的に移動する有効領域が設定され、顔領域が有効領域を逸脱した場合に限り、顔領域の位置及び大きさに合わせて送信領域の位置を移動する。
【解決手段】 カメラ部４で撮影された画像について、顔領域の位置及び大きさを抽出する顔抽出部７と、利用者に画像を表示する表示部３と、相手の情報処理装置に対し、画像についての双方向通信を行う通信部９と、カメラ部４で撮影された画像内において移動可能に設定される矩形の送信領域内の画像を、通信部９へ出力する送信データ処理部８とを備える。そして、カメラ部４で撮影された画像中において、送信領域と一体的に移動する有効領域が設定され、顔領域が有効領域を逸脱した場合に限り、顔領域の位置及び大きさに合わせて送信領域の位置を移動する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像通信端末に関し、より特定的には、利用者が自分又は近くにいる他人の姿をカメラ部で撮影し、この撮影した画像を相手に送信しながら対話を行うための画像通信端末に関する。
【０００２】
【従来の技術】周知のように、相手に画像を送信しながら対話を行う画像通信端末としては、テレビ電話、テレビ会議システム、ビデオメール等、種々の形態のものがある。これらのいずれの形態であっても、利用者が自分又は近くにいる他人（以下、単に「利用者」という）の姿を相手に送信するためには、画像通信端末に内蔵又は外部接続されるカメラ部と被写体となる利用者とが、常に適切な位置関係になっていなければならない。
【０００３】この適切な位置関係を維持するためには、カメラ部に光軸を移動させる機構やズーム機構等を設け、カメラ部を利用者の動きに追従させる方法が考えられる。しかし、この方法では、追従動作に必要なカメラ部及び関連機構が大掛かりになって、画像通信端末の小型化及び低コスト化を図れない。特に、携帯性が重要であるモバイル端末や携帯（テレビ）電話等の画像通信端末に、このような機構を設けるのは現実的ではない。
【０００４】一方、画像通信端末から利用者へ、カメラ部に対する利用者の位置に関する情報を提供し、利用者が自らカメラ部に合わせるようにして、上記適切な位置関係を維持する方法も考えられる。
【０００５】具体的には、第１の手法として、ピクチャインピクチャ方式又は画面分割方式により、画面の一部を自分（利用者自身）の姿を映すために利用することが従来より行われている。しかしながら、この手法では、自分の姿を映すために画面のかなりの部分が占有され、結果的に相手の姿が小さくなって見辛くなるという問題がある。また、第２の手法として、自分の画像と相手の画像とを切り替えながら表示することも従来より行われている。しかしながら、この手法では、画面が度々切り替えられてしまうので、利用者は切り替えが気になって会話に集中し難いという問題がある。加えて、上記第１及び第２のいずれの手法によっても、通常の会話（自分と相手とが膝を交えて行う会話）環境から、あまりにもかけ離れた環境であり、利用者は不自然な感じを禁じ得ない。
【０００６】そこで、このような問題点に対応すべく、特開平８−２５１５６１号公報には、自分の姿を表示させず、かつ、カメラ部の追従機構を省略できる技術が開示されている。この公報の技術では、カメラ部で利用者自身を撮影し、利用者の位置を検出し、検出した位置が撮影範囲を逸脱したかどうかを判断する。そして、逸脱した場合のみ、次のいずれかの方法によってその旨を利用者へ通知する。
（１）相手の姿をほぼ画面いっぱいに表示しておき、逸脱した場合には相手の画像に変化を付けることで（例えば、相手の姿を変形させる等）、利用者へその旨を通知する。
（２）画面内に、相手の姿を表示する領域だけでなく文字表示領域を確保する。そして、逸脱した場合には文字表示領域に逸脱した旨のメッセージを表示することで、利用者へその旨を通知する。
【０００７】
【発明が解決しようとする課題】しかしながら、上記（１）及び（２）のいずれの方法にしても、利用者の位置が撮影範囲を逸脱しなければ、利用者へは何の通知もされない。また、利用者が常識的な使用をしている場合には、そう頻繁に撮影範囲を逸脱するものではない。従って、利用者は、ほとんどの場合（つまり逸脱していない時）、撮影範囲に対する自分の位置を確認することができない。
【０００８】さらに、上記（１）の方法では、逸脱した場合に、突然相手の姿が変化するので、利用者は驚いて会話を途切らせたりしてしまう。また、上記（２）の方法では、表示する文字（メッセージ）が潰れてしまわないようにするため、ある程度広い文字表示領域が必要となる。このため、文字表示領域に圧迫されて画像表示領域が小さくなり、相手の姿が小さく見辛くなり易い。加えて、上記（１）及び（２）のいずれの方法にしても、画面における利用者の大きさについては全く関知されておらず、カメラ部に対する利用者の遠近方向の適否が不明である。
【０００９】それ故、本発明の目的は、大掛かりな追従機構を用いることなく、利用者の位置にカメラ部側が追従し、利用者を良好な位置で撮影できる画像通信端末を提供することである。また、本発明のさらなる目的は、相手を見易く表示した自然な会話を確保しつつ、利用者が自分の写り（撮影位置）を常に確認できる画像通信端末を提供することである。
【００１０】
【課題を解決するための手段および発明の効果】第１の発明は、カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者からの入力を受け付ける入力部と、利用者を撮影するカメラ部と、カメラ部で撮影された画像から、利用者の顔の位置及び大きさ（顔領域）を抽出する顔抽出部と、利用者に画像を表示する表示部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部と、カメラ部で撮影された画像の領域よりも小さく、かつ、当該画像の領域内で移動可能に設定される矩形の送信領域の画像を、通信部へ出力する送信データ処理部とを備え、カメラ部で撮影された画像の領域内に、送信領域と一体的に移動する有効領域が設定され、送信データ処理部は、抽出された顔領域が有効領域を逸脱した場合に、当該顔領域の位置に合わせて送信領域の設定位置を移動させることを特徴とする。
【００１１】上記のように、第１の発明によれば、顔領域が有効領域を逸脱していないかを判定し、有効領域を逸脱している場合には、顔領域の位置に合わせて送信領域の位置を移動させる。これにより、顔領域の動きに送信領域が追従することとなり、利用者が写り具合を気にしなくても、おおよその位置にいるだけで、適切にフレーミングした自画像が相手へ送信されることになる。しかも、カメラ部の光軸移動部やズーム部のような大がかりな追従機構がいらず、画像通信端末の携帯性をそこなわない。また、顔領域が有効領域内にあれば、送信領域は移動しないので、相手側に送信される画像、特に利用者の背景画像が頻繁にぶれるようなことはなく、相手の酔いを防止できる。
【００１２】第２の発明は、第１の発明に従属する発明であって、有効領域は、送信領域よりも小さく、かつ、送信領域内に設定されることを特徴とする。
【００１３】上記のように、第２の発明によれば、顔領域は、送信領域を逸脱する前に必ず有効領域を逸脱するので、送信領域外に顔領域がはみ出して顔の一部が欠けるような事態を回避できる。
【００１４】第３の発明は、第１の発明に従属する発明であって、送信データ処理部は、抽出された顔領域が有効領域を逸脱した場合、当該顔領域が送信領域の中心に位置するように、送信領域を移動させることを特徴とする。
【００１５】第４の発明は、第１の発明に従属する発明であって、送信データ処理部は、抽出された顔領域が有効領域を逸脱した場合、当該顔領域が送信領域の中心より上方向に位置するように、送信領域を移動させることを特徴とする。
【００１６】第５の発明は、第４の発明に従属する発明であって、送信データ処理部は、抽出された顔領域が有効領域を逸脱した場合、当該顔領域が送信領域の中心又は中心より上方向に位置するように、入力部から入力される送信モード情報に応じて切り替えて、送信領域を移動させることを特徴とする。
【００１７】上記のように、第３の発明によれば、顔領域が送信領域の中心に位置するように移動させるので、顔アップの好ましいフレーミングを実現できる。また、第４の発明によれば、顔領域が送信領域の中心より上方向に位置するように移動させるので、バストアップの好ましいフレーミングを実現できる。さらに、第５の発明によれば、利用者の好みに応じて、上記顔アップ／バストアップのフレーミングを選択できる。
【００１８】第６の発明は、第４の発明に従属する発明であって、表示部は、入力部から入力される情報に応じて、送信領域内の画像と顔領域とをモニタ表示し、利用者は、モニタ表示を参照して、入力部への入力により送信領域の位置を縦横方向に調節可能なことを特徴とする。
【００１９】上記のように、第６の発明によれば、利用者は、送信領域内の画像と顔領域とをモニタし、送信領域の位置を適宜調節することによって、任意のフレーミングで自画像を相手に送信できる。
【００２０】第７の発明は、カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者からの入力を受け付ける入力部と、利用者を撮影するカメラ部と、カメラ部で撮影された画像から、利用者の顔の位置及び大きさ（顔領域）を抽出する顔抽出部と、利用者に画像を表示する表示部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部と、カメラ部で撮影された画像の領域よりも小さく、かつ、当該画像の領域内で移動可能に設定される矩形の送信領域の画像を、通信部へ出力する送信データ処理部とを備え、カメラ部で撮影された画像の領域内に、送信領域と一体的に移動する有効領域が設定され、送信データ処理部は、抽出された顔領域が有効領域を逸脱した場合に、当該顔領域の位置に合わせて送信領域の設定位置を移動させ、かつ、抽出された顔領域の画像輝度に基づいて、カメラ部で撮影された画像内にある顔の視認性が向上するように、送信領域の画像輝度を補正して通信部へ出力することを特徴とする。
【００２１】第８の発明は、第７の発明に従属する発明であって、送信データ処理部は、送信領域の画像輝度に加え、色調も補正して通信部へ出力することを特徴とする。
【００２２】第９の発明は、カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者からの入力を受け付ける入力部と、利用者を撮影するカメラ部と、カメラ部で撮影された画像から、利用者の顔の位置及び大きさ（顔領域）を抽出する顔抽出部と、利用者に画像を表示する表示部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部と、カメラ部で撮影された画像の領域よりも小さく、かつ、当該画像の領域内で移動可能に設定される矩形の送信領域の画像を、通信部へ出力する送信データ処理部とを備え、カメラ部で撮影された画像の領域内に、送信領域と一体的に移動する有効領域が設定され、送信データ処理部は、抽出された顔領域が有効領域を逸脱した場合に、当該顔領域の位置に合わせて送信領域の設定位置を移動させ、かつ、抽出された顔領域の画像輝度に基づいて、カメラ部で撮影された画像内にある顔の視認性が向上するように、カメラ部の露出レベルの値を設定することを特徴とする。
【００２３】上記のように、第７〜第９の発明によれば、逆光のような場合でも、利用者の顔が常に見えるような画像を相手側へ送信することが可能となる。これにより、屋外においても周りの照明環境を気にすることなく画像通信端末を用いて相手と対話することが可能となる。
【００２４】第１０の発明は、カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者を撮影するカメラ部と、カメラ部で撮影された画像から、利用者の顔の位置を抽出する顔抽出部と、利用者に相手から受信した画像を表示する表示部と、抽出された顔の位置に基づいて、カメラ部で撮影された画像中における利用者の顔の位置を、利用者に通知する通知制御部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部とを備える。
【００２５】上記のように、第１０の発明によれば、利用者は、撮影画像中の自分の位置を通知されるので、自分の姿が画面を逸脱していない場合であっても、自分の位置を確認しながら安心して相手との会話を進めることができる。万一、利用者が画面から逸脱しても、相手の姿が突如変化するようなことはないので、利用者は、落ち着いて通知を参照しながら、正しい位置へ復帰し、会話を継続できる。しかも、カメラ部に利用者への追従機構を設ける必要はないので、画像通信端末を軽量化かつ低消費電力化させることができる。このため、携帯（テレビ）電話やモバイル端末等の携帯性が重視される機器にも、好適に用いることができる。
【００２６】第１１の発明は、第１０の発明に従属する発明であって、顔抽出部は、利用者の顔の位置と共に顔の大きさも抽出し、通知制御部は、カメラ部で撮影された画像中における利用者の顔の位置及び大きさを、利用者に通知することを特徴とする。
【００２７】上記のように、第１１の発明によれば、顔領域の大きさも抽出して通知することにより、利用者は、顔領域の位置及び大きさの両方の情報を得ることができる。従って、利用者は、これらの情報を参照して、画面上の位置と遠近方向の位置とを、適正に保持することができる。また、利用者は、自画像を得なくとも、自分が画面のどの位置にどの位の大きさで写っているのかを確認できる。
【００２８】第１２の発明は、第１０の発明に従属する発明であって、通知制御部は、抽出された顔の位置のみ又は位置と大きさとを示す目印を、表示部に表示させることを特徴とする。
【００２９】上記のように、第１２の発明によれば、利用者は、表示部に表示される相手の姿を見ながら、通常の会話と同じように集中して会話を行える。また、利用者は、簡潔な目印を参照して、自分の位置を確認できる。
【００３０】第１３の発明は、第１２の発明に従属する発明であって、目印は、相手から受信した画像上に表示されることを特徴とする。
【００３１】上記のように、第１３の発明によれば、相手の姿の上に目印が現れるので、目印のためだけに広い画面の領域を確保する必要がなく、相手の姿をより大きくかつ見易く表示できる。しかも、利用者は、目印を見るために視線を変える必要がなく、長時間会話しても疲労が少ない。
【００３２】第１４の発明は、第１２の発明に従属する発明であって、目印は、相手から受信した画像外に表示されることを特徴とする。
【００３３】上記のように、第１４の発明によれば、目印を相手の画像から外すことにより、相手の画像に目印が干渉せず、より鮮明に相手の姿を見ることができる。
【００３４】第１５の発明は、第１２の発明に従属する発明であって、通知制御部は、抽出された顔の位置を、表示部とは別個に備える位置通知部を介して通知することを特徴とする。
【００３５】上記のように、第１５の発明によれば、位置通知部を表示部とは別個に備えることにより、表示部の画面全部を相手の姿の表示に割り当てることができるので、相手の姿をより広くかつ見易く表示できる。
【００３６】第１６の発明は、第１０の発明に従属する発明であって、通知制御部によって行われる利用者への通知方法を、利用者からの指示に従って切り替え可能とすることを特徴とする。
【００３７】上記のように、第１６の発明によれば、利用者は、好みの通知方法を選択することができる。
【００３８】第１７の発明は、第１〜第１６の発明に従属する発明であって、顔抽出部は、カメラ部で撮影された画像からエッジ部（人物の外郭や顔の輪郭等に相当する画素）を抽出して、当該エッジ部だけの画像（エッジ画像）を生成するエッジ抽出部と、予め定めた形状を、相似で大きさを異ならせた種々のサイズによって、中心点で同心状に複数設けたテンプレートを記憶するテンプレート記憶部と、テンプレートを構成する各サイズの形状毎に、エッジ画像上の座標位置と投票数とを対応付けてそれぞれ記憶する投票結果記憶部と、エッジ部の各画素位置にテンプレートの中心点を順次移動させ、移動させた当該画素位置毎に、各サイズの形状を形成する全画素の位置に対応する各座標位置について、投票結果記憶部に記憶されている投票数をそれぞれ増加又は減少させる投票部と、投票結果記憶部に記憶されている各投票数に基づいて、対象画像に含まれる顔の位置及び大きさを求める解析部とを備える。
【００３９】上記のように、第１７の発明によれば、処理負担が軽い投票処理（基本的には加算のみ）とその評価だけで、顔の位置を高速に検出できる。しかも、相似で同心状の複数の形状を備えたテンプレートを用いているから、顔を含むであろうエッジ部が、これらの形状のうち、いずれの大きさに近いかという実質的な近似を行っていることになり、顔の大きさも高速に抽出できる。このように、処理負担を大幅に軽減できるので、現状のパーソナルコンピュータレベルの処理能力でも、ほぼ実時間で顔を抽出できる。また、対象画像のうち、どの部分に顔領域があるかという点や、顔領域の個数などは、抽出前に不明であって差し支えなく、広い範囲の対象画像について、一様に顔を検出でき、極めて汎用性が高い。
【００４０】第１８の発明は、第１７の発明に従属する発明であって、予め定めた形状は、円であることを特徴とする。
【００４１】上記のように、第１８の発明によれば、形状群は、円であるため、テンプレートの中心点から、形状の全ての画素までの距離が常に一定になり、投票結果の精度を高く保持できる。
【００４２】第１９の発明は、第１〜第１６の発明に従属する発明であって、顔抽出部は、所定のテンプレート画像を入力し、当該画像のエッジ法線方向ベクトルを求め、当該エッジ法線方向ベクトルから評価ベクトルを生成し、当該評価ベクトルを直交変換するテンプレート画像処理部と、カメラ部で撮影された画像を入力し、当該画像のエッジ法線方向ベクトルを求め、当該エッジ法線方向ベクトルから評価ベクトルを生成し、当該評価ベクトルを直交変換する入力画像処理部と、テンプレート画像及び撮影された画像のそれぞれについて生成された直交変換後の各評価ベクトルについて、対応スペクトルデータを積和計算する積和部と、積和計算の結果を逆直交変換して類似値のマップを生成する逆直交変換部とを備え、評価ベクトルは、該当する画像のエッジ法線方向ベクトルを偶数倍角変換した成分を含み、類似値の算出式、直交変換及び逆直交変換は、いずれも線形性を有するものであることを特徴とする。
【００４３】上記のように、第１９の発明によれば、背景部分の輝度ばらつきにより、テンプレート画像のエッジ法線方向ベクトルと、カメラ部で撮影された画像（入力画像）のエッジ法線方向ベクトルとのなす角θの内積（ｃｏｓθ）の正負が反転する場合でも、類似値に影響が無く、正当にマッチングを評価できる。
【００４４】第２０の発明は、第１９の発明に従属する発明であって、顔抽出部は、評価ベクトルの表現において、エッジ法線方向ベクトルを極座標表現した場合の角度に基づいて計算した値を用いることを特徴とする。
【００４５】第２１の発明は、第１〜第１６の発明に従属する発明であって、顔抽出部は、カメラ部で撮影された画像から顔として抽出された位置及び大きさが、真に顔であるか否かを判定する顔・非顔判定部をさらに備え、顔と判定した場合にのみ抽出結果を出力することを特徴とする。
【００４６】第２２の発明は、第１７の発明に従属する発明であって、顔抽出部は、投票結果記憶部に記憶されている内容に基づいて、カメラ部で撮影された画像から顔として抽出された位置及び大きさが、真に顔であるか否かを判定する顔・非顔判定部をさらに備え、顔と判定した場合にのみ抽出結果を出力することを特徴とする。
【００４７】第２３の発明は、第１９の発明に従属する発明であって、顔抽出部は、逆直交変換部で生成された類似値に基づいて、カメラ部で撮影された画像から顔として抽出された位置及び大きさが、真に顔であるか否かを判定する顔・非顔判定部をさらに備え、顔と判定した場合にのみ抽出結果を出力することを特徴とする。
【００４８】上記のように、第２１〜第２３の発明によれば、実際の顔が顔領域の第１候補以外にある場合でも、安定した顔領域の抽出が可能になる。また、画像中に顔がない場合でも顔がないと判定することができるので、顔の位置を移動して表示する必要がない場合を自動的に検出することが可能になる。
【００４９】第２４の発明は、第２１の発明に従属する発明であって、顔・非顔判定部は、カメラ部で撮影された画像から顔として抽出された領域から得られる画像特徴を用いて、サポートベクトル関数の判定結果に基づいて顔・非顔の判定を行うことを特徴とする。
【００５０】第２５の発明は、第２４の発明に従属する発明であって、顔・非顔判定部は、カメラ部で撮影された画像から顔として抽出された領域から得られるエッジ法線方向ベクトルを画像特徴とすることを特徴とする。
【００５１】第２６の発明は、第２４の発明に従属する発明であって、顔・非顔判定部は、カメラ部で撮影された画像から顔として抽出された領域から得られるエッジ法線のヒストグラムを画像特徴とすることを特徴とする。
【００５２】
【発明の実施の形態】以下、図面を参照しながら、本発明の各実施形態を説明する。
（第１の実施形態）図１は、本発明の第１の実施形態に係る画像通信端末の構成を示すブロック図である。図１において、第１の実施形態に係る画像通信端末は、入力部２と、表示部３と、カメラ部４と、表示制御部５と、自画像メモリ６と、顔抽出部７と、送信データ処理部８と、通信部９と、受信データ処理部１０と、相手画像メモリ１１とを備える。まず、第１の実施形態に係る画像通信端末の各構成の概要を説明する。
【００５３】図１に示すように、本実施形態の画像通信端末では、入力部２、表示部３及びカメラ部４が、利用者１に臨んでいる。入力部２は、キーボード（テンキー等を含む）やマウス等で構成され、利用者１が送信モード及びその他必要な情報を入力するために利用される。表示部３は、ＬＣＤ等で構成され、画面上で相手の画像や表示制御部５の指示に従った目印等を、利用者１に向けて表示する。目印については後で詳述するが、利用者１が画面中における自分の顔の位置や大きさを確認できる指標である。カメラ部４は、レンズ等の光学系及びＣＣＤ等の電気系で構成され、利用者１を撮影するために用いられる。このカメラ部４で撮影された画像（以下、対象画像という）は、フレーム毎に自画像メモリ６に格納される。表示制御部５は、表示部３の画面表示（主として、受信した相手画像の表示）を制御する。また、表示制御部５は、入力部２から入力される情報に応じて、顔抽出部７で抽出された顔領域に基づいた目印を、表示部３の画面上に表示させる。
【００５４】顔抽出部７は、自画像メモリ６に格納された対象画像に対して、存在する顔の位置及び大きさを調べ、これらの情報を顔領域として表示制御部５及び送信データ処理部８へ出力する。なお、この顔抽出部７については、本発明に適用可能な手法を後で詳細に説明する。送信データ処理部８は、顔抽出部７で抽出された顔領域の位置に合わせて送信領域を設定する。そして、送信データ処理部８は、入力部２から指示された送信モードに従って、自画像メモリ６に格納された対象画像の内、送信領域内の画像データを通信部９へ送出する。通信部９は、通信経路を介して、相手の情報処理装置（画像通信端末を含む）と、少なくとも画像データの通信を行う。ここでの通信モードは任意であり、例えば、内線電話のように基地局等を介さない子機間通信でもよいし、テレビ電話のような基地局等を介する同期型通信又は非同期型通信でもよい。受信データ処理部１０は、通信部９を介して受信した相手の画像データを処理して、フレーム毎に相手画像メモリ１１へ格納する。
【００５５】なお、本実施形態では、通信部９が双方向通信を行う場合を一例に挙げて説明するが、利用者１から相手に画像データを単方向通信するビデオメール等にも本発明を適用することができる。この場合、相手の情報処理装置は、送信される画像データを受信して画面表示させる構成のみを持つものであってもよい。
【００５６】次に、図２〜図６を用いて、送信データ処理部８が行う顔領域の位置に合わせた追従処理について説明する。まず、カメラ部４による撮影領域３０と、通信部９から送信される画像の送信領域３１との関係は、一般的に図３のようになる。送信領域３１は、撮影領域３０よりも小さな矩形領域である。カメラ部４は、送信領域３１より広い撮影領域３０で被写体（利用者１）を撮影するが、画像通信端末からは送信領域３１内の画像だけが相手に送信される。図３の例では、撮影領域３０は、ｘ方向長さＡ、ｙ方向長さＢであり、送信領域３１は、ｘ方向長さＬ、ｙ方向長さＭである。また、Ｌ＜Ａ及びＭ＜Ｂであり、各々の長さＡ、Ｂ、Ｌ、Ｍは、固定的である。図３の例では、送信領域３１の左上点（ｘ１，ｙ１）を基準点としている。この基準点は、撮影領域３０内を移動可能であり、基準点が定まることで、送信領域３１の位置が一意に定まるようにしている。なお、送信領域３１の左上点以外の点を基準としてもよい。
【００５７】一方、本実施形態では、顔抽出部７で抽出された顔領域の位置及び大きさを、円形の目印Ｒで表現する。この目印Ｒの中心が顔領域の中心であり、目印Ｒの直径が顔領域の大きさに相当する。なお、目印Ｒは、円形以外の形状であっても構わない。
【００５８】図３の状態では、目印Ｒで示される顔領域が送信領域３１の右側へ逸脱している。従って、目印Ｒに基づいて図中矢印で示すように、送信領域３１を右側へ移動させれば、好ましいフレーミングになる。そこで、本実施形態では、目印Ｒが内部に含まれるように送信領域３１を移動させる。図４は、送信領域３１を移動させた後の状態（左上点（ｘ２，ｙ２））を示している。ここで、本実施形態では、図４に示しているように、送信領域３１の内側にさらに有効領域３２を設定し、有効領域３２と送信領域３１とが一体的に移動するようにしている。そして、目印Ｒが送信領域３１ではなく有効領域３２を逸脱したかどうかをチェックし、逸脱した場合には、図３から図４のように送信領域３１及び有効領域３２を移動させることとした。
【００５９】ここで、有効領域３２を狭くすると、目印Ｒが有効領域３２を逸脱する確率が上がり、相手の酔いを招来しやくすくなる。従って、図４に示しているように、有効領域３２を広めにとって、送信領域３１の移動を抑えることが望ましい。このようにしても、顔領域は見易い位置にある。
【００６０】加えて、本実施形態では、送信領域３１の移動直後の目印Ｒの位置を、送信モード（バストアップモード又はバストアップモード）によって切り替えられるようにしている。図４は、目印Ｒが送信領域３１に対してｘ方向中心かつｙ方向中心よりやや上方に位置する、バストアップモードによる画像表示手法の例である。なお、顔アップモードとは、目印Ｒが送信領域３１に対してｘ方向中心かつｙ方向中心に位置する画像表示手法である。さらには、本実施形態では、図５に示すように、これらのモードから目印Ｒを好みの方向にオフセットさせることを可能とする。これによれば、例えば、利用者１が自分と共に持参している物を一緒に相手に見せたいと考えるような場合等、種々の要求に対応できるようになる。
【００６１】次に、図２を参照して、送信データ処理部８が行う追従処理の各プロセスを説明する。まず、利用者１が、入力部２から送信モード（バストアップモード／顔アップモード）を入力する（ステップＳ２０１）。次に、カメラ部４によって利用者１が撮影され、対象画像として自画像メモリ６に格納される（ステップＳ２０２）。この撮影の時には、利用者１は、広い撮影領域３０内に顔が写る位置に居さえすれば十分である。次に、顔抽出部７が、対象画像内の顔領域（顔の位置及び大きさ）を抽出し、抽出した顔領域を送信データ処理部８へ出力する（ステップＳ２０３）。
【００６２】顔領域が抽出されると、送信データ処理部８は、送信モードに従って顔領域に送信領域３１を合わせる（ステップＳ２０４）。具体的には、図４に示すように、顔領域が送信領域３１内に含まれるように送信領域３１の左上点が決定される。次に、送信領域３１内に、有効領域３２が設定され（ステップＳ２０５）、図４の送信領域３１内の画像が表示部３によって利用者１へモニタ表示される（ステップＳ２０６）。なお、このステップＳ２０６では、利用者１自身の画像表示を省略し、目印Ｒのみを表示してもよい。次に、利用者１が、入力部２を用いてモニタ表示されたフレーミングでよいか（送信領域３１をロックするか）どうかを入力する（ステップＳ２０７）。利用者１が、送信領域３１のオフセットを希望する場合には、入力部２は、移動情報の入力を受け付けて、送信領域３１の位置を調節する（ステップＳ２１５）。その後、処理がステップＳ２０５へ戻り、再度利用者１の確認を仰ぐ。
【００６３】上記ステップＳ２０７でフレーミングが完了すると、相手との画像通信が開始される（ステップＳ２０８）。なお、適当な割り込み処理部を設けて、通信途中でもステップＳ２０１〜Ｓ２０７の処理を行えるようにすることもできる。通信が開始されると、通信部９及び受信データ処理部１０を介して、相手画像メモリ１１に格納された相手の画像が、表示部３の画面上に表示される（ステップＳ２０９）。ここで再び、カメラ部４が利用者１を撮影し（ステップＳ２１０）、顔抽出部７が顔領域を抽出し（ステップＳ２１１）、送信データ処理部８が顔領域が有効領域３２を逸脱したかどうかチェックする（ステップＳ２１２）。
【００６４】ここで、図６に示すように逸脱していれば、送信データ処理部８は、上記ステップＳ２０４と同様に送信モードに従って送信領域３１の左上点を移動させた後（ステップＳ２１３）、顔抽出部７において再び抽出された顔領域が有効領域３２を逸脱したかどうか再チェックする（ステップＳ２１１，Ｓ２１２）。一方、逸脱していなければ、送信データ処理部８は、送信領域３１を移動させることなく通信を継続させる。なお、利用者が自分の写り具合を確認しながら安心して通信したい場合には、例えばピクチャインピクチャ方式を用いて、相手の画像と共に自分の画像が画面内に表示されるようにしてもよい。そして、ステップＳ２０９〜Ｓ２１３の処理が、通信終了まで繰り返される（ステップＳ２１４）。
【００６５】以上のように、本発明の第１の実施形態に係る画像通信端末によれば、大掛かりな追従機構を用いることなく、画像通信端末の携帯性を損なわずに、実質的に利用者の動きに追従した撮影及び画像通信を行うことができる。すなわち、利用者は、写り具合を気にしなくとも好ましいフレーミングで撮影され、自画像が相手に送信される。また、顔領域が有効領域内にあれば、送信領域は移動しないので、相手側に送信される画像、特に利用者側の背景画像が、頻繁にぶれるようなことがなくなり相手の酔いを防止できる。
【００６６】ところで、周知のように、カメラ部４に用いるカメラによっては、自動露出補正の機能を有するものがある。自動露出補正とは、明るさが最適となるように自動的に画像の輝度を補正する機能であり、一般に画像全体又は数点の平均輝度に基づいて画像内の各画素の輝度を変更することで行われる。しかしながら、逆光等のように対象画像全体の平均輝度に比べ顔領域の平均輝度が低い場合には、利用者１の顔が真っ黒になってしまうという問題が残る。そこで、このような場合の対策として、送信データ処理部８では、顔抽出部７で抽出された顔領域に基づいて、カメラ部４が撮影した対象画像の明るさを顔の視認性が向上するように輝度を補正した後、通信部９へ送信するようにすればよい。
【００６７】具体的には、送信データ処理部８が、顔領域内部の平均輝度の理想値（理想平均輝度ａ）を予め記憶している。そして、送信データ処理部８は、顔抽出部７で抽出された顔領域内部の平均輝度Ｉを求め、カメラ部４で撮影された対象画像の輝度Ｙ１を新たな輝度Ｙ２に変更するため、対象画像の各画素に対して、Ｙ２＝Ｙ１×（ａ／Ｉ）を施す。これにより、顔領域内部が理想平均輝度ａとなるように補正することができる。また、この理想平均輝度ａを用いて、輝度だけでなく色相についても同様に変更することも考えられる。なお、これ以外に、送信データ処理部８が、顔領域内部が平均輝度Ｉである場合に顔領域が理想平均輝度ａとなる、設定すべきカメラ部４の露出レベルを持っている場合もあり得る。この場合には、送信データ処理部８が、顔領域内部の平均輝度Ｉに対する露出レベルをカメラ部４へ通知することにより、顔領域の明るさが理想値になるように補正することが可能となる。
【００６８】このようにすれば、逆光のような場合でも、利用者１の顔が常に見えるような画像を相手側へ送信することが可能となる。これにより、屋外においても周りの照明環境を気にすることなく画像通信端末を用いて相手と対話することが可能となる。
【００６９】（第２の実施形態）上記第１の実施形態では、簡単な追従機構を用い、画像通信端末側が利用者の動きに自動的に合わせることによって、利用者をフレーム内に捉えた適切な画像を相手側に送信できる手法を説明した。次に、この第２の実施形態では、追従機構を用いることなく、利用者側が画像通信端末に合わせて動けるような表示を行うことにより、利用者をフレーム内に捉えた適切な画像を相手側に送信できる手法を説明する。
【００７０】図７は、本発明の第２の実施形態に係る画像通信端末の構成を示すブロック図である。図７において、第２の実施形態に係る画像通信端末は、入力部２２と、表示部３と、カメラ部４と、表示制御部２５と、自画像メモリ６と、顔抽出部７と、送信データ処理部８と、通信部９と、受信データ処理部１０と、相手画像メモリ１１とを備える。まず、第２の実施形態に係る画像通信端末の各構成の概要を説明する。
【００７１】図７に示すように、本実施形態の画像通信端末では、入力部２２、表示部３及びカメラ部４が、利用者１に臨んでいる。入力部２２は、キーボード（テンキー等を含む）やマウス等で構成され、利用者１が通知モード、送信モード及びその他必要な情報を入力するために利用される。本実施形態では、入力部２２に点灯（又は点滅）が可能なテンキーが具備されている。表示部３は、ＬＣＤ等で構成され、画面上で相手の画像や表示制御部２５の指示に従った目印等を、利用者１に向けて表示する。目印については後で詳述するが、利用者１が画面中における自分の顔の位置や大きさを確認できる指標である。なお、入力部２２及び表示部３によって、相手側への送信画像における利用者１の顔の位置及び大きさを、利用者１へ通知する通知部１２が構成される。カメラ部４は、レンズ等の光学系及びＣＣＤ等の電気系で構成され、利用者１を撮影するために用いられる。このカメラ部４で撮影された画像（対象画像）は、フレーム毎に自画像メモリ６に格納される。表示制御部２５は、表示部３の画面表示（主として、受信した相手画像の表示）を制御する。また、表示制御部２５は、入力部２２から入力される通知モードに応じ、顔抽出部７で抽出された顔領域に基づいて、目印を表示部３の画面上に表示させたり、入力部２２のテンキーを点灯させたりする。
【００７２】顔抽出部７は、自画像メモリ６に格納された対象画像に対して、存在する顔の位置及び大きさを調べ、これらの情報を顔領域として表示制御部２５及び送信データ処理部８へ出力する。なお、この顔抽出部７については、本発明に適用可能な手法を後で詳細に説明する。送信データ処理部８は、入力部２２から指示された送信モードに従って、自画像メモリ６に格納された対象画像を、そのまま又は後述する加工を施して通信部９へ送出する。通信部９は、通信経路を介して、相手の情報処理装置（画像通信端末を含む）と、少なくとも画像データの通信を行う。ここでの通信モードは任意であり、例えば、内線電話のように基地局等を介さない子機間通信でもよいし、テレビ電話のような基地局等を介する同期型通信又は非同期型通信でもよい。受信データ処理部１０は、通信部９を介して受信した相手の画像データを処理して、フレーム毎に相手画像メモリ１１へ格納する。
【００７３】次に、図８〜図１０を参照して、表示制御部２５が表示部３の画面上に表示させる目印の一例を説明する。なお、これらの例は、適宜組み合わせて用いることができる。まず、図８（ａ）〜（ｄ）は、利用者１の顔の位置（ここでは、顔抽出部７で抽出された顔領域の中心）だけを、表示部３の画面上に目印Ｒで表示させる例である。図中矩形で示した領域が表示部３の画面であり、ここに相手の画像が表示される。図８（ａ）〜（ｃ）では、目印Ｒが相手の画像内に重畳させて表示される。図８（ｄ）では、目印Ｒが相手の画像外に表示される。これらの目印Ｒの表示は、相手の画像のフレームに同期して更新してもよいし、非同期で更新してもよい。図８（ａ）は、目印Ｒとして十字線を用い、線の交点が利用者１の顔の位置を示すようにしたものである。図８（ｂ）は、目印Ｒとして矢印を用い、双方の矢印で特定される点が利用者１の顔の位置を示すようにしたものである。図８（ｃ）は、目印Ｒとして十字又は×印の図形を用い、図形の位置が顔の位置を示すようにしたものである。図８（ｄ）は、目印Ｒとして相手の画像の枠外に表示される縦横ルーラを用い、縦ルーラ上に付された印と横ルーラ上に付された印とで特定される点が利用者１の顔の位置を示すようにしたものである。
【００７４】次に、図９（ａ）〜（ｃ）は、利用者１の顔の位置及び大きさ（顔抽出部７で抽出された顔領域全体）を、表示部３の画面上に目印Ｒで表示させる例である。図９（ａ）は、目印Ｒとして縦横２本ずつの平行線を用い、この平行線で囲まれた矩形領域が利用者１の顔の位置及び大きさを示すようにしたものである。図９（ｂ）は、目印Ｒとして相手の画像の枠外に表示される縦横ルーラを用い、縦ルーラ上に付された幅付き印と横ルーラ上に付された幅付き印とで特定される領域が利用者１の顔の位置及び大きさを示すようにしたものである。図９（ｃ）では、目印Ｒとして顔領域に近似する円（又は楕円）を用い、円領域が利用者１の顔の位置及び大きさを示すようにしたものである。
【００７５】なお、これらの目印Ｒは、相手の画像に依存せずに表示させてもよいし、依存して表示させてもよい。前者としては、例えば、相手の画像にかかわらず所定の色（黒一色等）で目印Ｒを表示させることである。後者としては、例えば、表示させる目印Ｒが相手の画像上でわかり難くなる場合に、目印Ｒを表示させる画素の輝度を変化させたり、そのＲＧＢ値を変化（反転）させることである。いずれにしても、これらの目印Ｒは、相手の画像の邪魔にならぬように表示することが望ましい。
【００７６】さらに、図１０は、利用者１の顔のおおよその位置を、表示部３ではなく入力部２２で表示させる例である。図１０に示すように、目印Ｒとして点灯が可能なテンキーを用い、このテンキーのいずれかを点灯させることで顔の位置を利用者１へ通知することができる。図１０では、「３」のキーを点灯させているので、顔の位置が画面の「右上」にあることを通知できる。同様に、「１」のキーなら画面の「左上」、「５」のキーなら画面の「真中」、「９」のキーなら画面の「右下」というように、概略の位置表示を行える。なお、このような概略位置の通知であっても、十分実用に値する。
【００７７】なお、本実施形態では、入力部２２から表示制御部２５へ与えられる通知モードによって、図８〜図１０のいずれの方法で顔の位置を通知させるかを切り替えることが可能なようにしている。さらに、これらの通知は、常時行ってもよいし、利用者１が入力部２２で通知を指示した時のみ行ってもよい。また、概略位置の通知を行う方法としては、図１０に示す入力部２２のテンキーの点灯以外にも、音や光によることもできる。例えば、音の場合には、スピーカから発するインターバルや周波数を顔の位置に応じて変化させたり、光の場合には、点灯させる明るさや点滅のインターバルを顔の位置に応じて変化させること等が考えられる。
【００７８】次に、図１１を参照して、送信データ処理部８が通信部９を介して送信する利用者１の画像例について説明する。本実施形態では、相手側へ送信される画像が、入力部２２から送信データ処理部８へ与えられる送信モードによって、選択できるようになっている。ここで、利用者１側（自分側）では、相手の画像の上に、図１１（ａ）のような目印Ｒ（図９（ａ）〜（ｃ）の組み合わせ）が表示されているものとする。このとき、送信データ処理部８は、送信モードによって、種々の形態で自画像を相手に送信することができる。例えば、送信モードが「通常」であれば、図１１（ｂ）のように、送信データ処理部８は、カメラ部４の取得画像をそのまま送信する。また、送信モードが「目印付き」であれば、図１１（ｃ）に示すように、送信データ処理部８は、顔抽出部７で抽出された顔領域を参照して、取得画像に目印Ｒを合成した自画像を作成し、相手に送信する。さらに、送信モードが「顔のみ」であれば、図１１（ｄ）に示すように、送信データ処理部８は、取得画像から顔抽出部７で抽出された顔領域のみを切り取った自画像を、相手に送信する。
【００７９】送信モードに基づくこれらの画像処理は、周知技術によって簡単に実現することができるので、その詳しい説明は省略する。ここで、図１１（ｃ）のように「目印付き」で自画像を送信すれば、例えば自分がどこに居るのかわかり難い画像（暗闇の中に居る画像）を送信する場合であっても、相手に自分の位置を正確に把握させることが可能となる。また、図１１（ｄ）のように、「顔のみ」で自画像を送信すれば、背景が写らないので相手に見られたくない部分を隠すことができ、プライバシーを保護できる。なお、このように背景を隠しても、顔の表情等は相手に伝わるので、会話に支障はない。なお、上記説明した送信モードは、互いにユニークであれば、他の任意の区別法によることも可能である。
【００８０】以上のように、本発明の第２の実施形態に係る画像通信端末によれば、抽出した顔領域に基づく目印を用いて、利用者の画面上の位置関係を簡潔かつ適切に表現することができる。従って、利用者は、自分の顔の位置が画面を逸脱した場合はもとより、自分の顔の位置が画面を逸脱していない場合であっても、自分の顔の位置を確認しながら、安心して相手との会話を進めることができる。また、上記第１の実施形態に比べ追従機構を省略しているので、画像通信端末の携帯性を良好にさせることができる。
【００８１】（顔抽出部７の詳細な実施例）次に、上述した本発明の第１及び第２の実施形態に係る画像通信端末に適用できる顔抽出部７の具体的な実施例を、３通り説明する。なお、顔抽出部７には、以下に説明する３つの手法の他に、色情報に基づくもの、目や口等の顔の部分に着目するもの、テンプレートマッチングによるもの等、周知のさまざまな手法を適用させることが可能である。
【００８２】＜実施例１＞図１２は、実施例１の顔抽出部７の構成を示すブロック図である。図１２において、顔抽出部７は、エッジ抽出部５１と、テンプレート記憶部５２と、投票結果記憶部５３と、投票部５４と、解析部５５とを備える。
【００８３】エッジ抽出部５１は、カメラ部４が撮影した対象画像からエッジ部を抽出し、エッジ部だけの画像（以下、エッジ画像という）を生成する。ここで、エッジ部とは、人物の外郭や顔の輪郭等に相当する部分（画素）であって、対象画像内の高周波成分となる部分である。このエッジ抽出部５１には、対象画像から高周波成分を取り出すＳｏｂｅｌフィルタ等を用いるのが好ましい。
【００８４】テンプレート記憶部５２には、予め定めた形状を、相似で大きさを異ならせた種々のサイズによって、中心点で同心状に複数設けたテンプレートのデータが記憶されている。このテンプレートの形状には、円、楕円、正多角形、多角形等を用いることができるが、中心点から形状線（形状を形成する各画素）までの距離が常に一定である円を用いることが最も好ましい。これにより、後述する投票結果の精度を高くさせることができる。以下、この実施例１では、図１３に示すように、中心点がＰで半径が異なる同心円を複数設けたテンプレートを用いた場合を説明する。ここで、テンプレートを構成する複数の円ｔ１〜ｔｎ（ｎは、任意の整数）は、図１３に示すテンプレートのように、一定間隔で半径が変化する構成であってもよいし、不定間隔で半径が変化する構成であってもよい。また、テンプレートを構成する複数の円ｔ１〜ｔｎは、全ての線幅が１ドット（対象画像の１画素に相当）で構成されてもよいし、一部又は全部の線幅が２ドット以上（すなわち、円環形状）で構成されてもよい。なお、以下の説明では、円及び円環を総称して単に「円」という。
【００８５】この複数の円ｔ１〜ｔｎは、まとめて１つのテンプレートとして扱われてテンプレート記憶部５２に記憶されるが、実際の処理では、テンプレートを構成する各円ｔ１〜ｔｎは、独立して扱われることとなる。このため、各円ｔ１〜ｔｎを形成する画素データは、テンプレート記憶部５２において、例えばテーブル形式でそれぞれ記憶される。
【００８６】投票結果記憶部５３には、後述する投票部５４において行われる投票処理の結果を記憶する領域（以下、投票記憶領域という）が、テンプレート記憶部５２に記憶されているテンプレートを構成する各サイズの形状毎に、設けられている。この例では、各サイズの形状が円ｔ１〜ｔｎであるので、投票結果記憶部５３には、円ｔ１〜ｔｎに関してｎ個の投票記憶領域が設けられることとなる。なお、この投票記憶領域は、対象画像に対応する範囲を有する。
【００８７】投票部５４は、エッジ抽出部５１で生成されたエッジ画像について、テンプレート記憶部５２に記憶されているテンプレートを用いて、投票処理を行う。図１４は、投票部５４で行われる投票処理の手順を示すフローチャートである。図１４を参照して、投票部５４は、まず、投票結果記憶部５３にアクセスして、各投票記憶領域内の座標を表す成分（投票値）を、全て零に初期化する（ステップＳ６０１）。次に、投票部５４は、エッジ画像内のエッジ部の先頭画素位置に、テンプレートの中心点Ｐをセットする（ステップＳ６０２）。この先頭画素位置は、例えば、エッジ画像上を左上から右上又は左下へ順次走査して行き、最初に検出されたエッジ部の画素の位置とすればよい。
【００８８】次に、投票部５４は、テンプレートを構成する形状（この例では、円ｔ１〜ｔｎ）を特定するカウンタｉを、「１」に初期化する（ステップＳ６０３）。次に、投票部５４は、カウンタｉ（＝１）によって特定される円ｔ１について、円ｔ１を形成する全画素のエッジ画像上のｘｙ座標をそれぞれ取得する（ステップＳ６０４）。そして、投票部５４は、投票結果記憶部５３に設けられた円ｔ１に関する投票記憶領域において、取得した各ｘｙ座標を表す成分にそれぞれ「１」を加算して投票を行う（ステップＳ６０５）。この処理が終わると、投票部５４は、カウンタｉを１つインクリメントして、ｉ＝２とする（ステップＳ６０７）。次に、投票部５４は、カウンタｉ（＝２）によって特定される円ｔ２について、円ｔ２を形成する全画素のエッジ画像上のｘｙ座標をそれぞれ取得する（ステップＳ６０４）。そして、投票部５４は、投票結果記憶部５３に設けられた円ｔ２に関する投票記憶領域において、取得した各ｘｙ座標を表す成分にそれぞれ「１」を加算して投票を行う（ステップＳ６０５）。
【００８９】以降同様にして、投票部５４は、ｉ＝ｎになるまでカウンタｉを１つずつインクリメントしながら（ステップＳ６０６，Ｓ６０７）、テンプレートを構成する全形状である円ｔ３〜ｔｎについて、上記ステップＳ６０４及びＳ６０５の投票処理を繰り返し行う。これにより、各円ｔ１〜ｔｎに関する投票記憶領域のそれぞれに、先頭画素位置における投票処理が行われることになる。そしてさらに、投票部５４は、エッジ部の次の画素位置にテンプレートの中心点Ｐをセットして上記ステップＳ６０３〜Ｓ６０７の処理を繰り返し行うことを、エッジ画像内のエッジ部の全画素に対して、１回ずつ行う（ステップＳ６０８，Ｓ６０９）。すなわち、投票部５４による投票処理は、テンプレートの中心点Ｐがエッジ部の全画素を這うように行われる。
【００９０】例えば、図１５に示すエッジ画像に上記投票処理を施すことによって、投票結果記憶部５３に設けられたｎ個の投票記憶領域には、図１６に示すような投票数が記憶される。なお、図１６では、図面を見易くするため、エッジ部の一部の画素位置で投票処理が行われた場合を示している。図１６において、実線円の部分が、上記ステップＳ６０５においてテンプレートの各サイズの形状（円ｔ１〜ｔｎ）に基づいて投票された座標成分に相当し、座標数「１」となる。また、上述したように各投票数は累積加算されるので、図１６の実線円が交差する部分（図中、●印で示す）は、交差する数が多いほど投票数が高いことを表している。
【００９１】そのため、中心点を持つ円又は楕円に近似した顔の輪郭を表現するエッジ部に、上述した投票処理を施せば、その中心点付近に高い投票数が集中することとなる。従って、高い投票値が集中する部分を判断すれば、顔の中心を特定することが可能になる。また、このような高い投票値が集中する現象は、テンプレートの中でも、顔の輪郭を表現するエッジ部の最小幅と等しい又は非常に近い半径を持つ円形状を用いた場合に、より顕著に現れる。従って、この現象がどの円形状の投票記憶領域に顕著に現れているかを判断すれば、顔の大きさを特定することが可能になる。この点は、一般化ハフ変換と似ていると言える。しかし、本発明の顔抽出方法では、同心状に複数サイズの形状を持つテンプレートを使用することにより、エッジ部の中心点と共にその大きさも一度に特定できるという点で、一般化ハフ変換とは明確に異なる。
【００９２】なお、上記ステップＳ６０１において、各投票記憶領域内の座標を表す成分を、全て予め定めた最大値に初期化し、上記ステップＳ６０５において、取得した各ｘｙ座標を表す成分からそれぞれ「１」を減算して投票を行ってもよい。この場合、低い投票値が集中する部分を判断すれば、顔の中心を特定することが可能であり、この集中現象がどの円形状の投票記憶領域に顕著に現れているかを判断すれば、顔の大きさを特定することが可能になる。また、上記ステップＳ６０５において、投票数を加算又は減算させる値は「１」以外であってもよく、値を自由に設定することができる。
【００９３】次に、投票結果記憶部５３に記憶された投票結果に基づいて、対象画像の顔領域を特定する手法を説明する。解析部５５は、投票部５４による投票処理が完了した後、投票結果記憶部５３に記憶された投票結果に基づいて、そのクラスタを評価して、対象画像に含まれる顔の位置及び大きさを求める。図１７は、解析部５５で行われる解析処理の手順を示すフローチャートである。
【００９４】図１７を参照して、解析部５５は、まず、テンプレートを構成する形状（この例では、円ｔ１〜ｔｎ）を特定するカウンタｊを、「１」にセットする（ステップＳ７０１）。次に、解析部５５は、カウンタｊ（＝１）によって特定される円ｔ１について、投票結果記憶部５３の円ｔ１に関する投票記憶領域に記憶されている投票結果を参照して、投票数が予め定めたしきい値Ｇ（例えば、２００等）を越える成分だけを抽出する（ステップＳ７０２）。このしきい値Ｇは、対象画像の精細度や所望する抽出精度に基づいて、任意に定めることができる。次に、解析部５５は、抽出した成分だけを対象に、クラスタリングを行い（ステップＳ７０３）、クラスタ化された各領域の分散値及び共分散値をそれぞれ計算する（ステップＳ７０４）。このクラスタリングにおける類似度は、ユークリッド平方距離、標準化ユークリッド平方距離、マハラノビスの汎距離又はミンコフスキー距離のいずれを用いて判断されてもよい。また、クラスタの形成には、最短距離法（ＳＬＩＮＫ：single linkage clustering method）、最長距離法（ＣＬＩＮＫ：complete linkage clustering method）又は群平均法（ＵＰＧＭＡ：unweighted pair-group method using arithmetic averages）のいずれを用いてもよい。
【００９５】次に、解析部５５は、クラスタ化された各領域の分散値及び共分散値を、予め定めたしきい値Ｈと比較する（ステップＳ７０５）。そして、このステップＳ７０５において各値がしきい値Ｈ未満の場合、解析部５５は、その領域の中心点を顔の中心点とみなして、この時のカウンタｊ（＝１）が指す円ｔ１のサイズ（直径）を顔の短軸長とし（ステップＳ７０６）、この短軸長に一定値（経験的に定める）を加えた長さを顔の長軸長として決定する（ステップＳ７０７）。そして、解析部５５は、この決定した中心点、短軸長及び長軸長を、解析結果として保持する（ステップＳ７０８）。一方、上記ステップＳ７０５において各値がしきい値Ｈ以上の場合、解析部５５は、その領域の中心点が顔の中心点ではないと判断して、次の処理に移る。
【００９６】この処理が終わると、解析部５５は、カウンタｊを１つインクリメントして、ｊ＝２とする（ステップＳ７１０）。次に、解析部５５は、カウンタｊ（＝２）によって特定される円ｔ２について、投票結果記憶部５３の円ｔ２に関する投票記憶領域に記憶されている投票結果を参照して、投票数が予め定めたしきい値Ｇを越える成分だけを抽出する（ステップＳ７０２）。次に、解析部５５は、抽出した成分だけを対象に、クラスタリングを行い（ステップＳ７０３）、クラスタ化された各領域の分散値及び共分散値をそれぞれ計算する（ステップＳ７０４）。次に、解析部５５は、クラスタ化された各領域の分散値及び共分散値を、予め定めたしきい値Ｈと比較する（ステップＳ７０５）。そして、このステップＳ７０５において各値がしきい値Ｈ未満の場合、解析部５５は、その領域の中心点を顔の中心点とみなして、この時のカウンタｊ（＝２）が指す円ｔ２のサイズを顔の短軸長とし（ステップＳ７０６）、この短軸長に一定値を加えた長さを顔の長軸長として決定する（ステップＳ７０７）。そして、解析部５５は、この決定した中心点、短軸長及び長軸長を、解析結果として追加して保持する（ステップＳ７０８）。一方、上記ステップＳ７０５において各値がしきい値Ｈ以上の場合、解析部５５は、その領域の中心点が顔の中心点ではないと判断して、次の処理に移る。
【００９７】以降同様にして、解析部５５は、ｊ＝ｎになるまでカウンタｊを１つずつインクリメントしながら（ステップＳ７０９，Ｓ７１０）、投票結果記憶部５３に記憶されている各円ｔ３〜ｔｎに関する投票記憶領域について、上記ステップＳ７０２〜Ｓ７０８の解析処理を繰り返し行う。これにより、各円ｔ１〜ｔｎに関する投票記憶領域における、顔領域抽出の解析結果を得ることができる。この解析結果は、表示制御部５，２５及び送信データ処理部８へ出力される。
【００９８】このように、実施例１の顔抽出部７では、負担が軽い投票処理（基本的には加算処理のみ）と投票数の評価だけで、顔の位置を高速に抽出できる。しかも、相似で同心状の複数サイズの形状を備えたテンプレートを用いているので、顔領域であろうエッジ部が、これらの形状のいずれのサイズに近いかという実質的な近似を行っていることになり、顔の大きさも高速に抽出できる。
【００９９】＜実施例２＞次に、実施例２として、直交変換後の空間でパターンマッチングを行うことにより処理量の削減を図り、携帯電話等のような限られた処理量を要求される端末において有効となる手法を説明する。図１８は、実施例２の顔抽出部７の構成を示すブロック図である。図１８において、顔抽出部７は、テンプレート画像処理部８０と、入力画像処理部９０と、積算部１０１と、逆直交変換部（逆ＦＦＴ）１０２と、マップ処理部１０３とを備える。この実施例２の手法は、テンプレート画像処理部８０及び入力画像処理部９０において、テンプレート画像及び入力画像（対象画像）にそれぞれ線形性を有する直交変換を施し、それらを積算した後に逆直交変換して、類似値Ｌを求めるものである。
【０１００】ここで、実施例２では、直交変換としてＦＦＴ（高速離散フーリエ変換）を使用する場合を説明するが、この他にＨａｒｔｌｅｙ変換や数論的変換等を用いることもできる。これら他の変換方法を使用する場合には、以下の説明中の「フーリエ変換」とある部分を、これらの変換方法に読み替えればよい。また、テンプレート画像処理部８０及び入力画像処理部９０のいずれにおいても、エッジ法線方向ベクトルの内積を利用し、エッジ法線方向ベクトルの方向が近いほど、高い相関が出るようにしている。しかも、この内積は、偶数倍角表現を用いて評価される。以下簡単のため、偶数倍角の例として２倍角の場合を説明するが、４倍角や６倍角等の他の偶数倍角においても、実施例２と同様の効果を奏することができる。
【０１０１】まず、テンプレート画像処理部８０について説明する。図１８において、テンプレート画像処理部８０は、エッジ抽出部８１と、評価ベクトル生成部８２と、直交変換部（ＦＦＴ）８３と、圧縮部８４と、記録部８５とを備える。
【０１０２】エッジ抽出部８１は、入力されるテンプレート画像に対して、ｘ方向及びｙ方向のそれぞれについて微分処理（エッジ抽出）を施し、テンプレート画像のエッジ法線方向ベクトルを出力する。本実施例２では、ｘ方向について、
【数１】
なるＳｏｂｅｌフィルタを用い、ｙ方向について、
【数２】
なるＳｏｂｅｌフィルタを用いている。これらのフィルタ（１）及び（２）より、次式（３）で定義されるテンプレート画像のエッジ法線方向ベクトルが求められる。
【数３】
【０１０３】評価ベクトル生成部８２は、エッジ抽出部８１からテンプレート画像のエッジ法線方向ベクトルを入力し、次に述べる処理を行って、テンプレート画像の評価ベクトルを直交変換部８３へ出力する。まず、評価ベクトル生成部８２は、次式（４）を用いて、テンプレート画像のエッジ法線方向ベクトルを長さについて正規化する。
【数４】
これは、照明変動のような撮影条件が変化する場合、エッジの強度（長さ）は影響を受け易いが、エッジの角度は影響を受け難いことを考慮させるためである。そこで、本実施例２では、後述するように、入力画像処理部９０において対象画像のエッジ法線方向ベクトルを長さ「１」に正規化している。これに合わせて、テンプレート画像処理部８０においても、テンプレート画像のエッジ法線方向ベクトルを長さ「１」に正規化している。また、周知のように、三角関数については次式（５）の倍角公式が成立する。
【数５】
この倍角公式を用いて、エッジベクトルを次式（６）に基づいて正規化する。
【数６】
【０１０４】以下、この式（６）について説明する。まず、定数ａは、微小エッジ除去用のしきい値であって、定数ａより小さなベクトルをゼロベクトルにしているのは、ノイズ等を除去するためである。次に、ｘｙ各成分が、式（４）のｘｙ各成分の倍角に係る余弦・正弦の従属関数になっている点について、説明する。ここで、テンプレートの評価ベクトルＴと、対象画像の評価ベクトルＩとのなす角をθとし、その内積、つまりｃｏｓθを類似尺度として用いると、次のような問題がある。例えば、テンプレート画像が、図１９（ａ）に示すもので、対象画像が、同図（ｂ）に示すものであるとする。ここで、図１９（ｂ）の背景部分の画像は、左半分が対象物よりも明るく、右半分が対象物よりも暗くなっている。画像のみで見れば、図１９（ａ）のテンプレート画像の中心が、同図（ｂ）の対象画像の中心に一致する時、対象物が完全に一致するので、このとき類似値は最大にならなければならない。そして、エッジ法線方向ベクトルは、対象物の画像から外側に向くものを正とすると、図１９（ｂ）の明るい背景部分でも暗い背景部分でも、対象物から見て同じ向き（外向き／内向き）でなければならない。しかしながら、このとき、図１９（ｂ）の背景部分の輝度が、対象物の左右でばらついていると、図１９（ｂ）に矢印で示しているように、向きが反対（明るい背景部分では対象物の外側向き、暗い背景部分では対象物の内側向き）になってしまう。このような場合、本来、最大の類似値となるべき場合において、必ずしも類似値が高い値にならず、誤認識を招き易い。
【０１０５】以上の点を図２０を用いて、さらに詳しく説明する。テンプレート画像の評価ベクトルＴと、対象画像の評価ベクトルＩとのなす角θの内積ｃｏｓθを類似値として用いる場合、上述したように、対象物の周囲にある背景画像の輝度ばらつきによって、対象画像の評価ベクトルの方向は、Ｉ方向又はその正反対のＩ’方向のいずれかになる可能性がある。このため、類似尺度である内積は、ｃｏｓθとｃｏｓθ’との２通りがあり得ることになる。しかも、θ＋θ’＝πであり、ｃｏｓθ＝ｃｏｓ（π−θ’）＝−ｃｏｓθである。つまり、ｃｏｓθを類似尺度として用いると、本来、類似値を増やすように作用しなければならない場合において、逆に類似値を減らすことになる場合がある。また、類似値を減らすように作用しなければならない場合において、逆に類似値を増やすことになる場合がある。
【０１０６】そこで、本実施例２では、θの倍角の余弦（ｃｏｓ２θ）を、類似値の式に使用している。こうすると、ｃｏｓθ’＝−ｃｏｓθとなっていても、式（５）の倍角公式から、ｃｏｓ２θ’＝ｃｏｓ２θとなる。つまり、類似値を増やすように作用しなければならない場合には、背景部分に影響されずに類似値は高くなる。従って、背景部分の画像に輝度ばらつきがあっても、正当に画像のマッチングを評価することができる。以上の点は、２倍角だけでなく、４倍角や６倍角などでも同様に成立する。これにより、偶数倍角評価により、背景の輝度条件にかかわらず、安定してパターンを抽出できる。なお、この表現の他にもここで、ＴｘとＴｙの値の組み合わせからｃｏｓθ＝Ｔｘ，ｓｉｎθ＝Ｔｙと表現されるθの値（すなわち、エッジ法線方向ベクトルを極座標表現した場合の位相角）として、Ｔｘ，Ｔｙの２つではなく１つの値で表現することも可能である。また、θを０〜３６０度でなく、例えば８ビット表現とし、マイナスの値を２の補数表現として２進数で表現した場合（すなわち、−１２８〜１２７とした場合）、−１２８に１を加算した場合は０となり、循環表現となる。このため、θに関する倍角計算及び類似値計算において、１２７を超えた場合に−１２８とする処理が自動的に行われる。
【０１０７】次に、類似値の計算について説明する。より具体的には、本実施例２では、次式（７）により、類似値Ｌを定義する。
【数７】
なお、評価ベクトルを（Ｖｘ，Ｖｙ），（Ｔｘ，Ｔｙ）ではなく、Ｖθ，Ｔθとした場合は次式（８）となる。
【数８】
なお、ここでは評価ベクトルの要素が１つの場合もベクトルと標記している。
【０１０８】ここで、式（７）及び式（８）は、加算及び積算のみからなるので、類似値Ｌは、対象画像及びテンプレート画像のそれぞれの評価ベクトルについて線形である。従って、式（７）及び式（８）をフーリエ変換すると、フーリエ変換の離散相関定理により、
【数９】
【数１０】
となる。なお、式（９）及び式（１０）において、“〜”はフーリエ変換値を、“＊”は複素共役を表している。
【０１０９】また、式（９）又は式（１０）を逆フーリエ変換すれば、式（７）又は式（８）の類似値Ｌが得られる。そして、式（９）及び式（１０）より、次の２点が明らかとなる。
１．直交変換した後の変換値においては、テンプレート画像に係るフーリエ変換値と、対象画像に係るフーリエ変換値とを、単純に積和すればよい。
２．テンプレート画像に係るフーリエ変換値と、対象画像に係るフーリエ変換値とを、同時に求める必要はなく、テンプレート画像に係るフーリエ変換値を対象画像のフーリエ変換値に先行して求めておいても構わない。
【０１１０】そこで、本実施例２では、テンプレート画像処理部８０に記録部８５を設け、対象画像の入力に先立ち、圧縮部８４の出力を記憶しておくことにしている。これにより、対象画像が入力画像処理部９０に入力された後は、テンプレート画像処理部８０は、何らテンプレート画像の処理を行う必要がない。従って、画像通信端末の処理能力を、入力画像処理部９０及び積算部１０１より後段の処理に集中させることができ、一層処理を高速化できる。
【０１１１】次に、評価ベクトル生成部８２よりも後段の構成を説明する。図１８に示すように、テンプレート画像処理部８０において、評価ベクトル生成部８２から出力されるテンプレート画像の評価ベクトルは、直交変換部８３によりフーリエ変換され、圧縮部８４に出力される。圧縮部８４は、フーリエ変換後の評価ベクトルを削減して、記録部８５に格納する。図２１に示すように、変換後の評価ベクトルは、ｘｙ両方向について高低さまざまな周波数成分を含んでいる。本発明者らの実験によれば、全ての周波数成分について処理を行わなくとも、低周波数成分（例えば、ｘｙ両方向について、低周波側半分ずつ等）について処理を行えば、十分な精度が得られることがわかっている。なお、図２１において、斜線を付していない領域（−ａ≦ｘ≦ａ，−ｂ≦ｙ≦ｂ）が元の領域であり、斜線を付した領域（−ａ／２≦ｘ≦ａ／２，−ｂ／２≦ｙ≦ｂ／２）が削減後の領域である。すなわち、処理量は１／４となる。このようにすれば、処理対象を削減して、さらに高速な処理を実現できる。なお、圧縮部８４及び記録部８５は、データ量が小さい時や高速性が要求されない時は、省略することも可能である。
【０１１２】次に、入力画像処理部９０について説明する。図１８において、入力画像処理部９０は、エッジ抽出部９１と、評価ベクトル生成部９２と、直交変換部（ＦＦＴ）９３と、圧縮部９４とを備える。入力画像処理部９０は、テンプレート画像処理部８０と同等の処理を行う。すなわち、エッジ抽出部９１は、式（１）及び式（２）を用いて対象画像のエッジ法線方向ベクトルを出力する。また、評価ベクトル生成部９２は、エッジ抽出部９１から対象画像のエッジ法線方向ベクトルを入力し、テンプレート画像処理部８０の評価ベクトル生成部８２と同等の処理を行い、評価ベクトルを生成する。評価ベクトル生成部９２から出力される対象画像の評価ベクトルは、直交変換部９３によりフーリエ変換され圧縮部９４に出力される。圧縮部９４は、フーリエ変換後の評価ベクトルを削減して、積算部１０１へ出力する。ここで、圧縮部９４は、テンプレート画像処理部８０の圧縮部８４と同一の周波数帯に処理対象を削減する。
【０１１３】次に、積算部１０１以降を説明する。テンプレート画像処理部８０及び入力画像処理部９０の処理が完了すると、積算部１０１は、記録部８５と圧縮部９４とから、テンプレート画像及び対象画像の各評価ベクトルのフーリエ変換値を入力する。そこで、積算部１０１は、式（９）又は式（１０）による積和演算を行い、結果（類似値Ｌのフーリエ変換値）を逆直交変換部１０２へ出力する。逆直交変換部１０２は、類似値Ｌのフーリエ変換値を逆フーリエ変換し、類似値ＬのマップＬ（ｘ，ｙ）をマップ処理部１０３へ出力する。マップ処理部１０３は、このマップＬ（ｘ，ｙ）から、値の高い点（ピーク）を抽出し、その位置と値とを出力する。なお、マップ処理部１０３以降は、必要に応じて自由に構成することができる。
【０１１４】さて、対象画像のサイズをＡ（＝２γ）とし、テンプレート画像のサイズをＢとすると、テンプレート画像を対象画像上で順次走査させ、各位置での相関値を求めるためには、積の回数＝２ＡＢの計算回数が必要になる。なお、ここでの計算回数は、計算コストが高い積の回数で評価する。一方、本実施例２は、直交変換部８３，９３による２回のＦＦＴ、積算部１０１の積和計算、及び逆直交変換部１０２による１回の逆ＦＦＴが必要で、積の回数＝３｛（２γ−４）Ａ＋４｝＋２Ａの計算回数で済む。これらの計算回数を比較すると、例えば、Ａ＝２５６×２５６＝２16とし、Ｂ＝６０×６０とした場合、本実施例２による積の計算回数は約１／１００となり、非常に高速な処理が可能になり、処理量の削減につながる。
【０１１５】このように、実施例２の顔抽出部７では、少ない処理量で顔の位置を抽出できる。そのため、携帯型の画像通信端末のように限られた処理量が要求される場面においても、顔の位置及び大きさを抽出することが可能となる。また、倍角表現を行うことで携帯型の画像通信端末のように撮影場所や時間が限定されず、あらゆる撮影条件を想定しなければならない場面においても、安定して顔を抽出することが可能になる。
【０１１６】＜実施例３＞上記実施例１及び実施例２の顔抽出手法では、対象画像内に顔が存在しない場合でも、顔に近い部分を強引に顔領域として抽出してしまう。そこで、次に実施例３として、実施例１及び実施例２の顔抽出手法によって抽出された顔の位置及び大きさが、真に顔であるか否かをさらに判定する手法を説明する。
【０１１７】これを実現するためには、図１２に示す実施例１の解析部５５の後段、又は図１８に示す実施例２のマップ処理部１０３の後段に、抽出された顔領域が真の顔であるか否かを判定する構成（顔・非顔判定部）を設ける。実施例１の解析部５５の後段に顔・非顔判定部を設ける場合、最も簡単には、顔・非顔を判断するためのしきい値を予め定め、解析部５５から出力される領域の投票値及び顔の大きさから求めた値が、このしきい値を越えれば当該領域が顔であると判断させる。ここで、投票値及び顔の大きさから求めた値とは、投票値を顔の大きさで割った値である。このような処理を行うのは、顔の大きさに比例する投票値を、顔の大きさで正規化させる理由による。また、実施例２のマップ処理部１０３の後段に顔・非顔判定部を設ける場合、最も簡単には、顔・非顔を判断するためのしきい値を予め定め、マップ処理部１０３から出力される領域の類似値が、このしきい値を越えれば当該領域が顔であると判断させる。なお、上記実施例１及び実施例２では、顔抽出部７から出力される顔領域が１つである場合を説明したが、複数の顔領域が出力される場合であっても、上述した本実施例３の顔・非顔判定を適用させることができる。
【０１１８】そして、顔・非顔判定部で顔でないと判断された顔領域は、顔抽出部７から表示制御部５及び送信データ処理部８へは、出力されない。なお、上記第１の実施形態における送信データ処理部８は、顔抽出部７から顔領域が出力されない場合、送信領域３１の位置を移動させずに前時刻の送信領域３１をそのまま用いる。また、一定時間顔領域が出力されない場合には、初期位置（例えば、撮影領域３０の中央）に送信領域３１を設定する。
【０１１９】一方、上述したしきい値による判断方法ではなく、サポートベクトル関数を用いて顔・非顔を判定する方法がある。以下に、サポートベクトル関数を用いた顔・非顔判定を概説する。なお、サポートベクトル自体は公知の技術であり、文献「Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓによる複数カテゴリの識別（電子情報通信学会信学技法ＰＲＭＵ９８−３６（１９９８−０６））」に詳しく説明されている。
【０１２０】図２２は、実施例３の顔抽出部７の構成の内、実施例１及び実施例２の構成に追加される構成部分を示すブロック図である。図２２において、実施例３での追加構成は、画像サイズ正規化部１１１と、特徴ベクトル抽出部１１２と、顔・非顔判定部１１３と、顔・非顔学習辞書１１４とを備える。この図２２の構成は、実施例１の解析部５５の後段、又は実施例２のマップ処理部１０３の後段に追加される。
【０１２１】画像サイズ正規化部１１１は、解析部５５又はマップ処理部１０３から出力される顔領域部分の画像を、対象画像から切り出す。そして、画像サイズ正規化部１１１は、切り出した画像（以下、顔領域候補画像という）について、各画素における画像特徴（例えば、エッジ強度、色の値、輝度値等）を求めた後、一定サイズに正規化を行う。ここでは、顔領域候補画像を１０×１０画素の大きさに拡大又は縮小（すなわち正規化）した例を説明する。特徴ベクトル抽出部１１２は、正規化された顔領域候補画像の輝度情報を特徴データの１つとして取得する。この例では、１０×１０画素の画像に正規化されているので、１００次元の特徴ベクトルｘｉ（０≦ｉ＜１００）が取得されることとなる。
【０１２２】ここで、特徴ベクトル抽出部１１２は、エッジ法線方向ベクトルを特徴ベクトルとして抽出してもよい。具体的には、顔領域候補画像に対してＸ方向ｓｏｂｅｌフィルタとＹ方向ｓｏｂｅｌフィルタとをかけ、各画素におけるＸ方向の強度及びＹ方向の強度を基にして方向ベクトルを計算する。この計算では、値として角度と強さとが算出されるので、強度は無視して角度のみを取り出す。そして、２５６階調を基準として各方向の正規化を実施し、特徴ベクトルとして使用する。また、特徴ベクトル抽出部１１２は、顔領域候補画像内部の正規化された角度毎のヒストグラムを計算して、エッジ法線のヒストグラムを特徴ベクトルとして抽出してもよい。
【０１２３】そして、顔・非顔判定部１１３は、顔・非顔学習辞書１１４に予め用意されている特徴画像及びパラメータを用い、以下の計算式によって顔領域の顔・非顔判定を行う。
【数１１】
ここで、Ｋ（ ）はカーネル関数を、αｉは対応するＬａｇｒａｎｇｅ係数を、ｙｉは教師データを示し、学習辞書が顔の時に＋１が、非顔の時に−１が適用される。なお、カーネル関数には、上記した式（１２）以外にも多項式Ｋ（Ｓｉ，Ｘｉ）＝（Ｓｉ・Ｘｉ＋１）や、２層ニューラルネットワークＫ（Ｓｉ，Ｘｉ）＝ｔａｎｈ（Ｓｉ・Ｘｉ−δ）を用いることが可能である。
【０１２４】顔・非顔判別の結果を図２３に示す。顔・非顔判定部１１３では、上式（１２）の結果が０より大きい時に顔領域候補画像が顔画像と判定され、０より小さい時に非顔画像と判定される。同様に他の顔領域候補画像に対しても顔・非顔判定が行われる。この図２３の例では、画像１２１が顔画像と判定され、画像１２２〜１２４が非顔画像と判定されている。顔・非顔学習辞書１１４では、教師データとして顔画像及び非顔画像が用意され、識別に使用される同じ特徴データを用いて辞書の作成が行われる。
【０１２５】このように、実施例３の顔抽出部７では、実際の顔が顔領域の第１候補以外にある場合でも、安定した顔領域の抽出が可能になる。また、画像中に顔がない場合でも顔がないと判定することができるので、顔の位置を移動して表示する必要がない場合を自動的に検出することが可能になる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像通信端末の構成を示すブロック図である。
【図２】送信データ処理部８が行う追従処理の手順を示すフローチャートである。
【図３】撮影領域３０と送信領域３１との関係を説明する図である。
【図４】撮影領域３０と送信領域３１との関係を説明する図である。
【図５】撮影領域３０と送信領域３１との関係を説明する図である。
【図６】撮影領域３０と送信領域３１との関係を説明する図である。
【図７】本発明の第２の実施形態に係る画像通信端末の構成を示すブロック図である。
【図８】表示部３の画面上に表示される目印の一例を示す図である。
【図９】表示部３の画面上に表示される目印の一例を示す図である。
【図１０】入力部２２のテンキーを用いて通知される目印の一例を示す図である。
【図１１】相手側の情報処理装置の画面上に表示される利用者１側の画像の一例を示す図である。
【図１２】実施例１の顔抽出部７の構成を示すブロック図である。
【図１３】テンプレート記憶部５２に記憶されているテンプレートの一例を示す図である。
【図１４】投票部５４で行われる投票処理の手順を示すフローチャートである。
【図１５】エッジ抽出部５１で抽出されるエッジ画像の一例を説明する図である。
【図１６】投票処理によって投票結果記憶部５３の投票記憶領域に記憶される投票数の概念を説明する図である。
【図１７】解析部５５で行われる解析処理の手順を示すフローチャートである。
【図１８】実施例２の顔抽出部７の構成を示すブロック図である。
【図１９】エッジ抽出部８１及び９１に入力されるテンプレート画像及び対象画像の一例を示す図である。
【図２０】内積の正負反転を説明する図である。
【図２１】評価ベクトルの圧縮処理を説明する図である。
【図２２】実施例３の顔抽出部７の構成の一部を示すブロック図である。
【図２３】顔・非顔判別部１１３で行われた顔・非顔判別結果の一例を示す図である。
【符号の説明】
１…利用者
２，２２…入力部
３…表示部
４…カメラ部
５，２５…表示制御部
６…自画像メモリ
７…顔抽出部
８…送信データ処理部
９…通信部
１０…受信データ処理部
１１…相手画像メモリ
１２…通知部
３０…撮影領域
３１…送信領域
３２…有効領域
５１，８１，９１…エッジ抽出部
５２…テンプレート記憶部
５３…投票結果記憶部
５４…投票部
５５…解析部
８２，９２…評価ベクトル生成部
８３，９３…直交変換部（ＦＦＴ）
８４，９４…圧縮部
８５…記録部
１０１…積算部
１０２…逆直交変換部（逆ＦＦＴ）
１０３…マップ処理部
１１１…画像サイズ正規化部
１１２…特徴ベクトル抽出部
１１３…顔・非顔判定部
１１４…顔・非顔学習辞書
１２１〜１２４…画像
Ｒ…目印
ｔ１〜ｔｎ…円形状
【０００１】
【発明の属する技術分野】本発明は、画像通信端末に関し、より特定的には、利用者が自分又は近くにいる他人の姿をカメラ部で撮影し、この撮影した画像を相手に送信しながら対話を行うための画像通信端末に関する。
【０００２】
【従来の技術】周知のように、相手に画像を送信しながら対話を行う画像通信端末としては、テレビ電話、テレビ会議システム、ビデオメール等、種々の形態のものがある。これらのいずれの形態であっても、利用者が自分又は近くにいる他人（以下、単に「利用者」という）の姿を相手に送信するためには、画像通信端末に内蔵又は外部接続されるカメラ部と被写体となる利用者とが、常に適切な位置関係になっていなければならない。
【０００３】この適切な位置関係を維持するためには、カメラ部に光軸を移動させる機構やズーム機構等を設け、カメラ部を利用者の動きに追従させる方法が考えられる。しかし、この方法では、追従動作に必要なカメラ部及び関連機構が大掛かりになって、画像通信端末の小型化及び低コスト化を図れない。特に、携帯性が重要であるモバイル端末や携帯（テレビ）電話等の画像通信端末に、このような機構を設けるのは現実的ではない。
【０００４】一方、画像通信端末から利用者へ、カメラ部に対する利用者の位置に関する情報を提供し、利用者が自らカメラ部に合わせるようにして、上記適切な位置関係を維持する方法も考えられる。
【０００５】具体的には、第１の手法として、ピクチャインピクチャ方式又は画面分割方式により、画面の一部を自分（利用者自身）の姿を映すために利用することが従来より行われている。しかしながら、この手法では、自分の姿を映すために画面のかなりの部分が占有され、結果的に相手の姿が小さくなって見辛くなるという問題がある。また、第２の手法として、自分の画像と相手の画像とを切り替えながら表示することも従来より行われている。しかしながら、この手法では、画面が度々切り替えられてしまうので、利用者は切り替えが気になって会話に集中し難いという問題がある。加えて、上記第１及び第２のいずれの手法によっても、通常の会話（自分と相手とが膝を交えて行う会話）環境から、あまりにもかけ離れた環境であり、利用者は不自然な感じを禁じ得ない。
【０００６】そこで、このような問題点に対応すべく、特開平８−２５１５６１号公報には、自分の姿を表示させず、かつ、カメラ部の追従機構を省略できる技術が開示されている。この公報の技術では、カメラ部で利用者自身を撮影し、利用者の位置を検出し、検出した位置が撮影範囲を逸脱したかどうかを判断する。そして、逸脱した場合のみ、次のいずれかの方法によってその旨を利用者へ通知する。
（１）相手の姿をほぼ画面いっぱいに表示しておき、逸脱した場合には相手の画像に変化を付けることで（例えば、相手の姿を変形させる等）、利用者へその旨を通知する。
（２）画面内に、相手の姿を表示する領域だけでなく文字表示領域を確保する。そして、逸脱した場合には文字表示領域に逸脱した旨のメッセージを表示することで、利用者へその旨を通知する。
【０００７】
【発明が解決しようとする課題】しかしながら、上記（１）及び（２）のいずれの方法にしても、利用者の位置が撮影範囲を逸脱しなければ、利用者へは何の通知もされない。また、利用者が常識的な使用をしている場合には、そう頻繁に撮影範囲を逸脱するものではない。従って、利用者は、ほとんどの場合（つまり逸脱していない時）、撮影範囲に対する自分の位置を確認することができない。
【０００８】さらに、上記（１）の方法では、逸脱した場合に、突然相手の姿が変化するので、利用者は驚いて会話を途切らせたりしてしまう。また、上記（２）の方法では、表示する文字（メッセージ）が潰れてしまわないようにするため、ある程度広い文字表示領域が必要となる。このため、文字表示領域に圧迫されて画像表示領域が小さくなり、相手の姿が小さく見辛くなり易い。加えて、上記（１）及び（２）のいずれの方法にしても、画面における利用者の大きさについては全く関知されておらず、カメラ部に対する利用者の遠近方向の適否が不明である。
【０００９】それ故、本発明の目的は、大掛かりな追従機構を用いることなく、利用者の位置にカメラ部側が追従し、利用者を良好な位置で撮影できる画像通信端末を提供することである。また、本発明のさらなる目的は、相手を見易く表示した自然な会話を確保しつつ、利用者が自分の写り（撮影位置）を常に確認できる画像通信端末を提供することである。
【００１０】
【課題を解決するための手段および発明の効果】第１の発明は、カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者からの入力を受け付ける入力部と、利用者を撮影するカメラ部と、カメラ部で撮影された画像から、利用者の顔の位置及び大きさ（顔領域）を抽出する顔抽出部と、利用者に画像を表示する表示部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部と、カメラ部で撮影された画像の領域よりも小さく、かつ、当該画像の領域内で移動可能に設定される矩形の送信領域の画像を、通信部へ出力する送信データ処理部とを備え、カメラ部で撮影された画像の領域内に、送信領域と一体的に移動する有効領域が設定され、送信データ処理部は、抽出された顔領域が有効領域を逸脱した場合に、当該顔領域の位置に合わせて送信領域の設定位置を移動させることを特徴とする。
【００１１】上記のように、第１の発明によれば、顔領域が有効領域を逸脱していないかを判定し、有効領域を逸脱している場合には、顔領域の位置に合わせて送信領域の位置を移動させる。これにより、顔領域の動きに送信領域が追従することとなり、利用者が写り具合を気にしなくても、おおよその位置にいるだけで、適切にフレーミングした自画像が相手へ送信されることになる。しかも、カメラ部の光軸移動部やズーム部のような大がかりな追従機構がいらず、画像通信端末の携帯性をそこなわない。また、顔領域が有効領域内にあれば、送信領域は移動しないので、相手側に送信される画像、特に利用者の背景画像が頻繁にぶれるようなことはなく、相手の酔いを防止できる。
【００１２】第２の発明は、第１の発明に従属する発明であって、有効領域は、送信領域よりも小さく、かつ、送信領域内に設定されることを特徴とする。
【００１３】上記のように、第２の発明によれば、顔領域は、送信領域を逸脱する前に必ず有効領域を逸脱するので、送信領域外に顔領域がはみ出して顔の一部が欠けるような事態を回避できる。
【００１４】第３の発明は、第１の発明に従属する発明であって、送信データ処理部は、抽出された顔領域が有効領域を逸脱した場合、当該顔領域が送信領域の中心に位置するように、送信領域を移動させることを特徴とする。
【００１５】第４の発明は、第１の発明に従属する発明であって、送信データ処理部は、抽出された顔領域が有効領域を逸脱した場合、当該顔領域が送信領域の中心より上方向に位置するように、送信領域を移動させることを特徴とする。
【００１６】第５の発明は、第４の発明に従属する発明であって、送信データ処理部は、抽出された顔領域が有効領域を逸脱した場合、当該顔領域が送信領域の中心又は中心より上方向に位置するように、入力部から入力される送信モード情報に応じて切り替えて、送信領域を移動させることを特徴とする。
【００１７】上記のように、第３の発明によれば、顔領域が送信領域の中心に位置するように移動させるので、顔アップの好ましいフレーミングを実現できる。また、第４の発明によれば、顔領域が送信領域の中心より上方向に位置するように移動させるので、バストアップの好ましいフレーミングを実現できる。さらに、第５の発明によれば、利用者の好みに応じて、上記顔アップ／バストアップのフレーミングを選択できる。
【００１８】第６の発明は、第４の発明に従属する発明であって、表示部は、入力部から入力される情報に応じて、送信領域内の画像と顔領域とをモニタ表示し、利用者は、モニタ表示を参照して、入力部への入力により送信領域の位置を縦横方向に調節可能なことを特徴とする。
【００１９】上記のように、第６の発明によれば、利用者は、送信領域内の画像と顔領域とをモニタし、送信領域の位置を適宜調節することによって、任意のフレーミングで自画像を相手に送信できる。
【００２０】第７の発明は、カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者からの入力を受け付ける入力部と、利用者を撮影するカメラ部と、カメラ部で撮影された画像から、利用者の顔の位置及び大きさ（顔領域）を抽出する顔抽出部と、利用者に画像を表示する表示部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部と、カメラ部で撮影された画像の領域よりも小さく、かつ、当該画像の領域内で移動可能に設定される矩形の送信領域の画像を、通信部へ出力する送信データ処理部とを備え、カメラ部で撮影された画像の領域内に、送信領域と一体的に移動する有効領域が設定され、送信データ処理部は、抽出された顔領域が有効領域を逸脱した場合に、当該顔領域の位置に合わせて送信領域の設定位置を移動させ、かつ、抽出された顔領域の画像輝度に基づいて、カメラ部で撮影された画像内にある顔の視認性が向上するように、送信領域の画像輝度を補正して通信部へ出力することを特徴とする。
【００２１】第８の発明は、第７の発明に従属する発明であって、送信データ処理部は、送信領域の画像輝度に加え、色調も補正して通信部へ出力することを特徴とする。
【００２２】第９の発明は、カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者からの入力を受け付ける入力部と、利用者を撮影するカメラ部と、カメラ部で撮影された画像から、利用者の顔の位置及び大きさ（顔領域）を抽出する顔抽出部と、利用者に画像を表示する表示部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部と、カメラ部で撮影された画像の領域よりも小さく、かつ、当該画像の領域内で移動可能に設定される矩形の送信領域の画像を、通信部へ出力する送信データ処理部とを備え、カメラ部で撮影された画像の領域内に、送信領域と一体的に移動する有効領域が設定され、送信データ処理部は、抽出された顔領域が有効領域を逸脱した場合に、当該顔領域の位置に合わせて送信領域の設定位置を移動させ、かつ、抽出された顔領域の画像輝度に基づいて、カメラ部で撮影された画像内にある顔の視認性が向上するように、カメラ部の露出レベルの値を設定することを特徴とする。
【００２３】上記のように、第７〜第９の発明によれば、逆光のような場合でも、利用者の顔が常に見えるような画像を相手側へ送信することが可能となる。これにより、屋外においても周りの照明環境を気にすることなく画像通信端末を用いて相手と対話することが可能となる。
【００２４】第１０の発明は、カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者を撮影するカメラ部と、カメラ部で撮影された画像から、利用者の顔の位置を抽出する顔抽出部と、利用者に相手から受信した画像を表示する表示部と、抽出された顔の位置に基づいて、カメラ部で撮影された画像中における利用者の顔の位置を、利用者に通知する通知制御部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部とを備える。
【００２５】上記のように、第１０の発明によれば、利用者は、撮影画像中の自分の位置を通知されるので、自分の姿が画面を逸脱していない場合であっても、自分の位置を確認しながら安心して相手との会話を進めることができる。万一、利用者が画面から逸脱しても、相手の姿が突如変化するようなことはないので、利用者は、落ち着いて通知を参照しながら、正しい位置へ復帰し、会話を継続できる。しかも、カメラ部に利用者への追従機構を設ける必要はないので、画像通信端末を軽量化かつ低消費電力化させることができる。このため、携帯（テレビ）電話やモバイル端末等の携帯性が重視される機器にも、好適に用いることができる。
【００２６】第１１の発明は、第１０の発明に従属する発明であって、顔抽出部は、利用者の顔の位置と共に顔の大きさも抽出し、通知制御部は、カメラ部で撮影された画像中における利用者の顔の位置及び大きさを、利用者に通知することを特徴とする。
【００２７】上記のように、第１１の発明によれば、顔領域の大きさも抽出して通知することにより、利用者は、顔領域の位置及び大きさの両方の情報を得ることができる。従って、利用者は、これらの情報を参照して、画面上の位置と遠近方向の位置とを、適正に保持することができる。また、利用者は、自画像を得なくとも、自分が画面のどの位置にどの位の大きさで写っているのかを確認できる。
【００２８】第１２の発明は、第１０の発明に従属する発明であって、通知制御部は、抽出された顔の位置のみ又は位置と大きさとを示す目印を、表示部に表示させることを特徴とする。
【００２９】上記のように、第１２の発明によれば、利用者は、表示部に表示される相手の姿を見ながら、通常の会話と同じように集中して会話を行える。また、利用者は、簡潔な目印を参照して、自分の位置を確認できる。
【００３０】第１３の発明は、第１２の発明に従属する発明であって、目印は、相手から受信した画像上に表示されることを特徴とする。
【００３１】上記のように、第１３の発明によれば、相手の姿の上に目印が現れるので、目印のためだけに広い画面の領域を確保する必要がなく、相手の姿をより大きくかつ見易く表示できる。しかも、利用者は、目印を見るために視線を変える必要がなく、長時間会話しても疲労が少ない。
【００３２】第１４の発明は、第１２の発明に従属する発明であって、目印は、相手から受信した画像外に表示されることを特徴とする。
【００３３】上記のように、第１４の発明によれば、目印を相手の画像から外すことにより、相手の画像に目印が干渉せず、より鮮明に相手の姿を見ることができる。
【００３４】第１５の発明は、第１２の発明に従属する発明であって、通知制御部は、抽出された顔の位置を、表示部とは別個に備える位置通知部を介して通知することを特徴とする。
【００３５】上記のように、第１５の発明によれば、位置通知部を表示部とは別個に備えることにより、表示部の画面全部を相手の姿の表示に割り当てることができるので、相手の姿をより広くかつ見易く表示できる。
【００３６】第１６の発明は、第１０の発明に従属する発明であって、通知制御部によって行われる利用者への通知方法を、利用者からの指示に従って切り替え可能とすることを特徴とする。
【００３７】上記のように、第１６の発明によれば、利用者は、好みの通知方法を選択することができる。
【００３８】第１７の発明は、第１〜第１６の発明に従属する発明であって、顔抽出部は、カメラ部で撮影された画像からエッジ部（人物の外郭や顔の輪郭等に相当する画素）を抽出して、当該エッジ部だけの画像（エッジ画像）を生成するエッジ抽出部と、予め定めた形状を、相似で大きさを異ならせた種々のサイズによって、中心点で同心状に複数設けたテンプレートを記憶するテンプレート記憶部と、テンプレートを構成する各サイズの形状毎に、エッジ画像上の座標位置と投票数とを対応付けてそれぞれ記憶する投票結果記憶部と、エッジ部の各画素位置にテンプレートの中心点を順次移動させ、移動させた当該画素位置毎に、各サイズの形状を形成する全画素の位置に対応する各座標位置について、投票結果記憶部に記憶されている投票数をそれぞれ増加又は減少させる投票部と、投票結果記憶部に記憶されている各投票数に基づいて、対象画像に含まれる顔の位置及び大きさを求める解析部とを備える。
【００３９】上記のように、第１７の発明によれば、処理負担が軽い投票処理（基本的には加算のみ）とその評価だけで、顔の位置を高速に検出できる。しかも、相似で同心状の複数の形状を備えたテンプレートを用いているから、顔を含むであろうエッジ部が、これらの形状のうち、いずれの大きさに近いかという実質的な近似を行っていることになり、顔の大きさも高速に抽出できる。このように、処理負担を大幅に軽減できるので、現状のパーソナルコンピュータレベルの処理能力でも、ほぼ実時間で顔を抽出できる。また、対象画像のうち、どの部分に顔領域があるかという点や、顔領域の個数などは、抽出前に不明であって差し支えなく、広い範囲の対象画像について、一様に顔を検出でき、極めて汎用性が高い。
【００４０】第１８の発明は、第１７の発明に従属する発明であって、予め定めた形状は、円であることを特徴とする。
【００４１】上記のように、第１８の発明によれば、形状群は、円であるため、テンプレートの中心点から、形状の全ての画素までの距離が常に一定になり、投票結果の精度を高く保持できる。
【００４２】第１９の発明は、第１〜第１６の発明に従属する発明であって、顔抽出部は、所定のテンプレート画像を入力し、当該画像のエッジ法線方向ベクトルを求め、当該エッジ法線方向ベクトルから評価ベクトルを生成し、当該評価ベクトルを直交変換するテンプレート画像処理部と、カメラ部で撮影された画像を入力し、当該画像のエッジ法線方向ベクトルを求め、当該エッジ法線方向ベクトルから評価ベクトルを生成し、当該評価ベクトルを直交変換する入力画像処理部と、テンプレート画像及び撮影された画像のそれぞれについて生成された直交変換後の各評価ベクトルについて、対応スペクトルデータを積和計算する積和部と、積和計算の結果を逆直交変換して類似値のマップを生成する逆直交変換部とを備え、評価ベクトルは、該当する画像のエッジ法線方向ベクトルを偶数倍角変換した成分を含み、類似値の算出式、直交変換及び逆直交変換は、いずれも線形性を有するものであることを特徴とする。
【００４３】上記のように、第１９の発明によれば、背景部分の輝度ばらつきにより、テンプレート画像のエッジ法線方向ベクトルと、カメラ部で撮影された画像（入力画像）のエッジ法線方向ベクトルとのなす角θの内積（ｃｏｓθ）の正負が反転する場合でも、類似値に影響が無く、正当にマッチングを評価できる。
【００４４】第２０の発明は、第１９の発明に従属する発明であって、顔抽出部は、評価ベクトルの表現において、エッジ法線方向ベクトルを極座標表現した場合の角度に基づいて計算した値を用いることを特徴とする。
【００４５】第２１の発明は、第１〜第１６の発明に従属する発明であって、顔抽出部は、カメラ部で撮影された画像から顔として抽出された位置及び大きさが、真に顔であるか否かを判定する顔・非顔判定部をさらに備え、顔と判定した場合にのみ抽出結果を出力することを特徴とする。
【００４６】第２２の発明は、第１７の発明に従属する発明であって、顔抽出部は、投票結果記憶部に記憶されている内容に基づいて、カメラ部で撮影された画像から顔として抽出された位置及び大きさが、真に顔であるか否かを判定する顔・非顔判定部をさらに備え、顔と判定した場合にのみ抽出結果を出力することを特徴とする。
【００４７】第２３の発明は、第１９の発明に従属する発明であって、顔抽出部は、逆直交変換部で生成された類似値に基づいて、カメラ部で撮影された画像から顔として抽出された位置及び大きさが、真に顔であるか否かを判定する顔・非顔判定部をさらに備え、顔と判定した場合にのみ抽出結果を出力することを特徴とする。
【００４８】上記のように、第２１〜第２３の発明によれば、実際の顔が顔領域の第１候補以外にある場合でも、安定した顔領域の抽出が可能になる。また、画像中に顔がない場合でも顔がないと判定することができるので、顔の位置を移動して表示する必要がない場合を自動的に検出することが可能になる。
【００４９】第２４の発明は、第２１の発明に従属する発明であって、顔・非顔判定部は、カメラ部で撮影された画像から顔として抽出された領域から得られる画像特徴を用いて、サポートベクトル関数の判定結果に基づいて顔・非顔の判定を行うことを特徴とする。
【００５０】第２５の発明は、第２４の発明に従属する発明であって、顔・非顔判定部は、カメラ部で撮影された画像から顔として抽出された領域から得られるエッジ法線方向ベクトルを画像特徴とすることを特徴とする。
【００５１】第２６の発明は、第２４の発明に従属する発明であって、顔・非顔判定部は、カメラ部で撮影された画像から顔として抽出された領域から得られるエッジ法線のヒストグラムを画像特徴とすることを特徴とする。
【００５２】
【発明の実施の形態】以下、図面を参照しながら、本発明の各実施形態を説明する。
（第１の実施形態）図１は、本発明の第１の実施形態に係る画像通信端末の構成を示すブロック図である。図１において、第１の実施形態に係る画像通信端末は、入力部２と、表示部３と、カメラ部４と、表示制御部５と、自画像メモリ６と、顔抽出部７と、送信データ処理部８と、通信部９と、受信データ処理部１０と、相手画像メモリ１１とを備える。まず、第１の実施形態に係る画像通信端末の各構成の概要を説明する。
【００５３】図１に示すように、本実施形態の画像通信端末では、入力部２、表示部３及びカメラ部４が、利用者１に臨んでいる。入力部２は、キーボード（テンキー等を含む）やマウス等で構成され、利用者１が送信モード及びその他必要な情報を入力するために利用される。表示部３は、ＬＣＤ等で構成され、画面上で相手の画像や表示制御部５の指示に従った目印等を、利用者１に向けて表示する。目印については後で詳述するが、利用者１が画面中における自分の顔の位置や大きさを確認できる指標である。カメラ部４は、レンズ等の光学系及びＣＣＤ等の電気系で構成され、利用者１を撮影するために用いられる。このカメラ部４で撮影された画像（以下、対象画像という）は、フレーム毎に自画像メモリ６に格納される。表示制御部５は、表示部３の画面表示（主として、受信した相手画像の表示）を制御する。また、表示制御部５は、入力部２から入力される情報に応じて、顔抽出部７で抽出された顔領域に基づいた目印を、表示部３の画面上に表示させる。
【００５４】顔抽出部７は、自画像メモリ６に格納された対象画像に対して、存在する顔の位置及び大きさを調べ、これらの情報を顔領域として表示制御部５及び送信データ処理部８へ出力する。なお、この顔抽出部７については、本発明に適用可能な手法を後で詳細に説明する。送信データ処理部８は、顔抽出部７で抽出された顔領域の位置に合わせて送信領域を設定する。そして、送信データ処理部８は、入力部２から指示された送信モードに従って、自画像メモリ６に格納された対象画像の内、送信領域内の画像データを通信部９へ送出する。通信部９は、通信経路を介して、相手の情報処理装置（画像通信端末を含む）と、少なくとも画像データの通信を行う。ここでの通信モードは任意であり、例えば、内線電話のように基地局等を介さない子機間通信でもよいし、テレビ電話のような基地局等を介する同期型通信又は非同期型通信でもよい。受信データ処理部１０は、通信部９を介して受信した相手の画像データを処理して、フレーム毎に相手画像メモリ１１へ格納する。
【００５５】なお、本実施形態では、通信部９が双方向通信を行う場合を一例に挙げて説明するが、利用者１から相手に画像データを単方向通信するビデオメール等にも本発明を適用することができる。この場合、相手の情報処理装置は、送信される画像データを受信して画面表示させる構成のみを持つものであってもよい。
【００５６】次に、図２〜図６を用いて、送信データ処理部８が行う顔領域の位置に合わせた追従処理について説明する。まず、カメラ部４による撮影領域３０と、通信部９から送信される画像の送信領域３１との関係は、一般的に図３のようになる。送信領域３１は、撮影領域３０よりも小さな矩形領域である。カメラ部４は、送信領域３１より広い撮影領域３０で被写体（利用者１）を撮影するが、画像通信端末からは送信領域３１内の画像だけが相手に送信される。図３の例では、撮影領域３０は、ｘ方向長さＡ、ｙ方向長さＢであり、送信領域３１は、ｘ方向長さＬ、ｙ方向長さＭである。また、Ｌ＜Ａ及びＭ＜Ｂであり、各々の長さＡ、Ｂ、Ｌ、Ｍは、固定的である。図３の例では、送信領域３１の左上点（ｘ１，ｙ１）を基準点としている。この基準点は、撮影領域３０内を移動可能であり、基準点が定まることで、送信領域３１の位置が一意に定まるようにしている。なお、送信領域３１の左上点以外の点を基準としてもよい。
【００５７】一方、本実施形態では、顔抽出部７で抽出された顔領域の位置及び大きさを、円形の目印Ｒで表現する。この目印Ｒの中心が顔領域の中心であり、目印Ｒの直径が顔領域の大きさに相当する。なお、目印Ｒは、円形以外の形状であっても構わない。
【００５８】図３の状態では、目印Ｒで示される顔領域が送信領域３１の右側へ逸脱している。従って、目印Ｒに基づいて図中矢印で示すように、送信領域３１を右側へ移動させれば、好ましいフレーミングになる。そこで、本実施形態では、目印Ｒが内部に含まれるように送信領域３１を移動させる。図４は、送信領域３１を移動させた後の状態（左上点（ｘ２，ｙ２））を示している。ここで、本実施形態では、図４に示しているように、送信領域３１の内側にさらに有効領域３２を設定し、有効領域３２と送信領域３１とが一体的に移動するようにしている。そして、目印Ｒが送信領域３１ではなく有効領域３２を逸脱したかどうかをチェックし、逸脱した場合には、図３から図４のように送信領域３１及び有効領域３２を移動させることとした。
【００５９】ここで、有効領域３２を狭くすると、目印Ｒが有効領域３２を逸脱する確率が上がり、相手の酔いを招来しやくすくなる。従って、図４に示しているように、有効領域３２を広めにとって、送信領域３１の移動を抑えることが望ましい。このようにしても、顔領域は見易い位置にある。
【００６０】加えて、本実施形態では、送信領域３１の移動直後の目印Ｒの位置を、送信モード（バストアップモード又はバストアップモード）によって切り替えられるようにしている。図４は、目印Ｒが送信領域３１に対してｘ方向中心かつｙ方向中心よりやや上方に位置する、バストアップモードによる画像表示手法の例である。なお、顔アップモードとは、目印Ｒが送信領域３１に対してｘ方向中心かつｙ方向中心に位置する画像表示手法である。さらには、本実施形態では、図５に示すように、これらのモードから目印Ｒを好みの方向にオフセットさせることを可能とする。これによれば、例えば、利用者１が自分と共に持参している物を一緒に相手に見せたいと考えるような場合等、種々の要求に対応できるようになる。
【００６１】次に、図２を参照して、送信データ処理部８が行う追従処理の各プロセスを説明する。まず、利用者１が、入力部２から送信モード（バストアップモード／顔アップモード）を入力する（ステップＳ２０１）。次に、カメラ部４によって利用者１が撮影され、対象画像として自画像メモリ６に格納される（ステップＳ２０２）。この撮影の時には、利用者１は、広い撮影領域３０内に顔が写る位置に居さえすれば十分である。次に、顔抽出部７が、対象画像内の顔領域（顔の位置及び大きさ）を抽出し、抽出した顔領域を送信データ処理部８へ出力する（ステップＳ２０３）。
【００６２】顔領域が抽出されると、送信データ処理部８は、送信モードに従って顔領域に送信領域３１を合わせる（ステップＳ２０４）。具体的には、図４に示すように、顔領域が送信領域３１内に含まれるように送信領域３１の左上点が決定される。次に、送信領域３１内に、有効領域３２が設定され（ステップＳ２０５）、図４の送信領域３１内の画像が表示部３によって利用者１へモニタ表示される（ステップＳ２０６）。なお、このステップＳ２０６では、利用者１自身の画像表示を省略し、目印Ｒのみを表示してもよい。次に、利用者１が、入力部２を用いてモニタ表示されたフレーミングでよいか（送信領域３１をロックするか）どうかを入力する（ステップＳ２０７）。利用者１が、送信領域３１のオフセットを希望する場合には、入力部２は、移動情報の入力を受け付けて、送信領域３１の位置を調節する（ステップＳ２１５）。その後、処理がステップＳ２０５へ戻り、再度利用者１の確認を仰ぐ。
【００６３】上記ステップＳ２０７でフレーミングが完了すると、相手との画像通信が開始される（ステップＳ２０８）。なお、適当な割り込み処理部を設けて、通信途中でもステップＳ２０１〜Ｓ２０７の処理を行えるようにすることもできる。通信が開始されると、通信部９及び受信データ処理部１０を介して、相手画像メモリ１１に格納された相手の画像が、表示部３の画面上に表示される（ステップＳ２０９）。ここで再び、カメラ部４が利用者１を撮影し（ステップＳ２１０）、顔抽出部７が顔領域を抽出し（ステップＳ２１１）、送信データ処理部８が顔領域が有効領域３２を逸脱したかどうかチェックする（ステップＳ２１２）。
【００６４】ここで、図６に示すように逸脱していれば、送信データ処理部８は、上記ステップＳ２０４と同様に送信モードに従って送信領域３１の左上点を移動させた後（ステップＳ２１３）、顔抽出部７において再び抽出された顔領域が有効領域３２を逸脱したかどうか再チェックする（ステップＳ２１１，Ｓ２１２）。一方、逸脱していなければ、送信データ処理部８は、送信領域３１を移動させることなく通信を継続させる。なお、利用者が自分の写り具合を確認しながら安心して通信したい場合には、例えばピクチャインピクチャ方式を用いて、相手の画像と共に自分の画像が画面内に表示されるようにしてもよい。そして、ステップＳ２０９〜Ｓ２１３の処理が、通信終了まで繰り返される（ステップＳ２１４）。
【００６５】以上のように、本発明の第１の実施形態に係る画像通信端末によれば、大掛かりな追従機構を用いることなく、画像通信端末の携帯性を損なわずに、実質的に利用者の動きに追従した撮影及び画像通信を行うことができる。すなわち、利用者は、写り具合を気にしなくとも好ましいフレーミングで撮影され、自画像が相手に送信される。また、顔領域が有効領域内にあれば、送信領域は移動しないので、相手側に送信される画像、特に利用者側の背景画像が、頻繁にぶれるようなことがなくなり相手の酔いを防止できる。
【００６６】ところで、周知のように、カメラ部４に用いるカメラによっては、自動露出補正の機能を有するものがある。自動露出補正とは、明るさが最適となるように自動的に画像の輝度を補正する機能であり、一般に画像全体又は数点の平均輝度に基づいて画像内の各画素の輝度を変更することで行われる。しかしながら、逆光等のように対象画像全体の平均輝度に比べ顔領域の平均輝度が低い場合には、利用者１の顔が真っ黒になってしまうという問題が残る。そこで、このような場合の対策として、送信データ処理部８では、顔抽出部７で抽出された顔領域に基づいて、カメラ部４が撮影した対象画像の明るさを顔の視認性が向上するように輝度を補正した後、通信部９へ送信するようにすればよい。
【００６７】具体的には、送信データ処理部８が、顔領域内部の平均輝度の理想値（理想平均輝度ａ）を予め記憶している。そして、送信データ処理部８は、顔抽出部７で抽出された顔領域内部の平均輝度Ｉを求め、カメラ部４で撮影された対象画像の輝度Ｙ１を新たな輝度Ｙ２に変更するため、対象画像の各画素に対して、Ｙ２＝Ｙ１×（ａ／Ｉ）を施す。これにより、顔領域内部が理想平均輝度ａとなるように補正することができる。また、この理想平均輝度ａを用いて、輝度だけでなく色相についても同様に変更することも考えられる。なお、これ以外に、送信データ処理部８が、顔領域内部が平均輝度Ｉである場合に顔領域が理想平均輝度ａとなる、設定すべきカメラ部４の露出レベルを持っている場合もあり得る。この場合には、送信データ処理部８が、顔領域内部の平均輝度Ｉに対する露出レベルをカメラ部４へ通知することにより、顔領域の明るさが理想値になるように補正することが可能となる。
【００６８】このようにすれば、逆光のような場合でも、利用者１の顔が常に見えるような画像を相手側へ送信することが可能となる。これにより、屋外においても周りの照明環境を気にすることなく画像通信端末を用いて相手と対話することが可能となる。
【００６９】（第２の実施形態）上記第１の実施形態では、簡単な追従機構を用い、画像通信端末側が利用者の動きに自動的に合わせることによって、利用者をフレーム内に捉えた適切な画像を相手側に送信できる手法を説明した。次に、この第２の実施形態では、追従機構を用いることなく、利用者側が画像通信端末に合わせて動けるような表示を行うことにより、利用者をフレーム内に捉えた適切な画像を相手側に送信できる手法を説明する。
【００７０】図７は、本発明の第２の実施形態に係る画像通信端末の構成を示すブロック図である。図７において、第２の実施形態に係る画像通信端末は、入力部２２と、表示部３と、カメラ部４と、表示制御部２５と、自画像メモリ６と、顔抽出部７と、送信データ処理部８と、通信部９と、受信データ処理部１０と、相手画像メモリ１１とを備える。まず、第２の実施形態に係る画像通信端末の各構成の概要を説明する。
【００７１】図７に示すように、本実施形態の画像通信端末では、入力部２２、表示部３及びカメラ部４が、利用者１に臨んでいる。入力部２２は、キーボード（テンキー等を含む）やマウス等で構成され、利用者１が通知モード、送信モード及びその他必要な情報を入力するために利用される。本実施形態では、入力部２２に点灯（又は点滅）が可能なテンキーが具備されている。表示部３は、ＬＣＤ等で構成され、画面上で相手の画像や表示制御部２５の指示に従った目印等を、利用者１に向けて表示する。目印については後で詳述するが、利用者１が画面中における自分の顔の位置や大きさを確認できる指標である。なお、入力部２２及び表示部３によって、相手側への送信画像における利用者１の顔の位置及び大きさを、利用者１へ通知する通知部１２が構成される。カメラ部４は、レンズ等の光学系及びＣＣＤ等の電気系で構成され、利用者１を撮影するために用いられる。このカメラ部４で撮影された画像（対象画像）は、フレーム毎に自画像メモリ６に格納される。表示制御部２５は、表示部３の画面表示（主として、受信した相手画像の表示）を制御する。また、表示制御部２５は、入力部２２から入力される通知モードに応じ、顔抽出部７で抽出された顔領域に基づいて、目印を表示部３の画面上に表示させたり、入力部２２のテンキーを点灯させたりする。
【００７２】顔抽出部７は、自画像メモリ６に格納された対象画像に対して、存在する顔の位置及び大きさを調べ、これらの情報を顔領域として表示制御部２５及び送信データ処理部８へ出力する。なお、この顔抽出部７については、本発明に適用可能な手法を後で詳細に説明する。送信データ処理部８は、入力部２２から指示された送信モードに従って、自画像メモリ６に格納された対象画像を、そのまま又は後述する加工を施して通信部９へ送出する。通信部９は、通信経路を介して、相手の情報処理装置（画像通信端末を含む）と、少なくとも画像データの通信を行う。ここでの通信モードは任意であり、例えば、内線電話のように基地局等を介さない子機間通信でもよいし、テレビ電話のような基地局等を介する同期型通信又は非同期型通信でもよい。受信データ処理部１０は、通信部９を介して受信した相手の画像データを処理して、フレーム毎に相手画像メモリ１１へ格納する。
【００７３】次に、図８〜図１０を参照して、表示制御部２５が表示部３の画面上に表示させる目印の一例を説明する。なお、これらの例は、適宜組み合わせて用いることができる。まず、図８（ａ）〜（ｄ）は、利用者１の顔の位置（ここでは、顔抽出部７で抽出された顔領域の中心）だけを、表示部３の画面上に目印Ｒで表示させる例である。図中矩形で示した領域が表示部３の画面であり、ここに相手の画像が表示される。図８（ａ）〜（ｃ）では、目印Ｒが相手の画像内に重畳させて表示される。図８（ｄ）では、目印Ｒが相手の画像外に表示される。これらの目印Ｒの表示は、相手の画像のフレームに同期して更新してもよいし、非同期で更新してもよい。図８（ａ）は、目印Ｒとして十字線を用い、線の交点が利用者１の顔の位置を示すようにしたものである。図８（ｂ）は、目印Ｒとして矢印を用い、双方の矢印で特定される点が利用者１の顔の位置を示すようにしたものである。図８（ｃ）は、目印Ｒとして十字又は×印の図形を用い、図形の位置が顔の位置を示すようにしたものである。図８（ｄ）は、目印Ｒとして相手の画像の枠外に表示される縦横ルーラを用い、縦ルーラ上に付された印と横ルーラ上に付された印とで特定される点が利用者１の顔の位置を示すようにしたものである。
【００７４】次に、図９（ａ）〜（ｃ）は、利用者１の顔の位置及び大きさ（顔抽出部７で抽出された顔領域全体）を、表示部３の画面上に目印Ｒで表示させる例である。図９（ａ）は、目印Ｒとして縦横２本ずつの平行線を用い、この平行線で囲まれた矩形領域が利用者１の顔の位置及び大きさを示すようにしたものである。図９（ｂ）は、目印Ｒとして相手の画像の枠外に表示される縦横ルーラを用い、縦ルーラ上に付された幅付き印と横ルーラ上に付された幅付き印とで特定される領域が利用者１の顔の位置及び大きさを示すようにしたものである。図９（ｃ）では、目印Ｒとして顔領域に近似する円（又は楕円）を用い、円領域が利用者１の顔の位置及び大きさを示すようにしたものである。
【００７５】なお、これらの目印Ｒは、相手の画像に依存せずに表示させてもよいし、依存して表示させてもよい。前者としては、例えば、相手の画像にかかわらず所定の色（黒一色等）で目印Ｒを表示させることである。後者としては、例えば、表示させる目印Ｒが相手の画像上でわかり難くなる場合に、目印Ｒを表示させる画素の輝度を変化させたり、そのＲＧＢ値を変化（反転）させることである。いずれにしても、これらの目印Ｒは、相手の画像の邪魔にならぬように表示することが望ましい。
【００７６】さらに、図１０は、利用者１の顔のおおよその位置を、表示部３ではなく入力部２２で表示させる例である。図１０に示すように、目印Ｒとして点灯が可能なテンキーを用い、このテンキーのいずれかを点灯させることで顔の位置を利用者１へ通知することができる。図１０では、「３」のキーを点灯させているので、顔の位置が画面の「右上」にあることを通知できる。同様に、「１」のキーなら画面の「左上」、「５」のキーなら画面の「真中」、「９」のキーなら画面の「右下」というように、概略の位置表示を行える。なお、このような概略位置の通知であっても、十分実用に値する。
【００７７】なお、本実施形態では、入力部２２から表示制御部２５へ与えられる通知モードによって、図８〜図１０のいずれの方法で顔の位置を通知させるかを切り替えることが可能なようにしている。さらに、これらの通知は、常時行ってもよいし、利用者１が入力部２２で通知を指示した時のみ行ってもよい。また、概略位置の通知を行う方法としては、図１０に示す入力部２２のテンキーの点灯以外にも、音や光によることもできる。例えば、音の場合には、スピーカから発するインターバルや周波数を顔の位置に応じて変化させたり、光の場合には、点灯させる明るさや点滅のインターバルを顔の位置に応じて変化させること等が考えられる。
【００７８】次に、図１１を参照して、送信データ処理部８が通信部９を介して送信する利用者１の画像例について説明する。本実施形態では、相手側へ送信される画像が、入力部２２から送信データ処理部８へ与えられる送信モードによって、選択できるようになっている。ここで、利用者１側（自分側）では、相手の画像の上に、図１１（ａ）のような目印Ｒ（図９（ａ）〜（ｃ）の組み合わせ）が表示されているものとする。このとき、送信データ処理部８は、送信モードによって、種々の形態で自画像を相手に送信することができる。例えば、送信モードが「通常」であれば、図１１（ｂ）のように、送信データ処理部８は、カメラ部４の取得画像をそのまま送信する。また、送信モードが「目印付き」であれば、図１１（ｃ）に示すように、送信データ処理部８は、顔抽出部７で抽出された顔領域を参照して、取得画像に目印Ｒを合成した自画像を作成し、相手に送信する。さらに、送信モードが「顔のみ」であれば、図１１（ｄ）に示すように、送信データ処理部８は、取得画像から顔抽出部７で抽出された顔領域のみを切り取った自画像を、相手に送信する。
【００７９】送信モードに基づくこれらの画像処理は、周知技術によって簡単に実現することができるので、その詳しい説明は省略する。ここで、図１１（ｃ）のように「目印付き」で自画像を送信すれば、例えば自分がどこに居るのかわかり難い画像（暗闇の中に居る画像）を送信する場合であっても、相手に自分の位置を正確に把握させることが可能となる。また、図１１（ｄ）のように、「顔のみ」で自画像を送信すれば、背景が写らないので相手に見られたくない部分を隠すことができ、プライバシーを保護できる。なお、このように背景を隠しても、顔の表情等は相手に伝わるので、会話に支障はない。なお、上記説明した送信モードは、互いにユニークであれば、他の任意の区別法によることも可能である。
【００８０】以上のように、本発明の第２の実施形態に係る画像通信端末によれば、抽出した顔領域に基づく目印を用いて、利用者の画面上の位置関係を簡潔かつ適切に表現することができる。従って、利用者は、自分の顔の位置が画面を逸脱した場合はもとより、自分の顔の位置が画面を逸脱していない場合であっても、自分の顔の位置を確認しながら、安心して相手との会話を進めることができる。また、上記第１の実施形態に比べ追従機構を省略しているので、画像通信端末の携帯性を良好にさせることができる。
【００８１】（顔抽出部７の詳細な実施例）次に、上述した本発明の第１及び第２の実施形態に係る画像通信端末に適用できる顔抽出部７の具体的な実施例を、３通り説明する。なお、顔抽出部７には、以下に説明する３つの手法の他に、色情報に基づくもの、目や口等の顔の部分に着目するもの、テンプレートマッチングによるもの等、周知のさまざまな手法を適用させることが可能である。
【００８２】＜実施例１＞図１２は、実施例１の顔抽出部７の構成を示すブロック図である。図１２において、顔抽出部７は、エッジ抽出部５１と、テンプレート記憶部５２と、投票結果記憶部５３と、投票部５４と、解析部５５とを備える。
【００８３】エッジ抽出部５１は、カメラ部４が撮影した対象画像からエッジ部を抽出し、エッジ部だけの画像（以下、エッジ画像という）を生成する。ここで、エッジ部とは、人物の外郭や顔の輪郭等に相当する部分（画素）であって、対象画像内の高周波成分となる部分である。このエッジ抽出部５１には、対象画像から高周波成分を取り出すＳｏｂｅｌフィルタ等を用いるのが好ましい。
【００８４】テンプレート記憶部５２には、予め定めた形状を、相似で大きさを異ならせた種々のサイズによって、中心点で同心状に複数設けたテンプレートのデータが記憶されている。このテンプレートの形状には、円、楕円、正多角形、多角形等を用いることができるが、中心点から形状線（形状を形成する各画素）までの距離が常に一定である円を用いることが最も好ましい。これにより、後述する投票結果の精度を高くさせることができる。以下、この実施例１では、図１３に示すように、中心点がＰで半径が異なる同心円を複数設けたテンプレートを用いた場合を説明する。ここで、テンプレートを構成する複数の円ｔ１〜ｔｎ（ｎは、任意の整数）は、図１３に示すテンプレートのように、一定間隔で半径が変化する構成であってもよいし、不定間隔で半径が変化する構成であってもよい。また、テンプレートを構成する複数の円ｔ１〜ｔｎは、全ての線幅が１ドット（対象画像の１画素に相当）で構成されてもよいし、一部又は全部の線幅が２ドット以上（すなわち、円環形状）で構成されてもよい。なお、以下の説明では、円及び円環を総称して単に「円」という。
【００８５】この複数の円ｔ１〜ｔｎは、まとめて１つのテンプレートとして扱われてテンプレート記憶部５２に記憶されるが、実際の処理では、テンプレートを構成する各円ｔ１〜ｔｎは、独立して扱われることとなる。このため、各円ｔ１〜ｔｎを形成する画素データは、テンプレート記憶部５２において、例えばテーブル形式でそれぞれ記憶される。
【００８６】投票結果記憶部５３には、後述する投票部５４において行われる投票処理の結果を記憶する領域（以下、投票記憶領域という）が、テンプレート記憶部５２に記憶されているテンプレートを構成する各サイズの形状毎に、設けられている。この例では、各サイズの形状が円ｔ１〜ｔｎであるので、投票結果記憶部５３には、円ｔ１〜ｔｎに関してｎ個の投票記憶領域が設けられることとなる。なお、この投票記憶領域は、対象画像に対応する範囲を有する。
【００８７】投票部５４は、エッジ抽出部５１で生成されたエッジ画像について、テンプレート記憶部５２に記憶されているテンプレートを用いて、投票処理を行う。図１４は、投票部５４で行われる投票処理の手順を示すフローチャートである。図１４を参照して、投票部５４は、まず、投票結果記憶部５３にアクセスして、各投票記憶領域内の座標を表す成分（投票値）を、全て零に初期化する（ステップＳ６０１）。次に、投票部５４は、エッジ画像内のエッジ部の先頭画素位置に、テンプレートの中心点Ｐをセットする（ステップＳ６０２）。この先頭画素位置は、例えば、エッジ画像上を左上から右上又は左下へ順次走査して行き、最初に検出されたエッジ部の画素の位置とすればよい。
【００８８】次に、投票部５４は、テンプレートを構成する形状（この例では、円ｔ１〜ｔｎ）を特定するカウンタｉを、「１」に初期化する（ステップＳ６０３）。次に、投票部５４は、カウンタｉ（＝１）によって特定される円ｔ１について、円ｔ１を形成する全画素のエッジ画像上のｘｙ座標をそれぞれ取得する（ステップＳ６０４）。そして、投票部５４は、投票結果記憶部５３に設けられた円ｔ１に関する投票記憶領域において、取得した各ｘｙ座標を表す成分にそれぞれ「１」を加算して投票を行う（ステップＳ６０５）。この処理が終わると、投票部５４は、カウンタｉを１つインクリメントして、ｉ＝２とする（ステップＳ６０７）。次に、投票部５４は、カウンタｉ（＝２）によって特定される円ｔ２について、円ｔ２を形成する全画素のエッジ画像上のｘｙ座標をそれぞれ取得する（ステップＳ６０４）。そして、投票部５４は、投票結果記憶部５３に設けられた円ｔ２に関する投票記憶領域において、取得した各ｘｙ座標を表す成分にそれぞれ「１」を加算して投票を行う（ステップＳ６０５）。
【００８９】以降同様にして、投票部５４は、ｉ＝ｎになるまでカウンタｉを１つずつインクリメントしながら（ステップＳ６０６，Ｓ６０７）、テンプレートを構成する全形状である円ｔ３〜ｔｎについて、上記ステップＳ６０４及びＳ６０５の投票処理を繰り返し行う。これにより、各円ｔ１〜ｔｎに関する投票記憶領域のそれぞれに、先頭画素位置における投票処理が行われることになる。そしてさらに、投票部５４は、エッジ部の次の画素位置にテンプレートの中心点Ｐをセットして上記ステップＳ６０３〜Ｓ６０７の処理を繰り返し行うことを、エッジ画像内のエッジ部の全画素に対して、１回ずつ行う（ステップＳ６０８，Ｓ６０９）。すなわち、投票部５４による投票処理は、テンプレートの中心点Ｐがエッジ部の全画素を這うように行われる。
【００９０】例えば、図１５に示すエッジ画像に上記投票処理を施すことによって、投票結果記憶部５３に設けられたｎ個の投票記憶領域には、図１６に示すような投票数が記憶される。なお、図１６では、図面を見易くするため、エッジ部の一部の画素位置で投票処理が行われた場合を示している。図１６において、実線円の部分が、上記ステップＳ６０５においてテンプレートの各サイズの形状（円ｔ１〜ｔｎ）に基づいて投票された座標成分に相当し、座標数「１」となる。また、上述したように各投票数は累積加算されるので、図１６の実線円が交差する部分（図中、●印で示す）は、交差する数が多いほど投票数が高いことを表している。
【００９１】そのため、中心点を持つ円又は楕円に近似した顔の輪郭を表現するエッジ部に、上述した投票処理を施せば、その中心点付近に高い投票数が集中することとなる。従って、高い投票値が集中する部分を判断すれば、顔の中心を特定することが可能になる。また、このような高い投票値が集中する現象は、テンプレートの中でも、顔の輪郭を表現するエッジ部の最小幅と等しい又は非常に近い半径を持つ円形状を用いた場合に、より顕著に現れる。従って、この現象がどの円形状の投票記憶領域に顕著に現れているかを判断すれば、顔の大きさを特定することが可能になる。この点は、一般化ハフ変換と似ていると言える。しかし、本発明の顔抽出方法では、同心状に複数サイズの形状を持つテンプレートを使用することにより、エッジ部の中心点と共にその大きさも一度に特定できるという点で、一般化ハフ変換とは明確に異なる。
【００９２】なお、上記ステップＳ６０１において、各投票記憶領域内の座標を表す成分を、全て予め定めた最大値に初期化し、上記ステップＳ６０５において、取得した各ｘｙ座標を表す成分からそれぞれ「１」を減算して投票を行ってもよい。この場合、低い投票値が集中する部分を判断すれば、顔の中心を特定することが可能であり、この集中現象がどの円形状の投票記憶領域に顕著に現れているかを判断すれば、顔の大きさを特定することが可能になる。また、上記ステップＳ６０５において、投票数を加算又は減算させる値は「１」以外であってもよく、値を自由に設定することができる。
【００９３】次に、投票結果記憶部５３に記憶された投票結果に基づいて、対象画像の顔領域を特定する手法を説明する。解析部５５は、投票部５４による投票処理が完了した後、投票結果記憶部５３に記憶された投票結果に基づいて、そのクラスタを評価して、対象画像に含まれる顔の位置及び大きさを求める。図１７は、解析部５５で行われる解析処理の手順を示すフローチャートである。
【００９４】図１７を参照して、解析部５５は、まず、テンプレートを構成する形状（この例では、円ｔ１〜ｔｎ）を特定するカウンタｊを、「１」にセットする（ステップＳ７０１）。次に、解析部５５は、カウンタｊ（＝１）によって特定される円ｔ１について、投票結果記憶部５３の円ｔ１に関する投票記憶領域に記憶されている投票結果を参照して、投票数が予め定めたしきい値Ｇ（例えば、２００等）を越える成分だけを抽出する（ステップＳ７０２）。このしきい値Ｇは、対象画像の精細度や所望する抽出精度に基づいて、任意に定めることができる。次に、解析部５５は、抽出した成分だけを対象に、クラスタリングを行い（ステップＳ７０３）、クラスタ化された各領域の分散値及び共分散値をそれぞれ計算する（ステップＳ７０４）。このクラスタリングにおける類似度は、ユークリッド平方距離、標準化ユークリッド平方距離、マハラノビスの汎距離又はミンコフスキー距離のいずれを用いて判断されてもよい。また、クラスタの形成には、最短距離法（ＳＬＩＮＫ：single linkage clustering method）、最長距離法（ＣＬＩＮＫ：complete linkage clustering method）又は群平均法（ＵＰＧＭＡ：unweighted pair-group method using arithmetic averages）のいずれを用いてもよい。
【００９５】次に、解析部５５は、クラスタ化された各領域の分散値及び共分散値を、予め定めたしきい値Ｈと比較する（ステップＳ７０５）。そして、このステップＳ７０５において各値がしきい値Ｈ未満の場合、解析部５５は、その領域の中心点を顔の中心点とみなして、この時のカウンタｊ（＝１）が指す円ｔ１のサイズ（直径）を顔の短軸長とし（ステップＳ７０６）、この短軸長に一定値（経験的に定める）を加えた長さを顔の長軸長として決定する（ステップＳ７０７）。そして、解析部５５は、この決定した中心点、短軸長及び長軸長を、解析結果として保持する（ステップＳ７０８）。一方、上記ステップＳ７０５において各値がしきい値Ｈ以上の場合、解析部５５は、その領域の中心点が顔の中心点ではないと判断して、次の処理に移る。
【００９６】この処理が終わると、解析部５５は、カウンタｊを１つインクリメントして、ｊ＝２とする（ステップＳ７１０）。次に、解析部５５は、カウンタｊ（＝２）によって特定される円ｔ２について、投票結果記憶部５３の円ｔ２に関する投票記憶領域に記憶されている投票結果を参照して、投票数が予め定めたしきい値Ｇを越える成分だけを抽出する（ステップＳ７０２）。次に、解析部５５は、抽出した成分だけを対象に、クラスタリングを行い（ステップＳ７０３）、クラスタ化された各領域の分散値及び共分散値をそれぞれ計算する（ステップＳ７０４）。次に、解析部５５は、クラスタ化された各領域の分散値及び共分散値を、予め定めたしきい値Ｈと比較する（ステップＳ７０５）。そして、このステップＳ７０５において各値がしきい値Ｈ未満の場合、解析部５５は、その領域の中心点を顔の中心点とみなして、この時のカウンタｊ（＝２）が指す円ｔ２のサイズを顔の短軸長とし（ステップＳ７０６）、この短軸長に一定値を加えた長さを顔の長軸長として決定する（ステップＳ７０７）。そして、解析部５５は、この決定した中心点、短軸長及び長軸長を、解析結果として追加して保持する（ステップＳ７０８）。一方、上記ステップＳ７０５において各値がしきい値Ｈ以上の場合、解析部５５は、その領域の中心点が顔の中心点ではないと判断して、次の処理に移る。
【００９７】以降同様にして、解析部５５は、ｊ＝ｎになるまでカウンタｊを１つずつインクリメントしながら（ステップＳ７０９，Ｓ７１０）、投票結果記憶部５３に記憶されている各円ｔ３〜ｔｎに関する投票記憶領域について、上記ステップＳ７０２〜Ｓ７０８の解析処理を繰り返し行う。これにより、各円ｔ１〜ｔｎに関する投票記憶領域における、顔領域抽出の解析結果を得ることができる。この解析結果は、表示制御部５，２５及び送信データ処理部８へ出力される。
【００９８】このように、実施例１の顔抽出部７では、負担が軽い投票処理（基本的には加算処理のみ）と投票数の評価だけで、顔の位置を高速に抽出できる。しかも、相似で同心状の複数サイズの形状を備えたテンプレートを用いているので、顔領域であろうエッジ部が、これらの形状のいずれのサイズに近いかという実質的な近似を行っていることになり、顔の大きさも高速に抽出できる。
【００９９】＜実施例２＞次に、実施例２として、直交変換後の空間でパターンマッチングを行うことにより処理量の削減を図り、携帯電話等のような限られた処理量を要求される端末において有効となる手法を説明する。図１８は、実施例２の顔抽出部７の構成を示すブロック図である。図１８において、顔抽出部７は、テンプレート画像処理部８０と、入力画像処理部９０と、積算部１０１と、逆直交変換部（逆ＦＦＴ）１０２と、マップ処理部１０３とを備える。この実施例２の手法は、テンプレート画像処理部８０及び入力画像処理部９０において、テンプレート画像及び入力画像（対象画像）にそれぞれ線形性を有する直交変換を施し、それらを積算した後に逆直交変換して、類似値Ｌを求めるものである。
【０１００】ここで、実施例２では、直交変換としてＦＦＴ（高速離散フーリエ変換）を使用する場合を説明するが、この他にＨａｒｔｌｅｙ変換や数論的変換等を用いることもできる。これら他の変換方法を使用する場合には、以下の説明中の「フーリエ変換」とある部分を、これらの変換方法に読み替えればよい。また、テンプレート画像処理部８０及び入力画像処理部９０のいずれにおいても、エッジ法線方向ベクトルの内積を利用し、エッジ法線方向ベクトルの方向が近いほど、高い相関が出るようにしている。しかも、この内積は、偶数倍角表現を用いて評価される。以下簡単のため、偶数倍角の例として２倍角の場合を説明するが、４倍角や６倍角等の他の偶数倍角においても、実施例２と同様の効果を奏することができる。
【０１０１】まず、テンプレート画像処理部８０について説明する。図１８において、テンプレート画像処理部８０は、エッジ抽出部８１と、評価ベクトル生成部８２と、直交変換部（ＦＦＴ）８３と、圧縮部８４と、記録部８５とを備える。
【０１０２】エッジ抽出部８１は、入力されるテンプレート画像に対して、ｘ方向及びｙ方向のそれぞれについて微分処理（エッジ抽出）を施し、テンプレート画像のエッジ法線方向ベクトルを出力する。本実施例２では、ｘ方向について、
【数１】
なるＳｏｂｅｌフィルタを用い、ｙ方向について、
【数２】
なるＳｏｂｅｌフィルタを用いている。これらのフィルタ（１）及び（２）より、次式（３）で定義されるテンプレート画像のエッジ法線方向ベクトルが求められる。
【数３】
【０１０３】評価ベクトル生成部８２は、エッジ抽出部８１からテンプレート画像のエッジ法線方向ベクトルを入力し、次に述べる処理を行って、テンプレート画像の評価ベクトルを直交変換部８３へ出力する。まず、評価ベクトル生成部８２は、次式（４）を用いて、テンプレート画像のエッジ法線方向ベクトルを長さについて正規化する。
【数４】
これは、照明変動のような撮影条件が変化する場合、エッジの強度（長さ）は影響を受け易いが、エッジの角度は影響を受け難いことを考慮させるためである。そこで、本実施例２では、後述するように、入力画像処理部９０において対象画像のエッジ法線方向ベクトルを長さ「１」に正規化している。これに合わせて、テンプレート画像処理部８０においても、テンプレート画像のエッジ法線方向ベクトルを長さ「１」に正規化している。また、周知のように、三角関数については次式（５）の倍角公式が成立する。
【数５】
この倍角公式を用いて、エッジベクトルを次式（６）に基づいて正規化する。
【数６】
【０１０４】以下、この式（６）について説明する。まず、定数ａは、微小エッジ除去用のしきい値であって、定数ａより小さなベクトルをゼロベクトルにしているのは、ノイズ等を除去するためである。次に、ｘｙ各成分が、式（４）のｘｙ各成分の倍角に係る余弦・正弦の従属関数になっている点について、説明する。ここで、テンプレートの評価ベクトルＴと、対象画像の評価ベクトルＩとのなす角をθとし、その内積、つまりｃｏｓθを類似尺度として用いると、次のような問題がある。例えば、テンプレート画像が、図１９（ａ）に示すもので、対象画像が、同図（ｂ）に示すものであるとする。ここで、図１９（ｂ）の背景部分の画像は、左半分が対象物よりも明るく、右半分が対象物よりも暗くなっている。画像のみで見れば、図１９（ａ）のテンプレート画像の中心が、同図（ｂ）の対象画像の中心に一致する時、対象物が完全に一致するので、このとき類似値は最大にならなければならない。そして、エッジ法線方向ベクトルは、対象物の画像から外側に向くものを正とすると、図１９（ｂ）の明るい背景部分でも暗い背景部分でも、対象物から見て同じ向き（外向き／内向き）でなければならない。しかしながら、このとき、図１９（ｂ）の背景部分の輝度が、対象物の左右でばらついていると、図１９（ｂ）に矢印で示しているように、向きが反対（明るい背景部分では対象物の外側向き、暗い背景部分では対象物の内側向き）になってしまう。このような場合、本来、最大の類似値となるべき場合において、必ずしも類似値が高い値にならず、誤認識を招き易い。
【０１０５】以上の点を図２０を用いて、さらに詳しく説明する。テンプレート画像の評価ベクトルＴと、対象画像の評価ベクトルＩとのなす角θの内積ｃｏｓθを類似値として用いる場合、上述したように、対象物の周囲にある背景画像の輝度ばらつきによって、対象画像の評価ベクトルの方向は、Ｉ方向又はその正反対のＩ’方向のいずれかになる可能性がある。このため、類似尺度である内積は、ｃｏｓθとｃｏｓθ’との２通りがあり得ることになる。しかも、θ＋θ’＝πであり、ｃｏｓθ＝ｃｏｓ（π−θ’）＝−ｃｏｓθである。つまり、ｃｏｓθを類似尺度として用いると、本来、類似値を増やすように作用しなければならない場合において、逆に類似値を減らすことになる場合がある。また、類似値を減らすように作用しなければならない場合において、逆に類似値を増やすことになる場合がある。
【０１０６】そこで、本実施例２では、θの倍角の余弦（ｃｏｓ２θ）を、類似値の式に使用している。こうすると、ｃｏｓθ’＝−ｃｏｓθとなっていても、式（５）の倍角公式から、ｃｏｓ２θ’＝ｃｏｓ２θとなる。つまり、類似値を増やすように作用しなければならない場合には、背景部分に影響されずに類似値は高くなる。従って、背景部分の画像に輝度ばらつきがあっても、正当に画像のマッチングを評価することができる。以上の点は、２倍角だけでなく、４倍角や６倍角などでも同様に成立する。これにより、偶数倍角評価により、背景の輝度条件にかかわらず、安定してパターンを抽出できる。なお、この表現の他にもここで、ＴｘとＴｙの値の組み合わせからｃｏｓθ＝Ｔｘ，ｓｉｎθ＝Ｔｙと表現されるθの値（すなわち、エッジ法線方向ベクトルを極座標表現した場合の位相角）として、Ｔｘ，Ｔｙの２つではなく１つの値で表現することも可能である。また、θを０〜３６０度でなく、例えば８ビット表現とし、マイナスの値を２の補数表現として２進数で表現した場合（すなわち、−１２８〜１２７とした場合）、−１２８に１を加算した場合は０となり、循環表現となる。このため、θに関する倍角計算及び類似値計算において、１２７を超えた場合に−１２８とする処理が自動的に行われる。
【０１０７】次に、類似値の計算について説明する。より具体的には、本実施例２では、次式（７）により、類似値Ｌを定義する。
【数７】
なお、評価ベクトルを（Ｖｘ，Ｖｙ），（Ｔｘ，Ｔｙ）ではなく、Ｖθ，Ｔθとした場合は次式（８）となる。
【数８】
なお、ここでは評価ベクトルの要素が１つの場合もベクトルと標記している。
【０１０８】ここで、式（７）及び式（８）は、加算及び積算のみからなるので、類似値Ｌは、対象画像及びテンプレート画像のそれぞれの評価ベクトルについて線形である。従って、式（７）及び式（８）をフーリエ変換すると、フーリエ変換の離散相関定理により、
【数９】
【数１０】
となる。なお、式（９）及び式（１０）において、“〜”はフーリエ変換値を、“＊”は複素共役を表している。
【０１０９】また、式（９）又は式（１０）を逆フーリエ変換すれば、式（７）又は式（８）の類似値Ｌが得られる。そして、式（９）及び式（１０）より、次の２点が明らかとなる。
１．直交変換した後の変換値においては、テンプレート画像に係るフーリエ変換値と、対象画像に係るフーリエ変換値とを、単純に積和すればよい。
２．テンプレート画像に係るフーリエ変換値と、対象画像に係るフーリエ変換値とを、同時に求める必要はなく、テンプレート画像に係るフーリエ変換値を対象画像のフーリエ変換値に先行して求めておいても構わない。
【０１１０】そこで、本実施例２では、テンプレート画像処理部８０に記録部８５を設け、対象画像の入力に先立ち、圧縮部８４の出力を記憶しておくことにしている。これにより、対象画像が入力画像処理部９０に入力された後は、テンプレート画像処理部８０は、何らテンプレート画像の処理を行う必要がない。従って、画像通信端末の処理能力を、入力画像処理部９０及び積算部１０１より後段の処理に集中させることができ、一層処理を高速化できる。
【０１１１】次に、評価ベクトル生成部８２よりも後段の構成を説明する。図１８に示すように、テンプレート画像処理部８０において、評価ベクトル生成部８２から出力されるテンプレート画像の評価ベクトルは、直交変換部８３によりフーリエ変換され、圧縮部８４に出力される。圧縮部８４は、フーリエ変換後の評価ベクトルを削減して、記録部８５に格納する。図２１に示すように、変換後の評価ベクトルは、ｘｙ両方向について高低さまざまな周波数成分を含んでいる。本発明者らの実験によれば、全ての周波数成分について処理を行わなくとも、低周波数成分（例えば、ｘｙ両方向について、低周波側半分ずつ等）について処理を行えば、十分な精度が得られることがわかっている。なお、図２１において、斜線を付していない領域（−ａ≦ｘ≦ａ，−ｂ≦ｙ≦ｂ）が元の領域であり、斜線を付した領域（−ａ／２≦ｘ≦ａ／２，−ｂ／２≦ｙ≦ｂ／２）が削減後の領域である。すなわち、処理量は１／４となる。このようにすれば、処理対象を削減して、さらに高速な処理を実現できる。なお、圧縮部８４及び記録部８５は、データ量が小さい時や高速性が要求されない時は、省略することも可能である。
【０１１２】次に、入力画像処理部９０について説明する。図１８において、入力画像処理部９０は、エッジ抽出部９１と、評価ベクトル生成部９２と、直交変換部（ＦＦＴ）９３と、圧縮部９４とを備える。入力画像処理部９０は、テンプレート画像処理部８０と同等の処理を行う。すなわち、エッジ抽出部９１は、式（１）及び式（２）を用いて対象画像のエッジ法線方向ベクトルを出力する。また、評価ベクトル生成部９２は、エッジ抽出部９１から対象画像のエッジ法線方向ベクトルを入力し、テンプレート画像処理部８０の評価ベクトル生成部８２と同等の処理を行い、評価ベクトルを生成する。評価ベクトル生成部９２から出力される対象画像の評価ベクトルは、直交変換部９３によりフーリエ変換され圧縮部９４に出力される。圧縮部９４は、フーリエ変換後の評価ベクトルを削減して、積算部１０１へ出力する。ここで、圧縮部９４は、テンプレート画像処理部８０の圧縮部８４と同一の周波数帯に処理対象を削減する。
【０１１３】次に、積算部１０１以降を説明する。テンプレート画像処理部８０及び入力画像処理部９０の処理が完了すると、積算部１０１は、記録部８５と圧縮部９４とから、テンプレート画像及び対象画像の各評価ベクトルのフーリエ変換値を入力する。そこで、積算部１０１は、式（９）又は式（１０）による積和演算を行い、結果（類似値Ｌのフーリエ変換値）を逆直交変換部１０２へ出力する。逆直交変換部１０２は、類似値Ｌのフーリエ変換値を逆フーリエ変換し、類似値ＬのマップＬ（ｘ，ｙ）をマップ処理部１０３へ出力する。マップ処理部１０３は、このマップＬ（ｘ，ｙ）から、値の高い点（ピーク）を抽出し、その位置と値とを出力する。なお、マップ処理部１０３以降は、必要に応じて自由に構成することができる。
【０１１４】さて、対象画像のサイズをＡ（＝２γ）とし、テンプレート画像のサイズをＢとすると、テンプレート画像を対象画像上で順次走査させ、各位置での相関値を求めるためには、積の回数＝２ＡＢの計算回数が必要になる。なお、ここでの計算回数は、計算コストが高い積の回数で評価する。一方、本実施例２は、直交変換部８３，９３による２回のＦＦＴ、積算部１０１の積和計算、及び逆直交変換部１０２による１回の逆ＦＦＴが必要で、積の回数＝３｛（２γ−４）Ａ＋４｝＋２Ａの計算回数で済む。これらの計算回数を比較すると、例えば、Ａ＝２５６×２５６＝２16とし、Ｂ＝６０×６０とした場合、本実施例２による積の計算回数は約１／１００となり、非常に高速な処理が可能になり、処理量の削減につながる。
【０１１５】このように、実施例２の顔抽出部７では、少ない処理量で顔の位置を抽出できる。そのため、携帯型の画像通信端末のように限られた処理量が要求される場面においても、顔の位置及び大きさを抽出することが可能となる。また、倍角表現を行うことで携帯型の画像通信端末のように撮影場所や時間が限定されず、あらゆる撮影条件を想定しなければならない場面においても、安定して顔を抽出することが可能になる。
【０１１６】＜実施例３＞上記実施例１及び実施例２の顔抽出手法では、対象画像内に顔が存在しない場合でも、顔に近い部分を強引に顔領域として抽出してしまう。そこで、次に実施例３として、実施例１及び実施例２の顔抽出手法によって抽出された顔の位置及び大きさが、真に顔であるか否かをさらに判定する手法を説明する。
【０１１７】これを実現するためには、図１２に示す実施例１の解析部５５の後段、又は図１８に示す実施例２のマップ処理部１０３の後段に、抽出された顔領域が真の顔であるか否かを判定する構成（顔・非顔判定部）を設ける。実施例１の解析部５５の後段に顔・非顔判定部を設ける場合、最も簡単には、顔・非顔を判断するためのしきい値を予め定め、解析部５５から出力される領域の投票値及び顔の大きさから求めた値が、このしきい値を越えれば当該領域が顔であると判断させる。ここで、投票値及び顔の大きさから求めた値とは、投票値を顔の大きさで割った値である。このような処理を行うのは、顔の大きさに比例する投票値を、顔の大きさで正規化させる理由による。また、実施例２のマップ処理部１０３の後段に顔・非顔判定部を設ける場合、最も簡単には、顔・非顔を判断するためのしきい値を予め定め、マップ処理部１０３から出力される領域の類似値が、このしきい値を越えれば当該領域が顔であると判断させる。なお、上記実施例１及び実施例２では、顔抽出部７から出力される顔領域が１つである場合を説明したが、複数の顔領域が出力される場合であっても、上述した本実施例３の顔・非顔判定を適用させることができる。
【０１１８】そして、顔・非顔判定部で顔でないと判断された顔領域は、顔抽出部７から表示制御部５及び送信データ処理部８へは、出力されない。なお、上記第１の実施形態における送信データ処理部８は、顔抽出部７から顔領域が出力されない場合、送信領域３１の位置を移動させずに前時刻の送信領域３１をそのまま用いる。また、一定時間顔領域が出力されない場合には、初期位置（例えば、撮影領域３０の中央）に送信領域３１を設定する。
【０１１９】一方、上述したしきい値による判断方法ではなく、サポートベクトル関数を用いて顔・非顔を判定する方法がある。以下に、サポートベクトル関数を用いた顔・非顔判定を概説する。なお、サポートベクトル自体は公知の技術であり、文献「Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓによる複数カテゴリの識別（電子情報通信学会信学技法ＰＲＭＵ９８−３６（１９９８−０６））」に詳しく説明されている。
【０１２０】図２２は、実施例３の顔抽出部７の構成の内、実施例１及び実施例２の構成に追加される構成部分を示すブロック図である。図２２において、実施例３での追加構成は、画像サイズ正規化部１１１と、特徴ベクトル抽出部１１２と、顔・非顔判定部１１３と、顔・非顔学習辞書１１４とを備える。この図２２の構成は、実施例１の解析部５５の後段、又は実施例２のマップ処理部１０３の後段に追加される。
【０１２１】画像サイズ正規化部１１１は、解析部５５又はマップ処理部１０３から出力される顔領域部分の画像を、対象画像から切り出す。そして、画像サイズ正規化部１１１は、切り出した画像（以下、顔領域候補画像という）について、各画素における画像特徴（例えば、エッジ強度、色の値、輝度値等）を求めた後、一定サイズに正規化を行う。ここでは、顔領域候補画像を１０×１０画素の大きさに拡大又は縮小（すなわち正規化）した例を説明する。特徴ベクトル抽出部１１２は、正規化された顔領域候補画像の輝度情報を特徴データの１つとして取得する。この例では、１０×１０画素の画像に正規化されているので、１００次元の特徴ベクトルｘｉ（０≦ｉ＜１００）が取得されることとなる。
【０１２２】ここで、特徴ベクトル抽出部１１２は、エッジ法線方向ベクトルを特徴ベクトルとして抽出してもよい。具体的には、顔領域候補画像に対してＸ方向ｓｏｂｅｌフィルタとＹ方向ｓｏｂｅｌフィルタとをかけ、各画素におけるＸ方向の強度及びＹ方向の強度を基にして方向ベクトルを計算する。この計算では、値として角度と強さとが算出されるので、強度は無視して角度のみを取り出す。そして、２５６階調を基準として各方向の正規化を実施し、特徴ベクトルとして使用する。また、特徴ベクトル抽出部１１２は、顔領域候補画像内部の正規化された角度毎のヒストグラムを計算して、エッジ法線のヒストグラムを特徴ベクトルとして抽出してもよい。
【０１２３】そして、顔・非顔判定部１１３は、顔・非顔学習辞書１１４に予め用意されている特徴画像及びパラメータを用い、以下の計算式によって顔領域の顔・非顔判定を行う。
【数１１】
ここで、Ｋ（ ）はカーネル関数を、αｉは対応するＬａｇｒａｎｇｅ係数を、ｙｉは教師データを示し、学習辞書が顔の時に＋１が、非顔の時に−１が適用される。なお、カーネル関数には、上記した式（１２）以外にも多項式Ｋ（Ｓｉ，Ｘｉ）＝（Ｓｉ・Ｘｉ＋１）や、２層ニューラルネットワークＫ（Ｓｉ，Ｘｉ）＝ｔａｎｈ（Ｓｉ・Ｘｉ−δ）を用いることが可能である。
【０１２４】顔・非顔判別の結果を図２３に示す。顔・非顔判定部１１３では、上式（１２）の結果が０より大きい時に顔領域候補画像が顔画像と判定され、０より小さい時に非顔画像と判定される。同様に他の顔領域候補画像に対しても顔・非顔判定が行われる。この図２３の例では、画像１２１が顔画像と判定され、画像１２２〜１２４が非顔画像と判定されている。顔・非顔学習辞書１１４では、教師データとして顔画像及び非顔画像が用意され、識別に使用される同じ特徴データを用いて辞書の作成が行われる。
【０１２５】このように、実施例３の顔抽出部７では、実際の顔が顔領域の第１候補以外にある場合でも、安定した顔領域の抽出が可能になる。また、画像中に顔がない場合でも顔がないと判定することができるので、顔の位置を移動して表示する必要がない場合を自動的に検出することが可能になる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像通信端末の構成を示すブロック図である。
【図２】送信データ処理部８が行う追従処理の手順を示すフローチャートである。
【図３】撮影領域３０と送信領域３１との関係を説明する図である。
【図４】撮影領域３０と送信領域３１との関係を説明する図である。
【図５】撮影領域３０と送信領域３１との関係を説明する図である。
【図６】撮影領域３０と送信領域３１との関係を説明する図である。
【図７】本発明の第２の実施形態に係る画像通信端末の構成を示すブロック図である。
【図８】表示部３の画面上に表示される目印の一例を示す図である。
【図９】表示部３の画面上に表示される目印の一例を示す図である。
【図１０】入力部２２のテンキーを用いて通知される目印の一例を示す図である。
【図１１】相手側の情報処理装置の画面上に表示される利用者１側の画像の一例を示す図である。
【図１２】実施例１の顔抽出部７の構成を示すブロック図である。
【図１３】テンプレート記憶部５２に記憶されているテンプレートの一例を示す図である。
【図１４】投票部５４で行われる投票処理の手順を示すフローチャートである。
【図１５】エッジ抽出部５１で抽出されるエッジ画像の一例を説明する図である。
【図１６】投票処理によって投票結果記憶部５３の投票記憶領域に記憶される投票数の概念を説明する図である。
【図１７】解析部５５で行われる解析処理の手順を示すフローチャートである。
【図１８】実施例２の顔抽出部７の構成を示すブロック図である。
【図１９】エッジ抽出部８１及び９１に入力されるテンプレート画像及び対象画像の一例を示す図である。
【図２０】内積の正負反転を説明する図である。
【図２１】評価ベクトルの圧縮処理を説明する図である。
【図２２】実施例３の顔抽出部７の構成の一部を示すブロック図である。
【図２３】顔・非顔判別部１１３で行われた顔・非顔判別結果の一例を示す図である。
【符号の説明】
１…利用者
２，２２…入力部
３…表示部
４…カメラ部
５，２５…表示制御部
６…自画像メモリ
７…顔抽出部
８…送信データ処理部
９…通信部
１０…受信データ処理部
１１…相手画像メモリ
１２…通知部
３０…撮影領域
３１…送信領域
３２…有効領域
５１，８１，９１…エッジ抽出部
５２…テンプレート記憶部
５３…投票結果記憶部
５４…投票部
５５…解析部
８２，９２…評価ベクトル生成部
８３，９３…直交変換部（ＦＦＴ）
８４，９４…圧縮部
８５…記録部
１０１…積算部
１０２…逆直交変換部（逆ＦＦＴ）
１０３…マップ処理部
１１１…画像サイズ正規化部
１１２…特徴ベクトル抽出部
１１３…顔・非顔判定部
１１４…顔・非顔学習辞書
１２１〜１２４…画像
Ｒ…目印
ｔ１〜ｔｎ…円形状
【特許請求の範囲】
【請求項１】 カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者からの入力を受け付ける入力部と、利用者を撮影するカメラ部と、前記カメラ部で撮影された画像から、利用者の顔の位置及び大きさ（以下、顔領域という）を抽出する顔抽出部と、利用者に画像を表示する表示部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部と、前記カメラ部で撮影された画像の領域よりも小さく、かつ、当該画像の領域内で移動可能に設定される矩形の送信領域の画像を、前記通信部へ出力する送信データ処理部とを備え、前記カメラ部で撮影された画像の領域内に、前記送信領域と一体的に移動する有効領域が設定され、前記送信データ処理部は、抽出された前記顔領域が前記有効領域を逸脱した場合に、当該顔領域の位置に合わせて前記送信領域の設定位置を移動させることを特徴とする、画像通信端末。
【請求項２】 前記有効領域は、前記送信領域よりも小さく、かつ、前記送信領域内に設定されることを特徴とする、請求項１に記載の画像通信端末。
【請求項３】 前記送信データ処理部は、抽出された前記顔領域が前記有効領域を逸脱した場合、当該顔領域が前記送信領域の中心に位置するように、前記送信領域を移動させることを特徴とする、請求項１に記載の画像通信端末。
【請求項４】 前記送信データ処理部は、抽出された前記顔領域が前記有効領域を逸脱した場合、当該顔領域が前記送信領域の中心より上方向に位置するように、前記送信領域を移動させることを特徴とする、請求項１に記載の画像通信端末。
【請求項５】 前記送信データ処理部は、抽出された前記顔領域が前記有効領域を逸脱した場合、当該顔領域が前記送信領域の中心又は中心より上方向に位置するように、前記入力部から入力される送信モード情報に応じて切り替えて、前記送信領域を移動させることを特徴とする、請求項４に記載の画像通信端末。
【請求項６】 前記表示部は、前記入力部から入力される情報に応じて、前記送信領域内の画像と前記顔領域とをモニタ表示し、利用者は、前記モニタ表示を参照して、前記入力部への入力により前記送信領域の位置を縦横方向に調節可能なことを特徴とする、請求項４に記載の画像通信端末。
【請求項７】 カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者からの入力を受け付ける入力部と、利用者を撮影するカメラ部と、前記カメラ部で撮影された画像から、利用者の顔の位置及び大きさ（以下、顔領域という）を抽出する顔抽出部と、利用者に画像を表示する表示部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部と、前記カメラ部で撮影された画像の領域よりも小さく、かつ、当該画像の領域内で移動可能に設定される矩形の送信領域の画像を、前記通信部へ出力する送信データ処理部とを備え、前記カメラ部で撮影された画像の領域内に、前記送信領域と一体的に移動する有効領域が設定され、前記送信データ処理部は、抽出された前記顔領域が前記有効領域を逸脱した場合に、当該顔領域の位置に合わせて前記送信領域の設定位置を移動させ、かつ、抽出された前記顔領域の画像輝度に基づいて、前記カメラ部で撮影された画像内にある顔の視認性が向上するように、前記送信領域の画像輝度を補正して前記通信部へ出力することを特徴とする、画像通信端末。
【請求項８】 前記送信データ処理部は、前記送信領域の画像輝度に加え、色調も補正して前記通信部へ出力することを特徴とする、請求項７に記載の画像通信端末。
【請求項９】 カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者からの入力を受け付ける入力部と、利用者を撮影するカメラ部と、前記カメラ部で撮影された画像から、利用者の顔の位置及び大きさ（以下、顔領域という）を抽出する顔抽出部と、利用者に画像を表示する表示部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部と、前記カメラ部で撮影された画像の領域よりも小さく、かつ、当該画像の領域内で移動可能に設定される矩形の送信領域の画像を、前記通信部へ出力する送信データ処理部とを備え、前記カメラ部で撮影された画像の領域内に、前記送信領域と一体的に移動する有効領域が設定され、前記送信データ処理部は、抽出された前記顔領域が前記有効領域を逸脱した場合に、当該顔領域の位置に合わせて前記送信領域の設定位置を移動させ、かつ、抽出された前記顔領域の画像輝度に基づいて、前記カメラ部で撮影された画像内にある顔の視認性が向上するように、前記カメラ部の露出レベルの値を設定することを特徴とする、画像通信端末。
【請求項１０】 カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者を撮影するカメラ部と、前記カメラ部で撮影された画像から、利用者の顔の位置を抽出する顔抽出部と、利用者に相手から受信した画像を表示する表示部と、抽出された前記顔の位置に基づいて、前記カメラ部で撮影された画像中における利用者の顔の位置を、利用者に通知する通知制御部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部とを備える、画像通信端末。
【請求項１１】 前記顔抽出部は、利用者の前記顔の位置と共に顔の大きさも抽出し、前記通知制御部は、前記カメラ部で撮影された画像中における利用者の前記顔の位置及び大きさを、利用者に通知することを特徴とする、請求項１０に記載の画像通信端末。
【請求項１２】 前記通知制御部は、抽出された前記顔の位置のみ又は位置と大きさとを示す目印を、前記表示部に表示させることを特徴とする、請求項１０に記載の画像通信端末。
【請求項１３】 前記目印は、相手から受信した画像上に表示されることを特徴とする、請求項１２に記載の画像通信端末。
【請求項１４】 前記目印は、相手から受信した画像外に表示されることを特徴とする、請求項１２に記載の画像通信端末。
【請求項１５】 前記通知制御部は、抽出された前記顔の位置を、前記表示部とは別個に備える位置通知部を介して通知することを特徴とする、請求項１２に記載の画像通信端末。
【請求項１６】 前記通知制御部によって行われる利用者への通知方法を、利用者からの指示に従って切り替え可能とすることを特徴とする、請求項１０に記載の画像通信端末。
【請求項１７】 前記顔抽出部は、前記カメラ部で撮影された画像からエッジ部（人物の外郭や顔の輪郭等に相当する画素）を抽出して、当該エッジ部だけの画像（以下、エッジ画像という）を生成するエッジ抽出部と、予め定めた形状を、相似で大きさを異ならせた種々のサイズによって、中心点で同心状に複数設けたテンプレートを記憶するテンプレート記憶部と、前記テンプレートを構成する各サイズの形状毎に、前記エッジ画像上の座標位置と投票数とを対応付けてそれぞれ記憶する投票結果記憶部と、前記エッジ部の各画素位置に前記テンプレートの中心点を順次移動させ、移動させた当該画素位置毎に、前記各サイズの形状を形成する全画素の位置に対応する各座標位置について、前記投票結果記憶部に記憶されている前記投票数をそれぞれ増加又は減少させる投票部と、前記投票結果記憶部に記憶されている前記各投票数に基づいて、前記対象画像に含まれる顔の位置及び大きさを求める解析部とを備える、請求項１〜１６のいずれかに記載の画像通信端末。
【請求項１８】 前記予め定めた形状は、円であることを特徴とする、請求項１７に記載の画像通信端末。
【請求項１９】 前記顔抽出部は、所定のテンプレート画像を入力し、当該画像のエッジ法線方向ベクトルを求め、当該エッジ法線方向ベクトルから評価ベクトルを生成し、当該評価ベクトルを直交変換するテンプレート画像処理部と、前記カメラ部で撮影された画像を入力し、当該画像のエッジ法線方向ベクトルを求め、当該エッジ法線方向ベクトルから評価ベクトルを生成し、当該評価ベクトルを直交変換する入力画像処理部と、前記テンプレート画像及び前記撮影された画像のそれぞれについて生成された直交変換後の各評価ベクトルについて、対応スペクトルデータを積和計算する積和部と、前記積和計算の結果を逆直交変換して類似値のマップを生成する逆直交変換部とを備え、前記評価ベクトルは、該当する画像の前記エッジ法線方向ベクトルを偶数倍角変換した成分を含み、前記類似値の算出式、直交変換及び逆直交変換は、いずれも線形性を有するものであることを特徴とする、請求項１〜１６のいずれかに記載の画像通信端末。
【請求項２０】 前記顔抽出部は、前記評価ベクトルの表現において、前記エッジ法線方向ベクトルを極座標表現した場合の角度に基づいて計算した値を用いることを特徴とする、請求項１９に記載の画像通信端末。
【請求項２１】 前記顔抽出部は、前記カメラ部で撮影された画像から顔として抽出された位置及び大きさが、真に顔であるか否かを判定する顔・非顔判定部をさらに備え、顔と判定した場合にのみ抽出結果を出力することを特徴とする、請求項１〜１６のいずれかに記載の画像通信端末。
【請求項２２】 前記顔抽出部は、前記投票結果記憶部に記憶されている内容に基づいて、前記カメラ部で撮影された画像から顔として抽出された位置及び大きさが、真に顔であるか否かを判定する顔・非顔判定部をさらに備え、顔と判定した場合にのみ抽出結果を出力することを特徴とする、請求項１７に記載の画像通信端末。
【請求項２３】 前記顔抽出部は、前記逆直交変換部で生成された前記類似値に基づいて、前記カメラ部で撮影された画像から顔として抽出された位置及び大きさが、真に顔であるか否かを判定する顔・非顔判定部をさらに備え、顔と判定した場合にのみ抽出結果を出力することを特徴とする、請求項１９に記載の画像通信端末。
【請求項２４】 前記顔・非顔判定部は、前記カメラ部で撮影された画像から顔として抽出された領域から得られる画像特徴を用いて、サポートベクトル関数の判定結果に基づいて顔・非顔の判定を行うことを特徴とする、請求項２１に記載の画像通信端末。
【請求項２５】 前記顔・非顔判定部は、前記カメラ部で撮影された画像から顔として抽出された領域から得られるエッジ法線方向ベクトルを前記画像特徴とすることを特徴とする、請求項２４に記載の画像通信端末。
【請求項２６】 前記顔・非顔判定部は、前記カメラ部で撮影された画像から顔として抽出された領域から得られるエッジ法線のヒストグラムを前記画像特徴とすることを特徴とする、請求項２４に記載の画像通信端末。
【請求項１】 カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者からの入力を受け付ける入力部と、利用者を撮影するカメラ部と、前記カメラ部で撮影された画像から、利用者の顔の位置及び大きさ（以下、顔領域という）を抽出する顔抽出部と、利用者に画像を表示する表示部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部と、前記カメラ部で撮影された画像の領域よりも小さく、かつ、当該画像の領域内で移動可能に設定される矩形の送信領域の画像を、前記通信部へ出力する送信データ処理部とを備え、前記カメラ部で撮影された画像の領域内に、前記送信領域と一体的に移動する有効領域が設定され、前記送信データ処理部は、抽出された前記顔領域が前記有効領域を逸脱した場合に、当該顔領域の位置に合わせて前記送信領域の設定位置を移動させることを特徴とする、画像通信端末。
【請求項２】 前記有効領域は、前記送信領域よりも小さく、かつ、前記送信領域内に設定されることを特徴とする、請求項１に記載の画像通信端末。
【請求項３】 前記送信データ処理部は、抽出された前記顔領域が前記有効領域を逸脱した場合、当該顔領域が前記送信領域の中心に位置するように、前記送信領域を移動させることを特徴とする、請求項１に記載の画像通信端末。
【請求項４】 前記送信データ処理部は、抽出された前記顔領域が前記有効領域を逸脱した場合、当該顔領域が前記送信領域の中心より上方向に位置するように、前記送信領域を移動させることを特徴とする、請求項１に記載の画像通信端末。
【請求項５】 前記送信データ処理部は、抽出された前記顔領域が前記有効領域を逸脱した場合、当該顔領域が前記送信領域の中心又は中心より上方向に位置するように、前記入力部から入力される送信モード情報に応じて切り替えて、前記送信領域を移動させることを特徴とする、請求項４に記載の画像通信端末。
【請求項６】 前記表示部は、前記入力部から入力される情報に応じて、前記送信領域内の画像と前記顔領域とをモニタ表示し、利用者は、前記モニタ表示を参照して、前記入力部への入力により前記送信領域の位置を縦横方向に調節可能なことを特徴とする、請求項４に記載の画像通信端末。
【請求項７】 カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者からの入力を受け付ける入力部と、利用者を撮影するカメラ部と、前記カメラ部で撮影された画像から、利用者の顔の位置及び大きさ（以下、顔領域という）を抽出する顔抽出部と、利用者に画像を表示する表示部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部と、前記カメラ部で撮影された画像の領域よりも小さく、かつ、当該画像の領域内で移動可能に設定される矩形の送信領域の画像を、前記通信部へ出力する送信データ処理部とを備え、前記カメラ部で撮影された画像の領域内に、前記送信領域と一体的に移動する有効領域が設定され、前記送信データ処理部は、抽出された前記顔領域が前記有効領域を逸脱した場合に、当該顔領域の位置に合わせて前記送信領域の設定位置を移動させ、かつ、抽出された前記顔領域の画像輝度に基づいて、前記カメラ部で撮影された画像内にある顔の視認性が向上するように、前記送信領域の画像輝度を補正して前記通信部へ出力することを特徴とする、画像通信端末。
【請求項８】 前記送信データ処理部は、前記送信領域の画像輝度に加え、色調も補正して前記通信部へ出力することを特徴とする、請求項７に記載の画像通信端末。
【請求項９】 カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者からの入力を受け付ける入力部と、利用者を撮影するカメラ部と、前記カメラ部で撮影された画像から、利用者の顔の位置及び大きさ（以下、顔領域という）を抽出する顔抽出部と、利用者に画像を表示する表示部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部と、前記カメラ部で撮影された画像の領域よりも小さく、かつ、当該画像の領域内で移動可能に設定される矩形の送信領域の画像を、前記通信部へ出力する送信データ処理部とを備え、前記カメラ部で撮影された画像の領域内に、前記送信領域と一体的に移動する有効領域が設定され、前記送信データ処理部は、抽出された前記顔領域が前記有効領域を逸脱した場合に、当該顔領域の位置に合わせて前記送信領域の設定位置を移動させ、かつ、抽出された前記顔領域の画像輝度に基づいて、前記カメラ部で撮影された画像内にある顔の視認性が向上するように、前記カメラ部の露出レベルの値を設定することを特徴とする、画像通信端末。
【請求項１０】 カメラ部で撮影された利用者の画像を相手に送信する画像通信端末であって、利用者を撮影するカメラ部と、前記カメラ部で撮影された画像から、利用者の顔の位置を抽出する顔抽出部と、利用者に相手から受信した画像を表示する表示部と、抽出された前記顔の位置に基づいて、前記カメラ部で撮影された画像中における利用者の顔の位置を、利用者に通知する通知制御部と、相手の情報処理装置に対し、少なくとも画像の通信を行う通信部とを備える、画像通信端末。
【請求項１１】 前記顔抽出部は、利用者の前記顔の位置と共に顔の大きさも抽出し、前記通知制御部は、前記カメラ部で撮影された画像中における利用者の前記顔の位置及び大きさを、利用者に通知することを特徴とする、請求項１０に記載の画像通信端末。
【請求項１２】 前記通知制御部は、抽出された前記顔の位置のみ又は位置と大きさとを示す目印を、前記表示部に表示させることを特徴とする、請求項１０に記載の画像通信端末。
【請求項１３】 前記目印は、相手から受信した画像上に表示されることを特徴とする、請求項１２に記載の画像通信端末。
【請求項１４】 前記目印は、相手から受信した画像外に表示されることを特徴とする、請求項１２に記載の画像通信端末。
【請求項１５】 前記通知制御部は、抽出された前記顔の位置を、前記表示部とは別個に備える位置通知部を介して通知することを特徴とする、請求項１２に記載の画像通信端末。
【請求項１６】 前記通知制御部によって行われる利用者への通知方法を、利用者からの指示に従って切り替え可能とすることを特徴とする、請求項１０に記載の画像通信端末。
【請求項１７】 前記顔抽出部は、前記カメラ部で撮影された画像からエッジ部（人物の外郭や顔の輪郭等に相当する画素）を抽出して、当該エッジ部だけの画像（以下、エッジ画像という）を生成するエッジ抽出部と、予め定めた形状を、相似で大きさを異ならせた種々のサイズによって、中心点で同心状に複数設けたテンプレートを記憶するテンプレート記憶部と、前記テンプレートを構成する各サイズの形状毎に、前記エッジ画像上の座標位置と投票数とを対応付けてそれぞれ記憶する投票結果記憶部と、前記エッジ部の各画素位置に前記テンプレートの中心点を順次移動させ、移動させた当該画素位置毎に、前記各サイズの形状を形成する全画素の位置に対応する各座標位置について、前記投票結果記憶部に記憶されている前記投票数をそれぞれ増加又は減少させる投票部と、前記投票結果記憶部に記憶されている前記各投票数に基づいて、前記対象画像に含まれる顔の位置及び大きさを求める解析部とを備える、請求項１〜１６のいずれかに記載の画像通信端末。
【請求項１８】 前記予め定めた形状は、円であることを特徴とする、請求項１７に記載の画像通信端末。
【請求項１９】 前記顔抽出部は、所定のテンプレート画像を入力し、当該画像のエッジ法線方向ベクトルを求め、当該エッジ法線方向ベクトルから評価ベクトルを生成し、当該評価ベクトルを直交変換するテンプレート画像処理部と、前記カメラ部で撮影された画像を入力し、当該画像のエッジ法線方向ベクトルを求め、当該エッジ法線方向ベクトルから評価ベクトルを生成し、当該評価ベクトルを直交変換する入力画像処理部と、前記テンプレート画像及び前記撮影された画像のそれぞれについて生成された直交変換後の各評価ベクトルについて、対応スペクトルデータを積和計算する積和部と、前記積和計算の結果を逆直交変換して類似値のマップを生成する逆直交変換部とを備え、前記評価ベクトルは、該当する画像の前記エッジ法線方向ベクトルを偶数倍角変換した成分を含み、前記類似値の算出式、直交変換及び逆直交変換は、いずれも線形性を有するものであることを特徴とする、請求項１〜１６のいずれかに記載の画像通信端末。
【請求項２０】 前記顔抽出部は、前記評価ベクトルの表現において、前記エッジ法線方向ベクトルを極座標表現した場合の角度に基づいて計算した値を用いることを特徴とする、請求項１９に記載の画像通信端末。
【請求項２１】 前記顔抽出部は、前記カメラ部で撮影された画像から顔として抽出された位置及び大きさが、真に顔であるか否かを判定する顔・非顔判定部をさらに備え、顔と判定した場合にのみ抽出結果を出力することを特徴とする、請求項１〜１６のいずれかに記載の画像通信端末。
【請求項２２】 前記顔抽出部は、前記投票結果記憶部に記憶されている内容に基づいて、前記カメラ部で撮影された画像から顔として抽出された位置及び大きさが、真に顔であるか否かを判定する顔・非顔判定部をさらに備え、顔と判定した場合にのみ抽出結果を出力することを特徴とする、請求項１７に記載の画像通信端末。
【請求項２３】 前記顔抽出部は、前記逆直交変換部で生成された前記類似値に基づいて、前記カメラ部で撮影された画像から顔として抽出された位置及び大きさが、真に顔であるか否かを判定する顔・非顔判定部をさらに備え、顔と判定した場合にのみ抽出結果を出力することを特徴とする、請求項１９に記載の画像通信端末。
【請求項２４】 前記顔・非顔判定部は、前記カメラ部で撮影された画像から顔として抽出された領域から得られる画像特徴を用いて、サポートベクトル関数の判定結果に基づいて顔・非顔の判定を行うことを特徴とする、請求項２１に記載の画像通信端末。
【請求項２５】 前記顔・非顔判定部は、前記カメラ部で撮影された画像から顔として抽出された領域から得られるエッジ法線方向ベクトルを前記画像特徴とすることを特徴とする、請求項２４に記載の画像通信端末。
【請求項２６】 前記顔・非顔判定部は、前記カメラ部で撮影された画像から顔として抽出された領域から得られるエッジ法線のヒストグラムを前記画像特徴とすることを特徴とする、請求項２４に記載の画像通信端末。
【図１】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１３】
【図２０】
【図２】
【図７】
【図８】
【図９】
【図１２】
【図１５】
【図１１】
【図１６】
【図１９】
【図２１】
【図１４】
【図２２】
【図２３】
【図１７】
【図１８】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１３】
【図２０】
【図２】
【図７】
【図８】
【図９】
【図１２】
【図１５】
【図１１】
【図１６】
【図１９】
【図２１】
【図１４】
【図２２】
【図２３】
【図１７】
【図１８】
【公開番号】特開２００２−５１３１６（Ｐ２００２−５１３１６Ａ）
【公開日】平成１４年２月１５日（２００２．２．１５）
【国際特許分類】
【出願番号】特願２００１−１５２６１４（Ｐ２００１−１５２６１４）
【出願日】平成１３年５月２２日（２００１．５．２２）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１４年２月１５日（２００２．２．１５）
【国際特許分類】
【出願日】平成１３年５月２２日（２００１．５．２２）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]