情報端末装置
【課題】利便性よく、撮影範囲内での顔画像の位置ずれを把握することができる情報端末装置を提供。
【解決手段】携帯電話機10は、撮像部12、顔検出部14、通信部16、画像制御部18および表示部20を含み、顔検出部14で撮像した画像から表示部20の画面における基準点からの撮像した顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御部18でこの位置情報を基に通信部16を介して受信する基準点に一致する受信画像をずらして制御し、表示部20に制御した画像を出力する。
【解決手段】携帯電話機10は、撮像部12、顔検出部14、通信部16、画像制御部18および表示部20を含み、顔検出部14で撮像した画像から表示部20の画面における基準点からの撮像した顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御部18でこの位置情報を基に通信部16を介して受信する基準点に一致する受信画像をずらして制御し、表示部20に制御した画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報端末装置に関するものであり、本発明の情報端末装置には、画像表示機能を有する、たとえば携帯電話機やPDA（Personal Digital Assistant）に関するものである。
【背景技術】
【０００２】
従来、テレビ電話装置には、たとえば通信相手の受信画面内に自分の姿が送信画面に収まっているかを確認する場合、ピクチャインピクチャ方式または画面分割方式により画面の一部に自分の姿を映す方法や相手方から送られてくる受信画像と自分を撮像した送信画像を切り替えて表示する方法が適用されている。
【０００３】
また、これと別のアプローチとして、特許文献１のテレビ電話装置に開示されているように、カメラから入力された画像データから使用者の顔領域を検出し、検出した顔領域が画面の中央に表示されるようカメラの方向を制御し、使用者自身が調整する必要のないシステムが考えられてきた。
【特許文献１】特許2947113号
【特許文献２】特開平8−251561号公報
【特許文献３】特開2002−51316号公報
【特許文献４】特許3593067号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、携帯電話機のような小型端末装置によるテレビ電話の通信を考えた場合、ピクチャインピクチャ方式または画面分割方式では元々の画面が小さいため、表示が確認しづらい等の問題があった。相手の画像と自分の画像を切り替える場合、このような問題は発生しないが、携帯電話機のように手に持って撮影することを考えると、頻繁に手ぶれ等で撮像位置がずれるにもかかわらず、切り替えている間しか表示位置を確認できない上に、操作が煩雑という問題があった。
【０００５】
これらの問題に対応する装置には、特許文献２の画像通信端末用ユーザインタフェース装置がある。この装置は、利用者の位置が撮影範囲を逸脱したとき、たとえば受信画像の変化を用いて利用者へ通知する機能を有する。しかしながら、突然の通知で利用者が驚いてしまう恐れがあるし、撮影範囲内でのずれについては確認することができないという問題があった。
【０００６】
また、特許文献１の場合、このような問題は発生しないが、携帯電話機にカメラの方向を自動的に制御する機構は技術的に困難であるし、コスト的にも高くなることから、現実的ではなかった。
【０００７】
本発明はこのような従来技術の欠点を解消し、利便性よく、撮影範囲内での顔画像の位置ずれを把握することができる情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上述の課題を解決するために、利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、撮像した画像を互いに通信する情報端末装置であって、この情報端末装置は、撮像した画像から表示手段の画面における基準点からの利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、この位置情報を基に通信手段を介して受信する基準点に一致する受信画像をずらして制御し、表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする。
【０００９】
本発明は上述の課題を解決するために、利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、撮像した画像を互いに通信する情報端末装置であって、この情報端末装置は、通信する相手先の装置から受信した画像の表示手段の画面における基準点からのずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、この位置情報を基に通信手段を介して受信した画像の基準点に対する受信した画像のずれを制御し、表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする。
【００１０】
また、本発明は上述の課題を解決するために、利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、撮像した画像を互いに通信する情報端末装置であって、この情報端末装置は、撮像した画像から表示手段の画面における基準点からの利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、この位置情報を基に撮像した画像における顔の位置ずれ量を補正制御して、補正した撮像画像を通信手段に出力し、位置情報を基に通信手段を介して受信する基準点に一致する受信画像をずらして制御し、表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする。
【００１１】
さらに、本発明は上述の課題を解決するために、利用者を撮像する撮像手段と、撮像した画像が含む顔の特徴データを抽出する抽出手段と、キャラクタデータを格納する手段と、通信する相手先の装置に撮像した画像を送信し、通信する相手先の装置からの画像を受信する通信手段と、キャラクタデータおよび顔の特徴データを基に画像を作成する画像作成手段と、少なくとも、受信した画像を表示する表示手段とを含み、抽出手段は、撮像した画像および受信した画像における顔画像に対する所定の大きさを各基準サイズとして設定し、表示手段の画面における基準点に対する撮像した画像および受信した画像における顔画像の位置のずれ量を算出し、撮像した画像および受信した画像における顔画像の各基準サイズに対する比率を算出し、算出した利用者における顔の位置のずれ量および比率、ならびに受信した画像における顔の位置ずれ量および比率を位置情報として画像作成手段に出力し、画像作成手段は、位置情報を基に撮像した画像に対する顔の位置ずれ量および基準サイズとの比率を調整して、通信手段に出力する機能と、位置情報を基に受信した画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、表示手段に出力する機能とを含み、撮像した画像を互いに通信することを特徴とする。
【発明の効果】
【００１２】
本発明に係る情報端末装置によれば、顔検出手段で撮像した画像から表示手段の画面における基準点からの利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御手段でこの位置情報を基に通信手段を介して受信する基準点に一致する受信画像をずらして制御し、表示手段に制御した画像を出力することにより、使用者の顔の位置ずれを、通信する相手の顔が表示された表示画像により把握できるようになるため、確認が非常に容易で非常に利便性が高く、位置合わせ自体も自分の顔を鏡に映しているのと同等であるから、非常に直感的でわかりやすく、使い易い機能として提供すことができる。
【００１３】
本発明に係る情報端末装置によれば、顔検出手段で通信する相手先の装置から受信した画像の表示手段の画面における基準点からのずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御手段でこの位置情報を基に通信手段を介して受信した画像の基準点に対するずれを制御し、表示手段に制御した画像を出力することにより、受信画像における通信する相手の顔画像の表示ずれを補正して表示することが可能になるため、通信する相手の顔がぶれずに表示されるようになり快適な画像通信を提供することができる。
【００１４】
また、本発明に係る情報端末装置によれば、顔検出手段で撮像した画像から表示手段の画面における基準点からの利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御手段でこの位置情報を基に撮像した画像における顔の位置ずれ量を補正制御して、補正した撮像画像を通信手段に出力し、位置情報を基に通信手段を介して受信する基準点に一致する受信画像をずらして制御し、表示手段に制御した画像を出力することにより、自分の撮像した画像が手ぶれで頻繁に顔位置のずれが発生しても、送信する画像は顔の位置ずれ量を算出して補正することから、通信する相手の端末装置においては、顔の位置ずれのない画像を受け取ることができる。とくに、自分が携帯電話機のように手持ちして操作する端末装置によりテレビ電話で通信する場合、通信する相手に顔位置のずれのない画像を提供し、かつ使用者の顔の位置ずれを、通信する相手の顔が表示された表示画像により把握できるようになるため、良好な画像通信を実現することができる。
【００１５】
さらに、本発明に係る情報端末装置によれば、抽出手段では、撮像した画像および受信した画像における顔画像に対する所定の大きさを各基準サイズとして設定し、表示手段の画面における基準点に対する撮像した画像および受信した画像における顔画像の位置のずれ量を算出し、撮像した画像および受信した画像における顔画像の各基準サイズに対する比率を算出し、算出した利用者における顔の位置のずれ量および比率、ならびに受信した画像における顔の位置ずれ量および比率を位置情報として画像作成手段に出力し、画像作成手段で位置情報を基に撮像した画像に対する顔の位置ずれ量および基準サイズとの比率を調整して、特徴データを通信手段に出力し、位置情報を基に受信した特徴データに対する顔の位置ずれ量および基準サイズとの比率を調整して作成した画像データを表示手段に出力することにより、選択したキャラクタで表示された顔画像と背景画像の処理を分離し、この顔画像だけに位置補正や表示倍率を補正することができる。このため実際の撮像画像の位置をずらす場合における、画像自体を移動させるために起こり得る撮像エリア外の部分の表示の問題や、拡大/縮小する場合は背景まで拡大/縮小されるための違和感の問題を発生させることなく、快適な画像通信を実現できる。
【発明を実施するための最良の形態】
【００１６】
次に添付図面を参照して本発明による情報端末装置の実施例を詳細に説明する。図１を参照すると、本発明による情報端末装置の実施例は、撮像部12、顔検出部14、通信部16、画像制御部18および表示部20を含み、顔検出部14で撮像した画像から表示部20の画面における基準点からの撮像した顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御部18でこの位置情報を基に通信部16を介して受信する基準点に一致する受信画像をずらして制御し、表示部20に制御した画像を出力することにより、使用者の顔の位置ずれを、通信する相手の顔が表示された表示画像により把握できるようになるため、確認が非常に容易で非常に利便性が高く、位置合わせ自体も自分の顔を鏡に映しているのと同等であるから、非常に直感的でわかりやすく、使い易い機能として提供すことができる。
【００１７】
本実施例は、本発明の情報端末装置を携帯電話機10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１８】
携帯電話機10は、図１に示すように、撮像部12、顔検出部14、通信部16、画像制御部18および表示部20を含む。撮像部12は、光学系を介した被写界からの入射光をたとえばCCD（Charge Coupled Device）の撮像面に結像させ、CCDの受光素子で光電変換し、たとえばCCD（Charge Coupled Device）の撮像面に画像信号を得る機能を有する。撮像部12は、光電変換により生成された画像信号をディジタル化し、顔検出部14および通信部16に画像データ22を出力する。
【００１９】
顔検出部14は、撮像された画像データ22から顔位置を検出し、位置ずれ情報を算出する機能を有する。顔検出部14は、撮像された画像データ22から顔の輪郭を抽出し、顔の中心位置を算出し、撮像画面の中心に対する顔の中心位置までのずれ量を位置ずれ情報として算出する。抽出した顔の輪郭の幾何については後段で詳述する。顔検出部14は、検出した位置ずれ情報24を画像制御部18に供給する。
【００２０】
通信部16は、たとえば公衆電話網、携帯電話網やインターネット網の通信網26に接続され、音声データ、画像データおよび入力データを通信先と送受信する機能を有する。通信部16は、通信相手から供給された音声データ、画像データおよび入力データである情報を受信し、受信した画像データ28を画像制御部18に出力する。
【００２１】
なお、本実施例では、図示していない音声入出力部により音声も同時に送受信することになるが、本発明には直接関係が無いので開示を省略する。
【００２２】
画像制御部18は、供給される画像データの表示位置を制御する機能を有する。画像制御部18は、制御された表示画像データ30を表示部20に出力する。表示部20は、たとえば液晶ディスプレイを用い、供給される表示画像データ30を表示する機能を有する。
【００２３】
次に本発明の情報端末装置を適用した携帯電話機10の動作について記述する。携帯電話機10は、お互いに顔画像を送受信するテレビ電話機能を有する。携帯電話機10は、撮像部12で使用者の顔を含む画像を撮影し、画像データ22を通信部16に送る。撮像の例を図２に示す。使用者である被写体32は、撮像部12の撮像範囲である画角34の中に入っているものと仮定する。本実施例では被写体32は撮像部12側から見て左側によって映っていることになる。
【００２４】
通信部16は、画像データ22を通信する相手の通信装置に送信する。顔検出部14では、撮像部12から供給される画像データ22から顔の位置を検出し、撮像画像の基準とする座標からのずれ量を検出する。本実施例では基準座標を中心座標と設定する。
【００２５】
顔の検出方法は、たとえば顔の輪郭を色差情報および輝度差情報を活用した肌色抽出によるもの、目や口等の顔の部品抽出を活用したもの、ならびにテンプレートマッチングによるものといった様々な手法を適用することができる。特許文献１には肌色抽出による顔検出の一例が開示されている。
【００２６】
次に撮像した顔位置のずれ量検出について記述する。図２で撮像した画像データ22をそのまま表示部20に表示した場合を図３に示す。本実施例において表示部20の画面における横方向をｘ軸、縦方向をｙ軸と設定する。また画面の横幅をxd、縦幅をydと設定する。本実施例では、図３に示すように、原点（0,0）を左上端に設定している。したがって、画面の中心36は、（Sx,Sy）=（xd/2,yd/2）になる。顔検出部14は、顔検出技術を用いて、撮像した画像データ22における顔領域を検出し、顔領域の境界、左端x1、右端x2、上端y1、下端y2または左端xL、右端xR、上端yU、下端yDを算出する。この値から顔領域の中心38は、（Fcx,Fcy）=((x1+x2)/2，(y1+y2)/2)と求められる。したがって、顔領域の中心38と画面の中心36が一致する場合に顔位置のずれ量をゼロとすると、顔位置の位置ずれ量24は、（(x1+x2)/2-xd/2,(y1+y2)/2-yd/2）=（(x1+x2)/2-Sｘ,(y1+y2)/2-Sy）で表わされる。この位置ずれ量24をベクトルとして表示すると、図３の位置ずれ量は、ベクトル40のように表示できる。
【００２７】
画像制御部18は、通信の相手から通信部16を介して送られた受信画像を画像制御する。本実施例では、記述を簡略化するために、通信部16に供給される通信の相手からの画像が含む通信相手の顔の位置は、画面の中心36にあるものと設定する。この場合の受信した画像を図４に示す。この場合、（(x3+x4)/2,(y3+y4)/2）=(xd/2,yd/2)=（Sx,Sy）である。画像制御部18は、相手の装置から受信した画像データ28を、顔検出部14で算出した被写体32の顔の位置ずれ量24の分だけ画像をシフト制御し、表示部20に画像を表示する。
【００２８】
ここで、一点注意を要することは、被写体32側から見て撮像部12の画面中心に対して右側にずれている場合も、撮像した画像は、図３に示したように、左側にずれて映ってしまう。顔検出部14で算出した顔の位置ずれ量24は、（(x1+x2)/2-xd/2,(y1+y2)/2-yd/2）=（(x1+x2)/2-Sx,(y1+y2)/2-Sy）である。しかしながら、使用者の使い勝手を考えた場合、自分の姿が映った鏡のように自分が右にずれている場合、表示部20には、右にずれて映った方が直感的にわかりやすい。したがって、画像制御部18で受信した画像に対するシフト制御量は、（-(x1+x2)/2+xd/2,(y1+y2)/2-yd/2）=（-(x1+x2)/2+Sx,(y1+y2)/2-Sy）に設定し、ｘ軸方向を反転させる方が望ましい。この結果、表示部20には、図５に示すように、表示位置修正した後の表示画面が表示される。
【００２９】
この場合の位置ずれ量24をベクトルとして表示すると、位置ずれ量を示すベクトル42のように表示できる。図３のベクトル40と図５のベクトル42は、ｘ＝xd/2を境に、線対称の関係となっている。よって、図２のように被写体32が撮像部12に対して右側にずれている場合、図５に示すように、右側にずれて通信する相手先の画像が表示される。
【００３０】
このように被写体32や使用者の顔の位置ずれを、通信する相手先から送られてくる受信した画像の顔位置に反映させてから表示するので、携帯電話機10の使用者は、表示する相手の画像の顔位置から自分の顔の位置ずれを把握することが可能となる。ピクチャインピクチャ方式や画面分割方式では自分を表示するための小さな画面を用意するが、携帯電話機での利用を考えた場合、画面が小さくなり過ぎて、確認が困難になる問題がある。しかしながら、本発明を適用した携帯電話機10では、通信する相手先から供給される顔画像の表示位置で自分の位置ずれを把握できるので、確認が非常に容易である。
【００３１】
また、送信画像と受信画像を切り替えるような場合に比べると、切り替えのような煩雑な操作をすることなく、同等の確認効果を得ることが可能となる。テレビ電話機能を有する携帯電話機10を利用した場合を考えると、カメラを手に持つことになるから、撮像位置のずれが発生しやすく、常時、自分の撮像位置を確認できることが望ましい。テレビ電話機能を動作させ、相手の顔を見ながら通話するのが普通であるから、相手の顔位置から自分の撮像位置を把握できる本発明は非常に利便性が高い。さらに、位置合わせ自体も自分の顔を鏡に映しているのと同等であるから、非常に直感的でわかりやすく、使い易い機能として提供すことができる。
【００３２】
次に携帯電話機10における変形例について記述する。本実施例は、先の実施例と同じ構成要素でありながら、接続関係が相違する。すなわち、本実施例の携帯電話機10は、図６に示すように、通信部16で通信する相手から受信した画像データ28を、画像制御部18だけでなく、顔検出部14にも供給している点で相違している。これにより、本実施例は、通信する相手から受信した画像の顔位置も検出できるようになる。
【００３３】
次に携帯電話機10における本実施例の動作を簡単に記述する。本実施例の携帯電話機10における画面例は、図７に示すように、通信する相手から供給される顔の位置ずれがある場合を示している。この場合、画面の中心36と受信した画像における顔の位置ずれ量24は、先の実施例に同じで、（(x7+x8)/2-xd/2,(y7+y8)/2-yd/2）=（(x7+x8)/2-Sx,(y7+y8)/2-Sy）と算出される。したがって、携帯電話機10は、受信画像を-（(x7+x8)/2-xd/2,(y7+y8)/2-yd/2）=-（(x7+x8)/2-Sx,(y7+y8)/2-Sy）とシフトすれば、受信した画像における顔位置の中心38は、表示部20における画面の中心36と一致することになる。
【００３４】
したがって、このように操作することにより図７に示すように、位置ずれがある場合の受信画面は、図４に示した位置ずれのない場合の受信画面と同等になる。この他の動作は、先の実施例と同じであるから記述を省略する。先の実施例では記載を簡略化するために、通信部16に供給される通信する相手からの画像に含まれる通信相手における顔の位置は、図４に示すように、画面の中心36にあるものと設定した。しかしながら、通信する相手も携帯電話機を利用しているような場合、手持ちであるから、通信する相手における顔位置の変動は頻繁に起こる可能性が高く、先の実施例では自分の顔位置がずれたのか、相手の顔位置がずれたのかを判断できなかった。本実施例は、通信する相手から供給される画像データ28を顔検出部14に入力することにより通信する相手の顔位置がずれても、顔の位置ずれ量を算出して補正することができる。この補正を踏まえ、先の実施例と同様に処理すると、使用者は、相手の顔位置のずれによるものでなく、表示画面の相手方の顔位置から実際に自分の顔位置のずれとして把握することが可能となる。とくに、通信する相手もカメラ機能付き携帯電話機のような、手持ちして操作する端末装置でテレビ電話機能を実行する場合に自分の顔位置のずれを把握できるという有効な効果を発揮する。
【００３５】
次に携帯電話機10における変形例について記述する。本実施例は、先の実施例と同じ構成要素でありながら、接続関係が相違する。すなわち、本実施例の携帯電話機10は、図８に示すように、撮像部12からの画像データ22を顔検出部14に供給するだけでなく、画像制御部18にも画像データ22を供給する。画像制御部18は通信する相手に送信するデータとして画像データ44を通信部16に供給する点で相違している。
【００３６】
次に携帯電話機10における本実施例の動作を簡単に記述する。撮像部12は、顔検出部14と画像制御部18に撮像画像を送る。顔検出部14は、画像データ22を基に顔の位置ずれ量としての顔の位置ずれ情報24を算出し、画像制御部18に出力する。
【００３７】
画像制御部18は、供給される顔の位置ずれ情報24を基に画像データ22をシフト制御し、シフト制御によって顔の位置ずれをなくした画像データ44を通信部16に送る。画像制御部18は、受信した通信する相手の画像を含む画像データ30を表示部20に出力する。これにより送信する画像は、常に、顔の位置ずれのない画像となり、快適な画像通信を行えるようになる。
【００３８】
このように本実施例では位置ずれ情報24を基に画像データ22を画像制御部18で制御することにより、たとえば自分がPC（Personal Computer）の前に座って、備え付けのUSB（Universal Serial Bus）カメラを使って、テレビ電話、すなわち画像通信するような場合、撮像した画像における顔位置の変動も少なく問題ないと考えられるが、携帯電話機10を利用する場合、手持ちにより顔の位置変動が頻繁に起こる可能性が高く、先の実施例の構成では撮像した画像の顔位置が頻繁にずれて、通信する相手は画像が非常に見づらいと考えられる。
【００３９】
しかしながら、本実施例では自分の撮像した画像が手ぶれで頻繁に顔位置のずれが発生しても、送信する画像は顔の位置ずれ量を算出して補正することから、通信する相手の端末装置では、顔の位置ずれのない画像を受け取ることができる。とくに、自分が携帯電話機10のような手持ちして操作する端末装置でテレビ電話通信をする場合、通信する相手に顔位置のずれのない画像を提供して、良好な画像通信を発揮させることができる。図１の例では自分の顔位置のずれを把握するためには、相手から送られてくる画像の顔位置はずれないことが前提であったが、本実施例によって実現可能である。
【００４０】
次に携帯電話機10における変形例について記述する。本実施例は、先の実施例と同じ構成要素でありながら、接続関係が相違する。すなわち、本実施例の携帯電話機10は、図９に示すように、通信部16は、通信する相手から受信した画像データ28を、画像制御部18だけでなく、顔検出部14にも供給している点で相違している。本実施例は、送信する画像における使用者の撮像位置ずれを補正して送信し、受信した画像における通信相手の表示ずれがある場合にも対応する。
【００４１】
次に携帯電話機10における本実施例の動作を簡単に記述する。顔検出部14は、顔領域の中心38と画面の中心36が一致した場合に顔の位置ずれ量をゼロと設定し、顔位置のずれ量((xL+xR)/2-Sｘ,(yU+yD)/2-Sy）を算出する。画像制御部18は送信側の動作に関しては、画像データ22における使用者の位置ずれがなくなるように撮像した画像を-((xL+xR)/2-Sｘ,(yU+yD)/2-Sy）=(-(xL+xR)/2+Sｘ,-(yU+yD)/2+Sy）シフトし、送信する画像として通信部16に送る。これにより、送信画像においては撮像時の位置ずれが補正され、使用者が真中に表示された画像が送信されることになる。
【００４２】
次に受信側の動作を記述する。通信部16で受信した画像は、顔検出部14および画像制御部18に送られる。画像制御部18を介さず、受信画像を表示部20に供給して、表示させた場合の受信画面を図10に示す。この場合、通信相手の顔の位置ずれ量は、（(xRL+xRR)/2-Sｘ,(yRU+yRD)/2-Sy）である。添字Rは、受信であることを示す。画像制御部18ではこの通信相手の受信した画像を、顔検出部14で算出した通信する相手における顔の位置ずれ量の分だけシフト制御し、通信相手の顔の位置が真中に来るように受信した画像28を制御する。この場合のシフト制御量は、（(xRL+xRR)/2-Sｘ,(yRU+yRD)/2-Sy）である。
【００４３】
先の実施例と同様に自分の姿が映った鏡のように自分が右にずれている場合は表示部20には右にずれて映った方が直感的にわかりやすいことから、画像制御部18で受信した画像に対するシフト制御量はx軸方向を反転させ、（-(xL+xR)/2+Sｘ,(yU+yD)/2-Sy）になる。最終的に通信部16から受信した画像に加えるシフト制御量は、(-(xL+xR)/2+Sｘ,(yU+yD)/2-Sy）-((xRL+xRR)/2-Sｘ,(yRU+yRD)/2-Sy)=（(-xL-xR-xRL-xRR)/2+2Sｘ, (yU+yD-yRU-yRD)/2)となる。
【００４４】
このように本実施例によれば、受信画像における通信する相手の顔ずれに影響を受けることなく、使用者における顔の位置ずれを通信する相手から受信した画像の顔位置に反映させるように制御して表示することから、使用者は、表示画像における通信する相手の顔位置から自分の顔位置のずれを把握することが可能になる。
【００４５】
さらに、使用者は撮像した画像における使用者の顔ずれを補正して、通信する相手の装置に画像を送ることから、通信する相手は、使用者の顔画像を画面中央で見ることができ、快適な画像通信することができる。
【００４６】
テレビ電話のような画像通信中において、互いに通信する相手の顔を見ながら、話すのが普通であるから、通信する相手の顔位置から自分の撮像位置を把握できる点で非常に利便性の高い機能を提供することができる。また、位置合わせ自体も自分の顔を鏡に映した場合と同等に扱うことができるから、非常に直感的でわかりやすい操作を提供することができる。
【００４７】
次に携帯電話機10における変形例について記述する。本実施例は、最初の実施例と同じ構成要素でありながら、図11に示すように、画像制御部18に表示倍率制御機能部46を含む構成となっている。表示倍率制御機能部46は、顔検出部14で検出した顔の位置情報を基に得た顔の大きさ情報を含む検出情報240の供給により、表示する画像に対する表示倍率を制御する機能を有する。
【００４８】
使用者を適切な大きさで撮像した場合の基準撮像画面を図12、実際に撮像した場合の撮像画面を図13に示す。また、本実施例では記載を簡略化するため、受信画像は、図14に示すように、通信する相手の画像が適切な大きさで写っている基準受信画面例を想定する。
【００４９】
まず、基準撮像画面は、図12に示すように、顔の大きさの横幅が（xSSR-xSSL）、縦幅が（ySSD-ySSU）である。ここで、位置xSSR, xSSL, ySSDおよびySSUは、基準として送信する撮像した顔の右端、左端、下端および上端を示し、これらの値は、顔検出部14により算出される。
【００５０】
次に実際の撮像画面は、図13に示すように、基準となる位置よりも使用者が撮像部12を近くに位置させた場合であり、結果として、顔が基準よりも大きい画像が得られる。ここで、位置xSR, xSL, ySDおよびySUは、送信する撮像した顔の右端、左端、下端および上端を示し、これらの値は、顔検出部14により算出される。このとき、顔の大きさは、顔検出部14で横幅（xSR-xSL）、縦幅（ySD-ySU）と算出される。基本的に、（xSR-xSL）/（xSSR-xSSL）=（ySD-ySU）/（ySSD-ySSU）であることから、基準撮像画像との比率を計算するに当たっては横方向または縦方向の片方の情報だけを用いればよい。本実施例では、縦方向の情報を使うものと設定する。顔検出部14は、図13の撮像した画像から、図12の基準における顔の大きさに比べて、倍率（ySD-ySU）/（ySSD-ySSU）で撮像されていることが算出される。
【００５１】
表示倍率制御機能部46では、撮像倍率（ySD-ySU）/（ySSD-ySSU）の情報240を顔検出部14から受け取る。ここで、基準受信画面における位置xSRR, xSRL, ySRDおよびySRUは、基準として受信した画像における顔の右端、左端、下端および上端を示し、これらの値は、顔検出部14により算出される。基準受信画面は、図14に示すように、顔の大きさの横幅が(xSRR-xSRL)、縦幅が(ySRD-ySRU)と算出される。また、図15に示す表示画像における位置xRR, xRL, yRDおよびyRUは、表示する画像における顔の右端、左端、下端および上端を示す。
【００５２】
顔の大きさは、図15に示すように、表示する画像を、(xRR-xRL)=(xSRR-xSRL)*（ySD-ySU）/（ySSD-ySSU）、(yRD-yRU)=(ySRD-ySRU)*（ySD-ySU）/（ySSD-ySSU）になるよう拡大表示する。これにより、使用者が撮像部12に近づき過ぎて、撮像画面における顔の大きさが大きくなったとき、表示画面での通信する相手からの顔画像の大きさも大きく表示される。
【００５３】
表示画面で通信する相手からの画像における顔の大きさが使用者の撮像距離に追従して表示されることから、表示画面で通信する相手からの画像における顔の大きさにより自分が適切な距離で撮像されているかどうかを把握することが可能になる。テレビ電話のような画像通信中において、相手から供給される顔画像を見ながら通話するのが普通であるから、相手からの顔画像における大きさから自分の撮像距離が適切かどうか把握でき、非常に利便性の高い機能を提供することができる。携帯電話機10によるテレビ電話のような画面が小さいシステムの場合、とくに、有効な効果を発揮させることができる。
【００５４】
次に開示する携帯電話機10は、図９に示した携帯電話機10の接続関係を有する。また、本実施例における画像制御部18は、図16に示すように、先の実施例にて記載した表示倍率制御機能部46を含む。通信相手から送られてくる受信画像の例を図17に示す。この例は、基準の受信画像より通信する相手の画像が小さく写っている場合である。
【００５５】
次に携帯電話機10における本実施例の動作を記載する。顔の位置ずれ補正は、先の実施例に同じである。最初に送信側の表示倍率制御について記載する。ここで、撮像した画像は図13の画像の場合に設定する。この場合、図12の基準としての撮像における画像と図13の撮像した画像における顔の大きさの比率は、(ySD-ySU)/(ySSD-ySSU)と算出される。送信画像として図13の画像を送ると、通信する相手の装置には顔が大きく写り過ぎる。
【００５６】
このため、本実施例は、表示倍率制御機能部46で図13の画像に対して(ySD-ySU)/(ySSD-ySSU)の逆数を表示倍率として制御する。これにより、顔の縦幅は、(ySD-ySU)*(1/((ySD-ySU)/(ySSD-ySSU)))=(ySSD-ySSU)になる。したがって、送信画像における顔の大きさは、図12の基準とする撮像した画像と同じ大きさにして、送信される。
【００５７】
次に受信側から供給される画像に対する表示倍率の制御を記載する。この場合の受信した画像を、図17に示す。この受信した画像は、基準の画像における顔の大きさより小さく写っているから、基準の大きさにするよう補正する。
【００５８】
図17の受信画像と図14の基準とする受信画像との顔大きさの比率は、(y14-y13)/(ySRD-ySRU)と算出される。表示倍率制御機能部46では、この算出した比率の逆数を表示倍率として制御する。図17の受信画像は、(y14-y13)*(1/((y14-y13)/(ySRD-ySRU)))=(ySRD-ySRU)になる。図17の受信画像は、図14の基準とする受信画像における顔の大きさと同じ大きさに表示倍率を制御したことになる。
【００５９】
さらに、携帯電話機10は、この表示倍率で制御した画像に、使用者の撮像した画像の表示倍率に制御する。基準となる顔の大きさと比べて、撮像した画像の比率は、(ySD-ySU)/(ySSD-ySSU)と算出される。このため、表示倍率制御機能部46ではこの値を受信した画像に施す。まとめると、図17の受信した画像に対する表示倍率は、((ySD-ySU)/(ySSD-ySSU))*(ySRD-ySRU)=(ySD-ySU)*(ySRD-ySRU)/(ySSD-ySSU)になる。この結果、表示画像は、受信した画像の大きさによらず、撮像した画像の比率で表示部20に表示される。
【００６０】
なお、表示倍率の制御は、先の実施例や本実施例に限定されるものでなく、表示倍率の制御について記載しなかった実施例にも適用できることは、言うまでもない。
【００６１】
本実施例では、使用者における顔の位置ずれを通信する相手の顔位置に反映させ、さらに、使用者の撮像した顔の大きさを通信する相手の顔の大きさに反映することが可能になることから、テレビ電話のような画像通信で通信する相手を見ながら通話して、自然に、自分の顔位置を前後左右、適切な場所に移動させることが可能になる。とくに、自分が携帯電話機のような手持ちのカメラを使用して画像通信する場合、有効な効果を発揮させることができる。
【００６２】
最後に、本発明の情報端末装置を適用した携帯電話機10における他の実施例について記述する。これまでの実施例では撮像画像や受信画像そのものの表示位置をずらしたり、拡大・縮小させる制御により表示していた。本実施例ではこれらと異なり、送信側は撮像した画像から顔の特徴点を抽出し、抽出した特徴データを送るものであり、受信側ではこの特徴データとキャラクタデータにより表示画像を作成するシステムを対象とする。このシステムについては、たとえば特許文献４の「画像コミュニケーション機能付き情報端末装置および画像配信システム」により開示されている。
【００６３】
本実施例における携帯電話機10は、図18に示すように、撮像部12、通信部16および表示部20を含み、顔特徴抽出部48、表示画像作成部50およびキャラクタデータ格納部52を含む。顔特徴抽出部48は、撮像した画像から顔の特徴点を抽出する機能を有する。顔特徴抽出部48は、撮像した画像に対して抽出した顔の特徴点を表わす送信画像データ54を通信部16に供給する。また、顔特徴抽出部48は、撮像した画像から求めた顔の特徴点を基に顔の位置および顔の大きさに関する情報240を算出し、表示画像作成部50に供給する。
【００６４】
表示画像作成部50は、受信側から供給される特徴データ28aとキャラクタデータ56を基に表示画像を作成する機能を有する。表示画像作成部50は、供給される情報240を基に表示位置のシフトおよび拡大・縮小の制御機能を有する。表示画像作成部50は、作成した表示画像データ30を表示部20に出力する。キャラクタデータ格納部52は、メモリであり、キャラクタデータを格納する。キャラクタデータ格納部52は、選択されたキャラクタデータ56を表示画像作成部50に供給する。
【００６５】
次に本実施例における携帯電話機10の動作について記載する。顔特徴抽出部48は、供給される撮像した画像データ22より、たとえば眉、目、口、鼻および輪郭を顔の特徴情報として抽出する。顔特徴抽出部48は、抽出したデータの位置情報または変化情報を送信画像データ54として通信部16を経由して、通信する相手の装置に伝送する。
【００６６】
表示画像作成部50は、通信部16から送られる顔の特徴情報としての受信画像データ28aと、キャラクタデータ格納部52からのキャラクタデータ56とを基に表示画像を作成する。また、表示画像作成部50は、顔特徴抽出部48から送られる顔位置情報および顔大きさ情報を含む情報240により、作成した表示画像における顔の位置および表示倍率を補正する。
【００６７】
受信するデータとして図４に示した位置ずれのない画像の顔特徴データ28aが通信する相手の装置から送られてくるものと仮定する。使用者の顔位置を図３とすると、この場合、顔の位置ずれ量は、((x1+x2)/2-Sx,(y1+y2)/2-Sy)と算出される。ここで、使用者の利便性のため左右のずれは反転して表示する。このため、実際の表示画面での補正量は、(-(x1+x2)/2+Sx,(y1+y2)/2-Sy)となる。この場合の表示画像を図19に示す。
【００６８】
表示画像作成部50は、図に示す通り、キャラクタデータ56を基に表示データを作成する。本実施例では、受信した顔画像が猫に変換されて、表示部20に表示されている。
【００６９】
ここで、キャラクタデータとは、アニメーションに登場するキャラクタ、すなわち人物を表わすデータやたとえば動物および物を擬人化した創造されたデータである。表示画像作成部50は、キャラクタデータ56を用いて通信するユーザの表情を反映させて、会話に寄与する画像を作成している。
【００７０】
また、本実施例で表示位置は、表示画像作成部50で((x20+x21)/2-Sx,(y20+y21)/2-Sy)=(-(x1+x2)/2+Sx,(y1+y2)/2-Sy)となるように制御されている。
【００７１】
本実施例は、先の実施例と同様に使用者における顔の位置ずれを通信する相手における顔の位置に反映させることに加え、さらに使用者の撮像された顔の大きさを通信する相手の顔の大きさに反映することを可能にする。これにより画像通信で相手を見ながら通話して、自然に、自分の顔位置を適切な場所に移動させることができ、とくに、自分が携帯電話機10のような手持ちカメラを用いて、テレビ電話する場合に有効である。
【００７２】
さらに、先の実施例のように、実際の撮像画像の位置をずらす場合、画像自体を移動させるために撮像エリア外の部分の表示に問題があったり、拡大/縮小する場合は背景まで拡大/縮小されるための違和感の問題があったりする。しかしながら、本実施例では、選択したキャラクタで表示された顔画像と背景画像の処理を分離し、この顔画像だけに位置補正や表示倍率を補正することができることから、これらのような問題も発生しない。
【図面の簡単な説明】
【００７３】
【図１】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図２】図１の撮像部による被写体に対する撮像の一例を示す図である。
【図３】図１の撮像部で撮像される撮像画像の画面を示す図である。
【図４】図１の表示部に表示された位置ずれのない受信画像の画面を示す図である。
【図５】図１の表示部に表示される位置ずれ修正後の表示画面を示す図である。
【図６】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図７】図６の表示部に表示される位置ずれがある場合の受信画像の画面を示す図である。
【図８】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図９】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図１０】図９の表示部に表示された受信画像の画面を示す図である。
【図１１】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図１２】図11の撮像部で撮像される基準の撮像画像の画面を示す図である。
【図１３】図11の撮像部で撮像される実際の撮像画像の画面を示す図である。
【図１４】図11の表示部に表示される基準の受信画像の画面を示す図である。
【図１５】図11の表示部に表示される補正後の受信画像の画面を示す図である。
【図１６】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図１７】図11の表示部に表示される基準の受信画像より小さい実際の受信画像の画面を示す図である。
【図１８】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図１９】図18の表示部に表示される補正後の受信画像の画面を示す図である。
【符号の説明】
【００７４】
10 携帯電話機
12 撮像部
14 顔検出部
16 通信部
18 画像制御部
20 表示部
46 表示倍率制御機能部
48 顔特徴抽出部
50 表示画像作成部
52 キャラクタデータ格納部
【技術分野】
【０００１】
本発明は、情報端末装置に関するものであり、本発明の情報端末装置には、画像表示機能を有する、たとえば携帯電話機やPDA（Personal Digital Assistant）に関するものである。
【背景技術】
【０００２】
従来、テレビ電話装置には、たとえば通信相手の受信画面内に自分の姿が送信画面に収まっているかを確認する場合、ピクチャインピクチャ方式または画面分割方式により画面の一部に自分の姿を映す方法や相手方から送られてくる受信画像と自分を撮像した送信画像を切り替えて表示する方法が適用されている。
【０００３】
また、これと別のアプローチとして、特許文献１のテレビ電話装置に開示されているように、カメラから入力された画像データから使用者の顔領域を検出し、検出した顔領域が画面の中央に表示されるようカメラの方向を制御し、使用者自身が調整する必要のないシステムが考えられてきた。
【特許文献１】特許2947113号
【特許文献２】特開平8−251561号公報
【特許文献３】特開2002−51316号公報
【特許文献４】特許3593067号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、携帯電話機のような小型端末装置によるテレビ電話の通信を考えた場合、ピクチャインピクチャ方式または画面分割方式では元々の画面が小さいため、表示が確認しづらい等の問題があった。相手の画像と自分の画像を切り替える場合、このような問題は発生しないが、携帯電話機のように手に持って撮影することを考えると、頻繁に手ぶれ等で撮像位置がずれるにもかかわらず、切り替えている間しか表示位置を確認できない上に、操作が煩雑という問題があった。
【０００５】
これらの問題に対応する装置には、特許文献２の画像通信端末用ユーザインタフェース装置がある。この装置は、利用者の位置が撮影範囲を逸脱したとき、たとえば受信画像の変化を用いて利用者へ通知する機能を有する。しかしながら、突然の通知で利用者が驚いてしまう恐れがあるし、撮影範囲内でのずれについては確認することができないという問題があった。
【０００６】
また、特許文献１の場合、このような問題は発生しないが、携帯電話機にカメラの方向を自動的に制御する機構は技術的に困難であるし、コスト的にも高くなることから、現実的ではなかった。
【０００７】
本発明はこのような従来技術の欠点を解消し、利便性よく、撮影範囲内での顔画像の位置ずれを把握することができる情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上述の課題を解決するために、利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、撮像した画像を互いに通信する情報端末装置であって、この情報端末装置は、撮像した画像から表示手段の画面における基準点からの利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、この位置情報を基に通信手段を介して受信する基準点に一致する受信画像をずらして制御し、表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする。
【０００９】
本発明は上述の課題を解決するために、利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、撮像した画像を互いに通信する情報端末装置であって、この情報端末装置は、通信する相手先の装置から受信した画像の表示手段の画面における基準点からのずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、この位置情報を基に通信手段を介して受信した画像の基準点に対する受信した画像のずれを制御し、表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする。
【００１０】
また、本発明は上述の課題を解決するために、利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、撮像した画像を互いに通信する情報端末装置であって、この情報端末装置は、撮像した画像から表示手段の画面における基準点からの利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、この位置情報を基に撮像した画像における顔の位置ずれ量を補正制御して、補正した撮像画像を通信手段に出力し、位置情報を基に通信手段を介して受信する基準点に一致する受信画像をずらして制御し、表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする。
【００１１】
さらに、本発明は上述の課題を解決するために、利用者を撮像する撮像手段と、撮像した画像が含む顔の特徴データを抽出する抽出手段と、キャラクタデータを格納する手段と、通信する相手先の装置に撮像した画像を送信し、通信する相手先の装置からの画像を受信する通信手段と、キャラクタデータおよび顔の特徴データを基に画像を作成する画像作成手段と、少なくとも、受信した画像を表示する表示手段とを含み、抽出手段は、撮像した画像および受信した画像における顔画像に対する所定の大きさを各基準サイズとして設定し、表示手段の画面における基準点に対する撮像した画像および受信した画像における顔画像の位置のずれ量を算出し、撮像した画像および受信した画像における顔画像の各基準サイズに対する比率を算出し、算出した利用者における顔の位置のずれ量および比率、ならびに受信した画像における顔の位置ずれ量および比率を位置情報として画像作成手段に出力し、画像作成手段は、位置情報を基に撮像した画像に対する顔の位置ずれ量および基準サイズとの比率を調整して、通信手段に出力する機能と、位置情報を基に受信した画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、表示手段に出力する機能とを含み、撮像した画像を互いに通信することを特徴とする。
【発明の効果】
【００１２】
本発明に係る情報端末装置によれば、顔検出手段で撮像した画像から表示手段の画面における基準点からの利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御手段でこの位置情報を基に通信手段を介して受信する基準点に一致する受信画像をずらして制御し、表示手段に制御した画像を出力することにより、使用者の顔の位置ずれを、通信する相手の顔が表示された表示画像により把握できるようになるため、確認が非常に容易で非常に利便性が高く、位置合わせ自体も自分の顔を鏡に映しているのと同等であるから、非常に直感的でわかりやすく、使い易い機能として提供すことができる。
【００１３】
本発明に係る情報端末装置によれば、顔検出手段で通信する相手先の装置から受信した画像の表示手段の画面における基準点からのずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御手段でこの位置情報を基に通信手段を介して受信した画像の基準点に対するずれを制御し、表示手段に制御した画像を出力することにより、受信画像における通信する相手の顔画像の表示ずれを補正して表示することが可能になるため、通信する相手の顔がぶれずに表示されるようになり快適な画像通信を提供することができる。
【００１４】
また、本発明に係る情報端末装置によれば、顔検出手段で撮像した画像から表示手段の画面における基準点からの利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御手段でこの位置情報を基に撮像した画像における顔の位置ずれ量を補正制御して、補正した撮像画像を通信手段に出力し、位置情報を基に通信手段を介して受信する基準点に一致する受信画像をずらして制御し、表示手段に制御した画像を出力することにより、自分の撮像した画像が手ぶれで頻繁に顔位置のずれが発生しても、送信する画像は顔の位置ずれ量を算出して補正することから、通信する相手の端末装置においては、顔の位置ずれのない画像を受け取ることができる。とくに、自分が携帯電話機のように手持ちして操作する端末装置によりテレビ電話で通信する場合、通信する相手に顔位置のずれのない画像を提供し、かつ使用者の顔の位置ずれを、通信する相手の顔が表示された表示画像により把握できるようになるため、良好な画像通信を実現することができる。
【００１５】
さらに、本発明に係る情報端末装置によれば、抽出手段では、撮像した画像および受信した画像における顔画像に対する所定の大きさを各基準サイズとして設定し、表示手段の画面における基準点に対する撮像した画像および受信した画像における顔画像の位置のずれ量を算出し、撮像した画像および受信した画像における顔画像の各基準サイズに対する比率を算出し、算出した利用者における顔の位置のずれ量および比率、ならびに受信した画像における顔の位置ずれ量および比率を位置情報として画像作成手段に出力し、画像作成手段で位置情報を基に撮像した画像に対する顔の位置ずれ量および基準サイズとの比率を調整して、特徴データを通信手段に出力し、位置情報を基に受信した特徴データに対する顔の位置ずれ量および基準サイズとの比率を調整して作成した画像データを表示手段に出力することにより、選択したキャラクタで表示された顔画像と背景画像の処理を分離し、この顔画像だけに位置補正や表示倍率を補正することができる。このため実際の撮像画像の位置をずらす場合における、画像自体を移動させるために起こり得る撮像エリア外の部分の表示の問題や、拡大/縮小する場合は背景まで拡大/縮小されるための違和感の問題を発生させることなく、快適な画像通信を実現できる。
【発明を実施するための最良の形態】
【００１６】
次に添付図面を参照して本発明による情報端末装置の実施例を詳細に説明する。図１を参照すると、本発明による情報端末装置の実施例は、撮像部12、顔検出部14、通信部16、画像制御部18および表示部20を含み、顔検出部14で撮像した画像から表示部20の画面における基準点からの撮像した顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力し、画像制御部18でこの位置情報を基に通信部16を介して受信する基準点に一致する受信画像をずらして制御し、表示部20に制御した画像を出力することにより、使用者の顔の位置ずれを、通信する相手の顔が表示された表示画像により把握できるようになるため、確認が非常に容易で非常に利便性が高く、位置合わせ自体も自分の顔を鏡に映しているのと同等であるから、非常に直感的でわかりやすく、使い易い機能として提供すことができる。
【００１７】
本実施例は、本発明の情報端末装置を携帯電話機10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１８】
携帯電話機10は、図１に示すように、撮像部12、顔検出部14、通信部16、画像制御部18および表示部20を含む。撮像部12は、光学系を介した被写界からの入射光をたとえばCCD（Charge Coupled Device）の撮像面に結像させ、CCDの受光素子で光電変換し、たとえばCCD（Charge Coupled Device）の撮像面に画像信号を得る機能を有する。撮像部12は、光電変換により生成された画像信号をディジタル化し、顔検出部14および通信部16に画像データ22を出力する。
【００１９】
顔検出部14は、撮像された画像データ22から顔位置を検出し、位置ずれ情報を算出する機能を有する。顔検出部14は、撮像された画像データ22から顔の輪郭を抽出し、顔の中心位置を算出し、撮像画面の中心に対する顔の中心位置までのずれ量を位置ずれ情報として算出する。抽出した顔の輪郭の幾何については後段で詳述する。顔検出部14は、検出した位置ずれ情報24を画像制御部18に供給する。
【００２０】
通信部16は、たとえば公衆電話網、携帯電話網やインターネット網の通信網26に接続され、音声データ、画像データおよび入力データを通信先と送受信する機能を有する。通信部16は、通信相手から供給された音声データ、画像データおよび入力データである情報を受信し、受信した画像データ28を画像制御部18に出力する。
【００２１】
なお、本実施例では、図示していない音声入出力部により音声も同時に送受信することになるが、本発明には直接関係が無いので開示を省略する。
【００２２】
画像制御部18は、供給される画像データの表示位置を制御する機能を有する。画像制御部18は、制御された表示画像データ30を表示部20に出力する。表示部20は、たとえば液晶ディスプレイを用い、供給される表示画像データ30を表示する機能を有する。
【００２３】
次に本発明の情報端末装置を適用した携帯電話機10の動作について記述する。携帯電話機10は、お互いに顔画像を送受信するテレビ電話機能を有する。携帯電話機10は、撮像部12で使用者の顔を含む画像を撮影し、画像データ22を通信部16に送る。撮像の例を図２に示す。使用者である被写体32は、撮像部12の撮像範囲である画角34の中に入っているものと仮定する。本実施例では被写体32は撮像部12側から見て左側によって映っていることになる。
【００２４】
通信部16は、画像データ22を通信する相手の通信装置に送信する。顔検出部14では、撮像部12から供給される画像データ22から顔の位置を検出し、撮像画像の基準とする座標からのずれ量を検出する。本実施例では基準座標を中心座標と設定する。
【００２５】
顔の検出方法は、たとえば顔の輪郭を色差情報および輝度差情報を活用した肌色抽出によるもの、目や口等の顔の部品抽出を活用したもの、ならびにテンプレートマッチングによるものといった様々な手法を適用することができる。特許文献１には肌色抽出による顔検出の一例が開示されている。
【００２６】
次に撮像した顔位置のずれ量検出について記述する。図２で撮像した画像データ22をそのまま表示部20に表示した場合を図３に示す。本実施例において表示部20の画面における横方向をｘ軸、縦方向をｙ軸と設定する。また画面の横幅をxd、縦幅をydと設定する。本実施例では、図３に示すように、原点（0,0）を左上端に設定している。したがって、画面の中心36は、（Sx,Sy）=（xd/2,yd/2）になる。顔検出部14は、顔検出技術を用いて、撮像した画像データ22における顔領域を検出し、顔領域の境界、左端x1、右端x2、上端y1、下端y2または左端xL、右端xR、上端yU、下端yDを算出する。この値から顔領域の中心38は、（Fcx,Fcy）=((x1+x2)/2，(y1+y2)/2)と求められる。したがって、顔領域の中心38と画面の中心36が一致する場合に顔位置のずれ量をゼロとすると、顔位置の位置ずれ量24は、（(x1+x2)/2-xd/2,(y1+y2)/2-yd/2）=（(x1+x2)/2-Sｘ,(y1+y2)/2-Sy）で表わされる。この位置ずれ量24をベクトルとして表示すると、図３の位置ずれ量は、ベクトル40のように表示できる。
【００２７】
画像制御部18は、通信の相手から通信部16を介して送られた受信画像を画像制御する。本実施例では、記述を簡略化するために、通信部16に供給される通信の相手からの画像が含む通信相手の顔の位置は、画面の中心36にあるものと設定する。この場合の受信した画像を図４に示す。この場合、（(x3+x4)/2,(y3+y4)/2）=(xd/2,yd/2)=（Sx,Sy）である。画像制御部18は、相手の装置から受信した画像データ28を、顔検出部14で算出した被写体32の顔の位置ずれ量24の分だけ画像をシフト制御し、表示部20に画像を表示する。
【００２８】
ここで、一点注意を要することは、被写体32側から見て撮像部12の画面中心に対して右側にずれている場合も、撮像した画像は、図３に示したように、左側にずれて映ってしまう。顔検出部14で算出した顔の位置ずれ量24は、（(x1+x2)/2-xd/2,(y1+y2)/2-yd/2）=（(x1+x2)/2-Sx,(y1+y2)/2-Sy）である。しかしながら、使用者の使い勝手を考えた場合、自分の姿が映った鏡のように自分が右にずれている場合、表示部20には、右にずれて映った方が直感的にわかりやすい。したがって、画像制御部18で受信した画像に対するシフト制御量は、（-(x1+x2)/2+xd/2,(y1+y2)/2-yd/2）=（-(x1+x2)/2+Sx,(y1+y2)/2-Sy）に設定し、ｘ軸方向を反転させる方が望ましい。この結果、表示部20には、図５に示すように、表示位置修正した後の表示画面が表示される。
【００２９】
この場合の位置ずれ量24をベクトルとして表示すると、位置ずれ量を示すベクトル42のように表示できる。図３のベクトル40と図５のベクトル42は、ｘ＝xd/2を境に、線対称の関係となっている。よって、図２のように被写体32が撮像部12に対して右側にずれている場合、図５に示すように、右側にずれて通信する相手先の画像が表示される。
【００３０】
このように被写体32や使用者の顔の位置ずれを、通信する相手先から送られてくる受信した画像の顔位置に反映させてから表示するので、携帯電話機10の使用者は、表示する相手の画像の顔位置から自分の顔の位置ずれを把握することが可能となる。ピクチャインピクチャ方式や画面分割方式では自分を表示するための小さな画面を用意するが、携帯電話機での利用を考えた場合、画面が小さくなり過ぎて、確認が困難になる問題がある。しかしながら、本発明を適用した携帯電話機10では、通信する相手先から供給される顔画像の表示位置で自分の位置ずれを把握できるので、確認が非常に容易である。
【００３１】
また、送信画像と受信画像を切り替えるような場合に比べると、切り替えのような煩雑な操作をすることなく、同等の確認効果を得ることが可能となる。テレビ電話機能を有する携帯電話機10を利用した場合を考えると、カメラを手に持つことになるから、撮像位置のずれが発生しやすく、常時、自分の撮像位置を確認できることが望ましい。テレビ電話機能を動作させ、相手の顔を見ながら通話するのが普通であるから、相手の顔位置から自分の撮像位置を把握できる本発明は非常に利便性が高い。さらに、位置合わせ自体も自分の顔を鏡に映しているのと同等であるから、非常に直感的でわかりやすく、使い易い機能として提供すことができる。
【００３２】
次に携帯電話機10における変形例について記述する。本実施例は、先の実施例と同じ構成要素でありながら、接続関係が相違する。すなわち、本実施例の携帯電話機10は、図６に示すように、通信部16で通信する相手から受信した画像データ28を、画像制御部18だけでなく、顔検出部14にも供給している点で相違している。これにより、本実施例は、通信する相手から受信した画像の顔位置も検出できるようになる。
【００３３】
次に携帯電話機10における本実施例の動作を簡単に記述する。本実施例の携帯電話機10における画面例は、図７に示すように、通信する相手から供給される顔の位置ずれがある場合を示している。この場合、画面の中心36と受信した画像における顔の位置ずれ量24は、先の実施例に同じで、（(x7+x8)/2-xd/2,(y7+y8)/2-yd/2）=（(x7+x8)/2-Sx,(y7+y8)/2-Sy）と算出される。したがって、携帯電話機10は、受信画像を-（(x7+x8)/2-xd/2,(y7+y8)/2-yd/2）=-（(x7+x8)/2-Sx,(y7+y8)/2-Sy）とシフトすれば、受信した画像における顔位置の中心38は、表示部20における画面の中心36と一致することになる。
【００３４】
したがって、このように操作することにより図７に示すように、位置ずれがある場合の受信画面は、図４に示した位置ずれのない場合の受信画面と同等になる。この他の動作は、先の実施例と同じであるから記述を省略する。先の実施例では記載を簡略化するために、通信部16に供給される通信する相手からの画像に含まれる通信相手における顔の位置は、図４に示すように、画面の中心36にあるものと設定した。しかしながら、通信する相手も携帯電話機を利用しているような場合、手持ちであるから、通信する相手における顔位置の変動は頻繁に起こる可能性が高く、先の実施例では自分の顔位置がずれたのか、相手の顔位置がずれたのかを判断できなかった。本実施例は、通信する相手から供給される画像データ28を顔検出部14に入力することにより通信する相手の顔位置がずれても、顔の位置ずれ量を算出して補正することができる。この補正を踏まえ、先の実施例と同様に処理すると、使用者は、相手の顔位置のずれによるものでなく、表示画面の相手方の顔位置から実際に自分の顔位置のずれとして把握することが可能となる。とくに、通信する相手もカメラ機能付き携帯電話機のような、手持ちして操作する端末装置でテレビ電話機能を実行する場合に自分の顔位置のずれを把握できるという有効な効果を発揮する。
【００３５】
次に携帯電話機10における変形例について記述する。本実施例は、先の実施例と同じ構成要素でありながら、接続関係が相違する。すなわち、本実施例の携帯電話機10は、図８に示すように、撮像部12からの画像データ22を顔検出部14に供給するだけでなく、画像制御部18にも画像データ22を供給する。画像制御部18は通信する相手に送信するデータとして画像データ44を通信部16に供給する点で相違している。
【００３６】
次に携帯電話機10における本実施例の動作を簡単に記述する。撮像部12は、顔検出部14と画像制御部18に撮像画像を送る。顔検出部14は、画像データ22を基に顔の位置ずれ量としての顔の位置ずれ情報24を算出し、画像制御部18に出力する。
【００３７】
画像制御部18は、供給される顔の位置ずれ情報24を基に画像データ22をシフト制御し、シフト制御によって顔の位置ずれをなくした画像データ44を通信部16に送る。画像制御部18は、受信した通信する相手の画像を含む画像データ30を表示部20に出力する。これにより送信する画像は、常に、顔の位置ずれのない画像となり、快適な画像通信を行えるようになる。
【００３８】
このように本実施例では位置ずれ情報24を基に画像データ22を画像制御部18で制御することにより、たとえば自分がPC（Personal Computer）の前に座って、備え付けのUSB（Universal Serial Bus）カメラを使って、テレビ電話、すなわち画像通信するような場合、撮像した画像における顔位置の変動も少なく問題ないと考えられるが、携帯電話機10を利用する場合、手持ちにより顔の位置変動が頻繁に起こる可能性が高く、先の実施例の構成では撮像した画像の顔位置が頻繁にずれて、通信する相手は画像が非常に見づらいと考えられる。
【００３９】
しかしながら、本実施例では自分の撮像した画像が手ぶれで頻繁に顔位置のずれが発生しても、送信する画像は顔の位置ずれ量を算出して補正することから、通信する相手の端末装置では、顔の位置ずれのない画像を受け取ることができる。とくに、自分が携帯電話機10のような手持ちして操作する端末装置でテレビ電話通信をする場合、通信する相手に顔位置のずれのない画像を提供して、良好な画像通信を発揮させることができる。図１の例では自分の顔位置のずれを把握するためには、相手から送られてくる画像の顔位置はずれないことが前提であったが、本実施例によって実現可能である。
【００４０】
次に携帯電話機10における変形例について記述する。本実施例は、先の実施例と同じ構成要素でありながら、接続関係が相違する。すなわち、本実施例の携帯電話機10は、図９に示すように、通信部16は、通信する相手から受信した画像データ28を、画像制御部18だけでなく、顔検出部14にも供給している点で相違している。本実施例は、送信する画像における使用者の撮像位置ずれを補正して送信し、受信した画像における通信相手の表示ずれがある場合にも対応する。
【００４１】
次に携帯電話機10における本実施例の動作を簡単に記述する。顔検出部14は、顔領域の中心38と画面の中心36が一致した場合に顔の位置ずれ量をゼロと設定し、顔位置のずれ量((xL+xR)/2-Sｘ,(yU+yD)/2-Sy）を算出する。画像制御部18は送信側の動作に関しては、画像データ22における使用者の位置ずれがなくなるように撮像した画像を-((xL+xR)/2-Sｘ,(yU+yD)/2-Sy）=(-(xL+xR)/2+Sｘ,-(yU+yD)/2+Sy）シフトし、送信する画像として通信部16に送る。これにより、送信画像においては撮像時の位置ずれが補正され、使用者が真中に表示された画像が送信されることになる。
【００４２】
次に受信側の動作を記述する。通信部16で受信した画像は、顔検出部14および画像制御部18に送られる。画像制御部18を介さず、受信画像を表示部20に供給して、表示させた場合の受信画面を図10に示す。この場合、通信相手の顔の位置ずれ量は、（(xRL+xRR)/2-Sｘ,(yRU+yRD)/2-Sy）である。添字Rは、受信であることを示す。画像制御部18ではこの通信相手の受信した画像を、顔検出部14で算出した通信する相手における顔の位置ずれ量の分だけシフト制御し、通信相手の顔の位置が真中に来るように受信した画像28を制御する。この場合のシフト制御量は、（(xRL+xRR)/2-Sｘ,(yRU+yRD)/2-Sy）である。
【００４３】
先の実施例と同様に自分の姿が映った鏡のように自分が右にずれている場合は表示部20には右にずれて映った方が直感的にわかりやすいことから、画像制御部18で受信した画像に対するシフト制御量はx軸方向を反転させ、（-(xL+xR)/2+Sｘ,(yU+yD)/2-Sy）になる。最終的に通信部16から受信した画像に加えるシフト制御量は、(-(xL+xR)/2+Sｘ,(yU+yD)/2-Sy）-((xRL+xRR)/2-Sｘ,(yRU+yRD)/2-Sy)=（(-xL-xR-xRL-xRR)/2+2Sｘ, (yU+yD-yRU-yRD)/2)となる。
【００４４】
このように本実施例によれば、受信画像における通信する相手の顔ずれに影響を受けることなく、使用者における顔の位置ずれを通信する相手から受信した画像の顔位置に反映させるように制御して表示することから、使用者は、表示画像における通信する相手の顔位置から自分の顔位置のずれを把握することが可能になる。
【００４５】
さらに、使用者は撮像した画像における使用者の顔ずれを補正して、通信する相手の装置に画像を送ることから、通信する相手は、使用者の顔画像を画面中央で見ることができ、快適な画像通信することができる。
【００４６】
テレビ電話のような画像通信中において、互いに通信する相手の顔を見ながら、話すのが普通であるから、通信する相手の顔位置から自分の撮像位置を把握できる点で非常に利便性の高い機能を提供することができる。また、位置合わせ自体も自分の顔を鏡に映した場合と同等に扱うことができるから、非常に直感的でわかりやすい操作を提供することができる。
【００４７】
次に携帯電話機10における変形例について記述する。本実施例は、最初の実施例と同じ構成要素でありながら、図11に示すように、画像制御部18に表示倍率制御機能部46を含む構成となっている。表示倍率制御機能部46は、顔検出部14で検出した顔の位置情報を基に得た顔の大きさ情報を含む検出情報240の供給により、表示する画像に対する表示倍率を制御する機能を有する。
【００４８】
使用者を適切な大きさで撮像した場合の基準撮像画面を図12、実際に撮像した場合の撮像画面を図13に示す。また、本実施例では記載を簡略化するため、受信画像は、図14に示すように、通信する相手の画像が適切な大きさで写っている基準受信画面例を想定する。
【００４９】
まず、基準撮像画面は、図12に示すように、顔の大きさの横幅が（xSSR-xSSL）、縦幅が（ySSD-ySSU）である。ここで、位置xSSR, xSSL, ySSDおよびySSUは、基準として送信する撮像した顔の右端、左端、下端および上端を示し、これらの値は、顔検出部14により算出される。
【００５０】
次に実際の撮像画面は、図13に示すように、基準となる位置よりも使用者が撮像部12を近くに位置させた場合であり、結果として、顔が基準よりも大きい画像が得られる。ここで、位置xSR, xSL, ySDおよびySUは、送信する撮像した顔の右端、左端、下端および上端を示し、これらの値は、顔検出部14により算出される。このとき、顔の大きさは、顔検出部14で横幅（xSR-xSL）、縦幅（ySD-ySU）と算出される。基本的に、（xSR-xSL）/（xSSR-xSSL）=（ySD-ySU）/（ySSD-ySSU）であることから、基準撮像画像との比率を計算するに当たっては横方向または縦方向の片方の情報だけを用いればよい。本実施例では、縦方向の情報を使うものと設定する。顔検出部14は、図13の撮像した画像から、図12の基準における顔の大きさに比べて、倍率（ySD-ySU）/（ySSD-ySSU）で撮像されていることが算出される。
【００５１】
表示倍率制御機能部46では、撮像倍率（ySD-ySU）/（ySSD-ySSU）の情報240を顔検出部14から受け取る。ここで、基準受信画面における位置xSRR, xSRL, ySRDおよびySRUは、基準として受信した画像における顔の右端、左端、下端および上端を示し、これらの値は、顔検出部14により算出される。基準受信画面は、図14に示すように、顔の大きさの横幅が(xSRR-xSRL)、縦幅が(ySRD-ySRU)と算出される。また、図15に示す表示画像における位置xRR, xRL, yRDおよびyRUは、表示する画像における顔の右端、左端、下端および上端を示す。
【００５２】
顔の大きさは、図15に示すように、表示する画像を、(xRR-xRL)=(xSRR-xSRL)*（ySD-ySU）/（ySSD-ySSU）、(yRD-yRU)=(ySRD-ySRU)*（ySD-ySU）/（ySSD-ySSU）になるよう拡大表示する。これにより、使用者が撮像部12に近づき過ぎて、撮像画面における顔の大きさが大きくなったとき、表示画面での通信する相手からの顔画像の大きさも大きく表示される。
【００５３】
表示画面で通信する相手からの画像における顔の大きさが使用者の撮像距離に追従して表示されることから、表示画面で通信する相手からの画像における顔の大きさにより自分が適切な距離で撮像されているかどうかを把握することが可能になる。テレビ電話のような画像通信中において、相手から供給される顔画像を見ながら通話するのが普通であるから、相手からの顔画像における大きさから自分の撮像距離が適切かどうか把握でき、非常に利便性の高い機能を提供することができる。携帯電話機10によるテレビ電話のような画面が小さいシステムの場合、とくに、有効な効果を発揮させることができる。
【００５４】
次に開示する携帯電話機10は、図９に示した携帯電話機10の接続関係を有する。また、本実施例における画像制御部18は、図16に示すように、先の実施例にて記載した表示倍率制御機能部46を含む。通信相手から送られてくる受信画像の例を図17に示す。この例は、基準の受信画像より通信する相手の画像が小さく写っている場合である。
【００５５】
次に携帯電話機10における本実施例の動作を記載する。顔の位置ずれ補正は、先の実施例に同じである。最初に送信側の表示倍率制御について記載する。ここで、撮像した画像は図13の画像の場合に設定する。この場合、図12の基準としての撮像における画像と図13の撮像した画像における顔の大きさの比率は、(ySD-ySU)/(ySSD-ySSU)と算出される。送信画像として図13の画像を送ると、通信する相手の装置には顔が大きく写り過ぎる。
【００５６】
このため、本実施例は、表示倍率制御機能部46で図13の画像に対して(ySD-ySU)/(ySSD-ySSU)の逆数を表示倍率として制御する。これにより、顔の縦幅は、(ySD-ySU)*(1/((ySD-ySU)/(ySSD-ySSU)))=(ySSD-ySSU)になる。したがって、送信画像における顔の大きさは、図12の基準とする撮像した画像と同じ大きさにして、送信される。
【００５７】
次に受信側から供給される画像に対する表示倍率の制御を記載する。この場合の受信した画像を、図17に示す。この受信した画像は、基準の画像における顔の大きさより小さく写っているから、基準の大きさにするよう補正する。
【００５８】
図17の受信画像と図14の基準とする受信画像との顔大きさの比率は、(y14-y13)/(ySRD-ySRU)と算出される。表示倍率制御機能部46では、この算出した比率の逆数を表示倍率として制御する。図17の受信画像は、(y14-y13)*(1/((y14-y13)/(ySRD-ySRU)))=(ySRD-ySRU)になる。図17の受信画像は、図14の基準とする受信画像における顔の大きさと同じ大きさに表示倍率を制御したことになる。
【００５９】
さらに、携帯電話機10は、この表示倍率で制御した画像に、使用者の撮像した画像の表示倍率に制御する。基準となる顔の大きさと比べて、撮像した画像の比率は、(ySD-ySU)/(ySSD-ySSU)と算出される。このため、表示倍率制御機能部46ではこの値を受信した画像に施す。まとめると、図17の受信した画像に対する表示倍率は、((ySD-ySU)/(ySSD-ySSU))*(ySRD-ySRU)=(ySD-ySU)*(ySRD-ySRU)/(ySSD-ySSU)になる。この結果、表示画像は、受信した画像の大きさによらず、撮像した画像の比率で表示部20に表示される。
【００６０】
なお、表示倍率の制御は、先の実施例や本実施例に限定されるものでなく、表示倍率の制御について記載しなかった実施例にも適用できることは、言うまでもない。
【００６１】
本実施例では、使用者における顔の位置ずれを通信する相手の顔位置に反映させ、さらに、使用者の撮像した顔の大きさを通信する相手の顔の大きさに反映することが可能になることから、テレビ電話のような画像通信で通信する相手を見ながら通話して、自然に、自分の顔位置を前後左右、適切な場所に移動させることが可能になる。とくに、自分が携帯電話機のような手持ちのカメラを使用して画像通信する場合、有効な効果を発揮させることができる。
【００６２】
最後に、本発明の情報端末装置を適用した携帯電話機10における他の実施例について記述する。これまでの実施例では撮像画像や受信画像そのものの表示位置をずらしたり、拡大・縮小させる制御により表示していた。本実施例ではこれらと異なり、送信側は撮像した画像から顔の特徴点を抽出し、抽出した特徴データを送るものであり、受信側ではこの特徴データとキャラクタデータにより表示画像を作成するシステムを対象とする。このシステムについては、たとえば特許文献４の「画像コミュニケーション機能付き情報端末装置および画像配信システム」により開示されている。
【００６３】
本実施例における携帯電話機10は、図18に示すように、撮像部12、通信部16および表示部20を含み、顔特徴抽出部48、表示画像作成部50およびキャラクタデータ格納部52を含む。顔特徴抽出部48は、撮像した画像から顔の特徴点を抽出する機能を有する。顔特徴抽出部48は、撮像した画像に対して抽出した顔の特徴点を表わす送信画像データ54を通信部16に供給する。また、顔特徴抽出部48は、撮像した画像から求めた顔の特徴点を基に顔の位置および顔の大きさに関する情報240を算出し、表示画像作成部50に供給する。
【００６４】
表示画像作成部50は、受信側から供給される特徴データ28aとキャラクタデータ56を基に表示画像を作成する機能を有する。表示画像作成部50は、供給される情報240を基に表示位置のシフトおよび拡大・縮小の制御機能を有する。表示画像作成部50は、作成した表示画像データ30を表示部20に出力する。キャラクタデータ格納部52は、メモリであり、キャラクタデータを格納する。キャラクタデータ格納部52は、選択されたキャラクタデータ56を表示画像作成部50に供給する。
【００６５】
次に本実施例における携帯電話機10の動作について記載する。顔特徴抽出部48は、供給される撮像した画像データ22より、たとえば眉、目、口、鼻および輪郭を顔の特徴情報として抽出する。顔特徴抽出部48は、抽出したデータの位置情報または変化情報を送信画像データ54として通信部16を経由して、通信する相手の装置に伝送する。
【００６６】
表示画像作成部50は、通信部16から送られる顔の特徴情報としての受信画像データ28aと、キャラクタデータ格納部52からのキャラクタデータ56とを基に表示画像を作成する。また、表示画像作成部50は、顔特徴抽出部48から送られる顔位置情報および顔大きさ情報を含む情報240により、作成した表示画像における顔の位置および表示倍率を補正する。
【００６７】
受信するデータとして図４に示した位置ずれのない画像の顔特徴データ28aが通信する相手の装置から送られてくるものと仮定する。使用者の顔位置を図３とすると、この場合、顔の位置ずれ量は、((x1+x2)/2-Sx,(y1+y2)/2-Sy)と算出される。ここで、使用者の利便性のため左右のずれは反転して表示する。このため、実際の表示画面での補正量は、(-(x1+x2)/2+Sx,(y1+y2)/2-Sy)となる。この場合の表示画像を図19に示す。
【００６８】
表示画像作成部50は、図に示す通り、キャラクタデータ56を基に表示データを作成する。本実施例では、受信した顔画像が猫に変換されて、表示部20に表示されている。
【００６９】
ここで、キャラクタデータとは、アニメーションに登場するキャラクタ、すなわち人物を表わすデータやたとえば動物および物を擬人化した創造されたデータである。表示画像作成部50は、キャラクタデータ56を用いて通信するユーザの表情を反映させて、会話に寄与する画像を作成している。
【００７０】
また、本実施例で表示位置は、表示画像作成部50で((x20+x21)/2-Sx,(y20+y21)/2-Sy)=(-(x1+x2)/2+Sx,(y1+y2)/2-Sy)となるように制御されている。
【００７１】
本実施例は、先の実施例と同様に使用者における顔の位置ずれを通信する相手における顔の位置に反映させることに加え、さらに使用者の撮像された顔の大きさを通信する相手の顔の大きさに反映することを可能にする。これにより画像通信で相手を見ながら通話して、自然に、自分の顔位置を適切な場所に移動させることができ、とくに、自分が携帯電話機10のような手持ちカメラを用いて、テレビ電話する場合に有効である。
【００７２】
さらに、先の実施例のように、実際の撮像画像の位置をずらす場合、画像自体を移動させるために撮像エリア外の部分の表示に問題があったり、拡大/縮小する場合は背景まで拡大/縮小されるための違和感の問題があったりする。しかしながら、本実施例では、選択したキャラクタで表示された顔画像と背景画像の処理を分離し、この顔画像だけに位置補正や表示倍率を補正することができることから、これらのような問題も発生しない。
【図面の簡単な説明】
【００７３】
【図１】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図２】図１の撮像部による被写体に対する撮像の一例を示す図である。
【図３】図１の撮像部で撮像される撮像画像の画面を示す図である。
【図４】図１の表示部に表示された位置ずれのない受信画像の画面を示す図である。
【図５】図１の表示部に表示される位置ずれ修正後の表示画面を示す図である。
【図６】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図７】図６の表示部に表示される位置ずれがある場合の受信画像の画面を示す図である。
【図８】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図９】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図１０】図９の表示部に表示された受信画像の画面を示す図である。
【図１１】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図１２】図11の撮像部で撮像される基準の撮像画像の画面を示す図である。
【図１３】図11の撮像部で撮像される実際の撮像画像の画面を示す図である。
【図１４】図11の表示部に表示される基準の受信画像の画面を示す図である。
【図１５】図11の表示部に表示される補正後の受信画像の画面を示す図である。
【図１６】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図１７】図11の表示部に表示される基準の受信画像より小さい実際の受信画像の画面を示す図である。
【図１８】本発明に係る情報端末装置を適用した携帯電話機の概略的な構成を示すブロック図である。
【図１９】図18の表示部に表示される補正後の受信画像の画面を示す図である。
【符号の説明】
【００７４】
10 携帯電話機
12 撮像部
14 顔検出部
16 通信部
18 画像制御部
20 表示部
46 表示倍率制御機能部
48 顔特徴抽出部
50 表示画像作成部
52 キャラクタデータ格納部
【特許請求の範囲】
【請求項１】
利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、前記通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、前記撮像した画像を互いに通信する情報端末装置であって、該情報端末装置は、
前記撮像した画像から前記表示手段の画面における基準点からの前記利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、
該位置情報を基に前記通信手段を介して受信する前記基準点に一致する受信画像をずらして制御し、前記表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする情報端末装置。
【請求項２】
請求項１に記載の情報端末装置において、前記画像制御手段は、表示する顔画像に対する所定の大きさを基準サイズと設定し、該基準サイズに対する前記撮像した画像サイズの比率に応じて表示倍率を変更した前記受信画像を生成し、前記表示手段に生成した受信画像を出力する倍率変更機能ブロックを含むことを特徴とする情報端末装置。
【請求項３】
利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、前記通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、前記撮像した画像を互いに通信する情報端末装置であって、該情報端末装置は、
前記通信する相手先の装置から受信した画像の前記表示手段の画面における基準点からのずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、
該位置情報を基に前記通信手段を介して前記受信した画像の前記基準点に対するずれを制御し、前記表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする情報端末装置。
【請求項４】
利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、前記通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、前記撮像した画像を互いに通信する情報端末装置であって、該情報端末装置は、
前記撮像した画像から前記表示手段の画面における基準点からの前記利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、
該位置情報を基に前記撮像した画像における顔の位置ずれ量を補正制御して、補正した撮像画像を前記通信手段に出力し、前記位置情報を基に前記通信手段を介して受信する前記基準点に一致する受信画像をずらして制御し、前記表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする情報端末装置。
【請求項５】
請求項４に記載の情報端末装置において、前記通信手段は、前記受信画像を前記顔検出手段にも供給するように接続され、
前記顔検出手段は、前記表示手段の画面における基準点から前記通信する相手先の装置から前記受信画像における顔の位置のずれ量を算出し、算出した前記利用者における顔の位置のずれ量および受信した画像における顔の位置ずれ量を位置情報として前記画像制御手段に出力し、
前記画像制御手段は、前記位置情報を基に前記通信手段を介して受信する前記基準点に対する前記受信画像のずれに応じて制御し、前記表示手段に制御した画像を出力することを特徴とする情報端末装置。
【請求項６】
請求項５に記載の情報端末装置において、前記顔検出手段は、前記撮像した画像および前記受信画像における顔画像に対する所定の大きさを各基準サイズとして設定し、前記基準点に対する前記撮像した画像および前記受信画像における顔画像の位置のずれ量を算出し、前記基準点に対する前記撮像した画像および前記受信画像における顔画像の前記各基準サイズに対する比率を算出し、算出した前記利用者における顔の位置のずれ量および前記比率、ならびに前記受信画像における顔の位置ずれ量および前記比率を位置情報として前記画像制御手段に出力し、
前記画像制御手段は、前記位置情報を基に前記撮像した画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、前記通信手段に出力する機能と、前記位置情報を基に前記受信画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、前記表示手段に出力する機能とを含むことを特徴とする情報端末装置。
【請求項７】
利用者を撮像する撮像手段と、
前記撮像した画像が含む顔の特徴データを抽出する抽出手段と、
キャラクタデータを格納する手段と、
通信する相手先の装置に撮像した画像を送信し、前記通信する相手先の装置からの画像を受信する通信手段と、
前記キャラクタデータおよび前記顔の特徴データを基に画像を作成する画像作成手段と、
少なくとも、受信した画像を表示する表示手段とを含み、
前記抽出手段は、前記撮像した画像および受信した画像における顔画像に対する所定の大きさを各基準サイズとして設定し、前記表示手段の画面における基準点に対する前記撮像した画像および前記受信した画像における顔画像の位置のずれ量を算出し、前記撮像した画像および前記受信した画像における顔画像の前記各基準サイズに対する比率を算出し、算出した前記利用者における顔の位置のずれ量および前記比率、ならびに前記受信した画像における顔の位置ずれ量および前記比率を位置情報として前記画像作成手段に出力し、
前記画像作成手段は、前記位置情報を基に前記撮像した画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、前記通信手段に出力する機能と、前記位置情報を基に前記受信した画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、前記表示手段に出力する機能とを含み、
前記撮像した画像を互いに通信することを特徴とする情報端末装置。
【請求項１】
利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、前記通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、前記撮像した画像を互いに通信する情報端末装置であって、該情報端末装置は、
前記撮像した画像から前記表示手段の画面における基準点からの前記利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、
該位置情報を基に前記通信手段を介して受信する前記基準点に一致する受信画像をずらして制御し、前記表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする情報端末装置。
【請求項２】
請求項１に記載の情報端末装置において、前記画像制御手段は、表示する顔画像に対する所定の大きさを基準サイズと設定し、該基準サイズに対する前記撮像した画像サイズの比率に応じて表示倍率を変更した前記受信画像を生成し、前記表示手段に生成した受信画像を出力する倍率変更機能ブロックを含むことを特徴とする情報端末装置。
【請求項３】
利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、前記通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、前記撮像した画像を互いに通信する情報端末装置であって、該情報端末装置は、
前記通信する相手先の装置から受信した画像の前記表示手段の画面における基準点からのずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、
該位置情報を基に前記通信手段を介して前記受信した画像の前記基準点に対するずれを制御し、前記表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする情報端末装置。
【請求項４】
利用者を撮像する撮像手段と、通信する相手先の装置に撮像した画像を送信し、前記通信する相手先の装置からの画像を受信する通信手段と、少なくとも、受信した画像を表示する表示手段とを含み、前記撮像した画像を互いに通信する情報端末装置であって、該情報端末装置は、
前記撮像した画像から前記表示手段の画面における基準点からの前記利用者における顔の位置ずれ量を算出し、算出した位置ずれ量を位置情報として出力する顔検出手段と、
該位置情報を基に前記撮像した画像における顔の位置ずれ量を補正制御して、補正した撮像画像を前記通信手段に出力し、前記位置情報を基に前記通信手段を介して受信する前記基準点に一致する受信画像をずらして制御し、前記表示手段に制御した画像を出力する画像制御手段とを含むことを特徴とする情報端末装置。
【請求項５】
請求項４に記載の情報端末装置において、前記通信手段は、前記受信画像を前記顔検出手段にも供給するように接続され、
前記顔検出手段は、前記表示手段の画面における基準点から前記通信する相手先の装置から前記受信画像における顔の位置のずれ量を算出し、算出した前記利用者における顔の位置のずれ量および受信した画像における顔の位置ずれ量を位置情報として前記画像制御手段に出力し、
前記画像制御手段は、前記位置情報を基に前記通信手段を介して受信する前記基準点に対する前記受信画像のずれに応じて制御し、前記表示手段に制御した画像を出力することを特徴とする情報端末装置。
【請求項６】
請求項５に記載の情報端末装置において、前記顔検出手段は、前記撮像した画像および前記受信画像における顔画像に対する所定の大きさを各基準サイズとして設定し、前記基準点に対する前記撮像した画像および前記受信画像における顔画像の位置のずれ量を算出し、前記基準点に対する前記撮像した画像および前記受信画像における顔画像の前記各基準サイズに対する比率を算出し、算出した前記利用者における顔の位置のずれ量および前記比率、ならびに前記受信画像における顔の位置ずれ量および前記比率を位置情報として前記画像制御手段に出力し、
前記画像制御手段は、前記位置情報を基に前記撮像した画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、前記通信手段に出力する機能と、前記位置情報を基に前記受信画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、前記表示手段に出力する機能とを含むことを特徴とする情報端末装置。
【請求項７】
利用者を撮像する撮像手段と、
前記撮像した画像が含む顔の特徴データを抽出する抽出手段と、
キャラクタデータを格納する手段と、
通信する相手先の装置に撮像した画像を送信し、前記通信する相手先の装置からの画像を受信する通信手段と、
前記キャラクタデータおよび前記顔の特徴データを基に画像を作成する画像作成手段と、
少なくとも、受信した画像を表示する表示手段とを含み、
前記抽出手段は、前記撮像した画像および受信した画像における顔画像に対する所定の大きさを各基準サイズとして設定し、前記表示手段の画面における基準点に対する前記撮像した画像および前記受信した画像における顔画像の位置のずれ量を算出し、前記撮像した画像および前記受信した画像における顔画像の前記各基準サイズに対する比率を算出し、算出した前記利用者における顔の位置のずれ量および前記比率、ならびに前記受信した画像における顔の位置ずれ量および前記比率を位置情報として前記画像作成手段に出力し、
前記画像作成手段は、前記位置情報を基に前記撮像した画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、前記通信手段に出力する機能と、前記位置情報を基に前記受信した画像に対する前記顔の位置ずれ量および基準サイズとの比率を調整して、前記表示手段に出力する機能とを含み、
前記撮像した画像を互いに通信することを特徴とする情報端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００８−２９４８１５（Ｐ２００８−２９４８１５Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１３９１０２（Ｐ２００７−１３９１０２）
【出願日】平成１９年５月２５日（２００７．５．２５）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２５日（２００７．５．２５）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]