情報端末装置
【課題】撮影状況の確認を容易に実現し、ユーザの利便性を向上させることができる情報端末装置を提供。
【解決手段】通信端末装置10は、画像入力部12で取り込んだ被写体の像を画像データ34aとして表情特徴抽出部16に出力し、この特徴データ36を基にガイダンス情報48をガイド情報生成部22で生成し、通知制御部28でガイダンス情報48を通知情報56に変換し、映音出力部18で通知情報56を受けて出力することによりユーザ自身の撮影状況を容易に把握できるようになる。
【解決手段】通信端末装置10は、画像入力部12で取り込んだ被写体の像を画像データ34aとして表情特徴抽出部16に出力し、この特徴データ36を基にガイダンス情報48をガイド情報生成部22で生成し、通知制御部28でガイダンス情報48を通知情報56に変換し、映音出力部18で通知情報56を受けて出力することによりユーザ自身の撮影状況を容易に把握できるようになる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報端末装置に関するものである。本発明の情報端末装置は、ユーザの撮像した顔画像を基にした作成画像を表情付画像として伝送するテレビ電話やテレビ会議等の情報端末装置に関するものである。
【背景技術】
【０００２】
画像通信において、ユーザのカメラ写りは互いのコミュニケーションの質に影響を与えることが知られている。従来、この分野では、いくつかの方法が採られてきた。第１の方法には、ユーザ自身を撮像した画像を表示する方法がある。この方法は、相手側からの画像を表示している画面内に小ウィンドウとして表示するピクチャインピクチャ方式や画面を複数の領域に分割した一つの領域に表示する画面分割方式が用いられてきた。
【０００３】
第２の方法としては、特許文献１の画像通信端末装置のユーザインタフェースがあり、この装置は、ユーザがカメラの撮影範囲外である場合、受信した相手側画像に対して種々の操作を行った後に表示状態を変更して表示することで、自地点画像を表示せずにユーザがカメラの撮影範囲内に位置するか否かの判断を可能にし、ユーザがカメラの撮影範囲から逸脱したことを通知する方法を開示している。
【０００４】
【特許文献１】特開平8−251561号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した第１の方法で挙げた２つの方式による表示では、ユーザ自身の画像だけを表示することから撮影状況を確認し難く、撮影状況の調整もユーザが実際に表示される画像を見て判断する以外にないという問題がある。
【０００６】
また、第２の方法においてユーザが撮影範囲内にいる場合、どのような位置にいるのか等を確認することができないという問題がある。この方法は、ユーザの位置を撮影範囲内に調整することを可能にするが、ユーザ画像を表示せずに相手の画像だけの通知を受け、表示することから、たとえば周囲の明るさ、カメラ・ユーザ間の距離等他の撮影状況については確認することができない。
【０００７】
本発明はこのような従来技術の欠点を解消し、撮影状況の確認を容易に実現し、ユーザの利便性を向上させることができる情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上述の課題を解決するために、画像を通信情報として扱う情報端末装置を用いて通信する画像伝送システムにおいて、この装置は、被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、画像データから表情を表す特徴データを抽出する特徴抽出手段と、この特徴データに基づいてユーザが選択した基本画像としてのキャラクタデータを変形させて、キャラクタ合成画像を生成する表情合成手段と、通信相手の情報端末装置とデータを送受信する送受信手段と、通信相手の情報端末装置からの画像データを表示または出力する出力手段と、特徴データを基にユーザの撮影状況がいかなる状況にあるかを示すアドバイス情報を生成するガイド情報生成手段とを含み、表情合成手段は、アドバイス情報が反映させたキャラクタ合成画像を生成し、送受信手段から生成したキャラクタ合成画像を出力することを特徴とする。
【０００９】
本発明の情報端末装置は、画像入力手段で取り込んだ被写体を画像データとして特徴抽出手段に出力し、この特徴データを基にアドバイス情報をガイド情報生成手段で生成し、表情合成手段でアドバイス情報が反映させたキャラクタ合成画像を生成し、送受信手段を介して出力することによりユーザは生成したキャラクタ合成画像で撮影状況を確認することができる。
【００１０】
また、本発明は上述の課題を解決するために、画像を通信情報として扱う情報端末装置を用いて通信する画像伝送システムにおいて、この装置は、被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、画像データから表情を表す特徴データを抽出する特徴抽出手段と、通信相手の情報端末装置とデータを送受信する送受信手段と、通信相手の情報端末装置からの画像データを表示または出力する出力手段と、特徴データを基にユーザの撮影状況がいかなる状況にあるかを示すアドバイス情報を生成するガイド情報生成手段と、アドバイス情報を通知情報に変換する通知変換手段とを含み、出力手段は、通知情報を受けて出力することを特徴とする。
【００１１】
本発明の情報端末装置は、画像入力手段で取り込んだ被写体を画像データとして特徴抽出手段に出力し、この特徴データを基にアドバイス情報をガイド情報生成手段で生成し、通知変換手段でアドバイス情報を通知情報に変換し、出力手段で通知情報を受けて出力することによりユーザ自身の撮影状況を容易に把握することができる。
【発明を実施するための最良の形態】
【００１２】
次に添付図面を参照して本発明による情報端末装置の実施例を詳細に説明する。
【００１３】
本実施例は、本発明の情報端末装置を通信端末装置10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１４】
通信端末装置10は、通信回線を介してインターネット等にそれぞれ、接続されている。通信端末装置10は、同じ構成要素を含む場合や通信形態に応じてそれぞれ異なる構成要素を含む場合がある。以後の実施例にて順次開示していく。
【００１５】
通信端末装置10は、図１に示すように、画像入力部12、切換スイッチ14、表情特徴抽出部16、映音出力部18、表情合成部20、ガイダンス情報生成部22、操作部24、キャラクタ管理部26、通知制御部28および送受信部30を含む。
【００１６】
画像入力部12は、図示しない光学系を介して被写体からの入射光32を２次元に配した受光素子に集光し、光電変換によりアナログ画像信号にして、この得られたアナログ画像信号をディジタル画像信号に変換して、通信端末装置10内に画像データとして取り込む機能を有している。画像入力部12は、ユーザの顔を被写体とし、顔画像を画像データ34として切換スイッチ14に出力する。
【００１７】
切換スイッチ14は、供給される画像データ34の出力先を切り換える機能を有している。切換スイッチ14は、図示しないがたとえば、操作部24の選択に応じて表情特徴抽出部16および映音出力部18のいずれか一方に、それぞれ画像データ34aおよび34bとして出力する。
【００１８】
表情特徴抽出部16は、供給される画像データ34aに基づき表情を表す特徴データを求める機能を有している。表情特徴抽出部16は、求めた特徴データ36を表情合成部20およびガイダンス情報生成部22に、それぞれ出力する。表情特徴抽出部16は、図示しない音声データを基に感情データを抽出し、抽出した感情データおよび特徴データを反映するように顔の部位を変位または移動させる表情データ36を出力する。また、表情特徴抽出部16は、図示しないが操作部24の操作指示信号に応じて画像を縮小させ、音声とともに映音信号として映音出力部18に出力する機能も有している。
【００１９】
映音出力部18は、画像および図示しないが音声を出力する機能を有している。映音出力部18は、モニタ38および通知出力部40を含む。モニタ38には、たとえばカメラからの画像、基本モデルを示すキャラクタ画像、背景画像、プレビュー画像および表情付キャラクタ画像等が表示される。通知出力部40には、たとえば選択した送信画像、表情抽出確信度およびガイダンス内容等が表示される。
【００２０】
表情合成部20は、表情を示す特徴データ36およびに選択した基本モデルであるキャラクタ画像42を入力し、基本モデル画像のキャラクタ画像が有する特徴点を移動させ、表情に反映させた画像を生成する機能を有する。この機能はアプリケーションソフトウェアで実現させることができる。この画像は、供給されるキャラクタ画像に応じて２次元画像や３次元画像となる。表情合成部20は、ユーザ（話者）の表情を反映したキャラクタ画像データ44を送受信部30に出力する。
【００２１】
ガイダンス情報生成部22は、求めた特徴データ36を基にガイダンス情報を生成する機能を有し、図２に示すように、ガイダンス情報判定部46を含んでいる。ガイダンス情報とは、抽出処理の結果である特徴データ36を基に抽出処理の成功や失敗を判定して得られる現在の判定結果および一定期間の抽出処理成功率のそれぞれを表す情報である。ガイダンス情報生成部46は、生成したガイダンス情報48を通知制御部28に出力する。
【００２２】
図１に戻って、操作部24は、ユーザの操作により選択された操作指示信号50が図示しない制御部やキャラクタ管理部30に供給する。
【００２３】
キャラクタ管理部26は、送受信部34を介してキャラクタ管理センタ16からキャラクタ画像データおよび背景データを信号線52からダウンロードして、格納し、キャラクタ画像データおよび背景データのサムネイルデータ54を映音出力部18に出力する機能を有している。これはユーザがキャラクタ画像データおよび背景データを選択する際、これらを組み合わせた最終的な画像の確認に用いるためのものである。ユーザは、操作部24からの操作指示信号50により要求に合わせたキャラクタ画像データおよび背景データを選択し、選択したキャラクタ画像データおよび背景データをコンテンツ42として表情合成部16に出力する。
【００２４】
キャラクタ管理部26は、常にキャラクタ画像データと背景データを管理しなくてもよく、キャラクタ画像データおよび背景データのいずれか一方を管理するだけでも構わない。
【００２５】
通知制御部28は、供給されるガイダンス情報48からユーザへ通知すべき情報56を生成する機能を有している。通知制御部28は、通知情報56を映音出力部18に出力している。通知情報56は、供給されるガイダンス情報48の段階に対応して点灯させるランプの数に対応した情報である。通知制御部28は、図３に示すように、ガイダンス情報48と通知情報56とをたとえば、抽出処理成功率とランプの点灯数とに対応させている。
【００２６】
前述した映音出力部18は、抽出処理の状態を供給される通知情報56に応じて表示させる。表示は、たとえば図４に示すように、判定結果に基づき「成功」や「失敗」という文字列を表示する文字列表示部58や記号「○」や「×」のほかに図形等の形状を表示する記号表示部60およびこれらの大きさで状況を報知する段階表示部62を設けて行うことが好ましい。文字列や図形は、色を変化させて報知してもよい。また、この他、音声出力によりユーザに報知させてもよい。たとえばビープ音の出力だけでなく、「成功」や「失敗」、「○」や「×」などの文字または文字列を読み上げて出力してもよいし、あらかじめ登録されている文字または文字列を読み上げて出力させてもよい。音声出力は、任意に出力／非出力の設定ができることが望ましい。
【００２７】
再び、図１に戻って、送受信部30は、表情合成部20からの映音データ44を送信し、図示しない通信相手の通信端末装置から送られてくる映音データを受信する機能を有し、受信した映音データ64を映音データ66として映音出力部18に出力する機能を有している。また、前述したように、送受信部30はキャラクタ管理部26と図示しないキャラクタ管理センタの間のデータ通信も行う機能を有している。
【００２８】
図１に示した通信端末装置10における画像通信の動作を簡単に説明する。ユーザは通信端末装置12を用いて顔画像を撮影する。図５に示すように、通信端末装置10は画像入力部12を介して顔画像を取得する（ステップS10）。顔画像の画像データ34が切換スイッチ14を介して表情特徴抽出部24に供給される。
【００２９】
次に表情特徴抽出部16にて通信相手に対する画像送信しないか否かを判断する（ステップS12）。図示しないが、この判断は、制御信号に対応して行う。制御信号は、たとえばユーザによる操作に応じて操作部24から供給される操作指示信号50に基づいて生成される。切換スイッチ14にて直ちに画像データ34を送信しない場合（YES）、表情特徴抽出部16に出力し、抽出処理に進む（ステップS14へ）。また、直ちに画像データ34を送信する場合（NO）、図１に示していないが画像データ34の送信処理に進む（ステップS16へ）。このとき、通信端末装置10は、画像データ34をモニタ38に供給し、顔画像をモニタ38に表示させてもよい。
【００３０】
ステップS14では、画像データ34から表情の特徴を抽出する。次にキャラクタ画像を生成するか否か判断する（ステップS18）。この判断も操作に応じて行われる。キャラクタ画像を生成する場合（YES）、画像生成処理に進む（ステップS20へ）。また、キャラクタ画像を生成しない場合（NO）、ガイダンス情報の生成処理に進む（ステップS22へ）。
【００３１】
画像生成処理では、表情合成部20でキャラクタ画像を生成する（ステップS20）。キャラクタ画像および背景のコンテンツ42に表情を反映させた背景付キャラクタ画像にする。ここでの処理は、供給される特徴データ36を基にガイダンス情報48も生成している。
【００３２】
ガイダンス情報の生成処理では、ガイダンス情報生成部22で抽出処理成功率等を生成し、通知制御部28に出力する。ガイダンス情報の生成処理は、手順として分けて表しているが、背景付キャラクタ画像を生成する場合にも行うようにしてもよい。これにより、ユーザは撮影状況を確認することができる。
【００３３】
次に生成した表情付キャラクタ画像または顔画像データを送信する（ステップS16）。映音出力部18には受信した画像データ66等を含め供給された画像データを表示する（ステップS24）。この表示後、処理を終了する。
【００３４】
一方、通知制御部28では、供給されるガイダンス情報48に対応する通知情報56を生成し、映音出力部18に出力する（ステップS26）。ユーザは、映音出力部18に表示される通知に応じてたとえば、次の画像取得をどのようにするか対応する。この通知は、ランプの点滅数だけでなく、音声の出力を抽出処理成功率にしたがって段階的に大きくしたり小さくしたりしてもよい。この表示後、処理を終了する。
【００３５】
このようにガイダンス情報48に対応する通知情報56を表示させ、ユーザに対し撮影状況を通知することにより、利用の際にユーザ自身が撮影状況を容易に確認することができ、ユーザの負担を低減することができる。また、ユーザはカメラで適切に撮影されていても、撮影状況を確認できるので利便性を非常に高めることができる。
【００３６】
次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例としてガイダンスによる通知表示だけに着目して説明する。また、共通する構成要素および工程には、同じ参照符号を付し、説明の煩雑さを避けるため説明を省略する。本実施例の通信端末装置10は、図１の構成にそれぞれ、図６に示すように、ストレージ68を配設する。ストレージ68は、通知情報の対応を管理するガイダンスデータベースを格納している。ストレージ68は、通知制御部28と信号線70を介して接続されている。
【００３７】
また、ガイダンス情報生成部22には、特徴データ36だけでなく、画像データ34が供給されている。ガイダンス情報生成部22は、図７に示すように、抽出データ判定部72、画像明暗判定部74、顔距離判定部76、開閉判定部78、顔角度判定部80および統合判定部82を含む。抽出データ判定部72、顔距離判定部76、開閉判定部78および顔角度判定部80は、それぞれ、供給される特徴データ36を入力し、統合判定部82に判定結果としてデータ84を出力している。また、画像明暗判定部74は、供給される画像データ34を入力し、統合判定部82に判定結果としてデータ84を出力している。
【００３８】
抽出データ判定部72は、ガイダンス情報判定部46に対応している。画像明暗判定部74は、撮像した画像データ34から抽出処理結果を基準とした任意の領域に対するヒストグラムの算出による判定や任意の領域の濃度値を加算し画素数で割った値による判定等、様々な手法を適用することにより画像の明暗判定を実現する。この判定により、ユーザは事前に適切な撮影環境の明暗が把握できる。
【００３９】
顔距離判定部76は、抽出処理結果に含まれる左目と右目、左口端と右口端等の自由な複数の組み合わせの距離による判定や抽出処理結果を基準とした顔の領域の大きさによる判定等、様々な手法を適用してユーザの適切な顔距離を判定することができる。この判定により、ユーザは事前に画像入力部12との適切な距離を把握することができる。
【００４０】
開閉判定部78は、抽出処理結果である特徴データ36と撮像した画像データ34とから目領域内の濃度値の変動に基づく判定やテンプレートマッチングによる判定等、様々な手法を適用することにより左目、右目それぞれの開閉有無の判定することができる。この判定により、顔特徴量の抽出が安定して行うことができないと思われる場合に対して目が閉じているという情報を事前にユーザに知らせることで顔の抽出精度を向上させ適切なコミュニケーションを行うことが可能となる。この場合、開閉判定部78には、画像データ34を入力するように接続してもよい。
【００４１】
顔角度判定部80は、特徴データ36の左目と右目のそれぞれの目頭と目尻との距離および左端と口右端との距離の算出、左目と右目のそれぞれの上まぶたと下まぶたの距離および眉間と口中心との距離の算出、ならびに左目と右目の瞳を結んだ直線と水平との傾きおよび口左端と口右端を結んだ直線と水平との傾きの算出による判定や抽出処理結果を基準とした顔の領域の傾きによる判定等、様々な手法の適用により顔角度を判定することができる。この判定により、ユーザに事前に知らせることで適切なコミュニケーションを行うことが可能となる。
【００４２】
統合判定82は、上述した判定結果84を統合する機能を有し、ガイダンス情報48を生成する。統合判定部214は、ガイダンス情報48を通知制御部28に出力する。
【００４３】
通知制御部28は、受信したガイダンス情報48に基づきストレージ60のガイダンスDBを使用して通知情報56を生成する。通知制御部28は、映音出力部18に送信する。映音出力部18は、受信した通知情報56に見合った通知を表示することができる。ガイダンスDBには、たとえば図８に示すガイダンス情報48と通知情報56との対応が管理されている。
【００４４】
本実施例の動作を簡単に説明する。図９に示すように、動作手順は、図５に示したステップS22とステップS26との間にガイダンス情報48に基づきストレージ68のガイダンスDBを使用して通知情報56を生成する工程（ステップS28）を設けている。
【００４５】
ガイダンスDBを使用して通知情報56を生成させ、表示させ、ユーザに対し適切なガイダンスを行うことにより、表情付画像通信システムの利用においてユーザ自身が撮影状況を詳細に知ることができ、ユーザの負担を大幅に低減できる。また、適切でない撮影状況の場合、その原因を通知するだけでなく、適切に撮影されている場合においても、撮影状況を把握できるので、非常に利便性が高めることができる。
【００４６】
次に本発明の情報端末装置を適用した画像通信システムの通信端末装置10における他の実施例を説明する。本実施例の通信端末装置10は、図10に示すように、キャラクタ管理部26にストレージ86を含んでいる。ストレージ86は、基本モデルのキャラクタデータおよび背景データをデータベース化して格納している。キャラクタ管理部26は、ユーザからの要求に応じてコンテンツ42を表情合成部20に出力している。
【００４７】
図10に示す通信端末装置10は、通信相手先の通信端末装置88とIPネットワーク90を介して通信する場合である。通信端末装置88は少なくとも、送受信部92、通知制御部94、ストレージ96および映音出力部98を配設する。通信端末装置88における送受信部92、通知制御部94および映音出力部98は、通信端末装置10で用いた送受信部30、通知制御部28および映音出力部18と同じ機能を有している。
【００４８】
通信端末装置10および88は、ガイダンス情報を送受信できるようにしている。すなわち、送受信部30および92は、画像情報およびガイダンス情報を含む形式のデータを扱う機能を有している。送受信部30は、通知制御部28からガイダンス情報48を受信し、通知制御部28に相手からのガイダンス情報を出力している。
【００４９】
ストレージ96は、ガイダンス情報と通知情報とを対応付けて格納され、管理機能を有するガイダンスデータベースである。
【００５０】
送受信部92は、通信端末装置10から受信したガイダンス情報100を通知制御部28に供給する。通知制御部28は、ガイダンス情報100に対応する通知情報をストレージ96のガイダンスDBにアクセスして、該当する通知情報102を取得し、生成した通知情報104を映音出力部98に出力する。
【００５１】
通信端末装置10の動作を図11に示す。まず、撮像した画像を取得する（ステップS10）。次に送信しないか否かを判断する（ステップS12）。送信にかかわらず、表情特徴を特徴データ36として抽出する（ステップS14）。送信する場合（NO）、抽出した特徴データ36に基づきガイダンス情報48を生成する（ステップS22）。送信する画像データ42とともに、ガイダンス情報48を通信端末装置88に送信する（ステップS30）。この送信後、映音出力部18に送信した画像と同じ画像を表示する（ステップS24）。この後、通知情報の生成処理に進む（ステップS28へ）。
【００５２】
一方、送信可否の判断し、直ちに送信しない場合（YES）、特徴データ36を生成する（ステップS14）。次にキャラクタ画像を生成するか否かを判断する（ステップS18）。キャラクタ画像を生成する場合（YES）、キャラクタ画像生成処理に進む（ステップS20へ）。また、キャラクタ画像を生成しない場合（NO）、ガイダンス情報の生成処理に進む（ステップS22へ）。
【００５３】
キャラクタ画像の生成処理は、ユーザが選択したキャラクタ画像に表情を持たせ、選択した背景と合成した合成画像をキャラクタ画像として生成している（ステップS20）。特徴データ36は、表情合成部20だけでなく、ガイダンス情報生成部22にも供給されている。ガイダンス情報生成部22では、特徴データ36および画像データ34を基にガイダンス情報48を生成する。
【００５４】
通信端末装置10は、生成したキャラクタ画像およびガイダンス情報を表情合成部20および通知制御部28のそれぞれから送受信部30に供給し、通信端末装置88に送信する（ステップS32）。送信後、通信端末装置10は、映音出力部18にキャラクタ画像を表示させる（ステップS34）。
【００５５】
キャラクタ画像も生成しない判断（NO）では、上述したように、ガイダンス情報48を生成する。生成したガイダンス情報48は、通知制御部28から送受信部30を介して通信端末装置88に送信する（ステップS36）。
【００５６】
ステップS24、S34またはS36の後、通知制御部28では、供給されるガイダンス情報48に基づき通知情報56を生成する。生成した通知情報56は、映音出力部18に出力される（ステップS28）。映音出力部18では、供給された通知情報56を通知出力部40に表示させる（ステップS26）。このように動作させた後、通信端末装置10の処理が終了する。
【００５７】
通信端末装置88では、図12に示すように、通信端末装置10からの情報、画像、キャラクタ画像やガイダンス情報を受信する（ステップS38）。受信した情報のうち、ガイダンス情報100を通知制御部94に出力する。次にガイダンス情報100に対応する通知情報を生成する（ステップS28）。通知情報104の生成は、通知制御部94からのアクセスによりガイダンス情報100に対応する通知情報をストレージ96のガイダンスDBから読み出し、映音出力部98に出力する。
【００５８】
映音出力部98では、供給される通知情報104を表示する（ステップS26）。
【００５９】
キャラクタ画像を使用した画像コミュニケーションにおいて、通信相手先にたとえば、カメラからの撮影画像が送信されず、キャラクタ画像だけが送信されても、ガイダンス情報100が通知されることにより、通信相手先のユーザは、通信相手の存在を確認することができ、通信相手が実際にいるか否か不安感を取り除くことができ、コミュニケーションに集中することができる。
【００６０】
次に本発明の情報端末装置を適用した画像通信システムの通信端末装置10における他の実施例として要部構成例を説明する。本実施例で、通信端末装置10は、図13に示すように、表情合成部20にガイダンス情報48を入力させ，ストレージ106を新たに設けている。ストレージ106は、モデル合成データベース（DB）を格納している。モデル合成DBとは、ガイダンス情報48とモデル合成情報とを対応付けて格納するデータベースである。モデル合成情報は、キャラクタ画像の生成に反映させる情報を意味している。ストレージ106は、ガイダンス情報48に対応して読み出したモデル合成情報108を表情合成部20に出力している。
【００６１】
通信端末装置10において、この接続により表情合成部20は、モデル合成DBを使用し、受信したガイダンス情報と同様に受信したモデル合成情報を反映させた後にキャラクタ画像を生成している。
【００６２】
ここで、映音出力部18のモニタ38には、少なくとも、液晶ディスプレイ等を有し、この他スピーカ等の音声出力装置も設けることで、ガイダンス情報48に対応した音声信号をキャラクタ画像へ付加し、付加された音声を出力することができる。
【００６３】
ガイダンス情報をモデル合成情報に反映させる方法をいくつか挙げる。たとえば、ガイダンス情報48が撮影状況の暗さを示す場合、画像全体を黒味がかっているように表現させて、選択したキャラクタが暗い場所にいるように表現する。また、ガイダンス情報48がカメラと離れている撮影状況、すなわち遠いことを示す場合、キャラクタを小さく表示させて、キャラクタが遠い場所にいるように表現する。さらに、モデル合成情報としては、何らかのガイダンス情報に対応したキャラクタの背景変更、涙、発汗または吹き出し内への文字列表示など、特別な表現効果を持ったオブジェクトを付加したり、効果音などの音声をキャラクタ画像に付加したりするようにしてもよい。
【００６４】
動作を簡単に説明する。図14に示すように、通信端末装置10は、ガイダンス情報48を取得後、表情合成部20にガイダンス情報48を供給する。表情合成部20は、ストレージ106にガイダンス情報48をアクセスして対応するモデル合成情報108を取得する（ステップS40）。
【００６５】
表情合成部20では、選択に応じて供給される基本のキャラクタ画像（コンテンツ）42に対してモデル合成情報108を反映させるように画像を生成する。表情合成部20は、生成したキャラクタ画像を送受信部30に出力する。送受信部30では、顔画像または生成したキャラクタ画像が通信端末装置88に送信する（ステップS16）。通信端末装置10は、図13では信号線としてあらわに現れていないが、映音出力部18に顔画像または生成したキャラクタ画像を表示する（ステップS24）。この表示後、一つの画像通信の動作を終了する。
【００６６】
ガイダンス情報を反映させたモデル合成情報に基づいてキャラクタ画像を生成することにより、ユーザはキャラクタ画像の生成とともに撮影状況が確認でき、ユーザの負担を大幅に低減できる。また、ガイダンス情報にともなう通知を表示する表示部が不要になり、ユーザは目視の注目箇所が減り、よりコミュニケーションに集中することができる。
【００６７】
次に本発明の情報端末装置を適用した画像通信システムの通信端末装置10における他の実施例として要部構成を用いて説明する。本実施例で、通信端末装置10の構成要素を極力簡略化させ、キャラクタ画像生成機能をサーバ110に持たせている。サーバ100は、キャラクタ管理センタのような管理サーバに設けてもよい。
【００６８】
サーバ110には、図15に示すように、通信端末装置10で用いている構成要素に対して同じ参照符号を付している。サーバ110は、送受信部30、表情特徴抽出部16、表情合成部20、ガイダンス情報生成部22およびストレージ106を含む。とくに、ストレージ106は、モデル合成DBだけでなく、キャラクタ画像および背景も格納している。したがって、ストレージ106は、ユーザの選択に応じたキャラクタ画像および背景、ならびにガイダンス情報48に対応したモデル合成情報を含むデータ108を表情合成部20に出力している。
【００６９】
表情合成部20は、供給されるデータ108に応じてキャラクタ画像を生成する。生成したキャラクタ画像は、サーバ110の送受信部30からIPネットワーク90して通信端末装置10よび88それぞれに供給される。図15の通信端末装置10は、供給されるキャラクタ画像66を受信し、映音出力部18に出力する。映音出力部18では、たとえば通信相手とユーザ本人が選択したキャラクタ画像がモニタ38に表示される。
【００７０】
画像通信システムの通信端末装置10の動作を図16に示す。通信端末装置10は、撮像した画像データ34を取得する（ステップS10）。画像データ34を送信するか否か判断する（ステップS12a）。送信しない場合（NO）、切換スイッチ14を介して映音出力部18に画像データ34を送って、表示処理に進む（ステップS24へ）。送信する場合（YES）、画像データ34を送受信部30からサーバ110に送信する（ステップS42）。この送信により画像通信システムは、管理処理に進む（サブルーチンSUBへ）。
【００７１】
管理処理は、サーバ110における処理である。これにより、キャラクタ画像を生成して、図15に図示しない通信相手の通信端末装置88に送信する。サーバ110は、通信端末装置88からの画像データも受信して、キャラクタ画像を生成する。サーバ110は、生成したキャラクタ画像のうち、少なくとも、通信相手から供給されるキャラクタ画像およびガイダンス情報を送出する。サーバ110は、ユーザ自身が選択したキャラクタ画像を返してもよい。
【００７２】
通信端末装置10は、サーバ110から供給されるキャラクタ画像およびガイダンス情報を受信する（ステップS44）。通信端末装置10は、受信したキャラクタ画像を映音出力部18に供給し、表示する（ステップS24）。このようにサーバ110を介して通信すると、簡素化された構成の通信端末装置で画像コミュニケーションを容易に実現させることができる。
【００７３】
管理処理をサブルーチンとして図17に示す。サーバ110は、各通信端末装置で撮影した画像データ34を受信する（ステップS38）。次に受信した画像データ34を基に表情特徴を示す特徴データ36を表情特徴抽出部16で抽出する。特徴データ16は、表情合成部20およびガイダンス情報生成部22にそれぞれ、供給される。
【００７４】
ガイダンス情報22は、画像データ34および特徴データ36を基にガイダンス情報生成部22で生成される（ステップS22）。生成したガイダンス情報48は、表情合成部20に供給される。表情合成部20では、供給されるガイダンス情報48を基にストレージ110のモデル合成DBにアクセスして、ユーザにより選択されているキャラクタ画像および背景や該当するモデル合成情報を読み出して、表情合成部20で取得する（ステップS40）。
【００７５】
表情合成部20では、供給される情報を基に合成画像としてのキャラクタ画像を生成する（ステップS34）。サーバ110は、合成画像およびガイダンス情報48を通信相手の通信端末装置10および88に送信する（ステップS46）。通信端末装置10への送信は、ユーザによる画像確認のために送信しているが、自身には送信しないようにしてもよい。この送信後、サーバ110は、画像生成する管理処理を終えて、リターンに進む。通信端末装置のそれぞれは、前述したように供給される合成画像およびガイダンス情報48を受信、表示している。
【００７６】
なお、本実施例では、ガイダンス情報48をあえて送信しているが、送信しなくても済むことは前述の記載から明らかである。
【００７７】
このように動作させると、ガイダンス情報を反映させたキャラクタ画像を生成し、顔特徴抽出やキャラクタ画像生成等、負荷の高い処理をサーバ236で実行させ、かつ通知表示部がなくても、通信端末装置10および88は汎用的なテレビ電話装置などで代用でき、ガイダンス機能付画像通信システムをより容易に実現することができる。
【００７８】
以上のように構成することにより、通信端末装置10は、画像入力部12で取り込んだ被写体の像を画像データ34aとして表情特徴抽出部16に出力し、この特徴データ36を基にガイダンス情報48をガイド情報生成部22で生成し、表情合成部16でアドバイス情報が反映させたキャラクタ合成画像44を生成し、送受信部30を介して出力することによりユーザは生成したキャラクタ合成画像44で撮影状況を確認して、ユーザの負担を軽減することができる。
【００７９】
ガイド情報生成部22は、アドバイスを提供する上で、抽出データ判定部72、画像明暗判定部74、顔距離判定部76、開閉判定部78および顔角度判定部を有し、統合判定部82で抽出データ判定部72とこれら判定部のうちの少なくとも一つを統合し、ガイダンス情報48を生成することでユーザ自身が撮影状況を詳細に知ることができ、大幅に使い勝手をよくすることができる。
【００８０】
また、通信端末装置10は、画像入力部12で取り込んだ被写体の像を画像データ34aとして表情特徴抽出部16に出力し、この特徴データ36を基にガイダンス情報48をガイド情報生成部22で生成し、通知制御部28でガイダンス情報48を通知情報56に変換し、映音出力部18で通知情報56を受けて出力することによりユーザ自身の撮影状況を容易に把握でき、ユーザの負担を軽減することができる。
【００８１】
ガイド情報生成部22は、アドバイスを提供する上で、抽出データ判定部72、画像明暗判定部74、顔距離判定部76、開閉判定部78および顔角度判定部を有し、統合判定部82で抽出データ判定部72とこれら判定部のうちの少なくとも一つを統合し、ガイダンス情報48を生成することでユーザ自身が撮影状況を詳細に知ることができ、大幅に使い勝手をよくすることができる。
【００８２】
また、通信端末装置10は、ストレージ68でガイダンス情報48と通知情報56とを対応付けて管理し、通知制御部28でストレージ68にアクセスして、ガイダンス情報48に対応する通知情報56を取得して、変換し、映音出力部18に出力して、ユーザ自身が撮影状況を的確に知ることができる。
【００８３】
通知制御部28は、ガイダンス情報48を送受信部30に出力し、ガイダンス情報48を通信相手の通信端末装置88に供給し、通信端末装置88に、少なくとも、送受信部92、通知制御部94および映音出力部98を含むことで通知情報104の表示（出力）により通信相手の存在を確認することができ、不安感を除き、コミュニケーションに集中することができる。
【００８４】
サーバ110は、送受信部30、表示特徴抽出部16、表情合成部20およびガイダンス情報生成部22を含み、キャラクタ合成画像44をキャラクタデータ、特徴データおよびガイダンス情報を基に表情合成部20で生成し、少なくとも、通信相手の情報端末装置に出力することで端末側の処理負担を軽減し、通知表示をなくすことができる。これにより汎用的なテレビ電話機等での利用も容易に可能にする。
【産業上の利用可能性】
【００８５】
情報端末装置は、パーソナルコンピュータや携帯情報端末として携帯電話機、PDA（Personal Digital Assistant）、テレビ電話機およびカメラ付インタホン等でもよい。
【図面の簡単な説明】
【００８６】
【図１】本発明に係る情報端末装置を適用した通信端末装置における実施例の概略的な構成を示すブロック図である。
【図２】図１の通信端末装置におけるガイダンス情報生成部の構成を示す図である。
【図３】図１の通信端末装置が扱うガイダンス情報と通知情報との対応を示す図である。
【図４】図１の通信端末装置の映音出力部で表示する通知表示例を示す図である。
【図５】図１の通信端末装置における動作手順を説明するフローチャートである。
【図６】本発明に係る情報端末装置を適用した通信端末装置における他の実施例の概略的な要部構成を示すブロック図である。
【図７】図１のガイダンス情報生成部における他の構成例を示すブロック図である。
【図８】図７のガイダンス情報生成部を用いた場合のガイダンス情報と通知情報の対応を示す図である。
【図９】図８のガイダンス情報生成部を用いた通信端末装置の動作手順を説明するフローチャートである。
【図１０】本発明に係る情報端末装置を適用した画像通信システムの各通信端末装置における他の実施例の要部構成を示すブロック図である。
【図１１】本発明に係る情報端末装置を適用した図10の送信側通信端末装置における動作手順を説明するフローチャートである。
【図１２】図11の送信側通信端末装置に対する受信側通信端末装置における動作手順を説明するフローチャートである。
【図１３】本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の要部構成を示すブロック図である。
【図１４】図13の通信端末装置における動作手順を説明するフローチャートである。
【図１５】本発明に係る情報端末装置を適用した画像通信システムにおける通信端末装置とサーバの構成をそれぞれ示すブロック図である。
【図１６】図15の画像通信システムにおける動作手順を説明するフローチャートである。
【図１７】図15の画像通信システムにおけるサーバの動作手順を説明するフローチャートである。
【符号の説明】
【００８７】
10 通信端末装置
12 画像入力部
14 切換スイッチ
16 表情特徴抽出部
18 映音出力部
20 表情合成部
22 ガイダンス情報生成部
24 操作部
26 キャラクタ管理部
28 通知制御部
30 送受信部
【技術分野】
【０００１】
本発明は、情報端末装置に関するものである。本発明の情報端末装置は、ユーザの撮像した顔画像を基にした作成画像を表情付画像として伝送するテレビ電話やテレビ会議等の情報端末装置に関するものである。
【背景技術】
【０００２】
画像通信において、ユーザのカメラ写りは互いのコミュニケーションの質に影響を与えることが知られている。従来、この分野では、いくつかの方法が採られてきた。第１の方法には、ユーザ自身を撮像した画像を表示する方法がある。この方法は、相手側からの画像を表示している画面内に小ウィンドウとして表示するピクチャインピクチャ方式や画面を複数の領域に分割した一つの領域に表示する画面分割方式が用いられてきた。
【０００３】
第２の方法としては、特許文献１の画像通信端末装置のユーザインタフェースがあり、この装置は、ユーザがカメラの撮影範囲外である場合、受信した相手側画像に対して種々の操作を行った後に表示状態を変更して表示することで、自地点画像を表示せずにユーザがカメラの撮影範囲内に位置するか否かの判断を可能にし、ユーザがカメラの撮影範囲から逸脱したことを通知する方法を開示している。
【０００４】
【特許文献１】特開平8−251561号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した第１の方法で挙げた２つの方式による表示では、ユーザ自身の画像だけを表示することから撮影状況を確認し難く、撮影状況の調整もユーザが実際に表示される画像を見て判断する以外にないという問題がある。
【０００６】
また、第２の方法においてユーザが撮影範囲内にいる場合、どのような位置にいるのか等を確認することができないという問題がある。この方法は、ユーザの位置を撮影範囲内に調整することを可能にするが、ユーザ画像を表示せずに相手の画像だけの通知を受け、表示することから、たとえば周囲の明るさ、カメラ・ユーザ間の距離等他の撮影状況については確認することができない。
【０００７】
本発明はこのような従来技術の欠点を解消し、撮影状況の確認を容易に実現し、ユーザの利便性を向上させることができる情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上述の課題を解決するために、画像を通信情報として扱う情報端末装置を用いて通信する画像伝送システムにおいて、この装置は、被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、画像データから表情を表す特徴データを抽出する特徴抽出手段と、この特徴データに基づいてユーザが選択した基本画像としてのキャラクタデータを変形させて、キャラクタ合成画像を生成する表情合成手段と、通信相手の情報端末装置とデータを送受信する送受信手段と、通信相手の情報端末装置からの画像データを表示または出力する出力手段と、特徴データを基にユーザの撮影状況がいかなる状況にあるかを示すアドバイス情報を生成するガイド情報生成手段とを含み、表情合成手段は、アドバイス情報が反映させたキャラクタ合成画像を生成し、送受信手段から生成したキャラクタ合成画像を出力することを特徴とする。
【０００９】
本発明の情報端末装置は、画像入力手段で取り込んだ被写体を画像データとして特徴抽出手段に出力し、この特徴データを基にアドバイス情報をガイド情報生成手段で生成し、表情合成手段でアドバイス情報が反映させたキャラクタ合成画像を生成し、送受信手段を介して出力することによりユーザは生成したキャラクタ合成画像で撮影状況を確認することができる。
【００１０】
また、本発明は上述の課題を解決するために、画像を通信情報として扱う情報端末装置を用いて通信する画像伝送システムにおいて、この装置は、被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、画像データから表情を表す特徴データを抽出する特徴抽出手段と、通信相手の情報端末装置とデータを送受信する送受信手段と、通信相手の情報端末装置からの画像データを表示または出力する出力手段と、特徴データを基にユーザの撮影状況がいかなる状況にあるかを示すアドバイス情報を生成するガイド情報生成手段と、アドバイス情報を通知情報に変換する通知変換手段とを含み、出力手段は、通知情報を受けて出力することを特徴とする。
【００１１】
本発明の情報端末装置は、画像入力手段で取り込んだ被写体を画像データとして特徴抽出手段に出力し、この特徴データを基にアドバイス情報をガイド情報生成手段で生成し、通知変換手段でアドバイス情報を通知情報に変換し、出力手段で通知情報を受けて出力することによりユーザ自身の撮影状況を容易に把握することができる。
【発明を実施するための最良の形態】
【００１２】
次に添付図面を参照して本発明による情報端末装置の実施例を詳細に説明する。
【００１３】
本実施例は、本発明の情報端末装置を通信端末装置10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１４】
通信端末装置10は、通信回線を介してインターネット等にそれぞれ、接続されている。通信端末装置10は、同じ構成要素を含む場合や通信形態に応じてそれぞれ異なる構成要素を含む場合がある。以後の実施例にて順次開示していく。
【００１５】
通信端末装置10は、図１に示すように、画像入力部12、切換スイッチ14、表情特徴抽出部16、映音出力部18、表情合成部20、ガイダンス情報生成部22、操作部24、キャラクタ管理部26、通知制御部28および送受信部30を含む。
【００１６】
画像入力部12は、図示しない光学系を介して被写体からの入射光32を２次元に配した受光素子に集光し、光電変換によりアナログ画像信号にして、この得られたアナログ画像信号をディジタル画像信号に変換して、通信端末装置10内に画像データとして取り込む機能を有している。画像入力部12は、ユーザの顔を被写体とし、顔画像を画像データ34として切換スイッチ14に出力する。
【００１７】
切換スイッチ14は、供給される画像データ34の出力先を切り換える機能を有している。切換スイッチ14は、図示しないがたとえば、操作部24の選択に応じて表情特徴抽出部16および映音出力部18のいずれか一方に、それぞれ画像データ34aおよび34bとして出力する。
【００１８】
表情特徴抽出部16は、供給される画像データ34aに基づき表情を表す特徴データを求める機能を有している。表情特徴抽出部16は、求めた特徴データ36を表情合成部20およびガイダンス情報生成部22に、それぞれ出力する。表情特徴抽出部16は、図示しない音声データを基に感情データを抽出し、抽出した感情データおよび特徴データを反映するように顔の部位を変位または移動させる表情データ36を出力する。また、表情特徴抽出部16は、図示しないが操作部24の操作指示信号に応じて画像を縮小させ、音声とともに映音信号として映音出力部18に出力する機能も有している。
【００１９】
映音出力部18は、画像および図示しないが音声を出力する機能を有している。映音出力部18は、モニタ38および通知出力部40を含む。モニタ38には、たとえばカメラからの画像、基本モデルを示すキャラクタ画像、背景画像、プレビュー画像および表情付キャラクタ画像等が表示される。通知出力部40には、たとえば選択した送信画像、表情抽出確信度およびガイダンス内容等が表示される。
【００２０】
表情合成部20は、表情を示す特徴データ36およびに選択した基本モデルであるキャラクタ画像42を入力し、基本モデル画像のキャラクタ画像が有する特徴点を移動させ、表情に反映させた画像を生成する機能を有する。この機能はアプリケーションソフトウェアで実現させることができる。この画像は、供給されるキャラクタ画像に応じて２次元画像や３次元画像となる。表情合成部20は、ユーザ（話者）の表情を反映したキャラクタ画像データ44を送受信部30に出力する。
【００２１】
ガイダンス情報生成部22は、求めた特徴データ36を基にガイダンス情報を生成する機能を有し、図２に示すように、ガイダンス情報判定部46を含んでいる。ガイダンス情報とは、抽出処理の結果である特徴データ36を基に抽出処理の成功や失敗を判定して得られる現在の判定結果および一定期間の抽出処理成功率のそれぞれを表す情報である。ガイダンス情報生成部46は、生成したガイダンス情報48を通知制御部28に出力する。
【００２２】
図１に戻って、操作部24は、ユーザの操作により選択された操作指示信号50が図示しない制御部やキャラクタ管理部30に供給する。
【００２３】
キャラクタ管理部26は、送受信部34を介してキャラクタ管理センタ16からキャラクタ画像データおよび背景データを信号線52からダウンロードして、格納し、キャラクタ画像データおよび背景データのサムネイルデータ54を映音出力部18に出力する機能を有している。これはユーザがキャラクタ画像データおよび背景データを選択する際、これらを組み合わせた最終的な画像の確認に用いるためのものである。ユーザは、操作部24からの操作指示信号50により要求に合わせたキャラクタ画像データおよび背景データを選択し、選択したキャラクタ画像データおよび背景データをコンテンツ42として表情合成部16に出力する。
【００２４】
キャラクタ管理部26は、常にキャラクタ画像データと背景データを管理しなくてもよく、キャラクタ画像データおよび背景データのいずれか一方を管理するだけでも構わない。
【００２５】
通知制御部28は、供給されるガイダンス情報48からユーザへ通知すべき情報56を生成する機能を有している。通知制御部28は、通知情報56を映音出力部18に出力している。通知情報56は、供給されるガイダンス情報48の段階に対応して点灯させるランプの数に対応した情報である。通知制御部28は、図３に示すように、ガイダンス情報48と通知情報56とをたとえば、抽出処理成功率とランプの点灯数とに対応させている。
【００２６】
前述した映音出力部18は、抽出処理の状態を供給される通知情報56に応じて表示させる。表示は、たとえば図４に示すように、判定結果に基づき「成功」や「失敗」という文字列を表示する文字列表示部58や記号「○」や「×」のほかに図形等の形状を表示する記号表示部60およびこれらの大きさで状況を報知する段階表示部62を設けて行うことが好ましい。文字列や図形は、色を変化させて報知してもよい。また、この他、音声出力によりユーザに報知させてもよい。たとえばビープ音の出力だけでなく、「成功」や「失敗」、「○」や「×」などの文字または文字列を読み上げて出力してもよいし、あらかじめ登録されている文字または文字列を読み上げて出力させてもよい。音声出力は、任意に出力／非出力の設定ができることが望ましい。
【００２７】
再び、図１に戻って、送受信部30は、表情合成部20からの映音データ44を送信し、図示しない通信相手の通信端末装置から送られてくる映音データを受信する機能を有し、受信した映音データ64を映音データ66として映音出力部18に出力する機能を有している。また、前述したように、送受信部30はキャラクタ管理部26と図示しないキャラクタ管理センタの間のデータ通信も行う機能を有している。
【００２８】
図１に示した通信端末装置10における画像通信の動作を簡単に説明する。ユーザは通信端末装置12を用いて顔画像を撮影する。図５に示すように、通信端末装置10は画像入力部12を介して顔画像を取得する（ステップS10）。顔画像の画像データ34が切換スイッチ14を介して表情特徴抽出部24に供給される。
【００２９】
次に表情特徴抽出部16にて通信相手に対する画像送信しないか否かを判断する（ステップS12）。図示しないが、この判断は、制御信号に対応して行う。制御信号は、たとえばユーザによる操作に応じて操作部24から供給される操作指示信号50に基づいて生成される。切換スイッチ14にて直ちに画像データ34を送信しない場合（YES）、表情特徴抽出部16に出力し、抽出処理に進む（ステップS14へ）。また、直ちに画像データ34を送信する場合（NO）、図１に示していないが画像データ34の送信処理に進む（ステップS16へ）。このとき、通信端末装置10は、画像データ34をモニタ38に供給し、顔画像をモニタ38に表示させてもよい。
【００３０】
ステップS14では、画像データ34から表情の特徴を抽出する。次にキャラクタ画像を生成するか否か判断する（ステップS18）。この判断も操作に応じて行われる。キャラクタ画像を生成する場合（YES）、画像生成処理に進む（ステップS20へ）。また、キャラクタ画像を生成しない場合（NO）、ガイダンス情報の生成処理に進む（ステップS22へ）。
【００３１】
画像生成処理では、表情合成部20でキャラクタ画像を生成する（ステップS20）。キャラクタ画像および背景のコンテンツ42に表情を反映させた背景付キャラクタ画像にする。ここでの処理は、供給される特徴データ36を基にガイダンス情報48も生成している。
【００３２】
ガイダンス情報の生成処理では、ガイダンス情報生成部22で抽出処理成功率等を生成し、通知制御部28に出力する。ガイダンス情報の生成処理は、手順として分けて表しているが、背景付キャラクタ画像を生成する場合にも行うようにしてもよい。これにより、ユーザは撮影状況を確認することができる。
【００３３】
次に生成した表情付キャラクタ画像または顔画像データを送信する（ステップS16）。映音出力部18には受信した画像データ66等を含め供給された画像データを表示する（ステップS24）。この表示後、処理を終了する。
【００３４】
一方、通知制御部28では、供給されるガイダンス情報48に対応する通知情報56を生成し、映音出力部18に出力する（ステップS26）。ユーザは、映音出力部18に表示される通知に応じてたとえば、次の画像取得をどのようにするか対応する。この通知は、ランプの点滅数だけでなく、音声の出力を抽出処理成功率にしたがって段階的に大きくしたり小さくしたりしてもよい。この表示後、処理を終了する。
【００３５】
このようにガイダンス情報48に対応する通知情報56を表示させ、ユーザに対し撮影状況を通知することにより、利用の際にユーザ自身が撮影状況を容易に確認することができ、ユーザの負担を低減することができる。また、ユーザはカメラで適切に撮影されていても、撮影状況を確認できるので利便性を非常に高めることができる。
【００３６】
次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例としてガイダンスによる通知表示だけに着目して説明する。また、共通する構成要素および工程には、同じ参照符号を付し、説明の煩雑さを避けるため説明を省略する。本実施例の通信端末装置10は、図１の構成にそれぞれ、図６に示すように、ストレージ68を配設する。ストレージ68は、通知情報の対応を管理するガイダンスデータベースを格納している。ストレージ68は、通知制御部28と信号線70を介して接続されている。
【００３７】
また、ガイダンス情報生成部22には、特徴データ36だけでなく、画像データ34が供給されている。ガイダンス情報生成部22は、図７に示すように、抽出データ判定部72、画像明暗判定部74、顔距離判定部76、開閉判定部78、顔角度判定部80および統合判定部82を含む。抽出データ判定部72、顔距離判定部76、開閉判定部78および顔角度判定部80は、それぞれ、供給される特徴データ36を入力し、統合判定部82に判定結果としてデータ84を出力している。また、画像明暗判定部74は、供給される画像データ34を入力し、統合判定部82に判定結果としてデータ84を出力している。
【００３８】
抽出データ判定部72は、ガイダンス情報判定部46に対応している。画像明暗判定部74は、撮像した画像データ34から抽出処理結果を基準とした任意の領域に対するヒストグラムの算出による判定や任意の領域の濃度値を加算し画素数で割った値による判定等、様々な手法を適用することにより画像の明暗判定を実現する。この判定により、ユーザは事前に適切な撮影環境の明暗が把握できる。
【００３９】
顔距離判定部76は、抽出処理結果に含まれる左目と右目、左口端と右口端等の自由な複数の組み合わせの距離による判定や抽出処理結果を基準とした顔の領域の大きさによる判定等、様々な手法を適用してユーザの適切な顔距離を判定することができる。この判定により、ユーザは事前に画像入力部12との適切な距離を把握することができる。
【００４０】
開閉判定部78は、抽出処理結果である特徴データ36と撮像した画像データ34とから目領域内の濃度値の変動に基づく判定やテンプレートマッチングによる判定等、様々な手法を適用することにより左目、右目それぞれの開閉有無の判定することができる。この判定により、顔特徴量の抽出が安定して行うことができないと思われる場合に対して目が閉じているという情報を事前にユーザに知らせることで顔の抽出精度を向上させ適切なコミュニケーションを行うことが可能となる。この場合、開閉判定部78には、画像データ34を入力するように接続してもよい。
【００４１】
顔角度判定部80は、特徴データ36の左目と右目のそれぞれの目頭と目尻との距離および左端と口右端との距離の算出、左目と右目のそれぞれの上まぶたと下まぶたの距離および眉間と口中心との距離の算出、ならびに左目と右目の瞳を結んだ直線と水平との傾きおよび口左端と口右端を結んだ直線と水平との傾きの算出による判定や抽出処理結果を基準とした顔の領域の傾きによる判定等、様々な手法の適用により顔角度を判定することができる。この判定により、ユーザに事前に知らせることで適切なコミュニケーションを行うことが可能となる。
【００４２】
統合判定82は、上述した判定結果84を統合する機能を有し、ガイダンス情報48を生成する。統合判定部214は、ガイダンス情報48を通知制御部28に出力する。
【００４３】
通知制御部28は、受信したガイダンス情報48に基づきストレージ60のガイダンスDBを使用して通知情報56を生成する。通知制御部28は、映音出力部18に送信する。映音出力部18は、受信した通知情報56に見合った通知を表示することができる。ガイダンスDBには、たとえば図８に示すガイダンス情報48と通知情報56との対応が管理されている。
【００４４】
本実施例の動作を簡単に説明する。図９に示すように、動作手順は、図５に示したステップS22とステップS26との間にガイダンス情報48に基づきストレージ68のガイダンスDBを使用して通知情報56を生成する工程（ステップS28）を設けている。
【００４５】
ガイダンスDBを使用して通知情報56を生成させ、表示させ、ユーザに対し適切なガイダンスを行うことにより、表情付画像通信システムの利用においてユーザ自身が撮影状況を詳細に知ることができ、ユーザの負担を大幅に低減できる。また、適切でない撮影状況の場合、その原因を通知するだけでなく、適切に撮影されている場合においても、撮影状況を把握できるので、非常に利便性が高めることができる。
【００４６】
次に本発明の情報端末装置を適用した画像通信システムの通信端末装置10における他の実施例を説明する。本実施例の通信端末装置10は、図10に示すように、キャラクタ管理部26にストレージ86を含んでいる。ストレージ86は、基本モデルのキャラクタデータおよび背景データをデータベース化して格納している。キャラクタ管理部26は、ユーザからの要求に応じてコンテンツ42を表情合成部20に出力している。
【００４７】
図10に示す通信端末装置10は、通信相手先の通信端末装置88とIPネットワーク90を介して通信する場合である。通信端末装置88は少なくとも、送受信部92、通知制御部94、ストレージ96および映音出力部98を配設する。通信端末装置88における送受信部92、通知制御部94および映音出力部98は、通信端末装置10で用いた送受信部30、通知制御部28および映音出力部18と同じ機能を有している。
【００４８】
通信端末装置10および88は、ガイダンス情報を送受信できるようにしている。すなわち、送受信部30および92は、画像情報およびガイダンス情報を含む形式のデータを扱う機能を有している。送受信部30は、通知制御部28からガイダンス情報48を受信し、通知制御部28に相手からのガイダンス情報を出力している。
【００４９】
ストレージ96は、ガイダンス情報と通知情報とを対応付けて格納され、管理機能を有するガイダンスデータベースである。
【００５０】
送受信部92は、通信端末装置10から受信したガイダンス情報100を通知制御部28に供給する。通知制御部28は、ガイダンス情報100に対応する通知情報をストレージ96のガイダンスDBにアクセスして、該当する通知情報102を取得し、生成した通知情報104を映音出力部98に出力する。
【００５１】
通信端末装置10の動作を図11に示す。まず、撮像した画像を取得する（ステップS10）。次に送信しないか否かを判断する（ステップS12）。送信にかかわらず、表情特徴を特徴データ36として抽出する（ステップS14）。送信する場合（NO）、抽出した特徴データ36に基づきガイダンス情報48を生成する（ステップS22）。送信する画像データ42とともに、ガイダンス情報48を通信端末装置88に送信する（ステップS30）。この送信後、映音出力部18に送信した画像と同じ画像を表示する（ステップS24）。この後、通知情報の生成処理に進む（ステップS28へ）。
【００５２】
一方、送信可否の判断し、直ちに送信しない場合（YES）、特徴データ36を生成する（ステップS14）。次にキャラクタ画像を生成するか否かを判断する（ステップS18）。キャラクタ画像を生成する場合（YES）、キャラクタ画像生成処理に進む（ステップS20へ）。また、キャラクタ画像を生成しない場合（NO）、ガイダンス情報の生成処理に進む（ステップS22へ）。
【００５３】
キャラクタ画像の生成処理は、ユーザが選択したキャラクタ画像に表情を持たせ、選択した背景と合成した合成画像をキャラクタ画像として生成している（ステップS20）。特徴データ36は、表情合成部20だけでなく、ガイダンス情報生成部22にも供給されている。ガイダンス情報生成部22では、特徴データ36および画像データ34を基にガイダンス情報48を生成する。
【００５４】
通信端末装置10は、生成したキャラクタ画像およびガイダンス情報を表情合成部20および通知制御部28のそれぞれから送受信部30に供給し、通信端末装置88に送信する（ステップS32）。送信後、通信端末装置10は、映音出力部18にキャラクタ画像を表示させる（ステップS34）。
【００５５】
キャラクタ画像も生成しない判断（NO）では、上述したように、ガイダンス情報48を生成する。生成したガイダンス情報48は、通知制御部28から送受信部30を介して通信端末装置88に送信する（ステップS36）。
【００５６】
ステップS24、S34またはS36の後、通知制御部28では、供給されるガイダンス情報48に基づき通知情報56を生成する。生成した通知情報56は、映音出力部18に出力される（ステップS28）。映音出力部18では、供給された通知情報56を通知出力部40に表示させる（ステップS26）。このように動作させた後、通信端末装置10の処理が終了する。
【００５７】
通信端末装置88では、図12に示すように、通信端末装置10からの情報、画像、キャラクタ画像やガイダンス情報を受信する（ステップS38）。受信した情報のうち、ガイダンス情報100を通知制御部94に出力する。次にガイダンス情報100に対応する通知情報を生成する（ステップS28）。通知情報104の生成は、通知制御部94からのアクセスによりガイダンス情報100に対応する通知情報をストレージ96のガイダンスDBから読み出し、映音出力部98に出力する。
【００５８】
映音出力部98では、供給される通知情報104を表示する（ステップS26）。
【００５９】
キャラクタ画像を使用した画像コミュニケーションにおいて、通信相手先にたとえば、カメラからの撮影画像が送信されず、キャラクタ画像だけが送信されても、ガイダンス情報100が通知されることにより、通信相手先のユーザは、通信相手の存在を確認することができ、通信相手が実際にいるか否か不安感を取り除くことができ、コミュニケーションに集中することができる。
【００６０】
次に本発明の情報端末装置を適用した画像通信システムの通信端末装置10における他の実施例として要部構成例を説明する。本実施例で、通信端末装置10は、図13に示すように、表情合成部20にガイダンス情報48を入力させ，ストレージ106を新たに設けている。ストレージ106は、モデル合成データベース（DB）を格納している。モデル合成DBとは、ガイダンス情報48とモデル合成情報とを対応付けて格納するデータベースである。モデル合成情報は、キャラクタ画像の生成に反映させる情報を意味している。ストレージ106は、ガイダンス情報48に対応して読み出したモデル合成情報108を表情合成部20に出力している。
【００６１】
通信端末装置10において、この接続により表情合成部20は、モデル合成DBを使用し、受信したガイダンス情報と同様に受信したモデル合成情報を反映させた後にキャラクタ画像を生成している。
【００６２】
ここで、映音出力部18のモニタ38には、少なくとも、液晶ディスプレイ等を有し、この他スピーカ等の音声出力装置も設けることで、ガイダンス情報48に対応した音声信号をキャラクタ画像へ付加し、付加された音声を出力することができる。
【００６３】
ガイダンス情報をモデル合成情報に反映させる方法をいくつか挙げる。たとえば、ガイダンス情報48が撮影状況の暗さを示す場合、画像全体を黒味がかっているように表現させて、選択したキャラクタが暗い場所にいるように表現する。また、ガイダンス情報48がカメラと離れている撮影状況、すなわち遠いことを示す場合、キャラクタを小さく表示させて、キャラクタが遠い場所にいるように表現する。さらに、モデル合成情報としては、何らかのガイダンス情報に対応したキャラクタの背景変更、涙、発汗または吹き出し内への文字列表示など、特別な表現効果を持ったオブジェクトを付加したり、効果音などの音声をキャラクタ画像に付加したりするようにしてもよい。
【００６４】
動作を簡単に説明する。図14に示すように、通信端末装置10は、ガイダンス情報48を取得後、表情合成部20にガイダンス情報48を供給する。表情合成部20は、ストレージ106にガイダンス情報48をアクセスして対応するモデル合成情報108を取得する（ステップS40）。
【００６５】
表情合成部20では、選択に応じて供給される基本のキャラクタ画像（コンテンツ）42に対してモデル合成情報108を反映させるように画像を生成する。表情合成部20は、生成したキャラクタ画像を送受信部30に出力する。送受信部30では、顔画像または生成したキャラクタ画像が通信端末装置88に送信する（ステップS16）。通信端末装置10は、図13では信号線としてあらわに現れていないが、映音出力部18に顔画像または生成したキャラクタ画像を表示する（ステップS24）。この表示後、一つの画像通信の動作を終了する。
【００６６】
ガイダンス情報を反映させたモデル合成情報に基づいてキャラクタ画像を生成することにより、ユーザはキャラクタ画像の生成とともに撮影状況が確認でき、ユーザの負担を大幅に低減できる。また、ガイダンス情報にともなう通知を表示する表示部が不要になり、ユーザは目視の注目箇所が減り、よりコミュニケーションに集中することができる。
【００６７】
次に本発明の情報端末装置を適用した画像通信システムの通信端末装置10における他の実施例として要部構成を用いて説明する。本実施例で、通信端末装置10の構成要素を極力簡略化させ、キャラクタ画像生成機能をサーバ110に持たせている。サーバ100は、キャラクタ管理センタのような管理サーバに設けてもよい。
【００６８】
サーバ110には、図15に示すように、通信端末装置10で用いている構成要素に対して同じ参照符号を付している。サーバ110は、送受信部30、表情特徴抽出部16、表情合成部20、ガイダンス情報生成部22およびストレージ106を含む。とくに、ストレージ106は、モデル合成DBだけでなく、キャラクタ画像および背景も格納している。したがって、ストレージ106は、ユーザの選択に応じたキャラクタ画像および背景、ならびにガイダンス情報48に対応したモデル合成情報を含むデータ108を表情合成部20に出力している。
【００６９】
表情合成部20は、供給されるデータ108に応じてキャラクタ画像を生成する。生成したキャラクタ画像は、サーバ110の送受信部30からIPネットワーク90して通信端末装置10よび88それぞれに供給される。図15の通信端末装置10は、供給されるキャラクタ画像66を受信し、映音出力部18に出力する。映音出力部18では、たとえば通信相手とユーザ本人が選択したキャラクタ画像がモニタ38に表示される。
【００７０】
画像通信システムの通信端末装置10の動作を図16に示す。通信端末装置10は、撮像した画像データ34を取得する（ステップS10）。画像データ34を送信するか否か判断する（ステップS12a）。送信しない場合（NO）、切換スイッチ14を介して映音出力部18に画像データ34を送って、表示処理に進む（ステップS24へ）。送信する場合（YES）、画像データ34を送受信部30からサーバ110に送信する（ステップS42）。この送信により画像通信システムは、管理処理に進む（サブルーチンSUBへ）。
【００７１】
管理処理は、サーバ110における処理である。これにより、キャラクタ画像を生成して、図15に図示しない通信相手の通信端末装置88に送信する。サーバ110は、通信端末装置88からの画像データも受信して、キャラクタ画像を生成する。サーバ110は、生成したキャラクタ画像のうち、少なくとも、通信相手から供給されるキャラクタ画像およびガイダンス情報を送出する。サーバ110は、ユーザ自身が選択したキャラクタ画像を返してもよい。
【００７２】
通信端末装置10は、サーバ110から供給されるキャラクタ画像およびガイダンス情報を受信する（ステップS44）。通信端末装置10は、受信したキャラクタ画像を映音出力部18に供給し、表示する（ステップS24）。このようにサーバ110を介して通信すると、簡素化された構成の通信端末装置で画像コミュニケーションを容易に実現させることができる。
【００７３】
管理処理をサブルーチンとして図17に示す。サーバ110は、各通信端末装置で撮影した画像データ34を受信する（ステップS38）。次に受信した画像データ34を基に表情特徴を示す特徴データ36を表情特徴抽出部16で抽出する。特徴データ16は、表情合成部20およびガイダンス情報生成部22にそれぞれ、供給される。
【００７４】
ガイダンス情報22は、画像データ34および特徴データ36を基にガイダンス情報生成部22で生成される（ステップS22）。生成したガイダンス情報48は、表情合成部20に供給される。表情合成部20では、供給されるガイダンス情報48を基にストレージ110のモデル合成DBにアクセスして、ユーザにより選択されているキャラクタ画像および背景や該当するモデル合成情報を読み出して、表情合成部20で取得する（ステップS40）。
【００７５】
表情合成部20では、供給される情報を基に合成画像としてのキャラクタ画像を生成する（ステップS34）。サーバ110は、合成画像およびガイダンス情報48を通信相手の通信端末装置10および88に送信する（ステップS46）。通信端末装置10への送信は、ユーザによる画像確認のために送信しているが、自身には送信しないようにしてもよい。この送信後、サーバ110は、画像生成する管理処理を終えて、リターンに進む。通信端末装置のそれぞれは、前述したように供給される合成画像およびガイダンス情報48を受信、表示している。
【００７６】
なお、本実施例では、ガイダンス情報48をあえて送信しているが、送信しなくても済むことは前述の記載から明らかである。
【００７７】
このように動作させると、ガイダンス情報を反映させたキャラクタ画像を生成し、顔特徴抽出やキャラクタ画像生成等、負荷の高い処理をサーバ236で実行させ、かつ通知表示部がなくても、通信端末装置10および88は汎用的なテレビ電話装置などで代用でき、ガイダンス機能付画像通信システムをより容易に実現することができる。
【００７８】
以上のように構成することにより、通信端末装置10は、画像入力部12で取り込んだ被写体の像を画像データ34aとして表情特徴抽出部16に出力し、この特徴データ36を基にガイダンス情報48をガイド情報生成部22で生成し、表情合成部16でアドバイス情報が反映させたキャラクタ合成画像44を生成し、送受信部30を介して出力することによりユーザは生成したキャラクタ合成画像44で撮影状況を確認して、ユーザの負担を軽減することができる。
【００７９】
ガイド情報生成部22は、アドバイスを提供する上で、抽出データ判定部72、画像明暗判定部74、顔距離判定部76、開閉判定部78および顔角度判定部を有し、統合判定部82で抽出データ判定部72とこれら判定部のうちの少なくとも一つを統合し、ガイダンス情報48を生成することでユーザ自身が撮影状況を詳細に知ることができ、大幅に使い勝手をよくすることができる。
【００８０】
また、通信端末装置10は、画像入力部12で取り込んだ被写体の像を画像データ34aとして表情特徴抽出部16に出力し、この特徴データ36を基にガイダンス情報48をガイド情報生成部22で生成し、通知制御部28でガイダンス情報48を通知情報56に変換し、映音出力部18で通知情報56を受けて出力することによりユーザ自身の撮影状況を容易に把握でき、ユーザの負担を軽減することができる。
【００８１】
ガイド情報生成部22は、アドバイスを提供する上で、抽出データ判定部72、画像明暗判定部74、顔距離判定部76、開閉判定部78および顔角度判定部を有し、統合判定部82で抽出データ判定部72とこれら判定部のうちの少なくとも一つを統合し、ガイダンス情報48を生成することでユーザ自身が撮影状況を詳細に知ることができ、大幅に使い勝手をよくすることができる。
【００８２】
また、通信端末装置10は、ストレージ68でガイダンス情報48と通知情報56とを対応付けて管理し、通知制御部28でストレージ68にアクセスして、ガイダンス情報48に対応する通知情報56を取得して、変換し、映音出力部18に出力して、ユーザ自身が撮影状況を的確に知ることができる。
【００８３】
通知制御部28は、ガイダンス情報48を送受信部30に出力し、ガイダンス情報48を通信相手の通信端末装置88に供給し、通信端末装置88に、少なくとも、送受信部92、通知制御部94および映音出力部98を含むことで通知情報104の表示（出力）により通信相手の存在を確認することができ、不安感を除き、コミュニケーションに集中することができる。
【００８４】
サーバ110は、送受信部30、表示特徴抽出部16、表情合成部20およびガイダンス情報生成部22を含み、キャラクタ合成画像44をキャラクタデータ、特徴データおよびガイダンス情報を基に表情合成部20で生成し、少なくとも、通信相手の情報端末装置に出力することで端末側の処理負担を軽減し、通知表示をなくすことができる。これにより汎用的なテレビ電話機等での利用も容易に可能にする。
【産業上の利用可能性】
【００８５】
情報端末装置は、パーソナルコンピュータや携帯情報端末として携帯電話機、PDA（Personal Digital Assistant）、テレビ電話機およびカメラ付インタホン等でもよい。
【図面の簡単な説明】
【００８６】
【図１】本発明に係る情報端末装置を適用した通信端末装置における実施例の概略的な構成を示すブロック図である。
【図２】図１の通信端末装置におけるガイダンス情報生成部の構成を示す図である。
【図３】図１の通信端末装置が扱うガイダンス情報と通知情報との対応を示す図である。
【図４】図１の通信端末装置の映音出力部で表示する通知表示例を示す図である。
【図５】図１の通信端末装置における動作手順を説明するフローチャートである。
【図６】本発明に係る情報端末装置を適用した通信端末装置における他の実施例の概略的な要部構成を示すブロック図である。
【図７】図１のガイダンス情報生成部における他の構成例を示すブロック図である。
【図８】図７のガイダンス情報生成部を用いた場合のガイダンス情報と通知情報の対応を示す図である。
【図９】図８のガイダンス情報生成部を用いた通信端末装置の動作手順を説明するフローチャートである。
【図１０】本発明に係る情報端末装置を適用した画像通信システムの各通信端末装置における他の実施例の要部構成を示すブロック図である。
【図１１】本発明に係る情報端末装置を適用した図10の送信側通信端末装置における動作手順を説明するフローチャートである。
【図１２】図11の送信側通信端末装置に対する受信側通信端末装置における動作手順を説明するフローチャートである。
【図１３】本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の要部構成を示すブロック図である。
【図１４】図13の通信端末装置における動作手順を説明するフローチャートである。
【図１５】本発明に係る情報端末装置を適用した画像通信システムにおける通信端末装置とサーバの構成をそれぞれ示すブロック図である。
【図１６】図15の画像通信システムにおける動作手順を説明するフローチャートである。
【図１７】図15の画像通信システムにおけるサーバの動作手順を説明するフローチャートである。
【符号の説明】
【００８７】
10 通信端末装置
12 画像入力部
14 切換スイッチ
16 表情特徴抽出部
18 映音出力部
20 表情合成部
22 ガイダンス情報生成部
24 操作部
26 キャラクタ管理部
28 通知制御部
30 送受信部
【特許請求の範囲】
【請求項１】
画像を通信情報として扱う情報端末装置を用いて通信する画像伝送システムにおいて、該装置は、
被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、
前記画像データの表情を表す特徴データを抽出する特徴抽出手段と、
該特徴データに基づいてユーザが選択した基本画像としてのキャラクタデータを変形させて、キャラクタ合成画像を生成する表情合成手段と、
通信相手の情報端末装置とデータを送受信する送受信手段と、
前記通信相手の情報端末装置からの画像データを表示または出力する出力手段と、
前記特徴データを基に前記ユーザの撮影状況がいかなる状況にあるかを示すアドバイス情報を生成するガイド情報生成手段とを含み、
前記表情合成手段は、前記アドバイス情報が反映させたキャラクタ合成画像を生成し、前記送受信手段から生成したキャラクタ合成画像を出力することを特徴とする情報端末装置。
【請求項２】
請求項１に記載の装置において、前記ガイド情報生成手段は、前記アドバイスを提供する上で、前記特徴データの抽出成功率を判定する機能ブロック、前記画像データから画像の明暗を検出する第１の機能ブロック、前記特徴データから顔と撮像手段との距離を検出する第２の機能ブロック、目の瞬きおよび口の開閉を検出する第３の機能ブロックおよび視線を検出する第４の機能ブロック、および
前記判定および機能ブロックそれぞれのうちの少なくとも一つを統合し、前記アドバイス情報を生成する統合判定手段を含むことを特徴とする情報端末装置。
【請求項３】
画像を通信情報として扱う情報端末装置を用いて通信する画像伝送システムにおいて、該装置は、
被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、
前記画像データから表情を表す特徴データを抽出する特徴抽出手段と、
通信相手の情報端末装置とデータを送受信する送受信手段と、
前記通信相手の情報端末装置からの画像データを表示または出力する出力手段と、
前記特徴データを基にユーザの撮影状況がいかなる状況にあるかを示すアドバイス情報を生成するガイド情報生成手段と、
前記アドバイス情報を通知情報に変換する通知変換手段とを含み、
前記出力手段は、前記通知情報を受けて出力することを特徴とする情報端末装置。
【請求項４】
請求項３に記載の装置において、前記ガイド情報生成手段は、前記アドバイスを提供する上で、前記特徴データの抽出成功率を判定する機能ブロック、前記画像データから画像の明暗を検出する第１の機能ブロック、前記特徴データから顔と撮像手段との距離を検出する第２の機能ブロック、目の瞬きおよび口の開閉を検出する第３の機能ブロックおよび視線を検出する第４の機能ブロック、および
前記判定および機能ブロックそれぞれのうちの少なくとも一つを統合し、前記アドバイス情報を生成する統合判定手段を含むことを特徴とする情報端末装置。
【請求項５】
請求項３または４に記載の装置において、該装置は、前記アドバイス情報と前記通知情報とを対応付けて管理する記憶手段を含み、
前記通知変換手段は、前記記憶手段にアクセスして、前記アドバイス情報に対応する前記通知情報を取得して、変換し、前記出力手段に出力することを特徴とする情報端末装置。
【請求項６】
請求項３、４または５に記載の装置において、前記通知変換手段は、前記アドバイス情報を前記送受信手段に出力し、前記アドバイス情報を通信相手の情報端末装置に供給し、
前記通信相手の情報端末装置は、少なくとも、前記送受信手段、前記通知変換手段および前記出力手段を含むことを特徴とする情報端末装置。
【請求項７】
請求項３ないし６のいずれか一項に記載の情報端末装置が接続される前記画像伝送システムにおいて、該システムは、サーバ装置を有し、
該サーバ装置は、前記送受信手段、前記特徴抽出手段、前記表情合成手段および前記特徴データを基に前記ユーザの撮影状況がいかなる状況にあるかを示すアドバイス情報を生成するガイド情報生成手段を含み、
該サーバ装置は、前記キャラクタ合成画像を前記キャラクタデータ、前記特徴データおよび前記アドバイス情報を基に前記表情合成手段で生成し、少なくとも、前記通信相手の情報端末装置に出力することを特徴とするサーバ装置。
【請求項１】
画像を通信情報として扱う情報端末装置を用いて通信する画像伝送システムにおいて、該装置は、
被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、
前記画像データの表情を表す特徴データを抽出する特徴抽出手段と、
該特徴データに基づいてユーザが選択した基本画像としてのキャラクタデータを変形させて、キャラクタ合成画像を生成する表情合成手段と、
通信相手の情報端末装置とデータを送受信する送受信手段と、
前記通信相手の情報端末装置からの画像データを表示または出力する出力手段と、
前記特徴データを基に前記ユーザの撮影状況がいかなる状況にあるかを示すアドバイス情報を生成するガイド情報生成手段とを含み、
前記表情合成手段は、前記アドバイス情報が反映させたキャラクタ合成画像を生成し、前記送受信手段から生成したキャラクタ合成画像を出力することを特徴とする情報端末装置。
【請求項２】
請求項１に記載の装置において、前記ガイド情報生成手段は、前記アドバイスを提供する上で、前記特徴データの抽出成功率を判定する機能ブロック、前記画像データから画像の明暗を検出する第１の機能ブロック、前記特徴データから顔と撮像手段との距離を検出する第２の機能ブロック、目の瞬きおよび口の開閉を検出する第３の機能ブロックおよび視線を検出する第４の機能ブロック、および
前記判定および機能ブロックそれぞれのうちの少なくとも一つを統合し、前記アドバイス情報を生成する統合判定手段を含むことを特徴とする情報端末装置。
【請求項３】
画像を通信情報として扱う情報端末装置を用いて通信する画像伝送システムにおいて、該装置は、
被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、
前記画像データから表情を表す特徴データを抽出する特徴抽出手段と、
通信相手の情報端末装置とデータを送受信する送受信手段と、
前記通信相手の情報端末装置からの画像データを表示または出力する出力手段と、
前記特徴データを基にユーザの撮影状況がいかなる状況にあるかを示すアドバイス情報を生成するガイド情報生成手段と、
前記アドバイス情報を通知情報に変換する通知変換手段とを含み、
前記出力手段は、前記通知情報を受けて出力することを特徴とする情報端末装置。
【請求項４】
請求項３に記載の装置において、前記ガイド情報生成手段は、前記アドバイスを提供する上で、前記特徴データの抽出成功率を判定する機能ブロック、前記画像データから画像の明暗を検出する第１の機能ブロック、前記特徴データから顔と撮像手段との距離を検出する第２の機能ブロック、目の瞬きおよび口の開閉を検出する第３の機能ブロックおよび視線を検出する第４の機能ブロック、および
前記判定および機能ブロックそれぞれのうちの少なくとも一つを統合し、前記アドバイス情報を生成する統合判定手段を含むことを特徴とする情報端末装置。
【請求項５】
請求項３または４に記載の装置において、該装置は、前記アドバイス情報と前記通知情報とを対応付けて管理する記憶手段を含み、
前記通知変換手段は、前記記憶手段にアクセスして、前記アドバイス情報に対応する前記通知情報を取得して、変換し、前記出力手段に出力することを特徴とする情報端末装置。
【請求項６】
請求項３、４または５に記載の装置において、前記通知変換手段は、前記アドバイス情報を前記送受信手段に出力し、前記アドバイス情報を通信相手の情報端末装置に供給し、
前記通信相手の情報端末装置は、少なくとも、前記送受信手段、前記通知変換手段および前記出力手段を含むことを特徴とする情報端末装置。
【請求項７】
請求項３ないし６のいずれか一項に記載の情報端末装置が接続される前記画像伝送システムにおいて、該システムは、サーバ装置を有し、
該サーバ装置は、前記送受信手段、前記特徴抽出手段、前記表情合成手段および前記特徴データを基に前記ユーザの撮影状況がいかなる状況にあるかを示すアドバイス情報を生成するガイド情報生成手段を含み、
該サーバ装置は、前記キャラクタ合成画像を前記キャラクタデータ、前記特徴データおよび前記アドバイス情報を基に前記表情合成手段で生成し、少なくとも、前記通信相手の情報端末装置に出力することを特徴とするサーバ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００６−１８６９３３（Ｐ２００６−１８６９３３Ａ）
【公開日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願番号】特願２００４−３８１２０７（Ｐ２００４−３８１２０７）
【出願日】平成１６年１２月２８日（２００４．１２．２８）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願日】平成１６年１２月２８日（２００４．１２．２８）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]