画像処理方法およびその方法を利用可能なサーバ
【課題】 携帯電話ではモーフィングのような複雑な画像処理ができない。
【解決手段】 ユーザが携帯電話に搭載されたＣＣＤカメラで撮影した顔写真の画像データは、電子メールの形でサーバ１８に送信され、ユーザデータベース５２に登録される。画像データベース５４には既存の画像、たとえば歴史上の人物の肖像画のデータがあらかじめ格納されている。モーフィング処理部５６はユーザデータベース５２からユーザの登録画像を読み出し、画像データベース５４からユーザの指定する既存画像を読み出し、２枚の画像のマッチングをとって、中間画像を生成する。生成された中間画像は、ユーザの携帯電話に送信されて画面に表示される。
【解決手段】 ユーザが携帯電話に搭載されたＣＣＤカメラで撮影した顔写真の画像データは、電子メールの形でサーバ１８に送信され、ユーザデータベース５２に登録される。画像データベース５４には既存の画像、たとえば歴史上の人物の肖像画のデータがあらかじめ格納されている。モーフィング処理部５６はユーザデータベース５２からユーザの登録画像を読み出し、画像データベース５４からユーザの指定する既存画像を読み出し、２枚の画像のマッチングをとって、中間画像を生成する。生成された中間画像は、ユーザの携帯電話に送信されて画面に表示される。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像処理技術に関する。本発明はとくに、２枚の画像のマッチングにより中間画像を生成する画像処理方法およびその方法を利用可能なサーバに関する。
【０００２】
【従来の技術】携帯電話が普及し、ビジネス用途以外に、友人とのコミュニケーションや家族との連絡に頻繁に使われるようになってきた。携帯電話は通常の通話の用途以外に、電子メールのやりとりをしたり、インターネットにアクセスして画像や音声を含むコンテンツをダウンロードして利用するなど、データ通信機能を用いた各種サービスにも利用されている。
【０００３】最近ではＣＣＤカメラを搭載した携帯電話も安価で販売されるようになり、携帯電話を用いて顔写真や風景などの写真をとり、電子メールにその画像データを添付してやりとりすることも行われている。画像データを扱う電子機器として、デジタルカメラやパーソナルコンピュータにならんで、携帯電話やＰＤＡなどの携帯端末がこれからは重要な位置を占めるようになると思われる。
【０００４】画像データを用いた一つのアプリケーションとして、２枚の画像のマッチングをとって、一方の画像を徐々に変化させて他方の画像に変形するモーフィングという技法があり、モーフィングは２枚の画像間の中間画像を生成したり、２枚の画像の間を連続的に変化する中間画像により動画を生成するために用いられている。
【０００５】
【発明が解決しようとする課題】ユーザは遊び感覚で携帯電話に搭載されたＣＣＤカメラで画像の撮影をするのが普通であり、ユーザの興味を引く画像アプリケーションがないと、撮影画像の用途が見いだせず、カメラ付き携帯電話が普及しなくなる可能性もある。携帯電話に付加価値をつけて販売の促進を図ろうとするメーカーにとっては撮影画像を利用した面白味のあるアプリケーションを提供することが販売戦略上、重要な課題となると思われる。その意味でモーフィングは遊び感覚で利用でき、非常に魅力的である。しかしながら、パーソナルコンピュータとは違って、携帯電話は処理性能とメモリ容量の面で限界があり、携帯電話でモーフィングのような複雑な画像処理を行うことは難しい。
【０００６】本発明はこうした状況に鑑みてなされたものであり、その目的は、画像のマッチングをとって中間画像を生成することのできる画像処理技術の提供にある。
【０００７】
【課題を解決するための手段】本発明のある態様は画像処理方法に関する。この方法は、サーバの画像データベースに格納された既存の画像と、ユーザ端末に入力された肖像画とのマッチングをとり、ユーザのカスタマイズの要請に応じた中間画像を生成して、ユーザ端末に提供する。
【０００８】「ユーザ端末」は携帯電話もしくはＰＤＡやノートパソコンのような携帯端末を含む。ユーザが入力する「肖像画」は人物の上半身または顔の写真、似顔絵などを含む。一方、サーバの画像データベースにあらかじめ格納された既存の画像は、歴史上の人物の肖像画や写真の他、動物の画像や、アニメーションやＣＧなどの仮想的な人物や動物などの画像を含む。
【０００９】ユーザ端末に入力された肖像画がサーバに送信され、サーバにおいてユーザの肖像画とサーバの画像データベースに格納された既存の画像との間のマッチングがとられ、中間画像が生成され、生成された中間画像がユーザ端末に送信されてもよい。またユーザ端末が画像データベースに格納された既存の画像をサーバからダウンロードし、ユーザ端末側でユーザの肖像画と既存の画像とのマッチングがとられて中間画像が生成されてもよい。
【００１０】「カスタマイズ」とは、２枚の画像のマッチングにより中間画像を生成する際に、通常のマッチングにより生成される中間画像の変形を指示するものである。中間画像の変形とは、たとえば２枚の画像が男女の肖像画である場合に、その男女の赤ちゃんの画像を中間画像として生成するために、中間画像に現れる顔の輪郭を丸くする、左右の目の間隔を広げるなど、子どもらしく見えるように変形することである。また２枚の画像が同一人物の異なる年齢の肖像画である場合に、特定の年齢の肖像を中間画像として生成されるように２枚の画像の混合比率を調整したり、２枚の画像を内挿（interpolation）する代わりに外挿（extrapolation）するなどの変形処理をいう。たとえば、１０代の肖像画と２０代の肖像画を外挿して、４０代の肖像画を中間画像として生成する。またあらかじめ髪型や服装などのパターンを用意しておき、自分の将来の肖像に髪型や服装のパターンを合成してもよい。このような「福笑い」的な使い方は、子どもが携帯電話やＰＤＡなどの電子機器に慣れるための教育的な目的で用いることができる。
【００１１】本発明の別の態様も画像処理方法に関する。この方法は、ユーザ端末に入力された肖像画が電子メールの形態でサーバに送信される工程と、サーバ側で受信された電子メールのメールアドレスからユーザＩＤを判定し、前記電子メールから前記肖像画を抽出して、ユーザＩＤに対応づけてユーザデータベースに登録する工程と、前記ユーザデータベースに登録された２枚の肖像画の指定をユーザから受けつけ、それらの画像のマッチングをとって、ユーザのカスタマイズの要請に応じた中間画像を生成する工程と、生成された中間画像をユーザ端末へ送信する工程とを含む。
【００１２】ユーザ端末に入力される画像はユーザ端末に搭載または接続されたＣＣＤカメラにより撮影されたものであってもよい。入力された画像は電子メールでサーバに送信されるが、ユーザが画像の登録を指示する操作を行うと、ユーザ端末に実装された電子メール機能が自動起動され、内部的に画像を添付した電子メールが生成されてサーバに自動送信されてもよい。ユーザが手動で電子メール機能を起動して画像を添付して送信する操作をする必要がなく、無意識のうちに画像が電子メールによって送信がなされ、サーバに登録される。また電子メールのメールアドレスからユーザＩＤが判定されるので、画像登録のためにサーバにユーザＩＤとパスワードを用いてログインするなど面倒な手続きをする必要がない。
【００１３】本発明のさらに別の態様はサーバに関する。このサーバは、ユーザが入力する画像が添付された電子メールをユーザ端末から受信する受信部と、前記受信された電子メールのメールアドレスからユーザＩＤを判定し、前記電子メールに添付された前記画像に前記ユーザＩＤを関連づけてユーザデータベースに登録する登録部と、前記ユーザデータベースに登録された２枚の前記画像の指定をユーザから受けつけ、前記２枚の前記画像のマッチングをとって、中間画像を生成するモーフィング処理部と、前記生成された中間画像を前記ユーザ端末に送信する送信部とを含む。
【００１４】本発明のさらに別の態様もサーバに関する。このサーバは、既存の画像を格納した画像データベースと、ユーザが入力する画像が添付された電子メールをユーザ端末から受信する受信部と、前記受信された電子メールのメールアドレスからユーザＩＤを判定し、前記電子メールに添付された前記画像に前記ユーザＩＤを関連づけてユーザデータベースに登録する登録部と、前記画像データベースに格納された１枚の画像の指定と、前記ユーザデータベースに登録された１枚の画像の指定とをユーザから受けつけ、２枚の前記画像のマッチングをとって、中間画像を生成するモーフィング処理部と、前記生成された中間画像を前記ユーザ端末に送信する送信部とを含む。
【００１５】上記のいずれの態様のサーバにおいても、前記モーフィング処理部は、ユーザからカスタマイズの要請を受けつけ、前記カスタマイズの要請に応じた前記中間画像を生成してもよい。前記カスタマイズの要請は、前記２枚の画像の混合の比率を指定する内容であってもよい。前記モーフィング処理部は、前記２枚の画像の間に複数の中間画像を挿入した動画を生成してもよい。前記中間画像に現れた肖像をもとに発声音を推定して音声を合成する音声合成部をさらに含み、前記送信部は前記中間画像とともに前記合成された音声を前記ユーザ端末に送信してもよい。
【００１６】本発明のさらに別の態様はコンピュータプログラムに関する。このプログラムは、撮影された画像を表示する機能と、前記画像の中心位置を調整する簡易編集機能と、前記画像のサーバへの登録を指示するユーザの操作を契機として電子メール機能を起動して、前記画像が添付された電子メールを内部的に生成し、前記サーバへ自動送信する機能とをコンピュータに実行させる。
【００１７】なお、以上の構成要素の任意の組合せ、本発明を方法、システム、コンピュータプログラム、記録媒体などと表現したものもまた、本発明の態様として有効である。
【００１８】
【発明の実施の形態】図１は、実施の形態に係る画像処理システムの構成を示す。携帯電話１０は無線通信により基地局１２と通信する。基地局１２はゲートウエイ１４を介してインターネット１６に接続しており、携帯電話１０はパケット通信を行い、サーバ１８にアクセスすることができる。
【００１９】図２は、携帯電話１０の構成図である。ここでは携帯電話１０の通話機能に係る構成を略し、データ通信機能に係る構成を主に示す。撮影部２２は携帯電話１０に搭載されたＣＣＤカメラ２０により撮影された画像を取り込み、メモリ２４に記録する。入力部３０は、テンキーなどによりユーザが入力する指示内容を受け取り、メモリ２４に保持する。メール部２６は、ユーザから指示のあった場合に、撮影された画像をメモリ２４から読み取り、電子メールを用いてサーバ１８宛に送信する。通信部４２は基地局１２と無線によるデータ通信を行う。ブラウザ部２８は、サーバ１８からテキストデータの他、画像データや音声データを含むＨＴＭＬで記述されたデータを受け取る。
【００２０】表示部３４は、メモリ２４に記録された画像を読み出してＬＣＤ３２に表示させる。また表示部３４はブラウザ部２８が取得したＨＴＭＬデータをＬＣＤ３２に表示させる。音声処理部３８は、マイク３６に入力されるユーザの音声を取得する。取得された音声データはブラウザ部２８によりサーバ１８へ送信される。また音声処理部３８は、ブラウザ部２８がサーバ１８から取得した音声データを処理してスピーカ４０に出力する。
【００２１】図３は、サーバ１８の構成図である。この構成は、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子で実現でき、ソフトウエア的には画像処理機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろな形で実現できる。
【００２２】通信部６０は、インターネット１６を介して携帯電話１０との間のデータ通信を行う。登録部５０は、携帯電話１０からユーザＩＤとメールアドレスのデータを受け取り、ユーザＩＤとメールアドレスとを関連づけた登録データをユーザデータベース５２に格納する。また登録部５０は携帯電話１０から電子メールの形で送信される画像データを受け取り、電子メールのメールアドレスから対応するユーザＩＤを判定し、ユーザＩＤに関連づけて画像データをユーザデータベース５２に登録する。ユーザデータベース５２に登録される画像データは顔写真などの肖像画である。
【００２３】画像データベース５４には既存の画像データがあらかじめ格納されている。既存の画像データは、歴史上の人物の肖像画や動物などの画像である。モーフィング処理部５６は、ユーザからの指示にもとづいてユーザデータベース５２からユーザの登録した２枚の画像のマッチングをとり、中間画像を生成する。またモーフィング処理部５６は、ユーザからの指示にもとづいてユーザデータベース５２からユーザの登録した画像を１枚選択し、画像データベース５４から既存の画像を１枚選択し、これら２枚の画像のマッチングをとって中間画像を生成することもできる。モーフィング処理部５６はさらにユーザからカスタマイズの要請を受け取り、生成される中間画像を適宜変形することができる。このカスタマイズは、たとえば、中間画像に現れる肖像の髪型や輪郭の変形、若返りや老化、目を大きくするなど美顔や好みの顔への変形、光沢やぼかしなどのフィルター処理などである。このようにして２枚の画像を合成して得られる中間画像はＨＴＭＬのデータ形式で通信部６０を介して携帯電話１０へ送信される。
【００２４】音声合成部５８は、モーフィング処理部５６により生成された中間画像に現れる顔の形や骨格などから声を推定し、音声データを合成する。合成された音声データは中間画像とともにＨＴＭＬ形式で携帯電話１０へ送信される。音声データの合成にあたり、ユーザデータベース５２に登録されたユーザの音声パターンが用いられてもよく、音声の周波数分析により、ユーザの声を合成音声に反映することができる。
【００２５】図４は、ユーザデータベース５２に格納されるユーザの登録データを示す。この登録データは、キャリア発行のユーザＩＤ７０と、ユーザのメールアドレス７２と、デフォルト画像７４と、複数の登録画像７６と、ユーザ音声パターン７８とを含む。ユーザＩＤ７０はユーザがキャリアに課金登録するときに与えられるＩＤである。メールアドレス７２は登録部５０によるユーザ登録の際に与えられる。デフォルト画像７４もユーザ登録の際にデフォルトで登録する画像として指定される。複数の登録画像７６は、ユーザが携帯電話１０で撮影した画像が登録されたものである。ユーザ音声パターン７８は、ユーザが携帯電話１０に入力する音声データであり、合成音声の生成の際に利用される。
【００２６】以上の構成の画像処理システムによる画像処理の手順を述べる。携帯電話１０には、図８に示すメニュー選択画面が表示される。遊び方８０、ユーザ登録８２、画像登録８４、画像選択８６、登録画像管理８８、課金登録９０、および課金登録解除９２の各メニューがあるが、画像処理の利用に先立ち、ユーザはまずキャリアでの課金登録、サーバ１８でのユーザ登録を行う必要がある。
【００２７】図５は、課金登録とユーザ登録の手順を示すシーケンス図である。図８の画面でユーザが課金登録９０を選択すると、ユーザＩＤの入力を要求される（Ｓ１０）。ユーザがキャリアから発行されたユーザＩＤを入力すると、サーバ１８へそのデータが送信される（Ｓ１２）。サーバ１８において課金登録処理がなされ（Ｓ１４）、登録完了通知が携帯電話１０へ送信される（Ｓ１６）。課金登録が完了すると、図８に示すメニュー選択画面における他のメニューの利用が許可される。
【００２８】次にユーザは、図８の画面においてユーザ登録８２を選択する（Ｓ１８）。このとき携帯電話１０には、図９（ａ）のユーザ情報入力画面が表示され、メールアドレスの入力フィールド９４と、確認のため再度メールアドレスを入力するフィールド９６と、デフォルトで登録する画像を選択するフィールド９８が表示される。デフォルト画像を選択するフィールド９８はプルダウンメニューになっており、あらかじめ定められたデフォルト画像をユーザが選択する。この例では「動物占いの動物」が選択されている。「送信」ボタン１００を押すと、図９（ｂ）の入力情報確認画面に切り替わる。この画面でユーザが入力したメールアドレス１０４と、選択したデフォルト画像１０６をユーザに確認させる。「確認」ボタン１０８を押すと、ユーザＩＤ、メールアドレスおよびデフォルト画像の情報がサーバ１８へ送信される（Ｓ２０）。
【００２９】サーバ１８では、登録部５０により受信したユーザＩＤとメールアドレスとが関連づけられ、図４に示したユーザ登録データが作成され、ユーザの登録処理が行われる（Ｓ２２）。サーバ１８から携帯電話１０へ登録完了通知が送信され（Ｓ２４）、携帯電話１０には図９（ｃ）の登録完了画面が表示される。なお、図９（ａ）〜（ｃ）において「戻る」ボタン１０２を押すと、それぞれ一つ前の画面に戻り、入力処理などをやり直すことができる。
【００３０】図６は画像登録の手順を示すシーケンス図である。携帯電話１０のＣＣＤカメラ２０により被写体が撮影され、図１０（ａ）のように撮影された画像１０９がＬＣＤ３２に表示される（Ｓ３０）。「撮り直し」ボタン１１０を押すと、再度撮影することができ、「ＯＫ」ボタン１１２を押すと、図１０（ｂ）の画像登録画面に切り替わり、登録指示待ちの状態になる（Ｓ３２）。「こちらへ画像を送ってください」という表示１１４はＨＴＭＬリンクになっており、これをクリックすると撮影された画像１０９の登録処理が開始される（Ｓ３２のＹ）。登録処理は自動的に行われ、ユーザは登録のためにユーザＩＤなどを入力する必要がない。画像の自動登録はメールにより行われる。まず携帯電話１０に搭載されたメーラーが自動的に起動され（Ｓ３４）、撮影された画像１０９を添付したメールが作成される（Ｓ３６）。作成されたメールはサーバ１８宛に送信される（Ｓ３８）。図１０（ｂ）の「こちらへ画像を送ってください」という表示１１４のＨＴＭＬリンクにメーラーの指定、ユーザのメールアドレス、メールの宛先、添付画像のファイル名を記述しておくことにより、ユーザのＨＴＭＬリンクのクリックを契機に、メーラーの起動から画像が添付されたメールの送信までの処理を自動的に行うことが可能である。
【００３１】サーバ１８は携帯電話１０から画像付きメールを受信し（Ｓ４０）、登録部５０がそのメールのヘッダのＦｒｏｍ行から送信元のメールアドレスを取得し、ユーザデータベース５２を検索してそのメールアドレスに対応するユーザＩＤを求める（Ｓ４２）。受信したメールから画像を取り出しその画像を、ユーザＩＤに対応づけてユーザデータベース５２に登録する（Ｓ４４）。サーバ１８から携帯電話１０へ画像の登録完了通知が送信される（Ｓ４６）。
【００３２】図７は画像選択の手順を示すシーケンス図である。図８のメニューから画像選択８６を選択すると、図１１（ａ）に示す画像選択画面が表示される（Ｓ５０）。登録された画像の名前のリスト１１８が表示されており、この表示はＨＴＭＬリンクとなっており、いずれかの画像の名前をクリックするとその画像が、ユーザＩＤとともに画像番号がサーバ１８へ送信される（Ｓ５２）。サーバ１８は指定された画像をユーザデータベース５２から読み出し（Ｓ５４）、その画像データを携帯電話１０へ送信する（Ｓ５６）。
【００３３】携帯電話１０には読み出された画像データが図１１（ｂ）のように表示される（Ｓ５８）。この画面でユーザが「戻る」ボタン１０２を押すと、図１１（ａ）の画面に戻る。ユーザは画像名の左に表示されたチェックボタン１１６をチェックして２枚の画像を選択する（Ｓ６０）。「合成」ボタン１２０を押すと、ユーザＩＤとともに選択された２枚の画像の画像番号がサーバ１８へ送信される（Ｓ６２）。モーフィング処理部５６は指定された２枚の画像をユーザデータベース５２から読み出し、２枚の画像データのマッチングをとって中間画像を合成する（Ｓ６４）。合成された画像データは携帯電話１０へ送信され、図１１（ｃ）のように合成画像１２０が表示される。この画面には選択された２枚の画像の合成比率を入力するフィールド１２２が表示され、ユーザは２枚の画像の合成比率を調整することができる（Ｓ６８）。同図の例ではユーザは２枚の画像の合成比率を３０パーセント対７０パーセントに指定している。「合成」ボタン１２４を押すと、この指定された合成比率がサーバ１８へ送信される（Ｓ７０）。モーフィング処理部５６は、受信された合成比率で２枚の画像の合成を行い（Ｓ７２）、合成された画像データを携帯電話１０へ送信する（Ｓ７４）。合成比率を変えた合成画像が携帯電話１０に表示され、これでよければ（Ｓ７６のＹ）、終了する（Ｓ７８）。さらに合成比率を調整したい場合（Ｓ７６のＮ）、ステップＳ６８に戻る。
【００３４】図１３（ａ）〜（ｃ）は２枚の画像の合成により中間画像が生成される例を説明する図である。２枚の画像として図１３（ａ）の男性の顔写真、図１３（ｂ）の女性の顔写真が与えられると、２枚の画像のマッチングがとられ、中間画像として図１３（ｃ）の子どもの画像が生成される。２枚の画像のマッチングとモーフィングだけでは子どもの画像は得られないが、モーフィング処理部５６は輪郭を丸くしたり、左右の目の間隔を大きくするなどの変形処理を行い、子どもらしい顔を生成する。
【００３５】図１４（ａ）〜（ｃ）は２枚の画像から中間画像が生成される他の例を説明する図である。２枚の画像として図１４（ａ）はユーザの１０代の顔写真、図１４１４（ｂ）はユーザの３０代の顔写真である。この２枚の画像を外挿することにより、図１４（ｃ）のようにユーザの６０代の顔画像が生成される。このようにユーザのカスタマイズの要請により老後の顔画像を生成することも可能である。
【００３６】さらに図８のメニューから登録画像管理８８を選択すると、図１２（ａ）の登録画像管理画面が表示される。一覧表示された画像名のいずれかをクリックすることにより、図１２（ｂ）のように画像がサーバ１８からダウンロードされて表示される。また画像名の左に表示されたチェックボタン１１６をチェックして「削除」ボタン１２６を押すと、チェックした画像の画像番号がユーザＩＤとともにサーバ１８へ送信され、ユーザデータベース５２からその画像番号の登録画像が削除される。
【００３７】以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００３８】そのような変形例として、サーバ１８は、中間画像に現れた肖像をもとに人物像を判断して人物評価に関する情報を生成する付加情報生成部を含んでもよい。中間画像とともに人物評価に関する情報が携帯電話１０に送信される。人物像の判断とは、将来有望であるとか、宇宙飛行士に向いているなど占いのような内容であり、遊び感覚で提供される。
【００３９】携帯電話１０のＣＣＤカメラ２０で撮影された肖像画のマッチングをとる際、顔の位置が中心よりずれていると、うまくマッチングがとれないことがある。ミスマッチングを避けるため、撮影された写真を上下左右に移動して中心位置を調整する簡易編集機能が携帯電話１０に設けられてもよい。また撮影された画像と画像データベース５４の既存画像とのサイズが適合しない場合、サーバ１８のモーフィング処理部５６は、撮影された画像のヘッダから画像サイズを読み取り、既存画像のサイズに合わせるための拡大、縮小の処理をマッチングの前処理として行ってもよい。
【００４０】ユーザ端末がとくにＰＤＡなどの携帯端末である場合は、ユーザ端末に十分な処理性能を想定することができるので、サーバ１８のモーフィング処理部５６をユーザ端末側に設け、サーバ１８から合成する画像をダウンロードして、ユーザ端末において中間画像を生成してもよい。
【００４１】上記の説明では中間画像が１枚だけ生成されたが、２枚の画像のモーフィングにより連続変化する複数の中間画像が動画として生成されてもよい。また３枚以上の画像を合成して中間画像が生成されてもよい。
【００４２】
【発明の効果】本発明によれば、ユーザのカスタマイズの要請に応じて画像を合成することができる。
【図面の簡単な説明】
【図１】 実施の形態に係る画像処理システムの構成図である。
【図２】 図１の携帯電話の構成図である。
【図３】 図１のサーバの構成図である。
【図４】 図３のユーザデータベースに格納されるユーザの登録データの説明図である。
【図５】 画像処理システムによる課金登録とユーザ登録の手順を示すシーケンス図である。
【図６】 画像登録の手順を示すシーケンス図である。
【図７】 画像選択の手順を示すシーケンス図である。
【図８】 図１の携帯電話に表示されるメニュー選択画面の説明図である。
【図９】 図１の携帯電話に表示されるユーザ情報入力画面の説明図である。
【図１０】 図１の携帯電話に表示される画像登録画面の説明図である。
【図１１】 図１の携帯電話に表示される画像選択画面の説明図である。
【図１２】 図１の携帯電話に表示される登録画像管理画面の説明図である。
【図１３】 ２枚の画像の合成により中間画像が生成される例を説明する図である。
【図１４】 ２枚の画像の合成により中間画像が生成される別の例を説明する図である。
【符号の説明】
１０ 携帯電話、 １２ 基地局、 １４ ゲートウエイ、 １６ インターネット、 １８ サーバ、 ２０ ＣＣＤカメラ、 ２２ 撮影部、 ２４ メモリ、 ２６ メール部、 ２８ ブラウザ部、 ３０ 入力部、 ３２ ＬＣＤ、 ３４ 表示部、 ３６ マイク、 ３８ 音声処理部、 ４０ スピーカ、 ４２ 通信部、 ５０ 登録部、 ５２ ユーザデータベース、 ５４ 画像データベース、 ５６ モーフィング処理部、 ５８ 音声合成部、 ６０通信部。
【０００１】
【発明の属する技術分野】本発明は、画像処理技術に関する。本発明はとくに、２枚の画像のマッチングにより中間画像を生成する画像処理方法およびその方法を利用可能なサーバに関する。
【０００２】
【従来の技術】携帯電話が普及し、ビジネス用途以外に、友人とのコミュニケーションや家族との連絡に頻繁に使われるようになってきた。携帯電話は通常の通話の用途以外に、電子メールのやりとりをしたり、インターネットにアクセスして画像や音声を含むコンテンツをダウンロードして利用するなど、データ通信機能を用いた各種サービスにも利用されている。
【０００３】最近ではＣＣＤカメラを搭載した携帯電話も安価で販売されるようになり、携帯電話を用いて顔写真や風景などの写真をとり、電子メールにその画像データを添付してやりとりすることも行われている。画像データを扱う電子機器として、デジタルカメラやパーソナルコンピュータにならんで、携帯電話やＰＤＡなどの携帯端末がこれからは重要な位置を占めるようになると思われる。
【０００４】画像データを用いた一つのアプリケーションとして、２枚の画像のマッチングをとって、一方の画像を徐々に変化させて他方の画像に変形するモーフィングという技法があり、モーフィングは２枚の画像間の中間画像を生成したり、２枚の画像の間を連続的に変化する中間画像により動画を生成するために用いられている。
【０００５】
【発明が解決しようとする課題】ユーザは遊び感覚で携帯電話に搭載されたＣＣＤカメラで画像の撮影をするのが普通であり、ユーザの興味を引く画像アプリケーションがないと、撮影画像の用途が見いだせず、カメラ付き携帯電話が普及しなくなる可能性もある。携帯電話に付加価値をつけて販売の促進を図ろうとするメーカーにとっては撮影画像を利用した面白味のあるアプリケーションを提供することが販売戦略上、重要な課題となると思われる。その意味でモーフィングは遊び感覚で利用でき、非常に魅力的である。しかしながら、パーソナルコンピュータとは違って、携帯電話は処理性能とメモリ容量の面で限界があり、携帯電話でモーフィングのような複雑な画像処理を行うことは難しい。
【０００６】本発明はこうした状況に鑑みてなされたものであり、その目的は、画像のマッチングをとって中間画像を生成することのできる画像処理技術の提供にある。
【０００７】
【課題を解決するための手段】本発明のある態様は画像処理方法に関する。この方法は、サーバの画像データベースに格納された既存の画像と、ユーザ端末に入力された肖像画とのマッチングをとり、ユーザのカスタマイズの要請に応じた中間画像を生成して、ユーザ端末に提供する。
【０００８】「ユーザ端末」は携帯電話もしくはＰＤＡやノートパソコンのような携帯端末を含む。ユーザが入力する「肖像画」は人物の上半身または顔の写真、似顔絵などを含む。一方、サーバの画像データベースにあらかじめ格納された既存の画像は、歴史上の人物の肖像画や写真の他、動物の画像や、アニメーションやＣＧなどの仮想的な人物や動物などの画像を含む。
【０００９】ユーザ端末に入力された肖像画がサーバに送信され、サーバにおいてユーザの肖像画とサーバの画像データベースに格納された既存の画像との間のマッチングがとられ、中間画像が生成され、生成された中間画像がユーザ端末に送信されてもよい。またユーザ端末が画像データベースに格納された既存の画像をサーバからダウンロードし、ユーザ端末側でユーザの肖像画と既存の画像とのマッチングがとられて中間画像が生成されてもよい。
【００１０】「カスタマイズ」とは、２枚の画像のマッチングにより中間画像を生成する際に、通常のマッチングにより生成される中間画像の変形を指示するものである。中間画像の変形とは、たとえば２枚の画像が男女の肖像画である場合に、その男女の赤ちゃんの画像を中間画像として生成するために、中間画像に現れる顔の輪郭を丸くする、左右の目の間隔を広げるなど、子どもらしく見えるように変形することである。また２枚の画像が同一人物の異なる年齢の肖像画である場合に、特定の年齢の肖像を中間画像として生成されるように２枚の画像の混合比率を調整したり、２枚の画像を内挿（interpolation）する代わりに外挿（extrapolation）するなどの変形処理をいう。たとえば、１０代の肖像画と２０代の肖像画を外挿して、４０代の肖像画を中間画像として生成する。またあらかじめ髪型や服装などのパターンを用意しておき、自分の将来の肖像に髪型や服装のパターンを合成してもよい。このような「福笑い」的な使い方は、子どもが携帯電話やＰＤＡなどの電子機器に慣れるための教育的な目的で用いることができる。
【００１１】本発明の別の態様も画像処理方法に関する。この方法は、ユーザ端末に入力された肖像画が電子メールの形態でサーバに送信される工程と、サーバ側で受信された電子メールのメールアドレスからユーザＩＤを判定し、前記電子メールから前記肖像画を抽出して、ユーザＩＤに対応づけてユーザデータベースに登録する工程と、前記ユーザデータベースに登録された２枚の肖像画の指定をユーザから受けつけ、それらの画像のマッチングをとって、ユーザのカスタマイズの要請に応じた中間画像を生成する工程と、生成された中間画像をユーザ端末へ送信する工程とを含む。
【００１２】ユーザ端末に入力される画像はユーザ端末に搭載または接続されたＣＣＤカメラにより撮影されたものであってもよい。入力された画像は電子メールでサーバに送信されるが、ユーザが画像の登録を指示する操作を行うと、ユーザ端末に実装された電子メール機能が自動起動され、内部的に画像を添付した電子メールが生成されてサーバに自動送信されてもよい。ユーザが手動で電子メール機能を起動して画像を添付して送信する操作をする必要がなく、無意識のうちに画像が電子メールによって送信がなされ、サーバに登録される。また電子メールのメールアドレスからユーザＩＤが判定されるので、画像登録のためにサーバにユーザＩＤとパスワードを用いてログインするなど面倒な手続きをする必要がない。
【００１３】本発明のさらに別の態様はサーバに関する。このサーバは、ユーザが入力する画像が添付された電子メールをユーザ端末から受信する受信部と、前記受信された電子メールのメールアドレスからユーザＩＤを判定し、前記電子メールに添付された前記画像に前記ユーザＩＤを関連づけてユーザデータベースに登録する登録部と、前記ユーザデータベースに登録された２枚の前記画像の指定をユーザから受けつけ、前記２枚の前記画像のマッチングをとって、中間画像を生成するモーフィング処理部と、前記生成された中間画像を前記ユーザ端末に送信する送信部とを含む。
【００１４】本発明のさらに別の態様もサーバに関する。このサーバは、既存の画像を格納した画像データベースと、ユーザが入力する画像が添付された電子メールをユーザ端末から受信する受信部と、前記受信された電子メールのメールアドレスからユーザＩＤを判定し、前記電子メールに添付された前記画像に前記ユーザＩＤを関連づけてユーザデータベースに登録する登録部と、前記画像データベースに格納された１枚の画像の指定と、前記ユーザデータベースに登録された１枚の画像の指定とをユーザから受けつけ、２枚の前記画像のマッチングをとって、中間画像を生成するモーフィング処理部と、前記生成された中間画像を前記ユーザ端末に送信する送信部とを含む。
【００１５】上記のいずれの態様のサーバにおいても、前記モーフィング処理部は、ユーザからカスタマイズの要請を受けつけ、前記カスタマイズの要請に応じた前記中間画像を生成してもよい。前記カスタマイズの要請は、前記２枚の画像の混合の比率を指定する内容であってもよい。前記モーフィング処理部は、前記２枚の画像の間に複数の中間画像を挿入した動画を生成してもよい。前記中間画像に現れた肖像をもとに発声音を推定して音声を合成する音声合成部をさらに含み、前記送信部は前記中間画像とともに前記合成された音声を前記ユーザ端末に送信してもよい。
【００１６】本発明のさらに別の態様はコンピュータプログラムに関する。このプログラムは、撮影された画像を表示する機能と、前記画像の中心位置を調整する簡易編集機能と、前記画像のサーバへの登録を指示するユーザの操作を契機として電子メール機能を起動して、前記画像が添付された電子メールを内部的に生成し、前記サーバへ自動送信する機能とをコンピュータに実行させる。
【００１７】なお、以上の構成要素の任意の組合せ、本発明を方法、システム、コンピュータプログラム、記録媒体などと表現したものもまた、本発明の態様として有効である。
【００１８】
【発明の実施の形態】図１は、実施の形態に係る画像処理システムの構成を示す。携帯電話１０は無線通信により基地局１２と通信する。基地局１２はゲートウエイ１４を介してインターネット１６に接続しており、携帯電話１０はパケット通信を行い、サーバ１８にアクセスすることができる。
【００１９】図２は、携帯電話１０の構成図である。ここでは携帯電話１０の通話機能に係る構成を略し、データ通信機能に係る構成を主に示す。撮影部２２は携帯電話１０に搭載されたＣＣＤカメラ２０により撮影された画像を取り込み、メモリ２４に記録する。入力部３０は、テンキーなどによりユーザが入力する指示内容を受け取り、メモリ２４に保持する。メール部２６は、ユーザから指示のあった場合に、撮影された画像をメモリ２４から読み取り、電子メールを用いてサーバ１８宛に送信する。通信部４２は基地局１２と無線によるデータ通信を行う。ブラウザ部２８は、サーバ１８からテキストデータの他、画像データや音声データを含むＨＴＭＬで記述されたデータを受け取る。
【００２０】表示部３４は、メモリ２４に記録された画像を読み出してＬＣＤ３２に表示させる。また表示部３４はブラウザ部２８が取得したＨＴＭＬデータをＬＣＤ３２に表示させる。音声処理部３８は、マイク３６に入力されるユーザの音声を取得する。取得された音声データはブラウザ部２８によりサーバ１８へ送信される。また音声処理部３８は、ブラウザ部２８がサーバ１８から取得した音声データを処理してスピーカ４０に出力する。
【００２１】図３は、サーバ１８の構成図である。この構成は、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子で実現でき、ソフトウエア的には画像処理機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろな形で実現できる。
【００２２】通信部６０は、インターネット１６を介して携帯電話１０との間のデータ通信を行う。登録部５０は、携帯電話１０からユーザＩＤとメールアドレスのデータを受け取り、ユーザＩＤとメールアドレスとを関連づけた登録データをユーザデータベース５２に格納する。また登録部５０は携帯電話１０から電子メールの形で送信される画像データを受け取り、電子メールのメールアドレスから対応するユーザＩＤを判定し、ユーザＩＤに関連づけて画像データをユーザデータベース５２に登録する。ユーザデータベース５２に登録される画像データは顔写真などの肖像画である。
【００２３】画像データベース５４には既存の画像データがあらかじめ格納されている。既存の画像データは、歴史上の人物の肖像画や動物などの画像である。モーフィング処理部５６は、ユーザからの指示にもとづいてユーザデータベース５２からユーザの登録した２枚の画像のマッチングをとり、中間画像を生成する。またモーフィング処理部５６は、ユーザからの指示にもとづいてユーザデータベース５２からユーザの登録した画像を１枚選択し、画像データベース５４から既存の画像を１枚選択し、これら２枚の画像のマッチングをとって中間画像を生成することもできる。モーフィング処理部５６はさらにユーザからカスタマイズの要請を受け取り、生成される中間画像を適宜変形することができる。このカスタマイズは、たとえば、中間画像に現れる肖像の髪型や輪郭の変形、若返りや老化、目を大きくするなど美顔や好みの顔への変形、光沢やぼかしなどのフィルター処理などである。このようにして２枚の画像を合成して得られる中間画像はＨＴＭＬのデータ形式で通信部６０を介して携帯電話１０へ送信される。
【００２４】音声合成部５８は、モーフィング処理部５６により生成された中間画像に現れる顔の形や骨格などから声を推定し、音声データを合成する。合成された音声データは中間画像とともにＨＴＭＬ形式で携帯電話１０へ送信される。音声データの合成にあたり、ユーザデータベース５２に登録されたユーザの音声パターンが用いられてもよく、音声の周波数分析により、ユーザの声を合成音声に反映することができる。
【００２５】図４は、ユーザデータベース５２に格納されるユーザの登録データを示す。この登録データは、キャリア発行のユーザＩＤ７０と、ユーザのメールアドレス７２と、デフォルト画像７４と、複数の登録画像７６と、ユーザ音声パターン７８とを含む。ユーザＩＤ７０はユーザがキャリアに課金登録するときに与えられるＩＤである。メールアドレス７２は登録部５０によるユーザ登録の際に与えられる。デフォルト画像７４もユーザ登録の際にデフォルトで登録する画像として指定される。複数の登録画像７６は、ユーザが携帯電話１０で撮影した画像が登録されたものである。ユーザ音声パターン７８は、ユーザが携帯電話１０に入力する音声データであり、合成音声の生成の際に利用される。
【００２６】以上の構成の画像処理システムによる画像処理の手順を述べる。携帯電話１０には、図８に示すメニュー選択画面が表示される。遊び方８０、ユーザ登録８２、画像登録８４、画像選択８６、登録画像管理８８、課金登録９０、および課金登録解除９２の各メニューがあるが、画像処理の利用に先立ち、ユーザはまずキャリアでの課金登録、サーバ１８でのユーザ登録を行う必要がある。
【００２７】図５は、課金登録とユーザ登録の手順を示すシーケンス図である。図８の画面でユーザが課金登録９０を選択すると、ユーザＩＤの入力を要求される（Ｓ１０）。ユーザがキャリアから発行されたユーザＩＤを入力すると、サーバ１８へそのデータが送信される（Ｓ１２）。サーバ１８において課金登録処理がなされ（Ｓ１４）、登録完了通知が携帯電話１０へ送信される（Ｓ１６）。課金登録が完了すると、図８に示すメニュー選択画面における他のメニューの利用が許可される。
【００２８】次にユーザは、図８の画面においてユーザ登録８２を選択する（Ｓ１８）。このとき携帯電話１０には、図９（ａ）のユーザ情報入力画面が表示され、メールアドレスの入力フィールド９４と、確認のため再度メールアドレスを入力するフィールド９６と、デフォルトで登録する画像を選択するフィールド９８が表示される。デフォルト画像を選択するフィールド９８はプルダウンメニューになっており、あらかじめ定められたデフォルト画像をユーザが選択する。この例では「動物占いの動物」が選択されている。「送信」ボタン１００を押すと、図９（ｂ）の入力情報確認画面に切り替わる。この画面でユーザが入力したメールアドレス１０４と、選択したデフォルト画像１０６をユーザに確認させる。「確認」ボタン１０８を押すと、ユーザＩＤ、メールアドレスおよびデフォルト画像の情報がサーバ１８へ送信される（Ｓ２０）。
【００２９】サーバ１８では、登録部５０により受信したユーザＩＤとメールアドレスとが関連づけられ、図４に示したユーザ登録データが作成され、ユーザの登録処理が行われる（Ｓ２２）。サーバ１８から携帯電話１０へ登録完了通知が送信され（Ｓ２４）、携帯電話１０には図９（ｃ）の登録完了画面が表示される。なお、図９（ａ）〜（ｃ）において「戻る」ボタン１０２を押すと、それぞれ一つ前の画面に戻り、入力処理などをやり直すことができる。
【００３０】図６は画像登録の手順を示すシーケンス図である。携帯電話１０のＣＣＤカメラ２０により被写体が撮影され、図１０（ａ）のように撮影された画像１０９がＬＣＤ３２に表示される（Ｓ３０）。「撮り直し」ボタン１１０を押すと、再度撮影することができ、「ＯＫ」ボタン１１２を押すと、図１０（ｂ）の画像登録画面に切り替わり、登録指示待ちの状態になる（Ｓ３２）。「こちらへ画像を送ってください」という表示１１４はＨＴＭＬリンクになっており、これをクリックすると撮影された画像１０９の登録処理が開始される（Ｓ３２のＹ）。登録処理は自動的に行われ、ユーザは登録のためにユーザＩＤなどを入力する必要がない。画像の自動登録はメールにより行われる。まず携帯電話１０に搭載されたメーラーが自動的に起動され（Ｓ３４）、撮影された画像１０９を添付したメールが作成される（Ｓ３６）。作成されたメールはサーバ１８宛に送信される（Ｓ３８）。図１０（ｂ）の「こちらへ画像を送ってください」という表示１１４のＨＴＭＬリンクにメーラーの指定、ユーザのメールアドレス、メールの宛先、添付画像のファイル名を記述しておくことにより、ユーザのＨＴＭＬリンクのクリックを契機に、メーラーの起動から画像が添付されたメールの送信までの処理を自動的に行うことが可能である。
【００３１】サーバ１８は携帯電話１０から画像付きメールを受信し（Ｓ４０）、登録部５０がそのメールのヘッダのＦｒｏｍ行から送信元のメールアドレスを取得し、ユーザデータベース５２を検索してそのメールアドレスに対応するユーザＩＤを求める（Ｓ４２）。受信したメールから画像を取り出しその画像を、ユーザＩＤに対応づけてユーザデータベース５２に登録する（Ｓ４４）。サーバ１８から携帯電話１０へ画像の登録完了通知が送信される（Ｓ４６）。
【００３２】図７は画像選択の手順を示すシーケンス図である。図８のメニューから画像選択８６を選択すると、図１１（ａ）に示す画像選択画面が表示される（Ｓ５０）。登録された画像の名前のリスト１１８が表示されており、この表示はＨＴＭＬリンクとなっており、いずれかの画像の名前をクリックするとその画像が、ユーザＩＤとともに画像番号がサーバ１８へ送信される（Ｓ５２）。サーバ１８は指定された画像をユーザデータベース５２から読み出し（Ｓ５４）、その画像データを携帯電話１０へ送信する（Ｓ５６）。
【００３３】携帯電話１０には読み出された画像データが図１１（ｂ）のように表示される（Ｓ５８）。この画面でユーザが「戻る」ボタン１０２を押すと、図１１（ａ）の画面に戻る。ユーザは画像名の左に表示されたチェックボタン１１６をチェックして２枚の画像を選択する（Ｓ６０）。「合成」ボタン１２０を押すと、ユーザＩＤとともに選択された２枚の画像の画像番号がサーバ１８へ送信される（Ｓ６２）。モーフィング処理部５６は指定された２枚の画像をユーザデータベース５２から読み出し、２枚の画像データのマッチングをとって中間画像を合成する（Ｓ６４）。合成された画像データは携帯電話１０へ送信され、図１１（ｃ）のように合成画像１２０が表示される。この画面には選択された２枚の画像の合成比率を入力するフィールド１２２が表示され、ユーザは２枚の画像の合成比率を調整することができる（Ｓ６８）。同図の例ではユーザは２枚の画像の合成比率を３０パーセント対７０パーセントに指定している。「合成」ボタン１２４を押すと、この指定された合成比率がサーバ１８へ送信される（Ｓ７０）。モーフィング処理部５６は、受信された合成比率で２枚の画像の合成を行い（Ｓ７２）、合成された画像データを携帯電話１０へ送信する（Ｓ７４）。合成比率を変えた合成画像が携帯電話１０に表示され、これでよければ（Ｓ７６のＹ）、終了する（Ｓ７８）。さらに合成比率を調整したい場合（Ｓ７６のＮ）、ステップＳ６８に戻る。
【００３４】図１３（ａ）〜（ｃ）は２枚の画像の合成により中間画像が生成される例を説明する図である。２枚の画像として図１３（ａ）の男性の顔写真、図１３（ｂ）の女性の顔写真が与えられると、２枚の画像のマッチングがとられ、中間画像として図１３（ｃ）の子どもの画像が生成される。２枚の画像のマッチングとモーフィングだけでは子どもの画像は得られないが、モーフィング処理部５６は輪郭を丸くしたり、左右の目の間隔を大きくするなどの変形処理を行い、子どもらしい顔を生成する。
【００３５】図１４（ａ）〜（ｃ）は２枚の画像から中間画像が生成される他の例を説明する図である。２枚の画像として図１４（ａ）はユーザの１０代の顔写真、図１４１４（ｂ）はユーザの３０代の顔写真である。この２枚の画像を外挿することにより、図１４（ｃ）のようにユーザの６０代の顔画像が生成される。このようにユーザのカスタマイズの要請により老後の顔画像を生成することも可能である。
【００３６】さらに図８のメニューから登録画像管理８８を選択すると、図１２（ａ）の登録画像管理画面が表示される。一覧表示された画像名のいずれかをクリックすることにより、図１２（ｂ）のように画像がサーバ１８からダウンロードされて表示される。また画像名の左に表示されたチェックボタン１１６をチェックして「削除」ボタン１２６を押すと、チェックした画像の画像番号がユーザＩＤとともにサーバ１８へ送信され、ユーザデータベース５２からその画像番号の登録画像が削除される。
【００３７】以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００３８】そのような変形例として、サーバ１８は、中間画像に現れた肖像をもとに人物像を判断して人物評価に関する情報を生成する付加情報生成部を含んでもよい。中間画像とともに人物評価に関する情報が携帯電話１０に送信される。人物像の判断とは、将来有望であるとか、宇宙飛行士に向いているなど占いのような内容であり、遊び感覚で提供される。
【００３９】携帯電話１０のＣＣＤカメラ２０で撮影された肖像画のマッチングをとる際、顔の位置が中心よりずれていると、うまくマッチングがとれないことがある。ミスマッチングを避けるため、撮影された写真を上下左右に移動して中心位置を調整する簡易編集機能が携帯電話１０に設けられてもよい。また撮影された画像と画像データベース５４の既存画像とのサイズが適合しない場合、サーバ１８のモーフィング処理部５６は、撮影された画像のヘッダから画像サイズを読み取り、既存画像のサイズに合わせるための拡大、縮小の処理をマッチングの前処理として行ってもよい。
【００４０】ユーザ端末がとくにＰＤＡなどの携帯端末である場合は、ユーザ端末に十分な処理性能を想定することができるので、サーバ１８のモーフィング処理部５６をユーザ端末側に設け、サーバ１８から合成する画像をダウンロードして、ユーザ端末において中間画像を生成してもよい。
【００４１】上記の説明では中間画像が１枚だけ生成されたが、２枚の画像のモーフィングにより連続変化する複数の中間画像が動画として生成されてもよい。また３枚以上の画像を合成して中間画像が生成されてもよい。
【００４２】
【発明の効果】本発明によれば、ユーザのカスタマイズの要請に応じて画像を合成することができる。
【図面の簡単な説明】
【図１】 実施の形態に係る画像処理システムの構成図である。
【図２】 図１の携帯電話の構成図である。
【図３】 図１のサーバの構成図である。
【図４】 図３のユーザデータベースに格納されるユーザの登録データの説明図である。
【図５】 画像処理システムによる課金登録とユーザ登録の手順を示すシーケンス図である。
【図６】 画像登録の手順を示すシーケンス図である。
【図７】 画像選択の手順を示すシーケンス図である。
【図８】 図１の携帯電話に表示されるメニュー選択画面の説明図である。
【図９】 図１の携帯電話に表示されるユーザ情報入力画面の説明図である。
【図１０】 図１の携帯電話に表示される画像登録画面の説明図である。
【図１１】 図１の携帯電話に表示される画像選択画面の説明図である。
【図１２】 図１の携帯電話に表示される登録画像管理画面の説明図である。
【図１３】 ２枚の画像の合成により中間画像が生成される例を説明する図である。
【図１４】 ２枚の画像の合成により中間画像が生成される別の例を説明する図である。
【符号の説明】
１０ 携帯電話、 １２ 基地局、 １４ ゲートウエイ、 １６ インターネット、 １８ サーバ、 ２０ ＣＣＤカメラ、 ２２ 撮影部、 ２４ メモリ、 ２６ メール部、 ２８ ブラウザ部、 ３０ 入力部、 ３２ ＬＣＤ、 ３４ 表示部、 ３６ マイク、 ３８ 音声処理部、 ４０ スピーカ、 ４２ 通信部、 ５０ 登録部、 ５２ ユーザデータベース、 ５４ 画像データベース、 ５６ モーフィング処理部、 ５８ 音声合成部、 ６０通信部。
【特許請求の範囲】
【請求項１】 サーバの画像データベースに格納された既存の画像と、ユーザ端末に入力された肖像画とのマッチングをとり、ユーザのカスタマイズの要請に応じた中間画像を生成して、ユーザ端末に提供することを特徴とする画像処理方法。
【請求項２】 ユーザ端末に入力された肖像画が電子メールの形態でサーバに送信される工程と、サーバ側で受信された電子メールのメールアドレスからユーザＩＤを判定し、前記電子メールから前記肖像画を抽出して、ユーザＩＤに対応づけてユーザデータベースに登録する工程と、前記ユーザデータベースに登録された２枚の肖像画の指定をユーザから受けつけ、それらの画像のマッチングをとって、ユーザのカスタマイズの要請に応じた中間画像を生成する工程と、生成された中間画像をユーザ端末へ送信する工程とを含むことを特徴とする画像処理方法。
【請求項３】 ユーザが入力する画像が添付された電子メールをユーザ端末から受信する受信部と、前記受信された電子メールのメールアドレスからユーザＩＤを判定し、前記電子メールに添付された前記画像に前記ユーザＩＤを関連づけてユーザデータベースに登録する登録部と、前記ユーザデータベースに登録された２枚の前記画像の指定をユーザから受けつけ、前記２枚の前記画像のマッチングをとって、中間画像を生成するモーフィング処理部と、前記生成された中間画像を前記ユーザ端末に送信する送信部とを含むことを特徴とするサーバ。
【請求項４】 既存の画像を格納した画像データベースと、ユーザが入力する画像が添付された電子メールをユーザ端末から受信する受信部と、前記受信された電子メールのメールアドレスからユーザＩＤを判定し、前記電子メールに添付された前記画像に前記ユーザＩＤを関連づけてユーザデータベースに登録する登録部と、前記画像データベースに格納された１枚の画像の指定と、前記ユーザデータベースに登録された１枚の画像の指定とをユーザから受けつけ、２枚の前記画像のマッチングをとって、中間画像を生成するモーフィング処理部と、前記生成された中間画像を前記ユーザ端末に送信する送信部とを含むことを特徴とするサーバ。
【請求項５】 前記モーフィング処理部は、ユーザからカスタマイズの要請を受けつけ、前記カスタマイズの要請に応じた前記中間画像を生成することを特徴とする請求項３または４に記載のサーバ。
【請求項６】 前記カスタマイズの要請は、前記２枚の画像の混合の比率を指定する内容であることを特徴とする請求項５に記載のサーバ。
【請求項７】 前記モーフィング処理部は、前記２枚の画像の間に複数の中間画像を挿入した動画を生成することを特徴とする請求項３または４に記載のサーバ。
【請求項８】 前記中間画像に現れた肖像をもとに発声音を推定して音声を合成する音声合成部をさらに含み、前記送信部は前記中間画像とともに前記合成された音声を前記ユーザ端末に送信することを特徴とする請求項３または４に記載のサーバ。
【請求項９】 撮影された画像を表示する機能と、前記画像の中心位置を調整する簡易編集機能と、前記画像のサーバへの登録を指示するユーザの操作を契機として電子メール機能を起動して、前記画像が添付された電子メールを内部的に生成し、前記サーバへ自動送信する機能とをコンピュータに実行させることを特徴とするプログラム。
【請求項１】 サーバの画像データベースに格納された既存の画像と、ユーザ端末に入力された肖像画とのマッチングをとり、ユーザのカスタマイズの要請に応じた中間画像を生成して、ユーザ端末に提供することを特徴とする画像処理方法。
【請求項２】 ユーザ端末に入力された肖像画が電子メールの形態でサーバに送信される工程と、サーバ側で受信された電子メールのメールアドレスからユーザＩＤを判定し、前記電子メールから前記肖像画を抽出して、ユーザＩＤに対応づけてユーザデータベースに登録する工程と、前記ユーザデータベースに登録された２枚の肖像画の指定をユーザから受けつけ、それらの画像のマッチングをとって、ユーザのカスタマイズの要請に応じた中間画像を生成する工程と、生成された中間画像をユーザ端末へ送信する工程とを含むことを特徴とする画像処理方法。
【請求項３】 ユーザが入力する画像が添付された電子メールをユーザ端末から受信する受信部と、前記受信された電子メールのメールアドレスからユーザＩＤを判定し、前記電子メールに添付された前記画像に前記ユーザＩＤを関連づけてユーザデータベースに登録する登録部と、前記ユーザデータベースに登録された２枚の前記画像の指定をユーザから受けつけ、前記２枚の前記画像のマッチングをとって、中間画像を生成するモーフィング処理部と、前記生成された中間画像を前記ユーザ端末に送信する送信部とを含むことを特徴とするサーバ。
【請求項４】 既存の画像を格納した画像データベースと、ユーザが入力する画像が添付された電子メールをユーザ端末から受信する受信部と、前記受信された電子メールのメールアドレスからユーザＩＤを判定し、前記電子メールに添付された前記画像に前記ユーザＩＤを関連づけてユーザデータベースに登録する登録部と、前記画像データベースに格納された１枚の画像の指定と、前記ユーザデータベースに登録された１枚の画像の指定とをユーザから受けつけ、２枚の前記画像のマッチングをとって、中間画像を生成するモーフィング処理部と、前記生成された中間画像を前記ユーザ端末に送信する送信部とを含むことを特徴とするサーバ。
【請求項５】 前記モーフィング処理部は、ユーザからカスタマイズの要請を受けつけ、前記カスタマイズの要請に応じた前記中間画像を生成することを特徴とする請求項３または４に記載のサーバ。
【請求項６】 前記カスタマイズの要請は、前記２枚の画像の混合の比率を指定する内容であることを特徴とする請求項５に記載のサーバ。
【請求項７】 前記モーフィング処理部は、前記２枚の画像の間に複数の中間画像を挿入した動画を生成することを特徴とする請求項３または４に記載のサーバ。
【請求項８】 前記中間画像に現れた肖像をもとに発声音を推定して音声を合成する音声合成部をさらに含み、前記送信部は前記中間画像とともに前記合成された音声を前記ユーザ端末に送信することを特徴とする請求項３または４に記載のサーバ。
【請求項９】 撮影された画像を表示する機能と、前記画像の中心位置を調整する簡易編集機能と、前記画像のサーバへの登録を指示するユーザの操作を契機として電子メール機能を起動して、前記画像が添付された電子メールを内部的に生成し、前記サーバへ自動送信する機能とをコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図７】
【図１０】
【図１３】
【図１４】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図７】
【図１０】
【図１３】
【図１４】
【図１１】
【図１２】
【公開番号】特開２００３−２４２４８０（Ｐ２００３−２４２４８０Ａ）
【公開日】平成１５年８月２９日（２００３．８．２９）
【国際特許分類】
【出願番号】特願２００２−３６２６４（Ｐ２００２−３６２６４）
【出願日】平成１４年２月１４日（２００２．２．１４）
【出願人】（３９７０１１３７３）ソニーコミュニケーションネットワーク株式会社 (17)
【Ｆターム（参考）】
【公開日】平成１５年８月２９日（２００３．８．２９）
【国際特許分類】
【出願日】平成１４年２月１４日（２００２．２．１４）
【出願人】（３９７０１１３７３）ソニーコミュニケーションネットワーク株式会社 (17)
【Ｆターム（参考）】
[ Back to top ]