画像処理システム、画像処理方法、画像処理プログラム、画像処理装置及び通信端末装置
【課題】画像合成に関し、画像提供側とその画像合成側との連携により、意図した画像合成を実現する。
【解決手段】画像を合成する画像処理システムであって、画像合成の依頼を発し、かつ画像提供の受託先のアドレス情報を通知する第1の通信端末装置(例えば、携帯電話機41)と、画像提供の委託を受けて画像を送信する第2の通信端末装置(例えば、携帯電話機42〜4N)と、第1の通信端末装置から画像合成の依頼を受けるとともに、通知されたアドレス情報を登録し、アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信し、前記通信端末装置から送信された画像及び画像制御情報を受信し、画像を用いて合成画像を作成するとともに、画像制御情報に基づき合成画像を調整する画像処理サーバ(6)とを備える構成である。
【解決手段】画像を合成する画像処理システムであって、画像合成の依頼を発し、かつ画像提供の受託先のアドレス情報を通知する第1の通信端末装置(例えば、携帯電話機41)と、画像提供の委託を受けて画像を送信する第2の通信端末装置(例えば、携帯電話機42〜4N)と、第1の通信端末装置から画像合成の依頼を受けるとともに、通知されたアドレス情報を登録し、アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信し、前記通信端末装置から送信された画像及び画像制御情報を受信し、画像を用いて合成画像を作成するとともに、画像制御情報に基づき合成画像を調整する画像処理サーバ(6)とを備える構成である。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影機能や通信機能を備える携帯端末等の通信端末装置から送信される画像合成等の画像処理に関し、その画像処理に用いられる画像処理システム、画像処理方法、画像処理プログラム、画像処理装置及び通信端末装置に関する。
【背景技術】
【0002】
複数の画像を重ね合わせ等により単一の画像に合成させる画像合成に関し、従来、複数のユーザからの画像をサーバ上で合成する合成画像システムが知られている。この合成画像システムでは、複数のユーザが個別に持つ画像をサーバに集合させて合成させる。画像合成は、個別の画像を超えた演出や表現等が可能である。
【0003】
この画像合成に関し、携帯電話機と、テレビ電話機と、これらと通信回線を介して接続されたサーバとから構成され、ユーザの撮影した画像がサーバで合成され、その合成画像は携帯電話機やテレビ電話機等に送信され、その合成画像を見たユーザが再度、画像を送信して再合成をサーバに行わせる合成画像システム(特許文献1)、カメラ付携帯電話機等、画像情報の取得が可能な複数の携帯電話機を用いた画像合成システムであって、携帯電話機間の通信を維持しながら通話モードから画像合成モードに切り換え、各携帯電話機上で画像合成を行うシステム(特許文献2)、背景画像を携帯電話機により回線を経由してデータベースに登録し、その背景画像に撮影画像を合成させて携帯電話機に返信する画像撮影システム(特許文献3)、画像合成サーバの記憶媒体にテンプレートデータを記憶しておき、カメラ付携帯電話機で取得した画像データを画像合成サーバに送信してテンプレートデータと合成させ、その合成画像データを携帯電話機側で取得する画像合成方法(特許文献4)等が存在している。
【特許文献1】特開2002−176547号公報(段落番号0010、図2等)
【特許文献2】特開2002−171497号公報(段落番号0018、図2等)
【特許文献3】特開2003−234830号公報(段落番号0004、図2)
【特許文献4】特開2004−140590号公報(段落番号0019、0020、図3等)
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで、特許文献1〜4に開示されているように、複数の画像を単一の画像に合成するには、各画像を合成場所に移送して重ねる等の編集処理が必要である。撮影後に画像を合成サーバに移送する処理を行う場合には、提供された画像が合成画像の意図と合致しなければ、その提供者に再度の撮り直しを要求することになり、最適な合成画像を得るまでの処理が厄介であり、時間を要する。被写体と撮影レンズとの距離が異なる等、撮影条件が合致しなければ、提供された画像に相違が生じ、例えば、人物画像では、縮尺比率によって背丈が変わったり、体格が実際と異なる等の不都合が生じる。合成画像が実像と異なる結果となる。また、撮り直し画像が合成画像に適合しなければ、再度の撮り直しが必要となる。
【0005】
しかしながら、特許文献1〜4には、斯かる課題についての開示や示唆はなく、それを解決する構成の開示や示唆もない。
【0006】
そこで、本発明の目的は、画像合成に関し、画像提供側とその画像合成側との連携により、意図した画像合成を実現することにある。
【0007】
斯かる目的を詳細に述べれば、画像提供側及びその画像合成側の画像修正を容易化し、画像合成の自由度を高めることにある。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明の第1の側面は、画像を合成する画像処理システムであって、画像合成の依頼を発し、かつ画像提供の受託先のアドレス情報を通知する第1の通信端末装置と、前記画像提供の委託を受けて画像を送信する第2の通信端末装置と、前記第1の通信端末装置から画像合成の依頼を受けるとともに、通知された前記アドレス情報を登録し、前記アドレス情報を用いて前記第2の通信端末装置に画像提供の問合せを送信し、前記通信端末装置から送信された画像及び画像制御情報を受信し、前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整する画像処理サーバとを備える構成である。
【0009】
斯かる構成において、画像合成の依頼と画像提供の受託先のアドレス情報が第1の通信端末装置から画像処理サーバに通知される。この通知を受けた画像処理サーバは、アドレスに画像提供が可能か否かの問合せを発し、第2の通信端末装置はそれに応答し、画像提供が可能な第2の通信端末装置から画像処理サーバに画像及び画像制御情報が提供される。画像合成の依頼元である第1の通信端末装置からも画像及び画像制御情報が提供される。そこで、画像処理サーバは、これらの画像を合成して合成画像を作成し、その合成画像が画像制御情報に基づき調整される。提供される画像は、撮影された画像、撮影中の画像等、何れの画像でもよい。
【0010】
上記目的を達成するため、本発明の第2の側面は、画像を合成する画像処理方法であって、第1の通信端末装置から画像合成の依頼を受け、画像提供の受託先のアドレス情報を登録する処理と、前記アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信する処理と、前記通信端末装置から送信された画像及び画像制御情報を受信する処理と、受信した前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整する処理とを含む構成である。既述の通り、この画像処理方法では、通信端末装置からの画像合成の依頼の発信、それを受領したことにより、画像提供の受託先にその可否を問い合わせ、画像合成に応じる通信端末装置から画像及び画像制御情報が提供され、画像を用いて画像合成が行われるとともに、合成画像は画像制御情報により調整される。既述したように、提供される画像は撮影中の画像だけでなく、記憶部等にある保存画像であってもよい。
【0011】
上記目的を達成するため、本発明の第3の側面は、コンピュータに複数の画像を合成させるための画像処理プログラムであって、第1の通信端末装置から画像合成の依頼を受け、画像提供の受託先のアドレス情報を登録するステップと、前記アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信するステップと、前記通信端末装置から送信された画像及び画像制御情報を受信するステップと、受信した前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整するステップとを含む構成である。斯かる画像処理プログラムによれば、既述の画像処理方法がコンピュータの情報処理によって実現される。
【0012】
上記目的を達成するため、本発明の第4の側面は、画像を合成する画像処理装置であって、画像合成の依頼を発し、かつ、画像提供の受託先を指定する第1の通信端末装置、又は前記画像提供の委託を受けて画像を送信する第2の通信端末装置と通信する通信部と、前記第1の通信端末装置から通知されたアドレス情報を登録する登録部と、前記第1の通信端末装置から画像合成の依頼を受け、前記登録部に登録された前記アドレス情報を用いて画像提供の問合せを前記通信部より送信させ、前記通信端末装置から提供された画像を用いて合成画像を作成するとともに、前記通信端末装置から提供された画像制御情報に基づき前記合成画像を調整する処理部とを備える構成である。
【0013】
斯かる構成の画像処理装置は、既述の画像処理サーバに対応している。即ち、この画像処理装置では、第1の通信端末装置から受けた画像合成の依頼と、画像合成に参加すべき第2の通信端末装置のアドレス情報の通知を受け、第2の通信端末装置に画像合成のための画像の提供の可否について問い合わせをする。そして、画像及び画像制御情報が提供され、画像を用いて画像合成が行われ、合成画像は画像制御情報により調整される。
【0014】
上記目的を達成するため、本発明の第5の側面は、画像合成に用いる画像を提供する通信端末装置であって、前記画像合成に用いる画像を取得する画像取得部と、画像を合成する画像処理サーバに対し、前記画像合成に必要な画像提供を受ける受託先である通信端末装置のアドレス情報を通知するとともに、前記画像取得部で取得した前記画像及び画像制御情報を送信する通信部とを備える構成である。
【0015】
斯かる構成において、通信端末装置では、画像取得部により、画像合成に必要な画像を取得する。この画像取得部は、撮影により画像を取得するカメラ部の他、画像合成に必要な画像を取り込む構成であればよい。そして、この通信端末装置は、既述の第1の通信端末装置に対応するものであり、通信部は、画像合成に必要な画像提供の受託先の通信端末装置のアドレス情報を通知し、画像取得部で取得した画像及び画像制御情報を送信する。このような通信端末装置を用いることにより、既述の画像処理装置、画像処理サーバ又は画像処理システムにより、合成画像を形成し、その合成画像を画像制御情報により調整することにより、所望の合成画像を得ることができる。
【発明の効果】
【0016】
本発明によれば、通信端末装置を通して画像及び画像制御情報の提供を受け、画像を用いて合成画像を形成できるとともに、合成画像を画像制御情報を用いて調整できるので、画像提供者の意図を反映した合成画像が得られ、それを通信端末装置に取得することができる。
【発明を実施するための最良の形態】
【0017】
〔第1の実施の形態〕
【0018】
本発明の第1の実施の形態に係る画像処理システムについて、図1を参照して説明する。図1は、画像処理システムの一例を示す図である。
【0019】
図1に示すように、この画像処理システム2では、通信機能及び撮影機能を備え、画像合成の依頼側である第1の通信端末装置として、また、画像合成のための画像提供が委託される第2の通信端末装置として例えば、携帯電話機41、42、43・・・4Nが設置されている。例えば、携帯電話機41が画像合成の依頼を発する場合、この携帯電話機41が第1の通信端末装置となり、他の携帯電話機42〜4Nが第2の通信端末装置となる。これら携帯電話機41、42、43・・・4Nに対して画像処理装置として例えば、画像処理サーバ6が設置され、これら携帯電話機41、42、43・・・4Nと画像処理サーバ6とは公衆網等のネットワーク8を通じて接続されている。また、画像処理サーバ6は例えば、コンピュータで構成され、画像処理に関連する機能として例えば、ネットワーク8等を媒介とする通信機能、撮影により提供される撮影画像の保存機能、メールアドレス等のアドレス情報の登録機能、通知や問い合わせをする機能、テンプレート上に画像を合成する機能、画像の提供先に画像や撮影条件の補正情報を通知する機能等を備えている。
【0020】
斯かる構成において、画像合成依頼者(以下単に「依頼者」と称する。)が携帯電話機41から画像処理サーバ6に対し、画像合成の依頼、画像合成に参加するユーザのアドレス情報として例えば、携帯電話機42、43のメールアドレス等を通知する。画像処理サーバ6は、通知されたメールアドレスを登録するとともに、背景画像として予め用意されているテンプレートを依頼者に選択させる。また、画像処理サーバ6は、メールアドレス先にメールを送信することにより、画像合成の参加を呼びかけるとともに、画像合成に参加するか否かの問い合わせを行う。この画像合成に参加するユーザは、画像提供受託者(以下単に「受託者」と称する。)となる。このように画像合成の参加があれば、画像処理サーバ6から携帯電話機41、42、43に画像表示エリアである画像表示用Web(World Wide Web) 上のURL(Uniform Resource Locator)がメール送信等により通知される。
【0021】
撮影により画像を取得した各携帯電話機41、42、43から、その画像とともに、明るさ、合焦距離等の画像制御情報が画像処理サーバ6に送信されると、画像処理サーバ6は、その画像を用いて合成画像を作成し、その合成画像は既述のURLに表示する。URLの通知を受けた携帯電話機41、42、43では、それを確認し、修正が必要な場合には、画像制御情報を用いることにより、画像処理サーバ6又は携帯電話機41〜4Nで合成画像の修正等を行い、修正された合成画像が表示され、その合成画像を確定させた後、携帯電話機41〜4Nに取り込むことができる。
【0022】
このように合成画像を形成すれば、画像合成に参加したユーザが意図した合成画像や、画像制御情報により修正された統一性のある合成画像を得ることができ、合成画像では個別の画像を超える演出や表現等が可能である。
【0023】
次に、前記画像処理システム2における携帯電話機41〜4Nの構成について、図2及び図3を参照して説明する。図2は、携帯電話機の外観形態例を示す図、図3は、そのハード構成例を示すブロック図である。図2及び図3において、図1と対応箇所には、同一符号を付してある。
【0024】
この画像処理システム2の携帯電話機41〜4Nには携帯電話機4が使用され、この携帯電話機4は例えば、2つの筐体部12、14をヒンジ部16で連結して開閉可能に構成され、筐体部12には、カーソルキー、シャッター等に用いられる決定キー17、テンキー等の複数のキーからなるキー入力部18等が設置されている。キー入力部18は、撮影、通信先の電話番号、URLの入力、画像の送信のための指示等、情報入力に用いられる。また、筐体部14には、画像取得部としてのカメラ部20、ディスプレイ22、インジケータ24等が設置されている。カメラ部20は、筐体部14の前面部だけでなく、筐体部14の背面側に設置されてもよく、また、双方に設置されてもよい。ディスプレイ22は例えば、LCD(Liquid Crystal Display)で構成され、カメラ部20で撮影された画像やキー入力部18からの入力情報等が表示される。インジケータ24は例えば、LED(Light Emitting Diode)表示器で構成され、通信中の表示に用いられるとともに、撮影モードにおいて、所定の合焦距離に到達したことを点灯によって告知する。
【0025】
この携帯電話機4には図3に示すように、制御部26、記憶部28、無線部30、アンテナ32等が既述のキー入力部18、カメラ部20、ディスプレイ22、インジケータ24とともに設置されている。制御部26は例えば、CPU(Central Processing Unit )等で構成され、既述の通信機能、撮影機能等、画像合成のための各種処理を実行する。記憶部28はROM(Read-Only Memory)、RAM(Random-Access Memory)等の記憶媒体で構成され、CPU等の制御部26の処理を実行するための画像処理プログラム等、各種制御プログラムが格納されているとともに、テンプレート、画像、画像情報、処理途上の情報等、既述の各種情報が格納されている。撮影途上の画像も、この記憶部28に格納される。各種データのデータベースは、この記憶部28で構成される。この記憶部28は、ROM、RAMの他、筐体部12等に着脱可能なROMカード等の外部記録媒体で構成してもよい。
【0026】
また、無線部30は、ネットワーク8に接続された基地局との無線通信を行い、斯かる無線通信により、ネットワーク8を通して画像処理サーバ6との間で音声、画像、文字情報等の各種情報の授受を行う。この場合、画像処理サーバ6との画像や撮影情報の授受は例えば、電波によって実行され、その電波はアンテナ32により送信又は受信される。
【0027】
斯かる構成において、カメラ動作は、非通信モード又は通信モードのいずれにおいても可能であり、撮影中又は撮影後のいずれの画像も送信することができる。保存されている画像は、メール送信の例えば、添付ファイルによって送信することができる。また、送信した画像及びその撮影条件はディスプレイ22に表示され、ユーザが確認することができる。
【0028】
既述の画像合成に関する処理に関し、画像合成の依頼側又は受託側の処理動作は、次の通りである。
【0029】
(1) 通信を確立させて画像処理サーバ6にアクセスし、画像処理サーバ6にあるテンプレートを選択するとともに、画像合成に参加させるユーザのメールアドレスを画像処理サーバ6に通知する。
【0030】
(2) 画像処理サーバ6から送信される画像表示用WebのURLを受信し、その画像表示用Webにアクセスする。
【0031】
(3) 画像表示用Webにアクセスすると、撮影中の画像が画像処理サーバ6に送信され、撮影中の画像が周期的又は連続的に画像処理サーバ6に送信される。
【0032】
(4) 画像表示用Webに表示された合成画像を取得し、その合成画像が意図した画像か否かを確認し、修正すべき場合には、調整指示を発信する。この調整には、撮影条件の変更、画像補正、画像の撮り直し等がある。
【0033】
(5) 陽光の当たり具合等、画像の明るさや被写体の方角等の撮影条件の統一のため、画像処理サーバ6からのフィードバック指示を受信する。また、被写体の大きさ、縮尺等の撮影条件についても、画像処理サーバ6からのフィードバック指示を受信する。
【0034】
(6) 依頼者又は受託者は、合成画像の確認後、キー入力部18に存在する決定キー17に割り当てられたシャッターを押下することにより、合成画像を確定させることができる。
【0035】
(7) 確定させた合成画像は、携帯電話機4のディスプレイ22に表示されるとともに、キー入力部18の決定キー17の押下により、記憶部28に保存される。
【0036】
次に、前記画像処理システム2における画像処理サーバ6について、図4を参照して説明する。図4は、画像処理サーバ6のハード構成例を示すブロック図である。図4において、図1と同一部分には、同一符号を付してある。
【0037】
この画像処理サーバ6は通信機能を備えるコンピュータで構成されており、例えば、制御部34、記憶部36及びネットワーク部38等が備えられている。制御部34は例えば、CPU等で構成され、画像合成に関連する機能として例えば、ネットワーク8等を媒介とする通信機能、撮影により提供される撮影画像の蓄積機能、メールアドレス等のアドレス情報の登録機能、通知や問い合わせをする機能、テンプレート上に画像を合成する機能、画像の提供先に画像や撮影条件の補正情報を通知する機能、既述の画像表示用Webに画像を表示する機能、そのURLの通知機能等を備える。即ち、制御部34は画像合成や合成画像の調整等の画像処理を実行する画像処理部を構成している。
【0038】
記憶部36はROM、RAM等の記憶媒体で構成され、CPU等の制御部34の処理を実行するための画像処理プログラム等、各種制御プログラムが格納されているとともに、テンプレート、画像、画像情報、処理途上の情報、画像提供の受託先であるメールアドレス等、既述の各種情報が格納されている。即ち、記憶部36はアドレス情報を登録する登録部を構成する。各種データのデータベースは、この記憶部36で構成される。この記憶部36は、ROM、RAMの他、着脱可能なROMカード等の外部記録媒体で構成してもよい。また、ネットワーク部38は、既述のネットワーク8と接続され、制御部34による制御によって通信機能を実行し、既述の携帯電話機41〜4Nとの情報の授受を行う。
【0039】
既述の画像合成に関し、画像処理サーバ6側の画像処理は次の通りである。
【0040】
(1) 背景画像として画像合成に用いられるテンプレートが選択される。
【0041】
(2) 画像合成の受託者として例えば、携帯電話機41から通知されたメールアドレスを登録部を構成する記憶部36に登録する。
【0042】
(3) 画像表示用Webを表すURLを依頼者及び受託者に送信する。
【0043】
(4) 開設した画像表示用Webに対し、通知されたメールアドレスに対応する携帯電話機4からのアクセスを許可するとともに、携帯電話機4の撮影中の画像を携帯電話機4から取り込む。この場合、撮影中の画像は周期的又は連続的に取り込む。
【0044】
(5) 受信した各画像をテンプレートに合成し、合成画像を形成する。
【0045】
(6) 画像表示用Webに合成画像を表示し、メールアドレスに対応する携帯電話機4からのアクセスにより、画像修正等の調整依頼を受け付けるとともに、修正された合成画像を表示する。
【0046】
(7) 撮影条件の変更をフィードバック指示として携帯電話機4に通知する。
【0047】
(8) 合成画像の確定指示を受け、確定した合成画像を画像表示用Webに表示する。
【0048】
次に、携帯電話機(依頼者側)画像処理方法について、図5を参照して説明する。図5は、携帯電話機(依頼者)の画像処理プログラムの処理手順を示すフローチャートである。
【0049】
携帯電話機41(図1)のユーザが依頼者となる場合を想定する。この場合、携帯電話機41から画像処理サーバ6に画像合成の処理が要請される。
【0050】
そこで、携帯電話機41と画像処理サーバ6との通信をネットワーク8を通じて確立させ、画像処理サーバ6にアクセスすることにより、画像処理サーバ6上にある数種の背景情報として例えば、テンプレート50(図10)を選択する(ステップS1)。この場合、撮影の受託先のメールアドレスを画像処理サーバ6に通知し、登録する(ステップS2)。このメールアドレスには、依頼者のアドレスを含んでもよい。
【0051】
このメールアドレスに対し、画像処理サーバ6から撮影をすること(画像合成に参加すること)が要請され、問合せ結果が受託者の例えば、携帯電話機42等から依頼者の携帯電話機41に通知される。そこで、問合せ先が撮影することを許容したか否かが確認され(ステップS3)、登録されたメールアドレスの問合せ先の全てが撮影を許容しない場合(拒否した場合)には(ステップS3のNO)、この画像合成の処理を終了する。また、メールアドレスの問合せ先が撮影を許容した場合には(ステップS3のYES)、撮影の受託者(画像提供者)となる。そして、画像処理サーバ6から画像合成を終了することを表す終了信号を受信しているか否かが確認され(ステップS4)、終了信号を受信している場合には(ステップS4のYES)、この画像合成の処理を終了する。また、この終了信号を受信していない場合には(ステップS4のNO)、画像合成の処理が続行されるので、携帯電話機41は、画像処理サーバ6から通知される画像表示用WebのURLを受信し(ステップS5)、これを登録する。
【0052】
そこで、携帯電話機41では、カメラ部20の位置、被写体の位置、明るさ等を調整後、撮影をする(ステップS6)。この撮影によって取得した画像とともに、画像制御情報として、画像の明るさ、合焦距離等の撮影情報を画像処理サーバ6に送信する(ステップS7)。同様に、撮影を許容している携帯電話機42等からの画像及び撮影情報が通知され、テンプレートにこれらの画像を重ね合わす画像合成が行われ、その合成画像が画像表示用Webに表示される。
【0053】
そして、携帯電話機41側では、画像表示用Webに表示された合成画像を許可するか否かを確認し(ステップS8)、その画像を修正する場合には(ステップS8のNO)、ステップS6、S7の処理を再度行い、画像処理サーバ6に、画像表示用Webに表示された画像を修正させる。その画像表示用Webに表示された合成画像を許可する場合には(ステップS8のYES)、画像処理サーバ6に許可信号としてOK信号を送信する(ステップS9)。このOK信号を受信した画像処理サーバ6は、表示している画像を固定する。そこで、画像表示用Webに表示されている画像を携帯電話機41に保存する(ステップS10)。この保存により、画像合成が完了する。そこで、依頼者は携帯電話機41を通じて画像処理サーバ6に既述の終了信号を送信する(ステップS11)。これを受けて画像処理サーバ6側では画像合成処理を終了する。
【0054】
次に、画像処理サーバ6の画像処理方法について、図6を参照して説明する。図6は、画像処理サーバ6の画像処理プログラムの処理手順を示すフローチャートである。
【0055】
画像処理サーバ6では、依頼者からの画像合成の依頼、問合せ先のメールアドレス、テンプレートの選択、画像及び撮影条件等の撮影情報、終了信号等の受信、登録されたメールアドレスに対する問合せ、受託者から画像及び撮影情報、終了信号等の受信、画像合成及びその表示等が行われる。
【0056】
そこで、画像処理サーバ6では、依頼者によってテンプレート50(図10)が選択される(ステップS21)。このテンプレートの選択の後、依頼者から送信された受託先のメールアドレスを受信し、登録する(ステップS22)。依頼者から撮影依頼があったことをメールアドレス先に通知する(ステップS23)。
【0057】
画像処理サーバ6は、撮影依頼の通知に対し、受託者による撮影を許容したか否かを確認する(ステップS24)。撮影が許容された場合には(ステップS24のYES)、受託者及び依頼者から画像とともに、その画像の明るさ、合焦距離等の撮影情報を受信する(ステップS25)。
【0058】
画像処理サーバ6では、依頼者から通知された画像の明るさ、合焦距離等の撮影条件に基づき、受託者からの画像を補正する(ステップS26)。即ち、依頼者及び受託者の画像がテンプレートに嵌め込まれて合成画像が形成され、その合成画像が画像処理サーバ6の画像表示用Webに表示される(ステップS27)。
【0059】
画像表示用Webに表示された合成画像は、依頼者及び受託者によってアクセスされて確認され、それを受けるか否かが依頼者及び受託者によって判断される。依頼者及び受託者がその画像を受け入れた場合には、その画像を固定する指示として許可信号(OK信号)が発せられるので、画像処理サーバ6では、依頼者及び受託者の全員からOK信号を受信したか否かが監視される(ステップS28)。OK信号を受信していない場合には(ステップS28のNO)、OK信号を受信するまでステップS26、S27の処理が繰り返される。この結果、依頼者及び受託者の全員が受け入れる合成画像が形成され、画像表示用Webに表示されることになる。そして、依頼者及び受託者の全員のOK信号を受信した場合には(ステップS28のYES)、同様に全員からの終了信号を受信したか否かが確認され(ステップS29)、全員からの終了信号を受信するまで待機し(ステップS29のNO)、全員からの終了信号を受信した場合には(ステップS29のYES)、この処理を終了する。
【0060】
また、メールアドレス先に撮影依頼をした場合に、受託者の全員が撮影を許容しない場合には(ステップS24のNO)、依頼者及び受託者に終了信号を送信し(ステップS30)、同様に画像合成処理を終了する。
【0061】
次に、携帯電話機(受託者側)の画像処理方法について、図7を参照して説明する。図7は、携帯電話機(受託者)の画像処理プログラムの処理手順を示すフローチャートである。
【0062】
この場合、携帯電話機42〜4Nのユーザが受託者となる場合、説明を容易にするため、携帯電話機42を例に取って説明する。
【0063】
携帯電話機42は、画像処理サーバ6から撮影依頼の通知を受信する(ステップS31)。この撮影依頼の通知を受け、撮影することを許容するか否かを判断し(ステップS32)、撮影を許容する場合には(ステップS32のYES)、画像処理サーバ6に撮影を許容したことを通知する(ステップS33)。この通知の後、画像処理サーバ6から終了信号を受信したか否かを判定し(ステップS34)、終了信号を受信していない場合には(ステップS34のNO)、画像処理サーバ6から画像表示用WebのURLを受信する(ステップS35)。
【0064】
そこで、携帯電話機42では、カメラ部20の位置、被写体の位置、明るさ等の撮影条件を調整後、撮影する(ステップS36)。この撮影によって取得した画像とともに、その画像の明るさ、合焦距離等の撮影条件を表す撮影情報を画像処理サーバ6に送信する(ステップS37)。
【0065】
既述の通り、画像処理サーバ6では、携帯電話機42からの画像とともに撮影情報が通知され、同様に、携帯電話機41、撮影を許容している携帯電話機43等からの画像及び情報が通知され、テンプレートにこれらの画像を重ね合わす画像合成が行われ、その合成画像が画像表示用Webに表示される。画像調整の処理は既述の通りである。
【0066】
携帯電話機42では、画像表示用Webに表示された合成画像の良否を確認し(ステップS38)、合成画像を修正する場合には(ステップS38のNO)、ステップS36、S37の処理を繰り返して合成画像を画像処理サーバ6に修正させる。そして、合成画像を許可する場合には(ステップS38のYES)、携帯電話機42から画像処理サーバ6に画像固定指示としてのOK信号を送信する(ステップS39)。このOK信号は携帯電話機42のキー入力部18の例えば、決定キー17の押下により発せられ、画像処理サーバ6に通知される。
【0067】
画像表示用Webに表示された合成画像は、保存操作により携帯電話機42に保存される(ステップS40)。この画像保存は受託者の任意であるが、画像処理を終了する場合、携帯電話機42から画像処理サーバ6に終了信号を送信し(ステップS41)、この画像処理を終了する。
【0068】
また、撮影を許容しない場合には(ステップS32のNO)、携帯電話機42から画像処理サーバ6に撮影拒否が通知され(ステップS42)、同様にこの画像処理を終了する。
【0069】
次に、画像処理方法について、図8を参照して説明する。図8は、画像処理サーバ及び各携帯電話機の画像合成の処理シーケンスを示す図である。図8において、図1と対応する部分には同一符号を付してある。
【0070】
この処理シーケンスでは、携帯電話機41を依頼者、携帯電話機42〜4Nを受託者として説明する。
【0071】
この場合、携帯電話機41から画像処理サーバ6に対し、テンプレート選択(ステップS101)、受託者メールアドレスの通知(ステップS102)が行われ、メールアドレスの通知を受けた画像処理サーバ6から携帯電話機42〜4Nに対し、撮影依頼(ステップS103)をする。撮影依頼を許容した携帯電話機42〜4Nの全部又はいずれかから画像処理サーバ6に対し、撮影受託(ステップS104)の通知が発せられる。この通知を受け、画像処理サーバ6から携帯電話機41に対し、撮影受託のあった旨の通知とともに、画像表示用WebのURL通知(ステップS105)、同様に、携帯電話機42〜4Nに対し、画像表示用WebのURL通知(ステップS106)が発せられる。
【0072】
携帯電話機41では、撮影(ステップS107)が行われ、画像、その画像の明るさ情報、合焦距離等の撮影情報が画像処理サーバ6に送信される(ステップS108、S109、S110)。また、受託者側の携帯電話機42〜4Nでも、撮影(ステップS111)が行われ、画像、その画像の明るさ情報、合焦距離等の撮影情報が画像処理サーバ6に送信される(ステップS112、S113、S114)。
【0073】
このような画像や撮影情報を受けた画像処理サーバ6では、画像補正及び画像合成(ステップS115)が行われ、合成画像が画像表示用Webに表示される(ステップS116)。この表示画像は、携帯電話機41、携帯電話機42〜4Nで確認することができる。そこで、携帯電話機41では、画像表示用Webに表示された合成画像が良いか否かの判断が行われ(ステップS117)、同様に、携帯電話機42〜4Nでも、その判断が行われ(ステップS118)、その画像に修正が必要な場合には携帯電話機41〜4N、画像処理サーバ6で画像修正を行い、また、その画像に修正が不要な場合には、携帯電話機41からOK信号が画像処理サーバ6に通知され(ステップS119)、同様に、携帯電話機42〜4NからOK信号が画像処理サーバ6に通知される(ステップS120)。
【0074】
携帯電話機41、携帯電話機42〜4Nでは、画像保存(ステップS121、S122)が行われ、それぞれ終了信号が画像処理サーバ6に対して発せられる(ステップS123、S124)。画像処理サーバ6では、全員からのOK信号の受信を監視し(ステップS125)、OK信号を受信した後、終了信号の受信を監視し(ステップS126)、終了信号の受信により、画像合成処理を終了する。
【0075】
次に、画像処理サーバの画像補正について、図9を参照して説明する。図9は、画像補正の処理シーケンスを示す図である。
【0076】
この場合、依頼者の携帯電話機41からの情報が基準であり、受託者の携帯電話機42〜4Nからの情報が非基準となっている。携帯電話機41の撮影(ステップS201)、携帯電話機42〜4Nの撮影(ステップS202)が行われ、携帯電話機41から画像処理サーバ6に対し、画像を表す画像データA、撮影情報としての明るさ情報A、合焦距離Aが送信され(ステップS203、S204、S205)、同様に、携帯電話機42〜4Nから画像処理サーバ6に対し、画像を表す画像データB、撮影情報としての明るさ情報B、合焦距離Bが送信される(ステップS206、S207、S208)。
【0077】
画像処理装置としての画像処理サーバ6では、明るさ情報A、Bにより、画像データBの明るさを調整し(ステップS209)、合焦距離A、Bにより、画像データBの縮尺を補正し(ステップS210)、テンプレートの大きさに画像データA、Bの縮尺を補正し(ステップS211)、テンプレートの決められた位置に補正済みの画像データA、Bを配置し(ステップS212)、合成画像を画像表示用Webに表示する(ステップS213)。
【0078】
次に、画像合成について、図10、図11、図12及び図13を参照して説明する。図10は、画像合成例を示す図、図11、図12及び図13は、他の画像合成例を示す図である。
【0079】
画像合成では、携帯電話機41(依頼者)と画像処理サーバ6との通信により、図10の(A)に示すように、テンプレート50が選択され、携帯電話機41から撮影中の画像51とともに、合焦距離、明るさ等の撮影情報が画像処理サーバ6に通知される。同様に、受託者はそれぞれの携帯電話機42、43と画像処理サーバ6との通信により、携帯電話機42から撮影中の画像52、携帯電話機43から撮影中の画像53とともに、合焦距離、明るさ等の撮影情報が画像処理サーバ6に通知される。
【0080】
画像処理サーバ6では、図10の(B)に示すように、例えば、画像51に付随する撮影情報を基準に画像52、53の縮尺が行われるとともに、テンプレート50の大きさに対応して画像51〜53の縮尺補正が行われ、図10の(C)に示すように、決められた位置に各画像51〜53の配置が修正された後、図10の(D)に示すように、テンプレート50上に各画像51、52、53が合成され、合成画像55が得られる。この合成画像55は既述の画像表示用Web即ち、画像処理サーバ6及び合成画像のネットワーク8上の存在位置を表すURLに表示される。この合成画像55は、画像合成に参加している携帯電話機41、42、43からのアクセスにより確認される。
【0081】
ところで、縮尺補正等の画像調整は、携帯電話機41、42、43と画像処理サーバ6との通信により、合成画像55を確認し、携帯電話機42、43側で行ってもよく、携帯電話機42、43から再送させてもよい。即ち、依頼者の画像51を基準に受託者側の画像52、53を補正させ、あるいは、撮り直し画像の送信を要請し、例えば、合焦距離を補正する。この場合、画像処理サーバ6では画像の拡大又は縮小させて大きさの整合性を取るようにしてもよい。
【0082】
同様に、この合成画像55は、既述の画像表示用Web即ち、画像処理サーバ6及び合成画像のネットワーク8上の存在位置を表すURLに展開され、その画像確認に基づき、依頼者又は受託者がその合成画像55を了承した場合には、その旨の通知により、合成画像55を固定し、登録する。そして、その合成画像55は、URLから各携帯電話機41、42、43に取り込むことが可能である。
【0083】
このように撮影中の画像51〜53を補正して合成できるので、画像合成に参加したユーザは意図した合成画像、統一性のある合成画像55が得られる等、個別の画像を超える演出や表現等が可能である。合成画像55には、実画像である画像51〜53とは異なるものの、実画像に近い画像が得られる。この場合、合焦距離を補正する場合を説明したが、明るさや画像上の人物像のみの抽出等のトリミング制御を実行するようにしてもよい。また、基準画像は、依頼者側に固定されることはなく、受託者側の画像であってもよいことは勿論である。
【0084】
また、図11の(A)に示すように、画像処理サーバ6では、テンプレート60が選択されるとともに、携帯電話機41から画像61が送信され、例えば、携帯電話機42から画像62、携帯電話機43から画像63が送信された場合には、画像合成及びその補正処理では、図11の(B)に示すように、画像61を基準にして他の画像62、63の明るさの調整が行われた後、図11の(C)に示すように、テンプレート60に合致するように画像61、62、63の縮尺補正が行われる。そして、図11の(D)に示すように、テンプレート60の決められた位置に補正済みの画像61、62、63が配置され、図11の(E)に示すように、テンプレート60に補正後の画像61、62、63が合成され、合成画像65が得られる。この結果、この合成画像65は、テンプレート60に合致し、統一性のある画像になる。そして、この合成画像65が画像表示用Webに表示される。
【0085】
また、図12の(A)に示すように、画像処理サーバ6では、テンプレート70が選択されるとともに、携帯電話機41から画像71が送信され、例えば、携帯電話機42から画像72が送信された場合には、画像合成及びその補正処理では、図12の(B)に示すように、テンプレート70に合致するように画像71、72の縮尺補正が行われた後、図12の(C)に示すように、テンプレート70に補正後の画像71、72が所定位置に配置されて合成され、合成画像75が得られる。この合成画像75は、テンプレート70に合致し、統一性のある画像となっている。この合成画像75が画像表示用Webに表示される。
【0086】
また、テンプレートには、種々の形態のものを用いることができる。この場合、図13の(A)に示すように、4分割表示のテンプレート80が選択され、携帯電話機41から画像81が送信され、例えば、携帯電話機42から画像82、携帯電話機43から画像83、携帯電話機44から画像84が送信された場合には、画像合成及びその補正処理では、図13の(B)に示すように、テンプレート80に合致するように画像81、82、83、84の縮尺補正とともに、決められた位置に各画像81〜84が配置された後、これらの画像81〜84がテンプレート80に合成され、図13の(C)に示すように、合成画像85が得られる。この合成画像85は、テンプレート80に合致し、統一性のある画像となっている。この合成画像85が画像表示用Webに表示される。
【0087】
次に、携帯電話機側のディスプレイ表示について、図14〜図17を参照して説明する。図14は、画像合成の依頼時のディスプレイ表示を示す図、図15は、画像合成の参加を呼びかけるディスプレイ表示を示す図、図16は、URLの通知時のディスプレイ表示を示す図、図17は、合成画像の修正確認時のディスプレイ表示を示す図である。
【0088】
画像合成の依頼を例えば、携帯電話機41から画像処理サーバ6に発する場合、ディスプレイ22には、画像合成の依頼メッセージ及び入力又は電話帳から検索されたメールアドレスが表示される。その表示は、図14に示すように、
「画像合成を依頼します。
次のメールアドレスに問合せをお願いします。
1.XXXXXXXXne.jp
2.XXXXXXXXne.jp
3.XXXXXXXXne.jp
・
・
・ 」
が表示され、これが画像処理サーバ6に通知される。
【0089】
この問合せに対し、受託者側の例えば、携帯電話機42には、依頼者名の通知とともに、画像処理サーバ6から画像合成の参加の問合せが発せられ、そのディスプレイ22には、図15に示すように、
「○○様から画像合成に用いる画像の撮影の依頼がありました。
1.許容する
2.許容しない 」
が表示される。「許容する」を選択すれば、これを契機に画像合成の処理が開始されることになる。
【0090】
そして、画像合成が開始されると、依頼者及び受託者には、画像合成の開始通知とともに、画像表示用WebのURLの通知が発せられる。即ち、携帯電話機41、42のディスプレイ22には、図16に示すように、
「画像合成を開始します。
下記の画像表示用WebのURLにアクセスして下さい。
http://・・・・・ne.jp/・・・/・・・/ 」
が表示される。
【0091】
また、画像合成の結果、合成画像の確認が可能になった時点から所定時間が経過した後、画像処理サーバ6から合成画像の修正についての問合せが発せられる。この場合、携帯電話機41、42のディスプレイ22には、図17に示すように、
「画像合成用Webに表示された画像を修正しますか?
1.修正する
2.修正しない 」
が表示される。画像を修正する場合には「修正する」を選択し、画像を修正しない場合には「修正しない」を選択する。画像を修正しない場合には、決定キー17に割り当てられたシャッターを押下することにより、合成画像が撮影され、記憶部28に取り込まれる。この場合、決定キー17と別にシャッターキーを設け、それを押下してもよい。
【0092】
以上の通り、ディスプレイ表示に従って画像合成の処理を手順通りに実行することができ、容易に所望の合成画像を形成し、取り込むことができる。
【0093】
以上述べた第1の実施の形態について、斯かる画像処理では、画像処理サーバ6上で複数の携帯電話機41〜4Nで撮影された画像を合成するため、ユーザにとって合成処理作業が簡略化される。また、画像確定する前(即ち、撮影前)に合成画像55、65、75、85が依頼者又は受託者の携帯電話機41〜4Nに表示されるので、撮影対象や画像を容易に調整することができ、なおかつユーザが満足する画像を撮影することができる。
【0094】
このような処理結果について、より詳細に述べれば、各携帯電話機41〜4Nから送られてくるリアルタイム画像を画像処理サーバ6上で合成し、その合成画像を各携帯電話機41〜4Nに配信する。各携帯電話機41〜4Nのユーザは、合成画像を確認後、それを保存する。また、画像合成において、明るさや方角等(例えば、陽光の当たり具合)の統一化のために、画像処理サーバ6から各携帯電話機41〜4Nに情報のフィードバックを行い、これを用いて画像修正をすれば、合成画像のために集合させた画像全体に統一感が得られる。また、被写体の大きさを実際の縮尺にするため、同様に、画像処理サーバ6から情報のフィードバックを行う。これらにより、現実の撮影画像と同等の合成写真が得られる。画像処理サーバ6からのフィードバック処理は、画像処理サーバ6側に一定の情報として演出情報例えば、太陽が撮影画像の右手から当たっている等の情報や、被写体の身長の情報等を与えることにより、これらを参照して画像補正をする構成としてもよい。以上により、各携帯電話機41〜4Nから送られる画像を画像処理サーバ6を中継基地として画像修正を行うので、各ユーザの要望を取り入れることができ、その要望に沿った画像修正が容易にでき、より現実に近い合成画像が得られる。
【0095】
第1の実施の形態について、画像処理の利点を列挙すれば、次の通りである。
【0096】
(1) 提供された複数の画像から合成画像を得ることができ、得るべき合成画像に応じて提供画像を補正するので、合成画像の最適化を図ることができる。
【0097】
(2) 合成画像に応じて画像提供側に画像制御情報を付与することにより、提供画像の合焦距離、画像明度、色彩等を制御するので、各画像に協調性が得られ、統一性のある合成画像を得られる。
【0098】
〔第2の実施の形態〕
【0099】
次に、第2の実施の形態に係る画像処理方法について、図18を参照して説明する。図18は、合成画像の明るさ調整の処理シーケンスを示す図である。図18において、図1と対応する部分には同一符号を付してある。
【0100】
この実施の形態にあっては、図1に示す画像処理システム、図2及び図3に示す携帯電話機、図4に示す画像処理サーバ等を使用するとともに、携帯電話機41からの画像を基準にし、他の携帯電話機42(〜4N)側の画像の明るさを調整することにより、合成画像の明るさの統一性を実現している。
【0101】
携帯電話機41の撮影(ステップS301)、携帯電話機42の撮影(ステップS302)により、携帯電話機41から画像データAとともに、明るさ情報A及び合焦距離Aが基準データとして画像処理サーバ6に送信され(ステップS303、S304、S305)、携帯電話機42から画像データBとともに、明るさ情報B及び合焦距離Bが画像処理サーバ6に送信される(ステップS306、S307、S308)。
【0102】
画像処理サーバ6では、画像データ合成が行われ(ステップS309)、その合成画像を表す画像データが画像表示用Webに表示される(ステップS310)。この合成画像は、携帯電話機41、42のアクセスにより閲覧が可能であり、合成画像を修正する場合には、画像処理サーバ6から基準データである明るさ情報A、合焦距離Aが携帯電話機42に送信される(ステップS311)。携帯電話機42側では、画像調整処理として明るさ調整が実行され(ステップS312)、この明るさ調整処理では、基準となる明るさ情報Aと前回撮影時の明るさ情報Bとの差分を計算し、次回撮影時の明るさを調整する。この明るさ調整の後、ディスプレイ22には明るさが調整されたことが表示される(ステップS313)。この明るさを確認した後、ステップS302に戻り、シャッターキーを押下することにより、撮影が行われる。
【0103】
〔第3の実施の形態〕
【0104】
次に、第3の実施の形態に係る画像処理方法について、図19を参照して説明する。図19は、合成画像の合焦距離の処理シーケンスを示す図である。図19において、図1と対応する部分には同一符号を付してある。
【0105】
この実施の形態にあっては、図1に示す画像処理システム、図2及び図3に示す携帯電話機、図4に示す画像処理サーバ等を使用するとともに、携帯電話機41からの合焦距離を基準にし、他の携帯電話機42(〜4N)側の合焦距離を調整することにより、合成画像の統一性を実現している。
【0106】
携帯電話機41の撮影(ステップS401)、携帯電話機42の撮影(ステップS402)により、携帯電話機41から画像データAとともに、明るさ情報A及び合焦距離Aが基準データとして画像処理サーバ6に送信され(ステップS403、S404、S405)、携帯電話機42から画像データBとともに、明るさ情報B及び合焦距離Bが画像処理サーバ6に送信される(ステップS406、S407、S408)。
【0107】
画像処理サーバ6では、画像データ合成が行われ(ステップS409)、その合成画像を表す画像データが画像表示用Webに表示される(ステップS410)。この合成画像は、携帯電話機41、42のアクセスにより閲覧が可能であり、合成画像を修正する場合には、画像処理サーバ6から基準データである明るさ情報A、合焦距離Aが携帯電話機42に送信される(ステップS411)。携帯電話機42側では、画像調整処理として合焦距離の調整処理(ステップS412〜S416)が行われる。
【0108】
この合焦距離の調整処理では、基準となる合焦距離Aと前回撮影時の合焦距離Bとの差分が演算されてディスプレイ22に表示され(ステップS412)、ディスプレイ22に表示された距離差分に基づいて撮影者であるユーザが移動し(ステップS413)、被写体との距離を変更する。そして、画像から移動後の合焦距離が算出され(ステップS414)、基準の合焦距離Aと移動後の合焦距離が等しいか否かが判定され(ステップS415)、合焦距離が等しい場合には、インジケータ24を点灯させ(ステップS416)、また、合焦距離が合致したことを告知する。
【0109】
合焦距離が合致しない場合には、基準となる合焦距離Aと移動後の合焦距離との差分がディスプレイ22に表示され(ステップS417)、ステップS413に移行し、携帯電話機42による撮影者が移動する。このような処理及び動作を合焦距離が合致するまで繰り返し、インジケータ24が点灯(ステップS416)した位置でシャッターキーを押下することにより、最適な合焦位置で撮影が行われる(ステップS402)。この画像及び撮影情報が画像処理サーバ6に送信される。
【0110】
〔第4の実施の形態〕
【0111】
本発明の第4の実施の形態に係る画像処理システムについて、図20を参照して説明する。図20は、他の画像処理システムを示す図である。
【0112】
この画像処理システム2では、画像合成に用いる画像を提供する通信端末装置として例えば、パーソナルコンピュータ(PC)91、携帯電話機92、携帯情報端末機(PDA:Personal Digital Assistant)93、ディジタルカメラ94等が用いられている。PC91、携帯電話機92及びPDA93は通信機能とともに撮影機能を備え、また、ディジタルカメラ94は通信機能を備えている。
【0113】
斯かる構成によっても、第1〜第3の実施の形態で説明した通り、通信端末装置からの画像合成の呼びかけに対し、登録されたアドレス先の通信端末装置に画像処理サーバ6から撮影の問合せを行い、選択されたテンプレートに複数の画像を合成させ、その合成画像の各種の調整を行うことが可能である。よって、画像の受託先は、通信機能及び画像提供機能を備えていればよく、携帯電話機に限定されるものではない。
【0114】
〔他の実施の形態〕
【0115】
(1) 上記実施の形態では、画像を修正するための情報として、明るさ、合焦距離を画像制御情報に用いたが、色の濃さ、画像サイズ、ズーム情報、画質等を画像制御情報に用いてもよい。
【0116】
(2) 上記実施の形態では、携帯電話機41を基準にし、他の携帯電話機42〜4Nを非基準に設定することにより、画像調整を行っているが、基準とすべき通信端末装置は、携帯電話機41以外のものを設定してもよい。
【0117】
(3) 上記実施の形態では、撮影中の画像を取り込んで合成画像を形成しているが、撮影後の画像や撮影以外の画像を用いて合成画像を形成する構成としてもよい。
【0118】
(4) 上記実施の形態では、通信端末装置と画像処理サーバ6とをネットワーク8で連携させているが、ネットワーク8は、公衆回線網以外のプライベートなネットワークでもよく、有線、無線のいずれであってもよい。通信媒体には、Bluetooth 規格の電波を用いてもよい。
【0119】
次に、以上述べた本発明の画像処理システム、画像処理方法、画像処理プログラム、画像処理装置及び通信端末装置の上記実施の形態から抽出される技術的思想を請求項の記載形式に準じて付記として列挙する。本発明に係る技術的思想は上位概念から下位概念まで、様々なレベルやバリエーションにより把握できるものであり、以下の付記に本発明が限定されるものではない。
【0120】
(付記1) 画像を合成する画像処理システムであって、
画像合成の依頼を発し、かつ画像提供の受託先のアドレス情報を通知する第1の通信端末装置と、
前記画像提供の委託を受けて画像を送信する第2の通信端末装置と、
前記第1の通信端末装置から画像合成の依頼を受けるとともに、通知された前記アドレス情報を登録し、前記アドレス情報を用いて前記第2の通信端末装置に画像提供の問合せを送信し、前記通信端末装置から送信された画像及び画像制御情報を受信し、前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整する画像処理サーバと、
を備えることを特徴とする画像処理システム。
【0121】
(付記2) 付記1の画像処理システムにおいて、
前記画像処理サーバに提供される前記画像は、撮影中の画像であることを特徴とする画像処理システム。
【0122】
(付記3) 付記1の画像処理システムにおいて、
前記画像処理サーバは、前記第1の通信端末装置又は前記第2の通信端末装置からアクセス可能な画像表示エリアに合成画像を表示することを特徴とする画像処理システム。
【0123】
(付記4) 付記1の画像処理システムにおいて、
前記第1の通信端末装置又は前記第2の通信端末装置から画像が周期的又は連続的に前記画像処理サーバに送信され、又は、前記第1の通信端末装置又は前記第2の通信端末装置から送信される画像を前記画像処理サーバが周期的又は連続的に受信することを特徴とする画像処理システム。
【0124】
(付記5) 付記1の画像処理システムにおいて、
前記画像処理サーバは、前記第1の通信端末装置又は前記第2の通信端末装置からアクセス可能な画像表示エリアを提供し、画像表示エリアにある共通の背景画像に対応し、前記通信端末装置が被写体の撮影を可能にしたことを特徴とする画像処理システム。
【0125】
(付記6) 付記1の画像処理システムにおいて、
前記画像処理サーバは、前記第1の通信端末装置又は前記第2の通信端末装置から送信された複数の画像のいずれかが有する画像情報を基準に他の画像を調整する画像制御情報を前記第1の通信端末装置又は前記第2の通信端末装置に送信して前記画像を調整させることを特徴とする画像処理システム。
【0126】
(付記7) 付記1の画像処理システムにおいて、
前記画像処理サーバは、前記第1の通信端末装置又は前記第2の通信端末装置から送信された画像制御情報により画像合成に用いる前記画像を調整することを特徴とする画像処理システム。
【0127】
(付記8) 付記1の画像処理システムにおいて、
前記画像処理サーバは、前記第1の通信端末装置又は前記第2の通信端末装置から送信された画像制御情報により、前記第1の通信端末装置又は前記第2の通信端末装置から提供された画像を基準に他の画像を調整することを特徴とする画像処理システム。
【0128】
(付記9) 付記1の画像処理システムにおいて、
前記第1の通信端末装置又は前記第2の通信端末装置は、前記画像処理サーバから送信された前記画像制御情報に基づいて画像を調整し、その画像を前記画像処理サーバに送信することを特徴とする画像処理システム。
【0129】
(付記10) 画像を合成する画像処理方法であって、
第1の通信端末装置から画像合成の依頼を受け、画像提供の受託先のアドレス情報を登録する処理と、
前記アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信する処理と、
前記通信端末装置から送信された画像及び画像制御情報を受信する処理と、
受信した前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整する処理と、
を含むことを特徴とする画像処理方法。
【0130】
(付記11) コンピュータに複数の画像を合成させるための画像処理プログラムであって、
第1の通信端末装置から画像合成の依頼を受け、画像提供の受託先のアドレス情報を登録するステップと、
前記アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信するステップと、
前記通信端末装置から送信された画像及び画像制御情報を受信するステップと、
受信した前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整するステップと、
を含むことを特徴とする画像処理プログラム。
【0131】
(付記12) 画像を合成する画像処理装置であって、
画像合成の依頼を発し、かつ、画像提供の受託先を指定する第1の通信端末装置、又は前記画像提供の委託を受けて画像を送信する第2の通信端末装置と通信する通信部と、
前記第1の通信端末装置から通知されたアドレス情報を登録する登録部と、
前記第1の通信端末装置から画像合成の依頼を受け、前記登録部に登録された前記アドレス情報を用いて画像提供の問合せを前記通信部より送信させ、前記通信端末装置から提供された画像を用いて合成画像を作成するとともに、前記通信端末装置から提供された画像制御情報に基づき前記合成画像を調整する処理部と、
を備えることを特徴とする画像処理装置。
【0132】
(付記13) 画像合成に用いる画像を提供する通信端末装置であって、
前記画像合成に用いる画像を取得する画像取得部と、
画像を合成する画像処理サーバに対し、前記画像合成に必要な画像提供を受ける受託先である通信端末装置のアドレス情報を通知するとともに、前記画像取得部で取得した前記画像及び画像制御情報を送信する通信部と、
を備えることを特徴とする通信端末装置。
【0133】
(付記14) 付記13の通信端末装置において、
前記画像処理サーバから提供された画像制御情報を用いて前記画像を調整する画像処理部を備え、調整された画像を前記通信部により前記画像処理サーバに送信することを特徴とする通信端末装置。
【0134】
(付記15) 付記13の通信端末装置において、
前記画像処理サーバから提供された画像制御情報により画像を調整し、その画像が画像制御情報に合致した際にそれを表示する表示部を備えたことを特徴とする通信端末装置。
【0135】
(付記16) 画像合成に用いる画像を撮影する撮影部と、
画像合成をする画像処理サーバと通信し、前記画像合成に必要な画像提供の問合せを受け、その可否を表す情報を前記画像処理サーバに通知するとともに、画像提供を許容する場合には前記撮影部で撮影された前記画像を前記画像処理サーバに送信する通信部と、
を備えたことを特徴とする通信端末装置。
【0136】
(付記17) 付記16の通信端末装置において、
前記画像処理サーバから提供された画像制御情報を用いて前記画像を調整する画像処理部を備え、調整された画像を前記通信部により前記画像処理サーバに送信することを特徴とする通信端末装置。
【0137】
以上説明したように、本発明の最も好ましい実施の形態等について説明したが、本発明は、上記記載に限定されるものではなく、特許請求の範囲に記載され、又は明細書に開示された発明の要旨に基づき、当業者において様々な変形や変更が可能であることは勿論であり、斯かる変形や変更が、本発明の範囲に含まれることは言うまでもない。
【産業上の利用可能性】
【0138】
本発明によれば、撮影機能を有する通信端末装置から提供される複数の画像や、画像処理サーバにある背景画像等のテンプレートを用いて合成画像をリアルタイムで作成できるとともに、画像制御情報を用いて合成画像の修正を可能にしており、画像合成の依頼者及び画像提供の受託者の双方が満足する統一性の高い合成画像を得ることができる。
【図面の簡単な説明】
【0139】
【図1】画像処理システムの一例を示す図である。
【図2】携帯電話機の外観形態例を示す図である。
【図3】携帯電話機のハード構成例を示すブロック図である。
【図4】画像処理サーバのハード構成例を示すブロック図である。
【図5】携帯電話機(依頼者)の画像処理プログラムの処理手順を示すフローチャートである。
【図6】画像処理サーバの画像処理プログラムの処理手順を示すフローチャートである。
【図7】携帯電話機(受託者)の画像処理プログラムの処理手順を示すフローチャートである。
【図8】画像処理サーバ及び各携帯電話機の画像合成の処理シーケンスを示す図である。
【図9】画像補正の処理シーケンスを示す図である。
【図10】画像処理及び画像合成例を示す図である。
【図11】他の画像処理及び画像合成例を示す図である。
【図12】他の画像処理及び画像合成例を示す図である。
【図13】他の画像処理及び画像合成例を示す図である。
【図14】画像合成の依頼時のディスプレイ表示を示す図である。
【図15】画像合成の参加を呼びかけるディスプレイ表示を示す図である。
【図16】URLの通知時のディスプレイ表示を示す図である。
【図17】合成画像の修正確認時のディスプレイ表示を示す図である。
【図18】第2の実施の形態に係る画像処理方法の処理シーケンスを示す図である。
【図19】第3の実施の形態に係る画像処理方法の処理シーケンスを示す図である。
【図20】第4の実施の形態に係る画像処理システムを示す図である。
【符号の説明】
【0140】
2 画像処理システム
41、42〜4N 携帯電話機(通信端末装置)
6 画像処理サーバ(画像処理装置)
20 カメラ部(画像取得部)
30 無線部(通信部)
34 制御部
36 記憶部(登録部)
38 ネットワーク部
【技術分野】
【0001】
本発明は、撮影機能や通信機能を備える携帯端末等の通信端末装置から送信される画像合成等の画像処理に関し、その画像処理に用いられる画像処理システム、画像処理方法、画像処理プログラム、画像処理装置及び通信端末装置に関する。
【背景技術】
【0002】
複数の画像を重ね合わせ等により単一の画像に合成させる画像合成に関し、従来、複数のユーザからの画像をサーバ上で合成する合成画像システムが知られている。この合成画像システムでは、複数のユーザが個別に持つ画像をサーバに集合させて合成させる。画像合成は、個別の画像を超えた演出や表現等が可能である。
【0003】
この画像合成に関し、携帯電話機と、テレビ電話機と、これらと通信回線を介して接続されたサーバとから構成され、ユーザの撮影した画像がサーバで合成され、その合成画像は携帯電話機やテレビ電話機等に送信され、その合成画像を見たユーザが再度、画像を送信して再合成をサーバに行わせる合成画像システム(特許文献1)、カメラ付携帯電話機等、画像情報の取得が可能な複数の携帯電話機を用いた画像合成システムであって、携帯電話機間の通信を維持しながら通話モードから画像合成モードに切り換え、各携帯電話機上で画像合成を行うシステム(特許文献2)、背景画像を携帯電話機により回線を経由してデータベースに登録し、その背景画像に撮影画像を合成させて携帯電話機に返信する画像撮影システム(特許文献3)、画像合成サーバの記憶媒体にテンプレートデータを記憶しておき、カメラ付携帯電話機で取得した画像データを画像合成サーバに送信してテンプレートデータと合成させ、その合成画像データを携帯電話機側で取得する画像合成方法(特許文献4)等が存在している。
【特許文献1】特開2002−176547号公報(段落番号0010、図2等)
【特許文献2】特開2002−171497号公報(段落番号0018、図2等)
【特許文献3】特開2003−234830号公報(段落番号0004、図2)
【特許文献4】特開2004−140590号公報(段落番号0019、0020、図3等)
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで、特許文献1〜4に開示されているように、複数の画像を単一の画像に合成するには、各画像を合成場所に移送して重ねる等の編集処理が必要である。撮影後に画像を合成サーバに移送する処理を行う場合には、提供された画像が合成画像の意図と合致しなければ、その提供者に再度の撮り直しを要求することになり、最適な合成画像を得るまでの処理が厄介であり、時間を要する。被写体と撮影レンズとの距離が異なる等、撮影条件が合致しなければ、提供された画像に相違が生じ、例えば、人物画像では、縮尺比率によって背丈が変わったり、体格が実際と異なる等の不都合が生じる。合成画像が実像と異なる結果となる。また、撮り直し画像が合成画像に適合しなければ、再度の撮り直しが必要となる。
【0005】
しかしながら、特許文献1〜4には、斯かる課題についての開示や示唆はなく、それを解決する構成の開示や示唆もない。
【0006】
そこで、本発明の目的は、画像合成に関し、画像提供側とその画像合成側との連携により、意図した画像合成を実現することにある。
【0007】
斯かる目的を詳細に述べれば、画像提供側及びその画像合成側の画像修正を容易化し、画像合成の自由度を高めることにある。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明の第1の側面は、画像を合成する画像処理システムであって、画像合成の依頼を発し、かつ画像提供の受託先のアドレス情報を通知する第1の通信端末装置と、前記画像提供の委託を受けて画像を送信する第2の通信端末装置と、前記第1の通信端末装置から画像合成の依頼を受けるとともに、通知された前記アドレス情報を登録し、前記アドレス情報を用いて前記第2の通信端末装置に画像提供の問合せを送信し、前記通信端末装置から送信された画像及び画像制御情報を受信し、前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整する画像処理サーバとを備える構成である。
【0009】
斯かる構成において、画像合成の依頼と画像提供の受託先のアドレス情報が第1の通信端末装置から画像処理サーバに通知される。この通知を受けた画像処理サーバは、アドレスに画像提供が可能か否かの問合せを発し、第2の通信端末装置はそれに応答し、画像提供が可能な第2の通信端末装置から画像処理サーバに画像及び画像制御情報が提供される。画像合成の依頼元である第1の通信端末装置からも画像及び画像制御情報が提供される。そこで、画像処理サーバは、これらの画像を合成して合成画像を作成し、その合成画像が画像制御情報に基づき調整される。提供される画像は、撮影された画像、撮影中の画像等、何れの画像でもよい。
【0010】
上記目的を達成するため、本発明の第2の側面は、画像を合成する画像処理方法であって、第1の通信端末装置から画像合成の依頼を受け、画像提供の受託先のアドレス情報を登録する処理と、前記アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信する処理と、前記通信端末装置から送信された画像及び画像制御情報を受信する処理と、受信した前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整する処理とを含む構成である。既述の通り、この画像処理方法では、通信端末装置からの画像合成の依頼の発信、それを受領したことにより、画像提供の受託先にその可否を問い合わせ、画像合成に応じる通信端末装置から画像及び画像制御情報が提供され、画像を用いて画像合成が行われるとともに、合成画像は画像制御情報により調整される。既述したように、提供される画像は撮影中の画像だけでなく、記憶部等にある保存画像であってもよい。
【0011】
上記目的を達成するため、本発明の第3の側面は、コンピュータに複数の画像を合成させるための画像処理プログラムであって、第1の通信端末装置から画像合成の依頼を受け、画像提供の受託先のアドレス情報を登録するステップと、前記アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信するステップと、前記通信端末装置から送信された画像及び画像制御情報を受信するステップと、受信した前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整するステップとを含む構成である。斯かる画像処理プログラムによれば、既述の画像処理方法がコンピュータの情報処理によって実現される。
【0012】
上記目的を達成するため、本発明の第4の側面は、画像を合成する画像処理装置であって、画像合成の依頼を発し、かつ、画像提供の受託先を指定する第1の通信端末装置、又は前記画像提供の委託を受けて画像を送信する第2の通信端末装置と通信する通信部と、前記第1の通信端末装置から通知されたアドレス情報を登録する登録部と、前記第1の通信端末装置から画像合成の依頼を受け、前記登録部に登録された前記アドレス情報を用いて画像提供の問合せを前記通信部より送信させ、前記通信端末装置から提供された画像を用いて合成画像を作成するとともに、前記通信端末装置から提供された画像制御情報に基づき前記合成画像を調整する処理部とを備える構成である。
【0013】
斯かる構成の画像処理装置は、既述の画像処理サーバに対応している。即ち、この画像処理装置では、第1の通信端末装置から受けた画像合成の依頼と、画像合成に参加すべき第2の通信端末装置のアドレス情報の通知を受け、第2の通信端末装置に画像合成のための画像の提供の可否について問い合わせをする。そして、画像及び画像制御情報が提供され、画像を用いて画像合成が行われ、合成画像は画像制御情報により調整される。
【0014】
上記目的を達成するため、本発明の第5の側面は、画像合成に用いる画像を提供する通信端末装置であって、前記画像合成に用いる画像を取得する画像取得部と、画像を合成する画像処理サーバに対し、前記画像合成に必要な画像提供を受ける受託先である通信端末装置のアドレス情報を通知するとともに、前記画像取得部で取得した前記画像及び画像制御情報を送信する通信部とを備える構成である。
【0015】
斯かる構成において、通信端末装置では、画像取得部により、画像合成に必要な画像を取得する。この画像取得部は、撮影により画像を取得するカメラ部の他、画像合成に必要な画像を取り込む構成であればよい。そして、この通信端末装置は、既述の第1の通信端末装置に対応するものであり、通信部は、画像合成に必要な画像提供の受託先の通信端末装置のアドレス情報を通知し、画像取得部で取得した画像及び画像制御情報を送信する。このような通信端末装置を用いることにより、既述の画像処理装置、画像処理サーバ又は画像処理システムにより、合成画像を形成し、その合成画像を画像制御情報により調整することにより、所望の合成画像を得ることができる。
【発明の効果】
【0016】
本発明によれば、通信端末装置を通して画像及び画像制御情報の提供を受け、画像を用いて合成画像を形成できるとともに、合成画像を画像制御情報を用いて調整できるので、画像提供者の意図を反映した合成画像が得られ、それを通信端末装置に取得することができる。
【発明を実施するための最良の形態】
【0017】
〔第1の実施の形態〕
【0018】
本発明の第1の実施の形態に係る画像処理システムについて、図1を参照して説明する。図1は、画像処理システムの一例を示す図である。
【0019】
図1に示すように、この画像処理システム2では、通信機能及び撮影機能を備え、画像合成の依頼側である第1の通信端末装置として、また、画像合成のための画像提供が委託される第2の通信端末装置として例えば、携帯電話機41、42、43・・・4Nが設置されている。例えば、携帯電話機41が画像合成の依頼を発する場合、この携帯電話機41が第1の通信端末装置となり、他の携帯電話機42〜4Nが第2の通信端末装置となる。これら携帯電話機41、42、43・・・4Nに対して画像処理装置として例えば、画像処理サーバ6が設置され、これら携帯電話機41、42、43・・・4Nと画像処理サーバ6とは公衆網等のネットワーク8を通じて接続されている。また、画像処理サーバ6は例えば、コンピュータで構成され、画像処理に関連する機能として例えば、ネットワーク8等を媒介とする通信機能、撮影により提供される撮影画像の保存機能、メールアドレス等のアドレス情報の登録機能、通知や問い合わせをする機能、テンプレート上に画像を合成する機能、画像の提供先に画像や撮影条件の補正情報を通知する機能等を備えている。
【0020】
斯かる構成において、画像合成依頼者(以下単に「依頼者」と称する。)が携帯電話機41から画像処理サーバ6に対し、画像合成の依頼、画像合成に参加するユーザのアドレス情報として例えば、携帯電話機42、43のメールアドレス等を通知する。画像処理サーバ6は、通知されたメールアドレスを登録するとともに、背景画像として予め用意されているテンプレートを依頼者に選択させる。また、画像処理サーバ6は、メールアドレス先にメールを送信することにより、画像合成の参加を呼びかけるとともに、画像合成に参加するか否かの問い合わせを行う。この画像合成に参加するユーザは、画像提供受託者(以下単に「受託者」と称する。)となる。このように画像合成の参加があれば、画像処理サーバ6から携帯電話機41、42、43に画像表示エリアである画像表示用Web(World Wide Web) 上のURL(Uniform Resource Locator)がメール送信等により通知される。
【0021】
撮影により画像を取得した各携帯電話機41、42、43から、その画像とともに、明るさ、合焦距離等の画像制御情報が画像処理サーバ6に送信されると、画像処理サーバ6は、その画像を用いて合成画像を作成し、その合成画像は既述のURLに表示する。URLの通知を受けた携帯電話機41、42、43では、それを確認し、修正が必要な場合には、画像制御情報を用いることにより、画像処理サーバ6又は携帯電話機41〜4Nで合成画像の修正等を行い、修正された合成画像が表示され、その合成画像を確定させた後、携帯電話機41〜4Nに取り込むことができる。
【0022】
このように合成画像を形成すれば、画像合成に参加したユーザが意図した合成画像や、画像制御情報により修正された統一性のある合成画像を得ることができ、合成画像では個別の画像を超える演出や表現等が可能である。
【0023】
次に、前記画像処理システム2における携帯電話機41〜4Nの構成について、図2及び図3を参照して説明する。図2は、携帯電話機の外観形態例を示す図、図3は、そのハード構成例を示すブロック図である。図2及び図3において、図1と対応箇所には、同一符号を付してある。
【0024】
この画像処理システム2の携帯電話機41〜4Nには携帯電話機4が使用され、この携帯電話機4は例えば、2つの筐体部12、14をヒンジ部16で連結して開閉可能に構成され、筐体部12には、カーソルキー、シャッター等に用いられる決定キー17、テンキー等の複数のキーからなるキー入力部18等が設置されている。キー入力部18は、撮影、通信先の電話番号、URLの入力、画像の送信のための指示等、情報入力に用いられる。また、筐体部14には、画像取得部としてのカメラ部20、ディスプレイ22、インジケータ24等が設置されている。カメラ部20は、筐体部14の前面部だけでなく、筐体部14の背面側に設置されてもよく、また、双方に設置されてもよい。ディスプレイ22は例えば、LCD(Liquid Crystal Display)で構成され、カメラ部20で撮影された画像やキー入力部18からの入力情報等が表示される。インジケータ24は例えば、LED(Light Emitting Diode)表示器で構成され、通信中の表示に用いられるとともに、撮影モードにおいて、所定の合焦距離に到達したことを点灯によって告知する。
【0025】
この携帯電話機4には図3に示すように、制御部26、記憶部28、無線部30、アンテナ32等が既述のキー入力部18、カメラ部20、ディスプレイ22、インジケータ24とともに設置されている。制御部26は例えば、CPU(Central Processing Unit )等で構成され、既述の通信機能、撮影機能等、画像合成のための各種処理を実行する。記憶部28はROM(Read-Only Memory)、RAM(Random-Access Memory)等の記憶媒体で構成され、CPU等の制御部26の処理を実行するための画像処理プログラム等、各種制御プログラムが格納されているとともに、テンプレート、画像、画像情報、処理途上の情報等、既述の各種情報が格納されている。撮影途上の画像も、この記憶部28に格納される。各種データのデータベースは、この記憶部28で構成される。この記憶部28は、ROM、RAMの他、筐体部12等に着脱可能なROMカード等の外部記録媒体で構成してもよい。
【0026】
また、無線部30は、ネットワーク8に接続された基地局との無線通信を行い、斯かる無線通信により、ネットワーク8を通して画像処理サーバ6との間で音声、画像、文字情報等の各種情報の授受を行う。この場合、画像処理サーバ6との画像や撮影情報の授受は例えば、電波によって実行され、その電波はアンテナ32により送信又は受信される。
【0027】
斯かる構成において、カメラ動作は、非通信モード又は通信モードのいずれにおいても可能であり、撮影中又は撮影後のいずれの画像も送信することができる。保存されている画像は、メール送信の例えば、添付ファイルによって送信することができる。また、送信した画像及びその撮影条件はディスプレイ22に表示され、ユーザが確認することができる。
【0028】
既述の画像合成に関する処理に関し、画像合成の依頼側又は受託側の処理動作は、次の通りである。
【0029】
(1) 通信を確立させて画像処理サーバ6にアクセスし、画像処理サーバ6にあるテンプレートを選択するとともに、画像合成に参加させるユーザのメールアドレスを画像処理サーバ6に通知する。
【0030】
(2) 画像処理サーバ6から送信される画像表示用WebのURLを受信し、その画像表示用Webにアクセスする。
【0031】
(3) 画像表示用Webにアクセスすると、撮影中の画像が画像処理サーバ6に送信され、撮影中の画像が周期的又は連続的に画像処理サーバ6に送信される。
【0032】
(4) 画像表示用Webに表示された合成画像を取得し、その合成画像が意図した画像か否かを確認し、修正すべき場合には、調整指示を発信する。この調整には、撮影条件の変更、画像補正、画像の撮り直し等がある。
【0033】
(5) 陽光の当たり具合等、画像の明るさや被写体の方角等の撮影条件の統一のため、画像処理サーバ6からのフィードバック指示を受信する。また、被写体の大きさ、縮尺等の撮影条件についても、画像処理サーバ6からのフィードバック指示を受信する。
【0034】
(6) 依頼者又は受託者は、合成画像の確認後、キー入力部18に存在する決定キー17に割り当てられたシャッターを押下することにより、合成画像を確定させることができる。
【0035】
(7) 確定させた合成画像は、携帯電話機4のディスプレイ22に表示されるとともに、キー入力部18の決定キー17の押下により、記憶部28に保存される。
【0036】
次に、前記画像処理システム2における画像処理サーバ6について、図4を参照して説明する。図4は、画像処理サーバ6のハード構成例を示すブロック図である。図4において、図1と同一部分には、同一符号を付してある。
【0037】
この画像処理サーバ6は通信機能を備えるコンピュータで構成されており、例えば、制御部34、記憶部36及びネットワーク部38等が備えられている。制御部34は例えば、CPU等で構成され、画像合成に関連する機能として例えば、ネットワーク8等を媒介とする通信機能、撮影により提供される撮影画像の蓄積機能、メールアドレス等のアドレス情報の登録機能、通知や問い合わせをする機能、テンプレート上に画像を合成する機能、画像の提供先に画像や撮影条件の補正情報を通知する機能、既述の画像表示用Webに画像を表示する機能、そのURLの通知機能等を備える。即ち、制御部34は画像合成や合成画像の調整等の画像処理を実行する画像処理部を構成している。
【0038】
記憶部36はROM、RAM等の記憶媒体で構成され、CPU等の制御部34の処理を実行するための画像処理プログラム等、各種制御プログラムが格納されているとともに、テンプレート、画像、画像情報、処理途上の情報、画像提供の受託先であるメールアドレス等、既述の各種情報が格納されている。即ち、記憶部36はアドレス情報を登録する登録部を構成する。各種データのデータベースは、この記憶部36で構成される。この記憶部36は、ROM、RAMの他、着脱可能なROMカード等の外部記録媒体で構成してもよい。また、ネットワーク部38は、既述のネットワーク8と接続され、制御部34による制御によって通信機能を実行し、既述の携帯電話機41〜4Nとの情報の授受を行う。
【0039】
既述の画像合成に関し、画像処理サーバ6側の画像処理は次の通りである。
【0040】
(1) 背景画像として画像合成に用いられるテンプレートが選択される。
【0041】
(2) 画像合成の受託者として例えば、携帯電話機41から通知されたメールアドレスを登録部を構成する記憶部36に登録する。
【0042】
(3) 画像表示用Webを表すURLを依頼者及び受託者に送信する。
【0043】
(4) 開設した画像表示用Webに対し、通知されたメールアドレスに対応する携帯電話機4からのアクセスを許可するとともに、携帯電話機4の撮影中の画像を携帯電話機4から取り込む。この場合、撮影中の画像は周期的又は連続的に取り込む。
【0044】
(5) 受信した各画像をテンプレートに合成し、合成画像を形成する。
【0045】
(6) 画像表示用Webに合成画像を表示し、メールアドレスに対応する携帯電話機4からのアクセスにより、画像修正等の調整依頼を受け付けるとともに、修正された合成画像を表示する。
【0046】
(7) 撮影条件の変更をフィードバック指示として携帯電話機4に通知する。
【0047】
(8) 合成画像の確定指示を受け、確定した合成画像を画像表示用Webに表示する。
【0048】
次に、携帯電話機(依頼者側)画像処理方法について、図5を参照して説明する。図5は、携帯電話機(依頼者)の画像処理プログラムの処理手順を示すフローチャートである。
【0049】
携帯電話機41(図1)のユーザが依頼者となる場合を想定する。この場合、携帯電話機41から画像処理サーバ6に画像合成の処理が要請される。
【0050】
そこで、携帯電話機41と画像処理サーバ6との通信をネットワーク8を通じて確立させ、画像処理サーバ6にアクセスすることにより、画像処理サーバ6上にある数種の背景情報として例えば、テンプレート50(図10)を選択する(ステップS1)。この場合、撮影の受託先のメールアドレスを画像処理サーバ6に通知し、登録する(ステップS2)。このメールアドレスには、依頼者のアドレスを含んでもよい。
【0051】
このメールアドレスに対し、画像処理サーバ6から撮影をすること(画像合成に参加すること)が要請され、問合せ結果が受託者の例えば、携帯電話機42等から依頼者の携帯電話機41に通知される。そこで、問合せ先が撮影することを許容したか否かが確認され(ステップS3)、登録されたメールアドレスの問合せ先の全てが撮影を許容しない場合(拒否した場合)には(ステップS3のNO)、この画像合成の処理を終了する。また、メールアドレスの問合せ先が撮影を許容した場合には(ステップS3のYES)、撮影の受託者(画像提供者)となる。そして、画像処理サーバ6から画像合成を終了することを表す終了信号を受信しているか否かが確認され(ステップS4)、終了信号を受信している場合には(ステップS4のYES)、この画像合成の処理を終了する。また、この終了信号を受信していない場合には(ステップS4のNO)、画像合成の処理が続行されるので、携帯電話機41は、画像処理サーバ6から通知される画像表示用WebのURLを受信し(ステップS5)、これを登録する。
【0052】
そこで、携帯電話機41では、カメラ部20の位置、被写体の位置、明るさ等を調整後、撮影をする(ステップS6)。この撮影によって取得した画像とともに、画像制御情報として、画像の明るさ、合焦距離等の撮影情報を画像処理サーバ6に送信する(ステップS7)。同様に、撮影を許容している携帯電話機42等からの画像及び撮影情報が通知され、テンプレートにこれらの画像を重ね合わす画像合成が行われ、その合成画像が画像表示用Webに表示される。
【0053】
そして、携帯電話機41側では、画像表示用Webに表示された合成画像を許可するか否かを確認し(ステップS8)、その画像を修正する場合には(ステップS8のNO)、ステップS6、S7の処理を再度行い、画像処理サーバ6に、画像表示用Webに表示された画像を修正させる。その画像表示用Webに表示された合成画像を許可する場合には(ステップS8のYES)、画像処理サーバ6に許可信号としてOK信号を送信する(ステップS9)。このOK信号を受信した画像処理サーバ6は、表示している画像を固定する。そこで、画像表示用Webに表示されている画像を携帯電話機41に保存する(ステップS10)。この保存により、画像合成が完了する。そこで、依頼者は携帯電話機41を通じて画像処理サーバ6に既述の終了信号を送信する(ステップS11)。これを受けて画像処理サーバ6側では画像合成処理を終了する。
【0054】
次に、画像処理サーバ6の画像処理方法について、図6を参照して説明する。図6は、画像処理サーバ6の画像処理プログラムの処理手順を示すフローチャートである。
【0055】
画像処理サーバ6では、依頼者からの画像合成の依頼、問合せ先のメールアドレス、テンプレートの選択、画像及び撮影条件等の撮影情報、終了信号等の受信、登録されたメールアドレスに対する問合せ、受託者から画像及び撮影情報、終了信号等の受信、画像合成及びその表示等が行われる。
【0056】
そこで、画像処理サーバ6では、依頼者によってテンプレート50(図10)が選択される(ステップS21)。このテンプレートの選択の後、依頼者から送信された受託先のメールアドレスを受信し、登録する(ステップS22)。依頼者から撮影依頼があったことをメールアドレス先に通知する(ステップS23)。
【0057】
画像処理サーバ6は、撮影依頼の通知に対し、受託者による撮影を許容したか否かを確認する(ステップS24)。撮影が許容された場合には(ステップS24のYES)、受託者及び依頼者から画像とともに、その画像の明るさ、合焦距離等の撮影情報を受信する(ステップS25)。
【0058】
画像処理サーバ6では、依頼者から通知された画像の明るさ、合焦距離等の撮影条件に基づき、受託者からの画像を補正する(ステップS26)。即ち、依頼者及び受託者の画像がテンプレートに嵌め込まれて合成画像が形成され、その合成画像が画像処理サーバ6の画像表示用Webに表示される(ステップS27)。
【0059】
画像表示用Webに表示された合成画像は、依頼者及び受託者によってアクセスされて確認され、それを受けるか否かが依頼者及び受託者によって判断される。依頼者及び受託者がその画像を受け入れた場合には、その画像を固定する指示として許可信号(OK信号)が発せられるので、画像処理サーバ6では、依頼者及び受託者の全員からOK信号を受信したか否かが監視される(ステップS28)。OK信号を受信していない場合には(ステップS28のNO)、OK信号を受信するまでステップS26、S27の処理が繰り返される。この結果、依頼者及び受託者の全員が受け入れる合成画像が形成され、画像表示用Webに表示されることになる。そして、依頼者及び受託者の全員のOK信号を受信した場合には(ステップS28のYES)、同様に全員からの終了信号を受信したか否かが確認され(ステップS29)、全員からの終了信号を受信するまで待機し(ステップS29のNO)、全員からの終了信号を受信した場合には(ステップS29のYES)、この処理を終了する。
【0060】
また、メールアドレス先に撮影依頼をした場合に、受託者の全員が撮影を許容しない場合には(ステップS24のNO)、依頼者及び受託者に終了信号を送信し(ステップS30)、同様に画像合成処理を終了する。
【0061】
次に、携帯電話機(受託者側)の画像処理方法について、図7を参照して説明する。図7は、携帯電話機(受託者)の画像処理プログラムの処理手順を示すフローチャートである。
【0062】
この場合、携帯電話機42〜4Nのユーザが受託者となる場合、説明を容易にするため、携帯電話機42を例に取って説明する。
【0063】
携帯電話機42は、画像処理サーバ6から撮影依頼の通知を受信する(ステップS31)。この撮影依頼の通知を受け、撮影することを許容するか否かを判断し(ステップS32)、撮影を許容する場合には(ステップS32のYES)、画像処理サーバ6に撮影を許容したことを通知する(ステップS33)。この通知の後、画像処理サーバ6から終了信号を受信したか否かを判定し(ステップS34)、終了信号を受信していない場合には(ステップS34のNO)、画像処理サーバ6から画像表示用WebのURLを受信する(ステップS35)。
【0064】
そこで、携帯電話機42では、カメラ部20の位置、被写体の位置、明るさ等の撮影条件を調整後、撮影する(ステップS36)。この撮影によって取得した画像とともに、その画像の明るさ、合焦距離等の撮影条件を表す撮影情報を画像処理サーバ6に送信する(ステップS37)。
【0065】
既述の通り、画像処理サーバ6では、携帯電話機42からの画像とともに撮影情報が通知され、同様に、携帯電話機41、撮影を許容している携帯電話機43等からの画像及び情報が通知され、テンプレートにこれらの画像を重ね合わす画像合成が行われ、その合成画像が画像表示用Webに表示される。画像調整の処理は既述の通りである。
【0066】
携帯電話機42では、画像表示用Webに表示された合成画像の良否を確認し(ステップS38)、合成画像を修正する場合には(ステップS38のNO)、ステップS36、S37の処理を繰り返して合成画像を画像処理サーバ6に修正させる。そして、合成画像を許可する場合には(ステップS38のYES)、携帯電話機42から画像処理サーバ6に画像固定指示としてのOK信号を送信する(ステップS39)。このOK信号は携帯電話機42のキー入力部18の例えば、決定キー17の押下により発せられ、画像処理サーバ6に通知される。
【0067】
画像表示用Webに表示された合成画像は、保存操作により携帯電話機42に保存される(ステップS40)。この画像保存は受託者の任意であるが、画像処理を終了する場合、携帯電話機42から画像処理サーバ6に終了信号を送信し(ステップS41)、この画像処理を終了する。
【0068】
また、撮影を許容しない場合には(ステップS32のNO)、携帯電話機42から画像処理サーバ6に撮影拒否が通知され(ステップS42)、同様にこの画像処理を終了する。
【0069】
次に、画像処理方法について、図8を参照して説明する。図8は、画像処理サーバ及び各携帯電話機の画像合成の処理シーケンスを示す図である。図8において、図1と対応する部分には同一符号を付してある。
【0070】
この処理シーケンスでは、携帯電話機41を依頼者、携帯電話機42〜4Nを受託者として説明する。
【0071】
この場合、携帯電話機41から画像処理サーバ6に対し、テンプレート選択(ステップS101)、受託者メールアドレスの通知(ステップS102)が行われ、メールアドレスの通知を受けた画像処理サーバ6から携帯電話機42〜4Nに対し、撮影依頼(ステップS103)をする。撮影依頼を許容した携帯電話機42〜4Nの全部又はいずれかから画像処理サーバ6に対し、撮影受託(ステップS104)の通知が発せられる。この通知を受け、画像処理サーバ6から携帯電話機41に対し、撮影受託のあった旨の通知とともに、画像表示用WebのURL通知(ステップS105)、同様に、携帯電話機42〜4Nに対し、画像表示用WebのURL通知(ステップS106)が発せられる。
【0072】
携帯電話機41では、撮影(ステップS107)が行われ、画像、その画像の明るさ情報、合焦距離等の撮影情報が画像処理サーバ6に送信される(ステップS108、S109、S110)。また、受託者側の携帯電話機42〜4Nでも、撮影(ステップS111)が行われ、画像、その画像の明るさ情報、合焦距離等の撮影情報が画像処理サーバ6に送信される(ステップS112、S113、S114)。
【0073】
このような画像や撮影情報を受けた画像処理サーバ6では、画像補正及び画像合成(ステップS115)が行われ、合成画像が画像表示用Webに表示される(ステップS116)。この表示画像は、携帯電話機41、携帯電話機42〜4Nで確認することができる。そこで、携帯電話機41では、画像表示用Webに表示された合成画像が良いか否かの判断が行われ(ステップS117)、同様に、携帯電話機42〜4Nでも、その判断が行われ(ステップS118)、その画像に修正が必要な場合には携帯電話機41〜4N、画像処理サーバ6で画像修正を行い、また、その画像に修正が不要な場合には、携帯電話機41からOK信号が画像処理サーバ6に通知され(ステップS119)、同様に、携帯電話機42〜4NからOK信号が画像処理サーバ6に通知される(ステップS120)。
【0074】
携帯電話機41、携帯電話機42〜4Nでは、画像保存(ステップS121、S122)が行われ、それぞれ終了信号が画像処理サーバ6に対して発せられる(ステップS123、S124)。画像処理サーバ6では、全員からのOK信号の受信を監視し(ステップS125)、OK信号を受信した後、終了信号の受信を監視し(ステップS126)、終了信号の受信により、画像合成処理を終了する。
【0075】
次に、画像処理サーバの画像補正について、図9を参照して説明する。図9は、画像補正の処理シーケンスを示す図である。
【0076】
この場合、依頼者の携帯電話機41からの情報が基準であり、受託者の携帯電話機42〜4Nからの情報が非基準となっている。携帯電話機41の撮影(ステップS201)、携帯電話機42〜4Nの撮影(ステップS202)が行われ、携帯電話機41から画像処理サーバ6に対し、画像を表す画像データA、撮影情報としての明るさ情報A、合焦距離Aが送信され(ステップS203、S204、S205)、同様に、携帯電話機42〜4Nから画像処理サーバ6に対し、画像を表す画像データB、撮影情報としての明るさ情報B、合焦距離Bが送信される(ステップS206、S207、S208)。
【0077】
画像処理装置としての画像処理サーバ6では、明るさ情報A、Bにより、画像データBの明るさを調整し(ステップS209)、合焦距離A、Bにより、画像データBの縮尺を補正し(ステップS210)、テンプレートの大きさに画像データA、Bの縮尺を補正し(ステップS211)、テンプレートの決められた位置に補正済みの画像データA、Bを配置し(ステップS212)、合成画像を画像表示用Webに表示する(ステップS213)。
【0078】
次に、画像合成について、図10、図11、図12及び図13を参照して説明する。図10は、画像合成例を示す図、図11、図12及び図13は、他の画像合成例を示す図である。
【0079】
画像合成では、携帯電話機41(依頼者)と画像処理サーバ6との通信により、図10の(A)に示すように、テンプレート50が選択され、携帯電話機41から撮影中の画像51とともに、合焦距離、明るさ等の撮影情報が画像処理サーバ6に通知される。同様に、受託者はそれぞれの携帯電話機42、43と画像処理サーバ6との通信により、携帯電話機42から撮影中の画像52、携帯電話機43から撮影中の画像53とともに、合焦距離、明るさ等の撮影情報が画像処理サーバ6に通知される。
【0080】
画像処理サーバ6では、図10の(B)に示すように、例えば、画像51に付随する撮影情報を基準に画像52、53の縮尺が行われるとともに、テンプレート50の大きさに対応して画像51〜53の縮尺補正が行われ、図10の(C)に示すように、決められた位置に各画像51〜53の配置が修正された後、図10の(D)に示すように、テンプレート50上に各画像51、52、53が合成され、合成画像55が得られる。この合成画像55は既述の画像表示用Web即ち、画像処理サーバ6及び合成画像のネットワーク8上の存在位置を表すURLに表示される。この合成画像55は、画像合成に参加している携帯電話機41、42、43からのアクセスにより確認される。
【0081】
ところで、縮尺補正等の画像調整は、携帯電話機41、42、43と画像処理サーバ6との通信により、合成画像55を確認し、携帯電話機42、43側で行ってもよく、携帯電話機42、43から再送させてもよい。即ち、依頼者の画像51を基準に受託者側の画像52、53を補正させ、あるいは、撮り直し画像の送信を要請し、例えば、合焦距離を補正する。この場合、画像処理サーバ6では画像の拡大又は縮小させて大きさの整合性を取るようにしてもよい。
【0082】
同様に、この合成画像55は、既述の画像表示用Web即ち、画像処理サーバ6及び合成画像のネットワーク8上の存在位置を表すURLに展開され、その画像確認に基づき、依頼者又は受託者がその合成画像55を了承した場合には、その旨の通知により、合成画像55を固定し、登録する。そして、その合成画像55は、URLから各携帯電話機41、42、43に取り込むことが可能である。
【0083】
このように撮影中の画像51〜53を補正して合成できるので、画像合成に参加したユーザは意図した合成画像、統一性のある合成画像55が得られる等、個別の画像を超える演出や表現等が可能である。合成画像55には、実画像である画像51〜53とは異なるものの、実画像に近い画像が得られる。この場合、合焦距離を補正する場合を説明したが、明るさや画像上の人物像のみの抽出等のトリミング制御を実行するようにしてもよい。また、基準画像は、依頼者側に固定されることはなく、受託者側の画像であってもよいことは勿論である。
【0084】
また、図11の(A)に示すように、画像処理サーバ6では、テンプレート60が選択されるとともに、携帯電話機41から画像61が送信され、例えば、携帯電話機42から画像62、携帯電話機43から画像63が送信された場合には、画像合成及びその補正処理では、図11の(B)に示すように、画像61を基準にして他の画像62、63の明るさの調整が行われた後、図11の(C)に示すように、テンプレート60に合致するように画像61、62、63の縮尺補正が行われる。そして、図11の(D)に示すように、テンプレート60の決められた位置に補正済みの画像61、62、63が配置され、図11の(E)に示すように、テンプレート60に補正後の画像61、62、63が合成され、合成画像65が得られる。この結果、この合成画像65は、テンプレート60に合致し、統一性のある画像になる。そして、この合成画像65が画像表示用Webに表示される。
【0085】
また、図12の(A)に示すように、画像処理サーバ6では、テンプレート70が選択されるとともに、携帯電話機41から画像71が送信され、例えば、携帯電話機42から画像72が送信された場合には、画像合成及びその補正処理では、図12の(B)に示すように、テンプレート70に合致するように画像71、72の縮尺補正が行われた後、図12の(C)に示すように、テンプレート70に補正後の画像71、72が所定位置に配置されて合成され、合成画像75が得られる。この合成画像75は、テンプレート70に合致し、統一性のある画像となっている。この合成画像75が画像表示用Webに表示される。
【0086】
また、テンプレートには、種々の形態のものを用いることができる。この場合、図13の(A)に示すように、4分割表示のテンプレート80が選択され、携帯電話機41から画像81が送信され、例えば、携帯電話機42から画像82、携帯電話機43から画像83、携帯電話機44から画像84が送信された場合には、画像合成及びその補正処理では、図13の(B)に示すように、テンプレート80に合致するように画像81、82、83、84の縮尺補正とともに、決められた位置に各画像81〜84が配置された後、これらの画像81〜84がテンプレート80に合成され、図13の(C)に示すように、合成画像85が得られる。この合成画像85は、テンプレート80に合致し、統一性のある画像となっている。この合成画像85が画像表示用Webに表示される。
【0087】
次に、携帯電話機側のディスプレイ表示について、図14〜図17を参照して説明する。図14は、画像合成の依頼時のディスプレイ表示を示す図、図15は、画像合成の参加を呼びかけるディスプレイ表示を示す図、図16は、URLの通知時のディスプレイ表示を示す図、図17は、合成画像の修正確認時のディスプレイ表示を示す図である。
【0088】
画像合成の依頼を例えば、携帯電話機41から画像処理サーバ6に発する場合、ディスプレイ22には、画像合成の依頼メッセージ及び入力又は電話帳から検索されたメールアドレスが表示される。その表示は、図14に示すように、
「画像合成を依頼します。
次のメールアドレスに問合せをお願いします。
1.XXXXXXXXne.jp
2.XXXXXXXXne.jp
3.XXXXXXXXne.jp
・
・
・ 」
が表示され、これが画像処理サーバ6に通知される。
【0089】
この問合せに対し、受託者側の例えば、携帯電話機42には、依頼者名の通知とともに、画像処理サーバ6から画像合成の参加の問合せが発せられ、そのディスプレイ22には、図15に示すように、
「○○様から画像合成に用いる画像の撮影の依頼がありました。
1.許容する
2.許容しない 」
が表示される。「許容する」を選択すれば、これを契機に画像合成の処理が開始されることになる。
【0090】
そして、画像合成が開始されると、依頼者及び受託者には、画像合成の開始通知とともに、画像表示用WebのURLの通知が発せられる。即ち、携帯電話機41、42のディスプレイ22には、図16に示すように、
「画像合成を開始します。
下記の画像表示用WebのURLにアクセスして下さい。
http://・・・・・ne.jp/・・・/・・・/ 」
が表示される。
【0091】
また、画像合成の結果、合成画像の確認が可能になった時点から所定時間が経過した後、画像処理サーバ6から合成画像の修正についての問合せが発せられる。この場合、携帯電話機41、42のディスプレイ22には、図17に示すように、
「画像合成用Webに表示された画像を修正しますか?
1.修正する
2.修正しない 」
が表示される。画像を修正する場合には「修正する」を選択し、画像を修正しない場合には「修正しない」を選択する。画像を修正しない場合には、決定キー17に割り当てられたシャッターを押下することにより、合成画像が撮影され、記憶部28に取り込まれる。この場合、決定キー17と別にシャッターキーを設け、それを押下してもよい。
【0092】
以上の通り、ディスプレイ表示に従って画像合成の処理を手順通りに実行することができ、容易に所望の合成画像を形成し、取り込むことができる。
【0093】
以上述べた第1の実施の形態について、斯かる画像処理では、画像処理サーバ6上で複数の携帯電話機41〜4Nで撮影された画像を合成するため、ユーザにとって合成処理作業が簡略化される。また、画像確定する前(即ち、撮影前)に合成画像55、65、75、85が依頼者又は受託者の携帯電話機41〜4Nに表示されるので、撮影対象や画像を容易に調整することができ、なおかつユーザが満足する画像を撮影することができる。
【0094】
このような処理結果について、より詳細に述べれば、各携帯電話機41〜4Nから送られてくるリアルタイム画像を画像処理サーバ6上で合成し、その合成画像を各携帯電話機41〜4Nに配信する。各携帯電話機41〜4Nのユーザは、合成画像を確認後、それを保存する。また、画像合成において、明るさや方角等(例えば、陽光の当たり具合)の統一化のために、画像処理サーバ6から各携帯電話機41〜4Nに情報のフィードバックを行い、これを用いて画像修正をすれば、合成画像のために集合させた画像全体に統一感が得られる。また、被写体の大きさを実際の縮尺にするため、同様に、画像処理サーバ6から情報のフィードバックを行う。これらにより、現実の撮影画像と同等の合成写真が得られる。画像処理サーバ6からのフィードバック処理は、画像処理サーバ6側に一定の情報として演出情報例えば、太陽が撮影画像の右手から当たっている等の情報や、被写体の身長の情報等を与えることにより、これらを参照して画像補正をする構成としてもよい。以上により、各携帯電話機41〜4Nから送られる画像を画像処理サーバ6を中継基地として画像修正を行うので、各ユーザの要望を取り入れることができ、その要望に沿った画像修正が容易にでき、より現実に近い合成画像が得られる。
【0095】
第1の実施の形態について、画像処理の利点を列挙すれば、次の通りである。
【0096】
(1) 提供された複数の画像から合成画像を得ることができ、得るべき合成画像に応じて提供画像を補正するので、合成画像の最適化を図ることができる。
【0097】
(2) 合成画像に応じて画像提供側に画像制御情報を付与することにより、提供画像の合焦距離、画像明度、色彩等を制御するので、各画像に協調性が得られ、統一性のある合成画像を得られる。
【0098】
〔第2の実施の形態〕
【0099】
次に、第2の実施の形態に係る画像処理方法について、図18を参照して説明する。図18は、合成画像の明るさ調整の処理シーケンスを示す図である。図18において、図1と対応する部分には同一符号を付してある。
【0100】
この実施の形態にあっては、図1に示す画像処理システム、図2及び図3に示す携帯電話機、図4に示す画像処理サーバ等を使用するとともに、携帯電話機41からの画像を基準にし、他の携帯電話機42(〜4N)側の画像の明るさを調整することにより、合成画像の明るさの統一性を実現している。
【0101】
携帯電話機41の撮影(ステップS301)、携帯電話機42の撮影(ステップS302)により、携帯電話機41から画像データAとともに、明るさ情報A及び合焦距離Aが基準データとして画像処理サーバ6に送信され(ステップS303、S304、S305)、携帯電話機42から画像データBとともに、明るさ情報B及び合焦距離Bが画像処理サーバ6に送信される(ステップS306、S307、S308)。
【0102】
画像処理サーバ6では、画像データ合成が行われ(ステップS309)、その合成画像を表す画像データが画像表示用Webに表示される(ステップS310)。この合成画像は、携帯電話機41、42のアクセスにより閲覧が可能であり、合成画像を修正する場合には、画像処理サーバ6から基準データである明るさ情報A、合焦距離Aが携帯電話機42に送信される(ステップS311)。携帯電話機42側では、画像調整処理として明るさ調整が実行され(ステップS312)、この明るさ調整処理では、基準となる明るさ情報Aと前回撮影時の明るさ情報Bとの差分を計算し、次回撮影時の明るさを調整する。この明るさ調整の後、ディスプレイ22には明るさが調整されたことが表示される(ステップS313)。この明るさを確認した後、ステップS302に戻り、シャッターキーを押下することにより、撮影が行われる。
【0103】
〔第3の実施の形態〕
【0104】
次に、第3の実施の形態に係る画像処理方法について、図19を参照して説明する。図19は、合成画像の合焦距離の処理シーケンスを示す図である。図19において、図1と対応する部分には同一符号を付してある。
【0105】
この実施の形態にあっては、図1に示す画像処理システム、図2及び図3に示す携帯電話機、図4に示す画像処理サーバ等を使用するとともに、携帯電話機41からの合焦距離を基準にし、他の携帯電話機42(〜4N)側の合焦距離を調整することにより、合成画像の統一性を実現している。
【0106】
携帯電話機41の撮影(ステップS401)、携帯電話機42の撮影(ステップS402)により、携帯電話機41から画像データAとともに、明るさ情報A及び合焦距離Aが基準データとして画像処理サーバ6に送信され(ステップS403、S404、S405)、携帯電話機42から画像データBとともに、明るさ情報B及び合焦距離Bが画像処理サーバ6に送信される(ステップS406、S407、S408)。
【0107】
画像処理サーバ6では、画像データ合成が行われ(ステップS409)、その合成画像を表す画像データが画像表示用Webに表示される(ステップS410)。この合成画像は、携帯電話機41、42のアクセスにより閲覧が可能であり、合成画像を修正する場合には、画像処理サーバ6から基準データである明るさ情報A、合焦距離Aが携帯電話機42に送信される(ステップS411)。携帯電話機42側では、画像調整処理として合焦距離の調整処理(ステップS412〜S416)が行われる。
【0108】
この合焦距離の調整処理では、基準となる合焦距離Aと前回撮影時の合焦距離Bとの差分が演算されてディスプレイ22に表示され(ステップS412)、ディスプレイ22に表示された距離差分に基づいて撮影者であるユーザが移動し(ステップS413)、被写体との距離を変更する。そして、画像から移動後の合焦距離が算出され(ステップS414)、基準の合焦距離Aと移動後の合焦距離が等しいか否かが判定され(ステップS415)、合焦距離が等しい場合には、インジケータ24を点灯させ(ステップS416)、また、合焦距離が合致したことを告知する。
【0109】
合焦距離が合致しない場合には、基準となる合焦距離Aと移動後の合焦距離との差分がディスプレイ22に表示され(ステップS417)、ステップS413に移行し、携帯電話機42による撮影者が移動する。このような処理及び動作を合焦距離が合致するまで繰り返し、インジケータ24が点灯(ステップS416)した位置でシャッターキーを押下することにより、最適な合焦位置で撮影が行われる(ステップS402)。この画像及び撮影情報が画像処理サーバ6に送信される。
【0110】
〔第4の実施の形態〕
【0111】
本発明の第4の実施の形態に係る画像処理システムについて、図20を参照して説明する。図20は、他の画像処理システムを示す図である。
【0112】
この画像処理システム2では、画像合成に用いる画像を提供する通信端末装置として例えば、パーソナルコンピュータ(PC)91、携帯電話機92、携帯情報端末機(PDA:Personal Digital Assistant)93、ディジタルカメラ94等が用いられている。PC91、携帯電話機92及びPDA93は通信機能とともに撮影機能を備え、また、ディジタルカメラ94は通信機能を備えている。
【0113】
斯かる構成によっても、第1〜第3の実施の形態で説明した通り、通信端末装置からの画像合成の呼びかけに対し、登録されたアドレス先の通信端末装置に画像処理サーバ6から撮影の問合せを行い、選択されたテンプレートに複数の画像を合成させ、その合成画像の各種の調整を行うことが可能である。よって、画像の受託先は、通信機能及び画像提供機能を備えていればよく、携帯電話機に限定されるものではない。
【0114】
〔他の実施の形態〕
【0115】
(1) 上記実施の形態では、画像を修正するための情報として、明るさ、合焦距離を画像制御情報に用いたが、色の濃さ、画像サイズ、ズーム情報、画質等を画像制御情報に用いてもよい。
【0116】
(2) 上記実施の形態では、携帯電話機41を基準にし、他の携帯電話機42〜4Nを非基準に設定することにより、画像調整を行っているが、基準とすべき通信端末装置は、携帯電話機41以外のものを設定してもよい。
【0117】
(3) 上記実施の形態では、撮影中の画像を取り込んで合成画像を形成しているが、撮影後の画像や撮影以外の画像を用いて合成画像を形成する構成としてもよい。
【0118】
(4) 上記実施の形態では、通信端末装置と画像処理サーバ6とをネットワーク8で連携させているが、ネットワーク8は、公衆回線網以外のプライベートなネットワークでもよく、有線、無線のいずれであってもよい。通信媒体には、Bluetooth 規格の電波を用いてもよい。
【0119】
次に、以上述べた本発明の画像処理システム、画像処理方法、画像処理プログラム、画像処理装置及び通信端末装置の上記実施の形態から抽出される技術的思想を請求項の記載形式に準じて付記として列挙する。本発明に係る技術的思想は上位概念から下位概念まで、様々なレベルやバリエーションにより把握できるものであり、以下の付記に本発明が限定されるものではない。
【0120】
(付記1) 画像を合成する画像処理システムであって、
画像合成の依頼を発し、かつ画像提供の受託先のアドレス情報を通知する第1の通信端末装置と、
前記画像提供の委託を受けて画像を送信する第2の通信端末装置と、
前記第1の通信端末装置から画像合成の依頼を受けるとともに、通知された前記アドレス情報を登録し、前記アドレス情報を用いて前記第2の通信端末装置に画像提供の問合せを送信し、前記通信端末装置から送信された画像及び画像制御情報を受信し、前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整する画像処理サーバと、
を備えることを特徴とする画像処理システム。
【0121】
(付記2) 付記1の画像処理システムにおいて、
前記画像処理サーバに提供される前記画像は、撮影中の画像であることを特徴とする画像処理システム。
【0122】
(付記3) 付記1の画像処理システムにおいて、
前記画像処理サーバは、前記第1の通信端末装置又は前記第2の通信端末装置からアクセス可能な画像表示エリアに合成画像を表示することを特徴とする画像処理システム。
【0123】
(付記4) 付記1の画像処理システムにおいて、
前記第1の通信端末装置又は前記第2の通信端末装置から画像が周期的又は連続的に前記画像処理サーバに送信され、又は、前記第1の通信端末装置又は前記第2の通信端末装置から送信される画像を前記画像処理サーバが周期的又は連続的に受信することを特徴とする画像処理システム。
【0124】
(付記5) 付記1の画像処理システムにおいて、
前記画像処理サーバは、前記第1の通信端末装置又は前記第2の通信端末装置からアクセス可能な画像表示エリアを提供し、画像表示エリアにある共通の背景画像に対応し、前記通信端末装置が被写体の撮影を可能にしたことを特徴とする画像処理システム。
【0125】
(付記6) 付記1の画像処理システムにおいて、
前記画像処理サーバは、前記第1の通信端末装置又は前記第2の通信端末装置から送信された複数の画像のいずれかが有する画像情報を基準に他の画像を調整する画像制御情報を前記第1の通信端末装置又は前記第2の通信端末装置に送信して前記画像を調整させることを特徴とする画像処理システム。
【0126】
(付記7) 付記1の画像処理システムにおいて、
前記画像処理サーバは、前記第1の通信端末装置又は前記第2の通信端末装置から送信された画像制御情報により画像合成に用いる前記画像を調整することを特徴とする画像処理システム。
【0127】
(付記8) 付記1の画像処理システムにおいて、
前記画像処理サーバは、前記第1の通信端末装置又は前記第2の通信端末装置から送信された画像制御情報により、前記第1の通信端末装置又は前記第2の通信端末装置から提供された画像を基準に他の画像を調整することを特徴とする画像処理システム。
【0128】
(付記9) 付記1の画像処理システムにおいて、
前記第1の通信端末装置又は前記第2の通信端末装置は、前記画像処理サーバから送信された前記画像制御情報に基づいて画像を調整し、その画像を前記画像処理サーバに送信することを特徴とする画像処理システム。
【0129】
(付記10) 画像を合成する画像処理方法であって、
第1の通信端末装置から画像合成の依頼を受け、画像提供の受託先のアドレス情報を登録する処理と、
前記アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信する処理と、
前記通信端末装置から送信された画像及び画像制御情報を受信する処理と、
受信した前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整する処理と、
を含むことを特徴とする画像処理方法。
【0130】
(付記11) コンピュータに複数の画像を合成させるための画像処理プログラムであって、
第1の通信端末装置から画像合成の依頼を受け、画像提供の受託先のアドレス情報を登録するステップと、
前記アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信するステップと、
前記通信端末装置から送信された画像及び画像制御情報を受信するステップと、
受信した前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整するステップと、
を含むことを特徴とする画像処理プログラム。
【0131】
(付記12) 画像を合成する画像処理装置であって、
画像合成の依頼を発し、かつ、画像提供の受託先を指定する第1の通信端末装置、又は前記画像提供の委託を受けて画像を送信する第2の通信端末装置と通信する通信部と、
前記第1の通信端末装置から通知されたアドレス情報を登録する登録部と、
前記第1の通信端末装置から画像合成の依頼を受け、前記登録部に登録された前記アドレス情報を用いて画像提供の問合せを前記通信部より送信させ、前記通信端末装置から提供された画像を用いて合成画像を作成するとともに、前記通信端末装置から提供された画像制御情報に基づき前記合成画像を調整する処理部と、
を備えることを特徴とする画像処理装置。
【0132】
(付記13) 画像合成に用いる画像を提供する通信端末装置であって、
前記画像合成に用いる画像を取得する画像取得部と、
画像を合成する画像処理サーバに対し、前記画像合成に必要な画像提供を受ける受託先である通信端末装置のアドレス情報を通知するとともに、前記画像取得部で取得した前記画像及び画像制御情報を送信する通信部と、
を備えることを特徴とする通信端末装置。
【0133】
(付記14) 付記13の通信端末装置において、
前記画像処理サーバから提供された画像制御情報を用いて前記画像を調整する画像処理部を備え、調整された画像を前記通信部により前記画像処理サーバに送信することを特徴とする通信端末装置。
【0134】
(付記15) 付記13の通信端末装置において、
前記画像処理サーバから提供された画像制御情報により画像を調整し、その画像が画像制御情報に合致した際にそれを表示する表示部を備えたことを特徴とする通信端末装置。
【0135】
(付記16) 画像合成に用いる画像を撮影する撮影部と、
画像合成をする画像処理サーバと通信し、前記画像合成に必要な画像提供の問合せを受け、その可否を表す情報を前記画像処理サーバに通知するとともに、画像提供を許容する場合には前記撮影部で撮影された前記画像を前記画像処理サーバに送信する通信部と、
を備えたことを特徴とする通信端末装置。
【0136】
(付記17) 付記16の通信端末装置において、
前記画像処理サーバから提供された画像制御情報を用いて前記画像を調整する画像処理部を備え、調整された画像を前記通信部により前記画像処理サーバに送信することを特徴とする通信端末装置。
【0137】
以上説明したように、本発明の最も好ましい実施の形態等について説明したが、本発明は、上記記載に限定されるものではなく、特許請求の範囲に記載され、又は明細書に開示された発明の要旨に基づき、当業者において様々な変形や変更が可能であることは勿論であり、斯かる変形や変更が、本発明の範囲に含まれることは言うまでもない。
【産業上の利用可能性】
【0138】
本発明によれば、撮影機能を有する通信端末装置から提供される複数の画像や、画像処理サーバにある背景画像等のテンプレートを用いて合成画像をリアルタイムで作成できるとともに、画像制御情報を用いて合成画像の修正を可能にしており、画像合成の依頼者及び画像提供の受託者の双方が満足する統一性の高い合成画像を得ることができる。
【図面の簡単な説明】
【0139】
【図1】画像処理システムの一例を示す図である。
【図2】携帯電話機の外観形態例を示す図である。
【図3】携帯電話機のハード構成例を示すブロック図である。
【図4】画像処理サーバのハード構成例を示すブロック図である。
【図5】携帯電話機(依頼者)の画像処理プログラムの処理手順を示すフローチャートである。
【図6】画像処理サーバの画像処理プログラムの処理手順を示すフローチャートである。
【図7】携帯電話機(受託者)の画像処理プログラムの処理手順を示すフローチャートである。
【図8】画像処理サーバ及び各携帯電話機の画像合成の処理シーケンスを示す図である。
【図9】画像補正の処理シーケンスを示す図である。
【図10】画像処理及び画像合成例を示す図である。
【図11】他の画像処理及び画像合成例を示す図である。
【図12】他の画像処理及び画像合成例を示す図である。
【図13】他の画像処理及び画像合成例を示す図である。
【図14】画像合成の依頼時のディスプレイ表示を示す図である。
【図15】画像合成の参加を呼びかけるディスプレイ表示を示す図である。
【図16】URLの通知時のディスプレイ表示を示す図である。
【図17】合成画像の修正確認時のディスプレイ表示を示す図である。
【図18】第2の実施の形態に係る画像処理方法の処理シーケンスを示す図である。
【図19】第3の実施の形態に係る画像処理方法の処理シーケンスを示す図である。
【図20】第4の実施の形態に係る画像処理システムを示す図である。
【符号の説明】
【0140】
2 画像処理システム
41、42〜4N 携帯電話機(通信端末装置)
6 画像処理サーバ(画像処理装置)
20 カメラ部(画像取得部)
30 無線部(通信部)
34 制御部
36 記憶部(登録部)
38 ネットワーク部
【特許請求の範囲】
【請求項1】
画像を合成する画像処理システムであって、
画像合成の依頼を発し、かつ画像提供の受託先のアドレス情報を通知する第1の通信端末装置と、
前記画像提供の委託を受けて画像を送信する第2の通信端末装置と、
前記第1の通信端末装置から画像合成の依頼を受けるとともに、通知された前記アドレス情報を登録し、前記アドレス情報を用いて前記第2の通信端末装置に画像提供の問合せを送信し、前記通信端末装置から送信された画像及び画像制御情報を受信し、前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整する画像処理サーバと、
を備えることを特徴とする画像処理システム。
【請求項2】
画像を合成する画像処理方法であって、
第1の通信端末装置から画像合成の依頼を受け、画像提供の受託先のアドレス情報を登録する処理と、
前記アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信する処理と、
前記通信端末装置から送信された画像及び画像制御情報を受信する処理と、
受信した前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整する処理と、
を含むことを特徴とする画像処理方法。
【請求項3】
コンピュータに複数の画像を合成させるための画像処理プログラムであって、
第1の通信端末装置から画像合成の依頼を受け、画像提供の受託先のアドレス情報を登録するステップと、
前記アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信するステップと、
前記通信端末装置から送信された画像及び画像制御情報を受信するステップと、
受信した前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整するステップと、
を含むことを特徴とする画像処理プログラム。
【請求項4】
画像を合成する画像処理装置であって、
画像合成の依頼を発し、かつ、画像提供の受託先を指定する第1の通信端末装置、又は前記画像提供の委託を受けて画像を送信する第2の通信端末装置と通信する通信部と、
前記第1の通信端末装置から通知されたアドレス情報を登録する登録部と、
前記第1の通信端末装置から画像合成の依頼を受け、前記登録部に登録された前記アドレス情報を用いて画像提供の問合せを前記通信部より送信させ、前記通信端末装置から提供された画像を用いて合成画像を作成するとともに、前記通信端末装置から提供された画像制御情報に基づき前記合成画像を調整する処理部と、
を備えることを特徴とする画像処理装置。
【請求項5】
画像合成に用いる画像を提供する通信端末装置であって、
前記画像合成に用いる画像を取得する画像取得部と、
画像を合成する画像処理サーバに対し、前記画像合成に必要な画像提供を受ける受託先である通信端末装置のアドレス情報を通知するとともに、前記画像取得部で取得した前記画像及び画像制御情報を送信する通信部と、
を備えることを特徴とする通信端末装置。
【請求項1】
画像を合成する画像処理システムであって、
画像合成の依頼を発し、かつ画像提供の受託先のアドレス情報を通知する第1の通信端末装置と、
前記画像提供の委託を受けて画像を送信する第2の通信端末装置と、
前記第1の通信端末装置から画像合成の依頼を受けるとともに、通知された前記アドレス情報を登録し、前記アドレス情報を用いて前記第2の通信端末装置に画像提供の問合せを送信し、前記通信端末装置から送信された画像及び画像制御情報を受信し、前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整する画像処理サーバと、
を備えることを特徴とする画像処理システム。
【請求項2】
画像を合成する画像処理方法であって、
第1の通信端末装置から画像合成の依頼を受け、画像提供の受託先のアドレス情報を登録する処理と、
前記アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信する処理と、
前記通信端末装置から送信された画像及び画像制御情報を受信する処理と、
受信した前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整する処理と、
を含むことを特徴とする画像処理方法。
【請求項3】
コンピュータに複数の画像を合成させるための画像処理プログラムであって、
第1の通信端末装置から画像合成の依頼を受け、画像提供の受託先のアドレス情報を登録するステップと、
前記アドレス情報を用いて第2の通信端末装置に画像提供の問合せを送信するステップと、
前記通信端末装置から送信された画像及び画像制御情報を受信するステップと、
受信した前記画像を用いて合成画像を作成するとともに、前記画像制御情報に基づき前記合成画像を調整するステップと、
を含むことを特徴とする画像処理プログラム。
【請求項4】
画像を合成する画像処理装置であって、
画像合成の依頼を発し、かつ、画像提供の受託先を指定する第1の通信端末装置、又は前記画像提供の委託を受けて画像を送信する第2の通信端末装置と通信する通信部と、
前記第1の通信端末装置から通知されたアドレス情報を登録する登録部と、
前記第1の通信端末装置から画像合成の依頼を受け、前記登録部に登録された前記アドレス情報を用いて画像提供の問合せを前記通信部より送信させ、前記通信端末装置から提供された画像を用いて合成画像を作成するとともに、前記通信端末装置から提供された画像制御情報に基づき前記合成画像を調整する処理部と、
を備えることを特徴とする画像処理装置。
【請求項5】
画像合成に用いる画像を提供する通信端末装置であって、
前記画像合成に用いる画像を取得する画像取得部と、
画像を合成する画像処理サーバに対し、前記画像合成に必要な画像提供を受ける受託先である通信端末装置のアドレス情報を通知するとともに、前記画像取得部で取得した前記画像及び画像制御情報を送信する通信部と、
を備えることを特徴とする通信端末装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2007−181077(P2007−181077A)
【公開日】平成19年7月12日(2007.7.12)
【国際特許分類】
【出願番号】特願2005−379368(P2005−379368)
【出願日】平成17年12月28日(2005.12.28)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
【公開日】平成19年7月12日(2007.7.12)
【国際特許分類】
【出願日】平成17年12月28日(2005.12.28)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
[ Back to top ]