説明

合成画像撮影システム及び合成画像撮影方法

【課題】カメラ付き携帯電話機やデジタルカメラなど、デジタル画像を撮影する装置において、撮影場所にちなんだ付加的なコンテンツを入手可能とし、各地域で提供されるサービスの多様化を図る。
【解決手段】撮像部102により画像を撮影し、撮影時における自機の位置を示す位置情報を取得し、予め位置情報に地域画像データを関連付けて蓄積した地域画像配信サーバー3から、位置情報取得部103が記録した撮影時の位置情報に基づいて、位置情報に関連付けられた地域画像データを選択し、撮像部102が撮像した基本画像に対して、画像取得部104が取得した地域画像データを合成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ付き携帯電話機やデジタルカメラなど、デジタル画像を撮影する合成画像撮影システム及び合成画像撮影方法に関する。
【背景技術】
【0002】
近年、デジタル技術の発達により、カメラ付き携帯電話機やデジタルカメラなど、デジタル画像を撮影する装置が発達し、小型化により携帯性が高められるとともに、機能の多様化も進んでいる。
【0003】
このような機能の一つとして、撮影した画像中に、文字や絵などを書き込めたり、フレーム等の枠画像を追加したりする機能があり、撮影された人物の顔部分を認識することによって、その顔部分にフレームやテンプレートを一致させて合成する技術も開発されている(例えば、特許文献1)。
【特許文献1】特開2006−113741号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、デジタルカメラなどの利用者としては、携帯性が増し、いろいろな場所で簡単に撮影が可能となったことから、その撮影場所にちなんだフレームやテンプレートなどを合成したいという要望がある一方で、各地域の名所や名物、キャラクターなどの各地域独自のコンテンツをその地域限定で配信することによって、各地における地域興しのきっかけとなることが期待される。
【0005】
そこで、本発明は、上記のような問題を解決するものであり、カメラ付き携帯電話機やデジタルカメラなど、デジタル画像を撮影する装置において、撮影場所にちなんだ付加的なコンテンツを入手可能とし、各地域で提供されるサービスの多様化を図ることのできる合成画像撮影システム及び合成画像撮影方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明は、画像を撮影する撮像部と、撮影時における自機の位置を示す位置情報を取得し、記録する位置情報取得部と、位置情報に地域画像データを関連付けて蓄積する地域画像蓄積部と、位置情報取得部が記録した撮影時の位置情報に基づいて、地域画像蓄積部から、位置情報に関連付けられた地域画像データを選択する画像選択部と、撮影部が撮像した画像を基本画像とし、この基本画像に対して、画像選択部が選択した地域画像データを合成する画像合成部とを備えることを特徴とする合成画像撮影システムである。
【0007】
また、他の発明は、撮像部により画像を撮影する撮像ステップと、撮影時における自機の位置を示す位置情報を取得し、記録する位置情報取得ステップと、予め位置情報に地域画像データを関連付けて蓄積した地域画像蓄積部から、位置情報取得部が記録した撮影時の位置情報に基づいて、位置情報に関連付けられた地域画像データを選択する画像選択ステップと、撮影部が撮像した画像を基本画像とし、この基本画像に対して、画像選択部が選択した地域画像データを合成する画像合成ステップとを含む合成画像撮影方法である。
【0008】
このような発明によれば、撮影した現在位置に関連付けられた地域画像データ、例えば、その撮影場所にちなんだフレームやテンプレートなどを、撮影した画像に合成することができることから、各地域の名所や名物、キャラクターなどにちなんだ各地域独自のコンテンツをその地域限定で配信することによって、各地における地域興しのきっかけとすることができる。
【0009】
上記発明において、画像合成に先行させて、人物の顔部分を検出するとともに、検出した顔部分の、基本画像中における座標位置を算出し、画像合成に際し、検出された顔部分の座標位置を基準として、基本画像に対して地域画像データを合成することが好ましい。この場合には、その土地々々のキャラクターを描いた所謂「顔出し看板」のようなフレームやテンプレートを、被写体の顔部分に合致させることができる。
【0010】
上記発明において、撮像に先行させて、撮影対象となる人物の所定の表情を認識する表情認識を行い、表情を認識した瞬間に、自動的に撮影処理を実行することが好ましい。この場合には、例えば、デジタルカメラのファインダーの視野内にいる被写体が笑うなどの特定の表情をした瞬間に自動的にシャッターを切ることができ、カメラを構えての撮影とは異なる自然な表情を捉えることができる。
【0011】
上記発明において、撮像部により撮影された画像を、位置情報取得部が取得した位置情報と関連付けてデータ蓄積部に蓄積しておき、蓄積された画像の位置情報を表示インターフェースにインデックスとして表示するとともに、表示されたインデックスを選択することにより、該当する画像をデータ蓄積部から検索して読み出すことが好ましい。このとき、表示インターフェースは、地図情報を記憶保持する地図情報記憶部から、蓄積された各画像の位置情報に応じた地図情報を読み出し、この読み出した地図情報上における、各位置情報に対応した位置に、各画像のインデックスを表示する。この場合には、撮影した画像データの検索を、撮影時に取得した位置情報を利用して容易なものとすることができる。なお、撮影時の日時などの付加情報を前記位置情報とともにインデックスとすることによって、より多様な検索を可能とすることができる。
【0012】
上記発明では、前記画像合成に先行させて、人物の顔部分を検出するとともに、検出した該顔部分の、基本画像中における座標位置を算出し、検出した顔部分を構成する各パーツを、ベクトルデータとして抽出し、そのベクトルデータで特定される当該顔の特徴を管理情報として生成することが好ましい。そして、前記地域画像蓄積部に、位置情報と管理情報とに関連付けられた顔パーツを集積したパーツライブラリーを、地域画像データの一部として蓄積しておき、画像選択に際し、位置情報と管理情報とに基づいて、パーツライブラリー中からパーツを抽出し、抽出されたパーツを合成してキャラクター生成する。
【0013】
また、上記発明において、前記パーツライブラリーでは、パーツライブラリー内に集積されたパーツ毎に文章情報が付加されており、画像合成部によるキャラクター生成において、合成されたパーツの組み合わせに応じて、文章情報により文章が構築されることを特徴とする請求項11に記載の合成画像撮影方法。
【発明の効果】
【0014】
以上述べたように、この発明によれば、カメラ付き携帯電話機やデジタルカメラなど、デジタル画像を撮影する装置において、撮影場所にちなんだ付加的なコンテンツを入手して、撮影画像に合成可能とすることにより、各地域で提供されるサービスの多様化を図ることができる。
【発明を実施するための最良の形態】
【0015】
[第1実施形態]
(合成画像撮影システムの構造)
以下に添付図面を参照して、本発明に係る合成画像撮影システムの実施形態を詳細に説明する。図1は、本実施形態に係る合成画像撮影システムの全体構成を示す概念図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
【0016】
本実施形態において合成画像撮影システムは、図1に示すように、ユーザーが使用するデジタルカメラ1a又はカメラ付き携帯電話機1bと、インターネット2上に設置された地域画像配信サーバー3とから概略構成される。
【0017】
地域画像配信サーバー3は、地域画像として、各地域の名所や名物の背景データや壁紙データ、その土地々々のキャラクターを描いた「顔出し看板」のようなフレームやテンプレートなど、各地域独自の地域画像データを含むコンテンツをその地域限定で配信するサーバーであり、本実施形態では、位置情報に地域画像データ等のコンテンツデータを関連付けて蓄積する地域画像蓄積部としての機能を果たし、例えば、Webサーバー等のコンテンツサーバーで構成される。このコンテンツサーバーとしては、WWW(World Wide Web)等のドキュメントシステムにおいて、HTML(HyperText Markup Language)ファイルや画像ファイル、音楽ファイルなどの情報送信を行うサーバーコンピュータ或いはその機能を持ったソフトウェアであり、HTML文書や画像などの情報を蓄積しておき、デジタルカメラ1a若しくは携帯電話機1bからの要求に応じて、インターネット2を通じて、これらの情報を送信する。
【0018】
デジタルカメラ1a及びカメラ付き携帯電話機1bは、いずれも光学的にデジタル画像を撮影する撮像機能を有するとともに、撮影時における自機の位置を示す位置情報を取得し、記録する位置情報取得機能を備えている。この位置情報取得機能としては、図1に示すように、例えば、GPS(Global Positioning System)のように、衛星21からの信号によって自機の位置を検出する方法や、携帯電話の無線基地局22からの電波強度などによって位置を検出する方法が考えられる。
【0019】
図2は、デジタルカメラ1a若しくは携帯電話機1bの合成画像撮影機能に係る合成画像撮影ユニット10の内部構成を示すブロック図である。
【0020】
先ず、この合成画像撮影ユニット10において、画像撮影系のモジュールとして、撮像部102と、シャッター制御部106と、顔検出部107と、データ蓄積装置108とを備えている。
【0021】
撮像部102は、学的にデジタル画像を撮影するモジュールであり、シャッター制御部106からの制御に応じて撮像処理を実行し、撮像された画像データは顔検出部107へ送出される。シャッター制御部106は、顔検出部107内の表情認識部107aが、被写体の笑顔など、特定の表情を認識した瞬間に、自動的に撮影処理を実行する自動撮影モードも備えている。
【0022】
顔検出部107は、目、鼻、口などにより形成される一定の幾何学的形状を抽出して、人物の顔部分を検出するとともに、検出した顔部分の、基本画像中における座標位置を算出するモジュールである。この顔検出処理は、撮影操作の前段階から実行され、図4(a)に示すように、検出された顔がファインダー画面上にマーキング107bとして強調され、その被写体までの距離を測定し、その距離に応じたフォーカシングを行うオートフォーカス機能とも連動するようになっている。また、この顔検出部107は、撮影対象となる人物の笑顔など、所定の表情を認識する表情認識部107aを有しており、撮影時のモニター映像の中から顔部分及びその表情を認識し、その認識結果をシャッター制御部106に入力する。シャッター制御部106は、入力された認識結果に応じて撮像部102に、シャッター動作を実行させる制御信号を入力する。
【0023】
データ蓄積装置108は、各種データを蓄積する記憶装置であり、撮影された基本画像データや、ネット上から取得された地域画像データ、これらが合成された合成画像データ、及び各画像データに加工を施した編集データなどが蓄積されている。
【0024】
また、合成画像撮影ユニット10において、通信系のモジュールとしては、位置情報取得部103と、画像取得部104と、地図情報取得部105とを備えている。
【0025】
位置情報取得部103は、撮影時における自機の位置を示す位置情報を取得し、記録するモジュールであり、上述したように、例えば、GPS(Global Positioning System)のように、衛星21からの信号によって自機の位置を検出したり、携帯電話の無線基地局22からの電波強度などによって位置を検出する。取得された位置情報は、基本画像データのメタデータとして、基本画像に関連付けられてデータ蓄積装置108に記憶保持される。
【0026】
本実施形態では、この位置情報取得部103により取得された位置情報は、通信I/F101を通じてインターネット2に送信され、地域画像配信サーバー3で受信される。地域画像配信サーバー3では、この受信された位置情報に関連付けられた地域画像データ等のコンテンツを選択して返信する。返信された地域画像データは、画像取得部104を通じて、データ蓄積装置108に蓄積される。画像取得部104は、地域画像配信サーバー3から、位置情報に関連付けられた地域画像データをダウンロードするモジュールである。
【0027】
地図情報取得部105は、インターネット2上に設置されたコンテンツサーバーなどから、地図情報をダウンロードして記憶保持するモジュールである。この取得された地図情報は、データ蓄積装置108に蓄積される。
【0028】
さらに、合成画像撮影ユニット10において、編集処理系のモジュールとして、編集処理部110と、編集データ生成部111と、画像合成部112とを備えている。本実施形態において、編集処理等の操作と、表示処理とは、図4〜図8に示すような、GUI116により行うことができる。
【0029】
編集処理部110は、操作者の操作に従って、各種編集処理を実行するモジュールであり、GUI116と連動して、タッチペンなどで画像上に絵を描き加えたり、文字等を書き込んだり等のフォトレタッチ処理の他、撮影した基本画像に対してフレーム画像や背景画像などの画像を合成する画像合成処理を行うことができる。
【0030】
編集データ生成部111は、上記編集処理部110により編集操作の結果である編集データを生成するモジュールであり、生成されたデータはデータ蓄積装置108に蓄積される。画像合成部112は、編集データ生成部111の編集機能の一部として備えられるモジュールであり、撮像部102が撮像した画像を基本画像とし、この基本画像に対して、画像取得部104が取得した地域画像データを合成する。この画像合成部112による合成処理も、上記編集処理部110に対する編集操作によって制御することができる。
【0031】
また、この画像合成部112による合成に際しては、顔検出部107が検出した顔部分の座標位置を基準として、基本画像に対し地域画像データを重ね合わせる。この画像合成に際し、画像合成部111aは、顔検出部107により検出された顔部分の座標位置を基準として、図4(b)又は(c)に示すように、撮影された基本画像D1に対して、キャラクターのかぶり物をモチーフとした地域画像データD2又はD3を合成する。
【0032】
これらの操作は、上述したGUI116により行うことができる。本実施形態では、GUI116上に撮影(若しくは編集)に係る基本画像D1が表示されるとともに、取得された地域画像データのアイコン1162が、アイコンエリア1161内に複数列記され、これらのアイコン1162を、例えばポインタ1163によってクリックすることによりアイコンを選択することができる。
【0033】
前記合成画像撮影ユニット10において、ユーザーインターフェース系のモジュールとして、操作信号取得部114と、表示情報生成部115と、インデックス生成部109と、データ検出部113とを備えている。
【0034】
操作信号取得部114は、ユーザー操作に基づく操作デバイス116aからの操作信号を取得し、操作信号に応じた実行命令を編集処理部110に入力するモジュールである。ここでの操作デバイス116aとしては、タッチパネルや操作ボタン、加速度センサなどが含まれる。
【0035】
表示情報生成部115は、GUI116の画像表示部116bに表示される画像データを生成するモジュールであり、撮影時においては、撮像部102が撮影しているファインダー画像を表示したり、編集時においては、操作信号取得部114が取得したユーザー操作信号に基づくアイコン等の画像の変化を表示する。
【0036】
特に、本実施形態に係る表示情報生成部は、図6(d)に示すような、データ蓄積装置108に蓄積された画像の位置情報をインデックスアイコンI31として表示する機能を備えている。この機能では、蓄積された各画像の位置情報に応じた地図情報をデータ蓄積装置108から読み出し、この読み出して展開させた地図W3上における、各コンテンツの位置情報に対応した座標位置に、各コンテンツのインデックスアイコンI31を表示する。インデックス生成部109は、撮像部102により撮影された画像と、位置情報取得部103が取得した位置情報とを関連付けて表示するためのインデックス情報(アイコン)を生成し、表示情報生成部115に入力し、表示情報生成部115においてインデックスアイコンを地図W3上に重畳させる。
【0037】
データ検出部113は、データ蓄積装置108内に蓄積されたデータを検索して読み出すモジュールであり、GUI116上において、地図上に表示されたインデックスアイコンを選択することにより、該当するデータを読み出す。
【0038】
なお、本実施形態では、カメラ機能を備えた携帯電話機を例に説明したが、このカメラ機能としては、例えば、図9(a)に示すような、ネックストラップで首からかけられるようなカメラ付きコンパクト携帯電話としてもよく、また、同図(b)に示すように、携帯電話機1b本体とは別途独立し、カメラ部分だけをコードで接続されたペンダント型1cとしてもよい。
【0039】
このように首からかけられる形式とすれば、図10に示すように、自動撮影モードを選択することより、ユーザー自身がシャッター操作を気にすることなく、乾杯やカラオケの場面で、周りの人が笑顔になったタイミングで、記念写真が自動的に撮影されることとなる。
【0040】
(GUIの構成)
図5は、上述したGUI116の画面構成を示す説明図である。本実施形態においてこのGUI116は、携帯電話機1bに備えられており、この携帯電話機1bは、図中水平方向にスライド可能な前面部11と背面部12とから構成されている。GUI116は、前面部11の前面全体に配置されたタッチパネルと連動されるようになっており、前記画像表示部116bによりタッチパネル上にグラフィックが表示されるとともに、前記操作デバイス116aによりタッチパネル表面に付与された圧力を感知し、その圧力点の画面上における座標位置及びその移動が操作信号として取得される。
【0041】
GUI116では、画面内の所定エリアへのタッチによりそのエリアに割り当てられた実行コマンドが操作信号として取得される。この所定エリアには、アイコンやポップアップメニューが配置され、ユーザーは、これらアイコン等を選択してタッチすることにより、任意の実行コマンドを入力することができる。特に、本実施形態では、図5に示すように、指やタッチペンなどで画面上をなぞることによって、その動作の開始位置と終了位置から圧力点の移動距離や移動速度を感知し、その動作に応じた実行コマンドの入力が可能となっている。なお、スライドされて前面部11から突出された背面部12の前面側表面には、通常の操作ボタンや方向キーが配置されており、これらを操作することによってもGUIに対する入力操作が可能となっている。
【0042】
また、本実施形態におけるGUI116に表示されるメニューは、階層形式となっており、上位メニューでの選択操作によって、下位メニューへ移行(ズームアップ、ズームダウン)できるようになっている。特に、GUI116では、図6に示すように、メニューアイコンを宇宙に浮かぶ惑星(プラネット)として表現しており、各惑星に機能毎のコマンド群がグルーピングされて割り付けられている。ユーザーは、図6(a)に示すように、上層メニューであるプラネット表示画面W1において、コマンドのグループを惑星として選択し、その惑星をズームアップすることにより、下層のメニューであるアース表示画面W2にドリルダウンし、より詳細なメニューへ移行することができる。これらの各惑星は例えば銀河系や太陽系などのように、環状に配置され、上記タッチ操作により各惑星を公転させたり自転させたりすることもでき、上記ズームアップ・ズームダウン操作と併せて、メニュー選択操作ができるようになっている。また、これらの画面遷移は、アイコンの選択操作の他、図6(c)に示すような、ズーム切替えアイコンのようなポップアップメニューM1によっても行うことができる。
【0043】
アース表示画面W2では、図6(b)及び図7に示すように、上記惑星の一つとして地球(アース)が含まれており、地球上の緯度・経緯といった位置情報に関連付け可能なコマンドやデータが、惑星上のインデックスアイコンI3〜I5として表示できるようになっている。図7では、地球上の各地で起こっているニュースが吹出アイコンI5として、また、撮影した画像データがカメラアイコンI4として、関連のある緯度・経度に対応した位置に表示されている。また、このインデックスアイコンとして、例えば、メール送信者の住所に関する情報が取得されているときには、その住所に応じた緯度・経度にメールアイコンI3を表示することもできる。
【0044】
なお、画面上には、メニューを呼び出すためのアイコンI1やI2が配置されており、これをクリックすることによってズーム切替メニューM1や、画面上に表示されるインデックスアイコンの種別を切り換える表示切替メニューM2を呼び出せるようになっている。また、アース表示画面では、スライド操作用のスライダー1165が表示されており、これをスライド操作することにより無段階的に地球をズームアップ・ズームダウンすることができ、連続的に階層のホーム表示画面W3に遷移することができる。
【0045】
このアース表示画面W2では、地球上に表示されたインデックスアイコンを選択することにより、さらに図6(d)に示すような、地表(ホーム表示画面W3)をズームアップすることができ、このホーム表示画面W3では、より詳細な地図情報とともに、位置情報に関連付けられたインデックスアイコンが表示される。
【0046】
上記ホーム表示画面W3では、図8に示すように、データ蓄積装置108に蓄積された画像が、位置情報に応じたインデックスアイコンとして表示される。具体的には、蓄積された各画像の位置情報に応じた地図情報をデータ蓄積装置108から読み出し、図8(b)に示すように、読み出した地図情報上における、各コンテンツの位置情報に対応した座標位置に、各コンテンツのインデックスアイコンI31が重畳されて表示される。このインデックスアイコンI31をクリックすることによって、同図(c)に示すような、その地域で撮影した画像Dを呼び出して、表示させることができる。なお、この画像Dは、同図(a)に示すような、カメラナビメニューM3から直接呼び出すこともできる。
【0047】
(合成画像撮影方法)
以上の構成を有する合成画像撮影システムを動作させることによって、本発明の合成画像撮影方法を実施することができる。図3は、本実施形態に係る合成画像撮影システムの動作を示すフローチャート図である。
【0048】
先ず、撮像部102により画像を撮影する(S101)。この撮影に際し、本実施形態では、撮像部102により常にファインダー画像を監視する「自動撮影モード」を実行してもよい。このモードでは、撮像部102において撮されるファインダー画像に対して、表情認識部107aにより、撮影対象となる人物の、例えば笑顔などの所定の表情を認識する表情認識を行い、笑顔を認識した瞬間に、自動的に撮影処理を実行する。
ステップS101において、撮像部102により撮影された画像データは、基本画像としてデータ蓄積装置108に記録され(S102)、基本画像内において、顔の検出が行われる(S103)。この顔部分の検出に際し、顔検出部107では、検出した顔部分の基本画像中における座標位置を算出しておく。
【0049】
また、この撮影操作に応じて、撮影時における自機の位置情報が取得され、記録されるとともに、この位置情報が地域画像配信サーバー3に送信される(S104)。この位置情報を受信した地域画像配信サーバー3は(S201)は、受信した撮影時の位置情報に基づいて、地域画像蓄積データベースから、位置情報に関連付けられた地域画像データを検索し(S202)、選択した画像を返信する(S203)。
【0050】
この地域画像データを受信したカメラ側は(S105)、基本画像に対して、受信された地域画像データを合成する(S106)。この画像合成に際し、画像合成部111aは、顔検出部107により検出された顔部分の座標位置を基準として、基本画像に対して地域画像データを合成する。
【0051】
このようにして撮影して蓄積された画像データに対しては、他のフォトレタッチ処理等の編集操作を施すことができ(S107)、編集作業を終了することにより(S108における“N”)、編集された画像データが保存される(S109)。
【0052】
この画像データの保存に際し、本実施形態では、位置情報と関連付けてデータ蓄積装置108に蓄積する。このとき、蓄積された画像の位置情報をインデックス情報として生成する(S110)とともに、GUI116上にアイコンとして表示する。そして、GUI116に表示されたインデックスを選択することにより、該当する画像をデータ蓄積装置108から検索して読み出すことができる。このとき、表示情報生成部115では、蓄積された各画像の位置情報に応じた地図情報を読み出し、この読み出した地図上の、各位置情報に対応した位置に、各画像のインデックスアイコンを表示する。
【0053】
そして、このようにして撮影され蓄積されたデータは、GUI116において、インデックスアイコンをタッチ操作等の選択操作によって読み出して閲覧することができる。
【0054】
(合成画像撮影プログラム)
上述した本実施形態係るシステム及び方法は、所定の言語で記述された合成画像撮影プログラムをコンピュータ上で実行することにより実現することができる。すなわち、この合成画像撮影プログラムを、携帯電話等で情報処理端末のICチップにインストールし、CPU上で実行することにより、上述した各機能を有するシステムを容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能である。
【0055】
そして、このプログラムを記録したコンピュータ読み取り可能な記録媒体によれば、汎用のコンピュータや専用コンピュータを用いて、上述したシステムや方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
【0056】
(本実施形態による作用・効果)
このような本実施形態によれば、撮影した現在位置に関連付けられた地域画像データ、例えば、その撮影場所にちなんだ土地々々のキャラクターを描いた「顔出し看板」のようなフレームやテンプレートを、被写体の顔部分に合致させて重畳させて合成することができ、各地域独自のコンテンツをその地域限定で配信することによって、各地における地域興しのきっかけとすることができる。
【0057】
また、本実施形態では、上記自動撮影機能により、デジタルカメラのファインダーの視野内にいる被写体が笑うなどの特定の表情をした瞬間に自動的にシャッターを切ることができ、カメラを構えての撮影とは異なる自然な表情を捉えることができる。
【0058】
さらに、本実施形態では、撮影した画像データを、位置情報に関連付けられたインデックスアイコンにより検索して、読み出すことができるため、撮影時に取得した位置情報を利用して容易に画像検索を行うことができる。なお、撮影時の日時などの付加情報を前記位置情報とともにインデックスとすることによって、より多様な検索を可能とすることができる。
【0059】
[第2実施形態]
(システム構成)
次いで、本発明の第2実施家板について説明する。図11は、第2実施形態に係る実施形態に係る合成画像撮影システムの全体構成を示す概念図である。なお、本実施形態において、上述した第1実施形態と同一の構成要素には同一の符号を付し、その機能等は特に言及しない限り同一であり、その説明は省略する。
【0060】
図11に示すように、本実施形態では、編集データ生成部111が二次元のキャラクターを自動的に生成するためのキャラ生成部111aを備えていることを特徴とする。このキャラ生成部111bは、顔検出部107aが検出した顔部分を構成する各パーツをベクトルデータとして抽出し、そのベクトルデータで特定される当該顔の特徴を管理情報として生成する管理情報生成部としての機能を有する。
【0061】
また、このキャラ生成部111bは、画像取得部104に対して、位置情報と管理情報とに基づいて、パーツライブラリーを取得させ、この取得されたパーツライブラリー中からパーツを抽出する機能を有し、さらに、画像合成部111aに対して、抽出されたパーツを合成させてキャラクター生成させる機能も有している。
【0062】
上記管理情報は、例えば、上述した第1実施形態のように、デジタルカメラ1a若しくは携帯電話機1bの合成画像撮影機能と連動して生成することができ、生成された管理情報は、その他の付属情報とともに、ユーザー固有のキャラクターの特徴を示すデータとして、サーバー10に蓄積したり、通信機能又は記憶媒体を通じて転送することによって、他のパーソナルコンピュータや家庭用ゲーム機、携帯ゲーム機などと共有し、同期させることができる。
【0063】
付属情報としては、例えば、キャラクターの名前や性別、機能、能力、育成情報などキャラクターを特徴付ける情報の他、当該キャラクターを生成した際の被写体自身の個人情報や、当該キャラクターに対する操作履歴、占い・日記・メール送受信履歴など、当該キャラクターを被写体の分身として見立てた場合の関連情報が挙げられる。なお、この被写体としては、デジタルカメラ1a若しくは携帯電話機1bの所有者に限らず、撮影された人物であれば全てキャラクター自動生成の対象とすることができ、上記付属情報は、各機器の入力インターフェースを通じて入力可能とし、該当する管理情報に関連付けて蓄積させる。
【0064】
本実施形態では、本実施形態のサーバー10側において、位置情報と、管理情報とに関連付けられた顔パーツを集積したパーツライブラリーを、地域画像データの一部として蓄積している。例えば、サーバー10のデータベースには、地域画像として、キャラクターを表現するための種々のパーツを蓄積したパーツライブラリーが含まれており、ユーザー側からの要求に応じて必要なパーツを送信する。このパーツライブラリーには、様々なキャラクターを表現するために、目、眉、鼻、口、輪郭、耳、などの基本部分と、髪型、ほくろ、アクセサリー(メガネ、イヤリング、ピアスなど)などのオプション部分など、多様なパーツが含まれている。また、パーツライブラリーでは、パーツライブラリー内に集積されたパーツ毎に人相占いなどの文章情報が付加されており、キャラ生成部111bによるキャラクター生成において、合成されたパーツの組み合わせに応じて、文章情報により占いの文章が構築される。この占いの文章情報は、該当するキャラクターの管理情報に関連付けられた上記付属情報として利用可能である。
【0065】
そして、前記キャラ生成部111bは、撮像した画像から顔検出部107が検出した顔の画像データに基づいて、その検出された顔に似せたキャラクターを自動的に生成するモジュールである。具体的に、このキャラ生成部111bは、撮像部102が撮影した画像から検出された顔画像を、顔検出部107から受け取り、目や鼻の配置情報、例えば、平面座標、傾き、サイズ、色、などを管理情報として抽出する。この抽出された管理情報は、データ蓄積装置108に蓄積されるとともに、画像取得部104、通信I/F101を通じてサーバー10に送信される。画像取得部104は、上記管理情報を、パーツ要求信号とともに送信し、この要求に応じて配信されるパーツライブラリー及び占い文章などの付加情報を受信し、データ蓄積装置108に蓄積する。蓄積されたパーツライブラリーは、編集データ生成部111からの要求により逐次読み出され、キャラクター生成処理やキャラクター編集処理に供される。
【0066】
なお、本実施形態では、上記パーツライブラリーは、位置情報と関連付けられており、自機の現在位置に応じた「ご当地キャラ」が生成できるようになっている。詳述すると、自動生成キャラ作成時の、パーツライブラリーの選択優先度として、位置情報を用いられ、例えば、アフリカで撮れば、黒人タイプの顔パーツが優先して選択されたり、イギリスで撮れば、白人タイプの顔パーツが優先して選択されたりする。このとき、当該位置情報は、例えば、キャラクターの出身地とするなどして、キャラクターの特徴を示す上記付属情報として利用してもよい。
【0067】
また、パーツライブラリーには、上述した顔のパーツ以外に、キャラクターを構成する要素として、キャラクターの身体や服装、アクセサリーなども含まれており、これらも位置情報に関連付けられて、その地域にちなんだキャラクターが生成されるようになっている。例えば、自動生成キャラの作成に際し、キャラクターの構成要素を、体や服装、アクセサリーなどまでに拡張させ、その地域に合わせた服装やアクセサリーが付属される。例えば、海辺で撮ればサーファースタイルとなり、雪山で撮ればスキーヤースタイルとなり、繁華街で撮れば派手目のファッションやメイクとなるように選択される。
【0068】
さらに、パーツライブラリーとしては、上記服装やアクセサリーをさらに拡張して、ブランド店などとタイアップされたブランド品を含ませることができる。例えば、そのブランドショップの店内で撮ると、そのブランドのオリジナルデザインの服が手に入ったり、イベント会場で撮ると、関連するデザインの服やアクセサリーが手に入るようにしてもよい。
【0069】
(自動キャラ生成処理)
以上の構成を有するシステムを動作させることによって、自動キャラ生成処理を実行することができる。本実施形態では、この自動キャラ生成処理は、上述した実施形態1で説明したステップS106の画像合成のサブルーチンとして実行される。図12は、自動キャラ生成処理の手順を示すシーケンス図である。
【0070】
先ず、カメラで撮影操作が実行されると(図3:S101)、顔検出が実行され(S106)、取得された地域画像との合成処理が行われる(S106)。このとき、顔検出により得られた顔画像を利用して、自動キャラ生成処理が起動される。
【0071】
先ず、顔画像を解析して、顔写真から、目、鼻、口、眉などのパーツ毎にアウトラインのベクターデータを作成するとともに(S301)、ベクターデータ中央の位置で、平面座標を算出する(S302)。
【0072】
次いで、これらのベクターデータと、平面座標とに基づいて、管理情報の算出を行う(S303)。具体的には、ベクターデータに、サンプルパーツの傾きを合わせ、ベクターデータの最外周の縦と横のサイズから、サイズを割り出す。このように算出された管理情報を、サーバー10に送信する(S304及びS401)。
【0073】
サーバー10では、先のステップS201で受信された位置情報と、ステップS401で受信された管理情報とに基づいて、パーツライブラリーを検索する(S402)。そして、検索されたパーツを集めて、当該ユーザーの顔を表現するのに必要なパーツを抽出して、当該ユーザーに固有のパーツライブラリーを生成し、ユーザー側に送信する(S403)。このとき、ユーザー固有のパーツライブラリーに含まれるパーツとしては、ご当地ならではの、現在位置に関連付けられたパーツやアクセサリーが含められている。
【0074】
また、本実施形態では、ユーザー固有のパーツライブラリーの付加情報として、管理情報から特定されるユーザーの顔の特徴を利用して、人相占いなども配信できるようになっている。この人相占いも、ユーザーの位置情報と関連付けることができ、ご当地ならではの人相占いが可能となっている。この占いサービスとしては、例えば、パーツライブラリーの付加情報として、地域やパーツの特徴にちなんだ占いの文章などが関連付けられている。
【0075】
このようなパーツライブラリーを受信し、取得した(S305)ユーザー側では、受信したパーツライブラリーと、上記ベクターデータとのサンプリングポイントによる照合が行われ(S306)、パーツが選択され(S307)、キャラが生成される(S309)。
【0076】
このとき、パーツの選択に従って、各パーツに関連付けられた付加情報も抽出され、キャラクター固有の上記付属情報として構成される(308)。具体的には、パーツライブラリーから占い文章が抽出され、パーツの配置情報から相関的な占い文章が抽出される。さらに、ユーザーの生年月日、名前、などの補足情報によっても、占いデータから文章の抽出やキーワードの生成を行う。なお、相性占いなどのときは、相手情報などの蓄積データベースを照合してもよい。このようにして、抽出された占い文章やキーワードを組み合わせて、リクエストに応じた、最終占い文章の構築する。
【0077】
このようにして、生成されたキャラクターにちなんで構築された占い文章などの付属情報が、生成されたキャラクターに関する情報(管理情報等)とともに、データ蓄積装置108に保存される(S310)。なお、この生成されたキャラクターは、ステップS305で取得されたパーツライブラリーの範囲で変更が可能であり、その変更によってパーツが差替えられた場合には、その新たなパーツにちなんだ人相占いも更新される。なお、データ蓄積装置108に保存された、各キャラクターに関する管理情報や付属情報、関連するパーツライブラリーは、通信インターフェース101を通じて、新規に作成されたり更新されたりした際、或いは定期的に、逐次サーバー10にアップロードされ、又は記憶媒体を通じて書き出しが可能となっており、サーバー10や記憶媒体を介して、他の機器と共有し、同期を取ることができる。
【0078】
(変更例)
さらに、本発明は、上述した実施形態に限定されるものではなく、種々の変更を加えることができる。
【0079】
例えば、自動キャラ生成処理に際して、似ている有名人や芸能人とのマッチング処理を付加してもよい。具体的には、有名人などの顔の特徴をサンプリングした管理情報をデータベース化しておき、上記ステップS402におけるパーツライブラリーを検索する際に、そのデータベース化された有名人の管理情報とのマッチングを行い、その合致度に応じて、ある芸能人に似ている度合いをランキング表示したり、最も似ている有名人を紹介するなどのステップを付加してもよい。
【0080】
さらに、この自動キャラ生成機能により生成されたキャラクターを、上記第1実施形態で説明したご当地フレーム枠として登場させてもよい。例えば、大仏のカッコをした自動生成キャラが画像枠に描かれていて、撮影された人物は、自分のご当地似顔絵キャラとともに、画像内中央に普通に写るようにしてもよい。
【0081】
また、他の機能として、既に作成済みの自動生成キャラを使って、顔認識を使って入れ替えるようにしてもよい。すなわち、自動キャラ生成機能で生成した似顔絵キャラクターを、顔検出部107で検出した顔の座標位置に重畳させるなどの付加機能を設ける。例えば、友達を撮影したとして、その友達の体に自分の自動生成キャラの顔をくっつけたり、大仏を撮影して、自動生成キャラにしてみたりなど、種々の編集機能を負荷することができる。
【0082】
その他、インデックス生成部109で生成するインデックスアイコンとして、自動生成キャラの画像を利用し、インターフェースの地図上に表示する際のインデックスアイコンを似顔絵で表現することもできる。このインデックスアイコンには、撮影場所の位置情報が関連付けられていることから、インデックス情報としてキャラ生成部111bで生成されたご当地キャラクターを含ませることにより、地図上などにご当地キャラ(ご当地ファッションやご当地アクセサリーを付けたキャラクター)を表示させることができる。
【0083】
このキャラクターで表現されたインデックスアイコンでは、サーバー10などでの情報共有に適している。すなわち、ここでの自動生成キャラは、通常の写真などのビットマップデータよりも、パーツと管理情報で量子化されるため、データサイズを軽くすることができる。この軽くなったデータを利用すると、地図上で、写真を共有するなどの場合に、サーバーからのデータ送信サイズを減らした上で、アイコンとしてわかりやすく表示することができる。
【0084】
また、本実施形態では、キャラクターを自動生成するため、キャラクターを表現するための各パーツのデータを微細化することができる。詳述すると、ユーザー操作に基づいて一つ一つパーツを手動で選択させるシステムでは、ユーザーの操作性を優先させるためにパーツ数を減らしたり、パーツの位置を段階的に設定させるなど、管理情報を段階的に持つように作成せざるを得ないが、本実施形態のように、自動設定となると、これを無段階にしても、ユーザー操作が煩雑になることはなく、その上、パーツ表現のためのパラメータデータを細かく設定することができる。この結果、占いと連動させた際には、その占いでの評価も、段階的ではなく、オシャレ度23%、相性度97%など、微細な情報でフィードバックすることができる。
【0085】
さらに、本実施形態では、自動で似顔絵のキャラクターを生成し、それをサーバー10側で 管理情報として収集することができるため、多数のユーザーから精度の高いデータを蓄積することができ、例えば、相性の良い人を紹介するといった相性占いなどに利用が可能である。
【0086】
また、生年月日(年齢や星座)字画、カラーなどとの連動も可能であることから、生年月日を利用して、パーツライブラリーのデータを切り替えたり、星座や字画、アクセサリーのカラー(風水系)などとの連動させるようにしてもよい。
【0087】
(自動キャラ生成機能による効果)
本実施形態に係る自動キャラ生成機能によれば、撮影した顔写真から自動的に顔の特徴を抽出してキャラクターを生成するため、ユーザーに似顔絵のように技量と時間と労力を要する、キャラ作成作業を強いることがないため、今までやりたくても思うようにできなかったユーザーに対し、アバターなどのキャラクター作成を簡単に利用させることができる。
【0088】
また、本実施形態では、サーバー10や各種記憶媒体を通じて、パーソナルコンピュータや家庭用ゲーム機、携帯ゲーム機においてキャラクターの管理情報を送受信して、これらの機器間でキャラクターに関する情報を共有し及び同期させることにより、或いは取り込むことにより、各機器や媒体において、アバターやゲームに登場する、ユーザー固有の同一キャラクターとして継続的に利用することもできる。
【0089】
さらに、本実施形態では、自動キャラ生成と占いとを連動させたことから、占いの客観性を担保することができる。すなわち、ユーザーが任意の自分の特徴となるパーツを選択するよりも、撮影された顔写真に基づく占いとなるため、客観的な判断となる。この客観的な判断であるため、ユーザー心理としては、その占いに対する心証が大きく異なる。また、これと併せて、GUI内に擬人化された占い師などを登場させたり、ユーザー同士のマッチングを行う場合に恣意的な要素を排除しやすいなど、利用面でのメリットもある。
【図面の簡単な説明】
【0090】
【図1】実施形態に係る実施形態に係る合成画像撮影システムの全体構成を示す概念図である。
【図2】第1実施形態に係るデジタルカメラ1a若しくは携帯電話機1bの合成画像撮影機能に係る合成画像撮影ユニット10の内部構成を示すブロック図である。
【図3】第1実施形態に係る合成画像撮影システムの動作を示すフローチャート図である。
【図4】第1実施形態に係る画像合成処理の説明図である。
【図5】第1実施形態に係るGUIの操作例を示す説明図である。
【図6】第1実施形態に係るGUIの画面遷移を示す説明図である。
【図7】第1実施形態に係るプラネット表示の例を示す画面構成図である。
【図8】第1実施形態に係る画像閲覧の操作画面を示す説明図である。
【図9】第1実施形態に係る撮像手段の変更例を示す説明図である。
【図10】第1実施形態に係る自動撮影モードの実施例を示す説明図である。
【図11】第2実施形態に係るデジタルカメラ1a若しくは携帯電話機1bの合成画像撮影機能に係る合成画像撮影ユニット10の内部構成を示すブロック図である。
【図12】第2実施形態に係る合成画像撮影システムの動作を示すフローチャート図である。
【符号の説明】
【0091】
D1…基本画像
D2,D3…地域画像データ
I3〜I5…インデックスアイコン
M1〜M3…メニューアイコン
W1…プラネット表示画面
W2…アース表示画面
W3…ホーム表示画面
1a…デジタルカメラ
1b…携帯電話機
2…インターネット
3…地域画像配信サーバー
10…合成画像撮影ユニット
11…前面部
12…背面部
21…衛星
22…無線基地局
102…撮像部
103…位置情報取得部
104…画像取得部
105…地図情報取得部
106…シャッター制御部
107…顔検出部
107a…表情認識部
107b…マーキング
108…データ蓄積装置
109…インデックス生成部
110…編集処理部
111…編集データ生成部
111a…画像合成部
111b…キャラ生成部
112…画像合成部
113…データ検出部
114…操作信号取得部
115…表示情報生成部
116…GUI
116a…操作デバイス
116b…画像表示部

【特許請求の範囲】
【請求項1】
画像を撮影する撮像部と、
撮影時における自機の位置を示す位置情報を取得し、記録する位置情報取得部と、
位置情報に地域画像データを関連付けて蓄積する地域画像蓄積部と、
前記位置情報取得部が記録した撮影時の位置情報に基づいて、前記地域画像蓄積部から、該位置情報に関連付けられた前記地域画像データを選択する画像選択部と、
前記撮影部が撮像した画像を基本画像とし、この基本画像に対して、前記画像選択部が選択した地域画像データを合成する画像合成部と
を備えることを特徴とする合成画像撮影システム。
【請求項2】
人物の顔部分を検出するとともに、検出した該顔部分の、前記基本画像中における座標位置を算出する顔検出部をさらに備え、
前記画像合成部は、前記顔検出部が検出した顔部分の座標位置を基準として、前記基本画像に対して前記地域画像データを合成する
ことを特徴とする請求項1に記載の合成画像撮影システム。
【請求項3】
撮影対象となる人物の所定の表情を認識する表情認識部をさらに備え、
前記撮像部は、前記表情認識部が、前記表情を認識した瞬間に、自動的に撮影処理を実行する自動撮影機能を有している
ことを特徴とする請求項1に記載の合成画像撮影システム。
【請求項4】
前記撮像部により撮影された画像を、前記位置情報取得部が取得した位置情報と関連付けて蓄積するデータ蓄積部と、
地図情報を記憶保持する地図情報記憶部と、
蓄積された画像の位置情報をインデックスとして表示する表示インターフェースと、
前記表示インターフェースに表示された前記インデックスを選択することにより、該当する画像をデータ蓄積部から読み出すデータ検索部と、
をさらに備え、
前記表示インターフェースは、前記地図情報記憶部から、蓄積された各画像の位置情報に応じた地図情報を読み出し、この読み出した該地図情報上における、各位置情報に対応した位置に、各画像の前記インデックスを表示する機能を有する
ことを特徴とする請求項1に記載の合成画像撮影システム。
【請求項5】
人物の顔部分を検出するとともに、検出した該顔部分の、前記基本画像中における座標位置を算出する顔検出部と、
前記顔検出部が検出した顔部分を構成する各パーツをベクトルデータとして抽出し、そのベクトルデータで特定される当該顔の特徴を管理情報として生成する管理情報生成部と
をさらに備え、
前記地域画像蓄積部は、前記位置情報と、前記管理情報とに関連付けられた顔パーツを集積したパーツライブラリーを、前記地域画像データの一部として蓄積し、
前記画像選択部は、前記位置情報と前記管理情報とに基づいて、パーツライブラリー中からパーツを抽出し、
前記画像合成部は、前記抽出されたパーツを合成してキャラクター生成する機能を有している
ことを特徴とする請求項1に記載の合成画像撮影システム。
【請求項6】
前記パーツライブラリーでは、該パーツライブラリー内に集積されたパーツ毎に文章情報が付加されており、前記画像合成部によるキャラクター生成において、合成されたパーツの組み合わせに応じて、前記文章情報により文章が構築されることを特徴とする請求項5に記載の合成画像撮影システム。
【請求項7】
撮像部により画像を撮影する撮像ステップと、
撮影時における自機の位置を示す位置情報を取得し、記録する位置情報取得ステップと、
予め位置情報に地域画像データを関連付けて蓄積した地域画像蓄積部から、前記位置情報取得部が記録した撮影時の位置情報に基づいて、該位置情報に関連付けられた前記地域画像データを選択する画像選択ステップと、
前記撮影部が撮像した画像を基本画像とし、この基本画像に対して、前記画像選択部が選択した地域画像データを合成する画像合成ステップと
を含むことを特徴とする合成画像撮影方法。
【請求項8】
前記画像合成ステップに先行させて、人物の顔部分を検出するとともに、検出した該顔部分の、前記基本画像中における座標位置を算出する顔検出ステップをさらに含み、
前記画像合成ステップでは、前記顔検出ステップで検出された顔部分の座標位置を基準として、前記基本画像に対して前記地域画像データを合成する
ことを特徴とする請求項7に記載の合成画像撮影方法。
【請求項9】
前記撮像ステップに先行させて、撮影対象となる人物の所定の表情を認識する表情認識ステップをさらに含み、
前記撮像ステップでは、前記表情認識ステップにおいて、前記表情を認識した瞬間に、自動的に撮影処理を実行する
ことを特徴とする請求項7に記載の合成画像撮影方法。
【請求項10】
前記撮像部により撮影された画像を、前記位置情報取得部が取得した位置情報と関連付けてデータ蓄積部に蓄積するデータ蓄積ステップと、
蓄積された画像の位置情報を表示インターフェースにインデックスとして表示するとともに、表示された前記インデックスを選択することにより、該当する画像をデータ蓄積部から読み出すデータ検索ステップと、
をさらに含む、
前記表示インターフェースは、地図情報を記憶保持する地図情報記憶部から、蓄積された各画像の位置情報に応じた地図情報を読み出し、この読み出した該地図情報上における、各位置情報に対応した位置に、各画像の前記インデックスを表示する
ことを特徴とする請求項7に記載の合成画像撮影方法。
【請求項11】
前記画像合成ステップに先行させて、人物の顔部分を検出するとともに、検出した該顔部分の、前記基本画像中における座標位置を算出する顔検出ステップと、
前記顔検出ステップで検出した顔部分を構成する各パーツを、ベクトルデータとして抽出し、そのベクトルデータで特定される当該顔の特徴を管理情報として生成する管理情報生成ステップと
をさらに備え、
前記地域画像蓄積部に、前記位置情報と前記管理情報とに関連付けられた顔パーツを集積したパーツライブラリーを、前記地域画像データの一部として蓄積しておき、
前記画像選択ステップでは、前記位置情報と前記管理情報とに基づいて、パーツライブラリー中からパーツを抽出し、
前記画像合成ステップでは、前記抽出されたパーツを合成してキャラクター生成する
ことを特徴とする請求項7に記載の合成画像撮影方法。
【請求項12】
前記パーツライブラリーでは、該パーツライブラリー内に集積されたパーツ毎に文章情報が付加されており、前記画像合成ステップによるキャラクター生成において、合成されたパーツの組み合わせに応じて、前記文章情報により文章が構築されることを特徴とする請求項11に記載の合成画像撮影方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2010−10816(P2010−10816A)
【公開日】平成22年1月14日(2010.1.14)
【国際特許分類】
【出願番号】特願2008−164908(P2008−164908)
【出願日】平成20年6月24日(2008.6.24)
【出願人】(503090533)株式会社キャメロット (6)
【Fターム(参考)】