説明

画像合成装置

【課題】ユーザによる画像選択の手間をかけさせずに、ユーザの好みの合成画像を作成できる画像合成装置を提供すること。
【解決手段】記事記録部2aに記録されている記事の内容からユーザの嗜好を示すキーワードが抽出され、抽出されたキーワードに対応した画像が外部データベース31から検索されるとともに、この画像の合成位置が位置決定部5によって決定される。これらの情報に従って合成部8において外部データベース31から検索された画像と身体画像記録部2bに記録された身体画像とが合成される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の画像を合成する画像合成装置に関する。
【背景技術】
【0002】
従来、複数の画像を合成して新たな画像を生成する技術に関する提案として、例えば、特許文献1には、ユーザが自分の好みの画像データをフレーム画像データとして持ち込み、このフレーム画像データとそのときユーザを撮影して得られた画像データとを合成することで、ユーザが好みとする画像のプリントシールを簡単に作成することができる装置が提案されている。また、特許文献2には、ユーザが自分で撮影したり、取り込んだりして取得した好みの画像を背景画像として合成して写真シールを作成する装置が提案されている。
【特許文献1】特開2000−50190号公報
【特許文献2】特開平11−69271号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
ここで、特許文献1及び2の何れも、合成する画像や画像の合成位置をユーザが選ばなければならないため、ユーザに不便さを感じさせることも考えられる。
【0004】
本発明は、上記の事情に鑑みてなされたもので、ユーザによる画像選択の手間をかけさせずに、ユーザの好みの合成画像を作成できる画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記の目的を達成するために、本発明の第1の態様の画像合成装置は、画像又は文章を含む記事を作成者毎に記録する記録部と、上記記事から上記作成者を特徴づけるキーワードを抽出する抽出部と、上記抽出されたキーワードに従って検索した第1の画像と上記作成者の顔を少なくとも含む身体に係る第2の画像とを合成する合成部とを具備することを特徴とする。
【発明の効果】
【0006】
本発明によれば、ユーザによる画像選択の手間をかけさせずに、ユーザの好みの合成画像を作成できる画像合成装置を提供することができる。
【発明を実施するための最良の形態】
【0007】
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る画像合成装置を有する画像表示システムの構成を示す図である。図1に示す画像表示システムは、サーバ1と、端末21とを有し、これらがネットワーク41を介して通信自在に接続されている。さらに、サーバ1には外部データベース31が通信自在に接続されている。
【0008】
サーバ1は、記録部2と、キーワード抽出部3と、画像検索部4と、位置決定部5と、内部データベース6と、顔位置判定部7と、合成部8と、表示制御部9とを有している。
【0009】
記録部2は、記事記録部2aと、身体画像記録部2bとを有している。記事記録部2aは、ユーザが作成した記事を作成者毎に記録する。なお、ここでの記事は、ユーザが作成した文章と画像の少なくとも何れかから構成されているものである。身体画像記録部2bは、ユーザの身体画像をユーザ毎に記録する。なお、ここでの身体画像は、少なくともユーザの顔を含む画像である。
【0010】
キーワード抽出部3は、記事記録部2aに記録されている記事の内容を解析してユーザの嗜好を判断し、その判断結果に基づいてキーワードを抽出する。ここで、記事に文章が含まれている場合には、例えば、その文章を単語単位で解析し、文章中の出現頻度の高いもの(動物、食べ物、小物等)をキーワードとして抽出する。また、記事に画像が含まれている場合には、例えばその画像を認識処理することによって画像内の被写体の名称を判断し、その名称をキーワードとして抽出する。
【0011】
画像検索部4は、キーワード抽出部3で抽出されたキーワードに対応する画像を外部データベース31から検索し、検索した画像を合成部8に出力する。位置決定部5は、キーワード抽出部3で抽出されたキーワードに対応する画像の合成位置の情報を内部データベース6から検索し、検索した合成位置情報を合成部8に出力する。
【0012】
内部データベース6は、各種のキーワードとその合成位置とを対応付けて記憶している。図2に、内部データベース6の詳細を示す。図2は、画像の合成位置が被写体の顔の場合を示している。そして、CDやレコード等の聞くものは耳に関係があるとして合成位置を耳としている。同様に、たこやきやたいやき等の食べるものは口に関係があるとして合成位置を口としている。また、香水や花等のにおいを嗅げるものは、鼻に関係があるとして合成位置を鼻としている。さらに、眼鏡等の目に装着できるものは目に関係があるとして合成位置を目としている。
【0013】
顔位置判定部7は、身体画像記録部2bに記録されているユーザの身体画像における顔部分を判定し、さらに判定した顔部分の画像の陰影分布から顔部の各器官(目、鼻、口、及び耳)の位置を判定して、その位置情報を身体画像記録部2bに記録されているユーザの身体画像とともに合成部8に出力する。
【0014】
合成部8は、顔位置判定部7から入力されたユーザの身体画像と画像検索部4から入力された画像とを、位置決定部5から入力された合成位置情報に従って合成する。表示制御部9は、合成部8で得られた合成画像を端末21に表示可能なように制御する。
【0015】
端末21は、ウェブページをブラウジングするためのソフトウェアがインストールされ、ウェブページ上で各種の操作を行うためのマウスやキーボードといった操作部や液晶ディスプレイ等の表示部を有するコンピュータである。外部データベース31は、キーワードに対応した各種の画像を記憶している。
【0016】
以下、図1に示す画像表示システムの動作について説明する。図3は、サーバ1による合成画像の表示制御について示したフローチャートである。ここで、記事記録部2aには、ユーザが作成した記事が予め記録されており、身体画像記録部2bには、図4(a)で示すような、ユーザの顔を含む身体画像が予め記録されているものとする。
【0017】
ユーザによる端末21の操作によって合成画像の表示が指示されると、顔位置判定部7によって、端末21に対応したユーザの身体画像が身体画像記録部2bから取得される(ステップS1)。その後、顔位置判定部7において身体画像における顔部が検出され、さらに顔部内の各器官の位置が判定される(ステップS2)。
【0018】
続いて、記事記録部2aに記録されている記事がキーワード抽出部3により取得され、取得された記事からキーワードが抽出される(ステップS3)。ここで、キーワードは複数抽出するようにしても良い。次に、抽出されたキーワードの中から1つのキーワードが選択され、選択されたキーワードに従って、画像検索部4により外部データベース31から画像が検索される(ステップS4)。
【0019】
その後、位置決定部5において内部データベース6が参照され、キーワード抽出部3により選択されたキーワードが口と関係するキーワードであるかが判定される(ステップS5)。ステップS5の判定において、キーワード抽出部3により選択されたキーワードが食べ物等の口と関係するキーワードである場合には、合成位置が口に設定される(ステップS6)。その後に、処理がステップS14に移行する。また、ステップS5の判定において、キーワード抽出部3により選択されたキーワードが口と関係するキーワードでない場合には、キーワード抽出部3により選択されたキーワードが鼻と関係するキーワードであるかが判定される(ステップS7)。ステップS7の判定において、キーワード抽出部3により選択されたキーワードが香水等の鼻と関係するキーワードである場合には、合成位置が鼻に設定される(ステップS8)。その後に、処理がステップS14に移行する。また、ステップS7の判定において、キーワード抽出部3により選択されたキーワードが鼻と関係するキーワードでない場合には、キーワード抽出部3により抽出されたキーワードが耳と関係するキーワードであるかが判定される(ステップS9)。ステップS9の判定において、キーワード抽出部3により選択されたキーワードがCD等の耳と関係するキーワードである場合には、合成位置が耳に設定される(ステップS10)。その後に、処理がステップS14に移行する。また、ステップS9の判定において、キーワード抽出部3により選択されたキーワードが耳と関係するキーワードでない場合には、キーワード抽出部3により選択されたキーワードが目と関係するキーワードであるかが判定される(ステップS11)。ステップS11の判定において、キーワード抽出部3により選択されたキーワードが眼鏡等の目と関係するキーワードである場合には、合成位置が目に設定される(ステップS12)。その後に、処理がステップS14に移行する。また、ステップS11の判定において、キーワード抽出部3により選択されたキーワードが目と関係するキーワードでない場合には、合成位置が所定の合成位置(上述の顔の各器官の位置とは異なる位置)に設定される(ステップS13)。その後に、処理がステップS14に移行する。
【0020】
ステップS5〜ステップS13の処理によって合成位置が設定された後、合成部8において画像の合成が行われる(ステップS14)。例えば、眼鏡の画像は、図4(b)の参照符号101で示すようにして被写体の目の位置に合成し、被写体があたかも眼鏡をかけているかのような画像を合成する。同様に、レコードの画像は図4(b)の参照符号102で示すようにして被写体の耳の近くの位置に合成し、ソフトクリームの画像は図4(c)の参照符号103で示すようにして被写体の口の位置に合成する。このようにして被写体の嗜好に応じて検索された画像が、その画像の関係する顔の位置に合成される。
【0021】
ステップS14において、画像の合成がなされた後、表示制御部9の制御により合成された画像が端末21に表示される(ステップS15)。この合成画像はユーザによる端末21の操作によって自由にダウンロードすることが可能である。合成画像が端末21に表示された後、画像を合成していないキーワードがまだ残っているかが判定される(ステップS16)。ステップS16の判定において、キーワードが残っている場合には、別のキーワードへの切り替えがなされた後(ステップS17)、処理がステップS4に戻る。
【0022】
図5は、図3のステップS2における顔部の検出処理の一例を示すフローチャートである。
【0023】
まず、顔部の基準パターンの設定が行われる(ステップS101)。図6の参照符号201は顔部基準パターンの一例を示している。この顔部基準パターン201と身体画像記録部2bから読み出された身体画像202との間でマッチング処理によって顔位置の検出を行う。ここで、通常、撮影によって得られる画像における顔の大きさや向きは様々であるため、顔部基準パターン201も顔の向きや大きさに対応して複数用意しておく。ステップS101の処理は、複数用意しておいた顔部基準パターン201の中から1つを設定する処理である。
【0024】
次に、身体画像202の顔部202a(実際には顔部202a以外も含まれる)と顔部基準パターン201との間でマッチング処理が行われる(ステップS102)。これは、顔部基準パターン201によって身体画像202を走査しながら両者の一致度を例えば相関演算によって求める処理である。このマッチング処理の後、顔部基準パターン201がマッチングした位置が存在していたか否か、即ち身体画像202と顔部基準パターン201との一致度が所定量以上高い位置が画像内に存在していたかが判定される(ステップS103)。ステップS103の判定において、マッチング位置が存在していた場合には、その位置の画像が顔部の画像として検出され、その部分の画像の陰影分布から目、鼻、口、耳といった顔の各器官の位置が検出される(ステップS104)。
【0025】
一方、ステップS103の位置において、マッチング位置が存在していない場合には、画像内の顔部の向きや大きさが顔部基準パターン201と異なっている可能性がある。また、画像内に複数の顔部が存在している場合には1つの顔部基準パターン201で全ての顔部を検出できるとは限らない。そこで、ステップS103に判定においてマッチング位置が存在していない場合、若しくはステップS104の後、顔検出処理を終了するか否かが、全ての顔部基準パターン201を用いてマッチング処理を行ったか否かを判定することによって判定される(ステップS105)。ステップS105の判定において、まだ、全ての顔部基準パターン201を用いてマッチング処理が行われていない場合には、別の顔部基準パターンへの切り替えがなされた後(ステップS106)、処理がステップS102に戻り、再びマッチング処理が行われる。一方、全ての顔部基準パターン201を用いてマッチング処理が行われた場合には、顔部の位置情報が合成部8に出力されて顔検出処理が終了する。
【0026】
以上説明したように、本実施形態によれば、ユーザが以前に作成した記事から、ユーザの嗜好を判定し、その嗜好に即した画像を合成することにより、ユーザに画像選択の手間をかけさせずに、ユーザの好みの合成画像を作成することができる。また、キーワードに応じた最適な位置に画像が合成されるので、ユーザの操作量をさらに低減させることが可能である。
【0027】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した例では、1つのキーワードに対する画像の合成位置が1箇所となるが、これを複数箇所としても良い。これにより、例えば、キーワードが動物の場合に、被写体の顔に該動物の耳と鼻、ひげ等の画像を一度に合成したりすることも可能である。
【0028】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【0029】
【図1】本発明の一実施形態に係る画像合成装置を有する画像表示システムの構成を示す図である。
【図2】内部データベースの詳細を示す図である。
【図3】サーバによる合成画像の表示制御について示したフローチャートである。
【図4】画像合成の例を示した図である。
【図5】顔部の検出処理の一例を示すフローチャートである。
【図6】顔部基準パターンの一例について示す図である。
【符号の説明】
【0030】
1…サーバ、2…記録部、2a…記事記録部、2b…身体画像記録部、3…キーワード抽出部、4…画像検索部、5…位置決定部、6…内部データベース、7…顔位置判定部、8…合成部、9…表示制御部、21…端末、31…外部データベース、41…ネットワーク

【特許請求の範囲】
【請求項1】
画像又は文章を含む記事を作成者毎に記録する記録部と、
上記記事から上記作成者を特徴づけるキーワードを抽出する抽出部と、
上記抽出されたキーワードに従って検索した第1の画像と上記作成者の顔を少なくとも含む身体に係る第2の画像とを合成する合成部と、
を具備することを特徴とする画像合成装置。
【請求項2】
上記合成部は、上記作成者の顔を構成する少なくとも1つの器官と上記キーワードとの関係を記録したデータベースと、
上記データベースに従って上記第2の画像に対する上記第1の画像の合成位置を決定する決定部と、
を有することを特徴とする請求項1に記載の画像合成装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2008−310502(P2008−310502A)
【公開日】平成20年12月25日(2008.12.25)
【国際特許分類】
【出願番号】特願2007−156514(P2007−156514)
【出願日】平成19年6月13日(2007.6.13)
【出願人】(000000376)オリンパス株式会社 (11,466)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】