画像提供装置、画像処理方法、画像処理プログラム及び記録媒体
【課題】未完成状態のモザイク画像であっても元画像の絵柄の視認性が高いモザイク画像を提示する。
【解決手段】画像提供装置は、ユーザにより指定された画像を取得する画像取得手段と、取得された画像の色情報と、領域の色情報と、に基づいて、取得された画像の割り当ての候補となる領域を決定する候補決定手段と、候補として決定された領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段と、取得されたエッジ度に基づいて、取得された画像を割り当てる領域を、候補として決定された領域の中から決定する割り当て決定手段と、割り当て決定手段により決定された割り当てに基づいて、取得された画像が配置されたモザイク画像をユーザへ提示する提示手段と、を備える。
【解決手段】画像提供装置は、ユーザにより指定された画像を取得する画像取得手段と、取得された画像の色情報と、領域の色情報と、に基づいて、取得された画像の割り当ての候補となる領域を決定する候補決定手段と、候補として決定された領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段と、取得されたエッジ度に基づいて、取得された画像を割り当てる領域を、候補として決定された領域の中から決定する割り当て決定手段と、割り当て決定手段により決定された割り当てに基づいて、取得された画像が配置されたモザイク画像をユーザへ提示する提示手段と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末装置から取得された画像を組み合わせてできるモザイク画像をユーザへ提示する画像提供装置及び画像処理方法の技術分野に関する。
【背景技術】
【0002】
従来、例えば広告やイベントの告知等に用いられるポスターやWebページ等における画像の表現手法として、素材となる複数の画像(以下、「素材画像」という)をタイル状に配置してモザイク画像(例えば、モザイクアート、フォトモザイク等)として表現する方法が知られている。この表現方法においては、例えば、モザイク画像の絵柄の元となる画像(以下、「元画像」という)が複数の領域に分割される。そして、各素材画像が、例えば色調、模様等が近い領域に割り当てられる。これにより、元画像の絵柄を表現するモザイク画像が生成される。
【0003】
また、サーバ装置が、ユーザから素材画像として提供される画像をネットワークを介して端末装置から取得し、取得した画像を用いて生成したモザイク画像を端末装置に表示させる技術が知られている。この場合、如何なる画像が素材画像となるかは、基本的に画像を提供するユーザの判断にゆだねられる。そのため、このような画像を素材画像として用いる場合には、元画像の絵柄の視認性が高いモザイク画像を如何にして生成するかが課題となる。
【0004】
例えば、特許文献1には、視認性が高いモザイク画像を提供することを目的とする技術が開示されている。具体的には、モザイク画像提供装置が、モザイク画像の元となる対象画像を分割した複数のブロックの中からユーザが投稿した素材画像の配置対象となるブロックを決定するとき、ユーザが選択したブロックを配置対象として決定し、または、ブロックの画像に制限されることなく自動的に配置対象を決定する。また、モザイク画像提供装置が、素材画像の基本色の平均濃度値が、配置対象のブロックの基本色の平均濃度値となるように、素材画像を色補正する。また、ユーザから投稿された素材画像の数がモザイク画像の完成に必要な数に到達するまでは、一部のブロックに対してのみ素材画像が配置された状態のモザイク画像が端末装置に表示される。つまり、未完成状態のモザイク画像が表示される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−4166号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載の技術により生成される未完成状態のモザイク画像では、元画像の絵柄の視認性が高いとはいえない。その理由は、素材画像の配置対象となるブロックの決定方法に特段の基準がないからである。つまり、配置対象となるブロックが元画像の絵柄とは無関係に決定されるため、元画像の絵柄の視認性の向上に資するブロック(例えば、絵柄の輪郭部分、特徴部分等)に素材画像が配置されていない状態でモザイク画像が生成されることがあるためである。
【0007】
仮に、色調や模様等が近いブロックに素材画像が配置されたとしても、そのことが直ちに元画像の絵柄の視認性を高めるとはいえない。色調や模様等が近いブロックが、元画像の絵柄の視認性の向上に資するブロックであるとは限らないからである。
【0008】
本願発明は、以上の点に鑑みてなされたものであり、未完成状態のモザイク画像であっても元画像の絵柄の視認性が高いモザイク画像を提示することができる画像提供装置、画像処理方法、画像処理プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために、請求項1に記載の発明は、複数の領域に分割された元画像のモザイク画像を提供する画像提供装置であって、ユーザにより指定された画像を取得する画像取得手段と、前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定手段と、前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段と、前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定手段と、前記割り当て決定手段により決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示手段と、を備えることを特徴とする。
【0010】
この発明によれば、割り当て先の候補となった領域におけるエッジの度合いに基づいて、画像が割り当てられる領域が決定されるので、元画像の絵柄の視認性の向上に資する領域に画像を優先的に割り当てることができる。そのため、未完成状態のモザイク画像であっても元画像の絵柄の視認性が高いモザイク画像を提示することができる。
【0011】
請求項2に記載の発明は、請求項1に記載の画像提供装置において、前記領域の画像に含まれるエッジの度合いを示す第1エッジ度を計算する第1計算手段を更に備え、前記エッジ度取得手段は、前記計算された第1エッジ度を前記エッジ度として取得することを特徴とする。
【0012】
この発明によれば、割り当て先の候補となった領域内の画像におけるエッジの度合いに基づいて、画像が割り当てられる領域が決定されるので、元画像の絵柄の視認性の向上に資する画像を含む領域に画像を優先的に割り当てることができる。
【0013】
請求項3に記載の発明は、請求項2に記載の画像提供装置において、ある前記領域の前記第1エッジ度と、前記ある領域に隣接する前記領域の前記第1エッジ度と、に基づいて、前記ある領域におけるエッジの度合いを示す第2エッジ度を計算する第2計算手段であり、各前記第1エッジ度が高いほど前記第2エッジ度が高くなるように計算する第2計算手段を更に備え、前記エッジ度取得手段は、前記計算された第2エッジ度を前記エッジ度として取得することを特徴とする。
【0014】
この発明によれば、元画像の絵柄の視認性の向上に資する画像を含む領域と、その領域に隣接する領域と、に優先的に画像を割り当てることができる。そのため、これらの領域に画像が割り当てられることにより、元画像の絵柄の視認性をより高めることができる。
【0015】
請求項4に記載の発明は、請求項3に記載の画像提供装置において、前記第2計算手段は、前記ある領域の前記第1エッジ度の重みが、前記隣接する領域の前記第1エッジ度の重みよりも重くなるように、各前記第1エッジ度に重み付けして前記第2エッジ度を計算することを特徴とする。
【0016】
この発明によれば、元画像の絵柄の視認性の向上に資する画像を含む領域と、その領域に隣接する領域と、に優先的に画像を割り当てながらも、元画像の絵柄の視認性の向上に資する画像を含む領域の方により優先的に画像が割り当てることができる。そのため、元画像の絵柄の視認性をより高めることができる。
【0017】
請求項5に記載の発明は、請求項1乃至4の何れか1項に記載の画像提供装置において、前記割り当て決定は、前記取得されたエッジ度が最も高い前記領域を、前記取得された画像を割り当てる領域に決定することを特徴とする。
【0018】
この発明によれば、割り当て先の候補となった領域におけるエッジの度合いが最も高い領域に画像が割り当てられる。そのため、元画像の絵柄の視認性の向上に資する領域に画像を優先的に割り当てることができる。
【0019】
請求項6に記載の発明は、請求項1乃至5の何れか1項に記載の画像提供装置において、前記取得された画像の代表色を値で示す色情報と、前記領域の代表色を値で示す色情報と、を取得する色情報取得手段を更に備え、前記候補決定手段は、前記取得された画像の前記色情報の値と、前記領域の前記色情報の値と、の差が閾値以下である前記領域を前記候補として決定することを特徴とする。
【0020】
この発明によれば、取得された画像と代表する色が近い領域に画像が割り当てられる。そのため、元画像の絵柄の視認性をより高めることができる。
【0021】
請求項7に記載の発明は、複数の領域に分割された元画像のモザイク画像を提供する画像提供装置における画像処理方法であって、ユーザにより指定された画像を取得する画像取得ステップと、前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定ステップと、前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得ステップと、前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定ステップと、前記割り当て決定ステップにおいて決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示ステップと、を含むことを特徴とする。
【0022】
請求項8に記載の発明は、複数の領域に分割された元画像のモザイク画像を提供する画像提供装置に含まれるコンピュータを、ユーザにより指定された画像を取得する画像取得手段、前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定手段、前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段、前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定手段、及び、前記割り当て決定手段により決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示手段、として機能させることを特徴とする。
【0023】
請求項9に記載の発明は、複数の領域に分割された元画像のモザイク画像を提供する画像提供装置に含まれるコンピュータを、ユーザにより指定された画像を取得する画像取得手段、前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定手段、前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段、前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定手段、及び、前記割り当て決定手段により決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示手段、として機能させる画像処理プログラムがコンピュータ読み取り可能に記録されていることを特徴とする。
【発明の効果】
【0024】
本発明によれば、割り当て先の候補となった領域におけるエッジの度合いに基づいて、画像が割り当てられる領域が決定されるので、元画像の絵柄の視認性の向上に資する領域に画像を優先的に割り当てることができる。そのため、未完成状態のモザイク画像であっても元画像の絵柄の視認性が高いモザイク画像を提示することができる。
【図面の簡単な説明】
【0025】
【図1】一実施形態に係るモザイク画像提供システムSの概要構成の一例を示す図である。
【図2】元画像100を480個の分割領域に分割した場合の例を示す図である。
【図3】(a)は、完成した状態のモザイク画像300aの一例を示す図であり、(b)は、未完成状態のモザイク画像300bの一例を示す図である。
【図4】一実施形態に係るモザイク画像提供サーバ1の概要構成の一例を示すブロック図である。
【図5】(a)は、一実施形態に係る会員情報DB12aに登録される内容の一例を示す図であり、(b)は、元画像DB12bに登録される内容の一例を示す図であり、(c)は、分割領域情報に設定される内容の一例を示す図であり、(d)は、投稿画像DB12cに登録される内容の一例を示す図であり、(e)は、投稿画像情報に設定される内容の一例を示す図であり、(f)は、モザイク画像DB12dに登録される内容の一例を示す図である。
【図6】(a)は、元画像100を90個の分割領域に分割した場合の例を示す図であり、(b)は、元画像100の各分割領域の基本エッジ度の一例を示す図である。
【図7】(a)は、元画像100の各分割領域の拡張エッジ度の一例を示す図であり、(b)は、各分割領域のエッジ度に対する重み係数の一例を示す図である。
【図8】(a)は、注目領域の基本エッジ度の重みを重くした場合の拡張エッジ度の一例を示す図であり、(b)は、注目領域の基本エッジ度の重みを重くした場合の各分割領域のエッジ度に対する重み係数の一例を示す図である。
【図9】一実施形態に係るモザイク画像提供サーバ1のシステム制御部14の元画像登録処理における処理例を示すフローチャートである。
【図10】一実施形態に係る画像投稿・モザイク画像表示ページ400の画面表示例を示す図である。
【図11】一実施形態に係るモザイク画像提供サーバ1のシステム制御部14の投稿画像受信時処理における処理例を示すフローチャートである。
【発明を実施するための形態】
【0026】
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、モザイク画像提供システムに対して本発明を適用した場合の実施形態である。
【0027】
[1.モザイク画像提供システムの構成及び機能概要]
先ず、本実施形態に係るモザイク画像提供システムSの構成及び機能概要について、図1乃至図3を用いて説明する。図1は、本実施形態に係るモザイク画像提供システムSの概要構成の一例を示す図である。
【0028】
図1に示すように、モザイク画像提供システムSは、モザイク画像提供サーバ1と、複数のユーザ端末2と、を含んで構成されている。そして、モザイク画像提供サーバ1及び各ユーザ端末2は、ネットワークNWを介して、例えば、通信プロトコルにTCP/IP等を用いて相互にデータの送受信が可能になっている。なお、ネットワークNWは、例えば、インターネット、専用通信回線(例えば、CATV(Community Antenna Television)回線)、移動体通信網(基地局等を含む)、及びゲートウェイ等により構築されている。
【0029】
モザイク画像提供サーバ1(本発明における画像提供装置の一例)は、素材となる複数の画像をタイル状に配置して(組み合わせて)できるモザイク画像が表示されるWebページをユーザ端末2へ送信するWebサーバである。モザイク画像提供サーバ1は、素材となる画像を収集するため、ネットワークNWを介して各ユーザ端末2から画像を取得する。ユーザ端末2から取得される画像は、ユーザにより投稿された画像(以下、「投稿画像」という)である。
【0030】
ユーザ端末2は、モザイク画像提供システムSを利用するユーザの端末装置である。ユーザ端末2は、ユーザからの操作に基づいて、モザイク画像提供サーバ1にアクセスする。これにより、ユーザ端末2は、モザイク画像提供サーバ1からWebページを受信して表示する。ユーザは、ユーザ端末2の画面に表示されるWebページを通じて、モザイク画像の素材となる画像を投稿したり、モザイク画像を表示させたりする。ユーザ端末2には、ブラウザや電子メールクライアント等のソフトウェアが組み込まれている。ユーザ端末2としては、例えば、パーソナルコンピュータ、PDA(Personal Digital Assistant)、スマートフォン等の携帯情報端末、携帯電話機等が用いられる。
【0031】
このような構成のモザイク画像提供システムSにおいて、モザイク画像の絵柄の元となる画像が、例えば予め用意されている。この画像が元画像である。モザイク画像提供サーバ1は、モザイク画像が表す絵柄が、元画像が表す絵柄に近くなるように、投稿画像の配置を行う。
【0032】
図2は、元画像の一例を示す図である。図2に示す画像100は、歩いている馬及びその馬に乗っている騎手の絵柄を表す画像である。ここで、馬の色は焦げ茶色であるものとする。また、騎手のズボンの色は黄色であり、騎手の上着の色は水色であるものとする。また、背景の色は白色であるものとする。なお、それぞれが均一の色で塗りつぶされているのではなく、場所によってある程度の色の変化はあるものとする。
【0033】
元画像は、符号200で示される複数の領域(以下、「分割領域」という)に分割されている。例えば、画像100は、横20個及び縦24個の合計480個の分割領域に分割されている。分割領域の個数を、「分割数」という。各分割領域には、ユーザ端末2から取得された投稿画像が割り当てられる。投稿画像を分割領域に割り当てることは、モザイク画像内において、割り当て先の分割領域に対応する位置に、投稿画像を配置することを意味する。
【0034】
モザイク画像提供サーバ1は、ユーザ端末2から投稿画像を取得するたびに、投稿画像の割り当てを行い、その時点までに収集されている投稿画像が配置されたモザイク画像が表示されるWebページを生成する。従って、元画像の分割数分の投稿画像が収集されるまでは、未完成状態のモザイク画像がWebページに表示される。つまり、モザイク画像内において、投稿画像が配置されていない領域が存在する。この状態のモザイク画像は、それを見るユーザにとって、モザイク画像が表すべき元画像の絵柄を認識しにくいものとなる場合がある。
【0035】
そこで、モザイク画像提供サーバ1は、極力早い段階で元画像の絵柄を認識可能となるように、あるいは、収集されている投稿画像の数が多くはなくても元画像の絵柄の視認性が高くなるように、投稿画像を割り当てる分割領域を決定する。具体的に、モザイク画像提供サーバ1は、投稿画像と色が近い分割領域のうち、含まれるエッジの度合いが高い分割領域ほど優先的に投稿画像を割り当てる。エッジとは、例えば、画像の明度、色相、彩度等が急激に(鋭く)変化する部分をいう。モザイク画像提供サーバ1は、エッジの度合いを示す指標として、各分割領域のエッジ度を計算する。分割領域に含まれる画像の明度等が変化する度合いが高いほど、すなわち、エッジが強いほど、その分割領域のエッジ度が高くなる。また、分割領域に含まれるエッジの量が多いほど、その分割領域のエッジ度が高くなる。エッジ度が高い分割領域は、例えば、元画像の絵柄の輪郭部分、特徴部分、複雑な模様部分等であったりする。モザイク画像提供サーバ1は、このような部分に投稿画像を優先的に割り当てることで、元画像の絵柄の視認性を向上させる。
【0036】
図3(a)及び図3(b)は、モザイク画像の表示例を示す図である。図3(a)及び図3(b)に示すモザイク画像は、画像100を元画像とするモザイク画像である。図3(a)に示すモザイク画像は、完成した状態のモザイク画像300aである。つまり、480個全ての分割領域に投稿画像が割り当てられている。一方、図3(b)に示すモザイク画像は、未完成状態のモザイク画像300bである。モザイク画像300bにおいては、200個程度の分割領域に投稿画像が割り当てられている。画像100においては、馬の輪郭部分、騎手の輪郭部分、模様が細かい馬の尻尾部分等の分割領域のエッジ度が高くなる。そのため、これらの分割領域の方が、その他の分割領域よりも、投稿画像が割り当てられている度合いが高くなっている。従って、この状態であっても、モザイク画像300bから馬及び騎手の認識が比較的容易になっている。つまり、エッジ度に基づいて割り当てを行わない場合よりも、元画像の絵柄の視認性が高くなる。また、モザイク画像を見たユーザは、元画像の絵柄が如何なる絵柄であるかを比較的早い段階で認識することができたり、推測することができたりする。そのため、ユーザにとっては、例えば、如何なる画像を投稿すると良いかを判断しやすくなったり、投稿する画像がどの領域に割り当てられるかを予測しやすくなったりする。
【0037】
また、エッジ度がそれほど高くはない分割領域の中でも、エッジ度が高い分割領域に隣接する分割領域の方が、エッジ度が高い分割領域に隣接していない分割領域よりも、投稿画像が割り当てられている度合いが高くなっている。つまり、大筋では、エッジ度が高い分割領域、その分割領域の周囲にある分割領域の順で、優先的に投稿画像が割り当てられる。これにより、元画像の絵柄の視認性をより向上させることができる。
【0038】
なお、前述したように、本実施形態においては、投稿画像と色が近い分割領域に投稿画像を割り当てることとしている。そのため、投稿画像があまり収集されていない段階であっても、投稿画像の色によっては、エッジ度が高くはない分割領域に割り当てられることもある。また、これまでに収集された投稿画像の色等によっては、収集された投稿画像の数が同じであっても視認性が変化することはある。
【0039】
[2.モザイク画像提供サーバの構成]
次に、モザイク画像提供サーバ1の構成について、図4乃至図8を用いて説明する。
【0040】
図4は、本実施形態に係るモザイク画像提供サーバ1の概要構成の一例を示すブロック図である。図4に示すように、モザイク画像提供サーバ1は、通信部11と、記憶部12と、入出力インターフェース13と、システム制御部14と、を備えている。そして、システム制御部14と入出力インターフェース13とは、システムバス15を介して接続されている。
【0041】
通信部11は、ネットワークNWに接続して、ユーザ端末2等との通信状態を制御するようになっている。
【0042】
記憶部12は、例えば、ハードディスクドライブ等により構成されている。この記憶部12には、会員情報DB(データベース)12a、元画像DB12b、投稿画像DB12c及びモザイク画像DB12d等が構築されている。
【0043】
図5(a)は、本実施形態に係る会員情報DB12aに登録される内容の一例を示す図である。会員情報DB12aには、モザイク画像提供システムSに会員登録しているユーザに関する会員情報が登録される。具体的に、会員情報DB12aには、ユーザの識別情報であるユーザID、パスワード、ニックネーム、氏名、生年月日、性別、住所、電話番号、電子メールアドレス等が、ユーザごとに対応付けて登録される。
【0044】
図5(b)は、本実施形態に係る元画像DB12bに登録される内容の一例を示す図である。元画像DB12bには、元画像及び元画像に関する情報が登録されている。具体的に、元画像DB12bには、元画像の識別情報である元画像ID、元画像データ、分割数情報、複数の分割領域情報が元画像ごとに対応付けて登録される。
【0045】
元画像IDは、元画像の識別情報である。元画像データは、元画像の画像データである。モザイク画像提供システムSにおいて用いられる画像データのフォーマットとしては、例えば、JPEG(Joint Photographic Experts Group)、TIFF(Tagged-Image File Format)、PNG(Portable Network Graphics)等がある。
【0046】
分割数情報は、分割数を示す情報である。具体的に、分割数情報は、元画像の分割数、横分割数及び縦分割数を含む。横分割数は、横方向の分割数である。つまり、横分割数は、元画像の横方向に並ぶ分割領域の個数である。縦分割数は、縦方向の分割数である。つまり、縦分割数は、元画像の縦方向に並ぶ分割領域の個数である。元画像の分割数は、横分割数と縦分割数とを掛け合わせることにより得られる。
【0047】
分割領域情報は、分割領域に関する情報である。分割領域情報は、元画像の分割数分登録される。各分割領域情報は、対応する分割領域のインデックスに対応付けて登録される。各分割領域には、(X,Y)という形でインデックスが割り当てられる。ここで、Xは、横方向における分割領域の位置を示す。また、Yは、縦方向における分割領域の位置を示す。元画像の左上隅に位置する分割領域のインデックスが(0,0)となる。分割領域(X,Y)は、一番左からX+1番目に位置する分割領域のうち、一番上からY+1番目に位置する分割領域である。
【0048】
なお、元画像を複数の領域に分割することとは、元画像全体に相当する領域を複数の領域に分割することであり、元画像内の各画素がそれぞれ何れの領域に含まれているか(あるいは、各領域が何れの画素を含むか)を特定可能にすることをいう。システム制御部14は、元画像の縦横の画素数と、横分割数及び縦分割数とを取得することで、各画素が含まれる領域を特定することができる。そのため、元画像を複数の領域に分割することは、元画像の画像データを領域ごとの画像データに分割することを必ずしも意味するものとは限らない。よって、システム制御部14は、領域ごとの画像データを元画像DB12bに登録しても良いし、登録しなくても良い。
【0049】
図5(c)は、分割領域情報に設定される内容の一例を示す図である。図5(c)に示すように、分割領域情報には、代表色値、基本エッジ度及び拡張エッジ度が設定される。
【0050】
代表色値(本発明における色情報の一例)は、分割領域を代表する色(以下、「代表色」という)を示す値である。代表色は、例えば、分割領域全体の色を平均することにより得られる色であっても良いし、分割領域内において専有面積が最も大きい色であっても良い。代表色値は、例えば、R(赤)、G(緑)、B(青)の各基本色(原色)ごとの値を含む。R、G、Bの各値は、例えば、0から255までの何れかの値をとる。システム制御部14は、分割領域の代表色値と投稿画像の代表色値とを比較することにより、投稿画像を割り当てる分割領域の候補を決定する。なお、代表色値は、例えば、CMYK、Lab色空間等で表現されても良い。
【0051】
基本エッジ度(本発明における第1エッジ度の一例)は、エッジ度の一種であり、後述する拡張エッジ度の計算に用いられる。基本エッジ度は、分割領域内の画像そのものに含まれるエッジの度合いを示す。基本エッジ度は、システム制御部14により計算される。先ず、システム制御部14は、分割領域に含まれる各画素の画素エッジ度を計算する。画素エッジ度は、画素そのもののエッジの強さを示す。具体的に、システム制御部14は、注目画素(画素エッジ度の計算対象となっている画素)の値と、注目画素に隣接する各画素の値との差を計算する。この計算は、基本色ごとに行われる。注目画素に隣接する画素は、注目画素の上下左右及び斜め方向に位置する8画素である。そして、システム制御部14は、基本色ごとに計算した差を足し合わせ、更に8画素分の差を足し合わせて、画素エッジ度を算出する。これらの処理を式で示すと、下記の式1となる。
【0052】
【数1】
式1において、xは、注目領域(基本エッジ度の計算対象となっている分割領域)の左上隅にある画素を基準とした注目画素のX座標であり、yは、注目領域の左上隅にある画素を基準とした注目画素のY座標である。また、R(x,y)、G(x,y)及びB(x,y)は、座標(x,y)にある画素のRの画素値、Gの画素値及びBの画素値である。また、EP(x,y)は、座標(x,y)にある画素の画素エッジ度である。なお、システム制御部14は、基本色ごとに計算した差の絶対値をとって、その絶対値を足し合わせる代わりに、基本色ごとに計算した差の二乗をそれぞれ計算して、その計算結果を足しあわせても良い。
【0053】
次に、システム制御部14は、分割領域内の全画素の画素エッジ度を足し合わせて、その分割領域の基本エッジ度を算出する。この処理を式で示すと、下記の式(2)となる。
【0054】
【数2】
式2において、EB(X,Y)は、分割領域(X,Y)の基本エッジ度である。また、wは、分割領域の横の画素数であり、lは、分割領域の縦の画素数である。なお、基本エッジ度の計算方法は、ここで説明された方法に限定されるものではない。例えば、システム制御部14は、画素エッジ度を計算する際、注目画素の上下左右に位置する4画素のみについて画素値の差を計算しても良い。また、システム制御部14は、基本色ごとに画素値の差を計算するのではなく、例えば、注目画素の色とこれに隣接する画素の色との距離を計算し、色の距離を足し合わせて画素エッジ度を計算しても良い。
【0055】
図6(a)(b)は、基本エッジ度の計算例を説明するための図である。図6(a)は、元画像100を、図2に示したものとは異なる分割数で分割した場合の例である。図6(a)では、元画像100は、符号210で示される複数の分割領域に分割されている。具体的に、横9個及び縦10個の合計90個の分割領域に分割されている。図6(b)は、元画像100の各分割領域の基本エッジ度の一例を示す図である。なお、図6(b)は、各分割領域の基本エッジ度の違いが分かりやすいよう、正規化された基本エッジ度を示す。図6(b)に示すように、エッジを全く含まない分割領域の基本エッジ度は0になっている。一方、馬の輪郭や騎手の輪郭を含む分割領域の基本エッジ度は、輪郭の長さに応じて高くなっている。特に、背景と明度の差が大きい馬の輪郭部分については、エッジ度が高くなっている。また、線が多い馬の尻尾部分(例えば、分割領域(0,6)、(0,7))や、模様が複雑な騎手の手元部分(例えば、分割領域(4,3))も、エッジ度が高くなっている。
【0056】
拡張エッジ度(本発明における第2エッジ度の一例)は、エッジ度の一種であり、投稿画像を割り当てる分割領域を決定するために用いられる。拡張エッジ度は、注目領域(拡張エッジ度の計算対象となっている分割領域)に隣接する分割領域の基本エッジ度を反映したエッジ度である。基本エッジ度も、システム制御部14により計算される。具体的に、システム制御部14は、注目領域の基本エッジ度と、これに隣接する8個の分割領域の基本エッジ度とを足し合わせる。そして、システム制御部14は、算出した合計値を、基本エッジ度を足し合わせた分割領域の個数で割ることにより、拡張エッジ度を算出する。つまり、システム制御部14は、基本エッ度の単純な相加平均を計算する。これらの処理を式で示すと、下記の式(3)となる。
【0057】
【数3】
式3において、EE(X,Y)は、分割領域(X,Y)の拡張エッジ度である。なお、分割領域によっては、隣接する分割領域が5個のみである場合や、3個のみである場合がある。このような場合、式3における1/9は、1/6または1/4に変更される。これは、分割領域の位置により、算出される拡張エッジ度が不均衡とならないようにするためである。
【0058】
図7(a)は、90個の分割領域に分割された元画像100の各分割領域の拡張エッジ度の一例を示す図である。図7(a)に示すように、基本エッジ度が低い分割領域であっても、周囲の分割領域において基本エッジ度が高い分割領域は、拡張エッジ度が基本エッジ度よりも高くなっている(例えば、馬の尻尾と馬の後ろ足の画像に囲まれた背景部分の分割領域(0,8)、周囲を馬の輪郭で覆われた馬の胴体部分の分割領域(3,7)等)。システム制御部14が、投稿画像を割り当てる分割領域を決定するとき、拡張エッジ度が高い分割領域に優先的に割り当て先として決定する。従って、基本エッジ度が高い分割領域に優先的に投稿画像が割り当てられるとともに、周囲の分割領域の基本エッジ度が高い分割領域に優先的に投稿画像が割り当てられる。
【0059】
ところで、式3における1/9は、各基本エッジ度に掛け合わされる重み係数に相当するものといえる。図7(b)は、注目領域に対する重み係数と、注目領域に隣接する分割領域に対する重み係数と、を示す図である。図7(b)に示すように、式3の場合は、全ての分割領域の基本エッジ度に同一の重み係数が掛けられることになる。つまり、全ての分割領域の基本エッジ度の重みは同一である。このようにした場合、注目領域の基本エッジ度が高くても、周囲の分割領域の基本エッジ度が低いと、拡張エッジ度が低くなる。その逆に、注目領域の基本エッジ度が低くても、周囲の分割領域の基本エッジ度が高いと、拡張エッジ度が高くなる。そうすると、分割領域間において、画像に含まれているエッジの度合いが高い分割領域よりも、画像に含まれているエッジの度合いが低い分割領域の方が優先的に投稿画像が割り当てられる可能性がある。そこで、極力基本エッジ度が高い分割領域に優先的に投稿画像が割り当てられるように、拡張エッジ度を計算する際の注目領域の基本エッジ度の重みを重くしても良い。
【0060】
図8(a)は、注目領域の基本エッジ度の重みを重くした場合の拡張エッジ度の一例を示す図である。また、図8(b)は、注目領域の基本エッジ度の重みを重くした場合の重み係数の一例を示す図である。図8(b)に示すように、注目領域の基本エッジ度の重み係数を、例えば1/3とする。一方、その他の分割領域の重み係数を、例えば、1/12とする。全ての重み係数を足し合わせると、1になる。重み係数を求める計算式を式4に示す。
【0061】
【数4】
式4において、Kは、重み係数であり、A(=1/3)は、注目領域の基本エッジ度の重み係数である。そして、拡張エッジ度は、下記の式5で計算することができる。
【0062】
【数5】
注目領域に隣接する分割領域が5個のみである場合や、3個のみである場合、式4における1/8は、1/5または1/3に変更される。従って、注目領域に隣接する分割領域が5個のみである場合、注目領域の基本エッジ度の重み係数は1/3となり、その他の分割領域の重み係数は2/15となる。また、注目領域に隣接する分割領域が3個のみである場合、注目領域の基本エッジ度の重み係数は1/3となり、その他の分割領域の重み係数は2/9となる。このように、拡張エッジ度に対して、注目領域の基本エッジ度が寄与する割合を一定にしている。なお、各基本エッジ度に対応する重みの付け方は、ここで説明された方法に限定されるものではない。
【0063】
拡張エッジ度の計算方法は、ここで説明された方法に限定されるものではない。例えば、システム制御部14は、注目領域の基本エッジ度と、注目領域の上下左右に位置する4個の分割領域の基本エッジ度とのみを足し合わせて、基本エッジ度の相加平均を計算しても良い。
【0064】
図5(d)は、本実施形態に係る投稿画像DB12cに登録される内容の一例を示す図である。投稿画像DB12cには、投稿画像及び投稿画像に関する情報が登録される。具体的に、投稿画像DB12cには、モザイク画像ID、投稿数、投稿画像情報が登録される。モザイク画像IDは、登録された投稿画像を素材として生成されるモザイク画像の識別情報である。投稿数は、これまでにユーザ端末2から取得された投稿画像の数である。投稿画像情報は、投稿数分登録される。
【0065】
図5(e)は、投稿画像情報に設定される内容の一例を示す図である。図5(e)に示すように、投稿画像情報には、画像番号、ユーザID、投稿画像データ及び代表色値が対応付けて設定される。画像番号は、投稿画像に付与された番号である。各投稿画像には、投稿順(モザイク画像提供サーバ1が取得した順)に画像番号が付与される。投稿画像情報に設定されるユーザIDは、投稿画像を投稿したユーザのユーザIDである。つまり、投稿画像情報に設定されるユーザIDは、投稿画像の取得先のユーザ端末2を利用するユーザのユーザIDである。投稿画像データは、投稿画像の画像データである。代表色値は、投稿画像の代表色を示す値である。なお、投稿画像の代表色値の内容は、分割領域の代表色値の内容と同様である。
【0066】
図5(f)は、本実施形態に係るモザイク画像DB12dに登録される内容の一例を示す図である。モザイク画像DB12dには、モザイク画像に関する情報が登録される。具体的に、モザイク画像DB12dには、モザイク画像ID、元画像ID、複数の割り当て画像番号及びモザイク画像表示データがモザイク画像ごとに対応付けて登録される。モザイク画像IDは、モザイク画像の識別情報である。元画像IDは、モザイク画像の絵柄となる画像の元画像IDである。割り当て画像番号は、分割領域に割り当てられた投稿画像の画像番号である。割り当て画像番号は、元画像の分割数分登録される。各割り当て画像番号は、対応する分割領域のインデックスに対応付けて登録される。まだ投稿画像が割り当てられていない分割領域(以下、「未割り当て領域」という)の割り当て画像番号には、例えば、−1等の無効な番号が設定されている。
【0067】
モザイク画像表示データは、Webページ内にモザイク画像を表示するためのデータである。つまり、モザイク画像表示データは、モザイク画像の表示内容を示す。本実施形態においては、モザイク画像は、各セルに投稿画像がはめ込まれたテーブルとして表現される。例えば、モザイク画像表示データは、HTML(Hyper Text Markup Language)、XML(Extensible Markup Language)、XHTML(Extensible Hyper Text Markup Language)等のマークアップ言語等で記述されたデータである。モザイク画像表示データは、モザイク画像が表示されるWebページのHTML文書の一部を構成する。システム制御部14は、モザイク画像表示データを含むHTML文書をユーザ端末2へ送信することにより、このHTML文書に基づいてユーザ端末2によりモザイク画像を表示させる。つまり、ユーザ端末2が、HTML文書に含まれるモザイク画像表示データの記述内容に従ってテーブルの各セルに投稿画像を表示することにより、Webページ内にモザイク画像を表示する。本実施形態では、ユーザ端末2が画面上にモザイク画像を生成(形成)することになる。
【0068】
モザイク画像表示データにおいては、例えば、tableタグ、trタグ、tdタグ等によりテーブルが規定される。セルを示すtd開始タグとtd終了タグとの間には、例えば、
<img src="href="http://www.yyy.zzz/9876543210-0123.jpeg" >
というimgタグが設定される。ここで、"http://www.yyy.zzz/9876543210-0123.jpeg"は、投稿画像データのURL(Uniform Resource Locator)である。また、"9876543210"は、元画像IDである。また、"0123"は、投稿画像の画像番号である。このように、投稿画像が割り当てられている分割領域に対応するセルには、割り当てられている投稿画像のURLを含むimgタグが設定される。なお、このURLは、投稿画像のサムネイルの画像データのURLであっても良い。モザイク画像内においては、通常、投稿画像は本来の表示サイズよりも小さいサイズで表示される。そのため、投稿画像の縦横の画素数を減らして表示サイズを縮小したサムネイルの画像データが、モザイク画像を表示しようとするユーザ端末2へ送信されても良い。この場合、システム制御部14は、例えば、投稿画像データを投稿画像DB12cに登録するとき、投稿画像データに基づいて投稿画像のサムネイルの画像データを生成し、このサムネイルの画像データを投稿画像DB12cに登録する。
【0069】
モザイク画像DB12dに登録されている割り当て画像番号の内容は、モザイク画像表示データに反映されている。そのため、モザイク画像DB12dには、割り当て画像番号またはモザイク画像表示データの何れか一方のみが登録されるようになっていても良い。割り当て画像番号のみが登録される場合、システム制御部14は、モザイク画像が表示されるWebページを送信するときに、割り当て画像番号に基づいてモザイク画像表示データを生成しても良い。
【0070】
次に、記憶部12に記憶されるその他の情報について説明する。記憶部12には、Webページを表示するためのHTML文書、XML文書、画像データ、テキストデータ、電子文書等の各種データが記憶されている。また、記憶部12には、管理者等により設定された各種の設定値が記憶されている。設定値の中には、投稿画像の色が分割領域の色に近いか否かを判定するための閾値が含まれている。
【0071】
また、記憶部12には、オペレーティングシステム、WWW(World Wide Web)サーバプログラム、DBMS(DataBase Management System)、モザイク画像提供プログラム等の各種プログラムが記憶されている。モザイク画像提供プログラムは、元画像の登録、投稿画像の取得、モザイク画像表示データの生成等のモザイク画像に関する処理を実行するためのプログラムである。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークNWを介して取得されるようにしても良いし、DVD(Digital Versatile Disc)等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしても良い。
【0072】
入出力インターフェース13は、通信部11及び記憶部12とシステム制御部14との間のインターフェース処理を行うようになっている。
【0073】
システム制御部14は、CPU14a、ROM(Read Only Memory)14b、RAM(Random Access Memory)14c等により構成されている。そして、システム制御部14は、CPU14aが、各種プログラムを読み出し実行することにより、本発明における画像取得手段、候補決定手段、エッジ度取得手段、割り当て決定手段、第1計算手段、第2計算手段、色情報取得手段及び提示手段として機能するようになっている。
【0074】
なお、モザイク画像提供サーバ1が、複数のサーバ装置で構成されても良い。例えば、元画像の登録、投稿画像の取得、モザイク画像表示データの生成に関する処理を行うサーバ装置、ユーザ端末2からのリクエストに応じてWebページを送信するサーバ装置、及びデータベースを管理するサーバ装置等が、互いにLAN等で接続されても良い。
【0075】
[3.モザイク画像提供システムの動作]
次に、モザイク画像提供システムSの動作について、図9乃至図11を用いて説明する。
【0076】
図9は、本実施形態に係るモザイク画像提供サーバ1のシステム制御部14の元画像登録処理における処理例を示すフローチャートである。なお、図9は、拡張エッジ度を計算するときに、注目領域の基本エッジ度の重みを、隣接する分割領域の基本エッジ度の重みよりも重くした場合の処理例を示す。
【0077】
例えば、モザイク画像提供サーバ1の管理者が、モザイク画像提供サーバ1に接続された管理用の端末装置を操作することにより、元画像の登録を行う。具体的に、管理者は、元画像データを選択するとともに、横分割数及び縦分割数を入力する。すると、管理用の端末装置は、元画像データ、横分割数及び縦分割数を含む元画像登録リクエストを、モザイク画像提供サーバ1へ送信する。なお、例えば、ユーザが元画像を投稿することができるようになっても良い。この場合、元画像を投稿するユーザのユーザ端末2が元画像登録リクエストを送信する。
【0078】
元画像登録処理は、モザイク画像提供サーバ1が元画像登録リクエストを受信したときに開始される。この元画像登録処理は、後述する投稿画像受信時処理よりも前に予め実行される。そして、元画像登録処理が実行されることにより、投稿画像受信時処理における投稿画像の割り当て等が可能となる。
【0079】
元画像登録処理において、システム制御部14は、新たな元画像IDを生成する。次いで、システム制御部14は、受信した元画像登録リクエストに含まれる横分割数及び縦分割数に基づいて、分割数情報を生成する。そして、システム制御部14は、新たな元画像ID、元画像登録リクエストに含まれる元画像データ及び生成した分割数情報を対応付けて、元画像DB12bに登録する(ステップS11)。また、システム制御部14は、元画像データに基づいて、元画像のビットマップイメージをRAM14cに展開する。
【0080】
次いで、システム制御部14は、元画像の分割を行う。先ず、システム制御部14は、分割領域のインデックスYに0を設定する(ステップS12)。次いで、システム制御部14は、分割領域のインデックスXに0を設定する(ステップS13)。次いで、システム制御部14は、分割領域(X,Y)を特定する(ステップS14)。具体的に、システム制御部14は、登録した元画像データから元画像の縦横の画素数を取得する。次いで、システム制御部14は、元画像の縦横の画素数と、登録した分割数情報が示す横分割数及び縦分割数とに基づいて、分割領域(X,Y)に含まれる画素の座標範囲を計算する。
【0081】
次いで、システム制御部14は、分割領域(X,Y)の代表色値を計算する(ステップS15)。例えば、システム制御部14は、RAM14cに展開された元画像のビットマップイメージから分割領域(X,Y)に含まれる画素の値を取得する。次いで、システム制御部14は、R、G、Bの各基本色ごとに、取得した画素値を足し合わせる。次いで、システム制御部14は、基本色ごとの画素値の合計を、それぞれ分割領域(X,Y)に含まれる画素の総数で割る。この計算により得られた基本色ごとの画素値の平均が代表色値である。次いで、システム制御部14は、計算した代表色値を、新たな元画像IDと、分割領域のインデックスX及びYと、に対応付けて元画像DB12bに登録する。
【0082】
次いで、システム制御部14は、分割領域(X,Y)に含まれる各画素の画素エッジ度を計算する(ステップS16)。具体的に、システム制御部14は、RAM14cに展開された元画像のビットマップイメージから、分割領域(X,Y)に含まれる各画素の値を取得する。そして、システム制御部14は、例えば、式1が示す計算方法で、画素エッジ度を計算する。
【0083】
次いで、システム制御部14は、第1計算手段として、計算した各画素エッジ度に基づいて、分割領域(X,Y)の基本エッジ度を計算する(ステップS17)。例えば、システム制御部14は、式2が示す計算方法で、基本エッジ度を計算する。そして、システム制御部14は、計算した基本エッジ度を、新たな元画像IDと、分割領域のインデックスX及びYと、に対応付けて元画像DB12bに登録する。
【0084】
次いで、システム制御部14は、インデックスXに1を加算する(ステップS18)。次いで、システム制御部14は、インデックスXが横分割数未満であるか否かを判定する(ステップS19)。このとき、システム制御部14は、インデックスXが横分割数未満であると判定した場合には(ステップS19:YES)、ステップS14に移行する。一方、システム制御部14は、インデックスXが横分割数未満ではないと判定した場合には(ステップS19:NO)、インデックスYに1を加算する(ステップS20)。次いで、システム制御部14は、インデックスYが縦分割数未満であるか否かを判定する(ステップS21)。このとき、システム制御部14は、インデックスYが縦分割数未満であると判定した場合には(ステップS21:YES)、ステップS13に移行する。システム制御部14は、ステップS13〜S21の処理を繰り返すことにより、各分割領域の代表色値及び基本エッジ度の登録を行う。
【0085】
そして、システム制御部14は、インデックスYが縦分割数未満ではないと判定した場合には(ステップS21:NO)、インデックスYに0を設定する(ステップS22)。次いで、システム制御部14は、インデックスXに0を設定する(ステップS23)。
【0086】
次いで、システム制御部14は、第2計算手段として、分割領域(X,Y)の基本エッジ度と、分割領域(X,Y)に隣接する8個の分割領域の基本エッジ度に、それぞれ重み係数を掛ける(ステップS24)。このとき、システム制御部14は、分割領域(X,Y)の基本エッジ度に掛け合わせる重み係数の値を、隣接する分割領域の基本エッジ度に掛け合わせる重み係数の値よりも大きくする。
【0087】
次いで、システム制御部14は、第2計算手段として、重み係数を掛け合わせることによって重みが付けられた各基本エッジ度を足し合わせることにより、分割領域(X,Y)の拡張エッジ度を計算する(ステップS25)。つまり、システム制御部14は、ステップS24及びS25において、式5が示す計算方法で拡張エッジ度を計算する。そして、システム制御部14は、計算した拡張エッジ度を、新たな元画像IDと、分割領域のインデックスX及びYと、に対応付けて元画像DB12bに登録する。
【0088】
次いで、システム制御部14は、インデックスXに1を加算する(ステップS26)。次いで、システム制御部14は、インデックスXが横分割数未満であるか否かを判定する(ステップS27)。このとき、システム制御部14は、インデックスXが横分割数未満であると判定した場合には(ステップS27:YES)、ステップS24に移行する。一方、システム制御部14は、インデックスXが横分割数未満ではないと判定した場合には(ステップS27:NO)、インデックスYに1を加算する(ステップS28)。次いで、システム制御部14は、インデックスYが縦分割数未満であるか否かを判定する(ステップS29)。このとき、システム制御部14は、インデックスYが縦分割数未満であると判定した場合には(ステップS29:YES)、ステップS23に移行する。システム制御部14は、ステップS23〜S29の処理を繰り返すことにより、各分割領域の拡張エッジ度の登録を行う。
【0089】
そして、システム制御部14は、インデックスYが縦分割数未満ではないと判定した場合には(ステップS29:NO)、新たなモザイク画像IDを生成する。次いで、システム制御部14は、新たなモザイク画像ID及び元画像IDを対応付けて、モザイク画像DB12dに登録する。また、システム制御部14は、各分割領域の割り当て画像番号として、投稿画像が割り当てられていないことを示す番号を、新たなモザイク画像ID及び元画像IDに対応付けて、モザイク画像DB12dに登録する。また、システム制御部14は、空のモザイク画像表示データを、新たなモザイク画像ID及び元画像IDに対応付けて、モザイク画像DB12dに登録する(ステップS30)。空のモザイク画像表示データとは、投稿画像データのURLを含むimgタグが全く設定されていないモザイク画像表示データである。
【0090】
次いで、システム制御部14は、画像投稿・モザイク画像表示ページ400のHTML文書を生成する(ステップS31)。画像投稿・モザイク画像表示ページ400は、画像を投稿するためのWebページであるとともに、モザイク画像が表示されるWebページでもある。システム制御部14は、生成したHTML文書を記憶部12に記憶させる。次いで、システム制御部14は、生成したHTML文書へのハイパーリンクを設定する(ステップS32)。例えば、システム制御部14は、モザイク画像提供システムSのWebサイトのトップページのHTML文書に、画像投稿・モザイク画像表示ページ400のHTML文書のURLを含むaタグを追加する。これにより、ユーザによる画像の投稿及びモザイク画像の閲覧が可能となる。システム制御部14は、ステップS32の処理を終えると、元画像登録処理を終了させる。
【0091】
図10は、本実施形態に係る画像投稿・モザイク画像表示ページ400の画面表示例を示す図である。図10に示すように、画像投稿・モザイク画像表示ページ400は、メッセージ部410、投稿画像送信部420、モザイク画像表示部430等を含む。メッセージ部410には、例えば、モザイク画像提供システムSに関連するサイトにおける商品やサービス等に関する告知等の情報が表示される。投稿画像送信部420には、画像を投稿するための各種ウィジットが表示される。例えば、投稿画像データのパス名を指定するための入力欄、ユーザ端末2に記憶されている画像データの中から投稿画像データを選択するためのダイアログを表示するための参照ボタン、投稿画像データを送信するための送信ボタン等が表示される。モザイク画像表示部430には、これまで投稿された画像により生成されたモザイク画像が表示される。図10においては、一例としてモザイク画像300bが表示されている。なお、元画像登録処理が完了した後、まだ画像が1つも投稿されていない場合には、モザイク画像表示部430にはモザイク画像は表示されない。
【0092】
また、モザイク画像表示部430に表示されたモザイク画像に含まれる何れかの投稿画像がユーザにより選択された場合には、例えば、選択された投稿画像が画像投稿・モザイク画像表示ページ400内に大きく表示されたり、選択された投稿画像を投稿したユーザに関する情報(例えば、ユーザのニックネームやプロフィール等)が画像投稿・モザイク画像表示ページ400内に表示されたりしても良い。投稿画像を投稿したユーザに関する情報を表示する場合、システム制御部14は、例えば、モザイク画像表示データにimgタグを設定する際、投稿画像を投稿したユーザのユーザIDをモザイク画像表示データに設定する。モザイク画像表示部430において、ユーザが何れかの投稿画像を選択すると、ユーザ端末2は、その投稿画像を投稿したユーザのユーザIDを含むリクエストをモザイク画像提供サーバ1へ送信する。システム制御部14は、受信したリクエストに含まれるユーザIDに対応する会員情報から必要な情報を取得してユーザ端末2へ送信する。そして、ユーザ端末2は、受信した情報を表示する。
【0093】
図11は、本実施形態に係るモザイク画像提供サーバ1のシステム制御部14の投稿画像受信時処理における処理例を示すフローチャートである。画像投稿・モザイク画像表示ページ400の投稿画像送信部420において、ユーザが投稿画像データを指定して送信ボタンを選択すると、ユーザ端末2は、投稿リクエストをモザイク画像提供サーバ1へ送信する。投稿リクエストは、指定された投稿画像データ、操作を行ったユーザのユーザID、生成対象のモザイク画像のモザイク画像IDを含む。投稿画像受信時処理は、モザイク画像提供サーバ1が画像取得手段として投稿リクエストを受信したときに開始される。
【0094】
先ず、システム制御部14は、投稿リクエストに含まれるモザイク画像ID(以下、「対象モザイク画像ID」という)に対応する元画像ID(以下、「対象元画像ID」という)をモザイク画像DB12dから取得する。次いで、システム制御部14は、対象元画像IDに対応する分割数情報を、元画像DB12bから取得する(ステップS51)。次いで、システム制御部14は、取得した分割数情報に含まれる横分割数及び縦分割数に基づいて、対象モザイク画像IDに対応する各画像割り当て番号を、モザイク画像DB12dから取得する。そして、システム制御部14は、取得した各画像割り当て番号に基づいて、未割り当て領域を特定する(ステップS52)。次いで、システム制御部14は、色情報取得手段として、対象元画像IDに対応付けて元画像DB12bに登録されている分割領域情報のうち、未割り当て領域の分割領域情報から、代表色値を取得する(ステップS53)。
【0095】
次いで、システム制御部14は、色情報取得手段として、投稿リクエストに含まれる投稿画像データが示す投稿画像(以下、「処理対象投稿画像」という)の代表色値を計算する(ステップS54)。この計算方法は、元画像登録処理におけるステップS15の場合と同様である。
【0096】
ここで、システム制御部14は、例えばミューテックス等を利用した排他制御を行い、ステップS55以降の処理(クリティカルセッション)を実行することができる権限を取得した場合には、ロック操作を行う。これにより、システム制御部14は、複数のプロセスがクリティカルセッションを同時に実行することができないようにする。
【0097】
次いで、システム制御部14は、候補決定手段として、未割り当て領域の中から、処理対象投稿画像との代表色値の差が閾値以下である分割領域を、処理対象投稿画像の割り当ての候補領域として抽出する(ステップS55)。具体的に、システム制御部14は、以下の式6により差を計算する。
【0098】
【数6】
式6において、Diffは差である。R1、G1及びB1は、分割領域のR、G及びBの代表色値である。R2、G2及びB2は、処理対象投稿画像のR、G及びBの代表色値である。システム制御部14は、この計算を、全ての未割り当て領域について実行する。そして、システム制御部14は、算出された差が閾値以下である分割領域を、候補領域とする。なお、システム制御部14は、基本色ごとに計算した差の二乗をそれぞれ計算して、その計算結果を足しあわせる代わりに、基本色ごとに計算した差の絶対値をとって、その絶対値を足し合わせても良い。
【0099】
次いで、システム制御部14は、候補領域を1つ以上抽出することができたか否かを判定する(ステップS56)。このとき、システム制御部14は、候補領域を1つも抽出することができなかったと判定した場合には(ステップS56:NO)、投稿リクエストの送信元のユーザ端末2に、投稿拒否メッセージを送信する(ステップS57)。投稿拒否メッセージは、画像の投稿が拒否された旨を示すメッセージである。ユーザ端末2は、受信した投稿拒否メッセージを画面に表示する。システム制御部14は、ステップS57の処理を終えると、投稿画像受信時処理を終了させる。
【0100】
一方、システム制御部14は、候補領域を1つ以上抽出することができたと判定した場合には(ステップS56:YES)、エッジ度取得手段として、対象元画像IDに対応付けて元画像DB12bに登録されている分割領域情報のうち、抽出された候補領域の分割領域情報から、拡張エッジ度を取得する(ステップS58)。次いで、システム制御部14は、割り当て決定手段として、抽出した候補領域のうち、拡張エッジ度が最も高い候補領域を、処理対象投稿画像を割り当てる分割領域(以下、「割り当て対象領域」という)として決定する(ステップS59)。
【0101】
次いで、システム制御部14は、対象モザイク画像IDに対応付けて投稿画像DB12cに登録されている投稿数に1を加算して投稿数を更新する(ステップS60)。次いで、システム制御部14は、処理対象投稿画像の画像番号に、更新後の投稿数を設定する(ステップS61)。次いで、システム制御部14は、画像番号、投稿リクエストに含まれるユーザID及び投稿画像データ、並びに処理対象投稿画像の代表色値を含む投稿画像情報を、対象モザイク画像IDに対応付けて投稿画像DB12cに登録する(ステップS62)。
【0102】
次いで、システム制御部14は、対象モザイク画像IDに対応付けてモザイク画像DB12dに登録されている割り当て対象領域の割り当て画像番号を、処理対象投稿画像の画像番号に書き換える(ステップS63)。
【0103】
次いで、システム制御部14は、対象モザイク画像IDに対応付けてモザイク画像DB12dに登録されているモザイク画像表示データを更新する(ステップS64)。具体的に、システム制御部14は、モザイク画像表示データにおいて、割り当て対象領域のインデックスに対応するセルに、処理対象投稿画像の投稿画像データのURLを含むimgタグを設定する。
【0104】
次いで、システム制御部14は、更新後のモザイク画像表示データを含む画像投稿・モザイク画像表示ページ400のHTML文書を生成して、記憶部12に記憶させる(ステップS65)。次いで、システム制御部14は、生成したHTML文書を、投稿リクエストの送信元のユーザ端末2へ送信する(ステップS66)。ここで、システム制御部14は、アンロック操作を行うことにより、別のプロセスがクリティカルセッションを実行することができるようにすうる。システム制御部14は、この処理を終えると、投稿画像受信時処理を終了させる。
【0105】
ユーザ端末2は、受信したHTML文書に基づいて、画像投稿・モザイク画像表示ページ400を画面に表示する。このとき、システム制御部14は、モザイク画像表示データに含まれるimgタグに基づいて、投稿画像データのURLを含むリクエストをモザイク画像提供サーバ1へ送信する。システム制御部14は、受信したリクエストに含まれるURLからモザイク画像ID及び画像番号を取得する。次いで、システム制御部14は、取得したモザイク画像ID及び画像番号に対応する投稿画像データを、投稿画像DB12cから取得する。次いで、システム制御部14は、取得した投稿画像データをユーザ端末2へ送信する。ユーザ端末2は、取得した投稿画像データに基づいて、画像投稿・モザイク画像表示ページ400のモザイク画像表示部430内に投稿画像を表示する。これにより、例えば図10に示すようなモザイク画像が表示される。こうして、システム制御部14は、モザイク画像表示データを送信することにより、提示手段として、モザイク画像をユーザ端末2によりユーザに提示させる。
【0106】
以上説明したように、本実施形態によれば、モザイク画像提供サーバ1のシステム制御部14が、ユーザにより指定された投稿画像を取得し、取得された投稿画像の代表色値と、分割領域の代表色値と、に基づいて、取得された画像の割り当ての候補となる候補領域を決定し、候補領域のエッジ度を取得し、取得されたエッジ度に基づいて、取得された投稿画像を割り当てる分割領域を、候補領域の中から決定し、決定された割り当てに基づいて、取得された投稿画像が配置されたモザイク画像をユーザへ提示する。
【0107】
従って、候補領域となった分割領域におけるエッジの度合いに基づいて、投稿画像が割り当てられる分割領域が決定されるので、元画像の絵柄の視認性の向上に資する分割領域に投稿画像を優先的に割り当てることができる。そのため、未完成状態のモザイク画像であっても元画像の絵柄の視認性が高いモザイク画像を提示することができる。
【0108】
また、システム制御部14が、注目領域の基本エッジ度と、注目領域に隣接する分割領域の基本エッジ度と、に基づいて、各基本エッジ度が高いほど拡張エッジ度が高くなるように、注目領域におけるエッジの度合いを示す拡張エッジ度を計算し、候補領域となった分割領域における拡張エッジ度に基づいて、取得された投稿画像を割り当てる分割領域を決定する。
【0109】
従って、元画像の絵柄の視認性の向上に資する画像を含む分割領域と、その分割領域に隣接する分割領域と、に優先的に投稿画像を割り当てることができる。そのため、これらの分割領域に投稿画像が割り当てられることにより、元画像の絵柄の視認性をより高めることができる。
【0110】
また、システム制御部14が、注目領域の基本エッジ度の重みが、隣接する分割領域の基本エッジ度の重みよりも重くなるように、各基本エッジ度に重み付けして拡張エッジ度を計算する。
【0111】
従って、元画像の絵柄の視認性の向上に資する画像を含む分割領域と、その分割領域に隣接する分割領域と、に優先的に投稿画像を割り当てながらも、元画像の絵柄の視認性の向上に資する画像を含む分割領域の方により優先的に投稿画像が割り当てることができる。そのため、元画像の絵柄の視認性をより高めることができる。
【0112】
なお、上記実施形態の投稿画像受信時処理におけるステップS55において、モザイク画像提供サーバ1は、投稿画像が割り当てられていない全ての分割領域について、投稿画像との代表色値の差を計算していた。しかしながら、分割領域を予め代表色値に基づいて並べ替えておくことにより、計算を行う分割領域の個数を減らし、計算時間を短くすることができる。例えば、システム制御部14は、Rの代表色値が小さい順に分割領域を示すリスト、Gの代表色値が小さい順に分割領域を示すリスト、Bの代表色値が小さい順に分割領域を示すリストを生成する。システム制御部14は、投稿画像データを受信して投稿画像の代表値を計算したとき、投稿画像の代表値との差が閾値以下となる代表値の最小値及び最大値を、R、G、Bそれぞれについて計算する。このときの閾値は、式6で差を計算した場合に用いられる閾値とは異なっていても良い。次いで、システム制御部14は、例えば、二分探索法等により、代表値が、投稿画像の代表値との差が閾値以下となる分割領域の範囲を、生成したリストを用いて特定する。システム制御部14は、これを、R、G、Bについて実行する。そして、システム制御部14は、R、G、Bの全てにおいて、投稿画像との代表値の差が閾値以下になっている分割領域を、候補領域とする。
【0113】
また、上記実施形態において、モザイク画像提供サーバ1は、投稿画像を割り当てる分割領域を決定するためのエッジ度として、注目領域の基本エッジ度の重みを重くした拡張エッジ度を用いていた。しかしながら、モザイク画像提供サーバ1は、例えば、基本エッジ度の単純な相加平均である拡張エッジ度を用いても良いし、基本エッジ度そのものを用いても良い。
【0114】
また、上記実施形態において、モザイク画像提供サーバ1は、投稿画像の割り当ての候補領域のうち、エッジ度が最も高い候補領域を、割り当て対象領域としていた。しかしながら、モザイク画像提供サーバ1は、エッジ度が高い候補領域に対して投稿画像を優先的に割り当てるものの、エッジ度が最も高い候補領域以外の分割領域に割り当てても良い。例えば、システム制御部14は、元画像登録処理において、エッジ度の高い順に分割領域を示すリストを生成する。次いで、システム制御部14は、エッジ度の高さが1番目から所定番目までの分割領域を、投稿画像を優先的に割り当てる優先領域とする。何番目までの分割領域を優先領域とするかは、例えば、元画像の分割数に応じて決定しても良い。例えば、元画像の分割数が480であり、全分割領域の20%を優先領域とする場合、エッジどの高さが1番目から96番目までの分割領域が優先領域となる。システム制御部14は、候補領域の中に優先領域が1つ以上存在する場合には、その中の何れの優先領域に投稿画像を割り当てても良い。例えば、システム制御部14は、投稿画像との代表色値の差が最も小さい優先領域に投稿画像を割り当てても良い。システム制御部14は、候補領域の中に優先領域が存在しない場合には、例えば、エッジ度が最も高い候補領域に対して投稿画像を割り当てても良いし、投稿画像との代表色値の差が最も小さい候補領域に投稿画像を割り当てても良い。
【0115】
また、上記実施形態において、モザイク画像提供サーバ1は、各投稿画像をそれぞれ1つの分割領域に割り当てていたが、例えば、複数の領域に割り当てても良い。例えば、モザイク画像提供サーバ1は、候補領域の中からエッジ度が高い順に予め設定された数の候補領域に、それぞれ同一の投稿画像を割り当てても良い。
【0116】
また、上記実施形態において、モザイク画像提供サーバ1は、投稿画像を割り当てる候補領域を、未割り当て領域の中から抽出していた。しかしながら、モザイク画像提供サーバ1は、既に投稿画像が割り当てられている分割領域からも抽出しても良い。例えば、上記実施形態においては、候補領域が複数抽出された場合、その中からエッジ度が最も高い候補領域に投稿画像が割り当てられる。従って、各投稿画像は、色が最も近い候補領域に割り当てられない場合がある。そのため、既に分割領域に割り当てられている投稿画像を、より色が近い別の分割領域に移動させることができる可能性がある。そこで、モザイク画像提供サーバ1は、例えば、分割領域に既に割り当てられている投稿画像(以下、「割り当て画像」という)の色よりもこれから割り当てようとする処理対象投稿画像の色の方がその分割領域の色に近く、且つ、割り当て画像の色により近い色の分割領域が空いている場合、その空いている分割領域に割り当て画像を割り当てるとともに、今まで割り当て画像が割り当てられていた分割領域に処理対象投稿画像を割り当てても良い。
【0117】
具体的に、システム制御部14は、処理対象投稿画像との代表色値の差が閾値以下である分割領域を、既に投稿画像が割り当てられているか否かに関係なく候補領域として抽出する。次いで、システム制御部14は、エッジ度が最も高い候補領域が未割り当て領域であれば、その候補領域をそのまま割り当て対象領域として決定する。一方、システム制御部14は、エッジ度が最も高い候補領域が、既に投稿画像が割り当てられている分割領域である場合には、その分割領域に割り当てられている投稿画像が移動可能であるか否かを判定する。例えば、システム制御部14は、エッジ度が最も高い候補領域と処理対象投稿画像との代表色値との差が、エッジ度が最も高い候補領域と割り当て画像との代表色値の差よりも小さいか否かを判定する。このとき、システム制御部14は、エッジ度が最も高い候補領域と処理対象投稿画像との代表色値との差の方が小さい場合には、まだ投稿画像が割り当てられていない候補領域の中から、割り当て画像との代表色値の差が、エッジ度が最も高い候補領域と割り当て画像との代表色値の差よりも小さい分割領域を抽出する。このとき、システム制御部14は、1つ以上の分割領域を抽出することができた場合には、その中でエッジ度が最も高い分割領域を、割り当て画像の割り当て対象領域として決定する。そして、システム制御部14は、エッジ度が最も高い候補領域を、処理対象投稿画像の割り当て対象領域として決定する。一方、システム制御部14は、エッジ度が最も高い候補領域と処理対象投稿画像との代表色値との差が、エッジ度が最も高い候補領域と割り当て画像との代表色値の差以上である場合、または、エッジ度が最も高い候補領域と割り当て画像との代表色値の差よりも代表色値の差が小さい分割領域を抽出することができなかった場合には、エッジ度が2番目に高い候補領域について同様の処理を行う。このように、システム制御部14は、処理対象投稿画像の割り当て対象領域が決定されるまで繰り返し処理を行う。
【0118】
また、上記実施形態において、モザイク画像提供サーバ1は、モザイク画像をユーザ端末2に表示させるためにモザイク画像表示データを含むHTML文書をユーザ端末2に送信していた。しかしながら、モザイク画像提供サーバ1は、モザイク画像の画像データそのものをユーザ端末2に送信しても良い。この場合、モザイク画像提供サーバ1は、例えば、これまでに取得して投稿画像DB12cに登録しておいた投稿画像データと、モザイク画像DB12dに登録されている割り当て画像番号とに基づいて、割り当てられた領域の位置に各投稿画像が配置されたモザイク画像の画像データを生成する。
【0119】
また、上記実施形態において、モザイク画像提供サーバ1は、一つのモザイク画像の表示データの生成に、複数のユーザから投稿された画像を用いることができるようにしていた。しかしながら、モザイク画像提供サーバ1は、例えば、1人のユーザから投稿された画像のみを用いてモザイク画像の表示データを生成しても良い。
【0120】
また、上記実施形態においては、モザイク画像提供サーバ1に画像取得手段、候補決定手段、エッジ度取得手段、割り当て決定手段、提示手段等を備えさせ、モザイク画像提供サーバ1が表示データをユーザ端末2に送信することにより、ユーザ端末2によりモザイク画像を提示させていた。しかしながら、例えば、ユーザ端末2等の装置に、画像取得手段、候補決定手段、エッジ度取得手段、割り当て決定手段、提示手段等を備えさせ、ユーザ端末2等の装置が、スタンドアローンで、エッジ度の計算、投稿画像の割り当て、モザイク画像の生成、モザイク画像の表示等を行っても良い。
【符号の説明】
【0121】
1 モザイク画像提供サーバ
2 ユーザ端末
11 通信部
12 記憶部
12a 会員情報DB
12b 元画像DB
12c 投稿画像DB
12d モザイク画像DB
13 入出力インターフェース
14 システム制御部
14a CPU
14b ROM
14c RAM
15 システムバス
NW ネットワーク
S モザイク画像提供システム
【技術分野】
【0001】
本発明は、端末装置から取得された画像を組み合わせてできるモザイク画像をユーザへ提示する画像提供装置及び画像処理方法の技術分野に関する。
【背景技術】
【0002】
従来、例えば広告やイベントの告知等に用いられるポスターやWebページ等における画像の表現手法として、素材となる複数の画像(以下、「素材画像」という)をタイル状に配置してモザイク画像(例えば、モザイクアート、フォトモザイク等)として表現する方法が知られている。この表現方法においては、例えば、モザイク画像の絵柄の元となる画像(以下、「元画像」という)が複数の領域に分割される。そして、各素材画像が、例えば色調、模様等が近い領域に割り当てられる。これにより、元画像の絵柄を表現するモザイク画像が生成される。
【0003】
また、サーバ装置が、ユーザから素材画像として提供される画像をネットワークを介して端末装置から取得し、取得した画像を用いて生成したモザイク画像を端末装置に表示させる技術が知られている。この場合、如何なる画像が素材画像となるかは、基本的に画像を提供するユーザの判断にゆだねられる。そのため、このような画像を素材画像として用いる場合には、元画像の絵柄の視認性が高いモザイク画像を如何にして生成するかが課題となる。
【0004】
例えば、特許文献1には、視認性が高いモザイク画像を提供することを目的とする技術が開示されている。具体的には、モザイク画像提供装置が、モザイク画像の元となる対象画像を分割した複数のブロックの中からユーザが投稿した素材画像の配置対象となるブロックを決定するとき、ユーザが選択したブロックを配置対象として決定し、または、ブロックの画像に制限されることなく自動的に配置対象を決定する。また、モザイク画像提供装置が、素材画像の基本色の平均濃度値が、配置対象のブロックの基本色の平均濃度値となるように、素材画像を色補正する。また、ユーザから投稿された素材画像の数がモザイク画像の完成に必要な数に到達するまでは、一部のブロックに対してのみ素材画像が配置された状態のモザイク画像が端末装置に表示される。つまり、未完成状態のモザイク画像が表示される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−4166号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載の技術により生成される未完成状態のモザイク画像では、元画像の絵柄の視認性が高いとはいえない。その理由は、素材画像の配置対象となるブロックの決定方法に特段の基準がないからである。つまり、配置対象となるブロックが元画像の絵柄とは無関係に決定されるため、元画像の絵柄の視認性の向上に資するブロック(例えば、絵柄の輪郭部分、特徴部分等)に素材画像が配置されていない状態でモザイク画像が生成されることがあるためである。
【0007】
仮に、色調や模様等が近いブロックに素材画像が配置されたとしても、そのことが直ちに元画像の絵柄の視認性を高めるとはいえない。色調や模様等が近いブロックが、元画像の絵柄の視認性の向上に資するブロックであるとは限らないからである。
【0008】
本願発明は、以上の点に鑑みてなされたものであり、未完成状態のモザイク画像であっても元画像の絵柄の視認性が高いモザイク画像を提示することができる画像提供装置、画像処理方法、画像処理プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために、請求項1に記載の発明は、複数の領域に分割された元画像のモザイク画像を提供する画像提供装置であって、ユーザにより指定された画像を取得する画像取得手段と、前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定手段と、前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段と、前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定手段と、前記割り当て決定手段により決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示手段と、を備えることを特徴とする。
【0010】
この発明によれば、割り当て先の候補となった領域におけるエッジの度合いに基づいて、画像が割り当てられる領域が決定されるので、元画像の絵柄の視認性の向上に資する領域に画像を優先的に割り当てることができる。そのため、未完成状態のモザイク画像であっても元画像の絵柄の視認性が高いモザイク画像を提示することができる。
【0011】
請求項2に記載の発明は、請求項1に記載の画像提供装置において、前記領域の画像に含まれるエッジの度合いを示す第1エッジ度を計算する第1計算手段を更に備え、前記エッジ度取得手段は、前記計算された第1エッジ度を前記エッジ度として取得することを特徴とする。
【0012】
この発明によれば、割り当て先の候補となった領域内の画像におけるエッジの度合いに基づいて、画像が割り当てられる領域が決定されるので、元画像の絵柄の視認性の向上に資する画像を含む領域に画像を優先的に割り当てることができる。
【0013】
請求項3に記載の発明は、請求項2に記載の画像提供装置において、ある前記領域の前記第1エッジ度と、前記ある領域に隣接する前記領域の前記第1エッジ度と、に基づいて、前記ある領域におけるエッジの度合いを示す第2エッジ度を計算する第2計算手段であり、各前記第1エッジ度が高いほど前記第2エッジ度が高くなるように計算する第2計算手段を更に備え、前記エッジ度取得手段は、前記計算された第2エッジ度を前記エッジ度として取得することを特徴とする。
【0014】
この発明によれば、元画像の絵柄の視認性の向上に資する画像を含む領域と、その領域に隣接する領域と、に優先的に画像を割り当てることができる。そのため、これらの領域に画像が割り当てられることにより、元画像の絵柄の視認性をより高めることができる。
【0015】
請求項4に記載の発明は、請求項3に記載の画像提供装置において、前記第2計算手段は、前記ある領域の前記第1エッジ度の重みが、前記隣接する領域の前記第1エッジ度の重みよりも重くなるように、各前記第1エッジ度に重み付けして前記第2エッジ度を計算することを特徴とする。
【0016】
この発明によれば、元画像の絵柄の視認性の向上に資する画像を含む領域と、その領域に隣接する領域と、に優先的に画像を割り当てながらも、元画像の絵柄の視認性の向上に資する画像を含む領域の方により優先的に画像が割り当てることができる。そのため、元画像の絵柄の視認性をより高めることができる。
【0017】
請求項5に記載の発明は、請求項1乃至4の何れか1項に記載の画像提供装置において、前記割り当て決定は、前記取得されたエッジ度が最も高い前記領域を、前記取得された画像を割り当てる領域に決定することを特徴とする。
【0018】
この発明によれば、割り当て先の候補となった領域におけるエッジの度合いが最も高い領域に画像が割り当てられる。そのため、元画像の絵柄の視認性の向上に資する領域に画像を優先的に割り当てることができる。
【0019】
請求項6に記載の発明は、請求項1乃至5の何れか1項に記載の画像提供装置において、前記取得された画像の代表色を値で示す色情報と、前記領域の代表色を値で示す色情報と、を取得する色情報取得手段を更に備え、前記候補決定手段は、前記取得された画像の前記色情報の値と、前記領域の前記色情報の値と、の差が閾値以下である前記領域を前記候補として決定することを特徴とする。
【0020】
この発明によれば、取得された画像と代表する色が近い領域に画像が割り当てられる。そのため、元画像の絵柄の視認性をより高めることができる。
【0021】
請求項7に記載の発明は、複数の領域に分割された元画像のモザイク画像を提供する画像提供装置における画像処理方法であって、ユーザにより指定された画像を取得する画像取得ステップと、前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定ステップと、前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得ステップと、前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定ステップと、前記割り当て決定ステップにおいて決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示ステップと、を含むことを特徴とする。
【0022】
請求項8に記載の発明は、複数の領域に分割された元画像のモザイク画像を提供する画像提供装置に含まれるコンピュータを、ユーザにより指定された画像を取得する画像取得手段、前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定手段、前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段、前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定手段、及び、前記割り当て決定手段により決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示手段、として機能させることを特徴とする。
【0023】
請求項9に記載の発明は、複数の領域に分割された元画像のモザイク画像を提供する画像提供装置に含まれるコンピュータを、ユーザにより指定された画像を取得する画像取得手段、前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定手段、前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段、前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定手段、及び、前記割り当て決定手段により決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示手段、として機能させる画像処理プログラムがコンピュータ読み取り可能に記録されていることを特徴とする。
【発明の効果】
【0024】
本発明によれば、割り当て先の候補となった領域におけるエッジの度合いに基づいて、画像が割り当てられる領域が決定されるので、元画像の絵柄の視認性の向上に資する領域に画像を優先的に割り当てることができる。そのため、未完成状態のモザイク画像であっても元画像の絵柄の視認性が高いモザイク画像を提示することができる。
【図面の簡単な説明】
【0025】
【図1】一実施形態に係るモザイク画像提供システムSの概要構成の一例を示す図である。
【図2】元画像100を480個の分割領域に分割した場合の例を示す図である。
【図3】(a)は、完成した状態のモザイク画像300aの一例を示す図であり、(b)は、未完成状態のモザイク画像300bの一例を示す図である。
【図4】一実施形態に係るモザイク画像提供サーバ1の概要構成の一例を示すブロック図である。
【図5】(a)は、一実施形態に係る会員情報DB12aに登録される内容の一例を示す図であり、(b)は、元画像DB12bに登録される内容の一例を示す図であり、(c)は、分割領域情報に設定される内容の一例を示す図であり、(d)は、投稿画像DB12cに登録される内容の一例を示す図であり、(e)は、投稿画像情報に設定される内容の一例を示す図であり、(f)は、モザイク画像DB12dに登録される内容の一例を示す図である。
【図6】(a)は、元画像100を90個の分割領域に分割した場合の例を示す図であり、(b)は、元画像100の各分割領域の基本エッジ度の一例を示す図である。
【図7】(a)は、元画像100の各分割領域の拡張エッジ度の一例を示す図であり、(b)は、各分割領域のエッジ度に対する重み係数の一例を示す図である。
【図8】(a)は、注目領域の基本エッジ度の重みを重くした場合の拡張エッジ度の一例を示す図であり、(b)は、注目領域の基本エッジ度の重みを重くした場合の各分割領域のエッジ度に対する重み係数の一例を示す図である。
【図9】一実施形態に係るモザイク画像提供サーバ1のシステム制御部14の元画像登録処理における処理例を示すフローチャートである。
【図10】一実施形態に係る画像投稿・モザイク画像表示ページ400の画面表示例を示す図である。
【図11】一実施形態に係るモザイク画像提供サーバ1のシステム制御部14の投稿画像受信時処理における処理例を示すフローチャートである。
【発明を実施するための形態】
【0026】
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、モザイク画像提供システムに対して本発明を適用した場合の実施形態である。
【0027】
[1.モザイク画像提供システムの構成及び機能概要]
先ず、本実施形態に係るモザイク画像提供システムSの構成及び機能概要について、図1乃至図3を用いて説明する。図1は、本実施形態に係るモザイク画像提供システムSの概要構成の一例を示す図である。
【0028】
図1に示すように、モザイク画像提供システムSは、モザイク画像提供サーバ1と、複数のユーザ端末2と、を含んで構成されている。そして、モザイク画像提供サーバ1及び各ユーザ端末2は、ネットワークNWを介して、例えば、通信プロトコルにTCP/IP等を用いて相互にデータの送受信が可能になっている。なお、ネットワークNWは、例えば、インターネット、専用通信回線(例えば、CATV(Community Antenna Television)回線)、移動体通信網(基地局等を含む)、及びゲートウェイ等により構築されている。
【0029】
モザイク画像提供サーバ1(本発明における画像提供装置の一例)は、素材となる複数の画像をタイル状に配置して(組み合わせて)できるモザイク画像が表示されるWebページをユーザ端末2へ送信するWebサーバである。モザイク画像提供サーバ1は、素材となる画像を収集するため、ネットワークNWを介して各ユーザ端末2から画像を取得する。ユーザ端末2から取得される画像は、ユーザにより投稿された画像(以下、「投稿画像」という)である。
【0030】
ユーザ端末2は、モザイク画像提供システムSを利用するユーザの端末装置である。ユーザ端末2は、ユーザからの操作に基づいて、モザイク画像提供サーバ1にアクセスする。これにより、ユーザ端末2は、モザイク画像提供サーバ1からWebページを受信して表示する。ユーザは、ユーザ端末2の画面に表示されるWebページを通じて、モザイク画像の素材となる画像を投稿したり、モザイク画像を表示させたりする。ユーザ端末2には、ブラウザや電子メールクライアント等のソフトウェアが組み込まれている。ユーザ端末2としては、例えば、パーソナルコンピュータ、PDA(Personal Digital Assistant)、スマートフォン等の携帯情報端末、携帯電話機等が用いられる。
【0031】
このような構成のモザイク画像提供システムSにおいて、モザイク画像の絵柄の元となる画像が、例えば予め用意されている。この画像が元画像である。モザイク画像提供サーバ1は、モザイク画像が表す絵柄が、元画像が表す絵柄に近くなるように、投稿画像の配置を行う。
【0032】
図2は、元画像の一例を示す図である。図2に示す画像100は、歩いている馬及びその馬に乗っている騎手の絵柄を表す画像である。ここで、馬の色は焦げ茶色であるものとする。また、騎手のズボンの色は黄色であり、騎手の上着の色は水色であるものとする。また、背景の色は白色であるものとする。なお、それぞれが均一の色で塗りつぶされているのではなく、場所によってある程度の色の変化はあるものとする。
【0033】
元画像は、符号200で示される複数の領域(以下、「分割領域」という)に分割されている。例えば、画像100は、横20個及び縦24個の合計480個の分割領域に分割されている。分割領域の個数を、「分割数」という。各分割領域には、ユーザ端末2から取得された投稿画像が割り当てられる。投稿画像を分割領域に割り当てることは、モザイク画像内において、割り当て先の分割領域に対応する位置に、投稿画像を配置することを意味する。
【0034】
モザイク画像提供サーバ1は、ユーザ端末2から投稿画像を取得するたびに、投稿画像の割り当てを行い、その時点までに収集されている投稿画像が配置されたモザイク画像が表示されるWebページを生成する。従って、元画像の分割数分の投稿画像が収集されるまでは、未完成状態のモザイク画像がWebページに表示される。つまり、モザイク画像内において、投稿画像が配置されていない領域が存在する。この状態のモザイク画像は、それを見るユーザにとって、モザイク画像が表すべき元画像の絵柄を認識しにくいものとなる場合がある。
【0035】
そこで、モザイク画像提供サーバ1は、極力早い段階で元画像の絵柄を認識可能となるように、あるいは、収集されている投稿画像の数が多くはなくても元画像の絵柄の視認性が高くなるように、投稿画像を割り当てる分割領域を決定する。具体的に、モザイク画像提供サーバ1は、投稿画像と色が近い分割領域のうち、含まれるエッジの度合いが高い分割領域ほど優先的に投稿画像を割り当てる。エッジとは、例えば、画像の明度、色相、彩度等が急激に(鋭く)変化する部分をいう。モザイク画像提供サーバ1は、エッジの度合いを示す指標として、各分割領域のエッジ度を計算する。分割領域に含まれる画像の明度等が変化する度合いが高いほど、すなわち、エッジが強いほど、その分割領域のエッジ度が高くなる。また、分割領域に含まれるエッジの量が多いほど、その分割領域のエッジ度が高くなる。エッジ度が高い分割領域は、例えば、元画像の絵柄の輪郭部分、特徴部分、複雑な模様部分等であったりする。モザイク画像提供サーバ1は、このような部分に投稿画像を優先的に割り当てることで、元画像の絵柄の視認性を向上させる。
【0036】
図3(a)及び図3(b)は、モザイク画像の表示例を示す図である。図3(a)及び図3(b)に示すモザイク画像は、画像100を元画像とするモザイク画像である。図3(a)に示すモザイク画像は、完成した状態のモザイク画像300aである。つまり、480個全ての分割領域に投稿画像が割り当てられている。一方、図3(b)に示すモザイク画像は、未完成状態のモザイク画像300bである。モザイク画像300bにおいては、200個程度の分割領域に投稿画像が割り当てられている。画像100においては、馬の輪郭部分、騎手の輪郭部分、模様が細かい馬の尻尾部分等の分割領域のエッジ度が高くなる。そのため、これらの分割領域の方が、その他の分割領域よりも、投稿画像が割り当てられている度合いが高くなっている。従って、この状態であっても、モザイク画像300bから馬及び騎手の認識が比較的容易になっている。つまり、エッジ度に基づいて割り当てを行わない場合よりも、元画像の絵柄の視認性が高くなる。また、モザイク画像を見たユーザは、元画像の絵柄が如何なる絵柄であるかを比較的早い段階で認識することができたり、推測することができたりする。そのため、ユーザにとっては、例えば、如何なる画像を投稿すると良いかを判断しやすくなったり、投稿する画像がどの領域に割り当てられるかを予測しやすくなったりする。
【0037】
また、エッジ度がそれほど高くはない分割領域の中でも、エッジ度が高い分割領域に隣接する分割領域の方が、エッジ度が高い分割領域に隣接していない分割領域よりも、投稿画像が割り当てられている度合いが高くなっている。つまり、大筋では、エッジ度が高い分割領域、その分割領域の周囲にある分割領域の順で、優先的に投稿画像が割り当てられる。これにより、元画像の絵柄の視認性をより向上させることができる。
【0038】
なお、前述したように、本実施形態においては、投稿画像と色が近い分割領域に投稿画像を割り当てることとしている。そのため、投稿画像があまり収集されていない段階であっても、投稿画像の色によっては、エッジ度が高くはない分割領域に割り当てられることもある。また、これまでに収集された投稿画像の色等によっては、収集された投稿画像の数が同じであっても視認性が変化することはある。
【0039】
[2.モザイク画像提供サーバの構成]
次に、モザイク画像提供サーバ1の構成について、図4乃至図8を用いて説明する。
【0040】
図4は、本実施形態に係るモザイク画像提供サーバ1の概要構成の一例を示すブロック図である。図4に示すように、モザイク画像提供サーバ1は、通信部11と、記憶部12と、入出力インターフェース13と、システム制御部14と、を備えている。そして、システム制御部14と入出力インターフェース13とは、システムバス15を介して接続されている。
【0041】
通信部11は、ネットワークNWに接続して、ユーザ端末2等との通信状態を制御するようになっている。
【0042】
記憶部12は、例えば、ハードディスクドライブ等により構成されている。この記憶部12には、会員情報DB(データベース)12a、元画像DB12b、投稿画像DB12c及びモザイク画像DB12d等が構築されている。
【0043】
図5(a)は、本実施形態に係る会員情報DB12aに登録される内容の一例を示す図である。会員情報DB12aには、モザイク画像提供システムSに会員登録しているユーザに関する会員情報が登録される。具体的に、会員情報DB12aには、ユーザの識別情報であるユーザID、パスワード、ニックネーム、氏名、生年月日、性別、住所、電話番号、電子メールアドレス等が、ユーザごとに対応付けて登録される。
【0044】
図5(b)は、本実施形態に係る元画像DB12bに登録される内容の一例を示す図である。元画像DB12bには、元画像及び元画像に関する情報が登録されている。具体的に、元画像DB12bには、元画像の識別情報である元画像ID、元画像データ、分割数情報、複数の分割領域情報が元画像ごとに対応付けて登録される。
【0045】
元画像IDは、元画像の識別情報である。元画像データは、元画像の画像データである。モザイク画像提供システムSにおいて用いられる画像データのフォーマットとしては、例えば、JPEG(Joint Photographic Experts Group)、TIFF(Tagged-Image File Format)、PNG(Portable Network Graphics)等がある。
【0046】
分割数情報は、分割数を示す情報である。具体的に、分割数情報は、元画像の分割数、横分割数及び縦分割数を含む。横分割数は、横方向の分割数である。つまり、横分割数は、元画像の横方向に並ぶ分割領域の個数である。縦分割数は、縦方向の分割数である。つまり、縦分割数は、元画像の縦方向に並ぶ分割領域の個数である。元画像の分割数は、横分割数と縦分割数とを掛け合わせることにより得られる。
【0047】
分割領域情報は、分割領域に関する情報である。分割領域情報は、元画像の分割数分登録される。各分割領域情報は、対応する分割領域のインデックスに対応付けて登録される。各分割領域には、(X,Y)という形でインデックスが割り当てられる。ここで、Xは、横方向における分割領域の位置を示す。また、Yは、縦方向における分割領域の位置を示す。元画像の左上隅に位置する分割領域のインデックスが(0,0)となる。分割領域(X,Y)は、一番左からX+1番目に位置する分割領域のうち、一番上からY+1番目に位置する分割領域である。
【0048】
なお、元画像を複数の領域に分割することとは、元画像全体に相当する領域を複数の領域に分割することであり、元画像内の各画素がそれぞれ何れの領域に含まれているか(あるいは、各領域が何れの画素を含むか)を特定可能にすることをいう。システム制御部14は、元画像の縦横の画素数と、横分割数及び縦分割数とを取得することで、各画素が含まれる領域を特定することができる。そのため、元画像を複数の領域に分割することは、元画像の画像データを領域ごとの画像データに分割することを必ずしも意味するものとは限らない。よって、システム制御部14は、領域ごとの画像データを元画像DB12bに登録しても良いし、登録しなくても良い。
【0049】
図5(c)は、分割領域情報に設定される内容の一例を示す図である。図5(c)に示すように、分割領域情報には、代表色値、基本エッジ度及び拡張エッジ度が設定される。
【0050】
代表色値(本発明における色情報の一例)は、分割領域を代表する色(以下、「代表色」という)を示す値である。代表色は、例えば、分割領域全体の色を平均することにより得られる色であっても良いし、分割領域内において専有面積が最も大きい色であっても良い。代表色値は、例えば、R(赤)、G(緑)、B(青)の各基本色(原色)ごとの値を含む。R、G、Bの各値は、例えば、0から255までの何れかの値をとる。システム制御部14は、分割領域の代表色値と投稿画像の代表色値とを比較することにより、投稿画像を割り当てる分割領域の候補を決定する。なお、代表色値は、例えば、CMYK、Lab色空間等で表現されても良い。
【0051】
基本エッジ度(本発明における第1エッジ度の一例)は、エッジ度の一種であり、後述する拡張エッジ度の計算に用いられる。基本エッジ度は、分割領域内の画像そのものに含まれるエッジの度合いを示す。基本エッジ度は、システム制御部14により計算される。先ず、システム制御部14は、分割領域に含まれる各画素の画素エッジ度を計算する。画素エッジ度は、画素そのもののエッジの強さを示す。具体的に、システム制御部14は、注目画素(画素エッジ度の計算対象となっている画素)の値と、注目画素に隣接する各画素の値との差を計算する。この計算は、基本色ごとに行われる。注目画素に隣接する画素は、注目画素の上下左右及び斜め方向に位置する8画素である。そして、システム制御部14は、基本色ごとに計算した差を足し合わせ、更に8画素分の差を足し合わせて、画素エッジ度を算出する。これらの処理を式で示すと、下記の式1となる。
【0052】
【数1】
式1において、xは、注目領域(基本エッジ度の計算対象となっている分割領域)の左上隅にある画素を基準とした注目画素のX座標であり、yは、注目領域の左上隅にある画素を基準とした注目画素のY座標である。また、R(x,y)、G(x,y)及びB(x,y)は、座標(x,y)にある画素のRの画素値、Gの画素値及びBの画素値である。また、EP(x,y)は、座標(x,y)にある画素の画素エッジ度である。なお、システム制御部14は、基本色ごとに計算した差の絶対値をとって、その絶対値を足し合わせる代わりに、基本色ごとに計算した差の二乗をそれぞれ計算して、その計算結果を足しあわせても良い。
【0053】
次に、システム制御部14は、分割領域内の全画素の画素エッジ度を足し合わせて、その分割領域の基本エッジ度を算出する。この処理を式で示すと、下記の式(2)となる。
【0054】
【数2】
式2において、EB(X,Y)は、分割領域(X,Y)の基本エッジ度である。また、wは、分割領域の横の画素数であり、lは、分割領域の縦の画素数である。なお、基本エッジ度の計算方法は、ここで説明された方法に限定されるものではない。例えば、システム制御部14は、画素エッジ度を計算する際、注目画素の上下左右に位置する4画素のみについて画素値の差を計算しても良い。また、システム制御部14は、基本色ごとに画素値の差を計算するのではなく、例えば、注目画素の色とこれに隣接する画素の色との距離を計算し、色の距離を足し合わせて画素エッジ度を計算しても良い。
【0055】
図6(a)(b)は、基本エッジ度の計算例を説明するための図である。図6(a)は、元画像100を、図2に示したものとは異なる分割数で分割した場合の例である。図6(a)では、元画像100は、符号210で示される複数の分割領域に分割されている。具体的に、横9個及び縦10個の合計90個の分割領域に分割されている。図6(b)は、元画像100の各分割領域の基本エッジ度の一例を示す図である。なお、図6(b)は、各分割領域の基本エッジ度の違いが分かりやすいよう、正規化された基本エッジ度を示す。図6(b)に示すように、エッジを全く含まない分割領域の基本エッジ度は0になっている。一方、馬の輪郭や騎手の輪郭を含む分割領域の基本エッジ度は、輪郭の長さに応じて高くなっている。特に、背景と明度の差が大きい馬の輪郭部分については、エッジ度が高くなっている。また、線が多い馬の尻尾部分(例えば、分割領域(0,6)、(0,7))や、模様が複雑な騎手の手元部分(例えば、分割領域(4,3))も、エッジ度が高くなっている。
【0056】
拡張エッジ度(本発明における第2エッジ度の一例)は、エッジ度の一種であり、投稿画像を割り当てる分割領域を決定するために用いられる。拡張エッジ度は、注目領域(拡張エッジ度の計算対象となっている分割領域)に隣接する分割領域の基本エッジ度を反映したエッジ度である。基本エッジ度も、システム制御部14により計算される。具体的に、システム制御部14は、注目領域の基本エッジ度と、これに隣接する8個の分割領域の基本エッジ度とを足し合わせる。そして、システム制御部14は、算出した合計値を、基本エッジ度を足し合わせた分割領域の個数で割ることにより、拡張エッジ度を算出する。つまり、システム制御部14は、基本エッ度の単純な相加平均を計算する。これらの処理を式で示すと、下記の式(3)となる。
【0057】
【数3】
式3において、EE(X,Y)は、分割領域(X,Y)の拡張エッジ度である。なお、分割領域によっては、隣接する分割領域が5個のみである場合や、3個のみである場合がある。このような場合、式3における1/9は、1/6または1/4に変更される。これは、分割領域の位置により、算出される拡張エッジ度が不均衡とならないようにするためである。
【0058】
図7(a)は、90個の分割領域に分割された元画像100の各分割領域の拡張エッジ度の一例を示す図である。図7(a)に示すように、基本エッジ度が低い分割領域であっても、周囲の分割領域において基本エッジ度が高い分割領域は、拡張エッジ度が基本エッジ度よりも高くなっている(例えば、馬の尻尾と馬の後ろ足の画像に囲まれた背景部分の分割領域(0,8)、周囲を馬の輪郭で覆われた馬の胴体部分の分割領域(3,7)等)。システム制御部14が、投稿画像を割り当てる分割領域を決定するとき、拡張エッジ度が高い分割領域に優先的に割り当て先として決定する。従って、基本エッジ度が高い分割領域に優先的に投稿画像が割り当てられるとともに、周囲の分割領域の基本エッジ度が高い分割領域に優先的に投稿画像が割り当てられる。
【0059】
ところで、式3における1/9は、各基本エッジ度に掛け合わされる重み係数に相当するものといえる。図7(b)は、注目領域に対する重み係数と、注目領域に隣接する分割領域に対する重み係数と、を示す図である。図7(b)に示すように、式3の場合は、全ての分割領域の基本エッジ度に同一の重み係数が掛けられることになる。つまり、全ての分割領域の基本エッジ度の重みは同一である。このようにした場合、注目領域の基本エッジ度が高くても、周囲の分割領域の基本エッジ度が低いと、拡張エッジ度が低くなる。その逆に、注目領域の基本エッジ度が低くても、周囲の分割領域の基本エッジ度が高いと、拡張エッジ度が高くなる。そうすると、分割領域間において、画像に含まれているエッジの度合いが高い分割領域よりも、画像に含まれているエッジの度合いが低い分割領域の方が優先的に投稿画像が割り当てられる可能性がある。そこで、極力基本エッジ度が高い分割領域に優先的に投稿画像が割り当てられるように、拡張エッジ度を計算する際の注目領域の基本エッジ度の重みを重くしても良い。
【0060】
図8(a)は、注目領域の基本エッジ度の重みを重くした場合の拡張エッジ度の一例を示す図である。また、図8(b)は、注目領域の基本エッジ度の重みを重くした場合の重み係数の一例を示す図である。図8(b)に示すように、注目領域の基本エッジ度の重み係数を、例えば1/3とする。一方、その他の分割領域の重み係数を、例えば、1/12とする。全ての重み係数を足し合わせると、1になる。重み係数を求める計算式を式4に示す。
【0061】
【数4】
式4において、Kは、重み係数であり、A(=1/3)は、注目領域の基本エッジ度の重み係数である。そして、拡張エッジ度は、下記の式5で計算することができる。
【0062】
【数5】
注目領域に隣接する分割領域が5個のみである場合や、3個のみである場合、式4における1/8は、1/5または1/3に変更される。従って、注目領域に隣接する分割領域が5個のみである場合、注目領域の基本エッジ度の重み係数は1/3となり、その他の分割領域の重み係数は2/15となる。また、注目領域に隣接する分割領域が3個のみである場合、注目領域の基本エッジ度の重み係数は1/3となり、その他の分割領域の重み係数は2/9となる。このように、拡張エッジ度に対して、注目領域の基本エッジ度が寄与する割合を一定にしている。なお、各基本エッジ度に対応する重みの付け方は、ここで説明された方法に限定されるものではない。
【0063】
拡張エッジ度の計算方法は、ここで説明された方法に限定されるものではない。例えば、システム制御部14は、注目領域の基本エッジ度と、注目領域の上下左右に位置する4個の分割領域の基本エッジ度とのみを足し合わせて、基本エッジ度の相加平均を計算しても良い。
【0064】
図5(d)は、本実施形態に係る投稿画像DB12cに登録される内容の一例を示す図である。投稿画像DB12cには、投稿画像及び投稿画像に関する情報が登録される。具体的に、投稿画像DB12cには、モザイク画像ID、投稿数、投稿画像情報が登録される。モザイク画像IDは、登録された投稿画像を素材として生成されるモザイク画像の識別情報である。投稿数は、これまでにユーザ端末2から取得された投稿画像の数である。投稿画像情報は、投稿数分登録される。
【0065】
図5(e)は、投稿画像情報に設定される内容の一例を示す図である。図5(e)に示すように、投稿画像情報には、画像番号、ユーザID、投稿画像データ及び代表色値が対応付けて設定される。画像番号は、投稿画像に付与された番号である。各投稿画像には、投稿順(モザイク画像提供サーバ1が取得した順)に画像番号が付与される。投稿画像情報に設定されるユーザIDは、投稿画像を投稿したユーザのユーザIDである。つまり、投稿画像情報に設定されるユーザIDは、投稿画像の取得先のユーザ端末2を利用するユーザのユーザIDである。投稿画像データは、投稿画像の画像データである。代表色値は、投稿画像の代表色を示す値である。なお、投稿画像の代表色値の内容は、分割領域の代表色値の内容と同様である。
【0066】
図5(f)は、本実施形態に係るモザイク画像DB12dに登録される内容の一例を示す図である。モザイク画像DB12dには、モザイク画像に関する情報が登録される。具体的に、モザイク画像DB12dには、モザイク画像ID、元画像ID、複数の割り当て画像番号及びモザイク画像表示データがモザイク画像ごとに対応付けて登録される。モザイク画像IDは、モザイク画像の識別情報である。元画像IDは、モザイク画像の絵柄となる画像の元画像IDである。割り当て画像番号は、分割領域に割り当てられた投稿画像の画像番号である。割り当て画像番号は、元画像の分割数分登録される。各割り当て画像番号は、対応する分割領域のインデックスに対応付けて登録される。まだ投稿画像が割り当てられていない分割領域(以下、「未割り当て領域」という)の割り当て画像番号には、例えば、−1等の無効な番号が設定されている。
【0067】
モザイク画像表示データは、Webページ内にモザイク画像を表示するためのデータである。つまり、モザイク画像表示データは、モザイク画像の表示内容を示す。本実施形態においては、モザイク画像は、各セルに投稿画像がはめ込まれたテーブルとして表現される。例えば、モザイク画像表示データは、HTML(Hyper Text Markup Language)、XML(Extensible Markup Language)、XHTML(Extensible Hyper Text Markup Language)等のマークアップ言語等で記述されたデータである。モザイク画像表示データは、モザイク画像が表示されるWebページのHTML文書の一部を構成する。システム制御部14は、モザイク画像表示データを含むHTML文書をユーザ端末2へ送信することにより、このHTML文書に基づいてユーザ端末2によりモザイク画像を表示させる。つまり、ユーザ端末2が、HTML文書に含まれるモザイク画像表示データの記述内容に従ってテーブルの各セルに投稿画像を表示することにより、Webページ内にモザイク画像を表示する。本実施形態では、ユーザ端末2が画面上にモザイク画像を生成(形成)することになる。
【0068】
モザイク画像表示データにおいては、例えば、tableタグ、trタグ、tdタグ等によりテーブルが規定される。セルを示すtd開始タグとtd終了タグとの間には、例えば、
<img src="href="http://www.yyy.zzz/9876543210-0123.jpeg" >
というimgタグが設定される。ここで、"http://www.yyy.zzz/9876543210-0123.jpeg"は、投稿画像データのURL(Uniform Resource Locator)である。また、"9876543210"は、元画像IDである。また、"0123"は、投稿画像の画像番号である。このように、投稿画像が割り当てられている分割領域に対応するセルには、割り当てられている投稿画像のURLを含むimgタグが設定される。なお、このURLは、投稿画像のサムネイルの画像データのURLであっても良い。モザイク画像内においては、通常、投稿画像は本来の表示サイズよりも小さいサイズで表示される。そのため、投稿画像の縦横の画素数を減らして表示サイズを縮小したサムネイルの画像データが、モザイク画像を表示しようとするユーザ端末2へ送信されても良い。この場合、システム制御部14は、例えば、投稿画像データを投稿画像DB12cに登録するとき、投稿画像データに基づいて投稿画像のサムネイルの画像データを生成し、このサムネイルの画像データを投稿画像DB12cに登録する。
【0069】
モザイク画像DB12dに登録されている割り当て画像番号の内容は、モザイク画像表示データに反映されている。そのため、モザイク画像DB12dには、割り当て画像番号またはモザイク画像表示データの何れか一方のみが登録されるようになっていても良い。割り当て画像番号のみが登録される場合、システム制御部14は、モザイク画像が表示されるWebページを送信するときに、割り当て画像番号に基づいてモザイク画像表示データを生成しても良い。
【0070】
次に、記憶部12に記憶されるその他の情報について説明する。記憶部12には、Webページを表示するためのHTML文書、XML文書、画像データ、テキストデータ、電子文書等の各種データが記憶されている。また、記憶部12には、管理者等により設定された各種の設定値が記憶されている。設定値の中には、投稿画像の色が分割領域の色に近いか否かを判定するための閾値が含まれている。
【0071】
また、記憶部12には、オペレーティングシステム、WWW(World Wide Web)サーバプログラム、DBMS(DataBase Management System)、モザイク画像提供プログラム等の各種プログラムが記憶されている。モザイク画像提供プログラムは、元画像の登録、投稿画像の取得、モザイク画像表示データの生成等のモザイク画像に関する処理を実行するためのプログラムである。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークNWを介して取得されるようにしても良いし、DVD(Digital Versatile Disc)等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしても良い。
【0072】
入出力インターフェース13は、通信部11及び記憶部12とシステム制御部14との間のインターフェース処理を行うようになっている。
【0073】
システム制御部14は、CPU14a、ROM(Read Only Memory)14b、RAM(Random Access Memory)14c等により構成されている。そして、システム制御部14は、CPU14aが、各種プログラムを読み出し実行することにより、本発明における画像取得手段、候補決定手段、エッジ度取得手段、割り当て決定手段、第1計算手段、第2計算手段、色情報取得手段及び提示手段として機能するようになっている。
【0074】
なお、モザイク画像提供サーバ1が、複数のサーバ装置で構成されても良い。例えば、元画像の登録、投稿画像の取得、モザイク画像表示データの生成に関する処理を行うサーバ装置、ユーザ端末2からのリクエストに応じてWebページを送信するサーバ装置、及びデータベースを管理するサーバ装置等が、互いにLAN等で接続されても良い。
【0075】
[3.モザイク画像提供システムの動作]
次に、モザイク画像提供システムSの動作について、図9乃至図11を用いて説明する。
【0076】
図9は、本実施形態に係るモザイク画像提供サーバ1のシステム制御部14の元画像登録処理における処理例を示すフローチャートである。なお、図9は、拡張エッジ度を計算するときに、注目領域の基本エッジ度の重みを、隣接する分割領域の基本エッジ度の重みよりも重くした場合の処理例を示す。
【0077】
例えば、モザイク画像提供サーバ1の管理者が、モザイク画像提供サーバ1に接続された管理用の端末装置を操作することにより、元画像の登録を行う。具体的に、管理者は、元画像データを選択するとともに、横分割数及び縦分割数を入力する。すると、管理用の端末装置は、元画像データ、横分割数及び縦分割数を含む元画像登録リクエストを、モザイク画像提供サーバ1へ送信する。なお、例えば、ユーザが元画像を投稿することができるようになっても良い。この場合、元画像を投稿するユーザのユーザ端末2が元画像登録リクエストを送信する。
【0078】
元画像登録処理は、モザイク画像提供サーバ1が元画像登録リクエストを受信したときに開始される。この元画像登録処理は、後述する投稿画像受信時処理よりも前に予め実行される。そして、元画像登録処理が実行されることにより、投稿画像受信時処理における投稿画像の割り当て等が可能となる。
【0079】
元画像登録処理において、システム制御部14は、新たな元画像IDを生成する。次いで、システム制御部14は、受信した元画像登録リクエストに含まれる横分割数及び縦分割数に基づいて、分割数情報を生成する。そして、システム制御部14は、新たな元画像ID、元画像登録リクエストに含まれる元画像データ及び生成した分割数情報を対応付けて、元画像DB12bに登録する(ステップS11)。また、システム制御部14は、元画像データに基づいて、元画像のビットマップイメージをRAM14cに展開する。
【0080】
次いで、システム制御部14は、元画像の分割を行う。先ず、システム制御部14は、分割領域のインデックスYに0を設定する(ステップS12)。次いで、システム制御部14は、分割領域のインデックスXに0を設定する(ステップS13)。次いで、システム制御部14は、分割領域(X,Y)を特定する(ステップS14)。具体的に、システム制御部14は、登録した元画像データから元画像の縦横の画素数を取得する。次いで、システム制御部14は、元画像の縦横の画素数と、登録した分割数情報が示す横分割数及び縦分割数とに基づいて、分割領域(X,Y)に含まれる画素の座標範囲を計算する。
【0081】
次いで、システム制御部14は、分割領域(X,Y)の代表色値を計算する(ステップS15)。例えば、システム制御部14は、RAM14cに展開された元画像のビットマップイメージから分割領域(X,Y)に含まれる画素の値を取得する。次いで、システム制御部14は、R、G、Bの各基本色ごとに、取得した画素値を足し合わせる。次いで、システム制御部14は、基本色ごとの画素値の合計を、それぞれ分割領域(X,Y)に含まれる画素の総数で割る。この計算により得られた基本色ごとの画素値の平均が代表色値である。次いで、システム制御部14は、計算した代表色値を、新たな元画像IDと、分割領域のインデックスX及びYと、に対応付けて元画像DB12bに登録する。
【0082】
次いで、システム制御部14は、分割領域(X,Y)に含まれる各画素の画素エッジ度を計算する(ステップS16)。具体的に、システム制御部14は、RAM14cに展開された元画像のビットマップイメージから、分割領域(X,Y)に含まれる各画素の値を取得する。そして、システム制御部14は、例えば、式1が示す計算方法で、画素エッジ度を計算する。
【0083】
次いで、システム制御部14は、第1計算手段として、計算した各画素エッジ度に基づいて、分割領域(X,Y)の基本エッジ度を計算する(ステップS17)。例えば、システム制御部14は、式2が示す計算方法で、基本エッジ度を計算する。そして、システム制御部14は、計算した基本エッジ度を、新たな元画像IDと、分割領域のインデックスX及びYと、に対応付けて元画像DB12bに登録する。
【0084】
次いで、システム制御部14は、インデックスXに1を加算する(ステップS18)。次いで、システム制御部14は、インデックスXが横分割数未満であるか否かを判定する(ステップS19)。このとき、システム制御部14は、インデックスXが横分割数未満であると判定した場合には(ステップS19:YES)、ステップS14に移行する。一方、システム制御部14は、インデックスXが横分割数未満ではないと判定した場合には(ステップS19:NO)、インデックスYに1を加算する(ステップS20)。次いで、システム制御部14は、インデックスYが縦分割数未満であるか否かを判定する(ステップS21)。このとき、システム制御部14は、インデックスYが縦分割数未満であると判定した場合には(ステップS21:YES)、ステップS13に移行する。システム制御部14は、ステップS13〜S21の処理を繰り返すことにより、各分割領域の代表色値及び基本エッジ度の登録を行う。
【0085】
そして、システム制御部14は、インデックスYが縦分割数未満ではないと判定した場合には(ステップS21:NO)、インデックスYに0を設定する(ステップS22)。次いで、システム制御部14は、インデックスXに0を設定する(ステップS23)。
【0086】
次いで、システム制御部14は、第2計算手段として、分割領域(X,Y)の基本エッジ度と、分割領域(X,Y)に隣接する8個の分割領域の基本エッジ度に、それぞれ重み係数を掛ける(ステップS24)。このとき、システム制御部14は、分割領域(X,Y)の基本エッジ度に掛け合わせる重み係数の値を、隣接する分割領域の基本エッジ度に掛け合わせる重み係数の値よりも大きくする。
【0087】
次いで、システム制御部14は、第2計算手段として、重み係数を掛け合わせることによって重みが付けられた各基本エッジ度を足し合わせることにより、分割領域(X,Y)の拡張エッジ度を計算する(ステップS25)。つまり、システム制御部14は、ステップS24及びS25において、式5が示す計算方法で拡張エッジ度を計算する。そして、システム制御部14は、計算した拡張エッジ度を、新たな元画像IDと、分割領域のインデックスX及びYと、に対応付けて元画像DB12bに登録する。
【0088】
次いで、システム制御部14は、インデックスXに1を加算する(ステップS26)。次いで、システム制御部14は、インデックスXが横分割数未満であるか否かを判定する(ステップS27)。このとき、システム制御部14は、インデックスXが横分割数未満であると判定した場合には(ステップS27:YES)、ステップS24に移行する。一方、システム制御部14は、インデックスXが横分割数未満ではないと判定した場合には(ステップS27:NO)、インデックスYに1を加算する(ステップS28)。次いで、システム制御部14は、インデックスYが縦分割数未満であるか否かを判定する(ステップS29)。このとき、システム制御部14は、インデックスYが縦分割数未満であると判定した場合には(ステップS29:YES)、ステップS23に移行する。システム制御部14は、ステップS23〜S29の処理を繰り返すことにより、各分割領域の拡張エッジ度の登録を行う。
【0089】
そして、システム制御部14は、インデックスYが縦分割数未満ではないと判定した場合には(ステップS29:NO)、新たなモザイク画像IDを生成する。次いで、システム制御部14は、新たなモザイク画像ID及び元画像IDを対応付けて、モザイク画像DB12dに登録する。また、システム制御部14は、各分割領域の割り当て画像番号として、投稿画像が割り当てられていないことを示す番号を、新たなモザイク画像ID及び元画像IDに対応付けて、モザイク画像DB12dに登録する。また、システム制御部14は、空のモザイク画像表示データを、新たなモザイク画像ID及び元画像IDに対応付けて、モザイク画像DB12dに登録する(ステップS30)。空のモザイク画像表示データとは、投稿画像データのURLを含むimgタグが全く設定されていないモザイク画像表示データである。
【0090】
次いで、システム制御部14は、画像投稿・モザイク画像表示ページ400のHTML文書を生成する(ステップS31)。画像投稿・モザイク画像表示ページ400は、画像を投稿するためのWebページであるとともに、モザイク画像が表示されるWebページでもある。システム制御部14は、生成したHTML文書を記憶部12に記憶させる。次いで、システム制御部14は、生成したHTML文書へのハイパーリンクを設定する(ステップS32)。例えば、システム制御部14は、モザイク画像提供システムSのWebサイトのトップページのHTML文書に、画像投稿・モザイク画像表示ページ400のHTML文書のURLを含むaタグを追加する。これにより、ユーザによる画像の投稿及びモザイク画像の閲覧が可能となる。システム制御部14は、ステップS32の処理を終えると、元画像登録処理を終了させる。
【0091】
図10は、本実施形態に係る画像投稿・モザイク画像表示ページ400の画面表示例を示す図である。図10に示すように、画像投稿・モザイク画像表示ページ400は、メッセージ部410、投稿画像送信部420、モザイク画像表示部430等を含む。メッセージ部410には、例えば、モザイク画像提供システムSに関連するサイトにおける商品やサービス等に関する告知等の情報が表示される。投稿画像送信部420には、画像を投稿するための各種ウィジットが表示される。例えば、投稿画像データのパス名を指定するための入力欄、ユーザ端末2に記憶されている画像データの中から投稿画像データを選択するためのダイアログを表示するための参照ボタン、投稿画像データを送信するための送信ボタン等が表示される。モザイク画像表示部430には、これまで投稿された画像により生成されたモザイク画像が表示される。図10においては、一例としてモザイク画像300bが表示されている。なお、元画像登録処理が完了した後、まだ画像が1つも投稿されていない場合には、モザイク画像表示部430にはモザイク画像は表示されない。
【0092】
また、モザイク画像表示部430に表示されたモザイク画像に含まれる何れかの投稿画像がユーザにより選択された場合には、例えば、選択された投稿画像が画像投稿・モザイク画像表示ページ400内に大きく表示されたり、選択された投稿画像を投稿したユーザに関する情報(例えば、ユーザのニックネームやプロフィール等)が画像投稿・モザイク画像表示ページ400内に表示されたりしても良い。投稿画像を投稿したユーザに関する情報を表示する場合、システム制御部14は、例えば、モザイク画像表示データにimgタグを設定する際、投稿画像を投稿したユーザのユーザIDをモザイク画像表示データに設定する。モザイク画像表示部430において、ユーザが何れかの投稿画像を選択すると、ユーザ端末2は、その投稿画像を投稿したユーザのユーザIDを含むリクエストをモザイク画像提供サーバ1へ送信する。システム制御部14は、受信したリクエストに含まれるユーザIDに対応する会員情報から必要な情報を取得してユーザ端末2へ送信する。そして、ユーザ端末2は、受信した情報を表示する。
【0093】
図11は、本実施形態に係るモザイク画像提供サーバ1のシステム制御部14の投稿画像受信時処理における処理例を示すフローチャートである。画像投稿・モザイク画像表示ページ400の投稿画像送信部420において、ユーザが投稿画像データを指定して送信ボタンを選択すると、ユーザ端末2は、投稿リクエストをモザイク画像提供サーバ1へ送信する。投稿リクエストは、指定された投稿画像データ、操作を行ったユーザのユーザID、生成対象のモザイク画像のモザイク画像IDを含む。投稿画像受信時処理は、モザイク画像提供サーバ1が画像取得手段として投稿リクエストを受信したときに開始される。
【0094】
先ず、システム制御部14は、投稿リクエストに含まれるモザイク画像ID(以下、「対象モザイク画像ID」という)に対応する元画像ID(以下、「対象元画像ID」という)をモザイク画像DB12dから取得する。次いで、システム制御部14は、対象元画像IDに対応する分割数情報を、元画像DB12bから取得する(ステップS51)。次いで、システム制御部14は、取得した分割数情報に含まれる横分割数及び縦分割数に基づいて、対象モザイク画像IDに対応する各画像割り当て番号を、モザイク画像DB12dから取得する。そして、システム制御部14は、取得した各画像割り当て番号に基づいて、未割り当て領域を特定する(ステップS52)。次いで、システム制御部14は、色情報取得手段として、対象元画像IDに対応付けて元画像DB12bに登録されている分割領域情報のうち、未割り当て領域の分割領域情報から、代表色値を取得する(ステップS53)。
【0095】
次いで、システム制御部14は、色情報取得手段として、投稿リクエストに含まれる投稿画像データが示す投稿画像(以下、「処理対象投稿画像」という)の代表色値を計算する(ステップS54)。この計算方法は、元画像登録処理におけるステップS15の場合と同様である。
【0096】
ここで、システム制御部14は、例えばミューテックス等を利用した排他制御を行い、ステップS55以降の処理(クリティカルセッション)を実行することができる権限を取得した場合には、ロック操作を行う。これにより、システム制御部14は、複数のプロセスがクリティカルセッションを同時に実行することができないようにする。
【0097】
次いで、システム制御部14は、候補決定手段として、未割り当て領域の中から、処理対象投稿画像との代表色値の差が閾値以下である分割領域を、処理対象投稿画像の割り当ての候補領域として抽出する(ステップS55)。具体的に、システム制御部14は、以下の式6により差を計算する。
【0098】
【数6】
式6において、Diffは差である。R1、G1及びB1は、分割領域のR、G及びBの代表色値である。R2、G2及びB2は、処理対象投稿画像のR、G及びBの代表色値である。システム制御部14は、この計算を、全ての未割り当て領域について実行する。そして、システム制御部14は、算出された差が閾値以下である分割領域を、候補領域とする。なお、システム制御部14は、基本色ごとに計算した差の二乗をそれぞれ計算して、その計算結果を足しあわせる代わりに、基本色ごとに計算した差の絶対値をとって、その絶対値を足し合わせても良い。
【0099】
次いで、システム制御部14は、候補領域を1つ以上抽出することができたか否かを判定する(ステップS56)。このとき、システム制御部14は、候補領域を1つも抽出することができなかったと判定した場合には(ステップS56:NO)、投稿リクエストの送信元のユーザ端末2に、投稿拒否メッセージを送信する(ステップS57)。投稿拒否メッセージは、画像の投稿が拒否された旨を示すメッセージである。ユーザ端末2は、受信した投稿拒否メッセージを画面に表示する。システム制御部14は、ステップS57の処理を終えると、投稿画像受信時処理を終了させる。
【0100】
一方、システム制御部14は、候補領域を1つ以上抽出することができたと判定した場合には(ステップS56:YES)、エッジ度取得手段として、対象元画像IDに対応付けて元画像DB12bに登録されている分割領域情報のうち、抽出された候補領域の分割領域情報から、拡張エッジ度を取得する(ステップS58)。次いで、システム制御部14は、割り当て決定手段として、抽出した候補領域のうち、拡張エッジ度が最も高い候補領域を、処理対象投稿画像を割り当てる分割領域(以下、「割り当て対象領域」という)として決定する(ステップS59)。
【0101】
次いで、システム制御部14は、対象モザイク画像IDに対応付けて投稿画像DB12cに登録されている投稿数に1を加算して投稿数を更新する(ステップS60)。次いで、システム制御部14は、処理対象投稿画像の画像番号に、更新後の投稿数を設定する(ステップS61)。次いで、システム制御部14は、画像番号、投稿リクエストに含まれるユーザID及び投稿画像データ、並びに処理対象投稿画像の代表色値を含む投稿画像情報を、対象モザイク画像IDに対応付けて投稿画像DB12cに登録する(ステップS62)。
【0102】
次いで、システム制御部14は、対象モザイク画像IDに対応付けてモザイク画像DB12dに登録されている割り当て対象領域の割り当て画像番号を、処理対象投稿画像の画像番号に書き換える(ステップS63)。
【0103】
次いで、システム制御部14は、対象モザイク画像IDに対応付けてモザイク画像DB12dに登録されているモザイク画像表示データを更新する(ステップS64)。具体的に、システム制御部14は、モザイク画像表示データにおいて、割り当て対象領域のインデックスに対応するセルに、処理対象投稿画像の投稿画像データのURLを含むimgタグを設定する。
【0104】
次いで、システム制御部14は、更新後のモザイク画像表示データを含む画像投稿・モザイク画像表示ページ400のHTML文書を生成して、記憶部12に記憶させる(ステップS65)。次いで、システム制御部14は、生成したHTML文書を、投稿リクエストの送信元のユーザ端末2へ送信する(ステップS66)。ここで、システム制御部14は、アンロック操作を行うことにより、別のプロセスがクリティカルセッションを実行することができるようにすうる。システム制御部14は、この処理を終えると、投稿画像受信時処理を終了させる。
【0105】
ユーザ端末2は、受信したHTML文書に基づいて、画像投稿・モザイク画像表示ページ400を画面に表示する。このとき、システム制御部14は、モザイク画像表示データに含まれるimgタグに基づいて、投稿画像データのURLを含むリクエストをモザイク画像提供サーバ1へ送信する。システム制御部14は、受信したリクエストに含まれるURLからモザイク画像ID及び画像番号を取得する。次いで、システム制御部14は、取得したモザイク画像ID及び画像番号に対応する投稿画像データを、投稿画像DB12cから取得する。次いで、システム制御部14は、取得した投稿画像データをユーザ端末2へ送信する。ユーザ端末2は、取得した投稿画像データに基づいて、画像投稿・モザイク画像表示ページ400のモザイク画像表示部430内に投稿画像を表示する。これにより、例えば図10に示すようなモザイク画像が表示される。こうして、システム制御部14は、モザイク画像表示データを送信することにより、提示手段として、モザイク画像をユーザ端末2によりユーザに提示させる。
【0106】
以上説明したように、本実施形態によれば、モザイク画像提供サーバ1のシステム制御部14が、ユーザにより指定された投稿画像を取得し、取得された投稿画像の代表色値と、分割領域の代表色値と、に基づいて、取得された画像の割り当ての候補となる候補領域を決定し、候補領域のエッジ度を取得し、取得されたエッジ度に基づいて、取得された投稿画像を割り当てる分割領域を、候補領域の中から決定し、決定された割り当てに基づいて、取得された投稿画像が配置されたモザイク画像をユーザへ提示する。
【0107】
従って、候補領域となった分割領域におけるエッジの度合いに基づいて、投稿画像が割り当てられる分割領域が決定されるので、元画像の絵柄の視認性の向上に資する分割領域に投稿画像を優先的に割り当てることができる。そのため、未完成状態のモザイク画像であっても元画像の絵柄の視認性が高いモザイク画像を提示することができる。
【0108】
また、システム制御部14が、注目領域の基本エッジ度と、注目領域に隣接する分割領域の基本エッジ度と、に基づいて、各基本エッジ度が高いほど拡張エッジ度が高くなるように、注目領域におけるエッジの度合いを示す拡張エッジ度を計算し、候補領域となった分割領域における拡張エッジ度に基づいて、取得された投稿画像を割り当てる分割領域を決定する。
【0109】
従って、元画像の絵柄の視認性の向上に資する画像を含む分割領域と、その分割領域に隣接する分割領域と、に優先的に投稿画像を割り当てることができる。そのため、これらの分割領域に投稿画像が割り当てられることにより、元画像の絵柄の視認性をより高めることができる。
【0110】
また、システム制御部14が、注目領域の基本エッジ度の重みが、隣接する分割領域の基本エッジ度の重みよりも重くなるように、各基本エッジ度に重み付けして拡張エッジ度を計算する。
【0111】
従って、元画像の絵柄の視認性の向上に資する画像を含む分割領域と、その分割領域に隣接する分割領域と、に優先的に投稿画像を割り当てながらも、元画像の絵柄の視認性の向上に資する画像を含む分割領域の方により優先的に投稿画像が割り当てることができる。そのため、元画像の絵柄の視認性をより高めることができる。
【0112】
なお、上記実施形態の投稿画像受信時処理におけるステップS55において、モザイク画像提供サーバ1は、投稿画像が割り当てられていない全ての分割領域について、投稿画像との代表色値の差を計算していた。しかしながら、分割領域を予め代表色値に基づいて並べ替えておくことにより、計算を行う分割領域の個数を減らし、計算時間を短くすることができる。例えば、システム制御部14は、Rの代表色値が小さい順に分割領域を示すリスト、Gの代表色値が小さい順に分割領域を示すリスト、Bの代表色値が小さい順に分割領域を示すリストを生成する。システム制御部14は、投稿画像データを受信して投稿画像の代表値を計算したとき、投稿画像の代表値との差が閾値以下となる代表値の最小値及び最大値を、R、G、Bそれぞれについて計算する。このときの閾値は、式6で差を計算した場合に用いられる閾値とは異なっていても良い。次いで、システム制御部14は、例えば、二分探索法等により、代表値が、投稿画像の代表値との差が閾値以下となる分割領域の範囲を、生成したリストを用いて特定する。システム制御部14は、これを、R、G、Bについて実行する。そして、システム制御部14は、R、G、Bの全てにおいて、投稿画像との代表値の差が閾値以下になっている分割領域を、候補領域とする。
【0113】
また、上記実施形態において、モザイク画像提供サーバ1は、投稿画像を割り当てる分割領域を決定するためのエッジ度として、注目領域の基本エッジ度の重みを重くした拡張エッジ度を用いていた。しかしながら、モザイク画像提供サーバ1は、例えば、基本エッジ度の単純な相加平均である拡張エッジ度を用いても良いし、基本エッジ度そのものを用いても良い。
【0114】
また、上記実施形態において、モザイク画像提供サーバ1は、投稿画像の割り当ての候補領域のうち、エッジ度が最も高い候補領域を、割り当て対象領域としていた。しかしながら、モザイク画像提供サーバ1は、エッジ度が高い候補領域に対して投稿画像を優先的に割り当てるものの、エッジ度が最も高い候補領域以外の分割領域に割り当てても良い。例えば、システム制御部14は、元画像登録処理において、エッジ度の高い順に分割領域を示すリストを生成する。次いで、システム制御部14は、エッジ度の高さが1番目から所定番目までの分割領域を、投稿画像を優先的に割り当てる優先領域とする。何番目までの分割領域を優先領域とするかは、例えば、元画像の分割数に応じて決定しても良い。例えば、元画像の分割数が480であり、全分割領域の20%を優先領域とする場合、エッジどの高さが1番目から96番目までの分割領域が優先領域となる。システム制御部14は、候補領域の中に優先領域が1つ以上存在する場合には、その中の何れの優先領域に投稿画像を割り当てても良い。例えば、システム制御部14は、投稿画像との代表色値の差が最も小さい優先領域に投稿画像を割り当てても良い。システム制御部14は、候補領域の中に優先領域が存在しない場合には、例えば、エッジ度が最も高い候補領域に対して投稿画像を割り当てても良いし、投稿画像との代表色値の差が最も小さい候補領域に投稿画像を割り当てても良い。
【0115】
また、上記実施形態において、モザイク画像提供サーバ1は、各投稿画像をそれぞれ1つの分割領域に割り当てていたが、例えば、複数の領域に割り当てても良い。例えば、モザイク画像提供サーバ1は、候補領域の中からエッジ度が高い順に予め設定された数の候補領域に、それぞれ同一の投稿画像を割り当てても良い。
【0116】
また、上記実施形態において、モザイク画像提供サーバ1は、投稿画像を割り当てる候補領域を、未割り当て領域の中から抽出していた。しかしながら、モザイク画像提供サーバ1は、既に投稿画像が割り当てられている分割領域からも抽出しても良い。例えば、上記実施形態においては、候補領域が複数抽出された場合、その中からエッジ度が最も高い候補領域に投稿画像が割り当てられる。従って、各投稿画像は、色が最も近い候補領域に割り当てられない場合がある。そのため、既に分割領域に割り当てられている投稿画像を、より色が近い別の分割領域に移動させることができる可能性がある。そこで、モザイク画像提供サーバ1は、例えば、分割領域に既に割り当てられている投稿画像(以下、「割り当て画像」という)の色よりもこれから割り当てようとする処理対象投稿画像の色の方がその分割領域の色に近く、且つ、割り当て画像の色により近い色の分割領域が空いている場合、その空いている分割領域に割り当て画像を割り当てるとともに、今まで割り当て画像が割り当てられていた分割領域に処理対象投稿画像を割り当てても良い。
【0117】
具体的に、システム制御部14は、処理対象投稿画像との代表色値の差が閾値以下である分割領域を、既に投稿画像が割り当てられているか否かに関係なく候補領域として抽出する。次いで、システム制御部14は、エッジ度が最も高い候補領域が未割り当て領域であれば、その候補領域をそのまま割り当て対象領域として決定する。一方、システム制御部14は、エッジ度が最も高い候補領域が、既に投稿画像が割り当てられている分割領域である場合には、その分割領域に割り当てられている投稿画像が移動可能であるか否かを判定する。例えば、システム制御部14は、エッジ度が最も高い候補領域と処理対象投稿画像との代表色値との差が、エッジ度が最も高い候補領域と割り当て画像との代表色値の差よりも小さいか否かを判定する。このとき、システム制御部14は、エッジ度が最も高い候補領域と処理対象投稿画像との代表色値との差の方が小さい場合には、まだ投稿画像が割り当てられていない候補領域の中から、割り当て画像との代表色値の差が、エッジ度が最も高い候補領域と割り当て画像との代表色値の差よりも小さい分割領域を抽出する。このとき、システム制御部14は、1つ以上の分割領域を抽出することができた場合には、その中でエッジ度が最も高い分割領域を、割り当て画像の割り当て対象領域として決定する。そして、システム制御部14は、エッジ度が最も高い候補領域を、処理対象投稿画像の割り当て対象領域として決定する。一方、システム制御部14は、エッジ度が最も高い候補領域と処理対象投稿画像との代表色値との差が、エッジ度が最も高い候補領域と割り当て画像との代表色値の差以上である場合、または、エッジ度が最も高い候補領域と割り当て画像との代表色値の差よりも代表色値の差が小さい分割領域を抽出することができなかった場合には、エッジ度が2番目に高い候補領域について同様の処理を行う。このように、システム制御部14は、処理対象投稿画像の割り当て対象領域が決定されるまで繰り返し処理を行う。
【0118】
また、上記実施形態において、モザイク画像提供サーバ1は、モザイク画像をユーザ端末2に表示させるためにモザイク画像表示データを含むHTML文書をユーザ端末2に送信していた。しかしながら、モザイク画像提供サーバ1は、モザイク画像の画像データそのものをユーザ端末2に送信しても良い。この場合、モザイク画像提供サーバ1は、例えば、これまでに取得して投稿画像DB12cに登録しておいた投稿画像データと、モザイク画像DB12dに登録されている割り当て画像番号とに基づいて、割り当てられた領域の位置に各投稿画像が配置されたモザイク画像の画像データを生成する。
【0119】
また、上記実施形態において、モザイク画像提供サーバ1は、一つのモザイク画像の表示データの生成に、複数のユーザから投稿された画像を用いることができるようにしていた。しかしながら、モザイク画像提供サーバ1は、例えば、1人のユーザから投稿された画像のみを用いてモザイク画像の表示データを生成しても良い。
【0120】
また、上記実施形態においては、モザイク画像提供サーバ1に画像取得手段、候補決定手段、エッジ度取得手段、割り当て決定手段、提示手段等を備えさせ、モザイク画像提供サーバ1が表示データをユーザ端末2に送信することにより、ユーザ端末2によりモザイク画像を提示させていた。しかしながら、例えば、ユーザ端末2等の装置に、画像取得手段、候補決定手段、エッジ度取得手段、割り当て決定手段、提示手段等を備えさせ、ユーザ端末2等の装置が、スタンドアローンで、エッジ度の計算、投稿画像の割り当て、モザイク画像の生成、モザイク画像の表示等を行っても良い。
【符号の説明】
【0121】
1 モザイク画像提供サーバ
2 ユーザ端末
11 通信部
12 記憶部
12a 会員情報DB
12b 元画像DB
12c 投稿画像DB
12d モザイク画像DB
13 入出力インターフェース
14 システム制御部
14a CPU
14b ROM
14c RAM
15 システムバス
NW ネットワーク
S モザイク画像提供システム
【特許請求の範囲】
【請求項1】
複数の領域に分割された元画像のモザイク画像を提供する画像提供装置であって、
ユーザにより指定された画像を取得する画像取得手段と、
前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定手段と、
前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段と、
前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定手段と、
前記割り当て決定手段により決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示手段と、
を備えることを特徴とする画像提供装置。
【請求項2】
請求項1に記載の画像提供装置において、
前記領域の画像に含まれるエッジの度合いを示す第1エッジ度を計算する第1計算手段を更に備え、
前記エッジ度取得手段は、前記計算された第1エッジ度を前記エッジ度として取得することを特徴とする画像提供装置。
【請求項3】
請求項2に記載の画像提供装置において、
ある前記領域の前記第1エッジ度と、前記ある領域に隣接する前記領域の前記第1エッジ度と、に基づいて、前記ある領域におけるエッジの度合いを示す第2エッジ度を計算する第2計算手段であり、各前記第1エッジ度が高いほど前記第2エッジ度が高くなるように計算する第2計算手段を更に備え、
前記エッジ度取得手段は、前記計算された第2エッジ度を前記エッジ度として取得することを特徴とする画像提供装置。
【請求項4】
請求項3に記載の画像提供装置において、
前記第2計算手段は、前記ある領域の前記第1エッジ度の重みが、前記隣接する領域の前記第1エッジ度の重みよりも重くなるように、各前記第1エッジ度に重み付けして前記第2エッジ度を計算することを特徴とする画像提供装置。
【請求項5】
請求項1乃至4の何れか1項に記載の画像提供装置において、
前記割り当て決定は、前記取得されたエッジ度が最も高い前記領域を、前記取得された画像を割り当てる領域に決定することを特徴とする画像提供装置。
【請求項6】
請求項1乃至5の何れか1項に記載の画像提供装置において、
前記取得された画像の代表色を値で示す色情報と、前記領域の代表色を値で示す色情報と、を取得する色情報取得手段を更に備え、
前記候補決定手段は、前記取得された画像の前記色情報の値と、前記領域の前記色情報の値と、の差が閾値以下である前記領域を前記候補として決定することを特徴とする画像提供装置。
【請求項7】
複数の領域に分割された元画像のモザイク画像を提供する画像提供装置における画像処理方法であって、
ユーザにより指定された画像を取得する画像取得ステップと、
前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定ステップと、
前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得ステップと、
前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定ステップと、
前記割り当て決定ステップにおいて決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示ステップと、
を含むことを特徴とする画像処理方法。
【請求項8】
複数の領域に分割された元画像のモザイク画像を提供する画像提供装置に含まれるコンピュータを、
ユーザにより指定された画像を取得する画像取得手段、
前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定手段、
前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段、
前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定手段、及び、
前記割り当て決定手段により決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示手段、
として機能させることを特徴とする画像処理プログラム。
【請求項9】
複数の領域に分割された元画像のモザイク画像を提供する画像提供装置に含まれるコンピュータを、
ユーザにより指定された画像を取得する画像取得手段、
前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定手段、
前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段、
前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定手段、及び、
前記割り当て決定手段により決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示手段、
として機能させる画像処理プログラムがコンピュータ読み取り可能に記録されていることを特徴とする記録媒体。
【請求項1】
複数の領域に分割された元画像のモザイク画像を提供する画像提供装置であって、
ユーザにより指定された画像を取得する画像取得手段と、
前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定手段と、
前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段と、
前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定手段と、
前記割り当て決定手段により決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示手段と、
を備えることを特徴とする画像提供装置。
【請求項2】
請求項1に記載の画像提供装置において、
前記領域の画像に含まれるエッジの度合いを示す第1エッジ度を計算する第1計算手段を更に備え、
前記エッジ度取得手段は、前記計算された第1エッジ度を前記エッジ度として取得することを特徴とする画像提供装置。
【請求項3】
請求項2に記載の画像提供装置において、
ある前記領域の前記第1エッジ度と、前記ある領域に隣接する前記領域の前記第1エッジ度と、に基づいて、前記ある領域におけるエッジの度合いを示す第2エッジ度を計算する第2計算手段であり、各前記第1エッジ度が高いほど前記第2エッジ度が高くなるように計算する第2計算手段を更に備え、
前記エッジ度取得手段は、前記計算された第2エッジ度を前記エッジ度として取得することを特徴とする画像提供装置。
【請求項4】
請求項3に記載の画像提供装置において、
前記第2計算手段は、前記ある領域の前記第1エッジ度の重みが、前記隣接する領域の前記第1エッジ度の重みよりも重くなるように、各前記第1エッジ度に重み付けして前記第2エッジ度を計算することを特徴とする画像提供装置。
【請求項5】
請求項1乃至4の何れか1項に記載の画像提供装置において、
前記割り当て決定は、前記取得されたエッジ度が最も高い前記領域を、前記取得された画像を割り当てる領域に決定することを特徴とする画像提供装置。
【請求項6】
請求項1乃至5の何れか1項に記載の画像提供装置において、
前記取得された画像の代表色を値で示す色情報と、前記領域の代表色を値で示す色情報と、を取得する色情報取得手段を更に備え、
前記候補決定手段は、前記取得された画像の前記色情報の値と、前記領域の前記色情報の値と、の差が閾値以下である前記領域を前記候補として決定することを特徴とする画像提供装置。
【請求項7】
複数の領域に分割された元画像のモザイク画像を提供する画像提供装置における画像処理方法であって、
ユーザにより指定された画像を取得する画像取得ステップと、
前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定ステップと、
前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得ステップと、
前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定ステップと、
前記割り当て決定ステップにおいて決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示ステップと、
を含むことを特徴とする画像処理方法。
【請求項8】
複数の領域に分割された元画像のモザイク画像を提供する画像提供装置に含まれるコンピュータを、
ユーザにより指定された画像を取得する画像取得手段、
前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定手段、
前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段、
前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定手段、及び、
前記割り当て決定手段により決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示手段、
として機能させることを特徴とする画像処理プログラム。
【請求項9】
複数の領域に分割された元画像のモザイク画像を提供する画像提供装置に含まれるコンピュータを、
ユーザにより指定された画像を取得する画像取得手段、
前記取得された画像の色情報と、前記領域の色情報と、に基づいて、前記取得された画像の割り当ての候補となる前記領域を決定する候補決定手段、
前記候補として決定された前記領域におけるエッジの度合いを示すエッジ度を取得するエッジ度取得手段、
前記取得されたエッジ度に基づいて、前記取得された画像を割り当てる前記領域を、前記候補として決定された前記領域の中から決定する割り当て決定手段、及び、
前記割り当て決定手段により決定された割り当てに基づいて、前記取得された画像が配置されたモザイク画像をユーザへ提示する提示手段、
として機能させる画像処理プログラムがコンピュータ読み取り可能に記録されていることを特徴とする記録媒体。
【図1】
【図2】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図11】
【図3】
【図10】
【図2】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図11】
【図3】
【図10】
【公開番号】特開2013−8190(P2013−8190A)
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願番号】特願2011−140288(P2011−140288)
【出願日】平成23年6月24日(2011.6.24)
【出願人】(399037405)楽天株式会社 (416)
【Fターム(参考)】
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願日】平成23年6月24日(2011.6.24)
【出願人】(399037405)楽天株式会社 (416)
【Fターム(参考)】
[ Back to top ]