画像処理装置および画像処理方法
【課題】素材画像を配置すべき分割領域の形状と異なる形状の素材画像を用いる場合にも、仕上がり品質の高いモザイク画像を生成することができるようにする。
【解決手段】
目標画像をサイズの異なる複数の領域に分割する領域分割手段と、前記領域分割手段により分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更手段と、前記領域分割手段により分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置手段と、前記素材画像配置手段が配置する素材画像のうち、互いに重なりが生じる素材画像は、面積の小さな素材画像の方が面積の大きな素材画像よりも上になるように制御する制御手段とを設け、画像の領域に応じて適切なブロックサイズに分割するとともに、重ね方まで考慮するようにする。
【解決手段】
目標画像をサイズの異なる複数の領域に分割する領域分割手段と、前記領域分割手段により分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更手段と、前記領域分割手段により分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置手段と、前記素材画像配置手段が配置する素材画像のうち、互いに重なりが生じる素材画像は、面積の小さな素材画像の方が面積の大きな素材画像よりも上になるように制御する制御手段とを設け、画像の領域に応じて適切なブロックサイズに分割するとともに、重ね方まで考慮するようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法に関し、特に、領域の形状と異なる形状を有する素材画像を用いる場合にも、仕上がり品質の高いモザイク画像を生成するために用いて好適な技術に関する。
【背景技術】
【０００２】
目標とする１つの画像（目標画像）を複数の領域に分割し、各領域を色が類似する他の異なる画像（素材画像）で置き換えて構成する、フォトモザイクという手法が知られている（特許文献１）。このフォトモザイクは、複数のユーザーが持ち寄った画像で一枚のポスターを作成するなど、企業の広告活動などにも利用されている。
【０００３】
しかし、特許文献１に記載のモザイク画像生成装置の場合には、同じサイズの領域に素材画像が整然と配置されるため、閲覧者がモザイク画像であることに気がつかない、あるいは、単調な印象しか受けないといった課題が存在する。
これに対し、特許文献２に記載の画像処理装置の場合には、画像の内容に応じて分割する領域サイズを変更することで、特徴的部位のテクスチャを詳細に表現することができるモザイク画像の生成方法が開示されている。また、特許文献３には、矩形以外の任意図形で領域を分割するようにし、高品質なフォトモザイク画像を得ることができるようにした画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１７１１５８号公報
【特許文献２】特開２０１１−７８０７８号公報
【特許文献３】特開２０１１−５４０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献２、３に記載の画像処理装置は、各領域に素材画像を敷きつめることでモザイク画像を生成する方法であるため、各領域の形状と異なる形状を有する素材画像をその形状のままで配置することができない。そのため、形状に重要な意味を有する素材画像（例えば、スナップ写真から切り出した人物像のみを素材画像とする場合など）では、仕上がり品質の高いモザイク画像を生成することができない問題点があった。
本発明は前述の問題点に鑑み、素材画像を配置すべき分割領域の形状と異なる形状の素材画像を用いる場合にも、仕上がり品質の高いモザイク画像を生成することができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、目標画像をサイズの異なる複数の領域に分割する領域分割手段と、前記領域分割手段により分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更手段と、前記領域分割手段により分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置手段と、前記素材画像配置手段が配置する素材画像のうち、互いに重なりが生じる素材画像は、面積の小さな素材画像の方が面積の大きな素材画像よりも上になるように制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、領域の形状と異なる形状を有する素材画像を用いてモザイク画像を生成する場合にも、仕上がり品質が高いモザイク画像を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態を実現する画像処理装置のブロック図である。
【図２】画像処理装置がモザイク画像を生成する処理を説明する図である。
【図３】画像処理装置が行う処理手順を説明するフローチャートである。
【図４】第２の実施形態を示し、表示する際の処理を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態を説明する。
図１は、本発明を適用可能な画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、パーソナルコンピュータ（以下、ＰＣ）などを用いて構成可能なものである。
【００１０】
図１において、内部バス１５０に対してＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、ディスプレイ１０５、操作部１０６、記録媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９、通信Ｉ／Ｆ１１０が接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。
【００１１】
ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、画像処理装置１００の各部を制御する。メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は、例えばハードディスク（ＨＤ）やＲＯＭなどで構成される。
【００１２】
画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３や記録媒体１０８に格納された画像データや、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信Ｉ／Ｆ１１０を介して取得した画像データなどに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色成分解析、色変換処理、特徴点抽出、画像の配置、重なり順制御などが含まれる。画像処理部１０４は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部１０４を用いずにＣＰＵ１０１がプログラムに従って画像処理を施すことも可能である。
【００１３】
ディスプレイ１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０５に表示するための映像信号を生成してディスプレイ１０５に出力するように画像処理装置１００の各部を制御する。ディスプレイ１０５は、出力された映像信号に基づいて映像を表示する。なお、画像処理装置１００自体が備える構成としてはディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ１０５は外付けのモニタ（テレビなど）で構成してもよい。
【００１４】
操作部１０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ１０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
【００１５】
記憶媒体Ｉ／Ｆ１０７は、メモリーカードやＣＤ、ＤＶＤといった記録媒体１０８が装着可能に構成され、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０８からデータの読み出しや、当該記録媒体１０８に対してデータの書き込み等を行う。外部Ｉ／Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
【００１６】
図２を用いて、本実施形態の画像処理装置１００がモザイク画像を生成する処理の流れについて説明する。
モザイク画像は、要素となる複数の小さな画像（以下、素材画像）を並べて１つの大きな画像（以下、目標画像）として見えるようにした画像である。したがって、モザイク画像の場合、閲覧者が全体を見ると一つの大きな画像（目標画像）として視認でき、モザイク画像に接近するなどして詳細に見ると目標画像の要素となっている一つ一つの素材画像が視認できる。
【００１７】
図２（ａ）において、２０１はモザイク画像の対象となる目標画像、２０２はその部分を囲む枠である。画像処理装置１００は、まず目標画像２０１の領域分割を行う。領域分割にあたって、特徴的な部分の分割を細かく、それ以外の部分を粗く分割することにより、生成するモザイク画像の仕上がり品質を向上する描画手法が知られている。
【００１８】
例えば、人物画像を目標画像としたモザイク画像の場合、「人物の目」のように画像的な特徴を有する部分が単一の領域として分割され、素材画像が配置されても、完成したモザイク画像の当該部分を「人物の目」であると認識するのは困難である。そのため、画像の内容に応じて、特徴的な部分を細かく、それ以外の部分を粗く領域を分割する必要がある。本実施形態の画像処理装置１００は、画像の内容が変化する特徴的な部分を適切に領域分割するべく、まず画像の特徴点を抽出し、次に前記抽出された特徴点に基づいて領域分割を行うようにしている。
【００１９】
以下、特徴点の抽出方法について述べる。モザイク画像の生成は、分割した各領域に、目標画像のその領域と同様の色の素材画像配置を行う必要があるため、特徴的な部分を決定するのに、目標画像の色成分の変化に基づくのが合理的である。画像処理部１０４は目標画像２０１の各画素の色成分を取得し、隣接する画素の色成分の比較を行い、変化量を算出し、しきい値以上の色成分の変化量を検出した画素を特徴点として抽出する。
【００２０】
前述した特徴点の抽出にかかる処理については、画素単位で行わずに、例えば、１０×１０画素を一つの画素ブロックとみなし、画素ブロック単位で行うことも可能である。モザイク画像は、画素単位で素材画像を置換するわけではないので、モザイク画像の仕上がり品質を低下させない範囲で、画素をまとめて１つの画素ブロックとして特徴点抽出処理を実行することにより、ＣＰＵ１０１の演算負荷を軽減することができる。
【００２１】
図２（ｂ）は、図２（ａ）における枠２０２で囲まれた領域の拡大図であり、２０３は前述した特徴点抽出処理により抽出された特徴点である。
図２（ｃ）は、図２（ｂ）の特徴点２０３を母点としてボロノイ分割による領域分割を行った分割線２０４を示したものである。ボロノイ分割とは、同一平面に存在する複数の点（母点）に対して、同一平面のある点がどの母点に近いかによって領域分けする方法であり、隣接する母点を結ぶ線分の垂直二等分線を分割線とする。
【００２２】
なお、図２（ｂ）、（ｃ）は処理の流れを説明するために、特徴点、領域分割線として図示するものであり、必ずしも画像として表示部（ディスプレイ１０５）に表示するものではない。
【００２３】
図２（ｄ）において、２０５は、図２（ａ）における目標画像２０１に対して円形のオブジェクトを素材画像としてモザイク画像化処理を実行することで得られたモザイク画像である。
【００２４】
以下、モザイク画像化処理について述べる。モザイク画像化処理は、目標画像の分割された各領域に素材画像を配置することで行う。また、配置に際して、目標画像の各領域の色成分に応じて素材画像を色変換する。具体的には、目標画像の各領域についてその領域内の色成分の平均値を算出し、該平均値と等しくなるように素材画像を色変換する。なお、それぞれ色の異なる複数の素材画像がある場合に、まず、目標画像の各領域の色成分に近い素材画像を選択し、次にこれを色変換し（もしくは、何ら色変換しないで）当該領域に配置する方法もある。
【００２５】
更に、配置に際して、素材画像のサイズ変更を行う。具体的には、目標画像の各領域の面積を算出し、素材画像の面積を該各領域の面積と対応させる。目標画像の各領域への素材画像の配置は、サイズ変更を行った後の各素材画像の重心と、各領域の重心が一致するように配置することで行う。
【００２６】
ここで「重心」とは、不定型な領域について、等間隔に並ぶ画素の一つ一つに等価の質量を与えたときの、領域全体の質量分布の中心位置を指す。ここで、目標画像の各領域の形状と素材画像の形状が異なるため、各素材画像の形状を保ったまま領域に配置する際に、隣接する素材画像と重なりが生じる。そのため、素材画像の重なり順を決定する必要がある。
【００２７】
本実施形態においては、素材画像の重なり順を、面積の小さな素材画像を面積の大きな素材画像よりも手前に表示するように決定する。このように決定することにより、面積の小さな素材画像が隣接する面積の大きな素材画像の後ろに隠れて閲覧者が視認できない事態が発生するのを回避することができる。
【００２８】
図３は、本実施形態の画像処理装置１００が行うモザイク画像化処理の流れを示すフローチャートである。本フローチャートにおける各処理は、ＣＰＵ１０１が不揮発性メモリ１０３に格納された各種プログラムをメモリ１０２に展開して実行することにより実現される。
【００２９】
まず、画像処理装置１００は、記録媒体１０８から目標画像２０１を読み出し、画像処理部１０４に送る（Ｓ３０１）。画像処理部１０４は、目標画像２０１の隣接する画素の色成分を比較し、しきい値以上の色成分の変化があった画素を特徴点として抽出する（Ｓ３０２）。次に、Ｓ３０２において抽出した特徴点を母点として、ボロノイ分割による領域分割を行う（Ｓ３０３）。
【００３０】
ＣＰＵ１０１は、記録媒体１０８から素材画像を読み出し、画像処理部１０４に送る（Ｓ３０４）。画像処理部１０４は、分割された各領域の色成分の平均値を算出し、該平均値と等しくなるように各素材画像の色成分を変換する（Ｓ３０５）。さらに、画像処理部１０４は、分割された各領域の面積を算出し、領域の面積と該領域に配置される素材画像の面積が等しくなるように、素材画像のサイズを変更する（Ｓ３０６）。
【００３１】
画像処理部１０４は、素材画像の重心と領域の重心が一致するように、各素材画像を各領域に配置する（Ｓ３０７）。次に、画像処理部１０４は、配置された各素材画像について、隣接する素材画像と重なりが生じるかを判定する（Ｓ３０８）。重なりが生じると判定した場合はＳ３０９に進む。Ｓ３０８において、隣接する素材画像と重なりが生じないと判定した場合はＳ３１０に進む。
【００３２】
画像処理部１０４は、面積の小さい素材画像を手前に表示するよう重なり順を決定する（Ｓ３０９）。次に、画像処理部１０４は、生成したモザイク画像をディスプレイ１０５に表示するよう制御し、判断処理のフローを終了する（Ｓ３１０）。
【００３３】
以上に説明したように、目標画像の色成分の変化に基づく特徴点抽出と、該特徴点を母点とした領域分割とを行うことにより、目標画像の内容に応じた好適な領域分割を行うことができ、仕上がり品質が高いモザイク画像を得ることができる。
【００３４】
また、小さな素材画像を手前に表現されるように重なり順を決定することで、領域の形状と異なる形状を有する素材画像を用いる場合にも、仕上がり品質の高いモザイク画像を得ることができる。
【００３５】
なお、前述したＳ３０２、Ｓ３０３では、目標画像から特徴点を抽出してボロノイ分割を行う領域分割法の例を説明したが、これに限られるものではなく、目標画像をサイズの異なる複数の領域に分割する方法であれば他の分割方法でもよい。その場合もＳ３０４以下の処理は同様である。サイズの異なる複数の領域に分割した場合は、それぞれの分割領域に合わせて素材画像のサイズを調整する必要があるため、使用される素材画像に面積の違いが生じる。従って、前述のように、面積の小さい素材画像を手前に表示するよう重なり順を決定する。
【００３６】
また、Ｓ３０９までの処理を行うことにより生成したモザイク画像は、ディスプレイ１０５に表示する以外の方法で出力してもよい。例えば、印刷部（不図示）によって紙媒体などの記録材に印刷して出力してもよい。
【００３７】
本実施形態では、１種類の画像を素材画像としてモザイク画像を生成する例を説明したが、形状や内容の異なる複数のオブジェクトを素材画像とすることも可能である。また、写真やスキャナ等で読み込んだ画像データを素材画像とすることも可能である。また、目標画像や素材画像を読み出す保存先を記録媒体１０８としたが、不揮発性メモリ１０３、あるいは、通信Ｉ／Ｆ１１０を介してインターネット上に存在する画像を利用することも可能である。
【００３８】
さらに、素材画像の重なり順の決定においては、画像の内容に応じて変更することも可能である。例えば、目標画像が人物のスナップ写真である場合に、被写体である人物の位置に割り当てられる素材画像が手前に表示されるよう制御する。これにより、重要と考えられる部位を詳細に表現できるモザイク画像を得ることができる。
【００３９】
＜第２の実施形態＞
小さな素材画像を多数使用して一枚の大きなモザイク画像を構成した場合、モザイク画像を高精細にして目標画像により似せることが出来る。しかしながら、その反面において、閲覧者がモザイク画像であることに気づかず閲覧者の関心を集めにくいといった課題が存在した。そこで、第２の実施形態では、このような課題を解決することが可能な実施形態について説明する。
【００４０】
第２の実施形態では、モザイク画像の各素材画像をバラバラの方向に動かして表示する（アニメーションする）。これによって各素材画像の存在を示し、モザイク画像が素材画像の集合で構成されていることを識別しやすくするというものである。すなわち、１枚の静止画を目標画像とするモザイク画像が映像（動画）としてディスプレイ上に表示される。
【００４１】
本発明の第２の実施形態の画像処理装置は、各素材画像の重心を移動中心とし、一定範囲内で素材画像を移動して表示することを特徴とする。このような特徴を有する本実施形態の画像処理装置の構成は、第１の実施形態で示した図１と同様の構成で実現可能であるため、装置構成の説明は省略する。
【００４２】
図４は、本発明の第２の実施形態の画像処理装置１００が素材画像を移動して表示する際に行う処理の流れを示すフローチャートである。
画像処理装置１００は、モザイク画像を生成する（Ｓ４０１）。Ｓ４０１のモザイク画像生成に関するサブルーチンは図３に示す内容と同じであるため、説明は省略する。
【００４３】
画像処理部１０４は、各素材画像の移動方向を決定する（Ｓ４０２）。重なりが生じている素材画像をそれぞれ異なる方向に移動することで重なりが軽減するため、重なりを生じている素材画像同士を異なる方向に移動するよう制御する。画像処理部１０４は、図３のＳ３０９で決定した重なり順に応じて、移動方向が交互に異なるように制御する。手前に表示される素材画像から順に、Ｌ1、Ｌ2、・・・Ｌnとすると、Ｌ2m+1の素材画像を上方向に移動する場合は、Ｌ2mの素材画像を下方向に移動するよう制御する。
【００４４】
画像処理部１０４は、図３のＳ３０７で抽出した各重心間の距離を算出し、これに応じて、各素材画像の移動距離Ｄを決定する（Ｓ４０３）。例えば、各重心間の距離のうち、最も短い重心間距離をＤminとすると、０＜Ｄ＜Ｄminのように決定する。このように決定するのは、移動距離がＤminを超えると、素材画像の入れ替わりが発生し、モザイク画像として認識するのが困難になるためである。
【００４５】
画像処理部１０４は、Ｓ４０２で決定した方向に、Ｓ４０３で決定した移動距離だけ移動して表示する（Ｓ４０４）。即ち、Ｌ2m+1の素材画像を上方向に移動する際、Ｌ2mの素材画像を下方向に移動するように制御し、重心から各方向にＤだけ移動した後はそれぞれ反対方向に移動するよう制御する。なお、移動のさせ方については、上下等の直線的な移動以外に、回転移動やランダムな移動であってもよい。
【００４６】
以上に説明したように、本発明の第２の実施形態によれば、各素材画像を一定範囲内で移動するよう制御することにより、閲覧者にモザイク画像であることを気付かせて閲覧者の関心を集めやすくなるという効果を生じる。
【００４７】
また、重なりを生じる素材画像同士がそれぞれ反対方向に移動することで、重なりが軽減し、閲覧者が素材画像の隠れていた部分を認識することができるようになるという効果が得られる。特に、本実施形態において、移動距離を最小重心間距離の範囲内とするようにしたので、移動時に素材画像が入れ替わることがなく、閲覧者に違和感のない目標画像を表示しながら、モザイク画像であることを認識させるという効果を生ずる。
【００４８】
なお、前述した各実施形態においては、本発明をパーソナルコンピュータに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、デジタルカメラなどの撮像装置に適用してもよい。すなわち、メモリーカードなどの、デジタルカメラが読み取り可能な記録媒体に記録された撮影画像を、デジタルカメラの有する背面液晶装置などのディスプレイに再生表示する際にも、本発明は適用可能である。
【００４９】
さらに、ＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど、画像を表示可能な装置であれば、本発明は適用可能である。また、第１の実施形態については、表示以外の出力方法でもよいため、例えば画像を表示できない印刷装置でも実施可能である。
【００５０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５１】
１００ 画像処理装置１０１ ＣＰＵ、１０２ メモリ、１０３ 不揮発性メモリ、１０４ 画像処理部、１０５ ディスプレイ、１０６ 操作部、１０７ 記録媒体Ｉ／Ｆ、１０８ 記録媒体、１０９ 外部Ｉ／Ｆ、１１０ 通信Ｉ／Ｆ、１５０ 内部バス
【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法に関し、特に、領域の形状と異なる形状を有する素材画像を用いる場合にも、仕上がり品質の高いモザイク画像を生成するために用いて好適な技術に関する。
【背景技術】
【０００２】
目標とする１つの画像（目標画像）を複数の領域に分割し、各領域を色が類似する他の異なる画像（素材画像）で置き換えて構成する、フォトモザイクという手法が知られている（特許文献１）。このフォトモザイクは、複数のユーザーが持ち寄った画像で一枚のポスターを作成するなど、企業の広告活動などにも利用されている。
【０００３】
しかし、特許文献１に記載のモザイク画像生成装置の場合には、同じサイズの領域に素材画像が整然と配置されるため、閲覧者がモザイク画像であることに気がつかない、あるいは、単調な印象しか受けないといった課題が存在する。
これに対し、特許文献２に記載の画像処理装置の場合には、画像の内容に応じて分割する領域サイズを変更することで、特徴的部位のテクスチャを詳細に表現することができるモザイク画像の生成方法が開示されている。また、特許文献３には、矩形以外の任意図形で領域を分割するようにし、高品質なフォトモザイク画像を得ることができるようにした画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１７１１５８号公報
【特許文献２】特開２０１１−７８０７８号公報
【特許文献３】特開２０１１−５４０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献２、３に記載の画像処理装置は、各領域に素材画像を敷きつめることでモザイク画像を生成する方法であるため、各領域の形状と異なる形状を有する素材画像をその形状のままで配置することができない。そのため、形状に重要な意味を有する素材画像（例えば、スナップ写真から切り出した人物像のみを素材画像とする場合など）では、仕上がり品質の高いモザイク画像を生成することができない問題点があった。
本発明は前述の問題点に鑑み、素材画像を配置すべき分割領域の形状と異なる形状の素材画像を用いる場合にも、仕上がり品質の高いモザイク画像を生成することができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、目標画像をサイズの異なる複数の領域に分割する領域分割手段と、前記領域分割手段により分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更手段と、前記領域分割手段により分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置手段と、前記素材画像配置手段が配置する素材画像のうち、互いに重なりが生じる素材画像は、面積の小さな素材画像の方が面積の大きな素材画像よりも上になるように制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、領域の形状と異なる形状を有する素材画像を用いてモザイク画像を生成する場合にも、仕上がり品質が高いモザイク画像を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態を実現する画像処理装置のブロック図である。
【図２】画像処理装置がモザイク画像を生成する処理を説明する図である。
【図３】画像処理装置が行う処理手順を説明するフローチャートである。
【図４】第２の実施形態を示し、表示する際の処理を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態を説明する。
図１は、本発明を適用可能な画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、パーソナルコンピュータ（以下、ＰＣ）などを用いて構成可能なものである。
【００１０】
図１において、内部バス１５０に対してＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、ディスプレイ１０５、操作部１０６、記録媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９、通信Ｉ／Ｆ１１０が接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。
【００１１】
ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、画像処理装置１００の各部を制御する。メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は、例えばハードディスク（ＨＤ）やＲＯＭなどで構成される。
【００１２】
画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３や記録媒体１０８に格納された画像データや、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信Ｉ／Ｆ１１０を介して取得した画像データなどに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色成分解析、色変換処理、特徴点抽出、画像の配置、重なり順制御などが含まれる。画像処理部１０４は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部１０４を用いずにＣＰＵ１０１がプログラムに従って画像処理を施すことも可能である。
【００１３】
ディスプレイ１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０５に表示するための映像信号を生成してディスプレイ１０５に出力するように画像処理装置１００の各部を制御する。ディスプレイ１０５は、出力された映像信号に基づいて映像を表示する。なお、画像処理装置１００自体が備える構成としてはディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ１０５は外付けのモニタ（テレビなど）で構成してもよい。
【００１４】
操作部１０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ１０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
【００１５】
記憶媒体Ｉ／Ｆ１０７は、メモリーカードやＣＤ、ＤＶＤといった記録媒体１０８が装着可能に構成され、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０８からデータの読み出しや、当該記録媒体１０８に対してデータの書き込み等を行う。外部Ｉ／Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
【００１６】
図２を用いて、本実施形態の画像処理装置１００がモザイク画像を生成する処理の流れについて説明する。
モザイク画像は、要素となる複数の小さな画像（以下、素材画像）を並べて１つの大きな画像（以下、目標画像）として見えるようにした画像である。したがって、モザイク画像の場合、閲覧者が全体を見ると一つの大きな画像（目標画像）として視認でき、モザイク画像に接近するなどして詳細に見ると目標画像の要素となっている一つ一つの素材画像が視認できる。
【００１７】
図２（ａ）において、２０１はモザイク画像の対象となる目標画像、２０２はその部分を囲む枠である。画像処理装置１００は、まず目標画像２０１の領域分割を行う。領域分割にあたって、特徴的な部分の分割を細かく、それ以外の部分を粗く分割することにより、生成するモザイク画像の仕上がり品質を向上する描画手法が知られている。
【００１８】
例えば、人物画像を目標画像としたモザイク画像の場合、「人物の目」のように画像的な特徴を有する部分が単一の領域として分割され、素材画像が配置されても、完成したモザイク画像の当該部分を「人物の目」であると認識するのは困難である。そのため、画像の内容に応じて、特徴的な部分を細かく、それ以外の部分を粗く領域を分割する必要がある。本実施形態の画像処理装置１００は、画像の内容が変化する特徴的な部分を適切に領域分割するべく、まず画像の特徴点を抽出し、次に前記抽出された特徴点に基づいて領域分割を行うようにしている。
【００１９】
以下、特徴点の抽出方法について述べる。モザイク画像の生成は、分割した各領域に、目標画像のその領域と同様の色の素材画像配置を行う必要があるため、特徴的な部分を決定するのに、目標画像の色成分の変化に基づくのが合理的である。画像処理部１０４は目標画像２０１の各画素の色成分を取得し、隣接する画素の色成分の比較を行い、変化量を算出し、しきい値以上の色成分の変化量を検出した画素を特徴点として抽出する。
【００２０】
前述した特徴点の抽出にかかる処理については、画素単位で行わずに、例えば、１０×１０画素を一つの画素ブロックとみなし、画素ブロック単位で行うことも可能である。モザイク画像は、画素単位で素材画像を置換するわけではないので、モザイク画像の仕上がり品質を低下させない範囲で、画素をまとめて１つの画素ブロックとして特徴点抽出処理を実行することにより、ＣＰＵ１０１の演算負荷を軽減することができる。
【００２１】
図２（ｂ）は、図２（ａ）における枠２０２で囲まれた領域の拡大図であり、２０３は前述した特徴点抽出処理により抽出された特徴点である。
図２（ｃ）は、図２（ｂ）の特徴点２０３を母点としてボロノイ分割による領域分割を行った分割線２０４を示したものである。ボロノイ分割とは、同一平面に存在する複数の点（母点）に対して、同一平面のある点がどの母点に近いかによって領域分けする方法であり、隣接する母点を結ぶ線分の垂直二等分線を分割線とする。
【００２２】
なお、図２（ｂ）、（ｃ）は処理の流れを説明するために、特徴点、領域分割線として図示するものであり、必ずしも画像として表示部（ディスプレイ１０５）に表示するものではない。
【００２３】
図２（ｄ）において、２０５は、図２（ａ）における目標画像２０１に対して円形のオブジェクトを素材画像としてモザイク画像化処理を実行することで得られたモザイク画像である。
【００２４】
以下、モザイク画像化処理について述べる。モザイク画像化処理は、目標画像の分割された各領域に素材画像を配置することで行う。また、配置に際して、目標画像の各領域の色成分に応じて素材画像を色変換する。具体的には、目標画像の各領域についてその領域内の色成分の平均値を算出し、該平均値と等しくなるように素材画像を色変換する。なお、それぞれ色の異なる複数の素材画像がある場合に、まず、目標画像の各領域の色成分に近い素材画像を選択し、次にこれを色変換し（もしくは、何ら色変換しないで）当該領域に配置する方法もある。
【００２５】
更に、配置に際して、素材画像のサイズ変更を行う。具体的には、目標画像の各領域の面積を算出し、素材画像の面積を該各領域の面積と対応させる。目標画像の各領域への素材画像の配置は、サイズ変更を行った後の各素材画像の重心と、各領域の重心が一致するように配置することで行う。
【００２６】
ここで「重心」とは、不定型な領域について、等間隔に並ぶ画素の一つ一つに等価の質量を与えたときの、領域全体の質量分布の中心位置を指す。ここで、目標画像の各領域の形状と素材画像の形状が異なるため、各素材画像の形状を保ったまま領域に配置する際に、隣接する素材画像と重なりが生じる。そのため、素材画像の重なり順を決定する必要がある。
【００２７】
本実施形態においては、素材画像の重なり順を、面積の小さな素材画像を面積の大きな素材画像よりも手前に表示するように決定する。このように決定することにより、面積の小さな素材画像が隣接する面積の大きな素材画像の後ろに隠れて閲覧者が視認できない事態が発生するのを回避することができる。
【００２８】
図３は、本実施形態の画像処理装置１００が行うモザイク画像化処理の流れを示すフローチャートである。本フローチャートにおける各処理は、ＣＰＵ１０１が不揮発性メモリ１０３に格納された各種プログラムをメモリ１０２に展開して実行することにより実現される。
【００２９】
まず、画像処理装置１００は、記録媒体１０８から目標画像２０１を読み出し、画像処理部１０４に送る（Ｓ３０１）。画像処理部１０４は、目標画像２０１の隣接する画素の色成分を比較し、しきい値以上の色成分の変化があった画素を特徴点として抽出する（Ｓ３０２）。次に、Ｓ３０２において抽出した特徴点を母点として、ボロノイ分割による領域分割を行う（Ｓ３０３）。
【００３０】
ＣＰＵ１０１は、記録媒体１０８から素材画像を読み出し、画像処理部１０４に送る（Ｓ３０４）。画像処理部１０４は、分割された各領域の色成分の平均値を算出し、該平均値と等しくなるように各素材画像の色成分を変換する（Ｓ３０５）。さらに、画像処理部１０４は、分割された各領域の面積を算出し、領域の面積と該領域に配置される素材画像の面積が等しくなるように、素材画像のサイズを変更する（Ｓ３０６）。
【００３１】
画像処理部１０４は、素材画像の重心と領域の重心が一致するように、各素材画像を各領域に配置する（Ｓ３０７）。次に、画像処理部１０４は、配置された各素材画像について、隣接する素材画像と重なりが生じるかを判定する（Ｓ３０８）。重なりが生じると判定した場合はＳ３０９に進む。Ｓ３０８において、隣接する素材画像と重なりが生じないと判定した場合はＳ３１０に進む。
【００３２】
画像処理部１０４は、面積の小さい素材画像を手前に表示するよう重なり順を決定する（Ｓ３０９）。次に、画像処理部１０４は、生成したモザイク画像をディスプレイ１０５に表示するよう制御し、判断処理のフローを終了する（Ｓ３１０）。
【００３３】
以上に説明したように、目標画像の色成分の変化に基づく特徴点抽出と、該特徴点を母点とした領域分割とを行うことにより、目標画像の内容に応じた好適な領域分割を行うことができ、仕上がり品質が高いモザイク画像を得ることができる。
【００３４】
また、小さな素材画像を手前に表現されるように重なり順を決定することで、領域の形状と異なる形状を有する素材画像を用いる場合にも、仕上がり品質の高いモザイク画像を得ることができる。
【００３５】
なお、前述したＳ３０２、Ｓ３０３では、目標画像から特徴点を抽出してボロノイ分割を行う領域分割法の例を説明したが、これに限られるものではなく、目標画像をサイズの異なる複数の領域に分割する方法であれば他の分割方法でもよい。その場合もＳ３０４以下の処理は同様である。サイズの異なる複数の領域に分割した場合は、それぞれの分割領域に合わせて素材画像のサイズを調整する必要があるため、使用される素材画像に面積の違いが生じる。従って、前述のように、面積の小さい素材画像を手前に表示するよう重なり順を決定する。
【００３６】
また、Ｓ３０９までの処理を行うことにより生成したモザイク画像は、ディスプレイ１０５に表示する以外の方法で出力してもよい。例えば、印刷部（不図示）によって紙媒体などの記録材に印刷して出力してもよい。
【００３７】
本実施形態では、１種類の画像を素材画像としてモザイク画像を生成する例を説明したが、形状や内容の異なる複数のオブジェクトを素材画像とすることも可能である。また、写真やスキャナ等で読み込んだ画像データを素材画像とすることも可能である。また、目標画像や素材画像を読み出す保存先を記録媒体１０８としたが、不揮発性メモリ１０３、あるいは、通信Ｉ／Ｆ１１０を介してインターネット上に存在する画像を利用することも可能である。
【００３８】
さらに、素材画像の重なり順の決定においては、画像の内容に応じて変更することも可能である。例えば、目標画像が人物のスナップ写真である場合に、被写体である人物の位置に割り当てられる素材画像が手前に表示されるよう制御する。これにより、重要と考えられる部位を詳細に表現できるモザイク画像を得ることができる。
【００３９】
＜第２の実施形態＞
小さな素材画像を多数使用して一枚の大きなモザイク画像を構成した場合、モザイク画像を高精細にして目標画像により似せることが出来る。しかしながら、その反面において、閲覧者がモザイク画像であることに気づかず閲覧者の関心を集めにくいといった課題が存在した。そこで、第２の実施形態では、このような課題を解決することが可能な実施形態について説明する。
【００４０】
第２の実施形態では、モザイク画像の各素材画像をバラバラの方向に動かして表示する（アニメーションする）。これによって各素材画像の存在を示し、モザイク画像が素材画像の集合で構成されていることを識別しやすくするというものである。すなわち、１枚の静止画を目標画像とするモザイク画像が映像（動画）としてディスプレイ上に表示される。
【００４１】
本発明の第２の実施形態の画像処理装置は、各素材画像の重心を移動中心とし、一定範囲内で素材画像を移動して表示することを特徴とする。このような特徴を有する本実施形態の画像処理装置の構成は、第１の実施形態で示した図１と同様の構成で実現可能であるため、装置構成の説明は省略する。
【００４２】
図４は、本発明の第２の実施形態の画像処理装置１００が素材画像を移動して表示する際に行う処理の流れを示すフローチャートである。
画像処理装置１００は、モザイク画像を生成する（Ｓ４０１）。Ｓ４０１のモザイク画像生成に関するサブルーチンは図３に示す内容と同じであるため、説明は省略する。
【００４３】
画像処理部１０４は、各素材画像の移動方向を決定する（Ｓ４０２）。重なりが生じている素材画像をそれぞれ異なる方向に移動することで重なりが軽減するため、重なりを生じている素材画像同士を異なる方向に移動するよう制御する。画像処理部１０４は、図３のＳ３０９で決定した重なり順に応じて、移動方向が交互に異なるように制御する。手前に表示される素材画像から順に、Ｌ1、Ｌ2、・・・Ｌnとすると、Ｌ2m+1の素材画像を上方向に移動する場合は、Ｌ2mの素材画像を下方向に移動するよう制御する。
【００４４】
画像処理部１０４は、図３のＳ３０７で抽出した各重心間の距離を算出し、これに応じて、各素材画像の移動距離Ｄを決定する（Ｓ４０３）。例えば、各重心間の距離のうち、最も短い重心間距離をＤminとすると、０＜Ｄ＜Ｄminのように決定する。このように決定するのは、移動距離がＤminを超えると、素材画像の入れ替わりが発生し、モザイク画像として認識するのが困難になるためである。
【００４５】
画像処理部１０４は、Ｓ４０２で決定した方向に、Ｓ４０３で決定した移動距離だけ移動して表示する（Ｓ４０４）。即ち、Ｌ2m+1の素材画像を上方向に移動する際、Ｌ2mの素材画像を下方向に移動するように制御し、重心から各方向にＤだけ移動した後はそれぞれ反対方向に移動するよう制御する。なお、移動のさせ方については、上下等の直線的な移動以外に、回転移動やランダムな移動であってもよい。
【００４６】
以上に説明したように、本発明の第２の実施形態によれば、各素材画像を一定範囲内で移動するよう制御することにより、閲覧者にモザイク画像であることを気付かせて閲覧者の関心を集めやすくなるという効果を生じる。
【００４７】
また、重なりを生じる素材画像同士がそれぞれ反対方向に移動することで、重なりが軽減し、閲覧者が素材画像の隠れていた部分を認識することができるようになるという効果が得られる。特に、本実施形態において、移動距離を最小重心間距離の範囲内とするようにしたので、移動時に素材画像が入れ替わることがなく、閲覧者に違和感のない目標画像を表示しながら、モザイク画像であることを認識させるという効果を生ずる。
【００４８】
なお、前述した各実施形態においては、本発明をパーソナルコンピュータに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、デジタルカメラなどの撮像装置に適用してもよい。すなわち、メモリーカードなどの、デジタルカメラが読み取り可能な記録媒体に記録された撮影画像を、デジタルカメラの有する背面液晶装置などのディスプレイに再生表示する際にも、本発明は適用可能である。
【００４９】
さらに、ＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど、画像を表示可能な装置であれば、本発明は適用可能である。また、第１の実施形態については、表示以外の出力方法でもよいため、例えば画像を表示できない印刷装置でも実施可能である。
【００５０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５１】
１００ 画像処理装置１０１ ＣＰＵ、１０２ メモリ、１０３ 不揮発性メモリ、１０４ 画像処理部、１０５ ディスプレイ、１０６ 操作部、１０７ 記録媒体Ｉ／Ｆ、１０８ 記録媒体、１０９ 外部Ｉ／Ｆ、１１０ 通信Ｉ／Ｆ、１５０ 内部バス
【特許請求の範囲】
【請求項１】
目標画像をサイズの異なる複数の領域に分割する領域分割手段と、
前記領域分割手段により分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更手段と、
前記領域分割手段により分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置手段と、
前記素材画像配置手段が配置する素材画像のうち、互いに重なりが生じる素材画像は、面積の小さな素材画像の方が面積の大きな素材画像よりも上になるように制御する制御手段とを有することを特徴とする画像処理装置。
【請求項２】
前記目標画像の特徴点を抽出する特徴点抽出手段を更に有し、
前記領域分割手段は、前記特徴点抽出手段で抽出した特徴点に基づいて前記目標画像を分割することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴点抽出手段による特徴点の抽出は、隣接する画素の色成分の比較により行われ、しきい値以上の変化量を検出した画素を特徴点として抽出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴点抽出手段による特徴点の抽出は、隣接する画素ブロックの色成分の比較により行われ、しきい値以上の変化量を検出した画素ブロックを特徴点として抽出することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記領域分割手段による特徴点に基づいた目標画像の領域分割が、前記特徴点を母点とした領域分割法によって行われることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記領域分割法はボロノイ分割であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
目標画像の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された特徴点に基づき目標画像を分割する領域分割手段と、
前記領域分割手段により分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更手段と、
前記領域分割手段により分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置手段と、
前記素材画像配置手段が配置した素材画像に重なりが生じる場合に、素材画像の面積に応じて重なり順を決定する重なり制御手段と、
前記素材画像の重心を中心とし、一定範囲内で素材画像を移動させて表示するよう制御する表示制御手段とを有することを特徴とする画像処理装置。
【請求項８】
前記表示制御手段は、前記素材画像の移動を前記重なり制御手段により決定された重なり順によって異なる方向となるように制御することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記表示制御手段による素材画像の移動が、最小重心間距離の範囲内で移動するよう制御することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
目標画像をサイズの異なる複数の領域に分割する領域分割工程と、
前記領域分割工程において分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更工程と、
前記領域分割工程において分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置工程と、
前記素材画像配置工程で配置する素材画像のうち、互いに重なりが生じる素材画像は、面積の小さな素材画像の方が面積の大きな素材画像よりも上になるように制御する制御工程とを有することを特徴とする画像処理方法。
【請求項１１】
目標画像の特徴点を抽出する特徴点抽出工程と、
前記特徴点抽出工程において抽出された特徴点に基づき目標画像を分割する領域分割工程と、
前記領域分割工程において分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更工程と、
前記領域分割工程において分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置工程と、
前記素材画像配置工程で配置した素材画像に重なりが生じる場合に、素材画像の面積に応じて重なり順を決定する重なり制御工程と、
前記素材画像の重心を中心とし、一定範囲内で素材画像を移動させて表示するよう制御する表示制御工程とを有することを特徴とする画像処理方法。
【請求項１２】
目標画像をサイズの異なる複数の領域に分割する領域分割工程と、
前記領域分割工程において分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更工程と、
前記領域分割工程において分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置工程と、
前記素材画像配置工程で配置する素材画像のうち、互いに重なりが生じる素材画像は、面積の小さな素材画像の方が面積の大きな素材画像よりも上になるように制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
目標画像の特徴点を抽出する特徴点抽出工程と、
前記特徴点抽出工程において抽出された特徴点に基づき目標画像を分割する領域分割工程と、
前記領域分割工程において分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更工程と、
前記領域分割工程において分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置工程と、
前記素材画像配置工程で配置した素材画像に重なりが生じる場合に、素材画像の面積に応じて重なり順を決定する重なり制御工程と、
前記素材画像の重心を中心とし、一定範囲内で素材画像を移動させて表示するよう制御する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
請求項１２または１３に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１】
目標画像をサイズの異なる複数の領域に分割する領域分割手段と、
前記領域分割手段により分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更手段と、
前記領域分割手段により分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置手段と、
前記素材画像配置手段が配置する素材画像のうち、互いに重なりが生じる素材画像は、面積の小さな素材画像の方が面積の大きな素材画像よりも上になるように制御する制御手段とを有することを特徴とする画像処理装置。
【請求項２】
前記目標画像の特徴点を抽出する特徴点抽出手段を更に有し、
前記領域分割手段は、前記特徴点抽出手段で抽出した特徴点に基づいて前記目標画像を分割することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴点抽出手段による特徴点の抽出は、隣接する画素の色成分の比較により行われ、しきい値以上の変化量を検出した画素を特徴点として抽出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴点抽出手段による特徴点の抽出は、隣接する画素ブロックの色成分の比較により行われ、しきい値以上の変化量を検出した画素ブロックを特徴点として抽出することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記領域分割手段による特徴点に基づいた目標画像の領域分割が、前記特徴点を母点とした領域分割法によって行われることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記領域分割法はボロノイ分割であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
目標画像の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された特徴点に基づき目標画像を分割する領域分割手段と、
前記領域分割手段により分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更手段と、
前記領域分割手段により分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置手段と、
前記素材画像配置手段が配置した素材画像に重なりが生じる場合に、素材画像の面積に応じて重なり順を決定する重なり制御手段と、
前記素材画像の重心を中心とし、一定範囲内で素材画像を移動させて表示するよう制御する表示制御手段とを有することを特徴とする画像処理装置。
【請求項８】
前記表示制御手段は、前記素材画像の移動を前記重なり制御手段により決定された重なり順によって異なる方向となるように制御することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記表示制御手段による素材画像の移動が、最小重心間距離の範囲内で移動するよう制御することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
目標画像をサイズの異なる複数の領域に分割する領域分割工程と、
前記領域分割工程において分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更工程と、
前記領域分割工程において分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置工程と、
前記素材画像配置工程で配置する素材画像のうち、互いに重なりが生じる素材画像は、面積の小さな素材画像の方が面積の大きな素材画像よりも上になるように制御する制御工程とを有することを特徴とする画像処理方法。
【請求項１１】
目標画像の特徴点を抽出する特徴点抽出工程と、
前記特徴点抽出工程において抽出された特徴点に基づき目標画像を分割する領域分割工程と、
前記領域分割工程において分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更工程と、
前記領域分割工程において分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置工程と、
前記素材画像配置工程で配置した素材画像に重なりが生じる場合に、素材画像の面積に応じて重なり順を決定する重なり制御工程と、
前記素材画像の重心を中心とし、一定範囲内で素材画像を移動させて表示するよう制御する表示制御工程とを有することを特徴とする画像処理方法。
【請求項１２】
目標画像をサイズの異なる複数の領域に分割する領域分割工程と、
前記領域分割工程において分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更工程と、
前記領域分割工程において分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置工程と、
前記素材画像配置工程で配置する素材画像のうち、互いに重なりが生じる素材画像は、面積の小さな素材画像の方が面積の大きな素材画像よりも上になるように制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
目標画像の特徴点を抽出する特徴点抽出工程と、
前記特徴点抽出工程において抽出された特徴点に基づき目標画像を分割する領域分割工程と、
前記領域分割工程において分割された各領域の面積に基づいて素材画像のサイズを変更するサイズ変更工程と、
前記領域分割工程において分割された各領域の色成分に基づいて、分割された各領域にサイズが変更された素材画像を配置する素材画像配置工程と、
前記素材画像配置工程で配置した素材画像に重なりが生じる場合に、素材画像の面積に応じて重なり順を決定する重なり制御工程と、
前記素材画像の重心を中心とし、一定範囲内で素材画像を移動させて表示するよう制御する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
請求項１２または１３に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−１６９７３（Ｐ２０１３−１６９７３Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４７４０６（Ｐ２０１１−１４７４０６）
【出願日】平成２３年７月１日（２０１１．７．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月１日（２０１１．７．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]