画像処理装置および方法、並びにプログラム
【課題】より高品質なフォトモザイク画像を得ることができるようにする。
【解決手段】候補選択部２３は、制作目標画像を複数のブロックに分割して、各ブロックを複数の素材画像のうちの何れかに置き換えることで、フォトモザイク画像を生成する場合に、制作目標画像の候補となる複数の制作目標候補画像の指定を受け付ける。分割部５１は制作目標候補画像を複数のブロックに分割し、クラス分類部５４は各ブロックを、色に関する特徴により定まる複数のクラスの何れかに分類する。クラス分類部５５は、複数の素材画像をクラスに分類する。制作目標画像決定部６０は、制作目標候補画像のそれぞれについて得られた、クラスに属すブロックの数と素材画像の数との比較結果に基づいて、各クラスにおいてブロックに対する素材画像の不足数の少ない制作目標候補画像を、制作目標画像として選択する。本発明は、画像処理装置に適用することができる。
【解決手段】候補選択部２３は、制作目標画像を複数のブロックに分割して、各ブロックを複数の素材画像のうちの何れかに置き換えることで、フォトモザイク画像を生成する場合に、制作目標画像の候補となる複数の制作目標候補画像の指定を受け付ける。分割部５１は制作目標候補画像を複数のブロックに分割し、クラス分類部５４は各ブロックを、色に関する特徴により定まる複数のクラスの何れかに分類する。クラス分類部５５は、複数の素材画像をクラスに分類する。制作目標画像決定部６０は、制作目標候補画像のそれぞれについて得られた、クラスに属すブロックの数と素材画像の数との比較結果に基づいて、各クラスにおいてブロックに対する素材画像の不足数の少ない制作目標候補画像を、制作目標画像として選択する。本発明は、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、より高品質なフォトモザイク画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラの普及により、多くの写真を撮像するユーザが増えてきている。また、撮像された大量の写真を効果的に提示する方法も求められている。
【０００３】
撮像された写真の効果的な提示方法として、フォトモザイク画像が知られている。フォトモザイク画像は、目標とする１つの画像（以下、制作目標画像と称する）を複数のブロックに分割し、各ブロックを、それらのブロックと色が類似する他の異なる画像（以下、置換画像と称する）に置き換えることにより得られる画像である。
【０００４】
したがって、フォトモザイク画像をある程度遠くから観察すると、観察者の目には制作目標画像上の被写体と同じ被写体が観察されるが、フォトモザイク画像をある程度近くから観察すると、並べられた複数の異なる置換画像が観察されることになる。
【０００５】
このようなフォトモザイク画像を生成する技術として、制作目標画像の各ブロックの色の代表値と、置換画像の候補となる各画像の色の代表値との距離を、重み付けを用いた計算により求めることで、各ブロックに配置される画像を選択する技術が知られている（例えば、特許文献１参照）。また、制作目標画像を色近似により複数ブロックからなる分離領域に分離するとともに、置換画像の候補を分離領域に対応するクラスに分類し、分離領域ごとに、対応するクラスに属す候補を用いてフォトモザイク画像を生成する技術もある（例えば、特許文献２参照）。
【０００６】
さらに、制作目標画像のブロックをさらに細かく分割して、置換画像の候補となる画像との照合を行うことにより、元の制作目標画像の色分布を維持しながらフォトモザイク画像を生成する方法も提案されている（例えば、特許文献３および４参照）。
【０００７】
さらにまた、ブロックに割り当てる置換画像を選択するにあたり、各ブロックと置換画像の候補との平均輝度の比較により置換画像を選択する技術（例えば、特許文献５参照）や、置換画像の候補を記録しているサーバに対して、ネットワークを介して各ブロックの置換画像の選択を要求する技術（例えば、特許文献６参照）も提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−２９８７２２号公報
【特許文献２】特開２００５−１００１２０号公報
【特許文献３】特開平１１−３４１２６６号公報
【特許文献４】特開２０００−２９５４５３号公報
【特許文献５】特開平１１−３４１２６４号公報
【特許文献６】特開２０００−２００２８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、フォトモザイク画像の生成には、多くの画像と、作成のためのノウハウが必要であった。そのため、フォトモザイク画像は、映画の宣伝用のポスタや企業のロゴなど、商用で利用されることはあったが、一般ユーザが、パーソナルコンピュータ等を利用して、高品質なフォトモザイク画像を生成することは容易ではなかった。
【００１０】
ここで、高品質なフォトモザイク画像、つまり見映えのよいフォトモザイク画像を得るには、制作目標画像の各ブロックに割り当てる置換画像を、なるべく重複しないように選択することが必要である。これは、制作目標画像の１つのブロックの近傍に、そのブロックに対して定められた置換画像と同じ画像がいくつか配置されると、得られたフォトモザイク画像は、近くから見ても、遠くから見ても見映えの悪いものとなってしまうからである。また、高品質なフォトモザイク画像を得るには、制作目標画像の各ブロックに対して、そのブロックに色の分布が類似する置換画像を選択することも必要となる。
【００１１】
ところが、上述した技術では、与えられた制作目標画像の各ブロックに対して、予め用意された置換画像の候補を重複なく割り当てることは保証されていない。そのため、特に、所定の色のブロックの数に対して、その色の置換画像の候補の数が不足している場合には、重複して同じ置換画像が用いられることが多くなり、品質の低いフォトモザイク画像が生成されてしまう可能性が高かった。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、より高品質なフォトモザイク画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の画像処理装置は、制作目標画像を複数のブロックに分割し、前記ブロックを複数の素材画像のうちの何れかに置き換えることによりフォトモザイク画像を生成する場合に、前記制作目標画像の候補とされた制作目標候補画像を前記ブロックに分割する分割手段と、前記制作目標候補画像の各前記ブロックを、色に関する特徴により定められる複数のクラスのうちの何れかに分類するブロッククラス分類手段と、前記クラスごとに、前記クラスに属す前記制作目標候補画像のブロックの数と、前記クラスに属す前記素材画像の数とを比較する比較手段と、複数の前記制作目標候補画像のそれぞれについて得られた、前記比較手段による比較結果に基づいて、複数の前記制作目標候補画像の何れかを前記制作目標画像として選択する選択手段とを備える。
【００１４】
前記選択手段には、前記比較結果として前記クラスごとに得られた、前記ブロックに対する前記素材画像の不足数に基づいて、前記制作目標候補画像を選択させることができる。
【００１５】
前記選択手段には、前記制作目標候補画像のうち、前記クラスごとの前記不足数の合計が最も少ない前記制作目標候補画像を前記制作目標画像として選択させ、前記不足数の合計が最も少ない前記制作目標候補画像が複数ある場合、前記不足数の合計が最も少ない前記制作目標候補画像の何れかを、前記比較結果として前記クラスごとに得られた、前記ブロックに対する前記素材画像の余剰数に基づいて選択させることができる。
【００１６】
画像処理装置には、前記制作目標画像の候補として、複数の前記制作目標候補画像の指定を受け付ける指定受付手段をさらに設けることができる。
【００１７】
画像処理装置には、前記制作目標候補画像の前記ブロック内の各画素の画素値に基づいて、前記ブロックごとに前記特徴の特徴量を算出するブロック特徴量算出手段と、前記ブロックごとの前記特徴量に基づいて、予め定められた所定数の前記クラスのそれぞれについて、前記クラスへの分類に用いられ、前記クラスの前記特徴の特徴量を示す中心値を算出する中心値算出手段と、前記素材画像の各画素の画素値に基づいて、前記素材画像の前記特徴の特徴量を算出し、前記素材画像の前記特徴の特徴量と、各前記クラスの前記中心値との距離に基づいて、前記素材画像を前記クラスに分類する画像クラス分類手段とをさらに設け、前記ブロッククラス分類手段には、前記ブロックの前記特徴量と各前記クラスの前記中心値との距離に基づいて、前記ブロックを複数の前記クラスのうちの何れかに分類させることができる。
【００１８】
画像処理装置には、前記制作目標候補画像の前記ブロック内の各画素の画素値に基づいて、前記ブロックごとに前記特徴の特徴量を算出するブロック特徴量算出手段をさらに設け、前記ブロッククラス分類手段には、前記クラスへの分類に用いられ、前記クラスごとに予め定められた前記クラスの前記特徴の特徴量を示す中心値と、前記ブロックの前記特徴量との距離に基づいて、前記ブロックを複数の前記クラスのうちの何れかに分類させ、前記素材画像は、前記中心値が用いられて予め前記クラスに分類されているようにすることができる。
【００１９】
本発明の一側面の画像処理方法またはプログラムは、制作目標画像を複数のブロックに分割し、前記ブロックを複数の素材画像のうちの何れかに置き換えることによりフォトモザイク画像を生成する場合に、前記制作目標画像の候補とされた制作目標候補画像を前記ブロックに分割し、前記制作目標候補画像の各前記ブロックを、色に関する特徴により定められる複数のクラスのうちの何れかに分類し、前記クラスごとに、前記クラスに属す前記制作目標候補画像のブロックの数と、前記クラスに属す前記素材画像の数とを比較し、複数の前記制作目標候補画像のそれぞれについて得られた、前記ブロックの数と前記素材画像の数との比較結果に基づいて、複数の前記制作目標候補画像の何れかを前記制作目標画像として選択するステップを含む。
【００２０】
本発明の一側面においては、制作目標画像を複数のブロックに分割し、前記ブロックを複数の素材画像のうちの何れかに置き換えることによりフォトモザイク画像を生成する場合に、前記制作目標画像の候補とされた制作目標候補画像が前記ブロックに分割され、前記制作目標候補画像の各前記ブロックが、色に関する特徴により定められる複数のクラスのうちの何れかに分類され、前記クラスごとに、前記クラスに属す前記制作目標候補画像のブロックの数と、前記クラスに属す前記素材画像の数とが比較され、複数の前記制作目標候補画像のそれぞれについて得られた比較結果に基づいて、複数の前記制作目標候補画像の何れかが前記制作目標画像として選択される。
【発明の効果】
【００２１】
本発明の一側面によれば、より高品質なフォトモザイク画像を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明を適用した画像処理装置の処理の概要を説明する図である。
【図２】画像処理装置の構成例を示す図である。
【図３】候補選択部の構成例を示す図である。
【図４】フォトモザイク生成部の構成例を示す図である。
【図５】候補選択処理を説明するフローチャートである。
【図６】フォトモザイク画像の生成処理を説明するフローチャートである。
【図７】候補選択部の他の構成例を示す図である。
【図８】フォトモザイク生成部の他の構成例を示す図である。
【図９】候補選択処理を説明するフローチャートである。
【図１０】フォトモザイク画像の生成処理を説明するフローチャートである。
【図１１】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２４】
〈第１の実施の形態〉
［画像処理装置の処理の概要］
図１は、本発明を適用した画像処理装置により実行される処理の概要を示す図である。
【００２５】
画像処理装置は、目標とする１つの制作目標画像を複数のブロックに分割し、各ブロックを、予め記録している素材画像に置き換えることにより、１つのフォトモザイク画像を生成する。
【００２６】
画像処理装置では、フォトモザイク画像の生成にあたり、制作目標画像の候補となる複数の制作目標候補画像Ｐ１１乃至制作目標候補画像Ｐ１３のそれぞれと、予め用意された画像データベースＤ１１を構成する素材画像とが比較される。
【００２７】
そして、その比較の結果から、最も適した制作目標候補画像、すなわち画像データベースＤ１１を用いてフォトモザイク画像を生成する場合に、最も見映え（品質）のよいフォトモザイク画像を得ることのできる制作目標候補画像が、制作目標画像として選択される。図１の例では、制作目標画像として、制作目標候補画像Ｐ１３が選択されている。
【００２８】
具体的には、制作目標候補画像は、複数のブロックに分割され、各ブロックが複数のクラスの何れかに分類される。ここで、各クラスは、制作目標候補画像から抽出される色に関する特徴の特徴量により定められ、各ブロックは、色に関する特徴が最も類似しているクラスに属すように分類される。これにより、各制作目標候補画像について、クラスごとに、そのクラスに属するブロックの数が得られる。
【００２９】
また、画像データベースＤ１１を構成する各素材画像についてもクラスの分類が行われ、各クラスについて、クラスに属すブロックの数と素材画像の数とが比較されて、ブロックに対する素材画像の過不足数が求められる。そして、得られたクラスごとの過不足数に基づいて、ブロック数に対する素材画像数の不足の少ない制作目標候補画像が、制作目標画像として選択される。
【００３０】
これは、次のような理由からである。すなわち、同じクラスに分類されたブロックと素材画像は、色に関する特徴、例えば代表色を指標とした場合に互いに類似している画像であるので、所定のクラスに属するブロックは、同じクラスに属す素材画像で置換されることになる。そのため、各クラスについて、ブロックに対する素材画像の不足数が少ないほど、同じ素材画像が重複して選択されることが少なくなり、より高品質なフォトモザイク画像が得られることになる。
【００３１】
画像処理装置では、制作目標画像として選択された制作目標候補画像Ｐ１３と、画像データベースＤ２１の素材画像とが用いられて、フォトモザイク画像が生成される。
【００３２】
［画像処理装置の構成］
以上において説明した処理を実行し、フォトモザイク画像を生成する画像処理装置は、例えば、図２に示すように構成される。
【００３３】
すなわち、画像処理装置１１は、画像データベース記録部２１、記録部２２、候補選択部２３、フォトモザイク生成部２４、表示制御部２５、および表示部２６から構成される。
【００３４】
画像データベース記録部２１は、複数の素材画像を記録しており、素材画像を候補選択部２３またはフォトモザイク生成部２４に供給する。また、これらの素材画像により、画像データベースが構成される。記録部２２は、制作目標画像の候補となる制作目標候補画像を複数記録しており、制作目標候補画像を、候補選択部２３またはフォトモザイク生成部２４に供給する。
【００３５】
候補選択部２３は、画像データベース記録部２１からの素材画像を用いて、記録部２２から供給された複数の制作目標候補画像の何れかを、制作目標画像として選択し、その選択結果をフォトモザイク生成部２４および表示制御部２５に供給する。
【００３６】
フォトモザイク生成部２４は、候補選択部２３からの選択結果により特定される制作目標画像を記録部２２から取得し、制作目標画像と、画像データベース記録部２１から供給された素材画像とを用いて、フォトモザイク画像を生成する。生成されたフォトモザイク画像は、フォトモザイク生成部２４から表示制御部２５に供給される。
【００３７】
表示制御部２５は、候補選択部２３からの選択結果、またはフォトモザイク生成部２４からのフォトモザイク画像を表示部２６に供給し、表示させる。表示部２６は、表示制御部２５の制御に従って各種の画像を表示する。
【００３８】
なお、最終的に得られたフォトモザイク画像は、表示されるだけでなく、印刷されたり、データとして記録媒体に記録されたり、画像処理装置１１と接続されている他の装置に転送されたりしてもよい。
【００３９】
［候補選択部の構成］
また、図２の候補選択部２３およびフォトモザイク生成部２４は、より詳細には、図３および図４に示すように構成される。
【００４０】
図３は、候補選択部２３のより詳細な構成例を示す図である。
【００４１】
候補選択部２３は、分割部５１、平均値算出部５２、中心値算出部５３、クラス分類部５４、クラス分類部５５、クラスカウント部５６、メモリ５７、比較部５８、比較結果格納メモリ５９、および制作目標画像決定部６０から構成される。
【００４２】
分割部５１は、記録部２２からの制作目標候補画像を複数のブロックに分割し、平均値算出部５２に供給する。平均値算出部５２は、分割部５１から供給された各ブロックについて、ブロックの色に関する特徴の特徴量として、ブロック内の画素の画素値の平均値を算出し、中心値算出部５３に供給する。この平均値は、ブロックを構成する画素の平均的な色を示している。
【００４３】
なお、ブロックの平均値は、ブロックの代表値の一例であり、代表値としては、その他、ブロックの中央の座標の位置の画素値、ブロック内において予め定められた座標位置の画素の画素値の平均値などが考えられる。
【００４４】
中心値算出部５３は、平均値算出部５２からの各ブロックの平均値を用いて、クラス分類に用いられる、各クラスの色に関する特徴の特徴量である中心値を算出する。ここで、中心値は、そのクラスに属すブロックの代表的（平均的）な色を示している。中心値算出部５３は、算出した各クラスの中心値と、各ブロックの平均値とをクラス分類部５４に供給するとともに、各クラスの中心値をクラス分類部５５に供給する。
【００４５】
クラス分類部５４は、中心値算出部５３から供給されたクラスの中心値と、ブロックの平均値とを用いて、各ブロックを何れかのクラスに分類し、その分類結果を比較部５８に供給する。
【００４６】
クラス分類部５５は、中心値算出部５３から供給されたクラスの中心値を用いて、画像データベース記録部２１からの素材画像をクラス分類し、その分類結果をクラスカウント部５６に供給する。クラスカウント部５６は、クラス分類部５５からの分類結果に基づいて、各クラスについて、それらのクラスに分類された素材画像の枚数をカウントして、クラスごとの素材画像数をメモリ５７に供給し、記録させる。
【００４７】
比較部５８は、クラス分類部５４からの分類結果と、メモリ５７に記録されているクラスごとの素材画像枚数とを比較して、各クラスについて、ブロック数と素材画像数との比較を行い、その比較結果を比較結果格納メモリ５９に供給し、記録させる。
【００４８】
制作目標画像決定部６０は、比較結果格納メモリ５９に記録されている、複数の制作目標候補画像のそれぞれの比較結果に基づいて、制作目標画像とする制作目標候補画像を選択し、その選択結果をフォトモザイク生成部２４および表示制御部２５に供給する。
【００４９】
［フォトモザイク生成部の構成］
図４は、フォトモザイク生成部２４のより詳細な構成例を示す図である。
【００５０】
フォトモザイク生成部２４は、分割部９１、平均値算出部９２、中心値算出部９３、クラス分類部９４、クラス分類部９５、メモリ９６、置換画像決定部９７、および置換部９８から構成される。
【００５１】
なお、図４において、分割部９１乃至クラス分類部９５は、図３の分割部５１乃至クラス分類部５５のそれぞれと同様であるので、その説明は適宜省略する。
【００５２】
但し、分割部９１は、制作目標画像決定部６０からの選択結果により特定される制作目標画像を記録部２２から取得してブロックに分割する。また、分割部９１から置換画像決定部９７には、平均値算出部９２乃至クラス分類部９４を介して、ブロックに分割された制作目標画像が供給される。さらに、クラス分類部９５からメモリ９６には、素材画像と、素材画像のクラスへの分類結果とが供給される。
【００５３】
メモリ９６は、クラス分類部９５からの分類結果および素材画像を記録するとともに、必要に応じてそれらの分類結果および素材画像を置換画像決定部９７に供給する。置換画像決定部９７は、クラス分類部９４からのクラスの分類結果およびブロックと、メモリ９６からのクラスの分類結果および素材画像とを用いて、各ブロックに割り当てる素材画像を決定する。置換画像決定部９７は、ブロックに分割された制作目標画像と、各ブロックに割り当てた素材画像とを置換部９８に供給する。なお、以下、各ブロックに割り当てられた素材画像を、置換画像とも称する。
【００５４】
置換部９８は、置換画像決定部９７から供給された制作目標画像の各ブロックを、それらのブロックに割り当てられた置換画像に置き換えることでフォトモザイク画像を生成し、表示制御部２５に供給する。
【００５５】
なお、置換画像決定部９７から置換部９８に、ブロックごとに割り当てられた素材画像を特定する画像番号等が供給され、置換部９８がブロックごとの画像番号などに基づいて実際の素材画像を取得し、フォトモザイク画像を生成するようにしてもよい。
【００５６】
［候補選択処理の説明］
ところで、ユーザがフォトモザイク画像を作成しようとする場合、ユーザは、画像処理装置１１を操作して、制作目標画像の候補となる制作目標候補画像を複数指定し、それらの複数の制作目標候補画像のなかから、最も制作目標画像として適したものを選択させる。
【００５７】
ユーザの操作により、制作目標画像とすべき制作目標候補画像を選択する処理の開始が指示されると、画像処理装置１１は、その指示に応じて、候補選択処理を開始する。
【００５８】
以下、図５のフローチャートを参照して、画像処理装置１１による候補選択処理について説明する。
【００５９】
ステップＳ１１において、候補選択部２３は、制作目標画像の候補となる制作目標候補画像の指定を受け付ける。するとユーザは、画像処理装置１１を操作して、複数の制作目標候補画像を指定する。候補選択部２３は、ユーザの操作により制作目標候補画像の指定を受けると、指定された制作目標候補画像の読み込みを分割部５１に指示する。
【００６０】
ステップＳ１２において、分割部５１は、記録部２２から、ユーザにより制作目標画像の候補として指定された制作目標候補画像を１つ読み込む。
【００６１】
ステップＳ１３において、分割部５１は、読み込んだ制作目標候補画像を複数のブロックに分割する。例えば、制作目標候補画像は、予め定められた複数の同形状の矩形ブロックに等分割される。分割部５１は、ブロックに分割した制作目標候補画像を平均値算出部５２に供給する。
【００６２】
ステップＳ１４において、平均値算出部５２は、分割部５１から供給された各ブロックについて、ブロック内の画素の画素値の平均値を算出し、ブロックごとの平均値を中心値算出部５３に供給する。例えば、制作目標候補画像の各画素は、Ｒ（赤），Ｇ（緑），Ｂ（青）の各成分の画素値を有しており、それらのＲ，Ｇ，Ｂの成分ごとに、平均値が算出される。なお、演算量の軽減のため、ブロックに対して画素の間引きを行い、間引きされたブロックの平均値が算出されるようにしてもよい。
【００６３】
ステップＳ１５において、中心値算出部５３は、平均値算出部５２から供給された各ブロックの平均値を用いて、各クラスの中心値を算出する。
【００６４】
例えば、クラスの数が予めｋ個と定められている場合、中心値算出部５３は、ｋ-ｍｅａｎｓ法により、ｋ個のクラスのそれぞれについて中心値を算出する。具体的には、まず、中心値算出部５３は、各クラスに対して中心値の初期値を定める。例えば、中心値は、Ｒ，Ｇ，Ｂの成分ごとに与えられる。
【００６５】
そして、中心値算出部５３は、各クラスの中心値と、各ブロックの平均値との距離を算出して、クラス分類を行う。ここで、制作目標候補画像のブロックは、算出された距離が最も近い（短い）クラスに分類される。また、距離の算出は、平均値と中心値とのＲ，Ｇ，Ｂの各成分の画素値の差分絶対値二乗和や、各成分の画素値の差分の重み付け加算などにより行われる。つまり、ブロックとクラスとの距離は、それらのブロックの平均的な色（平均値）が、クラスの代表的な色（中心値）に対して、どの程度類似しているかを示す値となる。
【００６６】
中心値算出部５３は、ブロックを何れかのクラスに分類すると、クラスごとに新たな中心値を求める。すなわち、クラスに属すブロックの平均値の平均値が算出され、得られた平均値が新たな中心値とされる。そして、このようにして中心値により各ブロックのクラス分類を行って、各クラスの中心値を更新する処理が規定回数だけ行われて、その結果得られた中心値が、最終的な各クラスの中心値とされる。
【００６７】
中心値算出部５３は、各クラスの中心値を求めると、その中心値をクラス分類部５５に供給するとともに、各クラスの中心値と、各ブロックの平均値とをクラス分類部５４に供給する。
【００６８】
ステップＳ１６において、クラス分類部５４は、中心値算出部５３からの平均値および中心値を用いて、ブロックの平均値とクラスの中心値との距離を算出し、各ブロックをｋ個のクラスのうちの何れかに分類する。ここで、距離の算出、およびクラスの分類は、中心値算出部５３における場合と同様の処理により行われる。すなわち、平均値と中心値との各成分の差分絶対値二乗和などにより距離が算出され、距離が最も近いクラスに各ブロックが分類される。
【００６９】
ステップＳ１７において、クラス分類部５４は、クラス分類の結果に基づいて、クラスごとに、そのクラスに分類されたブロックの数をカウントし、その結果得られた、各クラスに属すブロック数を比較部５８に供給する。
【００７０】
例えば、ブロックがクラス１乃至クラス５の何れかに分類される場合、クラス１のブロック数が1503個、クラス２のブロック数が3583個、クラス３のブロック数が4552個、クラス４のブロック数が142個、クラス５のブロック数が1842個などの結果が得られる。これらの各クラスのブロック数は、フォトモザイク画像を生成するのに必要とされる、それらのクラスに属す素材画像の数を示している。
【００７１】
ステップＳ１８において、クラス分類部５５は、画像データベース記録部２１から素材画像を読み込むとともに、それらの読み込んだ素材画像を、中心値算出部５３から供給された各クラスの中心値を用いてクラスに分類する。
【００７２】
具体的には、クラス分類部５５は、素材画像の色に関する特徴の特徴量として、素材画像の画素の画素値の平均値を算出し、その平均値と、各クラスの中心値との距離を算出する。ここで、素材画像の平均値は、Ｒ，Ｇ，Ｂの成分ごとに求められ、平均値と中心値との距離は、クラス分類部５４における場合と同様の方法により算出される。
【００７３】
次に、クラス分類部５５は、求めた距離が予め定めた閾値以下となるクラスに、その素材画像を属させる。例えば、所定の素材画像の平均値とクラス１の中心値との距離、およびその素材画像の平均値とクラス２の中心値との距離がともに閾値以下であったとすると、その素材画像は、クラス１およびクラス２の両方に分類されることになる。
【００７４】
逆に、素材画像が、どのクラスの中心値との距離も閾値以下とならなかった場合には、その素材画像は、どのクラスにも分類されない。つまり、その素材画像の平均的な色は、どのクラスの色とも類似しないので、何れのクラスにも属さないとされる。
【００７５】
なお、距離の閾値は、必要に応じて変化するようにしてもよく、また１つの素材画像が１つのクラスに属すか、または何れのクラスにも属さないように分類されてもよい。そのような場合には、素材画像は、距離が閾値以下であるクラスのうち、距離が一番近いクラスに分類されることになる。
【００７６】
クラス分類部５５は、各素材画像をクラスに分類すると、その分類結果を順次、クラスカウント部５６に供給する。
【００７７】
なお、演算量の軽減のため、素材画像に対して画素の間引きを行い、間引きされた素材画像の平均値が算出されるようにしてもよい。また、初めての処理のときに、各素材画像の平均値を算出して記録しておき、それ以降の処理においては、記録されている各素材画像の平均値が用いられるようにしてもよい。これにより、素材画像のクラス分類をより迅速に行うことができる。
【００７８】
ステップＳ１９において、クラスカウント部５６は、クラス分類部５５からの分類結果に基づいて、各クラスに属す素材画像の枚数をカウントし、その結果得られた、クラスごとの素材画像の枚数をメモリ５７に供給して記録させる。
【００７９】
例えば、クラス１乃至クラス５の５つのクラスがある場合、クラス１の素材画像数が1002枚、クラス２の素材画像数が4503枚、クラス３の素材画像数が7532枚、クラス４の素材画像数が180枚、クラス５の素材画像数が532枚などの結果が得られる。これらの各クラスの素材画像数は、各クラスに属すブロックに対し、置換画像として用いることができる素材画像の枚数を示している。
【００８０】
ステップＳ２０において、比較部５８は、クラス分類部５４から供給されたブロックのクラスへの分類結果と、メモリ５７に記録されている素材画像のクラスへの分類結果とを用いて、各クラスに属すブロックの数と素材画像の数とを比較する。
【００８１】
すなわち、クラスごとに、そのクラスに属すブロック数と素材画像の枚数との差が求められる。例えば、クラス１乃至クラス５の５つのクラスがある場合、クラス１の差が‐501枚、クラス２の差が920枚、クラス３の差が2980枚、クラス４の差が38枚、クラス５の差が‐606枚などの結果が得られる。
【００８２】
ここで、各クラスの差が正である場合、その差は、クラスに属すブロックに対して素材画像の枚数が多いことを示しており、各クラスの差が負である場合、その差は、クラスに属すブロックに対して素材画像の枚数が不足していることを示している。すなわち、クラスごとの差は、そのクラスに属すブロックに対する素材画像の過不足の数（余剰枚数または不足枚数）を示している。具体的には、正の値の差は素材画像の余剰数を示し、負の値の差は、素材画像の不足数を示している。
【００８３】
比較部５８は、処理対象となっている制作目標候補画像について、各クラスの差を求めると、それらの差を比較結果として比較結果格納メモリ５９に供給し、記録させる。例えば、比較結果として、制作目標候補画像を特定する情報、各クラスの中心値、および各クラスの差（過不足数）が比較結果格納メモリ５９に記録される。ここで、クラスの中心値は、比較部５８がクラス分類部５４から取得することができる。
【００８４】
ステップＳ２１において、候補選択部２３は、ユーザにより制作目標画像の候補として指定された全ての制作目標候補画像について、処理を行ったか否かを判定する。例えば、全ての制作目標候補画像について、ブロック数と素材画像数との比較結果が比較結果格納メモリ５９に記録された場合、処理を行ったと判定される。
【００８５】
ステップＳ２１において、まだ全ての制作目標候補画像について処理を行っていないと判定された場合、処理はステップＳ１２に戻り、上述した処理が繰り返される。すなわち、次の制作目標候補画像が読み込まれて、その制作目標候補画像について、クラスごとにブロック数と素材画像数との比較が行われる。
【００８６】
一方、ステップＳ２１において、全ての制作目標候補画像について処理を行ったと判定された場合、比較部５８は、制作目標画像決定部６０に対して制作目標画像の選択を指示し、その後、処理はステップＳ２２に進む。
【００８７】
ステップＳ２２において、制作目標画像決定部６０は、比較結果格納メモリ５９から、制作目標画像の候補として指定された各制作目標候補画像の比較結果を読み出して、それらの比較結果に基づいて、制作目標画像とする制作目標候補画像を選択する。
【００８８】
例えば、制作目標画像決定部６０は、制作目標候補画像のうち、制作目標候補画像のブロックに対して使用可能な素材画像の不足数が最も少ないものを、最も高品質なフォトモザイク画像が得られる制作目標候補画像であるとし、その制作目標候補画像を選択する。
【００８９】
具体的には、例えば、クラス１乃至クラス５の５つのクラスがあり、所定の制作目標候補画像の比較結果として、クラス１の差が‐501枚、クラス５の差が‐606枚であり、他のクラスの差は正の値であったとする。
【００９０】
この場合、制作目標画像決定部６０は、その制作目標候補画像のクラスごとの差のうち、負の値の差の絶対値の合計値、つまり1107枚（＝501+606）を求めるとともに、他の全ての制作目標候補画像についても、負の値の差の絶対値の合計値を求める。
【００９１】
このようにして得られた合計値は、制作目標候補画像を制作目標画像として、同じクラスに属す各ブロックに対し、重複なくそのクラスの素材画像を割り当ててフォトモザイク画像を生成しようとする場合に、不足する素材画像の枚数を示している。したがって、この合計値が少ない制作目標候補画像ほど、その制作目標候補画像を制作目標画像として用いれば、素材画像（置換画像）の重複が生じにくく、より品質の高いフォトモザイク画像を得ることができることになる。
【００９２】
そこで、制作目標画像決定部６０は、ユーザにより指定された複数の制作目標候補画像のうち、最も合計値（不足数）が少ない制作目標候補画像を、制作目標画像として選択する。
【００９３】
また、最も小さい合計値を持つ制作目標候補画像が複数ある場合、例えば合計値が０である、つまり不足がない制作目標候補画像が複数ある場合、制作目標画像決定部６０は、さらに、それらの制作目標候補画像のなかから、素材画像の余剰数が最も多い制作目標候補画像を選択する。
【００９４】
具体的には、制作目標画像決定部６０は、制作目標候補画像について、各クラスの差のうち、正の値の差の合計値を素材画像の余剰数として算出する。そして、制作目標画像決定部６０は、最も余剰数の多い制作目標候補画像を、制作目標画像として選択する。
【００９５】
各クラスのブロックに対して使用可能な素材画像の数が多いと、その分だけ各ブロックに、より類似する色の素材画像が割り当てられる可能性が高くなるので、より高品質なフォトモザイク画像が得られることになる。
【００９６】
そのため、制作目標画像決定部６０は、ユーザに指定された制作目標候補画像のうち、最も素材画像の不足数が少ないものを抽出する。そして、その結果、複数の制作目標候補画像が抽出された場合、制作目標画像決定部６０は、さらに、それらの抽出された制作目標候補画像のなかから、最も素材画像の余剰数が多い制作目標候補画像を、最終的な制作目標画像として選択する。
【００９７】
なお、ブロック数と素材画像数との比較の例として、素材画像の過不足数のみから制作目標画像を選択すると説明したが、その他、素材画像の不足の割合の平均値などが用いられて、制作目標画像の選択が行われるようにしてもよい。そのような場合、例えば、比較部５８は、比較結果とともに各クラスに属すブロックの数も比較結果格納メモリ５９に記録させる。
【００９８】
具体的には、例えば、クラス１乃至クラス５の５つのクラスがあり、所定の制作目標候補画像の比較結果として、クラス１の差が‐501枚、クラス５の差が‐606枚であり、他のクラスの差は正の値であったとする。この場合、各比較結果とともに、クラス１のブロック数1503、クラス５のブロック数1842など、各クラスのブロック数も比較結果格納メモリ５９に記録される。
【００９９】
そして、素材画像の不足の割合の平均値として、（0.33＝（（501／1503）＋（606／1842））／2）が求められ、他の制作目標候補画像の不足の割合の平均値と比較されて、最終的な制作目標画像が選択される。
【０１００】
以上のようにして、複数の候補のなかから最終的な制作目標画像が選択されると、制作目標画像決定部６０は、その選択結果をフォトモザイク生成部２４の分割部９１、および表示制御部２５に供給し、候補選択処理は終了する。
【０１０１】
例えば、制作目標画像決定部６０から出力された選択結果は、表示制御部２５の制御により表示部２６に表示される。したがって、表示部２６に表示された選択結果を見ることで、ユーザは、自ら指定した複数の制作目標候補画像のうち、何れのものを制作目標画像として採用すれば、最も高品質なフォトモザイク画像が得られるかを簡単に知ることができる。
【０１０２】
このようにして画像処理装置１１は、ユーザにより指定された複数の制作目標候補画像について、各ブロックと素材画像のクラス分類を行い、クラスごとにブロック数と素材画像数とを比較し、制作目標候補画像ごとの比較結果から制作目標画像を選択する。
【０１０３】
このように、制作目標候補画像ごとの比較結果に基づいて、制作目標画像とする制作目標候補画像を選択し、その選択結果を出力することで、置換画像の重複利用の発生がより少ない画像を制作目標画像としてフォトモザイク画像を生成することができるようになる。これにより、例えば、複数の制作目標画像の候補のなかから、１つの候補を制作目標画像として選択し、その制作目標画像を用いてフォトモザイク画像を生成する場合に、より高品質なフォトモザイク画像を得ることができる。
【０１０４】
例えば、画像データベースが、色分布の偏った素材画像、つまり似たような色の素材画像を多く含む画像データベースや、素材画像の数が少ない画像データベースである場合もある。そのような場合、従来は、ユーザはどの画像を制作目標画像とすれば、見映えのよいフォトモザイク画像を得ることができるか知ることができず、また、従来の技術では、置換画像を重複なく利用することに対して考慮されていなかった。そのため、ユーザが綺麗なフォトモザイク画像を生成して楽しむことができなかった。
【０１０５】
これに対して、画像処理装置１１では、画像データベースを構成する素材画像に偏りがあったり、素材画像の数が少なかったりする場合であっても、その画像データベースを用いたときに、最も高品質なフォトモザイク画像が得られる制作目標画像が選択されて提示される。したがって、ユーザは、その提示された制作目標画像を用いてフォトモザイク画像を生成することにより、画像データベースによらず、より高品質なフォトモザイク画像を楽しむことができる。
【０１０６】
［フォトモザイク画像の生成処理の説明］
また、表示部２６に制作目標画像として最適な制作目標候補画像の選択結果が表示されると、ユーザは、画像処理装置１１を操作して、その選択された制作目標候補画像を制作目標画像として、フォトモザイク画像を生成させることができる。
【０１０７】
ユーザにより、フォトモザイク画像の生成が指示されると、画像処理装置１１は、その指示に従ってフォトモザイク画像の生成処理を開始して、フォトモザイク画像を生成する。以下、図６のフローチャートを参照して、画像処理装置１１によるフォトモザイク画像の生成処理について説明する。なお、フォトモザイク画像の生成処理は、図５の候補選択処理により制作目標画像が選択された後、ユーザの操作を必要とせずに開始されるようにしてもよい。
【０１０８】
ステップＳ５１において、分割部９１は、制作目標画像決定部６０から供給された選択結果に基づいて、その選択結果により特定される制作目標候補画像を、制作目標画像として記録部２２から読み込む。
【０１０９】
そして、その後、ステップＳ５２乃至ステップＳ５６の処理が行われる。なお、これらのステップＳ５２乃至ステップＳ５６の処理のそれぞれは、図５のステップＳ１３乃至ステップＳ１６、およびステップＳ１８の処理と同様であるので、その説明は、適宜、省略する。
【０１１０】
すなわち、制作目標画像の各ブロックがクラスに分類されて、その分類結果と、ブロックに分割された制作目標画像とがクラス分類部９４から置換画像決定部９７に供給される。また、画像データベース記録部２１から読み込まれた各素材画像がクラスに分類されて、その分類結果と、読み込まれた素材画像とがクラス分類部９５からメモリ９６に供給されて、記録される。なお、クラス分類部９５において、何れのクラスにも分類されなかった素材画像は、フォトモザイク画像の生成には用いられない。
【０１１１】
そして、ステップＳ５７において、置換画像決定部９７は、制作目標画像上の１つのブロックを選択する。
【０１１２】
ステップＳ５８において、置換画像決定部９７は、メモリ９６に記録されている素材画像と、素材画像のクラス分類結果とを用いて、選択したブロックと素材画像との照合を行い、そのブロックに割り当てる素材画像を選択する。
【０１１３】
具体的には、置換画像決定部９７は、メモリ９６に記録されている素材画像のうち、処理対象のブロックと同じクラスに属し、かつそのクラスの他のブロックと置き換えられる置換画像としてまだ選択されていない素材画像を抽出する。
【０１１４】
このように、処理対象のブロックと同じクラスに属す素材画像のみを抽出して処理対象とすることで、ブロックとの類似度が低く、置換画像として採用される可能性の低い素材画像を除外することができ、より迅速に適切な置換画像を選択することができる。また、同じクラスであっても、他のブロックの置換画像として使用された素材画像を除外することで、素材画像が重複利用されることを防止することができ、より高品質なフォトモザイク画像を得ることができる。
【０１１５】
このようにして素材画像が抽出されると、置換画像決定部９７は、抽出した各素材画像と処理対象のブロックとの照合を行う。すなわち、置換画像決定部９７は、次式（１）を計算して、ブロックの画素と、その画素と同じ位置にある素材画像の画素との差分ΔＣを算出する。
【０１１６】
【数１】
【０１１７】
ここで、式（１）におけるｒ、ΔＲ、ΔＧ、およびΔＢは、それぞれ次式（２）乃至式（５）により求められる。
【０１１８】
【数２】
【数３】
【数４】
【数５】
【０１１９】
なお、式（２）乃至式（５）において、Ｃ１（Ｒ）、Ｃ１（Ｇ）、およびＣ１（Ｂ）は、それぞれブロックの画素のＲ、Ｇ、およびＢの成分の画素値を示している。同様に、式（２）乃至式（５）において、Ｃ２（Ｒ）、Ｃ２（Ｇ）、およびＣ２（Ｂ）は、それぞれ素材画像の画素のＲ、Ｇ、およびＢの成分の画素値を示している。
【０１２０】
このようにして得られる差分ΔＣは、制作目標画像の画素と素材画像の画素との各成分の差分の２乗の値を重み付き加算して得られる値である。すなわち、差分ΔＣは、制作目標画像の画素と素材画像の画素との距離である。
【０１２１】
したがって、差分ΔＣは、その値が小さいほど、制作目標画像のブロックと、素材画像との同じ位置にある画素の色が類似していることになる。置換画像決定部９７は、各画素について差分ΔＣを求め、それらの差分ΔＣの総和ΣΔＣを算出する。この差分の総和ΣΔＣは、その値が小さいほど素材画像の色の構造（分布）が処理対象のブロックに類似していることになる。
【０１２２】
したがって、より差分の総和ΣΔＣが小さい素材画像を、処理対象のブロックの置換画像として採用すれば、より高品質なフォトモザイク画像が得られることになる。そこで、置換画像決定部９７は、抽出した素材画像のうち、最も総和ΣΔＣが小さい素材画像を選択し、その素材画像を置換画像として置換部９８に供給する。また、置換画像決定部９７は、各ブロックに分割された制作目標画像も置換部９８に供給する。
【０１２３】
なお、差分の総和ΣΔＣの演算量を削減するため、ブロックと素材画像の画素を間引いて同じ縮小率で縮小してから、各画素の差分ΔＣを算出するようにしてもよい。
【０１２４】
また、照合の対象となる素材画像が抽出される場合に、同じクラスで１度、置換画像として使用された素材画像が、その後、全く使用されないようにするのではなく、１度使用されたブロックの近傍（例えば、２４近傍）でのみ再度使用されないようにしてもよい。これにより、フォトモザイク画像の品質の劣化を防止することができる。
【０１２５】
また、同じクラスに属す素材画像の数が、そのクラスに属すブロックの数よりも少なく、それらの全ての素材画像が置換画像として使用されてしまった場合には、その後、そのクラスに属す全ての素材画像が、再び処理対象とされるようにしてもよい。すなわち、全ての素材画像が処理対象とされ、それらの素材画像のなかから、それ以降のブロックに対する置換画像が順次、選択されていく。この場合、再度、置換画像として選択された素材画像は、それ以降のブロックの置換画像の選択の対象から除外されてもよいし、除外されなくてもよい。
【０１２６】
以上のようにして、処理対象のブロックの置換画像が置換部９８に供給されると、ステップＳ５９において、置換部９８は、制作目標画像上の処理対象のブロックを、置換画像決定部９７から供給された置換画像に置き換える。
【０１２７】
ステップＳ６０において、フォトモザイク生成部２４は、制作目標画像上の全てのブロックについて処理を行ったか否かを判定する。例えば、全てのブロックが置換画像に置き換えられてフォトモザイク画像が生成された場合、全てのブロックについて処理を行ったと判定される。
【０１２８】
ステップＳ６０において、まだ全てのブロックについて処理を行っていないと判定された場合、処理はステップＳ５７に戻り、上述した処理が繰り返される。すなわち、次のブロックが選択され、そのブロックが置換画像に置き換えられる。
【０１２９】
これに対して、ステップＳ６０において、全てのブロックについて処理を行ったと判定された場合、ステップＳ６１において、置換部９８は、ブロックの置換画像への置き換えにより得られたフォトモザイク画像を、表示制御部２５に出力する。そして、表示制御部２５の制御によりフォトモザイク画像が表示部２６に表示され、フォトモザイク画像の生成処理は終了する。
【０１３０】
このようにして、画像処理装置１１は、候補選択部２３により選択された制作目標画像を用いてフォトモザイク画像を生成する。このように、候補選択部２３により選択された制作目標画像を用いて、同じクラスに分類された素材画像を対象としてブロックとの照合を行い、フォトモザイク画像を生成することで、より簡単な処理で、より高品質なフォトモザイク画像を得ることができる。
【０１３１】
〈第２の実施の形態〉
［候補選択部の構成］
なお、以上においては、制作目標候補画像から各クラスの中心値を算出する例について説明したが、予め各クラスの中心値が求められているようにしてもよい。
【０１３２】
例えば、制作目標候補画像上の被写体が人の顔など、予め特定されている場合には、その被写体に応じて肌色、黒、緑、白、赤などの特徴色を示す値を中心値として定めておけば、処理を行うごとに中心値を算出する必要がなくなり、より迅速に処理を行うことができる。また、この場合、画像データベースの素材画像についても、予め定められた中心値によりクラス分類を行っておけば、処理のたびに素材画像のクラス分類を行う必要もなくなる。
【０１３３】
このように、予め各クラスの中心値が定められている場合、画像処理装置１１を構成する候補選択部２３およびフォトモザイク生成部２４は、図７および図８に示すように構成される。
【０１３４】
図７は、候補選択部２３の構成例を示す図である。なお、図７において、図３における場合と対応する部分には、同一の符号を付してあり、その説明は適宜、省略する。
【０１３５】
図７の候補選択部２３には、新たに画像データベース情報蓄積メモリ１２１が設けられており、また中心値算出部５３、クラス分類部５５、クラスカウント部５６、およびメモリ５７が設けられていない点で、図３の候補選択部２３と異なり、その他の点は一致する。
【０１３６】
画像データベース情報蓄積メモリ１２１は、予め求められた各クラスの中心値と、その中心値を用いて各素材画像についてクラス分類を行った結果とを記録している。
【０１３７】
クラス分類部５４は、画像データベース情報蓄積メモリ１２１から各クラスの中心値と、素材画像のクラス分類結果とを取得する。また、クラス分類部５４は、取得した中心値を用いて、制作目標候補画像の各ブロックをクラス分類し、そのクラス分類結果と、素材画像のクラス分類結果とを比較部５８に供給する。
【０１３８】
なお、図７では、素材画像が予めクラス分類されている例について説明したが、初めて処理を行う場合に、候補選択部２３が予め定められた中心値を用いて、素材画像のクラス分類を１度だけ行い、その結果を画像データベース情報蓄積メモリ１２１に記録しておくようにしてもよい。そのような場合、２回目以降の処理では、画像データベース情報蓄積メモリ１２１から、素材画像のクラス分類結果が読み出されて用いられる。
【０１３９】
［フォトモザイク生成部の構成］
また、図８は、予め各クラスの中心値が定められている場合における、フォトモザイク生成部２４の構成例を示す図である。なお、図８において、図４における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０１４０】
図８のフォトモザイク生成部２４には、新たに画像データベース情報蓄積メモリ１５１が設けられており、また中心値算出部９３、クラス分類部９５、およびメモリ９６が設けられていない点で、図４のフォトモザイク生成部２４と異なり、その他の点は一致する。
【０１４１】
画像データベース情報蓄積メモリ１５１は、予め求められた各クラスの中心値と、その中心値を用いて各素材画像についてクラス分類を行った結果とを記録している。また、画像データベース情報蓄積メモリ１５１は、画像データベース記録部２１から素材画像を読み込んで、読み込んだ素材画像を記録する。
【０１４２】
クラス分類部９４は、画像データベース情報蓄積メモリ１５１から各クラスの中心値を取得して、それらの中心値と、平均値算出部９２からの各ブロックの平均値とを用いて各ブロックをクラス分類する。また、クラス分類部９４は、平均値算出部９２から供給された、ブロックに分割された制作目標画像と、各ブロックのクラス分類の結果とを置換画像決定部９７に供給する。
【０１４３】
［候補選択処理の説明］
次に、候補選択部２３およびフォトモザイク生成部２４が、図７および図８に示す構成とされる場合における候補選択処理およびフォトモザイク画像の生成処理について説明する。
【０１４４】
まず、図９のフローチャートを参照して、画像処理装置１１による候補選択処理について説明する。なお、ステップＳ９１乃至ステップＳ９４の処理は、図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。
【０１４５】
ステップＳ９５において、クラス分類部５４は、画像データベース情報蓄積メモリ１２１から各クラスの中心値を取得して、取得した中心値と、平均値算出部５２から供給された制作目標候補画像の各ブロックの平均値とを用いて、各ブロックを予め定められたクラスの何れかに分類する。
【０１４６】
ステップＳ９６において、クラス分類部５４は、各ブロックのクラス分類の結果に基づいて、クラスごとに、そのクラスに分類されたブロックの数をカウントする。そして、クラス分類部５４は、画像データベース情報蓄積メモリ１２１から素材画像のクラス分類結果を取得し、各クラスに属すブロック数と、素材画像のクラス分類結果とを比較部５８に供給する。
【０１４７】
その後、ステップＳ９７乃至ステップＳ９９の処理が行われて、候補選択処理は終了するが、これらの処理は、図５のステップＳ２０乃至ステップＳ２２の処理と同様であるので、その説明は省略する。
【０１４８】
このようにして、画像処理装置１１は、ユーザにより指定された複数の制作目標候補画像について、予め定められた中心値を用いて各ブロックのクラス分類を行い、クラスごとにブロック数と素材画像数とを比較し、制作目標候補画像ごとの比較結果から制作目標画像を選択する。
【０１４９】
このように、制作目標候補画像ごとの比較結果に基づいて、制作目標画像を選択することで、より高品質なフォトモザイク画像が得られる画像を制作目標画像として用いることができるようになる。また、各ブロックのクラス分類を予め定められた中心値を用いて行うようにしたので、制作目標候補画像の被写体がある程度決まっている場合には、素材画像のクラス分類と中心値の算出を処理のたびに行う必要がなくなる。これにより、より迅速に制作目標画像の選択を行うことができる。
【０１５０】
［フォトモザイク画像の生成処理の説明］
次に、図１０のフローチャートを参照して、画像処理装置１１によるフォトモザイク画像の生成処理について説明する。なお、ステップＳ１２１乃至ステップＳ１２３の処理のそれぞれは、図６のステップＳ５１乃至ステップＳ５３のそれぞれと同様の処理であるので、その説明は省略する。
【０１５１】
ステップＳ１２４において、クラス分類部９４は、画像データベース情報蓄積メモリ１５１から各クラスの中心値を取得して、それらの中心値と、平均値算出部９２からの各ブロックの平均値とを用いて各ブロックをクラスに分類する。
【０１５２】
そして、クラス分類部９４は、得られた各ブロックのクラス分類結果と、ブロックに分割された制作目標画像とを置換画像決定部９７に供給する。また、画像データベース情報蓄積メモリ１５１は、画像データベース記録部２１から素材画像を読み込んで、読み込んだ素材画像を記録する。
【０１５３】
さらに、その後、ステップＳ１２５乃至ステップＳ１２９の処理が行われて、フォトモザイク画像の生成処理は終了するが、これらの処理は図６のステップＳ５７乃至ステップＳ６１の処理と同様であるので、その説明は省略する。
【０１５４】
なお、置換画像決定部９７は、画像データベース情報蓄積メモリ１５１に記録されている素材画像と、素材画像のクラス分類結果とを用いて、クラス分類部９４から供給された各ブロックの照合を行う。
【０１５５】
このようにして画像処理装置１１は、候補選択部２３により選択された制作目標画像を用いてフォトモザイク画像を生成することで、より簡単な処理で、より高品質なフォトモザイク画像を得ることができる。特に、予め各クラスの中心値を定めておくことにより、中心値の算出と素材画像のクラス分類を行う必要がなくなり、より迅速にフォトモザイク画像を得ることができる。
【０１５６】
なお、より高品質なフォトモザイク画像を得るために、画像データベースを構成する素材画像のうち、ぼけ、ぶれ、およびノイズ（以下、ぼけ等と称する）が発生している素材画像については、その素材画像に生じたぼけ等が補正されるようにしてもよい。
【０１５７】
そのような場合、画像処理装置１１にぼけ等を検出する機構と、検出されたぼけ等を補正する機構とが設けられる。そして、素材画像にぼけ等が検出された場合、そのぼけ等の大きさが所定の閾値よりも小さい場合には、素材画像に対して、ぼけ等を除去するフィルタ処理が施されてぼけ等が除去された後、その素材画像が画像データベース記録部２１に記録される。これに対して、検出されたぼけ等の大きさが所定の閾値よりも大きい場合には、その素材画像は消去され、置換画像として用いられない。
【０１５８】
また、候補選択部２３により選択された制作目標画像を用いて、フォトモザイク画像を生成するにあたり、各クラスに属す素材画像の数が不足している場合、画像処理装置１１がネットワークを介して、不足の生じたクラスに属す画像を素材画像として取得するようにしてもよい。この場合、クラスに属す画像とは、その画像の画素の画素値の平均値と、クラスの中心値との距離が閾値以下の画像であり、その画像は、例えば、著作権等に問題のない画像とされる。
【０１５９】
さらに、画像処理装置１１がネットワークを介して、互いに類似する複数の画像を取得した場合には、それらの画像のうち、例えば、ぶれやぼけのない、品質の高い画像のみが素材画像として選択され、他の画像は素材画像として採用されないようにしてもよい。これは、画像データベース記録部２１における素材画像が互いに類似している場合においても、同様である。
【０１６０】
また、制作目標候補画像の各ブロックと、素材画像のクラス分類を予め行っておき、それらの分類結果を各クラスの中心値とともに記録しておくようにしてもよい。この場合、フォトモザイク生成部２４では、記録しているクラス分類結果を用いれば、処理のたびにクラス分類を行わなくてもよく、より迅速にフォトモザイク画像を得ることができる。さらに、制作目標候補画像のブロックへの分割結果も保持しておけば、フォトモザイク生成部２４において、その分割結果を用いて、分割された各ブロックを得ることができ、無駄な演算を行う必要がなくなる。
【０１６１】
さらに、以上において説明した画像処理装置１１は、例えば、コンピュータにより構成されたり、撮像装置に内蔵されたりしてもよく、その他、画像処理装置１１は、各種の電子機器に搭載することも可能である。
【０１６２】
さらに、以上において説明した素材画像および制作目標候補画像は、撮像装置により撮像された画像（写真）に限らず、絵などをスキャナで取り込んで得られた画像や、ＣＧ（Computer Graphics）など、どのような画像であってもよい。
【０１６３】
さらに、以上においては、ブロック数と素材画像数との比較結果、つまりブロックに対する素材画像の不足数の合計値に基づいて、１つの制作目標候補画像を選択すると説明したが、複数の制作目標候補画像が選択結果として提示されてもよい。
【０１６４】
そのような場合、例えば制作目標候補画像ごとに、不足数の合計値と閾値とが比較され、合計値が閾値以下となる制作目標候補画像が複数あるときには、それらの閾値以下となった全ての制作目標候補画像が選択結果として、表示部２６に表示される。そして、ユーザの操作に応じて、それらの制作目標候補画像のなかから、ユーザにより選択された１または複数の制作目標候補画像が、最終的な制作目標画像とされ、フォトモザイク画像が生成される。
【０１６５】
また、複数の制作目標候補画像が選択結果として表示部２６に表示される場合に、例えば、合計値が閾値より大きいものについては、グレー表示し、合計値が閾値以下のものについては、ハイライト表示するなど、合計値の値に応じて異なる表示形式で結果が表示されるようにしてもよい。さらに、複数の制作目標候補画像の選択結果の提示方法として、合計値が少ない順に制作目標候補画像を表示したり、合計値をスコアとして表示させたりしてもよい。
【０１６６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１６７】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１６８】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１６９】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１７０】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１７１】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１７２】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０１７３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１７５】
１１ 画像処理装置， ２３ 候補選択部， ２４ フォトモザイク生成部， ５１ 分割部， ５２ 平均値算出部， ５３ 中心値算出部， ５４ クラス分類部， ５５ クラス分類部， ５８ 比較部， ６０ 制作目標画像決定部
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、より高品質なフォトモザイク画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラの普及により、多くの写真を撮像するユーザが増えてきている。また、撮像された大量の写真を効果的に提示する方法も求められている。
【０００３】
撮像された写真の効果的な提示方法として、フォトモザイク画像が知られている。フォトモザイク画像は、目標とする１つの画像（以下、制作目標画像と称する）を複数のブロックに分割し、各ブロックを、それらのブロックと色が類似する他の異なる画像（以下、置換画像と称する）に置き換えることにより得られる画像である。
【０００４】
したがって、フォトモザイク画像をある程度遠くから観察すると、観察者の目には制作目標画像上の被写体と同じ被写体が観察されるが、フォトモザイク画像をある程度近くから観察すると、並べられた複数の異なる置換画像が観察されることになる。
【０００５】
このようなフォトモザイク画像を生成する技術として、制作目標画像の各ブロックの色の代表値と、置換画像の候補となる各画像の色の代表値との距離を、重み付けを用いた計算により求めることで、各ブロックに配置される画像を選択する技術が知られている（例えば、特許文献１参照）。また、制作目標画像を色近似により複数ブロックからなる分離領域に分離するとともに、置換画像の候補を分離領域に対応するクラスに分類し、分離領域ごとに、対応するクラスに属す候補を用いてフォトモザイク画像を生成する技術もある（例えば、特許文献２参照）。
【０００６】
さらに、制作目標画像のブロックをさらに細かく分割して、置換画像の候補となる画像との照合を行うことにより、元の制作目標画像の色分布を維持しながらフォトモザイク画像を生成する方法も提案されている（例えば、特許文献３および４参照）。
【０００７】
さらにまた、ブロックに割り当てる置換画像を選択するにあたり、各ブロックと置換画像の候補との平均輝度の比較により置換画像を選択する技術（例えば、特許文献５参照）や、置換画像の候補を記録しているサーバに対して、ネットワークを介して各ブロックの置換画像の選択を要求する技術（例えば、特許文献６参照）も提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−２９８７２２号公報
【特許文献２】特開２００５−１００１２０号公報
【特許文献３】特開平１１−３４１２６６号公報
【特許文献４】特開２０００−２９５４５３号公報
【特許文献５】特開平１１−３４１２６４号公報
【特許文献６】特開２０００−２００２８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、フォトモザイク画像の生成には、多くの画像と、作成のためのノウハウが必要であった。そのため、フォトモザイク画像は、映画の宣伝用のポスタや企業のロゴなど、商用で利用されることはあったが、一般ユーザが、パーソナルコンピュータ等を利用して、高品質なフォトモザイク画像を生成することは容易ではなかった。
【００１０】
ここで、高品質なフォトモザイク画像、つまり見映えのよいフォトモザイク画像を得るには、制作目標画像の各ブロックに割り当てる置換画像を、なるべく重複しないように選択することが必要である。これは、制作目標画像の１つのブロックの近傍に、そのブロックに対して定められた置換画像と同じ画像がいくつか配置されると、得られたフォトモザイク画像は、近くから見ても、遠くから見ても見映えの悪いものとなってしまうからである。また、高品質なフォトモザイク画像を得るには、制作目標画像の各ブロックに対して、そのブロックに色の分布が類似する置換画像を選択することも必要となる。
【００１１】
ところが、上述した技術では、与えられた制作目標画像の各ブロックに対して、予め用意された置換画像の候補を重複なく割り当てることは保証されていない。そのため、特に、所定の色のブロックの数に対して、その色の置換画像の候補の数が不足している場合には、重複して同じ置換画像が用いられることが多くなり、品質の低いフォトモザイク画像が生成されてしまう可能性が高かった。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、より高品質なフォトモザイク画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の画像処理装置は、制作目標画像を複数のブロックに分割し、前記ブロックを複数の素材画像のうちの何れかに置き換えることによりフォトモザイク画像を生成する場合に、前記制作目標画像の候補とされた制作目標候補画像を前記ブロックに分割する分割手段と、前記制作目標候補画像の各前記ブロックを、色に関する特徴により定められる複数のクラスのうちの何れかに分類するブロッククラス分類手段と、前記クラスごとに、前記クラスに属す前記制作目標候補画像のブロックの数と、前記クラスに属す前記素材画像の数とを比較する比較手段と、複数の前記制作目標候補画像のそれぞれについて得られた、前記比較手段による比較結果に基づいて、複数の前記制作目標候補画像の何れかを前記制作目標画像として選択する選択手段とを備える。
【００１４】
前記選択手段には、前記比較結果として前記クラスごとに得られた、前記ブロックに対する前記素材画像の不足数に基づいて、前記制作目標候補画像を選択させることができる。
【００１５】
前記選択手段には、前記制作目標候補画像のうち、前記クラスごとの前記不足数の合計が最も少ない前記制作目標候補画像を前記制作目標画像として選択させ、前記不足数の合計が最も少ない前記制作目標候補画像が複数ある場合、前記不足数の合計が最も少ない前記制作目標候補画像の何れかを、前記比較結果として前記クラスごとに得られた、前記ブロックに対する前記素材画像の余剰数に基づいて選択させることができる。
【００１６】
画像処理装置には、前記制作目標画像の候補として、複数の前記制作目標候補画像の指定を受け付ける指定受付手段をさらに設けることができる。
【００１７】
画像処理装置には、前記制作目標候補画像の前記ブロック内の各画素の画素値に基づいて、前記ブロックごとに前記特徴の特徴量を算出するブロック特徴量算出手段と、前記ブロックごとの前記特徴量に基づいて、予め定められた所定数の前記クラスのそれぞれについて、前記クラスへの分類に用いられ、前記クラスの前記特徴の特徴量を示す中心値を算出する中心値算出手段と、前記素材画像の各画素の画素値に基づいて、前記素材画像の前記特徴の特徴量を算出し、前記素材画像の前記特徴の特徴量と、各前記クラスの前記中心値との距離に基づいて、前記素材画像を前記クラスに分類する画像クラス分類手段とをさらに設け、前記ブロッククラス分類手段には、前記ブロックの前記特徴量と各前記クラスの前記中心値との距離に基づいて、前記ブロックを複数の前記クラスのうちの何れかに分類させることができる。
【００１８】
画像処理装置には、前記制作目標候補画像の前記ブロック内の各画素の画素値に基づいて、前記ブロックごとに前記特徴の特徴量を算出するブロック特徴量算出手段をさらに設け、前記ブロッククラス分類手段には、前記クラスへの分類に用いられ、前記クラスごとに予め定められた前記クラスの前記特徴の特徴量を示す中心値と、前記ブロックの前記特徴量との距離に基づいて、前記ブロックを複数の前記クラスのうちの何れかに分類させ、前記素材画像は、前記中心値が用いられて予め前記クラスに分類されているようにすることができる。
【００１９】
本発明の一側面の画像処理方法またはプログラムは、制作目標画像を複数のブロックに分割し、前記ブロックを複数の素材画像のうちの何れかに置き換えることによりフォトモザイク画像を生成する場合に、前記制作目標画像の候補とされた制作目標候補画像を前記ブロックに分割し、前記制作目標候補画像の各前記ブロックを、色に関する特徴により定められる複数のクラスのうちの何れかに分類し、前記クラスごとに、前記クラスに属す前記制作目標候補画像のブロックの数と、前記クラスに属す前記素材画像の数とを比較し、複数の前記制作目標候補画像のそれぞれについて得られた、前記ブロックの数と前記素材画像の数との比較結果に基づいて、複数の前記制作目標候補画像の何れかを前記制作目標画像として選択するステップを含む。
【００２０】
本発明の一側面においては、制作目標画像を複数のブロックに分割し、前記ブロックを複数の素材画像のうちの何れかに置き換えることによりフォトモザイク画像を生成する場合に、前記制作目標画像の候補とされた制作目標候補画像が前記ブロックに分割され、前記制作目標候補画像の各前記ブロックが、色に関する特徴により定められる複数のクラスのうちの何れかに分類され、前記クラスごとに、前記クラスに属す前記制作目標候補画像のブロックの数と、前記クラスに属す前記素材画像の数とが比較され、複数の前記制作目標候補画像のそれぞれについて得られた比較結果に基づいて、複数の前記制作目標候補画像の何れかが前記制作目標画像として選択される。
【発明の効果】
【００２１】
本発明の一側面によれば、より高品質なフォトモザイク画像を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明を適用した画像処理装置の処理の概要を説明する図である。
【図２】画像処理装置の構成例を示す図である。
【図３】候補選択部の構成例を示す図である。
【図４】フォトモザイク生成部の構成例を示す図である。
【図５】候補選択処理を説明するフローチャートである。
【図６】フォトモザイク画像の生成処理を説明するフローチャートである。
【図７】候補選択部の他の構成例を示す図である。
【図８】フォトモザイク生成部の他の構成例を示す図である。
【図９】候補選択処理を説明するフローチャートである。
【図１０】フォトモザイク画像の生成処理を説明するフローチャートである。
【図１１】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２４】
〈第１の実施の形態〉
［画像処理装置の処理の概要］
図１は、本発明を適用した画像処理装置により実行される処理の概要を示す図である。
【００２５】
画像処理装置は、目標とする１つの制作目標画像を複数のブロックに分割し、各ブロックを、予め記録している素材画像に置き換えることにより、１つのフォトモザイク画像を生成する。
【００２６】
画像処理装置では、フォトモザイク画像の生成にあたり、制作目標画像の候補となる複数の制作目標候補画像Ｐ１１乃至制作目標候補画像Ｐ１３のそれぞれと、予め用意された画像データベースＤ１１を構成する素材画像とが比較される。
【００２７】
そして、その比較の結果から、最も適した制作目標候補画像、すなわち画像データベースＤ１１を用いてフォトモザイク画像を生成する場合に、最も見映え（品質）のよいフォトモザイク画像を得ることのできる制作目標候補画像が、制作目標画像として選択される。図１の例では、制作目標画像として、制作目標候補画像Ｐ１３が選択されている。
【００２８】
具体的には、制作目標候補画像は、複数のブロックに分割され、各ブロックが複数のクラスの何れかに分類される。ここで、各クラスは、制作目標候補画像から抽出される色に関する特徴の特徴量により定められ、各ブロックは、色に関する特徴が最も類似しているクラスに属すように分類される。これにより、各制作目標候補画像について、クラスごとに、そのクラスに属するブロックの数が得られる。
【００２９】
また、画像データベースＤ１１を構成する各素材画像についてもクラスの分類が行われ、各クラスについて、クラスに属すブロックの数と素材画像の数とが比較されて、ブロックに対する素材画像の過不足数が求められる。そして、得られたクラスごとの過不足数に基づいて、ブロック数に対する素材画像数の不足の少ない制作目標候補画像が、制作目標画像として選択される。
【００３０】
これは、次のような理由からである。すなわち、同じクラスに分類されたブロックと素材画像は、色に関する特徴、例えば代表色を指標とした場合に互いに類似している画像であるので、所定のクラスに属するブロックは、同じクラスに属す素材画像で置換されることになる。そのため、各クラスについて、ブロックに対する素材画像の不足数が少ないほど、同じ素材画像が重複して選択されることが少なくなり、より高品質なフォトモザイク画像が得られることになる。
【００３１】
画像処理装置では、制作目標画像として選択された制作目標候補画像Ｐ１３と、画像データベースＤ２１の素材画像とが用いられて、フォトモザイク画像が生成される。
【００３２】
［画像処理装置の構成］
以上において説明した処理を実行し、フォトモザイク画像を生成する画像処理装置は、例えば、図２に示すように構成される。
【００３３】
すなわち、画像処理装置１１は、画像データベース記録部２１、記録部２２、候補選択部２３、フォトモザイク生成部２４、表示制御部２５、および表示部２６から構成される。
【００３４】
画像データベース記録部２１は、複数の素材画像を記録しており、素材画像を候補選択部２３またはフォトモザイク生成部２４に供給する。また、これらの素材画像により、画像データベースが構成される。記録部２２は、制作目標画像の候補となる制作目標候補画像を複数記録しており、制作目標候補画像を、候補選択部２３またはフォトモザイク生成部２４に供給する。
【００３５】
候補選択部２３は、画像データベース記録部２１からの素材画像を用いて、記録部２２から供給された複数の制作目標候補画像の何れかを、制作目標画像として選択し、その選択結果をフォトモザイク生成部２４および表示制御部２５に供給する。
【００３６】
フォトモザイク生成部２４は、候補選択部２３からの選択結果により特定される制作目標画像を記録部２２から取得し、制作目標画像と、画像データベース記録部２１から供給された素材画像とを用いて、フォトモザイク画像を生成する。生成されたフォトモザイク画像は、フォトモザイク生成部２４から表示制御部２５に供給される。
【００３７】
表示制御部２５は、候補選択部２３からの選択結果、またはフォトモザイク生成部２４からのフォトモザイク画像を表示部２６に供給し、表示させる。表示部２６は、表示制御部２５の制御に従って各種の画像を表示する。
【００３８】
なお、最終的に得られたフォトモザイク画像は、表示されるだけでなく、印刷されたり、データとして記録媒体に記録されたり、画像処理装置１１と接続されている他の装置に転送されたりしてもよい。
【００３９】
［候補選択部の構成］
また、図２の候補選択部２３およびフォトモザイク生成部２４は、より詳細には、図３および図４に示すように構成される。
【００４０】
図３は、候補選択部２３のより詳細な構成例を示す図である。
【００４１】
候補選択部２３は、分割部５１、平均値算出部５２、中心値算出部５３、クラス分類部５４、クラス分類部５５、クラスカウント部５６、メモリ５７、比較部５８、比較結果格納メモリ５９、および制作目標画像決定部６０から構成される。
【００４２】
分割部５１は、記録部２２からの制作目標候補画像を複数のブロックに分割し、平均値算出部５２に供給する。平均値算出部５２は、分割部５１から供給された各ブロックについて、ブロックの色に関する特徴の特徴量として、ブロック内の画素の画素値の平均値を算出し、中心値算出部５３に供給する。この平均値は、ブロックを構成する画素の平均的な色を示している。
【００４３】
なお、ブロックの平均値は、ブロックの代表値の一例であり、代表値としては、その他、ブロックの中央の座標の位置の画素値、ブロック内において予め定められた座標位置の画素の画素値の平均値などが考えられる。
【００４４】
中心値算出部５３は、平均値算出部５２からの各ブロックの平均値を用いて、クラス分類に用いられる、各クラスの色に関する特徴の特徴量である中心値を算出する。ここで、中心値は、そのクラスに属すブロックの代表的（平均的）な色を示している。中心値算出部５３は、算出した各クラスの中心値と、各ブロックの平均値とをクラス分類部５４に供給するとともに、各クラスの中心値をクラス分類部５５に供給する。
【００４５】
クラス分類部５４は、中心値算出部５３から供給されたクラスの中心値と、ブロックの平均値とを用いて、各ブロックを何れかのクラスに分類し、その分類結果を比較部５８に供給する。
【００４６】
クラス分類部５５は、中心値算出部５３から供給されたクラスの中心値を用いて、画像データベース記録部２１からの素材画像をクラス分類し、その分類結果をクラスカウント部５６に供給する。クラスカウント部５６は、クラス分類部５５からの分類結果に基づいて、各クラスについて、それらのクラスに分類された素材画像の枚数をカウントして、クラスごとの素材画像数をメモリ５７に供給し、記録させる。
【００４７】
比較部５８は、クラス分類部５４からの分類結果と、メモリ５７に記録されているクラスごとの素材画像枚数とを比較して、各クラスについて、ブロック数と素材画像数との比較を行い、その比較結果を比較結果格納メモリ５９に供給し、記録させる。
【００４８】
制作目標画像決定部６０は、比較結果格納メモリ５９に記録されている、複数の制作目標候補画像のそれぞれの比較結果に基づいて、制作目標画像とする制作目標候補画像を選択し、その選択結果をフォトモザイク生成部２４および表示制御部２５に供給する。
【００４９】
［フォトモザイク生成部の構成］
図４は、フォトモザイク生成部２４のより詳細な構成例を示す図である。
【００５０】
フォトモザイク生成部２４は、分割部９１、平均値算出部９２、中心値算出部９３、クラス分類部９４、クラス分類部９５、メモリ９６、置換画像決定部９７、および置換部９８から構成される。
【００５１】
なお、図４において、分割部９１乃至クラス分類部９５は、図３の分割部５１乃至クラス分類部５５のそれぞれと同様であるので、その説明は適宜省略する。
【００５２】
但し、分割部９１は、制作目標画像決定部６０からの選択結果により特定される制作目標画像を記録部２２から取得してブロックに分割する。また、分割部９１から置換画像決定部９７には、平均値算出部９２乃至クラス分類部９４を介して、ブロックに分割された制作目標画像が供給される。さらに、クラス分類部９５からメモリ９６には、素材画像と、素材画像のクラスへの分類結果とが供給される。
【００５３】
メモリ９６は、クラス分類部９５からの分類結果および素材画像を記録するとともに、必要に応じてそれらの分類結果および素材画像を置換画像決定部９７に供給する。置換画像決定部９７は、クラス分類部９４からのクラスの分類結果およびブロックと、メモリ９６からのクラスの分類結果および素材画像とを用いて、各ブロックに割り当てる素材画像を決定する。置換画像決定部９７は、ブロックに分割された制作目標画像と、各ブロックに割り当てた素材画像とを置換部９８に供給する。なお、以下、各ブロックに割り当てられた素材画像を、置換画像とも称する。
【００５４】
置換部９８は、置換画像決定部９７から供給された制作目標画像の各ブロックを、それらのブロックに割り当てられた置換画像に置き換えることでフォトモザイク画像を生成し、表示制御部２５に供給する。
【００５５】
なお、置換画像決定部９７から置換部９８に、ブロックごとに割り当てられた素材画像を特定する画像番号等が供給され、置換部９８がブロックごとの画像番号などに基づいて実際の素材画像を取得し、フォトモザイク画像を生成するようにしてもよい。
【００５６】
［候補選択処理の説明］
ところで、ユーザがフォトモザイク画像を作成しようとする場合、ユーザは、画像処理装置１１を操作して、制作目標画像の候補となる制作目標候補画像を複数指定し、それらの複数の制作目標候補画像のなかから、最も制作目標画像として適したものを選択させる。
【００５７】
ユーザの操作により、制作目標画像とすべき制作目標候補画像を選択する処理の開始が指示されると、画像処理装置１１は、その指示に応じて、候補選択処理を開始する。
【００５８】
以下、図５のフローチャートを参照して、画像処理装置１１による候補選択処理について説明する。
【００５９】
ステップＳ１１において、候補選択部２３は、制作目標画像の候補となる制作目標候補画像の指定を受け付ける。するとユーザは、画像処理装置１１を操作して、複数の制作目標候補画像を指定する。候補選択部２３は、ユーザの操作により制作目標候補画像の指定を受けると、指定された制作目標候補画像の読み込みを分割部５１に指示する。
【００６０】
ステップＳ１２において、分割部５１は、記録部２２から、ユーザにより制作目標画像の候補として指定された制作目標候補画像を１つ読み込む。
【００６１】
ステップＳ１３において、分割部５１は、読み込んだ制作目標候補画像を複数のブロックに分割する。例えば、制作目標候補画像は、予め定められた複数の同形状の矩形ブロックに等分割される。分割部５１は、ブロックに分割した制作目標候補画像を平均値算出部５２に供給する。
【００６２】
ステップＳ１４において、平均値算出部５２は、分割部５１から供給された各ブロックについて、ブロック内の画素の画素値の平均値を算出し、ブロックごとの平均値を中心値算出部５３に供給する。例えば、制作目標候補画像の各画素は、Ｒ（赤），Ｇ（緑），Ｂ（青）の各成分の画素値を有しており、それらのＲ，Ｇ，Ｂの成分ごとに、平均値が算出される。なお、演算量の軽減のため、ブロックに対して画素の間引きを行い、間引きされたブロックの平均値が算出されるようにしてもよい。
【００６３】
ステップＳ１５において、中心値算出部５３は、平均値算出部５２から供給された各ブロックの平均値を用いて、各クラスの中心値を算出する。
【００６４】
例えば、クラスの数が予めｋ個と定められている場合、中心値算出部５３は、ｋ-ｍｅａｎｓ法により、ｋ個のクラスのそれぞれについて中心値を算出する。具体的には、まず、中心値算出部５３は、各クラスに対して中心値の初期値を定める。例えば、中心値は、Ｒ，Ｇ，Ｂの成分ごとに与えられる。
【００６５】
そして、中心値算出部５３は、各クラスの中心値と、各ブロックの平均値との距離を算出して、クラス分類を行う。ここで、制作目標候補画像のブロックは、算出された距離が最も近い（短い）クラスに分類される。また、距離の算出は、平均値と中心値とのＲ，Ｇ，Ｂの各成分の画素値の差分絶対値二乗和や、各成分の画素値の差分の重み付け加算などにより行われる。つまり、ブロックとクラスとの距離は、それらのブロックの平均的な色（平均値）が、クラスの代表的な色（中心値）に対して、どの程度類似しているかを示す値となる。
【００６６】
中心値算出部５３は、ブロックを何れかのクラスに分類すると、クラスごとに新たな中心値を求める。すなわち、クラスに属すブロックの平均値の平均値が算出され、得られた平均値が新たな中心値とされる。そして、このようにして中心値により各ブロックのクラス分類を行って、各クラスの中心値を更新する処理が規定回数だけ行われて、その結果得られた中心値が、最終的な各クラスの中心値とされる。
【００６７】
中心値算出部５３は、各クラスの中心値を求めると、その中心値をクラス分類部５５に供給するとともに、各クラスの中心値と、各ブロックの平均値とをクラス分類部５４に供給する。
【００６８】
ステップＳ１６において、クラス分類部５４は、中心値算出部５３からの平均値および中心値を用いて、ブロックの平均値とクラスの中心値との距離を算出し、各ブロックをｋ個のクラスのうちの何れかに分類する。ここで、距離の算出、およびクラスの分類は、中心値算出部５３における場合と同様の処理により行われる。すなわち、平均値と中心値との各成分の差分絶対値二乗和などにより距離が算出され、距離が最も近いクラスに各ブロックが分類される。
【００６９】
ステップＳ１７において、クラス分類部５４は、クラス分類の結果に基づいて、クラスごとに、そのクラスに分類されたブロックの数をカウントし、その結果得られた、各クラスに属すブロック数を比較部５８に供給する。
【００７０】
例えば、ブロックがクラス１乃至クラス５の何れかに分類される場合、クラス１のブロック数が1503個、クラス２のブロック数が3583個、クラス３のブロック数が4552個、クラス４のブロック数が142個、クラス５のブロック数が1842個などの結果が得られる。これらの各クラスのブロック数は、フォトモザイク画像を生成するのに必要とされる、それらのクラスに属す素材画像の数を示している。
【００７１】
ステップＳ１８において、クラス分類部５５は、画像データベース記録部２１から素材画像を読み込むとともに、それらの読み込んだ素材画像を、中心値算出部５３から供給された各クラスの中心値を用いてクラスに分類する。
【００７２】
具体的には、クラス分類部５５は、素材画像の色に関する特徴の特徴量として、素材画像の画素の画素値の平均値を算出し、その平均値と、各クラスの中心値との距離を算出する。ここで、素材画像の平均値は、Ｒ，Ｇ，Ｂの成分ごとに求められ、平均値と中心値との距離は、クラス分類部５４における場合と同様の方法により算出される。
【００７３】
次に、クラス分類部５５は、求めた距離が予め定めた閾値以下となるクラスに、その素材画像を属させる。例えば、所定の素材画像の平均値とクラス１の中心値との距離、およびその素材画像の平均値とクラス２の中心値との距離がともに閾値以下であったとすると、その素材画像は、クラス１およびクラス２の両方に分類されることになる。
【００７４】
逆に、素材画像が、どのクラスの中心値との距離も閾値以下とならなかった場合には、その素材画像は、どのクラスにも分類されない。つまり、その素材画像の平均的な色は、どのクラスの色とも類似しないので、何れのクラスにも属さないとされる。
【００７５】
なお、距離の閾値は、必要に応じて変化するようにしてもよく、また１つの素材画像が１つのクラスに属すか、または何れのクラスにも属さないように分類されてもよい。そのような場合には、素材画像は、距離が閾値以下であるクラスのうち、距離が一番近いクラスに分類されることになる。
【００７６】
クラス分類部５５は、各素材画像をクラスに分類すると、その分類結果を順次、クラスカウント部５６に供給する。
【００７７】
なお、演算量の軽減のため、素材画像に対して画素の間引きを行い、間引きされた素材画像の平均値が算出されるようにしてもよい。また、初めての処理のときに、各素材画像の平均値を算出して記録しておき、それ以降の処理においては、記録されている各素材画像の平均値が用いられるようにしてもよい。これにより、素材画像のクラス分類をより迅速に行うことができる。
【００７８】
ステップＳ１９において、クラスカウント部５６は、クラス分類部５５からの分類結果に基づいて、各クラスに属す素材画像の枚数をカウントし、その結果得られた、クラスごとの素材画像の枚数をメモリ５７に供給して記録させる。
【００７９】
例えば、クラス１乃至クラス５の５つのクラスがある場合、クラス１の素材画像数が1002枚、クラス２の素材画像数が4503枚、クラス３の素材画像数が7532枚、クラス４の素材画像数が180枚、クラス５の素材画像数が532枚などの結果が得られる。これらの各クラスの素材画像数は、各クラスに属すブロックに対し、置換画像として用いることができる素材画像の枚数を示している。
【００８０】
ステップＳ２０において、比較部５８は、クラス分類部５４から供給されたブロックのクラスへの分類結果と、メモリ５７に記録されている素材画像のクラスへの分類結果とを用いて、各クラスに属すブロックの数と素材画像の数とを比較する。
【００８１】
すなわち、クラスごとに、そのクラスに属すブロック数と素材画像の枚数との差が求められる。例えば、クラス１乃至クラス５の５つのクラスがある場合、クラス１の差が‐501枚、クラス２の差が920枚、クラス３の差が2980枚、クラス４の差が38枚、クラス５の差が‐606枚などの結果が得られる。
【００８２】
ここで、各クラスの差が正である場合、その差は、クラスに属すブロックに対して素材画像の枚数が多いことを示しており、各クラスの差が負である場合、その差は、クラスに属すブロックに対して素材画像の枚数が不足していることを示している。すなわち、クラスごとの差は、そのクラスに属すブロックに対する素材画像の過不足の数（余剰枚数または不足枚数）を示している。具体的には、正の値の差は素材画像の余剰数を示し、負の値の差は、素材画像の不足数を示している。
【００８３】
比較部５８は、処理対象となっている制作目標候補画像について、各クラスの差を求めると、それらの差を比較結果として比較結果格納メモリ５９に供給し、記録させる。例えば、比較結果として、制作目標候補画像を特定する情報、各クラスの中心値、および各クラスの差（過不足数）が比較結果格納メモリ５９に記録される。ここで、クラスの中心値は、比較部５８がクラス分類部５４から取得することができる。
【００８４】
ステップＳ２１において、候補選択部２３は、ユーザにより制作目標画像の候補として指定された全ての制作目標候補画像について、処理を行ったか否かを判定する。例えば、全ての制作目標候補画像について、ブロック数と素材画像数との比較結果が比較結果格納メモリ５９に記録された場合、処理を行ったと判定される。
【００８５】
ステップＳ２１において、まだ全ての制作目標候補画像について処理を行っていないと判定された場合、処理はステップＳ１２に戻り、上述した処理が繰り返される。すなわち、次の制作目標候補画像が読み込まれて、その制作目標候補画像について、クラスごとにブロック数と素材画像数との比較が行われる。
【００８６】
一方、ステップＳ２１において、全ての制作目標候補画像について処理を行ったと判定された場合、比較部５８は、制作目標画像決定部６０に対して制作目標画像の選択を指示し、その後、処理はステップＳ２２に進む。
【００８７】
ステップＳ２２において、制作目標画像決定部６０は、比較結果格納メモリ５９から、制作目標画像の候補として指定された各制作目標候補画像の比較結果を読み出して、それらの比較結果に基づいて、制作目標画像とする制作目標候補画像を選択する。
【００８８】
例えば、制作目標画像決定部６０は、制作目標候補画像のうち、制作目標候補画像のブロックに対して使用可能な素材画像の不足数が最も少ないものを、最も高品質なフォトモザイク画像が得られる制作目標候補画像であるとし、その制作目標候補画像を選択する。
【００８９】
具体的には、例えば、クラス１乃至クラス５の５つのクラスがあり、所定の制作目標候補画像の比較結果として、クラス１の差が‐501枚、クラス５の差が‐606枚であり、他のクラスの差は正の値であったとする。
【００９０】
この場合、制作目標画像決定部６０は、その制作目標候補画像のクラスごとの差のうち、負の値の差の絶対値の合計値、つまり1107枚（＝501+606）を求めるとともに、他の全ての制作目標候補画像についても、負の値の差の絶対値の合計値を求める。
【００９１】
このようにして得られた合計値は、制作目標候補画像を制作目標画像として、同じクラスに属す各ブロックに対し、重複なくそのクラスの素材画像を割り当ててフォトモザイク画像を生成しようとする場合に、不足する素材画像の枚数を示している。したがって、この合計値が少ない制作目標候補画像ほど、その制作目標候補画像を制作目標画像として用いれば、素材画像（置換画像）の重複が生じにくく、より品質の高いフォトモザイク画像を得ることができることになる。
【００９２】
そこで、制作目標画像決定部６０は、ユーザにより指定された複数の制作目標候補画像のうち、最も合計値（不足数）が少ない制作目標候補画像を、制作目標画像として選択する。
【００９３】
また、最も小さい合計値を持つ制作目標候補画像が複数ある場合、例えば合計値が０である、つまり不足がない制作目標候補画像が複数ある場合、制作目標画像決定部６０は、さらに、それらの制作目標候補画像のなかから、素材画像の余剰数が最も多い制作目標候補画像を選択する。
【００９４】
具体的には、制作目標画像決定部６０は、制作目標候補画像について、各クラスの差のうち、正の値の差の合計値を素材画像の余剰数として算出する。そして、制作目標画像決定部６０は、最も余剰数の多い制作目標候補画像を、制作目標画像として選択する。
【００９５】
各クラスのブロックに対して使用可能な素材画像の数が多いと、その分だけ各ブロックに、より類似する色の素材画像が割り当てられる可能性が高くなるので、より高品質なフォトモザイク画像が得られることになる。
【００９６】
そのため、制作目標画像決定部６０は、ユーザに指定された制作目標候補画像のうち、最も素材画像の不足数が少ないものを抽出する。そして、その結果、複数の制作目標候補画像が抽出された場合、制作目標画像決定部６０は、さらに、それらの抽出された制作目標候補画像のなかから、最も素材画像の余剰数が多い制作目標候補画像を、最終的な制作目標画像として選択する。
【００９７】
なお、ブロック数と素材画像数との比較の例として、素材画像の過不足数のみから制作目標画像を選択すると説明したが、その他、素材画像の不足の割合の平均値などが用いられて、制作目標画像の選択が行われるようにしてもよい。そのような場合、例えば、比較部５８は、比較結果とともに各クラスに属すブロックの数も比較結果格納メモリ５９に記録させる。
【００９８】
具体的には、例えば、クラス１乃至クラス５の５つのクラスがあり、所定の制作目標候補画像の比較結果として、クラス１の差が‐501枚、クラス５の差が‐606枚であり、他のクラスの差は正の値であったとする。この場合、各比較結果とともに、クラス１のブロック数1503、クラス５のブロック数1842など、各クラスのブロック数も比較結果格納メモリ５９に記録される。
【００９９】
そして、素材画像の不足の割合の平均値として、（0.33＝（（501／1503）＋（606／1842））／2）が求められ、他の制作目標候補画像の不足の割合の平均値と比較されて、最終的な制作目標画像が選択される。
【０１００】
以上のようにして、複数の候補のなかから最終的な制作目標画像が選択されると、制作目標画像決定部６０は、その選択結果をフォトモザイク生成部２４の分割部９１、および表示制御部２５に供給し、候補選択処理は終了する。
【０１０１】
例えば、制作目標画像決定部６０から出力された選択結果は、表示制御部２５の制御により表示部２６に表示される。したがって、表示部２６に表示された選択結果を見ることで、ユーザは、自ら指定した複数の制作目標候補画像のうち、何れのものを制作目標画像として採用すれば、最も高品質なフォトモザイク画像が得られるかを簡単に知ることができる。
【０１０２】
このようにして画像処理装置１１は、ユーザにより指定された複数の制作目標候補画像について、各ブロックと素材画像のクラス分類を行い、クラスごとにブロック数と素材画像数とを比較し、制作目標候補画像ごとの比較結果から制作目標画像を選択する。
【０１０３】
このように、制作目標候補画像ごとの比較結果に基づいて、制作目標画像とする制作目標候補画像を選択し、その選択結果を出力することで、置換画像の重複利用の発生がより少ない画像を制作目標画像としてフォトモザイク画像を生成することができるようになる。これにより、例えば、複数の制作目標画像の候補のなかから、１つの候補を制作目標画像として選択し、その制作目標画像を用いてフォトモザイク画像を生成する場合に、より高品質なフォトモザイク画像を得ることができる。
【０１０４】
例えば、画像データベースが、色分布の偏った素材画像、つまり似たような色の素材画像を多く含む画像データベースや、素材画像の数が少ない画像データベースである場合もある。そのような場合、従来は、ユーザはどの画像を制作目標画像とすれば、見映えのよいフォトモザイク画像を得ることができるか知ることができず、また、従来の技術では、置換画像を重複なく利用することに対して考慮されていなかった。そのため、ユーザが綺麗なフォトモザイク画像を生成して楽しむことができなかった。
【０１０５】
これに対して、画像処理装置１１では、画像データベースを構成する素材画像に偏りがあったり、素材画像の数が少なかったりする場合であっても、その画像データベースを用いたときに、最も高品質なフォトモザイク画像が得られる制作目標画像が選択されて提示される。したがって、ユーザは、その提示された制作目標画像を用いてフォトモザイク画像を生成することにより、画像データベースによらず、より高品質なフォトモザイク画像を楽しむことができる。
【０１０６】
［フォトモザイク画像の生成処理の説明］
また、表示部２６に制作目標画像として最適な制作目標候補画像の選択結果が表示されると、ユーザは、画像処理装置１１を操作して、その選択された制作目標候補画像を制作目標画像として、フォトモザイク画像を生成させることができる。
【０１０７】
ユーザにより、フォトモザイク画像の生成が指示されると、画像処理装置１１は、その指示に従ってフォトモザイク画像の生成処理を開始して、フォトモザイク画像を生成する。以下、図６のフローチャートを参照して、画像処理装置１１によるフォトモザイク画像の生成処理について説明する。なお、フォトモザイク画像の生成処理は、図５の候補選択処理により制作目標画像が選択された後、ユーザの操作を必要とせずに開始されるようにしてもよい。
【０１０８】
ステップＳ５１において、分割部９１は、制作目標画像決定部６０から供給された選択結果に基づいて、その選択結果により特定される制作目標候補画像を、制作目標画像として記録部２２から読み込む。
【０１０９】
そして、その後、ステップＳ５２乃至ステップＳ５６の処理が行われる。なお、これらのステップＳ５２乃至ステップＳ５６の処理のそれぞれは、図５のステップＳ１３乃至ステップＳ１６、およびステップＳ１８の処理と同様であるので、その説明は、適宜、省略する。
【０１１０】
すなわち、制作目標画像の各ブロックがクラスに分類されて、その分類結果と、ブロックに分割された制作目標画像とがクラス分類部９４から置換画像決定部９７に供給される。また、画像データベース記録部２１から読み込まれた各素材画像がクラスに分類されて、その分類結果と、読み込まれた素材画像とがクラス分類部９５からメモリ９６に供給されて、記録される。なお、クラス分類部９５において、何れのクラスにも分類されなかった素材画像は、フォトモザイク画像の生成には用いられない。
【０１１１】
そして、ステップＳ５７において、置換画像決定部９７は、制作目標画像上の１つのブロックを選択する。
【０１１２】
ステップＳ５８において、置換画像決定部９７は、メモリ９６に記録されている素材画像と、素材画像のクラス分類結果とを用いて、選択したブロックと素材画像との照合を行い、そのブロックに割り当てる素材画像を選択する。
【０１１３】
具体的には、置換画像決定部９７は、メモリ９６に記録されている素材画像のうち、処理対象のブロックと同じクラスに属し、かつそのクラスの他のブロックと置き換えられる置換画像としてまだ選択されていない素材画像を抽出する。
【０１１４】
このように、処理対象のブロックと同じクラスに属す素材画像のみを抽出して処理対象とすることで、ブロックとの類似度が低く、置換画像として採用される可能性の低い素材画像を除外することができ、より迅速に適切な置換画像を選択することができる。また、同じクラスであっても、他のブロックの置換画像として使用された素材画像を除外することで、素材画像が重複利用されることを防止することができ、より高品質なフォトモザイク画像を得ることができる。
【０１１５】
このようにして素材画像が抽出されると、置換画像決定部９７は、抽出した各素材画像と処理対象のブロックとの照合を行う。すなわち、置換画像決定部９７は、次式（１）を計算して、ブロックの画素と、その画素と同じ位置にある素材画像の画素との差分ΔＣを算出する。
【０１１６】
【数１】
【０１１７】
ここで、式（１）におけるｒ、ΔＲ、ΔＧ、およびΔＢは、それぞれ次式（２）乃至式（５）により求められる。
【０１１８】
【数２】
【数３】
【数４】
【数５】
【０１１９】
なお、式（２）乃至式（５）において、Ｃ１（Ｒ）、Ｃ１（Ｇ）、およびＣ１（Ｂ）は、それぞれブロックの画素のＲ、Ｇ、およびＢの成分の画素値を示している。同様に、式（２）乃至式（５）において、Ｃ２（Ｒ）、Ｃ２（Ｇ）、およびＣ２（Ｂ）は、それぞれ素材画像の画素のＲ、Ｇ、およびＢの成分の画素値を示している。
【０１２０】
このようにして得られる差分ΔＣは、制作目標画像の画素と素材画像の画素との各成分の差分の２乗の値を重み付き加算して得られる値である。すなわち、差分ΔＣは、制作目標画像の画素と素材画像の画素との距離である。
【０１２１】
したがって、差分ΔＣは、その値が小さいほど、制作目標画像のブロックと、素材画像との同じ位置にある画素の色が類似していることになる。置換画像決定部９７は、各画素について差分ΔＣを求め、それらの差分ΔＣの総和ΣΔＣを算出する。この差分の総和ΣΔＣは、その値が小さいほど素材画像の色の構造（分布）が処理対象のブロックに類似していることになる。
【０１２２】
したがって、より差分の総和ΣΔＣが小さい素材画像を、処理対象のブロックの置換画像として採用すれば、より高品質なフォトモザイク画像が得られることになる。そこで、置換画像決定部９７は、抽出した素材画像のうち、最も総和ΣΔＣが小さい素材画像を選択し、その素材画像を置換画像として置換部９８に供給する。また、置換画像決定部９７は、各ブロックに分割された制作目標画像も置換部９８に供給する。
【０１２３】
なお、差分の総和ΣΔＣの演算量を削減するため、ブロックと素材画像の画素を間引いて同じ縮小率で縮小してから、各画素の差分ΔＣを算出するようにしてもよい。
【０１２４】
また、照合の対象となる素材画像が抽出される場合に、同じクラスで１度、置換画像として使用された素材画像が、その後、全く使用されないようにするのではなく、１度使用されたブロックの近傍（例えば、２４近傍）でのみ再度使用されないようにしてもよい。これにより、フォトモザイク画像の品質の劣化を防止することができる。
【０１２５】
また、同じクラスに属す素材画像の数が、そのクラスに属すブロックの数よりも少なく、それらの全ての素材画像が置換画像として使用されてしまった場合には、その後、そのクラスに属す全ての素材画像が、再び処理対象とされるようにしてもよい。すなわち、全ての素材画像が処理対象とされ、それらの素材画像のなかから、それ以降のブロックに対する置換画像が順次、選択されていく。この場合、再度、置換画像として選択された素材画像は、それ以降のブロックの置換画像の選択の対象から除外されてもよいし、除外されなくてもよい。
【０１２６】
以上のようにして、処理対象のブロックの置換画像が置換部９８に供給されると、ステップＳ５９において、置換部９８は、制作目標画像上の処理対象のブロックを、置換画像決定部９７から供給された置換画像に置き換える。
【０１２７】
ステップＳ６０において、フォトモザイク生成部２４は、制作目標画像上の全てのブロックについて処理を行ったか否かを判定する。例えば、全てのブロックが置換画像に置き換えられてフォトモザイク画像が生成された場合、全てのブロックについて処理を行ったと判定される。
【０１２８】
ステップＳ６０において、まだ全てのブロックについて処理を行っていないと判定された場合、処理はステップＳ５７に戻り、上述した処理が繰り返される。すなわち、次のブロックが選択され、そのブロックが置換画像に置き換えられる。
【０１２９】
これに対して、ステップＳ６０において、全てのブロックについて処理を行ったと判定された場合、ステップＳ６１において、置換部９８は、ブロックの置換画像への置き換えにより得られたフォトモザイク画像を、表示制御部２５に出力する。そして、表示制御部２５の制御によりフォトモザイク画像が表示部２６に表示され、フォトモザイク画像の生成処理は終了する。
【０１３０】
このようにして、画像処理装置１１は、候補選択部２３により選択された制作目標画像を用いてフォトモザイク画像を生成する。このように、候補選択部２３により選択された制作目標画像を用いて、同じクラスに分類された素材画像を対象としてブロックとの照合を行い、フォトモザイク画像を生成することで、より簡単な処理で、より高品質なフォトモザイク画像を得ることができる。
【０１３１】
〈第２の実施の形態〉
［候補選択部の構成］
なお、以上においては、制作目標候補画像から各クラスの中心値を算出する例について説明したが、予め各クラスの中心値が求められているようにしてもよい。
【０１３２】
例えば、制作目標候補画像上の被写体が人の顔など、予め特定されている場合には、その被写体に応じて肌色、黒、緑、白、赤などの特徴色を示す値を中心値として定めておけば、処理を行うごとに中心値を算出する必要がなくなり、より迅速に処理を行うことができる。また、この場合、画像データベースの素材画像についても、予め定められた中心値によりクラス分類を行っておけば、処理のたびに素材画像のクラス分類を行う必要もなくなる。
【０１３３】
このように、予め各クラスの中心値が定められている場合、画像処理装置１１を構成する候補選択部２３およびフォトモザイク生成部２４は、図７および図８に示すように構成される。
【０１３４】
図７は、候補選択部２３の構成例を示す図である。なお、図７において、図３における場合と対応する部分には、同一の符号を付してあり、その説明は適宜、省略する。
【０１３５】
図７の候補選択部２３には、新たに画像データベース情報蓄積メモリ１２１が設けられており、また中心値算出部５３、クラス分類部５５、クラスカウント部５６、およびメモリ５７が設けられていない点で、図３の候補選択部２３と異なり、その他の点は一致する。
【０１３６】
画像データベース情報蓄積メモリ１２１は、予め求められた各クラスの中心値と、その中心値を用いて各素材画像についてクラス分類を行った結果とを記録している。
【０１３７】
クラス分類部５４は、画像データベース情報蓄積メモリ１２１から各クラスの中心値と、素材画像のクラス分類結果とを取得する。また、クラス分類部５４は、取得した中心値を用いて、制作目標候補画像の各ブロックをクラス分類し、そのクラス分類結果と、素材画像のクラス分類結果とを比較部５８に供給する。
【０１３８】
なお、図７では、素材画像が予めクラス分類されている例について説明したが、初めて処理を行う場合に、候補選択部２３が予め定められた中心値を用いて、素材画像のクラス分類を１度だけ行い、その結果を画像データベース情報蓄積メモリ１２１に記録しておくようにしてもよい。そのような場合、２回目以降の処理では、画像データベース情報蓄積メモリ１２１から、素材画像のクラス分類結果が読み出されて用いられる。
【０１３９】
［フォトモザイク生成部の構成］
また、図８は、予め各クラスの中心値が定められている場合における、フォトモザイク生成部２４の構成例を示す図である。なお、図８において、図４における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０１４０】
図８のフォトモザイク生成部２４には、新たに画像データベース情報蓄積メモリ１５１が設けられており、また中心値算出部９３、クラス分類部９５、およびメモリ９６が設けられていない点で、図４のフォトモザイク生成部２４と異なり、その他の点は一致する。
【０１４１】
画像データベース情報蓄積メモリ１５１は、予め求められた各クラスの中心値と、その中心値を用いて各素材画像についてクラス分類を行った結果とを記録している。また、画像データベース情報蓄積メモリ１５１は、画像データベース記録部２１から素材画像を読み込んで、読み込んだ素材画像を記録する。
【０１４２】
クラス分類部９４は、画像データベース情報蓄積メモリ１５１から各クラスの中心値を取得して、それらの中心値と、平均値算出部９２からの各ブロックの平均値とを用いて各ブロックをクラス分類する。また、クラス分類部９４は、平均値算出部９２から供給された、ブロックに分割された制作目標画像と、各ブロックのクラス分類の結果とを置換画像決定部９７に供給する。
【０１４３】
［候補選択処理の説明］
次に、候補選択部２３およびフォトモザイク生成部２４が、図７および図８に示す構成とされる場合における候補選択処理およびフォトモザイク画像の生成処理について説明する。
【０１４４】
まず、図９のフローチャートを参照して、画像処理装置１１による候補選択処理について説明する。なお、ステップＳ９１乃至ステップＳ９４の処理は、図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。
【０１４５】
ステップＳ９５において、クラス分類部５４は、画像データベース情報蓄積メモリ１２１から各クラスの中心値を取得して、取得した中心値と、平均値算出部５２から供給された制作目標候補画像の各ブロックの平均値とを用いて、各ブロックを予め定められたクラスの何れかに分類する。
【０１４６】
ステップＳ９６において、クラス分類部５４は、各ブロックのクラス分類の結果に基づいて、クラスごとに、そのクラスに分類されたブロックの数をカウントする。そして、クラス分類部５４は、画像データベース情報蓄積メモリ１２１から素材画像のクラス分類結果を取得し、各クラスに属すブロック数と、素材画像のクラス分類結果とを比較部５８に供給する。
【０１４７】
その後、ステップＳ９７乃至ステップＳ９９の処理が行われて、候補選択処理は終了するが、これらの処理は、図５のステップＳ２０乃至ステップＳ２２の処理と同様であるので、その説明は省略する。
【０１４８】
このようにして、画像処理装置１１は、ユーザにより指定された複数の制作目標候補画像について、予め定められた中心値を用いて各ブロックのクラス分類を行い、クラスごとにブロック数と素材画像数とを比較し、制作目標候補画像ごとの比較結果から制作目標画像を選択する。
【０１４９】
このように、制作目標候補画像ごとの比較結果に基づいて、制作目標画像を選択することで、より高品質なフォトモザイク画像が得られる画像を制作目標画像として用いることができるようになる。また、各ブロックのクラス分類を予め定められた中心値を用いて行うようにしたので、制作目標候補画像の被写体がある程度決まっている場合には、素材画像のクラス分類と中心値の算出を処理のたびに行う必要がなくなる。これにより、より迅速に制作目標画像の選択を行うことができる。
【０１５０】
［フォトモザイク画像の生成処理の説明］
次に、図１０のフローチャートを参照して、画像処理装置１１によるフォトモザイク画像の生成処理について説明する。なお、ステップＳ１２１乃至ステップＳ１２３の処理のそれぞれは、図６のステップＳ５１乃至ステップＳ５３のそれぞれと同様の処理であるので、その説明は省略する。
【０１５１】
ステップＳ１２４において、クラス分類部９４は、画像データベース情報蓄積メモリ１５１から各クラスの中心値を取得して、それらの中心値と、平均値算出部９２からの各ブロックの平均値とを用いて各ブロックをクラスに分類する。
【０１５２】
そして、クラス分類部９４は、得られた各ブロックのクラス分類結果と、ブロックに分割された制作目標画像とを置換画像決定部９７に供給する。また、画像データベース情報蓄積メモリ１５１は、画像データベース記録部２１から素材画像を読み込んで、読み込んだ素材画像を記録する。
【０１５３】
さらに、その後、ステップＳ１２５乃至ステップＳ１２９の処理が行われて、フォトモザイク画像の生成処理は終了するが、これらの処理は図６のステップＳ５７乃至ステップＳ６１の処理と同様であるので、その説明は省略する。
【０１５４】
なお、置換画像決定部９７は、画像データベース情報蓄積メモリ１５１に記録されている素材画像と、素材画像のクラス分類結果とを用いて、クラス分類部９４から供給された各ブロックの照合を行う。
【０１５５】
このようにして画像処理装置１１は、候補選択部２３により選択された制作目標画像を用いてフォトモザイク画像を生成することで、より簡単な処理で、より高品質なフォトモザイク画像を得ることができる。特に、予め各クラスの中心値を定めておくことにより、中心値の算出と素材画像のクラス分類を行う必要がなくなり、より迅速にフォトモザイク画像を得ることができる。
【０１５６】
なお、より高品質なフォトモザイク画像を得るために、画像データベースを構成する素材画像のうち、ぼけ、ぶれ、およびノイズ（以下、ぼけ等と称する）が発生している素材画像については、その素材画像に生じたぼけ等が補正されるようにしてもよい。
【０１５７】
そのような場合、画像処理装置１１にぼけ等を検出する機構と、検出されたぼけ等を補正する機構とが設けられる。そして、素材画像にぼけ等が検出された場合、そのぼけ等の大きさが所定の閾値よりも小さい場合には、素材画像に対して、ぼけ等を除去するフィルタ処理が施されてぼけ等が除去された後、その素材画像が画像データベース記録部２１に記録される。これに対して、検出されたぼけ等の大きさが所定の閾値よりも大きい場合には、その素材画像は消去され、置換画像として用いられない。
【０１５８】
また、候補選択部２３により選択された制作目標画像を用いて、フォトモザイク画像を生成するにあたり、各クラスに属す素材画像の数が不足している場合、画像処理装置１１がネットワークを介して、不足の生じたクラスに属す画像を素材画像として取得するようにしてもよい。この場合、クラスに属す画像とは、その画像の画素の画素値の平均値と、クラスの中心値との距離が閾値以下の画像であり、その画像は、例えば、著作権等に問題のない画像とされる。
【０１５９】
さらに、画像処理装置１１がネットワークを介して、互いに類似する複数の画像を取得した場合には、それらの画像のうち、例えば、ぶれやぼけのない、品質の高い画像のみが素材画像として選択され、他の画像は素材画像として採用されないようにしてもよい。これは、画像データベース記録部２１における素材画像が互いに類似している場合においても、同様である。
【０１６０】
また、制作目標候補画像の各ブロックと、素材画像のクラス分類を予め行っておき、それらの分類結果を各クラスの中心値とともに記録しておくようにしてもよい。この場合、フォトモザイク生成部２４では、記録しているクラス分類結果を用いれば、処理のたびにクラス分類を行わなくてもよく、より迅速にフォトモザイク画像を得ることができる。さらに、制作目標候補画像のブロックへの分割結果も保持しておけば、フォトモザイク生成部２４において、その分割結果を用いて、分割された各ブロックを得ることができ、無駄な演算を行う必要がなくなる。
【０１６１】
さらに、以上において説明した画像処理装置１１は、例えば、コンピュータにより構成されたり、撮像装置に内蔵されたりしてもよく、その他、画像処理装置１１は、各種の電子機器に搭載することも可能である。
【０１６２】
さらに、以上において説明した素材画像および制作目標候補画像は、撮像装置により撮像された画像（写真）に限らず、絵などをスキャナで取り込んで得られた画像や、ＣＧ（Computer Graphics）など、どのような画像であってもよい。
【０１６３】
さらに、以上においては、ブロック数と素材画像数との比較結果、つまりブロックに対する素材画像の不足数の合計値に基づいて、１つの制作目標候補画像を選択すると説明したが、複数の制作目標候補画像が選択結果として提示されてもよい。
【０１６４】
そのような場合、例えば制作目標候補画像ごとに、不足数の合計値と閾値とが比較され、合計値が閾値以下となる制作目標候補画像が複数あるときには、それらの閾値以下となった全ての制作目標候補画像が選択結果として、表示部２６に表示される。そして、ユーザの操作に応じて、それらの制作目標候補画像のなかから、ユーザにより選択された１または複数の制作目標候補画像が、最終的な制作目標画像とされ、フォトモザイク画像が生成される。
【０１６５】
また、複数の制作目標候補画像が選択結果として表示部２６に表示される場合に、例えば、合計値が閾値より大きいものについては、グレー表示し、合計値が閾値以下のものについては、ハイライト表示するなど、合計値の値に応じて異なる表示形式で結果が表示されるようにしてもよい。さらに、複数の制作目標候補画像の選択結果の提示方法として、合計値が少ない順に制作目標候補画像を表示したり、合計値をスコアとして表示させたりしてもよい。
【０１６６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１６７】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１６８】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１６９】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１７０】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１７１】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１７２】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０１７３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１７５】
１１ 画像処理装置， ２３ 候補選択部， ２４ フォトモザイク生成部， ５１ 分割部， ５２ 平均値算出部， ５３ 中心値算出部， ５４ クラス分類部， ５５ クラス分類部， ５８ 比較部， ６０ 制作目標画像決定部
【特許請求の範囲】
【請求項１】
制作目標画像を複数のブロックに分割し、前記ブロックを複数の素材画像のうちの何れかに置き換えることによりフォトモザイク画像を生成する場合に、前記制作目標画像の候補とされた制作目標候補画像を前記ブロックに分割する分割手段と、
前記制作目標候補画像の各前記ブロックを、色に関する特徴により定められる複数のクラスのうちの何れかに分類するブロッククラス分類手段と、
前記クラスごとに、前記クラスに属す前記制作目標候補画像のブロックの数と、前記クラスに属す前記素材画像の数とを比較する比較手段と、
複数の前記制作目標候補画像のそれぞれについて得られた、前記比較手段による比較結果に基づいて、複数の前記制作目標候補画像の何れかを前記制作目標画像として選択する選択手段と
を備える画像処理装置。
【請求項２】
前記選択手段は、前記比較結果として前記クラスごとに得られた、前記ブロックに対する前記素材画像の不足数に基づいて、前記制作目標候補画像を選択する
請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記制作目標候補画像のうち、前記クラスごとの前記不足数の合計が最も少ない前記制作目標候補画像を前記制作目標画像として選択し、前記不足数の合計が最も少ない前記制作目標候補画像が複数ある場合、前記不足数の合計が最も少ない前記制作目標候補画像の何れかを、前記比較結果として前記クラスごとに得られた、前記ブロックに対する前記素材画像の余剰数に基づいて選択する
請求項２に記載の画像処理装置。
【請求項４】
前記制作目標画像の候補として、複数の前記制作目標候補画像の指定を受け付ける指定受付手段をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
前記制作目標候補画像の前記ブロック内の各画素の画素値に基づいて、前記ブロックごとに前記特徴の特徴量を算出するブロック特徴量算出手段と、
前記ブロックごとの前記特徴量に基づいて、予め定められた所定数の前記クラスのそれぞれについて、前記クラスへの分類に用いられ、前記クラスの前記特徴の特徴量を示す中心値を算出する中心値算出手段と、
前記素材画像の各画素の画素値に基づいて、前記素材画像の前記特徴の特徴量を算出し、前記素材画像の前記特徴の特徴量と、各前記クラスの前記中心値との距離に基づいて、前記素材画像を前記クラスに分類する画像クラス分類手段と
をさらに備え、
前記ブロッククラス分類手段は、前記ブロックの前記特徴量と各前記クラスの前記中心値との距離に基づいて、前記ブロックを複数の前記クラスのうちの何れかに分類する
請求項１に記載の画像処理装置。
【請求項６】
前記制作目標候補画像の前記ブロック内の各画素の画素値に基づいて、前記ブロックごとに前記特徴の特徴量を算出するブロック特徴量算出手段をさらに備え、
前記ブロッククラス分類手段は、前記クラスへの分類に用いられ、前記クラスごとに予め定められた前記クラスの前記特徴の特徴量を示す中心値と、前記ブロックの前記特徴量との距離に基づいて、前記ブロックを複数の前記クラスのうちの何れかに分類し、
前記素材画像は、前記中心値が用いられて予め前記クラスに分類されている
請求項１に記載の画像処理装置。
【請求項７】
制作目標画像を複数のブロックに分割し、前記ブロックを複数の素材画像のうちの何れかに置き換えることによりフォトモザイク画像を生成する場合に、前記制作目標画像の候補とされた制作目標候補画像を前記ブロックに分割する分割手段と、
前記制作目標候補画像の各前記ブロックを、色に関する特徴により定められる複数のクラスのうちの何れかに分類するブロッククラス分類手段と、
前記クラスごとに、前記クラスに属す前記制作目標候補画像のブロックの数と、前記クラスに属す前記素材画像の数とを比較する比較手段と、
複数の前記制作目標候補画像のそれぞれについて得られた、前記比較手段による比較結果に基づいて、複数の前記制作目標候補画像の何れかを前記制作目標画像として選択する選択手段と
を備える画像処理装置の画像処理方法であって、
前記分割手段が、前記制作目標候補画像を前記ブロックに分割し、
前記ブロッククラス分類手段が、前記制作目標候補画像の各前記ブロックを、複数の前記クラスのうちの何れかに分類し、
前記比較手段が、前記クラスに属す前記ブロックの数と前記素材画像の数とを比較し、
前記選択手段が、前記比較結果に基づいて、複数の前記制作目標候補画像の何れかを選択する
ステップを含む画像処理方法。
【請求項８】
制作目標画像を複数のブロックに分割し、前記ブロックを複数の素材画像のうちの何れかに置き換えることによりフォトモザイク画像を生成する場合に、前記制作目標画像の候補とされた制作目標候補画像を前記ブロックに分割し、
前記制作目標候補画像の各前記ブロックを、色に関する特徴により定められる複数のクラスのうちの何れかに分類し、
前記クラスごとに、前記クラスに属す前記制作目標候補画像のブロックの数と、前記クラスに属す前記素材画像の数とを比較し、
複数の前記制作目標候補画像のそれぞれについて得られた、前記ブロックの数と前記素材画像の数との比較結果に基づいて、複数の前記制作目標候補画像の何れかを前記制作目標画像として選択する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
制作目標画像を複数のブロックに分割し、前記ブロックを複数の素材画像のうちの何れかに置き換えることによりフォトモザイク画像を生成する場合に、前記制作目標画像の候補とされた制作目標候補画像を前記ブロックに分割する分割手段と、
前記制作目標候補画像の各前記ブロックを、色に関する特徴により定められる複数のクラスのうちの何れかに分類するブロッククラス分類手段と、
前記クラスごとに、前記クラスに属す前記制作目標候補画像のブロックの数と、前記クラスに属す前記素材画像の数とを比較する比較手段と、
複数の前記制作目標候補画像のそれぞれについて得られた、前記比較手段による比較結果に基づいて、複数の前記制作目標候補画像の何れかを前記制作目標画像として選択する選択手段と
を備える画像処理装置。
【請求項２】
前記選択手段は、前記比較結果として前記クラスごとに得られた、前記ブロックに対する前記素材画像の不足数に基づいて、前記制作目標候補画像を選択する
請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記制作目標候補画像のうち、前記クラスごとの前記不足数の合計が最も少ない前記制作目標候補画像を前記制作目標画像として選択し、前記不足数の合計が最も少ない前記制作目標候補画像が複数ある場合、前記不足数の合計が最も少ない前記制作目標候補画像の何れかを、前記比較結果として前記クラスごとに得られた、前記ブロックに対する前記素材画像の余剰数に基づいて選択する
請求項２に記載の画像処理装置。
【請求項４】
前記制作目標画像の候補として、複数の前記制作目標候補画像の指定を受け付ける指定受付手段をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
前記制作目標候補画像の前記ブロック内の各画素の画素値に基づいて、前記ブロックごとに前記特徴の特徴量を算出するブロック特徴量算出手段と、
前記ブロックごとの前記特徴量に基づいて、予め定められた所定数の前記クラスのそれぞれについて、前記クラスへの分類に用いられ、前記クラスの前記特徴の特徴量を示す中心値を算出する中心値算出手段と、
前記素材画像の各画素の画素値に基づいて、前記素材画像の前記特徴の特徴量を算出し、前記素材画像の前記特徴の特徴量と、各前記クラスの前記中心値との距離に基づいて、前記素材画像を前記クラスに分類する画像クラス分類手段と
をさらに備え、
前記ブロッククラス分類手段は、前記ブロックの前記特徴量と各前記クラスの前記中心値との距離に基づいて、前記ブロックを複数の前記クラスのうちの何れかに分類する
請求項１に記載の画像処理装置。
【請求項６】
前記制作目標候補画像の前記ブロック内の各画素の画素値に基づいて、前記ブロックごとに前記特徴の特徴量を算出するブロック特徴量算出手段をさらに備え、
前記ブロッククラス分類手段は、前記クラスへの分類に用いられ、前記クラスごとに予め定められた前記クラスの前記特徴の特徴量を示す中心値と、前記ブロックの前記特徴量との距離に基づいて、前記ブロックを複数の前記クラスのうちの何れかに分類し、
前記素材画像は、前記中心値が用いられて予め前記クラスに分類されている
請求項１に記載の画像処理装置。
【請求項７】
制作目標画像を複数のブロックに分割し、前記ブロックを複数の素材画像のうちの何れかに置き換えることによりフォトモザイク画像を生成する場合に、前記制作目標画像の候補とされた制作目標候補画像を前記ブロックに分割する分割手段と、
前記制作目標候補画像の各前記ブロックを、色に関する特徴により定められる複数のクラスのうちの何れかに分類するブロッククラス分類手段と、
前記クラスごとに、前記クラスに属す前記制作目標候補画像のブロックの数と、前記クラスに属す前記素材画像の数とを比較する比較手段と、
複数の前記制作目標候補画像のそれぞれについて得られた、前記比較手段による比較結果に基づいて、複数の前記制作目標候補画像の何れかを前記制作目標画像として選択する選択手段と
を備える画像処理装置の画像処理方法であって、
前記分割手段が、前記制作目標候補画像を前記ブロックに分割し、
前記ブロッククラス分類手段が、前記制作目標候補画像の各前記ブロックを、複数の前記クラスのうちの何れかに分類し、
前記比較手段が、前記クラスに属す前記ブロックの数と前記素材画像の数とを比較し、
前記選択手段が、前記比較結果に基づいて、複数の前記制作目標候補画像の何れかを選択する
ステップを含む画像処理方法。
【請求項８】
制作目標画像を複数のブロックに分割し、前記ブロックを複数の素材画像のうちの何れかに置き換えることによりフォトモザイク画像を生成する場合に、前記制作目標画像の候補とされた制作目標候補画像を前記ブロックに分割し、
前記制作目標候補画像の各前記ブロックを、色に関する特徴により定められる複数のクラスのうちの何れかに分類し、
前記クラスごとに、前記クラスに属す前記制作目標候補画像のブロックの数と、前記クラスに属す前記素材画像の数とを比較し、
複数の前記制作目標候補画像のそれぞれについて得られた、前記ブロックの数と前記素材画像の数との比較結果に基づいて、複数の前記制作目標候補画像の何れかを前記制作目標画像として選択する
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−５４０８１（Ｐ２０１１−５４０８１Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０４４２６（Ｐ２００９−２０４４２６）
【出願日】平成２１年９月４日（２００９．９．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月４日（２００９．９．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]