画像処理装置
【課題】モザイク生成に適した部品画像を有していない場合でも、適切にモザイク画像を合成すること。
【解決手段】画像処理装置１は、参照画像に基づいて複数の部品画像を組合わせて参照画像に類似する画像を合成する画像合成手段１６と、部品画像群の中から画像合成に用いる複数の部品画像を選択する選択手段１６と、選択手段１６によって選択された各部品画像について、該部品画像の色が対応する参照画像の領域の色と類似しているか否かをそれぞれ判定する判定手段１６と、判定手段１６によって否定判定された部品画像の代わりに、部品画像群に含まれる部品画像に画像処理を施すことによって新たな部品画像を生成する部品画像生成手段１６とを備える。
【解決手段】画像処理装置１は、参照画像に基づいて複数の部品画像を組合わせて参照画像に類似する画像を合成する画像合成手段１６と、部品画像群の中から画像合成に用いる複数の部品画像を選択する選択手段１６と、選択手段１６によって選択された各部品画像について、該部品画像の色が対応する参照画像の領域の色と類似しているか否かをそれぞれ判定する判定手段１６と、判定手段１６によって否定判定された部品画像の代わりに、部品画像群に含まれる部品画像に画像処理を施すことによって新たな部品画像を生成する部品画像生成手段１６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
サムネイルのような小さなカラー画像を部品画像とし、部品画像を多数組み合わせることによってモザイク画像のような大きなカラー画像を合成する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１００１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、部品画像として適切なカラー画像（たとえば、所定色を有するサムネイル画像）が存在しない場合には、カラーのモザイク画像を合成することができないという問題があった。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載の発明による画像処理装置は、参照画像に基づいて複数の部品画像を組合わせて参照画像に類似する画像を合成する画像合成手段と、部品画像群の中から画像合成に用いる複数の部品画像を選択する選択手段と、選択手段によって選択された各部品画像について、該部品画像の色が対応する参照画像の領域の色と類似しているか否かをそれぞれ判定する判定手段と、判定手段によって否定判定された部品画像の代わりに、部品画像群に含まれる部品画像に画像処理を施すことによって新たな部品画像を生成する部品画像生成手段とを備えることを特徴とする。
（２）請求項３に記載の発明による画像処理装置は、参照画像に基づいて複数の部品画像を組合わせて参照画像に類似する画像を合成するための部品画像群を、各部品画像の明るさまたは色相に基づいて複数のグループに分類する分類手段と、分類後において部品画像を含まないグループを特定する特定手段と、特定されたグループに含める部品画像を、他のグループに含まれる部品画像に画像処理を施すことによって生成する部品画像生成手段と、分類および部品画像の生成後において画像合成手段が用いる複数の部品画像を選択する選択手段と、選択された複数の部品画像を組合わせて画像を合成する画像合成手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、モザイク生成に適した部品画像を有していない場合でも適切にモザイク画像を合成できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第一の実施形態による画像処理装置を搭載した電子カメラの構成例を説明するブロック図である。
【図２】撮影画像のブロックを説明する図である。
【図３】フォトモザイク生成の概要を説明する図である。
【図４】明るさ情報に基づくソートを説明する図である。
【図５】部品画像を検索する処理の流れを例示するフローチャートである。
【図６】フォトモザイク画像のブロックを説明する図である。
【図７】フォトモザイク画像を生成する処理の流れを例示するフローチャートである。
【図８】ＬＣＤモニタに表示されたプレビュー画像を例示する図である。
【図９】ＬＣＤモニタの表示画面を例示する図である。
【図１０】コンピュータ装置を例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による画像処理装置を搭載した電子カメラ１の構成例を説明するブロック図である。図１において、電子カメラ１は、撮影光学系１１と、撮像素子１２と、画像処理部１３と、ＳＤＲＡＭ１４と、ＬＣＤモニタ１５と、ＣＰＵ１６と、不揮発性メモリ１７と、カードインターフェース(I/F)１８と、通信インターフェース(I/F)１９と、操作部材２０とを備える。
【０００９】
ＣＰＵ１６、不揮発性メモリ１７、カードインターフェース１８、通信インターフェース１９、画像処理部１３、ＳＤＲＡＭ１４およびＬＣＤモニタ１５は、それぞれがバス２５を介して接続されている。
【００１０】
撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。
【００１１】
撮像素子１２は、受光素子が受光面に二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮影光学系１１を通過した光束による像を光電変換し、デジタル画像信号を生成する。デジタル画像信号は、画像処理部１３に入力される。画像処理部１３は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施す。
【００１２】
ＬＣＤモニタ１５は液晶パネルなどによって構成される。ＬＣＤモニタ１５は、ＣＰＵ１６からの指示に応じて画像や操作アイコン、メニュー画面などを表示する。ＳＤＲＡＭ１４は、電源オフ時に記憶内容を保持しない揮発性メモリである。ＳＤＲＡＭ１４は、画像処理部１３による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する他、ＣＰＵ１６によるプログラム実行時に用いられる。不揮発性メモリ１７は、フラッシュメモリなどによって構成される。電源オフ時にも記憶内容を保持するので、ＣＰＵ１６が実行するプログラムなどを記憶する。
【００１３】
ＣＰＵ１６は、不揮発性メモリ１７が記憶するプログラムを実行することにより、電子カメラ１が行う動作を制御する。ＣＰＵ１６は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、スルー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求める。スルー画像は、レリーズ操作前に撮像素子１２によって所定の時間間隔（たとえば６０コマ／毎秒）で繰り返し取得されるモニタ用画像のことをいう。
【００１４】
カードインターフェース１８はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体３０が接続される。カードインターフェース１８は、接続された記憶媒体３０に対するデータの書き込みや、記憶媒体３０からのデータの読み込みを行う。記憶媒体３０は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【００１５】
通信インターフェース１９は、たとえば、不図示のコネクタに接続された外部機器との間でTCP/IPプロトコルを用いた通信を行う。この通信により、外部機器からのコマンドやデータを受信したり、記憶媒体３０が記憶している画像データや音声データなどを外部機器へ送信したりする。操作部材２０は、レリーズボタンやメニュースイッチなどを含む。操作部材２０は、撮影操作、モード切替え操作やアイコン選択操作など、各操作に応じた操作信号をＣＰＵ１６へ送出する。
【００１６】
本実施形態の電子カメラ１は、フォトモザイク画像を生成する機能を備える。フォトモザイク画像は、サンプル画像に基づいて複数の部品画像をモザイク状に組合わせ、サンプル画像に類似させた合成画像である。本実施形態は、フォトモザイク画像の生成に特徴を有するので、以降はフォトモザイク画像の生成を中心に説明する。
【００１７】
本説明では、フォトモザイク画像のモデルにする画像を参照画像と呼び、フォトモザイク画像を構成する多数の小画像を部品画像と呼ぶことにする。電子カメラ１のＣＰＵ１６は、撮影した画像をフォトモザイク画像に用いる場合に必要な演算を、撮影時に行う画像処理演算時に合わせて行う。演算したフォトモザイク画像用の情報は、Exifデータとして、撮影した画像データとともに画像ファイルに含めて記憶媒体３０に記録しておく。
【００１８】
ＣＰＵ１６は、フォトモザイク画像用の情報として、撮影画像の所定ブロックごとの明るさ情報と、撮影画像の所定ブロックごとの色相情報と、撮影画像全体の明るさ情報と、撮影画像全体の色相情報と、をそれぞれ演算する。撮影画像のブロックごとの情報は、当該撮影画像を上記参照画像として用いる場合に必要な情報である。撮影画像全体の情報は、当該撮影画像を上記部品画像として用いる場合に必要な情報である。
【００１９】
＜ブロックごとの色相情報および明るさ情報＞
図２は、撮影画像のブロックを説明する図である。本実施形態では、撮像素子１２の有効撮像領域を所定ブロック（たとえば、５行（Ａ〜Ｅ）６列（１〜６）からなる３０ブロック）に分割する。ＣＰＵ１６は、撮像素子１２から読出す画素データについて、各ブロックの中に含まれるＲ色成分のデータのブロック平均値BlockRと、Ｇ色成分のデータのブロック平均値BlockGと、Ｂ色成分のデータのブロック平均値BlockBとをそれぞれ算出し、各色成分のブロック平均値BlockR,BlockG,BlockBで構成される１組の(BlockR,BlockG,BlockB)を撮影画像のブロックごとの色相情報BlockRGBとする。たとえば、８ビット長のA/D変換を行う場合は、ブロックごとの色相情報BlockRGBを構成する各色成分のブロック平均値BlockR,BlockG,BlockBは、それぞれが０〜２５５の間の値をとる。
【００２０】
また、ＣＰＵ１６は、上述した各ブロックの中に含まれるＲ色成分のデータのブロック平均値BlockRと、Ｇ色成分のデータのブロック平均値BlockGと、Ｂ色成分のデータのブロック平均値BlockBとの和をブロックごとにそれぞれ算出し、算出したブロック平均値の和(BlockR＋BlockG＋BlockB)に基づく評定値を撮影画像のブロックごとの明るさ情報BlockLevelとする。上述したように、８ビット長のA/D変換を行う場合は、各色成分のブロック平均値BlockR,BlockG,BlockBがそれぞれ０〜２５５の間であるので、各色成分のブロック平均値の和(BlockR＋BlockG＋BlockB)は０〜７６５の間の値をとる。ＣＰＵ１６は、和(BlockR＋BlockG＋BlockB)に基づいて評定値BlockLevelを１０段階で表す。たとえば、和(BlockR＋BlockG＋BlockB)が０〜７５の場合の評定値を１(BlockLevel＝１)、和(BlockR＋BlockG＋BlockB)が７６〜１５０の場合の評定値を２(BlockLevel＝２)、和(BlockR＋BlockG＋BlockB)が１５１〜２２５の場合の評定値を３(BlockLevel＝３)、和(BlockR＋BlockG＋BlockB)の評定値が２２６〜３００の場合の評定値を４(BlockLevel＝４)、…和(BlockR＋BlockG＋BlockB)が６７６〜７６５の場合の評定値を１０(BlockLevel＝１０)とする。
【００２１】
＜画像全体の色相情報および明るさ情報＞
ＣＰＵ１６は、上述した各色成分のブロック平均値を画像全体のブロック間（本例では３０ブロック）で平均する。具体的には、３０個分のＲ色成分のデータのブロック平均値BlockRを平均し、Ｒ色成分のデータの全体平均値WholeRを算出する。また、３０個分のＧ色成分のデータのブロック平均値BlockGを平均し、Ｇ色成分のデータの全体平均値WholeGを算出する。さらに、３０個分のＢ色成分のデータのブロック平均値BlockBを平均し、Ｂ色成分のデータの全体平均値WholeBを算出する。そして、これらの全体平均値WholeR,WholeG,WholeBで構成される１組の(WholeR,WholeG,WholeB)を撮影画像全体の色相情報WholeRGBとする。
【００２２】
次に、ＣＰＵ１６は、上述したブロックごとの明るさ情報を示す評定値(＝BlockLevel)を画像全体である３０ブロック間で平均した平均値Ｎmを算出し、この平均値Ｎmを撮影画像全体の明るさ情報WholeLevelとする。
【００２３】
＜フォトモザイク画像生成の概要＞
図３は、フォトモザイク生成の概要を説明する図である。図３において左側の画像は、フォトモザイク画像のモデルにする参照画像を示す。図３において右側の画像は、フォトモザイク画像を構成する部品画像の候補とする複数の画像（部品画像群とよぶ）を示す。ＣＰＵ１６は、参照画像については、当該画像のブロックごとの色相情報BlockRGBと、当該画像のブロックごとの明るさ情報BlockLevelとを用いる。ＣＰＵ１６は、部品画像については、当該画像全体の色相情報WholeRGBと、当該画像全体の明るさ情報WholeLevelとを用いる。
【００２４】
ＣＰＵ１６は、たとえばＡ行１列のブロックについて、このブロックの明るさ情報BlockLevelおよびこのブロックの色相情報BlockRGBと値が合致する、または値が近い画像全体の明るさ情報WholeLevelおよび画像全体の色相情報WholeRGBを有する部品画像を探す。次に、ＣＰＵ１６は、Ａ行２列のブロックについて、このブロックの明るさ情報BlockLevelおよびこのブロックの色相情報BlockRGBと値が合致する、または値が近い画像全体の明るさ情報WholeLevelおよび画像全体の色相情報WholeRGBを有する部品画像を探す。以降同様に、Ｅ行６列のブロックまで、そのブロックの明るさ情報BlockLevelおよびそのブロックの色相情報BlockRGBと値が合致する、または値が近い画像全体の明るさ情報WholeLevelおよび画像全体の色相情報WholeRGBを有する部品画像を探す。
【００２５】
＜部品画像群のソート＞
ＣＰＵ１６は、フォトモザイク生成の際に上記部品画像を探しやすくするために、フォトモザイク生成前に、部品画像群を各部品画像全体の明るさ情報に基づくグループ順にソートする。図４は、明るさ情報に基づくソートを説明する図である。ＣＰＵ１６は、部品画像群を構成する各部品画像の画像全体の明るさ情報WholeLevelを用いて、部品画像を１０段階に分ける。WholeLevel＝１に該当する部品画像群がSortLevel１、WholeLevel＝２に該当する部品画像群がSortLevel２であり、以降同様に、WholeLevel＝１０に該当する部品画像群がSortLevel１０である。また、SortLevel１〜SortLevel１０をまとめてSortLevelAllと表す。
【００２６】
ＣＰＵ１６は、参照画像における注目ブロックの明るさ情報BlockLevel、およびこのブロックの色相情報BlockRGBと値が合致する、または値が近い画像全体の明るさ情報WholeLevel、および画像全体の色相情報WholeRGBを有する部品画像を探す場合、先ず注目ブロックの明るさ情報BlockLevelと同レベルの部品画像群であるSortLevelＮ（たとえば、参照画像における注目ブロックの明るさ情報BlockLevelが５の場合は、Ｎ＝５）の部品画像群を選び、該部品画像群に含まれる部品画像の中から注目ブロックの色相情報BlockRGBと値が合致する、または値が近い画像全体の色相情報WholeRGBを有する部品画像を探す。
【００２７】
＜部品画像の検索＞
ＣＰＵ１６が、フォトモザイク画像の生成時に部品画像を検索する処理の流れについて、図５に例示するフローチャートを参照して説明する。ＣＰＵ１６は、参照画像と部品画像とが選択されている状態で、操作部材２０からフォトモザイク画像の生成開始を示す操作信号が入力された場合に図５による処理を起動する。
【００２８】
図５のステップＳ１０において、ＣＰＵ１６は、記憶媒体３０に記憶される画像のうち、上記部品画像として使用が認められる部品画像群をソートしてステップＳ２０へ進む。部品画像群のソートについては上述した通りである。ステップＳ２０において、ＣＰＵ１６は、参照画像（TargetPhotoと呼ぶ）における注目ブロックについて、このブロックの明るさ情報BlockLevelと一致、または近いレベルの明るさ情報WholeLevelを有する部品画像群SortLevelＮを検索してステップＳ３０へ進む。以降、検索した結果の部品画像群をSearchLevelとよぶ。
【００２９】
ステップＳ３０において、ＣＰＵ１６は、色相情報の比較における最大値GapMinを１６進表記でFFFFFFに設定してステップＳ４０へ進む。色相情報の比較は、参照画像TargetPhotoの注目ブロックにおける色相情報BlockRGBと、ステップＳ２０で検索した結果である部品画像群SearchLevelに含まれている複数の部品画像(SelectPhotosと呼ぶ)の画像全体の色相情報WholeRGBとの間で行う。
【００３０】
ステップＳ４０において、ＣＰＵ１６は、部品画像群SearchLevelの中から１つの部品画像(SelectPhoto)を選択し、参照画像TargetPhotoの注目ブロックにおけるＲ色成分のデータのブロック平均値BlockRと、上記選択した部品画像SelectPhotoの画像全体のＲ色成分のデータの全体平均値WholeRとの差分GapRを算出してステップＳ５０へ進む。
【００３１】
ステップＳ５０において、ＣＰＵ１６は、参照画像TargetPhotoの注目ブロックにおけるＧ色成分のデータのブロック平均値BlockGと、上記選択した部品画像SelectPhotoの画像全体のＧ色成分のデータの全体平均値WholeGとの差分GapGを算出してステップＳ６０へ進む。
【００３２】
ステップＳ６０において、ＣＰＵ１６は、参照画像TargetPhotoの注目ブロックにおけるＢ色成分のデータのブロック平均値BlockBと、上記選択した部品画像SelectPhotoの画像全体のＢ色成分のデータの全体平均値WholeBとの差分GapBを算出してステップＳ７０へ進む。
【００３３】
ステップＳ７０において、ＣＰＵ１６は、上記選択した部品画像SelectPhotoについて、全ての差分の合計GapAll＝GapR＋GapG＋GapBを算出してステップＳ８０へ進む。ステップＳ８０において、ＣＰＵ１６は、差分の合計GapAllが所定の判定閾値GapMin以上か否かを判定する。ＣＰＵ１６は、GapAll≧GapMinが成立する場合にステップＳ８０を肯定判定してステップＳ１００へ進む。ＣＰＵ１６は、GapAll≧GapMinが成立しない場合にはステップＳ８０を否定判定し、ステップＳ９０へ進む。
【００３４】
ステップＳ９０において、ＣＰＵ１６は、選択している部品画像SelectPhotoを部品画像SerchPhotoとして記憶媒体３０に登録する。ＣＰＵ１６はさらに、判定閾値GapMinの値をステップＳ７０で算出した差分の合計GapAllの値で更新してステップＳ１００へ進む。
【００３５】
ステップＳ１００において、ＣＰＵ１６は、部品画像群SearchLevelに含まれている全ての部品画像SelectPhotosを対象に検索を終了したか否かを判定する。ＣＰＵ１６は、全ての部品画像SelectPhotosについて処理を終了した場合はステップＳ１００を肯定判定してステップＳ１１０へ進む。ＣＰＵ１６は、部品画像SelectPhotosの中に選択していない未処理の部品画像SelectPhotoが存在する場合には、ステップＳ１００を否定判定してステップＳ１２０へ進む。
【００３６】
ステップＳ１１０において、ＣＰＵ１６は、上記差分GapRの最小値GapRminが所定の判定閾値より小さいか否か、上記差分GapGの最小値GapGminが所定の判定閾値より小さいか否か、上記差分GapBの最小値GapBminが所定の判定閾値より小さいか否か、をそれぞれ判定する。ＣＰＵ１６は、差分GapRmin、差分GapGmin、および差分GapBminの全てが判定閾値より小さい場合にステップＳ１１０を肯定判定してステップＳ１７０へ進む。ＣＰＵ１６は、差分GapRmin、差分GapGmin、および差分GapBminの少なくとも１つが判定閾値以上の場合には、ステップＳ１１０を否定判定してステップＳ１３０へ進む。
【００３７】
ステップＳ１７０において、ＣＰＵ１６は、部品画像SerchPhotoを参照画像TargetPhotoの注目ブロックの位置に対応させて使用するように決定してステップＳ１８０へ進む。ステップＳ１８０において、ＣＰＵ１６は、参照画像TargetPhotoの全３０ブロックを注目ブロックとしてチェックを終了したか否かを判定する。ＣＰＵ１６は、全３０ブロックに対するチェックを終了した場合にステップＳ１８０を肯定判定して図５による処理を終了する。以上の処理により、全３０ブロックのそれぞれの位置に対応させて使用する部品画像SelectPhotoが決まる。
【００３８】
上述したステップＳ１００を否定判定して進むステップ１２０において、ＣＰＵ１６は、参照画像TargetPhotoの注目ブロックにおける色相情報BlockRGBとの比較対象を、部品画像群SearchLevel内で未チェックの部品画像SelectPhotoの画像全体の色相情報WholeRGBへ変更する。すなわち、ステップＳ４０へ戻って部品画像群SearchLevelの中から他の部品画像(SelectPhoto)を１つ選択し、上述した処理を繰り返す。
【００３９】
上述したステップＳ１１０を否定判定して進むステップ１３０において、ＣＰＵ１６は、比較対象である注目ブロックが無彩色か否かを判定する。ＣＰＵ１６は、参照画像TargetPhotoの注目ブロックにおける色相情報BlockRGBが無彩色を示す（たとえば、BlockR：BlockG：BlockB＝１：１：１)場合にステップＳ１３０を肯定判定してステップＳ１４０へ進む。ＣＰＵ１６は、参照画像TargetPhotoの注目ブロックにおける色相情報BlockRGBが無彩色を示さない（たとえば、BlockR：BlockG：BlockB≠１：１：１)場合にステップＳ１３０を否定判定してステップＳ１６０へ進む。
【００４０】
ステップＳ１４０において、ＣＰＵ１６は、部品画像SerchPhotoをモノクロ画像へ変換してステップＳ１５０へ進む。ステップＳ１５０において、ＣＰＵ１６は、モノクロ画像を明度変換（変換後のモノクロ画像の明るさWholeLevelを参照画像TargetPhotoの注目ブロックにおける明るさBlockLevelに揃える）してステップＳ１７０へ進む。
【００４１】
上述したステップＳ１３０を否定判定して進むステップＳ１６０において、ＣＰＵ１６は、比較対象である注目ブロックの色を示すデータ（色相情報BlockRGB）をＳＤＲＡＭ１４へ記録してステップＳ１８０へ進む。これにより、注目ブロックの位置情報と、該注目ブロックにおいて足りない色を示す情報とがＳＤＲＡＭ１４に保存される。
【００４２】
上述したステップＳ１８０を否定判定して進むステップＳ１９０において、ＣＰＵ１６は、注目ブロックを、参照画像TargetPhotoの全３０ブロックのうち未チェックのブロックへ変更してステップＳ２０へ戻る。
【００４３】
＜モザイク度の変更＞
図６は、フォトモザイク画像のブロックを説明する図である。本実施形態では、撮像素子１２の分割ブロック（図６において(A)）を固定（本説明では分割数３０）とし、フォトモザイク画像を生成する際の分割ブロック（図６において(B)）について、ユーザー操作により変更可能とする。ユーザーは、たとえば、操作部材２０を操作することによってフォトモザイク画像における分割ブロックの大きさを変化させる。フォトモザイク画像における分割ブロックの大きさが変わると、フォトモザイク画像のモザイク度が変わる。
【００４４】
図６の例では、フォトモザイク画像における分割ブロックの大きさの最小単位は、撮像素子１２の分割ブロックの大きさに対応させる。最小単位の場合の分割数は、撮像素子１２の分割数と同じ３０である。一方、フォトモザイク画像における分割ブロックの大きさの最大単位は、たとえば、撮像素子１２の分割ブロックの１６倍の大きさに対応させる。フォトモザイク画像における分割数が大きい（分割ブロックの大きさの最小単位が小さい）場合は精細なフォトモザイク画像が生成され、フォトモザイク画像における分割数が小さい（分割ブロックの大きさの最小単位が大きい）場合は大雑把なフォトモザイク画像が生成される。
【００４５】
＜フォトモザイク画像生成の流れ＞
ＣＰＵ１６が、フォトモザイク画像を生成する処理の流れについて、図７に例示するフローチャートを参照して説明する。ユーザーは、操作部材２０を操作することによってフォトモザイク画像の生成開始を指示する。ＣＰＵ１６は、フォトモザイク画像の生成開始を示す操作信号が入力された場合に図７による処理を起動する。
【００４６】
図７のステップＳ５１０において、ＣＰＵ１６は、メモリカード３０に記憶される撮影画像の中から１つの参照画像TargetPhotoを選択してステップＳ５２０へ進む。たとえば、ユーザーが操作部材２０を操作することにより、選択すべき参照画像を示す操作信号がＣＰＵ１６に入力される。
【００４７】
ステップＳ５２０において、ＣＰＵ１６は、メモリカード３０に記憶される撮影画像の中から複数の部品画像SelectPhotosを選択してステップＳ５３０へ進む。たとえば、ユーザーが操作部材２０を操作することにより、候補とする（部品画像として使用を認める）複数の部品画像を示す操作信号がＣＰＵ１６に入力される。
【００４８】
ステップＳ５３０において、ＣＰＵ１６は、選択した参照画像TargetPhotoおよび部品画像SelectPhotosの画像データに、フォトモザイク画像用のデータが存在するか否かを判定する。フォトモザイク画像用のデータは、上述したように、撮影画像のブロックごとの明るさ情報BlockLevelと、撮影画像のブロックごとの色相情報BlockRGBと、撮影画像全体の明るさ情報WholeLevelと、撮影画像全体の色相情報WholeRGBである。ＣＰＵ１６は、フォトモザイク画像用のデータが存在する場合にステップＳ５３０を肯定判定してステップＳ５４０へ進み、フォトモザイク画像用のデータが存在しない場合にスはテップＳ５３０を否定判定してステップＳ６４０へ進む。
【００４９】
ステップＳ５４０において、ＣＰＵ１６は、フォトモザイク画像の分割ブロック数を選択してステップＳ５５０へ進む。たとえば、ユーザーが操作部材２０を操作することにより、フォトモザイク画像における分割ブロック数（すなわち、分割ブロックの大きさ）を示す操作信号がＣＰＵ１６に入力される。
【００５０】
ステップＳ５５０において、ＣＰＵ１６は、ステップＳ５２０で選択した部品画像群SelectPhotosをソートしてステップＳ５６０へ進む。ソートは上述した図５のステップＳ１０の場合と同様である。ステップＳ５６０において、ＣＰＵ１６は、部品画像の検索処理を行ってステップＳ５７０へ進む。上述した図５の処理に相当する。これにより、参照画像TargetPhotoにおける注目ブロックごとに、使用する部品画像SearchPhotoを決定する。
【００５１】
ステップＳ５７０において、ＣＰＵ１６は、決定した部品画像SearchPhotoを用いてフォトモザイク画像を生成し、ステップＳ５８０へ進む。ステップＳ５８０において、ＣＰＵ１６は、生成したフォトモザイク画像をＬＣＤモニタ１５にプレビュー表示させてステップＳ５９０へ進む。図８は、ＬＣＤモニタ１５に表示されたプレビュー画像を例示する図である。
【００５２】
ステップＳ５９０において、ＣＰＵ１６は、検索処理（図５）後の部品画像に不足があるか否かを判定する。ＣＰＵ１６は、ＳＤＲＡＭ１４にステップＳ１６０（図５）において記録したデータが記憶されている場合にステップＳ５９０を肯定判定し、ステップＳ６３０へ進む。ＣＰＵ１６は、ＳＤＲＡＭ１４にステップＳ１６０（図５）において記録したデータが記憶されていない場合には、ステップＳ５９０を否定判定してステップＳ６００へ進む。
【００５３】
ステップＳ６００において、ＣＰＵ１６は、保存確認表示として、たとえば「この画像を保存する場合はＯＫボタンを押して下さい。保存しない場合はキャンセルして下さい。」というメッセージをＬＣＤモニタ１５に表示させてステップＳ６１０へ進む。ステップＳ６１０において、ＣＰＵ１６は、ユーザーにより選択操作がなされたか否かを判定する。ＣＰＵ１６は、操作部材２０から「ＯＫ」ボタンの押下操作信号が入力された場合にステップＳ６１０を肯定判定してステップＳ６２０へ進む。ＣＰＵ１６は、操作部材２０から「キャンセル」を示す操作信号が入力された場合には、ステップＳ６１０を否定判定して図７による処理を終了する。
【００５４】
ステップＳ６２０において、ＣＰＵ１６は、フォトモザイク画像のデータを画像ファイルとして記憶媒体３０に保存させて図７による処理を終了する。上述したステップＳ５９０を肯定判定した場合に進むステップＳ６３０において、ＣＰＵ１６は、不足しているブロック色を示す表示をＬＣＤモニタ１５に表示させて図７による処理を終了する。図９は、ＬＣＤモニタ１５の表示画面を例示する図である。図９において、プレビュー表示画像の下部に、たとえば「足りない色があります。不足する色の画像を撮影して下さい。」というメッセージを表示させる。このメッセージ表示により、ユーザーに部品画像となり得る画像を取得するために新たな撮影を促す。ＣＰＵ１６は、ステップＳ１６０（図５）においてＳＤＲＡＭ１４に記録したデータに基づいて、注目ブロックの位置情報をプレビュー表示画像上に表示させ、該注目ブロックにおいて足りない色をメッセージの近くに表示させる。
【００５５】
上述したステップＳ５３０を否定判定した場合に進むステップＳ６４０において、ＣＰＵ１６は、選択された画像がフォトモザイク画像合成用のものでないことを知らせるメッセージをＬＣＤモニタ１５に表示させて、図７による処理を終了する。
【００５６】
以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１は、参照画像に基づいて複数の部品画像を組合わせて参照画像に類似する画像を合成するＣＰＵ１６と、部品画像群の中から画像合成に用いる複数の部品画像を選択するＣＰＵ１６と、ＣＰＵ１６によって選択された各部品画像について、該部品画像の色WholeRGBが対応する参照画像のブロックの色BlockRGBと類似しているか否かをそれぞれ判定するＣＰＵ１６と、ＣＰＵ１６によって否定判定された部品画像の代わりに、部品画像群に含まれる部品画像に、たとえばモノクロ変換や明度変換を施すことによって新たな部品画像を生成するＣＰＵ１６とを備えるようにした。これにより、モザイク生成に適した部品画像を有していない場合でも、適切にモザイク画像を合成できる。
【００５７】
（２）上記（１）の電子カメラ１において、ＣＰＵ１６は、参照画像の所定ブロックごとに該ブロックの色に最も近い色の部品画像を部品画像群からそれぞれ選択し、ＣＰＵ１６は、選択した部品画像の色と対応する参照画像のブロックの色とを対比し、たとえばＲＧＢ色空間上の少なくとも１つの座標軸（Ｒ成分、Ｇ成分、もしくはＢ成分）において所定値以上の差を有する場合に否定判定するようにした。これにより、選択した部品画像の色と、参照画像のブロックの色との間で、色が類似するか否かを適切に判定することができる。
【００５８】
（３）電子カメラ１は、参照画像に基づいて複数の部品画像を組合わせて参照画像に類似する画像を合成するための部品画像群SortLevelAllを、各部品画像の明るさまたは色相に基づいて複数のグループSortLevelＮに分類するＣＰＵ１６と、分類後において部品画像を含まないグループを特定するＣＰＵ１６と、特定したグループに含める部品画像を、他のグループに含まれる部品画像にたとえば補間処理を施すことによって生成するＣＰＵ１６と、分類および部品画像の生成後において画像合成に用いる複数の部品画像を選択するＣＰＵ１６と、選択した複数の部品画像を組合わせて画像を合成するＣＰＵ１６とを備えるようにしたので、モザイク生成に適した部品画像を有していない場合でも、適切にモザイク画像を合成できる。
【００５９】
（４）上記（３）の電子カメラ１において、ＣＰＵ１６は、グループSortLevelＮ内に含む各部品画像の明るさの差が所定値未満となるようにソートし、参照画像の所定ブロックごとに該ブロックの明るさと合致するグループを複数のグループSortLevelAllの中から選択し、該選択したグループSearchLevel内において部品画像の色と対応する参照画像のブロックの色とを対比し、参照画像のブロックの色と最も類似する色の部品画像SearchPhotoをさらに選択するようにした。明るさと色相の双方が近い部品画像を選ぶ際に、一方（明るさ）に基づいてソートしておくことで、明るさが近い部品画像群の選択が容易になる。その後、明るさが近い部品画像群の中から他方（色相）が近い部品画像を選ぶので、明るさと色相の近い部品画像を一度に選ぶ場合に比べて、選択処理の負担を軽くすることができる。
【００６０】
（５）上記（１）または（２）の電子カメラ１において、ＣＰＵ１６は、対比する参照画像のブロックが無彩色の場合は無彩色の部品画像を生成するようにしたので、モノクロ画像のような無彩色の参照画像に基づくフォトモザイク画像を生成する場合にも適用できる。
【００６１】
（６）上記（５）の電子カメラ１において、ＣＰＵ１６は、無彩色の部品画像の輝度を参照画像のブロックの輝度に変換するようにしたので、無彩色の参照画像であって明るさが異なる場合にも適用できる。
【００６２】
（７）上記（１）、（２）、（５）および（６）のいずれかの電子カメラ１において、ＣＰＵ１６によって新たな部品画像を生成できない場合に報知するＬＣＤモニタ１５をさらに備えるので、たとえば、ユーザーに対して新たな撮影を促すことができる。
【００６３】
（変形例１）
上述した説明では、部品画像をソートする際に、部品画像の明るさ情報、すなわち、部品画像群を構成する各部品画像の画像全体の明るさ情報WholeLevelに応じた並べ替えにより、SortLevel１からSortLevel１０までそれぞれに複数の部品画像が割当てられる例を説明した（図４）。ＣＰＵ１６は、もし、部品画像が割り当てられないSortLevelＮが存在する場合は、当該SortLevelＮを挟むSortLevel(Ｎ＋１)およびSortLevel(Ｎ−１)に割当てられた部品画像を用いた補間処理により、SortLevelＮに割り当てる部品画像を生成するようにしてもよい。
【００６４】
（変形例２）
上述した説明では、部品画像をソートする際に、部品画像の明るさ情報、すなわち、部品画像群を構成する各部品画像の画像全体の明るさ情報WholeLevelに応じた並べ替えを行った。この代わりに、部品画像の色相情報、すなわち、部品画像群を構成する各部品画像の画像全体の色相情報WholeRGBに応じた並べ替えを行うように構成してもよい。この場合のＣＰＵ１６は、参照画像における注目ブロックの明るさ情報BlockLevel、およびこのブロックの色相情報BlockRGBと値が合致する、または値が近い画像全体の明るさ情報WholeLevel、および画像全体の色相情報WholeRGBを有する部品画像を探す場合、先ず注目ブロックの色相情報BlockRGBと同レベルで色相が類似する部品画像群を選び、この部品画像群に含まれる部品画像の中から注目ブロックの明るさ情報BlockLevelと値が合致する、または値が近い画像全体の明るさ情報WholeLevelを有する部品画像を探す。
【００６５】
変形例２では、明るさと色相の双方が近い部品画像を選ぶ際に、一方（色相）に基づいてソートしておくことで、色相が近い部品画像群の選択が容易になる。その後、色相が近い部品画像群の中から他方（明るさ）が近い部品画像を選ぶので、明るさと色相の近い部品画像を一度に選ぶ場合に比べて、選択処理の負担を軽くすることができる。
【００６６】
（変形例３）
上述した説明では、フォトモザイク画像で使用する部品画像が不足する場合には、フォトモザイク画像をプレビュー表示した後から、不足する色およびその位置をまとめて知らせるようにした（ステップＳ６３０（図７））。この代わりに、部品画像の検索処理において部品画像の不足が判明した場合には、その都度部品画像の不足を知らせる表示を行うように構成してもよい。
【００６７】
（変形例４）
上述した説明では、フォトモザイク画像で使用する部品画像が不足する場合には、不足する色およびその位置をまとめて知らせる（ステップＳ６３０（図７））だけで、フォトモザイク画像を保存しない例を説明した。この代わりに、部品画像が不足する場合であっても保存確認を表示を行うことにより、プレビュー表示しているフォトモザイク画像を記憶媒体３０に記録するか否かの操作をユーザーに促すように構成してもよい。
【００６８】
（第二の実施形態）
第一の実施形態では、電子カメラ１に画像処理装置を搭載する例を説明したが、画像処理装置をパーソナルコンピュータによって構成するようにしてもよい。図５および図７に例示したフローチャートによる処理を行うプログラムを図１０に示すコンピュータ装置１００に実行させることにより、画像処理装置を構成してもよい。プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。
【００６９】
パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００７０】
以上説明した第二の実施形態によれば、第一の実施形態と同様の作用効果が得られる。なお、パーソナルコンピュータによって構成する他にも、デジタルフォトフレームやプロジェクタ等にも上述したフォトモザイク画像を生成させるように構成して構わない。
【００７１】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００７２】
１…電子カメラ
１２…撮像素子
１３…画像処理部
１４…ＳＤＲＡＭ
１５…ＬＣＤモニタ
１６…ＣＰＵ
１７…不揮発性メモリ
３０、１０４…記憶媒体
１００…パーソナルコンピュータ
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
サムネイルのような小さなカラー画像を部品画像とし、部品画像を多数組み合わせることによってモザイク画像のような大きなカラー画像を合成する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１００１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、部品画像として適切なカラー画像（たとえば、所定色を有するサムネイル画像）が存在しない場合には、カラーのモザイク画像を合成することができないという問題があった。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載の発明による画像処理装置は、参照画像に基づいて複数の部品画像を組合わせて参照画像に類似する画像を合成する画像合成手段と、部品画像群の中から画像合成に用いる複数の部品画像を選択する選択手段と、選択手段によって選択された各部品画像について、該部品画像の色が対応する参照画像の領域の色と類似しているか否かをそれぞれ判定する判定手段と、判定手段によって否定判定された部品画像の代わりに、部品画像群に含まれる部品画像に画像処理を施すことによって新たな部品画像を生成する部品画像生成手段とを備えることを特徴とする。
（２）請求項３に記載の発明による画像処理装置は、参照画像に基づいて複数の部品画像を組合わせて参照画像に類似する画像を合成するための部品画像群を、各部品画像の明るさまたは色相に基づいて複数のグループに分類する分類手段と、分類後において部品画像を含まないグループを特定する特定手段と、特定されたグループに含める部品画像を、他のグループに含まれる部品画像に画像処理を施すことによって生成する部品画像生成手段と、分類および部品画像の生成後において画像合成手段が用いる複数の部品画像を選択する選択手段と、選択された複数の部品画像を組合わせて画像を合成する画像合成手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、モザイク生成に適した部品画像を有していない場合でも適切にモザイク画像を合成できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第一の実施形態による画像処理装置を搭載した電子カメラの構成例を説明するブロック図である。
【図２】撮影画像のブロックを説明する図である。
【図３】フォトモザイク生成の概要を説明する図である。
【図４】明るさ情報に基づくソートを説明する図である。
【図５】部品画像を検索する処理の流れを例示するフローチャートである。
【図６】フォトモザイク画像のブロックを説明する図である。
【図７】フォトモザイク画像を生成する処理の流れを例示するフローチャートである。
【図８】ＬＣＤモニタに表示されたプレビュー画像を例示する図である。
【図９】ＬＣＤモニタの表示画面を例示する図である。
【図１０】コンピュータ装置を例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による画像処理装置を搭載した電子カメラ１の構成例を説明するブロック図である。図１において、電子カメラ１は、撮影光学系１１と、撮像素子１２と、画像処理部１３と、ＳＤＲＡＭ１４と、ＬＣＤモニタ１５と、ＣＰＵ１６と、不揮発性メモリ１７と、カードインターフェース(I/F)１８と、通信インターフェース(I/F)１９と、操作部材２０とを備える。
【０００９】
ＣＰＵ１６、不揮発性メモリ１７、カードインターフェース１８、通信インターフェース１９、画像処理部１３、ＳＤＲＡＭ１４およびＬＣＤモニタ１５は、それぞれがバス２５を介して接続されている。
【００１０】
撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。
【００１１】
撮像素子１２は、受光素子が受光面に二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮影光学系１１を通過した光束による像を光電変換し、デジタル画像信号を生成する。デジタル画像信号は、画像処理部１３に入力される。画像処理部１３は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施す。
【００１２】
ＬＣＤモニタ１５は液晶パネルなどによって構成される。ＬＣＤモニタ１５は、ＣＰＵ１６からの指示に応じて画像や操作アイコン、メニュー画面などを表示する。ＳＤＲＡＭ１４は、電源オフ時に記憶内容を保持しない揮発性メモリである。ＳＤＲＡＭ１４は、画像処理部１３による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する他、ＣＰＵ１６によるプログラム実行時に用いられる。不揮発性メモリ１７は、フラッシュメモリなどによって構成される。電源オフ時にも記憶内容を保持するので、ＣＰＵ１６が実行するプログラムなどを記憶する。
【００１３】
ＣＰＵ１６は、不揮発性メモリ１７が記憶するプログラムを実行することにより、電子カメラ１が行う動作を制御する。ＣＰＵ１６は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、スルー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求める。スルー画像は、レリーズ操作前に撮像素子１２によって所定の時間間隔（たとえば６０コマ／毎秒）で繰り返し取得されるモニタ用画像のことをいう。
【００１４】
カードインターフェース１８はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体３０が接続される。カードインターフェース１８は、接続された記憶媒体３０に対するデータの書き込みや、記憶媒体３０からのデータの読み込みを行う。記憶媒体３０は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【００１５】
通信インターフェース１９は、たとえば、不図示のコネクタに接続された外部機器との間でTCP/IPプロトコルを用いた通信を行う。この通信により、外部機器からのコマンドやデータを受信したり、記憶媒体３０が記憶している画像データや音声データなどを外部機器へ送信したりする。操作部材２０は、レリーズボタンやメニュースイッチなどを含む。操作部材２０は、撮影操作、モード切替え操作やアイコン選択操作など、各操作に応じた操作信号をＣＰＵ１６へ送出する。
【００１６】
本実施形態の電子カメラ１は、フォトモザイク画像を生成する機能を備える。フォトモザイク画像は、サンプル画像に基づいて複数の部品画像をモザイク状に組合わせ、サンプル画像に類似させた合成画像である。本実施形態は、フォトモザイク画像の生成に特徴を有するので、以降はフォトモザイク画像の生成を中心に説明する。
【００１７】
本説明では、フォトモザイク画像のモデルにする画像を参照画像と呼び、フォトモザイク画像を構成する多数の小画像を部品画像と呼ぶことにする。電子カメラ１のＣＰＵ１６は、撮影した画像をフォトモザイク画像に用いる場合に必要な演算を、撮影時に行う画像処理演算時に合わせて行う。演算したフォトモザイク画像用の情報は、Exifデータとして、撮影した画像データとともに画像ファイルに含めて記憶媒体３０に記録しておく。
【００１８】
ＣＰＵ１６は、フォトモザイク画像用の情報として、撮影画像の所定ブロックごとの明るさ情報と、撮影画像の所定ブロックごとの色相情報と、撮影画像全体の明るさ情報と、撮影画像全体の色相情報と、をそれぞれ演算する。撮影画像のブロックごとの情報は、当該撮影画像を上記参照画像として用いる場合に必要な情報である。撮影画像全体の情報は、当該撮影画像を上記部品画像として用いる場合に必要な情報である。
【００１９】
＜ブロックごとの色相情報および明るさ情報＞
図２は、撮影画像のブロックを説明する図である。本実施形態では、撮像素子１２の有効撮像領域を所定ブロック（たとえば、５行（Ａ〜Ｅ）６列（１〜６）からなる３０ブロック）に分割する。ＣＰＵ１６は、撮像素子１２から読出す画素データについて、各ブロックの中に含まれるＲ色成分のデータのブロック平均値BlockRと、Ｇ色成分のデータのブロック平均値BlockGと、Ｂ色成分のデータのブロック平均値BlockBとをそれぞれ算出し、各色成分のブロック平均値BlockR,BlockG,BlockBで構成される１組の(BlockR,BlockG,BlockB)を撮影画像のブロックごとの色相情報BlockRGBとする。たとえば、８ビット長のA/D変換を行う場合は、ブロックごとの色相情報BlockRGBを構成する各色成分のブロック平均値BlockR,BlockG,BlockBは、それぞれが０〜２５５の間の値をとる。
【００２０】
また、ＣＰＵ１６は、上述した各ブロックの中に含まれるＲ色成分のデータのブロック平均値BlockRと、Ｇ色成分のデータのブロック平均値BlockGと、Ｂ色成分のデータのブロック平均値BlockBとの和をブロックごとにそれぞれ算出し、算出したブロック平均値の和(BlockR＋BlockG＋BlockB)に基づく評定値を撮影画像のブロックごとの明るさ情報BlockLevelとする。上述したように、８ビット長のA/D変換を行う場合は、各色成分のブロック平均値BlockR,BlockG,BlockBがそれぞれ０〜２５５の間であるので、各色成分のブロック平均値の和(BlockR＋BlockG＋BlockB)は０〜７６５の間の値をとる。ＣＰＵ１６は、和(BlockR＋BlockG＋BlockB)に基づいて評定値BlockLevelを１０段階で表す。たとえば、和(BlockR＋BlockG＋BlockB)が０〜７５の場合の評定値を１(BlockLevel＝１)、和(BlockR＋BlockG＋BlockB)が７６〜１５０の場合の評定値を２(BlockLevel＝２)、和(BlockR＋BlockG＋BlockB)が１５１〜２２５の場合の評定値を３(BlockLevel＝３)、和(BlockR＋BlockG＋BlockB)の評定値が２２６〜３００の場合の評定値を４(BlockLevel＝４)、…和(BlockR＋BlockG＋BlockB)が６７６〜７６５の場合の評定値を１０(BlockLevel＝１０)とする。
【００２１】
＜画像全体の色相情報および明るさ情報＞
ＣＰＵ１６は、上述した各色成分のブロック平均値を画像全体のブロック間（本例では３０ブロック）で平均する。具体的には、３０個分のＲ色成分のデータのブロック平均値BlockRを平均し、Ｒ色成分のデータの全体平均値WholeRを算出する。また、３０個分のＧ色成分のデータのブロック平均値BlockGを平均し、Ｇ色成分のデータの全体平均値WholeGを算出する。さらに、３０個分のＢ色成分のデータのブロック平均値BlockBを平均し、Ｂ色成分のデータの全体平均値WholeBを算出する。そして、これらの全体平均値WholeR,WholeG,WholeBで構成される１組の(WholeR,WholeG,WholeB)を撮影画像全体の色相情報WholeRGBとする。
【００２２】
次に、ＣＰＵ１６は、上述したブロックごとの明るさ情報を示す評定値(＝BlockLevel)を画像全体である３０ブロック間で平均した平均値Ｎmを算出し、この平均値Ｎmを撮影画像全体の明るさ情報WholeLevelとする。
【００２３】
＜フォトモザイク画像生成の概要＞
図３は、フォトモザイク生成の概要を説明する図である。図３において左側の画像は、フォトモザイク画像のモデルにする参照画像を示す。図３において右側の画像は、フォトモザイク画像を構成する部品画像の候補とする複数の画像（部品画像群とよぶ）を示す。ＣＰＵ１６は、参照画像については、当該画像のブロックごとの色相情報BlockRGBと、当該画像のブロックごとの明るさ情報BlockLevelとを用いる。ＣＰＵ１６は、部品画像については、当該画像全体の色相情報WholeRGBと、当該画像全体の明るさ情報WholeLevelとを用いる。
【００２４】
ＣＰＵ１６は、たとえばＡ行１列のブロックについて、このブロックの明るさ情報BlockLevelおよびこのブロックの色相情報BlockRGBと値が合致する、または値が近い画像全体の明るさ情報WholeLevelおよび画像全体の色相情報WholeRGBを有する部品画像を探す。次に、ＣＰＵ１６は、Ａ行２列のブロックについて、このブロックの明るさ情報BlockLevelおよびこのブロックの色相情報BlockRGBと値が合致する、または値が近い画像全体の明るさ情報WholeLevelおよび画像全体の色相情報WholeRGBを有する部品画像を探す。以降同様に、Ｅ行６列のブロックまで、そのブロックの明るさ情報BlockLevelおよびそのブロックの色相情報BlockRGBと値が合致する、または値が近い画像全体の明るさ情報WholeLevelおよび画像全体の色相情報WholeRGBを有する部品画像を探す。
【００２５】
＜部品画像群のソート＞
ＣＰＵ１６は、フォトモザイク生成の際に上記部品画像を探しやすくするために、フォトモザイク生成前に、部品画像群を各部品画像全体の明るさ情報に基づくグループ順にソートする。図４は、明るさ情報に基づくソートを説明する図である。ＣＰＵ１６は、部品画像群を構成する各部品画像の画像全体の明るさ情報WholeLevelを用いて、部品画像を１０段階に分ける。WholeLevel＝１に該当する部品画像群がSortLevel１、WholeLevel＝２に該当する部品画像群がSortLevel２であり、以降同様に、WholeLevel＝１０に該当する部品画像群がSortLevel１０である。また、SortLevel１〜SortLevel１０をまとめてSortLevelAllと表す。
【００２６】
ＣＰＵ１６は、参照画像における注目ブロックの明るさ情報BlockLevel、およびこのブロックの色相情報BlockRGBと値が合致する、または値が近い画像全体の明るさ情報WholeLevel、および画像全体の色相情報WholeRGBを有する部品画像を探す場合、先ず注目ブロックの明るさ情報BlockLevelと同レベルの部品画像群であるSortLevelＮ（たとえば、参照画像における注目ブロックの明るさ情報BlockLevelが５の場合は、Ｎ＝５）の部品画像群を選び、該部品画像群に含まれる部品画像の中から注目ブロックの色相情報BlockRGBと値が合致する、または値が近い画像全体の色相情報WholeRGBを有する部品画像を探す。
【００２７】
＜部品画像の検索＞
ＣＰＵ１６が、フォトモザイク画像の生成時に部品画像を検索する処理の流れについて、図５に例示するフローチャートを参照して説明する。ＣＰＵ１６は、参照画像と部品画像とが選択されている状態で、操作部材２０からフォトモザイク画像の生成開始を示す操作信号が入力された場合に図５による処理を起動する。
【００２８】
図５のステップＳ１０において、ＣＰＵ１６は、記憶媒体３０に記憶される画像のうち、上記部品画像として使用が認められる部品画像群をソートしてステップＳ２０へ進む。部品画像群のソートについては上述した通りである。ステップＳ２０において、ＣＰＵ１６は、参照画像（TargetPhotoと呼ぶ）における注目ブロックについて、このブロックの明るさ情報BlockLevelと一致、または近いレベルの明るさ情報WholeLevelを有する部品画像群SortLevelＮを検索してステップＳ３０へ進む。以降、検索した結果の部品画像群をSearchLevelとよぶ。
【００２９】
ステップＳ３０において、ＣＰＵ１６は、色相情報の比較における最大値GapMinを１６進表記でFFFFFFに設定してステップＳ４０へ進む。色相情報の比較は、参照画像TargetPhotoの注目ブロックにおける色相情報BlockRGBと、ステップＳ２０で検索した結果である部品画像群SearchLevelに含まれている複数の部品画像(SelectPhotosと呼ぶ)の画像全体の色相情報WholeRGBとの間で行う。
【００３０】
ステップＳ４０において、ＣＰＵ１６は、部品画像群SearchLevelの中から１つの部品画像(SelectPhoto)を選択し、参照画像TargetPhotoの注目ブロックにおけるＲ色成分のデータのブロック平均値BlockRと、上記選択した部品画像SelectPhotoの画像全体のＲ色成分のデータの全体平均値WholeRとの差分GapRを算出してステップＳ５０へ進む。
【００３１】
ステップＳ５０において、ＣＰＵ１６は、参照画像TargetPhotoの注目ブロックにおけるＧ色成分のデータのブロック平均値BlockGと、上記選択した部品画像SelectPhotoの画像全体のＧ色成分のデータの全体平均値WholeGとの差分GapGを算出してステップＳ６０へ進む。
【００３２】
ステップＳ６０において、ＣＰＵ１６は、参照画像TargetPhotoの注目ブロックにおけるＢ色成分のデータのブロック平均値BlockBと、上記選択した部品画像SelectPhotoの画像全体のＢ色成分のデータの全体平均値WholeBとの差分GapBを算出してステップＳ７０へ進む。
【００３３】
ステップＳ７０において、ＣＰＵ１６は、上記選択した部品画像SelectPhotoについて、全ての差分の合計GapAll＝GapR＋GapG＋GapBを算出してステップＳ８０へ進む。ステップＳ８０において、ＣＰＵ１６は、差分の合計GapAllが所定の判定閾値GapMin以上か否かを判定する。ＣＰＵ１６は、GapAll≧GapMinが成立する場合にステップＳ８０を肯定判定してステップＳ１００へ進む。ＣＰＵ１６は、GapAll≧GapMinが成立しない場合にはステップＳ８０を否定判定し、ステップＳ９０へ進む。
【００３４】
ステップＳ９０において、ＣＰＵ１６は、選択している部品画像SelectPhotoを部品画像SerchPhotoとして記憶媒体３０に登録する。ＣＰＵ１６はさらに、判定閾値GapMinの値をステップＳ７０で算出した差分の合計GapAllの値で更新してステップＳ１００へ進む。
【００３５】
ステップＳ１００において、ＣＰＵ１６は、部品画像群SearchLevelに含まれている全ての部品画像SelectPhotosを対象に検索を終了したか否かを判定する。ＣＰＵ１６は、全ての部品画像SelectPhotosについて処理を終了した場合はステップＳ１００を肯定判定してステップＳ１１０へ進む。ＣＰＵ１６は、部品画像SelectPhotosの中に選択していない未処理の部品画像SelectPhotoが存在する場合には、ステップＳ１００を否定判定してステップＳ１２０へ進む。
【００３６】
ステップＳ１１０において、ＣＰＵ１６は、上記差分GapRの最小値GapRminが所定の判定閾値より小さいか否か、上記差分GapGの最小値GapGminが所定の判定閾値より小さいか否か、上記差分GapBの最小値GapBminが所定の判定閾値より小さいか否か、をそれぞれ判定する。ＣＰＵ１６は、差分GapRmin、差分GapGmin、および差分GapBminの全てが判定閾値より小さい場合にステップＳ１１０を肯定判定してステップＳ１７０へ進む。ＣＰＵ１６は、差分GapRmin、差分GapGmin、および差分GapBminの少なくとも１つが判定閾値以上の場合には、ステップＳ１１０を否定判定してステップＳ１３０へ進む。
【００３７】
ステップＳ１７０において、ＣＰＵ１６は、部品画像SerchPhotoを参照画像TargetPhotoの注目ブロックの位置に対応させて使用するように決定してステップＳ１８０へ進む。ステップＳ１８０において、ＣＰＵ１６は、参照画像TargetPhotoの全３０ブロックを注目ブロックとしてチェックを終了したか否かを判定する。ＣＰＵ１６は、全３０ブロックに対するチェックを終了した場合にステップＳ１８０を肯定判定して図５による処理を終了する。以上の処理により、全３０ブロックのそれぞれの位置に対応させて使用する部品画像SelectPhotoが決まる。
【００３８】
上述したステップＳ１００を否定判定して進むステップ１２０において、ＣＰＵ１６は、参照画像TargetPhotoの注目ブロックにおける色相情報BlockRGBとの比較対象を、部品画像群SearchLevel内で未チェックの部品画像SelectPhotoの画像全体の色相情報WholeRGBへ変更する。すなわち、ステップＳ４０へ戻って部品画像群SearchLevelの中から他の部品画像(SelectPhoto)を１つ選択し、上述した処理を繰り返す。
【００３９】
上述したステップＳ１１０を否定判定して進むステップ１３０において、ＣＰＵ１６は、比較対象である注目ブロックが無彩色か否かを判定する。ＣＰＵ１６は、参照画像TargetPhotoの注目ブロックにおける色相情報BlockRGBが無彩色を示す（たとえば、BlockR：BlockG：BlockB＝１：１：１)場合にステップＳ１３０を肯定判定してステップＳ１４０へ進む。ＣＰＵ１６は、参照画像TargetPhotoの注目ブロックにおける色相情報BlockRGBが無彩色を示さない（たとえば、BlockR：BlockG：BlockB≠１：１：１)場合にステップＳ１３０を否定判定してステップＳ１６０へ進む。
【００４０】
ステップＳ１４０において、ＣＰＵ１６は、部品画像SerchPhotoをモノクロ画像へ変換してステップＳ１５０へ進む。ステップＳ１５０において、ＣＰＵ１６は、モノクロ画像を明度変換（変換後のモノクロ画像の明るさWholeLevelを参照画像TargetPhotoの注目ブロックにおける明るさBlockLevelに揃える）してステップＳ１７０へ進む。
【００４１】
上述したステップＳ１３０を否定判定して進むステップＳ１６０において、ＣＰＵ１６は、比較対象である注目ブロックの色を示すデータ（色相情報BlockRGB）をＳＤＲＡＭ１４へ記録してステップＳ１８０へ進む。これにより、注目ブロックの位置情報と、該注目ブロックにおいて足りない色を示す情報とがＳＤＲＡＭ１４に保存される。
【００４２】
上述したステップＳ１８０を否定判定して進むステップＳ１９０において、ＣＰＵ１６は、注目ブロックを、参照画像TargetPhotoの全３０ブロックのうち未チェックのブロックへ変更してステップＳ２０へ戻る。
【００４３】
＜モザイク度の変更＞
図６は、フォトモザイク画像のブロックを説明する図である。本実施形態では、撮像素子１２の分割ブロック（図６において(A)）を固定（本説明では分割数３０）とし、フォトモザイク画像を生成する際の分割ブロック（図６において(B)）について、ユーザー操作により変更可能とする。ユーザーは、たとえば、操作部材２０を操作することによってフォトモザイク画像における分割ブロックの大きさを変化させる。フォトモザイク画像における分割ブロックの大きさが変わると、フォトモザイク画像のモザイク度が変わる。
【００４４】
図６の例では、フォトモザイク画像における分割ブロックの大きさの最小単位は、撮像素子１２の分割ブロックの大きさに対応させる。最小単位の場合の分割数は、撮像素子１２の分割数と同じ３０である。一方、フォトモザイク画像における分割ブロックの大きさの最大単位は、たとえば、撮像素子１２の分割ブロックの１６倍の大きさに対応させる。フォトモザイク画像における分割数が大きい（分割ブロックの大きさの最小単位が小さい）場合は精細なフォトモザイク画像が生成され、フォトモザイク画像における分割数が小さい（分割ブロックの大きさの最小単位が大きい）場合は大雑把なフォトモザイク画像が生成される。
【００４５】
＜フォトモザイク画像生成の流れ＞
ＣＰＵ１６が、フォトモザイク画像を生成する処理の流れについて、図７に例示するフローチャートを参照して説明する。ユーザーは、操作部材２０を操作することによってフォトモザイク画像の生成開始を指示する。ＣＰＵ１６は、フォトモザイク画像の生成開始を示す操作信号が入力された場合に図７による処理を起動する。
【００４６】
図７のステップＳ５１０において、ＣＰＵ１６は、メモリカード３０に記憶される撮影画像の中から１つの参照画像TargetPhotoを選択してステップＳ５２０へ進む。たとえば、ユーザーが操作部材２０を操作することにより、選択すべき参照画像を示す操作信号がＣＰＵ１６に入力される。
【００４７】
ステップＳ５２０において、ＣＰＵ１６は、メモリカード３０に記憶される撮影画像の中から複数の部品画像SelectPhotosを選択してステップＳ５３０へ進む。たとえば、ユーザーが操作部材２０を操作することにより、候補とする（部品画像として使用を認める）複数の部品画像を示す操作信号がＣＰＵ１６に入力される。
【００４８】
ステップＳ５３０において、ＣＰＵ１６は、選択した参照画像TargetPhotoおよび部品画像SelectPhotosの画像データに、フォトモザイク画像用のデータが存在するか否かを判定する。フォトモザイク画像用のデータは、上述したように、撮影画像のブロックごとの明るさ情報BlockLevelと、撮影画像のブロックごとの色相情報BlockRGBと、撮影画像全体の明るさ情報WholeLevelと、撮影画像全体の色相情報WholeRGBである。ＣＰＵ１６は、フォトモザイク画像用のデータが存在する場合にステップＳ５３０を肯定判定してステップＳ５４０へ進み、フォトモザイク画像用のデータが存在しない場合にスはテップＳ５３０を否定判定してステップＳ６４０へ進む。
【００４９】
ステップＳ５４０において、ＣＰＵ１６は、フォトモザイク画像の分割ブロック数を選択してステップＳ５５０へ進む。たとえば、ユーザーが操作部材２０を操作することにより、フォトモザイク画像における分割ブロック数（すなわち、分割ブロックの大きさ）を示す操作信号がＣＰＵ１６に入力される。
【００５０】
ステップＳ５５０において、ＣＰＵ１６は、ステップＳ５２０で選択した部品画像群SelectPhotosをソートしてステップＳ５６０へ進む。ソートは上述した図５のステップＳ１０の場合と同様である。ステップＳ５６０において、ＣＰＵ１６は、部品画像の検索処理を行ってステップＳ５７０へ進む。上述した図５の処理に相当する。これにより、参照画像TargetPhotoにおける注目ブロックごとに、使用する部品画像SearchPhotoを決定する。
【００５１】
ステップＳ５７０において、ＣＰＵ１６は、決定した部品画像SearchPhotoを用いてフォトモザイク画像を生成し、ステップＳ５８０へ進む。ステップＳ５８０において、ＣＰＵ１６は、生成したフォトモザイク画像をＬＣＤモニタ１５にプレビュー表示させてステップＳ５９０へ進む。図８は、ＬＣＤモニタ１５に表示されたプレビュー画像を例示する図である。
【００５２】
ステップＳ５９０において、ＣＰＵ１６は、検索処理（図５）後の部品画像に不足があるか否かを判定する。ＣＰＵ１６は、ＳＤＲＡＭ１４にステップＳ１６０（図５）において記録したデータが記憶されている場合にステップＳ５９０を肯定判定し、ステップＳ６３０へ進む。ＣＰＵ１６は、ＳＤＲＡＭ１４にステップＳ１６０（図５）において記録したデータが記憶されていない場合には、ステップＳ５９０を否定判定してステップＳ６００へ進む。
【００５３】
ステップＳ６００において、ＣＰＵ１６は、保存確認表示として、たとえば「この画像を保存する場合はＯＫボタンを押して下さい。保存しない場合はキャンセルして下さい。」というメッセージをＬＣＤモニタ１５に表示させてステップＳ６１０へ進む。ステップＳ６１０において、ＣＰＵ１６は、ユーザーにより選択操作がなされたか否かを判定する。ＣＰＵ１６は、操作部材２０から「ＯＫ」ボタンの押下操作信号が入力された場合にステップＳ６１０を肯定判定してステップＳ６２０へ進む。ＣＰＵ１６は、操作部材２０から「キャンセル」を示す操作信号が入力された場合には、ステップＳ６１０を否定判定して図７による処理を終了する。
【００５４】
ステップＳ６２０において、ＣＰＵ１６は、フォトモザイク画像のデータを画像ファイルとして記憶媒体３０に保存させて図７による処理を終了する。上述したステップＳ５９０を肯定判定した場合に進むステップＳ６３０において、ＣＰＵ１６は、不足しているブロック色を示す表示をＬＣＤモニタ１５に表示させて図７による処理を終了する。図９は、ＬＣＤモニタ１５の表示画面を例示する図である。図９において、プレビュー表示画像の下部に、たとえば「足りない色があります。不足する色の画像を撮影して下さい。」というメッセージを表示させる。このメッセージ表示により、ユーザーに部品画像となり得る画像を取得するために新たな撮影を促す。ＣＰＵ１６は、ステップＳ１６０（図５）においてＳＤＲＡＭ１４に記録したデータに基づいて、注目ブロックの位置情報をプレビュー表示画像上に表示させ、該注目ブロックにおいて足りない色をメッセージの近くに表示させる。
【００５５】
上述したステップＳ５３０を否定判定した場合に進むステップＳ６４０において、ＣＰＵ１６は、選択された画像がフォトモザイク画像合成用のものでないことを知らせるメッセージをＬＣＤモニタ１５に表示させて、図７による処理を終了する。
【００５６】
以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１は、参照画像に基づいて複数の部品画像を組合わせて参照画像に類似する画像を合成するＣＰＵ１６と、部品画像群の中から画像合成に用いる複数の部品画像を選択するＣＰＵ１６と、ＣＰＵ１６によって選択された各部品画像について、該部品画像の色WholeRGBが対応する参照画像のブロックの色BlockRGBと類似しているか否かをそれぞれ判定するＣＰＵ１６と、ＣＰＵ１６によって否定判定された部品画像の代わりに、部品画像群に含まれる部品画像に、たとえばモノクロ変換や明度変換を施すことによって新たな部品画像を生成するＣＰＵ１６とを備えるようにした。これにより、モザイク生成に適した部品画像を有していない場合でも、適切にモザイク画像を合成できる。
【００５７】
（２）上記（１）の電子カメラ１において、ＣＰＵ１６は、参照画像の所定ブロックごとに該ブロックの色に最も近い色の部品画像を部品画像群からそれぞれ選択し、ＣＰＵ１６は、選択した部品画像の色と対応する参照画像のブロックの色とを対比し、たとえばＲＧＢ色空間上の少なくとも１つの座標軸（Ｒ成分、Ｇ成分、もしくはＢ成分）において所定値以上の差を有する場合に否定判定するようにした。これにより、選択した部品画像の色と、参照画像のブロックの色との間で、色が類似するか否かを適切に判定することができる。
【００５８】
（３）電子カメラ１は、参照画像に基づいて複数の部品画像を組合わせて参照画像に類似する画像を合成するための部品画像群SortLevelAllを、各部品画像の明るさまたは色相に基づいて複数のグループSortLevelＮに分類するＣＰＵ１６と、分類後において部品画像を含まないグループを特定するＣＰＵ１６と、特定したグループに含める部品画像を、他のグループに含まれる部品画像にたとえば補間処理を施すことによって生成するＣＰＵ１６と、分類および部品画像の生成後において画像合成に用いる複数の部品画像を選択するＣＰＵ１６と、選択した複数の部品画像を組合わせて画像を合成するＣＰＵ１６とを備えるようにしたので、モザイク生成に適した部品画像を有していない場合でも、適切にモザイク画像を合成できる。
【００５９】
（４）上記（３）の電子カメラ１において、ＣＰＵ１６は、グループSortLevelＮ内に含む各部品画像の明るさの差が所定値未満となるようにソートし、参照画像の所定ブロックごとに該ブロックの明るさと合致するグループを複数のグループSortLevelAllの中から選択し、該選択したグループSearchLevel内において部品画像の色と対応する参照画像のブロックの色とを対比し、参照画像のブロックの色と最も類似する色の部品画像SearchPhotoをさらに選択するようにした。明るさと色相の双方が近い部品画像を選ぶ際に、一方（明るさ）に基づいてソートしておくことで、明るさが近い部品画像群の選択が容易になる。その後、明るさが近い部品画像群の中から他方（色相）が近い部品画像を選ぶので、明るさと色相の近い部品画像を一度に選ぶ場合に比べて、選択処理の負担を軽くすることができる。
【００６０】
（５）上記（１）または（２）の電子カメラ１において、ＣＰＵ１６は、対比する参照画像のブロックが無彩色の場合は無彩色の部品画像を生成するようにしたので、モノクロ画像のような無彩色の参照画像に基づくフォトモザイク画像を生成する場合にも適用できる。
【００６１】
（６）上記（５）の電子カメラ１において、ＣＰＵ１６は、無彩色の部品画像の輝度を参照画像のブロックの輝度に変換するようにしたので、無彩色の参照画像であって明るさが異なる場合にも適用できる。
【００６２】
（７）上記（１）、（２）、（５）および（６）のいずれかの電子カメラ１において、ＣＰＵ１６によって新たな部品画像を生成できない場合に報知するＬＣＤモニタ１５をさらに備えるので、たとえば、ユーザーに対して新たな撮影を促すことができる。
【００６３】
（変形例１）
上述した説明では、部品画像をソートする際に、部品画像の明るさ情報、すなわち、部品画像群を構成する各部品画像の画像全体の明るさ情報WholeLevelに応じた並べ替えにより、SortLevel１からSortLevel１０までそれぞれに複数の部品画像が割当てられる例を説明した（図４）。ＣＰＵ１６は、もし、部品画像が割り当てられないSortLevelＮが存在する場合は、当該SortLevelＮを挟むSortLevel(Ｎ＋１)およびSortLevel(Ｎ−１)に割当てられた部品画像を用いた補間処理により、SortLevelＮに割り当てる部品画像を生成するようにしてもよい。
【００６４】
（変形例２）
上述した説明では、部品画像をソートする際に、部品画像の明るさ情報、すなわち、部品画像群を構成する各部品画像の画像全体の明るさ情報WholeLevelに応じた並べ替えを行った。この代わりに、部品画像の色相情報、すなわち、部品画像群を構成する各部品画像の画像全体の色相情報WholeRGBに応じた並べ替えを行うように構成してもよい。この場合のＣＰＵ１６は、参照画像における注目ブロックの明るさ情報BlockLevel、およびこのブロックの色相情報BlockRGBと値が合致する、または値が近い画像全体の明るさ情報WholeLevel、および画像全体の色相情報WholeRGBを有する部品画像を探す場合、先ず注目ブロックの色相情報BlockRGBと同レベルで色相が類似する部品画像群を選び、この部品画像群に含まれる部品画像の中から注目ブロックの明るさ情報BlockLevelと値が合致する、または値が近い画像全体の明るさ情報WholeLevelを有する部品画像を探す。
【００６５】
変形例２では、明るさと色相の双方が近い部品画像を選ぶ際に、一方（色相）に基づいてソートしておくことで、色相が近い部品画像群の選択が容易になる。その後、色相が近い部品画像群の中から他方（明るさ）が近い部品画像を選ぶので、明るさと色相の近い部品画像を一度に選ぶ場合に比べて、選択処理の負担を軽くすることができる。
【００６６】
（変形例３）
上述した説明では、フォトモザイク画像で使用する部品画像が不足する場合には、フォトモザイク画像をプレビュー表示した後から、不足する色およびその位置をまとめて知らせるようにした（ステップＳ６３０（図７））。この代わりに、部品画像の検索処理において部品画像の不足が判明した場合には、その都度部品画像の不足を知らせる表示を行うように構成してもよい。
【００６７】
（変形例４）
上述した説明では、フォトモザイク画像で使用する部品画像が不足する場合には、不足する色およびその位置をまとめて知らせる（ステップＳ６３０（図７））だけで、フォトモザイク画像を保存しない例を説明した。この代わりに、部品画像が不足する場合であっても保存確認を表示を行うことにより、プレビュー表示しているフォトモザイク画像を記憶媒体３０に記録するか否かの操作をユーザーに促すように構成してもよい。
【００６８】
（第二の実施形態）
第一の実施形態では、電子カメラ１に画像処理装置を搭載する例を説明したが、画像処理装置をパーソナルコンピュータによって構成するようにしてもよい。図５および図７に例示したフローチャートによる処理を行うプログラムを図１０に示すコンピュータ装置１００に実行させることにより、画像処理装置を構成してもよい。プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。
【００６９】
パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００７０】
以上説明した第二の実施形態によれば、第一の実施形態と同様の作用効果が得られる。なお、パーソナルコンピュータによって構成する他にも、デジタルフォトフレームやプロジェクタ等にも上述したフォトモザイク画像を生成させるように構成して構わない。
【００７１】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００７２】
１…電子カメラ
１２…撮像素子
１３…画像処理部
１４…ＳＤＲＡＭ
１５…ＬＣＤモニタ
１６…ＣＰＵ
１７…不揮発性メモリ
３０、１０４…記憶媒体
１００…パーソナルコンピュータ
【特許請求の範囲】
【請求項１】
参照画像に基づいて複数の部品画像を組合わせて前記参照画像に類似する画像を合成する画像合成手段と、
部品画像群の中から前記画像合成に用いる前記複数の部品画像を選択する選択手段と、
前記選択手段によって選択された各部品画像について、該部品画像の色が対応する前記参照画像の領域の色と類似しているか否かをそれぞれ判定する判定手段と、
前記判定手段によって否定判定された部品画像の代わりに、前記部品画像群に含まれる部品画像に画像処理を施すことによって新たな部品画像を生成する部品画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記選択手段は、前記参照画像の所定領域ごとに該領域の色に最も近い色の部品画像を前記部品画像群からそれぞれ選択し、
前記判定手段は、前記選択された部品画像の色と対応する前記参照画像の領域の色とを対比し、色空間上の少なくとも１つの座標軸において所定値以上の差を有する場合に前記否定判定することを特徴とする画像処理装置。
【請求項３】
参照画像に基づいて複数の部品画像を組合わせて前記参照画像に類似する画像を合成するための部品画像群を、各部品画像の明るさまたは色相に基づいて複数のグループに分類する分類手段と、
前記分類後において部品画像を含まないグループを特定する特定手段と、
前記特定されたグループに含める部品画像を、他のグループに含まれる部品画像に画像処理を施すことによって生成する部品画像生成手段と、
前記分類および前記部品画像の生成後において前記画像合成手段が用いる前記複数の部品画像を選択する選択手段と、
前記選択された前記複数の部品画像を組合わせて前記画像を合成する画像合成手段と、
を備えることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記分類手段は、前記グループ内に含む各部品画像の明るさの差が所定値未満となるように分類し、
前記選択手段は、前記参照画像の所定領域ごとに該領域の明るさと合致するグループを前記複数のグループの中から選択し、該選択したグループ内において部品画像の色と対応する前記参照画像の領域の色とを対比し、前記参照画像の領域の色と最も類似する色の部品画像をさらに選択することを特徴とする画像処理装置。
【請求項５】
請求項１または２に記載の画像処理装置において、
前記部品画像生成手段は、対比する前記参照画像の領域が無彩色の場合は無彩色の部品画像を生成することを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記部品画像生成手段は、前記無彩色の部品画像の輝度を前記参照画像の領域の輝度に変換することを特徴とする画像処理装置。
【請求項７】
請求項１、２、５および６のいずれか一項に記載の画像処理装置において、
前記部品画像生成手段によって新たな部品画像を生成できない場合に報知する報知手段をさらに備えることを特徴とする画像処理装置。
【請求項１】
参照画像に基づいて複数の部品画像を組合わせて前記参照画像に類似する画像を合成する画像合成手段と、
部品画像群の中から前記画像合成に用いる前記複数の部品画像を選択する選択手段と、
前記選択手段によって選択された各部品画像について、該部品画像の色が対応する前記参照画像の領域の色と類似しているか否かをそれぞれ判定する判定手段と、
前記判定手段によって否定判定された部品画像の代わりに、前記部品画像群に含まれる部品画像に画像処理を施すことによって新たな部品画像を生成する部品画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記選択手段は、前記参照画像の所定領域ごとに該領域の色に最も近い色の部品画像を前記部品画像群からそれぞれ選択し、
前記判定手段は、前記選択された部品画像の色と対応する前記参照画像の領域の色とを対比し、色空間上の少なくとも１つの座標軸において所定値以上の差を有する場合に前記否定判定することを特徴とする画像処理装置。
【請求項３】
参照画像に基づいて複数の部品画像を組合わせて前記参照画像に類似する画像を合成するための部品画像群を、各部品画像の明るさまたは色相に基づいて複数のグループに分類する分類手段と、
前記分類後において部品画像を含まないグループを特定する特定手段と、
前記特定されたグループに含める部品画像を、他のグループに含まれる部品画像に画像処理を施すことによって生成する部品画像生成手段と、
前記分類および前記部品画像の生成後において前記画像合成手段が用いる前記複数の部品画像を選択する選択手段と、
前記選択された前記複数の部品画像を組合わせて前記画像を合成する画像合成手段と、
を備えることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記分類手段は、前記グループ内に含む各部品画像の明るさの差が所定値未満となるように分類し、
前記選択手段は、前記参照画像の所定領域ごとに該領域の明るさと合致するグループを前記複数のグループの中から選択し、該選択したグループ内において部品画像の色と対応する前記参照画像の領域の色とを対比し、前記参照画像の領域の色と最も類似する色の部品画像をさらに選択することを特徴とする画像処理装置。
【請求項５】
請求項１または２に記載の画像処理装置において、
前記部品画像生成手段は、対比する前記参照画像の領域が無彩色の場合は無彩色の部品画像を生成することを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記部品画像生成手段は、前記無彩色の部品画像の輝度を前記参照画像の領域の輝度に変換することを特徴とする画像処理装置。
【請求項７】
請求項１、２、５および６のいずれか一項に記載の画像処理装置において、
前記部品画像生成手段によって新たな部品画像を生成できない場合に報知する報知手段をさらに備えることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１３３４４８（Ｐ２０１２−１３３４４８Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８２９１６（Ｐ２０１０−２８２９１６）
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]