画像処理装置、および画像表示装置
【課題】モザイク画像を生成すること。
【解決手段】パソコン１００は、動画を構成する複数のコマの中からタイル画を選択する選択手段と、選択手段によって選択されたタイル画と動画内で時系列に連続する複数のコマを抽出する抽出手段と、選択手段によって選択されたタイル画と、抽出手段によって抽出された複数のコマとを時系列で並べた動画を作成する動画作成手段と、選択手段によって選択されたタイル画を配置してモザイク画像を生成するとともに、動画作成手段によって生成された動画をタイル画に関連付けて記録するモザイク画像生成手段とを備える。
【解決手段】パソコン１００は、動画を構成する複数のコマの中からタイル画を選択する選択手段と、選択手段によって選択されたタイル画と動画内で時系列に連続する複数のコマを抽出する抽出手段と、選択手段によって選択されたタイル画と、抽出手段によって抽出された複数のコマとを時系列で並べた動画を作成する動画作成手段と、選択手段によって選択されたタイル画を配置してモザイク画像を生成するとともに、動画作成手段によって生成された動画をタイル画に関連付けて記録するモザイク画像生成手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像表示装置に関する。
【背景技術】
【０００２】
次のような画像処理装置が知られている。この画像処理装置では、動画像を用いてモザイク画像を生成することができる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２８７０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像処理装置では、動画像を用いてモザイク画像を生成するのみで、生成元の動画像を効果的に利用することについては検討されていなかった。
【課題を解決するための手段】
【０００５】
本発明による画像処理装置は、複数の画像をタイル画として配置して１枚のモザイク画像を生成するための画像処理装置であって、動画を構成する複数のコマの中からタイル画を選択する選択手段と、選択手段によって選択されたタイル画と動画内で時系列に連続する複数のコマを抽出する抽出手段と、選択手段によって選択されたタイル画と、抽出手段によって抽出された複数のコマとを時系列で並べた動画を作成する動画作成手段と、選択手段によって選択されたタイル画を配置してモザイク画像を生成するとともに、動画作成手段によって生成された動画をタイル画に関連付けて記録するモザイク画像生成手段とを備えることを特徴とする。
本発明による画像表示装置は、上記画像処理装置によって生成されたモザイク画像をモニタに表示する表示制御手段と、モニタ上でモザイク画像を構成するタイル画のいずれかが指定された場合には、そのタイル画に関連付けて記録されている動画を再生する再生手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、モザイク画像に関連付けてモザイク画像を構成するタイル画を含んだ動画を記録することで、モザイク画像の生成元となった動画を効果的に利用することができる。
【図面の簡単な説明】
【０００７】
【図１】パソコンの一実施の形態の構成を示すブロック図である。
【図２】モザイク画像生成処理の流れを示すフローチャート図である。
【図３】動画作成処理の流れを示すフローチャート図である。
【図４】表示画面の具体例を示す図である。
【発明を実施するための形態】
【０００８】
図１は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置としては、例えば、パーソナルコンピュータ（パソコン）１００が用いられ、このパソコン１００は、操作部材１０１と、接続ＩＦ（インターフェース）１０２と、制御装置１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。
【０００９】
操作部材１０１は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１０２は、パソコン１００と外部機器とを接続するためのインターフェースである。本実施の形態では、パソコン１００は、この接続ＩＦ１０２を介してデジタルカメラと接続され、デジタルカメラからは撮影によって得られた画像ファイルが取り込まれる。なお、接続ＩＦ１０２としては、パソコン１００とデジタルカメラとを有線接続するためのＵＳＢインターフェースや、無線接続するための無線ＬＡＮモジュールなどが用いられる。
【００１０】
制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、パソコン１００の全体を制御する。なお、制御装置１０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリを含む。
【００１１】
ＨＤＤ１０４は、接続ＩＦ１０２を介して取り込まれた画像データや動画データ、制御装置１０３で実行される種々のプログラムのデータ等を記録するための記録装置である。なお、ＨＤＤ１０４に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されて提供され、使用者が当該記憶媒体を用いてプログラムのデータをＨＤＤ１０４にインストールすることによって、制御装置１０３がプログラムを実行できるようになる。本実施の形態では、ＨＤＤ１０４には、画像を表示するための画像表示アプリケーションがインストールされている。モニタ１０５は、例えば液晶モニタであって、制御装置１０３から出力される種々の表示用データが表示される。
【００１２】
本実施の形態におけるパソコン１００では、制御装置１０３は、複数の画像をタイル画として配置して１枚のモザイク画像を生成することができる。このとき、制御装置１０３は、ＨＤＤ１０４に記録されている動画データを読み出し、動画を構成する複数のコマの中からタイル画を選択してモザイク画像を生成することができる。具体的には、以下のような処理を行う。
【００１３】
図２は、本実施の形態におけるモザイク画像生成処理の流れを示すフローチャートである。図２に示す処理は、使用者によって操作部材１０１が操作されることにより、モザイク画像の生成が指示されると起動するプログラムとして、制御装置１０３によって実行される。
【００１４】
ステップＳ１０において、制御装置１０３は、モザイク画像（フォトモザイク）の元絵となる画像を登録する。本実施の形態では、例えば、制御装置１０３は、使用者に対して、モザイク画像の元絵となる画像の指定を促し、使用者によって指定された画像を元絵として登録する。使用者は、例えば、ＨＤＤ１０４に記録されている画像の中から元絵にしたい画像を選択して指定する。その後、ステップＳ２０へ進む。
【００１５】
ステップＳ２０では、制御装置１０３は、タイル画を抽出する動画データを登録する。本実施の形態では、例えば、制御装置１０３は、使用者に対して、タイル画を抽出する動画データの指定を促し、使用者によって指定された動画データを登録する。使用者は、例えば、ＨＤＤ１０４に記録されている動画データの中から少なくとも１つの動画データを選択して指定する。その後、ステップＳ３０へ進む。
【００１６】
ステップＳ３０では、制御装置１０３は、元絵の分割数の指定を使用者に促す。例えば、使用者が元絵の分割数として２５６×２５６を選んだ場合には、元絵を２５６×２５６の領域に分割し、後述する処理において、それぞれの分割領域内の画像に類似する画像を動画から抽出し、これらをタイル画として配置することにより、モザイク画像が生成される。
【００１７】
その後、ステップＳ４０へ進み、制御装置１０３は、元絵の各分割領域内の画像を数値化する。本実施の形態では、制御装置１０３は、例えば、元絵の分割領域内の画像を対象として全画素のＲ、Ｇ、Ｂの各値の平均値を算出することにより、元絵の分割領域内の画像を数値化する。これにより、元絵の分割領域内の画像に対して、Ｒの平均値、Ｇの平均値、Ｂの平均値がそれぞれ算出される。その後、ステップＳ５０へ進む。
【００１８】
ステップＳ５０では、制御装置１０３は、ステップＳ２０で登録した動画データの各コマを、ステップＳ４０で元絵を数値化したものと同じ指標を用いて数値化する。ここでは、ステップＳ４０と同様に、動画データの各フレームに対応する画像データ（以後単に「
フレーム」または「コマ」と称す）を対象として全画素のＲ、Ｇ、Ｂの各値の平均値を算出することにより、動画データの各フレーム（コマ）を数値化する。これにより、動画データの各コマに対して、Ｒの平均値、Ｇの平均値、Ｂの平均値がそれぞれ算出される。その後、ステップＳ６０へ進む。
【００１９】
ステップＳ６０では、制御装置１０３は、動画から抽出したフレームをタイル画として割り当てられていない元絵の分割領域が残っているか否かを判断する。ステップＳ６０で肯定判断した場合には、ステップＳ７０へ進む。
【００２０】
ステップＳ７０では、制御装置１０３は、ステップＳ４０で元絵の各分割領域を数値化することによって得た値と、ステップＳ５０で動画データの各コマを数値化することによって得た値とを比較する。そして、制御装置１０３は、元絵のそれぞれの分割領域について、元絵の分割領域の数値と、動画データのコマを数値との差分が最も小さいコマを特定し、特定したコマをその分割領域に配置するタイル画として選択する。例えば、元絵の分割領域内の画像のＲの平均値と動画データのコマのＲの平均値との差分、元絵の分割領域内の画像のＧの平均値と動画データのコマのＧの平均値との差分、元絵の分割領域内の画像のＢの平均値と動画データのコマのＢの平均値との差分をそれぞれ算出し、算出した差分の全てが所定の閾値より小さいコマをタイル画として選択する。
【００２１】
その後、ステップＳ８０へ進み、制御装置１０３は、ステップＳ７０でタイル画として選択したコマの前後の所定のコマを抽出する。本実施の形態では、後述する図３の処理で生成される動画データを構成するコマ数よりも多いコマ数のコマを抽出する。例えば、後述する図３の処理で生成される動画データが４秒分の動画を作成するためのコマ数で構成される場合には、制御装置１０３は、それよりも多いコマ数、例えば、ステップＳ７０でタイル画として選択したコマの前後４秒ずつを抽出する。そして、制御装置１０３は、抽出した複数のコマをステップＳ７０で選択したタイル画と関連付けてバッファメモリに一時記録する。さらに、制御装置１０３は、ステップＳ７０でタイル画として選択したコマと、ステップＳ８０で抽出したコマを、後のステップＳ７０での比較対象から除外する。これによって、一度タイル画として選択されたコマや、タイル画と合わせて記録されたコマが、重複して他の分割領域に対するタイル画として選択されることを防ぐことができる。その後、ステップＳ６０へ戻る。
【００２２】
これに対して、ステップＳ６０で否定判断した場合には、ステップＳ９０へ進み、制御装置１０３は、タイル画の選択を完了して、図３に示す動画作成処理へ移行する。次に、図３に示す動画作成処理について説明する。
【００２３】
ステップＳ１００〜Ｓ１９０では、制御装置１０３は、ステップＳ７０で選択したタイル画と、ステップＳ８０で抽出したタイル画の以前の所定期間（予め決められている秒数。以降、本実施形態ではこの所定期間を４秒間として説明する）の動画を構成する複数フレームおよび／またはタイル画の以後の所定期間（例えば４秒間）の動画を構成する複数フレーム（以下「候補フレーム（候補コマ）」と呼ぶ）とを用いて、タイル画を含む所定期間（４秒分）の動画データを作成する。まず、ステップＳ１００において、制御装置１０３は、これらの候補コマをどのように選択して４秒分の動画データを作成するかの設定を行う。本実施の形態では、あらかじめ使用者によって、以下の（Ａ）〜（Ｄ）のいずれかの選択条件で候補コマの中から４秒分の動画データを構成するコマを選択するかが指定されているものとし、制御装置１０３は、使用者による指定に基づいて、以下の（Ａ）〜（Ｄ）のいずれかの選択条件を設定する。
【００２４】
（Ａ）タイル画の以後４秒間の複数フレーム（複数コマ）を選択して４秒分の動画データを作成
使用者は、タイル画を含んだタイル画の以後４秒分のフレーム（コマ）を用いて４秒分の動画を生成するように指定することができる。この場合には、ステップＳ１１０において、制御装置１０３は、候補コマの中からタイル画とタイル画の後ろに連続した４秒分のコマを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１１０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００２５】
（Ｂ）タイル画の以前４秒間の複数フレーム（複数コマ）を選択して４秒分の動画データを作成
使用者は、タイル画を含んだタイル画の以前４秒分のフレーム（コマ）を用いて４秒分の動画を生成するように指定することができる。この場合には、ステップＳ１２０において、制御装置１０３は、候補コマの中からタイル画とタイル画の前に連続した４秒分のコマを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１２０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００２６】
（Ｃ）タイル画の前２秒分と後２秒分のフレーム（コマ）を選択して４秒分の動画データを作成
使用者は、タイル画を含んだタイル画の前後２秒ずつの範囲に存在する複数のフレーム（複数コマ）を用いて４秒分の動画を生成するように指定することができる。この場合には、ステップＳ１３０において、制御装置１０３は、候補コマの中からタイル画と、タイル画の前に連続した２秒分のコマと、タイル画の後に連続した２秒分のコマとを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１３０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００２７】
（Ｄ）自動的に４秒分のコマを選択して４秒分の動画データを作成
使用者は、候補コマの中から、タイル画を含む４秒分のコマを自動的に選択して動画データを生成するように指示することができる。この場合は、ステップＳ１４０において、制御装置１０３は、自動選択処理を開始し、ステップＳ１５０〜ステップＳ１８０の処理を実行する。
【００２８】
まず、ステップＳ１５０へ進み、制御装置１０３は、候補コマの中に特定の被写体が写っているコマがあるか否かを判断する。例えば、使用者は、あらかじめ特定の人物や物などの主要被写体を特定するための画像を登録しておき、制御装置１０３は、候補コマの中にあらかじめ登録されている主要被写体が写っているか否かを判断する。ステップＳ１５０で肯定判断した場合には、制御装置１０３は、タイル画と主要被写体が写っているコマとを含むように、候補コマの中から連続した４秒分のコマを選択する。このとき、制御装置１０３は、候補コマの中に主要被写体が写っているコマが複数ある場合には、主要被写体が写っているコマが最も多くなるように４秒分のコマを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１５０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００２９】
ステップＳ１５０で否定判断した場合には、ステップＳ１６０へ進み、制御装置１０３は、候補コマの中に音が記録されているコマがあるか否かを判断する。例えば、ステップＳ２０で登録した動画データのタイムスタンプに合わせて音が記録されている場合には、制御装置１０３は、候補コマに音が記録されているか否かを判定することができる。ステップＳ１６０で肯定判断した場合には、制御装置１０３は、タイル画と音が記録されているコマとを含むように、候補コマの中から連続した４秒分のコマを選択する。このとき、制御装置１０３は、候補コマの中に音が記録されているコマが複数ある場合には、最も大きな音が記録されているコマを含むように４秒分のコマを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１６０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００３０】
ステップＳ１６０で否定判断した場合には、ステップＳ１７０へ進み、制御装置１０３は、候補コマの中に連続するコマ間の変化量が少ないコマがあるか否かを判断する。例えば、制御装置１０３は、ステップＳ５０で算出した各コマのＲ、Ｇ、Ｂのそれぞれの平均値を連続するコマ間で比較し、Ｒ、Ｇ、Ｂの全ての平均値の差が所定の閾値以下となるコマが候補コマの中に含まれているか否かを判断する。ステップＳ１７０で肯定判断した場合には、制御装置１０３は、タイル画とコマ間の変化量が少ない連続したコマとを含むように、候補コマの中から連続した４秒分のコマを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１７０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００３１】
ステップＳ１７０で否定判断した場合には、ステップＳ１８０へ進み、制御装置１０３は、ステップＳ１１０と同様に、候補コマの中からタイル画とタイル画の後に連続した４秒分のコマを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１７０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００３２】
ステップＳ２００では、制御装置１０３は、ステップＳ７０で選択したタイル画を、対応する元絵の分割領域に対応する位置に配置したモザイク画像を作成して、ＨＤＤ１０４に記録する。また、制御装置１０３は、モザイク画像を構成する各タイル画に関連付けて、ステップＳ１９０で作成した動画データをＨＤＤ１０４に記録する。これにより制御装置１０３は、モザイク画像の作成を完了する。
【００３３】
本実施の形態では、使用者は、上記処理で作成されたモザイク画像をモニタ１０５に表示させて鑑賞することができる。制御装置１０３は、使用者によってモザイク画像の表示が指示された場合には、図４に示すような表示画面４ａをモニタ１０５に表示する。表示画面４ａは、モザイク画像を表示するための領域４ｂと、動画を再生するための領域４ｃとを有しており、制御装置１０３は、上述した処理で作成したモザイク画像をＨＤＤ１０４から読み出して領域４ｂ内に表示する。なお、図４においては、領域４ｂ内のモザイク画像は、１６×１６個のタイル画で構成される例について示しているが、これに限定されず、タイル画の数は、図２のステップＳ３０で設定した分割数に応じた数となる。また、図４では、モザイク画像は簡略化して示してある。
【００３４】
本実施の形態では、使用者は、操作部材１０１を操作して、モザイク画像内の任意のタイル画を選択することができる。制御装置１０３は、使用者によっていずれかのタイル画が選択された場合には、そのタイル画に関連付けて記録されている動画データをＨＤＤ１０４から読み出して、領域４ｃ内に表示して再生する。例えば、使用者によってタイル画４ｄが選択された場合には、制御装置１０３は、タイル画４ｄに関連付けて記録されている動画データをＨＤＤ１０４から読み出して領域４ｃ内で再生を行う。これによって、領域４ｃ内には、タイル画４ｄに関連付けて記録されている４秒分の動画が再生される。また、使用者によってタイル画４ｅが選択された場合には、制御装置１０３は、タイル画４ｅに関連付けて記録されている動画データをＨＤＤ１０４から読み出して領域４ｃ内で再生を行う。これによって、領域４ｃ内には、タイル画４ｅに関連付けて記録されている４秒分の動画が再生される。
【００３５】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０３は、動画を構成する複数のコマの中からタイル画を選択し、選択したタイル画と動画内で時系列に連続する複数のコマを選択し、選択したタイル画と選択した複数のコマとを時系列で並べた動画を作成し、選択したタイル画を配置してモザイク画像を生成するとともに、生成した動画をタイル画に関連付けて記録するようにした。これによって、モザイク画像の生成元となった動画を効果的に利用することができる。
【００３６】
（２）生成する動画のコマ数はあらかじめ設定されており、制御装置１０３は、図２のステップＳ８０において、あらかじめ設定されたコマ数より多い数のコマを動画データから抽出するようにした。これによって、図３の処理において、抽出しておいたコマの中から使用者による指示に応じた条件でコマを選択して、動画データを作成することが可能となる。
【００３７】
（３）動画を生成するためのコマを候補コマの中から選択するための選択条件はあらかじめ設定されており、制御装置１０３は、選択条件に基づいて、候補コマの中から複数のコマを選択するようにした。これによって、使用者からの指示に応じた条件で動画を生成するためのコマを選択することができる。
【００３８】
（４）制御装置１０３は、選択条件として、特定の被写体が写っているコマを優先して選択するように設定されている場合には、候補コマの中から特定の被写体が写っているコマの数が最も多くなるように、複数のコマを選択するようにした。これによって、使用者からの指示に沿ったコマを含むように動画データを生成することができる。
【００３９】
（５）制御装置１０３は、選択条件として、音が記録されているコマを優先して選択するように設定されている場合には、最も大きな音が記録されているコマが含まれるように、複数のコマを選択するようにした。これによって、使用者からの指示に沿ったコマを含むように動画データを生成することができる。
【００４０】
（６）制御装置１０３は、選択条件として、複数のコマ間での画像の変化が少なくなるようにコマ選択するように設定されている場合には、複数のコマ間での画像の変化が少なくなるように、複数のコマを選択するようにした。これによって、使用者からの指示に沿ったコマを含むように動画データを生成することができる。
【００４１】
（７）制御装置１０３は、モザイク画像内でいずれかのタイル画が選択された場合には、そのタイル画に関連付けて記録されている動画を再生するようにした。これによって、タイル画に関連付けて記録されている動画を有効活用することができる。
【００４２】
―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０３は、図２のステップＳ７０において、元絵の分割領域内の画像のＲの平均値と動画データのコマのＲの平均値との差分、元絵の分割領域内の画像のＧの平均値と動画データのコマのＧの平均値との差分、元絵の分割領域内の画像のＢの平均値と動画データのコマのＢの平均値との差分をそれぞれ算出し、算出した差分の全てが所定の閾値より小さいコマをタイル画として選択する例について説明した。しかしながら、タイル画の選択方法はこれに限定されない。例えば、元絵の分割領域内の画像のＲの平均値と動画データのコマのＲの平均値との差分、元絵の分割領域内の画像のＧの平均値と動画データのコマのＧの平均値との差分、元絵の分割領域内の画像のＢの平均値と動画データのコマのＢの平均値との差分をそれぞれ算出し、算出した差分の合計値が最も小さいコマをタイル画として選択するようにしてもよい。あるいは、元絵の分割領域内の画像のＲ、Ｇ、Ｂの各値の比と、動画データのコマのＲ、Ｇ、Ｂの各値の比とが最も近似しているコマをタイル画として選択するようにしてもよい。
【００４３】
（２）上述した実施の形態では、制御装置１０３は、使用者によって、候補コマの中から、タイル画を含む４秒分のコマを自動的に選択して動画データを生成するように指示されている場合には、ステップＳ１５０〜ステップＳ１７０の処理を順番に実行する例について説明した。しかしながら、ステップＳ１５０〜ステップＳ１７０の処理順はこれに限定されない。すなわち、図３の処理では、ステップＳ１５０の判断結果が最も優先度が高く、ステップＳ１７０の判断結果が最も優先度が低くなっているが、この優先度は図３に示すものに限定されない。また上述の実施形態ではタイル画を含む動画データの所定期間（長さ）を４秒分として説明したが、この長さは４秒に限られるものではなくこれよりも長くても短くでも良い。またこの所定期間はユーザーの設定操作によって任意の長さに設定できるようにしても良い。
【００４４】
（３）上述した実施の形態では、制御装置１０３は、使用者によっていずれかのタイル画が選択された場合には、そのタイル画に関連付けて記録されている動画データをＨＤＤ１０４から読み出して、領域４ｃ内に表示して再生する例について説明した。しかしながら、制御装置１０３は、使用者によっていずれかのタイル画が選択された場合には、そのタイル画に関連付けて記録されている動画データをＨＤＤ１０４から読み出して、モザイク画像内のタイル画の表示位置で動画を再生するようにしてもよい。例えば、使用者によってタイル画４ｄが選択された場合には、制御装置１０３は、タイル画４ｄに関連付けて記録されている動画データをＨＤＤ１０４から読み出して、タイル画４ｄの表示位置で動画の再生を行うようにしてもよい。
【００４５】
（４）制御装置１０３は、モザイク画像の中に、使用者によって選択されたタイル画と同じ動画データから選択されたタイル画がある場合には、そのタイル画に関連付けて記録されている動画データもＨＤＤ１０４から読み出して同時に再生するようにしてもよい。
【００４６】
（５）制御装置１０３は、モザイク画像の中に、使用者によって選択されたタイル画と同じ被写体が写っているタイル画がある場合には、そのタイル画に関連付けて記録されている動画データもＨＤＤ１０４から読み出して同時に再生するようにしてもよい。
【００４７】
（６）制御装置１０３は、モザイク画像の中に、使用者によって選択されたタイル画に記録されている音と音響的に近い音が記録されているタイル画がある場合には、そのタイル画に関連付けて記録されている動画データもＨＤＤ１０４から読み出して同時に再生するようにしてもよい。
【００４８】
（７）上述した実施の形態では、画像処理装置としてパソコン１００を用いる例について説明した。しかしながら、図２に示す処理を実行することができる他の装置、例えば、携帯端末やデジタルカメラ等にも本発明を適用することができる。
【００４９】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００５０】
１００ パソコン、１０１ 操作部材、１０２ 接続ＩＦ、１０３ 制御装置、１０４ ＨＤＤ、１０５ モニタ
【技術分野】
【０００１】
本発明は、画像処理装置、および画像表示装置に関する。
【背景技術】
【０００２】
次のような画像処理装置が知られている。この画像処理装置では、動画像を用いてモザイク画像を生成することができる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２８７０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像処理装置では、動画像を用いてモザイク画像を生成するのみで、生成元の動画像を効果的に利用することについては検討されていなかった。
【課題を解決するための手段】
【０００５】
本発明による画像処理装置は、複数の画像をタイル画として配置して１枚のモザイク画像を生成するための画像処理装置であって、動画を構成する複数のコマの中からタイル画を選択する選択手段と、選択手段によって選択されたタイル画と動画内で時系列に連続する複数のコマを抽出する抽出手段と、選択手段によって選択されたタイル画と、抽出手段によって抽出された複数のコマとを時系列で並べた動画を作成する動画作成手段と、選択手段によって選択されたタイル画を配置してモザイク画像を生成するとともに、動画作成手段によって生成された動画をタイル画に関連付けて記録するモザイク画像生成手段とを備えることを特徴とする。
本発明による画像表示装置は、上記画像処理装置によって生成されたモザイク画像をモニタに表示する表示制御手段と、モニタ上でモザイク画像を構成するタイル画のいずれかが指定された場合には、そのタイル画に関連付けて記録されている動画を再生する再生手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、モザイク画像に関連付けてモザイク画像を構成するタイル画を含んだ動画を記録することで、モザイク画像の生成元となった動画を効果的に利用することができる。
【図面の簡単な説明】
【０００７】
【図１】パソコンの一実施の形態の構成を示すブロック図である。
【図２】モザイク画像生成処理の流れを示すフローチャート図である。
【図３】動画作成処理の流れを示すフローチャート図である。
【図４】表示画面の具体例を示す図である。
【発明を実施するための形態】
【０００８】
図１は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置としては、例えば、パーソナルコンピュータ（パソコン）１００が用いられ、このパソコン１００は、操作部材１０１と、接続ＩＦ（インターフェース）１０２と、制御装置１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。
【０００９】
操作部材１０１は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１０２は、パソコン１００と外部機器とを接続するためのインターフェースである。本実施の形態では、パソコン１００は、この接続ＩＦ１０２を介してデジタルカメラと接続され、デジタルカメラからは撮影によって得られた画像ファイルが取り込まれる。なお、接続ＩＦ１０２としては、パソコン１００とデジタルカメラとを有線接続するためのＵＳＢインターフェースや、無線接続するための無線ＬＡＮモジュールなどが用いられる。
【００１０】
制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、パソコン１００の全体を制御する。なお、制御装置１０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリを含む。
【００１１】
ＨＤＤ１０４は、接続ＩＦ１０２を介して取り込まれた画像データや動画データ、制御装置１０３で実行される種々のプログラムのデータ等を記録するための記録装置である。なお、ＨＤＤ１０４に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されて提供され、使用者が当該記憶媒体を用いてプログラムのデータをＨＤＤ１０４にインストールすることによって、制御装置１０３がプログラムを実行できるようになる。本実施の形態では、ＨＤＤ１０４には、画像を表示するための画像表示アプリケーションがインストールされている。モニタ１０５は、例えば液晶モニタであって、制御装置１０３から出力される種々の表示用データが表示される。
【００１２】
本実施の形態におけるパソコン１００では、制御装置１０３は、複数の画像をタイル画として配置して１枚のモザイク画像を生成することができる。このとき、制御装置１０３は、ＨＤＤ１０４に記録されている動画データを読み出し、動画を構成する複数のコマの中からタイル画を選択してモザイク画像を生成することができる。具体的には、以下のような処理を行う。
【００１３】
図２は、本実施の形態におけるモザイク画像生成処理の流れを示すフローチャートである。図２に示す処理は、使用者によって操作部材１０１が操作されることにより、モザイク画像の生成が指示されると起動するプログラムとして、制御装置１０３によって実行される。
【００１４】
ステップＳ１０において、制御装置１０３は、モザイク画像（フォトモザイク）の元絵となる画像を登録する。本実施の形態では、例えば、制御装置１０３は、使用者に対して、モザイク画像の元絵となる画像の指定を促し、使用者によって指定された画像を元絵として登録する。使用者は、例えば、ＨＤＤ１０４に記録されている画像の中から元絵にしたい画像を選択して指定する。その後、ステップＳ２０へ進む。
【００１５】
ステップＳ２０では、制御装置１０３は、タイル画を抽出する動画データを登録する。本実施の形態では、例えば、制御装置１０３は、使用者に対して、タイル画を抽出する動画データの指定を促し、使用者によって指定された動画データを登録する。使用者は、例えば、ＨＤＤ１０４に記録されている動画データの中から少なくとも１つの動画データを選択して指定する。その後、ステップＳ３０へ進む。
【００１６】
ステップＳ３０では、制御装置１０３は、元絵の分割数の指定を使用者に促す。例えば、使用者が元絵の分割数として２５６×２５６を選んだ場合には、元絵を２５６×２５６の領域に分割し、後述する処理において、それぞれの分割領域内の画像に類似する画像を動画から抽出し、これらをタイル画として配置することにより、モザイク画像が生成される。
【００１７】
その後、ステップＳ４０へ進み、制御装置１０３は、元絵の各分割領域内の画像を数値化する。本実施の形態では、制御装置１０３は、例えば、元絵の分割領域内の画像を対象として全画素のＲ、Ｇ、Ｂの各値の平均値を算出することにより、元絵の分割領域内の画像を数値化する。これにより、元絵の分割領域内の画像に対して、Ｒの平均値、Ｇの平均値、Ｂの平均値がそれぞれ算出される。その後、ステップＳ５０へ進む。
【００１８】
ステップＳ５０では、制御装置１０３は、ステップＳ２０で登録した動画データの各コマを、ステップＳ４０で元絵を数値化したものと同じ指標を用いて数値化する。ここでは、ステップＳ４０と同様に、動画データの各フレームに対応する画像データ（以後単に「
フレーム」または「コマ」と称す）を対象として全画素のＲ、Ｇ、Ｂの各値の平均値を算出することにより、動画データの各フレーム（コマ）を数値化する。これにより、動画データの各コマに対して、Ｒの平均値、Ｇの平均値、Ｂの平均値がそれぞれ算出される。その後、ステップＳ６０へ進む。
【００１９】
ステップＳ６０では、制御装置１０３は、動画から抽出したフレームをタイル画として割り当てられていない元絵の分割領域が残っているか否かを判断する。ステップＳ６０で肯定判断した場合には、ステップＳ７０へ進む。
【００２０】
ステップＳ７０では、制御装置１０３は、ステップＳ４０で元絵の各分割領域を数値化することによって得た値と、ステップＳ５０で動画データの各コマを数値化することによって得た値とを比較する。そして、制御装置１０３は、元絵のそれぞれの分割領域について、元絵の分割領域の数値と、動画データのコマを数値との差分が最も小さいコマを特定し、特定したコマをその分割領域に配置するタイル画として選択する。例えば、元絵の分割領域内の画像のＲの平均値と動画データのコマのＲの平均値との差分、元絵の分割領域内の画像のＧの平均値と動画データのコマのＧの平均値との差分、元絵の分割領域内の画像のＢの平均値と動画データのコマのＢの平均値との差分をそれぞれ算出し、算出した差分の全てが所定の閾値より小さいコマをタイル画として選択する。
【００２１】
その後、ステップＳ８０へ進み、制御装置１０３は、ステップＳ７０でタイル画として選択したコマの前後の所定のコマを抽出する。本実施の形態では、後述する図３の処理で生成される動画データを構成するコマ数よりも多いコマ数のコマを抽出する。例えば、後述する図３の処理で生成される動画データが４秒分の動画を作成するためのコマ数で構成される場合には、制御装置１０３は、それよりも多いコマ数、例えば、ステップＳ７０でタイル画として選択したコマの前後４秒ずつを抽出する。そして、制御装置１０３は、抽出した複数のコマをステップＳ７０で選択したタイル画と関連付けてバッファメモリに一時記録する。さらに、制御装置１０３は、ステップＳ７０でタイル画として選択したコマと、ステップＳ８０で抽出したコマを、後のステップＳ７０での比較対象から除外する。これによって、一度タイル画として選択されたコマや、タイル画と合わせて記録されたコマが、重複して他の分割領域に対するタイル画として選択されることを防ぐことができる。その後、ステップＳ６０へ戻る。
【００２２】
これに対して、ステップＳ６０で否定判断した場合には、ステップＳ９０へ進み、制御装置１０３は、タイル画の選択を完了して、図３に示す動画作成処理へ移行する。次に、図３に示す動画作成処理について説明する。
【００２３】
ステップＳ１００〜Ｓ１９０では、制御装置１０３は、ステップＳ７０で選択したタイル画と、ステップＳ８０で抽出したタイル画の以前の所定期間（予め決められている秒数。以降、本実施形態ではこの所定期間を４秒間として説明する）の動画を構成する複数フレームおよび／またはタイル画の以後の所定期間（例えば４秒間）の動画を構成する複数フレーム（以下「候補フレーム（候補コマ）」と呼ぶ）とを用いて、タイル画を含む所定期間（４秒分）の動画データを作成する。まず、ステップＳ１００において、制御装置１０３は、これらの候補コマをどのように選択して４秒分の動画データを作成するかの設定を行う。本実施の形態では、あらかじめ使用者によって、以下の（Ａ）〜（Ｄ）のいずれかの選択条件で候補コマの中から４秒分の動画データを構成するコマを選択するかが指定されているものとし、制御装置１０３は、使用者による指定に基づいて、以下の（Ａ）〜（Ｄ）のいずれかの選択条件を設定する。
【００２４】
（Ａ）タイル画の以後４秒間の複数フレーム（複数コマ）を選択して４秒分の動画データを作成
使用者は、タイル画を含んだタイル画の以後４秒分のフレーム（コマ）を用いて４秒分の動画を生成するように指定することができる。この場合には、ステップＳ１１０において、制御装置１０３は、候補コマの中からタイル画とタイル画の後ろに連続した４秒分のコマを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１１０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００２５】
（Ｂ）タイル画の以前４秒間の複数フレーム（複数コマ）を選択して４秒分の動画データを作成
使用者は、タイル画を含んだタイル画の以前４秒分のフレーム（コマ）を用いて４秒分の動画を生成するように指定することができる。この場合には、ステップＳ１２０において、制御装置１０３は、候補コマの中からタイル画とタイル画の前に連続した４秒分のコマを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１２０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００２６】
（Ｃ）タイル画の前２秒分と後２秒分のフレーム（コマ）を選択して４秒分の動画データを作成
使用者は、タイル画を含んだタイル画の前後２秒ずつの範囲に存在する複数のフレーム（複数コマ）を用いて４秒分の動画を生成するように指定することができる。この場合には、ステップＳ１３０において、制御装置１０３は、候補コマの中からタイル画と、タイル画の前に連続した２秒分のコマと、タイル画の後に連続した２秒分のコマとを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１３０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００２７】
（Ｄ）自動的に４秒分のコマを選択して４秒分の動画データを作成
使用者は、候補コマの中から、タイル画を含む４秒分のコマを自動的に選択して動画データを生成するように指示することができる。この場合は、ステップＳ１４０において、制御装置１０３は、自動選択処理を開始し、ステップＳ１５０〜ステップＳ１８０の処理を実行する。
【００２８】
まず、ステップＳ１５０へ進み、制御装置１０３は、候補コマの中に特定の被写体が写っているコマがあるか否かを判断する。例えば、使用者は、あらかじめ特定の人物や物などの主要被写体を特定するための画像を登録しておき、制御装置１０３は、候補コマの中にあらかじめ登録されている主要被写体が写っているか否かを判断する。ステップＳ１５０で肯定判断した場合には、制御装置１０３は、タイル画と主要被写体が写っているコマとを含むように、候補コマの中から連続した４秒分のコマを選択する。このとき、制御装置１０３は、候補コマの中に主要被写体が写っているコマが複数ある場合には、主要被写体が写っているコマが最も多くなるように４秒分のコマを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１５０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００２９】
ステップＳ１５０で否定判断した場合には、ステップＳ１６０へ進み、制御装置１０３は、候補コマの中に音が記録されているコマがあるか否かを判断する。例えば、ステップＳ２０で登録した動画データのタイムスタンプに合わせて音が記録されている場合には、制御装置１０３は、候補コマに音が記録されているか否かを判定することができる。ステップＳ１６０で肯定判断した場合には、制御装置１０３は、タイル画と音が記録されているコマとを含むように、候補コマの中から連続した４秒分のコマを選択する。このとき、制御装置１０３は、候補コマの中に音が記録されているコマが複数ある場合には、最も大きな音が記録されているコマを含むように４秒分のコマを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１６０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００３０】
ステップＳ１６０で否定判断した場合には、ステップＳ１７０へ進み、制御装置１０３は、候補コマの中に連続するコマ間の変化量が少ないコマがあるか否かを判断する。例えば、制御装置１０３は、ステップＳ５０で算出した各コマのＲ、Ｇ、Ｂのそれぞれの平均値を連続するコマ間で比較し、Ｒ、Ｇ、Ｂの全ての平均値の差が所定の閾値以下となるコマが候補コマの中に含まれているか否かを判断する。ステップＳ１７０で肯定判断した場合には、制御装置１０３は、タイル画とコマ間の変化量が少ない連続したコマとを含むように、候補コマの中から連続した４秒分のコマを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１７０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００３１】
ステップＳ１７０で否定判断した場合には、ステップＳ１８０へ進み、制御装置１０３は、ステップＳ１１０と同様に、候補コマの中からタイル画とタイル画の後に連続した４秒分のコマを選択する。その後、ステップＳ１９０へ進み、制御装置１０３は、ステップＳ１７０で選択したコマを時系列で並べた４秒分の動画データを作成して、後述するステップＳ２００へ進む。
【００３２】
ステップＳ２００では、制御装置１０３は、ステップＳ７０で選択したタイル画を、対応する元絵の分割領域に対応する位置に配置したモザイク画像を作成して、ＨＤＤ１０４に記録する。また、制御装置１０３は、モザイク画像を構成する各タイル画に関連付けて、ステップＳ１９０で作成した動画データをＨＤＤ１０４に記録する。これにより制御装置１０３は、モザイク画像の作成を完了する。
【００３３】
本実施の形態では、使用者は、上記処理で作成されたモザイク画像をモニタ１０５に表示させて鑑賞することができる。制御装置１０３は、使用者によってモザイク画像の表示が指示された場合には、図４に示すような表示画面４ａをモニタ１０５に表示する。表示画面４ａは、モザイク画像を表示するための領域４ｂと、動画を再生するための領域４ｃとを有しており、制御装置１０３は、上述した処理で作成したモザイク画像をＨＤＤ１０４から読み出して領域４ｂ内に表示する。なお、図４においては、領域４ｂ内のモザイク画像は、１６×１６個のタイル画で構成される例について示しているが、これに限定されず、タイル画の数は、図２のステップＳ３０で設定した分割数に応じた数となる。また、図４では、モザイク画像は簡略化して示してある。
【００３４】
本実施の形態では、使用者は、操作部材１０１を操作して、モザイク画像内の任意のタイル画を選択することができる。制御装置１０３は、使用者によっていずれかのタイル画が選択された場合には、そのタイル画に関連付けて記録されている動画データをＨＤＤ１０４から読み出して、領域４ｃ内に表示して再生する。例えば、使用者によってタイル画４ｄが選択された場合には、制御装置１０３は、タイル画４ｄに関連付けて記録されている動画データをＨＤＤ１０４から読み出して領域４ｃ内で再生を行う。これによって、領域４ｃ内には、タイル画４ｄに関連付けて記録されている４秒分の動画が再生される。また、使用者によってタイル画４ｅが選択された場合には、制御装置１０３は、タイル画４ｅに関連付けて記録されている動画データをＨＤＤ１０４から読み出して領域４ｃ内で再生を行う。これによって、領域４ｃ内には、タイル画４ｅに関連付けて記録されている４秒分の動画が再生される。
【００３５】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０３は、動画を構成する複数のコマの中からタイル画を選択し、選択したタイル画と動画内で時系列に連続する複数のコマを選択し、選択したタイル画と選択した複数のコマとを時系列で並べた動画を作成し、選択したタイル画を配置してモザイク画像を生成するとともに、生成した動画をタイル画に関連付けて記録するようにした。これによって、モザイク画像の生成元となった動画を効果的に利用することができる。
【００３６】
（２）生成する動画のコマ数はあらかじめ設定されており、制御装置１０３は、図２のステップＳ８０において、あらかじめ設定されたコマ数より多い数のコマを動画データから抽出するようにした。これによって、図３の処理において、抽出しておいたコマの中から使用者による指示に応じた条件でコマを選択して、動画データを作成することが可能となる。
【００３７】
（３）動画を生成するためのコマを候補コマの中から選択するための選択条件はあらかじめ設定されており、制御装置１０３は、選択条件に基づいて、候補コマの中から複数のコマを選択するようにした。これによって、使用者からの指示に応じた条件で動画を生成するためのコマを選択することができる。
【００３８】
（４）制御装置１０３は、選択条件として、特定の被写体が写っているコマを優先して選択するように設定されている場合には、候補コマの中から特定の被写体が写っているコマの数が最も多くなるように、複数のコマを選択するようにした。これによって、使用者からの指示に沿ったコマを含むように動画データを生成することができる。
【００３９】
（５）制御装置１０３は、選択条件として、音が記録されているコマを優先して選択するように設定されている場合には、最も大きな音が記録されているコマが含まれるように、複数のコマを選択するようにした。これによって、使用者からの指示に沿ったコマを含むように動画データを生成することができる。
【００４０】
（６）制御装置１０３は、選択条件として、複数のコマ間での画像の変化が少なくなるようにコマ選択するように設定されている場合には、複数のコマ間での画像の変化が少なくなるように、複数のコマを選択するようにした。これによって、使用者からの指示に沿ったコマを含むように動画データを生成することができる。
【００４１】
（７）制御装置１０３は、モザイク画像内でいずれかのタイル画が選択された場合には、そのタイル画に関連付けて記録されている動画を再生するようにした。これによって、タイル画に関連付けて記録されている動画を有効活用することができる。
【００４２】
―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０３は、図２のステップＳ７０において、元絵の分割領域内の画像のＲの平均値と動画データのコマのＲの平均値との差分、元絵の分割領域内の画像のＧの平均値と動画データのコマのＧの平均値との差分、元絵の分割領域内の画像のＢの平均値と動画データのコマのＢの平均値との差分をそれぞれ算出し、算出した差分の全てが所定の閾値より小さいコマをタイル画として選択する例について説明した。しかしながら、タイル画の選択方法はこれに限定されない。例えば、元絵の分割領域内の画像のＲの平均値と動画データのコマのＲの平均値との差分、元絵の分割領域内の画像のＧの平均値と動画データのコマのＧの平均値との差分、元絵の分割領域内の画像のＢの平均値と動画データのコマのＢの平均値との差分をそれぞれ算出し、算出した差分の合計値が最も小さいコマをタイル画として選択するようにしてもよい。あるいは、元絵の分割領域内の画像のＲ、Ｇ、Ｂの各値の比と、動画データのコマのＲ、Ｇ、Ｂの各値の比とが最も近似しているコマをタイル画として選択するようにしてもよい。
【００４３】
（２）上述した実施の形態では、制御装置１０３は、使用者によって、候補コマの中から、タイル画を含む４秒分のコマを自動的に選択して動画データを生成するように指示されている場合には、ステップＳ１５０〜ステップＳ１７０の処理を順番に実行する例について説明した。しかしながら、ステップＳ１５０〜ステップＳ１７０の処理順はこれに限定されない。すなわち、図３の処理では、ステップＳ１５０の判断結果が最も優先度が高く、ステップＳ１７０の判断結果が最も優先度が低くなっているが、この優先度は図３に示すものに限定されない。また上述の実施形態ではタイル画を含む動画データの所定期間（長さ）を４秒分として説明したが、この長さは４秒に限られるものではなくこれよりも長くても短くでも良い。またこの所定期間はユーザーの設定操作によって任意の長さに設定できるようにしても良い。
【００４４】
（３）上述した実施の形態では、制御装置１０３は、使用者によっていずれかのタイル画が選択された場合には、そのタイル画に関連付けて記録されている動画データをＨＤＤ１０４から読み出して、領域４ｃ内に表示して再生する例について説明した。しかしながら、制御装置１０３は、使用者によっていずれかのタイル画が選択された場合には、そのタイル画に関連付けて記録されている動画データをＨＤＤ１０４から読み出して、モザイク画像内のタイル画の表示位置で動画を再生するようにしてもよい。例えば、使用者によってタイル画４ｄが選択された場合には、制御装置１０３は、タイル画４ｄに関連付けて記録されている動画データをＨＤＤ１０４から読み出して、タイル画４ｄの表示位置で動画の再生を行うようにしてもよい。
【００４５】
（４）制御装置１０３は、モザイク画像の中に、使用者によって選択されたタイル画と同じ動画データから選択されたタイル画がある場合には、そのタイル画に関連付けて記録されている動画データもＨＤＤ１０４から読み出して同時に再生するようにしてもよい。
【００４６】
（５）制御装置１０３は、モザイク画像の中に、使用者によって選択されたタイル画と同じ被写体が写っているタイル画がある場合には、そのタイル画に関連付けて記録されている動画データもＨＤＤ１０４から読み出して同時に再生するようにしてもよい。
【００４７】
（６）制御装置１０３は、モザイク画像の中に、使用者によって選択されたタイル画に記録されている音と音響的に近い音が記録されているタイル画がある場合には、そのタイル画に関連付けて記録されている動画データもＨＤＤ１０４から読み出して同時に再生するようにしてもよい。
【００４８】
（７）上述した実施の形態では、画像処理装置としてパソコン１００を用いる例について説明した。しかしながら、図２に示す処理を実行することができる他の装置、例えば、携帯端末やデジタルカメラ等にも本発明を適用することができる。
【００４９】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００５０】
１００ パソコン、１０１ 操作部材、１０２ 接続ＩＦ、１０３ 制御装置、１０４ ＨＤＤ、１０５ モニタ
【特許請求の範囲】
【請求項１】
複数の画像をタイル画として配置して１枚のモザイク画像を生成するための画像処理装置であって、
動画を構成する複数のフレーム画像の中から前記タイル画を選択する選択手段と、
前記選択手段によって選択された前記タイル画と前記動画内で時系列に連続する複数のフレーム画像を抽出する抽出手段と、
前記選択手段によって選択された前記タイル画と、前記抽出手段によって抽出された前記複数のフレーム画像とを時系列で並べた動画を作成する動画作成手段と、
前記選択手段によって選択された前記タイル画を配置して前記モザイク画像を生成するとともに、前記動画作成手段によって生成された前記動画を前記タイル画に関連付けて記録するモザイク画像生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記動画作成手段が作成する前記動画のフレーム数はあらかじめ設定されており、
前記抽出手段は、前記あらかじめ設定されたフレーム数より多い数のフレームを前記動画から抽出することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記動画作成手段は、前記抽出手段によって抽出されたフレーム画像の中から、あらかじめ設定された選択条件に基づいて、動画を構成する複数のフレーム画像を選択することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記選択条件として、特定の被写体が写っているフレーム画像を優先して選択するように設定されている場合には、
前記選択手段は、前記特定の被写体が写っているフレームの数が最も多くなるように、前記複数のコマを選択することを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置において、
前記選択条件として、音が記録されているフレームに対応するフレーム画像を優先して選択するように設定されている場合には、
前記選択手段は、最も大きな音が記録されているフレームに対応するフレーム画像が含まれるように、前記複数のフレーム画像を選択することを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置において、
前記選択条件として、前記複数のフレーム画像間での画像の変化が少なくなるようにフレーム画像選択するように設定されている場合には、
前記選択手段は、前記複数のコマ間での画像の変化が少なくなるように、前記複数のフレーム画像を選択することを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか一項に記載の画像処理装置によって生成された前記モザイク画像をモニタに表示する表示制御手段と、
前記モニタ上で前記モザイク画像を構成する前記タイル画のいずれかが指定された場合には、そのタイル画に関連付けて記録されている動画を再生する再生手段と、を備えることを特徴とする画像表示装置。
【請求項８】
請求項７に記載の画像表示装置において、
前記再生手段は、前記モザイク画像内で前記タイル画が指定されたときに、前記モザイク画像内に、指定された前記タイル画と同じ動画内から前記選択手段によって選択されたタイル画がある場合には、そのタイル画に関連付けて記録されている動画も同時に再生することを特徴とする画像表示装置。
【請求項９】
請求項７に記載の画像表示装置において、
前記再生手段は、前記モザイク画像内で前記タイル画が指定されたときに、前記モザイク画像内に、指定された前記タイル画と同じ被写体が写っているタイル画がある場合には、そのタイル画に関連付けて記録されている動画も同時に再生することを特徴とする画像表示装置。
【請求項１０】
請求項７に記載の画像表示装置において、
前記再生手段は、前記モザイク画像内で前記タイル画が指定されたときに、前記モザイク画像内に、指定された前記タイル画に記録されている音に近い音が記録されているタイル画がある場合には、そのタイル画に関連付けて記録されている動画も同時に再生することを特徴とする画像表示装置。
【請求項１】
複数の画像をタイル画として配置して１枚のモザイク画像を生成するための画像処理装置であって、
動画を構成する複数のフレーム画像の中から前記タイル画を選択する選択手段と、
前記選択手段によって選択された前記タイル画と前記動画内で時系列に連続する複数のフレーム画像を抽出する抽出手段と、
前記選択手段によって選択された前記タイル画と、前記抽出手段によって抽出された前記複数のフレーム画像とを時系列で並べた動画を作成する動画作成手段と、
前記選択手段によって選択された前記タイル画を配置して前記モザイク画像を生成するとともに、前記動画作成手段によって生成された前記動画を前記タイル画に関連付けて記録するモザイク画像生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記動画作成手段が作成する前記動画のフレーム数はあらかじめ設定されており、
前記抽出手段は、前記あらかじめ設定されたフレーム数より多い数のフレームを前記動画から抽出することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記動画作成手段は、前記抽出手段によって抽出されたフレーム画像の中から、あらかじめ設定された選択条件に基づいて、動画を構成する複数のフレーム画像を選択することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記選択条件として、特定の被写体が写っているフレーム画像を優先して選択するように設定されている場合には、
前記選択手段は、前記特定の被写体が写っているフレームの数が最も多くなるように、前記複数のコマを選択することを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置において、
前記選択条件として、音が記録されているフレームに対応するフレーム画像を優先して選択するように設定されている場合には、
前記選択手段は、最も大きな音が記録されているフレームに対応するフレーム画像が含まれるように、前記複数のフレーム画像を選択することを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置において、
前記選択条件として、前記複数のフレーム画像間での画像の変化が少なくなるようにフレーム画像選択するように設定されている場合には、
前記選択手段は、前記複数のコマ間での画像の変化が少なくなるように、前記複数のフレーム画像を選択することを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか一項に記載の画像処理装置によって生成された前記モザイク画像をモニタに表示する表示制御手段と、
前記モニタ上で前記モザイク画像を構成する前記タイル画のいずれかが指定された場合には、そのタイル画に関連付けて記録されている動画を再生する再生手段と、を備えることを特徴とする画像表示装置。
【請求項８】
請求項７に記載の画像表示装置において、
前記再生手段は、前記モザイク画像内で前記タイル画が指定されたときに、前記モザイク画像内に、指定された前記タイル画と同じ動画内から前記選択手段によって選択されたタイル画がある場合には、そのタイル画に関連付けて記録されている動画も同時に再生することを特徴とする画像表示装置。
【請求項９】
請求項７に記載の画像表示装置において、
前記再生手段は、前記モザイク画像内で前記タイル画が指定されたときに、前記モザイク画像内に、指定された前記タイル画と同じ被写体が写っているタイル画がある場合には、そのタイル画に関連付けて記録されている動画も同時に再生することを特徴とする画像表示装置。
【請求項１０】
請求項７に記載の画像表示装置において、
前記再生手段は、前記モザイク画像内で前記タイル画が指定されたときに、前記モザイク画像内に、指定された前記タイル画に記録されている音に近い音が記録されているタイル画がある場合には、そのタイル画に関連付けて記録されている動画も同時に再生することを特徴とする画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２４４４２９（Ｐ２０１２−２４４４２９Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１２７０３（Ｐ２０１１−１１２７０３）
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]