画像処理装置、撮像装置、画像処理方法及びプログラム
【課題】ユーザが意図していないと考えられるフレームを自動的にモザイキング結果より取り除くことができる。
【解決手段】画像処理装置１は、カメラ接続Ｉ／Ｆ１１４を介して撮像装置２に記憶された動画像を取得し（ステップＳ１０）、動画像を各フレームに分解し（ステップＳ２０）、モザイキング処理を行う（ステップＳ３０）。モザイキング処理（ステップＳ３０）の過程で、分解した各フレームの中心座標及び４隅の座標を取得する。次に、モザイキング処理部１３２は、フレームの中心座標がどのように変化するかを示す中心座標軌跡に基づいて、ユーザが意図していないと考えられる箇所を抽出し（ステップＳ４０）、各フレームの４隅の座標に基づいてステップＳ４０で抽出された削除対象のフレーム群を、ステップＳ３０で生成された合成画像から削除する（ステップＳ５０）。
【解決手段】画像処理装置１は、カメラ接続Ｉ／Ｆ１１４を介して撮像装置２に記憶された動画像を取得し（ステップＳ１０）、動画像を各フレームに分解し（ステップＳ２０）、モザイキング処理を行う（ステップＳ３０）。モザイキング処理（ステップＳ３０）の過程で、分解した各フレームの中心座標及び４隅の座標を取得する。次に、モザイキング処理部１３２は、フレームの中心座標がどのように変化するかを示す中心座標軌跡に基づいて、ユーザが意図していないと考えられる箇所を抽出し（ステップＳ４０）、各フレームの４隅の座標に基づいてステップＳ４０で抽出された削除対象のフレーム群を、ステップＳ３０で生成された合成画像から削除する（ステップＳ５０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、撮像装置、画像処理方法及びプログラムに係り、特に動画等を繋ぎ合わせて１つの合成画像を生成する画像処理装置、撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１、２には、動画像からフレームを抜き出し、それらを繋ぎ合わせることで一つの合成画像を生成する技術が記載されている。
【特許文献１】特開２００３−９１４４号公報
【特許文献２】特表平１０−５０９５７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、動画像には、手振れや、ユーザが意図していないフレームが存在している可能性が高い。従って、特許文献１、２に記載された技術のように、動画像に含まれる全てのフレームを用いてモザイキング処理を行う場合には、ユーザが意図しない合成画像が得られる可能性が高いという問題がある。
【０００４】
特に、撮影開始時と終了時は、ボタンを押すという行為が発生するために、このような不具合が起きる可能性が高い。
【０００５】
本発明はこのような事情に鑑みてなされたもので、ユーザが意図していないと考えられるフレームを自動的にモザイキング結果より取り除くことができる画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の画像処理装置は、被写体を連続して撮像することにより得られた一連の画像を取得する取得手段と、前記取得手段により取得された一連の画像を連結して１つの合成画像を生成するモザイキング処理手段と、を備えた画像処理装置であって、前記モザイキング処理手段は、前記取得手段により取得された一連の画像の各画像に対して当該画像の代表座標をそれぞれ取得する座標取得手段と、前記座標取得手段により取得された各画像の代表座標の軌跡に基づいて、前記取得手段により取得された一連の画像からモザイキング処理の対象から除外する画像を抽出する抽出手段と、前記抽出手段により抽出された画像を除外した前記一連の画像を連結した画像を前記合成画像として生成する合成画像生成手段と、で構成されたことを特徴とする。
【０００７】
請求項１に記載の画像処理装置によれば、被写体を連続して撮像することにより得られた一連の画像、例えば動画像を取得し、取得された一連の画像を連結して１つの合成画像を生成する。合成画像を生成するにあたり、一連の画像の各画像に対して当該画像の代表座標、例えば中心座標をそれぞれ取得する。この代表座標がどのように変化するかを示す代表座標の軌跡に基づいて、一連の画像からモザイキング処理の対象から除外する画像を抽出し、抽出された画像を除外した前記一連の画像を連結した画像を合成画像として生成する。これにより、ボタン操作や手振れなどによるブレなどが生じたときに撮影された画像をモザイキング処理の対象から除外することができる。そのため、ユーザの意図したものに近い合成画像を生成することができる。
【０００８】
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記抽出手段は、前記代表座標の軌跡が所定の大きさ以上で変化する領域に含まれる画像を前記除外する画像として抽出することを特徴とする。
【０００９】
請求項２に記載の画像処理装置によれば、代表座標の軌跡が所定の大きさ以上で変化する領域、例えば手振れによりブレやボタンを押下した後に発生するブレなどが生じたときに撮影された画像をモザイキング処理の対象から除外することができる。
【００１０】
請求項３に記載の画像処理装置は、請求項１又は２に記載の画像処理装置において、前記抽出手段は、前記取得手段により取得された一連の画像の最後に撮像された画像から所定の範囲内の画像についての前記代表座標の軌跡において、当該代表座標の軌跡が所定の方向から当該所定の方向と異なる他の方向に変化する領域を求め、当該領域に含まれる画像以降の全ての画像を前記除外する画像として抽出することを特徴とする。
【００１１】
請求項３に記載の画像処理装置によれば、一連の画像の最後に撮像された画像から所定の範囲内の画像に対して、代表座標の軌跡が所定の方向から当該所定の方向と異なる他の方向に変化する領域以降の全ての画像をモザイキング処理の対象から除外する。例えば、代表座標の軌跡が略横方向から略斜め下方向に変化した場合には、ユーザがカメラの上面に設けられたボタンを押した場合と考えられる。このように、代表座標の軌跡が略横方向から略斜め下方向に変化した領域以降の領域をモザイキング処理の対象から除外することにより、ボタンを押している間に撮影された画像をモザイキング処理の対象から除外することができる。
【００１２】
請求項４に記載の画像処理装置は、請求項１から３のいずれかに記載の画像処理装置において、前記座標取得手段は、前記一連の画像の各画像に対して当該画像の４隅の座標をそれぞれ取得し、前記合成画像生成手段は、前記座標取得手段により取得された４隅の座標に基づいて、前記モザイキング処理の対象から除外する画像として抽出された画像以外の画像であって、当該抽出された画像に隣接する２枚の画像の少なくとも一部が重なるかどうかを判断する判断手段を有し、前記合成画像生成手段は、前記判断手段により隣接する２枚の画像の少なくとも一部が重なると判断されると、当該隣接する２枚の画像を連結することを特徴とする。
【００１３】
請求項４に記載の画像処理装置によれば、一連の画像の各画像に対して画像の４隅の座標をそれぞれ取得し、取得された４隅の座標に基づいて、前記モザイキング処理の対象から除外する画像として抽出された画像に隣接する２枚の画像の少なくとも一部が重なるかどうかを判断する。隣接する２枚の画像の少なくとも一部が重なる場合には、その２枚の画像を連結する。これにより、合成画像に穴が空くことを防ぐことができる。
【００１４】
請求項５に記載の画像処理装置は、請求項４に記載の画像処理装置において、前記判断手段により隣接する２枚の画像の少なくとも一部が重ならないと判断されると、前記モザイキング処理の対象から除外する画像のなかから前記隣接する２枚の画像のいずれにも少なくとも一部が重なる画像を選択する手段を備え、前記抽出手段は、前記モザイキング処理の対象から除外する画像から当該選択した画像を外し、残りの画像を前記モザイキング処理の対象から除外する画像とすることを特徴とする。
【００１５】
請求項５に記載の画像処理装置によれば、隣接する２枚の画像の少なくとも一部が重ならない場合には、モザイキング処理の対象から除外する画像のなかから隣接する２枚の画像のいずれにも少なくとも一部が重なる画像を選択し、その選択した画像をモザイキング処理の対象から除外する画像から外す。これにより、合成画像に穴が空くことを防ぐことができる。
【００１６】
請求項６に記載の画像処理装置は、請求項１から５のいずれかに記載の画像処理装置において、前記合成画像生成手段により生成された合成画像をモニタ又は紙媒体に出力する出力手段を備えたことを特徴とする。これにより、生成した合成画像をユーザに示すことができる。
【００１７】
請求項７に記載の撮像装置は、請求項１から６に記載の画像処理装置と、被写体像を撮像する撮像手段と、を備えたことを特徴とする。
【００１８】
請求項８に記載の画像処理方法は、被写体を連続して撮像することにより得られた一連の画像を取得するステップと、前記取得された一連の画像を連結して１つの合成画像を生成するステップと、前記取得された一連の画像の各画像に対して当該画像の代表座標をそれぞれ取得するステップと、前記取得された画像の代表座標がどのように変化するかを示す代表座標の軌跡に基づいて、前記取得手段により取得された一連の画像からモザイキング処理の対象から除外する画像を抽出するステップと、前記生成された合成画像から前記抽出された画像を除外するステップと、を含むことを特徴とする。
【００１９】
請求項９に記載のプログラムは、請求項８に記載の画像処理方法を演算装置に演算させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、ユーザが意図していないと考えられるフレームを自動的にモザイキング結果より取り除くことができる。
【発明を実施するための最良の形態】
【００２１】
図１は、本実施の形態の画像処理装置１の全体構造の概略図である。この画像処理装置１は、画像の記録、編集等が可能なパーソナルコンピュータ（ＰＣ）である。
【００２２】
画像処理装置１は、主として、中央処理装置（ＣＰＵ）１０２、バス１０４、主メモリ１０６、ハードディスク装置１０８、ＣＤ−ＲＯＭ装置１１０、プリンタインターフェース部（プリンタＩ／Ｆ）１１２、カメラ接続インターフェース部（カメラ接続Ｉ／Ｆ）１１４、表示メモリ１１６、モニタ１１８、キーボード１２０、マウス１２２、マウスコントローラ１２４、オーディオ入出力回路１２６、マイク１２８、スピーカ１３０、モザイキング処理部１３２などで構成される。
【００２３】
ＣＰＵ１０２は、バス１０４を介して画像処理装置１内の各ブロックに接続されており、各ブロックの動作を制御する。
【００２４】
主メモリ１０６は、制御プログラムが格納される記憶領域や、プログラム実行時の作業領域を含んでいる。
【００２５】
ハードディスク装置１０８には、画像処理装置１のオペレーティングシステム（ＯＳ）や、各種のアプリケーションソフト、撮像装置２から読み込まれた記録用画像データ等が格納される。
【００２６】
ＣＤ−ＲＯＭ装置１１０は、図示しないＣＤ−ＲＯＭからのデータの読み込みを行う。
【００２７】
プリンタＩ／Ｆ１１２は、ハードディスク装置１０８に記憶された静止画やモザイキング処理部１３２で生成された合成画像をプリンタ３へ出力する。
【００２８】
カメラ接続Ｉ／Ｆ１１４は、撮像装置（電子カメラ、デジタルカメラ）２との間でデータの送受信を行う。撮像装置２は、静止画のみでなく、動画の撮影も可能である。
【００２９】
表示メモリ１１６は、表示用データを一時記憶する。
【００３０】
モニタ１１８は、例えば、ＣＲＴ（Cathode Ray Tube）モニタや液晶モニタにより構成され、この表示メモリ１１６から出力される画像データ、文字データ等に基づいて画像や文字等を表示する。
【００３１】
キーボード１２０及びマウス１２２は、操作者からの操作入力を受け付けて、操作入力に応じた信号をＣＰＵ１０２に入力する。なお、ポインティングデバイスとしては、マウス１２２のほか、タッチパネルやタッチパッド等を用いることができる。
【００３２】
マウスコントローラ１２４は、マウス１２２の状態を検出してモニタ１１８上のマウスポインタの位置や、マウス１２２の状態等の信号をＣＰＵ１０２に出力する。
【００３３】
オーディオ入出力回路１２６には、マイク１２８及びスピーカ１３０が接続され、各種の音声信号が入力されるとともに、キーボード１２０等からの操作入力に応じて各種動作音が再生出力される。
【００３４】
モザイキング処理部１３２は、ハードディスク装置１０８に記憶された動画像をフレームに分解して連結するモザイキング処理を行い、合成画像（例えばパノラマ画像）を生成する。モザイキング処理部１３２は、モザイキング処理実行時の作業領域や、メモリ領域を含んでいる。
【００３５】
本発明のモザイキング処理部１３２は、動画像を分解して得られたフレーム全てを連結するのではなく、不要なフレーム、すなわちユーザが意図して撮影していないと考えられるフレームを除いた残りのフレームを連結する点に特徴がある。以下、モザイキング処理部１３２が、ユーザが意図して撮影していないと考えられるフレームを除いた残りのフレームを連結する処理について、図２のフローチャートを用いて説明する。
【００３６】
ＣＰＵ１０２は、カメラ接続Ｉ／Ｆ１１４を介して撮像装置２に記憶された動画像を取得し、ハードディスク装置１０８に記憶する（ステップＳ１０）。モザイキング処理部１３２は、ハードディスク装置１０８から動画像を取得し、各フレームに分解する（ステップＳ２０）。
【００３７】
モザイキング処理部１３２は、分解した各フレームを連結するモザイキング処理を行う（ステップＳ３０）。ステップＳ３０で行うモザイキング処理は一般的なモザイキング処理であり、既に公知の様々な方法（例えば、特許文献１）を用いることができるため、詳細な説明を省略する。
【００３８】
モザイキング処理（ステップＳ３０）の過程において、モザイキング処理部１３２は、図３に示すように、分解した各フレームに対して撮像された順番に番号をふる。また、モザイキング処理部１３２は、図３に示すように、１番目のフレーム（フレーム番号１がふられたフレーム）の左下の隅を原点にして各フレームの中心座標及び４隅の座標を取得する。中心座標及び４隅の座標の取得方法としては、（１）中心座標及び４隅の座標を直接取得する方法、（２）４隅の座標を取得して、取得した４隅の座標から中心座標を算出する方法、（３）所定の１つの隅の座標と中心座標とを取得して、取得した１つの隅の座標と中心座標とから残りの３つの隅の座標を算出する方法、（４）対角線上の所定の２つの隅の座標を取得し、取得した２つの隅の座標から残りの２つの隅の座標と中心座標とを算出する方法、（５）所定の１つの隅の座標とフレームの大きさとを取得し、取得した１つの隅の座標とフレームの大きさとから残りの３つの隅の座標と、中心座標とを算出する方法などがある。本実施の形態では、（１）中心座標及び４隅の座標を直接取得する方法を採用するが、どの方法を用いてもよいのは言うまでもない。また、座標を取得は、１番目のフレームの左下の隅を原点にしてもよいし、１番目のフレームの他の３つの隅の何れかを原点にとってもよいし、１番目のフレームの中心座標を原点にとってもよい。
【００３９】
このようにして取得された中心座標及び隅の座標は、図４に示すように、フレームの番号と関連付けてモザイキング処理部１３２のメモリ領域に記憶される。
【００４０】
次に、モザイキング処理部１３２は、フレームの中心座標に基づいて、ユーザが意図していないと考えられる箇所を抽出する（ステップＳ４０）。ユーザが意図していないと考えられる箇所とは、ボタンの押下や、撮像装置２に設けられた手振れ補正機能では防ぎきれない大きな手振れなどが発生している箇所である。ユーザが意図していないと考えられる箇所を抽出する方法について、図５〜７を用いて説明する。図５〜７は、ステップＳ３０で取得された各フレームの中心座標をｘ座標を横軸、ｙ座標を縦軸にプロットしたものであり、中心座標がどのように変化するかを示す中心座標軌跡を表す図である。
【００４１】
図５は、動画の開始フレーム周辺領域の中心座標軌跡を示す。開始フレーム周辺領域とは、例えば開始フレームから１秒以内の範囲をいう。開始フレーム周辺領域においては、図５の○で囲まれた領域に示すように、中心座標軌跡が大きく変化している領域、すなわち周期が短く、振幅が所定の幅より大きいブレが発生している領域は、ボタンを押したことによるブレが発生している領域であると判断する。そして、中心座標軌跡が大きく変化している領域に含まれる全てのフレームを削除対象のフレーム群とする。フレーム群は、削除対象の最初のフレームの番号及び最後のフレームの番号で指定する。
【００４２】
図６は、動画の終了フレーム周辺領域の中心座標軌跡を示す。終了フレーム周辺領域とは、例えば終了フレームから１秒以内の範囲をいう。終了フレーム周辺領域においては、図６の○で囲まれた領域に示すように、終了フレーム周辺領域の前の数フレームの中心座標軌跡と大きく異なる傾きで推移している領域、例えば、終了フレーム周辺領域以前はほぼ右向きに中心座標軌跡が変化しているのに対し、終了フレーム周辺領域内に右斜め下向きに中心座標領域が変化している領域を、ボタンを押したことによるブレが発生している領域であると判断する。そして、終了フレーム周辺領域の前の数フレームの中心座標軌跡と大きく異なる傾きで推移している領域以降の全てのフレームを削除対象のフレーム群とする。
【００４３】
図７は、開始フレーム周辺領域、終了フレーム周辺領域以外の領域の中心座標軌跡を示す。開始フレーム周辺領域、終了フレーム周辺領域以外の領域では、図７の○で囲まれた領域に示すように、中心座標軌跡が大きく変化している領域、すなわち周期が短く、振幅が所定の幅より大きいブレが発生している領域は、手振れが発生している領域であると判断する。そして、中心座標軌跡が大きく変化している領域に含まれる全てのフレームを削除対象のフレーム群とする。
【００４４】
これにより、ユーザが意図していないと考えられる箇所を抽出する処理（ステップＳ４０）を終了する。このように、ボタンを押したこと、手振れなどによる画像のブレがないフレームを用いて合成画像を生成するため、ユーザが意図していない合成画像を生成することを防止することができる。
【００４５】
その後、モザイキング処理部１３２は、ステップＳ４０で抽出された削除対象のフレーム群を、ステップＳ３０で生成された合成画像から削除する（ステップＳ５０）。図８は、モザイキング処理部１３２が削除対象のフレーム群を合成画像から削除する処理（ステップＳ５０）の処理の流れを示すフローチャートである。
【００４６】
ステップＳ３０でモザイキング処理部１３２のメモリ領域に記憶された各フレームの４隅の座標（図４参照）に基づいて、ステップＳ４０で削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームに重なり部があるかどうかを判断する（ステップＳ５１）。重なり分があるかどうかは、削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームの４隅の座標からそれぞれのフレームの位置（領域）を求め、その領域が重なるか否かにより判断される。
【００４７】
削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームに重なり部がない（ステップＳ５１でＮＯ）場合とは、例えば図９（ａ）に示すように、４枚の連続するフレームのうちの中央２枚の画像が削除対象のフレーム群とされた場合である。この場合に削除対象のフレーム群を用いないとすると、図９（ｂ）に示すように、削除対象とされたフレーム群の前後フレームが重ならない。すなわちに隣接する合成対象のフレームに重なり部が無い。
【００４８】
したがって、削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームに重なり部がない（ステップＳ５１でＮＯ）と判断された場合には、削除対象のフレーム群のうちの所望のフレームを１枚削除対象から除外して合成対象に加え、残りの画像を削除対象のフレーム群とする修正を行う（ステップＳ５１）。例えば、図９（ｃ）に示すように、削除対象のフレーム群（２枚目、３枚目のフレーム）のうちの最初の１枚（２枚目）のフレームを削除対象から外し、最初から合成対象であった最初のフレーム及び最後のフレームと、削除対象から外した２枚目のフレームとの３枚のフレームを合成対象のフレームとする。
【００４９】
そして、再度、隣接する合成対象のフレームに重なり部があるかどうかを判断する（ステップＳ５１）。再び隣接する合成対象のフレームに重なり部がない（ステップＳ５１でＮＯ）と判断された場合には、再度削除対象のフレーム群のうちの所望のフレームを１枚削除対象から除外して合成対象に加える修正を行う（ステップＳ５１）。例えば、図９（ｃ）のように削除対象のフレーム群のうちの最初のフレームを合成対象とした場合においても、合成対象である１枚目、２枚目及び４枚目のフレームは互いに重ならない。そのため、削除対象のフレーム群のうち、削除対象から外すフレームを最初（２枚目）のフレームから最後のフレーム（３枚目）のフレームへ変更する。その結果、図９（ｄ）に示すように、最初から合成対象であった最初のフレーム及び最後のフレームと、削除対象から外した３枚目のフレームとの３枚のフレームを合成対象のフレームとする。
【００５０】
そして、再度、隣接する合成対象のフレームに重なり部があるかどうかを判断する（ステップＳ５１）。図９（ｄ）に示す場合には、１枚目のフレームと３枚目のフレームとが重なり、３枚目のフレームと４枚目のフレームとが重なる（ステップＳ５１でＹＥＳ）ため、削除を実行するステップ（ステップＳ５３）へ進む。また、図１０（ａ）に示すように、削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームに重なり部がある（ステップＳ５１でＹＥＳ）場合には、削除を実行するステップ（ステップＳ５３）へ進む。
【００５１】
削除を実行するステップＳ５３では、図９（ｅ）に示すように、図９（ｄ）において削除対象フレームとされた２枚目のフレームを除いた３枚の画像で合成処理を行う。また、図１０（ｂ）に示すように、重なり部のある隣接する合成対象のフレームで合成処理を行う。そのため、合成画像に穴があくことにより不自然な画像となることを防止することができる。
【００５２】
これにより、削除対象のフレーム群を合成画像から削除する処理（ステップＳ５０）を終了し、ステップＳ３０におけるモザイキング結果より削除対象のフレームを除いた合成画像が合成される。このように隣接する画素が重なり合うようにすることで、画像に穴が空くなどの不自然な合成画像が生成されることを防ぐことができる。
【００５３】
最後に、モザイキング処理部１３２はＣＰＵ１０２に合成画像を合成したことを示す情報を出力する。ＣＰＵ１０２は、モザイキング処理部１３２がステップＳ１０〜Ｓ５０のステップを行うことにより生成した合成画像を、表示メモリ１１６を介してモニタ１１８に出力する（ステップＳ６０）。これにより、モニタ１１８に合成画像が表示され、ユーザが合成画像を確認することができる。なお、合成画像の出力は、モニタ１１８に対して行なってもよいし、プリンタ３に対して行なってもよい。
【００５４】
本実施の形態によれば、ユーザが意図して撮影していないと考えられるフレームを抽出し、抽出されたフレームを含まない合成画像を生成することができる。そのため、モサイキングを行った結果、ユーザが意図していない結果になるのを防ぐことができる。
【００５５】
なお、本実施の形態では、撮像装置２から取得した動画像を用いて合成画像を生成したが、通信インターフェース部（通信Ｉ／Ｆ）を介して接続されたネットワークから取得した動画像を用いて合成画像を生成するようにしてもよい。
【００５６】
なお、本実施の形態では、撮像装置２から取得した動画像を用いて合成画像を生成したが、動画に限らず、連写などにより撮影された複数枚の静止画の連続写真などを用いて合成画像を生成することもできる。
【００５７】
また、本実施の形態では、図３に示すように、時間の経過と共にフレームが左から右へ移動し、それに伴いフレームの中心座標軌跡がほぼ右方向に変化する場合を例に説明したが、フレームの移動方向は左から右に限らず、右から左、上から下、下から上などの様々な方向を取りうるし、フレームの中心座標軌跡もほぼ右方向に限らず、左方向、下方向、上方向など様々な方向に変化しうる。
【００５８】
また、本実施の形態では、ステップＳ４０において、フレームの中心座標に基づいてユーザが意図していないと考えられる箇所を抽出したが、ユーザが意図していないと考えられる箇所を抽出する場合に用いるのは中心座標に限定されず、例えばフレームの４隅の座標のうちの所望の座標を用いるようにしてもよい。フレームの回転を考慮する場合には、ステップＳ４０に示したように、中心座標が最適であるが、フレームの回転が微小であり無視しても影響がほとんど無いような場合には、例えばフレームの左下の隅の座標に基づいてユーザが意図していないと考えられる箇所を抽出することもできる。また、被写体を追って撮影している場合には、フレームから特徴点等を用いて移動しない被写体を検出し、その移動しない被写体の重心位置に基づいてユーザが意図していないと考えられる箇所を抽出することもできる。
【００５９】
また、本実施の形態では、ステップＳ４０において、動画の終了フレーム周辺領域（図６）の中心座標軌跡が大きく異なる傾きで推移している領域として、中心座標軌跡がほぼ右向きから右斜め下向きに変化している領域を抽出したが、中心座標軌跡が大きく異なる傾きで推移している領域はこれに限らず、所定の方向から当該所定の方向と異なる他の方向に変化する領域であればよい。
【００６０】
図６に示すように、上面にボタンが設けられたコンパクトデジタルカメラを用いた場合には、ボタンを押したことによるブレは、中心座標軌跡がほぼ右向きから右斜め下向きに変化している領域として抽出される。しかしながら、例えば、カメラを９０度時計回りに回転させた場合にはボタンは右側面に設けられる。そのため、ボタンを押したことによるブレが発生している領域としては、中心座標軌跡がほぼ右向きからほぼ左向きに変化した領域を抽出すればよい。また、カメラを９０度反時計回りに回転させた場合にはボタンは左側面に設けられる。そのため、ボタンを押したことによるブレが発生している領域としては、中心座標の間隔が広くなった領域を抽出すればよい。
【００６１】
また、ビデオカメラを用いた場合には、カメラ前面の端部に録画停止ボタンがついている場合がある。この場合には、ボタンを押すことによりカメラが上下方向に回転するような動き（ピッチ）が加えられるため、ボタンを押したことによるブレが発生している領域としては、中心座標軌跡がほぼ右向きから斜め上方向又は斜め下方向に変化した領域を抽出すればよい。
【００６２】
また、本実施の形態では、ステップＳ４０において、開始フレーム周辺領域、終了フレーム周辺領域以外の領域の中心座標軌跡が大きく変化している領域、すなわち周期が短く、振幅が所定の幅より大きいブレが発生している領域を削除対象として抽出したが、削除対象として抽出する領域はこれに限らない。例えば、動画を撮影しながらズーミングを行うことが考えられる。裏面にワイド、テレボタンが設けられたコンパクトデジタルカメラを用いた場合には、ワイド、テレボタン操作によりカメラが左右方向に回転する用の動き（ヨー）又はカメラが上下方向に回転するような動き（ピッチ）が加えられる。したがって、ズーミングによるブレが発生している領域としては、中心座標軌跡がほぼ右向きからほぼ左向きに変化した領域、中心座標の間隔が広くなった領域、又は中心座標軌跡がほぼ右向きから斜め上方向若しくは斜め下方向に変化した領域を抽出すればよい。
【００６３】
また、最近では動画の撮影が可能なデジタル一眼レフカメラが提供されているが、この場合には前面のレンズを回転させてズーミングを行うため、カメラには同一面上で回転する動き（ロール）が加えられる。したがって、ズーミングによるブレが発生している領域としては、中心軌跡に回転方向の動きが発生した領域を抽出すればよい。
【００６４】
また、本実施の形態では、モザイキング処理を行なった後で削除対象フレーム群を抽出したが、ユーザが意図していないと考えられる画像を除いた合成画像が生成されるのであれば、先に削除対象のフレーム群を抽出し、その後合成対象のフレーム群のみを用いて合成画像を生成するようにしてもよい。
【００６５】
また、本実施の形態では、各フレームの座標のみを用いて、すなわち２次元座標系で削除対象フレーム群の抽出や画像の合成を行ったが、奥行きを考慮した３次元座標系で削除対象フレーム群の抽出や画像の合成を行うようにしてもよい。奥行きは、被写体の大きさなどを用いた相対的な補正を行なってもよいし、焦点距離などを用いた絶対的な補正を行ってもよい。例えば、ビデオカメラ前面に設けられた録画停止ボタンを操作する場合には、ボタン操作により奥行き方向にカメラが移動する場合が考えられる。この場合には、奥行き方向の座標を考慮し、奥行き方向に中心座標が移動した領域を削除対象フレーム群として抽出するようにしてもよい。
【００６６】
また、本実施の形態では、図９に示すように、合成対象の画像と重なるような１枚の画像を削除対象から外したが、削除対象から外す画像は１枚に限定されない。
【００６７】
なお、本発明は、ＰＣに限らず、撮像装置、携帯情報端末のような装置にも適用が可能である。また、ＰＣなどの装置に限らず、例えば、ＰＣ、撮像装置、携帯情報端末のような装置に適用するプログラムとして提供することもできる。
【図面の簡単な説明】
【００６８】
【図１】本発明が適用された画像処理装置１のブロック図である。
【図２】モザイキング処理の流れを示すフローチャートである。
【図３】モザイキング処理について示す模式図である。
【図４】各フレームの座標を保存する場合のデータ構成を示す図である。
【図５】開始フレーム周辺の中心座標軌跡を示す図である。
【図６】終了フレーム周辺の中心座標軌跡を示す図である。
【図７】開始フレーム周辺及び終了フレーム周辺以外の中心座標軌跡を示す図である。
【図８】削除対象フレームを削除するステップ（ステップＳ５０）の処理の流れを示すフローチャートである。
【図９】削除対象のフレーム群の前後フレームに重なり部が無い場合を示す図である。
【図１０】削除対象のフレーム群の前後フレームに重なり部がある場合を示す図である。
【符号の説明】
【００６９】
１：画像処理装置、２：撮像装置、３：プリンタ、１０２：中央処理装置（ＣＰＵ）、１０４：バス１、１０６：主メモリ、１０８：ハードディスク装置、１１０：ＣＤ−ＲＯＭ装置、１１２：プリンタインターフェース部（プリンタＩ／Ｆ）、１１４：カメラ接続インターフェース部（カメラ接続Ｉ／Ｆ）、１１６：表示メモリ、１１８：モニタ、１２０：キーボード、１２２：マウス、１２４：マウスコントローラ、１２６：オーディオ入出力回路、１２８：マイク、１３０：スピーカ、１３２：モザイキング処理部
【技術分野】
【０００１】
本発明は画像処理装置、撮像装置、画像処理方法及びプログラムに係り、特に動画等を繋ぎ合わせて１つの合成画像を生成する画像処理装置、撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１、２には、動画像からフレームを抜き出し、それらを繋ぎ合わせることで一つの合成画像を生成する技術が記載されている。
【特許文献１】特開２００３−９１４４号公報
【特許文献２】特表平１０−５０９５７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、動画像には、手振れや、ユーザが意図していないフレームが存在している可能性が高い。従って、特許文献１、２に記載された技術のように、動画像に含まれる全てのフレームを用いてモザイキング処理を行う場合には、ユーザが意図しない合成画像が得られる可能性が高いという問題がある。
【０００４】
特に、撮影開始時と終了時は、ボタンを押すという行為が発生するために、このような不具合が起きる可能性が高い。
【０００５】
本発明はこのような事情に鑑みてなされたもので、ユーザが意図していないと考えられるフレームを自動的にモザイキング結果より取り除くことができる画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の画像処理装置は、被写体を連続して撮像することにより得られた一連の画像を取得する取得手段と、前記取得手段により取得された一連の画像を連結して１つの合成画像を生成するモザイキング処理手段と、を備えた画像処理装置であって、前記モザイキング処理手段は、前記取得手段により取得された一連の画像の各画像に対して当該画像の代表座標をそれぞれ取得する座標取得手段と、前記座標取得手段により取得された各画像の代表座標の軌跡に基づいて、前記取得手段により取得された一連の画像からモザイキング処理の対象から除外する画像を抽出する抽出手段と、前記抽出手段により抽出された画像を除外した前記一連の画像を連結した画像を前記合成画像として生成する合成画像生成手段と、で構成されたことを特徴とする。
【０００７】
請求項１に記載の画像処理装置によれば、被写体を連続して撮像することにより得られた一連の画像、例えば動画像を取得し、取得された一連の画像を連結して１つの合成画像を生成する。合成画像を生成するにあたり、一連の画像の各画像に対して当該画像の代表座標、例えば中心座標をそれぞれ取得する。この代表座標がどのように変化するかを示す代表座標の軌跡に基づいて、一連の画像からモザイキング処理の対象から除外する画像を抽出し、抽出された画像を除外した前記一連の画像を連結した画像を合成画像として生成する。これにより、ボタン操作や手振れなどによるブレなどが生じたときに撮影された画像をモザイキング処理の対象から除外することができる。そのため、ユーザの意図したものに近い合成画像を生成することができる。
【０００８】
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記抽出手段は、前記代表座標の軌跡が所定の大きさ以上で変化する領域に含まれる画像を前記除外する画像として抽出することを特徴とする。
【０００９】
請求項２に記載の画像処理装置によれば、代表座標の軌跡が所定の大きさ以上で変化する領域、例えば手振れによりブレやボタンを押下した後に発生するブレなどが生じたときに撮影された画像をモザイキング処理の対象から除外することができる。
【００１０】
請求項３に記載の画像処理装置は、請求項１又は２に記載の画像処理装置において、前記抽出手段は、前記取得手段により取得された一連の画像の最後に撮像された画像から所定の範囲内の画像についての前記代表座標の軌跡において、当該代表座標の軌跡が所定の方向から当該所定の方向と異なる他の方向に変化する領域を求め、当該領域に含まれる画像以降の全ての画像を前記除外する画像として抽出することを特徴とする。
【００１１】
請求項３に記載の画像処理装置によれば、一連の画像の最後に撮像された画像から所定の範囲内の画像に対して、代表座標の軌跡が所定の方向から当該所定の方向と異なる他の方向に変化する領域以降の全ての画像をモザイキング処理の対象から除外する。例えば、代表座標の軌跡が略横方向から略斜め下方向に変化した場合には、ユーザがカメラの上面に設けられたボタンを押した場合と考えられる。このように、代表座標の軌跡が略横方向から略斜め下方向に変化した領域以降の領域をモザイキング処理の対象から除外することにより、ボタンを押している間に撮影された画像をモザイキング処理の対象から除外することができる。
【００１２】
請求項４に記載の画像処理装置は、請求項１から３のいずれかに記載の画像処理装置において、前記座標取得手段は、前記一連の画像の各画像に対して当該画像の４隅の座標をそれぞれ取得し、前記合成画像生成手段は、前記座標取得手段により取得された４隅の座標に基づいて、前記モザイキング処理の対象から除外する画像として抽出された画像以外の画像であって、当該抽出された画像に隣接する２枚の画像の少なくとも一部が重なるかどうかを判断する判断手段を有し、前記合成画像生成手段は、前記判断手段により隣接する２枚の画像の少なくとも一部が重なると判断されると、当該隣接する２枚の画像を連結することを特徴とする。
【００１３】
請求項４に記載の画像処理装置によれば、一連の画像の各画像に対して画像の４隅の座標をそれぞれ取得し、取得された４隅の座標に基づいて、前記モザイキング処理の対象から除外する画像として抽出された画像に隣接する２枚の画像の少なくとも一部が重なるかどうかを判断する。隣接する２枚の画像の少なくとも一部が重なる場合には、その２枚の画像を連結する。これにより、合成画像に穴が空くことを防ぐことができる。
【００１４】
請求項５に記載の画像処理装置は、請求項４に記載の画像処理装置において、前記判断手段により隣接する２枚の画像の少なくとも一部が重ならないと判断されると、前記モザイキング処理の対象から除外する画像のなかから前記隣接する２枚の画像のいずれにも少なくとも一部が重なる画像を選択する手段を備え、前記抽出手段は、前記モザイキング処理の対象から除外する画像から当該選択した画像を外し、残りの画像を前記モザイキング処理の対象から除外する画像とすることを特徴とする。
【００１５】
請求項５に記載の画像処理装置によれば、隣接する２枚の画像の少なくとも一部が重ならない場合には、モザイキング処理の対象から除外する画像のなかから隣接する２枚の画像のいずれにも少なくとも一部が重なる画像を選択し、その選択した画像をモザイキング処理の対象から除外する画像から外す。これにより、合成画像に穴が空くことを防ぐことができる。
【００１６】
請求項６に記載の画像処理装置は、請求項１から５のいずれかに記載の画像処理装置において、前記合成画像生成手段により生成された合成画像をモニタ又は紙媒体に出力する出力手段を備えたことを特徴とする。これにより、生成した合成画像をユーザに示すことができる。
【００１７】
請求項７に記載の撮像装置は、請求項１から６に記載の画像処理装置と、被写体像を撮像する撮像手段と、を備えたことを特徴とする。
【００１８】
請求項８に記載の画像処理方法は、被写体を連続して撮像することにより得られた一連の画像を取得するステップと、前記取得された一連の画像を連結して１つの合成画像を生成するステップと、前記取得された一連の画像の各画像に対して当該画像の代表座標をそれぞれ取得するステップと、前記取得された画像の代表座標がどのように変化するかを示す代表座標の軌跡に基づいて、前記取得手段により取得された一連の画像からモザイキング処理の対象から除外する画像を抽出するステップと、前記生成された合成画像から前記抽出された画像を除外するステップと、を含むことを特徴とする。
【００１９】
請求項９に記載のプログラムは、請求項８に記載の画像処理方法を演算装置に演算させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、ユーザが意図していないと考えられるフレームを自動的にモザイキング結果より取り除くことができる。
【発明を実施するための最良の形態】
【００２１】
図１は、本実施の形態の画像処理装置１の全体構造の概略図である。この画像処理装置１は、画像の記録、編集等が可能なパーソナルコンピュータ（ＰＣ）である。
【００２２】
画像処理装置１は、主として、中央処理装置（ＣＰＵ）１０２、バス１０４、主メモリ１０６、ハードディスク装置１０８、ＣＤ−ＲＯＭ装置１１０、プリンタインターフェース部（プリンタＩ／Ｆ）１１２、カメラ接続インターフェース部（カメラ接続Ｉ／Ｆ）１１４、表示メモリ１１６、モニタ１１８、キーボード１２０、マウス１２２、マウスコントローラ１２４、オーディオ入出力回路１２６、マイク１２８、スピーカ１３０、モザイキング処理部１３２などで構成される。
【００２３】
ＣＰＵ１０２は、バス１０４を介して画像処理装置１内の各ブロックに接続されており、各ブロックの動作を制御する。
【００２４】
主メモリ１０６は、制御プログラムが格納される記憶領域や、プログラム実行時の作業領域を含んでいる。
【００２５】
ハードディスク装置１０８には、画像処理装置１のオペレーティングシステム（ＯＳ）や、各種のアプリケーションソフト、撮像装置２から読み込まれた記録用画像データ等が格納される。
【００２６】
ＣＤ−ＲＯＭ装置１１０は、図示しないＣＤ−ＲＯＭからのデータの読み込みを行う。
【００２７】
プリンタＩ／Ｆ１１２は、ハードディスク装置１０８に記憶された静止画やモザイキング処理部１３２で生成された合成画像をプリンタ３へ出力する。
【００２８】
カメラ接続Ｉ／Ｆ１１４は、撮像装置（電子カメラ、デジタルカメラ）２との間でデータの送受信を行う。撮像装置２は、静止画のみでなく、動画の撮影も可能である。
【００２９】
表示メモリ１１６は、表示用データを一時記憶する。
【００３０】
モニタ１１８は、例えば、ＣＲＴ（Cathode Ray Tube）モニタや液晶モニタにより構成され、この表示メモリ１１６から出力される画像データ、文字データ等に基づいて画像や文字等を表示する。
【００３１】
キーボード１２０及びマウス１２２は、操作者からの操作入力を受け付けて、操作入力に応じた信号をＣＰＵ１０２に入力する。なお、ポインティングデバイスとしては、マウス１２２のほか、タッチパネルやタッチパッド等を用いることができる。
【００３２】
マウスコントローラ１２４は、マウス１２２の状態を検出してモニタ１１８上のマウスポインタの位置や、マウス１２２の状態等の信号をＣＰＵ１０２に出力する。
【００３３】
オーディオ入出力回路１２６には、マイク１２８及びスピーカ１３０が接続され、各種の音声信号が入力されるとともに、キーボード１２０等からの操作入力に応じて各種動作音が再生出力される。
【００３４】
モザイキング処理部１３２は、ハードディスク装置１０８に記憶された動画像をフレームに分解して連結するモザイキング処理を行い、合成画像（例えばパノラマ画像）を生成する。モザイキング処理部１３２は、モザイキング処理実行時の作業領域や、メモリ領域を含んでいる。
【００３５】
本発明のモザイキング処理部１３２は、動画像を分解して得られたフレーム全てを連結するのではなく、不要なフレーム、すなわちユーザが意図して撮影していないと考えられるフレームを除いた残りのフレームを連結する点に特徴がある。以下、モザイキング処理部１３２が、ユーザが意図して撮影していないと考えられるフレームを除いた残りのフレームを連結する処理について、図２のフローチャートを用いて説明する。
【００３６】
ＣＰＵ１０２は、カメラ接続Ｉ／Ｆ１１４を介して撮像装置２に記憶された動画像を取得し、ハードディスク装置１０８に記憶する（ステップＳ１０）。モザイキング処理部１３２は、ハードディスク装置１０８から動画像を取得し、各フレームに分解する（ステップＳ２０）。
【００３７】
モザイキング処理部１３２は、分解した各フレームを連結するモザイキング処理を行う（ステップＳ３０）。ステップＳ３０で行うモザイキング処理は一般的なモザイキング処理であり、既に公知の様々な方法（例えば、特許文献１）を用いることができるため、詳細な説明を省略する。
【００３８】
モザイキング処理（ステップＳ３０）の過程において、モザイキング処理部１３２は、図３に示すように、分解した各フレームに対して撮像された順番に番号をふる。また、モザイキング処理部１３２は、図３に示すように、１番目のフレーム（フレーム番号１がふられたフレーム）の左下の隅を原点にして各フレームの中心座標及び４隅の座標を取得する。中心座標及び４隅の座標の取得方法としては、（１）中心座標及び４隅の座標を直接取得する方法、（２）４隅の座標を取得して、取得した４隅の座標から中心座標を算出する方法、（３）所定の１つの隅の座標と中心座標とを取得して、取得した１つの隅の座標と中心座標とから残りの３つの隅の座標を算出する方法、（４）対角線上の所定の２つの隅の座標を取得し、取得した２つの隅の座標から残りの２つの隅の座標と中心座標とを算出する方法、（５）所定の１つの隅の座標とフレームの大きさとを取得し、取得した１つの隅の座標とフレームの大きさとから残りの３つの隅の座標と、中心座標とを算出する方法などがある。本実施の形態では、（１）中心座標及び４隅の座標を直接取得する方法を採用するが、どの方法を用いてもよいのは言うまでもない。また、座標を取得は、１番目のフレームの左下の隅を原点にしてもよいし、１番目のフレームの他の３つの隅の何れかを原点にとってもよいし、１番目のフレームの中心座標を原点にとってもよい。
【００３９】
このようにして取得された中心座標及び隅の座標は、図４に示すように、フレームの番号と関連付けてモザイキング処理部１３２のメモリ領域に記憶される。
【００４０】
次に、モザイキング処理部１３２は、フレームの中心座標に基づいて、ユーザが意図していないと考えられる箇所を抽出する（ステップＳ４０）。ユーザが意図していないと考えられる箇所とは、ボタンの押下や、撮像装置２に設けられた手振れ補正機能では防ぎきれない大きな手振れなどが発生している箇所である。ユーザが意図していないと考えられる箇所を抽出する方法について、図５〜７を用いて説明する。図５〜７は、ステップＳ３０で取得された各フレームの中心座標をｘ座標を横軸、ｙ座標を縦軸にプロットしたものであり、中心座標がどのように変化するかを示す中心座標軌跡を表す図である。
【００４１】
図５は、動画の開始フレーム周辺領域の中心座標軌跡を示す。開始フレーム周辺領域とは、例えば開始フレームから１秒以内の範囲をいう。開始フレーム周辺領域においては、図５の○で囲まれた領域に示すように、中心座標軌跡が大きく変化している領域、すなわち周期が短く、振幅が所定の幅より大きいブレが発生している領域は、ボタンを押したことによるブレが発生している領域であると判断する。そして、中心座標軌跡が大きく変化している領域に含まれる全てのフレームを削除対象のフレーム群とする。フレーム群は、削除対象の最初のフレームの番号及び最後のフレームの番号で指定する。
【００４２】
図６は、動画の終了フレーム周辺領域の中心座標軌跡を示す。終了フレーム周辺領域とは、例えば終了フレームから１秒以内の範囲をいう。終了フレーム周辺領域においては、図６の○で囲まれた領域に示すように、終了フレーム周辺領域の前の数フレームの中心座標軌跡と大きく異なる傾きで推移している領域、例えば、終了フレーム周辺領域以前はほぼ右向きに中心座標軌跡が変化しているのに対し、終了フレーム周辺領域内に右斜め下向きに中心座標領域が変化している領域を、ボタンを押したことによるブレが発生している領域であると判断する。そして、終了フレーム周辺領域の前の数フレームの中心座標軌跡と大きく異なる傾きで推移している領域以降の全てのフレームを削除対象のフレーム群とする。
【００４３】
図７は、開始フレーム周辺領域、終了フレーム周辺領域以外の領域の中心座標軌跡を示す。開始フレーム周辺領域、終了フレーム周辺領域以外の領域では、図７の○で囲まれた領域に示すように、中心座標軌跡が大きく変化している領域、すなわち周期が短く、振幅が所定の幅より大きいブレが発生している領域は、手振れが発生している領域であると判断する。そして、中心座標軌跡が大きく変化している領域に含まれる全てのフレームを削除対象のフレーム群とする。
【００４４】
これにより、ユーザが意図していないと考えられる箇所を抽出する処理（ステップＳ４０）を終了する。このように、ボタンを押したこと、手振れなどによる画像のブレがないフレームを用いて合成画像を生成するため、ユーザが意図していない合成画像を生成することを防止することができる。
【００４５】
その後、モザイキング処理部１３２は、ステップＳ４０で抽出された削除対象のフレーム群を、ステップＳ３０で生成された合成画像から削除する（ステップＳ５０）。図８は、モザイキング処理部１３２が削除対象のフレーム群を合成画像から削除する処理（ステップＳ５０）の処理の流れを示すフローチャートである。
【００４６】
ステップＳ３０でモザイキング処理部１３２のメモリ領域に記憶された各フレームの４隅の座標（図４参照）に基づいて、ステップＳ４０で削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームに重なり部があるかどうかを判断する（ステップＳ５１）。重なり分があるかどうかは、削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームの４隅の座標からそれぞれのフレームの位置（領域）を求め、その領域が重なるか否かにより判断される。
【００４７】
削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームに重なり部がない（ステップＳ５１でＮＯ）場合とは、例えば図９（ａ）に示すように、４枚の連続するフレームのうちの中央２枚の画像が削除対象のフレーム群とされた場合である。この場合に削除対象のフレーム群を用いないとすると、図９（ｂ）に示すように、削除対象とされたフレーム群の前後フレームが重ならない。すなわちに隣接する合成対象のフレームに重なり部が無い。
【００４８】
したがって、削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームに重なり部がない（ステップＳ５１でＮＯ）と判断された場合には、削除対象のフレーム群のうちの所望のフレームを１枚削除対象から除外して合成対象に加え、残りの画像を削除対象のフレーム群とする修正を行う（ステップＳ５１）。例えば、図９（ｃ）に示すように、削除対象のフレーム群（２枚目、３枚目のフレーム）のうちの最初の１枚（２枚目）のフレームを削除対象から外し、最初から合成対象であった最初のフレーム及び最後のフレームと、削除対象から外した２枚目のフレームとの３枚のフレームを合成対象のフレームとする。
【００４９】
そして、再度、隣接する合成対象のフレームに重なり部があるかどうかを判断する（ステップＳ５１）。再び隣接する合成対象のフレームに重なり部がない（ステップＳ５１でＮＯ）と判断された場合には、再度削除対象のフレーム群のうちの所望のフレームを１枚削除対象から除外して合成対象に加える修正を行う（ステップＳ５１）。例えば、図９（ｃ）のように削除対象のフレーム群のうちの最初のフレームを合成対象とした場合においても、合成対象である１枚目、２枚目及び４枚目のフレームは互いに重ならない。そのため、削除対象のフレーム群のうち、削除対象から外すフレームを最初（２枚目）のフレームから最後のフレーム（３枚目）のフレームへ変更する。その結果、図９（ｄ）に示すように、最初から合成対象であった最初のフレーム及び最後のフレームと、削除対象から外した３枚目のフレームとの３枚のフレームを合成対象のフレームとする。
【００５０】
そして、再度、隣接する合成対象のフレームに重なり部があるかどうかを判断する（ステップＳ５１）。図９（ｄ）に示す場合には、１枚目のフレームと３枚目のフレームとが重なり、３枚目のフレームと４枚目のフレームとが重なる（ステップＳ５１でＹＥＳ）ため、削除を実行するステップ（ステップＳ５３）へ進む。また、図１０（ａ）に示すように、削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームに重なり部がある（ステップＳ５１でＹＥＳ）場合には、削除を実行するステップ（ステップＳ５３）へ進む。
【００５１】
削除を実行するステップＳ５３では、図９（ｅ）に示すように、図９（ｄ）において削除対象フレームとされた２枚目のフレームを除いた３枚の画像で合成処理を行う。また、図１０（ｂ）に示すように、重なり部のある隣接する合成対象のフレームで合成処理を行う。そのため、合成画像に穴があくことにより不自然な画像となることを防止することができる。
【００５２】
これにより、削除対象のフレーム群を合成画像から削除する処理（ステップＳ５０）を終了し、ステップＳ３０におけるモザイキング結果より削除対象のフレームを除いた合成画像が合成される。このように隣接する画素が重なり合うようにすることで、画像に穴が空くなどの不自然な合成画像が生成されることを防ぐことができる。
【００５３】
最後に、モザイキング処理部１３２はＣＰＵ１０２に合成画像を合成したことを示す情報を出力する。ＣＰＵ１０２は、モザイキング処理部１３２がステップＳ１０〜Ｓ５０のステップを行うことにより生成した合成画像を、表示メモリ１１６を介してモニタ１１８に出力する（ステップＳ６０）。これにより、モニタ１１８に合成画像が表示され、ユーザが合成画像を確認することができる。なお、合成画像の出力は、モニタ１１８に対して行なってもよいし、プリンタ３に対して行なってもよい。
【００５４】
本実施の形態によれば、ユーザが意図して撮影していないと考えられるフレームを抽出し、抽出されたフレームを含まない合成画像を生成することができる。そのため、モサイキングを行った結果、ユーザが意図していない結果になるのを防ぐことができる。
【００５５】
なお、本実施の形態では、撮像装置２から取得した動画像を用いて合成画像を生成したが、通信インターフェース部（通信Ｉ／Ｆ）を介して接続されたネットワークから取得した動画像を用いて合成画像を生成するようにしてもよい。
【００５６】
なお、本実施の形態では、撮像装置２から取得した動画像を用いて合成画像を生成したが、動画に限らず、連写などにより撮影された複数枚の静止画の連続写真などを用いて合成画像を生成することもできる。
【００５７】
また、本実施の形態では、図３に示すように、時間の経過と共にフレームが左から右へ移動し、それに伴いフレームの中心座標軌跡がほぼ右方向に変化する場合を例に説明したが、フレームの移動方向は左から右に限らず、右から左、上から下、下から上などの様々な方向を取りうるし、フレームの中心座標軌跡もほぼ右方向に限らず、左方向、下方向、上方向など様々な方向に変化しうる。
【００５８】
また、本実施の形態では、ステップＳ４０において、フレームの中心座標に基づいてユーザが意図していないと考えられる箇所を抽出したが、ユーザが意図していないと考えられる箇所を抽出する場合に用いるのは中心座標に限定されず、例えばフレームの４隅の座標のうちの所望の座標を用いるようにしてもよい。フレームの回転を考慮する場合には、ステップＳ４０に示したように、中心座標が最適であるが、フレームの回転が微小であり無視しても影響がほとんど無いような場合には、例えばフレームの左下の隅の座標に基づいてユーザが意図していないと考えられる箇所を抽出することもできる。また、被写体を追って撮影している場合には、フレームから特徴点等を用いて移動しない被写体を検出し、その移動しない被写体の重心位置に基づいてユーザが意図していないと考えられる箇所を抽出することもできる。
【００５９】
また、本実施の形態では、ステップＳ４０において、動画の終了フレーム周辺領域（図６）の中心座標軌跡が大きく異なる傾きで推移している領域として、中心座標軌跡がほぼ右向きから右斜め下向きに変化している領域を抽出したが、中心座標軌跡が大きく異なる傾きで推移している領域はこれに限らず、所定の方向から当該所定の方向と異なる他の方向に変化する領域であればよい。
【００６０】
図６に示すように、上面にボタンが設けられたコンパクトデジタルカメラを用いた場合には、ボタンを押したことによるブレは、中心座標軌跡がほぼ右向きから右斜め下向きに変化している領域として抽出される。しかしながら、例えば、カメラを９０度時計回りに回転させた場合にはボタンは右側面に設けられる。そのため、ボタンを押したことによるブレが発生している領域としては、中心座標軌跡がほぼ右向きからほぼ左向きに変化した領域を抽出すればよい。また、カメラを９０度反時計回りに回転させた場合にはボタンは左側面に設けられる。そのため、ボタンを押したことによるブレが発生している領域としては、中心座標の間隔が広くなった領域を抽出すればよい。
【００６１】
また、ビデオカメラを用いた場合には、カメラ前面の端部に録画停止ボタンがついている場合がある。この場合には、ボタンを押すことによりカメラが上下方向に回転するような動き（ピッチ）が加えられるため、ボタンを押したことによるブレが発生している領域としては、中心座標軌跡がほぼ右向きから斜め上方向又は斜め下方向に変化した領域を抽出すればよい。
【００６２】
また、本実施の形態では、ステップＳ４０において、開始フレーム周辺領域、終了フレーム周辺領域以外の領域の中心座標軌跡が大きく変化している領域、すなわち周期が短く、振幅が所定の幅より大きいブレが発生している領域を削除対象として抽出したが、削除対象として抽出する領域はこれに限らない。例えば、動画を撮影しながらズーミングを行うことが考えられる。裏面にワイド、テレボタンが設けられたコンパクトデジタルカメラを用いた場合には、ワイド、テレボタン操作によりカメラが左右方向に回転する用の動き（ヨー）又はカメラが上下方向に回転するような動き（ピッチ）が加えられる。したがって、ズーミングによるブレが発生している領域としては、中心座標軌跡がほぼ右向きからほぼ左向きに変化した領域、中心座標の間隔が広くなった領域、又は中心座標軌跡がほぼ右向きから斜め上方向若しくは斜め下方向に変化した領域を抽出すればよい。
【００６３】
また、最近では動画の撮影が可能なデジタル一眼レフカメラが提供されているが、この場合には前面のレンズを回転させてズーミングを行うため、カメラには同一面上で回転する動き（ロール）が加えられる。したがって、ズーミングによるブレが発生している領域としては、中心軌跡に回転方向の動きが発生した領域を抽出すればよい。
【００６４】
また、本実施の形態では、モザイキング処理を行なった後で削除対象フレーム群を抽出したが、ユーザが意図していないと考えられる画像を除いた合成画像が生成されるのであれば、先に削除対象のフレーム群を抽出し、その後合成対象のフレーム群のみを用いて合成画像を生成するようにしてもよい。
【００６５】
また、本実施の形態では、各フレームの座標のみを用いて、すなわち２次元座標系で削除対象フレーム群の抽出や画像の合成を行ったが、奥行きを考慮した３次元座標系で削除対象フレーム群の抽出や画像の合成を行うようにしてもよい。奥行きは、被写体の大きさなどを用いた相対的な補正を行なってもよいし、焦点距離などを用いた絶対的な補正を行ってもよい。例えば、ビデオカメラ前面に設けられた録画停止ボタンを操作する場合には、ボタン操作により奥行き方向にカメラが移動する場合が考えられる。この場合には、奥行き方向の座標を考慮し、奥行き方向に中心座標が移動した領域を削除対象フレーム群として抽出するようにしてもよい。
【００６６】
また、本実施の形態では、図９に示すように、合成対象の画像と重なるような１枚の画像を削除対象から外したが、削除対象から外す画像は１枚に限定されない。
【００６７】
なお、本発明は、ＰＣに限らず、撮像装置、携帯情報端末のような装置にも適用が可能である。また、ＰＣなどの装置に限らず、例えば、ＰＣ、撮像装置、携帯情報端末のような装置に適用するプログラムとして提供することもできる。
【図面の簡単な説明】
【００６８】
【図１】本発明が適用された画像処理装置１のブロック図である。
【図２】モザイキング処理の流れを示すフローチャートである。
【図３】モザイキング処理について示す模式図である。
【図４】各フレームの座標を保存する場合のデータ構成を示す図である。
【図５】開始フレーム周辺の中心座標軌跡を示す図である。
【図６】終了フレーム周辺の中心座標軌跡を示す図である。
【図７】開始フレーム周辺及び終了フレーム周辺以外の中心座標軌跡を示す図である。
【図８】削除対象フレームを削除するステップ（ステップＳ５０）の処理の流れを示すフローチャートである。
【図９】削除対象のフレーム群の前後フレームに重なり部が無い場合を示す図である。
【図１０】削除対象のフレーム群の前後フレームに重なり部がある場合を示す図である。
【符号の説明】
【００６９】
１：画像処理装置、２：撮像装置、３：プリンタ、１０２：中央処理装置（ＣＰＵ）、１０４：バス１、１０６：主メモリ、１０８：ハードディスク装置、１１０：ＣＤ−ＲＯＭ装置、１１２：プリンタインターフェース部（プリンタＩ／Ｆ）、１１４：カメラ接続インターフェース部（カメラ接続Ｉ／Ｆ）、１１６：表示メモリ、１１８：モニタ、１２０：キーボード、１２２：マウス、１２４：マウスコントローラ、１２６：オーディオ入出力回路、１２８：マイク、１３０：スピーカ、１３２：モザイキング処理部
【特許請求の範囲】
【請求項１】
被写体を連続して撮像することにより得られた一連の画像を取得する取得手段と、
前記取得手段により取得された一連の画像を連結して１つの合成画像を生成するモザイキング処理手段と、
を備えた画像処理装置であって、前記モザイキング処理手段は、
前記取得手段により取得された一連の画像の各画像に対して当該画像の代表座標をそれぞれ取得する座標取得手段と、
前記座標取得手段により取得された各画像の代表座標の軌跡に基づいて、前記取得手段により取得された一連の画像からモザイキング処理の対象から除外する画像を抽出する抽出手段と、
前記抽出手段により抽出された画像を除外した前記一連の画像を連結した画像を前記合成画像として生成する合成画像生成手段と、で構成されたことを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、前記代表座標の軌跡が所定の大きさ以上で変化する領域に含まれる画像を前記除外する画像として抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、前記取得手段により取得された一連の画像の最後に撮像された画像から所定の範囲内の画像についての前記代表座標の軌跡において、当該代表座標の軌跡が所定の方向から当該所定の方向と異なる他の方向に変化する領域を求め、当該領域に含まれる画像以降の全ての画像を前記除外する画像として抽出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記座標取得手段は、前記一連の画像の各画像に対して当該画像の４隅の座標をそれぞれ取得し、
前記合成画像生成手段は、前記座標取得手段により取得された４隅の座標に基づいて、前記モザイキング処理の対象から除外する画像として抽出された画像以外の画像であって、当該抽出された画像に隣接する２枚の画像の少なくとも一部が重なるかどうかを判断する判断手段を有し、
前記合成画像生成手段は、前記判断手段により隣接する２枚の画像の少なくとも一部が重なると判断されると、当該隣接する２枚の画像を連結することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記判断手段により隣接する２枚の画像の少なくとも一部が重ならないと判断されると、前記モザイキング処理の対象から除外する画像のなかから前記隣接する２枚の画像のいずれにも少なくとも一部が重なる画像を選択する手段を備え、
前記抽出手段は、前記モザイキング処理の対象から除外する画像から当該選択した画像を外し、残りの画像を前記モザイキング処理の対象から除外する画像とすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記合成画像生成手段により生成された合成画像をモニタ又は紙媒体に出力する出力手段を備えたことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
請求項１から６に記載の画像処理装置と、
被写体像を撮像する撮像手段と、
を備えたことを特徴とする撮像装置。
【請求項８】
被写体を連続して撮像することにより得られた一連の画像を取得するステップと、
前記取得された一連の画像を連結して１つの合成画像を生成するステップと、
前記取得された一連の画像の各画像に対して当該画像の代表座標をそれぞれ取得するステップと、
前記取得された画像の代表座標がどのように変化するかを示す代表座標の軌跡に基づいて、前記取得手段により取得された一連の画像からモザイキング処理の対象から除外する画像を抽出するステップと、
前記生成された合成画像から前記抽出された画像を除外するステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
請求項８に記載の画像処理方法を演算装置に演算させることを特徴とするプログラム。
【請求項１】
被写体を連続して撮像することにより得られた一連の画像を取得する取得手段と、
前記取得手段により取得された一連の画像を連結して１つの合成画像を生成するモザイキング処理手段と、
を備えた画像処理装置であって、前記モザイキング処理手段は、
前記取得手段により取得された一連の画像の各画像に対して当該画像の代表座標をそれぞれ取得する座標取得手段と、
前記座標取得手段により取得された各画像の代表座標の軌跡に基づいて、前記取得手段により取得された一連の画像からモザイキング処理の対象から除外する画像を抽出する抽出手段と、
前記抽出手段により抽出された画像を除外した前記一連の画像を連結した画像を前記合成画像として生成する合成画像生成手段と、で構成されたことを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、前記代表座標の軌跡が所定の大きさ以上で変化する領域に含まれる画像を前記除外する画像として抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、前記取得手段により取得された一連の画像の最後に撮像された画像から所定の範囲内の画像についての前記代表座標の軌跡において、当該代表座標の軌跡が所定の方向から当該所定の方向と異なる他の方向に変化する領域を求め、当該領域に含まれる画像以降の全ての画像を前記除外する画像として抽出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記座標取得手段は、前記一連の画像の各画像に対して当該画像の４隅の座標をそれぞれ取得し、
前記合成画像生成手段は、前記座標取得手段により取得された４隅の座標に基づいて、前記モザイキング処理の対象から除外する画像として抽出された画像以外の画像であって、当該抽出された画像に隣接する２枚の画像の少なくとも一部が重なるかどうかを判断する判断手段を有し、
前記合成画像生成手段は、前記判断手段により隣接する２枚の画像の少なくとも一部が重なると判断されると、当該隣接する２枚の画像を連結することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記判断手段により隣接する２枚の画像の少なくとも一部が重ならないと判断されると、前記モザイキング処理の対象から除外する画像のなかから前記隣接する２枚の画像のいずれにも少なくとも一部が重なる画像を選択する手段を備え、
前記抽出手段は、前記モザイキング処理の対象から除外する画像から当該選択した画像を外し、残りの画像を前記モザイキング処理の対象から除外する画像とすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記合成画像生成手段により生成された合成画像をモニタ又は紙媒体に出力する出力手段を備えたことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
請求項１から６に記載の画像処理装置と、
被写体像を撮像する撮像手段と、
を備えたことを特徴とする撮像装置。
【請求項８】
被写体を連続して撮像することにより得られた一連の画像を取得するステップと、
前記取得された一連の画像を連結して１つの合成画像を生成するステップと、
前記取得された一連の画像の各画像に対して当該画像の代表座標をそれぞれ取得するステップと、
前記取得された画像の代表座標がどのように変化するかを示す代表座標の軌跡に基づいて、前記取得手段により取得された一連の画像からモザイキング処理の対象から除外する画像を抽出するステップと、
前記生成された合成画像から前記抽出された画像を除外するステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
請求項８に記載の画像処理方法を演算装置に演算させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−６８１９３（Ｐ２０１０−６８１９３Ａ）
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願番号】特願２００８−２３１９４１（Ｐ２００８−２３１９４１）
【出願日】平成２０年９月１０日（２００８．９．１０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願日】平成２０年９月１０日（２００８．９．１０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]