画像処理装置、画像処理方法及びプログラム
【課題】合成画像の違和感を軽減させる。
【解決手段】画像表示装置１００であって、背景画像（第１画像）の表示すべき内容の変化を検出する変化検出部３ｂと、合成用画像（第２画像）が背景画像に合成される際の態様を、変化検出部により検出された背景画像の表示すべき内容の変化に対応させるように変化させる合成制御部３ｅとを備えている。
【解決手段】画像表示装置１００であって、背景画像（第１画像）の表示すべき内容の変化を検出する変化検出部３ｂと、合成用画像（第２画像）が背景画像に合成される際の態様を、変化検出部により検出された背景画像の表示すべき内容の変化に対応させるように変化させる合成制御部３ｅとを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、合成用画像と背景画像や画像フレームとを合成することにより合成画像を生成する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５９１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１において、仮に、背景画像が動画像である場合、合成用の静止画像は合成位置にて固定されたまま動画再生することとなる。この結果、合成用の静止画像が背景画像の変化に対応していないといった問題が生じる。
【０００５】
そこで、本願発明の課題は、合成画像の違和感を軽減させることができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
第１画像を取得する第１取得手段と、この第１取得手段により取得された第１画像の表示すべき内容の変化を検出する検出手段と、前記第１画像と合成される第２画像を取得する第２取得手段と、この第２取得手段により取得された第２画像が前記第１画像に合成される際の態様を、前記検出手段により検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御手段と、を備えたことを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記検出手段は、前記第１画像の表示すべき内容の変化として、当該第１画像を表示する際の特徴領域の拡大縮小倍率の変化を検出する倍率変化検出手段を有し、前記制御手段は、前記倍率変化検出手段により検出された前記特徴領域の拡大縮小倍率の変化に対応させて、前記第１画像と合成する際の前記第２画像の拡大縮小倍率を変化させることを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１に記載の画像処理装置において、
前記検出手段は、前記第１画像の表示すべき内容の変化として、当該第１画像を表示する際の特徴領域の所定平面での位置の変化を検出する位置変化検出手段を有し、前記制御手段は、前記位置変化検出手段により検出された前記特徴領域の所定平面での位置の変化に対応させて、前記第１画像と合成する際の前記第２画像の位置を変化させることを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理装置において、
前記第１画像と前記第２画像とを合成する合成手段を更に備え、前記制御手段は、前記合成手段により前記第１画像と前記第２画像とを合成する際に、前記第２画像の態様を変化させることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理装置において、
前記第１画像は、複数の画像から構成された動画像であり、前記第２画像の背景に表示されることを特徴としている。
【００１１】
請求項６に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、第１画像を取得する第１取得ステップと、この第１取得ステップにて取得された第１画像の表示すべき内容の変化を検出する検出ステップと、前記第１画像と合成される第２画像を取得する第２取得ステップと、この第２取得ステップにて取得された第２画像が前記第１画像に合成される際の態様を、前記検出ステップにて検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御ステップと、を含むことを特徴としている。
【００１２】
請求項７に記載の発明のプログラムは、
画像処理装置のコンピュータを、第１画像を取得する第１取得手段、この第１取得手段により取得された第１画像の表示すべき内容の変化を検出する検出手段、前記第１画像と合成される第２画像を取得する第２取得手段、この第２取得手段により取得された第２画像が前記第１画像に合成される際の態様を、前記検出手段により検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御手段、として機能させることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、合成画像の違和感を軽減させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した実施形態１の画像表示装置の概略構成を示すブロック図である。
【図２】図１の画像表示装置による合成画像生成処理に係る動作の一例を示すフローチャートである。
【図３】図２の合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
【図４】図２の合成画像生成処理に係る背景画像の一例を模式的に示す図である。
【図５】図２の合成画像生成処理に係る合成用画像の一例を模式的に示す図である。
【図６】図２の合成画像生成処理に係る合成画像の一例を模式的に示す図である。
【図７】本発明を適用した実施形態２の画像表示装置の概略構成を示すブロック図である。
【図８】図７の画像表示装置による画像合成処理に係る動作の一例を示すフローチャートである。
【図９】図７の画像表示装置による合成画像生成処理に係る背景画像の一例を模式的に示す図である。
【図１０】図７の画像表示装置による合成画像生成処理に係る合成画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１５】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１６】
［実施形態１］
図１は、本発明を適用した実施形態１の画像表示装置１００の概略構成を示すブロック図である。
実施形態１の画像表示装置１００は、背景画像を表示する際の特徴領域の拡大縮小倍率の変化を検出し、当該特徴領域の拡大縮小倍率の変化に対応させて、背景画像と合成する際の合成用画像の拡大縮小倍率を変化させる。
具体的には、画像表示装置１００は、例えば、卓上に設置されるデジタルフォトフレーム等であり、図１に示すように、表示部１と、表示制御部２と、画像処理部３と、メモリ４と、画像記録部５と、操作入力部６と、中央制御部７とを備えている。
【００１７】
表示部１は、例えば、液晶表示パネルや有機ＥＬ表示パネルなどから構成されている。そして、表示部１は、表示制御部２の制御下にて、画像記録部５に記録されている所定の画像（例えば、背景画像P1等；図４（ａ）参照）を表示画面に表示する。
【００１８】
表示制御部２は、画像記録部５から読み出され画像処理部３により復号された所定サイズの画像データに基づいて、所定の画像を表示部１の表示画面に表示させる制御を行う。
【００１９】
画像処理部３は、画像記録部５から読み出された表示対象に係る静止画像や動画像の画像データを対応する所定の符号化方式（例えば、ＪＰＥＧ形式、モーションＪＰＥＧ形式、ＭＰＥＧ形式など）に従って復号して、表示制御部２に出力する。このとき、画像処理部３は、画像記録部５から読み出された画像データを、例えば、表示部１の表示解像度等に基づいて所定サイズ（例えば、ＶＧＡやＱＶＧＡサイズ）に縮小して表示制御部２に出力する。
【００２０】
また、画像処理部３は、第１画像取得部３ａと、変化検出部３ｂと、第２画像取得部３ｃと、画像合成部３ｄと、合成制御部３ｅとを具備している。
【００２１】
第１画像取得部３ａは、背景画像（第１画像）P1を取得する。
即ち、第１画像取得部３ａは、画像記録部５に記録されている所定数の背景画像P1の中で、ユーザによる操作入力部６の所定操作に基づいて指定されたユーザ所望の背景画像P1（図４（ａ）等参照）の画像データを取得する。
ここで、第１画像取得部３ａは、背景画像（第１画像）P1を取得する第１取得手段を構成している。
【００２２】
変化検出部３ｂは、背景画像P1を表示する際のその内容の変化を検出する。具体的には、変化検出部３ｂは、背景画像P1の表示すべき内容の変化として、当該背景画像P1を表示する際の特徴領域の拡大縮小倍率の変化を検出する倍率変化検出部（倍率変化検出手段）ｂ１を具備している。
【００２３】
倍率変化検出部ｂ１は、例えば、背景画像P1がズーム倍率を変更しながら撮像された複数の画像フレームP1a〜P1nから構成されている場合等に、当該背景画像P1の特徴領域の拡大縮小倍率の変化を検出する。
具体的には、倍率変化検出部ｂ１は、背景画像P1を構成する複数の画像フレームP1a〜P1nの各々に付加されている当該各画像が撮像された際の撮像手段（図示略）のズーム倍率に係る倍率情報を取得する。そして、倍率変化検出部ｂ１は、背景画像P1を構成する複数の画像フレームP1a〜P1nの各々の倍率情報から、当該背景画像P1を表示する際における、背景画像P1内の主要被写体（例えば、「建物」等）などの特徴領域の拡大縮小倍率の変化、即ち、背景画像P1を構成する複数の画像フレームP1a〜P1nのうちの最初の画像フレームP1aを基準とした特徴領域の拡大縮小倍率の変化を検出する。
なお、特徴領域とは、背景画像P1を表示する際の縦方向及び横方向の表示範囲の変化を特定可能な領域であれば如何なる領域であっても良い。つまり、背景画像P1に写っている被写体であれば如何なる被写体であっても良く、上記した主要被写体に限られるものではない。
また、特徴領域の拡大縮小倍率の変化の検出を、撮像手段（図示略）のズーム倍率に基づいて行うようにしたが、検出方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、背景画像P1に対して顔検出処理や特徴検出処理を行って、検出された顔や物体や動物や植物等の画像領域の画像サイズ（縦方向や横方向の画素数）に基づいて特徴領域の拡大縮小倍率の変化を検出するようにしても良い。なお、顔検出処理や特徴検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２４】
このように、変化検出部３ｂは、第１画像取得部３ａにより取得された背景画像（第１画像）P1の表示すべき内容の変化を検出する検出手段を構成している。
【００２５】
第２画像取得部３ｃは、背景画像P1と合成される合成用画像（第２画像）P2を取得する。
即ち、第２画像取得部３ｃは、画像記録部５に記録されている所定数の合成用画像P2の中で、ユーザによる操作入力部６の所定操作に基づいて指定されたユーザ所望の合成用画像P2（図５参照）の画像データを取得する。
ここで、第２画像取得部３ｃは、背景画像（第１画像）P1と合成される合成用画像（第２画像）P2を取得する第２取得手段を構成している。
【００２６】
画像合成部３ｄは、背景画像P1と合成用画像P2とを合成する画像合成処理を行う。
即ち、画像合成部３ｄは、第１画像取得部３ａにより取得された背景画像P1と第２画像取得部３ｃにより取得された合成用画像P2とを合成して合成画像P3を生成する。具体的には、画像合成部３ｄは、背景画像P1の各画素のうち、合成用画像P2の画素のアルファ値が０の画素は背景画像P1に対して透過させ、合成用画像P2の画素のアルファ値が１の画素は合成用画像P2の対応する画素の画素値で背景画像P1の画素を上書きし、さらに、背景画像P1の各画素のうち、合成用画像P2の画素のアルファ値が０＜α＜１の画素は１の補数（１−α）を用いて合成用画像P2の被写体領域を切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて合成用画像P2を生成した際に単一背景色とブレンドした値を計算し、当該値を合成用画像P2から減算し、それを被写体領域を切り抜いた画像（背景画像×（１−α））と合成する。
ここで、画像合成部３ｄは、背景画像（第１画像）P1と合成用画像（第２画像）P2とを合成する合成手段を構成している。
【００２７】
合成制御部３ｅは、背景画像P1と合成する際の合成用画像P2の態様の変化を制御する。
即ち、合成制御部３ｅは、静止画像である合成用画像P2の態様を、複数の画像フレームP1a〜P1nからなる背景画像P1の表示すべき内容の変化に対応させるように変化させる。また、合成制御部３ｅは、画像合成部３ｄによる画像合成処理を制御し、画像合成部３ｄにより背景画像P1と合成用画像P2とを合成する際に、合成用画像P2の態様を変化させる。
具体的には、合成制御部３ｅは、変化検出部３ｂの倍率変化検出部ｂ１により検出された背景画像P1を構成する複数の画像フレームP1a〜P1nの各々のうち、最初の画像フレームP1aを基準とした特徴領域の拡大縮小倍率の変化（背景画像P1のズーム倍率の変化）に基づいて、背景画像P1を構成する複数の画像フレームP1a〜P1nの各々に合成される各合成用画像P2の被写体画像G（図５参照）の画像サイズをリサイズする。例えば、合成制御部３ｅは、背景画像P1の最初の画像フレームP1aを基準とした特徴領域の拡大縮小倍率が、二番目の画像P1bでは1.3倍、三番目の画像（図示略）では2.0倍と変化する場合には、二番目の画像P1bに合成される合成用画像P2の被写体画像Gの画像サイズを1.3倍、三番目の画像に合成される合成用画像P2の被写体画像Gの画像サイズを2.0倍と変化させる。
換言すると、背景画像P1を構成する各画像フレームP1a〜P1nに合成される合成用画像P2の被写体画像Gの画像サイズは、背景画像P1における合成対象となる一の画像（例えば、二番目の画像P1b等）のズーム倍率を最初の画像フレームP1aのズーム倍率で除算した値を、第２画像取得部３ｃにより取得された本来の合成用画像P2の被写体画像Gの画像サイズに乗算した値となる。
【００２８】
このように、合成制御部３ｅは、倍率変化検出部ｂ１により検出された背景画像P1の特徴領域の拡大縮小倍率の変化に対応させて、当該背景画像P1と合成する際の合成用画像P2の拡大縮小倍率を変化させる。
ここで、合成制御部３ｅは、第２画像取得部３ｃにより取得された合成用画像（第２画像）P2の背景画像（第１画像）P1と合成する際の態様を、変化検出部３ｂにより検出された背景画像P1の表示すべき内容の変化に対応させるように変化させる制御手段を構成している。
【００２９】
メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、表示制御部２や画像処理部３や中央制御部７等によって処理されるデータ等を一時的に記憶する。
【００３０】
画像記録部５は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されている。また、画像記録部５は、画像処理部３の符号化部（図示略）により所定の符号化方式で符号化された背景画像P1や合成用画像P2の画像データを記録する。
背景画像P1は、合成用画像P2の背景に表示される画像である。また、背景画像P1は、複数の画像フレームP1a〜P1n（図４（ａ）〜図４（ｃ）等参照）から構成された動画像であり、例えば、所定の撮像フレームレートで撮像された連続した複数の画像フレーム（例えば、ｎ枚の画像フレーム）からなる動画像データや、所定のシャッタースピードで連写された連写画像データ等が挙げられる。
合成用画像P2は、静止画像であり、例えば、所定の背景内に被写体が存する被写体存在画像から被写体領域（例えば、風船の存する領域等）を抽出する被写体切り抜き処理にて生成された被写体切り抜き画像の静止画像が挙げられる（図５参照）。また、合成用画像P2の画像データは、被写体切り抜き処理にて生成されたアルファマップと対応付けられており、当該合成用画像P2の画像データの拡張子は、「.jpe」として保存されている。
ここで、アルファマップとは、合成用画像P2の各画素について、当該合成用画像P2の被写体画像G（図５参照）を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
【００３１】
操作入力部６は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成される操作部を有し、これらの操作部の操作に応じて所定の操作信号を中央制御部７に出力する。
【００３２】
中央制御部７は、画像表示装置１００の各部を制御するものである。具体的には、中央制御部７は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、画像表示装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００３３】
次に、画像表示装置１００による合成画像生成処理について、図２〜図６を参照して説明する。
図２は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図３は、画像合成処理に係る動作の一例を示すフローチャートである。
以下に説明する合成画像生成処理は、ユーザによる操作入力部６の所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
【００３４】
図２に示すように、先ず、表示制御部２は、背景画像P1の指定を指示する所定のメッセージを表示部１の表示画面に表示させ、中央制御部７は、ユーザによる操作入力部６の所定操作に基づいて、表示部１に表示されている少なくとも一の背景画像P1の中でユーザ所望の背景画像P1が指定されたか否かを判定する（ステップＳ１）。
ここで、所望の背景画像P1（図４（ａ）等参照）が指定されたと判定されると（ステップＳ１；ＹＥＳ）、画像処理部３の第１画像取得部３ａは、画像記録部５に記録されている所定数の背景画像P1の中で、ユーザによる操作入力部６の所定操作に基づいて指定されたユーザ所望の背景画像P1の画像データを読み出して取得する（ステップＳ２）。
なお、ステップＳ１にて、背景画像P1が指定されていないと判定されると（ステップＳ１；ＮＯ）、中央制御部７は、処理をステップＳ１に戻し、背景画像P1が指定されたと判定されるまで（ステップＳ１；ＹＥＳ）、待機させる。
【００３５】
続けて、変化検出部３ｂは、背景画像P1を表示する際のその内容の変化を検出する変化解析処理を行う（ステップＳ３）。
具体的には、変化検出部３ｂの倍率変化検出部ｂ１は、背景画像P1を構成する複数の画像フレームP1a〜P1nの各々が撮像された際のズーム倍率に係る倍率情報を取得する。そして、倍率変化検出部ｂ１は、当該複数の画像フレームP1a〜P1nの各々の倍率情報に基づいて、背景画像P1を構成する複数の画像フレームP1a〜P1nのうちの最初の画像フレームP1aを基準として、主要被写体（例えば、「建物」等）などの特徴領域の拡大縮小倍率の変化を検出する。
【００３６】
次に、表示制御部２は、合成用画像P2の指定を指示する所定のメッセージを表示部１の表示画面に表示させ、中央制御部７は、ユーザによる操作入力部６の所定操作に基づいて、表示部１に表示されている少なくとも一の合成用画像P2の中でユーザ所望の合成用画像P2が指定されたか否かを判定する（ステップＳ４）。
ここで、所望の合成用画像P2（図５参照）が指定されたと判定されると（ステップＳ４；ＹＥＳ）、画像処理部３の第２画像取得部３ｃは、画像記録部５に記録されている所定数の合成用画像P2の中で、ユーザによる操作入力部６の所定操作に基づいて指定されたユーザ所望の合成用画像P2の画像データを読み出して取得する（ステップＳ５）。
なお、ステップＳ４にて、合成用画像P2が指定されていないと判定されると（ステップＳ４；ＮＯ）、中央制御部７は、処理をステップＳ４に戻し、合成用画像P2が指定されたと判定されるまで（ステップＳ４；ＹＥＳ）、処理を待機させる。
【００３７】
次に、表示制御部２は、背景画像P1の最初の画像フレームP1aを表示部１の表示画面に表示させるとともに、当該最初の画像フレームP1aにおける合成用画像P2の合成位置の指定を指示する所定のメッセージを表示部１の表示画面に表示させ、中央制御部７は、ユーザによる操作入力部６の所定操作に基づいて、合成用画像P2の合成位置が指定されたか否かを判定する（ステップＳ６）。
ここで、合成用画像P2の合成位置が指定されたと判定されると（ステップＳ６；ＹＥＳ）、表示制御部２は、背景画像P1の最初の画像P1aに重畳させて合成用画像P2を指定された合成位置に表示させた後（ステップＳ７）、中央制御部７は、ユーザによる操作入力部６の所定操作に基づいて、背景画像P1と合成用画像P2との合成の開始指示が入力されたか否かを判定する（ステップＳ８）。
なお、ステップＳ６にて、合成用画像P2の合成位置が指定されていないと判定されると（ステップＳ６；ＮＯ）、中央制御部７は、処理をステップＳ６に戻し、合成用画像P2の合成位置が指定されたと判定されるまで（ステップＳ６；ＹＥＳ）、処理を待機させる。
また、ステップＳ８にて、合成開始指示が入力されていないと判定されると（ステップＳ８；ＮＯ）、中央制御部７は、処理をステップＳ７に移行して、ステップＳ８にて合成開始指示が入力されたと判定されるまで（ステップＳ８；ＹＥＳ）、それ以降の処理を順次繰り返し実行させる。
【００３８】
ステップＳ８にて、合成開始指示が入力されたと判定されると（ステップＳ８；ＹＥＳ）、画像合成部３ｄは、合成制御部３ｅの制御下にて、背景画像P1と合成用画像P2の被写体画像Gとを合成する画像合成処理（図３参照）を行う（ステップＳ９）。
ここで、画像合成処理について図３を参照して詳細に説明する。
【００３９】
図３に示すように、先ず、合成制御部３ｅは、背景画像P1を構成する複数の画像フレームP1a〜P1nのうち、処理対象に係る最初の画像フレームP1aのフレーム番号として「１」を指定する（ステップＳ２１）。
続けて、画像合成部３ｄは、合成用画像P2と対応付けて保存されているアルファマップを読み出してメモリ４に展開する（ステップＳ２２）。
なお、図２のステップＳ６にて画像フレームP1aにおける合成用画像P2の合成位置が決定された際に、画像フレームP1aとアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。
【００４０】
次に、画像合成部３ｄは、背景画像P1の最初の画像フレームP1aの何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ２３）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ２４）。具体的には、画像合成部３ｄは、画像フレームP1aの何れか一の画素のうち、アルファ値が１の画素については（ステップＳ２４；α＝１）、合成用画像P2の対応する画素の画素値で画像フレームP1aの画素値を上書きし（ステップＳ２５）、アルファ値が０＜α＜１の画素については（ステップＳ２４；０＜α＜１）、１の補数（１−α）を用いて被写体領域を切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて合成用画像P2を生成した際に単一背景色とブレンドした値を計算し、当該値を合成用画像P2から減算し、それを被写体領域を切り抜いた画像（背景画像×（１−α））と合成し（ステップＳ２６）、アルファ値が０の画素については（ステップＳ２４；α＝０）、何もせずに画像フレームP1aを透過させるようにする。
【００４１】
続けて、画像合成部３ｄは、画像フレームP1aの全ての画素について処理したか否かを判定する（ステップＳ２７）。
ここで、全ての画素について処理していないと判定されると（ステップＳ２７；ＮＯ）、画像合成部３ｄは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ２８）、処理をステップＳ２４に移行させる。
上記の処理を、ステップＳ２７にて全ての画素について処理したと判定されるまで（ステップＳ２７；ＹＥＳ）、繰り返すことで、画像合成部３ｄは、合成用画像P2と画像フレームP1aとを合成した合成画像P3を構成する最初の画像フレームP3a（図６（ａ）参照）を生成する。
【００４２】
そして、ステップＳ２７にて全ての画素について処理したと判定されると（ステップＳ２７；ＹＥＳ）、合成制御部３ｅは、動画像としての合成画像P3を構成する全ての画像フレームP3a〜P3nについて処理したか否かを判定する（ステップＳ２９）。
ここで、全ての画像フレームP3a〜P3nについて処理していないと判定されると（ステップＳ２９；ＮＯ）、合成制御部３ｅは、合成画像P3を構成する複数の画像フレームP3a〜P3nのうち、処理対象となる次の画像フレーム（例えば、二番目の画像フレームP3b等）に係るフレーム番号を＋１インクリメントして指定する（ステップＳ３０）。これにより、合成画像P3の二番目の画像フレームP3bが画像合成処理の処理対象となる。
【００４３】
次に、合成制御部３ｅは、倍率変化検出部ｂ１により検出された背景画像P1の拡大縮小倍率の変化に基づいて、合成画像P3の二番目の画像フレームP3bにおける合成用画像P2の被写体画像Gの画像サイズを拡大縮小する（ステップＳ３１）。
具体的には、合成制御部３ｅは、背景画像P1を構成する二番目の画像P1bの特徴領域の最初の画像フレームP1aを基準とした拡大縮小倍率（例えば、1.3倍等）に従って、二番目の画像フレームP3bにおける合成用画像P2の被写体画像Gの画像サイズをリサイズ（例えば、1.3倍等）する。このとき、合成制御部３ｅは、リサイズされた合成用画像P2の被写体画像Gの画像サイズに応じてアルファマップにおける被写体領域部分（α＝１）及び被写体領域以外の部分（α＝０）を修正して、合成用画像P2とアルファマップとがずれないように調整する。
【００４４】
次に、画像合成部３ｄは、処理をステップＳ２３に移行させて、背景画像P1の二番目の画像P1bの例えば左上隅部の画素からステップＳ２４〜Ｓ２８を順次行うことで、合成用画像P2と背景画像P1bとを合成した合成画像P3を構成する二番目の画像フレームP3bを生成する。これにより、背景画像P1の二番目の画像P1bの拡大縮小倍率に従って合成用画像P2の被写体画像Ｇの画像サイズがリサイズされた二番目の画像フレームP3b（図６（ｂ）参照）が生成される。
そして、二番目の画像フレームP3bの生成が完了することによって、ステップＳ２７にて全ての画素について合成処理したと判定されると（ステップＳ２７；ＹＥＳ）、処理をステップＳ２９に移行させて、合成制御部３ｅは、動画像としての合成画像P3を構成する全ての画像フレームP3a〜P3nについて合成処理したか否かを判定する（ステップＳ２９）。
上記の合成処理を、全ての画像フレームP3a〜P3nについて行ったと判定されるまで（ステップＳ２９；ＹＥＳ）、繰り返すことで、画像合成部３ｄは、合成画像P3を構成する全ての画像フレームP3a〜P3n（図６（ａ）〜図６（ｃ）参照）を生成する。
これにより、画像合成処理を終了する。
【００４５】
次に、図２に示すように、表示制御部２は、画像合成部３ｄにより生成された複数の画像フレームP3a〜P3nからなる動画像である合成画像P3（合成動画像）の画像データに基づいて、各画像フレームP3a〜P3nを所定の表示フレームレートで切り換えて表示部１の表示画面に表示させることで、背景画像P1の拡大縮小倍率に従って合成用画像P2の被写体画像G（例えば、風船）が拡大縮小する合成画像P3（合成動画像）を表示する（ステップＳ１０）。
その後、中央制御部７は、ユーザによる操作入力部６の所定操作に基づいて、合成画像P3を画像記録部５に保存させる指示が入力されたか否かを判定する（ステップＳ１１）。
ここで、合成画像P3の保存指示が入力されたと判定されると（ステップＳ１１；ＹＥＳ）、中央制御部７は、画像記録部５の所定の記録領域に、画像合成部３ｄにより生成された複数の画像フレームP3a〜P3nからなる合成画像P3の画像データを保存させて（ステップＳ１２）、合成画像生成処理を終了する。
【００４６】
以上のように、実施形態１の画像表示装置１００によれば、背景画像P1の表示すべき内容の変化を検出して、合成用画像P2の背景画像P1と合成する際の態様を、検出された背景画像P1の表示すべき内容の変化に対応させるように変化させるので、合成用画像P2の態様が背景画像P1の表示すべき内容の変化に対応した合成画像P3、即ち、背景画像P1と合成用画像P2の一体感のある合成画像P3を生成することができる。従って、合成用画像P2の合成態様が背景画像P1の表示すべき内容の変化に対応しないことに起因する合成画像P3の違和感を軽減させることができる。
具体的には、動画像である背景画像P1を表示する際の特徴領域の拡大縮小倍率の変化を検出し、当該特徴領域の拡大縮小倍率の変化に対応させて、背景画像P1と合成する際の合成用画像P2の被写体画像Gの拡大縮小倍率を変化させることにより、背景画像P1の拡大縮小倍率に従って合成用画像P2の被写体画像Gが拡大縮小する合成動画像を生成することができる。
【００４７】
また、背景画像P1と合成用画像P2とを合成する画像合成処理にて、合成用画像P2の態様を背景画像P1の表示すべき内容の変化に対応させるように変化させるので、画像合成処理を行うだけで背景画像P1の表示すべき内容の変化に従って合成用画像P2の態様を変化させた合成画像P3を自動的に生成することができる。
【００４８】
［実施形態２］
図７は、本発明を適用した実施形態２の画像表示装置２００の概略構成を示すブロック図である。
なお、実施形態２の画像表示装置２００は、以下に詳細に説明する以外の点で上記実施形態１の画像表示装置１００と略同様の構成をなし、詳細な説明は省略する。
【００４９】
実施形態２の画像表示装置２００は、背景画像P4を表示する際の特徴領域の所定平面での位置の変化を検出し、当該特徴領域の所定平面での位置の変化に対応させて、背景画像P4と合成する際の合成用画像P2の位置を変化させる。
【００５０】
具体的には、図７に示すように、画像表示装置２００の変化検出部３ｂは、背景画像P4の表示すべき内容の変化として、当該背景画像P4を表示する際の特徴領域の所定平面での位置の変化を検出する位置変化検出部（位置変位検出手段）ｂ２を具備している。
【００５１】
位置変化検出部ｂ２は、例えば、背景画像P4がパンニングしながら撮像された複数の画像フレームP4a〜P4nから構成されている場合等に、当該背景画像P4を表示する際の特徴領域の所定平面での位置の変化を検出する。即ち、位置変化検出部ｂ２は、背景画像P4を構成する複数の画像フレームP4a〜P4n間における動きベクトルを検出する。
具体的には、位置変化検出部ｂ２は、特徴検出処理を行って、背景画像P4を構成する複数の画像フレームP4a〜P4nのうち、何れか一の画像フレーム（例えば、最初の画像フレームP4a）を基準画像として、当該基準画像から所定数の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、８×８画素の正方形等）として検出する。そして、位置変化検出部ｂ２は、背景画像P4を構成する複数の画像フレームP4a〜P4nのうち、次の画像フレーム（例えば、二番目の画像フレームP4b；対象画像）内にてテンプレートがどこに対応するか、つまり、対象画像内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索して、当該テンプレートの複数の画像フレームP4a〜P4n間における動きベクトルをそれぞれ算出する。このとき、例えば、手ぶれの影響等を考慮して、動きベクトルが所定値以下のもの除外しても良い。
そして、位置変化検出部ｂ２は、各画像フレームP4a〜P4n間について算出された全ての動きベクトルを統合して、当該画像フレームP4a〜P4n間における全体の動きベクトルを、背景画像P4内の主要被写体（例えば、「建物」等）などの特徴領域の所定平面での位置の変化として検出する。
【００５２】
合成制御部３ｅは、変化検出部３ｂの位置変化検出部ｂ２により検出された背景画像P4を構成する複数の画像フレームP4a〜P4n間における特徴領域の位置の変化（全体の動きベクトル）に基づいて、背景画像P4を構成する複数の画像フレームP4a〜P4nの各々に合成される静止画像である合成用画像P2の被写体画像Gの位置を変更する。例えば、合成制御部３ｅは、背景画像P4の最初の画像フレームP4aと二番目の画像P4bとの間で特徴領域が所定方向に所定画素（例えば、左方向に30画素等）位置が変化した場合には、二番目の画像フレームP4bに合成される合成用画像P2の被写体画像Gの合成位置を動きベクトルと等しい方向及び大きさで変化させ、二番目の画像フレームP4bと三番目の画像フレーム（図示略）との間で特徴領域が所定方向に所定画素（例えば、左方向に50画素等）位置が変化した場合には、同様に、三番目の画像フレームに合成される合成用画像P2の被写体画像Gの合成位置を二番目の画像フレームP4bに対して動きベクトルと等しい方向及び大きさで変化させる。
換言すると、背景画像P4を構成する各画像フレームP4a〜P4nに合成される合成用画像P2の被写体画像Gの合成位置は、背景画像P4を構成する複数の画像フレームP4a〜P4nのうち、前回の画像フレーム（例えば、最初の画像フレームP4a等）における合成位置に、合成対象となる今回の画像フレーム（例えば、二番目の画像フレームP4b等）と前回の画像フレームとの間の動きベクトル（特徴領域の位置変化量）を加算した位置となる。
【００５３】
なお、位置変化検出部ｂ２により検出された背景画像P4を構成する複数の画像フレームP4a〜P4n間における全体の動きベクトルが不規則的に変化する場合には、合成制御部３ｅは、背景画像P4の撮像の際に手ぶれが生じていたと判断して、複数の画像フレームP4a〜P4n間における全体の動きベクトルに対して当該手ぶれに対応する動き量を補正する処理を行った後、補正後の動きベクトルに基づいて、背景画像P4を構成する複数の画像フレームP4a〜P4nの各々に合成される各合成用画像P2の位置を変更するようにしても良い。
また、合成用画像P2として静止画像を例示して説明したが、例えば、動画像であっても良く、この場合には、合成制御部３ｅは、合成用画像P2の動きベクトルを算出して、合成画像P5の各フレームP5a〜P5nに対応する合成用画像P2の動きベクトルを減算することにより、合成用画像P2の合成位置を算出する。
【００５４】
このように、合成制御部３ｅは、位置変化検出部ｂ２により検出された背景画像P4内の特徴領域の所定平面での位置の変化に対応させて、当該背景画像P4と合成する際の合成用画像P2の位置を変化させる。
【００５５】
次に、画像表示装置２００による合成画像生成処理について、図２、図８等を参照して説明する。
図８は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
【００５６】
以下に説明する合成画像生成処理は、上記実施形態１と同様に、ユーザによる操作入力部６の所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
【００５７】
図２に示すように、先ず、上記実施形態１の合成画像生成処理と同様に、中央制御部７は、ユーザによる操作入力部６の所定操作に基づいて、ユーザ所望の背景画像P4が指定されたか否かを判定する（ステップＳ１）。
ここで、所望の背景画像P4（図９（ａ）等参照）が指定されたと判定されると（ステップＳ１；ＹＥＳ）、上記実施形態１の合成画像生成処理と同様に、画像処理部３の第１画像取得部３ａは、ユーザによる操作入力部６の所定操作に基づいて指定されたユーザ所望の背景画像P4の画像データを画像記録部５から読み出して取得する（ステップＳ２）。
【００５８】
続けて、変化検出部３ｂは、背景画像P4を表示する際のその内容の変化を検出する変化解析処理を行う（ステップＳ３）。
具体的には、変化検出部３ｂの位置変化検出部ｂ２は、背景画像P4を構成する複数の画像フレームP4a〜P4nのうち、何れか一の画像フレーム（例えば、最初の画像フレームP4a）を基準画像として、当該基準画像から所定数のテンプレートを検出する。そして、位置変化検出部ｂ２は、背景画像P4を構成する複数の画像フレームP4a〜P4nのうち、次の画像フレーム（例えば、二番目の画像フレームP4b）内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索して、当該テンプレートの複数の画像フレームP4a〜P4n間における動きベクトルを算出し、各画像フレーム間について算出された全ての動きベクトルを統合して、当該画像フレーム間における全体の動きベクトルを、背景画像P4内の主要被写体（例えば、「建物」等）などの特徴領域の所定平面での位置の変化として検出する。
なお、背景画像P4の符号化方式が、例えば、ＭＰＥＧ形式のように、動き補償予測を行う方式の場合、各画像フレームP4a〜P4n間の動きベクトルが既に記録されているので、上記の変化解析処理（ステップＳ３）を行わなくても良い。
【００５９】
ステップＳ４〜Ｓ８の各処理は上記実施形態１の合成画像生成処理と同様であるので、その詳細な説明は省略する。
そして、ステップＳ８にて、背景画像P4と合成用画像P2との合成開始指示が入力されたと判定されると（ステップＳ８；ＹＥＳ）、画像合成部３ｄは、合成制御部３ｅの制御下にて、背景画像P4と合成用画像P2の被写体画像Gとを合成する画像合成処理（図８参照）を行う（ステップＳ９）。
ここで、画像合成処理について図８を参照して詳細に説明する。
【００６０】
以下に説明する画像合成処理にあっては、背景画像P4を構成する複数の画像フレームP4a〜P4nのうち、最初の画像フレームP4aを処理対象として行われるステップＳ２１〜Ｓ２９の各処理は、上記実施形態１の画像合成処理と同様であるので、その詳細な説明は省略する。
そして、画像合成部３ｄにより合成画像P5を構成する最初の画像フレームP5a（図１０（ａ）参照）が生成された後、ステップＳ２９にて、全ての画像フレームP5a〜P5nについて処理していないと判定されると（ステップＳ２９；ＮＯ）、合成制御部３ｅは、合成画像P5を構成する複数の画像フレームP5a〜P5nのうち、処理対象となる次の画像フレーム（例えば、二番目の画像フレームP5b等）に係るフレーム番号を＋１インクリメントして指定する（ステップＳ３０）。これにより、合成画像P5の二番目の画像フレームP5bが画像合成処理の処理対象となる。
【００６１】
次に、合成制御部３ｅは、位置変化検出部ｂ２により検出された背景画像P4の特徴領域の位置の変化に基づいて、合成画像P5を構成する二番目の画像フレームP5bにおける合成用画像P2の被写体画像Gの合成位置を変更する（ステップＳ１３１）。
具体的には、合成制御部３ｅは、背景画像P4の最初の画像フレームP4aと二番目の画像フレームP4b間の特徴領域の全体の動きベクトルに従って、二番目の画像フレームP5bにおける合成用画像P2の被写体画像Gの合成位置を動きベクトルと等しい方向及び大きさで変化させる。このとき、合成制御部３ｅは、変更された合成用画像P2の被写体画像Gの合成位置に応じてアルファマップにおける被写体領域部分（α＝１）及び被写体領域以外の部分（α＝０）を修正して、合成用画像P2とアルファマップとがずれないように調整する。
【００６２】
次に、画像合成部３ｄは、処理をステップＳ２３に移行させて、背景画像P4の二番目の画像フレームP4bの例えば左上隅部の画素からステップＳ２４〜Ｓ２８を順次行うことで、合成用画像P2と背景画像P4bとを合成した合成画像P5を構成する二番目の画像フレームP5bを生成する。これにより、背景画像P4の二番目の画像フレームP4bの特徴領域の位置の変化に応じて合成用画像P2の被写体画像Gの合成位置が変化された二番目の画像フレームP5b（図１０（ｂ）参照）が生成される。
そして、二番目の画像フレームP5bの生成が完了することによって、ステップＳ２７にて全ての画素について合成処理したと判定されると（ステップＳ２７；ＹＥＳ）、処理をステップＳ２９に移行させて、合成制御部３ｅは、合成画像P5を構成する全ての画像フレームP5a〜P5nについて合成処理したか否かを判定する（ステップＳ２９）。
上記の合成処理を、全ての画像フレームP5a〜P5nについて行ったと判定されるまで（ステップＳ２９；ＹＥＳ）、繰り返すことで、画像合成部３ｄは、合成画像P5を構成する全ての画像フレームP5a〜P5n（図１０（ａ）〜図１０（ｃ）参照）を生成する。
これにより、画像合成処理を終了する。
【００６３】
次に、図２に示すように、表示制御部２は、画像合成部３ｄにより生成された複数の画像フレームP5a〜P5nからなる動画像である合成画像P5（合成動画像）の画像データに基づいて、各画像フレームP5a〜P5nを所定の表示フレームレートで切り換えて表示部１の表示画面に表示させることで、背景画像P4の特徴領域の位置の変化に応じて合成用画像P2の被写体画像G（例えば、風船）の位置が変化する合成画像P5（合成動画像）を表示する（ステップＳ１０）。
その後、上記実施形態１の合成画像生成処理と同様に、ステップＳ１１にて、合成画像P5の保存指示が入力されたと判定されると（ステップＳ１１；ＹＥＳ）、中央制御部７は、画像記録部５の所定の記録領域に、画像合成部３ｄにより生成された複数の画像フレームP5a〜P5nからなる合成画像P5の画像データを保存させて（ステップＳ１２）、合成画像生成処理を終了する。
【００６４】
以上のように、実施形態２の画像表示装置２００によれば、動画像である背景画像P4を表示する際の特徴領域の所定平面での位置の変化を検出し、当該特徴領域の所定平面での位置の変化に対応させて、背景画像P4と合成する際の合成用画像P2の位置を変化させるので、背景画像P4の特徴領域の位置の変化に応じて合成用画像P2の被写体画像Gの位置が変化する合成動画像を生成することができる。従って、合成用画像P2の合成態様が背景画像P4の表示すべき内容の変化に対応しないことに起因する合成画像P5の違和感を軽減させることができる。
【００６５】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、撮像装置１００、２００の各構成を適宜任意に組み合わせても良く、これにより、背景画像P1を表示する際の特徴領域の拡大縮小倍率の変化、及び、背景画像P4を表示する際の特徴領域の所定平面での位置の変化の両方に対応させて、合成用画像P2の当該背景画像P1（P4）と合成する際の態様を変化させることができる。
また、背景画像P1（P4）の表示すべき内容の変化として、当該背景画像P1（P4）のコントラストの高低の変化や明るさの変化に対応するように合成用画像P2を変化させるようにしても良い。
【００６６】
また、画像表示装置１００、２００の構成は、上記実施形態１、２に例示したものは一例であり、これらに限られるものではない。さらに、画像処理装置として、画像表示装置１００、２００を例示したが、これらに限られるものではない。
即ち、上記実施形態１、２にあっては、画像記録部５に、画像合成部３ｄにより生成された複数の画像フレームP3a〜P3n（P5a〜P5n）からなる合成画像P3（P5）の画像データを保存させるようにしたが、これに限られるものではなく、例えば、画像合成処理にて合成用画像P2の態様を変化させるための制御情報を生成して、当該制御情報と背景画像P1と合成用画像P2とを対応付けて保存する構成の画像処理装置であっても良い。そして、生成された制御情報を当該画像処理装置と接続された画像合成装置に送信して、この画像合成装置にて合成用画像P2と背景画像P1とを合成して合成画像P3を生成するようにしても良い。
【００６７】
加えて、上記実施形態にあっては、第１取得手段、検出手段、第２取得手段、制御手段としての機能を、中央制御部７の制御下にて、画像処理部３の第１画像取得部３ａ、変化検出部３ｂ、第２画像取得部３ｃ、画像合成部３ｄが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部７のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、検出処理ルーチン、第２取得処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部７のＣＰＵを、第１画像を取得する第１取得手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部７のＣＰＵを、第１取得手段により取得された第１画像の表示すべき内容の変化を検出する検出手段として機能させるようにしても良い。また、第２取得処理ルーチンにより中央制御部７のＣＰＵを、第１画像と合成される第２画像を取得する第２取得手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部７のＣＰＵを、第２取得手段により取得された第２画像が第１画像と合成される際の態様を、検出手段により検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御手段して機能させるようにしても良い。
【００６８】
同様に、倍率検出手段、位置変化検出手段、合成手段についても、中央制御部７のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００６９】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【符号の説明】
【００７０】
１００、２００ 画像表示装置
１ 表示部
２ 表示制御部
３ 画像処理部
３ａ 第１画像取得部
３ｂ 変化検出部
ｂ１ 倍率変化検出部
ｂ２ 位置変化検出部
３ｃ 第２画像取得部
３ｄ 画像合成部
３ｅ 合成制御部
５ 画像記録部
７ 中央制御部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、合成用画像と背景画像や画像フレームとを合成することにより合成画像を生成する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５９１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１において、仮に、背景画像が動画像である場合、合成用の静止画像は合成位置にて固定されたまま動画再生することとなる。この結果、合成用の静止画像が背景画像の変化に対応していないといった問題が生じる。
【０００５】
そこで、本願発明の課題は、合成画像の違和感を軽減させることができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
第１画像を取得する第１取得手段と、この第１取得手段により取得された第１画像の表示すべき内容の変化を検出する検出手段と、前記第１画像と合成される第２画像を取得する第２取得手段と、この第２取得手段により取得された第２画像が前記第１画像に合成される際の態様を、前記検出手段により検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御手段と、を備えたことを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記検出手段は、前記第１画像の表示すべき内容の変化として、当該第１画像を表示する際の特徴領域の拡大縮小倍率の変化を検出する倍率変化検出手段を有し、前記制御手段は、前記倍率変化検出手段により検出された前記特徴領域の拡大縮小倍率の変化に対応させて、前記第１画像と合成する際の前記第２画像の拡大縮小倍率を変化させることを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１に記載の画像処理装置において、
前記検出手段は、前記第１画像の表示すべき内容の変化として、当該第１画像を表示する際の特徴領域の所定平面での位置の変化を検出する位置変化検出手段を有し、前記制御手段は、前記位置変化検出手段により検出された前記特徴領域の所定平面での位置の変化に対応させて、前記第１画像と合成する際の前記第２画像の位置を変化させることを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理装置において、
前記第１画像と前記第２画像とを合成する合成手段を更に備え、前記制御手段は、前記合成手段により前記第１画像と前記第２画像とを合成する際に、前記第２画像の態様を変化させることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理装置において、
前記第１画像は、複数の画像から構成された動画像であり、前記第２画像の背景に表示されることを特徴としている。
【００１１】
請求項６に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、第１画像を取得する第１取得ステップと、この第１取得ステップにて取得された第１画像の表示すべき内容の変化を検出する検出ステップと、前記第１画像と合成される第２画像を取得する第２取得ステップと、この第２取得ステップにて取得された第２画像が前記第１画像に合成される際の態様を、前記検出ステップにて検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御ステップと、を含むことを特徴としている。
【００１２】
請求項７に記載の発明のプログラムは、
画像処理装置のコンピュータを、第１画像を取得する第１取得手段、この第１取得手段により取得された第１画像の表示すべき内容の変化を検出する検出手段、前記第１画像と合成される第２画像を取得する第２取得手段、この第２取得手段により取得された第２画像が前記第１画像に合成される際の態様を、前記検出手段により検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御手段、として機能させることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、合成画像の違和感を軽減させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した実施形態１の画像表示装置の概略構成を示すブロック図である。
【図２】図１の画像表示装置による合成画像生成処理に係る動作の一例を示すフローチャートである。
【図３】図２の合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
【図４】図２の合成画像生成処理に係る背景画像の一例を模式的に示す図である。
【図５】図２の合成画像生成処理に係る合成用画像の一例を模式的に示す図である。
【図６】図２の合成画像生成処理に係る合成画像の一例を模式的に示す図である。
【図７】本発明を適用した実施形態２の画像表示装置の概略構成を示すブロック図である。
【図８】図７の画像表示装置による画像合成処理に係る動作の一例を示すフローチャートである。
【図９】図７の画像表示装置による合成画像生成処理に係る背景画像の一例を模式的に示す図である。
【図１０】図７の画像表示装置による合成画像生成処理に係る合成画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１５】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１６】
［実施形態１］
図１は、本発明を適用した実施形態１の画像表示装置１００の概略構成を示すブロック図である。
実施形態１の画像表示装置１００は、背景画像を表示する際の特徴領域の拡大縮小倍率の変化を検出し、当該特徴領域の拡大縮小倍率の変化に対応させて、背景画像と合成する際の合成用画像の拡大縮小倍率を変化させる。
具体的には、画像表示装置１００は、例えば、卓上に設置されるデジタルフォトフレーム等であり、図１に示すように、表示部１と、表示制御部２と、画像処理部３と、メモリ４と、画像記録部５と、操作入力部６と、中央制御部７とを備えている。
【００１７】
表示部１は、例えば、液晶表示パネルや有機ＥＬ表示パネルなどから構成されている。そして、表示部１は、表示制御部２の制御下にて、画像記録部５に記録されている所定の画像（例えば、背景画像P1等；図４（ａ）参照）を表示画面に表示する。
【００１８】
表示制御部２は、画像記録部５から読み出され画像処理部３により復号された所定サイズの画像データに基づいて、所定の画像を表示部１の表示画面に表示させる制御を行う。
【００１９】
画像処理部３は、画像記録部５から読み出された表示対象に係る静止画像や動画像の画像データを対応する所定の符号化方式（例えば、ＪＰＥＧ形式、モーションＪＰＥＧ形式、ＭＰＥＧ形式など）に従って復号して、表示制御部２に出力する。このとき、画像処理部３は、画像記録部５から読み出された画像データを、例えば、表示部１の表示解像度等に基づいて所定サイズ（例えば、ＶＧＡやＱＶＧＡサイズ）に縮小して表示制御部２に出力する。
【００２０】
また、画像処理部３は、第１画像取得部３ａと、変化検出部３ｂと、第２画像取得部３ｃと、画像合成部３ｄと、合成制御部３ｅとを具備している。
【００２１】
第１画像取得部３ａは、背景画像（第１画像）P1を取得する。
即ち、第１画像取得部３ａは、画像記録部５に記録されている所定数の背景画像P1の中で、ユーザによる操作入力部６の所定操作に基づいて指定されたユーザ所望の背景画像P1（図４（ａ）等参照）の画像データを取得する。
ここで、第１画像取得部３ａは、背景画像（第１画像）P1を取得する第１取得手段を構成している。
【００２２】
変化検出部３ｂは、背景画像P1を表示する際のその内容の変化を検出する。具体的には、変化検出部３ｂは、背景画像P1の表示すべき内容の変化として、当該背景画像P1を表示する際の特徴領域の拡大縮小倍率の変化を検出する倍率変化検出部（倍率変化検出手段）ｂ１を具備している。
【００２３】
倍率変化検出部ｂ１は、例えば、背景画像P1がズーム倍率を変更しながら撮像された複数の画像フレームP1a〜P1nから構成されている場合等に、当該背景画像P1の特徴領域の拡大縮小倍率の変化を検出する。
具体的には、倍率変化検出部ｂ１は、背景画像P1を構成する複数の画像フレームP1a〜P1nの各々に付加されている当該各画像が撮像された際の撮像手段（図示略）のズーム倍率に係る倍率情報を取得する。そして、倍率変化検出部ｂ１は、背景画像P1を構成する複数の画像フレームP1a〜P1nの各々の倍率情報から、当該背景画像P1を表示する際における、背景画像P1内の主要被写体（例えば、「建物」等）などの特徴領域の拡大縮小倍率の変化、即ち、背景画像P1を構成する複数の画像フレームP1a〜P1nのうちの最初の画像フレームP1aを基準とした特徴領域の拡大縮小倍率の変化を検出する。
なお、特徴領域とは、背景画像P1を表示する際の縦方向及び横方向の表示範囲の変化を特定可能な領域であれば如何なる領域であっても良い。つまり、背景画像P1に写っている被写体であれば如何なる被写体であっても良く、上記した主要被写体に限られるものではない。
また、特徴領域の拡大縮小倍率の変化の検出を、撮像手段（図示略）のズーム倍率に基づいて行うようにしたが、検出方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、背景画像P1に対して顔検出処理や特徴検出処理を行って、検出された顔や物体や動物や植物等の画像領域の画像サイズ（縦方向や横方向の画素数）に基づいて特徴領域の拡大縮小倍率の変化を検出するようにしても良い。なお、顔検出処理や特徴検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２４】
このように、変化検出部３ｂは、第１画像取得部３ａにより取得された背景画像（第１画像）P1の表示すべき内容の変化を検出する検出手段を構成している。
【００２５】
第２画像取得部３ｃは、背景画像P1と合成される合成用画像（第２画像）P2を取得する。
即ち、第２画像取得部３ｃは、画像記録部５に記録されている所定数の合成用画像P2の中で、ユーザによる操作入力部６の所定操作に基づいて指定されたユーザ所望の合成用画像P2（図５参照）の画像データを取得する。
ここで、第２画像取得部３ｃは、背景画像（第１画像）P1と合成される合成用画像（第２画像）P2を取得する第２取得手段を構成している。
【００２６】
画像合成部３ｄは、背景画像P1と合成用画像P2とを合成する画像合成処理を行う。
即ち、画像合成部３ｄは、第１画像取得部３ａにより取得された背景画像P1と第２画像取得部３ｃにより取得された合成用画像P2とを合成して合成画像P3を生成する。具体的には、画像合成部３ｄは、背景画像P1の各画素のうち、合成用画像P2の画素のアルファ値が０の画素は背景画像P1に対して透過させ、合成用画像P2の画素のアルファ値が１の画素は合成用画像P2の対応する画素の画素値で背景画像P1の画素を上書きし、さらに、背景画像P1の各画素のうち、合成用画像P2の画素のアルファ値が０＜α＜１の画素は１の補数（１−α）を用いて合成用画像P2の被写体領域を切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて合成用画像P2を生成した際に単一背景色とブレンドした値を計算し、当該値を合成用画像P2から減算し、それを被写体領域を切り抜いた画像（背景画像×（１−α））と合成する。
ここで、画像合成部３ｄは、背景画像（第１画像）P1と合成用画像（第２画像）P2とを合成する合成手段を構成している。
【００２７】
合成制御部３ｅは、背景画像P1と合成する際の合成用画像P2の態様の変化を制御する。
即ち、合成制御部３ｅは、静止画像である合成用画像P2の態様を、複数の画像フレームP1a〜P1nからなる背景画像P1の表示すべき内容の変化に対応させるように変化させる。また、合成制御部３ｅは、画像合成部３ｄによる画像合成処理を制御し、画像合成部３ｄにより背景画像P1と合成用画像P2とを合成する際に、合成用画像P2の態様を変化させる。
具体的には、合成制御部３ｅは、変化検出部３ｂの倍率変化検出部ｂ１により検出された背景画像P1を構成する複数の画像フレームP1a〜P1nの各々のうち、最初の画像フレームP1aを基準とした特徴領域の拡大縮小倍率の変化（背景画像P1のズーム倍率の変化）に基づいて、背景画像P1を構成する複数の画像フレームP1a〜P1nの各々に合成される各合成用画像P2の被写体画像G（図５参照）の画像サイズをリサイズする。例えば、合成制御部３ｅは、背景画像P1の最初の画像フレームP1aを基準とした特徴領域の拡大縮小倍率が、二番目の画像P1bでは1.3倍、三番目の画像（図示略）では2.0倍と変化する場合には、二番目の画像P1bに合成される合成用画像P2の被写体画像Gの画像サイズを1.3倍、三番目の画像に合成される合成用画像P2の被写体画像Gの画像サイズを2.0倍と変化させる。
換言すると、背景画像P1を構成する各画像フレームP1a〜P1nに合成される合成用画像P2の被写体画像Gの画像サイズは、背景画像P1における合成対象となる一の画像（例えば、二番目の画像P1b等）のズーム倍率を最初の画像フレームP1aのズーム倍率で除算した値を、第２画像取得部３ｃにより取得された本来の合成用画像P2の被写体画像Gの画像サイズに乗算した値となる。
【００２８】
このように、合成制御部３ｅは、倍率変化検出部ｂ１により検出された背景画像P1の特徴領域の拡大縮小倍率の変化に対応させて、当該背景画像P1と合成する際の合成用画像P2の拡大縮小倍率を変化させる。
ここで、合成制御部３ｅは、第２画像取得部３ｃにより取得された合成用画像（第２画像）P2の背景画像（第１画像）P1と合成する際の態様を、変化検出部３ｂにより検出された背景画像P1の表示すべき内容の変化に対応させるように変化させる制御手段を構成している。
【００２９】
メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、表示制御部２や画像処理部３や中央制御部７等によって処理されるデータ等を一時的に記憶する。
【００３０】
画像記録部５は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されている。また、画像記録部５は、画像処理部３の符号化部（図示略）により所定の符号化方式で符号化された背景画像P1や合成用画像P2の画像データを記録する。
背景画像P1は、合成用画像P2の背景に表示される画像である。また、背景画像P1は、複数の画像フレームP1a〜P1n（図４（ａ）〜図４（ｃ）等参照）から構成された動画像であり、例えば、所定の撮像フレームレートで撮像された連続した複数の画像フレーム（例えば、ｎ枚の画像フレーム）からなる動画像データや、所定のシャッタースピードで連写された連写画像データ等が挙げられる。
合成用画像P2は、静止画像であり、例えば、所定の背景内に被写体が存する被写体存在画像から被写体領域（例えば、風船の存する領域等）を抽出する被写体切り抜き処理にて生成された被写体切り抜き画像の静止画像が挙げられる（図５参照）。また、合成用画像P2の画像データは、被写体切り抜き処理にて生成されたアルファマップと対応付けられており、当該合成用画像P2の画像データの拡張子は、「.jpe」として保存されている。
ここで、アルファマップとは、合成用画像P2の各画素について、当該合成用画像P2の被写体画像G（図５参照）を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
【００３１】
操作入力部６は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成される操作部を有し、これらの操作部の操作に応じて所定の操作信号を中央制御部７に出力する。
【００３２】
中央制御部７は、画像表示装置１００の各部を制御するものである。具体的には、中央制御部７は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、画像表示装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００３３】
次に、画像表示装置１００による合成画像生成処理について、図２〜図６を参照して説明する。
図２は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図３は、画像合成処理に係る動作の一例を示すフローチャートである。
以下に説明する合成画像生成処理は、ユーザによる操作入力部６の所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
【００３４】
図２に示すように、先ず、表示制御部２は、背景画像P1の指定を指示する所定のメッセージを表示部１の表示画面に表示させ、中央制御部７は、ユーザによる操作入力部６の所定操作に基づいて、表示部１に表示されている少なくとも一の背景画像P1の中でユーザ所望の背景画像P1が指定されたか否かを判定する（ステップＳ１）。
ここで、所望の背景画像P1（図４（ａ）等参照）が指定されたと判定されると（ステップＳ１；ＹＥＳ）、画像処理部３の第１画像取得部３ａは、画像記録部５に記録されている所定数の背景画像P1の中で、ユーザによる操作入力部６の所定操作に基づいて指定されたユーザ所望の背景画像P1の画像データを読み出して取得する（ステップＳ２）。
なお、ステップＳ１にて、背景画像P1が指定されていないと判定されると（ステップＳ１；ＮＯ）、中央制御部７は、処理をステップＳ１に戻し、背景画像P1が指定されたと判定されるまで（ステップＳ１；ＹＥＳ）、待機させる。
【００３５】
続けて、変化検出部３ｂは、背景画像P1を表示する際のその内容の変化を検出する変化解析処理を行う（ステップＳ３）。
具体的には、変化検出部３ｂの倍率変化検出部ｂ１は、背景画像P1を構成する複数の画像フレームP1a〜P1nの各々が撮像された際のズーム倍率に係る倍率情報を取得する。そして、倍率変化検出部ｂ１は、当該複数の画像フレームP1a〜P1nの各々の倍率情報に基づいて、背景画像P1を構成する複数の画像フレームP1a〜P1nのうちの最初の画像フレームP1aを基準として、主要被写体（例えば、「建物」等）などの特徴領域の拡大縮小倍率の変化を検出する。
【００３６】
次に、表示制御部２は、合成用画像P2の指定を指示する所定のメッセージを表示部１の表示画面に表示させ、中央制御部７は、ユーザによる操作入力部６の所定操作に基づいて、表示部１に表示されている少なくとも一の合成用画像P2の中でユーザ所望の合成用画像P2が指定されたか否かを判定する（ステップＳ４）。
ここで、所望の合成用画像P2（図５参照）が指定されたと判定されると（ステップＳ４；ＹＥＳ）、画像処理部３の第２画像取得部３ｃは、画像記録部５に記録されている所定数の合成用画像P2の中で、ユーザによる操作入力部６の所定操作に基づいて指定されたユーザ所望の合成用画像P2の画像データを読み出して取得する（ステップＳ５）。
なお、ステップＳ４にて、合成用画像P2が指定されていないと判定されると（ステップＳ４；ＮＯ）、中央制御部７は、処理をステップＳ４に戻し、合成用画像P2が指定されたと判定されるまで（ステップＳ４；ＹＥＳ）、処理を待機させる。
【００３７】
次に、表示制御部２は、背景画像P1の最初の画像フレームP1aを表示部１の表示画面に表示させるとともに、当該最初の画像フレームP1aにおける合成用画像P2の合成位置の指定を指示する所定のメッセージを表示部１の表示画面に表示させ、中央制御部７は、ユーザによる操作入力部６の所定操作に基づいて、合成用画像P2の合成位置が指定されたか否かを判定する（ステップＳ６）。
ここで、合成用画像P2の合成位置が指定されたと判定されると（ステップＳ６；ＹＥＳ）、表示制御部２は、背景画像P1の最初の画像P1aに重畳させて合成用画像P2を指定された合成位置に表示させた後（ステップＳ７）、中央制御部７は、ユーザによる操作入力部６の所定操作に基づいて、背景画像P1と合成用画像P2との合成の開始指示が入力されたか否かを判定する（ステップＳ８）。
なお、ステップＳ６にて、合成用画像P2の合成位置が指定されていないと判定されると（ステップＳ６；ＮＯ）、中央制御部７は、処理をステップＳ６に戻し、合成用画像P2の合成位置が指定されたと判定されるまで（ステップＳ６；ＹＥＳ）、処理を待機させる。
また、ステップＳ８にて、合成開始指示が入力されていないと判定されると（ステップＳ８；ＮＯ）、中央制御部７は、処理をステップＳ７に移行して、ステップＳ８にて合成開始指示が入力されたと判定されるまで（ステップＳ８；ＹＥＳ）、それ以降の処理を順次繰り返し実行させる。
【００３８】
ステップＳ８にて、合成開始指示が入力されたと判定されると（ステップＳ８；ＹＥＳ）、画像合成部３ｄは、合成制御部３ｅの制御下にて、背景画像P1と合成用画像P2の被写体画像Gとを合成する画像合成処理（図３参照）を行う（ステップＳ９）。
ここで、画像合成処理について図３を参照して詳細に説明する。
【００３９】
図３に示すように、先ず、合成制御部３ｅは、背景画像P1を構成する複数の画像フレームP1a〜P1nのうち、処理対象に係る最初の画像フレームP1aのフレーム番号として「１」を指定する（ステップＳ２１）。
続けて、画像合成部３ｄは、合成用画像P2と対応付けて保存されているアルファマップを読み出してメモリ４に展開する（ステップＳ２２）。
なお、図２のステップＳ６にて画像フレームP1aにおける合成用画像P2の合成位置が決定された際に、画像フレームP1aとアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。
【００４０】
次に、画像合成部３ｄは、背景画像P1の最初の画像フレームP1aの何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ２３）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ２４）。具体的には、画像合成部３ｄは、画像フレームP1aの何れか一の画素のうち、アルファ値が１の画素については（ステップＳ２４；α＝１）、合成用画像P2の対応する画素の画素値で画像フレームP1aの画素値を上書きし（ステップＳ２５）、アルファ値が０＜α＜１の画素については（ステップＳ２４；０＜α＜１）、１の補数（１−α）を用いて被写体領域を切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて合成用画像P2を生成した際に単一背景色とブレンドした値を計算し、当該値を合成用画像P2から減算し、それを被写体領域を切り抜いた画像（背景画像×（１−α））と合成し（ステップＳ２６）、アルファ値が０の画素については（ステップＳ２４；α＝０）、何もせずに画像フレームP1aを透過させるようにする。
【００４１】
続けて、画像合成部３ｄは、画像フレームP1aの全ての画素について処理したか否かを判定する（ステップＳ２７）。
ここで、全ての画素について処理していないと判定されると（ステップＳ２７；ＮＯ）、画像合成部３ｄは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ２８）、処理をステップＳ２４に移行させる。
上記の処理を、ステップＳ２７にて全ての画素について処理したと判定されるまで（ステップＳ２７；ＹＥＳ）、繰り返すことで、画像合成部３ｄは、合成用画像P2と画像フレームP1aとを合成した合成画像P3を構成する最初の画像フレームP3a（図６（ａ）参照）を生成する。
【００４２】
そして、ステップＳ２７にて全ての画素について処理したと判定されると（ステップＳ２７；ＹＥＳ）、合成制御部３ｅは、動画像としての合成画像P3を構成する全ての画像フレームP3a〜P3nについて処理したか否かを判定する（ステップＳ２９）。
ここで、全ての画像フレームP3a〜P3nについて処理していないと判定されると（ステップＳ２９；ＮＯ）、合成制御部３ｅは、合成画像P3を構成する複数の画像フレームP3a〜P3nのうち、処理対象となる次の画像フレーム（例えば、二番目の画像フレームP3b等）に係るフレーム番号を＋１インクリメントして指定する（ステップＳ３０）。これにより、合成画像P3の二番目の画像フレームP3bが画像合成処理の処理対象となる。
【００４３】
次に、合成制御部３ｅは、倍率変化検出部ｂ１により検出された背景画像P1の拡大縮小倍率の変化に基づいて、合成画像P3の二番目の画像フレームP3bにおける合成用画像P2の被写体画像Gの画像サイズを拡大縮小する（ステップＳ３１）。
具体的には、合成制御部３ｅは、背景画像P1を構成する二番目の画像P1bの特徴領域の最初の画像フレームP1aを基準とした拡大縮小倍率（例えば、1.3倍等）に従って、二番目の画像フレームP3bにおける合成用画像P2の被写体画像Gの画像サイズをリサイズ（例えば、1.3倍等）する。このとき、合成制御部３ｅは、リサイズされた合成用画像P2の被写体画像Gの画像サイズに応じてアルファマップにおける被写体領域部分（α＝１）及び被写体領域以外の部分（α＝０）を修正して、合成用画像P2とアルファマップとがずれないように調整する。
【００４４】
次に、画像合成部３ｄは、処理をステップＳ２３に移行させて、背景画像P1の二番目の画像P1bの例えば左上隅部の画素からステップＳ２４〜Ｓ２８を順次行うことで、合成用画像P2と背景画像P1bとを合成した合成画像P3を構成する二番目の画像フレームP3bを生成する。これにより、背景画像P1の二番目の画像P1bの拡大縮小倍率に従って合成用画像P2の被写体画像Ｇの画像サイズがリサイズされた二番目の画像フレームP3b（図６（ｂ）参照）が生成される。
そして、二番目の画像フレームP3bの生成が完了することによって、ステップＳ２７にて全ての画素について合成処理したと判定されると（ステップＳ２７；ＹＥＳ）、処理をステップＳ２９に移行させて、合成制御部３ｅは、動画像としての合成画像P3を構成する全ての画像フレームP3a〜P3nについて合成処理したか否かを判定する（ステップＳ２９）。
上記の合成処理を、全ての画像フレームP3a〜P3nについて行ったと判定されるまで（ステップＳ２９；ＹＥＳ）、繰り返すことで、画像合成部３ｄは、合成画像P3を構成する全ての画像フレームP3a〜P3n（図６（ａ）〜図６（ｃ）参照）を生成する。
これにより、画像合成処理を終了する。
【００４５】
次に、図２に示すように、表示制御部２は、画像合成部３ｄにより生成された複数の画像フレームP3a〜P3nからなる動画像である合成画像P3（合成動画像）の画像データに基づいて、各画像フレームP3a〜P3nを所定の表示フレームレートで切り換えて表示部１の表示画面に表示させることで、背景画像P1の拡大縮小倍率に従って合成用画像P2の被写体画像G（例えば、風船）が拡大縮小する合成画像P3（合成動画像）を表示する（ステップＳ１０）。
その後、中央制御部７は、ユーザによる操作入力部６の所定操作に基づいて、合成画像P3を画像記録部５に保存させる指示が入力されたか否かを判定する（ステップＳ１１）。
ここで、合成画像P3の保存指示が入力されたと判定されると（ステップＳ１１；ＹＥＳ）、中央制御部７は、画像記録部５の所定の記録領域に、画像合成部３ｄにより生成された複数の画像フレームP3a〜P3nからなる合成画像P3の画像データを保存させて（ステップＳ１２）、合成画像生成処理を終了する。
【００４６】
以上のように、実施形態１の画像表示装置１００によれば、背景画像P1の表示すべき内容の変化を検出して、合成用画像P2の背景画像P1と合成する際の態様を、検出された背景画像P1の表示すべき内容の変化に対応させるように変化させるので、合成用画像P2の態様が背景画像P1の表示すべき内容の変化に対応した合成画像P3、即ち、背景画像P1と合成用画像P2の一体感のある合成画像P3を生成することができる。従って、合成用画像P2の合成態様が背景画像P1の表示すべき内容の変化に対応しないことに起因する合成画像P3の違和感を軽減させることができる。
具体的には、動画像である背景画像P1を表示する際の特徴領域の拡大縮小倍率の変化を検出し、当該特徴領域の拡大縮小倍率の変化に対応させて、背景画像P1と合成する際の合成用画像P2の被写体画像Gの拡大縮小倍率を変化させることにより、背景画像P1の拡大縮小倍率に従って合成用画像P2の被写体画像Gが拡大縮小する合成動画像を生成することができる。
【００４７】
また、背景画像P1と合成用画像P2とを合成する画像合成処理にて、合成用画像P2の態様を背景画像P1の表示すべき内容の変化に対応させるように変化させるので、画像合成処理を行うだけで背景画像P1の表示すべき内容の変化に従って合成用画像P2の態様を変化させた合成画像P3を自動的に生成することができる。
【００４８】
［実施形態２］
図７は、本発明を適用した実施形態２の画像表示装置２００の概略構成を示すブロック図である。
なお、実施形態２の画像表示装置２００は、以下に詳細に説明する以外の点で上記実施形態１の画像表示装置１００と略同様の構成をなし、詳細な説明は省略する。
【００４９】
実施形態２の画像表示装置２００は、背景画像P4を表示する際の特徴領域の所定平面での位置の変化を検出し、当該特徴領域の所定平面での位置の変化に対応させて、背景画像P4と合成する際の合成用画像P2の位置を変化させる。
【００５０】
具体的には、図７に示すように、画像表示装置２００の変化検出部３ｂは、背景画像P4の表示すべき内容の変化として、当該背景画像P4を表示する際の特徴領域の所定平面での位置の変化を検出する位置変化検出部（位置変位検出手段）ｂ２を具備している。
【００５１】
位置変化検出部ｂ２は、例えば、背景画像P4がパンニングしながら撮像された複数の画像フレームP4a〜P4nから構成されている場合等に、当該背景画像P4を表示する際の特徴領域の所定平面での位置の変化を検出する。即ち、位置変化検出部ｂ２は、背景画像P4を構成する複数の画像フレームP4a〜P4n間における動きベクトルを検出する。
具体的には、位置変化検出部ｂ２は、特徴検出処理を行って、背景画像P4を構成する複数の画像フレームP4a〜P4nのうち、何れか一の画像フレーム（例えば、最初の画像フレームP4a）を基準画像として、当該基準画像から所定数の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、８×８画素の正方形等）として検出する。そして、位置変化検出部ｂ２は、背景画像P4を構成する複数の画像フレームP4a〜P4nのうち、次の画像フレーム（例えば、二番目の画像フレームP4b；対象画像）内にてテンプレートがどこに対応するか、つまり、対象画像内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索して、当該テンプレートの複数の画像フレームP4a〜P4n間における動きベクトルをそれぞれ算出する。このとき、例えば、手ぶれの影響等を考慮して、動きベクトルが所定値以下のもの除外しても良い。
そして、位置変化検出部ｂ２は、各画像フレームP4a〜P4n間について算出された全ての動きベクトルを統合して、当該画像フレームP4a〜P4n間における全体の動きベクトルを、背景画像P4内の主要被写体（例えば、「建物」等）などの特徴領域の所定平面での位置の変化として検出する。
【００５２】
合成制御部３ｅは、変化検出部３ｂの位置変化検出部ｂ２により検出された背景画像P4を構成する複数の画像フレームP4a〜P4n間における特徴領域の位置の変化（全体の動きベクトル）に基づいて、背景画像P4を構成する複数の画像フレームP4a〜P4nの各々に合成される静止画像である合成用画像P2の被写体画像Gの位置を変更する。例えば、合成制御部３ｅは、背景画像P4の最初の画像フレームP4aと二番目の画像P4bとの間で特徴領域が所定方向に所定画素（例えば、左方向に30画素等）位置が変化した場合には、二番目の画像フレームP4bに合成される合成用画像P2の被写体画像Gの合成位置を動きベクトルと等しい方向及び大きさで変化させ、二番目の画像フレームP4bと三番目の画像フレーム（図示略）との間で特徴領域が所定方向に所定画素（例えば、左方向に50画素等）位置が変化した場合には、同様に、三番目の画像フレームに合成される合成用画像P2の被写体画像Gの合成位置を二番目の画像フレームP4bに対して動きベクトルと等しい方向及び大きさで変化させる。
換言すると、背景画像P4を構成する各画像フレームP4a〜P4nに合成される合成用画像P2の被写体画像Gの合成位置は、背景画像P4を構成する複数の画像フレームP4a〜P4nのうち、前回の画像フレーム（例えば、最初の画像フレームP4a等）における合成位置に、合成対象となる今回の画像フレーム（例えば、二番目の画像フレームP4b等）と前回の画像フレームとの間の動きベクトル（特徴領域の位置変化量）を加算した位置となる。
【００５３】
なお、位置変化検出部ｂ２により検出された背景画像P4を構成する複数の画像フレームP4a〜P4n間における全体の動きベクトルが不規則的に変化する場合には、合成制御部３ｅは、背景画像P4の撮像の際に手ぶれが生じていたと判断して、複数の画像フレームP4a〜P4n間における全体の動きベクトルに対して当該手ぶれに対応する動き量を補正する処理を行った後、補正後の動きベクトルに基づいて、背景画像P4を構成する複数の画像フレームP4a〜P4nの各々に合成される各合成用画像P2の位置を変更するようにしても良い。
また、合成用画像P2として静止画像を例示して説明したが、例えば、動画像であっても良く、この場合には、合成制御部３ｅは、合成用画像P2の動きベクトルを算出して、合成画像P5の各フレームP5a〜P5nに対応する合成用画像P2の動きベクトルを減算することにより、合成用画像P2の合成位置を算出する。
【００５４】
このように、合成制御部３ｅは、位置変化検出部ｂ２により検出された背景画像P4内の特徴領域の所定平面での位置の変化に対応させて、当該背景画像P4と合成する際の合成用画像P2の位置を変化させる。
【００５５】
次に、画像表示装置２００による合成画像生成処理について、図２、図８等を参照して説明する。
図８は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
【００５６】
以下に説明する合成画像生成処理は、上記実施形態１と同様に、ユーザによる操作入力部６の所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
【００５７】
図２に示すように、先ず、上記実施形態１の合成画像生成処理と同様に、中央制御部７は、ユーザによる操作入力部６の所定操作に基づいて、ユーザ所望の背景画像P4が指定されたか否かを判定する（ステップＳ１）。
ここで、所望の背景画像P4（図９（ａ）等参照）が指定されたと判定されると（ステップＳ１；ＹＥＳ）、上記実施形態１の合成画像生成処理と同様に、画像処理部３の第１画像取得部３ａは、ユーザによる操作入力部６の所定操作に基づいて指定されたユーザ所望の背景画像P4の画像データを画像記録部５から読み出して取得する（ステップＳ２）。
【００５８】
続けて、変化検出部３ｂは、背景画像P4を表示する際のその内容の変化を検出する変化解析処理を行う（ステップＳ３）。
具体的には、変化検出部３ｂの位置変化検出部ｂ２は、背景画像P4を構成する複数の画像フレームP4a〜P4nのうち、何れか一の画像フレーム（例えば、最初の画像フレームP4a）を基準画像として、当該基準画像から所定数のテンプレートを検出する。そして、位置変化検出部ｂ２は、背景画像P4を構成する複数の画像フレームP4a〜P4nのうち、次の画像フレーム（例えば、二番目の画像フレームP4b）内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索して、当該テンプレートの複数の画像フレームP4a〜P4n間における動きベクトルを算出し、各画像フレーム間について算出された全ての動きベクトルを統合して、当該画像フレーム間における全体の動きベクトルを、背景画像P4内の主要被写体（例えば、「建物」等）などの特徴領域の所定平面での位置の変化として検出する。
なお、背景画像P4の符号化方式が、例えば、ＭＰＥＧ形式のように、動き補償予測を行う方式の場合、各画像フレームP4a〜P4n間の動きベクトルが既に記録されているので、上記の変化解析処理（ステップＳ３）を行わなくても良い。
【００５９】
ステップＳ４〜Ｓ８の各処理は上記実施形態１の合成画像生成処理と同様であるので、その詳細な説明は省略する。
そして、ステップＳ８にて、背景画像P4と合成用画像P2との合成開始指示が入力されたと判定されると（ステップＳ８；ＹＥＳ）、画像合成部３ｄは、合成制御部３ｅの制御下にて、背景画像P4と合成用画像P2の被写体画像Gとを合成する画像合成処理（図８参照）を行う（ステップＳ９）。
ここで、画像合成処理について図８を参照して詳細に説明する。
【００６０】
以下に説明する画像合成処理にあっては、背景画像P4を構成する複数の画像フレームP4a〜P4nのうち、最初の画像フレームP4aを処理対象として行われるステップＳ２１〜Ｓ２９の各処理は、上記実施形態１の画像合成処理と同様であるので、その詳細な説明は省略する。
そして、画像合成部３ｄにより合成画像P5を構成する最初の画像フレームP5a（図１０（ａ）参照）が生成された後、ステップＳ２９にて、全ての画像フレームP5a〜P5nについて処理していないと判定されると（ステップＳ２９；ＮＯ）、合成制御部３ｅは、合成画像P5を構成する複数の画像フレームP5a〜P5nのうち、処理対象となる次の画像フレーム（例えば、二番目の画像フレームP5b等）に係るフレーム番号を＋１インクリメントして指定する（ステップＳ３０）。これにより、合成画像P5の二番目の画像フレームP5bが画像合成処理の処理対象となる。
【００６１】
次に、合成制御部３ｅは、位置変化検出部ｂ２により検出された背景画像P4の特徴領域の位置の変化に基づいて、合成画像P5を構成する二番目の画像フレームP5bにおける合成用画像P2の被写体画像Gの合成位置を変更する（ステップＳ１３１）。
具体的には、合成制御部３ｅは、背景画像P4の最初の画像フレームP4aと二番目の画像フレームP4b間の特徴領域の全体の動きベクトルに従って、二番目の画像フレームP5bにおける合成用画像P2の被写体画像Gの合成位置を動きベクトルと等しい方向及び大きさで変化させる。このとき、合成制御部３ｅは、変更された合成用画像P2の被写体画像Gの合成位置に応じてアルファマップにおける被写体領域部分（α＝１）及び被写体領域以外の部分（α＝０）を修正して、合成用画像P2とアルファマップとがずれないように調整する。
【００６２】
次に、画像合成部３ｄは、処理をステップＳ２３に移行させて、背景画像P4の二番目の画像フレームP4bの例えば左上隅部の画素からステップＳ２４〜Ｓ２８を順次行うことで、合成用画像P2と背景画像P4bとを合成した合成画像P5を構成する二番目の画像フレームP5bを生成する。これにより、背景画像P4の二番目の画像フレームP4bの特徴領域の位置の変化に応じて合成用画像P2の被写体画像Gの合成位置が変化された二番目の画像フレームP5b（図１０（ｂ）参照）が生成される。
そして、二番目の画像フレームP5bの生成が完了することによって、ステップＳ２７にて全ての画素について合成処理したと判定されると（ステップＳ２７；ＹＥＳ）、処理をステップＳ２９に移行させて、合成制御部３ｅは、合成画像P5を構成する全ての画像フレームP5a〜P5nについて合成処理したか否かを判定する（ステップＳ２９）。
上記の合成処理を、全ての画像フレームP5a〜P5nについて行ったと判定されるまで（ステップＳ２９；ＹＥＳ）、繰り返すことで、画像合成部３ｄは、合成画像P5を構成する全ての画像フレームP5a〜P5n（図１０（ａ）〜図１０（ｃ）参照）を生成する。
これにより、画像合成処理を終了する。
【００６３】
次に、図２に示すように、表示制御部２は、画像合成部３ｄにより生成された複数の画像フレームP5a〜P5nからなる動画像である合成画像P5（合成動画像）の画像データに基づいて、各画像フレームP5a〜P5nを所定の表示フレームレートで切り換えて表示部１の表示画面に表示させることで、背景画像P4の特徴領域の位置の変化に応じて合成用画像P2の被写体画像G（例えば、風船）の位置が変化する合成画像P5（合成動画像）を表示する（ステップＳ１０）。
その後、上記実施形態１の合成画像生成処理と同様に、ステップＳ１１にて、合成画像P5の保存指示が入力されたと判定されると（ステップＳ１１；ＹＥＳ）、中央制御部７は、画像記録部５の所定の記録領域に、画像合成部３ｄにより生成された複数の画像フレームP5a〜P5nからなる合成画像P5の画像データを保存させて（ステップＳ１２）、合成画像生成処理を終了する。
【００６４】
以上のように、実施形態２の画像表示装置２００によれば、動画像である背景画像P4を表示する際の特徴領域の所定平面での位置の変化を検出し、当該特徴領域の所定平面での位置の変化に対応させて、背景画像P4と合成する際の合成用画像P2の位置を変化させるので、背景画像P4の特徴領域の位置の変化に応じて合成用画像P2の被写体画像Gの位置が変化する合成動画像を生成することができる。従って、合成用画像P2の合成態様が背景画像P4の表示すべき内容の変化に対応しないことに起因する合成画像P5の違和感を軽減させることができる。
【００６５】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、撮像装置１００、２００の各構成を適宜任意に組み合わせても良く、これにより、背景画像P1を表示する際の特徴領域の拡大縮小倍率の変化、及び、背景画像P4を表示する際の特徴領域の所定平面での位置の変化の両方に対応させて、合成用画像P2の当該背景画像P1（P4）と合成する際の態様を変化させることができる。
また、背景画像P1（P4）の表示すべき内容の変化として、当該背景画像P1（P4）のコントラストの高低の変化や明るさの変化に対応するように合成用画像P2を変化させるようにしても良い。
【００６６】
また、画像表示装置１００、２００の構成は、上記実施形態１、２に例示したものは一例であり、これらに限られるものではない。さらに、画像処理装置として、画像表示装置１００、２００を例示したが、これらに限られるものではない。
即ち、上記実施形態１、２にあっては、画像記録部５に、画像合成部３ｄにより生成された複数の画像フレームP3a〜P3n（P5a〜P5n）からなる合成画像P3（P5）の画像データを保存させるようにしたが、これに限られるものではなく、例えば、画像合成処理にて合成用画像P2の態様を変化させるための制御情報を生成して、当該制御情報と背景画像P1と合成用画像P2とを対応付けて保存する構成の画像処理装置であっても良い。そして、生成された制御情報を当該画像処理装置と接続された画像合成装置に送信して、この画像合成装置にて合成用画像P2と背景画像P1とを合成して合成画像P3を生成するようにしても良い。
【００６７】
加えて、上記実施形態にあっては、第１取得手段、検出手段、第２取得手段、制御手段としての機能を、中央制御部７の制御下にて、画像処理部３の第１画像取得部３ａ、変化検出部３ｂ、第２画像取得部３ｃ、画像合成部３ｄが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部７のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、検出処理ルーチン、第２取得処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部７のＣＰＵを、第１画像を取得する第１取得手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部７のＣＰＵを、第１取得手段により取得された第１画像の表示すべき内容の変化を検出する検出手段として機能させるようにしても良い。また、第２取得処理ルーチンにより中央制御部７のＣＰＵを、第１画像と合成される第２画像を取得する第２取得手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部７のＣＰＵを、第２取得手段により取得された第２画像が第１画像と合成される際の態様を、検出手段により検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御手段して機能させるようにしても良い。
【００６８】
同様に、倍率検出手段、位置変化検出手段、合成手段についても、中央制御部７のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００６９】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【符号の説明】
【００７０】
１００、２００ 画像表示装置
１ 表示部
２ 表示制御部
３ 画像処理部
３ａ 第１画像取得部
３ｂ 変化検出部
ｂ１ 倍率変化検出部
ｂ２ 位置変化検出部
３ｃ 第２画像取得部
３ｄ 画像合成部
３ｅ 合成制御部
５ 画像記録部
７ 中央制御部
【特許請求の範囲】
【請求項１】
第１画像を取得する第１取得手段と、
この第１取得手段により取得された第１画像の表示すべき内容の変化を検出する検出手段と、
前記第１画像と合成される第２画像を取得する第２取得手段と、
この第２取得手段により取得された第２画像が前記第１画像に合成される際の態様を、前記検出手段により検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記検出手段は、前記第１画像の表示すべき内容の変化として、当該第１画像を表示する際の特徴領域の拡大縮小倍率の変化を検出する倍率変化検出手段を有し、
前記制御手段は、前記倍率変化検出手段により検出された前記特徴領域の拡大縮小倍率の変化に対応させて、前記第１画像と合成する際の前記第２画像の拡大縮小倍率を変化させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記第１画像の表示すべき内容の変化として、当該第１画像を表示する際の特徴領域の所定平面での位置の変化を検出する位置変化検出手段を有し、
前記制御手段は、前記位置変化検出手段により検出された前記特徴領域の所定平面での位置の変化に対応させて、前記第１画像と合成する際の前記第２画像の位置を変化させることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１画像と前記第２画像とを合成する合成手段を更に備え、
前記制御手段は、前記合成手段により前記第１画像と前記第２画像とを合成する際に、前記第２画像の態様を変化させることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記第１画像は、複数の画像から構成された動画像であり、前記第２画像の背景に表示されることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
画像処理装置を用いた画像処理方法であって、
第１画像を取得する第１取得ステップと、
この第１取得ステップにて取得された第１画像の表示すべき内容の変化を検出する検出ステップと、
前記第１画像と合成される第２画像を取得する第２取得ステップと、
この第２取得ステップにて取得された第２画像が前記第１画像に合成される際の態様を、前記検出ステップにて検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御ステップと、
を含むことを特徴とする画像処理方法。
【請求項７】
画像処理装置のコンピュータを、
第１画像を取得する第１取得手段、
この第１取得手段により取得された第１画像の表示すべき内容の変化を検出する検出手段、
前記第１画像と合成される第２画像を取得する第２取得手段、
この第２取得手段により取得された第２画像が前記第１画像に合成される際の態様を、前記検出手段により検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御手段、
として機能させることを特徴とするプログラム。
【請求項１】
第１画像を取得する第１取得手段と、
この第１取得手段により取得された第１画像の表示すべき内容の変化を検出する検出手段と、
前記第１画像と合成される第２画像を取得する第２取得手段と、
この第２取得手段により取得された第２画像が前記第１画像に合成される際の態様を、前記検出手段により検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記検出手段は、前記第１画像の表示すべき内容の変化として、当該第１画像を表示する際の特徴領域の拡大縮小倍率の変化を検出する倍率変化検出手段を有し、
前記制御手段は、前記倍率変化検出手段により検出された前記特徴領域の拡大縮小倍率の変化に対応させて、前記第１画像と合成する際の前記第２画像の拡大縮小倍率を変化させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記第１画像の表示すべき内容の変化として、当該第１画像を表示する際の特徴領域の所定平面での位置の変化を検出する位置変化検出手段を有し、
前記制御手段は、前記位置変化検出手段により検出された前記特徴領域の所定平面での位置の変化に対応させて、前記第１画像と合成する際の前記第２画像の位置を変化させることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１画像と前記第２画像とを合成する合成手段を更に備え、
前記制御手段は、前記合成手段により前記第１画像と前記第２画像とを合成する際に、前記第２画像の態様を変化させることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記第１画像は、複数の画像から構成された動画像であり、前記第２画像の背景に表示されることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
画像処理装置を用いた画像処理方法であって、
第１画像を取得する第１取得ステップと、
この第１取得ステップにて取得された第１画像の表示すべき内容の変化を検出する検出ステップと、
前記第１画像と合成される第２画像を取得する第２取得ステップと、
この第２取得ステップにて取得された第２画像が前記第１画像に合成される際の態様を、前記検出ステップにて検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御ステップと、
を含むことを特徴とする画像処理方法。
【請求項７】
画像処理装置のコンピュータを、
第１画像を取得する第１取得手段、
この第１取得手段により取得された第１画像の表示すべき内容の変化を検出する検出手段、
前記第１画像と合成される第２画像を取得する第２取得手段、
この第２取得手段により取得された第２画像が前記第１画像に合成される際の態様を、前記検出手段により検出された第１画像の表示すべき内容の変化に対応させるように変化させる制御手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−７４９６７（Ｐ２０１２−７４９６７Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２１８９９５（Ｐ２０１０−２１８９９５）
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]