画像処理装置、画像処理方法、およびプログラム
【課題】 複数の画像に含まれるオブジェクトを１つの画像に合成するときに、簡単な処理で、且つ適切に合成することができる画像処理装置、画像処理方法、およびプログラムを提供する。
【解決方法】 合成対象の第１の画像と、第２の画像とに基づき、当該第２の画像における、当該第１の画像に対する差分を有する差分領域を特定し、その差分領域の画像を、第１の画像に合成する。そして、第１の画像における、当該第１の画像と当該第２の画像とに含まれているオブジェクトに対応する領域の画像を、前記合成で得られた合成画像にさらに合成する。
【解決方法】 合成対象の第１の画像と、第２の画像とに基づき、当該第２の画像における、当該第１の画像に対する差分を有する差分領域を特定し、その差分領域の画像を、第１の画像に合成する。そして、第１の画像における、当該第１の画像と当該第２の画像とに含まれているオブジェクトに対応する領域の画像を、前記合成で得られた合成画像にさらに合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像に含まれるオブジェクトを１つの画像に合成するための画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラなどで連写撮影された動体連写画像を一つの画像に合成する技術が用いられている。動画像やカメラでの連写撮影からは時間的に連続した複数の画像を得ることができ、該複数の画像の動体部分を合成することにより動体の運動解析や映像特殊効果として利用できる。
【０００３】
特許文献１には複数の画像（フレーム）を合成する画像合成の技術が記載されている。特許文献１では、複数のフレームにおける動体部分ではない背景部分に特定して、動体部分を含まない背景画像を作成する。そして、各フレームの動体部分を、背景画像に合成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４１５１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の従来技術では、合成対象の複数の画像における動体部分を抽出し、また動体部分を含まない背景画像を作成して、作成された背景画像に合成を行う。このような、背景画像を作成する処理は、処理負荷が大きいという課題がある。
【０００６】
そこで本発明は、複数の画像に含まれるオブジェクトを１つの画像に合成するときに、簡単な処理で、且つ適切に合成することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像処理装置は、複数の画像に含まれているオブジェクトを１つの画像に合成するための画像処理装置であって、合成対象の複数の画像を取得する取得手段と、前記取得手段により取得された合成対象の複数の画像のうちの第１の画像と、当該複数の画像のうちの第２の画像とに基づき、当該第２の画像における、当該第１の画像に対する差分を有する差分領域を特定する特定手段と、前記第２の画像における、前記特定手段により特定された差分領域の画像を、前記第１の画像に合成する第１の合成手段と、前記第１の画像における前記第２の画像に対する差分を有する差分領域を、当該第１の画像と当該第２の画像とに含まれているオブジェクトに対応する合成対象の領域として決定する決定手段と、前記決定手段により決定された前記第１の画像における合成対象の領域の画像を、前記第１の合成手段による合成で得られた合成画像に、さらに合成する第２の合成手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数の画像に含まれるオブジェクトを１つの画像に合成するときに、簡単な処理で適切に合成することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置の構成を示すブロック図である。
【図２】複数の画像の合成処理を示すフローチャートである。
【図３】合成対象の複数の画像を示す図である。
【図４】主画像と、比較画像との差分を示す差分画像を示す図である。
【図５】主画像と、比較画像における差分領域の画像とを合成した結果を示す図である。
【図６】合成枚数画像を示す図である。
【図７】合成枚数と主画像の割合の関係を示すグラフである。
【図８】合成結果画像を示す図である。
【図９】合成対象の複数の画像を示す図である。
【図１０】合成結果画像を示す図である。
【図１１】図９の画像に本発明の合成処理を施した画像である。
【図１２】主画像と、比較画像における差分領域の画像とを合成した結果を示す図である。
【発明を実施するための形態】
【００１０】
図１は、画像処理装置の構成を示すブロック図である。画像処理装置として、ＰＣを使用すると想定して説明する。
ＣＰＵ１０１は、中央演算ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で、他の機能ブロックや装置の制御を行う。ブリッジ部１０２は、ＣＰＵ１０１と他の機能ブロックの間でデータのやり取りを制御する機能を提供している。
【００１１】
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３は読み込み専用の不揮発メモリであり、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）と呼ばれるプログラムが格納されている。ＢＩＯＳは画像処理装置が起動したときに最初に実行されるプログラムであり、２次記憶装置１０５、表示装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御するものである。
【００１２】
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４は、高速の読み／書き可能な記憶領域を提供する。
【００１３】
２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩを提供できる。
【００１４】
なお、上記のＯＳや、他のアプリケーションの実行プログラムや作業用に使用しているデータは、必要に応じてＲＯＭ１０３または２次記憶装置１０５に格納される。また、本実施例の処理を実行する画像処理アプリケーションは、ＲＯＭ１０３または２次記憶装置１０５に格納され、ユーザの操作で起動するアプリケーションとして提供される。以下で説明する処理は、ＣＰＵ１０１が、ＲＯＭ１０３や２次記憶装置１０５に記憶されている、ＯＳ、画像処理アプリケーション等のプログラムを、ＲＡＭ１０４をワークメモリとして実行することで実現する。
【００１５】
表示制御部１０６は、各種の画像を表示装置１０７に表示させるための制御を行う。表示される画像は、例えば、２次記憶装置１０５に記憶されている画像や、ＯＳやアプリケーションに対して行われるユーザの操作の結果を示すＧＵＩの画像である。また、表示装置１０７には液晶ディスプレイや、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイが使用できる。
【００１６】
Ｉ／Ｏ制御部１０８は、複数の入力装置１０９、出力装置１１０とのインターフェースを提供するものである。代表的なインターフェースとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＰＳ／２（Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ／２）がある。
【００１７】
入力装置１０９は、キーボード、マウスといった操作デバイスであり、Ｉ／Ｏ制御部１０８は、入力装置１０９を介してユーザの指示を画像処理装置に入力する。
【００１８】
Ｉ／Ｏ制御部１０８は、各種の出力装置１１０を接続する。出力装置１１０は例えばプリンタであり、Ｉ／Ｏ制御部が印刷データを出力装置に出力することで、印刷データに対応する画像を印刷させることができる。
【００１９】
なお、画像処理装置には、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードといった記憶装置などを接続することもできる。そして、Ｉ／Ｏ制御部は、そのデジタルカメラやメモリに画像データなどのデータを転送することや、逆にデジタルカメラやメモリからデータを取得することも可能である。
【００２０】
本実施例では、複数枚のフレームから構成される動画像から、合成対象のフレームを複数抽出して、その抽出された複数のフレームを合成する。その動画像のデータは、上記の２次記憶装置１０５や、画像処理装置に接続されているＵＳＢメモリやＣＦメモリ、ＳＤメモリカード等から供給される。
【００２１】
本実施例では、合成対象の複数の画像のうちの１つの画像を主画像として、合成対象の複数の画像のうちの、主画像以外の比較画像のそれぞれと、主画像との差分を求める。そして、比較画像のそれぞれにおける、主画像との差分があった差分領域の画像を、主画像に合成する。すると、合成対象の複数の画像において移動するオブジェクトがあった場合に、比較画像のそれぞれにおけるオブジェクトが主画像に合成される。よって、主画像におけるオブジェクトの位置とは異なる位置にあるオブジェクトが、主画像に合成されることになる。
【００２２】
この合成処理について、図３を用いて説明する。図３は、合成対象の複数の画像を示す図である。画像３０１〜３０５は、画像における右上から左下へ向かって進む自動車を動画像として撮影し、その動画像から静止画像として抽出された画像である。なお、図３の３０１が時間的に先頭の画像であり、３０５が最後の画像である。
【００２３】
ここでは、複数の画像のうち時間的に最後の画像を主画像とし、その他の画像を比較画像とする。よって、図３においては３０５が主画像、３０１から３０４が比較画像となる。ここでは一例として時間的に最後の画像を主画像とするが、他の画像を主画像としても良い。例えば、時間的に最初の画像や真中の画像、ユーザが指定した画像などを主画像としても良い。
【００２４】
本実施例では、主画像３０５と、比較画像３０１〜３０４のそれぞれとの差分を取る。そして、比較画像３０１〜３０４のそれぞれにおける主画像との差分があった差分領域の画像を、主画像３０５に合成する。すると、比較画像３０１〜３０４のそれぞれにおけるオブジェクト３０１１〜３０１４は、主画像におけるオブジェクト３０１５とは異なる位置に存在するため、主画像３０５に対する差分領域として特定される。すると、オブジェクト３０１１〜３０１４は、比較画像における差分領域の画像として、主画像に合成される。
【００２５】
図５は、主画像と、比較画像における差分領域の画像とを合成した結果を示す図である。この図５に示すように、オブジェクト３０１１〜３０１４が主画像に合成される。すると、この合成画像を確認したユーザは、オブジェクト３０１１〜３０１４の車が移動していることを確認することができる。
【００２６】
しかしながら、この図５においては、本来、主画像である３０５に存在したオブジェクト３０１５が消えてしまう場合がある。これは、上記のように、比較画像における、主画像との差分がある差分領域の画像を、主画像に合成することに起因する。即ち、主画像３０５では、画像の左下に車（オブジェクト３０１５）があるが、比較画像においてはその位置に車は存在しない。すると、主画像におけるオブジェクト３０１５の領域に対応する、比較画像３０１〜３０４のそれぞれにおける領域も、差分領域として特定されてしまう。よって、比較画像３０１〜３０４における左下の領域の画像も、主画像に合成される。このとき、比較画像３０１〜３０４における左下の領域は、車ではなく道路の領域であるため、この領域の画像を主画像に合成すると、主画像３０５におけるオブジェクト３０１５に、道路の画像が上書きされてしまう。これにより、図５に示す合成画像において、オブジェクト３０１５が消えてしまう。
【００２７】
このように、オブジェクト３０１５が消えてしまう理由について、図４を用いてさらに詳細に説明する。図４は、主画像と、比較画像との差分を示す差分画像を示す図である。
【００２８】
この差分画像は、主画像を構成する複数の画素のそれぞれの画素値と、比較画像において、当該複数の画素のそれぞれに対応する座標にある画素の画素値との差分を取ることにより、作成することができる。図４に示す例では、差分の強度をグレースケールで示しており、色が黒に近い領域ほど、主画像との差分が少なく、色が白に近い領域ほど、主画像との差分が大きいものとする。そして、黒の領域は主画像との差分が無く、白は差分が最大であることを表している。図４の例では、差分画像４０１〜４０４のそれぞれが、図３における画像３０１〜３０４のそれぞれと主画像との差分を取得したときの差分画像である。なお、主画像との差分を判定するときの、画素の画素値は、輝度や濃度など各種の画素レベルであってよい。そして、主画像と比較画像における画素値の差分が、差分の度合いを示す差分値となる。以下の説明では、この差分値のことを差分強度と呼ぶ。
【００２９】
図４の差分画像を確認すると、差分画像４０１〜４０４において、移動体（オブジェクト）である自動車の領域には差分が存在することがわかる。加えて、主画像の自動車の領域（３０５１）すなわち４０１１〜４０４１についても差分が存在する。
【００３０】
本実施例では、図４に示す差分画像において、比較画像において、主と画像との差分が大きい（白に近い）領域を合成対象の領域として、その領域の画像を主画像に合成する。そのため、比較画像における、図４の４０１１〜４０４１に対応する領域が合成対象となり、比較画像における背景の画像が主画像に合成されるため、主画像の移動オブジェクト（３０１５）が消えてしまう。
【００３１】
以上の説明のように、本実施例では、合成対象の複数の画像のうちの主画像に、当該複数の画像のうちの比較画像における差分領域の画像を合成すると、その複数の画像のそれぞれに含まれるオブジェクトを、簡単な処理で合成することができる。しかし、そのように単純に合成してしまうと、主画像におけるオブジェクトが消えてしまう場合がある。
【００３２】
従って、本実施例では、比較画像における、主画像との差分の領域を主画像に合成することで主画像から消えてしまったオブジェクトを、合成画像に追加する。
【００３３】
図２は、本実施例における、複数の画像の合成処理を示すフローチャートである。図２に示す処理は、ユーザによる指示に応じてアプリケーションを起動させて、該アプリケーション上で行われる。具体的には、ＣＰＵ１０１が、２次記憶装置１０５やＲＯＭ１０３に記憶されている、アプリケーションに対応するプログラムを実行して、当該アプリケーションが起動させる。そして、当該アプリケーションのプログラムに従って、ＣＰＵ１０１がＲＡＭ１０４をワークメモリとして実行することにより、図２のフローチャートの処理を実現する。
【００３４】
Ｓ２０１では、ユーザの指示に応じて選択された、合成対象の複数の画像を取得する。このＳ２０１では、ＲＯＭ１０３や２次記憶装置１０５、またＩ／Ｏ制御部に接続されているＵＳＢメモリやメモリカード等の各種のメモリに記憶されている画像を、合成対象の画像として取得する。また、この合成対象の複数の画像は、動画像から抽出されたフレームや、デジタルカメラによる連写撮影で連続して撮影された画像である。あるいは時間的には遠くとも、定点観測カメラや天体の動きを追う天体カメラなど、同様の被写体を撮影した画像にも適用できる。
【００３５】
合成対象の画像の取得処理の一例として、動画像を再生して表示装置に表示されているときに、ユーザがその動画像を確認しながら入力装置を用いて選択した複数のフレームを、合成対象のフレームとして抽出する。そのときに、例えば抽出対象のフレームのフレーム間隔や時間間隔をユーザに指定させて、その指定に従って動画像からフレームを抽出すれば、一定時間ごとのフレームを抽出することができる。このように抽出されたフレームを合成することで、その合成画像を見たユーザは、フレームに含まれるオブジェクトが一定時間ごとにどのように移動したか確認することができる。
【００３６】
ここでは静止画像の一例としてＲＧＢ（レッド、グリーン、ブルー）信号で構成されたビットマップ形式で動画像から切り出し、切り出した静止画像を、ＲＡＭ１０４に格納する。尚、取得する画像は３つ以上が好ましい。
【００３７】
なお、動画像データのフォーマットによっては、フレーム間の差分を用いてデータ圧縮を行う場合があるが、この場合、動画像データをデコードして、ビットマップ形式とした静止画像を抽出する。即ち、上記のような動画像データは、動画像におけるフレームと、当該フレームの前後のフレームとの差分を、当該フレームの情報としてエンコードする。そして、その動画像データをデコードするときには、フレーム間の差分データと、デコード済みのフレームとにより、フレームを作成する。本実施例では、このようにデコードされた静止画像を抽出する。
【００３８】
このようにＳ２０１で合成対象の画像が取得されると、Ｓ２０２〜Ｓ２０７において、上述したような、比較画像における差分領域の画像と、主画像との合成処理を行う。ここでは、このＳ２０２からＳ２０７までの合成処理を仮合成と呼ぶ事とする。
【００３９】
Ｓ２０２ではＲＡＭ１０４における仮合成画像領域へ主画像を代入する。この仮合成画像領域は、ＲＡＭ１０４に設けられたバッファであり、主画像と同じ縦画素数、横画素数、チャンネル数（Ｒ、Ｇ、Ｂの３チャンネル）を持つ。後述するが、この仮合成画像領域に、主画像に続いて、比較画像における差分領域の画像を書き込むことで、主画像と、比較画像の差分領域の画像との合成を行う。また、この仮合成画像領域に格納されている画像を、仮合成画像と呼ぶ。
【００４０】
Ｓ２０２の処理は、具体的には、仮合成画像の全画素（Ｒｔ（ｘ、ｙ）、Ｇｔ（ｘ、ｙ）、Ｂｔ（ｘ，ｙ））の値を、主画像の同座標の画素（Ｒｍ（ｘ、ｙ）、Ｇｍ（ｘ、ｙ）、Ｂｍ（ｘ、ｙ））で置き換える。
【００４１】
また、後述するが、本実施例では主画像と、比較画像の差分領域の画像とを合成するときに、各画像を構成する複数の画素に重みを付け、加重平均処理を行う。そして、主画像の全画像に対する重みは１とする。そのため、重み合計画像（Ｗｓ（ｘ，ｙ））の全画素に１を代入する（下式参照）。この重み合計画像は主画像と同じ縦画素数、横画素数を持つ１チャンネルの画像である。尚、仮合成画像と同様にオーバーフローしないサイズのメモリが必要である。また、この代入は、重み合計画像を格納するためのバッファをＲＡＭ１０４に設け、重み合計画像の画素値をこのバッファに代入する。ここでは、このバッファを、重み合計画像領域と呼ぶ。
【００４２】
以上のように、Ｓ２０２では、仮合成画像を構成する全ての画素のそれぞれに対して、主画像の画素値の代入を行い、また重み合計画像に重みを代入する。よって、以下の式で示す処理を実行する。尚、以下の式では「＝」は代入を表し、左辺に右辺の内容を格納する。また、（ｘ，ｙ）は画像中の座標であり、画素単位での処理を表す。
Ｒｔ（ｘ，ｙ）＝Ｒｍ（ｘ，ｙ）
Ｇｔ（ｘ，ｙ）＝Ｇｍ（ｘ，ｙ）
Ｂｔ（ｘ，ｙ）＝Ｂｍ（ｘ，ｙ）
Ｗｓ（ｘ，ｙ）＝１
【００４３】
つまり、Ｓ２０２の処理は、仮合成画像領域に主画像をコピーし、重み合計画像を１で初期化することになる。仮合成画像領域に主画像をコピーする理由は、主画像において比較画像と同様の内容の領域があった場合に、その領域の画素の画素値を、主画像の画素値のままにするためである。このような画素は、比較画像の画素値により重み付け加算（後述）をされないため、主画像の画素値のまま仮合成画像領域に残る。よって、仮合成画像を出力したときに、主画像の画素値として出力することができる。
【００４４】
また、重み合計画像を１にする理由は、比較画像が重み付け加算された画素において、主画像の重みを十分に小さくする事によって、主画像の画素値の影響を整数演算の精度で消える、あるいは無視できる程にするためである。
【００４５】
尚、別の方法として、仮合成画像および重み合計画像を０で初期化し、重み付け加算の後に主画像を合成する方法もある。重み付け加算を行った後も重み合計が０の画素は比較画像による重み付け加算がない画素であり、主画像の画素値のまま出力する画素である。重み付け加算後に重み合計画像の値が０の画素について、同座標の仮合成画像の画素の値を同座標の主画像の画素の値に置き換える。この際、該重み合計画像の画素値を１に置き換える。
【００４６】
Ｓ２０３はループの開始を、Ｓ２０６はループの終端を表し、その間が一連のループである。ここでは、合成処理を実行した比較画像の数を示す変数Ｉに１を代入し、Ｉ＞比較画像数となった時に処理のループを終える。以後、該ループ内では合成対象として１番目の比較画像を比較画像［１］、２番目の比較画像を比較画像［２］のように表し、変数Ｉの数値の番号の比較画像を比較画像［Ｉ］と表す。尚、比較画像数は、Ｓ２０１で取得した複数の画像から、主画像の数である１を引いた数である。
【００４７】
Ｓ２０４では、主画像と比較画像［Ｉ］とにおいて対応する画素毎に、主画像と比較画像［Ｉ］との差分強度を算出する。なお、このとき主画像と比較画像［Ｉ］において同様の内容の領域がある場合には、その領域同士で差分を取ることが望ましい。よって、例えば撮影時にカメラを固定せずに撮影した場合、主画像と比較画像［Ｉ］との位置を合わせる。この位置合わせ処理の例として、主画像と比較画像［Ｉ］の背景の位置を合わせるよう、画像間の全体的な動きベクトルを求め、求めた動きベクトルに従って比較画像［Ｉ］を変形させ、主画像と画角を合わせる。動きベクトルはブロックマッチング法など、公知の技術を用いれば求める事ができる。また、画像の変形はアフィン変換など、公知の技術を用いることにより実現可能である。ここでは説明を容易にするため、上記の複数の画像はすべてカメラを固定して撮影した動画像から切り出した画像とする。
【００４８】
Ｓ２０４では、主画像の全ての画素について、対応する比較画像［Ｉ］の画素との差分強度を計算する。差分強度（Ｄ（ｘ，ｙ））は下式のように、主画像の画素のＲ、Ｇ、Ｂ値（Ｒｍ（ｘ，ｙ），Ｇｍ（ｘ，ｙ）、Ｂｍ（ｘ，ｙ））と、比較画像［Ｉ］の画素のＲ、Ｇ、Ｂ値（Ｒｓ（ｘ，ｙ），Ｇｓ（ｘ，ｙ）、Ｂｓ（ｘ，ｙ））の色空間上の距離で求める。
Ｄ（ｘ，ｙ）＝√（Ｒｍ（ｘ，ｙ）−Ｒｓ（ｘ，ｙ））＾２＋（Ｇｍ（ｘ，ｙ）−Ｇｓ（ｘ，ｙ））＾２＋（Ｂｍ（ｘ，ｙ）−Ｂｓ（ｘ，ｙ））＾２
【００４９】
この差分強度Ｄ（ｘ，ｙ）は、主画像と比較画像とにおいて対応する画素の、主画像と比較画像とにおける差分を示す。ｘおよびｙは画像中の画素の座標を表し、また、＾はべき乗を示す。
【００５０】
なお、差分強度の他の例として、Ｒ、Ｇ、Ｂ値それぞれの差の絶対値の和を差分強度としても良いし、ＲＧＢ値をＣＩＥＬＡＢ等、他の色空間へ変換し、その色空間の距離を差分強度としても良い。
【００５１】
上記のように求めた差分強度（Ｄ（ｘ，ｙ））を、ＲＡＭ１０４に設けられたバッファである、差分強度画像領域へ代入する。また、この差分強度画像領域に格納される画像を、差分強度画像と呼ぶ。差分強度画像は主画像と同じ縦画素数、横画素数を持ち、差分強度画像領域の、各画素に対応する領域は、差分強度の最大値がオーバーフローせず格納できるサイズである。そして、Ｄ（ｘ，ｙ）を代入するときには、主画像と比較画像における全画素に対応する、Ｄ（ｘ，ｙ）を代入する。
【００５２】
主画像の全ての画素について、比較画像との差分強度を求めると、フローはＳ２０５へ進む。Ｓ２０５ではＳ２０４で求めた差分強度に基づいて重み付け加算処理を行う。
【００５３】
このとき、比較画像［Ｉ］の各画素について、重み付け加算処理を行うか決定する。この処理は、まず差分強度画像の各画素について閾値の判定を行い、差分強度が閾値を超える画素については重み付け加算を行い、閾値を超えない画素は、重み付け加算を行わない。これは、撮影時の明るさの微妙な変化やカメラのセンサーノイズなど、画像内のノイズの影響を受けないようにする工夫である。閾値は予め定めた数値でも良いし、二値化処理など、公知の技術で求めても良い。
【００５４】
差分強度が閾値を超えた画素について、比較画像［Ｉ］の画素値（Ｒｓ（ｘ，ｙ）、Ｇｓ（ｘ，ｙ）、Ｂｓ（ｘ，ｙ））に重みを乗算し、仮合成画像の同座標の画素（Ｒｔ（ｘ，ｙ）、Ｇｔ（ｘ，ｙ）、Ｂｔ（ｘ，ｙ））に加算する。重み（Ｗ（ｘ，ｙ））は差分強度の値とする。この重み付け加算を式で表すと下記のようになる。
Ｗ（ｘ，ｙ）＝Ｄ（ｘ，ｙ）
Ｒｔ（ｘ，ｙ）＝Ｒｔ（ｘ，ｙ）＋Ｒｓ（ｘ，ｙ）×Ｗ（ｘ，ｙ）
Ｇｔ（ｘ，ｙ）＝Ｇｔ（ｘ，ｙ）＋Ｇｓ（ｘ，ｙ）×Ｗ（ｘ，ｙ）
Ｂｔ（ｘ，ｙ）＝Ｂｔ（ｘ，ｙ）＋Ｂｓ（ｘ，ｙ）×Ｗ（ｘ，ｙ）
【００５５】
ここでは重み（Ｗ（ｘ，ｙ））は差分強度の値とする。そのため、主画像と比較画像とにおいて、内容が大きく異なる領域の画素の場合、差分が大きいため上記の重みが大きく、比買う画像の画素値が大きく反映される。なお、ここでは重み（Ｗ（ｘ，ｙ））は差分強度の値とするが、差分強度に係数を乗じた値や閾値と差分強度の最大値との間を０から２５５で正規化するなどしても良い。
【００５６】
また上記のように、差分強度画像の画素（ｘ，ｙ）が閾値を越えない場合、重み付け加算処理を行わないため、Ｗ（ｘ，ｙ）には０が代入される。
【００５７】
Ｓ２０５では合成枚数画像の更新も行う。この合成枚数画像は、仮合成画像における各画素の、合成が行われた比較画像の枚数を示す。即ち、仮合成画像における各画素の、比較画像との合成が行われた回数を示す。合成枚数画像はＲＡＭ１０４に設けられたバッファであり、主画像と同数の縦画素数、横画素数を持つ。また、合成枚数画像は予め０で初期化されている。差分強度画像の画素（ｘ，ｙ）が前記の閾値を超える場合のみ、合成枚数画像の同座標（Ｗｓ（ｘ，ｙ））へ１を加算して更新する（式参照）。
Ｗｓ（ｘ，ｙ）＝Ｗｓ（ｘ，ｙ）＋１
このような処理を全ての画素について行うことにより、仮合成される比較画像数を記憶することになる。
【００５８】
尚、Ｓ２０４で求めた差分強度を用いてＳ２０５において重み付け加算処理を行ったが、差分強度画像にぼかし処理を施した画像を用いてＳ２０５における仮画像処理を行っても良い。これは、合成した画像の境界に段差が発生し、違和感が生まれる事を防ぐためである。
【００５９】
Ｓ２０６はループの終端である。比較画像の全てに対してループ内の処理を終えていない場合はＳ２０４へ戻る。全ての比較画像についてループ内の処理を終えている場合はＳ２０７へ進む。
【００６０】
Ｓ２０７では加重平均処理を行う。処理は仮合成画像の画素値を重み合計画像の画素値で除算し、仮合成画像の画素値を置き換える（式参照）。尚、以下の式では「／」は除算を表す。
Ｒｔ（ｘ，ｙ）＝Ｒｔ（ｘ，ｙ）／Ｗｓ（ｘ，ｙ）
Ｇｔ（ｘ，ｙ）＝Ｇｔ（ｘ，ｙ）／Ｗｓ（ｘ，ｙ）
Ｂｔ（ｘ，ｙ）＝Ｂｔ（ｘ，ｙ）／Ｗｓ（ｘ，ｙ）
【００６１】
尚、加重平均処理後の画像を格納するバッファを別に設け、そこに結果を格納しても良い。Ｓ２０７の処理までで仮合成の処理が行われた事になる。これにより、各比較画像において主画像と同様の内容の領域については、重みが０になるため合成が行われず、主画像と異なる内容の領域については、その差分が大きいほど重みが大きくなり、合成が行われることになる。
【００６２】
上述したＳ２０１〜Ｓ２０７の処理により、仮合成画像領域において、主画像と、比較画像における、主画像との差分が閾値を越える領域の画像とが合成される。
【００６３】
尚、仮合成画像領域は、上記のように、主画像及び比較画像の画素値に、重みを乗算したものを、合成対象の画像数分格納するため、そのデータをオーバーフローせず格納できるサイズのメモリが必要である。
【００６４】
図５は、仮合成後の画像を示す図である。比較画像３０１から３０４のオブジェクトである自動車がそれぞれ合成されている。ここで、５０１の破線部には主画像のオブジェクトである自動車が存在しない。これは、図４の４０１から４０４に示すように主画像のオブジェクト領域（４０１１〜４０４１）に差分強度が存在するため、Ｓ２０５において３０１から３０４の非オブジェクト部（背景）が合成されているためである。仮にこの画像を出力結果とした場合、ユーザが３０５を、合成対象として選択しているのにも関わらず、３０５のオブジェクトである３０１５が存在しない結果となる。
【００６５】
図６は、上述した合成枚数画像を示す図である。この合成枚数画像は、仮合成画像の各画素に対して、合成される比較画像の枚数を示すデータとして、ＲＡＭ１０４に記憶しているものの、その画像は表示しなくてもよい。図６では、説明のために、合成枚数画像を可視化している。
【００６６】
図６の合成枚数画像における黒の領域は、全ての比較画像について、重み付け加算が行われなかった箇所であり、反対に白の領域は、全ての比較画像について重み付け加算が行われた箇所である。中間調（グレー）は、比較画像のうちのいくつかについて、重み付け加算した箇所であり、黒に近い程合成画像数が少なく、白に近い程合成画像数が多い。
【００６７】
６０１から６０４の領域はそれぞれ、比較画像３０１〜３０４のうちの１枚の画像に対して、内容が異なる領域である。そのため、６０１〜６０４の領域は、それぞれ１回ずつ重み付け加算が行われており、この領域はグレーを示す。
【００６８】
一方、６０５の領域は、比較画像３０１〜３０４の全てに対して、内容が異なる領域である。よって、比較画像の全てに対して、差分強度が閾値を超えており、比較画像の全てに対して重み付け加算が行われている。このように、比較画像の全てに対して重み付け加算が行われる領域は、比較画像の全てに対して大きな差分がある領域であるため、主画像のオブジェクトがある領域である確率が高い。特に、合成枚数画像における値が全比較画像の合計枚数に対応する領域があった場合、主画像におけるその領域の画像は、比較画像のいずれにも含まれていないと判断することができる。
【００６９】
そこで、図２のＳ２０８では、合成枚数画像の値に応じて主画像を合成する。即ち、仮合成画像において、合成枚数画像の値が高い領域は、図６に示す白の領域のように、主画像におけるオブジェクトに対応する領域であることが考えられる。そこで、仮合成画像における、合成枚数画像の値が大きな画素については、主画像の画素値を上書きすることで、主画像を合成する。言い換えれば、仮合成画像における、合成枚数画像の値が大きな領域を特定して、その領域に対応する主画像における領域を、合成対象の領域として決定する。そして、主画像における合成対象の領域の画像を、仮合成画像に合成する。
【００７０】
このように主画像を仮合成画像に合成するときには、主画像の合成の割合（Ｗｍ（ｘ，ｙ））を求め、その割合に従って合成を行う。この割合を求めるために、合成枚数画像を正規化する関数を用いる。
【００７１】
図７は、合成枚数と主画像の割合を示す図であり、正規化関数の特性の例をグラフ化している。グラフの横軸は関数の入力であり、合成枚数画像の画素値を表す。縦軸は関数の出力であり、主画像の合成の割合（Ｗｍ（ｘ，ｙ））の値（０〜２５５）を表す。関数は７０１のように合成枚数が１枚以下の場合は出力を０とし、合成枚数が１を超える場合に出力の値を持つ。図６においては、合成枚数が１である６０１から６０４の領域は出力が０となり、合成枚数が最大（比較画像数）である６０５の領域すなわち主画像のオブジェクト領域の出力は最大（２５５）となる。よって、６０１〜６０４の領域については、主画像の合成が行われないため、仮合成画像における、６０１〜６０４の領域のオブジェクトに影響は無い。
【００７２】
なお、関数の他の例として７０２や７０３のような入出力の関係にしてもよい。関数は数式によるものでも良いし、ルックアップテーブル（ＬＵＴ）を動的に作成、あるいは予め保持しておいて用いても良い。
【００７３】
尚、ガウシアンフィルタなど公知の手法を用いて合成枚数画像にぼけを生じさせ、それを関数の入力としても良い。これは、合成結果にノイズの影響や不自然な境界線を生じさせない技術である。合成枚数画像のぼけ画像作成には、小数点演算や正規化処理など、整数演算の精度以上の計算が必要である。
【００７４】
Ｓ２０８では、主画像の合成の比率に基づき、Ｓ２０７で加重平均後の仮合成画像と主画像を合成し、合成された画像（合成結果画像）を、ＲＡＭ１０４における合成結果画像領域へ格納する。合成結果画像領域はＲＡＭ１０４に設けられたバッファであり、主画像と同じ縦画素数、横画素数、チャンネル数を持つ画像である。合成結果画像の画素のＲ，Ｇ，Ｂの値をＲｒ（ｘ，ｙ）、Ｇｒ（ｘ，ｙ）、Ｂｒ（ｘ，ｙ）と表すと、下記の式に従って、合成結果画像を求める。
Ｒｒ（ｘ，ｙ）＝（Ｒｍ（ｘ，ｙ）×Ｗｍ（ｘ，ｙ）＋Ｒｔ（ｘ，ｙ）×（２５５−Ｗｍ（ｘ，ｙ）））／２５５
Ｇｒ（ｘ，ｙ）＝（Ｇｍ（ｘ，ｙ）×Ｗｍ（ｘ，ｙ）＋Ｇｔ（ｘ，ｙ）×（２５５−Ｗｍ（ｘ，ｙ）））／２５５
Ｂｒ（ｘ，ｙ）＝（Ｂｍ（ｘ，ｙ）×Ｗｍ（ｘ，ｙ）＋Ｂｔ（ｘ，ｙ）×（２５５−Ｗｍ（ｘ，ｙ）））／２５５
【００７５】
上記の式に従って、主画像の合成処理を、仮合成画像における全画素について行うと、仮合成画像における、比較画像の合成枚数が多い領域に、主画像が合成される。この合成処理の結果の画像を図８に示す。
【００７６】
この図８に示すように、図５において、Ｓ２０７における比較画像の合成により、仮合成画像から消えていた主画像のオブジェクトが、８０１のように結果画像では存在する。
【００７７】
次に、Ｓ２０９では、Ｓ２０８で得られた合成結果画像を出力する。出力の例として、例えば、表示制御部１０６により、表示装置１０７へ合成結果画像を表示する出力方法や、出力装置１１０へ合成結果画像を送信して、印刷用紙に印刷させる出力方法がある。他にも、合成結果画像を２次記憶装置（ＨＤＤ）１０５へファイルとして記憶してもよいし、不図示のネットワークを用いて、画像処理装置の外部へ合成結果画像を転送してもよい。
【００７８】
次に、合成対象の複数の画像として、図３で示した画像群とは別の画像群で、本実施例の合成処理を施した例を以下に説明する。図９はＳ２０１で取得した合成対象の複数の画像である。図３に示す複数のフレームに加え、動画像における、その複数のフレーム間のフレームも抽出したものである。
【００７９】
この図９に示す合成対象の複数の画像において、９０９が主画像、９０１から９０８が比較画像となる。図９に示す画像群を入力とし、Ｓ２０２からＳ２０７まで処理（つまり仮合成）を行った後の画像を図１２に示す。上記で図５の破線部５０１を例として示したのと同様に、破線部１２０９には主画像のオブジェクトである自動車が存在しない。これは、上述したとおり主画像のオブジェクト領域に主画像と比較画像との差分強度が存在し、Ｓ２０５の処理において比較画像の非オブジェクト部（背景）が合成されているためである。
【００８０】
Ｓ２０７までの処理で図１２の１２０９のように主画像のオブジェクトが一度消えてしまうが、その後、Ｓ２０８の処理を経る事で合成結果画像においては、そのオブジェクトが合成されている。
【００８１】
図１０は、このときの合成結果画像を示す図である。図１０の１００９のように、仮合成で消えたオブジェクトが、再度現れる。このように、本技術では処理の過程で消えてしまう主画像のオブジェクトを復活させる事ができる。
【００８２】
ここで、主画像のオブジェクトである１００９は、比較画像のオブジェクトである１００８などと比べて重なり部分の像がはっきり見える。これは、Ｓ２０８において合成枚数に基づいて、主画像のオブジェクトを後から合成するためである。これにより、主画像が比較的際立って見える。そして、図１０に示す例では、動画像における時間において、最後の画像（９０９）を主画像としているため、この９０９に含まれているオブジェクトがはっきりと確認できる。これにより、ユーザは、動画における時間において、最後のフレームに含まれるオブジェクトを適切に確認することができ、そのオブジェクトが、どのように移動してきたのか把握することができる。
【００８３】
また、このように、合成結果画像において、動画像における最後のフレームに含まれるオブジェクトをはっきりさせることの効果として、残像を表現するためのエフェクト効果がある。例えば、絵画やアニメ、コンピュータグラフィックスなどにおいて、時間的に最後のオブジェクトを比較的はっきりと表示し、それ以前のものはぼかしたり、像をはっきり描画しないことにより、オブジェクトが移動した軌跡や残像を表現することができる。
【００８４】
また、主画像の選択の他の例として、動画像における時間における最後の画像ではなく、最初の画像である９０１を主画像とした処理結果を図１１に示す。１１０１は主画像のオブジェクトであり、比較画像のオブジェクトに比べて重なり部分の像がはっきり見える。この場合、初めのフレームに含まれるオブジェクトを確認して、そのオブジェクトが、その後どのように動いたのか把握することができる。
【００８５】
このように、主画像を最後のフレームとするか、最後のフレームとするか、またはその他のフレームにするかについては、上述のように、ユーザの指示に応じて決定することができる。しかしこれに限らず、主画像をどのフレームにするか自動的に選択してもよい。例えば、複数のフレームにおけるオブジェクトの動きを判定して、その動きに応じて主画像を決定してもよい。
【００８６】
例えば、フレームを抽出する動画像が、撮影装置に近づいてくるオブジェクトを撮影したものであるとする。このとき、この動画像から抽出されたフレームのうち、最後のフレームにおいて、オブジェクトが最も大きく出力される。そこで、最後のフレームを主画像として本実施例の合成処理を実行すると、最後のフレームのオブジェクトが最も大きく、またはっきりと出力される。これにより、ユーザは、フレームに含まれるオブジェクトを明確に認識した上で、そのオブジェクトがどのように移動してきたのか把握することができる。
【００８７】
また、逆に、動画像が、撮影装置から遠ざかるオブジェクトを撮影したものである場合には、最初のフレームを主画像として本実施例の合成処理を実行すると、最初のフレームのオブジェクトが最も大きく、またはっきりと出力される。これにより、ユーザは、フレームに含まれるオブジェクトを明確に認識した上で、そのオブジェクトがどのように移動していったのか把握することができる。
【００８８】
なお、動画像に含まれるオブジェクトが、撮影装置に近づいてきたものか、または遠ざかったものであるかについては、フレームを解析することにより判定することができる。例えば、複数フレームのそれぞれに含まれるオブジェクト領域を判定し、その領域が徐々に大きくなっていた場合には、オブジェクトが近づいたものと判定することができる。
【００８９】
また、オブジェクトにおける複数点の動きベクトルによっても、上記の判定を行うことができる。即ち、オブジェクトにおける複数点のそれぞれに対応する複数の動きベクトルが収束していた場合、そのオブジェクトが遠ざかったものと判定することができる。また逆に、複数の動きベクトルが拡散していた場合、オブジェクトが近づいたものと判定することができる。特に、動画像データがＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などのフォーマットであった場合、複数フレームにおける動きベクトルを利用してデータ圧縮を行っているため、この動きベクトルを用いて上記の判定を行うこともできる。
【００９０】
以上の実施例によれば、図２のＳ２０２〜Ｓ２０７において、比較画像のそれぞれと、主画像との差分を取得して、各比較画像における、主画像との差分が大きな領域の画像を、主画像に合成する。そして、図２のＳ２０８において、その合成が行われた比較画像の枚数が大きな領域に主画像を合成する。
【００９１】
これにより、Ｓ２０２〜Ｓ２０７の合成処理により得られた仮合成画像において、主画像から消えてしまったオブジェクトを、仮合成画像に合成することができる。よって、ユーザにより選択された合成対象の画像（主画像と比較画像）におけるオブジェクトを適切に合成することができる。
【００９２】
また、上記のように、本実施例では、合成対象の複数の画像のうちの１枚の主画像に、合成対象の画像のうちの、主画像以外の比較画像を合成している。そのため、当該合成対象の複数の画像において移動しているオブジェクトを含まない背景画像を改めて作成しなくても、適切な合成を行うことができる。
【００９３】
従って、複数の画像に含まれるオブジェクトを１つの画像に合成するときに、簡単な処理で適切に合成することができる。
【００９４】
なお、上記の実施例の説明で、合成枚数画像を作成するために、全ての比較画像に対して、主画像との合成を行ったか確認したが、処理速度向上のために、このような確認を、一部の比較画像に対して実行してもよい。その際は図７に示すグラフの横軸のＭＡＸを比較画像数ではなく、合成枚数画像を作成した比較画像の数にする必要がある。
【００９５】
また、上記の実施例の説明ではＳ２０４で、比較画像の全画素に対して差分強度を算出した後に、Ｓ２０５において、画像毎の重み付け加算処理および合成枚数画像の更新を行った。しかし、双方の工程を結合し、Ｓ２０４とＳ２０５の処理を、画素単位に順次行っても良い。つまり１つの画素について、差分強度の算出、重み付け加算処理、合成枚数画像の更新を行い、１つの画素の処理が終了すれば次の画素の処理へ移るという画素単位の処理をしても良い。
【００９６】
なお、以上の実施例では、合成枚数画像を作成し、それにより主画像のオブジェクトの領域を合成対象として特定したが、主画像のオブジェクトの領域の算出は他の方法を用いても良い。例えば、比較画像から主画像への動きベクトルを求め、動きベクトルが示した先が主画像のオブジェクト領域であると判断する方法などがある。また、複数画像が動きベクトルを含む圧縮を施したフォーマットの動画像から切り出したものであれば、該動きベクトルを利用しても良い。そして、主画像において、動きベクトルにより特定されたオブジェクトの領域の画像を、仮合成画像に合成する。
【００９７】
この場合、主画像に合成された比較画像の数が所定の閾値を越える場合に、動きベクトルにより特定された、主画像における合成対象の領域を、仮合成画像に合成するようにしてもよい。
【００９８】
（他の実施形態）
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記録媒体に記憶させ、該記録媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。
【００９９】
該記録媒体は、コンピュータ読み取り可能な記録媒体である。また、前述のプログラムが記憶された記録媒体はもちろんそのプログラム自体も上述の実施形態に含まれる。かかる記録媒体としてはたとえばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。
【０１００】
また前述の記録媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウエア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
【０１０１】
また本発明は、１つのプロセッサがプログラムを実行する場合に限らず、複数のプロセッサが協働することによっても実現できるものである。
【符号の説明】
【０１０２】
１０１ ＣＰＵ
１０２ ブリッジ部
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ ２次記憶装置
【技術分野】
【０００１】
本発明は、複数の画像に含まれるオブジェクトを１つの画像に合成するための画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラなどで連写撮影された動体連写画像を一つの画像に合成する技術が用いられている。動画像やカメラでの連写撮影からは時間的に連続した複数の画像を得ることができ、該複数の画像の動体部分を合成することにより動体の運動解析や映像特殊効果として利用できる。
【０００３】
特許文献１には複数の画像（フレーム）を合成する画像合成の技術が記載されている。特許文献１では、複数のフレームにおける動体部分ではない背景部分に特定して、動体部分を含まない背景画像を作成する。そして、各フレームの動体部分を、背景画像に合成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４１５１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の従来技術では、合成対象の複数の画像における動体部分を抽出し、また動体部分を含まない背景画像を作成して、作成された背景画像に合成を行う。このような、背景画像を作成する処理は、処理負荷が大きいという課題がある。
【０００６】
そこで本発明は、複数の画像に含まれるオブジェクトを１つの画像に合成するときに、簡単な処理で、且つ適切に合成することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像処理装置は、複数の画像に含まれているオブジェクトを１つの画像に合成するための画像処理装置であって、合成対象の複数の画像を取得する取得手段と、前記取得手段により取得された合成対象の複数の画像のうちの第１の画像と、当該複数の画像のうちの第２の画像とに基づき、当該第２の画像における、当該第１の画像に対する差分を有する差分領域を特定する特定手段と、前記第２の画像における、前記特定手段により特定された差分領域の画像を、前記第１の画像に合成する第１の合成手段と、前記第１の画像における前記第２の画像に対する差分を有する差分領域を、当該第１の画像と当該第２の画像とに含まれているオブジェクトに対応する合成対象の領域として決定する決定手段と、前記決定手段により決定された前記第１の画像における合成対象の領域の画像を、前記第１の合成手段による合成で得られた合成画像に、さらに合成する第２の合成手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数の画像に含まれるオブジェクトを１つの画像に合成するときに、簡単な処理で適切に合成することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置の構成を示すブロック図である。
【図２】複数の画像の合成処理を示すフローチャートである。
【図３】合成対象の複数の画像を示す図である。
【図４】主画像と、比較画像との差分を示す差分画像を示す図である。
【図５】主画像と、比較画像における差分領域の画像とを合成した結果を示す図である。
【図６】合成枚数画像を示す図である。
【図７】合成枚数と主画像の割合の関係を示すグラフである。
【図８】合成結果画像を示す図である。
【図９】合成対象の複数の画像を示す図である。
【図１０】合成結果画像を示す図である。
【図１１】図９の画像に本発明の合成処理を施した画像である。
【図１２】主画像と、比較画像における差分領域の画像とを合成した結果を示す図である。
【発明を実施するための形態】
【００１０】
図１は、画像処理装置の構成を示すブロック図である。画像処理装置として、ＰＣを使用すると想定して説明する。
ＣＰＵ１０１は、中央演算ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で、他の機能ブロックや装置の制御を行う。ブリッジ部１０２は、ＣＰＵ１０１と他の機能ブロックの間でデータのやり取りを制御する機能を提供している。
【００１１】
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３は読み込み専用の不揮発メモリであり、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）と呼ばれるプログラムが格納されている。ＢＩＯＳは画像処理装置が起動したときに最初に実行されるプログラムであり、２次記憶装置１０５、表示装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御するものである。
【００１２】
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４は、高速の読み／書き可能な記憶領域を提供する。
【００１３】
２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩを提供できる。
【００１４】
なお、上記のＯＳや、他のアプリケーションの実行プログラムや作業用に使用しているデータは、必要に応じてＲＯＭ１０３または２次記憶装置１０５に格納される。また、本実施例の処理を実行する画像処理アプリケーションは、ＲＯＭ１０３または２次記憶装置１０５に格納され、ユーザの操作で起動するアプリケーションとして提供される。以下で説明する処理は、ＣＰＵ１０１が、ＲＯＭ１０３や２次記憶装置１０５に記憶されている、ＯＳ、画像処理アプリケーション等のプログラムを、ＲＡＭ１０４をワークメモリとして実行することで実現する。
【００１５】
表示制御部１０６は、各種の画像を表示装置１０７に表示させるための制御を行う。表示される画像は、例えば、２次記憶装置１０５に記憶されている画像や、ＯＳやアプリケーションに対して行われるユーザの操作の結果を示すＧＵＩの画像である。また、表示装置１０７には液晶ディスプレイや、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイが使用できる。
【００１６】
Ｉ／Ｏ制御部１０８は、複数の入力装置１０９、出力装置１１０とのインターフェースを提供するものである。代表的なインターフェースとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＰＳ／２（Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ／２）がある。
【００１７】
入力装置１０９は、キーボード、マウスといった操作デバイスであり、Ｉ／Ｏ制御部１０８は、入力装置１０９を介してユーザの指示を画像処理装置に入力する。
【００１８】
Ｉ／Ｏ制御部１０８は、各種の出力装置１１０を接続する。出力装置１１０は例えばプリンタであり、Ｉ／Ｏ制御部が印刷データを出力装置に出力することで、印刷データに対応する画像を印刷させることができる。
【００１９】
なお、画像処理装置には、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードといった記憶装置などを接続することもできる。そして、Ｉ／Ｏ制御部は、そのデジタルカメラやメモリに画像データなどのデータを転送することや、逆にデジタルカメラやメモリからデータを取得することも可能である。
【００２０】
本実施例では、複数枚のフレームから構成される動画像から、合成対象のフレームを複数抽出して、その抽出された複数のフレームを合成する。その動画像のデータは、上記の２次記憶装置１０５や、画像処理装置に接続されているＵＳＢメモリやＣＦメモリ、ＳＤメモリカード等から供給される。
【００２１】
本実施例では、合成対象の複数の画像のうちの１つの画像を主画像として、合成対象の複数の画像のうちの、主画像以外の比較画像のそれぞれと、主画像との差分を求める。そして、比較画像のそれぞれにおける、主画像との差分があった差分領域の画像を、主画像に合成する。すると、合成対象の複数の画像において移動するオブジェクトがあった場合に、比較画像のそれぞれにおけるオブジェクトが主画像に合成される。よって、主画像におけるオブジェクトの位置とは異なる位置にあるオブジェクトが、主画像に合成されることになる。
【００２２】
この合成処理について、図３を用いて説明する。図３は、合成対象の複数の画像を示す図である。画像３０１〜３０５は、画像における右上から左下へ向かって進む自動車を動画像として撮影し、その動画像から静止画像として抽出された画像である。なお、図３の３０１が時間的に先頭の画像であり、３０５が最後の画像である。
【００２３】
ここでは、複数の画像のうち時間的に最後の画像を主画像とし、その他の画像を比較画像とする。よって、図３においては３０５が主画像、３０１から３０４が比較画像となる。ここでは一例として時間的に最後の画像を主画像とするが、他の画像を主画像としても良い。例えば、時間的に最初の画像や真中の画像、ユーザが指定した画像などを主画像としても良い。
【００２４】
本実施例では、主画像３０５と、比較画像３０１〜３０４のそれぞれとの差分を取る。そして、比較画像３０１〜３０４のそれぞれにおける主画像との差分があった差分領域の画像を、主画像３０５に合成する。すると、比較画像３０１〜３０４のそれぞれにおけるオブジェクト３０１１〜３０１４は、主画像におけるオブジェクト３０１５とは異なる位置に存在するため、主画像３０５に対する差分領域として特定される。すると、オブジェクト３０１１〜３０１４は、比較画像における差分領域の画像として、主画像に合成される。
【００２５】
図５は、主画像と、比較画像における差分領域の画像とを合成した結果を示す図である。この図５に示すように、オブジェクト３０１１〜３０１４が主画像に合成される。すると、この合成画像を確認したユーザは、オブジェクト３０１１〜３０１４の車が移動していることを確認することができる。
【００２６】
しかしながら、この図５においては、本来、主画像である３０５に存在したオブジェクト３０１５が消えてしまう場合がある。これは、上記のように、比較画像における、主画像との差分がある差分領域の画像を、主画像に合成することに起因する。即ち、主画像３０５では、画像の左下に車（オブジェクト３０１５）があるが、比較画像においてはその位置に車は存在しない。すると、主画像におけるオブジェクト３０１５の領域に対応する、比較画像３０１〜３０４のそれぞれにおける領域も、差分領域として特定されてしまう。よって、比較画像３０１〜３０４における左下の領域の画像も、主画像に合成される。このとき、比較画像３０１〜３０４における左下の領域は、車ではなく道路の領域であるため、この領域の画像を主画像に合成すると、主画像３０５におけるオブジェクト３０１５に、道路の画像が上書きされてしまう。これにより、図５に示す合成画像において、オブジェクト３０１５が消えてしまう。
【００２７】
このように、オブジェクト３０１５が消えてしまう理由について、図４を用いてさらに詳細に説明する。図４は、主画像と、比較画像との差分を示す差分画像を示す図である。
【００２８】
この差分画像は、主画像を構成する複数の画素のそれぞれの画素値と、比較画像において、当該複数の画素のそれぞれに対応する座標にある画素の画素値との差分を取ることにより、作成することができる。図４に示す例では、差分の強度をグレースケールで示しており、色が黒に近い領域ほど、主画像との差分が少なく、色が白に近い領域ほど、主画像との差分が大きいものとする。そして、黒の領域は主画像との差分が無く、白は差分が最大であることを表している。図４の例では、差分画像４０１〜４０４のそれぞれが、図３における画像３０１〜３０４のそれぞれと主画像との差分を取得したときの差分画像である。なお、主画像との差分を判定するときの、画素の画素値は、輝度や濃度など各種の画素レベルであってよい。そして、主画像と比較画像における画素値の差分が、差分の度合いを示す差分値となる。以下の説明では、この差分値のことを差分強度と呼ぶ。
【００２９】
図４の差分画像を確認すると、差分画像４０１〜４０４において、移動体（オブジェクト）である自動車の領域には差分が存在することがわかる。加えて、主画像の自動車の領域（３０５１）すなわち４０１１〜４０４１についても差分が存在する。
【００３０】
本実施例では、図４に示す差分画像において、比較画像において、主と画像との差分が大きい（白に近い）領域を合成対象の領域として、その領域の画像を主画像に合成する。そのため、比較画像における、図４の４０１１〜４０４１に対応する領域が合成対象となり、比較画像における背景の画像が主画像に合成されるため、主画像の移動オブジェクト（３０１５）が消えてしまう。
【００３１】
以上の説明のように、本実施例では、合成対象の複数の画像のうちの主画像に、当該複数の画像のうちの比較画像における差分領域の画像を合成すると、その複数の画像のそれぞれに含まれるオブジェクトを、簡単な処理で合成することができる。しかし、そのように単純に合成してしまうと、主画像におけるオブジェクトが消えてしまう場合がある。
【００３２】
従って、本実施例では、比較画像における、主画像との差分の領域を主画像に合成することで主画像から消えてしまったオブジェクトを、合成画像に追加する。
【００３３】
図２は、本実施例における、複数の画像の合成処理を示すフローチャートである。図２に示す処理は、ユーザによる指示に応じてアプリケーションを起動させて、該アプリケーション上で行われる。具体的には、ＣＰＵ１０１が、２次記憶装置１０５やＲＯＭ１０３に記憶されている、アプリケーションに対応するプログラムを実行して、当該アプリケーションが起動させる。そして、当該アプリケーションのプログラムに従って、ＣＰＵ１０１がＲＡＭ１０４をワークメモリとして実行することにより、図２のフローチャートの処理を実現する。
【００３４】
Ｓ２０１では、ユーザの指示に応じて選択された、合成対象の複数の画像を取得する。このＳ２０１では、ＲＯＭ１０３や２次記憶装置１０５、またＩ／Ｏ制御部に接続されているＵＳＢメモリやメモリカード等の各種のメモリに記憶されている画像を、合成対象の画像として取得する。また、この合成対象の複数の画像は、動画像から抽出されたフレームや、デジタルカメラによる連写撮影で連続して撮影された画像である。あるいは時間的には遠くとも、定点観測カメラや天体の動きを追う天体カメラなど、同様の被写体を撮影した画像にも適用できる。
【００３５】
合成対象の画像の取得処理の一例として、動画像を再生して表示装置に表示されているときに、ユーザがその動画像を確認しながら入力装置を用いて選択した複数のフレームを、合成対象のフレームとして抽出する。そのときに、例えば抽出対象のフレームのフレーム間隔や時間間隔をユーザに指定させて、その指定に従って動画像からフレームを抽出すれば、一定時間ごとのフレームを抽出することができる。このように抽出されたフレームを合成することで、その合成画像を見たユーザは、フレームに含まれるオブジェクトが一定時間ごとにどのように移動したか確認することができる。
【００３６】
ここでは静止画像の一例としてＲＧＢ（レッド、グリーン、ブルー）信号で構成されたビットマップ形式で動画像から切り出し、切り出した静止画像を、ＲＡＭ１０４に格納する。尚、取得する画像は３つ以上が好ましい。
【００３７】
なお、動画像データのフォーマットによっては、フレーム間の差分を用いてデータ圧縮を行う場合があるが、この場合、動画像データをデコードして、ビットマップ形式とした静止画像を抽出する。即ち、上記のような動画像データは、動画像におけるフレームと、当該フレームの前後のフレームとの差分を、当該フレームの情報としてエンコードする。そして、その動画像データをデコードするときには、フレーム間の差分データと、デコード済みのフレームとにより、フレームを作成する。本実施例では、このようにデコードされた静止画像を抽出する。
【００３８】
このようにＳ２０１で合成対象の画像が取得されると、Ｓ２０２〜Ｓ２０７において、上述したような、比較画像における差分領域の画像と、主画像との合成処理を行う。ここでは、このＳ２０２からＳ２０７までの合成処理を仮合成と呼ぶ事とする。
【００３９】
Ｓ２０２ではＲＡＭ１０４における仮合成画像領域へ主画像を代入する。この仮合成画像領域は、ＲＡＭ１０４に設けられたバッファであり、主画像と同じ縦画素数、横画素数、チャンネル数（Ｒ、Ｇ、Ｂの３チャンネル）を持つ。後述するが、この仮合成画像領域に、主画像に続いて、比較画像における差分領域の画像を書き込むことで、主画像と、比較画像の差分領域の画像との合成を行う。また、この仮合成画像領域に格納されている画像を、仮合成画像と呼ぶ。
【００４０】
Ｓ２０２の処理は、具体的には、仮合成画像の全画素（Ｒｔ（ｘ、ｙ）、Ｇｔ（ｘ、ｙ）、Ｂｔ（ｘ，ｙ））の値を、主画像の同座標の画素（Ｒｍ（ｘ、ｙ）、Ｇｍ（ｘ、ｙ）、Ｂｍ（ｘ、ｙ））で置き換える。
【００４１】
また、後述するが、本実施例では主画像と、比較画像の差分領域の画像とを合成するときに、各画像を構成する複数の画素に重みを付け、加重平均処理を行う。そして、主画像の全画像に対する重みは１とする。そのため、重み合計画像（Ｗｓ（ｘ，ｙ））の全画素に１を代入する（下式参照）。この重み合計画像は主画像と同じ縦画素数、横画素数を持つ１チャンネルの画像である。尚、仮合成画像と同様にオーバーフローしないサイズのメモリが必要である。また、この代入は、重み合計画像を格納するためのバッファをＲＡＭ１０４に設け、重み合計画像の画素値をこのバッファに代入する。ここでは、このバッファを、重み合計画像領域と呼ぶ。
【００４２】
以上のように、Ｓ２０２では、仮合成画像を構成する全ての画素のそれぞれに対して、主画像の画素値の代入を行い、また重み合計画像に重みを代入する。よって、以下の式で示す処理を実行する。尚、以下の式では「＝」は代入を表し、左辺に右辺の内容を格納する。また、（ｘ，ｙ）は画像中の座標であり、画素単位での処理を表す。
Ｒｔ（ｘ，ｙ）＝Ｒｍ（ｘ，ｙ）
Ｇｔ（ｘ，ｙ）＝Ｇｍ（ｘ，ｙ）
Ｂｔ（ｘ，ｙ）＝Ｂｍ（ｘ，ｙ）
Ｗｓ（ｘ，ｙ）＝１
【００４３】
つまり、Ｓ２０２の処理は、仮合成画像領域に主画像をコピーし、重み合計画像を１で初期化することになる。仮合成画像領域に主画像をコピーする理由は、主画像において比較画像と同様の内容の領域があった場合に、その領域の画素の画素値を、主画像の画素値のままにするためである。このような画素は、比較画像の画素値により重み付け加算（後述）をされないため、主画像の画素値のまま仮合成画像領域に残る。よって、仮合成画像を出力したときに、主画像の画素値として出力することができる。
【００４４】
また、重み合計画像を１にする理由は、比較画像が重み付け加算された画素において、主画像の重みを十分に小さくする事によって、主画像の画素値の影響を整数演算の精度で消える、あるいは無視できる程にするためである。
【００４５】
尚、別の方法として、仮合成画像および重み合計画像を０で初期化し、重み付け加算の後に主画像を合成する方法もある。重み付け加算を行った後も重み合計が０の画素は比較画像による重み付け加算がない画素であり、主画像の画素値のまま出力する画素である。重み付け加算後に重み合計画像の値が０の画素について、同座標の仮合成画像の画素の値を同座標の主画像の画素の値に置き換える。この際、該重み合計画像の画素値を１に置き換える。
【００４６】
Ｓ２０３はループの開始を、Ｓ２０６はループの終端を表し、その間が一連のループである。ここでは、合成処理を実行した比較画像の数を示す変数Ｉに１を代入し、Ｉ＞比較画像数となった時に処理のループを終える。以後、該ループ内では合成対象として１番目の比較画像を比較画像［１］、２番目の比較画像を比較画像［２］のように表し、変数Ｉの数値の番号の比較画像を比較画像［Ｉ］と表す。尚、比較画像数は、Ｓ２０１で取得した複数の画像から、主画像の数である１を引いた数である。
【００４７】
Ｓ２０４では、主画像と比較画像［Ｉ］とにおいて対応する画素毎に、主画像と比較画像［Ｉ］との差分強度を算出する。なお、このとき主画像と比較画像［Ｉ］において同様の内容の領域がある場合には、その領域同士で差分を取ることが望ましい。よって、例えば撮影時にカメラを固定せずに撮影した場合、主画像と比較画像［Ｉ］との位置を合わせる。この位置合わせ処理の例として、主画像と比較画像［Ｉ］の背景の位置を合わせるよう、画像間の全体的な動きベクトルを求め、求めた動きベクトルに従って比較画像［Ｉ］を変形させ、主画像と画角を合わせる。動きベクトルはブロックマッチング法など、公知の技術を用いれば求める事ができる。また、画像の変形はアフィン変換など、公知の技術を用いることにより実現可能である。ここでは説明を容易にするため、上記の複数の画像はすべてカメラを固定して撮影した動画像から切り出した画像とする。
【００４８】
Ｓ２０４では、主画像の全ての画素について、対応する比較画像［Ｉ］の画素との差分強度を計算する。差分強度（Ｄ（ｘ，ｙ））は下式のように、主画像の画素のＲ、Ｇ、Ｂ値（Ｒｍ（ｘ，ｙ），Ｇｍ（ｘ，ｙ）、Ｂｍ（ｘ，ｙ））と、比較画像［Ｉ］の画素のＲ、Ｇ、Ｂ値（Ｒｓ（ｘ，ｙ），Ｇｓ（ｘ，ｙ）、Ｂｓ（ｘ，ｙ））の色空間上の距離で求める。
Ｄ（ｘ，ｙ）＝√（Ｒｍ（ｘ，ｙ）−Ｒｓ（ｘ，ｙ））＾２＋（Ｇｍ（ｘ，ｙ）−Ｇｓ（ｘ，ｙ））＾２＋（Ｂｍ（ｘ，ｙ）−Ｂｓ（ｘ，ｙ））＾２
【００４９】
この差分強度Ｄ（ｘ，ｙ）は、主画像と比較画像とにおいて対応する画素の、主画像と比較画像とにおける差分を示す。ｘおよびｙは画像中の画素の座標を表し、また、＾はべき乗を示す。
【００５０】
なお、差分強度の他の例として、Ｒ、Ｇ、Ｂ値それぞれの差の絶対値の和を差分強度としても良いし、ＲＧＢ値をＣＩＥＬＡＢ等、他の色空間へ変換し、その色空間の距離を差分強度としても良い。
【００５１】
上記のように求めた差分強度（Ｄ（ｘ，ｙ））を、ＲＡＭ１０４に設けられたバッファである、差分強度画像領域へ代入する。また、この差分強度画像領域に格納される画像を、差分強度画像と呼ぶ。差分強度画像は主画像と同じ縦画素数、横画素数を持ち、差分強度画像領域の、各画素に対応する領域は、差分強度の最大値がオーバーフローせず格納できるサイズである。そして、Ｄ（ｘ，ｙ）を代入するときには、主画像と比較画像における全画素に対応する、Ｄ（ｘ，ｙ）を代入する。
【００５２】
主画像の全ての画素について、比較画像との差分強度を求めると、フローはＳ２０５へ進む。Ｓ２０５ではＳ２０４で求めた差分強度に基づいて重み付け加算処理を行う。
【００５３】
このとき、比較画像［Ｉ］の各画素について、重み付け加算処理を行うか決定する。この処理は、まず差分強度画像の各画素について閾値の判定を行い、差分強度が閾値を超える画素については重み付け加算を行い、閾値を超えない画素は、重み付け加算を行わない。これは、撮影時の明るさの微妙な変化やカメラのセンサーノイズなど、画像内のノイズの影響を受けないようにする工夫である。閾値は予め定めた数値でも良いし、二値化処理など、公知の技術で求めても良い。
【００５４】
差分強度が閾値を超えた画素について、比較画像［Ｉ］の画素値（Ｒｓ（ｘ，ｙ）、Ｇｓ（ｘ，ｙ）、Ｂｓ（ｘ，ｙ））に重みを乗算し、仮合成画像の同座標の画素（Ｒｔ（ｘ，ｙ）、Ｇｔ（ｘ，ｙ）、Ｂｔ（ｘ，ｙ））に加算する。重み（Ｗ（ｘ，ｙ））は差分強度の値とする。この重み付け加算を式で表すと下記のようになる。
Ｗ（ｘ，ｙ）＝Ｄ（ｘ，ｙ）
Ｒｔ（ｘ，ｙ）＝Ｒｔ（ｘ，ｙ）＋Ｒｓ（ｘ，ｙ）×Ｗ（ｘ，ｙ）
Ｇｔ（ｘ，ｙ）＝Ｇｔ（ｘ，ｙ）＋Ｇｓ（ｘ，ｙ）×Ｗ（ｘ，ｙ）
Ｂｔ（ｘ，ｙ）＝Ｂｔ（ｘ，ｙ）＋Ｂｓ（ｘ，ｙ）×Ｗ（ｘ，ｙ）
【００５５】
ここでは重み（Ｗ（ｘ，ｙ））は差分強度の値とする。そのため、主画像と比較画像とにおいて、内容が大きく異なる領域の画素の場合、差分が大きいため上記の重みが大きく、比買う画像の画素値が大きく反映される。なお、ここでは重み（Ｗ（ｘ，ｙ））は差分強度の値とするが、差分強度に係数を乗じた値や閾値と差分強度の最大値との間を０から２５５で正規化するなどしても良い。
【００５６】
また上記のように、差分強度画像の画素（ｘ，ｙ）が閾値を越えない場合、重み付け加算処理を行わないため、Ｗ（ｘ，ｙ）には０が代入される。
【００５７】
Ｓ２０５では合成枚数画像の更新も行う。この合成枚数画像は、仮合成画像における各画素の、合成が行われた比較画像の枚数を示す。即ち、仮合成画像における各画素の、比較画像との合成が行われた回数を示す。合成枚数画像はＲＡＭ１０４に設けられたバッファであり、主画像と同数の縦画素数、横画素数を持つ。また、合成枚数画像は予め０で初期化されている。差分強度画像の画素（ｘ，ｙ）が前記の閾値を超える場合のみ、合成枚数画像の同座標（Ｗｓ（ｘ，ｙ））へ１を加算して更新する（式参照）。
Ｗｓ（ｘ，ｙ）＝Ｗｓ（ｘ，ｙ）＋１
このような処理を全ての画素について行うことにより、仮合成される比較画像数を記憶することになる。
【００５８】
尚、Ｓ２０４で求めた差分強度を用いてＳ２０５において重み付け加算処理を行ったが、差分強度画像にぼかし処理を施した画像を用いてＳ２０５における仮画像処理を行っても良い。これは、合成した画像の境界に段差が発生し、違和感が生まれる事を防ぐためである。
【００５９】
Ｓ２０６はループの終端である。比較画像の全てに対してループ内の処理を終えていない場合はＳ２０４へ戻る。全ての比較画像についてループ内の処理を終えている場合はＳ２０７へ進む。
【００６０】
Ｓ２０７では加重平均処理を行う。処理は仮合成画像の画素値を重み合計画像の画素値で除算し、仮合成画像の画素値を置き換える（式参照）。尚、以下の式では「／」は除算を表す。
Ｒｔ（ｘ，ｙ）＝Ｒｔ（ｘ，ｙ）／Ｗｓ（ｘ，ｙ）
Ｇｔ（ｘ，ｙ）＝Ｇｔ（ｘ，ｙ）／Ｗｓ（ｘ，ｙ）
Ｂｔ（ｘ，ｙ）＝Ｂｔ（ｘ，ｙ）／Ｗｓ（ｘ，ｙ）
【００６１】
尚、加重平均処理後の画像を格納するバッファを別に設け、そこに結果を格納しても良い。Ｓ２０７の処理までで仮合成の処理が行われた事になる。これにより、各比較画像において主画像と同様の内容の領域については、重みが０になるため合成が行われず、主画像と異なる内容の領域については、その差分が大きいほど重みが大きくなり、合成が行われることになる。
【００６２】
上述したＳ２０１〜Ｓ２０７の処理により、仮合成画像領域において、主画像と、比較画像における、主画像との差分が閾値を越える領域の画像とが合成される。
【００６３】
尚、仮合成画像領域は、上記のように、主画像及び比較画像の画素値に、重みを乗算したものを、合成対象の画像数分格納するため、そのデータをオーバーフローせず格納できるサイズのメモリが必要である。
【００６４】
図５は、仮合成後の画像を示す図である。比較画像３０１から３０４のオブジェクトである自動車がそれぞれ合成されている。ここで、５０１の破線部には主画像のオブジェクトである自動車が存在しない。これは、図４の４０１から４０４に示すように主画像のオブジェクト領域（４０１１〜４０４１）に差分強度が存在するため、Ｓ２０５において３０１から３０４の非オブジェクト部（背景）が合成されているためである。仮にこの画像を出力結果とした場合、ユーザが３０５を、合成対象として選択しているのにも関わらず、３０５のオブジェクトである３０１５が存在しない結果となる。
【００６５】
図６は、上述した合成枚数画像を示す図である。この合成枚数画像は、仮合成画像の各画素に対して、合成される比較画像の枚数を示すデータとして、ＲＡＭ１０４に記憶しているものの、その画像は表示しなくてもよい。図６では、説明のために、合成枚数画像を可視化している。
【００６６】
図６の合成枚数画像における黒の領域は、全ての比較画像について、重み付け加算が行われなかった箇所であり、反対に白の領域は、全ての比較画像について重み付け加算が行われた箇所である。中間調（グレー）は、比較画像のうちのいくつかについて、重み付け加算した箇所であり、黒に近い程合成画像数が少なく、白に近い程合成画像数が多い。
【００６７】
６０１から６０４の領域はそれぞれ、比較画像３０１〜３０４のうちの１枚の画像に対して、内容が異なる領域である。そのため、６０１〜６０４の領域は、それぞれ１回ずつ重み付け加算が行われており、この領域はグレーを示す。
【００６８】
一方、６０５の領域は、比較画像３０１〜３０４の全てに対して、内容が異なる領域である。よって、比較画像の全てに対して、差分強度が閾値を超えており、比較画像の全てに対して重み付け加算が行われている。このように、比較画像の全てに対して重み付け加算が行われる領域は、比較画像の全てに対して大きな差分がある領域であるため、主画像のオブジェクトがある領域である確率が高い。特に、合成枚数画像における値が全比較画像の合計枚数に対応する領域があった場合、主画像におけるその領域の画像は、比較画像のいずれにも含まれていないと判断することができる。
【００６９】
そこで、図２のＳ２０８では、合成枚数画像の値に応じて主画像を合成する。即ち、仮合成画像において、合成枚数画像の値が高い領域は、図６に示す白の領域のように、主画像におけるオブジェクトに対応する領域であることが考えられる。そこで、仮合成画像における、合成枚数画像の値が大きな画素については、主画像の画素値を上書きすることで、主画像を合成する。言い換えれば、仮合成画像における、合成枚数画像の値が大きな領域を特定して、その領域に対応する主画像における領域を、合成対象の領域として決定する。そして、主画像における合成対象の領域の画像を、仮合成画像に合成する。
【００７０】
このように主画像を仮合成画像に合成するときには、主画像の合成の割合（Ｗｍ（ｘ，ｙ））を求め、その割合に従って合成を行う。この割合を求めるために、合成枚数画像を正規化する関数を用いる。
【００７１】
図７は、合成枚数と主画像の割合を示す図であり、正規化関数の特性の例をグラフ化している。グラフの横軸は関数の入力であり、合成枚数画像の画素値を表す。縦軸は関数の出力であり、主画像の合成の割合（Ｗｍ（ｘ，ｙ））の値（０〜２５５）を表す。関数は７０１のように合成枚数が１枚以下の場合は出力を０とし、合成枚数が１を超える場合に出力の値を持つ。図６においては、合成枚数が１である６０１から６０４の領域は出力が０となり、合成枚数が最大（比較画像数）である６０５の領域すなわち主画像のオブジェクト領域の出力は最大（２５５）となる。よって、６０１〜６０４の領域については、主画像の合成が行われないため、仮合成画像における、６０１〜６０４の領域のオブジェクトに影響は無い。
【００７２】
なお、関数の他の例として７０２や７０３のような入出力の関係にしてもよい。関数は数式によるものでも良いし、ルックアップテーブル（ＬＵＴ）を動的に作成、あるいは予め保持しておいて用いても良い。
【００７３】
尚、ガウシアンフィルタなど公知の手法を用いて合成枚数画像にぼけを生じさせ、それを関数の入力としても良い。これは、合成結果にノイズの影響や不自然な境界線を生じさせない技術である。合成枚数画像のぼけ画像作成には、小数点演算や正規化処理など、整数演算の精度以上の計算が必要である。
【００７４】
Ｓ２０８では、主画像の合成の比率に基づき、Ｓ２０７で加重平均後の仮合成画像と主画像を合成し、合成された画像（合成結果画像）を、ＲＡＭ１０４における合成結果画像領域へ格納する。合成結果画像領域はＲＡＭ１０４に設けられたバッファであり、主画像と同じ縦画素数、横画素数、チャンネル数を持つ画像である。合成結果画像の画素のＲ，Ｇ，Ｂの値をＲｒ（ｘ，ｙ）、Ｇｒ（ｘ，ｙ）、Ｂｒ（ｘ，ｙ）と表すと、下記の式に従って、合成結果画像を求める。
Ｒｒ（ｘ，ｙ）＝（Ｒｍ（ｘ，ｙ）×Ｗｍ（ｘ，ｙ）＋Ｒｔ（ｘ，ｙ）×（２５５−Ｗｍ（ｘ，ｙ）））／２５５
Ｇｒ（ｘ，ｙ）＝（Ｇｍ（ｘ，ｙ）×Ｗｍ（ｘ，ｙ）＋Ｇｔ（ｘ，ｙ）×（２５５−Ｗｍ（ｘ，ｙ）））／２５５
Ｂｒ（ｘ，ｙ）＝（Ｂｍ（ｘ，ｙ）×Ｗｍ（ｘ，ｙ）＋Ｂｔ（ｘ，ｙ）×（２５５−Ｗｍ（ｘ，ｙ）））／２５５
【００７５】
上記の式に従って、主画像の合成処理を、仮合成画像における全画素について行うと、仮合成画像における、比較画像の合成枚数が多い領域に、主画像が合成される。この合成処理の結果の画像を図８に示す。
【００７６】
この図８に示すように、図５において、Ｓ２０７における比較画像の合成により、仮合成画像から消えていた主画像のオブジェクトが、８０１のように結果画像では存在する。
【００７７】
次に、Ｓ２０９では、Ｓ２０８で得られた合成結果画像を出力する。出力の例として、例えば、表示制御部１０６により、表示装置１０７へ合成結果画像を表示する出力方法や、出力装置１１０へ合成結果画像を送信して、印刷用紙に印刷させる出力方法がある。他にも、合成結果画像を２次記憶装置（ＨＤＤ）１０５へファイルとして記憶してもよいし、不図示のネットワークを用いて、画像処理装置の外部へ合成結果画像を転送してもよい。
【００７８】
次に、合成対象の複数の画像として、図３で示した画像群とは別の画像群で、本実施例の合成処理を施した例を以下に説明する。図９はＳ２０１で取得した合成対象の複数の画像である。図３に示す複数のフレームに加え、動画像における、その複数のフレーム間のフレームも抽出したものである。
【００７９】
この図９に示す合成対象の複数の画像において、９０９が主画像、９０１から９０８が比較画像となる。図９に示す画像群を入力とし、Ｓ２０２からＳ２０７まで処理（つまり仮合成）を行った後の画像を図１２に示す。上記で図５の破線部５０１を例として示したのと同様に、破線部１２０９には主画像のオブジェクトである自動車が存在しない。これは、上述したとおり主画像のオブジェクト領域に主画像と比較画像との差分強度が存在し、Ｓ２０５の処理において比較画像の非オブジェクト部（背景）が合成されているためである。
【００８０】
Ｓ２０７までの処理で図１２の１２０９のように主画像のオブジェクトが一度消えてしまうが、その後、Ｓ２０８の処理を経る事で合成結果画像においては、そのオブジェクトが合成されている。
【００８１】
図１０は、このときの合成結果画像を示す図である。図１０の１００９のように、仮合成で消えたオブジェクトが、再度現れる。このように、本技術では処理の過程で消えてしまう主画像のオブジェクトを復活させる事ができる。
【００８２】
ここで、主画像のオブジェクトである１００９は、比較画像のオブジェクトである１００８などと比べて重なり部分の像がはっきり見える。これは、Ｓ２０８において合成枚数に基づいて、主画像のオブジェクトを後から合成するためである。これにより、主画像が比較的際立って見える。そして、図１０に示す例では、動画像における時間において、最後の画像（９０９）を主画像としているため、この９０９に含まれているオブジェクトがはっきりと確認できる。これにより、ユーザは、動画における時間において、最後のフレームに含まれるオブジェクトを適切に確認することができ、そのオブジェクトが、どのように移動してきたのか把握することができる。
【００８３】
また、このように、合成結果画像において、動画像における最後のフレームに含まれるオブジェクトをはっきりさせることの効果として、残像を表現するためのエフェクト効果がある。例えば、絵画やアニメ、コンピュータグラフィックスなどにおいて、時間的に最後のオブジェクトを比較的はっきりと表示し、それ以前のものはぼかしたり、像をはっきり描画しないことにより、オブジェクトが移動した軌跡や残像を表現することができる。
【００８４】
また、主画像の選択の他の例として、動画像における時間における最後の画像ではなく、最初の画像である９０１を主画像とした処理結果を図１１に示す。１１０１は主画像のオブジェクトであり、比較画像のオブジェクトに比べて重なり部分の像がはっきり見える。この場合、初めのフレームに含まれるオブジェクトを確認して、そのオブジェクトが、その後どのように動いたのか把握することができる。
【００８５】
このように、主画像を最後のフレームとするか、最後のフレームとするか、またはその他のフレームにするかについては、上述のように、ユーザの指示に応じて決定することができる。しかしこれに限らず、主画像をどのフレームにするか自動的に選択してもよい。例えば、複数のフレームにおけるオブジェクトの動きを判定して、その動きに応じて主画像を決定してもよい。
【００８６】
例えば、フレームを抽出する動画像が、撮影装置に近づいてくるオブジェクトを撮影したものであるとする。このとき、この動画像から抽出されたフレームのうち、最後のフレームにおいて、オブジェクトが最も大きく出力される。そこで、最後のフレームを主画像として本実施例の合成処理を実行すると、最後のフレームのオブジェクトが最も大きく、またはっきりと出力される。これにより、ユーザは、フレームに含まれるオブジェクトを明確に認識した上で、そのオブジェクトがどのように移動してきたのか把握することができる。
【００８７】
また、逆に、動画像が、撮影装置から遠ざかるオブジェクトを撮影したものである場合には、最初のフレームを主画像として本実施例の合成処理を実行すると、最初のフレームのオブジェクトが最も大きく、またはっきりと出力される。これにより、ユーザは、フレームに含まれるオブジェクトを明確に認識した上で、そのオブジェクトがどのように移動していったのか把握することができる。
【００８８】
なお、動画像に含まれるオブジェクトが、撮影装置に近づいてきたものか、または遠ざかったものであるかについては、フレームを解析することにより判定することができる。例えば、複数フレームのそれぞれに含まれるオブジェクト領域を判定し、その領域が徐々に大きくなっていた場合には、オブジェクトが近づいたものと判定することができる。
【００８９】
また、オブジェクトにおける複数点の動きベクトルによっても、上記の判定を行うことができる。即ち、オブジェクトにおける複数点のそれぞれに対応する複数の動きベクトルが収束していた場合、そのオブジェクトが遠ざかったものと判定することができる。また逆に、複数の動きベクトルが拡散していた場合、オブジェクトが近づいたものと判定することができる。特に、動画像データがＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などのフォーマットであった場合、複数フレームにおける動きベクトルを利用してデータ圧縮を行っているため、この動きベクトルを用いて上記の判定を行うこともできる。
【００９０】
以上の実施例によれば、図２のＳ２０２〜Ｓ２０７において、比較画像のそれぞれと、主画像との差分を取得して、各比較画像における、主画像との差分が大きな領域の画像を、主画像に合成する。そして、図２のＳ２０８において、その合成が行われた比較画像の枚数が大きな領域に主画像を合成する。
【００９１】
これにより、Ｓ２０２〜Ｓ２０７の合成処理により得られた仮合成画像において、主画像から消えてしまったオブジェクトを、仮合成画像に合成することができる。よって、ユーザにより選択された合成対象の画像（主画像と比較画像）におけるオブジェクトを適切に合成することができる。
【００９２】
また、上記のように、本実施例では、合成対象の複数の画像のうちの１枚の主画像に、合成対象の画像のうちの、主画像以外の比較画像を合成している。そのため、当該合成対象の複数の画像において移動しているオブジェクトを含まない背景画像を改めて作成しなくても、適切な合成を行うことができる。
【００９３】
従って、複数の画像に含まれるオブジェクトを１つの画像に合成するときに、簡単な処理で適切に合成することができる。
【００９４】
なお、上記の実施例の説明で、合成枚数画像を作成するために、全ての比較画像に対して、主画像との合成を行ったか確認したが、処理速度向上のために、このような確認を、一部の比較画像に対して実行してもよい。その際は図７に示すグラフの横軸のＭＡＸを比較画像数ではなく、合成枚数画像を作成した比較画像の数にする必要がある。
【００９５】
また、上記の実施例の説明ではＳ２０４で、比較画像の全画素に対して差分強度を算出した後に、Ｓ２０５において、画像毎の重み付け加算処理および合成枚数画像の更新を行った。しかし、双方の工程を結合し、Ｓ２０４とＳ２０５の処理を、画素単位に順次行っても良い。つまり１つの画素について、差分強度の算出、重み付け加算処理、合成枚数画像の更新を行い、１つの画素の処理が終了すれば次の画素の処理へ移るという画素単位の処理をしても良い。
【００９６】
なお、以上の実施例では、合成枚数画像を作成し、それにより主画像のオブジェクトの領域を合成対象として特定したが、主画像のオブジェクトの領域の算出は他の方法を用いても良い。例えば、比較画像から主画像への動きベクトルを求め、動きベクトルが示した先が主画像のオブジェクト領域であると判断する方法などがある。また、複数画像が動きベクトルを含む圧縮を施したフォーマットの動画像から切り出したものであれば、該動きベクトルを利用しても良い。そして、主画像において、動きベクトルにより特定されたオブジェクトの領域の画像を、仮合成画像に合成する。
【００９７】
この場合、主画像に合成された比較画像の数が所定の閾値を越える場合に、動きベクトルにより特定された、主画像における合成対象の領域を、仮合成画像に合成するようにしてもよい。
【００９８】
（他の実施形態）
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記録媒体に記憶させ、該記録媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。
【００９９】
該記録媒体は、コンピュータ読み取り可能な記録媒体である。また、前述のプログラムが記憶された記録媒体はもちろんそのプログラム自体も上述の実施形態に含まれる。かかる記録媒体としてはたとえばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。
【０１００】
また前述の記録媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウエア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
【０１０１】
また本発明は、１つのプロセッサがプログラムを実行する場合に限らず、複数のプロセッサが協働することによっても実現できるものである。
【符号の説明】
【０１０２】
１０１ ＣＰＵ
１０２ ブリッジ部
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ ２次記憶装置
【特許請求の範囲】
【請求項１】
複数の画像に含まれているオブジェクトを１つの画像に合成するための画像処理装置であって、
合成対象の複数の画像を取得する取得手段と、
前記取得手段により取得された合成対象の複数の画像のうちの第１の画像と、当該複数の画像のうちの第２の画像とに基づき、当該第２の画像における、当該第１の画像に対する差分を有する差分領域を特定する特定手段と、
前記第２の画像における、前記特定手段により特定された差分領域の画像を、前記第１の画像に合成する第１の合成手段と、
前記第１の画像における前記第２の画像に対する差分を有する差分領域を、当該第１の画像と当該第２の画像とに含まれているオブジェクトに対応する合成対象の領域として決定する決定手段と、
前記決定手段により決定された前記第１の画像における合成対象の領域の画像を、前記第１の合成手段による合成で得られた合成画像に、さらに合成する第２の合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記第１の合成手段により前記第１の画像に合成が行われた前記第２の画像の数に基づき、当該第１の画像における前記合成対象の領域を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の合成手段は、前記第１の合成手段により前記第１の画像に合成が行われた前記第２の画像の数に基づく重みで、当該第１の画像における前記合成対象の領域の画像に重み付けを行い、重み付けされた当該合成対象の領域の画像を、前記合成画像にさらに合成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特定手段は、前記第２の画像において、前記第１の画像との差分を差分値が所定の閾値を越える領域を、差分領域として特定し、
前記第１の合成手段は、前記第２の画像における前記差分領域の画像を、前記第１の画像に合成し、前記第２の画像における前記差分領域ではない領域の画像は、前記第１の画像に合成しないことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
複数の画像に含まれているオブジェクトを１つの画像に合成するための画像処理方法であって、
合成対象の複数の画像を取得する取得工程と、
前記取得工程において取得された合成対象の複数の画像のうちの第１の画像と、当該複数の画像のうちの第２の画像とに基づき、当該第２の画像における、当該第１の画像に対する差分を有する差分領域を特定する特定工程と、
前記第２の画像における、前記特定工程において特定された差分領域の画像を、前記第１の画像に合成する第１の合成工程と、
前記第１の画像における前記第２の画像に対する差分を有する差分領域を、当該第１の画像と当該第２の画像とに含まれているオブジェクトに対応する合成対象の領域として決定する決定工程と、
前記決定工程において決定された前記第１の画像における合成対象の領域の画像を、前記第１の合成工程における合成で得られた合成画像に、さらに合成する第２の合成工程と、
を有することを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
複数の画像に含まれているオブジェクトを１つの画像に合成するための画像処理装置であって、
合成対象の複数の画像を取得する取得手段と、
前記取得手段により取得された合成対象の複数の画像のうちの第１の画像と、当該複数の画像のうちの第２の画像とに基づき、当該第２の画像における、当該第１の画像に対する差分を有する差分領域を特定する特定手段と、
前記第２の画像における、前記特定手段により特定された差分領域の画像を、前記第１の画像に合成する第１の合成手段と、
前記第１の画像における前記第２の画像に対する差分を有する差分領域を、当該第１の画像と当該第２の画像とに含まれているオブジェクトに対応する合成対象の領域として決定する決定手段と、
前記決定手段により決定された前記第１の画像における合成対象の領域の画像を、前記第１の合成手段による合成で得られた合成画像に、さらに合成する第２の合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記第１の合成手段により前記第１の画像に合成が行われた前記第２の画像の数に基づき、当該第１の画像における前記合成対象の領域を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の合成手段は、前記第１の合成手段により前記第１の画像に合成が行われた前記第２の画像の数に基づく重みで、当該第１の画像における前記合成対象の領域の画像に重み付けを行い、重み付けされた当該合成対象の領域の画像を、前記合成画像にさらに合成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特定手段は、前記第２の画像において、前記第１の画像との差分を差分値が所定の閾値を越える領域を、差分領域として特定し、
前記第１の合成手段は、前記第２の画像における前記差分領域の画像を、前記第１の画像に合成し、前記第２の画像における前記差分領域ではない領域の画像は、前記第１の画像に合成しないことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
複数の画像に含まれているオブジェクトを１つの画像に合成するための画像処理方法であって、
合成対象の複数の画像を取得する取得工程と、
前記取得工程において取得された合成対象の複数の画像のうちの第１の画像と、当該複数の画像のうちの第２の画像とに基づき、当該第２の画像における、当該第１の画像に対する差分を有する差分領域を特定する特定工程と、
前記第２の画像における、前記特定工程において特定された差分領域の画像を、前記第１の画像に合成する第１の合成工程と、
前記第１の画像における前記第２の画像に対する差分を有する差分領域を、当該第１の画像と当該第２の画像とに含まれているオブジェクトに対応する合成対象の領域として決定する決定工程と、
前記決定工程において決定された前記第１の画像における合成対象の領域の画像を、前記第１の合成工程における合成で得られた合成画像に、さらに合成する第２の合成工程と、
を有することを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−２６９３３（Ｐ２０１３−２６９３３Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１６１４３５（Ｐ２０１１−１６１４３５）
【出願日】平成２３年７月２３日（２０１１．７．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２３日（２０１１．７．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]