画像処理装置、画像処理方法、コンピュータプログラム
【課題】 動画像から切り出した複数のフレーム静止画像を重ね合わせて一枚の静止画像を構成する際、フレームの中央は明るいが端に行くにつれ暗くなるといった画像内の明るさムラの影響で、構成後の静止画像の画質が低下してしまうこと。
【解決手段】 各フレーム静止画像内の注目画素から基準画素までの距離を計算し、それに応じて重ね合わせに用いるフレーム静止画像を、重ね合わせ平面上の画素ごとに切り替えて構成を行う。これによって、明るさムラの影響を受けにくいように各フレーム静止画像を重ね合わせることができ、構成後の静止画像の画質の低下を抑えることが可能になる。
【解決手段】 各フレーム静止画像内の注目画素から基準画素までの距離を計算し、それに応じて重ね合わせに用いるフレーム静止画像を、重ね合わせ平面上の画素ごとに切り替えて構成を行う。これによって、明るさムラの影響を受けにくいように各フレーム静止画像を重ね合わせることができ、構成後の静止画像の画質の低下を抑えることが可能になる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から切り出した各フレーム静止画像を重ね合わせることで、一枚の大きな静止画像（モザイク画像）を構成する画像処理装置、画像処理方法、コンピュータプログラム、及び、そのプログラムを記憶したコンピュータ読出可能な記憶媒体に関するものである。
【背景技術】
【０００２】
近年、互いに重複領域を含んでいる複数枚の静止画像から一枚の大きな静止画を構成する、モザイキング技術に関する研究が行われている。これは、各静止画像内の対応する点や領域を推定し、それをもとに画像を重ね合わせることで一枚の静止画像を構成する技術である。この技術は、現在デジタルカメラのパノラマ画像合成技術等に応用されている。
【０００３】
対象を動画像で撮影しそこから切り出した各フレーム静止画像をもとにモザイキングを行う技術に関しては、特にビデオモザイキング技術と呼ばれている。この技術を利用すれば、動画撮影機能付きの撮影装置を少しずつ移動させながら対象を撮影し、各フレーム静止画像を切り出すことで、それらから対象全体を含む一枚の静止画像を構成することができる。
【０００４】
ビデオモザイキングを行う際には、各フレーム静止画像の重複領域において、画像の重ね合わせ方によって最終的に得られる構成後の静止画像の画質が変化するといった問題がある。
【０００５】
その問題に対して、特許文献１による手法では、フレーム静止画像ごとに重ね合わせの際の優先度を設定し、重複領域に関してはその中で最も優先度の高いフレーム静止画像の画素値を利用して構成を行っている。優先度を決定する際には、各フレーム静止画像全体の相対的な移動量、または画像内に存在する物体の移動量に注目し、移動量が少ないほど優先度が高くなるようにしている。それにより、動きブレの少ない画像を優先的に用いることができ、構成後の静止画像の画質を向上させることが可能になる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2005-309921号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
動画像から切り出した複数のフレーム静止画像を重ね合わせて一枚の静止画像を構成する際、フレームの中央は明るいが端に行くにつれ暗くなるといった画像内の明るさムラの影響で、構成後の静止画像の画質が低下してしまうという課題がある。
【０００８】
本発明では、モザイキング処理を行う際に明るさムラの影響を受けにくいような手法で各フレーム静止画像を重ね合わせることで、構成後の静止画像の画質低下を抑えることを目的とする。
【課題を解決するための手段】
【０００９】
撮影された動画像からフレームごとに切り出した複数のフレーム静止画像を１枚の静止画像として構成する画像処理装置であって、
フレーム静止画像内の注目画素から基準画素までの距離を計算する距離計算手段（４０１）と、上記注目画素を重ね合わせ平面上に投影する投影手段（４０２）と、投影後の注目画素と対応する重ね合わせ平面上の画素について、上記注目画素の値で画素値の更新を行うか否かを、上記距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値をもとに判定する画素値更新判定手段（４０３）と、投影後の上記注目画素と対応する重ね合わせ平面上の画素について、上記注目画素の値で画素値の更新を行う画素値更新手段（４０４）と、上記注目画素について、距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値を記憶する距離記憶手段（４０５）と
を有する画像処理装置。
【発明の効果】
【００１０】
本発明によれば、各フレーム静止画像に対して、明るさムラの影響を受けにくいように重ね合わせを行うことができ、構成後の静止画像の画質低下を抑えることが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る画像処理システムを示すブロック図
【図２】モザイキング処理部１０８が行う処理の概要を示す図
【図３】モザイキング処理部１０８を示すブロック図
【図４】画像重ね合わせ部３０５を示すブロック図
【図５】実施例１におけるシステムで実行する処理全体のフローチャート
【図６】実施例１における特徴点抽出の例を示す図
【図７】実施例１における投影パラメータの計算式を示す図
【図８】実施例１におけるアフィン変換の式を示す図
【図９】実施例１における画像重ね合わせを示す図
【図１０】実施例１における画像重ね合わせ部の処理全体のフローチャート
【図１１】実施例１における注目画素から基準画素までの距離を示す図
【図１２】実施例１における投影後の注目画素と対応する重ね合わせ平面上の画素を示す図
【図１３】実施例１におけるフレーム静止画像内の明るさムラを示す図
【図１４】実施例１における明るさムラの生じているフレーム静止画像を重ね合わせた例を示す図
【図１５】実施例１における本提案重ね合わせ法を示す図
【図１６】実施例２における画像重ね合わせ部の処理全体のフローチャート
【発明を実施するための形態】
【００１２】
［実施例１］
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【００１３】
図１は本発明に係る画像処理システムを示すブロック図である。
【００１４】
図１中、画像撮影装置１００は、動画入力部１０１と、表示部１０２と、操作部１０３と、ＣＰＵ１０４と、補助記憶装置１０５と、ＲＡＭ１０６と、ＲＯＭ１０７と、モザイキング処理部１０８とを有する。
【００１５】
以下、それぞれの構成要素について説明する。
【００１６】
動画入力部１０１は、レンズ、ＣＣＤなどのイメージセンサ、A/D変換器等を備えており、撮影によって取得した被写体の映像をデジタル形式の動画像データへ変換する。
【００１７】
表示部１０２は、ユーザーに対し通知すべき情報を表示する。
【００１８】
操作部１０３は、ユーザーによる操作を受け付ける。
【００１９】
ＣＰＵ１０４は、操作部１０３からユーザーが入力した情報、補助記憶装置１０５あるいはＲＯＭ１０７に記憶されたプログラム等に基づいて、システム全体の制御を行う。
【００２０】
補助記憶装置１０５は、システム制御ソフトフェア、動画入力部１０１によって生成された動画像データを格納する。
【００２１】
ＲＡＭ１０６は、ＣＰＵ１０４が動作するためのシステムワークメモリであり、動画像データを一時記憶するための画像メモリでもある。
【００２２】
ＲＯＭ１０７はブートＲＯＭであり、システムのブートプログラム等のプログラムが格納されている。
【００２３】
モザイキング処理部１０８は、図２に示すように、入力された動画像からフレーム静止画像を切り出し、そこから画像撮影装置の動きを推定した後、重ね合わせ平面上に投影することで一枚の大きな静止画像を構成する。
【００２４】
モザイキング処理部１０８は、図３に示すように、フレーム切り出し部３０１、特徴点抽出部３０２、特徴点追跡部３０３、投影パラメータ推定部３０４、画像重ね合わせ部３０５から構成される。モザイキング処理部１０８は、動画入力部１０１が生成した、または補助記憶装置１０５に保存されている動画像３００が入力されると、各処理部３０１〜３０５で処理を行い、構成後静止画像３１０を生成して出力する。
【００２５】
フレーム切り出し部３０１は、動画像３００からフレーム静止画像を一枚ずつ切り出す。
【００２６】
特徴点抽出部３０２は、現在のフレーム静止画像から、その点周りで輝度勾配が大きく、フレーム間で追跡を行いやすい特徴点を抽出する。
【００２７】
特徴点追跡部３０３は、１つ前のフレーム静止画像において特徴点抽出部３０２によって抽出された特徴点を、１つ前のフレーム、現在のフレーム静止画像間で追跡する。
【００２８】
投影パラメータ推定部３０４は、特徴点追跡部３０３による特徴点の追跡結果をもとに、現在のフレーム静止画像を重ね合わせ平面上に投影する際に用いる投影パラメータを計算する。ここでは、特徴点の追跡結果より、１つ前のフレーム、現在のフレーム間での画像撮影装置の動きを推定することによって投影パラメータの計算を行う。
【００２９】
画像重ね合わせ部３０５は、現在のフレーム静止画像を、投影パラメータ推定部３０４が推定した投影パラメータを用いて、重ね合わせ平面上に投影し、平面上にすでに存在する画像と重ね合わせる。
【００３０】
なお、モザイキング処理の詳細および、フレーム切り出し部３０１〜画像重ね合わせ部３０５の各部分の動作については、後述で実際に処理を行う例を扱うので、その中で再度取り上げられ、より詳細に説明されることとなる。
【００３１】
画像重ね合わせ部３０５は、図４に示すように、距離計算部４０１、投影部４０２、画素値更新判定部４０３、画素値設定部４０４、距離記憶部４０５、画素値記憶部４０６から構成される。画像重ね合わせ部３０５は、フレーム切り出し部３０１が生成したフレーム静止画像４００、投影パラメータ推定部３０４が生成した投影パラメータ４１０が入力されると、各処理部４０１〜４０６で処理を行い、構成後静止画像３１０を生成して出力する。
【００３２】
距離計算部４０１は、フレーム静止画像内の注目画素から基準画素までの距離を計算する。
【００３３】
投影部４０２は、フレーム静止画像内の注目画素を、投影パラメータ推定部３０３が推定した投影パラメータを用いて重ね合わせ平面上に投影する。
【００３４】
画素値更新判定部４０３は、投影後のフレーム静止画像内の注目画素と対応する重ね合わせ平面上の画素について、注目画素の値で画素値の更新を行うか否かを判定する。
【００３５】
画素値設定部４０４は、投影後のフレーム静止画像内の注目画素と対応する重ね合わせ平面上の画素について、注目画素の値で画素値を設定する。
【００３６】
距離記憶部４０５は、距離計算部４０１によって計算された画像内の基準画素から注目画素までの距離の値を記憶する。
【００３７】
画素値記憶部４０６は、注目画素の画素値を記憶する。
【００３８】
なお、距離計算部４０１〜画素値記憶部４０６の各部分の動作については、後述で実際に処理を行う例を扱うので、その中で再度取り上げられ、より詳細に説明されることとなる。
【００３９】
次に、モザイキング処理部１０８に動画像３００が入力されてから、モザイキング処理が終わり、構成後静止画像３１０が生成されるまでの間、システムで実行する処理全体際のフローチャートを図５に示す。
【００４０】
なお、本実施形態では、ＣＰＵ１０４が補助記憶装置１０５（コンピュータ読取可能な記憶媒体）に格納されたコンピュータプログラムを読み取り実行することによって、モザイキング処理部１０８（図３の各処理部３０１〜３０５、および図４の各処理部４０１〜４０６）として機能するものとするが、これに限るものではない。
【００４１】
例えば、モザイキング処理部１０８（図３の各処理部３０１〜３０５、および図４の各処理部４０１〜４０６）を、電子回路等のハードウェアで実現するように構成してもよい。
【００４２】
図５のステップＳ５０１において、フレーム切り出し部４０１は、動画像３００からフレーム静止画像を一枚ずつ切り出す。
【００４３】
ステップＳ５０２において、特徴点抽出部４０２は、フレーム静止画像から特徴点を抽出する。本実施例では、特徴点の抽出を行う際に、Harrisオペレータと呼ばれる、その点周りにおいて２つの直行する方向で輝度勾配が大きくなっている点を抽出する手法を用いた。例として、図６のような画像についてHarrisオペレータを用いると、図に示されるような特徴点が抽出される。この時、抽出する点の総数Ｎは自由に設定でき、本実施例ではＮ＝２００とする。なお他にも、ＳＩＦＴ等、特徴点の抽出が行えるものであれば何を用いてもよいものとする。
【００４４】
ステップ５０３において、特徴点追跡部４０３は、１つ前のフレームで特徴点抽出部４０２によって抽出された特徴点を、１つ前のフレーム、現在のフレーム静止画像間で追跡する。本実施例では、ＬＫ法と呼ばれる特徴点追跡アルゴリズムを用いたが、ブロックマッチング法等特徴点の追跡が行えるものであれば、何を用いても良いとする。他にも、両方のフレームそれぞれで特徴点を抽出し、点周りの輝度分布等より対応する点をマッチングすることを特徴点追跡の代用としても良い。
【００４５】
ステップＳ５０４において、投影パラメータ推定部４０４は、ステップＳ５０３における特徴点の追跡結果をもとに、現在のフレーム静止画像を重ね合わせ平面上に投影する際に用いる投影パラメータを計算する。図７のように、１つ前のフレームで抽出した特徴点の、現フレームにおける追跡先の座標と重ね合わせ平面上における座標から投影パラメータを計算する。本実施例では、投影の種類として図８の式で表現されるアフィン変換を仮定した。この場合、３つの特徴点の現フレーム、重ね合わせ平面上の座標をもとにパラメータの計算を行う。なお、この時選択する３つの特徴点を何パターンか変えて、投票アルゴリズム等を用いて、すべての特徴点の動きを最もよく表現できるパラメータを探し出しても良いとする。また、投影の種類として透視変換等他のモデルを採用しても良いものとする。
【００４６】
ステップＳ５０５において、画像重ね合わせ部４０６は、現在のフレーム静止画像を、ステップＳ５０４で推定した投影パラメータを用いて、重ね合わせ平面上に投影し、平面上にすでに存在する画像と重ね合わせる。その結果、図９のように重ね合わせ平面上の画像を更新することができる。
【００４７】
全てのフレームを処理していれば、処理を終了する。未処理のフレームがあればステップＳ５０１から繰り返す。
【００４８】
以上で、図５の説明を終了する。
【００４９】
次に、図５中のステップＳ５０５の処理の詳細について、図１０のフローチャートを用いて説明する。
【００５０】
なお、これ以降の処理は現在のフレーム静止画像内の画素ごとに全画素分行うものとし、ここでは、ある注目画素についての処理について説明する。
【００５１】
図１０のステップＳ１００１において、距離計算部４０１は、注目画素から基準画素までの距離を計算する。ここでの距離とは、図１１に示すように、画像内で何画素分離れているかを表す値であり、単位はピクセルである。なお、本実施例では基準画素を画像の中心としているが、任意の画素を選んで良いものとする。
【００５２】
ステップＳ１００２において、投影部４０２は、ステップＳ５０４で推定した投影パラメータを用いて、注目画素を重ね合わせ平面上に投影する。
【００５３】
ステップＳ１００３において、画素値更新判定部４０３は、図１２に示すような投影後の注目画素と対応する重ね合わせ平面上の画素について、注目画素の値で画素値を更新するか否かを判定する。判定は、ステップＳ１００１で計算された注目画素から基準画素までの距離に注目し、その値と後述するステップＳ１００５で距離記憶部４０５に記憶されている値とを比較することで行う。注目画素における距離の値の方が小さいと判定された場合はステップＳ１００４へ、大きいと判定された場合はステップＳ１００５の終了時点へ進む。図１２の例においては、画素値記憶部４０５に記憶されているのは、図内の過去フレームＡにおける距離であり、注目画素における距離の値の方が小さいため、ステップステップＳ１００４へ進む。
【００５４】
ステップＳ１００４において、画素値設定部４０４は、投影後の注目画素と対応する重ね合わせ平面上の画素について、注目画素の値で画素値の更新を行う。
【００５５】
ステップＳ１００５において、距離記憶部４０５は、ステップＳ１００１で計算された注目画素から基準画素までの距離の値を記憶する。
【００５６】
全画素処理をしていれば処理を終了する。未処理の画素があればステップＳ１００１から繰り返す。
【００５７】
以上で、図１０の説明を終了する。
【００５８】
ここからは、上記の手法で重ね合わせ処理を行うことで得られる効果について説明する。
【００５９】
モザイキング処理を行う際の課題として、各フレーム静止画像について、図１３に示すようにフレームの中央は明るいが端に行くにつれ暗くなる明るさムラが生じると、構成後の静止画像にも明るさムラが生じ、画質が低下してしまうというものがある。
【００６０】
明るさムラの生じているフレーム静止画像を重ね合わせた時の例を図１４に示す。ここでは、２枚のフレーム静止画像の重複領域について、どちらかの画像の画素値を優先して用いる例を示しているが、両方の画素値を平均化した場合でも、やはり明るさムラの影響を受けてしまう。
【００６１】
本提案手法で重ね合わせ処理を行うと、図１５に示すように、重ね合わせ平面上の各画素について、その画素が最もフレームの中央に近い場所に位置しているフレーム静止画像を画素ごとに選択し、そのフレーム静止画像の値で画素値を設定することが可能になる。
【００６２】
こうすることで、フレーム静止画像内の明るさムラの影響、および構成後の静止画像の画質の低下を抑えることが可能になる。
【００６３】
［実施例２］
実施例１では、明るさムラの影響を受けにくいように各フレーム静止画像を重ね合わせることで、構成後の静止画像の画質の低下を抑える効果が得られた。
【００６４】
しかし、構成に用いたフレーム静止画像にノイズが乗った場合、一画素に対して一枚のフレーム静止画像のみを用いて画素値の設定を行っているため、その影響を受けやすいという課題がある。実施例２では、その課題を解決するための処理を行う。
【００６５】
初めに、本実施例の概要を説明する。本実施例においては、重ね合わせ平面上の各画素について、注目画素から基準画素までの距離の値が小さい複数枚のフレーム静止画像を用いて画素値の設定を行う。
【００６６】
以下に、処理の流れについて図１６を使って説明する。なお、実施例１との重複部分に関しては説明を省略する。
【００６７】
図１６のステップＳ１６０３において、画素値更新判定部４０３は、図１２に示すような重ね合わせ平面上における投影後の注目画素と対応する画素について、注目画素の値を用いて画素値を更新するか否かを判定する。判定は、ステップＳ１６０１で計算された注目画素から基準画素までの距離に注目し、その値と後述するステップＳ１６０５で画素値記憶部４０５に記憶されているフレーム静止画像Ｎ枚分の距離の、下位Ｎ番目の値とを比較することで行う。注目画素における距離の値の方が小さいと判定された場合はステップＳ１６０４へ、大きいと判定された場合はステップＳ１６０５の終了時点へ進む。なお、Ｎの値は任意の値を用いて構わない。
【００６８】
ステップＳ１６０４において、画素値設定部４０３は、画素値記憶部４０５に記憶されている下位Ｎ−１番目までの距離に対応するフレーム静止画像と、現フレーム静止画像の注目画素の画素値を用いて、重ね合わせ平面上における画素値を更新する。この時、更新値は、Ｎ枚分の画素値の単純平均値としても良いし、距離をもとにした重み付け平均値としても良いものとする。
【００６９】
ステップＳ１６０５において、距離記憶部４０５は、ステップＳ１６０４で画素値を更新する際に利用した、Ｎ枚のフレーム静止画像について、ステップＳ１６０１で計算された注目画素から基準画素までの距離の値を記憶する。
【００７０】
ステップＳ１６０６において、画素値記憶部４０６は、ステップＳ１６０４で画素値の更新を行う際に用いたＮ枚のフレーム静止画像について、画素値の値を記憶する。この時、各画素値はステップＳ１６０５で記憶した距離の値と対応させて記憶させておく。
【００７１】
以上で、図１６の説明を終了する。
【００７２】
以上のように、注目画素から基準画素までの距離の値が小さい複数枚のフレーム静止画像を用いて画素値の設定を行うことで、フレーム静止画像に乗ったノイズの影響を抑制することが可能になる。
【符号の説明】
【００７３】
１００ 画像撮影装置
１０１ 動画入力部
１０２ 表示部
【技術分野】
【０００１】
本発明は、動画像から切り出した各フレーム静止画像を重ね合わせることで、一枚の大きな静止画像（モザイク画像）を構成する画像処理装置、画像処理方法、コンピュータプログラム、及び、そのプログラムを記憶したコンピュータ読出可能な記憶媒体に関するものである。
【背景技術】
【０００２】
近年、互いに重複領域を含んでいる複数枚の静止画像から一枚の大きな静止画を構成する、モザイキング技術に関する研究が行われている。これは、各静止画像内の対応する点や領域を推定し、それをもとに画像を重ね合わせることで一枚の静止画像を構成する技術である。この技術は、現在デジタルカメラのパノラマ画像合成技術等に応用されている。
【０００３】
対象を動画像で撮影しそこから切り出した各フレーム静止画像をもとにモザイキングを行う技術に関しては、特にビデオモザイキング技術と呼ばれている。この技術を利用すれば、動画撮影機能付きの撮影装置を少しずつ移動させながら対象を撮影し、各フレーム静止画像を切り出すことで、それらから対象全体を含む一枚の静止画像を構成することができる。
【０００４】
ビデオモザイキングを行う際には、各フレーム静止画像の重複領域において、画像の重ね合わせ方によって最終的に得られる構成後の静止画像の画質が変化するといった問題がある。
【０００５】
その問題に対して、特許文献１による手法では、フレーム静止画像ごとに重ね合わせの際の優先度を設定し、重複領域に関してはその中で最も優先度の高いフレーム静止画像の画素値を利用して構成を行っている。優先度を決定する際には、各フレーム静止画像全体の相対的な移動量、または画像内に存在する物体の移動量に注目し、移動量が少ないほど優先度が高くなるようにしている。それにより、動きブレの少ない画像を優先的に用いることができ、構成後の静止画像の画質を向上させることが可能になる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2005-309921号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
動画像から切り出した複数のフレーム静止画像を重ね合わせて一枚の静止画像を構成する際、フレームの中央は明るいが端に行くにつれ暗くなるといった画像内の明るさムラの影響で、構成後の静止画像の画質が低下してしまうという課題がある。
【０００８】
本発明では、モザイキング処理を行う際に明るさムラの影響を受けにくいような手法で各フレーム静止画像を重ね合わせることで、構成後の静止画像の画質低下を抑えることを目的とする。
【課題を解決するための手段】
【０００９】
撮影された動画像からフレームごとに切り出した複数のフレーム静止画像を１枚の静止画像として構成する画像処理装置であって、
フレーム静止画像内の注目画素から基準画素までの距離を計算する距離計算手段（４０１）と、上記注目画素を重ね合わせ平面上に投影する投影手段（４０２）と、投影後の注目画素と対応する重ね合わせ平面上の画素について、上記注目画素の値で画素値の更新を行うか否かを、上記距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値をもとに判定する画素値更新判定手段（４０３）と、投影後の上記注目画素と対応する重ね合わせ平面上の画素について、上記注目画素の値で画素値の更新を行う画素値更新手段（４０４）と、上記注目画素について、距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値を記憶する距離記憶手段（４０５）と
を有する画像処理装置。
【発明の効果】
【００１０】
本発明によれば、各フレーム静止画像に対して、明るさムラの影響を受けにくいように重ね合わせを行うことができ、構成後の静止画像の画質低下を抑えることが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る画像処理システムを示すブロック図
【図２】モザイキング処理部１０８が行う処理の概要を示す図
【図３】モザイキング処理部１０８を示すブロック図
【図４】画像重ね合わせ部３０５を示すブロック図
【図５】実施例１におけるシステムで実行する処理全体のフローチャート
【図６】実施例１における特徴点抽出の例を示す図
【図７】実施例１における投影パラメータの計算式を示す図
【図８】実施例１におけるアフィン変換の式を示す図
【図９】実施例１における画像重ね合わせを示す図
【図１０】実施例１における画像重ね合わせ部の処理全体のフローチャート
【図１１】実施例１における注目画素から基準画素までの距離を示す図
【図１２】実施例１における投影後の注目画素と対応する重ね合わせ平面上の画素を示す図
【図１３】実施例１におけるフレーム静止画像内の明るさムラを示す図
【図１４】実施例１における明るさムラの生じているフレーム静止画像を重ね合わせた例を示す図
【図１５】実施例１における本提案重ね合わせ法を示す図
【図１６】実施例２における画像重ね合わせ部の処理全体のフローチャート
【発明を実施するための形態】
【００１２】
［実施例１］
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【００１３】
図１は本発明に係る画像処理システムを示すブロック図である。
【００１４】
図１中、画像撮影装置１００は、動画入力部１０１と、表示部１０２と、操作部１０３と、ＣＰＵ１０４と、補助記憶装置１０５と、ＲＡＭ１０６と、ＲＯＭ１０７と、モザイキング処理部１０８とを有する。
【００１５】
以下、それぞれの構成要素について説明する。
【００１６】
動画入力部１０１は、レンズ、ＣＣＤなどのイメージセンサ、A/D変換器等を備えており、撮影によって取得した被写体の映像をデジタル形式の動画像データへ変換する。
【００１７】
表示部１０２は、ユーザーに対し通知すべき情報を表示する。
【００１８】
操作部１０３は、ユーザーによる操作を受け付ける。
【００１９】
ＣＰＵ１０４は、操作部１０３からユーザーが入力した情報、補助記憶装置１０５あるいはＲＯＭ１０７に記憶されたプログラム等に基づいて、システム全体の制御を行う。
【００２０】
補助記憶装置１０５は、システム制御ソフトフェア、動画入力部１０１によって生成された動画像データを格納する。
【００２１】
ＲＡＭ１０６は、ＣＰＵ１０４が動作するためのシステムワークメモリであり、動画像データを一時記憶するための画像メモリでもある。
【００２２】
ＲＯＭ１０７はブートＲＯＭであり、システムのブートプログラム等のプログラムが格納されている。
【００２３】
モザイキング処理部１０８は、図２に示すように、入力された動画像からフレーム静止画像を切り出し、そこから画像撮影装置の動きを推定した後、重ね合わせ平面上に投影することで一枚の大きな静止画像を構成する。
【００２４】
モザイキング処理部１０８は、図３に示すように、フレーム切り出し部３０１、特徴点抽出部３０２、特徴点追跡部３０３、投影パラメータ推定部３０４、画像重ね合わせ部３０５から構成される。モザイキング処理部１０８は、動画入力部１０１が生成した、または補助記憶装置１０５に保存されている動画像３００が入力されると、各処理部３０１〜３０５で処理を行い、構成後静止画像３１０を生成して出力する。
【００２５】
フレーム切り出し部３０１は、動画像３００からフレーム静止画像を一枚ずつ切り出す。
【００２６】
特徴点抽出部３０２は、現在のフレーム静止画像から、その点周りで輝度勾配が大きく、フレーム間で追跡を行いやすい特徴点を抽出する。
【００２７】
特徴点追跡部３０３は、１つ前のフレーム静止画像において特徴点抽出部３０２によって抽出された特徴点を、１つ前のフレーム、現在のフレーム静止画像間で追跡する。
【００２８】
投影パラメータ推定部３０４は、特徴点追跡部３０３による特徴点の追跡結果をもとに、現在のフレーム静止画像を重ね合わせ平面上に投影する際に用いる投影パラメータを計算する。ここでは、特徴点の追跡結果より、１つ前のフレーム、現在のフレーム間での画像撮影装置の動きを推定することによって投影パラメータの計算を行う。
【００２９】
画像重ね合わせ部３０５は、現在のフレーム静止画像を、投影パラメータ推定部３０４が推定した投影パラメータを用いて、重ね合わせ平面上に投影し、平面上にすでに存在する画像と重ね合わせる。
【００３０】
なお、モザイキング処理の詳細および、フレーム切り出し部３０１〜画像重ね合わせ部３０５の各部分の動作については、後述で実際に処理を行う例を扱うので、その中で再度取り上げられ、より詳細に説明されることとなる。
【００３１】
画像重ね合わせ部３０５は、図４に示すように、距離計算部４０１、投影部４０２、画素値更新判定部４０３、画素値設定部４０４、距離記憶部４０５、画素値記憶部４０６から構成される。画像重ね合わせ部３０５は、フレーム切り出し部３０１が生成したフレーム静止画像４００、投影パラメータ推定部３０４が生成した投影パラメータ４１０が入力されると、各処理部４０１〜４０６で処理を行い、構成後静止画像３１０を生成して出力する。
【００３２】
距離計算部４０１は、フレーム静止画像内の注目画素から基準画素までの距離を計算する。
【００３３】
投影部４０２は、フレーム静止画像内の注目画素を、投影パラメータ推定部３０３が推定した投影パラメータを用いて重ね合わせ平面上に投影する。
【００３４】
画素値更新判定部４０３は、投影後のフレーム静止画像内の注目画素と対応する重ね合わせ平面上の画素について、注目画素の値で画素値の更新を行うか否かを判定する。
【００３５】
画素値設定部４０４は、投影後のフレーム静止画像内の注目画素と対応する重ね合わせ平面上の画素について、注目画素の値で画素値を設定する。
【００３６】
距離記憶部４０５は、距離計算部４０１によって計算された画像内の基準画素から注目画素までの距離の値を記憶する。
【００３７】
画素値記憶部４０６は、注目画素の画素値を記憶する。
【００３８】
なお、距離計算部４０１〜画素値記憶部４０６の各部分の動作については、後述で実際に処理を行う例を扱うので、その中で再度取り上げられ、より詳細に説明されることとなる。
【００３９】
次に、モザイキング処理部１０８に動画像３００が入力されてから、モザイキング処理が終わり、構成後静止画像３１０が生成されるまでの間、システムで実行する処理全体際のフローチャートを図５に示す。
【００４０】
なお、本実施形態では、ＣＰＵ１０４が補助記憶装置１０５（コンピュータ読取可能な記憶媒体）に格納されたコンピュータプログラムを読み取り実行することによって、モザイキング処理部１０８（図３の各処理部３０１〜３０５、および図４の各処理部４０１〜４０６）として機能するものとするが、これに限るものではない。
【００４１】
例えば、モザイキング処理部１０８（図３の各処理部３０１〜３０５、および図４の各処理部４０１〜４０６）を、電子回路等のハードウェアで実現するように構成してもよい。
【００４２】
図５のステップＳ５０１において、フレーム切り出し部４０１は、動画像３００からフレーム静止画像を一枚ずつ切り出す。
【００４３】
ステップＳ５０２において、特徴点抽出部４０２は、フレーム静止画像から特徴点を抽出する。本実施例では、特徴点の抽出を行う際に、Harrisオペレータと呼ばれる、その点周りにおいて２つの直行する方向で輝度勾配が大きくなっている点を抽出する手法を用いた。例として、図６のような画像についてHarrisオペレータを用いると、図に示されるような特徴点が抽出される。この時、抽出する点の総数Ｎは自由に設定でき、本実施例ではＮ＝２００とする。なお他にも、ＳＩＦＴ等、特徴点の抽出が行えるものであれば何を用いてもよいものとする。
【００４４】
ステップ５０３において、特徴点追跡部４０３は、１つ前のフレームで特徴点抽出部４０２によって抽出された特徴点を、１つ前のフレーム、現在のフレーム静止画像間で追跡する。本実施例では、ＬＫ法と呼ばれる特徴点追跡アルゴリズムを用いたが、ブロックマッチング法等特徴点の追跡が行えるものであれば、何を用いても良いとする。他にも、両方のフレームそれぞれで特徴点を抽出し、点周りの輝度分布等より対応する点をマッチングすることを特徴点追跡の代用としても良い。
【００４５】
ステップＳ５０４において、投影パラメータ推定部４０４は、ステップＳ５０３における特徴点の追跡結果をもとに、現在のフレーム静止画像を重ね合わせ平面上に投影する際に用いる投影パラメータを計算する。図７のように、１つ前のフレームで抽出した特徴点の、現フレームにおける追跡先の座標と重ね合わせ平面上における座標から投影パラメータを計算する。本実施例では、投影の種類として図８の式で表現されるアフィン変換を仮定した。この場合、３つの特徴点の現フレーム、重ね合わせ平面上の座標をもとにパラメータの計算を行う。なお、この時選択する３つの特徴点を何パターンか変えて、投票アルゴリズム等を用いて、すべての特徴点の動きを最もよく表現できるパラメータを探し出しても良いとする。また、投影の種類として透視変換等他のモデルを採用しても良いものとする。
【００４６】
ステップＳ５０５において、画像重ね合わせ部４０６は、現在のフレーム静止画像を、ステップＳ５０４で推定した投影パラメータを用いて、重ね合わせ平面上に投影し、平面上にすでに存在する画像と重ね合わせる。その結果、図９のように重ね合わせ平面上の画像を更新することができる。
【００４７】
全てのフレームを処理していれば、処理を終了する。未処理のフレームがあればステップＳ５０１から繰り返す。
【００４８】
以上で、図５の説明を終了する。
【００４９】
次に、図５中のステップＳ５０５の処理の詳細について、図１０のフローチャートを用いて説明する。
【００５０】
なお、これ以降の処理は現在のフレーム静止画像内の画素ごとに全画素分行うものとし、ここでは、ある注目画素についての処理について説明する。
【００５１】
図１０のステップＳ１００１において、距離計算部４０１は、注目画素から基準画素までの距離を計算する。ここでの距離とは、図１１に示すように、画像内で何画素分離れているかを表す値であり、単位はピクセルである。なお、本実施例では基準画素を画像の中心としているが、任意の画素を選んで良いものとする。
【００５２】
ステップＳ１００２において、投影部４０２は、ステップＳ５０４で推定した投影パラメータを用いて、注目画素を重ね合わせ平面上に投影する。
【００５３】
ステップＳ１００３において、画素値更新判定部４０３は、図１２に示すような投影後の注目画素と対応する重ね合わせ平面上の画素について、注目画素の値で画素値を更新するか否かを判定する。判定は、ステップＳ１００１で計算された注目画素から基準画素までの距離に注目し、その値と後述するステップＳ１００５で距離記憶部４０５に記憶されている値とを比較することで行う。注目画素における距離の値の方が小さいと判定された場合はステップＳ１００４へ、大きいと判定された場合はステップＳ１００５の終了時点へ進む。図１２の例においては、画素値記憶部４０５に記憶されているのは、図内の過去フレームＡにおける距離であり、注目画素における距離の値の方が小さいため、ステップステップＳ１００４へ進む。
【００５４】
ステップＳ１００４において、画素値設定部４０４は、投影後の注目画素と対応する重ね合わせ平面上の画素について、注目画素の値で画素値の更新を行う。
【００５５】
ステップＳ１００５において、距離記憶部４０５は、ステップＳ１００１で計算された注目画素から基準画素までの距離の値を記憶する。
【００５６】
全画素処理をしていれば処理を終了する。未処理の画素があればステップＳ１００１から繰り返す。
【００５７】
以上で、図１０の説明を終了する。
【００５８】
ここからは、上記の手法で重ね合わせ処理を行うことで得られる効果について説明する。
【００５９】
モザイキング処理を行う際の課題として、各フレーム静止画像について、図１３に示すようにフレームの中央は明るいが端に行くにつれ暗くなる明るさムラが生じると、構成後の静止画像にも明るさムラが生じ、画質が低下してしまうというものがある。
【００６０】
明るさムラの生じているフレーム静止画像を重ね合わせた時の例を図１４に示す。ここでは、２枚のフレーム静止画像の重複領域について、どちらかの画像の画素値を優先して用いる例を示しているが、両方の画素値を平均化した場合でも、やはり明るさムラの影響を受けてしまう。
【００６１】
本提案手法で重ね合わせ処理を行うと、図１５に示すように、重ね合わせ平面上の各画素について、その画素が最もフレームの中央に近い場所に位置しているフレーム静止画像を画素ごとに選択し、そのフレーム静止画像の値で画素値を設定することが可能になる。
【００６２】
こうすることで、フレーム静止画像内の明るさムラの影響、および構成後の静止画像の画質の低下を抑えることが可能になる。
【００６３】
［実施例２］
実施例１では、明るさムラの影響を受けにくいように各フレーム静止画像を重ね合わせることで、構成後の静止画像の画質の低下を抑える効果が得られた。
【００６４】
しかし、構成に用いたフレーム静止画像にノイズが乗った場合、一画素に対して一枚のフレーム静止画像のみを用いて画素値の設定を行っているため、その影響を受けやすいという課題がある。実施例２では、その課題を解決するための処理を行う。
【００６５】
初めに、本実施例の概要を説明する。本実施例においては、重ね合わせ平面上の各画素について、注目画素から基準画素までの距離の値が小さい複数枚のフレーム静止画像を用いて画素値の設定を行う。
【００６６】
以下に、処理の流れについて図１６を使って説明する。なお、実施例１との重複部分に関しては説明を省略する。
【００６７】
図１６のステップＳ１６０３において、画素値更新判定部４０３は、図１２に示すような重ね合わせ平面上における投影後の注目画素と対応する画素について、注目画素の値を用いて画素値を更新するか否かを判定する。判定は、ステップＳ１６０１で計算された注目画素から基準画素までの距離に注目し、その値と後述するステップＳ１６０５で画素値記憶部４０５に記憶されているフレーム静止画像Ｎ枚分の距離の、下位Ｎ番目の値とを比較することで行う。注目画素における距離の値の方が小さいと判定された場合はステップＳ１６０４へ、大きいと判定された場合はステップＳ１６０５の終了時点へ進む。なお、Ｎの値は任意の値を用いて構わない。
【００６８】
ステップＳ１６０４において、画素値設定部４０３は、画素値記憶部４０５に記憶されている下位Ｎ−１番目までの距離に対応するフレーム静止画像と、現フレーム静止画像の注目画素の画素値を用いて、重ね合わせ平面上における画素値を更新する。この時、更新値は、Ｎ枚分の画素値の単純平均値としても良いし、距離をもとにした重み付け平均値としても良いものとする。
【００６９】
ステップＳ１６０５において、距離記憶部４０５は、ステップＳ１６０４で画素値を更新する際に利用した、Ｎ枚のフレーム静止画像について、ステップＳ１６０１で計算された注目画素から基準画素までの距離の値を記憶する。
【００７０】
ステップＳ１６０６において、画素値記憶部４０６は、ステップＳ１６０４で画素値の更新を行う際に用いたＮ枚のフレーム静止画像について、画素値の値を記憶する。この時、各画素値はステップＳ１６０５で記憶した距離の値と対応させて記憶させておく。
【００７１】
以上で、図１６の説明を終了する。
【００７２】
以上のように、注目画素から基準画素までの距離の値が小さい複数枚のフレーム静止画像を用いて画素値の設定を行うことで、フレーム静止画像に乗ったノイズの影響を抑制することが可能になる。
【符号の説明】
【００７３】
１００ 画像撮影装置
１０１ 動画入力部
１０２ 表示部
【特許請求の範囲】
【請求項１】
撮影された動画像からフレームごとに切り出した複数のフレーム静止画像を１枚の静止画像として構成する画像処理装置であって、
フレーム静止画像内の注目画素から基準画素までの距離を計算する距離計算手段（４０１）と、上記注目画素を重ね合わせ平面上に投影する投影手段（４０２）と、投影後の注目画素と対応する重ね合わせ平面上の画素について、上記注目画素の値で画素値の更新を行うか否かを、上記距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値をもとに判定する画素値更新判定手段（４０３）と、投影後の上記注目画素と対応する重ね合わせ平面上の画素について、上記注目画素の値で画素値の更新を行う画素値設定手段（４０４）と、上記注目画素について、距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値を記憶する距離記憶手段（４０５）
とを有する画像処理装置。
【請求項２】
前記距離計算手段（４０１）は、フレーム画像内の基準画素から注目画素までの距離の計算を、前記投影手段（４０２）によって上記注目画素を重ね合わせ平面上に投影する前に実行することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画素値更新判定手段（４０３）は、前記距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値が、前記距離記憶手段（４０５）に記憶されている距離の値よりも小さかった場合に上記注目画素の値で画素値の更新を行うと判定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
撮影された動画像からフレームごとに切り出した複数のフレーム静止画像を１枚の静止画像として構成する画像処理装置であって、
フレーム静止画像内の注目画素から基準画素までの距離を計算する距離計算手段（４０１）と、上記注目画素を重ね合わせ平面上に投影する投影手段（４０２）と、投影後の注目画素と対応する重ね合わせ平面上の画素について、上記注目画素を用いて画素値の更新を行うか否かを、上記距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値をもとに判定する画素値更新判定手段（４０３）と、投影後の上記注目画素と対応する重ね合わせ平面上の画素について、上記注目画素、および他のフレーム静止画像の対応画素を用いて画素値の更新を行う画素値設定手段（４０４）と、上記画素値設定手段（４０４）によって画素値の更新を行う際に用いた各画素について、距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値を記憶する距離記憶手段（４０５）と、上記画素値設定手段（４０４）によって画素値の更新を行う際に用いた各画素について、画素値を距離記憶手段（４０５）によって記憶した距離の値と対応させて記憶する画素値記憶手段（４０６）
とを有する画像処理装置。
【請求項５】
前記距離計算手段（４０１）は、フレーム画像内の基準画素から注目画素までの距離の計算を、前記投影手段（４０２）によって上記注目画素を重ね合わせ平面上に投影する前に実行することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記画素値更新判定手段（４０３）は、前記距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値が、前記距離記憶手段（４０５）に記憶されている距離の値の最大値よりも小さかった場合に上記注目画素の値を用いて画素値の更新を行うと判定することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記画素値設定手段（４０４）は、上記注目画素および、前記距離記憶手段（４０５）に記憶されている、前記距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値の最大値を持つ画素を除いた全画素を用いて、画素値の更新を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項１】
撮影された動画像からフレームごとに切り出した複数のフレーム静止画像を１枚の静止画像として構成する画像処理装置であって、
フレーム静止画像内の注目画素から基準画素までの距離を計算する距離計算手段（４０１）と、上記注目画素を重ね合わせ平面上に投影する投影手段（４０２）と、投影後の注目画素と対応する重ね合わせ平面上の画素について、上記注目画素の値で画素値の更新を行うか否かを、上記距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値をもとに判定する画素値更新判定手段（４０３）と、投影後の上記注目画素と対応する重ね合わせ平面上の画素について、上記注目画素の値で画素値の更新を行う画素値設定手段（４０４）と、上記注目画素について、距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値を記憶する距離記憶手段（４０５）
とを有する画像処理装置。
【請求項２】
前記距離計算手段（４０１）は、フレーム画像内の基準画素から注目画素までの距離の計算を、前記投影手段（４０２）によって上記注目画素を重ね合わせ平面上に投影する前に実行することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画素値更新判定手段（４０３）は、前記距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値が、前記距離記憶手段（４０５）に記憶されている距離の値よりも小さかった場合に上記注目画素の値で画素値の更新を行うと判定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
撮影された動画像からフレームごとに切り出した複数のフレーム静止画像を１枚の静止画像として構成する画像処理装置であって、
フレーム静止画像内の注目画素から基準画素までの距離を計算する距離計算手段（４０１）と、上記注目画素を重ね合わせ平面上に投影する投影手段（４０２）と、投影後の注目画素と対応する重ね合わせ平面上の画素について、上記注目画素を用いて画素値の更新を行うか否かを、上記距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値をもとに判定する画素値更新判定手段（４０３）と、投影後の上記注目画素と対応する重ね合わせ平面上の画素について、上記注目画素、および他のフレーム静止画像の対応画素を用いて画素値の更新を行う画素値設定手段（４０４）と、上記画素値設定手段（４０４）によって画素値の更新を行う際に用いた各画素について、距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値を記憶する距離記憶手段（４０５）と、上記画素値設定手段（４０４）によって画素値の更新を行う際に用いた各画素について、画素値を距離記憶手段（４０５）によって記憶した距離の値と対応させて記憶する画素値記憶手段（４０６）
とを有する画像処理装置。
【請求項５】
前記距離計算手段（４０１）は、フレーム画像内の基準画素から注目画素までの距離の計算を、前記投影手段（４０２）によって上記注目画素を重ね合わせ平面上に投影する前に実行することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記画素値更新判定手段（４０３）は、前記距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値が、前記距離記憶手段（４０５）に記憶されている距離の値の最大値よりも小さかった場合に上記注目画素の値を用いて画素値の更新を行うと判定することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記画素値設定手段（４０４）は、上記注目画素および、前記距離記憶手段（４０５）に記憶されている、前記距離計算手段（４０１）によって計算された注目画素から基準画素までの距離の値の最大値を持つ画素を除いた全画素を用いて、画素値の更新を行うことを特徴とする請求項２に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２４７８１６（Ｐ２０１２−２４７８１６Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１６４４３（Ｐ２０１１−１１６４４３）
【出願日】平成２３年５月２５日（２０１１．５．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２５日（２０１１．５．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]