画像処理装置、画像処理プログラムおよび画像処理方法
【課題】背景画像に対して移動する物体に対しても背景画像と同時に画質を向上させることのできるフレーム積分処理を実現可能な画像処理装置を提供する。
【解決手段】画像処理装置は、背景画像の背景移動量ＭＢと、目標物体Ｏの目標移動量ＭＯとをそれぞれ求める。そして、連続する画像フレーム１０１、１０２の一方の画像に対して背景移動量ＭＢ＋目標領域に対してのみ目標移動量ＭＯ分だけずらした後、フレーム積分処理をおこなう。すなわち、背景画像のずれとともに、目標物体のずれが補正された連続した画像フレーム１０１、１０２に対してフレーム積分される。したがって、背景画像および目標物体Ｏの双方のＳ／Ｎ比の改善効果が得られる。
【解決手段】画像処理装置は、背景画像の背景移動量ＭＢと、目標物体Ｏの目標移動量ＭＯとをそれぞれ求める。そして、連続する画像フレーム１０１、１０２の一方の画像に対して背景移動量ＭＢ＋目標領域に対してのみ目標移動量ＭＯ分だけずらした後、フレーム積分処理をおこなう。すなわち、背景画像のずれとともに、目標物体のずれが補正された連続した画像フレーム１０１、１０２に対してフレーム積分される。したがって、背景画像および目標物体Ｏの双方のＳ／Ｎ比の改善効果が得られる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像フレームに補正処理を施して画質を向上させる画像処理装置、画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
従来、静止画像に対して、複数フレームの各画素レベルを加算することにより、画像のＳ／Ｎ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ ｒａｔｉｏ）比を改善させて画質に含まれているノイズを低減させるフレーム積分処理が広く用いられている。図１４は、従来のフレーム積分処理を示す説明図である。図１４のように、動画データ１４０１は複数（ここでは、フレーム数をＦとする）の画像フレーム１４００の集合体である。
【０００３】
このような動画データ１４０１にフレーム数分の、フレーム積分処理をおこなった場合、信号（Ｓ）はＦ倍になるのに対して、ランダムノイズ（Ｎ）は√Ｆ倍となる。すなわち、Ｓ／Ｎ比は、√Ｆ倍改善される。このようなフレーム積分の特性を利用して、さらに、シーン全体が移動している場合、画像の移動分を算出し、移動分だけ画像をずらしてフレーム積分してＳ／Ｎ比を改善する手法もある。
【０００４】
図１５は、従来のフレーム加算処理を示す説明図である。図１５の画像フレーム１５０１は、シーン全体が移動するような映像を構成する１フレームである。このような場合には、連続するつぎの画像フレーム１５０２と比較して移動分Ｍのずれが生じている。したがって、画像フレーム１５０１を移動分Ｍ分ずらした後、画像フレーム１５０２とのフレーム積分をおこなう。
【０００５】
上述の技術を用いたものとして、たとえば、基準画像に対してシーン全体の移動分を算出しその分ずらしてフレーム積分処理をおこなう画像処理方法や（たとえば、下記特許文献１参照。）、カメラの向きやプラットフォームの状態等の情報を使用してシーン全体の移動分を算出しその分ずらしてフレーム積分処理をおこなう目標検出処理装置が開示されている（たとえば、下記特許文献２参照。）。
【０００６】
【特許文献１】特開平９−５６７０７号公報
【特許文献２】特開２００３−２７０３１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来のフレーム積分処理は、画像データのＳ／Ｎ比を改善するのに有効な処理であるが、基本的にシーン内容の変化が充分小さい画像に対してしか使用できなかった。また、上記特許文献１、２の技術の場合、シーン全体（背景）の移動分を算出している。したがって、背景に対して移動している目標物体に関してはＳ／Ｎ比を改善させることはできなかった。
【０００８】
図１６は、従来のフレーム積分処理の問題点を示す説明図である。図１６のように、画像フレーム１６０１と、連続するつぎのフレームである画像フレーム１６０２とを比較すると、背景画像と、目標物体Ｏとの双方が移動していることがわかる。しかしながら、従来の技術では、背景画像の移動分Ｍは補正されるためフレーム積分によりＳ／Ｎ比が改善されるが、目標物体Ｏに関しては、かえってＳ／Ｎ比が劣化してしまうという問題があった。
【０００９】
この発明は、上述した従来技術による問題点を解消するため、背景画像に対して移動する物体に対しても背景画像と同時に画質を向上させることのできる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するため、この画像処理装置、画像処理プログラムおよび画像処理方法は、Ｎ番目の画像フレームの背景画像と、Ｎ＋１番目の画像フレームの背景画像との位置のずれを算出して、前記Ｎ＋１番目の画像フレームの背景画像の移動量を求める処理と、前記Ｎ番目の画像フレームの画像全体の位置を、求められた移動量移動させて、背景位置を補正した背景補正フレームを生成する処理と、生成された背景補正フレームと、前記Ｎ＋１番目の画像フレームとを比較して、双方のフレームに共通して含まれる所定の特徴を含んだ画像を目標物体として検出する処理と、検出された前記背景補正フレームに含まれる目標物体と、前記Ｎ＋１番目の画像フレームに含まれる目標物体との位置のずれを算出して、前記目標物体の移動量を求める処理と、前記背景補正フレームに含まれる目標物体を、求められた移動量移動させて、前記目標物体の位置を補正した目標物体補正フレームを生成する処理と、生成された目標物体補正フレームと、前記Ｎ＋１番目の画像フレームとを積分して補正画像フレームを生成する処理と、生成された補正画像フレームを出力する処理と、を含むことを要件とする。
【００１１】
この画像処理装置、画像処理プログラムおよび画像処理方法によれば、Ｎ番目の画像フレームとＮ＋１番目の画像フレームとを比較して背景画像の移動量を補正するとともに、目標物体の移動量も補正された画像フレームによってフレーム積分をおこなうことができる。
【発明の効果】
【００１２】
この画像処理装置、画像処理プログラムおよび画像処理方法によれば、背景画像に対して移動する物体に対しても背景画像と同時に画質を向上させることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下に添付図面を参照して、この画像処理装置、画像処理プログラムおよび画像処理方法の好適な実施の形態を詳細に説明する。
【００１４】
（画像処理の概要）
まず、本実施の形態にかかる画像処理の概要について説明する。図１は、本実施の形態にかかる画像処理の概要を示す説明図である。図１の画像フレーム１０１と、画像フレーム１０２とは、動画を構成する連続したフレームの一例である。画像フレーム１０１と画像フレーム１０２とを比較すると、背景画像に対して目標物体Ｏが目標移動量ＭＯ移動しているとともに、背景画像自体も背景移動量ＭＢ移動している。
【００１５】
本実施の形態の場合、背景画像の背景移動量ＭＢと、目標物体Ｏの目標移動量ＭＯとをそれぞれ求める。そして、連続する画像フレーム１０１、１０２の一方の画像に対して背景移動量ＭＢ＋目標領域のみ目標移動量ＭＯ分だけずらした後、フレーム積分処理をおこなう。すなわち、背景画像のずれとともに、目標物体のずれが補正された連続した画像フレーム１０１、１０２に対してフレーム積分される。したがって、背景画像および目標物体Ｏの双方のＳ／Ｎ比の改善効果が得られる。
【００１６】
このように、本実施の形態の画像処理を用いることによって、移動する目標物体に対して自動的に背景移動量と目標移動量の双方が補正されたフレームに対してフレーム積分処理が適用されるため、目標物体に対しても背景画像と同様にＳ／Ｎ比が改善されたフレーム積分画像を得ることができる。以下に、本実施の形態の画像処理を適用した具体的な画像処理装置、画像処理プログラムおよび画像処理方法について説明する。
【００１７】
なお、以下の説明では、連続するＮ番目の画像フレームとＮ＋１番目の画像フレームの移動量を求めた後、前のＮ番目の画像フレームに対して移動量を反映させ、後のＮ＋１番目の画像フレームと位置関係を統一させるものとする。これと反対に、求めた移動量を後のＮ＋１番目の画像フレームに反映させＮ番目の画像フレームを基準に位置関係を統一させた後にフレーム積分をおこなってもよい。
【００１８】
（画像処理装置のハードウェア構成）
まず、本実施の形態にかかる画像処理を適用させた画像処理装置２００のハードウェア構成について説明する。図２は、画像処理装置のハードウェア構成を示すブロック図である。
【００１９】
図２において、画像処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、磁気ディスクドライブ２０４と、磁気ディスク２０５と、光ディスクドライブ２０６と、光ディスク２０７と、ディスプレイ２０８と、通信Ｉ／Ｆ（インターフェース）２０９と、キーボード２１０と、マウス２１１と、リアルタイム画像取得装置２１２と、プリンタ２１３と、を備えている。また、各構成部はバス２２０によってそれぞれ接続されている。
【００２０】
ここで、ＣＰＵ２０１は、画像処理装置２００の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。磁気ディスクドライブ２０４は、ＣＰＵ２０１の制御にしたがって磁気ディスク２０５に対するデータのリード／ライトを制御する。磁気ディスク２０５は、磁気ディスクドライブ２０４の制御で書き込まれたデータを記憶する。
【００２１】
光ディスクドライブ２０６は、ＣＰＵ２０１の制御にしたがって光ディスク２０７に対するデータのリード／ライトを制御する。光ディスク２０７は、光ディスクドライブ２０６の制御で書き込まれたデータを記憶したり、光ディスク２０７に記憶されたデータを画像処理装置２００に読み取らせたりする。
【００２２】
また、光ディスク２０７として、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ）、メモリーカードなどを採用することができる。ディスプレイ２０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ２０８は、たとえば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
【００２３】
通信Ｉ／Ｆ２０９は、通信回線を通じてインターネットなどのネットワーク２１４に接続され、このネットワーク２１４を介して他の装置に接続される。そして、通信Ｉ／Ｆ２０９は、ネットワーク２１４と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。通信Ｉ／Ｆ２０９には、たとえば、モデムやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）アダプタなどを採用することができる。
【００２４】
キーボード２１０は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス２１１は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
【００２５】
リアルタイム画像取得装置２１２は、ディジタルビデオカメラなどを使用し画像処理装置２００内にリアルタイムに動画像を取り込むことができる。また、プリンタ２１３は、画像データや文書データを印刷する。プリンタ２１３には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
【００２６】
（画像処理装置の機能的構成）
つぎに、画像処理装置の機能的構成について説明する。図３は、画像処理装置２００の機能的構成を示すブロック図である。図３において、画像処理装置２００は、背景移動量算出部３０１と、背景補正部３０２と、目標物体検出部３０３と、目標物体移動量算出部３０４と、目標物体補正部３０５と、フレーム積分部３０６と、出力部３０７と、を含んでいる。これら各機能３０１〜３０７は、画像処理装置２００の記憶部に記憶された当該機能３０１〜３０７に関するプログラムをＣＰＵに実行させることにより、当該機能を実現することができる。
【００２７】
まず、背景移動量算出部３０１には、Ｎ番目の画像フレームと、Ｎ＋１番目の画像フレームとが入力され、Ｎ番目の画像フレームの背景画像と、Ｎ＋１番目の画像フレームの背景画像との位置のずれを算出する。ここで、Ｎ番目の画像フレームの背景画像と、Ｎ＋１番目の画像フレームの背景画像との位置のずれを算出するには、たとえば、２つの背景画像の差分を求める手法がある。この算出結果を、Ｎ番目の画像フレームに対するＮ＋１番目の画像フレームの背景画像の移動量として出力する。
【００２８】
背景補正部３０２には、Ｎ番目の画像フレームと、背景移動量算出部３０１によって求められた移動量とが入力され、Ｎ番目の画像フレームの画像全体の位置を入力された移動量分移動させる。移動処理が施されたＮ番目の画像フレームは、背景位置を補正した背景補正フレームとして出力される。
【００２９】
目標物体検出部３０３には、背景補正部３０２によって生成された背景補正フレームと、Ｎ＋１番目の画像フレームとが入力され、２つの画像フレームを比較し、双方のフレームに共通して含まれる所定の特徴を含んだ画像を目標物体として検出する。
【００３０】
目標物体移動量算出部３０４には、Ｎ＋１番目の画像フレームと、目標物体検出部３０３によって検出された目標物体とが入力され、背景補正フレームに含まれる目標物体と、Ｎ＋１番目の画像フレームに含まれる目標物体との位置のずれを算出して、目標物体の移動量を求める。ここでも、背景補正フレームに含まれる目標物体と、Ｎ＋１番目の画像フレームに含まれる目標物体との位置のずれを算出する一例として、２つの目標物体の差分を求めてもよい。
【００３１】
目標物体補正部３０５には、背景補正フレームと、目標物体の移動量とが入力され、背景補正フレームに含まれる目標物体を入力された目標物体の移動量だけ移動させる。この目標物体の位置が補正された背景補正フレームは、目標物体補正フレームとして出力される。
【００３２】
フレーム積分部３０６には、目標物体補正部３０５によって生成された目標物体補正フレームと、Ｎ＋１番目の画像フレームとが入力され、２つの画像フレームを積分して補正画像フレームを生成する。生成された補正画像フレームは、出力部３０７によって外部に出力される。
【００３３】
（実施例）
つぎに、本実施の形態にかかる画像処理装置２００によるフレーム補正の具体的な実施例について説明する。図４は、画像処理装置における画像フレーム補正処理部の構成を示すブロック図である。図４の各機能部４０１〜４０７は、図４に示した機能を実現する処理の実現例であり、具体的には、低解像度画像作成部４０１、４０２と、背景移動量算出部４０３と、画像ずらし処理部（全体）４０４と、目標物体検出／移動量算出部４０５、画像ずらし処理部（目標物体画像群のみ）４０６と、フレーム積分部４０７と、を含んでいる。
【００３４】
＜解像度調整処理＞
一般的に画像処理装置２００に入力される画像フレームには、背景画像と目標物体Ｏとが混在していることが多い。そして、本実施の形態のように目標物体ＯのＳ／Ｎ比の改善を目的とする場合は、目標物体Ｏが含まれた画像フレームの処理が必須となる。したがって背景画像と目標物体とを区別して検出するには、画像フレームに特別な処理を施す必要がある。そこで、画像処理装置２００では、低解像度画像作成部４０１、４０２によって画像フレームの解像度の低下処理を実行し、目標物体Ｏを含まないような画像フレームに作り替える。
【００３５】
図５は、画像フレームの解像度調整処理を示す説明図である。低解像度画像作成部４０１、４０２には、目標物体Ｏを含んだ画像フレーム５０１が入力される。たとえば、この画像フレーム５０１の解像度が６４０×４８０画素サイズとすると、この画像フレーム５０１の画素を１０画素ごとに抽出して、画像フレーム５０２のように６４×４８画素サイズにする。
【００３６】
たとえば、画像フレーム５０１に含まれる目標物体Ｏのサイズが１０×１０画素サイズであれば、上述の解像度の低下処理によって、画像フレーム５０２に含まれる目標物体Ｏのサイズは１×１画素サイズとなる。さらに、画像フレーム５０２に対して解像度低下処理を実行することによって、画像フレーム５０３のように目標物体Ｏをほとんど含まない画像となる。
【００３７】
このように、低解像度画像作成部４０１、４０２では、入力された画像フレーム５０１に対して所定の割合で解像度を低下させる解像度低下処理を実行する。そして、解像度を低下させた画像フレーム５０２に対してさらに解像度低下処理を実行して目標物体Ｏがほとんど含まれない背景画像による画像フレーム５０３に作り替えることができる。ここで、図６は、Ｎ番目の画像フレームの低解像度化を示す説明図である。また、図７は、Ｎ＋１番目の画像フレームの低解像度化を示す説明図である。
【００３８】
図６のように、Ｎ番目の画像フレーム６０１は、低解像度画像作成部４０１によって、目標物体Ｏをほとんど含まない画像フレーム６０２に作り替えられる。また、図７のように、Ｎ＋１番目の画像フレーム７０１は、低解像度画像作成部４０２によって、目標物体Ｏをほとんど含まない画像フレーム７０２に作り替えられる。低解像度画像作成部４０１、４０２によって作り替えられた画像フレーム６０２、７０２は、背景移動量算出部４０３に出力される。
【００３９】
＜背景移動量算出処理＞
つぎに、背景移動量算出部４０３によって背景画像の移動量が算出される。図８は、背景移動量算出処理を示す説明図である。図８のように、背景移動量算出部４０３では、低解像度画像作成部４０１によって作成されたＮ番目の画像フレーム６０２と、低解像度画像作成部４０２によって作成されたＮ＋１番目の画像フレーム７０２とを比較し、背景画像の位置のずれを算出する。背景移動量算出部４０３によって算出された位置のずれが連続する画像フレーム（Ｎ、Ｎ＋１番目）の背景移動量ＭＢとなる。
【００４０】
＜全体画像の移動量補正処理＞
つぎに、画像ずらし処理部４０４による全体画像の移動量補正処理について説明する。画像ずらし処理部４０４では、背景移動量算出部４０３によって算出された背景移動量ＭＢを用いてＮ番目の画像フレーム画像６０１（図６参照）の全体画像の位置を移動させる。図９は、全体画像の移動量補正を示す説明図である。図９のように、画像ずらし処理部４０４では、Ｎ番目の画像フレーム画像６０１の全体が背景移動量ＭＢ分ずらした背景補正画像９０１が生成される。
【００４１】
＜目標物体の検出・移動量算出処理＞
つぎに、目標物体検出／移動量算出部４０５による目標物体Ｏの検出処理と移動量算出処理について説明する。目標物体検出／移動量算出部４０５には、画像ずらし処理部４０４によって生成されたＮ番目の画像フレームの背景補正画像９０１（図９参照）と、Ｎ＋１番目の画像フレーム７０１（図７参照）とが入力され、双方の画像フレームに含まれる移動体である目標物体Ｏを検出する。
【００４２】
ここで目標物体Ｏの検出処理について詳しく説明する。目標物体検出／移動量算出部４０５の目標物体抽出機能部には、不図示の分割部と、最大変化画像領域検出部と、マッチング部とが含まれている。分割部は、画像ずらし処理部４０４によって生成されたＮ番目の画像フレームの背景補正画像９０１と、Ｎ＋１番目の画像フレーム７０１とを、それぞれ共通の画像領域群に分割する。そして、最大変化画像領域検出部は、分割部によって分割された画像領域群の中から画像変化量の最も大きい画像領域を検出する。最後に、マッチング部が最大変化画像領域検出部によって検出された画像領域にテンプレートマッチングをおこなうことによって、目標物体Ｏを検出することができる。
【００４３】
さらに、上述した検出処理を図１０−１〜図１０−３を用いて順番に説明する。図１０−１は、目標物体の領域限定処理を示す説明図である。まず、画像フレームの中のどの領域に目標物体Ｏが含まれているかを抽出して処理対象を限定しなければならない。したがって、図１０−１のように、画像フレームの背景補正画像９０１を小さな領域群に分解し、Ｎ＋１番目の画像フレーム７０１と比較した場合に、画像の変化レベルの大きな領域を抽出する。
【００４４】
図１０−１の画像フレーム１００１では、背景補正画像９０１と、Ｎ＋１番目の画像フレーム７０１と比較した場合に変化レベルが大きく抽出される領域Ａ、Ｂを太枠にしてあらわしている。このように、画像の変化レベルが大きい領域とは、すなわち連続する画像フレームに表示される移動体が含まれる領域となる。したがって、自動的に目標物体Ｏを含んだ領域が抽出される。
【００４５】
目標物体Ｏが含まれる領域が抽出されると、抽出された領域に限定してテンプレートマッチングをおこなう。図１０−２は、テンプレートマッチング処理を示す説明図である。図１０−２のように、画像フレーム１００２では、図１０−１にて抽出された領域Ａ、Ｂがそのままテンプレートマッチング領域Ｒとなる。テンプレートマッチングとは、特定のパターンを検出するための画像などを用意し、処理対象画像と比較して特定パターンと一致する箇所を検出する処理である。
【００４６】
目標物体検出／移動量算出部４０５では、目標物体を検出するための画像が用意され、テンプレートマッチング領域Ｒとの比較処理がおこなわれる。なお、目標物体を検出するための画像は、あらかじめ用意してもよいし、Ｎ番目の画像フレーム６０１の前に画像処理が終了した他のフレーム（たとえば、Ｎ−１番目、Ｎ−２番目の画像フレームなど）から用意してもよい。
【００４７】
テンプレートマッチングが終了するとマッチング結果に基づいて、目標物体Ｏが検出される。図１０−３は、検出された目標物体Ｏを示す説明図である。図１０−３のように、画像フレーム１００３では、どの領域にどのような形状の目標物体Ｏが含まれているかが特定される。以上の処理によって目標物体Ｏの検出処理が終了する。
【００４８】
目標物体検出／移動量算出部４０５では、目標物体Ｏが検出されると、つぎに、目標物体Ｏの移動量の算出処理がおこなわれる。図１１は、目標物体移動量算出処理を示す説明図である。目標物体検出／移動量算出部４０５では、上述した検出処理によって、Ｎ＋１番目の画像フレーム７０１と、背景補正画像９０１とに含まれる目標物体Ｏが検出済みである。したがって、図１１のように、Ｎ＋１番目の画像フレーム７０１と、背景補正画像９０１とに含まれる目標物体Ｏの位置のずれを算出する。目標物体検出／移動量算出部４０５によって算出された目標物体Ｏの位置のずれは、目標移動量ＭＯとして出力される。
【００４９】
＜目標物体の移動量補正処理＞
つぎに、画像ずらし処理部４０６による目標物体Ｏの移動量補正処理について説明する。図１２は、目標物体の移動量補正を示す説明図である。画像ずらし処理部４０６には、背景補正画像９０１と、目標移動量ＭＯとが入力される。したがって、画像ずらし処理部４０６は、図１２のように、背景補正画像９０１の目標物体Ｏが目標移動量ＭＯ分ずらされた目標物体補正画像１２０１が生成される。
【００５０】
＜フレーム積分処理＞
最後に、フレーム積分部４０７によるフレーム積分処理について説明する。図１３は、フレーム積分処理を示す説明図である。フレーム積分部４０７には、背景画像、目標物体Ｏの双方の移動量が補正された目標物体補正画像１２０１と、Ｎ＋１番目の画像フレーム７０１とが入力される。したがって、この２つの画像フレーム１３０１を用いて積分をおこなう。具体的には下記（１）式によって、画像フレームを構成する個々の画素が出力される。
【００５１】
【数１】
【００５２】
Ｎ番目の画像フレームを構成するすべての画素についての算出処理が終了すると、Ｎ番目の画像フレーム４０１の補正画像フレームが出力され、Ｎ番目の画像フレーム６０１に対する一連の画像処理が終了する。画像処理装置２００は、続いて、Ｎ＋１番目の画像フレーム７０１とＮ＋２番目の画像フレーム（不図示）が入力されるため、Ｎ＋１番目の画像フレーム７０１についても、Ｎ番目の画像フレーム６０１と同様の処理が施され、補正画像フレームとして出力される。これら一連の処理は画像処理装置２００に入力された動画データが終了するか、利用者や上位システムからの終了指示が入力されるまで継続される。
【００５３】
以上説明したように、本実施の形態によれば、動画データを構成する連続する画像フレームを比較して背景画像の移動量を補正するとともに、目標物体の移動量を補正された画像フレームによってフレーム積分をおこなうことができる。したがって、背景画像に対して移動する物体に対しても背景画像と同時に画質を向上させることができる。
【００５４】
なお、本実施の形態で説明した画像処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な媒体であってもよい。
【００５５】
また、本実施の形態で説明した画像処理装置２００は、スタンダードセルやストラクチャードＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定用途向けＩＣ（以下、単に「ＡＳＩＣ」と称す。）やＦＰＧＡなどのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によっても実現することができる。具体的には、たとえば、上述した画像処理装置２００の機能（３０１〜３０７）をＨＤＬ記述によって機能定義し、そのＨＤＬ記述を論理合成してＡＳＩＣやＰＬＤに与えることにより、画像処理装置２００を製造することができる。
【図面の簡単な説明】
【００５６】
【図１】本実施の形態にかかる画像処理の概要を示す説明図である。
【図２】画像処理装置のハードウェア構成を示すブロック図である。
【図３】画像処理装置の機能的構成を示すブロック図である。
【図４】画像処理装置における画像フレーム補正処理部の構成を示すブロック図である。
【図５】画像フレームの解像度調整処理を示す説明図である。
【図６】Ｎ番目の画像フレームの低解像度化を示す説明図である。
【図７】Ｎ＋１番目の画像フレームの低解像度化を示す説明図である。
【図８】背景移動量算出処理を示す説明図である。
【図９】全体画像の移動量補正を示す説明図である。
【図１０−１】目標物体の領域限定処理を示す説明図である。
【図１０−２】テンプレートマッチング処理を示す説明図である。
【図１０−３】検出された目標物体を示す説明図である。
【図１１】目標物体移動量算出処理を示す説明図である。
【図１２】目標物体の移動量補正を示す説明図である。
【図１３】フレーム積分処理を示す説明図である。
【図１４】従来のフレーム積分処理を示す説明図である。
【図１５】従来のフレーム加算処理を示す説明図である。
【図１６】従来のフレーム積分処理の問題点を示す説明図である。
【符号の説明】
【００５７】
１０１ 画像フレーム
１０２ 補正後画像フレーム
２００ 画像処理装置
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 磁気ディスクドライブ
２０５ 磁気ディスク
２０６ 光ディスクドライブ
２０７ 光ディスク
２０８ ディスプレイ
２０９ 通信Ｉ／Ｆ
２１０ キーボード
２１１ マウス
２１２ リアルタイム画像取得装置
２１３ プリンタ
２１４ ネットワーク（ＮＥＴ）
３０１ 背景移動量算出部
３０２ 背景補正部
３０３ 目標物体検出部
３０４ 目標物体移動量算出部
３０５ 目標物体補正部
３０６ フレーム積分部
３０７ 出力部
４０１、４０２ 低解像度画像作成部
４０３ 背景移動量算出部
４０４ 画像ずらし処理部（全体）
４０５ 目標物体検出／移動量算出部
４０６ 画像ずらし処理部（目標物体画像群のみ）
４０７ フレーム積分部
【技術分野】
【０００１】
この発明は、画像フレームに補正処理を施して画質を向上させる画像処理装置、画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
従来、静止画像に対して、複数フレームの各画素レベルを加算することにより、画像のＳ／Ｎ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ ｒａｔｉｏ）比を改善させて画質に含まれているノイズを低減させるフレーム積分処理が広く用いられている。図１４は、従来のフレーム積分処理を示す説明図である。図１４のように、動画データ１４０１は複数（ここでは、フレーム数をＦとする）の画像フレーム１４００の集合体である。
【０００３】
このような動画データ１４０１にフレーム数分の、フレーム積分処理をおこなった場合、信号（Ｓ）はＦ倍になるのに対して、ランダムノイズ（Ｎ）は√Ｆ倍となる。すなわち、Ｓ／Ｎ比は、√Ｆ倍改善される。このようなフレーム積分の特性を利用して、さらに、シーン全体が移動している場合、画像の移動分を算出し、移動分だけ画像をずらしてフレーム積分してＳ／Ｎ比を改善する手法もある。
【０００４】
図１５は、従来のフレーム加算処理を示す説明図である。図１５の画像フレーム１５０１は、シーン全体が移動するような映像を構成する１フレームである。このような場合には、連続するつぎの画像フレーム１５０２と比較して移動分Ｍのずれが生じている。したがって、画像フレーム１５０１を移動分Ｍ分ずらした後、画像フレーム１５０２とのフレーム積分をおこなう。
【０００５】
上述の技術を用いたものとして、たとえば、基準画像に対してシーン全体の移動分を算出しその分ずらしてフレーム積分処理をおこなう画像処理方法や（たとえば、下記特許文献１参照。）、カメラの向きやプラットフォームの状態等の情報を使用してシーン全体の移動分を算出しその分ずらしてフレーム積分処理をおこなう目標検出処理装置が開示されている（たとえば、下記特許文献２参照。）。
【０００６】
【特許文献１】特開平９−５６７０７号公報
【特許文献２】特開２００３−２７０３１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来のフレーム積分処理は、画像データのＳ／Ｎ比を改善するのに有効な処理であるが、基本的にシーン内容の変化が充分小さい画像に対してしか使用できなかった。また、上記特許文献１、２の技術の場合、シーン全体（背景）の移動分を算出している。したがって、背景に対して移動している目標物体に関してはＳ／Ｎ比を改善させることはできなかった。
【０００８】
図１６は、従来のフレーム積分処理の問題点を示す説明図である。図１６のように、画像フレーム１６０１と、連続するつぎのフレームである画像フレーム１６０２とを比較すると、背景画像と、目標物体Ｏとの双方が移動していることがわかる。しかしながら、従来の技術では、背景画像の移動分Ｍは補正されるためフレーム積分によりＳ／Ｎ比が改善されるが、目標物体Ｏに関しては、かえってＳ／Ｎ比が劣化してしまうという問題があった。
【０００９】
この発明は、上述した従来技術による問題点を解消するため、背景画像に対して移動する物体に対しても背景画像と同時に画質を向上させることのできる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するため、この画像処理装置、画像処理プログラムおよび画像処理方法は、Ｎ番目の画像フレームの背景画像と、Ｎ＋１番目の画像フレームの背景画像との位置のずれを算出して、前記Ｎ＋１番目の画像フレームの背景画像の移動量を求める処理と、前記Ｎ番目の画像フレームの画像全体の位置を、求められた移動量移動させて、背景位置を補正した背景補正フレームを生成する処理と、生成された背景補正フレームと、前記Ｎ＋１番目の画像フレームとを比較して、双方のフレームに共通して含まれる所定の特徴を含んだ画像を目標物体として検出する処理と、検出された前記背景補正フレームに含まれる目標物体と、前記Ｎ＋１番目の画像フレームに含まれる目標物体との位置のずれを算出して、前記目標物体の移動量を求める処理と、前記背景補正フレームに含まれる目標物体を、求められた移動量移動させて、前記目標物体の位置を補正した目標物体補正フレームを生成する処理と、生成された目標物体補正フレームと、前記Ｎ＋１番目の画像フレームとを積分して補正画像フレームを生成する処理と、生成された補正画像フレームを出力する処理と、を含むことを要件とする。
【００１１】
この画像処理装置、画像処理プログラムおよび画像処理方法によれば、Ｎ番目の画像フレームとＮ＋１番目の画像フレームとを比較して背景画像の移動量を補正するとともに、目標物体の移動量も補正された画像フレームによってフレーム積分をおこなうことができる。
【発明の効果】
【００１２】
この画像処理装置、画像処理プログラムおよび画像処理方法によれば、背景画像に対して移動する物体に対しても背景画像と同時に画質を向上させることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下に添付図面を参照して、この画像処理装置、画像処理プログラムおよび画像処理方法の好適な実施の形態を詳細に説明する。
【００１４】
（画像処理の概要）
まず、本実施の形態にかかる画像処理の概要について説明する。図１は、本実施の形態にかかる画像処理の概要を示す説明図である。図１の画像フレーム１０１と、画像フレーム１０２とは、動画を構成する連続したフレームの一例である。画像フレーム１０１と画像フレーム１０２とを比較すると、背景画像に対して目標物体Ｏが目標移動量ＭＯ移動しているとともに、背景画像自体も背景移動量ＭＢ移動している。
【００１５】
本実施の形態の場合、背景画像の背景移動量ＭＢと、目標物体Ｏの目標移動量ＭＯとをそれぞれ求める。そして、連続する画像フレーム１０１、１０２の一方の画像に対して背景移動量ＭＢ＋目標領域のみ目標移動量ＭＯ分だけずらした後、フレーム積分処理をおこなう。すなわち、背景画像のずれとともに、目標物体のずれが補正された連続した画像フレーム１０１、１０２に対してフレーム積分される。したがって、背景画像および目標物体Ｏの双方のＳ／Ｎ比の改善効果が得られる。
【００１６】
このように、本実施の形態の画像処理を用いることによって、移動する目標物体に対して自動的に背景移動量と目標移動量の双方が補正されたフレームに対してフレーム積分処理が適用されるため、目標物体に対しても背景画像と同様にＳ／Ｎ比が改善されたフレーム積分画像を得ることができる。以下に、本実施の形態の画像処理を適用した具体的な画像処理装置、画像処理プログラムおよび画像処理方法について説明する。
【００１７】
なお、以下の説明では、連続するＮ番目の画像フレームとＮ＋１番目の画像フレームの移動量を求めた後、前のＮ番目の画像フレームに対して移動量を反映させ、後のＮ＋１番目の画像フレームと位置関係を統一させるものとする。これと反対に、求めた移動量を後のＮ＋１番目の画像フレームに反映させＮ番目の画像フレームを基準に位置関係を統一させた後にフレーム積分をおこなってもよい。
【００１８】
（画像処理装置のハードウェア構成）
まず、本実施の形態にかかる画像処理を適用させた画像処理装置２００のハードウェア構成について説明する。図２は、画像処理装置のハードウェア構成を示すブロック図である。
【００１９】
図２において、画像処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、磁気ディスクドライブ２０４と、磁気ディスク２０５と、光ディスクドライブ２０６と、光ディスク２０７と、ディスプレイ２０８と、通信Ｉ／Ｆ（インターフェース）２０９と、キーボード２１０と、マウス２１１と、リアルタイム画像取得装置２１２と、プリンタ２１３と、を備えている。また、各構成部はバス２２０によってそれぞれ接続されている。
【００２０】
ここで、ＣＰＵ２０１は、画像処理装置２００の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。磁気ディスクドライブ２０４は、ＣＰＵ２０１の制御にしたがって磁気ディスク２０５に対するデータのリード／ライトを制御する。磁気ディスク２０５は、磁気ディスクドライブ２０４の制御で書き込まれたデータを記憶する。
【００２１】
光ディスクドライブ２０６は、ＣＰＵ２０１の制御にしたがって光ディスク２０７に対するデータのリード／ライトを制御する。光ディスク２０７は、光ディスクドライブ２０６の制御で書き込まれたデータを記憶したり、光ディスク２０７に記憶されたデータを画像処理装置２００に読み取らせたりする。
【００２２】
また、光ディスク２０７として、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ）、メモリーカードなどを採用することができる。ディスプレイ２０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ２０８は、たとえば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
【００２３】
通信Ｉ／Ｆ２０９は、通信回線を通じてインターネットなどのネットワーク２１４に接続され、このネットワーク２１４を介して他の装置に接続される。そして、通信Ｉ／Ｆ２０９は、ネットワーク２１４と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。通信Ｉ／Ｆ２０９には、たとえば、モデムやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）アダプタなどを採用することができる。
【００２４】
キーボード２１０は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス２１１は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
【００２５】
リアルタイム画像取得装置２１２は、ディジタルビデオカメラなどを使用し画像処理装置２００内にリアルタイムに動画像を取り込むことができる。また、プリンタ２１３は、画像データや文書データを印刷する。プリンタ２１３には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
【００２６】
（画像処理装置の機能的構成）
つぎに、画像処理装置の機能的構成について説明する。図３は、画像処理装置２００の機能的構成を示すブロック図である。図３において、画像処理装置２００は、背景移動量算出部３０１と、背景補正部３０２と、目標物体検出部３０３と、目標物体移動量算出部３０４と、目標物体補正部３０５と、フレーム積分部３０６と、出力部３０７と、を含んでいる。これら各機能３０１〜３０７は、画像処理装置２００の記憶部に記憶された当該機能３０１〜３０７に関するプログラムをＣＰＵに実行させることにより、当該機能を実現することができる。
【００２７】
まず、背景移動量算出部３０１には、Ｎ番目の画像フレームと、Ｎ＋１番目の画像フレームとが入力され、Ｎ番目の画像フレームの背景画像と、Ｎ＋１番目の画像フレームの背景画像との位置のずれを算出する。ここで、Ｎ番目の画像フレームの背景画像と、Ｎ＋１番目の画像フレームの背景画像との位置のずれを算出するには、たとえば、２つの背景画像の差分を求める手法がある。この算出結果を、Ｎ番目の画像フレームに対するＮ＋１番目の画像フレームの背景画像の移動量として出力する。
【００２８】
背景補正部３０２には、Ｎ番目の画像フレームと、背景移動量算出部３０１によって求められた移動量とが入力され、Ｎ番目の画像フレームの画像全体の位置を入力された移動量分移動させる。移動処理が施されたＮ番目の画像フレームは、背景位置を補正した背景補正フレームとして出力される。
【００２９】
目標物体検出部３０３には、背景補正部３０２によって生成された背景補正フレームと、Ｎ＋１番目の画像フレームとが入力され、２つの画像フレームを比較し、双方のフレームに共通して含まれる所定の特徴を含んだ画像を目標物体として検出する。
【００３０】
目標物体移動量算出部３０４には、Ｎ＋１番目の画像フレームと、目標物体検出部３０３によって検出された目標物体とが入力され、背景補正フレームに含まれる目標物体と、Ｎ＋１番目の画像フレームに含まれる目標物体との位置のずれを算出して、目標物体の移動量を求める。ここでも、背景補正フレームに含まれる目標物体と、Ｎ＋１番目の画像フレームに含まれる目標物体との位置のずれを算出する一例として、２つの目標物体の差分を求めてもよい。
【００３１】
目標物体補正部３０５には、背景補正フレームと、目標物体の移動量とが入力され、背景補正フレームに含まれる目標物体を入力された目標物体の移動量だけ移動させる。この目標物体の位置が補正された背景補正フレームは、目標物体補正フレームとして出力される。
【００３２】
フレーム積分部３０６には、目標物体補正部３０５によって生成された目標物体補正フレームと、Ｎ＋１番目の画像フレームとが入力され、２つの画像フレームを積分して補正画像フレームを生成する。生成された補正画像フレームは、出力部３０７によって外部に出力される。
【００３３】
（実施例）
つぎに、本実施の形態にかかる画像処理装置２００によるフレーム補正の具体的な実施例について説明する。図４は、画像処理装置における画像フレーム補正処理部の構成を示すブロック図である。図４の各機能部４０１〜４０７は、図４に示した機能を実現する処理の実現例であり、具体的には、低解像度画像作成部４０１、４０２と、背景移動量算出部４０３と、画像ずらし処理部（全体）４０４と、目標物体検出／移動量算出部４０５、画像ずらし処理部（目標物体画像群のみ）４０６と、フレーム積分部４０７と、を含んでいる。
【００３４】
＜解像度調整処理＞
一般的に画像処理装置２００に入力される画像フレームには、背景画像と目標物体Ｏとが混在していることが多い。そして、本実施の形態のように目標物体ＯのＳ／Ｎ比の改善を目的とする場合は、目標物体Ｏが含まれた画像フレームの処理が必須となる。したがって背景画像と目標物体とを区別して検出するには、画像フレームに特別な処理を施す必要がある。そこで、画像処理装置２００では、低解像度画像作成部４０１、４０２によって画像フレームの解像度の低下処理を実行し、目標物体Ｏを含まないような画像フレームに作り替える。
【００３５】
図５は、画像フレームの解像度調整処理を示す説明図である。低解像度画像作成部４０１、４０２には、目標物体Ｏを含んだ画像フレーム５０１が入力される。たとえば、この画像フレーム５０１の解像度が６４０×４８０画素サイズとすると、この画像フレーム５０１の画素を１０画素ごとに抽出して、画像フレーム５０２のように６４×４８画素サイズにする。
【００３６】
たとえば、画像フレーム５０１に含まれる目標物体Ｏのサイズが１０×１０画素サイズであれば、上述の解像度の低下処理によって、画像フレーム５０２に含まれる目標物体Ｏのサイズは１×１画素サイズとなる。さらに、画像フレーム５０２に対して解像度低下処理を実行することによって、画像フレーム５０３のように目標物体Ｏをほとんど含まない画像となる。
【００３７】
このように、低解像度画像作成部４０１、４０２では、入力された画像フレーム５０１に対して所定の割合で解像度を低下させる解像度低下処理を実行する。そして、解像度を低下させた画像フレーム５０２に対してさらに解像度低下処理を実行して目標物体Ｏがほとんど含まれない背景画像による画像フレーム５０３に作り替えることができる。ここで、図６は、Ｎ番目の画像フレームの低解像度化を示す説明図である。また、図７は、Ｎ＋１番目の画像フレームの低解像度化を示す説明図である。
【００３８】
図６のように、Ｎ番目の画像フレーム６０１は、低解像度画像作成部４０１によって、目標物体Ｏをほとんど含まない画像フレーム６０２に作り替えられる。また、図７のように、Ｎ＋１番目の画像フレーム７０１は、低解像度画像作成部４０２によって、目標物体Ｏをほとんど含まない画像フレーム７０２に作り替えられる。低解像度画像作成部４０１、４０２によって作り替えられた画像フレーム６０２、７０２は、背景移動量算出部４０３に出力される。
【００３９】
＜背景移動量算出処理＞
つぎに、背景移動量算出部４０３によって背景画像の移動量が算出される。図８は、背景移動量算出処理を示す説明図である。図８のように、背景移動量算出部４０３では、低解像度画像作成部４０１によって作成されたＮ番目の画像フレーム６０２と、低解像度画像作成部４０２によって作成されたＮ＋１番目の画像フレーム７０２とを比較し、背景画像の位置のずれを算出する。背景移動量算出部４０３によって算出された位置のずれが連続する画像フレーム（Ｎ、Ｎ＋１番目）の背景移動量ＭＢとなる。
【００４０】
＜全体画像の移動量補正処理＞
つぎに、画像ずらし処理部４０４による全体画像の移動量補正処理について説明する。画像ずらし処理部４０４では、背景移動量算出部４０３によって算出された背景移動量ＭＢを用いてＮ番目の画像フレーム画像６０１（図６参照）の全体画像の位置を移動させる。図９は、全体画像の移動量補正を示す説明図である。図９のように、画像ずらし処理部４０４では、Ｎ番目の画像フレーム画像６０１の全体が背景移動量ＭＢ分ずらした背景補正画像９０１が生成される。
【００４１】
＜目標物体の検出・移動量算出処理＞
つぎに、目標物体検出／移動量算出部４０５による目標物体Ｏの検出処理と移動量算出処理について説明する。目標物体検出／移動量算出部４０５には、画像ずらし処理部４０４によって生成されたＮ番目の画像フレームの背景補正画像９０１（図９参照）と、Ｎ＋１番目の画像フレーム７０１（図７参照）とが入力され、双方の画像フレームに含まれる移動体である目標物体Ｏを検出する。
【００４２】
ここで目標物体Ｏの検出処理について詳しく説明する。目標物体検出／移動量算出部４０５の目標物体抽出機能部には、不図示の分割部と、最大変化画像領域検出部と、マッチング部とが含まれている。分割部は、画像ずらし処理部４０４によって生成されたＮ番目の画像フレームの背景補正画像９０１と、Ｎ＋１番目の画像フレーム７０１とを、それぞれ共通の画像領域群に分割する。そして、最大変化画像領域検出部は、分割部によって分割された画像領域群の中から画像変化量の最も大きい画像領域を検出する。最後に、マッチング部が最大変化画像領域検出部によって検出された画像領域にテンプレートマッチングをおこなうことによって、目標物体Ｏを検出することができる。
【００４３】
さらに、上述した検出処理を図１０−１〜図１０−３を用いて順番に説明する。図１０−１は、目標物体の領域限定処理を示す説明図である。まず、画像フレームの中のどの領域に目標物体Ｏが含まれているかを抽出して処理対象を限定しなければならない。したがって、図１０−１のように、画像フレームの背景補正画像９０１を小さな領域群に分解し、Ｎ＋１番目の画像フレーム７０１と比較した場合に、画像の変化レベルの大きな領域を抽出する。
【００４４】
図１０−１の画像フレーム１００１では、背景補正画像９０１と、Ｎ＋１番目の画像フレーム７０１と比較した場合に変化レベルが大きく抽出される領域Ａ、Ｂを太枠にしてあらわしている。このように、画像の変化レベルが大きい領域とは、すなわち連続する画像フレームに表示される移動体が含まれる領域となる。したがって、自動的に目標物体Ｏを含んだ領域が抽出される。
【００４５】
目標物体Ｏが含まれる領域が抽出されると、抽出された領域に限定してテンプレートマッチングをおこなう。図１０−２は、テンプレートマッチング処理を示す説明図である。図１０−２のように、画像フレーム１００２では、図１０−１にて抽出された領域Ａ、Ｂがそのままテンプレートマッチング領域Ｒとなる。テンプレートマッチングとは、特定のパターンを検出するための画像などを用意し、処理対象画像と比較して特定パターンと一致する箇所を検出する処理である。
【００４６】
目標物体検出／移動量算出部４０５では、目標物体を検出するための画像が用意され、テンプレートマッチング領域Ｒとの比較処理がおこなわれる。なお、目標物体を検出するための画像は、あらかじめ用意してもよいし、Ｎ番目の画像フレーム６０１の前に画像処理が終了した他のフレーム（たとえば、Ｎ−１番目、Ｎ−２番目の画像フレームなど）から用意してもよい。
【００４７】
テンプレートマッチングが終了するとマッチング結果に基づいて、目標物体Ｏが検出される。図１０−３は、検出された目標物体Ｏを示す説明図である。図１０−３のように、画像フレーム１００３では、どの領域にどのような形状の目標物体Ｏが含まれているかが特定される。以上の処理によって目標物体Ｏの検出処理が終了する。
【００４８】
目標物体検出／移動量算出部４０５では、目標物体Ｏが検出されると、つぎに、目標物体Ｏの移動量の算出処理がおこなわれる。図１１は、目標物体移動量算出処理を示す説明図である。目標物体検出／移動量算出部４０５では、上述した検出処理によって、Ｎ＋１番目の画像フレーム７０１と、背景補正画像９０１とに含まれる目標物体Ｏが検出済みである。したがって、図１１のように、Ｎ＋１番目の画像フレーム７０１と、背景補正画像９０１とに含まれる目標物体Ｏの位置のずれを算出する。目標物体検出／移動量算出部４０５によって算出された目標物体Ｏの位置のずれは、目標移動量ＭＯとして出力される。
【００４９】
＜目標物体の移動量補正処理＞
つぎに、画像ずらし処理部４０６による目標物体Ｏの移動量補正処理について説明する。図１２は、目標物体の移動量補正を示す説明図である。画像ずらし処理部４０６には、背景補正画像９０１と、目標移動量ＭＯとが入力される。したがって、画像ずらし処理部４０６は、図１２のように、背景補正画像９０１の目標物体Ｏが目標移動量ＭＯ分ずらされた目標物体補正画像１２０１が生成される。
【００５０】
＜フレーム積分処理＞
最後に、フレーム積分部４０７によるフレーム積分処理について説明する。図１３は、フレーム積分処理を示す説明図である。フレーム積分部４０７には、背景画像、目標物体Ｏの双方の移動量が補正された目標物体補正画像１２０１と、Ｎ＋１番目の画像フレーム７０１とが入力される。したがって、この２つの画像フレーム１３０１を用いて積分をおこなう。具体的には下記（１）式によって、画像フレームを構成する個々の画素が出力される。
【００５１】
【数１】
【００５２】
Ｎ番目の画像フレームを構成するすべての画素についての算出処理が終了すると、Ｎ番目の画像フレーム４０１の補正画像フレームが出力され、Ｎ番目の画像フレーム６０１に対する一連の画像処理が終了する。画像処理装置２００は、続いて、Ｎ＋１番目の画像フレーム７０１とＮ＋２番目の画像フレーム（不図示）が入力されるため、Ｎ＋１番目の画像フレーム７０１についても、Ｎ番目の画像フレーム６０１と同様の処理が施され、補正画像フレームとして出力される。これら一連の処理は画像処理装置２００に入力された動画データが終了するか、利用者や上位システムからの終了指示が入力されるまで継続される。
【００５３】
以上説明したように、本実施の形態によれば、動画データを構成する連続する画像フレームを比較して背景画像の移動量を補正するとともに、目標物体の移動量を補正された画像フレームによってフレーム積分をおこなうことができる。したがって、背景画像に対して移動する物体に対しても背景画像と同時に画質を向上させることができる。
【００５４】
なお、本実施の形態で説明した画像処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な媒体であってもよい。
【００５５】
また、本実施の形態で説明した画像処理装置２００は、スタンダードセルやストラクチャードＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定用途向けＩＣ（以下、単に「ＡＳＩＣ」と称す。）やＦＰＧＡなどのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によっても実現することができる。具体的には、たとえば、上述した画像処理装置２００の機能（３０１〜３０７）をＨＤＬ記述によって機能定義し、そのＨＤＬ記述を論理合成してＡＳＩＣやＰＬＤに与えることにより、画像処理装置２００を製造することができる。
【図面の簡単な説明】
【００５６】
【図１】本実施の形態にかかる画像処理の概要を示す説明図である。
【図２】画像処理装置のハードウェア構成を示すブロック図である。
【図３】画像処理装置の機能的構成を示すブロック図である。
【図４】画像処理装置における画像フレーム補正処理部の構成を示すブロック図である。
【図５】画像フレームの解像度調整処理を示す説明図である。
【図６】Ｎ番目の画像フレームの低解像度化を示す説明図である。
【図７】Ｎ＋１番目の画像フレームの低解像度化を示す説明図である。
【図８】背景移動量算出処理を示す説明図である。
【図９】全体画像の移動量補正を示す説明図である。
【図１０−１】目標物体の領域限定処理を示す説明図である。
【図１０−２】テンプレートマッチング処理を示す説明図である。
【図１０−３】検出された目標物体を示す説明図である。
【図１１】目標物体移動量算出処理を示す説明図である。
【図１２】目標物体の移動量補正を示す説明図である。
【図１３】フレーム積分処理を示す説明図である。
【図１４】従来のフレーム積分処理を示す説明図である。
【図１５】従来のフレーム加算処理を示す説明図である。
【図１６】従来のフレーム積分処理の問題点を示す説明図である。
【符号の説明】
【００５７】
１０１ 画像フレーム
１０２ 補正後画像フレーム
２００ 画像処理装置
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 磁気ディスクドライブ
２０５ 磁気ディスク
２０６ 光ディスクドライブ
２０７ 光ディスク
２０８ ディスプレイ
２０９ 通信Ｉ／Ｆ
２１０ キーボード
２１１ マウス
２１２ リアルタイム画像取得装置
２１３ プリンタ
２１４ ネットワーク（ＮＥＴ）
３０１ 背景移動量算出部
３０２ 背景補正部
３０３ 目標物体検出部
３０４ 目標物体移動量算出部
３０５ 目標物体補正部
３０６ フレーム積分部
３０７ 出力部
４０１、４０２ 低解像度画像作成部
４０３ 背景移動量算出部
４０４ 画像ずらし処理部（全体）
４０５ 目標物体検出／移動量算出部
４０６ 画像ずらし処理部（目標物体画像群のみ）
４０７ フレーム積分部
【特許請求の範囲】
【請求項１】
Ｎ番目の画像フレームの背景画像と、Ｎ＋１番目の画像フレームの背景画像との位置のずれを算出して、前記Ｎ＋１番目の画像フレームの背景画像の移動量を求める背景移動量算出手段と、
前記Ｎ番目の画像フレームの画像全体の位置を、前記背景移動量算出手段によって求められた背景移動量だけ移動させて、背景位置を補正した背景補正フレームを生成する背景補正手段と、
前記背景補正手段によって生成された背景補正フレームと、前記Ｎ＋１番目の画像フレームとを比較して、双方のフレームに共通して含まれる所定の特徴を含んだ画像領域を目標物体として検出する目標物体検出手段と、
前記目標物体検出手段によって検出された、前記背景補正フレームに含まれる目標物体と、前記Ｎ＋１番目の画像フレームに含まれる目標物体との位置のずれを算出して、前記目標物体の移動量を求める目標物体移動量算出手段と、
前記背景補正フレームに含まれる目標物体を、前記目標物体移動量算出手段によって求められた目標物体の移動量だけ移動させて、前記目標物体の位置を補正した目標物体補正フレームを生成する目標物体補正手段と、
前記目標物体補正手段によって生成された目標物体補正フレームと、前記Ｎ＋１番目の画像フレームとをフレーム積分して補正画像フレームを生成するフレーム積分手段と、
前記フレーム積分手段によって生成された補正画像フレームを出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
入力された画像フレームを、所定の割合で解像度を低下させる解像度の低下処理を実行する解像度調整手段を備え、
前記背景移動量算出手段は、前記解像度調整手段による解像度低下後のＮ番目の画像フレームと、解像度低下後のＮ＋１番目の画像フレームとの位置のずれを算出して、前記Ｎ＋１番目の画像フレームの背景画像の移動量を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記解像度調整手段は、前記背景画像以外の画像が含まれなくなるまで前記解像度の低下処理を繰り返し実行することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記目標物体検出手段は、前記背景補正手段によって生成された背景補正フレームと、前記Ｎ＋１番目の画像フレームとを、それぞれ共通の画像領域群に分割する分割手段と、
前記分割手段によって分割された画像領域群の中から画像変化量の最も大きい画像領域を検出する最大変化画像領域検出手段と、
前記最大変化画像領域検出手段によって検出された画像領域にテンプレートマッチングをおこなうマッチング手段と、を備え、
前記マッチング手段によるテンプレートマッチング結果を参照して前記目標物体を検出することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
コンピュータを、
Ｎ番目の画像フレームの背景画像と、Ｎ＋１番目の画像フレームの背景画像との位置のずれを算出して、前記Ｎ＋１番目の画像フレームの背景画像の移動量を求める背景移動量算出手段、
前記Ｎ番目の画像フレームの画像全体の位置を、前記背景移動量算出手段によって求められた移動量移動させて、背景位置を補正した背景補正フレームを生成する背景補正手段、
前記背景補正手段によって生成された背景補正フレームと、前記Ｎ＋１番目の画像フレームとを比較して、双方のフレームに共通して含まれる所定の特徴を含んだ画像を目標物体として検出する目標物体検出手段、
前記目標物体検出手段によって検出された前記背景補正フレームに含まれる目標物体と、前記Ｎ＋１番目の画像フレームに含まれる目標物体との位置のずれを算出して、前記目標物体の移動量を求める目標物体移動量算出手段、
前記背景補正フレームに含まれる目標物体を、前記目標物体移動量算出手段によって求められた目標物体の移動量だけ移動させて前記目標物体の位置を補正した目標物体補正フレームを生成する目標物体補正手段、
前記目標物体補正手段によって生成された目標物体補正フレームと、前記Ｎ＋１番目の画像フレームとをフレーム積分して補正画像フレームを生成するフレーム積分手段、
前記フレーム積分手段によって生成された補正画像フレームを出力する出力手段、
として機能させることを特徴とする画像処理プログラム。
【請求項６】
Ｎ番目の画像フレームの背景画像と、Ｎ＋１番目の画像フレームの背景画像との位置のずれを算出して、前記Ｎ＋１番目の画像フレームの背景画像の移動量を求める背景移動量算出工程と、
前記Ｎ番目の画像フレームの画像全体の位置を、前記背景移動量算出工程によって求められた背景移動量だけ移動させて、背景位置を補正した背景補正フレームを生成する背景補正工程と、
前記背景補正工程によって生成された背景補正フレームと、前記Ｎ＋１番目の画像フレームとを比較して、双方のフレームに共通して含まれる所定の特徴を含んだ画像を目標物体として検出する目標物体検出工程と、
前記目標物体検出工程によって検出された前記背景補正フレームに含まれる目標物体と、前記Ｎ＋１番目の画像フレームに含まれる目標物体との位置のずれを算出して、前記目標物体の移動量を求める目標物体移動量算出工程と、
前記背景補正フレームに含まれる目標物体を、前記目標物体移動量算出工程によって求められた目標物体の移動量だけ移動させて前記目標物体の位置を補正した目標物体補正フレームを生成する目標物体補正工程と、
前記目標物体補正工程によって生成された目標物体補正フレームと、前記Ｎ＋１番目の画像フレームとをフレーム積分して補正画像フレームを生成するフレーム積分工程と、
前記フレーム積分工程によって生成された補正画像フレームを出力する出力工程と、
を含むことを特徴とする画像処理方法。
【請求項１】
Ｎ番目の画像フレームの背景画像と、Ｎ＋１番目の画像フレームの背景画像との位置のずれを算出して、前記Ｎ＋１番目の画像フレームの背景画像の移動量を求める背景移動量算出手段と、
前記Ｎ番目の画像フレームの画像全体の位置を、前記背景移動量算出手段によって求められた背景移動量だけ移動させて、背景位置を補正した背景補正フレームを生成する背景補正手段と、
前記背景補正手段によって生成された背景補正フレームと、前記Ｎ＋１番目の画像フレームとを比較して、双方のフレームに共通して含まれる所定の特徴を含んだ画像領域を目標物体として検出する目標物体検出手段と、
前記目標物体検出手段によって検出された、前記背景補正フレームに含まれる目標物体と、前記Ｎ＋１番目の画像フレームに含まれる目標物体との位置のずれを算出して、前記目標物体の移動量を求める目標物体移動量算出手段と、
前記背景補正フレームに含まれる目標物体を、前記目標物体移動量算出手段によって求められた目標物体の移動量だけ移動させて、前記目標物体の位置を補正した目標物体補正フレームを生成する目標物体補正手段と、
前記目標物体補正手段によって生成された目標物体補正フレームと、前記Ｎ＋１番目の画像フレームとをフレーム積分して補正画像フレームを生成するフレーム積分手段と、
前記フレーム積分手段によって生成された補正画像フレームを出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
入力された画像フレームを、所定の割合で解像度を低下させる解像度の低下処理を実行する解像度調整手段を備え、
前記背景移動量算出手段は、前記解像度調整手段による解像度低下後のＮ番目の画像フレームと、解像度低下後のＮ＋１番目の画像フレームとの位置のずれを算出して、前記Ｎ＋１番目の画像フレームの背景画像の移動量を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記解像度調整手段は、前記背景画像以外の画像が含まれなくなるまで前記解像度の低下処理を繰り返し実行することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記目標物体検出手段は、前記背景補正手段によって生成された背景補正フレームと、前記Ｎ＋１番目の画像フレームとを、それぞれ共通の画像領域群に分割する分割手段と、
前記分割手段によって分割された画像領域群の中から画像変化量の最も大きい画像領域を検出する最大変化画像領域検出手段と、
前記最大変化画像領域検出手段によって検出された画像領域にテンプレートマッチングをおこなうマッチング手段と、を備え、
前記マッチング手段によるテンプレートマッチング結果を参照して前記目標物体を検出することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
コンピュータを、
Ｎ番目の画像フレームの背景画像と、Ｎ＋１番目の画像フレームの背景画像との位置のずれを算出して、前記Ｎ＋１番目の画像フレームの背景画像の移動量を求める背景移動量算出手段、
前記Ｎ番目の画像フレームの画像全体の位置を、前記背景移動量算出手段によって求められた移動量移動させて、背景位置を補正した背景補正フレームを生成する背景補正手段、
前記背景補正手段によって生成された背景補正フレームと、前記Ｎ＋１番目の画像フレームとを比較して、双方のフレームに共通して含まれる所定の特徴を含んだ画像を目標物体として検出する目標物体検出手段、
前記目標物体検出手段によって検出された前記背景補正フレームに含まれる目標物体と、前記Ｎ＋１番目の画像フレームに含まれる目標物体との位置のずれを算出して、前記目標物体の移動量を求める目標物体移動量算出手段、
前記背景補正フレームに含まれる目標物体を、前記目標物体移動量算出手段によって求められた目標物体の移動量だけ移動させて前記目標物体の位置を補正した目標物体補正フレームを生成する目標物体補正手段、
前記目標物体補正手段によって生成された目標物体補正フレームと、前記Ｎ＋１番目の画像フレームとをフレーム積分して補正画像フレームを生成するフレーム積分手段、
前記フレーム積分手段によって生成された補正画像フレームを出力する出力手段、
として機能させることを特徴とする画像処理プログラム。
【請求項６】
Ｎ番目の画像フレームの背景画像と、Ｎ＋１番目の画像フレームの背景画像との位置のずれを算出して、前記Ｎ＋１番目の画像フレームの背景画像の移動量を求める背景移動量算出工程と、
前記Ｎ番目の画像フレームの画像全体の位置を、前記背景移動量算出工程によって求められた背景移動量だけ移動させて、背景位置を補正した背景補正フレームを生成する背景補正工程と、
前記背景補正工程によって生成された背景補正フレームと、前記Ｎ＋１番目の画像フレームとを比較して、双方のフレームに共通して含まれる所定の特徴を含んだ画像を目標物体として検出する目標物体検出工程と、
前記目標物体検出工程によって検出された前記背景補正フレームに含まれる目標物体と、前記Ｎ＋１番目の画像フレームに含まれる目標物体との位置のずれを算出して、前記目標物体の移動量を求める目標物体移動量算出工程と、
前記背景補正フレームに含まれる目標物体を、前記目標物体移動量算出工程によって求められた目標物体の移動量だけ移動させて前記目標物体の位置を補正した目標物体補正フレームを生成する目標物体補正工程と、
前記目標物体補正工程によって生成された目標物体補正フレームと、前記Ｎ＋１番目の画像フレームとをフレーム積分して補正画像フレームを生成するフレーム積分工程と、
前記フレーム積分工程によって生成された補正画像フレームを出力する出力工程と、
を含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０−１】
【図１０−２】
【図１０−３】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０−１】
【図１０−２】
【図１０−３】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−２４５１５９（Ｐ２００９−２４５１５９Ａ）
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願番号】特願２００８−９０９３１（Ｐ２００８−９０９３１）
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]