画像処理装置、画像処理方法
【課題】 同一フレーム内の画像信号と時間軸方向の変化を利用しつつ、より高い効果のある画質改善が可能な画像処理技術を提供すること。
【解決手段】 第（ｔ−１）フレーム画像について分解した複数の周波数帯域のうち所望の周波数帯域に属する係数を用いて、第ｔフレーム画像について分解した複数の周波数帯域のうち所望の周波数帯域に属する係数を変更する（Ｓ８０４）。そして、変更した周波数帯域を含む全ての周波数帯域の係数に基づいて画像を再構成し（Ｓ８０７）、再構成された画像を、第ｔフレーム画像として出力する（Ｓ８０８）。
【解決手段】 第（ｔ−１）フレーム画像について分解した複数の周波数帯域のうち所望の周波数帯域に属する係数を用いて、第ｔフレーム画像について分解した複数の周波数帯域のうち所望の周波数帯域に属する係数を変更する（Ｓ８０４）。そして、変更した周波数帯域を含む全ての周波数帯域の係数に基づいて画像を再構成し（Ｓ８０７）、再構成された画像を、第ｔフレーム画像として出力する（Ｓ８０８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数のフレームから構成される動画像シーケンスを対象とし、対象となる画像を高画質化処理する為の画像処理装置に関する。
【背景技術】
【０００２】
従来から、複数フレームで構成される動画像シーケンスのＳ／Ｎ比を改善する画像処理装置として、様々な考案がなされている。Ｓ／Ｎ比を改善する例としてノイズ除去処理を対象とした場合は、例えば特許文献１に開示されるように、リカーシブフィルタを備えたものがある。この文献においては、リカーシブフィルタのフィルタ係数を画像信号の大きさに応じて変化させることにより、Ｘ線画像の特性である画像の濃度とノイズ量との関係に基づいたノイズ除去処理を行うことができる。
【０００３】
また、画像を鮮鋭化してより見やすくするための処理としては、例えば特許文献２に開示されるように、ボケマスク処理における強調係数を画像に描出された被写体に応じて変化させる。これにより、不必要なノイズの強調を抑制しつつ画像信号の強調を行うことができる。
【特許文献１】特開平０５−０８７３９４号公報
【特許文献２】特開平７−２１３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述した従来技術のリカーシブフィルタにおいては、複数のフレームにまたがる画像信号の時間方向加算によりノイズを減少させることができるが、同一フレーム内の情報を有効に活用しているものではない。また、ボケマスク処理においては、画像のエッジ近傍においてオーバーシュートなどのアーチファクトが生ずることが知られている。
【０００５】
本発明は以上の問題に鑑みて成されたものであり、同一フレーム内の画像信号と時間軸方向の変化を利用しつつ、より高い効果のある画質改善が可能な画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【０００７】
即ち、動画像を構成する各フレームの画像を順次入力する入力手段と、
第１フレーム画像を複数の周波数帯域に分解する分解手段と、
前記第１フレーム画像について前記分解手段が分解した複数の周波数帯域のうち所望の周波数帯域に属する係数を、前記第１フレーム画像よりも前のフレームの画像である第２フレーム画像について前記分解手段が分解した複数の周波数帯域のうち当該所望の周波数帯域に対応する周波数帯域に属する係数を用いて変更する変更手段と、
前記変更手段により変更した周波数帯域を含む全ての周波数帯域の係数に基づいて前記分解手段が行った逆の処理を行うことにより、画像を再構成する再構成手段と、
前記再構成手段により再構成された画像を、前記第１フレーム画像として出力する出力手段と
を備えることを特徴とする。
【０００８】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【０００９】
即ち、動画像を構成する各フレームの画像を順次入力する入力工程と、
第１フレーム画像を複数の周波数帯域に分解する分解工程と、
前記第１フレーム画像について前記分解工程で分解した複数の周波数帯域のうち所望の周波数帯域に属する係数を、前記第１フレーム画像よりも前のフレームの画像である第２フレーム画像について前記分解工程で分解した複数の周波数帯域のうち当該所望の周波数帯域に対応する周波数帯域に属する係数を用いて変更する変更工程と、
前記変更工程で変更した周波数帯域を含む全ての周波数帯域の係数に基づいて前記分解工程で行った逆の処理を行うことにより、画像を再構成する再構成工程と、
前記再構成工程で再構成された画像を、前記第１フレーム画像として出力する出力工程と
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明の構成により、同一フレーム内の画像信号と時間軸方向の変化を利用しつつ、より高い効果のある画質改善を計ることができる。
【発明を実施するための最良の形態】
【００１１】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１２】
［第１の実施形態］
図１は、本実施形態に係る画像処理装置１００の機能構成を示すブロック図である。同図に示す如く、画像処理装置１００は、画像入力部１、周波数分解部２，係数変更部３、画像再構成部４、係数記憶部５、画像出力部６により構成されている。
【００１３】
画像入力部１は、動画像を構成する各フレームの画像（画像信号）を入力する。画像の供給源としては例えばディジタルカメラがある。例えば、このディジタルカメラがＣＣＤカメラであり、撮像した画像をアナログ画像信号として出力するものである場合には、この画像入力部１は、このアナログ画像信号に対してＡ／Ｄ変換を施し、ディジタル画像信号として後段の周波数分解部２に送出する。また、画像入力部１は入力された画像信号の形式を変換する以外に、例えば、この画像信号に対して、ディジタルカメラ固有の補正処理を行うようにしても良い。このような補正処理には例えば、ディジタルカメラがＣＣＤカメラである場合にはダーク補正処理などがある。
【００１４】
また、画像入力部１には、画像信号は、フレーム単位で、且つスキャンライン順に入力される。即ち、プログレッシブスキャンであることを前提とする。しかし、画像信号の供給源によっては、このような順序でもって画像信号が入力されない場合がある。そこでこのような場合には、画像入力部１は、入力した画像信号の出力順序を入れ替えるようにしても良い。例えば、ディジタルカメラから出力された画像信号がインターレーススキャンである場合、画像入力部１はこの画像信号を受け、プログレッシブスキャンに変換して出力する。
【００１５】
本実施形態では、画像入力部１に入力される動画像は、所定のフレームレート（例えば１秒間に３０フレーム）で、且つ各フレームの画像の解像度が所定の解像度（例えば縦横１０２４画素）であるとする。
【００１６】
また、本実施形態では、各フレームの画像は色成分が１つの画像、即ち、モノクロ画像であるとしているが、これに限定するものではなく、各フレームの画像が複数の色成分を有しても良い。その場合、後述する各処理は各色成分に対して行われることになる。
【００１７】
更に、各フレームの画像が複数の色成分を有する場合、画像入力部１は、色空間変換を行うようにしても良い。例えば、画像入力部１に入力される各フレームの画像がＲＧＢの３つの色成分を有する場合、画像入力部１は、ＲＧＢからＹＵＶに色空間を変換し、後続の処理については変換後の各色成分に対して行うようにすればよい。
【００１８】
周波数分解部２には画像入力部１からフレーム単位で画像が入力されるので、周波数分解部２は、フレーム毎に画像を複数の周波数帯域に分解する。そして、それぞれのフレームについて分解した周波数帯域の係数をフレーム毎に係数変更部３に送出する。
【００１９】
画像を複数の周波数帯域に分解する手法については図２に示す何れの方法を用いても良い。図２（ａ）は、あるフレームの画像Ｆｎに対して２次元離散ウェーブレット変換処理を施すことで、１０個の周波数帯域（ＬＬ〜ＨＨ１）を得る様子を説明する図である。同図では、３レベルの分解が行われている。なお離散ウェーブレット変換については、例えばS.Mallat, “A Theory of Multiresolution Signal Decomposition: the Wavelet Representation”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 11, No.7, July 1989, 674-693等の文献に詳述されているため、説明は省略する。
【００２０】
また、図２（ｂ）は、あるフレームの画像Ｆｎに対してラプラシアンピラミッド分解を行うことで、３つの周波数帯域Ｈ１、Ｈ２、Ｌを得る様子を説明する図である。ここでＨ１およびＨ２は異なる周波数帯域に係る高周波成分であり、Ｌは残余分の低周波帯域に係る成分を表す係数群である。Ｈ２およびＬは、画像Ｆｎに対して解像度が水平および垂直方向の各々について、１／２、１／４となっている。ラプラシアンピラミッド分解については、例えばP.Burt and H.Adelson, “The Laplacian Pyramid as a Compact Image Code”, IEEE Transactions on Communications, Vol.Com-31, No.4, April 1983, 532-540等の文献に詳述されているため説明は省略する。
【００２１】
係数変更部３は、周波数分解部２から出力されたフレームｔの画像（以下、第ｔフレーム画像と呼称する）の周波数帯域ｋに係る係数Ｃｉｊｔ（ｋ）を、係数Ｃ’ｉｊｔ（ｋ）に変更する処理を行う。ここで、ｋは周波数帯域を示す変数で、周波数分解部２が図２（ａ）に示す如く、画像を１０個の周波数帯域に分解した場合には、ｋ＝ＬＬ〜ＨＨ１となる。また、ｉ，ｊは、それぞれの周波数帯域における係数固有のインデックスである。従って、Ｃｉｊｔ（ｋ）は、フレームｔにおける画像の周波数帯域ｋに係る係数群を２次元的に配置した場合に、（ｉ、ｊ）の位置に位置する係数を示すことになる。
【００２２】
ここで、係数変更部３が行う係数変更処理について説明する。
【００２３】
上述の通り、係数変更部３は、周波数分解部２から出力されたフレームの画像の各周波数帯域に係る係数群を変更するのであるが、変更後の係数群は画像再構成部４に出力すると共に、係数記憶部５に格納する。従って、係数変更部３が、第ｔフレーム画像の周波数帯域ｋに係る係数Ｃｉｊｔ（ｋ）について変更処理を行う場合、係数記憶部５には既に、第（ｔ−１）フレーム画像の周波数帯域ｋに係る係数（係数変更部３により変更済み）Ｃ’ｉｊ（ｔ−１）（ｋ）が格納されている。
【００２４】
従って、係数変更部３は、Ｃｉｊｔ（ｋ）、Ｃ’ｉｊ（ｔ−１）（ｋ）を用いて、Ｃｉｊｔ（ｋ）を以下のように変更する。
【００２５】
Ｃ’ｉｊｔ（ｋ）＝Ｅｋ｛αＣｉｊｔ（ｋ）＋（１−α）Ｃ’ｉｊ（ｔ−１）（ｋ）｝ ｄ＜Ｔ
Ｃ’ｉｊｔ（ｋ）＝ＥｋＣｉｊｔ（ｋ） ｄ≧Ｔ
（式１）
但し、α、Ｔは、ノイズ除去に係るパラメータであり、画像信号に含まれるノイズ量に応じて最適な値が予め決定され、係数変更部３内に予め保持されている。
【００２６】
ここで、αは、変更後の係数を生成するにあたり、現在と過去のフレームに係る係数の混合比率を表している。本実施形態の場合、フレームｔにおける係数とフレーム（ｔ−１）における係数とをαで決まる合成比率でもって合成することになる。
【００２７】
Ｔは、係数の差の大きいものを動きのある部分として除外することで、過去のフレームの係数の影響をなくし、不要な残像効果を除くためのパラメータである。従ってｄは、以下の式でもって表される。
【００２８】
ｄ＝｜Ｃｉｊｔ（ｋ）−Ｃ’ｉｊ（ｔ−１）（ｋ）｜
このｄは、係数変更部３により計算される。また、Ｅｋは、周波数帯域ｋに対する強調係数で、必要な強調の強さに応じて予め設定され、同じく係数変更部３内に予め保持されている。
【００２９】
係数変更部３は、以上説明した係数変更処理を、全ての周波数帯域について行う。例えば、周波数分解部２が図２（ａ）に示す如く、画像を１０個の周波数帯域に分解した場合には、ｋ＝ＬＬ〜ＨＨ１について以上説明した係数変更処理を行う。
【００３０】
以上のようにして、係数変更部３は、現在のフレームにおけるそれぞれの周波数帯域に属する係数群を、１つ前のフレームにおける変更後の係数群でもって変更する処理を行う。なお、上述の通り、本実施形態では現在のフレームにおける係数群を変更する際には１つ前のフレームにおける変更後の係数群を用いているが、２つ以上前のフレームにおける変更後の係数群を用いるようにしても良い。
【００３１】
そして係数変更部３は、変更した係数群を画像再構成部４に出力すると共に、次のフレームにおける係数群を変更する際に用いるために係数記憶部５に格納する。
【００３２】
なお、上記（式１）による計算処理を行う前に、以下の式に従って、係数Ｃｉｊｔ（ｋ）の縮退処理を行うようにしても良い。
【００３３】
Ｃｉｊｔ（ｋ）＝Ｃｉｊｔ（ｋ） Ｃｉｊｔ（ｋ）≧Ｔｓ
Ｃｉｊｔ（ｋ）＝０ Ｃｉｊｔ（ｋ）＜Ｔｓ
（式３）
また、Ｃｉｊｔ（ｋ）の値を、閾値Ｔｓに満たないからといっていきなり０にするのではなく、Ｃｉｊｔ（ｋ）の値が閾値Ｔｓよりも小さい場合に、その値に応じた減衰率でもって減少させるようにしても良い。
【００３４】
画像再構成部４は、１フレーム分の画像のそれぞれの周波数帯域に属する変更後の係数群を係数変更部３から受けると、これに対して周波数分解部２が行った処理とは逆の処理を行い、画像を再構成する。例えば、周波数分解部２が２次元離散ウェーブレット変換処理を行ったのであれば、画像再構成部４は、２次元離散逆ウェーブレット変換処理を行う。
【００３５】
画像出力部６は、画像再構成部４により得られた再構成画像を出力する。
【００３６】
以上説明した各部により、画像入力部１に入力された各フレームの画像において各周波数帯域における係数群を、１つ前のフレームの画像において対応する周波数帯域の係数群を用いて修正することができる。そして修正した係数群に基づいて再構成された画像を順次、画像出力部６により出力することができる。
【００３７】
なお、画像出力部６による出力先については特に限定するものではないが、出力先の装置によっては、出力画像のフォーマットを変更する必要がある。そこで、そのような場合には、画像出力部６は、画像のフォーマットを、出力先の装置に応じたフォーマットに変更してから出力する。
【００３８】
ここで、図１に示した各部は専用のハードウェアでもって構成し、その結果、画像処理装置１００を１つのチップとして構成するようにしても良い。本実施形態では係数記憶部５以外をソフトウェアでもって構成し、係数記憶部５はＲＡＭなどのメモリでもって構成する。この場合、図１に示した画像処理装置は、一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等のコンピュータでもって構成することができる。
【００３９】
図３は、画像処理装置として適用するコンピュータのハードウェア構成、及びその周辺機器を示すブロック図である。
【００４０】
同図に示す如く、コンピュータ３００は、ネットワーク３５０を介して撮像装置３６０やファイルサーバ３７０に接続されており、互いにデータ通信が可能な構成となっている。
【００４１】
先ず、コンピュータ３００について説明する。
【００４２】
３０１はＣＰＵで、ＲＡＭ３０２やＲＯＭ３０３に格納されているプログラムやデータを用いてコンピュータ３００全体の制御を行うと共に、コンピュータ３００を適用した上記画像処理装置１００が行う各処理を実行する。
【００４３】
３０２はＲＡＭで、光磁気ディスク３０５やハードディスク３０４からロードされたプログラムやデータを一時的に記憶するためのエリアを備える。更にＲＡＭ３０２は、ネットワーク３５０を介して撮像装置３６０やファイルサーバ３７０からダウンロードした画像データ等を一時的に記憶するためのエリアを備える。また、ＲＡＭ３０２は、ＣＰＵ３０１が各種の処理を実行する際に用いるワークエリアも備える。
【００４４】
３０３はＲＯＭで、コンピュータ３００の設定データや、ブートプログラムなどを格納する。
【００４５】
３０４はハードディスクで、ＯＳ（オペレーティングシステム）や、図１に示した画像入力部１、周波数分解部２，係数変更部３、画像再構成部４、画像出力部６の各部が行う上記各処理をＣＰＵ３０１に実行させるためのプログラムやデータを保持している。そしてこれらはＣＰＵ３０１による制御に従って適宜ＲＡＭ３０２にロードされ、ＣＰＵ３０１による処理対象となる。また、上記動画像のデータをこのハードディスク３０４に保存させておくようにしても良い。
【００４６】
３０５は光磁気ディスク３０５で、情報記憶媒体としての一例であり、ハードディスク３０４に保存されているプログラムやデータの一部若しくは全部をこの光磁気ディスク３０５に格納するようにしても良い。
【００４７】
３０６、３０７はそれぞれマウス、キーボードで、コンピュータ３００の操作者が操作することで、各種の指示をＣＰＵ３０１に対して入力することができる。
【００４８】
３０８はプリンタで、画像出力部６による出力先の一例である。
【００４９】
３０９は表示装置で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ３０１による処理結果を画像や文字などでもって表示する。例えば、図１に示した各部により処理され、最終的に画像出力部６から出力された各フレームの画像を表示する。
【００５０】
３１０は上述の各部を繋ぐバスである。
【００５１】
次に、撮像装置３６０について説明する。撮像装置３６０は、例えばディジタルカメラなど、動画像を撮像するものであり、撮像した動画像のデータはネットワーク３５０を介してコンピュータ３００に供給される。なお、動画像のデータは複数フレーム分をまとめてコンピュータ３００に供給するようにしても良いし、撮像したフレーム毎に供給するようにしても良い。
【００５２】
次に、ファイルサーバ３７０について説明する。ファイルサーバ３７０には画像データを含む様々な情報が格納可能であり、本実施形態の場合には、図１に示した各部によって行った上記各処理により得られる各フレームの画像を格納することができる。従って、コンピュータ３００は、各フレームの画像について図１に示した各部による処理を行うと、処理済みの各フレームの画像をネットワーク３５０を介してファイルサーバ３７０に転送する。これにより、ファイルサーバ３７０には、コンピュータ３００による処理済みの動画像データを登録することができる。
【００５３】
次にネットワーク３５０について説明する。ネットワーク３５０は、ＬＡＮやインターネット等のネットワークにより構成されている。なお、このネットワーク３５０は、無線、有線の何れで構成しても良く、また双方を部分的に組み合わせるようにしても良い。
【００５４】
図８は、図１に示した各部が行う処理のフローチャートである。なお、同図のフローチャートに従った処理をコンピュータ３００のＣＰＵ３０１に実行させるためのプログラムやデータはハードディスク３０４や光磁気ディスク３０５に格納されており、適宜ＣＰＵ３０１によりＲＡＭ３０２にロードされる。そして、ＣＰＵ３０１がこれを用いて処理を実行することで、コンピュータ３００は以下説明する各処理を実行する。
【００５５】
なお、同図のフローチャートは、１つのフレーム（第ｔフレーム）の画像についてのものであるので、複数フレームのそれぞれについて同様の処理を行う場合には、同図のフローチャートに従った処理を各フレームについて行えばよい。
【００５６】
先ず、ＣＰＵ３０１は周波数分解部２として機能し、ＲＡＭ３０２に保持されている第ｔフレーム画像を複数の周波数帯域に分解する処理を行う（ステップＳ８０２）。次にステップＳ８０３からステップＳ８０６までの処理を分解されたそれぞれの周波数帯域について行う。
【００５７】
先ず、ハードディスク３０４内、若しくはＲＡＭ３０２内に保持している第（ｔ−１）フレーム画像の周波数帯域ｋに係る係数Ｃ’ｉｊ（ｔ−１）（ｋ）を読み出す（ステップＳ８０３）。そして、ＣＰＵ３０１は係数変更部３として機能し、読み出したこの係数を用いて、第ｔフレーム画像の周波数帯域ｋに係る係数Ｃｉｊｔ（ｋ）を上記（式１）に従って変更する処理を行う（ステップＳ８０４）。なお、上述の通り、本ステップの前段で上記（式３）に従った処理等でもって、係数の縮退処理を行うようにしても良い。
【００５８】
次に、ＣＰＵ３０１は、第ｔフレーム画像の周波数帯域ｋに属する全ての係数について変更処理を行ったかを判断し（ステップＳ８０５）、行っていない場合には、処理をステップＳ８０３に戻す。そして、未だ変更を行っていない第ｔフレーム画像の周波数帯域ｋに係る係数Ｃｉｊｔ（ｋ）についてステップＳ８０３以降の処理を行う。
【００５９】
一方、第ｔフレーム画像の周波数帯域ｋに属する全ての係数について変更処理を行った場合には処理をステップＳ８０６に進める。そして、処理の対象となる全ての周波数帯域（処理対象となる全ての周波数帯域についての変数ｋ）について、ステップＳ８０４における変更処理を行ったか否かを判断する（ステップＳ８０６）。そして、行っていない場合には処理をステップＳ８０３に戻し、第ｔフレーム画像の複数周波数帯域のうち、未だ処理対象となっていない周波数帯域についてステップＳ８０３以降の処理を行う。
【００６０】
ここで、処理の対象となる周波数帯域については予め決定されており、処理対象となる周波数帯域を示す情報は予めＲＡＭ３０２に保持されている。処理対象となる周波数帯域は、ノイズ除去を効果的に行うために、高周波成分を多く含む帯域とすることが望ましい。そのために、例えば図２（ａ）に示す離散ウェーブレット変換の場合には、ＬＬを除く全ての周波数帯域を処理対象となる周波数帯域とすれば良い。また、図２（ｂ）に示すラプラシアンピラミッドの場合には、Ｌを除く全ての周波数帯域を処理対象となる周波数帯域とすれば良い。
【００６１】
一方、全ての対象となる周波数帯域について、ステップＳ８０４における変更処理を行った場合には処理をステップＳ８０７に進める。そして、ＣＰＵ３０１は画像再構成部４として機能し、第ｔフレーム画像の複数の変更済みの周波数帯域に対して、ステップＳ８０２で行った処理の逆処理を行うことで、画像を再構成する（ステップＳ８０７）。そしてＣＰＵ３０１は画像出力部６として機能し、再構成された画像を、第ｔフレーム画像としてハードディスク３０４やＲＡＭ３０２、ファイルサーバ３７０等に出力する（ステップＳ８０８）。また、表示装置３０９に出力するようにしても良い。
【００６２】
以上の説明により、本実施形態によれば、複数フレームから構成される動画像に対して周波数空間上の処理を効果的に行うことでき、より高いノイズ除去効果および鮮鋭化処理を実現することが可能となる。
【００６３】
［第２の実施形態］
本実施形態では、第１の実施形態に係る処理において、画像入力部１に入力された画像に関する情報を更に入力する。これにより、入力される画像の種別や撮影条件などに応じて動画像を処理することができる。
【００６４】
図４は、本実施形態に係る画像処理装置４００の機能構成を示すブロック図である。同図において図１と同じ部分については同じ番号を付けており、その説明は省略する。同図に示す如く、本実施形態に係る画像処理装置４００は、図１に示した第１の実施形態に係る画像処理装置１００に撮影条件入力部７を加えた構成を有する。
【００６５】
撮影条件入力部７は、画像入力部１に入力される動画像の撮影条件等、動画像に関する情報を入力するものである。「動画像に関する情報」については特に限定するものではないが、本実施形態では、入力画像が医用Ｘ線画像である場合について説明する。
【００６６】
処理対象を医用Ｘ線動画像とした場合、撮影条件としては撮影部位、Ｘ線照射量、あるいは撮影方法などがある。これらの情報は、撮影条件入力部７に対して入力される。
【００６７】
そして、例えば、撮影条件入力部７は、以下に列挙する撮影方法に応じて、周波数分解部２、画像再構成部４における周波数分解レベルを決定する。
【００６８】
（１） 透視
（２） ＤＳＡ
（３） 静止画撮影
例えば、撮影条件入力部７に「撮影方法が透視である旨を示す情報」が入力された場合には、周波数分解部２、画像再構成部４における周波数分解レベルを３と決定する。また、撮影条件入力部７に「撮影方法がＤＳＡである旨を示す情報」が入力された場合には、周波数分解部２、画像再構成部４における周波数分解レベルを５と決定する。また、撮影条件入力部７に「撮影方法が静止画撮影である旨を示す情報」が入力された場合には、周波数分解部２、画像再構成部４における周波数分解レベルを７と決定する。
【００６９】
周波数分解レベルを多く取ることで、より細かい周波数処理が可能となるが、透視撮影においてはその用途が診断ではなく、カテーテルなどの手術デバイスの位置を確認できれば十分である。しかし、表示の遅れを回避するためには、フレームレートは高く取る必要がある。そこで、透視に対しては分解レベルを低く設定することにより計算量を抑え、透視に最適な処理を実現することができる。
【００７０】
一方、DSAにおいてフレームレートは例えば毎秒7フレーム程度であるが、微細な血管構造までを描出する必要性から、より高い分解レベルで処理を行うことが望ましい。さらに静止画撮影においては、診断に耐えうる画質とするために計算量が増大したとしても可能な限り高画質を達成する為、高い分解レベルとする必要がある。
【００７１】
このように、撮影の方法により周波数分解のレベルを変化させることで、目的に応じた処理を実現することができる。
【００７２】
また分解レベルのみではなく、係数変更部３における処理のパラメータを変更するようにしても良い。例えば、上記（式１）におけるαの値を透視の場合は小さく、ＤＳＡの場合は大きくなるように変更する。また、透視の場合は、被爆量を抑えるためにＸ線照射量を小さくするが、これにより画像におけるノイズ量は多くなる。このため前フレームの係数に対する重みを大きく取ることによって、よりノイズ除去効果を高めることができるようになる。
【００７３】
また、処理対象周波数帯域の選択を、撮影条件入力部７への入力に基づいて、最も高い周波数帯域から所定の数の帯域についてのみ処理を行うようにしてもよい。特に、透視撮影など画像中に映出された被写体に動きがあるような場合においては、低い周波数帯域に対して上述した処理を行うと残像が発生することがある。したがってこのような撮影においては、処理対象となる周波数帯域として所定数の高周波帯域が選択すればよい。
【００７４】
例えば、離散ウェーブレット変換の場合であれば、ＬＬおよびＨＬ３、ＬＨ３、ＨＨ３を除く帯域を処理対象から除くことによって、残像の影響を抑えながらノイズ除去を行うことができる。
【００７５】
［第３の実施形態］
第１の実施形態では、係数変更部３により変更した係数Ｃ’ｉｊｔ（ｋ）を係数記憶部５に格納するようにしたが、変更前の係数Ｃｉｊｔ（ｋ）を格納するようにしても良い。その場合、係数変更部３は、上記（式１）の代わりに、以下の（式４）を用いて、係数を変更する処理を行う。
【００７６】
Ｃ’ｉｊｔ（ｋ）＝Ｅｋ｛αＣｉｊｔ（ｋ）＋（１−α）Ｃｉｊ（ｔ−１）（ｋ）｝ ｄ＜Ｔ
Ｃ’ｉｊｔ（ｋ）＝ＥｋＣｉｊｔ（ｋ） ｄ≧Ｔ
（式４）
即ち、第１の実施形態において係数Ｃ’ｉｊ（ｔ−１）（ｋ）の代わりに、係数Ｃｉｊ（ｔ−１）（ｋ）を用いるようにしても良い。
【００７７】
更に、係数変更部３において上記（式１）に基づいて係数を変更するのか、それとも上記（式４）を用いて係数を変更するのかを、図４に示した撮影条件入力部７に入力される情報に基づいて決定するようにしても良い。
【００７８】
例えば、画像入力部１に入力される画像中の被写体が微細な構造を持ち、更にある程度の動きがある場合は、（式１）に基づくリカーシブなフィルタリングを用いると残像効果が大きくなるため観察上好ましくない。しかし、（式４）を用いればその影響を抑制することができる。
【００７９】
従って、画像入力部１に入力される画像が医用画像であって、この画像の撮影方式が血管造影などの場合には以下のようにすればよい。即ち、撮影条件入力部７が係数変更部３における処理のパラメータを切り替えると同時に、（式１）を用いる場合には係数記憶部５に対する入力を係数変更部３による出力とし、（式４）を用いる場合には周波数分解部２による出力とする。これにより、被写体および撮影方法に最適な処理を選択することができるようになる。
【００８０】
更に、係数記憶部５には、現在係数変更部３によって処理対象となっているフレームの過去複数フレームの係数を保持させるようにしても良く、その場合、（式１）や（式４）において重み付け係数αは、過去のフレーム毎に変化させるようにしてもよい。
【００８１】
［第４の実施形態］
第１の実施形態では、図８に示したフローチャートに従った処理は、１つのフレーム画像全体について行うものとして説明した。しかし、図５に示す如く、１つのフレーム画像を複数の矩形（矩形画像）に分割し、それぞれの矩形毎に図８に示したフローチャートに従った処理を行うようにしても良い。図５は、１つのフレーム画像を１６個の矩形画像（Ｔ１〜Ｔ１６）に分割した様子を示す図である。
【００８２】
この場合、第１の実施形態で説明に用いた第ｔフレーム画像は、第ｔフレームにおけるフレーム画像を分割した１つの矩形画像（第ｔ矩形画像）に相当する。また、第（ｔ−１）フレーム画像は、第（ｔ−１）フレームにおけるフレーム画像において、この第ｔ矩形画像に位置的に対応する矩形画像（第（ｔ−１）矩形画像）に相当する。
【００８３】
このように構成することで、周波数分解部２において周波数分解を行う際の所要メモリ量を低減することができるようになる。さらに、矩形画像毎に処理条件を変更するようにしてもよい。
【００８４】
図６は、本実施形態に係る画像処理装置６００の機能構成を示すブロック図である。なお、図１，４と同じ部分については同じ番号を付けており、その説明を省略する。図６に示す如く、本実施形態に係る画像処理装置６００は、図４に示した画像処理装置４００に更に、画像解析部８を加えた構成となっている。
【００８５】
このような構成において、画像入力部１は、外部から入力されたフレーム画像を複数の矩形画像に分割し、矩形画像毎に出力する。画像解析部８は、矩形画像を受けると、この矩形画像を構成する全ての画素の画素値を用いて平均画素値、及び画素値の分散値を求める。そして求めたこれらの統計値に基づいて、この矩形画像中に含まれているノイズの量を判断し（例えば、ノイズの量を多い、普通、少ないの３段階でもって判断し）、判断した結果を係数変更部３に通知する。
【００８６】
フレーム画像が医用Ｘ線画像の場合、Ｘ線吸収の多い臓器が映出された矩形画像については、平均画素値は低くなり、またノイズ量も多くなる為、より効果的にノイズ除去を行う必要がある。従って、ノイズ量が多いと画像解析部８により判断された矩形画像については、係数変更部３における処理パラメータを第２の実施形態で説明したように変更することで、より効果的な処理を行うことが可能となる。
【００８７】
［第５の実施形態］
図２に示すような撮像装置３６０が複数のユニットでもって構成されている場合には、上述の実施形態で説明したような画像処理装置をそれぞれのユニットに接続するようにしても良い。この場合、画像処理装置は１つのチップでもって構成することが好ましい。そして、それぞれのユニットに接続された画像処理装置の出力を最後に合成し、最終的な出力を得る。
【００８８】
図７（ａ）は、上述の実施形態で説明したような画像処理装置を、撮像装置を構成している各ユニットに接続した場合の、この撮像装置の概略構成を示す図である。同図において７０１，７０２は平面センサを構成しているユニット（それぞれＵ１，２）である。即ち、この平面センサは、２つのユニット７０１，７０２を張り合わせた構成を有する。
【００８９】
７１１，７１２はそれぞれ画像処理装置（それぞれＩＰ１，２）で、例えば図６に示すような構成を有する。それぞれの画像処理装置７１１，７１２は、ユニット７０１、７０２からの画像信号を受け、上述の如くフレーム画像に対する処理を行う。この構成において各画像処理装置７１１，７１２は並列的に処理を行い、処理結果を画像合成部９に出力する。
【００９０】
画像合成部９は、それぞれの画像処理装置７１１，７１２からの出力を合成し、最終的に１つのフレーム画像を出力する。
【００９１】
このようにセンサが複数のユニットから構成されている場合は、処理を並列的に行えるように画像処理装置をそれぞれのユニットに接続することで、より高い処理効率を得ることが可能となる。
【００９２】
また、図７（ｂ）に示す如く、画像処理装置７１１に対して複数個のユニット（Ｕ１〜Ｕ４）、画像処理装置７１２に対して複数個のユニット（Ｕ５〜Ｕ８）を接続するような構成であっても良い。この場合、画像処理装置７１１，７１２それぞれに対して１つのユニットが順次選択され、選択されたユニットからの画像信号を受けることになる。図７（ｂ）は、上述の実施形態で説明したような画像処理装置に対して複数個のユニットを接続した場合の、撮像装置の概略構成を示す図である。
【００９３】
また、上記各実施形態は適宜組み合わせても良い。
【００９４】
以上の各実施形態によれば、動画像を処理する場合に、同一フレーム内の画像信号と時間軸方向の変化を利用しつつ、より高い効果のある画質改善を行うことができる。
【００９５】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９６】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９７】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９８】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００９９】
【図１】本発明の第１の実施形態に係る画像処理装置１００の機能構成を示すブロック図である。
【図２】（ａ）は、画像Ｆｎに対して２次元離散ウェーブレット変換処理を施すことで１０個の周波数帯域を得る様子を説明する図、（ｂ）は、画像Ｆｎに対してラプラシアンピラミッド分解を行うことで３つの周波数帯域を得る様子を説明する図である。
【図３】画像処理装置として適用するコンピュータのハードウェア構成、及びその周辺機器を示すブロック図である。
【図４】本発明の第２の実施形態に係る画像処理装置４００の機能構成を示すブロック図である。
【図５】１つのフレーム画像を１６個の矩形画像（Ｔ１〜Ｔ１６）に分割した様子を示す図である。
【図６】本発明の第１の実施形態に係る画像処理装置６００の機能構成を示すブロック図である。
【図７】（ａ）は、画像処理装置を、撮像装置を構成している各ユニットに接続した場合の、この撮像装置の概略構成を示す図で、（ｂ）は、画像処理装置に対して複数個のユニットを接続した場合の、撮像装置の概略構成を示す図である。
【図８】図１に示した各部が行う処理のフローチャートである。
【技術分野】
【０００１】
本発明は複数のフレームから構成される動画像シーケンスを対象とし、対象となる画像を高画質化処理する為の画像処理装置に関する。
【背景技術】
【０００２】
従来から、複数フレームで構成される動画像シーケンスのＳ／Ｎ比を改善する画像処理装置として、様々な考案がなされている。Ｓ／Ｎ比を改善する例としてノイズ除去処理を対象とした場合は、例えば特許文献１に開示されるように、リカーシブフィルタを備えたものがある。この文献においては、リカーシブフィルタのフィルタ係数を画像信号の大きさに応じて変化させることにより、Ｘ線画像の特性である画像の濃度とノイズ量との関係に基づいたノイズ除去処理を行うことができる。
【０００３】
また、画像を鮮鋭化してより見やすくするための処理としては、例えば特許文献２に開示されるように、ボケマスク処理における強調係数を画像に描出された被写体に応じて変化させる。これにより、不必要なノイズの強調を抑制しつつ画像信号の強調を行うことができる。
【特許文献１】特開平０５−０８７３９４号公報
【特許文献２】特開平７−２１３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述した従来技術のリカーシブフィルタにおいては、複数のフレームにまたがる画像信号の時間方向加算によりノイズを減少させることができるが、同一フレーム内の情報を有効に活用しているものではない。また、ボケマスク処理においては、画像のエッジ近傍においてオーバーシュートなどのアーチファクトが生ずることが知られている。
【０００５】
本発明は以上の問題に鑑みて成されたものであり、同一フレーム内の画像信号と時間軸方向の変化を利用しつつ、より高い効果のある画質改善が可能な画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【０００７】
即ち、動画像を構成する各フレームの画像を順次入力する入力手段と、
第１フレーム画像を複数の周波数帯域に分解する分解手段と、
前記第１フレーム画像について前記分解手段が分解した複数の周波数帯域のうち所望の周波数帯域に属する係数を、前記第１フレーム画像よりも前のフレームの画像である第２フレーム画像について前記分解手段が分解した複数の周波数帯域のうち当該所望の周波数帯域に対応する周波数帯域に属する係数を用いて変更する変更手段と、
前記変更手段により変更した周波数帯域を含む全ての周波数帯域の係数に基づいて前記分解手段が行った逆の処理を行うことにより、画像を再構成する再構成手段と、
前記再構成手段により再構成された画像を、前記第１フレーム画像として出力する出力手段と
を備えることを特徴とする。
【０００８】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【０００９】
即ち、動画像を構成する各フレームの画像を順次入力する入力工程と、
第１フレーム画像を複数の周波数帯域に分解する分解工程と、
前記第１フレーム画像について前記分解工程で分解した複数の周波数帯域のうち所望の周波数帯域に属する係数を、前記第１フレーム画像よりも前のフレームの画像である第２フレーム画像について前記分解工程で分解した複数の周波数帯域のうち当該所望の周波数帯域に対応する周波数帯域に属する係数を用いて変更する変更工程と、
前記変更工程で変更した周波数帯域を含む全ての周波数帯域の係数に基づいて前記分解工程で行った逆の処理を行うことにより、画像を再構成する再構成工程と、
前記再構成工程で再構成された画像を、前記第１フレーム画像として出力する出力工程と
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明の構成により、同一フレーム内の画像信号と時間軸方向の変化を利用しつつ、より高い効果のある画質改善を計ることができる。
【発明を実施するための最良の形態】
【００１１】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１２】
［第１の実施形態］
図１は、本実施形態に係る画像処理装置１００の機能構成を示すブロック図である。同図に示す如く、画像処理装置１００は、画像入力部１、周波数分解部２，係数変更部３、画像再構成部４、係数記憶部５、画像出力部６により構成されている。
【００１３】
画像入力部１は、動画像を構成する各フレームの画像（画像信号）を入力する。画像の供給源としては例えばディジタルカメラがある。例えば、このディジタルカメラがＣＣＤカメラであり、撮像した画像をアナログ画像信号として出力するものである場合には、この画像入力部１は、このアナログ画像信号に対してＡ／Ｄ変換を施し、ディジタル画像信号として後段の周波数分解部２に送出する。また、画像入力部１は入力された画像信号の形式を変換する以外に、例えば、この画像信号に対して、ディジタルカメラ固有の補正処理を行うようにしても良い。このような補正処理には例えば、ディジタルカメラがＣＣＤカメラである場合にはダーク補正処理などがある。
【００１４】
また、画像入力部１には、画像信号は、フレーム単位で、且つスキャンライン順に入力される。即ち、プログレッシブスキャンであることを前提とする。しかし、画像信号の供給源によっては、このような順序でもって画像信号が入力されない場合がある。そこでこのような場合には、画像入力部１は、入力した画像信号の出力順序を入れ替えるようにしても良い。例えば、ディジタルカメラから出力された画像信号がインターレーススキャンである場合、画像入力部１はこの画像信号を受け、プログレッシブスキャンに変換して出力する。
【００１５】
本実施形態では、画像入力部１に入力される動画像は、所定のフレームレート（例えば１秒間に３０フレーム）で、且つ各フレームの画像の解像度が所定の解像度（例えば縦横１０２４画素）であるとする。
【００１６】
また、本実施形態では、各フレームの画像は色成分が１つの画像、即ち、モノクロ画像であるとしているが、これに限定するものではなく、各フレームの画像が複数の色成分を有しても良い。その場合、後述する各処理は各色成分に対して行われることになる。
【００１７】
更に、各フレームの画像が複数の色成分を有する場合、画像入力部１は、色空間変換を行うようにしても良い。例えば、画像入力部１に入力される各フレームの画像がＲＧＢの３つの色成分を有する場合、画像入力部１は、ＲＧＢからＹＵＶに色空間を変換し、後続の処理については変換後の各色成分に対して行うようにすればよい。
【００１８】
周波数分解部２には画像入力部１からフレーム単位で画像が入力されるので、周波数分解部２は、フレーム毎に画像を複数の周波数帯域に分解する。そして、それぞれのフレームについて分解した周波数帯域の係数をフレーム毎に係数変更部３に送出する。
【００１９】
画像を複数の周波数帯域に分解する手法については図２に示す何れの方法を用いても良い。図２（ａ）は、あるフレームの画像Ｆｎに対して２次元離散ウェーブレット変換処理を施すことで、１０個の周波数帯域（ＬＬ〜ＨＨ１）を得る様子を説明する図である。同図では、３レベルの分解が行われている。なお離散ウェーブレット変換については、例えばS.Mallat, “A Theory of Multiresolution Signal Decomposition: the Wavelet Representation”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 11, No.7, July 1989, 674-693等の文献に詳述されているため、説明は省略する。
【００２０】
また、図２（ｂ）は、あるフレームの画像Ｆｎに対してラプラシアンピラミッド分解を行うことで、３つの周波数帯域Ｈ１、Ｈ２、Ｌを得る様子を説明する図である。ここでＨ１およびＨ２は異なる周波数帯域に係る高周波成分であり、Ｌは残余分の低周波帯域に係る成分を表す係数群である。Ｈ２およびＬは、画像Ｆｎに対して解像度が水平および垂直方向の各々について、１／２、１／４となっている。ラプラシアンピラミッド分解については、例えばP.Burt and H.Adelson, “The Laplacian Pyramid as a Compact Image Code”, IEEE Transactions on Communications, Vol.Com-31, No.4, April 1983, 532-540等の文献に詳述されているため説明は省略する。
【００２１】
係数変更部３は、周波数分解部２から出力されたフレームｔの画像（以下、第ｔフレーム画像と呼称する）の周波数帯域ｋに係る係数Ｃｉｊｔ（ｋ）を、係数Ｃ’ｉｊｔ（ｋ）に変更する処理を行う。ここで、ｋは周波数帯域を示す変数で、周波数分解部２が図２（ａ）に示す如く、画像を１０個の周波数帯域に分解した場合には、ｋ＝ＬＬ〜ＨＨ１となる。また、ｉ，ｊは、それぞれの周波数帯域における係数固有のインデックスである。従って、Ｃｉｊｔ（ｋ）は、フレームｔにおける画像の周波数帯域ｋに係る係数群を２次元的に配置した場合に、（ｉ、ｊ）の位置に位置する係数を示すことになる。
【００２２】
ここで、係数変更部３が行う係数変更処理について説明する。
【００２３】
上述の通り、係数変更部３は、周波数分解部２から出力されたフレームの画像の各周波数帯域に係る係数群を変更するのであるが、変更後の係数群は画像再構成部４に出力すると共に、係数記憶部５に格納する。従って、係数変更部３が、第ｔフレーム画像の周波数帯域ｋに係る係数Ｃｉｊｔ（ｋ）について変更処理を行う場合、係数記憶部５には既に、第（ｔ−１）フレーム画像の周波数帯域ｋに係る係数（係数変更部３により変更済み）Ｃ’ｉｊ（ｔ−１）（ｋ）が格納されている。
【００２４】
従って、係数変更部３は、Ｃｉｊｔ（ｋ）、Ｃ’ｉｊ（ｔ−１）（ｋ）を用いて、Ｃｉｊｔ（ｋ）を以下のように変更する。
【００２５】
Ｃ’ｉｊｔ（ｋ）＝Ｅｋ｛αＣｉｊｔ（ｋ）＋（１−α）Ｃ’ｉｊ（ｔ−１）（ｋ）｝ ｄ＜Ｔ
Ｃ’ｉｊｔ（ｋ）＝ＥｋＣｉｊｔ（ｋ） ｄ≧Ｔ
（式１）
但し、α、Ｔは、ノイズ除去に係るパラメータであり、画像信号に含まれるノイズ量に応じて最適な値が予め決定され、係数変更部３内に予め保持されている。
【００２６】
ここで、αは、変更後の係数を生成するにあたり、現在と過去のフレームに係る係数の混合比率を表している。本実施形態の場合、フレームｔにおける係数とフレーム（ｔ−１）における係数とをαで決まる合成比率でもって合成することになる。
【００２７】
Ｔは、係数の差の大きいものを動きのある部分として除外することで、過去のフレームの係数の影響をなくし、不要な残像効果を除くためのパラメータである。従ってｄは、以下の式でもって表される。
【００２８】
ｄ＝｜Ｃｉｊｔ（ｋ）−Ｃ’ｉｊ（ｔ−１）（ｋ）｜
このｄは、係数変更部３により計算される。また、Ｅｋは、周波数帯域ｋに対する強調係数で、必要な強調の強さに応じて予め設定され、同じく係数変更部３内に予め保持されている。
【００２９】
係数変更部３は、以上説明した係数変更処理を、全ての周波数帯域について行う。例えば、周波数分解部２が図２（ａ）に示す如く、画像を１０個の周波数帯域に分解した場合には、ｋ＝ＬＬ〜ＨＨ１について以上説明した係数変更処理を行う。
【００３０】
以上のようにして、係数変更部３は、現在のフレームにおけるそれぞれの周波数帯域に属する係数群を、１つ前のフレームにおける変更後の係数群でもって変更する処理を行う。なお、上述の通り、本実施形態では現在のフレームにおける係数群を変更する際には１つ前のフレームにおける変更後の係数群を用いているが、２つ以上前のフレームにおける変更後の係数群を用いるようにしても良い。
【００３１】
そして係数変更部３は、変更した係数群を画像再構成部４に出力すると共に、次のフレームにおける係数群を変更する際に用いるために係数記憶部５に格納する。
【００３２】
なお、上記（式１）による計算処理を行う前に、以下の式に従って、係数Ｃｉｊｔ（ｋ）の縮退処理を行うようにしても良い。
【００３３】
Ｃｉｊｔ（ｋ）＝Ｃｉｊｔ（ｋ） Ｃｉｊｔ（ｋ）≧Ｔｓ
Ｃｉｊｔ（ｋ）＝０ Ｃｉｊｔ（ｋ）＜Ｔｓ
（式３）
また、Ｃｉｊｔ（ｋ）の値を、閾値Ｔｓに満たないからといっていきなり０にするのではなく、Ｃｉｊｔ（ｋ）の値が閾値Ｔｓよりも小さい場合に、その値に応じた減衰率でもって減少させるようにしても良い。
【００３４】
画像再構成部４は、１フレーム分の画像のそれぞれの周波数帯域に属する変更後の係数群を係数変更部３から受けると、これに対して周波数分解部２が行った処理とは逆の処理を行い、画像を再構成する。例えば、周波数分解部２が２次元離散ウェーブレット変換処理を行ったのであれば、画像再構成部４は、２次元離散逆ウェーブレット変換処理を行う。
【００３５】
画像出力部６は、画像再構成部４により得られた再構成画像を出力する。
【００３６】
以上説明した各部により、画像入力部１に入力された各フレームの画像において各周波数帯域における係数群を、１つ前のフレームの画像において対応する周波数帯域の係数群を用いて修正することができる。そして修正した係数群に基づいて再構成された画像を順次、画像出力部６により出力することができる。
【００３７】
なお、画像出力部６による出力先については特に限定するものではないが、出力先の装置によっては、出力画像のフォーマットを変更する必要がある。そこで、そのような場合には、画像出力部６は、画像のフォーマットを、出力先の装置に応じたフォーマットに変更してから出力する。
【００３８】
ここで、図１に示した各部は専用のハードウェアでもって構成し、その結果、画像処理装置１００を１つのチップとして構成するようにしても良い。本実施形態では係数記憶部５以外をソフトウェアでもって構成し、係数記憶部５はＲＡＭなどのメモリでもって構成する。この場合、図１に示した画像処理装置は、一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等のコンピュータでもって構成することができる。
【００３９】
図３は、画像処理装置として適用するコンピュータのハードウェア構成、及びその周辺機器を示すブロック図である。
【００４０】
同図に示す如く、コンピュータ３００は、ネットワーク３５０を介して撮像装置３６０やファイルサーバ３７０に接続されており、互いにデータ通信が可能な構成となっている。
【００４１】
先ず、コンピュータ３００について説明する。
【００４２】
３０１はＣＰＵで、ＲＡＭ３０２やＲＯＭ３０３に格納されているプログラムやデータを用いてコンピュータ３００全体の制御を行うと共に、コンピュータ３００を適用した上記画像処理装置１００が行う各処理を実行する。
【００４３】
３０２はＲＡＭで、光磁気ディスク３０５やハードディスク３０４からロードされたプログラムやデータを一時的に記憶するためのエリアを備える。更にＲＡＭ３０２は、ネットワーク３５０を介して撮像装置３６０やファイルサーバ３７０からダウンロードした画像データ等を一時的に記憶するためのエリアを備える。また、ＲＡＭ３０２は、ＣＰＵ３０１が各種の処理を実行する際に用いるワークエリアも備える。
【００４４】
３０３はＲＯＭで、コンピュータ３００の設定データや、ブートプログラムなどを格納する。
【００４５】
３０４はハードディスクで、ＯＳ（オペレーティングシステム）や、図１に示した画像入力部１、周波数分解部２，係数変更部３、画像再構成部４、画像出力部６の各部が行う上記各処理をＣＰＵ３０１に実行させるためのプログラムやデータを保持している。そしてこれらはＣＰＵ３０１による制御に従って適宜ＲＡＭ３０２にロードされ、ＣＰＵ３０１による処理対象となる。また、上記動画像のデータをこのハードディスク３０４に保存させておくようにしても良い。
【００４６】
３０５は光磁気ディスク３０５で、情報記憶媒体としての一例であり、ハードディスク３０４に保存されているプログラムやデータの一部若しくは全部をこの光磁気ディスク３０５に格納するようにしても良い。
【００４７】
３０６、３０７はそれぞれマウス、キーボードで、コンピュータ３００の操作者が操作することで、各種の指示をＣＰＵ３０１に対して入力することができる。
【００４８】
３０８はプリンタで、画像出力部６による出力先の一例である。
【００４９】
３０９は表示装置で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ３０１による処理結果を画像や文字などでもって表示する。例えば、図１に示した各部により処理され、最終的に画像出力部６から出力された各フレームの画像を表示する。
【００５０】
３１０は上述の各部を繋ぐバスである。
【００５１】
次に、撮像装置３６０について説明する。撮像装置３６０は、例えばディジタルカメラなど、動画像を撮像するものであり、撮像した動画像のデータはネットワーク３５０を介してコンピュータ３００に供給される。なお、動画像のデータは複数フレーム分をまとめてコンピュータ３００に供給するようにしても良いし、撮像したフレーム毎に供給するようにしても良い。
【００５２】
次に、ファイルサーバ３７０について説明する。ファイルサーバ３７０には画像データを含む様々な情報が格納可能であり、本実施形態の場合には、図１に示した各部によって行った上記各処理により得られる各フレームの画像を格納することができる。従って、コンピュータ３００は、各フレームの画像について図１に示した各部による処理を行うと、処理済みの各フレームの画像をネットワーク３５０を介してファイルサーバ３７０に転送する。これにより、ファイルサーバ３７０には、コンピュータ３００による処理済みの動画像データを登録することができる。
【００５３】
次にネットワーク３５０について説明する。ネットワーク３５０は、ＬＡＮやインターネット等のネットワークにより構成されている。なお、このネットワーク３５０は、無線、有線の何れで構成しても良く、また双方を部分的に組み合わせるようにしても良い。
【００５４】
図８は、図１に示した各部が行う処理のフローチャートである。なお、同図のフローチャートに従った処理をコンピュータ３００のＣＰＵ３０１に実行させるためのプログラムやデータはハードディスク３０４や光磁気ディスク３０５に格納されており、適宜ＣＰＵ３０１によりＲＡＭ３０２にロードされる。そして、ＣＰＵ３０１がこれを用いて処理を実行することで、コンピュータ３００は以下説明する各処理を実行する。
【００５５】
なお、同図のフローチャートは、１つのフレーム（第ｔフレーム）の画像についてのものであるので、複数フレームのそれぞれについて同様の処理を行う場合には、同図のフローチャートに従った処理を各フレームについて行えばよい。
【００５６】
先ず、ＣＰＵ３０１は周波数分解部２として機能し、ＲＡＭ３０２に保持されている第ｔフレーム画像を複数の周波数帯域に分解する処理を行う（ステップＳ８０２）。次にステップＳ８０３からステップＳ８０６までの処理を分解されたそれぞれの周波数帯域について行う。
【００５７】
先ず、ハードディスク３０４内、若しくはＲＡＭ３０２内に保持している第（ｔ−１）フレーム画像の周波数帯域ｋに係る係数Ｃ’ｉｊ（ｔ−１）（ｋ）を読み出す（ステップＳ８０３）。そして、ＣＰＵ３０１は係数変更部３として機能し、読み出したこの係数を用いて、第ｔフレーム画像の周波数帯域ｋに係る係数Ｃｉｊｔ（ｋ）を上記（式１）に従って変更する処理を行う（ステップＳ８０４）。なお、上述の通り、本ステップの前段で上記（式３）に従った処理等でもって、係数の縮退処理を行うようにしても良い。
【００５８】
次に、ＣＰＵ３０１は、第ｔフレーム画像の周波数帯域ｋに属する全ての係数について変更処理を行ったかを判断し（ステップＳ８０５）、行っていない場合には、処理をステップＳ８０３に戻す。そして、未だ変更を行っていない第ｔフレーム画像の周波数帯域ｋに係る係数Ｃｉｊｔ（ｋ）についてステップＳ８０３以降の処理を行う。
【００５９】
一方、第ｔフレーム画像の周波数帯域ｋに属する全ての係数について変更処理を行った場合には処理をステップＳ８０６に進める。そして、処理の対象となる全ての周波数帯域（処理対象となる全ての周波数帯域についての変数ｋ）について、ステップＳ８０４における変更処理を行ったか否かを判断する（ステップＳ８０６）。そして、行っていない場合には処理をステップＳ８０３に戻し、第ｔフレーム画像の複数周波数帯域のうち、未だ処理対象となっていない周波数帯域についてステップＳ８０３以降の処理を行う。
【００６０】
ここで、処理の対象となる周波数帯域については予め決定されており、処理対象となる周波数帯域を示す情報は予めＲＡＭ３０２に保持されている。処理対象となる周波数帯域は、ノイズ除去を効果的に行うために、高周波成分を多く含む帯域とすることが望ましい。そのために、例えば図２（ａ）に示す離散ウェーブレット変換の場合には、ＬＬを除く全ての周波数帯域を処理対象となる周波数帯域とすれば良い。また、図２（ｂ）に示すラプラシアンピラミッドの場合には、Ｌを除く全ての周波数帯域を処理対象となる周波数帯域とすれば良い。
【００６１】
一方、全ての対象となる周波数帯域について、ステップＳ８０４における変更処理を行った場合には処理をステップＳ８０７に進める。そして、ＣＰＵ３０１は画像再構成部４として機能し、第ｔフレーム画像の複数の変更済みの周波数帯域に対して、ステップＳ８０２で行った処理の逆処理を行うことで、画像を再構成する（ステップＳ８０７）。そしてＣＰＵ３０１は画像出力部６として機能し、再構成された画像を、第ｔフレーム画像としてハードディスク３０４やＲＡＭ３０２、ファイルサーバ３７０等に出力する（ステップＳ８０８）。また、表示装置３０９に出力するようにしても良い。
【００６２】
以上の説明により、本実施形態によれば、複数フレームから構成される動画像に対して周波数空間上の処理を効果的に行うことでき、より高いノイズ除去効果および鮮鋭化処理を実現することが可能となる。
【００６３】
［第２の実施形態］
本実施形態では、第１の実施形態に係る処理において、画像入力部１に入力された画像に関する情報を更に入力する。これにより、入力される画像の種別や撮影条件などに応じて動画像を処理することができる。
【００６４】
図４は、本実施形態に係る画像処理装置４００の機能構成を示すブロック図である。同図において図１と同じ部分については同じ番号を付けており、その説明は省略する。同図に示す如く、本実施形態に係る画像処理装置４００は、図１に示した第１の実施形態に係る画像処理装置１００に撮影条件入力部７を加えた構成を有する。
【００６５】
撮影条件入力部７は、画像入力部１に入力される動画像の撮影条件等、動画像に関する情報を入力するものである。「動画像に関する情報」については特に限定するものではないが、本実施形態では、入力画像が医用Ｘ線画像である場合について説明する。
【００６６】
処理対象を医用Ｘ線動画像とした場合、撮影条件としては撮影部位、Ｘ線照射量、あるいは撮影方法などがある。これらの情報は、撮影条件入力部７に対して入力される。
【００６７】
そして、例えば、撮影条件入力部７は、以下に列挙する撮影方法に応じて、周波数分解部２、画像再構成部４における周波数分解レベルを決定する。
【００６８】
（１） 透視
（２） ＤＳＡ
（３） 静止画撮影
例えば、撮影条件入力部７に「撮影方法が透視である旨を示す情報」が入力された場合には、周波数分解部２、画像再構成部４における周波数分解レベルを３と決定する。また、撮影条件入力部７に「撮影方法がＤＳＡである旨を示す情報」が入力された場合には、周波数分解部２、画像再構成部４における周波数分解レベルを５と決定する。また、撮影条件入力部７に「撮影方法が静止画撮影である旨を示す情報」が入力された場合には、周波数分解部２、画像再構成部４における周波数分解レベルを７と決定する。
【００６９】
周波数分解レベルを多く取ることで、より細かい周波数処理が可能となるが、透視撮影においてはその用途が診断ではなく、カテーテルなどの手術デバイスの位置を確認できれば十分である。しかし、表示の遅れを回避するためには、フレームレートは高く取る必要がある。そこで、透視に対しては分解レベルを低く設定することにより計算量を抑え、透視に最適な処理を実現することができる。
【００７０】
一方、DSAにおいてフレームレートは例えば毎秒7フレーム程度であるが、微細な血管構造までを描出する必要性から、より高い分解レベルで処理を行うことが望ましい。さらに静止画撮影においては、診断に耐えうる画質とするために計算量が増大したとしても可能な限り高画質を達成する為、高い分解レベルとする必要がある。
【００７１】
このように、撮影の方法により周波数分解のレベルを変化させることで、目的に応じた処理を実現することができる。
【００７２】
また分解レベルのみではなく、係数変更部３における処理のパラメータを変更するようにしても良い。例えば、上記（式１）におけるαの値を透視の場合は小さく、ＤＳＡの場合は大きくなるように変更する。また、透視の場合は、被爆量を抑えるためにＸ線照射量を小さくするが、これにより画像におけるノイズ量は多くなる。このため前フレームの係数に対する重みを大きく取ることによって、よりノイズ除去効果を高めることができるようになる。
【００７３】
また、処理対象周波数帯域の選択を、撮影条件入力部７への入力に基づいて、最も高い周波数帯域から所定の数の帯域についてのみ処理を行うようにしてもよい。特に、透視撮影など画像中に映出された被写体に動きがあるような場合においては、低い周波数帯域に対して上述した処理を行うと残像が発生することがある。したがってこのような撮影においては、処理対象となる周波数帯域として所定数の高周波帯域が選択すればよい。
【００７４】
例えば、離散ウェーブレット変換の場合であれば、ＬＬおよびＨＬ３、ＬＨ３、ＨＨ３を除く帯域を処理対象から除くことによって、残像の影響を抑えながらノイズ除去を行うことができる。
【００７５】
［第３の実施形態］
第１の実施形態では、係数変更部３により変更した係数Ｃ’ｉｊｔ（ｋ）を係数記憶部５に格納するようにしたが、変更前の係数Ｃｉｊｔ（ｋ）を格納するようにしても良い。その場合、係数変更部３は、上記（式１）の代わりに、以下の（式４）を用いて、係数を変更する処理を行う。
【００７６】
Ｃ’ｉｊｔ（ｋ）＝Ｅｋ｛αＣｉｊｔ（ｋ）＋（１−α）Ｃｉｊ（ｔ−１）（ｋ）｝ ｄ＜Ｔ
Ｃ’ｉｊｔ（ｋ）＝ＥｋＣｉｊｔ（ｋ） ｄ≧Ｔ
（式４）
即ち、第１の実施形態において係数Ｃ’ｉｊ（ｔ−１）（ｋ）の代わりに、係数Ｃｉｊ（ｔ−１）（ｋ）を用いるようにしても良い。
【００７７】
更に、係数変更部３において上記（式１）に基づいて係数を変更するのか、それとも上記（式４）を用いて係数を変更するのかを、図４に示した撮影条件入力部７に入力される情報に基づいて決定するようにしても良い。
【００７８】
例えば、画像入力部１に入力される画像中の被写体が微細な構造を持ち、更にある程度の動きがある場合は、（式１）に基づくリカーシブなフィルタリングを用いると残像効果が大きくなるため観察上好ましくない。しかし、（式４）を用いればその影響を抑制することができる。
【００７９】
従って、画像入力部１に入力される画像が医用画像であって、この画像の撮影方式が血管造影などの場合には以下のようにすればよい。即ち、撮影条件入力部７が係数変更部３における処理のパラメータを切り替えると同時に、（式１）を用いる場合には係数記憶部５に対する入力を係数変更部３による出力とし、（式４）を用いる場合には周波数分解部２による出力とする。これにより、被写体および撮影方法に最適な処理を選択することができるようになる。
【００８０】
更に、係数記憶部５には、現在係数変更部３によって処理対象となっているフレームの過去複数フレームの係数を保持させるようにしても良く、その場合、（式１）や（式４）において重み付け係数αは、過去のフレーム毎に変化させるようにしてもよい。
【００８１】
［第４の実施形態］
第１の実施形態では、図８に示したフローチャートに従った処理は、１つのフレーム画像全体について行うものとして説明した。しかし、図５に示す如く、１つのフレーム画像を複数の矩形（矩形画像）に分割し、それぞれの矩形毎に図８に示したフローチャートに従った処理を行うようにしても良い。図５は、１つのフレーム画像を１６個の矩形画像（Ｔ１〜Ｔ１６）に分割した様子を示す図である。
【００８２】
この場合、第１の実施形態で説明に用いた第ｔフレーム画像は、第ｔフレームにおけるフレーム画像を分割した１つの矩形画像（第ｔ矩形画像）に相当する。また、第（ｔ−１）フレーム画像は、第（ｔ−１）フレームにおけるフレーム画像において、この第ｔ矩形画像に位置的に対応する矩形画像（第（ｔ−１）矩形画像）に相当する。
【００８３】
このように構成することで、周波数分解部２において周波数分解を行う際の所要メモリ量を低減することができるようになる。さらに、矩形画像毎に処理条件を変更するようにしてもよい。
【００８４】
図６は、本実施形態に係る画像処理装置６００の機能構成を示すブロック図である。なお、図１，４と同じ部分については同じ番号を付けており、その説明を省略する。図６に示す如く、本実施形態に係る画像処理装置６００は、図４に示した画像処理装置４００に更に、画像解析部８を加えた構成となっている。
【００８５】
このような構成において、画像入力部１は、外部から入力されたフレーム画像を複数の矩形画像に分割し、矩形画像毎に出力する。画像解析部８は、矩形画像を受けると、この矩形画像を構成する全ての画素の画素値を用いて平均画素値、及び画素値の分散値を求める。そして求めたこれらの統計値に基づいて、この矩形画像中に含まれているノイズの量を判断し（例えば、ノイズの量を多い、普通、少ないの３段階でもって判断し）、判断した結果を係数変更部３に通知する。
【００８６】
フレーム画像が医用Ｘ線画像の場合、Ｘ線吸収の多い臓器が映出された矩形画像については、平均画素値は低くなり、またノイズ量も多くなる為、より効果的にノイズ除去を行う必要がある。従って、ノイズ量が多いと画像解析部８により判断された矩形画像については、係数変更部３における処理パラメータを第２の実施形態で説明したように変更することで、より効果的な処理を行うことが可能となる。
【００８７】
［第５の実施形態］
図２に示すような撮像装置３６０が複数のユニットでもって構成されている場合には、上述の実施形態で説明したような画像処理装置をそれぞれのユニットに接続するようにしても良い。この場合、画像処理装置は１つのチップでもって構成することが好ましい。そして、それぞれのユニットに接続された画像処理装置の出力を最後に合成し、最終的な出力を得る。
【００８８】
図７（ａ）は、上述の実施形態で説明したような画像処理装置を、撮像装置を構成している各ユニットに接続した場合の、この撮像装置の概略構成を示す図である。同図において７０１，７０２は平面センサを構成しているユニット（それぞれＵ１，２）である。即ち、この平面センサは、２つのユニット７０１，７０２を張り合わせた構成を有する。
【００８９】
７１１，７１２はそれぞれ画像処理装置（それぞれＩＰ１，２）で、例えば図６に示すような構成を有する。それぞれの画像処理装置７１１，７１２は、ユニット７０１、７０２からの画像信号を受け、上述の如くフレーム画像に対する処理を行う。この構成において各画像処理装置７１１，７１２は並列的に処理を行い、処理結果を画像合成部９に出力する。
【００９０】
画像合成部９は、それぞれの画像処理装置７１１，７１２からの出力を合成し、最終的に１つのフレーム画像を出力する。
【００９１】
このようにセンサが複数のユニットから構成されている場合は、処理を並列的に行えるように画像処理装置をそれぞれのユニットに接続することで、より高い処理効率を得ることが可能となる。
【００９２】
また、図７（ｂ）に示す如く、画像処理装置７１１に対して複数個のユニット（Ｕ１〜Ｕ４）、画像処理装置７１２に対して複数個のユニット（Ｕ５〜Ｕ８）を接続するような構成であっても良い。この場合、画像処理装置７１１，７１２それぞれに対して１つのユニットが順次選択され、選択されたユニットからの画像信号を受けることになる。図７（ｂ）は、上述の実施形態で説明したような画像処理装置に対して複数個のユニットを接続した場合の、撮像装置の概略構成を示す図である。
【００９３】
また、上記各実施形態は適宜組み合わせても良い。
【００９４】
以上の各実施形態によれば、動画像を処理する場合に、同一フレーム内の画像信号と時間軸方向の変化を利用しつつ、より高い効果のある画質改善を行うことができる。
【００９５】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９６】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９７】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９８】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００９９】
【図１】本発明の第１の実施形態に係る画像処理装置１００の機能構成を示すブロック図である。
【図２】（ａ）は、画像Ｆｎに対して２次元離散ウェーブレット変換処理を施すことで１０個の周波数帯域を得る様子を説明する図、（ｂ）は、画像Ｆｎに対してラプラシアンピラミッド分解を行うことで３つの周波数帯域を得る様子を説明する図である。
【図３】画像処理装置として適用するコンピュータのハードウェア構成、及びその周辺機器を示すブロック図である。
【図４】本発明の第２の実施形態に係る画像処理装置４００の機能構成を示すブロック図である。
【図５】１つのフレーム画像を１６個の矩形画像（Ｔ１〜Ｔ１６）に分割した様子を示す図である。
【図６】本発明の第１の実施形態に係る画像処理装置６００の機能構成を示すブロック図である。
【図７】（ａ）は、画像処理装置を、撮像装置を構成している各ユニットに接続した場合の、この撮像装置の概略構成を示す図で、（ｂ）は、画像処理装置に対して複数個のユニットを接続した場合の、撮像装置の概略構成を示す図である。
【図８】図１に示した各部が行う処理のフローチャートである。
【特許請求の範囲】
【請求項１】
動画像を構成する各フレームの画像を順次入力する入力手段と、
第１フレーム画像を複数の周波数帯域に分解する分解手段と、
前記第１フレーム画像について前記分解手段が分解した複数の周波数帯域のうち所望の周波数帯域に属する係数を、前記第１フレーム画像よりも前のフレームの画像である第２フレーム画像について前記分解手段が分解した複数の周波数帯域のうち当該所望の周波数帯域に対応する周波数帯域に属する係数を用いて変更する変更手段と、
前記変更手段により変更した周波数帯域を含む全ての周波数帯域の係数に基づいて前記分解手段が行った逆の処理を行うことにより、画像を再構成する再構成手段と、
前記再構成手段により再構成された画像を、前記第１フレーム画像として出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記分解手段は、ウェーブレット変換を用いることで、画像を複数の周波数帯域に分解することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所望の周波数帯域は、ＬＬを除く全ての周波数帯域であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記分解手段は、ラプラシアンピラミッド分解処理を行うことで、画像を複数の周波数帯域に分解することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記所望の周波数帯域は、Ｌを除く全ての周波数帯域であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記変更手段は、
前記第１フレーム画像における注目周波数帯域の係数を、前記第２フレーム画像において当該注目周波数帯域に対応する周波数帯域の係数を用いて変更する処理を、前記第１フレーム画像におけるそれぞれの周波数帯域について行うことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第２フレーム画像について前記分解手段が分解したそれぞれの周波数帯域に属する係数は、前記第１フレーム画像における注目周波数帯域の係数を変更する為に用いる際には既に前記変更手段でもって変更されたものであることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
更に、
前記入力手段に入力される画像に係る情報に基づいて、
前記第２フレーム画像について前記分解手段が分解したそれぞれの周波数帯域に属する係数として、前記第１フレーム画像における注目周波数帯域の係数を変更する為に用いる際には既に前記変更手段でもって変更されたものを用いるか、当該変更のないものを用いるのかを切り替える手段
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
更に、前記入力手段に入力される画像に係る情報に基づいて、前記分解手段、前記再構成手段による分解レベルを制御する手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
更に、前記入力手段に入力される画像に係る情報に基づいて、前記変更手段による変更処理に係るパラメータを制御する手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記第２フレーム画像は、前記第１フレーム画像よりも前の複数フレーム画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記第１フレーム画像は第１フレームにおける画像を複数の矩形に分割することで得られる矩形画像であり、前記第２フレーム画像は、当該第１フレームよりも前のフレームにおける画像を複数の矩形に分割した場合に、当該矩形画像に対応する矩形画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
更に、
前記第１フレーム画像におけるノイズの量を判断する判断手段と、
前記判断手段による判断結果に応じて、前記変更手段による処理に係るパラメータを制御する手段と
を備えることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
動画像を構成する各フレームの画像を順次入力する入力工程と、
第１フレーム画像を複数の周波数帯域に分解する分解工程と、
前記第１フレーム画像について前記分解工程で分解した複数の周波数帯域のうち所望の周波数帯域に属する係数を、前記第１フレーム画像よりも前のフレームの画像である第２フレーム画像について前記分解工程で分解した複数の周波数帯域のうち当該所望の周波数帯域に対応する周波数帯域に属する係数を用いて変更する変更工程と、
前記変更工程で変更した周波数帯域を含む全ての周波数帯域の係数に基づいて前記分解工程で行った逆の処理を行うことにより、画像を再構成する再構成工程と、
前記再構成工程で再構成された画像を、前記第１フレーム画像として出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項１５】
コンピュータに請求項１４に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項１６】
請求項１５に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【請求項１】
動画像を構成する各フレームの画像を順次入力する入力手段と、
第１フレーム画像を複数の周波数帯域に分解する分解手段と、
前記第１フレーム画像について前記分解手段が分解した複数の周波数帯域のうち所望の周波数帯域に属する係数を、前記第１フレーム画像よりも前のフレームの画像である第２フレーム画像について前記分解手段が分解した複数の周波数帯域のうち当該所望の周波数帯域に対応する周波数帯域に属する係数を用いて変更する変更手段と、
前記変更手段により変更した周波数帯域を含む全ての周波数帯域の係数に基づいて前記分解手段が行った逆の処理を行うことにより、画像を再構成する再構成手段と、
前記再構成手段により再構成された画像を、前記第１フレーム画像として出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記分解手段は、ウェーブレット変換を用いることで、画像を複数の周波数帯域に分解することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所望の周波数帯域は、ＬＬを除く全ての周波数帯域であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記分解手段は、ラプラシアンピラミッド分解処理を行うことで、画像を複数の周波数帯域に分解することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記所望の周波数帯域は、Ｌを除く全ての周波数帯域であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記変更手段は、
前記第１フレーム画像における注目周波数帯域の係数を、前記第２フレーム画像において当該注目周波数帯域に対応する周波数帯域の係数を用いて変更する処理を、前記第１フレーム画像におけるそれぞれの周波数帯域について行うことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第２フレーム画像について前記分解手段が分解したそれぞれの周波数帯域に属する係数は、前記第１フレーム画像における注目周波数帯域の係数を変更する為に用いる際には既に前記変更手段でもって変更されたものであることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
更に、
前記入力手段に入力される画像に係る情報に基づいて、
前記第２フレーム画像について前記分解手段が分解したそれぞれの周波数帯域に属する係数として、前記第１フレーム画像における注目周波数帯域の係数を変更する為に用いる際には既に前記変更手段でもって変更されたものを用いるか、当該変更のないものを用いるのかを切り替える手段
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
更に、前記入力手段に入力される画像に係る情報に基づいて、前記分解手段、前記再構成手段による分解レベルを制御する手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
更に、前記入力手段に入力される画像に係る情報に基づいて、前記変更手段による変更処理に係るパラメータを制御する手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記第２フレーム画像は、前記第１フレーム画像よりも前の複数フレーム画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記第１フレーム画像は第１フレームにおける画像を複数の矩形に分割することで得られる矩形画像であり、前記第２フレーム画像は、当該第１フレームよりも前のフレームにおける画像を複数の矩形に分割した場合に、当該矩形画像に対応する矩形画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
更に、
前記第１フレーム画像におけるノイズの量を判断する判断手段と、
前記判断手段による判断結果に応じて、前記変更手段による処理に係るパラメータを制御する手段と
を備えることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
動画像を構成する各フレームの画像を順次入力する入力工程と、
第１フレーム画像を複数の周波数帯域に分解する分解工程と、
前記第１フレーム画像について前記分解工程で分解した複数の周波数帯域のうち所望の周波数帯域に属する係数を、前記第１フレーム画像よりも前のフレームの画像である第２フレーム画像について前記分解工程で分解した複数の周波数帯域のうち当該所望の周波数帯域に対応する周波数帯域に属する係数を用いて変更する変更工程と、
前記変更工程で変更した周波数帯域を含む全ての周波数帯域の係数に基づいて前記分解工程で行った逆の処理を行うことにより、画像を再構成する再構成工程と、
前記再構成工程で再構成された画像を、前記第１フレーム画像として出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項１５】
コンピュータに請求項１４に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項１６】
請求項１５に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−９４５５５（Ｐ２００７−９４５５５Ａ）
【公開日】平成１９年４月１２日（２００７．４．１２）
【国際特許分類】
【出願番号】特願２００５−２８０３７２（Ｐ２００５−２８０３７２）
【出願日】平成１７年９月２７日（２００５．９．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１９年４月１２日（２００７．４．１２）
【国際特許分類】
【出願日】平成１７年９月２７日（２００５．９．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]