画像処理装置、画像形成装置、画像処理方法、画像処理装置制御プログラム及び、コンピュータ読み取り可能な記録媒体
【課題】 小さなメモリの容量にて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる画像処理装置を実現する。
【解決手段】 画像処理装置１では、前画素値読み出し部３２が、注目画素の前回出力した画素値である前画素値を記憶部４から読み出し、出力画素値生成部が、入力画素値を上記前画素値に応じて変更した値を、ランダムに変化する閾値により量子化した結果を示す出力画素値を生成し、前画素値更新部３３が生成された出力画素値を、注目画素の前画素値として記憶部４に記憶させる。
【解決手段】 画像処理装置１では、前画素値読み出し部３２が、注目画素の前回出力した画素値である前画素値を記憶部４から読み出し、出力画素値生成部が、入力画素値を上記前画素値に応じて変更した値を、ランダムに変化する閾値により量子化した結果を示す出力画素値を生成し、前画素値更新部３３が生成された出力画素値を、注目画素の前画素値として記憶部４に記憶させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に対して加工処理を行う画像処理に関するものである。
【背景技術】
【０００２】
近年、ビデオ、ＤＶＤ、ＡＶ機器といったデジタル家電が普及してきており、手軽に画像を加工するニーズが高まっている。画像の加工には、例えば、動画像中の被写体の奇跡を鮮明にするために、残像効果を生じさせるものがある。ここで、残像効果とは、物体が通過した後に物体の軌跡の像が残って表示される現象を生じさせる効果のことである。動画像に残像効果を発生させるために、ビデオのフィードバックの原理を利用した方法が、従来広く使われている。ビデオのフィードバックとは、ビデオカメラの出力信号を映し出している表示装置を撮影した場合に起こる現象で、映像が何重にも繰り返して表示される現象のことである。ビデオカメラの撮影条件やコントラストや表示装置の表示条件等を調節することで、スパイラルパターン、スポットパターンなどの様々なパターンを作り出すことが可能である。このようなビデオのフィードバックの原理を利用した残像効果の発生は、フィードバックされるフレームがどの程度ブレンドされるかを調整することによって、実現されている（例えば、非特許文献１、２参照）。
【非特許文献１】Physical Review E、Vol. 61, No.4, (2000) 3743
【非特許文献２】Nature, Vol. 414, DEC (2001) 864
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の、ビデオのフィードバックを利用しての残像効果の発生では、残像効果を作り出すフレーム数をｔとすると、過去ｔ個のフレーム画像全ての情報を記憶しておかなければならない。これらｔ個のフレームの画素値を用いて現在の画素値を決定する。そのため、従来の残像効果を発生させるための画像処理装置には、大きな容量のメモリが必要であるという問題点がある。
【０００４】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、小さなメモリの容量にて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる画像処理装置、画像形成装置、画像処理方法、画像処理装置制御プログラム及び、コンピュータ読み取り可能な記録媒体を実現することにある。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、上記課題を解決するために、複数の画素からなる画像のそれぞれの画素に対して、入力信号を量子化して出力信号に変換する画像処理装置において、注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出し手段と、上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成手段と、上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新手段と、を備えることを特徴としている。
【０００６】
また、本発明に係る画像処理方法は、上記課題を解決するために、複数の画素からなる画像のそれぞれの画素に対して、入力信号を量子化して出力信号に変換する画像処理方法において、注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出しステップと、上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成ステップと、上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新ステップと、を含むことを特徴としている。
【０００７】
上記構成および上記方法によると、注目画素の出力信号を生成する際、当該注目画素の入力信号を今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号に応じて変更した値に対して、ランダムに変化する閾値にて量子化を行う。つまり、上記構成および上記方法では、画像を構成する各画素の信号処理において、ランダムな閾値にて量子化を行う際に、今回の入力信号に前信号を付加する（フィードバックする）ことで、固有の緩和時間を有する処理を行うことができる。ここで、緩和時間とは、ステップ状の入力信号に対して、出力信号が対応する定常の信号（前信号を付加していないもの）に緩和するまでの時間を指す。この緩和時間と比べて変化速度の遅い入力信号と速い入力信号とでは異なる応答特性を示す。よってこの応答特性を用い、動画像の画素の変化速度に応じて画素の応答を分別する処理が可能となる。この分別処理を施すことにより、変化速度の遅い画素は処理されずに出力されるが、変化速度の速い画素は出力信号に変調を加えられて出力されることになる。
【０００８】
よって、上記構成および上記方法によると、緩和時間を基準とした入力信号の変化速度に対応して、出力信号に変調を与えることができる。
【０００９】
このように、前信号をフィードバックすることと、ランダムに変化する閾値での量子化を行うことにより、動画像に残像効果を与えることができる。つまり、画像中の物体が通過した後に物体の軌跡の像が残って表示される効果を与えることができる信号を生成することができる。よって、前信号のみを記憶しておくだけで、残像効果を発生することができる。
【００１０】
ここで、処理する信号は、例えば、画素値の情報を示す信号であってもよい。ここで、画素値とは、ピクセル値であり、画素の色情報を表すものである。例えば、２４ビットＢｉｔｍａｐ形式では、ＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）の順に夫々［０，２５５］の範囲で画素の色情報が格納されている。処理する信号が画素値の情報を示す信号である場合、前画素値のみを記憶しておくだけで、残像効果を発生することができる。ここで、グレースケールの画像を扱う場合には、上記画素値として輝度の情報を表す信号について処理を行ってもよい。
【００１１】
また、明度の情報を表す信号について処理したり、彩度の情報を表す信号について処理したりすると、明度や彩度の変化に遅れが生じて見えるようになる。どちらも、にじみを感じさせる動画となる。これは、以下に説明する、変化の速度に応じて出力信号に変調を加えられる特性を応用した、画像から高周波除去を行うことができる性質の結果生じている現象と考えられる。
【００１２】
また、上記構成および上記方法によると、残像効果を発現させる以外にも、入力信号の変化速度に応じて出力信号に変調を加えられる特性を応用し、画像から高周波除去を行うことができる。ここで、除去できる波長は固有の緩和時間に依存して決まる。おおよそ緩和時間の逆数の周波数より高調波が周波数のべき乗で減少する。よってこの性質を用いることによりノイズの高周波成分を除去し、ノイズの低減に役立つことが期待できる。このような、入力信号の変化速度に応じて出力信号に変調を加えられる現象を、動的ヒステリシスあるいはダイナミックヒステリシスと呼ぶ。これは、動的相転移現象のひとつの特徴である。
【００１３】
以上のように、上記構成および上記方法によると、従来のように残像効果を作り出す全フレーム分を記憶しておく必要がなく、前の出力信号である前信号を記憶しておくだけで、残像効果のように前信号により後の出力信号に変調を与えることができる。よって、少なくとも前信号を記憶しておくことができる小さい容量のメモリにて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる。よって、コストを下げて、前の出力信号により後の出力信号に変調を与える画像処理を行う画像処理装置を形成することができる。また、従来の画像処理装置を上記構成にするとことで、従来残像効果を作り出す過去のフレーム画像全ての情報を記憶するために使用していたメモリを他の用途に使用することができる。
【００１４】
また、本発明に係る画像処理装置は、上記構成に加え、ノイズにより上記閾値をランダムに変化させるノイズ発生手段を備えていてもよい。
【００１５】
上記構成によると、ノイズ発生手段が発生するノイズにより、閾値がランダムに変化し、発明に係る画像処理装置は、この閾値を用いて量子化を行う。このように、自装置における閾値を変化させる構成を用いて量子化を行うことで、他の装置を用いることなく、入力信号に対する処理を行うことができる。なお、ノイズの発生は、従来公知の方法を好適に用いることができる。
【００１６】
なお、本発明に係る画像処理装置では、上記出力信号生成手段は、上記入力信号と所定の係数を乗算した上記前信号とを加算した値を、ランダムに変化するディザパターンの値を閾値として量子化することにより、出力信号を生成してもよい。
【００１７】
ここでは、入力信号と所定の係数を乗算した上記前信号とを加算した値を、ランダムに変化するディザパターンの値を閾値として量子化することによって、「上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号」を生成するが、これに限定されることはない。上記出力信号を生成できれば、例えば、入力信号と所定の係数を乗算した前信号とランダムなノイズ信号との加算結果を、予め定められた閾値で量子化してもよい。あるいは、上記出力信号を生成できれば、入力信号に、所定の係数を乗算した前信号をランダムに変化する閾値で量子化した値を、加算してもよい。
【００１８】
いずれの場合であっても、「上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号」を生成することができればよい。
【００１９】
なお、上記「ディザパターンの値」とは、ディザ法により発生させた値のことである。
【００２０】
また、本発明に係る画像形成装置は、上記何れかに記載の画像処理装置を備え、各画素をそれぞれ上記算出された出力信号にて出力することを特徴としている。
【００２１】
上記構成によれば、画像を出力する際に、画像を構成する各画素の信号処理において、ランダムな閾値にて量子化を行うとき、前信号のフィードバックを付加した固有の緩和時間を定義できるフィルター処理を行うことができる。そのために、緩和時間を基準とした入力信号の変化速度に対応して、出力信号に変調を与えることができる。
【００２２】
注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号をフィードバックすることと、ランダムに変化する閾値での量子化を行うこととにより、残像効果を与えた動画像を出力することができる。つまり、画像中の物体が通過した後に物体の軌跡の像が残って表示される出力画像を形成することができる。
【００２３】
よって、上記構成によると、小さい容量のメモリにて、残像効果を発させた動画像を形成することができる。よって、コストを下げて残像効果を発生させた画像を出力する画像形成装置を形成することができる。また、従来の画像形成装置を上記構成にするとことで、従来残像効果を作り出す過去のフレーム画像全ての情報を記憶するために使用していたメモリを他の用途に使用することができる。
【００２４】
また、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置における上記各手段として動作させることにより、上記画像処理装置をコンピュータにて実現させる画像処理装置制御プログラム、及びその画像処理装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００２５】
これらの構成によれば、画像処理装置制御プログラムを、コンピュータに読み取り実行させることによって、上記画像処理装置と同一の作用効果を実現することができる。
【発明の効果】
【００２６】
本発明に係る画像処理装置は、以上のように、注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出し手段と、上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成手段と、上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新手段と、を備えている。
【００２７】
上記構成によれば、注目画素の出力信号を算出する際、当該注目画素の入力信号を今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号に応じて変更した値に対して、ランダムに変化する閾値にて量子化を行う。つまり、上記構成では、画像を構成する各画素の信号処理において、ランダムな閾値にて量子化を行う際に、今回の入力信号に前信号を付加する（フィードバックする）ことで、固有の緩和時間を有する処理を行うことができる。ここで、緩和時間とは、ステップ状の入力信号に対して、出力信号が対応する定常の信号（前信号を付加していないもの）に緩和するまでの時間を指す。この緩和時間と比べて変化速度の遅い入力信号と速い入力信号とでは異なる応答特性を示す。よってこの応答特性を用い、動画像の画素の変化速度に応じて画素の応答を分別する処理が可能となる。この分別処理を施すことにより、変化速度の遅い画素は処理されずに出力されるが、変化速度の速い画素は出力信号に変調を加えられて出力されることになる。よって、上記構成によると、緩和時間を基準とした入力信号の変化速度に対応して、出力信号に変調を与えることができる。
【００２８】
このように、前信号をフィードバックすることと、ランダムに変化する閾値での量子化を行うことにより、動画像に残像効果を与えることができる。つまり、画像中の物体が通過した後に物体の軌跡の像が残って表示される効果を与えることができる信号を生成することができる。よって、前信号のみを記憶しておくだけで、残像効果を発生することができる。
【００２９】
また、上記構成によると、残像効果を発現させる以外にも、入力信号の変化速度に応じて出力信号に変調を加えられる特性を応用し、画像から高周波除去を行うことができる。
【００３０】
以上にように、上記構成によると、従来のように残像効果を作り出す全フレーム分を記憶しておく必要がなく、前の出力信号である前信号を記憶しておくだけで、残像効果のように前信号により後の出力信号に変調を与えることができる。よって、少なくとも前信号を記憶しておくことができる小さい容量のメモリにて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる。よって、コストを下げて、前の出力信号により後の出力信号に変調を与える画像処理を行う画像処理装置を形成することができる。また、従来の画像処理装置を上記構成にするとことで、従来残像効果を作り出す過去のフレーム画像全ての情報を記憶するために使用していたメモリを他の用途に使用することができる。
【発明を実施するための最良の形態】
【００３１】
本発明の一実施形態について図１〜図３に基づいて説明すると以下の通りである。図１は、本実施形態の画像処理装置１を備えた画像形成装置２の主要部の構成を示すブロック図である。
【００３２】
図１に示すように、画像処理装置１は、制御部３、記憶部４、ノイズ発生部５とを、備えている。
【００３３】
制御部３は、出力画素値生成部（出力信号生成手段）３１、前画素値読み出し部（前信号読み出し手段）３２、前画素値更新部（前信号更新手段）として機能する。また、制御部３は、画像処理装置１内における各種構成の動作を統括的に制御するものである。なお、この統括的な制御は、画像処理装置１の外の画像形成装置２に備えられた制御装置（図示せず）により行われてもかまわない。
【００３４】
出力画素値生成部３１は、注目画素（処理対象画素）の、映像信号源６から入力された画素値の情報を示す信号である入力画素値と、前画素値読み出し部３２が記憶部４から読み出した前画素値とを基に、入力画素値を前画素値に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力画素値を生成（算出、演算）する。
【００３５】
本実施形態では、処理対象の信号を画素値として説明するが、これに限定はされない。ここで、画素値とは、ピクセル値であり、画素の色情報を表すものである。例えば、２４ビットＢｉｔｍａｐ形式では、ＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）の順に夫々［０，２５５］の範囲で画素の色情報が格納されている。また、前画素値とは、注目画素の今回の出力画素値よりひとつ前に出力された当該注目画素の出力画素値である。
【００３６】
また、本実施形態では、出力画素値生成部３１は、以下で説明するように、入力画素値と前画素値とランダムなノイズ信号との加算結果を、予め定められた閾値で２値化することによって、「入力画素値を前画素値に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力画素値」を生成するものとする。しかし、これには、限定されず、例えば、入力画素値と前画素値との加算を行う加算器と、ノイズ信号によりランダムに変化する閾値で加算器の出力結果を量子化する量子化器とを備えてもよい。また、上記出力画素値を生成できれば、入力画素値を前画素値に応じて変更した値を直接生成せず、例えばランダムなノイズ信号と前画素値との加算結果を閾値として、入力画素値を量子化してもよい。いずれの場合であっても、「入力画素値を前画素値に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力画素値」生成すれば、同様の効果を得られる。
【００３７】
前画素値読み出し部３２は、出力画素値生成部３１が注目画素の今回の出力画素値を算出する際に、記憶部４から、当該注目画素の今回の出力画素値よりひとつ前に出力された当該注目画素の出力画素値を読み出す。
【００３８】
前画素値更新部３２は、出力画素値生成部３１が注目画素の今回の出力画素値を算出した後、この出力画素値を、記憶部４に記憶されている当該注目画素の前画素値と入れ替えて、算出された今回の出力画素値を前画素値として記憶させる。
【００３９】
なお、本実施形態では、出力画素値生成部３１は、各画素についてそれぞれ、１シート毎に出力画素値を生成（算出、演算）するものとするが、出力画素値生成部が画素毎に設けられ、それぞれの出力画素値生成部が対応するそれぞれの画素について出力画素値を生成してもかまわない。
【００４０】
記憶部４は、ハードディスクなどの不揮発性の記憶装置によって構成されるものである。この記憶部４には、画素毎にそれぞれ対応付けられて前画素値が記憶されている。なお、画素毎に記憶メモリを有していてもよい。
【００４１】
ノイズ発生部５は、ランダムなノイズを発生させて、出力画素値生成部３１に与え、入力画素値と前画素値とに加算させる。なお、ノイズの発生方法は公知の方法を用いればよい。例えば、線形合同法、乗算合同法とBox-Muller法の組み合わせ、Ziggurat法、電子回路内のノイズを増幅する方法、原子核の崩壊現象が確率的であることを利用した方法、ノイズパターンをROMに記憶させておき、そのパターンを用いる方法がある。なお、これらは、単なる例示であり、これら以外の方法であってもかまわない。
【００４２】
映像信号源６は、画像（映像）を入力信号として入力画素値を画像処理装置１に入力する。映像信号源６は、画像を示す信号を入力できるものであれば、どのようなものであってもかまわなく、例えば、ビデオやチューナー等が挙げられる。
【００４３】
表示装置７は、表示パネル等からなり、画像処理装置１から出力される出力画素値を示す信号を含む出力信号に基づき画像を表示させる。
【００４４】
以下に、入力画素値から出力画素値を算出するためのモデルを定式化し、その近似理論について述べる。そして、出力画素値が、前画素値の重みと、ノイズによりランダムに変換する閾値にて２値化する、つまりランダム関数に通す、際のランダム関数のノイズ強度との２つのパラメータに依存して非線形特性（履歴現象、遅れ）を生じることを示す。ここで、履歴現象とは、ある量xの変化に伴って、他の量ｙが変化する場合、xの変化の経路によって同じxの値に対するyの値が異なる現象のことである。x−y平面上にxとyとの関係をプロットすると、yがxに対する多価関数として描かれる。磁性体の磁気現象として履歴現象（ヒステリシス、hysteresis）はよく知られている。
【００４５】
なお、本実施形態では、ノイズ発生部５が発生させるノイズ信号によりノイズを発生させて２値化を行っているが、限定はされず、他の方法で２値化を行う際の閾値を変化させてもよい。
【００４６】
次に、図２を用いて、画像処理装置１の行う処理（演算処理）、つまり、入力画素値を出力画素値に変換する処理について説明する。なお、画像の時刻ｔのフレームの位置（i,j）における入力画素値をsij(t)、出力画素値をYij(t)とする。
【００４７】
ここでは一般化のため、入力画素値sij(t)、出力画素値Yij(t)は、画素の取りうる最大値で規格化され、０≦sij(t)≦１、０≦Yij(t)≦１であるとする。初めに、出力画素値生成部３１は、離散時間ｔ＝０，１，２…に対して、映像信号源６から入力画素値sij(t)が印加されると、この入力画素値に、前出力画素値読み出し部３２が記憶部４から読み出した前出力画素値yij(k)(t-1)を定数（F）倍したものと、ランダムに変化するノイズ信号の値ξij(t)と、バイアスIとを加算する。つまり、sij(t)+ξij(t)+I+Fyij(k)(t-1)を計算する。そして、この加算した値について予め定められた閾値θにて閾値判定を行い、閾値上であれば１を、閾値下であれば０を与える（２値化する）。そして、kについて１からNまで総和を取り、平均値を算出しその値を出力画素値Yij(t)とする。ここで、Nは出力画素値の取りえる値である。
【００４８】
これを式に表すと、次の式（１）のようになる。
【００４９】
【数１】
【００５０】
ここで、Θ( )は、Heviside 関数であり、次の式（２）を満たすものである。
【００５１】
【数２】
【００５２】
また、Ｉはバイアスである。本実施形態では、説明の簡略化のためＩ＝０とする。Ｎは初期パラメータとして与えられる。Ｎの値は出力画像の画素値のとり得る最大値と一致させるのがよい。例えば、２４ビットのBitmap形式では、ＲＢＧ夫々に対して、Ｎ＝２５５とする。また、θは閾値、ξ(t)は独立分布のガウスノイズN(0,σ2)である。ここで、ガウスノイズとは、次の式（３）の確率密度関数G(ξ)からサンプルされる値である。
【００５３】
【数３】
【００５４】
なお、画像中の物体が通過した後に物体の軌跡の像が残って表示される効果、いわゆる残像効果を発生させるためには、上記Ｆとσとは、0.8≦Ｆ≦1.3、0.3≦σ≦0.6の範囲であることが好ましい。
【００５５】
以上の演算処理を、全ての画素について１フレーム毎に行う。図２において、入力値（input signal）s(t)が分割されているのは、同じ値を各画素で用いることを示しており、出力値Y(t)として結合しているのは、各画素値の演算結果の総和を算出して出力画像の信号としていることを示しているからである。
【００５６】
本実施形態の画像処理装置１は、「ディザ法で使用されるランダム関数において、前回の２値化された画素値である前画素値を記憶する記憶部と、その前画素値を正帰還する回路を付加し、それらの値の集団平均値を算出している」と言うことができる。このことによって、本実施形態の画像処理装置１は、動画像の持つ空間的に局在化する画素の時間構造を分離する動画像フィルタとして動作している。
【００５７】
ここで、ディザ法（dither technique）について説明する。ディザ法は、２値表示素子において、濃淡画像を表示させる仕組のひとつで、２値化した過程でしきい値をランダムに変化させ、濃淡の画像の局所的な平均濃度に対応した黒点（あるいは輝点）を発生させる方法である。このランダム関数をディザといい、発生方法には一様なランダム雑音を用いる方法や、濃淡度値に応じた黒点の２値パターンを組織的に発生させる方法などがある。ディザ法は２値表示デバイス（ディスプレイ装置やプリンタなど）の濃淡画像を表示するために利用されるが、これ以外にも粗い量子化によって生じる濃淡の疑似輪郭の軽減にも利用されている。カラー画像についても同様の手法で、限られた数の色を用いて自然なカラー表示を行うことができる。ここで、上記粗い量子化と擬似輪郭について説明しておく。連続的な色の変化を離散化し有限の色によって画像を表示する操作を量子化と言うが、この色の数が少ないことを粗い量子化と呼ぶ。また、擬似輪郭とは、有限階調の色（パターン）で表示する表示装置において、階調が急激に変化する場所において、あたかも輪郭があるかのように見える現象のことを指す。
【００５８】
次に、出力画素値Yij(t)と入力画素値sij(t)との関係である入出力関係について説明する。式（１）の緩和時間（ステップ状の入力画素値に対して、出力画素値が対応する定常値に緩和するまでの時間）τrelaxと、信号の変化の速さ（入力画素値の入力の変化の速さ）τsignalとの大小関係によって、出力画素値Yij(t)と入力画素値sij(t)との関係は大きく異なる。
・τrelax≦ατsignal：一対一対応の入出力関係
・τrelax≧ατsignal：hysteresis特性の入出力関係
ここでαは正の定数である。式（１）の緩和時間が入力画素値の入力の変化時間より速い場合には入力の変化に追従して出力画素値の出力が表われるため、入出力関係は一対一対応となる。反対の場合は、入力画素値の入力の変化に出力画素値の出力が追従することができなくなるため、入出力関係はhysteresis特性を示す。
【００５９】
この性質を確認するために、以下の式（４），（５）の２つの入力信号を考える。
【００６０】
【数４】
【００６１】
【数５】
【００６２】
ここで、Ｌは入力画素値s(t)の速度を決める定数であり、周波数の逆数に比例する値である。式（４），（５）は、それぞれ入力画素値の最小値から最大値、最大値から最小値までを一定の刻み幅で動く入力信号となる。入力画素値の変化の速さを表わす尺度を、以下の式（６）のように定義する。
【００６３】
【数６】
【００６４】
図３に、出力画素値の平均値＜ｙ＞（図３では縦軸）と、入力画素値ｓ（図３では横軸）との、Ｌ依存性を示す。図３（ａ）〜（ｃ）において、Ｆ＝２、σ＝０．５である。また、図３（ａ）ではＬ＝１０２、図３（ｂ）ではＬ＝１０３、図３（ｃ）ではＬ＝１０４である。Ｌが大きくなるにつれて（信号が遅くなるにつれて）入出力関係が一対一対応に近づいていくのがわかる。
【００６５】
本実施形態では、上記のように、入力画素値s(t)が系の緩和時間に比べて、早く変化する場合と遅く変化する場合とで入出力特性が異なるという特徴を用いて、入力画素値の変化速度に応じて出力画素値に変調を加える動画像フィルタとして動作する画像処理装置１について説明した。これはIsing modelにおいて調べられてきた動的相転移に類するものと考えられる。本実施形態の画像処理装置１は、入力画像の時間的空間的相関構造に依存して、様々な変化をすることが期待できる。なお、時間的空間的相関構造とは、tフレームでの位置（x,y）における画素値がフレーム（時刻）tと位置（x,y）の関数Y（x,y,t）で表示できる構造のことである
なお、２つの正方形が壁面を弾性的に反射する動画を、本実施形態の画像処理装置１にて処理したところ、Ｆとσを変化させることで、正方形が残像を残して移動したり、正方形の形状が記憶されるなどの効果を動画像に与え得ることを確認した。この場合、グレースケールの画像を扱い、画素値として輝度情報について信号処理を行った。例えば、Ｆ＝０．９、σ＝０．４の時には、前回の１フレームを記憶しておくことで、５フレーム分の残像効果が得られることを確認した。
【００６６】
以上のように、本実施形態の画像処理装置１では、注目画素の出力信号（本実施形態では、出力画素値）を生成（算出）する際、当該注目画素の入力信号を今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号（本実施形態では、前画素値）に応じて変更した値に対して、ランダムに変化する閾値にて量子化を行う。つまり、画像を構成する各画素の信号処理において、ランダムな閾値にて量子化を行う際に、今回の入力信号に前信号を付加する（フィードバックする）ことで、固有の緩和時間を有する処理を行うことができる。ここで、緩和時間とは、ステップ状の入力信号に対して、出力信号が対応する定常の信号（前信号を付加していないもの）に緩和するまでの時間を指す。この緩和時間と比べて変化速度の遅い入力信号と速い入力信号とでは異なる応答特性を示す。よってこの応答特性を用い、動画像の画素の変化速度に応じて画素の応答を分別する処理が可能となる。この分別処理を施すことにより、変化速度の遅い画素は処理されずに出力されるが、変化速度の速い画素は出力信号に変調を加えられて出力されることになる。よって、画像処理装置１は、緩和時間を基準とした入力信号の変化速度に対応して、出力信号に変調を与えることができる。
【００６７】
そのため、画像処理装置１は、前信号をフィードバックすることと、ランダムに変化する閾値での量子化を行うことにより、動画像に残像効果を与えることができる。つまり、画像中の物体が通過した後に物体の軌跡の像が残って表示される効果を与えることができる信号を生成することができる。よって、前信号のみを記憶しておくだけで、残像効果を発生することができる。
【００６８】
また、画像処理装置１は、残像効果を発現させる以外にも、入力信号の変化速度に応じて出力信号に変調を加えられる特性を応用し、画像から高周波除去を行うことができる。この、入力信号の変化速度に応じて出力信号に変調を加えられる現象を、動的ヒステリシスあるいはダイナミックヒステリシスと呼ぶ。これは、動的相転移現象のひとつの特徴である。
【００６９】
よって、画像処理装置１は、従来のように残像効果を作り出す全フレーム分を記憶しておく必要がなく、前の出力信号である前信号を記憶しておくだけで、残像効果のように前信号により後の出力信号に変調を与えることができる。よって、少なくとも前信号を記憶しておくことができる小さい容量の記憶部（メモリ）にて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる。よって、コストを下げて、前の出力信号により後の出力信号に変調を与える画像処理を行う画像処理装置を形成することができる。また、従来の画像処理装置を上記構成にするとことで、従来残像効果を作り出す過去のフレーム画像全ての情報を記憶するために使用していたメモリを他の用途に使用することができる。
【００７０】
なお、画像処理装置１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【００７１】
すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００７２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００７３】
また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【００７４】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【００７５】
本発明は、動画像に対して加工を行う画像処理の分野に利用することができる。例えば、ビデオ、ＤＶＤ、ＡＶ機器等のデジタル家電に搭載したり、デジタル動画像加工ソフトのプラグインとしても適用することができる。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施形態を示すものであり、本発明に係る画像処理装置を有する画像形成装置の要部構成を示すブロック図である。
【図２】入力信号から出力信号を得る演算処理の概念を示す図である。を示すブロック図である。
【図３】（ａ）〜（ｃ）は、出力画素値の平均値＜ｙ＞の、入力画素値ｓに対する依存性の関係を示す図である。
【符号の説明】
【００７７】
１ 画像処理装置
２ 画像形成装置
３ 制御部
４ 記憶部
５ ノイズ発生部（ノイズ発生手段）
３１ 出力画素値生成部（出力信号生成手段）
３２ 前画素値読み出し部（前信号読み出し手段）
３３ 記憶更新部（記憶更新手段）
【技術分野】
【０００１】
本発明は、動画像に対して加工処理を行う画像処理に関するものである。
【背景技術】
【０００２】
近年、ビデオ、ＤＶＤ、ＡＶ機器といったデジタル家電が普及してきており、手軽に画像を加工するニーズが高まっている。画像の加工には、例えば、動画像中の被写体の奇跡を鮮明にするために、残像効果を生じさせるものがある。ここで、残像効果とは、物体が通過した後に物体の軌跡の像が残って表示される現象を生じさせる効果のことである。動画像に残像効果を発生させるために、ビデオのフィードバックの原理を利用した方法が、従来広く使われている。ビデオのフィードバックとは、ビデオカメラの出力信号を映し出している表示装置を撮影した場合に起こる現象で、映像が何重にも繰り返して表示される現象のことである。ビデオカメラの撮影条件やコントラストや表示装置の表示条件等を調節することで、スパイラルパターン、スポットパターンなどの様々なパターンを作り出すことが可能である。このようなビデオのフィードバックの原理を利用した残像効果の発生は、フィードバックされるフレームがどの程度ブレンドされるかを調整することによって、実現されている（例えば、非特許文献１、２参照）。
【非特許文献１】Physical Review E、Vol. 61, No.4, (2000) 3743
【非特許文献２】Nature, Vol. 414, DEC (2001) 864
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の、ビデオのフィードバックを利用しての残像効果の発生では、残像効果を作り出すフレーム数をｔとすると、過去ｔ個のフレーム画像全ての情報を記憶しておかなければならない。これらｔ個のフレームの画素値を用いて現在の画素値を決定する。そのため、従来の残像効果を発生させるための画像処理装置には、大きな容量のメモリが必要であるという問題点がある。
【０００４】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、小さなメモリの容量にて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる画像処理装置、画像形成装置、画像処理方法、画像処理装置制御プログラム及び、コンピュータ読み取り可能な記録媒体を実現することにある。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、上記課題を解決するために、複数の画素からなる画像のそれぞれの画素に対して、入力信号を量子化して出力信号に変換する画像処理装置において、注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出し手段と、上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成手段と、上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新手段と、を備えることを特徴としている。
【０００６】
また、本発明に係る画像処理方法は、上記課題を解決するために、複数の画素からなる画像のそれぞれの画素に対して、入力信号を量子化して出力信号に変換する画像処理方法において、注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出しステップと、上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成ステップと、上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新ステップと、を含むことを特徴としている。
【０００７】
上記構成および上記方法によると、注目画素の出力信号を生成する際、当該注目画素の入力信号を今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号に応じて変更した値に対して、ランダムに変化する閾値にて量子化を行う。つまり、上記構成および上記方法では、画像を構成する各画素の信号処理において、ランダムな閾値にて量子化を行う際に、今回の入力信号に前信号を付加する（フィードバックする）ことで、固有の緩和時間を有する処理を行うことができる。ここで、緩和時間とは、ステップ状の入力信号に対して、出力信号が対応する定常の信号（前信号を付加していないもの）に緩和するまでの時間を指す。この緩和時間と比べて変化速度の遅い入力信号と速い入力信号とでは異なる応答特性を示す。よってこの応答特性を用い、動画像の画素の変化速度に応じて画素の応答を分別する処理が可能となる。この分別処理を施すことにより、変化速度の遅い画素は処理されずに出力されるが、変化速度の速い画素は出力信号に変調を加えられて出力されることになる。
【０００８】
よって、上記構成および上記方法によると、緩和時間を基準とした入力信号の変化速度に対応して、出力信号に変調を与えることができる。
【０００９】
このように、前信号をフィードバックすることと、ランダムに変化する閾値での量子化を行うことにより、動画像に残像効果を与えることができる。つまり、画像中の物体が通過した後に物体の軌跡の像が残って表示される効果を与えることができる信号を生成することができる。よって、前信号のみを記憶しておくだけで、残像効果を発生することができる。
【００１０】
ここで、処理する信号は、例えば、画素値の情報を示す信号であってもよい。ここで、画素値とは、ピクセル値であり、画素の色情報を表すものである。例えば、２４ビットＢｉｔｍａｐ形式では、ＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）の順に夫々［０，２５５］の範囲で画素の色情報が格納されている。処理する信号が画素値の情報を示す信号である場合、前画素値のみを記憶しておくだけで、残像効果を発生することができる。ここで、グレースケールの画像を扱う場合には、上記画素値として輝度の情報を表す信号について処理を行ってもよい。
【００１１】
また、明度の情報を表す信号について処理したり、彩度の情報を表す信号について処理したりすると、明度や彩度の変化に遅れが生じて見えるようになる。どちらも、にじみを感じさせる動画となる。これは、以下に説明する、変化の速度に応じて出力信号に変調を加えられる特性を応用した、画像から高周波除去を行うことができる性質の結果生じている現象と考えられる。
【００１２】
また、上記構成および上記方法によると、残像効果を発現させる以外にも、入力信号の変化速度に応じて出力信号に変調を加えられる特性を応用し、画像から高周波除去を行うことができる。ここで、除去できる波長は固有の緩和時間に依存して決まる。おおよそ緩和時間の逆数の周波数より高調波が周波数のべき乗で減少する。よってこの性質を用いることによりノイズの高周波成分を除去し、ノイズの低減に役立つことが期待できる。このような、入力信号の変化速度に応じて出力信号に変調を加えられる現象を、動的ヒステリシスあるいはダイナミックヒステリシスと呼ぶ。これは、動的相転移現象のひとつの特徴である。
【００１３】
以上のように、上記構成および上記方法によると、従来のように残像効果を作り出す全フレーム分を記憶しておく必要がなく、前の出力信号である前信号を記憶しておくだけで、残像効果のように前信号により後の出力信号に変調を与えることができる。よって、少なくとも前信号を記憶しておくことができる小さい容量のメモリにて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる。よって、コストを下げて、前の出力信号により後の出力信号に変調を与える画像処理を行う画像処理装置を形成することができる。また、従来の画像処理装置を上記構成にするとことで、従来残像効果を作り出す過去のフレーム画像全ての情報を記憶するために使用していたメモリを他の用途に使用することができる。
【００１４】
また、本発明に係る画像処理装置は、上記構成に加え、ノイズにより上記閾値をランダムに変化させるノイズ発生手段を備えていてもよい。
【００１５】
上記構成によると、ノイズ発生手段が発生するノイズにより、閾値がランダムに変化し、発明に係る画像処理装置は、この閾値を用いて量子化を行う。このように、自装置における閾値を変化させる構成を用いて量子化を行うことで、他の装置を用いることなく、入力信号に対する処理を行うことができる。なお、ノイズの発生は、従来公知の方法を好適に用いることができる。
【００１６】
なお、本発明に係る画像処理装置では、上記出力信号生成手段は、上記入力信号と所定の係数を乗算した上記前信号とを加算した値を、ランダムに変化するディザパターンの値を閾値として量子化することにより、出力信号を生成してもよい。
【００１７】
ここでは、入力信号と所定の係数を乗算した上記前信号とを加算した値を、ランダムに変化するディザパターンの値を閾値として量子化することによって、「上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号」を生成するが、これに限定されることはない。上記出力信号を生成できれば、例えば、入力信号と所定の係数を乗算した前信号とランダムなノイズ信号との加算結果を、予め定められた閾値で量子化してもよい。あるいは、上記出力信号を生成できれば、入力信号に、所定の係数を乗算した前信号をランダムに変化する閾値で量子化した値を、加算してもよい。
【００１８】
いずれの場合であっても、「上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号」を生成することができればよい。
【００１９】
なお、上記「ディザパターンの値」とは、ディザ法により発生させた値のことである。
【００２０】
また、本発明に係る画像形成装置は、上記何れかに記載の画像処理装置を備え、各画素をそれぞれ上記算出された出力信号にて出力することを特徴としている。
【００２１】
上記構成によれば、画像を出力する際に、画像を構成する各画素の信号処理において、ランダムな閾値にて量子化を行うとき、前信号のフィードバックを付加した固有の緩和時間を定義できるフィルター処理を行うことができる。そのために、緩和時間を基準とした入力信号の変化速度に対応して、出力信号に変調を与えることができる。
【００２２】
注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号をフィードバックすることと、ランダムに変化する閾値での量子化を行うこととにより、残像効果を与えた動画像を出力することができる。つまり、画像中の物体が通過した後に物体の軌跡の像が残って表示される出力画像を形成することができる。
【００２３】
よって、上記構成によると、小さい容量のメモリにて、残像効果を発させた動画像を形成することができる。よって、コストを下げて残像効果を発生させた画像を出力する画像形成装置を形成することができる。また、従来の画像形成装置を上記構成にするとことで、従来残像効果を作り出す過去のフレーム画像全ての情報を記憶するために使用していたメモリを他の用途に使用することができる。
【００２４】
また、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置における上記各手段として動作させることにより、上記画像処理装置をコンピュータにて実現させる画像処理装置制御プログラム、及びその画像処理装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００２５】
これらの構成によれば、画像処理装置制御プログラムを、コンピュータに読み取り実行させることによって、上記画像処理装置と同一の作用効果を実現することができる。
【発明の効果】
【００２６】
本発明に係る画像処理装置は、以上のように、注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出し手段と、上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成手段と、上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新手段と、を備えている。
【００２７】
上記構成によれば、注目画素の出力信号を算出する際、当該注目画素の入力信号を今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号に応じて変更した値に対して、ランダムに変化する閾値にて量子化を行う。つまり、上記構成では、画像を構成する各画素の信号処理において、ランダムな閾値にて量子化を行う際に、今回の入力信号に前信号を付加する（フィードバックする）ことで、固有の緩和時間を有する処理を行うことができる。ここで、緩和時間とは、ステップ状の入力信号に対して、出力信号が対応する定常の信号（前信号を付加していないもの）に緩和するまでの時間を指す。この緩和時間と比べて変化速度の遅い入力信号と速い入力信号とでは異なる応答特性を示す。よってこの応答特性を用い、動画像の画素の変化速度に応じて画素の応答を分別する処理が可能となる。この分別処理を施すことにより、変化速度の遅い画素は処理されずに出力されるが、変化速度の速い画素は出力信号に変調を加えられて出力されることになる。よって、上記構成によると、緩和時間を基準とした入力信号の変化速度に対応して、出力信号に変調を与えることができる。
【００２８】
このように、前信号をフィードバックすることと、ランダムに変化する閾値での量子化を行うことにより、動画像に残像効果を与えることができる。つまり、画像中の物体が通過した後に物体の軌跡の像が残って表示される効果を与えることができる信号を生成することができる。よって、前信号のみを記憶しておくだけで、残像効果を発生することができる。
【００２９】
また、上記構成によると、残像効果を発現させる以外にも、入力信号の変化速度に応じて出力信号に変調を加えられる特性を応用し、画像から高周波除去を行うことができる。
【００３０】
以上にように、上記構成によると、従来のように残像効果を作り出す全フレーム分を記憶しておく必要がなく、前の出力信号である前信号を記憶しておくだけで、残像効果のように前信号により後の出力信号に変調を与えることができる。よって、少なくとも前信号を記憶しておくことができる小さい容量のメモリにて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる。よって、コストを下げて、前の出力信号により後の出力信号に変調を与える画像処理を行う画像処理装置を形成することができる。また、従来の画像処理装置を上記構成にするとことで、従来残像効果を作り出す過去のフレーム画像全ての情報を記憶するために使用していたメモリを他の用途に使用することができる。
【発明を実施するための最良の形態】
【００３１】
本発明の一実施形態について図１〜図３に基づいて説明すると以下の通りである。図１は、本実施形態の画像処理装置１を備えた画像形成装置２の主要部の構成を示すブロック図である。
【００３２】
図１に示すように、画像処理装置１は、制御部３、記憶部４、ノイズ発生部５とを、備えている。
【００３３】
制御部３は、出力画素値生成部（出力信号生成手段）３１、前画素値読み出し部（前信号読み出し手段）３２、前画素値更新部（前信号更新手段）として機能する。また、制御部３は、画像処理装置１内における各種構成の動作を統括的に制御するものである。なお、この統括的な制御は、画像処理装置１の外の画像形成装置２に備えられた制御装置（図示せず）により行われてもかまわない。
【００３４】
出力画素値生成部３１は、注目画素（処理対象画素）の、映像信号源６から入力された画素値の情報を示す信号である入力画素値と、前画素値読み出し部３２が記憶部４から読み出した前画素値とを基に、入力画素値を前画素値に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力画素値を生成（算出、演算）する。
【００３５】
本実施形態では、処理対象の信号を画素値として説明するが、これに限定はされない。ここで、画素値とは、ピクセル値であり、画素の色情報を表すものである。例えば、２４ビットＢｉｔｍａｐ形式では、ＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）の順に夫々［０，２５５］の範囲で画素の色情報が格納されている。また、前画素値とは、注目画素の今回の出力画素値よりひとつ前に出力された当該注目画素の出力画素値である。
【００３６】
また、本実施形態では、出力画素値生成部３１は、以下で説明するように、入力画素値と前画素値とランダムなノイズ信号との加算結果を、予め定められた閾値で２値化することによって、「入力画素値を前画素値に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力画素値」を生成するものとする。しかし、これには、限定されず、例えば、入力画素値と前画素値との加算を行う加算器と、ノイズ信号によりランダムに変化する閾値で加算器の出力結果を量子化する量子化器とを備えてもよい。また、上記出力画素値を生成できれば、入力画素値を前画素値に応じて変更した値を直接生成せず、例えばランダムなノイズ信号と前画素値との加算結果を閾値として、入力画素値を量子化してもよい。いずれの場合であっても、「入力画素値を前画素値に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力画素値」生成すれば、同様の効果を得られる。
【００３７】
前画素値読み出し部３２は、出力画素値生成部３１が注目画素の今回の出力画素値を算出する際に、記憶部４から、当該注目画素の今回の出力画素値よりひとつ前に出力された当該注目画素の出力画素値を読み出す。
【００３８】
前画素値更新部３２は、出力画素値生成部３１が注目画素の今回の出力画素値を算出した後、この出力画素値を、記憶部４に記憶されている当該注目画素の前画素値と入れ替えて、算出された今回の出力画素値を前画素値として記憶させる。
【００３９】
なお、本実施形態では、出力画素値生成部３１は、各画素についてそれぞれ、１シート毎に出力画素値を生成（算出、演算）するものとするが、出力画素値生成部が画素毎に設けられ、それぞれの出力画素値生成部が対応するそれぞれの画素について出力画素値を生成してもかまわない。
【００４０】
記憶部４は、ハードディスクなどの不揮発性の記憶装置によって構成されるものである。この記憶部４には、画素毎にそれぞれ対応付けられて前画素値が記憶されている。なお、画素毎に記憶メモリを有していてもよい。
【００４１】
ノイズ発生部５は、ランダムなノイズを発生させて、出力画素値生成部３１に与え、入力画素値と前画素値とに加算させる。なお、ノイズの発生方法は公知の方法を用いればよい。例えば、線形合同法、乗算合同法とBox-Muller法の組み合わせ、Ziggurat法、電子回路内のノイズを増幅する方法、原子核の崩壊現象が確率的であることを利用した方法、ノイズパターンをROMに記憶させておき、そのパターンを用いる方法がある。なお、これらは、単なる例示であり、これら以外の方法であってもかまわない。
【００４２】
映像信号源６は、画像（映像）を入力信号として入力画素値を画像処理装置１に入力する。映像信号源６は、画像を示す信号を入力できるものであれば、どのようなものであってもかまわなく、例えば、ビデオやチューナー等が挙げられる。
【００４３】
表示装置７は、表示パネル等からなり、画像処理装置１から出力される出力画素値を示す信号を含む出力信号に基づき画像を表示させる。
【００４４】
以下に、入力画素値から出力画素値を算出するためのモデルを定式化し、その近似理論について述べる。そして、出力画素値が、前画素値の重みと、ノイズによりランダムに変換する閾値にて２値化する、つまりランダム関数に通す、際のランダム関数のノイズ強度との２つのパラメータに依存して非線形特性（履歴現象、遅れ）を生じることを示す。ここで、履歴現象とは、ある量xの変化に伴って、他の量ｙが変化する場合、xの変化の経路によって同じxの値に対するyの値が異なる現象のことである。x−y平面上にxとyとの関係をプロットすると、yがxに対する多価関数として描かれる。磁性体の磁気現象として履歴現象（ヒステリシス、hysteresis）はよく知られている。
【００４５】
なお、本実施形態では、ノイズ発生部５が発生させるノイズ信号によりノイズを発生させて２値化を行っているが、限定はされず、他の方法で２値化を行う際の閾値を変化させてもよい。
【００４６】
次に、図２を用いて、画像処理装置１の行う処理（演算処理）、つまり、入力画素値を出力画素値に変換する処理について説明する。なお、画像の時刻ｔのフレームの位置（i,j）における入力画素値をsij(t)、出力画素値をYij(t)とする。
【００４７】
ここでは一般化のため、入力画素値sij(t)、出力画素値Yij(t)は、画素の取りうる最大値で規格化され、０≦sij(t)≦１、０≦Yij(t)≦１であるとする。初めに、出力画素値生成部３１は、離散時間ｔ＝０，１，２…に対して、映像信号源６から入力画素値sij(t)が印加されると、この入力画素値に、前出力画素値読み出し部３２が記憶部４から読み出した前出力画素値yij(k)(t-1)を定数（F）倍したものと、ランダムに変化するノイズ信号の値ξij(t)と、バイアスIとを加算する。つまり、sij(t)+ξij(t)+I+Fyij(k)(t-1)を計算する。そして、この加算した値について予め定められた閾値θにて閾値判定を行い、閾値上であれば１を、閾値下であれば０を与える（２値化する）。そして、kについて１からNまで総和を取り、平均値を算出しその値を出力画素値Yij(t)とする。ここで、Nは出力画素値の取りえる値である。
【００４８】
これを式に表すと、次の式（１）のようになる。
【００４９】
【数１】
【００５０】
ここで、Θ( )は、Heviside 関数であり、次の式（２）を満たすものである。
【００５１】
【数２】
【００５２】
また、Ｉはバイアスである。本実施形態では、説明の簡略化のためＩ＝０とする。Ｎは初期パラメータとして与えられる。Ｎの値は出力画像の画素値のとり得る最大値と一致させるのがよい。例えば、２４ビットのBitmap形式では、ＲＢＧ夫々に対して、Ｎ＝２５５とする。また、θは閾値、ξ(t)は独立分布のガウスノイズN(0,σ2)である。ここで、ガウスノイズとは、次の式（３）の確率密度関数G(ξ)からサンプルされる値である。
【００５３】
【数３】
【００５４】
なお、画像中の物体が通過した後に物体の軌跡の像が残って表示される効果、いわゆる残像効果を発生させるためには、上記Ｆとσとは、0.8≦Ｆ≦1.3、0.3≦σ≦0.6の範囲であることが好ましい。
【００５５】
以上の演算処理を、全ての画素について１フレーム毎に行う。図２において、入力値（input signal）s(t)が分割されているのは、同じ値を各画素で用いることを示しており、出力値Y(t)として結合しているのは、各画素値の演算結果の総和を算出して出力画像の信号としていることを示しているからである。
【００５６】
本実施形態の画像処理装置１は、「ディザ法で使用されるランダム関数において、前回の２値化された画素値である前画素値を記憶する記憶部と、その前画素値を正帰還する回路を付加し、それらの値の集団平均値を算出している」と言うことができる。このことによって、本実施形態の画像処理装置１は、動画像の持つ空間的に局在化する画素の時間構造を分離する動画像フィルタとして動作している。
【００５７】
ここで、ディザ法（dither technique）について説明する。ディザ法は、２値表示素子において、濃淡画像を表示させる仕組のひとつで、２値化した過程でしきい値をランダムに変化させ、濃淡の画像の局所的な平均濃度に対応した黒点（あるいは輝点）を発生させる方法である。このランダム関数をディザといい、発生方法には一様なランダム雑音を用いる方法や、濃淡度値に応じた黒点の２値パターンを組織的に発生させる方法などがある。ディザ法は２値表示デバイス（ディスプレイ装置やプリンタなど）の濃淡画像を表示するために利用されるが、これ以外にも粗い量子化によって生じる濃淡の疑似輪郭の軽減にも利用されている。カラー画像についても同様の手法で、限られた数の色を用いて自然なカラー表示を行うことができる。ここで、上記粗い量子化と擬似輪郭について説明しておく。連続的な色の変化を離散化し有限の色によって画像を表示する操作を量子化と言うが、この色の数が少ないことを粗い量子化と呼ぶ。また、擬似輪郭とは、有限階調の色（パターン）で表示する表示装置において、階調が急激に変化する場所において、あたかも輪郭があるかのように見える現象のことを指す。
【００５８】
次に、出力画素値Yij(t)と入力画素値sij(t)との関係である入出力関係について説明する。式（１）の緩和時間（ステップ状の入力画素値に対して、出力画素値が対応する定常値に緩和するまでの時間）τrelaxと、信号の変化の速さ（入力画素値の入力の変化の速さ）τsignalとの大小関係によって、出力画素値Yij(t)と入力画素値sij(t)との関係は大きく異なる。
・τrelax≦ατsignal：一対一対応の入出力関係
・τrelax≧ατsignal：hysteresis特性の入出力関係
ここでαは正の定数である。式（１）の緩和時間が入力画素値の入力の変化時間より速い場合には入力の変化に追従して出力画素値の出力が表われるため、入出力関係は一対一対応となる。反対の場合は、入力画素値の入力の変化に出力画素値の出力が追従することができなくなるため、入出力関係はhysteresis特性を示す。
【００５９】
この性質を確認するために、以下の式（４），（５）の２つの入力信号を考える。
【００６０】
【数４】
【００６１】
【数５】
【００６２】
ここで、Ｌは入力画素値s(t)の速度を決める定数であり、周波数の逆数に比例する値である。式（４），（５）は、それぞれ入力画素値の最小値から最大値、最大値から最小値までを一定の刻み幅で動く入力信号となる。入力画素値の変化の速さを表わす尺度を、以下の式（６）のように定義する。
【００６３】
【数６】
【００６４】
図３に、出力画素値の平均値＜ｙ＞（図３では縦軸）と、入力画素値ｓ（図３では横軸）との、Ｌ依存性を示す。図３（ａ）〜（ｃ）において、Ｆ＝２、σ＝０．５である。また、図３（ａ）ではＬ＝１０２、図３（ｂ）ではＬ＝１０３、図３（ｃ）ではＬ＝１０４である。Ｌが大きくなるにつれて（信号が遅くなるにつれて）入出力関係が一対一対応に近づいていくのがわかる。
【００６５】
本実施形態では、上記のように、入力画素値s(t)が系の緩和時間に比べて、早く変化する場合と遅く変化する場合とで入出力特性が異なるという特徴を用いて、入力画素値の変化速度に応じて出力画素値に変調を加える動画像フィルタとして動作する画像処理装置１について説明した。これはIsing modelにおいて調べられてきた動的相転移に類するものと考えられる。本実施形態の画像処理装置１は、入力画像の時間的空間的相関構造に依存して、様々な変化をすることが期待できる。なお、時間的空間的相関構造とは、tフレームでの位置（x,y）における画素値がフレーム（時刻）tと位置（x,y）の関数Y（x,y,t）で表示できる構造のことである
なお、２つの正方形が壁面を弾性的に反射する動画を、本実施形態の画像処理装置１にて処理したところ、Ｆとσを変化させることで、正方形が残像を残して移動したり、正方形の形状が記憶されるなどの効果を動画像に与え得ることを確認した。この場合、グレースケールの画像を扱い、画素値として輝度情報について信号処理を行った。例えば、Ｆ＝０．９、σ＝０．４の時には、前回の１フレームを記憶しておくことで、５フレーム分の残像効果が得られることを確認した。
【００６６】
以上のように、本実施形態の画像処理装置１では、注目画素の出力信号（本実施形態では、出力画素値）を生成（算出）する際、当該注目画素の入力信号を今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号（本実施形態では、前画素値）に応じて変更した値に対して、ランダムに変化する閾値にて量子化を行う。つまり、画像を構成する各画素の信号処理において、ランダムな閾値にて量子化を行う際に、今回の入力信号に前信号を付加する（フィードバックする）ことで、固有の緩和時間を有する処理を行うことができる。ここで、緩和時間とは、ステップ状の入力信号に対して、出力信号が対応する定常の信号（前信号を付加していないもの）に緩和するまでの時間を指す。この緩和時間と比べて変化速度の遅い入力信号と速い入力信号とでは異なる応答特性を示す。よってこの応答特性を用い、動画像の画素の変化速度に応じて画素の応答を分別する処理が可能となる。この分別処理を施すことにより、変化速度の遅い画素は処理されずに出力されるが、変化速度の速い画素は出力信号に変調を加えられて出力されることになる。よって、画像処理装置１は、緩和時間を基準とした入力信号の変化速度に対応して、出力信号に変調を与えることができる。
【００６７】
そのため、画像処理装置１は、前信号をフィードバックすることと、ランダムに変化する閾値での量子化を行うことにより、動画像に残像効果を与えることができる。つまり、画像中の物体が通過した後に物体の軌跡の像が残って表示される効果を与えることができる信号を生成することができる。よって、前信号のみを記憶しておくだけで、残像効果を発生することができる。
【００６８】
また、画像処理装置１は、残像効果を発現させる以外にも、入力信号の変化速度に応じて出力信号に変調を加えられる特性を応用し、画像から高周波除去を行うことができる。この、入力信号の変化速度に応じて出力信号に変調を加えられる現象を、動的ヒステリシスあるいはダイナミックヒステリシスと呼ぶ。これは、動的相転移現象のひとつの特徴である。
【００６９】
よって、画像処理装置１は、従来のように残像効果を作り出す全フレーム分を記憶しておく必要がなく、前の出力信号である前信号を記憶しておくだけで、残像効果のように前信号により後の出力信号に変調を与えることができる。よって、少なくとも前信号を記憶しておくことができる小さい容量の記憶部（メモリ）にて、残像効果のように前の出力信号により後の出力信号に変調を与える効果を発生させることができる。よって、コストを下げて、前の出力信号により後の出力信号に変調を与える画像処理を行う画像処理装置を形成することができる。また、従来の画像処理装置を上記構成にするとことで、従来残像効果を作り出す過去のフレーム画像全ての情報を記憶するために使用していたメモリを他の用途に使用することができる。
【００７０】
なお、画像処理装置１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【００７１】
すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００７２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００７３】
また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【００７４】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【００７５】
本発明は、動画像に対して加工を行う画像処理の分野に利用することができる。例えば、ビデオ、ＤＶＤ、ＡＶ機器等のデジタル家電に搭載したり、デジタル動画像加工ソフトのプラグインとしても適用することができる。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施形態を示すものであり、本発明に係る画像処理装置を有する画像形成装置の要部構成を示すブロック図である。
【図２】入力信号から出力信号を得る演算処理の概念を示す図である。を示すブロック図である。
【図３】（ａ）〜（ｃ）は、出力画素値の平均値＜ｙ＞の、入力画素値ｓに対する依存性の関係を示す図である。
【符号の説明】
【００７７】
１ 画像処理装置
２ 画像形成装置
３ 制御部
４ 記憶部
５ ノイズ発生部（ノイズ発生手段）
３１ 出力画素値生成部（出力信号生成手段）
３２ 前画素値読み出し部（前信号読み出し手段）
３３ 記憶更新部（記憶更新手段）
【特許請求の範囲】
【請求項１】
複数の画素からなる画像のそれぞれの画素に対して、入力信号を量子化して出力信号に変換する画像処理装置において、
注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出し手段と、
上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成手段と、
上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
ノイズにより上記閾値をランダムに変化させるノイズ発生手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記出力信号生成手段は、上記入力信号と所定の係数を乗算した上記前信号とを加算した値を、ランダムに変化するディザパターンの値を閾値として量子化することにより、出力信号を生成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
請求項１〜３の何れか１項に記載の画像処理装置を備え、各画素をそれぞれ上記生成された出力信号にて出力することを特徴とする画像形成装置。
【請求項５】
複数の画素からなる画像のそれぞれの画素に対して、入力信号を量子化して出力信号に変換する画像処理方法において、
注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出しステップと、
上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成ステップと、
上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新ステップと、
を含むことを特徴とする画像処理方法。
【請求項６】
請求項１〜３の何れか１項に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記画像処理装置における上記各手段として機能させるための画像処理装置制御プログラム。
【請求項７】
請求項６に記載の画像処理装置制御プログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項１】
複数の画素からなる画像のそれぞれの画素に対して、入力信号を量子化して出力信号に変換する画像処理装置において、
注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出し手段と、
上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成手段と、
上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
ノイズにより上記閾値をランダムに変化させるノイズ発生手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記出力信号生成手段は、上記入力信号と所定の係数を乗算した上記前信号とを加算した値を、ランダムに変化するディザパターンの値を閾値として量子化することにより、出力信号を生成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
請求項１〜３の何れか１項に記載の画像処理装置を備え、各画素をそれぞれ上記生成された出力信号にて出力することを特徴とする画像形成装置。
【請求項５】
複数の画素からなる画像のそれぞれの画素に対して、入力信号を量子化して出力信号に変換する画像処理方法において、
注目画素の今回の出力信号よりひとつ前に出力された当該注目画素の出力信号である前信号を記憶部から読み出す前信号読み出しステップと、
上記入力信号を上記前信号に応じて変更した値について、ランダムに変化する閾値により量子化した結果を示す出力信号を生成する出力信号生成ステップと、
上記生成された出力信号を、上記注目画素の前信号として上記記憶部に記憶させる前信号更新ステップと、
を含むことを特徴とする画像処理方法。
【請求項６】
請求項１〜３の何れか１項に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記画像処理装置における上記各手段として機能させるための画像処理装置制御プログラム。
【請求項７】
請求項６に記載の画像処理装置制御プログラムが記録されたコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００７−４９３６５（Ｐ２００７−４９３６５Ａ）
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願番号】特願２００５−２３０９５２（Ｐ２００５−２３０９５２）
【出願日】平成１７年８月９日（２００５．８．９）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１７年２月９日 京都大学主催の「京都大学工学部情報学科数理工学コース特別研究発表会」において文書をもって発表
【出願人】（５０４１３２２７２）国立大学法人京都大学 (1,269)
【Ｆターム（参考）】
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願日】平成１７年８月９日（２００５．８．９）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１７年２月９日 京都大学主催の「京都大学工学部情報学科数理工学コース特別研究発表会」において文書をもって発表
【出願人】（５０４１３２２７２）国立大学法人京都大学 (1,269)
【Ｆターム（参考）】
[ Back to top ]