画像処理装置および方法、並びにプログラム
【課題】より簡単にフェードインやフェードアウトを検出する。
【解決手段】差分算出部７３は、入力画像を縮小した縮小画像の画素の輝度値を積算した輝度積算値lum_acc_curと、１フレーム前の直前縮小画像の画素の輝度値を積算した直前輝度積算値lum_acc_preとの輝度差分値acc_difを算出し、閾値作成部７６は、輝度差分値acc_difについての閾値であって、縮小画像と直前縮小画像との間の輝度変化を、輝度変化の度合いを示す輝度変化レベルlum_change_levelで段階分けするための複数の閾値th1乃至th8を、輝度積算値lum_acc_curに応じて作成し、閾値処理部７５は、複数の閾値th1乃至th8に基づいて、輝度差分値acc_difに対応する輝度変化レベルlum_change_levelを決定する。本発明は、例えば、動き補償処理を行う画像処理装置に適用することができる。
【解決手段】差分算出部７３は、入力画像を縮小した縮小画像の画素の輝度値を積算した輝度積算値lum_acc_curと、１フレーム前の直前縮小画像の画素の輝度値を積算した直前輝度積算値lum_acc_preとの輝度差分値acc_difを算出し、閾値作成部７６は、輝度差分値acc_difについての閾値であって、縮小画像と直前縮小画像との間の輝度変化を、輝度変化の度合いを示す輝度変化レベルlum_change_levelで段階分けするための複数の閾値th1乃至th8を、輝度積算値lum_acc_curに応じて作成し、閾値処理部７５は、複数の閾値th1乃至th8に基づいて、輝度差分値acc_difに対応する輝度変化レベルlum_change_levelを決定する。本発明は、例えば、動き補償処理を行う画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、より簡単にフェードインやフェードアウトを検出することができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
ブロックマッチング手法により動きベクトル検出し、その動きベクトルを用いて動き補償処理を行うことにより、時間的に異なる前後の画像（フレーム）から新たな補間画像（補間フレーム）を作成するフレームレート変換処理が一般に存在する。
【０００３】
図１は、フレームレート変換処理の概念を説明する図である。
【０００４】
図１において、横軸は時刻（単位は秒とする）を示し、縦軸は画像の動きを１次元で表現したときの位置を示している。横軸には、１／１２０秒ずつ目盛りが振られている。また、図１において、白抜きの大きい丸印は入力画像信号を表し、塗りつぶされた小さい丸印は出力画像信号を表している。すなわち、図１は、フィルムモードがビデオで60Hzの入力画像を、120Hzの出力画像にフレームレート変換したときの様子を表している。
【０００５】
フレームレート変換処理においては、図1に示されるように、入力画像の位置（動き）を補間するように、出力画像が生成される。
【０００６】
このようなブロックマッチング手法による動きベクトル検出においては、画像がフェードインまたはフェードアウトしたときに、実際は静止画像であるにもかかわらず、動きがある画像として動きベクトルが誤検出されることがある。この場合、誤検出された動きベクトルを用いた動き補償処理によって、乱れた補間画像が出力されてしまう。
【０００７】
そこで、フェードインまたはフェードアウトした静止画部分を検出して、その静止画部分の動きベクトルを０にすることが提案されている（例えば、特許文献１参照）。
【０００８】
【特許文献１】特開２００７−２４３６２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、特許文献１の手法では、フェードインまたはフェードアウトであるか否かの判定において、輝度値に対する閾値処理（輝度値と所定の閾値との比較）を行っている。
【００１０】
しかしながら、上述の閾値処理で用いられる閾値は固定値であり、ユーザの操作によって設定される必要があった。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、ユーザの操作によって閾値を設定することなく、より簡単にフェードインやフェードアウトを検出することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の画像処理装置は、第１の画像における複数の画素の輝度値を積算した第１の積算値と、前記第１の画像と時間的に異なる第２の画像における複数の画素の輝度値を積算した第２の積算値との差分値を算出する差分値算出手段と、前記差分値についての閾値であって、前記第１の画像と前記第２の画像との間の輝度変化を、前記輝度変化の度合いを示す輝度変化レベルで段階分けするための、前記輝度変化レベルに対応した複数の閾値を、前記第１の積算値に応じて作成する閾値作成手段と、前記複数の閾値に基づいて、前記差分値に対応する前記輝度変化レベルを決定する輝度変化レベル決定手段とを備える。
【００１３】
前記画像処理装置には、前記第１の画像および前記第２の画像に対するブロックマッチングにより動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルにより前記第１の画像を動き補償して、動き補償画像を生成する動き補償画像生成手段と、前記輝度変化レベル決定手段により決定された前記輝度変化レベルに応じた比率で、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とを合成し、前記第１の画像および前記第２の画像を補間する補間画像として出力する補間画像出力手段とをさらに設けることができる。
【００１４】
前記補間画像出力手段には、前記輝度変化レベル決定手段によって決定された前記輝度変化レベルが高いほど、前記第１の画像の比率が高い前記補間画像を出力させ、前記輝度変化レベルが低いほど、前記動き補償画像の比率が高い前記補間画像を出力させることができる。
【００１５】
前記画像処理装置には、前記第１の画像を縮小した第１の縮小画像を生成する縮小画像生成手段をさらに設け、前記差分値算出手段には、前記第２の画像を縮小した第２の縮小画像における複数の画素の輝度値を積算した前記第１の輝度値と、前記第１の縮小画像と時間的に異なる第２の縮小画像における複数の画素の輝度値を積算した前記第２の積算値との差分値を算出させることができる。
【００１６】
前記動きベクトル検出手段には、前記第１の縮小画像および前記第２の縮小画像から前記動きベクトルを検出させる。
【００１７】
本発明の一側面の画像処理方法は、第１の画像における複数の画素の輝度値を積算した第１の積算値と、前記第１の画像と時間的に異なる第２の画像における複数の画素の輝度値を積算した第２の積算値との差分値を算出する差分値算出ステップと、前記差分値についての閾値であって、前記第１の画像と前記第２の画像との間の輝度変化を、前記輝度変化の度合いを示す輝度変化レベルで段階分けするための、前記輝度変化レベルに対応した複数の閾値を、前記第１の積算値に応じて作成する閾値作成ステップと、前記複数の閾値に基づいて、前記差分値に対応する前記輝度変化レベルを決定する輝度変化レベル決定ステップとを含む。
【００１８】
本発明の一側面のプログラムは、第１の画像における複数の画素の輝度値を積算した第１の積算値と、前記第１の画像と時間的に異なる第２の画像における複数の画素の輝度値を積算した第２の積算値との差分値を算出する差分値算出ステップと、前記差分値についての閾値であって、前記第１の画像と前記第２の画像との間の輝度変化を、前記輝度変化の度合いを示す輝度変化レベルで段階分けするための、前記輝度変化レベルに対応した複数の閾値を、前記第１の積算値に応じて作成する閾値作成ステップと、前記複数の閾値に基づいて、前記差分値に対応する前記輝度変化レベルを決定する輝度変化レベル決定ステップとを含む処理をコンピュータに実行させる。
【００１９】
本発明の一側面においては、第１の画像における複数の画素の輝度値を積算した第１の積算値と、第１の画像と時間的に異なる第２の画像における複数の画素の輝度値が積算した第２の積算値との差分値が算出され、差分値についての閾値であって、第１の画像と第２の画像との間の輝度変化を、輝度変化の度合いを示す輝度変化レベルで段階分けするための、輝度変化レベルに対応した複数の閾値が、第１の積算値に応じて作成され、複数の閾値に基づいて、差分値に対応する輝度変化レベルが決定される。
【発明の効果】
【００２０】
本発明の一側面によれば、より簡単にフェードインやフェードアウトを検出することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態について図を参照して説明する。
【００２２】
図２は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００２３】
図２の画像処理装置１１は、入力画像におけるフェードインやフェードアウトを検出し、その検出結果に応じて、補間画像（補間フレーム）を作成し、フレームレート変換された出力画像を出力する。なお、以下においては、フェードインやフェードアウトを検出することを、適宜、フェード検出とも称する。
【００２４】
図２の画像処理装置１１は、前処理部３１、フレームメモリ３２、動きベクトル検出部３３、および動き補償処理部３４から構成される。
【００２５】
前処理部３１は、画像縮小部５１および輝度変化検出部５２を備えており、入力画像の縮小画像を生成するとともに、その縮小画像における輝度変化を検出する。より具体的には、画像縮小部５１は、入力画像の画素を間引くことにより、例えば、入力画像の１／４倍の縮小画像を生成し、フレームメモリ３２、動きベクトル検出部３３、および輝度変化検出部５２に供給する。輝度変化検出部５２は、画像縮小部５１から供給された縮小画像と、その縮小画像を１フレームだけ遅延した縮小画像との間（時間的に異なるフレーム間）の輝度変化を検出することで、フェード検出を行う。輝度変化検出部５２は、検出した輝度変化の度合いを示す輝度変化レベルを、動き補償処理部３４に供給する。なお、輝度変化検出部５２の詳細は、図３を参照して後述する。
【００２６】
フレームメモリ３２は、画像縮小部５１から供給された縮小画像を一時的に記憶して、画像縮小部５１からの縮小画像に対して、１フレーム分直前の画像（以降、直前縮小画像と称する）を、動きベクトル検出部３３に供給する。
【００２７】
動きベクトル検出部３３は、画像縮小部５１からの縮小画像と、フレームメモリ３２からの直前縮小画像とに基づいてブロックマッチングを行い、縮小画像の画素毎の動きベクトルを求める。より具体的には、動きベクトル検出部３３は、縮小画像の注目画素（処理対象となる画素）に対応する注目ブロックの画素と、直前縮小画像の各画素（参照画素）に対応する参照ブロックの画素とを読み出し、それぞれ対応する画素位置の画素値（例えば、輝度値）の差分絶対値和を求める。また、動きベクトル検出部３３は、参照画素のそれぞれについて求められる差分絶対値和を比較し、最小となる差分絶対値和を取る参照画素を求める。そして、動きベクトル検出部３３は、縮小画像の注目画素と、差分絶対値和が最小となる参照画素とから動きベクトルを計算し、動き補償処理部３４に供給する。
【００２８】
動き補償処理部３４は、入力画像および動きベクトルに基づいて、動き補償処理を実行し、MC（Motion Compensation）画像（動き補償画像）を生成する。また、動き補償処理部３４は、輝度変化検出部５２からの輝度変化レベルに基づいて、MC画像と入力画像とを合成して、出力画像として出力する。動き補償処理部３４の詳細は、図６を参照して後述する。
【００２９】
次に、図３のブロック図を参照して、輝度変化検出部５２の機能構成例について説明する。
【００３０】
輝度変化検出部５２は、輝度積算部７１、遅延部７２、差分算出部７３、コアリング部７４、閾値処理部７５、および閾値作成部７６から構成される。
【００３１】
輝度積算部７１は、画像縮小部５１からの縮小画像１フレーム分の各画素の輝度値を積算し、その積算結果（以下、輝度積算値lum_acc_curと称する）を、遅延部７２、差分算出部７３、および閾値作成部７６に供給する。
【００３２】
遅延部７２は、輝度積算部７１からの輝度積算値lum_acc_curを、縮小画像１フレーム分だけ遅延して、直前輝度積算値lum_acc_preとして、差分算出部７３に供給する。
【００３３】
差分算出部７３は、輝度積算部７１からの輝度積算値lum_acc_curと、遅延部７２からの直前輝度積算値lum_acc_preとの差分絶対値を算出し、輝度差分値acc_difとして、コアリング部７４に供給する。
【００３４】
コアリング部７４は、差分算出部７３からの輝度差分値acc_difに対して、コアリング処理（０乃至所定の値を全て０とする処理）を施し、所定の係数を乗じた正規化輝度差分値valを、閾値処理部７５に供給する。
【００３５】
閾値処理部７５は、閾値作成部７６から供給される複数の閾値に基づいて、コアリング部７４からの正規化輝度差分値valに対して閾値処理を施し、閾値処理された正規化輝度差分値valに対応する輝度変化レベルlum_change_levelを決定する。
【００３６】
閾値作成部７６は、閾値処理部７５の閾値処理に用いられる複数の閾値を、輝度積算部７１からの輝度積算値lum_acc_curに応じて作成する。
【００３７】
ここで、図４を参照して、閾値作成部７６の構成例について説明する。
【００３８】
図４の閾値作成部７６は、係数乗算部９１、乗算器９２−１乃至９２−８を備えている。なお、以降においては、乗算器９２−１乃至９２−８は、それぞれ、特に区別する必要がない場合、乗算器９２−Ｎ（Ｎは、１乃至８の整数）と称するものとする。
【００３９】
係数乗算部９１は、輝度積算部７１からの輝度積算値lum_acc_curに、所定の係数（例えば、１より十分小さい値の係数）を乗じ、その結果である値stepを乗算器９２−Ｎに供給する。係数乗算部９１によって乗じられる係数は、例えば、ユーザの操作により任意に設定される固定値である。
【００４０】
乗算器９２−Ｎは、係数乗算部９１からの値stepに数値Ｎを乗じた閾値thN（＝step×Ｎ）を、閾値処理部７５に供給する。例えば、乗算器９２−１は、係数乗算部９１からの値stepに１を乗じた閾値th1（＝step×１）を、閾値処理部７５に供給する。また、乗算器９２−２は、係数乗算部９１からの値stepに２を乗じた閾値th2（＝step×２）を、閾値処理部７５に供給する。同様にして、乗算器９２−３乃至９２−８は、それぞれ、閾値th3乃至th8を、閾値処理部７５に供給する。
【００４１】
このような構成により、閾値作成部７６は、縮小画像（入力画像）を構成する各画素の輝度値の積算値に応じて、時間的に異なるフレーム間の輝度変化を段階分けするための閾値を、動的に設定することができる。したがって、ユーザは、複数の閾値をそれぞれ設定する必要がない。
【００４２】
また、図３の閾値処理部７５は、乗算器９２−１乃至９２−８から供給される８個の閾値th1乃至th8に応じて、連続する（時間的に異なる）フレーム間の輝度変化を段階分けする（輝度変化レベルを設定する）。そして、閾値処理部７５は、閾値th1乃至th8に基づいて、正規化輝度差分値valに対応する輝度変化レベルlum_change_levelを決定する。
【００４３】
ここで、図５を参照して、閾値th1乃至th8と輝度変化レベルlum_change_levelとの関係について説明する。
【００４４】
図５において、横軸は、正規化輝度差分値valを示し、縦軸は、輝度変化レベルlum_change_levelを示している。また、図５において、横軸には、閾値th1乃至th8が値step間隔で示されている。そして、縦軸には、閾値th1乃至th8に対応して、値０乃至８の９段階の輝度変化レベルlum_change_levelが示されている。
【００４５】
図５に示される関係によれば、コアリング部７４からの正規化輝度差分値valの値が、閾値th1以上閾値th2未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして１を出力する。正規化輝度差分値valの値が、閾値th2以上閾値th3未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして２を出力する。正規化輝度差分値valの値が、閾値th3以上閾値th4未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして３を出力する。正規化輝度差分値valの値が、閾値th4以上閾値th5未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして４を出力する。正規化輝度差分値valの値が、閾値th5以上閾値th6未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして５を出力する。正規化輝度差分値valの値が、閾値th6以上閾値th7未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして６を出力する。正規化輝度差分値valの値が、閾値th7以上閾値th8未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして７を出力する。正規化輝度差分値valの値が、閾値th8以上であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして８を出力する。
【００４６】
また、正規化輝度差分値valの値が、閾値th1未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして０を出力する。このとき、コアリング部７４が、コアリング処理により、差分算出部７３からの輝度差分値acc_difに対して、０乃至th1の値を全て０としていてもよい。
【００４７】
次に、図６のブロック図を参照して、動き補償処理部３４の機能構成例について説明する。
【００４８】
図６の動き補償処理部３４は、MC画像生成部１１１および合成部１１２から構成される。
【００４９】
MC画像生成部１１１は、動きベクトル検出部３３から供給されてくる、縮小画像の各画素における動きベクトルを解析することにより、MC画像における各画素の生成に必要とされる、縮小画像の各画素に対応する入力画像の画素を検索する。また、MC画像生成部１１１は、検索した入力画像の画素を用いて、MC画像における各画素を生成し、画素数を例えば４倍にアップサンプリングして、合成部１１２に供給する。なお、本実施例においては、MC画像生成部１１１は、入力画像の画素のみを検索し、入力画像の画素のみを用いてMC画像における各画素を生成するものとするが、例えば、１フレーム分前の画像である直前画像の画素も併せて検索し、入力画像の画素と直前画像の画素との両方を用いるようにしても良い。
【００５０】
合成部１１２は、輝度変化検出部５２からの輝度変化レベルlum_change_levelに基づいて、入力画像とMC画像とを合成し、出力する。より具体的には、合成部１１２は、入力画像およびMC画像のそれぞれにおいて対応する画素位置の画素値を、輝度変化レベルlum_change_levelに応じた比率で重み付けをして足し合わせることで、補間画像を作成する。合成部１１２は、作成した補間画像を出力画像として、図示せぬ表示部等に出力する。
【００５１】
次に、図７のフローチャートを参照して、フレームレート変換処理について説明する。
【００５２】
ステップＳ１１において、前処理部３１は、入力画像が供給されてきたか否かを判定する。入力画像が供給されてきていないと判定された場合、入力画像が供給されてきたと判定されるまで、その処理を繰り返す。
【００５３】
ステップＳ１１において、入力画像が供給されてきたと判定された場合、ステップＳ１２において、画像縮小部５１は、入力画像の画素を間引くことにより、入力画像の１／４倍の縮小画像を生成し、フレームメモリ３２、動きベクトル検出部３３、および輝度変化検出部５２に供給する。
【００５４】
ステップＳ１３において、フレームメモリ３２は、画像縮小部５１から供給された縮小画像を一時的に記憶するとともに、直前のタイミングで記憶した縮小画像を、直前縮小画像として、動きベクトル検出部３３に供給する。この処理により、動きベクトル検出部３３には、縮小画像および直前縮小画像がそれぞれ供給される。
【００５５】
ステップＳ１４において、輝度変化検出部５２は、画像縮小部５１から供給された縮小画像と、その縮小画像を１フレームだけ遅延した縮小画像との間の輝度変化を検出する輝度変化検出処理を行う。輝度変化検出部５２は、検出した輝度変化の度合いを示す輝度変化レベルを、動き補償処理部３４に供給する。なお、ステップＳ１４の輝度変化検出処理の詳細は、図８を参照して後述する。
【００５６】
ステップＳ１５において、動きベクトル検出部３３は、画像縮小部５１からの縮小画像と、フレームメモリ３２からの直前縮小画像とに基づいて、縮小画像の画素毎の動きベクトルを求め、動き補償処理部３４に供給する。
【００５７】
ステップＳ１６において、動き補償処理部３４は、入力画像および動きベクトルに基づいて、動き補償処理を実行し、MC画像を生成するとともに、輝度変化検出部５２からの輝度変化レベルに基づいて、MC画像と入力画像とを合成して、出力画像として出力する。なお、ステップＳ１６の動き補償処理の詳細は、図１０を参照して後述する。
【００５８】
次に、図８のフローチャートを参照して、図７のステップＳ１４における輝度変化検出処理について説明する。
【００５９】
ステップＳ３１において、輝度積算部７１は、画像縮小部５１からの縮小画像１フレーム分の各画素の輝度値を積算し、その積算結果である輝度積算値lum_acc_curを、遅延部７２、差分算出部７３、および閾値作成部７６に供給する。
【００６０】
ステップＳ３２において、遅延部７２は、輝度積算部７１からの輝度積算値lum_acc_curを、縮小画像１フレーム分だけ遅延して、直前輝度積算値lum_acc_preとして、差分算出部７３に供給する。この処理により、差分算出部７３には、輝度積算値lum_acc_curおよび直前輝度積算値lum_acc_preがそれぞれ供給される。
【００６１】
ステップＳ３３において、差分算出部７３は、輝度積算値lum_acc_curと直前輝度積算値lum_acc_preとの差分絶対値を算出し、輝度差分値acc_difとして、コアリング部７４に供給する。
【００６２】
ステップＳ３４において、コアリング部７４は、差分算出部７３からの輝度差分値acc_difに対して、コアリング処理を施し、所定の係数を乗じた正規化輝度差分値valを、閾値処理部７５に供給する。
【００６３】
ステップＳ３５において、閾値作成部７６は、例えば、閾値th1乃至th8の８個の閾値を、輝度積算部７１からの輝度積算値lum_acc_curに応じて作成し、閾値処理部７５に供給する。
【００６４】
ステップＳ３６において、閾値処理部７５は、閾値作成部７６から供給される閾値th1乃至th8に基づいて、コアリング部７４からの正規化輝度差分値valに対して閾値処理を施し、閾値処理された正規化輝度差分値valに対応する輝度変化レベルlum_change_levelを決定する。
【００６５】
ここで、図９を参照して、輝度積算値、輝度差分値、および輝度変化レベルの関係について説明する。
【００６６】
図９において、横軸は時刻を示し、右側の縦軸は輝度積算値lum_acc_cur、左側の縦軸は輝度差分値acc_difを示している。また、図９において、時刻毎に表示されているインジケータは、輝度変化レベル（０乃至８）を示している。
【００６７】
図９の正方形のプロットで示されるように、輝度積算値lum_acc_curは、時刻の経過とともに小さくなっている。これは、入力画像がフェードアウトしていることを示している。なお、図９においては、輝度積算値lum_acc_curは、時刻に対して加速度的に減少している。すなわち、図１０の菱形のプロットで示されるように、輝度差分値acc_difが、時刻の経過とともに大きくなっている。そして、輝度差分値acc_difと同様に、インジケータが示す輝度変化レベルも時刻の経過とともに大きくなっている。すなわち、入力画像のフェードアウトに伴い、輝度変化レベルが大きくなっている。
【００６８】
また、図９において、時刻16と時刻17の輝度差分値acc_difを比較すると、時刻17の輝度差分値acc_difは、時刻16の輝度差分値acc_difより30000程小さくなっている。閾値処理部７５の閾値処理における閾値が一定であれば、時刻17における輝度変化レベルは、輝度差分値acc_difが略同じ値となる時刻15における輝度変化レベルと同じ７となるはずである。しかしながら、時刻16および時刻17それぞれの時刻における輝度変化レベルは８となり差がない。これは、輝度積算値lum_acc_curが小さくなると、閾値作成部７６で作成される閾値th1乃至th8も小さくなることによる。すなわち、閾値th1乃至th8が小さくなると、輝度差分値acc_difが小さい値であっても、閾値処理における閾値を超えやすくなり、輝度変化レベルは高いレベルに決定されやすくなる。
【００６９】
以上のようにして、入力画像（縮小画像）の輝度値に応じて得られる閾値に基づいて、入力画像（縮小画像）の輝度変化レベルが決定される。
【００７０】
結果として、ユーザの操作による閾値の設定を行うことなく、より簡単に、入力画像の輝度変化、つまり、フェードインやフェードアウトを検出することが可能となる。
【００７１】
また、上述した処理においては、縮小画像を用いてフェード検出（輝度変化検出）を行うので、入力画像をそのまま用いる場合より、演算量が少なくて済む。
【００７２】
次に、図１０のフローチャートを参照して、図７のステップＳ１６における動き補償処理について説明する。
【００７３】
ステップＳ５１において、MC画像生成部１１１は、動きベクトル検出部３３から供給されてくる動きベクトルに基づいて、MC画像を生成する。より具体的には、MC画像生成部１１１は、縮小画像の各画素における動きベクトルを解析することにより、MC画像における各画素の生成に必要とされる、縮小画像の各画素に対応する入力画像の画素を検索する。また、MC画像生成部１１１は、検索した入力画像の画素を用いて、MC画像における各画素を生成し、画素数を４倍にアップサンプリングして、合成部１１２に供給する。
【００７４】
ステップＳ５２において、合成部１１２は、輝度変化レベルlum_change_levelに応じた比率で、入力画像とMC画像とを合成する。より具体的には、合成部１１２は、入力画像およびMC画像のそれぞれにおいて対応する画素位置の画素値を、輝度変化レベルlum_change_levelに応じた比率で重み付けをして足し合わせることで、補間画像を作成する。
【００７５】
例えば、輝度変化レベルlum_change_levelが８であった場合、合成部１１２は、入力画像およびMC画像のそれぞれにおいて対応する各画素の画素値を８：０の比率で重み付けをして足し合わせることで、補間画像を作成する。すなわち、輝度変化レベルlum_change_levelが８であった場合、合成部１１２は、入力画像をそのまま補間画像とする。
【００７６】
また、例えば、輝度変化レベルlum_change_levelが５であった場合、合成部１１２は、入力画像およびMC画像のそれぞれにおいて対応する各画素の画素値を５：３の比率で重み付けをして足し合わせることで、補間画像を作成する。
【００７７】
さらに、例えば、輝度変化レベルlum_change_levelが０であった場合、合成部１１２は、入力画像およびMC画像のそれぞれにおいて対応する各画素の画素値を０：８の比率で重み付けをして足し合わせることで、補間画像を作成する。すなわち、輝度変化レベルlum_change_levelが０であった場合、合成部１１２は、MC画像をそのまま補間画像とする。
【００７８】
このように、合成部１１２は、輝度変化レベルlum_change_levelが高いほど、入力画像の比率が高い補間画像を出力し、輝度変化レベルlum_change_levelが低いほど、MC画像の比率が高い補間画像を出力する。
【００７９】
ステップＳ５３において、合成部１１２は、合成した補間画像を出力画像として、図示せぬ表示部等に出力する。
【００８０】
以上の処理により、フェードインまたはフェードアウトしていない、動きベクトルの信頼性の高い画像については、動き補償処理により生成されたMC画像を含む割合が高い画像が出力され、逆に、フェードインまたはフェードアウトしているため、動きベクトルの信頼度が低い場合、入力画像を含む割合が高い画像が出力される。
【００８１】
結果として、動きベクトルが誤検出されやすいフェードインやフェードアウトを含む入力画像に対するフレームレート変換処理において、フェード検出された場合でも、誤検出された動きベクトルを用いた動き補償におけるエラーの影響が少ない補間画像を出力することができる。
【００８２】
以上のように、画像処理装置１１では、縮小画像における複数の画素の輝度値を積算した輝度積算値lum_acc_curと、縮小画像と時間的に異なる直前縮小画像における複数の画素の輝度値を積算した直前輝度積算値lum_acc_preとの輝度差分値acc_difを算出し、輝度差分値acc_difについての閾値であって、縮小画像と直前縮小画像との間の輝度変化を、輝度変化の度合いを示す輝度変化レベルlum_change_levelで段階分けするための、輝度変化レベルlum_change_levelに対応した複数の閾値th1乃至th8を、輝度積算値lum_acc_curに応じて作成し、複数の閾値th1乃至th8に基づいて、輝度差分値acc_difに対応する輝度変化レベルlum_change_levelを決定するので、ユーザの操作による閾値の設定を行うことなく、より簡単にフェードインやフェードアウトを検出することができる。
【００８３】
さらに、画像処理装置１１では、入力画像および縮小画像に対するブロックマッチングにより動きベクトルを検出し、動きベクトルにより入力画像を動き補償して、動き補償画像を生成し、輝度変化レベルに応じた比率で、入力画像における各画素と、対応する動き補償画像における各画素とを合成し、入力画像を補間する補間画像として出力するので、動きベクトルが誤検出されやすいフェードインやフェードアウトを含む入力画像に対するフレームレート変換処理において、フェード検出された場合でも、誤検出された動きベクトルを用いた動き補償におけるエラーの影響が少ない補間画像を出力することができる。
【００８４】
なお、以上の処理においては、輝度変化レベルlum_change_levelを、０乃至８の９段階としたが、より少なく段階分けされてもよいし、より多く段階分けされてもよい。
【００８５】
また、以上の処理においては、入力画像に対応する縮小画像と直前縮小画像とを用いた処理について説明してきたが、タイミングの異なる画像であれば、その他の画像であってもよく、例えば、縮小画像と直後の縮小画像であっても良いし、２フレーム前の縮小画像と入力画像に対応する縮小画像などであっても良い。また、縮小画像と直前縮小画像との２枚の画像を用いる例について説明してきたが、それ以上の数の画像を用いるようにしてもよく、例えば、縮小画像、直前縮小画像、および直後縮小画像を用いた処理とするようにしても良いし、それ以上の数の画像を用いた処理としても良い。
【００８６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【００８７】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００８８】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【００８９】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【００９０】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【００９１】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００９２】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【００９３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９４】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００９５】
【図１】フレームレート変換の概念図である。
【図２】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図３】輝度変化検出部の機能構成例を示すブロック図である。
【図４】閾値作成部の機能構成例を示すブロック図である。
【図５】閾値と輝度変化レベルとの関係を説明する図である。
【図６】動き補償処理部の機能構成例を示すブロック図である。
【図７】フレームレート変換処理について説明するフローチャートである。
【図８】輝度変化検出処理について説明するフローチャートである。
【図９】輝度積算値、輝度差分値、および輝度変化レベルの関係について説明する図である。
【図１０】動き補償処理について説明するフローチャートである。
【図１１】パーソナルコンピュータの構成例を説明する図である。
【符号の説明】
【００９６】
１１ 画像処理装置， ３１ 前処理部， ３２ フレームメモリ， ３３ 動きベクトル検出部， ３４ 動き補償処理部， ５１ 画像縮小部， ５２ 輝度変化検出部， ７１ 輝度積算部， ７２ 遅延部， ７３ 差分算出部， ７４ コアリング部， ７５ 閾値処理部， ７６ 閾値作成部， ９１ 係数乗算部， ９２−１乃至９２−８ 乗算器， １１１ MC画像生成部， １１２ 合成部
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、より簡単にフェードインやフェードアウトを検出することができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
ブロックマッチング手法により動きベクトル検出し、その動きベクトルを用いて動き補償処理を行うことにより、時間的に異なる前後の画像（フレーム）から新たな補間画像（補間フレーム）を作成するフレームレート変換処理が一般に存在する。
【０００３】
図１は、フレームレート変換処理の概念を説明する図である。
【０００４】
図１において、横軸は時刻（単位は秒とする）を示し、縦軸は画像の動きを１次元で表現したときの位置を示している。横軸には、１／１２０秒ずつ目盛りが振られている。また、図１において、白抜きの大きい丸印は入力画像信号を表し、塗りつぶされた小さい丸印は出力画像信号を表している。すなわち、図１は、フィルムモードがビデオで60Hzの入力画像を、120Hzの出力画像にフレームレート変換したときの様子を表している。
【０００５】
フレームレート変換処理においては、図1に示されるように、入力画像の位置（動き）を補間するように、出力画像が生成される。
【０００６】
このようなブロックマッチング手法による動きベクトル検出においては、画像がフェードインまたはフェードアウトしたときに、実際は静止画像であるにもかかわらず、動きがある画像として動きベクトルが誤検出されることがある。この場合、誤検出された動きベクトルを用いた動き補償処理によって、乱れた補間画像が出力されてしまう。
【０００７】
そこで、フェードインまたはフェードアウトした静止画部分を検出して、その静止画部分の動きベクトルを０にすることが提案されている（例えば、特許文献１参照）。
【０００８】
【特許文献１】特開２００７−２４３６２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、特許文献１の手法では、フェードインまたはフェードアウトであるか否かの判定において、輝度値に対する閾値処理（輝度値と所定の閾値との比較）を行っている。
【００１０】
しかしながら、上述の閾値処理で用いられる閾値は固定値であり、ユーザの操作によって設定される必要があった。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、ユーザの操作によって閾値を設定することなく、より簡単にフェードインやフェードアウトを検出することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の画像処理装置は、第１の画像における複数の画素の輝度値を積算した第１の積算値と、前記第１の画像と時間的に異なる第２の画像における複数の画素の輝度値を積算した第２の積算値との差分値を算出する差分値算出手段と、前記差分値についての閾値であって、前記第１の画像と前記第２の画像との間の輝度変化を、前記輝度変化の度合いを示す輝度変化レベルで段階分けするための、前記輝度変化レベルに対応した複数の閾値を、前記第１の積算値に応じて作成する閾値作成手段と、前記複数の閾値に基づいて、前記差分値に対応する前記輝度変化レベルを決定する輝度変化レベル決定手段とを備える。
【００１３】
前記画像処理装置には、前記第１の画像および前記第２の画像に対するブロックマッチングにより動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルにより前記第１の画像を動き補償して、動き補償画像を生成する動き補償画像生成手段と、前記輝度変化レベル決定手段により決定された前記輝度変化レベルに応じた比率で、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とを合成し、前記第１の画像および前記第２の画像を補間する補間画像として出力する補間画像出力手段とをさらに設けることができる。
【００１４】
前記補間画像出力手段には、前記輝度変化レベル決定手段によって決定された前記輝度変化レベルが高いほど、前記第１の画像の比率が高い前記補間画像を出力させ、前記輝度変化レベルが低いほど、前記動き補償画像の比率が高い前記補間画像を出力させることができる。
【００１５】
前記画像処理装置には、前記第１の画像を縮小した第１の縮小画像を生成する縮小画像生成手段をさらに設け、前記差分値算出手段には、前記第２の画像を縮小した第２の縮小画像における複数の画素の輝度値を積算した前記第１の輝度値と、前記第１の縮小画像と時間的に異なる第２の縮小画像における複数の画素の輝度値を積算した前記第２の積算値との差分値を算出させることができる。
【００１６】
前記動きベクトル検出手段には、前記第１の縮小画像および前記第２の縮小画像から前記動きベクトルを検出させる。
【００１７】
本発明の一側面の画像処理方法は、第１の画像における複数の画素の輝度値を積算した第１の積算値と、前記第１の画像と時間的に異なる第２の画像における複数の画素の輝度値を積算した第２の積算値との差分値を算出する差分値算出ステップと、前記差分値についての閾値であって、前記第１の画像と前記第２の画像との間の輝度変化を、前記輝度変化の度合いを示す輝度変化レベルで段階分けするための、前記輝度変化レベルに対応した複数の閾値を、前記第１の積算値に応じて作成する閾値作成ステップと、前記複数の閾値に基づいて、前記差分値に対応する前記輝度変化レベルを決定する輝度変化レベル決定ステップとを含む。
【００１８】
本発明の一側面のプログラムは、第１の画像における複数の画素の輝度値を積算した第１の積算値と、前記第１の画像と時間的に異なる第２の画像における複数の画素の輝度値を積算した第２の積算値との差分値を算出する差分値算出ステップと、前記差分値についての閾値であって、前記第１の画像と前記第２の画像との間の輝度変化を、前記輝度変化の度合いを示す輝度変化レベルで段階分けするための、前記輝度変化レベルに対応した複数の閾値を、前記第１の積算値に応じて作成する閾値作成ステップと、前記複数の閾値に基づいて、前記差分値に対応する前記輝度変化レベルを決定する輝度変化レベル決定ステップとを含む処理をコンピュータに実行させる。
【００１９】
本発明の一側面においては、第１の画像における複数の画素の輝度値を積算した第１の積算値と、第１の画像と時間的に異なる第２の画像における複数の画素の輝度値が積算した第２の積算値との差分値が算出され、差分値についての閾値であって、第１の画像と第２の画像との間の輝度変化を、輝度変化の度合いを示す輝度変化レベルで段階分けするための、輝度変化レベルに対応した複数の閾値が、第１の積算値に応じて作成され、複数の閾値に基づいて、差分値に対応する輝度変化レベルが決定される。
【発明の効果】
【００２０】
本発明の一側面によれば、より簡単にフェードインやフェードアウトを検出することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態について図を参照して説明する。
【００２２】
図２は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００２３】
図２の画像処理装置１１は、入力画像におけるフェードインやフェードアウトを検出し、その検出結果に応じて、補間画像（補間フレーム）を作成し、フレームレート変換された出力画像を出力する。なお、以下においては、フェードインやフェードアウトを検出することを、適宜、フェード検出とも称する。
【００２４】
図２の画像処理装置１１は、前処理部３１、フレームメモリ３２、動きベクトル検出部３３、および動き補償処理部３４から構成される。
【００２５】
前処理部３１は、画像縮小部５１および輝度変化検出部５２を備えており、入力画像の縮小画像を生成するとともに、その縮小画像における輝度変化を検出する。より具体的には、画像縮小部５１は、入力画像の画素を間引くことにより、例えば、入力画像の１／４倍の縮小画像を生成し、フレームメモリ３２、動きベクトル検出部３３、および輝度変化検出部５２に供給する。輝度変化検出部５２は、画像縮小部５１から供給された縮小画像と、その縮小画像を１フレームだけ遅延した縮小画像との間（時間的に異なるフレーム間）の輝度変化を検出することで、フェード検出を行う。輝度変化検出部５２は、検出した輝度変化の度合いを示す輝度変化レベルを、動き補償処理部３４に供給する。なお、輝度変化検出部５２の詳細は、図３を参照して後述する。
【００２６】
フレームメモリ３２は、画像縮小部５１から供給された縮小画像を一時的に記憶して、画像縮小部５１からの縮小画像に対して、１フレーム分直前の画像（以降、直前縮小画像と称する）を、動きベクトル検出部３３に供給する。
【００２７】
動きベクトル検出部３３は、画像縮小部５１からの縮小画像と、フレームメモリ３２からの直前縮小画像とに基づいてブロックマッチングを行い、縮小画像の画素毎の動きベクトルを求める。より具体的には、動きベクトル検出部３３は、縮小画像の注目画素（処理対象となる画素）に対応する注目ブロックの画素と、直前縮小画像の各画素（参照画素）に対応する参照ブロックの画素とを読み出し、それぞれ対応する画素位置の画素値（例えば、輝度値）の差分絶対値和を求める。また、動きベクトル検出部３３は、参照画素のそれぞれについて求められる差分絶対値和を比較し、最小となる差分絶対値和を取る参照画素を求める。そして、動きベクトル検出部３３は、縮小画像の注目画素と、差分絶対値和が最小となる参照画素とから動きベクトルを計算し、動き補償処理部３４に供給する。
【００２８】
動き補償処理部３４は、入力画像および動きベクトルに基づいて、動き補償処理を実行し、MC（Motion Compensation）画像（動き補償画像）を生成する。また、動き補償処理部３４は、輝度変化検出部５２からの輝度変化レベルに基づいて、MC画像と入力画像とを合成して、出力画像として出力する。動き補償処理部３４の詳細は、図６を参照して後述する。
【００２９】
次に、図３のブロック図を参照して、輝度変化検出部５２の機能構成例について説明する。
【００３０】
輝度変化検出部５２は、輝度積算部７１、遅延部７２、差分算出部７３、コアリング部７４、閾値処理部７５、および閾値作成部７６から構成される。
【００３１】
輝度積算部７１は、画像縮小部５１からの縮小画像１フレーム分の各画素の輝度値を積算し、その積算結果（以下、輝度積算値lum_acc_curと称する）を、遅延部７２、差分算出部７３、および閾値作成部７６に供給する。
【００３２】
遅延部７２は、輝度積算部７１からの輝度積算値lum_acc_curを、縮小画像１フレーム分だけ遅延して、直前輝度積算値lum_acc_preとして、差分算出部７３に供給する。
【００３３】
差分算出部７３は、輝度積算部７１からの輝度積算値lum_acc_curと、遅延部７２からの直前輝度積算値lum_acc_preとの差分絶対値を算出し、輝度差分値acc_difとして、コアリング部７４に供給する。
【００３４】
コアリング部７４は、差分算出部７３からの輝度差分値acc_difに対して、コアリング処理（０乃至所定の値を全て０とする処理）を施し、所定の係数を乗じた正規化輝度差分値valを、閾値処理部７５に供給する。
【００３５】
閾値処理部７５は、閾値作成部７６から供給される複数の閾値に基づいて、コアリング部７４からの正規化輝度差分値valに対して閾値処理を施し、閾値処理された正規化輝度差分値valに対応する輝度変化レベルlum_change_levelを決定する。
【００３６】
閾値作成部７６は、閾値処理部７５の閾値処理に用いられる複数の閾値を、輝度積算部７１からの輝度積算値lum_acc_curに応じて作成する。
【００３７】
ここで、図４を参照して、閾値作成部７６の構成例について説明する。
【００３８】
図４の閾値作成部７６は、係数乗算部９１、乗算器９２−１乃至９２−８を備えている。なお、以降においては、乗算器９２−１乃至９２−８は、それぞれ、特に区別する必要がない場合、乗算器９２−Ｎ（Ｎは、１乃至８の整数）と称するものとする。
【００３９】
係数乗算部９１は、輝度積算部７１からの輝度積算値lum_acc_curに、所定の係数（例えば、１より十分小さい値の係数）を乗じ、その結果である値stepを乗算器９２−Ｎに供給する。係数乗算部９１によって乗じられる係数は、例えば、ユーザの操作により任意に設定される固定値である。
【００４０】
乗算器９２−Ｎは、係数乗算部９１からの値stepに数値Ｎを乗じた閾値thN（＝step×Ｎ）を、閾値処理部７５に供給する。例えば、乗算器９２−１は、係数乗算部９１からの値stepに１を乗じた閾値th1（＝step×１）を、閾値処理部７５に供給する。また、乗算器９２−２は、係数乗算部９１からの値stepに２を乗じた閾値th2（＝step×２）を、閾値処理部７５に供給する。同様にして、乗算器９２−３乃至９２−８は、それぞれ、閾値th3乃至th8を、閾値処理部７５に供給する。
【００４１】
このような構成により、閾値作成部７６は、縮小画像（入力画像）を構成する各画素の輝度値の積算値に応じて、時間的に異なるフレーム間の輝度変化を段階分けするための閾値を、動的に設定することができる。したがって、ユーザは、複数の閾値をそれぞれ設定する必要がない。
【００４２】
また、図３の閾値処理部７５は、乗算器９２−１乃至９２−８から供給される８個の閾値th1乃至th8に応じて、連続する（時間的に異なる）フレーム間の輝度変化を段階分けする（輝度変化レベルを設定する）。そして、閾値処理部７５は、閾値th1乃至th8に基づいて、正規化輝度差分値valに対応する輝度変化レベルlum_change_levelを決定する。
【００４３】
ここで、図５を参照して、閾値th1乃至th8と輝度変化レベルlum_change_levelとの関係について説明する。
【００４４】
図５において、横軸は、正規化輝度差分値valを示し、縦軸は、輝度変化レベルlum_change_levelを示している。また、図５において、横軸には、閾値th1乃至th8が値step間隔で示されている。そして、縦軸には、閾値th1乃至th8に対応して、値０乃至８の９段階の輝度変化レベルlum_change_levelが示されている。
【００４５】
図５に示される関係によれば、コアリング部７４からの正規化輝度差分値valの値が、閾値th1以上閾値th2未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして１を出力する。正規化輝度差分値valの値が、閾値th2以上閾値th3未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして２を出力する。正規化輝度差分値valの値が、閾値th3以上閾値th4未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして３を出力する。正規化輝度差分値valの値が、閾値th4以上閾値th5未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして４を出力する。正規化輝度差分値valの値が、閾値th5以上閾値th6未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして５を出力する。正規化輝度差分値valの値が、閾値th6以上閾値th7未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして６を出力する。正規化輝度差分値valの値が、閾値th7以上閾値th8未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして７を出力する。正規化輝度差分値valの値が、閾値th8以上であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして８を出力する。
【００４６】
また、正規化輝度差分値valの値が、閾値th1未満であった場合、閾値処理部７５は、輝度変化レベルlum_change_levelとして０を出力する。このとき、コアリング部７４が、コアリング処理により、差分算出部７３からの輝度差分値acc_difに対して、０乃至th1の値を全て０としていてもよい。
【００４７】
次に、図６のブロック図を参照して、動き補償処理部３４の機能構成例について説明する。
【００４８】
図６の動き補償処理部３４は、MC画像生成部１１１および合成部１１２から構成される。
【００４９】
MC画像生成部１１１は、動きベクトル検出部３３から供給されてくる、縮小画像の各画素における動きベクトルを解析することにより、MC画像における各画素の生成に必要とされる、縮小画像の各画素に対応する入力画像の画素を検索する。また、MC画像生成部１１１は、検索した入力画像の画素を用いて、MC画像における各画素を生成し、画素数を例えば４倍にアップサンプリングして、合成部１１２に供給する。なお、本実施例においては、MC画像生成部１１１は、入力画像の画素のみを検索し、入力画像の画素のみを用いてMC画像における各画素を生成するものとするが、例えば、１フレーム分前の画像である直前画像の画素も併せて検索し、入力画像の画素と直前画像の画素との両方を用いるようにしても良い。
【００５０】
合成部１１２は、輝度変化検出部５２からの輝度変化レベルlum_change_levelに基づいて、入力画像とMC画像とを合成し、出力する。より具体的には、合成部１１２は、入力画像およびMC画像のそれぞれにおいて対応する画素位置の画素値を、輝度変化レベルlum_change_levelに応じた比率で重み付けをして足し合わせることで、補間画像を作成する。合成部１１２は、作成した補間画像を出力画像として、図示せぬ表示部等に出力する。
【００５１】
次に、図７のフローチャートを参照して、フレームレート変換処理について説明する。
【００５２】
ステップＳ１１において、前処理部３１は、入力画像が供給されてきたか否かを判定する。入力画像が供給されてきていないと判定された場合、入力画像が供給されてきたと判定されるまで、その処理を繰り返す。
【００５３】
ステップＳ１１において、入力画像が供給されてきたと判定された場合、ステップＳ１２において、画像縮小部５１は、入力画像の画素を間引くことにより、入力画像の１／４倍の縮小画像を生成し、フレームメモリ３２、動きベクトル検出部３３、および輝度変化検出部５２に供給する。
【００５４】
ステップＳ１３において、フレームメモリ３２は、画像縮小部５１から供給された縮小画像を一時的に記憶するとともに、直前のタイミングで記憶した縮小画像を、直前縮小画像として、動きベクトル検出部３３に供給する。この処理により、動きベクトル検出部３３には、縮小画像および直前縮小画像がそれぞれ供給される。
【００５５】
ステップＳ１４において、輝度変化検出部５２は、画像縮小部５１から供給された縮小画像と、その縮小画像を１フレームだけ遅延した縮小画像との間の輝度変化を検出する輝度変化検出処理を行う。輝度変化検出部５２は、検出した輝度変化の度合いを示す輝度変化レベルを、動き補償処理部３４に供給する。なお、ステップＳ１４の輝度変化検出処理の詳細は、図８を参照して後述する。
【００５６】
ステップＳ１５において、動きベクトル検出部３３は、画像縮小部５１からの縮小画像と、フレームメモリ３２からの直前縮小画像とに基づいて、縮小画像の画素毎の動きベクトルを求め、動き補償処理部３４に供給する。
【００５７】
ステップＳ１６において、動き補償処理部３４は、入力画像および動きベクトルに基づいて、動き補償処理を実行し、MC画像を生成するとともに、輝度変化検出部５２からの輝度変化レベルに基づいて、MC画像と入力画像とを合成して、出力画像として出力する。なお、ステップＳ１６の動き補償処理の詳細は、図１０を参照して後述する。
【００５８】
次に、図８のフローチャートを参照して、図７のステップＳ１４における輝度変化検出処理について説明する。
【００５９】
ステップＳ３１において、輝度積算部７１は、画像縮小部５１からの縮小画像１フレーム分の各画素の輝度値を積算し、その積算結果である輝度積算値lum_acc_curを、遅延部７２、差分算出部７３、および閾値作成部７６に供給する。
【００６０】
ステップＳ３２において、遅延部７２は、輝度積算部７１からの輝度積算値lum_acc_curを、縮小画像１フレーム分だけ遅延して、直前輝度積算値lum_acc_preとして、差分算出部７３に供給する。この処理により、差分算出部７３には、輝度積算値lum_acc_curおよび直前輝度積算値lum_acc_preがそれぞれ供給される。
【００６１】
ステップＳ３３において、差分算出部７３は、輝度積算値lum_acc_curと直前輝度積算値lum_acc_preとの差分絶対値を算出し、輝度差分値acc_difとして、コアリング部７４に供給する。
【００６２】
ステップＳ３４において、コアリング部７４は、差分算出部７３からの輝度差分値acc_difに対して、コアリング処理を施し、所定の係数を乗じた正規化輝度差分値valを、閾値処理部７５に供給する。
【００６３】
ステップＳ３５において、閾値作成部７６は、例えば、閾値th1乃至th8の８個の閾値を、輝度積算部７１からの輝度積算値lum_acc_curに応じて作成し、閾値処理部７５に供給する。
【００６４】
ステップＳ３６において、閾値処理部７５は、閾値作成部７６から供給される閾値th1乃至th8に基づいて、コアリング部７４からの正規化輝度差分値valに対して閾値処理を施し、閾値処理された正規化輝度差分値valに対応する輝度変化レベルlum_change_levelを決定する。
【００６５】
ここで、図９を参照して、輝度積算値、輝度差分値、および輝度変化レベルの関係について説明する。
【００６６】
図９において、横軸は時刻を示し、右側の縦軸は輝度積算値lum_acc_cur、左側の縦軸は輝度差分値acc_difを示している。また、図９において、時刻毎に表示されているインジケータは、輝度変化レベル（０乃至８）を示している。
【００６７】
図９の正方形のプロットで示されるように、輝度積算値lum_acc_curは、時刻の経過とともに小さくなっている。これは、入力画像がフェードアウトしていることを示している。なお、図９においては、輝度積算値lum_acc_curは、時刻に対して加速度的に減少している。すなわち、図１０の菱形のプロットで示されるように、輝度差分値acc_difが、時刻の経過とともに大きくなっている。そして、輝度差分値acc_difと同様に、インジケータが示す輝度変化レベルも時刻の経過とともに大きくなっている。すなわち、入力画像のフェードアウトに伴い、輝度変化レベルが大きくなっている。
【００６８】
また、図９において、時刻16と時刻17の輝度差分値acc_difを比較すると、時刻17の輝度差分値acc_difは、時刻16の輝度差分値acc_difより30000程小さくなっている。閾値処理部７５の閾値処理における閾値が一定であれば、時刻17における輝度変化レベルは、輝度差分値acc_difが略同じ値となる時刻15における輝度変化レベルと同じ７となるはずである。しかしながら、時刻16および時刻17それぞれの時刻における輝度変化レベルは８となり差がない。これは、輝度積算値lum_acc_curが小さくなると、閾値作成部７６で作成される閾値th1乃至th8も小さくなることによる。すなわち、閾値th1乃至th8が小さくなると、輝度差分値acc_difが小さい値であっても、閾値処理における閾値を超えやすくなり、輝度変化レベルは高いレベルに決定されやすくなる。
【００６９】
以上のようにして、入力画像（縮小画像）の輝度値に応じて得られる閾値に基づいて、入力画像（縮小画像）の輝度変化レベルが決定される。
【００７０】
結果として、ユーザの操作による閾値の設定を行うことなく、より簡単に、入力画像の輝度変化、つまり、フェードインやフェードアウトを検出することが可能となる。
【００７１】
また、上述した処理においては、縮小画像を用いてフェード検出（輝度変化検出）を行うので、入力画像をそのまま用いる場合より、演算量が少なくて済む。
【００７２】
次に、図１０のフローチャートを参照して、図７のステップＳ１６における動き補償処理について説明する。
【００７３】
ステップＳ５１において、MC画像生成部１１１は、動きベクトル検出部３３から供給されてくる動きベクトルに基づいて、MC画像を生成する。より具体的には、MC画像生成部１１１は、縮小画像の各画素における動きベクトルを解析することにより、MC画像における各画素の生成に必要とされる、縮小画像の各画素に対応する入力画像の画素を検索する。また、MC画像生成部１１１は、検索した入力画像の画素を用いて、MC画像における各画素を生成し、画素数を４倍にアップサンプリングして、合成部１１２に供給する。
【００７４】
ステップＳ５２において、合成部１１２は、輝度変化レベルlum_change_levelに応じた比率で、入力画像とMC画像とを合成する。より具体的には、合成部１１２は、入力画像およびMC画像のそれぞれにおいて対応する画素位置の画素値を、輝度変化レベルlum_change_levelに応じた比率で重み付けをして足し合わせることで、補間画像を作成する。
【００７５】
例えば、輝度変化レベルlum_change_levelが８であった場合、合成部１１２は、入力画像およびMC画像のそれぞれにおいて対応する各画素の画素値を８：０の比率で重み付けをして足し合わせることで、補間画像を作成する。すなわち、輝度変化レベルlum_change_levelが８であった場合、合成部１１２は、入力画像をそのまま補間画像とする。
【００７６】
また、例えば、輝度変化レベルlum_change_levelが５であった場合、合成部１１２は、入力画像およびMC画像のそれぞれにおいて対応する各画素の画素値を５：３の比率で重み付けをして足し合わせることで、補間画像を作成する。
【００７７】
さらに、例えば、輝度変化レベルlum_change_levelが０であった場合、合成部１１２は、入力画像およびMC画像のそれぞれにおいて対応する各画素の画素値を０：８の比率で重み付けをして足し合わせることで、補間画像を作成する。すなわち、輝度変化レベルlum_change_levelが０であった場合、合成部１１２は、MC画像をそのまま補間画像とする。
【００７８】
このように、合成部１１２は、輝度変化レベルlum_change_levelが高いほど、入力画像の比率が高い補間画像を出力し、輝度変化レベルlum_change_levelが低いほど、MC画像の比率が高い補間画像を出力する。
【００７９】
ステップＳ５３において、合成部１１２は、合成した補間画像を出力画像として、図示せぬ表示部等に出力する。
【００８０】
以上の処理により、フェードインまたはフェードアウトしていない、動きベクトルの信頼性の高い画像については、動き補償処理により生成されたMC画像を含む割合が高い画像が出力され、逆に、フェードインまたはフェードアウトしているため、動きベクトルの信頼度が低い場合、入力画像を含む割合が高い画像が出力される。
【００８１】
結果として、動きベクトルが誤検出されやすいフェードインやフェードアウトを含む入力画像に対するフレームレート変換処理において、フェード検出された場合でも、誤検出された動きベクトルを用いた動き補償におけるエラーの影響が少ない補間画像を出力することができる。
【００８２】
以上のように、画像処理装置１１では、縮小画像における複数の画素の輝度値を積算した輝度積算値lum_acc_curと、縮小画像と時間的に異なる直前縮小画像における複数の画素の輝度値を積算した直前輝度積算値lum_acc_preとの輝度差分値acc_difを算出し、輝度差分値acc_difについての閾値であって、縮小画像と直前縮小画像との間の輝度変化を、輝度変化の度合いを示す輝度変化レベルlum_change_levelで段階分けするための、輝度変化レベルlum_change_levelに対応した複数の閾値th1乃至th8を、輝度積算値lum_acc_curに応じて作成し、複数の閾値th1乃至th8に基づいて、輝度差分値acc_difに対応する輝度変化レベルlum_change_levelを決定するので、ユーザの操作による閾値の設定を行うことなく、より簡単にフェードインやフェードアウトを検出することができる。
【００８３】
さらに、画像処理装置１１では、入力画像および縮小画像に対するブロックマッチングにより動きベクトルを検出し、動きベクトルにより入力画像を動き補償して、動き補償画像を生成し、輝度変化レベルに応じた比率で、入力画像における各画素と、対応する動き補償画像における各画素とを合成し、入力画像を補間する補間画像として出力するので、動きベクトルが誤検出されやすいフェードインやフェードアウトを含む入力画像に対するフレームレート変換処理において、フェード検出された場合でも、誤検出された動きベクトルを用いた動き補償におけるエラーの影響が少ない補間画像を出力することができる。
【００８４】
なお、以上の処理においては、輝度変化レベルlum_change_levelを、０乃至８の９段階としたが、より少なく段階分けされてもよいし、より多く段階分けされてもよい。
【００８５】
また、以上の処理においては、入力画像に対応する縮小画像と直前縮小画像とを用いた処理について説明してきたが、タイミングの異なる画像であれば、その他の画像であってもよく、例えば、縮小画像と直後の縮小画像であっても良いし、２フレーム前の縮小画像と入力画像に対応する縮小画像などであっても良い。また、縮小画像と直前縮小画像との２枚の画像を用いる例について説明してきたが、それ以上の数の画像を用いるようにしてもよく、例えば、縮小画像、直前縮小画像、および直後縮小画像を用いた処理とするようにしても良いし、それ以上の数の画像を用いた処理としても良い。
【００８６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【００８７】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００８８】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【００８９】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【００９０】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【００９１】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００９２】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【００９３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９４】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００９５】
【図１】フレームレート変換の概念図である。
【図２】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図３】輝度変化検出部の機能構成例を示すブロック図である。
【図４】閾値作成部の機能構成例を示すブロック図である。
【図５】閾値と輝度変化レベルとの関係を説明する図である。
【図６】動き補償処理部の機能構成例を示すブロック図である。
【図７】フレームレート変換処理について説明するフローチャートである。
【図８】輝度変化検出処理について説明するフローチャートである。
【図９】輝度積算値、輝度差分値、および輝度変化レベルの関係について説明する図である。
【図１０】動き補償処理について説明するフローチャートである。
【図１１】パーソナルコンピュータの構成例を説明する図である。
【符号の説明】
【００９６】
１１ 画像処理装置， ３１ 前処理部， ３２ フレームメモリ， ３３ 動きベクトル検出部， ３４ 動き補償処理部， ５１ 画像縮小部， ５２ 輝度変化検出部， ７１ 輝度積算部， ７２ 遅延部， ７３ 差分算出部， ７４ コアリング部， ７５ 閾値処理部， ７６ 閾値作成部， ９１ 係数乗算部， ９２−１乃至９２−８ 乗算器， １１１ MC画像生成部， １１２ 合成部
【特許請求の範囲】
【請求項１】
第１の画像における複数の画素の輝度値を積算した第１の積算値と、前記第１の画像と時間的に異なる第２の画像における複数の画素の輝度値を積算した第２の積算値との差分値を算出する差分値算出手段と、
前記差分値についての閾値であって、前記第１の画像と前記第２の画像との間の輝度変化を、前記輝度変化の度合いを示す輝度変化レベルで段階分けするための、前記輝度変化レベルに対応した複数の閾値を、前記第１の積算値に応じて作成する閾値作成手段と、
前記複数の閾値に基づいて、前記差分値に対応する前記輝度変化レベルを決定する輝度変化レベル決定手段と
を備える画像処理装置。
【請求項２】
前記第１の画像および前記第２の画像に対するブロックマッチングにより動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトルにより前記第１の画像を動き補償して、動き補償画像を生成する動き補償画像生成手段と、
前記輝度変化レベル決定手段により決定された前記輝度変化レベルに応じた比率で、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とを合成し、前記第１の画像および前記第２の画像を補間する補間画像として出力する補間画像出力手段とをさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記補間画像出力手段は、前記輝度変化レベル決定手段によって決定された前記輝度変化レベルが高いほど、前記第１の画像の比率が高い前記補間画像を出力し、前記輝度変化レベルが低いほど、前記動き補償画像の比率が高い前記補間画像を出力する
請求項２に記載の画像処理装置。
【請求項４】
前記第１の画像を縮小した第１の縮小画像を生成する縮小画像生成手段をさらに備え、
前記差分値算出手段は、前記第１の縮小画像における複数の画素の輝度値を積算した前記第１の輝度値と、前記第２の画像を縮小した第２の縮小画像における複数の画素の輝度値を積算した前記第２の積算値との差分値を算出する
請求項２に記載の画像処理装置。
【請求項５】
前記動きベクトル検出手段は、前記第１の縮小画像および前記第２の縮小画像から前記動きベクトルを検出する
請求項４に記載の画像処理装置。
【請求項６】
第１の画像における複数の画素の輝度値を積算した第１の積算値と、前記第１の画像と時間的に異なる第２の画像における複数の画素の輝度値を積算した第２の積算値との差分値を算出する差分値算出ステップと、
前記差分値についての閾値であって、前記第１の画像と前記第２の画像との間の輝度変化を、前記輝度変化の度合いを示す輝度変化レベルで段階分けするための、前記輝度変化レベルに対応した複数の閾値を、前記第１の積算値に応じて作成する閾値作成ステップと、
前記複数の閾値に基づいて、前記差分値に対応する前記輝度変化レベルを決定する輝度変化レベル決定ステップと
を含む画像処理方法。
【請求項７】
第１の画像における複数の画素の輝度値を積算した第１の積算値と、前記第１の画像と時間的に異なる第２の画像における複数の画素の輝度値を積算した第２の積算値との差分値を算出する差分値算出ステップと、
前記差分値についての閾値であって、前記第１の画像と前記第２の画像との間の輝度変化を、前記輝度変化の度合いを示す輝度変化レベルで段階分けするための、前記輝度変化レベルに対応した複数の閾値を、前記第１の積算値に応じて作成する閾値作成ステップと、
前記複数の閾値に基づいて、前記差分値に対応する前記輝度変化レベルを決定する輝度変化レベル決定ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１】
第１の画像における複数の画素の輝度値を積算した第１の積算値と、前記第１の画像と時間的に異なる第２の画像における複数の画素の輝度値を積算した第２の積算値との差分値を算出する差分値算出手段と、
前記差分値についての閾値であって、前記第１の画像と前記第２の画像との間の輝度変化を、前記輝度変化の度合いを示す輝度変化レベルで段階分けするための、前記輝度変化レベルに対応した複数の閾値を、前記第１の積算値に応じて作成する閾値作成手段と、
前記複数の閾値に基づいて、前記差分値に対応する前記輝度変化レベルを決定する輝度変化レベル決定手段と
を備える画像処理装置。
【請求項２】
前記第１の画像および前記第２の画像に対するブロックマッチングにより動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトルにより前記第１の画像を動き補償して、動き補償画像を生成する動き補償画像生成手段と、
前記輝度変化レベル決定手段により決定された前記輝度変化レベルに応じた比率で、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とを合成し、前記第１の画像および前記第２の画像を補間する補間画像として出力する補間画像出力手段とをさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記補間画像出力手段は、前記輝度変化レベル決定手段によって決定された前記輝度変化レベルが高いほど、前記第１の画像の比率が高い前記補間画像を出力し、前記輝度変化レベルが低いほど、前記動き補償画像の比率が高い前記補間画像を出力する
請求項２に記載の画像処理装置。
【請求項４】
前記第１の画像を縮小した第１の縮小画像を生成する縮小画像生成手段をさらに備え、
前記差分値算出手段は、前記第１の縮小画像における複数の画素の輝度値を積算した前記第１の輝度値と、前記第２の画像を縮小した第２の縮小画像における複数の画素の輝度値を積算した前記第２の積算値との差分値を算出する
請求項２に記載の画像処理装置。
【請求項５】
前記動きベクトル検出手段は、前記第１の縮小画像および前記第２の縮小画像から前記動きベクトルを検出する
請求項４に記載の画像処理装置。
【請求項６】
第１の画像における複数の画素の輝度値を積算した第１の積算値と、前記第１の画像と時間的に異なる第２の画像における複数の画素の輝度値を積算した第２の積算値との差分値を算出する差分値算出ステップと、
前記差分値についての閾値であって、前記第１の画像と前記第２の画像との間の輝度変化を、前記輝度変化の度合いを示す輝度変化レベルで段階分けするための、前記輝度変化レベルに対応した複数の閾値を、前記第１の積算値に応じて作成する閾値作成ステップと、
前記複数の閾値に基づいて、前記差分値に対応する前記輝度変化レベルを決定する輝度変化レベル決定ステップと
を含む画像処理方法。
【請求項７】
第１の画像における複数の画素の輝度値を積算した第１の積算値と、前記第１の画像と時間的に異なる第２の画像における複数の画素の輝度値を積算した第２の積算値との差分値を算出する差分値算出ステップと、
前記差分値についての閾値であって、前記第１の画像と前記第２の画像との間の輝度変化を、前記輝度変化の度合いを示す輝度変化レベルで段階分けするための、前記輝度変化レベルに対応した複数の閾値を、前記第１の積算値に応じて作成する閾値作成ステップと、
前記複数の閾値に基づいて、前記差分値に対応する前記輝度変化レベルを決定する輝度変化レベル決定ステップと
を含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−１０９１５（Ｐ２０１０−１０９１５Ａ）
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願番号】特願２００８−１６６０６２（Ｐ２００８−１６６０６２）
【出願日】平成２０年６月２５日（２００８．６．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願日】平成２０年６月２５日（２００８．６．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]