画像処理装置および方法、プログラム、並びに記録媒体
【課題】内挿フレームの画像のどの領域においても、適切に画素を生成することができるようにする。
【解決手段】補償割り付け部３２１は、ベクトル割り付け部３０２によって動きベクトルが割り付けられなかった画素について、動きベクトルの補償割り付けを行う。Ｃ／ＵＣ領域判定部３２４は、評価値算出部３２３による、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFD、並びに補償割り付けベクトルに基づくDFDの大小を比較することにより、注目画素の領域を判定する。補間方式決定部３２５は、Ｃ領域またはＵＣ領域の画素と判定された注目画素について、画素値を両側補間により演算するか、片側補間により演算するかを決定する。内挿フレーム生成部３３１は、補間方式決定部３２５が決定した方式に基づいて、内挿フレームの注目画素の画素値を演算する。
【解決手段】補償割り付け部３２１は、ベクトル割り付け部３０２によって動きベクトルが割り付けられなかった画素について、動きベクトルの補償割り付けを行う。Ｃ／ＵＣ領域判定部３２４は、評価値算出部３２３による、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFD、並びに補償割り付けベクトルに基づくDFDの大小を比較することにより、注目画素の領域を判定する。補間方式決定部３２５は、Ｃ領域またはＵＣ領域の画素と判定された注目画素について、画素値を両側補間により演算するか、片側補間により演算するかを決定する。内挿フレーム生成部３３１は、補間方式決定部３２５が決定した方式に基づいて、内挿フレームの注目画素の画素値を演算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、内挿フレームの画像のどの領域においても、適切に画素を生成することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来より、テレビジョン信号の動きを検出する動きベクトル検出回路からの複数の動きベクトルデータの平均動きベクトルデータに基づいて、フレームメモリから読み出されたテレビジョン信号にフレーム内挿処理を施すことが可能である。
【０００３】
内挿フレームの生成は、例えば、次のようにして行われる。動きベクトルvで対応づけられる2つのフレームである、時刻tのフレーム、および時刻t+1のフレーム上の交点をそれぞれ点q、点rとする。ここで、時刻tのフレーム、および時刻t+1のフレームの間に新たなフレームであって時刻t+kのフレーム上の画素pの値を、点q、点rから時間位置の逆比(1-k)：kにより次式のように線形補間してFt+k(p)を求める。
【０００４】
Ft+k(p) = (1-k)Ft(q) + kFt+1(r)
【０００５】
このようにして画素値が演算された画素により構成されるフレームが内挿フレームになる。
【０００６】
しかし、例えば、２つの動物体として背景と前景が違う動きを持っている動画像において内挿フレームを生成する場合、時刻t0と時刻t1との間では、画像の領域によって、異なる方向の動きベクトルが生成されることになるため、内挿フレーム生成を行う時刻において動きベクトルが通過しない領域が生じてしまい、内挿フレームを生成することができない。
【０００７】
このような場合、従来は、内挿フレームを生成するために、例えば、周辺の動きベクトル等を利用したベクトル補償が行われていた。このとき、2フレーム間の差分絶対値和(DFD: Displaced Frame Difference)が最小となるように、動きベクトルの割り付けが行われる。
【０００８】
差分絶対値和DFDは、例えば、動き量の評価値として用いられ、注目するベクトル量分だけずらしたブロック同士で求められる。一般的にはDFDが小さいほどフレーム間のブロックの波形が一致しており、動きベクトルの信頼度が高いと判定でき、例えば、複数の候補から確からしいベクトルを選びだす場合などに利用される。
【０００９】
また、内挿フレームの破綻の見え方を緩和し主観的な画質を改善するために、内挿フレーム生成にて求めた画素値を、大きさ0のベクトル(すなわち(0，0)のベクトル。以降0ベクトルと称する)により時間補間を行った画素値とある割合で混合することが提案されている（例えば、特許文献１参照）。これにより、画像的な破綻を目立たなくすることができる。
【００１０】
【特許文献１】特開２００７−７４５８８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、背景と前景が違う動きを持っている動画像においては、背景と前景との境界付近の領域では、動きベクトルが不安定となり、正しい動きベクトルの候補が得られにくい。
【００１２】
また、時間の経過に伴って、前景により隠れる背景の領域、または前景の後から現れる背景の領域においては、正しい動きベクトルの候補が得られたとしても時刻t0、時刻t1間のDFDでは、正しく評価できない。
【００１３】
すなわち、上述した領域は、時刻t0と時刻t1において対応する領域が存在しないので、結果として背景のテクスチャと前景のテクスチャとの差分をDFDにより演算することになってしまう。
【００１４】
このような領域では、正しい動きベクトルを選択することが難しく、また、内挿フレームの画素を適切に生成することが難しい。そのため、例えば、内挿フレームの画像に本来はないエッジが生じて画像として破綻することがある。さらに、これらの破綻が目立って発生すると、画像を観察するユーザに、画質が劣化していると認識されてしまう。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、内挿フレームの画像のどの領域においても、適切に画素を生成することができるようにするものである。
【課題を解決するための手段】
【００１６】
本発明の第１の側面は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段と、前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段と、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定する領域判定手段と、前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定する演算方式決定手段とを備える。
【００１７】
前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出する背景ベクトル抽出手段をさらに備え、前記領域判定手段は、注目画素について、前記背景ベクトルの信頼性を評価するための評価値を複数演算し、前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を演算し、前記演算された評価値のそれぞれの大小を比較することにより、前記注目画素が含まれる領域を判定するようにすることができる。
【００１８】
前記領域判定手段は、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された前記第２のフレームの画素と前記第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記補償ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して前記注目画素に割り付けられた動きベクトルのDFDとし、前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDを前記評価値として、前記注目画素が含まれる領域を判定するようにすることができる。
【００１９】
前記領域判定手段は、前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDのうち、前記過去のDFDが最小である場合、前記注目画素が含まれる領域は、Ｃ領域であると判定し、前記未来のDFDが最小である場合、前記注目画素が含まれる領域は、UＣ領域であると判定し、前記現在のDFDが最小である場合、または、前記注目画素に割り付けられた動きベクトルのDFDが最小である場合、前記注目画素が含まれる領域は、通常領域であると判定するようにすることができる。
【００２０】
前記演算方式決定手段は、前記注目画素に割り付けられた動きベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレームの画素を特定し、前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値として、現在のDFD、過去のDFD、および未来のDFDをさらに演算するようにすることができる。
【００２１】
演算方式決定手段は、前記注目画素に割り付けられた動きベクトルに基づいて、前記内挿フレームの注目画素に対応する前記第１のフレームの画像の画素値と、前記内挿フレームの注目画素に対応する前記第２のフレームの画像の画素値を特定し、前記領域判定手段により、前記注目画素が前記C領域の画素であると判定され、かつ前記注目画素に割り付けられた動きベクトルの信頼性を評価するための複数の前記評価値のうち、前記過去のDFDが最小である場合、前記特定された前記第１のフレームの画像の画素値を、前記注目画素の画素値とするように、前記注目画素の画素値の演算方式を決定し、前記領域判定手段により、前記注目画素が前記ＵC領域の画素であると判定され、かつ前記注目画素に割り付けられた動きベクトルの信頼性を評価するための複数の前記評価値のうち、前記未来のDFDが最小である場合、前記特定された前記第２のフレームの画像の画素値を、前記注目画素の画素値とするように、前記注目画素の画素値の演算方式を決定し、それ以外の場合、前記特定された前記第１のフレームの画像の画素値と、前記第２のフレームの画像の画素値との線形補間により、前記注目画素の画素値を演算するように、前記注目画素の画素値の演算方式を決定するようにすることができる。
【００２２】
本発明の第１の側面においては、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付け、前記動きベクトルが割り付けられなかった前記内挿フレームの画素について動きベクトルの補償により動きベクトルを割り付け、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定し、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定するステップを含む画像処理方法である。
【００２３】
本発明の第１の側面は、コンピュータを、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段と、前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段と、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定する領域判定手段と、前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定する演算方式決定手段とを備える画像処理装置として機能させるプログラムである。
【００２４】
本発明の第１の側面においては、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルが割り付けられ、前記動きベクトルが割り付けられなかった前記内挿フレームの画素について動きベクトルの補償により動きベクトルが割り付けられ、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかが判定され、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値が複数演算され、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式が決定される。
【発明の効果】
【００２５】
本発明によれば、内挿フレームの画像のどの領域においても、適切に画素を生成することができるようにする。
【発明を実施するための最良の形態】
【００２６】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２７】
本発明の第１の側面の画像処理装置は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段（例えば、図１３のベクトル割り付け部３０２）と、前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段（例えば、図１３の補償割り付け部３２１）と、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定する領域判定手段（例えば、図１０のC/UC領域判定部１２５）と、前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数（例えば、現在のDFD、過去のDFD、未来のDFD）演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定する演算方式決定手段（例えば、図１４の補間方式決定部３２５）とを備える。
【００２８】
前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出する背景ベクトル抽出手段（例えば、図１３の背景ベクトル抽出部３２２）をさらに備え、前記領域判定手段は、注目画素について、前記背景ベクトル（例えば、図９の背景ベクトル１１１）の信頼性を評価するための評価値を複数演算し、前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトル（例えば、図９の補償割り付けベクトル１１３）の信頼性を評価するための評価値を演算し、前記演算された評価値のそれぞれの大小を比較することにより、前記注目画素が含まれる領域を判定するようにすることができる。
【００２９】
前記領域判定手段は、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレーム（例えば、時刻t-1のフレーム）の画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレーム（例えば、時刻t+2のフレーム）の画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された前記第２のフレームの画素と前記第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記補償ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して前記注目画素に割り付けられた動きベクトルのDFDとし、前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDを前記評価値として、前記注目画素が含まれる領域を判定するようにすることができる。
【００３０】
本発明の第１の側面の画像処理方法は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付け（例えば、図１５のステップＳ１０１の処理）、前記動きベクトルが割り付けられなかった前記内挿フレームの画素について動きベクトルの補償により動きベクトルを割り付け（例えば、図１３のステップＳ１０３の処理）、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定し（例えば、図１５のステップＳ１０５の処理）、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数（例えば、現在のDFD、過去のDFD、未来のDFD）演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定する（例えば、図１５のステップＳ１０６の処理）ステップを含む。
【００３１】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３２】
最初に、内挿フレームについて説明する。
【００３３】
時間的に連続するフレームからなる動画像などのデータにおいて、例えば、図1に示されるように、時刻tにおけるフレームの位置qの画素に設定されている動きベクトルvにより、位置qの画素は、時刻t+1におけるフレームにおいて位置ｒの画素に対応づけられる。なお、時刻tにおけるフレームの各画素には、勾配法、ブロックマッチング法などを用いた処理により、予め動きベクトルが付加されているものとする。
【００３４】
例えば、時刻tにおけるフレームと時刻t+1におけるフレームは、時間的に連続しており、本来時刻tのフレームが再生された後、次に再生されるフレームは、時刻t＋1のフレームとなるが、動画像の時間方向の解像度を向上させるために、時刻tと時刻t+1の間に位置する時刻t+kのフレームを生成する。このとき生成される時刻t+kのフレームを内挿フレームと称する。
【００３５】
従来、内挿フレーム（時刻t+kのフレーム）の画素値は、例えば、次のようにして生成されていた。
【００３６】
時刻t+kのフレームの位置pの画素の動きベクトルｖにより対応付けられる時刻tおよび時刻t＋1のフレームの画素の位置は、位置pおよび位置ｒとなる。時刻t＋kのフレームの位置pの画素値Ft+k(p)は、式（１）に示されるように、２つの点q、rから時間位置の逆比(1-k)：kにより線形補間して求められる。なお、時刻tのフレームの位置qの画素値は、Ft(q)で表され、時刻t＋1のフレームの位置rの画素値は、Ft+1(r)で表されるものとする。
【００３７】
Ft+k(p) = (1-k)Ft(q) + kFt+1(r) ・・・(1)
【００３８】
次に、動きベクトルの補償について説明する。
【００３９】
例えば、動画像の各画素には、勾配法、ブロックマッチング法などを用いた処理により、予め動きベクトルを付加することができる。
【００４０】
例えば、図２に示されるように、前景であるオブジェクトが時間の経過に伴って、図中右方向に移動していく場合を考える。図２は、オブジェクト２１が表示される動画像の例を示しており、時刻t-1乃至時刻t2の４つの時刻のフレームの画像を示すものである。ここでは、説明を簡単にするために、フレームの画像を１次元（線状）で表現している。すなわち、図２の縦軸は時間を表し、図２の横軸は画像（画素）の位置を表すことになる。
【００４１】
図２において時間的に最も前の画像である時刻t-1のフレームのオブジェクト２１は、時刻t0のフレームにおいてはやや右方向に移動しており、時刻t1のフレームにおいてはさらに右方向に移動しており、時間的に最も後の画像である時刻t2のフレームにおいてはさらに右方向に移動している。また、同図では表現されていないが、オブジェクト２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。
【００４２】
時刻t0のフレームと時刻t1のフレームの画像に基づいて、勾配法、ブロックマッチング法などを用いた従来の方式による動きベクトルの検出を行うと、図３の矢印で示されるような動きベクトルが検出される。すなわち、オブジェクト２１の画素では、図中右側に向かう動きベクトルが検出され、背景の画素では、図中左側に向かう動きベクトルが検出されることになる。
【００４３】
図３に示されるような動きベクトルに基づいて、時刻t0と時刻t1の間の時刻t+jおよび時刻t+kのフレームを内挿フレームとして生成する場合、内挿フレームの画素に割り付けられる動きベクトルは、図４に示されるようになる。
【００４４】
図４乃至図７は、オブジェクト２１が表示される動画像の例を示しており、時刻t0、時刻t+j、時刻t+k、および時刻t1の４つの時刻のフレームの画像を示すものである。ここで、時刻t+jのフレーム、および時刻t+kのフレームは、内挿フレームとされる。また、ここでも、説明を簡単にするために、フレームの画像を１次元（線状）で表現しており、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。
【００４５】
時刻t+jの内挿フレームの領域３１ａおよび領域３１ｃの画素は、背景の画像を構成する画素なので、図中の矢印で示されるような左方向に向かう動きベクトルが割り付けられる。一方、時刻t+jの内挿フレームの領域３１bの画素は、オブジェクト２１の画像を構成する画素なので、図中の矢印で示されるような右方向に向かう動きベクトルが割り付けられる。
【００４６】
また同様に、時刻t+kの内挿フレームの領域３２ａおよび領域３２ｃの画素は、背景の画像を構成する画素なので、図中の矢印で示されるような左方向に向かう動きベクトルが割り付けられ、時刻t+kの内挿フレームの領域３２bの画素は、オブジェクト２１の画像を構成する画素なので、図中の矢印で示されるような右方向に向かう動きベクトルが割り付けられる。
【００４７】
しかし、図５に示されるように、時刻t+jの内挿フレームの領域３３ａの画素および領域３３ｃの画素には、動きベクトルが割り付けられていない。領域３３ａの画素は、本来背景の画像の画素であるが、時刻t0のフレームの画像において対応する画素がないため、動きベクトルを割り付けることができないのである。また、領域３３ｃの画素は、本来背景の画像の画素であるが、時刻t1のフレームの画像において対応する画素がないため、動きベクトルを割り付けることができないのである。
【００４８】
同様に、時刻t+kの内挿フレームの領域３４ａの画素および領域３４ｃの画素にも、やはり動きベクトルが割り付けられていない。
【００４９】
このように、前景と背景の動きが異なる動画像などの場合、内挿フレームの生成などに用いる動きベクトルを割り付けられない領域が生じることになる。図６に示されるように、領域３３ｃおよび領域３４ｃを含む図中の三角形の領域は、時間の経過に伴って背景の画像が前景（オブジェクト２１）の画像に覆われて見えなくなっていく領域なので、Ｃ（Covered）領域と称することとする。また、領域３３ａおよび領域３４ａを含む図中の逆三角形の領域は、時間の経過に伴って前景（オブジェクト２１）の画像に覆われていた背景の画像が見えてくる領域なので、ＵＣ（UnCovered）領域と称することとする。
【００５０】
例えば、内挿フレームの生成において、Ｃ領域、およびＵＣ領域は、動きベクトルが通過しない領域と言い換えることもできる。
【００５１】
内挿フレームの生成において、動きベクトルが通過しない領域の画素を生成するためには、その領域に何らかの動きベクトルを割り付けて動きベクトルを補償する必要がある。このような領域において動きベクトルを補償する場合、例えば、注目画素の周辺のベクトルや０ベクトルの中から最も適した動きベクトルが選択されて、注目画素の動きベクトルとして割り付けられる。このように補償されて割り付けられる動きベクトルを、補償割り付けベクトルと称することにする。
【００５２】
なお、補償割り付けベクトルは、例えば、注目画素の周辺の画素のそれぞれに割り付けられている動きベクトルのうち、注目画素の動きベクトルとして最適なものが選択されることにより割り付けられる。
【００５３】
例えば、時刻tにおけるフレームの位置Pの画素が、動きベクトルｖにより時刻t+1におけるフレームで位置Ｐ´の画素に対応付けられる場合、位置Ｐの画素を中心とするｍ×ｎ個の画素と、位置Ｐ´の画素を中心とするｍ×ｎ個の画素のそれぞれとの間での差分絶対値和（DFD：Displaced Frame Difference)を演算する。DFDは、例えば、動きベクトルの信頼性を評価するための評価値として用いられ、DFDが小さくなれば、その動きベクトルは、注目画素の動きを適切に反映していると言える。注目画素の周辺の画素に割り付けられている動きベクトルのそれぞれについてこのようにDFDを演算し、DFDの値が最も小さい動きベクトルが補償割り付けベクトルとして選択される。
【００５４】
図７は、従来の内挿フレーム生成処理を説明するフローチャートである。
【００５５】
すなわち、ステップＳ１１において、入力画像の時刻ｔのフレームと、時刻t+1のフレームに基づいて、動きベクトルが検出される。このとき、例えば、勾配法、ブロックマッチング法などにより動きベクトルが検出される。
【００５６】
ステップＳ１２において、ステップＳ１１で検出された動きベクトルを時刻t+kのフレームである内挿フレームの各画素に割り付ける。
【００５７】
ステップＳ１３において、内挿フレームのＣ領域、ＵＣ領域の画素など、動きベクトルが割り付けられていない画素に、例えば、周辺の動きベクトルを割り付けるなどして補償割り付けする。
【００５８】
ステップＳ１４において、内挿フレームの各画素の画素値が、ステップＳ１２の処理により割り付けられた動きベクトル、または、ステップＳ１３の処理により補償割り付けされた動きベクトル（補償割り付けベクトル）を用いて演算される。このとき、例えば、式（１）を参照して上述したような、線形補間により画素値が演算される。
【００５９】
しかしながら、Ｃ領域とUC領域においては、式（１）を参照して上述したように、２つのフレームの画素を用いた線形補間により内挿フレームの画素値を演算することは、適切とはいえない。
【００６０】
上述したように、Ｃ領域は、時間の経過に伴って背景の画像が前景（オブジェクト２１）の画像に覆われて見えなくなっていく領域なので、時間的に後のフレームにおいてＣ領域の画素に対応する画素が存在しないからである。また、ＵＣ領域は、時間の経過に伴って前景（オブジェクト２１）の画像に覆われていた背景の画像が見えてくる領域なので、時間的に前のフレームにおいてUC領域の画素に対応する画素が存在しないからである。
【００６１】
このため、内挿フレームの所定の画素を生成する場合、その画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、またはそれらのいずれでもない領域（通常領域と称することにする）の画素であるかを判定して、それらの領域に対応する方式で画素を生成することが必要となる。
【００６２】
そこで、本発明においては、内挿フレームの注目画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかを判定して、それらの領域に対応する方式で画素を生成することにする。
【００６３】
注目画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかは、例えば、次のようにして判定できる。
【００６４】
図８は、オブジェクト１２１が表示される動画像の例を示しており、時刻t-1乃至時刻t+2の４つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト１２１は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト１２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
【００６５】
いま、内挿フレームのＵＣ領域の画素１０１と、Ｃ領域の画素１０２を、それぞれ注目画素として、注目画素の領域を判定する場合の例について説明する。
【００６６】
注目画素の領域を判定するために、背景の画像の動きを表す動きベクトルである背景ベクトルを、注目画素に仮に割り付ける。なお、背景ベクトルの抽出については後述する。そして、背景ベクトルに基づいて、上述したようにDFDを演算する。
【００６７】
図８の例では、画素１０１と画素１０２に、仮に割り付ける背景ベクトルとして図中の太線の矢印で示される背景ベクトル１１１と背景ベクトル１１２が示されている。同図の例では、背景ベクトル１１１と背景ベクトル１１２は、図中点線で示される従来の方式により検出された動きベクトルであって、背景の動きを表す動きベクトルとほぼ同じ向きとされている。この背景ベクトル１１１と背景ベクトル１１２を、時刻t-1乃至時刻t+2に至るように時間的に延長する。すなわち、背景ベクトル１１１または背景ベクトル１１２により、時刻tのフレームの画素または時刻t+1のフレームの画素に対応付けられる時刻t+2のフレームの画素、または時刻t-1のフレームの画素を特定する。
【００６８】
Ｃ領域またはＵＣ領域では、背景ベクトルに基づいて、時刻tのフレームの画像と時刻t+1のフレームの画像を用いてDFDを演算しても、前景（オブジェクト）の画像の画素と、背景の画像の画素との差分絶対値和の演算が行われることになってしまう。図８の例では、時刻t0のフレームの画像と時刻t1のフレームの画像を用いると、背景ベクトル１１１に基づいて前景の画像の領域１２１ａと背景の画像の領域１３１の差分絶対値和が演算され、背景ベクトル１１２に基づいて前景の画像の領域１２１bと背景の画像の領域１３３の差分絶対値和が演算されることになる。
【００６９】
そこで、本発明では、さらに、時刻t+1よりも時間的に後の時刻t+2のフレームの画像と、時刻tよりも時間的に前の時刻t-1のフレームの画像とを、DFDの演算に用いることとする。
【００７０】
図８の例において、時刻t+1のフレームの画像と時刻t+2のフレームの画像を用いれば、背景ベクトル１１１に基づいて背景の画像の領域１３１と背景の画像の領域１３２の差分絶対値和が演算されることになる。また、時刻tのフレームの画像と時刻t-1のフレームの画像を用いれば、背景ベクトル１１２に基づいて背景の画像の領域１３３と背景の画像の領域１３４の差分絶対値和が演算されることになる。
【００７１】
ここで、時刻tのフレームの画像と時刻t+1のフレームの画像を用いてDFDを「現在のDFD」と称することとし、時刻t+1のフレームの画像と時刻t+2のフレームの画像を用いたDFDを「未来のDFD」と称することとする。また、時刻tのフレームの画像と時刻t-1のフレームの画像を用いたDFDは「過去のDFD」と称することとする。
【００７２】
すなわち、ＵＣ領域の画素は、背景ベクトルに基づいて未来のDFDを演算すると、そのDFDの値は小さくなるはずである。上述したように、背景の画像の領域同士の差分絶対値和が演算されるからである。また、Ｃ領域の画素は、背景ベクトルに基づいて過去のDFDを演算すると、そのDFDの値は小さくなるはずである。上述したように、背景の画像の領域同士の差分絶対値和が演算されるからである。
【００７３】
また、Ｃ領域またはＵＣ領域では、それぞれの画素に割り付けられた補償割り付けベクトルが、その画素の動きを適切に反映している可能性は少ない。このため、補償割り付けベクトルに基づいてDFDを演算しても、そのDFDの値は小さくならないはずである。
【００７４】
図９は、図８と同様に、オブジェクト１２１が表示される動画像の例を示しており、同図の例では、Ｃ領域の画素１０１に補償割り付けベクトル１１３が割り付けられており、ＵＣ領域の画素１０２に補償割り付けベクトル１１４が割り付けられている。
【００７５】
図９の例では、時刻tのフレームの画像と時刻t+1のフレームの画像を用い、補償割り付けベクトル１１３に基づいて前景および背景の画像の領域１４１と背景の画像の領域１４２の差分絶対値和が演算され、補償割り付けベクトル１１４に基づいて前景および背景の画像の領域１４３と背景の画像の領域１４４の差分絶対値和が演算されることになる。
【００７６】
このように、Ｃ領域またはＵＣ領域では、補償割り付けベクトルに基づいてDFDを演算しても、そのDFDの値が小さくなる可能性は低い。
【００７７】
本発明では、上述したように、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFD、並びに補償割り付けベクトルに基づくDFDの、４つのDFDを演算し、それぞれの大小を比較することにより注目画素の領域を判定する。
【００７８】
すなわち、上述した４つのDFDのうち、過去のDFDが最小であった場合、注目画素は、Ｃ領域の画素であると判定される。
【００７９】
また、上述した４つの評価値のうち、未来のDFDが最小であった場合、注目画素は、UＣ領域の画素であると判定される。
【００８０】
さらに、上述した４つの評価値のうち、現在のDFDが最小であった場合、または補償割り付けベクトルのDFDが最小であった場合、注目画素の領域は、通常領域であると判定される。
【００８１】
ただし、所定の場合には、このような方式では、注目画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかを判定できない。例えば、図１０に示されるような場合を考える。
【００８２】
図１０は、オブジェクト１２２が表示される動画像の例を示しており、時刻t-1乃至時刻t+2の４つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト１２２は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト１２２の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。図１０の場合、図８の場合よりも、背景の動きが大きく、また、前景であるオブジェクトの面積が小さい。
【００８３】
図１０に示される例では、UC領域の画素１０３に、背景ベクトル１１５を割り当てても、未来のDFDが最小になるとは限らない。背景の動きが大きいため、背景ベクトル１１５が前景（オブジェクト１２２）を貫いてしまうからである。従って、画素１０３についての未来のDFDは、背景の画像の領域１５２と背景の画像の領域１５３との差分絶対値和となり、DFDが小さくなる可能性が高いが、過去のDFDも、背景の画像の領域１５１と背景の画像の領域１５４との差分絶対値和となり、DFDが小さくなる可能性が高い。同様に、現在のDFDも、背景の画像の領域１５１と背景の画像の領域１５２との差分絶対値和となり、DFDが小さくなる可能性が高い。
【００８４】
また、図１０に示される例では、C領域の画素１０４に、背景ベクトル１１６を割り当てても、過去のDFDが最小になるとは限らない。背景の動きが大きいため、背景ベクトル１１６が前景（オブジェクト１２２）を貫いてしまうからである。従って、画素１０４についての過去のDFDは、背景の画像の領域１６１と背景の画像の領域１６４との差分絶対値和となり、DFDが小さくなる可能性が高いが、未来のDFDも、背景の画像の領域１６２と背景の画像の領域１６３との差分絶対値和となり、DFDが小さくなる可能性が高い。同様に、現在のDFDも、背景の画像の領域１６１と背景の画像の領域１６２との差分絶対値和となり、DFDが小さくなる可能性が高い。
【００８５】
このように、現在のDFD、過去のDFD、未来のDFDが、全て小さい値である場合、その注目画素の領域の判定結果は信頼性が低いと考えられる。そこで、現在のDFD、過去のDFD、未来のDFDのそれぞれを、予め設定された閾値と比較し、現在のDFD、過去のDFD、未来のDFDのそれぞれが、閾値より小さい場合、注目画素は、通常領域と判定されるようにする。
【００８６】
以上のようにして、内挿フレームの注目画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかが判定される。
【００８７】
上述したように、Ｃ領域とUC領域においては、式（１）を参照して上述したように、２つのフレームの画素を用いた線形補間により内挿フレームの画素値を演算することは、適切とはいえないので、本発明では、Ｃ領域とUC領域においては、式（１）を参照して上述した方式とは異なる方式で内挿フレームの画素を生成する。次に、Ｃ領域とUC領域における内挿フレームの画素の生成の方式について説明する。
【００８８】
図１１は、オブジェクト２２１が表示される動画像の例を示しており、時刻tのフレームおよび時刻t+1のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト２２１は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト２２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
【００８９】
上述したように、UC領域の画素２０１は、過去のフレーム（時間的に前のフレーム）においては、対応する画素がないので、UC領域の画素生成の際に過去のフレームの画素を用いた線形補間を行うと、本来生成されるべき画素とは異なった画素が生成されてしまう。すなわち、画素２０１の画素値の演算において用いるべき画素は、時刻t+1のフレームの画素２０３のみである。画素２０３は、背景の動きを表す動きベクトル２１１により画素２０１と対応付けられることになる。
【００９０】
また、C領域の画素２０２は、未来のフレーム（時間的に後のフレーム）においては、対応する画素がないので、C領域の画素生成の際に未来のフレームの画素を用いた線形補間を行うと、本来生成されるべき画素とは異なった画素が生成されてしまう。すなわち、画素２０１の画素値の演算において用いるべき画素は、時刻tのフレームの画素２０４のみである。画素２０４は、背景の動きを表す動きベクトル２１２により画素２０２と対応付けられることになる。
【００９１】
このように、Ｃ領域とUC領域においては、式（１）を参照して上述したように、時刻tおよび時刻t+1の２つのフレームの画素を用いた線形補間（適宜、両側補間と称する）により内挿フレームの画素値を演算するのではなく、時刻tのフレームまたは時刻t+1のフレームのうちの１つのフレームの画素を用いて補間（適宜、片側補間と称する）するようにすれば、適切に画素値を演算することができる。片側補間の場合、例えば、画素２０１の画素値は、画素２０３の画素値と同じ値とされ、例えば、画素２０２の画素値は、画素２０４の画素値と同じ値とされる。
【００９２】
しかしながら、正確に背景の動きを表す動きベクトル２１１または動きベクトル２１２を抽出できる保証はない。Ｃ領域とUC領域においては、もともと動きベクトルが割り付けられていないので、何らかの動きベクトルを選択して補償する必要がある。このとき、正確に背景の動きを表す動きベクトル２１１または動きベクトル２１２を抽出できれば、上述した片側補間により適切な画素値を得ることができるが、例えば、背景の動きを表す動きベクトルとして、動きベクトル２１３または動きベクトル２１４が抽出されてしまった場合、上述した片側補間により適切な画素値が得られる可能性は低くなる。
【００９３】
また、注目画素の領域が誤って判定された場合、やはり上述した片側補間により適切な画素値が得られる可能性は低くなる。例えば、通常領域の画素、またはＵＣ領域の画素が誤って、Ｃ領域の画素と判定された場合、仮に正確に背景の動きを表す動きベクトルを抽出できたとしても、片側補間により注目画素の画素値を演算すると適切な画素値を得ることはできない。
【００９４】
一方、Ｃ領域とUC領域の画素に割り付けられた補償割り付けベクトルを用いた片側補間について考える。図１２は、図１１と同様にオブジェクト２２１が表示される動画像の例を示している。同図の例において、画素２３１は、ＵＣ領域の画素とし、画素２３３は、Ｃ領域の画素とする。
【００９５】
いま、画素２３１に補償割り付けベクトル２４１が割り付けられているものとする。補償割り付けベクトル２４１は、例えば、画素２３１の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。いまの場合、補償割り付けベクトル２４１は、画素２３１の動きを適切に反映してない。
【００９６】
画素２３１について、補償割り付けベクトル２４１により対応付けられる時刻t+1のフレームの画素は、オブジェクト２２１の画像の一部を構成する画素２３２であり、上述したように片側補間すると、画素２３１の画素値は、画素２３２の画素値と同じ値とされてしまい、内挿フレームの画像が劣化する。
【００９７】
同様に、画素２３３に補償割り付けベクトル２４２が割り付けられているものとする。補償割り付けベクトル２４２は、例えば、画素２３２の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。いまの場合、補償割り付けベクトル２４２は、画素２３２の動きを適切に反映してない。
【００９８】
画素２３２について、補償割り付けベクトル２４２により対応付けられる時刻tのフレームの画素は、オブジェクト２２１の画像の一部を構成する画素２３４であり、上述したように片側補間すると、画素２３２の画素値は、画素２３４の画素値と同じ値とされてしまい、内挿フレームの画像が劣化する。
【００９９】
しかしながら、注目画素の領域が誤って判定された場合、補償割り付けベクトルを用いた片側補間により適切な画素値が得られる可能性は高くなる。
【０１００】
図１２において、画素２３５は、本来は通常領域（オブジェクト２２１の一部）の画素であるが、誤ってＵＣ領域の画素と判定されたものとし、画素２３７は、本来は通常領域の画素であるが、誤ってＣ領域の画素と判定されたものとする。なお、多くの場合、通常領域の画素には、補償割り付けを行わなくても予め動きベクトルが割り付けられるのであるが、ここでは、画素２３５と画素２３７には、ブロックマッチング法、勾配法などにより検出された動きベクトルが割り付けられておらず、動きベクトルが補償割り付けされたものとして説明する。
【０１０１】
いま、画素２３５に補償割り付けベクトル２４３が割り付けられているものとする。補償割り付けベクトル２４３は、例えば、画素２３５の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。いまの場合、補償割り付けベクトル２４３は、画素２３１の動きを適切に反映している。
【０１０２】
画素２３５について、補償割り付けベクトル２４３により対応付けられる時刻t+1のフレームの画素は、オブジェクト２２１の画像の一部を構成する画素２３６であり、上述したように片側補間すると、画素２３５の画素値は、画素２３６の画素値と同じ値とされる。この場合、内挿フレームの画像は劣化しない。
【０１０３】
同様に、画素２３７に補償割り付けベクトル２４４が割り付けられているものとする。補償割り付けベクトル２４４は、例えば、画素２３７の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。いまの場合、補償割り付けベクトル２４４は、画素２３７の動きを適切に反映している。
【０１０４】
画素２３７について、補償割り付けベクトル２４２により対応付けられる時刻tのフレームの画素は、オブジェクト２２１の画像の一部を構成する画素２３８であり、上述したように片側補間すると、画素２３７の画素値は、画素２３８の画素値と同じ値とされる。この場合、内挿フレームの画像は劣化しない。
【０１０５】
図１１と図１２を参照して上述したように、Ｃ領域とUC領域の画素の画素値の演算は、背景の動きを正確に表す動きベクトルを抽出し、その動きベクトルを用いて片側補間により画素値を演算することが理想的であると言える。この場合、Ｃ領域とUC領域の画素に、従来の方式により補償された補償割り付けベクトルとは別に、背景の動きを正確に表す動きベクトルを割り付けて補償する必要がある。
【０１０６】
しかしながら、背景の動きを正確に表す動きベクトルを抽出できるという確証はなく、また、注目画素の領域が誤判定されることもあるという技術的背景を考慮すると、内挿フレームの生成にあたって、Ｃ領域とUC領域の画素に、背景の動きを表す動きベクトルを割り付けて補償する方式を採用することは得策とは言えない。
【０１０７】
そこで、本発明においては、内挿フレームのＣ領域とUC領域の画素について、所定の条件を満たす場合にのみ、補償割り付けベクトルを用いて片側補間により画素値の演算を行うこととする。図１３を参照して、この所定の条件を満たす場合について説明する。
【０１０８】
図１３は、オブジェクト２２２が表示される動画像の例を示しており、時刻t-1乃至時刻t+2の４つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト２２２は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト２２２の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
【０１０９】
同図の例において、画素２５１は、内挿フレームのＵＣ領域の画素であり、かつＵＣ領域の画素であると判定されたものとし、画素２５３は、内挿フレームのＣ領域の画素であり、かつＣ領域の画素であると判定されたものとする。
【０１１０】
いま、画素２５１に補償割り付けベクトル２７１が割り付けられているものとする。補償割り付けベクトル２７１は、例えば、画素２５１の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。また、画素２５２に補償割り付けベクトル２７２が割り付けられているものとする。補償割り付けベクトル２７２は、例えば、画素２５２の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。
【０１１１】
本発明においては、ＵＣ領域の画素２５１の画素値の演算に先立って、補償割り付けベクトル２７１に基づく、現在のDFD、過去のDFD、および未来のDFDを演算することとする。なお、いまの場合の現在のDFDとしては、時刻tのフレームの領域２２２ａと時刻t+1のフレームの領域２６１の差分絶対値和が演算されることになる。また、過去のDFDとしては、時刻tのフレームの領域２２２ａと時刻t-1のフレームの領域２２２ｂの差分絶対値和が演算されることになる。さらに、未来のDFDとしては、時刻t+1のフレームの領域２６１と時刻t+2のフレームの領域２６２の差分絶対値和が演算されることになる。
【０１１２】
そして、補償割り付けベクトル２７１に基づいて演算された現在のDFD、過去のDFD、および未来のDFDのうち、未来のDFDが最小である場合、補償割り付けベクトル２７１を用いた片側補間により、画素２５１の画素値が演算される。より具体的には、画素２５１は、ＵＣ領域の画素であると判定されたので、時刻t+1のフレームにおいて、補償割り付けベクトル２７１により画素２５１と対応付けられた画素の画素値が、注目画素である画素２５１の画素値とされる。
【０１１３】
補償割り付けベクトル２７１に基づいて演算された現在のDFD、過去のDFD、および未来のDFDのうち、未来のDFDが最小ではない場合は、補償割り付けベクトル２７１を用いた両側補間により、画素２５１の画素値が演算される。
【０１１４】
同様に、本発明においては、Ｃ領域の画素２５２の画素値の演算に先立って、補償割り付けベクトル２７２に基づく、現在のDFD、過去のDFD、および未来のDFDを演算することとする。なお、いまの場合の現在のDFDとしては、時刻tのフレームの領域２６３と時刻t+1のフレームの領域２２２ｃの差分絶対値和が演算されることになる。また、過去のDFDとしては、時刻tのフレームの領域２６３と時刻t-1のフレームの領域２６４の差分絶対値和が演算されることになる。さらに、未来のDFDとしては、時刻t+1のフレームの領域２２２ｃと時刻t+2のフレームの領域２２２ｄの差分絶対値和が演算されることになる。
【０１１５】
そして、補償割り付けベクトル２７２に基づいて演算された現在のDFD、過去のDFD、および未来のDFDのうち、過去のDFDが最小である場合、補償割り付けベクトル２７２を用いた片側補間により、画素２５２の画素値が演算される。より具体的には、画素２５２は、Ｃ領域の画素であると判定されたので、時刻tのフレームにおいて、補償割り付けベクトル２７２により画素２５２と対応付けられた画素の画素値が、注目画素である画素２５２の画素値とされる。
【０１１６】
補償割り付けベクトル２７２に基づいて演算された現在のDFD、過去のDFD、および未来のDFDのうち、過去のDFDが最小ではない場合は、補償割り付けベクトル２７２を用いた両側補間により、画素２５２の画素値が演算される。
【０１１７】
図１４は、本発明の一実施の形態に係る画像処理装置３００の構成例を示すブロック図である。
【０１１８】
この画像処理装置３００は、例えば、時間的に連続する動画像である入力画像から内挿フレームの画像を生成して出力するようになされている。図１４に示されるように、画像処理装置３００は、ベクトル検出部３０１、ベクトル割り付け部３０２、補償割り付け部３２１、背景ベクトル抽出部３２２、評価値演算部３２３、Ｃ／ＵＣ領域判定部３２４、補間方式決定部３２５および内挿フレーム生成部３３１により構成されている。
【０１１９】
ベクトル検出部３０１は、入力画像の各画素において、例えば、ブロックマッチング法、勾配法などにより動きベクトルを検出する。
【０１２０】
ベクトル割り付け部３０２は、ベクトル検出部３０１により検出された動きベクトルを、内挿フレームの画像の各画素に付加する。
【０１２１】
補償割り付け部３２１は、内挿フレームの画像の画素のうち、ベクトル割り付け部３０２によって動きベクトルが割り付けられなかった画素について、動きベクトルの補償（割り付け）を行う。補償割り付け部３２１は、例えば、動きベクトルを補償すべき注目画素の周辺の画素に割り付けられている動きベクトルのそれぞれについてDFDを演算し、DFDの値が最も小さい動きベクトルを、補償割り付けベクトルとして注目画素に割り付けるようになされている。
【０１２２】
背景ベクトル抽出部３２２は、次のようにして背景ベクトルの候補を抽出する。
【０１２３】
ここで、背景ベクトルは、注目画素を含む内挿フレームの背景の画像の動きベクトルとされる。また、通常、動画像において、大きく移動するオブジェクトは背景に対して小さく表示されている場合が多いので、当該内挿フレーム全体の中で背景の画像が占める割合が大きいものと推定できる。従って、背景ベクトルは、当該フレームの画像の支配的な動きを表す動きベクトルと言い換えることもできる。
【０１２４】
画像の支配的な動きを表す動きベクトルである背景ベクトルは、例えば、注目画素を含む内挿フレームの全ての画素に付加されている動きベクトル（補償割り付けベクトルも含む）のヒストグラムに基づいて得ることができる。例えば、各画素に付加されている動きベクトルを、それぞれ（x,y）の２次元のベクトルとして、動きベクトルのヒストグラムを算出し、そのヒストグラムの中で、例えば度数が大きい順に所定の個数の動きベクトルを背景ベクトルとして抽出する。このようにすることで、当該内挿フレームの各画素に付加されている動きベクトルのうち、多くの画素に付加されているものが背景ベクトルとして抽出される。
【０１２５】
従って、背景ベクトル抽出部３２２は、画像の支配的な動きを表す動きベクトルが画像の背景の動きを表す動きベクトルであると仮定して、背景ベクトルを抽出することになる。
【０１２６】
なお、ヒストグラムの算出においては、動きベクトルにより特定される始点または終点の画素が低輝度であり、かつ周辺の画素との輝度値の差分が小さい（平坦な）ものである場合、その動きベクトルは、ヒストグラムに積算されないようにすることが好ましい。このような動きベクトルは、信頼性が低いと考えられるからである。
【０１２７】
また、背景ベクトルの抽出においては、ヒストグラムに対して微分や積分を適用した結果が大きい順に抽出してもよい。ヒストグラムに対して微分を適用した結果に基づいて背景ベクトルを抽出するようにすれば、例えば、フレーム内の特定の領域の画素の動きベクトルが背景ベクトルとして集中的に抽出されてしまうことが抑止される。また、ヒストグラムに対して積分を適用した結果に基づいて背景ベクトルを抽出するようにすれば、例えば、ヒストグラムの特異点である動きベクトルが背景ベクトルとして抽出されてしまうことが抑止される。
【０１２８】
ここでは、１つの内挿フレームの画面全体の支配的な動きとして背景ベクトルが抽出されると説明したが、例えば、内挿フレームの画像を複数のブロックに区切り、ブロック毎に支配的な動きを抽出し、それぞれのブロックに対応する背景ベクトルが抽出されるようにしてもよい。
【０１２９】
評価値算出部３２３は、図９を参照して上述したように、背景ベクトル抽出部３２２により抽出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを算出し、補償割り付け部３２１により割り付けられた補償割り付けベクトルに基づくDFDを算出する。
【０１３０】
ここでは、評価値算出部３２３が、背景ベクトル、補償割り付けベクトルなどの動きベクトルの評価値としてDFDを算出する場合の例について説明したが、DFDとは異なる評価値が算出されるようにしても構わない。
【０１３１】
Ｃ／ＵＣ領域判定部３２４は、評価値算出部３２３による、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFD、並びに補償割り付けベクトルに基づくDFDの４つのDFDの大小を比較することにより、注目画素がＣ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかを判定する。
【０１３２】
補間方式決定部３２５は、図１３を参照して上述したように、Ｃ／ＵＣ領域判定部３２４によりＣ領域またはＵＣ領域の画素と判定された注目画素について、補償割り付け部３２１により割り付けられた補償割り付けベクトルに基づく現在のDFD、過去のＤＦＤ、および未来のＤＦＤを算出し、３つのDFDの大小を比較することにより、注目画素の画素値を両側補間により演算するか、片側補間により演算するかを決定する。なお、注目画素の画素値を片側補間により演算すべきと決定される場合には、Ｃ／ＵＣ領域判定部３２４の判定結果に基づいて、時刻tのフレームまたは時刻t+1のフレームのいずれのフレームからの片側補間であるかも合わせて決定される。
【０１３３】
内挿フレーム生成部３３１は、補間方式決定部３２５が決定した方式に基づいて、内挿フレームの注目画素の画素値を演算する。これにより、内挿フレームの各画素が生成されて内挿フレームの画像が出力されることになる。
【０１３４】
次に、図１５のフローチャートを参照して、本発明の画像処理装置３００による内挿フレーム生成処理について説明する。
【０１３５】
ステップＳ１０１において、ベクトル検出部３０１は、入力画像の各画素において、例えば、ブロックマッチング法、勾配法などにより動きベクトルを検出する。
【０１３６】
ステップＳ１０２において、ベクトル割り付け部３０２は、ベクトル検出部３０１により検出された動きベクトルを、内挿フレームの各画素に割り付ける。
【０１３７】
ステップＳ１０３において、補償割り付け部３２１は、内挿フレームの画像の画素のうち、ベクトル割り付け部３０２によって動きベクトルが割り付けられなかった画素について、動きベクトルの補償（割り付け）を行う。これにより、例えば、Ｃ領域の画素、ＵＣ領域の画素などに補償割り付けベクトルが割り付けられることになる。
【０１３８】
ステップＳ１０４において、背景ベクトル抽出部３２２は、図１６を参照して後述する背景ベクトル抽出処理を実行する。
【０１３９】
ここで、図１６のフローチャートを参照して、図１５のステップＳ１０４の背景ベクトル抽出処理の詳細について説明する。
【０１４０】
ステップＳ１２１において、背景ベクトル抽出部３２２は、フレームの各画素に付加されている動きベクトルを、例えば、それぞれ（x,y）の２次元のベクトルとして、動きベクトルのヒストグラムを算出する。
【０１４１】
ステップＳ１２２において、背景ベクトル抽出部３２２は、ステップＳ１２１の処理で算出されたヒストグラムの中で、例えば度数が大きい順に所定の個数の動きベクトルを背景ベクトルとして抽出する。
【０１４２】
このようにして、背景ベクトルが抽出される。
【０１４３】
なお、上述したように、ステップＳ１２２の処理では、ヒストグラムに対して微分や積分を適用した結果が大きい順に背景ベクトルを抽出してもよい。
【０１４４】
また、例えば、フレームの画像を複数のブロックに区切り、ブロック毎に支配的な動きを抽出し、それぞれのブロックに対応する背景ベクトルが抽出されるようにしてもよい。
【０１４５】
図１５に戻って、ステップＳ１０４の処理の後、ステップＳ１０５において、評価値算出部３２３と、Ｃ／ＵＣ領域判定部３２４は、図１７を参照して後述する領域判定処理を実行する。
【０１４６】
ここで、図１７のフローチャートを参照して、図１５のステップＳ１０５の領域判定処理の詳細について説明する。なお、この処理は、内挿フレームの画像の中で、ステップＳ１０３の処理で補償割り付けの対象となった画素のそれぞれが、注目画素として設定され、個々の注目画素について実行される。
【０１４７】
ステップＳ１４１において、評価値算出部３２３は、図９を参照して上述したように、補償割り付け部３２１により割り付けられた補償割り付けベクトルに基づくDFDを算出する。
【０１４８】
ステップＳ１４２において、評価値算出部３２３は、図９を参照して上述したように、背景ベクトル抽出部３２２により抽出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを算出する。
【０１４９】
ステップＳ１４３において、Ｃ／ＵＣ領域判定部３２４は、図１８を参照して後述する比較判定処理を実行する。ここで、図１８のフローチャートを参照して、図１７のステップＳ１４３の比較判定処理の詳細について説明する。
【０１５０】
ステップＳ１６１において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを比較する。
【０１５１】
ステップＳ１６２において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDが全て予め設定された閾値より小さいか否かを判定する。
【０１５２】
ステップＳ１６２において、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDが全て閾値より小さいと判定された場合、処理は、ステップＳ１６４に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、通常領域の画素であると判定する。このような場合、図１０を参照して上述したように、その注目画素の領域の判定結果は信頼性が低いと考えられるからである。
【０１５３】
ステップＳ１６２において、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、少なくとも１つのDFDが閾値より小さくないと判定された場合、処理は、ステップＳ１６３に進む。
【０１５４】
ステップＳ１６３において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１６１の比較の結果、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、補償割り付けベクトルに基づくDFDが最小であったか否かを判定する。
【０１５５】
ステップＳ１６３において、補償割り付けベクトルに基づくDFDが最小であったと判定された場合、処理は、ステップＳ１６４に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、通常領域の画素であると判定する。
【０１５６】
ステップＳ１６３において、補償割り付けベクトルに基づくDFDが最小ではなかったと判定された場合、処理は、ステップＳ１６５に進む。
【０１５７】
ステップＳ１６５において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１６１の比較の結果、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、背景ベクトルに基づく過去のDFDが最小であったか否かを判定する。
【０１５８】
ステップＳ１６５において、背景ベクトルに基づく過去のDFDが最小であったと判定された場合、処理は、ステップＳ１６６に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、Ｃ領域の画素であると判定する。
【０１５９】
ステップＳ１６５において、背景ベクトルに基づく過去のDFDが最小ではなかったと判定された場合、処理は、ステップＳ１６７に進む。
【０１６０】
ステップＳ１６７において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１６１の比較の結果、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、背景ベクトルに基づく現在のDFDが最小であったか否かを判定する。
【０１６１】
ステップＳ１６７において、背景ベクトルに基づく現在のDFDが最小であったと判定された場合、処理は、ステップＳ１６８に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、通常領域の画素であると判定する。
【０１６２】
ステップＳ１６７において、背景ベクトルに基づく現在のDFDが最小ではなかったと判定された場合、処理は、ステップＳ１６９に進む。
【０１６３】
ステップＳ１６９において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１６１の比較の結果、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、背景ベクトルに基づく未来のDFDが最小であったか否かを判定する。
【０１６４】
ステップＳ１６９において、背景ベクトルに基づく未来のDFDが最小であったと判定された場合、処理は、ステップＳ１７０に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、ＵＣ領域の画素であると判定する。
【０１６５】
ステップＳ１６９において、背景ベクトルに基づく未来のDFDが最小ではなかったと判定された場合、処理は、ステップＳ１７１に進み、エラー処理が実行されることになる。
なお、ステップＳ１６９とステップＳ１７１の処理は、省略して、ステップＳ１６７において、現在のDFDが最小でなかったと判定された場合、処理は、ステップＳ１７０に進み、注目画素の領域は、ＵＣ領域であると判定されるようにしてもよい。
【０１６６】
このようにして、注目画素の領域が判定される。なお、ステップＳ１０３の処理で補償割付の対象とならなかった画素については、全て通常領域の画素とされるものとする。これにより、内挿フレームの全ての画素の領域が特定され、以降の処理においては、その特定結果に基づいて注目画素の領域が判定される。
【０１６７】
比較判定処理の終了に伴って、図１７の領域判定処理も終了され、処理は、図１５のステップＳ１０６に進むことになる。ステップＳ１０６において、補間方式決定部３２５は、図１９を参照して後述する画素生成方式決定処理を実行する。
【０１６８】
ここで、図１９のフローチャートを参照して、図１５のステップＳ１０６の画素生成方式決定処理の詳細について説明する。この処理は、内挿フレームの画像を構成する画素のそれぞれが、注目画素として設定され、個々の注目画素について実行される。
【０１６９】
ステップＳ１９１において、補間方式決定部３２５は、注目画素の領域を判定する。この判定は、ステップＳ１４３の処理結果に基づいて行われる。ステップＳ１９１において、注目画素がＣ領域の画素であると判定された場合、処理は、ステップＳ１９２に進む。
【０１７０】
ステップＳ１９２において、補間方式決定部３２５は、例えば、図１３を参照して上述したように、注目画素の補償割り付けベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを演算する。
【０１７１】
ステップＳ１９３において、補間方式決定部３２５は、ステップＳ１９２の処理で演算された３つのDFDのうち、過去のDFDが最小であるか否かを判定し、過去のＤＦＤが最小であると判定された場合、処理は、ステップＳ１９４に進む。
【０１７２】
ステップＳ１９４において、補間方式決定部３２５は、注目画素については、時刻ｔのフレームからの片側補間により画素値を求めるものとして、注目画素の画素生成方式を決定する。
【０１７３】
一方、ステップＳ１９１において、注目画素がＵＣ領域の画素であると判定された場合、処理は、ステップＳ１９５に進む。
【０１７４】
ステップＳ１９５において、補間方式決定部３２５は、例えば、図１３を参照して上述したように、注目画素の補償割り付けベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを演算する。
【０１７５】
ステップＳ１９６において、補間方式決定部３２５は、ステップＳ１９５の処理で演算された３つのDFDのうち、未来のDFDが最小であるか否かを判定し、未来のＤＦＤが最小であると判定された場合、処理は、ステップＳ１９７に進む。
【０１７６】
ステップＳ１９７において、補間方式決定部３２５は、注目画素については、時刻ｔ+1のフレームからの片側補間により画素値を求めるものとして、注目画素の画素生成方式を決定する。
【０１７７】
ステップＳ１９１において、注目画素が通常領域の画素であると判定された場合、処理は、ステップＳ１９８に進む。また、ステップＳ１９３において、過去のＤＦＤが最小ではないと判定された場合、および、ステップＳ１９６において、未来のＤＦＤが最小ではないと判定された場合、やはり処理は、ステップＳ１９８に進む。
【０１７８】
ステップＳ１９８において、補間方式決定部３２５は、注目画素については、時刻ｔのフレームおよび時刻ｔ+1のフレームからの両側補間により画素値を求めるものとして、注目画素の画素生成方式を決定する。
【０１７９】
このようにして、内挿フレームの画像を構成する画素のそれぞれの画素生成方式が決定される。
【０１８０】
図１５に戻って、ステップＳ１０６の処理の後、処理は、ステップＳ１０７に進み、内挿フレーム生成部３３１は、注目画素の画素値を演算することにより、内挿フレームの画素を生成する。このとき、図１９のステップＳ１９４、ステップＳ１９７、またはステップＳ１９８の処理で決定された方式に従って画素値が演算されることになる。
【０１８１】
このようにして、内挿フレームの画像が生成される。
【０１８２】
このようにすることで、例えば、内挿フレームにおいて動きベクトルが通過しない領域である、Ｃ領域またはUC領域の画素についても画像の劣化を抑えた内挿フレームの生成が可能となる。すなわち、内挿フレームの画像のどの領域においても、適切に画素を生成することができる。
【０１８３】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２０に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１８４】
図２０において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８５】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１８６】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８７】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１８８】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１８９】
なお、この記録媒体は、図２０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１９０】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１９１】
【図１】内挿フレームについて説明する図である。
【図２】動画像の例を示す図である。
【図３】従来の動きベクトルの検出について説明する図である。
【図４】動きベクトルが通過する領域を説明する図である。
【図５】動きベクトルが通過しない領域を説明する図である。
【図６】Ｃ領域とUC領域を説明する図である。
【図７】従来の内挿フレーム生成処理を説明するフローチャートである。
【図８】Ｃ領域またはＵＣ領域でのDFDの演算について説明する図である。
【図９】DFDに基づく領域の判定について説明する図である。
【図１０】DFDに基づく領域の判定について説明する図である。
【図１１】内挿フレームのＣ領域とUC領域の画素値の演算について説明する図である。
【図１２】内挿フレームのＣ領域とUC領域の画素値の演算について説明する図である。
【図１３】内挿フレームのＣ領域とUC領域の画素値の演算について説明する図である。
【図１４】本発明を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。
【図１５】本発明の画像処理装置による内挿フレーム生成処理を説明するフローチャートである。
【図１６】背景ベクトル抽出処理を説明するフローチャートである。
【図１７】領域判定処理を説明するフローチャートである。
【図１８】比較判定処理を説明するフローチャートである。
【図１９】画素生成方式決定処理を説明するフローチャートである。
【図２０】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１９２】
３００ 画像処理装置， ３０１ ベクトル検出部， ３０２ ベクトル割り付け部， ３２１ 補償割り付け部， ３３２ 背景ベクトル抽出部， ３２３ 評価値算出部， ３２４ C/UC領域判定部， ３２５補間方式決定部， ３３１ 内挿フレーム生成部， ７０１ CPU， ７１１ リムーバブルメディア
【技術分野】
【０００１】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、内挿フレームの画像のどの領域においても、適切に画素を生成することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来より、テレビジョン信号の動きを検出する動きベクトル検出回路からの複数の動きベクトルデータの平均動きベクトルデータに基づいて、フレームメモリから読み出されたテレビジョン信号にフレーム内挿処理を施すことが可能である。
【０００３】
内挿フレームの生成は、例えば、次のようにして行われる。動きベクトルvで対応づけられる2つのフレームである、時刻tのフレーム、および時刻t+1のフレーム上の交点をそれぞれ点q、点rとする。ここで、時刻tのフレーム、および時刻t+1のフレームの間に新たなフレームであって時刻t+kのフレーム上の画素pの値を、点q、点rから時間位置の逆比(1-k)：kにより次式のように線形補間してFt+k(p)を求める。
【０００４】
Ft+k(p) = (1-k)Ft(q) + kFt+1(r)
【０００５】
このようにして画素値が演算された画素により構成されるフレームが内挿フレームになる。
【０００６】
しかし、例えば、２つの動物体として背景と前景が違う動きを持っている動画像において内挿フレームを生成する場合、時刻t0と時刻t1との間では、画像の領域によって、異なる方向の動きベクトルが生成されることになるため、内挿フレーム生成を行う時刻において動きベクトルが通過しない領域が生じてしまい、内挿フレームを生成することができない。
【０００７】
このような場合、従来は、内挿フレームを生成するために、例えば、周辺の動きベクトル等を利用したベクトル補償が行われていた。このとき、2フレーム間の差分絶対値和(DFD: Displaced Frame Difference)が最小となるように、動きベクトルの割り付けが行われる。
【０００８】
差分絶対値和DFDは、例えば、動き量の評価値として用いられ、注目するベクトル量分だけずらしたブロック同士で求められる。一般的にはDFDが小さいほどフレーム間のブロックの波形が一致しており、動きベクトルの信頼度が高いと判定でき、例えば、複数の候補から確からしいベクトルを選びだす場合などに利用される。
【０００９】
また、内挿フレームの破綻の見え方を緩和し主観的な画質を改善するために、内挿フレーム生成にて求めた画素値を、大きさ0のベクトル(すなわち(0，0)のベクトル。以降0ベクトルと称する)により時間補間を行った画素値とある割合で混合することが提案されている（例えば、特許文献１参照）。これにより、画像的な破綻を目立たなくすることができる。
【００１０】
【特許文献１】特開２００７−７４５８８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、背景と前景が違う動きを持っている動画像においては、背景と前景との境界付近の領域では、動きベクトルが不安定となり、正しい動きベクトルの候補が得られにくい。
【００１２】
また、時間の経過に伴って、前景により隠れる背景の領域、または前景の後から現れる背景の領域においては、正しい動きベクトルの候補が得られたとしても時刻t0、時刻t1間のDFDでは、正しく評価できない。
【００１３】
すなわち、上述した領域は、時刻t0と時刻t1において対応する領域が存在しないので、結果として背景のテクスチャと前景のテクスチャとの差分をDFDにより演算することになってしまう。
【００１４】
このような領域では、正しい動きベクトルを選択することが難しく、また、内挿フレームの画素を適切に生成することが難しい。そのため、例えば、内挿フレームの画像に本来はないエッジが生じて画像として破綻することがある。さらに、これらの破綻が目立って発生すると、画像を観察するユーザに、画質が劣化していると認識されてしまう。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、内挿フレームの画像のどの領域においても、適切に画素を生成することができるようにするものである。
【課題を解決するための手段】
【００１６】
本発明の第１の側面は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段と、前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段と、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定する領域判定手段と、前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定する演算方式決定手段とを備える。
【００１７】
前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出する背景ベクトル抽出手段をさらに備え、前記領域判定手段は、注目画素について、前記背景ベクトルの信頼性を評価するための評価値を複数演算し、前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を演算し、前記演算された評価値のそれぞれの大小を比較することにより、前記注目画素が含まれる領域を判定するようにすることができる。
【００１８】
前記領域判定手段は、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された前記第２のフレームの画素と前記第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記補償ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して前記注目画素に割り付けられた動きベクトルのDFDとし、前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDを前記評価値として、前記注目画素が含まれる領域を判定するようにすることができる。
【００１９】
前記領域判定手段は、前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDのうち、前記過去のDFDが最小である場合、前記注目画素が含まれる領域は、Ｃ領域であると判定し、前記未来のDFDが最小である場合、前記注目画素が含まれる領域は、UＣ領域であると判定し、前記現在のDFDが最小である場合、または、前記注目画素に割り付けられた動きベクトルのDFDが最小である場合、前記注目画素が含まれる領域は、通常領域であると判定するようにすることができる。
【００２０】
前記演算方式決定手段は、前記注目画素に割り付けられた動きベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレームの画素を特定し、前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値として、現在のDFD、過去のDFD、および未来のDFDをさらに演算するようにすることができる。
【００２１】
演算方式決定手段は、前記注目画素に割り付けられた動きベクトルに基づいて、前記内挿フレームの注目画素に対応する前記第１のフレームの画像の画素値と、前記内挿フレームの注目画素に対応する前記第２のフレームの画像の画素値を特定し、前記領域判定手段により、前記注目画素が前記C領域の画素であると判定され、かつ前記注目画素に割り付けられた動きベクトルの信頼性を評価するための複数の前記評価値のうち、前記過去のDFDが最小である場合、前記特定された前記第１のフレームの画像の画素値を、前記注目画素の画素値とするように、前記注目画素の画素値の演算方式を決定し、前記領域判定手段により、前記注目画素が前記ＵC領域の画素であると判定され、かつ前記注目画素に割り付けられた動きベクトルの信頼性を評価するための複数の前記評価値のうち、前記未来のDFDが最小である場合、前記特定された前記第２のフレームの画像の画素値を、前記注目画素の画素値とするように、前記注目画素の画素値の演算方式を決定し、それ以外の場合、前記特定された前記第１のフレームの画像の画素値と、前記第２のフレームの画像の画素値との線形補間により、前記注目画素の画素値を演算するように、前記注目画素の画素値の演算方式を決定するようにすることができる。
【００２２】
本発明の第１の側面においては、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付け、前記動きベクトルが割り付けられなかった前記内挿フレームの画素について動きベクトルの補償により動きベクトルを割り付け、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定し、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定するステップを含む画像処理方法である。
【００２３】
本発明の第１の側面は、コンピュータを、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段と、前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段と、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定する領域判定手段と、前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定する演算方式決定手段とを備える画像処理装置として機能させるプログラムである。
【００２４】
本発明の第１の側面においては、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルが割り付けられ、前記動きベクトルが割り付けられなかった前記内挿フレームの画素について動きベクトルの補償により動きベクトルが割り付けられ、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかが判定され、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値が複数演算され、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式が決定される。
【発明の効果】
【００２５】
本発明によれば、内挿フレームの画像のどの領域においても、適切に画素を生成することができるようにする。
【発明を実施するための最良の形態】
【００２６】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２７】
本発明の第１の側面の画像処理装置は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段（例えば、図１３のベクトル割り付け部３０２）と、前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段（例えば、図１３の補償割り付け部３２１）と、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定する領域判定手段（例えば、図１０のC/UC領域判定部１２５）と、前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数（例えば、現在のDFD、過去のDFD、未来のDFD）演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定する演算方式決定手段（例えば、図１４の補間方式決定部３２５）とを備える。
【００２８】
前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出する背景ベクトル抽出手段（例えば、図１３の背景ベクトル抽出部３２２）をさらに備え、前記領域判定手段は、注目画素について、前記背景ベクトル（例えば、図９の背景ベクトル１１１）の信頼性を評価するための評価値を複数演算し、前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトル（例えば、図９の補償割り付けベクトル１１３）の信頼性を評価するための評価値を演算し、前記演算された評価値のそれぞれの大小を比較することにより、前記注目画素が含まれる領域を判定するようにすることができる。
【００２９】
前記領域判定手段は、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレーム（例えば、時刻t-1のフレーム）の画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレーム（例えば、時刻t+2のフレーム）の画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された前記第２のフレームの画素と前記第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記補償ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して前記注目画素に割り付けられた動きベクトルのDFDとし、前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDを前記評価値として、前記注目画素が含まれる領域を判定するようにすることができる。
【００３０】
本発明の第１の側面の画像処理方法は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付け（例えば、図１５のステップＳ１０１の処理）、前記動きベクトルが割り付けられなかった前記内挿フレームの画素について動きベクトルの補償により動きベクトルを割り付け（例えば、図１３のステップＳ１０３の処理）、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定し（例えば、図１５のステップＳ１０５の処理）、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数（例えば、現在のDFD、過去のDFD、未来のDFD）演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定する（例えば、図１５のステップＳ１０６の処理）ステップを含む。
【００３１】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３２】
最初に、内挿フレームについて説明する。
【００３３】
時間的に連続するフレームからなる動画像などのデータにおいて、例えば、図1に示されるように、時刻tにおけるフレームの位置qの画素に設定されている動きベクトルvにより、位置qの画素は、時刻t+1におけるフレームにおいて位置ｒの画素に対応づけられる。なお、時刻tにおけるフレームの各画素には、勾配法、ブロックマッチング法などを用いた処理により、予め動きベクトルが付加されているものとする。
【００３４】
例えば、時刻tにおけるフレームと時刻t+1におけるフレームは、時間的に連続しており、本来時刻tのフレームが再生された後、次に再生されるフレームは、時刻t＋1のフレームとなるが、動画像の時間方向の解像度を向上させるために、時刻tと時刻t+1の間に位置する時刻t+kのフレームを生成する。このとき生成される時刻t+kのフレームを内挿フレームと称する。
【００３５】
従来、内挿フレーム（時刻t+kのフレーム）の画素値は、例えば、次のようにして生成されていた。
【００３６】
時刻t+kのフレームの位置pの画素の動きベクトルｖにより対応付けられる時刻tおよび時刻t＋1のフレームの画素の位置は、位置pおよび位置ｒとなる。時刻t＋kのフレームの位置pの画素値Ft+k(p)は、式（１）に示されるように、２つの点q、rから時間位置の逆比(1-k)：kにより線形補間して求められる。なお、時刻tのフレームの位置qの画素値は、Ft(q)で表され、時刻t＋1のフレームの位置rの画素値は、Ft+1(r)で表されるものとする。
【００３７】
Ft+k(p) = (1-k)Ft(q) + kFt+1(r) ・・・(1)
【００３８】
次に、動きベクトルの補償について説明する。
【００３９】
例えば、動画像の各画素には、勾配法、ブロックマッチング法などを用いた処理により、予め動きベクトルを付加することができる。
【００４０】
例えば、図２に示されるように、前景であるオブジェクトが時間の経過に伴って、図中右方向に移動していく場合を考える。図２は、オブジェクト２１が表示される動画像の例を示しており、時刻t-1乃至時刻t2の４つの時刻のフレームの画像を示すものである。ここでは、説明を簡単にするために、フレームの画像を１次元（線状）で表現している。すなわち、図２の縦軸は時間を表し、図２の横軸は画像（画素）の位置を表すことになる。
【００４１】
図２において時間的に最も前の画像である時刻t-1のフレームのオブジェクト２１は、時刻t0のフレームにおいてはやや右方向に移動しており、時刻t1のフレームにおいてはさらに右方向に移動しており、時間的に最も後の画像である時刻t2のフレームにおいてはさらに右方向に移動している。また、同図では表現されていないが、オブジェクト２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。
【００４２】
時刻t0のフレームと時刻t1のフレームの画像に基づいて、勾配法、ブロックマッチング法などを用いた従来の方式による動きベクトルの検出を行うと、図３の矢印で示されるような動きベクトルが検出される。すなわち、オブジェクト２１の画素では、図中右側に向かう動きベクトルが検出され、背景の画素では、図中左側に向かう動きベクトルが検出されることになる。
【００４３】
図３に示されるような動きベクトルに基づいて、時刻t0と時刻t1の間の時刻t+jおよび時刻t+kのフレームを内挿フレームとして生成する場合、内挿フレームの画素に割り付けられる動きベクトルは、図４に示されるようになる。
【００４４】
図４乃至図７は、オブジェクト２１が表示される動画像の例を示しており、時刻t0、時刻t+j、時刻t+k、および時刻t1の４つの時刻のフレームの画像を示すものである。ここで、時刻t+jのフレーム、および時刻t+kのフレームは、内挿フレームとされる。また、ここでも、説明を簡単にするために、フレームの画像を１次元（線状）で表現しており、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。
【００４５】
時刻t+jの内挿フレームの領域３１ａおよび領域３１ｃの画素は、背景の画像を構成する画素なので、図中の矢印で示されるような左方向に向かう動きベクトルが割り付けられる。一方、時刻t+jの内挿フレームの領域３１bの画素は、オブジェクト２１の画像を構成する画素なので、図中の矢印で示されるような右方向に向かう動きベクトルが割り付けられる。
【００４６】
また同様に、時刻t+kの内挿フレームの領域３２ａおよび領域３２ｃの画素は、背景の画像を構成する画素なので、図中の矢印で示されるような左方向に向かう動きベクトルが割り付けられ、時刻t+kの内挿フレームの領域３２bの画素は、オブジェクト２１の画像を構成する画素なので、図中の矢印で示されるような右方向に向かう動きベクトルが割り付けられる。
【００４７】
しかし、図５に示されるように、時刻t+jの内挿フレームの領域３３ａの画素および領域３３ｃの画素には、動きベクトルが割り付けられていない。領域３３ａの画素は、本来背景の画像の画素であるが、時刻t0のフレームの画像において対応する画素がないため、動きベクトルを割り付けることができないのである。また、領域３３ｃの画素は、本来背景の画像の画素であるが、時刻t1のフレームの画像において対応する画素がないため、動きベクトルを割り付けることができないのである。
【００４８】
同様に、時刻t+kの内挿フレームの領域３４ａの画素および領域３４ｃの画素にも、やはり動きベクトルが割り付けられていない。
【００４９】
このように、前景と背景の動きが異なる動画像などの場合、内挿フレームの生成などに用いる動きベクトルを割り付けられない領域が生じることになる。図６に示されるように、領域３３ｃおよび領域３４ｃを含む図中の三角形の領域は、時間の経過に伴って背景の画像が前景（オブジェクト２１）の画像に覆われて見えなくなっていく領域なので、Ｃ（Covered）領域と称することとする。また、領域３３ａおよび領域３４ａを含む図中の逆三角形の領域は、時間の経過に伴って前景（オブジェクト２１）の画像に覆われていた背景の画像が見えてくる領域なので、ＵＣ（UnCovered）領域と称することとする。
【００５０】
例えば、内挿フレームの生成において、Ｃ領域、およびＵＣ領域は、動きベクトルが通過しない領域と言い換えることもできる。
【００５１】
内挿フレームの生成において、動きベクトルが通過しない領域の画素を生成するためには、その領域に何らかの動きベクトルを割り付けて動きベクトルを補償する必要がある。このような領域において動きベクトルを補償する場合、例えば、注目画素の周辺のベクトルや０ベクトルの中から最も適した動きベクトルが選択されて、注目画素の動きベクトルとして割り付けられる。このように補償されて割り付けられる動きベクトルを、補償割り付けベクトルと称することにする。
【００５２】
なお、補償割り付けベクトルは、例えば、注目画素の周辺の画素のそれぞれに割り付けられている動きベクトルのうち、注目画素の動きベクトルとして最適なものが選択されることにより割り付けられる。
【００５３】
例えば、時刻tにおけるフレームの位置Pの画素が、動きベクトルｖにより時刻t+1におけるフレームで位置Ｐ´の画素に対応付けられる場合、位置Ｐの画素を中心とするｍ×ｎ個の画素と、位置Ｐ´の画素を中心とするｍ×ｎ個の画素のそれぞれとの間での差分絶対値和（DFD：Displaced Frame Difference)を演算する。DFDは、例えば、動きベクトルの信頼性を評価するための評価値として用いられ、DFDが小さくなれば、その動きベクトルは、注目画素の動きを適切に反映していると言える。注目画素の周辺の画素に割り付けられている動きベクトルのそれぞれについてこのようにDFDを演算し、DFDの値が最も小さい動きベクトルが補償割り付けベクトルとして選択される。
【００５４】
図７は、従来の内挿フレーム生成処理を説明するフローチャートである。
【００５５】
すなわち、ステップＳ１１において、入力画像の時刻ｔのフレームと、時刻t+1のフレームに基づいて、動きベクトルが検出される。このとき、例えば、勾配法、ブロックマッチング法などにより動きベクトルが検出される。
【００５６】
ステップＳ１２において、ステップＳ１１で検出された動きベクトルを時刻t+kのフレームである内挿フレームの各画素に割り付ける。
【００５７】
ステップＳ１３において、内挿フレームのＣ領域、ＵＣ領域の画素など、動きベクトルが割り付けられていない画素に、例えば、周辺の動きベクトルを割り付けるなどして補償割り付けする。
【００５８】
ステップＳ１４において、内挿フレームの各画素の画素値が、ステップＳ１２の処理により割り付けられた動きベクトル、または、ステップＳ１３の処理により補償割り付けされた動きベクトル（補償割り付けベクトル）を用いて演算される。このとき、例えば、式（１）を参照して上述したような、線形補間により画素値が演算される。
【００５９】
しかしながら、Ｃ領域とUC領域においては、式（１）を参照して上述したように、２つのフレームの画素を用いた線形補間により内挿フレームの画素値を演算することは、適切とはいえない。
【００６０】
上述したように、Ｃ領域は、時間の経過に伴って背景の画像が前景（オブジェクト２１）の画像に覆われて見えなくなっていく領域なので、時間的に後のフレームにおいてＣ領域の画素に対応する画素が存在しないからである。また、ＵＣ領域は、時間の経過に伴って前景（オブジェクト２１）の画像に覆われていた背景の画像が見えてくる領域なので、時間的に前のフレームにおいてUC領域の画素に対応する画素が存在しないからである。
【００６１】
このため、内挿フレームの所定の画素を生成する場合、その画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、またはそれらのいずれでもない領域（通常領域と称することにする）の画素であるかを判定して、それらの領域に対応する方式で画素を生成することが必要となる。
【００６２】
そこで、本発明においては、内挿フレームの注目画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかを判定して、それらの領域に対応する方式で画素を生成することにする。
【００６３】
注目画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかは、例えば、次のようにして判定できる。
【００６４】
図８は、オブジェクト１２１が表示される動画像の例を示しており、時刻t-1乃至時刻t+2の４つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト１２１は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト１２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
【００６５】
いま、内挿フレームのＵＣ領域の画素１０１と、Ｃ領域の画素１０２を、それぞれ注目画素として、注目画素の領域を判定する場合の例について説明する。
【００６６】
注目画素の領域を判定するために、背景の画像の動きを表す動きベクトルである背景ベクトルを、注目画素に仮に割り付ける。なお、背景ベクトルの抽出については後述する。そして、背景ベクトルに基づいて、上述したようにDFDを演算する。
【００６７】
図８の例では、画素１０１と画素１０２に、仮に割り付ける背景ベクトルとして図中の太線の矢印で示される背景ベクトル１１１と背景ベクトル１１２が示されている。同図の例では、背景ベクトル１１１と背景ベクトル１１２は、図中点線で示される従来の方式により検出された動きベクトルであって、背景の動きを表す動きベクトルとほぼ同じ向きとされている。この背景ベクトル１１１と背景ベクトル１１２を、時刻t-1乃至時刻t+2に至るように時間的に延長する。すなわち、背景ベクトル１１１または背景ベクトル１１２により、時刻tのフレームの画素または時刻t+1のフレームの画素に対応付けられる時刻t+2のフレームの画素、または時刻t-1のフレームの画素を特定する。
【００６８】
Ｃ領域またはＵＣ領域では、背景ベクトルに基づいて、時刻tのフレームの画像と時刻t+1のフレームの画像を用いてDFDを演算しても、前景（オブジェクト）の画像の画素と、背景の画像の画素との差分絶対値和の演算が行われることになってしまう。図８の例では、時刻t0のフレームの画像と時刻t1のフレームの画像を用いると、背景ベクトル１１１に基づいて前景の画像の領域１２１ａと背景の画像の領域１３１の差分絶対値和が演算され、背景ベクトル１１２に基づいて前景の画像の領域１２１bと背景の画像の領域１３３の差分絶対値和が演算されることになる。
【００６９】
そこで、本発明では、さらに、時刻t+1よりも時間的に後の時刻t+2のフレームの画像と、時刻tよりも時間的に前の時刻t-1のフレームの画像とを、DFDの演算に用いることとする。
【００７０】
図８の例において、時刻t+1のフレームの画像と時刻t+2のフレームの画像を用いれば、背景ベクトル１１１に基づいて背景の画像の領域１３１と背景の画像の領域１３２の差分絶対値和が演算されることになる。また、時刻tのフレームの画像と時刻t-1のフレームの画像を用いれば、背景ベクトル１１２に基づいて背景の画像の領域１３３と背景の画像の領域１３４の差分絶対値和が演算されることになる。
【００７１】
ここで、時刻tのフレームの画像と時刻t+1のフレームの画像を用いてDFDを「現在のDFD」と称することとし、時刻t+1のフレームの画像と時刻t+2のフレームの画像を用いたDFDを「未来のDFD」と称することとする。また、時刻tのフレームの画像と時刻t-1のフレームの画像を用いたDFDは「過去のDFD」と称することとする。
【００７２】
すなわち、ＵＣ領域の画素は、背景ベクトルに基づいて未来のDFDを演算すると、そのDFDの値は小さくなるはずである。上述したように、背景の画像の領域同士の差分絶対値和が演算されるからである。また、Ｃ領域の画素は、背景ベクトルに基づいて過去のDFDを演算すると、そのDFDの値は小さくなるはずである。上述したように、背景の画像の領域同士の差分絶対値和が演算されるからである。
【００７３】
また、Ｃ領域またはＵＣ領域では、それぞれの画素に割り付けられた補償割り付けベクトルが、その画素の動きを適切に反映している可能性は少ない。このため、補償割り付けベクトルに基づいてDFDを演算しても、そのDFDの値は小さくならないはずである。
【００７４】
図９は、図８と同様に、オブジェクト１２１が表示される動画像の例を示しており、同図の例では、Ｃ領域の画素１０１に補償割り付けベクトル１１３が割り付けられており、ＵＣ領域の画素１０２に補償割り付けベクトル１１４が割り付けられている。
【００７５】
図９の例では、時刻tのフレームの画像と時刻t+1のフレームの画像を用い、補償割り付けベクトル１１３に基づいて前景および背景の画像の領域１４１と背景の画像の領域１４２の差分絶対値和が演算され、補償割り付けベクトル１１４に基づいて前景および背景の画像の領域１４３と背景の画像の領域１４４の差分絶対値和が演算されることになる。
【００７６】
このように、Ｃ領域またはＵＣ領域では、補償割り付けベクトルに基づいてDFDを演算しても、そのDFDの値が小さくなる可能性は低い。
【００７７】
本発明では、上述したように、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFD、並びに補償割り付けベクトルに基づくDFDの、４つのDFDを演算し、それぞれの大小を比較することにより注目画素の領域を判定する。
【００７８】
すなわち、上述した４つのDFDのうち、過去のDFDが最小であった場合、注目画素は、Ｃ領域の画素であると判定される。
【００７９】
また、上述した４つの評価値のうち、未来のDFDが最小であった場合、注目画素は、UＣ領域の画素であると判定される。
【００８０】
さらに、上述した４つの評価値のうち、現在のDFDが最小であった場合、または補償割り付けベクトルのDFDが最小であった場合、注目画素の領域は、通常領域であると判定される。
【００８１】
ただし、所定の場合には、このような方式では、注目画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかを判定できない。例えば、図１０に示されるような場合を考える。
【００８２】
図１０は、オブジェクト１２２が表示される動画像の例を示しており、時刻t-1乃至時刻t+2の４つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト１２２は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト１２２の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。図１０の場合、図８の場合よりも、背景の動きが大きく、また、前景であるオブジェクトの面積が小さい。
【００８３】
図１０に示される例では、UC領域の画素１０３に、背景ベクトル１１５を割り当てても、未来のDFDが最小になるとは限らない。背景の動きが大きいため、背景ベクトル１１５が前景（オブジェクト１２２）を貫いてしまうからである。従って、画素１０３についての未来のDFDは、背景の画像の領域１５２と背景の画像の領域１５３との差分絶対値和となり、DFDが小さくなる可能性が高いが、過去のDFDも、背景の画像の領域１５１と背景の画像の領域１５４との差分絶対値和となり、DFDが小さくなる可能性が高い。同様に、現在のDFDも、背景の画像の領域１５１と背景の画像の領域１５２との差分絶対値和となり、DFDが小さくなる可能性が高い。
【００８４】
また、図１０に示される例では、C領域の画素１０４に、背景ベクトル１１６を割り当てても、過去のDFDが最小になるとは限らない。背景の動きが大きいため、背景ベクトル１１６が前景（オブジェクト１２２）を貫いてしまうからである。従って、画素１０４についての過去のDFDは、背景の画像の領域１６１と背景の画像の領域１６４との差分絶対値和となり、DFDが小さくなる可能性が高いが、未来のDFDも、背景の画像の領域１６２と背景の画像の領域１６３との差分絶対値和となり、DFDが小さくなる可能性が高い。同様に、現在のDFDも、背景の画像の領域１６１と背景の画像の領域１６２との差分絶対値和となり、DFDが小さくなる可能性が高い。
【００８５】
このように、現在のDFD、過去のDFD、未来のDFDが、全て小さい値である場合、その注目画素の領域の判定結果は信頼性が低いと考えられる。そこで、現在のDFD、過去のDFD、未来のDFDのそれぞれを、予め設定された閾値と比較し、現在のDFD、過去のDFD、未来のDFDのそれぞれが、閾値より小さい場合、注目画素は、通常領域と判定されるようにする。
【００８６】
以上のようにして、内挿フレームの注目画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかが判定される。
【００８７】
上述したように、Ｃ領域とUC領域においては、式（１）を参照して上述したように、２つのフレームの画素を用いた線形補間により内挿フレームの画素値を演算することは、適切とはいえないので、本発明では、Ｃ領域とUC領域においては、式（１）を参照して上述した方式とは異なる方式で内挿フレームの画素を生成する。次に、Ｃ領域とUC領域における内挿フレームの画素の生成の方式について説明する。
【００８８】
図１１は、オブジェクト２２１が表示される動画像の例を示しており、時刻tのフレームおよび時刻t+1のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト２２１は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト２２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
【００８９】
上述したように、UC領域の画素２０１は、過去のフレーム（時間的に前のフレーム）においては、対応する画素がないので、UC領域の画素生成の際に過去のフレームの画素を用いた線形補間を行うと、本来生成されるべき画素とは異なった画素が生成されてしまう。すなわち、画素２０１の画素値の演算において用いるべき画素は、時刻t+1のフレームの画素２０３のみである。画素２０３は、背景の動きを表す動きベクトル２１１により画素２０１と対応付けられることになる。
【００９０】
また、C領域の画素２０２は、未来のフレーム（時間的に後のフレーム）においては、対応する画素がないので、C領域の画素生成の際に未来のフレームの画素を用いた線形補間を行うと、本来生成されるべき画素とは異なった画素が生成されてしまう。すなわち、画素２０１の画素値の演算において用いるべき画素は、時刻tのフレームの画素２０４のみである。画素２０４は、背景の動きを表す動きベクトル２１２により画素２０２と対応付けられることになる。
【００９１】
このように、Ｃ領域とUC領域においては、式（１）を参照して上述したように、時刻tおよび時刻t+1の２つのフレームの画素を用いた線形補間（適宜、両側補間と称する）により内挿フレームの画素値を演算するのではなく、時刻tのフレームまたは時刻t+1のフレームのうちの１つのフレームの画素を用いて補間（適宜、片側補間と称する）するようにすれば、適切に画素値を演算することができる。片側補間の場合、例えば、画素２０１の画素値は、画素２０３の画素値と同じ値とされ、例えば、画素２０２の画素値は、画素２０４の画素値と同じ値とされる。
【００９２】
しかしながら、正確に背景の動きを表す動きベクトル２１１または動きベクトル２１２を抽出できる保証はない。Ｃ領域とUC領域においては、もともと動きベクトルが割り付けられていないので、何らかの動きベクトルを選択して補償する必要がある。このとき、正確に背景の動きを表す動きベクトル２１１または動きベクトル２１２を抽出できれば、上述した片側補間により適切な画素値を得ることができるが、例えば、背景の動きを表す動きベクトルとして、動きベクトル２１３または動きベクトル２１４が抽出されてしまった場合、上述した片側補間により適切な画素値が得られる可能性は低くなる。
【００９３】
また、注目画素の領域が誤って判定された場合、やはり上述した片側補間により適切な画素値が得られる可能性は低くなる。例えば、通常領域の画素、またはＵＣ領域の画素が誤って、Ｃ領域の画素と判定された場合、仮に正確に背景の動きを表す動きベクトルを抽出できたとしても、片側補間により注目画素の画素値を演算すると適切な画素値を得ることはできない。
【００９４】
一方、Ｃ領域とUC領域の画素に割り付けられた補償割り付けベクトルを用いた片側補間について考える。図１２は、図１１と同様にオブジェクト２２１が表示される動画像の例を示している。同図の例において、画素２３１は、ＵＣ領域の画素とし、画素２３３は、Ｃ領域の画素とする。
【００９５】
いま、画素２３１に補償割り付けベクトル２４１が割り付けられているものとする。補償割り付けベクトル２４１は、例えば、画素２３１の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。いまの場合、補償割り付けベクトル２４１は、画素２３１の動きを適切に反映してない。
【００９６】
画素２３１について、補償割り付けベクトル２４１により対応付けられる時刻t+1のフレームの画素は、オブジェクト２２１の画像の一部を構成する画素２３２であり、上述したように片側補間すると、画素２３１の画素値は、画素２３２の画素値と同じ値とされてしまい、内挿フレームの画像が劣化する。
【００９７】
同様に、画素２３３に補償割り付けベクトル２４２が割り付けられているものとする。補償割り付けベクトル２４２は、例えば、画素２３２の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。いまの場合、補償割り付けベクトル２４２は、画素２３２の動きを適切に反映してない。
【００９８】
画素２３２について、補償割り付けベクトル２４２により対応付けられる時刻tのフレームの画素は、オブジェクト２２１の画像の一部を構成する画素２３４であり、上述したように片側補間すると、画素２３２の画素値は、画素２３４の画素値と同じ値とされてしまい、内挿フレームの画像が劣化する。
【００９９】
しかしながら、注目画素の領域が誤って判定された場合、補償割り付けベクトルを用いた片側補間により適切な画素値が得られる可能性は高くなる。
【０１００】
図１２において、画素２３５は、本来は通常領域（オブジェクト２２１の一部）の画素であるが、誤ってＵＣ領域の画素と判定されたものとし、画素２３７は、本来は通常領域の画素であるが、誤ってＣ領域の画素と判定されたものとする。なお、多くの場合、通常領域の画素には、補償割り付けを行わなくても予め動きベクトルが割り付けられるのであるが、ここでは、画素２３５と画素２３７には、ブロックマッチング法、勾配法などにより検出された動きベクトルが割り付けられておらず、動きベクトルが補償割り付けされたものとして説明する。
【０１０１】
いま、画素２３５に補償割り付けベクトル２４３が割り付けられているものとする。補償割り付けベクトル２４３は、例えば、画素２３５の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。いまの場合、補償割り付けベクトル２４３は、画素２３１の動きを適切に反映している。
【０１０２】
画素２３５について、補償割り付けベクトル２４３により対応付けられる時刻t+1のフレームの画素は、オブジェクト２２１の画像の一部を構成する画素２３６であり、上述したように片側補間すると、画素２３５の画素値は、画素２３６の画素値と同じ値とされる。この場合、内挿フレームの画像は劣化しない。
【０１０３】
同様に、画素２３７に補償割り付けベクトル２４４が割り付けられているものとする。補償割り付けベクトル２４４は、例えば、画素２３７の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。いまの場合、補償割り付けベクトル２４４は、画素２３７の動きを適切に反映している。
【０１０４】
画素２３７について、補償割り付けベクトル２４２により対応付けられる時刻tのフレームの画素は、オブジェクト２２１の画像の一部を構成する画素２３８であり、上述したように片側補間すると、画素２３７の画素値は、画素２３８の画素値と同じ値とされる。この場合、内挿フレームの画像は劣化しない。
【０１０５】
図１１と図１２を参照して上述したように、Ｃ領域とUC領域の画素の画素値の演算は、背景の動きを正確に表す動きベクトルを抽出し、その動きベクトルを用いて片側補間により画素値を演算することが理想的であると言える。この場合、Ｃ領域とUC領域の画素に、従来の方式により補償された補償割り付けベクトルとは別に、背景の動きを正確に表す動きベクトルを割り付けて補償する必要がある。
【０１０６】
しかしながら、背景の動きを正確に表す動きベクトルを抽出できるという確証はなく、また、注目画素の領域が誤判定されることもあるという技術的背景を考慮すると、内挿フレームの生成にあたって、Ｃ領域とUC領域の画素に、背景の動きを表す動きベクトルを割り付けて補償する方式を採用することは得策とは言えない。
【０１０７】
そこで、本発明においては、内挿フレームのＣ領域とUC領域の画素について、所定の条件を満たす場合にのみ、補償割り付けベクトルを用いて片側補間により画素値の演算を行うこととする。図１３を参照して、この所定の条件を満たす場合について説明する。
【０１０８】
図１３は、オブジェクト２２２が表示される動画像の例を示しており、時刻t-1乃至時刻t+2の４つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト２２２は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト２２２の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
【０１０９】
同図の例において、画素２５１は、内挿フレームのＵＣ領域の画素であり、かつＵＣ領域の画素であると判定されたものとし、画素２５３は、内挿フレームのＣ領域の画素であり、かつＣ領域の画素であると判定されたものとする。
【０１１０】
いま、画素２５１に補償割り付けベクトル２７１が割り付けられているものとする。補償割り付けベクトル２７１は、例えば、画素２５１の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。また、画素２５２に補償割り付けベクトル２７２が割り付けられているものとする。補償割り付けベクトル２７２は、例えば、画素２５２の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。
【０１１１】
本発明においては、ＵＣ領域の画素２５１の画素値の演算に先立って、補償割り付けベクトル２７１に基づく、現在のDFD、過去のDFD、および未来のDFDを演算することとする。なお、いまの場合の現在のDFDとしては、時刻tのフレームの領域２２２ａと時刻t+1のフレームの領域２６１の差分絶対値和が演算されることになる。また、過去のDFDとしては、時刻tのフレームの領域２２２ａと時刻t-1のフレームの領域２２２ｂの差分絶対値和が演算されることになる。さらに、未来のDFDとしては、時刻t+1のフレームの領域２６１と時刻t+2のフレームの領域２６２の差分絶対値和が演算されることになる。
【０１１２】
そして、補償割り付けベクトル２７１に基づいて演算された現在のDFD、過去のDFD、および未来のDFDのうち、未来のDFDが最小である場合、補償割り付けベクトル２７１を用いた片側補間により、画素２５１の画素値が演算される。より具体的には、画素２５１は、ＵＣ領域の画素であると判定されたので、時刻t+1のフレームにおいて、補償割り付けベクトル２７１により画素２５１と対応付けられた画素の画素値が、注目画素である画素２５１の画素値とされる。
【０１１３】
補償割り付けベクトル２７１に基づいて演算された現在のDFD、過去のDFD、および未来のDFDのうち、未来のDFDが最小ではない場合は、補償割り付けベクトル２７１を用いた両側補間により、画素２５１の画素値が演算される。
【０１１４】
同様に、本発明においては、Ｃ領域の画素２５２の画素値の演算に先立って、補償割り付けベクトル２７２に基づく、現在のDFD、過去のDFD、および未来のDFDを演算することとする。なお、いまの場合の現在のDFDとしては、時刻tのフレームの領域２６３と時刻t+1のフレームの領域２２２ｃの差分絶対値和が演算されることになる。また、過去のDFDとしては、時刻tのフレームの領域２６３と時刻t-1のフレームの領域２６４の差分絶対値和が演算されることになる。さらに、未来のDFDとしては、時刻t+1のフレームの領域２２２ｃと時刻t+2のフレームの領域２２２ｄの差分絶対値和が演算されることになる。
【０１１５】
そして、補償割り付けベクトル２７２に基づいて演算された現在のDFD、過去のDFD、および未来のDFDのうち、過去のDFDが最小である場合、補償割り付けベクトル２７２を用いた片側補間により、画素２５２の画素値が演算される。より具体的には、画素２５２は、Ｃ領域の画素であると判定されたので、時刻tのフレームにおいて、補償割り付けベクトル２７２により画素２５２と対応付けられた画素の画素値が、注目画素である画素２５２の画素値とされる。
【０１１６】
補償割り付けベクトル２７２に基づいて演算された現在のDFD、過去のDFD、および未来のDFDのうち、過去のDFDが最小ではない場合は、補償割り付けベクトル２７２を用いた両側補間により、画素２５２の画素値が演算される。
【０１１７】
図１４は、本発明の一実施の形態に係る画像処理装置３００の構成例を示すブロック図である。
【０１１８】
この画像処理装置３００は、例えば、時間的に連続する動画像である入力画像から内挿フレームの画像を生成して出力するようになされている。図１４に示されるように、画像処理装置３００は、ベクトル検出部３０１、ベクトル割り付け部３０２、補償割り付け部３２１、背景ベクトル抽出部３２２、評価値演算部３２３、Ｃ／ＵＣ領域判定部３２４、補間方式決定部３２５および内挿フレーム生成部３３１により構成されている。
【０１１９】
ベクトル検出部３０１は、入力画像の各画素において、例えば、ブロックマッチング法、勾配法などにより動きベクトルを検出する。
【０１２０】
ベクトル割り付け部３０２は、ベクトル検出部３０１により検出された動きベクトルを、内挿フレームの画像の各画素に付加する。
【０１２１】
補償割り付け部３２１は、内挿フレームの画像の画素のうち、ベクトル割り付け部３０２によって動きベクトルが割り付けられなかった画素について、動きベクトルの補償（割り付け）を行う。補償割り付け部３２１は、例えば、動きベクトルを補償すべき注目画素の周辺の画素に割り付けられている動きベクトルのそれぞれについてDFDを演算し、DFDの値が最も小さい動きベクトルを、補償割り付けベクトルとして注目画素に割り付けるようになされている。
【０１２２】
背景ベクトル抽出部３２２は、次のようにして背景ベクトルの候補を抽出する。
【０１２３】
ここで、背景ベクトルは、注目画素を含む内挿フレームの背景の画像の動きベクトルとされる。また、通常、動画像において、大きく移動するオブジェクトは背景に対して小さく表示されている場合が多いので、当該内挿フレーム全体の中で背景の画像が占める割合が大きいものと推定できる。従って、背景ベクトルは、当該フレームの画像の支配的な動きを表す動きベクトルと言い換えることもできる。
【０１２４】
画像の支配的な動きを表す動きベクトルである背景ベクトルは、例えば、注目画素を含む内挿フレームの全ての画素に付加されている動きベクトル（補償割り付けベクトルも含む）のヒストグラムに基づいて得ることができる。例えば、各画素に付加されている動きベクトルを、それぞれ（x,y）の２次元のベクトルとして、動きベクトルのヒストグラムを算出し、そのヒストグラムの中で、例えば度数が大きい順に所定の個数の動きベクトルを背景ベクトルとして抽出する。このようにすることで、当該内挿フレームの各画素に付加されている動きベクトルのうち、多くの画素に付加されているものが背景ベクトルとして抽出される。
【０１２５】
従って、背景ベクトル抽出部３２２は、画像の支配的な動きを表す動きベクトルが画像の背景の動きを表す動きベクトルであると仮定して、背景ベクトルを抽出することになる。
【０１２６】
なお、ヒストグラムの算出においては、動きベクトルにより特定される始点または終点の画素が低輝度であり、かつ周辺の画素との輝度値の差分が小さい（平坦な）ものである場合、その動きベクトルは、ヒストグラムに積算されないようにすることが好ましい。このような動きベクトルは、信頼性が低いと考えられるからである。
【０１２７】
また、背景ベクトルの抽出においては、ヒストグラムに対して微分や積分を適用した結果が大きい順に抽出してもよい。ヒストグラムに対して微分を適用した結果に基づいて背景ベクトルを抽出するようにすれば、例えば、フレーム内の特定の領域の画素の動きベクトルが背景ベクトルとして集中的に抽出されてしまうことが抑止される。また、ヒストグラムに対して積分を適用した結果に基づいて背景ベクトルを抽出するようにすれば、例えば、ヒストグラムの特異点である動きベクトルが背景ベクトルとして抽出されてしまうことが抑止される。
【０１２８】
ここでは、１つの内挿フレームの画面全体の支配的な動きとして背景ベクトルが抽出されると説明したが、例えば、内挿フレームの画像を複数のブロックに区切り、ブロック毎に支配的な動きを抽出し、それぞれのブロックに対応する背景ベクトルが抽出されるようにしてもよい。
【０１２９】
評価値算出部３２３は、図９を参照して上述したように、背景ベクトル抽出部３２２により抽出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを算出し、補償割り付け部３２１により割り付けられた補償割り付けベクトルに基づくDFDを算出する。
【０１３０】
ここでは、評価値算出部３２３が、背景ベクトル、補償割り付けベクトルなどの動きベクトルの評価値としてDFDを算出する場合の例について説明したが、DFDとは異なる評価値が算出されるようにしても構わない。
【０１３１】
Ｃ／ＵＣ領域判定部３２４は、評価値算出部３２３による、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFD、並びに補償割り付けベクトルに基づくDFDの４つのDFDの大小を比較することにより、注目画素がＣ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかを判定する。
【０１３２】
補間方式決定部３２５は、図１３を参照して上述したように、Ｃ／ＵＣ領域判定部３２４によりＣ領域またはＵＣ領域の画素と判定された注目画素について、補償割り付け部３２１により割り付けられた補償割り付けベクトルに基づく現在のDFD、過去のＤＦＤ、および未来のＤＦＤを算出し、３つのDFDの大小を比較することにより、注目画素の画素値を両側補間により演算するか、片側補間により演算するかを決定する。なお、注目画素の画素値を片側補間により演算すべきと決定される場合には、Ｃ／ＵＣ領域判定部３２４の判定結果に基づいて、時刻tのフレームまたは時刻t+1のフレームのいずれのフレームからの片側補間であるかも合わせて決定される。
【０１３３】
内挿フレーム生成部３３１は、補間方式決定部３２５が決定した方式に基づいて、内挿フレームの注目画素の画素値を演算する。これにより、内挿フレームの各画素が生成されて内挿フレームの画像が出力されることになる。
【０１３４】
次に、図１５のフローチャートを参照して、本発明の画像処理装置３００による内挿フレーム生成処理について説明する。
【０１３５】
ステップＳ１０１において、ベクトル検出部３０１は、入力画像の各画素において、例えば、ブロックマッチング法、勾配法などにより動きベクトルを検出する。
【０１３６】
ステップＳ１０２において、ベクトル割り付け部３０２は、ベクトル検出部３０１により検出された動きベクトルを、内挿フレームの各画素に割り付ける。
【０１３７】
ステップＳ１０３において、補償割り付け部３２１は、内挿フレームの画像の画素のうち、ベクトル割り付け部３０２によって動きベクトルが割り付けられなかった画素について、動きベクトルの補償（割り付け）を行う。これにより、例えば、Ｃ領域の画素、ＵＣ領域の画素などに補償割り付けベクトルが割り付けられることになる。
【０１３８】
ステップＳ１０４において、背景ベクトル抽出部３２２は、図１６を参照して後述する背景ベクトル抽出処理を実行する。
【０１３９】
ここで、図１６のフローチャートを参照して、図１５のステップＳ１０４の背景ベクトル抽出処理の詳細について説明する。
【０１４０】
ステップＳ１２１において、背景ベクトル抽出部３２２は、フレームの各画素に付加されている動きベクトルを、例えば、それぞれ（x,y）の２次元のベクトルとして、動きベクトルのヒストグラムを算出する。
【０１４１】
ステップＳ１２２において、背景ベクトル抽出部３２２は、ステップＳ１２１の処理で算出されたヒストグラムの中で、例えば度数が大きい順に所定の個数の動きベクトルを背景ベクトルとして抽出する。
【０１４２】
このようにして、背景ベクトルが抽出される。
【０１４３】
なお、上述したように、ステップＳ１２２の処理では、ヒストグラムに対して微分や積分を適用した結果が大きい順に背景ベクトルを抽出してもよい。
【０１４４】
また、例えば、フレームの画像を複数のブロックに区切り、ブロック毎に支配的な動きを抽出し、それぞれのブロックに対応する背景ベクトルが抽出されるようにしてもよい。
【０１４５】
図１５に戻って、ステップＳ１０４の処理の後、ステップＳ１０５において、評価値算出部３２３と、Ｃ／ＵＣ領域判定部３２４は、図１７を参照して後述する領域判定処理を実行する。
【０１４６】
ここで、図１７のフローチャートを参照して、図１５のステップＳ１０５の領域判定処理の詳細について説明する。なお、この処理は、内挿フレームの画像の中で、ステップＳ１０３の処理で補償割り付けの対象となった画素のそれぞれが、注目画素として設定され、個々の注目画素について実行される。
【０１４７】
ステップＳ１４１において、評価値算出部３２３は、図９を参照して上述したように、補償割り付け部３２１により割り付けられた補償割り付けベクトルに基づくDFDを算出する。
【０１４８】
ステップＳ１４２において、評価値算出部３２３は、図９を参照して上述したように、背景ベクトル抽出部３２２により抽出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを算出する。
【０１４９】
ステップＳ１４３において、Ｃ／ＵＣ領域判定部３２４は、図１８を参照して後述する比較判定処理を実行する。ここで、図１８のフローチャートを参照して、図１７のステップＳ１４３の比較判定処理の詳細について説明する。
【０１５０】
ステップＳ１６１において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを比較する。
【０１５１】
ステップＳ１６２において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDが全て予め設定された閾値より小さいか否かを判定する。
【０１５２】
ステップＳ１６２において、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDが全て閾値より小さいと判定された場合、処理は、ステップＳ１６４に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、通常領域の画素であると判定する。このような場合、図１０を参照して上述したように、その注目画素の領域の判定結果は信頼性が低いと考えられるからである。
【０１５３】
ステップＳ１６２において、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、少なくとも１つのDFDが閾値より小さくないと判定された場合、処理は、ステップＳ１６３に進む。
【０１５４】
ステップＳ１６３において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１６１の比較の結果、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、補償割り付けベクトルに基づくDFDが最小であったか否かを判定する。
【０１５５】
ステップＳ１６３において、補償割り付けベクトルに基づくDFDが最小であったと判定された場合、処理は、ステップＳ１６４に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、通常領域の画素であると判定する。
【０１５６】
ステップＳ１６３において、補償割り付けベクトルに基づくDFDが最小ではなかったと判定された場合、処理は、ステップＳ１６５に進む。
【０１５７】
ステップＳ１６５において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１６１の比較の結果、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、背景ベクトルに基づく過去のDFDが最小であったか否かを判定する。
【０１５８】
ステップＳ１６５において、背景ベクトルに基づく過去のDFDが最小であったと判定された場合、処理は、ステップＳ１６６に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、Ｃ領域の画素であると判定する。
【０１５９】
ステップＳ１６５において、背景ベクトルに基づく過去のDFDが最小ではなかったと判定された場合、処理は、ステップＳ１６７に進む。
【０１６０】
ステップＳ１６７において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１６１の比較の結果、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、背景ベクトルに基づく現在のDFDが最小であったか否かを判定する。
【０１６１】
ステップＳ１６７において、背景ベクトルに基づく現在のDFDが最小であったと判定された場合、処理は、ステップＳ１６８に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、通常領域の画素であると判定する。
【０１６２】
ステップＳ１６７において、背景ベクトルに基づく現在のDFDが最小ではなかったと判定された場合、処理は、ステップＳ１６９に進む。
【０１６３】
ステップＳ１６９において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１６１の比較の結果、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、背景ベクトルに基づく未来のDFDが最小であったか否かを判定する。
【０１６４】
ステップＳ１６９において、背景ベクトルに基づく未来のDFDが最小であったと判定された場合、処理は、ステップＳ１７０に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、ＵＣ領域の画素であると判定する。
【０１６５】
ステップＳ１６９において、背景ベクトルに基づく未来のDFDが最小ではなかったと判定された場合、処理は、ステップＳ１７１に進み、エラー処理が実行されることになる。
なお、ステップＳ１６９とステップＳ１７１の処理は、省略して、ステップＳ１６７において、現在のDFDが最小でなかったと判定された場合、処理は、ステップＳ１７０に進み、注目画素の領域は、ＵＣ領域であると判定されるようにしてもよい。
【０１６６】
このようにして、注目画素の領域が判定される。なお、ステップＳ１０３の処理で補償割付の対象とならなかった画素については、全て通常領域の画素とされるものとする。これにより、内挿フレームの全ての画素の領域が特定され、以降の処理においては、その特定結果に基づいて注目画素の領域が判定される。
【０１６７】
比較判定処理の終了に伴って、図１７の領域判定処理も終了され、処理は、図１５のステップＳ１０６に進むことになる。ステップＳ１０６において、補間方式決定部３２５は、図１９を参照して後述する画素生成方式決定処理を実行する。
【０１６８】
ここで、図１９のフローチャートを参照して、図１５のステップＳ１０６の画素生成方式決定処理の詳細について説明する。この処理は、内挿フレームの画像を構成する画素のそれぞれが、注目画素として設定され、個々の注目画素について実行される。
【０１６９】
ステップＳ１９１において、補間方式決定部３２５は、注目画素の領域を判定する。この判定は、ステップＳ１４３の処理結果に基づいて行われる。ステップＳ１９１において、注目画素がＣ領域の画素であると判定された場合、処理は、ステップＳ１９２に進む。
【０１７０】
ステップＳ１９２において、補間方式決定部３２５は、例えば、図１３を参照して上述したように、注目画素の補償割り付けベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを演算する。
【０１７１】
ステップＳ１９３において、補間方式決定部３２５は、ステップＳ１９２の処理で演算された３つのDFDのうち、過去のDFDが最小であるか否かを判定し、過去のＤＦＤが最小であると判定された場合、処理は、ステップＳ１９４に進む。
【０１７２】
ステップＳ１９４において、補間方式決定部３２５は、注目画素については、時刻ｔのフレームからの片側補間により画素値を求めるものとして、注目画素の画素生成方式を決定する。
【０１７３】
一方、ステップＳ１９１において、注目画素がＵＣ領域の画素であると判定された場合、処理は、ステップＳ１９５に進む。
【０１７４】
ステップＳ１９５において、補間方式決定部３２５は、例えば、図１３を参照して上述したように、注目画素の補償割り付けベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを演算する。
【０１７５】
ステップＳ１９６において、補間方式決定部３２５は、ステップＳ１９５の処理で演算された３つのDFDのうち、未来のDFDが最小であるか否かを判定し、未来のＤＦＤが最小であると判定された場合、処理は、ステップＳ１９７に進む。
【０１７６】
ステップＳ１９７において、補間方式決定部３２５は、注目画素については、時刻ｔ+1のフレームからの片側補間により画素値を求めるものとして、注目画素の画素生成方式を決定する。
【０１７７】
ステップＳ１９１において、注目画素が通常領域の画素であると判定された場合、処理は、ステップＳ１９８に進む。また、ステップＳ１９３において、過去のＤＦＤが最小ではないと判定された場合、および、ステップＳ１９６において、未来のＤＦＤが最小ではないと判定された場合、やはり処理は、ステップＳ１９８に進む。
【０１７８】
ステップＳ１９８において、補間方式決定部３２５は、注目画素については、時刻ｔのフレームおよび時刻ｔ+1のフレームからの両側補間により画素値を求めるものとして、注目画素の画素生成方式を決定する。
【０１７９】
このようにして、内挿フレームの画像を構成する画素のそれぞれの画素生成方式が決定される。
【０１８０】
図１５に戻って、ステップＳ１０６の処理の後、処理は、ステップＳ１０７に進み、内挿フレーム生成部３３１は、注目画素の画素値を演算することにより、内挿フレームの画素を生成する。このとき、図１９のステップＳ１９４、ステップＳ１９７、またはステップＳ１９８の処理で決定された方式に従って画素値が演算されることになる。
【０１８１】
このようにして、内挿フレームの画像が生成される。
【０１８２】
このようにすることで、例えば、内挿フレームにおいて動きベクトルが通過しない領域である、Ｃ領域またはUC領域の画素についても画像の劣化を抑えた内挿フレームの生成が可能となる。すなわち、内挿フレームの画像のどの領域においても、適切に画素を生成することができる。
【０１８３】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２０に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１８４】
図２０において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８５】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１８６】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８７】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１８８】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１８９】
なお、この記録媒体は、図２０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１９０】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１９１】
【図１】内挿フレームについて説明する図である。
【図２】動画像の例を示す図である。
【図３】従来の動きベクトルの検出について説明する図である。
【図４】動きベクトルが通過する領域を説明する図である。
【図５】動きベクトルが通過しない領域を説明する図である。
【図６】Ｃ領域とUC領域を説明する図である。
【図７】従来の内挿フレーム生成処理を説明するフローチャートである。
【図８】Ｃ領域またはＵＣ領域でのDFDの演算について説明する図である。
【図９】DFDに基づく領域の判定について説明する図である。
【図１０】DFDに基づく領域の判定について説明する図である。
【図１１】内挿フレームのＣ領域とUC領域の画素値の演算について説明する図である。
【図１２】内挿フレームのＣ領域とUC領域の画素値の演算について説明する図である。
【図１３】内挿フレームのＣ領域とUC領域の画素値の演算について説明する図である。
【図１４】本発明を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。
【図１５】本発明の画像処理装置による内挿フレーム生成処理を説明するフローチャートである。
【図１６】背景ベクトル抽出処理を説明するフローチャートである。
【図１７】領域判定処理を説明するフローチャートである。
【図１８】比較判定処理を説明するフローチャートである。
【図１９】画素生成方式決定処理を説明するフローチャートである。
【図２０】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１９２】
３００ 画像処理装置， ３０１ ベクトル検出部， ３０２ ベクトル割り付け部， ３２１ 補償割り付け部， ３３２ 背景ベクトル抽出部， ３２３ 評価値算出部， ３２４ C/UC領域判定部， ３２５補間方式決定部， ３３１ 内挿フレーム生成部， ７０１ CPU， ７１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、
前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段と、
前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段と、
前記内挿フレームの画像の中の注目画素が含まれる領域について、
前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、
前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、
前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるか
を判定する領域判定手段と、
前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、
前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定する演算方式決定手段と
を備える画像処理装置。
【請求項２】
前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出する背景ベクトル抽出手段をさらに備え、
前記領域判定手段は、注目画素について、
前記背景ベクトルの信頼性を評価するための評価値を複数演算し、
前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を演算し、
前記演算された評価値のそれぞれの大小を比較することにより、前記注目画素が含まれる領域を判定する
請求項１に記載の画像処理装置。
【請求項３】
前記領域判定手段は、
前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレームの画素を特定し、
前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、
前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、
前記特定された前記第２のフレームの画素と前記第４のフレームの画素との間でDFDを演算して未来のDFDとし、
前記補償ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定し、
前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して前記注目画素に割り付けられた動きベクトルのDFDとし、
前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDを前記評価値として、前記注目画素が含まれる領域を判定する
請求項２に記載の画像処理装置。
【請求項４】
前記領域判定手段は、
前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDのうち、
前記過去のDFDが最小である場合、前記注目画素が含まれる領域は、Ｃ領域であると判定し、
前記未来のDFDが最小である場合、前記注目画素が含まれる領域は、UＣ領域であると判定し、
前記現在のDFDが最小である場合、または、前記注目画素に割り付けられた動きベクトルのDFDが最小である場合、前記注目画素が含まれる領域は、通常領域であると判定する
請求項３に記載の画像処理装置。
【請求項５】
前記演算方式決定手段は、
前記注目画素に割り付けられた動きベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレームの画素を特定し、
前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値として、現在のDFD、過去のDFD、および未来のDFDをさらに演算する
請求項３に記載の画像処理装置。
【請求項６】
演算方式決定手段は、
前記注目画素に割り付けられた動きベクトルに基づいて、前記内挿フレームの注目画素に対応する前記第１のフレームの画像の画素値と、前記内挿フレームの注目画素に対応する前記第２のフレームの画像の画素値を特定し、
前記領域判定手段により、前記注目画素が前記C領域の画素であると判定され、かつ前記注目画素に割り付けられた動きベクトルの信頼性を評価するための複数の前記評価値のうち、前記過去のDFDが最小である場合、前記特定された前記第１のフレームの画像の画素値を、前記注目画素の画素値とするように、前記注目画素の画素値の演算方式を決定し、
前記領域判定手段により、前記注目画素が前記ＵC領域の画素であると判定され、かつ前記注目画素に割り付けられた動きベクトルの信頼性を評価するための複数の前記評価値のうち、前記未来のDFDが最小である場合、前記特定された前記第２のフレームの画像の画素値を、前記注目画素の画素値とするように、前記注目画素の画素値の演算方式を決定し、
それ以外の場合、前記特定された前記第１のフレームの画像の画素値と、前記第２のフレームの画像の画素値との線形補間により、前記注目画素の画素値を演算するように、前記注目画素の画素値の演算方式を決定する
請求項５に記載の画像処理装置。
【請求項７】
動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、
前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付け、
前記動きベクトルが割り付けられなかった前記内挿フレームの画素について動きベクトルの補償により動きベクトルを割り付け、
前記内挿フレームの画像の中の注目画素が含まれる領域について、
前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、
前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、
前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるか
を判定し、
前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、
前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定するステップ
を含む画像処理方法。
【請求項８】
コンピュータを、
動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、
前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段と、
前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段と、
前記内挿フレームの画像の中の注目画素が含まれる領域について、
前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、
前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、
前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるか
を判定する領域判定手段と、
前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、
前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定する演算方式決定手段とを備える画像処理装置として機能させる
プログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【請求項１】
動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、
前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段と、
前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段と、
前記内挿フレームの画像の中の注目画素が含まれる領域について、
前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、
前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、
前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるか
を判定する領域判定手段と、
前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、
前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定する演算方式決定手段と
を備える画像処理装置。
【請求項２】
前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出する背景ベクトル抽出手段をさらに備え、
前記領域判定手段は、注目画素について、
前記背景ベクトルの信頼性を評価するための評価値を複数演算し、
前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を演算し、
前記演算された評価値のそれぞれの大小を比較することにより、前記注目画素が含まれる領域を判定する
請求項１に記載の画像処理装置。
【請求項３】
前記領域判定手段は、
前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレームの画素を特定し、
前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、
前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、
前記特定された前記第２のフレームの画素と前記第４のフレームの画素との間でDFDを演算して未来のDFDとし、
前記補償ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定し、
前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して前記注目画素に割り付けられた動きベクトルのDFDとし、
前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDを前記評価値として、前記注目画素が含まれる領域を判定する
請求項２に記載の画像処理装置。
【請求項４】
前記領域判定手段は、
前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDのうち、
前記過去のDFDが最小である場合、前記注目画素が含まれる領域は、Ｃ領域であると判定し、
前記未来のDFDが最小である場合、前記注目画素が含まれる領域は、UＣ領域であると判定し、
前記現在のDFDが最小である場合、または、前記注目画素に割り付けられた動きベクトルのDFDが最小である場合、前記注目画素が含まれる領域は、通常領域であると判定する
請求項３に記載の画像処理装置。
【請求項５】
前記演算方式決定手段は、
前記注目画素に割り付けられた動きベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレームの画素を特定し、
前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値として、現在のDFD、過去のDFD、および未来のDFDをさらに演算する
請求項３に記載の画像処理装置。
【請求項６】
演算方式決定手段は、
前記注目画素に割り付けられた動きベクトルに基づいて、前記内挿フレームの注目画素に対応する前記第１のフレームの画像の画素値と、前記内挿フレームの注目画素に対応する前記第２のフレームの画像の画素値を特定し、
前記領域判定手段により、前記注目画素が前記C領域の画素であると判定され、かつ前記注目画素に割り付けられた動きベクトルの信頼性を評価するための複数の前記評価値のうち、前記過去のDFDが最小である場合、前記特定された前記第１のフレームの画像の画素値を、前記注目画素の画素値とするように、前記注目画素の画素値の演算方式を決定し、
前記領域判定手段により、前記注目画素が前記ＵC領域の画素であると判定され、かつ前記注目画素に割り付けられた動きベクトルの信頼性を評価するための複数の前記評価値のうち、前記未来のDFDが最小である場合、前記特定された前記第２のフレームの画像の画素値を、前記注目画素の画素値とするように、前記注目画素の画素値の演算方式を決定し、
それ以外の場合、前記特定された前記第１のフレームの画像の画素値と、前記第２のフレームの画像の画素値との線形補間により、前記注目画素の画素値を演算するように、前記注目画素の画素値の演算方式を決定する
請求項５に記載の画像処理装置。
【請求項７】
動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、
前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付け、
前記動きベクトルが割り付けられなかった前記内挿フレームの画素について動きベクトルの補償により動きベクトルを割り付け、
前記内挿フレームの画像の中の注目画素が含まれる領域について、
前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、
前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、
前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるか
を判定し、
前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、
前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定するステップ
を含む画像処理方法。
【請求項８】
コンピュータを、
動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、
前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段と、
前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段と、
前記内挿フレームの画像の中の注目画素が含まれる領域について、
前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、
前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、
前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるか
を判定する領域判定手段と、
前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、
前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を複数演算し、前記複数の評価値の大小を比較することで、前記注目画素の画素値の演算方式を決定する演算方式決定手段とを備える画像処理装置として機能させる
プログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００９−２００７６０（Ｐ２００９−２００７６０Ａ）
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願番号】特願２００８−３９５３９（Ｐ２００８−３９５３９）
【出願日】平成２０年２月２１日（２００８．２．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願日】平成２０年２月２１日（２００８．２．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]