画像処理装置及び方法、並びに画像表示装置及び方法
【課題】フレーム補間処理において、正しく補間フレームが生成できない。特に補間するフレームの前後で画像要素が隠れたり出現したりする場合、補間フレームが著しく乱れる。
【解決手段】動きベクトルを検出し（２）、補間フレームへの動きベクトルに変換し（３）、一つの画像要素が他の画像要素の陰に隠れたり出現したりする領域をオクルージョン領域として推定し、その領域情報に基づいて動きベクトル（ＭＶ２、ＭＶ３）を修正し(４)、修正した動きベクトル（ＭＶ４、ＭＶ５）を用いて、フレームの補間を行う（５）。
【解決手段】動きベクトルを検出し（２）、補間フレームへの動きベクトルに変換し（３）、一つの画像要素が他の画像要素の陰に隠れたり出現したりする領域をオクルージョン領域として推定し、その領域情報に基づいて動きベクトル（ＭＶ２、ＭＶ３）を修正し(４)、修正した動きベクトル（ＭＶ４、ＭＶ５）を用いて、フレームの補間を行う（５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、並びに画像表示装置及び方法に関する。本発明は特に、画像のフレーム間に新たな補間フレームを挿入するフレーム補間処理に関するものである。
【背景技術】
【０００２】
液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の画像要素（例えば、撮像対象中の物体に対応する画像要素）が動いた場合に、動く画像要素に対する人間の目の追従が連続的に移動するのに対して、画像要素の移動が１フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を多くして画像要素の移動をスムーズにすることが考えられる。
【０００３】
また、映画などのフィルム映像がテレビ信号に変換された素材については、両者（フィルム映像とテレビ信号）のフレーム周波数の違いから、２フレーム又は３フレームが同じフレームから作られた画像信号となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。
【０００４】
また、同様にコンピュータ処理された映像がテレビ信号に変換された素材についても、２フレームが同じフレームから作られた画像信号であり、そのまま表示すると同様にジャダーが発生する問題がある。
【０００５】
従来の画像処理装置及び方法は、補間フレームに対して１フレーム前のフレームと同じ画像で補間する零次ホールド法か、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像で補間する平均値補間法などがあるが、零次ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が２重像になる問題がある。
【０００６】
この改善策として、補間フレームの補間画素に対して点対称の位置にある時間的に前のフレーム上の画素と時間的に後のフレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある（例えば、特許文献１参照）。この方法では、画素単位での相関検出のため、画像の内容が異なるにも拘らず、画素間の相関が大きいと検出される場合があり、正しく補間フレームが生成できない場合がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１２９１８１号公報（第８頁、第３図）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来のフレーム補間処理は、上記の様に構成されており、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。また、画素単位の相関を検出する方法では、正しく相関検出ができないために正しく補間フレームが生成できない問題がある。
また、補間するフレームの前後で画像要素が隠れたり出現したりする場合、補間フレームが著しく乱れる。
【課題を解決するための手段】
【０００９】
本発明の一つの態様の画像処理装置は、
画像の現フレームと現フレームの１フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理装置において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの２フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出部と、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換部と、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定部と、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを備え、
前記動きベクトル検出部は、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間部と、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価部と、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定部とを備える
ことを特徴とする。
本発明の他の態様の画像処理方法は、
画像の現フレームと現フレームの１フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理方法において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの２フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出ステップと、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換ステップと、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定ステップと、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを備え、
前記動きベクトル検出ステップは、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間ステップと、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価ステップと、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定ステップとを備える
ことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、テスト補間の結果を評価し、評価結果に基づいて動きベクトルを決定するので、高精度に動きベクトルを算出することができ、画像の乱れなくフレーム補間を行うことができる。また、オクルージョン領域においても、画像の乱れなくフレーム補間を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る画像表示装置の構成を示すブロック図である。
【図２】図１の動きベクトル検出部２のテスト補間部７、補間データ評価部８及び動きベクトル決定部の具体例を示すブロック図である。
【図３】図１の動きベクトル検出部２の動作を説明するための図である。
【図４】図１の動きベクトル変換部３の動作を説明するための図である。
【図５】図１のオクルージョン領域推定部４及び補間フレーム生成部５の動作を説明するための図である。
【図６】図１の動きベクトル検出部２の具体例に用いる画像データと現フレームのデータと、第一の遅延フレームのデータと、第二のフレームのデータの対応関係を説明するための図である。
【図７】（ａ）〜（ｄ）は、図１の動きベクトル検出部２の動作の具体例を説明するための図である。
【図８】（ａ）及び（ｂ）は、図１の動きベクトル変換部３の動作の具体例を説明するための図である。
【図９】（ａ）〜（ｃ）は、図１のオクルージョン領域推定部４の動作の具体例を説明するための図である。
【図１０】図１の補間フレーム生成部５の動作の具体例を説明するための図である。
【図１１】本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面により説明する。本発明に係る画像処理装置は、画像の現フレームＦ０データと現フレームＦ０の１フレーム前のフレームＦ１のデータである第一の遅延フレームとの間に新たな補間フレームＩＦのデータを挿入するものであり、本発明に係る画像表示装置には、上記の画像処理装置から出力された画像データを表示する画像表示部を備えるものである。
【００１３】
実施の形態１．
図１は、本発明の実施の形態１に係る画像表示装置の構成を示す図である。実施の形態１に係る画像表示装置は、フレームメモリ１と、動きベクトル検出部２と、動きベクトル変換部３と、オクルージョン領域推定部４と、補間フレーム生成部５と、画像表示部６を備える。
【００１４】
画像データＦ０が、フレームメモリ１、動きベクトル検出部２、及び補間フレーム生成部５に入力される。
フレームメモリ１は、画像データＦ０を２フレーム分保存し、画像データＦ０に対して１フレーム分遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を出力する。これより画像データＦ０を現フレームのデータ、画像データＦ１を第一の遅延フレームのデータ、画像データＦ２を第二の遅延フレームのデータと言う。また、現フレーム、第一の遅延フレーム、第二の遅延フレームをそれぞれのフレームデータと同じ符号Ｆ０、Ｆ１、Ｆ２で表す。
【００１５】
第一の遅延フレームＦ１のデータは動きベクトル検出部２と補間フレーム生成部５に入力され、第二の遅延フレームＦ２のデータは動きベクトル検出部２に入力される。
【００１６】
動きベクトル検出部２は、現フレームＦ０のデータと、第一の遅延フレームＦ１のデータと、第二の遅延フレームＦ２のデータを参照して、第一の遅延フレームＦ１上の各ブロック（フレームの一部を成し、複数の画素で構成される）について、第一の遅延フレームＦ１から現フレームＦ０への第一の動きベクトルＭＶ１を算出して、動きベクトル変換部３に出力する。
【００１７】
動きベクトル変換部３は、第一の動きベクトルＭＶ１を、第一の遅延フレームＦ１から補間フレームＩＦへの第二の動きベクトルＭＶ２と、現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３に変換して、オクルージョン領域推定部４に出力する。
【００１８】
オクルージョン領域推定部４は、第二の動きベクトルＭＶ２及び第三の動きベクトルＭＶ３からオクルージョン領域（ＯＣ）を推定して、推定されたオクルージョン領域の情報に基づいて第二の動きベクトルＭＶ２及び第三の動きベクトルＭＶ３を修正して第四の動きベクトルＭＶ４及び第五の動きベクトルＭＶ５を補間フレーム生成部５に出力する。
【００１９】
オクルージョン領域とは、各フレーム、例えば補間フレームの前又は後のフレームに存在するブロック（従って該ブロックを構成する画素）に対応するブロック（従って、該ブロックを構成する画素）が補間フレームには存在しない領域及びその周辺の領域を意味する。例えば、画像中の一つの画像要素（例えば撮像対象中の物体に対応する画像要素）が他の画像要素の陰に隠れたり出現したりする場合にそれらの画像要素間の境界部分がオクルージョン領域となる。
【００２０】
例えば、オクルージョン領域推定部４は、第二の動きベクトルＭＶ２又は第三の動きベクトルＭＶ３が急激に変化する領域及びその周辺の領域を、オクルージョン領域と推定する。
【００２１】
ここで、動きベクトルが急激に変化するか否かは、例えば、隣接するブロック間で動きベクトルの変化が所定値以上であるか否かによって判断する。即ち、本実施の形態で説明しているように、複数の画素から成るブロック毎に動きベクトルを求める場合には、各ブロックについての動きベクトルと隣接するブロックについての動きベクトルとの差が所定値以上であれば、これら２つのブロックの間にエッジが存在すると判断する。
【００２２】
補間フレーム生成部５は、第一の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第四の動きベクトルＭＶ４及び第五の動きベクトルＭＶ５から、現フレームＦ０と第一の遅延フレームＦ１の間に位置する補間フレームＩＦのデータを生成し、生成した補間フレームＩＦのデータを現フレームＦ０のデータと第一の遅延フレームＦ１のデータの間に挿入した画像データＤＯを画像表示部６に出力する。
画像表示部６は、画像データＤＯを表示する。
【００２３】
次に、動きベクトル検出部２の構成について詳細に説明する。
動きベクトル検出部２は、現フレームブロック切り出し部１０、第一遅延フレームブロック切り出し部１１、第二遅延フレームブロック切り出し部１２、テスト補間部７、補間データ評価部８、及び動きベクトル決定部９を備える。
【００２４】
現フレームブロック切り出し部１０、第一遅延フレームブロック切り出し部１１、及び第二遅延フレームブロック切り出し部１２は、それぞれ、画面の一部を成すブロックを切り出し、ブロック内の画素のデータ（画素値）の集合をブロックデータとして出力する。各ブロックは例えば横方向Ｘ個、縦方向Ｙ個の画素（Ｙ個のライン）のサイズを有する矩形の領域から成る。即ち、現フレームＦ０から切り出されるブロックと、第一の遅延フレームＦ１から切り出されるブロックと、第二の遅延フレームＦ２から切り出されるブロックは、縦方向のサイズ（画素数）及び横方向のサイズ（画素数乃至ライン数）が互いに等しい。
【００２５】
現フレームブロック切り出し部１０は、現フレームＦ０からブロックを切り出し、第一遅延フレームブロック切り出し部１１は、第一の遅延フレームＦ１からブロックを切り出し、第二遅延フレームブロック切り出し部１２は、第二の遅延フレームＦ２からブロックを切り出す。
【００２６】
以下では、補間フレームＩＦ内の一つのブロックを補間により生成するに当たっての処理を説明する。この処理のためには、補間フレームＩＦ内の補間しようとするブロックに対応する第一の遅延フレームＦ１内の一つのブロックと、現フレームＦ０内の複数のブロックと、第二の遅延フレームＦ２内の複数のブロックが切り出される。現フレームＦ０から切り出されるブロックと、第二の遅延フレームＦ２から切り出されるブロックとは、第一の遅延フレームＦ１内のブロック（厳密には、その中心位置）を中心として点対称の位置にあるもので、これらが対として用いられる。即ち、現フレームブロック切り出し部１０及び第二遅延フレームブロック切り出し部１２は、第一の遅延フレームＦ１内のブロックを中心とし、一方が現フレームＦ０内に位置し、他方が第二の遅延フレームＦ２内に位置するブロックの対を複数個切り出す。
【００２７】
現フレームＦ０及び第二の遅延フレームＦ２からのブロックの対は、動きベクトル検出部２において検出される動きベクトルの候補に対応するものであり、例えば動きベクトルの探索範囲内のすべてのブロックが切り出される。例えば、第一の遅延フレームＦ１内の一つのブロックの中心位置を中心として、横方向に±ＨＳ画素、縦方向に±ＶＳ画素（±ＶＳライン）の範囲を探索する場合、第二の遅延フレームＦ２及び現フレームＦ０から、それぞれ（２ＨＳ＋１）×（２ＶＳ＋１）個のブロックが切り出される。
【００２８】
なお、探索範囲内のすべてのブロックについて評価を行う必要がない場合、例えば予め或いは他の情報により動きの方向の範囲が予測できる場合には、上記の探索範囲の予測される範囲内のブロックのみを切り出すこととしても良い。また、探索範囲内のブロックを間引きながら（例えば水平方向及び垂直方向に１画素おきに）切り出すこととしても良い。
【００２９】
以下では、現フレームＦ０及び第二の遅延フレームＦ２から切り出されるブロックの数をＭとし、現フレームＦ０から切り出されるブロックを第１乃至第ＭのブロックＦ０Ｂ１〜Ｆ０ＢＭ、第二の遅延フレームＦ２から切り出されるブロックを第１乃至第ＭのブロックＦ２Ｂ１〜Ｆ２ＢＭと呼ぶ。また、各ブロックのデータをブロックと同じ符号で表す。
【００３０】
第二の遅延フレームＦ２内の第ｍのブロックＦ２Ｂｍ（ｍ＝１〜Ｍ）と現フレームＦ０内の第ｍのブロックＦ０Ｂｍとは、第二の遅延フレームＦ１内のブロックＦ１Ｂ１（厳密にはその中心の画素）を中心として点対称の位置にあるので、ブロックＦ２ＢｍのブロックＦ１Ｂ１に対する横方向のずれをｈ（ｈ＝−ＨＳ〜＋ＨＳ）、縦方向のずれをｖ（ｖ＝−ＶＳ〜＋ＶＳ）とすると、ブロックＦ０ＢｍのブロックＦ１Ｂ１に対する横方向のずれは−ｈ、縦方向のずれは−ｖである。
【００３１】
現フレームブロック切り出し部１０は、現フレーム内の複数の、即ち第一乃至第Ｍのブロックを切り出して、第一乃至第ＭのブロックデータＦ０Ｂ１〜Ｆ０ＢＭを出力する。
第一遅延フレームブロック切り出し部１１は、第一の遅延フレーム内のブロックＦ１Ｂ１を切り出す。このブロックＦ１Ｂ１は、補間フレームＩＦ内の補間対象ブロックに対応するものである。
第二遅延フレームブロック切り出し部１２は、第二の遅延フレーム内の複数の、即ち第一乃至第Ｍのブロックを切り出して、第一乃至第ＭのブロックデータＦ２Ｂ１〜Ｆ２ＢＭを出力する。
【００３２】
現フレームＦ０のブロックデータと第二の遅延フレームＦ２のブロックデータが、テスト補間部７に入力される。テスト補間部７は、第二の遅延フレームＦ２のブロックデータと現フレームＦ０のブロックデータのうち、第一の遅延フレームＦ１内のブロックＦ１Ｂ１を中心として、互いに点対称の位置にある第一の遅延フレームＦ１内のブロックと、現フレームＦ０内のブロックから成るブロック対のデータに基づいて、テスト補間データを生成する。複数のブロック対に基づいて複数のテスト補間データが生成される。このテスト補間は、上記点対称の中心位置、即ち上記第一のフレームＦ１内のブロックＦ１Ｂ１のデータが未知であると仮定して行うものであり、補間が正確であればあるほど、テスト補間データは、ブロックＦ１Ｂ１のデータとの相関が高いものとなる。
【００３３】
補間データ評価部８は、第一の遅延フレームＦ１のブロックデータを参照して複数のテスト補間データの評価を行い、評価データＥＤを動きベクトル決定部９に出力する。この評価においては、テスト補間データと、第一の遅延フレームＦ１のブロックデータとの相関を求め、相関が高いほど高い評価が与えられる。
【００３４】
動きベクトル決定部９は、評価データＥＤに基づいて第一の動きベクトルＭＶ１を生成して出力する。
【００３５】
次に、図２を参照して動きベクトル検出部２のテスト補間部７、補間データ評価部８及び動きベクトル決定部９の具体例についてさらに詳しく説明する。
【００３６】
テスト補間部７は、複数の、即ち第一乃至第Ｍのテスト補間データ生成部７−１〜７−Ｍを備え、補間データ評価部８は複数の、即ち第一乃至第Ｍの差分絶対値和算出部８−１〜８−Ｍを備えるものとして図示されている。
【００３７】
テスト補間データ生成部７−１〜７−Ｍは、現フレームＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭと、それぞれこれらと対をなす第二の遅延フレームＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを画素ごとに平均することで得られる平均値から成るデータをテスト補間データＴＤ1〜ＴＤＭとして算出する。図１には、テスト補間データＴＤ１〜ＴＤＭの集合が符号ＴＤで表されている。
【００３８】
以下、より詳しく説明する。
現フレームＦ０の第一のブロックデータＦ０Ｂ１と第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１がテスト補間データ生成部７−１に入力される。
【００３９】
テスト補間データ生成部７−１は、現フレームＦ０の第一のブロックデータＦ０Ｂ１と第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１の画素ごとの平均値を第一のテスト補間データＴＤ１として差分絶対値和算出部８−１に出力する。ここで画素ごとの平均値とは、現フレームＦ０内のブロックにおける各画素と、第二の遅延フレーム内のブロックにおける対応する位置の画素の画素値(例えばそれぞれのブロックの基準位置、例えば左上隅を原点として同じ座標値で表される画素の画素値）の平均値を意味する。
【００４０】
同様に、現フレームＦ０の第二のブロックデータＦ０Ｂ２と第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２がテスト補間データ生成部７−２に入力される。テスト補間データ生成部７−２は、現フレームＦ０の第二のブロックデータＦ０Ｂ２と第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２の画素ごとの平均値を第二のテスト補間データＴＤ２として差分絶対値和算出部８−２に出力する。
【００４１】
テスト補間データ生成部７−３〜７−Ｍも同様に現フレームＦ０の第三のブロックデータＦ０Ｂ３乃至第ＭのブロックデータＦ０ＢＭと第二の遅延フレームＦ２の第三のブロックデータＦ２Ｂ３乃至第ＭのブロックデータＦ２ＢＭに基づいて第三のテスト補間データＴＤ３乃至第Ｍのテスト補間データＴＤＭを生成し、差分絶対値和算出部８−３〜８−Ｍに出力する。
【００４２】
一般化して言えば、テスト補間データ生成部７−ｍは、現フレームＦ０の第ｍのブロックデータＦ０Ｂｍ（ｍ＝１〜Ｍ）と第二の遅延フレームＦ２の第ｍのブロックデータＦ２Ｂｍに基づいて第ｍのテスト補間データＴＤｍを生成し、差分絶対値和算出部８−ｍに出力する。
【００４３】
第一の遅延フレームＦ１のブロックデータＦ１Ｂ１が補間データ評価部８内の差分絶対値和算出部８−１〜８−Ｍに入力される。
【００４４】
差分絶対値和算出部８−１〜８−Ｍは、それぞれテスト補間データ生成部７から出力されるテスト補間データＴＤ１〜ＴＤＭと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の差分絶対値和を算出し、評価データＥＤ１〜ＥＤＭとして出力する。
【００４５】
差分絶対値和算出部８−１は、第一のテスト補間データＴＤ１の各画素のデータと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の各画素のデータの差分絶対値の和を算出し、評価データＥＤ１として動きベクトル決定部９に出力する。差分絶対値和は式（１）により表される。
【００４６】
【数１】
【００４７】
式（１）で与えられる差分絶対値和は、その値が小さいほど、相関が高いことを意味し、差分絶対値和ＳＡＤを評価データとして用いる場合、その値が小さいほど、評価が高いことを表す。
【００４８】
ここで、ＢＫ１、ＢＫ２はブロック内の各画素のデータであり、ＢＫ１をテスト補間データＴＤ１を構成する各画素のデータ、ＢＫ２をブロックＦ１Ｂ１内の各画素のデータとすると式（１）は第一のテスト補間データＴＤ１の各画素のデータと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の各画素のデータの差分絶対値和となり、差分絶対値和ＳＡＤが評価データＥＤ１として差分絶対値和算出部８−１から出力される。
【００４９】
差分絶対値和算出部８−２〜８−Ｍも同様に、第二のテスト補間データＴＤ２乃至第Ｍのテスト補間データＴＤＭと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の差分絶対値和を算出し、評価データＥＤ２〜ＥＤＭとして動きベクトル決定部９に出力する。
【００５０】
動きベクトル決定部９は、評価データＥＤ１〜ＥＤＭのうち最も評価の高い評価データ (最も小さい差分絶対値和)に対応するブロック対を構成する現フレームＦ０のブロックと第二の遅延フレームＦ２のブロックとの位置の差（第二の遅延フレームＦ２内のブロックに対する現フレームＦ０内のブロックの相対位置）の１／２を動きベクトルＭＶ１として出力する。
【００５１】
図３は、動きベクトル検出部２の動作を説明するための図である。Ｍ＝２の場合について説明する。
第一の遅延フレームＦ１の一部の領域が第一の遅延フレームＦ１のブロックデータＦ１Ｂ１として切り出されている。
【００５２】
第一の遅延フレームＦ１のブロックデータＦ１Ｂ１に対してベクトル−Ｖ１ずらした位置に対応する領域が第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１として設定されて切り出され、ベクトル＋Ｖずらした位置に対応する領域が現フレームＦ０の第一のブロックデータＦ０Ｂ１として設定されて切り出される。
【００５３】
また、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１に対してベクトル−Ｖ２ずらした位置に対応する領域が第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２として設定されて切り出され、ベクトル＋Ｖ２ずらした位置に対応する領域が現フレームＦ０の第二のブロックデータＦ０Ｂ２として設定されて切り出される。
【００５４】
テスト補間データ生成部７−１は、現フレームＦ０の第一のブロックデータＦ０Ｂ１と第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１を画素ごとに平均してテスト補間データＴＤ１を生成する。
テスト補間データ生成部７−２も同様に、現フレームＦ０の第二のブロックデータＦ０Ｂ２と第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２を画素ごとに平均してテスト補間データＴＤ２を生成する。
【００５５】
差分絶対値和算出部８−１は、テスト補間データＴＤ１と第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤ１として出力する。
【００５６】
差分絶対値和算出部８−２も同様に、テスト補間データＴＤ２と第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤ２として出力する。
【００５７】
動きベクトル決定部９は、評価データＥＤ１及びＥＤ２のうち値が小さい方を生じさせたブロック対を構成するブロックについての上記のずれ（＋Ｖ１又は＋Ｖ２）を、動きベクトルＭＶ１として出力する。例えば、評価データＥＤ２より評価データＥＤ１の方が小さい場合、ベクトルＶ１を動きベクトルＭＶ１として出力する。
【００５８】
図３では、２つのベクトルから第一の動きベクトルを決定する方法について説明したが、本発明に係る実施の形態の構成はＭ＝２に限定されない。即ち、候補としてのベクトルを３個以上設定しても良い。例えば、第一の遅延フレーム内のブロックＦ１Ｂ１に対して、所定の動き量に対応する探索範囲内に位置する第二の遅延フレーム内のすべてのブロック及びこれと点対称位置にある現フレーム内のブロックについてのテスト補間を行うこととしても良い。
【００５９】
動きベクトル検出部２では、上記のように実在のデータである第二遅延フレームＦ１内のデータを用いてベクトルの候補を評価することにより動きベクトルを決定しているので現フレームＦ０から第一の遅延フレームＦ１への動きベクトルを精度良く算出することができる。
【００６０】
なお、補間データ評価部８では差分絶対値和を用いて評価データを算出したが、相関を求める関数は自乗誤差和など他にも多数あり、これに置き換えることも可能である。
【００６１】
次に、図４を参照して、動きベクトル変換部３の動作についてより詳細に説明する。
動きベクトル変換部３は、第一の遅延フレームＦ１から現フレームＦ０への動きベクトルＭＶ１を、第一の遅延フレームＦ１から補間フレームＩＦへの第二の動きベクトルＭＶ２と、現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３に変換する。
【００６２】
図４に示すように入力フレームの時間間隔をｔ１、第一の遅延フレームＦ１から補間フレームＩＦへの時間間隔をｔ２とした時、式（２Ａ）及び式（２Ｂ）により動きベクトルＭＶ２及びＭＶ３を算出する。たとえば、６０Ｈｚの入力画像信号から１２０Ｈｚの画像信号に変換する場合、ｔ１は１／６０秒、ｔ２は１／１２０秒となる。
【００６３】
ＭＶ２＝ＭＶ１×ｔ２／ｔ１ …（２Ａ）
ＭＶ３＝−ＭＶ１×（ｔ１−ｔ２）／ｔ１ …（２Ｂ）
【００６４】
このような変換は、第一の遅延フレームＦ１から現フレームＦ０へのベクトルＭＶ１を、第一の遅延フレームＦ１と補間フレームＩＦと現フレームＦ０との時間間隔（ｔ２、ｔ１−ｔ２）に応じて内分する処理を用いた変換であると言える。
【００６５】
次に、図５(ａ）〜（ｃ）を参照して、オクルージョン領域推定部４及び補間フレーム生成部５の動作についてより詳細に説明する。
【００６６】
オクルージョン領域推定部４では、補間フレーム上で動きベクトルＭＶ２及びＭＶ３が急激に変化するエッジを検出する。動きベクトルのエッジ（動きベクトルの差が小さい連続した複数のブロックから成る一つの領域と、動きベクトルの差が小さい連続した複数のブロックから成る別の領域との境界）では、補間フレームの前後で画像要素が隠れたり出現したりしているが、図５（ｂ）に示すようにオクルージョン領域推定部４では当該エッジの周辺を含めた領域をオクルージョン領域ＯＣとする。ここで、オクルージョン領域ＯＣとする範囲は動きベクトルの大きさにより、動きベクトルの大きいほど、オクルージョン領域ＯＣの範囲を大きくする。
【００６７】
次に求めたオクルージョン領域ＯＣでは時間的に前のフレーム及び時間的に後のフレームのどちらからデータを取得し、補間に用いるべきかを判定する。動きベクトルのエッジを挟んで隣接する二つ領域の動きベクトルが互いに近づく方向のものであれば、一方の画像要素が隠れるので過去のフレームからデータを取る（過去のフレームのデータを、補間フレームのデータとして用いる）ようにする。つまり、動きベクトルＭＶ２を第四のベクトルＭＶ４として出力し、第五のベクトルＭＶ５を「対応なし」と出力する（第五のベクトルＭＶ５に対応するベクトルが存在しないことを示す情報を出力する）。
【００６８】
一方、動きベクトルのエッジを挟んで隣接する（即ち、エッジの両側に位置する）二つの領域の動きベクトルが互いに遠ざかる方向のものであれば、隠れていた画像要素が現れるので未来のフレームからデータを取る（未来のフレームのデータを、補間フレームのデータとして用いる）ようにする。つまり、第四のベクトルＭＶ４を「対応なし」と出力し（第四のベクトルＭＶ４に対応するベクトルが存在しないことを示す情報を出力し）、動きベクトルＭＶ３を第五のベクトルＭＶ５として出力する。
【００６９】
このようにして第四及び第五のベクトルＭＶ４及びＭＶ５を求めたら、補間フレームＩＦからベクトル−ＭＶ４の位置の第一の遅延フレームＦ１のデータ（ブロックＦ１Ｂ１内のデータ）と補間フレームＩＦからベクトル−ＭＶ５の位置の現フレームＦ０のデータ（ブロックＦ０Ｂ１内のデータ）の平均を補間フレームＩＦのデータとして算出する。このとき、補間に用いられる第一の遅延フレームＦ１のブロックデータＦ１Ｂ１と、現フレームＦ０のブロックデータＦ０Ｂ１とは、補間フレームＩＦ内の補間により得られるデータの位置を中心として、互いに対称の位置にある。ただし、第四及び第五のベクトルＭＶ４及びＭＶ５の一方が「対応するブロックなし」の場合は、第四及び第五のベクトルＭＶ４及びＭＶ５の他方のみのデータをそのまま補間フレームＩＦのデータとして算出する。
【００７０】
生成したデータから成る補間フレームＩＦのデータを第一の遅延フレームＦ１のデータと現フレームＦ０のデータ間に内挿して出力する。
【００７１】
図６（ａ）及び（ｂ）は、動きベクトル検出部２の具体例に用いる現フレームＦ０のデータ、第一の遅延フレームＦ１のデータ、第二のフレームＦ２のデータの対応関係を説明するための図である。図６（ａ）及び（ｂ）に示すような映像を表す信号が入力された場合の本実施の形態１の動作を説明する。図６(ａ）及び（ｂ）に示す映像においては、画像要素としての英文字が左から右へ移動しており、動きのない画像要素としての黒の四角（図では、「黒」をクロスハッチングで示している）によって英文字が隠れる。
【００７２】
図７（ａ）〜（ｄ）は、動きベクトル検出部２の動作の具体例を説明するための図である。図７（ａ）は動きベクトル検出部２に入力される画像データの具体例を説明するための図である。図７（ｂ）〜（ｄ）はテスト補間部７及び補間データ評価部８の動作を説明するための図である。
【００７３】
図７（ａ）に示すような第二の遅延フレームＦ２のデータ、第一の遅延フレームＦ１のデータ、現フレームＦ０のデータを入力とした場合の動きベクトル検出部２の動作を説明する。
【００７４】
テスト補間部７では、動きベクトルごとにテスト補間データを生成する。図７（ｂ）に示すように第一の遅延フレームＦ１の一部の領域を第一の遅延フレームＦ１のブロックデータＦ１Ｂ１とし、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から−Ｖ１ずらした位置の第二の遅延フレームＦ２のブロックデータを第一のブロックデータＦ２Ｂ１とし、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１からＶ１ずらした位置の現フレームＦ０のブロックデータをブロックデータＦ０Ｂ１とする。また、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から−Ｖ２ずらした位置の第二の遅延フレームＦ２のブロックデータをブロックデータＦ２Ｂ２とし、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１からＶ２ずらした位置の現フレームＦ０のブロックデータをブロックデータＦ０Ｂ２とする。
【００７５】
図７（ｃ）に示すように、第一のブロックデータＦ２Ｂ１と、ブロックデータＦ０Ｂ１から画素ごとの平均をテスト補間データＴＤ１として生成する。
図７（ｃ）には、テスト補間データＴＤ１で表される画像に文字Ｆが含まれることを示す。同様に、図７（ｄ）に示すようにテスト補間データＴＤ２を生成する。
【００７６】
補間データ評価部８では、図７（ｃ）〜（ｄ）に示すようなテスト補間データＴＤ１〜ＴＤ２のそれぞれとブロックデータＦ１Ｂ１との差分絶対値和を算出し、評価データＥＤ１〜ＥＤ２を出力する。図７（ａ）〜（ｄ）の具体例では、テスト補間データＴＤ１で表される画像が文字「Ｆ」を含み、ブロックＦ１Ｂ１との差分絶対値和が一番小さくなるので評価データＥＤ１が一番小さくなる。
【００７７】
動きベクトル決定部９では、評価データＥＤ１〜ＥＤ２のうち一番小さい評価データＥＤ１に対応した動きベクトルＶ１がブロックデータＦ１Ｂ１の動きベクトルとして出力される。
【００７８】
第一の遅延フレームＦ１についてもれなく（隙間なく）ブロックを設定し動きベクトルを算出することで第一の遅延フレームＦ１のすべての部分について第一の動きベクトルＭＶ１が生成される。即ち、第一の遅延フレームＦ１を、複数の、例えば互いに等しい大きさのブロックに分割し、各ブロックについて上記の処理を行うことで、当該ブロックについての第一の動きベクトルＭＶ１を生成し、当該ブロックに対応する位置、例えば同じ位置にある、補間フレーム内のブロックについて、上記第一の動きベクトルを用いた変換を行うことで、第二及び第三の動きベクトルを求めることとしても良い。
【００７９】
また、第一の遅延フレーム内の各画素を中心とする所定の大きさのブロックについて、上記の処理を行うことで、当該画素についての第一の動きベクトルＭＶ１を生成し、当該画素に対応する位置、例えば同じ位置にある、補間フレーム内の画素について、上記第一の動きベクトルを用いた変換を行うことで、第二及び第三の動きベクトルを求めることとしても良い。
【００８０】
図８（ａ）及び（ｂ）は、動きベクトル変換部３の動作の具体例を説明するための図である。図８（ａ）は動きベクトル変換部３の入力、図８（ｂ）は動きベクトル変換部３の出力を示す。
【００８１】
動きベクトル変換部３は、図８（ａ）に示される、第一の遅延フレームＦ１から現フレームＦ０への動きベクトルＭＶ１に対して式（２Ａ）及び式（２Ｂ）を用いて、さらに、ｔ２＝ｔ１／２として、図８（ｂ）に示される、第一の遅延フレームＦ１から補間フレームＩＦへの第二の動きベクトルＭＶ２と現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３に変換する。図８（ａ）及び（ｂ）に示す具体例では、ＭＶ１はＶ１、ｔ１は１／６０秒、ｔ２は１／１２０秒なので、式（２Ａ）及び式（２Ｂ）よりＭＶ２はＶ１／２、ＭＶ３は−Ｖ１／２となる。
【００８２】
図９（ａ）〜（ｃ）は、オクルージョン領域推定部４の動作の具体例を説明するための図である。図９（ａ）は、画像中の２つの領域Ｒａ、Ｒｂの各々における、現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３の値を示す。図示の例では、領域Ｒａ内では、第三の動きベクトルＭＶ３が−Ｖ１／２であり、領域Ｒｂ内では、動きベクトルＭＶ３が０である。図９（ｂ）は推定されるオクルージョン領域ＯＣを示し、図９（ｃ）は第一の遅延フレームＦ１から補間フレームＩＦへの第四の動きベクトルＭＶ４と現フレームＦ０から補間フレームＩＦへの第五の動きベクトルＭＶ５を示している。
【００８３】
オクルージョン領域推定部４は、図９（ａ）に示されるような値を持つ第三の動きベクトルＭＶ３から、図９（ｂ）に示されるような動きベクトルのエッジ（動きベクトルが−Ｖ１／２である領域Ｒａと、ベクトルが０である領域Ｒｂの境界）及びその周辺の領域をオクルージョン領域ＯＣとして推定する。また、領域Ｒａ内の動きベクトル−Ｖ１／２と「０」とは互いに遠ざかるものであると判断する。
【００８４】
先にも述べたように、エッジの検出は、動きベクトルの急激な変化に基づいて行われる。
推定されたオクルージョン領域ＯＣにおいては、第一の遅延フレームＦ１から補間フレームＩＦへの第四の動きベクトルＭＶ４と現フレームＦ０から補間フレームＩＦへの第五の動きベクトルＭＶ５は、図９（ｃ）に示すものとなる。即ち、第四の動きベクトルＭＶ４は、ＭＶ２＝−ＭＶ３＝Ｖ１／２と同じ値とされ、第五の動きベクトルＭＶ５は、「対応なし」とされる。
【００８５】
図１０は、補間フレーム生成部５の動作の具体例を説明するための図である。図１０に示すように補間フレームＩＦから−ＭＶ４動かした位置の第一の遅延フレームＦ１のデータと−ＭＶ５動かした位置の現フレームＦ０のデータの平均を補間フレームＩＦのデータとして算出する。ただし、図１０の矢印が示すように、一方の動きベクトル（ＭＶ５）が対応していない場合は他方の動きベクトル（ＭＶ４）に対応するデータを補間フレームＩＦとする。生成した補間フレームＩＦを第一の遅延フレームＦ１と現フレームＦ０の間に内挿して出力する。
【００８６】
ここで比較のため、オクルージョン領域推定部４が設けられていない場合を考える。この場合、第二の動きベクトルＭＶ２と第三の動きベクトルＭＶ３が（第四の動きベクトルＭＶ４及び第五の動きベクトルＭＶ５の代わりに）補間フレーム生成部５へ入力される。そうすると、補間フレームＩＦで英文字「Ｆ」となっている領域は黒（図ではクロスハッチングで示す）（現フレームＦ０のデータ）と英文字「Ｆ」（第一の遅延フレームＦ１のデータ）の平均した画像になり、エッジが不鮮明となり画質が劣化する。
これに対して、本発明では、上記の平均化は行われず、一方の動きベクトルに基づき補間フレームのデータを決めるのでは、エッジの鮮鋭さを維持することができ、画像の乱れを抑制することができる。
【００８７】
以上より、本実施の形態では、動きベクトルの評価を行うことにより動きベクトルが精度良く検出され、画像の乱れなく補間フレームを生成することができる。
さらに補間するフレームの前後で画像要素が隠れたり出現したりする場合でも、画像の乱れなくフレーム補間を行うことができる。
【００８８】
図１１は、以上に説明した本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。
【００８９】
まず、動きベクトル検出ステップＳＴ１では、画像データＦ０と、画像データＦ０に対して１フレーム遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を参照して第一の遅延フレームＦ１から現フレームＦ０への第一の動きベクトルＭＶ１を生成する。この動作は、動きベクトル検出部２と同等である。
【００９０】
動きベクトル変換ステップＳＴ２では、第一の動きベクトルＭＶ１を、第一の遅延フレームＦ１から補間フレームＩＦ（現フレームＦ０と第一の遅延フレームＦ１の間に挿入される）への第二の動きベクトルＭＶ２と、現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３に変換する。この動作は、動きベクトル変換部３と同等である。
【００９１】
オクルージョン領域推定ステップＳＴ３では、オクルージョン領域推定部４は、第二の動きベクトルＭＶ２及び第三の動きベクトルＭＶ３からオクルージョン領域ＯＣを推定して、推定されたオクルージョン領域の情報に基づいて第二の動きベクトルＭＶ２及び第三の動きベクトルＭＶ３を修正して第四の動きベクトルＭＶ４及び第五の動きベクトルＭＶ５を生成する。この動作は、オクルージョン領域推定部４と同等である。
【００９２】
補間フレーム生成ステップＳＴ４では、第一の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第四の動きベクトルＭＶ４及び第五の動きベクトルＭＶ５から補間フレームＩＦのデータを生成し、生成した補間フレームＩＦのデータを現フレームＦ０のデータと第一の遅延フレームＦ１のデータの間に挿入した画像データＤＯを生成する。この動作は、補間フレーム生成部５と同等である。
【００９３】
図１１を参照して行った説明から理解されるように、図１の画像処理装置の一部、特に動きベクトル検出部２、動きベクトル変換部３、オクルージョン領域推定部４及び補間フレーム生成部５は、その一部又は全部を、ソフトウェアにより、即ちプログラムされたコンピュータにより実現することができる。
【符号の説明】
【００９４】
１ フレームメモリ、 ２ 動きベクトル検出部、 ３ 動きベクトル変換部、 ４ オクルージョン領域推定部、 ５ 補間フレーム生成部、 ６ 画像表示部、 ７ テスト補間部、 ８ 補間データ評価部、 ９ 動きベクトル決定部、 １０ 現フレームブロック切り出し部、 １１ 第一遅延フレームブロック切り出し部、 １２ 第二遅延フレームブロック切り出し部。
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、並びに画像表示装置及び方法に関する。本発明は特に、画像のフレーム間に新たな補間フレームを挿入するフレーム補間処理に関するものである。
【背景技術】
【０００２】
液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の画像要素（例えば、撮像対象中の物体に対応する画像要素）が動いた場合に、動く画像要素に対する人間の目の追従が連続的に移動するのに対して、画像要素の移動が１フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を多くして画像要素の移動をスムーズにすることが考えられる。
【０００３】
また、映画などのフィルム映像がテレビ信号に変換された素材については、両者（フィルム映像とテレビ信号）のフレーム周波数の違いから、２フレーム又は３フレームが同じフレームから作られた画像信号となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。
【０００４】
また、同様にコンピュータ処理された映像がテレビ信号に変換された素材についても、２フレームが同じフレームから作られた画像信号であり、そのまま表示すると同様にジャダーが発生する問題がある。
【０００５】
従来の画像処理装置及び方法は、補間フレームに対して１フレーム前のフレームと同じ画像で補間する零次ホールド法か、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像で補間する平均値補間法などがあるが、零次ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が２重像になる問題がある。
【０００６】
この改善策として、補間フレームの補間画素に対して点対称の位置にある時間的に前のフレーム上の画素と時間的に後のフレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある（例えば、特許文献１参照）。この方法では、画素単位での相関検出のため、画像の内容が異なるにも拘らず、画素間の相関が大きいと検出される場合があり、正しく補間フレームが生成できない場合がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１２９１８１号公報（第８頁、第３図）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来のフレーム補間処理は、上記の様に構成されており、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。また、画素単位の相関を検出する方法では、正しく相関検出ができないために正しく補間フレームが生成できない問題がある。
また、補間するフレームの前後で画像要素が隠れたり出現したりする場合、補間フレームが著しく乱れる。
【課題を解決するための手段】
【０００９】
本発明の一つの態様の画像処理装置は、
画像の現フレームと現フレームの１フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理装置において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの２フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出部と、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換部と、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定部と、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを備え、
前記動きベクトル検出部は、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間部と、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価部と、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定部とを備える
ことを特徴とする。
本発明の他の態様の画像処理方法は、
画像の現フレームと現フレームの１フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理方法において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの２フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出ステップと、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換ステップと、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定ステップと、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを備え、
前記動きベクトル検出ステップは、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間ステップと、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価ステップと、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定ステップとを備える
ことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、テスト補間の結果を評価し、評価結果に基づいて動きベクトルを決定するので、高精度に動きベクトルを算出することができ、画像の乱れなくフレーム補間を行うことができる。また、オクルージョン領域においても、画像の乱れなくフレーム補間を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る画像表示装置の構成を示すブロック図である。
【図２】図１の動きベクトル検出部２のテスト補間部７、補間データ評価部８及び動きベクトル決定部の具体例を示すブロック図である。
【図３】図１の動きベクトル検出部２の動作を説明するための図である。
【図４】図１の動きベクトル変換部３の動作を説明するための図である。
【図５】図１のオクルージョン領域推定部４及び補間フレーム生成部５の動作を説明するための図である。
【図６】図１の動きベクトル検出部２の具体例に用いる画像データと現フレームのデータと、第一の遅延フレームのデータと、第二のフレームのデータの対応関係を説明するための図である。
【図７】（ａ）〜（ｄ）は、図１の動きベクトル検出部２の動作の具体例を説明するための図である。
【図８】（ａ）及び（ｂ）は、図１の動きベクトル変換部３の動作の具体例を説明するための図である。
【図９】（ａ）〜（ｃ）は、図１のオクルージョン領域推定部４の動作の具体例を説明するための図である。
【図１０】図１の補間フレーム生成部５の動作の具体例を説明するための図である。
【図１１】本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面により説明する。本発明に係る画像処理装置は、画像の現フレームＦ０データと現フレームＦ０の１フレーム前のフレームＦ１のデータである第一の遅延フレームとの間に新たな補間フレームＩＦのデータを挿入するものであり、本発明に係る画像表示装置には、上記の画像処理装置から出力された画像データを表示する画像表示部を備えるものである。
【００１３】
実施の形態１．
図１は、本発明の実施の形態１に係る画像表示装置の構成を示す図である。実施の形態１に係る画像表示装置は、フレームメモリ１と、動きベクトル検出部２と、動きベクトル変換部３と、オクルージョン領域推定部４と、補間フレーム生成部５と、画像表示部６を備える。
【００１４】
画像データＦ０が、フレームメモリ１、動きベクトル検出部２、及び補間フレーム生成部５に入力される。
フレームメモリ１は、画像データＦ０を２フレーム分保存し、画像データＦ０に対して１フレーム分遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を出力する。これより画像データＦ０を現フレームのデータ、画像データＦ１を第一の遅延フレームのデータ、画像データＦ２を第二の遅延フレームのデータと言う。また、現フレーム、第一の遅延フレーム、第二の遅延フレームをそれぞれのフレームデータと同じ符号Ｆ０、Ｆ１、Ｆ２で表す。
【００１５】
第一の遅延フレームＦ１のデータは動きベクトル検出部２と補間フレーム生成部５に入力され、第二の遅延フレームＦ２のデータは動きベクトル検出部２に入力される。
【００１６】
動きベクトル検出部２は、現フレームＦ０のデータと、第一の遅延フレームＦ１のデータと、第二の遅延フレームＦ２のデータを参照して、第一の遅延フレームＦ１上の各ブロック（フレームの一部を成し、複数の画素で構成される）について、第一の遅延フレームＦ１から現フレームＦ０への第一の動きベクトルＭＶ１を算出して、動きベクトル変換部３に出力する。
【００１７】
動きベクトル変換部３は、第一の動きベクトルＭＶ１を、第一の遅延フレームＦ１から補間フレームＩＦへの第二の動きベクトルＭＶ２と、現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３に変換して、オクルージョン領域推定部４に出力する。
【００１８】
オクルージョン領域推定部４は、第二の動きベクトルＭＶ２及び第三の動きベクトルＭＶ３からオクルージョン領域（ＯＣ）を推定して、推定されたオクルージョン領域の情報に基づいて第二の動きベクトルＭＶ２及び第三の動きベクトルＭＶ３を修正して第四の動きベクトルＭＶ４及び第五の動きベクトルＭＶ５を補間フレーム生成部５に出力する。
【００１９】
オクルージョン領域とは、各フレーム、例えば補間フレームの前又は後のフレームに存在するブロック（従って該ブロックを構成する画素）に対応するブロック（従って、該ブロックを構成する画素）が補間フレームには存在しない領域及びその周辺の領域を意味する。例えば、画像中の一つの画像要素（例えば撮像対象中の物体に対応する画像要素）が他の画像要素の陰に隠れたり出現したりする場合にそれらの画像要素間の境界部分がオクルージョン領域となる。
【００２０】
例えば、オクルージョン領域推定部４は、第二の動きベクトルＭＶ２又は第三の動きベクトルＭＶ３が急激に変化する領域及びその周辺の領域を、オクルージョン領域と推定する。
【００２１】
ここで、動きベクトルが急激に変化するか否かは、例えば、隣接するブロック間で動きベクトルの変化が所定値以上であるか否かによって判断する。即ち、本実施の形態で説明しているように、複数の画素から成るブロック毎に動きベクトルを求める場合には、各ブロックについての動きベクトルと隣接するブロックについての動きベクトルとの差が所定値以上であれば、これら２つのブロックの間にエッジが存在すると判断する。
【００２２】
補間フレーム生成部５は、第一の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第四の動きベクトルＭＶ４及び第五の動きベクトルＭＶ５から、現フレームＦ０と第一の遅延フレームＦ１の間に位置する補間フレームＩＦのデータを生成し、生成した補間フレームＩＦのデータを現フレームＦ０のデータと第一の遅延フレームＦ１のデータの間に挿入した画像データＤＯを画像表示部６に出力する。
画像表示部６は、画像データＤＯを表示する。
【００２３】
次に、動きベクトル検出部２の構成について詳細に説明する。
動きベクトル検出部２は、現フレームブロック切り出し部１０、第一遅延フレームブロック切り出し部１１、第二遅延フレームブロック切り出し部１２、テスト補間部７、補間データ評価部８、及び動きベクトル決定部９を備える。
【００２４】
現フレームブロック切り出し部１０、第一遅延フレームブロック切り出し部１１、及び第二遅延フレームブロック切り出し部１２は、それぞれ、画面の一部を成すブロックを切り出し、ブロック内の画素のデータ（画素値）の集合をブロックデータとして出力する。各ブロックは例えば横方向Ｘ個、縦方向Ｙ個の画素（Ｙ個のライン）のサイズを有する矩形の領域から成る。即ち、現フレームＦ０から切り出されるブロックと、第一の遅延フレームＦ１から切り出されるブロックと、第二の遅延フレームＦ２から切り出されるブロックは、縦方向のサイズ（画素数）及び横方向のサイズ（画素数乃至ライン数）が互いに等しい。
【００２５】
現フレームブロック切り出し部１０は、現フレームＦ０からブロックを切り出し、第一遅延フレームブロック切り出し部１１は、第一の遅延フレームＦ１からブロックを切り出し、第二遅延フレームブロック切り出し部１２は、第二の遅延フレームＦ２からブロックを切り出す。
【００２６】
以下では、補間フレームＩＦ内の一つのブロックを補間により生成するに当たっての処理を説明する。この処理のためには、補間フレームＩＦ内の補間しようとするブロックに対応する第一の遅延フレームＦ１内の一つのブロックと、現フレームＦ０内の複数のブロックと、第二の遅延フレームＦ２内の複数のブロックが切り出される。現フレームＦ０から切り出されるブロックと、第二の遅延フレームＦ２から切り出されるブロックとは、第一の遅延フレームＦ１内のブロック（厳密には、その中心位置）を中心として点対称の位置にあるもので、これらが対として用いられる。即ち、現フレームブロック切り出し部１０及び第二遅延フレームブロック切り出し部１２は、第一の遅延フレームＦ１内のブロックを中心とし、一方が現フレームＦ０内に位置し、他方が第二の遅延フレームＦ２内に位置するブロックの対を複数個切り出す。
【００２７】
現フレームＦ０及び第二の遅延フレームＦ２からのブロックの対は、動きベクトル検出部２において検出される動きベクトルの候補に対応するものであり、例えば動きベクトルの探索範囲内のすべてのブロックが切り出される。例えば、第一の遅延フレームＦ１内の一つのブロックの中心位置を中心として、横方向に±ＨＳ画素、縦方向に±ＶＳ画素（±ＶＳライン）の範囲を探索する場合、第二の遅延フレームＦ２及び現フレームＦ０から、それぞれ（２ＨＳ＋１）×（２ＶＳ＋１）個のブロックが切り出される。
【００２８】
なお、探索範囲内のすべてのブロックについて評価を行う必要がない場合、例えば予め或いは他の情報により動きの方向の範囲が予測できる場合には、上記の探索範囲の予測される範囲内のブロックのみを切り出すこととしても良い。また、探索範囲内のブロックを間引きながら（例えば水平方向及び垂直方向に１画素おきに）切り出すこととしても良い。
【００２９】
以下では、現フレームＦ０及び第二の遅延フレームＦ２から切り出されるブロックの数をＭとし、現フレームＦ０から切り出されるブロックを第１乃至第ＭのブロックＦ０Ｂ１〜Ｆ０ＢＭ、第二の遅延フレームＦ２から切り出されるブロックを第１乃至第ＭのブロックＦ２Ｂ１〜Ｆ２ＢＭと呼ぶ。また、各ブロックのデータをブロックと同じ符号で表す。
【００３０】
第二の遅延フレームＦ２内の第ｍのブロックＦ２Ｂｍ（ｍ＝１〜Ｍ）と現フレームＦ０内の第ｍのブロックＦ０Ｂｍとは、第二の遅延フレームＦ１内のブロックＦ１Ｂ１（厳密にはその中心の画素）を中心として点対称の位置にあるので、ブロックＦ２ＢｍのブロックＦ１Ｂ１に対する横方向のずれをｈ（ｈ＝−ＨＳ〜＋ＨＳ）、縦方向のずれをｖ（ｖ＝−ＶＳ〜＋ＶＳ）とすると、ブロックＦ０ＢｍのブロックＦ１Ｂ１に対する横方向のずれは−ｈ、縦方向のずれは−ｖである。
【００３１】
現フレームブロック切り出し部１０は、現フレーム内の複数の、即ち第一乃至第Ｍのブロックを切り出して、第一乃至第ＭのブロックデータＦ０Ｂ１〜Ｆ０ＢＭを出力する。
第一遅延フレームブロック切り出し部１１は、第一の遅延フレーム内のブロックＦ１Ｂ１を切り出す。このブロックＦ１Ｂ１は、補間フレームＩＦ内の補間対象ブロックに対応するものである。
第二遅延フレームブロック切り出し部１２は、第二の遅延フレーム内の複数の、即ち第一乃至第Ｍのブロックを切り出して、第一乃至第ＭのブロックデータＦ２Ｂ１〜Ｆ２ＢＭを出力する。
【００３２】
現フレームＦ０のブロックデータと第二の遅延フレームＦ２のブロックデータが、テスト補間部７に入力される。テスト補間部７は、第二の遅延フレームＦ２のブロックデータと現フレームＦ０のブロックデータのうち、第一の遅延フレームＦ１内のブロックＦ１Ｂ１を中心として、互いに点対称の位置にある第一の遅延フレームＦ１内のブロックと、現フレームＦ０内のブロックから成るブロック対のデータに基づいて、テスト補間データを生成する。複数のブロック対に基づいて複数のテスト補間データが生成される。このテスト補間は、上記点対称の中心位置、即ち上記第一のフレームＦ１内のブロックＦ１Ｂ１のデータが未知であると仮定して行うものであり、補間が正確であればあるほど、テスト補間データは、ブロックＦ１Ｂ１のデータとの相関が高いものとなる。
【００３３】
補間データ評価部８は、第一の遅延フレームＦ１のブロックデータを参照して複数のテスト補間データの評価を行い、評価データＥＤを動きベクトル決定部９に出力する。この評価においては、テスト補間データと、第一の遅延フレームＦ１のブロックデータとの相関を求め、相関が高いほど高い評価が与えられる。
【００３４】
動きベクトル決定部９は、評価データＥＤに基づいて第一の動きベクトルＭＶ１を生成して出力する。
【００３５】
次に、図２を参照して動きベクトル検出部２のテスト補間部７、補間データ評価部８及び動きベクトル決定部９の具体例についてさらに詳しく説明する。
【００３６】
テスト補間部７は、複数の、即ち第一乃至第Ｍのテスト補間データ生成部７−１〜７−Ｍを備え、補間データ評価部８は複数の、即ち第一乃至第Ｍの差分絶対値和算出部８−１〜８−Ｍを備えるものとして図示されている。
【００３７】
テスト補間データ生成部７−１〜７−Ｍは、現フレームＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭと、それぞれこれらと対をなす第二の遅延フレームＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを画素ごとに平均することで得られる平均値から成るデータをテスト補間データＴＤ1〜ＴＤＭとして算出する。図１には、テスト補間データＴＤ１〜ＴＤＭの集合が符号ＴＤで表されている。
【００３８】
以下、より詳しく説明する。
現フレームＦ０の第一のブロックデータＦ０Ｂ１と第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１がテスト補間データ生成部７−１に入力される。
【００３９】
テスト補間データ生成部７−１は、現フレームＦ０の第一のブロックデータＦ０Ｂ１と第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１の画素ごとの平均値を第一のテスト補間データＴＤ１として差分絶対値和算出部８−１に出力する。ここで画素ごとの平均値とは、現フレームＦ０内のブロックにおける各画素と、第二の遅延フレーム内のブロックにおける対応する位置の画素の画素値(例えばそれぞれのブロックの基準位置、例えば左上隅を原点として同じ座標値で表される画素の画素値）の平均値を意味する。
【００４０】
同様に、現フレームＦ０の第二のブロックデータＦ０Ｂ２と第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２がテスト補間データ生成部７−２に入力される。テスト補間データ生成部７−２は、現フレームＦ０の第二のブロックデータＦ０Ｂ２と第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２の画素ごとの平均値を第二のテスト補間データＴＤ２として差分絶対値和算出部８−２に出力する。
【００４１】
テスト補間データ生成部７−３〜７−Ｍも同様に現フレームＦ０の第三のブロックデータＦ０Ｂ３乃至第ＭのブロックデータＦ０ＢＭと第二の遅延フレームＦ２の第三のブロックデータＦ２Ｂ３乃至第ＭのブロックデータＦ２ＢＭに基づいて第三のテスト補間データＴＤ３乃至第Ｍのテスト補間データＴＤＭを生成し、差分絶対値和算出部８−３〜８−Ｍに出力する。
【００４２】
一般化して言えば、テスト補間データ生成部７−ｍは、現フレームＦ０の第ｍのブロックデータＦ０Ｂｍ（ｍ＝１〜Ｍ）と第二の遅延フレームＦ２の第ｍのブロックデータＦ２Ｂｍに基づいて第ｍのテスト補間データＴＤｍを生成し、差分絶対値和算出部８−ｍに出力する。
【００４３】
第一の遅延フレームＦ１のブロックデータＦ１Ｂ１が補間データ評価部８内の差分絶対値和算出部８−１〜８−Ｍに入力される。
【００４４】
差分絶対値和算出部８−１〜８−Ｍは、それぞれテスト補間データ生成部７から出力されるテスト補間データＴＤ１〜ＴＤＭと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の差分絶対値和を算出し、評価データＥＤ１〜ＥＤＭとして出力する。
【００４５】
差分絶対値和算出部８−１は、第一のテスト補間データＴＤ１の各画素のデータと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の各画素のデータの差分絶対値の和を算出し、評価データＥＤ１として動きベクトル決定部９に出力する。差分絶対値和は式（１）により表される。
【００４６】
【数１】
【００４７】
式（１）で与えられる差分絶対値和は、その値が小さいほど、相関が高いことを意味し、差分絶対値和ＳＡＤを評価データとして用いる場合、その値が小さいほど、評価が高いことを表す。
【００４８】
ここで、ＢＫ１、ＢＫ２はブロック内の各画素のデータであり、ＢＫ１をテスト補間データＴＤ１を構成する各画素のデータ、ＢＫ２をブロックＦ１Ｂ１内の各画素のデータとすると式（１）は第一のテスト補間データＴＤ１の各画素のデータと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の各画素のデータの差分絶対値和となり、差分絶対値和ＳＡＤが評価データＥＤ１として差分絶対値和算出部８−１から出力される。
【００４９】
差分絶対値和算出部８−２〜８−Ｍも同様に、第二のテスト補間データＴＤ２乃至第Ｍのテスト補間データＴＤＭと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の差分絶対値和を算出し、評価データＥＤ２〜ＥＤＭとして動きベクトル決定部９に出力する。
【００５０】
動きベクトル決定部９は、評価データＥＤ１〜ＥＤＭのうち最も評価の高い評価データ (最も小さい差分絶対値和)に対応するブロック対を構成する現フレームＦ０のブロックと第二の遅延フレームＦ２のブロックとの位置の差（第二の遅延フレームＦ２内のブロックに対する現フレームＦ０内のブロックの相対位置）の１／２を動きベクトルＭＶ１として出力する。
【００５１】
図３は、動きベクトル検出部２の動作を説明するための図である。Ｍ＝２の場合について説明する。
第一の遅延フレームＦ１の一部の領域が第一の遅延フレームＦ１のブロックデータＦ１Ｂ１として切り出されている。
【００５２】
第一の遅延フレームＦ１のブロックデータＦ１Ｂ１に対してベクトル−Ｖ１ずらした位置に対応する領域が第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１として設定されて切り出され、ベクトル＋Ｖずらした位置に対応する領域が現フレームＦ０の第一のブロックデータＦ０Ｂ１として設定されて切り出される。
【００５３】
また、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１に対してベクトル−Ｖ２ずらした位置に対応する領域が第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２として設定されて切り出され、ベクトル＋Ｖ２ずらした位置に対応する領域が現フレームＦ０の第二のブロックデータＦ０Ｂ２として設定されて切り出される。
【００５４】
テスト補間データ生成部７−１は、現フレームＦ０の第一のブロックデータＦ０Ｂ１と第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１を画素ごとに平均してテスト補間データＴＤ１を生成する。
テスト補間データ生成部７−２も同様に、現フレームＦ０の第二のブロックデータＦ０Ｂ２と第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２を画素ごとに平均してテスト補間データＴＤ２を生成する。
【００５５】
差分絶対値和算出部８−１は、テスト補間データＴＤ１と第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤ１として出力する。
【００５６】
差分絶対値和算出部８−２も同様に、テスト補間データＴＤ２と第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤ２として出力する。
【００５７】
動きベクトル決定部９は、評価データＥＤ１及びＥＤ２のうち値が小さい方を生じさせたブロック対を構成するブロックについての上記のずれ（＋Ｖ１又は＋Ｖ２）を、動きベクトルＭＶ１として出力する。例えば、評価データＥＤ２より評価データＥＤ１の方が小さい場合、ベクトルＶ１を動きベクトルＭＶ１として出力する。
【００５８】
図３では、２つのベクトルから第一の動きベクトルを決定する方法について説明したが、本発明に係る実施の形態の構成はＭ＝２に限定されない。即ち、候補としてのベクトルを３個以上設定しても良い。例えば、第一の遅延フレーム内のブロックＦ１Ｂ１に対して、所定の動き量に対応する探索範囲内に位置する第二の遅延フレーム内のすべてのブロック及びこれと点対称位置にある現フレーム内のブロックについてのテスト補間を行うこととしても良い。
【００５９】
動きベクトル検出部２では、上記のように実在のデータである第二遅延フレームＦ１内のデータを用いてベクトルの候補を評価することにより動きベクトルを決定しているので現フレームＦ０から第一の遅延フレームＦ１への動きベクトルを精度良く算出することができる。
【００６０】
なお、補間データ評価部８では差分絶対値和を用いて評価データを算出したが、相関を求める関数は自乗誤差和など他にも多数あり、これに置き換えることも可能である。
【００６１】
次に、図４を参照して、動きベクトル変換部３の動作についてより詳細に説明する。
動きベクトル変換部３は、第一の遅延フレームＦ１から現フレームＦ０への動きベクトルＭＶ１を、第一の遅延フレームＦ１から補間フレームＩＦへの第二の動きベクトルＭＶ２と、現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３に変換する。
【００６２】
図４に示すように入力フレームの時間間隔をｔ１、第一の遅延フレームＦ１から補間フレームＩＦへの時間間隔をｔ２とした時、式（２Ａ）及び式（２Ｂ）により動きベクトルＭＶ２及びＭＶ３を算出する。たとえば、６０Ｈｚの入力画像信号から１２０Ｈｚの画像信号に変換する場合、ｔ１は１／６０秒、ｔ２は１／１２０秒となる。
【００６３】
ＭＶ２＝ＭＶ１×ｔ２／ｔ１ …（２Ａ）
ＭＶ３＝−ＭＶ１×（ｔ１−ｔ２）／ｔ１ …（２Ｂ）
【００６４】
このような変換は、第一の遅延フレームＦ１から現フレームＦ０へのベクトルＭＶ１を、第一の遅延フレームＦ１と補間フレームＩＦと現フレームＦ０との時間間隔（ｔ２、ｔ１−ｔ２）に応じて内分する処理を用いた変換であると言える。
【００６５】
次に、図５(ａ）〜（ｃ）を参照して、オクルージョン領域推定部４及び補間フレーム生成部５の動作についてより詳細に説明する。
【００６６】
オクルージョン領域推定部４では、補間フレーム上で動きベクトルＭＶ２及びＭＶ３が急激に変化するエッジを検出する。動きベクトルのエッジ（動きベクトルの差が小さい連続した複数のブロックから成る一つの領域と、動きベクトルの差が小さい連続した複数のブロックから成る別の領域との境界）では、補間フレームの前後で画像要素が隠れたり出現したりしているが、図５（ｂ）に示すようにオクルージョン領域推定部４では当該エッジの周辺を含めた領域をオクルージョン領域ＯＣとする。ここで、オクルージョン領域ＯＣとする範囲は動きベクトルの大きさにより、動きベクトルの大きいほど、オクルージョン領域ＯＣの範囲を大きくする。
【００６７】
次に求めたオクルージョン領域ＯＣでは時間的に前のフレーム及び時間的に後のフレームのどちらからデータを取得し、補間に用いるべきかを判定する。動きベクトルのエッジを挟んで隣接する二つ領域の動きベクトルが互いに近づく方向のものであれば、一方の画像要素が隠れるので過去のフレームからデータを取る（過去のフレームのデータを、補間フレームのデータとして用いる）ようにする。つまり、動きベクトルＭＶ２を第四のベクトルＭＶ４として出力し、第五のベクトルＭＶ５を「対応なし」と出力する（第五のベクトルＭＶ５に対応するベクトルが存在しないことを示す情報を出力する）。
【００６８】
一方、動きベクトルのエッジを挟んで隣接する（即ち、エッジの両側に位置する）二つの領域の動きベクトルが互いに遠ざかる方向のものであれば、隠れていた画像要素が現れるので未来のフレームからデータを取る（未来のフレームのデータを、補間フレームのデータとして用いる）ようにする。つまり、第四のベクトルＭＶ４を「対応なし」と出力し（第四のベクトルＭＶ４に対応するベクトルが存在しないことを示す情報を出力し）、動きベクトルＭＶ３を第五のベクトルＭＶ５として出力する。
【００６９】
このようにして第四及び第五のベクトルＭＶ４及びＭＶ５を求めたら、補間フレームＩＦからベクトル−ＭＶ４の位置の第一の遅延フレームＦ１のデータ（ブロックＦ１Ｂ１内のデータ）と補間フレームＩＦからベクトル−ＭＶ５の位置の現フレームＦ０のデータ（ブロックＦ０Ｂ１内のデータ）の平均を補間フレームＩＦのデータとして算出する。このとき、補間に用いられる第一の遅延フレームＦ１のブロックデータＦ１Ｂ１と、現フレームＦ０のブロックデータＦ０Ｂ１とは、補間フレームＩＦ内の補間により得られるデータの位置を中心として、互いに対称の位置にある。ただし、第四及び第五のベクトルＭＶ４及びＭＶ５の一方が「対応するブロックなし」の場合は、第四及び第五のベクトルＭＶ４及びＭＶ５の他方のみのデータをそのまま補間フレームＩＦのデータとして算出する。
【００７０】
生成したデータから成る補間フレームＩＦのデータを第一の遅延フレームＦ１のデータと現フレームＦ０のデータ間に内挿して出力する。
【００７１】
図６（ａ）及び（ｂ）は、動きベクトル検出部２の具体例に用いる現フレームＦ０のデータ、第一の遅延フレームＦ１のデータ、第二のフレームＦ２のデータの対応関係を説明するための図である。図６（ａ）及び（ｂ）に示すような映像を表す信号が入力された場合の本実施の形態１の動作を説明する。図６(ａ）及び（ｂ）に示す映像においては、画像要素としての英文字が左から右へ移動しており、動きのない画像要素としての黒の四角（図では、「黒」をクロスハッチングで示している）によって英文字が隠れる。
【００７２】
図７（ａ）〜（ｄ）は、動きベクトル検出部２の動作の具体例を説明するための図である。図７（ａ）は動きベクトル検出部２に入力される画像データの具体例を説明するための図である。図７（ｂ）〜（ｄ）はテスト補間部７及び補間データ評価部８の動作を説明するための図である。
【００７３】
図７（ａ）に示すような第二の遅延フレームＦ２のデータ、第一の遅延フレームＦ１のデータ、現フレームＦ０のデータを入力とした場合の動きベクトル検出部２の動作を説明する。
【００７４】
テスト補間部７では、動きベクトルごとにテスト補間データを生成する。図７（ｂ）に示すように第一の遅延フレームＦ１の一部の領域を第一の遅延フレームＦ１のブロックデータＦ１Ｂ１とし、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から−Ｖ１ずらした位置の第二の遅延フレームＦ２のブロックデータを第一のブロックデータＦ２Ｂ１とし、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１からＶ１ずらした位置の現フレームＦ０のブロックデータをブロックデータＦ０Ｂ１とする。また、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から−Ｖ２ずらした位置の第二の遅延フレームＦ２のブロックデータをブロックデータＦ２Ｂ２とし、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１からＶ２ずらした位置の現フレームＦ０のブロックデータをブロックデータＦ０Ｂ２とする。
【００７５】
図７（ｃ）に示すように、第一のブロックデータＦ２Ｂ１と、ブロックデータＦ０Ｂ１から画素ごとの平均をテスト補間データＴＤ１として生成する。
図７（ｃ）には、テスト補間データＴＤ１で表される画像に文字Ｆが含まれることを示す。同様に、図７（ｄ）に示すようにテスト補間データＴＤ２を生成する。
【００７６】
補間データ評価部８では、図７（ｃ）〜（ｄ）に示すようなテスト補間データＴＤ１〜ＴＤ２のそれぞれとブロックデータＦ１Ｂ１との差分絶対値和を算出し、評価データＥＤ１〜ＥＤ２を出力する。図７（ａ）〜（ｄ）の具体例では、テスト補間データＴＤ１で表される画像が文字「Ｆ」を含み、ブロックＦ１Ｂ１との差分絶対値和が一番小さくなるので評価データＥＤ１が一番小さくなる。
【００７７】
動きベクトル決定部９では、評価データＥＤ１〜ＥＤ２のうち一番小さい評価データＥＤ１に対応した動きベクトルＶ１がブロックデータＦ１Ｂ１の動きベクトルとして出力される。
【００７８】
第一の遅延フレームＦ１についてもれなく（隙間なく）ブロックを設定し動きベクトルを算出することで第一の遅延フレームＦ１のすべての部分について第一の動きベクトルＭＶ１が生成される。即ち、第一の遅延フレームＦ１を、複数の、例えば互いに等しい大きさのブロックに分割し、各ブロックについて上記の処理を行うことで、当該ブロックについての第一の動きベクトルＭＶ１を生成し、当該ブロックに対応する位置、例えば同じ位置にある、補間フレーム内のブロックについて、上記第一の動きベクトルを用いた変換を行うことで、第二及び第三の動きベクトルを求めることとしても良い。
【００７９】
また、第一の遅延フレーム内の各画素を中心とする所定の大きさのブロックについて、上記の処理を行うことで、当該画素についての第一の動きベクトルＭＶ１を生成し、当該画素に対応する位置、例えば同じ位置にある、補間フレーム内の画素について、上記第一の動きベクトルを用いた変換を行うことで、第二及び第三の動きベクトルを求めることとしても良い。
【００８０】
図８（ａ）及び（ｂ）は、動きベクトル変換部３の動作の具体例を説明するための図である。図８（ａ）は動きベクトル変換部３の入力、図８（ｂ）は動きベクトル変換部３の出力を示す。
【００８１】
動きベクトル変換部３は、図８（ａ）に示される、第一の遅延フレームＦ１から現フレームＦ０への動きベクトルＭＶ１に対して式（２Ａ）及び式（２Ｂ）を用いて、さらに、ｔ２＝ｔ１／２として、図８（ｂ）に示される、第一の遅延フレームＦ１から補間フレームＩＦへの第二の動きベクトルＭＶ２と現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３に変換する。図８（ａ）及び（ｂ）に示す具体例では、ＭＶ１はＶ１、ｔ１は１／６０秒、ｔ２は１／１２０秒なので、式（２Ａ）及び式（２Ｂ）よりＭＶ２はＶ１／２、ＭＶ３は−Ｖ１／２となる。
【００８２】
図９（ａ）〜（ｃ）は、オクルージョン領域推定部４の動作の具体例を説明するための図である。図９（ａ）は、画像中の２つの領域Ｒａ、Ｒｂの各々における、現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３の値を示す。図示の例では、領域Ｒａ内では、第三の動きベクトルＭＶ３が−Ｖ１／２であり、領域Ｒｂ内では、動きベクトルＭＶ３が０である。図９（ｂ）は推定されるオクルージョン領域ＯＣを示し、図９（ｃ）は第一の遅延フレームＦ１から補間フレームＩＦへの第四の動きベクトルＭＶ４と現フレームＦ０から補間フレームＩＦへの第五の動きベクトルＭＶ５を示している。
【００８３】
オクルージョン領域推定部４は、図９（ａ）に示されるような値を持つ第三の動きベクトルＭＶ３から、図９（ｂ）に示されるような動きベクトルのエッジ（動きベクトルが−Ｖ１／２である領域Ｒａと、ベクトルが０である領域Ｒｂの境界）及びその周辺の領域をオクルージョン領域ＯＣとして推定する。また、領域Ｒａ内の動きベクトル−Ｖ１／２と「０」とは互いに遠ざかるものであると判断する。
【００８４】
先にも述べたように、エッジの検出は、動きベクトルの急激な変化に基づいて行われる。
推定されたオクルージョン領域ＯＣにおいては、第一の遅延フレームＦ１から補間フレームＩＦへの第四の動きベクトルＭＶ４と現フレームＦ０から補間フレームＩＦへの第五の動きベクトルＭＶ５は、図９（ｃ）に示すものとなる。即ち、第四の動きベクトルＭＶ４は、ＭＶ２＝−ＭＶ３＝Ｖ１／２と同じ値とされ、第五の動きベクトルＭＶ５は、「対応なし」とされる。
【００８５】
図１０は、補間フレーム生成部５の動作の具体例を説明するための図である。図１０に示すように補間フレームＩＦから−ＭＶ４動かした位置の第一の遅延フレームＦ１のデータと−ＭＶ５動かした位置の現フレームＦ０のデータの平均を補間フレームＩＦのデータとして算出する。ただし、図１０の矢印が示すように、一方の動きベクトル（ＭＶ５）が対応していない場合は他方の動きベクトル（ＭＶ４）に対応するデータを補間フレームＩＦとする。生成した補間フレームＩＦを第一の遅延フレームＦ１と現フレームＦ０の間に内挿して出力する。
【００８６】
ここで比較のため、オクルージョン領域推定部４が設けられていない場合を考える。この場合、第二の動きベクトルＭＶ２と第三の動きベクトルＭＶ３が（第四の動きベクトルＭＶ４及び第五の動きベクトルＭＶ５の代わりに）補間フレーム生成部５へ入力される。そうすると、補間フレームＩＦで英文字「Ｆ」となっている領域は黒（図ではクロスハッチングで示す）（現フレームＦ０のデータ）と英文字「Ｆ」（第一の遅延フレームＦ１のデータ）の平均した画像になり、エッジが不鮮明となり画質が劣化する。
これに対して、本発明では、上記の平均化は行われず、一方の動きベクトルに基づき補間フレームのデータを決めるのでは、エッジの鮮鋭さを維持することができ、画像の乱れを抑制することができる。
【００８７】
以上より、本実施の形態では、動きベクトルの評価を行うことにより動きベクトルが精度良く検出され、画像の乱れなく補間フレームを生成することができる。
さらに補間するフレームの前後で画像要素が隠れたり出現したりする場合でも、画像の乱れなくフレーム補間を行うことができる。
【００８８】
図１１は、以上に説明した本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。
【００８９】
まず、動きベクトル検出ステップＳＴ１では、画像データＦ０と、画像データＦ０に対して１フレーム遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を参照して第一の遅延フレームＦ１から現フレームＦ０への第一の動きベクトルＭＶ１を生成する。この動作は、動きベクトル検出部２と同等である。
【００９０】
動きベクトル変換ステップＳＴ２では、第一の動きベクトルＭＶ１を、第一の遅延フレームＦ１から補間フレームＩＦ（現フレームＦ０と第一の遅延フレームＦ１の間に挿入される）への第二の動きベクトルＭＶ２と、現フレームＦ０から補間フレームＩＦへの第三の動きベクトルＭＶ３に変換する。この動作は、動きベクトル変換部３と同等である。
【００９１】
オクルージョン領域推定ステップＳＴ３では、オクルージョン領域推定部４は、第二の動きベクトルＭＶ２及び第三の動きベクトルＭＶ３からオクルージョン領域ＯＣを推定して、推定されたオクルージョン領域の情報に基づいて第二の動きベクトルＭＶ２及び第三の動きベクトルＭＶ３を修正して第四の動きベクトルＭＶ４及び第五の動きベクトルＭＶ５を生成する。この動作は、オクルージョン領域推定部４と同等である。
【００９２】
補間フレーム生成ステップＳＴ４では、第一の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第四の動きベクトルＭＶ４及び第五の動きベクトルＭＶ５から補間フレームＩＦのデータを生成し、生成した補間フレームＩＦのデータを現フレームＦ０のデータと第一の遅延フレームＦ１のデータの間に挿入した画像データＤＯを生成する。この動作は、補間フレーム生成部５と同等である。
【００９３】
図１１を参照して行った説明から理解されるように、図１の画像処理装置の一部、特に動きベクトル検出部２、動きベクトル変換部３、オクルージョン領域推定部４及び補間フレーム生成部５は、その一部又は全部を、ソフトウェアにより、即ちプログラムされたコンピュータにより実現することができる。
【符号の説明】
【００９４】
１ フレームメモリ、 ２ 動きベクトル検出部、 ３ 動きベクトル変換部、 ４ オクルージョン領域推定部、 ５ 補間フレーム生成部、 ６ 画像表示部、 ７ テスト補間部、 ８ 補間データ評価部、 ９ 動きベクトル決定部、 １０ 現フレームブロック切り出し部、 １１ 第一遅延フレームブロック切り出し部、 １２ 第二遅延フレームブロック切り出し部。
【特許請求の範囲】
【請求項１】
画像の現フレームと現フレームの１フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理装置において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの２フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出部と、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換部と、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定部と、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを備え、
前記動きベクトル検出部は、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間部と、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価部と、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定部とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記動きベクトル検出部は、複数の画素から成るブロック毎に前記第一の動きベクトルを求め、
前記オクルージョン領域推定部は、前記第二の動きベクトル又は前記第三の動きベクトルが隣接するブロック間で急激に変化する領域及びその周辺を前記オクルージョン領域として推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動きベクトル検出部は、複数の画素から成るブロック毎に前記第一の動きベクトルを求め、
前記オクルージョン領域推定部は、前記第二の動きベクトル又は前記第三の動きベクトルの、隣接するブロック間での差が所定値以上であれば、これらのブロック間にエッジが存在すると判断し、該エッジ及びその周辺を前記オクルージョン領域として推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記エッジを挟む２つのブロックの前記第二の動きベクトル又は前記第三の動きベクトルが互いに近づく方向のものである場合には、
前記補間フレーム生成部は、前記第四の動きベクトル、及び前記第一の遅延フレームのデータから前記補間フレームのデータを生成し、
前記エッジを挟む２つのブロックの前記第二の動きベクトル又は前記第三の動きベクトルが互いに遠ざかる方向のものである場合には、
前記補間フレーム生成部は、前記第五の動きベクトル、及び前記現フレームのデータから前記補間フレームのデータを生成する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記テスト補間部は、
前記第一の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第二の遅延フレーム内の複数の画素から成るブロックと、前記現フレーム内の複数の画素から成るブロックのデータに基づいて、前記テスト補間データを生成し、テスト補間データとして出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記補間データ評価部は、
前記テスト補間データ生成部から出力される前記テスト補間データと、前記第一の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータの相関を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記補間データ評価部は、
前記相関として、前記ブロックの互いに対応する位置にある画素のデータの差分絶対値和を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記テスト補間部は、
前記現フレームのブロックデータと前記第二の遅延フレームのブロックデータを画素ごとに平均したブロックデータを前記テスト補間データとして算出する複数個のテスト補間データ生成部を備えることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項９】
前記補間データ評価部は、前記テスト補間データ生成部から出力される前記テスト補間データと前記第一の遅延フレーム内のブロックのデータの差分絶対値和を算出する複数個の差分絶対値和算出部を備えることを特徴とする請求項１、７又は８に記載の画像処理装置。
【請求項１０】
請求項１から９のいずれかに記載の画像処理装置と、
前記補間フレーム生成部より出力された画像データを表示する画像表示部とを
備えることを特徴とする画像表示装置。
【請求項１１】
画像の現フレームと現フレームの１フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理方法において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの２フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出ステップと、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換ステップと、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定ステップと、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを備え、
前記動きベクトル検出ステップは、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間ステップと、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価ステップと、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定ステップとを備える
ことを特徴とする画像処理方法。
【請求項１２】
前記動きベクトル検出ステップは、複数の画素から成るブロック毎に前記第一の動きベクトルを求め、
前記オクルージョン領域推定ステップは、前記第二の動きベクトル又は前記第三の動きベクトルが隣接するブロック間で急激に変化する領域及びその周辺を前記オクルージョン領域として推定する
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記動きベクトル検出ステップは、複数の画素から成るブロック毎に前記第一の動きベクトルを求め、
前記オクルージョン領域推定ステップは、前記第二の動きベクトル又は前記第三の動きベクトルの、隣接するブロック間での差が所定値以上であれば、これらのブロック間にエッジが存在すると判断し、該エッジ及びその周辺を前記オクルージョン領域として推定する
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１４】
前記エッジを挟む２つのブロックの前記第二の動きベクトル又は前記第三の動きベクトルが互いに近づく方向のものである場合には、
前記補間フレーム生成ステップは、前記第四の動きベクトル、及び前記第一の遅延フレームのデータから前記補間フレームのデータを生成し、
前記エッジを挟む２つのブロックの前記第二の動きベクトル又は前記第三の動きベクトルが互いに遠ざかる方向のものである場合には、
前記補間フレーム生成ステップは、前記第五の動きベクトル、及び前記現フレームのデータから前記補間フレームのデータを生成する
ことを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】
前記テスト補間ステップは、
前記第一の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第二の遅延フレーム内の複数の画素から成るブロックと、前記現フレーム内の複数の画素から成るブロックのデータに基づいて、前記テスト補間データを生成し、テスト補間データとして出力する
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１６】
前記補間データ評価ステップは、
前記テスト補間データ生成ステップから出力される前記テスト補間データと、前記第一の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータの相関を算出することを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記補間データ評価ステップは、
前記相関として、前記ブロックの互いに対応する位置にある画素のデータの差分絶対値和を算出することを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記テスト補間ステップは、
前記現フレームのブロックデータと前記第二の遅延フレームのブロックデータを画素ごとに平均したブロックデータを前記テスト補間データとして算出する複数個のテスト補間データ生成ステップを備えることを特徴とする請求項１１から１５のいずれかに記載の画像処理方法。
【請求項１９】
前記補間データ評価ステップは、前記テスト補間データ生成ステップから出力される前記テスト補間データと前記第一の遅延フレーム内のブロックのデータの差分絶対値和を算出する複数個の差分絶対値和算出ステップを備えることを特徴とする請求項１１、１７又は１８に記載の画像処理方法。
【請求項２０】
請求項１１から１９のいずれかに記載の画像処理方法と、
前記補間フレーム生成ステップより出力された画像データを表示する画像表示ステップとを
備えることを特徴とする画像表示方法。
【請求項１】
画像の現フレームと現フレームの１フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理装置において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの２フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出部と、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換部と、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定部と、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを備え、
前記動きベクトル検出部は、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間部と、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価部と、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定部とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記動きベクトル検出部は、複数の画素から成るブロック毎に前記第一の動きベクトルを求め、
前記オクルージョン領域推定部は、前記第二の動きベクトル又は前記第三の動きベクトルが隣接するブロック間で急激に変化する領域及びその周辺を前記オクルージョン領域として推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動きベクトル検出部は、複数の画素から成るブロック毎に前記第一の動きベクトルを求め、
前記オクルージョン領域推定部は、前記第二の動きベクトル又は前記第三の動きベクトルの、隣接するブロック間での差が所定値以上であれば、これらのブロック間にエッジが存在すると判断し、該エッジ及びその周辺を前記オクルージョン領域として推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記エッジを挟む２つのブロックの前記第二の動きベクトル又は前記第三の動きベクトルが互いに近づく方向のものである場合には、
前記補間フレーム生成部は、前記第四の動きベクトル、及び前記第一の遅延フレームのデータから前記補間フレームのデータを生成し、
前記エッジを挟む２つのブロックの前記第二の動きベクトル又は前記第三の動きベクトルが互いに遠ざかる方向のものである場合には、
前記補間フレーム生成部は、前記第五の動きベクトル、及び前記現フレームのデータから前記補間フレームのデータを生成する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記テスト補間部は、
前記第一の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第二の遅延フレーム内の複数の画素から成るブロックと、前記現フレーム内の複数の画素から成るブロックのデータに基づいて、前記テスト補間データを生成し、テスト補間データとして出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記補間データ評価部は、
前記テスト補間データ生成部から出力される前記テスト補間データと、前記第一の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータの相関を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記補間データ評価部は、
前記相関として、前記ブロックの互いに対応する位置にある画素のデータの差分絶対値和を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記テスト補間部は、
前記現フレームのブロックデータと前記第二の遅延フレームのブロックデータを画素ごとに平均したブロックデータを前記テスト補間データとして算出する複数個のテスト補間データ生成部を備えることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項９】
前記補間データ評価部は、前記テスト補間データ生成部から出力される前記テスト補間データと前記第一の遅延フレーム内のブロックのデータの差分絶対値和を算出する複数個の差分絶対値和算出部を備えることを特徴とする請求項１、７又は８に記載の画像処理装置。
【請求項１０】
請求項１から９のいずれかに記載の画像処理装置と、
前記補間フレーム生成部より出力された画像データを表示する画像表示部とを
備えることを特徴とする画像表示装置。
【請求項１１】
画像の現フレームと現フレームの１フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理方法において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの２フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出ステップと、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換ステップと、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定ステップと、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを備え、
前記動きベクトル検出ステップは、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間ステップと、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価ステップと、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定ステップとを備える
ことを特徴とする画像処理方法。
【請求項１２】
前記動きベクトル検出ステップは、複数の画素から成るブロック毎に前記第一の動きベクトルを求め、
前記オクルージョン領域推定ステップは、前記第二の動きベクトル又は前記第三の動きベクトルが隣接するブロック間で急激に変化する領域及びその周辺を前記オクルージョン領域として推定する
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記動きベクトル検出ステップは、複数の画素から成るブロック毎に前記第一の動きベクトルを求め、
前記オクルージョン領域推定ステップは、前記第二の動きベクトル又は前記第三の動きベクトルの、隣接するブロック間での差が所定値以上であれば、これらのブロック間にエッジが存在すると判断し、該エッジ及びその周辺を前記オクルージョン領域として推定する
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１４】
前記エッジを挟む２つのブロックの前記第二の動きベクトル又は前記第三の動きベクトルが互いに近づく方向のものである場合には、
前記補間フレーム生成ステップは、前記第四の動きベクトル、及び前記第一の遅延フレームのデータから前記補間フレームのデータを生成し、
前記エッジを挟む２つのブロックの前記第二の動きベクトル又は前記第三の動きベクトルが互いに遠ざかる方向のものである場合には、
前記補間フレーム生成ステップは、前記第五の動きベクトル、及び前記現フレームのデータから前記補間フレームのデータを生成する
ことを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】
前記テスト補間ステップは、
前記第一の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第二の遅延フレーム内の複数の画素から成るブロックと、前記現フレーム内の複数の画素から成るブロックのデータに基づいて、前記テスト補間データを生成し、テスト補間データとして出力する
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１６】
前記補間データ評価ステップは、
前記テスト補間データ生成ステップから出力される前記テスト補間データと、前記第一の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータの相関を算出することを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記補間データ評価ステップは、
前記相関として、前記ブロックの互いに対応する位置にある画素のデータの差分絶対値和を算出することを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記テスト補間ステップは、
前記現フレームのブロックデータと前記第二の遅延フレームのブロックデータを画素ごとに平均したブロックデータを前記テスト補間データとして算出する複数個のテスト補間データ生成ステップを備えることを特徴とする請求項１１から１５のいずれかに記載の画像処理方法。
【請求項１９】
前記補間データ評価ステップは、前記テスト補間データ生成ステップから出力される前記テスト補間データと前記第一の遅延フレーム内のブロックのデータの差分絶対値和を算出する複数個の差分絶対値和算出ステップを備えることを特徴とする請求項１１、１７又は１８に記載の画像処理方法。
【請求項２０】
請求項１１から１９のいずれかに記載の画像処理方法と、
前記補間フレーム生成ステップより出力された画像データを表示する画像表示ステップとを
備えることを特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−８９９８６（Ｐ２０１２−８９９８６Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３３５０２（Ｐ２０１０−２３３５０２）
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]