画像処理装置、画像処理方法、及び、プログラム

【課題】フレーム補間において、高画質の補間フレームを生成する。
【解決手段】候補ベクトル算出部１２は、入力画像をブロック分割した小ブロックごとに、背景の動きを表す背景ベクトルv1と、背景以外の物体の動きを表す物体ベクトルv2とを求める。画素単位動き推定部１３は、背景について、背景ベクトルv1に従った動き、及び画像の相関が連続している回数を表す背景カウント値をカウントし、背景カウント値のカウントとは別個に、物体について、物体ベクトルv2に従った動き、及び画像の相関が連続している回数を表す物体カウント値をカウントする。そして、画素単位動き推定部１３は、背景カウント値と物体カウント値との大小関係に基づいて、補間フレームの画素の動きを表す順方向ベクトルと逆方向ベクトルを求める。本発明は、例えば、画像のフレーム補間を行う場合に適用できる。

Notice: Undefined index: DEJ in /mnt/www/gzt_disp.php on line 298

【特許請求の範囲】
【請求項１】
補間の対象の入力画像のフレームどうしの間に補間する補間フレームの過去側の前記入力画像のフレームである過去側フレームと、前記補間フレームの未来側の前記入力画像のフレームである未来側フレームとを、前記入力画像から選択し、前記過去側フレーム、及び前記未来側フレームを用いたブロックマッチングによって、前記補間フレームをブロック分割して得られる小ブロックごとに、複数種類の動きベクトルを検出する動きベクトル検出手段と、
前記複数種類の動きベクトルそれぞれの統計量を求める統計処理によって、前記入力画像に写る背景の動きを表す背景ベクトルと、前記入力画像に写る、前記背景以外の物体の動きを表す物体ベクトルとを、前記小ブロックの動きを表す動きベクトルの候補として、前記小ブロックごとに求める候補ベクトル算出手段と、
前記小ブロックごとの前記背景ベクトル、及び前記物体ベクトルを用い、前記過去側フレームから前記未来側フレームの方向に見た、前記補間フレームの画素の動きを表す順方向ベクトルと、前記未来側フレームから前記過去側フレームの方向に見た、前記補間フレームの画素の動きを表す逆方向ベクトルとを、前記補間フレームの画素ごとに求める画素単位動き推定手段と、
前記補間フレームの画素である補間画素について、
前記補間画素を含む前記小ブロックの前記背景ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素を含む前記小ブロックの前記物体ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素の位置の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと
の中の少なくとも１つ以上と、前記背景ベクトル、前記物体ベクトル、又は０ベクトルとが類似しているかどうかによって、前記背景ベクトル、前記物体ベクトル、又は前記０ベクトルを、前記補間画素の動きベクトルに判定する動き判定を行う補間画素動き判定手段と、
前記補間画素の動きベクトルに従い、前記過去側フレーム、及び前記未来側フレームのうちの少なくとも一方の動き補償を行い、前記動き補償によって得られる動き補償画像を用いて、前記補間フレームを生成する補間画像生成手段と
を含み、
前記画素単位動き推定手段は、
前記補間フレームの中の、注目する注目フレームを構成する画素のうちの、注目する注目画素について、
前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの画素である前フレーム画素の前記背景ベクトル又は前記物体ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、
及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、
前記背景ベクトルに従った動き、及び画像の相関が連続している回数を表す背景カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記背景ベクトル及び前記物体ベクトルのいずれにも類似しないか、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がないか、
又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がない場合、
前記背景カウント値をリセットし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル又は前記背景ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、
及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、
前記物体ベクトルに従った動き、及び画像の相関が連続している回数を表す物体カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル及び前記背景ベクトルのいずれにも類似しないか、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がないか、
又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がない場合、
前記物体カウント値をリセットし、
前記背景カウント値と前記物体カウント値との大小関係に基づいて、前記背景ベクトル、又は前記物体ベクトルを、前記順方向ベクトルとして求めるとともに、前記逆方向ベクトルとして求める
画像処理装置。
【請求項２】
前記動きベクトル検出手段は、
前記補間フレームの小ブロックについて、前記過去側フレーム、又は前記未来側フレームの一方のフレームの小ブロックを、他方のフレームに設定されるサーチエリア内を移動させ、前記小ブロックと、前記サーチエリアの各位置における、前記小ブロックと同一のサイズの領域との画像の一致の度合いを表す評価値を求め、前記評価値のテーブルである評価値テーブルを生成する、前記小ブロックのブロックマッチングを行う小ブロック評価値テーブル生成手段と、
前記補間フレームの小ブロックについて、前記小ブロックの評価値テーブルの評価値の加算と減算とを行うことにより、複数の前記小ブロックから構成される中ブロックのブロックマッチングの結果得られる、前記中ブロックの評価値テーブルを生成する中ブロックの評価値テーブル生成手段と、
前記中ブロックの評価値テーブルにおいて、前記画像の一致の度合いが最も良いことを表す評価値が得られるときの、前記サーチエリア内の前記中ブロックの位置を表すベクトルを、前記複数種類の動きベクトルのうちの１種類の動きベクトルとして検出する中ブロックのベクトル検出手段と、
前記補間フレームの小ブロックについて、前記小ブロックの評価値テーブルの評価値の加算と減算とを行うことにより、前記中ブロックを構成する小ブロックの数よりも多い数の小ブロックから構成される大ブロックのブロックマッチングの結果得られる、前記大ブロックの評価値テーブルを生成する大ブロックの評価値テーブル生成手段と、
前記大ブロックの評価値テーブルにおいて、前記画像の一致の度合いが最も良いことを表す評価値が得られるときの、前記サーチエリア内の前記大ブロックの位置を表すベクトルを、前記複数種類の動きベクトルのうちの他の１種類の動きベクトルとして検出する大ブロックのベクトル検出手段と
を有する
請求項１に記載の画像処理装置。
【請求項３】
前記中ブロックのベクトル検出手段は、
前記中ブロックの評価値テーブルの評価値の分布に基づいて、前記中ブロックの評価値テーブルから検出される動きベクトルが信頼できるかどうかを判定し、
前記中ブロックの評価値テーブルから検出される動きベクトルが信頼できない場合、前記大ブロックのベクトル検出手段において検出される前記他の１種類の動きベクトルを、前記１種類の動きベクトルとして採用する
請求項２に記載の画像処理装置。
【請求項４】
前記候補ベクトル算出手段は、
前記動きベクトル検出手段において検出される、前記補間フレームの前記小ブロックすべての動きベクトルのヒストグラムである全画面ヒストグラムを生成する全画面ヒストグラム生成手段と、
前記全画面ヒストグラムに基づいて、前記補間フレームを構成する前記小ブロックのうちの、前記背景の動きをしている背景ブロックと、前記物体の動きをしている物体ブロックとを検出する背景物体ブロック検出手段と、
前記補間フレームを構成する前記小ブロックのうちの前記背景ブロックの前記動きベクトルのヒストグラムに基づいて、前記補間フレームの前記小ブロック単位の列ごとに、前記背景ベクトルの候補のx成分を求めるとともに、前記補間フレームの前記小ブロック単位の行ごとに、前記背景ベクトルの候補のy成分を求める背景ベクトルの候補算出手段と、
前記背景ベクトルの候補から、前記背景ベクトルを選択する背景ベクトル選択手段と
を有し、
前記背景物体ブロック検出手段は、
前記全画面ヒストグラムにおいて、度数が１位と２位の階級を検出し、
前記全画面ヒストグラムにおいて、１位と２位の階級それぞれを、背景の動きの候補の階級のエリアである背景階級エリアとして、前記背景階級エリアに隣接する階級のうちの、度数が０でない階級を、前記背景階級エリアに含めることを繰り返すことで、前記背景階級エリアを拡張し、
１位と２位の階級に対して得られる前記背景階級エリアそれぞれについて、前記背景階級エリアに含まれる階級の動きベクトルが検出された小ブロックの中で、画枠に接する小ブロックの数をカウントし、
１位と２位の階級に対して得られる前記背景階級エリアのうちの、前記画枠に接する小ブロックの数が多い方の前記背景階級エリアに含まれる階級の動きベクトルが検出された小ブロックを、背景の動きをしている背景ブロックとして検出するとともに、前記補間フレームの他の小ブロックを、前記物体の動きをしている物体ブロックとして検出する
請求項１に記載の画像処理装置。
【請求項５】
前記候補ベクトル算出手段は、
前記補間フレームの前記小ブロック単位の列ごとの前記背景ブロックの前記動きベクトルのx成分のヒストグラムである水平射影ヒストグラムと、
前記補間フレームの前記小ブロック単位の行ごとの前記背景ブロックの前記動きベクトルのy成分のヒストグラムである垂直射影ヒストグラムと
を、前記統計量として生成する射影ヒストグラム生成手段
をさらに有し、
前記背景ベクトルの候補算出手段は、第j行第i列の小ブロックの背景ベクトルの候補として、前記水平射影ヒストグラムにおいて度数が最大の階級と、前記垂直射影ヒストグラムにおいて度数が最大の階級とを、それぞれx成分とy成分とするベクトルを求める
請求項４に記載の画像処理装置。
【請求項６】
前記画素単位動き推定手段は、
前記注目画素について、さらに、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置の画素との間に相関がある場合、前記０ベクトルに従った動き、及び画像の相関が連続している回数を表す静止カウント値をインクリメントし、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置の画素との間に相関がない場合、前記静止カウント値をリセットし、
前記背景カウント値、前記物体カウント値、及び、前記静止カウント値の大小関係に基づいて、前記背景ベクトル、前記物体ベクトル、又は、前記０ベクトルを、前記順方向ベクトルとして求めるとともに、前記逆方向ベクトルとして求める
請求項１に記載の画像処理装置。
【請求項７】
前記画素単位動き推定手段は、
前記未来側フレーム、又は前記過去側フレームのうちの一方のフレームの画素を含むブロックを、他方のフレームに設定されるサーチエリア内を移動させ、前記ブロックと、前記サーチエリアの各位置における、前記ブロックと同一のサイズの領域との画像の一致の度合いを表す評価値を求め、前記評価値のテーブルである評価値テーブルを生成する、前記ブロックのブロックマッチングを行い、
前記評価値テーブルの評価値の分布に基づいて、前記未来側フレームの画素と、前記過去側フレームの画素との間の相関の有無を判定する
請求項６に記載の画像処理装置。
【請求項８】
前記動きベクトル検出手段は、
前記補間フレームの小ブロックについて、前記過去側フレーム、又は前記未来側フレームの一方のフレームの小ブロックを、他方のフレームに設定されるサーチエリア内を移動させ、前記小ブロックと、前記サーチエリアの各位置における、前記小ブロックと同一のサイズの領域との画像の一致の度合いを表す評価値を求め、前記評価値のテーブルである評価値テーブルを生成する、前記小ブロックのブロックマッチングを行う小ブロック評価値テーブル生成手段と、
前記補間フレームの小ブロックについて、前記小ブロックの評価値テーブルの評価値の加算と減算とを行うことにより、複数の前記小ブロックから構成される、前記過去側フレームの中ブロックのブロックマッチングの結果得られる評価値テーブルと、前記未来側フレームの中ブロックのブロックマッチングの結果得られる評価値テーブルとを合成した中ブロック双方向評価値テーブルを生成する中ブロック双方向評価値テーブル生成手段と、
前記中ブロック双方向評価値テーブルにおいて、前記画像の一致の度合いが最も良いことを表す評価値が得られるときの、前記サーチエリア内の前記中ブロックの位置を表すベクトルを、前記複数種類の動きベクトルのうちの１種類である中ブロック双方向ベクトルとして検出する中ブロック双方向ベクトル検出手段と、
前記補間フレームの小ブロックについて、前記小ブロックの評価値テーブルの評価値の加算と減算とを行うことにより、前記過去側フレームの中ブロックのブロックマッチングの結果得られる評価値テーブルである中ブロック順方向評価値テーブルを生成する中ブロック順方向評価値テーブル生成手段と、
前記中ブロック順方向評価値テーブルにおいて、前記画像の一致の度合いが最も良いことを表す評価値が得られるときの、前記サーチエリア内の前記中ブロックの位置を表すベクトルを、前記複数種類の動きベクトルのうちの１種類である中ブロック順方向ベクトルとして検出する中ブロック順方向ベクトル検出手段と、
前記補間フレームの小ブロックについて、前記小ブロックの評価値テーブルの評価値の加算と減算とを行うことにより、前記未来側フレームの中ブロックのブロックマッチングの結果得られる評価値テーブルである中ブロック逆方向評価値テーブルを生成する中ブロック逆方向評価値テーブル生成手段と、
前記中ブロック逆方向評価値テーブルにおいて、前記画像の一致の度合いが最も良いことを表す評価値が得られるときの、前記サーチエリア内の前記中ブロックの位置を表すベクトルを、前記複数種類の動きベクトルのうちの１種類である中ブロック逆方向ベクトルとして検出する中ブロック逆方向ベクトル検出手段と、
前記補間フレームの小ブロックについて、前記小ブロックの評価値テーブルの評価値の加算と減算とを行うことにより、前記中ブロックを構成する小ブロックの数よりも多い数の小ブロックから構成される、前記過去側フレームの大ブロックのブロックマッチングの結果得られる評価値テーブルと、前記未来側フレームの大ブロックのブロックマッチングの結果得られる評価値テーブルとを合成した大ブロック双方向評価値テーブルを生成する大ブロック双方向評価値テーブル生成手段と、
前記大ブロック双方向評価値テーブルにおいて、前記画像の一致の度合いが最も良いことを表す評価値が得られるときの、前記サーチエリア内の前記大ブロックの位置を表すベクトルを、前記複数種類の動きベクトルのうちの１種類である大ブロック双方向ベクトルとして検出する大ブロック双方向ベクトル検出手段と
を有し、
前記候補ベクトル算出手段は、
前記大ブロック双方向ベクトルの前記統計処理を行うことによって、前記小ブロックごとの前記背景ベクトルを求め、
前記中ブロック双方向ベクトルの前記統計処理を行うことによって、前記小ブロックごとの前記物体ベクトルを求め、
前記中ブロック順方向ベクトルの前記統計処理を行うことによって得られる前記統計量としてのベクトルと、前記背景ベクトル、及び前記物体ベクトルのそれぞれとを比較することにより、前記背景ベクトルと前記物体ベクトルとのうちの、前記統計量としてのベクトルに類似する方のベクトルを表す順方向動き判定情報を、前記小ブロックごとに生成し、
前記中ブロック逆方向ベクトルの前記統計処理を行うことによって得られる前記統計量としてのベクトルと、前記背景ベクトル、及び前記物体ベクトルのそれぞれとを比較することにより、前記背景ベクトルと前記物体ベクトルとのうちの、前記統計量としてのベクトルに類似する方のベクトルを表す逆方向動き判定情報を、前記小ブロックごとに生成し、
前記画素単位動き推定手段は、前記背景カウント値、前記物体カウント値、及び、前記静止カウント値のうちの２以上が最大値である場合、前記背景ベクトル、及び、前記物体ベクトルのうちの、前記順方向動き判定情報が表すベクトルを、前記順方向ベクトルとして求めるとともに、前記背景ベクトル、及び、前記物体ベクトルのうちの、前記逆方向動き判定情報が表すベクトルを、前記逆方向ベクトルとして求める
請求項６に記載の画像処理装置。
【請求項９】
前記画素単位動き推定手段は、前記注目フレームの前の補間フレームの前記前フレーム画素の前記背景ベクトル、及び前記物体ベクトルを記憶するベクトル記憶手段を有する
請求項６に記載の画像処理装置。
【請求項１０】
前記候補ベクトル算出手段は、
前記動きベクトル検出手段において検出される、前記補間フレームの前記小ブロックすべての動きベクトルのヒストグラムである全画面ヒストグラムを生成する全画面ヒストグラム生成手段と、
前記全画面ヒストグラムに基づいて、前記過去側フレームから、前記未来側フレームにかけて、シーンチェンジが生じているかどうかを判定するシーンチェンジ判定手段と
を有し、
前記画素単位動き推定手段は、
前記注目画素の位置から前記背景ベクトルに従って移動した位置が、画枠外の位置である場合、前記背景カウント値に、シーンチェンジからのフレーム数を表す回数カウント値をセットし、
前記注目画素の位置から前記物体ベクトルに従って移動した位置が、画枠外の位置である場合、前記物体カウント値に、シーンチェンジからのフレーム数を表す回数カウント値をセットする
請求項７に記載の画像処理装置。
【請求項１１】
前記画素単位動き推定手段は、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル又は前記背景ベクトルに類似している場合、前記物体ベクトルに従った動きが連続している回数を表す物体回数カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル及び前記背景ベクトルのいずれにも類似しない場合、前記物体回数カウント値をリセットし、
前記背景カウント値、前記物体カウント値、及び、前記静止カウント値の中の最大値が、前記背景カウント値である場合において、前記背景カウント値が、前記回数カウント値よりも小であるとき、又は、前記最大値が、前記物体カウント値である場合において、前記物体カウント値が、前記物体回数カウンタよりも小であるとき、
前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間の相関の有無の判定に用いられた、前記背景ベクトルに対応する前記評価値テーブルと、
前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間の相関の有無の判定に用いられた、前記物体ベクトルに対応する前記評価値テーブルと
のうちの、前記画像の一致の度合いが最も良いことを表す評価値を有する前記評価値テーブルに対応する前記背景ベクトル、又は前記物体ベクトルを、前記順方向ベクトルとして求めるとともに、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間の相関の有無の判定に用いられた、前記背景ベクトルに対応する前記評価値テーブルと、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間の相関の有無の判定に用いられた、前記物体ベクトルに対応する前記評価値テーブルと
のうちの、前記画像の一致の度合いが最も良いことを表す評価値を有する前記評価値テーブルに対応する前記背景ベクトル、又は前記物体ベクトルを、前記逆方向ベクトルとして求める
請求項１０に記載の画像処理装置。
【請求項１２】
前記補間画素動き判定手段は、前記補間画素について、
前記補間画素を含む前記小ブロックの前記背景ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素を含む前記小ブロックの前記物体ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素の位置の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと
の中の少なくとも１つ以上と、前記背景ベクトル、前記物体ベクトル、又は０ベクトルとが類似しているかどうかによって、前記動き判定を行うとともに、前記補間画素が、カバードバックグラウンド領域の画素、アンカバードバックグラウンド領域の画素、又は、カバードバックグラウンド領域、及び、アンカバードバックグラウンド領域のいずれの領域でもない領域の画素のうちのいずれであるかを判定するC/UC判定を行い、
前記補間画像生成手段は、前記C/UC判定の判定結果を表すC/UC情報に基づいて、前記動き補償画像の画素から、前記補間フレームの前記補間画素の生成に用いる画素を選択して、前記補間画素を生成する
請求項１に記載の画像処理装置。
【請求項１３】
前記補間画像生成手段は、
前記補間フレームの補間画素のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素として、前記動き補償画像の、前記注目画素の位置に近い画素を選択する予測タップ選択手段と、
前記注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いられるクラスタップとなる画素として、前記動き補償画像の、前記注目画素の位置に近い画素を選択するクラスタップ選択手段と、
前記クラスタップである画素のレベル分布によって、前記注目画素のクラス分類を行うクラス分類手段と、
前記入力画像に相当する生徒画像から得られる前記動き補償画像を用いた前記予測演算の結果と、前記補間フレームに相当する教師画像との誤差を最小にする学習により求められた、前記複数のクラスそれぞれごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力手段と、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算手段と
を有する
請求項１に記載の画像処理装置。
【請求項１４】
補間の対象の入力画像のフレームどうしの間に補間する補間フレームの過去側の前記入力画像のフレームである過去側フレームと、前記補間フレームの未来側の前記入力画像のフレームである未来側フレームとを、前記入力画像から選択し、前記過去側フレーム、及び前記未来側フレームを用いたブロックマッチングによって、前記補間フレームをブロック分割して得られる小ブロックごとに、複数種類の動きベクトルを検出する動きベクトル検出ステップと、
前記複数種類の動きベクトルそれぞれの統計量を求める統計処理によって、前記入力画像に写る背景の動きを表す背景ベクトルと、前記入力画像に写る、前記背景以外の物体の動きを表す物体ベクトルとを、前記小ブロックの動きを表す動きベクトルの候補として、前記小ブロックごとに求める候補ベクトル算出ステップと、
前記小ブロックごとの前記背景ベクトル、及び前記物体ベクトルを用い、前記過去側フレームから前記未来側フレームの方向に見た、前記補間フレームの画素の動きを表す順方向ベクトルと、前記未来側フレームから前記過去側フレームの方向に見た、前記補間フレームの画素の動きを表す逆方向ベクトルとを、前記補間フレームの画素ごとに求める画素単位動き推定ステップと、
前記補間フレームの画素である補間画素について、
前記補間画素を含む前記小ブロックの前記背景ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素を含む前記小ブロックの前記物体ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素の位置の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと
の中の少なくとも１つ以上と、前記背景ベクトル、前記物体ベクトル、又は０ベクトルとが類似しているかどうかによって、前記背景ベクトル、前記物体ベクトル、又は前記０ベクトルを、前記補間画素の動きベクトルに判定する動き判定を行う補間画素動き判定ステップと、
前記補間画素の動きベクトルに従い、前記過去側フレーム、及び前記未来側フレームのうちの少なくとも一方の動き補償を行い、前記動き補償によって得られる動き補償画像を用いて、前記補間フレームを生成する補間画像生成ステップと
を含み、
前記画素単位動き推定ステップでは、
前記補間フレームの中の、注目する注目フレームを構成する画素のうちの、注目する注目画素について、
前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの画素である前フレーム画素の前記背景ベクトル又は前記物体ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、
及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、
前記背景ベクトルに従った動き、及び画像の相関が連続している回数を表す背景カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記背景ベクトル及び前記物体ベクトルのいずれにも類似しないか、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がないか、
又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がない場合、
前記背景カウント値をリセットし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル又は前記背景ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、
及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、
前記物体ベクトルに従った動き、及び画像の相関が連続している回数を表す物体カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル及び前記背景ベクトルのいずれにも類似しないか、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がないか、
又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がない場合、
前記物体カウント値をリセットし、
前記背景カウント値と前記物体カウント値との大小関係に基づいて、前記背景ベクトル、又は前記物体ベクトルを、前記順方向ベクトルとして求めるとともに、前記逆方向ベクトルとして求める
画像処理方法。
【請求項１５】
補間の対象の入力画像のフレームどうしの間に補間する補間フレームの過去側の前記入力画像のフレームである過去側フレームと、前記補間フレームの未来側の前記入力画像のフレームである未来側フレームとを、前記入力画像から選択し、前記過去側フレーム、及び前記未来側フレームを用いたブロックマッチングによって、前記補間フレームをブロック分割して得られる小ブロックごとに、複数種類の動きベクトルを検出する動きベクトル検出手段と、
前記複数種類の動きベクトルそれぞれの統計量を求める統計処理によって、前記入力画像に写る背景の動きを表す背景ベクトルと、前記入力画像に写る、前記背景以外の物体の動きを表す物体ベクトルとを、前記小ブロックの動きを表す動きベクトルの候補として、前記小ブロックごとに求める候補ベクトル算出手段と、
前記小ブロックごとの前記背景ベクトル、及び前記物体ベクトルを用い、前記過去側フレームから前記未来側フレームの方向に見た、前記補間フレームの画素の動きを表す順方向ベクトルと、前記未来側フレームから前記過去側フレームの方向に見た、前記補間フレームの画素の動きを表す逆方向ベクトルとを、前記補間フレームの画素ごとに求める画素単位動き推定手段と、
前記補間フレームの画素である補間画素について、
前記補間画素を含む前記小ブロックの前記背景ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素を含む前記小ブロックの前記物体ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素の位置の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと
の中の少なくとも１つ以上と、前記背景ベクトル、前記物体ベクトル、又は０ベクトルとが類似しているかどうかによって、前記背景ベクトル、前記物体ベクトル、又は前記０ベクトルを、前記補間画素の動きベクトルに判定する動き判定を行う補間画素動き判定手段と、
前記補間画素の動きベクトルに従い、前記過去側フレーム、及び前記未来側フレームのうちの少なくとも一方の動き補償を行い、前記動き補償によって得られる動き補償画像を用いて、前記補間フレームを生成する補間画像生成手段と
して、コンピュータを機能させるためのプログラムであり、
前記画素単位動き推定手段は、
前記補間フレームの中の、注目する注目フレームを構成する画素のうちの、注目する注目画素について、
前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの画素である前フレーム画素の前記背景ベクトル又は前記物体ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、
及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、
前記背景ベクトルに従った動き、及び画像の相関が連続している回数を表す背景カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記背景ベクトル及び前記物体ベクトルのいずれにも類似しないか、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がないか、
又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がない場合、
前記背景カウント値をリセットし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル又は前記背景ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、
及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、
前記物体ベクトルに従った動き、及び画像の相関が連続している回数を表す物体カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル及び前記背景ベクトルのいずれにも類似しないか、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がないか、
又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がない場合、
前記物体カウント値をリセットし、
前記背景カウント値と前記物体カウント値との大小関係に基づいて、前記背景ベクトル、又は前記物体ベクトルを、前記順方向ベクトルとして求めるとともに、前記逆方向ベクトルとして求める
プログラム。

【図１】