動きベクトル導出方法、動きベクトル導出プログラム及びこの動きベクトル導出プログラムを格納したデータ記憶媒体
【課題】効率のよい動きベクトル導出方法を得る。
【解決手段】現フレームを構成するブロックの動きベクトルを導出する動きベクトル導出方法であって、処理対象のブロックに隣接する複数のブロックの動きベクトルを検索し、動きベクトルの方向および／または動きベクトルの大きさに関する所定の基準に基づいて設定された複数のグループに対して、複数の動きベクトルをそれぞれ分類し、複数のグループのうち最も多くの動きベクトルが属するグループを選択し、選択されたグループに属する動きベクトルに対して所定の演算処理を行い、この演算結果を処理対象のブロックの動きベクトルとする。
【解決手段】現フレームを構成するブロックの動きベクトルを導出する動きベクトル導出方法であって、処理対象のブロックに隣接する複数のブロックの動きベクトルを検索し、動きベクトルの方向および／または動きベクトルの大きさに関する所定の基準に基づいて設定された複数のグループに対して、複数の動きベクトルをそれぞれ分類し、複数のグループのうち最も多くの動きベクトルが属するグループを選択し、選択されたグループに属する動きベクトルに対して所定の演算処理を行い、この演算結果を処理対象のブロックの動きベクトルとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージデータを処理する方法および装置に関するものである。本発明は、特に、例えば伝送の結果として発生する誤りを補償するためにイメージデータを処理する方法に関するものである。本発明は、詳細には、動きベクトルの誤りに関係するものである。
【背景技術】
【０００２】
イメージデータ、特に圧縮ビデオビットストリームは、誤りに対して非常に敏感である。たとえば、符号化ビデオビットストリームの単一ビット誤りによって、表示画質に深刻な劣化がもたらされる可能性がある。誤り訂正方式は既知であり広く使用されているが、必ずしもうまくいくとは限らない。誤り、例えば伝送中に発生するビット誤りを、誤り訂正方式によって完全に訂正することができない場合、誤りによってもたらされるイメージの破損を隠蔽するために、誤り検出および隠蔽を使用することが既知である。
【０００３】
既知のタイプの誤り隠蔽アルゴリズムは、概して２つの種類、すなわち空間的隠蔽と時間的隠蔽とに分類される。空間的隠蔽では、欠損データは隣接する空間情報を使用して復元されるが、時間的隠蔽では、それらは先のフレームのデータを使用して復元される。
【０００４】
ビデオ信号における時間的相関を利用することによって時間的隠蔽を実行する１つの既知の方法は、損傷したマクロブロック（ＭＢ）を先のフレームの空間的に対応するＭＢと置換することである（例えば、特許文献１参照。）。
この方法は、コピーイングアルゴリズムと呼ばれる。この方法は、実現は容易であるが、動きが存在する領域に不適当な隠蔽をもたらす可能性がある。損傷ＭＢを先のフレームからの動き補償済みブロックと置換することによって、著しく改善することができる。図１は、この技術を示す。しかしながら、これをうまく行うためには、動きベクトルが必要であり、マクロブロックデータが破損された場合、動きベクトルは入手可能でない場合がある。
【０００５】
図２は、中心ＭＢとその８つの隣接ブロックとを示す。動きベクトルは、失われると、隣接するＭＢの動きベクトルから推定することができる。それは、イメージ内の隣接するＭＢがしばしば同様に移動するため、通常、図２に示すような中心ＭＢに隣接するＭＢの動きベクトルがある程度まで中心ＭＢに相関するためである。図３は、同様の方向に向いている隣接するＭＢの動きベクトルを示す。損傷した動きベクトルが隣接するブロックからの動きベクトルによって置換される方法に関する（例えば、特許文献２および３参照。）。
隣接するブロックの動きベクトルの平均（すなわち、平均値または中央値から中心ＭＢの動きベクトルの推定値を導出することは既知である（例えば、特許文献４参照。）。
所与のＭＢが損傷を受けると、図４に示すように、水平に隣接するＭＢもまた損傷を受ける可能性が高い。このため、それら動きベクトルは、平均化計算から除外されてよい。
【０００６】
概して、中央値は平均値より好ましいが、著しい量の処理パワーが必要である。かかる計算上高価な方法は、携帯ビデオ電話等、所定の用途に対して特に望ましくない可能性がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第５，９１０，８２７号明細書
【特許文献２】米国特許第５，７２４，３６９号明細書
【特許文献３】米国特許第５，７３７，０２２号明細書
【特許文献４】米国特許第５，９１２，７０７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、イメージ内の隣接するＭＢは、しばしば、特に同じオブジェクトに属する場合は同様に移動する。したがって、隣接するＭＢの動きベクトルに関して損傷した動きベクトルを推定することは、一般的に妥当である。しかしながら、ことによると異なるブロックは異なる方向に移動している異なるオブジェクトに関連するため、時には隣接するブロックは同様の動きを有さない可能性がある。言換えれば、動きベクトルは、しばしばイメージのオブジェクト境界上またはその周囲において一様でないか相関していない。そのため、上述したような隣接する動きベクトルを平均化する動きベクトルの推定により、不正確な結果がもたらされる可能性があり、それに対応して表示イメージの品質が低下する可能性がある。例えば、ＭＢの最上列が第１の方向に移動しているオブジェクトに関連し、ＭＢの最下列が反対方向に移動している異なるオブジェクトに関連するものとすると、平均の値はおよそ０であるが、中心ＭＢは実際には、第１の方向に移動しているオブジェクトに関連する。
【課題を解決するための手段】
【０００９】
本発明の態様は、併記の特許請求の範囲に示されている。
【００１０】
本発明は、画像情報を構成する画像フレーム列に含まれる現フレームにおいて、前記現フレームを構成するブロックの動きベクトルを導出する動きベクトル導出方法であって、処理対象の前記ブロックに隣接する複数の前記ブロックの動きベクトルを検索する検索ステップと、動きベクトルの方向および／または動きベクトルの大きさに関する所定の基準に基づいて設定された複数のグループに対して、前記複数の動きベクトルをそれぞれ分類するグループ化ステップと、前記複数のグループのうち最も多くの動きベクトルが属するグループを選択する選択ステップと、前記選択されたグループに属する動きベクトルに対して所定の演算処理を行う演算ステップとを備え、前記演算ステップの演算結果を前記処理対象のブロックの動きベクトルとすることを特徴とする。
【発明の効果】
【００１１】
本発明の結果として、損傷した動きベクトルのより正確な指示を導出することができ、したがって、よりよい表示イメージを得ることができる。望まれる処理の量を、特にいくつかの実施の形態に対して、比較的小さくすることができる。
【図面の簡単な説明】
【００１２】
【図１】隣接するフレームのマクロブロックの図である。
【図２】中心ブロックに空間的に隣接するブロックの図である。
【図３】動きベクトルを示す動きベクトルグラフである。
【図４】隣接するブロックの図である。
【図５】携帯電話の略ブロック図である。
【図６】フローチャートである。
【図７】象限の形態でグループ化を示す動きベクトルグラフである。
【図８】動きベクトルの他の実施例を示す動きベクトルグラフである。
【図９】時間的および空間的に隣接するブロックの図である。
【図１０】グループ化の他の実施例を示す動きベクトルグラフである。
【図１１】動きベクトルの他の実施例を示す動きベクトルグラフである。
【図１２】図１１に対応する動きベクトルグラフである。
【図１３】グループ化の他の実施例を示す。
【図１４】探索図である。
【図１５】グループ化の他の実施例を示す図である。
【図１６】グループ化の他の実施例を示す図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態を、添付図面に関連して説明する。
【００１４】
本発明の実施の形態を、第１の携帯電話のビデオカメラによって取込まれたイメージデータが第２の携帯電話に送信され表示される、携帯ビデオ電話のコンテキストで説明する。
【００１５】
図５は、携帯ビデオ電話１（以下、単に「電話１」とする）の関連部分を概略的に示す。電話１は、データを送受信する送受信機２と、受信データを復号化するデコーダ４と、受信イメージを表示するディスプレイ６とを有する。また、電話１は、ユーザのイメージシーケンスを取込むカメラ８と、取込んだイメージシーケンスを符号化するエンコーダ１０も有する。
【００１６】
デコーダ４は、適当な符号化技術にしたがって受信データを復号化するデータデコーダ１２と、復号化データの誤りを検出する誤り検出器１４と、損傷した動きベクトルを推定する動きベクトル推定器１６と、動きベクトル推定器の出力に従って誤りを隠蔽する誤り隠蔽器１８とを有する。
【００１７】
本発明の実施の形態によりディスプレイ６に表示する受信イメージデータを復号化する方法を、以下に説明する。
【００１８】
第１の携帯電話のカメラ８によって取込まれたイメージデータは、例えばＭＰＥＧ−４技術等、フレーム、マクロブロックおよび動き補償を使用する適当な既知の技術を使用して、送信するために符号化される。そして、符号化データは送信される。
【００１９】
イメージデータは、第２の携帯電話によって受信され、データデコーダ１２によって復号化される。従来技術と同様に、送信データで発生する誤りが、誤り検出器１４によって検出され、可能な場合は誤り訂正方式を使用して訂正される。動きベクトルの誤りを検出することが可能でない場合、図６のフローチャートに関して後述するように、推定方法が動きベクトル推定器１６において適用される。
【００２０】
マクロブロックＭＢ（ｘ，ｙ）を記述するデータに誤りが発生したとすると、これによって、このマクロブロック内の動きベクトルに誤りがもたらされる可能性がある。６つの隣接するＭＢ（図４参照）の動きベクトル（ＭＶ）が検索される（ステップ１００）。図４において、ＭＢ（ｘ，ｙ）に水平に隣接するＭＢは、同様に損傷を受けていると想定して排除される。しかしながら、水平に隣接する動きベクトルが損傷を受けていない場合は、推定に含まれてよい。
【００２１】
次に、隣接する動きベクトルがグループに分割される（ステップ１１０）。より詳細には、動きベクトルは、本実施の形態ではｘおよびｙ成分の符号に従ってグループに分割される。図７は、ｘ−ｙ平面の４象限に対応する４つのグループを示し、主軸はｘおよびｙ軸である。グループは以下のように記述することができる。
【００２２】
ＭＶx水平方向およびＭＶy垂直方向によって動きベクトルを画定することにより、
ＭＶ＝（ＭＶx，ＭＶy）
これら２つの水平および垂直変位は、正および負の方向を有することができる。したがって、動きベクトルの４つのグループを有することができる。
グループ１：ＭＶx≧０，ＭＶy≧０
グループ２：ＭＶx＜０，ＭＶy≧０
グループ３：ＭＶx＜０，ＭＶy＜０
グループ４：ＭＶx≧０，ＭＶy＜０
そして、最大数の動きベクトルを含むグループが選択される（ステップ１２０）。
【００２３】
次いで、選択されたグループの動きベクトルの平均が計算され、他の動きベクトルは除外される（ステップ１３０）。平均は、選択されたグループの中央値または平均値であってよい。本実施の形態では、中央値より必要な処理パワーが小さいことから、平均値が計算される。平均値は、以下の公式を使用して計算される。
【００２４】
【数１】
【００２５】
ここで、ＮのうちＭの動きベクトルは、最大数の動きベクトルを含むグループに属する。
【００２６】
図８は、損傷を受けた動きベクトルを有するブロックに隣接するブロックから現れる６つの動きベクトルの実施例を示す。再び図７を参照すると、図８の動きベクトルに対し、グループ１（第１象限）は動きベクトルを有さず、グループ２（第２象限）は２つの動きベクトルを有し、グループ３（第３象限）は４つの動きベクトルを有し、グループ４（第４象限）は動きベクトルを有していない。グループ３は最大数の動きベクトルを有するため、中心ブロックＭＢ（ｘ，ｙ）に隣接するブロックの動きの最も典型的である典型グループとして選択される。中心ブロックＭＢ（ｘ，ｙ）の動きベクトルの推定値は、上記式（１）を使用して、グループ３の動きベクトルの平均値として計算される。
【００２７】
そして、損傷したＭＢは、計算された動きベクトルに対応する先のフレームのＭＢと置換される。最終的に、置換ＭＢを含む完全なイメージがディスプレイ６に表示される。
【００２８】
ここで、本発明の第２の実施の形態を説明する。
【００２９】
第２の実施の形態は第１の実施の形態に類似している。しかしながら、第２の実施の形態では、先のフレームからの動きベクトルもまた、動きベクトル推定に使用される。これは、例えばいずれのグループも最大数の動きベクトルを有していない場合に、特に有用である。これは、単一フレームに対して最大数の動きベクトルを有する２つ以上の動きベクトルのグループがある場合に発生する可能性がある。
【００３０】
図９は、中心ＭＢと１〜６の番号が付された隣接するブロックとを有する現フレームを示す。本実施の形態では、先のフレームからのブロック７〜１５が動き推定に含まれる。ここでは、ブロック７が、先のフレームにおける中心ブロックＭＢに空間的に対応するブロックであり、ブロック８〜１５が、先のフレームにおいてブロック７を包囲するブロックである。先のフレームからの動きベクトルは、現フレームのものとある程度まで相関されるものと想定されるため、使用することができる。本実施の形態では、ブロック１〜６と先のフレームのブロック７〜１５とのすべての動きベクトルがグループ化され、最大数の動きベクトルを包含するグループが選択される。
【００３１】
上述した実施の形態では、動きベクトルは、ｘおよびｙ成分の符号に従って象限に分割される。ゼロ動きベクトルは極めて一般的であるため、上述した実施の形態の改良である第３の実施の形態では、ゼロ動きベクトルに対して追加のグループが提供され、結果としてグループが５つになる。あり得るグループ化の実施例を下に示す。
グループ０：ＭＶx＝０，ＭＶy＝０
グループ１：ＭＶx≧０，ＭＶy＞０
グループ２：ＭＶx＜０，ＭＶy≧０
グループ３：ＭＶx≦０，ＭＶy＜０
グループ４：ＭＶx＞０，ＭＶy≦０
【００３２】
図１０は、上記５つのグループを示す。
【００３３】
等式および不等式を調整することによって、他のグループ化を使用することができる。
【００３４】
図１１に示すように、動きベクトルがｘまたはｙ軸の一方の周りに集中するものとする。第１の実施の形態によれば、平均化において第１象限の動きベクトルのみが使用される。しかしながら、これは、第１象限と第４象限との両方の動きベクトルが同様のタイプの動きに関連するため、わずかに誤りを招く。第４の実施の形態は、図１２に示すように、この問題を克服する他のタイプのグループ化に関連する。ここでは、動きベクトルｘ−ｙ平面のグループの境界は、ラインｙ＝ｘおよびｙ＝−ｘである。これらグループを、以下のように記述することができる。
グループ１：｜ＭＶx｜＞｜ＭＶy｜，ＭＶx≧０
グループ２：｜ＭＶx｜≦｜ＭＶy｜，ＭＶy＞０
グループ３：｜ＭＶx｜＞｜ＭＶy｜，ＭＶx＜０
グループ４：｜ＭＶx｜≦｜ＭＶy｜，ＭＶy≦０
上記と同様に、ゼロベクトルグループを追加のグループとすることができる。
【００３５】
第５の実施の形態では、第３の実施の形態と第４の実施の形態とのグループ化が結合される。これにより、以下に示すように包括的なアルゴリズムがもたらされる。グループ化を、図１３に示す。
グループ０：ＭＶx＝０，ＭＶy＝０
グループ１：ＭＶx≧０，ＭＶy≧０
グループ２：ＭＶx＜０，ＭＶy≧０
グループ３：ＭＶx＜０，ＭＶy＜０
グループ４：ＭＶx≧０，ＭＶy＜０
グループ５：｜ＭＶy｜＜｜ＭＶx｜，ＭＶx≧０
グループ６：｜ＭＶy｜≧｜ＭＶx｜，ＭＶy≧０
グループ７：｜ＭＶy｜＜｜ＭＶx｜，ＭＶx＜０
グループ８：｜ＭＶy｜≧｜ＭＶx｜，ＭＶy＜０
【００３６】
図１４は、第５の実施の形態に従って動きベクトルをグループに入れるための探索図を示す。
【００３７】
上記実施の形態では、動きベクトルはそれらの方向によってグループ化される。第６の実施の形態では、動きベクトルは大きさ（動きベクトルの絶対値）によってグループ化される。図１５は、大きさによる、すなわち、低速動き、中間動きおよび高速動きによる動きベクトルのグループを示す。動きベクトルは、絶対値を計算しそれをグループの境界を画定する閾値と比較することによって、グループ化される。最大数のメンバを有するグループが選択され、損傷した動きベクトルが同様の大きさを有するものと想定される。より詳細には、選択されたグループのメンバが平均化（例えば、平均値または中央値）されることにより推定大きさが取得される。動きベクトルの方向は、別個に推定され、その後推定大きさを有するように調整される。
【００３８】
第７の実施の形態は、第５の実施の形態と第６の実施の形態を組合せることにより、大きさと方向との両方にしたがって動きベクトルをグループ化する。図１６は、その組合せを示す。図示するように、動きベクトルとその大きさとの方向による１７のあり得るグループがある。ここでは、あり得る動きベクトルの大きさは２つしかないが、いかなる数の大きさも可能である。
【００３９】
第２から第７の実施の形態の説明は、動きベクトルのグループがいかに選択されるかを示す。本方法の他のステップは、第１の実施の形態と同様である。
【００４０】
上述した実施の形態では、グループは、ｘ−ｙ平面のｘおよびｙ軸等、固定境界によって画定される。代替的に、所定の形状および大きさの境界は、最大数の動きベクトルの境界となるまで移動することができる。例えば、図７を参照すると、象限形状の領域が、領域の境界内の動きベクトルの数をカウントする度に、固定数の角度、例えば４５°ずつ最初の位置に戻るまで、または何回転かだけ、連続的に回転することができる。象限形状領域の１つの位置に対する動きベクトルの最大グループを使用して、動きベクトルが推定される。同様に、大きさに対し、固定閾値を使用する代りに、グループ化の幅が固定であってよく、閾値は最大数の動きベクトルを包含するグループを検出するように移動可能であってよい。
【００４１】
動きベクトルを、例えばより小さいかまたは大きい領域を描く他の領域に従ってグループ化することができる。例えば、各境界は、半象限かまたは２象限を画定することができる。しかしながら、経験および試験により、象限は過度な複雑性無しに優れた解決法を提供するということが分かった。同様に、第５の実施の形態におけるような固定象限の組合せにより、象限を回転させるより複雑でない優れた結果がもたらされる。象限は、同じタイプの動きに関連するようにみなされる動きベクトルを含むためには十分に大きいが、他のタイプの動きに関連する動きベクトルを排除するためには十分に小さいため、良好な妥協案である。例えば、２象限は、明らかに異なるタイプの動きに関連する、４５°を指すベクトルの第１のグループと、１３５°を指す第２のグループとを含む可能性がある。
【００４２】
特定の実施の形態は、いずれも推定の精度を低下させる、異なるオブジェクトかまたは偶然の動きベクトルに関連する動きを排除する、単純な低処理分析を提供する。
【技術分野】
【０００１】
本発明は、イメージデータを処理する方法および装置に関するものである。本発明は、特に、例えば伝送の結果として発生する誤りを補償するためにイメージデータを処理する方法に関するものである。本発明は、詳細には、動きベクトルの誤りに関係するものである。
【背景技術】
【０００２】
イメージデータ、特に圧縮ビデオビットストリームは、誤りに対して非常に敏感である。たとえば、符号化ビデオビットストリームの単一ビット誤りによって、表示画質に深刻な劣化がもたらされる可能性がある。誤り訂正方式は既知であり広く使用されているが、必ずしもうまくいくとは限らない。誤り、例えば伝送中に発生するビット誤りを、誤り訂正方式によって完全に訂正することができない場合、誤りによってもたらされるイメージの破損を隠蔽するために、誤り検出および隠蔽を使用することが既知である。
【０００３】
既知のタイプの誤り隠蔽アルゴリズムは、概して２つの種類、すなわち空間的隠蔽と時間的隠蔽とに分類される。空間的隠蔽では、欠損データは隣接する空間情報を使用して復元されるが、時間的隠蔽では、それらは先のフレームのデータを使用して復元される。
【０００４】
ビデオ信号における時間的相関を利用することによって時間的隠蔽を実行する１つの既知の方法は、損傷したマクロブロック（ＭＢ）を先のフレームの空間的に対応するＭＢと置換することである（例えば、特許文献１参照。）。
この方法は、コピーイングアルゴリズムと呼ばれる。この方法は、実現は容易であるが、動きが存在する領域に不適当な隠蔽をもたらす可能性がある。損傷ＭＢを先のフレームからの動き補償済みブロックと置換することによって、著しく改善することができる。図１は、この技術を示す。しかしながら、これをうまく行うためには、動きベクトルが必要であり、マクロブロックデータが破損された場合、動きベクトルは入手可能でない場合がある。
【０００５】
図２は、中心ＭＢとその８つの隣接ブロックとを示す。動きベクトルは、失われると、隣接するＭＢの動きベクトルから推定することができる。それは、イメージ内の隣接するＭＢがしばしば同様に移動するため、通常、図２に示すような中心ＭＢに隣接するＭＢの動きベクトルがある程度まで中心ＭＢに相関するためである。図３は、同様の方向に向いている隣接するＭＢの動きベクトルを示す。損傷した動きベクトルが隣接するブロックからの動きベクトルによって置換される方法に関する（例えば、特許文献２および３参照。）。
隣接するブロックの動きベクトルの平均（すなわち、平均値または中央値から中心ＭＢの動きベクトルの推定値を導出することは既知である（例えば、特許文献４参照。）。
所与のＭＢが損傷を受けると、図４に示すように、水平に隣接するＭＢもまた損傷を受ける可能性が高い。このため、それら動きベクトルは、平均化計算から除外されてよい。
【０００６】
概して、中央値は平均値より好ましいが、著しい量の処理パワーが必要である。かかる計算上高価な方法は、携帯ビデオ電話等、所定の用途に対して特に望ましくない可能性がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第５，９１０，８２７号明細書
【特許文献２】米国特許第５，７２４，３６９号明細書
【特許文献３】米国特許第５，７３７，０２２号明細書
【特許文献４】米国特許第５，９１２，７０７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、イメージ内の隣接するＭＢは、しばしば、特に同じオブジェクトに属する場合は同様に移動する。したがって、隣接するＭＢの動きベクトルに関して損傷した動きベクトルを推定することは、一般的に妥当である。しかしながら、ことによると異なるブロックは異なる方向に移動している異なるオブジェクトに関連するため、時には隣接するブロックは同様の動きを有さない可能性がある。言換えれば、動きベクトルは、しばしばイメージのオブジェクト境界上またはその周囲において一様でないか相関していない。そのため、上述したような隣接する動きベクトルを平均化する動きベクトルの推定により、不正確な結果がもたらされる可能性があり、それに対応して表示イメージの品質が低下する可能性がある。例えば、ＭＢの最上列が第１の方向に移動しているオブジェクトに関連し、ＭＢの最下列が反対方向に移動している異なるオブジェクトに関連するものとすると、平均の値はおよそ０であるが、中心ＭＢは実際には、第１の方向に移動しているオブジェクトに関連する。
【課題を解決するための手段】
【０００９】
本発明の態様は、併記の特許請求の範囲に示されている。
【００１０】
本発明は、画像情報を構成する画像フレーム列に含まれる現フレームにおいて、前記現フレームを構成するブロックの動きベクトルを導出する動きベクトル導出方法であって、処理対象の前記ブロックに隣接する複数の前記ブロックの動きベクトルを検索する検索ステップと、動きベクトルの方向および／または動きベクトルの大きさに関する所定の基準に基づいて設定された複数のグループに対して、前記複数の動きベクトルをそれぞれ分類するグループ化ステップと、前記複数のグループのうち最も多くの動きベクトルが属するグループを選択する選択ステップと、前記選択されたグループに属する動きベクトルに対して所定の演算処理を行う演算ステップとを備え、前記演算ステップの演算結果を前記処理対象のブロックの動きベクトルとすることを特徴とする。
【発明の効果】
【００１１】
本発明の結果として、損傷した動きベクトルのより正確な指示を導出することができ、したがって、よりよい表示イメージを得ることができる。望まれる処理の量を、特にいくつかの実施の形態に対して、比較的小さくすることができる。
【図面の簡単な説明】
【００１２】
【図１】隣接するフレームのマクロブロックの図である。
【図２】中心ブロックに空間的に隣接するブロックの図である。
【図３】動きベクトルを示す動きベクトルグラフである。
【図４】隣接するブロックの図である。
【図５】携帯電話の略ブロック図である。
【図６】フローチャートである。
【図７】象限の形態でグループ化を示す動きベクトルグラフである。
【図８】動きベクトルの他の実施例を示す動きベクトルグラフである。
【図９】時間的および空間的に隣接するブロックの図である。
【図１０】グループ化の他の実施例を示す動きベクトルグラフである。
【図１１】動きベクトルの他の実施例を示す動きベクトルグラフである。
【図１２】図１１に対応する動きベクトルグラフである。
【図１３】グループ化の他の実施例を示す。
【図１４】探索図である。
【図１５】グループ化の他の実施例を示す図である。
【図１６】グループ化の他の実施例を示す図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態を、添付図面に関連して説明する。
【００１４】
本発明の実施の形態を、第１の携帯電話のビデオカメラによって取込まれたイメージデータが第２の携帯電話に送信され表示される、携帯ビデオ電話のコンテキストで説明する。
【００１５】
図５は、携帯ビデオ電話１（以下、単に「電話１」とする）の関連部分を概略的に示す。電話１は、データを送受信する送受信機２と、受信データを復号化するデコーダ４と、受信イメージを表示するディスプレイ６とを有する。また、電話１は、ユーザのイメージシーケンスを取込むカメラ８と、取込んだイメージシーケンスを符号化するエンコーダ１０も有する。
【００１６】
デコーダ４は、適当な符号化技術にしたがって受信データを復号化するデータデコーダ１２と、復号化データの誤りを検出する誤り検出器１４と、損傷した動きベクトルを推定する動きベクトル推定器１６と、動きベクトル推定器の出力に従って誤りを隠蔽する誤り隠蔽器１８とを有する。
【００１７】
本発明の実施の形態によりディスプレイ６に表示する受信イメージデータを復号化する方法を、以下に説明する。
【００１８】
第１の携帯電話のカメラ８によって取込まれたイメージデータは、例えばＭＰＥＧ−４技術等、フレーム、マクロブロックおよび動き補償を使用する適当な既知の技術を使用して、送信するために符号化される。そして、符号化データは送信される。
【００１９】
イメージデータは、第２の携帯電話によって受信され、データデコーダ１２によって復号化される。従来技術と同様に、送信データで発生する誤りが、誤り検出器１４によって検出され、可能な場合は誤り訂正方式を使用して訂正される。動きベクトルの誤りを検出することが可能でない場合、図６のフローチャートに関して後述するように、推定方法が動きベクトル推定器１６において適用される。
【００２０】
マクロブロックＭＢ（ｘ，ｙ）を記述するデータに誤りが発生したとすると、これによって、このマクロブロック内の動きベクトルに誤りがもたらされる可能性がある。６つの隣接するＭＢ（図４参照）の動きベクトル（ＭＶ）が検索される（ステップ１００）。図４において、ＭＢ（ｘ，ｙ）に水平に隣接するＭＢは、同様に損傷を受けていると想定して排除される。しかしながら、水平に隣接する動きベクトルが損傷を受けていない場合は、推定に含まれてよい。
【００２１】
次に、隣接する動きベクトルがグループに分割される（ステップ１１０）。より詳細には、動きベクトルは、本実施の形態ではｘおよびｙ成分の符号に従ってグループに分割される。図７は、ｘ−ｙ平面の４象限に対応する４つのグループを示し、主軸はｘおよびｙ軸である。グループは以下のように記述することができる。
【００２２】
ＭＶx水平方向およびＭＶy垂直方向によって動きベクトルを画定することにより、
ＭＶ＝（ＭＶx，ＭＶy）
これら２つの水平および垂直変位は、正および負の方向を有することができる。したがって、動きベクトルの４つのグループを有することができる。
グループ１：ＭＶx≧０，ＭＶy≧０
グループ２：ＭＶx＜０，ＭＶy≧０
グループ３：ＭＶx＜０，ＭＶy＜０
グループ４：ＭＶx≧０，ＭＶy＜０
そして、最大数の動きベクトルを含むグループが選択される（ステップ１２０）。
【００２３】
次いで、選択されたグループの動きベクトルの平均が計算され、他の動きベクトルは除外される（ステップ１３０）。平均は、選択されたグループの中央値または平均値であってよい。本実施の形態では、中央値より必要な処理パワーが小さいことから、平均値が計算される。平均値は、以下の公式を使用して計算される。
【００２４】
【数１】
【００２５】
ここで、ＮのうちＭの動きベクトルは、最大数の動きベクトルを含むグループに属する。
【００２６】
図８は、損傷を受けた動きベクトルを有するブロックに隣接するブロックから現れる６つの動きベクトルの実施例を示す。再び図７を参照すると、図８の動きベクトルに対し、グループ１（第１象限）は動きベクトルを有さず、グループ２（第２象限）は２つの動きベクトルを有し、グループ３（第３象限）は４つの動きベクトルを有し、グループ４（第４象限）は動きベクトルを有していない。グループ３は最大数の動きベクトルを有するため、中心ブロックＭＢ（ｘ，ｙ）に隣接するブロックの動きの最も典型的である典型グループとして選択される。中心ブロックＭＢ（ｘ，ｙ）の動きベクトルの推定値は、上記式（１）を使用して、グループ３の動きベクトルの平均値として計算される。
【００２７】
そして、損傷したＭＢは、計算された動きベクトルに対応する先のフレームのＭＢと置換される。最終的に、置換ＭＢを含む完全なイメージがディスプレイ６に表示される。
【００２８】
ここで、本発明の第２の実施の形態を説明する。
【００２９】
第２の実施の形態は第１の実施の形態に類似している。しかしながら、第２の実施の形態では、先のフレームからの動きベクトルもまた、動きベクトル推定に使用される。これは、例えばいずれのグループも最大数の動きベクトルを有していない場合に、特に有用である。これは、単一フレームに対して最大数の動きベクトルを有する２つ以上の動きベクトルのグループがある場合に発生する可能性がある。
【００３０】
図９は、中心ＭＢと１〜６の番号が付された隣接するブロックとを有する現フレームを示す。本実施の形態では、先のフレームからのブロック７〜１５が動き推定に含まれる。ここでは、ブロック７が、先のフレームにおける中心ブロックＭＢに空間的に対応するブロックであり、ブロック８〜１５が、先のフレームにおいてブロック７を包囲するブロックである。先のフレームからの動きベクトルは、現フレームのものとある程度まで相関されるものと想定されるため、使用することができる。本実施の形態では、ブロック１〜６と先のフレームのブロック７〜１５とのすべての動きベクトルがグループ化され、最大数の動きベクトルを包含するグループが選択される。
【００３１】
上述した実施の形態では、動きベクトルは、ｘおよびｙ成分の符号に従って象限に分割される。ゼロ動きベクトルは極めて一般的であるため、上述した実施の形態の改良である第３の実施の形態では、ゼロ動きベクトルに対して追加のグループが提供され、結果としてグループが５つになる。あり得るグループ化の実施例を下に示す。
グループ０：ＭＶx＝０，ＭＶy＝０
グループ１：ＭＶx≧０，ＭＶy＞０
グループ２：ＭＶx＜０，ＭＶy≧０
グループ３：ＭＶx≦０，ＭＶy＜０
グループ４：ＭＶx＞０，ＭＶy≦０
【００３２】
図１０は、上記５つのグループを示す。
【００３３】
等式および不等式を調整することによって、他のグループ化を使用することができる。
【００３４】
図１１に示すように、動きベクトルがｘまたはｙ軸の一方の周りに集中するものとする。第１の実施の形態によれば、平均化において第１象限の動きベクトルのみが使用される。しかしながら、これは、第１象限と第４象限との両方の動きベクトルが同様のタイプの動きに関連するため、わずかに誤りを招く。第４の実施の形態は、図１２に示すように、この問題を克服する他のタイプのグループ化に関連する。ここでは、動きベクトルｘ−ｙ平面のグループの境界は、ラインｙ＝ｘおよびｙ＝−ｘである。これらグループを、以下のように記述することができる。
グループ１：｜ＭＶx｜＞｜ＭＶy｜，ＭＶx≧０
グループ２：｜ＭＶx｜≦｜ＭＶy｜，ＭＶy＞０
グループ３：｜ＭＶx｜＞｜ＭＶy｜，ＭＶx＜０
グループ４：｜ＭＶx｜≦｜ＭＶy｜，ＭＶy≦０
上記と同様に、ゼロベクトルグループを追加のグループとすることができる。
【００３５】
第５の実施の形態では、第３の実施の形態と第４の実施の形態とのグループ化が結合される。これにより、以下に示すように包括的なアルゴリズムがもたらされる。グループ化を、図１３に示す。
グループ０：ＭＶx＝０，ＭＶy＝０
グループ１：ＭＶx≧０，ＭＶy≧０
グループ２：ＭＶx＜０，ＭＶy≧０
グループ３：ＭＶx＜０，ＭＶy＜０
グループ４：ＭＶx≧０，ＭＶy＜０
グループ５：｜ＭＶy｜＜｜ＭＶx｜，ＭＶx≧０
グループ６：｜ＭＶy｜≧｜ＭＶx｜，ＭＶy≧０
グループ７：｜ＭＶy｜＜｜ＭＶx｜，ＭＶx＜０
グループ８：｜ＭＶy｜≧｜ＭＶx｜，ＭＶy＜０
【００３６】
図１４は、第５の実施の形態に従って動きベクトルをグループに入れるための探索図を示す。
【００３７】
上記実施の形態では、動きベクトルはそれらの方向によってグループ化される。第６の実施の形態では、動きベクトルは大きさ（動きベクトルの絶対値）によってグループ化される。図１５は、大きさによる、すなわち、低速動き、中間動きおよび高速動きによる動きベクトルのグループを示す。動きベクトルは、絶対値を計算しそれをグループの境界を画定する閾値と比較することによって、グループ化される。最大数のメンバを有するグループが選択され、損傷した動きベクトルが同様の大きさを有するものと想定される。より詳細には、選択されたグループのメンバが平均化（例えば、平均値または中央値）されることにより推定大きさが取得される。動きベクトルの方向は、別個に推定され、その後推定大きさを有するように調整される。
【００３８】
第７の実施の形態は、第５の実施の形態と第６の実施の形態を組合せることにより、大きさと方向との両方にしたがって動きベクトルをグループ化する。図１６は、その組合せを示す。図示するように、動きベクトルとその大きさとの方向による１７のあり得るグループがある。ここでは、あり得る動きベクトルの大きさは２つしかないが、いかなる数の大きさも可能である。
【００３９】
第２から第７の実施の形態の説明は、動きベクトルのグループがいかに選択されるかを示す。本方法の他のステップは、第１の実施の形態と同様である。
【００４０】
上述した実施の形態では、グループは、ｘ−ｙ平面のｘおよびｙ軸等、固定境界によって画定される。代替的に、所定の形状および大きさの境界は、最大数の動きベクトルの境界となるまで移動することができる。例えば、図７を参照すると、象限形状の領域が、領域の境界内の動きベクトルの数をカウントする度に、固定数の角度、例えば４５°ずつ最初の位置に戻るまで、または何回転かだけ、連続的に回転することができる。象限形状領域の１つの位置に対する動きベクトルの最大グループを使用して、動きベクトルが推定される。同様に、大きさに対し、固定閾値を使用する代りに、グループ化の幅が固定であってよく、閾値は最大数の動きベクトルを包含するグループを検出するように移動可能であってよい。
【００４１】
動きベクトルを、例えばより小さいかまたは大きい領域を描く他の領域に従ってグループ化することができる。例えば、各境界は、半象限かまたは２象限を画定することができる。しかしながら、経験および試験により、象限は過度な複雑性無しに優れた解決法を提供するということが分かった。同様に、第５の実施の形態におけるような固定象限の組合せにより、象限を回転させるより複雑でない優れた結果がもたらされる。象限は、同じタイプの動きに関連するようにみなされる動きベクトルを含むためには十分に大きいが、他のタイプの動きに関連する動きベクトルを排除するためには十分に小さいため、良好な妥協案である。例えば、２象限は、明らかに異なるタイプの動きに関連する、４５°を指すベクトルの第１のグループと、１３５°を指す第２のグループとを含む可能性がある。
【００４２】
特定の実施の形態は、いずれも推定の精度を低下させる、異なるオブジェクトかまたは偶然の動きベクトルに関連する動きを排除する、単純な低処理分析を提供する。
【特許請求の範囲】
【請求項１】
画像情報を構成する画像フレーム列に含まれる現フレームにおいて、前記現フレームを構成するブロックの動きベクトルを導出する動きベクトル導出方法であって、
処理対象の前記ブロックに隣接する複数の前記ブロックの動きベクトルを検索する検索ステップと、
動きベクトルの方向および／または動きベクトルの大きさに関する所定の基準に基づいて設定された複数のグループに対して、前記複数の動きベクトルをそれぞれ分類するグループ化ステップと、
前記複数のグループのうち最も多くの動きベクトルが属するグループを選択する選択ステップと、
前記選択されたグループに属する動きベクトルに対して所定の演算処理を行う演算ステップとを備え、
前記演算ステップの演算結果を前記処理対象のブロックの動きベクトルとする
ことを特徴とする動きベクトル導出方法。
【請求項２】
前記動きベクトルの方向に関する所定の基準は、前記動きベクトルの水平方向、及び垂直方向に関するものであり、
前記所定の基準に従って設定された複数のグループは、前記水平方向の符号、及び前記垂直方向の符号に従って設定された複数のグループである
ことを特徴とする請求項１に記載の動きベクトル導出方法。
【請求項３】
前記動きベクトルの大きさに関する所定の基準は、前記動きベクトルの大きさの絶対値に関するものであり、
前記所定の基準に従って設定された複数のグループは、前記動きベクトルの大きさの絶対値に従って段階的に設定された複数のグループである
ことを特徴とする請求項１に記載の動きベクトル導出方法。
【請求項４】
前記所定の基準に従って設定された複数のグループは、前記動きベクトルの大きさがゼロであるグループを含む
ことを特徴とする請求項２または３に記載の動きベクトル導出方法。
【請求項５】
前記選択されたグループに属する動きベクトルに行われる所定の演算処理は、前記選択されたグループに属する動きベクトルの平均値を演算する処理、あるいは中央値を演算する処理である
ことを特徴とする請求項１から請求項４までのいずれか１項に記載の動きベクトル導出方法。
【請求項６】
画像情報を構成する画像フレーム列に含まれる現フレームにおいて、前記現フレームを構成するブロックの動きベクトルを導出する動きベクトル導出プログラムであって、
コンピュータに、
処理対象の前記ブロックに隣接する複数の前記ブロックの動きベクトルを検索する検索手順と、
動きベクトルの方向および／または動きベクトルの大きさに関する所定の基準に基づいて設定された複数のグループに対して、前記複数の動きベクトルをそれぞれ分類するグループ化手順と、
前記複数のグループのうち最も多くの動きベクトルが属するグループを選択する選択手順と、
前記選択されたグループに属する動きベクトルに対して所定の演算処理を行う演算手順とを実行させるための動きベクトル導出プログラムであり、
前記演算手順の演算結果を前記処理対象のブロックの動きベクトルとする
ことを特徴とする動きベクトル導出プログラム。
【請求項７】
前記動きベクトルの方向に関する所定の基準は、前記動きベクトルの水平方向、及び垂直方向に関するものであり、
前記所定の基準に従って設定された複数のグループは、前記水平方向の符号、及び前記垂直方向の符号に従って設定された複数のグループである
ことを特徴とする請求項６に記載の動きベクトル導出プログラム。
【請求項８】
前記動きベクトルの大きさに関する所定の基準は、前記動きベクトルの大きさの絶対値に関するものであり、
前記所定の基準に従って設定された複数のグループは、前記動きベクトルの大きさの絶対値に従って段階的に設定された複数のグループである
ことを特徴とする請求項６に記載の動きベクトル導出プログラム。
【請求項９】
前記所定の基準に従って設定された複数のグループは、前記動きベクトルの大きさがゼロであるグループを含む
ことを特徴とする請求項７または８に記載の動きベクトル導出方法。
【請求項１０】
前記選択されたグループに属する動きベクトルに行われる所定の演算処理は、前記選択されたグループに属する動きベクトルの平均値を演算する処理、あるいは中央値を演算する処理である
ことを特徴とする請求項６から請求項９までのいずれか１項に記載の動きベクトル導出方法。
【請求項１１】
請求項６から請求項１０までのいずれか１項に記載された動きベクトル導出プログラムを格納したデータ記憶媒体。
【請求項１】
画像情報を構成する画像フレーム列に含まれる現フレームにおいて、前記現フレームを構成するブロックの動きベクトルを導出する動きベクトル導出方法であって、
処理対象の前記ブロックに隣接する複数の前記ブロックの動きベクトルを検索する検索ステップと、
動きベクトルの方向および／または動きベクトルの大きさに関する所定の基準に基づいて設定された複数のグループに対して、前記複数の動きベクトルをそれぞれ分類するグループ化ステップと、
前記複数のグループのうち最も多くの動きベクトルが属するグループを選択する選択ステップと、
前記選択されたグループに属する動きベクトルに対して所定の演算処理を行う演算ステップとを備え、
前記演算ステップの演算結果を前記処理対象のブロックの動きベクトルとする
ことを特徴とする動きベクトル導出方法。
【請求項２】
前記動きベクトルの方向に関する所定の基準は、前記動きベクトルの水平方向、及び垂直方向に関するものであり、
前記所定の基準に従って設定された複数のグループは、前記水平方向の符号、及び前記垂直方向の符号に従って設定された複数のグループである
ことを特徴とする請求項１に記載の動きベクトル導出方法。
【請求項３】
前記動きベクトルの大きさに関する所定の基準は、前記動きベクトルの大きさの絶対値に関するものであり、
前記所定の基準に従って設定された複数のグループは、前記動きベクトルの大きさの絶対値に従って段階的に設定された複数のグループである
ことを特徴とする請求項１に記載の動きベクトル導出方法。
【請求項４】
前記所定の基準に従って設定された複数のグループは、前記動きベクトルの大きさがゼロであるグループを含む
ことを特徴とする請求項２または３に記載の動きベクトル導出方法。
【請求項５】
前記選択されたグループに属する動きベクトルに行われる所定の演算処理は、前記選択されたグループに属する動きベクトルの平均値を演算する処理、あるいは中央値を演算する処理である
ことを特徴とする請求項１から請求項４までのいずれか１項に記載の動きベクトル導出方法。
【請求項６】
画像情報を構成する画像フレーム列に含まれる現フレームにおいて、前記現フレームを構成するブロックの動きベクトルを導出する動きベクトル導出プログラムであって、
コンピュータに、
処理対象の前記ブロックに隣接する複数の前記ブロックの動きベクトルを検索する検索手順と、
動きベクトルの方向および／または動きベクトルの大きさに関する所定の基準に基づいて設定された複数のグループに対して、前記複数の動きベクトルをそれぞれ分類するグループ化手順と、
前記複数のグループのうち最も多くの動きベクトルが属するグループを選択する選択手順と、
前記選択されたグループに属する動きベクトルに対して所定の演算処理を行う演算手順とを実行させるための動きベクトル導出プログラムであり、
前記演算手順の演算結果を前記処理対象のブロックの動きベクトルとする
ことを特徴とする動きベクトル導出プログラム。
【請求項７】
前記動きベクトルの方向に関する所定の基準は、前記動きベクトルの水平方向、及び垂直方向に関するものであり、
前記所定の基準に従って設定された複数のグループは、前記水平方向の符号、及び前記垂直方向の符号に従って設定された複数のグループである
ことを特徴とする請求項６に記載の動きベクトル導出プログラム。
【請求項８】
前記動きベクトルの大きさに関する所定の基準は、前記動きベクトルの大きさの絶対値に関するものであり、
前記所定の基準に従って設定された複数のグループは、前記動きベクトルの大きさの絶対値に従って段階的に設定された複数のグループである
ことを特徴とする請求項６に記載の動きベクトル導出プログラム。
【請求項９】
前記所定の基準に従って設定された複数のグループは、前記動きベクトルの大きさがゼロであるグループを含む
ことを特徴とする請求項７または８に記載の動きベクトル導出方法。
【請求項１０】
前記選択されたグループに属する動きベクトルに行われる所定の演算処理は、前記選択されたグループに属する動きベクトルの平均値を演算する処理、あるいは中央値を演算する処理である
ことを特徴とする請求項６から請求項９までのいずれか１項に記載の動きベクトル導出方法。
【請求項１１】
請求項６から請求項１０までのいずれか１項に記載された動きベクトル導出プログラムを格納したデータ記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−１０５９５０（Ｐ２００９−１０５９５０Ａ）
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願番号】特願２００９−１３２３０（Ｐ２００９−１３２３０）
【出願日】平成２１年１月２３日（２００９．１．２３）
【分割の表示】特願２００２−２９３５９１（Ｐ２００２−２９３５９１）の分割
【原出願日】平成１４年１０月７日（２００２．１０．７）
【出願人】（５０１２５３３１６）ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＲＩＣ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＥＮＴＲＥ ＥＵＲＯＰＥ Ｂ．Ｖ．
【住所又は居所原語表記】２０ Ｆｒｅｄｅｒｉｃｋ Ｓａｎｇｅｒ Ｒｏａｄ， Ｔｈｅ Ｓｕｒｒｅｙ Ｒｅｓｅａｒｃｈ Ｐａｒｋ， Ｇｕｉｌｄｆｏｒｄ， Ｓｕｒｒｅｙ ＧＵ２ ５ＹＤ， Ｇｒｅａｔ Ｂｒｉｔａｉｎ
【Ｆターム（参考）】
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願日】平成２１年１月２３日（２００９．１．２３）
【分割の表示】特願２００２−２９３５９１（Ｐ２００２−２９３５９１）の分割
【原出願日】平成１４年１０月７日（２００２．１０．７）
【出願人】（５０１２５３３１６）ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＲＩＣ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＥＮＴＲＥ ＥＵＲＯＰＥ Ｂ．Ｖ．
【住所又は居所原語表記】２０ Ｆｒｅｄｅｒｉｃｋ Ｓａｎｇｅｒ Ｒｏａｄ， Ｔｈｅ Ｓｕｒｒｅｙ Ｒｅｓｅａｒｃｈ Ｐａｒｋ， Ｇｕｉｌｄｆｏｒｄ， Ｓｕｒｒｅｙ ＧＵ２ ５ＹＤ， Ｇｒｅａｔ Ｂｒｉｔａｉｎ
【Ｆターム（参考）】
[ Back to top ]