画像処理装置
【課題】主観的に劣化の少ない補間フレームを生成して、動画像の品質を改善することが可能な画像処理装置を提供する。
【解決手段】補間フレームを生成する場合に、予測ベクトル候補設定部１２１および動きベクトル検出部１２２は、時間的に連続する２つのフレームに基づいて、補間フレームを構成する各ブロックの動きベクトルを予測する。この時点で、動きベクトルのバラツキを求め、そのバラツキ具合により、処理を切り替える。動きベクトルのバラツキが小さい場合には、動きベクトル平滑化部１２４へ移行し、動きベクトルを、上記２つのフレームや隣接するブロックの動きベクトルに基づいて平滑化して、それら平滑化動きベクトルに基づいて、補間フレームを生成する。一方、動きベクトルのバラツキが大きい場合には、動きベクトルによる補間処理は行わず、空間的に同位置にある画像をそのまま流用する。
【解決手段】補間フレームを生成する場合に、予測ベクトル候補設定部１２１および動きベクトル検出部１２２は、時間的に連続する２つのフレームに基づいて、補間フレームを構成する各ブロックの動きベクトルを予測する。この時点で、動きベクトルのバラツキを求め、そのバラツキ具合により、処理を切り替える。動きベクトルのバラツキが小さい場合には、動きベクトル平滑化部１２４へ移行し、動きベクトルを、上記２つのフレームや隣接するブロックの動きベクトルに基づいて平滑化して、それら平滑化動きベクトルに基づいて、補間フレームを生成する。一方、動きベクトルのバラツキが大きい場合には、動きベクトルによる補間処理は行わず、空間的に同位置にある画像をそのまま流用する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像の品質を改善する画像処理装置に関する。
【背景技術】
【０００２】
近年、液晶ディスプレイなどで発生するフレームのボケ感を低減させるフレーム倍速技術が盛んに開発されている。このフレーム倍速技術は、主に動きベクトル検出、動きベクトル平滑化、補間画像作成で構成されている。携帯電話機など、モバイル向けの低演算能力機器でフレーム補間技術を実現するためには、処理量コストの大きい動きベクトル検出の簡略化が不可欠であるが、簡略化によって、動きベクトルの誤検出が発生するといった二律背反の課題が存在する。
【０００３】
例えば、特許文献１では、フレーム全体の動き（以下、グローバル動きベクトルと称する）を平滑化の候補に追加して平滑化を行っている。しかしながら、単にグローバル動きベクトルを平滑化候補に加えるだけではノイズを除去できない可能性がある。特に、特許文献１のように、候補動きベクトルの中間値を選択するだけでは効果があまり期待できない。
【０００４】
一方、例えば、特許文献２のように、動きベクトルの信頼性に応じた内挿フレームを選択する技術もある。しかしながら、信頼性判定の結果、信頼度の高い動きベクトルが既定数以下の場合には、過去フレームを参照することになるため、メモリアクセスの面で効率が悪くなっている。また、実際には、予測誤差や動きベクトルの大きさから動きベクトルの信頼度を正確に把握することは難しいため、必ずしも画質劣化を感じない補間フレームを生成できるとは限らない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−３０４１１号公報
【特許文献２】特開２００１−２４９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
低処理能力のモバイル機器においてフレーム補間技術を実現するためには処理簡略化が必須となっている。処理簡略化は、主に動き検出部や動きの平滑化・補正部で行われているが、簡略化に伴い動きベクトルの信頼性が低下してしまうため、生成した画像の品質が低下してしまう。
【０００７】
この発明は上記の問題を解決すべくなされたもので、簡易な処理で、動きに周囲との均一性を持たせ、主観的に劣化の少ないフレーム補間を行う画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明による画像処理装置は、時間的に連続する２つのフレームの間に挿入する補間フレームを生成する画像処理装置であって、前記補間フレームを構成する各ブロックの動きベクトルを取得する動きベクトル検出手段と、処理対象ブロックと処理対象ブロックに隣接するブロックの動きベクトルに対して前記動きベクトル検出手段によって取得された動きベクトル群のバラツキを算出し、このバラツキが所定の閾値以上である場合に、複数の動きベクトルを用いて動きベクトル平滑化を行い、平滑化された動きベクトルを用いて前記補間フレームを構成するブロックの動きベクトルを得るフレーム補間手段を有することを特徴としている。
【発明の効果】
【０００９】
本発明によれば、簡易な処理で、動きに周囲との均一性を持たせ、主観的に劣化の少ないフレーム補間を行う画像処理装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】この発明に係わる画像処理装置を備えた移動無線端末装置の実施形態の構成を示す回路ブロック図。
【図２】図１に示した画像処理装置のフレーム補間に関わる構成を示す回路ブロック図。
【図３】図２に示したフレーム補間部の動作を説明するためのフローチャート。
【図４】図２に示した動きベクトル検出部の動作を説明するためのフローチャート。
【図５】図２に示した動きベクトル平滑化部の動作を説明するためのフローチャート。
【図６】図２に示したブロックサイズ再設定部の動作を説明するためのフローチャート。
【図７】図６に示したブロックサイズ再設定部において処理ブロックサイズを大きくする場合の一例を説明するための図。
【図８】図６に示したブロックサイズ再設定部において処理ブロックサイズを小さくする場合の一例を説明するための図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を参照して説明する。
【００１２】
図１は、この発明の一実施形態に係わる画像処理装置を適用した移動無線端末装置の構成を示すブロック図である。この移動無線端末装置は、携帯電話機などのモバイル機器であって、図１に示すように、主な構成要素として、制御部１００と、無線通信部１０と、表示部２０と、通話部３０と、操作部４０と、記憶部５０と、放送受信部６０とを備え、基地局装置ＢＳおよび移動通信網ＮＷを介して通信する通信機能と、放送局ＢＣから送信される地上デジタル放送信号を受信する放送受信機能とを備える。
【００１３】
無線通信部１０は、制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳと無線通信を行うものであって、音声データや電子メールデータなどの送受信、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【００１４】
表示部２０は、制御部１００の制御により、画像（静止画像および動画像）や文字情報などを表示して、視覚的にユーザに情報を伝達するものである。
【００１５】
通話部３０は、スピーカ３１やマイクロホン３２を備え、マイクロホン３２を通じて入力されたユーザの音声を制御部１００にて処理可能な音声データに変換して制御部１００に出力したり、無線通信部１０を介して通話相手などから受信した音声データを復号してスピーカ３１から出力するものである。
【００１６】
操作部４０は、複数のキースイッチなどを備え、これを通じてユーザから指示を受け付けるものである。
【００１７】
記憶部５０は、制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。なお、記憶部５０は、ＨＤＤ、ＲＡＭ、ＲＯＭ、ＩＣメモリなどの１つ又は複数の記憶手段を含むものである。
【００１８】
放送受信部６０は、放送局ＢＣから送信される地上デジタル放送信号のうち、ワンセグメントを受信し、映像信号が、例えばＨ．２６４などの形式で符号化された放送データ（符号化ストリーム）を得る。なお、ここでは、低フレームレートのワンセグメントを例に挙げるが、これに限らず、より高いフレームレートのフルセグメントを受信するディジタルチューナであってもよい。
【００１９】
制御部１００は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御ｄｃｓデータにしたがって動作し、当該移動無線端末装置の各部を統括して制御し、例えば音声通信やデータ通信（電子メールの送受信や、Ｗｅｂブラウジング、ストリーミングデータのダウンロードなど）の通信機能を実現するものである。
【００２０】
さらに制御部１００は、放送受信部６０で得られた上記放送データを復号し、この復号結果に画像処理を施して、放送される映像を表示部２０に表示する放送受信制御を行う。
【００２１】
この放送受信制御は、上記放送受信機能を実現するためのものであって、制御部１００は、図２に示すように、動画像復号部１１０と、フレーム補間部１２０と、表示ドライバ１３０とを備える。この他に、図示しないが、放送受信部６０で受信されたオーディオデータを復号するオーディオ復号部も備える。
【００２２】
動画像復号部１１０は、動画像の符号化データ（Video Elementary Stream）を復号し
、これによって複数の動画像フレームFtで構成される動画像と符号化情報を得る。なお、この時点で得られる動画像のフレームレートは、１５Ｈｚと仮定する。
【００２３】
そして動画像復号部１１０は、動画像の符号化データを復号し、動画像フレームおよび符号化情報を出力する。動画像フレームは、フレーム補間部１２０と表示ドライバ１３０に入力される。
【００２４】
フレーム補間部１２０は、時間的に連続する２つの動画像フレームＦｔ−１とＦｔと、それぞれに対応する符号化情報とに基づいて、これらの動画像フレーム間を補間する補間フレームＦｔ−０．５を生成するもので、予測ベクトル候補設定部１２１と、動きベクトル検出部１２２と、大域動きベクトル検出部１２３と、動きベクトル平滑化部１２４と、αブレンディング部１２５と、動きベクトルバッファ１２６と、ブロックサイズ再設定部１２７とを備える。
【００２５】
図３を参照して、フレーム補間部１２０の動作について説明する。動画像フレーム1枚
は、複数のブロックによって形成されたものとして扱われ、各ブロックには、動画像フレーム上の位置に応じた所定のブロックインデックスが与えられる。そして、ステップ３ａ〜３ｄでは、ブロックインデックスがラスタスキャン順に１つずつ選択されて、選択されたブロックインデックスに対応するブロック（以下、処理対象ブロックと称する）ごとに、ステップ３ｂおよび３ｃが実施される。
【００２６】
ステップ３ｂでは、予測ベクトル候補設定部１２１が、処理対象ブロックに対して、時間的に隣接するブロック（前補間フレームＦｔ−１.5のブロック）の動きベクトルと、空間的に隣接する同時刻（同一フレームＦt-0.5）のブロックの動きベクトルを、それぞれ
予測ベクトル候補として設定する。なお、空間的に隣接するブロックの動きベクトルについては、ラスタスキャンされたブロックが対象となり、その動きベクトルだけが予測ベクトル候補として設定される。また、Ｆt-0.5のブロックに最終的に割り当てられた動きベ
クトル（最終的には平滑化動きベクトル）は、後述する動きベクトルバッファ１２６が記憶する。またデコーダからの情報が得られる場合は、Ｆｔを復号した際に用いた動きベクトルも使用して良い。
【００２７】
ステップ３ｃでは、動きベクトル検出部１２２にて、処理対象ブロックの動きベクトルを決定する。図４にステップ３ｃの処理の詳細を示す。
【００２８】
動きベクトル検出部１２２は、ステップ４ａ〜４ｆにおいて、ステップ３ｂで設定された予測ベクトル候補を順次選択し、各予測ベクトル候補にステップ４ｂから４ｅの処理を実行する。
【００２９】
ステップ４ｂにおいて動きベクトル検出部１２２は、選択した予測ベクトル候補の予測誤差を算出する。
【００３０】
ステップ４ｃにおいて動きベクトル検出部１２２は、選択した予測ベクトル候補の評価値を算出する。ここで評価値は、ステップ４ｂで求めた予測誤差に、所定の係数λと動きベクトルコストを乗算した値を加算した値でも良いし、予測誤差そのものでも良い。
【００３１】
ステップ４ｄにおいて動きベクトル検出部１２２は、ステップ４ｃで求めた評価値の大小判定を行う。ここで、ステップ４ｃで求めた評価値がその時点での最小評価値未満の場合には、ステップ４ｅに移行する。一方、最小評価値以上の場合には、ステップ４ａに戻り、次の予測ベクトル候補を選択する。ただし、処理対象ブロックの全ての予測ベクトル候補に対して４ｂから４ｅの処理を実行済みである場合には、当該処理を終了する。なお、最小評価値は、処理対照ブロックに対するステップ４ａから４ｅの処理を開始する前に初期値が設定されており、処理対象ブロックごとにリセットされるものとする。
【００３２】
ステップ４ｅにおいて動きベクトル検出部１２２は、ステップ４ｃで求めた評価値で最小評価値を更新する。また動きベクトル検出部１２２は、最小評価値に対応する予測ベクトル候補を動きベクトルとして決定する。
【００３３】
再び、図３を参照して説明する。
ステップ３ｅ〜３ｋでは、ブロックインデックスがラスタスキャン順に１つずつ選択されて、選択されたブロックインデックスに対応するブロック（以下、処理対象ブロックと称する）ごとに、ステップ３ｆおよび３ｊが実施される。
【００３４】
ステップ３ｆでは、動きベクトルバラツキ判定部１２３が、処理対象ブロックの動きベクトルと処理対象ブロックに隣接するブロックの動きベクトルとのバラツキ”ＶＡＲ”を算出する。動きベクトルのバラツキ”ＶＡＲ”は、上記動きベクトル群の分散とする。次にＶＡＲと予め定めておいた閾値”ＶＡＲｔｈ”との比較を行う。ＶＡＲが小さいとき、つまりＶＡＲ＜ＶＡＲｔｈのときは、補間処理を行った際に周囲のブロックとのズレが発生しにくいのでステップ３ｇとステップ３ｈに移行する。一方、動きベクトルのバラツキが大きいとき、つまりＶＡＲ＞＝ＶＡＲｔｈのときは、補間処理を行った際に周囲のブロックとのズレが発生しやすいのでステップ３ｉに移行する。以降、ステップ３ｇ、３ｈ、３ｉについて説明する。
【００３５】
ステップ３ｇでは、動きベクトル平滑化部１２４が、処理対象ブロックの動きベクトルと、処理対象ブロックに隣接するブロックの動きベクトルとの乖離度を式（１）のベクトルメディアン、または式（２）の重み付きベクトルメディアンによって算出し、局所動きベクトルを平滑化する。具体的には、動きベクトル平滑化部１２４は、処理対象ブロック毎に、図５に示すような処理を実行して、ブロックごとに平滑化した動きベクトルを検出する。以下、図５を参照して説明する。
【数１】
ステップ５ａ〜５ｆでは、処理対象ブロックの動きベクトルを平滑化する。まず、ステップ５aにて、平滑化対象となる動きベクトルのインデックスｊ（ｊ＝０〜Ｊ）を走査す
る。インデックスＪは、たとえば処理対象ブロックと隣接するブロックの計9ブロックと
し、これらの動きベクトルについて、それぞれステップ５ｂ〜５ｅの処理を実行する。なお、動きベクトルの平滑化に用いるのは、処理対象ブロックと隣接するブロックの動きベクトルだけでなく、時間的に連続する２つの動画像フレームＦｔ−１とＦｔを構成するブロックの動きベクトルを用いても良い。
【００３６】
ステップ５ｂにおいて動きベクトル平滑化部１２４は、処理対象の動きベクトルＭＶｊを基準動きベクトルとして設定し、ステップ５ｃに移行する。
【００３７】
ステップ５ｃにおいて動きベクトル平滑化部１２４は、基準動きベクトルＭＶｊと他の動きベクトルＭＶｉ（ｉ=0〜９）とに基づいて評価値を算出し、ステップ５ｄに移行する。ステップ５cで算出する評価値は、式（１）、または式（２）を用いて求める。例えば
、他の動きベクトルＭＶｉと基準動きベクトルＭＶｊとの差の絶対値和に、処理対象ブロックの予測誤差（ステップ４ｂで算出）を乗算して評価値を求める。
【００３８】
ステップ５ｄにおいて動きベクトル平滑化部１２４は、最小評価値Ａと、ステップ５ｃで求めた評価値を比較し、最小評価値Ａがステップ５ｃで求めた評価値より大きい場合には、ステップ５ｅに移行し、一方、最小評価値Ａがステップ５ｃで求めた評価値以下の場合には、ステップ５ｆに移行して、次のインデックスの動きベクトルについて、ステップ５ｂから処理を実行する。なお、最小評価値Ａは、新たな処理対象ブロックについて図５に示す処理を開始する際に、予め設定した初期値にリセットされる。
【００３９】
ステップ５ｅにおいて動きベクトル平滑化部１２４は、最小評価値Ａをステップ５ｃで求めた評価値で更新するとともに、この評価値を得るのに用いた動きベクトル（インデックスｉ）を平滑化動きベクトルとして更新・保持し、ステップ５ｆに移行して、次のインデックスの動きベクトルについて、ステップ５ｂから処理を実行する。
【００４０】
全てのインデックスｉについて処理を完了すると、当該処理を終了し、ステップ３ｈに移行する。
【００４１】
ステップ３ｈでは、αブレンディング部１２５が、動きベクトル平滑化部１２４から出力された平滑化動きベクトルと復号フレームＦｔ、Ｆｔ−１を用いて、補間フレームを生成する。
【００４２】
まず、平滑化動きベクトルを復号フレームＦｔ、Ｆｔ−１に割り当て処理対象ブロックの動きを考慮した補間画像を作成する。次に復号フレームＦｔ、Ｆｔ−１に動きベクトル０を割り当てたとき（静止状態）の補間画像を作成する。この動と静の性質を有する補間画像を対象となるブロックの動きベクトルの信頼度（周辺動きベクトルとの乖離度）と動いた場合の予測誤差／動かなかった場合の予測誤差の比に基づくパラメータαを用いて、α：（１−α）の比率で合成することで最終的な補間画像を生成する。
【００４３】
ステップ３ｉでは、処理対象ブロックと隣接ブロックとの動きベクトルのバラツキが大きく補間画像境界で歪が発生する可能性があるため、復号画像コピー部１２８は、復号画像Ｆｔ、またはＦｔ−１をコピーしたものを出力する。つまり、ステップ３ｉでの補間処理は、復号画像Ｆｔ、またはＦｔ−１をコピーするだけの処理とする。
【００４４】
ステップ３ｊでは、処理ブロックサイズ再設定部１２７が、ステップ３ｆの結果を用いて処理ブロックサイズの再設定を行う。処理ブロックサイズ再設定部１２７の処理を図６に示す。
【００４５】
動きベクトルのバラツキＶＡＲと閾値ＶＡＲｔｈとの比較の結果、動きベクトルのバラツキがＶＡＲ＜ＶＡＲｔｈのときは（ステップ６ａのＹｅｓ）、物体の動きを大まかには捉えているため、ブロックサイズを小さめに設定し、詳細な動きに対応できるよう変更する（ステップ６ｂ）。一方、ＶＡＲ＞＝ＶＡＲｔｈのときは（ステップ６ａのＮｏ）、物体の動きが把握できていない可能性があるため、ブロックサイズを大きめに設定し、大域的な動きに追従できるようブロックサイズを変更する（ステップ６ｃ）。
【００４６】
ステップ３ｋでは、フレーム補間部１２０が、全てのブロックインデックスについて処理を完了したか否かを判断し、完了した場合には、当該処理を終了する。また、完了していない場合には、処理対象ブロックとして、次のインデックスのブロックについて、ステップ３ｅから処理を実行する。
【００４７】
ここまでの処理で、補間フレームを構成する各ブロックの動きベクトルが生成され、これらの動きベクトルは、動きベクトルバッファ１２６に記憶される。動きベクトルバッファ１２６に記憶された動きベクトルは、次の補間フレームを生成するために、予測ベクトル候補設定部１２１で用いられる。
【００４８】
なお、図７に示すように処理ブロックサイズを大きくした場合、次の補間フレームを生成するために予測ベクトル候補設定部１２１で用いられる動きベクトルは、例えば処理ブロックサイズ変更前の動きベクトルの平均値または中央値とする。また、図８に示すように処理ブロックサイズを小さくした場合には、次の補間フレームを生成するために予測ベクトル候補設定部１２１で用いられる動きベクトルは、例えば処理ブロックサイズ変更前の動きベクトルと同じ動きベクトルとする。
【００４９】
以上のようにして、補間フレームＦｔ−０．５が生成されると、表示ドライバ１３０は、動画像復号部１１０で得た動画像フレームＦｔと、フレーム補間部１２０から与えられる補間フレームＦｔ−０．５とをバッファメモリに記憶し、これらのフレームを交互に表示部２０に出力する。動画像フレームＦｔおよび補間フレームＦｔ−０．５は、それぞれフレームレートが１５Ｈｚであるが、これらを表示ドライバ１３０が交互に出力することで３０Ｈｚのフレームレートの動画像を出力することができる。そして、表示部１３０は、３０Ｈｚのフレームレートの動画像を表示する。
【００５０】
以上のように、上記構成の画像処理装置では、補間フレームを生成する場合に、時間的に連続する２つのフレームに基づいて、補間フレームを構成する各ブロックの動きベクトルを予測・検出し、この動きベクトルのバラツキ具合から、補間を行うかを決定する。補間するブロックに関しては、上記２つのフレームや隣接するブロックの動きベクトルに基づいて平滑化して、平滑化動きベクトルを求める。それら平滑化動きベクトルに基づいて、補間フレームを生成するようにしている。
【００５１】
したがって、上記構成の画像処理装置によれば、処理対象ブロックとその隣接ブロックの動きベクトルのバラツキを把握することで補間ミスが発生しやすいブロックを早期に検出し、主観的に劣化の少ない補間フレームを生成して、動画像の品質を改善することができる。
【００５２】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【００５３】
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【符号の説明】
【００５４】
１０…無線通信部、２０…表示部、３０…通話部、３１…スピーカ、３２…マイクロホン、４０…操作部、５０…記憶部、６０…放送受信部、１００…制御部、１１０…動画像復号部、１２０…フレーム補間部、１２１…予測ベクトル候補設定部、１２２…動きベクトル検出部、１２３…動きベクトルバラツキ判定部、１２４…動きベクトル平滑化部、125
…αブレンディング部、１２６…動きベクトルバッファ、１２７…ブロックサイズ再設定部、１２８…復号画像コピー部、１３０…表示ドライバ、ＢＣ…放送局、ＢＳ…基地局装置、ＮＷ…移動通信網
【技術分野】
【０００１】
本発明は動画像の品質を改善する画像処理装置に関する。
【背景技術】
【０００２】
近年、液晶ディスプレイなどで発生するフレームのボケ感を低減させるフレーム倍速技術が盛んに開発されている。このフレーム倍速技術は、主に動きベクトル検出、動きベクトル平滑化、補間画像作成で構成されている。携帯電話機など、モバイル向けの低演算能力機器でフレーム補間技術を実現するためには、処理量コストの大きい動きベクトル検出の簡略化が不可欠であるが、簡略化によって、動きベクトルの誤検出が発生するといった二律背反の課題が存在する。
【０００３】
例えば、特許文献１では、フレーム全体の動き（以下、グローバル動きベクトルと称する）を平滑化の候補に追加して平滑化を行っている。しかしながら、単にグローバル動きベクトルを平滑化候補に加えるだけではノイズを除去できない可能性がある。特に、特許文献１のように、候補動きベクトルの中間値を選択するだけでは効果があまり期待できない。
【０００４】
一方、例えば、特許文献２のように、動きベクトルの信頼性に応じた内挿フレームを選択する技術もある。しかしながら、信頼性判定の結果、信頼度の高い動きベクトルが既定数以下の場合には、過去フレームを参照することになるため、メモリアクセスの面で効率が悪くなっている。また、実際には、予測誤差や動きベクトルの大きさから動きベクトルの信頼度を正確に把握することは難しいため、必ずしも画質劣化を感じない補間フレームを生成できるとは限らない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−３０４１１号公報
【特許文献２】特開２００１−２４９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
低処理能力のモバイル機器においてフレーム補間技術を実現するためには処理簡略化が必須となっている。処理簡略化は、主に動き検出部や動きの平滑化・補正部で行われているが、簡略化に伴い動きベクトルの信頼性が低下してしまうため、生成した画像の品質が低下してしまう。
【０００７】
この発明は上記の問題を解決すべくなされたもので、簡易な処理で、動きに周囲との均一性を持たせ、主観的に劣化の少ないフレーム補間を行う画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明による画像処理装置は、時間的に連続する２つのフレームの間に挿入する補間フレームを生成する画像処理装置であって、前記補間フレームを構成する各ブロックの動きベクトルを取得する動きベクトル検出手段と、処理対象ブロックと処理対象ブロックに隣接するブロックの動きベクトルに対して前記動きベクトル検出手段によって取得された動きベクトル群のバラツキを算出し、このバラツキが所定の閾値以上である場合に、複数の動きベクトルを用いて動きベクトル平滑化を行い、平滑化された動きベクトルを用いて前記補間フレームを構成するブロックの動きベクトルを得るフレーム補間手段を有することを特徴としている。
【発明の効果】
【０００９】
本発明によれば、簡易な処理で、動きに周囲との均一性を持たせ、主観的に劣化の少ないフレーム補間を行う画像処理装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】この発明に係わる画像処理装置を備えた移動無線端末装置の実施形態の構成を示す回路ブロック図。
【図２】図１に示した画像処理装置のフレーム補間に関わる構成を示す回路ブロック図。
【図３】図２に示したフレーム補間部の動作を説明するためのフローチャート。
【図４】図２に示した動きベクトル検出部の動作を説明するためのフローチャート。
【図５】図２に示した動きベクトル平滑化部の動作を説明するためのフローチャート。
【図６】図２に示したブロックサイズ再設定部の動作を説明するためのフローチャート。
【図７】図６に示したブロックサイズ再設定部において処理ブロックサイズを大きくする場合の一例を説明するための図。
【図８】図６に示したブロックサイズ再設定部において処理ブロックサイズを小さくする場合の一例を説明するための図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を参照して説明する。
【００１２】
図１は、この発明の一実施形態に係わる画像処理装置を適用した移動無線端末装置の構成を示すブロック図である。この移動無線端末装置は、携帯電話機などのモバイル機器であって、図１に示すように、主な構成要素として、制御部１００と、無線通信部１０と、表示部２０と、通話部３０と、操作部４０と、記憶部５０と、放送受信部６０とを備え、基地局装置ＢＳおよび移動通信網ＮＷを介して通信する通信機能と、放送局ＢＣから送信される地上デジタル放送信号を受信する放送受信機能とを備える。
【００１３】
無線通信部１０は、制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳと無線通信を行うものであって、音声データや電子メールデータなどの送受信、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【００１４】
表示部２０は、制御部１００の制御により、画像（静止画像および動画像）や文字情報などを表示して、視覚的にユーザに情報を伝達するものである。
【００１５】
通話部３０は、スピーカ３１やマイクロホン３２を備え、マイクロホン３２を通じて入力されたユーザの音声を制御部１００にて処理可能な音声データに変換して制御部１００に出力したり、無線通信部１０を介して通話相手などから受信した音声データを復号してスピーカ３１から出力するものである。
【００１６】
操作部４０は、複数のキースイッチなどを備え、これを通じてユーザから指示を受け付けるものである。
【００１７】
記憶部５０は、制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。なお、記憶部５０は、ＨＤＤ、ＲＡＭ、ＲＯＭ、ＩＣメモリなどの１つ又は複数の記憶手段を含むものである。
【００１８】
放送受信部６０は、放送局ＢＣから送信される地上デジタル放送信号のうち、ワンセグメントを受信し、映像信号が、例えばＨ．２６４などの形式で符号化された放送データ（符号化ストリーム）を得る。なお、ここでは、低フレームレートのワンセグメントを例に挙げるが、これに限らず、より高いフレームレートのフルセグメントを受信するディジタルチューナであってもよい。
【００１９】
制御部１００は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御ｄｃｓデータにしたがって動作し、当該移動無線端末装置の各部を統括して制御し、例えば音声通信やデータ通信（電子メールの送受信や、Ｗｅｂブラウジング、ストリーミングデータのダウンロードなど）の通信機能を実現するものである。
【００２０】
さらに制御部１００は、放送受信部６０で得られた上記放送データを復号し、この復号結果に画像処理を施して、放送される映像を表示部２０に表示する放送受信制御を行う。
【００２１】
この放送受信制御は、上記放送受信機能を実現するためのものであって、制御部１００は、図２に示すように、動画像復号部１１０と、フレーム補間部１２０と、表示ドライバ１３０とを備える。この他に、図示しないが、放送受信部６０で受信されたオーディオデータを復号するオーディオ復号部も備える。
【００２２】
動画像復号部１１０は、動画像の符号化データ（Video Elementary Stream）を復号し
、これによって複数の動画像フレームFtで構成される動画像と符号化情報を得る。なお、この時点で得られる動画像のフレームレートは、１５Ｈｚと仮定する。
【００２３】
そして動画像復号部１１０は、動画像の符号化データを復号し、動画像フレームおよび符号化情報を出力する。動画像フレームは、フレーム補間部１２０と表示ドライバ１３０に入力される。
【００２４】
フレーム補間部１２０は、時間的に連続する２つの動画像フレームＦｔ−１とＦｔと、それぞれに対応する符号化情報とに基づいて、これらの動画像フレーム間を補間する補間フレームＦｔ−０．５を生成するもので、予測ベクトル候補設定部１２１と、動きベクトル検出部１２２と、大域動きベクトル検出部１２３と、動きベクトル平滑化部１２４と、αブレンディング部１２５と、動きベクトルバッファ１２６と、ブロックサイズ再設定部１２７とを備える。
【００２５】
図３を参照して、フレーム補間部１２０の動作について説明する。動画像フレーム1枚
は、複数のブロックによって形成されたものとして扱われ、各ブロックには、動画像フレーム上の位置に応じた所定のブロックインデックスが与えられる。そして、ステップ３ａ〜３ｄでは、ブロックインデックスがラスタスキャン順に１つずつ選択されて、選択されたブロックインデックスに対応するブロック（以下、処理対象ブロックと称する）ごとに、ステップ３ｂおよび３ｃが実施される。
【００２６】
ステップ３ｂでは、予測ベクトル候補設定部１２１が、処理対象ブロックに対して、時間的に隣接するブロック（前補間フレームＦｔ−１.5のブロック）の動きベクトルと、空間的に隣接する同時刻（同一フレームＦt-0.5）のブロックの動きベクトルを、それぞれ
予測ベクトル候補として設定する。なお、空間的に隣接するブロックの動きベクトルについては、ラスタスキャンされたブロックが対象となり、その動きベクトルだけが予測ベクトル候補として設定される。また、Ｆt-0.5のブロックに最終的に割り当てられた動きベ
クトル（最終的には平滑化動きベクトル）は、後述する動きベクトルバッファ１２６が記憶する。またデコーダからの情報が得られる場合は、Ｆｔを復号した際に用いた動きベクトルも使用して良い。
【００２７】
ステップ３ｃでは、動きベクトル検出部１２２にて、処理対象ブロックの動きベクトルを決定する。図４にステップ３ｃの処理の詳細を示す。
【００２８】
動きベクトル検出部１２２は、ステップ４ａ〜４ｆにおいて、ステップ３ｂで設定された予測ベクトル候補を順次選択し、各予測ベクトル候補にステップ４ｂから４ｅの処理を実行する。
【００２９】
ステップ４ｂにおいて動きベクトル検出部１２２は、選択した予測ベクトル候補の予測誤差を算出する。
【００３０】
ステップ４ｃにおいて動きベクトル検出部１２２は、選択した予測ベクトル候補の評価値を算出する。ここで評価値は、ステップ４ｂで求めた予測誤差に、所定の係数λと動きベクトルコストを乗算した値を加算した値でも良いし、予測誤差そのものでも良い。
【００３１】
ステップ４ｄにおいて動きベクトル検出部１２２は、ステップ４ｃで求めた評価値の大小判定を行う。ここで、ステップ４ｃで求めた評価値がその時点での最小評価値未満の場合には、ステップ４ｅに移行する。一方、最小評価値以上の場合には、ステップ４ａに戻り、次の予測ベクトル候補を選択する。ただし、処理対象ブロックの全ての予測ベクトル候補に対して４ｂから４ｅの処理を実行済みである場合には、当該処理を終了する。なお、最小評価値は、処理対照ブロックに対するステップ４ａから４ｅの処理を開始する前に初期値が設定されており、処理対象ブロックごとにリセットされるものとする。
【００３２】
ステップ４ｅにおいて動きベクトル検出部１２２は、ステップ４ｃで求めた評価値で最小評価値を更新する。また動きベクトル検出部１２２は、最小評価値に対応する予測ベクトル候補を動きベクトルとして決定する。
【００３３】
再び、図３を参照して説明する。
ステップ３ｅ〜３ｋでは、ブロックインデックスがラスタスキャン順に１つずつ選択されて、選択されたブロックインデックスに対応するブロック（以下、処理対象ブロックと称する）ごとに、ステップ３ｆおよび３ｊが実施される。
【００３４】
ステップ３ｆでは、動きベクトルバラツキ判定部１２３が、処理対象ブロックの動きベクトルと処理対象ブロックに隣接するブロックの動きベクトルとのバラツキ”ＶＡＲ”を算出する。動きベクトルのバラツキ”ＶＡＲ”は、上記動きベクトル群の分散とする。次にＶＡＲと予め定めておいた閾値”ＶＡＲｔｈ”との比較を行う。ＶＡＲが小さいとき、つまりＶＡＲ＜ＶＡＲｔｈのときは、補間処理を行った際に周囲のブロックとのズレが発生しにくいのでステップ３ｇとステップ３ｈに移行する。一方、動きベクトルのバラツキが大きいとき、つまりＶＡＲ＞＝ＶＡＲｔｈのときは、補間処理を行った際に周囲のブロックとのズレが発生しやすいのでステップ３ｉに移行する。以降、ステップ３ｇ、３ｈ、３ｉについて説明する。
【００３５】
ステップ３ｇでは、動きベクトル平滑化部１２４が、処理対象ブロックの動きベクトルと、処理対象ブロックに隣接するブロックの動きベクトルとの乖離度を式（１）のベクトルメディアン、または式（２）の重み付きベクトルメディアンによって算出し、局所動きベクトルを平滑化する。具体的には、動きベクトル平滑化部１２４は、処理対象ブロック毎に、図５に示すような処理を実行して、ブロックごとに平滑化した動きベクトルを検出する。以下、図５を参照して説明する。
【数１】
ステップ５ａ〜５ｆでは、処理対象ブロックの動きベクトルを平滑化する。まず、ステップ５aにて、平滑化対象となる動きベクトルのインデックスｊ（ｊ＝０〜Ｊ）を走査す
る。インデックスＪは、たとえば処理対象ブロックと隣接するブロックの計9ブロックと
し、これらの動きベクトルについて、それぞれステップ５ｂ〜５ｅの処理を実行する。なお、動きベクトルの平滑化に用いるのは、処理対象ブロックと隣接するブロックの動きベクトルだけでなく、時間的に連続する２つの動画像フレームＦｔ−１とＦｔを構成するブロックの動きベクトルを用いても良い。
【００３６】
ステップ５ｂにおいて動きベクトル平滑化部１２４は、処理対象の動きベクトルＭＶｊを基準動きベクトルとして設定し、ステップ５ｃに移行する。
【００３７】
ステップ５ｃにおいて動きベクトル平滑化部１２４は、基準動きベクトルＭＶｊと他の動きベクトルＭＶｉ（ｉ=0〜９）とに基づいて評価値を算出し、ステップ５ｄに移行する。ステップ５cで算出する評価値は、式（１）、または式（２）を用いて求める。例えば
、他の動きベクトルＭＶｉと基準動きベクトルＭＶｊとの差の絶対値和に、処理対象ブロックの予測誤差（ステップ４ｂで算出）を乗算して評価値を求める。
【００３８】
ステップ５ｄにおいて動きベクトル平滑化部１２４は、最小評価値Ａと、ステップ５ｃで求めた評価値を比較し、最小評価値Ａがステップ５ｃで求めた評価値より大きい場合には、ステップ５ｅに移行し、一方、最小評価値Ａがステップ５ｃで求めた評価値以下の場合には、ステップ５ｆに移行して、次のインデックスの動きベクトルについて、ステップ５ｂから処理を実行する。なお、最小評価値Ａは、新たな処理対象ブロックについて図５に示す処理を開始する際に、予め設定した初期値にリセットされる。
【００３９】
ステップ５ｅにおいて動きベクトル平滑化部１２４は、最小評価値Ａをステップ５ｃで求めた評価値で更新するとともに、この評価値を得るのに用いた動きベクトル（インデックスｉ）を平滑化動きベクトルとして更新・保持し、ステップ５ｆに移行して、次のインデックスの動きベクトルについて、ステップ５ｂから処理を実行する。
【００４０】
全てのインデックスｉについて処理を完了すると、当該処理を終了し、ステップ３ｈに移行する。
【００４１】
ステップ３ｈでは、αブレンディング部１２５が、動きベクトル平滑化部１２４から出力された平滑化動きベクトルと復号フレームＦｔ、Ｆｔ−１を用いて、補間フレームを生成する。
【００４２】
まず、平滑化動きベクトルを復号フレームＦｔ、Ｆｔ−１に割り当て処理対象ブロックの動きを考慮した補間画像を作成する。次に復号フレームＦｔ、Ｆｔ−１に動きベクトル０を割り当てたとき（静止状態）の補間画像を作成する。この動と静の性質を有する補間画像を対象となるブロックの動きベクトルの信頼度（周辺動きベクトルとの乖離度）と動いた場合の予測誤差／動かなかった場合の予測誤差の比に基づくパラメータαを用いて、α：（１−α）の比率で合成することで最終的な補間画像を生成する。
【００４３】
ステップ３ｉでは、処理対象ブロックと隣接ブロックとの動きベクトルのバラツキが大きく補間画像境界で歪が発生する可能性があるため、復号画像コピー部１２８は、復号画像Ｆｔ、またはＦｔ−１をコピーしたものを出力する。つまり、ステップ３ｉでの補間処理は、復号画像Ｆｔ、またはＦｔ−１をコピーするだけの処理とする。
【００４４】
ステップ３ｊでは、処理ブロックサイズ再設定部１２７が、ステップ３ｆの結果を用いて処理ブロックサイズの再設定を行う。処理ブロックサイズ再設定部１２７の処理を図６に示す。
【００４５】
動きベクトルのバラツキＶＡＲと閾値ＶＡＲｔｈとの比較の結果、動きベクトルのバラツキがＶＡＲ＜ＶＡＲｔｈのときは（ステップ６ａのＹｅｓ）、物体の動きを大まかには捉えているため、ブロックサイズを小さめに設定し、詳細な動きに対応できるよう変更する（ステップ６ｂ）。一方、ＶＡＲ＞＝ＶＡＲｔｈのときは（ステップ６ａのＮｏ）、物体の動きが把握できていない可能性があるため、ブロックサイズを大きめに設定し、大域的な動きに追従できるようブロックサイズを変更する（ステップ６ｃ）。
【００４６】
ステップ３ｋでは、フレーム補間部１２０が、全てのブロックインデックスについて処理を完了したか否かを判断し、完了した場合には、当該処理を終了する。また、完了していない場合には、処理対象ブロックとして、次のインデックスのブロックについて、ステップ３ｅから処理を実行する。
【００４７】
ここまでの処理で、補間フレームを構成する各ブロックの動きベクトルが生成され、これらの動きベクトルは、動きベクトルバッファ１２６に記憶される。動きベクトルバッファ１２６に記憶された動きベクトルは、次の補間フレームを生成するために、予測ベクトル候補設定部１２１で用いられる。
【００４８】
なお、図７に示すように処理ブロックサイズを大きくした場合、次の補間フレームを生成するために予測ベクトル候補設定部１２１で用いられる動きベクトルは、例えば処理ブロックサイズ変更前の動きベクトルの平均値または中央値とする。また、図８に示すように処理ブロックサイズを小さくした場合には、次の補間フレームを生成するために予測ベクトル候補設定部１２１で用いられる動きベクトルは、例えば処理ブロックサイズ変更前の動きベクトルと同じ動きベクトルとする。
【００４９】
以上のようにして、補間フレームＦｔ−０．５が生成されると、表示ドライバ１３０は、動画像復号部１１０で得た動画像フレームＦｔと、フレーム補間部１２０から与えられる補間フレームＦｔ−０．５とをバッファメモリに記憶し、これらのフレームを交互に表示部２０に出力する。動画像フレームＦｔおよび補間フレームＦｔ−０．５は、それぞれフレームレートが１５Ｈｚであるが、これらを表示ドライバ１３０が交互に出力することで３０Ｈｚのフレームレートの動画像を出力することができる。そして、表示部１３０は、３０Ｈｚのフレームレートの動画像を表示する。
【００５０】
以上のように、上記構成の画像処理装置では、補間フレームを生成する場合に、時間的に連続する２つのフレームに基づいて、補間フレームを構成する各ブロックの動きベクトルを予測・検出し、この動きベクトルのバラツキ具合から、補間を行うかを決定する。補間するブロックに関しては、上記２つのフレームや隣接するブロックの動きベクトルに基づいて平滑化して、平滑化動きベクトルを求める。それら平滑化動きベクトルに基づいて、補間フレームを生成するようにしている。
【００５１】
したがって、上記構成の画像処理装置によれば、処理対象ブロックとその隣接ブロックの動きベクトルのバラツキを把握することで補間ミスが発生しやすいブロックを早期に検出し、主観的に劣化の少ない補間フレームを生成して、動画像の品質を改善することができる。
【００５２】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【００５３】
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【符号の説明】
【００５４】
１０…無線通信部、２０…表示部、３０…通話部、３１…スピーカ、３２…マイクロホン、４０…操作部、５０…記憶部、６０…放送受信部、１００…制御部、１１０…動画像復号部、１２０…フレーム補間部、１２１…予測ベクトル候補設定部、１２２…動きベクトル検出部、１２３…動きベクトルバラツキ判定部、１２４…動きベクトル平滑化部、125
…αブレンディング部、１２６…動きベクトルバッファ、１２７…ブロックサイズ再設定部、１２８…復号画像コピー部、１３０…表示ドライバ、ＢＣ…放送局、ＢＳ…基地局装置、ＮＷ…移動通信網
【特許請求の範囲】
【請求項１】
時間的に連続する２つのフレームの間に挿入する補間フレームを生成する画像処理装置であって、
前記補間フレームを構成する各ブロックの動きベクトルを取得する動きベクトル検出手段と、
処理対象ブロックと処理対象ブロックに隣接するブロックの動きベクトルに対して前記動きベクトル検出手段によって取得された動きベクトル群のバラツキを算出し、このバラツキが所定の閾値以上である場合に、複数の動きベクトルを用いて動きベクトル平滑化を行い、平滑化された動きベクトルを用いて前記補間フレームを構成するブロックの動きベクトルを得るフレーム補間手段を有することを特徴とする画像処理装置。
【請求項２】
前記フレーム補間手段は、処理対象ブロックに隣接するブロックの動きベクトルまたは前記２つのフレームを構成するブロックの動きベクトルの少なくともいずれか一方を用いて動きベクトル平滑化を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フレーム補間手段は、処理対象ブロックと処理対象ブロックに隣接するブロックの動きベクトルに対して前記動きベクトル検出手段によって取得された動きベクトル群のバラツキを算出し、このバラツキが所定の閾値以上である場合には、前記時間的に連続する２つのフレームのいずれか一方のフレームを構成するブロックを補間フレームのブロックとして用いることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記フレーム補間手段によって算出した動きベクトル群のバラツキが所定の閾値以上か所定の閾値未満であるかに応じて、補間処理を行う処理ブロックサイズを再設定するブロックサイズ再設定手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項１】
時間的に連続する２つのフレームの間に挿入する補間フレームを生成する画像処理装置であって、
前記補間フレームを構成する各ブロックの動きベクトルを取得する動きベクトル検出手段と、
処理対象ブロックと処理対象ブロックに隣接するブロックの動きベクトルに対して前記動きベクトル検出手段によって取得された動きベクトル群のバラツキを算出し、このバラツキが所定の閾値以上である場合に、複数の動きベクトルを用いて動きベクトル平滑化を行い、平滑化された動きベクトルを用いて前記補間フレームを構成するブロックの動きベクトルを得るフレーム補間手段を有することを特徴とする画像処理装置。
【請求項２】
前記フレーム補間手段は、処理対象ブロックに隣接するブロックの動きベクトルまたは前記２つのフレームを構成するブロックの動きベクトルの少なくともいずれか一方を用いて動きベクトル平滑化を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フレーム補間手段は、処理対象ブロックと処理対象ブロックに隣接するブロックの動きベクトルに対して前記動きベクトル検出手段によって取得された動きベクトル群のバラツキを算出し、このバラツキが所定の閾値以上である場合には、前記時間的に連続する２つのフレームのいずれか一方のフレームを構成するブロックを補間フレームのブロックとして用いることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記フレーム補間手段によって算出した動きベクトル群のバラツキが所定の閾値以上か所定の閾値未満であるかに応じて、補間処理を行う処理ブロックサイズを再設定するブロックサイズ再設定手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−７７９４８（Ｐ２０１１−７７９４８Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２８９０９（Ｐ２００９−２２８９０９）
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]