情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラム
【課題】フレームを少なくとも文字領域を含む複数の領域に分割し、各領域について各領域の画像に応じたパラメータ群を適用して動きベクトルを決定する情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラムを提供する。
【解決手段】本発明に係る情報処理装置１０は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ネットワーク接続部１４、フレームメモリ部１５、文字領域情報記憶部１６、パラメータ群記憶部１７、インターフェイス部２０、表示装置２１およびチューナ２２を備える。
ＣＰＵ１１は、ＲＯＭ１３内に記憶された動きベクトル生成プログラムを内包する補間画像生成プログラムおよびプログラムの実行のために必要なデータを、ＲＡＭ１２へロードし、補間画像生成プログラムに従って、少なくとも文字領域を含む複数の領域に分割されたフレームにおいて、各領域の画像に応じたパラメータ群を適用して動きベクトルを決定し、この動きベクトルにもとづいて補間画像を生成する処理を実行する。
【解決手段】本発明に係る情報処理装置１０は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ネットワーク接続部１４、フレームメモリ部１５、文字領域情報記憶部１６、パラメータ群記憶部１７、インターフェイス部２０、表示装置２１およびチューナ２２を備える。
ＣＰＵ１１は、ＲＯＭ１３内に記憶された動きベクトル生成プログラムを内包する補間画像生成プログラムおよびプログラムの実行のために必要なデータを、ＲＡＭ１２へロードし、補間画像生成プログラムに従って、少なくとも文字領域を含む複数の領域に分割されたフレームにおいて、各領域の画像に応じたパラメータ群を適用して動きベクトルを決定し、この動きベクトルにもとづいて補間画像を生成する処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム間に内挿される補間フレームをあつかう情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラムに関する。
【背景技術】
【０００２】
動画像処理等の分野において、２枚のフレーム（前フレームと後フレーム）間に内挿する補間フレームを生成する技術がある。この補間フレームの生成にあたり、前後フレーム画像間の動きベクトルを決定する技術は、非常に重要である。補間フレーム画像は、前後あわせて少なくとも２枚のフレーム画像間の動きベクトルにもとづいて生成される。このため、動きベクトルを適切に決定できなければ、適切な補間フレーム画像を生成することができない。
【０００３】
従来、この種の動きベクトルを決定する技術に、特開２００２−１８５９７０号公報（特許文献１）に開示されたものがある。
【０００４】
この特開２００２−１８５９７０号公報（特許文献１）に開示された動画像符号化装置は、複数の動き補償フレーム間予測方式を用いて画像フレームを符号化する装置であって、画像フレームの動きベクトルを探索する動きベクトル探索手段と、動き補償フレーム間予測処理の際に、可変サイズの小領域毎にブロック移動、アフィン変換、双線形変換などの複数の予測方式を用いてそれぞれの予測方式から予測画像を生成して出力する予測手段と、この予測手段からの複数の予測画像にもとづき最適な領域サイズおよび予測方式を決定し、領域情報、動きベクトルなどの各種パラメータ（サイド情報）ならびに予測画像を出力する領域予測決定手段と、を備える。
【０００５】
この従来の技術は、領域の分割方式を工夫し、注目領域に隣接する領域の予測方式が異なる場合にはこの隣接領域の動きベクトルを注目領域の動きベクトルとして利用することにより、動きベクトルに要するデータが少なくなるように動きベクトルを決定することができるようになっている。
【特許文献１】特開２００２−１８５９７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
動きベクトルを算出する方法のひとつに、ブロックマッチングがある。ブロックマッチングで動きベクトルを決定するためには、複数のパラメータからなるパラメータ群が必要となる。
【０００７】
このパラメータ群は、静止した物体シーンと動く物体シーンとで、動きベクトルを算出するために最適なものが異なるばかりでなく、特に文字画像に最適なパラメータ群が存在する。さらに、文字画像が動く場合には、この動文字に最適なパラメータ群を適用すべきである。これは、文字を含むブロックには文字の背景画像が混入してしまうことが多いために、前後フレームのブロック間の輝度差を利用するブロックマッチングでは、ブロックサイズなどのパラメータを、文字に適したものにする必要があるためである。
【０００８】
しかし、従来の技術では、動きベクトルを算出する際に、文字領域と文字以外の領域、静止した物体の領域および動体の領域などを明確には区別していない。このため、中間的なパラメータ群を使用することでトレードオフをとることが多いが、フレームの各領域について、それぞれ十分といえる精度の間画像を得ることは困難である。特に、フレーム画像が文字を含む場合、補間画像の精度が悪いと人間の目に大きな破綻として目立つ。文字が動く場合には、この破綻がさらに目立つものとなってしまう。
【０００９】
本発明は、上述した事情を考慮してなされたもので、フレームを少なくとも文字領域を含む複数の領域に分割し、各領域について各領域の画像に応じたパラメータ群を適用して動きベクトルを決定する情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る情報処理装置は、上述した課題を解決するために、少なくとも２枚のフレームから補間フレームを生成するために必要な動きベクトルを決定する際に、複数のパラメータからなるパラメータ群を適用する情報処理装置であって、前記少なくとも２枚のフレームのデータを入力され、この入力された複数のフレームのそれぞれから文字が含まれる領域である文字領域の位置情報を取得する文字領域検出手段と、前記文字領域の位置が、前記入力された複数のフレームの全てで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定する静動決定手段と、前記文字領域に含まれる文字が前記入力された複数のフレーム間で動く動文字領域には動文字領域用パラメータ群を、前記文字領域に含まれる文字が前記入力された複数のフレーム間で静止している静止文字領域には静止文字領域用パラメータ群を、他の領域にはデフォルトパラメータ群を、それぞれ適用して、前記動文字領域、前記静止文字領域および前記他の領域における、前記入力された複数のフレーム間の前記動きベクトルを決定する動きベクトル決定手段と、を備えたことを特徴とするものである。
【００１１】
一方、本発明に係る動きベクトル生成プログラムは、上述した課題を解決するために、少なくとも２枚のフレームから補間フレームを生成するために必要な動きベクトルを決定する際に、複数のパラメータからなるパラメータ群を適用するプログラムであって、コンピュータを、前記少なくとも２枚のフレームのデータを入力され、この入力された複数のフレームのそれぞれから文字が含まれる領域である文字領域の位置情報を取得する文字領域検出手段、前記文字領域の位置が、前記入力された複数のフレームの全てで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定する静動決定手段、および、前記文字領域に含まれる文字が前記入力された複数のフレーム間で動く動文字領域には動文字領域用パラメータ群を、前記文字領域に含まれる文字が前記入力された複数のフレーム間で静止している静止文字領域には静止文字領域用パラメータ群を、他の領域にはデフォルトパラメータ群を、それぞれ適用して、前記動文字領域、前記静止文字領域および前記他の領域における、前記入力された複数のフレーム間の前記動きベクトルを決定する動きベクトル決定手段、として機能させるためのプログラムである。
【００１２】
また、本発明に係る補間画像生成プログラムは、上述した課題を解決するために、少なくとも２枚のフレームから補間フレームを生成するために必要な動きベクトルを決定する際に、複数のパラメータからなるパラメータ群を適用するプログラムであって、コンピュータを、前記少なくとも２枚のフレームのデータを入力され、この入力された複数のフレームのそれぞれから文字が含まれる領域である文字領域の位置情報を取得する文字領域検出手段、前記文字領域の位置が、前記入力された複数のフレームの全てで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定する静動決定手段、前記文字領域に含まれる文字が前記入力された複数のフレーム間で動く動文字領域には動文字領域用パラメータ群を、前記文字領域に含まれる文字が前記入力された複数のフレーム間で静止している静止文字領域には静止文字領域用パラメータ群を、他の領域にはデフォルトパラメータ群を、それぞれ適用して、前記動文字領域、前記静止文字領域および前記他の領域における、前記入力された複数のフレーム間の前記動きベクトルを決定する動きベクトル決定手段、前記動きベクトルにもとづいて、前記入力された複数のフレーム間に内挿される前記補間フレーム画像を生成する補間画像生成手段、および、前記補間フレーム画像を表示させる画像出力制御手段、として機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明に係る情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラムによれば、フレームを少なくとも文字領域を含む複数の領域に分割し、各領域について各領域の画像に応じたパラメータ群を適用して動きベクトルを決定することができる。
【発明を実施するための最良の形態】
【００１４】
本発明に係る情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラムの実施の形態について、添付図面を参照して説明する。
【００１５】
図１は、本発明に係る情報処理装置１０の第１実施形態を示す概略的な全体構成図である。
【００１６】
情報処理装置１０は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ネットワーク接続部１４、フレームメモリ部１５、文字領域情報記憶部１６、パラメータ群記憶部１７、インターフェイス部２０、表示装置２１およびチューナ２２を備える。
【００１７】
ＣＰＵ１１は、ＲＯＭ１３内に記憶されたプログラムにしたがって、情報処理装置１０の処理動作を制御する。ＣＰＵ１１は、ＲＯＭ１３内に記憶された動きベクトル生成プログラムを内包する補間画像生成プログラムおよびプログラムの実行のために必要なデータを、ＲＡＭ１２へロードし、補間画像生成プログラムに従って、少なくとも文字領域を含む複数の領域に分割されたフレームにおいて、各領域の画像に応じたパラメータ群を適用して動きベクトルを決定し、この動きベクトルにもとづいて補間画像を生成する処理を実行する。
【００１８】
ＲＡＭ１２は、ＣＰＵ１１が実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。
【００１９】
ＲＯＭ１３は、情報処理装置１０の起動プログラム、補間画像生成プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【００２０】
なお、ＲＯＭ１３は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵ１１により読み取り可能な記録媒体を含んだ構成を有し、ＲＯＭ１３内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。
【００２１】
ネットワーク接続部１４は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部１４は、この各種プロトコルにしたがって情報処理装置１０と他の電気機器とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００２２】
ここで、補間フレーム画像の生成手順について簡単に説明する。
【００２３】
補間フレーム画像は、前後あわせて少なくとも２枚のフレーム画像間のブロックマッチングを行うことにより動きベクトルを算出し、この動きベクトルを用いて生成することができる。本実施形態においては、補間フレーム画像を、２枚のフレーム（前フレームおよび後フレーム）にもとづいて生成し、この２枚のフレーム間に内挿する場合の例について説明する。
【００２４】
図２は、前後２枚のフレーム間のブロックマッチング処理の一例を概略的に示す説明図である。
【００２５】
図２に示すように、ブロックマッチング処理においては、画像間の類似性を評価するために、比較する画像（前後フレーム画像）からあるサイズ（たとえば１６画素×１６画素など）の注目領域（ブロック）を切り出す。このブロック同士の位置関係をマッチングベクトルという。次に、ブロック同士の一致の度合いの指標であるマッチング値を計算する。マッチング値としては、輝度差の総和（ＳＡＤ）や輝度差の２乗和（ＳＳＤ）などがよく用いられる。そして、マッチング値の最小値を与える切り出し位置を探索範囲内で検索し、このマッチング値の最小値を与えるマッチングベクトルを動きベクトルとする。
【００２６】
ブロックマッチング処理は、ブロックサイズをはじめとする各種のパラメータを初期値として必要とする。このため、この各種パラメータからなるパラメータ群が異なれば、得られる動きベクトルは異なったものになる。この各種パラメータとしては、たとえば、動きベクトルの探索範囲、動きベクトル検出用ブロックサイズ、動きベクトル割当用ブロックサイズ、検出された動きベクトル値のクリップ量および隣接ブロック間の動きベクトル連続性保証閾値などが挙げられる。
【００２７】
文字の画像と文字以外の画像や、動く物体の画像と静止物体の画像では、適用すべきパラメータ群が異なる。このため、異なる種類の画像には異なるパラメータ群を適用することが望ましい。したがって、フレームを画像の種類ごとに領域分けし、各領域に対して各領域の画像に応じたパラメータ群を適用して動きベクトルを決定することが望ましい。
【００２８】
フレームメモリ部１５は、チューナ２２から映像データを受け、フレームごとに格納しておく。また、フレームメモリ部１５は、ＣＰＵ１１により生成された補間フレームを格納する。
【００２９】
なお、本実施形態では、放送される番組の映像データをチューナ２２で受信し、この映像データを構成する複数のフレームに対して補間フレームをリアルタイムに生成する場合の例について説明する。より詳細には、本実施形態では、チューナ２２で受信した映像データが、フレームごとに、ＣＰＵ１１およびフレームメモリ部１５に順次与えられ、フレームメモリ部１５は、与えられた映像データをフレームごとに格納し、ＣＰＵ１１は、チューナ２２から与えられるフレーム（後フレーム）とこのフレームの１枚前のフレームメモリ部１５に格納されているフレーム（前フレーム)とにもとづいて、補間フレームを生成する場合の例について説明する。
【００３０】
文字領域情報記憶部１６は、ＣＰＵ１１の書込み制御部４１に制御され、文字領域情報（フレームの文字領域の位置の情報）と、この文字領域が領域に含まれる文字が静止している静止文字領域であるか、文字に移動がある動文字領域であるかの情報（静動情報）とを関連付けて記憶する。
【００３１】
パラメータ群記憶部１７は、あらかじめ、少なくとも、動く文字（動文字）に適したパラメータ群（動文字領域用パラメータ群）、静止文字に適したパラメータ群（静止文字用パラメータ群）および文字以外の領域に適したパラメータ群（デフォルトパラメータ群）を格納しておく。
【００３２】
インターフェイス部２０は、放送される番組の映像データを受信しこの映像データをＣＰＵ１１およびフレームメモリ部１５に与えるチューナ２２と、チューナ２２の受信した映像データおよびＣＰＵ１１により出力される映像データなどを表示するＣＲＴやＬＣＤなどの表示装置２１と接続される。
【００３３】
図３は、図１に示すＣＰＵ１１による機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、ＣＰＵ１１を用いることなく回路などのハードウエアロジックによって構成してもよい。
【００３４】
ＣＰＵ１１は、補間画像生成プログラムによって、少なくとも画像取得部３１、文字領域有無判定部３２、パラメータ割当て部３３、動きベクトル決定部３４、補間画像生成部３５、画像出力制御部３６、書込み制御部４１、文字領域検出部４２、検出判定部４３、フラグ判定部４４、領域位置判定部４５、静動決定部４６および緩衝領域設定部５１として機能する。この各部３１〜３６、４１〜４６および５１は、ＲＡＭ１２の所要のワークエリアを、データの一時的な格納場所として利用する。
【００３５】
次に、本実施形態に係る情報処理装置１０の動作の一例について説明する。
【００３６】
図４は、図１に示す情報処理装置１０のＣＰＵ１１により、文字領域を含む複数の領域に分割されたフレームについて、各領域の画像に応じたパラメータ群を適用して動きベクトルを決定し、この動きベクトルにもとづいて補間画像を生成する際の手順を示すフローチャートである。図４において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００３７】
なお、図４には、２枚のフレーム画像（前後フレーム画像）から１枚の補間フレーム画像を生成する際の例について示した。図４に示す手順を映像データの全フレームについて繰り返し行うことにより、映像データ全体に対して補間フレームを生成することができる。
【００３８】
また、あらかじめ、パラメータ群記憶部１７は、動く文字に適したパラメータ群（動文字領域用パラメータ群）、静止文字に適したパラメータ群（静止文字用パラメータ群）および文字以外の領域に適したパラメータ群（デフォルトパラメータ群）を、格納しているものとする。
【００３９】
まず、ステップＳ１において、画像取得部３１は、フレームメモリ部１５から前フレームを、チューナ２２から後フレームを、それぞれ取得する。
【００４０】
次に、ステップＳ２において、文字領域有無判定部３２は、文字領域情報記憶部１６に文字領域情報が存在するかどうかを判定する。文字領域情報がある場合は、ステップＳ３に進む。文字領域情報がない場合は、ステップＳ４に進む。
【００４１】
次に、ステップＳ３において、パラメータ割当て部３３は、各領域の画像に応じたパラメータ群を適用して動きベクトルを決定すべく、文字領域情報記憶部１６から文字領域情報（フレームの文字領域の位置）およびこの文字領域情報に関連付けられたこの文字領域が静止文字領域であるか動文字領域であるかの情報（静動情報）を読み出し、静止文字領域には静止文字領域用パラメータ群を、動文字領域には動文字領域用パラメータ群を、その他の領域にはデフォルトパラメータ群を、それぞれ適用すべき旨の情報を、動きベクトル決定部３４に与える。
【００４２】
一方、ステップＳ４において、パラメータ割当て部３３は、フレーム内の全領域においてデフォルトパラメータ群を適用すべき旨の情報を、動きベクトル決定部３４に与える。
【００４３】
次に、ステップＳ５において、動きベクトル決定部３４は、パラメータ割当て部３３から受けたパラメータ群の情報にもとづき、画像取得部３１から入力される前後フレームから動きベクトルを決定する。
【００４４】
図５は、静止文字領域および動文字領域を含むフレーム画像の一例を示す説明図である。図５に示すフレーム画像では、静止文字領域には静止文字領域用パラメータ群が、動文字領域には動文字領域用パラメータ群が、その他の領域にはデフォルトパラメータ群が、それぞれ適用される。
【００４５】
次に、ステップＳ６において、補間画像生成部３５は、決定された動きベクトルにもとづいて、補間フレーム画像を生成し、この補間フレームをフレームメモリ部１５の前フレームおよび後フレームの間に内挿されるようにフレームメモリ部１５に格納する。
【００４６】
そして、ステップＳ７において、画像出力制御部３６は、フレームメモリ部１５からフレームを読み出して表示装置２１に画像を出力させる。
【００４７】
以上の手順により、文字領域を含む複数の領域に分割されたフレームにおいて、各領域の画像に応じたパラメータ群を適用して動きベクトルを決定し、この動きベクトルにもとづいて補間画像を生成することができる。
【００４８】
図６は、各領域の画像に応じたパラメータ群を適用する際に利用される文字領域情報およびこの文字領域に含まれる文字の静動情報を検出する際の手順を示すフローチャートである。図６において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００４９】
ステップＳ１１において、書込み制御部４１は、ＲＡＭ１２の所要のワークエリアに文字領域の検出中であるか否かを示す静動判定中フラグを設け、このフラグを、現在静動判定中ではない旨の情報をもつように（静動判定中フラグを無効に）する。
【００５０】
次に、ステップＳ１２において、画像取得部３１は、フレームメモリ部１５から前フレームを取得する。また、ステップＳ１７を経ている場合には、画像取得部３１は、フレームメモリ部１５からまたはチューナ２２から後フレームを取得する。
【００５１】
次に、ステップＳ１３において、文字領域検出部４２は、画像取得部３１から入力されたフレームから文字領域を検出し、文字領域情報（文字領域のフレーム内での位置）を取得する。
【００５２】
次に、ステップＳ１４において、検出判定部４３は、画像取得部３１により文字領域が検出されたかどうかを判定する。検出された場合はステップＳ１５に進む。一方、検出されなかった場合はステップＳ１６に進む。
【００５３】
ステップＳ１５において、書込み制御部４１は、文字領域情報記憶部１６から文字領域情報を削除して、文字領域情報およびこの文字領域に含まれる文字の静動情報を検出する一連の手順は終了となる。文字領域情報が記憶されていない場合には、そのまま一連の手順は終了となる。この結果、前後フレームの両方に文字領域がある場合以外は、補間フレームには文字領域がないものとみなされ、補間フレーム全体にデフォルトパラメータ群が適用されることになる。
【００５４】
次に、ステップＳ１６において、フラグ判定部４４は、ＲＡＭ１２の所要のワークエリアを参照し、静動判定中フラグが有効であるかどうかを判定する。静動判定中フラグが無効である場合はステップＳ１７に進む。一方、有効である場合はステップＳ１８に進む。
【００５５】
次にステップＳ１７において、書込み制御部４１は、検出された文字領域情報を文字領域情報記憶部１６に一時的に格納し、静動判定中フラグを有効にして、ステップＳ１２にもどる。
【００５６】
一方、ステップＳ１８において、領域位置判定部４５は、今回検出された文字領域（後フレームの文字領域）が、前回一時的に文字領域情報記憶部１６に記憶された文字領域（前フレームの文字領域）と一致しているかどうか判定する。一致しない場合は、ステップＳ１９に進む。一方、一致する場合は、ステップＳ２０に進む。
【００５７】
ここで、文字領域が前後フレームで一致しない場合とは、文字領域がフレーム内で大きく移動した（まったく別の箇所に出現した）場合であることが多いため、数〜十数ピクセルの誤差であれば、一致する場合に含めるようにしてもよい。
【００５８】
次に、前後フレームの文字領域が一致しない場合、ステップＳ１９において、書込み制御部４１は、前回一時的に文字領域情報記憶部１６に記憶された文字領域情報を削除して、一連の手順は終了となる。なお、このステップで、今回検出された後フレームの文字領域情報を削除せず、利用する場合には、たとえばこの文字領域情報を静止文字領域とみなし、文字領域情報と、文字領域情報に静止文字領域である旨の情報とを関連付けて、前回検出された後フレームの文字領域情報を上書きしてもよい。
【００５９】
一方、前後フレームの文字領域が一致する場合、ステップＳ２０において、静動決定部４６は、前回と一致した今回の文字領域を前後フレームで比較して動きベクトル検出を行い、この領域に含まれる文字が静止文字であるか動文字であるかを区別する。この動きベクトル検出の精度は、静止文字と動文字を区別可能な精度があればよく、比較的精度がおちるデフォルトパラメータ群を用いるなどして簡略的に行うことで足りる。
【００６０】
そして、ステップＳ２１において、書込み制御部４１は、文字領域情報と文字領域が静止文字であるか動文字であるかの情報とを関連付けて文字領域情報記録部に格納する。
【００６１】
以上の手順により、各領域の画像に応じたパラメータ群を適用する際に利用される文字領域情報およびこの文字領域に含まれる文字の静動情報を検出することができる。
【００６２】
なお、少なくとも図４のステップＳ２の前に、図４で利用される前後フレームについて図６に示した手順を実行して文字領域情報および静動情報が文字領域情報記憶部１６に記憶されるようにしておくべきことに注意すべきである。このため、たとえば、図４に示す手順の開始からステップＳ２までの間に、図６に示した一連の処理を行うようにするとよい。
【００６３】
また、図４のＳ２およびＳ３で利用される文字領域情報および静動情報は、前々フレームと前フレームとから得られた文字領域情報および静動情報であってもよい。前々フレームと前フレームとから得られる文字領域情報および静動情報を用いると、文字領域情報および静動情報が１フレーム分ずれてしまう場合がありうるものの、このずれはユーザにほとんど知覚され得ず、実用上問題とはならない。
【００６４】
図４のＳ２およびＳ３で前々フレームと前フレームとから得られる文字領域情報を用いる場合、たとえば、前々フレームと前フレームについての図４の手順におけるステップＳ２から図４の手順の終了までの間に、図６に示した一連の処理を行って前々フレームと前フレームの文字領域情報を文字領域情報記憶部１６に記憶しておき、この文字領域情報を、前フレームと後フレームについての図４の手順におけるステップＳ２およびＳ３で利用すればよい。この場合、図６のステップＳ２０と図４のステップＳ４を同期させてもよい。
【００６５】
本実施形態に係る情報処理装置１０は、前後フレーム画像から文字領域を検出する際に、文字領域の内部の文字の静動判定を行う。このため、文字領域を静止文字領域と動文字領域に区別することができる。したがって、本実施形態に係る情報処理装置１０によれば、フレーム画像を静止文字領域と動文字領域とで区別し、各領域の画像に最適なパラメータ群を適用することができ、各領域において適切な動きベクトルを取得することが可能である。
【００６６】
また、本実施形態に係る情報処理装置１０は、この動きベクトルにもとづき、動く文字を含む場合においても、ユーザに破綻を知覚させることのない非常に精度の高い補間フレーム画像を生成することができる。
【００６７】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【００６８】
さらに、図４および図６に示したフローチャートは、各ステップの処理が記載された順序に沿って時系列的に行われる場合の例について示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行されてもよい。
【００６９】
たとえば、本実施形態では、放送される番組の映像データをチューナ２２で受信し、この映像データを構成する複数のフレームに対して補間フレームをリアルタイムに生成する場合の例について説明したが、録画した映像データ（録画データ）にもとづいて補間フレームを生成しても構わない。この場合、補間フレームは、録画データの再生時にリアルタイムに生成してもよいし、あらかじめ全録画データのフレームについて文字領域情報および静動情報をフレーム番号と関連付けて文字領域情報記憶部１６に格納しておき、再生時にフレーム番号を指標として文字領域情報および静動情報を利用するようにしてもよい。
【００７０】
また、文字領域の周囲に１以上の緩衝領域を設け、緩衝領域では文字領域に適用されるパラメータ群とデフォルトパラメータ群との中間値でありかつ文字領域から遠ざかるに伴い徐々にデフォルトパラメータ群に近くなるようなパラメータ群を適用するようにしてもよい。図７には、文字領域の周囲に緩衝領域を３層設ける場合の例について示した。図７に示すように、動文字領域周囲および静止文字領域周囲の緩衝領域には、動文字緩衝領域用パラメータ群および静止文字緩衝領域用パラメータ群を、それぞれ適用して、動きベクトルを決定する。
【００７１】
文字領域の周囲に緩衝領域を設けることにより、領域間の不連続性を低減することができる。たとえば、３層の緩衝領域を設ける場合には、あらかじめ、ＲＯＭ１３などに文字領域から各緩衝領域の枠部までの距離を３つ記憶させておくとともに、各緩衝領域用のパラメータ群をパラメータ群記憶部１７に記憶させておく。
【００７２】
この場合、図４に示すステップＳ２とＳ３の間に、ＣＰＵ１１の緩衝領域設定部５１により、ＲＯＭ１３などから各緩衝領域の枠部までの距離を読み出し、文字領域の周囲に緩衝領域を設定するステップを実行する。そして、図４に示すステップＳ３において、パラメータ割当て部３３により、静止文字領域には静止文字領域用パラメータ群を、動文字領域には動文字領域用パラメータ群を、各緩衝領域には各緩衝領域用のパラメータ群を、その他の領域にはデフォルトパラメータ群を、それぞれ適用すべき旨の情報が、動きベクトル決定部３４に与えられるようにすればよい。
【図面の簡単な説明】
【００７３】
【図１】本発明に係る情報処理装置の第１実施形態を示す概略的な全体構成図。
【図２】前後２枚のフレーム間のブロックマッチング処理の一例を概略的に示す説明図。
【図３】図１に示すＣＰＵによる機能実現部の構成例を示す概略的なブロック図。
【図４】文字領域を含む複数の領域に分割されたフレームについて、各領域の画像に応じたパラメータ群を適用して動きベクトルを決定し、この動きベクトルにもとづいて補間画像を生成する際の手順を示すフローチャート。
【図５】静止文字領域および動文字領域を含むフレーム画像の一例を示す説明図。
【図６】各領域の画像に応じたパラメータ群を適用する際に利用される文字領域情報およびこの文字領域に含まれる文字の静動情報を検出する際の手順を示すフローチャート。
【図７】文字領域の周囲に緩衝領域を３層設ける場合のフレーム画像の一例を示す説明図。
【符号の説明】
【００７４】
１０ 情報処理装置
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ ネットワーク接続部
１５ フレームメモリ部
１６ 文字領域情報記憶部
１７ パラメータ群記憶部
２０ インターフェイス部
２１ 表示装置
２２ チューナ
３１ 画像取得部
３２ 文字領域有無判定部
３３ パラメータ割当て部
３４ 動きベクトル決定部
３５ 補間画像生成部
３６ 画像出力制御部
４１ 書込み制御部
４２ 文字領域検出部
４３ 検出判定部
４４ フラグ判定部
４５ 領域位置判定部
４６ 静動決定部
５１ 緩衝領域設定部
【技術分野】
【０００１】
本発明は、フレーム間に内挿される補間フレームをあつかう情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラムに関する。
【背景技術】
【０００２】
動画像処理等の分野において、２枚のフレーム（前フレームと後フレーム）間に内挿する補間フレームを生成する技術がある。この補間フレームの生成にあたり、前後フレーム画像間の動きベクトルを決定する技術は、非常に重要である。補間フレーム画像は、前後あわせて少なくとも２枚のフレーム画像間の動きベクトルにもとづいて生成される。このため、動きベクトルを適切に決定できなければ、適切な補間フレーム画像を生成することができない。
【０００３】
従来、この種の動きベクトルを決定する技術に、特開２００２−１８５９７０号公報（特許文献１）に開示されたものがある。
【０００４】
この特開２００２−１８５９７０号公報（特許文献１）に開示された動画像符号化装置は、複数の動き補償フレーム間予測方式を用いて画像フレームを符号化する装置であって、画像フレームの動きベクトルを探索する動きベクトル探索手段と、動き補償フレーム間予測処理の際に、可変サイズの小領域毎にブロック移動、アフィン変換、双線形変換などの複数の予測方式を用いてそれぞれの予測方式から予測画像を生成して出力する予測手段と、この予測手段からの複数の予測画像にもとづき最適な領域サイズおよび予測方式を決定し、領域情報、動きベクトルなどの各種パラメータ（サイド情報）ならびに予測画像を出力する領域予測決定手段と、を備える。
【０００５】
この従来の技術は、領域の分割方式を工夫し、注目領域に隣接する領域の予測方式が異なる場合にはこの隣接領域の動きベクトルを注目領域の動きベクトルとして利用することにより、動きベクトルに要するデータが少なくなるように動きベクトルを決定することができるようになっている。
【特許文献１】特開２００２−１８５９７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
動きベクトルを算出する方法のひとつに、ブロックマッチングがある。ブロックマッチングで動きベクトルを決定するためには、複数のパラメータからなるパラメータ群が必要となる。
【０００７】
このパラメータ群は、静止した物体シーンと動く物体シーンとで、動きベクトルを算出するために最適なものが異なるばかりでなく、特に文字画像に最適なパラメータ群が存在する。さらに、文字画像が動く場合には、この動文字に最適なパラメータ群を適用すべきである。これは、文字を含むブロックには文字の背景画像が混入してしまうことが多いために、前後フレームのブロック間の輝度差を利用するブロックマッチングでは、ブロックサイズなどのパラメータを、文字に適したものにする必要があるためである。
【０００８】
しかし、従来の技術では、動きベクトルを算出する際に、文字領域と文字以外の領域、静止した物体の領域および動体の領域などを明確には区別していない。このため、中間的なパラメータ群を使用することでトレードオフをとることが多いが、フレームの各領域について、それぞれ十分といえる精度の間画像を得ることは困難である。特に、フレーム画像が文字を含む場合、補間画像の精度が悪いと人間の目に大きな破綻として目立つ。文字が動く場合には、この破綻がさらに目立つものとなってしまう。
【０００９】
本発明は、上述した事情を考慮してなされたもので、フレームを少なくとも文字領域を含む複数の領域に分割し、各領域について各領域の画像に応じたパラメータ群を適用して動きベクトルを決定する情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る情報処理装置は、上述した課題を解決するために、少なくとも２枚のフレームから補間フレームを生成するために必要な動きベクトルを決定する際に、複数のパラメータからなるパラメータ群を適用する情報処理装置であって、前記少なくとも２枚のフレームのデータを入力され、この入力された複数のフレームのそれぞれから文字が含まれる領域である文字領域の位置情報を取得する文字領域検出手段と、前記文字領域の位置が、前記入力された複数のフレームの全てで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定する静動決定手段と、前記文字領域に含まれる文字が前記入力された複数のフレーム間で動く動文字領域には動文字領域用パラメータ群を、前記文字領域に含まれる文字が前記入力された複数のフレーム間で静止している静止文字領域には静止文字領域用パラメータ群を、他の領域にはデフォルトパラメータ群を、それぞれ適用して、前記動文字領域、前記静止文字領域および前記他の領域における、前記入力された複数のフレーム間の前記動きベクトルを決定する動きベクトル決定手段と、を備えたことを特徴とするものである。
【００１１】
一方、本発明に係る動きベクトル生成プログラムは、上述した課題を解決するために、少なくとも２枚のフレームから補間フレームを生成するために必要な動きベクトルを決定する際に、複数のパラメータからなるパラメータ群を適用するプログラムであって、コンピュータを、前記少なくとも２枚のフレームのデータを入力され、この入力された複数のフレームのそれぞれから文字が含まれる領域である文字領域の位置情報を取得する文字領域検出手段、前記文字領域の位置が、前記入力された複数のフレームの全てで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定する静動決定手段、および、前記文字領域に含まれる文字が前記入力された複数のフレーム間で動く動文字領域には動文字領域用パラメータ群を、前記文字領域に含まれる文字が前記入力された複数のフレーム間で静止している静止文字領域には静止文字領域用パラメータ群を、他の領域にはデフォルトパラメータ群を、それぞれ適用して、前記動文字領域、前記静止文字領域および前記他の領域における、前記入力された複数のフレーム間の前記動きベクトルを決定する動きベクトル決定手段、として機能させるためのプログラムである。
【００１２】
また、本発明に係る補間画像生成プログラムは、上述した課題を解決するために、少なくとも２枚のフレームから補間フレームを生成するために必要な動きベクトルを決定する際に、複数のパラメータからなるパラメータ群を適用するプログラムであって、コンピュータを、前記少なくとも２枚のフレームのデータを入力され、この入力された複数のフレームのそれぞれから文字が含まれる領域である文字領域の位置情報を取得する文字領域検出手段、前記文字領域の位置が、前記入力された複数のフレームの全てで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定する静動決定手段、前記文字領域に含まれる文字が前記入力された複数のフレーム間で動く動文字領域には動文字領域用パラメータ群を、前記文字領域に含まれる文字が前記入力された複数のフレーム間で静止している静止文字領域には静止文字領域用パラメータ群を、他の領域にはデフォルトパラメータ群を、それぞれ適用して、前記動文字領域、前記静止文字領域および前記他の領域における、前記入力された複数のフレーム間の前記動きベクトルを決定する動きベクトル決定手段、前記動きベクトルにもとづいて、前記入力された複数のフレーム間に内挿される前記補間フレーム画像を生成する補間画像生成手段、および、前記補間フレーム画像を表示させる画像出力制御手段、として機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明に係る情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラムによれば、フレームを少なくとも文字領域を含む複数の領域に分割し、各領域について各領域の画像に応じたパラメータ群を適用して動きベクトルを決定することができる。
【発明を実施するための最良の形態】
【００１４】
本発明に係る情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラムの実施の形態について、添付図面を参照して説明する。
【００１５】
図１は、本発明に係る情報処理装置１０の第１実施形態を示す概略的な全体構成図である。
【００１６】
情報処理装置１０は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ネットワーク接続部１４、フレームメモリ部１５、文字領域情報記憶部１６、パラメータ群記憶部１７、インターフェイス部２０、表示装置２１およびチューナ２２を備える。
【００１７】
ＣＰＵ１１は、ＲＯＭ１３内に記憶されたプログラムにしたがって、情報処理装置１０の処理動作を制御する。ＣＰＵ１１は、ＲＯＭ１３内に記憶された動きベクトル生成プログラムを内包する補間画像生成プログラムおよびプログラムの実行のために必要なデータを、ＲＡＭ１２へロードし、補間画像生成プログラムに従って、少なくとも文字領域を含む複数の領域に分割されたフレームにおいて、各領域の画像に応じたパラメータ群を適用して動きベクトルを決定し、この動きベクトルにもとづいて補間画像を生成する処理を実行する。
【００１８】
ＲＡＭ１２は、ＣＰＵ１１が実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。
【００１９】
ＲＯＭ１３は、情報処理装置１０の起動プログラム、補間画像生成プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【００２０】
なお、ＲＯＭ１３は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵ１１により読み取り可能な記録媒体を含んだ構成を有し、ＲＯＭ１３内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。
【００２１】
ネットワーク接続部１４は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部１４は、この各種プロトコルにしたがって情報処理装置１０と他の電気機器とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００２２】
ここで、補間フレーム画像の生成手順について簡単に説明する。
【００２３】
補間フレーム画像は、前後あわせて少なくとも２枚のフレーム画像間のブロックマッチングを行うことにより動きベクトルを算出し、この動きベクトルを用いて生成することができる。本実施形態においては、補間フレーム画像を、２枚のフレーム（前フレームおよび後フレーム）にもとづいて生成し、この２枚のフレーム間に内挿する場合の例について説明する。
【００２４】
図２は、前後２枚のフレーム間のブロックマッチング処理の一例を概略的に示す説明図である。
【００２５】
図２に示すように、ブロックマッチング処理においては、画像間の類似性を評価するために、比較する画像（前後フレーム画像）からあるサイズ（たとえば１６画素×１６画素など）の注目領域（ブロック）を切り出す。このブロック同士の位置関係をマッチングベクトルという。次に、ブロック同士の一致の度合いの指標であるマッチング値を計算する。マッチング値としては、輝度差の総和（ＳＡＤ）や輝度差の２乗和（ＳＳＤ）などがよく用いられる。そして、マッチング値の最小値を与える切り出し位置を探索範囲内で検索し、このマッチング値の最小値を与えるマッチングベクトルを動きベクトルとする。
【００２６】
ブロックマッチング処理は、ブロックサイズをはじめとする各種のパラメータを初期値として必要とする。このため、この各種パラメータからなるパラメータ群が異なれば、得られる動きベクトルは異なったものになる。この各種パラメータとしては、たとえば、動きベクトルの探索範囲、動きベクトル検出用ブロックサイズ、動きベクトル割当用ブロックサイズ、検出された動きベクトル値のクリップ量および隣接ブロック間の動きベクトル連続性保証閾値などが挙げられる。
【００２７】
文字の画像と文字以外の画像や、動く物体の画像と静止物体の画像では、適用すべきパラメータ群が異なる。このため、異なる種類の画像には異なるパラメータ群を適用することが望ましい。したがって、フレームを画像の種類ごとに領域分けし、各領域に対して各領域の画像に応じたパラメータ群を適用して動きベクトルを決定することが望ましい。
【００２８】
フレームメモリ部１５は、チューナ２２から映像データを受け、フレームごとに格納しておく。また、フレームメモリ部１５は、ＣＰＵ１１により生成された補間フレームを格納する。
【００２９】
なお、本実施形態では、放送される番組の映像データをチューナ２２で受信し、この映像データを構成する複数のフレームに対して補間フレームをリアルタイムに生成する場合の例について説明する。より詳細には、本実施形態では、チューナ２２で受信した映像データが、フレームごとに、ＣＰＵ１１およびフレームメモリ部１５に順次与えられ、フレームメモリ部１５は、与えられた映像データをフレームごとに格納し、ＣＰＵ１１は、チューナ２２から与えられるフレーム（後フレーム）とこのフレームの１枚前のフレームメモリ部１５に格納されているフレーム（前フレーム)とにもとづいて、補間フレームを生成する場合の例について説明する。
【００３０】
文字領域情報記憶部１６は、ＣＰＵ１１の書込み制御部４１に制御され、文字領域情報（フレームの文字領域の位置の情報）と、この文字領域が領域に含まれる文字が静止している静止文字領域であるか、文字に移動がある動文字領域であるかの情報（静動情報）とを関連付けて記憶する。
【００３１】
パラメータ群記憶部１７は、あらかじめ、少なくとも、動く文字（動文字）に適したパラメータ群（動文字領域用パラメータ群）、静止文字に適したパラメータ群（静止文字用パラメータ群）および文字以外の領域に適したパラメータ群（デフォルトパラメータ群）を格納しておく。
【００３２】
インターフェイス部２０は、放送される番組の映像データを受信しこの映像データをＣＰＵ１１およびフレームメモリ部１５に与えるチューナ２２と、チューナ２２の受信した映像データおよびＣＰＵ１１により出力される映像データなどを表示するＣＲＴやＬＣＤなどの表示装置２１と接続される。
【００３３】
図３は、図１に示すＣＰＵ１１による機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、ＣＰＵ１１を用いることなく回路などのハードウエアロジックによって構成してもよい。
【００３４】
ＣＰＵ１１は、補間画像生成プログラムによって、少なくとも画像取得部３１、文字領域有無判定部３２、パラメータ割当て部３３、動きベクトル決定部３４、補間画像生成部３５、画像出力制御部３６、書込み制御部４１、文字領域検出部４２、検出判定部４３、フラグ判定部４４、領域位置判定部４５、静動決定部４６および緩衝領域設定部５１として機能する。この各部３１〜３６、４１〜４６および５１は、ＲＡＭ１２の所要のワークエリアを、データの一時的な格納場所として利用する。
【００３５】
次に、本実施形態に係る情報処理装置１０の動作の一例について説明する。
【００３６】
図４は、図１に示す情報処理装置１０のＣＰＵ１１により、文字領域を含む複数の領域に分割されたフレームについて、各領域の画像に応じたパラメータ群を適用して動きベクトルを決定し、この動きベクトルにもとづいて補間画像を生成する際の手順を示すフローチャートである。図４において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００３７】
なお、図４には、２枚のフレーム画像（前後フレーム画像）から１枚の補間フレーム画像を生成する際の例について示した。図４に示す手順を映像データの全フレームについて繰り返し行うことにより、映像データ全体に対して補間フレームを生成することができる。
【００３８】
また、あらかじめ、パラメータ群記憶部１７は、動く文字に適したパラメータ群（動文字領域用パラメータ群）、静止文字に適したパラメータ群（静止文字用パラメータ群）および文字以外の領域に適したパラメータ群（デフォルトパラメータ群）を、格納しているものとする。
【００３９】
まず、ステップＳ１において、画像取得部３１は、フレームメモリ部１５から前フレームを、チューナ２２から後フレームを、それぞれ取得する。
【００４０】
次に、ステップＳ２において、文字領域有無判定部３２は、文字領域情報記憶部１６に文字領域情報が存在するかどうかを判定する。文字領域情報がある場合は、ステップＳ３に進む。文字領域情報がない場合は、ステップＳ４に進む。
【００４１】
次に、ステップＳ３において、パラメータ割当て部３３は、各領域の画像に応じたパラメータ群を適用して動きベクトルを決定すべく、文字領域情報記憶部１６から文字領域情報（フレームの文字領域の位置）およびこの文字領域情報に関連付けられたこの文字領域が静止文字領域であるか動文字領域であるかの情報（静動情報）を読み出し、静止文字領域には静止文字領域用パラメータ群を、動文字領域には動文字領域用パラメータ群を、その他の領域にはデフォルトパラメータ群を、それぞれ適用すべき旨の情報を、動きベクトル決定部３４に与える。
【００４２】
一方、ステップＳ４において、パラメータ割当て部３３は、フレーム内の全領域においてデフォルトパラメータ群を適用すべき旨の情報を、動きベクトル決定部３４に与える。
【００４３】
次に、ステップＳ５において、動きベクトル決定部３４は、パラメータ割当て部３３から受けたパラメータ群の情報にもとづき、画像取得部３１から入力される前後フレームから動きベクトルを決定する。
【００４４】
図５は、静止文字領域および動文字領域を含むフレーム画像の一例を示す説明図である。図５に示すフレーム画像では、静止文字領域には静止文字領域用パラメータ群が、動文字領域には動文字領域用パラメータ群が、その他の領域にはデフォルトパラメータ群が、それぞれ適用される。
【００４５】
次に、ステップＳ６において、補間画像生成部３５は、決定された動きベクトルにもとづいて、補間フレーム画像を生成し、この補間フレームをフレームメモリ部１５の前フレームおよび後フレームの間に内挿されるようにフレームメモリ部１５に格納する。
【００４６】
そして、ステップＳ７において、画像出力制御部３６は、フレームメモリ部１５からフレームを読み出して表示装置２１に画像を出力させる。
【００４７】
以上の手順により、文字領域を含む複数の領域に分割されたフレームにおいて、各領域の画像に応じたパラメータ群を適用して動きベクトルを決定し、この動きベクトルにもとづいて補間画像を生成することができる。
【００４８】
図６は、各領域の画像に応じたパラメータ群を適用する際に利用される文字領域情報およびこの文字領域に含まれる文字の静動情報を検出する際の手順を示すフローチャートである。図６において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００４９】
ステップＳ１１において、書込み制御部４１は、ＲＡＭ１２の所要のワークエリアに文字領域の検出中であるか否かを示す静動判定中フラグを設け、このフラグを、現在静動判定中ではない旨の情報をもつように（静動判定中フラグを無効に）する。
【００５０】
次に、ステップＳ１２において、画像取得部３１は、フレームメモリ部１５から前フレームを取得する。また、ステップＳ１７を経ている場合には、画像取得部３１は、フレームメモリ部１５からまたはチューナ２２から後フレームを取得する。
【００５１】
次に、ステップＳ１３において、文字領域検出部４２は、画像取得部３１から入力されたフレームから文字領域を検出し、文字領域情報（文字領域のフレーム内での位置）を取得する。
【００５２】
次に、ステップＳ１４において、検出判定部４３は、画像取得部３１により文字領域が検出されたかどうかを判定する。検出された場合はステップＳ１５に進む。一方、検出されなかった場合はステップＳ１６に進む。
【００５３】
ステップＳ１５において、書込み制御部４１は、文字領域情報記憶部１６から文字領域情報を削除して、文字領域情報およびこの文字領域に含まれる文字の静動情報を検出する一連の手順は終了となる。文字領域情報が記憶されていない場合には、そのまま一連の手順は終了となる。この結果、前後フレームの両方に文字領域がある場合以外は、補間フレームには文字領域がないものとみなされ、補間フレーム全体にデフォルトパラメータ群が適用されることになる。
【００５４】
次に、ステップＳ１６において、フラグ判定部４４は、ＲＡＭ１２の所要のワークエリアを参照し、静動判定中フラグが有効であるかどうかを判定する。静動判定中フラグが無効である場合はステップＳ１７に進む。一方、有効である場合はステップＳ１８に進む。
【００５５】
次にステップＳ１７において、書込み制御部４１は、検出された文字領域情報を文字領域情報記憶部１６に一時的に格納し、静動判定中フラグを有効にして、ステップＳ１２にもどる。
【００５６】
一方、ステップＳ１８において、領域位置判定部４５は、今回検出された文字領域（後フレームの文字領域）が、前回一時的に文字領域情報記憶部１６に記憶された文字領域（前フレームの文字領域）と一致しているかどうか判定する。一致しない場合は、ステップＳ１９に進む。一方、一致する場合は、ステップＳ２０に進む。
【００５７】
ここで、文字領域が前後フレームで一致しない場合とは、文字領域がフレーム内で大きく移動した（まったく別の箇所に出現した）場合であることが多いため、数〜十数ピクセルの誤差であれば、一致する場合に含めるようにしてもよい。
【００５８】
次に、前後フレームの文字領域が一致しない場合、ステップＳ１９において、書込み制御部４１は、前回一時的に文字領域情報記憶部１６に記憶された文字領域情報を削除して、一連の手順は終了となる。なお、このステップで、今回検出された後フレームの文字領域情報を削除せず、利用する場合には、たとえばこの文字領域情報を静止文字領域とみなし、文字領域情報と、文字領域情報に静止文字領域である旨の情報とを関連付けて、前回検出された後フレームの文字領域情報を上書きしてもよい。
【００５９】
一方、前後フレームの文字領域が一致する場合、ステップＳ２０において、静動決定部４６は、前回と一致した今回の文字領域を前後フレームで比較して動きベクトル検出を行い、この領域に含まれる文字が静止文字であるか動文字であるかを区別する。この動きベクトル検出の精度は、静止文字と動文字を区別可能な精度があればよく、比較的精度がおちるデフォルトパラメータ群を用いるなどして簡略的に行うことで足りる。
【００６０】
そして、ステップＳ２１において、書込み制御部４１は、文字領域情報と文字領域が静止文字であるか動文字であるかの情報とを関連付けて文字領域情報記録部に格納する。
【００６１】
以上の手順により、各領域の画像に応じたパラメータ群を適用する際に利用される文字領域情報およびこの文字領域に含まれる文字の静動情報を検出することができる。
【００６２】
なお、少なくとも図４のステップＳ２の前に、図４で利用される前後フレームについて図６に示した手順を実行して文字領域情報および静動情報が文字領域情報記憶部１６に記憶されるようにしておくべきことに注意すべきである。このため、たとえば、図４に示す手順の開始からステップＳ２までの間に、図６に示した一連の処理を行うようにするとよい。
【００６３】
また、図４のＳ２およびＳ３で利用される文字領域情報および静動情報は、前々フレームと前フレームとから得られた文字領域情報および静動情報であってもよい。前々フレームと前フレームとから得られる文字領域情報および静動情報を用いると、文字領域情報および静動情報が１フレーム分ずれてしまう場合がありうるものの、このずれはユーザにほとんど知覚され得ず、実用上問題とはならない。
【００６４】
図４のＳ２およびＳ３で前々フレームと前フレームとから得られる文字領域情報を用いる場合、たとえば、前々フレームと前フレームについての図４の手順におけるステップＳ２から図４の手順の終了までの間に、図６に示した一連の処理を行って前々フレームと前フレームの文字領域情報を文字領域情報記憶部１６に記憶しておき、この文字領域情報を、前フレームと後フレームについての図４の手順におけるステップＳ２およびＳ３で利用すればよい。この場合、図６のステップＳ２０と図４のステップＳ４を同期させてもよい。
【００６５】
本実施形態に係る情報処理装置１０は、前後フレーム画像から文字領域を検出する際に、文字領域の内部の文字の静動判定を行う。このため、文字領域を静止文字領域と動文字領域に区別することができる。したがって、本実施形態に係る情報処理装置１０によれば、フレーム画像を静止文字領域と動文字領域とで区別し、各領域の画像に最適なパラメータ群を適用することができ、各領域において適切な動きベクトルを取得することが可能である。
【００６６】
また、本実施形態に係る情報処理装置１０は、この動きベクトルにもとづき、動く文字を含む場合においても、ユーザに破綻を知覚させることのない非常に精度の高い補間フレーム画像を生成することができる。
【００６７】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【００６８】
さらに、図４および図６に示したフローチャートは、各ステップの処理が記載された順序に沿って時系列的に行われる場合の例について示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行されてもよい。
【００６９】
たとえば、本実施形態では、放送される番組の映像データをチューナ２２で受信し、この映像データを構成する複数のフレームに対して補間フレームをリアルタイムに生成する場合の例について説明したが、録画した映像データ（録画データ）にもとづいて補間フレームを生成しても構わない。この場合、補間フレームは、録画データの再生時にリアルタイムに生成してもよいし、あらかじめ全録画データのフレームについて文字領域情報および静動情報をフレーム番号と関連付けて文字領域情報記憶部１６に格納しておき、再生時にフレーム番号を指標として文字領域情報および静動情報を利用するようにしてもよい。
【００７０】
また、文字領域の周囲に１以上の緩衝領域を設け、緩衝領域では文字領域に適用されるパラメータ群とデフォルトパラメータ群との中間値でありかつ文字領域から遠ざかるに伴い徐々にデフォルトパラメータ群に近くなるようなパラメータ群を適用するようにしてもよい。図７には、文字領域の周囲に緩衝領域を３層設ける場合の例について示した。図７に示すように、動文字領域周囲および静止文字領域周囲の緩衝領域には、動文字緩衝領域用パラメータ群および静止文字緩衝領域用パラメータ群を、それぞれ適用して、動きベクトルを決定する。
【００７１】
文字領域の周囲に緩衝領域を設けることにより、領域間の不連続性を低減することができる。たとえば、３層の緩衝領域を設ける場合には、あらかじめ、ＲＯＭ１３などに文字領域から各緩衝領域の枠部までの距離を３つ記憶させておくとともに、各緩衝領域用のパラメータ群をパラメータ群記憶部１７に記憶させておく。
【００７２】
この場合、図４に示すステップＳ２とＳ３の間に、ＣＰＵ１１の緩衝領域設定部５１により、ＲＯＭ１３などから各緩衝領域の枠部までの距離を読み出し、文字領域の周囲に緩衝領域を設定するステップを実行する。そして、図４に示すステップＳ３において、パラメータ割当て部３３により、静止文字領域には静止文字領域用パラメータ群を、動文字領域には動文字領域用パラメータ群を、各緩衝領域には各緩衝領域用のパラメータ群を、その他の領域にはデフォルトパラメータ群を、それぞれ適用すべき旨の情報が、動きベクトル決定部３４に与えられるようにすればよい。
【図面の簡単な説明】
【００７３】
【図１】本発明に係る情報処理装置の第１実施形態を示す概略的な全体構成図。
【図２】前後２枚のフレーム間のブロックマッチング処理の一例を概略的に示す説明図。
【図３】図１に示すＣＰＵによる機能実現部の構成例を示す概略的なブロック図。
【図４】文字領域を含む複数の領域に分割されたフレームについて、各領域の画像に応じたパラメータ群を適用して動きベクトルを決定し、この動きベクトルにもとづいて補間画像を生成する際の手順を示すフローチャート。
【図５】静止文字領域および動文字領域を含むフレーム画像の一例を示す説明図。
【図６】各領域の画像に応じたパラメータ群を適用する際に利用される文字領域情報およびこの文字領域に含まれる文字の静動情報を検出する際の手順を示すフローチャート。
【図７】文字領域の周囲に緩衝領域を３層設ける場合のフレーム画像の一例を示す説明図。
【符号の説明】
【００７４】
１０ 情報処理装置
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ ネットワーク接続部
１５ フレームメモリ部
１６ 文字領域情報記憶部
１７ パラメータ群記憶部
２０ インターフェイス部
２１ 表示装置
２２ チューナ
３１ 画像取得部
３２ 文字領域有無判定部
３３ パラメータ割当て部
３４ 動きベクトル決定部
３５ 補間画像生成部
３６ 画像出力制御部
４１ 書込み制御部
４２ 文字領域検出部
４３ 検出判定部
４４ フラグ判定部
４５ 領域位置判定部
４６ 静動決定部
５１ 緩衝領域設定部
【特許請求の範囲】
【請求項１】
複数のフレームの画像からこの複数のフレームに内挿する補間フレームの画像を生成するために必要な動きベクトルを決定する際に、複数のパラメータからなるパラメータ群を適用する情報処理装置であって、
前記複数のフレームを入力され、この入力された複数のフレームのそれぞれから文字が含まれる領域である文字領域の位置情報を取得する文字領域検出手段と、
前記文字領域の位置が、前記入力された複数のフレームの全てで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定する静動決定手段と、
前記文字領域に含まれる文字が前記入力された複数のフレーム間で動く動文字領域には動文字領域用パラメータ群を、前記文字領域に含まれる文字が前記入力された複数のフレーム間で静止している静止文字領域には静止文字領域用パラメータ群を、他の領域にはデフォルトパラメータ群を、それぞれ適用して、前記動文字領域、前記静止文字領域および前記他の領域において、前記入力された複数のフレームより前記動きベクトルを決定する動きベクトル決定手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記動きベクトルにもとづいて、前記入力された複数のフレーム間に内挿される前記補間フレーム画像を生成する補間画像生成手段と、
前記補間フレーム画像を表示させる画像出力制御手段と、
をさらに備えた請求項１記載の情報処理装置。
【請求項３】
前記文字領域の周囲に緩衝領域を設定する緩衝領域設定手段をさらに備え、
前記動きベクトル決定手段は、
前記動文字領域の周囲の前記緩衝領域には前記動文字領域用パラメータ群と前記デフォルトパラメータ群との中間値をとる動文字緩衝領域用パラメータ群を適用し、前記静止文字領域の周囲の前記緩衝領域には前記静止文字領域用パラメータ群と前記デフォルトパラメータ群との中間値をとる静止文字緩衝領域用パラメータ群を適用して、前記緩衝領域の前記動きベクトルを決定する機能をさらに備えた、
請求項１または２に記載の情報処理装置。
【請求項４】
前記緩衝領域設定手段は、前記文字領域の周囲を順に取り囲む複数の緩衝領域を設定するよう構成され、
前記動きベクトル決定手段が前記動文字領域周囲および前記静止文字領域周囲の前記緩衝領域の前記動きベクトルを決定する際にそれぞれ適用される前記動文字緩衝領域用パラメータ群および前記静止文字緩衝領域用パラメータ群は、前記緩衝領域ごとに異なっているとともに、前記他の領域に近いほど前記デフォルトパラメータ群に近い、
請求項３記載の情報処理装置。
【請求項５】
前記静動決定手段は、
前記文字領域の位置が、前記入力された複数のフレームのうち、前記補間フレームが内挿される前後の２フレームで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定するよう構成された、
請求項１ないし４に記載の情報処理装置。
【請求項６】
前記入力される複数のフレームは、前記補間フレームが内挿される前後の２フレームのみである、
請求項１ないし５に記載の情報処理装置。
【請求項７】
前記文字領域検出手段および前記静動決定手段が利用する前記入力された複数のフレームと、前記動きベクトル決定手段が前記動きベクトルを決定する際に利用する複数のフレームとは、少なくとも１枚のフレームが異なる、
請求項１ないし６に記載の情報処理装置。
【請求項８】
複数のフレームの画像からこの複数のフレームに内挿する補間フレームの画像を生成するために必要な動きベクトルを決定する際に、複数のパラメータからなるパラメータ群を適用するプログラムであって、
コンピュータを、
前記複数のフレームのデータを入力され、この入力された複数のフレームのそれぞれから文字が含まれる領域である文字領域の位置情報を取得する文字領域検出手段、
前記文字領域の位置が、前記入力された複数のフレームの全てで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定する静動決定手段、および、
前記文字領域に含まれる文字が前記入力された複数のフレーム間で動く動文字領域には動文字領域用パラメータ群を、前記文字領域に含まれる文字が前記入力された複数のフレーム間で静止している静止文字領域には静止文字領域用パラメータ群を、他の領域にはデフォルトパラメータ群を、それぞれ適用して、前記動文字領域、前記静止文字領域および前記他の領域にいて、前記入力された複数のフレームより前記動きベクトルを決定する動きベクトル決定手段、
として機能させるための動きベクトル生成プログラム。
【請求項９】
複数のフレームの画像からこの複数のフレームに内挿する補間フレームの画像を生成するために必要な動きベクトルを決定する際に、複数のパラメータからなるパラメータ群を適用するプログラムであって、
コンピュータを、
前記複数のフレームのデータを入力され、この入力された複数のフレームのそれぞれから文字が含まれる領域である文字領域の位置情報を取得する文字領域検出手段、
前記文字領域の位置が、前記入力された複数のフレームの全てで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定する静動決定手段、
前記文字領域に含まれる文字が前記入力された複数のフレーム間で動く動文字領域には動文字領域用パラメータ群を、前記文字領域に含まれる文字が前記入力された複数のフレーム間で静止している静止文字領域には静止文字領域用パラメータ群を、他の領域にはデフォルトパラメータ群を、それぞれ適用して、前記動文字領域、前記静止文字領域および前記他の領域において、前記入力された複数のフレームより前記動きベクトルを決定する動きベクトル決定手段、
前記動きベクトルにもとづいて、前記入力された複数のフレーム間に内挿される前記補間フレーム画像を生成する補間画像生成手段、および、
前記補間フレーム画像を表示させる画像出力制御手段、
として機能させるための補間画像生成プログラム。
【請求項１】
複数のフレームの画像からこの複数のフレームに内挿する補間フレームの画像を生成するために必要な動きベクトルを決定する際に、複数のパラメータからなるパラメータ群を適用する情報処理装置であって、
前記複数のフレームを入力され、この入力された複数のフレームのそれぞれから文字が含まれる領域である文字領域の位置情報を取得する文字領域検出手段と、
前記文字領域の位置が、前記入力された複数のフレームの全てで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定する静動決定手段と、
前記文字領域に含まれる文字が前記入力された複数のフレーム間で動く動文字領域には動文字領域用パラメータ群を、前記文字領域に含まれる文字が前記入力された複数のフレーム間で静止している静止文字領域には静止文字領域用パラメータ群を、他の領域にはデフォルトパラメータ群を、それぞれ適用して、前記動文字領域、前記静止文字領域および前記他の領域において、前記入力された複数のフレームより前記動きベクトルを決定する動きベクトル決定手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記動きベクトルにもとづいて、前記入力された複数のフレーム間に内挿される前記補間フレーム画像を生成する補間画像生成手段と、
前記補間フレーム画像を表示させる画像出力制御手段と、
をさらに備えた請求項１記載の情報処理装置。
【請求項３】
前記文字領域の周囲に緩衝領域を設定する緩衝領域設定手段をさらに備え、
前記動きベクトル決定手段は、
前記動文字領域の周囲の前記緩衝領域には前記動文字領域用パラメータ群と前記デフォルトパラメータ群との中間値をとる動文字緩衝領域用パラメータ群を適用し、前記静止文字領域の周囲の前記緩衝領域には前記静止文字領域用パラメータ群と前記デフォルトパラメータ群との中間値をとる静止文字緩衝領域用パラメータ群を適用して、前記緩衝領域の前記動きベクトルを決定する機能をさらに備えた、
請求項１または２に記載の情報処理装置。
【請求項４】
前記緩衝領域設定手段は、前記文字領域の周囲を順に取り囲む複数の緩衝領域を設定するよう構成され、
前記動きベクトル決定手段が前記動文字領域周囲および前記静止文字領域周囲の前記緩衝領域の前記動きベクトルを決定する際にそれぞれ適用される前記動文字緩衝領域用パラメータ群および前記静止文字緩衝領域用パラメータ群は、前記緩衝領域ごとに異なっているとともに、前記他の領域に近いほど前記デフォルトパラメータ群に近い、
請求項３記載の情報処理装置。
【請求項５】
前記静動決定手段は、
前記文字領域の位置が、前記入力された複数のフレームのうち、前記補間フレームが内挿される前後の２フレームで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定するよう構成された、
請求項１ないし４に記載の情報処理装置。
【請求項６】
前記入力される複数のフレームは、前記補間フレームが内挿される前後の２フレームのみである、
請求項１ないし５に記載の情報処理装置。
【請求項７】
前記文字領域検出手段および前記静動決定手段が利用する前記入力された複数のフレームと、前記動きベクトル決定手段が前記動きベクトルを決定する際に利用する複数のフレームとは、少なくとも１枚のフレームが異なる、
請求項１ないし６に記載の情報処理装置。
【請求項８】
複数のフレームの画像からこの複数のフレームに内挿する補間フレームの画像を生成するために必要な動きベクトルを決定する際に、複数のパラメータからなるパラメータ群を適用するプログラムであって、
コンピュータを、
前記複数のフレームのデータを入力され、この入力された複数のフレームのそれぞれから文字が含まれる領域である文字領域の位置情報を取得する文字領域検出手段、
前記文字領域の位置が、前記入力された複数のフレームの全てで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定する静動決定手段、および、
前記文字領域に含まれる文字が前記入力された複数のフレーム間で動く動文字領域には動文字領域用パラメータ群を、前記文字領域に含まれる文字が前記入力された複数のフレーム間で静止している静止文字領域には静止文字領域用パラメータ群を、他の領域にはデフォルトパラメータ群を、それぞれ適用して、前記動文字領域、前記静止文字領域および前記他の領域にいて、前記入力された複数のフレームより前記動きベクトルを決定する動きベクトル決定手段、
として機能させるための動きベクトル生成プログラム。
【請求項９】
複数のフレームの画像からこの複数のフレームに内挿する補間フレームの画像を生成するために必要な動きベクトルを決定する際に、複数のパラメータからなるパラメータ群を適用するプログラムであって、
コンピュータを、
前記複数のフレームのデータを入力され、この入力された複数のフレームのそれぞれから文字が含まれる領域である文字領域の位置情報を取得する文字領域検出手段、
前記文字領域の位置が、前記入力された複数のフレームの全てで一致する場合に、前記文字領域の文字が前記入力された複数のフレーム間で動くか否かを判定する静動決定手段、
前記文字領域に含まれる文字が前記入力された複数のフレーム間で動く動文字領域には動文字領域用パラメータ群を、前記文字領域に含まれる文字が前記入力された複数のフレーム間で静止している静止文字領域には静止文字領域用パラメータ群を、他の領域にはデフォルトパラメータ群を、それぞれ適用して、前記動文字領域、前記静止文字領域および前記他の領域において、前記入力された複数のフレームより前記動きベクトルを決定する動きベクトル決定手段、
前記動きベクトルにもとづいて、前記入力された複数のフレーム間に内挿される前記補間フレーム画像を生成する補間画像生成手段、および、
前記補間フレーム画像を表示させる画像出力制御手段、
として機能させるための補間画像生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−３０６３３０（Ｐ２００８−３０６３３０Ａ）
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願番号】特願２００７−１４９９７９（Ｐ２００７−１４９９７９）
【出願日】平成１９年６月６日（２００７．６．６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願日】平成１９年６月６日（２００７．６．６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]