説明

画像変換装置

【課題】入力映像信号から動きベクトル情報を検出し、これを用いて内挿映像信号を生成し、入力映像信号と内挿映像信号とを出力する際の表示映像の画質を改善する。
【解決手段】映像選択部104は、入力映像信号と、動きベクトル検出部101が検出する動きベクトル情報と、フィールド内挿位相生成部102が生成する内挿位相とを入力し、入力映像信号の位相と、前記内挿位相との差分を検出し、その位相差が所定のレベルよりも小さい場合に、内挿映像信号の代わりに入力映像信号を選択し、出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力映像信号と、前記入力映像信号から検出した動きベクトル情報を用いて生成した新たな映像信号とからなる出力信号を生成する画像変換装置に関わり、特にテレシネ装置で3−2変換、2−2変換されて得られたテレビジョン信号に対して、動きベクトルの検出と、動き補正を行う映像内挿を行い、高画質なテレビジョン信号を得ることができる画像変換装置に関するものである。
【背景技術】
【0002】
近年、TV用の表示デバイスとして、液晶パネルが広く使用されるようになってきた。ただ、その応答性能の悪さから、動画像を表示した際のボケが課題となっていた。これに対して、パネル自体の応答特性が著しく改善され、昨今は以前ほどの動画ボケは無くなってきている。しかしながら、一定の期間は同じ絵を保持して表示し続けるという液晶自体の表示方式に起因して、いかに液晶パネル自体の応答速度が改善しても、動画ボケが原理的になくならないことが知られている。これに対して、表示する映像信号の保持期間を短くすることで動画ボケを改善する取り組みが行われている。
【0003】
こうした表示を可能とするためには、入力する映像信号と映像信号の間に映像信号を生成して内挿し、出力映像信号のフレームレートを例えば1.5倍や2倍に変換する必要がある。このフレームレート変換処理は、連蔵して入力する複数の映像信号間での相関を検出することにより、画面全体あるいは個々の領域ごとでの映像の動きを検出し、この動きの情報、いわゆる動きベクトルを用いて、入力する映像信号と映像信号の間に、前後の映像信号の動きを補間する内挿映像信号を生成する手法が一般的である。
【0004】
図2に毎秒60フィールドの映像信号をフレームレート変換処理により、毎秒90フィールドに変換する場合の入力信号と出力信号の関係を示す。
【0005】
一方、動画像データを伝送あるいは記録再生する際の素材として映画フィルムを用いる場合、テレシネ装置を用いて毎秒24コマの映画フィルムソースを3−2プルダウン方式で毎秒60フィールドのインターレース方式のビデオ信号に走査変換する場合がある。
【0006】
この3−2プルダウン方式とは、映画フィルムなど毎秒24コマで記録された映像を、毎秒60フィールドの映像信号に変換(プルダウン)する際に用いられる方式の一つである。フィルムの各コマを、奇数番目のコマは2フィールドに、偶数番目は3フィールド変換する、あるいはその逆の操作を行うことにより、2コマを5フィールド、すなわち24コマを60フィールドに変換する。図3(a)に毎秒24コマの映画フィルムソースを、図3(b)にそれを3−2プルダウン方式で60フィールドに変換したものをそれぞれ示す。上記のような方式で変換された場合、本来なら24分の1秒ずつの同じ時間間隔で再生されるべき画像が、あるものは60分の3秒間、その次の画像は60分の2秒間、表示されることになり、動画像として不自然な動きを生じてしまう、という課題があった。そこで、映像信号の動きベクトルを検出し、時間差に応じた正しい位置にフレームを合成して挿入し、表示される映像の動きを自然なものにする方式が提案されている。
【特許文献1】特許第3495485号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、上記のような画像変換装置で生成される映像の画質は、検出される動きベクトルの精度に大きく依存することになる。ここで、移動物体と背景とが交差する部分など、原理的に動きベクトルが検出できない領域が存在し、またベクトル検出部の処理能力の制約から必ずしも正しい動きベクトルが検出できない場合がある。よって、動きベクトルで合成される画像は、必ずしも理想的なものではないとの想定が必要である。
【0008】
特に、もとのデータが、毎秒24コマの映画フィルムソースを毎秒60フレームの映像信号に変換する際には、図3(c)から明らかなように、出力信号において、元々入力された映像から直接生成されたフレームと、動きベクトルを用いて合成されたフレームとの比が1対4になっていることがわかる。すなわち、一定時間内で、合成されたフレームが80%の期間表示されていることになり、これが表示画像の画質劣要因のひとつとなっていた。
【0009】
そこで、本発明の目的は、以上のような問題を解消した画像変換装置を提供することである。
【課題を解決するための手段】
【0010】
上記の目的を達成するために、請求項1にかかる発明は、入力する映像信号から動きベクトル情報を検出する動きベクトル検出手段と、入力する映像信号間に、内挿映像を生成する時間的な位相情報を生成する内挿位相生成手段と、前記映像信号と、前記動きベクトル情報と、前記内挿位相情報とから内挿映像信号を生成する内挿映像生成手段と、を有する画像変換装置において、前記内挿位相情報に基づいて、前記入力映像信号と、前記内挿映像信号とを選択的に切り替えて出力することを特徴とする。
【0011】
また、請求項2にかかる発明は、請求項1にかかる発明と関連し、前記入力映像信号と、前記内挿映像信号との時間的な位相差を、前記内挿位相情報から判断し、前記位相差が所定のレベルよりも小さいすべての内挿映像信号、または一部の内挿映像信号の代わりに前記入力映像信号を出力することを特徴とする。
【0012】
さらに、請求項3にかかる発明は、請求項1ないし2にかかる発明と関連し、前記入力映像信号を入力し、前記入力映像信号が3−2変換または2−2変換された画像か否かを
検出するフィルム検出手段をさらに有し、前記内挿位相生成部は、前記フィルム検出手段の検出結果に基づいて、内挿位相情報を出力することを特徴とする。
【発明の効果】
【0013】
以上のように、本発明の画像変換装置により、動きベクトル情報を用いて内挿映像信号を生成する際の画質、特に入力映像信号が3−2変換、2−2変換された画像に対して内挿映像信号を生成して出力する際の画質を改善することが可能となる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の実施の形態を、図面を用いて説明する。
【0015】
(実施の形態1)
まず、発明の実施形態1にかかる画像変換装置について、図1、図3を参照しながら説明する。図1は、本発明の第1の実施形態に係わる画像変換装置の構成を示すブロック図であり、同図で示すように、動きベクトル検出部101、フィールド内挿位相生成部102、フィールド内挿映像生成部103、映像選択部104から構成されている。
【0016】
フィールド内挿位相生成部102はまず、連続するフィールド画像データの差分を元に入力映像信号が3−2変換または2−2変換された画像であるか否かの判定を行う。例えば、図3(b)に示す3−2変換された映像信号の場合、現在の入力信号がb0からb4のどのタイミングであるかを特定する。これは、映像自体は動画像であっても、図3(b)のb0とb1とb2、b3とb4は、もともとのデータが同じ映像であることに着目し、画面の同じ位置に表示されるべき映像信号間に差分が生じていない周期を検出することで行う。もちろん、図3(b)で示される映像信号がインターレース形式である場合には、例えば、b0とb1とには差分が生じることになり、ある程度の差分を許容する判定手段を用いる必要があるが、この判定手段は本発明の本質とは関係しないので、詳細は割愛し、ここでは、3−2のシーケンスの検出が正しく行われるものとする。入力する映像信号が3−2変換されたものである場合、フィールド内挿位相生成部102は、さらに図3(c)で示されるように3−2または2−2のシーケンスにおいて、どのタイミングにあるかを検出し、内挿位相を算出する。
【0017】
例えば、現在の入力が図3(b)のb1であることが分かった場合、b0とb5に対して、時間的な位相としては20%の位置に図3(c)のc1として、生成されることになる。
【0018】
この結果、図3(c)に示されるように、本来一定の速度で移動している物体の動きを正確に再現することが可能となる。このような内挿画像を生成するには、動きベクトル検出部101が検出する動きベクトル情報が必要となる。動きベクトル検出部101は、一般には複数フィールドの映像信号を保存し得るメモリを有し、この複数フィールドの映像データの差分を元に、各画素あるいは複数の画素単位での動きベクトルを検出する。例えば、図3(c)のc1、c2の映像を生成するための動きベクトルが、図3(a)のa0、a2.5から検出される。仮に、画面全体が一様に移動しており、画面右方向に5画素、画面上方向に5画素と検出されたとき、c0上の上記画素を、右に2画素、上に2画素移動させることで、c1の絵を生成する。同様に、c3、c4は、a2.5とa5の間で検出された動きベクトルを用いて生成される。なお、動きベクトルの検出手法は公知の技術であるのでここで詳細な説明は行わない。
【0019】
ここで、例えば、c3として生成される画像は、a2.5を右、上にそれぞれ1画素移動させたものになる。検出されるベクトルが理想的なものであるなら、c3もまた前後の映像とスムーズにつながる理想的な映像となるが、前述の通り、検出されるベクトルには誤りや誤差が含まれており、それを用いて生成される画像も理想的なものと異なる場合がある。よって、図3(d)に示すように、c3の代わりにb3を用いることで、ベクトルの精度に依存しない画像を生成する。
【0020】
ここで、図3(a)のa0とa5の位相差を10としたとき、図3(c)のc3と、図3(d)のd3すなわちb3との時間的な位相の差は1となる。このように、内挿画像と入力画像との位相差が小さいときは、動きの滑らかさに及ぼす影響が小さく、視覚上の違和感も小さくなる。なお、このとき同時に、図3(c)のc2とb3との位相差も1となる。但し、d2をb3と置き換えてしまうと、動きの滑らかさが著しく損なわれるので好ましくない。
【0021】
このように内挿画像と入力画像の置き換えにより、映像が一様な速度で移動している場合、前後の映像との動きのスムーズさが損なわれることになるが、図3(b)と比較しての、全体的な動きのスムーズさの改善は明らかであり、また図3(c)においてベクトルに依存して生成される映像が4フィールド継続されるのに対して、最大2フィールドの継続になり、ベクトル精度が悪い場合の画質劣化を低減することが可能となる。
【0022】
なお、図3においては、d3として、c3の代わりにb3を使用する場合に関して説明したが、d2としてc2の代わりにb2を使用するとしてもよい。
【0023】
また、図3においては、元々24コマの映像を60フィールドに変換するケースを示しているが、元々25コマの映像を50フィールドに変換する場合、さらには、60フィールドの映像が90フィールド、120フィールドに変換される場合に関しても同様である。
【0024】
(実施の形態2)
実施の形態1では、フィールド内挿位相のみに依存して固定的に入力信号と、内挿画像との選択を行っていたが、実施の形態2は、上記出力の切り替えをフィールド内挿位相に加えてベクトルの信頼性に依存して行うようにしたものである。
【0025】
図4に本発明の第2の実施形態に係わる画像変換装置の構成を示す。動きベクトル検出部401はあらたに、ベクトル信頼性情報を出力し、映像選択部404は新たにこのベクトル精度情報を入力する。
【0026】
画面上の画素あるいは細分化された個々の領域に対する動きベクトル検出は前後の映像間で相関の高い部分を検出することによって行うが、この相関性の高さは、画素間あるいは領域間での映像信号の差分の大きい差に着目するのが一般的である。動きベクトル検出部401の検出性能の限界、あるいは前後の映像の動きに関係から、必ずしも相関の高い画素あるいは領域を検出できない場合もある。そういう場合は前記映像の差分が大きくなる。この差分情報を領域内で累積するなどして、検出した動きベクトルの信頼性を示す情報として、映像選択部404に渡す。
【0027】
映像選択部404では、フィールド内挿位相生成部102からの内挿位相と同時に、上記ベクトル信頼性情報を参照し、ベクトルの信頼性が低いと判断した場合は、補間されて生成された映像の代わりに、入力映像信号を出力する。
【0028】
上記動きベクトル検出部401は、上記ベクトル信頼性信号を1画面全体で1つの情報として出力し、上記映像選択部404は、画面全体を入力画像と補間画像で切り替えてもよいし、上記動きベクトル検出部401は、上記ベクトル信頼性信号を画素単位あるいは領域単位毎の情報として出力し、上記映像選択部404は、画素単位あるいは領域単位で入力画像と補間画像で切り替えてもよい。
【産業上の利用可能性】
【0029】
本発明は、動きベクトルの検出と、動き補正を行う映像内挿を行い、高画質なテレビジョン信号を得ることができる画像変換装置に関するものである。
【図面の簡単な説明】
【0030】
【図1】本発明の第1の実施形態に係わる画像変換装置の構成を示すブロック図
【図2】本発明の第1の実施形態に係わる画像変換装置の動作を説明する図
【図3】本発明の第1の実施形態に係わる画像変換装置の動作を説明する図
【図4】本発明の第2の実施形態に係わる画像変換装置の構成を示すブロック図
【符号の説明】
【0031】
101、401 動きベクトル検出部
102 フィールド内挿位相生成部
103 フィールド内挿映像生成部
104、404 映像選択部

【特許請求の範囲】
【請求項1】
入力する映像信号から動きベクトル情報を検出する動きベクトル検出手段と、
入力する映像信号間に、内挿映像を生成する時間的な位相情報を生成する内挿位相生成手段と、
前記映像信号と、前記動きベクトル情報と、前記内挿位相情報とから内挿映像信号を生成する内挿映像生成手段と、を有する画像変換装置において、
前記内挿位相情報に基づいて、前記入力映像信号と、前記内挿映像信号とを選択的に切り替えて出力することを特徴とする画像変換装置。
【請求項2】
前記入力映像信号と、前記内挿映像信号との時間的な位相差を、前記内挿位相情報から判断し、前記位相差が所定のレベルよりも小さいすべての内挿映像信号、または一部の内挿映像信号の代わりに前記入力映像信号を出力することを特徴とする、請求項1記載の画像変換装置。
【請求項3】
前記入力映像信号を入力し、前記入力映像信号が3−2変換または2−2変換された画像か否かを検出するフィルム検出手段をさらに有し、前記内挿位相生成部は、前記フィルム検出手段の検出結果に基づいて、内挿位相情報を出力することを特徴とする請求項1ないし2に記載の画像変換装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2007−288483(P2007−288483A)
【公開日】平成19年11月1日(2007.11.1)
【国際特許分類】
【出願番号】特願2006−113148(P2006−113148)
【出願日】平成18年4月17日(2006.4.17)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】