映像処理装置
【課題】入力される映像信号を異なるフレームレートの映像信号にする際に発生する重複フレームについて、回路規模を増大することなくフレームデータ前後の動きのある部分について不自然さを軽減するように画像処理をした映像を提供する映像処理装置を得る。
【解決手段】 映像信号について分割した画像領域ごとに映像データから動きの有無を検出する画像解析部を備え、入力と出力とで異なるフレームレートに応じて映像データを前記フレームメモリへの書き込み及び読み出しを行ない、前記フレームメモリから読み出された映像データが、連続して同じフレームを読み出している場合は、該当のフレームの映像データの全体画像領域のうち前記画像解析部で前記映像データのフレームについて映像の動きがあると判定された部分領域のみ映像データから映像をぼかす平滑化処理をした出力に切り替えて出力する。
【解決手段】 映像信号について分割した画像領域ごとに映像データから動きの有無を検出する画像解析部を備え、入力と出力とで異なるフレームレートに応じて映像データを前記フレームメモリへの書き込み及び読み出しを行ない、前記フレームメモリから読み出された映像データが、連続して同じフレームを読み出している場合は、該当のフレームの映像データの全体画像領域のうち前記画像解析部で前記映像データのフレームについて映像の動きがあると判定された部分領域のみ映像データから映像をぼかす平滑化処理をした出力に切り替えて出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、インターレース方式またはプログレッシブ方式で入力された映像信号を異なる出力クロックまたは異なるフレームレートの映像信号に変換する映像処理装置に関する。
【背景技術】
【０００２】
近年テレビやカーナビゲーションシステムの表示デバイスとして、液晶ディスプレイなどが普及しており、ＣＲＴディスプレイのようにインターレース走査方式ではなく、プログレッシブ走査方式を用いてより高精細に表示することが一般的である。一方、入力される映像としては従来の標準放送（ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭなど）やＨＤＴＶ放送、あるいは記録された映像コンテンツなどがあり、表示走査方式や垂直同期周波数は様々である。さらに１フレームを構成する画面解像度についても様々である。したがって、液晶ディスプレイなどの表示装置に高精細に表示するための映像処理装置では、様々な表示走査方式、垂直同期周波数、及び画面解像度で入力された映像信号を、接続する表示装置の仕様に基づいた所定の垂直同期周波数のプログレッシブ走査方式の映像信号に変換する必要が生じる。
【０００３】
例えば、画面解像度が８００×４８０画素、垂直同期周波数が６０Ｈｚのプログレッシブ走査方式という仕様の液晶ディスプレイに接続する場合、入力された映像が１フレームあたり６２５本の走査線で垂直同期周波数が５０Ｈｚのインターレース走査方式であるＰＡＬ方式であれば、インターレース信号をプログレッシブ信号に変換し、画像サイズを拡大縮小して画面解像度を変換し、垂直同期周波数を６０Ｈｚに変更する必要がある。ここで、インターレース信号をプログレッシブ信号に変換することをＩＰ変換といい、画面解像度を変換することを解像度変換といい、垂直同期周波数を変更することをフレームレート変換という。
【０００４】
このような状況でのフレームレート変換の方法としては、映像のフレームデータを記憶するためのフレームメモリを用いて、入力映像のフレームデータについてフレームメモリへの書き込みとフレームメモリからの読み出しとの間で、追い越し発生の有無を予測して、追い越し発生を判定した場合にはフレームメモリから同じフレームデータを連続して読み出して表示装置へ出力する方法がある。
【０００５】
この方法によれば、同じフレームの映像を連続して表示する場合があるので、入力された映像が動きのある映像であれば、そのときに動きが止まって見えるようになり表示された映像に不自然さが生じるという問題がある。
【０００６】
この改善策として、追い越し発生時に同じフレームデータをそのまま出力するのではなく、フレームデータをフレーム毎に領域分割を行い、動きを各領域の動きの方向を求めたものとあらかじめ設定する複数の映像の動きの条件式との比較を行なうことで映像の動きの種類を判定し、動きがあると判定された場合には前後２フレームを用いて同じ画素位置の画素データを合成したフレームデータを出力するフレームデータ補間方法がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１１５９１０号公報（第５−１２頁、第１０図）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の特許文献１のようなフレームデータ補間方法を用いた映像処理装置では、あらかじめ設定している条件式に該当する動きに対しての出力映像での不自然さは軽減されるが、様々な映像の動きを動きとして判定するためには、それぞれの動きに対しての条件式を用意して設定する必要があり、条件式が増えれば判定に必要となる処理量または回路規模が増大するという問題があった。
【０００９】
この発明は、上述のような課題を解消するためになされたもので、同じフレームデータが連続する場合に、処理量または回路規模を増大することなく、フレームデータ前後の動きのある部分について不自然さを軽減するよう映像に画像処理をして出力する映像処理装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る映像処理装置においては、第１のフレームレートの入力映像信号から第２のフレームレートの出力映像信号を生成する映像処理装置であって、所定の複数フレーム分の映像データを記憶する容量を有するフレームメモリと、前記入力映像信号に含まれる映像データを第１のフレームレートで前記フレームメモリへ書き込みをし、書き込まれた映像データを第２のフレームレートで前記フレームメモリから読み出しをするフレームメモリ制御部と、前記第１のフレームレート及び前記第２のフレームレートに応じて、前記フレームメモリ制御部が前記フレームメモリにアクセスするメモリ領域を制御し、前記フレームメモリから読み出された映像データのフレームが、前回読み出した映像データのフレームと同じである場合に追い越し発生を示す追越発生フラグを出力する追越制御部と、前記映像データに対して、フレーム単位の全体画像領域を分割した部分領域ごとに映像の動きの有無を検出する画像解析部と、前記フレームメモリから読み出された映像データを入力として映像をぼかす平滑化処理を行なう平滑化処理手段を有し、前記追越発生フラグが追い越し発生を示していない場合は、前記フレームメモリから読み出された映像データを前記出力映像信号として出力し、前記追越発生フラグが追い越し発生を示している場合は、該当するフレームの映像データの全体画像領域のうち前記画像解析部で映像の動きがあると判定された部分領域は前記平滑化処理手段によって平滑化された該当する部分領域の出力を選択し、前記画像解析部で映像の動きがあると判定されなかった部分領域は前記フレームメモリから読み出された該当するフレームの映像データを選択して合成した映像データを前記出力映像信号として出力する画像処理部とを備えるものである。
【発明の効果】
【００１１】
この発明は、映像データから映像信号の動きの有無を部分的に検出する画像解析部を備え、連続して同じフレームを読み出している場合は、画像解析部で映像信号に動きが有ると判定された部分について画像処理部によって平滑化処理を行なった映像データを用いて出力することにより、フレームの部分ごとの映像の動きの有無のみを検出するため、回路規模を増大することなく判定することが可能となる。また、動きのない部分についてぼやけのない映像を提供し、動きのある部分について部分的な平滑化処理を行なうことでフレームデータ前後の動きのある部分について不自然さを軽減するように画像処理をした映像を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１を示すブロック図である。
【図２】この発明の実施の形態１でのフレームレート変換動作の説明図である（入力と出力の垂直同期周波数が同じ場合）。
【図３】この発明の実施の形態１でのフレームレート変換動作の説明図である（入力の方が出力よりも垂直同期周波数が高い場合）。
【図４】この発明の実施の形態１でのフレームレート変換動作の説明図である（出力の方が入力よりも垂直同期周波数が高い場合）。
【図５】この発明の実施の形態１の画像解析部１０６のブロック図である。
【図６】この発明の実施の形態１の画像解析部１０６での動作の説明図である。
【図７】この発明の実施の形態１のエッジ数比較ブロック１０６７での動作の説明図である。
【図８】この発明の実施の形態１の画像処理部１０７のブロック図である。
【図９】この発明の実施の形態２を示すブロック図である。
【図１０】この発明の実施の形態２におけるエッジ数比較ブロック２０６７でのインターレース走査方式の映像データとエッジ数の比較対象のフィールドを示す図である。
【図１１】この発明の実施の形態３の画像解析部３０６のブロック図である。
【図１２】この発明の実施の形態３での画像解析部３０６での動作の説明図である。
【図１３】この発明の実施の形態４の画像解析部４０６のブロック図である。
【図１４】この発明の実施の形態４でのエッジ分布取得ブロック４０６２での動作の説明図である。
【図１５】この発明の実施の形態５の画像解析部５０６のブロック図である。
【図１６】この発明の実施の形態５でのエッジ分布取得ブロック５０６２での動作の説明図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、この発明を実施するための実施の形態１における映像処理装置の構成を示すブロック図である。図１において、映像処理装置１００は、入力される映像信号の映像データを記録保持するフレームメモリ１０１、フレームメモリ１０１への書き込み及び読み出しを制御するフレームメモリ制御部１０２、入力映像信号のフレームレートと出力する映像信号のフレームレートに応じてフレームメモリ制御部１０２が書き込みまたは読み出しするフレームメモリ１０１のアクセス領域を制御する追越制御部１０５、入力された映像データからフレーム前後での映像の動きの有無を部分的に検出する画像解析部１０６、フレームメモリ制御部１０２の読み出された映像データと追越制御部１０５の情報と画像解析部１０６の出力に応じてフレームメモリ制御部１０２の読み出された映像データの画像処理を行なう画像処理部１０７からなる。ここで、映像信号は、垂直・水平同期信号、垂直データイネーブル信号、水平データイネーブル信号、映像データ信号などを含むものとする。なお、画像解析部１０６の内部構成は図５に、画像処理部１０７の内部構成は図８にて示す。
【００１４】
次に各構成要素について説明する。フレームメモリ１０１は、映像データを記録保持するものである。フレームメモリ１０１の容量は、入力される映像信号と出力する映像信号とのフレームレートやデータ方式が異なる場合を考慮して、記録の容量は入力される映像信号の仕様に基づいて必要な１フレームの最大容量を複数確保できる容量を持つものである。図１ではＦ１，Ｆ２，およびＦ３と３フレーム分を記録する容量を確保するものとする。図１では１つのメモリをＦ１〜Ｆ３の３つの領域に分けて用意するものとするが、複数のメモリでフレームメモリ１０１を構成することで書き込みと読み出しのアクセスが重複する状況を抑えることが可能となりアクセス管理が容易になる。
【００１５】
フレームメモリ制御部１０２は、フレームメモリ１０１への映像データの書き込みを制御するフレームメモリ書き込み制御部１０３と、フレームメモリ１０１からの映像データの読み出しを制御するフレームメモリ読み出し制御部１０４とからなる。フレームメモリ書き込み制御部１０３は、入力された映像データの入力垂直同期信号に基づいて書き込みの開始および書き込みアドレス決定を行なう。フレームメモリ読み出し制御部１０４は、出力するフレームレートに応じた出力垂直同期信号に基づいて読み出しの開始および読み出しアドレス決定を行なう。ここで、出力垂直同期信号のような表示出力映像の同期信号は、出力先のモニターなどの仕様に応じて決められるものであって、映像処理装置１００の外部から入力されるものであっても良いし、映像処理装置１００に出力先のモニターなどの仕様情報を入力して、映像処理装置１００内で生成するとしても良い。本実施の形態では、追越制御部１０５が出力先モニターなどの仕様情報に基づいて生成するものとする。また、書き込みのアドレス決定又は読み出しのアドレス決定については、後段の追越制御部１０５から供給される書き込みフレーム番号ＦＷおよび読み出しフレーム番号ＦＲに対応付けたメモリ領域から決まるものとしても良い。
【００１６】
追越制御部１０５は、入力垂直同期信号および出力垂直同期信号から、フレームメモリ１０１での書き込みおよび読み出し領域を推測・算出して書き込みフレーム番号ＦＷおよび読み出しフレーム番号ＦＲとしてフレームメモリ制御部１０２に出力するものである。また、追越制御部１０５は、フレームメモリ制御部１０２が同じフレームを連続して読み出すことになる場合に、同じフレームを連続して読み出していること、つまり、追い越しが発生していることを示す追越発生フラグを生成して出力する。たとえば、追越発生フラグが”０”の場合は追越発生フラグが追い越し発生状態を示していない時であって、追越発生フラグが”１”の場合は追越発生フラグが追い越し発生状態を示している時とする。
【００１７】
上述した追い越し発生時の動作は一例であり、この方式に限るものではない。
【００１８】
ここで入力側と出力側のフレームレートの相違と入力映像データの損失あるいは出力映像データの重複との関係について図２〜図４を用いて説明する。図２〜図４は、本実施の形態でのフレームレート変換動作の説明図である。ここで入力映像データは、ｉ１、ｉ２、ｉ３、と入力垂直同期信号のパルス（図２〜図４では負極性で表されている）ごとに順次入力されていることを表し、フレームメモリ書き込みアドレスに割り当てられたＦ１〜Ｆ３は、フレームメモリ書き込み制御部１０３が書き込みを行なうアドレスがどのフレーム領域であるかを示している。同様に、フレームメモリ読み出しアドレスに割り当てられたＦ１〜Ｆ３は、フレームメモリ読み出し制御部１０４が読み出しを行なうアドレスがどのフレーム領域であるかを示している。
【００１９】
図２は、入力される映像信号と出力する映像信号との垂直同期周波数が同じ場合である。この場合、出力垂直同期信号のパルスが入力垂直同期信号のパルスを追い越すことはないため、入力映像データｉ１をフレームメモリ領域Ｆ１に書き込みを行なっている途中であっても、フレームメモリ領域Ｆ１に書き込み始めた後に発生した出力垂直同期信号のパルスに基づいてフレームメモリ領域Ｆ１を読み出し始めたときに読み出しが書き込みを追い越すことはない。また読み出しのフレーム領域も、書き込みのフレーム領域の順番を追って重複せずに読み出すことで書き込みが読み出しを追い越すこともない。従って、読み出し側の映像データが異なるフレームの映像データを出力してしまうことはない。また、読み出し側の映像データのフレームが連続して同じフレームを読み出すことなく、入力側の映像データのフレームが欠落することなく出力することができる。
【００２０】
ここで、図２については、入力映像データを供給する装置のクロックと映像処理装置１００側のクロックが同期している状況で説明をしているが、クロックジッタによっては出力垂直同期信号のパルスが入力垂直同期信号のパルスを追い越す場合もその逆もありうる。これは複数のフレームを記録できるだけのフレームメモリ領域を持ち、クロックジッタによるパルスの時間変動を許容できるだけの期間をずらして読み出すことで解消できる。
【００２１】
図３は、入力される映像信号が出力する映像信号の垂直同期周波数よりも高い場合である。この場合、フレームメモリ１０１からの読み出しが完了する前に、入力映像データの書き込みが追い越してしまうことがある。例えば図３の点線部分付近では同じフレームメモリ領域を読み出し、書き込みをしてしまうと、読み出し側でｉ１番目フレームの映像データを読み出している途中にそのフレーム領域のデータがｉ４番目フレームの映像データに書き換わることになるため、読み出し側の映像データが異なるフレームの映像データを出力してしまうことになる。そのため、追越制御部１０５は、図３の点線部分付近の書き込みのフレームメモリ領域をＦ２に変更させる制御を行うことで、読み出し側の映像データが異なるフレームの映像データを出力してしまう問題は回避できる。ただし、この場合、読み出し側がｉ３番目フレームを読み出す前にＦ２フレーム領域を上書きすることになるため、ｉ３番目フレームが欠落することになる。
【００２２】
図４は、図３とは逆に入力される映像信号が出力する映像信号の垂直同期周波数よりも低い場合である。この場合、フレームメモリ１０１への書き込みが完了する前に、読み出しが追い越してしまうことがある。例えば図４の点線部分付近では同じフレームメモリ領域を読み出し、書き込みをしてしまうと、書き込み側でｉ５番目フレームの映像データを書き込んでいる途中にそのフレーム領域のデータを読み出そうとするとｉ５番目フレームに書き込まれていない領域を読み出してしまうことになるため、読み出し側の映像データが異なるフレームの映像データを出力してしまうことになる。そのため、追越制御部１０５は、図４の点線部分付近の読み出しのフレームメモリ領域をＦ１に変更させる制御を行うことで、読み出し側の映像データが異なるフレームの映像データを出力してしまう問題は回避できる。ただし、この場合、読み出し側がｉ４番目フレームを連続して読み出すことになる。本実施の形態における追越制御部１０５は、図４のように同じフレームを連続して読み出す際に、追い越しが発生していることを示す追越発生フラグを生成して出力する。
【００２３】
画像解析部１０６は、入力された映像データからフレーム前後での映像の動きの有無を部分的に検出するものである。図５は、本実施の形態に係る画像解析部１０６のブロック図の一例を示す。画像解析部１０６はエッジ抽出ブロック１０６１、エッジ分布取得ブロック１０６２、エッジ値２値化ブロック１０６３、ローカルエッジ数カウントブロック１０６４、ローカルメモリ制御ブロック１０６５、ローカルメモリ１０６６、エッジ数比較ブロック１０６７からなる。
【００２４】
エッジ抽出ブロック１０６１は、入力データの輝度信号が急激に変化する輪郭情報を抽出する。具体的には、ソーベルフィルタやプリューウィットフィルタ等の一般的なフィルタ処理を行い、勾配の大きさ（エッジ強度）を求める。エッジ強度を８ビットで０〜２５５の正の整数値を取り、０が最も弱く２５５が最も強いものとして表現するものとする。
【００２５】
エッジ分布取得ブロック１０６２は、１フレームの画像を所定の画素数毎に領域分割し、各領域単位のエッジの分布数を取得する。このような１フレームの画像を分割した領域を部分領域ともいう。エッジ値２値化ブロック１０６３は、エッジ抽出ブロック１０６１で出力する各画素でのエッジ強度値が所定の範囲内にあるか否かで２値化する。ここで所定の範囲について下限閾値をＴＨＬ、上限閾値をＴＨＨとした場合で説明する。ある画素のエッジ強度値がＴＨＬ以上かつＴＨＨ以下であるとき、その画素のエッジ強度２値化値を"１"とし、ＴＨＬ未満またはＴＨＨより大きい場合は"０"とする。例えば、図６（１ａ）のような現フレームがあった場合、所定の範囲についてＴＨＬ＝７０、ＴＨＨ＝２５５といった値に設定したとき、エッジ値２値化ブロック１０６３で２値化された結果では図６（１ｂ）のような車の輪郭や家のようなエッジ強度の高い輪郭が残り、家の屋根の細かい段差や背景の山の形などエッジ強度の低い画素についてはエッジとして残らないような結果が得られる。ここで図６（１ａ）は、黒色をエッジ強度が最大（２５５）とし、白色をエッジ強度が最小（０）として表している。同様に図６（１ｂ）は黒色をエッジ強度２値化値が"１"とし、白色をエッジ強度２値化値が"０"として表している。
【００２６】
従って、フレームについてのエッジ強度を用いる場合に、エッジ値２値化ブロック１０６３を適用することで、１画素に対して８ビット必要であったエッジ強度が１ビットで表現することが可能となるため、情報の保持する容量が小さくなり、後段の演算回路の規模も小さくすることが可能になる。
【００２７】
ローカルエッジ数カウントブロック１０６４は、図６（１ｃ）の点線で示すように、画像を所定画素数毎に領域分割し、領域毎にエッジ強度が"１"である画素数をカウントする。その結果、領域毎に１つの値が算出され、図６（１ｄ）に示すようなエッジ分布情報がエッジ分布取得ブロック１０６２の出力として得られる。
【００２８】
このようにしてエッジ分布取得ブロック１０６２で得られたエッジ分布情報は、映像データが入力される毎にローカルメモリ制御ブロック１０６５によってローカルメモリ１０６６に書き込まれる。ローカルメモリ１０６６では複数フレーム分のエッジ分布情報を記憶しておく。ローカルメモリ１０６６は、フレーム単位で独立したメモリで構成されてもよいが、図５のようにフレーム単位でＢ１、Ｂ２、Ｂ３とメモリ領域を分けて保持してもよい。
【００２９】
エッジ数比較ブロック１０６７は、フレームレート変換による追越発生ステータス信号と、追い越しが発生する際にフレームメモリ１０１から繰り返して読み出されるフレームデータのフレーム番号（出力フレーム番号）情報とを受け取り、当該フレームとその１つ前のフレームとの２フレーム分のエッジ分布情報をローカルメモリ１０６６から読み出し、領域毎にエッジ分布情報の差分（現フレームの値から前フレームの値を引いたもの）を算出する。
【００３０】
図６は、図６（１ａ）および図６（２ａ）の２フレームについて、それぞれエッジ分布情報を求めた結果である図６（１ｄ）および図６（２ｄ）を示している。この場合、エッジ数比較ブロック１０６７によって領域毎にエッジ分布情報の差分を算出した結果を図７（ａ）に示す。このように図６（１ａ）および図６（２ａ）の２フレーム間で動きのない画像の領域は差分値が０であるが、動きのある画像の領域では差分値に値が生じる。
【００３１】
エッジ分布情報の差分値について絶対値を取り、所定の閾値ＴＨＤと比較する。エッジ分布情報の差分の絶対値がＴＨＤより大きいが、エッジ分布情報の差分値が負になる場合は、物体が移動して対象領域から外れたものと想定し、対象領域は動きなしと判定する。逆に、エッジ分布情報の差分の絶対値がＴＨＤより大きく、エッジ分布情報の差分値が正になる場合は、物体が移動して対象領域に入ってきたものと想定し、対象領域は動きありと判定する。
【００３２】
このようにして領域毎に動きの有無を判定して動きありに"１"を、動きなしに"０"を割り当て、フレームメモリ制御部１０２から出力されるフレームデータの画素位置に対応する値を、動き判定フラグとして画像解析部１０６から出力する。
【００３３】
従って、入力される映像データの仕様がＹＵＶ各８ビットの４：２：２サンプリングであるとすれば、フレームメモリ１０１は入力１フレーム当たり画素数×１６ビットの記憶容量が必要となるのに対し、本実施の形態に係る画像解析部１０６を用いることで、ローカルメモリ１０６６は１フレーム当たり領域数×８ビットの容量で済む。つまり、本実施の形態のエッジ強度のビット解像度や所定の領域サイズの例であれば、メモリのアドレス当たりのデータサイズが２分の１になり、１領域が２５６画素からなるので、フレーム当たりの記憶容量はフレームメモリ１０１の５１２分の１で済む。ここで、ＹＵＶとは、輝度信号Ｙ、輝度信号と青色成分との差Ｕ、および輝度信号と赤色成分との差Ｖの３つの情報で色を表す形式を表す。
【００３４】
次に画像処理部１０７での処理内容を説明する。図８は本実施の形態の画像処理部１０７を示すものである。画像処理部１０７は平滑化ブロック１０７１、信号切換ブロック１０７２からなる。画像処理部１０７には、フレームメモリ１０１から読み出された映像データと、追越制御部１０５からの追越発生フラグ、画像解析部１０６からの動き判定フラグが入力される。
【００３５】
追越発生フラグが追い越し発生状態を示していない時は、信号切換ブロック１０７２は常に入力されるフレームメモリ１０１から読み出された映像データをそのまま出力する。
【００３６】
追越発生フラグが追い越し発生状態を示している時は、信号切換ブロック１０７２は、動き判定フラグの状態によって出力する信号を切り換える。出力するブロックについて動き判定フラグが"０"（動きなし）の場合は入力されるフレームメモリ１０１から読み出された映像データをそのまま出力するように、動き判定フラグが"１"（動きあり）の場合は平滑化ブロック１０７１で処理を施された映像データを出力するように切り替えられる。つまりフレーム追い越し発生状態を示している時のフレームについて、フレームメモリ１０１から読み出された映像データそのものと、平滑化ブロック１０７１で処理を施された映像データとを動き判定フラグに応じて選択して合成したものを出力するフレームの映像データとする。
【００３７】
ここで平滑化ブロック１０７１では、入力された映像データを平滑化し、映像をぼかす。具体的には、周囲画素との単純平均を取る、あるいは重み付けした加重平均を取るなどの処理を行う。
【００３８】
このようにして、画像処理部１０７からは、フレーム単位で重複して表示される映像に対して画像解析部１０６で動きありと判定された領域のみ平滑化した映像が、出力垂直同期周波数に同期して出力される。
【００３９】
上述した動作により、フレーム単位で重複して出力映像を出力する際、繰返し出力するフレームの映像データを平滑化することで、動きのある映像で動きが止まって見える視感上の不自然さを緩和することができる。
【００４０】
また、動きの有無を検出して動きのある部分にのみ平滑化処理を施す構成としたので、動きのない部分に対してぼやけが発生しない。さらに、検出するのは動きの有無だけに限定しているので回路規模を削減できる。
【００４１】
また、追越発生フラグが追い越し発生状態を示している時にのみ、平滑化ブロック１０７１の出力を用いることになるので、追越発生フラグが追い越し発生状態を示している時にのみ、平滑化ブロック１０７１を作動する制御を行うこととしても所期の目的を達成し得ることはいうまでもない。この場合、結果として用いることのない部分についての平滑化処理にかかる処理負荷や消費電力負荷をさらに軽減するという効果も奏する。
【００４２】
実施の形態２．
実施の形態１に係る映像処理装置は、入力される映像信号がプログレッシブ走査方式の場合の映像処理装置を構成していたが、実施の形態２では図９のように、さらにインターレース走査方式からプログレッシブ走査方式に変換するＩＰ変換部２０８を画像処理部１０７の出力に追加する構成の映像処理装置２００を示す。ここで、実施の形態１と同じ符号のものに関しては構成及び作用が実施の形態１と同様であるため、説明を省略する。
【００４３】
映像処理装置２００における動作を説明する。本実施の形態に係る映像処理装置２００では、入力される映像信号の仕様がインターレース走査方式で垂直同期信号が５０Ｈｚの信号をＹＵＶフォーマット（輝度信号と２つの色差信号）で入力し、プログレッシブ方式で垂直同期信号が６０Ｈｚの信号に変換して、液晶ディスプレイなどのような表示装置（図示しない）に表示するものとして説明する。ここで、本実施の形態では入力される映像信号がインターレース走査方式である場合は、入力される映像信号にフィールドがトップフィールドかボトムフィールドかを表すフィールドインデックス信号も含むものとする。
【００４４】
フレームメモリ制御部２０２は、実施の形態１に係るフレームメモリ制御部１０２と違って、入力される映像データがインターレース走査方式であるため、フレームメモリ１０１への書き込みおよびフレームメモリ１０１からの読み出しはフィールド単位で行なう。また、入力されるフィールドインデックス信号と紐付けてフレームメモリ１０１へ入力された該当フィールドの映像データを書き込む。
【００４５】
画像解析部２０６は、実施の形態１に係る画像解析部１０６と構成は同じであるが、入力される映像信号はインターレース走査方式であるため、時間的に前後に連続する２つのフィールドは、フィールド内での垂直座標が同じ画素位置のデータでも、２つのフィールドで構成される画面内では異なる垂直座標の画素データを表し、映像の内容が静止画であっても全く同じデータとはならない。画像解析部２０６に構成されたエッジ数比較ブロック２０６７（図示せず）は、連続する２つのフレームデータに対して領域毎にエッジ数の比較を行うのではなく、現フィールドと２つ前のフィールドとを用い、トップフィールドまたはボトムフィールド同士で領域毎にエッジ数の比較を行う。図１０にエッジ数比較ブロック２０６７でのインターレース走査方式の映像データとエッジ数の比較対象のフィールドを示す。
【００４６】
ＩＰ変換部２０８は、フレームメモリ１０１から読み出された映像データを画像処理部１０７で画像処理したものに対して垂直方向に画素数を２倍にする補間を実施する。垂直補間では、対応するフィールドインデックス信号に応じて、フィールドによって補間する画素の垂直位置を変える。
【００４７】
上述の通り、本実施の形態においては、インターレース方式の映像入力に対してはトップフィールドまたはボトムフィールド同士でエッジ数を比較するような構成としたので、フィールドインデックスが異なることによる動き有無の誤判定を抑制することができる。
実施の形態３．
【００４８】
図１１は、本発明の実施の形態３に係る映像処理装置が備える画像解析部３０６を示す図である。画像解析部３０６は、上記の各実施の形態に係る映像処理装置が備える画像解析部に含まれるエッジ分布取得ブロックと比較して、分布状態取得ブロック３０６８を追加している点が異なる。その他の上述と同じ符号のものに関しては構成及び作用が同様であるため、説明を省略する。
【００４９】
図１２を用いて、この画像解析部３０６における動作を説明する。ローカルエッジ数カウントブロック１０６４では、映像フレームを領域分割した領域毎にエッジカウント数を算出して、ローカルメモリ制御ブロック１０６５と分布状態取得ブロック３０６８へと出力する。
【００５０】
例えば図１２（１ａ）および（２ａ）のようなテロップの表示された映像が順に入力される場合、文字は自然画像と比較して輪郭がはっきりしているためエッジ２値化ブロック１０６３で図１２（１ｂ）および（２ｂ）のようにエッジ強度"１"と判定されやすい。しかしながらテロップで表示される内容は数秒程度で変わるため、表示内容によってはエッジ数カウントブロック１０６４の出力値が変動することになり、エッジ数比較ブロック１０６７で設定する閾値ＴＨＤの値によってはテロップの変化タイミングで動きありと判定される可能性がある。
【００５１】
さらに、テロップの変化タイミングとフレームレート変換での追い越しによるフレームデータの重複出力が同時に発生すると、テロップ部分に対して平滑化処理を行うことになり、文字をぼかしてしまうという弊害が生じうる。
【００５２】
そこで、テロップはエッジ強度"１"と判定されやすい文字が密集しているため、図１２（１ｃ）や（２ｃ）のようにローカルエッジ数カウントブロック１０６４の出力でエッジ数カウント値が大きな領域が密集することから、分布状態取得ブロック３０６８で各領域でのエッジ数カウント値が所定の閾値よりも大きいか否かを判定し、所定の閾値よりも大きい領域については"１"を、そうでない領域については"０"を割り当て、"１"が割り当てられた領域の密集度や位置等の情報からテロップ表示領域を推定する。
【００５３】
テロップ表示領域の推定結果はマスク情報としてエッジ数比較ブロック３０６７へ入力し、テロップ表示領域に対しては必ず動きなしと判定させる。テロップ表示領域以外に関しては、エッジ数比較ブロック３０６７は実施の形態１又は実施の形態２のエッジ数比較ブロックと同じ動作を行なう。
【００５４】
上述の通り、本実施の形態のエッジ分布取得ブロック３０６２においては、テロップ表示領域に対する動きの有無の誤判定を抑制できるので、フレームレート変換でのテロップ表示部分に対する平滑化処理を行わないことで画質劣化を回避できる。
【００５５】
本実施の形態ではエッジ分布状態によりテロップ表示領域を検出しているが、他の映像内のテロップ表示領域を検出する方法を使用しても構わない。
実施の形態４．
【００５６】
上記の各実施の形態では画像解析部において、各画素でのエッジ強度値が所定の範囲内にあるか否かで２値化するとしていたが、実施の形態４に係る映像処理装置の画像解析部は、この所定の範囲を設定する下限閾値ＴＨＬおよび上限閾値ＴＨＨを入力される映像データに応じて変更させるブロックをさらに設けるものである。
【００５７】
図１３は、本実施の形態での映像処理装置が備える画像解析部４０６の構成を示すブロック図である。画像解析部４０６は、上記の各実施の形態に係る映像処理装置が備える画像解析部が有するエッジ分布取得ブロックに対して、さらに２値化閾値決定ブロック４０６９を追加している点が異なる。その他の上述と同じ符号のものに関しては構成及び作用が同様であるため、説明を省略する。
【００５８】
エッジ分布取得ブロック４０６２は、領域毎のエッジ数カウント値を毎フレーム算出し、その値をローカルメモリ１０６６に記憶しておきエッジ数比較ブロック１０６７での動きの有無判定に用いる。２値化閾値決定ブロック２０４９は、エッジ数比較ブロック１０６７での動きの有無判定とは別に、エッジ数カウント値のフレーム全体での合計値を所定のフレーム分保持しておき、その状態からエッジ２値化ブロック１０６３で使用する２値化閾値ＴＨＨおよびＴＨＬを変更する。
【００５９】
例えば、図１４（ａ）に示すようにエッジ数カウント値の合計値が変移する時に、エッジ数カウント値の合計値が上限閾値ＥＴＨおよび下限閾値ＥＴＬの間に入っているかどうかを監視する。上限閾値ＥＴＨを数フレームにわたって超える状態が続いた場合にはエッジ数が多くなり画像解析部４０６での動きの有無判定が正確にできなくなる可能性があるため、図１４（ｂ）に示すようにエッジ２値化閾値ＴＨＨを小さく、かつＴＨＬを大きくすることでエッジ数カウント値が極端に大きな値になることを抑制する。
【００６０】
２値化閾値ＴＨＨおよびＴＨＬを変更した前後でのフレームでは動きの有無の判定が正確にできない恐れがあるため、２値化閾値の変更タイミングを、フレームレート変換での追い越しによるフレームデータの重複出力の直後とする、あるいは変化時は、動きの有無判定結果をマスクする等の処理を行う。
【００６１】
上述の通り、本実施の形態のエッジ分布取得ブロック４０６２においては、エッジ数カウント値の合計値が適正な値となるよう２値化閾値を自動算出して追従するような構成としたので、２値化閾値の外部からの手動設定を省略することができる。
【００６２】
図１４では、ＴＨＨを小さくＴＨＬを大きくする２値化閾値の変更例を挙げたが、いずれか一方の閾値だけを変更したり、ＥＴＨおよびＥＴＬの超過具合によって閾値の変更量を変えたりしても構わない。
実施の形態５．
【００６３】
上記各実施の形態では画像解析部のローカルエッジ数カウントブロックにおいて、所定画素数毎に領域分割し、領域毎にエッジ強度が"１"である画素数をカウントしていたが、実施の形態５に係る映像処理装置の画像解析部は、画素数をカウントする領域を制御するブロックをさらに設けるものである。
【００６４】
図１５は、本実施の形態での映像処理装置の画像解析部５０６の構成を示すブロック図である。画像解析部５０６は、上記の各実施の形態に係る映像処理装置が備える画像解析部が有するエッジ分布取得ブロックに対して、さらに無効映像領域分布状態取得ブロック５１６０、領域形状決定ブロック５１６１を追加している点が異なる。その他の上述と同じ符号のものに関しては構成及び作用が同様であるため、説明を省略する。
【００６５】
図１６は、入力映像と出力側モニタの仕様とで異なるアスペクト比があった場合のエッジ分布取得ブロック５０６２での動作を説明する図である。無効映像領域分布状態取得ブロック５１６０は、一定期間動きのない領域群を検出する。例えば、図１６のようなアスペクト比が１６：９の映像を４：３の画面に出力するためには、有効映像の上下に図１６（ａ）のような黒い無効映像（黒帯）を付加する。この黒帯部分に対して動きの有無を検出する必要がないため、画面内の検出範囲を狭めることで検出に係る処理付加を下げることができる。
【００６６】
図１６（ｂ）のように領域分割した場合、黒帯領域については動きの有無はほとんど検出されず、黒帯領域内では各画素の輝度値も低いことから、所定の期間を通して映像の上下部分に動きが検出されずかつ該当領域の輝度値の合計値が小さい場合には、映像に黒帯部分があると判定し、その領域群を動きの有無判定対象から除外する。
【００６７】
さらに領域形状決定ブロック５１６１において、画面内の黒帯部分以外の部分について図１６（ｃ）のように１つの領域を構成する画素数を少なくなるような領域分割条件を決定して、ローカルエッジ数カウントブロック１０６４に出力する。以降の処理は、実施の形態１と同様である。
【００６８】
上述の通り、本実施の形態のエッジ分布取得ブロック５０６２においては、黒帯のある映像について領域分割の単位面積（画素数）を小さくすることで同じ回路規模で動きの有無の検出を細かく行え、検出精度を向上することができる。または、領域分割の単位面積は変えずに動き検出の有無に必要な処理の量を減らすことで、省電力化が図れる。
【００６９】
なお、入力映像がインターレース方式である場合に図７（１ｃ）での例のように水平垂直を同じ画素数単位で領域分割すると、プログレッシブ方式と比較して垂直解像度は２分の１であることから、垂直方向については大きな動きでないと動きの有無を検出できないことになる。そこで、入力データがインターレース方式の場合は、領域決定ブロック５１６１で垂直が水平の２分の１の画素数になるよう横長の領域分割条件を選択させることで、水平垂直いずれの方向にも同等の動きの有無検出の精度を得られる。
【符号の説明】
【００７０】
１００ 映像処理装置
１０１ フレームメモリ
１０２ フレームメモリ制御部
１０５ 追越制御部
１０６ 画像解析部
１０７ 画像処理部
１０６１ エッジ抽出ブロック
１０６２ エッジ分布取得ブロック
１０６３ エッジ値２値化ブロック
１０６４ ローカルエッジ数カウントブロック
１０６５ ローカルメモリ制御ブロック
１０６６ ローカルメモリ
１０６７ エッジ数比較ブロック
１０７１ 平滑化ブロック
１０７２ 信号切換ブロック
【技術分野】
【０００１】
この発明は、インターレース方式またはプログレッシブ方式で入力された映像信号を異なる出力クロックまたは異なるフレームレートの映像信号に変換する映像処理装置に関する。
【背景技術】
【０００２】
近年テレビやカーナビゲーションシステムの表示デバイスとして、液晶ディスプレイなどが普及しており、ＣＲＴディスプレイのようにインターレース走査方式ではなく、プログレッシブ走査方式を用いてより高精細に表示することが一般的である。一方、入力される映像としては従来の標準放送（ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭなど）やＨＤＴＶ放送、あるいは記録された映像コンテンツなどがあり、表示走査方式や垂直同期周波数は様々である。さらに１フレームを構成する画面解像度についても様々である。したがって、液晶ディスプレイなどの表示装置に高精細に表示するための映像処理装置では、様々な表示走査方式、垂直同期周波数、及び画面解像度で入力された映像信号を、接続する表示装置の仕様に基づいた所定の垂直同期周波数のプログレッシブ走査方式の映像信号に変換する必要が生じる。
【０００３】
例えば、画面解像度が８００×４８０画素、垂直同期周波数が６０Ｈｚのプログレッシブ走査方式という仕様の液晶ディスプレイに接続する場合、入力された映像が１フレームあたり６２５本の走査線で垂直同期周波数が５０Ｈｚのインターレース走査方式であるＰＡＬ方式であれば、インターレース信号をプログレッシブ信号に変換し、画像サイズを拡大縮小して画面解像度を変換し、垂直同期周波数を６０Ｈｚに変更する必要がある。ここで、インターレース信号をプログレッシブ信号に変換することをＩＰ変換といい、画面解像度を変換することを解像度変換といい、垂直同期周波数を変更することをフレームレート変換という。
【０００４】
このような状況でのフレームレート変換の方法としては、映像のフレームデータを記憶するためのフレームメモリを用いて、入力映像のフレームデータについてフレームメモリへの書き込みとフレームメモリからの読み出しとの間で、追い越し発生の有無を予測して、追い越し発生を判定した場合にはフレームメモリから同じフレームデータを連続して読み出して表示装置へ出力する方法がある。
【０００５】
この方法によれば、同じフレームの映像を連続して表示する場合があるので、入力された映像が動きのある映像であれば、そのときに動きが止まって見えるようになり表示された映像に不自然さが生じるという問題がある。
【０００６】
この改善策として、追い越し発生時に同じフレームデータをそのまま出力するのではなく、フレームデータをフレーム毎に領域分割を行い、動きを各領域の動きの方向を求めたものとあらかじめ設定する複数の映像の動きの条件式との比較を行なうことで映像の動きの種類を判定し、動きがあると判定された場合には前後２フレームを用いて同じ画素位置の画素データを合成したフレームデータを出力するフレームデータ補間方法がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１１５９１０号公報（第５−１２頁、第１０図）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の特許文献１のようなフレームデータ補間方法を用いた映像処理装置では、あらかじめ設定している条件式に該当する動きに対しての出力映像での不自然さは軽減されるが、様々な映像の動きを動きとして判定するためには、それぞれの動きに対しての条件式を用意して設定する必要があり、条件式が増えれば判定に必要となる処理量または回路規模が増大するという問題があった。
【０００９】
この発明は、上述のような課題を解消するためになされたもので、同じフレームデータが連続する場合に、処理量または回路規模を増大することなく、フレームデータ前後の動きのある部分について不自然さを軽減するよう映像に画像処理をして出力する映像処理装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る映像処理装置においては、第１のフレームレートの入力映像信号から第２のフレームレートの出力映像信号を生成する映像処理装置であって、所定の複数フレーム分の映像データを記憶する容量を有するフレームメモリと、前記入力映像信号に含まれる映像データを第１のフレームレートで前記フレームメモリへ書き込みをし、書き込まれた映像データを第２のフレームレートで前記フレームメモリから読み出しをするフレームメモリ制御部と、前記第１のフレームレート及び前記第２のフレームレートに応じて、前記フレームメモリ制御部が前記フレームメモリにアクセスするメモリ領域を制御し、前記フレームメモリから読み出された映像データのフレームが、前回読み出した映像データのフレームと同じである場合に追い越し発生を示す追越発生フラグを出力する追越制御部と、前記映像データに対して、フレーム単位の全体画像領域を分割した部分領域ごとに映像の動きの有無を検出する画像解析部と、前記フレームメモリから読み出された映像データを入力として映像をぼかす平滑化処理を行なう平滑化処理手段を有し、前記追越発生フラグが追い越し発生を示していない場合は、前記フレームメモリから読み出された映像データを前記出力映像信号として出力し、前記追越発生フラグが追い越し発生を示している場合は、該当するフレームの映像データの全体画像領域のうち前記画像解析部で映像の動きがあると判定された部分領域は前記平滑化処理手段によって平滑化された該当する部分領域の出力を選択し、前記画像解析部で映像の動きがあると判定されなかった部分領域は前記フレームメモリから読み出された該当するフレームの映像データを選択して合成した映像データを前記出力映像信号として出力する画像処理部とを備えるものである。
【発明の効果】
【００１１】
この発明は、映像データから映像信号の動きの有無を部分的に検出する画像解析部を備え、連続して同じフレームを読み出している場合は、画像解析部で映像信号に動きが有ると判定された部分について画像処理部によって平滑化処理を行なった映像データを用いて出力することにより、フレームの部分ごとの映像の動きの有無のみを検出するため、回路規模を増大することなく判定することが可能となる。また、動きのない部分についてぼやけのない映像を提供し、動きのある部分について部分的な平滑化処理を行なうことでフレームデータ前後の動きのある部分について不自然さを軽減するように画像処理をした映像を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１を示すブロック図である。
【図２】この発明の実施の形態１でのフレームレート変換動作の説明図である（入力と出力の垂直同期周波数が同じ場合）。
【図３】この発明の実施の形態１でのフレームレート変換動作の説明図である（入力の方が出力よりも垂直同期周波数が高い場合）。
【図４】この発明の実施の形態１でのフレームレート変換動作の説明図である（出力の方が入力よりも垂直同期周波数が高い場合）。
【図５】この発明の実施の形態１の画像解析部１０６のブロック図である。
【図６】この発明の実施の形態１の画像解析部１０６での動作の説明図である。
【図７】この発明の実施の形態１のエッジ数比較ブロック１０６７での動作の説明図である。
【図８】この発明の実施の形態１の画像処理部１０７のブロック図である。
【図９】この発明の実施の形態２を示すブロック図である。
【図１０】この発明の実施の形態２におけるエッジ数比較ブロック２０６７でのインターレース走査方式の映像データとエッジ数の比較対象のフィールドを示す図である。
【図１１】この発明の実施の形態３の画像解析部３０６のブロック図である。
【図１２】この発明の実施の形態３での画像解析部３０６での動作の説明図である。
【図１３】この発明の実施の形態４の画像解析部４０６のブロック図である。
【図１４】この発明の実施の形態４でのエッジ分布取得ブロック４０６２での動作の説明図である。
【図１５】この発明の実施の形態５の画像解析部５０６のブロック図である。
【図１６】この発明の実施の形態５でのエッジ分布取得ブロック５０６２での動作の説明図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、この発明を実施するための実施の形態１における映像処理装置の構成を示すブロック図である。図１において、映像処理装置１００は、入力される映像信号の映像データを記録保持するフレームメモリ１０１、フレームメモリ１０１への書き込み及び読み出しを制御するフレームメモリ制御部１０２、入力映像信号のフレームレートと出力する映像信号のフレームレートに応じてフレームメモリ制御部１０２が書き込みまたは読み出しするフレームメモリ１０１のアクセス領域を制御する追越制御部１０５、入力された映像データからフレーム前後での映像の動きの有無を部分的に検出する画像解析部１０６、フレームメモリ制御部１０２の読み出された映像データと追越制御部１０５の情報と画像解析部１０６の出力に応じてフレームメモリ制御部１０２の読み出された映像データの画像処理を行なう画像処理部１０７からなる。ここで、映像信号は、垂直・水平同期信号、垂直データイネーブル信号、水平データイネーブル信号、映像データ信号などを含むものとする。なお、画像解析部１０６の内部構成は図５に、画像処理部１０７の内部構成は図８にて示す。
【００１４】
次に各構成要素について説明する。フレームメモリ１０１は、映像データを記録保持するものである。フレームメモリ１０１の容量は、入力される映像信号と出力する映像信号とのフレームレートやデータ方式が異なる場合を考慮して、記録の容量は入力される映像信号の仕様に基づいて必要な１フレームの最大容量を複数確保できる容量を持つものである。図１ではＦ１，Ｆ２，およびＦ３と３フレーム分を記録する容量を確保するものとする。図１では１つのメモリをＦ１〜Ｆ３の３つの領域に分けて用意するものとするが、複数のメモリでフレームメモリ１０１を構成することで書き込みと読み出しのアクセスが重複する状況を抑えることが可能となりアクセス管理が容易になる。
【００１５】
フレームメモリ制御部１０２は、フレームメモリ１０１への映像データの書き込みを制御するフレームメモリ書き込み制御部１０３と、フレームメモリ１０１からの映像データの読み出しを制御するフレームメモリ読み出し制御部１０４とからなる。フレームメモリ書き込み制御部１０３は、入力された映像データの入力垂直同期信号に基づいて書き込みの開始および書き込みアドレス決定を行なう。フレームメモリ読み出し制御部１０４は、出力するフレームレートに応じた出力垂直同期信号に基づいて読み出しの開始および読み出しアドレス決定を行なう。ここで、出力垂直同期信号のような表示出力映像の同期信号は、出力先のモニターなどの仕様に応じて決められるものであって、映像処理装置１００の外部から入力されるものであっても良いし、映像処理装置１００に出力先のモニターなどの仕様情報を入力して、映像処理装置１００内で生成するとしても良い。本実施の形態では、追越制御部１０５が出力先モニターなどの仕様情報に基づいて生成するものとする。また、書き込みのアドレス決定又は読み出しのアドレス決定については、後段の追越制御部１０５から供給される書き込みフレーム番号ＦＷおよび読み出しフレーム番号ＦＲに対応付けたメモリ領域から決まるものとしても良い。
【００１６】
追越制御部１０５は、入力垂直同期信号および出力垂直同期信号から、フレームメモリ１０１での書き込みおよび読み出し領域を推測・算出して書き込みフレーム番号ＦＷおよび読み出しフレーム番号ＦＲとしてフレームメモリ制御部１０２に出力するものである。また、追越制御部１０５は、フレームメモリ制御部１０２が同じフレームを連続して読み出すことになる場合に、同じフレームを連続して読み出していること、つまり、追い越しが発生していることを示す追越発生フラグを生成して出力する。たとえば、追越発生フラグが”０”の場合は追越発生フラグが追い越し発生状態を示していない時であって、追越発生フラグが”１”の場合は追越発生フラグが追い越し発生状態を示している時とする。
【００１７】
上述した追い越し発生時の動作は一例であり、この方式に限るものではない。
【００１８】
ここで入力側と出力側のフレームレートの相違と入力映像データの損失あるいは出力映像データの重複との関係について図２〜図４を用いて説明する。図２〜図４は、本実施の形態でのフレームレート変換動作の説明図である。ここで入力映像データは、ｉ１、ｉ２、ｉ３、と入力垂直同期信号のパルス（図２〜図４では負極性で表されている）ごとに順次入力されていることを表し、フレームメモリ書き込みアドレスに割り当てられたＦ１〜Ｆ３は、フレームメモリ書き込み制御部１０３が書き込みを行なうアドレスがどのフレーム領域であるかを示している。同様に、フレームメモリ読み出しアドレスに割り当てられたＦ１〜Ｆ３は、フレームメモリ読み出し制御部１０４が読み出しを行なうアドレスがどのフレーム領域であるかを示している。
【００１９】
図２は、入力される映像信号と出力する映像信号との垂直同期周波数が同じ場合である。この場合、出力垂直同期信号のパルスが入力垂直同期信号のパルスを追い越すことはないため、入力映像データｉ１をフレームメモリ領域Ｆ１に書き込みを行なっている途中であっても、フレームメモリ領域Ｆ１に書き込み始めた後に発生した出力垂直同期信号のパルスに基づいてフレームメモリ領域Ｆ１を読み出し始めたときに読み出しが書き込みを追い越すことはない。また読み出しのフレーム領域も、書き込みのフレーム領域の順番を追って重複せずに読み出すことで書き込みが読み出しを追い越すこともない。従って、読み出し側の映像データが異なるフレームの映像データを出力してしまうことはない。また、読み出し側の映像データのフレームが連続して同じフレームを読み出すことなく、入力側の映像データのフレームが欠落することなく出力することができる。
【００２０】
ここで、図２については、入力映像データを供給する装置のクロックと映像処理装置１００側のクロックが同期している状況で説明をしているが、クロックジッタによっては出力垂直同期信号のパルスが入力垂直同期信号のパルスを追い越す場合もその逆もありうる。これは複数のフレームを記録できるだけのフレームメモリ領域を持ち、クロックジッタによるパルスの時間変動を許容できるだけの期間をずらして読み出すことで解消できる。
【００２１】
図３は、入力される映像信号が出力する映像信号の垂直同期周波数よりも高い場合である。この場合、フレームメモリ１０１からの読み出しが完了する前に、入力映像データの書き込みが追い越してしまうことがある。例えば図３の点線部分付近では同じフレームメモリ領域を読み出し、書き込みをしてしまうと、読み出し側でｉ１番目フレームの映像データを読み出している途中にそのフレーム領域のデータがｉ４番目フレームの映像データに書き換わることになるため、読み出し側の映像データが異なるフレームの映像データを出力してしまうことになる。そのため、追越制御部１０５は、図３の点線部分付近の書き込みのフレームメモリ領域をＦ２に変更させる制御を行うことで、読み出し側の映像データが異なるフレームの映像データを出力してしまう問題は回避できる。ただし、この場合、読み出し側がｉ３番目フレームを読み出す前にＦ２フレーム領域を上書きすることになるため、ｉ３番目フレームが欠落することになる。
【００２２】
図４は、図３とは逆に入力される映像信号が出力する映像信号の垂直同期周波数よりも低い場合である。この場合、フレームメモリ１０１への書き込みが完了する前に、読み出しが追い越してしまうことがある。例えば図４の点線部分付近では同じフレームメモリ領域を読み出し、書き込みをしてしまうと、書き込み側でｉ５番目フレームの映像データを書き込んでいる途中にそのフレーム領域のデータを読み出そうとするとｉ５番目フレームに書き込まれていない領域を読み出してしまうことになるため、読み出し側の映像データが異なるフレームの映像データを出力してしまうことになる。そのため、追越制御部１０５は、図４の点線部分付近の読み出しのフレームメモリ領域をＦ１に変更させる制御を行うことで、読み出し側の映像データが異なるフレームの映像データを出力してしまう問題は回避できる。ただし、この場合、読み出し側がｉ４番目フレームを連続して読み出すことになる。本実施の形態における追越制御部１０５は、図４のように同じフレームを連続して読み出す際に、追い越しが発生していることを示す追越発生フラグを生成して出力する。
【００２３】
画像解析部１０６は、入力された映像データからフレーム前後での映像の動きの有無を部分的に検出するものである。図５は、本実施の形態に係る画像解析部１０６のブロック図の一例を示す。画像解析部１０６はエッジ抽出ブロック１０６１、エッジ分布取得ブロック１０６２、エッジ値２値化ブロック１０６３、ローカルエッジ数カウントブロック１０６４、ローカルメモリ制御ブロック１０６５、ローカルメモリ１０６６、エッジ数比較ブロック１０６７からなる。
【００２４】
エッジ抽出ブロック１０６１は、入力データの輝度信号が急激に変化する輪郭情報を抽出する。具体的には、ソーベルフィルタやプリューウィットフィルタ等の一般的なフィルタ処理を行い、勾配の大きさ（エッジ強度）を求める。エッジ強度を８ビットで０〜２５５の正の整数値を取り、０が最も弱く２５５が最も強いものとして表現するものとする。
【００２５】
エッジ分布取得ブロック１０６２は、１フレームの画像を所定の画素数毎に領域分割し、各領域単位のエッジの分布数を取得する。このような１フレームの画像を分割した領域を部分領域ともいう。エッジ値２値化ブロック１０６３は、エッジ抽出ブロック１０６１で出力する各画素でのエッジ強度値が所定の範囲内にあるか否かで２値化する。ここで所定の範囲について下限閾値をＴＨＬ、上限閾値をＴＨＨとした場合で説明する。ある画素のエッジ強度値がＴＨＬ以上かつＴＨＨ以下であるとき、その画素のエッジ強度２値化値を"１"とし、ＴＨＬ未満またはＴＨＨより大きい場合は"０"とする。例えば、図６（１ａ）のような現フレームがあった場合、所定の範囲についてＴＨＬ＝７０、ＴＨＨ＝２５５といった値に設定したとき、エッジ値２値化ブロック１０６３で２値化された結果では図６（１ｂ）のような車の輪郭や家のようなエッジ強度の高い輪郭が残り、家の屋根の細かい段差や背景の山の形などエッジ強度の低い画素についてはエッジとして残らないような結果が得られる。ここで図６（１ａ）は、黒色をエッジ強度が最大（２５５）とし、白色をエッジ強度が最小（０）として表している。同様に図６（１ｂ）は黒色をエッジ強度２値化値が"１"とし、白色をエッジ強度２値化値が"０"として表している。
【００２６】
従って、フレームについてのエッジ強度を用いる場合に、エッジ値２値化ブロック１０６３を適用することで、１画素に対して８ビット必要であったエッジ強度が１ビットで表現することが可能となるため、情報の保持する容量が小さくなり、後段の演算回路の規模も小さくすることが可能になる。
【００２７】
ローカルエッジ数カウントブロック１０６４は、図６（１ｃ）の点線で示すように、画像を所定画素数毎に領域分割し、領域毎にエッジ強度が"１"である画素数をカウントする。その結果、領域毎に１つの値が算出され、図６（１ｄ）に示すようなエッジ分布情報がエッジ分布取得ブロック１０６２の出力として得られる。
【００２８】
このようにしてエッジ分布取得ブロック１０６２で得られたエッジ分布情報は、映像データが入力される毎にローカルメモリ制御ブロック１０６５によってローカルメモリ１０６６に書き込まれる。ローカルメモリ１０６６では複数フレーム分のエッジ分布情報を記憶しておく。ローカルメモリ１０６６は、フレーム単位で独立したメモリで構成されてもよいが、図５のようにフレーム単位でＢ１、Ｂ２、Ｂ３とメモリ領域を分けて保持してもよい。
【００２９】
エッジ数比較ブロック１０６７は、フレームレート変換による追越発生ステータス信号と、追い越しが発生する際にフレームメモリ１０１から繰り返して読み出されるフレームデータのフレーム番号（出力フレーム番号）情報とを受け取り、当該フレームとその１つ前のフレームとの２フレーム分のエッジ分布情報をローカルメモリ１０６６から読み出し、領域毎にエッジ分布情報の差分（現フレームの値から前フレームの値を引いたもの）を算出する。
【００３０】
図６は、図６（１ａ）および図６（２ａ）の２フレームについて、それぞれエッジ分布情報を求めた結果である図６（１ｄ）および図６（２ｄ）を示している。この場合、エッジ数比較ブロック１０６７によって領域毎にエッジ分布情報の差分を算出した結果を図７（ａ）に示す。このように図６（１ａ）および図６（２ａ）の２フレーム間で動きのない画像の領域は差分値が０であるが、動きのある画像の領域では差分値に値が生じる。
【００３１】
エッジ分布情報の差分値について絶対値を取り、所定の閾値ＴＨＤと比較する。エッジ分布情報の差分の絶対値がＴＨＤより大きいが、エッジ分布情報の差分値が負になる場合は、物体が移動して対象領域から外れたものと想定し、対象領域は動きなしと判定する。逆に、エッジ分布情報の差分の絶対値がＴＨＤより大きく、エッジ分布情報の差分値が正になる場合は、物体が移動して対象領域に入ってきたものと想定し、対象領域は動きありと判定する。
【００３２】
このようにして領域毎に動きの有無を判定して動きありに"１"を、動きなしに"０"を割り当て、フレームメモリ制御部１０２から出力されるフレームデータの画素位置に対応する値を、動き判定フラグとして画像解析部１０６から出力する。
【００３３】
従って、入力される映像データの仕様がＹＵＶ各８ビットの４：２：２サンプリングであるとすれば、フレームメモリ１０１は入力１フレーム当たり画素数×１６ビットの記憶容量が必要となるのに対し、本実施の形態に係る画像解析部１０６を用いることで、ローカルメモリ１０６６は１フレーム当たり領域数×８ビットの容量で済む。つまり、本実施の形態のエッジ強度のビット解像度や所定の領域サイズの例であれば、メモリのアドレス当たりのデータサイズが２分の１になり、１領域が２５６画素からなるので、フレーム当たりの記憶容量はフレームメモリ１０１の５１２分の１で済む。ここで、ＹＵＶとは、輝度信号Ｙ、輝度信号と青色成分との差Ｕ、および輝度信号と赤色成分との差Ｖの３つの情報で色を表す形式を表す。
【００３４】
次に画像処理部１０７での処理内容を説明する。図８は本実施の形態の画像処理部１０７を示すものである。画像処理部１０７は平滑化ブロック１０７１、信号切換ブロック１０７２からなる。画像処理部１０７には、フレームメモリ１０１から読み出された映像データと、追越制御部１０５からの追越発生フラグ、画像解析部１０６からの動き判定フラグが入力される。
【００３５】
追越発生フラグが追い越し発生状態を示していない時は、信号切換ブロック１０７２は常に入力されるフレームメモリ１０１から読み出された映像データをそのまま出力する。
【００３６】
追越発生フラグが追い越し発生状態を示している時は、信号切換ブロック１０７２は、動き判定フラグの状態によって出力する信号を切り換える。出力するブロックについて動き判定フラグが"０"（動きなし）の場合は入力されるフレームメモリ１０１から読み出された映像データをそのまま出力するように、動き判定フラグが"１"（動きあり）の場合は平滑化ブロック１０７１で処理を施された映像データを出力するように切り替えられる。つまりフレーム追い越し発生状態を示している時のフレームについて、フレームメモリ１０１から読み出された映像データそのものと、平滑化ブロック１０７１で処理を施された映像データとを動き判定フラグに応じて選択して合成したものを出力するフレームの映像データとする。
【００３７】
ここで平滑化ブロック１０７１では、入力された映像データを平滑化し、映像をぼかす。具体的には、周囲画素との単純平均を取る、あるいは重み付けした加重平均を取るなどの処理を行う。
【００３８】
このようにして、画像処理部１０７からは、フレーム単位で重複して表示される映像に対して画像解析部１０６で動きありと判定された領域のみ平滑化した映像が、出力垂直同期周波数に同期して出力される。
【００３９】
上述した動作により、フレーム単位で重複して出力映像を出力する際、繰返し出力するフレームの映像データを平滑化することで、動きのある映像で動きが止まって見える視感上の不自然さを緩和することができる。
【００４０】
また、動きの有無を検出して動きのある部分にのみ平滑化処理を施す構成としたので、動きのない部分に対してぼやけが発生しない。さらに、検出するのは動きの有無だけに限定しているので回路規模を削減できる。
【００４１】
また、追越発生フラグが追い越し発生状態を示している時にのみ、平滑化ブロック１０７１の出力を用いることになるので、追越発生フラグが追い越し発生状態を示している時にのみ、平滑化ブロック１０７１を作動する制御を行うこととしても所期の目的を達成し得ることはいうまでもない。この場合、結果として用いることのない部分についての平滑化処理にかかる処理負荷や消費電力負荷をさらに軽減するという効果も奏する。
【００４２】
実施の形態２．
実施の形態１に係る映像処理装置は、入力される映像信号がプログレッシブ走査方式の場合の映像処理装置を構成していたが、実施の形態２では図９のように、さらにインターレース走査方式からプログレッシブ走査方式に変換するＩＰ変換部２０８を画像処理部１０７の出力に追加する構成の映像処理装置２００を示す。ここで、実施の形態１と同じ符号のものに関しては構成及び作用が実施の形態１と同様であるため、説明を省略する。
【００４３】
映像処理装置２００における動作を説明する。本実施の形態に係る映像処理装置２００では、入力される映像信号の仕様がインターレース走査方式で垂直同期信号が５０Ｈｚの信号をＹＵＶフォーマット（輝度信号と２つの色差信号）で入力し、プログレッシブ方式で垂直同期信号が６０Ｈｚの信号に変換して、液晶ディスプレイなどのような表示装置（図示しない）に表示するものとして説明する。ここで、本実施の形態では入力される映像信号がインターレース走査方式である場合は、入力される映像信号にフィールドがトップフィールドかボトムフィールドかを表すフィールドインデックス信号も含むものとする。
【００４４】
フレームメモリ制御部２０２は、実施の形態１に係るフレームメモリ制御部１０２と違って、入力される映像データがインターレース走査方式であるため、フレームメモリ１０１への書き込みおよびフレームメモリ１０１からの読み出しはフィールド単位で行なう。また、入力されるフィールドインデックス信号と紐付けてフレームメモリ１０１へ入力された該当フィールドの映像データを書き込む。
【００４５】
画像解析部２０６は、実施の形態１に係る画像解析部１０６と構成は同じであるが、入力される映像信号はインターレース走査方式であるため、時間的に前後に連続する２つのフィールドは、フィールド内での垂直座標が同じ画素位置のデータでも、２つのフィールドで構成される画面内では異なる垂直座標の画素データを表し、映像の内容が静止画であっても全く同じデータとはならない。画像解析部２０６に構成されたエッジ数比較ブロック２０６７（図示せず）は、連続する２つのフレームデータに対して領域毎にエッジ数の比較を行うのではなく、現フィールドと２つ前のフィールドとを用い、トップフィールドまたはボトムフィールド同士で領域毎にエッジ数の比較を行う。図１０にエッジ数比較ブロック２０６７でのインターレース走査方式の映像データとエッジ数の比較対象のフィールドを示す。
【００４６】
ＩＰ変換部２０８は、フレームメモリ１０１から読み出された映像データを画像処理部１０７で画像処理したものに対して垂直方向に画素数を２倍にする補間を実施する。垂直補間では、対応するフィールドインデックス信号に応じて、フィールドによって補間する画素の垂直位置を変える。
【００４７】
上述の通り、本実施の形態においては、インターレース方式の映像入力に対してはトップフィールドまたはボトムフィールド同士でエッジ数を比較するような構成としたので、フィールドインデックスが異なることによる動き有無の誤判定を抑制することができる。
実施の形態３．
【００４８】
図１１は、本発明の実施の形態３に係る映像処理装置が備える画像解析部３０６を示す図である。画像解析部３０６は、上記の各実施の形態に係る映像処理装置が備える画像解析部に含まれるエッジ分布取得ブロックと比較して、分布状態取得ブロック３０６８を追加している点が異なる。その他の上述と同じ符号のものに関しては構成及び作用が同様であるため、説明を省略する。
【００４９】
図１２を用いて、この画像解析部３０６における動作を説明する。ローカルエッジ数カウントブロック１０６４では、映像フレームを領域分割した領域毎にエッジカウント数を算出して、ローカルメモリ制御ブロック１０６５と分布状態取得ブロック３０６８へと出力する。
【００５０】
例えば図１２（１ａ）および（２ａ）のようなテロップの表示された映像が順に入力される場合、文字は自然画像と比較して輪郭がはっきりしているためエッジ２値化ブロック１０６３で図１２（１ｂ）および（２ｂ）のようにエッジ強度"１"と判定されやすい。しかしながらテロップで表示される内容は数秒程度で変わるため、表示内容によってはエッジ数カウントブロック１０６４の出力値が変動することになり、エッジ数比較ブロック１０６７で設定する閾値ＴＨＤの値によってはテロップの変化タイミングで動きありと判定される可能性がある。
【００５１】
さらに、テロップの変化タイミングとフレームレート変換での追い越しによるフレームデータの重複出力が同時に発生すると、テロップ部分に対して平滑化処理を行うことになり、文字をぼかしてしまうという弊害が生じうる。
【００５２】
そこで、テロップはエッジ強度"１"と判定されやすい文字が密集しているため、図１２（１ｃ）や（２ｃ）のようにローカルエッジ数カウントブロック１０６４の出力でエッジ数カウント値が大きな領域が密集することから、分布状態取得ブロック３０６８で各領域でのエッジ数カウント値が所定の閾値よりも大きいか否かを判定し、所定の閾値よりも大きい領域については"１"を、そうでない領域については"０"を割り当て、"１"が割り当てられた領域の密集度や位置等の情報からテロップ表示領域を推定する。
【００５３】
テロップ表示領域の推定結果はマスク情報としてエッジ数比較ブロック３０６７へ入力し、テロップ表示領域に対しては必ず動きなしと判定させる。テロップ表示領域以外に関しては、エッジ数比較ブロック３０６７は実施の形態１又は実施の形態２のエッジ数比較ブロックと同じ動作を行なう。
【００５４】
上述の通り、本実施の形態のエッジ分布取得ブロック３０６２においては、テロップ表示領域に対する動きの有無の誤判定を抑制できるので、フレームレート変換でのテロップ表示部分に対する平滑化処理を行わないことで画質劣化を回避できる。
【００５５】
本実施の形態ではエッジ分布状態によりテロップ表示領域を検出しているが、他の映像内のテロップ表示領域を検出する方法を使用しても構わない。
実施の形態４．
【００５６】
上記の各実施の形態では画像解析部において、各画素でのエッジ強度値が所定の範囲内にあるか否かで２値化するとしていたが、実施の形態４に係る映像処理装置の画像解析部は、この所定の範囲を設定する下限閾値ＴＨＬおよび上限閾値ＴＨＨを入力される映像データに応じて変更させるブロックをさらに設けるものである。
【００５７】
図１３は、本実施の形態での映像処理装置が備える画像解析部４０６の構成を示すブロック図である。画像解析部４０６は、上記の各実施の形態に係る映像処理装置が備える画像解析部が有するエッジ分布取得ブロックに対して、さらに２値化閾値決定ブロック４０６９を追加している点が異なる。その他の上述と同じ符号のものに関しては構成及び作用が同様であるため、説明を省略する。
【００５８】
エッジ分布取得ブロック４０６２は、領域毎のエッジ数カウント値を毎フレーム算出し、その値をローカルメモリ１０６６に記憶しておきエッジ数比較ブロック１０６７での動きの有無判定に用いる。２値化閾値決定ブロック２０４９は、エッジ数比較ブロック１０６７での動きの有無判定とは別に、エッジ数カウント値のフレーム全体での合計値を所定のフレーム分保持しておき、その状態からエッジ２値化ブロック１０６３で使用する２値化閾値ＴＨＨおよびＴＨＬを変更する。
【００５９】
例えば、図１４（ａ）に示すようにエッジ数カウント値の合計値が変移する時に、エッジ数カウント値の合計値が上限閾値ＥＴＨおよび下限閾値ＥＴＬの間に入っているかどうかを監視する。上限閾値ＥＴＨを数フレームにわたって超える状態が続いた場合にはエッジ数が多くなり画像解析部４０６での動きの有無判定が正確にできなくなる可能性があるため、図１４（ｂ）に示すようにエッジ２値化閾値ＴＨＨを小さく、かつＴＨＬを大きくすることでエッジ数カウント値が極端に大きな値になることを抑制する。
【００６０】
２値化閾値ＴＨＨおよびＴＨＬを変更した前後でのフレームでは動きの有無の判定が正確にできない恐れがあるため、２値化閾値の変更タイミングを、フレームレート変換での追い越しによるフレームデータの重複出力の直後とする、あるいは変化時は、動きの有無判定結果をマスクする等の処理を行う。
【００６１】
上述の通り、本実施の形態のエッジ分布取得ブロック４０６２においては、エッジ数カウント値の合計値が適正な値となるよう２値化閾値を自動算出して追従するような構成としたので、２値化閾値の外部からの手動設定を省略することができる。
【００６２】
図１４では、ＴＨＨを小さくＴＨＬを大きくする２値化閾値の変更例を挙げたが、いずれか一方の閾値だけを変更したり、ＥＴＨおよびＥＴＬの超過具合によって閾値の変更量を変えたりしても構わない。
実施の形態５．
【００６３】
上記各実施の形態では画像解析部のローカルエッジ数カウントブロックにおいて、所定画素数毎に領域分割し、領域毎にエッジ強度が"１"である画素数をカウントしていたが、実施の形態５に係る映像処理装置の画像解析部は、画素数をカウントする領域を制御するブロックをさらに設けるものである。
【００６４】
図１５は、本実施の形態での映像処理装置の画像解析部５０６の構成を示すブロック図である。画像解析部５０６は、上記の各実施の形態に係る映像処理装置が備える画像解析部が有するエッジ分布取得ブロックに対して、さらに無効映像領域分布状態取得ブロック５１６０、領域形状決定ブロック５１６１を追加している点が異なる。その他の上述と同じ符号のものに関しては構成及び作用が同様であるため、説明を省略する。
【００６５】
図１６は、入力映像と出力側モニタの仕様とで異なるアスペクト比があった場合のエッジ分布取得ブロック５０６２での動作を説明する図である。無効映像領域分布状態取得ブロック５１６０は、一定期間動きのない領域群を検出する。例えば、図１６のようなアスペクト比が１６：９の映像を４：３の画面に出力するためには、有効映像の上下に図１６（ａ）のような黒い無効映像（黒帯）を付加する。この黒帯部分に対して動きの有無を検出する必要がないため、画面内の検出範囲を狭めることで検出に係る処理付加を下げることができる。
【００６６】
図１６（ｂ）のように領域分割した場合、黒帯領域については動きの有無はほとんど検出されず、黒帯領域内では各画素の輝度値も低いことから、所定の期間を通して映像の上下部分に動きが検出されずかつ該当領域の輝度値の合計値が小さい場合には、映像に黒帯部分があると判定し、その領域群を動きの有無判定対象から除外する。
【００６７】
さらに領域形状決定ブロック５１６１において、画面内の黒帯部分以外の部分について図１６（ｃ）のように１つの領域を構成する画素数を少なくなるような領域分割条件を決定して、ローカルエッジ数カウントブロック１０６４に出力する。以降の処理は、実施の形態１と同様である。
【００６８】
上述の通り、本実施の形態のエッジ分布取得ブロック５０６２においては、黒帯のある映像について領域分割の単位面積（画素数）を小さくすることで同じ回路規模で動きの有無の検出を細かく行え、検出精度を向上することができる。または、領域分割の単位面積は変えずに動き検出の有無に必要な処理の量を減らすことで、省電力化が図れる。
【００６９】
なお、入力映像がインターレース方式である場合に図７（１ｃ）での例のように水平垂直を同じ画素数単位で領域分割すると、プログレッシブ方式と比較して垂直解像度は２分の１であることから、垂直方向については大きな動きでないと動きの有無を検出できないことになる。そこで、入力データがインターレース方式の場合は、領域決定ブロック５１６１で垂直が水平の２分の１の画素数になるよう横長の領域分割条件を選択させることで、水平垂直いずれの方向にも同等の動きの有無検出の精度を得られる。
【符号の説明】
【００７０】
１００ 映像処理装置
１０１ フレームメモリ
１０２ フレームメモリ制御部
１０５ 追越制御部
１０６ 画像解析部
１０７ 画像処理部
１０６１ エッジ抽出ブロック
１０６２ エッジ分布取得ブロック
１０６３ エッジ値２値化ブロック
１０６４ ローカルエッジ数カウントブロック
１０６５ ローカルメモリ制御ブロック
１０６６ ローカルメモリ
１０６７ エッジ数比較ブロック
１０７１ 平滑化ブロック
１０７２ 信号切換ブロック
【特許請求の範囲】
【請求項１】
第１のフレームレートの入力映像信号から第２のフレームレートの出力映像信号を生成する映像処理装置であって、
所定の複数フレーム分の映像データを記憶する容量を有するフレームメモリと、
前記入力映像信号に含まれる映像データを第１のフレームレートで前記フレームメモリへ書き込みをし、書き込まれた映像データを第２のフレームレートで前記フレームメモリから読み出しをするフレームメモリ制御部と、
前記第１のフレームレート及び前記第２のフレームレートに応じて、前記フレームメモリ制御部が前記フレームメモリにアクセスするメモリ領域を制御し、前記フレームメモリから読み出された映像データのフレームが、前回読み出した映像データのフレームと同じである場合に追い越し発生を示す追越発生フラグを出力する追越制御部と、
前記映像データに対して、フレーム単位の全体画像領域を分割した部分領域ごとに映像の動きの有無を検出する画像解析部と、
前記フレームメモリから読み出された映像データを入力として映像をぼかす平滑化処理を行なう平滑化処理手段を有し、前記追越発生フラグが追い越し発生を示していない場合は、前記フレームメモリから読み出された映像データを前記出力映像信号として出力し、前記追越発生フラグが追い越し発生を示している場合は、該当するフレームの映像データの全体画像領域のうち前記画像解析部で映像の動きがあると判定された部分領域は前記平滑化処理手段によって平滑化された該当する部分領域の出力を選択し、前記画像解析部で映像の動きがあると判定されなかった部分領域は前記フレームメモリから読み出された該当するフレームの映像データを選択して合成した映像データを前記出力映像信号として出力する画像処理部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記画像解析部は、
映像データの画素ごとのエッジ強度を抽出するエッジ抽出手段と、
前記エッジ強度を所定の閾値に基づいてエッジであるか否かを判定した値を生成するエッジ値２値化手段と、
前記輪郭２値化手段の出力からそれぞれの部分領域内にエッジであるとされた画素の数をエッジ分布情報として取得するエッジ分布情報取得手段と、
前記部分領域毎の前記エッジ分布情報を記憶するエッジ分布情報記憶手段と、
前記エッジ分布情報取得手段と前記エッジ分布情報記憶手段に保持する内容を比較して前記部分領域毎に動きの有無を判定するエッジ数比較手段と
を有する
ことを特徴とする、請求項１に記載の映像処理装置。
【請求項３】
前記画像解析部は、
それぞれの前記部分領域のうち、エッジ分布が所定の分布閾値よりも多い領域の配置状態を取得する分布状態取得手段をさらに有する
ことを特徴とする、請求項２に記載の映像処理装置。
【請求項４】
前記画像解析部は、
前記エッジ分布情報の全体画像領域の合計値に応じて、前記所定の閾値を変更する２値化閾値決定手段をさらに有する
ことを特徴とする、請求項２から請求項４のいずれか１項に記載の映像処理装置。
【請求項５】
前記画像解析部は、
所定の期間、映像に動きがないと判断された領域を無効映像領域と判定する無効映像領域分布状態取得手段を有し、
前記無効映像領域と判定された領域について、動きの有無を検出する画像領域の対象から外す
ことを特徴とする、請求項１から請求項４のいずれか１項に記載の映像処理装置。
【請求項６】
前記画像処理部は、前記映像入力データがインターレース方式である場合は、さらに垂直方向に画素補間してプログレッシブ方式の映像出力を出力する
ことを特徴とする請求項１から請求項５のいずれか１項に記載の映像処理装置。
【請求項１】
第１のフレームレートの入力映像信号から第２のフレームレートの出力映像信号を生成する映像処理装置であって、
所定の複数フレーム分の映像データを記憶する容量を有するフレームメモリと、
前記入力映像信号に含まれる映像データを第１のフレームレートで前記フレームメモリへ書き込みをし、書き込まれた映像データを第２のフレームレートで前記フレームメモリから読み出しをするフレームメモリ制御部と、
前記第１のフレームレート及び前記第２のフレームレートに応じて、前記フレームメモリ制御部が前記フレームメモリにアクセスするメモリ領域を制御し、前記フレームメモリから読み出された映像データのフレームが、前回読み出した映像データのフレームと同じである場合に追い越し発生を示す追越発生フラグを出力する追越制御部と、
前記映像データに対して、フレーム単位の全体画像領域を分割した部分領域ごとに映像の動きの有無を検出する画像解析部と、
前記フレームメモリから読み出された映像データを入力として映像をぼかす平滑化処理を行なう平滑化処理手段を有し、前記追越発生フラグが追い越し発生を示していない場合は、前記フレームメモリから読み出された映像データを前記出力映像信号として出力し、前記追越発生フラグが追い越し発生を示している場合は、該当するフレームの映像データの全体画像領域のうち前記画像解析部で映像の動きがあると判定された部分領域は前記平滑化処理手段によって平滑化された該当する部分領域の出力を選択し、前記画像解析部で映像の動きがあると判定されなかった部分領域は前記フレームメモリから読み出された該当するフレームの映像データを選択して合成した映像データを前記出力映像信号として出力する画像処理部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記画像解析部は、
映像データの画素ごとのエッジ強度を抽出するエッジ抽出手段と、
前記エッジ強度を所定の閾値に基づいてエッジであるか否かを判定した値を生成するエッジ値２値化手段と、
前記輪郭２値化手段の出力からそれぞれの部分領域内にエッジであるとされた画素の数をエッジ分布情報として取得するエッジ分布情報取得手段と、
前記部分領域毎の前記エッジ分布情報を記憶するエッジ分布情報記憶手段と、
前記エッジ分布情報取得手段と前記エッジ分布情報記憶手段に保持する内容を比較して前記部分領域毎に動きの有無を判定するエッジ数比較手段と
を有する
ことを特徴とする、請求項１に記載の映像処理装置。
【請求項３】
前記画像解析部は、
それぞれの前記部分領域のうち、エッジ分布が所定の分布閾値よりも多い領域の配置状態を取得する分布状態取得手段をさらに有する
ことを特徴とする、請求項２に記載の映像処理装置。
【請求項４】
前記画像解析部は、
前記エッジ分布情報の全体画像領域の合計値に応じて、前記所定の閾値を変更する２値化閾値決定手段をさらに有する
ことを特徴とする、請求項２から請求項４のいずれか１項に記載の映像処理装置。
【請求項５】
前記画像解析部は、
所定の期間、映像に動きがないと判断された領域を無効映像領域と判定する無効映像領域分布状態取得手段を有し、
前記無効映像領域と判定された領域について、動きの有無を検出する画像領域の対象から外す
ことを特徴とする、請求項１から請求項４のいずれか１項に記載の映像処理装置。
【請求項６】
前記画像処理部は、前記映像入力データがインターレース方式である場合は、さらに垂直方向に画素補間してプログレッシブ方式の映像出力を出力する
ことを特徴とする請求項１から請求項５のいずれか１項に記載の映像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−１１５５６５（Ｐ２０１３−１１５５６５Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５９１９４（Ｐ２０１１−２５９１９４）
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]