画像信号処理装置、画像信号生成方法、画像表示装置、画像信号処理プログラムおよび記録媒体
【課題】ホールドぼけを改善できるだけでなくジャーキネスを目立たなくして動画品質を向上させる。
【解決手段】第１輝度変換部２１は、画像信号ＤＶinの輝度値が閾値以下のとき、信号ＤＶinの表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号ＤＶsf，ＤＶsbの少なくとも１つを最小輝度値あるいは第１所定輝度値以下の輝度値とする。第２輝度変換部３３は、輝度値が閾値を超えるとき、動き補償部３２で生成した動き補償画像信号であるサブフレーム画像信号ＤＶsbmを、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値に輝度値変換する。出力切換部６２は、輝度値が閾値以下のとき第１輝度変換部２１からの信号、輝度値が閾値を超えるとき第２輝度変換部３３からの信号を選択して出力する。
【解決手段】第１輝度変換部２１は、画像信号ＤＶinの輝度値が閾値以下のとき、信号ＤＶinの表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号ＤＶsf，ＤＶsbの少なくとも１つを最小輝度値あるいは第１所定輝度値以下の輝度値とする。第２輝度変換部３３は、輝度値が閾値を超えるとき、動き補償部３２で生成した動き補償画像信号であるサブフレーム画像信号ＤＶsbmを、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値に輝度値変換する。出力切換部６２は、輝度値が閾値以下のとき第１輝度変換部２１からの信号、輝度値が閾値を超えるとき第２輝度変換部３３からの信号を選択して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像信号処理装置、画像信号生成方法、画像表示装置、画像信号処理プログラムおよび記録媒体に関する。詳しくは、複数のサブフレーム画像信号に対して、フレーム期間分のサブフレーム画像信号に基づく表示画像の時間積分によって入力画像信号に基づく表示画像の輝度を得る輝度値変換処理を行い出力画像信号を生成するとき、動き補償画像信号をサブフレーム画像信号として用い、この動き補償画像信号を用いることによって生じるジャーキネスを目立たないように、輝度値変換を行うものである。
【背景技術】
【０００２】
従来の画像表示装置では、ＣＲＴ（陰極線管）等のインパルス型表示素子や液晶表示素子やＥＬ表示素子等のホールド型表示素子が用いられている。
【０００３】
インパルス型表示素子を用いた画像表示装置（以下「インパルス型画像表示装置」という）では、図２８示すインパルス発光動作が行われて、画像が表示される点灯期間Ｔonと画像が表示されない非点灯期間Ｔoffが交互に繰り返される。なお、図２８において、横軸は時間の経過、縦軸は出力輝度を示しており、点灯期間Ｔonと非点灯期間Ｔoffを加算した期間が１フレーム期間Ｔfrに相当する。
【０００４】
このインパルス型画像表示装置で、静止した背景ＢＧ上を動物体ＯＢが水平に動くような画像の表示を行う場合、画面内の１水平ライン上での時間経過に伴う動物体の表示位置の変化は図２９示すものとなる。なお、図２９において、横軸は画面上で水平方向の水平画素位置を示しており、縦軸は時間の経過を示している。
【０００５】
ここで、動物体ＯＢを観察するときには、注視する方向が矢印Ａに示すように移動することとなり、動物体ＯＢが動いてきた軌跡方向の輝度変化の時間積分値が明るさとして人の目に感じられる。また、インパルス型画像表示装置では、あるフレームの画像更新から次のフレームの画像更新までの殆どの期間が非点灯期間Ｔoffであり、輝度の時間積分の値に寄与しない。その結果、観察者には、静止する背景と動物体との境界において明るさの差が明瞭となり、背景ＢＧと動物体ＯＢとがくっきりと見分けられる。
【０００６】
一方、ホールド型表示素子を用いた画像表示装置（以下「ホールド型画像表示装置」という）では、図３０に示すホールド発光動作が行われて、画像が表示される点灯期間Ｔonが１フレーム期間Ｔfrとされている。なお、図３０において横軸は時間の経過を示しており縦軸は出力輝度を示している。
【０００７】
このホールド型画像表示装置で、静止した背景ＢＧ上を動物体ＯＢが水平に動くような画像の表示を行う場合、画面内の１水平ライン上での時間経過に伴う動物体の表示位置の変化は図３１に示すものとなる。なお、図３１において、横軸は画面上で水平方向の水平画素位置を示しており、縦軸は時間の経過を示している。
【０００８】
ここで、動物体ＯＢを観察するときには、注視する方向が矢印Ａに示すように移動することとなり、動物体ＯＢが動いてきた軌跡方向の輝度変化の時間積分値が明るさとして人の目に感じられる。また、点灯期間Ｔonが１フレーム期間Ｔfrであるため、動物体ＯＢが１フレーム期間留まって表示される。このため、動物体ＯＢが動いてきた軌跡方向の輝度変化の時間積分には、静止する背景ＢＧと動物体ＯＢとの境界において明るさの差がはっきりと現れず、観察者の目には画像のぼけ（以下「ホールドぼけ」という）として見えてしまう。
【０００９】
このため、ホールド型画像表示装置における動画品質の劣化を改善するため、図３２に示す疑似インパルス法の発光動作が行われて、画像が表示される点灯期間Ｔonを１フレーム期間Ｔfrの半分程度に減らして非点灯期間Ｔoffが設けられている。この疑似インパルス法では、例えば黒画像挿入や間欠バックライト駆動を行うことで非点灯期間Ｔoffが設けられている。なお、図３２において横軸は時間の経過を示しており縦軸は出力輝度を示している。
【００１０】
疑似インパルス法を用いたホールド型画像表示装置で、静止した背景ＢＧ上を動物体ＯＢが水平に動くような画像の表示を行う場合、画面内の１水平ライン上での時間経過に伴う動物体ＯＢの表示位置の変化は図３３に示すものとなる。したがって、点灯期間Ｔonが１／２フレーム期間程度となるため、ホールドぼけを改善することができる。しかし、疑似インパルス法を採用したホールド型画像表示装置では、点灯期間Ｔonが半分程度されていることから、例えばバックライトの輝度が疑似インパルス法を用いていないホールド型画像表示装置と等しいものとすると、疑似インパルス法を用いていないホールド型画像表示装置に比べて、表示される画像の輝度が低下したものとなってしまう。
【００１１】
そこで、特許文献１の発明では、１フレーム分の入力画像信号に対して、前半および後半の２つのサブフレーム期間を用いて画像表示を行うことにより、疑似インパルス法を用いていないホールド型画像表示装置と同程度の最大輝度を確保しつつ、可能な範囲でホールドぼけの改善など動画品質の改善を図ることが開示されている。例えば特許文献１の発明では、入力される画像信号の階調レベルが０％以上５０％未満である場合には、前半のサブフレーム期間において０％〜１００％の階調レベルの画像信号を供給し、後半のサブフレーム期間において０％の階調レベルの画像信号を供給する。また、入力階調レベルが５０％以上１００％以下である場合には、前半のサブフレーム期間において０％〜１００％の階調レベルの画像信号を供給し、後半のサブフレーム期間において１００％の階調レベルの画像信号を供給する。このような画像表示方法によって、従来と同程度の最大輝度やコントラストを確保しつつ、入力される画像信号の階調レベルがある程度以上小さい場合には、動画品質の向上を図ることができる。
【００１２】
また、特許文献２には、特許文献１の場合と同様に、疑似インパルス法を用いた画像表示装置における輝度低下を抑制するために、フレーム期間に複数のサブフレーム期間を設けて、後続するサブフレーム期間の輝度を、入力画像信号の輝度値に応じて所定割合で減衰させる方法が開示されている。これにより、後続するサブフレームの輝度値が、先行するサブフレームの輝度値に対して所定割合で減衰されているので、一般的なホールド型表示装置における視覚的な動画像の流れによる不鮮明化を防止することができる。また、後続するサブフレーム期間では、入力画像信号の輝度値に応じて所定割合で減衰させており、０％ではない輝度値で表示されているので、非点灯期間を設ける画像表示装置に比べて輝度低下を抑制することができる。
【００１３】
さらに、特許文献３には、連続して入力された２つのフレームの画像に対して時間的に中間状態のフレーム画像を推定して、２サブフレーム期間における一方のサブフレームα期間において、入力される画像信号の階調レベルが一意的に定められている閾値以下の場合には、入力される画像信号の階調レベルに応じて増減される階調レベルの画像信号を画像表示部に供給し、入力される画像信号の階調レベルが閾値よりも大きい場合には最大または所定値より大きい階調レベルの画像信号を画像表示部に供給することが開示されている。また、他方のサブフレームβ期間において、中間状態のフレーム画像における画像信号の階調レベルが閾値以下の場合には最小または所定値より小さい階調レベルの画像信号を画像表示部に供給し、中間状態のフレームの画像における階調レベルが閾値よりも大きい場合には、中間状態のフレームの画像における画像信号の階調レベルに応じて増減される階調レベルの画像信号を画像表示部に供給することが開示されている。
【００１４】
このように、サブフレーム期間を設けてサブフレーム期間の輝度値を調整することで、表示される画像の輝度を低下させることなく、動画品質の向上を図ることができる。なお、サブフレーム期間を設けてサブフレーム期間の輝度値を調整する方法を以下サブフレーム法と呼ぶものとする。
【００１５】
【特許文献１】特開２００１−２９６８４１号公報
【特許文献２】特開２００２−２３７０７号公報
【特許文献３】特開２００５−１７３５７３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
ところで、上述のサブフレーム法は、出力輝度が低輝度〜中輝度の範囲であるときは、１個以上のサブフレームが黒表示になるため、動画品質を向上させることができる。しかし、画像の輝度が高輝度領域であるときは、いずれのサブフレームも黒表示とならない。
【００１７】
図３４は、例えばフレーム期間Ｔfrを２つのサブフレーム期間Ｔf，Ｔbに分割した場合のサブフレーム法の発光動作を示している。出力輝度が低輝度〜中輝度の範囲であるときは、１つのサブフレーム期間が非点灯期間Ｔoffとなる。この場合、疑似インパルス法と同様な動作となり、１つのサブフレームが黒表示になるため、ホールドぼけが抑制されて動画品質を向上させることができる。しかし、出力輝度が高輝度となると、いずれのサブフレーム期間Ｔf，Ｔbも黒表示とならず、疑似インパルス法と同様な動作とならない。さらに、画像が「白」となり出力輝度が最大となると、２つのサブフレーム期間Ｔf，Ｔbの輝度も最大となり、サブフレームを設けていない場合と同等の動作となってしまう。
【００１８】
このように、サブフレーム法では、出力輝度が高輝度であるときホールドぼけが抑制されなくなり、動画品質を向上させることができなくなってしまう。
【００１９】
また、動き補償を行い新たなフレームを生成する方法では、動き補償で誤りを生じたとき、この誤りによって表示画像にジャーキネス（動き劣化）を招いてしまう。
【００２０】
例えば図３５に示すように、フレームＦnとフレームＦ(n+1）の画像から動く字幕「ＡＢＣ」である動物体ＯＢの動き補償を行ったサブフレームＦnsbの画像を生成する場合、動きを求めるため全画面をブロックに分割したとき、動物体ＯＢのブロックに背景ＢＧaが混入して、動物体ＯＢとともに背景ＢＧaが動いているものと誤って検出されると、サブフレームＦnsbの画像では動物体ＯＢとともにブロック内に含まれた背景ＢＧaも動いてしまう。このため、入力された画像信号に基づくフレームＦn，Ｆ(n+1)の背景の位置と、新たに生成したサブフレームＦnsbにおける背景の位置が異なるものとなり、ジャーキネスを生じたものとなってしまう。
【００２１】
そこで、この発明では、ホールドぼけを改善できるだけでなくジャーキネスを目立たなくして動画品質を向上させるものである。
【課題を解決するための手段】
【００２２】
この発明の概念は、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う。また、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成してサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行い、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とするものである。
【００２３】
この発明の画像信号処理装置は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理装置において、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定部と、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換部と、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償部と、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換部と、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換部で輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換部を有するものである。
【００２４】
この発明の画像信号処理方法は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理方法において、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換ステップと、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換ステップと、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを設けたものである。
【００２５】
この発明に係る画像表示装置は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成して、この出力画像信号に基づいて画像表示を行う画像表示装置において、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定部と、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換部と、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償部と、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換部と、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換部で輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換部と、出力切換部から出力される出力画像信号に基づいて画像表示を行う表示部を有するものである。
【００２６】
この発明に係るプログラムは、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理をコンピュータで行わせる画像信号処理プログラムにおいて、画像信号処理プログラムには、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換ステップと、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換ステップと、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを有するものである。
【００２７】
この発明に係る記録媒体は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理をコンピュータで行わせる画像信号処理プログラムが記録された記録媒体において、画像信号処理プログラムは、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換ステップと、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換ステップと、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを有するものである。
【００２８】
さらに、この発明に係る記録媒体は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行って生成された出力画像信号が記録された記録媒体において、出力画像信号は、入力画像信号の輝度値が予め設定された閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする第１輝度値変換と、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成してサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする第２輝度値変換が行われて、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換で得られたサブフレーム画像信号とされて、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換で得られた動き補償画像信号とサブフレーム画像信号とされた信号である。
【発明の効果】
【００２９】
この発明によれば、入力画像信号の輝度値が閾値以下であるとき、出力画像信号は、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする第１輝度値変換が行われたサブフレーム画像信号とされる。また、入力画像信号の輝度値が閾値を超えるとき、出力画像信号は、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成してサブフレーム画像信号として用い、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換が行われた動き補償画像信号とサブフレーム画像信号とされる。
【００３０】
このため、出力画像信号に基づく表示画像を、ホールドぼけが改善されているだけでなくジャーキネスを目立たなくして動画品質を向上させるものとすることができる。
【発明を実施するための最良の形態】
【００３１】
以下、図を参照しながら、この発明の実施の一形態について説明する。本願発明では、入力画像の画像信号における１フレーム期間をｎ(ｎは２以上の整数)個のサブフレーム期間に分割して、サブフレーム周期のサブフレーム画像信号を生成する。また、入力画像の輝度値が低輝度〜中輝度であるときは、疑似インパルス法やサブフレーム法のように非点灯期間Ｔoffを設けることでホールドぼけを改善する。さらに、高輝度であるとき、疑似インパルス法では高輝度で画像表示を行うことができず、サブフレーム法では各サブフレームの出力輝度が高くなりホールドぼけを抑制できない。このため、入力画像の輝度値が高輝度であるときは、動き補償を行うことにより得られた動き補償画像をサブフレーム画像として用いることで時間解像度を向上させてホールドぼけを抑制する。さらに、動き補償画像をサブフレーム画像として用いるものとしても、ジャーキネスが目立たないように輝度値変換を行うものである。なお、以下の説明では、発明の理解を容易とするため、１フレーム期間を２つのサブフレーム期間に分割した場合を示している。
【００３２】
図１は、画像信号処理装置の構成を示している。入力画像信号ＤＶinは、画像信号処理装置１０aの輝度値判定部１１とＦＩＦＯ型メモリ１２に供給される。また、入力画像信号ＤＶinの同期信号ＳＹinは制御部８１に供給される。
【００３３】
輝度値判定部１１は、入力画像信号ＤＶinの輝度値が予め設定されている閾値ＲＬ以下であるか否かを判別して、判別結果を示す判定信号ＪＡをＦＩＦＯ型メモリ１２に供給する。例えば、画像表示を行う表示素子において、入力信号の輝度値に対する表示輝度が図２に示す特性であるとき、表示輝度が最大輝度ＢＲmaxの１／２となる入力信号の輝度値を閾値ＲＬに予め設定して、入力画像信号ＤＶinの輝度値が閾値ＲＬ以下であるか否かを示す判定信号ＪＡを画素毎に生成して、ＦＩＦＯ型メモリ１２に供給する。
【００３４】
ＦＩＦＯ型メモリ１２は、入力画像信号ＤＶinを順次記憶する。また、ＦＩＦＯ型メモリ１２は、入力画像信号ＤＶinの各画素の輝度値判定結果を示す判定信号ＪＡを入力画像信号ＤＶinと関係付けて順次記憶する。例えば入力画像信号ＤＶinが８ビットの信号で判定信号ＪＡが１ビットの信号であるとき、８ビットの画像信号に１ビットの判定信号ＪＡを付加して９ビットの信号として順次記憶する。また、ＦＩＦＯ型メモリ１２は、記憶した入力画像信号ＤＶinを、フレーム毎に入力画像信号ＤＶinの２倍の速度で繰り返し読み出すことで前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成して、第１輝度値変換部２１とフレームメモリ３１に供給する。なお、ＦＩＦＯ型メモリ１２は、読み出した画像信号に付加されている判定信号ＪＡも、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbとともに第１輝度値変換部２１とフレームメモリ３１に供給する。
【００３５】
第１輝度値変換部２１は、入力画像信号ＤＶinの輝度値が閾値ＲＬ以下である画像に対して輝度値変換を行うものである。第１輝度値変換部２１は、入力画像信号ＤＶinの１フレーム期間分のサブフレーム画像信号で入力画像信号ＤＶinの１フレーム期間の表示輝度が得られるように、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbに対して輝度値変換を行う。
【００３６】
ここで、第１輝度値変換部２１は、輝度値変換を容易に行うことができるように、図２に示す特性に応じたルックアップテーブルを予め設けておき、このルックアップテーブルを用いて輝度値変換を行う。
【００３７】
図３は、第１輝度値変換部２１の第１輝度値変換特性を示している。第１輝度値変換部２１は、輝度値変換後の前サブフレーム画像信号ＤＶslfによって、１フレーム期間の表示輝度が得られるように、前サブフレーム画像信号ＤＶsfの表示輝度を２倍とする変換特性ＴＣaで輝度値変換を行う。例えば、前サブフレーム画像信号ＤＶsfの輝度値が閾値ＲＬとなったとき、表示画像の輝度値が最大輝度ＢＲmaxとなるように、前サブフレーム画像信号ＤＶsfの輝度値を「Ｌmax」に変換する。
【００３８】
また、第１輝度値変換部２１は、前サブフレーム画像信号ＤＶslfによって、入力画像信号ＤＶinの１フレーム期間の表示輝度を得られることから、後サブフレームの画像は黒画像となるように、後サブフレーム画像信号ＤＶsbの輝度値を変換特性ＴＣbで輝度値変換して後サブフレーム画像信号ＤＶslbを生成する。すなわち、後サブフレーム画像信号ＤＶsbの輝度値に拘わらず後サブフレーム画像信号ＤＶslbの輝度値を最小輝度値あるいは第１所定輝度値以下とする。例えば図３では、後サブフレーム画像信号ＤＶslbの輝度値を最小輝度値「０」としている。第１所定輝度値は、値を大きくすると黒画面表示を行うことができなくなることから、所望の最低輝度が得られるように値を設定する。
【００３９】
なお、第１輝度値変換部２１は、入力画像信号ＤＶinの輝度値が閾値ＲＬ以下である画像に対して輝度値変換を行うものである。このため、入力画像信号ＤＶinの輝度値が閾値ＲＬを超えるときには、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値に拘わらず、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbの輝度値を最小輝度値「０」、あるいは前サブフレーム画像信号ＤＶslfの輝度値を最大輝度値「Ｌmax」、後サブフレーム画像信号ＤＶslbの輝度値を最小輝度値「０」とする。
【００４０】
このように、第１輝度値変換部２１は、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbに対して輝度値変換を行い、輝度値変換によって得られた前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを遅延部６１に供給する。
【００４１】
フレームメモリ３１は、動き補償画像を生成するためにＦＩＦＯ型メモリ１２から供給された前サブフレーム画像信号ＤＶsf（あるいは後サブフレーム画像信号ＤＶsb）を記憶するものである。このフレームメモリ３１には動き補償部３２が接続されている。
【００４２】
動き補償部３２は、フレームメモリ３１に記憶されている前サブフレーム画像信号ＤＶsf（あるいは後サブフレーム画像信号ＤＶsb）を用いて動き補償を行い、動き補償画像信号を生成する。例えば時間的に連続する２つの前サブフレーム画像信号ＤＶsfを用いて動き補償を行い、２つの前サブフレーム画像の時間的中間位置となる画像を示す動き補償画像信号を生成する。さらに、動き補償部３２は、生成した動き補償画像信号を後サブフレーム画像信号ＤＶsbmとして、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbmを第２輝度値変換部３３に供給する。
【００４３】
第２輝度値変換部３３は、入力画像信号ＤＶinの輝度値が閾値ＲＬよりも高い画像に対して輝度値変換を行うものである。第２輝度値変換部３３は、入力画像信号ＤＶinの１フレーム期間分のサブフレーム画像信号で入力画像信号ＤＶinの１フレーム期間の表示輝度が得られるように、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbmに対して輝度値変換を行う。
【００４４】
ここで、第２輝度値変換部３３は、第１輝度値変換部２１と同様に、図２に示す特性に応じたルックアップテーブルを予め設けておき、このルックアップテーブルを用いて輝度値変換を行う。
【００４５】
図４は、第２輝度値変換部３３の第２輝度値変換特性を示している。第２輝度値変換部３３は、輝度値変換後の後サブフレーム画像信号ＤＶshbによって、入力画像信号ＤＶinの輝度値が閾値ＲＬであるときの１フレーム期間の表示輝度が得られるように、後サブフレーム画像信号ＤＶsbmに対して変換特性ＴＣdで輝度値変換を行う。すなわち、後サブフレーム画像信号ＤＶsbmの輝度値に拘わらず後サブフレーム画像信号ＤＶshbの輝度値を最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上とする。例えば図４では、後サブフレーム画像信号ＤＶshbの輝度値を最高輝度値「Ｌmax」としている。第２所定輝度値は、値を小さくすると白画面で輝度が低下することから所望の最高輝度が得られるように値を設定する。
【００４６】
また、第２輝度値変換部３３は、後サブフレーム画像信号ＤＶshbによって、入力画像信号ＤＶinの輝度値が閾値ＲＬであるときの１フレーム期間の表示輝度が得られることから、前サブフレーム画像で閾値ＲＬの超過分について１フレーム期間の表示輝度を得られるように、前サブフレーム画像信号ＤＶsfに対して変換特性ＴＣcで輝度値変換を行い、前サブフレーム画像信号ＤＶshfを生成する。なお、第２輝度値変換部３３は、入力画像信号ＤＶinの輝度値が閾値ＲＬを超える画像に対して輝度値変換を行うものである。このため、入力画像信号ＤＶinの輝度値が閾値ＲＬ以下であるときには、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbmの輝度値に拘わらず、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbの輝度値を最小輝度値「０」、あるいは前サブフレーム画像信号ＤＶshfの輝度値を最小輝度値「０」、後サブフレーム画像信号ＤＶshbの輝度値を最高輝度値「Ｌmax」とする。
【００４７】
このように、第２輝度値変換部３３は、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbmに対して輝度値変換を行い、輝度値変換によって得られた前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを出力切換部６２に供給する。
【００４８】
遅延部６１は、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbの生成に要する時間だけ、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを遅延させて、第２輝度値変換部３３から出力切換部６２に供給される前サブフレーム画像信号ＤＶslfに同期して、前サブフレーム画像信号ＤＶslfを出力切換部６２に供給する。また、第２輝度値変換部３３から出力切換部６２に供給される後サブフレーム画像信号ＤＶslbに同期して後サブフレーム画像信号ＤＶslbを出力切換部６２に供給する。なお、出力切換部６２に供給されるサブフレーム画像信号には、判定信号ＪＡを付加しておくものとする。
【００４９】
出力切換部６２は、判定信号ＪＡに基づき輝度値が閾値ＲＬ以下であることを判別したとき、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを選択して出力画像信号ＤＶoaとする。また、出力切換部６２は、判定信号ＪＡに基づき輝度値が閾値ＲＬを超えることを判別したとき、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを選択して出力画像信号ＤＶoaとする。この出力画像信号ＤＶoaを例えば表示装置１００に供給して画像表示を行う。また、出力画像信号ＤＶoaを、光ディスクや半導体メモリあるいは磁気テープ等の記録媒体１０１に記録して頒布等を行えるようにしてもよい。
【００５０】
制御部８１には、入力画像信号ＤＶinの同期信号ＳＹinが供給される。制御部８１は、同期信号ＳＹinに同期して制御信号ＣＴa，ＣＴb，ＣＴcを生成する。制御部８１は、生成した制御信号ＣＴaをＦＩＦＯ型メモリ１２に供給することで、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成される。また、制御部８１は、生成した制御信号ＣＴbを動き補償部３２に供給することで、後サブフレーム画像信号ＤＶsbmを生成させる。さらに、aをＦＩＦＯ型メモリ１２に供給することで、制御部８１は、生成した制御信号ＣＴcを遅延部６１に供給して、遅延部６１の遅延時間を制御する。
【００５１】
次に、図５〜図１１を用いて動作について説明する。図５は入力画像信号ＤＶinに基づく入力画像を示しており、図５の（Ａ）は、文字「ＡＢＣ」が動物体ＯＢであって、動物体ＯＢの輝度値「Ｌob」と背景ＢＧの輝度値「Ｌbg」がともに閾値ＲＬ以下であるときの画像を示している。また、図５の（Ｂ）は、動物体ＯＢの輝度値「Ｌob」が閾値ＲＬを超えており、背景ＢＧの輝度値「Ｌbg」が閾値ＲＬ以下である場合を示している。さらに、図５の（Ｃ）は、動物体ＯＢの輝度値「Ｌob」と背景ＢＧの輝度値「Ｌbg」がともに閾値ＲＬを超えている場合を示している。
【００５２】
図６の（Ａ）は入力画像信号ＤＶinを示している。なお、図６の（Ａ）におけるフレームＦ1，Ｆ2は図５の（Ａ）に示す輝度値のフレーム、フレームＦ11，Ｆ12は図５の（Ｂ）に示す輝度値のフレームとする。また、フレームＦ21，Ｆ22は図５の（Ｃ）に示す輝度値のフレームとする。また、各フレームおよび後述するサブフレームでは動物体ＯＢと背景ＢＧの輝度値をそれぞれ示している。
【００５３】
入力画像信号ＤＶinをＦＩＦＯ型メモリ１２に書き込み、書き込まれた画像信号を２倍のフレームレートで読み出すことで、図６の（Ｂ）に示すように前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成できる。例えば、入力画像信号ＤＶinのフレームＦ1から前サブフレームＦ1fの画像信号と，後サブフレームＦ1bの画像信号が生成される。また、入力画像信号ＤＶinの他のフレームでも同様にして、前サブフレームＦ1fと後サブフレームＦ1bの画像信号が生成される。
【００５４】
図６の（Ｃ）は、第１輝度値変換部２１からの輝度値変換後の前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを示している。また、図６の（Ｄ）は、第２輝度値変換部３３からの輝度値変換後の前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを示している。図６の（Ｄ）は、出力切換部６２から出力される出力画像信号ＤＶoaを示している。
【００５５】
なお、図６では、動作の理解が容易となるように、入力画像信号のフレームとサブフレーム画像信号のサブフレームを同期させて図示している。また、入力画像信号の輝度値が閾値ＲＬを超えているときの前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslb、および入力画像信号の輝度値が閾値ＲＬ以下であるときの前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbの輝度値は、「０」としている。
【００５６】
ここで、例えば動物体ＯＢの輝度値「Ｌob」と背景ＢＧの輝度値「Ｌbg」がともに閾値ＲＬ以下であるフレームＦ1から生成されたサブフレームＦ1f，Ｆ1bにおいて、第１輝度値変換部２１は、前サブフレームＦ1fに対して図３に示す変換特性ＴＣaで輝度値変換を行うことから、前サブフレームＦ1fにおける動物体ＯＢは輝度値「Ｌobl」、背景ＢＧは輝度値「Ｌbgl」に変換される。また、第１輝度値変換部２１は、後サブフレームＦ1bに対して図３に示す変換特性ＴＣbで輝度値変換を行うことから、動物体ＯＢと背景ＢＧの輝度値が「０」に変換される。なお、動物体ＯＢの輝度値「Ｌob」と背景ＢＧの輝度値「Ｌbg」がともに閾値ＲＬ以下であることから、第２輝度値変換部３３から出力される前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbは「０」となる。また、フレームＦ2から生成されたサブフレームＦ2f，Ｆ2bについても同様に処理される。
【００５７】
次に、動物体ＯＢの輝度値「Ｌob」が閾値ＲＬを超えており、背景ＢＧの輝度値「Ｌbg」が閾値ＲＬ以下であるフレームＦ11から生成されたサブフレームＦ11f，Ｆ11bにおいて、第１輝度値変換部２１は、前サブフレームＦ11fに対して図３に示す変換特性ＴＣaで輝度値変換を行うことから、前サブフレームＦ11fにおける背景ＢＧは輝度値「Ｌbgl」に変換される。なお、動物体ＯＢの輝度値は閾値ＲＬを超えていることから変換後の輝度値は「０」となる。また、第１輝度値変換部２１は、後サブフレームＦ11bに対して図３に示す変換特性ＴＣbで輝度値変換を行うことから、背景ＢＧの輝度値が「０」に変換される。なお、動物体ＯＢの輝度値は閾値ＲＬを超えていることから変換後の後サブフレームの輝度値も「０」となる。第２輝度値変換部３３は、前サブフレームＦ11fに対して図４に示す変換特性ＴＣcで輝度値変換を行うことから、前サブフレームＦ11fにおける動物体ＯＢは輝度値「Ｌobh」に変換される。なお、背景ＢＧの輝度値は閾値ＲＬ以下であることから変換後の輝度値は「０」となる。また、第２輝度値変換部３３は、後サブフレームＦ11bに対して図４に示す変換特性ＴＣdで輝度値変換を行うことから、動物体ＯＢの輝度値が「Ｌmax」に変換される。なお、背景ＢＧの輝度値は閾値ＲＬ以下であることから変換後の後サブフレームの輝度値も「０」となる。また、フレームＦ12から生成されたサブフレームＦ12f，Ｆ12bについても同様に処理される。
【００５８】
動物体ＯＢの輝度値「Ｌob」と背景ＢＧの輝度値「Ｌbg」がともに閾値ＲＬを超えるフレームＦ21から生成されたサブフレームＦ21f，Ｆ21bにおいて、第２輝度値変換部３３は、前サブフレームＦ21fに対して図４に示す変換特性ＴＣcで輝度値変換を行うことから、前サブフレームＦ21fにおける動物体ＯＢは輝度値「Ｌobh」、背景ＢＧは輝度値「Ｌbgh」に変換される。また、第２輝度値変換部３３は、後サブフレームＦ2bに対して図４に示す変換特性ＴＣdで輝度値変換を行うことから、動物体ＯＢと背景ＢＧの輝度値が「Ｌmax」に変換される。なお、動物体ＯＢの輝度値「Ｌob」と背景ＢＧの輝度値「Ｌbg」がともに閾値ＲＬを超えていることから、第１輝度値変換部２１から出力される前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbは「０」となる。また、フレームＦ22から生成されたサブフレームＦ22f，Ｆ22bについても同様に処理される。
【００５９】
出力切換部６２は、入力画像信号の輝度値が閾値ＲＬ以下であるとき、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを選択する。また、輝度値が閾値ＲＬを超えるとき、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを選択する。したがって、出力切換部６２から出力される出力画像信号ＤＶoaは図６の（Ｅ）に示すようになる。
【００６０】
出力切換部６２から出力される出力画像信号ＤＶoaに基づいて画像表示を行う場合、動物体ＯＢと背景ＢＧの輝度値がともに閾値ＲＬ以下であるときは、図７の（Ａ）に示すように表示が行われる。すなわち、サブフレーム法と同様な画像表示が行われる。また、動物体ＯＢの輝度値が閾値ＲＬを超えて、背景ＢＧの輝度値が閾値ＲＬ以下であるときは、図７の（Ｂ）に示すように、後サブフレームで動物体ＯＢについて動き補償がなされた画像が表示されることとなり、ホールドぼけを軽減することができる。また、動物体ＯＢと背景の輝度値が閾値ＲＬを超えるときは、図７の（Ｃ）に示すように、後サブフレームで動物体ＯＢについて動き補償がなされた画像が表示されることとなり、ホールドぼけを軽減することができる。
【００６１】
図８は、背景ＢＧの輝度値が閾値ＲＬ以下で動物体ＯＢの輝度値が閾値ＲＬを超えるときの表示画像を示しており、図８の（Ａ）は入力画像信号ＤＶinに基づく画像、図８の（Ｂ）は出力画像信号ＤＶoaに基づく表示画像を示している。また、図８の（Ｃ）〜（Ｆ）は、従来の方法を用いて生成された画像信号に基づく表示画像を示しており、図８の（Ｃ）はサブフレーム法を用いたときの表示画像、図８の（Ｄ）はフレームを繰り返してフレームレートを２倍としたときの表示画像である。また、図８の（Ｅ）は疑似インパルス法を用いたときの表示画像、図８の（Ｆ）は動き補償を行うことにより得られた動き補償画像のフレームを用いてフレームレートを２倍としたときの表示画像である。
【００６２】
図８の（Ｂ）において、前サブフレームＦ11f，12fでは、図６の（Ｅ）から明らかなように、動物体ＯＢが輝度値「Ｌobh」，背景ＢＧが輝度値「Ｌbgl」で表示される。次に、後サブフレームＦ11b，12bでは、動物体ＯＢが輝度値「Ｌmax」，背景ＢＧが輝度値「０」で表示される。また、後サブフレームＦ11b，12bで表示される動物体ＯＢは動き補償を行うことにより得られた画像であり、前サブフレームＦ11fと前サブフレームＦ12fの時間的中間の位置に表示される。
【００６３】
このため、図８の（Ｃ）や図８の（Ｄ）に比べてホールドぼけを改善して動画品質を向上できる。また、図８の（Ｅ）に示すように表示画像が暗くなってしまうこともない。さらに、図８の（Ｆ）に示す場合には、動き補償を行うときに動物体ＯＢのブロックに背景ＢＧが含まれて、動物体ＯＢの動きが背景ＢＧの動きとして誤って検出されると、動物体ＯＢとともに背景ＢＧも動いてしまいジャーキネスを生じるおそれがある。しかし、出力画像信号ＤＶoaにおいて、動き補償画像を示す後サブフレームＦ11b，12bでは、背景ＢＧが含まれていないことから、図８の（Ｆ）に示す場合に生じるジャーキネスを防止できる。
【００６４】
図９は、背景ＢＧの輝度値と動物体ＯＢの輝度値が閾値ＲＬを超えるときの表示画像を示しており、図９の（Ａ）は入力画像信号ＤＶinに基づく画像、図９の（Ｂ）は出力画像信号ＤＶoaに基づく表示画像を示している。また、図９の（Ｃ）〜（Ｆ）は、従来の方法を用いて生成された画像信号に基づく表示画像を示しており、図９の（Ｃ）は、サブフレーム法を用いたときの表示画像、図９の（Ｄ）はフレームを繰り返してフレームレートを２倍としたときの表示画像である。また、図９の（Ｅ）は疑似インパルス法を用いたときの表示画像、図９の（Ｆ）は動き補償を行うことにより得られた動き補償画像のフレームを用いてフレームレートを２倍としたときの表示画像である。
【００６５】
図９の（Ｂ）において、前サブフレームＦ21f，22fでは、図６の（Ｅ）から明らかなように、動物体ＯＢが輝度値「Ｌobh」、背景ＢＧが輝度値「Ｌbgh」で表示される。次に、後サブフレームＦ21b，22bでは、背景ＢＧと動物体ＯＢが輝度値「Ｌmax」で表示される。また、後サブフレームＦ21b，22bで表示される動物体ＯＢは動き補償を行うことにより得られた画像であり、前サブフレームＦ21fと前サブフレームＦ22fの時間的中間の位置に表示される。
【００６６】
このため、図９の（Ｃ）や図９の（Ｄ）に比べてホールドぼけを改善して動画品質を向上できる。また、図９の（Ｅ）に示すように表示画像が暗くなってしまうこともない。さらに、図９の（Ｆ）に示す場合には、動き補償を行うときに動物体ＯＢのブロックに背景ＢＧが含まれて、動物体ＯＢの動きが背景ＢＧの動きとして誤って検出されると、動物体ＯＢとともに背景ＢＧも動いてしまいジャーキネスを生じるおそれがある。しかし、出力画像信号ＤＶoaにおいて、動き補償画像を示す後サブフレームＦ21b，22bでは、背景ＢＧが輝度値「Ｌmax」とされているので、図９の（Ｆ）に示す場合に生じるジャーキネスを防止できる。
【００６７】
ここで、動き補償において生じたジャーキネスが表示画像に現れてしまうことを防止できることについて図１０と図１１を用いて説明する。
【００６８】
例えば、ブロックマッチング法で動きベクトルを求めて、この動きベクトルを利用して動き補償画像を生成する場合、図１０の（Ａ）に示す画像に対してブロック化を行ったときに動物体ＯＢのブロック内に背景ＢＧが含まれると、動きベクトルに基づいて動物体ＯＢのブロックを移動させると、動き補償画像では図１０の（Ｂ）に示すように、背景ＢＧも移動されてしまう現象を生じてしまう。このため、例えば移動された背景にエッジが含まれていると、サブフレーム周期でエッジの位置が振動してジャーキネスを生じてしまう。しかし、図１０の（Ａ）に示す画像の前サブフレーム画像と図１０の（Ｂ）に示す動き補償画像である後サブフレーム画像に対して輝度値変換を行うと、背景ＢＧの輝度値が閾値ＲＬ以下であって動物体ＯＢの輝度値が閾値ＲＬを超えている場合、輝度値変換後の前サブフレーム画像は図１０の（Ｃ）、輝度値変換後の後サブフレーム画像は図１０の（Ｄ）に示すものとなる。
【００６９】
同様に、図１１の（Ａ）が前サブフレーム画像であり、動物体ＯＢのブロック内に背景ＢＧが含まれて動き補償が行われると、動き補償画像である後サブフレーム画像は、図１１の（Ｂ）に示すようにエッジの巻き込みを生じた画像となる。しかし、図１１の（Ａ）に示す画像の前サブフレーム画像と図１１の（Ｂ）に示す動き補償画像である後サブフレーム画像に対して輝度値変換を行うと、動物体ＯＢと背景ＢＧの輝度値が閾値ＲＬを超えている場合、輝度値変換後の前サブフレーム画像は図１１の（Ｃ）、輝度値変換後の後サブフレーム画像は図１１の（Ｄ）に示すものとなる。
【００７０】
したがって、動き補償画像であるサブフレーム画像では、輝度値変換によってエッジの巻き込みが除去されることから、ジャーキネスが表示画像に現れてしまうことを防止できる。
【００７１】
このように、図１に示す画像信号処理装置１０aによれば、従来のサブフレーム方式で効果のなかった、高輝度かつエッジのくっきりとした動物体である、動物体（テロップ等）に対し、確実にホールドぼけを軽減できる。さらに、ホールドぼけ対策として、フレーム倍速で動き補償を行った際に生じるジャーキネスについても目立たなくすることができる。また、従来の方法に比べて画像信号処理装置の処理規模もそれほど大きくならず、コストアップを抑えて、動画品質を向上させることが可能となる。
【００７２】
ところで、上述の画像信号処理はハードウェアだけでなくソフトウェアで実現するものとしてもよい。この場合の構成を図１２に示す。コンピュータは、ＣＰＵ(Central Processing Unit)９０１を内蔵しており、このＣＰＵ９０１にはバス９２０を介してＲＯＭ(Read Only Memory)９０２，ＲＡＭ(Random Access Memory)９０３，ハードディスクドライブ(ＨＤＤ)９０４，入出力インタフェース９０５が接続されている。さらに、入出力インタフェース９０５には入力部９１１や記録媒体ドライブ９１２，通信部９１３，画像入力部９１４，画像出力部９１５が接続されている。
【００７３】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部９１１から命令が入力されると、この命令が入出力インタフェース９０５を介してＣＰＵ９０１に供給される。
【００７４】
ＣＰＵ９０１は、ＲＯＭ９０２やＲＡＭ９０３あるいはハードディスクドライブ９０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ９０２やＲＡＭ９０３あるいはＨＤＤ９０４には、上述の画像信号処理装置１０aと同様な処理をコンピュータで実行させるための画像処理プログラムと画像データベースを予め記憶させて、画像入力部９１４に入力された入力画像信号ＤＶinに基づき、画像信号処理を行い、ホールドぼけの軽減やジャーキネスが防止された出力画像信号ＤＶoaを生成して画像出力部９１５から出力する。また、出力画像信号ＤＶoaを通信部９１３から出力したり、記録媒体ドライブ９１２によって、光ディスクや半導体メモリあるいは磁気テープ等の記録媒体に記録する。
【００７５】
また、画像信号処理プログラムを上述のような記録媒体に記録しておき、記録媒体ドライブ９１２によって、画像信号処理プログラムを記録媒体から読み出してコンピュータで実行して画像信号処理を行うものとしてもよい。さらに、通信部９１３によって、伝送路を介して画像処理プログラムの通信を行うものとし、受信した画像信号処理プログラムをコンピュータで実行するものとしてもよい。
【００７６】
図１３は、画像信号処理動作を示すフローチャートである。ステップＳＴ１でＣＰＵ９０１は輝度値判定処理を行う。ＣＰＵ９０１は、画像入力部９１４から入力された入力画像信号ＤＶinの画素毎の輝度値と閾値を比較して輝度値が閾値ＲＬ以下であるか否かを示す判定信号ＪＡを生成する。さらに、生成した判定信号ＪＡと入力画像信号ＤＶinを関係付けてメモリ例えばＲＡＭ９０３に記憶させてステップＳＴ２に進む。
【００７７】
ステップＳＴ２でＣＰＵ９０１は、サブフレーム画像信号の生成処理を行いステップＳＴ４に進む。ＣＰＵ９０１は、メモリに記憶された入力画像信号ＤＶinを、フレーム毎に入力画像信号ＤＶinの２倍の速度で繰り返し読み出して前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成してステップＳＴ３に進む。
【００７８】
ステップＳＴ３でＣＰＵ９０１は、輝度値が閾値ＲＬ以下であるか否かを判別する。ＣＰＵ９０１は、画像信号とともに読み出された判定信号ＪＡによって、輝度値が閾値ＲＬ以下であることが示されているときステップＳＴ４に進む。また、ＣＰＵ９０１は、判定信号ＪＡによって輝度値が閾値ＲＬを超えていることが示されているときステップＳＴ５に進む。
【００７９】
ステップＳＴ４でＣＰＵ９０１は第１輝度値変換処理を行う。ＣＰＵ９０１は、上述の第１輝度値変換部と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、得られた前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを出力画像信号ＤＶoaとして画像出力部９１５から出力する。あるいは、記録媒体ドライブ９１２に装着されている記録媒体に出力画像信号ＤＶoaを記録する。
【００８０】
ステップＳＴ５でＣＰＵ９０１は、動き補償処理を行う。ＣＰＵ９０１は、前サブフレーム画像信号ＤＶsf（あるいは後サブフレーム画像信号ＤＶsb）をメモリに記憶して、入力画像信号ＤＶinの連続する２フレームのサブフレーム画像信号を用いてブロックマッチング法等の動き補償処理を行い、動き補償画像の画像信号を生成する。さらに、生成した動き補償画像の画像信号を後サブフレーム画像信号ＤＶsbとしてステップＳＴ６に進む。
【００８１】
ステップＳＴ６でＣＰＵ９０１は第２輝度値変換処理を行う。ＣＰＵ９０１は、上述の第２輝度値変換部３３と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、得られた前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを出力画像信号ＤＶoaとして画像出力部９１５から出力する。あるいは、記録媒体ドライブ９１２に装着されている記録媒体に出力画像信号ＤＶoaを記録する。
【００８２】
この図１３に示す画像信号処理を、入力画像信号ＤＶinの各フレームに対して行うものとすれば、ホールドぼけを軽減させることができる。また、ジャーキネスを防止することができる。
【００８３】
ところで、図１に示す画像信号処理装置１０aでは、２つのメモリを用いるものとしたが、メモリを１つに集約するものとしてもよい。図１４は、画像信号処理装置の他の構成として、メモリを１つに集約した場合を示している。なお、図１４において、図１と対応する部分については同一符号を付し、詳細な説明は省略する。
【００８４】
図１４において、画像信号処理装置１０bのフレームメモリブロック１２ａには、入力画像信号ＤＶinと判定信号ＪＡを関係付けて順次記憶する。また、記憶した入力画像信号ＤＶinを、フレーム毎に入力画像信号ＤＶinの２倍の速度で繰り返し読み出して、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成して第１輝度値変換部２１に供給する。さらに、動き補償部３２は、フレームメモリブロック１２ａに記憶されている画像信号を用いて動き補償画像信号を生成して後サブフレーム画像信号ＤＶsbmとし、この後サブフレーム画像信号ＤＶsbmと前サブフレーム画像信号ＤＶsfを第２輝度値変換部３３に供給する。
【００８５】
このようにすれば、ＦＩＦＯ型メモリ１２とフレームメモリ３１を個々に設けなくとも、上述のように第１輝度値変換部２１と第２輝度値変換部３３で輝度値変換を行うことで、ホールドぼけを軽減できるので、より安価に画像信号処理装置を構成することができる。
【００８６】
ところで上述の実施形態は、サブフレーム画像信号を用いて動き補償を行うものとしたが、入力画像信号ＤＶinを用いて動き補償を行い、生成された動き補償画像の輝度値変換を行って後サブフレーム画像信号として用いるものとしても同様の作用効果を得ることができる。この場合の構成を図１５に示す。なお、図１５に示す画像信号処理装置１０cおいて、図１や図１４と対応する部分については同一符号を付し、詳細な説明は省略する。
【００８７】
第１輝度値変換部２１は、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbに対して、図３に示す第１輝度値変換特性で輝度値変換を行い、輝度値変換後の前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを出力切換部６２に供給する。
【００８８】
第２輝度値変換部３３は、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbに対して、図４に示す第２輝度値変換特性で輝度値変換を行い、輝度値変換後の前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを出力切換部６３に供給する。
【００８９】
入力画像信号ＤＶinが記憶されるフレームメモリ４１には、動き補償部４２が接続されている。動き補償部４２は、フレームメモリ４１に記憶されている入力画像信号ＤＶinを用いて動き補償を行い、動き補償画像信号ＤＶmcを生成する。例えば連続する２つのフレーム画像を用いて動き補償を行い、２つのフレーム間の時間的中間位置である画像を示す動き補償画像信号ＤＶmcを生成する。さらに、動き補償部４２は生成した動き補償画像信号ＤＶmcを第２輝度値変換部４３に供給する。
【００９０】
第２輝度値変換部４３は、図４に示す第２輝度値変換特性における変換特性ＴＣdで輝度値変換を行い、輝度値変換後の画像信号を後サブフレーム画像信号ＤＶsbmとして出力切換部６５に供給する。
【００９１】
出力切換部６３は、入力画像信号ＤＶinの輝度値が閾値ＲＬ以下であるとき、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを選択する。また、入力画像信号ＤＶinの輝度値が閾値ＲＬを超えるとき、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを選択する。この出力切換部６３で選択された前サブフレーム画像信号ＤＶsf-cと後サブフレーム画像信号ＤＶsb-cを遅延部６４に供給する。
【００９２】
遅延部６４は、出力切換部６３から供給された前サブフレーム画像信号ＤＶsf-cと後サブフレーム画像信号ＤＶsb-cを遅延させることで、第２輝度値変換部４３から供給された後サブフレーム画像信号ＤＶsbmと出力切換部６３から供給された後サブフレーム画像信号ＤＶsb-cを同期させる。
【００９３】
出力切換部６５は、遅延部６４から供給された前サブフレーム画像信号ＤＶsf-cを出力画像信号ＤＶoaとして出力する。また、入力画像信号ＤＶinの輝度値が閾値ＲＬ以下であるときは、遅延部６４から供給された後サブフレーム画像信号ＤＶsb-cを出力画像信号ＤＶoaとして出力する。さらに、入力画像信号ＤＶinの輝度値が閾値ＲＬを超えるときは、第２輝度値変換部４３から供給された後サブフレーム画像信号ＤＶsbmを出力画像信号ＤＶoaとして出力する。
【００９４】
このように画像信号処理装置１０cを構成すれば、輝度値が閾値ＲＬを超えるサブフレーム画像に対して動き補償を行った図１の画像信号処理装置１０aや図１４に示す画像信号処理装置１０bと同様な出力画像信号を、出力切換部６５から出力させることができる。
【００９５】
図１６は、ソフトウェアで処理を行う場合の動作を示すフローチャートである。ステップＳＴ１１でＣＰＵ９０１は輝度値判定処理を行う。ＣＰＵ９０１は、入力画像信号ＤＶinの輝度値と閾値ＲＬを比較して輝度値が閾値ＲＬ以下であるか否かを示す判定信号ＪＡを生成する。さらに、生成した判定信号ＪＡと入力画像信号ＤＶinを関係付けてメモリ例えばＲＡＭ９０３に記憶させてステップＳＴ１２に進む。
【００９６】
ステップＳＴ１２でＣＰＵ９０１は、動き補償処理を行う。ＣＰＵ９０１は、メモリに記憶されている入力画像信号ＤＶinの連続する２フレームの画像信号を用いてブロックマッチング法等の動き補償処理を行い、動き補償画像信号ＤＶmcを生成してステップＳＴ１３に進む。
【００９７】
ステップＳＴ１３でＣＰＵ９０１は、輝度値変換処理を行う。ＣＰＵ９０１は、メモリに記憶されている入力画像信号ＤＶinを、フレーム毎に入力画像信号ＤＶinの２倍の速度で繰り返し読み出して、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成して、図３に示す第１輝度値変換特性と図４に示す第２輝度値変換特性で輝度値変換を行い、前サブフレーム画像信号ＤＶslf，ＤＶshfと後サブフレーム画像信号ＤＶslb，ＤＶshbを生成する。また、ＣＰＵ９０１は、動き補償画像信号ＤＶmcに対して図４に示す第２輝度値変換特性の変換特性ＴＣdで輝度値変換を行い、後サブフレーム画像信号ＤＶsbmを生成する。
【００９８】
図１７は、輝度値変換処理を示すフローチャートである。ステップＳＴ２１でＣＰＵ９０１は輝度値判定処理を行う。ＣＰＵ９０１は、入力画像信号ＤＶinの輝度値と閾値ＲＬを比較して輝度値が閾値ＲＬ以下であるか否かを示す判定信号ＪＡを生成する。さらに、生成した判定信号ＪＡと入力画像信号ＤＶinを関係付けてメモリに記憶させてステップＳＴ２２に進む。
【００９９】
ステップＳＴ２２でＣＰＵ９０１は、サブフレーム画像信号の生成処理を行いステップＳＴ２３に進む。ＣＰＵ９０１は、メモリに記憶された入力画像信号ＤＶinを、フレーム毎に入力画像信号ＤＶinの２倍の速度で繰り返し読み出して前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成してステップＳＴ２３に進む。
【０１００】
ステップＳＴ２３でＣＰＵ９０１は、輝度値が閾値ＲＬを超えているか否かを判別する。ＣＰＵ９０１は、画像信号とともに読み出された判定信号ＪＡによって、輝度値が閾値ＲＬを超えていないことが示されているときステップＳＴ２４に進む。また、輝度値が閾値ＲＬを超えていることが示されているときステップＳＴ２５に進む。
【０１０１】
ステップＳＴ２４でＣＰＵ９０１は、第１輝度値変換処理を行う。ＣＰＵ９０１は、上述の第１輝度値変換部２１と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを生成してステップＳＴ２６に進む。
【０１０２】
ステップＳＴ２５でＣＰＵ９０１は、第２輝度値変換処理を行う。ＣＰＵ９０１は、上述の第２輝度値変換部３３と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを生成してステップＳＴ２６に進む。
【０１０３】
ステップＳＴ２６でＣＰＵ９０１は、動き補償画像信号に対する第２輝度値変換処理を行う。ＣＰＵ９０１は、上述の第２輝度値変換部３３と同様にして変換特性ＴＣdで動き補償画像信号ＤＶmcの輝度値変換処理を行い、輝度値変換処理後の画像信号を後サブフレーム画像信号ＤＶsbmとする。
【０１０４】
ＣＰＵ９０１は、図１７に示す輝度変換処理を行ったのち図１６のステップＳＴ１４に進む。ステップＳＴ１４でＣＰＵ９０１は、輝度値が閾値ＲＬ以下であるか否かを判別する。ＣＰＵ９０１は、画像信号とともに読み出された判定信号ＪＡによって、輝度値が閾値ＲＬ以下であることが示されているときステップＳＴ１５に進む。また、ＣＰＵ９０１は、判定信号ＪＡによって輝度値が閾値ＲＬを超えていることが示されたときステップＳＴ１６に進む。
【０１０５】
ステップＳＴ１５でＣＰＵ９０１は、第１輝度値変換処理後の画像信号の選択処理を行う。すなわち、ＣＰＵ９０１は、図３に示す第１輝度値変換特性で輝度値変換を行うことにより得られた前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを選択して、出力画像信号ＤＶoaとする。
【０１０６】
ステップＳＴ１６でＣＰＵ９０１は、第２輝度値変換処理後の画像信号の選択処理を行う。すなわち、ＣＰＵ９０１は、図４に示す第２輝度値変換特性で輝度値変換を行うことにより得られた前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを選択してステップＳＴ１７に進む。
【０１０７】
ステップＳＴ１７でＣＰＵ９０１は、動き補償画像信号の選択処理を行う。ＣＰＵ９０１は、ステップＳＴ１６で選択した後サブフレーム画像信号ＤＶshbに代えて、動き補償画像信号に対して輝度値変換を行うことにより得られた後サブフレーム画像信号ＤＶsbmを選択して、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶsbmを出力画像信号ＤＶoaとする。
【０１０８】
このような処理を行うものとすれば、図１５に示す画像信号処理装置１０cと同様な処理が行われて出力画像信号ＤＶoaを出力できる。
【０１０９】
また、上述の実施の形態では、動き補償画像の生成においてブロックマッチング法を用いる場合、動き量を正確に求めるためには、ブロックサイズを小さくしなければならず、処理規模が増大してしまう。一方、実際の表示画像においてホールドぼけが顕著となる画柄は、動く字幕やテロップ等の高輝度動物体である。そこで、高輝度動物体を検出して、高輝度動物体ついて動き補償を行うものとすれば、動き補償処理を簡易とすることができる。
【０１１０】
次に、高輝度動物体の動き補償を行う場合について図１８を用いて説明する。なお、図１８に示す画像信号処理装置１０dにおいて、図１５と対応する部分については同一符号を付し、詳細な説明は省略する。
【０１１１】
入力画像信号ＤＶinは、高輝度動物体検出部４５に供給される。高輝度動物体検出部４５は、入力画像信号ＤＶinを用いて検出処理を行い、入力画像に含まれた高輝度動物体を検出して、検出結果を示す検出信号ＪＢと入力画像信号ＤＶinを動き補償部４６に供給する。
【０１１２】
図１９は、高輝度動物体検出部４５の構成を示している。高輝度動物体検出部４５は、高輝度動物体であるか否かの判定に用いる信号を生成するためのエッジ検出部４５１と動き検出部４５２とレベル検出部４５３、および高輝度動物体であるか否かの判定を行う判定部４５５を有している。なお、高輝度動物体検出部４５には、遅延部４５４が設けられており、高輝度動物体の検出結果を示す検出信号ＪＢと入力画像信号ＤＶinが同期して動き補償部４６に供給されるように構成されている。
【０１１３】
エッジ検出部４５１は、入力画像のエッジ抽出処理を行う。例えば入力画像信号ＤＶinの微分処理等を行い、エッジ部分を示すエッジ抽出信号を生成する。さらに、エッジ抽出信号に基づいてエッジの急峻度を検出して、検出結果を示すエッジ急峻度検出信号ＥＪを判定部４５５に供給する。
【０１１４】
動き検出部４５２は、入力画像信号ＤＶinを用いて例えば連続する２フレーム間で画像比較を行い、動きの生じている部分を検出する。例えば２フレーム間で画素毎の輝度値の差を検出して、輝度値の差が所定値よりも大きくなる画素が連続する領域を動き領域と検出して、この領域を示す動き検出信号ＭＪを判定部４５５に供給する。
【０１１５】
また、動き検出部４５２は入力画像信号ＤＶinに対して、動き補償画像信号を生成する場合よりも粗くブロック化を行い、入力画像を複数のブロックに分割する。さらに、現在のフレームのブロック（参照ブロック）と前フレーム候補ブロックとの間で評価値を算出する。例えば、参照ブロックと候補ブロックとの間で画素毎に輝度値の差分を算出して、差分絶対値をブロック内で積算して評価値とする。この評価値に基づき、参照ブロックが動きを生じているか否かを検出して、この検出結果を示す動き検出信号ＭＪを判定部４５５に供給するものとしてもよい。
【０１１６】
レベル検出部４５３は、入力画像信号ＤＶinと閾値ＲＨ（≧ＲＬ）を比較することで、輝度値の高い画像領域を示す高輝度検出信号ＨＪを生成して判定部４５５に供給する。
【０１１７】
判定部４５５は、エッジ急峻度検出信号ＥＪと動き検出信号ＭＪと高輝度検出信号ＨＪに基づき、高輝度動物体の検出結果を示す検出信号ＪＢを生成する。具体的には、エッジ急峻度検出信号ＥＪによって示されたエッジの急峻度が所定の値よりも大きく、動き検出信号ＭＪによって動きを生じていることが示されて、高輝度検出信号ＨＪによって輝度値が閾値ＲＪよりも高いことが示された画像を高輝度動物体として、検出信号ＪＢを生成する。
【０１１８】
図１８の動き補償部４６は、高輝度動物体検出部４５から供給された入力画像信号ＤＶinと検出信号ＪＢに基づき、検出信号ＪＢで示された高輝度動物体の動き補償を行い、高輝度動物体の動き補償画像を示す動き補償画像信号ＤＶhmを生成して第２輝度値変換部４７に供給する。第２輝度値変換部４７は、図１５に示す第２輝度値変換部４３と同様に、図４に示す第２輝度値変換特性における変換特性ＴＣdで輝度値変換を行い、輝度値変換後の画像信号を後サブフレーム画像信号ＤＶsbmとして出力切換部６５に供給する。このように、高輝度動物体の動き補償画像を生成すれば、動き補償処理が簡易となる。
【０１１９】
また、ソフトウェアで高輝度動物体の判定を行うには、図２０〜図２２の検出動作を行い、これらの検出結果を用いて図２３に示す判定処理を行うものとすればよい。
【０１２０】
図２０はエッジ検出動作を示すフローチャートである。ステップＳＴ３１でＣＰＵ９０１は、入力画像のエッジ抽出処理を行いエッジ抽出信号を生成する。例えば、上述のように入力画像信号ＤＶinの微分処理等を行い、エッジ部分を示すエッジ抽出信号を生成してステップＳＴ３２に進む。ステップＳＴ３２でＣＰＵ９０１は、エッジの急峻度検出を行う。すなわち、ＣＰＵ９０１は、ステップＳＴ３１で抽出したエッジ抽出信号に基づいてエッジの急峻度を検出して、検出結果を示すエッジ急峻度検出信号ＥＪを生成する。
【０１２１】
図２１は動き検出動作を示すフローチャートである。ステップＳＴ３３でＣＰＵ９０１は、入力画像のブロック化を行う。ＣＰＵ９０１は入力画像信号ＤＶinに対してブロック化を行い、入力画像を複数のブロックに分割してステップＳＴ３４に進む。
【０１２２】
ステップＳＴ３４でＣＰＵ９０１は、サーチ範囲の設定を行う。ＣＰＵ９０１は、現在のフレームの参照ブロックに対して、前フレームの候補ブロックの範囲を設定してステップＳＴ３５に進む。
【０１２３】
ステップＳＴ３５でＣＰＵ９０１は評価値の算出を行う。ＣＰＵ９０１は、参照ブロックと候補ブロックから評価値を候補ブロック毎に算出してステップＳＴ３６に進む。
【０１２４】
ステップＳＴ３６でＣＰＵ９０１は動き検出を行う。ＣＰＵ９０１は、ステップＳＴ３５で算出した評価値に基づき、候補ブロックが動きを生じているか否かを検出して、検出結果を示す動き検出信号ＭＪを生成する。
【０１２５】
図２２はレベル検出動作を示すフローチャートである。ステップＳＴ３７でＣＰＵ９０１は、輝度値検出を行う。すなわち、ＣＰＵ９０１は、入力画像信号ＤＶinと閾値ＲＬを比較することで、輝度値の高い画像領域を示す高輝度検出信号ＨＪを生成する。
【０１２６】
図２３は判定処理を示すフローチャートである。ステップＳＴ３８でＣＰＵ９０１は、検出信号の取得を行う。すなわち、ＣＰＵ９０１は、ステップＳＴ３１で生成されたエッジ急峻度検出信号ＥＪと、ステップＳＴ３６で生成された動き検出信号ＭＪと、ステップＳＴ３７で生成された高輝度検出信号ＨＪを取得してステップＳＴ３９に進む。
【０１２７】
ステップＳＴ３９でＣＰＵ９０１は、高輝度動物体判定処理を行う。ＣＰＵ９０１は、エッジ急峻度検出信号ＥＪによって示されたエッジの急峻度が所定の値よりも大きく、動き検出信号ＭＪによって動きを生じていることが示されて、高輝度検出信号ＨＪによって輝度値が閾値ＲＬよりも高いことが示された画像を高輝度動物体と判定して、検出信号ＪＢを生成する。このようにすれば、図１８に示す画像信号処理装置１０dと同様な作用効果を得ることができる。
【０１２８】
また、上述の実施の形態では、背景ＢＧの輝度値が閾値ＲＬ以下であるか閾値ＲＬを超えるかのいずれかの場合について説明したが、背景ＢＧに閾値ＲＬを超える領域と閾値ＲＬ以下の領域が混在する場合もある。そこで、背景ＢＧに閾値ＲＬを超える領域と閾値ＲＬ以下の領域が混在する場合でもジャーキネスを目立たなくすることができる画像信号処理装置につて説明する。
【０１２９】
図２４は、背景ＢＧに閾値ＲＬを超える領域と閾値ＲＬ以下の領域が混在している場合に対応させた画像信号処理装置１０eの構成を示している。なお図２４において、図１や図１４と対応する部分については同一符号を付し、詳細な説明は省略する。
【０１３０】
ＦＩＦＯ型メモリ１２から読み出された前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbは、静止背景領域エッジ判定部１４に供給される。
【０１３１】
静止背景領域エッジ判定部１４は、前サブフレーム画像信号ＤＶsf（あるいは後サブフレーム画像信号ＤＶsb）を用いて、入力画像の連続する２フレームの画像比較を行い静止背景領域を判別する。例えば、２フレームの画像で輝度値がほぼ一致する領域を静止背景領域として検出する。また、静止背景領域エッジ判定部１４は、判別した静止背景領域において、輝度値が閾値ＲＬを超える領域と閾値ＲＬ以下である領域とのエッジ（以下「領域エッジ」という）が生じているか検出して、領域エッジの検出結果を示す領域エッジ検出信号ＪＣ、および前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbと判定信号ＪＡを第１輝度値変換部２１とフレームメモリ３１と第３輝度値変換部５１に供給する。
【０１３２】
第３輝度値変換部５１は、第１輝度値変換部２１における前サブフレームの変換特性で後サブフレームの輝度値変換を行い、第１輝度値変換部２１における後サブフレームの変換特性で前サブフレームの輝度値変換を行う。すなわち、第３輝度値変換部５１は、第１輝度値変換部２１で生成される前サブフレーム画像信号ＤＶslfを後サブフレーム画像信号ＤＶsebとして生成し、第１輝度値変換部２１で生成される後サブフレーム画像信号ＤＶslbを前サブフレーム画像信号ＤＶsefとして生成する。
【０１３３】
遅延部６６は、遅延部６１と同様に前サブフレーム画像信号ＤＶsefと後サブフレーム画像信号ＤＶslbを遅延させて出力切換部６７に供給する。
【０１３４】
出力切換部６７は、輝度値が閾値ＲＬを超えるとき、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを出力する。また、入力画像の輝度値が閾値ＲＬ以下であるとき、輝度値が閾値ＲＬを超える領域と閾値ＲＬ以下である領域との領域エッジが検出されていない場合には、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを出力し、領域エッジが検出されているときは前サブフレーム画像信号ＤＶsefと後サブフレーム画像信号ＤＶsebを出力する。
【０１３５】
制御部８１aは、制御信号ＣＴa，ＣＴb，ＣＴcだけでなく制御信号ＣＴdを生成して遅延部６６に供給して、前サブフレーム画像信号ＤＶsefと後サブフレーム画像信号ＤＶslbの遅延量を遅延部６１と同様に制御する。
【０１３６】
このように画像信号処理装置１０eを構成すると、背景ＢＧに閾値ＲＬを超える領域と閾値ＲＬ以下の領域が混在していない場合、図１に示す画像信号処理装置１０a等と等しい動作となる。また、図２５の（Ａ）に示すように背景ＢＧに閾値ＲＬを超える領域ＢＧhと閾値ＲＬ以下の領域ＢＧlが混在している場合は、背景ＢＧにおける閾値ＲＬ以下である領域ＢＧlで前サブフレーム画像信号ＤＶsefと後サブフレーム画像信号ＤＶsebが出力される。このため、出力画像信号に基づく前サブフレームの画像は図２５の（Ｃ）に示すものとなり、後サブフレームの画像は図２５の（Ｄ）に示すものとなる。なお、図２５の（Ｂ）は、図２５の（Ａ）の画像に対して動き補償を行って得られた画像、図２５の（Ｅ）は、図１に示す画像信号処理装置１０a等から出力された出力画像信号に基づく前サブフレームの画像、図２５の（Ｆ）は、図１に示す画像信号処理装置１０a等から出力された出力画像信号に基づく後サブフレームの画像を示している。
【０１３７】
このように、背景ＢＧに閾値ＲＬを超える領域ＢＧhと閾値ＲＬ以下の領域ＢＧlが混在しているとき、閾値ＲＬ以下の領域ＢＧlにおいて前サブフレームの画像と後サブフレームの画像を入れ替えて表示する。この場合、図２５の（Ｄ）に示す動き補償画像を用いた後サブフレームの画像では、背景ＢＧにおける閾値ＲＬ以下の領域ＢＧlbが輝度値変換処理により輝度値が高められていることから、輝度の高い動物体ＯＢすなわち文字「ＡＢＣ」と背景ＢＧの領域ＢＧlbとの輝度差が少なくなる。したがって、背景のエッジ部分で巻き込みを生じても、ジャーキネスを目立たなくすることができる。
【０１３８】
また、背景ＢＧにおける閾値ＲＬ以下の領域ＢＧlの輝度値が低い場合には輝度値変換処理により輝度値が高められても、輝度の高い動物体ＯＢとの輝度差が大きい。このため、閾値ＲＬ以下の領域ＢＧlの輝度値に応じて後サブフレームにおける閾値ＲＬを超える領域の最高輝度値を適応的に低下させれば輝度差を少なくできる。例えば後サブフレームにおける領域ＢＧlbの輝度値と動物体ＯＢの輝度値との差が所定値よりも大きくならないように、領域ＢＧlの輝度値に応じて動物体ＯＢの最高輝度値を低く制限する。このようにすれば、背景ＢＧにおける閾値ＲＬ以下の領域ＢＧlが輝度値の低い状態となってもジャーキネスを目立たなくすることができる。
【０１３９】
図２６は、ソフトウェアによる画像処理動作を示すフローチャートである。ステップＳＴ４１でＣＰＵ９０１は輝度値判定処理を行う。ＣＰＵ９０１は、入力画像信号ＤＶinの画素毎の輝度値と閾値ＲＬを比較して輝度値が閾値ＲＬ以下であるか否かを示す判定信号ＪＡを生成する。さらに、生成した判定信号ＪＡと入力画像信号ＤＶinを関係付けてメモリに記憶させてステップＳＴ４２に進む。
【０１４０】
ステップＳＴ４２でＣＰＵ９０１は、サブフレーム画像信号生成処理を行う。ＣＰＵ９０１は、メモリに記憶された入力画像信号ＤＶinを、フレーム毎に入力画像信号ＤＶinの２倍の速度で繰り返し読み出して前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成してステップＳＴ４３に進む。
【０１４１】
ステップＳＴ４３でＣＰＵ９０１は、静止背景の領域エッジ検出処理を行う。ＣＰＵ９０１は、入力画像の連続する２フレームの画像比較を行い静止背景領域を判別する。さらに、判別した静止背景領域において、輝度値が閾値ＲＬを超える領域と閾値ＲＬ以下である領域との領域エッジを有しているか否か検出して、検出結果を示す領域エッジ検出信号ＪＣを生成する。
【０１４２】
ステップＳＴ４４でＣＰＵ９０１は、輝度値が閾値ＲＬ以下であるか否かを判別する。ＣＰＵ９０１は、画像信号とともに読み出された判定信号ＪＡによって、輝度値が閾値ＲＬ以下であることが示されたときステップＳＴ４５に進む。また、ＣＰＵ９０１は、判定信号ＪＡによって輝度値が閾値ＲＬを超えていることが示されたときステップＳＴ４８に進む。
【０１４３】
ステップＳＴ４５でＣＰＵ９０１は、ステップＳＴ４３で領域エッジが検出されているか否かを判別して、領域エッジが検出されているときにはステップＳＴ４６に進み、領域エッジが検出されていないときはステップＳＴ４７に進む。
【０１４４】
ステップＳＴ４６でＣＰＵ９０１は第３輝度値変換処理を行う。ＣＰＵ９０１は、上述の第３輝度値変換部５１と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、前サブフレーム画像信号ＤＶsefと後サブフレーム画像信号ＤＶsebを出力する。
【０１４５】
ステップＳＴ４７でＣＰＵ９０１は第１輝度値変換処理を行う。ＣＰＵ９０１は、上述の第１輝度値変換部２１と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、得られた前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを出力する。
【０１４６】
ステップＳＴ４８でＣＰＵ９０１は、動き補償処理を行う。ＣＰＵ９０１は、前サブフレーム画像信号ＤＶsf（あるいは後サブフレーム画像信号ＤＶsb）をフレームメモリに記憶して、入力画像信号ＤＶinの連続する２フレームのサブフレーム画像信号を用いてブロックマッチング法等の動き補償処理を行い、動き補償画像の画像信号を生成する。さらに、生成した動き補償画像の画像信号を後サブフレーム画像信号ＤＶsbとしてステップＳＴ４９に進む。
【０１４７】
ステップＳＴ４９でＣＰＵ９０１は第２輝度値変換処理を行う。ＣＰＵ９０１は、上述の第２輝度値変換部３３と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、得られた前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを出力する。
【０１４８】
この図２６に示す処理を入力画像信号ＤＶinの各フレームに対して行うものとすれば、ホールドぼけを軽減させることができるだけでなく、背景に輝度の高い領域と輝度の低い領域が含まれても、容易にジャーキネスを目立たなくすることができる。
【０１４９】
また、動き補償画像を生成する場合、図２７に示すように、動物体ＯＢを移動させたことにより、動物体ＯＢで隠れていたアンカバード領域ＵＣが背景ＢＧに生じてしまうことが知られている。
【０１５０】
ここで、背景ＢＧの輝度値が閾値ＲＬ以下であるとき、アンカバード領域ＵＣの輝度値を閾値ＲＬ以下とすれば、動き補償画像におけるアンカバード領域ＵＣや背景ＢＧは輝度レベルが「０」に変換されるので、表示画像にアンカバード領域ＵＣの影響が現れることがない。
【０１５１】
また、背景ＢＧの輝度値が閾値ＲＬを超えるときは、アンカバード領域ＵＣに画像を埋め込んで輝度変換処理を行えば、表示画像にアンカバード領域ＵＣの影響が現れることがない。
【０１５２】
アンカバード領域ＵＣに画像を埋め込む際には、例えば特開昭６０−１２８７９１号公報に記載されている方法を用いるものとすればよい。すなわち、背景メモリを設けて背景画像信号を記憶される。さらに、背景メモリに記憶されている背景画像信号と入力画像信号との画素毎の差分絶対値が閾値を超えていないときには、差分絶対値に小さい重み係数を乗算して、乗算結果を背景画像信号に加算して、加算結果を新たな背景画像信号として記憶させる。また、差分絶対値が閾値を超えているときには、差分絶対値に大きな重み係数を乗算して、乗算結果を背景画像信号に加算して、加算結果を新たな背景画像信号として記憶させる。このようにして背景画像の更新を行うと、背景が変化していないときは、入力画像中の雑音を除去できるようになる。また、シーンチェンジ等によって背景が切り換えられたときには、重み係数が大きくされることから、記憶されている背景画像信号が新たな背景の背景画像信号に切り換えられる。このようにして、背景メモリに記憶されている背景画像信号が順次更新されることから、アンカバード領域ＵＣの画像信号を背景メモリから読み出すものとすれば、アンカバード領域ＵＣが生じてもこの領域の画像を補うことができるので、アンカバード領域ＵＣの画像が補われた画像信号に対して輝度値変換を行うものとすれば、表示画像にアンカバード領域の影響が現れてしまうことを防止できる。
【図面の簡単な説明】
【０１５３】
【図１】画像信号処理装置の構成を示す図である。
【図２】入力信号レベルと表示輝度の関係を示す図である。
【図３】第１輝度値変換特性を示す図である。
【図４】第２輝度値変換特性を示す図である。
【図５】入力画像を示す図である。
【図６】入力画像信号とサブフレーム画像信号と出力画像信号を示す図である。
【図７】出力画像信号に基づく画像表示動作を説明するための図である。
【図８】背景の輝度値が閾値以下で動物体の輝度値が閾値を超えるときの表示画像を示す図である。
【図９】背景と動物体の輝度値が閾値を超えるときの表示画像を示す図である。
【図１０】ジャーキネスの防止動作（背景の輝度値が閾値以下のとき）を説明するための図である。
【図１１】ジャーキネスの防止動作（背景の輝度値が閾値を超えるとき）を説明するための図である。
【図１２】ソフトウェアで画像信号処理を行う場合の構成を示す図である。
【図１３】画像信号処理動作を示すフローチャートである。
【図１４】画像信号処理装置の他の構成を示す図である。
【図１５】画像信号処理装置の他の構成を示す図である。
【図１６】他の画像信号処理動作を示すフローチャートである。
【図１７】輝度値変換処理動作を示すフローチャートである。
【図１８】画像信号処理装置の他の構成を示す図である。
【図１９】高輝度動物体検出部の構成を示す図である。
【図２０】エッジ検出動作を示すフローチャートである。
【図２１】動き検出動作を示すフローチャートである。
【図２２】レベル検出動作を示すフローチャートである。
【図２３】判定動作を示すフローチャートである。
【図２４】画像信号処理装置の他の構成を示す図である。
【図２５】背景に閾値を超える領域と閾値以下の領域が混在している場合の表示画像を示す図である。
【図２６】他の画像信号処理動作を示すフローチャートである。
【図２７】アンカバード領域を説明するための図である。
【図２８】インパルス発光動作を説明するための図である。
【図２９】インパルス型画像表示装置の動作を説明するための図である。
【図３０】ホールド発光動作を説明するための図である。
【図３１】ホールド型画像表示装置の動作を説明するための図である。
【図３２】疑似インパルス法の発光動作を説明するための図である。
【図３３】疑似インパルス法を用いたホールド型画像表示装置の動作を説明するための図である。
【図３４】サブフレーム法の発光動作を説明するための図である。
【図３５】動き劣化を説明するための図である。
【符号の説明】
【０１５４】
１０a〜１０e・・・画像信号処理装置、１１・・・輝度値判定部、１２・・・ＦＩＦＯ型メモリ、１２ａ・・・フレームメモリブロック、１４・・・静止背景領域エッジ判定部、２１・・・第１輝度値変換部、３１，４１・・・フレームメモリ、３２，４２，４６・・・動き補償部、３３，４３，４７・・・第２輝度値変換部、４５・・・高輝度動物体検出部、５１・・・第３輝度値変換部、６１，６４，６６，４５４・・・遅延部、６２，６３，６５，６７・・・出力切換部、８１、８１a・・・制御部、１００・・・表示装置、１０１・・・記録媒体、４５１・・・エッジ検出部、４５２・・・動き検出部、４５３・・・レベル検出部、４５５・・・判定部、９０１・・・ＣＰＵ、９０２・・・ＲＯＭ、９０３・・・ＲＡＭ、９０４・・・ハードディスクドライブ、９０５・・・入出力インタフェース、９１１・・・入力部、９１２・・・記録媒体ドライブ、９１３・・・通信部、９１４・・・画像入力部、９１５・・・画像出力部、９２０・・・バス
【技術分野】
【０００１】
この発明は、画像信号処理装置、画像信号生成方法、画像表示装置、画像信号処理プログラムおよび記録媒体に関する。詳しくは、複数のサブフレーム画像信号に対して、フレーム期間分のサブフレーム画像信号に基づく表示画像の時間積分によって入力画像信号に基づく表示画像の輝度を得る輝度値変換処理を行い出力画像信号を生成するとき、動き補償画像信号をサブフレーム画像信号として用い、この動き補償画像信号を用いることによって生じるジャーキネスを目立たないように、輝度値変換を行うものである。
【背景技術】
【０００２】
従来の画像表示装置では、ＣＲＴ（陰極線管）等のインパルス型表示素子や液晶表示素子やＥＬ表示素子等のホールド型表示素子が用いられている。
【０００３】
インパルス型表示素子を用いた画像表示装置（以下「インパルス型画像表示装置」という）では、図２８示すインパルス発光動作が行われて、画像が表示される点灯期間Ｔonと画像が表示されない非点灯期間Ｔoffが交互に繰り返される。なお、図２８において、横軸は時間の経過、縦軸は出力輝度を示しており、点灯期間Ｔonと非点灯期間Ｔoffを加算した期間が１フレーム期間Ｔfrに相当する。
【０００４】
このインパルス型画像表示装置で、静止した背景ＢＧ上を動物体ＯＢが水平に動くような画像の表示を行う場合、画面内の１水平ライン上での時間経過に伴う動物体の表示位置の変化は図２９示すものとなる。なお、図２９において、横軸は画面上で水平方向の水平画素位置を示しており、縦軸は時間の経過を示している。
【０００５】
ここで、動物体ＯＢを観察するときには、注視する方向が矢印Ａに示すように移動することとなり、動物体ＯＢが動いてきた軌跡方向の輝度変化の時間積分値が明るさとして人の目に感じられる。また、インパルス型画像表示装置では、あるフレームの画像更新から次のフレームの画像更新までの殆どの期間が非点灯期間Ｔoffであり、輝度の時間積分の値に寄与しない。その結果、観察者には、静止する背景と動物体との境界において明るさの差が明瞭となり、背景ＢＧと動物体ＯＢとがくっきりと見分けられる。
【０００６】
一方、ホールド型表示素子を用いた画像表示装置（以下「ホールド型画像表示装置」という）では、図３０に示すホールド発光動作が行われて、画像が表示される点灯期間Ｔonが１フレーム期間Ｔfrとされている。なお、図３０において横軸は時間の経過を示しており縦軸は出力輝度を示している。
【０００７】
このホールド型画像表示装置で、静止した背景ＢＧ上を動物体ＯＢが水平に動くような画像の表示を行う場合、画面内の１水平ライン上での時間経過に伴う動物体の表示位置の変化は図３１に示すものとなる。なお、図３１において、横軸は画面上で水平方向の水平画素位置を示しており、縦軸は時間の経過を示している。
【０００８】
ここで、動物体ＯＢを観察するときには、注視する方向が矢印Ａに示すように移動することとなり、動物体ＯＢが動いてきた軌跡方向の輝度変化の時間積分値が明るさとして人の目に感じられる。また、点灯期間Ｔonが１フレーム期間Ｔfrであるため、動物体ＯＢが１フレーム期間留まって表示される。このため、動物体ＯＢが動いてきた軌跡方向の輝度変化の時間積分には、静止する背景ＢＧと動物体ＯＢとの境界において明るさの差がはっきりと現れず、観察者の目には画像のぼけ（以下「ホールドぼけ」という）として見えてしまう。
【０００９】
このため、ホールド型画像表示装置における動画品質の劣化を改善するため、図３２に示す疑似インパルス法の発光動作が行われて、画像が表示される点灯期間Ｔonを１フレーム期間Ｔfrの半分程度に減らして非点灯期間Ｔoffが設けられている。この疑似インパルス法では、例えば黒画像挿入や間欠バックライト駆動を行うことで非点灯期間Ｔoffが設けられている。なお、図３２において横軸は時間の経過を示しており縦軸は出力輝度を示している。
【００１０】
疑似インパルス法を用いたホールド型画像表示装置で、静止した背景ＢＧ上を動物体ＯＢが水平に動くような画像の表示を行う場合、画面内の１水平ライン上での時間経過に伴う動物体ＯＢの表示位置の変化は図３３に示すものとなる。したがって、点灯期間Ｔonが１／２フレーム期間程度となるため、ホールドぼけを改善することができる。しかし、疑似インパルス法を採用したホールド型画像表示装置では、点灯期間Ｔonが半分程度されていることから、例えばバックライトの輝度が疑似インパルス法を用いていないホールド型画像表示装置と等しいものとすると、疑似インパルス法を用いていないホールド型画像表示装置に比べて、表示される画像の輝度が低下したものとなってしまう。
【００１１】
そこで、特許文献１の発明では、１フレーム分の入力画像信号に対して、前半および後半の２つのサブフレーム期間を用いて画像表示を行うことにより、疑似インパルス法を用いていないホールド型画像表示装置と同程度の最大輝度を確保しつつ、可能な範囲でホールドぼけの改善など動画品質の改善を図ることが開示されている。例えば特許文献１の発明では、入力される画像信号の階調レベルが０％以上５０％未満である場合には、前半のサブフレーム期間において０％〜１００％の階調レベルの画像信号を供給し、後半のサブフレーム期間において０％の階調レベルの画像信号を供給する。また、入力階調レベルが５０％以上１００％以下である場合には、前半のサブフレーム期間において０％〜１００％の階調レベルの画像信号を供給し、後半のサブフレーム期間において１００％の階調レベルの画像信号を供給する。このような画像表示方法によって、従来と同程度の最大輝度やコントラストを確保しつつ、入力される画像信号の階調レベルがある程度以上小さい場合には、動画品質の向上を図ることができる。
【００１２】
また、特許文献２には、特許文献１の場合と同様に、疑似インパルス法を用いた画像表示装置における輝度低下を抑制するために、フレーム期間に複数のサブフレーム期間を設けて、後続するサブフレーム期間の輝度を、入力画像信号の輝度値に応じて所定割合で減衰させる方法が開示されている。これにより、後続するサブフレームの輝度値が、先行するサブフレームの輝度値に対して所定割合で減衰されているので、一般的なホールド型表示装置における視覚的な動画像の流れによる不鮮明化を防止することができる。また、後続するサブフレーム期間では、入力画像信号の輝度値に応じて所定割合で減衰させており、０％ではない輝度値で表示されているので、非点灯期間を設ける画像表示装置に比べて輝度低下を抑制することができる。
【００１３】
さらに、特許文献３には、連続して入力された２つのフレームの画像に対して時間的に中間状態のフレーム画像を推定して、２サブフレーム期間における一方のサブフレームα期間において、入力される画像信号の階調レベルが一意的に定められている閾値以下の場合には、入力される画像信号の階調レベルに応じて増減される階調レベルの画像信号を画像表示部に供給し、入力される画像信号の階調レベルが閾値よりも大きい場合には最大または所定値より大きい階調レベルの画像信号を画像表示部に供給することが開示されている。また、他方のサブフレームβ期間において、中間状態のフレーム画像における画像信号の階調レベルが閾値以下の場合には最小または所定値より小さい階調レベルの画像信号を画像表示部に供給し、中間状態のフレームの画像における階調レベルが閾値よりも大きい場合には、中間状態のフレームの画像における画像信号の階調レベルに応じて増減される階調レベルの画像信号を画像表示部に供給することが開示されている。
【００１４】
このように、サブフレーム期間を設けてサブフレーム期間の輝度値を調整することで、表示される画像の輝度を低下させることなく、動画品質の向上を図ることができる。なお、サブフレーム期間を設けてサブフレーム期間の輝度値を調整する方法を以下サブフレーム法と呼ぶものとする。
【００１５】
【特許文献１】特開２００１−２９６８４１号公報
【特許文献２】特開２００２−２３７０７号公報
【特許文献３】特開２００５−１７３５７３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
ところで、上述のサブフレーム法は、出力輝度が低輝度〜中輝度の範囲であるときは、１個以上のサブフレームが黒表示になるため、動画品質を向上させることができる。しかし、画像の輝度が高輝度領域であるときは、いずれのサブフレームも黒表示とならない。
【００１７】
図３４は、例えばフレーム期間Ｔfrを２つのサブフレーム期間Ｔf，Ｔbに分割した場合のサブフレーム法の発光動作を示している。出力輝度が低輝度〜中輝度の範囲であるときは、１つのサブフレーム期間が非点灯期間Ｔoffとなる。この場合、疑似インパルス法と同様な動作となり、１つのサブフレームが黒表示になるため、ホールドぼけが抑制されて動画品質を向上させることができる。しかし、出力輝度が高輝度となると、いずれのサブフレーム期間Ｔf，Ｔbも黒表示とならず、疑似インパルス法と同様な動作とならない。さらに、画像が「白」となり出力輝度が最大となると、２つのサブフレーム期間Ｔf，Ｔbの輝度も最大となり、サブフレームを設けていない場合と同等の動作となってしまう。
【００１８】
このように、サブフレーム法では、出力輝度が高輝度であるときホールドぼけが抑制されなくなり、動画品質を向上させることができなくなってしまう。
【００１９】
また、動き補償を行い新たなフレームを生成する方法では、動き補償で誤りを生じたとき、この誤りによって表示画像にジャーキネス（動き劣化）を招いてしまう。
【００２０】
例えば図３５に示すように、フレームＦnとフレームＦ(n+1）の画像から動く字幕「ＡＢＣ」である動物体ＯＢの動き補償を行ったサブフレームＦnsbの画像を生成する場合、動きを求めるため全画面をブロックに分割したとき、動物体ＯＢのブロックに背景ＢＧaが混入して、動物体ＯＢとともに背景ＢＧaが動いているものと誤って検出されると、サブフレームＦnsbの画像では動物体ＯＢとともにブロック内に含まれた背景ＢＧaも動いてしまう。このため、入力された画像信号に基づくフレームＦn，Ｆ(n+1)の背景の位置と、新たに生成したサブフレームＦnsbにおける背景の位置が異なるものとなり、ジャーキネスを生じたものとなってしまう。
【００２１】
そこで、この発明では、ホールドぼけを改善できるだけでなくジャーキネスを目立たなくして動画品質を向上させるものである。
【課題を解決するための手段】
【００２２】
この発明の概念は、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う。また、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成してサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行い、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とするものである。
【００２３】
この発明の画像信号処理装置は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理装置において、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定部と、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換部と、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償部と、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換部と、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換部で輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換部を有するものである。
【００２４】
この発明の画像信号処理方法は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理方法において、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換ステップと、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換ステップと、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを設けたものである。
【００２５】
この発明に係る画像表示装置は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成して、この出力画像信号に基づいて画像表示を行う画像表示装置において、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定部と、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換部と、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償部と、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換部と、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換部で輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換部と、出力切換部から出力される出力画像信号に基づいて画像表示を行う表示部を有するものである。
【００２６】
この発明に係るプログラムは、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理をコンピュータで行わせる画像信号処理プログラムにおいて、画像信号処理プログラムには、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換ステップと、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換ステップと、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを有するものである。
【００２７】
この発明に係る記録媒体は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理をコンピュータで行わせる画像信号処理プログラムが記録された記録媒体において、画像信号処理プログラムは、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換ステップと、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換ステップと、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを有するものである。
【００２８】
さらに、この発明に係る記録媒体は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行って生成された出力画像信号が記録された記録媒体において、出力画像信号は、入力画像信号の輝度値が予め設定された閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする第１輝度値変換と、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成してサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする第２輝度値変換が行われて、入力画像信号の輝度値が閾値以下であるとき、第１輝度値変換で得られたサブフレーム画像信号とされて、入力画像信号の輝度値が閾値を超えるとき、第２輝度値変換で得られた動き補償画像信号とサブフレーム画像信号とされた信号である。
【発明の効果】
【００２９】
この発明によれば、入力画像信号の輝度値が閾値以下であるとき、出力画像信号は、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする第１輝度値変換が行われたサブフレーム画像信号とされる。また、入力画像信号の輝度値が閾値を超えるとき、出力画像信号は、入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成してサブフレーム画像信号として用い、入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換が行われた動き補償画像信号とサブフレーム画像信号とされる。
【００３０】
このため、出力画像信号に基づく表示画像を、ホールドぼけが改善されているだけでなくジャーキネスを目立たなくして動画品質を向上させるものとすることができる。
【発明を実施するための最良の形態】
【００３１】
以下、図を参照しながら、この発明の実施の一形態について説明する。本願発明では、入力画像の画像信号における１フレーム期間をｎ(ｎは２以上の整数)個のサブフレーム期間に分割して、サブフレーム周期のサブフレーム画像信号を生成する。また、入力画像の輝度値が低輝度〜中輝度であるときは、疑似インパルス法やサブフレーム法のように非点灯期間Ｔoffを設けることでホールドぼけを改善する。さらに、高輝度であるとき、疑似インパルス法では高輝度で画像表示を行うことができず、サブフレーム法では各サブフレームの出力輝度が高くなりホールドぼけを抑制できない。このため、入力画像の輝度値が高輝度であるときは、動き補償を行うことにより得られた動き補償画像をサブフレーム画像として用いることで時間解像度を向上させてホールドぼけを抑制する。さらに、動き補償画像をサブフレーム画像として用いるものとしても、ジャーキネスが目立たないように輝度値変換を行うものである。なお、以下の説明では、発明の理解を容易とするため、１フレーム期間を２つのサブフレーム期間に分割した場合を示している。
【００３２】
図１は、画像信号処理装置の構成を示している。入力画像信号ＤＶinは、画像信号処理装置１０aの輝度値判定部１１とＦＩＦＯ型メモリ１２に供給される。また、入力画像信号ＤＶinの同期信号ＳＹinは制御部８１に供給される。
【００３３】
輝度値判定部１１は、入力画像信号ＤＶinの輝度値が予め設定されている閾値ＲＬ以下であるか否かを判別して、判別結果を示す判定信号ＪＡをＦＩＦＯ型メモリ１２に供給する。例えば、画像表示を行う表示素子において、入力信号の輝度値に対する表示輝度が図２に示す特性であるとき、表示輝度が最大輝度ＢＲmaxの１／２となる入力信号の輝度値を閾値ＲＬに予め設定して、入力画像信号ＤＶinの輝度値が閾値ＲＬ以下であるか否かを示す判定信号ＪＡを画素毎に生成して、ＦＩＦＯ型メモリ１２に供給する。
【００３４】
ＦＩＦＯ型メモリ１２は、入力画像信号ＤＶinを順次記憶する。また、ＦＩＦＯ型メモリ１２は、入力画像信号ＤＶinの各画素の輝度値判定結果を示す判定信号ＪＡを入力画像信号ＤＶinと関係付けて順次記憶する。例えば入力画像信号ＤＶinが８ビットの信号で判定信号ＪＡが１ビットの信号であるとき、８ビットの画像信号に１ビットの判定信号ＪＡを付加して９ビットの信号として順次記憶する。また、ＦＩＦＯ型メモリ１２は、記憶した入力画像信号ＤＶinを、フレーム毎に入力画像信号ＤＶinの２倍の速度で繰り返し読み出すことで前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成して、第１輝度値変換部２１とフレームメモリ３１に供給する。なお、ＦＩＦＯ型メモリ１２は、読み出した画像信号に付加されている判定信号ＪＡも、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbとともに第１輝度値変換部２１とフレームメモリ３１に供給する。
【００３５】
第１輝度値変換部２１は、入力画像信号ＤＶinの輝度値が閾値ＲＬ以下である画像に対して輝度値変換を行うものである。第１輝度値変換部２１は、入力画像信号ＤＶinの１フレーム期間分のサブフレーム画像信号で入力画像信号ＤＶinの１フレーム期間の表示輝度が得られるように、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbに対して輝度値変換を行う。
【００３６】
ここで、第１輝度値変換部２１は、輝度値変換を容易に行うことができるように、図２に示す特性に応じたルックアップテーブルを予め設けておき、このルックアップテーブルを用いて輝度値変換を行う。
【００３７】
図３は、第１輝度値変換部２１の第１輝度値変換特性を示している。第１輝度値変換部２１は、輝度値変換後の前サブフレーム画像信号ＤＶslfによって、１フレーム期間の表示輝度が得られるように、前サブフレーム画像信号ＤＶsfの表示輝度を２倍とする変換特性ＴＣaで輝度値変換を行う。例えば、前サブフレーム画像信号ＤＶsfの輝度値が閾値ＲＬとなったとき、表示画像の輝度値が最大輝度ＢＲmaxとなるように、前サブフレーム画像信号ＤＶsfの輝度値を「Ｌmax」に変換する。
【００３８】
また、第１輝度値変換部２１は、前サブフレーム画像信号ＤＶslfによって、入力画像信号ＤＶinの１フレーム期間の表示輝度を得られることから、後サブフレームの画像は黒画像となるように、後サブフレーム画像信号ＤＶsbの輝度値を変換特性ＴＣbで輝度値変換して後サブフレーム画像信号ＤＶslbを生成する。すなわち、後サブフレーム画像信号ＤＶsbの輝度値に拘わらず後サブフレーム画像信号ＤＶslbの輝度値を最小輝度値あるいは第１所定輝度値以下とする。例えば図３では、後サブフレーム画像信号ＤＶslbの輝度値を最小輝度値「０」としている。第１所定輝度値は、値を大きくすると黒画面表示を行うことができなくなることから、所望の最低輝度が得られるように値を設定する。
【００３９】
なお、第１輝度値変換部２１は、入力画像信号ＤＶinの輝度値が閾値ＲＬ以下である画像に対して輝度値変換を行うものである。このため、入力画像信号ＤＶinの輝度値が閾値ＲＬを超えるときには、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値に拘わらず、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbの輝度値を最小輝度値「０」、あるいは前サブフレーム画像信号ＤＶslfの輝度値を最大輝度値「Ｌmax」、後サブフレーム画像信号ＤＶslbの輝度値を最小輝度値「０」とする。
【００４０】
このように、第１輝度値変換部２１は、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbに対して輝度値変換を行い、輝度値変換によって得られた前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを遅延部６１に供給する。
【００４１】
フレームメモリ３１は、動き補償画像を生成するためにＦＩＦＯ型メモリ１２から供給された前サブフレーム画像信号ＤＶsf（あるいは後サブフレーム画像信号ＤＶsb）を記憶するものである。このフレームメモリ３１には動き補償部３２が接続されている。
【００４２】
動き補償部３２は、フレームメモリ３１に記憶されている前サブフレーム画像信号ＤＶsf（あるいは後サブフレーム画像信号ＤＶsb）を用いて動き補償を行い、動き補償画像信号を生成する。例えば時間的に連続する２つの前サブフレーム画像信号ＤＶsfを用いて動き補償を行い、２つの前サブフレーム画像の時間的中間位置となる画像を示す動き補償画像信号を生成する。さらに、動き補償部３２は、生成した動き補償画像信号を後サブフレーム画像信号ＤＶsbmとして、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbmを第２輝度値変換部３３に供給する。
【００４３】
第２輝度値変換部３３は、入力画像信号ＤＶinの輝度値が閾値ＲＬよりも高い画像に対して輝度値変換を行うものである。第２輝度値変換部３３は、入力画像信号ＤＶinの１フレーム期間分のサブフレーム画像信号で入力画像信号ＤＶinの１フレーム期間の表示輝度が得られるように、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbmに対して輝度値変換を行う。
【００４４】
ここで、第２輝度値変換部３３は、第１輝度値変換部２１と同様に、図２に示す特性に応じたルックアップテーブルを予め設けておき、このルックアップテーブルを用いて輝度値変換を行う。
【００４５】
図４は、第２輝度値変換部３３の第２輝度値変換特性を示している。第２輝度値変換部３３は、輝度値変換後の後サブフレーム画像信号ＤＶshbによって、入力画像信号ＤＶinの輝度値が閾値ＲＬであるときの１フレーム期間の表示輝度が得られるように、後サブフレーム画像信号ＤＶsbmに対して変換特性ＴＣdで輝度値変換を行う。すなわち、後サブフレーム画像信号ＤＶsbmの輝度値に拘わらず後サブフレーム画像信号ＤＶshbの輝度値を最高輝度値あるいは第１所定輝度値よりも高い第２所定輝度値以上とする。例えば図４では、後サブフレーム画像信号ＤＶshbの輝度値を最高輝度値「Ｌmax」としている。第２所定輝度値は、値を小さくすると白画面で輝度が低下することから所望の最高輝度が得られるように値を設定する。
【００４６】
また、第２輝度値変換部３３は、後サブフレーム画像信号ＤＶshbによって、入力画像信号ＤＶinの輝度値が閾値ＲＬであるときの１フレーム期間の表示輝度が得られることから、前サブフレーム画像で閾値ＲＬの超過分について１フレーム期間の表示輝度を得られるように、前サブフレーム画像信号ＤＶsfに対して変換特性ＴＣcで輝度値変換を行い、前サブフレーム画像信号ＤＶshfを生成する。なお、第２輝度値変換部３３は、入力画像信号ＤＶinの輝度値が閾値ＲＬを超える画像に対して輝度値変換を行うものである。このため、入力画像信号ＤＶinの輝度値が閾値ＲＬ以下であるときには、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbmの輝度値に拘わらず、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbの輝度値を最小輝度値「０」、あるいは前サブフレーム画像信号ＤＶshfの輝度値を最小輝度値「０」、後サブフレーム画像信号ＤＶshbの輝度値を最高輝度値「Ｌmax」とする。
【００４７】
このように、第２輝度値変換部３３は、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbmに対して輝度値変換を行い、輝度値変換によって得られた前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを出力切換部６２に供給する。
【００４８】
遅延部６１は、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbの生成に要する時間だけ、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを遅延させて、第２輝度値変換部３３から出力切換部６２に供給される前サブフレーム画像信号ＤＶslfに同期して、前サブフレーム画像信号ＤＶslfを出力切換部６２に供給する。また、第２輝度値変換部３３から出力切換部６２に供給される後サブフレーム画像信号ＤＶslbに同期して後サブフレーム画像信号ＤＶslbを出力切換部６２に供給する。なお、出力切換部６２に供給されるサブフレーム画像信号には、判定信号ＪＡを付加しておくものとする。
【００４９】
出力切換部６２は、判定信号ＪＡに基づき輝度値が閾値ＲＬ以下であることを判別したとき、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを選択して出力画像信号ＤＶoaとする。また、出力切換部６２は、判定信号ＪＡに基づき輝度値が閾値ＲＬを超えることを判別したとき、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを選択して出力画像信号ＤＶoaとする。この出力画像信号ＤＶoaを例えば表示装置１００に供給して画像表示を行う。また、出力画像信号ＤＶoaを、光ディスクや半導体メモリあるいは磁気テープ等の記録媒体１０１に記録して頒布等を行えるようにしてもよい。
【００５０】
制御部８１には、入力画像信号ＤＶinの同期信号ＳＹinが供給される。制御部８１は、同期信号ＳＹinに同期して制御信号ＣＴa，ＣＴb，ＣＴcを生成する。制御部８１は、生成した制御信号ＣＴaをＦＩＦＯ型メモリ１２に供給することで、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成される。また、制御部８１は、生成した制御信号ＣＴbを動き補償部３２に供給することで、後サブフレーム画像信号ＤＶsbmを生成させる。さらに、aをＦＩＦＯ型メモリ１２に供給することで、制御部８１は、生成した制御信号ＣＴcを遅延部６１に供給して、遅延部６１の遅延時間を制御する。
【００５１】
次に、図５〜図１１を用いて動作について説明する。図５は入力画像信号ＤＶinに基づく入力画像を示しており、図５の（Ａ）は、文字「ＡＢＣ」が動物体ＯＢであって、動物体ＯＢの輝度値「Ｌob」と背景ＢＧの輝度値「Ｌbg」がともに閾値ＲＬ以下であるときの画像を示している。また、図５の（Ｂ）は、動物体ＯＢの輝度値「Ｌob」が閾値ＲＬを超えており、背景ＢＧの輝度値「Ｌbg」が閾値ＲＬ以下である場合を示している。さらに、図５の（Ｃ）は、動物体ＯＢの輝度値「Ｌob」と背景ＢＧの輝度値「Ｌbg」がともに閾値ＲＬを超えている場合を示している。
【００５２】
図６の（Ａ）は入力画像信号ＤＶinを示している。なお、図６の（Ａ）におけるフレームＦ1，Ｆ2は図５の（Ａ）に示す輝度値のフレーム、フレームＦ11，Ｆ12は図５の（Ｂ）に示す輝度値のフレームとする。また、フレームＦ21，Ｆ22は図５の（Ｃ）に示す輝度値のフレームとする。また、各フレームおよび後述するサブフレームでは動物体ＯＢと背景ＢＧの輝度値をそれぞれ示している。
【００５３】
入力画像信号ＤＶinをＦＩＦＯ型メモリ１２に書き込み、書き込まれた画像信号を２倍のフレームレートで読み出すことで、図６の（Ｂ）に示すように前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成できる。例えば、入力画像信号ＤＶinのフレームＦ1から前サブフレームＦ1fの画像信号と，後サブフレームＦ1bの画像信号が生成される。また、入力画像信号ＤＶinの他のフレームでも同様にして、前サブフレームＦ1fと後サブフレームＦ1bの画像信号が生成される。
【００５４】
図６の（Ｃ）は、第１輝度値変換部２１からの輝度値変換後の前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを示している。また、図６の（Ｄ）は、第２輝度値変換部３３からの輝度値変換後の前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを示している。図６の（Ｄ）は、出力切換部６２から出力される出力画像信号ＤＶoaを示している。
【００５５】
なお、図６では、動作の理解が容易となるように、入力画像信号のフレームとサブフレーム画像信号のサブフレームを同期させて図示している。また、入力画像信号の輝度値が閾値ＲＬを超えているときの前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslb、および入力画像信号の輝度値が閾値ＲＬ以下であるときの前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbの輝度値は、「０」としている。
【００５６】
ここで、例えば動物体ＯＢの輝度値「Ｌob」と背景ＢＧの輝度値「Ｌbg」がともに閾値ＲＬ以下であるフレームＦ1から生成されたサブフレームＦ1f，Ｆ1bにおいて、第１輝度値変換部２１は、前サブフレームＦ1fに対して図３に示す変換特性ＴＣaで輝度値変換を行うことから、前サブフレームＦ1fにおける動物体ＯＢは輝度値「Ｌobl」、背景ＢＧは輝度値「Ｌbgl」に変換される。また、第１輝度値変換部２１は、後サブフレームＦ1bに対して図３に示す変換特性ＴＣbで輝度値変換を行うことから、動物体ＯＢと背景ＢＧの輝度値が「０」に変換される。なお、動物体ＯＢの輝度値「Ｌob」と背景ＢＧの輝度値「Ｌbg」がともに閾値ＲＬ以下であることから、第２輝度値変換部３３から出力される前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbは「０」となる。また、フレームＦ2から生成されたサブフレームＦ2f，Ｆ2bについても同様に処理される。
【００５７】
次に、動物体ＯＢの輝度値「Ｌob」が閾値ＲＬを超えており、背景ＢＧの輝度値「Ｌbg」が閾値ＲＬ以下であるフレームＦ11から生成されたサブフレームＦ11f，Ｆ11bにおいて、第１輝度値変換部２１は、前サブフレームＦ11fに対して図３に示す変換特性ＴＣaで輝度値変換を行うことから、前サブフレームＦ11fにおける背景ＢＧは輝度値「Ｌbgl」に変換される。なお、動物体ＯＢの輝度値は閾値ＲＬを超えていることから変換後の輝度値は「０」となる。また、第１輝度値変換部２１は、後サブフレームＦ11bに対して図３に示す変換特性ＴＣbで輝度値変換を行うことから、背景ＢＧの輝度値が「０」に変換される。なお、動物体ＯＢの輝度値は閾値ＲＬを超えていることから変換後の後サブフレームの輝度値も「０」となる。第２輝度値変換部３３は、前サブフレームＦ11fに対して図４に示す変換特性ＴＣcで輝度値変換を行うことから、前サブフレームＦ11fにおける動物体ＯＢは輝度値「Ｌobh」に変換される。なお、背景ＢＧの輝度値は閾値ＲＬ以下であることから変換後の輝度値は「０」となる。また、第２輝度値変換部３３は、後サブフレームＦ11bに対して図４に示す変換特性ＴＣdで輝度値変換を行うことから、動物体ＯＢの輝度値が「Ｌmax」に変換される。なお、背景ＢＧの輝度値は閾値ＲＬ以下であることから変換後の後サブフレームの輝度値も「０」となる。また、フレームＦ12から生成されたサブフレームＦ12f，Ｆ12bについても同様に処理される。
【００５８】
動物体ＯＢの輝度値「Ｌob」と背景ＢＧの輝度値「Ｌbg」がともに閾値ＲＬを超えるフレームＦ21から生成されたサブフレームＦ21f，Ｆ21bにおいて、第２輝度値変換部３３は、前サブフレームＦ21fに対して図４に示す変換特性ＴＣcで輝度値変換を行うことから、前サブフレームＦ21fにおける動物体ＯＢは輝度値「Ｌobh」、背景ＢＧは輝度値「Ｌbgh」に変換される。また、第２輝度値変換部３３は、後サブフレームＦ2bに対して図４に示す変換特性ＴＣdで輝度値変換を行うことから、動物体ＯＢと背景ＢＧの輝度値が「Ｌmax」に変換される。なお、動物体ＯＢの輝度値「Ｌob」と背景ＢＧの輝度値「Ｌbg」がともに閾値ＲＬを超えていることから、第１輝度値変換部２１から出力される前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbは「０」となる。また、フレームＦ22から生成されたサブフレームＦ22f，Ｆ22bについても同様に処理される。
【００５９】
出力切換部６２は、入力画像信号の輝度値が閾値ＲＬ以下であるとき、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを選択する。また、輝度値が閾値ＲＬを超えるとき、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを選択する。したがって、出力切換部６２から出力される出力画像信号ＤＶoaは図６の（Ｅ）に示すようになる。
【００６０】
出力切換部６２から出力される出力画像信号ＤＶoaに基づいて画像表示を行う場合、動物体ＯＢと背景ＢＧの輝度値がともに閾値ＲＬ以下であるときは、図７の（Ａ）に示すように表示が行われる。すなわち、サブフレーム法と同様な画像表示が行われる。また、動物体ＯＢの輝度値が閾値ＲＬを超えて、背景ＢＧの輝度値が閾値ＲＬ以下であるときは、図７の（Ｂ）に示すように、後サブフレームで動物体ＯＢについて動き補償がなされた画像が表示されることとなり、ホールドぼけを軽減することができる。また、動物体ＯＢと背景の輝度値が閾値ＲＬを超えるときは、図７の（Ｃ）に示すように、後サブフレームで動物体ＯＢについて動き補償がなされた画像が表示されることとなり、ホールドぼけを軽減することができる。
【００６１】
図８は、背景ＢＧの輝度値が閾値ＲＬ以下で動物体ＯＢの輝度値が閾値ＲＬを超えるときの表示画像を示しており、図８の（Ａ）は入力画像信号ＤＶinに基づく画像、図８の（Ｂ）は出力画像信号ＤＶoaに基づく表示画像を示している。また、図８の（Ｃ）〜（Ｆ）は、従来の方法を用いて生成された画像信号に基づく表示画像を示しており、図８の（Ｃ）はサブフレーム法を用いたときの表示画像、図８の（Ｄ）はフレームを繰り返してフレームレートを２倍としたときの表示画像である。また、図８の（Ｅ）は疑似インパルス法を用いたときの表示画像、図８の（Ｆ）は動き補償を行うことにより得られた動き補償画像のフレームを用いてフレームレートを２倍としたときの表示画像である。
【００６２】
図８の（Ｂ）において、前サブフレームＦ11f，12fでは、図６の（Ｅ）から明らかなように、動物体ＯＢが輝度値「Ｌobh」，背景ＢＧが輝度値「Ｌbgl」で表示される。次に、後サブフレームＦ11b，12bでは、動物体ＯＢが輝度値「Ｌmax」，背景ＢＧが輝度値「０」で表示される。また、後サブフレームＦ11b，12bで表示される動物体ＯＢは動き補償を行うことにより得られた画像であり、前サブフレームＦ11fと前サブフレームＦ12fの時間的中間の位置に表示される。
【００６３】
このため、図８の（Ｃ）や図８の（Ｄ）に比べてホールドぼけを改善して動画品質を向上できる。また、図８の（Ｅ）に示すように表示画像が暗くなってしまうこともない。さらに、図８の（Ｆ）に示す場合には、動き補償を行うときに動物体ＯＢのブロックに背景ＢＧが含まれて、動物体ＯＢの動きが背景ＢＧの動きとして誤って検出されると、動物体ＯＢとともに背景ＢＧも動いてしまいジャーキネスを生じるおそれがある。しかし、出力画像信号ＤＶoaにおいて、動き補償画像を示す後サブフレームＦ11b，12bでは、背景ＢＧが含まれていないことから、図８の（Ｆ）に示す場合に生じるジャーキネスを防止できる。
【００６４】
図９は、背景ＢＧの輝度値と動物体ＯＢの輝度値が閾値ＲＬを超えるときの表示画像を示しており、図９の（Ａ）は入力画像信号ＤＶinに基づく画像、図９の（Ｂ）は出力画像信号ＤＶoaに基づく表示画像を示している。また、図９の（Ｃ）〜（Ｆ）は、従来の方法を用いて生成された画像信号に基づく表示画像を示しており、図９の（Ｃ）は、サブフレーム法を用いたときの表示画像、図９の（Ｄ）はフレームを繰り返してフレームレートを２倍としたときの表示画像である。また、図９の（Ｅ）は疑似インパルス法を用いたときの表示画像、図９の（Ｆ）は動き補償を行うことにより得られた動き補償画像のフレームを用いてフレームレートを２倍としたときの表示画像である。
【００６５】
図９の（Ｂ）において、前サブフレームＦ21f，22fでは、図６の（Ｅ）から明らかなように、動物体ＯＢが輝度値「Ｌobh」、背景ＢＧが輝度値「Ｌbgh」で表示される。次に、後サブフレームＦ21b，22bでは、背景ＢＧと動物体ＯＢが輝度値「Ｌmax」で表示される。また、後サブフレームＦ21b，22bで表示される動物体ＯＢは動き補償を行うことにより得られた画像であり、前サブフレームＦ21fと前サブフレームＦ22fの時間的中間の位置に表示される。
【００６６】
このため、図９の（Ｃ）や図９の（Ｄ）に比べてホールドぼけを改善して動画品質を向上できる。また、図９の（Ｅ）に示すように表示画像が暗くなってしまうこともない。さらに、図９の（Ｆ）に示す場合には、動き補償を行うときに動物体ＯＢのブロックに背景ＢＧが含まれて、動物体ＯＢの動きが背景ＢＧの動きとして誤って検出されると、動物体ＯＢとともに背景ＢＧも動いてしまいジャーキネスを生じるおそれがある。しかし、出力画像信号ＤＶoaにおいて、動き補償画像を示す後サブフレームＦ21b，22bでは、背景ＢＧが輝度値「Ｌmax」とされているので、図９の（Ｆ）に示す場合に生じるジャーキネスを防止できる。
【００６７】
ここで、動き補償において生じたジャーキネスが表示画像に現れてしまうことを防止できることについて図１０と図１１を用いて説明する。
【００６８】
例えば、ブロックマッチング法で動きベクトルを求めて、この動きベクトルを利用して動き補償画像を生成する場合、図１０の（Ａ）に示す画像に対してブロック化を行ったときに動物体ＯＢのブロック内に背景ＢＧが含まれると、動きベクトルに基づいて動物体ＯＢのブロックを移動させると、動き補償画像では図１０の（Ｂ）に示すように、背景ＢＧも移動されてしまう現象を生じてしまう。このため、例えば移動された背景にエッジが含まれていると、サブフレーム周期でエッジの位置が振動してジャーキネスを生じてしまう。しかし、図１０の（Ａ）に示す画像の前サブフレーム画像と図１０の（Ｂ）に示す動き補償画像である後サブフレーム画像に対して輝度値変換を行うと、背景ＢＧの輝度値が閾値ＲＬ以下であって動物体ＯＢの輝度値が閾値ＲＬを超えている場合、輝度値変換後の前サブフレーム画像は図１０の（Ｃ）、輝度値変換後の後サブフレーム画像は図１０の（Ｄ）に示すものとなる。
【００６９】
同様に、図１１の（Ａ）が前サブフレーム画像であり、動物体ＯＢのブロック内に背景ＢＧが含まれて動き補償が行われると、動き補償画像である後サブフレーム画像は、図１１の（Ｂ）に示すようにエッジの巻き込みを生じた画像となる。しかし、図１１の（Ａ）に示す画像の前サブフレーム画像と図１１の（Ｂ）に示す動き補償画像である後サブフレーム画像に対して輝度値変換を行うと、動物体ＯＢと背景ＢＧの輝度値が閾値ＲＬを超えている場合、輝度値変換後の前サブフレーム画像は図１１の（Ｃ）、輝度値変換後の後サブフレーム画像は図１１の（Ｄ）に示すものとなる。
【００７０】
したがって、動き補償画像であるサブフレーム画像では、輝度値変換によってエッジの巻き込みが除去されることから、ジャーキネスが表示画像に現れてしまうことを防止できる。
【００７１】
このように、図１に示す画像信号処理装置１０aによれば、従来のサブフレーム方式で効果のなかった、高輝度かつエッジのくっきりとした動物体である、動物体（テロップ等）に対し、確実にホールドぼけを軽減できる。さらに、ホールドぼけ対策として、フレーム倍速で動き補償を行った際に生じるジャーキネスについても目立たなくすることができる。また、従来の方法に比べて画像信号処理装置の処理規模もそれほど大きくならず、コストアップを抑えて、動画品質を向上させることが可能となる。
【００７２】
ところで、上述の画像信号処理はハードウェアだけでなくソフトウェアで実現するものとしてもよい。この場合の構成を図１２に示す。コンピュータは、ＣＰＵ(Central Processing Unit)９０１を内蔵しており、このＣＰＵ９０１にはバス９２０を介してＲＯＭ(Read Only Memory)９０２，ＲＡＭ(Random Access Memory)９０３，ハードディスクドライブ(ＨＤＤ)９０４，入出力インタフェース９０５が接続されている。さらに、入出力インタフェース９０５には入力部９１１や記録媒体ドライブ９１２，通信部９１３，画像入力部９１４，画像出力部９１５が接続されている。
【００７３】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部９１１から命令が入力されると、この命令が入出力インタフェース９０５を介してＣＰＵ９０１に供給される。
【００７４】
ＣＰＵ９０１は、ＲＯＭ９０２やＲＡＭ９０３あるいはハードディスクドライブ９０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ９０２やＲＡＭ９０３あるいはＨＤＤ９０４には、上述の画像信号処理装置１０aと同様な処理をコンピュータで実行させるための画像処理プログラムと画像データベースを予め記憶させて、画像入力部９１４に入力された入力画像信号ＤＶinに基づき、画像信号処理を行い、ホールドぼけの軽減やジャーキネスが防止された出力画像信号ＤＶoaを生成して画像出力部９１５から出力する。また、出力画像信号ＤＶoaを通信部９１３から出力したり、記録媒体ドライブ９１２によって、光ディスクや半導体メモリあるいは磁気テープ等の記録媒体に記録する。
【００７５】
また、画像信号処理プログラムを上述のような記録媒体に記録しておき、記録媒体ドライブ９１２によって、画像信号処理プログラムを記録媒体から読み出してコンピュータで実行して画像信号処理を行うものとしてもよい。さらに、通信部９１３によって、伝送路を介して画像処理プログラムの通信を行うものとし、受信した画像信号処理プログラムをコンピュータで実行するものとしてもよい。
【００７６】
図１３は、画像信号処理動作を示すフローチャートである。ステップＳＴ１でＣＰＵ９０１は輝度値判定処理を行う。ＣＰＵ９０１は、画像入力部９１４から入力された入力画像信号ＤＶinの画素毎の輝度値と閾値を比較して輝度値が閾値ＲＬ以下であるか否かを示す判定信号ＪＡを生成する。さらに、生成した判定信号ＪＡと入力画像信号ＤＶinを関係付けてメモリ例えばＲＡＭ９０３に記憶させてステップＳＴ２に進む。
【００７７】
ステップＳＴ２でＣＰＵ９０１は、サブフレーム画像信号の生成処理を行いステップＳＴ４に進む。ＣＰＵ９０１は、メモリに記憶された入力画像信号ＤＶinを、フレーム毎に入力画像信号ＤＶinの２倍の速度で繰り返し読み出して前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成してステップＳＴ３に進む。
【００７８】
ステップＳＴ３でＣＰＵ９０１は、輝度値が閾値ＲＬ以下であるか否かを判別する。ＣＰＵ９０１は、画像信号とともに読み出された判定信号ＪＡによって、輝度値が閾値ＲＬ以下であることが示されているときステップＳＴ４に進む。また、ＣＰＵ９０１は、判定信号ＪＡによって輝度値が閾値ＲＬを超えていることが示されているときステップＳＴ５に進む。
【００７９】
ステップＳＴ４でＣＰＵ９０１は第１輝度値変換処理を行う。ＣＰＵ９０１は、上述の第１輝度値変換部と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、得られた前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを出力画像信号ＤＶoaとして画像出力部９１５から出力する。あるいは、記録媒体ドライブ９１２に装着されている記録媒体に出力画像信号ＤＶoaを記録する。
【００８０】
ステップＳＴ５でＣＰＵ９０１は、動き補償処理を行う。ＣＰＵ９０１は、前サブフレーム画像信号ＤＶsf（あるいは後サブフレーム画像信号ＤＶsb）をメモリに記憶して、入力画像信号ＤＶinの連続する２フレームのサブフレーム画像信号を用いてブロックマッチング法等の動き補償処理を行い、動き補償画像の画像信号を生成する。さらに、生成した動き補償画像の画像信号を後サブフレーム画像信号ＤＶsbとしてステップＳＴ６に進む。
【００８１】
ステップＳＴ６でＣＰＵ９０１は第２輝度値変換処理を行う。ＣＰＵ９０１は、上述の第２輝度値変換部３３と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、得られた前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを出力画像信号ＤＶoaとして画像出力部９１５から出力する。あるいは、記録媒体ドライブ９１２に装着されている記録媒体に出力画像信号ＤＶoaを記録する。
【００８２】
この図１３に示す画像信号処理を、入力画像信号ＤＶinの各フレームに対して行うものとすれば、ホールドぼけを軽減させることができる。また、ジャーキネスを防止することができる。
【００８３】
ところで、図１に示す画像信号処理装置１０aでは、２つのメモリを用いるものとしたが、メモリを１つに集約するものとしてもよい。図１４は、画像信号処理装置の他の構成として、メモリを１つに集約した場合を示している。なお、図１４において、図１と対応する部分については同一符号を付し、詳細な説明は省略する。
【００８４】
図１４において、画像信号処理装置１０bのフレームメモリブロック１２ａには、入力画像信号ＤＶinと判定信号ＪＡを関係付けて順次記憶する。また、記憶した入力画像信号ＤＶinを、フレーム毎に入力画像信号ＤＶinの２倍の速度で繰り返し読み出して、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成して第１輝度値変換部２１に供給する。さらに、動き補償部３２は、フレームメモリブロック１２ａに記憶されている画像信号を用いて動き補償画像信号を生成して後サブフレーム画像信号ＤＶsbmとし、この後サブフレーム画像信号ＤＶsbmと前サブフレーム画像信号ＤＶsfを第２輝度値変換部３３に供給する。
【００８５】
このようにすれば、ＦＩＦＯ型メモリ１２とフレームメモリ３１を個々に設けなくとも、上述のように第１輝度値変換部２１と第２輝度値変換部３３で輝度値変換を行うことで、ホールドぼけを軽減できるので、より安価に画像信号処理装置を構成することができる。
【００８６】
ところで上述の実施形態は、サブフレーム画像信号を用いて動き補償を行うものとしたが、入力画像信号ＤＶinを用いて動き補償を行い、生成された動き補償画像の輝度値変換を行って後サブフレーム画像信号として用いるものとしても同様の作用効果を得ることができる。この場合の構成を図１５に示す。なお、図１５に示す画像信号処理装置１０cおいて、図１や図１４と対応する部分については同一符号を付し、詳細な説明は省略する。
【００８７】
第１輝度値変換部２１は、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbに対して、図３に示す第１輝度値変換特性で輝度値変換を行い、輝度値変換後の前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを出力切換部６２に供給する。
【００８８】
第２輝度値変換部３３は、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbに対して、図４に示す第２輝度値変換特性で輝度値変換を行い、輝度値変換後の前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを出力切換部６３に供給する。
【００８９】
入力画像信号ＤＶinが記憶されるフレームメモリ４１には、動き補償部４２が接続されている。動き補償部４２は、フレームメモリ４１に記憶されている入力画像信号ＤＶinを用いて動き補償を行い、動き補償画像信号ＤＶmcを生成する。例えば連続する２つのフレーム画像を用いて動き補償を行い、２つのフレーム間の時間的中間位置である画像を示す動き補償画像信号ＤＶmcを生成する。さらに、動き補償部４２は生成した動き補償画像信号ＤＶmcを第２輝度値変換部４３に供給する。
【００９０】
第２輝度値変換部４３は、図４に示す第２輝度値変換特性における変換特性ＴＣdで輝度値変換を行い、輝度値変換後の画像信号を後サブフレーム画像信号ＤＶsbmとして出力切換部６５に供給する。
【００９１】
出力切換部６３は、入力画像信号ＤＶinの輝度値が閾値ＲＬ以下であるとき、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを選択する。また、入力画像信号ＤＶinの輝度値が閾値ＲＬを超えるとき、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを選択する。この出力切換部６３で選択された前サブフレーム画像信号ＤＶsf-cと後サブフレーム画像信号ＤＶsb-cを遅延部６４に供給する。
【００９２】
遅延部６４は、出力切換部６３から供給された前サブフレーム画像信号ＤＶsf-cと後サブフレーム画像信号ＤＶsb-cを遅延させることで、第２輝度値変換部４３から供給された後サブフレーム画像信号ＤＶsbmと出力切換部６３から供給された後サブフレーム画像信号ＤＶsb-cを同期させる。
【００９３】
出力切換部６５は、遅延部６４から供給された前サブフレーム画像信号ＤＶsf-cを出力画像信号ＤＶoaとして出力する。また、入力画像信号ＤＶinの輝度値が閾値ＲＬ以下であるときは、遅延部６４から供給された後サブフレーム画像信号ＤＶsb-cを出力画像信号ＤＶoaとして出力する。さらに、入力画像信号ＤＶinの輝度値が閾値ＲＬを超えるときは、第２輝度値変換部４３から供給された後サブフレーム画像信号ＤＶsbmを出力画像信号ＤＶoaとして出力する。
【００９４】
このように画像信号処理装置１０cを構成すれば、輝度値が閾値ＲＬを超えるサブフレーム画像に対して動き補償を行った図１の画像信号処理装置１０aや図１４に示す画像信号処理装置１０bと同様な出力画像信号を、出力切換部６５から出力させることができる。
【００９５】
図１６は、ソフトウェアで処理を行う場合の動作を示すフローチャートである。ステップＳＴ１１でＣＰＵ９０１は輝度値判定処理を行う。ＣＰＵ９０１は、入力画像信号ＤＶinの輝度値と閾値ＲＬを比較して輝度値が閾値ＲＬ以下であるか否かを示す判定信号ＪＡを生成する。さらに、生成した判定信号ＪＡと入力画像信号ＤＶinを関係付けてメモリ例えばＲＡＭ９０３に記憶させてステップＳＴ１２に進む。
【００９６】
ステップＳＴ１２でＣＰＵ９０１は、動き補償処理を行う。ＣＰＵ９０１は、メモリに記憶されている入力画像信号ＤＶinの連続する２フレームの画像信号を用いてブロックマッチング法等の動き補償処理を行い、動き補償画像信号ＤＶmcを生成してステップＳＴ１３に進む。
【００９７】
ステップＳＴ１３でＣＰＵ９０１は、輝度値変換処理を行う。ＣＰＵ９０１は、メモリに記憶されている入力画像信号ＤＶinを、フレーム毎に入力画像信号ＤＶinの２倍の速度で繰り返し読み出して、前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成して、図３に示す第１輝度値変換特性と図４に示す第２輝度値変換特性で輝度値変換を行い、前サブフレーム画像信号ＤＶslf，ＤＶshfと後サブフレーム画像信号ＤＶslb，ＤＶshbを生成する。また、ＣＰＵ９０１は、動き補償画像信号ＤＶmcに対して図４に示す第２輝度値変換特性の変換特性ＴＣdで輝度値変換を行い、後サブフレーム画像信号ＤＶsbmを生成する。
【００９８】
図１７は、輝度値変換処理を示すフローチャートである。ステップＳＴ２１でＣＰＵ９０１は輝度値判定処理を行う。ＣＰＵ９０１は、入力画像信号ＤＶinの輝度値と閾値ＲＬを比較して輝度値が閾値ＲＬ以下であるか否かを示す判定信号ＪＡを生成する。さらに、生成した判定信号ＪＡと入力画像信号ＤＶinを関係付けてメモリに記憶させてステップＳＴ２２に進む。
【００９９】
ステップＳＴ２２でＣＰＵ９０１は、サブフレーム画像信号の生成処理を行いステップＳＴ２３に進む。ＣＰＵ９０１は、メモリに記憶された入力画像信号ＤＶinを、フレーム毎に入力画像信号ＤＶinの２倍の速度で繰り返し読み出して前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成してステップＳＴ２３に進む。
【０１００】
ステップＳＴ２３でＣＰＵ９０１は、輝度値が閾値ＲＬを超えているか否かを判別する。ＣＰＵ９０１は、画像信号とともに読み出された判定信号ＪＡによって、輝度値が閾値ＲＬを超えていないことが示されているときステップＳＴ２４に進む。また、輝度値が閾値ＲＬを超えていることが示されているときステップＳＴ２５に進む。
【０１０１】
ステップＳＴ２４でＣＰＵ９０１は、第１輝度値変換処理を行う。ＣＰＵ９０１は、上述の第１輝度値変換部２１と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを生成してステップＳＴ２６に進む。
【０１０２】
ステップＳＴ２５でＣＰＵ９０１は、第２輝度値変換処理を行う。ＣＰＵ９０１は、上述の第２輝度値変換部３３と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを生成してステップＳＴ２６に進む。
【０１０３】
ステップＳＴ２６でＣＰＵ９０１は、動き補償画像信号に対する第２輝度値変換処理を行う。ＣＰＵ９０１は、上述の第２輝度値変換部３３と同様にして変換特性ＴＣdで動き補償画像信号ＤＶmcの輝度値変換処理を行い、輝度値変換処理後の画像信号を後サブフレーム画像信号ＤＶsbmとする。
【０１０４】
ＣＰＵ９０１は、図１７に示す輝度変換処理を行ったのち図１６のステップＳＴ１４に進む。ステップＳＴ１４でＣＰＵ９０１は、輝度値が閾値ＲＬ以下であるか否かを判別する。ＣＰＵ９０１は、画像信号とともに読み出された判定信号ＪＡによって、輝度値が閾値ＲＬ以下であることが示されているときステップＳＴ１５に進む。また、ＣＰＵ９０１は、判定信号ＪＡによって輝度値が閾値ＲＬを超えていることが示されたときステップＳＴ１６に進む。
【０１０５】
ステップＳＴ１５でＣＰＵ９０１は、第１輝度値変換処理後の画像信号の選択処理を行う。すなわち、ＣＰＵ９０１は、図３に示す第１輝度値変換特性で輝度値変換を行うことにより得られた前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを選択して、出力画像信号ＤＶoaとする。
【０１０６】
ステップＳＴ１６でＣＰＵ９０１は、第２輝度値変換処理後の画像信号の選択処理を行う。すなわち、ＣＰＵ９０１は、図４に示す第２輝度値変換特性で輝度値変換を行うことにより得られた前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを選択してステップＳＴ１７に進む。
【０１０７】
ステップＳＴ１７でＣＰＵ９０１は、動き補償画像信号の選択処理を行う。ＣＰＵ９０１は、ステップＳＴ１６で選択した後サブフレーム画像信号ＤＶshbに代えて、動き補償画像信号に対して輝度値変換を行うことにより得られた後サブフレーム画像信号ＤＶsbmを選択して、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶsbmを出力画像信号ＤＶoaとする。
【０１０８】
このような処理を行うものとすれば、図１５に示す画像信号処理装置１０cと同様な処理が行われて出力画像信号ＤＶoaを出力できる。
【０１０９】
また、上述の実施の形態では、動き補償画像の生成においてブロックマッチング法を用いる場合、動き量を正確に求めるためには、ブロックサイズを小さくしなければならず、処理規模が増大してしまう。一方、実際の表示画像においてホールドぼけが顕著となる画柄は、動く字幕やテロップ等の高輝度動物体である。そこで、高輝度動物体を検出して、高輝度動物体ついて動き補償を行うものとすれば、動き補償処理を簡易とすることができる。
【０１１０】
次に、高輝度動物体の動き補償を行う場合について図１８を用いて説明する。なお、図１８に示す画像信号処理装置１０dにおいて、図１５と対応する部分については同一符号を付し、詳細な説明は省略する。
【０１１１】
入力画像信号ＤＶinは、高輝度動物体検出部４５に供給される。高輝度動物体検出部４５は、入力画像信号ＤＶinを用いて検出処理を行い、入力画像に含まれた高輝度動物体を検出して、検出結果を示す検出信号ＪＢと入力画像信号ＤＶinを動き補償部４６に供給する。
【０１１２】
図１９は、高輝度動物体検出部４５の構成を示している。高輝度動物体検出部４５は、高輝度動物体であるか否かの判定に用いる信号を生成するためのエッジ検出部４５１と動き検出部４５２とレベル検出部４５３、および高輝度動物体であるか否かの判定を行う判定部４５５を有している。なお、高輝度動物体検出部４５には、遅延部４５４が設けられており、高輝度動物体の検出結果を示す検出信号ＪＢと入力画像信号ＤＶinが同期して動き補償部４６に供給されるように構成されている。
【０１１３】
エッジ検出部４５１は、入力画像のエッジ抽出処理を行う。例えば入力画像信号ＤＶinの微分処理等を行い、エッジ部分を示すエッジ抽出信号を生成する。さらに、エッジ抽出信号に基づいてエッジの急峻度を検出して、検出結果を示すエッジ急峻度検出信号ＥＪを判定部４５５に供給する。
【０１１４】
動き検出部４５２は、入力画像信号ＤＶinを用いて例えば連続する２フレーム間で画像比較を行い、動きの生じている部分を検出する。例えば２フレーム間で画素毎の輝度値の差を検出して、輝度値の差が所定値よりも大きくなる画素が連続する領域を動き領域と検出して、この領域を示す動き検出信号ＭＪを判定部４５５に供給する。
【０１１５】
また、動き検出部４５２は入力画像信号ＤＶinに対して、動き補償画像信号を生成する場合よりも粗くブロック化を行い、入力画像を複数のブロックに分割する。さらに、現在のフレームのブロック（参照ブロック）と前フレーム候補ブロックとの間で評価値を算出する。例えば、参照ブロックと候補ブロックとの間で画素毎に輝度値の差分を算出して、差分絶対値をブロック内で積算して評価値とする。この評価値に基づき、参照ブロックが動きを生じているか否かを検出して、この検出結果を示す動き検出信号ＭＪを判定部４５５に供給するものとしてもよい。
【０１１６】
レベル検出部４５３は、入力画像信号ＤＶinと閾値ＲＨ（≧ＲＬ）を比較することで、輝度値の高い画像領域を示す高輝度検出信号ＨＪを生成して判定部４５５に供給する。
【０１１７】
判定部４５５は、エッジ急峻度検出信号ＥＪと動き検出信号ＭＪと高輝度検出信号ＨＪに基づき、高輝度動物体の検出結果を示す検出信号ＪＢを生成する。具体的には、エッジ急峻度検出信号ＥＪによって示されたエッジの急峻度が所定の値よりも大きく、動き検出信号ＭＪによって動きを生じていることが示されて、高輝度検出信号ＨＪによって輝度値が閾値ＲＪよりも高いことが示された画像を高輝度動物体として、検出信号ＪＢを生成する。
【０１１８】
図１８の動き補償部４６は、高輝度動物体検出部４５から供給された入力画像信号ＤＶinと検出信号ＪＢに基づき、検出信号ＪＢで示された高輝度動物体の動き補償を行い、高輝度動物体の動き補償画像を示す動き補償画像信号ＤＶhmを生成して第２輝度値変換部４７に供給する。第２輝度値変換部４７は、図１５に示す第２輝度値変換部４３と同様に、図４に示す第２輝度値変換特性における変換特性ＴＣdで輝度値変換を行い、輝度値変換後の画像信号を後サブフレーム画像信号ＤＶsbmとして出力切換部６５に供給する。このように、高輝度動物体の動き補償画像を生成すれば、動き補償処理が簡易となる。
【０１１９】
また、ソフトウェアで高輝度動物体の判定を行うには、図２０〜図２２の検出動作を行い、これらの検出結果を用いて図２３に示す判定処理を行うものとすればよい。
【０１２０】
図２０はエッジ検出動作を示すフローチャートである。ステップＳＴ３１でＣＰＵ９０１は、入力画像のエッジ抽出処理を行いエッジ抽出信号を生成する。例えば、上述のように入力画像信号ＤＶinの微分処理等を行い、エッジ部分を示すエッジ抽出信号を生成してステップＳＴ３２に進む。ステップＳＴ３２でＣＰＵ９０１は、エッジの急峻度検出を行う。すなわち、ＣＰＵ９０１は、ステップＳＴ３１で抽出したエッジ抽出信号に基づいてエッジの急峻度を検出して、検出結果を示すエッジ急峻度検出信号ＥＪを生成する。
【０１２１】
図２１は動き検出動作を示すフローチャートである。ステップＳＴ３３でＣＰＵ９０１は、入力画像のブロック化を行う。ＣＰＵ９０１は入力画像信号ＤＶinに対してブロック化を行い、入力画像を複数のブロックに分割してステップＳＴ３４に進む。
【０１２２】
ステップＳＴ３４でＣＰＵ９０１は、サーチ範囲の設定を行う。ＣＰＵ９０１は、現在のフレームの参照ブロックに対して、前フレームの候補ブロックの範囲を設定してステップＳＴ３５に進む。
【０１２３】
ステップＳＴ３５でＣＰＵ９０１は評価値の算出を行う。ＣＰＵ９０１は、参照ブロックと候補ブロックから評価値を候補ブロック毎に算出してステップＳＴ３６に進む。
【０１２４】
ステップＳＴ３６でＣＰＵ９０１は動き検出を行う。ＣＰＵ９０１は、ステップＳＴ３５で算出した評価値に基づき、候補ブロックが動きを生じているか否かを検出して、検出結果を示す動き検出信号ＭＪを生成する。
【０１２５】
図２２はレベル検出動作を示すフローチャートである。ステップＳＴ３７でＣＰＵ９０１は、輝度値検出を行う。すなわち、ＣＰＵ９０１は、入力画像信号ＤＶinと閾値ＲＬを比較することで、輝度値の高い画像領域を示す高輝度検出信号ＨＪを生成する。
【０１２６】
図２３は判定処理を示すフローチャートである。ステップＳＴ３８でＣＰＵ９０１は、検出信号の取得を行う。すなわち、ＣＰＵ９０１は、ステップＳＴ３１で生成されたエッジ急峻度検出信号ＥＪと、ステップＳＴ３６で生成された動き検出信号ＭＪと、ステップＳＴ３７で生成された高輝度検出信号ＨＪを取得してステップＳＴ３９に進む。
【０１２７】
ステップＳＴ３９でＣＰＵ９０１は、高輝度動物体判定処理を行う。ＣＰＵ９０１は、エッジ急峻度検出信号ＥＪによって示されたエッジの急峻度が所定の値よりも大きく、動き検出信号ＭＪによって動きを生じていることが示されて、高輝度検出信号ＨＪによって輝度値が閾値ＲＬよりも高いことが示された画像を高輝度動物体と判定して、検出信号ＪＢを生成する。このようにすれば、図１８に示す画像信号処理装置１０dと同様な作用効果を得ることができる。
【０１２８】
また、上述の実施の形態では、背景ＢＧの輝度値が閾値ＲＬ以下であるか閾値ＲＬを超えるかのいずれかの場合について説明したが、背景ＢＧに閾値ＲＬを超える領域と閾値ＲＬ以下の領域が混在する場合もある。そこで、背景ＢＧに閾値ＲＬを超える領域と閾値ＲＬ以下の領域が混在する場合でもジャーキネスを目立たなくすることができる画像信号処理装置につて説明する。
【０１２９】
図２４は、背景ＢＧに閾値ＲＬを超える領域と閾値ＲＬ以下の領域が混在している場合に対応させた画像信号処理装置１０eの構成を示している。なお図２４において、図１や図１４と対応する部分については同一符号を付し、詳細な説明は省略する。
【０１３０】
ＦＩＦＯ型メモリ１２から読み出された前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbは、静止背景領域エッジ判定部１４に供給される。
【０１３１】
静止背景領域エッジ判定部１４は、前サブフレーム画像信号ＤＶsf（あるいは後サブフレーム画像信号ＤＶsb）を用いて、入力画像の連続する２フレームの画像比較を行い静止背景領域を判別する。例えば、２フレームの画像で輝度値がほぼ一致する領域を静止背景領域として検出する。また、静止背景領域エッジ判定部１４は、判別した静止背景領域において、輝度値が閾値ＲＬを超える領域と閾値ＲＬ以下である領域とのエッジ（以下「領域エッジ」という）が生じているか検出して、領域エッジの検出結果を示す領域エッジ検出信号ＪＣ、および前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbと判定信号ＪＡを第１輝度値変換部２１とフレームメモリ３１と第３輝度値変換部５１に供給する。
【０１３２】
第３輝度値変換部５１は、第１輝度値変換部２１における前サブフレームの変換特性で後サブフレームの輝度値変換を行い、第１輝度値変換部２１における後サブフレームの変換特性で前サブフレームの輝度値変換を行う。すなわち、第３輝度値変換部５１は、第１輝度値変換部２１で生成される前サブフレーム画像信号ＤＶslfを後サブフレーム画像信号ＤＶsebとして生成し、第１輝度値変換部２１で生成される後サブフレーム画像信号ＤＶslbを前サブフレーム画像信号ＤＶsefとして生成する。
【０１３３】
遅延部６６は、遅延部６１と同様に前サブフレーム画像信号ＤＶsefと後サブフレーム画像信号ＤＶslbを遅延させて出力切換部６７に供給する。
【０１３４】
出力切換部６７は、輝度値が閾値ＲＬを超えるとき、前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを出力する。また、入力画像の輝度値が閾値ＲＬ以下であるとき、輝度値が閾値ＲＬを超える領域と閾値ＲＬ以下である領域との領域エッジが検出されていない場合には、前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを出力し、領域エッジが検出されているときは前サブフレーム画像信号ＤＶsefと後サブフレーム画像信号ＤＶsebを出力する。
【０１３５】
制御部８１aは、制御信号ＣＴa，ＣＴb，ＣＴcだけでなく制御信号ＣＴdを生成して遅延部６６に供給して、前サブフレーム画像信号ＤＶsefと後サブフレーム画像信号ＤＶslbの遅延量を遅延部６１と同様に制御する。
【０１３６】
このように画像信号処理装置１０eを構成すると、背景ＢＧに閾値ＲＬを超える領域と閾値ＲＬ以下の領域が混在していない場合、図１に示す画像信号処理装置１０a等と等しい動作となる。また、図２５の（Ａ）に示すように背景ＢＧに閾値ＲＬを超える領域ＢＧhと閾値ＲＬ以下の領域ＢＧlが混在している場合は、背景ＢＧにおける閾値ＲＬ以下である領域ＢＧlで前サブフレーム画像信号ＤＶsefと後サブフレーム画像信号ＤＶsebが出力される。このため、出力画像信号に基づく前サブフレームの画像は図２５の（Ｃ）に示すものとなり、後サブフレームの画像は図２５の（Ｄ）に示すものとなる。なお、図２５の（Ｂ）は、図２５の（Ａ）の画像に対して動き補償を行って得られた画像、図２５の（Ｅ）は、図１に示す画像信号処理装置１０a等から出力された出力画像信号に基づく前サブフレームの画像、図２５の（Ｆ）は、図１に示す画像信号処理装置１０a等から出力された出力画像信号に基づく後サブフレームの画像を示している。
【０１３７】
このように、背景ＢＧに閾値ＲＬを超える領域ＢＧhと閾値ＲＬ以下の領域ＢＧlが混在しているとき、閾値ＲＬ以下の領域ＢＧlにおいて前サブフレームの画像と後サブフレームの画像を入れ替えて表示する。この場合、図２５の（Ｄ）に示す動き補償画像を用いた後サブフレームの画像では、背景ＢＧにおける閾値ＲＬ以下の領域ＢＧlbが輝度値変換処理により輝度値が高められていることから、輝度の高い動物体ＯＢすなわち文字「ＡＢＣ」と背景ＢＧの領域ＢＧlbとの輝度差が少なくなる。したがって、背景のエッジ部分で巻き込みを生じても、ジャーキネスを目立たなくすることができる。
【０１３８】
また、背景ＢＧにおける閾値ＲＬ以下の領域ＢＧlの輝度値が低い場合には輝度値変換処理により輝度値が高められても、輝度の高い動物体ＯＢとの輝度差が大きい。このため、閾値ＲＬ以下の領域ＢＧlの輝度値に応じて後サブフレームにおける閾値ＲＬを超える領域の最高輝度値を適応的に低下させれば輝度差を少なくできる。例えば後サブフレームにおける領域ＢＧlbの輝度値と動物体ＯＢの輝度値との差が所定値よりも大きくならないように、領域ＢＧlの輝度値に応じて動物体ＯＢの最高輝度値を低く制限する。このようにすれば、背景ＢＧにおける閾値ＲＬ以下の領域ＢＧlが輝度値の低い状態となってもジャーキネスを目立たなくすることができる。
【０１３９】
図２６は、ソフトウェアによる画像処理動作を示すフローチャートである。ステップＳＴ４１でＣＰＵ９０１は輝度値判定処理を行う。ＣＰＵ９０１は、入力画像信号ＤＶinの画素毎の輝度値と閾値ＲＬを比較して輝度値が閾値ＲＬ以下であるか否かを示す判定信号ＪＡを生成する。さらに、生成した判定信号ＪＡと入力画像信号ＤＶinを関係付けてメモリに記憶させてステップＳＴ４２に進む。
【０１４０】
ステップＳＴ４２でＣＰＵ９０１は、サブフレーム画像信号生成処理を行う。ＣＰＵ９０１は、メモリに記憶された入力画像信号ＤＶinを、フレーム毎に入力画像信号ＤＶinの２倍の速度で繰り返し読み出して前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbを生成してステップＳＴ４３に進む。
【０１４１】
ステップＳＴ４３でＣＰＵ９０１は、静止背景の領域エッジ検出処理を行う。ＣＰＵ９０１は、入力画像の連続する２フレームの画像比較を行い静止背景領域を判別する。さらに、判別した静止背景領域において、輝度値が閾値ＲＬを超える領域と閾値ＲＬ以下である領域との領域エッジを有しているか否か検出して、検出結果を示す領域エッジ検出信号ＪＣを生成する。
【０１４２】
ステップＳＴ４４でＣＰＵ９０１は、輝度値が閾値ＲＬ以下であるか否かを判別する。ＣＰＵ９０１は、画像信号とともに読み出された判定信号ＪＡによって、輝度値が閾値ＲＬ以下であることが示されたときステップＳＴ４５に進む。また、ＣＰＵ９０１は、判定信号ＪＡによって輝度値が閾値ＲＬを超えていることが示されたときステップＳＴ４８に進む。
【０１４３】
ステップＳＴ４５でＣＰＵ９０１は、ステップＳＴ４３で領域エッジが検出されているか否かを判別して、領域エッジが検出されているときにはステップＳＴ４６に進み、領域エッジが検出されていないときはステップＳＴ４７に進む。
【０１４４】
ステップＳＴ４６でＣＰＵ９０１は第３輝度値変換処理を行う。ＣＰＵ９０１は、上述の第３輝度値変換部５１と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、前サブフレーム画像信号ＤＶsefと後サブフレーム画像信号ＤＶsebを出力する。
【０１４５】
ステップＳＴ４７でＣＰＵ９０１は第１輝度値変換処理を行う。ＣＰＵ９０１は、上述の第１輝度値変換部２１と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、得られた前サブフレーム画像信号ＤＶslfと後サブフレーム画像信号ＤＶslbを出力する。
【０１４６】
ステップＳＴ４８でＣＰＵ９０１は、動き補償処理を行う。ＣＰＵ９０１は、前サブフレーム画像信号ＤＶsf（あるいは後サブフレーム画像信号ＤＶsb）をフレームメモリに記憶して、入力画像信号ＤＶinの連続する２フレームのサブフレーム画像信号を用いてブロックマッチング法等の動き補償処理を行い、動き補償画像の画像信号を生成する。さらに、生成した動き補償画像の画像信号を後サブフレーム画像信号ＤＶsbとしてステップＳＴ４９に進む。
【０１４７】
ステップＳＴ４９でＣＰＵ９０１は第２輝度値変換処理を行う。ＣＰＵ９０１は、上述の第２輝度値変換部３３と同様にして前サブフレーム画像信号ＤＶsfと後サブフレーム画像信号ＤＶsbの輝度値変換を行い、得られた前サブフレーム画像信号ＤＶshfと後サブフレーム画像信号ＤＶshbを出力する。
【０１４８】
この図２６に示す処理を入力画像信号ＤＶinの各フレームに対して行うものとすれば、ホールドぼけを軽減させることができるだけでなく、背景に輝度の高い領域と輝度の低い領域が含まれても、容易にジャーキネスを目立たなくすることができる。
【０１４９】
また、動き補償画像を生成する場合、図２７に示すように、動物体ＯＢを移動させたことにより、動物体ＯＢで隠れていたアンカバード領域ＵＣが背景ＢＧに生じてしまうことが知られている。
【０１５０】
ここで、背景ＢＧの輝度値が閾値ＲＬ以下であるとき、アンカバード領域ＵＣの輝度値を閾値ＲＬ以下とすれば、動き補償画像におけるアンカバード領域ＵＣや背景ＢＧは輝度レベルが「０」に変換されるので、表示画像にアンカバード領域ＵＣの影響が現れることがない。
【０１５１】
また、背景ＢＧの輝度値が閾値ＲＬを超えるときは、アンカバード領域ＵＣに画像を埋め込んで輝度変換処理を行えば、表示画像にアンカバード領域ＵＣの影響が現れることがない。
【０１５２】
アンカバード領域ＵＣに画像を埋め込む際には、例えば特開昭６０−１２８７９１号公報に記載されている方法を用いるものとすればよい。すなわち、背景メモリを設けて背景画像信号を記憶される。さらに、背景メモリに記憶されている背景画像信号と入力画像信号との画素毎の差分絶対値が閾値を超えていないときには、差分絶対値に小さい重み係数を乗算して、乗算結果を背景画像信号に加算して、加算結果を新たな背景画像信号として記憶させる。また、差分絶対値が閾値を超えているときには、差分絶対値に大きな重み係数を乗算して、乗算結果を背景画像信号に加算して、加算結果を新たな背景画像信号として記憶させる。このようにして背景画像の更新を行うと、背景が変化していないときは、入力画像中の雑音を除去できるようになる。また、シーンチェンジ等によって背景が切り換えられたときには、重み係数が大きくされることから、記憶されている背景画像信号が新たな背景の背景画像信号に切り換えられる。このようにして、背景メモリに記憶されている背景画像信号が順次更新されることから、アンカバード領域ＵＣの画像信号を背景メモリから読み出すものとすれば、アンカバード領域ＵＣが生じてもこの領域の画像を補うことができるので、アンカバード領域ＵＣの画像が補われた画像信号に対して輝度値変換を行うものとすれば、表示画像にアンカバード領域の影響が現れてしまうことを防止できる。
【図面の簡単な説明】
【０１５３】
【図１】画像信号処理装置の構成を示す図である。
【図２】入力信号レベルと表示輝度の関係を示す図である。
【図３】第１輝度値変換特性を示す図である。
【図４】第２輝度値変換特性を示す図である。
【図５】入力画像を示す図である。
【図６】入力画像信号とサブフレーム画像信号と出力画像信号を示す図である。
【図７】出力画像信号に基づく画像表示動作を説明するための図である。
【図８】背景の輝度値が閾値以下で動物体の輝度値が閾値を超えるときの表示画像を示す図である。
【図９】背景と動物体の輝度値が閾値を超えるときの表示画像を示す図である。
【図１０】ジャーキネスの防止動作（背景の輝度値が閾値以下のとき）を説明するための図である。
【図１１】ジャーキネスの防止動作（背景の輝度値が閾値を超えるとき）を説明するための図である。
【図１２】ソフトウェアで画像信号処理を行う場合の構成を示す図である。
【図１３】画像信号処理動作を示すフローチャートである。
【図１４】画像信号処理装置の他の構成を示す図である。
【図１５】画像信号処理装置の他の構成を示す図である。
【図１６】他の画像信号処理動作を示すフローチャートである。
【図１７】輝度値変換処理動作を示すフローチャートである。
【図１８】画像信号処理装置の他の構成を示す図である。
【図１９】高輝度動物体検出部の構成を示す図である。
【図２０】エッジ検出動作を示すフローチャートである。
【図２１】動き検出動作を示すフローチャートである。
【図２２】レベル検出動作を示すフローチャートである。
【図２３】判定動作を示すフローチャートである。
【図２４】画像信号処理装置の他の構成を示す図である。
【図２５】背景に閾値を超える領域と閾値以下の領域が混在している場合の表示画像を示す図である。
【図２６】他の画像信号処理動作を示すフローチャートである。
【図２７】アンカバード領域を説明するための図である。
【図２８】インパルス発光動作を説明するための図である。
【図２９】インパルス型画像表示装置の動作を説明するための図である。
【図３０】ホールド発光動作を説明するための図である。
【図３１】ホールド型画像表示装置の動作を説明するための図である。
【図３２】疑似インパルス法の発光動作を説明するための図である。
【図３３】疑似インパルス法を用いたホールド型画像表示装置の動作を説明するための図である。
【図３４】サブフレーム法の発光動作を説明するための図である。
【図３５】動き劣化を説明するための図である。
【符号の説明】
【０１５４】
１０a〜１０e・・・画像信号処理装置、１１・・・輝度値判定部、１２・・・ＦＩＦＯ型メモリ、１２ａ・・・フレームメモリブロック、１４・・・静止背景領域エッジ判定部、２１・・・第１輝度値変換部、３１，４１・・・フレームメモリ、３２，４２，４６・・・動き補償部、３３，４３，４７・・・第２輝度値変換部、４５・・・高輝度動物体検出部、５１・・・第３輝度値変換部、６１，６４，６６，４５４・・・遅延部、６２，６３，６５，６７・・・出力切換部、８１、８１a・・・制御部、１００・・・表示装置、１０１・・・記録媒体、４５１・・・エッジ検出部、４５２・・・動き検出部、４５３・・・レベル検出部、４５５・・・判定部、９０１・・・ＣＰＵ、９０２・・・ＲＯＭ、９０３・・・ＲＡＭ、９０４・・・ハードディスクドライブ、９０５・・・入出力インタフェース、９１１・・・入力部、９１２・・・記録媒体ドライブ、９１３・・・通信部、９１４・・・画像入力部、９１５・・・画像出力部、９２０・・・バス
【特許請求の範囲】
【請求項１】
入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理装置において、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換部と、
前記入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償部と、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第１輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第２輝度値変換部で輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換部を有する
ことを特徴とする画像信号処理装置。
【請求項２】
前記入力画像信号に基づく画像から静止背景領域を検出して、この静止背景領域から前記閾値以下の領域と前記閾値を超える領域との境界を検出する静止背景領域エッジ検出部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分の前記動き補償画像信号とは時間的に異なるサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第３輝度値変換部を有し、
前記第１輝度変換部では、前記動き補償画像信号と時間的に等しいサブフレーム画像信号を前記最小輝度値あるいは前記第１所定輝度値以下の輝度値とし、
前記出力切換部は、前記入力画像信号の輝度値が前記閾値以下であるとき、前記境界が検出されていない場合には、前記第１輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記境界が検出されている場合には、前記第３輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とする
ことを特徴とする請求項１記載の画像信号処理装置。
【請求項３】
前記入力画像信号の信号レベルと信号レベル変化および前記入力画像信号を用いた動き検出結果から高輝度動物体の画像を検出する高輝度動物体検出部を有し、
前記動き補償部は、前記高輝度動物体の画像の動き補償画像信号を生成する
ことを特徴とする請求項１記載の画像信号処理装置。
【請求項４】
前記１フレーム期間分に相当する複数のサブフレーム画像信号は、前サブフレーム画像信号と後サブフレーム画像信号で構成し、
前記動き補償画像信号を後サブフレーム画像信号とする
ことを特徴とする請求項１記載の画像信号処理装置。
【請求項５】
入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理方法において、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換ステップと、
前記入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第１輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第２輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを設けた
ことを特徴とする画像信号処理方法。
【請求項６】
入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成して、この出力画像信号に基づいて画像表示を行う画像表示装置において、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換部と、
前記入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償部と、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第１輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第２輝度値変換部で輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換部と、
前記出力切換部から出力される前記出力画像信号に基づいて画像表示を行う表示部を有する
ことを特徴とする画像表示装置。
【請求項７】
入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理をコンピュータで行わせる画像信号処理プログラムにおいて、
前記画像信号処理プログラムには、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換ステップと、
前記入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第１輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第２輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを有する
ことを特徴とする画像信号処理プログラム。
【請求項８】
入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理をコンピュータで行わせる画像信号処理プログラムが記録された記録媒体において、
前記画像信号処理プログラムは、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換ステップと、
前記入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第１輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第２輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを有する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項９】
入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行って生成された出力画像信号が記録された記録媒体において、
前記出力画像信号は、
前記入力画像信号の輝度値が予め設定された閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする第１輝度値変換と、
前記入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成してサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする第２輝度値変換が行われて、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第１輝度値変換で得られたサブフレーム画像信号とされて、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第２輝度値変換で得られた動き補償画像信号とサブフレーム画像信号とされた信号である
ことを特徴とする記録媒体。
【請求項１】
入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理装置において、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換部と、
前記入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償部と、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第１輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第２輝度値変換部で輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換部を有する
ことを特徴とする画像信号処理装置。
【請求項２】
前記入力画像信号に基づく画像から静止背景領域を検出して、この静止背景領域から前記閾値以下の領域と前記閾値を超える領域との境界を検出する静止背景領域エッジ検出部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分の前記動き補償画像信号とは時間的に異なるサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第３輝度値変換部を有し、
前記第１輝度変換部では、前記動き補償画像信号と時間的に等しいサブフレーム画像信号を前記最小輝度値あるいは前記第１所定輝度値以下の輝度値とし、
前記出力切換部は、前記入力画像信号の輝度値が前記閾値以下であるとき、前記境界が検出されていない場合には、前記第１輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記境界が検出されている場合には、前記第３輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とする
ことを特徴とする請求項１記載の画像信号処理装置。
【請求項３】
前記入力画像信号の信号レベルと信号レベル変化および前記入力画像信号を用いた動き検出結果から高輝度動物体の画像を検出する高輝度動物体検出部を有し、
前記動き補償部は、前記高輝度動物体の画像の動き補償画像信号を生成する
ことを特徴とする請求項１記載の画像信号処理装置。
【請求項４】
前記１フレーム期間分に相当する複数のサブフレーム画像信号は、前サブフレーム画像信号と後サブフレーム画像信号で構成し、
前記動き補償画像信号を後サブフレーム画像信号とする
ことを特徴とする請求項１記載の画像信号処理装置。
【請求項５】
入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理方法において、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換ステップと、
前記入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第１輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第２輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを設けた
ことを特徴とする画像信号処理方法。
【請求項６】
入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成して、この出力画像信号に基づいて画像表示を行う画像表示装置において、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換部と、
前記入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償部と、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第１輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第２輝度値変換部で輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換部と、
前記出力切換部から出力される前記出力画像信号に基づいて画像表示を行う表示部を有する
ことを特徴とする画像表示装置。
【請求項７】
入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理をコンピュータで行わせる画像信号処理プログラムにおいて、
前記画像信号処理プログラムには、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換ステップと、
前記入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第１輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第２輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを有する
ことを特徴とする画像信号処理プログラム。
【請求項８】
入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理をコンピュータで行わせる画像信号処理プログラムが記録された記録媒体において、
前記画像信号処理プログラムは、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする輝度値変換を行う第１輝度値変換ステップと、
前記入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする輝度値変換を行う第２輝度値変換ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第１輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第２輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを有する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項９】
入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行って生成された出力画像信号が記録された記録媒体において、
前記出力画像信号は、
前記入力画像信号の輝度値が予め設定された閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の少なくとも１つのサブフレーム画像信号を、最小輝度値あるいは第１所定輝度値以下の輝度値とする第１輝度値変換と、
前記入力画像信号の連続する２フレームの時間的に中間に相当する画像の動き補償画像信号を生成してサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る１フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第１所定輝度値よりも高い第２所定輝度値以上の輝度値とする第２輝度値変換が行われて、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第１輝度値変換で得られたサブフレーム画像信号とされて、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第２輝度値変換で得られた動き補償画像信号とサブフレーム画像信号とされた信号である
ことを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【公開番号】特開２００９−９３０１２（Ｐ２００９−９３０１２Ａ）
【公開日】平成２１年４月３０日（２００９．４．３０）
【国際特許分類】
【出願番号】特願２００７−２６４７２８（Ｐ２００７−２６４７２８）
【出願日】平成１９年１０月１０日（２００７．１０．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年４月３０日（２００９．４．３０）
【国際特許分類】
【出願日】平成１９年１０月１０日（２００７．１０．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]