画像処理装置、画像処理方法、及びプログラム
【課題】第１の表示デバイスを用いて、第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する。
【解決手段】動き検出部１００は、入力画像信号から画像の動きを検出し、サブフィールド展開部２００は、入力画像信号をサブフィールドに展開する。光量積算部３００は、画像の動きの方向と、サブフィールドの発光パターンから、入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、第１の表示デバイスに表示する。本発明は、例えば、LCDを用いて、LCDと異なる特性を有するPDPにおいて画像を表示した状態を再現する場合に適用できる。
【解決手段】動き検出部１００は、入力画像信号から画像の動きを検出し、サブフィールド展開部２００は、入力画像信号をサブフィールドに展開する。光量積算部３００は、画像の動きの方向と、サブフィールドの発光パターンから、入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、第１の表示デバイスに表示する。本発明は、例えば、LCDを用いて、LCDと異なる特性を有するPDPにおいて画像を表示した状態を再現する場合に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、画像を表示するLCD(Liquid Crystal Display)等の第１の表示デバイスを用いて、第１の表示デバイスと異なる特性を有するPDP(Plasma Display Panel)等の第２の表示デバイスにおいて画像を表示した状態を再現することができるようにする画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
画像信号を表示する表示デバイスとして、例えば、CRT(Cathode Ray Tube)、LCD、PDP、有機EL(Electroluminescence)、プロジェクタ等、様々な表示デバイスが存在する。
【０００３】
そして、例えば、PDPについては、表示画面上で移動画素に対し視線が追従したときに、各網膜位置に入る光量の計算を行い、その出力データから新しいサブフィールドデータを生成することで、偽輪郭の発生を抑制する方法が提案されている（例えば、特許文献１を参照）。
【０００４】
【特許文献１】特開2000-39864号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、表示特性は表示デバイスによって異なるため、画像信号が適切な視聴状態（表示状態）にあるかを確認するモニタリングにおいては、表示デバイスの特性（表示特性）の違いが大きな問題となる。すなわち、ある画像信号をLCDに表示してモニタリングを行ったとしても、その画像信号をPDPに表示した際に、どのように見えるかを確認することは困難であった。
【０００６】
そのため、複数の表示デバイスの特性を考慮してモニタリングを行うには、表示デバイスを必要な分だけ用意する必要があり、モニタリングシステムの規模の増大につながっていた。
【０００７】
またPDPは、入力画像信号の１フィールドを複数のサブフィールドで構成し、各サブフィールドを発光、非発光のどちらかの状態にするように制御することで、多階調表示を実現する表示デバイスである。
【０００８】
そのため、動画像を表示した際に、画像内の動き物体等に人の視線が追従すると、サブフィールドの発光パターンによっては、表示している画像と人の目に見える画像が異なるといった特徴がある。しかしながらPDPにおいて、実際に動画像がどのように見えるかを確認するには、PDPに動画像を表示し、人が目で見て確認するしかなく、確認作業が大変な上、客観的な評価が困難であった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、例えば、LCD等の第１の表示デバイスを用いて、第１の表示デバイスと異なる特性を有するPDP等の第２の表示デバイスにおいて画像を表示した状態を再現することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面は、画像を表示する第１の表示デバイスを用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する画像処理装置、又は、画像処理装置としてコンピュータを機能させるプログラムであり、入力画像信号から画像の動きを検出する動き検出手段と、前記入力画像信号を複数のサブフィールドに展開するサブフィールド展開手段と、前記動き検出手段において検出された動きの方向と、前記サブフィールド展開手段において展開されたサブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成する光量積算手段とを有する画像処理装置、又は画像処理装置としてコンピュータを機能させるプログラムである。
【００１１】
また、本発明の一側面は、画像を表示する第１の表示デバイスを用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する画像処理方法であり、入力画像信号から画像の動きを検出し、前記入力画像信号を複数のサブフィールドに展開し、画像の動きの方向と、サブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成するステップを含む画像処理方法でもある。
【００１２】
以上のような一側面においては、入力画像信号から画像の動きが検出され、前記入力画像信号が複数のサブフィールドに展開される。そして、画像の動きの方向と、サブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量が擬似的に算出され、その光量を画素値とする出力画像信号が生成される。
【発明の効果】
【００１３】
本発明の一側面によれば、LCD等の第１の表示デバイスを用いて、第１の表示デバイスと異なる特性を有するPDP等の第２の表示デバイスにおいて画像を表示した状態を再現することができる。
【発明を実施するための最良の形態】
【００１４】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１５】
本発明の一側面の画像処理装置、又は、プログラムは、
画像を表示する第１の表示デバイス（例えば、LCDなど）を用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイス（例えば、PDPなど）において画像を表示した状態を再現する画像処理装置（例えば、図１の画像処理装置）、又は、画像処理装置として、コンピュータを機能させるプログラムであり、
入力画像信号から画像の動きを検出する動き検出手段（例えば、図１の動き検出部１００）と、
前記入力画像信号を複数のサブフィールドに展開するサブフィールド展開手段（例えば、図１のサブフィールド展開部２００）と、
前記動き検出手段において検出された動きの方向と、前記サブフィールド展開手段において展開されたサブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成する光量積算手段（例えば、図１の光量積算部３００）と
を有する画像処理装置、又は、画像処理装置としてコンピュータを機能させるプログラムである。
【００１６】
本発明の一側面の画像処理方法は、
画像を表示する第１の表示デバイスを用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する画像処理方法であり、
入力画像信号から画像の動きを検出し（例えば、図２０のステップＳＴ２００）、
前記入力画像信号を複数のサブフィールドに展開し（例えば、図２０のステップＳＴ３００）、
画像の動きの方向と、サブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成する（例えば、ステップＳＴ４００）
ステップを含む。
【００１７】
以下、図を参照しながら、本発明の実施の形態について説明する。
【００１８】
図１は、本発明を適用した画像処理装置の第１実施の形態の構成例を示している。
【００１９】
入力画像信号Vinは、動き検出部１００と、サブフィールド展開部２００へ供給される。
【００２０】
図２は、図１の動き検出部１００の構成を示している。動き検出部１００では、入力画像信号Vinから、各画素の動きベクトルを、入力画像信号Vinを人が見た際の画素毎の視線として検出する。
【００２１】
入力画像信号Vinは、相関演算回路１０１と遅延回路１０２へ供給される。相関演算回路１０１では、現フィールドの入力画像信号Vinと、遅延回路１０２で１フィールド遅延された前フィールドの入力画像信号との間で、相関演算を行う。
【００２２】
図３に相関演算の動作を示す。
【００２３】
相関演算回路１０１は、現フィールドの注目画素において、注目画素を中心としたブロックＢＬを設定する。ブロックBLは例えば５×５画素のブロックである。そして、相関演算回路１０１は、遅延回路１０２で遅延された前フィールドにおいて、現フィールドでのブロックBLと同じ位置を中心としたサーチ範囲を設定する。サーチ範囲は例えば、現フィールドでのブロックBLと同じ位置を基準とし、水平、垂直方向に−８〜＋７画素分の領域である。そして、相関演算回路１０１は、ブロックBLとサーチ範囲内の、ブロックBLと同一サイズの各候補ブロックとの間で、例えば、画素値どうしの差分絶対値の総和を、ブロックBLと候補ブロックとの相関を評価するための評価値として求める演算を、相関演算として行い、各候補ブロックでの演算結果を、視線決定回路１０３へ供給する。
【００２４】
図２に戻り、視線決定回路１０３では、相関演算回路１０１から供給された演算結果の中から、最小の値の演算結果が得られた候補ブロックの位置を、注目画素の動きベクトルとして検出する。ここで、候補ブロックの位置は、図４に示すように、ブロックBLからの相対位置である。視線決定回路１０３は、注目画素の動きベクトルの方向を、人が注目画素を見たときの視線の方向、すなわち、現フィールドを見た人の視線が追っていく方向（視線方向）mvに決定する。
【００２５】
相関演算回路１０１では、注目画素毎にブロックBLを設定するが、現フィールドを最初に５×５画素のブロックに分割し、ブロック毎に視線方向（動きベクトル）を求め、ブロック内の画素では、全て同じ視線方向を適用してもよい。またサーチ範囲内の各候補ブロックとの相関演算には、注目画素の近傍の画素における差分絶対値に一定の重みをつけて評価値を求めてもよい。この場合、注目画素の近傍の画素の相関を重く評価することになる。
【００２６】
図５は、図１のサブフィールド展開部２００の構成例を示している。
【００２７】
サブフィールド展開部２００では、入力画像信号VinをPDPに表示する際の各サブフィールドの発光パターンを生成する。
【００２８】
サブフィールド展開部２００の動作を説明する前に、PDPにおける多階調表示の方法について説明する。PDPは、１フィールドを複数のサブフィールドに分割し、各サブフィールドの発光の輝度の重みを変えることで多階調表示を行う。
【００２９】
図６にPDPにおけるサブフィールドの構成例を示す。図６では１フィールドは８つのサブフィールドＳＦ１、ＳＦ２、ＳＦ３、ＳＦ４、ＳＦ５、ＳＦ６、ＳＦ７、ＳＦ８に分割され、各サブフィールドＳＦ１ないしＳＦ８は異なる輝度の重み（光量）を持っている。各サブフィールドＳＦ１ないしＳＦ８は、それぞれの画素を発光、非発光のどちらかに設定するアドレス期間と、アドレス期間において発光と設定された画素を発光させる発光期間から構成されている。
【００３０】
各サブフィールドＳＦ１ないしＳＦ８の輝度の重みを例えば１、２、４、８、１６、３２、６４、１２８とすると、これらのサブフィールドＳＦ１ないしＳＦ８を組み合わせることで、０〜２５５までの２５６階調を実現することができる。
【００３１】
実際のPDPは２次元平面において構成されるため、PDPによる画像の表示は、図７に示すように、PDPにおける画素位置X,Yと時間方向Ｔのサブフィールドからなる３次元的なモデル図で表現される。
【００３２】
図５に戻り、入力画像信号Vinは、サブフィールド割当回路２０１へ供給される。サブフィールド割当回路２０１は、入力画像信号Vinの１フィールドの画素値を、以下の式（１）を用いて表す。ただしＮiは、サブフィールドＳＦ#iの非発光または発光を表す発光情報であり、０または１である。
【００３３】
1×N1+2×N2+4×N3+8×N4+16×N5+32×N6+64×N7+128×N8
・・・（１）
【００３４】
なおここでは、表示対象とするPDPのサブフィールド構造を図６に示す場合と同様に、８つのサブフィールドＳＦ１ないしＳＦ８で構成し、各サブフィールドＳＦ１ないしＳＦ８の輝度の重みをそれぞれ１、２、４、８、１６、３２、６４、１２８としている。また以下の説明でもこの構造を元にするものとする。
【００３５】
そして、サブフィールド割当回路２０１は、各画素についての発光情報Ｎiの値を発光決定回路２０２へ供給する。発光決定回路２０２では、Ｎiが１の場合を発光、０の場合を非発光として、サブフィールドの発光パターンを表す発光制御情報ＳＦを生成する。
【００３６】
例えば入力画像信号Vinのある画素値が「７」である場合、サブフィールドＳＦ１、ＳＦ２、ＳＦ３を発光、それ以外を非発光と割り当てる発光制御情報ＳＦを生成する。また例えば、入力画像信号Vinのある画素値が「２２」である場合、サブフィールドＳＦ２、ＳＦ３、ＳＦ５を発光、それ以外を非発光と割り当てる発光制御情報ＳＦを生成する。
【００３７】
図８は、図１の光量積算部３００の構成を示している。光量積算部３００では、入力画像信号VinをPDPに表示した際に、人の網膜で積分される光量を画素値とする画像を、PDPにおいて入力画像信号を表示したときに人の目に見える、いわば擬似的な画像として生成して出力する。
【００３８】
光量積算部３００の動作を説明する前に、PDP特有の、視線方向と発光パターンによる画像の見え方について説明する。
【００３９】
図９は、横軸を画素位置X（Y）とするとともに、縦軸を時間Ｔとしたサブフィールドの、画素値１２７と１２８の境界を示しており、影を付してあるサブフィールドが発光するサブフィールドを示している。
【００４０】
画像が動いていない場合には、人の視線方向は、縦軸の時間方向Ｔと平行な方向Ａ−Ａ’となり、サブフィールドの発光が正しく人の網膜で積分されるため、画素値１２７と１２８が正しく認識される。
【００４１】
しかし画像が左方向に1フィールドで１画素分動くとすると、動きに人の目（視線）が追従するため、視線方向が、縦軸の時間方向Ｔと平行でない方向Ｂ−Ｂ’となり、サブフィールドの発光が人の網膜で積分されず、画素値１２７と１２８の間に黒い線を認識してしまう。また逆に画像が右方向に1フィールドで１画素分動くとすると、動きに人の目が追従するため、視線方向が、縦軸の時間方向Ｔと平行でない方向Ｃ−Ｃ’となり、サブフィールドの発光が人の網膜に積分されすぎて、画素値１２７と１２８の間に白い線を認識してしまう。
【００４２】
以上のようにPDPにおいては、サブフィールドを用いる駆動方式のため、視線方向とサブフィールドの発光パターンによって、表示している画像と人の目に見えている画像とが異なる現象が発生する場合があり、一般に動画擬似輪郭として知られている。
【００４３】
図８に戻り、動き検出部１００で検出された各画素の視線方向mvと、サブフィールド展開部２００で生成された発光制御情報ＳＦが光量積算領域決定回路３０１へ供給される。
【００４４】
光量積算領域決定回路３０１は、動き検出部１００で検出された視線方向mvとサブフィールド展開部２００で生成されたサブフィールドの発光パターンを表す発光制御情報ＳＦとから、入力画像信号VinをPDPに表示した際に、人の網膜で積分される光量を擬似的に再現するための、光量積算領域を、画素ごとに決定する。すなわち図１０に示すように、注目画素に対し、検出された視線方向に１画素分の断面積の光量積算領域を設定する。
【００４５】
さらに、光量積算領域決定回路３０１は、光量積算領域内の各サブフィールドの発光、非発光の領域の比率に応じて各サブフィールドＳＦ＃iでの光量を積算する。例えば図１０の場合、サブフィールドＳＦ８において発光、非発光の領域の比率が７：１であるとき、サブフィールドＳＦ８において積算される光量は、１２８×１÷（７＋１）＝１６となる。光量積算領域決定回路３０１は、同様に全てのサブフィールドＳＦ１ないしＳＦ８において積分される光量を算出し、光量積算回路３０２に供給する。
【００４６】
光量積算回路３０２は、光量積算領域決定回路３０１からのサブフィールドＳＦ１ないしＳＦ８それぞれの光量の総和を求め、注目画素における画素値とする。そして、光量積算回路３０２は、全ての画素に対し、同様の処理を行うことで出力画像Voutを生成する。
【００４７】
また、光量積算領域決定回路３０１、及び光量積算回路３０２の処理は、以下のように簡便に行うこともできる。
【００４８】
すなわち、図１０において、各サブフィールドの発光、非発光の領域の比率において、大きい方を採用する。この場合、サブフィールドＳＦ８は非発光となり光量０、サブフィールドＳＦ７は発光となり光量６４、以下同様に全てのサブフィールドでの結果の総和を注目画素における画素値とする。
【００４９】
実際のPDPは２次元平面において構成されるため、PDPによる画像の表示は、図１１に示すように、PDPにおける画素位置X,Yと時間方向Ｔのサブフィールドからなる３次元的なモデル図で表現される。
【００５０】
以上のように、図１に示す画像処理装置は、入力画像信号Vinから、画素毎の視線方向と、PDPに表示した際のサブフィールドの発光パターンから、PDPに表示された画像を見る人の網膜に積分される光量を画素値とする画像を、PDPに表示された画像を見る人の目に見える画像として生成するので、入力画像信号VinをPDPに表示し、人が見た場合の画像を擬似的に再現することができる。
【００５１】
図１２は、本発明を適用した画像処理装置の第２実施の形態の構成例を示している。
【００５２】
一般にPDPにおいて、動画擬似輪郭を抑制するために、使用する階調に制限を設け、さらに見た目に階調を出すために、入力画像と表示する画像の画素値の差分を、時空間の周辺の画素に割り振る誤差拡散処理、そして複数の画素値の時空間パターンによって、見た目の階調を表現するディザ処理などが行われている。図１２に示す画像処理装置は、入力画像信号Vinを表示するPDPにおいて、前記の誤差拡散処理やディザ処理が行われる場合に人の目に見える画像を擬似的に再現する。
【００５３】
図１２において、入力画像信号Vinは動き検出部１００と階調変換部４００へ供給される。動き検出部１００の構成は図１のものと同様であるため説明を省略する。
【００５４】
図１３は、図１２の階調変換部４００の構成例を示している。
【００５５】
入力画像信号Vinは、演算器４０５において、後述する表示階調誤差Vpdと加算され、画素値（階調）Vpとなり、階調変換回路４０２へ供給される
【００５６】
階調変換回路４０２では、階調変換テーブル４０３に応じて、入力された画素の階調（画素値）Vpを別の階調Vpoへと変換する。すなわち動画擬似輪郭の発生しにくい階調として０、１、３、７、１５、３１、６３、１２７、２５５を使用するとした場合、階調変換テーブル４０３では、前記の使用する階調と、前記の使用する階調の時空間の分布で表現する見た目の階調（ディザ階調）を設定する。
【００５７】
階調変換回路４０２では、階調変換テーブル４０３で設定された階調のみを用いるものとして、入力された階調Vpを、階調変換テーブル４０３の階調のうちの、階調Vpとの差分がもっとも小さい階調Vpoに置き換えて出力する。階調変換回路４０２の出力である階調Vpoはディザ変換回路４０４に供給されるとともに、演算器４０６において、階調変換回路４０２の入力である階調Vpとの差分が求められることにより、表示階調誤差Vpdとされ、遅延回路４０１で水平方向で１画素分遅延され、演算器４０５で次の入力画像信号Vinの画素値と加算される。このように変換された階調の差分を周辺の画素の階調で表現することを誤差拡散処理と呼ぶ。
【００５８】
ディザ変換回路４０４では、使用する階調の時空間の分布によって、見た目の階調を表現するディザ処理（ディザ変換）を行う。ディザ変換回路４０４の動作例を図１４に示す。ディザ変換回路４０４では、例えば階調を４として表示する領域があったとすると、使用する階調である３と７を用いて、例えば図１４に示すように階調を分布させる。このようにすると、人の目には、階調の値が平均されて、階調の値が４として見えることになる。
【００５９】
図１２に戻り、以上のように、階調変換部４００では、入力画像信号Vinを実際に表示に用いる画像信号Vdに変換し、サブフィールド展開部２００へ供給する。サブフィールド展開部２００、および光量積算部３００の構成は、図１のものと同様であるため説明を省略する。
【００６０】
すなわち、図１２の画像処理装置では、階調変換部４００によって、実際に表示される階調を元に、人の目に見える画像を擬似的に画像として出力する。この場合、動き検出部１００では入力画像信号Vinから視線を検出（決定）しているが、階調変換部４００で変換される階調の見た目が入力画像信号Vinと大きく異ならない場合、視線方向も大きく異ならないため、このような構成にしても問題がなくなる。また階調変換部４００は、入力画像信号Vinを表示に用いる画像信号Vdに変換するものであれば何でもよく、例えば特開２００４−１３８７８３号公報などに記載の手法を用いてもよい。
【００６１】
図１５は、本発明を適用した画像処理装置の第３実施の形態の構成例を示している。
【００６２】
この画像処理装置では、階調変換部４００の出力である画素（画像信号の）Vdを動き検出部１００へ供給する。この場合、動き検出部１００では、実際に表示する画像信号を元に視線（視線方向）を検出することになる。そのため制限された階調や拡散誤差やディザそのものが視覚的に検知される場合の視線を検出するとともに、階調変換部４００によって、実際に表示される階調を元に、人の目に見える画像を擬似的に画像として出力することができる。
【００６３】
なお、図１５において、動き検出部１００、サブフィールド展開部２００、光量積算部３００、および階調変換部４００の構成は、図１２のものと同様であるため説明を省略する。
【００６４】
図１６は、本発明を適用した画像処理装置の第４実施の形態の構成例を示している。
【００６５】
入力画像信号Vinは階調変換部４００へ供給され、表示に用いる画像信号Vdへ変換される。表示に用いる画像信号Vdは視覚補正部５００へ供給される。
【００６６】
図１７は視覚補正部５００の構成例を示している。視覚補正部５００では、表示に用いる画像信号Vdを人の見た目の画像（画像信号）へと擬似的に補正する。表示に用いる画像信号Vdはディザ補正回路５０１へ供給される。ディザ補正回路５０１では、ディザで表示する階調を見た目の階調へと擬似的に補正する。すなわち図１４に示したようにディザ階調が用いられていた場合、人の見た目には、階調の値が平均されるものとして、図１８に示すように階調を補正する。そしてディザ補正された画像Vmbは、拡散誤差補正回路５０２へ供給される。
【００６７】
拡散誤差補正回路５０２では、注目画素の周辺の画素に拡散した誤差を見た目の階調へと擬似的に補正する。すなわち、拡散誤差補正回路５０２では、ディザ補正された画像信号Vmbにおいて、入力画像信号Vinとの差分（誤差）が拡散されているものとし、拡散された誤差を補正する。例えば図１９に示すように、画像信号Vmbが９０である画素の誤差は、右隣の画像信号Vmbが１１０である画素における入力画像信号Vinとの差分であるとし、１１０−１０５＝５を拡散された誤差として画像信号Vmbに加算し、視覚補正された画像信号Vmを出力する。同様に全ての画素についても同じ処理を行う。
【００６８】
以上のように、視覚補正部５００では、階調変換部４００によって変換された階調を、人の目に見える際の階調として擬似的に補正を行い、補正した画像信号を動き検出部１００へ供給する。そのため制限された階調や拡散誤差やディザが人の目に見える際の擬似的な画像を元に視線を検出するとともに、階調変換部４００によって、実際に表示される階調を元に、人の目に見える画像を擬似的に得ることができる。なお、図１６の動き検出部１００、サブフィールド展開部２００、光量積算部３００、および階調変換部４００の構成は、図１２のものと同様であるため説明を省略する。
【００６９】
以上のように、図１、図１２、図１５、及び図１６の画像処理装置では、PDPに画像を表示した際に、サブフィールドの発光パターンと視線方向から、人の目に見える画像を擬似的に得ることができる。このためPDPと異なる表示デバイスにおいて、任意の画像信号をPDPに表示した際に、人の目に見える画像を擬似的に表示することが可能となる。すなわち、例えば、LCDや、CRT、有機EL、プロジェクタ等の第１の表示デバイスを用いて、第１の表示デバイスと異なる特性を有するPDP等の第２の表示デバイスにおいて画像を表示した状態を再現することができ、第２の表示デバイスの表示のエミュレーションを、第２の表示デバイスとは異なる特性の第１の表示デバイスを用いて行うことができる。
【００７０】
なお、PDPのサブフィールドの構造として図６を例に用いたが、サブフィールドの枚数、および各サブフィールドの輝度の重みは任意のものでよい。
【００７１】
図２０は、図１の画像処理装置の処理を説明するフローチャートを示している。
【００７２】
ステップＳＴ１００において、入力画像信号Vinが、画像処理装置に入力される。次にステップＳＴ２００において、動き検出部１００が、入力画像信号Vinのフィールド（又はフレーム）を、順次、注目フィールドとして、その注目フィールドについて、画素毎に動きベクトルを検出し、その動きベクトルの方向を、視線方向として決定する。
【００７３】
図２１は、ステップＳＴ２００における動き（ベクトル）の検出の処理を説明するフローチャートである。
【００７４】
ステップＳＴ２０１において注目フィールドの入力画像信号Vinが動き検出部１００に入力される。次にステップＳＴ２０２において、動き検出部１００は、注目フィールドを構成する画素を、順次、注目画素として選択し、注目画素を中心とする所定のサイズのブロックを注目ブロックとする。そして、動き検出部１００は、注目フィールドの注目ブロックと１フィールド前の所定のサーチ範囲内の候補ブロックとの間で、相関演算を行う。次にステップＳＴ２０３において、動き検出部１００は、全ての候補ブロックと演算が終了したかを判定する。終了した場合、処理はステップＳＴ２０４へ進み、終了してない場合、処理は、ステップＳＴ２０２へ戻り処理を継続する。ステップＳＴ２０４では、動き検出部１００は、候補ブロックの中で最も相関の高い候補ブロック（差分絶対値の総和の最も小さい候補ブロック）の位置を、動きベクトルとして検出し、その動きベクトルを、注目画素における視線方向mvと決定する。そしてステップＳＴ２０５において、動き検出部１００は、視線方向mvを出力する。
【００７５】
図２０に戻り、次のステップＳＴ３００において、サブフィールド展開部２００は、入力画像信号Vinの注目フィールドをPDPに表示する際のサブフィールドの発光パターンを表す発光制御情報ＳＦを生成する。
【００７６】
図２２は、ステップＳＴ３００におけるサブフィールドの発光パターンを表す発光制御情報ＳＦを生成するフローチャートである。
【００７７】
ステップＳＴ３０１において入力画像信号Vinの注目フィールドがサブフィールド展開部２００に入力される。次にステップＳＴ３０２において、サブフィールド展開部２００は、入力画像信号Vinの注目フィールドを、式（１）の各サブフィールドの輝度の重みの総和で表現し、発光情報Niを求める。次にステップＳＴ３０３において、サブフィールド展開部２００は、発光情報Niに基づき、注目フィールドの各サブフィールドの発光、非発光の発光パターンを表す発光制御情報ＳＦを生成する。そしてステップＳＴ３０４で、サブフィールド展開部２００は、サブフィールドの発光パターンを表す発光制御情報ＳＦを出力する。
【００７８】
図２０に戻り、次のステップＳＴ４００において、光量積算部３００は、入力画像信号Vinの注目フィールドをPDPに表示した際に、人の網膜で積分される光量（人の目に見える画像）に相当する画像信号Voutを、擬似的に生成する。
【００７９】
図２３は、ステップＳＴ４００における光量の積算を示すフローチャートである。
【００８０】
ステップＳＴ４０１において、ステップＳＴ２００で検出された注目フィールドの各画素における視線方向mvと、ステップＳＴ３００で生成された注目フィールドのサブフィールドの発光制御情報ＳＦが光量積算部３００に入力される。次にステップＳＴ４０２では、光量積算部３００において、注目フィールドの各画素が、順次、注目画素として選択され、注目画素における視線方向mvに応じて、光量を積算する光量積算領域が決定される。そしてステップＳＴ４０３で、光量積算部３００は、ステップＳＴ４０２で決定された光量積算領域内で発光するサブフィールドの光量を、発行制御情報ＳＦが表す発光パターンに基づいて積算し、注目画素の画素値を求めることにより、その画素値で構成される出力画像（信号）Voutを生成する。そしてステップＳＴ４０４で、光量積算部３００は、出力画像Voutを出力する。
【００８１】
図２０に戻り、次のステップＳＴ５００において、図示せぬ第２の表示デバイスとしての、例えば、LCDは、生成された出力画像Voutを表示する。
【００８２】
図２４は、図１２の画像処理装置の処理を説明するフローチャートを示している。
【００８３】
ステップＳＴ１１０において、図２０のステップＳＴ１００と同様に、入力画像信号Vinが入力される。次にステップＳＴ２１０において画素毎に動きベクトル、ひいては視線方向mvを検出する。ステップＳＴ２１０の動作は図２０のステップＳＴ２００と同様である。次にステップＳＴ３１０において、階調変換部４００は、PDPで表示する際に行われる階調変換を行う。
【００８４】
図２５は、ステップＳＴ３１０における階調変換の動作を示すフローチャートである。
【００８５】
ステップＳＴ３１１において、入力画像信号Vinが階調変換部４００に入力される。次にステップＳＴ３１２において、階調変換部４００では、入力画像信号Vinが、周辺の画像から拡散された誤差を加算することにより、画像信号Vpとされる。次にステップＳＴ３１３において、階調変換部４００は、階調変換テーブル４０３（図１３）に従って、画像信号Vpの階調を変換する。次にステップＳＴ３１４において、階調変換部４００は、階調の変換前の画像信号Vpと変換後の画像信号Vpoとの誤差（表示階調誤差）Vpdを算出する。次にステップＳＴ３１５で、階調変換部４００は、画像信号Vpoのディザ変換を行う。そしてステップＳＴ３１６で、階調変換部４００は、ディザ変換によって得られた画像信号を、階調変換された画像信号Vdとして出力する。
【００８６】
図２４に戻り、次のステップＳＴ４１０で、ステップＳＴ３１０で変換された画像信号Vdに対し、図２０のステップＳＴ３００と同様の処理を行う。また以下のステップＳＴ５１０とＳＴ６１０は、図２０のステップＳＴ４００とＳＴ５００とそれぞれ同様であるため説明を省略する。
【００８７】
図２６は、図１５の画像処理装置の処理を説明するフローチャートを示している。
【００８８】
なお図２６では、ステップＳＴ２２０で変換された画像信号Vdに対し、次のステップＳＴ３２０で視線方向（動きベクトル）の検出が実行される以外は、ステップＳＴ１２０，ＳＴ２２０，ＳＴ３２０，ＳＴ４２０，ＳＴ５２０，ＳＴ６２０において、それぞれ、図２４のステップＳＴ１１０，ＳＴ３１０，ＳＴ２１０，ＳＴ４１０，ＳＴ５１０，ＳＴ６１０と同様の処理が行われる。
【００８９】
図２７は、図１６の画像処理装置の処理を説明するフローチャートを示している。
【００９０】
ステップＳＴ１３０において、図２６のステップＳＴ１２０と同様に、入力画像信号Vinが入力される。次にステップＳＴ２３０で、図２６の場合と同様に階調が変換された画像信号Vdが生成される。次にステップＳＴ３３０で、ステップＳＴ３２０で変換された画像信号Vdに対し、視覚補正が行われる。以下、ステップＳＴ４３０，ＳＴ５３０，ＳＴ６３０，ＳＴ７３０において、それぞれ図２６のステップＳＴ３２０，ＳＴ４２０，ＳＴ５２０，ＳＴ６２０と同様の処理が行われる。
【００９１】
図２８は、ステップＳＴ３３０における、視覚補正の動作を示すフローチャートである。ステップＳＴ３３１で画像信号Vdが視覚補正部５００に入力される。次にステップＳＴ３３２において、視覚補正部５００は、ディザの視覚的な効果に応じて、画像信号Vdを補正する。次にステップＳＴ３３３で、視覚補正部５００は、周辺の画素に拡散した誤差の影響を擬似的に補正し、画像信号Vmを生成する。そしてステップＳＴ３３４で、視覚補正部５００は、画像信号Vmを出力する。
【００９２】
以上のように、図１、図１２、図１５、及び図１６の画像処理装置では、PDPに画像を表示した際に、サブフィールドの発光パターンと視線方向から、人の目に見える画像を擬似的に生成する。このためPDPと異なる表示デバイスにおいて、任意の画像信号をPDPに表示した際に、人の目に見える画像を擬似的に表示することが可能となる。
【００９３】
次に、図１の光量積算部３００の処理の詳細を説明するが、その前に、PDPによる画像の表示について、再度説明する。
【００９４】
PDPによる画像の表示は、図７や図１１に示したように、PDPにおける画素位置X,Yと時間方向Ｔのサブフィールドからなる３次元的なモデル図で表現される。
【００９５】
図２９は、PDPによる画像の表示をモデル化したモデル（以下、適宜、表示モデルという）を示している。
【００９６】
ここで、図２９は、上述の図７や図１１と同様の図である。
【００９７】
表示モデルでは、PDPにおいて入力画像信号Vinを表示する表示面としてのXY平面に垂直な方向を時間Tの方向として、８つのサブフィールドＳＦ１ないしＳＦ８が時間Tの方向に並べられている。
【００９８】
なお、表示面としてのXY平面は、例えば、表示面の左上の点を原点とするとともに、左から右方向をX方向とし、上から下方向をY方向とする。
【００９９】
光量積算部３００（図１）では、PDPに表示される入力画像信号Vinの画素（入力画像信号Vinに従ってPDPに表示される、入力画像信号Vinに対応する画像の画素）を、順次、注目画素として選択し、表示モデルにおいて、注目画素の領域を断面とし、かつ、注目画素における視線方向mv（注目画素について検出された動きベクトルの方向）に延びる領域を、光量の積算を行う光量積算領域として、その光量積算領域内の光量を、発光制御情報ＳＦが表すサブフィールドの発光パターンに従って積算することにより、注目画素の画素値を算出する。
【０１００】
すなわち、光量積算部３００は、図２９に示すように、表示モデルの表示面の画素の領域を断面とし、かつ、時間Tの方向に、サブフィールドＳＦ#iの発光の光量に対応する長さだけ延びる直方体形状の領域（空間）を、画素サブフィールド領域として、画素サブフィールド領域内を光量積算領域が占める比率である占有比率に、画素サブフィールド領域に対応するサブフィールドＳＦ#iの発光パターン（サブフィールドＳＦ#iの画素サブフィールド領域が発光であるのか、又は非発光であるのか）に従った発光の光量Lを乗算することにより、画素サブフィールド領域が注目画素の画素値に影響する分の影響光量を、光量積算領域が通る画素サブフィールド領域すべてについて求める。
【０１０１】
そして、光量積算部３００は、光量積算領域が通る画素サブフィールド領域すべてについて求められた影響光量を積算することにより、その積算値を、注目画素の画素値として算出する。
【０１０２】
以下、光量積算部３００による、表示モデルを用いた、注目画素の画素値の算出の方法の詳細について説明する。
【０１０３】
図３０は、表示モデルの画素の例を示している。
【０１０４】
表示モデルでは、画素は、例えば、横と縦の長さがいずれも１の方形状の領域になっていることとする。この場合、画素の領域の面積は、１（＝１×１）である。
【０１０５】
また、表示モデルでは、画素の位置（画素位置）を、画素の左上の座標で表すこととする。この場合、例えば、画素位置(X,Y)が(300,200)の画素（としての方形状の領域）については、図３０に示すように、その左上の点の座標は(300,200)となり、右上の点の座標は(301,200)となる。また、左下の点の座標は(300,201)となり、右下の点の座標は(301,201)となる。
【０１０６】
なお、表示モデルにおける画素の、例えば、左上の点を、以下、適宜、基準点という。
【０１０７】
図３１は、表示モデルにおける光量積算領域を示している。
【０１０８】
例えば、いま、画素位置(x,y)にある画素を注目画素として、時刻T=αにおいて、注目画素（に映る被写体）が、時間Tfの間に、動きベクトル(vx,vy)で表される動き量だけ動き、時刻T=β（＝α＋Tf）において、位置(x+vx,y+vy)に移動したとする。
【０１０９】
この場合、注目画素の領域としての方形状の領域が、位置(x,y)から位置(x+vx,y+vy)に移動するのに描く軌跡が、光量積算領域（空間）となる。
【０１１０】
いま、光量積算領域の断面、つまり、位置(x,y)から位置(x+vx,y+vy)に移動する注目画素の領域を、断面領域（平面）ということとすると、断面領域は、画素の領域と同一の形状の領域であるので、４つの頂点を有する。
【０１１１】
時刻αからβまでの間の任意の時刻T=t（α≦t≦β）における断面領域の４つの頂点のうちの、左上、右上、左下、及び右下の点（頂点）を、それぞれ、A,B,C、及びDと表すこととすると、左上の点Aは、時間Tfの間に、位置(x,y)から位置(x+vx,y+vy)に移動するので、時刻tにおける点Aの座標(X,Y)は、(x+vx(t-α)/Tf,y+vy(t-α)/Tf)となる。
【０１１２】
また、右上の点Bは、点AからX方向に+1だけ離れた点であるから、時刻tにおける点Bの座標(X,Y)は、(x+vx(t-α)/Tf+1,y+vy(t-α)/Tf)となる。同様に、左下の点Cは、点AからY方向に+1だけ離れた点であるから、時刻tにおける点Cの座標(X,Y)は、(x+vx(t-α)/Tf,y+vy(t-α)/Tf+1)となり、右下の点Dは、点AからX方向に+1だけ離れ、Y方向に+1だけ離れた点であるから、時刻tにおける点Dの座標(X,Y)は、(x+vx(t-α)/Tf+1,y+vy(t-α)/Tf+1)となる。
【０１１３】
図３２は、時刻T=tの断面領域を示している。
【０１１４】
点AないしDを頂点とする断面領域は、変形しないので、任意の時刻T=tにおいて、（XY平面上に射影したときに）基準点を１以上の数だけ含む。図３２では、断面領域に、１つの基準点(a,b)が含まれている。
【０１１５】
ここで、断面領域に、複数の基準点がある場合があるが、その場合については、後述する。
【０１１６】
また、断面領域は、時刻Tの経過とともに移動し、これにより、断面領域内の基準点の位置が変化するが、これは、断面領域を基準とすれば、相対的に、基準点が、時刻Tの経過とともに移動していると捉えることができる。そして、時刻Tの経過とともに基準点が移動することによって、断面領域内の基準点が（他の基準点）に変更される場合があるが、この場合についても、後述する。
【０１１７】
断面領域では、基準点(a,b)を通り、X軸に平行な直線LXと、Y軸に平行な直線LYとが、表示モデルを構成する画素の境界になるため、光量の積算は、断面領域を、直線LXとLYとで分割して得られる領域（以下、適宜、分割領域という）ごとに行う必要がある。
【０１１８】
図３２では、基準点(a,b)が、断面領域の内部（境界以外の部分）にあり、このため、断面領域は、４つの分割領域S1,S2,S3、及びS4に分割される。なお、図３２では、基準点(a,b)の右上の領域が分割領域S1と、基準点(a,b)の左上の領域が分割領域S2と、基準点(a,b)の左下の領域が分割領域S3と、基準点(a,b)の右上の領域が分割領域S4と、それぞれされている。
【０１１９】
時刻T=tにおける分割領域Si(i=1,2,3,4)の面積(Si)は、以下の式（１）ないし（４）で表される。
【０１２０】
【数１】
・・・（１）
【０１２１】
【数２】
・・・（２）
【０１２２】
【数３】
・・・（３）
【０１２３】
【数４】
・・・（４）
【０１２４】
いま、表示モデル（図２９）の８つのサブフィールドＳＦ１ないしＳＦ８のうちの、ある１つのサブフィールドＳＦ#jを、注目サブフィールドＳＦ#jとして、断面領域が、注目サブフィールドＳＦ#jを、時刻T=sfaから時刻T=sfbの間に通過することとする。
【０１２５】
断面領域が、注目サブフィールドＳＦ#jを通過するときに描く軌跡としての光量積算領域は、その通過時に、分割領域S1ないしS4のそれぞれが描く軌跡の結合に等しい。
【０１２６】
いま、光量積算領域のうちの、分割領域Siが描く軌跡としての領域（分割領域Siを断面とする立体）の部分を、分割立体Viということとすると、分割立体Viの体積(Vi)は、以下の式（５）ないし（８）に従って、分割領域Siを、時刻tsfaからtsfbにわたって積分することで求めることができる。
【０１２７】
【数５】
・・・（５）
【０１２８】
【数６】
・・・（６）
【０１２９】
【数７】
・・・（７）
【０１３０】
【数８】
・・・（８）
【０１３１】
なお、ここでは、断面領域が、注目サブフィールドＳＦ#jを通過するときに、基準点(a,b)は変更されない（断面領域が注目サブフィールドＳＦ#jの通過を開始するときに、断面領域内に存在した基準点(a,b)が、断面領域が注目サブフィールドＳＦ#jを通過するまで、断面領域内に存在し続ける）こととする。
【０１３２】
一方、表示モデルにおいて、注目サブフィールドＳＦ#jの、画素の領域を断面として時間Tの方向に延びる直方体形状の立体である画素フィールド領域（図２９）の体積をVとすると、その画素フィールド領域の体積Vと、分割立体V1,V2,V3、及びV4の体積(Vi)との間には、式（９）の関係がある。
【０１３３】
【数９】
・・・（９）
【０１３４】
光量積算領域の一部である分割立体Viは、注目サブフィールドＳＦ#jの、ある画素フィールド領域の一部を占めるが、その占める比率を、占有比率ということとすると、占有比率は、Vi/Vで表され、式（５）ないし式（９）から求めることができる。
【０１３５】
いま、分割立体Viが一部を占める、注目サブフィールドＳＦ#jの画素フィールド領域を、占有画素フィールド領域ということとすると、その占有画素フィールド領域（の光量）が、注目画素の画素値に影響する分の光量（以下、適宜、影響光量という）は、占有比率Vi/Vに、占有画素フィールド領域の光量SFViを乗算することで求めることができる。
【０１３６】
ここで、占有画素フィールド領域の光量SFViは、注目サブフィールドＳＦ#jの占有画素フィールド領域が発光している場合には、その注目サブフィールドＳＦ#jの輝度の重みLとされ、注目サブフィールドＳＦ#jの占有画素フィールド領域が発光していない（非発光である）場合には、0とされる。なお、注目サブフィールドＳＦ#jの占有画素フィールド領域の発光／非発光は、サブフィールド展開部２００（図１）から光量積算部３００に供給される発光制御情報ＳＦが表す発光パターンから認識することができる。
【０１３７】
注目サブフィールドＳＦ#j（の光量）が、注目画素の画素値に影響する分の光量（注目サブフィールドＳＦ#jによる光量）PSFL,jは、分割立体V1,V2,V3、及びV4それぞれが一部を占有する占有画素フィールド領域の影響光量SFV1×V1/V,SFV2×V2/V,SFV3×V3/V、及びSFV4×V4/Vの総和であるから、式（１０）により求めることができる。
【０１３８】
【数１０】
・・・（１０）
【０１３９】
光量積算部３００（図１）では、式（１０）に従い、注目画素について、８つのサブフィールドＳＦ１ないしＳＦ８それぞれによるPSFL,1ないしPSFL,8が求められる。そして、光量積算部３００では、８つのサブフィールドＳＦ１ないしＳＦ８それぞれによるPSFL,1ないしPSFL,8が積算され、その積算値PSFL,1+PSFL,2+・・・+PSFL,8が、注目画素の画素値とされる。なお、積算値PSFL,1+PSFL,2+・・・+PSFL,8を求めることは、光量積算領域が通る画素サブフィールド領域すべての影響光量を求め、その影響光量を積算することと等価である。
【０１４０】
ところで、時刻Tの経過とともに移動する断面領域については、上述したように、断面領域内に、複数の基準点が存在する場合や、断面領域内の基準点が（他の基準点）に変更される場合がある。図３３及び図３４を参照して、そのような場合について説明する。
【０１４１】
図３３及び図３４は、表示モデルの位置(x,y)にある画素を注目画素として、時刻Tの経過とともに表示モデル内を移動する断面領域を示している。
【０１４２】
なお、図３４は、図３３に続く図である。
【０１４３】
図３３及び図３４では、画素位置(x,y)にある画素を注目画素として、注目画素（に映る被写体）が、時刻T=tsfaから時刻T=tsfbにかけて、動きベクトル(+2,-1)で表される動き量だけ動き、位置(x+2,y-1)に移動している。
【０１４４】
以上のように、位置(x,y)から位置(x+2,y-1)に移動する注目画素の領域である断面領域においては、その断面領域と、表示モデルの画素の領域との（XY平面から見た）位置が完全に一致するとき、その画素の領域の４つの頂点が、基準点として、断面領域内に存在する。
【０１４５】
すなわち、例えば、移動を開始するときの位置(x,y)にある断面領域（左上の頂点の位置が位置(x,y)の断面領域）内には、点(x,y)、点(x+1,y)、点(x,y+1)、及び点(x+1,y+1)の４つの基準点が存在する。
【０１４６】
以上のように、断面領域内に複数の基準点が存在する場合、例えば、注目画素における視線方向mv（注目画素について検出された動きベクトルの方向）にある１つの基準点が、注目画素の画素値を求めるのに用いる基準点（以下、適宜、注目基準点という）として選択される。
【０１４７】
すなわち、例えば、注目画素における視線方向mvを表す動きベクトルのX成分が０より大（符号が正）で、Y成分が０以下（Y成分が０か、又はその符号が負）である場合には、４つの基準点(x,y),(x+1,y),(x,y+1)、及び(x+1,y+1)のうちの、右上の基準点(x+1,y)が、注目基準点として選択される。
【０１４８】
また、例えば、注目画素における視線方向mvを表す動きベクトルのX成分が０以下で、Y成分が０以下である場合には、４つの基準点(x,y),(x+1,y),(x,y+1)、及び(x+1,y+1)のうちの、左上の基準点(x,y)が、注目基準点として選択される。
【０１４９】
さらに、例えば、注目画素における視線方向mvを表す動きベクトルのX成分が０以下で、Y成分が０より大である場合には、４つの基準点(x,y),(x+1,y),(x,y+1)、及び(x+1,y+1)のうちの、左下の基準点(x,y+1)が、注目基準点として選択される。
【０１５０】
また、例えば、注目画素における視線方向mvを表す動きベクトルのX成分及びY成分がいずれも０より大である場合には、４つの基準点(x,y),(x+1,y),(x,y+1)、及び(x+1,y+1)のうちの、右下の基準点(x+1,y+1)が、注目基準点として選択される。
【０１５１】
図３３では、注目画素における視線方向mvを表す動きベクトルは、ベクトル(+2,-1)であるため、右上の基準点(x+1,y)が、注目基準点として選択される。
【０１５２】
以上のようにして、注目基準点(x+1,y)が選択された後は、断面領域は、注目基準点(x+1,y)によって、図３２で説明した４つの分割領域S1,S2,S3、及びS4に分割することができ、したがって、断面領域が視線方向mvに移動することにより、その断面領域内に、新たな基準点が含まれる状態とならない限り、式（１）ないし式（１０）に従って、注目画素の画素値を求めることができる。
【０１５３】
一方、断面領域が視線方向mvに移動することにより、その断面領域内に、新たな基準点が含まれる状態となった場合、その新たな基準点を対象として、上述した場合と同様にして、新たな注目基準点が選択し直され、これにより、注目基準点が変更される。
【０１５４】
すなわち、例えば、図３３では、時刻T=γにおいて、断面領域の位置のX座標x+1が、表示モデルの画素の位置のX座標x+1と一致し、これにより、断面領域内に、新たな基準点(x+2,y)が含まれる状態となっている。
【０１５５】
この場合、新たな基準点(x+2,y)を対象として、新たな注目基準点が選択し直されるが、いまの場合、新たな基準点は、基準点(x+2,y)だけなので、その基準点(x+2,y)が、新たな注目基準点として選択され、これにより、注目基準点が、基準点(x+1,y)から基準点(x+2,y)に変更される。
【０１５６】
なお、断面領域の位置のY座標が、表示モデルの画素の位置のY座標と一致し、これにより、断面領域内に、新たな基準点が含まれる状態となった場合も、上述したように、注目基準点が変更される。
【０１５７】
図３４は、注目基準点が変更された後、すなわち、新たな注目基準点(x+2,y)が選択された後の断面領域を示している。
【０１５８】
新たな注目基準点が選択された後は、断面領域は、その新たな注目基準点によって、図３２で説明した場合と同様に、４つの分割領域に分割することができる。図３４では、断面領域は、４つの分割領域S1',S2',S3'、及びS4'に分割されている。
【０１５９】
新たな注目基準点の選択後、断面領域が視線方向mvに移動することにより、その断面領域内に、新たな基準点が含まれる状態となった場合、その新たな基準点を対象として、上述した場合と同様にして、新たな注目基準点が選択し直され、これにより、注目基準点が変更される。
【０１６０】
図３４では、時刻T=tsfbにおいて、断面領域の位置のX座標x+2が、表示モデルの画素の位置(x+2,y-1)のX座標x+2と一致するとももに、断面領域の位置のY座標y-1が、表示モデルの画素の位置(x+2,y-1)のY座標y-1と一致し、これにより、断面領域内に、３つの新たな基準点(x+2,y-1),(x+3,y-1)、及び(x+3,y)が含まれる状態となっている。
【０１６１】
断面領域が、それ以降も移動する場合には、３つの新たな基準点(x+2,y-1),(x+3,y-1)、及び(x+3,y)の中から、上述したようにして、新たな注目基準点が選択し直される。
【０１６２】
以上のように、注目基準点を選択し直す（変更する）ことで、光量積算領域が占有画素フィールド領域（図２９）を占める占有比率、つまり、占有画素フィールド領域のうちの、光量積算領域が占める部分（この部分は、上述の分割立体に相当するので、この部分を、以下、適宜、分割立体の部分という）Vεの体積(Vε)と、占有画素フィールド領域Vの体積(V)との比Vε/Vを求めることができる。
【０１６３】
すなわち、例えば、図３３及び図３４に示したように、断面領域が、時刻T=tsfaから時刻T=tsfbにかけて、位置(x,y)から位置(X+2,y-1)に移動して、注目サブフィールドＳＦ#jを通過する場合において、注目基準点の変更が、時刻T=γにおいて１回だけ行われるときには、注目サブフィールドＳＦ#jの、例えば、位置(x+1,y-1)の画素の領域を断面とする占有画素フィールド領域のうちの光量積算領域が占める分割立体の部分Vεの体積(Vε)は、式（１１）で求めることができる。
【０１６４】
【数１１】
・・・（１１）
【０１６５】
ここで、式（１１）において、S1は、図３３に示すように、基準点(x+1,y)が注目基準点となっている時刻T=tsfaから時刻T=γまでの間の、占有画素フィールド領域の断面となっている位置(x+1,y-1)の画素の領域上の分割領域の面積を表す。また、S2'は、図３４に示すように、基準点(x+2,y)が注目基準点となっている時刻T=γから時刻T=tsfbまでの間の、占有画素フィールド領域の断面となっている位置(x+1,y-1)の画素の領域上の分割領域の面積を表す。
【０１６６】
式（１１）に示したように、注目サブフィールドＳＦ#jの、ある位置(X,Y)の画素の領域を断面とする占有画素フィールド領域のうちの光量積算領域が占める分割立体の部分Vεの体積(Vε)は、積分の区間を、注目基準点が変更される区間（式（１１）では、時刻T=tsfaから時刻T=γまでの間と、時刻T=γから時刻T=tsfbまでの間）に分けて、占有画素フィールド領域の断面となっている画素の領域上の分割領域の面積（式（１１）では、面積S1とS2'）を積分することで求めることができる。
【０１６７】
そして、光量積算領域が占有画素フィールド領域を占める占有比率Vε/Vは、占有画素フィールド領域のうちの光量積算領域が占める分割立体の部分Vεの体積(Vε)を、占有画素フィールド領域Vの体積(V)で除算することにより求めることができる。
【０１６８】
占有比率Vε/Vを求めた後は、図３１及び図３２で説明したように、占有比率Vi/Vに、占有画素フィールド領域の光量を乗算することで、占有画素フィールド領域（の光量）が注目画素の画素値に影響する分の光量（影響光量）を求めることができる。そして、光量積算領域が通る画素サブフィールド領域すべての影響光量を求め、その影響光量を積算することで、注目画素の画素値を求めることができる。
【０１６９】
次に、式（１１）に示したように、占有画素フィールド領域のうちの光量積算領域が占める分割立体の部分Vεの体積(Vε)を求めるには、注目基準点が変更される時刻（式（１１）では、時刻γ）（以下、適宜、変更時刻という）が必要となる。
【０１７０】
注目基準点の変更は、断面領域の位置のX座標が、表示モデルの画素の位置のX座標と一致するか、又は、断面領域の位置のY座標が、表示モデルの画素の位置のY座標y-1と一致するときに生じる。したがって、変更時刻は、次のようにして求めることができる。
【０１７１】
すなわち、例えば、いま、上述の図３１に示したように、画素位置(x,y)にある画素を注目画素として、時刻T=αにおいて、位置(x,y)にある断面領域が、時間Tfの間に、動きベクトル(vx,vy)で表される動き量だけ動き、時刻T=β（＝α＋Tf）において、位置(x+vx,y+vy)に移動したとする。
【０１７２】
この場合、断面領域の位置のX座標が、表示モデルの画素の位置のX座標と一致する時刻としての変更時刻Tcxは、式（１２）で表される。
【０１７３】
【数１２】
・・・（１２）
【０１７４】
ここで、動きベクトルのX成分vxは、整数値をとることとする。
【０１７５】
また、断面領域の位置のY座標が、表示モデルの画素の位置のY座標と一致する時刻としての変更時刻Tcyは、式（１３）で表される。
【０１７６】
【数１３】
・・・（１３）
【０１７７】
ここで、動きベクトルのY成分vyは、整数値をとることとする。
【０１７８】
なお、動きベクトルのX成分vxが0以外の値である場合には、時刻Tが、式（１２）に従って求められる変更時刻Tcxになるごとに、直前に注目基準点であった基準点のX座標に+1又は-1を加算した点が、新たな注目基準点（変更後の基準点）となる。すなわち、動きベクトルのX成分vxが正である場合には、直前に注目基準点であった基準点のX座標を+1した点が、新たな注目基準点となり、動きベクトルのX成分vxが負である場合には、直前に注目基準点であった基準点のX座標を-1した点が、新たな注目基準点となる。
【０１７９】
同様に、動きベクトルのY成分vyが0以外の値である場合には、時刻Tが、式（１３）に従って求められる変更時刻Tcyになるごとに、直前に注目基準点であった基準点のY座標に+1又は-1を加算した点が、新たな注目基準点となる。すなわち、動きベクトルのY成分vyが正である場合には、直前に注目基準点であった基準点のY座標を+1した点が、新たな注目基準点となり、動きベクトルのY成分vyが負である場合には、直前に注目基準点であった基準点のY座標を-1した点が、新たな注目基準点となる。
【０１８０】
なお、変更時刻TcxとTcyとが等しい場合には、直前に注目基準点であった基準点のX座標及びY座標の両方を、上述したように、+1又は-1した点が、新たな注目基準点となる。
【０１８１】
ここで、図３３及び図３４では、時刻T=tsfaにおいて、位置(x,y)にある断面領域が、時間Tfの間に、動きベクトル(vx,vy)=(+2,-1)で表される動き量だけ動き、時刻T=tsfb（＝tsfa＋Tf）において、位置(x+2,y-1)に移動している。
【０１８２】
図３３及び図３４において、時刻T=γは、式（１２）の変数Nが1であるときの変更時刻Tcxであり、式（１２）において、Tf=tsfb-tsfa，N=1、及びvx=+2とすることにより、変更時刻Tcx=γは、式(tsfb-tsfa)×1/|+2|に従って求めることができる。
【０１８３】
次に、図３５のフローチャートを参照して、図２３で説明した、図２０のステップＳＴ４００における光量の積算の処理の詳細について、さらに説明する。
【０１８４】
ステップＳＴ１００１において、図２０のステップＳＴ２００で検出された注目フィールドの各画素における視線方向mvが、動き検出部１００（図１）から光量積算部３００に供給されるとともに、図２０のステップＳＴ３００で生成された注目フィールドのサブフィールドの発光パターンを表す発光制御情報ＳＦが、サブフィールド展開部２００（図１）から光量積算部３００に供給される。
【０１８５】
ここで、ステップＳＴ１００１は、図２３のステップＳＴ４０１に対応する。
【０１８６】
その後、処理は、ステップＳＴ１００１からステップＳＴ１００２に進み、光量積算部３００（図８）において、光量積算領域決定回路３０１は、注目フィールドを構成する画素のうちの、まだ注目画素として選択していない画素の１つを、注目画素に選択して、処理は、ステップＳＴ１００３に進む。
【０１８７】
ステップＳＴ１００３では、光量積算領域決定回路３０１は、注目画素について、その注目画素における視線方向mvに基づき、表示モデルの基準点の中から、初期（最初）の注目基準点となる基準点を設定（選択）し、処理は、ステップＳＴ１００４に進む。
【０１８８】
ステップＳＴ１００４では、光量積算領域決定回路３０１は、式（１２）及び式（１３）で説明したように、注目画素について、注目基準点が変更する変更時刻を求めるとともに、各変更時刻において、新たな注目基準点となる基準点を求めて、処理は、ステップＳＴ１００５に進む。
【０１８９】
ステップＳＴ１００５では、光量積算領域決定回路３０１は、注目画素における視線方向mvと、ステップＳＴ１００４で求めた変更時刻、及び、各変更時刻において新たな注目基準点となる基準点とを用いて、光量積算領域を求める。
【０１９０】
すなわち、ステップＳＴ１００５では、光量積算領域決定回路３０１は、注目画素における視線方向mvと、変更時刻、及び、各変更時刻において新たな注目基準点となる基準点とを用いることにより、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについて、占有画素フィールド領域のうちの、注目画素の光量積算領域が占める分割立体の部分Vi（式（１０））の体積(Vi)を求める。ここで、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについて得られる分割立体の部分Viをすべて合わせた領域が、光量積算領域となる。
【０１９１】
ステップＳＴ１００５では、さらに、光量積算領域決定回路３０１は、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについて、注目画素の光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vを求め、処理は、ステップＳＴ１００６に進む。
【０１９２】
ステップＳＴ１００６では、光量積算領域決定回路３０１は、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについて、注目画素の光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vに、その占有画素フィールド領域の光量SFViを乗算することで、式（１０）で説明したように、占有画素フィールド領域（の光量）が注目画素の画素値に影響する分の光量（影響光量）PSFL,1ないしPSFL,8を求め、光量積算回路３０２に供給する。
【０１９３】
なお、サブフィールドＳＦ#jの占有画素フィールド領域の光量SFViは、サブフィールドＳＦ#jが発光している場合には、そのサブフィールドＳＦ#jの輝度の重みLとされ、サブフィールドＳＦ#jが発光していない（非発光である）場合には、0とされる。光量積算領域決定回路３０１は、サブフィールドＳＦ#jの発光／非発光を、サブフィールド展開部２００（図１）から供給される発光制御情報ＳＦが表す発光パターンから認識する。
【０１９４】
ここで、以上のステップＳＴ１００２ないしステップＳＴ１００６が、図２３のステップＳＴ４０２に対応する。
【０１９５】
その後、処理は、ステップＳＴ１００６からステップＳＴ１００７に進み、光量積算回路３０２は、光量積算領域決定回路３０１からの影響光量PSFL,1ないしPSFL,8を積算することで、注目画素の画素値を求め、処理は、ステップＳＴ１００８に進む。
【０１９６】
ここで、ステップＳＴ１００７は、図２３のステップＳＴ４０３に対応する。
【０１９７】
ステップＳＴ１００８では、光量積算領域決定回路３０１が、注目フィールドを構成する画素のすべてを、注目画素としたかどうかを判定する。
【０１９８】
ステップＳＴ１００８において、注目フィールドを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、処理は、ステップＳＴ１００２に戻り、光量積算領域決定回路３０１は、注目フィールドを構成する画素のうちの、まだ注目画素として選択していない画素の１つを、注目画素に新たに選択し、以下、同様の処理が繰り返される。
【０１９９】
また、ステップＳＴ１００８において、注目フィールドを構成する画素のすべてを、注目画素としたと判定された場合、処理は、ステップＳＴ１００９に進み、光量積算回路３０２は、注目フィールドを構成する画素のすべてを注目画素として求めた画素値からなる出力画像Voutを出力する。
【０２００】
ここで、ステップＳＴ１００９は、図２３のステップＳＴ４０４に対応する。
【０２０１】
次に、図３６は、図１の光量積算部３００の他の構成例を示している。
【０２０２】
なお、図中、図８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２０３】
すなわち、図３６の光量積算部３００は、光量積算回路３０２が設けられている点で、図８の場合と共通するが、図８の光量積算領域決定回路３０１に代えて、光量積算値テーブル記憶部３０３、及び光量積算領域選択回路３０４が設けられている点で、図８の場合と相違する。
【０２０４】
図３６の光量積算部３００では、視線方向mvと、占有比率とを対応付けたテーブル（以下、適宜、光量積算値テーブルという）を用い、注目画素における視線方向mvに基づき、注目画素について、占有比率が求められる。
【０２０５】
すなわち、図３６において、光量積算値テーブル記憶部３０３は、光量積算値テーブルを記憶している。
【０２０６】
光量積算値テーブル記憶部３０３には、動き検出部１００（図１）から、注目フィールドの各画素における視線方向mvが供給される。光量積算値テーブル記憶部３０３は、注目フィールドを構成する画素を、順次、注目画素として、そこに供給される注目画素における視線方向mvに対付けられている占有比率を、注目画素の光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vとして、光量積算値テーブルから読み出し、光量積算領域選択回路３０４に供給する。
【０２０７】
光量積算領域選択回路３０４には、上述したように、光量積算値テーブル記憶部３０３から占有比率が供給される他、サブフィールド展開部２００（図１）から、注目フィールドのサブフィールドの発光パターンを表す発光制御情報ＳＦが供給される。
【０２０８】
光量積算領域選択回路３０４は、サブフィールドＳＦ#jの占有画素フィールド領域の発光／非発光を、サブフィールド展開部２００からの発光制御情報ＳＦが表す発光パターンから認識する。さらに、光量積算領域選択回路３０４は、サブフィールドＳＦ#jの占有画素フィールド領域が発光している場合には、その占有画素フィールド領域の光量SFViを、そのサブフィールドＳＦ#jの輝度の重みLに設定し、サブフィールドＳＦ#jの占有画素フィールド領域が発光していない（非発光である）場合には、その占有画素フィールド領域の光量SFViを、0に設定する。
【０２０９】
そして、光量積算領域選択回路３０４は、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについて、光量積算値テーブル記憶部３０３からの、注目画素の光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vに、その占有画素フィールド領域の光量SFViを乗算することで、式（１０）で説明したように、占有画素フィールド領域（の光量）が注目画素の画素値に影響する分の光量（影響光量）PSFL,1ないしPSFL,8を求め、光量積算回路３０２に供給する。
【０２１０】
図３７は、図３６の光量積算値テーブル記憶部３０３に記憶された光量積算値テーブルを、模式的に示している。
【０２１１】
光量積算値テーブルには、動き検出部１００が検出し得る動きベクトルとしての視線方向mvと、その視線方向mvに対して計算によりあらかじめ求められた、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについての、画素の領域を断面とする光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vとが対応付けられて記憶されている。
【０２１２】
すなわち、光量積算値テーブルは、視線方向mvごとに用意されている。したがって、視線方向mvとしての動きベクトルのサーチ範囲が、例えば、後述するように、１６×１６画素の範囲であり、視線方向mvが２５６通りをとり得ると、光量積算値テーブルは、２５６個だけ存在する。
【０２１３】
１つの視線方向mvに対する光量積算値テーブルには、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについての占有比率Vi/Vが登録されており、これにより、視線方向mvと、その視線方向mvに対する、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについての占有比率Vi/Vとが対応付けられている。
【０２１４】
図３７は、ある１つの視線方向mvに対する光量積算値テーブルを示している。
【０２１５】
１つの視線方向mvに対する光量積算値テーブルは、例えば、横軸をサブフィールドＳＦ#jとし、縦軸を注目画素からの相対位置[x,y]とするテーブルになっている。
【０２１６】
ここで、本実施の形態では、８つのサブフィールドＳＦ１ないしＳＦ８があるので、光量積算値テーブルの横軸には、その８つのサブフィールドＳＦ１ないしＳＦ８それぞれに対応する欄が設けられる。
【０２１７】
また、光量積算値テーブルの縦軸の相対位置[x,y]のx座標とy座標は、注目画素の位置を基準（原点）とするX方向の位置とY方向の位置を、それぞれ表す。例えば、相対位置[1,0]は、注目画素の右に隣接する画素の位置を表し、例えば、相対位置[0,-1]は、注目画素の上に隣接する画素の位置を表す。
【０２１８】
いま、視線方向mvとしての動きベクトルのサーチ範囲が、例えば、注目画素を中心として、X方向及びY方向のいずれにも、−８画素ないし＋７画素の、１６×１６画素の範囲であるとすると、注目画素が１フィールドの間に動く動き光は、注目画素を基準として、[-8,-8]ないし[7,7]の２５６通りがあるので、光量積算値テーブルの縦軸には、その２５６通りの相対位置[x,y]それぞれに対応する欄が設けられる。
【０２１９】
視線方向mvが、ある動きベクトルMVで表される場合の、その視線方向MVに対する光量積算値テーブルでは、ある相対位置[x,y]の行の、あるサブフィールドＳＦ#jの列の欄には、注目画素の視線方向mvが、動きベクトルMVで表される場合において、注目画素からの相対位置が[x,y]で表される画素の領域を断面とする、サブフィールドＳＦ#jの占有画素フィールド領域BSF#j[x,y]を、注目画素の光量積算領域が占める占有比率RSF#j[x,y]（式（１０）のVi/V）、又は、式（１１）のVεを占有画素フィールド領域Vの体積(V)で除算したVε/V）が、計算によりあらかじめ求められて登録されている。
【０２２０】
なお、注目画素からの相対位置が[x,y]で表される画素の領域を断面とする、サブフィールドＳＦ#jの占有画素フィールド領域BSF#j[x,y]を、注目画素の光量積算領域が通らない場合（占有画素フィールド領域BSF#j[x,y]と、注目画素の光量積算領域とが重複しない場合）、その占有画素フィールド領域BSF#j[x,y]を、注目画素の光量積算領域が占める占有比率RSF#j[x,y]は、0とされる。
【０２２１】
ここで、注目画素における視線方向mvが、例えば、動きベクトル(1,-1)で表される場合には、注目画素の光量積算領域は、注目画素を中心とする１６×１６画素のサーチ範囲にある２５６画素それぞれの領域を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの占有画素フィールド領域（２５６×８個の占有画素フィールド領域）のうちの、注目画素の領域を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[0,0]ないしBSF8[0,0]、注目画素の右に隣接する画素を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[1,0]ないしBSF8[1,0]、注目画素の上に隣接する画素を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[0,-1]ないしBSF8[0,-1]、及び、注目画素の右上に隣接する画素を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[1,-1]ないしBSF8[1,-1]だけを通り、他の占有画素フィールド領域を通らない。
【０２２２】
したがって、注目画素の領域を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[0,0]ないしBSF8[0,0]のうちの、注目画素の光量積算領域が通る部分（分割立体の部分）の体積（式（５）ないし式（９）のVi）を、VSF1[0,0]ないしVSF8[0,0]と、注目画素の右に隣接する画素を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[1,0]ないしBSF8[1,0]のうちの、注目画素の光量積算領域が通る部分の体積を、VSF1[1,0]ないしVSF8[1,0]と、注目画素の上に隣接する画素を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[0,-1]ないしBSF8[0,-1]のうちの、注目画素の光量積算領域が通る部分の体積を、VSF1[0,-1]ないしVSF8[0,-1]と、注目画素の右上に隣接する画素を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[1,-1]ないしBSF8[1,-1]のうちの、注目画素の光量積算領域が通る部分の体積を、VSF1[1,-1]ないしVSF8[1,-1]と、それぞれ表すこととすると、視線方向mvが、動きベクトル(1,-1)で表される、その視線方向mvに対する光量積算値テーブルでは、占有比率RSF1[0,0]ないしRSF8[0,0]が、値VSF1[0,0]/VないしVSF8[0,0]/Vに、占有比率RSF1[1,0]ないしRSF8[1,0]が、値VSF1[1,0]/VないしVSF8[1,0]/Vに、占有比率RSF1[0,-1]ないしRSF8[0,-1]が、値VSF1[0,-1]/VないしVSF8[0,-1]/Vに、占有比率RSF1[1,-1]ないしRSF8[1,-1]が、値VSF1[1,-1]/VないしVSF8[1,-1]/Vに、それぞれなっており、他の占有比率は、すべて0になっている。
【０２２３】
光量積算値テーブル記憶部３０３（図３６）は、注目画素における視線方向mvに対する光量積算値テーブルに登録されている、８つのサブフィールドＳＦ１ないしＳＦ８それぞれと、２５６通りの相対位置[-8,-8]ないし[7,7]それぞれとの、合計で、８×２５６通りの占有比率を読み出し、光量積算領域選択回路３０４に供給する。
【０２２４】
光量積算領域選択回路３０４は、光量積算値テーブル記憶部３０３からの占有比率の中から、値が0以外の占有比率を選択し、その値が0以外の占有比率に、対応する光量SFViを乗算することで、影響光量を求める。
【０２２５】
なお、ここでは、光量積算領域選択回路３０４が、光量積算値テーブル記憶部３０３からの占有比率の中から、値が0以外の占有比率を選択し、その値が0以外の占有比率に、対応する光量SFViを乗算することで、影響光量を求めることとしたが、値が0の占有比率に対しては、どのような光量SFViを乗算を乗算しても、影響光量は0となるので、光量積算領域選択回路３０４では、光量積算値テーブル記憶部３０３からの占有比率の中から、値が0以外の占有比率を特に選択することなく、光量積算値テーブル記憶部３０３からの占有比率のそれぞれに、対応する光量SFViを乗算することで、影響光量を求めることが可能である。
【０２２６】
次に、図３８のフローチャートを参照して、図３６の光量積算部３００による光量の積算の処理の詳細について説明する。
【０２２７】
ステップＳＴ１０１１において、注目フィールドの各画素における視線方向mvが、動き検出部１００（図１）から光量積算部３００の光量積算値テーブル記憶部３０３に供給されるとともに、注目フィールドのサブフィールドの発光パターンを表す発光制御情報ＳＦが、サブフィールド展開部２００（図１）から光量積算部３００の光量積算領域選択回路３０４に供給される。
【０２２８】
その後、処理は、ステップＳＴ１０１１からステップＳＴ１０１２に進み、光量積算値テーブル記憶部３０３は、注目フィールドを構成する画素のうちの、まだ注目画素として選択していない画素の１つを、注目画素に選択して、処理は、ステップＳＴ１０１３に進む。
【０２２９】
ステップＳＴ１０１３では、光量積算値テーブル記憶部３０３は、動き検出部１００からの視線方向mvのうちの、注目画素における視線方向mvに対する光量積算値テーブルから、そこに登録されているすべての占有比率RSF#j[x,y]を読み出して、光量積算領域選択回路３０４に供給し、処理は、ステップＳＴ１０１４に進む。
【０２３０】
ステップＳＴ１０１４では、光量積算領域選択回路３０４は、光量積算値テーブル記憶部３０３からの占有比率RSF#j[x,y]に、対応する占有画素フィールド領域BSF#j[x,y]の光量SFjを乗算することで、占有画素フィールド領域BSF#j[x,y]（の光量）が注目画素の画素値に影響する分の光量（影響光量）を求め、光量積算回路３０２に供給する。
【０２３１】
なお、サブフィールドＳＦ#jの占有画素フィールド領域の光量SFjは、サブフィールドＳＦ#jが発光している場合には、そのサブフィールドＳＦ#jの輝度の重みLとされ、サブフィールドＳＦ#jが発光していない（非発光である）場合には、0とされる。光量積算領域選択回路３０４は、サブフィールドＳＦ#jの発光／非発光を、サブフィールド展開部２００（図１）から供給される発光制御情報ＳＦが表す発光パターンから認識する。
【０２３２】
その後、処理は、ステップＳＴ１０１４からステップＳＴ１０１５に進み、光量積算回路３０２は、光量積算領域選択回路３０４からの影響光量すべてを積算することで、注目画素の画素値を求め、処理は、ステップＳＴ１０１６に進む。
【０２３３】
ステップＳＴ１０１６では、光量積算領域選択回路３０４が、注目フィールドを構成する画素のすべてを、注目画素としたかどうかを判定する。
【０２３４】
ステップＳＴ１０１６において、注目フィールドを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、処理は、ステップＳＴ１０１２に戻り、光量積算値テーブル記憶部３０３は、注目フィールドを構成する画素のうちの、まだ注目画素として選択していない画素の１つを、注目画素に新たに選択し、以下、同様の処理が繰り返される。
【０２３５】
また、ステップＳＴ１０１６において、注目フィールドを構成する画素のすべてを、注目画素としたと判定された場合、処理は、ステップＳＴ１０１７に進み、光量積算回路３０２は、注目フィールドを構成する画素のすべてを注目画素として求めた画素値からなる出力画像Voutを出力する。
【０２３６】
次に、上述した一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３７】
そこで、図３９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２３８】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１１０５やROM１１０３に予め記録しておくことができる。
【０２３９】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２４０】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１１０８で受信し、内蔵するハードディスク１１０５にインストールすることができる。
【０２４１】
コンピュータは、CPU(Central Processing Unit)１１０２を内蔵している。CPU１１０２には、バス１１０１を介して、入出力インタフェース１１１０が接続されており、CPU１１０２は、入出力インタフェース１１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１１０３に格納されているプログラムを実行する。あるいは、また、CPU１１０２は、ハードディスク１１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１１０８で受信されてハードディスク１１０５にインストールされたプログラム、またはドライブ１１０９に装着されたリムーバブル記録媒体１１１１から読み出されてハードディスク１１０５にインストールされたプログラムを、RAM(Random Access Memory)１１０４にロードして実行する。これにより、CPU１１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１１０６から出力、あるいは、通信部１１０８から送信、さらには、ハードディスク１１０５に記録等させる。
【０２４２】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２４３】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２４５】
【図１】本発明を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図２】動き検出部１００の構成例を示すブロック図である。
【図３】動き検出を説明する図である。
【図４】動き検出を説明する図である。
【図５】サブフィールド展開部２００の構成例を示すブロック図である。
【図６】サブフィールドの構成例を示す図である。
【図７】サブフィールドの構成例を示す図である。
【図８】光量積算部３００の構成例を示すブロック図である。
【図９】擬似輪郭の発生を説明する図である。
【図１０】光量積算領域を示す図である。
【図１１】光量積算領域を示す図である。
【図１２】本発明を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図１３】階調変換部４００の構成例を示すブロック図である。
【図１４】ディザ変換回路４０４の動作を説明する図である。
【図１５】本発明を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【図１６】本発明を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【図１７】視覚補正部５００の構成例を示すブロック図である。
【図１８】ディザ補正回路５０１の動作を説明する図である。
【図１９】拡散誤差補正回路５０２の動作を説明する図である。
【図２０】本発明を適用した画像処理装置の第１実施の形態の動作を説明するフローチャートである。
【図２１】動き検出の処理を説明するフローチャートである。
【図２２】画像をサブフィールドに展開する処理を説明するフローチャートである。
【図２３】光量を積算する処理を説明するフローチャートである。
【図２４】本発明を適用した画像処理装置の第２実施の形態の動作を説明するフローチャートである。
【図２５】階調を変換する処理を説明するフローチャートである。
【図２６】本発明を適用した画像処理装置の第３実施の形態の動作を説明するフローチャートである。
【図２７】本発明を適用した画像処理装置の第４実施の形態の動作を説明するフローチャートである。
【図２８】視覚補正の処理を説明するフローチャートである。
【図２９】表示モデルを示す図である。
【図３０】表示モデルの画素を示す図である。
【図３１】表示モデルにおける光量積算領域を示す図である。
【図３２】断面領域を示す図である。
【図３３】時刻Tの経過とともに表示モデル内を移動する断面領域を示す図である。
【図３４】時刻Tの経過とともに表示モデル内を移動する断面領域を示す図である。
【図３５】光量の積算の処理を説明するフローチャートである。
【図３６】光量積算部３００の他の構成例を示すブロック図である。
【図３７】光量積算値テーブルを示す図である。
【図３８】光量の積算の処理を説明するフローチャートである。
【図３９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２４６】
１００ 動き検出部， １０１ 相関演算回路， １０２ 遅延回路， １０３ 視線決定回路， ２００ サブフィールド展開部， ２０１ サブフィールド割当回路， ２０２ 発光決定回路， ３００ 光量積算部， ３０１ 光量積算領域決定回路， ３０２ 光量積算回路， ３０３ 光量積算値テーブル記憶部， ３０４ 光量積算領域選択回路， ４００ 階調変換部， ４０１ 遅延回路， ４０２ 階調変換回路， ４０３ 階調変換テーブル， ４０４ ディザ変換回路， ４０５，４０６ 演算器 ５００ 視覚補正部， ５０１ ディザ補正回路， ５０２ 拡散誤差補正回路， １１０１ バス， １１０２ CPU， １１０３ ROM， １１０４ RAM， １１０５ ハードディスク， １１０６ 出力部， １１０７ 入力部， １１０８ 通信部， １１０９ ドライブ， １１１０ 入出力インタフェース， １１１１ リムーバブル記録媒体
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、画像を表示するLCD(Liquid Crystal Display)等の第１の表示デバイスを用いて、第１の表示デバイスと異なる特性を有するPDP(Plasma Display Panel)等の第２の表示デバイスにおいて画像を表示した状態を再現することができるようにする画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
画像信号を表示する表示デバイスとして、例えば、CRT(Cathode Ray Tube)、LCD、PDP、有機EL(Electroluminescence)、プロジェクタ等、様々な表示デバイスが存在する。
【０００３】
そして、例えば、PDPについては、表示画面上で移動画素に対し視線が追従したときに、各網膜位置に入る光量の計算を行い、その出力データから新しいサブフィールドデータを生成することで、偽輪郭の発生を抑制する方法が提案されている（例えば、特許文献１を参照）。
【０００４】
【特許文献１】特開2000-39864号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、表示特性は表示デバイスによって異なるため、画像信号が適切な視聴状態（表示状態）にあるかを確認するモニタリングにおいては、表示デバイスの特性（表示特性）の違いが大きな問題となる。すなわち、ある画像信号をLCDに表示してモニタリングを行ったとしても、その画像信号をPDPに表示した際に、どのように見えるかを確認することは困難であった。
【０００６】
そのため、複数の表示デバイスの特性を考慮してモニタリングを行うには、表示デバイスを必要な分だけ用意する必要があり、モニタリングシステムの規模の増大につながっていた。
【０００７】
またPDPは、入力画像信号の１フィールドを複数のサブフィールドで構成し、各サブフィールドを発光、非発光のどちらかの状態にするように制御することで、多階調表示を実現する表示デバイスである。
【０００８】
そのため、動画像を表示した際に、画像内の動き物体等に人の視線が追従すると、サブフィールドの発光パターンによっては、表示している画像と人の目に見える画像が異なるといった特徴がある。しかしながらPDPにおいて、実際に動画像がどのように見えるかを確認するには、PDPに動画像を表示し、人が目で見て確認するしかなく、確認作業が大変な上、客観的な評価が困難であった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、例えば、LCD等の第１の表示デバイスを用いて、第１の表示デバイスと異なる特性を有するPDP等の第２の表示デバイスにおいて画像を表示した状態を再現することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面は、画像を表示する第１の表示デバイスを用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する画像処理装置、又は、画像処理装置としてコンピュータを機能させるプログラムであり、入力画像信号から画像の動きを検出する動き検出手段と、前記入力画像信号を複数のサブフィールドに展開するサブフィールド展開手段と、前記動き検出手段において検出された動きの方向と、前記サブフィールド展開手段において展開されたサブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成する光量積算手段とを有する画像処理装置、又は画像処理装置としてコンピュータを機能させるプログラムである。
【００１１】
また、本発明の一側面は、画像を表示する第１の表示デバイスを用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する画像処理方法であり、入力画像信号から画像の動きを検出し、前記入力画像信号を複数のサブフィールドに展開し、画像の動きの方向と、サブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成するステップを含む画像処理方法でもある。
【００１２】
以上のような一側面においては、入力画像信号から画像の動きが検出され、前記入力画像信号が複数のサブフィールドに展開される。そして、画像の動きの方向と、サブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量が擬似的に算出され、その光量を画素値とする出力画像信号が生成される。
【発明の効果】
【００１３】
本発明の一側面によれば、LCD等の第１の表示デバイスを用いて、第１の表示デバイスと異なる特性を有するPDP等の第２の表示デバイスにおいて画像を表示した状態を再現することができる。
【発明を実施するための最良の形態】
【００１４】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１５】
本発明の一側面の画像処理装置、又は、プログラムは、
画像を表示する第１の表示デバイス（例えば、LCDなど）を用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイス（例えば、PDPなど）において画像を表示した状態を再現する画像処理装置（例えば、図１の画像処理装置）、又は、画像処理装置として、コンピュータを機能させるプログラムであり、
入力画像信号から画像の動きを検出する動き検出手段（例えば、図１の動き検出部１００）と、
前記入力画像信号を複数のサブフィールドに展開するサブフィールド展開手段（例えば、図１のサブフィールド展開部２００）と、
前記動き検出手段において検出された動きの方向と、前記サブフィールド展開手段において展開されたサブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成する光量積算手段（例えば、図１の光量積算部３００）と
を有する画像処理装置、又は、画像処理装置としてコンピュータを機能させるプログラムである。
【００１６】
本発明の一側面の画像処理方法は、
画像を表示する第１の表示デバイスを用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する画像処理方法であり、
入力画像信号から画像の動きを検出し（例えば、図２０のステップＳＴ２００）、
前記入力画像信号を複数のサブフィールドに展開し（例えば、図２０のステップＳＴ３００）、
画像の動きの方向と、サブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成する（例えば、ステップＳＴ４００）
ステップを含む。
【００１７】
以下、図を参照しながら、本発明の実施の形態について説明する。
【００１８】
図１は、本発明を適用した画像処理装置の第１実施の形態の構成例を示している。
【００１９】
入力画像信号Vinは、動き検出部１００と、サブフィールド展開部２００へ供給される。
【００２０】
図２は、図１の動き検出部１００の構成を示している。動き検出部１００では、入力画像信号Vinから、各画素の動きベクトルを、入力画像信号Vinを人が見た際の画素毎の視線として検出する。
【００２１】
入力画像信号Vinは、相関演算回路１０１と遅延回路１０２へ供給される。相関演算回路１０１では、現フィールドの入力画像信号Vinと、遅延回路１０２で１フィールド遅延された前フィールドの入力画像信号との間で、相関演算を行う。
【００２２】
図３に相関演算の動作を示す。
【００２３】
相関演算回路１０１は、現フィールドの注目画素において、注目画素を中心としたブロックＢＬを設定する。ブロックBLは例えば５×５画素のブロックである。そして、相関演算回路１０１は、遅延回路１０２で遅延された前フィールドにおいて、現フィールドでのブロックBLと同じ位置を中心としたサーチ範囲を設定する。サーチ範囲は例えば、現フィールドでのブロックBLと同じ位置を基準とし、水平、垂直方向に−８〜＋７画素分の領域である。そして、相関演算回路１０１は、ブロックBLとサーチ範囲内の、ブロックBLと同一サイズの各候補ブロックとの間で、例えば、画素値どうしの差分絶対値の総和を、ブロックBLと候補ブロックとの相関を評価するための評価値として求める演算を、相関演算として行い、各候補ブロックでの演算結果を、視線決定回路１０３へ供給する。
【００２４】
図２に戻り、視線決定回路１０３では、相関演算回路１０１から供給された演算結果の中から、最小の値の演算結果が得られた候補ブロックの位置を、注目画素の動きベクトルとして検出する。ここで、候補ブロックの位置は、図４に示すように、ブロックBLからの相対位置である。視線決定回路１０３は、注目画素の動きベクトルの方向を、人が注目画素を見たときの視線の方向、すなわち、現フィールドを見た人の視線が追っていく方向（視線方向）mvに決定する。
【００２５】
相関演算回路１０１では、注目画素毎にブロックBLを設定するが、現フィールドを最初に５×５画素のブロックに分割し、ブロック毎に視線方向（動きベクトル）を求め、ブロック内の画素では、全て同じ視線方向を適用してもよい。またサーチ範囲内の各候補ブロックとの相関演算には、注目画素の近傍の画素における差分絶対値に一定の重みをつけて評価値を求めてもよい。この場合、注目画素の近傍の画素の相関を重く評価することになる。
【００２６】
図５は、図１のサブフィールド展開部２００の構成例を示している。
【００２７】
サブフィールド展開部２００では、入力画像信号VinをPDPに表示する際の各サブフィールドの発光パターンを生成する。
【００２８】
サブフィールド展開部２００の動作を説明する前に、PDPにおける多階調表示の方法について説明する。PDPは、１フィールドを複数のサブフィールドに分割し、各サブフィールドの発光の輝度の重みを変えることで多階調表示を行う。
【００２９】
図６にPDPにおけるサブフィールドの構成例を示す。図６では１フィールドは８つのサブフィールドＳＦ１、ＳＦ２、ＳＦ３、ＳＦ４、ＳＦ５、ＳＦ６、ＳＦ７、ＳＦ８に分割され、各サブフィールドＳＦ１ないしＳＦ８は異なる輝度の重み（光量）を持っている。各サブフィールドＳＦ１ないしＳＦ８は、それぞれの画素を発光、非発光のどちらかに設定するアドレス期間と、アドレス期間において発光と設定された画素を発光させる発光期間から構成されている。
【００３０】
各サブフィールドＳＦ１ないしＳＦ８の輝度の重みを例えば１、２、４、８、１６、３２、６４、１２８とすると、これらのサブフィールドＳＦ１ないしＳＦ８を組み合わせることで、０〜２５５までの２５６階調を実現することができる。
【００３１】
実際のPDPは２次元平面において構成されるため、PDPによる画像の表示は、図７に示すように、PDPにおける画素位置X,Yと時間方向Ｔのサブフィールドからなる３次元的なモデル図で表現される。
【００３２】
図５に戻り、入力画像信号Vinは、サブフィールド割当回路２０１へ供給される。サブフィールド割当回路２０１は、入力画像信号Vinの１フィールドの画素値を、以下の式（１）を用いて表す。ただしＮiは、サブフィールドＳＦ#iの非発光または発光を表す発光情報であり、０または１である。
【００３３】
1×N1+2×N2+4×N3+8×N4+16×N5+32×N6+64×N7+128×N8
・・・（１）
【００３４】
なおここでは、表示対象とするPDPのサブフィールド構造を図６に示す場合と同様に、８つのサブフィールドＳＦ１ないしＳＦ８で構成し、各サブフィールドＳＦ１ないしＳＦ８の輝度の重みをそれぞれ１、２、４、８、１６、３２、６４、１２８としている。また以下の説明でもこの構造を元にするものとする。
【００３５】
そして、サブフィールド割当回路２０１は、各画素についての発光情報Ｎiの値を発光決定回路２０２へ供給する。発光決定回路２０２では、Ｎiが１の場合を発光、０の場合を非発光として、サブフィールドの発光パターンを表す発光制御情報ＳＦを生成する。
【００３６】
例えば入力画像信号Vinのある画素値が「７」である場合、サブフィールドＳＦ１、ＳＦ２、ＳＦ３を発光、それ以外を非発光と割り当てる発光制御情報ＳＦを生成する。また例えば、入力画像信号Vinのある画素値が「２２」である場合、サブフィールドＳＦ２、ＳＦ３、ＳＦ５を発光、それ以外を非発光と割り当てる発光制御情報ＳＦを生成する。
【００３７】
図８は、図１の光量積算部３００の構成を示している。光量積算部３００では、入力画像信号VinをPDPに表示した際に、人の網膜で積分される光量を画素値とする画像を、PDPにおいて入力画像信号を表示したときに人の目に見える、いわば擬似的な画像として生成して出力する。
【００３８】
光量積算部３００の動作を説明する前に、PDP特有の、視線方向と発光パターンによる画像の見え方について説明する。
【００３９】
図９は、横軸を画素位置X（Y）とするとともに、縦軸を時間Ｔとしたサブフィールドの、画素値１２７と１２８の境界を示しており、影を付してあるサブフィールドが発光するサブフィールドを示している。
【００４０】
画像が動いていない場合には、人の視線方向は、縦軸の時間方向Ｔと平行な方向Ａ−Ａ’となり、サブフィールドの発光が正しく人の網膜で積分されるため、画素値１２７と１２８が正しく認識される。
【００４１】
しかし画像が左方向に1フィールドで１画素分動くとすると、動きに人の目（視線）が追従するため、視線方向が、縦軸の時間方向Ｔと平行でない方向Ｂ−Ｂ’となり、サブフィールドの発光が人の網膜で積分されず、画素値１２７と１２８の間に黒い線を認識してしまう。また逆に画像が右方向に1フィールドで１画素分動くとすると、動きに人の目が追従するため、視線方向が、縦軸の時間方向Ｔと平行でない方向Ｃ−Ｃ’となり、サブフィールドの発光が人の網膜に積分されすぎて、画素値１２７と１２８の間に白い線を認識してしまう。
【００４２】
以上のようにPDPにおいては、サブフィールドを用いる駆動方式のため、視線方向とサブフィールドの発光パターンによって、表示している画像と人の目に見えている画像とが異なる現象が発生する場合があり、一般に動画擬似輪郭として知られている。
【００４３】
図８に戻り、動き検出部１００で検出された各画素の視線方向mvと、サブフィールド展開部２００で生成された発光制御情報ＳＦが光量積算領域決定回路３０１へ供給される。
【００４４】
光量積算領域決定回路３０１は、動き検出部１００で検出された視線方向mvとサブフィールド展開部２００で生成されたサブフィールドの発光パターンを表す発光制御情報ＳＦとから、入力画像信号VinをPDPに表示した際に、人の網膜で積分される光量を擬似的に再現するための、光量積算領域を、画素ごとに決定する。すなわち図１０に示すように、注目画素に対し、検出された視線方向に１画素分の断面積の光量積算領域を設定する。
【００４５】
さらに、光量積算領域決定回路３０１は、光量積算領域内の各サブフィールドの発光、非発光の領域の比率に応じて各サブフィールドＳＦ＃iでの光量を積算する。例えば図１０の場合、サブフィールドＳＦ８において発光、非発光の領域の比率が７：１であるとき、サブフィールドＳＦ８において積算される光量は、１２８×１÷（７＋１）＝１６となる。光量積算領域決定回路３０１は、同様に全てのサブフィールドＳＦ１ないしＳＦ８において積分される光量を算出し、光量積算回路３０２に供給する。
【００４６】
光量積算回路３０２は、光量積算領域決定回路３０１からのサブフィールドＳＦ１ないしＳＦ８それぞれの光量の総和を求め、注目画素における画素値とする。そして、光量積算回路３０２は、全ての画素に対し、同様の処理を行うことで出力画像Voutを生成する。
【００４７】
また、光量積算領域決定回路３０１、及び光量積算回路３０２の処理は、以下のように簡便に行うこともできる。
【００４８】
すなわち、図１０において、各サブフィールドの発光、非発光の領域の比率において、大きい方を採用する。この場合、サブフィールドＳＦ８は非発光となり光量０、サブフィールドＳＦ７は発光となり光量６４、以下同様に全てのサブフィールドでの結果の総和を注目画素における画素値とする。
【００４９】
実際のPDPは２次元平面において構成されるため、PDPによる画像の表示は、図１１に示すように、PDPにおける画素位置X,Yと時間方向Ｔのサブフィールドからなる３次元的なモデル図で表現される。
【００５０】
以上のように、図１に示す画像処理装置は、入力画像信号Vinから、画素毎の視線方向と、PDPに表示した際のサブフィールドの発光パターンから、PDPに表示された画像を見る人の網膜に積分される光量を画素値とする画像を、PDPに表示された画像を見る人の目に見える画像として生成するので、入力画像信号VinをPDPに表示し、人が見た場合の画像を擬似的に再現することができる。
【００５１】
図１２は、本発明を適用した画像処理装置の第２実施の形態の構成例を示している。
【００５２】
一般にPDPにおいて、動画擬似輪郭を抑制するために、使用する階調に制限を設け、さらに見た目に階調を出すために、入力画像と表示する画像の画素値の差分を、時空間の周辺の画素に割り振る誤差拡散処理、そして複数の画素値の時空間パターンによって、見た目の階調を表現するディザ処理などが行われている。図１２に示す画像処理装置は、入力画像信号Vinを表示するPDPにおいて、前記の誤差拡散処理やディザ処理が行われる場合に人の目に見える画像を擬似的に再現する。
【００５３】
図１２において、入力画像信号Vinは動き検出部１００と階調変換部４００へ供給される。動き検出部１００の構成は図１のものと同様であるため説明を省略する。
【００５４】
図１３は、図１２の階調変換部４００の構成例を示している。
【００５５】
入力画像信号Vinは、演算器４０５において、後述する表示階調誤差Vpdと加算され、画素値（階調）Vpとなり、階調変換回路４０２へ供給される
【００５６】
階調変換回路４０２では、階調変換テーブル４０３に応じて、入力された画素の階調（画素値）Vpを別の階調Vpoへと変換する。すなわち動画擬似輪郭の発生しにくい階調として０、１、３、７、１５、３１、６３、１２７、２５５を使用するとした場合、階調変換テーブル４０３では、前記の使用する階調と、前記の使用する階調の時空間の分布で表現する見た目の階調（ディザ階調）を設定する。
【００５７】
階調変換回路４０２では、階調変換テーブル４０３で設定された階調のみを用いるものとして、入力された階調Vpを、階調変換テーブル４０３の階調のうちの、階調Vpとの差分がもっとも小さい階調Vpoに置き換えて出力する。階調変換回路４０２の出力である階調Vpoはディザ変換回路４０４に供給されるとともに、演算器４０６において、階調変換回路４０２の入力である階調Vpとの差分が求められることにより、表示階調誤差Vpdとされ、遅延回路４０１で水平方向で１画素分遅延され、演算器４０５で次の入力画像信号Vinの画素値と加算される。このように変換された階調の差分を周辺の画素の階調で表現することを誤差拡散処理と呼ぶ。
【００５８】
ディザ変換回路４０４では、使用する階調の時空間の分布によって、見た目の階調を表現するディザ処理（ディザ変換）を行う。ディザ変換回路４０４の動作例を図１４に示す。ディザ変換回路４０４では、例えば階調を４として表示する領域があったとすると、使用する階調である３と７を用いて、例えば図１４に示すように階調を分布させる。このようにすると、人の目には、階調の値が平均されて、階調の値が４として見えることになる。
【００５９】
図１２に戻り、以上のように、階調変換部４００では、入力画像信号Vinを実際に表示に用いる画像信号Vdに変換し、サブフィールド展開部２００へ供給する。サブフィールド展開部２００、および光量積算部３００の構成は、図１のものと同様であるため説明を省略する。
【００６０】
すなわち、図１２の画像処理装置では、階調変換部４００によって、実際に表示される階調を元に、人の目に見える画像を擬似的に画像として出力する。この場合、動き検出部１００では入力画像信号Vinから視線を検出（決定）しているが、階調変換部４００で変換される階調の見た目が入力画像信号Vinと大きく異ならない場合、視線方向も大きく異ならないため、このような構成にしても問題がなくなる。また階調変換部４００は、入力画像信号Vinを表示に用いる画像信号Vdに変換するものであれば何でもよく、例えば特開２００４−１３８７８３号公報などに記載の手法を用いてもよい。
【００６１】
図１５は、本発明を適用した画像処理装置の第３実施の形態の構成例を示している。
【００６２】
この画像処理装置では、階調変換部４００の出力である画素（画像信号の）Vdを動き検出部１００へ供給する。この場合、動き検出部１００では、実際に表示する画像信号を元に視線（視線方向）を検出することになる。そのため制限された階調や拡散誤差やディザそのものが視覚的に検知される場合の視線を検出するとともに、階調変換部４００によって、実際に表示される階調を元に、人の目に見える画像を擬似的に画像として出力することができる。
【００６３】
なお、図１５において、動き検出部１００、サブフィールド展開部２００、光量積算部３００、および階調変換部４００の構成は、図１２のものと同様であるため説明を省略する。
【００６４】
図１６は、本発明を適用した画像処理装置の第４実施の形態の構成例を示している。
【００６５】
入力画像信号Vinは階調変換部４００へ供給され、表示に用いる画像信号Vdへ変換される。表示に用いる画像信号Vdは視覚補正部５００へ供給される。
【００６６】
図１７は視覚補正部５００の構成例を示している。視覚補正部５００では、表示に用いる画像信号Vdを人の見た目の画像（画像信号）へと擬似的に補正する。表示に用いる画像信号Vdはディザ補正回路５０１へ供給される。ディザ補正回路５０１では、ディザで表示する階調を見た目の階調へと擬似的に補正する。すなわち図１４に示したようにディザ階調が用いられていた場合、人の見た目には、階調の値が平均されるものとして、図１８に示すように階調を補正する。そしてディザ補正された画像Vmbは、拡散誤差補正回路５０２へ供給される。
【００６７】
拡散誤差補正回路５０２では、注目画素の周辺の画素に拡散した誤差を見た目の階調へと擬似的に補正する。すなわち、拡散誤差補正回路５０２では、ディザ補正された画像信号Vmbにおいて、入力画像信号Vinとの差分（誤差）が拡散されているものとし、拡散された誤差を補正する。例えば図１９に示すように、画像信号Vmbが９０である画素の誤差は、右隣の画像信号Vmbが１１０である画素における入力画像信号Vinとの差分であるとし、１１０−１０５＝５を拡散された誤差として画像信号Vmbに加算し、視覚補正された画像信号Vmを出力する。同様に全ての画素についても同じ処理を行う。
【００６８】
以上のように、視覚補正部５００では、階調変換部４００によって変換された階調を、人の目に見える際の階調として擬似的に補正を行い、補正した画像信号を動き検出部１００へ供給する。そのため制限された階調や拡散誤差やディザが人の目に見える際の擬似的な画像を元に視線を検出するとともに、階調変換部４００によって、実際に表示される階調を元に、人の目に見える画像を擬似的に得ることができる。なお、図１６の動き検出部１００、サブフィールド展開部２００、光量積算部３００、および階調変換部４００の構成は、図１２のものと同様であるため説明を省略する。
【００６９】
以上のように、図１、図１２、図１５、及び図１６の画像処理装置では、PDPに画像を表示した際に、サブフィールドの発光パターンと視線方向から、人の目に見える画像を擬似的に得ることができる。このためPDPと異なる表示デバイスにおいて、任意の画像信号をPDPに表示した際に、人の目に見える画像を擬似的に表示することが可能となる。すなわち、例えば、LCDや、CRT、有機EL、プロジェクタ等の第１の表示デバイスを用いて、第１の表示デバイスと異なる特性を有するPDP等の第２の表示デバイスにおいて画像を表示した状態を再現することができ、第２の表示デバイスの表示のエミュレーションを、第２の表示デバイスとは異なる特性の第１の表示デバイスを用いて行うことができる。
【００７０】
なお、PDPのサブフィールドの構造として図６を例に用いたが、サブフィールドの枚数、および各サブフィールドの輝度の重みは任意のものでよい。
【００７１】
図２０は、図１の画像処理装置の処理を説明するフローチャートを示している。
【００７２】
ステップＳＴ１００において、入力画像信号Vinが、画像処理装置に入力される。次にステップＳＴ２００において、動き検出部１００が、入力画像信号Vinのフィールド（又はフレーム）を、順次、注目フィールドとして、その注目フィールドについて、画素毎に動きベクトルを検出し、その動きベクトルの方向を、視線方向として決定する。
【００７３】
図２１は、ステップＳＴ２００における動き（ベクトル）の検出の処理を説明するフローチャートである。
【００７４】
ステップＳＴ２０１において注目フィールドの入力画像信号Vinが動き検出部１００に入力される。次にステップＳＴ２０２において、動き検出部１００は、注目フィールドを構成する画素を、順次、注目画素として選択し、注目画素を中心とする所定のサイズのブロックを注目ブロックとする。そして、動き検出部１００は、注目フィールドの注目ブロックと１フィールド前の所定のサーチ範囲内の候補ブロックとの間で、相関演算を行う。次にステップＳＴ２０３において、動き検出部１００は、全ての候補ブロックと演算が終了したかを判定する。終了した場合、処理はステップＳＴ２０４へ進み、終了してない場合、処理は、ステップＳＴ２０２へ戻り処理を継続する。ステップＳＴ２０４では、動き検出部１００は、候補ブロックの中で最も相関の高い候補ブロック（差分絶対値の総和の最も小さい候補ブロック）の位置を、動きベクトルとして検出し、その動きベクトルを、注目画素における視線方向mvと決定する。そしてステップＳＴ２０５において、動き検出部１００は、視線方向mvを出力する。
【００７５】
図２０に戻り、次のステップＳＴ３００において、サブフィールド展開部２００は、入力画像信号Vinの注目フィールドをPDPに表示する際のサブフィールドの発光パターンを表す発光制御情報ＳＦを生成する。
【００７６】
図２２は、ステップＳＴ３００におけるサブフィールドの発光パターンを表す発光制御情報ＳＦを生成するフローチャートである。
【００７７】
ステップＳＴ３０１において入力画像信号Vinの注目フィールドがサブフィールド展開部２００に入力される。次にステップＳＴ３０２において、サブフィールド展開部２００は、入力画像信号Vinの注目フィールドを、式（１）の各サブフィールドの輝度の重みの総和で表現し、発光情報Niを求める。次にステップＳＴ３０３において、サブフィールド展開部２００は、発光情報Niに基づき、注目フィールドの各サブフィールドの発光、非発光の発光パターンを表す発光制御情報ＳＦを生成する。そしてステップＳＴ３０４で、サブフィールド展開部２００は、サブフィールドの発光パターンを表す発光制御情報ＳＦを出力する。
【００７８】
図２０に戻り、次のステップＳＴ４００において、光量積算部３００は、入力画像信号Vinの注目フィールドをPDPに表示した際に、人の網膜で積分される光量（人の目に見える画像）に相当する画像信号Voutを、擬似的に生成する。
【００７９】
図２３は、ステップＳＴ４００における光量の積算を示すフローチャートである。
【００８０】
ステップＳＴ４０１において、ステップＳＴ２００で検出された注目フィールドの各画素における視線方向mvと、ステップＳＴ３００で生成された注目フィールドのサブフィールドの発光制御情報ＳＦが光量積算部３００に入力される。次にステップＳＴ４０２では、光量積算部３００において、注目フィールドの各画素が、順次、注目画素として選択され、注目画素における視線方向mvに応じて、光量を積算する光量積算領域が決定される。そしてステップＳＴ４０３で、光量積算部３００は、ステップＳＴ４０２で決定された光量積算領域内で発光するサブフィールドの光量を、発行制御情報ＳＦが表す発光パターンに基づいて積算し、注目画素の画素値を求めることにより、その画素値で構成される出力画像（信号）Voutを生成する。そしてステップＳＴ４０４で、光量積算部３００は、出力画像Voutを出力する。
【００８１】
図２０に戻り、次のステップＳＴ５００において、図示せぬ第２の表示デバイスとしての、例えば、LCDは、生成された出力画像Voutを表示する。
【００８２】
図２４は、図１２の画像処理装置の処理を説明するフローチャートを示している。
【００８３】
ステップＳＴ１１０において、図２０のステップＳＴ１００と同様に、入力画像信号Vinが入力される。次にステップＳＴ２１０において画素毎に動きベクトル、ひいては視線方向mvを検出する。ステップＳＴ２１０の動作は図２０のステップＳＴ２００と同様である。次にステップＳＴ３１０において、階調変換部４００は、PDPで表示する際に行われる階調変換を行う。
【００８４】
図２５は、ステップＳＴ３１０における階調変換の動作を示すフローチャートである。
【００８５】
ステップＳＴ３１１において、入力画像信号Vinが階調変換部４００に入力される。次にステップＳＴ３１２において、階調変換部４００では、入力画像信号Vinが、周辺の画像から拡散された誤差を加算することにより、画像信号Vpとされる。次にステップＳＴ３１３において、階調変換部４００は、階調変換テーブル４０３（図１３）に従って、画像信号Vpの階調を変換する。次にステップＳＴ３１４において、階調変換部４００は、階調の変換前の画像信号Vpと変換後の画像信号Vpoとの誤差（表示階調誤差）Vpdを算出する。次にステップＳＴ３１５で、階調変換部４００は、画像信号Vpoのディザ変換を行う。そしてステップＳＴ３１６で、階調変換部４００は、ディザ変換によって得られた画像信号を、階調変換された画像信号Vdとして出力する。
【００８６】
図２４に戻り、次のステップＳＴ４１０で、ステップＳＴ３１０で変換された画像信号Vdに対し、図２０のステップＳＴ３００と同様の処理を行う。また以下のステップＳＴ５１０とＳＴ６１０は、図２０のステップＳＴ４００とＳＴ５００とそれぞれ同様であるため説明を省略する。
【００８７】
図２６は、図１５の画像処理装置の処理を説明するフローチャートを示している。
【００８８】
なお図２６では、ステップＳＴ２２０で変換された画像信号Vdに対し、次のステップＳＴ３２０で視線方向（動きベクトル）の検出が実行される以外は、ステップＳＴ１２０，ＳＴ２２０，ＳＴ３２０，ＳＴ４２０，ＳＴ５２０，ＳＴ６２０において、それぞれ、図２４のステップＳＴ１１０，ＳＴ３１０，ＳＴ２１０，ＳＴ４１０，ＳＴ５１０，ＳＴ６１０と同様の処理が行われる。
【００８９】
図２７は、図１６の画像処理装置の処理を説明するフローチャートを示している。
【００９０】
ステップＳＴ１３０において、図２６のステップＳＴ１２０と同様に、入力画像信号Vinが入力される。次にステップＳＴ２３０で、図２６の場合と同様に階調が変換された画像信号Vdが生成される。次にステップＳＴ３３０で、ステップＳＴ３２０で変換された画像信号Vdに対し、視覚補正が行われる。以下、ステップＳＴ４３０，ＳＴ５３０，ＳＴ６３０，ＳＴ７３０において、それぞれ図２６のステップＳＴ３２０，ＳＴ４２０，ＳＴ５２０，ＳＴ６２０と同様の処理が行われる。
【００９１】
図２８は、ステップＳＴ３３０における、視覚補正の動作を示すフローチャートである。ステップＳＴ３３１で画像信号Vdが視覚補正部５００に入力される。次にステップＳＴ３３２において、視覚補正部５００は、ディザの視覚的な効果に応じて、画像信号Vdを補正する。次にステップＳＴ３３３で、視覚補正部５００は、周辺の画素に拡散した誤差の影響を擬似的に補正し、画像信号Vmを生成する。そしてステップＳＴ３３４で、視覚補正部５００は、画像信号Vmを出力する。
【００９２】
以上のように、図１、図１２、図１５、及び図１６の画像処理装置では、PDPに画像を表示した際に、サブフィールドの発光パターンと視線方向から、人の目に見える画像を擬似的に生成する。このためPDPと異なる表示デバイスにおいて、任意の画像信号をPDPに表示した際に、人の目に見える画像を擬似的に表示することが可能となる。
【００９３】
次に、図１の光量積算部３００の処理の詳細を説明するが、その前に、PDPによる画像の表示について、再度説明する。
【００９４】
PDPによる画像の表示は、図７や図１１に示したように、PDPにおける画素位置X,Yと時間方向Ｔのサブフィールドからなる３次元的なモデル図で表現される。
【００９５】
図２９は、PDPによる画像の表示をモデル化したモデル（以下、適宜、表示モデルという）を示している。
【００９６】
ここで、図２９は、上述の図７や図１１と同様の図である。
【００９７】
表示モデルでは、PDPにおいて入力画像信号Vinを表示する表示面としてのXY平面に垂直な方向を時間Tの方向として、８つのサブフィールドＳＦ１ないしＳＦ８が時間Tの方向に並べられている。
【００９８】
なお、表示面としてのXY平面は、例えば、表示面の左上の点を原点とするとともに、左から右方向をX方向とし、上から下方向をY方向とする。
【００９９】
光量積算部３００（図１）では、PDPに表示される入力画像信号Vinの画素（入力画像信号Vinに従ってPDPに表示される、入力画像信号Vinに対応する画像の画素）を、順次、注目画素として選択し、表示モデルにおいて、注目画素の領域を断面とし、かつ、注目画素における視線方向mv（注目画素について検出された動きベクトルの方向）に延びる領域を、光量の積算を行う光量積算領域として、その光量積算領域内の光量を、発光制御情報ＳＦが表すサブフィールドの発光パターンに従って積算することにより、注目画素の画素値を算出する。
【０１００】
すなわち、光量積算部３００は、図２９に示すように、表示モデルの表示面の画素の領域を断面とし、かつ、時間Tの方向に、サブフィールドＳＦ#iの発光の光量に対応する長さだけ延びる直方体形状の領域（空間）を、画素サブフィールド領域として、画素サブフィールド領域内を光量積算領域が占める比率である占有比率に、画素サブフィールド領域に対応するサブフィールドＳＦ#iの発光パターン（サブフィールドＳＦ#iの画素サブフィールド領域が発光であるのか、又は非発光であるのか）に従った発光の光量Lを乗算することにより、画素サブフィールド領域が注目画素の画素値に影響する分の影響光量を、光量積算領域が通る画素サブフィールド領域すべてについて求める。
【０１０１】
そして、光量積算部３００は、光量積算領域が通る画素サブフィールド領域すべてについて求められた影響光量を積算することにより、その積算値を、注目画素の画素値として算出する。
【０１０２】
以下、光量積算部３００による、表示モデルを用いた、注目画素の画素値の算出の方法の詳細について説明する。
【０１０３】
図３０は、表示モデルの画素の例を示している。
【０１０４】
表示モデルでは、画素は、例えば、横と縦の長さがいずれも１の方形状の領域になっていることとする。この場合、画素の領域の面積は、１（＝１×１）である。
【０１０５】
また、表示モデルでは、画素の位置（画素位置）を、画素の左上の座標で表すこととする。この場合、例えば、画素位置(X,Y)が(300,200)の画素（としての方形状の領域）については、図３０に示すように、その左上の点の座標は(300,200)となり、右上の点の座標は(301,200)となる。また、左下の点の座標は(300,201)となり、右下の点の座標は(301,201)となる。
【０１０６】
なお、表示モデルにおける画素の、例えば、左上の点を、以下、適宜、基準点という。
【０１０７】
図３１は、表示モデルにおける光量積算領域を示している。
【０１０８】
例えば、いま、画素位置(x,y)にある画素を注目画素として、時刻T=αにおいて、注目画素（に映る被写体）が、時間Tfの間に、動きベクトル(vx,vy)で表される動き量だけ動き、時刻T=β（＝α＋Tf）において、位置(x+vx,y+vy)に移動したとする。
【０１０９】
この場合、注目画素の領域としての方形状の領域が、位置(x,y)から位置(x+vx,y+vy)に移動するのに描く軌跡が、光量積算領域（空間）となる。
【０１１０】
いま、光量積算領域の断面、つまり、位置(x,y)から位置(x+vx,y+vy)に移動する注目画素の領域を、断面領域（平面）ということとすると、断面領域は、画素の領域と同一の形状の領域であるので、４つの頂点を有する。
【０１１１】
時刻αからβまでの間の任意の時刻T=t（α≦t≦β）における断面領域の４つの頂点のうちの、左上、右上、左下、及び右下の点（頂点）を、それぞれ、A,B,C、及びDと表すこととすると、左上の点Aは、時間Tfの間に、位置(x,y)から位置(x+vx,y+vy)に移動するので、時刻tにおける点Aの座標(X,Y)は、(x+vx(t-α)/Tf,y+vy(t-α)/Tf)となる。
【０１１２】
また、右上の点Bは、点AからX方向に+1だけ離れた点であるから、時刻tにおける点Bの座標(X,Y)は、(x+vx(t-α)/Tf+1,y+vy(t-α)/Tf)となる。同様に、左下の点Cは、点AからY方向に+1だけ離れた点であるから、時刻tにおける点Cの座標(X,Y)は、(x+vx(t-α)/Tf,y+vy(t-α)/Tf+1)となり、右下の点Dは、点AからX方向に+1だけ離れ、Y方向に+1だけ離れた点であるから、時刻tにおける点Dの座標(X,Y)は、(x+vx(t-α)/Tf+1,y+vy(t-α)/Tf+1)となる。
【０１１３】
図３２は、時刻T=tの断面領域を示している。
【０１１４】
点AないしDを頂点とする断面領域は、変形しないので、任意の時刻T=tにおいて、（XY平面上に射影したときに）基準点を１以上の数だけ含む。図３２では、断面領域に、１つの基準点(a,b)が含まれている。
【０１１５】
ここで、断面領域に、複数の基準点がある場合があるが、その場合については、後述する。
【０１１６】
また、断面領域は、時刻Tの経過とともに移動し、これにより、断面領域内の基準点の位置が変化するが、これは、断面領域を基準とすれば、相対的に、基準点が、時刻Tの経過とともに移動していると捉えることができる。そして、時刻Tの経過とともに基準点が移動することによって、断面領域内の基準点が（他の基準点）に変更される場合があるが、この場合についても、後述する。
【０１１７】
断面領域では、基準点(a,b)を通り、X軸に平行な直線LXと、Y軸に平行な直線LYとが、表示モデルを構成する画素の境界になるため、光量の積算は、断面領域を、直線LXとLYとで分割して得られる領域（以下、適宜、分割領域という）ごとに行う必要がある。
【０１１８】
図３２では、基準点(a,b)が、断面領域の内部（境界以外の部分）にあり、このため、断面領域は、４つの分割領域S1,S2,S3、及びS4に分割される。なお、図３２では、基準点(a,b)の右上の領域が分割領域S1と、基準点(a,b)の左上の領域が分割領域S2と、基準点(a,b)の左下の領域が分割領域S3と、基準点(a,b)の右上の領域が分割領域S4と、それぞれされている。
【０１１９】
時刻T=tにおける分割領域Si(i=1,2,3,4)の面積(Si)は、以下の式（１）ないし（４）で表される。
【０１２０】
【数１】
・・・（１）
【０１２１】
【数２】
・・・（２）
【０１２２】
【数３】
・・・（３）
【０１２３】
【数４】
・・・（４）
【０１２４】
いま、表示モデル（図２９）の８つのサブフィールドＳＦ１ないしＳＦ８のうちの、ある１つのサブフィールドＳＦ#jを、注目サブフィールドＳＦ#jとして、断面領域が、注目サブフィールドＳＦ#jを、時刻T=sfaから時刻T=sfbの間に通過することとする。
【０１２５】
断面領域が、注目サブフィールドＳＦ#jを通過するときに描く軌跡としての光量積算領域は、その通過時に、分割領域S1ないしS4のそれぞれが描く軌跡の結合に等しい。
【０１２６】
いま、光量積算領域のうちの、分割領域Siが描く軌跡としての領域（分割領域Siを断面とする立体）の部分を、分割立体Viということとすると、分割立体Viの体積(Vi)は、以下の式（５）ないし（８）に従って、分割領域Siを、時刻tsfaからtsfbにわたって積分することで求めることができる。
【０１２７】
【数５】
・・・（５）
【０１２８】
【数６】
・・・（６）
【０１２９】
【数７】
・・・（７）
【０１３０】
【数８】
・・・（８）
【０１３１】
なお、ここでは、断面領域が、注目サブフィールドＳＦ#jを通過するときに、基準点(a,b)は変更されない（断面領域が注目サブフィールドＳＦ#jの通過を開始するときに、断面領域内に存在した基準点(a,b)が、断面領域が注目サブフィールドＳＦ#jを通過するまで、断面領域内に存在し続ける）こととする。
【０１３２】
一方、表示モデルにおいて、注目サブフィールドＳＦ#jの、画素の領域を断面として時間Tの方向に延びる直方体形状の立体である画素フィールド領域（図２９）の体積をVとすると、その画素フィールド領域の体積Vと、分割立体V1,V2,V3、及びV4の体積(Vi)との間には、式（９）の関係がある。
【０１３３】
【数９】
・・・（９）
【０１３４】
光量積算領域の一部である分割立体Viは、注目サブフィールドＳＦ#jの、ある画素フィールド領域の一部を占めるが、その占める比率を、占有比率ということとすると、占有比率は、Vi/Vで表され、式（５）ないし式（９）から求めることができる。
【０１３５】
いま、分割立体Viが一部を占める、注目サブフィールドＳＦ#jの画素フィールド領域を、占有画素フィールド領域ということとすると、その占有画素フィールド領域（の光量）が、注目画素の画素値に影響する分の光量（以下、適宜、影響光量という）は、占有比率Vi/Vに、占有画素フィールド領域の光量SFViを乗算することで求めることができる。
【０１３６】
ここで、占有画素フィールド領域の光量SFViは、注目サブフィールドＳＦ#jの占有画素フィールド領域が発光している場合には、その注目サブフィールドＳＦ#jの輝度の重みLとされ、注目サブフィールドＳＦ#jの占有画素フィールド領域が発光していない（非発光である）場合には、0とされる。なお、注目サブフィールドＳＦ#jの占有画素フィールド領域の発光／非発光は、サブフィールド展開部２００（図１）から光量積算部３００に供給される発光制御情報ＳＦが表す発光パターンから認識することができる。
【０１３７】
注目サブフィールドＳＦ#j（の光量）が、注目画素の画素値に影響する分の光量（注目サブフィールドＳＦ#jによる光量）PSFL,jは、分割立体V1,V2,V3、及びV4それぞれが一部を占有する占有画素フィールド領域の影響光量SFV1×V1/V,SFV2×V2/V,SFV3×V3/V、及びSFV4×V4/Vの総和であるから、式（１０）により求めることができる。
【０１３８】
【数１０】
・・・（１０）
【０１３９】
光量積算部３００（図１）では、式（１０）に従い、注目画素について、８つのサブフィールドＳＦ１ないしＳＦ８それぞれによるPSFL,1ないしPSFL,8が求められる。そして、光量積算部３００では、８つのサブフィールドＳＦ１ないしＳＦ８それぞれによるPSFL,1ないしPSFL,8が積算され、その積算値PSFL,1+PSFL,2+・・・+PSFL,8が、注目画素の画素値とされる。なお、積算値PSFL,1+PSFL,2+・・・+PSFL,8を求めることは、光量積算領域が通る画素サブフィールド領域すべての影響光量を求め、その影響光量を積算することと等価である。
【０１４０】
ところで、時刻Tの経過とともに移動する断面領域については、上述したように、断面領域内に、複数の基準点が存在する場合や、断面領域内の基準点が（他の基準点）に変更される場合がある。図３３及び図３４を参照して、そのような場合について説明する。
【０１４１】
図３３及び図３４は、表示モデルの位置(x,y)にある画素を注目画素として、時刻Tの経過とともに表示モデル内を移動する断面領域を示している。
【０１４２】
なお、図３４は、図３３に続く図である。
【０１４３】
図３３及び図３４では、画素位置(x,y)にある画素を注目画素として、注目画素（に映る被写体）が、時刻T=tsfaから時刻T=tsfbにかけて、動きベクトル(+2,-1)で表される動き量だけ動き、位置(x+2,y-1)に移動している。
【０１４４】
以上のように、位置(x,y)から位置(x+2,y-1)に移動する注目画素の領域である断面領域においては、その断面領域と、表示モデルの画素の領域との（XY平面から見た）位置が完全に一致するとき、その画素の領域の４つの頂点が、基準点として、断面領域内に存在する。
【０１４５】
すなわち、例えば、移動を開始するときの位置(x,y)にある断面領域（左上の頂点の位置が位置(x,y)の断面領域）内には、点(x,y)、点(x+1,y)、点(x,y+1)、及び点(x+1,y+1)の４つの基準点が存在する。
【０１４６】
以上のように、断面領域内に複数の基準点が存在する場合、例えば、注目画素における視線方向mv（注目画素について検出された動きベクトルの方向）にある１つの基準点が、注目画素の画素値を求めるのに用いる基準点（以下、適宜、注目基準点という）として選択される。
【０１４７】
すなわち、例えば、注目画素における視線方向mvを表す動きベクトルのX成分が０より大（符号が正）で、Y成分が０以下（Y成分が０か、又はその符号が負）である場合には、４つの基準点(x,y),(x+1,y),(x,y+1)、及び(x+1,y+1)のうちの、右上の基準点(x+1,y)が、注目基準点として選択される。
【０１４８】
また、例えば、注目画素における視線方向mvを表す動きベクトルのX成分が０以下で、Y成分が０以下である場合には、４つの基準点(x,y),(x+1,y),(x,y+1)、及び(x+1,y+1)のうちの、左上の基準点(x,y)が、注目基準点として選択される。
【０１４９】
さらに、例えば、注目画素における視線方向mvを表す動きベクトルのX成分が０以下で、Y成分が０より大である場合には、４つの基準点(x,y),(x+1,y),(x,y+1)、及び(x+1,y+1)のうちの、左下の基準点(x,y+1)が、注目基準点として選択される。
【０１５０】
また、例えば、注目画素における視線方向mvを表す動きベクトルのX成分及びY成分がいずれも０より大である場合には、４つの基準点(x,y),(x+1,y),(x,y+1)、及び(x+1,y+1)のうちの、右下の基準点(x+1,y+1)が、注目基準点として選択される。
【０１５１】
図３３では、注目画素における視線方向mvを表す動きベクトルは、ベクトル(+2,-1)であるため、右上の基準点(x+1,y)が、注目基準点として選択される。
【０１５２】
以上のようにして、注目基準点(x+1,y)が選択された後は、断面領域は、注目基準点(x+1,y)によって、図３２で説明した４つの分割領域S1,S2,S3、及びS4に分割することができ、したがって、断面領域が視線方向mvに移動することにより、その断面領域内に、新たな基準点が含まれる状態とならない限り、式（１）ないし式（１０）に従って、注目画素の画素値を求めることができる。
【０１５３】
一方、断面領域が視線方向mvに移動することにより、その断面領域内に、新たな基準点が含まれる状態となった場合、その新たな基準点を対象として、上述した場合と同様にして、新たな注目基準点が選択し直され、これにより、注目基準点が変更される。
【０１５４】
すなわち、例えば、図３３では、時刻T=γにおいて、断面領域の位置のX座標x+1が、表示モデルの画素の位置のX座標x+1と一致し、これにより、断面領域内に、新たな基準点(x+2,y)が含まれる状態となっている。
【０１５５】
この場合、新たな基準点(x+2,y)を対象として、新たな注目基準点が選択し直されるが、いまの場合、新たな基準点は、基準点(x+2,y)だけなので、その基準点(x+2,y)が、新たな注目基準点として選択され、これにより、注目基準点が、基準点(x+1,y)から基準点(x+2,y)に変更される。
【０１５６】
なお、断面領域の位置のY座標が、表示モデルの画素の位置のY座標と一致し、これにより、断面領域内に、新たな基準点が含まれる状態となった場合も、上述したように、注目基準点が変更される。
【０１５７】
図３４は、注目基準点が変更された後、すなわち、新たな注目基準点(x+2,y)が選択された後の断面領域を示している。
【０１５８】
新たな注目基準点が選択された後は、断面領域は、その新たな注目基準点によって、図３２で説明した場合と同様に、４つの分割領域に分割することができる。図３４では、断面領域は、４つの分割領域S1',S2',S3'、及びS4'に分割されている。
【０１５９】
新たな注目基準点の選択後、断面領域が視線方向mvに移動することにより、その断面領域内に、新たな基準点が含まれる状態となった場合、その新たな基準点を対象として、上述した場合と同様にして、新たな注目基準点が選択し直され、これにより、注目基準点が変更される。
【０１６０】
図３４では、時刻T=tsfbにおいて、断面領域の位置のX座標x+2が、表示モデルの画素の位置(x+2,y-1)のX座標x+2と一致するとももに、断面領域の位置のY座標y-1が、表示モデルの画素の位置(x+2,y-1)のY座標y-1と一致し、これにより、断面領域内に、３つの新たな基準点(x+2,y-1),(x+3,y-1)、及び(x+3,y)が含まれる状態となっている。
【０１６１】
断面領域が、それ以降も移動する場合には、３つの新たな基準点(x+2,y-1),(x+3,y-1)、及び(x+3,y)の中から、上述したようにして、新たな注目基準点が選択し直される。
【０１６２】
以上のように、注目基準点を選択し直す（変更する）ことで、光量積算領域が占有画素フィールド領域（図２９）を占める占有比率、つまり、占有画素フィールド領域のうちの、光量積算領域が占める部分（この部分は、上述の分割立体に相当するので、この部分を、以下、適宜、分割立体の部分という）Vεの体積(Vε)と、占有画素フィールド領域Vの体積(V)との比Vε/Vを求めることができる。
【０１６３】
すなわち、例えば、図３３及び図３４に示したように、断面領域が、時刻T=tsfaから時刻T=tsfbにかけて、位置(x,y)から位置(X+2,y-1)に移動して、注目サブフィールドＳＦ#jを通過する場合において、注目基準点の変更が、時刻T=γにおいて１回だけ行われるときには、注目サブフィールドＳＦ#jの、例えば、位置(x+1,y-1)の画素の領域を断面とする占有画素フィールド領域のうちの光量積算領域が占める分割立体の部分Vεの体積(Vε)は、式（１１）で求めることができる。
【０１６４】
【数１１】
・・・（１１）
【０１６５】
ここで、式（１１）において、S1は、図３３に示すように、基準点(x+1,y)が注目基準点となっている時刻T=tsfaから時刻T=γまでの間の、占有画素フィールド領域の断面となっている位置(x+1,y-1)の画素の領域上の分割領域の面積を表す。また、S2'は、図３４に示すように、基準点(x+2,y)が注目基準点となっている時刻T=γから時刻T=tsfbまでの間の、占有画素フィールド領域の断面となっている位置(x+1,y-1)の画素の領域上の分割領域の面積を表す。
【０１６６】
式（１１）に示したように、注目サブフィールドＳＦ#jの、ある位置(X,Y)の画素の領域を断面とする占有画素フィールド領域のうちの光量積算領域が占める分割立体の部分Vεの体積(Vε)は、積分の区間を、注目基準点が変更される区間（式（１１）では、時刻T=tsfaから時刻T=γまでの間と、時刻T=γから時刻T=tsfbまでの間）に分けて、占有画素フィールド領域の断面となっている画素の領域上の分割領域の面積（式（１１）では、面積S1とS2'）を積分することで求めることができる。
【０１６７】
そして、光量積算領域が占有画素フィールド領域を占める占有比率Vε/Vは、占有画素フィールド領域のうちの光量積算領域が占める分割立体の部分Vεの体積(Vε)を、占有画素フィールド領域Vの体積(V)で除算することにより求めることができる。
【０１６８】
占有比率Vε/Vを求めた後は、図３１及び図３２で説明したように、占有比率Vi/Vに、占有画素フィールド領域の光量を乗算することで、占有画素フィールド領域（の光量）が注目画素の画素値に影響する分の光量（影響光量）を求めることができる。そして、光量積算領域が通る画素サブフィールド領域すべての影響光量を求め、その影響光量を積算することで、注目画素の画素値を求めることができる。
【０１６９】
次に、式（１１）に示したように、占有画素フィールド領域のうちの光量積算領域が占める分割立体の部分Vεの体積(Vε)を求めるには、注目基準点が変更される時刻（式（１１）では、時刻γ）（以下、適宜、変更時刻という）が必要となる。
【０１７０】
注目基準点の変更は、断面領域の位置のX座標が、表示モデルの画素の位置のX座標と一致するか、又は、断面領域の位置のY座標が、表示モデルの画素の位置のY座標y-1と一致するときに生じる。したがって、変更時刻は、次のようにして求めることができる。
【０１７１】
すなわち、例えば、いま、上述の図３１に示したように、画素位置(x,y)にある画素を注目画素として、時刻T=αにおいて、位置(x,y)にある断面領域が、時間Tfの間に、動きベクトル(vx,vy)で表される動き量だけ動き、時刻T=β（＝α＋Tf）において、位置(x+vx,y+vy)に移動したとする。
【０１７２】
この場合、断面領域の位置のX座標が、表示モデルの画素の位置のX座標と一致する時刻としての変更時刻Tcxは、式（１２）で表される。
【０１７３】
【数１２】
・・・（１２）
【０１７４】
ここで、動きベクトルのX成分vxは、整数値をとることとする。
【０１７５】
また、断面領域の位置のY座標が、表示モデルの画素の位置のY座標と一致する時刻としての変更時刻Tcyは、式（１３）で表される。
【０１７６】
【数１３】
・・・（１３）
【０１７７】
ここで、動きベクトルのY成分vyは、整数値をとることとする。
【０１７８】
なお、動きベクトルのX成分vxが0以外の値である場合には、時刻Tが、式（１２）に従って求められる変更時刻Tcxになるごとに、直前に注目基準点であった基準点のX座標に+1又は-1を加算した点が、新たな注目基準点（変更後の基準点）となる。すなわち、動きベクトルのX成分vxが正である場合には、直前に注目基準点であった基準点のX座標を+1した点が、新たな注目基準点となり、動きベクトルのX成分vxが負である場合には、直前に注目基準点であった基準点のX座標を-1した点が、新たな注目基準点となる。
【０１７９】
同様に、動きベクトルのY成分vyが0以外の値である場合には、時刻Tが、式（１３）に従って求められる変更時刻Tcyになるごとに、直前に注目基準点であった基準点のY座標に+1又は-1を加算した点が、新たな注目基準点となる。すなわち、動きベクトルのY成分vyが正である場合には、直前に注目基準点であった基準点のY座標を+1した点が、新たな注目基準点となり、動きベクトルのY成分vyが負である場合には、直前に注目基準点であった基準点のY座標を-1した点が、新たな注目基準点となる。
【０１８０】
なお、変更時刻TcxとTcyとが等しい場合には、直前に注目基準点であった基準点のX座標及びY座標の両方を、上述したように、+1又は-1した点が、新たな注目基準点となる。
【０１８１】
ここで、図３３及び図３４では、時刻T=tsfaにおいて、位置(x,y)にある断面領域が、時間Tfの間に、動きベクトル(vx,vy)=(+2,-1)で表される動き量だけ動き、時刻T=tsfb（＝tsfa＋Tf）において、位置(x+2,y-1)に移動している。
【０１８２】
図３３及び図３４において、時刻T=γは、式（１２）の変数Nが1であるときの変更時刻Tcxであり、式（１２）において、Tf=tsfb-tsfa，N=1、及びvx=+2とすることにより、変更時刻Tcx=γは、式(tsfb-tsfa)×1/|+2|に従って求めることができる。
【０１８３】
次に、図３５のフローチャートを参照して、図２３で説明した、図２０のステップＳＴ４００における光量の積算の処理の詳細について、さらに説明する。
【０１８４】
ステップＳＴ１００１において、図２０のステップＳＴ２００で検出された注目フィールドの各画素における視線方向mvが、動き検出部１００（図１）から光量積算部３００に供給されるとともに、図２０のステップＳＴ３００で生成された注目フィールドのサブフィールドの発光パターンを表す発光制御情報ＳＦが、サブフィールド展開部２００（図１）から光量積算部３００に供給される。
【０１８５】
ここで、ステップＳＴ１００１は、図２３のステップＳＴ４０１に対応する。
【０１８６】
その後、処理は、ステップＳＴ１００１からステップＳＴ１００２に進み、光量積算部３００（図８）において、光量積算領域決定回路３０１は、注目フィールドを構成する画素のうちの、まだ注目画素として選択していない画素の１つを、注目画素に選択して、処理は、ステップＳＴ１００３に進む。
【０１８７】
ステップＳＴ１００３では、光量積算領域決定回路３０１は、注目画素について、その注目画素における視線方向mvに基づき、表示モデルの基準点の中から、初期（最初）の注目基準点となる基準点を設定（選択）し、処理は、ステップＳＴ１００４に進む。
【０１８８】
ステップＳＴ１００４では、光量積算領域決定回路３０１は、式（１２）及び式（１３）で説明したように、注目画素について、注目基準点が変更する変更時刻を求めるとともに、各変更時刻において、新たな注目基準点となる基準点を求めて、処理は、ステップＳＴ１００５に進む。
【０１８９】
ステップＳＴ１００５では、光量積算領域決定回路３０１は、注目画素における視線方向mvと、ステップＳＴ１００４で求めた変更時刻、及び、各変更時刻において新たな注目基準点となる基準点とを用いて、光量積算領域を求める。
【０１９０】
すなわち、ステップＳＴ１００５では、光量積算領域決定回路３０１は、注目画素における視線方向mvと、変更時刻、及び、各変更時刻において新たな注目基準点となる基準点とを用いることにより、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについて、占有画素フィールド領域のうちの、注目画素の光量積算領域が占める分割立体の部分Vi（式（１０））の体積(Vi)を求める。ここで、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについて得られる分割立体の部分Viをすべて合わせた領域が、光量積算領域となる。
【０１９１】
ステップＳＴ１００５では、さらに、光量積算領域決定回路３０１は、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについて、注目画素の光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vを求め、処理は、ステップＳＴ１００６に進む。
【０１９２】
ステップＳＴ１００６では、光量積算領域決定回路３０１は、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについて、注目画素の光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vに、その占有画素フィールド領域の光量SFViを乗算することで、式（１０）で説明したように、占有画素フィールド領域（の光量）が注目画素の画素値に影響する分の光量（影響光量）PSFL,1ないしPSFL,8を求め、光量積算回路３０２に供給する。
【０１９３】
なお、サブフィールドＳＦ#jの占有画素フィールド領域の光量SFViは、サブフィールドＳＦ#jが発光している場合には、そのサブフィールドＳＦ#jの輝度の重みLとされ、サブフィールドＳＦ#jが発光していない（非発光である）場合には、0とされる。光量積算領域決定回路３０１は、サブフィールドＳＦ#jの発光／非発光を、サブフィールド展開部２００（図１）から供給される発光制御情報ＳＦが表す発光パターンから認識する。
【０１９４】
ここで、以上のステップＳＴ１００２ないしステップＳＴ１００６が、図２３のステップＳＴ４０２に対応する。
【０１９５】
その後、処理は、ステップＳＴ１００６からステップＳＴ１００７に進み、光量積算回路３０２は、光量積算領域決定回路３０１からの影響光量PSFL,1ないしPSFL,8を積算することで、注目画素の画素値を求め、処理は、ステップＳＴ１００８に進む。
【０１９６】
ここで、ステップＳＴ１００７は、図２３のステップＳＴ４０３に対応する。
【０１９７】
ステップＳＴ１００８では、光量積算領域決定回路３０１が、注目フィールドを構成する画素のすべてを、注目画素としたかどうかを判定する。
【０１９８】
ステップＳＴ１００８において、注目フィールドを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、処理は、ステップＳＴ１００２に戻り、光量積算領域決定回路３０１は、注目フィールドを構成する画素のうちの、まだ注目画素として選択していない画素の１つを、注目画素に新たに選択し、以下、同様の処理が繰り返される。
【０１９９】
また、ステップＳＴ１００８において、注目フィールドを構成する画素のすべてを、注目画素としたと判定された場合、処理は、ステップＳＴ１００９に進み、光量積算回路３０２は、注目フィールドを構成する画素のすべてを注目画素として求めた画素値からなる出力画像Voutを出力する。
【０２００】
ここで、ステップＳＴ１００９は、図２３のステップＳＴ４０４に対応する。
【０２０１】
次に、図３６は、図１の光量積算部３００の他の構成例を示している。
【０２０２】
なお、図中、図８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２０３】
すなわち、図３６の光量積算部３００は、光量積算回路３０２が設けられている点で、図８の場合と共通するが、図８の光量積算領域決定回路３０１に代えて、光量積算値テーブル記憶部３０３、及び光量積算領域選択回路３０４が設けられている点で、図８の場合と相違する。
【０２０４】
図３６の光量積算部３００では、視線方向mvと、占有比率とを対応付けたテーブル（以下、適宜、光量積算値テーブルという）を用い、注目画素における視線方向mvに基づき、注目画素について、占有比率が求められる。
【０２０５】
すなわち、図３６において、光量積算値テーブル記憶部３０３は、光量積算値テーブルを記憶している。
【０２０６】
光量積算値テーブル記憶部３０３には、動き検出部１００（図１）から、注目フィールドの各画素における視線方向mvが供給される。光量積算値テーブル記憶部３０３は、注目フィールドを構成する画素を、順次、注目画素として、そこに供給される注目画素における視線方向mvに対付けられている占有比率を、注目画素の光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vとして、光量積算値テーブルから読み出し、光量積算領域選択回路３０４に供給する。
【０２０７】
光量積算領域選択回路３０４には、上述したように、光量積算値テーブル記憶部３０３から占有比率が供給される他、サブフィールド展開部２００（図１）から、注目フィールドのサブフィールドの発光パターンを表す発光制御情報ＳＦが供給される。
【０２０８】
光量積算領域選択回路３０４は、サブフィールドＳＦ#jの占有画素フィールド領域の発光／非発光を、サブフィールド展開部２００からの発光制御情報ＳＦが表す発光パターンから認識する。さらに、光量積算領域選択回路３０４は、サブフィールドＳＦ#jの占有画素フィールド領域が発光している場合には、その占有画素フィールド領域の光量SFViを、そのサブフィールドＳＦ#jの輝度の重みLに設定し、サブフィールドＳＦ#jの占有画素フィールド領域が発光していない（非発光である）場合には、その占有画素フィールド領域の光量SFViを、0に設定する。
【０２０９】
そして、光量積算領域選択回路３０４は、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについて、光量積算値テーブル記憶部３０３からの、注目画素の光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vに、その占有画素フィールド領域の光量SFViを乗算することで、式（１０）で説明したように、占有画素フィールド領域（の光量）が注目画素の画素値に影響する分の光量（影響光量）PSFL,1ないしPSFL,8を求め、光量積算回路３０２に供給する。
【０２１０】
図３７は、図３６の光量積算値テーブル記憶部３０３に記憶された光量積算値テーブルを、模式的に示している。
【０２１１】
光量積算値テーブルには、動き検出部１００が検出し得る動きベクトルとしての視線方向mvと、その視線方向mvに対して計算によりあらかじめ求められた、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについての、画素の領域を断面とする光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vとが対応付けられて記憶されている。
【０２１２】
すなわち、光量積算値テーブルは、視線方向mvごとに用意されている。したがって、視線方向mvとしての動きベクトルのサーチ範囲が、例えば、後述するように、１６×１６画素の範囲であり、視線方向mvが２５６通りをとり得ると、光量積算値テーブルは、２５６個だけ存在する。
【０２１３】
１つの視線方向mvに対する光量積算値テーブルには、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについての占有比率Vi/Vが登録されており、これにより、視線方向mvと、その視線方向mvに対する、８つのサブフィールドＳＦ１ないしＳＦ８それぞれについての占有比率Vi/Vとが対応付けられている。
【０２１４】
図３７は、ある１つの視線方向mvに対する光量積算値テーブルを示している。
【０２１５】
１つの視線方向mvに対する光量積算値テーブルは、例えば、横軸をサブフィールドＳＦ#jとし、縦軸を注目画素からの相対位置[x,y]とするテーブルになっている。
【０２１６】
ここで、本実施の形態では、８つのサブフィールドＳＦ１ないしＳＦ８があるので、光量積算値テーブルの横軸には、その８つのサブフィールドＳＦ１ないしＳＦ８それぞれに対応する欄が設けられる。
【０２１７】
また、光量積算値テーブルの縦軸の相対位置[x,y]のx座標とy座標は、注目画素の位置を基準（原点）とするX方向の位置とY方向の位置を、それぞれ表す。例えば、相対位置[1,0]は、注目画素の右に隣接する画素の位置を表し、例えば、相対位置[0,-1]は、注目画素の上に隣接する画素の位置を表す。
【０２１８】
いま、視線方向mvとしての動きベクトルのサーチ範囲が、例えば、注目画素を中心として、X方向及びY方向のいずれにも、−８画素ないし＋７画素の、１６×１６画素の範囲であるとすると、注目画素が１フィールドの間に動く動き光は、注目画素を基準として、[-8,-8]ないし[7,7]の２５６通りがあるので、光量積算値テーブルの縦軸には、その２５６通りの相対位置[x,y]それぞれに対応する欄が設けられる。
【０２１９】
視線方向mvが、ある動きベクトルMVで表される場合の、その視線方向MVに対する光量積算値テーブルでは、ある相対位置[x,y]の行の、あるサブフィールドＳＦ#jの列の欄には、注目画素の視線方向mvが、動きベクトルMVで表される場合において、注目画素からの相対位置が[x,y]で表される画素の領域を断面とする、サブフィールドＳＦ#jの占有画素フィールド領域BSF#j[x,y]を、注目画素の光量積算領域が占める占有比率RSF#j[x,y]（式（１０）のVi/V）、又は、式（１１）のVεを占有画素フィールド領域Vの体積(V)で除算したVε/V）が、計算によりあらかじめ求められて登録されている。
【０２２０】
なお、注目画素からの相対位置が[x,y]で表される画素の領域を断面とする、サブフィールドＳＦ#jの占有画素フィールド領域BSF#j[x,y]を、注目画素の光量積算領域が通らない場合（占有画素フィールド領域BSF#j[x,y]と、注目画素の光量積算領域とが重複しない場合）、その占有画素フィールド領域BSF#j[x,y]を、注目画素の光量積算領域が占める占有比率RSF#j[x,y]は、0とされる。
【０２２１】
ここで、注目画素における視線方向mvが、例えば、動きベクトル(1,-1)で表される場合には、注目画素の光量積算領域は、注目画素を中心とする１６×１６画素のサーチ範囲にある２５６画素それぞれの領域を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの占有画素フィールド領域（２５６×８個の占有画素フィールド領域）のうちの、注目画素の領域を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[0,0]ないしBSF8[0,0]、注目画素の右に隣接する画素を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[1,0]ないしBSF8[1,0]、注目画素の上に隣接する画素を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[0,-1]ないしBSF8[0,-1]、及び、注目画素の右上に隣接する画素を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[1,-1]ないしBSF8[1,-1]だけを通り、他の占有画素フィールド領域を通らない。
【０２２２】
したがって、注目画素の領域を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[0,0]ないしBSF8[0,0]のうちの、注目画素の光量積算領域が通る部分（分割立体の部分）の体積（式（５）ないし式（９）のVi）を、VSF1[0,0]ないしVSF8[0,0]と、注目画素の右に隣接する画素を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[1,0]ないしBSF8[1,0]のうちの、注目画素の光量積算領域が通る部分の体積を、VSF1[1,0]ないしVSF8[1,0]と、注目画素の上に隣接する画素を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[0,-1]ないしBSF8[0,-1]のうちの、注目画素の光量積算領域が通る部分の体積を、VSF1[0,-1]ないしVSF8[0,-1]と、注目画素の右上に隣接する画素を断面とする、サブフィールドＳＦ１ないしＳＦ８それぞれの８個の占有画素フィールド領域BSF1[1,-1]ないしBSF8[1,-1]のうちの、注目画素の光量積算領域が通る部分の体積を、VSF1[1,-1]ないしVSF8[1,-1]と、それぞれ表すこととすると、視線方向mvが、動きベクトル(1,-1)で表される、その視線方向mvに対する光量積算値テーブルでは、占有比率RSF1[0,0]ないしRSF8[0,0]が、値VSF1[0,0]/VないしVSF8[0,0]/Vに、占有比率RSF1[1,0]ないしRSF8[1,0]が、値VSF1[1,0]/VないしVSF8[1,0]/Vに、占有比率RSF1[0,-1]ないしRSF8[0,-1]が、値VSF1[0,-1]/VないしVSF8[0,-1]/Vに、占有比率RSF1[1,-1]ないしRSF8[1,-1]が、値VSF1[1,-1]/VないしVSF8[1,-1]/Vに、それぞれなっており、他の占有比率は、すべて0になっている。
【０２２３】
光量積算値テーブル記憶部３０３（図３６）は、注目画素における視線方向mvに対する光量積算値テーブルに登録されている、８つのサブフィールドＳＦ１ないしＳＦ８それぞれと、２５６通りの相対位置[-8,-8]ないし[7,7]それぞれとの、合計で、８×２５６通りの占有比率を読み出し、光量積算領域選択回路３０４に供給する。
【０２２４】
光量積算領域選択回路３０４は、光量積算値テーブル記憶部３０３からの占有比率の中から、値が0以外の占有比率を選択し、その値が0以外の占有比率に、対応する光量SFViを乗算することで、影響光量を求める。
【０２２５】
なお、ここでは、光量積算領域選択回路３０４が、光量積算値テーブル記憶部３０３からの占有比率の中から、値が0以外の占有比率を選択し、その値が0以外の占有比率に、対応する光量SFViを乗算することで、影響光量を求めることとしたが、値が0の占有比率に対しては、どのような光量SFViを乗算を乗算しても、影響光量は0となるので、光量積算領域選択回路３０４では、光量積算値テーブル記憶部３０３からの占有比率の中から、値が0以外の占有比率を特に選択することなく、光量積算値テーブル記憶部３０３からの占有比率のそれぞれに、対応する光量SFViを乗算することで、影響光量を求めることが可能である。
【０２２６】
次に、図３８のフローチャートを参照して、図３６の光量積算部３００による光量の積算の処理の詳細について説明する。
【０２２７】
ステップＳＴ１０１１において、注目フィールドの各画素における視線方向mvが、動き検出部１００（図１）から光量積算部３００の光量積算値テーブル記憶部３０３に供給されるとともに、注目フィールドのサブフィールドの発光パターンを表す発光制御情報ＳＦが、サブフィールド展開部２００（図１）から光量積算部３００の光量積算領域選択回路３０４に供給される。
【０２２８】
その後、処理は、ステップＳＴ１０１１からステップＳＴ１０１２に進み、光量積算値テーブル記憶部３０３は、注目フィールドを構成する画素のうちの、まだ注目画素として選択していない画素の１つを、注目画素に選択して、処理は、ステップＳＴ１０１３に進む。
【０２２９】
ステップＳＴ１０１３では、光量積算値テーブル記憶部３０３は、動き検出部１００からの視線方向mvのうちの、注目画素における視線方向mvに対する光量積算値テーブルから、そこに登録されているすべての占有比率RSF#j[x,y]を読み出して、光量積算領域選択回路３０４に供給し、処理は、ステップＳＴ１０１４に進む。
【０２３０】
ステップＳＴ１０１４では、光量積算領域選択回路３０４は、光量積算値テーブル記憶部３０３からの占有比率RSF#j[x,y]に、対応する占有画素フィールド領域BSF#j[x,y]の光量SFjを乗算することで、占有画素フィールド領域BSF#j[x,y]（の光量）が注目画素の画素値に影響する分の光量（影響光量）を求め、光量積算回路３０２に供給する。
【０２３１】
なお、サブフィールドＳＦ#jの占有画素フィールド領域の光量SFjは、サブフィールドＳＦ#jが発光している場合には、そのサブフィールドＳＦ#jの輝度の重みLとされ、サブフィールドＳＦ#jが発光していない（非発光である）場合には、0とされる。光量積算領域選択回路３０４は、サブフィールドＳＦ#jの発光／非発光を、サブフィールド展開部２００（図１）から供給される発光制御情報ＳＦが表す発光パターンから認識する。
【０２３２】
その後、処理は、ステップＳＴ１０１４からステップＳＴ１０１５に進み、光量積算回路３０２は、光量積算領域選択回路３０４からの影響光量すべてを積算することで、注目画素の画素値を求め、処理は、ステップＳＴ１０１６に進む。
【０２３３】
ステップＳＴ１０１６では、光量積算領域選択回路３０４が、注目フィールドを構成する画素のすべてを、注目画素としたかどうかを判定する。
【０２３４】
ステップＳＴ１０１６において、注目フィールドを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、処理は、ステップＳＴ１０１２に戻り、光量積算値テーブル記憶部３０３は、注目フィールドを構成する画素のうちの、まだ注目画素として選択していない画素の１つを、注目画素に新たに選択し、以下、同様の処理が繰り返される。
【０２３５】
また、ステップＳＴ１０１６において、注目フィールドを構成する画素のすべてを、注目画素としたと判定された場合、処理は、ステップＳＴ１０１７に進み、光量積算回路３０２は、注目フィールドを構成する画素のすべてを注目画素として求めた画素値からなる出力画像Voutを出力する。
【０２３６】
次に、上述した一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３７】
そこで、図３９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２３８】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１１０５やROM１１０３に予め記録しておくことができる。
【０２３９】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２４０】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１１０８で受信し、内蔵するハードディスク１１０５にインストールすることができる。
【０２４１】
コンピュータは、CPU(Central Processing Unit)１１０２を内蔵している。CPU１１０２には、バス１１０１を介して、入出力インタフェース１１１０が接続されており、CPU１１０２は、入出力インタフェース１１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１１０３に格納されているプログラムを実行する。あるいは、また、CPU１１０２は、ハードディスク１１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１１０８で受信されてハードディスク１１０５にインストールされたプログラム、またはドライブ１１０９に装着されたリムーバブル記録媒体１１１１から読み出されてハードディスク１１０５にインストールされたプログラムを、RAM(Random Access Memory)１１０４にロードして実行する。これにより、CPU１１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１１０６から出力、あるいは、通信部１１０８から送信、さらには、ハードディスク１１０５に記録等させる。
【０２４２】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２４３】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２４５】
【図１】本発明を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図２】動き検出部１００の構成例を示すブロック図である。
【図３】動き検出を説明する図である。
【図４】動き検出を説明する図である。
【図５】サブフィールド展開部２００の構成例を示すブロック図である。
【図６】サブフィールドの構成例を示す図である。
【図７】サブフィールドの構成例を示す図である。
【図８】光量積算部３００の構成例を示すブロック図である。
【図９】擬似輪郭の発生を説明する図である。
【図１０】光量積算領域を示す図である。
【図１１】光量積算領域を示す図である。
【図１２】本発明を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図１３】階調変換部４００の構成例を示すブロック図である。
【図１４】ディザ変換回路４０４の動作を説明する図である。
【図１５】本発明を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【図１６】本発明を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【図１７】視覚補正部５００の構成例を示すブロック図である。
【図１８】ディザ補正回路５０１の動作を説明する図である。
【図１９】拡散誤差補正回路５０２の動作を説明する図である。
【図２０】本発明を適用した画像処理装置の第１実施の形態の動作を説明するフローチャートである。
【図２１】動き検出の処理を説明するフローチャートである。
【図２２】画像をサブフィールドに展開する処理を説明するフローチャートである。
【図２３】光量を積算する処理を説明するフローチャートである。
【図２４】本発明を適用した画像処理装置の第２実施の形態の動作を説明するフローチャートである。
【図２５】階調を変換する処理を説明するフローチャートである。
【図２６】本発明を適用した画像処理装置の第３実施の形態の動作を説明するフローチャートである。
【図２７】本発明を適用した画像処理装置の第４実施の形態の動作を説明するフローチャートである。
【図２８】視覚補正の処理を説明するフローチャートである。
【図２９】表示モデルを示す図である。
【図３０】表示モデルの画素を示す図である。
【図３１】表示モデルにおける光量積算領域を示す図である。
【図３２】断面領域を示す図である。
【図３３】時刻Tの経過とともに表示モデル内を移動する断面領域を示す図である。
【図３４】時刻Tの経過とともに表示モデル内を移動する断面領域を示す図である。
【図３５】光量の積算の処理を説明するフローチャートである。
【図３６】光量積算部３００の他の構成例を示すブロック図である。
【図３７】光量積算値テーブルを示す図である。
【図３８】光量の積算の処理を説明するフローチャートである。
【図３９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２４６】
１００ 動き検出部， １０１ 相関演算回路， １０２ 遅延回路， １０３ 視線決定回路， ２００ サブフィールド展開部， ２０１ サブフィールド割当回路， ２０２ 発光決定回路， ３００ 光量積算部， ３０１ 光量積算領域決定回路， ３０２ 光量積算回路， ３０３ 光量積算値テーブル記憶部， ３０４ 光量積算領域選択回路， ４００ 階調変換部， ４０１ 遅延回路， ４０２ 階調変換回路， ４０３ 階調変換テーブル， ４０４ ディザ変換回路， ４０５，４０６ 演算器 ５００ 視覚補正部， ５０１ ディザ補正回路， ５０２ 拡散誤差補正回路， １１０１ バス， １１０２ CPU， １１０３ ROM， １１０４ RAM， １１０５ ハードディスク， １１０６ 出力部， １１０７ 入力部， １１０８ 通信部， １１０９ ドライブ， １１１０ 入出力インタフェース， １１１１ リムーバブル記録媒体
【特許請求の範囲】
【請求項１】
画像を表示する第１の表示デバイスを用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する画像処理装置において、
入力画像信号から画像の動きを検出する動き検出手段と、
前記入力画像信号を複数のサブフィールドに展開するサブフィールド展開手段と、
前記動き検出手段において検出された動きの方向と、前記サブフィールド展開手段において展開されたサブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成する光量積算手段と
を有する画像処理装置。
【請求項２】
前記第１の表示デバイスは、PDP(Plasma Display Panel)以外の表示デバイスである
請求項１に記載の画像処理装置。
【請求項３】
前記第１の表示デバイスは、CRT(Cathode Ray Tube)，LCD(Liquid Crystal Display)、有機EL(Electroluminescence)、又はプロジェクタである
請求項１に記載の画像処理装置。
【請求項４】
前記第２の表示デバイスは、PDP(Plasma Display Panel)である
請求項１に記載の画像処理装置。
【請求項５】
前記サブフィールド展開手段は、前記入力画像信号を、画素ごとに、発光の光量が異なる複数のサブフィールドに展開し、
前記光量積算手段は、前記第２の表示デバイスにおいて前記入力画像信号を表示する表示面に垂直な方向を時間方向として、前記複数のサブフィールドを時間方向に並べた、前記第２の表示デバイスによる前記入力画像信号の表示をモデル化した表示モデルにおいて、注目している注目画素の領域を断面とし、かつ、前記注目画素の動きの方向に延びる領域を、光量の積算を行う光量積算領域として、前記光量積算領域内の光量を、前記サブフィールドの発光パターンに従って積算することにより、前記注目画素の画素値を算出する
請求項１に記載の画像処理装置。
【請求項６】
前記光量積算手段は、
前記表示モデルにおいて、前記表示面の画素の領域を断面とし、かつ、時間方向に、前記サブフィールドの発光の光量に対応する長さだけ延びる領域を、画素サブフィールド領域として、前記画素サブフィールド領域内を前記光量積算領域が占める比率である占有比率に、前記画素サブフィールド領域に対応するサブフィールドの前記発光パターンに従った発光の光量を乗算することにより、前記画素サブフィールド領域が前記注目画素の画素値に影響する分の影響光量を、前記光量積算領域が通る前記画素サブフィールド領域すべてについて求め、
前記光量積算領域が通る前記画素サブフィールド領域すべてについて求められた前記影響光量を積算する
ことにより、前記注目画素の画素値を算出する
請求項５に記載の画像処理装置。
【請求項７】
前記光量積算手段は、画素の動きの方向と、前記占有比率とを対応付けたテーブルを用いて、前記注目画素の動きの方向に基づき、前記注目画素について、前記占有比率を求める
請求項６に記載の画像処理装置。
【請求項８】
画像を表示する第１の表示デバイスを用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する画像処理方法において、
入力画像信号から画像の動きを検出し、
前記入力画像信号を複数のサブフィールドに展開し、
画像の動きの方向と、サブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成する
ステップを含む画像処理方法。
【請求項９】
画像を表示する第１の表示デバイスを用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する画像処理装置として、コンピュータを機能させるプログラムにおいて、
入力画像信号から画像の動きを検出する動き検出手段と、
前記入力画像信号を複数のサブフィールドに展開するサブフィールド展開手段と、
前記動き検出手段において検出された動きの方向と、前記サブフィールド展開手段において展開されたサブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成する光量積算手段と
して、コンピュータを機能させるプログラム。
【請求項１】
画像を表示する第１の表示デバイスを用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する画像処理装置において、
入力画像信号から画像の動きを検出する動き検出手段と、
前記入力画像信号を複数のサブフィールドに展開するサブフィールド展開手段と、
前記動き検出手段において検出された動きの方向と、前記サブフィールド展開手段において展開されたサブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成する光量積算手段と
を有する画像処理装置。
【請求項２】
前記第１の表示デバイスは、PDP(Plasma Display Panel)以外の表示デバイスである
請求項１に記載の画像処理装置。
【請求項３】
前記第１の表示デバイスは、CRT(Cathode Ray Tube)，LCD(Liquid Crystal Display)、有機EL(Electroluminescence)、又はプロジェクタである
請求項１に記載の画像処理装置。
【請求項４】
前記第２の表示デバイスは、PDP(Plasma Display Panel)である
請求項１に記載の画像処理装置。
【請求項５】
前記サブフィールド展開手段は、前記入力画像信号を、画素ごとに、発光の光量が異なる複数のサブフィールドに展開し、
前記光量積算手段は、前記第２の表示デバイスにおいて前記入力画像信号を表示する表示面に垂直な方向を時間方向として、前記複数のサブフィールドを時間方向に並べた、前記第２の表示デバイスによる前記入力画像信号の表示をモデル化した表示モデルにおいて、注目している注目画素の領域を断面とし、かつ、前記注目画素の動きの方向に延びる領域を、光量の積算を行う光量積算領域として、前記光量積算領域内の光量を、前記サブフィールドの発光パターンに従って積算することにより、前記注目画素の画素値を算出する
請求項１に記載の画像処理装置。
【請求項６】
前記光量積算手段は、
前記表示モデルにおいて、前記表示面の画素の領域を断面とし、かつ、時間方向に、前記サブフィールドの発光の光量に対応する長さだけ延びる領域を、画素サブフィールド領域として、前記画素サブフィールド領域内を前記光量積算領域が占める比率である占有比率に、前記画素サブフィールド領域に対応するサブフィールドの前記発光パターンに従った発光の光量を乗算することにより、前記画素サブフィールド領域が前記注目画素の画素値に影響する分の影響光量を、前記光量積算領域が通る前記画素サブフィールド領域すべてについて求め、
前記光量積算領域が通る前記画素サブフィールド領域すべてについて求められた前記影響光量を積算する
ことにより、前記注目画素の画素値を算出する
請求項５に記載の画像処理装置。
【請求項７】
前記光量積算手段は、画素の動きの方向と、前記占有比率とを対応付けたテーブルを用いて、前記注目画素の動きの方向に基づき、前記注目画素について、前記占有比率を求める
請求項６に記載の画像処理装置。
【請求項８】
画像を表示する第１の表示デバイスを用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する画像処理方法において、
入力画像信号から画像の動きを検出し、
前記入力画像信号を複数のサブフィールドに展開し、
画像の動きの方向と、サブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成する
ステップを含む画像処理方法。
【請求項９】
画像を表示する第１の表示デバイスを用いて、前記第１の表示デバイスと異なる特性を有する第２の表示デバイスにおいて画像を表示した状態を再現する画像処理装置として、コンピュータを機能させるプログラムにおいて、
入力画像信号から画像の動きを検出する動き検出手段と、
前記入力画像信号を複数のサブフィールドに展開するサブフィールド展開手段と、
前記動き検出手段において検出された動きの方向と、前記サブフィールド展開手段において展開されたサブフィールドの発光パターンから、前記第２の表示デバイスに表示された前記入力画像信号を人が見た際に、網膜に積分される光量を擬似的に算出し、その光量を画素値とする出力画像信号を生成する光量積算手段と
して、コンピュータを機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【公開番号】特開２００８−２３３８５２（Ｐ２００８−２３３８５２Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−２２１２７４（Ｐ２００７−２２１２７４）
【出願日】平成１９年８月２８日（２００７．８．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年８月２８日（２００７．８．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]