サンプリングレート変換装置及びサンプリングレート変換方法
【課題】各画素のサブピクセル数が偶数であるディスプレイに、ディスプレイの画素数よりも多い画素数の高精細画像信号のサンプリングレート変換をして画像を表示する際に、ハードウェア及びソフトウェアの処理規模と電力の増大を抑制する。
【解決手段】サブピクセル画素数変換器１２は、輝度信号Ｌａに対して、サブサンプリング画素数変換時のサンプリング周波数３４１２ｃｐＬの１／２倍のサンプリング周波数１７０６ｃｐＬでサンプリング画素数変換した輝度信号Ｌｂｓを生成する。第１の画素単位画素数変換器１３は、輝度信号Ｌａに対して、サンプリング周波数８５３ｃｐＬでサンプリングした画素単位画素数変換後の輝度信号Ｌｂｐを生成して出力する。特徴検出器１５は、輝度信号Ｌｂｓの高域に混入している特定の波形パターンを検出し、その検出結果に基づいて生成した混合器１６の混合割合を制御する制御値αを出力する。
【解決手段】サブピクセル画素数変換器１２は、輝度信号Ｌａに対して、サブサンプリング画素数変換時のサンプリング周波数３４１２ｃｐＬの１／２倍のサンプリング周波数１７０６ｃｐＬでサンプリング画素数変換した輝度信号Ｌｂｓを生成する。第１の画素単位画素数変換器１３は、輝度信号Ｌａに対して、サンプリング周波数８５３ｃｐＬでサンプリングした画素単位画素数変換後の輝度信号Ｌｂｐを生成して出力する。特徴検出器１５は、輝度信号Ｌｂｓの高域に混入している特定の波形パターンを検出し、その検出結果に基づいて生成した混合器１６の混合割合を制御する制御値αを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はサンプリングレート変換装置及びサンプリングレート変換方法に係り、特にディスプレイの画素数より多い画素数の入力画像信号をディスプレイに表示させるために、入力画像信号のサンプリングレートを変換するサンプリングレート変換装置及びサンプリングレート変換方法に関する。
【背景技術】
【０００２】
様々な表示装置（ディスプレイ）のうち、マトリクス状に配列された複数の画素を、一定の順序で発光させるディスプレイでは、各信号データ値に各画素が対応している。このようなディスプレイには、例えばプラズマディスプレイ（ＰＤＰ;Plasma Display Panel）、液晶ディスプレイ（ＬＣＤ;Liquid Crystal Display）などのフラットパネルディスプレイ（ＦＰＤ）、また同様の素子を使ったプロジェクタなどが該当する。
【０００３】
これらのディスプレイでは、図１４（Ａ）に示すように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色に対応する３つの発光素子（サブピクセル）からなる配列を一組として１画素を構成し、各画素により輝度や色彩を再現している。図１４（Ａ）では、赤色発光素子１Ｒ、緑色発光素子１Ｇ及び青色発光素子１Ｂにより画素１が構成され、赤色発光素子２Ｒ、緑色発光素子２Ｇ及び青色発光素子２Ｂにより画素２が構成されている。最近ではさらに原色数を増やして４原色や６原色など多原色とした広色域のディスプレイが実現されている。
【０００４】
広色域のディスプレイでは、原色数とサブピクセルを追加する。ここでは原色数とサブピクセル数が一致していることとして取り扱う。サブピクセル数を４原色にした場合の例を図１５に示す。４原色ディスプレイとしてはＲＧＢにエメラルドなどシアン系や黄色が追加された例がある。なお、本明細書では、区別のため黄色又は黄色信号をＹと表記し、輝度信号をルミナンスの頭文字をとってＬと表記するものとする。
【０００５】
ここでは黄色（Ｙ）のサブピクセルがＲＧＢの３つのサブピクセルに追加されているものとして説明する。図１５（Ａ）は、４つのサブピクセル（発光素子）から１画素を構成する例を示しており、赤色発光素子１Ｒ、緑色発光素子１Ｇ、青色発光素子１Ｂ及び黄色発光素子１Ｙにより画素１が構成され、赤色発光素子２Ｒ、緑色発光素子２Ｇ、青色発光素子２Ｂ及び黄色発光素子２Ｙにより画素２が構成されている。
【０００６】
図１６は、各画素が上記のように４つのサブピクセルから構成されるディスプレイを備える画像表示装置の一例のブロック図を示す。この画像表示装置１００は、画素数変換部１０１、マトリクス部１０２、及びパネル１０７を有する。画素数変換部１０１は、入力された信号の画素数を、画素数変換によりディスプレイの画素数に合わせる。信号の画素数とディスプレイの画素数が一致している場合もあるが、近年信号源が多様化しているため、このような画素数変換部１０１はほぼ必須となっている。
【０００７】
ここで入力される信号は、テレビジョンの伝送信号である輝度信号Ｌと色差信号Ｕ及び色差信号Ｖとからなる。色差信号（Ｕ信号及びＶ信号）は、ＮＳＴＣ（National Television Standards Committee）などの標準信号（ＳＤ信号）では、色差信号（Ｂ−Ｌ）がＣｂと呼称され、色差信号（Ｒ−Ｌ）がＣｒと呼称される。また、高精細信号（ＨＤ信号）では、色差信号（Ｂ−Ｌ）がＰｂと呼称され、色差信号（Ｒ−Ｌ）がＰｒと呼称される。測色パラメータの関係で伝送マトリクス係数値が標準信号と高精細信号とで異なるため、色差信号が区別して呼称されているが、ここでは色差信号を総称して色差信号（Ｂ−Ｌ）を色差信号Ｕ、色差信号（Ｒ−Ｌ）を色差信号Ｖと呼称するものとする。
【０００８】
マトリクス部１０２は、画素数変換部１０１で画素数変換された輝度信号Ｌと色差信号Ｕ及び色差信号ＶとをＲ信号、Ｇ信号、Ｂ信号及びＹ信号に変換し、パネル１０７に転送する。パネル１０７はメモリ機能を有し、各画素が各信号データ値に応じて発光する。ここで、パネル１０７のメモリ機能は、パネル１０７の物理的なメモリ機能と、電子的なフレーム（１画面）またはライン（１水平周期）メモリとによって得られるものであって、Ｒ画素データ１０３、Ｇ画素データ１０４、Ｂ画素データ１０５、及びＹ画素データ１０６が、パネル１０７の各画素に一対一で対応して階調を再現することを意味する。
【０００９】
図１７（Ａ１）、（Ａ２）は、従来の画素数変換をモデル化して示す。従来の画素数変換では、例えば図１７（Ａ１）に示すように水平方向１９２０画素及び垂直方向１０８０画素からなる１フレームの高精細の輝度信号Ｌが、同図（Ａ２）に示すように水平方向８５３画素及び垂直方向４８０画素からなるディスプレイに対応して変換される。
【００１０】
水平方向に着目した場合、図１７（Ａ２）に示したディスプレイに表示される画素数変換後の輝度信号の周波数特性は、図１８（Ａ）に示すように、サンプリング周波数（サンプリングレート）が８５３サイクル／ライン（以下「ｃｐＬ」と略す）であり、信号の再現可能範囲の上限であるナイキスト周波数が、サンプリング定理により、サンプリング周波数の１／２である約４２６ｃｐＬとなる。なお、上記のサンプリング周波数の数値「８５３」は、小数点第１位を四捨五入したものであるが、以下説明する他の数値は特に断らない限り、小数点第１位を切り捨てて説明する。一方、図１７（Ａ１）に示した画素数変換前の高精細の輝度信号Ｌの周波数特性は、図１８（Ａ）に示すように、サンプリング周波数（サンプリングレート）が１９２０ｃｐＬであり、そのナイキスト周波数は９６０ｃｐＬ（＝１９２０ｃｐＬ／２）である。
【００１１】
従来の画素数変換では、上記のように高精細の輝度信号のサンプリング周波数（サンプリングレート）が、１９２０ｃｐＬから８５３ｃｐＬに変換されるが、このとき、折り返し（エイリアシング）を抑えて位相を合わせるフィルタ処理が行われる。色差信号についても同様にサンプリング周波数変換及びフィルタ処理が行われるが、ここでは一般的な伝送信号に従ってサンプリング周波数は、輝度信号の最高周波数の１／２倍の周波数（上記の例では９６０ｃｐＬ）としている。なお、色差信号は、輝度信号と同一の画素数（または同一のサンプリング周波数）の場合もある。
【００１２】
ここで、画素数変換において、高域通過のフィルタ特性のカットオフ周波数が４２６ｃｐＬより高域周波数であるほど、図１８（Ａ）に示すように、ナイキスト周波数４２６ｃｐＬを境に折り返しが発生して妨害となる。しかし、この折り返し妨害の発生を避けるために、画素数変換において高域通過のフィルタ特性のカットオフ周波数を４２６ｃｐＬ以下にするほど解像度が小さくなり画質が悪化する。
【００１３】
そこで、表示品位を向上させるために、解像度の高い画像を解像度の低いディスプレイで表示する画像に変換する場合、解像度の高い画像信号をディスプレイのサブピクセル数に基づく周波数のサンプリング周波数でサンプリングする方法が知られている（例えば、特許文献１参照）。
【００１４】
また、高精細度テレビジョン（ＨＤＴＶ）信号から標準精細度（ＳＤ）信号への変換において、サブピクセル信号レートで変換を行い広帯域で折り返し妨害が抑制された変換画像を得るサンプリングレート変換装置も本発明者により開示されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特表２００４−５２４７２９号公報
【特許文献２】特開２００５−３１６３９２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、特許文献１及び２では入力画像信号をサブピクセル信号のサンプリングレートへ変換することで折り返し妨害を抑制して高解像度に画素数変換するものであるが、４原色や６原色などサブピクセル数が多くなるほどサンプリング周波数が高くなり、ハードウェア及びソフトウェアでサンプリングレート変換を実現する場合、処理規模と電力の増大を招く問題がある。また、サブピクセル信号のサンプリングレートで高解像度に画素数変換すると擬似色妨害が発生するという問題もある。
【００１７】
本発明は以上の点に鑑みなされたもので、各画素のサブピクセル数が偶数であるディスプレイに、ディスプレイの画素数よりも多い画素数の高精細画像信号のサンプリングレート変換をして画像を表示する際に、ハードウェア及びソフトウェアの処理規模と電力の増大を抑制したサンプリングレート変換を行うことができるサンプリングレート変換装置及びサンプリングレート変換方法を提供することを目的とする。
【００１８】
また、本発明の他の目的は、サブピクセル画素数変換レートよりも低いサンプリングレートで変換することにより、擬似色妨害をより低減させるサンプリングレート変換装置及びサンプリングレート変換方法を提供することにある。
【課題を解決するための手段】
【００１９】
上記目的を達成するため、本発明のサンプリングレート変換装置は、１画素が２Ｍ個（ただし、Ｍは２以上の自然数）のサブピクセルにより構成される複数の画素を備えるディスプレイの画素数より大なる画素数を有する画像信号を構成し、第１のサンプリング周波数でサンプリングされた輝度信号を、ディスプレイの画素数を２Ｍ倍した際のサブピクセル画素数変換におけるサンプリング周波数の１／Ｎ倍（ただし、Ｎは２Ｍを割り切れる２以上の自然数）に設定された第２のサンプリング周波数でサブピクセル画素数変換するサブピクセル画素数変換部と、輝度信号を、ディスプレイの画素数に基づく第３のサンプリング周波数で画素単位画素数変換を行う画素単位画素数変換部と、画像信号を構成する色差信号及びサブピクセル画素数変換部から出力される第１の輝度信号に基づいて、第１の輝度信号と画素単位画素数変換部から出力される第２の輝度信号の混合する割合を示す制御値を求める特徴検出部と、第１の輝度信号と第２の輝度信号とを制御値に基づいた混合割合で混合した混合信号を出力する混合部と、を有することを特徴とする。
【００２０】
また、上記の目的を達成するため、本発明のサンプリングレート変換装置は、上記特徴検出部は、第１の輝度信号より特定の波形パターンを検出すると、特定の波形パターンの輝度信号値及び色差信号に基づく飽和度を示す値のうち、小さい方の値を選択して合成して最小値信号を生成する最小値信号生成部と、最小値信号をフィルタ処理して２Ｍ個のサブピクセルを１画素とする画素単位に完結された制御値を生成するフィルタとを有することを特徴とする。
【００２１】
また、上記の目的を達成するため、本発明のサンプリングレート変換装置は、上記混合部は、制御値が小さくなるほど、第１の輝度信号の混合割合を、第２の輝度信号の混合割合に比べて多く混合することを特徴とする。
【００２２】
また、上記の目的を達成するため、本発明のサンプリングレート変換装置は、画素単位画素数変換部が、サブピクセル画素数変換部が入力信号をサンプリングする第２のサンプリング周波数のクロックのトリガ点タイミングと、入力される高精細画像信号を構成する輝度信号をサンプリングする第３のサンプリング周波数のクロックのトリガ点とが一致するように画素単位画素数変換することを特徴とする。
【００２３】
また、上記の目的を達成するため、本発明のサンプリングレート変換方法は、１画素が２Ｍ個（ただし、Ｍは２以上の自然数）のサブピクセルにより構成される複数の画素を備えるディスプレイの画素数より大なる画素数を有する画像信号を構成し、第１のサンプリング周波数でサンプリングされた輝度信号を、ディスプレイの画素数を２Ｍ倍した際のサブピクセル画素数変換におけるサンプリング周波数の１／Ｎ倍（ただし、Ｎは２Ｍを割り切れる２以上の自然数）に設定された第２のサンプリング周波数でサブピクセル画素数変換するサブピクセル画素数変換ステップと、輝度信号を、ディスプレイの画素数に基づく第３のサンプリング周波数で画素単位画素数変換を行う画素単位画素数変換ステップと、画像信号を構成する色差信号及びサブピクセル画素数変換ステップで生成された第１の輝度信号に基づいて、第１の輝度信号と画素単位画素数変換ステップで生成された第２の輝度信号の混合する割合を示す制御値を求める特徴検出ステップと、第１の輝度信号と第２の輝度信号とを制御値に基づいた混合割合で混合した混合信号を出力する混合ステップと、を含むことを特徴する。
【発明の効果】
【００２４】
本発明によれば、各画素のサブピクセル数が偶数であるディスプレイに、ディスプレイの画素数よりも多い画素数の高精細画像信号のサンプリングレート変換をして画像を表示する際に、ハードウェア及びソフトウェアの処理規模と電力の増大を抑制したサンプリングレート変換を行うことができ、また折り返し妨害及び疑似色妨害の発生を抑制しつつ、高品位な変換画質を得ることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明のサンプリングレート変換装置の一実施の形態のブロック図である。
【図２】サブピクセル画素数変換の概念を説明するための図である。
【図３】サブピクセル画素数変換後のスペクトル成分を説明するための図である。
【図４】４原色で４サブピクセルの画素において、サブピクセル画素数変換レートを１／２に下げた場合の画素とサブピクセルと変換データとの関係を示す図である。
【図５】６原色で６サブピクセルの画素において、サブピクセル画素数変換レートを１／２、１／３に下げた場合の画素とサブピクセルと変換データとの関係を示す図である。
【図６】サブピクセル画素数変換レートを１／２にした場合のスペクトル成分を説明するための図である。
【図７】サブピクセル画素数変換を詳細に説明するための図である。
【図８】サブピクセル画素数変換後の輝度信号を含むＬＵＶ信号を、ＲＧＢＹ信号に変換する方法を説明するための図である。
【図９】サブピクセル画素数変換を１／２のレートで変換した後の輝度信号を含むＬＵＶ信号を、ＲＧＢＹ信号に変換する方法を説明するための図である。
【図１０】図１中の混合器から出力される輝度信号の周波数特性を説明するための図である。
【図１１】図１中の混合器における混合処理を説明するための波形図である。
【図１２】図１中の画像の特徴検出器において画素単位に完結処理された信号（制御値）を説明するための波形図である。
【図１３】図１中の各部におけるクロックとデータとの関係を示す図である。
【図１４】１画素（ピクセル）と３原色の発光素子（サブピクセル）との関係を示す図である。
【図１５】１画素（ピクセル）と４原色の発光素子（サブピクセル）との関係を示す図である。
【図１６】４原色ディスプレイにおける画像の表示を説明する図である。
【図１７】ディスプレイと画素単位画素数変換、及びサブピクセル画素数変換の関係を示す図である。
【図１８】画素単位画素数変換と、サブピクセル画素数変換のそれぞれにおける周波数特性を示す図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態を、図面を参照して説明する。
【００２７】
図１は、本発明になるサンプリングレート変換装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態のサンプリングレート変換装置１０は、高精細の輝度信号Ｌａ（サンプリング周波数１９２０ｃｐＬ）に対して変換後に必要な帯域に制限するプリフィルタ１１と、プリフィルタ１１で帯域制限された高精細の輝度信号に対してサブピクセル画素数変換を行うサブピクセル画素数変換器１２と、プリフィルタ１１で帯域制限された高精細の輝度信号に対して画素単位画素数変換を行う第１の画素単位画素数変換器１３と、高精細の色差信号Ｕａ及び色差信号Ｖａに対して画素単位画素数変換を行う第２の画素単位画素数変換器１４と、画像の特徴検出器１５と、混合器（ＭＩＸ）１６と、ＬＵＶ信号をＲＧＢＹ信号に変換するマトリクス変換器１７とを備えている。そして、マトリクス変換器１７から並列に出力されるＲ信号、Ｇ信号、Ｂ信号及びＹ信号（以下、これらを総称してＲＧＢＹ信号ともいう）が、ディスプレイパネル（図示せず）に供給される。
【００２８】
ここで、まず、本実施の形態のサンプリングレート変換装置１０において行われるサブピクセルレンダリング技術を活用した画素数変換（サブピクセル画素数変換）について図面を参照して説明する。
【００２９】
サブピクセルレンダリング技術は、一般には、図１４（Ａ）に示すようにＲＧＢの３原色を使って３つ（奇数）のサブピクセル（発光素子）から１画素が構成されるのに対し、図１４（Ｂ）に示すように、Ｒ、Ｇ、Ｂの各サブピクセルをそれぞれ１画素と見なして、サブピクセル毎に輝度を再現する技術である。すなわち、図１４（Ａ）にはサブピクセル１Ｒ、１Ｇ、１Ｂを１画素として取り扱う場合（画素数２）を示し、図１４（Ｂ）には、サブピクセルＲを１画素、サブピクセルＧを１画素、サブピクセルＢを１画素として取り扱う場合（画素数６）を示す。
【００３０】
本実施の形態では、図１５（Ｂ）に示すようにＲＧＢにＹ（黄）を加えた４原色を使って４つ（偶数）のサブピクセルＲＧＢＹのそれぞれが１画素を構成する場合について説明する。図１５（Ａ）にはサブピクセル１Ｒ、１Ｇ、１Ｂ、１Ｙを１画素として取り扱う場合（画素数２）を示し、図１５（Ｂ）には、サブピクセルＲを１画素、サブピクセルＧを１画素、サブピクセルＢを１画素、サブピクセルＹを１画素として取り扱う場合（画素数８）を示す。
【００３１】
また、サブピクセルレンダリング技術は、画素単位ではなくサブピクセルで輝度を再現するものである。
【００３２】
図１７（Ｂ１）、（Ｂ２）は、本実施の形態のサンプリングレート変換装置１０により、ディスプレイの画素数より画素数が多い高精細画像をディスプレイに表示するための、サブピクセル画素数変換のモデルを示す図である。ここでは、水平方向にＲＧＢＹの各サブピクセルが順に配列されるため、図１７（Ｂ１）に示すように水平方向１９２０画素及び垂直方向１０８０画素からなる１フレームの高精細の輝度信号Ｌをサブピクセル画素数変換（サンプリングレート変換）して、同図（Ｂ２）に示すように、水平方向の画素数が３４１２画素（＝８５３×４画素）、垂直方向の画素数４８０画素の輝度信号とする。図１７（Ｂ２）における画素数変換後の画素数は、厳密にはサブピクセル数であるが、サブピクセル画素数変換では、各サブピクセルを輝度が再現できる１画素と見なして画素数変換を行う。
【００３３】
図１８（Ｂ）は、サブピクセル画素数変換における水平方向の周波数特性を示す。サブピクセル画素数変換では、サンプリング周波数が、高精細画像信号のサンプリング周波数である１９２０ｃｐＬから３４１２ｃｐＬ（＝８５３ｃｐＬ×４）に変換される。すなわち、従来の画素数変換では、図１８（Ａ）に示したようにサンプリング周波数を、１９２０ｃｐＬから８５３ｃｐＬにダウンサンプリングしたのに対して、サブピクセル画素数変換では、同図（Ｂ）に示すようにサンプリング周波数を、１９２０ｃｐＬから３４１２ｃｐＬにアップサンプリングする。
【００３４】
図２に、サブピクセル画素数変換を模式的に示す。サブピクセル画素数変換では、従来の１画素を構成するＲＧＢＹのサブピクセルのうち、水平方向の画素数１９２０画素の輝度信号Ｌをサブピクセル毎の輝度信号（L1R、L1G、L1B、L1Y、・・・）に変換する。水平方向の画素数９６０画素の色差信号Ｕ、色差信号Ｖを水平方向の画素数８５３画素の色差信号に変換する。
【００３５】
図３は、サブピクセル画素数変換後のスペクトル成分の説明図を示す。サブピクセル画素数変換により、輝度信号を再現できる範囲の最高周波数は、図３に「ワイドＳＤのサブピクセル画素での再現範囲」として示すように、ワイドＳＤディスプレイサブピクセルのサンプリング周波数（３４１２ｃｐＬ）のナイキスト周波数である１７０６ｃｐＬとなる。言い換えると、１水平周期の画素数（８５３ｃｐＬ）に対して１画素が４サブピクセルから構成される場合のサブピクセルサンプリング画素数変換時の変換サンプリング周波数は、画素数の４倍の値（３４１２ｃｐＬ）となる。これにより、輝度信号が理論的に再現できるナイキスト周波数は画素数の２倍の値（１７０６ｃｐＬ）となる。一方、高精細画像信号（ＨＤ信号）を再現できる範囲の最高周波数は、図３に「ＨＤ信号成分」として示すように、高精細画像信号のサンプリング周波数（１９２０ｃｐＬ）のナイキスト周波数である９６０ｃｐＬである。また、水平方向の画素数８５３画素のディスプレイの再現可能範囲は、図３に「ワイドＳＤ再現範囲」として示すように、４２６ｃｐＬ以下の周波数となる。
【００３６】
ここで、サブピクセル画素数変換後の輝度信号における、ワイドＳＤディスプレイのナイキスト周波数である４２６ｃｐＬ以上で、かつ、ワイドＳＤディスプレイサブピクセルのナイキスト周波数である１７０６ｃｐＬ以下の帯域は、サブピクセルで輝度信号を再現することにより広帯域化できる帯域である。従って、サブピクセル画素数変換により、ナイキスト周波数を従来の４２６ｃｐＬから１７０６ｃｐＬに向上させて、折り返し妨害の発生を抑制しつつ高品位な変換画質を得ることが可能である。
【００３７】
一方、各サブピクセルは、高域の輝度成分において各サブピクセル固有の色（Ｒ，Ｇ，Ｂ,Ｙ）を有するため、上述した広帯域化の代償として、擬似の色妨害が発生する問題がある。そのため、本実施形態のサンプリングレート変換装置１０は、サブピクセル画素数変換された輝度信号と、擬似色妨害がない通常の画素単位で画素数変換された輝度信号とを擬似色妨害が出ないように適応させて混合することにより、サンプリングレートの変換を行うように構成する。
【００３８】
ところで、本発明では１画素のサブピクセル（原色）数は従来の「３」ではなく、「４」または「６」などの４以上の偶数の場合を想定している。本実施の形態では１画素のサブピクセル数が「３」ではなく「４」に増加した分、図３に示したようにサブピクセルのサンプリング周波数が高域に上がり、それに合わせてサブピクセルによるナイキスト周波数（１７０６ｃｐＬ）がＨＤ信号のナイキスト周波数（９６０ｃｐＬ）からすると必要以上に高くなり広帯域化した。この広帯域化はサンプリングレート変換装置を実現する上ではハードウェアの規模や消費電力の増大を招く問題がある。またソフトウェアでサンプリングレート変換装置を実現する場合も演算量の増大を招き同様の問題がある。
【００３９】
そこで、上記の問題を解決するため、本発明ではサブピクセルの画素数変換レートをＮ分の１（Ｎは２以上の自然数）に低下させる。そして低下させる条件として、後述する適応処理を実現するために画素単位にサブピクセルが完結するように位相を規制して低下させる数Ｎを選ぶものである。具体的には、図４（Ａ）に示すように１画素が４つのサブピクセルＲ，Ｇ，Ｂ，Ｙから構成される場合、先述した通り各サブピクセルを１画素とみなして４画素とするのではなく、図４（Ｂ）に示すように２つのサブピクセルを１つのサブピクセル（画素）として扱う。例えば、図４（Ａ）に示すサブピクセルＲとサブピクセルＧの２つのサブピクセルを、図４（Ｂ）に示すように１つのサブピクセル（Ｒ，Ｇ）として取り扱う。従って、サブピクセルレートの周期は図４（Ａ）に比し２倍になる。なお、サブピクセルレートの周期の変化点は、画素単位の変化点と揃うように設定する。これにより、１画素を２サブピクセルとして扱うことができる。
【００４０】
同様に、図５（Ａ）に示すように、１画素のサブピクセル数が「６」（Ｒ，Ｇ，Ｂ，Ｙ，Ｍ，Ｃ）である場合は、サブピクセルの画素数変換レートを１／２にすると同図（Ｂ）に示すように１画素のレート変換後のサブピクセル数は「３」となり、サブピクセルの画素数変換レートを１／３にすると、同図（Ｃ）に示すようにレート変換後のサブピクセル数は「２」となる。これにより、１画素を３サブピクセルまたは２サブピクセルとして扱うことができる。このようにサブピクセルの画素数変換レートを低下させることで、実現に向けたハードウェアやソフトウェアの負担がより低減できる。すなわち、本発明では、上記のＮは、１画素のサブピクセル数が偶数であるときの、サブピクセル数を割り切れる２以上の自然数とする。
【００４１】
図６は、１画素のサブピクセル数が「４」で、その画素数変換レートを１／２にした場合の周波数領域の説明図を示す。サブピクセル数が「４」で、サブピクセルの変換レートを低下させてサブピクセルの低域化サンプリング周波数を、サブピクセルをそれぞれ１画素とした時のサブピクセル画素数変換時のサンプリング周波数の１／２倍に選定すると、画像信号のサブピクセル画素数変換時のサンプリング周波数が３４１２ｃｐＬの場合、サブピクセルの低域化サンプリング周波数は１７０６ｃｐＬとなり、それによるナイキスト周波数は８５３ｃｐＬ（＝１７０６ｃｐＬ／２）となる。従って、この場合の信号再現範囲は、図６にIで示すワイドＳＤのサブピクセル1/2サンプリング再現範囲のように、８５３ｃｐＬ以下の周波数範囲となる。
【００４２】
信号再現範囲Iは、図６にIIで示す９６０ｃｐＬ以下の高精細信号の信号再現範囲に近いので、上記のサブピクセルの低域化サンプリング周波数１７０６ｃｐＬは必要以上に高くないサンプリング周波数であることが分かる。なお、この場合、高精細信号の信号再現範囲IIより信号再現範囲Iの方が帯域が狭いため、プリフィルタ１１により輝度信号の帯域を制限する。
【００４３】
図７は、サブピクセル画素数変換を詳細に説明するための図を示す。図７では、画素データの変化点、すなわちデジタル回路におけるクロックによるトリガ点が上向きの矢印で示されている。図７（Ａ）はサンプリング周波数１９２０ｃｐＬ（第１のサンプリング周波数）でサンプリングされた画素数変換前のＨＤ信号の時間領域での画素データの変化点を上向きの矢印で表し、図７（Ｄ）は第２のサンプリング周波数１７０６.６６ｃｐＬでサンプリングされたサブピクセル画素数変換後の画素データの時間領域での変化点を上向きの矢印で表している。なお、これまでは小数点１桁以下を切り捨てていたが、図７では小数点以下２桁まで記載して説明する。
【００４４】
ここで、図７（Ａ）に示す画素数変換前のＨＤ信号のサンプリング周波数（１９２０ｃｐＬ）と図７（Ｄ）に示す画素数変換後のサブピクセルレートの１／２であるサンプリング周波数（１７０６.６６ｃｐＬ）との比は９：８となり、ハードウェアで実現するうえで比較的簡単な整数比である。ディスプレイの画素数と高精細信号の画素数との比が上記値より大きい場合は、画素数変換が複雑な処理になるが、サブピクセル画素数変換の原理は同じである。また、ディスプレイの画素数よりも僅かに多めのサブピクセル画素数に画素数変換して、ディスプレイ表示上で切り捨てる場合もある。これは陰極線管（ＣＲＴ;Cathode Ray Tube）におけるオーバースキャンに相当するもので、ここで取り扱うサブピクセル画素数変換で想定される範囲である。また、ディスプレイ間の変換だけでなく、ディスプレイ内の特定の領域への画素数変換においても、本変換方式は同様に機能するものである。
【００４５】
ＳＤのディスプレイ画面の高さ方向の画素数を４８０画素としてアスペクト１６：９の場合、画面の横方向（水平）の画素数は８５３.３３となる。この８５３.３３を基準として各サンプリング周波数の関係を説明する。
【００４６】
図７（Ｂ）は、サンプリング周波数１５３６０ｃｐＬ（＝１９２０×８，又は１７０６.６６×９）でサンプリングされた信号の時間領域での画素データの変化点を上向きの矢印で表している。サンプリング周波数１５３６０ｃｐＬは、変換前の第１のサンプリング周波数１９２０ｃｐＬと変換後の第２のサンプリング周波数１７０６.６６ｃｐＬとの最小公倍数であり、図７（Ｃ）に模式的に示す８種類（内４つ図示）の信号位相に従って、所定のデジタルフィルタにより内挿処理されたものである。図７（Ｃ）において、丸数字０から丸数字７の表記は、デジタルフィルタの係数を示している。また丸数字を囲った四角は、囲んだ丸数字の係数が図７（Ａ）に示すＨＤ信号がある位相に相当し演算されることを意味する。
【００４７】
図７（Ｂ）に示す信号から、同図（Ｄ）に示す第２のサンプリング周波数（１７０６.６６ｃｐＬ）でサンプリングされた所望の位相の信号を抽出することにより、画素数変換後の輝度信号が得られる。なお、図７（Ｅ）は、従来の画素単位の画素数変換により、ディスプレイにおける水平方向の画素数に基づいて得られる変換後の信号を示す。また、図７（Ｆ）は、図７（Ｂ）、（Ｄ）、（Ｅ）に示す各信号の周波数領域のスペクトルを示している。
【００４８】
サブピクセル画素数変換された信号は、マトリクス処理されて原色信号に戻され、ディスプレイに表示される。図８に１画素を構成するサブピクセルが４の際に従来の方法でサブピクセル変換した信号をマトリクス処理してディスプレイに表示する例の説明図を示す。同図（Ａ）に示すサブピクセル画素数変換後の輝度信号ＬＲ、ＬＧ、ＬＢ、ＬＹは、同図（Ｂ）に示すマトリクス変換器１７によりマトリクス変換されて、輝度信号ＬＲ、ＬＧ、ＬＢ、ＬＹの高域成分が入ったＲ信号、Ｇ信号、Ｂ信号、Ｙ信号とされる。
【００４９】
Ｒ信号、Ｇ信号、Ｂ信号、Ｙ信号は、図８（Ｃ）において「１」、「２」、「３」、「４」で示されるように、１画素あたり４つの位相を有する。これらの中から、ディスプレイの１画素におけるＲＧＢＹサブピクセルの配列順序に一対一で対応している位相が、有効位相となり、有効位相部における信号が各サブピクセルデータとなる。図８（Ｃ）では、有効位相以外の位相の信号に×印が付されている。
【００５０】
図８に示す例において、ディスプレイの１画素におけるＲサブピクセルの配列順が「１」であるので、ディスプレイ上におけるＲ信号の位相は「１」であり、マトリクス変換後の出力における位相が「１」の信号が有効となる。同様に、Ｇ信号の位相は「２」であるので、マトリクス変換後の出力における位相が「２」の信号が有効となり、Ｂ信号の位相は「３」であるので、マトリクス変換後の出力における位相が「３」の信号が有効となる。Ｙ信号の位相は「４」であるので、マトリクス変換後の出力における位相が「４」の信号が有効となる。図８（Ｄ）に示すように、有効位相の信号が取得され、その有効位相のＲ信号、Ｇ信号、Ｂ信号、Ｙ信号が図８（Ｅ）に示すようにディスプレイの各サブピクセルで表示される。
【００５１】
上述したように本実施形態では、サブピクセル画素数変換のサンプリングレートを１／２のサンプリングレートにしているので、１画素あたり２つの位相からなる。図９に、サブピクセル変換レートを１／２とした場合の原色信号ＲＧＢＹに変換される画素の状態を示す。サブピクセル画素数変換により１画素のサブピクセル数が１／２の「２」となっているので、マトリクス変換器１７に入力する輝度信号は図９（Ａ）に示すように、サブピクセルのＲとＧの位相（「１」「２」）の輝度信号ＬRGとＢとＹの位相（「３」「４」）のＬBYの２つの位相の輝度信号からなる。
【００５２】
図９（Ｂ）に示すマトリクス変換器１７がこれらの輝度信号をマトリクス変換することにより、図９（Ｃ）に模式的に示すように、Ｒ信号とＧ信号とが「１」と「２」の位相に、Ｂ信号とＹ信号とが「３」と「４」の位相に有効な信号を出力する。図９（Ｃ）において×印は無効な信号位相を意味している。マトリクス変換器１７で取得された有効な信号は図９（Ｄ）に示すようにその画素の信号となり、同図（Ｅ）に示すようにディスプレイで各サブピクセルにて表示される。従来に比べてマトリクス変換器１７においてもサンプリングレートは半分で済み、負担が軽減される。
【００５３】
図１に戻って説明する。プリフィルタ１１は、入力された第１のサンプリング周波数（１９２０ｃｐＬ）でサンプリングされた画素数変換前のＨＤ信号Ｌａ（ナイキスト周波数９６０ｃｐＬ）に対して、ＨＤ信号Ｌａの高域成分が第２のサンプリング周波数（サブピクセルサンプリング周波数の１／２の周波数１７０６ｃｐＬ）でサンプリングされた信号（ナイキスト周波数８５３ｃｐＬ）に混入して折り返し妨害を発生させないように、ナイキスト周波数以上（８５３ｃｐＬ以上）の帯域を制限する。
【００５４】
サブピクセル画素数変換器１２は、プリフィルタ１１により帯域制限された輝度信号Ｌａに対して本実施形態のサブピクセル画素数変換を行い、ディスプレイにおける水平方向のサブピクセルの数に対応した、図７（Ｄ）に示した第２のサンプリング周波数（１７０６ｃｐＬ）でサンプリングしたサブピクセル画素数変換後の輝度信号Ｌｂｓを生成して出力する。
【００５５】
第１の画素単位画素数変換器１３は、プリフィルタ１１により帯域制限された高精細の輝度信号Ｌａに対して従来の画素単位画素数変換を行い、ディスプレイにおける水平方向の画素数に対応した第３のサンプリング周波数（図７（Ｅ）、８５３ｃｐＬ）でサンプリングした画素単位画素数変換後の輝度信号Ｌｂｐを生成して出力する。
【００５６】
第２の画素単位画素数変換器１４は、入力された高精細の色差信号Ｕａ，Ｖａ（最高周波数９６０ｃｐＬ）を第３のサンプリング周波数で画素単位画素数変換して、ディスプレイにおける水平方向の画素数に対応した最高周波数４２６ｃｐＬの色差信号Ｕｂ，色差信号Ｖｂを生成して出力する。第２の画素単位画素数変換器１４の構成は、第１の画素単位画素数変換器１３と同様であってもよいが、色差信号の帯域に基づいて簡易化されてもよい。
【００５７】
特徴検出器１５は、サブピクセル画素数変換器１２から出力された輝度信号Ｌｂｓ、及び第２の画素単位画素数変換器１４から出力された画素単位画素数変換後の色差信号Ｕｂ，色差信号Ｖｂに基づいて、サブピクセル画素数変換後の輝度信号Ｌｂｓの高域に混入している特定の波形パターン、例えば、疑似色妨害が発生する箇所を検出し、その検出結果に基づいて生成した混合器１６の制御値αを出力する。
【００５８】
特徴検出器１５は、人の視覚の性質を踏まえて効果的な適応信号、すなわち制御値αを出力する必要がある。人の視覚の性質として、輝度レベルが高く明るい画面では、本来無彩色であるべきところに擬似色妨害が生じると視認しやすく、一方で、色の濃いところに擬似色妨害が生じても、周りの色にマスキングされて視認しにくいという性質がある。また、暗いところでは色が視認しにくいという性質もある。これらの視覚の性質、及び黒は発色しないことを踏まえて、黒い線の解像度を向上させるような制御値αを出力する必要がある。
【００５９】
本実施形態における擬似色妨害は、高域成分であり面積は小さく局所的なものであるが、特徴検出器１５により、できるだけ低減させることができる。
【００６０】
混合器１６は、サブピクセル画素数変換器１２から出力されたサブピクセル画素数変換後の輝度信号Ｌｂｓ、及び第１の画素単位画素数変換器１３から出力された画素単位画素数変換後の輝度信号Ｌｂｐを、制御値αに応じた混合割合で混合し、混合された輝度信号Ｌｃを出力する。
【００６１】
具体的には、混合器１６は、制御値αに応じて、疑似色妨害が発生する箇所では、画素単位画素数変換後の輝度信号Ｌｂｐを優先した混合を行う。混合器１６は、制御値αが＝０であるときは、輝度信号Ｌｂｓを出力し、制御値αが＝１であるときは、輝度信号Ｌｂｐを出力する。制御値αが０より大きく１より小さいときは、混合器１６は制御値αの値が大きいほど輝度信号Ｌｂｓに比べて輝度信号Ｌｂｐの割合が相対的に大きくなるように二つの信号を混合した混合輝度信号Ｌｃを出力する。すなわち、混合器１６は、制御値αの値が輝度信号のレベルが低く、色が濃いことを示す０に近づくほど、サブピクセル画素数変換手段１２から出力されるサブピクセル画素数変換後の輝度信号Ｌｂｓを、第１の画素単位画素数変換器１３から出力される画素単位画素数変換後の輝度信号Ｌｂｐに比べて混合割合が多くなるように混合した混合輝度信号Ｌｃを出力する。
【００６２】
マトリクス変換器１７は、混合器１６で混合されて出力された輝度信号Ｌｃと、第２の画素単位画素数変換器１４から出力された画素単位画素数変換後の色差信号Ｕｂ及び色差信号Ｖｂとを入力信号として受け、これらの入力信号をマトリクス変換の演算を行い、高精細信号の高域成分を含んだＲ信号、Ｇ信号、Ｂ信号及びＹ信号を生成する。マトリクス変換されたＲ信号、Ｇ信号、Ｂ信号及びＹ信号は、ディスプレイ（図示せず）に出力される。
【００６３】
図１０は、混合器１６で混合される輝度信号の周波数特性の説明図を示す。同図において、特性ｆａは、サブピクセル画素数変換器１２から出力されるサブピクセル画素数変換後の輝度信号Ｌｂｓの周波数特性である。サブピクセルレートの１／２倍の周波数１７０６ｃｐＬをサンプリング周波数としているので、最高周波数８５３ｃｐＬまで理論的には再現できるが、ここでは、折り返し妨害を防止するためプリフィルタ１１による輝度信号の帯域制限により８５３ｃｐＬを超えない信号帯域に設定している。
【００６４】
一方、特性ｆｃは、第１の画素単位画素数変換器１３から出力される画素単位画素数変換後の輝度信号Ｌｂｐの周波数特性であり、ディスプレイのナイキスト周波数である４２６ｃｐＬ近辺に高域カットオフ特性を持たせて、折り返しの影響が許容できるレベルとなるように帯域が抑圧された周波数特性に設定されている。周波数特性ｆａは、プリフィルタ１１と画素数変換時のフィルタ処理で決まる特性である。
【００６５】
特徴検出器１５から得られる制御値αに基づいて、混合器１６によりサブピクセル画素数変換器１２から出力されるサブピクセル画素数変換後の輝度信号Ｌｂｓと、第１の画素単位画素数変換器１３から出力される画素単位画素数変換後の輝度信号Ｌｂｐとの混合割合が制御されるので、混合器１６の出力信号の周波数特性は、特性ｆｃを下限とし、特性ｆａを上限とする範囲内の特性となる。従って、疑似色妨害が発生し易い特定の波形パターンが検出されたとき、制御値αの値を１に近付けることにより、混合器１６の出力信号の周波数特性は、特性ｆｃに近付くので、疑似色妨害を適応的に抑制することが可能となる。
【００６６】
次に、図１に示した擬似色妨害を低減するための制御値αを生成する特徴検出器１５の動作について説明する。図１１（Ａ）は、特徴検出器１５に入力される輝度信号Ｌｂｓの信号波形を示す。同図（Ａ）において、明るい側がダイナミックレンジの「１」側である。また、図１１（Ｂ）は、特徴検出器１５に入力される色差信号Ｕａ及び色差信号Ｖａから、特徴検出器１５が生成した色の濃さを示す飽和度信号Ｖｃを反転した信号ＶｃＮの波形を示す。飽和度信号Ｖｃは次式で表わされる。なお、本実施の形態の飽和度信号Ｖｃの反転（信号ＶｃＮ）とは、色が濃いときの飽和度を示す値が小さくなるような反転であり、符号の反転を指すものではない。
【００６７】
Ｖｃ＝ｓｑｒｔ（Ｖａ*Ｖａ＋Ｕａ*Ｕａ）
但し、ｓｑｒｔ（ ）は平方根演算を示す。
【００６８】
図１１（Ｂ）の信号ＶｃＮの波形は、色が薄いときダイナミックレンジの「１」側になる。図１１（Ｃ）の実線は、同図（Ａ）の輝度信号Ｌｂｓの波形と同図（Ｂ）に示す信号ＶｃＮの波形とを合成した波形を示す。ここでは合成の方法として各信号Ｌｂｓ及びＶｃＮの値、すなわち輝度信号値及び色差信号に基づく飽和度を示す値のうち、小さい方の値を選択して合成している。
【００６９】
上記の合成の方法は擬似色妨害がより目立たないように考慮される。先述した人の視覚の性質を利用した信号が図１１（Ｃ）に実線で示す最小値信号である。最小値信号の「０」側が混合器１６で擬似色妨害が発生するサブピクセル画素数変換による広帯域信号側で、「１」側が妨害を発生させない画素単位画素数変換による信号側である。生成された最小値信号は輝度信号Ｌｂｓが明るいとき「１」近傍となり、暗いときは「０」近傍となる。また、色が薄いときは「１」近傍となり、色が濃いときは「０」近傍となる。また合成の方法を最小値として「０」方向に誘導しているのは、暗いときは色が見えづらくさらに色が濃いとマスキングされて擬似色妨害が知覚されないという人間の視覚の性質に添ったものである。特徴検出器１５は、輝度信号と色差信号とに基づいた値のうち、小さい方の値を選択した最小値信号を生成する最小値信号生成部として動作する。
【００７０】
特徴検出器１５は、図１１（Ｃ）に実線で示した最小値信号を低域フィルタ（ＬＰＦ）を通すことでその高域成分を低減する。これは、サブピクセル画素数変換による効果が高域成分であり、画像の特徴検出信号に高域信号が含まれるとサブピクセル画素数変換による効果が影響を受けることから、その影響を低減するためである。特徴検出器１５による適応処理は、着目点のみで判断されるものではなく、周囲の明るさや色の飽和度の情報を含めて判断されるものである。特徴検出器１５は、最小値信号をフィルタ処理するフィルタリング部として動作する。
【００７１】
ここで、画素単位のレートはＲＧＢＹを１画素とするサンプリングレートになるが、サブピクセルサンプリングレートはＲ／Ｇ／Ｂ／Ｙの各々を１画素と見立てたレートであり、４倍のレートとなる。低域フィルタをサブピクセルレート又は１／２のレートで処理すると、図１２に示すように画素の区切りとなるＹとＲとをまたいで処理されるため、一点鎖線で示す信号２１が得られる。信号２１で混合器１６での適応処理を制御すると、ＲＧＢＹ間の値に段差ができ、疑似色妨害が出ない第１の画素単位画素数変換器１３の出力信号ＬｂｐにＲＧＢＹ間に偏差が生じて、本来疑似色妨害がでないところに出てしまう。
【００７２】
そこで、特徴検出器１５内の低域フィルタでの処理は、ＲＧＢＹの４サブピクセルからなる画素単位に完結された信号２２が得られるようにする。本実施の形態では特徴検出器１５の入力信号が画素単位で変化する信号であるので必然的に出力信号は図１２に太実線で示す画素単位の信号２２になる。ただし、画素数変換するサブピクセルレート又は１／２のレートで処理した場合はＲＧＢＹで異なる値となる。その場合でも画素単位にＲＧＢＹで同一の値となるように平均化処理する。それにより図１２に示す信号２２が特徴検出器１５が出力する混合器１６の制御値αとなる。このように画素単位に変化する制御値αにすることで、混合器１６に入力される画素単位のデータが不連続になることを防いでいる。
【００７３】
図１３は、図１に示した本実施の形態のサンプリングレート変換装置１０の各部のクロックとデータの関係を示す。図１３（Ａ）に示すＣＫＨは高精細信号のクロックで下向きの矢印がトリガ位置を示し、その周波数は１９２０ｃｐＬである。図１３（Ｂ）に示す高精細の輝度信号Ｌａは、クロックＣＫＨがトリガになってサンプリングされた信号で、輝度信号Ｌａが再現できる帯域はナイキスト周波数９６０ｃｐＬ以下の帯域である。
【００７４】
図１３（Ｃ）に示すＣＫＳ１は、変換するワイドＳＤディスプレイの画素数にそった変換レート（画素単位）のクロックで、周波数が８５３ｃｐＬである。図１３（Ｄ）に示すＣＫＳ２は、サブピクセルサンプリングレートの１／２倍のレートのクロックで、その周波数はＣＫＳ１の２倍の１７０６ｃｐＬである。サブピクセル画素数変換器１２において、輝度信号Ｌａは、周波数が第２のサンプリング周波数（図７（Ｄ））に等しいクロックＣＫＳ２によりサンプリングされて、図１３（Ｆ）に模式的に示すサブピクセルサンプリングレートの１／２倍に変換されたサブピクセル画素数変換後の輝度信号Ｌｂｓとされる。
【００７５】
また、第１の画素単位画素数変換器１３及び第２の画素単位画素数変換器１４において入力信号に対して画素単位のクロックＣＫＳ１によりサンプリングして、図１３（Ｈ）、（Ｉ）、（Ｊ）に模式的に示す輝度信号Ｌｂｐ，色差信号Ｕｂ及び色差信号Ｖｂを生成する。同様に、特徴検出器１５は、画素単位のクロックＣＫＳ１をトリガとして図１３（Ｋ）に模式的に示すような制御値αを出力する。図９で説明したマトリクス変換器１７の出力に得られる１画素周期のデータは、画素単位のクロックＣＫＳ１をトリガとしたものである。
【００７６】
ここで重要なのは、ＣＫＳ２のトリガ点タイミングと画素単位のクロックＣＫＳ１のトリガ点とが一致していることである。ＲＧＢＹの４サブピクセルレートのクロック（３４１２ｃｐＬ：ＣＫＳ１の４倍）から、１／２周期のクロックＣＫＳ２を作り出した場合、とりうる位相はＣＫＳ２のほかにもう一つ図１３（Ｅ）に示すクロックＣＫＳ２Ｎがある。
【００７７】
仮に、サブピクセル画素数変換器１２が、クロックＣＫＳ２Ｎをトリガとしてサンプリングを行うと、図１３（Ｇ）に模式的に示すようなサブピクセル画素数変換後の輝度信号ＬｂｓＮが生成される。この輝度信号ＬｂｓＮは、図１３（Ｈ）に示した画素単位のクロックＣＫＳ１によりサンプリングされたデータである輝度信号Ｌｂｐ，色差信号Ｕｂ，色差信号Ｖｂ，制御値αと変化点が異なり、図１３（Ｋ）に示した制御値αで適応処理すると、輝度信号ＬｂｓＮが分断されて画像信号に不連続が生じる。
【００７８】
画素単位のクロックＣＫＳ１をトリガとする制御値αで特徴検出器１５は混合器１６を制御するので混合器１６の入力のデータは変化点が制御値αと揃っている必要がある。従って、サブピクセル画素数変換器１２で使われる４サブピクセルレートの１／２周期の変換クロックは、画素単位のクロックＣＫＳ１とトリガ点が同じＣＫＳ２の位相でなければならない。
【００７９】
マトリクス変換器１７は、混合器１６から出力された輝度信号Ｌｃと、第２の画素単位画素数変換器１４から出力された図１３（Ｉ）及び（Ｊ）に模式的に示す画素単位画素数変換後の色差信号Ｕｂ及び色差信号Ｖｂとを、図１３（Ｌ）、（Ｍ）、（Ｎ）、及び（Ｏ）にそれぞれ模式的に示すような高精細信号の高域成分を含んだＲ信号、Ｇ信号、Ｂ信号及びＹ信号へマトリクス変換してディスプレイに出力する。
【００８０】
このように、本実施の形態によれば、１画素のサブピクセル数が偶数である「４」のとき、サブピクセル画素数変換器１２におけるサンプリング周波数を、サブピクセル画素数変換前の第１のサンプリング周波数（高精細画像信号のサンプリング周波数）を変換される画像のサブピクセルサンプリングレートの１／Ｎ倍（ただし、Ｎは１画素のサブピクセル数を割り切れる２以上の自然数で、ここではＮ＝２）として、サンプリングレートを１／２に落とす。
【００８１】
また、６原色で１画素のサブピクセル数が偶数である「６」のときは、サブピクセル画素数変換器１２におけるサンプリング周波数は、サブピクセル画素数変換前の第１のサンプリング周波数を変換される画像のサブピクセルサンプリングレートの１／２倍，又は１／３倍に設定し、サンプリングレートを１／２、１／３に落とす。更に、低域化されたサブピクセルサンプリングレートのデータ位相を、画素単位のデータと位相を揃えるようにする。これにより、サブピクセル画素数変換器１２でサンプリングしたサブピクセル画素数変換後の輝度信号Ｌｂｓと画素単位の画素数変換データＬｂｐ、Ｖｂ、Ｕｂとを適応的に混合することができる。
【００８２】
複数のサンプリング周波数を採用できる場合は、サンプリング周波数が小さい方が電力的に有利である。一方でサンプリング周波数が大きい方が、変換できる帯域は広くなる。そのため、どのサンプリング周波数を採用するかは、電力、回路規模、変換する画像の帯域等を考慮して選択すればよい。
【００８３】
以上のように、本実施の形態によれば、１画素のサブピクセル数が偶数のとき、サブピクセル画素数変換器１２において変換されるサンプリング周波数を、変換される画像のサブピクセル数に相当するサブピクセルサンプリング周波数の１／Ｎ倍（ただし、Ｎは１画素のサブピクセル数を割り切れる２以上の自然数）に低域化してサブピクセル画素数変換処理すると共に、１／Ｎ倍に低域化されたサブピクセルサンプリングレートのデータ位相を、画素単位のデータと位相を揃える。
【００８４】
このため、本実施の形態によれば、サブピクセル画素数変換のサンプリング周波数を低域化することにより、ハードウェアの規模と消費電力を低減させることができる。また、ソフトウェアで実現するときは演算量やメモリが低減でき負担が軽くなる。更にサブピクセル画素数変換された輝度信号は、図４及び図５に示したように、ディスプレイでは２サブピクセル（２原色）または３サブピクセル（３原色）を束にしたことになり、複数の原色が加色され明るくなるため、擬似色妨害の色が薄く目立たなくなる。その結果、本実施の形態は、解像度感が得られるように適応処理が調整でき、本来の目的である変換画像の解像度向上を実現する上で優れた方法といえる。
【００８５】
なお、本発明は上記の実施形態に限定されるものではなく、例えばディスプレイにおいて、水平方向にサブピクセルが配列されているが、垂直方向にサブピクセルが配列されていてもよく、この場合にも、本発明を適用可能である。また、ディスプレイにおいて、２次元にサブピクセルが配列されていても、本発明を適用可能である。
【００８６】
また、輝度信号だけでなく色差信号Ｕ及び色差信号Ｖにもサブピクセル画素数変換を適用してもよい。この場合、マトリクス変換部では、偶数個の各サブピクセルで表示される各原色信号は、１画素あたりサブピクセル数の位相を有し、これらの中からディスプレイの一画素における各サブピクセルの配列順序に一対一に対応している位相が、有効位相となり、その有効位相部の信号が各サブピクセルデータとなる。
【符号の説明】
【００８７】
１０ サンプリングレート変換装置
１１ プリフィルタ
１２ サブピクセル画素数変換器
１３ 第１の画素単位画素数変換器
１４ 第２の画素単位画素数変換器
１５ 特徴検出器
１６ 混合器
１７ マトリクス変換器
【技術分野】
【０００１】
本発明はサンプリングレート変換装置及びサンプリングレート変換方法に係り、特にディスプレイの画素数より多い画素数の入力画像信号をディスプレイに表示させるために、入力画像信号のサンプリングレートを変換するサンプリングレート変換装置及びサンプリングレート変換方法に関する。
【背景技術】
【０００２】
様々な表示装置（ディスプレイ）のうち、マトリクス状に配列された複数の画素を、一定の順序で発光させるディスプレイでは、各信号データ値に各画素が対応している。このようなディスプレイには、例えばプラズマディスプレイ（ＰＤＰ;Plasma Display Panel）、液晶ディスプレイ（ＬＣＤ;Liquid Crystal Display）などのフラットパネルディスプレイ（ＦＰＤ）、また同様の素子を使ったプロジェクタなどが該当する。
【０００３】
これらのディスプレイでは、図１４（Ａ）に示すように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色に対応する３つの発光素子（サブピクセル）からなる配列を一組として１画素を構成し、各画素により輝度や色彩を再現している。図１４（Ａ）では、赤色発光素子１Ｒ、緑色発光素子１Ｇ及び青色発光素子１Ｂにより画素１が構成され、赤色発光素子２Ｒ、緑色発光素子２Ｇ及び青色発光素子２Ｂにより画素２が構成されている。最近ではさらに原色数を増やして４原色や６原色など多原色とした広色域のディスプレイが実現されている。
【０００４】
広色域のディスプレイでは、原色数とサブピクセルを追加する。ここでは原色数とサブピクセル数が一致していることとして取り扱う。サブピクセル数を４原色にした場合の例を図１５に示す。４原色ディスプレイとしてはＲＧＢにエメラルドなどシアン系や黄色が追加された例がある。なお、本明細書では、区別のため黄色又は黄色信号をＹと表記し、輝度信号をルミナンスの頭文字をとってＬと表記するものとする。
【０００５】
ここでは黄色（Ｙ）のサブピクセルがＲＧＢの３つのサブピクセルに追加されているものとして説明する。図１５（Ａ）は、４つのサブピクセル（発光素子）から１画素を構成する例を示しており、赤色発光素子１Ｒ、緑色発光素子１Ｇ、青色発光素子１Ｂ及び黄色発光素子１Ｙにより画素１が構成され、赤色発光素子２Ｒ、緑色発光素子２Ｇ、青色発光素子２Ｂ及び黄色発光素子２Ｙにより画素２が構成されている。
【０００６】
図１６は、各画素が上記のように４つのサブピクセルから構成されるディスプレイを備える画像表示装置の一例のブロック図を示す。この画像表示装置１００は、画素数変換部１０１、マトリクス部１０２、及びパネル１０７を有する。画素数変換部１０１は、入力された信号の画素数を、画素数変換によりディスプレイの画素数に合わせる。信号の画素数とディスプレイの画素数が一致している場合もあるが、近年信号源が多様化しているため、このような画素数変換部１０１はほぼ必須となっている。
【０００７】
ここで入力される信号は、テレビジョンの伝送信号である輝度信号Ｌと色差信号Ｕ及び色差信号Ｖとからなる。色差信号（Ｕ信号及びＶ信号）は、ＮＳＴＣ（National Television Standards Committee）などの標準信号（ＳＤ信号）では、色差信号（Ｂ−Ｌ）がＣｂと呼称され、色差信号（Ｒ−Ｌ）がＣｒと呼称される。また、高精細信号（ＨＤ信号）では、色差信号（Ｂ−Ｌ）がＰｂと呼称され、色差信号（Ｒ−Ｌ）がＰｒと呼称される。測色パラメータの関係で伝送マトリクス係数値が標準信号と高精細信号とで異なるため、色差信号が区別して呼称されているが、ここでは色差信号を総称して色差信号（Ｂ−Ｌ）を色差信号Ｕ、色差信号（Ｒ−Ｌ）を色差信号Ｖと呼称するものとする。
【０００８】
マトリクス部１０２は、画素数変換部１０１で画素数変換された輝度信号Ｌと色差信号Ｕ及び色差信号ＶとをＲ信号、Ｇ信号、Ｂ信号及びＹ信号に変換し、パネル１０７に転送する。パネル１０７はメモリ機能を有し、各画素が各信号データ値に応じて発光する。ここで、パネル１０７のメモリ機能は、パネル１０７の物理的なメモリ機能と、電子的なフレーム（１画面）またはライン（１水平周期）メモリとによって得られるものであって、Ｒ画素データ１０３、Ｇ画素データ１０４、Ｂ画素データ１０５、及びＹ画素データ１０６が、パネル１０７の各画素に一対一で対応して階調を再現することを意味する。
【０００９】
図１７（Ａ１）、（Ａ２）は、従来の画素数変換をモデル化して示す。従来の画素数変換では、例えば図１７（Ａ１）に示すように水平方向１９２０画素及び垂直方向１０８０画素からなる１フレームの高精細の輝度信号Ｌが、同図（Ａ２）に示すように水平方向８５３画素及び垂直方向４８０画素からなるディスプレイに対応して変換される。
【００１０】
水平方向に着目した場合、図１７（Ａ２）に示したディスプレイに表示される画素数変換後の輝度信号の周波数特性は、図１８（Ａ）に示すように、サンプリング周波数（サンプリングレート）が８５３サイクル／ライン（以下「ｃｐＬ」と略す）であり、信号の再現可能範囲の上限であるナイキスト周波数が、サンプリング定理により、サンプリング周波数の１／２である約４２６ｃｐＬとなる。なお、上記のサンプリング周波数の数値「８５３」は、小数点第１位を四捨五入したものであるが、以下説明する他の数値は特に断らない限り、小数点第１位を切り捨てて説明する。一方、図１７（Ａ１）に示した画素数変換前の高精細の輝度信号Ｌの周波数特性は、図１８（Ａ）に示すように、サンプリング周波数（サンプリングレート）が１９２０ｃｐＬであり、そのナイキスト周波数は９６０ｃｐＬ（＝１９２０ｃｐＬ／２）である。
【００１１】
従来の画素数変換では、上記のように高精細の輝度信号のサンプリング周波数（サンプリングレート）が、１９２０ｃｐＬから８５３ｃｐＬに変換されるが、このとき、折り返し（エイリアシング）を抑えて位相を合わせるフィルタ処理が行われる。色差信号についても同様にサンプリング周波数変換及びフィルタ処理が行われるが、ここでは一般的な伝送信号に従ってサンプリング周波数は、輝度信号の最高周波数の１／２倍の周波数（上記の例では９６０ｃｐＬ）としている。なお、色差信号は、輝度信号と同一の画素数（または同一のサンプリング周波数）の場合もある。
【００１２】
ここで、画素数変換において、高域通過のフィルタ特性のカットオフ周波数が４２６ｃｐＬより高域周波数であるほど、図１８（Ａ）に示すように、ナイキスト周波数４２６ｃｐＬを境に折り返しが発生して妨害となる。しかし、この折り返し妨害の発生を避けるために、画素数変換において高域通過のフィルタ特性のカットオフ周波数を４２６ｃｐＬ以下にするほど解像度が小さくなり画質が悪化する。
【００１３】
そこで、表示品位を向上させるために、解像度の高い画像を解像度の低いディスプレイで表示する画像に変換する場合、解像度の高い画像信号をディスプレイのサブピクセル数に基づく周波数のサンプリング周波数でサンプリングする方法が知られている（例えば、特許文献１参照）。
【００１４】
また、高精細度テレビジョン（ＨＤＴＶ）信号から標準精細度（ＳＤ）信号への変換において、サブピクセル信号レートで変換を行い広帯域で折り返し妨害が抑制された変換画像を得るサンプリングレート変換装置も本発明者により開示されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特表２００４−５２４７２９号公報
【特許文献２】特開２００５−３１６３９２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、特許文献１及び２では入力画像信号をサブピクセル信号のサンプリングレートへ変換することで折り返し妨害を抑制して高解像度に画素数変換するものであるが、４原色や６原色などサブピクセル数が多くなるほどサンプリング周波数が高くなり、ハードウェア及びソフトウェアでサンプリングレート変換を実現する場合、処理規模と電力の増大を招く問題がある。また、サブピクセル信号のサンプリングレートで高解像度に画素数変換すると擬似色妨害が発生するという問題もある。
【００１７】
本発明は以上の点に鑑みなされたもので、各画素のサブピクセル数が偶数であるディスプレイに、ディスプレイの画素数よりも多い画素数の高精細画像信号のサンプリングレート変換をして画像を表示する際に、ハードウェア及びソフトウェアの処理規模と電力の増大を抑制したサンプリングレート変換を行うことができるサンプリングレート変換装置及びサンプリングレート変換方法を提供することを目的とする。
【００１８】
また、本発明の他の目的は、サブピクセル画素数変換レートよりも低いサンプリングレートで変換することにより、擬似色妨害をより低減させるサンプリングレート変換装置及びサンプリングレート変換方法を提供することにある。
【課題を解決するための手段】
【００１９】
上記目的を達成するため、本発明のサンプリングレート変換装置は、１画素が２Ｍ個（ただし、Ｍは２以上の自然数）のサブピクセルにより構成される複数の画素を備えるディスプレイの画素数より大なる画素数を有する画像信号を構成し、第１のサンプリング周波数でサンプリングされた輝度信号を、ディスプレイの画素数を２Ｍ倍した際のサブピクセル画素数変換におけるサンプリング周波数の１／Ｎ倍（ただし、Ｎは２Ｍを割り切れる２以上の自然数）に設定された第２のサンプリング周波数でサブピクセル画素数変換するサブピクセル画素数変換部と、輝度信号を、ディスプレイの画素数に基づく第３のサンプリング周波数で画素単位画素数変換を行う画素単位画素数変換部と、画像信号を構成する色差信号及びサブピクセル画素数変換部から出力される第１の輝度信号に基づいて、第１の輝度信号と画素単位画素数変換部から出力される第２の輝度信号の混合する割合を示す制御値を求める特徴検出部と、第１の輝度信号と第２の輝度信号とを制御値に基づいた混合割合で混合した混合信号を出力する混合部と、を有することを特徴とする。
【００２０】
また、上記の目的を達成するため、本発明のサンプリングレート変換装置は、上記特徴検出部は、第１の輝度信号より特定の波形パターンを検出すると、特定の波形パターンの輝度信号値及び色差信号に基づく飽和度を示す値のうち、小さい方の値を選択して合成して最小値信号を生成する最小値信号生成部と、最小値信号をフィルタ処理して２Ｍ個のサブピクセルを１画素とする画素単位に完結された制御値を生成するフィルタとを有することを特徴とする。
【００２１】
また、上記の目的を達成するため、本発明のサンプリングレート変換装置は、上記混合部は、制御値が小さくなるほど、第１の輝度信号の混合割合を、第２の輝度信号の混合割合に比べて多く混合することを特徴とする。
【００２２】
また、上記の目的を達成するため、本発明のサンプリングレート変換装置は、画素単位画素数変換部が、サブピクセル画素数変換部が入力信号をサンプリングする第２のサンプリング周波数のクロックのトリガ点タイミングと、入力される高精細画像信号を構成する輝度信号をサンプリングする第３のサンプリング周波数のクロックのトリガ点とが一致するように画素単位画素数変換することを特徴とする。
【００２３】
また、上記の目的を達成するため、本発明のサンプリングレート変換方法は、１画素が２Ｍ個（ただし、Ｍは２以上の自然数）のサブピクセルにより構成される複数の画素を備えるディスプレイの画素数より大なる画素数を有する画像信号を構成し、第１のサンプリング周波数でサンプリングされた輝度信号を、ディスプレイの画素数を２Ｍ倍した際のサブピクセル画素数変換におけるサンプリング周波数の１／Ｎ倍（ただし、Ｎは２Ｍを割り切れる２以上の自然数）に設定された第２のサンプリング周波数でサブピクセル画素数変換するサブピクセル画素数変換ステップと、輝度信号を、ディスプレイの画素数に基づく第３のサンプリング周波数で画素単位画素数変換を行う画素単位画素数変換ステップと、画像信号を構成する色差信号及びサブピクセル画素数変換ステップで生成された第１の輝度信号に基づいて、第１の輝度信号と画素単位画素数変換ステップで生成された第２の輝度信号の混合する割合を示す制御値を求める特徴検出ステップと、第１の輝度信号と第２の輝度信号とを制御値に基づいた混合割合で混合した混合信号を出力する混合ステップと、を含むことを特徴する。
【発明の効果】
【００２４】
本発明によれば、各画素のサブピクセル数が偶数であるディスプレイに、ディスプレイの画素数よりも多い画素数の高精細画像信号のサンプリングレート変換をして画像を表示する際に、ハードウェア及びソフトウェアの処理規模と電力の増大を抑制したサンプリングレート変換を行うことができ、また折り返し妨害及び疑似色妨害の発生を抑制しつつ、高品位な変換画質を得ることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明のサンプリングレート変換装置の一実施の形態のブロック図である。
【図２】サブピクセル画素数変換の概念を説明するための図である。
【図３】サブピクセル画素数変換後のスペクトル成分を説明するための図である。
【図４】４原色で４サブピクセルの画素において、サブピクセル画素数変換レートを１／２に下げた場合の画素とサブピクセルと変換データとの関係を示す図である。
【図５】６原色で６サブピクセルの画素において、サブピクセル画素数変換レートを１／２、１／３に下げた場合の画素とサブピクセルと変換データとの関係を示す図である。
【図６】サブピクセル画素数変換レートを１／２にした場合のスペクトル成分を説明するための図である。
【図７】サブピクセル画素数変換を詳細に説明するための図である。
【図８】サブピクセル画素数変換後の輝度信号を含むＬＵＶ信号を、ＲＧＢＹ信号に変換する方法を説明するための図である。
【図９】サブピクセル画素数変換を１／２のレートで変換した後の輝度信号を含むＬＵＶ信号を、ＲＧＢＹ信号に変換する方法を説明するための図である。
【図１０】図１中の混合器から出力される輝度信号の周波数特性を説明するための図である。
【図１１】図１中の混合器における混合処理を説明するための波形図である。
【図１２】図１中の画像の特徴検出器において画素単位に完結処理された信号（制御値）を説明するための波形図である。
【図１３】図１中の各部におけるクロックとデータとの関係を示す図である。
【図１４】１画素（ピクセル）と３原色の発光素子（サブピクセル）との関係を示す図である。
【図１５】１画素（ピクセル）と４原色の発光素子（サブピクセル）との関係を示す図である。
【図１６】４原色ディスプレイにおける画像の表示を説明する図である。
【図１７】ディスプレイと画素単位画素数変換、及びサブピクセル画素数変換の関係を示す図である。
【図１８】画素単位画素数変換と、サブピクセル画素数変換のそれぞれにおける周波数特性を示す図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態を、図面を参照して説明する。
【００２７】
図１は、本発明になるサンプリングレート変換装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態のサンプリングレート変換装置１０は、高精細の輝度信号Ｌａ（サンプリング周波数１９２０ｃｐＬ）に対して変換後に必要な帯域に制限するプリフィルタ１１と、プリフィルタ１１で帯域制限された高精細の輝度信号に対してサブピクセル画素数変換を行うサブピクセル画素数変換器１２と、プリフィルタ１１で帯域制限された高精細の輝度信号に対して画素単位画素数変換を行う第１の画素単位画素数変換器１３と、高精細の色差信号Ｕａ及び色差信号Ｖａに対して画素単位画素数変換を行う第２の画素単位画素数変換器１４と、画像の特徴検出器１５と、混合器（ＭＩＸ）１６と、ＬＵＶ信号をＲＧＢＹ信号に変換するマトリクス変換器１７とを備えている。そして、マトリクス変換器１７から並列に出力されるＲ信号、Ｇ信号、Ｂ信号及びＹ信号（以下、これらを総称してＲＧＢＹ信号ともいう）が、ディスプレイパネル（図示せず）に供給される。
【００２８】
ここで、まず、本実施の形態のサンプリングレート変換装置１０において行われるサブピクセルレンダリング技術を活用した画素数変換（サブピクセル画素数変換）について図面を参照して説明する。
【００２９】
サブピクセルレンダリング技術は、一般には、図１４（Ａ）に示すようにＲＧＢの３原色を使って３つ（奇数）のサブピクセル（発光素子）から１画素が構成されるのに対し、図１４（Ｂ）に示すように、Ｒ、Ｇ、Ｂの各サブピクセルをそれぞれ１画素と見なして、サブピクセル毎に輝度を再現する技術である。すなわち、図１４（Ａ）にはサブピクセル１Ｒ、１Ｇ、１Ｂを１画素として取り扱う場合（画素数２）を示し、図１４（Ｂ）には、サブピクセルＲを１画素、サブピクセルＧを１画素、サブピクセルＢを１画素として取り扱う場合（画素数６）を示す。
【００３０】
本実施の形態では、図１５（Ｂ）に示すようにＲＧＢにＹ（黄）を加えた４原色を使って４つ（偶数）のサブピクセルＲＧＢＹのそれぞれが１画素を構成する場合について説明する。図１５（Ａ）にはサブピクセル１Ｒ、１Ｇ、１Ｂ、１Ｙを１画素として取り扱う場合（画素数２）を示し、図１５（Ｂ）には、サブピクセルＲを１画素、サブピクセルＧを１画素、サブピクセルＢを１画素、サブピクセルＹを１画素として取り扱う場合（画素数８）を示す。
【００３１】
また、サブピクセルレンダリング技術は、画素単位ではなくサブピクセルで輝度を再現するものである。
【００３２】
図１７（Ｂ１）、（Ｂ２）は、本実施の形態のサンプリングレート変換装置１０により、ディスプレイの画素数より画素数が多い高精細画像をディスプレイに表示するための、サブピクセル画素数変換のモデルを示す図である。ここでは、水平方向にＲＧＢＹの各サブピクセルが順に配列されるため、図１７（Ｂ１）に示すように水平方向１９２０画素及び垂直方向１０８０画素からなる１フレームの高精細の輝度信号Ｌをサブピクセル画素数変換（サンプリングレート変換）して、同図（Ｂ２）に示すように、水平方向の画素数が３４１２画素（＝８５３×４画素）、垂直方向の画素数４８０画素の輝度信号とする。図１７（Ｂ２）における画素数変換後の画素数は、厳密にはサブピクセル数であるが、サブピクセル画素数変換では、各サブピクセルを輝度が再現できる１画素と見なして画素数変換を行う。
【００３３】
図１８（Ｂ）は、サブピクセル画素数変換における水平方向の周波数特性を示す。サブピクセル画素数変換では、サンプリング周波数が、高精細画像信号のサンプリング周波数である１９２０ｃｐＬから３４１２ｃｐＬ（＝８５３ｃｐＬ×４）に変換される。すなわち、従来の画素数変換では、図１８（Ａ）に示したようにサンプリング周波数を、１９２０ｃｐＬから８５３ｃｐＬにダウンサンプリングしたのに対して、サブピクセル画素数変換では、同図（Ｂ）に示すようにサンプリング周波数を、１９２０ｃｐＬから３４１２ｃｐＬにアップサンプリングする。
【００３４】
図２に、サブピクセル画素数変換を模式的に示す。サブピクセル画素数変換では、従来の１画素を構成するＲＧＢＹのサブピクセルのうち、水平方向の画素数１９２０画素の輝度信号Ｌをサブピクセル毎の輝度信号（L1R、L1G、L1B、L1Y、・・・）に変換する。水平方向の画素数９６０画素の色差信号Ｕ、色差信号Ｖを水平方向の画素数８５３画素の色差信号に変換する。
【００３５】
図３は、サブピクセル画素数変換後のスペクトル成分の説明図を示す。サブピクセル画素数変換により、輝度信号を再現できる範囲の最高周波数は、図３に「ワイドＳＤのサブピクセル画素での再現範囲」として示すように、ワイドＳＤディスプレイサブピクセルのサンプリング周波数（３４１２ｃｐＬ）のナイキスト周波数である１７０６ｃｐＬとなる。言い換えると、１水平周期の画素数（８５３ｃｐＬ）に対して１画素が４サブピクセルから構成される場合のサブピクセルサンプリング画素数変換時の変換サンプリング周波数は、画素数の４倍の値（３４１２ｃｐＬ）となる。これにより、輝度信号が理論的に再現できるナイキスト周波数は画素数の２倍の値（１７０６ｃｐＬ）となる。一方、高精細画像信号（ＨＤ信号）を再現できる範囲の最高周波数は、図３に「ＨＤ信号成分」として示すように、高精細画像信号のサンプリング周波数（１９２０ｃｐＬ）のナイキスト周波数である９６０ｃｐＬである。また、水平方向の画素数８５３画素のディスプレイの再現可能範囲は、図３に「ワイドＳＤ再現範囲」として示すように、４２６ｃｐＬ以下の周波数となる。
【００３６】
ここで、サブピクセル画素数変換後の輝度信号における、ワイドＳＤディスプレイのナイキスト周波数である４２６ｃｐＬ以上で、かつ、ワイドＳＤディスプレイサブピクセルのナイキスト周波数である１７０６ｃｐＬ以下の帯域は、サブピクセルで輝度信号を再現することにより広帯域化できる帯域である。従って、サブピクセル画素数変換により、ナイキスト周波数を従来の４２６ｃｐＬから１７０６ｃｐＬに向上させて、折り返し妨害の発生を抑制しつつ高品位な変換画質を得ることが可能である。
【００３７】
一方、各サブピクセルは、高域の輝度成分において各サブピクセル固有の色（Ｒ，Ｇ，Ｂ,Ｙ）を有するため、上述した広帯域化の代償として、擬似の色妨害が発生する問題がある。そのため、本実施形態のサンプリングレート変換装置１０は、サブピクセル画素数変換された輝度信号と、擬似色妨害がない通常の画素単位で画素数変換された輝度信号とを擬似色妨害が出ないように適応させて混合することにより、サンプリングレートの変換を行うように構成する。
【００３８】
ところで、本発明では１画素のサブピクセル（原色）数は従来の「３」ではなく、「４」または「６」などの４以上の偶数の場合を想定している。本実施の形態では１画素のサブピクセル数が「３」ではなく「４」に増加した分、図３に示したようにサブピクセルのサンプリング周波数が高域に上がり、それに合わせてサブピクセルによるナイキスト周波数（１７０６ｃｐＬ）がＨＤ信号のナイキスト周波数（９６０ｃｐＬ）からすると必要以上に高くなり広帯域化した。この広帯域化はサンプリングレート変換装置を実現する上ではハードウェアの規模や消費電力の増大を招く問題がある。またソフトウェアでサンプリングレート変換装置を実現する場合も演算量の増大を招き同様の問題がある。
【００３９】
そこで、上記の問題を解決するため、本発明ではサブピクセルの画素数変換レートをＮ分の１（Ｎは２以上の自然数）に低下させる。そして低下させる条件として、後述する適応処理を実現するために画素単位にサブピクセルが完結するように位相を規制して低下させる数Ｎを選ぶものである。具体的には、図４（Ａ）に示すように１画素が４つのサブピクセルＲ，Ｇ，Ｂ，Ｙから構成される場合、先述した通り各サブピクセルを１画素とみなして４画素とするのではなく、図４（Ｂ）に示すように２つのサブピクセルを１つのサブピクセル（画素）として扱う。例えば、図４（Ａ）に示すサブピクセルＲとサブピクセルＧの２つのサブピクセルを、図４（Ｂ）に示すように１つのサブピクセル（Ｒ，Ｇ）として取り扱う。従って、サブピクセルレートの周期は図４（Ａ）に比し２倍になる。なお、サブピクセルレートの周期の変化点は、画素単位の変化点と揃うように設定する。これにより、１画素を２サブピクセルとして扱うことができる。
【００４０】
同様に、図５（Ａ）に示すように、１画素のサブピクセル数が「６」（Ｒ，Ｇ，Ｂ，Ｙ，Ｍ，Ｃ）である場合は、サブピクセルの画素数変換レートを１／２にすると同図（Ｂ）に示すように１画素のレート変換後のサブピクセル数は「３」となり、サブピクセルの画素数変換レートを１／３にすると、同図（Ｃ）に示すようにレート変換後のサブピクセル数は「２」となる。これにより、１画素を３サブピクセルまたは２サブピクセルとして扱うことができる。このようにサブピクセルの画素数変換レートを低下させることで、実現に向けたハードウェアやソフトウェアの負担がより低減できる。すなわち、本発明では、上記のＮは、１画素のサブピクセル数が偶数であるときの、サブピクセル数を割り切れる２以上の自然数とする。
【００４１】
図６は、１画素のサブピクセル数が「４」で、その画素数変換レートを１／２にした場合の周波数領域の説明図を示す。サブピクセル数が「４」で、サブピクセルの変換レートを低下させてサブピクセルの低域化サンプリング周波数を、サブピクセルをそれぞれ１画素とした時のサブピクセル画素数変換時のサンプリング周波数の１／２倍に選定すると、画像信号のサブピクセル画素数変換時のサンプリング周波数が３４１２ｃｐＬの場合、サブピクセルの低域化サンプリング周波数は１７０６ｃｐＬとなり、それによるナイキスト周波数は８５３ｃｐＬ（＝１７０６ｃｐＬ／２）となる。従って、この場合の信号再現範囲は、図６にIで示すワイドＳＤのサブピクセル1/2サンプリング再現範囲のように、８５３ｃｐＬ以下の周波数範囲となる。
【００４２】
信号再現範囲Iは、図６にIIで示す９６０ｃｐＬ以下の高精細信号の信号再現範囲に近いので、上記のサブピクセルの低域化サンプリング周波数１７０６ｃｐＬは必要以上に高くないサンプリング周波数であることが分かる。なお、この場合、高精細信号の信号再現範囲IIより信号再現範囲Iの方が帯域が狭いため、プリフィルタ１１により輝度信号の帯域を制限する。
【００４３】
図７は、サブピクセル画素数変換を詳細に説明するための図を示す。図７では、画素データの変化点、すなわちデジタル回路におけるクロックによるトリガ点が上向きの矢印で示されている。図７（Ａ）はサンプリング周波数１９２０ｃｐＬ（第１のサンプリング周波数）でサンプリングされた画素数変換前のＨＤ信号の時間領域での画素データの変化点を上向きの矢印で表し、図７（Ｄ）は第２のサンプリング周波数１７０６.６６ｃｐＬでサンプリングされたサブピクセル画素数変換後の画素データの時間領域での変化点を上向きの矢印で表している。なお、これまでは小数点１桁以下を切り捨てていたが、図７では小数点以下２桁まで記載して説明する。
【００４４】
ここで、図７（Ａ）に示す画素数変換前のＨＤ信号のサンプリング周波数（１９２０ｃｐＬ）と図７（Ｄ）に示す画素数変換後のサブピクセルレートの１／２であるサンプリング周波数（１７０６.６６ｃｐＬ）との比は９：８となり、ハードウェアで実現するうえで比較的簡単な整数比である。ディスプレイの画素数と高精細信号の画素数との比が上記値より大きい場合は、画素数変換が複雑な処理になるが、サブピクセル画素数変換の原理は同じである。また、ディスプレイの画素数よりも僅かに多めのサブピクセル画素数に画素数変換して、ディスプレイ表示上で切り捨てる場合もある。これは陰極線管（ＣＲＴ;Cathode Ray Tube）におけるオーバースキャンに相当するもので、ここで取り扱うサブピクセル画素数変換で想定される範囲である。また、ディスプレイ間の変換だけでなく、ディスプレイ内の特定の領域への画素数変換においても、本変換方式は同様に機能するものである。
【００４５】
ＳＤのディスプレイ画面の高さ方向の画素数を４８０画素としてアスペクト１６：９の場合、画面の横方向（水平）の画素数は８５３.３３となる。この８５３.３３を基準として各サンプリング周波数の関係を説明する。
【００４６】
図７（Ｂ）は、サンプリング周波数１５３６０ｃｐＬ（＝１９２０×８，又は１７０６.６６×９）でサンプリングされた信号の時間領域での画素データの変化点を上向きの矢印で表している。サンプリング周波数１５３６０ｃｐＬは、変換前の第１のサンプリング周波数１９２０ｃｐＬと変換後の第２のサンプリング周波数１７０６.６６ｃｐＬとの最小公倍数であり、図７（Ｃ）に模式的に示す８種類（内４つ図示）の信号位相に従って、所定のデジタルフィルタにより内挿処理されたものである。図７（Ｃ）において、丸数字０から丸数字７の表記は、デジタルフィルタの係数を示している。また丸数字を囲った四角は、囲んだ丸数字の係数が図７（Ａ）に示すＨＤ信号がある位相に相当し演算されることを意味する。
【００４７】
図７（Ｂ）に示す信号から、同図（Ｄ）に示す第２のサンプリング周波数（１７０６.６６ｃｐＬ）でサンプリングされた所望の位相の信号を抽出することにより、画素数変換後の輝度信号が得られる。なお、図７（Ｅ）は、従来の画素単位の画素数変換により、ディスプレイにおける水平方向の画素数に基づいて得られる変換後の信号を示す。また、図７（Ｆ）は、図７（Ｂ）、（Ｄ）、（Ｅ）に示す各信号の周波数領域のスペクトルを示している。
【００４８】
サブピクセル画素数変換された信号は、マトリクス処理されて原色信号に戻され、ディスプレイに表示される。図８に１画素を構成するサブピクセルが４の際に従来の方法でサブピクセル変換した信号をマトリクス処理してディスプレイに表示する例の説明図を示す。同図（Ａ）に示すサブピクセル画素数変換後の輝度信号ＬＲ、ＬＧ、ＬＢ、ＬＹは、同図（Ｂ）に示すマトリクス変換器１７によりマトリクス変換されて、輝度信号ＬＲ、ＬＧ、ＬＢ、ＬＹの高域成分が入ったＲ信号、Ｇ信号、Ｂ信号、Ｙ信号とされる。
【００４９】
Ｒ信号、Ｇ信号、Ｂ信号、Ｙ信号は、図８（Ｃ）において「１」、「２」、「３」、「４」で示されるように、１画素あたり４つの位相を有する。これらの中から、ディスプレイの１画素におけるＲＧＢＹサブピクセルの配列順序に一対一で対応している位相が、有効位相となり、有効位相部における信号が各サブピクセルデータとなる。図８（Ｃ）では、有効位相以外の位相の信号に×印が付されている。
【００５０】
図８に示す例において、ディスプレイの１画素におけるＲサブピクセルの配列順が「１」であるので、ディスプレイ上におけるＲ信号の位相は「１」であり、マトリクス変換後の出力における位相が「１」の信号が有効となる。同様に、Ｇ信号の位相は「２」であるので、マトリクス変換後の出力における位相が「２」の信号が有効となり、Ｂ信号の位相は「３」であるので、マトリクス変換後の出力における位相が「３」の信号が有効となる。Ｙ信号の位相は「４」であるので、マトリクス変換後の出力における位相が「４」の信号が有効となる。図８（Ｄ）に示すように、有効位相の信号が取得され、その有効位相のＲ信号、Ｇ信号、Ｂ信号、Ｙ信号が図８（Ｅ）に示すようにディスプレイの各サブピクセルで表示される。
【００５１】
上述したように本実施形態では、サブピクセル画素数変換のサンプリングレートを１／２のサンプリングレートにしているので、１画素あたり２つの位相からなる。図９に、サブピクセル変換レートを１／２とした場合の原色信号ＲＧＢＹに変換される画素の状態を示す。サブピクセル画素数変換により１画素のサブピクセル数が１／２の「２」となっているので、マトリクス変換器１７に入力する輝度信号は図９（Ａ）に示すように、サブピクセルのＲとＧの位相（「１」「２」）の輝度信号ＬRGとＢとＹの位相（「３」「４」）のＬBYの２つの位相の輝度信号からなる。
【００５２】
図９（Ｂ）に示すマトリクス変換器１７がこれらの輝度信号をマトリクス変換することにより、図９（Ｃ）に模式的に示すように、Ｒ信号とＧ信号とが「１」と「２」の位相に、Ｂ信号とＹ信号とが「３」と「４」の位相に有効な信号を出力する。図９（Ｃ）において×印は無効な信号位相を意味している。マトリクス変換器１７で取得された有効な信号は図９（Ｄ）に示すようにその画素の信号となり、同図（Ｅ）に示すようにディスプレイで各サブピクセルにて表示される。従来に比べてマトリクス変換器１７においてもサンプリングレートは半分で済み、負担が軽減される。
【００５３】
図１に戻って説明する。プリフィルタ１１は、入力された第１のサンプリング周波数（１９２０ｃｐＬ）でサンプリングされた画素数変換前のＨＤ信号Ｌａ（ナイキスト周波数９６０ｃｐＬ）に対して、ＨＤ信号Ｌａの高域成分が第２のサンプリング周波数（サブピクセルサンプリング周波数の１／２の周波数１７０６ｃｐＬ）でサンプリングされた信号（ナイキスト周波数８５３ｃｐＬ）に混入して折り返し妨害を発生させないように、ナイキスト周波数以上（８５３ｃｐＬ以上）の帯域を制限する。
【００５４】
サブピクセル画素数変換器１２は、プリフィルタ１１により帯域制限された輝度信号Ｌａに対して本実施形態のサブピクセル画素数変換を行い、ディスプレイにおける水平方向のサブピクセルの数に対応した、図７（Ｄ）に示した第２のサンプリング周波数（１７０６ｃｐＬ）でサンプリングしたサブピクセル画素数変換後の輝度信号Ｌｂｓを生成して出力する。
【００５５】
第１の画素単位画素数変換器１３は、プリフィルタ１１により帯域制限された高精細の輝度信号Ｌａに対して従来の画素単位画素数変換を行い、ディスプレイにおける水平方向の画素数に対応した第３のサンプリング周波数（図７（Ｅ）、８５３ｃｐＬ）でサンプリングした画素単位画素数変換後の輝度信号Ｌｂｐを生成して出力する。
【００５６】
第２の画素単位画素数変換器１４は、入力された高精細の色差信号Ｕａ，Ｖａ（最高周波数９６０ｃｐＬ）を第３のサンプリング周波数で画素単位画素数変換して、ディスプレイにおける水平方向の画素数に対応した最高周波数４２６ｃｐＬの色差信号Ｕｂ，色差信号Ｖｂを生成して出力する。第２の画素単位画素数変換器１４の構成は、第１の画素単位画素数変換器１３と同様であってもよいが、色差信号の帯域に基づいて簡易化されてもよい。
【００５７】
特徴検出器１５は、サブピクセル画素数変換器１２から出力された輝度信号Ｌｂｓ、及び第２の画素単位画素数変換器１４から出力された画素単位画素数変換後の色差信号Ｕｂ，色差信号Ｖｂに基づいて、サブピクセル画素数変換後の輝度信号Ｌｂｓの高域に混入している特定の波形パターン、例えば、疑似色妨害が発生する箇所を検出し、その検出結果に基づいて生成した混合器１６の制御値αを出力する。
【００５８】
特徴検出器１５は、人の視覚の性質を踏まえて効果的な適応信号、すなわち制御値αを出力する必要がある。人の視覚の性質として、輝度レベルが高く明るい画面では、本来無彩色であるべきところに擬似色妨害が生じると視認しやすく、一方で、色の濃いところに擬似色妨害が生じても、周りの色にマスキングされて視認しにくいという性質がある。また、暗いところでは色が視認しにくいという性質もある。これらの視覚の性質、及び黒は発色しないことを踏まえて、黒い線の解像度を向上させるような制御値αを出力する必要がある。
【００５９】
本実施形態における擬似色妨害は、高域成分であり面積は小さく局所的なものであるが、特徴検出器１５により、できるだけ低減させることができる。
【００６０】
混合器１６は、サブピクセル画素数変換器１２から出力されたサブピクセル画素数変換後の輝度信号Ｌｂｓ、及び第１の画素単位画素数変換器１３から出力された画素単位画素数変換後の輝度信号Ｌｂｐを、制御値αに応じた混合割合で混合し、混合された輝度信号Ｌｃを出力する。
【００６１】
具体的には、混合器１６は、制御値αに応じて、疑似色妨害が発生する箇所では、画素単位画素数変換後の輝度信号Ｌｂｐを優先した混合を行う。混合器１６は、制御値αが＝０であるときは、輝度信号Ｌｂｓを出力し、制御値αが＝１であるときは、輝度信号Ｌｂｐを出力する。制御値αが０より大きく１より小さいときは、混合器１６は制御値αの値が大きいほど輝度信号Ｌｂｓに比べて輝度信号Ｌｂｐの割合が相対的に大きくなるように二つの信号を混合した混合輝度信号Ｌｃを出力する。すなわち、混合器１６は、制御値αの値が輝度信号のレベルが低く、色が濃いことを示す０に近づくほど、サブピクセル画素数変換手段１２から出力されるサブピクセル画素数変換後の輝度信号Ｌｂｓを、第１の画素単位画素数変換器１３から出力される画素単位画素数変換後の輝度信号Ｌｂｐに比べて混合割合が多くなるように混合した混合輝度信号Ｌｃを出力する。
【００６２】
マトリクス変換器１７は、混合器１６で混合されて出力された輝度信号Ｌｃと、第２の画素単位画素数変換器１４から出力された画素単位画素数変換後の色差信号Ｕｂ及び色差信号Ｖｂとを入力信号として受け、これらの入力信号をマトリクス変換の演算を行い、高精細信号の高域成分を含んだＲ信号、Ｇ信号、Ｂ信号及びＹ信号を生成する。マトリクス変換されたＲ信号、Ｇ信号、Ｂ信号及びＹ信号は、ディスプレイ（図示せず）に出力される。
【００６３】
図１０は、混合器１６で混合される輝度信号の周波数特性の説明図を示す。同図において、特性ｆａは、サブピクセル画素数変換器１２から出力されるサブピクセル画素数変換後の輝度信号Ｌｂｓの周波数特性である。サブピクセルレートの１／２倍の周波数１７０６ｃｐＬをサンプリング周波数としているので、最高周波数８５３ｃｐＬまで理論的には再現できるが、ここでは、折り返し妨害を防止するためプリフィルタ１１による輝度信号の帯域制限により８５３ｃｐＬを超えない信号帯域に設定している。
【００６４】
一方、特性ｆｃは、第１の画素単位画素数変換器１３から出力される画素単位画素数変換後の輝度信号Ｌｂｐの周波数特性であり、ディスプレイのナイキスト周波数である４２６ｃｐＬ近辺に高域カットオフ特性を持たせて、折り返しの影響が許容できるレベルとなるように帯域が抑圧された周波数特性に設定されている。周波数特性ｆａは、プリフィルタ１１と画素数変換時のフィルタ処理で決まる特性である。
【００６５】
特徴検出器１５から得られる制御値αに基づいて、混合器１６によりサブピクセル画素数変換器１２から出力されるサブピクセル画素数変換後の輝度信号Ｌｂｓと、第１の画素単位画素数変換器１３から出力される画素単位画素数変換後の輝度信号Ｌｂｐとの混合割合が制御されるので、混合器１６の出力信号の周波数特性は、特性ｆｃを下限とし、特性ｆａを上限とする範囲内の特性となる。従って、疑似色妨害が発生し易い特定の波形パターンが検出されたとき、制御値αの値を１に近付けることにより、混合器１６の出力信号の周波数特性は、特性ｆｃに近付くので、疑似色妨害を適応的に抑制することが可能となる。
【００６６】
次に、図１に示した擬似色妨害を低減するための制御値αを生成する特徴検出器１５の動作について説明する。図１１（Ａ）は、特徴検出器１５に入力される輝度信号Ｌｂｓの信号波形を示す。同図（Ａ）において、明るい側がダイナミックレンジの「１」側である。また、図１１（Ｂ）は、特徴検出器１５に入力される色差信号Ｕａ及び色差信号Ｖａから、特徴検出器１５が生成した色の濃さを示す飽和度信号Ｖｃを反転した信号ＶｃＮの波形を示す。飽和度信号Ｖｃは次式で表わされる。なお、本実施の形態の飽和度信号Ｖｃの反転（信号ＶｃＮ）とは、色が濃いときの飽和度を示す値が小さくなるような反転であり、符号の反転を指すものではない。
【００６７】
Ｖｃ＝ｓｑｒｔ（Ｖａ*Ｖａ＋Ｕａ*Ｕａ）
但し、ｓｑｒｔ（ ）は平方根演算を示す。
【００６８】
図１１（Ｂ）の信号ＶｃＮの波形は、色が薄いときダイナミックレンジの「１」側になる。図１１（Ｃ）の実線は、同図（Ａ）の輝度信号Ｌｂｓの波形と同図（Ｂ）に示す信号ＶｃＮの波形とを合成した波形を示す。ここでは合成の方法として各信号Ｌｂｓ及びＶｃＮの値、すなわち輝度信号値及び色差信号に基づく飽和度を示す値のうち、小さい方の値を選択して合成している。
【００６９】
上記の合成の方法は擬似色妨害がより目立たないように考慮される。先述した人の視覚の性質を利用した信号が図１１（Ｃ）に実線で示す最小値信号である。最小値信号の「０」側が混合器１６で擬似色妨害が発生するサブピクセル画素数変換による広帯域信号側で、「１」側が妨害を発生させない画素単位画素数変換による信号側である。生成された最小値信号は輝度信号Ｌｂｓが明るいとき「１」近傍となり、暗いときは「０」近傍となる。また、色が薄いときは「１」近傍となり、色が濃いときは「０」近傍となる。また合成の方法を最小値として「０」方向に誘導しているのは、暗いときは色が見えづらくさらに色が濃いとマスキングされて擬似色妨害が知覚されないという人間の視覚の性質に添ったものである。特徴検出器１５は、輝度信号と色差信号とに基づいた値のうち、小さい方の値を選択した最小値信号を生成する最小値信号生成部として動作する。
【００７０】
特徴検出器１５は、図１１（Ｃ）に実線で示した最小値信号を低域フィルタ（ＬＰＦ）を通すことでその高域成分を低減する。これは、サブピクセル画素数変換による効果が高域成分であり、画像の特徴検出信号に高域信号が含まれるとサブピクセル画素数変換による効果が影響を受けることから、その影響を低減するためである。特徴検出器１５による適応処理は、着目点のみで判断されるものではなく、周囲の明るさや色の飽和度の情報を含めて判断されるものである。特徴検出器１５は、最小値信号をフィルタ処理するフィルタリング部として動作する。
【００７１】
ここで、画素単位のレートはＲＧＢＹを１画素とするサンプリングレートになるが、サブピクセルサンプリングレートはＲ／Ｇ／Ｂ／Ｙの各々を１画素と見立てたレートであり、４倍のレートとなる。低域フィルタをサブピクセルレート又は１／２のレートで処理すると、図１２に示すように画素の区切りとなるＹとＲとをまたいで処理されるため、一点鎖線で示す信号２１が得られる。信号２１で混合器１６での適応処理を制御すると、ＲＧＢＹ間の値に段差ができ、疑似色妨害が出ない第１の画素単位画素数変換器１３の出力信号ＬｂｐにＲＧＢＹ間に偏差が生じて、本来疑似色妨害がでないところに出てしまう。
【００７２】
そこで、特徴検出器１５内の低域フィルタでの処理は、ＲＧＢＹの４サブピクセルからなる画素単位に完結された信号２２が得られるようにする。本実施の形態では特徴検出器１５の入力信号が画素単位で変化する信号であるので必然的に出力信号は図１２に太実線で示す画素単位の信号２２になる。ただし、画素数変換するサブピクセルレート又は１／２のレートで処理した場合はＲＧＢＹで異なる値となる。その場合でも画素単位にＲＧＢＹで同一の値となるように平均化処理する。それにより図１２に示す信号２２が特徴検出器１５が出力する混合器１６の制御値αとなる。このように画素単位に変化する制御値αにすることで、混合器１６に入力される画素単位のデータが不連続になることを防いでいる。
【００７３】
図１３は、図１に示した本実施の形態のサンプリングレート変換装置１０の各部のクロックとデータの関係を示す。図１３（Ａ）に示すＣＫＨは高精細信号のクロックで下向きの矢印がトリガ位置を示し、その周波数は１９２０ｃｐＬである。図１３（Ｂ）に示す高精細の輝度信号Ｌａは、クロックＣＫＨがトリガになってサンプリングされた信号で、輝度信号Ｌａが再現できる帯域はナイキスト周波数９６０ｃｐＬ以下の帯域である。
【００７４】
図１３（Ｃ）に示すＣＫＳ１は、変換するワイドＳＤディスプレイの画素数にそった変換レート（画素単位）のクロックで、周波数が８５３ｃｐＬである。図１３（Ｄ）に示すＣＫＳ２は、サブピクセルサンプリングレートの１／２倍のレートのクロックで、その周波数はＣＫＳ１の２倍の１７０６ｃｐＬである。サブピクセル画素数変換器１２において、輝度信号Ｌａは、周波数が第２のサンプリング周波数（図７（Ｄ））に等しいクロックＣＫＳ２によりサンプリングされて、図１３（Ｆ）に模式的に示すサブピクセルサンプリングレートの１／２倍に変換されたサブピクセル画素数変換後の輝度信号Ｌｂｓとされる。
【００７５】
また、第１の画素単位画素数変換器１３及び第２の画素単位画素数変換器１４において入力信号に対して画素単位のクロックＣＫＳ１によりサンプリングして、図１３（Ｈ）、（Ｉ）、（Ｊ）に模式的に示す輝度信号Ｌｂｐ，色差信号Ｕｂ及び色差信号Ｖｂを生成する。同様に、特徴検出器１５は、画素単位のクロックＣＫＳ１をトリガとして図１３（Ｋ）に模式的に示すような制御値αを出力する。図９で説明したマトリクス変換器１７の出力に得られる１画素周期のデータは、画素単位のクロックＣＫＳ１をトリガとしたものである。
【００７６】
ここで重要なのは、ＣＫＳ２のトリガ点タイミングと画素単位のクロックＣＫＳ１のトリガ点とが一致していることである。ＲＧＢＹの４サブピクセルレートのクロック（３４１２ｃｐＬ：ＣＫＳ１の４倍）から、１／２周期のクロックＣＫＳ２を作り出した場合、とりうる位相はＣＫＳ２のほかにもう一つ図１３（Ｅ）に示すクロックＣＫＳ２Ｎがある。
【００７７】
仮に、サブピクセル画素数変換器１２が、クロックＣＫＳ２Ｎをトリガとしてサンプリングを行うと、図１３（Ｇ）に模式的に示すようなサブピクセル画素数変換後の輝度信号ＬｂｓＮが生成される。この輝度信号ＬｂｓＮは、図１３（Ｈ）に示した画素単位のクロックＣＫＳ１によりサンプリングされたデータである輝度信号Ｌｂｐ，色差信号Ｕｂ，色差信号Ｖｂ，制御値αと変化点が異なり、図１３（Ｋ）に示した制御値αで適応処理すると、輝度信号ＬｂｓＮが分断されて画像信号に不連続が生じる。
【００７８】
画素単位のクロックＣＫＳ１をトリガとする制御値αで特徴検出器１５は混合器１６を制御するので混合器１６の入力のデータは変化点が制御値αと揃っている必要がある。従って、サブピクセル画素数変換器１２で使われる４サブピクセルレートの１／２周期の変換クロックは、画素単位のクロックＣＫＳ１とトリガ点が同じＣＫＳ２の位相でなければならない。
【００７９】
マトリクス変換器１７は、混合器１６から出力された輝度信号Ｌｃと、第２の画素単位画素数変換器１４から出力された図１３（Ｉ）及び（Ｊ）に模式的に示す画素単位画素数変換後の色差信号Ｕｂ及び色差信号Ｖｂとを、図１３（Ｌ）、（Ｍ）、（Ｎ）、及び（Ｏ）にそれぞれ模式的に示すような高精細信号の高域成分を含んだＲ信号、Ｇ信号、Ｂ信号及びＹ信号へマトリクス変換してディスプレイに出力する。
【００８０】
このように、本実施の形態によれば、１画素のサブピクセル数が偶数である「４」のとき、サブピクセル画素数変換器１２におけるサンプリング周波数を、サブピクセル画素数変換前の第１のサンプリング周波数（高精細画像信号のサンプリング周波数）を変換される画像のサブピクセルサンプリングレートの１／Ｎ倍（ただし、Ｎは１画素のサブピクセル数を割り切れる２以上の自然数で、ここではＮ＝２）として、サンプリングレートを１／２に落とす。
【００８１】
また、６原色で１画素のサブピクセル数が偶数である「６」のときは、サブピクセル画素数変換器１２におけるサンプリング周波数は、サブピクセル画素数変換前の第１のサンプリング周波数を変換される画像のサブピクセルサンプリングレートの１／２倍，又は１／３倍に設定し、サンプリングレートを１／２、１／３に落とす。更に、低域化されたサブピクセルサンプリングレートのデータ位相を、画素単位のデータと位相を揃えるようにする。これにより、サブピクセル画素数変換器１２でサンプリングしたサブピクセル画素数変換後の輝度信号Ｌｂｓと画素単位の画素数変換データＬｂｐ、Ｖｂ、Ｕｂとを適応的に混合することができる。
【００８２】
複数のサンプリング周波数を採用できる場合は、サンプリング周波数が小さい方が電力的に有利である。一方でサンプリング周波数が大きい方が、変換できる帯域は広くなる。そのため、どのサンプリング周波数を採用するかは、電力、回路規模、変換する画像の帯域等を考慮して選択すればよい。
【００８３】
以上のように、本実施の形態によれば、１画素のサブピクセル数が偶数のとき、サブピクセル画素数変換器１２において変換されるサンプリング周波数を、変換される画像のサブピクセル数に相当するサブピクセルサンプリング周波数の１／Ｎ倍（ただし、Ｎは１画素のサブピクセル数を割り切れる２以上の自然数）に低域化してサブピクセル画素数変換処理すると共に、１／Ｎ倍に低域化されたサブピクセルサンプリングレートのデータ位相を、画素単位のデータと位相を揃える。
【００８４】
このため、本実施の形態によれば、サブピクセル画素数変換のサンプリング周波数を低域化することにより、ハードウェアの規模と消費電力を低減させることができる。また、ソフトウェアで実現するときは演算量やメモリが低減でき負担が軽くなる。更にサブピクセル画素数変換された輝度信号は、図４及び図５に示したように、ディスプレイでは２サブピクセル（２原色）または３サブピクセル（３原色）を束にしたことになり、複数の原色が加色され明るくなるため、擬似色妨害の色が薄く目立たなくなる。その結果、本実施の形態は、解像度感が得られるように適応処理が調整でき、本来の目的である変換画像の解像度向上を実現する上で優れた方法といえる。
【００８５】
なお、本発明は上記の実施形態に限定されるものではなく、例えばディスプレイにおいて、水平方向にサブピクセルが配列されているが、垂直方向にサブピクセルが配列されていてもよく、この場合にも、本発明を適用可能である。また、ディスプレイにおいて、２次元にサブピクセルが配列されていても、本発明を適用可能である。
【００８６】
また、輝度信号だけでなく色差信号Ｕ及び色差信号Ｖにもサブピクセル画素数変換を適用してもよい。この場合、マトリクス変換部では、偶数個の各サブピクセルで表示される各原色信号は、１画素あたりサブピクセル数の位相を有し、これらの中からディスプレイの一画素における各サブピクセルの配列順序に一対一に対応している位相が、有効位相となり、その有効位相部の信号が各サブピクセルデータとなる。
【符号の説明】
【００８７】
１０ サンプリングレート変換装置
１１ プリフィルタ
１２ サブピクセル画素数変換器
１３ 第１の画素単位画素数変換器
１４ 第２の画素単位画素数変換器
１５ 特徴検出器
１６ 混合器
１７ マトリクス変換器
【特許請求の範囲】
【請求項１】
１画素が２Ｍ個（ただし、Ｍは２以上の自然数）のサブピクセルにより構成される複数の画素を備えるディスプレイの画素数より大なる画素数を有する画像信号を構成し、第１のサンプリング周波数でサンプリングされた輝度信号を、前記ディスプレイの画素数を２Ｍ倍した際のサブピクセル画素数変換におけるサンプリング周波数の１／Ｎ倍（ただし、Ｎは２Ｍを割り切れる２以上の自然数）に設定された第２のサンプリング周波数でサブピクセル画素数変換するサブピクセル画素数変換部と、
前記輝度信号を、前記ディスプレイの画素数に基づく第３のサンプリング周波数で画素単位画素数変換を行う画素単位画素数変換部と、
前記画像信号を構成する色差信号及び前記サブピクセル画素数変換部から出力される第１の輝度信号に基づいて、前記第１の輝度信号と前記画素単位画素数変換部から出力される第２の輝度信号の混合する割合を示す制御値を求める特徴検出部と、
前記第１の輝度信号と前記第２の輝度信号とを前記制御値に基づいた混合割合で混合した混合信号を出力する混合部と、
を有することを特徴とするサンプリングレート変換装置。
【請求項２】
前記特徴検出部は、
前記第１の輝度信号より特定の波形パターンを検出すると、前記特定の波形パターンの輝度信号値及び前記色差信号に基づく飽和度を示す値のうち、小さい方の値を選択して合成して最小値信号を生成する最小値信号生成部と、
前記最小値信号をフィルタ処理して前記２Ｍ個のサブピクセルを１画素とする画素単位に完結された前記制御値を生成するフィルタと
を有することを特徴とする請求項１記載のサンプリングレート変換装置。
【請求項３】
前記混合部は、
前記制御値が小さくなるほど、前記第１の輝度信号の混合割合を、前記第２の輝度信号の混合割合に比べて多く混合することを特徴とする請求項１記載のサンプリングレート変換装置。
【請求項４】
前記画素単位画素数変換部は、前記サブピクセル画素数変換部が入力信号をサンプリングする前記第２のサンプリング周波数のクロックのトリガ点タイミングと、入力される前記高精細画像信号を構成する前記輝度信号をサンプリングする前記第３のサンプリング周波数のクロックのトリガ点とが一致するように画素単位画素数変換することを特徴とする請求項１記載のサンプリングレート変換装置。
【請求項５】
１画素が２Ｍ個（ただし、Ｍは２以上の自然数）のサブピクセルにより構成される複数の画素を備えるディスプレイの画素数より大なる画素数を有する画像信号を構成し、第１のサンプリング周波数でサンプリングされた輝度信号を、前記ディスプレイの画素数を２Ｍ倍した際のサブピクセル画素数変換におけるサンプリング周波数の１／Ｎ倍（ただし、Ｎは２Ｍを割り切れる２以上の自然数）に設定された第２のサンプリング周波数でサブピクセル画素数変換するサブピクセル画素数変換ステップと、
前記輝度信号を、前記ディスプレイの画素数に基づく第３のサンプリング周波数で画素単位画素数変換を行う画素単位画素数変換ステップと、
前記画像信号を構成する色差信号及び前記サブピクセル画素数変換ステップで生成された第１の輝度信号に基づいて、前記第１の輝度信号と前記画素単位画素数変換ステップで生成された第２の輝度信号の混合する割合を示す制御値を求める特徴検出ステップと、
前記第１の輝度信号と前記第２の輝度信号とを前記制御値に基づいた混合割合で混合した混合信号を出力する混合ステップと、
を含むことを特徴するサンプリングレート変換方法。
【請求項１】
１画素が２Ｍ個（ただし、Ｍは２以上の自然数）のサブピクセルにより構成される複数の画素を備えるディスプレイの画素数より大なる画素数を有する画像信号を構成し、第１のサンプリング周波数でサンプリングされた輝度信号を、前記ディスプレイの画素数を２Ｍ倍した際のサブピクセル画素数変換におけるサンプリング周波数の１／Ｎ倍（ただし、Ｎは２Ｍを割り切れる２以上の自然数）に設定された第２のサンプリング周波数でサブピクセル画素数変換するサブピクセル画素数変換部と、
前記輝度信号を、前記ディスプレイの画素数に基づく第３のサンプリング周波数で画素単位画素数変換を行う画素単位画素数変換部と、
前記画像信号を構成する色差信号及び前記サブピクセル画素数変換部から出力される第１の輝度信号に基づいて、前記第１の輝度信号と前記画素単位画素数変換部から出力される第２の輝度信号の混合する割合を示す制御値を求める特徴検出部と、
前記第１の輝度信号と前記第２の輝度信号とを前記制御値に基づいた混合割合で混合した混合信号を出力する混合部と、
を有することを特徴とするサンプリングレート変換装置。
【請求項２】
前記特徴検出部は、
前記第１の輝度信号より特定の波形パターンを検出すると、前記特定の波形パターンの輝度信号値及び前記色差信号に基づく飽和度を示す値のうち、小さい方の値を選択して合成して最小値信号を生成する最小値信号生成部と、
前記最小値信号をフィルタ処理して前記２Ｍ個のサブピクセルを１画素とする画素単位に完結された前記制御値を生成するフィルタと
を有することを特徴とする請求項１記載のサンプリングレート変換装置。
【請求項３】
前記混合部は、
前記制御値が小さくなるほど、前記第１の輝度信号の混合割合を、前記第２の輝度信号の混合割合に比べて多く混合することを特徴とする請求項１記載のサンプリングレート変換装置。
【請求項４】
前記画素単位画素数変換部は、前記サブピクセル画素数変換部が入力信号をサンプリングする前記第２のサンプリング周波数のクロックのトリガ点タイミングと、入力される前記高精細画像信号を構成する前記輝度信号をサンプリングする前記第３のサンプリング周波数のクロックのトリガ点とが一致するように画素単位画素数変換することを特徴とする請求項１記載のサンプリングレート変換装置。
【請求項５】
１画素が２Ｍ個（ただし、Ｍは２以上の自然数）のサブピクセルにより構成される複数の画素を備えるディスプレイの画素数より大なる画素数を有する画像信号を構成し、第１のサンプリング周波数でサンプリングされた輝度信号を、前記ディスプレイの画素数を２Ｍ倍した際のサブピクセル画素数変換におけるサンプリング周波数の１／Ｎ倍（ただし、Ｎは２Ｍを割り切れる２以上の自然数）に設定された第２のサンプリング周波数でサブピクセル画素数変換するサブピクセル画素数変換ステップと、
前記輝度信号を、前記ディスプレイの画素数に基づく第３のサンプリング周波数で画素単位画素数変換を行う画素単位画素数変換ステップと、
前記画像信号を構成する色差信号及び前記サブピクセル画素数変換ステップで生成された第１の輝度信号に基づいて、前記第１の輝度信号と前記画素単位画素数変換ステップで生成された第２の輝度信号の混合する割合を示す制御値を求める特徴検出ステップと、
前記第１の輝度信号と前記第２の輝度信号とを前記制御値に基づいた混合割合で混合した混合信号を出力する混合ステップと、
を含むことを特徴するサンプリングレート変換方法。
【図１】
【図２】
【図３】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１７】
【図１８】
【図４】
【図５】
【図８】
【図９】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１７】
【図１８】
【図４】
【図５】
【図８】
【図９】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−１２８０４（Ｐ２０１３−１２８０４Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４２５０２（Ｐ２０１１−１４２５０２）
【出願日】平成２３年６月２８日（２０１１．６．２８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２８日（２０１１．６．２８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]