説明

立体画像の階調変換方法及び階調変換装置

【課題】簡便な回路構成で高速化に対応し、静止画及び動画の両方で誤差拡散によるノイズパターンを目立ちにくくする階調変換方法及び階調変換装置を提供する。
【解決手段】同一フレームの前記左目用及び右目用の各画像に対して同一の配列の乗算係数に基づく誤差拡散を行い、付加係数の分布が互いに異なる複数のディザパターンから前記フレームに応じたディザパターンを選択し、選択したディザパターンに基づいて、誤差拡散が施された前記各画像の画素データに付加係数を付与する。前記乗算係数の配列は前記フレームの更新に応じて変更され、且つこの一連の変更が所定数のフレームを一周期として繰り返される。また、前記ディザパターンは前記フレームの更新に応じて循環的に選択される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、高い階調度の立体画像を低い階調度で擬似的に再現する階調変換方法および階調変換装置に関する。
【背景技術】
【0002】
プラズマディスプレイや、ディジタル・マイクロミラーデバイス(DMD)を使用したプロジェクタ等の画像表示装置は一般的に、入力画像を表示する際に人の目に自然で十分な階調と思われる10〜12ビットの階調度を4〜6ビットの階調度に下げる変換を行っている。これは、表示パネル自体の階調不足や、高フレーム化に伴うサブフレーム数の制限などに起因している。
【0003】
画像の階調度を下げる変換では、変換後の階調の中から変換前の階調よりも低く、且つ最も近い階調を選択するのが最も単純な方法である。しかしながら、この方法では低い階調度によって新たに生じる誤差が現れてしまい、視覚的に階調段差を生じやすい。そこで、このような変換においては誤差拡散法やディザリングと呼ばれる元画像の階調を擬似的に再現する階調変換が採用される。例えば、誤差拡散法では、1つの画素における階調変換前後の誤差を所定の比率で(即ち所定の乗算係数を乗じて)周囲の画素に分配する演算を全ての画素に対して行う。誤差が付与される画素及び比率については様々なものが提案されており、典型的な例としては、フロイド‐スタインバーグ(Floyd-Steinberg)法によるものがよく知られている。
【0004】
特許文献1は、フロイド‐スタインバーグ法と類似の誤差拡散法を開示している。同文献の誤差拡散法はフレームシーケンシャル方式による立体画像を処理対象にしており、誤差の分配先である画素の位置が、左目用の画像と右目用の画像で互いに異なる誤差拡散を行っている。さらに、誤差を算出する対象画素の走査方向を行(ライン)毎に変えており、誤差を付与する複数の画素の各位置が、左から右への走査ではフロイド‐スタインバーグ法と同一であるのに対して、右から左への走査では反転している。即ち、ライン毎に誤差の拡散方向が異なっている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2000−50315号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1の誤差拡散法は乗算係数の変更だけでなく、拡散方向も変更している。従って、複数のラインメモリを用いた複雑な処理回路が必要である。また、フレームシーケンシャル方式では、立体画像を得るためにフレームレートが通常の倍になる。従って、有効走査線の数が1080本のプログレッシブスキャン(即ち1080p)におけるピクセルクロックは297MHzに達する。このような高い動作速度を得るのは困難で、並列処理やパイプライン処理を必要とする。
【0007】
さらに、特許文献1の誤差拡散法は、乗算係数の配列を左目用の画像と右目用の画像で大きく変えてしまうため、動きの大きい画像では誤差拡散によるノイズパターンの出現が低減される効果があっても、静止画や、フレーム前後の変化の差が小さい動画が長く続く場合は、却って誤差拡散によるノイズが目立つという現象が起きてしまう。
【0008】
本発明は、上記事情に鑑みてなされたもので、その目的は、高フレームレートでの画像表示を必要とする立体画像表示装置で、簡便な回路構成で高速化に対応し、静止画及び動画の両方で誤差拡散によるノイズパターンを目立ちにくくする階調変換方法及び階調変換装置を提供することにある。
【課題を解決するための手段】
【0009】
本発明の第1の態様は、同一フレームの左目用及び右目用の各画像に対して同一の配列の乗算係数に基づく誤差拡散を行い、付加係数の分布が互いに異なる複数のディザパターンから前記フレームに応じたディザパターンを選択し、選択したディザパターンに基づいて、誤差拡散が施された前記各画像の画素データに付加係数を付与する立体画像の階調変換方法であって、前記乗算係数の配列は前記フレームの更新に応じて変更され、且つこの一連の変更が所定数のフレームを一周期として繰り返され、前記乗算係数の各配列における最大の乗算係数の位置及び隣接する乗算係数の順序は前記一周期内のフレーム毎に異なり、前記ディザパターンは前記フレームの更新に応じて循環的に選択されることを特徴とする。
【0010】
本発明の第2の態様は立体画像の階調変換装置であって、乗算係数の配列が互いに異なる複数の乗算係数テーブルを記憶する第1の記憶部と、前記複数の乗算係数テーブルからその1つをフレームに応じて循環的に選択するとともに、選択した乗算係数テーブルに基づいて同一フレームの左目用及び右目用の各画像に対する誤差拡散を行う第1の階調演算部と、付加係数の分布が互いに異なる複数のディザパターンを記憶した第2の記憶部と、前記複数のディザパターンから、第1の階調演算部からの出力画像のフレームに応じたディザパターンを選択し、選択したディザパターンに基づいて、前記誤差拡散が施された前記出力画像の画素データに付加係数を付与する第2の階調演算部とを備え、前記乗算係数の前記配列における最大の乗算係数の位置及び隣接する乗算係数の順序は、前記乗算係数テーブル毎に異なり、前記第2の階調演算部において、前記ディザパターンは前記フレームに応じて循環的に選択されることを特徴とする。
【0011】
前記ディザパターンの各行および各列における付加係数の数は、互いに等しく、且つ、画素データの値に比例していることが好ましい。
【0012】
前記ディザパターンは、さらに所定のビット長をもつ前記画素データの下位ビット値に基づいて選択されることが好ましい。
【0013】
前記付加係数は前記画素データの上位ビットに付与されることが好ましい。
【0014】
前記下位ビット値あたりの前記ディザパターンの総数は、前記下位ビット値が取り得る値の数に等しいことが好ましい。
【発明の効果】
【0015】
本発明によれば、誤差拡散のパターンをランダム化させることで、ドットパターンに代表される画質妨害の発生を認識されにくくするとともに、動きの少ない画像に対しても同様の効果を発揮することができる。
【0016】
また、従来の誤差拡散回路と比べ、本実施形態の階調変換装置は同程度に簡便であり、高フレームレートに対応する動作速度を得ることが可能である。
【図面の簡単な説明】
【0017】
【図1】フレームシーケンシャル方式による左目用及び右目用の各画像とフレームの関係を示す図である。
【図2】本発明の第1実施形態に係る乗算係数の配列とフレームとの対応を示す図である。
【図3】本発明の第1実施形態に係る階調変換装置のブロック図である。
【図4】本発明の第1実施形態に係る階調変換装置のブロック図である。
【図5】本発明の第1実施形態に係る乗算係数テーブルの一例である。
【図6】本発明の第2実施形態に係る階調変換方法の概略フローチャートである。
【図7】本発明の第2実施形態に係るディザパターンの一例である。
【図8】本発明の第2実施形態に係る小画像Qを示す図である。
【図9】本発明の第2実施形態に係る階調変換装置のブロック図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態に係る階調変換方法および階調変換装置について、図面を参照して詳細に説明する。本実施形態の階調変換方法及び階調変換装置は、立体画像を構成する左目用の画像と右目用の画像を入力し、元の階調を擬似的に再現するように各画像の階調度を下げる変換を行うものである。
【0019】
なお、各実施形態の説明において、階調変換の対象画像として、フレームシーケンシャル方式の立体画像を挙げた。フレームシーケンシャル方式は、1つのフレームにおいて、1枚の立体画像を構成する左目用の画像と右目用の画像を順番に表示する方式である。
【0020】
例えば図1に示すように、まず第1のフレームの左目用画像L1が表示され、その次に同フレームの右目用画像R1が表示される。以下、同様に、第2のフレームの左目用画像L2と右目用画像R2、第3のフレームの左目用画像L3と右目用画像R3が交互に表示される。換言すれば、この方式では、動きの相関の少ない右目用と左目用の画像が交互に表示され、高フレームレート(例えば、120Hz、240Hz)の下で静止画と動画が混在したようなフレーム構造を持っている。
【0021】
本発明はこのような一連の画像の階調を変換するものであるが、立体画像の表示方式はフレームシーケンシャル方式に限られない。即ち、本発明は、サイド・バイ・サイド方式の立体画像などを含め、左目用の画像と右目用の画像が個別に生成されるあらゆる方式の立体画像に適用可能である。
【0022】
(第1実施形態)
まず、本発明の第1実施形態について説明する。図2は、本発明の第1実施形態に係る乗算係数(後述)の配列とフレームとの対応を示す図である。図3は、本発明の第1実施形態に係る階調変換装置のブロック図である。図4は、本発明の第1実施形態に係る階調変換装置のブロック図である。図5は、本発明の第1実施形態に係る乗算係数テーブル(後述)の一例である。
【0023】
本実施形態の階調変換は誤差拡散法を用いる。誤差拡散法は、一画像を構成する画素毎に階調変換前後の誤差を算出し、算出した誤差をその周囲の画素に所定の乗算係数(重み)を乗じて分配する。このような演算を、一画素ずつ所定の方向に走査しながら行うので、各画素にはその周囲の画素における誤差の影響が蓄積されることになる。
【0024】
誤差が分配される画素の個数及び位置、並びに各乗算係数の値については様々なものが提案されており、本実施形態の誤差拡散法は何れのものも適用可能である。ただし、ここでは説明の便宜上、フロイド‐スタインバーグ法で用いられているものを採用する。
【0025】
まず、階調変換対象としての一画像を処理する場合を想定し、図2に示すような、当該画像中の画素G(座標(x,y))に着目する。画素Gでの誤差が分配される画素は、(x+1,y)、(x−1,y+1)、(x,y+1)、(x+1,y+1)の各座標に位置する画素A、B、C、Dである。
【0026】
この誤差の分配について、具体的に説明すると、まず、画素Gにおいて、その画素データの階調度を変換し、この変換において発生した誤差Erを算出する(ステップA1)。次に、誤差Erに所定の乗算係数k1、k2、k3、k4を乗じ、各積を画素A、B、C、Dの画素データに加算する(ステップA2)。次に、演算の対象を右隣の画素G’(座標(x+1,y))に移し(ステップA3)、ステップA1及びA2と同一の演算を行う(ステップA4)。このような演算を繰り返すことで、各画素における誤差を周囲の画素に拡散させることができる。
【0027】
上記誤差拡散の際に用いる乗算係数k1、k2、k3、k4は、その総和が1となるように規格化されている。本実施形態では、各乗算係数は1/16、3/16、5/16、7/16の何れかで、且つ、互いに異なる値に設定される。例えば、k1=7/16、k2=3/16、k3=5/16、k4=1/16として、誤差Erと各乗算係数k1、k2、k3、k4の積を、それぞれ画素A、B、C、Dに加算する演算を行ったとすれば、これはフロイド‐スタインバーグ法による誤差拡散と同一になる。
【0028】
本実施形態では、誤差Erを分配する際に用いる乗算係数k1、k2、k3、k4の各画素A、B、C、Dに対する組み合わせ(以下、配列)を、同一のフレーム内の左目用と右目用の各画像においては変更せず、フレームが更新されたときに変更する。更に、この配列の変更を所定数のフレームを一周期として繰り返す。つまり、乗算係数の配列をフレームの更新に応じて循環的に変更する。
【0029】
図2は具体的な配列の一例を示している。この例では、k1=7/16、k2=3/16、k3=5/16、k4=1/16として、第1のフレームでは、画素A、B、C、Dに対する乗算係数をそれぞれk1、k2、k3、k4に設定し、第2のフレームでは、それぞれk2、k1、k4、k3に設定し、第3のフレームでは、k4、k3、k2、k1に設定し、第4のフレームでは、それぞれk3、k4、k1、k2に設定する。第5のフレームでは、第1のフレームで用いた乗算係数の配列に再び戻り、その後も上記と同様に第2のフレームから第4のフレームで用いた乗算係数の配列が設定され、このような配列の変化が繰り返される。
【0030】
上述の通り、1つのフレームにおける左目用の画像と右目用の画像には、同じ配列の乗算係数を用いた誤差拡散が行われる。左目用と右目用の各画像の間には、立体的な画像を認識させるための視差を与える若干の差異があるだけで、両画像の空間的な相関は高い。このような画像に対して異なる配列の乗算係数を用いた場合、配列の違いにより不自然なノイズが認識されやすくなる。本実施形態の場合は、各画像に対して同一の誤差拡散を行っているので、このようなノイズが発生せず、静止画の表示が続く立体画像や形状の変化が乏しい立体画像の動画に対して特に有効である。
【0031】
一方、動きの変化が大きい立体画像を表示させる場合、各フレームに対して同一の配列の乗算係数を用いた誤差拡散を定常的に行うと、この一定の誤差拡散に伴うパターンノイズが現れる可能性がある。そこで本実施形態では、乗算係数の配列をフレームの更新に応じて変更し、この配列の変更を所定数のフレームを一周期として繰り返す。これにより、上記パターンノイズの発生を抑制できる。
【0032】
なお、周期の値(即ち、フレームの数)は、各フレームの間での、誤差拡散によるノイズの空間的な相関が低減するように設定されることが望ましい。例えば、配列の要素の数、または誤差が分配される画素の数に等しい値に設定される。この値は、複数の乗算係数のうちの最大の乗算係数が、誤差が分配される画素の全てに配置されるように設定される配列の数に等しい。換言すると、各配列における最大の乗算係数の位置が、一周期内のフレーム毎に異なることになる。これにより、誤差Erの影響を最も与える乗算係数が各画素に一様に割り当てられることになり、各フレーム間において誤差拡散によるノイズの空間的な相関を低減することができる。
【0033】
さらに、各配列において隣接する乗算係数の順序は、一周期内のフレーム毎に異なることが望ましい。異なるフレームにおいて、同じ順序の乗算係数を用いた誤差拡散を行った場合、この順序によってノイズの空間的な相関が高まり、このノイズが視覚的に確認され易くなる。従って、隣接する乗算係数の順序を配列毎に変えることで、このノイズの出現を低減することができる。特に、同一ラインの画素に対する乗算係数において、隣接する乗算係数の順序がフレーム毎に異なると、ノイズの低減に対してより効果的である。
【0034】
次に、本実施形態の階調変換装置について説明する。
【0035】
図3、4は本実施形態の階調変換装置10を表すブロック図である。図3、図4に示すように、階調変換装置10は、記憶部(第1の記憶部)11と、階調演算部(第1の階調演算部)12とを備えている。記憶部11は、フレームに応じて配列の異なる上述の乗算係数k1、k2、k3、k4をそれぞれ乗算係数テーブル15a〜15dとして予め記憶しており(図5参照)、これらは階調演算部12による階調変換演算の際に、入力された画像信号のフレームに応じて適宜参照される。
【0036】
階調演算部12には、立体画像を構成する左目用と右目用の各画像(図1参照)の画像信号としての一例の画素データ13が入力される。階調演算部12は、記憶部11に記憶されている複数の乗算係数テーブル15a〜15dから、その1つをフレームに応じて選択し、選択した乗算係数テーブルと画素データ13を用いて誤差拡散を行う。
【0037】
背景技術の項で述べた通り、誤差拡散の目的の1つは、画像の階調度を画像表示装置などが処理可能な階調度に適合させることにある。そのため、誤差拡散処理を施された後の画像信号のビット長は、階調変換装置10に入力した画像信号のビット長よりも短くなる。例えば、入力画像信号のビット長が12だとすると、出力画像信号のビット長は6である。換言すれば、高階調度(例えば12ビット)の画像データは、誤差拡散によって低階調度(例えば6ビット)の画像データに圧縮される。
【0038】
この階調演算部12内の動作について、詳細に説明する。なお、階調演算部12には各画像に対する所定の垂直同期信号及び水平同期信号が入力されており、階調演算部12内の各要素(後述の加算器など)はこの信号を基準として動作する。
【0039】
まず、上述の画素データ13が加算器16aに入力される。この加算器16aでは、入力した画素データ13に、これよりも前に入力した複数の画素データから算出された12ビットの誤差データが加算される。その結果、加算器16aからは13ビットのデータが出力される。
【0040】
この13ビットのデータは除算器17aに入力され、上位9ビットと下位4ビットに分割される。この下位4ビットが画素データ13の誤差Erである(図2参照)。
【0041】
除算器17aから出力した4ビットのデータ(誤差Er)は、誤差値変換器18に入力される。誤差値変換器18は、このデータを−7から+7までの何れかの値をもつ符号付3ビットのデータとして処理し、この値に基づいて、除算器17aから出力した9ビットのデータの最下位ビットに値「1」を加えるかどうかを決定する。
【0042】
具体的には、誤差値変換器18に入力した4ビットのデータにおいて上位1ビットの値が1の場合、即ち、誤差Erの値が−7から−1までの何れかであった場合、誤差値変換器18は、除算器17aから出力した9ビットのデータに値「1」を加えると判定し、この値を加算器16bに出力する。加算器16bは、除算器17aから出力した上位9ビットのデータにこの値「1」を加算し、この結果を除算器17bに出力する。一方、上記4ビットのデータにおいて上位1ビットの値が0の場合、即ち、誤差Erの値が0から7までの何れかであった場合、誤差値変換器18は除算器17aから出力した9ビットのデータに値「1」を加えないと判定する。加算器16bには、除算器17aから出力した9ビットのデータに加える値が入力されない(即ち、値は0)ので、除算器17aからのデータがそのまま除算器17bに出力される。このような誤差値変換器18の処理によって、除算器17aから出力した9ビットのデータの値と、除算される前の13ビットの各値は、9ビットのデータが取り得る各値の中の最も近い値に変換される。
【0043】
加算器16bから出力した9ビットのデータは、除算器17bに入力される。除算器17bは、このデータのうち、下位3ビットを切り捨て、上位6ビットを誤差拡散が施された階調変換装置10からの画素データ14として出力する。
【0044】
一方、誤差値変換器18から誤差Erとして出力された符号付3ビットのデータは、直接乗算器19aに、また、ディレイ20aを介して乗算器19b、19c、19dに入力する。各乗算器19a、19b、19c、19dには、記憶部11から、処理中のフレームに応じた上述の乗算係数テーブルにおける各画素A〜Dに対する乗算係数が別途入力される。なお、各乗算係数の値は、演算を容易にするために、上述した値を16倍にした整数を各乗算器19a、19b、19c、19dが入力され、各画素A〜Dからの誤差を蓄積した後に16分の1にする。例えば、誤差拡散の処理対象が第1のフレームF1の左目用画像L1或いは右目用画像R1の画像信号に対する誤差拡散の場合、乗算器19aには乗算係数k1(=7)が、乗算器19bには乗算係数k2(=3)が、乗算器19cには乗算係数k3(=5)が、各乗算器19dには乗算係数k4(=1)が入力される。また第2のフレームF2ならば、各乗算器19a、19b、19c、19dに入力される乗算係数はそれぞれ、k2(=3)、k1(=7)、k4(=1)、k3(=5)である。なお、ここでは、各乗算係数を16倍にして整数として扱い、後に演算結果の総和を16分の1にすることで、演算処理を容易にし、且つ、処理速度の低下を防止している。
【0045】
乗算器19aから出力されたデータは加算器16cに入力する。加算器16cには、1ラインディレイ21からの出力データ(後述)も入力されている。従って、これらのデータが加算され、その結果はディレイ20eを介して除算器17cに入力される。
【0046】
除算器17cでは、加算器16cからのデータの値を16分の1に圧縮する。具体的は、加算器16cから出力された12ビットのデータのうち、下位4ビットを切り捨て、上位8ビットを出力する。この上位8ビットのデータが加算器16aに入力され、その結果、12ビットの画素データ13に周囲の画素からの誤差が加算される。
【0047】
各乗算器19b、19c、19dから出力されたデータは、ディレイ20b、20c、20dを介して各加算器16f、16e、16dにそれぞれ入力される。加算器19b、19c、19dはディレイ20e(20f)を介して直列に接続されており、それぞれ異なる位置の画素の誤差を加算するにように構成されている。
【0048】
加算器20gから出力されたデータはディレイ20g、リミッタ22、1ラインディレイ21を介して、加算器16cに入力する。その後は上述の通り、乗算器19aからのデータに加算され、その結果は、ディレイ20eを介して除算器17cに入力される。なお、リミッタ(スイッチャ)22は、画像間での誤差拡散を防止するためのもので、一画像の演算処理を終え、次の画像の演算処理が始まるまでは、1ラインディレイ21へのデータの出力を停止し、且つ、それまでに累積された誤差をキャンセルする。また、1ラインディレイ21は、入力したデータの出力を、一画像上で1ライン分遅延させるものである。
【0049】
このように本実施形態の階調変換方法及び階調変換装置は、同一フレームの左目用と右目用の各画像に対しては同一の乗算係数による誤差拡散を行い、4フレームを1周期として、この乗算係数をフレーム毎に変化させている。つまり、誤差拡散のパターンをランダム化させることで、ドットパターンに代表される画質妨害の発生を認識されにくくするとともに、動きの少ない画像に対しても同様の効果を発揮することができる。
【0050】
また、従来の誤差拡散回路と比べ、本実施形態の階調変換装置は同程度に簡便であり、高フレームレートに対応する動作速度を得ることが可能である。
【0051】
(第2実施形態)
次に本発明の第2実施形態について説明する。図6は、本発明の第2実施形態に係る階調変換方法の概略フローチャートである。図7は、本発明の第2実施形態に係るディザパターン(後述)の一例である。図8は、本発明の第2実施形態に係る小画像Q(後述)を示す図である。図9は、本発明の第2実施形態に係る階調変換装置のブロック図である。
【0052】
第1実施形態では、組み合わせの異なる4種類の乗算係数の配列をフレームの更新に合わせて循環的に選択し、これを用いて同一フレームの左目用と右目用の各画像に対して誤差拡散を行う階調変換であった。
【0053】
第2実施形態ではさらに第1実施形態の誤差拡散に加えて、ディザパターンに基づいた画素信号(以下、画素データ)の値の端数処理を行う。より具体的には、同一フレームの左目用と右目用の各画像、又は、2D画像に対してフレーム固有の複数のディザパターンに基づく端数処理を行う。このディザパターンは、従来の組織的ディザで使用されているような、画素データを二値化するための閾値を定義する行列ではなく、階調変換の際に低階調化した画素データに、この端数処理によって生じた丸め誤差を補償するための付加係数を付与するかどうかを決定する行列(数表)である。なお、以下は特に断りのない限り、「ディザパターン」は本実施形態のディザパターンを意味するものとする。
【0054】
なお、第2実施形態の階調変換は、フレーム・レート・コントロール(Frame Rate Control)方式またはフレーム間引き方式とも呼ばれることのある階調変換に関するものである。
【0055】
以下、本実施形態の階調変換方法について、一画像を構成する各画素の12ビットデータ(以下、画素データ)31に対する演算を例に挙げて説明する。概略的には、まず、12ビットの画素データ31を、上位10ビットHと下位2ビットLに分離する。この下位2ビットL、画素データ31のフレーム番号F、画素データ31の座標の下位2ビットx及びyに応じて、上位10ビットHに付加係数Sを付与し、この値を出力画素データ32として出力する。付加係数Sの値は、本実施形態の階調変換が桁上げ操作であることを考慮して、通常は「0」又は「1」に設定される。即ち、図6に示すように、下位2ビットL、フレーム(フレーム番号)F、画素の座標値(下位2ビット)x及びyの組み合わせをディザアドレスTとして定義し、あらゆるディザアドレスに対して付加係数Sを予め設定しておく。画素データ31が実際に入力されたときには、これに対応するディザアドレスを選択し、このディザアドレスに対する付加係数Sを参照する。そして、参照した付加係数Sを画素データ31の上位10ビットに加算する。なお、ディザアドレスTに対する付加係数Sを、フレームF及び座標値x、y毎にまとめた行列がディザパターンPである。
【0056】
ディザパターンPを用いた説明に戻る。上述の通り、ディザパターンPは、画素データ31を低階調化する際に、付加係数Sを付与するかどうかを決定する行列である。このディザパターンPの一例を図7に示す。ディザパターンPは、付加係数Sを成分とする行列であり、図7に示すような正方行列である。ディザパターンPのサイズは、抽出する下位2ビットLが取り得る値の数に依存する。本実施形態では、下位ビットLのビット長が2であることから、ディザパターンPのサイズは4×4になる。
【0057】
1つの画像Jは、図8に示すように、ディザパターンPのサイズに等しい4×4の画素からなる小画像Qに区分され、この小画像Rにおける各画素データ31の座標(x,y)と、ディザパターンPの各付加係数Sの座標(X,Y)とが対応付けられる。即ち、1つの画像の各画素は、水平座標x、垂直座標yのそれぞれが0から3までの座標空間に割り当てられ、ディザパターンPにおいて、超画像Rの座標に等しい座標の付加係数Sが画素データ31の上位10ビットに付与される。
【0058】
上述の通り、ディザパターンPは、階調変換の際に低階調化した画素データに付加係数を付与するかどうかを定める行列である。この付与の確率は、入力された画素データ31の下位2ビットLの値に比例する。この条件を満たすため、ディザパターンPの各列及び各行における付加係数の数は互いに等しく、且つ、画素データ31の値に比例するように設定される。例えば、図7に示すように、画素データ31の下位2ビットLが取り得る値は0、1、2、3であることから、各行及び各列における付加係数Sの数は、これらの値と等しくなるように設定される。具体的には、各行及び各列における付加係数Sの数は、下位2ビットLの値が0である場合は0個、下位2ビットLの値が1である場合は1個、下位2ビットLの値が2である場合は2個、下位2ビットLの値が3である場合は3個に設定される。
【0059】
また、下位2ビットLの1つの値当たりのディザパターンPの総数は、下位ビットLが取り得る値の数に等しい。従って、下位2ビットLの値が1以上の場合であれば、各ディザパターンPにおける各列及び各行の付加係数Sの配列は、少なくとも隣接するものが互いに異なるように設定される。これにより、小画像Rにおける各画素データ31の下位2ビットLの値が同一の場合でも、付加係数Sが付与される画素を分散させることができる。下位2ビットLの値が0である場合は階調変換時に生じる誤差がないので、その画素データに付与される付加係数はない。この場合の、ディザパターンPにおける各付加係数Sの値は何れも0である。
【0060】
さらに、下位2ビットLの値が1以上の場合には、各値に対して、各行及び各列において付加係数Sの数が互いに等しく、且つ、その分布が異なる4種類のディザパターンPが予め設定され、それぞれにフレーム(フレーム番号)Fが対応する。従って、これらのディザパターンPのうちの1つを、フレームFの更新に合わせて循環的に、且つ、下位2ビットLの値に応じて選択する。下位2ビットLの値が0の場合は、上述の理由と同じく、フレームFの更新に関わりなく、各付加係数Sの値が何れも0であるディザパターンPが用いられる。
【0061】
その後、選択されたディザパターンP内の、入力した画素データ31に対応する付加係数Sを当該画素データの上位10ビットに付与し、その画素に対する階調変換処理は終了する。そして、このような付加係数の付与の処理を全ての画素データに対して行う。
【0062】
なお、上述の通り、ディザパターンPはフレームF毎に選択される。つまり、2D画像の表示では、1つのフレームに1つの画像のみが含まれるので、各画像に異なるフレーム番号Fが必然的に割り当てられ、各画像は、その画素データの下位2ビットが同一であったとしても、異なるディザパターンによる階調変換が行われる。一方、立体(3D)画像では、1つのフレームに左目用と右目用の2つの画像が含まれ、各画像は、その画素データの下位2ビットが同一であった場合は、同じディザパターンによる階調変換が行われる。
【0063】
これにより2D表示と立体(3D)表示における画像間の相関関係を考慮した、付加係数の付与が可能となり、高速処理を可能としながら、静止画と動画において良好な階調特性と目立たない誤差拡散ノイズを両立させることができる。
【0064】
次に、本実施形態の階調変換装置について説明する。
【0065】
図9は本実施形態の階調変換装置30を表すブロック図である。階調変換装置30には第1実施形態の階調変換装置10から出力された画素データ31が入力される。図9に示すように、階調変換装置30は、記憶部(第2の記憶部)33と、階調演算部(第2の階調演算部)34と、タイミングジェネレータ35と、除算器36とを備えている。記憶部33は、付加係数Sの分布が互いに異なる複数のディザパターンPを予め記憶しており(図7参照)、これらは階調演算部34による階調変換演算の際に、入力された画像信号のフレームに応じて適宜参照される。
【0066】
除算器36には、立体画像を構成する左目用と右目用の各画像(図1参照)の画像信号としての画像データ31が順次入力される。除算器36は入力された画素データ31から、下位2ビットLの値を階調演算部34に出力する。残りの上位10ビットHの値は、ディレイ37aを介して加算器38に入力し、上述の下位2ビットに基づいた階調演算部34による付加係数Sが加算され、この結果がディレイ37bを介して最終的な画素データ32として出力される。従って、本実施形態では、下位2ビットLが丸められた階調変換が実行される。
【0067】
階調演算部34には、立体画像を構成する左目用と右目用の各画像(図1参照)や、単に2D表示の画像の画像信号が画素データ31として順次入力される。上述の通り、この画素データ31は第1実施形態の階調変換装置10から出力されたものであり、誤差拡散が施されている。
【0068】
タイミングジェネレータ35には、垂直同期信号や水平同期信号などの同期信号39が入力されている。タイミングジェネレータ35は、これらの同期信号39に基づいてフレームカウンタ信号40、Xカウント信号41、Yカウント信号42を階調演算部34に出力する。
【0069】
フレームカウンタ信号40は、除算器36から出力された下位2ビットLのデータに対してフレーム番号Fを割り当てるために使用される。本実施形態では、4フレームでディザパターンPの変化が一巡することを考慮して、フレームカウンタ信号40のビット長を2に設定している。
【0070】
タイミングジェネレータ35は、立体画像の表示では、垂直同期信号の2周期毎にフレームカウンタ信号40の値をインクリメントさせ、通常の2D表示の場合は、垂直同期信号の1周期毎にフレームカウンタ信号40の値をインクリメントさせる。何れの場合も、出力値が3であったときの次の値は0に戻る。
【0071】
つまり、立体画像を表示する場合、フレーム番号Fの値は、同一フレームの左目用と右目用の各画像を処理する間は一定であり、これらの処理が終了して次のフレームの画像を処理する時点でインクリメントされる。一方、2D画像を表示する場合、1フレームには1つの画像しかないので、フレームが更新される度に、その画像にインクリメントしたフレーム番号Fを割り当てる。
【0072】
Xカウント信号41及びYカウント信号42は、画素データ31の下位2ビットLの値に対して、小画像Qの空間での座標(x,y)を定義する。この各座標値は、ディザパターンPにおける各座標値X、Yに対応する。なお、本実施形態では4×4のサイズの座標空間を想定しているので、各信号のビット長は2である。
【0073】
階調演算部34は、画素データ31の下位2ビットL、フレームカウンタ信号40、Xカウント信号41、Yカウント信号42に基づいて、記憶部33に記憶されている複数のディザパターンPの中から、当該画素データに対応する付加係数Sの値を特定する。そして、特定した付加係数Sを、ディレイ37cを介して加算器38に出力する。
【0074】
加算器38では、上述の通り、階調演算部34からの付加係数Sと、除算器36によって下位2ビットが除かれた上位画素データとが合算され、最終的な画素データ32として出力される。
【0075】
このように本実施形態の階調変換方法及び階調変換装置は、1つのフレームの画像に対して、その画素データの値、座標、及びフレームに基づいた付加係数を当該画素データに加算する階調変換を行う。また、同一座標においてフレーム毎に下位2ビットの値が同一であっても、付加係数の値は4フレームを1周期として変化する。つまり、付加係数のパターンをランダム化させることで、ドットパターンに代表される画質妨害の発生を認識されにくくするとともに、動きの少ない画像に対しても同様の効果を発揮することができる。
【0076】
また、本実施形態の階調変換装置は、予め設定されたディザパターンを用いて付加係数を付与するかどうかを決定するので、構成が非常に簡便であるとともに、高速な処理が可能である。従って、高フレームレートが要求される立体画像の表示などに適している。
【0077】
さらに、本実施形態では、第1実施形態の階調変換装置10により誤差拡散された画像を、階調変換装置30を用いてよりランダマイズ化している。従って、1つの画面上で空間的に拡散されたノイズを、時間的にも拡散させることが可能になる。
【符号の説明】
【0078】
10…階調変換装置(第1実施形態)、11…記憶部、12…階調演算部、15a〜15d…乗算係数テーブル、16a〜16f…加算器、17a〜17c…除算器、18…誤差値変換器、19a〜19d…乗算器、20a〜20g…ディレイ(1クロックディレイ)、21…ディレイ(1ラインディレイ)、22…リミッタ、30、…階調変換装置(第2実施形態)、33…記憶部、34…階調演算部、35…タイミングジェネレータ、36…除算器、38…加算器

【特許請求の範囲】
【請求項1】
同一フレームの左目用及び右目用の各画像に対して同一の配列の乗算係数に基づく誤差拡散を行い、
付加係数の分布が互いに異なる複数のディザパターンから前記フレームに応じたディザパターンを選択し、
選択したディザパターンに基づいて、誤差拡散が施された前記各画像の画素データに付加係数を付与する
立体画像の階調変換方法であって、
前記乗算係数の配列は前記フレームの更新に応じて変更され、且つこの一連の変更が所定数のフレームを一周期として繰り返され、
前記乗算係数の各配列における最大の乗算係数の位置及び隣接する乗算係数の順序は前記一周期内のフレーム毎に異なり、
前記ディザパターンは前記フレームの更新に応じて循環的に選択されることを特徴とする立体画像の階調変換方法。
【請求項2】
前記ディザパターンの各行および各列における付加係数の数は、互いに等しく、且つ、画素データの値に比例していることを特徴とする請求項1に記載の立体画像の階調変換方法。
【請求項3】
前記ディザパターンは、さらに所定のビット長をもつ前記画素データの下位ビット値に基づいて選択されることを特徴とする請求項2に記載の立体画像の階調変換方法。
【請求項4】
前記付加係数は前記画素データの上位ビットに付与されることを特徴とする請求項3に記載の立体画像の階調変換方法。
【請求項5】
前記下位ビット値あたりの前記ディザパターンの総数は、前記下位ビット値が取り得る値の数に等しいことを特徴とする請求項4に記載の立体画像の階調変換方法。
【請求項6】
乗算係数の配列が互いに異なる複数の乗算係数テーブルを記憶する第1の記憶部と、
前記複数の乗算係数テーブルからその1つをフレームに応じて循環的に選択するとともに、選択した乗算係数テーブルに基づいて同一フレームの左目用及び右目用の各画像に対する誤差拡散を行う第1の階調演算部と、
付加係数の分布が互いに異なる複数のディザパターンを記憶した第2の記憶部と、
前記複数のディザパターンから、第1の階調演算部からの出力画像のフレームに応じたディザパターンを選択し、選択したディザパターンに基づいて、前記誤差拡散が施された前記出力画像の画素データに付加係数を付与する第2の階調演算部と
を備え、
前記乗算係数の前記配列における最大の乗算係数の位置及び隣接する乗算係数の順序は、前記乗算係数テーブル毎に異なり、
前記第2の階調演算部において、前記ディザパターンは前記フレームに応じて循環的に選択されることを特徴とする立体画像の階調変換装置。
【請求項7】
前記ディザパターンの各行および各列における付加係数の数は、互いに等しく、且つ、画素データの値に比例していることを特徴とする請求項6に記載の立体画像の階調変換装置。
【請求項8】
前記ディザパターンは、さらに所定のビット長をもつ前記画素データの下位ビット値に基づいて選択されることを特徴とする請求項7に記載の立体画像の階調変換装置。
【請求項9】
前記付加係数は前記画素データの上位ビットに付与されることを特徴とする請求項8に記載の立体画像の階調変換装置。
【請求項10】
前記下位ビット値あたりの前記ディザパターンの総数は、前記下位ビット値が取り得る値の数に等しいことを特徴とする請求項9に記載の立体画像の階調変換装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−165256(P2012−165256A)
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【出願番号】特願2011−25064(P2011−25064)
【出願日】平成23年2月8日(2011.2.8)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】