画像処理装置、画像処理方法
【課題】 高周波成分が潰れること無く、表示諧調のダイナミックレンジをフルに使った表示を可能にすると共に、余計な擬似成分については表示しない技術を提供すること。
【解決手段】 低周波数成分で構成される第２の画像信号にＫを乗算して第３の画像信号を生成する（Ｓ１０３）。高周波数成分で構成される第１の画像信号に第３の画像信号を加算した第４の画像信号が予め定められた範囲内に収まる場合は第３の画像信号、収まらない部分が存在する場合は収まるように第３の画像信号を修正した画像信号を出力する（Ｓ１０７）。出力した画像信号と第１の画像信号との合成信号を生成する（Ｓ１０８）。第３の画像信号の修正量γを第３の画像信号に乗じて第５の画像信号を生成する（Ｓ１０７）。着目サブフレームとして合成信号、第５の画像信号の何れかを出力する（Ｓ１０９）。
【解決手段】 低周波数成分で構成される第２の画像信号にＫを乗算して第３の画像信号を生成する（Ｓ１０３）。高周波数成分で構成される第１の画像信号に第３の画像信号を加算した第４の画像信号が予め定められた範囲内に収まる場合は第３の画像信号、収まらない部分が存在する場合は収まるように第３の画像信号を修正した画像信号を出力する（Ｓ１０７）。出力した画像信号と第１の画像信号との合成信号を生成する（Ｓ１０８）。第３の画像信号の修正量γを第３の画像信号に乗じて第５の画像信号を生成する（Ｓ１０７）。着目サブフレームとして合成信号、第５の画像信号の何れかを出力する（Ｓ１０９）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理技術に関するものである。
【背景技術】
【０００２】
近年、ＴＶの受像機やＰＣの表示装置として液晶表示装置が使用されている。このような液晶表示装置は、薄型に形成できるため省スペースで、且つ省電力であるため幅広く用いられている。しかし、このような液晶表示装置は、動き映像に対する応答速度が遅いという問題を有している。そこで、この応答速度を改善するための液晶表示装置の駆動方法として、次に表示する画像データを以前の画像データと比較し、その比較結果に応じてオーバードライブ駆動を行う方法が提案されている（特許文献１）。
【０００３】
また、液晶表示装置の表示特性による動きぼけを改善する方法として、入力画像信号のフレーム周波数を倍にして黒挿入や中間画像挿入して駆動する方法が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１２６０５０号公報
【特許文献２】特開２００２−３５１３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、高周波成分の変化量が大きい場合、表示範囲を超えた値になる場合があり、表示が崩れたり、余分な映像が表示される等の障害が発生する。係る障害に対処するために、LPF定数変更などで対応した場合、動きボケ改善効果が減少（劣化）するという問題があった。
【０００６】
本発明は以上の問題に鑑みて成されたものであり、高周波成分が潰れること無く、表示諧調のダイナミックレンジをフルに使った表示を可能にすると共に、余計な擬似成分については表示しない技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【０００８】
即ち、フレーム毎に入力される画像信号を処理して出力する画像処理装置であって、
１つのフレームを複数のサブフレームに分割する分割手段と、
着目サブフレームの画像信号から、高周波数成分で構成される第１の画像信号と、低周波数成分で構成される第２の画像信号と、を取得する取得手段と、
前記第２の画像信号に対して０＜Ｋ＜１を満たす定数値Ｋを乗じることで第３の画像信号を生成する手段と、
前記第１の画像信号と前記第３の画像信号とを加算することで得られる第４の画像信号が予め定められた範囲内に収まるレベルである場合には前記第３の画像信号を出力し、前記第４の画像信号において前記範囲内に収まらない部分が存在する場合には当該部分が収まるように前記第３の画像信号を修正した画像信号を出力する処理手段と、
前記処理手段が出力した画像信号と前記第１の画像信号との合成信号を生成する手段と、
前記処理手段による前記第３の画像信号の修正量をγとした場合に、前記第３の画像信号に定数値（２−γ）を乗じることで第５の画像信号を生成する手段と、
前記着目サブフレームとして、前記合成信号、前記第５の画像信号の何れかを出力する出力手段と
を備えることを特徴とする。
【０００９】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１０】
即ち、フレーム毎に入力される画像信号を処理して出力する画像処理装置が行う画像処理方法であって、
１つのフレームを複数のサブフレームに分割する分割工程と、
着目サブフレームの画像信号から、高周波数成分で構成される第１の画像信号と、低周波数成分で構成される第２の画像信号と、を取得する取得工程と、
前記第２の画像信号に対して０＜Ｋ＜１を満たす定数値Ｋを乗じることで第３の画像信号を生成する工程と、
前記第１の画像信号と前記第３の画像信号とを加算することで得られる第４の画像信号が予め定められた範囲内に収まるレベルである場合には前記第３の画像信号を出力し、前記第４の画像信号において前記範囲内に収まらない部分が存在する場合には当該部分が収まるように前記第３の画像信号を修正した画像信号を出力する処理工程と、
前記処理工程で出力した画像信号と前記第１の画像信号との合成信号を生成する工程と、
前記処理工程による前記第３の画像信号の修正量をγとした場合に、前記第３の画像信号に定数値（２−γ）を乗じることで第５の画像信号を生成する工程と、
前記着目サブフレームとして、前記合成信号、前記第５の画像信号の何れかを出力する出力工程と
を備えることを特徴とする。
【発明の効果】
【００１１】
本発明の構成によれば、高周波成分が潰れること無く、表示諧調のダイナミックレンジをフルに使った表示を可能にすると共に、余計な擬似成分については表示しないようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】サブフレーム画像生成部１０３が着目サブフレームに対して行う処理のフローチャートである。
【図２】本発明の第１の実施形態に係る画像処理装置を適用した投射型表示装置、特にエンジン部Ｄ１の構成例を示す図である。
【図３】本発明の第１の実施形態に係る画像処理装置を適用した投射型表示装置２００のハードウェア構成例を示すブロック図である。
【図４】サブフレーム画像生成部１０３の機能構成例を示すブロック図である。
【図５（ａ）】ＬＰＦ４０２により分離された低周波数成分と高周波数成分との関係を示す図である。
【図５（ｂ）】低周波数成分と、加算器４０８の出力と、との関係を示す図である。
【図５（ｃ）】Ｄレンジを超えた部分６８０，６９０を除去すべく、低周波数成分を操作する処理を説明する図である。
【図５（ｄ）】処理された低周波数成分に高周波数成分を加算した結果を示す図である。
【図６】本発明の第２の実施形態に係るサブフレーム画像生成部１０３の機能構成例を示すブロック図である。
【図７】本発明の第３の実施形態に係るサブフレーム画像生成部１０３の機能構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１４】
［第１の実施形態］
図２は、本実施形態に係る画像処理装置を適用した投射型表示装置、特にエンジン部Ｄ１の構成例を示す図である。光変調素子としての、Ｒ，Ｇ，Ｂのそれぞれに対応する液晶パネル２Ｒ，２Ｇ，２Ｂは、クロスプリズム７に対向する位置に配置されている。本実施形態では、液晶パネル２Ｒ，２Ｇ，２Ｂとして、ＴＦＴを用いて駆動するＴＮ液晶パネルを用いている。また、各液晶パネル２Ｒ，２Ｇ，２Ｂを挟み込むように、その両側には偏光板８をそれぞれ配置し、クロスプリズム７の光出射側には投射レンズ９やスクリーン（被投射部材）６を配置している。
【００１５】
放物型のリフレクタ１０は、ランプ（光源）１を囲むように配置され、ランプ１からの出射光Ｌ１が平行光束Ｌ２に変換されるように構成されている。このリフレクタ１０は、放物型でなくても良く、例えば、楕円型であっても良い。この場合、このリフレクタ１０は、ランプ１からの出射光Ｌ１を集光光束に変換することになる。
【００１６】
ランプ１には、メタルハライドランプやキセノンランプ等を用いることができる。また、はえの目インテグレータ４０，４１は、ランプ１から出射された光の光路上で、液晶パネル２Ｒ，２Ｇ，２Ｂと共役な関係となるように配置され、光源の不均一性を改善している。
【００１７】
はえの目インテグレータ４０，４１の光出射側には順に、リレーレンズ１１、ミラー１２を配置している。さらに後段では、２枚のダイクロミラー１３，１４を配置しており、ランプ１からの出射光を３つに分岐させ、リレーレンズ１５やミラー１６，１７，１８を配置することで、この分岐したそれぞれの出射光を液晶パネル２Ｒ，２Ｇ，２Ｂに導くようにしている。尚、１９はフィールドレンズを示す。なお、図３に示す如く、液晶パネル２Ｒ，２Ｇ，２Ｂには、図３に示す構成例を有する映像信号処理装置３が接続されている。
【００１８】
図３は、本実施形態に係る画像処理装置を適用した投射型表示装置２００のハードウェア構成例を示すブロック図である。映像信号処理装置３において、スイッチ３０は、端子５０を介してＰＣ（パーソナルコンピュータ）から入力される映像信号、端子５１から入力されるＡＶ信号、のうち何れか１つを選択し、選択した方の信号を後段のＡ／Ｄ変換器３１に出力している。ＡＶ信号には、ＮＴＳＣ等の各種の規格の信号や、一般のテレビ放送番組の映像信号が含まれる。更には、媒体に映像信号の録画を行う録画装置（ビデオデッキ、ＤＶＤレコーダ、ＨＤＤレコーダ）或いは媒体に録画された映像信号を再生する再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ等）等から得られる映像信号も、このＡＶ信号に含まれる。
【００１９】
信号処理回路５２は、端子５１から入力されるＡＶ信号に対して、ＡＶ信号のデコード、ノイズ低減処理、帯域制限フィルタリング及び信号レベル調節等の信号処理を行う。Ａ／Ｄ変換器３１は、スイッチ３０から出力された映像信号（画像信号）であるアナログ画像信号をデジタル画像信号に変換する。そしてＡ／Ｄ変換器３１は、この変換したデジタル画像信号を、後段のＤＳＰ（Digital Signal Processor）３２に送出する。
【００２０】
ＤＳＰ３２は、Ａ／Ｄ変換器３１から受けたデジタル画像信号に対して所定の信号処理を実行し、その実行結果をフレームレート変換部１０１へ出力する。この所定の信号処理には、例えば、コントラスト調整、ブライト調整や色変換、解像度変換等の画像処理が含まれる。
【００２１】
フレームレート変換部１０１は、ＤＳＰ３２から入力されたデジタル画像信号のフレームレートの変換を行う。メモリ３３には、現在のフレームにおける画像のデータと、次のフレームにおける画像のデータと、が保存されている。もちろん、メモリ３３には、これ以外の必要な情報を適宜保存しても良い。
【００２２】
ＴＧ（タイミング発生回路）３４は、投射型表示装置２００を構成する各部への動作タイミングを規定するタイミング信号を出力する。サブフレーム画像生成部１０３は、フレームレート変換部１０１から出力されたデジタル画像信号に対して、動画ぼけなどの動画特性を改善するための処理を行う。極性反転部１０６は、サブフレーム画像生成部１０３により処理済みのデジタル画像信号の極性を反転させる。Ｄ／Ａ変換器３５は、極性反転部１０６により極性が反転されたデジタル画像信号をアナログ画像信号に変換し、変換したアナログ画像信号をパネルドライバ３６に出力する。
【００２３】
パネルドライバ３６は、このアナログ画像信号のうちＲ成分の信号については液晶パネル２Ｒに送出し、Ｇ成分の信号については液晶パネル２Ｇに送出し、Ｂ成分の信号については液晶パネル２Ｂに送出する。また、パネルドライバ３６は、それぞれの液晶パネル２Ｒ、２Ｇ、２Ｂに対して電源も供給する。なお、これ以外にも、ＬＶＤＳ，ＴＭＤＳ等のデジタル信号用入力端子や、デジタルＴＶ用Ｄ４端子等を投射型表示装置２００に設けても有効であることは言うまでもない。バラスト５７は、ランプ１に接続されるランプ用の電源である。５８はシステム電源、６０はＡＣインレットを示す。
【００２４】
リモコン６１は、投射型表示装置２００に対して様々な指示を行うためにユーザが操作するものである。制御パネル６２は、リモコン６１から送出された指示信号を受け、これをデコードしてＣＰＵ６３に通知する。明るさ調整ＳＷ（スイッチ）検出部１０９は、明るさ調整ＳＷ（スイッチ）２０４の動作を検出する。
【００２５】
ＣＰＵ６３は、ＲＯＭ６４やＲＡＭ６５に格納されてるコンピュータプログラムやデータを用いて本装置全体の制御を行う。ＲＯＭ６４には、本装置の設定データや、既知の情報として説明されるものなどを格納する。なお、映像信号処理装置３を構成しているものとして上述した各部のうち、一部をコンピュータプログラムで実装する場合には、このコンピュータプログラムはこのＲＯＭ６４に格納され、ＣＰＵ６３により実行されることになる。
【００２６】
ＲＡＭ６５は、ＵＳＢ Ｉ／Ｆ１０７を介して外部から受信したデータを一時的に記憶するためのエリアや、ＣＰＵ６３が用いるワークエリアなどを有する。１２１は端子で、外部からの様々な情報（ＵＳＢ出力）を入力するための端子である。ＵＳＢ Ｉ／Ｆ１０７は、端子１２１を介して入力された情報を受け付けるためのＩ／Ｆとして機能する。
【００２７】
次に、フレームレート変換部１０１の動作についてより詳細に説明する。
【００２８】
フレームレート変換部１０１は、１つのフレームの画像信号を、Ｎ（Ｎ≧２：Ｎは整数）個のサブフレームの画像信号に分割する処理を行う。これにより、フレームレートもＮ倍となる。本実施形態では、Ｎが２の場合について説明する。例えば、垂直周波数６０Ｈｚの入力画像信号を、２倍の垂直周波数１２０Ｈｚのフレームレートに変換する場合について説明する。その際、入力された少なくとも１画面以上の入力画像がメモリ３３に記憶され、メモリ３３からの入力画像のデータの読出速度を変えることにより、入力画像信号とは異なるフレームレートの画像信号に変換することが可能となる。
【００２９】
次に、サブフレーム画像生成部１０３の動作についてより詳細に説明する。図４は、サブフレーム画像生成部１０３の機能構成例を示すブロック図である。サブフレーム画像生成部１０３には、１つのフレームを構成する各サブフレームが順次入力され、処理され、出力される。
【００３０】
フレームレート変換部１０１から出力された着目サブフレームの画像信号は、端子４０１を介して減算器４０７、ＬＰＦ（ローパスフィルタ）４０２に入力される。ここで、この画像信号は高周波数成分（Ｈ）と低周波数成分（Ｌ）とで構成されているので、図４には、端子４０１を介して入力された画像信号は、Ｈ＋Ｌと表記している。
【００３１】
ＬＰＦ４０２は、入力された画像信号（Ｈ＋Ｌ）の高周波数成分をカットすることで、低周波数成分で構成されている画像信号Ｌ（第２の画像信号）を出力する。画像信号Ｌは、減算器４０７と係数器４０３とに入力される。
【００３２】
減算器４０７は、端子４０１を介して入力された画像信号（Ｈ＋Ｌ）から、低周波数成分を減ずる、即ち、画像信号Ｌを減ずることで、高周波数成分で構成されている画像信号Ｈ（第１の画像信号）を出力する。
【００３３】
係数器４０３は、画像信号Ｌに対して、係数Ｋ（０＜Ｋ＜１を満たす定数値Ｋ）を乗じることで、画像信号ＫＬ（第３の画像信号）を生成し、出力する。本実施形態では、サブフィールドの数を２とするので、その逆数である１／２をＫとして用いる。従って、第３の画像信号は、画像信号Ｌ／２と表記する。これは、本実施形態では、２枚のサブフレームに対して、低周波数成分を１／２づつ表示するためである。
【００３４】
次に、加算器４０８は、係数器４０３からの出力である画像信号Ｌ／２と、減算器４０７からの出力である画像信号Ｈとを加算することで、画像信号（Ｈ＋Ｌ／２）を生成し、これを第４の画像信号として出力する。しかし、低周波数成分から成る画像信号Ｌ／２に高周波数成分から成る画像信号Ｈを加算すると、予め定められた表示範囲（Ｄレンジ）を超えた部分が発生する可能性がある。この部分は表示することができないため、高周波数成分は潰れて歪んで表示されることになり、画像品位を大きく低下させる。
【００３５】
そこで、本実施形態では、表示範囲（一般的に言えば、画像信号の出力先としての機器が表現可能な映像信号レベルの範囲（Ｄレンジ））を越えた部分が除去されるように、画像信号Ｌ／２を処理する。
【００３６】
表示範囲オーバー検出部４０９は、画像信号（Ｈ＋Ｌ／２）を加算器４０８から受けると、この画像信号（Ｈ＋Ｌ／２）において、Ｄレンジを越えた部分がある（存在する）か否かをチェックし、ある場合には、その旨を後段の階調制御部４１０に通知する。
【００３７】
階調制御部４１０は、画像信号Ｌ／２を係数器４０３から受けると、Ｄレンジを超えた部分が除去されるような係数γ（修正量）を画像信号Ｌ／２に対して乗じることで、この画像信号Ｌ／２の階調を制御し、制御後の画像信号（Ｌ／２×γ）を出力する。なお、画像信号（Ｈ＋Ｌ／２）において、Ｄレンジを越えた部分がない（表示範囲内に収まる）と表示範囲オーバー検出部４０９が判断した場合には、その旨を階調制御部４１０に通知する。従って階調制御部４１０は、係数器４０３から受けた画像信号Ｌ／２をそのまま出力する（この場合、γ＝１）。
【００３８】
また、階調制御部４０４は、画像信号Ｌ／２を係数器４０３から受けると、画像信号Ｌ／２に対して係数（２−γ）を乗じることで、この画像信号Ｌ／２の階調を制御し、制御後の画像信号（Ｌ／２×（２−γ））を、第５の画像信号として出力する。
【００３９】
加算器４１１は、減算器４０７からの出力である画像信号Ｈと、階調制御部４１０からの出力である画像信号（画像信号（Ｌ／２×γ）若しくは画像信号Ｌ／２）と、を加算することで、画像信号（Ｈ＋Ｌ／２×γ）を合成信号として生成し、出力する。
【００４０】
セレクタ４０５には、加算器４１１からの画像信号（Ｈ＋Ｌ／２×γ）と、階調制御部４０４からの画像信号（Ｌ／２×（２−γ））とが入力される。セレクタ４０５は、サブフレーム毎にこれらを交互に出力する。例えば、着目フレームが第１サブフレーム、第２サブフレーム、第３サブフレーム、、、を有しているとする。この場合、第１サブフレームの画像信号が端子４０１に入力されると、セレクタ４０５は、画像信号（Ｈ＋Ｌ／２×γ）を、第１サブフレームを再生するための画像信号として選択し、出力する。続いて、第２サブフレームの画像信号が端子４０１に入力されると、セレクタ４０５は、画像信号（Ｌ／２×（２−γ））を、第２サブフレームを再生するための画像信号として選択し、出力する。続いて、第３サブフレームの画像信号が端子４０１に入力されると、セレクタ４０５は、画像信号（Ｈ＋Ｌ／２×γ）を、第３サブフレームを再生するための画像信号として選択し、出力する。このように、セレクタ４０５は、サブフレーム毎にこれらを交互に選択し、出力する。セレクタ４０５からの出力は、端子４０６を介して後段の極性反転部１０６に送出される。
【００４１】
次に、表示範囲オーバー検出部４０９、階調制御部４１０の動作について、図５（ａ）〜（ｄ）を用いて、より詳細に説明する。図５（ａ）〜（ｄ）において、横軸は、着目画素の低周波数成分レベル（Ｌ）を示しており、縦軸は、低周波数成分（Ｌ）と高周波数成分（Ｈ）とを加算した結果（即ち加算器４１１又は加算器４０８からの出力）を示す。画像の低周波数成分には、画素毎に高周波数成分が加算される量が異なる。
【００４２】
図５（ａ）は、ＬＰＦ４０２により分離された低周波数成分と高周波数成分との関係を示す図である。図５（ａ）において、５０１は、低周波数成分のレベルを示し、５０２、５０３、５０４は、低周波数成分に重畳される高周波数成分を示している。ここで、低周波数成分に上乗せされる高周波数成分の量は、表示画像に応じて画素毎に異なる。
【００４３】
図５（ｂ）は、低周波数成分と、加算器４０８の出力と、との関係を示す図である。図５（ｂ）に示す如く、Ｌ／２にＨを加算することにより、表示範囲（Ｄレンジ）を超えた部分６８０、６９０（斜線で示している部分）が発生している。上述の通り、この部分は表示することができないため、高周波成分が潰れて歪んだ画像となってしまい、画像品位を大きく低下させる。本実施形態は、この部分６８０，６９０を除去することを目的の１つとしている。
【００４４】
図５（ｃ）は、Ｄレンジを超えた部分６８０，６９０を除去すべく、低周波数成分を操作する処理を説明する図である。係る処理により、画像劣化を改善する。より具体的には、部分６８０を含む高周波数成分を重ねる低周波数成分に７０２に示す量だけバイアスを加える（γを掛け合わせる）。これにより、部分６８０を含む高周波数成分を重ねる低周波数成分における階調変換特性６０１を７０２に示す量（＝６０２に示す量）だけ上昇させる。同様に、部分６９０を含む高周波数成分を重ねる低周波数成分に７０３に示す量だけバイアスを加える（γを掛け合わせる）。これにより、部分６９０を含む高周波数成分を重ねる低周波数成分における階調変換特性６０１を７０３に示す量（＝６０３に示す量）だけ上昇させる。これらの処理により、階調変換特性７０１を得る。これにより、部分６８０、部分６８０は除去される。
【００４５】
図５（ｄ）は、このようにして処理された低周波数成分に高周波数成分を加算した結果を示す図である。８０２，８０３に示す如く、Ｄレンジを超えた部分は除去されている。従って、高周波成分は潰れて歪むことなく、Ｄレンジの範囲内に収めることが可能となった。ここで、階調変換特性は、階調間がなめらかな変化となる様にフィルタ処理してもよい。また、階調変換を行うための構成は、メモリを用いたＬＵＴ（ルックアップテーブル）で構成してもよいし、関数演算を行う回路を用いてもよい。また、ディレイ回路などを用いて、演算のタイミングを合わせることにより、表示範囲を超えた画像に対してリアルタイムでの処理が可能となる。
【００４６】
例えば、１フレーム遅れて反映すると、静止画の場合は問題ないが、動画の場合は表示範囲を超えた画素と演算結果を反映する画像に、表示位置のずれが生じるという問題が発生する。
【００４７】
以上の説明により、本実施形態によれば、表示装置において、動画ぼけなどの動画特性の改善を行う場合においても、高周波成分が潰れることが無く、表示階調のダイナミックレンジをフルに使った表示が可能になる。更に、余計な擬似成分が表示されることもなくなり、画質劣化を伴うことなく、動画特性の改善を向上させることができる。
【００４８】
図１は、サブフレーム画像生成部１０３が着目サブフレームに対して行う処理のフローチャートである。従って、実際には、サブフレーム画像生成部１０３は、各サブフレームの画像信号に対して図１に示したフローチャートに従った処理を行うことになる。
【００４９】
先ず、ステップＳ１０１では、ＬＰＦ４０２は、入力された画像信号（Ｈ＋Ｌ）の高周波数成分をカットすることで、低周波数成分で構成されている画像信号Ｌを出力する。画像信号Ｌは、減算器４０７と係数器４０３とに入力される。
【００５０】
次に、ステップＳ１０２では、減算器４０７は、端子４０１を介して入力された画像信号（Ｈ＋Ｌ）から、低周波数成分を減ずる、即ち、画像信号Ｌを減ずることで、高周波数成分で構成されている画像信号Ｈを出力する。次に、ステップＳ１０３では、係数器４０３は、画像信号Ｌに対して、定数値としての係数１／２を乗じることで、画像信号Ｌ／２を生成し、出力する。
【００５１】
次に、ステップＳ１０４では、加算器４０８は、係数器４０３からの出力である画像信号Ｌ／２と、減算器４０７からの出力である画像信号Ｈとを加算することで、画像信号（Ｈ＋Ｌ／２）を生成し、出力する。
【００５２】
次に、ステップＳ１０５では、表示範囲オーバー検出部４０９は、画像信号（Ｈ＋Ｌ／２）を加算器４０８から受けると、この画像信号（Ｈ＋Ｌ／２）において、Ｄレンジを越えた部分があるか否かをチェックする。そして、Ｄレンジを超えた部分がある場合には、処理をステップＳ１０７に進め、Ｄレンジを超えた部分がない場合には、処理をステップＳ１０６に進める。
【００５３】
ステップＳ１０６では、階調制御部４１０、４０４はγに１を設定する。次に、ステップＳ１０７では、階調制御部４１０は、画像信号Ｌ／２を係数器４０３から受けると、係数γを画像信号Ｌ／２に対して乗じることで、画像信号（Ｌ／２×γ）を生成し、出力する。また、階調制御部４０４は、画像信号Ｌ／２を係数器４０３から受けると、画像信号Ｌ／２に対して係数（２−γ）を乗じることで、画像信号（Ｌ／２×（２−γ））を生成し、出力する。
【００５４】
次に、ステップＳ１０８では、加算器４１１は、減算器４０７からの出力である画像信号Ｈと、階調制御部４１０からの出力である画像信号（Ｌ／２×γ）と、を加算することで、画像信号（Ｈ＋Ｌ／２×γ）を生成し、出力する。
【００５５】
次に、ステップＳ１０９では、セレクタ４０５は、加算器４１１からの画像信号（Ｈ＋Ｌ／２×γ）と、階調制御部４０４からの画像信号（Ｌ／２×（２−γ））と、のうち何れか一方を出力する。
【００５６】
本実施形態では、Ｎ個のサブフレームに分割した際に、高周波（Ｈ）成分画像をＮ個のサブフレームの内の１つに表示し、Ｎ個のサブフレームの各々に低周波（Ｌ）成分画像を１／Ｋずつ分割して表示する例について説明した。しかしそれに限るものではなく、Ｈ成分をＫ倍、Ｌ成分を１倍で表示してもよく、Ｈ成分とＬ成分の比が所望の条件（Ｈ：Ｌ＝Ｋ：１）を満たせばよい。
【００５７】
［第２の実施形態］
本実施形態では、画像の表示領域を複数の部分領域に分割し、それぞれの部分領域について第１の実施形態で説明した処理を行う。図６は、本実施形態に係るサブフレーム画像生成部１０３の機能構成例を示すブロック図である。図６において図４と同じ構成要素については同じ参照番号を付けており、その説明は省略する。
【００５８】
表示領域判別部９０１では、ＨＤ、ＶＤの同期信号と画素クロックＣＬＫをカウントし、表示画面内の領域を判定する。表示範囲オーバー検出部４０９が検出したＤレンジオーバー量（Ｄレンジを超えた量）を領域毎に、領域補正値記憶部９０２に格納する。領域間補間演算部９０３は、着目画素の表示位置を含む領域に対応する階調変換特性を用いて補正する。
【００５９】
補間の際には、着目画素の低周波数成分値に対する周辺４領域の補正値を取得し、領域内の表示位置に応じて補間して使用する。補間方法は線形補間、キュービック補間、スプライン法など、を用いることが可能である。
【００６０】
本実施形態では、領域毎に階調制御を行うことが可能となるため、領域毎に黒レベルや白レベルを最適に制御することが可能となる。そのため、表示画面内での表示範囲（ダイナミックレンジ）を有効に用いることが可能となり、コントラスト感のあるメリハリのある画像を表示することが可能となる。
【００６１】
［第３の実施形態］
本実施形態では、表示範囲オーバー検出部４０９が検出したＤレンジオーバー量を、表示範囲オーバー量調整部１００１が調整することにより、表示画像の絵作りに応じたＤレンジオーバー量の調整が可能となり、好みに応じた画質制御が可能となる。
【００６２】
図７は、本実施形態に係るサブフレーム画像生成部１０３の機能構成例を示すブロック図である。図７において図４と同じ構成要素については同じ参照番号を付けており、その説明は省略する。表示範囲オーバー検出部４０９が検出したＤレンジオーバー量Ａに対して、表示範囲オーバー量調整部１００１は、次式に基づく処理を行い、Ｄレンジオーバー量Ｃを得る。
【００６３】
Ｄレンジオーバー量Ｃ＝Ｄレンジオーバー量Ａ−調整量Ｂ
そして表示範囲オーバー量調整部１００１は、このＤレンジオーバー量Ｃを表示範囲オーバー検出部４０９に再度送出するので、表示範囲オーバー検出部４０９は、このＤレンジオーバー量ＣがＤレンジを越えているか否かをチェックする。これにより、Ｄレンジオーバー量を検出する範囲に幅を持たせることが可能となる。もちろん、これ以降の処理では、このＤレンジオーバー量Ｃが用いられる。
【００６４】
例えば、絵作りで、階調を積極的に潰す場合がある。この場合は、表示範囲を超えた部分をある程度犠牲にしてもよい。必ずしも全ての階調を表示する必要がないからである。この場合、調整量Ｂは、ＤＳＰ３２により画像の輝度情報（分布、平均、最大、最小）等を元に演算処理され決定される。
【００６５】
本実施形態によれば、Ｄレンジオーバー量を検出する範囲に幅を持たせて制御することが可能となるため、好みに応じた絵作りが可能となる。また、Ｄレンジオーバー量に応じて圧縮率を変えることにより、白潰れ／黒潰れの様に、画像を飽和されることなく、階調制御を行うことも可能である。
【技術分野】
【０００１】
本発明は、動画像処理技術に関するものである。
【背景技術】
【０００２】
近年、ＴＶの受像機やＰＣの表示装置として液晶表示装置が使用されている。このような液晶表示装置は、薄型に形成できるため省スペースで、且つ省電力であるため幅広く用いられている。しかし、このような液晶表示装置は、動き映像に対する応答速度が遅いという問題を有している。そこで、この応答速度を改善するための液晶表示装置の駆動方法として、次に表示する画像データを以前の画像データと比較し、その比較結果に応じてオーバードライブ駆動を行う方法が提案されている（特許文献１）。
【０００３】
また、液晶表示装置の表示特性による動きぼけを改善する方法として、入力画像信号のフレーム周波数を倍にして黒挿入や中間画像挿入して駆動する方法が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１２６０５０号公報
【特許文献２】特開２００２−３５１３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、高周波成分の変化量が大きい場合、表示範囲を超えた値になる場合があり、表示が崩れたり、余分な映像が表示される等の障害が発生する。係る障害に対処するために、LPF定数変更などで対応した場合、動きボケ改善効果が減少（劣化）するという問題があった。
【０００６】
本発明は以上の問題に鑑みて成されたものであり、高周波成分が潰れること無く、表示諧調のダイナミックレンジをフルに使った表示を可能にすると共に、余計な擬似成分については表示しない技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【０００８】
即ち、フレーム毎に入力される画像信号を処理して出力する画像処理装置であって、
１つのフレームを複数のサブフレームに分割する分割手段と、
着目サブフレームの画像信号から、高周波数成分で構成される第１の画像信号と、低周波数成分で構成される第２の画像信号と、を取得する取得手段と、
前記第２の画像信号に対して０＜Ｋ＜１を満たす定数値Ｋを乗じることで第３の画像信号を生成する手段と、
前記第１の画像信号と前記第３の画像信号とを加算することで得られる第４の画像信号が予め定められた範囲内に収まるレベルである場合には前記第３の画像信号を出力し、前記第４の画像信号において前記範囲内に収まらない部分が存在する場合には当該部分が収まるように前記第３の画像信号を修正した画像信号を出力する処理手段と、
前記処理手段が出力した画像信号と前記第１の画像信号との合成信号を生成する手段と、
前記処理手段による前記第３の画像信号の修正量をγとした場合に、前記第３の画像信号に定数値（２−γ）を乗じることで第５の画像信号を生成する手段と、
前記着目サブフレームとして、前記合成信号、前記第５の画像信号の何れかを出力する出力手段と
を備えることを特徴とする。
【０００９】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１０】
即ち、フレーム毎に入力される画像信号を処理して出力する画像処理装置が行う画像処理方法であって、
１つのフレームを複数のサブフレームに分割する分割工程と、
着目サブフレームの画像信号から、高周波数成分で構成される第１の画像信号と、低周波数成分で構成される第２の画像信号と、を取得する取得工程と、
前記第２の画像信号に対して０＜Ｋ＜１を満たす定数値Ｋを乗じることで第３の画像信号を生成する工程と、
前記第１の画像信号と前記第３の画像信号とを加算することで得られる第４の画像信号が予め定められた範囲内に収まるレベルである場合には前記第３の画像信号を出力し、前記第４の画像信号において前記範囲内に収まらない部分が存在する場合には当該部分が収まるように前記第３の画像信号を修正した画像信号を出力する処理工程と、
前記処理工程で出力した画像信号と前記第１の画像信号との合成信号を生成する工程と、
前記処理工程による前記第３の画像信号の修正量をγとした場合に、前記第３の画像信号に定数値（２−γ）を乗じることで第５の画像信号を生成する工程と、
前記着目サブフレームとして、前記合成信号、前記第５の画像信号の何れかを出力する出力工程と
を備えることを特徴とする。
【発明の効果】
【００１１】
本発明の構成によれば、高周波成分が潰れること無く、表示諧調のダイナミックレンジをフルに使った表示を可能にすると共に、余計な擬似成分については表示しないようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】サブフレーム画像生成部１０３が着目サブフレームに対して行う処理のフローチャートである。
【図２】本発明の第１の実施形態に係る画像処理装置を適用した投射型表示装置、特にエンジン部Ｄ１の構成例を示す図である。
【図３】本発明の第１の実施形態に係る画像処理装置を適用した投射型表示装置２００のハードウェア構成例を示すブロック図である。
【図４】サブフレーム画像生成部１０３の機能構成例を示すブロック図である。
【図５（ａ）】ＬＰＦ４０２により分離された低周波数成分と高周波数成分との関係を示す図である。
【図５（ｂ）】低周波数成分と、加算器４０８の出力と、との関係を示す図である。
【図５（ｃ）】Ｄレンジを超えた部分６８０，６９０を除去すべく、低周波数成分を操作する処理を説明する図である。
【図５（ｄ）】処理された低周波数成分に高周波数成分を加算した結果を示す図である。
【図６】本発明の第２の実施形態に係るサブフレーム画像生成部１０３の機能構成例を示すブロック図である。
【図７】本発明の第３の実施形態に係るサブフレーム画像生成部１０３の機能構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１４】
［第１の実施形態］
図２は、本実施形態に係る画像処理装置を適用した投射型表示装置、特にエンジン部Ｄ１の構成例を示す図である。光変調素子としての、Ｒ，Ｇ，Ｂのそれぞれに対応する液晶パネル２Ｒ，２Ｇ，２Ｂは、クロスプリズム７に対向する位置に配置されている。本実施形態では、液晶パネル２Ｒ，２Ｇ，２Ｂとして、ＴＦＴを用いて駆動するＴＮ液晶パネルを用いている。また、各液晶パネル２Ｒ，２Ｇ，２Ｂを挟み込むように、その両側には偏光板８をそれぞれ配置し、クロスプリズム７の光出射側には投射レンズ９やスクリーン（被投射部材）６を配置している。
【００１５】
放物型のリフレクタ１０は、ランプ（光源）１を囲むように配置され、ランプ１からの出射光Ｌ１が平行光束Ｌ２に変換されるように構成されている。このリフレクタ１０は、放物型でなくても良く、例えば、楕円型であっても良い。この場合、このリフレクタ１０は、ランプ１からの出射光Ｌ１を集光光束に変換することになる。
【００１６】
ランプ１には、メタルハライドランプやキセノンランプ等を用いることができる。また、はえの目インテグレータ４０，４１は、ランプ１から出射された光の光路上で、液晶パネル２Ｒ，２Ｇ，２Ｂと共役な関係となるように配置され、光源の不均一性を改善している。
【００１７】
はえの目インテグレータ４０，４１の光出射側には順に、リレーレンズ１１、ミラー１２を配置している。さらに後段では、２枚のダイクロミラー１３，１４を配置しており、ランプ１からの出射光を３つに分岐させ、リレーレンズ１５やミラー１６，１７，１８を配置することで、この分岐したそれぞれの出射光を液晶パネル２Ｒ，２Ｇ，２Ｂに導くようにしている。尚、１９はフィールドレンズを示す。なお、図３に示す如く、液晶パネル２Ｒ，２Ｇ，２Ｂには、図３に示す構成例を有する映像信号処理装置３が接続されている。
【００１８】
図３は、本実施形態に係る画像処理装置を適用した投射型表示装置２００のハードウェア構成例を示すブロック図である。映像信号処理装置３において、スイッチ３０は、端子５０を介してＰＣ（パーソナルコンピュータ）から入力される映像信号、端子５１から入力されるＡＶ信号、のうち何れか１つを選択し、選択した方の信号を後段のＡ／Ｄ変換器３１に出力している。ＡＶ信号には、ＮＴＳＣ等の各種の規格の信号や、一般のテレビ放送番組の映像信号が含まれる。更には、媒体に映像信号の録画を行う録画装置（ビデオデッキ、ＤＶＤレコーダ、ＨＤＤレコーダ）或いは媒体に録画された映像信号を再生する再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ等）等から得られる映像信号も、このＡＶ信号に含まれる。
【００１９】
信号処理回路５２は、端子５１から入力されるＡＶ信号に対して、ＡＶ信号のデコード、ノイズ低減処理、帯域制限フィルタリング及び信号レベル調節等の信号処理を行う。Ａ／Ｄ変換器３１は、スイッチ３０から出力された映像信号（画像信号）であるアナログ画像信号をデジタル画像信号に変換する。そしてＡ／Ｄ変換器３１は、この変換したデジタル画像信号を、後段のＤＳＰ（Digital Signal Processor）３２に送出する。
【００２０】
ＤＳＰ３２は、Ａ／Ｄ変換器３１から受けたデジタル画像信号に対して所定の信号処理を実行し、その実行結果をフレームレート変換部１０１へ出力する。この所定の信号処理には、例えば、コントラスト調整、ブライト調整や色変換、解像度変換等の画像処理が含まれる。
【００２１】
フレームレート変換部１０１は、ＤＳＰ３２から入力されたデジタル画像信号のフレームレートの変換を行う。メモリ３３には、現在のフレームにおける画像のデータと、次のフレームにおける画像のデータと、が保存されている。もちろん、メモリ３３には、これ以外の必要な情報を適宜保存しても良い。
【００２２】
ＴＧ（タイミング発生回路）３４は、投射型表示装置２００を構成する各部への動作タイミングを規定するタイミング信号を出力する。サブフレーム画像生成部１０３は、フレームレート変換部１０１から出力されたデジタル画像信号に対して、動画ぼけなどの動画特性を改善するための処理を行う。極性反転部１０６は、サブフレーム画像生成部１０３により処理済みのデジタル画像信号の極性を反転させる。Ｄ／Ａ変換器３５は、極性反転部１０６により極性が反転されたデジタル画像信号をアナログ画像信号に変換し、変換したアナログ画像信号をパネルドライバ３６に出力する。
【００２３】
パネルドライバ３６は、このアナログ画像信号のうちＲ成分の信号については液晶パネル２Ｒに送出し、Ｇ成分の信号については液晶パネル２Ｇに送出し、Ｂ成分の信号については液晶パネル２Ｂに送出する。また、パネルドライバ３６は、それぞれの液晶パネル２Ｒ、２Ｇ、２Ｂに対して電源も供給する。なお、これ以外にも、ＬＶＤＳ，ＴＭＤＳ等のデジタル信号用入力端子や、デジタルＴＶ用Ｄ４端子等を投射型表示装置２００に設けても有効であることは言うまでもない。バラスト５７は、ランプ１に接続されるランプ用の電源である。５８はシステム電源、６０はＡＣインレットを示す。
【００２４】
リモコン６１は、投射型表示装置２００に対して様々な指示を行うためにユーザが操作するものである。制御パネル６２は、リモコン６１から送出された指示信号を受け、これをデコードしてＣＰＵ６３に通知する。明るさ調整ＳＷ（スイッチ）検出部１０９は、明るさ調整ＳＷ（スイッチ）２０４の動作を検出する。
【００２５】
ＣＰＵ６３は、ＲＯＭ６４やＲＡＭ６５に格納されてるコンピュータプログラムやデータを用いて本装置全体の制御を行う。ＲＯＭ６４には、本装置の設定データや、既知の情報として説明されるものなどを格納する。なお、映像信号処理装置３を構成しているものとして上述した各部のうち、一部をコンピュータプログラムで実装する場合には、このコンピュータプログラムはこのＲＯＭ６４に格納され、ＣＰＵ６３により実行されることになる。
【００２６】
ＲＡＭ６５は、ＵＳＢ Ｉ／Ｆ１０７を介して外部から受信したデータを一時的に記憶するためのエリアや、ＣＰＵ６３が用いるワークエリアなどを有する。１２１は端子で、外部からの様々な情報（ＵＳＢ出力）を入力するための端子である。ＵＳＢ Ｉ／Ｆ１０７は、端子１２１を介して入力された情報を受け付けるためのＩ／Ｆとして機能する。
【００２７】
次に、フレームレート変換部１０１の動作についてより詳細に説明する。
【００２８】
フレームレート変換部１０１は、１つのフレームの画像信号を、Ｎ（Ｎ≧２：Ｎは整数）個のサブフレームの画像信号に分割する処理を行う。これにより、フレームレートもＮ倍となる。本実施形態では、Ｎが２の場合について説明する。例えば、垂直周波数６０Ｈｚの入力画像信号を、２倍の垂直周波数１２０Ｈｚのフレームレートに変換する場合について説明する。その際、入力された少なくとも１画面以上の入力画像がメモリ３３に記憶され、メモリ３３からの入力画像のデータの読出速度を変えることにより、入力画像信号とは異なるフレームレートの画像信号に変換することが可能となる。
【００２９】
次に、サブフレーム画像生成部１０３の動作についてより詳細に説明する。図４は、サブフレーム画像生成部１０３の機能構成例を示すブロック図である。サブフレーム画像生成部１０３には、１つのフレームを構成する各サブフレームが順次入力され、処理され、出力される。
【００３０】
フレームレート変換部１０１から出力された着目サブフレームの画像信号は、端子４０１を介して減算器４０７、ＬＰＦ（ローパスフィルタ）４０２に入力される。ここで、この画像信号は高周波数成分（Ｈ）と低周波数成分（Ｌ）とで構成されているので、図４には、端子４０１を介して入力された画像信号は、Ｈ＋Ｌと表記している。
【００３１】
ＬＰＦ４０２は、入力された画像信号（Ｈ＋Ｌ）の高周波数成分をカットすることで、低周波数成分で構成されている画像信号Ｌ（第２の画像信号）を出力する。画像信号Ｌは、減算器４０７と係数器４０３とに入力される。
【００３２】
減算器４０７は、端子４０１を介して入力された画像信号（Ｈ＋Ｌ）から、低周波数成分を減ずる、即ち、画像信号Ｌを減ずることで、高周波数成分で構成されている画像信号Ｈ（第１の画像信号）を出力する。
【００３３】
係数器４０３は、画像信号Ｌに対して、係数Ｋ（０＜Ｋ＜１を満たす定数値Ｋ）を乗じることで、画像信号ＫＬ（第３の画像信号）を生成し、出力する。本実施形態では、サブフィールドの数を２とするので、その逆数である１／２をＫとして用いる。従って、第３の画像信号は、画像信号Ｌ／２と表記する。これは、本実施形態では、２枚のサブフレームに対して、低周波数成分を１／２づつ表示するためである。
【００３４】
次に、加算器４０８は、係数器４０３からの出力である画像信号Ｌ／２と、減算器４０７からの出力である画像信号Ｈとを加算することで、画像信号（Ｈ＋Ｌ／２）を生成し、これを第４の画像信号として出力する。しかし、低周波数成分から成る画像信号Ｌ／２に高周波数成分から成る画像信号Ｈを加算すると、予め定められた表示範囲（Ｄレンジ）を超えた部分が発生する可能性がある。この部分は表示することができないため、高周波数成分は潰れて歪んで表示されることになり、画像品位を大きく低下させる。
【００３５】
そこで、本実施形態では、表示範囲（一般的に言えば、画像信号の出力先としての機器が表現可能な映像信号レベルの範囲（Ｄレンジ））を越えた部分が除去されるように、画像信号Ｌ／２を処理する。
【００３６】
表示範囲オーバー検出部４０９は、画像信号（Ｈ＋Ｌ／２）を加算器４０８から受けると、この画像信号（Ｈ＋Ｌ／２）において、Ｄレンジを越えた部分がある（存在する）か否かをチェックし、ある場合には、その旨を後段の階調制御部４１０に通知する。
【００３７】
階調制御部４１０は、画像信号Ｌ／２を係数器４０３から受けると、Ｄレンジを超えた部分が除去されるような係数γ（修正量）を画像信号Ｌ／２に対して乗じることで、この画像信号Ｌ／２の階調を制御し、制御後の画像信号（Ｌ／２×γ）を出力する。なお、画像信号（Ｈ＋Ｌ／２）において、Ｄレンジを越えた部分がない（表示範囲内に収まる）と表示範囲オーバー検出部４０９が判断した場合には、その旨を階調制御部４１０に通知する。従って階調制御部４１０は、係数器４０３から受けた画像信号Ｌ／２をそのまま出力する（この場合、γ＝１）。
【００３８】
また、階調制御部４０４は、画像信号Ｌ／２を係数器４０３から受けると、画像信号Ｌ／２に対して係数（２−γ）を乗じることで、この画像信号Ｌ／２の階調を制御し、制御後の画像信号（Ｌ／２×（２−γ））を、第５の画像信号として出力する。
【００３９】
加算器４１１は、減算器４０７からの出力である画像信号Ｈと、階調制御部４１０からの出力である画像信号（画像信号（Ｌ／２×γ）若しくは画像信号Ｌ／２）と、を加算することで、画像信号（Ｈ＋Ｌ／２×γ）を合成信号として生成し、出力する。
【００４０】
セレクタ４０５には、加算器４１１からの画像信号（Ｈ＋Ｌ／２×γ）と、階調制御部４０４からの画像信号（Ｌ／２×（２−γ））とが入力される。セレクタ４０５は、サブフレーム毎にこれらを交互に出力する。例えば、着目フレームが第１サブフレーム、第２サブフレーム、第３サブフレーム、、、を有しているとする。この場合、第１サブフレームの画像信号が端子４０１に入力されると、セレクタ４０５は、画像信号（Ｈ＋Ｌ／２×γ）を、第１サブフレームを再生するための画像信号として選択し、出力する。続いて、第２サブフレームの画像信号が端子４０１に入力されると、セレクタ４０５は、画像信号（Ｌ／２×（２−γ））を、第２サブフレームを再生するための画像信号として選択し、出力する。続いて、第３サブフレームの画像信号が端子４０１に入力されると、セレクタ４０５は、画像信号（Ｈ＋Ｌ／２×γ）を、第３サブフレームを再生するための画像信号として選択し、出力する。このように、セレクタ４０５は、サブフレーム毎にこれらを交互に選択し、出力する。セレクタ４０５からの出力は、端子４０６を介して後段の極性反転部１０６に送出される。
【００４１】
次に、表示範囲オーバー検出部４０９、階調制御部４１０の動作について、図５（ａ）〜（ｄ）を用いて、より詳細に説明する。図５（ａ）〜（ｄ）において、横軸は、着目画素の低周波数成分レベル（Ｌ）を示しており、縦軸は、低周波数成分（Ｌ）と高周波数成分（Ｈ）とを加算した結果（即ち加算器４１１又は加算器４０８からの出力）を示す。画像の低周波数成分には、画素毎に高周波数成分が加算される量が異なる。
【００４２】
図５（ａ）は、ＬＰＦ４０２により分離された低周波数成分と高周波数成分との関係を示す図である。図５（ａ）において、５０１は、低周波数成分のレベルを示し、５０２、５０３、５０４は、低周波数成分に重畳される高周波数成分を示している。ここで、低周波数成分に上乗せされる高周波数成分の量は、表示画像に応じて画素毎に異なる。
【００４３】
図５（ｂ）は、低周波数成分と、加算器４０８の出力と、との関係を示す図である。図５（ｂ）に示す如く、Ｌ／２にＨを加算することにより、表示範囲（Ｄレンジ）を超えた部分６８０、６９０（斜線で示している部分）が発生している。上述の通り、この部分は表示することができないため、高周波成分が潰れて歪んだ画像となってしまい、画像品位を大きく低下させる。本実施形態は、この部分６８０，６９０を除去することを目的の１つとしている。
【００４４】
図５（ｃ）は、Ｄレンジを超えた部分６８０，６９０を除去すべく、低周波数成分を操作する処理を説明する図である。係る処理により、画像劣化を改善する。より具体的には、部分６８０を含む高周波数成分を重ねる低周波数成分に７０２に示す量だけバイアスを加える（γを掛け合わせる）。これにより、部分６８０を含む高周波数成分を重ねる低周波数成分における階調変換特性６０１を７０２に示す量（＝６０２に示す量）だけ上昇させる。同様に、部分６９０を含む高周波数成分を重ねる低周波数成分に７０３に示す量だけバイアスを加える（γを掛け合わせる）。これにより、部分６９０を含む高周波数成分を重ねる低周波数成分における階調変換特性６０１を７０３に示す量（＝６０３に示す量）だけ上昇させる。これらの処理により、階調変換特性７０１を得る。これにより、部分６８０、部分６８０は除去される。
【００４５】
図５（ｄ）は、このようにして処理された低周波数成分に高周波数成分を加算した結果を示す図である。８０２，８０３に示す如く、Ｄレンジを超えた部分は除去されている。従って、高周波成分は潰れて歪むことなく、Ｄレンジの範囲内に収めることが可能となった。ここで、階調変換特性は、階調間がなめらかな変化となる様にフィルタ処理してもよい。また、階調変換を行うための構成は、メモリを用いたＬＵＴ（ルックアップテーブル）で構成してもよいし、関数演算を行う回路を用いてもよい。また、ディレイ回路などを用いて、演算のタイミングを合わせることにより、表示範囲を超えた画像に対してリアルタイムでの処理が可能となる。
【００４６】
例えば、１フレーム遅れて反映すると、静止画の場合は問題ないが、動画の場合は表示範囲を超えた画素と演算結果を反映する画像に、表示位置のずれが生じるという問題が発生する。
【００４７】
以上の説明により、本実施形態によれば、表示装置において、動画ぼけなどの動画特性の改善を行う場合においても、高周波成分が潰れることが無く、表示階調のダイナミックレンジをフルに使った表示が可能になる。更に、余計な擬似成分が表示されることもなくなり、画質劣化を伴うことなく、動画特性の改善を向上させることができる。
【００４８】
図１は、サブフレーム画像生成部１０３が着目サブフレームに対して行う処理のフローチャートである。従って、実際には、サブフレーム画像生成部１０３は、各サブフレームの画像信号に対して図１に示したフローチャートに従った処理を行うことになる。
【００４９】
先ず、ステップＳ１０１では、ＬＰＦ４０２は、入力された画像信号（Ｈ＋Ｌ）の高周波数成分をカットすることで、低周波数成分で構成されている画像信号Ｌを出力する。画像信号Ｌは、減算器４０７と係数器４０３とに入力される。
【００５０】
次に、ステップＳ１０２では、減算器４０７は、端子４０１を介して入力された画像信号（Ｈ＋Ｌ）から、低周波数成分を減ずる、即ち、画像信号Ｌを減ずることで、高周波数成分で構成されている画像信号Ｈを出力する。次に、ステップＳ１０３では、係数器４０３は、画像信号Ｌに対して、定数値としての係数１／２を乗じることで、画像信号Ｌ／２を生成し、出力する。
【００５１】
次に、ステップＳ１０４では、加算器４０８は、係数器４０３からの出力である画像信号Ｌ／２と、減算器４０７からの出力である画像信号Ｈとを加算することで、画像信号（Ｈ＋Ｌ／２）を生成し、出力する。
【００５２】
次に、ステップＳ１０５では、表示範囲オーバー検出部４０９は、画像信号（Ｈ＋Ｌ／２）を加算器４０８から受けると、この画像信号（Ｈ＋Ｌ／２）において、Ｄレンジを越えた部分があるか否かをチェックする。そして、Ｄレンジを超えた部分がある場合には、処理をステップＳ１０７に進め、Ｄレンジを超えた部分がない場合には、処理をステップＳ１０６に進める。
【００５３】
ステップＳ１０６では、階調制御部４１０、４０４はγに１を設定する。次に、ステップＳ１０７では、階調制御部４１０は、画像信号Ｌ／２を係数器４０３から受けると、係数γを画像信号Ｌ／２に対して乗じることで、画像信号（Ｌ／２×γ）を生成し、出力する。また、階調制御部４０４は、画像信号Ｌ／２を係数器４０３から受けると、画像信号Ｌ／２に対して係数（２−γ）を乗じることで、画像信号（Ｌ／２×（２−γ））を生成し、出力する。
【００５４】
次に、ステップＳ１０８では、加算器４１１は、減算器４０７からの出力である画像信号Ｈと、階調制御部４１０からの出力である画像信号（Ｌ／２×γ）と、を加算することで、画像信号（Ｈ＋Ｌ／２×γ）を生成し、出力する。
【００５５】
次に、ステップＳ１０９では、セレクタ４０５は、加算器４１１からの画像信号（Ｈ＋Ｌ／２×γ）と、階調制御部４０４からの画像信号（Ｌ／２×（２−γ））と、のうち何れか一方を出力する。
【００５６】
本実施形態では、Ｎ個のサブフレームに分割した際に、高周波（Ｈ）成分画像をＮ個のサブフレームの内の１つに表示し、Ｎ個のサブフレームの各々に低周波（Ｌ）成分画像を１／Ｋずつ分割して表示する例について説明した。しかしそれに限るものではなく、Ｈ成分をＫ倍、Ｌ成分を１倍で表示してもよく、Ｈ成分とＬ成分の比が所望の条件（Ｈ：Ｌ＝Ｋ：１）を満たせばよい。
【００５７】
［第２の実施形態］
本実施形態では、画像の表示領域を複数の部分領域に分割し、それぞれの部分領域について第１の実施形態で説明した処理を行う。図６は、本実施形態に係るサブフレーム画像生成部１０３の機能構成例を示すブロック図である。図６において図４と同じ構成要素については同じ参照番号を付けており、その説明は省略する。
【００５８】
表示領域判別部９０１では、ＨＤ、ＶＤの同期信号と画素クロックＣＬＫをカウントし、表示画面内の領域を判定する。表示範囲オーバー検出部４０９が検出したＤレンジオーバー量（Ｄレンジを超えた量）を領域毎に、領域補正値記憶部９０２に格納する。領域間補間演算部９０３は、着目画素の表示位置を含む領域に対応する階調変換特性を用いて補正する。
【００５９】
補間の際には、着目画素の低周波数成分値に対する周辺４領域の補正値を取得し、領域内の表示位置に応じて補間して使用する。補間方法は線形補間、キュービック補間、スプライン法など、を用いることが可能である。
【００６０】
本実施形態では、領域毎に階調制御を行うことが可能となるため、領域毎に黒レベルや白レベルを最適に制御することが可能となる。そのため、表示画面内での表示範囲（ダイナミックレンジ）を有効に用いることが可能となり、コントラスト感のあるメリハリのある画像を表示することが可能となる。
【００６１】
［第３の実施形態］
本実施形態では、表示範囲オーバー検出部４０９が検出したＤレンジオーバー量を、表示範囲オーバー量調整部１００１が調整することにより、表示画像の絵作りに応じたＤレンジオーバー量の調整が可能となり、好みに応じた画質制御が可能となる。
【００６２】
図７は、本実施形態に係るサブフレーム画像生成部１０３の機能構成例を示すブロック図である。図７において図４と同じ構成要素については同じ参照番号を付けており、その説明は省略する。表示範囲オーバー検出部４０９が検出したＤレンジオーバー量Ａに対して、表示範囲オーバー量調整部１００１は、次式に基づく処理を行い、Ｄレンジオーバー量Ｃを得る。
【００６３】
Ｄレンジオーバー量Ｃ＝Ｄレンジオーバー量Ａ−調整量Ｂ
そして表示範囲オーバー量調整部１００１は、このＤレンジオーバー量Ｃを表示範囲オーバー検出部４０９に再度送出するので、表示範囲オーバー検出部４０９は、このＤレンジオーバー量ＣがＤレンジを越えているか否かをチェックする。これにより、Ｄレンジオーバー量を検出する範囲に幅を持たせることが可能となる。もちろん、これ以降の処理では、このＤレンジオーバー量Ｃが用いられる。
【００６４】
例えば、絵作りで、階調を積極的に潰す場合がある。この場合は、表示範囲を超えた部分をある程度犠牲にしてもよい。必ずしも全ての階調を表示する必要がないからである。この場合、調整量Ｂは、ＤＳＰ３２により画像の輝度情報（分布、平均、最大、最小）等を元に演算処理され決定される。
【００６５】
本実施形態によれば、Ｄレンジオーバー量を検出する範囲に幅を持たせて制御することが可能となるため、好みに応じた絵作りが可能となる。また、Ｄレンジオーバー量に応じて圧縮率を変えることにより、白潰れ／黒潰れの様に、画像を飽和されることなく、階調制御を行うことも可能である。
【特許請求の範囲】
【請求項１】
フレーム毎に入力される画像信号を処理して出力する画像処理装置であって、
１つのフレームを複数のサブフレームに分割する分割手段と、
着目サブフレームの画像信号から、高周波数成分で構成される第１の画像信号と、低周波数成分で構成される第２の画像信号と、を取得する取得手段と、
前記第２の画像信号に対して０＜Ｋ＜１を満たす定数値Ｋを乗じることで第３の画像信号を生成する手段と、
前記第１の画像信号と前記第３の画像信号とを加算することで得られる第４の画像信号が予め定められた範囲内に収まるレベルである場合には前記第３の画像信号を出力し、前記第４の画像信号において前記範囲内に収まらない部分が存在する場合には当該部分が収まるように前記第３の画像信号を修正した画像信号を出力する処理手段と、
前記処理手段が出力した画像信号と前記第１の画像信号との合成信号を生成する手段と、
前記処理手段による前記第３の画像信号の修正量をγとした場合に、前記第３の画像信号に定数値（２−γ）を乗じることで第５の画像信号を生成する手段と、
前記着目サブフレームとして、前記合成信号、前記第５の画像信号の何れかを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記分割手段は、前記着目フレームの画像信号を、この画像信号の垂直周波数よりも大きい垂直周波数のフレームレートに変換することで、前記着目フレームの画像信号を複数のサブフレームに分割することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記定数値Ｋは、前記着目フレームを構成するサブフレームの数の逆数であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記取得手段は、前記着目フレームの画像信号に対してローパスフィルタを用いることで前記第２の画像信号を取得し、前記着目フレームの画像信号から前記第２の画像信号を減ずることで前記第１の画像信号を取得することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記範囲は、前記出力手段による出力先としての表示装置が表現可能な信号レベルの範囲であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記出力手段は、サブフレーム毎に前記合成信号、前記第５の画像信号を交互に出力することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記１つのフレームは、１つの画像を複数の部分領域に分割した場合のそれぞれの部分領域であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
フレーム毎に入力される画像信号を処理して出力する画像処理装置が行う画像処理方法であって、
１つのフレームを複数のサブフレームに分割する分割工程と、
着目サブフレームの画像信号から、高周波数成分で構成される第１の画像信号と、低周波数成分で構成される第２の画像信号と、を取得する取得工程と、
前記第２の画像信号に対して０＜Ｋ＜１を満たす定数値Ｋを乗じることで第３の画像信号を生成する工程と、
前記第１の画像信号と前記第３の画像信号とを加算することで得られる第４の画像信号が予め定められた範囲内に収まるレベルである場合には前記第３の画像信号を出力し、前記第４の画像信号において前記範囲内に収まらない部分が存在する場合には当該部分が収まるように前記第３の画像信号を修正した画像信号を出力する処理工程と、
前記処理工程で出力した画像信号と前記第１の画像信号との合成信号を生成する工程と、
前記処理工程による前記第３の画像信号の修正量をγとした場合に、前記第３の画像信号に定数値（２−γ）を乗じることで第５の画像信号を生成する工程と、
前記着目サブフレームとして、前記合成信号、前記第５の画像信号の何れかを出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項１】
フレーム毎に入力される画像信号を処理して出力する画像処理装置であって、
１つのフレームを複数のサブフレームに分割する分割手段と、
着目サブフレームの画像信号から、高周波数成分で構成される第１の画像信号と、低周波数成分で構成される第２の画像信号と、を取得する取得手段と、
前記第２の画像信号に対して０＜Ｋ＜１を満たす定数値Ｋを乗じることで第３の画像信号を生成する手段と、
前記第１の画像信号と前記第３の画像信号とを加算することで得られる第４の画像信号が予め定められた範囲内に収まるレベルである場合には前記第３の画像信号を出力し、前記第４の画像信号において前記範囲内に収まらない部分が存在する場合には当該部分が収まるように前記第３の画像信号を修正した画像信号を出力する処理手段と、
前記処理手段が出力した画像信号と前記第１の画像信号との合成信号を生成する手段と、
前記処理手段による前記第３の画像信号の修正量をγとした場合に、前記第３の画像信号に定数値（２−γ）を乗じることで第５の画像信号を生成する手段と、
前記着目サブフレームとして、前記合成信号、前記第５の画像信号の何れかを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記分割手段は、前記着目フレームの画像信号を、この画像信号の垂直周波数よりも大きい垂直周波数のフレームレートに変換することで、前記着目フレームの画像信号を複数のサブフレームに分割することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記定数値Ｋは、前記着目フレームを構成するサブフレームの数の逆数であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記取得手段は、前記着目フレームの画像信号に対してローパスフィルタを用いることで前記第２の画像信号を取得し、前記着目フレームの画像信号から前記第２の画像信号を減ずることで前記第１の画像信号を取得することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記範囲は、前記出力手段による出力先としての表示装置が表現可能な信号レベルの範囲であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記出力手段は、サブフレーム毎に前記合成信号、前記第５の画像信号を交互に出力することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記１つのフレームは、１つの画像を複数の部分領域に分割した場合のそれぞれの部分領域であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
フレーム毎に入力される画像信号を処理して出力する画像処理装置が行う画像処理方法であって、
１つのフレームを複数のサブフレームに分割する分割工程と、
着目サブフレームの画像信号から、高周波数成分で構成される第１の画像信号と、低周波数成分で構成される第２の画像信号と、を取得する取得工程と、
前記第２の画像信号に対して０＜Ｋ＜１を満たす定数値Ｋを乗じることで第３の画像信号を生成する工程と、
前記第１の画像信号と前記第３の画像信号とを加算することで得られる第４の画像信号が予め定められた範囲内に収まるレベルである場合には前記第３の画像信号を出力し、前記第４の画像信号において前記範囲内に収まらない部分が存在する場合には当該部分が収まるように前記第３の画像信号を修正した画像信号を出力する処理工程と、
前記処理工程で出力した画像信号と前記第１の画像信号との合成信号を生成する工程と、
前記処理工程による前記第３の画像信号の修正量をγとした場合に、前記第３の画像信号に定数値（２−γ）を乗じることで第５の画像信号を生成する工程と、
前記着目サブフレームとして、前記合成信号、前記第５の画像信号の何れかを出力する出力工程と
を備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５（ａ）】
【図５（ｂ）】
【図５（ｃ）】
【図５（ｄ）】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５（ａ）】
【図５（ｂ）】
【図５（ｃ）】
【図５（ｄ）】
【図６】
【図７】
【公開番号】特開２０１０−２４３６０８（Ｐ２０１０−２４３６０８Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−８９５７５（Ｐ２００９−８９５７５）
【出願日】平成２１年４月１日（２００９．４．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月１日（２００９．４．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]