画像処理装置、投影装置及びプログラム
【課題】超解像処理を施しても量子化によるノイズの影響を軽減して高い画質を得る。
【解決手段】入力する画像信号に基づいた光像を形成して投影する投影系13〜18と、入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理部12と、入力した画像信号の平均輝度を算出し、算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定し、その判定結果に応じ、しきい値より低いと判定した平均輝度の画像を用いる超解像処理の先鋭化に係るパラメータを、しきい値より高いと判定した平均輝度の画像を用いる超解像処理の先鋭化に係るパラメータよりも低く設定して、設定したパラメータに基づいて超解像処理部12での処理を実行させるＣＰＵ26とを備える。
【解決手段】入力する画像信号に基づいた光像を形成して投影する投影系13〜18と、入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理部12と、入力した画像信号の平均輝度を算出し、算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定し、その判定結果に応じ、しきい値より低いと判定した平均輝度の画像を用いる超解像処理の先鋭化に係るパラメータを、しきい値より高いと判定した平均輝度の画像を用いる超解像処理の先鋭化に係るパラメータよりも低く設定して、設定したパラメータに基づいて超解像処理部12での処理を実行させるＣＰＵ26とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、投影装置及びプログラムに関する。
【背景技術】
【０００２】
プロジェクタで投影する画像の解像度に対し、入力される画像信号の解像度が足りない場合、それを補うための解像度補間技術である超解像処理を入力された画像信号に対して施す構成が記載されている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０９１６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＤＬＰ（登録商標）方式のプロジェクタ装置では、暗い階調の画像を投影する際、画像中に量子化によるノイズが発生して画質を損なう一要因となる。特に入力される画像がアナログ信号である場合、元の画像事態にノイズが含まれていると、量子化によるノイズの発生がいっそう顕著となる。
【０００５】
しかして、上記した超解像技術を用いて高解像度化した画像信号においては、上記暗部の量子化によるノイズがより強調され、画質を大幅に低下させることになる。
【０００６】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、超解像処理を施しても量子化によるノイズの影響を軽減して高い画質を得ることが可能な画像処理装置、投影装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理手段と、上記入力した画像信号の平均輝度を算出する算出手段と、上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段と、上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段と、上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段とを具備したことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、超解像処理を施しても量子化によるノイズの影響を軽減して高い画質を得ることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係るデータプロジェクタ装置の機能回路の概略構成を示すブロック図。
【図２】同実施形態に係るガンマ補正の処理内容を示すフローチャート。
【図３】同実施形態に係るガンマ補正と超解像処理パラメータの第１の設定パターンを説明する図。
【図４】同実施形態に係るガンマ補正と超解像処理パラメータの第２の設定パターンを説明する図。
【図５】同実施形態に係るエリア分割の設定がなされた場合の１フレームの画像処理を説明する図。
【発明を実施するための形態】
【００１０】
以下本発明をＤＬＰ（登録商標）方式のデータプロジェクタ装置に適用した場合の一実施形態について図面を参照して説明する。
図１は、本実施形態に係るデータプロジェクタ装置１０の概略機能構成を示すブロック図である。同図中、符号１１は入力部である。この入力部１１は、例えばピンジャック（ＲＣＡ）タイプのビデオ入力端子、Ｄ−ｓｕｂ１５タイプのＲＧＢ入力端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格の画像／音声入力端子、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタを有し、これらのいずれかの端子を介して有線接続される外部機器から、画像信号及び音声信号を入力する。
【００１１】
入力部１１から入力された各種規格の画像信号はデジタル化された後、システムバスＳＢを介し、ガンマ補正処理部４０に送られる。このガンマ補正処理部４０はユーザが選択した、例えばプレゼンテーションモードやシネマモードなどの個々の投影モードに応じた入力階調値と出力階調値との対応関係に基く輝度階調調整を、入力される画像信号に対して行なうガンマ補正処理を実行する。
【００１２】
ガンマ補正処理が施された画像信号は、超解像処理部１２に送られる。この超解像処理部１２は、入力される画像信号に対してガンマ補正処理を施して階調調整を行なった後、投影に適した所定の画像サイズに合致させるべく補間処理する一方で、画像信号中のテクスチャ部に画質改善処理を、同テクスチャ部の輪郭部にエッジ強調処理を施すことで高周波成分を強調する処理を実行する。
【００１３】
こうして超解像処理部１２は、単なる平均化した補間処理ではぼやけた画像となるのを回避して高精細化を実現し、得た画像信号を、一般にスケーラとも称される投影画像処理部１３に出力する。
【００１４】
投影画像処理部１３は、入力される画像信号を投影に適した所定のフォーマットの画像信号に統一し、内蔵する表示用のバッファメモリに適宜書込んだ後に、書込んだ画像信号を適宜読出して投影画像駆動部１４へ送る。
【００１５】
この際、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）用の各種動作状態を示すシンボル等のデータも必要に応じて投影画像処理部１３内のバッファメモリで画像信号に重畳加工し、加工後の画像信号を読出して投影画像駆動部１４へ送る。
【００１６】
投影画像駆動部１４は、送られてきた画像信号に応じて、所定のフォーマットに従ったフレームレート、例えば６０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、マイクロミラー素子１５を表示駆動する。
【００１７】
このマイクロミラー素子１５は、アレイ状に配列された複数、例えばＷＸＧＡ（横１２８０画素×縦７６８画素）個の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。
【００１８】
一方で、光源部１６から時分割でＷ（白色），Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の光が循環的に出射される。この光源部１６からの光が、ミラー１７で全反射して上記マイクロミラー素子１５に照射される。
【００１９】
そして、マイクロミラー素子１５での反射光で光像が形成され、形成された光像が投影レンズ部１８を介して、投影対象となる図示しないスクリーンに投影表示される。
【００２０】
上記光源部１６は、緑色（Ｇ）光を発するＬＤ（以下「Ｇ−ＬＤ」と称する）１９、
赤色（Ｒ）光を発する発光ダイオード（以下「Ｒ−ＬＥＤ」と称する）２０、及び青色（Ｂ）光を発するＬＤ（以下「Ｂ−ＬＤ」と称する）２１を有する。
【００２１】
Ｇ−ＬＤ１９の発する緑色光は、ダイクロイックミラー２２を透過した後に上記ミラー１７へ送られる。
【００２２】
Ｒ−ＬＥＤ２０の発する赤色光は、ダイクロイックミラー２３で反射された後、上記ダイクロイックミラー２２でも反射されて上記ミラー１７へ送られる。
【００２３】
Ｂ−ＬＤ２１の発する青色光は、ミラー２４で反射された後に上記ダイクロイックミラー２３を透過し、その後に上記ダイクロイックミラー２２で反射されて上記ミラー１７へ送られる。
上記ダイクロイックミラー２２は、緑光を透過する一方で、赤色光及び青色光を反射する。上記ダイクロイックミラー２３は、赤色光を反射する一方で、青色光を透過する。
【００２４】
しかして上記光源部１６のＧ−ＬＤ１９、Ｒ−ＬＥＤ２０、及びＢ−ＬＤ２１の各発光タイミングや駆動信号の波形等を投影光駆動部２５が統括して制御する。投影光駆動部２５は、上記投影画像駆動部１４から与えられる、画像信号に同期したタイミング信号と、後述するＣＰＵ２６の制御に応じて上記Ｇ−ＬＤ１９、Ｒ−ＬＥＤ２０、及びＢ−ＬＤ２１の発光動作を制御する。
【００２５】
なお本実施形態では、Ｇ−ＬＤ１９、Ｒ−ＬＥＤ２０、及びＢ−ＬＤ２１を光源部１６を構成する発光素子として用いているが、赤、緑、青の光源をすべてＬＥＤまたはＬＤとしてもよいし、緑色の光を蛍光板に励起光を照射させることで生成してもよい。
【００２６】
上記各回路の動作すべてをＣＰＵ２６が制御する。このＣＰＵ２６は、メインメモリ２７及びプログラムメモリ２８と直接接続される。メインメモリ２７は、例えばＳＲＡＭで構成され、ＣＰＵ２６のワークメモリとして機能する。プログラムメモリ２８は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ２６が実行する動作プログラムや各種定型データ等を記憶する。
ＣＰＵ２６は、上記プログラムメモリ２８に記憶されている動作プログラムや定型データ等を読出し、メインメモリ２７に展開して記憶させた上で、当該プログラムを実行することにより、このデータプロジェクタ装置１０を統括して制御する。
【００２７】
上記ＣＰＵ２６は、操作部２９からのキー操作信号に応じて各種投影動作を実行する。
【００２８】
この操作部２９は、このデータプロジェクタ装置１０専用の図示しないリモートコントローラからの赤外線変調信号を受信するリモコン受光部と、データプロジェクタ装置１０の例えば筐体上面に設けられるキー入力部を含む。
【００２９】
操作部２９は、ユーザがデータプロジェクタ装置１０専用のリモートコントローラあるいは本体のキー入力部で操作したキーに基づくキー操作信号をＣＰＵ２６へ出力する。
【００３０】
上記ＣＰＵ２６はさらに、上記システムバスＳＢを介して音声処理部３０と接続される。音声処理部３０は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声信号をアナログ化し、スピーカ部３１を駆動して放音させ、あるいは必要によりビープ音等を発生させる。
【００３１】
次に上記実施形態の動作について説明する。
以下に示す動作は通常の画像投影時にＣＰＵ２６の制御に基づいて実行するものである。ＣＰＵ２６はプログラムメモリ２８に記憶されている動作プログラムやデータを読出し、メインメモリ２７に展開して記憶させた上で該動作プログラムを実行する。
【００３２】
図２は、電源が投入され、投影動作が実行される状態でのＣＰＵ２６によるガンマ補正処理部４０及び超解像処理部１２に対する画像信号１フレーム分に対する制御処理を示す。
【００３３】
処理当初にＣＰＵ２６は、ユーザにより事前に選択されている投影モードを判断する。本実施形態では投影する画像の明るさが優先される投影モードであるプレゼンテーションモード、または明るさよりも色彩が優先される投影モードであるシネマモードの何れか一方が選択されているものとして、その当初にプレゼンテーションモードであるか否かを判断する（ステップＳ１０１）。
【００３４】
図３は、ユーザによりプレゼンテーションモードが選択された際にガンマ補正処理部４０で実行する、ガンマ補正処理で用いるガンマ曲線の１例である。同図で横軸が入力階調値、縦軸が出力階調値である。
【００３５】
また図４は、ユーザによりシネマモードが選択された際に超解像処理部１２で実行する、ガンマ補正処理に用いるガンマ曲線の１例である。同図で横軸が入力階調値、縦軸が出力階調値である。
【００３６】
図３と図４とを比較すると、図３のガンマ曲線は図４のガンマ曲線に比べて意図的に低い入力階調値に対する出力階調値がより暗くなるように設定されている。したがって、図３のガンマ曲線を用いれば画像にメリハリがでてプレゼンテーションを表示するのに適したモードとなる。
【００３７】
また図４のガンマ曲線は図３のガンマ曲線に比べて暗い入力階調部に対する出力階調がより明るくなるように設定されている、したがって、中間の階調をより鮮明に表現でき、映画等を見るのに適したシネマモードとなる。
【００３８】
上記ステップＳ１０１でプレゼンテーションモードが選択されていると判断した場合、ＣＰＵ２６は上記図３に示したガンマ曲線に基づいて、入力された画像信号１フレーム分のガンマ補正処理を実行する（ステップＳ１０２）。
【００３９】
また上記ステップＳ１０１で、選択されているのがプレゼンテーションモードではないと判断した場合、選択されているのはシネマモードであることとなるので、ＣＰＵ２６上記図４に示したガンマ曲線に基づいて、入力された画像信号１フレーム分のガンマ補正処理を実行する（ステップＳ１０３）。
【００４０】
次いでＣＰＵ２６は、上記超解像処理部１２で実行する超解像処理が１フレームを複数のエリアに分割して実行する設定となっているか否かを判断する（ステップＳ１０４）。
【００４１】
ここでエリア分割の設定がなされていないと判断した場合にＣＰＵ２６は、入力される画像信号１フレーム分から１画素当たりの平均輝度を算出する（ステップＳ１０５）。
【００４２】
次いでＣＰＵ２６は、算出した平均輝度から当該フレーム全体の輝度値を、予め設定されている輝度のしきい値Ｔｈ１と当該算出した平均輝度とを比較することで判断する（ステップＳ１０６）。
【００４３】
このとき使用される輝度のしきい値Ｔｈ１は、ＤＬＰ（登録商標）方式のプロジェクタ装置特有の低輝度領域におけるノイズが目立つ部分として、このデータプロジェクタ装置１０の投影特性に応じて投影モード毎に設定される値である。
【００４４】
算出した平均の輝度値がしきい値Ｔｈ１以下であると上記ステップＳ１０６で判断した場合、ＣＰＵ２６は超解像処理部１２により当該フレーム内のすべての画素値に対してユーザにより設定された超解像パラメータよりも弱くした超解像パラメータで超解像処理を実行する（ステップＳ１０７）。
【００４５】
なお本実施形態では、超解像処理のパラメータが弱くなればなるほど超解像度処理を弱く画像値に対して実行し、超解像処理のパラメータが強くなればなるほど超解像処理を強く画像値に対して実行することとする。
【００４６】
ここでの超解像処理におけるパラメータは、超解像効果の強さを示すゲイン値、超解像処理の適応箇所を示すエッジしきい値、ボケ改善の強さの指標となる画像調整用フィルタの各種変更設定を含む。
【００４７】
１フレーム分の画像信号に対する超解像処理を終了した時点で超解像処理部１２による処理を終えたものとし、ＣＰＵ２６は次のフレームの処理に備える。
【００４８】
超解像処理部１２で超解像処理により画像サイズが増大された画像信号は、ＣＰＵ２６の制御の下に投影画像処理部１３でこのデータプロジェクタ装置１０の投影系に適したフォーマットの画像信号に統一され、投影画像駆動部１４へ送られる。
【００４９】
しかして投影画像駆動部１４は、送られてきた画像信号に応じてマイクロミラー素子１５を表示駆動し、光源部１６から時分割で送られてくる原色光の反射光で光像を形成させ、形成した光像を投影レンズ部１８を介して投影対象となる図示しないスクリーンに投影表示させる。
【００５０】
また上記ステップＳ１０６で、算出した平均の輝度値がしきい値Ｔｈ１より大きいと判断した場合、ＣＰＵ２６は超解像処理部１２により当該フレーム内のすべての画素値にユーザにより設定された超解像パラメータをそのまま用いて超解像処理を実行する（ステップＳ１０８）。
【００５１】
ここで超解像処理におけるパラメータも、超解像効果の強さを示すゲイン値、超解像処理の適応箇所を示すエッジしきい値、ボケ改善の強さの指標となる画像調整用フィルタの各種変更設定を含む。
【００５２】
１フレーム分の画像信号に対する超解像処理を終了した時点で超解像処理部１２による処理を終えたものとし、ＣＰＵ２６は次のフレームの処理に備える。
【００５３】
超解像処理部１２で超解像処理により画像サイズが増大された画像信号は、ＣＰＵ２６の制御の下に投影画像処理部１３でこのデータプロジェクタ装置１０の投影系に適したフォーマットの画像信号に統一され、投影画像駆動部１４へ送られる。
【００５４】
しかして投影画像駆動部１４は、送られてきた画像信号に応じてマイクロミラー素子１５を表示駆動し、光源部１６から時分割で送られてくる原色光の反射光で光像を形成させ、形成した光像を投影レンズ部１８を介して投影対象となる図示しないスクリーンに投影表示させる。
【００５５】
すなわち、上記図３を参照して本実施形態の超解像処理を説明すると、画像信号の平均輝度値がしきい値Ｔｈ１よりも低く、画像信号の平均輝度値に対応する上記入力階調値がＩｔｈ１以下となる階調では超解像のパラメータを、画像信号の平均輝度値がしきい値Ｔｈ１よりも高く画像信号の平均輝度値に対応する入力階調値がＩｔｈ１より高い階調で用いられる超解像パラメータよりも弱くなるように設定し、上記フレーム内のすべての画素値に対して超解像処置を行なう。
【００５６】
またステップＳ１０４でエリア分割の設定がなされていると判断した場合にＣＰＵ２６は、入力される画像信号１フレーム内の１つの分割エリアを選択し（ステップＳ１０９）、当該エリアを構成する全画素の階調値から１画素当たりの平均輝度を算出する（ステップＳ１１０）。
【００５７】
次いでＣＰＵ２６は、算出した平均輝度から当該分割エリア全体の輝度値を、予め設定されている輝度のしきい値Ｔｈ１と比較することで判断する（ステップＳ１１１）。
【００５８】
このとき使用される輝度のしきい値Ｔｈ１は、ＤＬＰ（登録商標）方式のプロジェクタ装置特有の低輝度領域におけるノイズが目立つ部分として、このデータプロジェクタ装置１０の投影特性に応じて投影モード毎に設定される値である。
【００５９】
算出した平均の輝度値がしきい値Ｔｈ１以下であると上記ステップＳ１１０で判断した場合、ＣＰＵ２６は超解像処理部１２により対象となる画像信号１フレーム内の１つの当該分割エリア内のすべての画素値にユーザにより設定された超解像パラメータよりも弱くした超解像パラメータで超解像処理を実行する（ステップ１１２）。
【００６０】
選択した分割エリア１つ分の画像信号に対する超解像処理を終了した時点でＣＰＵ２６は、まだ超解像処理部１２によるガンマ補正及び超解像処理を終えていない他の分割エリアがあるか否かを判断し（ステップＳ１１３）、あると判断すると再び上記ステップＳ１０９からの処理に戻る。
【００６１】
また上記ステップＳ１１１で、当該分割エリア内で算出した画素の平均の輝度値がしきい値Ｔｈ１より大きいと判断した場合、ＣＰＵ２６は超解像処理部１２により対象となる画像信号１フレーム内の１つの当該分割エリア内のすべての画素値にユーザにより設定された超解像パラメータで超解像処理を実行する（ステップ１１４）。
【００６２】
選択した分割エリア１つ分の画像信号に対する超解像処理を終了した時点でＣＰＵ２６は、上記ステップＳ１１３に進み、まだ超解像処理部１２によるガンマ補正及び超解像処理を終えていない他の分割エリアがあるか否かを判断する。
【００６３】
こうして分割エリア毎に異なるパラメータ設定での超解像処理を順次実行する。
そして、１フレームを構成する複数の分割エリアすべてに対して同様の処理を実行し終えた時点で、ステップＳ１１２でそれを判断すると、ＣＰＵ２６は１フレーム分の画像信号に対する超解像処理部１２による処理を終えたものとし、次のフレームの処理に備える。
【００６４】
超解像処理部１２で超解像処理により画像サイズが増大された画像信号は、ＣＰＵ２６の制御の下に投影画像処理部１３でこのデータプロジェクタ装置１０の投影系に適したフォーマットの画像信号に統一され、投影画像駆動部１４へ送られる。
【００６５】
しかして投影画像駆動部１４は、送られてきた画像信号に応じてマイクロミラー素子１５を表示駆動し、光源部１６から時分割で送られてくる原色光の反射光で光像を形成させ、形成した光像を投影レンズ部１８を介して投影対象となる図示しないスクリーンに投影表示させる。
【００６６】
すなわち、上記図３を参照して本実施形態の超解像処理を説明すると、入力される画像信号１フレーム内の１つの分割エリアの平均輝度値がしきい値Ｔｈ１よりも低く、この画像信号の平均輝度値に対応する入力階調値がＩｔｈ１以下となる階調の分割エリアにおける超解像のパラメータは、入力される画像信号１フレーム内の１つの分割エリアの平均輝度値がしきい値Ｔｈ１よりも高く、画像信号の平均輝度値に対応する入力階調値がＩｔｈ１より高い階調の分割エリアにおける超解像パラメータよりも弱くなるように設定し、上記分割エリア内の画素値に対して超解像処置を行なう。そして、この処理を全ての分割エリアに対して施すこととなる。
【００６７】
以下、より具体的に、本実施形態において上記ステップＳ１０４でエリア分割の設定がなされていると判断した場合に画像信号１フレームに対してどういう処理をするか説明する。
【００６８】
図５は、本処理によってスクリーンに投影されている１フレームの画像がどのように超解像処理されるかを具体的に示す一例である。本実施形態では図５に示すように、１画面を例えば縦４×横４の計１６の分割エリアに分けるものとする。また、本画像の分割エリア毎に記載された数字はその分割エリアにおける平均輝度値を模式的に現した数値であって、数値が大きくなればなるほど、その分割エリアの平均輝度が高くなるものとする。
【００６９】
例えば、本実施形態でしきい値Ｔｈ１が２と設定されていた場合、本画面における０から２の平均輝度値の分割エリアにおいては、当該分割エリア内のすべての画素値にユーザにより設定された超解像パラメータよりも弱くした超解像パラメータで超解像処理を実行する。そして、本画面における３から５の平均輝度値の分割エリアにおいては、当該分割エリア内のすべての画素値にユーザにより設定された超解像パラメータで超解像処理を実行する。
【００７０】
以上詳述した如く本実施形態によれば、画像信号の平均輝度値に応じて先鋭化の度合いを示すパラメータを切換えるように制御するため、全体に輝度値が低く、超解像処理を施した場合に画質の低下が危惧されるような画像に対しても、量子化によるノイズの影響を軽減して高い画質を得ることが可能となる。
【００７１】
また上記実施形態では、設定に応じて1フレームを複数のエリアに分割して各分割エリア毎に平均輝度を算出し、算出した輝度値に応じて先鋭化の度合いを示すパラメータを切換えるように制御するため、特にフレーム内で明暗の変化が著しい画像に対してもそれぞれの分割エリアで最適なパラメータに基づく超解像処理を実現できる。
【００７２】
さらに上記実施形態では説明しなかったが、画像信号からそのフレーム間は分割エリアの輝度分布を示すヒストグラムを算出し、算出したヒストグラムから平均輝度を求めるものとすれば、必要により取得されるヒストグラムを援用することで平均輝度を求めるための処理をより簡易化することができる。
【００７３】
ガンマ補正後の投影に適したガンマ特性を有する画像信号に基づいてノイズ等を考慮した一定のしきい値を用いることで、その装置固有の投影光学特性からノイズの発生が顕著となるような状態を確実に回避できる。
【００７４】
また上記実施形態では詳述しなかったが、一般にプレゼンテーションモード等の画像の明るさを優先する投影モードと、一般にシネマモード等の明るさよりも色彩を優先する投影モードなどを選択可能な装置において、選択した投影モードに応じて上記しきい値を可変設定することで、必要とされる超解像処理による先鋭度を考慮した効率的な処理を実現できる。
【００７５】
なお、シネマモードを選択した時の方がプレゼンテーションモードを選択した時に比べて平均輝度のしきい値Ｔｈ１を低く設定するとよい。これはプレゼンテーション等の明るさを優先する画像を表示する時と比べて、映画等の色彩を優先する画像を鑑賞する際の方が高先鋭画像が必要となり、出来るだけ強く超解像度処理を１フレーム内の画素値に対して印加したいからである。
【００７６】
また、本実施形態のガンマ補正はプレゼンテーションモードかシネマモードの２種類のうちのどちらかを選択する構成となっていたが、その他に複数用意された投影モードから一つを選択し、選択された投影モードに対応したガンマ補正を画像信号に対して施し、その投影モードに応じたしきい値を用いて超解像処理の強弱を決めても良いし、さらに、ユーザが自由に設定した投影設定に基くガンマ補正を画像信号に施し、その投影設定に応じたしきい値を用いて超解像処理の強弱を決めるような構成にしても良い。
【００７７】
なお上記実施形態は、１枚のマイクロミラー素子１５を用いた、いわゆる単板式のＤＬＰ（登録商標）方式によるデータプロジェクタ装置１０に適用した場合について説明したものであるが、本発明は単板式、３板式等を問わずＤＬＰ（登録商標）方式、あるいはＬＣＯＳ方式のプロジェクタにおいても同様に適用可能となる。
【００７８】
また、上述したしきい値Ｔｈ１は、図３または図４に記載されたようなガンマ曲線の出力階調値において、その出力階調値の最低値を原点として、当該出力階調値の最低値から最高値までの階調幅の５％の範囲内に設定されていると良い。この範囲内においては画像の先鋭さに影響を殆ど与えないため、上記しきい値を当該範囲内に設定すれば画像の先鋭具合に影響を与えることなくノイズを目立たなくさせることができる。
【００７９】
また上記実施形態では、図３に図示されるようなプレゼンテーションモードが選択された場合、及び図４に示されるようなシネマモードが選択された場合のように、当該投影モードで用いるガンマ曲線に対応する階調制御が施された画像信号に対して同様の処理を実行する。
【００８０】
なお、上記実施形態の図５において、１画面を縦４×横４の計１６の分割エリアに分けるものとしたが、自由に分割エリアの分割数を変更してよいことは勿論であり、分割エリアの分割数を多くすればするほど、その１画面全面に対して、輝度に応じた超解像処理を精度良く行なうことが可能となる。
【００８１】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【００８２】
以下に、本願出願の当所の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理手段と、上記入力した画像信号の平均輝度を算出する算出手段と、上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段と、上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段と、上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段とを具備したことを特徴とする。
【００８３】
請求項２記載の発明は、上記請求項１記載の発明において、上記算出手段は、画像信号を複数の領域を分割して領域毎に平均輝度を算出し、上記判定手段は、上記領域毎に算出した平均輝度を予め設定した上記しきい値と比較してその大小を判定し、上記超解像制御手段は、上記設定手段で設定したパラメータに基づいて領域毎に上記超解像処理手段を実行させることを特徴とする。
【００８４】
請求項３記載の発明は、上記請求項１または２記載の発明において、上記入力した画像信号の輝度ヒストグラムを取得するヒストグラム取得手段をさらに具備し、上記算出手段は、上記ヒストグラム取得手段で得た輝度ヒストグラムから平均輝度を算出することを特徴とする。
【００８５】
請求項４記載の発明は、上記請求項１記載の発明において、上記入力した画像信号に対する輝度階調をガンマ補正するガンマ補正手段をさらに具備し、上記判定手段は、上記ガンマ補正手段によりガンマ補正した後の平均輝度に対して上記しきい値との大小を判定することを特徴とする。
【００８６】
請求項５記載の発明は、入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理手段と、上記入力した画像信号の平均輝度を算出する算出手段と、上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段と、上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段と、上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段と、上記超解像処理を施した画像信号に基づいた光像を形成して投影する投影手段とを具備したことを特徴とする。
【００８７】
請求項６記載の発明は、上記請求項５記載の発明において、上記投影手段は、投影する画像の明るさを優先する投影モードと色彩を優先する投影モードとを選択的に有し、上記判定手段は、上記投影手段での投影モードに応じて上記しきい値を可変設定することを特徴とする。
【００８８】
請求項７記載の発明は、入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、上記入力した画像信号の平均輝度を算出する算出手段、上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段、上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段、及び上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段として機能させることを特徴とする。
【符号の説明】
【００８９】
１０…データプロジェクタ装置、１１…入力部、１２…超解像処理部、１３…投影画像処理部（スケーラ）、１４…投影画像駆動部、１５…マイクロミラー素子、１６…光源部、１７…ミラー、１８…投影レンズ部、１９…緑色レーザダイオード（Ｇ−ＬＤ）、２０…赤色発光ダイオード（Ｒ−ＬＥＤ）、２１…青色レーザダイオード（Ｂ−ＬＤ）、２２，２３…ダイクロイックミラー、２４…ミラー、２５…投影光駆動部、２６…ＣＰＵ、２７…メインメモリ、２８…プログラムメモリ、２９…操作部、３０…音声処理部、３１…スピーカ部、４０…ガンマ補正処理部、ＳＢ…システムバス。
【技術分野】
【０００１】
本発明は、画像処理装置、投影装置及びプログラムに関する。
【背景技術】
【０００２】
プロジェクタで投影する画像の解像度に対し、入力される画像信号の解像度が足りない場合、それを補うための解像度補間技術である超解像処理を入力された画像信号に対して施す構成が記載されている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０９１６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＤＬＰ（登録商標）方式のプロジェクタ装置では、暗い階調の画像を投影する際、画像中に量子化によるノイズが発生して画質を損なう一要因となる。特に入力される画像がアナログ信号である場合、元の画像事態にノイズが含まれていると、量子化によるノイズの発生がいっそう顕著となる。
【０００５】
しかして、上記した超解像技術を用いて高解像度化した画像信号においては、上記暗部の量子化によるノイズがより強調され、画質を大幅に低下させることになる。
【０００６】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、超解像処理を施しても量子化によるノイズの影響を軽減して高い画質を得ることが可能な画像処理装置、投影装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理手段と、上記入力した画像信号の平均輝度を算出する算出手段と、上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段と、上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段と、上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段とを具備したことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、超解像処理を施しても量子化によるノイズの影響を軽減して高い画質を得ることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係るデータプロジェクタ装置の機能回路の概略構成を示すブロック図。
【図２】同実施形態に係るガンマ補正の処理内容を示すフローチャート。
【図３】同実施形態に係るガンマ補正と超解像処理パラメータの第１の設定パターンを説明する図。
【図４】同実施形態に係るガンマ補正と超解像処理パラメータの第２の設定パターンを説明する図。
【図５】同実施形態に係るエリア分割の設定がなされた場合の１フレームの画像処理を説明する図。
【発明を実施するための形態】
【００１０】
以下本発明をＤＬＰ（登録商標）方式のデータプロジェクタ装置に適用した場合の一実施形態について図面を参照して説明する。
図１は、本実施形態に係るデータプロジェクタ装置１０の概略機能構成を示すブロック図である。同図中、符号１１は入力部である。この入力部１１は、例えばピンジャック（ＲＣＡ）タイプのビデオ入力端子、Ｄ−ｓｕｂ１５タイプのＲＧＢ入力端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格の画像／音声入力端子、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタを有し、これらのいずれかの端子を介して有線接続される外部機器から、画像信号及び音声信号を入力する。
【００１１】
入力部１１から入力された各種規格の画像信号はデジタル化された後、システムバスＳＢを介し、ガンマ補正処理部４０に送られる。このガンマ補正処理部４０はユーザが選択した、例えばプレゼンテーションモードやシネマモードなどの個々の投影モードに応じた入力階調値と出力階調値との対応関係に基く輝度階調調整を、入力される画像信号に対して行なうガンマ補正処理を実行する。
【００１２】
ガンマ補正処理が施された画像信号は、超解像処理部１２に送られる。この超解像処理部１２は、入力される画像信号に対してガンマ補正処理を施して階調調整を行なった後、投影に適した所定の画像サイズに合致させるべく補間処理する一方で、画像信号中のテクスチャ部に画質改善処理を、同テクスチャ部の輪郭部にエッジ強調処理を施すことで高周波成分を強調する処理を実行する。
【００１３】
こうして超解像処理部１２は、単なる平均化した補間処理ではぼやけた画像となるのを回避して高精細化を実現し、得た画像信号を、一般にスケーラとも称される投影画像処理部１３に出力する。
【００１４】
投影画像処理部１３は、入力される画像信号を投影に適した所定のフォーマットの画像信号に統一し、内蔵する表示用のバッファメモリに適宜書込んだ後に、書込んだ画像信号を適宜読出して投影画像駆動部１４へ送る。
【００１５】
この際、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）用の各種動作状態を示すシンボル等のデータも必要に応じて投影画像処理部１３内のバッファメモリで画像信号に重畳加工し、加工後の画像信号を読出して投影画像駆動部１４へ送る。
【００１６】
投影画像駆動部１４は、送られてきた画像信号に応じて、所定のフォーマットに従ったフレームレート、例えば６０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、マイクロミラー素子１５を表示駆動する。
【００１７】
このマイクロミラー素子１５は、アレイ状に配列された複数、例えばＷＸＧＡ（横１２８０画素×縦７６８画素）個の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。
【００１８】
一方で、光源部１６から時分割でＷ（白色），Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の光が循環的に出射される。この光源部１６からの光が、ミラー１７で全反射して上記マイクロミラー素子１５に照射される。
【００１９】
そして、マイクロミラー素子１５での反射光で光像が形成され、形成された光像が投影レンズ部１８を介して、投影対象となる図示しないスクリーンに投影表示される。
【００２０】
上記光源部１６は、緑色（Ｇ）光を発するＬＤ（以下「Ｇ−ＬＤ」と称する）１９、
赤色（Ｒ）光を発する発光ダイオード（以下「Ｒ−ＬＥＤ」と称する）２０、及び青色（Ｂ）光を発するＬＤ（以下「Ｂ−ＬＤ」と称する）２１を有する。
【００２１】
Ｇ−ＬＤ１９の発する緑色光は、ダイクロイックミラー２２を透過した後に上記ミラー１７へ送られる。
【００２２】
Ｒ−ＬＥＤ２０の発する赤色光は、ダイクロイックミラー２３で反射された後、上記ダイクロイックミラー２２でも反射されて上記ミラー１７へ送られる。
【００２３】
Ｂ−ＬＤ２１の発する青色光は、ミラー２４で反射された後に上記ダイクロイックミラー２３を透過し、その後に上記ダイクロイックミラー２２で反射されて上記ミラー１７へ送られる。
上記ダイクロイックミラー２２は、緑光を透過する一方で、赤色光及び青色光を反射する。上記ダイクロイックミラー２３は、赤色光を反射する一方で、青色光を透過する。
【００２４】
しかして上記光源部１６のＧ−ＬＤ１９、Ｒ−ＬＥＤ２０、及びＢ−ＬＤ２１の各発光タイミングや駆動信号の波形等を投影光駆動部２５が統括して制御する。投影光駆動部２５は、上記投影画像駆動部１４から与えられる、画像信号に同期したタイミング信号と、後述するＣＰＵ２６の制御に応じて上記Ｇ−ＬＤ１９、Ｒ−ＬＥＤ２０、及びＢ−ＬＤ２１の発光動作を制御する。
【００２５】
なお本実施形態では、Ｇ−ＬＤ１９、Ｒ−ＬＥＤ２０、及びＢ−ＬＤ２１を光源部１６を構成する発光素子として用いているが、赤、緑、青の光源をすべてＬＥＤまたはＬＤとしてもよいし、緑色の光を蛍光板に励起光を照射させることで生成してもよい。
【００２６】
上記各回路の動作すべてをＣＰＵ２６が制御する。このＣＰＵ２６は、メインメモリ２７及びプログラムメモリ２８と直接接続される。メインメモリ２７は、例えばＳＲＡＭで構成され、ＣＰＵ２６のワークメモリとして機能する。プログラムメモリ２８は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ２６が実行する動作プログラムや各種定型データ等を記憶する。
ＣＰＵ２６は、上記プログラムメモリ２８に記憶されている動作プログラムや定型データ等を読出し、メインメモリ２７に展開して記憶させた上で、当該プログラムを実行することにより、このデータプロジェクタ装置１０を統括して制御する。
【００２７】
上記ＣＰＵ２６は、操作部２９からのキー操作信号に応じて各種投影動作を実行する。
【００２８】
この操作部２９は、このデータプロジェクタ装置１０専用の図示しないリモートコントローラからの赤外線変調信号を受信するリモコン受光部と、データプロジェクタ装置１０の例えば筐体上面に設けられるキー入力部を含む。
【００２９】
操作部２９は、ユーザがデータプロジェクタ装置１０専用のリモートコントローラあるいは本体のキー入力部で操作したキーに基づくキー操作信号をＣＰＵ２６へ出力する。
【００３０】
上記ＣＰＵ２６はさらに、上記システムバスＳＢを介して音声処理部３０と接続される。音声処理部３０は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声信号をアナログ化し、スピーカ部３１を駆動して放音させ、あるいは必要によりビープ音等を発生させる。
【００３１】
次に上記実施形態の動作について説明する。
以下に示す動作は通常の画像投影時にＣＰＵ２６の制御に基づいて実行するものである。ＣＰＵ２６はプログラムメモリ２８に記憶されている動作プログラムやデータを読出し、メインメモリ２７に展開して記憶させた上で該動作プログラムを実行する。
【００３２】
図２は、電源が投入され、投影動作が実行される状態でのＣＰＵ２６によるガンマ補正処理部４０及び超解像処理部１２に対する画像信号１フレーム分に対する制御処理を示す。
【００３３】
処理当初にＣＰＵ２６は、ユーザにより事前に選択されている投影モードを判断する。本実施形態では投影する画像の明るさが優先される投影モードであるプレゼンテーションモード、または明るさよりも色彩が優先される投影モードであるシネマモードの何れか一方が選択されているものとして、その当初にプレゼンテーションモードであるか否かを判断する（ステップＳ１０１）。
【００３４】
図３は、ユーザによりプレゼンテーションモードが選択された際にガンマ補正処理部４０で実行する、ガンマ補正処理で用いるガンマ曲線の１例である。同図で横軸が入力階調値、縦軸が出力階調値である。
【００３５】
また図４は、ユーザによりシネマモードが選択された際に超解像処理部１２で実行する、ガンマ補正処理に用いるガンマ曲線の１例である。同図で横軸が入力階調値、縦軸が出力階調値である。
【００３６】
図３と図４とを比較すると、図３のガンマ曲線は図４のガンマ曲線に比べて意図的に低い入力階調値に対する出力階調値がより暗くなるように設定されている。したがって、図３のガンマ曲線を用いれば画像にメリハリがでてプレゼンテーションを表示するのに適したモードとなる。
【００３７】
また図４のガンマ曲線は図３のガンマ曲線に比べて暗い入力階調部に対する出力階調がより明るくなるように設定されている、したがって、中間の階調をより鮮明に表現でき、映画等を見るのに適したシネマモードとなる。
【００３８】
上記ステップＳ１０１でプレゼンテーションモードが選択されていると判断した場合、ＣＰＵ２６は上記図３に示したガンマ曲線に基づいて、入力された画像信号１フレーム分のガンマ補正処理を実行する（ステップＳ１０２）。
【００３９】
また上記ステップＳ１０１で、選択されているのがプレゼンテーションモードではないと判断した場合、選択されているのはシネマモードであることとなるので、ＣＰＵ２６上記図４に示したガンマ曲線に基づいて、入力された画像信号１フレーム分のガンマ補正処理を実行する（ステップＳ１０３）。
【００４０】
次いでＣＰＵ２６は、上記超解像処理部１２で実行する超解像処理が１フレームを複数のエリアに分割して実行する設定となっているか否かを判断する（ステップＳ１０４）。
【００４１】
ここでエリア分割の設定がなされていないと判断した場合にＣＰＵ２６は、入力される画像信号１フレーム分から１画素当たりの平均輝度を算出する（ステップＳ１０５）。
【００４２】
次いでＣＰＵ２６は、算出した平均輝度から当該フレーム全体の輝度値を、予め設定されている輝度のしきい値Ｔｈ１と当該算出した平均輝度とを比較することで判断する（ステップＳ１０６）。
【００４３】
このとき使用される輝度のしきい値Ｔｈ１は、ＤＬＰ（登録商標）方式のプロジェクタ装置特有の低輝度領域におけるノイズが目立つ部分として、このデータプロジェクタ装置１０の投影特性に応じて投影モード毎に設定される値である。
【００４４】
算出した平均の輝度値がしきい値Ｔｈ１以下であると上記ステップＳ１０６で判断した場合、ＣＰＵ２６は超解像処理部１２により当該フレーム内のすべての画素値に対してユーザにより設定された超解像パラメータよりも弱くした超解像パラメータで超解像処理を実行する（ステップＳ１０７）。
【００４５】
なお本実施形態では、超解像処理のパラメータが弱くなればなるほど超解像度処理を弱く画像値に対して実行し、超解像処理のパラメータが強くなればなるほど超解像処理を強く画像値に対して実行することとする。
【００４６】
ここでの超解像処理におけるパラメータは、超解像効果の強さを示すゲイン値、超解像処理の適応箇所を示すエッジしきい値、ボケ改善の強さの指標となる画像調整用フィルタの各種変更設定を含む。
【００４７】
１フレーム分の画像信号に対する超解像処理を終了した時点で超解像処理部１２による処理を終えたものとし、ＣＰＵ２６は次のフレームの処理に備える。
【００４８】
超解像処理部１２で超解像処理により画像サイズが増大された画像信号は、ＣＰＵ２６の制御の下に投影画像処理部１３でこのデータプロジェクタ装置１０の投影系に適したフォーマットの画像信号に統一され、投影画像駆動部１４へ送られる。
【００４９】
しかして投影画像駆動部１４は、送られてきた画像信号に応じてマイクロミラー素子１５を表示駆動し、光源部１６から時分割で送られてくる原色光の反射光で光像を形成させ、形成した光像を投影レンズ部１８を介して投影対象となる図示しないスクリーンに投影表示させる。
【００５０】
また上記ステップＳ１０６で、算出した平均の輝度値がしきい値Ｔｈ１より大きいと判断した場合、ＣＰＵ２６は超解像処理部１２により当該フレーム内のすべての画素値にユーザにより設定された超解像パラメータをそのまま用いて超解像処理を実行する（ステップＳ１０８）。
【００５１】
ここで超解像処理におけるパラメータも、超解像効果の強さを示すゲイン値、超解像処理の適応箇所を示すエッジしきい値、ボケ改善の強さの指標となる画像調整用フィルタの各種変更設定を含む。
【００５２】
１フレーム分の画像信号に対する超解像処理を終了した時点で超解像処理部１２による処理を終えたものとし、ＣＰＵ２６は次のフレームの処理に備える。
【００５３】
超解像処理部１２で超解像処理により画像サイズが増大された画像信号は、ＣＰＵ２６の制御の下に投影画像処理部１３でこのデータプロジェクタ装置１０の投影系に適したフォーマットの画像信号に統一され、投影画像駆動部１４へ送られる。
【００５４】
しかして投影画像駆動部１４は、送られてきた画像信号に応じてマイクロミラー素子１５を表示駆動し、光源部１６から時分割で送られてくる原色光の反射光で光像を形成させ、形成した光像を投影レンズ部１８を介して投影対象となる図示しないスクリーンに投影表示させる。
【００５５】
すなわち、上記図３を参照して本実施形態の超解像処理を説明すると、画像信号の平均輝度値がしきい値Ｔｈ１よりも低く、画像信号の平均輝度値に対応する上記入力階調値がＩｔｈ１以下となる階調では超解像のパラメータを、画像信号の平均輝度値がしきい値Ｔｈ１よりも高く画像信号の平均輝度値に対応する入力階調値がＩｔｈ１より高い階調で用いられる超解像パラメータよりも弱くなるように設定し、上記フレーム内のすべての画素値に対して超解像処置を行なう。
【００５６】
またステップＳ１０４でエリア分割の設定がなされていると判断した場合にＣＰＵ２６は、入力される画像信号１フレーム内の１つの分割エリアを選択し（ステップＳ１０９）、当該エリアを構成する全画素の階調値から１画素当たりの平均輝度を算出する（ステップＳ１１０）。
【００５７】
次いでＣＰＵ２６は、算出した平均輝度から当該分割エリア全体の輝度値を、予め設定されている輝度のしきい値Ｔｈ１と比較することで判断する（ステップＳ１１１）。
【００５８】
このとき使用される輝度のしきい値Ｔｈ１は、ＤＬＰ（登録商標）方式のプロジェクタ装置特有の低輝度領域におけるノイズが目立つ部分として、このデータプロジェクタ装置１０の投影特性に応じて投影モード毎に設定される値である。
【００５９】
算出した平均の輝度値がしきい値Ｔｈ１以下であると上記ステップＳ１１０で判断した場合、ＣＰＵ２６は超解像処理部１２により対象となる画像信号１フレーム内の１つの当該分割エリア内のすべての画素値にユーザにより設定された超解像パラメータよりも弱くした超解像パラメータで超解像処理を実行する（ステップ１１２）。
【００６０】
選択した分割エリア１つ分の画像信号に対する超解像処理を終了した時点でＣＰＵ２６は、まだ超解像処理部１２によるガンマ補正及び超解像処理を終えていない他の分割エリアがあるか否かを判断し（ステップＳ１１３）、あると判断すると再び上記ステップＳ１０９からの処理に戻る。
【００６１】
また上記ステップＳ１１１で、当該分割エリア内で算出した画素の平均の輝度値がしきい値Ｔｈ１より大きいと判断した場合、ＣＰＵ２６は超解像処理部１２により対象となる画像信号１フレーム内の１つの当該分割エリア内のすべての画素値にユーザにより設定された超解像パラメータで超解像処理を実行する（ステップ１１４）。
【００６２】
選択した分割エリア１つ分の画像信号に対する超解像処理を終了した時点でＣＰＵ２６は、上記ステップＳ１１３に進み、まだ超解像処理部１２によるガンマ補正及び超解像処理を終えていない他の分割エリアがあるか否かを判断する。
【００６３】
こうして分割エリア毎に異なるパラメータ設定での超解像処理を順次実行する。
そして、１フレームを構成する複数の分割エリアすべてに対して同様の処理を実行し終えた時点で、ステップＳ１１２でそれを判断すると、ＣＰＵ２６は１フレーム分の画像信号に対する超解像処理部１２による処理を終えたものとし、次のフレームの処理に備える。
【００６４】
超解像処理部１２で超解像処理により画像サイズが増大された画像信号は、ＣＰＵ２６の制御の下に投影画像処理部１３でこのデータプロジェクタ装置１０の投影系に適したフォーマットの画像信号に統一され、投影画像駆動部１４へ送られる。
【００６５】
しかして投影画像駆動部１４は、送られてきた画像信号に応じてマイクロミラー素子１５を表示駆動し、光源部１６から時分割で送られてくる原色光の反射光で光像を形成させ、形成した光像を投影レンズ部１８を介して投影対象となる図示しないスクリーンに投影表示させる。
【００６６】
すなわち、上記図３を参照して本実施形態の超解像処理を説明すると、入力される画像信号１フレーム内の１つの分割エリアの平均輝度値がしきい値Ｔｈ１よりも低く、この画像信号の平均輝度値に対応する入力階調値がＩｔｈ１以下となる階調の分割エリアにおける超解像のパラメータは、入力される画像信号１フレーム内の１つの分割エリアの平均輝度値がしきい値Ｔｈ１よりも高く、画像信号の平均輝度値に対応する入力階調値がＩｔｈ１より高い階調の分割エリアにおける超解像パラメータよりも弱くなるように設定し、上記分割エリア内の画素値に対して超解像処置を行なう。そして、この処理を全ての分割エリアに対して施すこととなる。
【００６７】
以下、より具体的に、本実施形態において上記ステップＳ１０４でエリア分割の設定がなされていると判断した場合に画像信号１フレームに対してどういう処理をするか説明する。
【００６８】
図５は、本処理によってスクリーンに投影されている１フレームの画像がどのように超解像処理されるかを具体的に示す一例である。本実施形態では図５に示すように、１画面を例えば縦４×横４の計１６の分割エリアに分けるものとする。また、本画像の分割エリア毎に記載された数字はその分割エリアにおける平均輝度値を模式的に現した数値であって、数値が大きくなればなるほど、その分割エリアの平均輝度が高くなるものとする。
【００６９】
例えば、本実施形態でしきい値Ｔｈ１が２と設定されていた場合、本画面における０から２の平均輝度値の分割エリアにおいては、当該分割エリア内のすべての画素値にユーザにより設定された超解像パラメータよりも弱くした超解像パラメータで超解像処理を実行する。そして、本画面における３から５の平均輝度値の分割エリアにおいては、当該分割エリア内のすべての画素値にユーザにより設定された超解像パラメータで超解像処理を実行する。
【００７０】
以上詳述した如く本実施形態によれば、画像信号の平均輝度値に応じて先鋭化の度合いを示すパラメータを切換えるように制御するため、全体に輝度値が低く、超解像処理を施した場合に画質の低下が危惧されるような画像に対しても、量子化によるノイズの影響を軽減して高い画質を得ることが可能となる。
【００７１】
また上記実施形態では、設定に応じて1フレームを複数のエリアに分割して各分割エリア毎に平均輝度を算出し、算出した輝度値に応じて先鋭化の度合いを示すパラメータを切換えるように制御するため、特にフレーム内で明暗の変化が著しい画像に対してもそれぞれの分割エリアで最適なパラメータに基づく超解像処理を実現できる。
【００７２】
さらに上記実施形態では説明しなかったが、画像信号からそのフレーム間は分割エリアの輝度分布を示すヒストグラムを算出し、算出したヒストグラムから平均輝度を求めるものとすれば、必要により取得されるヒストグラムを援用することで平均輝度を求めるための処理をより簡易化することができる。
【００７３】
ガンマ補正後の投影に適したガンマ特性を有する画像信号に基づいてノイズ等を考慮した一定のしきい値を用いることで、その装置固有の投影光学特性からノイズの発生が顕著となるような状態を確実に回避できる。
【００７４】
また上記実施形態では詳述しなかったが、一般にプレゼンテーションモード等の画像の明るさを優先する投影モードと、一般にシネマモード等の明るさよりも色彩を優先する投影モードなどを選択可能な装置において、選択した投影モードに応じて上記しきい値を可変設定することで、必要とされる超解像処理による先鋭度を考慮した効率的な処理を実現できる。
【００７５】
なお、シネマモードを選択した時の方がプレゼンテーションモードを選択した時に比べて平均輝度のしきい値Ｔｈ１を低く設定するとよい。これはプレゼンテーション等の明るさを優先する画像を表示する時と比べて、映画等の色彩を優先する画像を鑑賞する際の方が高先鋭画像が必要となり、出来るだけ強く超解像度処理を１フレーム内の画素値に対して印加したいからである。
【００７６】
また、本実施形態のガンマ補正はプレゼンテーションモードかシネマモードの２種類のうちのどちらかを選択する構成となっていたが、その他に複数用意された投影モードから一つを選択し、選択された投影モードに対応したガンマ補正を画像信号に対して施し、その投影モードに応じたしきい値を用いて超解像処理の強弱を決めても良いし、さらに、ユーザが自由に設定した投影設定に基くガンマ補正を画像信号に施し、その投影設定に応じたしきい値を用いて超解像処理の強弱を決めるような構成にしても良い。
【００７７】
なお上記実施形態は、１枚のマイクロミラー素子１５を用いた、いわゆる単板式のＤＬＰ（登録商標）方式によるデータプロジェクタ装置１０に適用した場合について説明したものであるが、本発明は単板式、３板式等を問わずＤＬＰ（登録商標）方式、あるいはＬＣＯＳ方式のプロジェクタにおいても同様に適用可能となる。
【００７８】
また、上述したしきい値Ｔｈ１は、図３または図４に記載されたようなガンマ曲線の出力階調値において、その出力階調値の最低値を原点として、当該出力階調値の最低値から最高値までの階調幅の５％の範囲内に設定されていると良い。この範囲内においては画像の先鋭さに影響を殆ど与えないため、上記しきい値を当該範囲内に設定すれば画像の先鋭具合に影響を与えることなくノイズを目立たなくさせることができる。
【００７９】
また上記実施形態では、図３に図示されるようなプレゼンテーションモードが選択された場合、及び図４に示されるようなシネマモードが選択された場合のように、当該投影モードで用いるガンマ曲線に対応する階調制御が施された画像信号に対して同様の処理を実行する。
【００８０】
なお、上記実施形態の図５において、１画面を縦４×横４の計１６の分割エリアに分けるものとしたが、自由に分割エリアの分割数を変更してよいことは勿論であり、分割エリアの分割数を多くすればするほど、その１画面全面に対して、輝度に応じた超解像処理を精度良く行なうことが可能となる。
【００８１】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【００８２】
以下に、本願出願の当所の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理手段と、上記入力した画像信号の平均輝度を算出する算出手段と、上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段と、上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段と、上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段とを具備したことを特徴とする。
【００８３】
請求項２記載の発明は、上記請求項１記載の発明において、上記算出手段は、画像信号を複数の領域を分割して領域毎に平均輝度を算出し、上記判定手段は、上記領域毎に算出した平均輝度を予め設定した上記しきい値と比較してその大小を判定し、上記超解像制御手段は、上記設定手段で設定したパラメータに基づいて領域毎に上記超解像処理手段を実行させることを特徴とする。
【００８４】
請求項３記載の発明は、上記請求項１または２記載の発明において、上記入力した画像信号の輝度ヒストグラムを取得するヒストグラム取得手段をさらに具備し、上記算出手段は、上記ヒストグラム取得手段で得た輝度ヒストグラムから平均輝度を算出することを特徴とする。
【００８５】
請求項４記載の発明は、上記請求項１記載の発明において、上記入力した画像信号に対する輝度階調をガンマ補正するガンマ補正手段をさらに具備し、上記判定手段は、上記ガンマ補正手段によりガンマ補正した後の平均輝度に対して上記しきい値との大小を判定することを特徴とする。
【００８６】
請求項５記載の発明は、入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理手段と、上記入力した画像信号の平均輝度を算出する算出手段と、上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段と、上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段と、上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段と、上記超解像処理を施した画像信号に基づいた光像を形成して投影する投影手段とを具備したことを特徴とする。
【００８７】
請求項６記載の発明は、上記請求項５記載の発明において、上記投影手段は、投影する画像の明るさを優先する投影モードと色彩を優先する投影モードとを選択的に有し、上記判定手段は、上記投影手段での投影モードに応じて上記しきい値を可変設定することを特徴とする。
【００８８】
請求項７記載の発明は、入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、上記入力した画像信号の平均輝度を算出する算出手段、上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段、上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段、及び上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段として機能させることを特徴とする。
【符号の説明】
【００８９】
１０…データプロジェクタ装置、１１…入力部、１２…超解像処理部、１３…投影画像処理部（スケーラ）、１４…投影画像駆動部、１５…マイクロミラー素子、１６…光源部、１７…ミラー、１８…投影レンズ部、１９…緑色レーザダイオード（Ｇ−ＬＤ）、２０…赤色発光ダイオード（Ｒ−ＬＥＤ）、２１…青色レーザダイオード（Ｂ−ＬＤ）、２２，２３…ダイクロイックミラー、２４…ミラー、２５…投影光駆動部、２６…ＣＰＵ、２７…メインメモリ、２８…プログラムメモリ、２９…操作部、３０…音声処理部、３１…スピーカ部、４０…ガンマ補正処理部、ＳＢ…システムバス。
【特許請求の範囲】
【請求項１】
入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理手段と、
上記入力した画像信号の平均輝度を算出する算出手段と、
上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段と、
上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段と、
上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段と
を具備したことを特徴とする画像処理装置。
【請求項２】
上記算出手段は、画像信号を複数の領域を分割して領域毎に平均輝度を算出し、
上記判定手段は、上記領域毎に算出した平均輝度を予め設定した上記しきい値と比較してその大小を判定し、
上記超解像制御手段は、上記設定手段で設定したパラメータに基づいて領域毎に上記超解像処理手段を実行させる
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記入力した画像信号の輝度ヒストグラムを取得するヒストグラム取得手段をさらに具備し、
上記算出手段は、上記ヒストグラム取得手段で得た輝度ヒストグラムから平均輝度を算出する
ことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
上記入力した画像信号に対する輝度階調をガンマ補正するガンマ補正手段をさらに具備し、
上記判定手段は、上記ガンマ補正手段によりガンマ補正した後の平均輝度に対して上記しきい値との大小を判定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理手段と、
上記入力した画像信号の平均輝度を算出する算出手段と、
上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段と、
上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段と、
上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段と、
上記超解像処理を施した画像信号に基づいた光像を形成して投影する投影手段と
を具備したことを特徴とする投影装置。
【請求項６】
上記投影手段は、投影する画像の明るさを優先する投影モードと色彩を優先する投影モードとを選択的に有し、
上記判定手段は、上記投影手段での投影モードに応じて上記しきい値を可変設定する
ことを特徴とする請求項５記載の投影装置。
【請求項７】
入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理部を備えた装置が内蔵するコンピュータが実行するプログラムであって、
上記コンピュータを、
上記入力した画像信号の平均輝度を算出する算出手段、
上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段、
上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段、及び
上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段
として機能させることを特徴とするプログラム。
【請求項１】
入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理手段と、
上記入力した画像信号の平均輝度を算出する算出手段と、
上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段と、
上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段と、
上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段と
を具備したことを特徴とする画像処理装置。
【請求項２】
上記算出手段は、画像信号を複数の領域を分割して領域毎に平均輝度を算出し、
上記判定手段は、上記領域毎に算出した平均輝度を予め設定した上記しきい値と比較してその大小を判定し、
上記超解像制御手段は、上記設定手段で設定したパラメータに基づいて領域毎に上記超解像処理手段を実行させる
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記入力した画像信号の輝度ヒストグラムを取得するヒストグラム取得手段をさらに具備し、
上記算出手段は、上記ヒストグラム取得手段で得た輝度ヒストグラムから平均輝度を算出する
ことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
上記入力した画像信号に対する輝度階調をガンマ補正するガンマ補正手段をさらに具備し、
上記判定手段は、上記ガンマ補正手段によりガンマ補正した後の平均輝度に対して上記しきい値との大小を判定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理手段と、
上記入力した画像信号の平均輝度を算出する算出手段と、
上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段と、
上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段と、
上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段と、
上記超解像処理を施した画像信号に基づいた光像を形成して投影する投影手段と
を具備したことを特徴とする投影装置。
【請求項６】
上記投影手段は、投影する画像の明るさを優先する投影モードと色彩を優先する投影モードとを選択的に有し、
上記判定手段は、上記投影手段での投影モードに応じて上記しきい値を可変設定する
ことを特徴とする請求項５記載の投影装置。
【請求項７】
入力した画像信号に対して画像の先鋭化を含む超解像処理を施す超解像処理部を備えた装置が内蔵するコンピュータが実行するプログラムであって、
上記コンピュータを、
上記入力した画像信号の平均輝度を算出する算出手段、
上記算出手段により算出した平均輝度を予め設定したしきい値と比較してその大小を判定する判定手段、
上記判定手段での判定結果に応じ、上記しきい値より低いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータを、上記しきい値より高いと判定した平均輝度の画像に用いる上記超解像処理の先鋭化に係るパラメータよりも低く設定する設定手段、及び
上記設定手段で設定したパラメータに基づいて上記超解像処理手段を実行させる超解像制御手段
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−６２７４４（Ｐ２０１３−６２７４４Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−２０１０５６（Ｐ２０１１−２０１０５６）
【出願日】平成２３年９月１４日（２０１１．９．１４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１４日（２０１１．９．１４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]