画像処理装置および方法
【課題】 撮像画像を用いた視聴者の位置検出を行うことなく適切に色再現を制御できるようにする。
【解決手段】 画像表示装置の画像表示面の姿勢情報を取得する表示情報取得手段と、前記表示面の姿勢情報に応じた色変換パラメータを用いて、入力画像データに対して色変換処理を行う色変換処理手段と、前記色変換処理された画像データを前記画像表示装置に出力する出力手段とを有することを特徴とする。
【解決手段】 画像表示装置の画像表示面の姿勢情報を取得する表示情報取得手段と、前記表示面の姿勢情報に応じた色変換パラメータを用いて、入力画像データに対して色変換処理を行う色変換処理手段と、前記色変換処理された画像データを前記画像表示装置に出力する出力手段とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は表示面の姿勢情報に応じて色再現を制御するものに関する。
【背景技術】
【０００２】
現在、カラー画像を出力するデバイスとして、ＣＲＴやＬＣＤといった各種の画像表示装置が広く普及している。一般に画像表示装置は、画像が表示されている面（画像表示面）を見る角度（観察角度）によって表示色が変化するという視野角特性を有する。よって、例えば画像表示面を正面から見た場合と斜めから見た場合とでは、同じ画像を出力している場合でもその色が異なって見える。このような視野角特性による色の変化を抑制する方法としては、観察角度に応じて画像表示装置の色再現を補正する技術が従来技術として知られている。（例えば、特許文献１）。この補正技術は、まず撮像手段を用いて撮像した画像から視聴者の顔領域、もしくは、視聴者の持つリモコンから射出される光を検出し、その検出位置に基づいて画像表示面に対する視聴者の観察角度を推定する。そして、表示する画像の彩度や明度を得られた観察角度に応じて補正することにより、視野角特性による色の変化を抑制するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２８３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術において顔領域の検出位置に基づき観察角度を推定する場合、暗い部屋など撮像画像からの顔領域の検出が困難な環境下では、観察角度を算出することができない。また、視聴者が画像表示装置を手に持って画像を観賞する場合には、光を射出するためのリモコンを同時に用いることが困難となるという課題があった。
【０００５】
そこで本発明では、撮像画像を用いた視聴者の位置検出を行うことなく適切に色再現を制御できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本願請求項１記載の発明は、画像表示装置の画像表示面の姿勢情報を取得する表示情報取得手段と、前記表示面の姿勢情報に応じた色変換パラメータを用いて、入力画像データに対して色変換処理を行う色変換処理手段と、前記色変換処理された画像データを前記画像表示装置に出力する出力手段とを有することを特徴とする。
【０００７】
本願請求項４記載の発明は、画像表示装置の画像表示面の姿勢情報を取得する表示情報取得手段と、前記入力画像データに対して色変換処理を行う色変換処理手段と、前記画像表示面の姿勢情報に基づき発光量調整パラメータを決定する決定手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明は、撮像画像を用いた視聴者の位置検出を行うことなく適切に色再現を制御できる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置のシステム構成を示すブロック図である。
【図２】実施例１にかかる概要機能構成を示す図である。
【図３】画像処理の流れを示すフローチャートである。
【図４】実施例１にかかる色変換処理の流れを示すフローチャートである。
【図５】画像表示面の傾きを説明する図である。
【図６】色変換パラメータ作成処理の流れを示すフローチャートである。
【図７】色変換処理の効果を説明する図である。
【図８】色変換パラメータの特性について説明する図である。
【図９】出力デバイス１０９の観察角度に応じた色域を表した図である。
【図１０】実施例２にかかる概要機能構成を示す図である。
【図１１】実施例１にかかる出力画像表示処理の流れを示すフローチャートである。
【図１２】発光量調整パラメータ作成の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
（実施例１）
本実施例では、視聴者の注視点が画像表示面上の定位置（例えば画像表示面の中央）にあると仮定し、画像表示面の傾きから観察角度を推定する。そして、画像表示面上に表示する画像に対し、観察角度に応じた色変換パラメータを用いて色変換処理を施すことにより、視聴者の観察角度に応じて適切に色再現された画像を生成する。
【００１１】
まず、本実施例における画像処理装置のシステム構成例について、図１を用いて説明する。ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤインタフェイス（Ｉ／Ｆ）１０４は、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。入力インタフェイス（Ｉ／Ｆ）１０６は、キーボードやマウス、デジタルカメラ、スキャナなどの入力デバイス１０７を接続する、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。出力インタフェイス（Ｉ／Ｆ）１０８は、画像表示装置などの出力デバイス１０９を接続する、例えばＤＶＩやＨＤＭＩ等の映像出力インタフェイスである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９にデータを送り、表示を実行させることができる。姿勢検出インタフェイス（Ｉ／Ｆ）１１０は、加速度センサや角速度センサなどの姿勢検出装置１１１を接続する、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。姿勢検出装置１１１は出力デバイス１０９の画像表示面に取り付けられており、ＣＰＵ１０１は姿勢検出Ｉ／Ｆ１１０を介して姿勢検出装置１１１から画像表示面の姿勢情報を読み込むことが可能である。
【００１２】
次に、本実施例に係る一連の処理を行う際の概要機能構成について、図２を用いて説明する。図２における部２０１〜２０４の機能は、あらかじめ格納されているプログラムをＣＰＵ１０１が実行することにより実現される。
【００１３】
画像入力部２０１は、入力画像データ２０５を入力デバイス１０７あるいはＲＯＭ１０３、ＨＤＤ１０５などの記憶装置から取得する。表示パラメータ入力部２０２は、画像表示面の姿勢情報を含む表示パラメータ２０６を、姿勢検出装置１１１から取得する。画像処理部２０３は、表示パラメータ２０６に基づき入力画像データ２０５を色変換し、出力画像データ２０７を生成する。画像出力部２０４は、出力画像データ２０７を出力デバイス１０９に出力する。
【００１４】
図３は、画像処理装置における一連の処理の動作手順を示すフローチャートである。図３のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムを、ＲＯＭ１０３あるいはＨＤＤ１０５からＲＡＭ１０２上に読み込んだ後に、ＣＰＵ１０１によって該プログラムを実行することによって当該処理が実施される。
【００１５】
まずステップＳ３０１において、画像入力部２０１はデジタルカメラなどの入力デバイス１０７によって撮像された入力画像データ２０５を取得する。画像入力部２０１は、入力デバイス１０７から入力画像データを取得してもいいし、ＲＯＭ１０３やＨＤＤ１０５などの記憶装置に記憶されている入力画像データを画像入力部２０１が読みだすようにしてもよい。
【００１６】
次にステップＳ３０２において、表示パラメータ入力部２０２は姿勢検出装置１１１から画像表示面の姿勢情報を含む表示パラメータ２０６を取得する。ここで画像表示面の姿勢情報とは、基準状態Ｏからの画像表示面の傾きθである。図５に画像表示面の傾きθの例を示す。図５の例では、画像表示面が視聴者Ｃに正対するよう設置した状態（図中の斜線で示した状態）を基準状態Ｏとしているが、視聴者が自然な姿勢で画像表示面を手に持った状態など、他の状態を基準状態としてもよい。また、同図の例では軸Ｙを回転中心とした角度を画像表示面の傾きθとしているが、他の軸を回転中心としてもよい。取得した表示パラメータ２０６はＲＡＭ１０３などに記憶する。
【００１７】
次にステップＳ３０３において、画像処理部２０３はステップＳ３０２で取得した表示パラメータ２０６に応じた色変換パラメータを用いて入力画像データ２０５に色変換処理を施し、出力画像データ２０７を生成する。視聴者の視点位置および視聴者の注視点が画像表示面上の定位置にあると仮定すると、画像表示面に対する視聴者の観察角度は画像表示面の傾きに等しいと考えられる。そこで本実施例では、表示パラメータ２０６に含まれる画像表示面の傾きθを観察角度θとして用い、色変換処理に用いる色変換パラメータを決定する。
【００１８】
以下、図４に示すフローチャートを用い、画像処理部２０３が行う色変換処理の詳細を説明する。まずステップＳ４０１において、記憶装置に観察角度と対応付けて記憶されている複数の色変換パラメータに基づき、観察角度θに対応する色変換パラメータを決定する。本実施例では色変換パラメータとして色変換ＬＵＴを使用する。
【００１９】
ここで観察角度θとは、ステップＳ３０２で取得した表示パラメータ２０６に含まれる画像表示面の傾きθである。観察角度に応じた色変換パラメータの作成方法については、詳細を後述する。ここで、観察角度θに対応する色変換パラメータが存在しない場合は、θ０＜θ＜θ１を満たす２つの観察角度θ０，θ１に対応する色変換パラメータから、補間処理を用いて観察角度θに対応する色変換パラメータを生成する。また、観察角度θ０，θ１に対応する色変換パラメータも存在しない場合は、対応付けられた観察角度が最もθに近い色変換パラメータを選択する。
【００２０】
例えば、記憶装置に−７０°から７０°までの５°刻みの観察角度に対応付けられた変換パラメータが保持されているものとする。このとき、表示パラメータ２０６に含まれる画像表示面の傾きθが２０°であれば、θ＝２０°に対応する色変換パラメータを選択する。θが２２°の場合は、θ０＝２０°およびθ１＝２５°に対応付けられた色変換パラメータから補間処理によってθ＝２２°に対応する色変換パラメータを生成する。θが８０°の場合は、θ＝７０°に対応付けられた色変換パラメータを選択する。なお、色変換パラメータを予め用意する際の、対応する観察角度の範囲および間隔は上述した例に限定されるものではなく、より広くても狭くてもよい。また、観察角度の範囲は上限と下限が０°を中心に対称でなくてもよいし、観察角度の間隔は非均等であってもよい。
【００２１】
次にステップＳ４０２において、ステップＳ４０１で決定された色変換パラメータを用いて入力画像データ２０５の各画素データを変換し、出力画像データ２０７を生成する。なお、入力画像２０５中に色変換ＬＵＴに記述されていないＲＧＢ値がある場合には、その近傍格子点から四面体補間等の補間処理を用いて出力画像の画素値を求めればよい。観察角度と対応づけられて記憶されている色変換パラメータは、視野角特性による色の変化を抑制するため、あるリファレンス角度θｒで画像表示面を見た場合の表示色が、他の観察角度から見た場合にも再現されるように作成する。リファレンスである姿勢における前記画像表示装置の特性と前記作成対象の姿勢における前記画像表示装置の特性とに基づき、色変換パラメータを作成する。
【００２２】
以下、観察角度に応じた色変換パラメータの作成方法について図６のフローチャートを用いて説明する。ただし、本実施例では色変換パラメータを、入力画像データが示されるＲＧＢ値から画像表示装置（出力デバイス１０９）のデバイスＲＧＢ値へ変換する対応関係が記述された３次元色変換ＬＵＴとする。
【００２３】
まずステップＳ６０１において、出力デバイス１０９に依存したデバイスＲＧＢ色空間を格子状に分割して生成した各格子点に相当するＲＧＢ値を出力デバイス１０９に出力する。そして、出力デバイス１０９にて表示された画像を、リファレンス角度θｒと観察角度θの２方向のそれぞれから測定することにより得られたＸＹＺ測定データＸｒおよびＸを格子点のデバイスＲＧＢ値と対応付ける。
【００２４】
ステップＳ６０２では、ステップＳ６０１においてデバイスＲＧＢ値に対応づけられた測定データＸｒおよびＸのＸＹＺ値を、以下の式を用いてＬ＊ａ＊ｂ＊値に変換し、リファレンス角度θｒおよび観察角度θそれぞれのＬ＊ａ＊ｂ＊データＰｒおよびＰを求める。
【００２５】
【数１】
【００２６】
ステップＳ６０３において、まず、Ｓ６０２においてデバイスＲＧＢ値に対応づけられた測定データＸｒのＸＹＺ値から算出された観察角度θのＬ＊ａ＊ｂ＊データＰから、出力デバイス１０９の観察角度θにおける色域を算出する。つぎに、ステップＳ６０１においてデバイスＲＧＢ値に対応づけられているリファレンス角度θｒのＬ＊ａ＊ｂ＊データＰｒを出力デバイス１０９の観察角度θにおける色域内にマッピングし、色域圧縮処理後のＬ＊ａ＊ｂ＊データＰ’を求める。図９は出力デバイス１０９の観察角度に応じた色域を表した図であり、出力デバイス１０９の色域のＣＩＥＬＡＢ空間におけるＬ＊−ａ＊断面を示している。線９１が画像表示面に対して視聴者が正対している場合の色域である。点線９２の色域の観察角度は点破線９３の色域の観察角度に比べて正対に近い角度を有している。出力デバイス１０９は観察角度が正対からずれるほど、視聴者から見える色域は狭くなる。色圧縮処理は、観察角度θの場合の色域外であるがリファレンス角度θｒの色域内であるＬ＊ａ＊ｂ＊値を、観察角度θの場合の色域内のＬ＊ａ＊ｂ＊値に変換する処理である。色域圧縮には種々の方法があるが、例えば視覚的な一致を図る方法として、色域内の色はできる限り圧縮せずに忠実に再現し、色域外の色は色域内の高彩度部へ圧縮して階調性を保持する方法を使用するとよい。
【００２７】
ステップＳ６０４では、色域圧縮処理後のＬ＊ａ＊ｂ＊データＰ’をＸＹＺ値に逆変換する。ステップＳ６０５において、ステップＳ６０１で作成したデバイスＲＧＢ値とＸの対応関係を用いて、Ｐ’のＸＹＺ値に対応するデバイスＲＧＢ値を求める。
【００２８】
ステップＳ６０６では、ステップＳ６０５で得たデバイスＲＧＢ値を、色域圧縮処理前のＬ＊ａ＊ｂ＊データＰｒに対応するデバイスＲＧＢ値に対応づける。
【００２９】
ステップＳ６０２〜Ｓ６０６の処理を、出力デバイス１０９に依存したデバイスＲＧＢ色空間を格子状に分割して生成した各格子点に相当するＲＧＢ値に対応づけられた測定データＸｒのＸＹＺ値のそれぞれに対して行うことにより、観察角度θに応じた色変換ＬＵＴを作成する。
【００３０】
そして、本実施例においては、以上のステップＳ７０１からステップＳ７０６の処理を様々な観察角度について行うことで予め複数の色変換ＬＵＴを作成し、記憶装置に保持しておく。
【００３１】
以上で説明した色変換処理の効果について、図７を用いて説明する。図７（ａ）、（ｂ）に、それぞれ観察角度θｒ、θ（ただし、θｒはリファレンス角度、かつ、θｒ≠θ）に応じて上述の色変換処理により生成された出力画像の例を示す。また、観察角度θｒに対応する出力画像（図７（ａ））を表示した画像表示面を、観察角度＝θｒから見た際の見た目を図７（ｄ）に示す。視聴者の観察角度が任意のθに変化した場合には、表示された画像が図７（ｆ）に示すように観察角度＝θｒから見た場合と同様の色で見えることが期待される。しかしながら、観察角度θｒに対応する出力画像（図７（ａ））を表示した画像表示面を観察角度＝θ（θ≠θｒ）から見た際には、画像表示装置の視野角特性により、図７（ｅ）に示すように色が異なって見えてしまう。これに対し、観察角度θに応じて色再現を補正し生成した出力画像（図７（ｂ））を表示した場合には、画像表示面を観察角度θ°から見た際に、図７（ｆ）に示した色で画像を観賞することができる。
【００３２】
図９を用いて説明したように、観察角度に応じて色域がかわるので、忠実に再現できない色もある。通常、画像表示面を斜めから見た際の色域は正面から見た際の色域に比べて狭いため、正面から見た場合の画像の色を斜めから見た場合にも全く同じ色で再現することはできない。本実施例では、色圧縮処理を行っているので、忠実に再現できない色も再現できる色のなかで見た目が近くなるように再現することができる。
【００３３】
一方、リファレンス角度θｒをその絶対値が大きな値となるように設定することにより、観察角度によらず常に同じ色に見えるように示すことができる。たとえば、リファレンス角度θｒを図９の点破線９３の色域の観察角度に設定した場合、線７１および点線７２の色域は点破線９３の色域より大きいので、線７１および点線７２の観察角度は点破線９３の観察角度から観察した際の色を忠実に再現することができる。しかしながらこの場合、画像表示面を正面から見た場合に再現可能な、画像表示装置が本来持つ広い色域を十分に活かせないこととなる。
【００３４】
そこで、リファレンス角度θｒから見た場合の色に対し、上記のステップＳ４０２において生成した出力画像の色再現精度が予め定めた許容範囲外である場合には、その旨を視聴者に報知するよう構成してもよい。この構成により、リファレンス角度θｒを調節することで、画像表示装置の本来の色域を活かして画像を表示しながら、観察角度θに応じて一定の色再現性を保てなくなった場合には視聴者へ色再現性の低下を知らせることが可能となる。これにより、視聴者は観察角度を変えながら画像表示装置の本来の色域をより広く使った高輝度・高彩度な画像を観賞できるとともに、表示画像の色再現性が低下した場合にはその旨を的確に把握できるという効果を奏する。色再現性低下の報知方法としては、例えば、ステップＳ４０２において明度や彩度を明示的に下げた出力画像を生成することが考えられる。その場合の出力画像２０７と、これを表示した画像表示面を対応する観察角度から見た際の見た目の例を、図７（ｃ）、（ｇ）にそれぞれ示す。この方法以外にも、表示画面注二に色再現性が低下したことを示すマーカが表示されるようにしてもかまわない。
【００３５】
なお、色再現精度の指標としては、リファレンス角度θｒと観察角度θの各角度から画像表示面を見た場合の、表示色の平均色差や色域体積比などが利用可能である。これらの指標の値は、観察角度θが変わるたびにステップＳ４０２において算出すればよい。あるいは、観察角度ごとに予め計算した値を表示パラメータに含めて記憶しておいてもよい。このとき、予め色再現精度が許容範囲外であることが判っている観察角度については、上述のステップＳ６０３における色域圧縮処理の際に目標色の明度や彩度を下げて色変換ＬＵＴを作成し、記憶しておいてもよい。
【００３６】
また、観察角度θの絶対値が大きくなるにつれて明度や彩度の下げ量を大きくすれば、観察角度が一定値を越えた場合に、斜めになるに従い自然と画像表示面が暗くなるよう演出することも可能である。
【００３７】
以上の処理によって得られる色変換ＬＵＴの特性について、図８を用いて説明する。ある入力ＲＧＢ値ｖに対して、観察角度θについて作成した色変換ＬＵＴを用いて色変換処理を行い得られる画像表示装置のデバイスＲＧＢ値をｖθとする。図８（ａ）（ｂ）（ｃ）中の実線および破線は、それぞれｖまたはｖθを画像表示面に出力し、正面（θ＝０）から見た際の明度Ｌ、彩度Ｓ、色相Ｈの例を表す。またこのとき、図８（ｄ）（ｅ）（ｆ）中の実線および破線は、それぞれｖまたはｖθを出力した画像表示面をθだけ傾けた状態で見たときの明度Ｌ、彩度Ｓ、色相Ｈの例を表す。
【００３８】
図８に示す例の場合、ｖを出力した画像表示面をθだけ傾けて見た時の明度Ｌは、画像表示面の視野角特性により図８（ｄ）の破線で示すように正面から傾きが大きくなるにつれ低くなる。これに対し、リファレンス角度θｒにおける色を再現できるθにおいて、色変換ＬＵＴはこの低下を打ち消すように働く。つまり、色変換ＬＵＴはｖを、実線で示すようにどこから見ても明度が一定になるようなｖθに変換する特性を持つ。このとき、ｖθを出力して正面から見た際の明度は図８（ａ）の実線で示すように、正面から傾きが大きくなるにつれて高くなる。また、リファレンス角度θｒにおける色を再現できないθにおいては、例えば図８（ｄ）の実線で示すように、リファレンスとする明度Ｌｒから滑らかに明度が低くなるようなｖθに変換する特性を持つ。
【００３９】
以上のステップＳ４０１からステップＳ４０２の処理により生成した出力画像データ２０７は、ＲＯＭ１０３あるいは容量が大きい場合にはＨＤＤ１０５などに記憶する。最後にステップＳ３０４において、画像表示部２０４は出力画像２０７を出力デバイス１０９へ出力し、画像表示面上に出力画像２０７を表示する。
【００４０】
以上説明した処理制御を行うことで、視聴者の観察角度に応じて適切に画像表示装置の色再現を補正することが可能となる。なお、本実施例では、色変換パラメータとして３次元色変換ＬＵＴを用いて説明したが、入力色信号に対する出力色信号を関連付ける変換マトリクスや変換関数などを用いて実現しても同様の効果を得ることができる。
【００４１】
（実施例２）
実施例１では、画像表示面の傾きに応じ、異なる色変換ＬＵＴを用いて色変換処理を施すことにより、観察角度に応じて画像表示装置の色再現を補正する方法について説明した。本実施例においては、画像表示面の傾きに応じ出力デバイスの発光量を制御することにより、観察角度に応じた色再現の補正を実現する。
【００４２】
実施例２における一連の処理を行う際の概要機能構成について、図１０を用いて説明する。画像入力部２０１と表示パラメータ入力部２０２については、実施例１で図２を用いて説明した内容と同一であるため説明を割愛する。以下、実施例１とは異なる画像処理部９０１及び画像表示部９０４についてその詳細を説明する。画像処理部９０１は、入力画像２０５の各画素値を画像表示装置のデバイスＲＧＢ値へ変換し、出力画像２０７を生成する。そして、画像表示部９０２は、表示パラメータ２０６に基づき出力デバイスの発光量を制御し、出力画像２０７を出力デバイス１０９に表示する。
【００４３】
以下、実施例１と同じく図３に示すフローチャートを用い、処理の詳細について説明する。ただし、ステップＳ３０１の入力画像取得処理とステップＳ３０２の表示パラメータ取得処理は実施例１と同一であるため説明を省略する。
【００４４】
ステップＳ３０３において、画像処理部２０３は入力画像２０５に色変換処理を施し出力画像２０７を生成する。このとき色変換処理に使用する色変換パラメータは、実施例１と異なり表示パラメータによらず同一のものとする。例えば、観察角度θが０°の場合の色変換ＬＵＴを予め作成しておき、これを利用する。なお、ステップＳ３０２の表示パラメータ取得処理とステップＳ３０３色変換処理は、処理の順序を入れ替えても構わない。
【００４５】
ステップＳ３０４において、画像表示部２０４はステップＳ３０２で取得した表示パラメータ２０６に基づき、デバイス制御パラメータを選択する。そして、選択したデバイス制御パラメータと出力画像２０７とを出力デバイス１０９へ出力することにより、観察角度に応じて出力デバイス１０９を制御し画像表示面上に出力画像２０７を表示する。ここでは実施例１と同様に、表示パラメータ２０６に含まれる画像表示面の傾きθを観察角度θとして用い、デバイス制御パラメータを決定する。以下、図１１に示すフローチャートを用い、出力画像表示処理の詳細を説明する。
【００４６】
まずステップＳ１１０１で、予め様々な観察角度について作成し、その角度と対応付けてＲＯＭ１０３やＨＤＤ１０５などの記憶装置に保持しておいた複数のデバイス制御パラメータの中から、観察角度θに対応するデバイス制御パラメータを決定する。具体的な選択方法としては、実施例１で説明したステップＳ４０１の色変換パラメータ選択処理において、色変換パラメータをデバイス制御パラメータに置き換えることにより同様の選択処理が適用可能である。予め記憶装置に保持しておくデバイス制御パラメータは、実施例１と同様、リファレンス角度θｒで画像表示面を見た場合の表示色が、他の観察角度から見た場合にも再現されるように作成する。
【００４７】
以下、デバイス制御パラメータの作成方法について図１２のフローチャートを用いて説明する。ただし、本実施例ではデバイス制御パラメータを、出力デバイス１０９の発光量を調整するための発光量調整パラメータとする。例えば、発光素子の発光量を決める電圧値などを発光量調整パラメータとして使用する。
【００４８】
まずステップＳ１２０１では、リファレンス角度θｒに対する輝度を測定する。具体的には、輝度測定機に対して画像表示面をθｒだけ傾けた状態で輝度を測定する。このとき、画像表示面内に設定した測定領域に対して行う。ただし、本実施例では測定領域を視聴者が注視している画像表示面の中央部とする。以上により、リファレンス角度θｒに対する輝度値を取得する。
【００４９】
続いてステップＳ１２０２では、観察角度θに対する発光量調整パラメータを取得する。具体的には、輝度測定機に対して画像表示面をθだけ傾けた状態で測定領域を測定する。そして、測定した輝度値がステップＳ１２０１で取得したリファレンス角度θｒに対する輝度値と等しくなるように発光量調整パラメータを調整する。輝度値がリファレンス角度θｒに対する輝度値と等しい場合の発光量調整パラメータを、観察角度θに対する発光量調整パラメータとして取得する。
【００５０】
最後にステップＳ１２０３では、Ｓ１２０２で取得した発光量調節パラメータを、対応する観察角度θと関連付けて記憶装置に記憶する。
【００５１】
本実施例においては、以上のステップＳ９０２からステップＳ９０３の処理を様々な観察角度について行うことで、予め複数の発光量調節パラメータを観察角度と対応付けて記憶装置に保持しておく。なお、実施例１と同様に、出力画像２０７の色再現精度が予め定めた許容範囲外である場合には、その旨を視聴者に報知するよう構成してもよい。色再現性低下の報知方法としては、例えば、ステップＳ１１０１において明示的に発光量の小さな発光量制御パラメータを選択することが考えられる。
【００５２】
次にステップＳ１１０２で、ステップＳ１１０１で得たデバイス制御パラメータおよび出力画像２０７を出力デバイス１０９に出力し、デバイス制御パラメータに従い表示パラメータ２０６に応じた発光量で出力画像２０７を表示する。
【００５３】
以上説明した処理制御を行うことで、視聴者の観察角度に応じて適切に画像表示装置の明るさを補正することが可能となる。
【技術分野】
【０００１】
本発明は表示面の姿勢情報に応じて色再現を制御するものに関する。
【背景技術】
【０００２】
現在、カラー画像を出力するデバイスとして、ＣＲＴやＬＣＤといった各種の画像表示装置が広く普及している。一般に画像表示装置は、画像が表示されている面（画像表示面）を見る角度（観察角度）によって表示色が変化するという視野角特性を有する。よって、例えば画像表示面を正面から見た場合と斜めから見た場合とでは、同じ画像を出力している場合でもその色が異なって見える。このような視野角特性による色の変化を抑制する方法としては、観察角度に応じて画像表示装置の色再現を補正する技術が従来技術として知られている。（例えば、特許文献１）。この補正技術は、まず撮像手段を用いて撮像した画像から視聴者の顔領域、もしくは、視聴者の持つリモコンから射出される光を検出し、その検出位置に基づいて画像表示面に対する視聴者の観察角度を推定する。そして、表示する画像の彩度や明度を得られた観察角度に応じて補正することにより、視野角特性による色の変化を抑制するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２８３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術において顔領域の検出位置に基づき観察角度を推定する場合、暗い部屋など撮像画像からの顔領域の検出が困難な環境下では、観察角度を算出することができない。また、視聴者が画像表示装置を手に持って画像を観賞する場合には、光を射出するためのリモコンを同時に用いることが困難となるという課題があった。
【０００５】
そこで本発明では、撮像画像を用いた視聴者の位置検出を行うことなく適切に色再現を制御できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本願請求項１記載の発明は、画像表示装置の画像表示面の姿勢情報を取得する表示情報取得手段と、前記表示面の姿勢情報に応じた色変換パラメータを用いて、入力画像データに対して色変換処理を行う色変換処理手段と、前記色変換処理された画像データを前記画像表示装置に出力する出力手段とを有することを特徴とする。
【０００７】
本願請求項４記載の発明は、画像表示装置の画像表示面の姿勢情報を取得する表示情報取得手段と、前記入力画像データに対して色変換処理を行う色変換処理手段と、前記画像表示面の姿勢情報に基づき発光量調整パラメータを決定する決定手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明は、撮像画像を用いた視聴者の位置検出を行うことなく適切に色再現を制御できる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置のシステム構成を示すブロック図である。
【図２】実施例１にかかる概要機能構成を示す図である。
【図３】画像処理の流れを示すフローチャートである。
【図４】実施例１にかかる色変換処理の流れを示すフローチャートである。
【図５】画像表示面の傾きを説明する図である。
【図６】色変換パラメータ作成処理の流れを示すフローチャートである。
【図７】色変換処理の効果を説明する図である。
【図８】色変換パラメータの特性について説明する図である。
【図９】出力デバイス１０９の観察角度に応じた色域を表した図である。
【図１０】実施例２にかかる概要機能構成を示す図である。
【図１１】実施例１にかかる出力画像表示処理の流れを示すフローチャートである。
【図１２】発光量調整パラメータ作成の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
（実施例１）
本実施例では、視聴者の注視点が画像表示面上の定位置（例えば画像表示面の中央）にあると仮定し、画像表示面の傾きから観察角度を推定する。そして、画像表示面上に表示する画像に対し、観察角度に応じた色変換パラメータを用いて色変換処理を施すことにより、視聴者の観察角度に応じて適切に色再現された画像を生成する。
【００１１】
まず、本実施例における画像処理装置のシステム構成例について、図１を用いて説明する。ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤインタフェイス（Ｉ／Ｆ）１０４は、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。入力インタフェイス（Ｉ／Ｆ）１０６は、キーボードやマウス、デジタルカメラ、スキャナなどの入力デバイス１０７を接続する、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。出力インタフェイス（Ｉ／Ｆ）１０８は、画像表示装置などの出力デバイス１０９を接続する、例えばＤＶＩやＨＤＭＩ等の映像出力インタフェイスである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９にデータを送り、表示を実行させることができる。姿勢検出インタフェイス（Ｉ／Ｆ）１１０は、加速度センサや角速度センサなどの姿勢検出装置１１１を接続する、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。姿勢検出装置１１１は出力デバイス１０９の画像表示面に取り付けられており、ＣＰＵ１０１は姿勢検出Ｉ／Ｆ１１０を介して姿勢検出装置１１１から画像表示面の姿勢情報を読み込むことが可能である。
【００１２】
次に、本実施例に係る一連の処理を行う際の概要機能構成について、図２を用いて説明する。図２における部２０１〜２０４の機能は、あらかじめ格納されているプログラムをＣＰＵ１０１が実行することにより実現される。
【００１３】
画像入力部２０１は、入力画像データ２０５を入力デバイス１０７あるいはＲＯＭ１０３、ＨＤＤ１０５などの記憶装置から取得する。表示パラメータ入力部２０２は、画像表示面の姿勢情報を含む表示パラメータ２０６を、姿勢検出装置１１１から取得する。画像処理部２０３は、表示パラメータ２０６に基づき入力画像データ２０５を色変換し、出力画像データ２０７を生成する。画像出力部２０４は、出力画像データ２０７を出力デバイス１０９に出力する。
【００１４】
図３は、画像処理装置における一連の処理の動作手順を示すフローチャートである。図３のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムを、ＲＯＭ１０３あるいはＨＤＤ１０５からＲＡＭ１０２上に読み込んだ後に、ＣＰＵ１０１によって該プログラムを実行することによって当該処理が実施される。
【００１５】
まずステップＳ３０１において、画像入力部２０１はデジタルカメラなどの入力デバイス１０７によって撮像された入力画像データ２０５を取得する。画像入力部２０１は、入力デバイス１０７から入力画像データを取得してもいいし、ＲＯＭ１０３やＨＤＤ１０５などの記憶装置に記憶されている入力画像データを画像入力部２０１が読みだすようにしてもよい。
【００１６】
次にステップＳ３０２において、表示パラメータ入力部２０２は姿勢検出装置１１１から画像表示面の姿勢情報を含む表示パラメータ２０６を取得する。ここで画像表示面の姿勢情報とは、基準状態Ｏからの画像表示面の傾きθである。図５に画像表示面の傾きθの例を示す。図５の例では、画像表示面が視聴者Ｃに正対するよう設置した状態（図中の斜線で示した状態）を基準状態Ｏとしているが、視聴者が自然な姿勢で画像表示面を手に持った状態など、他の状態を基準状態としてもよい。また、同図の例では軸Ｙを回転中心とした角度を画像表示面の傾きθとしているが、他の軸を回転中心としてもよい。取得した表示パラメータ２０６はＲＡＭ１０３などに記憶する。
【００１７】
次にステップＳ３０３において、画像処理部２０３はステップＳ３０２で取得した表示パラメータ２０６に応じた色変換パラメータを用いて入力画像データ２０５に色変換処理を施し、出力画像データ２０７を生成する。視聴者の視点位置および視聴者の注視点が画像表示面上の定位置にあると仮定すると、画像表示面に対する視聴者の観察角度は画像表示面の傾きに等しいと考えられる。そこで本実施例では、表示パラメータ２０６に含まれる画像表示面の傾きθを観察角度θとして用い、色変換処理に用いる色変換パラメータを決定する。
【００１８】
以下、図４に示すフローチャートを用い、画像処理部２０３が行う色変換処理の詳細を説明する。まずステップＳ４０１において、記憶装置に観察角度と対応付けて記憶されている複数の色変換パラメータに基づき、観察角度θに対応する色変換パラメータを決定する。本実施例では色変換パラメータとして色変換ＬＵＴを使用する。
【００１９】
ここで観察角度θとは、ステップＳ３０２で取得した表示パラメータ２０６に含まれる画像表示面の傾きθである。観察角度に応じた色変換パラメータの作成方法については、詳細を後述する。ここで、観察角度θに対応する色変換パラメータが存在しない場合は、θ０＜θ＜θ１を満たす２つの観察角度θ０，θ１に対応する色変換パラメータから、補間処理を用いて観察角度θに対応する色変換パラメータを生成する。また、観察角度θ０，θ１に対応する色変換パラメータも存在しない場合は、対応付けられた観察角度が最もθに近い色変換パラメータを選択する。
【００２０】
例えば、記憶装置に−７０°から７０°までの５°刻みの観察角度に対応付けられた変換パラメータが保持されているものとする。このとき、表示パラメータ２０６に含まれる画像表示面の傾きθが２０°であれば、θ＝２０°に対応する色変換パラメータを選択する。θが２２°の場合は、θ０＝２０°およびθ１＝２５°に対応付けられた色変換パラメータから補間処理によってθ＝２２°に対応する色変換パラメータを生成する。θが８０°の場合は、θ＝７０°に対応付けられた色変換パラメータを選択する。なお、色変換パラメータを予め用意する際の、対応する観察角度の範囲および間隔は上述した例に限定されるものではなく、より広くても狭くてもよい。また、観察角度の範囲は上限と下限が０°を中心に対称でなくてもよいし、観察角度の間隔は非均等であってもよい。
【００２１】
次にステップＳ４０２において、ステップＳ４０１で決定された色変換パラメータを用いて入力画像データ２０５の各画素データを変換し、出力画像データ２０７を生成する。なお、入力画像２０５中に色変換ＬＵＴに記述されていないＲＧＢ値がある場合には、その近傍格子点から四面体補間等の補間処理を用いて出力画像の画素値を求めればよい。観察角度と対応づけられて記憶されている色変換パラメータは、視野角特性による色の変化を抑制するため、あるリファレンス角度θｒで画像表示面を見た場合の表示色が、他の観察角度から見た場合にも再現されるように作成する。リファレンスである姿勢における前記画像表示装置の特性と前記作成対象の姿勢における前記画像表示装置の特性とに基づき、色変換パラメータを作成する。
【００２２】
以下、観察角度に応じた色変換パラメータの作成方法について図６のフローチャートを用いて説明する。ただし、本実施例では色変換パラメータを、入力画像データが示されるＲＧＢ値から画像表示装置（出力デバイス１０９）のデバイスＲＧＢ値へ変換する対応関係が記述された３次元色変換ＬＵＴとする。
【００２３】
まずステップＳ６０１において、出力デバイス１０９に依存したデバイスＲＧＢ色空間を格子状に分割して生成した各格子点に相当するＲＧＢ値を出力デバイス１０９に出力する。そして、出力デバイス１０９にて表示された画像を、リファレンス角度θｒと観察角度θの２方向のそれぞれから測定することにより得られたＸＹＺ測定データＸｒおよびＸを格子点のデバイスＲＧＢ値と対応付ける。
【００２４】
ステップＳ６０２では、ステップＳ６０１においてデバイスＲＧＢ値に対応づけられた測定データＸｒおよびＸのＸＹＺ値を、以下の式を用いてＬ＊ａ＊ｂ＊値に変換し、リファレンス角度θｒおよび観察角度θそれぞれのＬ＊ａ＊ｂ＊データＰｒおよびＰを求める。
【００２５】
【数１】
【００２６】
ステップＳ６０３において、まず、Ｓ６０２においてデバイスＲＧＢ値に対応づけられた測定データＸｒのＸＹＺ値から算出された観察角度θのＬ＊ａ＊ｂ＊データＰから、出力デバイス１０９の観察角度θにおける色域を算出する。つぎに、ステップＳ６０１においてデバイスＲＧＢ値に対応づけられているリファレンス角度θｒのＬ＊ａ＊ｂ＊データＰｒを出力デバイス１０９の観察角度θにおける色域内にマッピングし、色域圧縮処理後のＬ＊ａ＊ｂ＊データＰ’を求める。図９は出力デバイス１０９の観察角度に応じた色域を表した図であり、出力デバイス１０９の色域のＣＩＥＬＡＢ空間におけるＬ＊−ａ＊断面を示している。線９１が画像表示面に対して視聴者が正対している場合の色域である。点線９２の色域の観察角度は点破線９３の色域の観察角度に比べて正対に近い角度を有している。出力デバイス１０９は観察角度が正対からずれるほど、視聴者から見える色域は狭くなる。色圧縮処理は、観察角度θの場合の色域外であるがリファレンス角度θｒの色域内であるＬ＊ａ＊ｂ＊値を、観察角度θの場合の色域内のＬ＊ａ＊ｂ＊値に変換する処理である。色域圧縮には種々の方法があるが、例えば視覚的な一致を図る方法として、色域内の色はできる限り圧縮せずに忠実に再現し、色域外の色は色域内の高彩度部へ圧縮して階調性を保持する方法を使用するとよい。
【００２７】
ステップＳ６０４では、色域圧縮処理後のＬ＊ａ＊ｂ＊データＰ’をＸＹＺ値に逆変換する。ステップＳ６０５において、ステップＳ６０１で作成したデバイスＲＧＢ値とＸの対応関係を用いて、Ｐ’のＸＹＺ値に対応するデバイスＲＧＢ値を求める。
【００２８】
ステップＳ６０６では、ステップＳ６０５で得たデバイスＲＧＢ値を、色域圧縮処理前のＬ＊ａ＊ｂ＊データＰｒに対応するデバイスＲＧＢ値に対応づける。
【００２９】
ステップＳ６０２〜Ｓ６０６の処理を、出力デバイス１０９に依存したデバイスＲＧＢ色空間を格子状に分割して生成した各格子点に相当するＲＧＢ値に対応づけられた測定データＸｒのＸＹＺ値のそれぞれに対して行うことにより、観察角度θに応じた色変換ＬＵＴを作成する。
【００３０】
そして、本実施例においては、以上のステップＳ７０１からステップＳ７０６の処理を様々な観察角度について行うことで予め複数の色変換ＬＵＴを作成し、記憶装置に保持しておく。
【００３１】
以上で説明した色変換処理の効果について、図７を用いて説明する。図７（ａ）、（ｂ）に、それぞれ観察角度θｒ、θ（ただし、θｒはリファレンス角度、かつ、θｒ≠θ）に応じて上述の色変換処理により生成された出力画像の例を示す。また、観察角度θｒに対応する出力画像（図７（ａ））を表示した画像表示面を、観察角度＝θｒから見た際の見た目を図７（ｄ）に示す。視聴者の観察角度が任意のθに変化した場合には、表示された画像が図７（ｆ）に示すように観察角度＝θｒから見た場合と同様の色で見えることが期待される。しかしながら、観察角度θｒに対応する出力画像（図７（ａ））を表示した画像表示面を観察角度＝θ（θ≠θｒ）から見た際には、画像表示装置の視野角特性により、図７（ｅ）に示すように色が異なって見えてしまう。これに対し、観察角度θに応じて色再現を補正し生成した出力画像（図７（ｂ））を表示した場合には、画像表示面を観察角度θ°から見た際に、図７（ｆ）に示した色で画像を観賞することができる。
【００３２】
図９を用いて説明したように、観察角度に応じて色域がかわるので、忠実に再現できない色もある。通常、画像表示面を斜めから見た際の色域は正面から見た際の色域に比べて狭いため、正面から見た場合の画像の色を斜めから見た場合にも全く同じ色で再現することはできない。本実施例では、色圧縮処理を行っているので、忠実に再現できない色も再現できる色のなかで見た目が近くなるように再現することができる。
【００３３】
一方、リファレンス角度θｒをその絶対値が大きな値となるように設定することにより、観察角度によらず常に同じ色に見えるように示すことができる。たとえば、リファレンス角度θｒを図９の点破線９３の色域の観察角度に設定した場合、線７１および点線７２の色域は点破線９３の色域より大きいので、線７１および点線７２の観察角度は点破線９３の観察角度から観察した際の色を忠実に再現することができる。しかしながらこの場合、画像表示面を正面から見た場合に再現可能な、画像表示装置が本来持つ広い色域を十分に活かせないこととなる。
【００３４】
そこで、リファレンス角度θｒから見た場合の色に対し、上記のステップＳ４０２において生成した出力画像の色再現精度が予め定めた許容範囲外である場合には、その旨を視聴者に報知するよう構成してもよい。この構成により、リファレンス角度θｒを調節することで、画像表示装置の本来の色域を活かして画像を表示しながら、観察角度θに応じて一定の色再現性を保てなくなった場合には視聴者へ色再現性の低下を知らせることが可能となる。これにより、視聴者は観察角度を変えながら画像表示装置の本来の色域をより広く使った高輝度・高彩度な画像を観賞できるとともに、表示画像の色再現性が低下した場合にはその旨を的確に把握できるという効果を奏する。色再現性低下の報知方法としては、例えば、ステップＳ４０２において明度や彩度を明示的に下げた出力画像を生成することが考えられる。その場合の出力画像２０７と、これを表示した画像表示面を対応する観察角度から見た際の見た目の例を、図７（ｃ）、（ｇ）にそれぞれ示す。この方法以外にも、表示画面注二に色再現性が低下したことを示すマーカが表示されるようにしてもかまわない。
【００３５】
なお、色再現精度の指標としては、リファレンス角度θｒと観察角度θの各角度から画像表示面を見た場合の、表示色の平均色差や色域体積比などが利用可能である。これらの指標の値は、観察角度θが変わるたびにステップＳ４０２において算出すればよい。あるいは、観察角度ごとに予め計算した値を表示パラメータに含めて記憶しておいてもよい。このとき、予め色再現精度が許容範囲外であることが判っている観察角度については、上述のステップＳ６０３における色域圧縮処理の際に目標色の明度や彩度を下げて色変換ＬＵＴを作成し、記憶しておいてもよい。
【００３６】
また、観察角度θの絶対値が大きくなるにつれて明度や彩度の下げ量を大きくすれば、観察角度が一定値を越えた場合に、斜めになるに従い自然と画像表示面が暗くなるよう演出することも可能である。
【００３７】
以上の処理によって得られる色変換ＬＵＴの特性について、図８を用いて説明する。ある入力ＲＧＢ値ｖに対して、観察角度θについて作成した色変換ＬＵＴを用いて色変換処理を行い得られる画像表示装置のデバイスＲＧＢ値をｖθとする。図８（ａ）（ｂ）（ｃ）中の実線および破線は、それぞれｖまたはｖθを画像表示面に出力し、正面（θ＝０）から見た際の明度Ｌ、彩度Ｓ、色相Ｈの例を表す。またこのとき、図８（ｄ）（ｅ）（ｆ）中の実線および破線は、それぞれｖまたはｖθを出力した画像表示面をθだけ傾けた状態で見たときの明度Ｌ、彩度Ｓ、色相Ｈの例を表す。
【００３８】
図８に示す例の場合、ｖを出力した画像表示面をθだけ傾けて見た時の明度Ｌは、画像表示面の視野角特性により図８（ｄ）の破線で示すように正面から傾きが大きくなるにつれ低くなる。これに対し、リファレンス角度θｒにおける色を再現できるθにおいて、色変換ＬＵＴはこの低下を打ち消すように働く。つまり、色変換ＬＵＴはｖを、実線で示すようにどこから見ても明度が一定になるようなｖθに変換する特性を持つ。このとき、ｖθを出力して正面から見た際の明度は図８（ａ）の実線で示すように、正面から傾きが大きくなるにつれて高くなる。また、リファレンス角度θｒにおける色を再現できないθにおいては、例えば図８（ｄ）の実線で示すように、リファレンスとする明度Ｌｒから滑らかに明度が低くなるようなｖθに変換する特性を持つ。
【００３９】
以上のステップＳ４０１からステップＳ４０２の処理により生成した出力画像データ２０７は、ＲＯＭ１０３あるいは容量が大きい場合にはＨＤＤ１０５などに記憶する。最後にステップＳ３０４において、画像表示部２０４は出力画像２０７を出力デバイス１０９へ出力し、画像表示面上に出力画像２０７を表示する。
【００４０】
以上説明した処理制御を行うことで、視聴者の観察角度に応じて適切に画像表示装置の色再現を補正することが可能となる。なお、本実施例では、色変換パラメータとして３次元色変換ＬＵＴを用いて説明したが、入力色信号に対する出力色信号を関連付ける変換マトリクスや変換関数などを用いて実現しても同様の効果を得ることができる。
【００４１】
（実施例２）
実施例１では、画像表示面の傾きに応じ、異なる色変換ＬＵＴを用いて色変換処理を施すことにより、観察角度に応じて画像表示装置の色再現を補正する方法について説明した。本実施例においては、画像表示面の傾きに応じ出力デバイスの発光量を制御することにより、観察角度に応じた色再現の補正を実現する。
【００４２】
実施例２における一連の処理を行う際の概要機能構成について、図１０を用いて説明する。画像入力部２０１と表示パラメータ入力部２０２については、実施例１で図２を用いて説明した内容と同一であるため説明を割愛する。以下、実施例１とは異なる画像処理部９０１及び画像表示部９０４についてその詳細を説明する。画像処理部９０１は、入力画像２０５の各画素値を画像表示装置のデバイスＲＧＢ値へ変換し、出力画像２０７を生成する。そして、画像表示部９０２は、表示パラメータ２０６に基づき出力デバイスの発光量を制御し、出力画像２０７を出力デバイス１０９に表示する。
【００４３】
以下、実施例１と同じく図３に示すフローチャートを用い、処理の詳細について説明する。ただし、ステップＳ３０１の入力画像取得処理とステップＳ３０２の表示パラメータ取得処理は実施例１と同一であるため説明を省略する。
【００４４】
ステップＳ３０３において、画像処理部２０３は入力画像２０５に色変換処理を施し出力画像２０７を生成する。このとき色変換処理に使用する色変換パラメータは、実施例１と異なり表示パラメータによらず同一のものとする。例えば、観察角度θが０°の場合の色変換ＬＵＴを予め作成しておき、これを利用する。なお、ステップＳ３０２の表示パラメータ取得処理とステップＳ３０３色変換処理は、処理の順序を入れ替えても構わない。
【００４５】
ステップＳ３０４において、画像表示部２０４はステップＳ３０２で取得した表示パラメータ２０６に基づき、デバイス制御パラメータを選択する。そして、選択したデバイス制御パラメータと出力画像２０７とを出力デバイス１０９へ出力することにより、観察角度に応じて出力デバイス１０９を制御し画像表示面上に出力画像２０７を表示する。ここでは実施例１と同様に、表示パラメータ２０６に含まれる画像表示面の傾きθを観察角度θとして用い、デバイス制御パラメータを決定する。以下、図１１に示すフローチャートを用い、出力画像表示処理の詳細を説明する。
【００４６】
まずステップＳ１１０１で、予め様々な観察角度について作成し、その角度と対応付けてＲＯＭ１０３やＨＤＤ１０５などの記憶装置に保持しておいた複数のデバイス制御パラメータの中から、観察角度θに対応するデバイス制御パラメータを決定する。具体的な選択方法としては、実施例１で説明したステップＳ４０１の色変換パラメータ選択処理において、色変換パラメータをデバイス制御パラメータに置き換えることにより同様の選択処理が適用可能である。予め記憶装置に保持しておくデバイス制御パラメータは、実施例１と同様、リファレンス角度θｒで画像表示面を見た場合の表示色が、他の観察角度から見た場合にも再現されるように作成する。
【００４７】
以下、デバイス制御パラメータの作成方法について図１２のフローチャートを用いて説明する。ただし、本実施例ではデバイス制御パラメータを、出力デバイス１０９の発光量を調整するための発光量調整パラメータとする。例えば、発光素子の発光量を決める電圧値などを発光量調整パラメータとして使用する。
【００４８】
まずステップＳ１２０１では、リファレンス角度θｒに対する輝度を測定する。具体的には、輝度測定機に対して画像表示面をθｒだけ傾けた状態で輝度を測定する。このとき、画像表示面内に設定した測定領域に対して行う。ただし、本実施例では測定領域を視聴者が注視している画像表示面の中央部とする。以上により、リファレンス角度θｒに対する輝度値を取得する。
【００４９】
続いてステップＳ１２０２では、観察角度θに対する発光量調整パラメータを取得する。具体的には、輝度測定機に対して画像表示面をθだけ傾けた状態で測定領域を測定する。そして、測定した輝度値がステップＳ１２０１で取得したリファレンス角度θｒに対する輝度値と等しくなるように発光量調整パラメータを調整する。輝度値がリファレンス角度θｒに対する輝度値と等しい場合の発光量調整パラメータを、観察角度θに対する発光量調整パラメータとして取得する。
【００５０】
最後にステップＳ１２０３では、Ｓ１２０２で取得した発光量調節パラメータを、対応する観察角度θと関連付けて記憶装置に記憶する。
【００５１】
本実施例においては、以上のステップＳ９０２からステップＳ９０３の処理を様々な観察角度について行うことで、予め複数の発光量調節パラメータを観察角度と対応付けて記憶装置に保持しておく。なお、実施例１と同様に、出力画像２０７の色再現精度が予め定めた許容範囲外である場合には、その旨を視聴者に報知するよう構成してもよい。色再現性低下の報知方法としては、例えば、ステップＳ１１０１において明示的に発光量の小さな発光量制御パラメータを選択することが考えられる。
【００５２】
次にステップＳ１１０２で、ステップＳ１１０１で得たデバイス制御パラメータおよび出力画像２０７を出力デバイス１０９に出力し、デバイス制御パラメータに従い表示パラメータ２０６に応じた発光量で出力画像２０７を表示する。
【００５３】
以上説明した処理制御を行うことで、視聴者の観察角度に応じて適切に画像表示装置の明るさを補正することが可能となる。
【特許請求の範囲】
【請求項１】
画像表示装置の画像表示面の姿勢情報を取得する表示情報取得手段と、
前記表示面の姿勢情報に応じた色変換パラメータを用いて、入力画像データに対して色変換処理を行う色変換処理手段と、
前記色変換処理された画像データを前記画像表示装置に出力する出力手段とを有することを特徴とする画像処理装置。
【請求項２】
前記色変換パラメータは、リファレンスである姿勢における前記画像表示装置の特性と前記作成対象の姿勢における前記画像表示装置の特性とに基づき、作成されることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記色変換処理手段の結果の色再現精度が予め定めた許容範囲外である場合は、ユーザに報知する報知する報知手段を有することを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
画像表示装置の画像表示面の姿勢情報を取得する表示情報取得手段と、
前記入力画像データに対して色変換処理を行う色変換処理手段と、
前記画像表示面の姿勢情報に基づき発光量調整パラメータを決定する決定手段とを有することを特徴とする画像処理装置。
【請求項５】
画像表示装置の画像表示面の姿勢情報を取得する表示情報取得工程と、
前記表示面の姿勢情報に応じた色変換パラメータを用いて、入力画像データに対して色変換処理を行う色変換処理工程と、
前記色変換処理された画像データを前記画像表示装置に出力する出力工程とを有することを特徴とする画像処理方法。
【請求項６】
画像表示装置の画像表示面の姿勢情報を取得する表示情報取得工程と、
前記入力画像データに対して色変換処理を行う色変換処理工程と、
前記画像表示面の姿勢情報に基づき発光量調整パラメータを決定する決定工程とを有することを特徴とする画像処理方法。
【請求項７】
コンピュータを請求項５または６に記載の画像処理方法として機能させるためのプログラム。
【請求項１】
画像表示装置の画像表示面の姿勢情報を取得する表示情報取得手段と、
前記表示面の姿勢情報に応じた色変換パラメータを用いて、入力画像データに対して色変換処理を行う色変換処理手段と、
前記色変換処理された画像データを前記画像表示装置に出力する出力手段とを有することを特徴とする画像処理装置。
【請求項２】
前記色変換パラメータは、リファレンスである姿勢における前記画像表示装置の特性と前記作成対象の姿勢における前記画像表示装置の特性とに基づき、作成されることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記色変換処理手段の結果の色再現精度が予め定めた許容範囲外である場合は、ユーザに報知する報知する報知手段を有することを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
画像表示装置の画像表示面の姿勢情報を取得する表示情報取得手段と、
前記入力画像データに対して色変換処理を行う色変換処理手段と、
前記画像表示面の姿勢情報に基づき発光量調整パラメータを決定する決定手段とを有することを特徴とする画像処理装置。
【請求項５】
画像表示装置の画像表示面の姿勢情報を取得する表示情報取得工程と、
前記表示面の姿勢情報に応じた色変換パラメータを用いて、入力画像データに対して色変換処理を行う色変換処理工程と、
前記色変換処理された画像データを前記画像表示装置に出力する出力工程とを有することを特徴とする画像処理方法。
【請求項６】
画像表示装置の画像表示面の姿勢情報を取得する表示情報取得工程と、
前記入力画像データに対して色変換処理を行う色変換処理工程と、
前記画像表示面の姿勢情報に基づき発光量調整パラメータを決定する決定工程とを有することを特徴とする画像処理方法。
【請求項７】
コンピュータを請求項５または６に記載の画像処理方法として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−４２８８３（Ｐ２０１２−４２８８３Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８６４６３（Ｐ２０１０−１８６４６３）
【出願日】平成２２年８月２３日（２０１０．８．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月２３日（２０１０．８．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]