画像処理装置および画像処理方法
【課題】実際に被写体を観察する視点角度及び照明角度の条件下に応じた被写体の表示を可能とする仕組みを提供する。
【解決手段】画像表示装置１１３の表示面を観察する観察者の視線方向と表示面の法線方向とがなす角度である視点角度を取得する視点角度取得部１０３と、表示面を照明する照明の照射方向と表示面の法線方向とがなす角度である照明角度を取得する照明角度取得部１０５と、視点角度取得部１０３により取得された視点角度と、照明角度取得部１０５により取得された照明角度とに基づいて、視点角度と照明角度とにおいて観察される前記被写体の見えを再現する画像を生成する画像生成部１１４と、画像生成部１１４により生成された画像の色補正をする色補正部１１５を備える。
【解決手段】画像表示装置１１３の表示面を観察する観察者の視線方向と表示面の法線方向とがなす角度である視点角度を取得する視点角度取得部１０３と、表示面を照明する照明の照射方向と表示面の法線方向とがなす角度である照明角度を取得する照明角度取得部１０５と、視点角度取得部１０３により取得された視点角度と、照明角度取得部１０５により取得された照明角度とに基づいて、視点角度と照明角度とにおいて観察される前記被写体の見えを再現する画像を生成する画像生成部１１４と、画像生成部１１４により生成された画像の色補正をする色補正部１１５を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察条件を考慮した被写体の表示を行うための画像処理に関する。
【背景技術】
【０００２】
被写体の光沢感等の質感を表現する方法として、例えば、コンピュータグラフィックス（ＣＧ）を用いて被写体の３次元データをモデリングし、質感を表す情報として鏡面反射率や拡散反射率を定義してレンダリング処理を行い、２次元画像を表示する方法がある。一般に、被写体の光沢感等の人が感じる質感は、見る人の視点の変化によって被写体の鏡面反射の状態が変化することによって得られる。従って、上記ＣＧにおいても、視点方向や照明方向を動的に変化させて、被写体の鏡面反射光が動的に変化するようにレンダリング処理を行う必要がある。このレンダリング処理は、多大な演算が必要となるため、リアル感のある被写体の３次元データと質感の情報を上記ＣＧの手法を用いて迅速に作成することは、コンピュータの処理速度が一層向上しても難しい。
【０００３】
一方で、被写体を複数撮影した画像データから被写体の質感を再現する画像を生成する方法が提案されている。例えば、特許文献１では、照明により被写体の鏡面反射状態が異なる被写体の複数の原画像を取得し、取得した原画像を時間軸、または、ディスプレイを観察する視点に応じて切り換えて表示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１３２３５０号公報
【特許文献２】特開平１０−１７８５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、照明方向を複数変化させて被写体の鏡面反射状態が異なる画像を取得しているが、視点を変化させての画像は取得していない。被写体の鏡面反射は、被写体を観察する観察者の視点と被写体を照明する照明方向によって変化するため、特許文献１の方法では、実際に被写体を観察する視点角度、及び照明角度の条件下での鏡面反射を正確に再現することはできない。
【０００６】
本発明は、このような課題に鑑みてなされたものであり、実際に被写体を観察する視点角度及び照明角度の条件下に応じた被写体の表示を可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、被写体の画像を画像表示装置に表示させるための画像処理装置であって、前記画像表示装置の表示面を観察する観察者の視線方向と前記表示面の法線方向とがなす角度である視点角度を取得する視点角度取得手段と、前記表示面を照明する照明の照射方向と前記表示面の法線方向とがなす角度である照明角度を取得する照明角度取得手段と、前記視点角度取得手段により取得された視点角度と、前記照明角度取得手段により取得された照明角度とに基づいて、前記視点角度と前記照明角度とにおいて観察される前記被写体の見えを再現する画像を生成する生成手段と、前記生成手段により生成された画像の色補正をする色補正手段とを有する。
【発明の効果】
【０００８】
本発明によれば、実際に被写体を観察する視点角度及び照明角度の条件下に応じた被写体の表示が可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態で使用されるデータの流れの一例を示す模式図である。
【図２】第１の実施形態に係る画像処理システムの概略構成の一例を示すブロック図である。
【図３】第１の実施形態に係る画像処理装置において実行される画像処理方法の処理手順の一例を示すフローチャートである。
【図４】第１の実施形態を示し、画像保持部で保持する画像データ、及び、その取得方法の一例を示す模式図である。
【図５】第１の実施形態を示し、表示用プロファイルの一例を示す模式図である。
【図６】図３のステップＳ１で行われる視点角度取得処理の詳細な処理手順の一例を示すフローチャートである。
【図７】図３のステップＳ２で行われる照明角度取得処理の詳細な処理手順の一例を示すフローチャートである。
【図８】第１の実施形態を示し、図３のステップＳ４で行われる画像生成処理の詳細な処理手順の一例を示すフローチャートである。
【図９】図３のステップＳ７で行われる色補正処理の詳細な処理手順の一例を示すフローチャートである。
【図１０】第２の実施形態で使用されるデータの流れの一例を示す模式図である。
【図１１】第２の実施形態を示し、画像保持部で保持する画像データ、及び、その取得方法の一例を示す模式図である。
【図１２】第２の実施形態を示し、図３のステップＳ４で行われる画像生成処理の詳細な処理手順の一例を示すフローチャートである。
【図１３】第３の実施形態に係る画像処理システムの概略構成の一例を示すブロック図である。
【図１４】第３の実施形態を示し、ユーザーインターフェースの一例を示す模式図である。
【図１５】その他の実施形態を示し、画像処理装置の機能を画像表示装置内に内蔵した場合の一例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。
【００１１】
（第１の実施形態）
本発明の実施形態を説明するのにあたり、まず、本発明で使用されるデータのフローを、図１を用いて説明する。
図１は、第１の実施形態で使用されるデータの流れの一例を示す模式図である。
【００１２】
本実施形態に係る画像処理装置１０１は、視点角度取得センサ１０２、照明角度取得センサ１０４から、観察者１が画像表示装置１１３を観察する条件下での視点角度７と照明角度６を取得する。そして、画像処理装置１０１は、当該視点角度７と照明角度６とにおいて観察される被写体３の見えを画像表示装置１１３に表示するものである。
【００１３】
本実施形態では、予め複数の視点角度７及び照明角度６で被写体を撮像装置４と照明装置５で撮影した画像データ９を用いて、各センサから取得した視点角度７及び照明角度６に応じた生成画像データ８を生成する。生成画像データ８は、予め複数の視点角度における画像表示装置１１３の色特性を測定器２により表示用プロファイル１１として取得し、視点角度取得センサ１０２から取得した視点角度７に応じて適切なプロファイルを選択して表示画像データ１０を生成する。
以下、実施形態について詳細に説明する。
【００１４】
図２は、第１の実施形態に係る画像処理システムの概略構成の一例を示すブロック図である。
図２に示すように、画像処理システムは、画像処理装置１０１、視点角度取得センサ１０２、照明角度取得センサ１０４、及び、画像表示装置１１３を有して構成されている。
【００１５】
画像処理装置１０１は、画像データを取得し、取得した画像データの処理を行うものである。
視点角度取得センサ１０２は、視点角度７を取得するセンサである。
照明角度取得センサ１０４は、照明角度６を取得するセンサである。
画像表示装置１１３は、表示データを表示するものである。
【００１６】
また、画像処理装置１０１は、視点角度取得部１０３、照明角度取得部１０５、画像保持部１０６、画像取得部１０７、入力用プロファイル保持部１０８、入力用プロファイル取得部１０９を有して構成されている。さらに、画像処理装置１０１は、表示用プロファイル保持部１１０、表示用プロファイル取得部１１１、表示部１１２、画像生成部１１４、色補正部１１５、バッファメモリ１１６を有して構成されている。
【００１７】
視点角度取得部１０３は、視点角度取得センサ１０２から視点角度７を取得する。具体的に、視点角度取得部１０３は、画像表示装置１１３の表示面を観察する観察者１の視線方向と表示面の法線方向とがなす角度である視点角度７を取得する。
照明角度取得部１０５は、照明角度取得センサ１０４から照明角度６を取得する。具体的に、照明角度取得部１０５は、画像表示装置１１３を照明する照明の照射方向と表示面の法線方向とがなす角度である照明角度６を取得する。
【００１８】
画像保持部１０６は、予め複数の視点角度及び照明角度で被写体を撮影した画像データを保持するものである。
画像取得部１０７は、画像保持部１０６に保持されている画像データを取得するものである。本実施形態においては、画像取得部１０７は、複数の視点角度、及び、複数の照明角度の条件下で被写体を観察したときに対応する画像を取得する。
【００１９】
入力用プロファイル保持部１０８は、被写体の撮影に使用したカメラの特性を保持するものである。
入力用プロファイル取得部１０９は、入力用プロファイル保持部１０８に保持されている入力用プロファイルを取得するものである。
【００２０】
表示用プロファイル保持部１１０は、画像表示装置１１３の特性を保持するものである。
表示用プロファイル取得部１１１は、表示用プロファイル保持部１１０に保持されている表示用プロファイルを取得するものである。
【００２１】
表示部１１２は、画像表示装置１１３に表示データを送信するものである。
画像生成部１１４は、観察者の視点角度及び照明角度に応じた画像データを生成するものである。具体的に、画像生成部１１４は、視点角度取得部１０３によって取得した視点角度７と、照明角度取得部１０５によって取得した照明角度６とに基づいて、視点角度７と照明角度６とにおいて観察される被写体の見えを再現する画像を生成する。より詳細に、本実施形態では、画像生成部１１４は、視点角度取得部１０３による視点角度７と、照明角度取得部１０５による照明角度６と、画像取得部１０７による画像とから、視点角度７と照明角度６とにおいて観察される被写体の見えを再現する画像を生成する。
【００２２】
色補正部１１５は、画像生成部１１４で生成された画像データの色補正を行うものである。
バッファメモリ１１６は、演算処理を行うために、一時的に演算結果を保存するメモリである。
【００２３】
なお、本実施形態における画像処理装置１０１のハードウェア構成は、コンピュータなどの公知の技術によって構成可能であるため、ハードウェア構成の詳細な説明は省略する。
【００２４】
＜画像処理装置１０１における動作＞
図３は、第１の実施形態に係る画像処理装置１０１において実行される画像処理方法の処理手順の一例を示すフローチャートである。
【００２５】
まず、ステップＳ１において、視点角度取得部１０３は、視点角度取得センサ１０２を用いて画像表示装置１１３を観察している観察者１の視点角度７を取得する。なお、視点角度取得部１０３におけるステップＳ１の処理の詳細は後述する。
【００２６】
続いて、ステップＳ２において、照明角度取得部１０５は、照明角度取得センサ１０４を用いて画像表示装置１１３を照明している照明装置の照明角度６を取得する。なお、照明角度取得部１０５におけるステップＳ２の処理の詳細は後述する。
【００２７】
続いて、ステップＳ３において、画像取得部１０７は、画像保持部１０６に保存されている、予め複数の視点角度及び照明角度で撮影した画像データを取得する。この撮影画像データは、例えば、図４（ａ），（ｂ）のように、水平及び垂直方向において視線方向と被写体面の法線方向とがなす角度（θ１、θ２）と、照射（照明）方向と被写体面の法線方向とがなす角度（θ３、θ４）を変化させて撮影した画像データである。そして、撮影された画像データは、撮影した視点角度（θ１、θ２）と照明角度（θ３、θ４）の条件に対応付けられて画像保持部１０６に保存される。
【００２８】
図４（ｃ）に、視点角度（θ１、θ２）に対応付けられて保存される画像データの一例を示し、図４（ｄ）に、照明角度（θ３、θ４）に対応付けられて保存される画像データの一例を示す。図４（ｃ）、図４（ｄ）は、視点角度を４９通り、照明角度を４９通りそれぞれ変化させた画像データが保存されており、視点角度が４９通りに対して照明角度を４９通りそれぞれ変化させた、総組み合わせで２４０１枚の画像データが画像保持部１０６に保存される。
【００２９】
なお、本実施形態では、視点角度と照明角度をそれぞれ４９通り変化させた画像を画像保持部１０６に保持させるが、照明角度と照明角度の組み合わせは、これに限定されるものではない。
【００３０】
続いて、ステップＳ４において、画像生成部１１４は、ステップＳ１で取得した視点角度７、及び、ステップＳ２で取得した照明角度６に応じた画像を生成する。生成した画像はバッファメモリ１１６に保存される。なお、画像生成部１１４におけるステップＳ４の処理の詳細は後述する。
【００３１】
続いて、ステップＳ５において、入力用プロファイル取得部１０９は、入力用プロファイル保持部１０８に保持されている入力用プロファイルを取得する。入力用プロファイルには、例えば、撮影画像データのＲＧＢ値を目標ＲＧＢ値に変換するための３×９の数値行列が記述されている。ここで、目標ＲＧＢ値とは、目標ＲＧＢ値を所定の変換式、例えばＡｄｏｂｅＲＧＢ変換式で変換したときに被写体の色を忠実に再現するＲＧＢ値を指す。なお、入力用プロファイルは、特に限定されるものではなく、撮影画像データの色を適切に補正できるものであればよく、撮影画像データのＲＧＢ値と目標ＲＧＢ値との対応関係を記述したルックアップテーブルでもよい。
【００３２】
続いて、ステップＳ６において、表示用プロファイル取得部１１１は、表示用プロファイル保持部１１０に保持されている表示用プロファイルを取得する。表示用プロファイルには、画像表示装置１１３の表示面に対して角度を変化させて測定器を用いて測定したデータが記述されており、例えば、図５のように、測定角度に応じた表示ＲＧＢ値と測定値との対応関係が記述されている。
【００３３】
続いて、ステップＳ７において、色補正部１１５は、入力用プロファイルと表示用プロファイルを用いてステップＳ４で生成した撮影画像データの色補正を実施する。なお、色補正部１１５におけるステップＳ７の色補正処理の詳細は後述する。
【００３４】
続いて、ステップＳ８において、表示部１１２は、ステップＳ７で色補正した画像データを画像表示装置１１３の表示面（ディスプレイ）に表示する。
【００３５】
≪視点角度取得部１０３における動作≫
図６は、図３のステップＳ１で行われる視点角度取得処理の詳細な処理手順の一例を示すフローチャートである。
【００３６】
まず、ステップＳ１０１において、視点角度取得部１０３は、視点角度取得センサ１０２を用いて画像表示装置１１３を観察するユーザである観察者１の観察位置と想定される範囲を撮影する。視点角度取得センサ１０２は、ＣＣＤ等の撮像素子を具備しており、画像表示装置１１３に取り付けられているものとする。なお、視点角度取得センサ１０２の構成は、特に限定されるものではなく、観察者１の顔、目を認識できる画像を撮影できるものであればよく、デジタルカメラであってもデジタルビデオカメラ等であってもよい。
【００３７】
続いて、ステップＳ１０２において、視点角度取得部１０３は、視点角度取得センサ１０２により撮影された画像を取得し、取得した撮影画像より肌色部分を検出して観察者１の顔領域を検出する。なお、顔領域を検出する方法はこれに限定されるものではなく、各種の公知の方法を用いてもよい。
【００３８】
続いて、ステップＳ１０３において、視点角度取得部１０３は、ステップＳ１０２で検出した顔領域からテンプレートマッチング等を用いて目の領域を検出する。なお、目の領域を検出する方法はこれに限定されるものではなく、各種の公知の方法を用いてもよい。
【００３９】
続いて、ステップＳ１０４において、視点角度取得部１０３は、まず、撮影画像の水平方向の中心位置から検出した左右の目の中点までの水平方向の間隔のピクセル数を算出する。そして、視点角度取得部１０３は、算出したピクセル数から、予め求めておいた視点角度と撮影画像の水平方向の中心位置から観察者の左右の目の中点までの水平方向の間隔のピクセル数との対応関係を用いて視点角度を算出する。上記対応関係は、１次元ＬＵＴとしてバッファメモリ１１６に記憶させておくものとする。また、水平方向と同様の処理を垂直方向についても行い、視点角度（θ１、θ２）を算出する。
【００４０】
続いて、ステップＳ１０５において、視点角度取得部１０３は、ステップＳ１０４で算出した視点角度をバッファメモリ１１６に保存する、そして、図６のフローチャートの処理を終了する。
【００４１】
≪照明角度取得部１０５における動作≫
図７は、図３のステップＳ２で行われる照明角度取得処理の詳細な処理手順の一例を示すフローチャートである。
【００４２】
まず、ステップＳ２０１において、照明角度取得部１０５は、照明角度取得センサ１０４を用いて画像表示装置１１３を照明する照明装置の照明位置と想定される範囲を撮影する。照明角度取得センサ１０４は、ＣＣＤ等の撮像素子を具備しており、画像表示装置１１３に取り付けられているものとする。なお、照明角度取得センサ１０４の構成は、特に限定されるものではなく、照明領域を認識できる画像を撮影できるものであればよく、デジタルカメラであってもデジタルビデオカメラ等であってもよい。
【００４３】
続いて、ステップＳ２０２において、照明角度取得部１０５は、照明角度取得センサ１０４により撮影された画像の平均輝度値を算出し、撮影画像中の輝度値において算出した平均輝度値よりも大きい領域を照明領域として検出する。なお、照明領域を検出する方法はこれに限定されるものではなく、例えば、予め輝度値の閾値を設定しておいて当該閾値よりも輝度値が大きい領域を照明領域として検出してもよいし、精度よく照明領域を検出できれば他の方法を用いてもよい。また、輝度値の算出は、下記の数式（１）のように、近似的に算出する。
輝度値Ｙ＝（３＊Ｒ＋６＊Ｇ＋１＊Ｂ）／１０ ・・・（１）
なお、輝度値の算出はこれに限定されるものではなく、例えばプロファイルやＡｄｏｂｅＲＧＢなどの所定の変換式を用いて輝度値を算出してもよい。
【００４４】
続いて、ステップＳ２０３において、照明角度取得部１０５は、まず、撮影画像の水平方向の中心位置から検出した照明領域の中点までの水平方向の間隔のピクセル数を算出する。そして、照明角度取得部１０５は、算出したピクセル数から、予め求めておいた照明角度と撮影画像の水平方向の中心位置から照明領域の中点までの水平方向の間隔のピクセル数との対応関係を用いて照明角度を算出する。上記対応関係は１次元ＬＵＴとしてバッファメモリ１１６に記憶させておくものとする。また、水平方向と同様の処理を垂直方向についても行い、照明角度（θ３、θ４）を算出する。
【００４５】
続いて、ステップＳ２０４において、照明角度取得部１０５は、ステップＳ２０２で検出された全ての照明領域について照明角度を算出したか否かを判断する。この判断の結果、ステップＳ２０２で検出された全ての照明領域については未だ照明角度を算出していない場合には、ステップＳ２０３に戻る。
一方、ステップＳ２０４の判断の結果、ステップＳ２０２で検出された全ての照明領域について照明角度を算出した場合には、ステップＳ２０５に進む。
【００４６】
ステップＳ２０５に進むと、照明角度取得部１０５は、ステップＳ２０３で算出した照明角度をバッファメモリ１１６に保存する。そして、図７のフローチャートの処理を終了する。
【００４７】
≪画像生成部１１４における動作≫
図８は、第１の実施形態を示し、図３のステップＳ４で行われる画像生成処理の詳細な処理手順の一例を示すフローチャートである。
【００４８】
まず、ステップＳ４０１において、画像生成部１１４は、バッファメモリ１１６からステップ１で取得したユーザの視点角度を取得する。
【００４９】
続いて、ステップＳ４０２において、画像生成部１１４は、バッファメモリ１１６からステップ２で取得した照明角度を取得する。
【００５０】
続いて、ステップＳ４０３において、画像生成部１１４は、バッファメモリ１１６から、ステップＳ４０１及びステップＳ４０２で取得した視点角度及び照明角度に一番近い画像データを、ステップＳ３で取得した画像データの中から取得する。なお、画像保持部１０６に保持される画像が少ない場合、表示された被写体の画像において鏡面反射の変化が十分に再現されない場合がある。この場合、各視点角度間、及び、各照明角度間の撮影画像を補間することによって画像を作成してもよい。
【００５１】
続いて、ステップＳ４０４において、画像生成部１１４は、ステップＳ４０３で取得した画像データについて画像の歪みを補正するパース補正を実施する。ここで、パース補正とは、被写体を斜め方向より撮影した画像を正面から撮影したような画像に補正する方法であり、例えば、上記特許文献２のような手法が提案されており、本実施形態では、この方法を用いてパース補正を行う。なお、パース補正はこれに限定されるものではなく、各種の公知の方法を用いてもよい。また、パース補正をより高精度に行うために、レンズ特性に起因する撮影画像の歪曲を補正する処理をプレ処理として行ってもよい。
【００５２】
続いて、ステップＳ４０５において、画像生成部１１４は、ステップＳ４０３で取得した全ての画像についてパース補正を実施したか否かを判断する。この判断の結果、ステップＳ４０３で取得した全ての画像については未だパース補正を実施していない場合には、ステップＳ４０３に戻る。
一方、ステップＳ４０３で取得した全ての画像についてパース補正を実施した場合には、ステップＳ４０６に進む。
【００５３】
ステップＳ４０６に進むと、画像生成部１１４は、ステップＳ４０５でパース補正した（複数の）撮影画像について、下記の数式（２）を用いて平均化処理を行う。
【００５４】
【数１】
【００５５】
続いて、ステップＳ４０７において、画像生成部１１４は、ステップＳ４０６で平均化処理した撮影画像をバッファメモリ１１６に保存する。そして、図８のフローチャートの処理を終了する。
【００５６】
≪色補正部１１５における動作≫
図９は、図３のステップＳ７で行われる色補正処理の詳細な処理手順の一例を示すフローチャートである。
【００５７】
まず、ステップＳ７０１において、色補正部１１５は、ステップＳ５で取得した入力用プロファイルをバッファメモリ１１６から取得する。
【００５８】
続いて、ステップＳ７０２において、色補正部１１５は、ステップＳ６で取得した表示用プロファイルをバッファメモリ１１６から取得する。
【００５９】
続いて、ステップＳ７０３において、色補正部１１５は、ステップＳ２０２で検出した照明領域の各画素において領域内のＲＧＢ値の平均値を算出する。
【００６０】
続いて、ステップＳ７０４において、色補正部１１５は、ステップＳ４で生成した撮影画像データをバッファメモリ１１６から取得する。
【００６１】
続いて、ステップＳ７０５において、色補正部１１５は、ステップＳ７０３で算出した照明領域内のＲＧＢ値とステップＳ７０４で取得した撮影画像データのＲ'Ｇ'Ｂ'値を用いて、ステップＳ７０４で取得した撮影画像データの色を補正する。ここで、Ｒ'Ｇ'Ｂ'値は、ステップＳ７０４で取得した撮影画像データのヒストグラムを算出し、例えばヒストグラム上側５％において出現頻度の最も高い画素値を用いる。求めたＲ'Ｇ'Ｂ'と照明領域内のＲＧＢ値とから、係数Ｒｋ＝Ｒ'／Ｒ、係数Ｇｋ＝Ｇ'／Ｇ、係数Ｂｋ＝Ｂ'／Ｂを算出し、ステップＳ７０４で取得した撮影画像データの各ＲＧＢ値に係数を乗算することにより、撮影画像データの色補正を行う。なお、本実施形態では、予め被写体を撮影する照明の色味と観察する照明の色味が異なることを想定して上記のような補正を行っているが、補正方法はこれに限定されるものではない。例えば、照明光源の色味の違いを補正するプロファイルを光源毎に入力用プロファイル保持部１０８に別途保持させておいて、撮影画像データの色補正を実施してもよい。また、色補正部１１５は、視点角度取得部１０３によって取得した視点角度に応じて画像表示装置１１３に表示する撮影画像の色補正を行ってもよい。
【００６２】
続いて、ステップＳ７０６において、色補正部１１５は、ステップＳ７０５で変換（補正）した撮影画像データから１画素分データを取得する。
【００６３】
続いて、ステップＳ７０７において、色補正部１１５は、ステップＳ７６で取得したＲＧＢ値を入力用プロファイルを用いて変換し、変換したＲＧＢ値をＡｄｏｂｅＲＧＢの変換式でL*a*b*値に変換する。
【００６４】
続いて、ステップＳ７０８において、色補正部１１５は、ステップＳ７０７で変換したL*a*b*値をカラリメトリック色域圧縮処理によって、ステップＳ７０２で取得した表示用プロファイルにおける画像表示装置１１３の色域内に圧縮を行う。ここで、カラリメトリック圧縮とは、画像表示装置１１３内で再現可能な色はそのまま保ち、色域外の色は画像表示装置１１３内で再現可能な最も近い点に圧縮する手法である。なお、ここで用いる色域圧縮処理は、カラリメトリック圧縮に限定されるものではなく、他の方法を用いてもよい。
【００６５】
続いて、ステップＳ７０９において、色補正部１１５は、ステップＳ７０２で取得した表示用プロファイルを用いてステップＳ７０８で圧縮したL*a*b*値に対応するＲＧＢ値を算出する。
【００６６】
続いて、ステップＳ７１０において、色補正部１１５は、全ての画素について色変換を実施したか否かを判断する。この判断の結果、全ての画素については色変換を実施していない場合には、ステップＳ７０６に戻る。
一方、全ての画素について色変換を実施した場合には、ステップＳ７１１に進む。
【００６７】
ステップＳ７１１に進むと、色補正部１１５は、色変換を実施した変換画像をバッファメモリ１１６に保存する。そして、図９のフローチャートの処理を終了する。
【００６８】
以上の説明の通り、本実施形態によれば、観察者の視点角度、及び、照明角度を取得し、取得した各角度に応じた画像データを生成するようにしている。これにより、観察者の観察条件下で実際に被写体を観察した際の質感をディスプレイ（画像表示装置の表示面）に表示できる効果を奏する。
【００６９】
（第２の実施形態）
第１の実施形態では、視点角度と照明角度を変化させて取得した画像を予め保持し、観察者のディスプレイを観察する視点角度及び照明角度をセンサによって検出し、当該各角度データを用いて、予め保持する画像データから表示画像の生成方法について説明した。そして、第２の実施形態では、撮影画像データを準備する負荷を軽減するために、照明角度を変化させて取得した画像データから、観察者がディスプレイを観察する視点角度と照明角度の相対的な位置角度から表示画像の生成方法について説明する。
【００７０】
図１０は、第２の実施形態で使用されるデータの流れの一例を示す模式図である。
第２の実施形態では、図１０に示すように、画像保持部１０６に保持される画像データ９は、カメラ（撮像装置４）の撮影角度が固定で照明角度を変化させた画像が保持される。
【００７１】
また、図１１は、画像保持部１０６に保持する画像データの取得方法、及び、保持される画像データの一例を示す模式図である。図１１（ａ）、図１１（ｂ）に示すように、画像保持部１０６には撮像装置に対して照明装置の水平方向及び垂直方向の角度（ω１、ω２）を変化させて被写体を撮影した画像データが保持される。ここで、第２の実施形態では、第１の実施形態からの差分である画像生成部１１４の動作について新たに説明する。そして、第１の実施形態と同一である他の動作については、説明を省略する。
【００７２】
≪画像生成部１１４における動作≫
図１２は、第２の実施形態を示し、図３のステップＳ４で行われる画像生成処理の詳細な処理手順の一例を示すフローチャートである。
【００７３】
まず、ステップＳ４１１において、画像生成部１１４は、バッファメモリ１１６からステップＳ１で取得した視点角度を取得する。
【００７４】
続いて、ステップＳ４１２において、画像生成部１１４は、バッファメモリ１１６からステップＳ２で取得した照明角度を取得する。
【００７５】
続いて、ステップＳ４１３において、画像生成部１１４は、画像保持部１０６から画像データを取得する。
【００７６】
続いて、ステップＳ４１４において、画像生成部１１４は、まず、ステップＳ４１１及びＳ４１２で取得した視点角度（θ１、θ２）及び照明角度（θ３、θ４）の相対的な位置角度（θ１＋θ３、θ２＋θ４）を算出する。次に、画像生成部１１４は、算出した位置角度に対応する画像データを、ステップＳ４１３で取得した画像データから取得する。なお、画像データを取得する際には、角度が一番近いデータを取得するが、画像保持部１０６に保持される画像が少ない場合、表示された被写体の画像において鏡面反射の変化が十分に再現されない場合がある。この場合、角度間の撮影画像を補間することによって画像を作成してもよい。
【００７７】
続いて、ステップＳ４１５において、画像生成部１１４は、ステップＳ４１４で生成した画像をバッファメモリ１１６に保存する。
【００７８】
以上の説明の通り、本実施形態によれば、観察者の視点角度、及び、照明角度を取得し、視点角度と照明角度の相対的な位置角度を参照して画像データを生成するようにしている。これにより、観察者の観察条件下で実際に被写体を観察した際の色の見えをディスプレイ（画像表示装置の表示面）に表示できる効果を奏する。
【００７９】
（第３の実施形態）
第３の実施形態では、第１の実施形態の画像処理装置を用いて観察者の視点角度や照明角度に応じて画像表示装置１１３に表示画像データを表示する際に、観察者の観察距離や観察角度に制限を設けることを目的とする。画像表示装置１１３から遠く離れた距離に人物がいる場合や観察角度の大きい位置に人物がいた場合に、画像表示装置１１３の正面付近で観察している観察者の表示画像が変化することを防止するためである。
【００８０】
図１３は、第３の実施形態に係る画像処理システムの概略構成の一例を示すブロック図である。
第３の実施形態では、観察角度と観察距離に制限を持たせるために、図１３に示すように、画像処理装置１０１にＵＩ部１１７を更に具備させる。ＵＩ部１１７は、図１４に示すようなユーザーインターフェースを表示する。観察者は、観察距離設定部１４０１に観察距離の上限値を、観察角度設定部１４０２に観察角度の上下限値を設定する。観察者が適用ボタン１４０３を押下すると、画像取得部１０７は、設定された観察距離と観察角度上下限値を読み込み、画像保持部１０６から画像を取得する際に、設定された値よりも観察距離、観察角度が大きい場合には画像データは取得しないように制御を行う。
【００８１】
また、観察距離の算出は、視点角度取得部１０３で検出した左右の目の間隔のピクセル数を計算し、予め求めておいた左右の目の間隔のピクセル数と観察距離の関係の１次元ＬＵＴを用いることで算出する。
【００８２】
（その他の実施形態）
本発明は、上述した実施形態の構成に制限されず、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、図１５に示すように、第１の実施形態で説明した画像処理装置１０１の構成、及び、視点角度取得センサ１０２、照明角度取得センサ１０４を画像表示装置１１３内に内蔵する形態も適用可能である。また、第３の実施形態で示すようなＵＩ部１１７の表示も画像表示装置１１３のリモコンのメニューとして具備させて、観察距離や観察角度の設定を行ってもよい。
【００８３】
≪画像保持部１０６に保持される画像データ≫
上述した実施形態では、視点角度及び照明角度を変化させて被写体を撮影した画像データを予め画像保持部１０６に保持させていたが、被写体の鏡面反射状態が異なる画像をＣＧを用いて作成し、作成したＣＧの画像データを保持させてもよい。
【００８４】
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
【技術分野】
【０００１】
本発明は、観察条件を考慮した被写体の表示を行うための画像処理に関する。
【背景技術】
【０００２】
被写体の光沢感等の質感を表現する方法として、例えば、コンピュータグラフィックス（ＣＧ）を用いて被写体の３次元データをモデリングし、質感を表す情報として鏡面反射率や拡散反射率を定義してレンダリング処理を行い、２次元画像を表示する方法がある。一般に、被写体の光沢感等の人が感じる質感は、見る人の視点の変化によって被写体の鏡面反射の状態が変化することによって得られる。従って、上記ＣＧにおいても、視点方向や照明方向を動的に変化させて、被写体の鏡面反射光が動的に変化するようにレンダリング処理を行う必要がある。このレンダリング処理は、多大な演算が必要となるため、リアル感のある被写体の３次元データと質感の情報を上記ＣＧの手法を用いて迅速に作成することは、コンピュータの処理速度が一層向上しても難しい。
【０００３】
一方で、被写体を複数撮影した画像データから被写体の質感を再現する画像を生成する方法が提案されている。例えば、特許文献１では、照明により被写体の鏡面反射状態が異なる被写体の複数の原画像を取得し、取得した原画像を時間軸、または、ディスプレイを観察する視点に応じて切り換えて表示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１３２３５０号公報
【特許文献２】特開平１０−１７８５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、照明方向を複数変化させて被写体の鏡面反射状態が異なる画像を取得しているが、視点を変化させての画像は取得していない。被写体の鏡面反射は、被写体を観察する観察者の視点と被写体を照明する照明方向によって変化するため、特許文献１の方法では、実際に被写体を観察する視点角度、及び照明角度の条件下での鏡面反射を正確に再現することはできない。
【０００６】
本発明は、このような課題に鑑みてなされたものであり、実際に被写体を観察する視点角度及び照明角度の条件下に応じた被写体の表示を可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、被写体の画像を画像表示装置に表示させるための画像処理装置であって、前記画像表示装置の表示面を観察する観察者の視線方向と前記表示面の法線方向とがなす角度である視点角度を取得する視点角度取得手段と、前記表示面を照明する照明の照射方向と前記表示面の法線方向とがなす角度である照明角度を取得する照明角度取得手段と、前記視点角度取得手段により取得された視点角度と、前記照明角度取得手段により取得された照明角度とに基づいて、前記視点角度と前記照明角度とにおいて観察される前記被写体の見えを再現する画像を生成する生成手段と、前記生成手段により生成された画像の色補正をする色補正手段とを有する。
【発明の効果】
【０００８】
本発明によれば、実際に被写体を観察する視点角度及び照明角度の条件下に応じた被写体の表示が可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態で使用されるデータの流れの一例を示す模式図である。
【図２】第１の実施形態に係る画像処理システムの概略構成の一例を示すブロック図である。
【図３】第１の実施形態に係る画像処理装置において実行される画像処理方法の処理手順の一例を示すフローチャートである。
【図４】第１の実施形態を示し、画像保持部で保持する画像データ、及び、その取得方法の一例を示す模式図である。
【図５】第１の実施形態を示し、表示用プロファイルの一例を示す模式図である。
【図６】図３のステップＳ１で行われる視点角度取得処理の詳細な処理手順の一例を示すフローチャートである。
【図７】図３のステップＳ２で行われる照明角度取得処理の詳細な処理手順の一例を示すフローチャートである。
【図８】第１の実施形態を示し、図３のステップＳ４で行われる画像生成処理の詳細な処理手順の一例を示すフローチャートである。
【図９】図３のステップＳ７で行われる色補正処理の詳細な処理手順の一例を示すフローチャートである。
【図１０】第２の実施形態で使用されるデータの流れの一例を示す模式図である。
【図１１】第２の実施形態を示し、画像保持部で保持する画像データ、及び、その取得方法の一例を示す模式図である。
【図１２】第２の実施形態を示し、図３のステップＳ４で行われる画像生成処理の詳細な処理手順の一例を示すフローチャートである。
【図１３】第３の実施形態に係る画像処理システムの概略構成の一例を示すブロック図である。
【図１４】第３の実施形態を示し、ユーザーインターフェースの一例を示す模式図である。
【図１５】その他の実施形態を示し、画像処理装置の機能を画像表示装置内に内蔵した場合の一例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。
【００１１】
（第１の実施形態）
本発明の実施形態を説明するのにあたり、まず、本発明で使用されるデータのフローを、図１を用いて説明する。
図１は、第１の実施形態で使用されるデータの流れの一例を示す模式図である。
【００１２】
本実施形態に係る画像処理装置１０１は、視点角度取得センサ１０２、照明角度取得センサ１０４から、観察者１が画像表示装置１１３を観察する条件下での視点角度７と照明角度６を取得する。そして、画像処理装置１０１は、当該視点角度７と照明角度６とにおいて観察される被写体３の見えを画像表示装置１１３に表示するものである。
【００１３】
本実施形態では、予め複数の視点角度７及び照明角度６で被写体を撮像装置４と照明装置５で撮影した画像データ９を用いて、各センサから取得した視点角度７及び照明角度６に応じた生成画像データ８を生成する。生成画像データ８は、予め複数の視点角度における画像表示装置１１３の色特性を測定器２により表示用プロファイル１１として取得し、視点角度取得センサ１０２から取得した視点角度７に応じて適切なプロファイルを選択して表示画像データ１０を生成する。
以下、実施形態について詳細に説明する。
【００１４】
図２は、第１の実施形態に係る画像処理システムの概略構成の一例を示すブロック図である。
図２に示すように、画像処理システムは、画像処理装置１０１、視点角度取得センサ１０２、照明角度取得センサ１０４、及び、画像表示装置１１３を有して構成されている。
【００１５】
画像処理装置１０１は、画像データを取得し、取得した画像データの処理を行うものである。
視点角度取得センサ１０２は、視点角度７を取得するセンサである。
照明角度取得センサ１０４は、照明角度６を取得するセンサである。
画像表示装置１１３は、表示データを表示するものである。
【００１６】
また、画像処理装置１０１は、視点角度取得部１０３、照明角度取得部１０５、画像保持部１０６、画像取得部１０７、入力用プロファイル保持部１０８、入力用プロファイル取得部１０９を有して構成されている。さらに、画像処理装置１０１は、表示用プロファイル保持部１１０、表示用プロファイル取得部１１１、表示部１１２、画像生成部１１４、色補正部１１５、バッファメモリ１１６を有して構成されている。
【００１７】
視点角度取得部１０３は、視点角度取得センサ１０２から視点角度７を取得する。具体的に、視点角度取得部１０３は、画像表示装置１１３の表示面を観察する観察者１の視線方向と表示面の法線方向とがなす角度である視点角度７を取得する。
照明角度取得部１０５は、照明角度取得センサ１０４から照明角度６を取得する。具体的に、照明角度取得部１０５は、画像表示装置１１３を照明する照明の照射方向と表示面の法線方向とがなす角度である照明角度６を取得する。
【００１８】
画像保持部１０６は、予め複数の視点角度及び照明角度で被写体を撮影した画像データを保持するものである。
画像取得部１０７は、画像保持部１０６に保持されている画像データを取得するものである。本実施形態においては、画像取得部１０７は、複数の視点角度、及び、複数の照明角度の条件下で被写体を観察したときに対応する画像を取得する。
【００１９】
入力用プロファイル保持部１０８は、被写体の撮影に使用したカメラの特性を保持するものである。
入力用プロファイル取得部１０９は、入力用プロファイル保持部１０８に保持されている入力用プロファイルを取得するものである。
【００２０】
表示用プロファイル保持部１１０は、画像表示装置１１３の特性を保持するものである。
表示用プロファイル取得部１１１は、表示用プロファイル保持部１１０に保持されている表示用プロファイルを取得するものである。
【００２１】
表示部１１２は、画像表示装置１１３に表示データを送信するものである。
画像生成部１１４は、観察者の視点角度及び照明角度に応じた画像データを生成するものである。具体的に、画像生成部１１４は、視点角度取得部１０３によって取得した視点角度７と、照明角度取得部１０５によって取得した照明角度６とに基づいて、視点角度７と照明角度６とにおいて観察される被写体の見えを再現する画像を生成する。より詳細に、本実施形態では、画像生成部１１４は、視点角度取得部１０３による視点角度７と、照明角度取得部１０５による照明角度６と、画像取得部１０７による画像とから、視点角度７と照明角度６とにおいて観察される被写体の見えを再現する画像を生成する。
【００２２】
色補正部１１５は、画像生成部１１４で生成された画像データの色補正を行うものである。
バッファメモリ１１６は、演算処理を行うために、一時的に演算結果を保存するメモリである。
【００２３】
なお、本実施形態における画像処理装置１０１のハードウェア構成は、コンピュータなどの公知の技術によって構成可能であるため、ハードウェア構成の詳細な説明は省略する。
【００２４】
＜画像処理装置１０１における動作＞
図３は、第１の実施形態に係る画像処理装置１０１において実行される画像処理方法の処理手順の一例を示すフローチャートである。
【００２５】
まず、ステップＳ１において、視点角度取得部１０３は、視点角度取得センサ１０２を用いて画像表示装置１１３を観察している観察者１の視点角度７を取得する。なお、視点角度取得部１０３におけるステップＳ１の処理の詳細は後述する。
【００２６】
続いて、ステップＳ２において、照明角度取得部１０５は、照明角度取得センサ１０４を用いて画像表示装置１１３を照明している照明装置の照明角度６を取得する。なお、照明角度取得部１０５におけるステップＳ２の処理の詳細は後述する。
【００２７】
続いて、ステップＳ３において、画像取得部１０７は、画像保持部１０６に保存されている、予め複数の視点角度及び照明角度で撮影した画像データを取得する。この撮影画像データは、例えば、図４（ａ），（ｂ）のように、水平及び垂直方向において視線方向と被写体面の法線方向とがなす角度（θ１、θ２）と、照射（照明）方向と被写体面の法線方向とがなす角度（θ３、θ４）を変化させて撮影した画像データである。そして、撮影された画像データは、撮影した視点角度（θ１、θ２）と照明角度（θ３、θ４）の条件に対応付けられて画像保持部１０６に保存される。
【００２８】
図４（ｃ）に、視点角度（θ１、θ２）に対応付けられて保存される画像データの一例を示し、図４（ｄ）に、照明角度（θ３、θ４）に対応付けられて保存される画像データの一例を示す。図４（ｃ）、図４（ｄ）は、視点角度を４９通り、照明角度を４９通りそれぞれ変化させた画像データが保存されており、視点角度が４９通りに対して照明角度を４９通りそれぞれ変化させた、総組み合わせで２４０１枚の画像データが画像保持部１０６に保存される。
【００２９】
なお、本実施形態では、視点角度と照明角度をそれぞれ４９通り変化させた画像を画像保持部１０６に保持させるが、照明角度と照明角度の組み合わせは、これに限定されるものではない。
【００３０】
続いて、ステップＳ４において、画像生成部１１４は、ステップＳ１で取得した視点角度７、及び、ステップＳ２で取得した照明角度６に応じた画像を生成する。生成した画像はバッファメモリ１１６に保存される。なお、画像生成部１１４におけるステップＳ４の処理の詳細は後述する。
【００３１】
続いて、ステップＳ５において、入力用プロファイル取得部１０９は、入力用プロファイル保持部１０８に保持されている入力用プロファイルを取得する。入力用プロファイルには、例えば、撮影画像データのＲＧＢ値を目標ＲＧＢ値に変換するための３×９の数値行列が記述されている。ここで、目標ＲＧＢ値とは、目標ＲＧＢ値を所定の変換式、例えばＡｄｏｂｅＲＧＢ変換式で変換したときに被写体の色を忠実に再現するＲＧＢ値を指す。なお、入力用プロファイルは、特に限定されるものではなく、撮影画像データの色を適切に補正できるものであればよく、撮影画像データのＲＧＢ値と目標ＲＧＢ値との対応関係を記述したルックアップテーブルでもよい。
【００３２】
続いて、ステップＳ６において、表示用プロファイル取得部１１１は、表示用プロファイル保持部１１０に保持されている表示用プロファイルを取得する。表示用プロファイルには、画像表示装置１１３の表示面に対して角度を変化させて測定器を用いて測定したデータが記述されており、例えば、図５のように、測定角度に応じた表示ＲＧＢ値と測定値との対応関係が記述されている。
【００３３】
続いて、ステップＳ７において、色補正部１１５は、入力用プロファイルと表示用プロファイルを用いてステップＳ４で生成した撮影画像データの色補正を実施する。なお、色補正部１１５におけるステップＳ７の色補正処理の詳細は後述する。
【００３４】
続いて、ステップＳ８において、表示部１１２は、ステップＳ７で色補正した画像データを画像表示装置１１３の表示面（ディスプレイ）に表示する。
【００３５】
≪視点角度取得部１０３における動作≫
図６は、図３のステップＳ１で行われる視点角度取得処理の詳細な処理手順の一例を示すフローチャートである。
【００３６】
まず、ステップＳ１０１において、視点角度取得部１０３は、視点角度取得センサ１０２を用いて画像表示装置１１３を観察するユーザである観察者１の観察位置と想定される範囲を撮影する。視点角度取得センサ１０２は、ＣＣＤ等の撮像素子を具備しており、画像表示装置１１３に取り付けられているものとする。なお、視点角度取得センサ１０２の構成は、特に限定されるものではなく、観察者１の顔、目を認識できる画像を撮影できるものであればよく、デジタルカメラであってもデジタルビデオカメラ等であってもよい。
【００３７】
続いて、ステップＳ１０２において、視点角度取得部１０３は、視点角度取得センサ１０２により撮影された画像を取得し、取得した撮影画像より肌色部分を検出して観察者１の顔領域を検出する。なお、顔領域を検出する方法はこれに限定されるものではなく、各種の公知の方法を用いてもよい。
【００３８】
続いて、ステップＳ１０３において、視点角度取得部１０３は、ステップＳ１０２で検出した顔領域からテンプレートマッチング等を用いて目の領域を検出する。なお、目の領域を検出する方法はこれに限定されるものではなく、各種の公知の方法を用いてもよい。
【００３９】
続いて、ステップＳ１０４において、視点角度取得部１０３は、まず、撮影画像の水平方向の中心位置から検出した左右の目の中点までの水平方向の間隔のピクセル数を算出する。そして、視点角度取得部１０３は、算出したピクセル数から、予め求めておいた視点角度と撮影画像の水平方向の中心位置から観察者の左右の目の中点までの水平方向の間隔のピクセル数との対応関係を用いて視点角度を算出する。上記対応関係は、１次元ＬＵＴとしてバッファメモリ１１６に記憶させておくものとする。また、水平方向と同様の処理を垂直方向についても行い、視点角度（θ１、θ２）を算出する。
【００４０】
続いて、ステップＳ１０５において、視点角度取得部１０３は、ステップＳ１０４で算出した視点角度をバッファメモリ１１６に保存する、そして、図６のフローチャートの処理を終了する。
【００４１】
≪照明角度取得部１０５における動作≫
図７は、図３のステップＳ２で行われる照明角度取得処理の詳細な処理手順の一例を示すフローチャートである。
【００４２】
まず、ステップＳ２０１において、照明角度取得部１０５は、照明角度取得センサ１０４を用いて画像表示装置１１３を照明する照明装置の照明位置と想定される範囲を撮影する。照明角度取得センサ１０４は、ＣＣＤ等の撮像素子を具備しており、画像表示装置１１３に取り付けられているものとする。なお、照明角度取得センサ１０４の構成は、特に限定されるものではなく、照明領域を認識できる画像を撮影できるものであればよく、デジタルカメラであってもデジタルビデオカメラ等であってもよい。
【００４３】
続いて、ステップＳ２０２において、照明角度取得部１０５は、照明角度取得センサ１０４により撮影された画像の平均輝度値を算出し、撮影画像中の輝度値において算出した平均輝度値よりも大きい領域を照明領域として検出する。なお、照明領域を検出する方法はこれに限定されるものではなく、例えば、予め輝度値の閾値を設定しておいて当該閾値よりも輝度値が大きい領域を照明領域として検出してもよいし、精度よく照明領域を検出できれば他の方法を用いてもよい。また、輝度値の算出は、下記の数式（１）のように、近似的に算出する。
輝度値Ｙ＝（３＊Ｒ＋６＊Ｇ＋１＊Ｂ）／１０ ・・・（１）
なお、輝度値の算出はこれに限定されるものではなく、例えばプロファイルやＡｄｏｂｅＲＧＢなどの所定の変換式を用いて輝度値を算出してもよい。
【００４４】
続いて、ステップＳ２０３において、照明角度取得部１０５は、まず、撮影画像の水平方向の中心位置から検出した照明領域の中点までの水平方向の間隔のピクセル数を算出する。そして、照明角度取得部１０５は、算出したピクセル数から、予め求めておいた照明角度と撮影画像の水平方向の中心位置から照明領域の中点までの水平方向の間隔のピクセル数との対応関係を用いて照明角度を算出する。上記対応関係は１次元ＬＵＴとしてバッファメモリ１１６に記憶させておくものとする。また、水平方向と同様の処理を垂直方向についても行い、照明角度（θ３、θ４）を算出する。
【００４５】
続いて、ステップＳ２０４において、照明角度取得部１０５は、ステップＳ２０２で検出された全ての照明領域について照明角度を算出したか否かを判断する。この判断の結果、ステップＳ２０２で検出された全ての照明領域については未だ照明角度を算出していない場合には、ステップＳ２０３に戻る。
一方、ステップＳ２０４の判断の結果、ステップＳ２０２で検出された全ての照明領域について照明角度を算出した場合には、ステップＳ２０５に進む。
【００４６】
ステップＳ２０５に進むと、照明角度取得部１０５は、ステップＳ２０３で算出した照明角度をバッファメモリ１１６に保存する。そして、図７のフローチャートの処理を終了する。
【００４７】
≪画像生成部１１４における動作≫
図８は、第１の実施形態を示し、図３のステップＳ４で行われる画像生成処理の詳細な処理手順の一例を示すフローチャートである。
【００４８】
まず、ステップＳ４０１において、画像生成部１１４は、バッファメモリ１１６からステップ１で取得したユーザの視点角度を取得する。
【００４９】
続いて、ステップＳ４０２において、画像生成部１１４は、バッファメモリ１１６からステップ２で取得した照明角度を取得する。
【００５０】
続いて、ステップＳ４０３において、画像生成部１１４は、バッファメモリ１１６から、ステップＳ４０１及びステップＳ４０２で取得した視点角度及び照明角度に一番近い画像データを、ステップＳ３で取得した画像データの中から取得する。なお、画像保持部１０６に保持される画像が少ない場合、表示された被写体の画像において鏡面反射の変化が十分に再現されない場合がある。この場合、各視点角度間、及び、各照明角度間の撮影画像を補間することによって画像を作成してもよい。
【００５１】
続いて、ステップＳ４０４において、画像生成部１１４は、ステップＳ４０３で取得した画像データについて画像の歪みを補正するパース補正を実施する。ここで、パース補正とは、被写体を斜め方向より撮影した画像を正面から撮影したような画像に補正する方法であり、例えば、上記特許文献２のような手法が提案されており、本実施形態では、この方法を用いてパース補正を行う。なお、パース補正はこれに限定されるものではなく、各種の公知の方法を用いてもよい。また、パース補正をより高精度に行うために、レンズ特性に起因する撮影画像の歪曲を補正する処理をプレ処理として行ってもよい。
【００５２】
続いて、ステップＳ４０５において、画像生成部１１４は、ステップＳ４０３で取得した全ての画像についてパース補正を実施したか否かを判断する。この判断の結果、ステップＳ４０３で取得した全ての画像については未だパース補正を実施していない場合には、ステップＳ４０３に戻る。
一方、ステップＳ４０３で取得した全ての画像についてパース補正を実施した場合には、ステップＳ４０６に進む。
【００５３】
ステップＳ４０６に進むと、画像生成部１１４は、ステップＳ４０５でパース補正した（複数の）撮影画像について、下記の数式（２）を用いて平均化処理を行う。
【００５４】
【数１】
【００５５】
続いて、ステップＳ４０７において、画像生成部１１４は、ステップＳ４０６で平均化処理した撮影画像をバッファメモリ１１６に保存する。そして、図８のフローチャートの処理を終了する。
【００５６】
≪色補正部１１５における動作≫
図９は、図３のステップＳ７で行われる色補正処理の詳細な処理手順の一例を示すフローチャートである。
【００５７】
まず、ステップＳ７０１において、色補正部１１５は、ステップＳ５で取得した入力用プロファイルをバッファメモリ１１６から取得する。
【００５８】
続いて、ステップＳ７０２において、色補正部１１５は、ステップＳ６で取得した表示用プロファイルをバッファメモリ１１６から取得する。
【００５９】
続いて、ステップＳ７０３において、色補正部１１５は、ステップＳ２０２で検出した照明領域の各画素において領域内のＲＧＢ値の平均値を算出する。
【００６０】
続いて、ステップＳ７０４において、色補正部１１５は、ステップＳ４で生成した撮影画像データをバッファメモリ１１６から取得する。
【００６１】
続いて、ステップＳ７０５において、色補正部１１５は、ステップＳ７０３で算出した照明領域内のＲＧＢ値とステップＳ７０４で取得した撮影画像データのＲ'Ｇ'Ｂ'値を用いて、ステップＳ７０４で取得した撮影画像データの色を補正する。ここで、Ｒ'Ｇ'Ｂ'値は、ステップＳ７０４で取得した撮影画像データのヒストグラムを算出し、例えばヒストグラム上側５％において出現頻度の最も高い画素値を用いる。求めたＲ'Ｇ'Ｂ'と照明領域内のＲＧＢ値とから、係数Ｒｋ＝Ｒ'／Ｒ、係数Ｇｋ＝Ｇ'／Ｇ、係数Ｂｋ＝Ｂ'／Ｂを算出し、ステップＳ７０４で取得した撮影画像データの各ＲＧＢ値に係数を乗算することにより、撮影画像データの色補正を行う。なお、本実施形態では、予め被写体を撮影する照明の色味と観察する照明の色味が異なることを想定して上記のような補正を行っているが、補正方法はこれに限定されるものではない。例えば、照明光源の色味の違いを補正するプロファイルを光源毎に入力用プロファイル保持部１０８に別途保持させておいて、撮影画像データの色補正を実施してもよい。また、色補正部１１５は、視点角度取得部１０３によって取得した視点角度に応じて画像表示装置１１３に表示する撮影画像の色補正を行ってもよい。
【００６２】
続いて、ステップＳ７０６において、色補正部１１５は、ステップＳ７０５で変換（補正）した撮影画像データから１画素分データを取得する。
【００６３】
続いて、ステップＳ７０７において、色補正部１１５は、ステップＳ７６で取得したＲＧＢ値を入力用プロファイルを用いて変換し、変換したＲＧＢ値をＡｄｏｂｅＲＧＢの変換式でL*a*b*値に変換する。
【００６４】
続いて、ステップＳ７０８において、色補正部１１５は、ステップＳ７０７で変換したL*a*b*値をカラリメトリック色域圧縮処理によって、ステップＳ７０２で取得した表示用プロファイルにおける画像表示装置１１３の色域内に圧縮を行う。ここで、カラリメトリック圧縮とは、画像表示装置１１３内で再現可能な色はそのまま保ち、色域外の色は画像表示装置１１３内で再現可能な最も近い点に圧縮する手法である。なお、ここで用いる色域圧縮処理は、カラリメトリック圧縮に限定されるものではなく、他の方法を用いてもよい。
【００６５】
続いて、ステップＳ７０９において、色補正部１１５は、ステップＳ７０２で取得した表示用プロファイルを用いてステップＳ７０８で圧縮したL*a*b*値に対応するＲＧＢ値を算出する。
【００６６】
続いて、ステップＳ７１０において、色補正部１１５は、全ての画素について色変換を実施したか否かを判断する。この判断の結果、全ての画素については色変換を実施していない場合には、ステップＳ７０６に戻る。
一方、全ての画素について色変換を実施した場合には、ステップＳ７１１に進む。
【００６７】
ステップＳ７１１に進むと、色補正部１１５は、色変換を実施した変換画像をバッファメモリ１１６に保存する。そして、図９のフローチャートの処理を終了する。
【００６８】
以上の説明の通り、本実施形態によれば、観察者の視点角度、及び、照明角度を取得し、取得した各角度に応じた画像データを生成するようにしている。これにより、観察者の観察条件下で実際に被写体を観察した際の質感をディスプレイ（画像表示装置の表示面）に表示できる効果を奏する。
【００６９】
（第２の実施形態）
第１の実施形態では、視点角度と照明角度を変化させて取得した画像を予め保持し、観察者のディスプレイを観察する視点角度及び照明角度をセンサによって検出し、当該各角度データを用いて、予め保持する画像データから表示画像の生成方法について説明した。そして、第２の実施形態では、撮影画像データを準備する負荷を軽減するために、照明角度を変化させて取得した画像データから、観察者がディスプレイを観察する視点角度と照明角度の相対的な位置角度から表示画像の生成方法について説明する。
【００７０】
図１０は、第２の実施形態で使用されるデータの流れの一例を示す模式図である。
第２の実施形態では、図１０に示すように、画像保持部１０６に保持される画像データ９は、カメラ（撮像装置４）の撮影角度が固定で照明角度を変化させた画像が保持される。
【００７１】
また、図１１は、画像保持部１０６に保持する画像データの取得方法、及び、保持される画像データの一例を示す模式図である。図１１（ａ）、図１１（ｂ）に示すように、画像保持部１０６には撮像装置に対して照明装置の水平方向及び垂直方向の角度（ω１、ω２）を変化させて被写体を撮影した画像データが保持される。ここで、第２の実施形態では、第１の実施形態からの差分である画像生成部１１４の動作について新たに説明する。そして、第１の実施形態と同一である他の動作については、説明を省略する。
【００７２】
≪画像生成部１１４における動作≫
図１２は、第２の実施形態を示し、図３のステップＳ４で行われる画像生成処理の詳細な処理手順の一例を示すフローチャートである。
【００７３】
まず、ステップＳ４１１において、画像生成部１１４は、バッファメモリ１１６からステップＳ１で取得した視点角度を取得する。
【００７４】
続いて、ステップＳ４１２において、画像生成部１１４は、バッファメモリ１１６からステップＳ２で取得した照明角度を取得する。
【００７５】
続いて、ステップＳ４１３において、画像生成部１１４は、画像保持部１０６から画像データを取得する。
【００７６】
続いて、ステップＳ４１４において、画像生成部１１４は、まず、ステップＳ４１１及びＳ４１２で取得した視点角度（θ１、θ２）及び照明角度（θ３、θ４）の相対的な位置角度（θ１＋θ３、θ２＋θ４）を算出する。次に、画像生成部１１４は、算出した位置角度に対応する画像データを、ステップＳ４１３で取得した画像データから取得する。なお、画像データを取得する際には、角度が一番近いデータを取得するが、画像保持部１０６に保持される画像が少ない場合、表示された被写体の画像において鏡面反射の変化が十分に再現されない場合がある。この場合、角度間の撮影画像を補間することによって画像を作成してもよい。
【００７７】
続いて、ステップＳ４１５において、画像生成部１１４は、ステップＳ４１４で生成した画像をバッファメモリ１１６に保存する。
【００７８】
以上の説明の通り、本実施形態によれば、観察者の視点角度、及び、照明角度を取得し、視点角度と照明角度の相対的な位置角度を参照して画像データを生成するようにしている。これにより、観察者の観察条件下で実際に被写体を観察した際の色の見えをディスプレイ（画像表示装置の表示面）に表示できる効果を奏する。
【００７９】
（第３の実施形態）
第３の実施形態では、第１の実施形態の画像処理装置を用いて観察者の視点角度や照明角度に応じて画像表示装置１１３に表示画像データを表示する際に、観察者の観察距離や観察角度に制限を設けることを目的とする。画像表示装置１１３から遠く離れた距離に人物がいる場合や観察角度の大きい位置に人物がいた場合に、画像表示装置１１３の正面付近で観察している観察者の表示画像が変化することを防止するためである。
【００８０】
図１３は、第３の実施形態に係る画像処理システムの概略構成の一例を示すブロック図である。
第３の実施形態では、観察角度と観察距離に制限を持たせるために、図１３に示すように、画像処理装置１０１にＵＩ部１１７を更に具備させる。ＵＩ部１１７は、図１４に示すようなユーザーインターフェースを表示する。観察者は、観察距離設定部１４０１に観察距離の上限値を、観察角度設定部１４０２に観察角度の上下限値を設定する。観察者が適用ボタン１４０３を押下すると、画像取得部１０７は、設定された観察距離と観察角度上下限値を読み込み、画像保持部１０６から画像を取得する際に、設定された値よりも観察距離、観察角度が大きい場合には画像データは取得しないように制御を行う。
【００８１】
また、観察距離の算出は、視点角度取得部１０３で検出した左右の目の間隔のピクセル数を計算し、予め求めておいた左右の目の間隔のピクセル数と観察距離の関係の１次元ＬＵＴを用いることで算出する。
【００８２】
（その他の実施形態）
本発明は、上述した実施形態の構成に制限されず、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、図１５に示すように、第１の実施形態で説明した画像処理装置１０１の構成、及び、視点角度取得センサ１０２、照明角度取得センサ１０４を画像表示装置１１３内に内蔵する形態も適用可能である。また、第３の実施形態で示すようなＵＩ部１１７の表示も画像表示装置１１３のリモコンのメニューとして具備させて、観察距離や観察角度の設定を行ってもよい。
【００８３】
≪画像保持部１０６に保持される画像データ≫
上述した実施形態では、視点角度及び照明角度を変化させて被写体を撮影した画像データを予め画像保持部１０６に保持させていたが、被写体の鏡面反射状態が異なる画像をＣＧを用いて作成し、作成したＣＧの画像データを保持させてもよい。
【００８４】
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
【特許請求の範囲】
【請求項１】
被写体の画像を画像表示装置に表示させるための画像処理装置であって、
前記画像表示装置の表示面を観察する観察者の視線方向と前記表示面の法線方向とがなす角度である視点角度を取得する視点角度取得手段と、
前記表示面を照明する照明の照射方向と前記表示面の法線方向とがなす角度である照明角度を取得する照明角度取得手段と、
前記視点角度取得手段により取得された視点角度と、前記照明角度取得手段により取得された照明角度とに基づいて、前記視点角度と前記照明角度とにおいて観察される前記被写体の見えを再現する画像を生成する生成手段と、
前記生成手段により生成された画像の色補正をする色補正手段と
を有することを特徴とする画像処理装置。
【請求項２】
複数の視点角度、及び、複数の照明角度の条件下で被写体を観察したときに対応する画像を取得する画像取得手段を更に有し、
前記生成手段は、前記視点角度取得手段により取得された視点角度と、前記照明角度取得手段により取得された照明角度と、前記画像取得手段により取得された画像とから、前記視点角度と前記照明角度とにおいて観察される前記被写体の見えを再現する画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像取得手段で取得する画像は、予め視点角度及び照明角度をそれぞれ変化させて前記被写体を撮影した画像であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像取得手段で取得する画像は、予めＣＧで視点角度及び照明角度をそれぞれ変化させて作成した前記被写体の画像であることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記色補正手段は、前記視点角度取得手段により取得された視点角度に応じて前記表示面に表示する画像の色補正を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項７】
被写体の画像を画像表示装置に表示させるための画像処理方法であって、
前記画像表示装置の表示面を観察する観察者の視線方向と前記表示面の法線方向とがなす角度である視点角度を取得する視点角度取得ステップと、
前記表示面を照明する照明の照射方向と前記表示面の法線方向とがなす角度である照明角度を取得する照明角度取得ステップと、
前記視点角度取得ステップにより取得された視点角度と、前記照明角度取得ステップにより取得された照明角度とに基づいて、前記視点角度と前記照明角度とにおいて観察される前記被写体の見えを再現する画像を生成する生成ステップと、
前記生成ステップにより生成された画像の色補正を行う色補正ステップと
を有することを特徴とする画像処理方法。
【請求項８】
複数の視点角度、及び、複数の照明角度の条件下で被写体を観察したときに対応する画像を取得する画像取得ステップを更に有し、
前記生成ステップでは、前記視点角度取得ステップにより取得された視点角度と、前記照明角度取得ステップにより取得された照明角度と、前記画像取得ステップにより取得された画像とから、前記視点角度と前記照明角度とにおいて観察される前記被写体の見えを再現する画像を生成することを特徴とする請求項７に記載の画像処理方法。
【請求項１】
被写体の画像を画像表示装置に表示させるための画像処理装置であって、
前記画像表示装置の表示面を観察する観察者の視線方向と前記表示面の法線方向とがなす角度である視点角度を取得する視点角度取得手段と、
前記表示面を照明する照明の照射方向と前記表示面の法線方向とがなす角度である照明角度を取得する照明角度取得手段と、
前記視点角度取得手段により取得された視点角度と、前記照明角度取得手段により取得された照明角度とに基づいて、前記視点角度と前記照明角度とにおいて観察される前記被写体の見えを再現する画像を生成する生成手段と、
前記生成手段により生成された画像の色補正をする色補正手段と
を有することを特徴とする画像処理装置。
【請求項２】
複数の視点角度、及び、複数の照明角度の条件下で被写体を観察したときに対応する画像を取得する画像取得手段を更に有し、
前記生成手段は、前記視点角度取得手段により取得された視点角度と、前記照明角度取得手段により取得された照明角度と、前記画像取得手段により取得された画像とから、前記視点角度と前記照明角度とにおいて観察される前記被写体の見えを再現する画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像取得手段で取得する画像は、予め視点角度及び照明角度をそれぞれ変化させて前記被写体を撮影した画像であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像取得手段で取得する画像は、予めＣＧで視点角度及び照明角度をそれぞれ変化させて作成した前記被写体の画像であることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記色補正手段は、前記視点角度取得手段により取得された視点角度に応じて前記表示面に表示する画像の色補正を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項７】
被写体の画像を画像表示装置に表示させるための画像処理方法であって、
前記画像表示装置の表示面を観察する観察者の視線方向と前記表示面の法線方向とがなす角度である視点角度を取得する視点角度取得ステップと、
前記表示面を照明する照明の照射方向と前記表示面の法線方向とがなす角度である照明角度を取得する照明角度取得ステップと、
前記視点角度取得ステップにより取得された視点角度と、前記照明角度取得ステップにより取得された照明角度とに基づいて、前記視点角度と前記照明角度とにおいて観察される前記被写体の見えを再現する画像を生成する生成ステップと、
前記生成ステップにより生成された画像の色補正を行う色補正ステップと
を有することを特徴とする画像処理方法。
【請求項８】
複数の視点角度、及び、複数の照明角度の条件下で被写体を観察したときに対応する画像を取得する画像取得ステップを更に有し、
前記生成ステップでは、前記視点角度取得ステップにより取得された視点角度と、前記照明角度取得ステップにより取得された照明角度と、前記画像取得ステップにより取得された画像とから、前記視点角度と前記照明角度とにおいて観察される前記被写体の見えを再現する画像を生成することを特徴とする請求項７に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１２８７１３（Ｐ２０１２−１２８７１３Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８０３５７（Ｐ２０１０−２８０３５７）
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]