画像処理方法、画像処理プログラム、画像処理装置、カメラ
【課題】入力画像撮影時と出力画像観察時の視環境や照明条件が異なる場合に、精度良く色変換を行なうことができる画像処理方法を提供すること。
【解決手段】入力画像データに対して色変換処理を行う画像処理方法は、入力画像撮影時の日時に関する情報を取得し、入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかを取得し、取得した入力画像撮影時の日時に関する情報と、取得した入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、色変換処理を行う。
【解決手段】入力画像データに対して色変換処理を行う画像処理方法は、入力画像撮影時の日時に関する情報を取得し、入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかを取得し、取得した入力画像撮影時の日時に関する情報と、取得した入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、色変換処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視環境の違いを考慮した色変換を行う画像処理方法、画像処理プログラム、画像処理装置、カメラに関する。
【背景技術】
【０００２】
視環境の違いを考慮してカラーアピアランスモデルを使用した色変換処理が知られている。特許文献１によれば、カラーアピアランスを用いた色変換処理として、時刻の関数として表されたパラメータを用いることで、画像出力装置周辺環境に応じた色変換処理を行う技術が開示されている。
【０００３】
【特許文献１】特開２００６−３４５４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、入力画像取得時（撮影時や入力画像観察時）に視覚が順応している視環境（順応輝度、白色点、周囲の明るさ等）や、入力画像取得時の視環境に順応している度合いを示す順応ファクタは、時間の関数だけでは正しく推定するのが難しい。
【課題を解決するための手段】
【０００５】
請求項１の発明は、入力画像データに対して色変換処理を行う画像処理方法に適用され、入力画像撮影時の日時に関する情報を取得し、入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかを取得し、取得した入力画像撮影時の日時に関する情報と、取得した入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、色変換処理を行うことを特徴とするものである。
請求項２の発明は、請求項１に記載の画像処理方法において、入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報のいずれも取得し、取得した入力画像撮影時の日時に関する情報と、取得した入力画像撮影時の位置に関する情報と、取得した入力画像撮影時の天気に関する情報とに基づき、色変換処理を行うことを特徴とするものである。
請求項３の発明は、請求項１または２に記載の画像処理方法において、取得した入力画像撮影時の日時に関する情報と、取得した入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、撮影シーンの解析を行い、撮影シーンの解析結果に基づき、色変換処理を行うことを特徴とするものである。
請求項４の発明は、請求項１から３のいずれかに記載の画像処理方法において、取得した入力画像撮影時の日時に関する情報と、取得した入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、入力画像撮影時の視環境および視環境に順応している度合いを示す順応ファクタの少なくともいずれかを設定し、色変換処理は、設定した入力画像撮影時の視環境および視環境に順応している度合いを示す順応ファクタの少なくともいずれかに基づき、入力画像撮影時の見えと出力画像観察時の見えが近くなるように色変換することを特徴とするものである。
請求項５の発明は、請求項１から４のいずれかに記載の画像処理方法において、出力画像観察時の位置に関する情報、日時に関する情報、照明条件、天気に関する情報の少なくともいずれかを取得し、取得した出力画像観察時の情報を使用して色変換処理を行うことを特徴とするものである。
請求項６の発明は、請求項２に記載の画像処理方法において、取得した入力画像撮影時の日時に関する情報と、取得した入力画像撮影時の位置に関する情報と、取得した入力画像撮影時の天気に関する情報とに基づき、撮影時間帯、撮影場所、撮影時の季節、撮影時の天気を含む撮影シーンの解析を行い、解析した撮影時間帯、撮影場所、撮影時の季節、撮影時の天気に基づき、撮影時の照明に関する情報を求め、求めた撮影時の照明に関する情報に基づき、色変換処理を行うことを特徴とするものである。
請求項７の発明は、画像処理プログラムに適用され、請求項１から６の何れかに記載の画像処理方法をコンピュータに実行させる画像処理プログラムとするものである。
請求項８の発明は、画像処理装置に適用され、請求項７に記載の画像処理プログラムを搭載する画像処理装置とするものである。
請求項９の発明は、画像処理装置に適用され、被写体を撮像する撮像手段と、表示手段と、画像撮影時の日時に関する情報を取得し、画像撮影時の位置に関する情報と画像撮影時の天気に関する情報の少なくともいずれかを取得する撮影情報取得手段と、取得した画像撮影時の日時に関する情報と、取得した画像撮影時の位置に関する情報と画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、色変換処理を行う色変換処理手段と、色変換処理手段により色変換された画像を表示手段に表示するよう制御する制御手段とを備えることを特徴とするものである。
請求項１０の発明は、請求項９に記載の画像処理装置において、測光手段をさらに備え、色変換処理手段は、測光手段により取得された測光データおよび表示手段の照明条件に基づいて、表示手段による画像観察時の視環境を設定することを特徴とするものである。
請求項１１の発明は、カメラに適用され、請求項８から１０のいずれかに記載の画像処理装置の構成を備えるカメラとするものである。
【発明の効果】
【０００６】
入力画像撮影時と出力画像観察時の視環境や照明条件が異なる場合に、精度良く色変換を行なうことができる。
【発明を実施するための最良の形態】
【０００７】
−第１の実施の形態−
図１は、本発明の一実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１で実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。
【０００８】
パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。パーソナルコンピュータ１は、ＣＰＵ（不図示）、メモリ（不図示）、周辺回路（不図示）、モニタ６などから構成され、ＣＰＵがインストールされたプログラムを実行する。
【０００９】
本実施の形態のパーソナルコンピュータ１は、撮影時の視環境（照明条件）で撮影された画像データを、人間の色順応特性を考慮して、撮影時の視環境（照明条件）とは異なる画像観察時の視環境に応じて色の見えを再現した画像データに変換する。
【００１０】
次に第１の実施の形態におけるパーソナルコンピュータ１が実行する色変換処理について、図２のフローチャートを用いて説明する。
【００１１】
ステップＳ１では、撮影画像を取得する。撮影画像は、複数の画素から構成され、カメラの分光感度に固有の色空間RGBで記述されているので、次式の通り、予め決まっているカメラRGB→XYZマトリックスMRGB→XYZを使用して、CIE 1931 XYZ色空間へ変換する。
【数１】
【００１２】
ステップＳ２では、撮影画像に記録されたデータから撮影日時を取得する。尚、撮影日時が記録されていない場合は、パーソナルコンピュータ１にてユーザーがキーボード等を用いて朝／昼／夕／夜などの選択肢から撮影時刻を選択した結果を読み込んでも良い。
【００１３】
ステップＳ３では、撮影画像に記録されたデータから撮影位置情報を取得する。撮影位置については、カメラに付属したＧＰＳ信号を検出するＧＰＳセンサを用いて記録された撮影地点の緯度／経度情報とパーソナルコンピュータ１のメモリに記憶された地図情報やインターネットを介して検索した結果等を用いて、撮影位置のグローバルな位置情報（高緯度地域、赤道付近等予め定めた幾つかの地域に分類）と局所的な位置情報（海・高原・山／その他屋外／屋内など）を特定する。局所的な位置情報は、撮影場所と言える。
【００１４】
例えば、撮影位置情報と地図情報とを照合した結果、撮影位置が地図情報による市街地のビルや住宅街の住宅の位置に特定されると局所位置は屋内であると特定できる。また、屋内ではなくかつ海・高原・山などでもない場合、例えば公園などが特定されると局所位置はその他屋外であると特定される。尚、カメラにＧＰＳセンサが付属していない場合でも、その他の機器に付属したＧＰＳ情報や別途取得しておいた経路履歴データを読み込み、ステップＳ２で得られた撮影日時情報を用いて、撮影時の位置情報を推定してもよい。
【００１５】
ステップＳ３で取得したグローバルな位置情報とステップＳ２で得られた撮影日時情報から、撮影時の照明白色点決定の為の季節を分類する。尚、グローバルな位置情報で分類する地域は、１年間の季節変化に合わせて予め分類した幾つかの地域とし、例えば３種類の地域（Ａ、Ｂ、Ｃ）に分類した場合、図３の様に撮影月に合わせて季節を春・秋／夏／冬の３種類に分類する。図３のデータは、パーソナルコンピュータ１が、実行するプログラムのデータとして保有している。尚、ステップＳ２にて撮影日時が記録されていなかった場合には、パーソナルコンピュータ１にてユーザーがキーボード等を用いて春・秋／夏／冬などの選択肢から撮影季節を選択した結果を読み込んでも良い。
【００１６】
ステップＳ４では、ステップＳ２で取得した撮影日時情報、ステップＳ３で取得した位置情報を用いて、インターネットを介して撮影時の撮影地点での天気情報（晴／曇／雪・雨等）を取得する。所定のプログラムにより天気情報を提供するサイトに接続し、特定された日時および地点に基づき自動的に天気情報を取得してもよいし、ユーザーが手動で天気情報を提供するサイトに接続し、適宜天気情報を取得し、取得した天気情報をキーボード等を用いて入力するようにしてもよい。
【００１７】
ステップＳ５では、ステップＳ２からＳ４で取得した情報と、ストロボ使用の有無情報、顔認識等の従来技術を組み合わせて、入力画像のシーン解析を行う。例えば、ステップＳ２で夕方、ステップＳ３で屋外（海辺や山等）、ステップＳ４で晴天であれば、夕焼けのシーンの可能性が高く、画像の色分布解析結果と合わせて夕焼けのシーンか否かを決定する。撮影日時、撮影位置、撮影時の天気の情報を使用することで、撮影シーンの解析がより詳細に推定可能である。
【００１８】
図４は、ステップＳ２からＳ５において取得する情報の分類例を示す図である。これらの分類の組み合わせにより撮影シーンの解析がなされる。すなわち、本実施の形態で言う撮影シーンの解析とは、撮影時間帯、撮影場所、撮影地域、撮影時の季節、撮影時の天気、ストロボ使用の有無等を任意に組み合わせることにより解析できる撮影シーンの解析を言う。
【００１９】
上述した夕焼けのシーン以外にも、例えば、撮影時間帯、撮影場所、ストロボ使用の有無などにより夜景のシーンかどうか解析することができ、撮影場所、ストロボ使用の有無などにより屋内撮影シーンかどうか解析することができる。また、顔認識処理を組み合わせてポートレートかどうかも解析することができる。すなわち、上記の情報を種々組み合わせることにより、各種の撮影シーンの解析を行うことができる。なお、図４は分類の一例を示すものであり、必ずしも図４の例に限定する必要はない。
【００２０】
ステップＳ６では、撮影時の視環境、即ち撮影シーンの照明に関する情報（照明白色点(XW, YW, ZW)と輝度YW0と周囲輝度YSW0）を取得する。露出を自動調整する為に用いる測光機能の結果を解析して撮影時の照明輝度YW0と周囲輝度YSW0を算出する。
【００２１】
周囲輝度YSW0は、図５のテーブルに示すように、ステップＳ２からＳ５で得られた撮影時の情報と測光機能から得られた撮影時の露出条件から、（暗い／薄暗い／明るい）から決定しても良い。
【００２２】
また、撮影時の照明白色点(XW, YW, ZW)は、図６のフローチャートに示す様にして、デジタルカメラに備わっているオートホワイトバランス機能とステップＳ２からＳ５で得られた撮影シーンの解析結果から算出する。以下、図６のフローチャートについて説明する。
【００２３】
ステップＳ２１では、撮影日時情報に基づき、撮影時間帯は夜かどうか判定する。夜と判定する場合はステップＳ３７に進み、夜でないと判定するとステップＳ２２に進む。ステップＳ２２では、ステップＳ３で取得した撮影位置情報に基づき、局所的な位置が「海・山・高原」か、「その他屋外」か、「屋内」かを判定する。すなわち、撮影場所を判定する。ステップＳ２２で、局所的な位置が「海・山・高原」と判定した場合はステップＳ２３に進み、「その他屋外」と判定した場合はステップＳ２４に進み、「屋内」と判定した場合はステップＳ３７に進む。
【００２４】
ステップＳ２３では、係数n=1.3を設定し、ステップＳ２４では、係数n=1.0を設定しステップＳ２５に進む。ステップＳ２５では、ステップＳ２で取得した撮影月日情報とステップＳ３で取得した撮影地域情報（Ａ，Ｂ，Ｃ）とに基づき季節を判定する。ステップＳ２５で、季節が「春・秋」と判定するとステップＳ２６に進み、「夏」と判定するとステップＳ２７に進み、「冬」と判定するとステップＳ２８に進む。
【００２５】
図７は、晴天時、ストロボ未使用時における、撮影時間帯と照明色温度との関係を示すグラフである。「春・秋」「夏」「冬」の季節ごとに異なるグラフが示されている。季節が「春・秋」と判定されたステップＳ２６では、図７から「春・秋」のグラフを選択する。季節が「夏」と判定されたステップＳ２７では、図７から「夏」のグラフを選択する。季節が「冬」と判定されたステップＳ２８では、図７から「冬」のグラフを選択する。
【００２６】
ステップＳ２９では、図７のグラフから撮影時間帯に対する晴天時の色温度T0を算出する。図７のグラフは、例えば、撮影時間VS各季節ごとの照明色温度がテーブル化されたデータとしてパーソナルコンピュータ１が実行するプログラムに付随して格納されている。
【００２７】
ステップＳ３０では、ステップＳ４で取得した天気情報に基づき、天気が晴れかどうかを判定する。ステップＳ３０で天気が晴れと判定するとステップＳ３１に進み、晴れでないと判定するとステップＳ３２に進む。ステップＳ３１では、係数m=1.0を設定し、ステップＳ３２では、係数m=1.2を設定し、ステップＳ３３に進む。
【００２８】
ステップＳ３３では、ステップＳ２３あるいはＳ２４で設定された係数n、ステップＳ３１あるいはＳ３２で設定された係数mを使用して、T1=T0×n×mより照明色温度T1を求める。次に、ステップＳ３４に進む。
【００２９】
ステップＳ３４では、ステップＳ５で取得したストロボ使用の有無情報に基づき、ストロボ使用の有無を判定する。ステップＳ３４でストロボを使用していないと判定するとステップＳ３５に進み、ストロボを使用していると判定するとステップＳ３６に進む。
【００３０】
ステップＳ３５では、色温度T1の照明光として照明白色点(XW, YW, ZW)を算出し、ステップＳ３６では、色温度T1の照明光とストロボ光の混合照明として照明白色点(XW, YW, ZW)を算出する。ステップＳ３７では、オートホワイトバランス機能とストロボ使用有無の情報と室内光源で一般的な光源（蛍光灯、白熱灯、ストロボ、これらの混合照明）特性とを考慮して照明白色点(XW, YW, ZW)を算出する。以上のようにして、撮影時の照明白色点(XW, YW, ZW)を算出する。
【００３１】
次に、順応輝度LAは、LA=YW0/5から求める。尚、LAの算出は、別の方法で求めてもよい。例えばLAは、画像全体の平均輝度から推定してもよく、画像全体の平均輝度が白の輝度値に対してm[%]であれば、LA=m×YW0/100として算出してもよい。もしくは、画像の輝度分布を算出し、画素毎や画像分割領域毎に注目画素周辺の平均輝度を用いてLAを算出してもよい。
【００３２】
この様にして、ステップＳ２からＳ５の情報を利用することで、より正確に、撮影時の視環境データを算出できる。
【００３３】
図２のフローチャートに戻って、ステップＳ７では、撮影時の視環境に順応している度合いを示す順応ファクタDを算出する。順応ファクタDは、CIECAM02の定義式を用いて、下式で求める。尚、FはYW0とYSW0の比を用いて、CIECAM02で定義されているテーブルから補間して求める。YSW0を（暗い／薄暗い／明るい）から選択した場合には、CIECAM02で定義された夫々の条件に対するFを選択する。
【数２】
【００３４】
より正確には、色の見え実験により照明の色温度毎に取得した、変換対象画素の色相h*と最適順応ファクタDh*の関係（図８）を用いて、撮影画像に対する適切な順応ファクタDを補間して算出する。この場合、撮影シーンの色温度は、照明白色点(XW, YW, ZW)から算出する。変換対象画素毎に色相h*を算出後、h*と撮影シーンの色温度を用いて画素毎に順応ファクタDを算出してもよいが、全画素平均の色相h*を算出し、撮影シーンの色温度と平均色相h*を用いて全画素に適用する順応ファクタDを算出してもよい。なお、図８は、色温度4000Kと10000Kにおける色相h*と最適順応ファクタDh*の関係を示すグラフであり、各色温度において色相h*に応じて最適順応ファクタDh*のが変化していることを示している。図８のデータも、パーソナルコンピュータ１が実行するプログラムとともにパーソナルコンピュータ１に格納されている。
【００３５】
ステップＳ８では、出力画像観察時の視環境に関する情報を取得する。標準視環境にてモニタ観察することを前提とすれば、sRGB標準視環境（白色点=D65、輝度Ydevice0'=80Cd/m2、周囲輝度YSW0'=4.1Cd/m2）である。
【００３６】
sRGB標準視環境と異なる視環境で観察する場合や画像をプリントした印刷物で観察する場合には、パーソナルコンピュータ１は、ユーザ（観察者）がキーボード等で入力した画像観察に使用するデバイスの白色点(Xdevice', Ydevice', Zdevice')、輝度Ydevice0'、および周囲照明白色点(XSW', YSW', ZSW')、周囲照明輝度YSW0'を読み込み、デバイス白色点と周囲照明白色点の混合として画像観察視環境に於ける照明白色点(XW', YW', ZW')、輝度YW0'を決定する。
【００３７】
具体的には、画像観察に使用するデバイス光源と周囲照明光源の影響の比率Rmix'を用いて、次のように算出する。
【数３】
【数４】
【数５】
【数６】
【数７】
【００３８】
尚、MCAT02はXYZから錐体応答LMSへの変換マトリックスである。
【数８】
【００３９】
また、画像観察視環境に於ける順応輝度LA'を算出する。算出方法は、ステップＳ６と同様であり、YW0の代わりにYW0'を使用すればよい。
【００４０】
ステップＳ９では、画像観察時の順応ファクタD'を算出する。算出方法は、ステップＳ７のDの算出と同様である。式(2)を用いて算出する場合には、F'をYW0'とYSW0'の比を用いて算出し、LA'とF'を用いてD'を算出する。色温度と色相に依存した最適順応ファクタの関係を使用する場合には、出力画像観察視環境の色温度を(XW', YW', ZW')から算出し、使用する。
【００４１】
ステップＳ１０では、ステップＳ６からＳ９で取得した撮影時の視環境に関する情報、撮影視環境に対する順応ファクタD、出力画像観察時の視環境に関する情報、画像観察視環境に対する順応ファクタD'を用いて、撮影時の色の見えと出力画像観察時の色の見えが近くなる様に色変換を行う。具体的には、CIECAM02の様な色の見えモデルを使用する。XYZからJChへの順方向の変換では、ステップＳ６、Ｓ７で取得した撮影時の視環境に関する情報、撮影視環境に対する順応ファクタDを用いて変換する。JChからX'Y'Z'への逆変換では、ステップＳ８、Ｓ９で取得した出力画像観察時の視環境に関する情報、画像観察視環境に対する順応ファクタD'を用いて変換する。
【００４２】
または、CIECAM02の代わりにvon Kriesの色順応式を使用してもよい。この場合、以下の式で色変換できる。
【数９】
但し、
【数１０】
【数１１】
【数１２】
【数１３】
【数１４】
【００４３】
最後に、X'Y'Z'から出力画像の色空間R'G'B'に変換する。MXYZ→sRGBはXYZから出力画像の色空間RGBに変換するマトリックスであり、出力画像の色空間をsRGBとすれば、規格で決まっているマトリックスを使用すればよい。
【数１５】
【００４４】
ステップＳ１１では、画像を出力して終了する。具体的には、上記の通り変換した画像をモニタ６に表示する。
【００４５】
以上説明した第１の実施の形態によれば、次のような作用効果が得られる。
（１）撮影日時情報および撮影位置情報を取得し、取得した撮影日時情報および撮影位置情報に基づきインターネットを介して撮影地点の撮影時の天気情報を取得し、取得したこれらの情報を使用して色変換処理を行うので、撮影時の照明状況すなわち撮影時の視環境が正確に把握できより良くまた精度高く色の見えを再現する色変換処理が可能となる。
【００４６】
（２）撮影日時情報、撮影位置情報、撮影時の天気情報などを使用して撮影シーンの解析を行うので、撮影シーンに適した色変換処理を行うことができる。また、撮影シーンとして解析することにより、各種の情報をより的確に整理して解析ができ、より正確な撮影時の状況を取得することができる。
【００４７】
（３）撮影日時情報や撮影位置情報に基づき、グローバルに季節を把握するようにしたので、撮影地域が日本に限らず海外であっても、自動的に撮影時の季節が正確に把握でき、季節によって変わる太陽照明の色温度などを正確に設定することができる。さらに、時間帯によっても変わる太陽照明の色温度を正確に設定することができる。これにより、撮影時の視環境を正確に把握することができ、精度の高い色変換処理を行うことができる。
【００４８】
（４）撮影日時情報および撮影位置情報を用いて、インターネットを介して天気情報を提供するサイトに接続し、天気情報を取得するので、撮影情報として画像データに天気情報がなくても、色変換処理に天気情報を反映することができる。この場合、プログラムにより自動的に天気情報を提供するサイトに接続して天気情報を取得することもできるので、ユーザの手を煩わすことなく天気の違いによる照明色温度の違いを正確に反映させることができる。
【００４９】
（５）取得した撮影日時情報、撮影位置情報、撮影時の天気情報などを使用して撮影時の視環境を正確に把握し、色の見えモデルによる色変換に使用する順応ファクタDも、このように精度よく把握された視環境の情報に基づき設定されるので、色の見えモデルによる精度の高い色変換が可能となる。
【００５０】
−第２の実施の形態−
第２の実施の形態は、撮影画像をデジタルカメラの背面液晶で表示する場合を例に説明する。図９は、本実施の形態のデジタルカメラ３０の構成を示す図である。デジタルカメラ３０は、制御部３１、撮像部３２、メモリ３３、モニタ３４、測光部３５、時計３６、ＧＰＳセンサ３７、通信部３８、記録媒体スロット３９などから構成される。モニタ３４は、デジタルカメラ３０の背面に設けられた液晶モニタである。
【００５１】
制御部３１は、マイクロプロセッサおよび周辺回路などから構成され、メモリ３３内に格納されたプログラムを実行することによりデジタルカメラ３０の各種の制御および以下で説明する画像処理を行う。撮像部３２は、ＣＣＤなどの撮像素子（イメージセンサ）から構成され、撮影レンズなどの撮影光学系（不図示）を介して入射する被写体からの光束を受光して電気信号に変換し、変換された電気信号をデジタル変換して画像データとして出力する。撮像部３２は、ＲＧＢカラーフィルターを有し、ＲＧＢ表色系の画像データを出力する。
【００５２】
制御部３１は、撮像部３２から出力される画像データに各種の画像処理を施し、記録媒体スロット３９に搭載される記録媒体４０に、画像処理後の画像データを各種の撮影情報とともに格納する。時計３６は、カレンダー機能を有する時計である。ＧＰＳセンサ３７は、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号を検出し、カメラ３０の存在する位置、すなわち撮影位置情報（緯度経度情報）を演算して出力する。
【００５３】
制御部３１は、撮影時に、撮影時の年月日日時の情報を時計３６から読み出し、撮影時の位置情報をＧＰＳセンサ３７から読み出し、これらを撮影情報として画像データとともに記録媒体４０に格納する。なお、画像データおよび撮影情報は、画像データファイルとして格納される。通信部３８は、インターネットとの接続機能を有し、インターネットを介して天気情報を取得する。
【００５４】
デジタルカメラ３０の制御部３１が実行する画像処理は図２と同様なので、図２を用いて説明する。
【００５５】
ステップＳ１では、撮像部３２により撮影され記録媒体４０に格納された撮影画像を取得する。
【００５６】
ステップＳ２からＳ７は、第１の実施の形態の図２と同様である。ただし、ステップＳ２の撮影日時情報、ステップＳ３の撮影位置情報は、記録媒体４０に格納された対象画像の撮影情報から取得する。また、ステップＳ４の撮影時の天気情報は、通信部３８を介してインターネットサイトから取得する。地図情報は、メモリ３３に格納されている。なお、天気情報は、第１の実施の形態で説明したのと同じように、ユーザが、デジタルカメラ３０の入力装置（不図示）を使用して手動で入力するようにしてもよい。
【００５７】
ステップＳ８では、画像観察時の視環境に関する情報を取得する。ここで画像観察デバイスはデジタルカメラ３０のモニタ３４である。従って、予めメモリ３３に記憶されたモニタ３４の白色点、並びに輝度を、デバイスの白色点(Xdevice',Ydevice',Zdevice')、輝度Ydevice0'として夫々読み込む。また、測光部３５による測光機能を利用して周囲輝度を算出し、周囲照明輝度YSW0'として設定する。周囲の白色点(XSW',YSW',ZSW')は、直前に撮影した画像の撮影シーンの照明白色点情報を読み込む。
【００５８】
ステップＳ９からＳ１１は、第１の実施の形態の図２と同様である。
【００５９】
ステップＳ１１で出力した画像をモニタ３４に表示すれば、視環境に関する情報に関してユーザが入力を省略しても、簡単にデジタルカメラ３０の背面に設けられたモニタ３４で実シーンと見えの近い画像が表示される。
【００６０】
以上説明した第２の実施の形態によれば、次のような作用効果が得られる。
（１）撮影画像をカメラのモニタに表示する場合も、第１の実施の形態と同様に、撮影日時情報、撮影位置情報、撮影時の天気情報を取得し、取得したこれらの情報を使用して色変換処理を行うので、撮影時の照明状況すなわち撮影時の視環境が正確に把握でき精度の高い色の見えのための色変換処理が可能となる。
【００６１】
（２）その他の作用効果についても第１の実施の形態と同様である。従って、第１の実施の形態で説明したパーソナルコンピュータ１での処理内容を、デジタルカメラ３０での処理内容に置き換えて考えればよい。
【００６２】
（変形例）
（１）上記第１、第２の実施の形態では、撮影日時情報、撮影位置情報、撮影時の天気情報の全てを撮影シーン解析に使用する例で説明したが、少なくとも１つ以上を使用するだけでもよい。例えば、撮影日時情報に加えて、撮影位置情報および天気情報のいずれかの情報のみを取得して色変換処理に使用するようにしてもよい。このような場合であっても、撮影日時情報のみを使用する場合より、より正確に撮影時の視環境が把握でき、より精度の高い色変換処理を行うことができる。
【００６３】
（２）上記第１、第２の実施の形態では、出力画像観察時の視環境については、標準視環境等を仮定する例で説明したが、出力画像観察時の視環境（特にプリント観察時の照明条件や、周囲照明条件）の算出も、撮影シーンの視環境算出と同様に、出力画像観察時の日時情報、位置情報、天気情報を取得して使用してもよい。
【００６４】
（３）上記第１、第２の実施の形態では、色の見えモデルとしてCIECAM02あるいはvon Kriesの例を説明したが、その他の色の見えモデルを使用してもよい。
【００６５】
（４）上記第１の実施の形態では、画像処理装置としてパーソナルコンピュータ１の例を説明したが、必ずしもこの内容に限定する必要はない。ワークステーションや汎用コンピュータであってもよい。また、上記第２の実施の形態では、画像処理装置としてデジタルカメラ３０の例を説明したが、必ずしもこの内容に限定する必要はない。カメラつき携帯電話やカメラつきＰＤＡ（携帯端末）などでもよい。すなわち、画像を取得し画像を表示あるいは出力する画像処理装置全般に本発明は適用することができる。
【００６６】
（５）上記第２の実施の形態では、色変換処理をデジタルカメラ３０の制御部３１で行う例を説明したが、必ずしもこの内容に限定する必要はない。例えば、ＡＳＩＣなどのハードウェアロジックで構築された色変換処理回路で処理するようにしてもよい。また、ＤＳＰ(Digital Signal Processor)などで構築するようなものであってもよい。
【００６７】
（６）上記第１、第２の実施の形態では、色の見えモデルによる色変換の例を説明したが、必ずしもこの内容に限定する必要はない。撮影日時情報、撮影位置情報、撮影時の天気情報などを使用して色変換すればより精度の高い色変換ができるような全ての色変換に適用することができる。
【００６８】
例えば、撮影位置情報、撮影時の季節、撮影時の時間帯、撮影時の天気などの組み合わせに応じて、カメラの分光感度に固有の色空間RGBからsRGBへの最適な色変換マトリックスや色変換ＬＵＴを予め作成しておき、第１の実施の形態におけるパーソナルコンピュータ１のメモリや第２の実施の形態におけるメモリ３３に保存しておいてもよい。またストロボ撮影時の色変換マトリックスや色変換ＬＵＴも作成しておき、第１の実施の形態におけるパーソナルコンピュータ１のメモリや第２の実施の形態におけるメモリ３３に保存しておく。そして色の見えモデルによる色変換の代わりに、色変換マトリックスや色変換ＬＵＴにより色変換を行っても良い。
【００６９】
第１の実施の形態や第２の実施の形態に適用した場合の処理を、図２を用いて説明する。ステップＳ１からステップＳ５までは、第１の実施の形態や第２の実施の形態と同様である。ステップＳ５の後は、ステップＳ１０に進む。ステップＳ１０では、ステップＳ２からステップＳ５までで得られた撮影時の条件から、予め記憶した色変換マトリックスや色変換ＬＵＴの中から最も条件が近い色変換を選択し、所定の色変換を行う。ステップＳ１１に進み、画像を出力して終了する。
【００７０】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【図面の簡単な説明】
【００７１】
【図１】本発明の第１の実施の形態である画像処理装置を示す図である。
【図２】第１の実施の形態におけるパーソナルコンピュータ１が実行する処理のフローチャートを示す図である。
【図３】３種類の地域（Ａ、Ｂ、Ｃ）と月と季節の関係を示す図である。
【図４】ステップＳ２からＳ５において取得する情報の分類例を示す図である。
【図５】ステップＳ２からＳ５で得られた撮影時の情報と測光機能から得られた撮影時の露出条件から、周囲輝度YSW0を決定する（暗い／薄暗い／明るい）テーブルを示す図である。
【図６】撮影時の照明白色点(XW, YW, ZW)算出するフローチャートを示す図である。
【図７】晴天時、ストロボ未使用時における、撮影時間帯と照明色温度との関係を示すグラフである。
【図８】色温度毎における最適な順応ファクタDh*と色相角h*の関係を示す図である。
【図９】第２の実施の形態のデジタルカメラ３０の構成を示す図である。
【符号の説明】
【００７２】
１ パーソナルコンピュータ
２、３０ デジタルカメラ
３ 記録媒体
４ コンピュータ
５ 電気通信回線
６ モニタ
３１ 制御部
３２ 撮像部
３３ メモリ
３４ モニタ
３５ 測光部
３６ 時計
３７ ＧＰＳセンサ
３８ 通信部
３９ 記録媒体スロット
４０ 記録媒体
【技術分野】
【０００１】
本発明は、視環境の違いを考慮した色変換を行う画像処理方法、画像処理プログラム、画像処理装置、カメラに関する。
【背景技術】
【０００２】
視環境の違いを考慮してカラーアピアランスモデルを使用した色変換処理が知られている。特許文献１によれば、カラーアピアランスを用いた色変換処理として、時刻の関数として表されたパラメータを用いることで、画像出力装置周辺環境に応じた色変換処理を行う技術が開示されている。
【０００３】
【特許文献１】特開２００６−３４５４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、入力画像取得時（撮影時や入力画像観察時）に視覚が順応している視環境（順応輝度、白色点、周囲の明るさ等）や、入力画像取得時の視環境に順応している度合いを示す順応ファクタは、時間の関数だけでは正しく推定するのが難しい。
【課題を解決するための手段】
【０００５】
請求項１の発明は、入力画像データに対して色変換処理を行う画像処理方法に適用され、入力画像撮影時の日時に関する情報を取得し、入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかを取得し、取得した入力画像撮影時の日時に関する情報と、取得した入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、色変換処理を行うことを特徴とするものである。
請求項２の発明は、請求項１に記載の画像処理方法において、入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報のいずれも取得し、取得した入力画像撮影時の日時に関する情報と、取得した入力画像撮影時の位置に関する情報と、取得した入力画像撮影時の天気に関する情報とに基づき、色変換処理を行うことを特徴とするものである。
請求項３の発明は、請求項１または２に記載の画像処理方法において、取得した入力画像撮影時の日時に関する情報と、取得した入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、撮影シーンの解析を行い、撮影シーンの解析結果に基づき、色変換処理を行うことを特徴とするものである。
請求項４の発明は、請求項１から３のいずれかに記載の画像処理方法において、取得した入力画像撮影時の日時に関する情報と、取得した入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、入力画像撮影時の視環境および視環境に順応している度合いを示す順応ファクタの少なくともいずれかを設定し、色変換処理は、設定した入力画像撮影時の視環境および視環境に順応している度合いを示す順応ファクタの少なくともいずれかに基づき、入力画像撮影時の見えと出力画像観察時の見えが近くなるように色変換することを特徴とするものである。
請求項５の発明は、請求項１から４のいずれかに記載の画像処理方法において、出力画像観察時の位置に関する情報、日時に関する情報、照明条件、天気に関する情報の少なくともいずれかを取得し、取得した出力画像観察時の情報を使用して色変換処理を行うことを特徴とするものである。
請求項６の発明は、請求項２に記載の画像処理方法において、取得した入力画像撮影時の日時に関する情報と、取得した入力画像撮影時の位置に関する情報と、取得した入力画像撮影時の天気に関する情報とに基づき、撮影時間帯、撮影場所、撮影時の季節、撮影時の天気を含む撮影シーンの解析を行い、解析した撮影時間帯、撮影場所、撮影時の季節、撮影時の天気に基づき、撮影時の照明に関する情報を求め、求めた撮影時の照明に関する情報に基づき、色変換処理を行うことを特徴とするものである。
請求項７の発明は、画像処理プログラムに適用され、請求項１から６の何れかに記載の画像処理方法をコンピュータに実行させる画像処理プログラムとするものである。
請求項８の発明は、画像処理装置に適用され、請求項７に記載の画像処理プログラムを搭載する画像処理装置とするものである。
請求項９の発明は、画像処理装置に適用され、被写体を撮像する撮像手段と、表示手段と、画像撮影時の日時に関する情報を取得し、画像撮影時の位置に関する情報と画像撮影時の天気に関する情報の少なくともいずれかを取得する撮影情報取得手段と、取得した画像撮影時の日時に関する情報と、取得した画像撮影時の位置に関する情報と画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、色変換処理を行う色変換処理手段と、色変換処理手段により色変換された画像を表示手段に表示するよう制御する制御手段とを備えることを特徴とするものである。
請求項１０の発明は、請求項９に記載の画像処理装置において、測光手段をさらに備え、色変換処理手段は、測光手段により取得された測光データおよび表示手段の照明条件に基づいて、表示手段による画像観察時の視環境を設定することを特徴とするものである。
請求項１１の発明は、カメラに適用され、請求項８から１０のいずれかに記載の画像処理装置の構成を備えるカメラとするものである。
【発明の効果】
【０００６】
入力画像撮影時と出力画像観察時の視環境や照明条件が異なる場合に、精度良く色変換を行なうことができる。
【発明を実施するための最良の形態】
【０００７】
−第１の実施の形態−
図１は、本発明の一実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１で実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。
【０００８】
パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。パーソナルコンピュータ１は、ＣＰＵ（不図示）、メモリ（不図示）、周辺回路（不図示）、モニタ６などから構成され、ＣＰＵがインストールされたプログラムを実行する。
【０００９】
本実施の形態のパーソナルコンピュータ１は、撮影時の視環境（照明条件）で撮影された画像データを、人間の色順応特性を考慮して、撮影時の視環境（照明条件）とは異なる画像観察時の視環境に応じて色の見えを再現した画像データに変換する。
【００１０】
次に第１の実施の形態におけるパーソナルコンピュータ１が実行する色変換処理について、図２のフローチャートを用いて説明する。
【００１１】
ステップＳ１では、撮影画像を取得する。撮影画像は、複数の画素から構成され、カメラの分光感度に固有の色空間RGBで記述されているので、次式の通り、予め決まっているカメラRGB→XYZマトリックスMRGB→XYZを使用して、CIE 1931 XYZ色空間へ変換する。
【数１】
【００１２】
ステップＳ２では、撮影画像に記録されたデータから撮影日時を取得する。尚、撮影日時が記録されていない場合は、パーソナルコンピュータ１にてユーザーがキーボード等を用いて朝／昼／夕／夜などの選択肢から撮影時刻を選択した結果を読み込んでも良い。
【００１３】
ステップＳ３では、撮影画像に記録されたデータから撮影位置情報を取得する。撮影位置については、カメラに付属したＧＰＳ信号を検出するＧＰＳセンサを用いて記録された撮影地点の緯度／経度情報とパーソナルコンピュータ１のメモリに記憶された地図情報やインターネットを介して検索した結果等を用いて、撮影位置のグローバルな位置情報（高緯度地域、赤道付近等予め定めた幾つかの地域に分類）と局所的な位置情報（海・高原・山／その他屋外／屋内など）を特定する。局所的な位置情報は、撮影場所と言える。
【００１４】
例えば、撮影位置情報と地図情報とを照合した結果、撮影位置が地図情報による市街地のビルや住宅街の住宅の位置に特定されると局所位置は屋内であると特定できる。また、屋内ではなくかつ海・高原・山などでもない場合、例えば公園などが特定されると局所位置はその他屋外であると特定される。尚、カメラにＧＰＳセンサが付属していない場合でも、その他の機器に付属したＧＰＳ情報や別途取得しておいた経路履歴データを読み込み、ステップＳ２で得られた撮影日時情報を用いて、撮影時の位置情報を推定してもよい。
【００１５】
ステップＳ３で取得したグローバルな位置情報とステップＳ２で得られた撮影日時情報から、撮影時の照明白色点決定の為の季節を分類する。尚、グローバルな位置情報で分類する地域は、１年間の季節変化に合わせて予め分類した幾つかの地域とし、例えば３種類の地域（Ａ、Ｂ、Ｃ）に分類した場合、図３の様に撮影月に合わせて季節を春・秋／夏／冬の３種類に分類する。図３のデータは、パーソナルコンピュータ１が、実行するプログラムのデータとして保有している。尚、ステップＳ２にて撮影日時が記録されていなかった場合には、パーソナルコンピュータ１にてユーザーがキーボード等を用いて春・秋／夏／冬などの選択肢から撮影季節を選択した結果を読み込んでも良い。
【００１６】
ステップＳ４では、ステップＳ２で取得した撮影日時情報、ステップＳ３で取得した位置情報を用いて、インターネットを介して撮影時の撮影地点での天気情報（晴／曇／雪・雨等）を取得する。所定のプログラムにより天気情報を提供するサイトに接続し、特定された日時および地点に基づき自動的に天気情報を取得してもよいし、ユーザーが手動で天気情報を提供するサイトに接続し、適宜天気情報を取得し、取得した天気情報をキーボード等を用いて入力するようにしてもよい。
【００１７】
ステップＳ５では、ステップＳ２からＳ４で取得した情報と、ストロボ使用の有無情報、顔認識等の従来技術を組み合わせて、入力画像のシーン解析を行う。例えば、ステップＳ２で夕方、ステップＳ３で屋外（海辺や山等）、ステップＳ４で晴天であれば、夕焼けのシーンの可能性が高く、画像の色分布解析結果と合わせて夕焼けのシーンか否かを決定する。撮影日時、撮影位置、撮影時の天気の情報を使用することで、撮影シーンの解析がより詳細に推定可能である。
【００１８】
図４は、ステップＳ２からＳ５において取得する情報の分類例を示す図である。これらの分類の組み合わせにより撮影シーンの解析がなされる。すなわち、本実施の形態で言う撮影シーンの解析とは、撮影時間帯、撮影場所、撮影地域、撮影時の季節、撮影時の天気、ストロボ使用の有無等を任意に組み合わせることにより解析できる撮影シーンの解析を言う。
【００１９】
上述した夕焼けのシーン以外にも、例えば、撮影時間帯、撮影場所、ストロボ使用の有無などにより夜景のシーンかどうか解析することができ、撮影場所、ストロボ使用の有無などにより屋内撮影シーンかどうか解析することができる。また、顔認識処理を組み合わせてポートレートかどうかも解析することができる。すなわち、上記の情報を種々組み合わせることにより、各種の撮影シーンの解析を行うことができる。なお、図４は分類の一例を示すものであり、必ずしも図４の例に限定する必要はない。
【００２０】
ステップＳ６では、撮影時の視環境、即ち撮影シーンの照明に関する情報（照明白色点(XW, YW, ZW)と輝度YW0と周囲輝度YSW0）を取得する。露出を自動調整する為に用いる測光機能の結果を解析して撮影時の照明輝度YW0と周囲輝度YSW0を算出する。
【００２１】
周囲輝度YSW0は、図５のテーブルに示すように、ステップＳ２からＳ５で得られた撮影時の情報と測光機能から得られた撮影時の露出条件から、（暗い／薄暗い／明るい）から決定しても良い。
【００２２】
また、撮影時の照明白色点(XW, YW, ZW)は、図６のフローチャートに示す様にして、デジタルカメラに備わっているオートホワイトバランス機能とステップＳ２からＳ５で得られた撮影シーンの解析結果から算出する。以下、図６のフローチャートについて説明する。
【００２３】
ステップＳ２１では、撮影日時情報に基づき、撮影時間帯は夜かどうか判定する。夜と判定する場合はステップＳ３７に進み、夜でないと判定するとステップＳ２２に進む。ステップＳ２２では、ステップＳ３で取得した撮影位置情報に基づき、局所的な位置が「海・山・高原」か、「その他屋外」か、「屋内」かを判定する。すなわち、撮影場所を判定する。ステップＳ２２で、局所的な位置が「海・山・高原」と判定した場合はステップＳ２３に進み、「その他屋外」と判定した場合はステップＳ２４に進み、「屋内」と判定した場合はステップＳ３７に進む。
【００２４】
ステップＳ２３では、係数n=1.3を設定し、ステップＳ２４では、係数n=1.0を設定しステップＳ２５に進む。ステップＳ２５では、ステップＳ２で取得した撮影月日情報とステップＳ３で取得した撮影地域情報（Ａ，Ｂ，Ｃ）とに基づき季節を判定する。ステップＳ２５で、季節が「春・秋」と判定するとステップＳ２６に進み、「夏」と判定するとステップＳ２７に進み、「冬」と判定するとステップＳ２８に進む。
【００２５】
図７は、晴天時、ストロボ未使用時における、撮影時間帯と照明色温度との関係を示すグラフである。「春・秋」「夏」「冬」の季節ごとに異なるグラフが示されている。季節が「春・秋」と判定されたステップＳ２６では、図７から「春・秋」のグラフを選択する。季節が「夏」と判定されたステップＳ２７では、図７から「夏」のグラフを選択する。季節が「冬」と判定されたステップＳ２８では、図７から「冬」のグラフを選択する。
【００２６】
ステップＳ２９では、図７のグラフから撮影時間帯に対する晴天時の色温度T0を算出する。図７のグラフは、例えば、撮影時間VS各季節ごとの照明色温度がテーブル化されたデータとしてパーソナルコンピュータ１が実行するプログラムに付随して格納されている。
【００２７】
ステップＳ３０では、ステップＳ４で取得した天気情報に基づき、天気が晴れかどうかを判定する。ステップＳ３０で天気が晴れと判定するとステップＳ３１に進み、晴れでないと判定するとステップＳ３２に進む。ステップＳ３１では、係数m=1.0を設定し、ステップＳ３２では、係数m=1.2を設定し、ステップＳ３３に進む。
【００２８】
ステップＳ３３では、ステップＳ２３あるいはＳ２４で設定された係数n、ステップＳ３１あるいはＳ３２で設定された係数mを使用して、T1=T0×n×mより照明色温度T1を求める。次に、ステップＳ３４に進む。
【００２９】
ステップＳ３４では、ステップＳ５で取得したストロボ使用の有無情報に基づき、ストロボ使用の有無を判定する。ステップＳ３４でストロボを使用していないと判定するとステップＳ３５に進み、ストロボを使用していると判定するとステップＳ３６に進む。
【００３０】
ステップＳ３５では、色温度T1の照明光として照明白色点(XW, YW, ZW)を算出し、ステップＳ３６では、色温度T1の照明光とストロボ光の混合照明として照明白色点(XW, YW, ZW)を算出する。ステップＳ３７では、オートホワイトバランス機能とストロボ使用有無の情報と室内光源で一般的な光源（蛍光灯、白熱灯、ストロボ、これらの混合照明）特性とを考慮して照明白色点(XW, YW, ZW)を算出する。以上のようにして、撮影時の照明白色点(XW, YW, ZW)を算出する。
【００３１】
次に、順応輝度LAは、LA=YW0/5から求める。尚、LAの算出は、別の方法で求めてもよい。例えばLAは、画像全体の平均輝度から推定してもよく、画像全体の平均輝度が白の輝度値に対してm[%]であれば、LA=m×YW0/100として算出してもよい。もしくは、画像の輝度分布を算出し、画素毎や画像分割領域毎に注目画素周辺の平均輝度を用いてLAを算出してもよい。
【００３２】
この様にして、ステップＳ２からＳ５の情報を利用することで、より正確に、撮影時の視環境データを算出できる。
【００３３】
図２のフローチャートに戻って、ステップＳ７では、撮影時の視環境に順応している度合いを示す順応ファクタDを算出する。順応ファクタDは、CIECAM02の定義式を用いて、下式で求める。尚、FはYW0とYSW0の比を用いて、CIECAM02で定義されているテーブルから補間して求める。YSW0を（暗い／薄暗い／明るい）から選択した場合には、CIECAM02で定義された夫々の条件に対するFを選択する。
【数２】
【００３４】
より正確には、色の見え実験により照明の色温度毎に取得した、変換対象画素の色相h*と最適順応ファクタDh*の関係（図８）を用いて、撮影画像に対する適切な順応ファクタDを補間して算出する。この場合、撮影シーンの色温度は、照明白色点(XW, YW, ZW)から算出する。変換対象画素毎に色相h*を算出後、h*と撮影シーンの色温度を用いて画素毎に順応ファクタDを算出してもよいが、全画素平均の色相h*を算出し、撮影シーンの色温度と平均色相h*を用いて全画素に適用する順応ファクタDを算出してもよい。なお、図８は、色温度4000Kと10000Kにおける色相h*と最適順応ファクタDh*の関係を示すグラフであり、各色温度において色相h*に応じて最適順応ファクタDh*のが変化していることを示している。図８のデータも、パーソナルコンピュータ１が実行するプログラムとともにパーソナルコンピュータ１に格納されている。
【００３５】
ステップＳ８では、出力画像観察時の視環境に関する情報を取得する。標準視環境にてモニタ観察することを前提とすれば、sRGB標準視環境（白色点=D65、輝度Ydevice0'=80Cd/m2、周囲輝度YSW0'=4.1Cd/m2）である。
【００３６】
sRGB標準視環境と異なる視環境で観察する場合や画像をプリントした印刷物で観察する場合には、パーソナルコンピュータ１は、ユーザ（観察者）がキーボード等で入力した画像観察に使用するデバイスの白色点(Xdevice', Ydevice', Zdevice')、輝度Ydevice0'、および周囲照明白色点(XSW', YSW', ZSW')、周囲照明輝度YSW0'を読み込み、デバイス白色点と周囲照明白色点の混合として画像観察視環境に於ける照明白色点(XW', YW', ZW')、輝度YW0'を決定する。
【００３７】
具体的には、画像観察に使用するデバイス光源と周囲照明光源の影響の比率Rmix'を用いて、次のように算出する。
【数３】
【数４】
【数５】
【数６】
【数７】
【００３８】
尚、MCAT02はXYZから錐体応答LMSへの変換マトリックスである。
【数８】
【００３９】
また、画像観察視環境に於ける順応輝度LA'を算出する。算出方法は、ステップＳ６と同様であり、YW0の代わりにYW0'を使用すればよい。
【００４０】
ステップＳ９では、画像観察時の順応ファクタD'を算出する。算出方法は、ステップＳ７のDの算出と同様である。式(2)を用いて算出する場合には、F'をYW0'とYSW0'の比を用いて算出し、LA'とF'を用いてD'を算出する。色温度と色相に依存した最適順応ファクタの関係を使用する場合には、出力画像観察視環境の色温度を(XW', YW', ZW')から算出し、使用する。
【００４１】
ステップＳ１０では、ステップＳ６からＳ９で取得した撮影時の視環境に関する情報、撮影視環境に対する順応ファクタD、出力画像観察時の視環境に関する情報、画像観察視環境に対する順応ファクタD'を用いて、撮影時の色の見えと出力画像観察時の色の見えが近くなる様に色変換を行う。具体的には、CIECAM02の様な色の見えモデルを使用する。XYZからJChへの順方向の変換では、ステップＳ６、Ｓ７で取得した撮影時の視環境に関する情報、撮影視環境に対する順応ファクタDを用いて変換する。JChからX'Y'Z'への逆変換では、ステップＳ８、Ｓ９で取得した出力画像観察時の視環境に関する情報、画像観察視環境に対する順応ファクタD'を用いて変換する。
【００４２】
または、CIECAM02の代わりにvon Kriesの色順応式を使用してもよい。この場合、以下の式で色変換できる。
【数９】
但し、
【数１０】
【数１１】
【数１２】
【数１３】
【数１４】
【００４３】
最後に、X'Y'Z'から出力画像の色空間R'G'B'に変換する。MXYZ→sRGBはXYZから出力画像の色空間RGBに変換するマトリックスであり、出力画像の色空間をsRGBとすれば、規格で決まっているマトリックスを使用すればよい。
【数１５】
【００４４】
ステップＳ１１では、画像を出力して終了する。具体的には、上記の通り変換した画像をモニタ６に表示する。
【００４５】
以上説明した第１の実施の形態によれば、次のような作用効果が得られる。
（１）撮影日時情報および撮影位置情報を取得し、取得した撮影日時情報および撮影位置情報に基づきインターネットを介して撮影地点の撮影時の天気情報を取得し、取得したこれらの情報を使用して色変換処理を行うので、撮影時の照明状況すなわち撮影時の視環境が正確に把握できより良くまた精度高く色の見えを再現する色変換処理が可能となる。
【００４６】
（２）撮影日時情報、撮影位置情報、撮影時の天気情報などを使用して撮影シーンの解析を行うので、撮影シーンに適した色変換処理を行うことができる。また、撮影シーンとして解析することにより、各種の情報をより的確に整理して解析ができ、より正確な撮影時の状況を取得することができる。
【００４７】
（３）撮影日時情報や撮影位置情報に基づき、グローバルに季節を把握するようにしたので、撮影地域が日本に限らず海外であっても、自動的に撮影時の季節が正確に把握でき、季節によって変わる太陽照明の色温度などを正確に設定することができる。さらに、時間帯によっても変わる太陽照明の色温度を正確に設定することができる。これにより、撮影時の視環境を正確に把握することができ、精度の高い色変換処理を行うことができる。
【００４８】
（４）撮影日時情報および撮影位置情報を用いて、インターネットを介して天気情報を提供するサイトに接続し、天気情報を取得するので、撮影情報として画像データに天気情報がなくても、色変換処理に天気情報を反映することができる。この場合、プログラムにより自動的に天気情報を提供するサイトに接続して天気情報を取得することもできるので、ユーザの手を煩わすことなく天気の違いによる照明色温度の違いを正確に反映させることができる。
【００４９】
（５）取得した撮影日時情報、撮影位置情報、撮影時の天気情報などを使用して撮影時の視環境を正確に把握し、色の見えモデルによる色変換に使用する順応ファクタDも、このように精度よく把握された視環境の情報に基づき設定されるので、色の見えモデルによる精度の高い色変換が可能となる。
【００５０】
−第２の実施の形態−
第２の実施の形態は、撮影画像をデジタルカメラの背面液晶で表示する場合を例に説明する。図９は、本実施の形態のデジタルカメラ３０の構成を示す図である。デジタルカメラ３０は、制御部３１、撮像部３２、メモリ３３、モニタ３４、測光部３５、時計３６、ＧＰＳセンサ３７、通信部３８、記録媒体スロット３９などから構成される。モニタ３４は、デジタルカメラ３０の背面に設けられた液晶モニタである。
【００５１】
制御部３１は、マイクロプロセッサおよび周辺回路などから構成され、メモリ３３内に格納されたプログラムを実行することによりデジタルカメラ３０の各種の制御および以下で説明する画像処理を行う。撮像部３２は、ＣＣＤなどの撮像素子（イメージセンサ）から構成され、撮影レンズなどの撮影光学系（不図示）を介して入射する被写体からの光束を受光して電気信号に変換し、変換された電気信号をデジタル変換して画像データとして出力する。撮像部３２は、ＲＧＢカラーフィルターを有し、ＲＧＢ表色系の画像データを出力する。
【００５２】
制御部３１は、撮像部３２から出力される画像データに各種の画像処理を施し、記録媒体スロット３９に搭載される記録媒体４０に、画像処理後の画像データを各種の撮影情報とともに格納する。時計３６は、カレンダー機能を有する時計である。ＧＰＳセンサ３７は、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号を検出し、カメラ３０の存在する位置、すなわち撮影位置情報（緯度経度情報）を演算して出力する。
【００５３】
制御部３１は、撮影時に、撮影時の年月日日時の情報を時計３６から読み出し、撮影時の位置情報をＧＰＳセンサ３７から読み出し、これらを撮影情報として画像データとともに記録媒体４０に格納する。なお、画像データおよび撮影情報は、画像データファイルとして格納される。通信部３８は、インターネットとの接続機能を有し、インターネットを介して天気情報を取得する。
【００５４】
デジタルカメラ３０の制御部３１が実行する画像処理は図２と同様なので、図２を用いて説明する。
【００５５】
ステップＳ１では、撮像部３２により撮影され記録媒体４０に格納された撮影画像を取得する。
【００５６】
ステップＳ２からＳ７は、第１の実施の形態の図２と同様である。ただし、ステップＳ２の撮影日時情報、ステップＳ３の撮影位置情報は、記録媒体４０に格納された対象画像の撮影情報から取得する。また、ステップＳ４の撮影時の天気情報は、通信部３８を介してインターネットサイトから取得する。地図情報は、メモリ３３に格納されている。なお、天気情報は、第１の実施の形態で説明したのと同じように、ユーザが、デジタルカメラ３０の入力装置（不図示）を使用して手動で入力するようにしてもよい。
【００５７】
ステップＳ８では、画像観察時の視環境に関する情報を取得する。ここで画像観察デバイスはデジタルカメラ３０のモニタ３４である。従って、予めメモリ３３に記憶されたモニタ３４の白色点、並びに輝度を、デバイスの白色点(Xdevice',Ydevice',Zdevice')、輝度Ydevice0'として夫々読み込む。また、測光部３５による測光機能を利用して周囲輝度を算出し、周囲照明輝度YSW0'として設定する。周囲の白色点(XSW',YSW',ZSW')は、直前に撮影した画像の撮影シーンの照明白色点情報を読み込む。
【００５８】
ステップＳ９からＳ１１は、第１の実施の形態の図２と同様である。
【００５９】
ステップＳ１１で出力した画像をモニタ３４に表示すれば、視環境に関する情報に関してユーザが入力を省略しても、簡単にデジタルカメラ３０の背面に設けられたモニタ３４で実シーンと見えの近い画像が表示される。
【００６０】
以上説明した第２の実施の形態によれば、次のような作用効果が得られる。
（１）撮影画像をカメラのモニタに表示する場合も、第１の実施の形態と同様に、撮影日時情報、撮影位置情報、撮影時の天気情報を取得し、取得したこれらの情報を使用して色変換処理を行うので、撮影時の照明状況すなわち撮影時の視環境が正確に把握でき精度の高い色の見えのための色変換処理が可能となる。
【００６１】
（２）その他の作用効果についても第１の実施の形態と同様である。従って、第１の実施の形態で説明したパーソナルコンピュータ１での処理内容を、デジタルカメラ３０での処理内容に置き換えて考えればよい。
【００６２】
（変形例）
（１）上記第１、第２の実施の形態では、撮影日時情報、撮影位置情報、撮影時の天気情報の全てを撮影シーン解析に使用する例で説明したが、少なくとも１つ以上を使用するだけでもよい。例えば、撮影日時情報に加えて、撮影位置情報および天気情報のいずれかの情報のみを取得して色変換処理に使用するようにしてもよい。このような場合であっても、撮影日時情報のみを使用する場合より、より正確に撮影時の視環境が把握でき、より精度の高い色変換処理を行うことができる。
【００６３】
（２）上記第１、第２の実施の形態では、出力画像観察時の視環境については、標準視環境等を仮定する例で説明したが、出力画像観察時の視環境（特にプリント観察時の照明条件や、周囲照明条件）の算出も、撮影シーンの視環境算出と同様に、出力画像観察時の日時情報、位置情報、天気情報を取得して使用してもよい。
【００６４】
（３）上記第１、第２の実施の形態では、色の見えモデルとしてCIECAM02あるいはvon Kriesの例を説明したが、その他の色の見えモデルを使用してもよい。
【００６５】
（４）上記第１の実施の形態では、画像処理装置としてパーソナルコンピュータ１の例を説明したが、必ずしもこの内容に限定する必要はない。ワークステーションや汎用コンピュータであってもよい。また、上記第２の実施の形態では、画像処理装置としてデジタルカメラ３０の例を説明したが、必ずしもこの内容に限定する必要はない。カメラつき携帯電話やカメラつきＰＤＡ（携帯端末）などでもよい。すなわち、画像を取得し画像を表示あるいは出力する画像処理装置全般に本発明は適用することができる。
【００６６】
（５）上記第２の実施の形態では、色変換処理をデジタルカメラ３０の制御部３１で行う例を説明したが、必ずしもこの内容に限定する必要はない。例えば、ＡＳＩＣなどのハードウェアロジックで構築された色変換処理回路で処理するようにしてもよい。また、ＤＳＰ(Digital Signal Processor)などで構築するようなものであってもよい。
【００６７】
（６）上記第１、第２の実施の形態では、色の見えモデルによる色変換の例を説明したが、必ずしもこの内容に限定する必要はない。撮影日時情報、撮影位置情報、撮影時の天気情報などを使用して色変換すればより精度の高い色変換ができるような全ての色変換に適用することができる。
【００６８】
例えば、撮影位置情報、撮影時の季節、撮影時の時間帯、撮影時の天気などの組み合わせに応じて、カメラの分光感度に固有の色空間RGBからsRGBへの最適な色変換マトリックスや色変換ＬＵＴを予め作成しておき、第１の実施の形態におけるパーソナルコンピュータ１のメモリや第２の実施の形態におけるメモリ３３に保存しておいてもよい。またストロボ撮影時の色変換マトリックスや色変換ＬＵＴも作成しておき、第１の実施の形態におけるパーソナルコンピュータ１のメモリや第２の実施の形態におけるメモリ３３に保存しておく。そして色の見えモデルによる色変換の代わりに、色変換マトリックスや色変換ＬＵＴにより色変換を行っても良い。
【００６９】
第１の実施の形態や第２の実施の形態に適用した場合の処理を、図２を用いて説明する。ステップＳ１からステップＳ５までは、第１の実施の形態や第２の実施の形態と同様である。ステップＳ５の後は、ステップＳ１０に進む。ステップＳ１０では、ステップＳ２からステップＳ５までで得られた撮影時の条件から、予め記憶した色変換マトリックスや色変換ＬＵＴの中から最も条件が近い色変換を選択し、所定の色変換を行う。ステップＳ１１に進み、画像を出力して終了する。
【００７０】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【図面の簡単な説明】
【００７１】
【図１】本発明の第１の実施の形態である画像処理装置を示す図である。
【図２】第１の実施の形態におけるパーソナルコンピュータ１が実行する処理のフローチャートを示す図である。
【図３】３種類の地域（Ａ、Ｂ、Ｃ）と月と季節の関係を示す図である。
【図４】ステップＳ２からＳ５において取得する情報の分類例を示す図である。
【図５】ステップＳ２からＳ５で得られた撮影時の情報と測光機能から得られた撮影時の露出条件から、周囲輝度YSW0を決定する（暗い／薄暗い／明るい）テーブルを示す図である。
【図６】撮影時の照明白色点(XW, YW, ZW)算出するフローチャートを示す図である。
【図７】晴天時、ストロボ未使用時における、撮影時間帯と照明色温度との関係を示すグラフである。
【図８】色温度毎における最適な順応ファクタDh*と色相角h*の関係を示す図である。
【図９】第２の実施の形態のデジタルカメラ３０の構成を示す図である。
【符号の説明】
【００７２】
１ パーソナルコンピュータ
２、３０ デジタルカメラ
３ 記録媒体
４ コンピュータ
５ 電気通信回線
６ モニタ
３１ 制御部
３２ 撮像部
３３ メモリ
３４ モニタ
３５ 測光部
３６ 時計
３７ ＧＰＳセンサ
３８ 通信部
３９ 記録媒体スロット
４０ 記録媒体
【特許請求の範囲】
【請求項１】
入力画像データに対して色変換処理を行う画像処理方法であって、
入力画像撮影時の日時に関する情報を取得し、
入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかを取得し、
取得した前記入力画像撮影時の日時に関する情報と、取得した前記入力画像撮影時の位置に関する情報と前記入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、前記色変換処理を行うことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記入力画像撮影時の位置に関する情報と前記入力画像撮影時の天気に関する情報のいずれも取得し、
取得した前記入力画像撮影時の日時に関する情報と、取得した前記入力画像撮影時の位置に関する情報と、取得した前記入力画像撮影時の天気に関する情報とに基づき、前記色変換処理を行うことを特徴とする画像処理方法。
【請求項３】
請求項１または２に記載の画像処理方法において、
取得した前記入力画像撮影時の日時に関する情報と、取得した前記入力画像撮影時の位置に関する情報と前記入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、撮影シーンの解析を行い、
前記撮影シーンの解析結果に基づき、前記色変換処理を行うことを特徴とする画像処理方法。
【請求項４】
請求項１から３のいずれかに記載の画像処理方法において、
取得した前記入力画像撮影時の日時に関する情報と、取得した前記入力画像撮影時の位置に関する情報と前記入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、入力画像撮影時の視環境および前記視環境に順応している度合いを示す順応ファクタの少なくともいずれかを設定し、
前記色変換処理は、設定した前記入力画像撮影時の視環境および前記視環境に順応している度合いを示す順応ファクタの少なくともいずれかに基づき、入力画像撮影時の見えと出力画像観察時の見えが近くなるように色変換することを特徴とする画像処理方法。
【請求項５】
請求項１から４のいずれかに記載の画像処理方法において、
出力画像観察時の位置に関する情報、日時に関する情報、照明条件、天気に関する情報の少なくともいずれかを取得し、
取得した前記出力画像観察時の情報を使用して前記色変換処理を行うことを特徴とする画像処理方法。
【請求項６】
請求項２に記載の画像処理方法において、
取得した前記入力画像撮影時の日時に関する情報と、取得した前記入力画像撮影時の位置に関する情報と、取得した前記入力画像撮影時の天気に関する情報とに基づき、撮影時間帯、撮影場所、撮影時の季節、撮影時の天気を含む撮影シーンの解析を行い、
前記解析した撮影時間帯、撮影場所、撮影時の季節、撮影時の天気に基づき、撮影時の照明に関する情報を求め、
前記求めた撮影時の照明に関する情報に基づき、前記色変換処理を行うことを特徴とする画像処理方法。
【請求項７】
請求項１から６の何れかに記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項８】
請求項７に記載の画像処理プログラムを搭載する画像処理装置。
【請求項９】
画像処理装置であって、
被写体を撮像する撮像手段と、
表示手段と、
画像撮影時の日時に関する情報を取得し、画像撮影時の位置に関する情報と画像撮影時の天気に関する情報の少なくともいずれかを取得する撮影情報取得手段と、
取得した前記画像撮影時の日時に関する情報と、取得した前記画像撮影時の位置に関する情報と前記画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、色変換処理を行う色変換処理手段と、
前記色変換処理手段により色変換された画像を前記表示手段に表示するよう制御する制御手段とを備えることを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
測光手段をさらに備え、
前記色変換処理手段は、前記測光手段により取得された測光データおよび前記表示手段の照明条件に基づいて、前記表示手段による画像観察時の視環境を設定することを特徴とする画像処理装置。
【請求項１１】
請求項８から１０のいずれかに記載の画像処理装置の構成を備えることを特徴とするカメラ。
【請求項１】
入力画像データに対して色変換処理を行う画像処理方法であって、
入力画像撮影時の日時に関する情報を取得し、
入力画像撮影時の位置に関する情報と入力画像撮影時の天気に関する情報の少なくともいずれかを取得し、
取得した前記入力画像撮影時の日時に関する情報と、取得した前記入力画像撮影時の位置に関する情報と前記入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、前記色変換処理を行うことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記入力画像撮影時の位置に関する情報と前記入力画像撮影時の天気に関する情報のいずれも取得し、
取得した前記入力画像撮影時の日時に関する情報と、取得した前記入力画像撮影時の位置に関する情報と、取得した前記入力画像撮影時の天気に関する情報とに基づき、前記色変換処理を行うことを特徴とする画像処理方法。
【請求項３】
請求項１または２に記載の画像処理方法において、
取得した前記入力画像撮影時の日時に関する情報と、取得した前記入力画像撮影時の位置に関する情報と前記入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、撮影シーンの解析を行い、
前記撮影シーンの解析結果に基づき、前記色変換処理を行うことを特徴とする画像処理方法。
【請求項４】
請求項１から３のいずれかに記載の画像処理方法において、
取得した前記入力画像撮影時の日時に関する情報と、取得した前記入力画像撮影時の位置に関する情報と前記入力画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、入力画像撮影時の視環境および前記視環境に順応している度合いを示す順応ファクタの少なくともいずれかを設定し、
前記色変換処理は、設定した前記入力画像撮影時の視環境および前記視環境に順応している度合いを示す順応ファクタの少なくともいずれかに基づき、入力画像撮影時の見えと出力画像観察時の見えが近くなるように色変換することを特徴とする画像処理方法。
【請求項５】
請求項１から４のいずれかに記載の画像処理方法において、
出力画像観察時の位置に関する情報、日時に関する情報、照明条件、天気に関する情報の少なくともいずれかを取得し、
取得した前記出力画像観察時の情報を使用して前記色変換処理を行うことを特徴とする画像処理方法。
【請求項６】
請求項２に記載の画像処理方法において、
取得した前記入力画像撮影時の日時に関する情報と、取得した前記入力画像撮影時の位置に関する情報と、取得した前記入力画像撮影時の天気に関する情報とに基づき、撮影時間帯、撮影場所、撮影時の季節、撮影時の天気を含む撮影シーンの解析を行い、
前記解析した撮影時間帯、撮影場所、撮影時の季節、撮影時の天気に基づき、撮影時の照明に関する情報を求め、
前記求めた撮影時の照明に関する情報に基づき、前記色変換処理を行うことを特徴とする画像処理方法。
【請求項７】
請求項１から６の何れかに記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項８】
請求項７に記載の画像処理プログラムを搭載する画像処理装置。
【請求項９】
画像処理装置であって、
被写体を撮像する撮像手段と、
表示手段と、
画像撮影時の日時に関する情報を取得し、画像撮影時の位置に関する情報と画像撮影時の天気に関する情報の少なくともいずれかを取得する撮影情報取得手段と、
取得した前記画像撮影時の日時に関する情報と、取得した前記画像撮影時の位置に関する情報と前記画像撮影時の天気に関する情報の少なくともいずれかの情報とに基づき、色変換処理を行う色変換処理手段と、
前記色変換処理手段により色変換された画像を前記表示手段に表示するよう制御する制御手段とを備えることを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
測光手段をさらに備え、
前記色変換処理手段は、前記測光手段により取得された測光データおよび前記表示手段の照明条件に基づいて、前記表示手段による画像観察時の視環境を設定することを特徴とする画像処理装置。
【請求項１１】
請求項８から１０のいずれかに記載の画像処理装置の構成を備えることを特徴とするカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−２６９３０５（Ｐ２００８−２６９３０５Ａ）
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願番号】特願２００７−１１１６３６（Ｐ２００７−１１１６３６）
【出願日】平成１９年４月２０日（２００７．４．２０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願日】平成１９年４月２０日（２００７．４．２０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]