照明源固有HSV色座標を用いた画像ハイライト補正方法、画像ハイライト補正プログラム、および画像取得システム
【目的】特殊な装置や設定環境を必要とせず、単一照明・単一画像構成で実施可能な、高速画像ハイライト補正方法を提供する。また、物体の画像における少なくとも不飽和又は有効な画素について、他の画素と独立して当該画素の真の色を求めることを可能とし、それにより、繊細又は複雑な色変化を持つ物体の真の色を容易に推定することを可能とする。さらに、ハイライト箇所を捉える撮像装置の検出素子を完全に飽和させるような強くハイライトされた領域の物体色をより正確に推定することを可能とする多照明的、又は、多視点的、又は、それらを組み合わせた多照明・多視点的方法を提供する。
【構成】画像データを、RGB色座標から、明度軸が照明光源の方向に設定された照明源固有HSV色座標系に写像するステップと、各画素について、非ハイライトHSV座標を推定するステップと、RGB系において、非ハイライト画像を復元するステップからなる画像ハイライト補正法、および、この画像ハイライト補正法を用いた画像ハイライト補正プログラムと画像取得システムを提供する。
【構成】画像データを、RGB色座標から、明度軸が照明光源の方向に設定された照明源固有HSV色座標系に写像するステップと、各画素について、非ハイライトHSV座標を推定するステップと、RGB系において、非ハイライト画像を復元するステップからなる画像ハイライト補正法、および、この画像ハイライト補正法を用いた画像ハイライト補正プログラムと画像取得システムを提供する。
【発明の詳細な説明】
【産業上の利用分野】
【0001】
本発明は、マシンビジョンの分野において、画像中のハイライトの下に存在する色を推定する方法に関する。殆どのマシンビジョン用途では、光の反射によって生じる画像の解析が行われる。また、物体の表面色はコンピュータビジョン用途において最も重要な情報の一つである。但し、画像として記録された色は、物体上のてかり、又は、ハイライトとして現れる鏡面又は界面反射を含むため、物体の真の色を示すとは限らない。また、ハイライト領域を捉える撮像装置の検出素子の飽和が起こるほどハイライトが強い場合がある。
【背景技術】
【0002】
プラスチック等の誘電材料からの反射光Lは、通常、二つの異なる反射成分、すなわち、鏡面又は界面反射成分LSと、拡散又は物体反射成分LBからなる。鏡面又は界面反射は物体の表面で起こり、入射光線、表面に対する法線、及び、反射光線が共平面となるよう一方向にのみ起こり、入射光線と反射光線のそれぞれが表面法線に対して形成する角度はお互いに等しくなる。一般に、LSは、照明光と同じパワースペクトルを持ち、物体上のてかり、又は、ハイライトとして現れるので、照明源色と称される場合もある。
【0003】
図1に示すように、入射光の全てが表面で反射されるのではなく、その一部は、材料に進入し、屈折した光線が時々色素にぶつかりながら媒体を通過していく。そして材料の内部において、光線は異なる屈折率を持つ境界面において反射と屈折を繰り返し、最終的には、一部の散乱光が表面に戻り、あらゆる方向に沿って材料の外部に出て行くことにより、拡散又は物体反射成分LBを形成する。この成分が物体の色情報を持ち、物体色とも称される。
【0004】
2色性反射モデル(Dichromatic Reflectance Model、DRM)によれば、プラスチック、ペンキ、紙、セラミックス等の誘電体からの反射光Lは、鏡面反射成分LSと物体反射成分LBの混合であると推定する。このモデルは以下の式で表現できる。
【0005】
【数1】
ここで、λは波長、φは入射光の角度、φは反射光の角度、及び、θは位相角を示す。また、msとmbは、幾何学的スケール係数で、CS(λ)とCB(λ)はそれぞれ、鏡面反射色ベクトルと物体色ベクトルを示す。
【0006】
TVカメラの場合のように、シーンラディアンスの記述を可視光の赤、緑、及び、青のスペクトル領域に限定した場合、シーンラディアンスを以下の3×1色ベクトルで表すことが出来る。
【0007】
【数2】
ここで、(x, y)は、画素の位置を示し、C(x, y)は、観察された色ベクトルを示す。図2からわかるように、この式は、観察された色C(x, y)がCSとCb(x, y)の二つのベクトルによってスパンされた面内に分布することを意味する。なお、CSは、一つの照明色を表すので、画素位置に依存しない。従って、CSとC(x, y)が推定できれば、鏡面反射を拡散反射から区別することができ、しいては、拡散反射、すなわち、真の色を得ることができる。
【0008】
従来、上記の推定は、複数の照明を用いる方法(N.Nayar,K.Ikeuchi and T.Kanade,“Determining Shape and Reflectance of Hybrid Surfaces by Photometric Sampling”,IEEE Trans.on Robotics and Automation,Vol.6,No.4,pp.418−431(1990))、又は、複数の画像を用いる方法(M.Otsuki,Y.Sato,“Highlight Separation Using Multiple Images with Intensities and Ranges”,MVA’96,IAPR Workshop on Machine Vision Application,pp.293−296(1996))によってなされた。複数の照明を用いる方法では、対象物を同じ視点から見ながら複数の照明源を使って、すなわち、CS成分を変化させてCb成分を推定し、数式2を解いて、真の物体色を得る。一方、複数の画像を用いる方法では、同様の作用を単一の固定された光源を用い、複数の異なる姿勢から対象物の画像を観察することにより、実現している。
【0009】
上記の従来技術では、DRMを採用し、画像の各領域の画素が色空間において形成する反射光分布のパターンを使って物体色を推定している。しかし、繊細又は複雑な色変化を持つ対象物の画像の場合のように、解析される画像領域が複数の異なる色クラスターからなる場合、上記従来技術の取り組み方は効果的ではない。さらに、上記の方法はいずれも特殊な装置(複数の光源を備えた装置、又は、異なる姿勢から画像を捉えることを可能とする装置)や特殊な設定環境を必要とし、処理時間も長い。従って、これらの方法は、あらゆる環境における対象物に柔軟に応用することができず、マシンビジョン用途における高い速度という要求に応えるごとができない。
【発明が解決しようとする課題】
【0010】
本発明は、上記事情に鑑みてなされたもので、その目的は、特殊な装置や設定環境を必要としない単一照明・単一画像構成で実施可能な、高速ハイライト補正法を提供することにある。また、本発明の目的は、物体の画像における少なくとも不飽和又は有効な画素について、他の画素と独立して当該画素の真の色を求めることを可能とし、それにより、繊細又は複雑な色変化を持つ物体の真の色を容易に推定することを可能とすることにある。本発明のさらなる目的は、ハイライト箇所を捉える撮像装置の検出素子を完全に飽和させるような強くハイライトされた領域の物体色をより正確に推定することを可能とする多照明、又は、多視点、又は、それらを組み合わせた多照明・多視点手法を提供することにある。
【発明の開示】
【課題を解決するための手段】
【0011】
上記の目的を達成するために、本発明では、明度軸が照明光源の色ベクトルに沿った照明源固有HSV色座標系を提案し、RGB色座標系の画像データを、上記照明源固有HSV色座標系に写像するステップと、各画素について、非ハイライトHSV座標を推定するステップと、RGB系において、非ハイライト画像を復元するステップからなる画像ハイライト補正方法を提供する。
【0012】
真の物体色を推定するにあたり、本手法では、画像データを、撮像装置の検出素子の飽和が生じなかった(DRMを適応できる)有効画素の群と、撮像装置の検出素子が飽和が生じた非有効画素の群に分ける。有効画素の群については、各画素を、光源ベクトルに沿って照明源固有HSV色座標のS−H面に投影し、各画素についてハイライトの影響を除去したHSV色座標を求めることにより、正確な物体色を推定する。これにより、それぞれの画素の真の物体を他の画素と独立して推定することができるので、繊細又は複雑な色変化を持つ物体の真の色を容易に推定することが可能となる。また、各非有効画素はDRMに従わないので、それらの真RGB色座標は、隣接する非ハイライト画素の色との関連を用いて推定する。
【0013】
上記の方法は、単一の照明源と単一の画像を用いて対象物の真の色を推定することを可能とし、高速かつ特殊な装置や設定環境を必要としないシステムで実施できるという利点を持つ。さらに、対象物の画像の内、少なくとも有効画素については、それぞれの画素の真の物体色を他の画素と独立して推定することができるので、繊細又は複雑な色変化を持つ物体の真の色を容易に推定することができる。
【0014】
また、非有効画素が画像のかなりの部分を占めてしまうような撮像環境に対して、本発明は、強くハイライト(飽和)された画像領域の物体色のより正確な推定を可能とする、新しい複数照明、又は、複数視点、又は、複数照明と複数視点の組み合わせを用いる方法を提供する。本発明による複数照明、又は、複数視点、又は、複数照明と複数視点の組み合わせを用いる方法では、上記の非有効画素のそれぞれについて、対応する有効画素を他の画像から得る。この方法では、二つ以上の画像又は光源を用いるが、画像ハイライト補正に上記のRGB投影法を用いるので、繊細又は複雑な色変化を持つ物体の真の色を容易に推定できるという利点を持つ。さらに、単一の画像の画素において観測される鏡面反射は、異なる照明、視点、或いは、それらの組み合わせの設定のもとで得られる別の画像の対応画素においては観測されないので、本方法では、最低二つの画像又は照明で足りる。
【実施例】
【0015】
まず、本発明の理解を容易にするために、RGB色空間とHSV色空間の関係を簡単に説明する。
RGB色空間は、カメラセンサーやカラーディスプレーの作用原理に基づく、ハードウェア指向の色空間である。図3に示すように、RGB色空間においては、赤、緑、青の三原色が正六面体の3つの独立軸に割り当てられる。この空間において、グレースケールは、正六面体の対角線に沿って黒から白へ加算的に変化する。印刷に利用される、シアン、マゼンタ、黄(CMY)の三補色は、対向する角に位置付けられ、緑と青を組み合わせることによりシアンを、青と赤を組み合わせることによりマゼンタを、そして、赤と緑を組み合わせることにより黄が形成されるよう構成されている。
【0016】
RGB色空間は、画像表現には非常に有用であるが、画像解析においては、より有用な他の色空間もある。図4に示した、色相、彩度、明度(HSV)色空間はそのような色空間の一つで、この空間では、原色は輪の円周上に沿って、お互いから120度離れて位置付けられ、二次色は原色の間に置かれ、原色の間の全ての空間が色で埋まれった輪が形成されている。この色で埋まった輪は、色相座標を持ち、波長で表される色を示す。輪の半径は、彩度座標を持ち、色の両を示す。色相−彩度面に垂直な軸が明度(強度)座標を持ち、光の量を示す。
【0017】
このHSVモデルは、人間による色認識に似ており、その各成分は、画家の色合い、明暗、色調に煮ている。図4に示すように、これらの数値がプロットされる空間は、一対の円錐形で表すことができ、実際に、HSVモデルの三次元的表現はRGBモデルの正六面体から導かれている。′Hue,Saturation,and Value Color Model′,http://www.education.siggraph.org/materials/HyperGraph/color/colorhs.htm(accessed April 2001)にて示されるように、RGBモデルの正六面体をグレーの対角線に沿って眺めると、HSVヘキサコーンである六角形状の形が見える。
【0018】
図2は、RGB色空間における、誘電体の反射色分布の斜視図である。これらの点を光源ベクトルCSに沿って眺めると、理想的には鏡面反射に由来する点が一つの点(一般には重なった点の雲状の集まり)として見えるはずである。以下に、パンのサンプル画像を用いたこの現象の実験結果について延べる。
【0019】
図5に、中央の赤いジャムの部分がハイライトされたパンの画像をしめす。紙面上の色表現に関する制限のため、この図はグレースケールで表現されており、パンの赤いジャムの部分は、図の中央における暗い部分として示されている。図6は、図5のパンの画像における、鏡面反射色と物体色の斜視図である。この図6は図2と相同であり、照明された赤いジャムの反射色分布を示すものである。図7は、図6のデータを光源ベクトルCSに沿って見た状態を示す。これらのデータについては、緑や青の成分が無いので、全ての物体色は赤の軸上に存在する。同様に、異なる赤色の明度が無いため、物体色の点はお互いに近い位置にある。図6は図2に良く似ており、図7において、ハイライト色はほぼ重なった点の雲状の集まりとなっている。明確を記すため、各反射型(非ハイライト、ハイライト)の点は、10個ずつのみ示している。
【0020】
図7からもわかるように、物体色点を光源ベクトルに沿って投影すると、それらの点は赤の軸上の点に収束し、優占する色が赤であることがはっきりする。従って、光源ベクトルCSに直交する、以下にx−y面と称する平面への投影は、CSベクトルを零にするに等しい。
【0021】
本発明において、上記x−y面は、極座標変換、すなわち、r、θ変換により照明源固有HSV座標系に関連付けられる。すなわち、このx−y面は、r、θ変換とオフセット演算を介して照明源固有のS−H面と等しく、この照明源固有のS−H面は、上記の標準的なHSV座標系に対し、傾斜しており、原点がオフセットされている。この照明源固有HSV色座標系は、本発明のハイライト処理手順における主要な要素である。本発明では、照明源固有HSV色座標系を、RGB正六面体を光源ベクトルに沿って眺めたときに得られる座標系であるとしている。従って、このような照明源固有HSV色座標系は、その強度軸が光源ベクトルに沿い、そのS−H面が光源ベクトルに直交する。実際、RGB正六面体をそのグレーの対角線に沿って眺めることにより、RGB色座標系から導かれる標準のHSV色座標系は、無色の照明源の照明源固有HSV色座標系の特殊な例として扱える。
【0022】
図8に示すように、照明源固有HSV色座標系に基づくハイライト補正方法では、画像の画素のRGB画像座標が上記強度軸に沿ってx−y面に投影される。次に、投影された点は色相(H)と彩度(S)の座標値と関連付けられ、これにより投影された画像の点の内、ハイライトを含んでいるもののハイライトの下の色が明らかとなる。その後、適切な明度座標推定により、標準HSV色座標系におけるハイライトの無い画像が得られ、この画像は、RGB色座標系における同等の、ハイライトの無い画像に変換できる。
【0023】
次に、本発明の好ましい実施例を説明する。図9は、本発明の実施例である画像取得システム1の略図である。画像取得システム1は、サンプルステージ2、カメラ3(富士フィルム社製FUJIX DS−330;8ビット;1.4Mピクセル)、及び、光源4から構成される。ここではカメラ3がカラー撮像装置であり、サンプルステージに対し垂直にセットされる。光源4は、サンプル対象物5(本例においては、パン)を入射角45°で照明するようセットされた専用の蛍光ランプ(DURO−TEST社製True Light;演色評価数=91;色温度=5500K)を二対備える。カメラ3は、RS−232Cケーブルを介してコンピュータ6に接続されている。
【0024】
本発明によるハイライト補正に処するための画像を得る一例を次に説明する。この例において、カメラ3は、オートフォーカス、マニュアル露出、および、マニュアル絞りモードに設定された。反射率が90%の白色拡散の紙(図示せず)をサンプルステージ2に置き、これを用いてカメラ3のホワイトバランス調節を行った。次にカメラ3を手で持ち、直接入射にて、光源4の一対のランプの画像を得た。この方法により、飽和ピクセルが無いよう設定されたカメラ3の異なる露出時間と絞り値の条件で、光源3の画像を二つ得た。これら光源3の光源画像LI1とLI2は、コンピュータ6にJPEG画像として転送された。
【0025】
次に、白色拡散紙の反射RGB画像のR、G、Bの各値がカメラ3のR、G、Bそれぞれに関するダイナミックレンジの約80%となるよう、カメラ3の露出時間、絞り、高さ、ズーム比を設定し、これにより、対象物の画像における最も明るい非ハイライト画素でもカメラ3のダイナミックレンジの80%以内に確実に収まるようにした。これは、R、G、Bの各ダイナミックレンジの80%を超える明るさを持つ画素は必ずハイライト画素であるということをも意味する。但し、これは、R、G、Bの各ダイナミックレンジの80%を下回る明るさを持つ画素は必ず非ハイライト画素であるということではなく、そのような画素はハイライト画素又は非ハイライト画素のいずれでもありうる。上記に従い、露出時間は10msecに、絞り値はF5.6に、及び、高さを46.3cmに設定した。次に、カメラ3のダーク信号と基準信号とを測定した後、上記の白色拡散紙を基準サンプルとして、その画像IREFをJPEG画像としてコンピュータ6に転送した。
【0026】
次に、背景除去を容易にするための均一な青色のバックグラウンドをサンプルステージ2にセットし、サンプル対象物5をこの青色バックグラウンドの上に置いた。そして、上記条件のもと、カメラ3で撮影したサンプル対象物画像OIをJPEG画像としてコンピュータ6に送り、上記の光源画像と対象物画像とを以下に説明するコンピュータプログラムにより処理に処した。
【0027】
図10は、コンピュータ6にインストールされたハイライト補正プログラムのフローチャートを示す。まず、ステップS1にて、光源画像LI1、LI2、及び、対象物画像OIがそれぞれビットマップ画像に変換される。光源画像LI1とLI2は、光源色ベクトル取得サブルーチン(ステップS2)に処せられ、これにより、光源4の色をRGB色空間におけるベクトルとして求める。すなわち、光源画像LI1、LI2のそれぞれについて、画像の中心領域の平均RGB値を求め、これらニ画像の平均RGB座標(RL1,GL1,BL1)、(RL2,GL2,BL2)より、以下の式を用いて、規格化単位光源ベクトルLVのRGB座標(RLV,GLV,BLV)を求める。
【0028】
【数3】
【0029】
【数4】
【0030】
【数5】
【0031】
次に、画素有効性評価サブルーチン(ステップS3)において、対象物画像OIの各画素の有効性を評価する。この評価において、有効な画素のRGB座標値は、カメラ3のダイナミックレンジである8ビットに相当する255という値の98%以下である、という基準で画素の有効性を評価する。これにより、それぞれが以下の条件を全て満たす有効画素(R1,G1,B1)から(Rn,Gn,Bn)(nは、有効画素の数を示す正数)が得られる。
Ri ≦ 250
Gi ≦ 250
Bi ≦ 250
上記において、n=1,2,・・・n。
【0032】
次に、HSV色座標面投影サブルーチン(ステップS4)において、対象物画像OIの全ての有効画素(R1,G1,B1)から(Rn,Gn,Bn)を単位光源ベクトルLVに沿って、照明源固有HSV色座標系のx−y面に投影する。この座標系では、x−y面は、単位光源ベクトルLVに直交し、RGB色空間の原点を通る面であると定義し、原点は、RGB空間の原点であると定義し、x軸は、単位ベクトルRGB(0,0,1)を前記光源ベクトルに沿って前記直交平面に投影した点と該原点を結ぶ軸であると定義し、y軸は、前記直交平面内においてx軸に直交する軸であると定義し、z軸は、前記原点を通り、前記x軸とy軸に直交する軸であると定義している。すなわち、以下の式を用いて、各有効画素(Ri,Gi,Bi)(i=1〜n)より、投影画素(R′i,G′i,B′i)(i=1〜n)の座標値を求める。
【0033】
【数6】
【0034】
【数7】
【0035】
【数8】
【0036】
【数9】
【0037】
次に、θ=0°を前記x軸の正数側として設定し、r座標を原点から投影点までのベクトルの長さとし、θ座標をθ=0°に対して反時計方向の角度(°)とし、θ座標が色相に対応し、r座標が彩度に対応する極座標に、x−y面における投影画素(R′i,G′i,B′i)を変換するr、θ座標変換サブルーチン(ステップS5)を実行する。すなわち、投影画素(R′i,G′i,B′i)(i=1〜n)のそれぞれについて、以下の式を用いて、原点から投影画素(R′i,G′i,B′i)までの半径ベクトルOP’iの長さriと、各投影画素のx軸ベクトルOXに対する、反時計回りの角度(°)θiとを求める。
【0038】
【数10】
【0039】
【数11】
上記において、・は、点乗積を示す。そして、ベクトルOP’iとOX のクロ
0−θiにする。
【0040】
次に、彩度色相変換サブルーチン(ステップS6)において、r、θの座標値を彩度と色相の座標値に変換する。このサブルーチンでは、まず、赤(RED=(255,0,0))、緑(GREEN=(0,255,0)、青(BLUE=(0,0,255))の三原色のRGB座標を前記単位光源ベクトルLVに沿って、照明源固有HSV座標系の前記x−y面に投影する。例えば、原色の赤(RED=(255,0,0))の照明源固有HSV座標系への投影は、以下の式を用いて実施される。
【0041】
【数12】
【0042】
【数13】
【0043】
【数14】
【0044】
次にこの投影点を上記と同じr、θ座標変換に処して、照明源固有HSV座標系のx−y面内における座標rREDISとθREDISを得る。すなわち、投影点(R’RED,G’RED,B’RED)について原点から(R’RED,G’RED,B’RED)への半径ベクトルORED’の長さrREDISと、(R’RED,G’RED,B’RED)のx軸ベクトルOXに対する反時計回り角度θREDISを以下のとおり求める。
【0045】
【数15】
【0046】
【数16】
上記において、・は、点乗積を示す。
【0047】
そして、ベクトルORED’とOXのクロス乗積により、θREDISをその余角か
が0未満であれば、θREDISを360.0−θREDISにする。
【0048】
上記の処理を緑(GREEN)と青(BLUE)に対しても実施して、それぞれのr、θ座標rGREENIS、θGREENISとrBLUEIS、θBLUEISを求める。
【0049】
なお、標準HSV色座標系のS−H面における、赤(RED)、緑(GREEN)、青(BLUE)の三原色の彩度(S)値と色相(H)値は既知であり、図11のS−H面に示すように、それぞれ、S = 255、H = 0°;S = 255、H = 120°;S = 255、H = 240°である。なお、図11は、紙面上の色表現に関する制限のため、グレースケールで表現されている。また、ここでは、投影されたRGB値との関連を簡素化するために、0〜1或いは0%から100%の標準の彩度(S)値の範囲を、カメラ3の範囲である0〜255で定義している。従って、照明源固有HSV色座標系のx−y面を標準のHSV色座標系に関連付ける換算係数SFRED、SFGREEN、SFBLUE、及び、オフセット値ANGDIFFは、以下の式で求められる。
【0050】
【数17】
【0051】
【数18】
【0052】
【数19】
【0053】
【数20】
【0054】
上記の換算係数SFRED、SFGREEN、SFBLUE、及び、オフセット値ANGDIFFを以下の式の通り、各投影画像画素のr、θ座標ri、θiに対して用いて、各投影画像画素の真の彩度(S)及び色相(H)の推定値を求める。
【0055】
【数21】
【0056】
【数22】
【0057】
【数23】
【0058】
【数24】
【0059】
【数25】
【0060】
上記の処理を要約すると、対象物の画像OIの有効画素(Ri,Gi,Bi)(i=1〜n)を単位光源ベクトルLVに沿って、照明源固有HSV色座標系のx−y面に投影し、これによって得られた投影画素(R’i,G’i,B’i)(i=1〜n)を極座標(ri,θi)(i=1〜n)に変換し、これら極座標をさらにSH座標(Si,Hi)に変換する。次に、各有効画素の非ハイライト明度座標Viを求める。
【0061】
各有効画素の非ハイライト明度座標Viは、非ハイライト明度座標算出サブルーチン(ステップS7)にて推定する。図12は、このサブルーチンのフローチャートを図12に示す。
【0062】
まず、ステップS21において、引数i、j、kをそれぞれ1に初期化する。次に、ステップS22において、i番目の画素の彩度(S)値が閾値THV未満であるか否かを判断する。本実施例では、閾値THVをカメラ3のフルスケールの25%に設定している。
【0063】
i番目の画素の彩度(S)値が閾値THV未満であると判断されれば、i番目の画素は、モノクロ画素であると見なし、モノクロ画素引数Mjをiに設定し、最大非ハイライト赤色値(R_Max)、最大非ハイライト緑色値(G_Max)、及び、最大非ハイライト青色値(B_Max)をステップS23にて以下の通り設定する。
【0064】
【数26】
【0065】
【数27】
【0066】
【数28】
上記式において、RWは、白色拡散板の画像のR値、GWは、白色拡散板の画像のG値、BWは、白色拡散板の画像のB値である。すなわち、RW、GW、BWは、上記の画像取得構成において得られる最も明るい非ハイライト強度である。次に、ステップS24にて、引数jが1で増加された後、ステップS27に入る。
【0067】
一方、i番目の画素の彩度(S)値が閾値THV以上であると判断されれば、i番目の画素は、色付き画素であると見なし、色付き画素引数Ckをiに設定し、R_Max、G_Max、B_MaxをステップS25にて以下の通り設定する。
【0068】
【数29】
【0069】
【数30】
【0070】
【数31】
上記式において、ρ1、ρ2、ρ3はそれぞれ、白色拡散板の反射率に対する、赤色、緑色、および、青色拡散板の各反射率の比率である。なお、本実施例では、各拡散板の製造元(財団法人日本色彩研究所)によって提供された反射率比率を用いた。
【0071】
次に、ステップS26にて引数kを1つ増加した後、ステップS27に入る。
【0072】
上記のステップS21からS26が最大非ハイライト明度算出サブルーチンをなす。
【0073】
ステップS27では、i番目の画素の色相値HiがHi<60.0、又は、Hi≧300.0を満たすか否か判断する。i番目の画素の色相値HiがHi<60.0、又は、Hi≧300.0を満たせば、ステップS28に入り、i番目の画素の赤色値(Ri)が最大非ハイライト赤色値R_Max未満であるか否か判断する。RiがR_max未満であれば、ステップS29において、i番目の画素の明度座標ViをRiに設定する。ステップS28において、RiがR_max以上であると判断されれば、ステップS30において、i番目の画素の明度座標ViをR_Maxに設定する。その後、ステップS38に入る。
【0074】
一方、ステップS27において、i番目の画素の色相値HiがHi<60.0、又は、Hi≧300.0を満たさないと判断されれば、ステップS31に入り、i番目の画素の色相値Hiが60.0≦Hi<180.0を満たすか否か判断する。i番目の画素の色相値Hiが60.0≦Hi<180.0を満たせば、ステップS32に入り、i番目の画素の緑色値(Gi)が最大非ハイライト緑色値G_Max未満であるか否か判断する。GiがG_max未満であれば、ステップS33において、i番目の画素の明度座標ViをGiに設定する。ステップS32において、GiがG_max以上であると判断されれば、ステップS34において、i番目の画素の明度座標ViをG_Maxに設定する。その後、ステップS38に入る。
【0075】
ステップS31において、i番目の画素の色相値Hiが60.0≦Hi<180.0を満たさないと判断されれば、ステップS35に入り、i番目の画素の青色値(Bi)が最大非ハイライト緑色値B_Max未満であるか否か判断する。BiがB_max未満であれば、ステップS36において、i番目の画素の明度座標ViをBiに設定する。ステップS35において、BiがB_max以上であると判断されれば、ステップS37において、i番目の画素の明度座標ViをB_Maxに設定する。その後、ステップS38に入る。
【0076】
ステップS38にて引数iを1つ増加した後、ステップS39において、iが有効画素の数nを超えているか否か判断する。iがn以下であれば、ステップS22に戻り、iがnを超えていれば、図10に示すメインルーチンに戻る。
【0077】
メインルーチンに戻った後、真RGB座標推定サブルーチン(ステップS8)に入る。このサブルーチンでは、各有効色付き画素(RCi,GCi,BCi)(Ci=C1〜Ck−1)の真RGB座標をそれらの画素のS、H、V値より、既知のHSV−RGB変換方法(例えば、′Color Conversion Algorithms′,http://www.cs.rit.edu/〜ncs/color/t convert.html(2001年4月にアクセス)に記載の方法)を用いて推定し、各モノクロ画素(RMi,GMi,BMi)(Mi=M1〜Mj−1)の真RGB座標を以下の式を用いて推定する。
【0078】
【数32】
【0079】
また、各非有効画素の真RGB座標を、当該非有効画素に最も近く隣接した、非ハイライト画素のRGB座標と等しいと推定する。本実施例では、画像の左上角から右下角へという順序で画素が処理され、非有効画素の処理以前において、もっとも最近に処理された非ハイライト画素(R、G、Bの値がそれぞれ数式29、数式30、数式31のR_Max、B_Max、G_Max以下である有効画素)を当該非有効画素のRGB座標を求めるための、当該非有効画素に最も近く隣接した非ハイライト画素として用いている。
【0080】
有効および非有効画素の両方について、真RGB座標の推定値が求まると、真RGB座標推定サブルーチン(ステップS8)は終了し、これにより、本実施例の画像ハイライト補正プログラムが終了する。ハイライト補正前の画像の例を図13に示す。この画像は、透明無色のプラスチックに包まれたパンの画像で、強い鏡面反射による飽和ハイライト領域が画像の白く明るい部分として見える。図14は、上記プログラムによる有効画素のハイライト補正によって得られた画像の例を示す。これからわかるように、本方法によって、楕円形に囲まれた、ハイライトされた有効画素の下にあるパンの真の色が良好に求められている。図15は、図14において黒色で示された非有効画素についても、それらに最も近い隣接非ハイライト画素との関連を用いてハイライト補正した、全画像のハイライト補正を示す。これらの図は、紙面上の色表現に関する制限のため、グレースケールで表現されているが、単一の照明光源と単一の画像のみを用いて、飽和ハイライト部分においても、ハイライトの下にあるパンの真の色がうまく求められていることがわかるであろう。
【0081】
本発明は、上に説明した実施例に限らず、本発明の範囲内においてあらゆる変更が可能である。例えば、上記実施例では、白色拡散紙の反射RGB画像のR、G、Bの各値が撮像装置(カメラ3)のR、G、Bそれぞれに関するダイナミックレンジの約80%となるよう、露出時間、絞り、高さ、ズーム比等の条件を設定したが、撮像装置の条件を調節するために利用する撮像装置のダイナミックレンジの比率は、80%に限らず、撮像装置のダイナミックレンジに対して適切であり、本発明の目的を達成できるのであれば、他のいかなる比率を用いてもよい。
【0082】
また、上記画素有効性評価サブルーチンでは、有効な画素のRGB座標値は、カメラ3のダイナミックレンジの98%以下であるという基準で対象物画像の画素を評価したが、有効画素、すなわち、完全に飽和していない画素を、非有効画素、すなわち、完全に飽和した画素から区別できる評価基準であれば、他のいかなる評価基準を用いてもよい。
【0083】
また、上記明度座標算出サブルーチンでは、モノクロ画素と色付き画素とを区別するための閾値THVをカメラ3のフルスケールの25%に設定したが、この閾値は、モノクロ画素と色付き画素とを区別できれば、他の適当な閾値に設定してもよい。
【0084】
また、上記明度座標算出サブルーチンにおいて、拡散板の製造元が提供する赤色拡散板、緑色拡散板、及び、青色拡散板の反射率の比率ρ1、ρ2、ρ3を使う代わりに、赤色拡散板、緑色拡散板、及び、青色拡散板の画像を前もってカメラ3で撮像し、色付き画素の場合に使用するR_Max、G_Max、B_Maxをそれぞれ赤色拡散板の画像のR値RR、緑色拡散板の画像のG値GG、青色拡散板の画像のB値BBに設定することもできる。
【0085】
さらに、上記の実施例では、単一の照明光源と単一の画像の利用を説明したが、単一光源の位置、姿勢、又は、それらの組み合わせを変更することにより、又は、位置、姿勢、又は、それらの組み合わせが異なる複数の光源を使うことにより、又は、対象物の位置、姿勢、又は、それらの組み合わせを変更することにより、又は、上記単一光源の位置、姿勢、又は、それらの組み合わせの変更を上記対象物の位置、姿勢、又は、それらの組み合わせの変更と組み合わせることにより、さらに又は、位置、姿勢、又は、それらの組み合わせが異なる上記複数の光源の使用と上記対象物の位置、姿勢、又は、それらの組み合わせの変更と組み合わせることにより、二つ以上の対象物画像を得てもよい。この場合、各対象物画像は、それにおける完全飽和画素(非有効画素)が他の対象物画像における完全飽和画素(非有効画素)と完全に重ならないような光源および対象物の条件のもとで得てもよい。また、各対象物画像は、それにおける画像のハイライト部が他の対象物画像におけるハイライト部と完全に重ならないような光源および対象物の条件のもとで得てもよく、この場合、R、G、及び、B値のいずれか一つでも白色拡散板の画像の対応するR、G、及び、B値より大きい対象物画像画素がハイライト画素であるとする判断基準、又は、R値が赤色拡散板の画像のR値より大きい、又は、G値が緑色拡散板の画像のG値より大きい、又は、B値が青色拡散板の画像のB値より大きい対象物画像画素がハイライト画素であるとする判断基準に基づいてハイライト画素を識別してもよい。
【0086】
そして、このような複数照明/視点方法で得られた画像をそれぞれ上記のような画像ハイライト補正プログラムに処して複数組の推定真RGB座標を得た後、対象物について得られたこれら推定真RGB座標組を、推定真RGB座標合成サブルーチンにおいて合成し、有効画素から推定真RGB座標のみからなる合成推定真RGB座標の組を形成してもよい。さらにまた、二つ以上の画像を合成し、この合成画像を上記のような画像ハイライト補正プログラムに処して、対象物の真の色を推定してもよい。これらの方法は、飽和、又は、非有効画素が広い面積を占めるような光沢の強い対象物の真の色の正確な推定を可能とする利点を持ち、多くの場合、真の色の正確な推定には、二つの画像のみが必要となる。
【発明の効果】
【0087】
上に説明したように、本発明による方法、プログラム、又は、システムは、対象物の真の色とともに、ハイライト又は光沢として対象物上に現れる鏡面又は界面反射をも含みうる対象物の記録画像から対象物の真の色を求めることを可能とする。よって、本発明による方法、プログラム、又は、システムは、認識過程において対象物の真の色を求めることを必要とするいかなるマシンビジョン又はパターン認識システムにも使用できる。本発明による方法、プログラム、又は、システムは、特に対象物の画像が繊細又は複雑な色変化を示す場合に有効である。
【0088】
ガラス等の透明物体を通して記録された画像は、ゴーストイメージの形で鏡面反射成分を含むことがある。本発明による方法、プログラム、又は、システムは、そのようなゴーストイメージの除去を可能とする。従って、本発明による方法、プログラム、又は、システムは、ガラス等の透明物体を通して画像が撮影されるいかなるマシンビジョン又はパターン認識システムにも使用できる。
【0089】
具体例として、パン焼きへの応用が挙げられる。対象物の表面色や表面色の均一性は、パン焼き製品の品質保証における重要な判断基準であり、それらは、最適な焼き時間と直接的な関係にある。最適な焼き時間を正確に求めるのは非常に困難であり、それは、周囲の温度や湿度、オーブンの温度、そして、最も重要な事項として、パン生地に使用される小麦粉やベーキングパウダーの水分、正確な混合比、及び、生地の発酵時間に左右される。この分野の当事者によると、同じ種類の混合物や組成物でも、最適な焼き時間は、バッチごとに異なる。実際のパン焼き工程において、焼かれている対象物の画像をオーブンのガラスを通して捉える撮像装置を使用した、マシンビジョンを応用したオーブンシステムを利用すれば、フィードバック機構によって最適な焼き時間を求めることができる。本発明による方法、プログラム、又は、システムをこのようなマシンビジョンを応用したオーブンシステムに利用して、画像中のハイライト部を補正したり、ゴーストイメージを除去すれば、焼かれている対象物の真の色が得られ、それらを物体色解析に処して、最適焼き時間決定過程の自動化を可能にすることができる。
【図面の簡単な説明】
【0090】
【図1】誘電材料による光反射を表した略図である。
【図2】RGB色空間における、誘電体の反射色分布の斜視図である。
【図3】RGB色空間の略図である。
【図4】HSV色空間の略図である。
【図5】中央の赤いジャムの部分がハイライトされたパンの画像である。
【図6】図5のパンの画像における、鏡面反射色と物体色の斜視図である。
【図7】図6のデータを光源ベクトルに沿って見た状態を示す図である。
【図8】画像の画素のx−y面への投影を示す略図である。
【図9】本発明の実施例である画像取得システムの略図である。
【図10】本発明の実施例であるハイライト補正プログラムのフローチャートである。
【図11】S−H面を示す図である。
【図12】非ハイライト明度座標算出サブルーチンのフローチャートである。
【図13】ハイライト補正前の画像の例を示す図である。
【図14】ハイライト補正プログラムによる有効画素のハイライト補正によって得られた画像の例を示す図である。
【図15】非有効画素についての補正をも含めたハイライト補正によって得られた画像の例を示す図である。
【産業上の利用分野】
【0001】
本発明は、マシンビジョンの分野において、画像中のハイライトの下に存在する色を推定する方法に関する。殆どのマシンビジョン用途では、光の反射によって生じる画像の解析が行われる。また、物体の表面色はコンピュータビジョン用途において最も重要な情報の一つである。但し、画像として記録された色は、物体上のてかり、又は、ハイライトとして現れる鏡面又は界面反射を含むため、物体の真の色を示すとは限らない。また、ハイライト領域を捉える撮像装置の検出素子の飽和が起こるほどハイライトが強い場合がある。
【背景技術】
【0002】
プラスチック等の誘電材料からの反射光Lは、通常、二つの異なる反射成分、すなわち、鏡面又は界面反射成分LSと、拡散又は物体反射成分LBからなる。鏡面又は界面反射は物体の表面で起こり、入射光線、表面に対する法線、及び、反射光線が共平面となるよう一方向にのみ起こり、入射光線と反射光線のそれぞれが表面法線に対して形成する角度はお互いに等しくなる。一般に、LSは、照明光と同じパワースペクトルを持ち、物体上のてかり、又は、ハイライトとして現れるので、照明源色と称される場合もある。
【0003】
図1に示すように、入射光の全てが表面で反射されるのではなく、その一部は、材料に進入し、屈折した光線が時々色素にぶつかりながら媒体を通過していく。そして材料の内部において、光線は異なる屈折率を持つ境界面において反射と屈折を繰り返し、最終的には、一部の散乱光が表面に戻り、あらゆる方向に沿って材料の外部に出て行くことにより、拡散又は物体反射成分LBを形成する。この成分が物体の色情報を持ち、物体色とも称される。
【0004】
2色性反射モデル(Dichromatic Reflectance Model、DRM)によれば、プラスチック、ペンキ、紙、セラミックス等の誘電体からの反射光Lは、鏡面反射成分LSと物体反射成分LBの混合であると推定する。このモデルは以下の式で表現できる。
【0005】
【数1】
ここで、λは波長、φは入射光の角度、φは反射光の角度、及び、θは位相角を示す。また、msとmbは、幾何学的スケール係数で、CS(λ)とCB(λ)はそれぞれ、鏡面反射色ベクトルと物体色ベクトルを示す。
【0006】
TVカメラの場合のように、シーンラディアンスの記述を可視光の赤、緑、及び、青のスペクトル領域に限定した場合、シーンラディアンスを以下の3×1色ベクトルで表すことが出来る。
【0007】
【数2】
ここで、(x, y)は、画素の位置を示し、C(x, y)は、観察された色ベクトルを示す。図2からわかるように、この式は、観察された色C(x, y)がCSとCb(x, y)の二つのベクトルによってスパンされた面内に分布することを意味する。なお、CSは、一つの照明色を表すので、画素位置に依存しない。従って、CSとC(x, y)が推定できれば、鏡面反射を拡散反射から区別することができ、しいては、拡散反射、すなわち、真の色を得ることができる。
【0008】
従来、上記の推定は、複数の照明を用いる方法(N.Nayar,K.Ikeuchi and T.Kanade,“Determining Shape and Reflectance of Hybrid Surfaces by Photometric Sampling”,IEEE Trans.on Robotics and Automation,Vol.6,No.4,pp.418−431(1990))、又は、複数の画像を用いる方法(M.Otsuki,Y.Sato,“Highlight Separation Using Multiple Images with Intensities and Ranges”,MVA’96,IAPR Workshop on Machine Vision Application,pp.293−296(1996))によってなされた。複数の照明を用いる方法では、対象物を同じ視点から見ながら複数の照明源を使って、すなわち、CS成分を変化させてCb成分を推定し、数式2を解いて、真の物体色を得る。一方、複数の画像を用いる方法では、同様の作用を単一の固定された光源を用い、複数の異なる姿勢から対象物の画像を観察することにより、実現している。
【0009】
上記の従来技術では、DRMを採用し、画像の各領域の画素が色空間において形成する反射光分布のパターンを使って物体色を推定している。しかし、繊細又は複雑な色変化を持つ対象物の画像の場合のように、解析される画像領域が複数の異なる色クラスターからなる場合、上記従来技術の取り組み方は効果的ではない。さらに、上記の方法はいずれも特殊な装置(複数の光源を備えた装置、又は、異なる姿勢から画像を捉えることを可能とする装置)や特殊な設定環境を必要とし、処理時間も長い。従って、これらの方法は、あらゆる環境における対象物に柔軟に応用することができず、マシンビジョン用途における高い速度という要求に応えるごとができない。
【発明が解決しようとする課題】
【0010】
本発明は、上記事情に鑑みてなされたもので、その目的は、特殊な装置や設定環境を必要としない単一照明・単一画像構成で実施可能な、高速ハイライト補正法を提供することにある。また、本発明の目的は、物体の画像における少なくとも不飽和又は有効な画素について、他の画素と独立して当該画素の真の色を求めることを可能とし、それにより、繊細又は複雑な色変化を持つ物体の真の色を容易に推定することを可能とすることにある。本発明のさらなる目的は、ハイライト箇所を捉える撮像装置の検出素子を完全に飽和させるような強くハイライトされた領域の物体色をより正確に推定することを可能とする多照明、又は、多視点、又は、それらを組み合わせた多照明・多視点手法を提供することにある。
【発明の開示】
【課題を解決するための手段】
【0011】
上記の目的を達成するために、本発明では、明度軸が照明光源の色ベクトルに沿った照明源固有HSV色座標系を提案し、RGB色座標系の画像データを、上記照明源固有HSV色座標系に写像するステップと、各画素について、非ハイライトHSV座標を推定するステップと、RGB系において、非ハイライト画像を復元するステップからなる画像ハイライト補正方法を提供する。
【0012】
真の物体色を推定するにあたり、本手法では、画像データを、撮像装置の検出素子の飽和が生じなかった(DRMを適応できる)有効画素の群と、撮像装置の検出素子が飽和が生じた非有効画素の群に分ける。有効画素の群については、各画素を、光源ベクトルに沿って照明源固有HSV色座標のS−H面に投影し、各画素についてハイライトの影響を除去したHSV色座標を求めることにより、正確な物体色を推定する。これにより、それぞれの画素の真の物体を他の画素と独立して推定することができるので、繊細又は複雑な色変化を持つ物体の真の色を容易に推定することが可能となる。また、各非有効画素はDRMに従わないので、それらの真RGB色座標は、隣接する非ハイライト画素の色との関連を用いて推定する。
【0013】
上記の方法は、単一の照明源と単一の画像を用いて対象物の真の色を推定することを可能とし、高速かつ特殊な装置や設定環境を必要としないシステムで実施できるという利点を持つ。さらに、対象物の画像の内、少なくとも有効画素については、それぞれの画素の真の物体色を他の画素と独立して推定することができるので、繊細又は複雑な色変化を持つ物体の真の色を容易に推定することができる。
【0014】
また、非有効画素が画像のかなりの部分を占めてしまうような撮像環境に対して、本発明は、強くハイライト(飽和)された画像領域の物体色のより正確な推定を可能とする、新しい複数照明、又は、複数視点、又は、複数照明と複数視点の組み合わせを用いる方法を提供する。本発明による複数照明、又は、複数視点、又は、複数照明と複数視点の組み合わせを用いる方法では、上記の非有効画素のそれぞれについて、対応する有効画素を他の画像から得る。この方法では、二つ以上の画像又は光源を用いるが、画像ハイライト補正に上記のRGB投影法を用いるので、繊細又は複雑な色変化を持つ物体の真の色を容易に推定できるという利点を持つ。さらに、単一の画像の画素において観測される鏡面反射は、異なる照明、視点、或いは、それらの組み合わせの設定のもとで得られる別の画像の対応画素においては観測されないので、本方法では、最低二つの画像又は照明で足りる。
【実施例】
【0015】
まず、本発明の理解を容易にするために、RGB色空間とHSV色空間の関係を簡単に説明する。
RGB色空間は、カメラセンサーやカラーディスプレーの作用原理に基づく、ハードウェア指向の色空間である。図3に示すように、RGB色空間においては、赤、緑、青の三原色が正六面体の3つの独立軸に割り当てられる。この空間において、グレースケールは、正六面体の対角線に沿って黒から白へ加算的に変化する。印刷に利用される、シアン、マゼンタ、黄(CMY)の三補色は、対向する角に位置付けられ、緑と青を組み合わせることによりシアンを、青と赤を組み合わせることによりマゼンタを、そして、赤と緑を組み合わせることにより黄が形成されるよう構成されている。
【0016】
RGB色空間は、画像表現には非常に有用であるが、画像解析においては、より有用な他の色空間もある。図4に示した、色相、彩度、明度(HSV)色空間はそのような色空間の一つで、この空間では、原色は輪の円周上に沿って、お互いから120度離れて位置付けられ、二次色は原色の間に置かれ、原色の間の全ての空間が色で埋まれった輪が形成されている。この色で埋まった輪は、色相座標を持ち、波長で表される色を示す。輪の半径は、彩度座標を持ち、色の両を示す。色相−彩度面に垂直な軸が明度(強度)座標を持ち、光の量を示す。
【0017】
このHSVモデルは、人間による色認識に似ており、その各成分は、画家の色合い、明暗、色調に煮ている。図4に示すように、これらの数値がプロットされる空間は、一対の円錐形で表すことができ、実際に、HSVモデルの三次元的表現はRGBモデルの正六面体から導かれている。′Hue,Saturation,and Value Color Model′,http://www.education.siggraph.org/materials/HyperGraph/color/colorhs.htm(accessed April 2001)にて示されるように、RGBモデルの正六面体をグレーの対角線に沿って眺めると、HSVヘキサコーンである六角形状の形が見える。
【0018】
図2は、RGB色空間における、誘電体の反射色分布の斜視図である。これらの点を光源ベクトルCSに沿って眺めると、理想的には鏡面反射に由来する点が一つの点(一般には重なった点の雲状の集まり)として見えるはずである。以下に、パンのサンプル画像を用いたこの現象の実験結果について延べる。
【0019】
図5に、中央の赤いジャムの部分がハイライトされたパンの画像をしめす。紙面上の色表現に関する制限のため、この図はグレースケールで表現されており、パンの赤いジャムの部分は、図の中央における暗い部分として示されている。図6は、図5のパンの画像における、鏡面反射色と物体色の斜視図である。この図6は図2と相同であり、照明された赤いジャムの反射色分布を示すものである。図7は、図6のデータを光源ベクトルCSに沿って見た状態を示す。これらのデータについては、緑や青の成分が無いので、全ての物体色は赤の軸上に存在する。同様に、異なる赤色の明度が無いため、物体色の点はお互いに近い位置にある。図6は図2に良く似ており、図7において、ハイライト色はほぼ重なった点の雲状の集まりとなっている。明確を記すため、各反射型(非ハイライト、ハイライト)の点は、10個ずつのみ示している。
【0020】
図7からもわかるように、物体色点を光源ベクトルに沿って投影すると、それらの点は赤の軸上の点に収束し、優占する色が赤であることがはっきりする。従って、光源ベクトルCSに直交する、以下にx−y面と称する平面への投影は、CSベクトルを零にするに等しい。
【0021】
本発明において、上記x−y面は、極座標変換、すなわち、r、θ変換により照明源固有HSV座標系に関連付けられる。すなわち、このx−y面は、r、θ変換とオフセット演算を介して照明源固有のS−H面と等しく、この照明源固有のS−H面は、上記の標準的なHSV座標系に対し、傾斜しており、原点がオフセットされている。この照明源固有HSV色座標系は、本発明のハイライト処理手順における主要な要素である。本発明では、照明源固有HSV色座標系を、RGB正六面体を光源ベクトルに沿って眺めたときに得られる座標系であるとしている。従って、このような照明源固有HSV色座標系は、その強度軸が光源ベクトルに沿い、そのS−H面が光源ベクトルに直交する。実際、RGB正六面体をそのグレーの対角線に沿って眺めることにより、RGB色座標系から導かれる標準のHSV色座標系は、無色の照明源の照明源固有HSV色座標系の特殊な例として扱える。
【0022】
図8に示すように、照明源固有HSV色座標系に基づくハイライト補正方法では、画像の画素のRGB画像座標が上記強度軸に沿ってx−y面に投影される。次に、投影された点は色相(H)と彩度(S)の座標値と関連付けられ、これにより投影された画像の点の内、ハイライトを含んでいるもののハイライトの下の色が明らかとなる。その後、適切な明度座標推定により、標準HSV色座標系におけるハイライトの無い画像が得られ、この画像は、RGB色座標系における同等の、ハイライトの無い画像に変換できる。
【0023】
次に、本発明の好ましい実施例を説明する。図9は、本発明の実施例である画像取得システム1の略図である。画像取得システム1は、サンプルステージ2、カメラ3(富士フィルム社製FUJIX DS−330;8ビット;1.4Mピクセル)、及び、光源4から構成される。ここではカメラ3がカラー撮像装置であり、サンプルステージに対し垂直にセットされる。光源4は、サンプル対象物5(本例においては、パン)を入射角45°で照明するようセットされた専用の蛍光ランプ(DURO−TEST社製True Light;演色評価数=91;色温度=5500K)を二対備える。カメラ3は、RS−232Cケーブルを介してコンピュータ6に接続されている。
【0024】
本発明によるハイライト補正に処するための画像を得る一例を次に説明する。この例において、カメラ3は、オートフォーカス、マニュアル露出、および、マニュアル絞りモードに設定された。反射率が90%の白色拡散の紙(図示せず)をサンプルステージ2に置き、これを用いてカメラ3のホワイトバランス調節を行った。次にカメラ3を手で持ち、直接入射にて、光源4の一対のランプの画像を得た。この方法により、飽和ピクセルが無いよう設定されたカメラ3の異なる露出時間と絞り値の条件で、光源3の画像を二つ得た。これら光源3の光源画像LI1とLI2は、コンピュータ6にJPEG画像として転送された。
【0025】
次に、白色拡散紙の反射RGB画像のR、G、Bの各値がカメラ3のR、G、Bそれぞれに関するダイナミックレンジの約80%となるよう、カメラ3の露出時間、絞り、高さ、ズーム比を設定し、これにより、対象物の画像における最も明るい非ハイライト画素でもカメラ3のダイナミックレンジの80%以内に確実に収まるようにした。これは、R、G、Bの各ダイナミックレンジの80%を超える明るさを持つ画素は必ずハイライト画素であるということをも意味する。但し、これは、R、G、Bの各ダイナミックレンジの80%を下回る明るさを持つ画素は必ず非ハイライト画素であるということではなく、そのような画素はハイライト画素又は非ハイライト画素のいずれでもありうる。上記に従い、露出時間は10msecに、絞り値はF5.6に、及び、高さを46.3cmに設定した。次に、カメラ3のダーク信号と基準信号とを測定した後、上記の白色拡散紙を基準サンプルとして、その画像IREFをJPEG画像としてコンピュータ6に転送した。
【0026】
次に、背景除去を容易にするための均一な青色のバックグラウンドをサンプルステージ2にセットし、サンプル対象物5をこの青色バックグラウンドの上に置いた。そして、上記条件のもと、カメラ3で撮影したサンプル対象物画像OIをJPEG画像としてコンピュータ6に送り、上記の光源画像と対象物画像とを以下に説明するコンピュータプログラムにより処理に処した。
【0027】
図10は、コンピュータ6にインストールされたハイライト補正プログラムのフローチャートを示す。まず、ステップS1にて、光源画像LI1、LI2、及び、対象物画像OIがそれぞれビットマップ画像に変換される。光源画像LI1とLI2は、光源色ベクトル取得サブルーチン(ステップS2)に処せられ、これにより、光源4の色をRGB色空間におけるベクトルとして求める。すなわち、光源画像LI1、LI2のそれぞれについて、画像の中心領域の平均RGB値を求め、これらニ画像の平均RGB座標(RL1,GL1,BL1)、(RL2,GL2,BL2)より、以下の式を用いて、規格化単位光源ベクトルLVのRGB座標(RLV,GLV,BLV)を求める。
【0028】
【数3】
【0029】
【数4】
【0030】
【数5】
【0031】
次に、画素有効性評価サブルーチン(ステップS3)において、対象物画像OIの各画素の有効性を評価する。この評価において、有効な画素のRGB座標値は、カメラ3のダイナミックレンジである8ビットに相当する255という値の98%以下である、という基準で画素の有効性を評価する。これにより、それぞれが以下の条件を全て満たす有効画素(R1,G1,B1)から(Rn,Gn,Bn)(nは、有効画素の数を示す正数)が得られる。
Ri ≦ 250
Gi ≦ 250
Bi ≦ 250
上記において、n=1,2,・・・n。
【0032】
次に、HSV色座標面投影サブルーチン(ステップS4)において、対象物画像OIの全ての有効画素(R1,G1,B1)から(Rn,Gn,Bn)を単位光源ベクトルLVに沿って、照明源固有HSV色座標系のx−y面に投影する。この座標系では、x−y面は、単位光源ベクトルLVに直交し、RGB色空間の原点を通る面であると定義し、原点は、RGB空間の原点であると定義し、x軸は、単位ベクトルRGB(0,0,1)を前記光源ベクトルに沿って前記直交平面に投影した点と該原点を結ぶ軸であると定義し、y軸は、前記直交平面内においてx軸に直交する軸であると定義し、z軸は、前記原点を通り、前記x軸とy軸に直交する軸であると定義している。すなわち、以下の式を用いて、各有効画素(Ri,Gi,Bi)(i=1〜n)より、投影画素(R′i,G′i,B′i)(i=1〜n)の座標値を求める。
【0033】
【数6】
【0034】
【数7】
【0035】
【数8】
【0036】
【数9】
【0037】
次に、θ=0°を前記x軸の正数側として設定し、r座標を原点から投影点までのベクトルの長さとし、θ座標をθ=0°に対して反時計方向の角度(°)とし、θ座標が色相に対応し、r座標が彩度に対応する極座標に、x−y面における投影画素(R′i,G′i,B′i)を変換するr、θ座標変換サブルーチン(ステップS5)を実行する。すなわち、投影画素(R′i,G′i,B′i)(i=1〜n)のそれぞれについて、以下の式を用いて、原点から投影画素(R′i,G′i,B′i)までの半径ベクトルOP’iの長さriと、各投影画素のx軸ベクトルOXに対する、反時計回りの角度(°)θiとを求める。
【0038】
【数10】
【0039】
【数11】
上記において、・は、点乗積を示す。そして、ベクトルOP’iとOX のクロ
0−θiにする。
【0040】
次に、彩度色相変換サブルーチン(ステップS6)において、r、θの座標値を彩度と色相の座標値に変換する。このサブルーチンでは、まず、赤(RED=(255,0,0))、緑(GREEN=(0,255,0)、青(BLUE=(0,0,255))の三原色のRGB座標を前記単位光源ベクトルLVに沿って、照明源固有HSV座標系の前記x−y面に投影する。例えば、原色の赤(RED=(255,0,0))の照明源固有HSV座標系への投影は、以下の式を用いて実施される。
【0041】
【数12】
【0042】
【数13】
【0043】
【数14】
【0044】
次にこの投影点を上記と同じr、θ座標変換に処して、照明源固有HSV座標系のx−y面内における座標rREDISとθREDISを得る。すなわち、投影点(R’RED,G’RED,B’RED)について原点から(R’RED,G’RED,B’RED)への半径ベクトルORED’の長さrREDISと、(R’RED,G’RED,B’RED)のx軸ベクトルOXに対する反時計回り角度θREDISを以下のとおり求める。
【0045】
【数15】
【0046】
【数16】
上記において、・は、点乗積を示す。
【0047】
そして、ベクトルORED’とOXのクロス乗積により、θREDISをその余角か
が0未満であれば、θREDISを360.0−θREDISにする。
【0048】
上記の処理を緑(GREEN)と青(BLUE)に対しても実施して、それぞれのr、θ座標rGREENIS、θGREENISとrBLUEIS、θBLUEISを求める。
【0049】
なお、標準HSV色座標系のS−H面における、赤(RED)、緑(GREEN)、青(BLUE)の三原色の彩度(S)値と色相(H)値は既知であり、図11のS−H面に示すように、それぞれ、S = 255、H = 0°;S = 255、H = 120°;S = 255、H = 240°である。なお、図11は、紙面上の色表現に関する制限のため、グレースケールで表現されている。また、ここでは、投影されたRGB値との関連を簡素化するために、0〜1或いは0%から100%の標準の彩度(S)値の範囲を、カメラ3の範囲である0〜255で定義している。従って、照明源固有HSV色座標系のx−y面を標準のHSV色座標系に関連付ける換算係数SFRED、SFGREEN、SFBLUE、及び、オフセット値ANGDIFFは、以下の式で求められる。
【0050】
【数17】
【0051】
【数18】
【0052】
【数19】
【0053】
【数20】
【0054】
上記の換算係数SFRED、SFGREEN、SFBLUE、及び、オフセット値ANGDIFFを以下の式の通り、各投影画像画素のr、θ座標ri、θiに対して用いて、各投影画像画素の真の彩度(S)及び色相(H)の推定値を求める。
【0055】
【数21】
【0056】
【数22】
【0057】
【数23】
【0058】
【数24】
【0059】
【数25】
【0060】
上記の処理を要約すると、対象物の画像OIの有効画素(Ri,Gi,Bi)(i=1〜n)を単位光源ベクトルLVに沿って、照明源固有HSV色座標系のx−y面に投影し、これによって得られた投影画素(R’i,G’i,B’i)(i=1〜n)を極座標(ri,θi)(i=1〜n)に変換し、これら極座標をさらにSH座標(Si,Hi)に変換する。次に、各有効画素の非ハイライト明度座標Viを求める。
【0061】
各有効画素の非ハイライト明度座標Viは、非ハイライト明度座標算出サブルーチン(ステップS7)にて推定する。図12は、このサブルーチンのフローチャートを図12に示す。
【0062】
まず、ステップS21において、引数i、j、kをそれぞれ1に初期化する。次に、ステップS22において、i番目の画素の彩度(S)値が閾値THV未満であるか否かを判断する。本実施例では、閾値THVをカメラ3のフルスケールの25%に設定している。
【0063】
i番目の画素の彩度(S)値が閾値THV未満であると判断されれば、i番目の画素は、モノクロ画素であると見なし、モノクロ画素引数Mjをiに設定し、最大非ハイライト赤色値(R_Max)、最大非ハイライト緑色値(G_Max)、及び、最大非ハイライト青色値(B_Max)をステップS23にて以下の通り設定する。
【0064】
【数26】
【0065】
【数27】
【0066】
【数28】
上記式において、RWは、白色拡散板の画像のR値、GWは、白色拡散板の画像のG値、BWは、白色拡散板の画像のB値である。すなわち、RW、GW、BWは、上記の画像取得構成において得られる最も明るい非ハイライト強度である。次に、ステップS24にて、引数jが1で増加された後、ステップS27に入る。
【0067】
一方、i番目の画素の彩度(S)値が閾値THV以上であると判断されれば、i番目の画素は、色付き画素であると見なし、色付き画素引数Ckをiに設定し、R_Max、G_Max、B_MaxをステップS25にて以下の通り設定する。
【0068】
【数29】
【0069】
【数30】
【0070】
【数31】
上記式において、ρ1、ρ2、ρ3はそれぞれ、白色拡散板の反射率に対する、赤色、緑色、および、青色拡散板の各反射率の比率である。なお、本実施例では、各拡散板の製造元(財団法人日本色彩研究所)によって提供された反射率比率を用いた。
【0071】
次に、ステップS26にて引数kを1つ増加した後、ステップS27に入る。
【0072】
上記のステップS21からS26が最大非ハイライト明度算出サブルーチンをなす。
【0073】
ステップS27では、i番目の画素の色相値HiがHi<60.0、又は、Hi≧300.0を満たすか否か判断する。i番目の画素の色相値HiがHi<60.0、又は、Hi≧300.0を満たせば、ステップS28に入り、i番目の画素の赤色値(Ri)が最大非ハイライト赤色値R_Max未満であるか否か判断する。RiがR_max未満であれば、ステップS29において、i番目の画素の明度座標ViをRiに設定する。ステップS28において、RiがR_max以上であると判断されれば、ステップS30において、i番目の画素の明度座標ViをR_Maxに設定する。その後、ステップS38に入る。
【0074】
一方、ステップS27において、i番目の画素の色相値HiがHi<60.0、又は、Hi≧300.0を満たさないと判断されれば、ステップS31に入り、i番目の画素の色相値Hiが60.0≦Hi<180.0を満たすか否か判断する。i番目の画素の色相値Hiが60.0≦Hi<180.0を満たせば、ステップS32に入り、i番目の画素の緑色値(Gi)が最大非ハイライト緑色値G_Max未満であるか否か判断する。GiがG_max未満であれば、ステップS33において、i番目の画素の明度座標ViをGiに設定する。ステップS32において、GiがG_max以上であると判断されれば、ステップS34において、i番目の画素の明度座標ViをG_Maxに設定する。その後、ステップS38に入る。
【0075】
ステップS31において、i番目の画素の色相値Hiが60.0≦Hi<180.0を満たさないと判断されれば、ステップS35に入り、i番目の画素の青色値(Bi)が最大非ハイライト緑色値B_Max未満であるか否か判断する。BiがB_max未満であれば、ステップS36において、i番目の画素の明度座標ViをBiに設定する。ステップS35において、BiがB_max以上であると判断されれば、ステップS37において、i番目の画素の明度座標ViをB_Maxに設定する。その後、ステップS38に入る。
【0076】
ステップS38にて引数iを1つ増加した後、ステップS39において、iが有効画素の数nを超えているか否か判断する。iがn以下であれば、ステップS22に戻り、iがnを超えていれば、図10に示すメインルーチンに戻る。
【0077】
メインルーチンに戻った後、真RGB座標推定サブルーチン(ステップS8)に入る。このサブルーチンでは、各有効色付き画素(RCi,GCi,BCi)(Ci=C1〜Ck−1)の真RGB座標をそれらの画素のS、H、V値より、既知のHSV−RGB変換方法(例えば、′Color Conversion Algorithms′,http://www.cs.rit.edu/〜ncs/color/t convert.html(2001年4月にアクセス)に記載の方法)を用いて推定し、各モノクロ画素(RMi,GMi,BMi)(Mi=M1〜Mj−1)の真RGB座標を以下の式を用いて推定する。
【0078】
【数32】
【0079】
また、各非有効画素の真RGB座標を、当該非有効画素に最も近く隣接した、非ハイライト画素のRGB座標と等しいと推定する。本実施例では、画像の左上角から右下角へという順序で画素が処理され、非有効画素の処理以前において、もっとも最近に処理された非ハイライト画素(R、G、Bの値がそれぞれ数式29、数式30、数式31のR_Max、B_Max、G_Max以下である有効画素)を当該非有効画素のRGB座標を求めるための、当該非有効画素に最も近く隣接した非ハイライト画素として用いている。
【0080】
有効および非有効画素の両方について、真RGB座標の推定値が求まると、真RGB座標推定サブルーチン(ステップS8)は終了し、これにより、本実施例の画像ハイライト補正プログラムが終了する。ハイライト補正前の画像の例を図13に示す。この画像は、透明無色のプラスチックに包まれたパンの画像で、強い鏡面反射による飽和ハイライト領域が画像の白く明るい部分として見える。図14は、上記プログラムによる有効画素のハイライト補正によって得られた画像の例を示す。これからわかるように、本方法によって、楕円形に囲まれた、ハイライトされた有効画素の下にあるパンの真の色が良好に求められている。図15は、図14において黒色で示された非有効画素についても、それらに最も近い隣接非ハイライト画素との関連を用いてハイライト補正した、全画像のハイライト補正を示す。これらの図は、紙面上の色表現に関する制限のため、グレースケールで表現されているが、単一の照明光源と単一の画像のみを用いて、飽和ハイライト部分においても、ハイライトの下にあるパンの真の色がうまく求められていることがわかるであろう。
【0081】
本発明は、上に説明した実施例に限らず、本発明の範囲内においてあらゆる変更が可能である。例えば、上記実施例では、白色拡散紙の反射RGB画像のR、G、Bの各値が撮像装置(カメラ3)のR、G、Bそれぞれに関するダイナミックレンジの約80%となるよう、露出時間、絞り、高さ、ズーム比等の条件を設定したが、撮像装置の条件を調節するために利用する撮像装置のダイナミックレンジの比率は、80%に限らず、撮像装置のダイナミックレンジに対して適切であり、本発明の目的を達成できるのであれば、他のいかなる比率を用いてもよい。
【0082】
また、上記画素有効性評価サブルーチンでは、有効な画素のRGB座標値は、カメラ3のダイナミックレンジの98%以下であるという基準で対象物画像の画素を評価したが、有効画素、すなわち、完全に飽和していない画素を、非有効画素、すなわち、完全に飽和した画素から区別できる評価基準であれば、他のいかなる評価基準を用いてもよい。
【0083】
また、上記明度座標算出サブルーチンでは、モノクロ画素と色付き画素とを区別するための閾値THVをカメラ3のフルスケールの25%に設定したが、この閾値は、モノクロ画素と色付き画素とを区別できれば、他の適当な閾値に設定してもよい。
【0084】
また、上記明度座標算出サブルーチンにおいて、拡散板の製造元が提供する赤色拡散板、緑色拡散板、及び、青色拡散板の反射率の比率ρ1、ρ2、ρ3を使う代わりに、赤色拡散板、緑色拡散板、及び、青色拡散板の画像を前もってカメラ3で撮像し、色付き画素の場合に使用するR_Max、G_Max、B_Maxをそれぞれ赤色拡散板の画像のR値RR、緑色拡散板の画像のG値GG、青色拡散板の画像のB値BBに設定することもできる。
【0085】
さらに、上記の実施例では、単一の照明光源と単一の画像の利用を説明したが、単一光源の位置、姿勢、又は、それらの組み合わせを変更することにより、又は、位置、姿勢、又は、それらの組み合わせが異なる複数の光源を使うことにより、又は、対象物の位置、姿勢、又は、それらの組み合わせを変更することにより、又は、上記単一光源の位置、姿勢、又は、それらの組み合わせの変更を上記対象物の位置、姿勢、又は、それらの組み合わせの変更と組み合わせることにより、さらに又は、位置、姿勢、又は、それらの組み合わせが異なる上記複数の光源の使用と上記対象物の位置、姿勢、又は、それらの組み合わせの変更と組み合わせることにより、二つ以上の対象物画像を得てもよい。この場合、各対象物画像は、それにおける完全飽和画素(非有効画素)が他の対象物画像における完全飽和画素(非有効画素)と完全に重ならないような光源および対象物の条件のもとで得てもよい。また、各対象物画像は、それにおける画像のハイライト部が他の対象物画像におけるハイライト部と完全に重ならないような光源および対象物の条件のもとで得てもよく、この場合、R、G、及び、B値のいずれか一つでも白色拡散板の画像の対応するR、G、及び、B値より大きい対象物画像画素がハイライト画素であるとする判断基準、又は、R値が赤色拡散板の画像のR値より大きい、又は、G値が緑色拡散板の画像のG値より大きい、又は、B値が青色拡散板の画像のB値より大きい対象物画像画素がハイライト画素であるとする判断基準に基づいてハイライト画素を識別してもよい。
【0086】
そして、このような複数照明/視点方法で得られた画像をそれぞれ上記のような画像ハイライト補正プログラムに処して複数組の推定真RGB座標を得た後、対象物について得られたこれら推定真RGB座標組を、推定真RGB座標合成サブルーチンにおいて合成し、有効画素から推定真RGB座標のみからなる合成推定真RGB座標の組を形成してもよい。さらにまた、二つ以上の画像を合成し、この合成画像を上記のような画像ハイライト補正プログラムに処して、対象物の真の色を推定してもよい。これらの方法は、飽和、又は、非有効画素が広い面積を占めるような光沢の強い対象物の真の色の正確な推定を可能とする利点を持ち、多くの場合、真の色の正確な推定には、二つの画像のみが必要となる。
【発明の効果】
【0087】
上に説明したように、本発明による方法、プログラム、又は、システムは、対象物の真の色とともに、ハイライト又は光沢として対象物上に現れる鏡面又は界面反射をも含みうる対象物の記録画像から対象物の真の色を求めることを可能とする。よって、本発明による方法、プログラム、又は、システムは、認識過程において対象物の真の色を求めることを必要とするいかなるマシンビジョン又はパターン認識システムにも使用できる。本発明による方法、プログラム、又は、システムは、特に対象物の画像が繊細又は複雑な色変化を示す場合に有効である。
【0088】
ガラス等の透明物体を通して記録された画像は、ゴーストイメージの形で鏡面反射成分を含むことがある。本発明による方法、プログラム、又は、システムは、そのようなゴーストイメージの除去を可能とする。従って、本発明による方法、プログラム、又は、システムは、ガラス等の透明物体を通して画像が撮影されるいかなるマシンビジョン又はパターン認識システムにも使用できる。
【0089】
具体例として、パン焼きへの応用が挙げられる。対象物の表面色や表面色の均一性は、パン焼き製品の品質保証における重要な判断基準であり、それらは、最適な焼き時間と直接的な関係にある。最適な焼き時間を正確に求めるのは非常に困難であり、それは、周囲の温度や湿度、オーブンの温度、そして、最も重要な事項として、パン生地に使用される小麦粉やベーキングパウダーの水分、正確な混合比、及び、生地の発酵時間に左右される。この分野の当事者によると、同じ種類の混合物や組成物でも、最適な焼き時間は、バッチごとに異なる。実際のパン焼き工程において、焼かれている対象物の画像をオーブンのガラスを通して捉える撮像装置を使用した、マシンビジョンを応用したオーブンシステムを利用すれば、フィードバック機構によって最適な焼き時間を求めることができる。本発明による方法、プログラム、又は、システムをこのようなマシンビジョンを応用したオーブンシステムに利用して、画像中のハイライト部を補正したり、ゴーストイメージを除去すれば、焼かれている対象物の真の色が得られ、それらを物体色解析に処して、最適焼き時間決定過程の自動化を可能にすることができる。
【図面の簡単な説明】
【0090】
【図1】誘電材料による光反射を表した略図である。
【図2】RGB色空間における、誘電体の反射色分布の斜視図である。
【図3】RGB色空間の略図である。
【図4】HSV色空間の略図である。
【図5】中央の赤いジャムの部分がハイライトされたパンの画像である。
【図6】図5のパンの画像における、鏡面反射色と物体色の斜視図である。
【図7】図6のデータを光源ベクトルに沿って見た状態を示す図である。
【図8】画像の画素のx−y面への投影を示す略図である。
【図9】本発明の実施例である画像取得システムの略図である。
【図10】本発明の実施例であるハイライト補正プログラムのフローチャートである。
【図11】S−H面を示す図である。
【図12】非ハイライト明度座標算出サブルーチンのフローチャートである。
【図13】ハイライト補正前の画像の例を示す図である。
【図14】ハイライト補正プログラムによる有効画素のハイライト補正によって得られた画像の例を示す図である。
【図15】非有効画素についての補正をも含めたハイライト補正によって得られた画像の例を示す図である。
【特許請求の範囲】
【請求項1】
撮像に用いる光源の色を求めるステップと、
前記光源で対象物を照明するステップと、
照明された前記対象物のRGB反射像をカラー撮像装置を用いて得るステップと、
前記光源の色をRGB色空間におけるベクトルとしてプロットするステップと、
前記光源ベクトルに直交し、かつ、RGB色空間の原点を通る平面を作成するステップと、
前記RGB画像の全ての画素を前記光源ベクトルに沿って前記直交平面に投影するステップと、
RGB色空間の原点を原点とし、単位ベクトルRGB(0, 0, 1)を前記光源ベクトルに沿って前記直交平面に投影した点と前記原点を結ぶ軸をx軸とし、前記直交平面内においてx軸に直交する軸をy軸とし、前記原点を通り、前記x軸とy軸に直交する軸をz軸とする照明源固有HSV色座標系を構築するステップと、
有効な画素のRGB座標は不飽和である、すなわち、前記カラー撮像装置のダイナミックレンジ内にあるという評価基準を用いて各画素の有効性を評価するステップと、
θ=0°を前記x軸の正数側として設定し、原点から投影点までのベクトルの長さをr座標とし、θ=0°に対して反時計方向の角度(°)をθ座標とすることにより、x−y平面に投影されたRGB画像の各点の座標を、θ座標が色相に対応し、r座標が彩度に対応する、極座標に変換するステップと、
赤(R)、緑(G)、青(B)の三原色のRGB座標を前記平面に投影し、これら三原色の投影点のr、θ座標を求め、三原色のr、θ座標を三原色の既知の彩度値と色相値に換算するための三原色夫々に関する換算係数と、一つの原色に関するオフセット値を求め、これらの換算係数とオフセット値を、画像の画素の投影点のr、θ座標に適用することにより、前記のステップにおける極座標変換により得られたr、θ座標を彩度値と色相値に変換し、各画素の投影点の正確な彩度(S)値と色相(H)値を求めるステップと、
各有効画素の非ハイライト明度座標Vを求めるステップと、
各画素の前記S、H、V値より各画素の真RGB座標を推定するステップからなることを特徴とする画像ハイライト補正方法。
【請求項2】
前記各有効画素の非ハイライト明度座標Vを求めるステップにおいて、画素の色相値HがH<60.0、又は、H≧300.0を満たし、その画素の赤色(R)値が最大非ハイライト赤色値(R_Max)未満の場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = R
画素の色相値HがH<60.0、又は、H≧300.0を満たし、その画素の赤色(R)値が最大非ハイライト赤色値(R_Max)未満でない場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = R_Max
画素の色相値Hが60.0≦H<180.0を満たし、その画素の緑色(G)値が最大非ハイライト緑色値(G_Max)未満の場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = G
画素の色相値Hが60.0≦H<180.0を満たし、その画素の緑色(G)値が最大非ハイライト緑色値(G_Max)未満でない場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = G_Max
画素の色相値Hが180.0≦H<300.0を満たし、その画素の青色(B)値が最大非ハイライト青色値(B_Max)未満の場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = B
画素の色相値Hが180.0≦H<300.0を満たし、その画素の青色(B)値が最大非ハイライト青色値(B_Max)未満でない場合、当該画素の非ハイライト明度座標Vを以下の式で推定する、
V = B_Max
ことを特徴とする請求項1記載の画像ハイライト補正方法。
【請求項3】
白色拡散板を使用してカラー撮像装置のホワイトバランスを調整するステップと、
前記白色拡散板の反射RGB像のR、G、B値がそれぞれ前記カラー撮像装置のR、G、Bの各ダイナミックレンジの所定の割合(%)となるよう前記光源と前記カラー撮像装置の撮像条件を設定するステップと、
前記白色拡散板の反射RGB像を得るステップとからさらになり、
前記各有効画素の非ハイライト明度座標Vを求めるステップにおいて、有効画素の彩度(S)値が所定のしきい値未満であれば、その有効画素を色付き画素とみなし、そうでない有効画素をモノクロ画素とみなし、モノクロ画素の場合のR_Max、G_Max、B_Maxを以下のとおり設定し、
R_Max = RW
G_Max = GW
B_Max = BW
(ただし、上記式において、RWは、白色拡散板の画像のR値、GWは、白色拡散板の画像のG値、BWは、白色拡散板の画像のB値である)
色付きの場合のR_Max、G_Max、B_Maxを以下のとおり設定する
R_Max = RW × ρ1
G_Max = GW × ρ2
B_Max = BW × ρ3
(ただし、上記式において、ρ1、ρ2、ρ3はそれぞれ、白色拡散板の反射率に対する、赤色、緑色、および、青色拡散板の各反射率の比率である)
ことを特徴とする請求項2記載の画像ハイライト補正方法。
【請求項4】
白色拡散板を使用してカラー撮像装置のホワイトバランスを調整するステップと、
前記白色拡散板の反射RGB像のR、G、B値がそれぞれ前記カラー撮像装置のR、G、Bの各ダイナミックレンジの所定の割合(%)となるよう前記光源と前記カラー撮像装置の撮像条件を設定するステップと、
前記白色拡散板の反射RGB像を得るステップとからさらになり、
前記各有効画素の非ハイライト明度座標Vを求めるステップにおいて、有効画素の彩度(S)値が所定のしきい値未満であれば、その有効画素を色付き画素とみなし、そうでない有効画素をモノクロ画素とみなし、モノクロ画素の場合のR_Max、G_Max、B_Maxを以下のとおり設定し、
R_Max = RW
G_Max = GW
B_Max = BW
(ただし、上記式において、RWは、白色拡散板の画像のR値、GWは、白色拡散板の画像のG値、BWは、白色拡散板の画像のB値である)
色付きの場合のR_Max、G_Max、B_Maxを以下のとおり設定する
R_Max = RR
G_Max = GG
B_Max = BB
(ただし、上記式において、RRは、赤色拡散板の画像のR値、GGは、緑色拡散板の画像のG値、BBは、青色拡散板の画像のB値である)
ことを特徴とする請求項2記載の画像ハイライト補正方法。
【請求項5】
前記しきい値がカラー撮像装置のフルスケールの25%であることを特徴とする請求項3又は4記載の画像ハイライト補正方法。
【請求項6】
前記カラー撮像装置のダイナミックレンジの所定の割合(%)がカラー撮像装置のダイナミックレンジの80%であることを特徴とする請求項3から5のいずれか1項記載の画像ハイライト補正方法。
【請求項7】
前記真RGB座標を推定するステップにおいて、各色付き画素の真RGB座標をその画素のS、H、V値よりHSV−RGB変換法によって推定し、各モノクロ画素の真RGB座標を以下の関係式により推定し、
R = G = B = V
各非有効画素の真RGB座標を隣接する有効画素の色との関連より推定することを特徴とする請求項1から6のいずれか1項記載の画像ハイライト補正方法。
【請求項8】
前記真RGB座標を推定するステップにおいて、非有効画素の真RGB座標は、その非有効画素に最も近く隣接した、非ハイライト画素の色との関連より推定することを特徴とする請求項7記載の画像ハイライト補正方法。
【請求項9】
前記真RGB座標を推定するステップにおいて、非有効画素の真RGB座標は、その非有効画素に最も近く隣接した、非ハイライト画素の推定真RGB座標と等しいと推定することを特徴とする請求項8記載の画像ハイライト補正方法。
【請求項10】
前記真RGB座標を推定するステップにおいて、非有効画素に最も近く隣接した非ハイライト画素を、前記真RGB座標を推定するステップにおける当該非有効画素の処理以前において、もっとも最近に処理された非ハイライト画素とすることを特徴とする請求項8又は9記載の画像ハイライト補正方法。
【請求項11】
各画素の前記有効性を、有効画素とは、その3つのRGB座標値のいずれもがカラー撮像装置のフルスケールレンジの98%を超えない画素であるという評価基準によって評価することを特徴とする請求項1から10のいずれか1項記載の画像ハイライト補正方法。
【請求項12】
請求項1から11のいずれか1項記載の方法を実施して、対象物について、一組の推定真RGB座標値を求めるステップと、
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせを変更するステップと、
請求項1から11のいずれか1項記載の方法を実施して、対象物について、別の一組の推定真RGB座標値を求めるステップと、
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせを変更するステップと、前記請求項1から11のいずれか1項記載の方法を実施するステップとを繰り返すステップと、
得られた推定真RGB座標値の各組を、推定真RGB座標値がすべて有効画素より推定した真RGB座標値となるよう合成するステップ
からなることを特徴とする画像ハイライト補正方法。
【請求項13】
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、単一の光源の位置、姿勢、又は、位置と姿勢の組み合わせを変更することによってなされることを特徴とする請求項12記載の画像ハイライト補正方法。
【請求項14】
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、光源を、別の色、強度、位置、姿勢、又は、それらの組み合わせを持つ光源に変更することによってなされることを特徴とする請求項12記載の画像ハイライト補正方法。
【請求項15】
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、対象物の位置、姿勢、又は、位置と姿勢の組み合わせを変更することによってなされることを特徴とする請求項12記載の画像ハイライト補正方法。
【請求項16】
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、カラー撮像装置の位置、視野、ダイナミックレンジ、又は、それらの組み合わせを変更することによってなされることを特徴とする請求項12記載の画像ハイライト補正方法。
【請求項17】
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、変更前の対象物の画像における完全飽和画素が変更後の対象物の画像における完全飽和画素と完全に重ならないようなされることを特徴とする請求項12から16のいずれか1項記載の画像ハイライト補正方法。
【請求項18】
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、変更前の対象物の画像におけるハイライト画素が変更後の対象物の画像におけるハイライト画素と完全に重ならないようなされることを特徴とする請求項12から16のいずれか1項記載の画像ハイライト補正方法。
【請求項19】
前記対象物のRGB反射像を得るステップにおいて得られる画像は、前記光源の異なる位置又は姿勢設定、又は、前記対象物の異なる位置又は姿勢設定において得られた各画像を合成して得られた合成画像であることを特徴とする請求項1から11のいずれか1項記載の画像ハイライト補正方法。
【請求項20】
前記合成される各画像は、ある画像における完全飽和画素が他の画像における完全飽和画素と完全に重ならないことを特徴とする請求項19記載の画像ハイライト補正方法。
【請求項21】
前記合成される各画像は、ある画像におけるハイライト画素が他の画像におけるハイライト画素と完全に重ならないことを特徴とする請求項19記載の画像ハイライト補正方法。
【請求項22】
ハイライト画素を識別するステップをさらに含むことを特徴とする請求項18又は21記載の画像ハイライト補正方法。
【請求項23】
前記ハイライト画素を識別するステップにおいて、R、G、及び、B値のいずれか一つでも白色拡散板の画像の対応するR、G、及び、B値より大きい対象物画像の画素をハイライト画素として識別することを特徴とする請求項22記載の画像ハイライト補正方法。
【請求項24】
前記ハイライト画素を識別するステップにおいて、R値が赤色拡散板の画像のR値より大きい、又は、G値が緑色拡散板の画像のG値より大きい、又は、B値が青色拡散板の画像のB値より大きい対象物画像の画素をハイライト画素として識別することを特徴とする請求項22記載の画像ハイライト補正方法。
【請求項25】
光源の色をRGB色空間におけるベクトルとして得る光源色ベクトル取得サブルーチンと、
前記光源により照明された対象物のRGB画像を得る対象物RGB画像取得サブルーチンと、
有効な画素のRGB座標は、カラー撮像装置のダイナミックレンジ内にあるという評価基準を用いて各画素の有効性を評価する画素有効性評価サブルーチンと、
前記光源ベクトルに直交し、RGB色空間の原点を通る平面をx−y面とし、RGB色空間の原点を原点とし、単位ベクトルRGB(0, 0, 1)を前記光源ベクトルに沿って前記x−y面に投影した点と前記原点を結ぶ軸をx軸とし、前記x−y面内においてx軸に直交する軸をy軸とし、前記原点を通り、前記x軸とy軸に直交する軸をz軸とする照明源固有HSV色座標系の前記x−y面に対し、前記RGB画像の全ての画素を前記光源ベクトルに沿って投影するHSV色座標面投影サブルーチンと、
θ=0°を前記x軸の正数側として設定し、r座標を原点から投影点までのベクトルの長さとし、θ座標をθ=0°に対して反時計方向の角度(°)とし、θ座標が色相に対応し、r座標が彩度に対応する極座標に、x−y平面に投影されたRGB画像の各点の座標を変換するr、θ座標変換サブルーチンと、
赤(R)、緑(G)、青(B)の三原色のRGB座標を前記平面に投影し、これら三原色の投影点のr、θ座標を求め、三原色のr、θ座標を三原色の既知の彩度値と色相値に換算するための三原色夫々に関する換算係数と、一つの原色に関するオフセット値を求め、これら換算係数とオフセット値を、画像の画素の投影点のr、θ座標に適用することにより、前記r、θ座標変換サブルーチンにより得られたr、θ座標を彩度値と色相値に変換し、各画素の投影点の正確な彩度(S)値と色相(H)値を求める彩度色相変換サブルーチンと、
各有効画素の非ハイライト明度座標Vを求める非ハイライト明度座標算出サブルーチンと、
各画素の前記S、H、V値より各画素の真RGB座標を推定する真RGB座標推定サブルーチン
からなることを特徴とする画像ハイライト補正プログラム。
【請求項26】
前記非ハイライト明度座標算出サブルーチンにおいて、画素の色相値HがH<60.0、又は、H≧300.0を満たし、その画素の赤色(R)値が最大非ハイライト赤色値(R_Max)未満の場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = R
画素の色相値HがH<60.0、又は、H≧300.0を満たし、その画素の赤色(R)値が最大非ハイライト赤色値(R_Max)未満でない場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = R_Max
画素の色相値Hが60.0≦H<180.0を満たし、その画素の緑色(G)値が最大非ハイライト緑色値(G_Max)未満の場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = G
画素の色相値Hが60.0≦H<180.0を満たし、その画素の緑色(G)値が最大非ハイライト緑色値(G_Max)未満でない場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = G_Max
画素の色相値Hが180.0≦H<300.0を満たし、その画素の青色(B)値が最大非ハイライト青色値(B_Max)未満の場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = B
画素の色相値Hが180.0≦H<300.0を満たし、その画素の青色(B)値が最大非ハイライト青色値(B_Max)未満でない場合、当該画素の非ハイライト明度座標Vを以下の式で推定する、
V = B_Max
ことを特徴とする請求項25記載の画像ハイライト補正プログラム。
【請求項27】
前記非ハイライト明度座標算出サブルーチンにおいて、有効画素の彩度(S)値が所定のしきい値未満であれば、その有効画素を色付き画素とみなし、そうでない有効画素をモノクロ画素とみなし、
前記非ハイライト明度座標算出サブルーチンはさらに、モノクロ画素の場合のR_Max、G_Max、B_Maxを以下のとおり設定し、
R_Max = RW
G_Max = GW
B_Max = BW
(ただし、上記式において、RWは、白色拡散板の画像のR値、GWは、白色拡散板の画像のG値、BWは、白色拡散板の画像のB値である)
色付きの場合のR_Max、G_Max、B_Maxを以下のとおり設定する
R_Max = RW × ρ1
G_Max = GW × ρ2
B_Max = BW × ρ3
(ただし、上記式において、ρ1、ρ2、ρ3はそれぞれ、白色拡散板の反射率に対する、赤色、緑色、および、青色拡散板の各反射率の比率である)
最大非ハイライト値算出サブルーチンを含むことを特徴とする請求項26記載の画像ハイライト補正プログラム。
【請求項28】
前記非ハイライト明度座標算出サブルーチンにおいて、有効画素の彩度(S)値が所定のしきい値未満であれば、その有効画素を色付き画素とみなし、そうでない有効画素をモノクロ画素とみなし、
前記非ハイライト明度座標算出サブルーチンはさらに、モノクロ画素の場合のR_Max、G_Max、B_Maxを以下のとおり設定し、
R_Max = RW
G_Max = GW
B_Max = BW
(ただし、上記式において、RWは、白色拡散板の画像のR値、GWは、白色拡散板の画像のG値、BWは、白色拡散板の画像のB値である)
色付きの場合のR_Max、G_Max、B_Maxを以下のとおり設定する
R_Max = RR
G_Max = GG
B_Max = BB
(ただし、上記式において、RRは、赤色拡散板の画像のR値、GGは、緑色拡散板の画像のG値、BBは、青色拡散板の画像のB値である)
最大非ハイライト値算出サブルーチンを含むことを特徴とする請求項26記載の画像ハイライト補正プログラム。
【請求項29】
前記非ハイライト明度座標算出サブルーチンにおける前記しきい値がカラー撮像装置のフルスケールの25%であることを特徴とする請求項27又は28記載の画像ハイライト補正プログラム。
【請求項30】
前記真RGB座標推定サブルーチンにおいて、各色付き画素の真RGB座標をその画素のS、H、およびV値よりHSV−RGB変換法によって推定し、
各モノクロ画素の真RGB座標を以下の関係式により推定し、
R = G = B = V
各非有効画素の真RGB座標を隣接する有効画素の色との関連より推定することを特徴とする請求項25から29のいずれか1項記載の画像ハイライト補正プログラム。
【請求項31】
前記真RGB座標推定サブルーチンにおいて、非有効画素の真RGB座標は、その非有効画素に最も近く隣接した、非ハイライト画素の色との関連より推定することを特徴とする請求項30記載の画像ハイライト補正プログラム。
【請求項32】
前記真RGB座標推定サブルーチンにおいて、非有効画素の真RGB座標は、その非有効画素に最も近く隣接した、非ハイライト画素の推定真RGB座標と等しいと推定することを特徴とする請求項31記載の画像ハイライト補正プログラム。
【請求項33】
前記真RGB座標推定サブルーチンにおいて、非有効画素に最も近く隣接した非ハイライト画素を、前記真RGB座標を推定するステップにおいて当該非有効画素の処理の以前において、もっとも最近に処理された非ハイライト画素とすることを特徴とする請求項31又は32記載の画像ハイライト補正プログラム。
【請求項34】
前記画素有効性評価サブルーチンにおいて、各画素の前記有効性を、有効画素とは、その3つのRGB座標値のいずれもがカラー撮像装置のフルスケールレンジの98%を超えない画素であるという評価基準によって評価することを特徴とする請求項25から33のいずれか1項記載の画像ハイライト補正プログラム。
【請求項35】
対象物について複数組の推定RGB座標を合成し、有効画素から推定真RGB座標のみからなる合成推定真RGB座標の組を形成する推定真RGB座標合成サブルーチンを
さらに含むことを特徴とする請求項25から34のいずれか1項記載の画像ハイライト補正プログラム。
【請求項36】
ハイライト画素を識別するハイライト画素識別サブルーチンをさらに含むことを特徴とする請求項25から35のいずれか1項記載の画像ハイライト補正プログラム。
【請求項37】
前記ハイライト画素識別サブルーチンにおいて、R、G、及び、B値のいずれか一つでも白色拡散板の画像の対応するR、G、及び、B値より大きい対象物画像の画素をハイライト画素として識別することを特徴とする請求項36記載の画像ハイライト補正プログラム。
【請求項38】
前記ハイライト画素識別サブルーチンにおいて、R値が赤色拡散板の画像のR値より大きい、又は、G値が緑色拡散板の画像のG値より大きい、又は、B値が青色拡散板の画像のB値より大きい対象物画像の画素をハイライト画素として識別することを特徴とする請求項22記載の画像ハイライト補正プログラム。
【請求項39】
光源と、
前記光源の光の色と前記光源によって照明される対象物からの反射光を捉えるためのカラー撮像装置と、
請求項25から38のいずれか1項記載のハイライト補正プログラムがインストールされた計算手段
からなる画像取得システム。
【請求項40】
光源と、
前記光源の光の色と前記光源によって照明される対象物からの反射光を捉えるためのカラー撮像装置と、
前記光源の位置、又は、前記光源の姿勢、又は、前記対象物の位置、又は、前記対象物の姿勢、又は、前記光源の位置と姿勢及び前記対象物の位置と姿勢の組み合わせを変更する手段と、
異なる前記光源の位置、又は、前記光源の姿勢、又は、前記対象物の位置、又は、前記対象物の姿勢、又は、前記光源の位置と姿勢及び前記対象物の位置と姿勢の組み合わせにおいて撮影された画像を合成し、対象物の合成画像を対象物のRGB反射像として提供するプログラムと、請求項25から38のいずれか1項記載のハイライト補正プログラムがインストールされた計算手段
からなる画像取得システム。
【請求項41】
光源の位置、又は、前記光源の姿勢、又は、前記対象物の位置、又は、前記対象物の姿勢、又は、前記光源の位置と姿勢及び前記対象物の位置と姿勢の組み合わせを変更する前記手段は、変更前の対象物の画像における完全飽和画素が変更後の対象物の画像における完全飽和画素と完全に重ならないよう変更を実施することを特徴とする請求項40記載の画像取得システム。
【請求項42】
光源の位置、又は、前記光源の姿勢、又は、前記対象物の位置、又は、前記対象物の姿勢、又は、前記光源の位置と姿勢及び前記対象物の位置と姿勢の組み合わせを変更する前記手段は、変更前の対象物の画像におけるハイライト画素が変更後の対象物の画像におけるハイライト画素と完全に重ならないよう変更を実施することを特徴とする請求項40記載の画像取得システム。
【請求項43】
光源、又は、色、位置、姿勢、強度、又は、それらの組み合わせが異なる複数の光源と、
前記光源の光の色と前記光源によって照明される対象物からの反射光を捉えるためのカラー撮像装置又は複数のカラー撮像装置と、
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する手段と、
請求項30記載のハイライト補正プログラムがインストールされた計算手段
からなる画像取得システム。
【請求項44】
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、変更前の対象物の画像における完全飽和画素が変更後の対象物の画像における完全飽和画素と完全に重ならないよう変更を実施することを特徴とする請求項43記載の画像取得システム。
【請求項45】
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、変更前の対象物の画像におけるハイライト画素が変更後の対象物の画像におけるハイライト画素と完全に重ならないよう変更を実施することを特徴とする請求項43記載の画像取得システム。
【請求項46】
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、単一の光源の位置、姿勢、又は、位置と姿勢の組み合わせを変更する手段であること請求項43から45のいずれか1項記載の画像取得システム。
【請求項47】
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、光源を変更する手段であること請求項43から45のいずれか1項記載の画像取得システム。
【請求項48】
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、対象物の位置、姿勢、又は、位置と姿勢の組み合わせを変更する手段であること請求項43から45のいずれか1項記載の画像取得システム。
【請求項49】
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、単一のカラー撮像装置の位置、視野、又は、位置と視野の組み合わせを変更する手段であること請求項43から45のいずれか1項記載の画像取得システム。
【請求項50】
前記対象物に対する照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、光源によって照明される対象物からの反射光を捉えるためのカラー撮像装置を変更する手段であること請求項43から45のいずれか1項記載の画像取得システム。
【請求項1】
撮像に用いる光源の色を求めるステップと、
前記光源で対象物を照明するステップと、
照明された前記対象物のRGB反射像をカラー撮像装置を用いて得るステップと、
前記光源の色をRGB色空間におけるベクトルとしてプロットするステップと、
前記光源ベクトルに直交し、かつ、RGB色空間の原点を通る平面を作成するステップと、
前記RGB画像の全ての画素を前記光源ベクトルに沿って前記直交平面に投影するステップと、
RGB色空間の原点を原点とし、単位ベクトルRGB(0, 0, 1)を前記光源ベクトルに沿って前記直交平面に投影した点と前記原点を結ぶ軸をx軸とし、前記直交平面内においてx軸に直交する軸をy軸とし、前記原点を通り、前記x軸とy軸に直交する軸をz軸とする照明源固有HSV色座標系を構築するステップと、
有効な画素のRGB座標は不飽和である、すなわち、前記カラー撮像装置のダイナミックレンジ内にあるという評価基準を用いて各画素の有効性を評価するステップと、
θ=0°を前記x軸の正数側として設定し、原点から投影点までのベクトルの長さをr座標とし、θ=0°に対して反時計方向の角度(°)をθ座標とすることにより、x−y平面に投影されたRGB画像の各点の座標を、θ座標が色相に対応し、r座標が彩度に対応する、極座標に変換するステップと、
赤(R)、緑(G)、青(B)の三原色のRGB座標を前記平面に投影し、これら三原色の投影点のr、θ座標を求め、三原色のr、θ座標を三原色の既知の彩度値と色相値に換算するための三原色夫々に関する換算係数と、一つの原色に関するオフセット値を求め、これらの換算係数とオフセット値を、画像の画素の投影点のr、θ座標に適用することにより、前記のステップにおける極座標変換により得られたr、θ座標を彩度値と色相値に変換し、各画素の投影点の正確な彩度(S)値と色相(H)値を求めるステップと、
各有効画素の非ハイライト明度座標Vを求めるステップと、
各画素の前記S、H、V値より各画素の真RGB座標を推定するステップからなることを特徴とする画像ハイライト補正方法。
【請求項2】
前記各有効画素の非ハイライト明度座標Vを求めるステップにおいて、画素の色相値HがH<60.0、又は、H≧300.0を満たし、その画素の赤色(R)値が最大非ハイライト赤色値(R_Max)未満の場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = R
画素の色相値HがH<60.0、又は、H≧300.0を満たし、その画素の赤色(R)値が最大非ハイライト赤色値(R_Max)未満でない場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = R_Max
画素の色相値Hが60.0≦H<180.0を満たし、その画素の緑色(G)値が最大非ハイライト緑色値(G_Max)未満の場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = G
画素の色相値Hが60.0≦H<180.0を満たし、その画素の緑色(G)値が最大非ハイライト緑色値(G_Max)未満でない場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = G_Max
画素の色相値Hが180.0≦H<300.0を満たし、その画素の青色(B)値が最大非ハイライト青色値(B_Max)未満の場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = B
画素の色相値Hが180.0≦H<300.0を満たし、その画素の青色(B)値が最大非ハイライト青色値(B_Max)未満でない場合、当該画素の非ハイライト明度座標Vを以下の式で推定する、
V = B_Max
ことを特徴とする請求項1記載の画像ハイライト補正方法。
【請求項3】
白色拡散板を使用してカラー撮像装置のホワイトバランスを調整するステップと、
前記白色拡散板の反射RGB像のR、G、B値がそれぞれ前記カラー撮像装置のR、G、Bの各ダイナミックレンジの所定の割合(%)となるよう前記光源と前記カラー撮像装置の撮像条件を設定するステップと、
前記白色拡散板の反射RGB像を得るステップとからさらになり、
前記各有効画素の非ハイライト明度座標Vを求めるステップにおいて、有効画素の彩度(S)値が所定のしきい値未満であれば、その有効画素を色付き画素とみなし、そうでない有効画素をモノクロ画素とみなし、モノクロ画素の場合のR_Max、G_Max、B_Maxを以下のとおり設定し、
R_Max = RW
G_Max = GW
B_Max = BW
(ただし、上記式において、RWは、白色拡散板の画像のR値、GWは、白色拡散板の画像のG値、BWは、白色拡散板の画像のB値である)
色付きの場合のR_Max、G_Max、B_Maxを以下のとおり設定する
R_Max = RW × ρ1
G_Max = GW × ρ2
B_Max = BW × ρ3
(ただし、上記式において、ρ1、ρ2、ρ3はそれぞれ、白色拡散板の反射率に対する、赤色、緑色、および、青色拡散板の各反射率の比率である)
ことを特徴とする請求項2記載の画像ハイライト補正方法。
【請求項4】
白色拡散板を使用してカラー撮像装置のホワイトバランスを調整するステップと、
前記白色拡散板の反射RGB像のR、G、B値がそれぞれ前記カラー撮像装置のR、G、Bの各ダイナミックレンジの所定の割合(%)となるよう前記光源と前記カラー撮像装置の撮像条件を設定するステップと、
前記白色拡散板の反射RGB像を得るステップとからさらになり、
前記各有効画素の非ハイライト明度座標Vを求めるステップにおいて、有効画素の彩度(S)値が所定のしきい値未満であれば、その有効画素を色付き画素とみなし、そうでない有効画素をモノクロ画素とみなし、モノクロ画素の場合のR_Max、G_Max、B_Maxを以下のとおり設定し、
R_Max = RW
G_Max = GW
B_Max = BW
(ただし、上記式において、RWは、白色拡散板の画像のR値、GWは、白色拡散板の画像のG値、BWは、白色拡散板の画像のB値である)
色付きの場合のR_Max、G_Max、B_Maxを以下のとおり設定する
R_Max = RR
G_Max = GG
B_Max = BB
(ただし、上記式において、RRは、赤色拡散板の画像のR値、GGは、緑色拡散板の画像のG値、BBは、青色拡散板の画像のB値である)
ことを特徴とする請求項2記載の画像ハイライト補正方法。
【請求項5】
前記しきい値がカラー撮像装置のフルスケールの25%であることを特徴とする請求項3又は4記載の画像ハイライト補正方法。
【請求項6】
前記カラー撮像装置のダイナミックレンジの所定の割合(%)がカラー撮像装置のダイナミックレンジの80%であることを特徴とする請求項3から5のいずれか1項記載の画像ハイライト補正方法。
【請求項7】
前記真RGB座標を推定するステップにおいて、各色付き画素の真RGB座標をその画素のS、H、V値よりHSV−RGB変換法によって推定し、各モノクロ画素の真RGB座標を以下の関係式により推定し、
R = G = B = V
各非有効画素の真RGB座標を隣接する有効画素の色との関連より推定することを特徴とする請求項1から6のいずれか1項記載の画像ハイライト補正方法。
【請求項8】
前記真RGB座標を推定するステップにおいて、非有効画素の真RGB座標は、その非有効画素に最も近く隣接した、非ハイライト画素の色との関連より推定することを特徴とする請求項7記載の画像ハイライト補正方法。
【請求項9】
前記真RGB座標を推定するステップにおいて、非有効画素の真RGB座標は、その非有効画素に最も近く隣接した、非ハイライト画素の推定真RGB座標と等しいと推定することを特徴とする請求項8記載の画像ハイライト補正方法。
【請求項10】
前記真RGB座標を推定するステップにおいて、非有効画素に最も近く隣接した非ハイライト画素を、前記真RGB座標を推定するステップにおける当該非有効画素の処理以前において、もっとも最近に処理された非ハイライト画素とすることを特徴とする請求項8又は9記載の画像ハイライト補正方法。
【請求項11】
各画素の前記有効性を、有効画素とは、その3つのRGB座標値のいずれもがカラー撮像装置のフルスケールレンジの98%を超えない画素であるという評価基準によって評価することを特徴とする請求項1から10のいずれか1項記載の画像ハイライト補正方法。
【請求項12】
請求項1から11のいずれか1項記載の方法を実施して、対象物について、一組の推定真RGB座標値を求めるステップと、
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせを変更するステップと、
請求項1から11のいずれか1項記載の方法を実施して、対象物について、別の一組の推定真RGB座標値を求めるステップと、
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせを変更するステップと、前記請求項1から11のいずれか1項記載の方法を実施するステップとを繰り返すステップと、
得られた推定真RGB座標値の各組を、推定真RGB座標値がすべて有効画素より推定した真RGB座標値となるよう合成するステップ
からなることを特徴とする画像ハイライト補正方法。
【請求項13】
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、単一の光源の位置、姿勢、又は、位置と姿勢の組み合わせを変更することによってなされることを特徴とする請求項12記載の画像ハイライト補正方法。
【請求項14】
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、光源を、別の色、強度、位置、姿勢、又は、それらの組み合わせを持つ光源に変更することによってなされることを特徴とする請求項12記載の画像ハイライト補正方法。
【請求項15】
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、対象物の位置、姿勢、又は、位置と姿勢の組み合わせを変更することによってなされることを特徴とする請求項12記載の画像ハイライト補正方法。
【請求項16】
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、カラー撮像装置の位置、視野、ダイナミックレンジ、又は、それらの組み合わせを変更することによってなされることを特徴とする請求項12記載の画像ハイライト補正方法。
【請求項17】
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、変更前の対象物の画像における完全飽和画素が変更後の対象物の画像における完全飽和画素と完全に重ならないようなされることを特徴とする請求項12から16のいずれか1項記載の画像ハイライト補正方法。
【請求項18】
前記対象物に対する照明、又は、視点、又は、照明と視点の組み合わせの変更は、変更前の対象物の画像におけるハイライト画素が変更後の対象物の画像におけるハイライト画素と完全に重ならないようなされることを特徴とする請求項12から16のいずれか1項記載の画像ハイライト補正方法。
【請求項19】
前記対象物のRGB反射像を得るステップにおいて得られる画像は、前記光源の異なる位置又は姿勢設定、又は、前記対象物の異なる位置又は姿勢設定において得られた各画像を合成して得られた合成画像であることを特徴とする請求項1から11のいずれか1項記載の画像ハイライト補正方法。
【請求項20】
前記合成される各画像は、ある画像における完全飽和画素が他の画像における完全飽和画素と完全に重ならないことを特徴とする請求項19記載の画像ハイライト補正方法。
【請求項21】
前記合成される各画像は、ある画像におけるハイライト画素が他の画像におけるハイライト画素と完全に重ならないことを特徴とする請求項19記載の画像ハイライト補正方法。
【請求項22】
ハイライト画素を識別するステップをさらに含むことを特徴とする請求項18又は21記載の画像ハイライト補正方法。
【請求項23】
前記ハイライト画素を識別するステップにおいて、R、G、及び、B値のいずれか一つでも白色拡散板の画像の対応するR、G、及び、B値より大きい対象物画像の画素をハイライト画素として識別することを特徴とする請求項22記載の画像ハイライト補正方法。
【請求項24】
前記ハイライト画素を識別するステップにおいて、R値が赤色拡散板の画像のR値より大きい、又は、G値が緑色拡散板の画像のG値より大きい、又は、B値が青色拡散板の画像のB値より大きい対象物画像の画素をハイライト画素として識別することを特徴とする請求項22記載の画像ハイライト補正方法。
【請求項25】
光源の色をRGB色空間におけるベクトルとして得る光源色ベクトル取得サブルーチンと、
前記光源により照明された対象物のRGB画像を得る対象物RGB画像取得サブルーチンと、
有効な画素のRGB座標は、カラー撮像装置のダイナミックレンジ内にあるという評価基準を用いて各画素の有効性を評価する画素有効性評価サブルーチンと、
前記光源ベクトルに直交し、RGB色空間の原点を通る平面をx−y面とし、RGB色空間の原点を原点とし、単位ベクトルRGB(0, 0, 1)を前記光源ベクトルに沿って前記x−y面に投影した点と前記原点を結ぶ軸をx軸とし、前記x−y面内においてx軸に直交する軸をy軸とし、前記原点を通り、前記x軸とy軸に直交する軸をz軸とする照明源固有HSV色座標系の前記x−y面に対し、前記RGB画像の全ての画素を前記光源ベクトルに沿って投影するHSV色座標面投影サブルーチンと、
θ=0°を前記x軸の正数側として設定し、r座標を原点から投影点までのベクトルの長さとし、θ座標をθ=0°に対して反時計方向の角度(°)とし、θ座標が色相に対応し、r座標が彩度に対応する極座標に、x−y平面に投影されたRGB画像の各点の座標を変換するr、θ座標変換サブルーチンと、
赤(R)、緑(G)、青(B)の三原色のRGB座標を前記平面に投影し、これら三原色の投影点のr、θ座標を求め、三原色のr、θ座標を三原色の既知の彩度値と色相値に換算するための三原色夫々に関する換算係数と、一つの原色に関するオフセット値を求め、これら換算係数とオフセット値を、画像の画素の投影点のr、θ座標に適用することにより、前記r、θ座標変換サブルーチンにより得られたr、θ座標を彩度値と色相値に変換し、各画素の投影点の正確な彩度(S)値と色相(H)値を求める彩度色相変換サブルーチンと、
各有効画素の非ハイライト明度座標Vを求める非ハイライト明度座標算出サブルーチンと、
各画素の前記S、H、V値より各画素の真RGB座標を推定する真RGB座標推定サブルーチン
からなることを特徴とする画像ハイライト補正プログラム。
【請求項26】
前記非ハイライト明度座標算出サブルーチンにおいて、画素の色相値HがH<60.0、又は、H≧300.0を満たし、その画素の赤色(R)値が最大非ハイライト赤色値(R_Max)未満の場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = R
画素の色相値HがH<60.0、又は、H≧300.0を満たし、その画素の赤色(R)値が最大非ハイライト赤色値(R_Max)未満でない場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = R_Max
画素の色相値Hが60.0≦H<180.0を満たし、その画素の緑色(G)値が最大非ハイライト緑色値(G_Max)未満の場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = G
画素の色相値Hが60.0≦H<180.0を満たし、その画素の緑色(G)値が最大非ハイライト緑色値(G_Max)未満でない場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = G_Max
画素の色相値Hが180.0≦H<300.0を満たし、その画素の青色(B)値が最大非ハイライト青色値(B_Max)未満の場合、当該画素の非ハイライト明度座標Vを以下の式で推定し、
V = B
画素の色相値Hが180.0≦H<300.0を満たし、その画素の青色(B)値が最大非ハイライト青色値(B_Max)未満でない場合、当該画素の非ハイライト明度座標Vを以下の式で推定する、
V = B_Max
ことを特徴とする請求項25記載の画像ハイライト補正プログラム。
【請求項27】
前記非ハイライト明度座標算出サブルーチンにおいて、有効画素の彩度(S)値が所定のしきい値未満であれば、その有効画素を色付き画素とみなし、そうでない有効画素をモノクロ画素とみなし、
前記非ハイライト明度座標算出サブルーチンはさらに、モノクロ画素の場合のR_Max、G_Max、B_Maxを以下のとおり設定し、
R_Max = RW
G_Max = GW
B_Max = BW
(ただし、上記式において、RWは、白色拡散板の画像のR値、GWは、白色拡散板の画像のG値、BWは、白色拡散板の画像のB値である)
色付きの場合のR_Max、G_Max、B_Maxを以下のとおり設定する
R_Max = RW × ρ1
G_Max = GW × ρ2
B_Max = BW × ρ3
(ただし、上記式において、ρ1、ρ2、ρ3はそれぞれ、白色拡散板の反射率に対する、赤色、緑色、および、青色拡散板の各反射率の比率である)
最大非ハイライト値算出サブルーチンを含むことを特徴とする請求項26記載の画像ハイライト補正プログラム。
【請求項28】
前記非ハイライト明度座標算出サブルーチンにおいて、有効画素の彩度(S)値が所定のしきい値未満であれば、その有効画素を色付き画素とみなし、そうでない有効画素をモノクロ画素とみなし、
前記非ハイライト明度座標算出サブルーチンはさらに、モノクロ画素の場合のR_Max、G_Max、B_Maxを以下のとおり設定し、
R_Max = RW
G_Max = GW
B_Max = BW
(ただし、上記式において、RWは、白色拡散板の画像のR値、GWは、白色拡散板の画像のG値、BWは、白色拡散板の画像のB値である)
色付きの場合のR_Max、G_Max、B_Maxを以下のとおり設定する
R_Max = RR
G_Max = GG
B_Max = BB
(ただし、上記式において、RRは、赤色拡散板の画像のR値、GGは、緑色拡散板の画像のG値、BBは、青色拡散板の画像のB値である)
最大非ハイライト値算出サブルーチンを含むことを特徴とする請求項26記載の画像ハイライト補正プログラム。
【請求項29】
前記非ハイライト明度座標算出サブルーチンにおける前記しきい値がカラー撮像装置のフルスケールの25%であることを特徴とする請求項27又は28記載の画像ハイライト補正プログラム。
【請求項30】
前記真RGB座標推定サブルーチンにおいて、各色付き画素の真RGB座標をその画素のS、H、およびV値よりHSV−RGB変換法によって推定し、
各モノクロ画素の真RGB座標を以下の関係式により推定し、
R = G = B = V
各非有効画素の真RGB座標を隣接する有効画素の色との関連より推定することを特徴とする請求項25から29のいずれか1項記載の画像ハイライト補正プログラム。
【請求項31】
前記真RGB座標推定サブルーチンにおいて、非有効画素の真RGB座標は、その非有効画素に最も近く隣接した、非ハイライト画素の色との関連より推定することを特徴とする請求項30記載の画像ハイライト補正プログラム。
【請求項32】
前記真RGB座標推定サブルーチンにおいて、非有効画素の真RGB座標は、その非有効画素に最も近く隣接した、非ハイライト画素の推定真RGB座標と等しいと推定することを特徴とする請求項31記載の画像ハイライト補正プログラム。
【請求項33】
前記真RGB座標推定サブルーチンにおいて、非有効画素に最も近く隣接した非ハイライト画素を、前記真RGB座標を推定するステップにおいて当該非有効画素の処理の以前において、もっとも最近に処理された非ハイライト画素とすることを特徴とする請求項31又は32記載の画像ハイライト補正プログラム。
【請求項34】
前記画素有効性評価サブルーチンにおいて、各画素の前記有効性を、有効画素とは、その3つのRGB座標値のいずれもがカラー撮像装置のフルスケールレンジの98%を超えない画素であるという評価基準によって評価することを特徴とする請求項25から33のいずれか1項記載の画像ハイライト補正プログラム。
【請求項35】
対象物について複数組の推定RGB座標を合成し、有効画素から推定真RGB座標のみからなる合成推定真RGB座標の組を形成する推定真RGB座標合成サブルーチンを
さらに含むことを特徴とする請求項25から34のいずれか1項記載の画像ハイライト補正プログラム。
【請求項36】
ハイライト画素を識別するハイライト画素識別サブルーチンをさらに含むことを特徴とする請求項25から35のいずれか1項記載の画像ハイライト補正プログラム。
【請求項37】
前記ハイライト画素識別サブルーチンにおいて、R、G、及び、B値のいずれか一つでも白色拡散板の画像の対応するR、G、及び、B値より大きい対象物画像の画素をハイライト画素として識別することを特徴とする請求項36記載の画像ハイライト補正プログラム。
【請求項38】
前記ハイライト画素識別サブルーチンにおいて、R値が赤色拡散板の画像のR値より大きい、又は、G値が緑色拡散板の画像のG値より大きい、又は、B値が青色拡散板の画像のB値より大きい対象物画像の画素をハイライト画素として識別することを特徴とする請求項22記載の画像ハイライト補正プログラム。
【請求項39】
光源と、
前記光源の光の色と前記光源によって照明される対象物からの反射光を捉えるためのカラー撮像装置と、
請求項25から38のいずれか1項記載のハイライト補正プログラムがインストールされた計算手段
からなる画像取得システム。
【請求項40】
光源と、
前記光源の光の色と前記光源によって照明される対象物からの反射光を捉えるためのカラー撮像装置と、
前記光源の位置、又は、前記光源の姿勢、又は、前記対象物の位置、又は、前記対象物の姿勢、又は、前記光源の位置と姿勢及び前記対象物の位置と姿勢の組み合わせを変更する手段と、
異なる前記光源の位置、又は、前記光源の姿勢、又は、前記対象物の位置、又は、前記対象物の姿勢、又は、前記光源の位置と姿勢及び前記対象物の位置と姿勢の組み合わせにおいて撮影された画像を合成し、対象物の合成画像を対象物のRGB反射像として提供するプログラムと、請求項25から38のいずれか1項記載のハイライト補正プログラムがインストールされた計算手段
からなる画像取得システム。
【請求項41】
光源の位置、又は、前記光源の姿勢、又は、前記対象物の位置、又は、前記対象物の姿勢、又は、前記光源の位置と姿勢及び前記対象物の位置と姿勢の組み合わせを変更する前記手段は、変更前の対象物の画像における完全飽和画素が変更後の対象物の画像における完全飽和画素と完全に重ならないよう変更を実施することを特徴とする請求項40記載の画像取得システム。
【請求項42】
光源の位置、又は、前記光源の姿勢、又は、前記対象物の位置、又は、前記対象物の姿勢、又は、前記光源の位置と姿勢及び前記対象物の位置と姿勢の組み合わせを変更する前記手段は、変更前の対象物の画像におけるハイライト画素が変更後の対象物の画像におけるハイライト画素と完全に重ならないよう変更を実施することを特徴とする請求項40記載の画像取得システム。
【請求項43】
光源、又は、色、位置、姿勢、強度、又は、それらの組み合わせが異なる複数の光源と、
前記光源の光の色と前記光源によって照明される対象物からの反射光を捉えるためのカラー撮像装置又は複数のカラー撮像装置と、
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する手段と、
請求項30記載のハイライト補正プログラムがインストールされた計算手段
からなる画像取得システム。
【請求項44】
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、変更前の対象物の画像における完全飽和画素が変更後の対象物の画像における完全飽和画素と完全に重ならないよう変更を実施することを特徴とする請求項43記載の画像取得システム。
【請求項45】
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、変更前の対象物の画像におけるハイライト画素が変更後の対象物の画像におけるハイライト画素と完全に重ならないよう変更を実施することを特徴とする請求項43記載の画像取得システム。
【請求項46】
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、単一の光源の位置、姿勢、又は、位置と姿勢の組み合わせを変更する手段であること請求項43から45のいずれか1項記載の画像取得システム。
【請求項47】
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、光源を変更する手段であること請求項43から45のいずれか1項記載の画像取得システム。
【請求項48】
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、対象物の位置、姿勢、又は、位置と姿勢の組み合わせを変更する手段であること請求項43から45のいずれか1項記載の画像取得システム。
【請求項49】
前記対象物の照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、単一のカラー撮像装置の位置、視野、又は、位置と視野の組み合わせを変更する手段であること請求項43から45のいずれか1項記載の画像取得システム。
【請求項50】
前記対象物に対する照明、視点、又は、照明と視点の組み合わせを変更する前記手段は、光源によって照明される対象物からの反射光を捉えるためのカラー撮像装置を変更する手段であること請求項43から45のいずれか1項記載の画像取得システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図11】
【図10】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図11】
【図10】
【図12】
【図13】
【図14】
【図15】
【公表番号】特表2005−509342(P2005−509342A)
【公表日】平成17年4月7日(2005.4.7)
【国際特許分類】
【出願番号】特願2003−542970(P2003−542970)
【出願日】平成13年11月7日(2001.11.7)
【国際出願番号】PCT/JP2001/009796
【国際公開番号】WO2003/041012
【国際公開日】平成15年5月15日(2003.5.15)
【出願人】(504040128)
【氏名又は名称原語表記】PISHVA Davar
【Fターム(参考)】
【公表日】平成17年4月7日(2005.4.7)
【国際特許分類】
【出願日】平成13年11月7日(2001.11.7)
【国際出願番号】PCT/JP2001/009796
【国際公開番号】WO2003/041012
【国際公開日】平成15年5月15日(2003.5.15)
【出願人】(504040128)
【氏名又は名称原語表記】PISHVA Davar
【Fターム(参考)】
[ Back to top ]