表面状態分類装置、表面状態分類方法及び表面状態分類プログラム
【課題】カメラ画像から観測対象の表面状態を分類すること。
【解決手段】観測対象の表面を写した観測画像を入力し、観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた一定の光学モデルを解くことにより、観測対象の表面状態を推定し、推定結果に基づいて観測対象の表面状態を分類する。
【解決手段】観測対象の表面を写した観測画像を入力し、観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた一定の光学モデルを解くことにより、観測対象の表面状態を推定し、推定結果に基づいて観測対象の表面状態を分類する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観測対象の表面状態を分類する技術に関する。
【背景技術】
【０００２】
カメラ画像により観測される対象の表面は、様々な外的要因により見かけが変化することが知られている。特に、湿度の影響により、観測対象の表面は濡れた面になり、乾いた面にもなる。
【０００３】
現在、このような観測対象の表面の特徴を、画像処理やコンピュータビジョン等により推定・解析することが求められている（非特許文献１）。これは、道路上の濡れた面はタイヤのスリップとの関係から交通監視において重要であり、建築物にあっては、画像診断上、濡れた面と乾いた面での見かけの違いを補正することが必要となっているからである。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ディジタル画像処理編集委員会、「ディジタル画像処理」、第2版、日本、財団法人 画像情報教育振興委員会（ＣＧ−ＡＲＴＳ協会）、2006年3月1日、p.49-57、64-68、279-282
【非特許文献２】「共役勾配法」、［online］、フリー百科事典『ウィキペディア（Wikipedia）』、［平成22年5月10日検索］、インターネット<URL : http://ja.wikipedia.org/wiki/%E5%85%B1%E5%BD%B9%E5%8B%BE%E9%85%8D%E6%B3%95>
【非特許文献３】「最急降下法」、［online］、フリー百科事典『ウィキペディア（Wikipedia）』、［平成22年5月10日検索］、インターネット<URL : http://ja.wikipedia.org/wiki/%E6%9C%80%E6%80%A5%E9%99%8D%E4%B8%8B%E6%B3%95>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来では、観測対象の表面状態を分類する際にカメラ画像の輝度の大きさのみを利用しているため、表面状態を誤って分類することが多いという問題があった。なお、ミリ波レーダ等の特殊で高価な装置を用いることによっても表面状態を検出可能であるが、一般的なカメラ画像を用いることが現在求められている。
【０００６】
本発明は、上記を鑑みてなされたものであり、カメラ画像から観測対象の表面状態を分類することを課題とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の表面状態分類装置は、観測対象の表面を写した観測画像を入力する入力手段と、入力された前記観測画像を記憶する記憶手段と、前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた前記一定の光学モデルを解くことにより、前記観測対象の表面状態を推定する当嵌推定手段と、推定結果に基づいて前記観測対象の表面状態を分類する分類手段と、を有することを特徴とする。
【０００８】
本発明によれば、観測対象の表面を写した観測画像を入力し、観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた一定の光学モデルを解くことにより、観測対象の表面状態を推定し、推定結果に基づいて観測対象の表面状態を分類するため、カメラ画像から観測対象の表面状態を分類することができる。
【０００９】
請求項２に記載の表面状態分類装置は、請求項１に記載の表面状態分類装置において、前記当嵌推定手段は、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度（Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）と定義し、前記定義からΣＦｆ＝１Σ（ｘ，ｙ）∈Ω［Ｉ（ｘ，ｙ）−Ｋｄｃｏｓθ−Ｋｓ（ｃｏｓθ）ｎ］ｆの目的関数（但し、Ｆ，Ωは、それぞれ、前記観測画像の枚数，前記観測画像の一定画像領域）を導出し、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を前記目的関数に代入して最小化問題として解くことにより、前記拡散反射係数の値及び前記鏡面反射係数の値を推定し、前記分類手段は、前記拡散反射係数の推定値と前記鏡面反射係数の推定値とに基づいて、前記観測対象の表面状態を分類することを特徴とする。
【００１０】
本発明によれば、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度（Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、上記任意の位置における、拡散反射係数，鏡面反射係数，観測対象の表面の法線ベクトルと反射光とのなす角，ｎは１以上の自然数）と定義し、その定義からΣＦｆ＝１Σ（ｘ，ｙ）∈Ω［Ｉ（ｘ，ｙ）−Ｋｄｃｏｓθ−Ｋｓ（ｃｏｓθ）ｎ］ｆの目的関数（但し、Ｆ，Ωは、それぞれ、観測画像の枚数，観測画像の一定画像領域）を導出し、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を上記目的関数に代入して最小化問題として解くことにより、拡散反射係数の値及び鏡面反射係数の値を推定し、各推定値とに基づいて、観測対象の表面状態を分類するため、カメラ画像から観測対象の表面状態を分類することができる。特に、目的関数がΣＦｆ＝１で定義されているため、１枚の観測画像からでも観測状態を分類することができる。
【００１１】
請求項３に記載の表面状態分類装置は、請求項２に記載の表面状態分類装置において、前記当嵌推定手段は、前記拡散反射係数及び前記鏡面反射係数に係る拘束条件を前記目的関数に適用することを特徴とする。
【００１２】
本発明によれば、拡散反射係数及び鏡面反射係数に係る拘束条件を目的関数に適用するため、目的関数を最小化問題として解く際の収束性を高めることができる。
【００１３】
請求項４に記載の表面状態分類装置は、請求項２又は３に記載の表面状態分類装置において、前記分類手段は、前記拡散反射係数の推定値が前記鏡面反射係数の推定値よりも大きい場合には、前記観測対象の表面を乾いた面に分類し、小さい場合には濡れた面に分類することを特徴とする。
【００１４】
本発明によれば、拡散反射係数の推定値が鏡面反射係数の推定値よりも大きい場合には、観測対象の表面を乾いた面に分類し、小さい場合には濡れた面に分類するため、観測対象の表面状態を乾いた面か濡れた面かで分類することができる。
【００１５】
請求項５に記載の表面状態分類方法は、コンピュータにより、観測対象の表面を写した観測画像を入力する第１のステップと、入力された前記観測画像を記憶手段に記憶する第２のステップと、前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた前記一定の光学モデルを解くことにより、前記観測対象の表面状態を推定する第３のステップと、推定結果に基づいて前記観測対象の表面状態を分類する第４のステップと、を有することを特徴とする。
【００１６】
請求項６に記載の表面状態分類方法は、請求項５に記載の表面状態分類方法において、前記第３ステップは、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度（Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）と定義し、前記定義からΣＦｆ＝１Σ（ｘ，ｙ）∈Ω［Ｉ（ｘ，ｙ）−Ｋｄｃｏｓθ−Ｋｓ（ｃｏｓθ）ｎ］ｆの目的関数（但し、Ｆ，Ωは、それぞれ、前記観測画像の枚数，前記観測画像の一定画像領域）を導出し、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を前記目的関数に代入して最小化問題として解くことにより、前記拡散反射係数の値及び前記鏡面反射係数の値を推定し、前記第４のステップは、前記拡散反射係数の推定値と前記鏡面反射係数の推定値とに基づいて、前記観測対象の表面状態を分類することを特徴とする。
【００１７】
請求項７に記載の表面状態分類方法は、請求項６に記載の表面状態分類方法において、前記第３ステップは、前記拡散反射係数及び前記鏡面反射係数に係る拘束条件を前記目的関数に適用することを特徴とする。
【００１８】
請求項８に記載の表面状態分類方法は、請求項６又は７に記載の表面状態分類方法において、前記第４のステップは、前記拡散反射係数の推定値が前記鏡面反射係数の推定値よりも大きい場合には、前記観測対象の表面を乾いた面に分類し、小さい場合には濡れた面に分類することを特徴とする。
【００１９】
請求項９に記載の表面状態分類プログラムは、請求項５乃至８のいずれか１項に記載の表面状態分類方法における各ステップをコンピュータによって実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、カメラ画像から観測対象の表面状態を分類することができる。
【図面の簡単な説明】
【００２１】
【図１】表面状態分類装置の機能ブロック構成を示す図である。
【図２】拡散反射及び鏡面反射に関する基本的な光学モデルを示す図である。
【図３】濡れた面と乾いた面の分類結果を示す図である。
【図４】人工生成した２種の反射画像を用いて推定されたパラメータの推定評価結果を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。
【００２３】
図１は、本実施の形態に係る表面状態分類装置の機能ブロック構成を示す図である。この表面状態分類装置１は、画像入力部１１と、データ蓄積部１２と、光学モデル当嵌推定部１３と、状態分類部１４と、表示部１５とで構成されている。最初に、これら各機能部の機能について詳細に説明する。
【００２４】
画像入力部１１は、カメラ（不図示）により撮影された観測対象の表面を写した１枚以上の観測画像の入力を受け付けて、表面状態分類装置１の内部に入力する機能を有している。
【００２５】
データ蓄積部１２は、画像入力部１１で受付・入力された観測画像を読み出し可能に記憶する機能を有している。
【００２６】
光学モデル当嵌推定部１３は、観測対象の表面状態（乾いた状態や濡れた状態）について解析するために、観測画像をデータ蓄積部１２から取得し、観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた一定の光学モデルを解くことにより、観測対象の表面状態を推定する機能を有している。
【００２７】
状態分類部１４は、光学モデル当嵌推定部１３による推定結果に基づいて、観測対象の表面状態を乾いた状態又は濡れた状態に分類する機能を有している。
【００２８】
表示部１５は、状態分類部１４による観測対象の表面状態の分類結果を画面に表示する機能を有している。
【００２９】
次に、光学モデル当嵌推定部１３で利用する光学モデルについて説明する。本実施の形態では、図２に示すように、拡散反射Ｄ及び鏡面反射Ｓに関する光学モデルを利用している。太陽光等の光源３１からの入射光Ｌｉと観測対象３２の表面の位置Ｐでの法線ベクトルＮとのなす角（入射角）をθとし、その位置Ｐにおける拡散反射Ｄの拡散反射係数（拡散反射率）をＫｄ、鏡面反射Ｓの鏡面反射係数（鏡面反射率）をＫｓとすると、表面状態分類装置１に接続されたカメラ３３で撮影される観測画像の画素の輝度値Ｉ（ｘ，ｙ）は、位置Ｐにおいて、式（１）で定義することができる。但し、ｎは１以上の自然数であり、後述するように鏡面反射強度に相当している。
【数１】
【００３０】
なお、カメラ３３で撮影される観測対象３２は位置Ｐの集合であり、拡散反射係数Ｋｄ、鏡面反射係数Ｋｓ、入射角θは、各位置Ｐで異なっている。ゆえに、観測画像の画素の位置（ｘ，ｙ）との関係で言えば、式（１）の右辺の各変数は、Ｋｄ＝Ｋｄ（ｘ，ｙ）、Ｋｓ＝Ｋｓ（ｘ，ｙ）、θ＝θ（ｘ，ｙ）で表現され、位置に応じて異なる値を有している。また、反射の法則より、入射角θに代えて、入射角θの角度と同じ角度を有する、法線ベクトルＮと反射光Ｌｒとのなす角（反射角）を利用してもよい。
【００３１】
式（１）において、拡散反射係数Ｋｄが大きい場合には、観測対象３２の表面は全体的に一様に広がるような状態となり、光強度は光源３１よりも小さくなる。一方、鏡面反射係数Ｋｓが大きい場合には、観測対象３２の表面はスポットライトのような点に近い状態となり、光源３１の光強度に近づく。特に、ｎの値が大きくなるほど鏡面反射の程度が強くなることを示している。
【００３２】
次に、観測画像の各画素の輝度値を拡散反射Ｄ及び鏡面反射Ｓに関する光学モデルに当て嵌めた式（１）を解くことにより、観測対象の表面の乾きや濡れについて、拡散反射係数Ｋｄ及び鏡面反射係数Ｋｓの大きさに基づくモデリング処理について説明する。具体的には、式（１）の拡散反射係数Ｋｄ、鏡面反射係数Ｋｓ、入射角θ（又は反射角θ）、鏡面反射強度ｎの４つのパラメータを、入力された観測画像の各画素の輝度値Ｉから推定することにより、表面状態のモデリングを行う。
【００３３】
まず、式（１）より、それら４つのパラメータを推定するための目的関数（以下の式（２））を導出する。但し、（ｉ，ｊ）は画像上の任意の画素の位置であり、Ｆは入力される観測画像の枚数であり、Ωは観測画像の一定画像領域である。そして、（ｘ，ｙ）は一定画像領域Ωに属する画素の位置を示している。
【数２】
【００３４】
そして、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を式（２）の目的関数に代入して最小化問題として解くことにより、拡散反射係数Ｋｄ、鏡面反射係数Ｋｓ、入射角θ（又は反射角θ）、鏡面反射強度ｎの各値をそれぞれ推定する。
【００３５】
なお、上記４つのパラメータのうち幾つかのパラメータについて拘束条件を与えることにより、式（２）の計算の収束性を高めることができる。具体的に言えば、反射特性は、拡散反射係数Ｋｄ及び鏡面反射係数Ｋｓの２つの係数のバランスに基づいていることから、Ｋｄ＋Ｋｓ≒１であることを考慮し、式（２）を式（３）に拡張する。
【数３】
【００３６】
また、鏡面反射強度ｎの値については実験的に３〜５程度で十分な近似値が得られることから、鏡面反射強度ｎの上限値を設定する。そして、式（３）の最小化計算を行う。なお、最小化計算をする際の必要条件として、式（４）を与えるものとする。
【数４】
【００３７】
ここで、このような最小化計算は公知の計算方法を用いて解くことができる。例えば、最小二乗法を用いることができる。最小二乗法については様々な数値解法が知られているが、共役勾配法や最急降下法等を適用することができる（非特許文献２，３参照）。代表的な最急降下法では、以下の式（５）〜式（８）を用いて最小化計算をすることが可能である。但し、ｐは反復回数であり、ｈは収束調整係数である。
【数５】
【００３８】
反復回数ｐを２０、収束調整係数ｈを０．０１、４つのパラメータの初期値を０（ゼロ）に設定しておき、各計算式をそれぞれ反復計算することにより、拡散反射係数Ｋｄ、鏡面反射係数Ｋｓ、入射角θ（又は反射角θ）、鏡面反射強度ｎをそれぞれ計算する。
【００３９】
なお、実環境上でカメラ撮影された観測画像には環境外乱やノイズが含まれているため、ロバスト統計学に基づいた非線形最小二乗法を用いることも可能であり、効果的である。
【００４０】
次に、表面状態分類装置１の処理フローについて説明する。最初に、画像入力部１１により、カメラ撮影された観測対象の表面を写した１枚以上の観測画像が入力される（Ｓ１）。
【００４１】
次いで、データ蓄積部１２により、Ｓ１で入力された観測画像が読み出し可能に記憶される（Ｓ２）。
【００４２】
次いで、光学モデル当嵌推定部１３により、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）が観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度と定義され、その定義から式（３）の目的関数が導出され、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）が上記目的関数に代入されて最小化問題として解かれることにより、４つのパラメータ（Ｋｄ、Ｋｓ、θ、ｎ）の値がそれぞれ推定される（Ｓ３）。
【００４３】
次いで、状態分類部１４により、推定された４つのパラメータのうち拡散反射係数Ｋｄの推定値と鏡面反射係数Ｋｓの推定値とに基づいて、観測対象の表面状態が分類される（Ｓ４）。具体的には、図３に示すように、拡散反射係数Ｋｄの推定値が鏡面反射係数Ｋｓの推定値よりも大きい場合（Ｋｄ＞Ｋｓの場合）には、拡散反射が優位であることから、観測対象の表面は乾いた面に分類される。逆に、拡散反射係数Ｋｄの推定値が鏡面反射係数Ｋｓの推定値よりも小さい場合（Ｋｄ＜Ｋｓの場合）には、鏡面反射が優位であることから、観測対象の表面は濡れた面に分類される。
【００４４】
最後に、表示部１５により、Ｓ４の分類結果が画面に表示される（Ｓ５）。
【００４５】
次に、拘束条件のない式（２）と拘束条件のある式（３）とで推定されたパラメータの推定評価結果について説明する。図４（ａ）は、拡散反射画像を用いた評価結果であり、図４（ｂ）は、鏡面反射画像を用いた評価結果である。
【００４６】
図４（ａ）の左に示す１枚（Ｆ＝１）の拡散反射画像を人工的に生成し、その生成画像の輝度値を式（２）と式（３）にそれぞれ代入して各パラメータを計算した場合、どのパラメータであっても、拘束条件のない式（２）を用いて計算するよりも、拘束条件のある式（３）を用いて計算した方が、推定誤差は小さいものとなった。また、鏡面反射画像の場合についても同様に、拘束条件のある式（３）を用いて計算した方が、推定誤差は小さいものとなった。
【００４７】
また、各反射画像をそれぞれ複数生成（Ｆ＝５又は１０）して同様の計算をした場合には、Ｆ＝１の場合よりも推定誤差を更に減少することが可能となった。
【００４８】
最後に、拡散反射Ｄ及び鏡面反射Ｓに関する光学モデルは、光学モデル当嵌推定部１３が用いる光学モデルの一例であり、観測対象の表面状態を推定可能であれば他の光学モデルを用いることも可能である。
【００４９】
また、本実施の形態で説明した表面状態分類装置１は、マルチメディア分野、符号化分野、通信分野、非破壊検査分野、実環境におけるモニタリングや画像センシング，映像製作等に関する産業分野に適用することが可能である。
【００５０】
また、本実施の形態で説明した表面状態分類装置１は、コンピュータで構成される。すなわち、データ蓄積部１２は、メモリ等の記憶手段で実現される。また、画像入力部１１と、光学モデル当嵌推定部１３と、状態分類部１４と、表示部１５とは、ＣＰＵ等の演算手段で実現され、プログラムで実行される。
【００５１】
また、本実施の形態で説明した表面状態分類装置１をプログラムとして光記憶装置や磁気記憶装置等の記録媒体に読出可能に記録し、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を表面状態分類装置１として機能させることができるのは勿論である。
【００５２】
本実施の形態によれば、観測対象の表面を写した観測画像を入力し、観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた一定の光学モデルを解くことにより、観測対象の表面状態を推定し、推定結果に基づいて観測対象の表面状態を分類するので、カメラ画像から観測対象の表面状態を分類することができる。
【００５３】
本実施の形態によれば、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度（Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、上記任意の位置における、拡散反射係数，鏡面反射係数，観測対象の表面の法線ベクトルと反射光とのなす角，ｎは１以上の自然数）と定義し、その定義からΣＦｆ＝１Σ（ｘ，ｙ）∈Ω［Ｉ（ｘ，ｙ）−Ｋｄｃｏｓθ−Ｋｓ（ｃｏｓθ）ｎ］ｆの目的関数（但し、Ｆ，Ωは、それぞれ、観測画像の枚数，観測画像の一定画像領域）を導出し、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を上記目的関数に代入して最小化問題として解くことにより、拡散反射係数の値及び鏡面反射係数の値を推定し、各推定値とに基づいて、観測対象の表面状態を分類するので、カメラ画像から観測対象の表面状態を分類することができる。特に、目的関数がΣＦｆ＝１で定義されているので、１枚の観測画像からでも観測状態を分類することができる。
【００５４】
本実施の形態によれば、拡散反射係数及び鏡面反射係数に係る拘束条件を目的関数に適用するので、目的関数を最小化問題として解く際の収束性を高めることができる。
【００５５】
本実施の形態によれば、拡散反射係数の推定値が鏡面反射係数の推定値よりも大きい場合には、観測対象の表面を乾いた面に分類し、小さい場合には濡れた面に分類するので、観測対象の表面状態を乾いた面か濡れた面かで分類することができる。
【符号の説明】
【００５６】
１…表面状態分類装置
１１…画像入力部（入力手段）
１２…データ蓄積部（記憶手段）
１３…光学モデル当嵌推定部（当嵌推定手段）
１４…状態分類部（分類手段）
１５…表示部
３１…光源
３２…観測対象
３３…カメラ
Ｓ１〜Ｓ５…ステップ
【技術分野】
【０００１】
本発明は、観測対象の表面状態を分類する技術に関する。
【背景技術】
【０００２】
カメラ画像により観測される対象の表面は、様々な外的要因により見かけが変化することが知られている。特に、湿度の影響により、観測対象の表面は濡れた面になり、乾いた面にもなる。
【０００３】
現在、このような観測対象の表面の特徴を、画像処理やコンピュータビジョン等により推定・解析することが求められている（非特許文献１）。これは、道路上の濡れた面はタイヤのスリップとの関係から交通監視において重要であり、建築物にあっては、画像診断上、濡れた面と乾いた面での見かけの違いを補正することが必要となっているからである。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ディジタル画像処理編集委員会、「ディジタル画像処理」、第2版、日本、財団法人 画像情報教育振興委員会（ＣＧ−ＡＲＴＳ協会）、2006年3月1日、p.49-57、64-68、279-282
【非特許文献２】「共役勾配法」、［online］、フリー百科事典『ウィキペディア（Wikipedia）』、［平成22年5月10日検索］、インターネット<URL : http://ja.wikipedia.org/wiki/%E5%85%B1%E5%BD%B9%E5%8B%BE%E9%85%8D%E6%B3%95>
【非特許文献３】「最急降下法」、［online］、フリー百科事典『ウィキペディア（Wikipedia）』、［平成22年5月10日検索］、インターネット<URL : http://ja.wikipedia.org/wiki/%E6%9C%80%E6%80%A5%E9%99%8D%E4%B8%8B%E6%B3%95>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来では、観測対象の表面状態を分類する際にカメラ画像の輝度の大きさのみを利用しているため、表面状態を誤って分類することが多いという問題があった。なお、ミリ波レーダ等の特殊で高価な装置を用いることによっても表面状態を検出可能であるが、一般的なカメラ画像を用いることが現在求められている。
【０００６】
本発明は、上記を鑑みてなされたものであり、カメラ画像から観測対象の表面状態を分類することを課題とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の表面状態分類装置は、観測対象の表面を写した観測画像を入力する入力手段と、入力された前記観測画像を記憶する記憶手段と、前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた前記一定の光学モデルを解くことにより、前記観測対象の表面状態を推定する当嵌推定手段と、推定結果に基づいて前記観測対象の表面状態を分類する分類手段と、を有することを特徴とする。
【０００８】
本発明によれば、観測対象の表面を写した観測画像を入力し、観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた一定の光学モデルを解くことにより、観測対象の表面状態を推定し、推定結果に基づいて観測対象の表面状態を分類するため、カメラ画像から観測対象の表面状態を分類することができる。
【０００９】
請求項２に記載の表面状態分類装置は、請求項１に記載の表面状態分類装置において、前記当嵌推定手段は、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度（Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）と定義し、前記定義からΣＦｆ＝１Σ（ｘ，ｙ）∈Ω［Ｉ（ｘ，ｙ）−Ｋｄｃｏｓθ−Ｋｓ（ｃｏｓθ）ｎ］ｆの目的関数（但し、Ｆ，Ωは、それぞれ、前記観測画像の枚数，前記観測画像の一定画像領域）を導出し、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を前記目的関数に代入して最小化問題として解くことにより、前記拡散反射係数の値及び前記鏡面反射係数の値を推定し、前記分類手段は、前記拡散反射係数の推定値と前記鏡面反射係数の推定値とに基づいて、前記観測対象の表面状態を分類することを特徴とする。
【００１０】
本発明によれば、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度（Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、上記任意の位置における、拡散反射係数，鏡面反射係数，観測対象の表面の法線ベクトルと反射光とのなす角，ｎは１以上の自然数）と定義し、その定義からΣＦｆ＝１Σ（ｘ，ｙ）∈Ω［Ｉ（ｘ，ｙ）−Ｋｄｃｏｓθ−Ｋｓ（ｃｏｓθ）ｎ］ｆの目的関数（但し、Ｆ，Ωは、それぞれ、観測画像の枚数，観測画像の一定画像領域）を導出し、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を上記目的関数に代入して最小化問題として解くことにより、拡散反射係数の値及び鏡面反射係数の値を推定し、各推定値とに基づいて、観測対象の表面状態を分類するため、カメラ画像から観測対象の表面状態を分類することができる。特に、目的関数がΣＦｆ＝１で定義されているため、１枚の観測画像からでも観測状態を分類することができる。
【００１１】
請求項３に記載の表面状態分類装置は、請求項２に記載の表面状態分類装置において、前記当嵌推定手段は、前記拡散反射係数及び前記鏡面反射係数に係る拘束条件を前記目的関数に適用することを特徴とする。
【００１２】
本発明によれば、拡散反射係数及び鏡面反射係数に係る拘束条件を目的関数に適用するため、目的関数を最小化問題として解く際の収束性を高めることができる。
【００１３】
請求項４に記載の表面状態分類装置は、請求項２又は３に記載の表面状態分類装置において、前記分類手段は、前記拡散反射係数の推定値が前記鏡面反射係数の推定値よりも大きい場合には、前記観測対象の表面を乾いた面に分類し、小さい場合には濡れた面に分類することを特徴とする。
【００１４】
本発明によれば、拡散反射係数の推定値が鏡面反射係数の推定値よりも大きい場合には、観測対象の表面を乾いた面に分類し、小さい場合には濡れた面に分類するため、観測対象の表面状態を乾いた面か濡れた面かで分類することができる。
【００１５】
請求項５に記載の表面状態分類方法は、コンピュータにより、観測対象の表面を写した観測画像を入力する第１のステップと、入力された前記観測画像を記憶手段に記憶する第２のステップと、前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた前記一定の光学モデルを解くことにより、前記観測対象の表面状態を推定する第３のステップと、推定結果に基づいて前記観測対象の表面状態を分類する第４のステップと、を有することを特徴とする。
【００１６】
請求項６に記載の表面状態分類方法は、請求項５に記載の表面状態分類方法において、前記第３ステップは、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度（Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）と定義し、前記定義からΣＦｆ＝１Σ（ｘ，ｙ）∈Ω［Ｉ（ｘ，ｙ）−Ｋｄｃｏｓθ−Ｋｓ（ｃｏｓθ）ｎ］ｆの目的関数（但し、Ｆ，Ωは、それぞれ、前記観測画像の枚数，前記観測画像の一定画像領域）を導出し、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を前記目的関数に代入して最小化問題として解くことにより、前記拡散反射係数の値及び前記鏡面反射係数の値を推定し、前記第４のステップは、前記拡散反射係数の推定値と前記鏡面反射係数の推定値とに基づいて、前記観測対象の表面状態を分類することを特徴とする。
【００１７】
請求項７に記載の表面状態分類方法は、請求項６に記載の表面状態分類方法において、前記第３ステップは、前記拡散反射係数及び前記鏡面反射係数に係る拘束条件を前記目的関数に適用することを特徴とする。
【００１８】
請求項８に記載の表面状態分類方法は、請求項６又は７に記載の表面状態分類方法において、前記第４のステップは、前記拡散反射係数の推定値が前記鏡面反射係数の推定値よりも大きい場合には、前記観測対象の表面を乾いた面に分類し、小さい場合には濡れた面に分類することを特徴とする。
【００１９】
請求項９に記載の表面状態分類プログラムは、請求項５乃至８のいずれか１項に記載の表面状態分類方法における各ステップをコンピュータによって実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、カメラ画像から観測対象の表面状態を分類することができる。
【図面の簡単な説明】
【００２１】
【図１】表面状態分類装置の機能ブロック構成を示す図である。
【図２】拡散反射及び鏡面反射に関する基本的な光学モデルを示す図である。
【図３】濡れた面と乾いた面の分類結果を示す図である。
【図４】人工生成した２種の反射画像を用いて推定されたパラメータの推定評価結果を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。
【００２３】
図１は、本実施の形態に係る表面状態分類装置の機能ブロック構成を示す図である。この表面状態分類装置１は、画像入力部１１と、データ蓄積部１２と、光学モデル当嵌推定部１３と、状態分類部１４と、表示部１５とで構成されている。最初に、これら各機能部の機能について詳細に説明する。
【００２４】
画像入力部１１は、カメラ（不図示）により撮影された観測対象の表面を写した１枚以上の観測画像の入力を受け付けて、表面状態分類装置１の内部に入力する機能を有している。
【００２５】
データ蓄積部１２は、画像入力部１１で受付・入力された観測画像を読み出し可能に記憶する機能を有している。
【００２６】
光学モデル当嵌推定部１３は、観測対象の表面状態（乾いた状態や濡れた状態）について解析するために、観測画像をデータ蓄積部１２から取得し、観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた一定の光学モデルを解くことにより、観測対象の表面状態を推定する機能を有している。
【００２７】
状態分類部１４は、光学モデル当嵌推定部１３による推定結果に基づいて、観測対象の表面状態を乾いた状態又は濡れた状態に分類する機能を有している。
【００２８】
表示部１５は、状態分類部１４による観測対象の表面状態の分類結果を画面に表示する機能を有している。
【００２９】
次に、光学モデル当嵌推定部１３で利用する光学モデルについて説明する。本実施の形態では、図２に示すように、拡散反射Ｄ及び鏡面反射Ｓに関する光学モデルを利用している。太陽光等の光源３１からの入射光Ｌｉと観測対象３２の表面の位置Ｐでの法線ベクトルＮとのなす角（入射角）をθとし、その位置Ｐにおける拡散反射Ｄの拡散反射係数（拡散反射率）をＫｄ、鏡面反射Ｓの鏡面反射係数（鏡面反射率）をＫｓとすると、表面状態分類装置１に接続されたカメラ３３で撮影される観測画像の画素の輝度値Ｉ（ｘ，ｙ）は、位置Ｐにおいて、式（１）で定義することができる。但し、ｎは１以上の自然数であり、後述するように鏡面反射強度に相当している。
【数１】
【００３０】
なお、カメラ３３で撮影される観測対象３２は位置Ｐの集合であり、拡散反射係数Ｋｄ、鏡面反射係数Ｋｓ、入射角θは、各位置Ｐで異なっている。ゆえに、観測画像の画素の位置（ｘ，ｙ）との関係で言えば、式（１）の右辺の各変数は、Ｋｄ＝Ｋｄ（ｘ，ｙ）、Ｋｓ＝Ｋｓ（ｘ，ｙ）、θ＝θ（ｘ，ｙ）で表現され、位置に応じて異なる値を有している。また、反射の法則より、入射角θに代えて、入射角θの角度と同じ角度を有する、法線ベクトルＮと反射光Ｌｒとのなす角（反射角）を利用してもよい。
【００３１】
式（１）において、拡散反射係数Ｋｄが大きい場合には、観測対象３２の表面は全体的に一様に広がるような状態となり、光強度は光源３１よりも小さくなる。一方、鏡面反射係数Ｋｓが大きい場合には、観測対象３２の表面はスポットライトのような点に近い状態となり、光源３１の光強度に近づく。特に、ｎの値が大きくなるほど鏡面反射の程度が強くなることを示している。
【００３２】
次に、観測画像の各画素の輝度値を拡散反射Ｄ及び鏡面反射Ｓに関する光学モデルに当て嵌めた式（１）を解くことにより、観測対象の表面の乾きや濡れについて、拡散反射係数Ｋｄ及び鏡面反射係数Ｋｓの大きさに基づくモデリング処理について説明する。具体的には、式（１）の拡散反射係数Ｋｄ、鏡面反射係数Ｋｓ、入射角θ（又は反射角θ）、鏡面反射強度ｎの４つのパラメータを、入力された観測画像の各画素の輝度値Ｉから推定することにより、表面状態のモデリングを行う。
【００３３】
まず、式（１）より、それら４つのパラメータを推定するための目的関数（以下の式（２））を導出する。但し、（ｉ，ｊ）は画像上の任意の画素の位置であり、Ｆは入力される観測画像の枚数であり、Ωは観測画像の一定画像領域である。そして、（ｘ，ｙ）は一定画像領域Ωに属する画素の位置を示している。
【数２】
【００３４】
そして、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を式（２）の目的関数に代入して最小化問題として解くことにより、拡散反射係数Ｋｄ、鏡面反射係数Ｋｓ、入射角θ（又は反射角θ）、鏡面反射強度ｎの各値をそれぞれ推定する。
【００３５】
なお、上記４つのパラメータのうち幾つかのパラメータについて拘束条件を与えることにより、式（２）の計算の収束性を高めることができる。具体的に言えば、反射特性は、拡散反射係数Ｋｄ及び鏡面反射係数Ｋｓの２つの係数のバランスに基づいていることから、Ｋｄ＋Ｋｓ≒１であることを考慮し、式（２）を式（３）に拡張する。
【数３】
【００３６】
また、鏡面反射強度ｎの値については実験的に３〜５程度で十分な近似値が得られることから、鏡面反射強度ｎの上限値を設定する。そして、式（３）の最小化計算を行う。なお、最小化計算をする際の必要条件として、式（４）を与えるものとする。
【数４】
【００３７】
ここで、このような最小化計算は公知の計算方法を用いて解くことができる。例えば、最小二乗法を用いることができる。最小二乗法については様々な数値解法が知られているが、共役勾配法や最急降下法等を適用することができる（非特許文献２，３参照）。代表的な最急降下法では、以下の式（５）〜式（８）を用いて最小化計算をすることが可能である。但し、ｐは反復回数であり、ｈは収束調整係数である。
【数５】
【００３８】
反復回数ｐを２０、収束調整係数ｈを０．０１、４つのパラメータの初期値を０（ゼロ）に設定しておき、各計算式をそれぞれ反復計算することにより、拡散反射係数Ｋｄ、鏡面反射係数Ｋｓ、入射角θ（又は反射角θ）、鏡面反射強度ｎをそれぞれ計算する。
【００３９】
なお、実環境上でカメラ撮影された観測画像には環境外乱やノイズが含まれているため、ロバスト統計学に基づいた非線形最小二乗法を用いることも可能であり、効果的である。
【００４０】
次に、表面状態分類装置１の処理フローについて説明する。最初に、画像入力部１１により、カメラ撮影された観測対象の表面を写した１枚以上の観測画像が入力される（Ｓ１）。
【００４１】
次いで、データ蓄積部１２により、Ｓ１で入力された観測画像が読み出し可能に記憶される（Ｓ２）。
【００４２】
次いで、光学モデル当嵌推定部１３により、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）が観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度と定義され、その定義から式（３）の目的関数が導出され、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）が上記目的関数に代入されて最小化問題として解かれることにより、４つのパラメータ（Ｋｄ、Ｋｓ、θ、ｎ）の値がそれぞれ推定される（Ｓ３）。
【００４３】
次いで、状態分類部１４により、推定された４つのパラメータのうち拡散反射係数Ｋｄの推定値と鏡面反射係数Ｋｓの推定値とに基づいて、観測対象の表面状態が分類される（Ｓ４）。具体的には、図３に示すように、拡散反射係数Ｋｄの推定値が鏡面反射係数Ｋｓの推定値よりも大きい場合（Ｋｄ＞Ｋｓの場合）には、拡散反射が優位であることから、観測対象の表面は乾いた面に分類される。逆に、拡散反射係数Ｋｄの推定値が鏡面反射係数Ｋｓの推定値よりも小さい場合（Ｋｄ＜Ｋｓの場合）には、鏡面反射が優位であることから、観測対象の表面は濡れた面に分類される。
【００４４】
最後に、表示部１５により、Ｓ４の分類結果が画面に表示される（Ｓ５）。
【００４５】
次に、拘束条件のない式（２）と拘束条件のある式（３）とで推定されたパラメータの推定評価結果について説明する。図４（ａ）は、拡散反射画像を用いた評価結果であり、図４（ｂ）は、鏡面反射画像を用いた評価結果である。
【００４６】
図４（ａ）の左に示す１枚（Ｆ＝１）の拡散反射画像を人工的に生成し、その生成画像の輝度値を式（２）と式（３）にそれぞれ代入して各パラメータを計算した場合、どのパラメータであっても、拘束条件のない式（２）を用いて計算するよりも、拘束条件のある式（３）を用いて計算した方が、推定誤差は小さいものとなった。また、鏡面反射画像の場合についても同様に、拘束条件のある式（３）を用いて計算した方が、推定誤差は小さいものとなった。
【００４７】
また、各反射画像をそれぞれ複数生成（Ｆ＝５又は１０）して同様の計算をした場合には、Ｆ＝１の場合よりも推定誤差を更に減少することが可能となった。
【００４８】
最後に、拡散反射Ｄ及び鏡面反射Ｓに関する光学モデルは、光学モデル当嵌推定部１３が用いる光学モデルの一例であり、観測対象の表面状態を推定可能であれば他の光学モデルを用いることも可能である。
【００４９】
また、本実施の形態で説明した表面状態分類装置１は、マルチメディア分野、符号化分野、通信分野、非破壊検査分野、実環境におけるモニタリングや画像センシング，映像製作等に関する産業分野に適用することが可能である。
【００５０】
また、本実施の形態で説明した表面状態分類装置１は、コンピュータで構成される。すなわち、データ蓄積部１２は、メモリ等の記憶手段で実現される。また、画像入力部１１と、光学モデル当嵌推定部１３と、状態分類部１４と、表示部１５とは、ＣＰＵ等の演算手段で実現され、プログラムで実行される。
【００５１】
また、本実施の形態で説明した表面状態分類装置１をプログラムとして光記憶装置や磁気記憶装置等の記録媒体に読出可能に記録し、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を表面状態分類装置１として機能させることができるのは勿論である。
【００５２】
本実施の形態によれば、観測対象の表面を写した観測画像を入力し、観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた一定の光学モデルを解くことにより、観測対象の表面状態を推定し、推定結果に基づいて観測対象の表面状態を分類するので、カメラ画像から観測対象の表面状態を分類することができる。
【００５３】
本実施の形態によれば、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度（Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、上記任意の位置における、拡散反射係数，鏡面反射係数，観測対象の表面の法線ベクトルと反射光とのなす角，ｎは１以上の自然数）と定義し、その定義からΣＦｆ＝１Σ（ｘ，ｙ）∈Ω［Ｉ（ｘ，ｙ）−Ｋｄｃｏｓθ−Ｋｓ（ｃｏｓθ）ｎ］ｆの目的関数（但し、Ｆ，Ωは、それぞれ、観測画像の枚数，観測画像の一定画像領域）を導出し、観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を上記目的関数に代入して最小化問題として解くことにより、拡散反射係数の値及び鏡面反射係数の値を推定し、各推定値とに基づいて、観測対象の表面状態を分類するので、カメラ画像から観測対象の表面状態を分類することができる。特に、目的関数がΣＦｆ＝１で定義されているので、１枚の観測画像からでも観測状態を分類することができる。
【００５４】
本実施の形態によれば、拡散反射係数及び鏡面反射係数に係る拘束条件を目的関数に適用するので、目的関数を最小化問題として解く際の収束性を高めることができる。
【００５５】
本実施の形態によれば、拡散反射係数の推定値が鏡面反射係数の推定値よりも大きい場合には、観測対象の表面を乾いた面に分類し、小さい場合には濡れた面に分類するので、観測対象の表面状態を乾いた面か濡れた面かで分類することができる。
【符号の説明】
【００５６】
１…表面状態分類装置
１１…画像入力部（入力手段）
１２…データ蓄積部（記憶手段）
１３…光学モデル当嵌推定部（当嵌推定手段）
１４…状態分類部（分類手段）
１５…表示部
３１…光源
３２…観測対象
３３…カメラ
Ｓ１〜Ｓ５…ステップ
【特許請求の範囲】
【請求項１】
観測対象の表面を写した観測画像を入力する入力手段と、
入力された前記観測画像を記憶する記憶手段と、
前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた前記一定の光学モデルを解くことにより、前記観測対象の表面状態を推定する当嵌推定手段と、
推定結果に基づいて前記観測対象の表面状態を分類する分類手段と、
を有することを特徴とする表面状態分類装置。
【請求項２】
前記当嵌推定手段は、
前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度（Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）と定義し、前記定義からΣＦｆ＝１Σ（ｘ，ｙ）∈Ω［Ｉ（ｘ，ｙ）−Ｋｄｃｏｓθ−Ｋｓ（ｃｏｓθ）ｎ］ｆの目的関数（但し、Ｆ，Ωは、それぞれ、前記観測画像の枚数，前記観測画像の一定画像領域）を導出し、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を前記目的関数に代入して最小化問題として解くことにより、前記拡散反射係数の値及び前記鏡面反射係数の値を推定し、
前記分類手段は、
前記拡散反射係数の推定値と前記鏡面反射係数の推定値とに基づいて、前記観測対象の表面状態を分類することを特徴とする請求項１に記載の表面状態分類装置。
【請求項３】
前記当嵌推定手段は、
前記拡散反射係数及び前記鏡面反射係数に係る拘束条件を前記目的関数に適用することを特徴とする請求項２に記載の表面状態分類装置。
【請求項４】
前記分類手段は、
前記拡散反射係数の推定値が前記鏡面反射係数の推定値よりも大きい場合には、前記観測対象の表面を乾いた面に分類し、小さい場合には濡れた面に分類することを特徴とする請求項２又は３に記載の表面状態分類装置。
【請求項５】
コンピュータにより、
観測対象の表面を写した観測画像を入力する第１のステップと、
入力された前記観測画像を記憶手段に記憶する第２のステップと、
前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた前記一定の光学モデルを解くことにより、前記観測対象の表面状態を推定する第３のステップと、
推定結果に基づいて前記観測対象の表面状態を分類する第４のステップと、
を有することを特徴とする表面状態分類方法。
【請求項６】
前記第３ステップは、
前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度（Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）と定義し、前記定義からΣＦｆ＝１Σ（ｘ，ｙ）∈Ω［Ｉ（ｘ，ｙ）−Ｋｄｃｏｓθ−Ｋｓ（ｃｏｓθ）ｎ］ｆの目的関数（但し、Ｆ，Ωは、それぞれ、前記観測画像の枚数，前記観測画像の一定画像領域）を導出し、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を前記目的関数に代入して最小化問題として解くことにより、前記拡散反射係数の値及び前記鏡面反射係数の値を推定し、
前記第４のステップは、
前記拡散反射係数の推定値と前記鏡面反射係数の推定値とに基づいて、前記観測対象の表面状態を分類することを特徴とする請求項５に記載の表面状態分類方法。
【請求項７】
前記第３ステップは、
前記拡散反射係数及び前記鏡面反射係数に係る拘束条件を前記目的関数に適用することを特徴とする請求項６に記載の表面状態分類方法。
【請求項８】
前記第４のステップは、
前記拡散反射係数の推定値が前記鏡面反射係数の推定値よりも大きい場合には、前記観測対象の表面を乾いた面に分類し、小さい場合には濡れた面に分類することを特徴とする請求項６又は７に記載の表面状態分類方法。
【請求項９】
請求項５乃至８のいずれか１項に記載の表面状態分類方法における各ステップをコンピュータによって実行させることを特徴とする表面状態分類プログラム。
【請求項１】
観測対象の表面を写した観測画像を入力する入力手段と、
入力された前記観測画像を記憶する記憶手段と、
前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた前記一定の光学モデルを解くことにより、前記観測対象の表面状態を推定する当嵌推定手段と、
推定結果に基づいて前記観測対象の表面状態を分類する分類手段と、
を有することを特徴とする表面状態分類装置。
【請求項２】
前記当嵌推定手段は、
前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度（Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）と定義し、前記定義からΣＦｆ＝１Σ（ｘ，ｙ）∈Ω［Ｉ（ｘ，ｙ）−Ｋｄｃｏｓθ−Ｋｓ（ｃｏｓθ）ｎ］ｆの目的関数（但し、Ｆ，Ωは、それぞれ、前記観測画像の枚数，前記観測画像の一定画像領域）を導出し、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を前記目的関数に代入して最小化問題として解くことにより、前記拡散反射係数の値及び前記鏡面反射係数の値を推定し、
前記分類手段は、
前記拡散反射係数の推定値と前記鏡面反射係数の推定値とに基づいて、前記観測対象の表面状態を分類することを特徴とする請求項１に記載の表面状態分類装置。
【請求項３】
前記当嵌推定手段は、
前記拡散反射係数及び前記鏡面反射係数に係る拘束条件を前記目的関数に適用することを特徴とする請求項２に記載の表面状態分類装置。
【請求項４】
前記分類手段は、
前記拡散反射係数の推定値が前記鏡面反射係数の推定値よりも大きい場合には、前記観測対象の表面を乾いた面に分類し、小さい場合には濡れた面に分類することを特徴とする請求項２又は３に記載の表面状態分類装置。
【請求項５】
コンピュータにより、
観測対象の表面を写した観測画像を入力する第１のステップと、
入力された前記観測画像を記憶手段に記憶する第２のステップと、
前記観測画像を前記記憶手段から読み出して、前記観測画像の各画素の輝度値を一定の光学モデルに当て嵌めて、当て嵌められた前記一定の光学モデルを解くことにより、前記観測対象の表面状態を推定する第３のステップと、
推定結果に基づいて前記観測対象の表面状態を分類する第４のステップと、
を有することを特徴とする表面状態分類方法。
【請求項６】
前記第３ステップは、
前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を、前記観測対象の表面の任意の位置で拡散反射及び鏡面反射した反射光の強度（Ｋｄｃｏｓθ＋Ｋｓ（ｃｏｓθ）ｎ）（但し、Ｋｄ，Ｋｓ，θ，ｎは、それぞれ、前記任意の位置における、拡散反射係数，鏡面反射係数，前記観測対象の表面の法線ベクトルと前記反射光とのなす角，ｎは１以上の自然数）と定義し、前記定義からΣＦｆ＝１Σ（ｘ，ｙ）∈Ω［Ｉ（ｘ，ｙ）−Ｋｄｃｏｓθ−Ｋｓ（ｃｏｓθ）ｎ］ｆの目的関数（但し、Ｆ，Ωは、それぞれ、前記観測画像の枚数，前記観測画像の一定画像領域）を導出し、前記観測画像の各画素の輝度値Ｉ（ｘ，ｙ）を前記目的関数に代入して最小化問題として解くことにより、前記拡散反射係数の値及び前記鏡面反射係数の値を推定し、
前記第４のステップは、
前記拡散反射係数の推定値と前記鏡面反射係数の推定値とに基づいて、前記観測対象の表面状態を分類することを特徴とする請求項５に記載の表面状態分類方法。
【請求項７】
前記第３ステップは、
前記拡散反射係数及び前記鏡面反射係数に係る拘束条件を前記目的関数に適用することを特徴とする請求項６に記載の表面状態分類方法。
【請求項８】
前記第４のステップは、
前記拡散反射係数の推定値が前記鏡面反射係数の推定値よりも大きい場合には、前記観測対象の表面を乾いた面に分類し、小さい場合には濡れた面に分類することを特徴とする請求項６又は７に記載の表面状態分類方法。
【請求項９】
請求項５乃至８のいずれか１項に記載の表面状態分類方法における各ステップをコンピュータによって実行させることを特徴とする表面状態分類プログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−２３７３６９（Ｐ２０１１−２３７３６９Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１１１０１９（Ｐ２０１０−１１１０１９）
【出願日】平成２２年５月１３日（２０１０．５．１３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１３日（２０１０．５．１３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]