マルチスペクトル皮膚画像による診断方法
【課題】
マルチスペクトル皮膚画像の画像解析により、病変の特徴のみを抽出できるマルチスペクトル皮膚画像による診断方法を提供する。
【解決手段】
皮膚の病変部を撮影する第１ステップと、撮影されたマルチスペクトル皮膚画像又は別途撮影した皮膚の正常部を含むマルチスペクトル皮膚画像の一部又は全体の領域で主成分分析を行う第２ステップ、主成分ベクトルのうち指定した数の主成分ベクトルの和として再構成されたマルチスペクトル皮膚画像と、第１ステップで得られたマルチスペクトル皮膚画像との差分を計算することによって、差分マルチスペクトル皮膚画像を得る第３ステップと、差分マルチスペクトル皮膚画像のうち皮膚疾患の種類によって指定された一つ又は複数のチャネルの画像を選択する第４ステップと、選択された画像に対して画像処理を行うことで病変部を抽出し、抽出された病変部に基づき、皮膚疾患状態の数値化又は画像化を行う第５ステップとを有する。
マルチスペクトル皮膚画像の画像解析により、病変の特徴のみを抽出できるマルチスペクトル皮膚画像による診断方法を提供する。
【解決手段】
皮膚の病変部を撮影する第１ステップと、撮影されたマルチスペクトル皮膚画像又は別途撮影した皮膚の正常部を含むマルチスペクトル皮膚画像の一部又は全体の領域で主成分分析を行う第２ステップ、主成分ベクトルのうち指定した数の主成分ベクトルの和として再構成されたマルチスペクトル皮膚画像と、第１ステップで得られたマルチスペクトル皮膚画像との差分を計算することによって、差分マルチスペクトル皮膚画像を得る第３ステップと、差分マルチスペクトル皮膚画像のうち皮膚疾患の種類によって指定された一つ又は複数のチャネルの画像を選択する第４ステップと、選択された画像に対して画像処理を行うことで病変部を抽出し、抽出された病変部に基づき、皮膚疾患状態の数値化又は画像化を行う第５ステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチスペクトル画像処理方法に関し、特に、波長方向に特徴をもつ物体（対象物）を被写体として撮影して得られたマルチスペクトル画像に基づいて、対象物の分類や領域の抽出などの処理を行うマルチスペクトル画像処理方法に関する。
【０００２】
また、本発明は、マルチスペクトル皮膚画像による診断方法に関し、特に、皮膚を被写体として撮影して得られたマルチスペクトル画像（以下、単にマルチスペクトル皮膚画像と称する）を用いて、乾癬やざ瘡（にきび）などの各種皮膚疾患の状態を定量化して表示することによって、皮膚科医による診断を支援するマルチスペクトル皮膚画像による診断方法に関する。
【背景技術】
【０００３】
従来、特定の対象物の分光的な特徴に基づいて、対象物の分類を行う方法としては、例えば、特許文献１に開示されている「色分類装置」において、クラスが既知の対象物の反射分光スペクトルから統計的手法を用いて、クラスが未知の前記対象物の分類を行う方法が用いられている。しかし、このような方法では、注目する分光的な特徴以外の成分に空間的なムラや個人差があった場合に、その影響を除去しきれないという問題が生じてしまう。
【０００４】
また、皮膚の分光的な特徴に基づいて、特定部分の可視化や領域抽出を行う従来技術としては、例えば、ランバートベアの法則によって分光反射率から吸収色素濃度を求めて画像化する方法（特許文献２参照）や、２つの異なる波長の光で撮影した画像の差分を計算することによって特定部分の可視化を行う方法（特許文献３参照）等がある。
【０００５】
しかし、特許文献２に開示されている「診断システム］において、ランバートベアの法則を用いるためには、分光反射率の絶対値を計測しなければならないことや波長毎の光路長が既知でなければならないことなどの制約があり、適用対象が限られており、且つ、撮影装置が複雑になるといった問題点があった。
【０００６】
また、特許文献３に開示されている「画像診断装置」において、２つの異なる波長の光で撮影した画像の差分を計算することによって特定部分の可視化を行う方法では、注目する分光的な特徴以外の成分に空間的なムラや個人差があった場合に、その影響を除去しきれないという問題が生じてしまう。
【０００７】
また、非特許文献１において、マルチスペクトル画像を用いて、下地の色の分布をそのままに特徴の張る波長成分のみを強調したカラー画像を作成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３４６９６１９号
【特許文献２】特許第３４１７２３５号
【特許文献３】特開２００２−２７２７４４号公報
【非特許文献】
【０００９】
【非特許文献１】エム.ミツイ（M.Mitsui）・ワイ.ムラカミ（Y.Murakami）・ティー.オビ（T.Obi）・エム.ヤマグチ（M.Yamaguchi）・エヌ.オオヤマ（N.Ohyama）共著,『カラー エンハンスメント イン マルチスペクトル イメージ オフ ヒューマン スキン“Color enhancement in multispectral image of human skin”』,プロク. オフ ＳＰＩＥ（Proc. Of SPIE）,第4959巻,p.83-88,2003年
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、マルチスペクトル画像は、３チャネルのカラー画像と比べて、波長方向に多数の情報をもち、被写体のスペクトルの特徴をより細かく表すことができる。このマルチスペクトル画像から、スペクトルの特徴がある特定の領域を抽出したり、そのスペクトル特徴により画像を分類したりすることで、解析を行うことがよく行われている。
【００１１】
このような目的では、特定の波長成分の画像を用いる画像があるが、下地の色の影響を受けやすく、注目するスペクトルの特徴のみを抽出することができないといった問題が生じてしまう。
【００１２】
この問題を解決するために、つまり、下地の色の影響を取り除く方法として、マルチスペクトル画像の異なる波長帯域の画像間の差分や比率を用いる方法が用いられている。要するに、これは、注目するスペクトルの特徴と下地の色が含まれる波長成分と、下地の色が含まれる波長成分の二つの波長を選び、その二つの波長成分間で差を計算することなどによって、注目する特徴を抽出するものである。
【００１３】
例えば、注目するスペクトルの特徴をｖ(λ)、その特徴成分の量をａ、下地の色のスペクトルをｕ(λ)、下地の色の成分の量をｂとするときに、ある波長λでのスペクトルは、下記数１で表される。
【００１４】
【数１】
波長λ０に注目する特徴が含まれており、波長λ１に下地の色の成分のみが含まれているときに、下記数２、数３が得られる。
【００１５】
【数２】
【００１６】
【数３】
数２と数３の差分を計算すると、下記数４が得られる。
【００１７】
【数４】
ｕ(λ０)−ｕ(λ１)が一定であるとすれば、Δｇは注目する特徴成分の量に比例するので、下地の影響を取り除くことが可能である。しかし、実際には数２、数３が成立するような波長を常に選択できるとは限らない。
【００１８】
また、数１では、下地の色がｕ(λ)という一つの関数で表されるとしているが、下地の色のばらつきが複数の関数の組み合わせで表されるときには、上述の方法で下地の色をキャンセルすることができないといった問題が生じてしまう。
【００１９】
つまり、マルチスペクトル画像の異なる波長帯域の画像間で差分や比を算出することによって領域抽出などを行うような従来技術では、下地の色にばらつきがある場合に、差分や比の値にばらつきが生じてしまい、安定して領域抽出を行うことが困難になるという問題が生じてしまう。
【００２０】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、皮膚を被写体として撮影して得られたマルチスペクトル皮膚画像を用いて、乾癬やざ瘡（にきび）などの各種皮膚疾患の状態を定量化して表示することによって、皮膚科医による診断を支援し、かつ、正常皮膚の色が個々人または日焼けなどの状態によって異なっていても病変の特徴のみを抽出できるようにしたマルチスペクトル皮膚画像による診断方法を提供することにある。
【課題を解決するための手段】
【００２１】
本発明は、皮膚を被写体として撮影して得られたマルチスペクトル皮膚画像を用いて、画像解析によって、病変の特徴を抽出し、皮膚疾患の状態を定量化できるようにしたマルチスペクトル皮膚画像による診断方法に関し、本発明の上記目的は、異なる波長帯域に感度を持つ多チャネルの画像撮影装置を用いて、皮膚の病変部を撮影する第１のステップと、第１のステップで撮影されたマルチスペクトル皮膚画像、または、別途撮影した皮膚の正常部を含むマルチスペクトル皮膚画像の一部または全体の領域で、主成分分析を行う第２のステップ、第２のステップで得られた主成分ベクトルのうち、指定した数の主成分ベクトルの和として再構成されたマルチスペクトル皮膚画像と、第１のステップで皮膚の病変部を撮影して得られた前記マルチスペクトル皮膚画像との差分を計算することによって、差分マルチスペクトル皮膚画像を得る第３のステップと、第３のステップで得られた前記差分マルチスペクトル皮膚画像のうち、前記皮膚疾患の種類によって指定された一つまたは複数のチャネルの画像を選択する第４のステップと、第４のステップで選択された画像に対して、画像処理を行うことで、１以上のカテゴリに属する病変部を抽出し、抽出された病変部の面積、個数または形状を基に前記皮膚疾患の状態の数値化または画像化を行う第５のステップとを有することによって効果的に達成される。
【００２２】
また、本発明は、診断対象である皮膚を被写体として撮影して得られたマルチスペクトル皮膚画像を用いて、画像解析によって、前記皮膚の病変の特徴を抽出し、診断しようとする皮膚疾患の状態を定量化できるようにしたマルチスペクトル皮膚画像による診断方法に関し、本発明の上記目的は、前記皮膚疾患の種類に応じて、一つまたは複数の波長を指定するステップＤ１と、前記皮膚の正常部の特徴を表す部分空間の次元数Ｍを指定するステップＤ２と、ステップＤ１で指定された一つまたは複数の波長を含む波長帯域に分光感度を持つチャネルと、前記皮膚の正常部を表すＭ次元部分空間への投影値を求めるために必要な所定の種類の異なる分光感度のチャネルとを持つ撮像装置で、前記皮膚を撮影するステップＤ３と、ステップＤ３で撮影して得られたマルチスペクトル皮膚画像を、別途に記憶された前記皮膚の正常部の分光的特徴を表すＭ次元の基底関数の張る部分空間に投影して得られる、Ｍ次元部分空間成分皮膚画像のうち、前記指定された一つまたは複数の波長に該当する波長成分の画像を求めて、Ｍ次元部分空間上での特定波長成分皮膚画像とするステップＤ４と、ステップＤ３で撮影して得られた前記マルチスペクトル皮膚画像から、前記指定された一つまたは複数の波長に対応する波長成分の特定波長皮膚画像を抽出するステップＤ５と、ステップＤ４で得られた前記Ｍ次元部分空間上での特定波長成分皮膚画像と、ステップＤ５で抽出された前記特定波長皮膚画像とについて、前記指定された一つまたは複数の波長に対応する波長成分ごとに差分を計算することによって、指定された波長に対応する差分特定波長皮膚画像を抽出するステップＤ６と、ステップＤ６で抽出された指定された波長に対応する一つまたは複数のチャネルの前記差分特定波長皮膚画像の画素値を用いて、画像中の各画素または領域を複数のクラスに分類するステップＤ７と、ステップＤ７で分類された前記クラスの特徴に基づいて、前記皮膚疾患の状態を画像中の領域ごとに数値化もしくは画像化するステップＤ８とを有することにより、或いは、前記皮膚の正常部を表すＭ次元部分空間への投影値を、ステップＤ１で指定された一つまたは複数の波長帯域の画像を含めて計算することにより、或いは、前記別途に記憶された前記皮膚の正常部の分光的特徴を表すＭ次元の基底関数を、同一患者の正常部の皮膚を撮影した画像から求めることにより、或いは、前記皮膚疾患は乾癬を含む炎症性皮膚疾患であって、前記炎症性皮膚疾患の血流量の診断を定量化し、正常皮膚成分を主成分上位２個の基底関数で表し、前記マルチスペクトル皮膚画像をその２次元の基底関数の張る部分空間に投影して、中心波長５５０ｎｍ付近の成分のみを抽出し、これを２次元部分空間上での特定波長成分皮膚画像とすることにより、或いは、前記皮膚疾患は尋常性ざ瘡（にきび）であって、前記尋常性ざ瘡（にきび）の重症度の診断を定量化し、正常皮膚成分を主成分上位２個の基底関数で表し、前記マルチスペクトル皮膚画像をその２次元の基底関数の張る部分空間に投影して、中心波長４３０ｎｍ、５８０ｎｍ、６２０ｎｍ付近の成分をそれぞれ抽出し、これを２次元部分空間上での特定波長成分皮膚画像とすることにより、或いは、前記皮膚疾患は自己免疫性皮膚疾患であって、前記自己免疫性皮膚疾患の可能性の診断を定量化し、正常皮膚成分を主成分上位２個の基底関数で表し、前記マルチスペクトル皮膚画像をその２次元の基底関数の張る部分空間に投影して、中心波長４３０ｎｍ、５８０ｎｍ、７１０ｎｍ付近の成分をそれぞれ抽出し、これを２次元部分空間上での特定波長成分皮膚画像とすることによって効果的に達成される。
【発明の効果】
【００２３】
本発明に係るマルチスペクトル皮膚画像による診断方法は、「差分マルチスペクトル皮膚画像」から選択した一つまたは複数の特定のチャネルの画像から皮膚病変の状態に関連した数値を算出する点に顕著な特徴がある。従って、本発明に係るマルチスペクトル皮膚画像による診断方法によれば、正常皮膚の色が異なっていても、安定して病態の定量化を行うことができ、皮膚疾患の状態を正確に診断することができるといった優れた効果を奏する。
【００２４】
つまり、本発明に係るマルチスペクトル皮膚画像による診断方法において、患者の皮膚の正常部の分光的特徴を差し引いた特定波長成分を用いることによって、正常部の皮膚の色の個人差や日焼けの状態などによる、正常皮膚の分光的特徴のばらつきをキャンセルすることができる。これによって、乾癬などの炎症性皮膚疾患の血流量を定量化して病変部の面積を計測すること、皮疹を分析して重症度を判定すること、皮膚疾患が自己免疫性疾患によるものか否かを数値的に判定することなどが可能になる。
【００２５】
本発明に係るマルチスペクトル皮膚画像による診断方法によれば、皮膚科診断を定量的な数値に基づいて行うこと、遠隔診断において画像のみから判断することが困難な症例に付加的な情報を提供すること、投薬などの治療効果の定量化と判定が可能になることなどの効果がある。
【図面の簡単な説明】
【００２６】
【図１】本発明に係るマルチスペクトル画像処理方法の好適な第１実施形態を説明するための流れ図である。
【図２】本発明に係るマルチスペクトル画像処理方法の好適な第２実施形態を説明するための流れ図である。
【図３】本発明に係るマルチスペクトル画像処理方法の好適な第３実施形態を説明するための流れ図である。
【図４】マルチスペクトルカメラの構成の一例を示す模式図である。
【図５】差分特定波長画像の生成に適した、広帯域画像撮影機能と狭帯域画像撮影機能とを具備する撮像システムの概念図である。
【図６】本発明に係るマルチスペクトル皮膚画像による診断方法の好適な実施形態を説明するための流れ図である。
【図７】本発明において、波長と抽出される成分との関係を示す概念図である。
【図８】本発明を適用して得られた炎症性皮膚疾患の解析結果の表示方法の一例を示す図である。
【図９】実施例２において、３次元空間でのクラス分類を示す概念図である。
【図１０】実施例２において、尋常性ざ瘡（にきび）診断結果の提示方法の例を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明を実施するための形態を図面を参照して説明する。
【００２８】
まず、本発明に係るマルチスペクトル画像処理方法について説明する。
【００２９】
本発明に係るマルチスペクトル画像処理方法とは、波長方向に特徴をもつ物体（対象物）を被写体として、複数の波長帯域の画像を撮影して得られたマルチスペクトル画像を用いて、対象物（以下、撮影対象物とも称する）のスペクトルに空間的なムラや個体差がある場合にその影響を除去した上で、分光的な特徴に基づいて撮影された対象物に含まれる特定部分（特定領域）を可視化・抽出し、または、対象物の分類を行うことを可能にしたものである。
【００３０】
要するに、本発明に係るマルチスペクトル画像処理方法は、波長方向にＮチャネルを持つマルチスペクトル画像をＭ次元（Ｍ＜Ｎ）の基底関数の張る部分空間に投影して得られる成分画像のうち、一つまたは複数の指定された波長成分の画像と、元のマルチスペクトル画像の対応する波長成分の画像とについて、対応する波長成分ごとに差分を計算し、指定された波長に対応する差分画像を得るようにし、そして、得られた一つまたは複数チャネルの差分画像の画素値を用いて、画像内の各点の属するクラスを判定することを最大な特徴としている。
【００３１】
ところで、下地の色のばらつきが複数の関数の線形的な組み合わせで表されるときに、数１は以下のようになる。
【００３２】
【数５】
本発明では、画像の全体または一部の領域で主成分分析を行い、得られた主成分ベクトルのうちで指定した数の主成分ベクトルの和で現される成分を基準画像として、撮影された画像から基準画像を差し引くことにより、数５の第２項の成分をキャンセルする。これによって、下地の色が変化しても、その影響を受けずにスペクトルの特徴だけを抽出することが可能になる。なお、基準画像は、画像の全体または一部の領域で主成分分析を行って得られた主成分ベクトルでなくてもよく、他の画像を主成分分析して得られる主成分ベクトルや主成分分析以外の方法によって得られる基底ベクトルによって構成することもできる。
【００３３】
本発明に係るマルチスペクトル画像処理方法の好適な実施形態を以下のように説明する。
【００３４】
本発明に係るマルチスペクトル画像処理方法の好適な第１実施形態は、撮影対象物の分光的な特徴に基づいて画素群を分類する画像処理方法であり、以下のステップを有することを特徴とする。
ステップＡ１：
波長方向に特徴をもつ対象物を被写体として、波長方向にＮチャネル（Ｎは２以上の整数である）を持つマルチスペクトル画像を撮影する。
ステップＡ２：
ステップＡ１で撮影して得られた対象物のマルチスペクトル画像を、Ｍ次元（Ｍ＜Ｎ、Ｍは整数である）の基底関数の張る部分空間に投影して、対象物のＭ次元部分空間成分画像を得る。
ステップＡ３：
ステップＡ１で得られた対象物のマルチスペクトル画像と、ステップＡ２で得られた対象物のＭ次元部分空間成分画像との差分を計算することにより、対象物の差分マルチスペクトル画像を得る。
ステップＡ４：
ステップＡ３で得られた対象物の差分マルチスペクトル画像のうち、指定された波長に対応する一つまたは複数のチャネルの差分画像（この「差分画像」を「差分特定波長画像」とも称する）を抽出する。
ステップＡ５：
ステップＡ４で抽出された一つまたは複数のチャネルの差分画像の画素値を用いて、画像内の各点（各画素）の属するクラスを判定し、つまり、画素群の分類を行う。
【００３５】
上記ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法では、Ｎチャネルを持つマルチスペクトル画像を、Ｍ次元（Ｍ＜Ｎ）の基底関数の張る部分空間に投影して、Ｍ次元部分空間成分画像を得るようにしているので、Ｍ次元の基底関数が撮影対象物の典型的なスペクトルの分布を表すものである場合に、Ｎチャネルを持つマルチスペクトル画像とＭ次元部分空間成分画像との差分を表す差分マルチスペクトル画像は、撮影対象物の典型的なスペクトルの分布から逸脱した成分のみを持つようになる。
【００３６】
また、上記ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法では、差分マルチスペクトル画像の特定のチャネルのみを用いて、画像内の各点（各画素）の属するクラスを判定するようにしているので、撮影対象物の典型的なスペクトルに空間的なムラや個体差があったとしても、その影響をキャンセルして、画像内の特定領域の抽出や画像内の画素群の分類などの処理を行うことができる。
【００３７】
よって、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法は、撮影対象物の典型的なスペクトルの分布から逸脱した成分のみを用いるので、撮影対象物内の異常部の検出や領域抽出などに対して、特に有効である。
【００３８】
また、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法では、ランバートベアの法則を用いる必要が無いので、絶対的な分光反射率を得る必要がない。そのため、通常のカメラのような簡便な撮像装置を用いることが可能で、撮影も容易である。また、波長毎の光路長分布が未知であっても、本発明のマルチスペクトル画像処理方法を利用することができる。
【００３９】
そして、本発明のマルチスペクトル画像処理方法において、Ｍ次元の基底関数としては、ステップＡ１で撮影して得られたＮチャネルを持つマルチスペクトル画像全体、又は、ステップＡ１で撮影して得られたＮチャネルを持つマルチスペクトル画像の一部の指定された領域のスペクトルデータを主成分分析し、そのうち主成分分析に用いた元のデータに対する寄与の大きい主成分から、Ｍ個を選んだものを用いればよい。
【００４０】
また、ステップＡ１で撮影して得られたＮチャネルを持つマルチスペクトル画像とは別のマルチスペクトル画像から、同様にして、画像全体又は画像の一部の指定された領域のスペクトルデータを主成分分析し、そのうち主成分分析に用いた元のデータに対する寄与の大きい主成分からＭ個を選んだものを用いてもよい。このとき、別のマルチスペクトル画像として、複数枚の画像を用いることもできる。このようにして、予め対象物の典型的なスペクトルの分布を限定できる場合には、前もって用意した別のマルチスペクトル画像または点計測によって取得したスペクトルデータ群からＭ次元の基底関数を作成して保存しておくこともできる。
【００４１】
また、本発明のマルチスペクトル画像処理方法では、基底関数のうちの一つを照明光の分光分布とすれば、表面反射の成分をキャンセルできるので、表面反射の影響を除去して処理することが可能である。
【００４２】
さらに、本発明のマルチスペクトル画像処理方法において、波長方向にＮチャネルを持つマルチスペクトル画像は、カメラで撮影された画像の値の対数を計算したものでも良い。このとき、基底関数のうちの一つを照明光の分光分布とすれば、照明光の成分をキャンセルできるので、異なる種類の照明光のもとで撮影された画像も同様に処理することが可能である。
【００４３】
本発明に係るマルチスペクトル画像処理方法の好適な第２実施形態は、本発明に係るマルチスペクトル画像処理方法の好適な第１実施形態と同等な処理を、Ｍ次元部分空間成分画像を得るステップ（つまり、ステップＡ２）を省略することによって、より効率的に行う画像処理方法であり、以下のステップを有することを特徴とする。
ステップＢ１：
波長方向に特徴をもつ対象物を被写体として、波長方向にＮチャネル（Ｎは２以上の整数である）を持つマルチスペクトル画像を撮影する。
ステップＢ２：
ステップＢ１で撮影して得られた対象物のマルチスペクトル画像を、Ｍ次元（Ｍ＜Ｎ、Ｍは整数である）の基底関数の張る部分空間に投影して得られる対象物のＭ次元部分空間成分画像のうち、指定された一つまたは複数の波長成分の画像を計算して、Ｍ次元部分空間上での特定波長成分画像とする。
ステップＢ３
ステップＢ１で撮影して得られた対象物のマルチスペクトル画像から、ステップＢ２で指定された一つまたは複数の波長成分に対応する波長成分の画像（この「画像」を「特定波長画像」とも称する）を抽出する。
ステップＢ４：
ステップＢ２で得られたＭ次元部分空間上での特定波長成分画像と、ステップＢ３で抽出された特定波長画像とについて、指定された波長成分に対応する波長成分ごとに差分を計算することによって、指定された波長に対応する差分画像（この「差分画像」を「差分特定波長画像」とも称する）を得る。
ステップＢ５：
ステップＢ４で得られた指定された波長に対応する差分画像（つまり、指定された波長に対応する一つまたは複数のチャネルの差分画像）の画素値を用いて、画像内の各点（各画素）の属するクラスを判定し、つまり、画素群の分類を行う。
【００４４】
前述したように、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法では、撮影されたマルチスペクトル画像をＭ次元（Ｍ＜Ｎ）の基底関数の張る部分空間に投影して、Ｍ次元部分空間成分画像を得た上で、撮影されたマルチスペクトル画像とＭ次元部分空間成分画像との差分を計算して、差分マルチスペクトル画像とするようにしている。
【００４５】
しかし、ステップＢ１〜Ｂ５を有する本発明のマルチスペクトル画像処理方法では、差分マルチスペクトル画像のうち、指定された波長成分に対応する一つまたは複数のチャネルの差分画像を得るようにしているので、Ｍ次元部分空間成分画像を求めなくても、ステップＢ１で撮影して得られた対象物のマルチスペクトル画像を、Ｍ次元（Ｍ＜Ｎ）の基底関数の張る部分空間に投影して得られる対象物のＭ次元部分空間成分画像のうち、一つまたは複数の指定された波長成分の画像のみを計算して、Ｍ次元部分空間上での特定波長成分画像とすれば、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法に比べて、より効率的に同等の計算を行うことができる。
【００４６】
上述したステップＢ１〜Ｂ５を有する本発明のマルチスペクトル画像処理方法では、撮影して得られた対象物のマルチスペクトル画像を、いったんＭ次元の基底関数の張る部分空間に投影してから差分を計算しているが、本発明はそれに限られることがなく、例えば、Ｍ次元の基底関数の張る部分空間への投影と差分は、一回の行列・ベクトル積演算によって行うことも可能である。
【００４７】
具体的には、下記数６とすると、差分特定波長成分画像
は下記数７になる。
【００４８】
【数６】
【００４９】
【数７】
ただし、
はＮ×Ｎの単位行列である。また、
は、特定波長成分数をＬとするとき、Ｌ行Ｎ列の行列で、各行の値が、特定波長に対応する列のみ１で、あとは０の値を持つ行列である。
【００５０】
そこで、下記数８のように、Ｌ×Ｎの行列
を定義すれば、
をかけるだけで、差分特定波長成分画像を得ることができる。
【００５１】
【数８】
本発明に係るマルチスペクトル画像処理方法の好適な第３実施形態は、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法と同等な結果を、改良された画像撮影装置（つまり、後述する図５に示される撮像システム）を用いることによって、さらに効率的に得る画像処理方法であり、以下のステップを有することを特徴とする。
ステップＣ１：
Ｍ種類以上の異なる分光感度のチャネルを持つ第１の撮像装置と、指定された一つまたは複数の波長に対応するチャネルの画像を撮影するための第２の撮像装置を用いて、同一の対象物を撮影する。
ステップＣ２：
第１の撮像装置で撮影して得られた対象物の画像を、Ｍ次元の基底関数の張る部分空間に投影して得られる対象物のＭ次元部分空間成分画像のうち、ステップＣ１で指定された波長に該当する一つまたは複数の波長成分の画像を計算して、Ｍ次元部分空間上での特定波長成分画像とする。
ステップＣ３：
ステップＣ２で得られたＭ次元部分空間上での特定波長成分画像と、第２の撮像装置で撮影して得られた一つまたは複数の波長成分画像とについて、それぞれ対応する波長ごとに差分を計算する。
ステップＣ４：
ステップＣ３で抽出された指定された波長に対応する一つまたは複数のチャネルの差分画像（この「差分画像」を「差分特定波長画像」とも称する）の画素値を用いて、画像内の各点（各画素）の属するクラスを判定し、つまり、画素群の分類を行う。
【００５２】
ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法は、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法と同様の効果を得ることを目的とする方法である。
【００５３】
つまり、ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法は、予めＭ次元の基底関数を別途求めておくことを前提としており、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法におけるＭ次元の基底関数の張る部分空間に投影して得られるＭ次元部分空間成分画像の代わりに、Ｍ種類以上の異なる分光感度のチャネルを持つ第１の撮像装置によって撮影された画像を用いる画像処理方法である。
【００５４】
また、Ｍ種類以上の異なる分光感度のチャネルを持つ第１の撮像装置には、狭帯域の分光感度を持つ必要が無く、例えば、Ｍが３以下のときに、ＲＧＢ３原色のセンサを持つ通常のカラーカメラを第１の撮像装置として用いることができる。
【００５５】
一方、指定された一つまたは複数の波長に対応するチャネルの画像を撮影するための第２の撮像装置としては、第１の撮像装置として用いられる撮像装置を用いることができる。要するに、例えば、第１の撮像装置として用いられたカラーカメラを、第２の撮像装置として、対象物を撮影する際に、指定された波長に該当する波長を有するＬＥＤまたはレーザ光源を点灯して照明することなどによって、指定された波長に対応するチャネルの画像を撮影することができる。
【００５６】
このため、ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法を用いれば、撮像装置をさらに簡便化することができるという効果を奏する。
【００５７】
また、上述した本発明に係るマルチスペクトル画像処理方法の三つの好適な実施形態、つまり、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法、ステップＢ１〜Ｂ５を有する本発明のマルチスペクトル画像処理方法、ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法の手順を流れ図で表すと、図１、図２、図３となる。
【００５８】
ここで、図１、図２及び図３に示された処理の流れに基づいて、本発明のマルチスペクトル画像処理方法を以下のように更に詳細に説明する。
【００５９】
本発明に使用される、マルチスペクトル画像を撮影するためのマルチスペクトルカメラシステムについて、その一例として、可視領域の波長範囲を１６チャネルで撮影する回転フィルタ方式のマルチスペクトルカメラの構成を図４に示す。
【００６０】
図４に示されたこのマルチスペクトルカメラは、４００万画素のＣＣＤを備える専用光学ユニット１０と、１６種類の異なる特性を持つ干渉フィルタ２０と、モータ３０と、モータ制御装置４０と、フィルタ・コントローラ５０と、カメラ・コントローラ６０と、コンピュータＩ／Ｆ７０と、カメラ全体を制御するコンピュータ８０と、観察用モニタ９０と、操作用モニタ１００とから構成されている。撮影された画像は、ＵＳＢインタフェースを介して、コンピュータ８０に保存される。
【００６１】
なお、本発明において、マルチスペクトル画像を撮影するためのマルチスペクトルカメラのチャネル数は、抽出対象の波長成分の画像と下地の色の分光的特徴を取得するのに十分な数だけがあればよく、１６チャネル以下の必要な数であってもよい。
【００６２】
図４に示されたマルチスペクトルカメラは、ＣＣＤの暗電流の成分を取得するために、１７チャネル目としてフィルタ部を完全に覆った画像を取得する構造になっており、１〜１６番目のチャネルの画像から、１７チャネル目から推定される暗電流レベルを差し引くことによって、暗電流の影響を取り除くようにしている。この暗電流補正は、別途測定された暗電流レベルを差し引くことによって行っても良い。
【００６３】
また、画像を撮影する際の照明光が一定の場合には、照明光の影響を補正しなくても本発明の効果を得ることはできるが、照明環境に依存せずに本発明の画像処理を行うためには、以下の方法で照明環境の補正を行うことができる。
【００６４】
まず、酸化マグネシウムなどがコーティングされた標準白色板を、マルチスペクトルカメラで撮影する。撮影された１６チャネルの画素値から各チャネルについての白色レベルを取得して、その白色レベルの値で、被写体を撮影したマルチスペクトル画像の各チャネルの画素値を除算する。なお、照明光の分光分布は、標準白色板を分光放射輝度計などで撮影したものから求めてもよい。
【００６５】
ここで、本発明のマルチスペクトル画像処理方法において、用いられる主成分分析について説明する。
【００６６】
Ｎチャネルのマルチスペクトル画像（つまり、上記の「暗電流補正」処理や「照明環境補正」処理によって補正された後のマルチスペクトル画像信号値）をＮ次元ベクトル
で表現したときに、その主成分分析を行うことで、
は下記数９のようにＮ個の主成分の和で表現することができる。ただし、
は主成分ベクトルで、αｉは係数である。
【００６７】
【数９】
本発明において、主成分分析を行う対象としては、次の３通りが考えられる。
(１) 撮影されたマルチスペクトル画像全体
(２) 撮影されたマルチスペクトル画像のうち、指定した領域
(３) 別途撮影された一枚または複数枚のマルチスペクトル画像
(１)及び(２)の場合は、撮影されたマルチスペクトル画像から主成分ベクトルを求めるので、画像ごとに下地の色を表す基底ベクトルが異なっていても対応できる。画像ごとに基底ベクトルを変える必要が無いときは、(３)のように別途撮影された一枚または複数枚のマルチスペクトル画像を用いることができる。
【００６８】
また、(１)の場合は、領域の指定が不要であるが、撮影された画像の範囲によって基底ベクトルが変化するので、安定した結果が得られない場合がある。(２)の場合は、手作業または自動的に基準とする領域を選択しなければならないが、基準とする領域は、なるべく下地の色のみが含まれている領域であることが望ましい。つまり、基準とする領域を適切に選択すれば、(２)の方法が最も良い結果をもたらす。
【００６９】
主成分分析を行った結果、固有値が大きいものから順にＭ個の主成分ベクトルを選択し、選択されたＭ個の主成分ベクトルを基底ベクトルとする。この基底ベクトルは、撮影対象物の下地の色を表すものと考えることができる。従って、次元数Ｍは、撮影対象物の下地の色を表すのに最低限必要な数を選択する。
【００７０】
上述したように、本発明のマルチスペクトル画像処理方法では、主成分分析を用いて基底ベクトルを求めているが、本発明はそれに限ることがなく、他の方法を用いて基底ベクトルを決定するようにしても良い。
【００７１】
次に、本発明のマルチスペクトル画像処理方法において、Ｍ次元部分空間成分画像算出について説明する。
【００７２】
本発明では、前述した「暗電流補正」や「照明環境補正」などの補正後のマルチスペクトル画像信号値
を、上述したように主成分分析によって求められたＭ個の基底ベクトルの張る部分空間に投影することによって、Ｍ次元部分空間成分画像を得るようにしている。これを数式で表現すると、下記数１０になる。ただし、ｔはベクトルの転置を表す。
【００７３】
【数１０】
つまり、数１０で表す処理をマルチスペクトル画像の各画素に対して適用することによって、Ｍ次元部分空間成分画像を算出することができる。
【００７４】
次に、差分マルチスペクトル画像の算出について説明する。
【００７５】
差分マルチスペクトル画像
は、前述した「暗電流補正」や「照明環境補正」などの補正後のマルチスペクトル画像信号値
と、数１０から算出されるＭ次元部分空間成分画像
との差をとることによって、下記数１１に表されるように、算出することができる。
【００７６】
【数１１】
なお、この差分マルチスペクトル画像のうち、実際に本発明の画像処理に用いるのは、指定された特定波長成分のみであるので、数１０や数１１を用いて、全ての波長成分に対して計算を行わなくても、指定された特定波長成分のみについて差分を計算すれば十分である。つまり、指定された特定波長成分のみについて差分を計算する方法が、ステップＢ１〜Ｂ５を有する本発明のマルチスペクトル画像処理方法（図２参照）である。
【００７７】
次に、特定波長成分指定について説明する。
【００７８】
本発明において、特定波長成分指定とは、数１１で得られた差分マルチスペクトル画像から、一つ又は複数の波長帯域の画像を選択することを意味する。波長帯域の選択は、注目する特徴が最もよく現れる波長帯域を用いる。例として、皮膚の発赤部の抽出を行う場合に、ヘモグロビンの吸収に特徴のある５５０ｎｍ付近の波長成分を用いることが好ましい。
【００７９】
次に、画素群の分類について説明する。
【００８０】
本発明において、画素群の分類は、指定された特定波長成分の
の値に基づいて、閾値処理などの方法によって行う。複数の波長成分を指定した場合には、複数の波長成分の値で構成される多次元空間において、多変量解析の方法などを適用することによって行う。これによって、下地の色のばらつきは、差分マルチスペクトル画像を求める際の上位主成分で表されるＭ次元部分空間成分画像に吸収されるので、下地の色のばらつきに影響されず、スペクトルの特徴だけを抽出することができるようになる。
【００８１】
実際に部分空間を構成するために用いる基底の次元数Ｍを２とし、５５０ｎｍ近辺の画像に対して、数１１を適用して得られた特定波長成分の画像に閾値処理を適用することによって、視覚的にはわずかな色の違いしか認められない発赤部分を抽出することができるようになる。このとき、Ｍ次元部分空間成分画像との差分をとらない場合には、下地の色の影響で発赤部分をうまく抽出することができない場合がある。
【００８２】
ところで、前述したように、ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法において、Ｍ種類以上の異なる分光感度のチャネルを持つ第１の撮像装置と、指定された一つまたは複数の波長に対応するチャネルの画像を撮影するための第２の撮像装置とが用いられているが、この第１の撮像装置と第２の撮像装置は、別個の撮像装置である必要性がなく、例えば、広帯域画像撮影機能と狭帯域画像撮影機能とを具備する撮像装置（撮像システム）を用いれば良い。このような広帯域撮影機能と狭帯域撮影機能とを具備する撮像装置（撮像システム）は、差分特定波長画像の生成に適している。
【００８３】
本発明に用いられる、差分特定波長画像の生成に適した撮像装置（つまり、広帯域画像撮影機能と狭帯域画像撮影機能とを具備する撮像システム）について説明する。
【００８４】
図５は、本発明に用いられる、差分特定波長画像の生成に適した撮像システムの概念図である。図５に示されるように、差分特定波長画像の生成に適した撮像システムとは、広帯域の画像を例えば、一般的な赤（Ｒ）・緑（Ｇ）・青（Ｂ）の３原色で撮影する広帯域画像撮影機能と、注目する特定波長にのみ感度を持つような狭帯域の画像を撮影する狭帯域画像撮影機能とを具備する撮像システムである。
【００８５】
このような撮像システムの好適例としては、一般的な赤（Ｒ）・緑（Ｇ）・青（Ｂ）の３原色で撮影するデジタルカメラと、例えば注目する波長で狭帯域の光を発光する発光ダイオード（ＬＥＤ）などの特殊な照明装置とから構成される。そして、デジタルカメラを用いて、通常照明下で撮影された画像（つまり、広帯域画像）と、特殊な照明装置（例えば、ＬＥＤ）の照明下で撮影された画像（つまり、狭帯域画像）とに基づいて、差分特定波長画像を生成することができる。
【００８６】
図５に示されたような撮像システムを用いて、差分特定波長画像を生成する方法の流れは図３に示されている。つまり、ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法において、図５に示された撮像システムを用いて撮影した広帯域画像と狭帯域画像とに基づいて、差分特定波長画像を生成することができる。
【００８７】
要するに、図５に示された撮像システムを用いて、そして、ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法が用いられた場合に、撮影対象物となる物体と類似した性質を持つ物体のマルチスペクトル画像または点計測によって得た分光反射率などのスペクトルに対して、主成分分析などを行って、主成分ベクトルを予め取得しておく。そして、図５に示された撮像システムで撮影された広帯域画像から、Ｍ次元部分空間成分画像、または、Ｍ次元部分空間上での注目する特定波長成分の画像を下記のように算出する。
【００８８】
つまり、広帯域のｎチャネル目の分光感度をＳｎ(λ)とし、数１のようなモデルが成立するときに、撮影されたｎチャネル目の画素値ｘｎは、下記数１２で表される。
【００８９】
【数１２】
ここで、抽出対象の特徴成分ａが小さいとき、または、Ｓｎ(λ)とｖ(λ)とがスペクトル空間上でほぼ直交しているときに、数１２の第１項を無視することができる。
【００９０】
また、ｕｋ(λ)は、波長空間上での主成分ベクトルと考えて差し支えない。このとき、数１２は下記数１３で表されるように、行列・ベクトル積の形で書き直すことができる。
【００９１】
【数１３】
下地の色の分布を表す基底関数の次元数Ｋが、広帯域画像のチャネル数Ｊよりも小さければ、行列
の擬似逆行列Ｔ＋を用いて、
すなわちｂｋを推定することができる。また、ｕｋ(λ)が波長空間上での主成分ベクトルであれば、特定波長λ０での部分空間成分画像は、下記数１４に基づいて求めることができる。
【００９２】
【数１４】
仮に、図５に示された撮像システムの狭帯域撮影機能によって得られる画像をｇｂ(λ０)というように単一波長での値で表したとすると、波長λ０での差分特定波長画像Δｇ(λ０)は、下記数１５に基づいて求めることができる。
【００９３】
【数１５】
実際の図５に示された撮像システムの狭帯域撮影機能では、分光感度に幅を持つので、それを考慮に入れるには、数１４を下記数１６に置き換えればよい。ここで、Ｓｂ(λ)はλ０に中心波長を持つ狭帯域チャネルの分光感度である。
【００９４】
【数１６】
次に、本発明に係るマルチスペクトル皮膚画像による診断方法について説明する。
【００９５】
本発明に係るマルチスペクトル皮膚画像による診断方法とは、皮膚を被写体として撮影して得られたマルチスペクトル皮膚画像に基づいて、皮膚疾患の状態を定量化して表示することによって、皮膚科医による診断を支援する診断方法であって、より詳細に、異なる波長帯域に感度を持つマルチスペクトル画像撮影装置を用いて、皮膚の病変部を撮影して得られたマルチスペクトル皮膚画像、または、別途撮影した皮膚の正常部を含むマルチスペクトル皮膚画像の一部または全体の領域で主成分分析を行い、得られた主成分ベクトルのうち、指定した数の主成分ベクトルの和として再構成されたマルチスペクトル皮膚画像と、皮膚の病変部を撮影して得られたマルチスペクトル皮膚画像との差分を計算し、皮膚疾患の種類によって選択された一つまたは複数のチャネルの差分画像を用いて、皮膚の病変部（以下、病変領域とも称する）の抽出や、抽出された病変領域の面積、個数または形状などの算出を行うことを可能にしたものである。
【００９６】
要するに、本発明に係るマルチスペクトル皮膚画像による診断方法では、異なる波長帯域に感度を持つ多チャネルの画像撮影装置を用いて、皮膚の病変部を撮影し、撮影されたマルチスペクトル皮膚画像、または、別途撮影した皮膚の正常部を含むマルチスペクトル皮膚画像の一部または全体の領域で主成分分析を行い、得られた主成分ベクトルのうち、指定した数の主成分ベクトルの和として再構成されたマルチスペクトル皮膚画像と、皮膚の病変部を撮影して得られたマルチスペクトル皮膚画像との差分を計算することによって、「差分マルチスペクトル皮膚画像」が得られ、そして、得られた「差分マルチスペクトル皮膚画像」のうち、皮膚疾患の種類によって指定された一つまたは複数のチャネルの画像を選択し、選択された画像に対して処理を行うことで、一つまたは複数のカテゴリに属する病変部を抽出し、さらに抽出された病変領域の面積、個数または形状などを基に病態（皮膚疾患の状態）の数値化または画像化を行うことによって、皮膚疾患を診断することを最大な特徴としている。
【００９７】
本発明に係るマルチスペクトル皮膚画像による診断方法の好適な実施形態を以下のように説明する。
【００９８】
本発明に係るマルチスペクトル皮膚画像による診断方法の好適な実施形態は、「差分マルチスペクトル皮膚画像」に基づいて、皮膚疾患の状態を分析・診断する皮膚画像による診断方法であり、以下のステップを有することを特徴とする。
ステップＤ１：
診断しようとする皮膚疾患の種類（つまり、皮膚疾患の病名）に応じて、一つまたは複数の波長を指定する。
ステップＤ２：
診断対象である皮膚の正常部の特徴を表す部分空間の次元数Ｍを指定する。
ステップＤ３：
ステップＤ１で指定された一つまたは複数の波長を含む波長帯域に分光感度を持つチャネルと、皮膚の正常部を表すＭ次元部分空間への投影値を求めるために必要な所定の種類の異なる分光感度のチャネルとを持つ撮像装置で、診断対象である皮膚を撮影する。
【００９９】
なお、皮膚の正常部を表すＭ次元部分空間への投影値は、ステップＤ１で指定された一つまたは複数の波長帯域の画像を含めて計算しても良い。
ステップＤ４：
ステップＤ３で撮影して得られたマルチスペクトル皮膚画像を、別途に記憶された皮膚の正常部の分光的特徴を表すＭ次元の基底関数の張る部分空間に投影して得られる、Ｍ次元部分空間成分皮膚画像のうち、ステップＤ１で指定された一つまたは複数の波長に該当する波長成分の画像を求めて、Ｍ次元部分空間上での特定波長成分皮膚画像とする。
【０１００】
なお、別途に記憶された皮膚の正常部の分光的特徴を表すＭ次元の基底関数は、同一患者の正常部の皮膚を撮影した画像から求めてもよい。
ステップＤ５：
ステップＤ３で撮影して得られたマルチスペクトル皮膚画像から、ステップＤ１で指定された一つまたは複数の波長に対応する波長成分の特定波長皮膚画像を抽出する。
ステップＤ６：
ステップＤ４で得られたＭ次元部分空間上での特定波長成分皮膚画像と、ステップＤ５で抽出された特定波長皮膚画像とについて、ステップＤ１で指定された一つまたは複数の波長に対応する波長成分ごとに差分を計算することによって、指定された波長に対応する差分特定波長皮膚画像を抽出する。
ステップＤ７：
ステップＤ６で抽出された指定された波長に対応する一つまたは複数のチャネルの差分特定波長皮膚画像の画素値を用いて、画像中の各画素または領域を複数のクラスに分類する。
ステップＤ８：
ステップＤ７で分類されたクラスの特徴に基づいて、皮膚疾患の状態を画像中の領域ごとに数値化もしくは画像化する。
【０１０１】
上述した本発明に係るマルチスペクトル皮膚画像による診断方法の好適な実施形態、つまり、ステップＤ１〜Ｄ８を有する本発明のマルチスペクトル皮膚画像による診断方法の手順を流れ図で表すと、図６となる。
【０１０２】
次に、上述したステップＤ１〜Ｄ８を有する本発明のマルチスペクトル皮膚画像による診断方法を実際に具体的な皮膚疾患に適用した実施例について説明する。
【０１０３】
実施例１としては、本発明のマルチスペクトル皮膚画像による診断方法を「乾癬などの炎症性皮膚疾患の血流量の診断」に適用した例である。
【０１０４】
なお、本実施例では、Ｎチャネルのマルチスペクトルカメラで、診断対象である皮膚を撮影することを前提としているが、他の方法で撮影する撮像装置を用いてもかまわない。
【０１０５】
本発明において、波長と抽出される成分との関係を示す概念図を図７に示す。図７に示されるように、皮膚の主な吸収体はヘモグロビンとメラニンであるが、光散乱に波長依存性があるため、短い波長にはごく表層近くの特徴が反映され、長い波長では真皮よりも深い部分の吸収体の特徴が反映されやすい。
【０１０６】
慢性の炎症性皮膚疾患の病態と血管新生とは密接な関係があり、表層近くの毛細血管の状態が病勢の指標となる場合がある。本発明のマルチスペクトル皮膚画像による診断方法を「炎症性皮膚疾患の血流量の診断」に適用した実施例１の場合には、表層近くの毛細血管の血液成分と相関の高い５５０ｎｍ付近を中心波長として指定する。
【０１０７】
一方、後述する、本発明のマルチスペクトル皮膚画像による診断方法を「尋常性ざ瘡（にきび）の重症度の診断」に適用した実施例２の場合には、そのほかに表層近くのメラニンに感度のある波長帯域（４３０ｎｍ付近）や少し深い部位での血液の吸収に感度のある波長帯域（６２０ｎｍ）を用いる。
【０１０８】
そして、本発明のマルチスペクトル皮膚画像による診断方法を「自己免疫性皮膚疾患の可能性の診断」に適用した実施例３の場合には、実施例２に用いられる６２０ｎｍの帯域よりも、さらに深い部分の血液量に感度のある波長帯域として７１０ｎｍ付近を用いる。
【０１０９】
もちろん、本発明では、可視領域だけでなく近赤外の波長帯域を用いることも可能である。
【０１１０】
本発明のマルチスペクトル皮膚画像による診断方法では、診断対象である皮膚（つまり、診断対象部分）のマルチスペクトル皮膚画像と、正常皮膚（つまり、正常部分）のマルチスペクトル皮膚画像とを撮影し、正常部分のマルチスペクトル皮膚画像からＭ個の主成分ベクトルを求めるようにしている。
【０１１１】
なお、この正常部分のマルチスペクトル皮膚画像は、診断対象部分のマルチスペクトル皮膚画像の中に含まれる一部の領域が正常皮膚と判断された場合に、正常皮膚と判断されたその一部の領域を用いることも可能である。
【０１１２】
そして、正常皮膚成分を主成分上位Ｍ個、例えば２個の基底関数で表し、診断対象である皮膚を撮影して得られたマルチスペクトル皮膚画像を、その２次元の基底関数の張る部分空間に投影して中心波長５５０ｎｍ付近の成分のみを抽出し、これをＭ次元部分空間上での特定波長成分皮膚画像とする。
【０１１３】
次に、診断対象である皮膚を撮影して得られたマルチスペクトル画像から、中心波長５５０ｎｍ付近の成分を抽出し、これを特定波長皮膚画像とする。
【０１１４】
そして、特定波長皮膚画像と、Ｍ次元部分空間上での特定波長成分皮膚画像との差分画像（つまり、差分特定波長皮膚画像）を求める。求められた差分画像の画素値に対して、閾値処理をすることにより、クラス分類を行う。これによって、毛細血管の血液量が増加している部分の抽出を行うことができる。
【０１１５】
皮膚疾患の状態を数値化、表示する方法の一例を図８に示す。図８に示されるように、この例では、画像中の小領域ごとに閾値を越えた画素の密度を計算し、その密度に応じて異なる色を割り当てた画像を作成して表示する。また、閾値を越えた画素の密度が特定の範囲の値をとる領域の面積を算出して数値化もしくはグラフ化して表示する。
【０１１６】
さらに、本発明のマルチスペクトル皮膚画像による診断方法を、同一対象症例について異なる時期に撮影された複数枚の画像に対して適用すれば、定量化した血液量分布の変化を比較することが可能になり、病状の進行度や治療効果を判定することができる。
【０１１７】
次に、本発明のマルチスペクトル皮膚画像による診断方法を「尋常性ざ瘡（にきび）の重症度の診断」に適用した実施例２について説明する。
【０１１８】
本発明のマルチスペクトル皮膚画像による診断方法を尋常性ざ瘡（にきび）の診断へ適用する場合には、つまり、実施例２の場合には、４３０ｎｍ、５８０ｎｍ、６２０ｎｍといった３つの波長を中心波長として指定する。
【０１１９】
正常皮膚成分を主成分上位Ｍ個、例えば２個の基底関数で表し、診断対象である皮膚を撮影して得られたマルチスペクトル皮膚画像を、その２次元の基底関数の張る部分空間に投影して中心波長４３０ｎｍ、５８０ｎｍ、６２０ｎｍ付近の成分をそれぞれ抽出し、これをＭ次元部分空間上での特定波長成分皮膚画像とする。
【０１２０】
そして、診断対象である皮膚を撮影して得られたマルチスペクトル皮膚画像から、４３０ｎｍ、５８０ｎｍ、６２０ｎｍに対応する中心波長付近の成分を抽出し、各波長成分について差分画像を求める。
【０１２１】
このようにして、得られた３種類の差分画像の画素値を、図９に示すように、３次元空間で複数のクラスに分類し、分類結果を画像化する。
【０１２２】
つまり、画像中の小領域ごとに、分類された画素の数をクラスごとに計算し、その数に応じてにきびの領域を抽出する。また、にきびの領域ごとに分類された画素の数を算出し、その結果から皮疹の状態（炎症状態、化膿した状態、色素沈着など）を分析し、にきびの重症度を判定する。
【０１２３】
その解析結果は、図１０に示されるように、判定されたにきびの領域、進行度、重症度ごとに、面積または皮疹の数を算出して数値化もしくはグラフ化して表示する。
【０１２４】
次に、本発明のマルチスペクトル皮膚画像による診断方法を「自己免疫性皮膚疾患の可能性の診断」に適用した実施例３について説明する。
【０１２５】
膠原病を代表とする自己免疫性皮膚疾患の皮疹は、専門医も時に誤診する微妙な皮膚変化を伴うものが多い。
【０１２６】
本発明のマルチスペクトル皮膚画像による診断方法を膠原病（例えば皮膚筋炎）などの自己免疫性皮膚疾患の可能性の診断へ適用する場合には、つまり、実施例３の場合には、例えば、４３０ｎｍ、５８０ｎｍ、７１０ｎｍといった３つの波長を中心波長として指定する。
【０１２７】
正常皮膚成分を主成分上位Ｍ個、例えば２個の基底関数で表し、診断対象である皮膚を撮影して得られたマルチスペクトル皮膚画像を、その２次元の基底関数の張る部分空間に投影して中心波長４３０ｎｍ、５８０ｎｍ、７１０ｎｍ付近の成分をそれぞれ抽出し、これをＭ次元部分空間上での特定波長成分皮膚画像とする。
【０１２８】
そして、診断対象である皮膚を撮影して得られたマルチスペクトル皮膚画像から、４３０ｎｍ、５８０ｎｍ、７１０ｎｍに対応する中心波長付近の成分を抽出し、各波長成分について差分画像を求める。
【０１２９】
このようにして、得られた３種類の差分画像から、病変部の画素値を抽出する。抽出された病変部の画素値の分布と、別途保存された参照データを比較し、比較結果に基づいて自己免疫性皮膚疾患に特有な特徴がどの程度含まれているか、または、炎症性皮膚疾患に特有な特徴がどの程度含まれているか、を数値化、グラフ化、もしくは画像化して表示する。
【０１３０】
なお、上述した本発明に係るマルチスペクトル画像処理方法を皮膚科医の診断に適用した場合、つまり、本発明のマルチスペクトル皮膚画像による診断方法を例として説明したが、本発明はそれに限られることがなく、例えば、撮影対象物を鮮魚或いは果物として、鮮魚或いは果物の痛み具合のチェックにも適用することができる。
【技術分野】
【０００１】
本発明は、マルチスペクトル画像処理方法に関し、特に、波長方向に特徴をもつ物体（対象物）を被写体として撮影して得られたマルチスペクトル画像に基づいて、対象物の分類や領域の抽出などの処理を行うマルチスペクトル画像処理方法に関する。
【０００２】
また、本発明は、マルチスペクトル皮膚画像による診断方法に関し、特に、皮膚を被写体として撮影して得られたマルチスペクトル画像（以下、単にマルチスペクトル皮膚画像と称する）を用いて、乾癬やざ瘡（にきび）などの各種皮膚疾患の状態を定量化して表示することによって、皮膚科医による診断を支援するマルチスペクトル皮膚画像による診断方法に関する。
【背景技術】
【０００３】
従来、特定の対象物の分光的な特徴に基づいて、対象物の分類を行う方法としては、例えば、特許文献１に開示されている「色分類装置」において、クラスが既知の対象物の反射分光スペクトルから統計的手法を用いて、クラスが未知の前記対象物の分類を行う方法が用いられている。しかし、このような方法では、注目する分光的な特徴以外の成分に空間的なムラや個人差があった場合に、その影響を除去しきれないという問題が生じてしまう。
【０００４】
また、皮膚の分光的な特徴に基づいて、特定部分の可視化や領域抽出を行う従来技術としては、例えば、ランバートベアの法則によって分光反射率から吸収色素濃度を求めて画像化する方法（特許文献２参照）や、２つの異なる波長の光で撮影した画像の差分を計算することによって特定部分の可視化を行う方法（特許文献３参照）等がある。
【０００５】
しかし、特許文献２に開示されている「診断システム］において、ランバートベアの法則を用いるためには、分光反射率の絶対値を計測しなければならないことや波長毎の光路長が既知でなければならないことなどの制約があり、適用対象が限られており、且つ、撮影装置が複雑になるといった問題点があった。
【０００６】
また、特許文献３に開示されている「画像診断装置」において、２つの異なる波長の光で撮影した画像の差分を計算することによって特定部分の可視化を行う方法では、注目する分光的な特徴以外の成分に空間的なムラや個人差があった場合に、その影響を除去しきれないという問題が生じてしまう。
【０００７】
また、非特許文献１において、マルチスペクトル画像を用いて、下地の色の分布をそのままに特徴の張る波長成分のみを強調したカラー画像を作成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３４６９６１９号
【特許文献２】特許第３４１７２３５号
【特許文献３】特開２００２−２７２７４４号公報
【非特許文献】
【０００９】
【非特許文献１】エム.ミツイ（M.Mitsui）・ワイ.ムラカミ（Y.Murakami）・ティー.オビ（T.Obi）・エム.ヤマグチ（M.Yamaguchi）・エヌ.オオヤマ（N.Ohyama）共著,『カラー エンハンスメント イン マルチスペクトル イメージ オフ ヒューマン スキン“Color enhancement in multispectral image of human skin”』,プロク. オフ ＳＰＩＥ（Proc. Of SPIE）,第4959巻,p.83-88,2003年
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、マルチスペクトル画像は、３チャネルのカラー画像と比べて、波長方向に多数の情報をもち、被写体のスペクトルの特徴をより細かく表すことができる。このマルチスペクトル画像から、スペクトルの特徴がある特定の領域を抽出したり、そのスペクトル特徴により画像を分類したりすることで、解析を行うことがよく行われている。
【００１１】
このような目的では、特定の波長成分の画像を用いる画像があるが、下地の色の影響を受けやすく、注目するスペクトルの特徴のみを抽出することができないといった問題が生じてしまう。
【００１２】
この問題を解決するために、つまり、下地の色の影響を取り除く方法として、マルチスペクトル画像の異なる波長帯域の画像間の差分や比率を用いる方法が用いられている。要するに、これは、注目するスペクトルの特徴と下地の色が含まれる波長成分と、下地の色が含まれる波長成分の二つの波長を選び、その二つの波長成分間で差を計算することなどによって、注目する特徴を抽出するものである。
【００１３】
例えば、注目するスペクトルの特徴をｖ(λ)、その特徴成分の量をａ、下地の色のスペクトルをｕ(λ)、下地の色の成分の量をｂとするときに、ある波長λでのスペクトルは、下記数１で表される。
【００１４】
【数１】
波長λ０に注目する特徴が含まれており、波長λ１に下地の色の成分のみが含まれているときに、下記数２、数３が得られる。
【００１５】
【数２】
【００１６】
【数３】
数２と数３の差分を計算すると、下記数４が得られる。
【００１７】
【数４】
ｕ(λ０)−ｕ(λ１)が一定であるとすれば、Δｇは注目する特徴成分の量に比例するので、下地の影響を取り除くことが可能である。しかし、実際には数２、数３が成立するような波長を常に選択できるとは限らない。
【００１８】
また、数１では、下地の色がｕ(λ)という一つの関数で表されるとしているが、下地の色のばらつきが複数の関数の組み合わせで表されるときには、上述の方法で下地の色をキャンセルすることができないといった問題が生じてしまう。
【００１９】
つまり、マルチスペクトル画像の異なる波長帯域の画像間で差分や比を算出することによって領域抽出などを行うような従来技術では、下地の色にばらつきがある場合に、差分や比の値にばらつきが生じてしまい、安定して領域抽出を行うことが困難になるという問題が生じてしまう。
【００２０】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、皮膚を被写体として撮影して得られたマルチスペクトル皮膚画像を用いて、乾癬やざ瘡（にきび）などの各種皮膚疾患の状態を定量化して表示することによって、皮膚科医による診断を支援し、かつ、正常皮膚の色が個々人または日焼けなどの状態によって異なっていても病変の特徴のみを抽出できるようにしたマルチスペクトル皮膚画像による診断方法を提供することにある。
【課題を解決するための手段】
【００２１】
本発明は、皮膚を被写体として撮影して得られたマルチスペクトル皮膚画像を用いて、画像解析によって、病変の特徴を抽出し、皮膚疾患の状態を定量化できるようにしたマルチスペクトル皮膚画像による診断方法に関し、本発明の上記目的は、異なる波長帯域に感度を持つ多チャネルの画像撮影装置を用いて、皮膚の病変部を撮影する第１のステップと、第１のステップで撮影されたマルチスペクトル皮膚画像、または、別途撮影した皮膚の正常部を含むマルチスペクトル皮膚画像の一部または全体の領域で、主成分分析を行う第２のステップ、第２のステップで得られた主成分ベクトルのうち、指定した数の主成分ベクトルの和として再構成されたマルチスペクトル皮膚画像と、第１のステップで皮膚の病変部を撮影して得られた前記マルチスペクトル皮膚画像との差分を計算することによって、差分マルチスペクトル皮膚画像を得る第３のステップと、第３のステップで得られた前記差分マルチスペクトル皮膚画像のうち、前記皮膚疾患の種類によって指定された一つまたは複数のチャネルの画像を選択する第４のステップと、第４のステップで選択された画像に対して、画像処理を行うことで、１以上のカテゴリに属する病変部を抽出し、抽出された病変部の面積、個数または形状を基に前記皮膚疾患の状態の数値化または画像化を行う第５のステップとを有することによって効果的に達成される。
【００２２】
また、本発明は、診断対象である皮膚を被写体として撮影して得られたマルチスペクトル皮膚画像を用いて、画像解析によって、前記皮膚の病変の特徴を抽出し、診断しようとする皮膚疾患の状態を定量化できるようにしたマルチスペクトル皮膚画像による診断方法に関し、本発明の上記目的は、前記皮膚疾患の種類に応じて、一つまたは複数の波長を指定するステップＤ１と、前記皮膚の正常部の特徴を表す部分空間の次元数Ｍを指定するステップＤ２と、ステップＤ１で指定された一つまたは複数の波長を含む波長帯域に分光感度を持つチャネルと、前記皮膚の正常部を表すＭ次元部分空間への投影値を求めるために必要な所定の種類の異なる分光感度のチャネルとを持つ撮像装置で、前記皮膚を撮影するステップＤ３と、ステップＤ３で撮影して得られたマルチスペクトル皮膚画像を、別途に記憶された前記皮膚の正常部の分光的特徴を表すＭ次元の基底関数の張る部分空間に投影して得られる、Ｍ次元部分空間成分皮膚画像のうち、前記指定された一つまたは複数の波長に該当する波長成分の画像を求めて、Ｍ次元部分空間上での特定波長成分皮膚画像とするステップＤ４と、ステップＤ３で撮影して得られた前記マルチスペクトル皮膚画像から、前記指定された一つまたは複数の波長に対応する波長成分の特定波長皮膚画像を抽出するステップＤ５と、ステップＤ４で得られた前記Ｍ次元部分空間上での特定波長成分皮膚画像と、ステップＤ５で抽出された前記特定波長皮膚画像とについて、前記指定された一つまたは複数の波長に対応する波長成分ごとに差分を計算することによって、指定された波長に対応する差分特定波長皮膚画像を抽出するステップＤ６と、ステップＤ６で抽出された指定された波長に対応する一つまたは複数のチャネルの前記差分特定波長皮膚画像の画素値を用いて、画像中の各画素または領域を複数のクラスに分類するステップＤ７と、ステップＤ７で分類された前記クラスの特徴に基づいて、前記皮膚疾患の状態を画像中の領域ごとに数値化もしくは画像化するステップＤ８とを有することにより、或いは、前記皮膚の正常部を表すＭ次元部分空間への投影値を、ステップＤ１で指定された一つまたは複数の波長帯域の画像を含めて計算することにより、或いは、前記別途に記憶された前記皮膚の正常部の分光的特徴を表すＭ次元の基底関数を、同一患者の正常部の皮膚を撮影した画像から求めることにより、或いは、前記皮膚疾患は乾癬を含む炎症性皮膚疾患であって、前記炎症性皮膚疾患の血流量の診断を定量化し、正常皮膚成分を主成分上位２個の基底関数で表し、前記マルチスペクトル皮膚画像をその２次元の基底関数の張る部分空間に投影して、中心波長５５０ｎｍ付近の成分のみを抽出し、これを２次元部分空間上での特定波長成分皮膚画像とすることにより、或いは、前記皮膚疾患は尋常性ざ瘡（にきび）であって、前記尋常性ざ瘡（にきび）の重症度の診断を定量化し、正常皮膚成分を主成分上位２個の基底関数で表し、前記マルチスペクトル皮膚画像をその２次元の基底関数の張る部分空間に投影して、中心波長４３０ｎｍ、５８０ｎｍ、６２０ｎｍ付近の成分をそれぞれ抽出し、これを２次元部分空間上での特定波長成分皮膚画像とすることにより、或いは、前記皮膚疾患は自己免疫性皮膚疾患であって、前記自己免疫性皮膚疾患の可能性の診断を定量化し、正常皮膚成分を主成分上位２個の基底関数で表し、前記マルチスペクトル皮膚画像をその２次元の基底関数の張る部分空間に投影して、中心波長４３０ｎｍ、５８０ｎｍ、７１０ｎｍ付近の成分をそれぞれ抽出し、これを２次元部分空間上での特定波長成分皮膚画像とすることによって効果的に達成される。
【発明の効果】
【００２３】
本発明に係るマルチスペクトル皮膚画像による診断方法は、「差分マルチスペクトル皮膚画像」から選択した一つまたは複数の特定のチャネルの画像から皮膚病変の状態に関連した数値を算出する点に顕著な特徴がある。従って、本発明に係るマルチスペクトル皮膚画像による診断方法によれば、正常皮膚の色が異なっていても、安定して病態の定量化を行うことができ、皮膚疾患の状態を正確に診断することができるといった優れた効果を奏する。
【００２４】
つまり、本発明に係るマルチスペクトル皮膚画像による診断方法において、患者の皮膚の正常部の分光的特徴を差し引いた特定波長成分を用いることによって、正常部の皮膚の色の個人差や日焼けの状態などによる、正常皮膚の分光的特徴のばらつきをキャンセルすることができる。これによって、乾癬などの炎症性皮膚疾患の血流量を定量化して病変部の面積を計測すること、皮疹を分析して重症度を判定すること、皮膚疾患が自己免疫性疾患によるものか否かを数値的に判定することなどが可能になる。
【００２５】
本発明に係るマルチスペクトル皮膚画像による診断方法によれば、皮膚科診断を定量的な数値に基づいて行うこと、遠隔診断において画像のみから判断することが困難な症例に付加的な情報を提供すること、投薬などの治療効果の定量化と判定が可能になることなどの効果がある。
【図面の簡単な説明】
【００２６】
【図１】本発明に係るマルチスペクトル画像処理方法の好適な第１実施形態を説明するための流れ図である。
【図２】本発明に係るマルチスペクトル画像処理方法の好適な第２実施形態を説明するための流れ図である。
【図３】本発明に係るマルチスペクトル画像処理方法の好適な第３実施形態を説明するための流れ図である。
【図４】マルチスペクトルカメラの構成の一例を示す模式図である。
【図５】差分特定波長画像の生成に適した、広帯域画像撮影機能と狭帯域画像撮影機能とを具備する撮像システムの概念図である。
【図６】本発明に係るマルチスペクトル皮膚画像による診断方法の好適な実施形態を説明するための流れ図である。
【図７】本発明において、波長と抽出される成分との関係を示す概念図である。
【図８】本発明を適用して得られた炎症性皮膚疾患の解析結果の表示方法の一例を示す図である。
【図９】実施例２において、３次元空間でのクラス分類を示す概念図である。
【図１０】実施例２において、尋常性ざ瘡（にきび）診断結果の提示方法の例を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明を実施するための形態を図面を参照して説明する。
【００２８】
まず、本発明に係るマルチスペクトル画像処理方法について説明する。
【００２９】
本発明に係るマルチスペクトル画像処理方法とは、波長方向に特徴をもつ物体（対象物）を被写体として、複数の波長帯域の画像を撮影して得られたマルチスペクトル画像を用いて、対象物（以下、撮影対象物とも称する）のスペクトルに空間的なムラや個体差がある場合にその影響を除去した上で、分光的な特徴に基づいて撮影された対象物に含まれる特定部分（特定領域）を可視化・抽出し、または、対象物の分類を行うことを可能にしたものである。
【００３０】
要するに、本発明に係るマルチスペクトル画像処理方法は、波長方向にＮチャネルを持つマルチスペクトル画像をＭ次元（Ｍ＜Ｎ）の基底関数の張る部分空間に投影して得られる成分画像のうち、一つまたは複数の指定された波長成分の画像と、元のマルチスペクトル画像の対応する波長成分の画像とについて、対応する波長成分ごとに差分を計算し、指定された波長に対応する差分画像を得るようにし、そして、得られた一つまたは複数チャネルの差分画像の画素値を用いて、画像内の各点の属するクラスを判定することを最大な特徴としている。
【００３１】
ところで、下地の色のばらつきが複数の関数の線形的な組み合わせで表されるときに、数１は以下のようになる。
【００３２】
【数５】
本発明では、画像の全体または一部の領域で主成分分析を行い、得られた主成分ベクトルのうちで指定した数の主成分ベクトルの和で現される成分を基準画像として、撮影された画像から基準画像を差し引くことにより、数５の第２項の成分をキャンセルする。これによって、下地の色が変化しても、その影響を受けずにスペクトルの特徴だけを抽出することが可能になる。なお、基準画像は、画像の全体または一部の領域で主成分分析を行って得られた主成分ベクトルでなくてもよく、他の画像を主成分分析して得られる主成分ベクトルや主成分分析以外の方法によって得られる基底ベクトルによって構成することもできる。
【００３３】
本発明に係るマルチスペクトル画像処理方法の好適な実施形態を以下のように説明する。
【００３４】
本発明に係るマルチスペクトル画像処理方法の好適な第１実施形態は、撮影対象物の分光的な特徴に基づいて画素群を分類する画像処理方法であり、以下のステップを有することを特徴とする。
ステップＡ１：
波長方向に特徴をもつ対象物を被写体として、波長方向にＮチャネル（Ｎは２以上の整数である）を持つマルチスペクトル画像を撮影する。
ステップＡ２：
ステップＡ１で撮影して得られた対象物のマルチスペクトル画像を、Ｍ次元（Ｍ＜Ｎ、Ｍは整数である）の基底関数の張る部分空間に投影して、対象物のＭ次元部分空間成分画像を得る。
ステップＡ３：
ステップＡ１で得られた対象物のマルチスペクトル画像と、ステップＡ２で得られた対象物のＭ次元部分空間成分画像との差分を計算することにより、対象物の差分マルチスペクトル画像を得る。
ステップＡ４：
ステップＡ３で得られた対象物の差分マルチスペクトル画像のうち、指定された波長に対応する一つまたは複数のチャネルの差分画像（この「差分画像」を「差分特定波長画像」とも称する）を抽出する。
ステップＡ５：
ステップＡ４で抽出された一つまたは複数のチャネルの差分画像の画素値を用いて、画像内の各点（各画素）の属するクラスを判定し、つまり、画素群の分類を行う。
【００３５】
上記ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法では、Ｎチャネルを持つマルチスペクトル画像を、Ｍ次元（Ｍ＜Ｎ）の基底関数の張る部分空間に投影して、Ｍ次元部分空間成分画像を得るようにしているので、Ｍ次元の基底関数が撮影対象物の典型的なスペクトルの分布を表すものである場合に、Ｎチャネルを持つマルチスペクトル画像とＭ次元部分空間成分画像との差分を表す差分マルチスペクトル画像は、撮影対象物の典型的なスペクトルの分布から逸脱した成分のみを持つようになる。
【００３６】
また、上記ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法では、差分マルチスペクトル画像の特定のチャネルのみを用いて、画像内の各点（各画素）の属するクラスを判定するようにしているので、撮影対象物の典型的なスペクトルに空間的なムラや個体差があったとしても、その影響をキャンセルして、画像内の特定領域の抽出や画像内の画素群の分類などの処理を行うことができる。
【００３７】
よって、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法は、撮影対象物の典型的なスペクトルの分布から逸脱した成分のみを用いるので、撮影対象物内の異常部の検出や領域抽出などに対して、特に有効である。
【００３８】
また、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法では、ランバートベアの法則を用いる必要が無いので、絶対的な分光反射率を得る必要がない。そのため、通常のカメラのような簡便な撮像装置を用いることが可能で、撮影も容易である。また、波長毎の光路長分布が未知であっても、本発明のマルチスペクトル画像処理方法を利用することができる。
【００３９】
そして、本発明のマルチスペクトル画像処理方法において、Ｍ次元の基底関数としては、ステップＡ１で撮影して得られたＮチャネルを持つマルチスペクトル画像全体、又は、ステップＡ１で撮影して得られたＮチャネルを持つマルチスペクトル画像の一部の指定された領域のスペクトルデータを主成分分析し、そのうち主成分分析に用いた元のデータに対する寄与の大きい主成分から、Ｍ個を選んだものを用いればよい。
【００４０】
また、ステップＡ１で撮影して得られたＮチャネルを持つマルチスペクトル画像とは別のマルチスペクトル画像から、同様にして、画像全体又は画像の一部の指定された領域のスペクトルデータを主成分分析し、そのうち主成分分析に用いた元のデータに対する寄与の大きい主成分からＭ個を選んだものを用いてもよい。このとき、別のマルチスペクトル画像として、複数枚の画像を用いることもできる。このようにして、予め対象物の典型的なスペクトルの分布を限定できる場合には、前もって用意した別のマルチスペクトル画像または点計測によって取得したスペクトルデータ群からＭ次元の基底関数を作成して保存しておくこともできる。
【００４１】
また、本発明のマルチスペクトル画像処理方法では、基底関数のうちの一つを照明光の分光分布とすれば、表面反射の成分をキャンセルできるので、表面反射の影響を除去して処理することが可能である。
【００４２】
さらに、本発明のマルチスペクトル画像処理方法において、波長方向にＮチャネルを持つマルチスペクトル画像は、カメラで撮影された画像の値の対数を計算したものでも良い。このとき、基底関数のうちの一つを照明光の分光分布とすれば、照明光の成分をキャンセルできるので、異なる種類の照明光のもとで撮影された画像も同様に処理することが可能である。
【００４３】
本発明に係るマルチスペクトル画像処理方法の好適な第２実施形態は、本発明に係るマルチスペクトル画像処理方法の好適な第１実施形態と同等な処理を、Ｍ次元部分空間成分画像を得るステップ（つまり、ステップＡ２）を省略することによって、より効率的に行う画像処理方法であり、以下のステップを有することを特徴とする。
ステップＢ１：
波長方向に特徴をもつ対象物を被写体として、波長方向にＮチャネル（Ｎは２以上の整数である）を持つマルチスペクトル画像を撮影する。
ステップＢ２：
ステップＢ１で撮影して得られた対象物のマルチスペクトル画像を、Ｍ次元（Ｍ＜Ｎ、Ｍは整数である）の基底関数の張る部分空間に投影して得られる対象物のＭ次元部分空間成分画像のうち、指定された一つまたは複数の波長成分の画像を計算して、Ｍ次元部分空間上での特定波長成分画像とする。
ステップＢ３
ステップＢ１で撮影して得られた対象物のマルチスペクトル画像から、ステップＢ２で指定された一つまたは複数の波長成分に対応する波長成分の画像（この「画像」を「特定波長画像」とも称する）を抽出する。
ステップＢ４：
ステップＢ２で得られたＭ次元部分空間上での特定波長成分画像と、ステップＢ３で抽出された特定波長画像とについて、指定された波長成分に対応する波長成分ごとに差分を計算することによって、指定された波長に対応する差分画像（この「差分画像」を「差分特定波長画像」とも称する）を得る。
ステップＢ５：
ステップＢ４で得られた指定された波長に対応する差分画像（つまり、指定された波長に対応する一つまたは複数のチャネルの差分画像）の画素値を用いて、画像内の各点（各画素）の属するクラスを判定し、つまり、画素群の分類を行う。
【００４４】
前述したように、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法では、撮影されたマルチスペクトル画像をＭ次元（Ｍ＜Ｎ）の基底関数の張る部分空間に投影して、Ｍ次元部分空間成分画像を得た上で、撮影されたマルチスペクトル画像とＭ次元部分空間成分画像との差分を計算して、差分マルチスペクトル画像とするようにしている。
【００４５】
しかし、ステップＢ１〜Ｂ５を有する本発明のマルチスペクトル画像処理方法では、差分マルチスペクトル画像のうち、指定された波長成分に対応する一つまたは複数のチャネルの差分画像を得るようにしているので、Ｍ次元部分空間成分画像を求めなくても、ステップＢ１で撮影して得られた対象物のマルチスペクトル画像を、Ｍ次元（Ｍ＜Ｎ）の基底関数の張る部分空間に投影して得られる対象物のＭ次元部分空間成分画像のうち、一つまたは複数の指定された波長成分の画像のみを計算して、Ｍ次元部分空間上での特定波長成分画像とすれば、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法に比べて、より効率的に同等の計算を行うことができる。
【００４６】
上述したステップＢ１〜Ｂ５を有する本発明のマルチスペクトル画像処理方法では、撮影して得られた対象物のマルチスペクトル画像を、いったんＭ次元の基底関数の張る部分空間に投影してから差分を計算しているが、本発明はそれに限られることがなく、例えば、Ｍ次元の基底関数の張る部分空間への投影と差分は、一回の行列・ベクトル積演算によって行うことも可能である。
【００４７】
具体的には、下記数６とすると、差分特定波長成分画像
は下記数７になる。
【００４８】
【数６】
【００４９】
【数７】
ただし、
はＮ×Ｎの単位行列である。また、
は、特定波長成分数をＬとするとき、Ｌ行Ｎ列の行列で、各行の値が、特定波長に対応する列のみ１で、あとは０の値を持つ行列である。
【００５０】
そこで、下記数８のように、Ｌ×Ｎの行列
を定義すれば、
をかけるだけで、差分特定波長成分画像を得ることができる。
【００５１】
【数８】
本発明に係るマルチスペクトル画像処理方法の好適な第３実施形態は、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法と同等な結果を、改良された画像撮影装置（つまり、後述する図５に示される撮像システム）を用いることによって、さらに効率的に得る画像処理方法であり、以下のステップを有することを特徴とする。
ステップＣ１：
Ｍ種類以上の異なる分光感度のチャネルを持つ第１の撮像装置と、指定された一つまたは複数の波長に対応するチャネルの画像を撮影するための第２の撮像装置を用いて、同一の対象物を撮影する。
ステップＣ２：
第１の撮像装置で撮影して得られた対象物の画像を、Ｍ次元の基底関数の張る部分空間に投影して得られる対象物のＭ次元部分空間成分画像のうち、ステップＣ１で指定された波長に該当する一つまたは複数の波長成分の画像を計算して、Ｍ次元部分空間上での特定波長成分画像とする。
ステップＣ３：
ステップＣ２で得られたＭ次元部分空間上での特定波長成分画像と、第２の撮像装置で撮影して得られた一つまたは複数の波長成分画像とについて、それぞれ対応する波長ごとに差分を計算する。
ステップＣ４：
ステップＣ３で抽出された指定された波長に対応する一つまたは複数のチャネルの差分画像（この「差分画像」を「差分特定波長画像」とも称する）の画素値を用いて、画像内の各点（各画素）の属するクラスを判定し、つまり、画素群の分類を行う。
【００５２】
ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法は、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法と同様の効果を得ることを目的とする方法である。
【００５３】
つまり、ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法は、予めＭ次元の基底関数を別途求めておくことを前提としており、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法におけるＭ次元の基底関数の張る部分空間に投影して得られるＭ次元部分空間成分画像の代わりに、Ｍ種類以上の異なる分光感度のチャネルを持つ第１の撮像装置によって撮影された画像を用いる画像処理方法である。
【００５４】
また、Ｍ種類以上の異なる分光感度のチャネルを持つ第１の撮像装置には、狭帯域の分光感度を持つ必要が無く、例えば、Ｍが３以下のときに、ＲＧＢ３原色のセンサを持つ通常のカラーカメラを第１の撮像装置として用いることができる。
【００５５】
一方、指定された一つまたは複数の波長に対応するチャネルの画像を撮影するための第２の撮像装置としては、第１の撮像装置として用いられる撮像装置を用いることができる。要するに、例えば、第１の撮像装置として用いられたカラーカメラを、第２の撮像装置として、対象物を撮影する際に、指定された波長に該当する波長を有するＬＥＤまたはレーザ光源を点灯して照明することなどによって、指定された波長に対応するチャネルの画像を撮影することができる。
【００５６】
このため、ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法を用いれば、撮像装置をさらに簡便化することができるという効果を奏する。
【００５７】
また、上述した本発明に係るマルチスペクトル画像処理方法の三つの好適な実施形態、つまり、ステップＡ１〜Ａ５を有する本発明のマルチスペクトル画像処理方法、ステップＢ１〜Ｂ５を有する本発明のマルチスペクトル画像処理方法、ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法の手順を流れ図で表すと、図１、図２、図３となる。
【００５８】
ここで、図１、図２及び図３に示された処理の流れに基づいて、本発明のマルチスペクトル画像処理方法を以下のように更に詳細に説明する。
【００５９】
本発明に使用される、マルチスペクトル画像を撮影するためのマルチスペクトルカメラシステムについて、その一例として、可視領域の波長範囲を１６チャネルで撮影する回転フィルタ方式のマルチスペクトルカメラの構成を図４に示す。
【００６０】
図４に示されたこのマルチスペクトルカメラは、４００万画素のＣＣＤを備える専用光学ユニット１０と、１６種類の異なる特性を持つ干渉フィルタ２０と、モータ３０と、モータ制御装置４０と、フィルタ・コントローラ５０と、カメラ・コントローラ６０と、コンピュータＩ／Ｆ７０と、カメラ全体を制御するコンピュータ８０と、観察用モニタ９０と、操作用モニタ１００とから構成されている。撮影された画像は、ＵＳＢインタフェースを介して、コンピュータ８０に保存される。
【００６１】
なお、本発明において、マルチスペクトル画像を撮影するためのマルチスペクトルカメラのチャネル数は、抽出対象の波長成分の画像と下地の色の分光的特徴を取得するのに十分な数だけがあればよく、１６チャネル以下の必要な数であってもよい。
【００６２】
図４に示されたマルチスペクトルカメラは、ＣＣＤの暗電流の成分を取得するために、１７チャネル目としてフィルタ部を完全に覆った画像を取得する構造になっており、１〜１６番目のチャネルの画像から、１７チャネル目から推定される暗電流レベルを差し引くことによって、暗電流の影響を取り除くようにしている。この暗電流補正は、別途測定された暗電流レベルを差し引くことによって行っても良い。
【００６３】
また、画像を撮影する際の照明光が一定の場合には、照明光の影響を補正しなくても本発明の効果を得ることはできるが、照明環境に依存せずに本発明の画像処理を行うためには、以下の方法で照明環境の補正を行うことができる。
【００６４】
まず、酸化マグネシウムなどがコーティングされた標準白色板を、マルチスペクトルカメラで撮影する。撮影された１６チャネルの画素値から各チャネルについての白色レベルを取得して、その白色レベルの値で、被写体を撮影したマルチスペクトル画像の各チャネルの画素値を除算する。なお、照明光の分光分布は、標準白色板を分光放射輝度計などで撮影したものから求めてもよい。
【００６５】
ここで、本発明のマルチスペクトル画像処理方法において、用いられる主成分分析について説明する。
【００６６】
Ｎチャネルのマルチスペクトル画像（つまり、上記の「暗電流補正」処理や「照明環境補正」処理によって補正された後のマルチスペクトル画像信号値）をＮ次元ベクトル
で表現したときに、その主成分分析を行うことで、
は下記数９のようにＮ個の主成分の和で表現することができる。ただし、
は主成分ベクトルで、αｉは係数である。
【００６７】
【数９】
本発明において、主成分分析を行う対象としては、次の３通りが考えられる。
(１) 撮影されたマルチスペクトル画像全体
(２) 撮影されたマルチスペクトル画像のうち、指定した領域
(３) 別途撮影された一枚または複数枚のマルチスペクトル画像
(１)及び(２)の場合は、撮影されたマルチスペクトル画像から主成分ベクトルを求めるので、画像ごとに下地の色を表す基底ベクトルが異なっていても対応できる。画像ごとに基底ベクトルを変える必要が無いときは、(３)のように別途撮影された一枚または複数枚のマルチスペクトル画像を用いることができる。
【００６８】
また、(１)の場合は、領域の指定が不要であるが、撮影された画像の範囲によって基底ベクトルが変化するので、安定した結果が得られない場合がある。(２)の場合は、手作業または自動的に基準とする領域を選択しなければならないが、基準とする領域は、なるべく下地の色のみが含まれている領域であることが望ましい。つまり、基準とする領域を適切に選択すれば、(２)の方法が最も良い結果をもたらす。
【００６９】
主成分分析を行った結果、固有値が大きいものから順にＭ個の主成分ベクトルを選択し、選択されたＭ個の主成分ベクトルを基底ベクトルとする。この基底ベクトルは、撮影対象物の下地の色を表すものと考えることができる。従って、次元数Ｍは、撮影対象物の下地の色を表すのに最低限必要な数を選択する。
【００７０】
上述したように、本発明のマルチスペクトル画像処理方法では、主成分分析を用いて基底ベクトルを求めているが、本発明はそれに限ることがなく、他の方法を用いて基底ベクトルを決定するようにしても良い。
【００７１】
次に、本発明のマルチスペクトル画像処理方法において、Ｍ次元部分空間成分画像算出について説明する。
【００７２】
本発明では、前述した「暗電流補正」や「照明環境補正」などの補正後のマルチスペクトル画像信号値
を、上述したように主成分分析によって求められたＭ個の基底ベクトルの張る部分空間に投影することによって、Ｍ次元部分空間成分画像を得るようにしている。これを数式で表現すると、下記数１０になる。ただし、ｔはベクトルの転置を表す。
【００７３】
【数１０】
つまり、数１０で表す処理をマルチスペクトル画像の各画素に対して適用することによって、Ｍ次元部分空間成分画像を算出することができる。
【００７４】
次に、差分マルチスペクトル画像の算出について説明する。
【００７５】
差分マルチスペクトル画像
は、前述した「暗電流補正」や「照明環境補正」などの補正後のマルチスペクトル画像信号値
と、数１０から算出されるＭ次元部分空間成分画像
との差をとることによって、下記数１１に表されるように、算出することができる。
【００７６】
【数１１】
なお、この差分マルチスペクトル画像のうち、実際に本発明の画像処理に用いるのは、指定された特定波長成分のみであるので、数１０や数１１を用いて、全ての波長成分に対して計算を行わなくても、指定された特定波長成分のみについて差分を計算すれば十分である。つまり、指定された特定波長成分のみについて差分を計算する方法が、ステップＢ１〜Ｂ５を有する本発明のマルチスペクトル画像処理方法（図２参照）である。
【００７７】
次に、特定波長成分指定について説明する。
【００７８】
本発明において、特定波長成分指定とは、数１１で得られた差分マルチスペクトル画像から、一つ又は複数の波長帯域の画像を選択することを意味する。波長帯域の選択は、注目する特徴が最もよく現れる波長帯域を用いる。例として、皮膚の発赤部の抽出を行う場合に、ヘモグロビンの吸収に特徴のある５５０ｎｍ付近の波長成分を用いることが好ましい。
【００７９】
次に、画素群の分類について説明する。
【００８０】
本発明において、画素群の分類は、指定された特定波長成分の
の値に基づいて、閾値処理などの方法によって行う。複数の波長成分を指定した場合には、複数の波長成分の値で構成される多次元空間において、多変量解析の方法などを適用することによって行う。これによって、下地の色のばらつきは、差分マルチスペクトル画像を求める際の上位主成分で表されるＭ次元部分空間成分画像に吸収されるので、下地の色のばらつきに影響されず、スペクトルの特徴だけを抽出することができるようになる。
【００８１】
実際に部分空間を構成するために用いる基底の次元数Ｍを２とし、５５０ｎｍ近辺の画像に対して、数１１を適用して得られた特定波長成分の画像に閾値処理を適用することによって、視覚的にはわずかな色の違いしか認められない発赤部分を抽出することができるようになる。このとき、Ｍ次元部分空間成分画像との差分をとらない場合には、下地の色の影響で発赤部分をうまく抽出することができない場合がある。
【００８２】
ところで、前述したように、ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法において、Ｍ種類以上の異なる分光感度のチャネルを持つ第１の撮像装置と、指定された一つまたは複数の波長に対応するチャネルの画像を撮影するための第２の撮像装置とが用いられているが、この第１の撮像装置と第２の撮像装置は、別個の撮像装置である必要性がなく、例えば、広帯域画像撮影機能と狭帯域画像撮影機能とを具備する撮像装置（撮像システム）を用いれば良い。このような広帯域撮影機能と狭帯域撮影機能とを具備する撮像装置（撮像システム）は、差分特定波長画像の生成に適している。
【００８３】
本発明に用いられる、差分特定波長画像の生成に適した撮像装置（つまり、広帯域画像撮影機能と狭帯域画像撮影機能とを具備する撮像システム）について説明する。
【００８４】
図５は、本発明に用いられる、差分特定波長画像の生成に適した撮像システムの概念図である。図５に示されるように、差分特定波長画像の生成に適した撮像システムとは、広帯域の画像を例えば、一般的な赤（Ｒ）・緑（Ｇ）・青（Ｂ）の３原色で撮影する広帯域画像撮影機能と、注目する特定波長にのみ感度を持つような狭帯域の画像を撮影する狭帯域画像撮影機能とを具備する撮像システムである。
【００８５】
このような撮像システムの好適例としては、一般的な赤（Ｒ）・緑（Ｇ）・青（Ｂ）の３原色で撮影するデジタルカメラと、例えば注目する波長で狭帯域の光を発光する発光ダイオード（ＬＥＤ）などの特殊な照明装置とから構成される。そして、デジタルカメラを用いて、通常照明下で撮影された画像（つまり、広帯域画像）と、特殊な照明装置（例えば、ＬＥＤ）の照明下で撮影された画像（つまり、狭帯域画像）とに基づいて、差分特定波長画像を生成することができる。
【００８６】
図５に示されたような撮像システムを用いて、差分特定波長画像を生成する方法の流れは図３に示されている。つまり、ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法において、図５に示された撮像システムを用いて撮影した広帯域画像と狭帯域画像とに基づいて、差分特定波長画像を生成することができる。
【００８７】
要するに、図５に示された撮像システムを用いて、そして、ステップＣ１〜Ｃ４を有する本発明のマルチスペクトル画像処理方法が用いられた場合に、撮影対象物となる物体と類似した性質を持つ物体のマルチスペクトル画像または点計測によって得た分光反射率などのスペクトルに対して、主成分分析などを行って、主成分ベクトルを予め取得しておく。そして、図５に示された撮像システムで撮影された広帯域画像から、Ｍ次元部分空間成分画像、または、Ｍ次元部分空間上での注目する特定波長成分の画像を下記のように算出する。
【００８８】
つまり、広帯域のｎチャネル目の分光感度をＳｎ(λ)とし、数１のようなモデルが成立するときに、撮影されたｎチャネル目の画素値ｘｎは、下記数１２で表される。
【００８９】
【数１２】
ここで、抽出対象の特徴成分ａが小さいとき、または、Ｓｎ(λ)とｖ(λ)とがスペクトル空間上でほぼ直交しているときに、数１２の第１項を無視することができる。
【００９０】
また、ｕｋ(λ)は、波長空間上での主成分ベクトルと考えて差し支えない。このとき、数１２は下記数１３で表されるように、行列・ベクトル積の形で書き直すことができる。
【００９１】
【数１３】
下地の色の分布を表す基底関数の次元数Ｋが、広帯域画像のチャネル数Ｊよりも小さければ、行列
の擬似逆行列Ｔ＋を用いて、
すなわちｂｋを推定することができる。また、ｕｋ(λ)が波長空間上での主成分ベクトルであれば、特定波長λ０での部分空間成分画像は、下記数１４に基づいて求めることができる。
【００９２】
【数１４】
仮に、図５に示された撮像システムの狭帯域撮影機能によって得られる画像をｇｂ(λ０)というように単一波長での値で表したとすると、波長λ０での差分特定波長画像Δｇ(λ０)は、下記数１５に基づいて求めることができる。
【００９３】
【数１５】
実際の図５に示された撮像システムの狭帯域撮影機能では、分光感度に幅を持つので、それを考慮に入れるには、数１４を下記数１６に置き換えればよい。ここで、Ｓｂ(λ)はλ０に中心波長を持つ狭帯域チャネルの分光感度である。
【００９４】
【数１６】
次に、本発明に係るマルチスペクトル皮膚画像による診断方法について説明する。
【００９５】
本発明に係るマルチスペクトル皮膚画像による診断方法とは、皮膚を被写体として撮影して得られたマルチスペクトル皮膚画像に基づいて、皮膚疾患の状態を定量化して表示することによって、皮膚科医による診断を支援する診断方法であって、より詳細に、異なる波長帯域に感度を持つマルチスペクトル画像撮影装置を用いて、皮膚の病変部を撮影して得られたマルチスペクトル皮膚画像、または、別途撮影した皮膚の正常部を含むマルチスペクトル皮膚画像の一部または全体の領域で主成分分析を行い、得られた主成分ベクトルのうち、指定した数の主成分ベクトルの和として再構成されたマルチスペクトル皮膚画像と、皮膚の病変部を撮影して得られたマルチスペクトル皮膚画像との差分を計算し、皮膚疾患の種類によって選択された一つまたは複数のチャネルの差分画像を用いて、皮膚の病変部（以下、病変領域とも称する）の抽出や、抽出された病変領域の面積、個数または形状などの算出を行うことを可能にしたものである。
【００９６】
要するに、本発明に係るマルチスペクトル皮膚画像による診断方法では、異なる波長帯域に感度を持つ多チャネルの画像撮影装置を用いて、皮膚の病変部を撮影し、撮影されたマルチスペクトル皮膚画像、または、別途撮影した皮膚の正常部を含むマルチスペクトル皮膚画像の一部または全体の領域で主成分分析を行い、得られた主成分ベクトルのうち、指定した数の主成分ベクトルの和として再構成されたマルチスペクトル皮膚画像と、皮膚の病変部を撮影して得られたマルチスペクトル皮膚画像との差分を計算することによって、「差分マルチスペクトル皮膚画像」が得られ、そして、得られた「差分マルチスペクトル皮膚画像」のうち、皮膚疾患の種類によって指定された一つまたは複数のチャネルの画像を選択し、選択された画像に対して処理を行うことで、一つまたは複数のカテゴリに属する病変部を抽出し、さらに抽出された病変領域の面積、個数または形状などを基に病態（皮膚疾患の状態）の数値化または画像化を行うことによって、皮膚疾患を診断することを最大な特徴としている。
【００９７】
本発明に係るマルチスペクトル皮膚画像による診断方法の好適な実施形態を以下のように説明する。
【００９８】
本発明に係るマルチスペクトル皮膚画像による診断方法の好適な実施形態は、「差分マルチスペクトル皮膚画像」に基づいて、皮膚疾患の状態を分析・診断する皮膚画像による診断方法であり、以下のステップを有することを特徴とする。
ステップＤ１：
診断しようとする皮膚疾患の種類（つまり、皮膚疾患の病名）に応じて、一つまたは複数の波長を指定する。
ステップＤ２：
診断対象である皮膚の正常部の特徴を表す部分空間の次元数Ｍを指定する。
ステップＤ３：
ステップＤ１で指定された一つまたは複数の波長を含む波長帯域に分光感度を持つチャネルと、皮膚の正常部を表すＭ次元部分空間への投影値を求めるために必要な所定の種類の異なる分光感度のチャネルとを持つ撮像装置で、診断対象である皮膚を撮影する。
【００９９】
なお、皮膚の正常部を表すＭ次元部分空間への投影値は、ステップＤ１で指定された一つまたは複数の波長帯域の画像を含めて計算しても良い。
ステップＤ４：
ステップＤ３で撮影して得られたマルチスペクトル皮膚画像を、別途に記憶された皮膚の正常部の分光的特徴を表すＭ次元の基底関数の張る部分空間に投影して得られる、Ｍ次元部分空間成分皮膚画像のうち、ステップＤ１で指定された一つまたは複数の波長に該当する波長成分の画像を求めて、Ｍ次元部分空間上での特定波長成分皮膚画像とする。
【０１００】
なお、別途に記憶された皮膚の正常部の分光的特徴を表すＭ次元の基底関数は、同一患者の正常部の皮膚を撮影した画像から求めてもよい。
ステップＤ５：
ステップＤ３で撮影して得られたマルチスペクトル皮膚画像から、ステップＤ１で指定された一つまたは複数の波長に対応する波長成分の特定波長皮膚画像を抽出する。
ステップＤ６：
ステップＤ４で得られたＭ次元部分空間上での特定波長成分皮膚画像と、ステップＤ５で抽出された特定波長皮膚画像とについて、ステップＤ１で指定された一つまたは複数の波長に対応する波長成分ごとに差分を計算することによって、指定された波長に対応する差分特定波長皮膚画像を抽出する。
ステップＤ７：
ステップＤ６で抽出された指定された波長に対応する一つまたは複数のチャネルの差分特定波長皮膚画像の画素値を用いて、画像中の各画素または領域を複数のクラスに分類する。
ステップＤ８：
ステップＤ７で分類されたクラスの特徴に基づいて、皮膚疾患の状態を画像中の領域ごとに数値化もしくは画像化する。
【０１０１】
上述した本発明に係るマルチスペクトル皮膚画像による診断方法の好適な実施形態、つまり、ステップＤ１〜Ｄ８を有する本発明のマルチスペクトル皮膚画像による診断方法の手順を流れ図で表すと、図６となる。
【０１０２】
次に、上述したステップＤ１〜Ｄ８を有する本発明のマルチスペクトル皮膚画像による診断方法を実際に具体的な皮膚疾患に適用した実施例について説明する。
【０１０３】
実施例１としては、本発明のマルチスペクトル皮膚画像による診断方法を「乾癬などの炎症性皮膚疾患の血流量の診断」に適用した例である。
【０１０４】
なお、本実施例では、Ｎチャネルのマルチスペクトルカメラで、診断対象である皮膚を撮影することを前提としているが、他の方法で撮影する撮像装置を用いてもかまわない。
【０１０５】
本発明において、波長と抽出される成分との関係を示す概念図を図７に示す。図７に示されるように、皮膚の主な吸収体はヘモグロビンとメラニンであるが、光散乱に波長依存性があるため、短い波長にはごく表層近くの特徴が反映され、長い波長では真皮よりも深い部分の吸収体の特徴が反映されやすい。
【０１０６】
慢性の炎症性皮膚疾患の病態と血管新生とは密接な関係があり、表層近くの毛細血管の状態が病勢の指標となる場合がある。本発明のマルチスペクトル皮膚画像による診断方法を「炎症性皮膚疾患の血流量の診断」に適用した実施例１の場合には、表層近くの毛細血管の血液成分と相関の高い５５０ｎｍ付近を中心波長として指定する。
【０１０７】
一方、後述する、本発明のマルチスペクトル皮膚画像による診断方法を「尋常性ざ瘡（にきび）の重症度の診断」に適用した実施例２の場合には、そのほかに表層近くのメラニンに感度のある波長帯域（４３０ｎｍ付近）や少し深い部位での血液の吸収に感度のある波長帯域（６２０ｎｍ）を用いる。
【０１０８】
そして、本発明のマルチスペクトル皮膚画像による診断方法を「自己免疫性皮膚疾患の可能性の診断」に適用した実施例３の場合には、実施例２に用いられる６２０ｎｍの帯域よりも、さらに深い部分の血液量に感度のある波長帯域として７１０ｎｍ付近を用いる。
【０１０９】
もちろん、本発明では、可視領域だけでなく近赤外の波長帯域を用いることも可能である。
【０１１０】
本発明のマルチスペクトル皮膚画像による診断方法では、診断対象である皮膚（つまり、診断対象部分）のマルチスペクトル皮膚画像と、正常皮膚（つまり、正常部分）のマルチスペクトル皮膚画像とを撮影し、正常部分のマルチスペクトル皮膚画像からＭ個の主成分ベクトルを求めるようにしている。
【０１１１】
なお、この正常部分のマルチスペクトル皮膚画像は、診断対象部分のマルチスペクトル皮膚画像の中に含まれる一部の領域が正常皮膚と判断された場合に、正常皮膚と判断されたその一部の領域を用いることも可能である。
【０１１２】
そして、正常皮膚成分を主成分上位Ｍ個、例えば２個の基底関数で表し、診断対象である皮膚を撮影して得られたマルチスペクトル皮膚画像を、その２次元の基底関数の張る部分空間に投影して中心波長５５０ｎｍ付近の成分のみを抽出し、これをＭ次元部分空間上での特定波長成分皮膚画像とする。
【０１１３】
次に、診断対象である皮膚を撮影して得られたマルチスペクトル画像から、中心波長５５０ｎｍ付近の成分を抽出し、これを特定波長皮膚画像とする。
【０１１４】
そして、特定波長皮膚画像と、Ｍ次元部分空間上での特定波長成分皮膚画像との差分画像（つまり、差分特定波長皮膚画像）を求める。求められた差分画像の画素値に対して、閾値処理をすることにより、クラス分類を行う。これによって、毛細血管の血液量が増加している部分の抽出を行うことができる。
【０１１５】
皮膚疾患の状態を数値化、表示する方法の一例を図８に示す。図８に示されるように、この例では、画像中の小領域ごとに閾値を越えた画素の密度を計算し、その密度に応じて異なる色を割り当てた画像を作成して表示する。また、閾値を越えた画素の密度が特定の範囲の値をとる領域の面積を算出して数値化もしくはグラフ化して表示する。
【０１１６】
さらに、本発明のマルチスペクトル皮膚画像による診断方法を、同一対象症例について異なる時期に撮影された複数枚の画像に対して適用すれば、定量化した血液量分布の変化を比較することが可能になり、病状の進行度や治療効果を判定することができる。
【０１１７】
次に、本発明のマルチスペクトル皮膚画像による診断方法を「尋常性ざ瘡（にきび）の重症度の診断」に適用した実施例２について説明する。
【０１１８】
本発明のマルチスペクトル皮膚画像による診断方法を尋常性ざ瘡（にきび）の診断へ適用する場合には、つまり、実施例２の場合には、４３０ｎｍ、５８０ｎｍ、６２０ｎｍといった３つの波長を中心波長として指定する。
【０１１９】
正常皮膚成分を主成分上位Ｍ個、例えば２個の基底関数で表し、診断対象である皮膚を撮影して得られたマルチスペクトル皮膚画像を、その２次元の基底関数の張る部分空間に投影して中心波長４３０ｎｍ、５８０ｎｍ、６２０ｎｍ付近の成分をそれぞれ抽出し、これをＭ次元部分空間上での特定波長成分皮膚画像とする。
【０１２０】
そして、診断対象である皮膚を撮影して得られたマルチスペクトル皮膚画像から、４３０ｎｍ、５８０ｎｍ、６２０ｎｍに対応する中心波長付近の成分を抽出し、各波長成分について差分画像を求める。
【０１２１】
このようにして、得られた３種類の差分画像の画素値を、図９に示すように、３次元空間で複数のクラスに分類し、分類結果を画像化する。
【０１２２】
つまり、画像中の小領域ごとに、分類された画素の数をクラスごとに計算し、その数に応じてにきびの領域を抽出する。また、にきびの領域ごとに分類された画素の数を算出し、その結果から皮疹の状態（炎症状態、化膿した状態、色素沈着など）を分析し、にきびの重症度を判定する。
【０１２３】
その解析結果は、図１０に示されるように、判定されたにきびの領域、進行度、重症度ごとに、面積または皮疹の数を算出して数値化もしくはグラフ化して表示する。
【０１２４】
次に、本発明のマルチスペクトル皮膚画像による診断方法を「自己免疫性皮膚疾患の可能性の診断」に適用した実施例３について説明する。
【０１２５】
膠原病を代表とする自己免疫性皮膚疾患の皮疹は、専門医も時に誤診する微妙な皮膚変化を伴うものが多い。
【０１２６】
本発明のマルチスペクトル皮膚画像による診断方法を膠原病（例えば皮膚筋炎）などの自己免疫性皮膚疾患の可能性の診断へ適用する場合には、つまり、実施例３の場合には、例えば、４３０ｎｍ、５８０ｎｍ、７１０ｎｍといった３つの波長を中心波長として指定する。
【０１２７】
正常皮膚成分を主成分上位Ｍ個、例えば２個の基底関数で表し、診断対象である皮膚を撮影して得られたマルチスペクトル皮膚画像を、その２次元の基底関数の張る部分空間に投影して中心波長４３０ｎｍ、５８０ｎｍ、７１０ｎｍ付近の成分をそれぞれ抽出し、これをＭ次元部分空間上での特定波長成分皮膚画像とする。
【０１２８】
そして、診断対象である皮膚を撮影して得られたマルチスペクトル皮膚画像から、４３０ｎｍ、５８０ｎｍ、７１０ｎｍに対応する中心波長付近の成分を抽出し、各波長成分について差分画像を求める。
【０１２９】
このようにして、得られた３種類の差分画像から、病変部の画素値を抽出する。抽出された病変部の画素値の分布と、別途保存された参照データを比較し、比較結果に基づいて自己免疫性皮膚疾患に特有な特徴がどの程度含まれているか、または、炎症性皮膚疾患に特有な特徴がどの程度含まれているか、を数値化、グラフ化、もしくは画像化して表示する。
【０１３０】
なお、上述した本発明に係るマルチスペクトル画像処理方法を皮膚科医の診断に適用した場合、つまり、本発明のマルチスペクトル皮膚画像による診断方法を例として説明したが、本発明はそれに限られることがなく、例えば、撮影対象物を鮮魚或いは果物として、鮮魚或いは果物の痛み具合のチェックにも適用することができる。
【特許請求の範囲】
【請求項１】
皮膚を被写体として撮影して得られたマルチスペクトル皮膚画像を用いて、画像解析によって、病変の特徴を抽出し、皮膚疾患の状態を定量化できるようにしたマルチスペクトル皮膚画像による診断方法であって、
異なる波長帯域に感度を持つ多チャネルの画像撮影装置を用いて、皮膚の病変部を撮影する第１のステップと、
第１のステップで撮影されたマルチスペクトル皮膚画像、または、別途撮影した皮膚の正常部を含むマルチスペクトル皮膚画像の一部または全体の領域で、主成分分析を行う第２のステップ、
第２のステップで得られた主成分ベクトルのうち、指定した数の主成分ベクトルの和として再構成されたマルチスペクトル皮膚画像と、第１のステップで皮膚の病変部を撮影して得られた前記マルチスペクトル皮膚画像との差分を計算することによって、差分マルチスペクトル皮膚画像を得る第３のステップと、
第３のステップで得られた前記差分マルチスペクトル皮膚画像のうち、前記皮膚疾患の種類によって指定された一つまたは複数のチャネルの画像を選択する第４のステップと、
第４のステップで選択された画像に対して、画像処理を行うことで、１以上のカテゴリに属する病変部を抽出し、抽出された病変部の面積、個数または形状を基に前記皮膚疾患の状態の数値化または画像化を行う第５のステップと、
を有することを特徴とするマルチスペクトル皮膚画像による診断方法。
【請求項２】
診断対象である皮膚を被写体として撮影して得られたマルチスペクトル皮膚画像を用いて、画像解析によって、前記皮膚の病変の特徴を抽出し、診断しようとする皮膚疾患の状態を定量化できるようにしたマルチスペクトル皮膚画像による診断方法であって、
前記皮膚疾患の種類に応じて、一つまたは複数の波長を指定するステップＤ１と、
前記皮膚の正常部の特徴を表す部分空間の次元数Ｍを指定するステップＤ２と、
ステップＤ１で指定された一つまたは複数の波長を含む波長帯域に分光感度を持つチャネルと、前記皮膚の正常部を表すＭ次元部分空間への投影値を求めるために必要な所定の種類の異なる分光感度のチャネルとを持つ撮像装置で、前記皮膚を撮影するステップＤ３と、
ステップＤ３で撮影して得られたマルチスペクトル皮膚画像を、別途に記憶された前記皮膚の正常部の分光的特徴を表すＭ次元の基底関数の張る部分空間に投影して得られる、Ｍ次元部分空間成分皮膚画像のうち、前記指定された一つまたは複数の波長に該当する波長成分の画像を求めて、Ｍ次元部分空間上での特定波長成分皮膚画像とするステップＤ４と、
ステップＤ３で撮影して得られた前記マルチスペクトル皮膚画像から、前記指定された一つまたは複数の波長に対応する波長成分の特定波長皮膚画像を抽出するステップＤ５と、
ステップＤ４で得られた前記Ｍ次元部分空間上での特定波長成分皮膚画像と、ステップＤ５で抽出された前記特定波長皮膚画像とについて、前記指定された一つまたは複数の波長に対応する波長成分ごとに差分を計算することによって、指定された波長に対応する差分特定波長皮膚画像を抽出するステップＤ６と、
ステップＤ６で抽出された指定された波長に対応する一つまたは複数のチャネルの前記差分特定波長皮膚画像の画素値を用いて、画像中の各画素または領域を複数のクラスに分類するステップＤ７と、
ステップＤ７で分類された前記クラスの特徴に基づいて、前記皮膚疾患の状態を画像中の領域ごとに数値化もしくは画像化するステップＤ８と、
を有することを特徴とするマルチスペクトル皮膚画像による診断方法。
【請求項３】
前記皮膚の正常部を表すＭ次元部分空間への投影値を、ステップＤ１で指定された一つまたは複数の波長帯域の画像を含めて計算する請求項２に記載のマルチスペクトル皮膚画像による診断方法。
【請求項４】
前記別途に記憶された前記皮膚の正常部の分光的特徴を表すＭ次元の基底関数を、同一患者の正常部の皮膚を撮影した画像から求める請求項２又は請求項３に記載のマルチスペクトル皮膚画像による診断方法。
【請求項５】
前記皮膚疾患は乾癬を含む炎症性皮膚疾患であって、前記炎症性皮膚疾患の血流量の診断を定量化し、正常皮膚成分を主成分上位２個の基底関数で表し、前記マルチスペクトル皮膚画像をその２次元の基底関数の張る部分空間に投影して、中心波長５５０ｎｍ付近の成分のみを抽出し、これを２次元部分空間上での特定波長成分皮膚画像とする請求項２乃至請求項４のいずれかに記載のマルチスペクトル皮膚画像による診断方法。
【請求項６】
前記皮膚疾患は尋常性ざ瘡（にきび）であって、前記尋常性ざ瘡（にきび）の重症度の診断を定量化し、正常皮膚成分を主成分上位２個の基底関数で表し、前記マルチスペクトル皮膚画像をその２次元の基底関数の張る部分空間に投影して、中心波長４３０ｎｍ、５８０ｎｍ、６２０ｎｍ付近の成分をそれぞれ抽出し、これを２次元部分空間上での特定波長成分皮膚画像とする請求項２乃至請求項４のいずれかに記載のマルチスペクトル皮膚画像による診断方法。
【請求項７】
前記皮膚疾患は自己免疫性皮膚疾患であって、前記自己免疫性皮膚疾患の可能性の診断を定量化し、正常皮膚成分を主成分上位２個の基底関数で表し、前記マルチスペクトル皮膚画像をその２次元の基底関数の張る部分空間に投影して、中心波長４３０ｎｍ、５８０ｎｍ、７１０ｎｍ付近の成分をそれぞれ抽出し、これを２次元部分空間上での特定波長成分皮膚画像とする請求項２乃至請求項４のいずれかに記載のマルチスペクトル皮膚画像による診断方法。
【請求項１】
皮膚を被写体として撮影して得られたマルチスペクトル皮膚画像を用いて、画像解析によって、病変の特徴を抽出し、皮膚疾患の状態を定量化できるようにしたマルチスペクトル皮膚画像による診断方法であって、
異なる波長帯域に感度を持つ多チャネルの画像撮影装置を用いて、皮膚の病変部を撮影する第１のステップと、
第１のステップで撮影されたマルチスペクトル皮膚画像、または、別途撮影した皮膚の正常部を含むマルチスペクトル皮膚画像の一部または全体の領域で、主成分分析を行う第２のステップ、
第２のステップで得られた主成分ベクトルのうち、指定した数の主成分ベクトルの和として再構成されたマルチスペクトル皮膚画像と、第１のステップで皮膚の病変部を撮影して得られた前記マルチスペクトル皮膚画像との差分を計算することによって、差分マルチスペクトル皮膚画像を得る第３のステップと、
第３のステップで得られた前記差分マルチスペクトル皮膚画像のうち、前記皮膚疾患の種類によって指定された一つまたは複数のチャネルの画像を選択する第４のステップと、
第４のステップで選択された画像に対して、画像処理を行うことで、１以上のカテゴリに属する病変部を抽出し、抽出された病変部の面積、個数または形状を基に前記皮膚疾患の状態の数値化または画像化を行う第５のステップと、
を有することを特徴とするマルチスペクトル皮膚画像による診断方法。
【請求項２】
診断対象である皮膚を被写体として撮影して得られたマルチスペクトル皮膚画像を用いて、画像解析によって、前記皮膚の病変の特徴を抽出し、診断しようとする皮膚疾患の状態を定量化できるようにしたマルチスペクトル皮膚画像による診断方法であって、
前記皮膚疾患の種類に応じて、一つまたは複数の波長を指定するステップＤ１と、
前記皮膚の正常部の特徴を表す部分空間の次元数Ｍを指定するステップＤ２と、
ステップＤ１で指定された一つまたは複数の波長を含む波長帯域に分光感度を持つチャネルと、前記皮膚の正常部を表すＭ次元部分空間への投影値を求めるために必要な所定の種類の異なる分光感度のチャネルとを持つ撮像装置で、前記皮膚を撮影するステップＤ３と、
ステップＤ３で撮影して得られたマルチスペクトル皮膚画像を、別途に記憶された前記皮膚の正常部の分光的特徴を表すＭ次元の基底関数の張る部分空間に投影して得られる、Ｍ次元部分空間成分皮膚画像のうち、前記指定された一つまたは複数の波長に該当する波長成分の画像を求めて、Ｍ次元部分空間上での特定波長成分皮膚画像とするステップＤ４と、
ステップＤ３で撮影して得られた前記マルチスペクトル皮膚画像から、前記指定された一つまたは複数の波長に対応する波長成分の特定波長皮膚画像を抽出するステップＤ５と、
ステップＤ４で得られた前記Ｍ次元部分空間上での特定波長成分皮膚画像と、ステップＤ５で抽出された前記特定波長皮膚画像とについて、前記指定された一つまたは複数の波長に対応する波長成分ごとに差分を計算することによって、指定された波長に対応する差分特定波長皮膚画像を抽出するステップＤ６と、
ステップＤ６で抽出された指定された波長に対応する一つまたは複数のチャネルの前記差分特定波長皮膚画像の画素値を用いて、画像中の各画素または領域を複数のクラスに分類するステップＤ７と、
ステップＤ７で分類された前記クラスの特徴に基づいて、前記皮膚疾患の状態を画像中の領域ごとに数値化もしくは画像化するステップＤ８と、
を有することを特徴とするマルチスペクトル皮膚画像による診断方法。
【請求項３】
前記皮膚の正常部を表すＭ次元部分空間への投影値を、ステップＤ１で指定された一つまたは複数の波長帯域の画像を含めて計算する請求項２に記載のマルチスペクトル皮膚画像による診断方法。
【請求項４】
前記別途に記憶された前記皮膚の正常部の分光的特徴を表すＭ次元の基底関数を、同一患者の正常部の皮膚を撮影した画像から求める請求項２又は請求項３に記載のマルチスペクトル皮膚画像による診断方法。
【請求項５】
前記皮膚疾患は乾癬を含む炎症性皮膚疾患であって、前記炎症性皮膚疾患の血流量の診断を定量化し、正常皮膚成分を主成分上位２個の基底関数で表し、前記マルチスペクトル皮膚画像をその２次元の基底関数の張る部分空間に投影して、中心波長５５０ｎｍ付近の成分のみを抽出し、これを２次元部分空間上での特定波長成分皮膚画像とする請求項２乃至請求項４のいずれかに記載のマルチスペクトル皮膚画像による診断方法。
【請求項６】
前記皮膚疾患は尋常性ざ瘡（にきび）であって、前記尋常性ざ瘡（にきび）の重症度の診断を定量化し、正常皮膚成分を主成分上位２個の基底関数で表し、前記マルチスペクトル皮膚画像をその２次元の基底関数の張る部分空間に投影して、中心波長４３０ｎｍ、５８０ｎｍ、６２０ｎｍ付近の成分をそれぞれ抽出し、これを２次元部分空間上での特定波長成分皮膚画像とする請求項２乃至請求項４のいずれかに記載のマルチスペクトル皮膚画像による診断方法。
【請求項７】
前記皮膚疾患は自己免疫性皮膚疾患であって、前記自己免疫性皮膚疾患の可能性の診断を定量化し、正常皮膚成分を主成分上位２個の基底関数で表し、前記マルチスペクトル皮膚画像をその２次元の基底関数の張る部分空間に投影して、中心波長４３０ｎｍ、５８０ｎｍ、７１０ｎｍ付近の成分をそれぞれ抽出し、これを２次元部分空間上での特定波長成分皮膚画像とする請求項２乃至請求項４のいずれかに記載のマルチスペクトル皮膚画像による診断方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２６４２７６（Ｐ２０１０−２６４２７６Ａ）
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願番号】特願２０１０−１６１９８８（Ｐ２０１０−１６１９８８）
【出願日】平成２２年７月１６日（２０１０．７．１６）
【分割の表示】特願２００４−２７１９５３（Ｐ２００４−２７１９５３）の分割
【原出願日】平成１６年９月１７日（２００４．９．１７）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【出願人】（３０４０２８３４６）国立大学法人 香川大学 (285)
【Ｆターム（参考）】
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願日】平成２２年７月１６日（２０１０．７．１６）
【分割の表示】特願２００４−２７１９５３（Ｐ２００４−２７１９５３）の分割
【原出願日】平成１６年９月１７日（２００４．９．１７）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【出願人】（３０４０２８３４６）国立大学法人 香川大学 (285)
【Ｆターム（参考）】
[ Back to top ]