診断システム及び診断装置
【課題】人体を撮像した画像を解析して人体の状態を診断する診断システムにおいて、人体の状態に対して最適な診断をすることができる診断システムの提供を目的とする。
【解決手段】診断システム１に、特定の色光の光源で被写体を照射する照射部５と、前記光源による被写体の反射光を撮像する撮像部６と、前記撮像部６の撮像により取得した画像データを解析する画像解析部１５と、解析された画像データと予め設定された複数の条件を比較して被写体の状態を判断する判断部１６を備える。
【解決手段】診断システム１に、特定の色光の光源で被写体を照射する照射部５と、前記光源による被写体の反射光を撮像する撮像部６と、前記撮像部６の撮像により取得した画像データを解析する画像解析部１５と、解析された画像データと予め設定された複数の条件を比較して被写体の状態を判断する判断部１６を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は診断システム及び診断装置に関し、特に被験者の各部位の撮影画像から医療診断などを行う診断システム及び診断装置に関する。
【背景技術】
【０００２】
昨今、被験者（被写体）をセンサやＣＣＤカメラなどによって撮像し、これにより得られた画像データを解析して医療診断や美容診断などを行う診断システムが開発されている。
【０００３】
例えば、本出願人は、先に、撮像装置によって撮像した被験者の画像データを画素値に変換し、この画素値を解析して均等色空間データに変換し、得られた均等色空間データを予め取得しておいた正常（健康）状態のデータと比較し、正常状態のデータからある一定の尺度で離れている場合には撮像した被験者が異常（不健康）状態であると判断する診断システムを提供した（特許文献１参照）。
【特許文献１】特願２００４−３６６５０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１は、被験者の状態が正常状態であるか異常状態であるかを判断するだけに留まるものであり、被験者の状態に適した診断をするためには更なる改良が必要であった。
【０００５】
本発明は上述した点に鑑み、被験者を撮像した画像を解析して被験者の状態を診断する診断システム及び診断装置において、被験者の状態に対して最適な診断をすることができる診断システム及び診断装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため本発明の診断システムは、特定の色光の光源により被写体を照射する照射部と、被写体を撮像する撮像部と、前記照射部により照射された被写体を前記撮像部により撮像し、前記撮像により取得した画像データを解析する画像解析部と、前記画像解析部により解析された画像データと予め設定された複数の条件を比較して被写体の状態を判断する判断部と、を有することを特徴とする診断システム。
【０００７】
また、上記課題を解決するため本発明の診断装置は、特定の色光の光源により被写体を照射する照射部と、前記照射部により照射された被写体を撮像する撮像部とを有する撮像装置に接続される診断装置であって、前記撮像装置から取得した被写体の画像データを解析する画像解析部と、前記画像解析部により解析された画像データと予め設定された複数の条件を比較して被写体の状態を判断する判断部と、を有することを特徴とする。
【０００８】
上記本発明の診断システム及び診断装置によれば、人体を撮像した画像データに基づいて人体の状態を複数の状態から判断するので、人体の状態が正常、異常の２通りだけではなくより詳細に判断することができ、人体の状態に最適な診断をすることが可能となる。また、人体の病変や異常は人体表面の分光スペクトルの狭い帯域の特性に現れるが、そうした帯域の影響が強調できる特定の色光によって被写体を照射して撮像するので、画像データから病変や異常を検出しやすくなる。
【発明の効果】
【０００９】
本発明によれば、被写体の状態を詳細に判断することができるので、被写体の状態に最適な診断をすることが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について図面を参照して説明する。なお、本発明を実施するための形態の説明において用いる用語や断定的な記載により、本発明の技術的範囲が限定されることはない。
【００１１】
図１に示すように、本実施形態の診断システム１には撮像装置２が備えられており、撮像装置２には互いに通信可能なネットワークを介して診断装置１３が接続されている。さらに、診断装置１３には互いに通信可能なネットワークを介して一つ以上の外部装置２５が接続されている。なお、撮像装置２についても外部装置２５と通信可能な構成にすることも可能である。
【００１２】
本実施形態におけるネットワークはデータ通信可能である通信網を意味するものであれば特に限定されず、例えばインターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、電話回線網、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）回線網、ＣＡＴＶ（Ｃａｂｌｅ Ｔｅｌｅｖｉｓｉｏｎ）回線、光通信回線などを含めることができる。また、有線のみならず無線によって通信可能な構成としても良い。
【００１３】
外部装置２５とはパーソナルコンピュータなどであり、何らかのコンサルティングや診断が受けられる場所に設置されていることが望ましい。例えば、本実施形態に係る診断システム１で健康に関するデータを得る場合は、病院や健康管理施設などの公共施設に設置しておくことが考えられる。また、美容に関するデータの場合は、コスメティック関係の店や施設・病院などに設置しておくことが考えられる。また、外部装置２５をコンサルティング情報が得られるインターネットサイトや、コンサルタントや医師、店員などの携帯端末として構成しても良い。
【００１４】
図２に示すように、本実施形態の診断システム１が備える撮像装置２には以下の各構成部分が設けられている。
【００１５】
外部通信部３は、有線又は無線の通信手段により診断装置１３及び外部装置２５と情報通信ができるように構成されている。この外部通信部３を経由して、画像解析の結果や画像データ、バイタルデータなどを診断装置１３に送信するようになっている。
【００１６】
画像表示部４は、ＣＲＴ，液晶，有機ＥＬ，プラズマ又は投影方式などのディスプレイから構成され、撮影画像の他、外部装置２５から与えられた情報、画像処理によって得られた情報又は撮像装置２の各構成部分の状態に関する情報などを表示するようになっている。また、撮影画像から異常データが検出された際の警告を表示することや、音声手段により異常データの検出を音声で知らせることが可能な構成とすることもできる。
【００１７】
照射部５は、図３に示すように、画像表示部４の周辺縁部に設けられている。このような構成により、被験者に対して様々な方向から照明光を与えることができ、比較的照明むらの少ない画像を得ることができるようになっている。また、画像表示部４の周辺端部の上部のみ又は左右部のみに照射部５を配置しても良い。なお、画像表示部４に近接しない場所に照射部５を配置することも可能である。
【００１８】
図４は図３に示す照射部５の点線部分を拡大した図である。図４に示すように、本実施形態の照射部５にはそれぞれ異なる色光を発光する矩形光源が配列されている。そして、一点鎖線部に示すような所定のエリアの光源を組み合わせたものを１つの色光セットとし、この色光セットを図５に示すように画像表示部２の周辺縁部に配列している。このような構成により、被験者に光源からの各色光を均等に照射できるようになっている。なお、矩形光源ではなく円形光源や棒状光源を使用することも可能である。
【００１９】
照射部５が備える光源としては、蛍光ランプ，白熱電球，ＬＥＤ，レーザー，有機ＥＬなどの人工光源などを使用することが可能であるが、撮影画像への周辺環境光の影響を抑えるために、強度が強いストロボ、高輝度ＬＥＤなどの光源を使うことが望ましい。また、光源は可視光域だけでなくその周辺（紫外域、近赤外、赤外領域）にも発光特性をもつものが望ましい。また、環境光の影響をできるだけ抑えるためにはストロボのような輝度の高い光を照射できる光源であることが望ましいが、被験者の動画を撮像する場合は、強度やスペクトルなどの特性が長時間安定した光を照射できる光源であることが望ましい。また、点光源より線・面光源としたほうが、被験者に対して空間的に強度の分布が抑えられた光を得ることができるので、被験者への照明むらが抑えられて望ましい画像が得られる。
【００２０】
本実施形態の光源としては、図６に示すような発光特性をもつＬＥＤのうち２種類（色光Ａ及び色光Ｂ）のものを用い、図７にこのＬＥＤの特性を示す。こういった特性をもつＬＥＤは、例えば、色光Ａとして株式会社東芝のＴＬＰＧＥ１１００Ｂ（ピーク波長５６２ｎｍ、半値幅１１ｎｍ）、色光ＢとしてＴＬＳＨシリーズ（ピーク波長６２３ｎｍ、半値幅１３ｎｍ）などがあるが、その他市販されている各社のＬＥＤを使用することも可能である。なお、白色光源を干渉フィルタと共に使用して光源として用いることもでき、白色光源の前面に１枚以上の干渉フィルタを配置し、照明光の特性を狭帯域化させることで、任意の波長の光源を得ることができる。干渉フィルタとしては、Ｏｍｅｇａ Ｏｐｔｉｃａｌ社のバンドパスフィルタなど市販されている各社のフィルタを用いることができる。
【００２１】
なお、照射部５は、顔領域の画像を撮像する際に被験者を照明する機能を果たす他、被験者の瞳孔の動きを撮像する際に、照明の強さや波長を急激に変化させ、その照射前後の瞳孔の動きを計測することにより正常か異常かを判断することを可能とする機能も果たすことができるようになっている。
【００２２】
図８及び図９に被験者の特定部位（ａ）及び別の特定部位（ｂ）が健康（正常）状態と不健康（異常）状態であるときの分光反射率を示す。一般に、被験者に異常がある場合は体の組織や構成が変化するため、被写体表面における分光反射率が正常状態と異なる。
【００２３】
図８に示す特定部位（ａ）の例では、正常状態と異常状態は低波長側（色光Ａの帯域に重なる）において分光反射率の差異が大きく、図９に示す特定部位（ｂ）の例では、中域から高域（色光Ｂの帯域に重なる）において分光反射率の差異が大きくなっている。このように、どの波長領域において分光反射率が異なるかは被写体依存である。
【００２４】
そして、色光Ａ及び色光Ｂを被験者の特定部位（ａ）に対して照射すると、被験者の反射光のスペクトルは、図１０に示すように色光Ａ又は色光Ｂと被写体の分光反射率の積となっている。同様に、色光Ａ及び色光Ｂを被験者の他の特定部位（ｂ）に対して照射すると、被写体の反射光のスペクトルは、図１１に示すように色光Ａ又は色光Ｂと被写体の分光反射率の積となっている。
【００２５】
図２に戻り、撮像部６は、ＣＣＤやＣＭＯＳなどの撮像素子により静止画又は動画を取得することができる１つ又は複数のカメラによって構成されている。また、例えば、デジタルカメラ、ビデオカメラ、その他携帯電話などに付属のカメラモジュールにより構成しても良い。なお、被験者の画像は、被験者の立ち位置や身長に関わらず安定した構図で撮像することが望ましい。そこで、本実施形態では、図１２に示すように複数の撮像部６を等間隔に配置して被験者を撮像し、複数の撮影画像を合成して良い構図の画像を出力するように構成されるのが好ましい。また、図１３に示すように、１台の撮像部６の位置を三次元的に調整できる機構を設けて、被験者の頭部・顔などを撮像可能なように構成しても良い。また、図１４に示すように、多数のカメラモジュールの組み合わせで撮像部６を構成し、被験者を一括撮像して、所定の構図の画像を切り出すことができるように構成しても良い。
【００２６】
さらに、上述のように構図が固定された画像ではなく、被験者の動きと連動して構図が変わるような画像を得ることが望ましい場合、例えば被験者が表示画面に近づくとアップになる場合などは、１つ以上のカメラで撮像された画像を合成し、表示座標の原点を固定してそのまま表示するように構成すれば良い。
【００２７】
また、本実施形態の撮像部６は３個の画像チャンネル数を備えているが、３個以上の画像チャンネルをもつマルチチャンネル（マルチバンド）としても良い。
【００２８】
また、撮像部６は被写体表面の反射光を撮像して、ＲＧＢ画像のＲ，Ｇ，Ｂ各信号に対応する各チャンネルの画素値に変換するようになっている。上述のように、被験者の特定部位（ａ）における正常状態と異常状態の分光反射率は図１０に示すようになるが、この色光Ａ又は色光Ｂに起因する反射光を撮像部６で撮像し、チャンネル１及びチャンネル２により反射光を分離すると、図１５に示すように各チャンネルの画素値を得ることができる。同様に、被験者の他の特定部位（ｂ）における分光反射率は図１１に示すようになるが、色光Ａ又は色光Ｂに起因する反射光を分離すると、図１６に示すように画素値を得ることができる。
【００２９】
ここで、色光Ａ又は色光Ｂに起因する反射光の分離は各チャンネルの帯域の違いによって行っている。例えば、色光ＡはＲＧＢのうちチャンネル１の帯域に含まれ、色光Ｂはチャンネル２の帯域に含まれる。また、色光Ａと色光Ｂの発光のタイミングをずらして撮像することにより分離することも可能である。
【００３０】
このように、色光Ａ又は色光Ｂに起因する反射光を分離することで、被験者の特定部位（ａ）の撮影画像はチャンネル１において、特定部位（ｂ）の撮影画像はチャンネル２において、正常状態及び異常状態における画素値の分離が容易となっている。
【００３１】
図２に戻り、周辺環境情報取得部７は、環境情報取得手段としての計測計を備え、撮像装置２が設置される周辺環境の情報を取得して撮影画像の解析時に異常データの判別を支援することができるようになっている。ここで周辺環境とは、環境照明光の強度や特性，気温や水温などの温度，湿度，気圧，などをいう。また、環境照明光の取得方法としては、（ａ）照度計タイプ（ｂ）スペクトル計測計タイプ（ｃ）色温度計測タイプなどがあるが、全てを包含できる（ｂ）のタイプが望ましい。また、その他の温度、湿度、気圧については、それぞれを計測する計測器具やセンサを用いても良いし、ネットワークを通じて外部装置２５から情報を入手しても良い。
【００３２】
Ｉ／Ｏ部８は、バイタル情報取得手段としてのバイタルセンサ（体温計、体重計、体脂肪率計、血圧計、心電計、肌年齢計測計、骨密度計、肺活量計など）や、ＣＦカード、ＳＤカード、ＵＳＢメモリカードなどの可搬型デバイスを扱う機器を接続できるように構成されており、これらの機器から計測データや画像データの入出力を行うようになっている。なお、バイタルセンサは撮像装置２の一部分として構成することも可能である。
【００３３】
また、Ｉ／Ｏ部８に接続したバイタルセンサを刺激付加手段として、被験者に刺激を付加した前後の経時変化を撮像し、その画像から被験者の正常状態と異常状態を区別することもできる。ここで刺激とは、光を与える、押す、圧力を加える、温度を変える、香りを加える、音を加える、針などで刺す、物を塗る、物を注入する、などを指す。例えば、圧力センサなどにより肌の一部を圧迫し、圧迫前後の状態を計測することにより、各計測値の変化量を特徴データとして平常状態と異常状態を区別することができる。また、皮膚を水やお湯、もしくは遠赤外線などにより温め、その前後の状態を観察することで、血液の流れの変化を測定し、その変化の仕方が正常時と相違するか否かを判断することもできる。
【００３４】
メモリ部９は、ＲＡＭ、ＲＯＭなどから構成され、撮像装置２の各構成部分における処理に必要なデータを一時的に蓄えることによって、撮像装置２を高速かつ安定に動作させることができる。また、後述する個人認証により個人を特定するために、個人の顔領域画像、顔の三次元形状の計測値、その他特徴的な情報（めがねの使用、ほくろ、しみなどの情報）などの認証情報やこの認証情報に対応して基本情報（名前、身長、体重、年齢など）を記憶している。
【００３５】
データ処理部１０は、撮像部６で撮像した被験者の各部位の画像、周辺環境情報取得部７で取得した周辺環境情報、Ｉ／Ｏ部８から入力された計測データや画像データなどのデータ処理を行う。
【００３６】
すなわち、データ処理部１０は撮影画像の中から診断の対象となる興味領域の抽出を行う。例えば、興味領域が被験者の顔である場合は、予めメモリ部９に登録されている被験者の標準的な顔画像をテンプレートの基本画像とし、そのテンプレートを画面左上からラスター操作を行いテンプレートと画像の相関が一番高い箇所を顔領域とする。また、興味領域から更に部位を指定する場合は、被験者が顔枠を矩形ポインタなどで囲んで指定する手段や、被験者がポイントを指定すると、指定位置を中心として所定の大きさの矩形が表示される指定手段などを設けることも可能である。そして、興味領域の抽出を行うと、データ処理部１０は外部通信部３を経由して診断装置１３にその興味領域の画像を送信する。
【００３７】
また、データ処理部１０は、環境光の特性が変わっても見た目的に色再現の安定した画像を表示するために、環境光の特性を周辺環境情報取得部７で取得し、その色彩データに応じて表示白色の色度点や明るさを調整するようになっている。すなわち、周辺環境光や光源の特性に関わらず、安定した色再現で画像を表示するために、これらの特性を補正（キャリブレーション）する。通常、キャリブレーションではテストパターンを撮像し、その撮像データが別途指定の設定値になるように補正するが、比較的高価で保管しにくいテストパターンを使用しないで同じ処理ができるほうが望ましい。そこで、経時的にほとんど変化しないと思われる、被験者の歯や画像撮像時の背景データを使用することができる。その際、同一装置に複数の被験者が登録されている場合は被験者ごとに歯のデータを登録しておく必要がある。
【００３８】
また、データ処理部１０には、撮像部６において同じ構図で被験者を撮像する場合において、被験者がカメラの光軸方向に動く場合に、照明のあたり方によって画面上の被験者の明るさや大きさが変わらないように、それを補正する機能が設けられている。この場合においては、撮像部６で撮像された画像から撮像装置２と被験者との距離を推定する。測定方法としては、三次元測量法、ステレオ計測法などの一般的な方法を使用することができる。また、カメラでよく使われるレーザー測光用機器を撮像装置２に取り付けて計測しても良い。また、撮影画像による距離推定を各画素で行うことで、被験者の三次元形状の推定が可能となる。各画素における被験者とカメラとの距離がわかると、光源と被験者との距離が画素ごとに得られるので、より正確・詳細に表示画像の明るさを補正することができる。
【００３９】
また、データ処理部１０は、被験者の個人認証のために撮影画像から個人の特定を行うようになっている。すなわち、撮像部６で撮像された画像を解析し、メモリ部９に登録されている個人データから自動的に照合して個人を特定することができるように構成されている。この特定は、例えば顔部位を抽出した後に個人に合わせた基本となるテンプレート画像と抽出された画像との相関をとり比べることによって行う。
【００４０】
ユーザインターフェイス部１１は、キーボード、マウス、トラックボールなどから構成され、被験者の指示入力を可能とすると共に、被験者に撮像装置２の状況や要求を伝達することを可能としている。なお、被験者の負担が少ない装置構成とすることが望ましいことから、画像表示部４と一体にしてタッチパネルとしてユーザインターフェイス部１１を構成することもできる。また、スピーカーやマイクなどの音響設備を備えることにより被験者の音声によってコミュニケートできる構成とすることが望ましい。
【００４１】
また、ジェスチャ（身振りや手振り、また手話など高度なコミュニケート手段も含む）などの被験者の意思を表す動作により指示入力を可能とする構成であることが望ましい。具体的には、撮像部６により被験者の動作を撮影し、データ処理部１０により撮影画像のエッジを抽出して被験者の部位を特定し、部位に含まれる特徴点の推移を解析することで、被験者の意思通りの入力が可能となる。例えば、撮影画像が被験者の顔画像であった場合、この顔画像に含まれるあご、鼻の頭、額を特徴点とし、これらの特徴点が垂直方向に振動していると解析されると、被験者が首を縦に振っているので、「はい」を意味すると判断する。また、撮影画像が被験者の手の画像であった場合、手の人差し指を特徴点とし、特徴点が推定方向に振動していると計測されると、指を横に振っているので、「いいえ」を意味すると判断する。
【００４２】
このように、ジェスチャなどの被験者の意思を表す動作により指示入力が可能となる構成にすることにより、被験者が口のきけない人や目の悪い人であっても容易に望み通りの処理を行わせることができる。
【００４３】
なお、図２３に示すジェスチャ解析テーブルは、予めメモリ部９に記憶されており、ユーザインターフェイス部１１のマウスやキーボードを用いて、被験者が随時、修正、追加できるように構成されている。また、被験者の国籍、経済圏、文化圏、戸籍、年齢、性別などの属性により、ジェスチャの意味する内容が異なる場合がある。例えば、首を縦に振る動作は、国によって「はい」を意味する場合もあれば、「いいえ」を意味する場合もある。また、手でＯＫサインを出す動作は、「はい」を意味する場合もあれば、「お金」や「数字の０」を意味する場合もある。したがって、このような被験者の属性により意味が異なるジェスチャを使用する場合は、予めメモリ部９に被験者の基本情報に対応して属性を記録しておくことが望ましい。
【００４４】
また、ジェスチャを解析するための撮影画像は、必ずしも動画である必要はなく、静止画であっても構わない。例えば、図２４に示すように、画像表示部４に複数の項目を表示しておき、被験者が立てている指の本数を解析することにより、複数の項目の中から一つを選択することができる。また、上、下、左、右など被験者の指が指す向きを解析し、この向きに合わせてカーソルを動かして複数の項目の中から一つを選択しても良い。また、撮影部６により被験者の意思を表す動作を撮像する際は、照射部５による色光の種類は特に限定されない。
【００４５】
ユーザインターフェイス部１１では、例えば被験者の撮像時において、撮影画像による診断の興味領域が舌であった場合、被験者に舌をだすように音声もしくは文字で指示し、口の動きから舌がでたことを推測して撮像部６により撮像させることもできる。
【００４６】
また、データ処理部１０において撮影画像の中から診断の対象となる興味領域の抽出を行い、さらに興味領域から部位を指定する場合において、インターフェイス部１１において被験者が顔枠を矩形ポインタなどで囲んで指定する手段や、被験者がポイントを指定すると指定位置を中心として所定の大きさの矩形が表示される指定手段などを設けることができる。
【００４７】
また、ユーザインターフェイス部１１には、撮影画像の解析時に異常データの判別を支援する目的でデータ取得手段が設けられている。例えば、ユーザインターフェイス部１１において撮像ごとに問診を行えるシステムを構築しておくことができる。具体的には、単純に健康、不調を区別するボタンを押すようにするだけでも良い。その際に取得するデータ内容としては、現在の体調の自己判断（体が重い、熱がある、寒気がする、など）や、調子に関わる個人データ（睡眠時間や飲酒、喫煙、投薬情報など）が含まれる。音声で対話式に取得してもいいし、画像表示部４に問診票を表示してタッチパネルなどのユーザインターフェイス部１１の入力により取得しても良い。また、音声で取得する場合、声の調子がそのときの体調に関係する場合が多いので、声の周波数やトーンを解析して解析結果を問診データに加えても良い。
【００４８】
また、ユーザインターフェイス部１１には個人認証手段が設けられている。すなわち、複数の被験者が診断システム１を使用する場合、現在使用している個人を特定する必要がある。そこで、データ処理部１０における初期登録時に撮像された個人の顔領域画像などとの照合による個人の特定結果に基づき、特定結果に間違いがないかどうかを本人に確認できるようになっている。
【００４９】
また、ユーザインターフェイス部１１には、一定期間ごとに音声の出力などによって被験者に診断システム１の使用を促す手段が設けられている。なお、被験者への使用を促す手段は画像表示部４への表示であっても良い。すなわち、本実施形態の診断システム１においては一定期間ごとに被験者の正常状態データを確認・更新する必要があるので、一定期間ごと、例えば一ヶ月ごとにバイタルセンサなどの使用を被験者に促すことにより、正常状態のデータの更新を行うことが可能となっている。さらに、診断の目的によっては日常的もしくは定期的な診断システム１の使用が必要な場合がある。そこで、被験者の不在などにより診断システム１が使用されない状況が続いた場合や、定期的に撮像部２による撮像が行われない場合は、ユーザインターフェイス部１１がアラートを表示又は音声を発することによって外部に通報するように構成されている。
【００５０】
制御部１２は、ＣＰＵ及びＲＡＭを備え、撮像装置２の各構成部分を駆動制御するようになっている。本実施形態の撮像装置２は動画像も扱うため、制御部１２はできる限り高速動作・制御が可能なチップにより構成することが望ましい。また、制御部１２は、外部通信部３を経由して診断装置１３から送信される指示信号又はユーザインターフェイス部１１から入力される指示信号に基づいて、照射部５における各光源のＯｎ／Ｏｆｆを独立に制御するようになっている。なお、上記指示信号に基づく制御を行う他、他の公知な方法によって被験者を推定することも可能である。
【００５１】
次に、図２に示すように、本実施形態の診断システム１が備える診断装置１３には以下の各構成部分が設けられている。
【００５２】
外部通信部１４は、有線又は無線の通信手段により、撮像装置２及び外部装置２５と情報通信ができるように構成されている。そして、外部通信部３と同様に、この外部通信部３を経由して、画像解析の結果や画像データ、バイタルデータなどを診断装置１３又は外部装置２５に送信するようになっている。
【００５３】
画像解析部１５は、撮像装置２から外部通信部３及び外部通信部１４を経由して診断装置１３に送信された画像データに基づいて画像解析を行うようになっている。
【００５４】
ここで本実施形態においては、上述したように、人肌など対象物の病変や異常が被験者の分光スペクトルの狭い帯域の特性に現れることに着目したものであり、そうした帯域の影響が強調できる照明を照射して撮像することで、画像から病変や異常を検出しやすくしている。すなわち、撮像装置２の撮像部６において被写体表面の反射光が撮像され、チャンネルごとに画素値に変換されると、図１５に示すように被験者の特定部位（ａ）についてはチャンネル１において正常状態と異常状態の画素値の分離が容易となっており、図１６に示すように被験者の他の特定部位（ｂ）についてはチャンネル２において正常状態と異常状態の画素値の分離が容易となっている。
【００５５】
画像解析部１５は、撮像部６により変換された各チャンネルの画素値から三刺激値データ（ＲＧＢ）をそれぞれ算出し、この三刺激値データからプライマリ変換によって反応色データを算出し、この反応色データから均等色空間データ（色彩データ）に変換するようになっている。この均等色空間には、一例として、ＣＩＥのＬ＊ａ＊ｂ＊，Ｌ＊ｕ＊ｖ＊，明度方向が規格化されたｕ´ｖ´などがあり、それらの派生空間も含まれる。その後、画像解析部１５は、興味領域の均等色空間データに基づき、被験者の特定部位ごとに正常状態と異常状態の画像データを分離するようになっている。
【００５６】
判断部１６は、画像解析部１５の解析結果に基づいて医療診断などの診断を行うようになっている。すなわち、画像解析部１５で変換された均等色空間データにより、図１７に示すように正常状態・異常状態の色彩データやその他特徴量を二次元以上（本実施形態では二次元）の座標として表し、画像を解析した結果得られた座標を正常状態の座標と比較し、撮像した被験者が正常状態であるか異常状態であるかを判断するようになっている。
【００５７】
つまり、予め「正常」と判断された画像データから計測された計測値を用いて正常状態データを求めておき、この正常状態データの全てを含む領域を「正常領域」と設定する。また、この正常領域からある一定の尺度まで離れた領域を「注意領域」、この注意領域からある一定の尺度まで離れた領域を「警告領域」、これらの領域の補集合を「危険領域」と設定する。そして、判断部１６は、被験者の画像を解析した結果得られた座標がこれらのどの領域に属するかを検出することにより、被験者の状態を判断するようになっている。
【００５８】
このように、色彩データを表す二次元の座標上において、異常状態と判断する領域を「注意領域」、「警告領域」、「危険領域」の複数の領域に分割し、各領域に設定されたそれぞれの条件と被験者の画像データを解析して得られた結果とを比較し、正常、注意、警告、危険という４段階に分けて被験者の健康状態を判断するので、被験者の健康状態を詳細に判断することが可能となる。
【００５９】
なお、「正常領域」は、例えば、正常状態データの平均値を中心点とし、この中心点からある一定の尺度まで離れた領域となるように設定しても良い。更に、各領域における一定の尺度は、正常状態データのばらつきを考慮して自動的に設定できるようにしても良いし、正常状態データの平均値を表示部１９に表示させ、被験者がユーザインターフェイス部１８を用いて任意に設定できるようにしても良い。また、過去に「異常」と判断されたデータから「注意領域」、「警告領域」、「危険領域」を設定し、これらの領域の補集合を「正常領域」というように設定しても良い。
【００６０】
ここで、図１７は特定部位（ａ）または他の特定部位（ｂ）における色彩データの座標を示すものである。また、図１７における「特徴量１」とは例えばＣＩＥのａ＊やｕ＊やｕ´といった値であり、「特徴量２」とは例えばＣＩＥのｂ＊やｖ＊やｖ´といった値である。なお、他の色彩データや色彩データ以外の計測値（３次元形状やテクスチャなど）であっても良い。なお、色光Ａと色光Ｂを同時に照射してから分離するのではなく、色光Ａと色光Ｂと別々に照射して画像を撮像してから画像解析を行っても良い。
【００６１】
正常状態と異常状態の判断としては、例えば、６２０ｎｍ付近を中心とする狭帯域の色光を照射すると血液中のヘモグロビンの画像に対する関与が強調されるということが知られており、血流が途絶えてしまうような異常の検知に効果的と思われる。この場合、図６の色光Ｂを用いることにより、画像解析による正常状態と異常状態との判別の精度が向上する。
【００６２】
また、５５０ｎｍ付近を中心とする狭帯域の色光を照射すると毛細血管の強調ができるという報告もある。指先など毛細血管が集まる部分での異常を検知するのに効果的と思われる。この場合、図６の色光Ａを用いることにより、画像解析による正常状態と異常状態との判別の精度が向上するといえる。
【００６３】
また、撮像部６によって時系列的に、すなわち静止画を連続的に撮像又は動画により撮像された被験者の撮影画像を解析することにより、被験者の色彩データや三次元形状、テクスチャを計測（推定）し、それらの推定データから皮膚下の組織構造にかかわるヘモグロビン量、メラニン量、酸素飽和度などを推定することもできる。また、目の画像から、まばたき回数や目（特に白目）の色、目やにの状況などのデータを取得しても良い。
【００６４】
また、画像解析部１５は、外部通信部１４を通じてコンサルタントなどに画像データを送付する場合、被験者の許容に応じて伝送できるデータの部位を変更するようになっている。例えば、個人の特定を回避するために目や口の周りの画像を除去又は変更して伝送することを被験者が希望した場合、画像内の該当部を自動抽出し、その部位を任意の色に変更したり、モザイクやぼかしを入れたりする。
【００６５】
また個人情報を安全に秘匿するために、伝送されるデータや診断装置１３の内部のデータは、各個人ごとに暗号キーを変更して暗号化する。キーの作製方法は、公知の方法がそれぞれ使用できるが、個人ごとのキー設定を可能とするバイオメトリクスが望ましい。この場合、個人の目、鼻、口などの顔内構成要素の位置関係や鼻の高さや、顔全体の形状などの三次元形状、虹彩情報などを暗号キーとする。
【００６６】
なお、上述した撮像装置２のデータ処理部１０における被験者の個人認証のための撮影画像の解析を、診断装置１３の画像解析部１５において行い、その特定結果を外部通信部１４から撮像装置２に送信するようにしても良い。
【００６７】
Ｉ／Ｏ部１７は、ＣＦカード、ＳＤカード、ＵＳＢメモリカードなどの可搬型デバイスを接続できるように構成されている。なお、Ｉ／Ｏ部１７にバイタルセンサなどの計測装置を接続して使用するようにしても良い。
【００６８】
ユーザインターフェイス部１８は、被験者の指示入力を可能にすると共に、被験者に装置の状況や要求を伝達することができるように構成されている。撮像装置２のユーザインターフェイス部１１と同様に、被験者に負担をかけない構成が望ましいが、メンテナンスやバックアップなど装置管理者による複雑な処理が必要な場合もあるので、キーボードやマウスのみを使用することもできる。ただし、ユーザインターフェイス部１８は診断装置１３において必須の構成部分ではなく、撮像装置２のユーザインターフェイス部１１が診断装置１３のユーザインターフェイス部１８としての機能を兼ねる構成とすることもできる。この場合、撮像装置２のユーザインターフェイス部１１を通じて入出力されるデータは外部通信部３及び外部通信部１４を経由して診断装置１３に転送される。
【００６９】
表示部１９は、液晶などのディスプレイを備え、診断装置１３の動作状況やユーザインターフェイス部１８による指示入力などを表示するようになっている。また、撮影画像から異常データが検出された際の警告を表示する。異常データが検出された際の警告としては、音声手段によって知らせるように構成することも可能である。ただし、表示部１９も診断装置１３において必須の構成部分ではなく、撮像装置２の画像表示部４を用いることもできる。その場合、表示される内容は、外部通信部１４及び外部通信部３を経由して画像入出力装置に転送される。
【００７０】
記憶部２０は、バッファなどのメモリを備えており、データ保持部２１、作業領域部２２及びシステム情報保持部２３から構成されている。
【００７１】
データ保持部２１は、撮像装置２から送信された診断対象となる興味領域の画像、装置状況などの各種データや、外部装置２５から入力されたコンサルティング・診断データなどを保持するようになっている。また、データ保持部２１には、図２１に示すような被験者の生体情報や周辺環境情報などを示す診断表、図２２に示すような予約表を保持するようになっている。すなわち、診断表は、周辺環境情報取得部７から取得した周辺環境のデータ、Ｉ／Ｏ部８に接続したバイタルセンサから取得したデータ、画像解析部１５により解析された被験者の状態を示す診断結果、病院や診察所などへの診断予約の有無などからなり、この診断表を外部装置２５に送信することにより、医師が被験者の病状をある程度判断できるようになっている。また予約表は、被験者が病院や診療所などに診断予約をする際に必要な情報を記入するための項目からなり、病院やコスメティック関係の店などに設置された外部装置２５に予約表を送信することで、診断予約が行われるようになっている。
【００７２】
作業領域部２２は、診断装置１３におけるデータ処理を高速に行うため、データ処理に使用する各種データを一時的に保持するようになっている。
【００７３】
システム情報保持部２３は、撮像装置２や診断装置１３のシステム情報を保持するようになっている。このシステム情報保持部２３は、撮像装置２の照射部５が備える光源としてのＬＥＤ又はフィルタの管理番号と、効果的な被写体と、抽出できる特徴量を、図１８のようにテーブル化して登録・管理している。撮像装置２の制御部１２はこのテーブルによって照射部５が備える各光源のＯｎ／Ｏｆｆを独立に制御して被写体に適した色光を与えることが可能となっている。
【００７４】
また、システム情報保持部２３は、撮像装置２の照射部５が備える光源やフィルタの分光特性、色彩データ、経時的な特性などを管理しており、画像解析部１５が画像の解析上必要な場合にこれらのデータを参照できるようになっている。
【００７５】
また、システム情報保持部２３は、「正常」と判断された画像データから計測された計測値を用いて、画像解析部１５における画像解析による診断の基準となる「正常状態データ」を作成して保持するようになっている。この正常状態データは、データの信頼性を高めるため、一定期間ごとに被験者の正常状態を確認した上で更新されるようになっている。すなわち、画像表示部４又はユーザインターフェイス部１８において、例えば１ヶ月ごとにバイタルセンサなどの使用を被験者に促すことによって、正常状態データの更新を行うようになっている。また、最近１ヶ月のデータを基に毎日更新していくこともできる。これにより、季節や加齢による体調の変化にも対応できる。また、異常データを含む日を除いて、３０日間など所定の日数を参考にして作成しても良い。
【００７６】
また、診断システム１の導入時又は新しい被験者を登録して間もない時は、被験者個人の肌の色やその他の特徴についての情報が少なく、正常状態又は異常状態のデータを構成することができない。そこで、システム情報保持部２３に予め一般人の平均的なデータを登録しておき、初回から所定の期間はその平均データ使用して仮の計測値を得るようになっている。また、診断システム１を使用する被験者の平均データを使用して仮の計測値を得ることもできる。そして、所定の期間経過後は被験者の実データに切り替えて、それまでの画像データに対して計測値を更新するようになっている。なお、「所定の期間」はシステム情報保持部２３に予め登録しておく。
【００７７】
さらに、システム情報保持部２３は撮像装置２又は診断装置１３の各構成部分の特性を保持するようになっている。すなわち、撮像装置２の照射部５，画像表示部４，撮像部６などは経時的に特性が変動し、通常は時間とともに劣化する。そこで、システム情報保持部２３にこの経時変化の補正（調整）を行うタイミングを設定し、タグ情報から時刻情報などを読み取ることにより、指定したタイミングに従って撮像装置２又は診断装置の特性を計測・補正するようになっている。これにより、経時的に安定した画像計測値を得ることができるようになっている。
【００７８】
また、定期的に行うキャリブレーションとは別に、周辺状況が変化したときに、被験者がキャリブレーションのタイミングを指示、もしくは、画像から自動的に周辺状況の変化を検知して、キャリブレーションを行うようになっている。ここで「周辺状況が変化」とは、例えば、周辺環境照明が大きく変わった（蛍光長などの照明を交換した、近くに新しい窓をつけたなど）場合や、周囲が変わった（画像の背景が変わった、部屋を模様替えした、装置の置き位置を変えたなど）場合が考えられる。周辺状況の違いは、システム情報保持部２１に保存されている過去のデータと現状のデータを比較して、違いの程度に応じてキャリブレーションをするかどうかを判断することなどが可能である。
【００７９】
データ管理部２４は、記憶部２０のデータ保持部２１において保持される各個人の画像データにタグ（付帯情報）を付けて管理する。タグの付け方は、各データのヘッダやフッダに付帯させてもいいし、各データ名と関連づけて別ファイルにまとめても良い。
【００８０】
ここで、タグの内容は、画像の撮影日時、被験者の名前及びその属性、撮像装置２及び診断装置１３の情報、周辺環境の情報、撮影画像やＩ／Ｏ部８又はＩ／Ｏ部１７に接続したバイタルセンサから取得された計測データ値、撮影画像を主観的に診断したときの診断情報、別途取得された問診データの内容などを含める。特に、時系列的に画像データを追跡するための撮影日時などの時間情報や、その他データの前後関係を把握できるようなタグは必須である。
【００８１】
また、撮像装置２及び診断装置１３の情報として必要なのは、画像から計測データを推定するのに関係する照射部５の情報、撮像部６の特性や撮像装置２の特性、データ処理部１０におけるデータ処理方法の情報である。これらハードウェアやソフトウェアの情報はバージョンで管理されることが一般的であるので、タグにはそれぞれのバージョンＮｏ．を記載する。
【００８２】
なお、本実施形態の診断システム１が備える撮像装置２又は診断装置１３が設置される場所としては、洗面所や浴室など水周りの近くが考えられる。したがって、湿気で曇らないように、曇り止め加工やコーティングなどの防水対策を施すことが望ましい。また、ほこりがたまりやすい場所に設置することも考えて、防汚シールなどの汚れやほこり対策があることが望ましい。
【００８３】
次に、上述の診断システム１の作用について、図１９乃至図２０のフローチャートを参照して説明する。なお、本フローにおいては、被験者の健康状態を診断するものとし、外部装置２５は病院の医師のもとに設置されている。また、「正常領域」、「注意領域」、「警告領域」、「危険領域」の条件は、予め上述した方法により設定されており、システム情報保持部２３に記憶されている。
【００８４】
被験者が診断システム１の使用を開始すると、まず、撮像部６が被験者の撮像を行う。
【００８５】
データ処理部１０は、撮像部６で撮像した被験者の画像、周辺環境情報取得部７で取得した周辺環境情報、Ｉ／Ｏ部８から入力された計測データや画像データ又はユーザインターフェイス部１１から入力された被験者の指示入力データなどの入力情報を解析し、画像表示部４に画像の表示を行うと共に、照射部５の光源などを調整する。また、撮像部６で撮像された被験者の画像とメモリ部９に登録されている個人の認証情報との相関をデータ処理部１０により解析し、メモリ部９に登録された複数の登録者の中から自動的に一人の候補者を抽出する（ステップ１、以下ステップをＳともいう）。次に、「あなたは○○○○さんですか？」といったように、抽出された候補者名を画像表示部４に表示し、被験者が抽出された候補者であるか否かを質問する（Ｓ２）。
【００８６】
被験者はこの質問に対してジェスチャを行うことで回答する。なお、本実施例においては、個人認証により個人が特定されることでその個人の属性が決定するため、この段階で属性によって意味が異なるジェスチャを用いると、ジェスチャの意味する内容が判断できない場合が生じる。したがって、このようなジェスチャを用いる場合は、メモリ部９に一般的なジェスチャを初期登録しておき、被験者がジェスチャにより回答する際に初期登録しておいたジェスチャを画像表示部１４に表示し、この表示にしたがってジェスチャをするように被験者に指示すれば良い。また、属性によって意味が異なるジェスチャを用いずに、例えば、図２４に示すように、画像表示部４に被験者の回答しうる全ての項目を表示しておき、被験者が立てた指の数に応じて項目を選択するようにしても良い。
【００８７】
撮像部６は被験者が行ったジェスチャを画像データとして取得する（Ｓ３）。そして、上述したように、データ処理部１０は取得した画像データのエッジを抽出して被験者の部位を特定し、部位に含まれる特徴点の推移を解析する（Ｓ４）。解析した結果、被験者のジェスチャが意味する内容が「いいえ」である場合は（Ｓ５でＮＯ）、被験者は画像表示部４に表示された候補者ではないので、Ｓ１に戻り、データ処理部１０での比較結果が次に被験者に近いと思われる候補者を抽出し、上記と同様の処理を繰り返す。
【００８８】
一方、ステップ５において、被験者のジェスチャが意味する内容が「はい」である場合は（Ｓ５でＹＥＳ）、被験者の個人認証が完了する。そして、個人認証により特定された被験者の身長、体重、年齢などの基本情報をメモリ部９から取得する（Ｓ６）。なお、このステップにおいて、周辺環境情報取得部７から周辺環境の情報を取得したり、Ｉ／Ｏ部８に接続されたバイタルセンサから被験者の体温、血圧、脈拍などを示す生理情報を取得するようにしても良い。
【００８９】
次に、撮像部６が被験者のうち診断対象となる部位の画像を撮像する（Ｓ７）。この際、照射部５が複数の光源を照射して撮像を行う。すなわち、光源としてはＬＥＤを使用するか、白色光源を干渉フィルタと共に使用するが、本実施形態の照射部５では、図６に示す特性を有する光源のうち２種類の光源（色光Ａ及び色光Ｂ）を使用する。これにより、図８に示す特定部位（ａ）の例では、正常状態と異常状態で低波長側（色光Ａの帯域に重なる）の差異が大きく、図９に示す特定部位（ｂ）の例では、中域から高域（色光Ｂの帯域に重なる）の差異が大きくなる。そして、色光Ａ及び色光Ｂを被験者の特定部位（ａ）に対して照射すると、被写体の反射光のスペクトルは図１０に示すように色光Ａ又は色光Ｂと被写体の分光反射率の積となる。同様に、色光Ａ及び色光Ｂを被験者の他の特定部位（ｂ）に対して照射すると、被験者の反射光のスペクトルは図１１に示すように色光Ａ又は色光Ｂと被写体の分光反射率の積となる。
【００９０】
そして、撮像部６は、被験者表面の反射光を撮像して画素値に変換する。その際、チャンネルによって各色光に起因する反射光を分離することで、被験者の特定部位ごとに正常状態及び異常状態における画素値を分離しやすくする。さらに、データ処理部１０は撮影画像の中から興味領域の抽出を行う（Ｓ８）。
【００９１】
撮像装置２から外部通信部３及び外部通信部１４を経由して、興味領域の撮影画像を診断装置１３に送信する。そして、診断装置１３に送信された興味領域の撮影画像は、記憶部２０のデータ保持部２１が保持する（Ｓ９）。データ管理部２２は、データ保持部２１において保持される各個人の画像データにタグ（付帯情報）を付けて管理する。
【００９２】
そして、画像解析部１５はデータ保持部２１が保持する興味領域の画素値から三刺激値データ（ＲＧＢ）をそれぞれ算出し、この三刺激値データからプライマリ変換によって反応色データを算出し、この反応色データから均等色空間データに変換する（Ｓ１０）。その後、画像解析部１５は均等色空間データに基づき、被験者の特定部位ごとに正常時と異常時の画像データを分離する（Ｓ１１）。
【００９３】
次に、図２０に進み、均等色空間データによって、図１７に示すように正常状態・異常状態の色彩データやその他特徴量を二次元以上（本実施形態では二次元）の座標として表し、判断部１６は正常時と異常時の座標を比較する（Ｓ１２）。すなわち、得られた座標が正常状態データから求められた正常領域に属するか否かを判断する。なお、このステップにおいて、撮像部６によって時系列的（静止画を連続的に、動画的に）に撮像された被験者の撮影画像を解析することにより、被験者の色彩データや三次元形状、テクスチャを計測（推定）し、それらの推定データから皮膚下の組織構造にかかわるヘモグロビン量、メラニン量、酸素飽和度などを推定することもできる。また、目の画像から、まばたき回数や目（特に白目）の色、目やにの状況などのデータを取得しても良い。
【００９４】
判断部１６が正常領域に属すると判断した場合（Ｓ１２でＹＥＳ）は、被験者の健康状態は正常である旨を画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。一方、判断部１６が正常領域に属さないと診断した場合（Ｓ１２でＮＯ）は、注意領域に属するか否かを判断する（Ｓ１４）。
【００９５】
判断部１６が注意領域に属すると判断した場合（Ｓ１４でＹＥＳ）は、被験者の健康状態が注意状態である旨の診断結果を取得する（Ｓ１７）。そして、ユーザインターフェイス部１１が「体調は良いですか？」などの音声を出力する、あるいは画像表示部４が文字を表示し（Ｓ１８）、被験者の体調が良いか否かを被験者に質問する。この質問に対して、被験者はジェスチャを行うことで回答する。撮像部６は被験者が行ったジェスチャを画像データとして取得する（Ｓ１９）。そして、データ処理部１０は取得した画像データのエッジを抽出して被験者の部位を特定し、部位に含まれる特徴点の推移と図２３に示すようなジェスチャ解析テーブルに基づいて、被験者が行ったジェスチャを解析する（Ｓ２０）。解析した結果、ジェスチャの意味する内容が「はい」である場合は（Ｓ２１でＹＥＳ）、被験者の健康状態が注意状態である旨を画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。
【００９６】
ジェスチャの意味する内容が「いいえ」である場合は（Ｓ１９でＮＯ）は、ユーザインターフェイス部１１が「医師による診断は必要ですか？」などの音声を出力する、あるいは画像表示部４が文字を表示し（Ｓ２３）、被験者に対して医師による診断が必要であるか否かを質問する。この質問に対して、被験者はジェスチャを行うことにより回答する。撮像部６は被験者が行ったジェスチャを画像データとして取得する（Ｓ２４）。そして、データ処理部１０は取得した画像データのエッジを抽出して被験者の部位を特定し、部位に含まれる特徴点の推移と、図２３に示すジェスチャ解析テーブルに基づいて被験者が行ったジェスチャを解析する（Ｓ２５）。
【００９７】
解析した結果、ジェスチャの意味する内容が「はい」である場合は（Ｓ２６でＹＥＳ）、画像表示部４又は表示部１９は医師の診断予約を行うために、図２２に示すような予約表を画面上に表示するとともに、被験者に所定の項目を入力するように促す（Ｓ２７）。被験者により所定の項目が入力され、更に、図示の送信ボタンをクリックしたことが検知されると（Ｓ２８）、診断予約の入力処理が完了し、予約表を外部通信部１４を経由して外部装置２５に送信する（Ｓ２９）。次に、ユーザインターフェイス部１１が「診断表を医師に送信しても良いですか？」などの音声を出力する、あるいは画像表示部４が文字を表示し（Ｓ３０）、被験者の診断結果を医師に送信してもよいか否かを被験者に質問する。この質問に対して、被験者はジェスチャを行うことで回答する。撮像部６は被験者が行ったジェスチャを画像データとして取得する（Ｓ３１）。そして、データ処理部１０は取得した画像データのエッジを抽出して被験者の部位を特定し、部位に含まれる特徴点の推移と図２３に示すジェスチャ解析テーブルに基づいて、被験者が行ったジェスチャを解析する（Ｓ３２）。
【００９８】
解析した結果、被験者のジェスチャが意味する内容が「はい」である場合は（Ｓ３３でＹＥＳ）、上記診断システム１による処理で得られた診断結果に基づいて診断表を作成し（Ｓ３４）、医師に診断表を送信する（Ｓ３５）。そして、被験者の健康状態が注意状態であることと、医師に予約表、診断表を送信したことを画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。ステップ３３に戻り、被験者のジェスチャが意味する内容が「いいえ」である場合は（Ｓ３３でＮＯ）、被験者の健康状態が注意状態であることと、医師に予約表を送信したことを画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。
【００９９】
ステップ２６に戻り、ジェスチャの意味する内容が「いいえ」である場合は（Ｓ２６でＮＯ）、上述したステップ３０以降の処理を行った後、被験者の健康状態が注意状態であることと、医師への診断表の送信の有無（Ｓ３３の判断結果による）を画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。
【０１００】
ステップ１４に戻り、判断部１６が注意領域に属さないと判断した場合（Ｓ１４でＮＯ）は、警告領域に属するか否かを判断する（Ｓ１５）。判断部１６が警告領域に属すると判断した場合（Ｓ１５でＹＥＳ）は、被験者の健康状態が警告状態である旨の診断結果を取得する（Ｓ２２）。そして、上述したステップ２３以降の処理を行った後、被験者の健康状態が警告状態である旨と、医師への診断予約、診断表の送付の有無を画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。
【０１０１】
ステップ１５に戻り、判断部１６が警告領域に属さないと判断した場合（Ｓ１５でＮＯ）は、被験者の状態は危険領域であると判断し、被験者の健康状態が危険状態である旨の診断結果を取得する（Ｓ１６）。そして、上述したステップ２７以降の処理を行った後、被験者の健康状態が危険状態であること、医師に診断表を送信したこと、診断表の送信の有無（Ｓ３３の判断結果による）を画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。
【０１０２】
なお、上記フローのステップ１〜５において、何度繰り返しても被験者が特定できない場合は、被験者に名前の入力を促す（画像表示部４に「あなたの名前は？」と表示すると同時に登録されている候補者リストを表示し、被験者はその中から選択する）処理を行うことができる。また、ステップ１３において、画像表示部４又は表示部１９に表示する内容は、上記内容に限られず、例えば、被験者の診断結果から推測される病状、今後の対処方法、過去の診断結果なども合わせて表示するようにしても良い。また、診断システム１の質問に対して被験者のジェスチャにより回答するように構成したが、回答方法はジェスチャに限られず、上述したようなユーザインターフェイス部１１のマウスやキーボードなどの入力操作や音声入力により回答するように構成しても良い。
【０１０３】
以上より、本実施形態の診断システム１によれば、異常状態と判断する領域を「注意領域」、「警告領域」、「危険領域」という複数の領域に分割し、各領域に設定されたそれぞれの条件と被験者の画像データを解析して得られた結果を比較することにより、被験者の健康状態を正常、注意、警告、危険という４段階に分けて判断するように構成したので、被験者の状態を詳細に判断することができ、被験者の健康状態に最適な診断をすることが可能となる。
【０１０４】
また、被験者の病変や異常は被験者表面の分光スペクトルの狭い帯域の特性に現れるが、そうした帯域の影響が強調できる特定の色光によって被験者を照射して撮影するので、画像データから病変や異常を検出しやすくなる。
【０１０５】
また、正常状態と異常状態における被写体表面の分光反射率がどの波長領域において顕著に相違するかは被写体依存だが、この波長領域に対応した各色光に起因する反射光をチャンネルによって分離するので、特定の被写体に対して特定のチャンネルで正常状態と異常状態の画素値の分離が容易となる。
【０１０６】
また、座標上において正常状態と異常状態のデータを視覚により容易に判別することができる。
【０１０７】
以上詳細に説明したように、本発明の診断システムによれば、特定の色光で照射するので、画像データから病変や異常を検出しやすくなり、正常、注意、警告、危険状態を判別して診断の精度を向上させることができる。
【０１０８】
また、特定の被写体に対して特定のチャンネルで正常状態と異常状態の画素値の分離が容易となる。
【０１０９】
なお、本実施形態においては、データ管理の都合上、診断装置１には撮像装置２と診断装置１３を別々に設けたが、例えば、ユーザインターフェイス部１１とユーザインターフェイス部１８、画像表示部４と表示部１９といった同一の機能を有するものを一つにまとめ、撮像装置２と診断装置１３を一つの装置として構成しても良い。また、異常状態を注意状態、警告状態、危険状態の３つに分けて被験者の健康状態を判断するようにしたが、特にこれに限定されるものではなく、例えば２つや４つに分けて健康状態を判断するようにしても構わない。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施形態に係る診断システムの全体構成を示す概略図である。
【図２】本発明の実施形態に係る診断システムの全体構成を示すブロック図である。
【図３】本発明の実施形態に係る画像表示部及び照射部を示す正面図である。
【図４】本発明の実施形態に係る照射部が備える光源の例を示す部分拡大図である。
【図５】本発明の実施形態に係る照射部の光源が構成する色光ユニットの配置を示す正面図である。
【図６】ＬＥＤの放射スペクトル例を表すグラフである。
【図７】本発明の実施形態に係る照射部が備える光源の特性を表すグラフである。
【図８】被写体の特定部位（ａ）の分光反射率を表すグラフである。
【図９】被写体の他の特定部位（ｂ）の分光反射率を表すグラフである。
【図１０】被写体の特定部位（ａ）の反射光を示すグラフである。
【図１１】被写体の特定部位（ｂ）の反射光を示すグラフである。
【図１２】本発明の実施形態に係る撮像部の配置を示す図である。
【図１３】本発明の実施形態に係る撮像部の他の配置を示す図である。
【図１４】本発明の実施形態に係る撮像部の他の配置を示す図である。
【図１５】被写体の特定部位（ａ）の反射光を変換した画素値のグラフである。
【図１６】被写体の特定部位（ｂ）の反射光を変換した画素値のグラフである。
【図１７】被写体の特定部位（ａ）または特定部位（ｂ）の画素値を色彩データとして座標上に表した図である。
【図１８】本発明の実施形態に係るシステム情報保持部が備えるテーブルの例を示す図である。
【図１９】本発明の実施形態に係る診断システムの作用を示すフローチャートである。
【図２０】本発明の実施形態に係る診断システムの作用を示すフローチャートである。
【図２１】診断表の一例を示す図である。
【図２２】予約表の一例を示す図である。
【図２３】ジェスチャ解析テーブルの一例を示す図である。
【図２４】画像表示部に複数の項目を表示し、ジェスチャにより項目を選択する概念図である。
【符号の説明】
【０１１１】
１ 診断システム
２ 撮像装置
３ 外部通信部
４ 画像表示部
５ 照射部
６ 撮像部
７ 周辺環境情報取得部
８ Ｉ／Ｏ部
９ メモリ部
１０ データ処理部
１１ ユーザインターフェイス部
１２ 制御部
１３ 診断装置
１４ 外部通信部
１５ 画像解析部
１６ 判断部
１７ Ｉ／Ｏ部
１８ ユーザインターフェイス部
１９ 表示部
２０ 記憶部
２１ データ保持部
２２ 作業領域部
２３ システム情報保持部
２４ データ管理部
２５ 外部装置
【技術分野】
【０００１】
本発明は診断システム及び診断装置に関し、特に被験者の各部位の撮影画像から医療診断などを行う診断システム及び診断装置に関する。
【背景技術】
【０００２】
昨今、被験者（被写体）をセンサやＣＣＤカメラなどによって撮像し、これにより得られた画像データを解析して医療診断や美容診断などを行う診断システムが開発されている。
【０００３】
例えば、本出願人は、先に、撮像装置によって撮像した被験者の画像データを画素値に変換し、この画素値を解析して均等色空間データに変換し、得られた均等色空間データを予め取得しておいた正常（健康）状態のデータと比較し、正常状態のデータからある一定の尺度で離れている場合には撮像した被験者が異常（不健康）状態であると判断する診断システムを提供した（特許文献１参照）。
【特許文献１】特願２００４−３６６５０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１は、被験者の状態が正常状態であるか異常状態であるかを判断するだけに留まるものであり、被験者の状態に適した診断をするためには更なる改良が必要であった。
【０００５】
本発明は上述した点に鑑み、被験者を撮像した画像を解析して被験者の状態を診断する診断システム及び診断装置において、被験者の状態に対して最適な診断をすることができる診断システム及び診断装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため本発明の診断システムは、特定の色光の光源により被写体を照射する照射部と、被写体を撮像する撮像部と、前記照射部により照射された被写体を前記撮像部により撮像し、前記撮像により取得した画像データを解析する画像解析部と、前記画像解析部により解析された画像データと予め設定された複数の条件を比較して被写体の状態を判断する判断部と、を有することを特徴とする診断システム。
【０００７】
また、上記課題を解決するため本発明の診断装置は、特定の色光の光源により被写体を照射する照射部と、前記照射部により照射された被写体を撮像する撮像部とを有する撮像装置に接続される診断装置であって、前記撮像装置から取得した被写体の画像データを解析する画像解析部と、前記画像解析部により解析された画像データと予め設定された複数の条件を比較して被写体の状態を判断する判断部と、を有することを特徴とする。
【０００８】
上記本発明の診断システム及び診断装置によれば、人体を撮像した画像データに基づいて人体の状態を複数の状態から判断するので、人体の状態が正常、異常の２通りだけではなくより詳細に判断することができ、人体の状態に最適な診断をすることが可能となる。また、人体の病変や異常は人体表面の分光スペクトルの狭い帯域の特性に現れるが、そうした帯域の影響が強調できる特定の色光によって被写体を照射して撮像するので、画像データから病変や異常を検出しやすくなる。
【発明の効果】
【０００９】
本発明によれば、被写体の状態を詳細に判断することができるので、被写体の状態に最適な診断をすることが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について図面を参照して説明する。なお、本発明を実施するための形態の説明において用いる用語や断定的な記載により、本発明の技術的範囲が限定されることはない。
【００１１】
図１に示すように、本実施形態の診断システム１には撮像装置２が備えられており、撮像装置２には互いに通信可能なネットワークを介して診断装置１３が接続されている。さらに、診断装置１３には互いに通信可能なネットワークを介して一つ以上の外部装置２５が接続されている。なお、撮像装置２についても外部装置２５と通信可能な構成にすることも可能である。
【００１２】
本実施形態におけるネットワークはデータ通信可能である通信網を意味するものであれば特に限定されず、例えばインターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、電話回線網、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）回線網、ＣＡＴＶ（Ｃａｂｌｅ Ｔｅｌｅｖｉｓｉｏｎ）回線、光通信回線などを含めることができる。また、有線のみならず無線によって通信可能な構成としても良い。
【００１３】
外部装置２５とはパーソナルコンピュータなどであり、何らかのコンサルティングや診断が受けられる場所に設置されていることが望ましい。例えば、本実施形態に係る診断システム１で健康に関するデータを得る場合は、病院や健康管理施設などの公共施設に設置しておくことが考えられる。また、美容に関するデータの場合は、コスメティック関係の店や施設・病院などに設置しておくことが考えられる。また、外部装置２５をコンサルティング情報が得られるインターネットサイトや、コンサルタントや医師、店員などの携帯端末として構成しても良い。
【００１４】
図２に示すように、本実施形態の診断システム１が備える撮像装置２には以下の各構成部分が設けられている。
【００１５】
外部通信部３は、有線又は無線の通信手段により診断装置１３及び外部装置２５と情報通信ができるように構成されている。この外部通信部３を経由して、画像解析の結果や画像データ、バイタルデータなどを診断装置１３に送信するようになっている。
【００１６】
画像表示部４は、ＣＲＴ，液晶，有機ＥＬ，プラズマ又は投影方式などのディスプレイから構成され、撮影画像の他、外部装置２５から与えられた情報、画像処理によって得られた情報又は撮像装置２の各構成部分の状態に関する情報などを表示するようになっている。また、撮影画像から異常データが検出された際の警告を表示することや、音声手段により異常データの検出を音声で知らせることが可能な構成とすることもできる。
【００１７】
照射部５は、図３に示すように、画像表示部４の周辺縁部に設けられている。このような構成により、被験者に対して様々な方向から照明光を与えることができ、比較的照明むらの少ない画像を得ることができるようになっている。また、画像表示部４の周辺端部の上部のみ又は左右部のみに照射部５を配置しても良い。なお、画像表示部４に近接しない場所に照射部５を配置することも可能である。
【００１８】
図４は図３に示す照射部５の点線部分を拡大した図である。図４に示すように、本実施形態の照射部５にはそれぞれ異なる色光を発光する矩形光源が配列されている。そして、一点鎖線部に示すような所定のエリアの光源を組み合わせたものを１つの色光セットとし、この色光セットを図５に示すように画像表示部２の周辺縁部に配列している。このような構成により、被験者に光源からの各色光を均等に照射できるようになっている。なお、矩形光源ではなく円形光源や棒状光源を使用することも可能である。
【００１９】
照射部５が備える光源としては、蛍光ランプ，白熱電球，ＬＥＤ，レーザー，有機ＥＬなどの人工光源などを使用することが可能であるが、撮影画像への周辺環境光の影響を抑えるために、強度が強いストロボ、高輝度ＬＥＤなどの光源を使うことが望ましい。また、光源は可視光域だけでなくその周辺（紫外域、近赤外、赤外領域）にも発光特性をもつものが望ましい。また、環境光の影響をできるだけ抑えるためにはストロボのような輝度の高い光を照射できる光源であることが望ましいが、被験者の動画を撮像する場合は、強度やスペクトルなどの特性が長時間安定した光を照射できる光源であることが望ましい。また、点光源より線・面光源としたほうが、被験者に対して空間的に強度の分布が抑えられた光を得ることができるので、被験者への照明むらが抑えられて望ましい画像が得られる。
【００２０】
本実施形態の光源としては、図６に示すような発光特性をもつＬＥＤのうち２種類（色光Ａ及び色光Ｂ）のものを用い、図７にこのＬＥＤの特性を示す。こういった特性をもつＬＥＤは、例えば、色光Ａとして株式会社東芝のＴＬＰＧＥ１１００Ｂ（ピーク波長５６２ｎｍ、半値幅１１ｎｍ）、色光ＢとしてＴＬＳＨシリーズ（ピーク波長６２３ｎｍ、半値幅１３ｎｍ）などがあるが、その他市販されている各社のＬＥＤを使用することも可能である。なお、白色光源を干渉フィルタと共に使用して光源として用いることもでき、白色光源の前面に１枚以上の干渉フィルタを配置し、照明光の特性を狭帯域化させることで、任意の波長の光源を得ることができる。干渉フィルタとしては、Ｏｍｅｇａ Ｏｐｔｉｃａｌ社のバンドパスフィルタなど市販されている各社のフィルタを用いることができる。
【００２１】
なお、照射部５は、顔領域の画像を撮像する際に被験者を照明する機能を果たす他、被験者の瞳孔の動きを撮像する際に、照明の強さや波長を急激に変化させ、その照射前後の瞳孔の動きを計測することにより正常か異常かを判断することを可能とする機能も果たすことができるようになっている。
【００２２】
図８及び図９に被験者の特定部位（ａ）及び別の特定部位（ｂ）が健康（正常）状態と不健康（異常）状態であるときの分光反射率を示す。一般に、被験者に異常がある場合は体の組織や構成が変化するため、被写体表面における分光反射率が正常状態と異なる。
【００２３】
図８に示す特定部位（ａ）の例では、正常状態と異常状態は低波長側（色光Ａの帯域に重なる）において分光反射率の差異が大きく、図９に示す特定部位（ｂ）の例では、中域から高域（色光Ｂの帯域に重なる）において分光反射率の差異が大きくなっている。このように、どの波長領域において分光反射率が異なるかは被写体依存である。
【００２４】
そして、色光Ａ及び色光Ｂを被験者の特定部位（ａ）に対して照射すると、被験者の反射光のスペクトルは、図１０に示すように色光Ａ又は色光Ｂと被写体の分光反射率の積となっている。同様に、色光Ａ及び色光Ｂを被験者の他の特定部位（ｂ）に対して照射すると、被写体の反射光のスペクトルは、図１１に示すように色光Ａ又は色光Ｂと被写体の分光反射率の積となっている。
【００２５】
図２に戻り、撮像部６は、ＣＣＤやＣＭＯＳなどの撮像素子により静止画又は動画を取得することができる１つ又は複数のカメラによって構成されている。また、例えば、デジタルカメラ、ビデオカメラ、その他携帯電話などに付属のカメラモジュールにより構成しても良い。なお、被験者の画像は、被験者の立ち位置や身長に関わらず安定した構図で撮像することが望ましい。そこで、本実施形態では、図１２に示すように複数の撮像部６を等間隔に配置して被験者を撮像し、複数の撮影画像を合成して良い構図の画像を出力するように構成されるのが好ましい。また、図１３に示すように、１台の撮像部６の位置を三次元的に調整できる機構を設けて、被験者の頭部・顔などを撮像可能なように構成しても良い。また、図１４に示すように、多数のカメラモジュールの組み合わせで撮像部６を構成し、被験者を一括撮像して、所定の構図の画像を切り出すことができるように構成しても良い。
【００２６】
さらに、上述のように構図が固定された画像ではなく、被験者の動きと連動して構図が変わるような画像を得ることが望ましい場合、例えば被験者が表示画面に近づくとアップになる場合などは、１つ以上のカメラで撮像された画像を合成し、表示座標の原点を固定してそのまま表示するように構成すれば良い。
【００２７】
また、本実施形態の撮像部６は３個の画像チャンネル数を備えているが、３個以上の画像チャンネルをもつマルチチャンネル（マルチバンド）としても良い。
【００２８】
また、撮像部６は被写体表面の反射光を撮像して、ＲＧＢ画像のＲ，Ｇ，Ｂ各信号に対応する各チャンネルの画素値に変換するようになっている。上述のように、被験者の特定部位（ａ）における正常状態と異常状態の分光反射率は図１０に示すようになるが、この色光Ａ又は色光Ｂに起因する反射光を撮像部６で撮像し、チャンネル１及びチャンネル２により反射光を分離すると、図１５に示すように各チャンネルの画素値を得ることができる。同様に、被験者の他の特定部位（ｂ）における分光反射率は図１１に示すようになるが、色光Ａ又は色光Ｂに起因する反射光を分離すると、図１６に示すように画素値を得ることができる。
【００２９】
ここで、色光Ａ又は色光Ｂに起因する反射光の分離は各チャンネルの帯域の違いによって行っている。例えば、色光ＡはＲＧＢのうちチャンネル１の帯域に含まれ、色光Ｂはチャンネル２の帯域に含まれる。また、色光Ａと色光Ｂの発光のタイミングをずらして撮像することにより分離することも可能である。
【００３０】
このように、色光Ａ又は色光Ｂに起因する反射光を分離することで、被験者の特定部位（ａ）の撮影画像はチャンネル１において、特定部位（ｂ）の撮影画像はチャンネル２において、正常状態及び異常状態における画素値の分離が容易となっている。
【００３１】
図２に戻り、周辺環境情報取得部７は、環境情報取得手段としての計測計を備え、撮像装置２が設置される周辺環境の情報を取得して撮影画像の解析時に異常データの判別を支援することができるようになっている。ここで周辺環境とは、環境照明光の強度や特性，気温や水温などの温度，湿度，気圧，などをいう。また、環境照明光の取得方法としては、（ａ）照度計タイプ（ｂ）スペクトル計測計タイプ（ｃ）色温度計測タイプなどがあるが、全てを包含できる（ｂ）のタイプが望ましい。また、その他の温度、湿度、気圧については、それぞれを計測する計測器具やセンサを用いても良いし、ネットワークを通じて外部装置２５から情報を入手しても良い。
【００３２】
Ｉ／Ｏ部８は、バイタル情報取得手段としてのバイタルセンサ（体温計、体重計、体脂肪率計、血圧計、心電計、肌年齢計測計、骨密度計、肺活量計など）や、ＣＦカード、ＳＤカード、ＵＳＢメモリカードなどの可搬型デバイスを扱う機器を接続できるように構成されており、これらの機器から計測データや画像データの入出力を行うようになっている。なお、バイタルセンサは撮像装置２の一部分として構成することも可能である。
【００３３】
また、Ｉ／Ｏ部８に接続したバイタルセンサを刺激付加手段として、被験者に刺激を付加した前後の経時変化を撮像し、その画像から被験者の正常状態と異常状態を区別することもできる。ここで刺激とは、光を与える、押す、圧力を加える、温度を変える、香りを加える、音を加える、針などで刺す、物を塗る、物を注入する、などを指す。例えば、圧力センサなどにより肌の一部を圧迫し、圧迫前後の状態を計測することにより、各計測値の変化量を特徴データとして平常状態と異常状態を区別することができる。また、皮膚を水やお湯、もしくは遠赤外線などにより温め、その前後の状態を観察することで、血液の流れの変化を測定し、その変化の仕方が正常時と相違するか否かを判断することもできる。
【００３４】
メモリ部９は、ＲＡＭ、ＲＯＭなどから構成され、撮像装置２の各構成部分における処理に必要なデータを一時的に蓄えることによって、撮像装置２を高速かつ安定に動作させることができる。また、後述する個人認証により個人を特定するために、個人の顔領域画像、顔の三次元形状の計測値、その他特徴的な情報（めがねの使用、ほくろ、しみなどの情報）などの認証情報やこの認証情報に対応して基本情報（名前、身長、体重、年齢など）を記憶している。
【００３５】
データ処理部１０は、撮像部６で撮像した被験者の各部位の画像、周辺環境情報取得部７で取得した周辺環境情報、Ｉ／Ｏ部８から入力された計測データや画像データなどのデータ処理を行う。
【００３６】
すなわち、データ処理部１０は撮影画像の中から診断の対象となる興味領域の抽出を行う。例えば、興味領域が被験者の顔である場合は、予めメモリ部９に登録されている被験者の標準的な顔画像をテンプレートの基本画像とし、そのテンプレートを画面左上からラスター操作を行いテンプレートと画像の相関が一番高い箇所を顔領域とする。また、興味領域から更に部位を指定する場合は、被験者が顔枠を矩形ポインタなどで囲んで指定する手段や、被験者がポイントを指定すると、指定位置を中心として所定の大きさの矩形が表示される指定手段などを設けることも可能である。そして、興味領域の抽出を行うと、データ処理部１０は外部通信部３を経由して診断装置１３にその興味領域の画像を送信する。
【００３７】
また、データ処理部１０は、環境光の特性が変わっても見た目的に色再現の安定した画像を表示するために、環境光の特性を周辺環境情報取得部７で取得し、その色彩データに応じて表示白色の色度点や明るさを調整するようになっている。すなわち、周辺環境光や光源の特性に関わらず、安定した色再現で画像を表示するために、これらの特性を補正（キャリブレーション）する。通常、キャリブレーションではテストパターンを撮像し、その撮像データが別途指定の設定値になるように補正するが、比較的高価で保管しにくいテストパターンを使用しないで同じ処理ができるほうが望ましい。そこで、経時的にほとんど変化しないと思われる、被験者の歯や画像撮像時の背景データを使用することができる。その際、同一装置に複数の被験者が登録されている場合は被験者ごとに歯のデータを登録しておく必要がある。
【００３８】
また、データ処理部１０には、撮像部６において同じ構図で被験者を撮像する場合において、被験者がカメラの光軸方向に動く場合に、照明のあたり方によって画面上の被験者の明るさや大きさが変わらないように、それを補正する機能が設けられている。この場合においては、撮像部６で撮像された画像から撮像装置２と被験者との距離を推定する。測定方法としては、三次元測量法、ステレオ計測法などの一般的な方法を使用することができる。また、カメラでよく使われるレーザー測光用機器を撮像装置２に取り付けて計測しても良い。また、撮影画像による距離推定を各画素で行うことで、被験者の三次元形状の推定が可能となる。各画素における被験者とカメラとの距離がわかると、光源と被験者との距離が画素ごとに得られるので、より正確・詳細に表示画像の明るさを補正することができる。
【００３９】
また、データ処理部１０は、被験者の個人認証のために撮影画像から個人の特定を行うようになっている。すなわち、撮像部６で撮像された画像を解析し、メモリ部９に登録されている個人データから自動的に照合して個人を特定することができるように構成されている。この特定は、例えば顔部位を抽出した後に個人に合わせた基本となるテンプレート画像と抽出された画像との相関をとり比べることによって行う。
【００４０】
ユーザインターフェイス部１１は、キーボード、マウス、トラックボールなどから構成され、被験者の指示入力を可能とすると共に、被験者に撮像装置２の状況や要求を伝達することを可能としている。なお、被験者の負担が少ない装置構成とすることが望ましいことから、画像表示部４と一体にしてタッチパネルとしてユーザインターフェイス部１１を構成することもできる。また、スピーカーやマイクなどの音響設備を備えることにより被験者の音声によってコミュニケートできる構成とすることが望ましい。
【００４１】
また、ジェスチャ（身振りや手振り、また手話など高度なコミュニケート手段も含む）などの被験者の意思を表す動作により指示入力を可能とする構成であることが望ましい。具体的には、撮像部６により被験者の動作を撮影し、データ処理部１０により撮影画像のエッジを抽出して被験者の部位を特定し、部位に含まれる特徴点の推移を解析することで、被験者の意思通りの入力が可能となる。例えば、撮影画像が被験者の顔画像であった場合、この顔画像に含まれるあご、鼻の頭、額を特徴点とし、これらの特徴点が垂直方向に振動していると解析されると、被験者が首を縦に振っているので、「はい」を意味すると判断する。また、撮影画像が被験者の手の画像であった場合、手の人差し指を特徴点とし、特徴点が推定方向に振動していると計測されると、指を横に振っているので、「いいえ」を意味すると判断する。
【００４２】
このように、ジェスチャなどの被験者の意思を表す動作により指示入力が可能となる構成にすることにより、被験者が口のきけない人や目の悪い人であっても容易に望み通りの処理を行わせることができる。
【００４３】
なお、図２３に示すジェスチャ解析テーブルは、予めメモリ部９に記憶されており、ユーザインターフェイス部１１のマウスやキーボードを用いて、被験者が随時、修正、追加できるように構成されている。また、被験者の国籍、経済圏、文化圏、戸籍、年齢、性別などの属性により、ジェスチャの意味する内容が異なる場合がある。例えば、首を縦に振る動作は、国によって「はい」を意味する場合もあれば、「いいえ」を意味する場合もある。また、手でＯＫサインを出す動作は、「はい」を意味する場合もあれば、「お金」や「数字の０」を意味する場合もある。したがって、このような被験者の属性により意味が異なるジェスチャを使用する場合は、予めメモリ部９に被験者の基本情報に対応して属性を記録しておくことが望ましい。
【００４４】
また、ジェスチャを解析するための撮影画像は、必ずしも動画である必要はなく、静止画であっても構わない。例えば、図２４に示すように、画像表示部４に複数の項目を表示しておき、被験者が立てている指の本数を解析することにより、複数の項目の中から一つを選択することができる。また、上、下、左、右など被験者の指が指す向きを解析し、この向きに合わせてカーソルを動かして複数の項目の中から一つを選択しても良い。また、撮影部６により被験者の意思を表す動作を撮像する際は、照射部５による色光の種類は特に限定されない。
【００４５】
ユーザインターフェイス部１１では、例えば被験者の撮像時において、撮影画像による診断の興味領域が舌であった場合、被験者に舌をだすように音声もしくは文字で指示し、口の動きから舌がでたことを推測して撮像部６により撮像させることもできる。
【００４６】
また、データ処理部１０において撮影画像の中から診断の対象となる興味領域の抽出を行い、さらに興味領域から部位を指定する場合において、インターフェイス部１１において被験者が顔枠を矩形ポインタなどで囲んで指定する手段や、被験者がポイントを指定すると指定位置を中心として所定の大きさの矩形が表示される指定手段などを設けることができる。
【００４７】
また、ユーザインターフェイス部１１には、撮影画像の解析時に異常データの判別を支援する目的でデータ取得手段が設けられている。例えば、ユーザインターフェイス部１１において撮像ごとに問診を行えるシステムを構築しておくことができる。具体的には、単純に健康、不調を区別するボタンを押すようにするだけでも良い。その際に取得するデータ内容としては、現在の体調の自己判断（体が重い、熱がある、寒気がする、など）や、調子に関わる個人データ（睡眠時間や飲酒、喫煙、投薬情報など）が含まれる。音声で対話式に取得してもいいし、画像表示部４に問診票を表示してタッチパネルなどのユーザインターフェイス部１１の入力により取得しても良い。また、音声で取得する場合、声の調子がそのときの体調に関係する場合が多いので、声の周波数やトーンを解析して解析結果を問診データに加えても良い。
【００４８】
また、ユーザインターフェイス部１１には個人認証手段が設けられている。すなわち、複数の被験者が診断システム１を使用する場合、現在使用している個人を特定する必要がある。そこで、データ処理部１０における初期登録時に撮像された個人の顔領域画像などとの照合による個人の特定結果に基づき、特定結果に間違いがないかどうかを本人に確認できるようになっている。
【００４９】
また、ユーザインターフェイス部１１には、一定期間ごとに音声の出力などによって被験者に診断システム１の使用を促す手段が設けられている。なお、被験者への使用を促す手段は画像表示部４への表示であっても良い。すなわち、本実施形態の診断システム１においては一定期間ごとに被験者の正常状態データを確認・更新する必要があるので、一定期間ごと、例えば一ヶ月ごとにバイタルセンサなどの使用を被験者に促すことにより、正常状態のデータの更新を行うことが可能となっている。さらに、診断の目的によっては日常的もしくは定期的な診断システム１の使用が必要な場合がある。そこで、被験者の不在などにより診断システム１が使用されない状況が続いた場合や、定期的に撮像部２による撮像が行われない場合は、ユーザインターフェイス部１１がアラートを表示又は音声を発することによって外部に通報するように構成されている。
【００５０】
制御部１２は、ＣＰＵ及びＲＡＭを備え、撮像装置２の各構成部分を駆動制御するようになっている。本実施形態の撮像装置２は動画像も扱うため、制御部１２はできる限り高速動作・制御が可能なチップにより構成することが望ましい。また、制御部１２は、外部通信部３を経由して診断装置１３から送信される指示信号又はユーザインターフェイス部１１から入力される指示信号に基づいて、照射部５における各光源のＯｎ／Ｏｆｆを独立に制御するようになっている。なお、上記指示信号に基づく制御を行う他、他の公知な方法によって被験者を推定することも可能である。
【００５１】
次に、図２に示すように、本実施形態の診断システム１が備える診断装置１３には以下の各構成部分が設けられている。
【００５２】
外部通信部１４は、有線又は無線の通信手段により、撮像装置２及び外部装置２５と情報通信ができるように構成されている。そして、外部通信部３と同様に、この外部通信部３を経由して、画像解析の結果や画像データ、バイタルデータなどを診断装置１３又は外部装置２５に送信するようになっている。
【００５３】
画像解析部１５は、撮像装置２から外部通信部３及び外部通信部１４を経由して診断装置１３に送信された画像データに基づいて画像解析を行うようになっている。
【００５４】
ここで本実施形態においては、上述したように、人肌など対象物の病変や異常が被験者の分光スペクトルの狭い帯域の特性に現れることに着目したものであり、そうした帯域の影響が強調できる照明を照射して撮像することで、画像から病変や異常を検出しやすくしている。すなわち、撮像装置２の撮像部６において被写体表面の反射光が撮像され、チャンネルごとに画素値に変換されると、図１５に示すように被験者の特定部位（ａ）についてはチャンネル１において正常状態と異常状態の画素値の分離が容易となっており、図１６に示すように被験者の他の特定部位（ｂ）についてはチャンネル２において正常状態と異常状態の画素値の分離が容易となっている。
【００５５】
画像解析部１５は、撮像部６により変換された各チャンネルの画素値から三刺激値データ（ＲＧＢ）をそれぞれ算出し、この三刺激値データからプライマリ変換によって反応色データを算出し、この反応色データから均等色空間データ（色彩データ）に変換するようになっている。この均等色空間には、一例として、ＣＩＥのＬ＊ａ＊ｂ＊，Ｌ＊ｕ＊ｖ＊，明度方向が規格化されたｕ´ｖ´などがあり、それらの派生空間も含まれる。その後、画像解析部１５は、興味領域の均等色空間データに基づき、被験者の特定部位ごとに正常状態と異常状態の画像データを分離するようになっている。
【００５６】
判断部１６は、画像解析部１５の解析結果に基づいて医療診断などの診断を行うようになっている。すなわち、画像解析部１５で変換された均等色空間データにより、図１７に示すように正常状態・異常状態の色彩データやその他特徴量を二次元以上（本実施形態では二次元）の座標として表し、画像を解析した結果得られた座標を正常状態の座標と比較し、撮像した被験者が正常状態であるか異常状態であるかを判断するようになっている。
【００５７】
つまり、予め「正常」と判断された画像データから計測された計測値を用いて正常状態データを求めておき、この正常状態データの全てを含む領域を「正常領域」と設定する。また、この正常領域からある一定の尺度まで離れた領域を「注意領域」、この注意領域からある一定の尺度まで離れた領域を「警告領域」、これらの領域の補集合を「危険領域」と設定する。そして、判断部１６は、被験者の画像を解析した結果得られた座標がこれらのどの領域に属するかを検出することにより、被験者の状態を判断するようになっている。
【００５８】
このように、色彩データを表す二次元の座標上において、異常状態と判断する領域を「注意領域」、「警告領域」、「危険領域」の複数の領域に分割し、各領域に設定されたそれぞれの条件と被験者の画像データを解析して得られた結果とを比較し、正常、注意、警告、危険という４段階に分けて被験者の健康状態を判断するので、被験者の健康状態を詳細に判断することが可能となる。
【００５９】
なお、「正常領域」は、例えば、正常状態データの平均値を中心点とし、この中心点からある一定の尺度まで離れた領域となるように設定しても良い。更に、各領域における一定の尺度は、正常状態データのばらつきを考慮して自動的に設定できるようにしても良いし、正常状態データの平均値を表示部１９に表示させ、被験者がユーザインターフェイス部１８を用いて任意に設定できるようにしても良い。また、過去に「異常」と判断されたデータから「注意領域」、「警告領域」、「危険領域」を設定し、これらの領域の補集合を「正常領域」というように設定しても良い。
【００６０】
ここで、図１７は特定部位（ａ）または他の特定部位（ｂ）における色彩データの座標を示すものである。また、図１７における「特徴量１」とは例えばＣＩＥのａ＊やｕ＊やｕ´といった値であり、「特徴量２」とは例えばＣＩＥのｂ＊やｖ＊やｖ´といった値である。なお、他の色彩データや色彩データ以外の計測値（３次元形状やテクスチャなど）であっても良い。なお、色光Ａと色光Ｂを同時に照射してから分離するのではなく、色光Ａと色光Ｂと別々に照射して画像を撮像してから画像解析を行っても良い。
【００６１】
正常状態と異常状態の判断としては、例えば、６２０ｎｍ付近を中心とする狭帯域の色光を照射すると血液中のヘモグロビンの画像に対する関与が強調されるということが知られており、血流が途絶えてしまうような異常の検知に効果的と思われる。この場合、図６の色光Ｂを用いることにより、画像解析による正常状態と異常状態との判別の精度が向上する。
【００６２】
また、５５０ｎｍ付近を中心とする狭帯域の色光を照射すると毛細血管の強調ができるという報告もある。指先など毛細血管が集まる部分での異常を検知するのに効果的と思われる。この場合、図６の色光Ａを用いることにより、画像解析による正常状態と異常状態との判別の精度が向上するといえる。
【００６３】
また、撮像部６によって時系列的に、すなわち静止画を連続的に撮像又は動画により撮像された被験者の撮影画像を解析することにより、被験者の色彩データや三次元形状、テクスチャを計測（推定）し、それらの推定データから皮膚下の組織構造にかかわるヘモグロビン量、メラニン量、酸素飽和度などを推定することもできる。また、目の画像から、まばたき回数や目（特に白目）の色、目やにの状況などのデータを取得しても良い。
【００６４】
また、画像解析部１５は、外部通信部１４を通じてコンサルタントなどに画像データを送付する場合、被験者の許容に応じて伝送できるデータの部位を変更するようになっている。例えば、個人の特定を回避するために目や口の周りの画像を除去又は変更して伝送することを被験者が希望した場合、画像内の該当部を自動抽出し、その部位を任意の色に変更したり、モザイクやぼかしを入れたりする。
【００６５】
また個人情報を安全に秘匿するために、伝送されるデータや診断装置１３の内部のデータは、各個人ごとに暗号キーを変更して暗号化する。キーの作製方法は、公知の方法がそれぞれ使用できるが、個人ごとのキー設定を可能とするバイオメトリクスが望ましい。この場合、個人の目、鼻、口などの顔内構成要素の位置関係や鼻の高さや、顔全体の形状などの三次元形状、虹彩情報などを暗号キーとする。
【００６６】
なお、上述した撮像装置２のデータ処理部１０における被験者の個人認証のための撮影画像の解析を、診断装置１３の画像解析部１５において行い、その特定結果を外部通信部１４から撮像装置２に送信するようにしても良い。
【００６７】
Ｉ／Ｏ部１７は、ＣＦカード、ＳＤカード、ＵＳＢメモリカードなどの可搬型デバイスを接続できるように構成されている。なお、Ｉ／Ｏ部１７にバイタルセンサなどの計測装置を接続して使用するようにしても良い。
【００６８】
ユーザインターフェイス部１８は、被験者の指示入力を可能にすると共に、被験者に装置の状況や要求を伝達することができるように構成されている。撮像装置２のユーザインターフェイス部１１と同様に、被験者に負担をかけない構成が望ましいが、メンテナンスやバックアップなど装置管理者による複雑な処理が必要な場合もあるので、キーボードやマウスのみを使用することもできる。ただし、ユーザインターフェイス部１８は診断装置１３において必須の構成部分ではなく、撮像装置２のユーザインターフェイス部１１が診断装置１３のユーザインターフェイス部１８としての機能を兼ねる構成とすることもできる。この場合、撮像装置２のユーザインターフェイス部１１を通じて入出力されるデータは外部通信部３及び外部通信部１４を経由して診断装置１３に転送される。
【００６９】
表示部１９は、液晶などのディスプレイを備え、診断装置１３の動作状況やユーザインターフェイス部１８による指示入力などを表示するようになっている。また、撮影画像から異常データが検出された際の警告を表示する。異常データが検出された際の警告としては、音声手段によって知らせるように構成することも可能である。ただし、表示部１９も診断装置１３において必須の構成部分ではなく、撮像装置２の画像表示部４を用いることもできる。その場合、表示される内容は、外部通信部１４及び外部通信部３を経由して画像入出力装置に転送される。
【００７０】
記憶部２０は、バッファなどのメモリを備えており、データ保持部２１、作業領域部２２及びシステム情報保持部２３から構成されている。
【００７１】
データ保持部２１は、撮像装置２から送信された診断対象となる興味領域の画像、装置状況などの各種データや、外部装置２５から入力されたコンサルティング・診断データなどを保持するようになっている。また、データ保持部２１には、図２１に示すような被験者の生体情報や周辺環境情報などを示す診断表、図２２に示すような予約表を保持するようになっている。すなわち、診断表は、周辺環境情報取得部７から取得した周辺環境のデータ、Ｉ／Ｏ部８に接続したバイタルセンサから取得したデータ、画像解析部１５により解析された被験者の状態を示す診断結果、病院や診察所などへの診断予約の有無などからなり、この診断表を外部装置２５に送信することにより、医師が被験者の病状をある程度判断できるようになっている。また予約表は、被験者が病院や診療所などに診断予約をする際に必要な情報を記入するための項目からなり、病院やコスメティック関係の店などに設置された外部装置２５に予約表を送信することで、診断予約が行われるようになっている。
【００７２】
作業領域部２２は、診断装置１３におけるデータ処理を高速に行うため、データ処理に使用する各種データを一時的に保持するようになっている。
【００７３】
システム情報保持部２３は、撮像装置２や診断装置１３のシステム情報を保持するようになっている。このシステム情報保持部２３は、撮像装置２の照射部５が備える光源としてのＬＥＤ又はフィルタの管理番号と、効果的な被写体と、抽出できる特徴量を、図１８のようにテーブル化して登録・管理している。撮像装置２の制御部１２はこのテーブルによって照射部５が備える各光源のＯｎ／Ｏｆｆを独立に制御して被写体に適した色光を与えることが可能となっている。
【００７４】
また、システム情報保持部２３は、撮像装置２の照射部５が備える光源やフィルタの分光特性、色彩データ、経時的な特性などを管理しており、画像解析部１５が画像の解析上必要な場合にこれらのデータを参照できるようになっている。
【００７５】
また、システム情報保持部２３は、「正常」と判断された画像データから計測された計測値を用いて、画像解析部１５における画像解析による診断の基準となる「正常状態データ」を作成して保持するようになっている。この正常状態データは、データの信頼性を高めるため、一定期間ごとに被験者の正常状態を確認した上で更新されるようになっている。すなわち、画像表示部４又はユーザインターフェイス部１８において、例えば１ヶ月ごとにバイタルセンサなどの使用を被験者に促すことによって、正常状態データの更新を行うようになっている。また、最近１ヶ月のデータを基に毎日更新していくこともできる。これにより、季節や加齢による体調の変化にも対応できる。また、異常データを含む日を除いて、３０日間など所定の日数を参考にして作成しても良い。
【００７６】
また、診断システム１の導入時又は新しい被験者を登録して間もない時は、被験者個人の肌の色やその他の特徴についての情報が少なく、正常状態又は異常状態のデータを構成することができない。そこで、システム情報保持部２３に予め一般人の平均的なデータを登録しておき、初回から所定の期間はその平均データ使用して仮の計測値を得るようになっている。また、診断システム１を使用する被験者の平均データを使用して仮の計測値を得ることもできる。そして、所定の期間経過後は被験者の実データに切り替えて、それまでの画像データに対して計測値を更新するようになっている。なお、「所定の期間」はシステム情報保持部２３に予め登録しておく。
【００７７】
さらに、システム情報保持部２３は撮像装置２又は診断装置１３の各構成部分の特性を保持するようになっている。すなわち、撮像装置２の照射部５，画像表示部４，撮像部６などは経時的に特性が変動し、通常は時間とともに劣化する。そこで、システム情報保持部２３にこの経時変化の補正（調整）を行うタイミングを設定し、タグ情報から時刻情報などを読み取ることにより、指定したタイミングに従って撮像装置２又は診断装置の特性を計測・補正するようになっている。これにより、経時的に安定した画像計測値を得ることができるようになっている。
【００７８】
また、定期的に行うキャリブレーションとは別に、周辺状況が変化したときに、被験者がキャリブレーションのタイミングを指示、もしくは、画像から自動的に周辺状況の変化を検知して、キャリブレーションを行うようになっている。ここで「周辺状況が変化」とは、例えば、周辺環境照明が大きく変わった（蛍光長などの照明を交換した、近くに新しい窓をつけたなど）場合や、周囲が変わった（画像の背景が変わった、部屋を模様替えした、装置の置き位置を変えたなど）場合が考えられる。周辺状況の違いは、システム情報保持部２１に保存されている過去のデータと現状のデータを比較して、違いの程度に応じてキャリブレーションをするかどうかを判断することなどが可能である。
【００７９】
データ管理部２４は、記憶部２０のデータ保持部２１において保持される各個人の画像データにタグ（付帯情報）を付けて管理する。タグの付け方は、各データのヘッダやフッダに付帯させてもいいし、各データ名と関連づけて別ファイルにまとめても良い。
【００８０】
ここで、タグの内容は、画像の撮影日時、被験者の名前及びその属性、撮像装置２及び診断装置１３の情報、周辺環境の情報、撮影画像やＩ／Ｏ部８又はＩ／Ｏ部１７に接続したバイタルセンサから取得された計測データ値、撮影画像を主観的に診断したときの診断情報、別途取得された問診データの内容などを含める。特に、時系列的に画像データを追跡するための撮影日時などの時間情報や、その他データの前後関係を把握できるようなタグは必須である。
【００８１】
また、撮像装置２及び診断装置１３の情報として必要なのは、画像から計測データを推定するのに関係する照射部５の情報、撮像部６の特性や撮像装置２の特性、データ処理部１０におけるデータ処理方法の情報である。これらハードウェアやソフトウェアの情報はバージョンで管理されることが一般的であるので、タグにはそれぞれのバージョンＮｏ．を記載する。
【００８２】
なお、本実施形態の診断システム１が備える撮像装置２又は診断装置１３が設置される場所としては、洗面所や浴室など水周りの近くが考えられる。したがって、湿気で曇らないように、曇り止め加工やコーティングなどの防水対策を施すことが望ましい。また、ほこりがたまりやすい場所に設置することも考えて、防汚シールなどの汚れやほこり対策があることが望ましい。
【００８３】
次に、上述の診断システム１の作用について、図１９乃至図２０のフローチャートを参照して説明する。なお、本フローにおいては、被験者の健康状態を診断するものとし、外部装置２５は病院の医師のもとに設置されている。また、「正常領域」、「注意領域」、「警告領域」、「危険領域」の条件は、予め上述した方法により設定されており、システム情報保持部２３に記憶されている。
【００８４】
被験者が診断システム１の使用を開始すると、まず、撮像部６が被験者の撮像を行う。
【００８５】
データ処理部１０は、撮像部６で撮像した被験者の画像、周辺環境情報取得部７で取得した周辺環境情報、Ｉ／Ｏ部８から入力された計測データや画像データ又はユーザインターフェイス部１１から入力された被験者の指示入力データなどの入力情報を解析し、画像表示部４に画像の表示を行うと共に、照射部５の光源などを調整する。また、撮像部６で撮像された被験者の画像とメモリ部９に登録されている個人の認証情報との相関をデータ処理部１０により解析し、メモリ部９に登録された複数の登録者の中から自動的に一人の候補者を抽出する（ステップ１、以下ステップをＳともいう）。次に、「あなたは○○○○さんですか？」といったように、抽出された候補者名を画像表示部４に表示し、被験者が抽出された候補者であるか否かを質問する（Ｓ２）。
【００８６】
被験者はこの質問に対してジェスチャを行うことで回答する。なお、本実施例においては、個人認証により個人が特定されることでその個人の属性が決定するため、この段階で属性によって意味が異なるジェスチャを用いると、ジェスチャの意味する内容が判断できない場合が生じる。したがって、このようなジェスチャを用いる場合は、メモリ部９に一般的なジェスチャを初期登録しておき、被験者がジェスチャにより回答する際に初期登録しておいたジェスチャを画像表示部１４に表示し、この表示にしたがってジェスチャをするように被験者に指示すれば良い。また、属性によって意味が異なるジェスチャを用いずに、例えば、図２４に示すように、画像表示部４に被験者の回答しうる全ての項目を表示しておき、被験者が立てた指の数に応じて項目を選択するようにしても良い。
【００８７】
撮像部６は被験者が行ったジェスチャを画像データとして取得する（Ｓ３）。そして、上述したように、データ処理部１０は取得した画像データのエッジを抽出して被験者の部位を特定し、部位に含まれる特徴点の推移を解析する（Ｓ４）。解析した結果、被験者のジェスチャが意味する内容が「いいえ」である場合は（Ｓ５でＮＯ）、被験者は画像表示部４に表示された候補者ではないので、Ｓ１に戻り、データ処理部１０での比較結果が次に被験者に近いと思われる候補者を抽出し、上記と同様の処理を繰り返す。
【００８８】
一方、ステップ５において、被験者のジェスチャが意味する内容が「はい」である場合は（Ｓ５でＹＥＳ）、被験者の個人認証が完了する。そして、個人認証により特定された被験者の身長、体重、年齢などの基本情報をメモリ部９から取得する（Ｓ６）。なお、このステップにおいて、周辺環境情報取得部７から周辺環境の情報を取得したり、Ｉ／Ｏ部８に接続されたバイタルセンサから被験者の体温、血圧、脈拍などを示す生理情報を取得するようにしても良い。
【００８９】
次に、撮像部６が被験者のうち診断対象となる部位の画像を撮像する（Ｓ７）。この際、照射部５が複数の光源を照射して撮像を行う。すなわち、光源としてはＬＥＤを使用するか、白色光源を干渉フィルタと共に使用するが、本実施形態の照射部５では、図６に示す特性を有する光源のうち２種類の光源（色光Ａ及び色光Ｂ）を使用する。これにより、図８に示す特定部位（ａ）の例では、正常状態と異常状態で低波長側（色光Ａの帯域に重なる）の差異が大きく、図９に示す特定部位（ｂ）の例では、中域から高域（色光Ｂの帯域に重なる）の差異が大きくなる。そして、色光Ａ及び色光Ｂを被験者の特定部位（ａ）に対して照射すると、被写体の反射光のスペクトルは図１０に示すように色光Ａ又は色光Ｂと被写体の分光反射率の積となる。同様に、色光Ａ及び色光Ｂを被験者の他の特定部位（ｂ）に対して照射すると、被験者の反射光のスペクトルは図１１に示すように色光Ａ又は色光Ｂと被写体の分光反射率の積となる。
【００９０】
そして、撮像部６は、被験者表面の反射光を撮像して画素値に変換する。その際、チャンネルによって各色光に起因する反射光を分離することで、被験者の特定部位ごとに正常状態及び異常状態における画素値を分離しやすくする。さらに、データ処理部１０は撮影画像の中から興味領域の抽出を行う（Ｓ８）。
【００９１】
撮像装置２から外部通信部３及び外部通信部１４を経由して、興味領域の撮影画像を診断装置１３に送信する。そして、診断装置１３に送信された興味領域の撮影画像は、記憶部２０のデータ保持部２１が保持する（Ｓ９）。データ管理部２２は、データ保持部２１において保持される各個人の画像データにタグ（付帯情報）を付けて管理する。
【００９２】
そして、画像解析部１５はデータ保持部２１が保持する興味領域の画素値から三刺激値データ（ＲＧＢ）をそれぞれ算出し、この三刺激値データからプライマリ変換によって反応色データを算出し、この反応色データから均等色空間データに変換する（Ｓ１０）。その後、画像解析部１５は均等色空間データに基づき、被験者の特定部位ごとに正常時と異常時の画像データを分離する（Ｓ１１）。
【００９３】
次に、図２０に進み、均等色空間データによって、図１７に示すように正常状態・異常状態の色彩データやその他特徴量を二次元以上（本実施形態では二次元）の座標として表し、判断部１６は正常時と異常時の座標を比較する（Ｓ１２）。すなわち、得られた座標が正常状態データから求められた正常領域に属するか否かを判断する。なお、このステップにおいて、撮像部６によって時系列的（静止画を連続的に、動画的に）に撮像された被験者の撮影画像を解析することにより、被験者の色彩データや三次元形状、テクスチャを計測（推定）し、それらの推定データから皮膚下の組織構造にかかわるヘモグロビン量、メラニン量、酸素飽和度などを推定することもできる。また、目の画像から、まばたき回数や目（特に白目）の色、目やにの状況などのデータを取得しても良い。
【００９４】
判断部１６が正常領域に属すると判断した場合（Ｓ１２でＹＥＳ）は、被験者の健康状態は正常である旨を画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。一方、判断部１６が正常領域に属さないと診断した場合（Ｓ１２でＮＯ）は、注意領域に属するか否かを判断する（Ｓ１４）。
【００９５】
判断部１６が注意領域に属すると判断した場合（Ｓ１４でＹＥＳ）は、被験者の健康状態が注意状態である旨の診断結果を取得する（Ｓ１７）。そして、ユーザインターフェイス部１１が「体調は良いですか？」などの音声を出力する、あるいは画像表示部４が文字を表示し（Ｓ１８）、被験者の体調が良いか否かを被験者に質問する。この質問に対して、被験者はジェスチャを行うことで回答する。撮像部６は被験者が行ったジェスチャを画像データとして取得する（Ｓ１９）。そして、データ処理部１０は取得した画像データのエッジを抽出して被験者の部位を特定し、部位に含まれる特徴点の推移と図２３に示すようなジェスチャ解析テーブルに基づいて、被験者が行ったジェスチャを解析する（Ｓ２０）。解析した結果、ジェスチャの意味する内容が「はい」である場合は（Ｓ２１でＹＥＳ）、被験者の健康状態が注意状態である旨を画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。
【００９６】
ジェスチャの意味する内容が「いいえ」である場合は（Ｓ１９でＮＯ）は、ユーザインターフェイス部１１が「医師による診断は必要ですか？」などの音声を出力する、あるいは画像表示部４が文字を表示し（Ｓ２３）、被験者に対して医師による診断が必要であるか否かを質問する。この質問に対して、被験者はジェスチャを行うことにより回答する。撮像部６は被験者が行ったジェスチャを画像データとして取得する（Ｓ２４）。そして、データ処理部１０は取得した画像データのエッジを抽出して被験者の部位を特定し、部位に含まれる特徴点の推移と、図２３に示すジェスチャ解析テーブルに基づいて被験者が行ったジェスチャを解析する（Ｓ２５）。
【００９７】
解析した結果、ジェスチャの意味する内容が「はい」である場合は（Ｓ２６でＹＥＳ）、画像表示部４又は表示部１９は医師の診断予約を行うために、図２２に示すような予約表を画面上に表示するとともに、被験者に所定の項目を入力するように促す（Ｓ２７）。被験者により所定の項目が入力され、更に、図示の送信ボタンをクリックしたことが検知されると（Ｓ２８）、診断予約の入力処理が完了し、予約表を外部通信部１４を経由して外部装置２５に送信する（Ｓ２９）。次に、ユーザインターフェイス部１１が「診断表を医師に送信しても良いですか？」などの音声を出力する、あるいは画像表示部４が文字を表示し（Ｓ３０）、被験者の診断結果を医師に送信してもよいか否かを被験者に質問する。この質問に対して、被験者はジェスチャを行うことで回答する。撮像部６は被験者が行ったジェスチャを画像データとして取得する（Ｓ３１）。そして、データ処理部１０は取得した画像データのエッジを抽出して被験者の部位を特定し、部位に含まれる特徴点の推移と図２３に示すジェスチャ解析テーブルに基づいて、被験者が行ったジェスチャを解析する（Ｓ３２）。
【００９８】
解析した結果、被験者のジェスチャが意味する内容が「はい」である場合は（Ｓ３３でＹＥＳ）、上記診断システム１による処理で得られた診断結果に基づいて診断表を作成し（Ｓ３４）、医師に診断表を送信する（Ｓ３５）。そして、被験者の健康状態が注意状態であることと、医師に予約表、診断表を送信したことを画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。ステップ３３に戻り、被験者のジェスチャが意味する内容が「いいえ」である場合は（Ｓ３３でＮＯ）、被験者の健康状態が注意状態であることと、医師に予約表を送信したことを画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。
【００９９】
ステップ２６に戻り、ジェスチャの意味する内容が「いいえ」である場合は（Ｓ２６でＮＯ）、上述したステップ３０以降の処理を行った後、被験者の健康状態が注意状態であることと、医師への診断表の送信の有無（Ｓ３３の判断結果による）を画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。
【０１００】
ステップ１４に戻り、判断部１６が注意領域に属さないと判断した場合（Ｓ１４でＮＯ）は、警告領域に属するか否かを判断する（Ｓ１５）。判断部１６が警告領域に属すると判断した場合（Ｓ１５でＹＥＳ）は、被験者の健康状態が警告状態である旨の診断結果を取得する（Ｓ２２）。そして、上述したステップ２３以降の処理を行った後、被験者の健康状態が警告状態である旨と、医師への診断予約、診断表の送付の有無を画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。
【０１０１】
ステップ１５に戻り、判断部１６が警告領域に属さないと判断した場合（Ｓ１５でＮＯ）は、被験者の状態は危険領域であると判断し、被験者の健康状態が危険状態である旨の診断結果を取得する（Ｓ１６）。そして、上述したステップ２７以降の処理を行った後、被験者の健康状態が危険状態であること、医師に診断表を送信したこと、診断表の送信の有無（Ｓ３３の判断結果による）を画像表示部４又は表示部１９に表示すると共にデータ保持部２１に記録し（Ｓ１３）、診断処理を終了する。
【０１０２】
なお、上記フローのステップ１〜５において、何度繰り返しても被験者が特定できない場合は、被験者に名前の入力を促す（画像表示部４に「あなたの名前は？」と表示すると同時に登録されている候補者リストを表示し、被験者はその中から選択する）処理を行うことができる。また、ステップ１３において、画像表示部４又は表示部１９に表示する内容は、上記内容に限られず、例えば、被験者の診断結果から推測される病状、今後の対処方法、過去の診断結果なども合わせて表示するようにしても良い。また、診断システム１の質問に対して被験者のジェスチャにより回答するように構成したが、回答方法はジェスチャに限られず、上述したようなユーザインターフェイス部１１のマウスやキーボードなどの入力操作や音声入力により回答するように構成しても良い。
【０１０３】
以上より、本実施形態の診断システム１によれば、異常状態と判断する領域を「注意領域」、「警告領域」、「危険領域」という複数の領域に分割し、各領域に設定されたそれぞれの条件と被験者の画像データを解析して得られた結果を比較することにより、被験者の健康状態を正常、注意、警告、危険という４段階に分けて判断するように構成したので、被験者の状態を詳細に判断することができ、被験者の健康状態に最適な診断をすることが可能となる。
【０１０４】
また、被験者の病変や異常は被験者表面の分光スペクトルの狭い帯域の特性に現れるが、そうした帯域の影響が強調できる特定の色光によって被験者を照射して撮影するので、画像データから病変や異常を検出しやすくなる。
【０１０５】
また、正常状態と異常状態における被写体表面の分光反射率がどの波長領域において顕著に相違するかは被写体依存だが、この波長領域に対応した各色光に起因する反射光をチャンネルによって分離するので、特定の被写体に対して特定のチャンネルで正常状態と異常状態の画素値の分離が容易となる。
【０１０６】
また、座標上において正常状態と異常状態のデータを視覚により容易に判別することができる。
【０１０７】
以上詳細に説明したように、本発明の診断システムによれば、特定の色光で照射するので、画像データから病変や異常を検出しやすくなり、正常、注意、警告、危険状態を判別して診断の精度を向上させることができる。
【０１０８】
また、特定の被写体に対して特定のチャンネルで正常状態と異常状態の画素値の分離が容易となる。
【０１０９】
なお、本実施形態においては、データ管理の都合上、診断装置１には撮像装置２と診断装置１３を別々に設けたが、例えば、ユーザインターフェイス部１１とユーザインターフェイス部１８、画像表示部４と表示部１９といった同一の機能を有するものを一つにまとめ、撮像装置２と診断装置１３を一つの装置として構成しても良い。また、異常状態を注意状態、警告状態、危険状態の３つに分けて被験者の健康状態を判断するようにしたが、特にこれに限定されるものではなく、例えば２つや４つに分けて健康状態を判断するようにしても構わない。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施形態に係る診断システムの全体構成を示す概略図である。
【図２】本発明の実施形態に係る診断システムの全体構成を示すブロック図である。
【図３】本発明の実施形態に係る画像表示部及び照射部を示す正面図である。
【図４】本発明の実施形態に係る照射部が備える光源の例を示す部分拡大図である。
【図５】本発明の実施形態に係る照射部の光源が構成する色光ユニットの配置を示す正面図である。
【図６】ＬＥＤの放射スペクトル例を表すグラフである。
【図７】本発明の実施形態に係る照射部が備える光源の特性を表すグラフである。
【図８】被写体の特定部位（ａ）の分光反射率を表すグラフである。
【図９】被写体の他の特定部位（ｂ）の分光反射率を表すグラフである。
【図１０】被写体の特定部位（ａ）の反射光を示すグラフである。
【図１１】被写体の特定部位（ｂ）の反射光を示すグラフである。
【図１２】本発明の実施形態に係る撮像部の配置を示す図である。
【図１３】本発明の実施形態に係る撮像部の他の配置を示す図である。
【図１４】本発明の実施形態に係る撮像部の他の配置を示す図である。
【図１５】被写体の特定部位（ａ）の反射光を変換した画素値のグラフである。
【図１６】被写体の特定部位（ｂ）の反射光を変換した画素値のグラフである。
【図１７】被写体の特定部位（ａ）または特定部位（ｂ）の画素値を色彩データとして座標上に表した図である。
【図１８】本発明の実施形態に係るシステム情報保持部が備えるテーブルの例を示す図である。
【図１９】本発明の実施形態に係る診断システムの作用を示すフローチャートである。
【図２０】本発明の実施形態に係る診断システムの作用を示すフローチャートである。
【図２１】診断表の一例を示す図である。
【図２２】予約表の一例を示す図である。
【図２３】ジェスチャ解析テーブルの一例を示す図である。
【図２４】画像表示部に複数の項目を表示し、ジェスチャにより項目を選択する概念図である。
【符号の説明】
【０１１１】
１ 診断システム
２ 撮像装置
３ 外部通信部
４ 画像表示部
５ 照射部
６ 撮像部
７ 周辺環境情報取得部
８ Ｉ／Ｏ部
９ メモリ部
１０ データ処理部
１１ ユーザインターフェイス部
１２ 制御部
１３ 診断装置
１４ 外部通信部
１５ 画像解析部
１６ 判断部
１７ Ｉ／Ｏ部
１８ ユーザインターフェイス部
１９ 表示部
２０ 記憶部
２１ データ保持部
２２ 作業領域部
２３ システム情報保持部
２４ データ管理部
２５ 外部装置
【特許請求の範囲】
【請求項１】
特定の色光の光源により被写体を照射する照射部と、被写体を撮像する撮像部と、前記照射部により照射された被写体を前記撮像部により撮像し、前記撮像により取得した画像データを解析する画像解析部と、前記画像解析部により解析された画像データと予め設定された複数の条件を比較して被写体の状態を判断する判断部と、
を有することを特徴とする診断システム。
【請求項２】
前記画像解析部は前記撮像部の撮像により取得した画像データの画素値を色彩データに変換し、前記判断部は前記色彩データと予め設定された複数の条件を比較して被写体の状態を判断することを特徴とする請求項１に記載の診断システム。
【請求項３】
前記判断部は前記画像解析部により解析された画像データと予め設定された少なくとも２つの条件を比較して被写体の状態を判断することを特徴とする請求項１または２に記載の診断システム。
【請求項４】
前記判断部の判断結果に基づき被写体に対する診断処理を決定することを特徴とする請求項１乃至３のいずれか１項に記載の診断システム。
【請求項５】
前記判断部の判断結果に基づき今後の処理をどのようにするかを被写体に対して問いかけ、該問いかけに対する被写体の動作を前記撮像部により撮像し、該撮像部の撮像により取得した画像データを解析することにより前記診断処理を決定することを特徴とする請求項４に記載の診断システム。
【請求項６】
前記画像データの解析は被写体の属性に基づいて行うことを特徴とする請求項５に記載の診断システム。
【請求項７】
特定の色光の光源により被写体を照射する照射部と、前記照射部により照射された被写体を撮像する撮像部とを有する撮像装置に接続される診断装置であって、前記撮像装置から取得した被写体の画像データを解析する画像解析部と、前記画像解析部により解析された画像データと予め設定された複数の条件を比較して被写体の状態を判断する判断部と、
を有することを特徴とする診断装置。
【請求項８】
前記画像解析部は前記撮像部の撮像により取得した画像データの画素値を色彩データに変換し、前記判断部は前記色彩データと予め設定された複数の条件とを比較して被写体の状態を判断することを特徴とする請求項７に記載の診断装置。
【請求項９】
前記判断部は前記画像解析部により解析された画像データと予め設定された少なくとも２つの条件を比較して被写体の状態を判断することを特徴とする請求項７または８に記載の診断装置。
【請求項１０】
前記判断部の判断結果に基づき被写体に対する診断処理を決定することを特徴とする請求項７乃至９のいずれか１項に記載の診断装置。
【請求項１１】
前記判断部の判断結果に基づき今後の処理をどのようにするかを被写体に対して問いかけ、該問いかけに対する被写体の動作を前記撮像部により撮像し、該撮像部の撮像により取得した画像データを解析することにより前記診断処理を決定することを特徴とする請求項１０に記載の診断装置。
【請求項１２】
前記画像データの解析は被写体の属性に基づいて行うことを特徴とする請求項１１に記載の診断装置。
【請求項１】
特定の色光の光源により被写体を照射する照射部と、被写体を撮像する撮像部と、前記照射部により照射された被写体を前記撮像部により撮像し、前記撮像により取得した画像データを解析する画像解析部と、前記画像解析部により解析された画像データと予め設定された複数の条件を比較して被写体の状態を判断する判断部と、
を有することを特徴とする診断システム。
【請求項２】
前記画像解析部は前記撮像部の撮像により取得した画像データの画素値を色彩データに変換し、前記判断部は前記色彩データと予め設定された複数の条件を比較して被写体の状態を判断することを特徴とする請求項１に記載の診断システム。
【請求項３】
前記判断部は前記画像解析部により解析された画像データと予め設定された少なくとも２つの条件を比較して被写体の状態を判断することを特徴とする請求項１または２に記載の診断システム。
【請求項４】
前記判断部の判断結果に基づき被写体に対する診断処理を決定することを特徴とする請求項１乃至３のいずれか１項に記載の診断システム。
【請求項５】
前記判断部の判断結果に基づき今後の処理をどのようにするかを被写体に対して問いかけ、該問いかけに対する被写体の動作を前記撮像部により撮像し、該撮像部の撮像により取得した画像データを解析することにより前記診断処理を決定することを特徴とする請求項４に記載の診断システム。
【請求項６】
前記画像データの解析は被写体の属性に基づいて行うことを特徴とする請求項５に記載の診断システム。
【請求項７】
特定の色光の光源により被写体を照射する照射部と、前記照射部により照射された被写体を撮像する撮像部とを有する撮像装置に接続される診断装置であって、前記撮像装置から取得した被写体の画像データを解析する画像解析部と、前記画像解析部により解析された画像データと予め設定された複数の条件を比較して被写体の状態を判断する判断部と、
を有することを特徴とする診断装置。
【請求項８】
前記画像解析部は前記撮像部の撮像により取得した画像データの画素値を色彩データに変換し、前記判断部は前記色彩データと予め設定された複数の条件とを比較して被写体の状態を判断することを特徴とする請求項７に記載の診断装置。
【請求項９】
前記判断部は前記画像解析部により解析された画像データと予め設定された少なくとも２つの条件を比較して被写体の状態を判断することを特徴とする請求項７または８に記載の診断装置。
【請求項１０】
前記判断部の判断結果に基づき被写体に対する診断処理を決定することを特徴とする請求項７乃至９のいずれか１項に記載の診断装置。
【請求項１１】
前記判断部の判断結果に基づき今後の処理をどのようにするかを被写体に対して問いかけ、該問いかけに対する被写体の動作を前記撮像部により撮像し、該撮像部の撮像により取得した画像データを解析することにより前記診断処理を決定することを特徴とする請求項１０に記載の診断装置。
【請求項１２】
前記画像データの解析は被写体の属性に基づいて行うことを特徴とする請求項１１に記載の診断装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００７−１２５１５１（Ｐ２００７−１２５１５１Ａ）
【公開日】平成１９年５月２４日（２００７．５．２４）
【国際特許分類】
【出願番号】特願２００５−３１９３９１（Ｐ２００５−３１９３９１）
【出願日】平成１７年１１月２日（２００５．１１．２）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成１９年５月２４日（２００７．５．２４）
【国際特許分類】
【出願日】平成１７年１１月２日（２００５．１１．２）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]