分光画像処理装置、分光画像処理方法、及びコンピュータープログラム
【課題】肌のトラブルを改善するために必要な栄養素等を無理なく摂取できる食事メニューを知ることができる分光画像処理装置及び分光画像処理方法並びにコンピュータープログラムを提供する。
【解決手段】分光画像処理装置は、複数の波長帯域で被検体Ｔを撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部１２，３２と、分光推定パラメーターを保存する分光推定パラメーター保存部３６と、マルチバンド画像から分光スペクトルを演算する分光推定部１６と、検量処理パラメーターを保存する検量処理パラメーター保存部３８と、分光スペクトルから特徴量を演算する検量処理部１８と、診断データを保存する診断データベース保存部３９と、特徴量から被検体Ｔの評価値を演算する診断部１９と、提案データを保存する提案データベース保存部５２と、評価値から被検体Ｔの食事内容を提案する提案部５１と、を備える。
【解決手段】分光画像処理装置は、複数の波長帯域で被検体Ｔを撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部１２，３２と、分光推定パラメーターを保存する分光推定パラメーター保存部３６と、マルチバンド画像から分光スペクトルを演算する分光推定部１６と、検量処理パラメーターを保存する検量処理パラメーター保存部３８と、分光スペクトルから特徴量を演算する検量処理部１８と、診断データを保存する診断データベース保存部３９と、特徴量から被検体Ｔの評価値を演算する診断部１９と、提案データを保存する提案データベース保存部５２と、評価値から被検体Ｔの食事内容を提案する提案部５１と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分光画像処理装置、分光画像処理方法、及びコンピュータープログラムに関する。
【背景技術】
【０００２】
近年、近赤外分光法を用いて肌の状態を推定、診断する技術が発展してきている。現在では、化粧品販売などで、その場で近赤外分光計測を行い、肌状態を計測することで、肌状態に合わせた化粧品の推奨などが行われている。
【０００３】
従来、利用者の食事内容履歴、体調情報履歴を収集し、体調悪化要因を特定し、体調悪化を引き起こさない食事内容を支援するシステムが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２４９３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、一般に近赤外分光法による肌の測定結果から肌の状態を判断することや、問題点を改善する方法を知ることには、高度な専門知識が必要であり、誰でも行えることではなかった。同様に、肌のトラブルや問題点を根本的に改善するためには、必要な栄養素を効率よく摂取することが必要であるが、そのための食事メニューを選択することも、一般には難しい問題となっている。
【０００６】
また、特許文献１では食事履歴、体調履歴を収集しないと、悪化要因を特定できない虞がある。また、体調情報の判断を医師が行うため、即時性が低い虞がある。さらに、肌状態改善のための知識を利用できない虞がある。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００８】
［適用例１］本適用例に係る分光画像処理装置は、複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、前記マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、該所定位置に対応した前記被検体の部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを保存する分光推定パラメーター保存部と、前記分光推定パラメーター保存部に保存されている前記分光推定パラメーターを用いて、前記マルチバンド画像から前記分光スペクトルを演算する分光推定部と、前記分光スペクトルを前記被検体の特定成分に関する特徴量に変換することに用いる検量処理パラメーターを保存する検量処理パラメーター保存部と、前記検量処理パラメーター保存部に保存されている前記検量処理パラメーターを用いて、前記分光推定部によって求められた前記分光スペクトルから前記特徴量を演算する検量処理部と、前記被検体の前記特徴量を前記被検体の評価値に変換することに用いる診断データを保存する診断データベース保存部と、前記診断データベース保存部に保存されている前記診断データを用いて、前記検量処理部によって得られた前記特徴量から前記被検体の前記評価値を演算する診断部と、前記被検体の前記評価値を前記被検体の食事内容に変換することに用いる提案データを保存する提案データベース保存部と、前記提案データベース保存部に保存されている前記提案データを用いて、前記診断部によって得られた前記評価値から前記被検体の前記食事内容を提案する提案部と、を備えることを特徴とする。
【０００９】
本適用例によれば、肌の状態を分光分析により診断し、さらに、肌に関する専門知識と、現在の肌の正確な情報を、即時で合成できるので、肌状態改善のための食事メニューがわかる。これにより、肌のトラブルを改善するために必要な栄養素等を無理なく摂取できる食事メニューを知ることができる。
【００１０】
［適用例２］上記適用例に記載の分光画像処理装置は、前記マルチバンド画像取得部は、複数の波長帯域の感度で前記被検体の撮影を行うマルチバンドカメラに対して測定帯域を指示することに用いる複数の測定帯域データを保存する測定帯域データ保存部と、前記測定帯域データ保存部に保存されている前記測定帯域データを前記マルチバンドカメラに送ることによって、該マルチバンドカメラに測定帯域を指示する測定帯域指示部と、を備えることを特徴とする。
【００１１】
本適用例によれば、マルチバンドカメラに対して測定帯域を指示することが可能となることから、特定成分に応じた所定帯域を含む複数の波長帯域のマルチバンド画像をより確実に取得することができる。
【００１２】
［適用例３］上記適用例に記載の分光画像処理装置は、前記マルチバンド画像の取得先であるマルチバンドカメラにおける誤差を補正することに用いる補正量を、前記マルチバンド画像を構成するバンド画像のそれぞれに対して定めた前処理データを保存する前処理データ保存部と、前記マルチバンド画像取得部によって取得した前記マルチバンド画像を、前記前処理データ保存部に保存されている前記前処理データに基づいて補正し、補正後のマルチバンド画像を前記分光推定部に送る前処理部と、を備えることを特徴とする。
【００１３】
本適用例によれば、マルチバンドカメラにおける誤差を、補正することができることから、推定精度をより高めることができる。
【００１４】
［適用例４］本適用例に係る分光画像処理方法は、複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得する工程と、前記マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、該所定位置に対応した前記被検体の部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを用いて、前記マルチバンド画像から前記分光スペクトルを演算する工程と、前記分光スペクトルを前記被検体の特定成分に関する特徴量に変換することに用いる検量処理パラメーターを用いて、前記分光スペクトルから前記特徴量を演算する工程と、前記被検体の前記特徴量を前記被検体の評価値に変換することに用いる診断データを用いて、前記特徴量から前記被検体の前記評価値を演算する工程と、前記被検体の前記評価値を前記被検体の食事内容に変換することに用いる提案データを用いて、前記評価値から前記被検体の前記食事内容を提案する工程と、を含むことを特徴とする。
【００１５】
［適用例５］本適用例に係るコンピュータープログラムは、複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得する機能と、前記マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、該所定位置に対応した前記被検体の部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを用いて、前記マルチバンド画像から前記分光スペクトルを演算する機能と、前記分光スペクトルを前記被検体の特定成分に関する特徴量に変換することに用いる検量処理パラメーターを用いて、前記分光スペクトルから前記特徴量を演算する機能と、前記被検体の前記特徴量を前記被検体の評価値に変換することに用いる診断データを用いて、前記特徴量から前記被検体の前記評価値を演算する機能と、前記被検体の前記評価値を前記被検体の食事内容に変換することに用いる提案データを用いて、前記評価値から前記被検体の前記食事内容を提案する機能と、をコンピューターに実現させることを特徴とする。
【００１６】
適用例４の分光画像処理方法及び適用例５のコンピュータープログラムは、適用例１の分光画像処理装置と同様に、マルチバンド画像から分光スペクトルを得ることができるので、肌のトラブルを改善するために必要な栄養素等を無理なく摂取できる食事メニューを知ることができる。
【図面の簡単な説明】
【００１７】
【図１】本実施例に係る食事内容提案システムの構成を概略的に示す説明図。
【図２】本実施例に係る食事内容を提案する作業手順を示すフローチャート。
【図３】本実施例に係る前処理データを説明するための説明図。
【図４】本実施例に係る分光画像処理を示すフローチャート。
【図５】本実施例に係る肌構成成分と肌状態との関係を例示する図。
【図６】本実施例に係る食事メニューの提案処理を示すフローチャート。
【図７】本実施例に係る肌状態と必要栄養素との関係を例示する表。
【図８】本実施例に係る必要栄養素と食事メニューとの関係を例示する表。
【図９】本実施例に係る提案表示画面を例示する図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態を実施例に基づいて説明する。本発明の一実施例は、被検体の肌状態の問題点を改善するための食事内容を提案するためのものである。
【００１９】
Ａ．食事内容提案システムの全体構成：
図１は、本実施例に係る食事内容提案システムの構成を概略的に示す説明図である。図示するように、食事内容提案システム１は、分光画像処理装置１００と、マルチバンドカメラ２００と、表示装置３００と、記憶装置４００と、を備える。マルチバンドカメラ２００、表示装置３００、及び記憶装置４００は、分光画像処理装置１００に電気的に接続されている。
【００２０】
マルチバンドカメラ２００は、レンズユニット２１０、波長選択フィルター２２０、ＣＣＤ２３０、ＣＣＤＡＦＥ（Analog Front End）２４０、及び光源ユニット２５０等を備える。レンズユニット２１０は、被写体にフォーカスを合わせるオートフォーカス機構を備えないものであるが、オートフォーカス機構を備えるものとすることもできる。波長選択フィルター２２０は、透過波長帯域を変更可能なファブリペロー型のフィルターが用いられている。ＣＣＤ２３０は、波長選択フィルター２２０を透過した光を光電変換して被写体像を表す電気信号を得る撮像デバイスである。ＣＣＤＡＦＥ２４０は、ＣＣＤ２３０の検出信号をデジタル化するためのものである。光源ユニット２５０は、被写体を照射するためのものである。
【００２１】
上記構成のマルチバンドカメラ２００では分光画像処理装置１００から、複数の測定帯域の指示を波長選択フィルター２２０で順に受けることで、波長選択フィルター２２０の透過波長域が順に変更される。こうして、マルチバンドカメラ２００は、複数の波長帯域（マルチバンド）の感度で被検体Ｔ（被写体）の撮影を行う。
【００２２】
表示装置３００は、画面に情報を表示するための装置である。記憶装置４００は、データを記憶するための外部装置であり、例えばハードディスクドライブ装置である。
【００２３】
分光画像処理装置１００は、波長帯域の相違するマルチバンド画像を分光スペクトルに変換する。分光画像処理装置１００は、マルチバンドカメラ２００で撮影して得られたマルチバンド画像を処理することで、被検体Ｔの食事内容を提案する装置である。分光画像処理装置１００は、プログラムを実行することにより種々の処理や制御を行うＣＰＵ１０と、プログラムやデータ・情報を格納するメモリー３０と、マルチバンドカメラ２００から画像データを受取、かつ、表示装置３００及び記憶装置４００に食事内容提案の結果を送る入出力インターフェイス（Ｉ／Ｆ）５０と、を備えている。
【００２４】
メモリー３０は、測定帯域データ保存部３２、前処理データ保存部３４、分光推定パラメーター保存部３６、検量処理パラメーター保存部３８、診断データベース保存部３９、及び提案データベース保存部５２を有している。測定帯域データ保存部３２は、複数の波長帯域の感度で被検体Ｔの撮影を行うマルチバンドカメラ２００に対して測定帯域を指示することに用いる複数の測定帯域データを保存する。前処理データ保存部３４は、マルチバンド画像の取得先であるマルチバンドカメラ２００における誤差を補正することに用いる補正量を、マルチバンド画像を構成するバンド画像のそれぞれに対して定めた前処理データを保存する。分光推定パラメーター保存部３６は、マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、所定位置に対応した被検体Ｔの部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを保存する。検量処理パラメーター保存部３８は、分光スペクトルを被検体Ｔの特定成分に関する特徴量に変換することに用いる検量処理パラメーターを保存する。診断データベース保存部３９は、被検体Ｔの特徴量を被検体Ｔの評価値に変換することに用いる診断データを保存する。提案データベース保存部５２は、被検体Ｔの評価値を被検体Ｔの食事内容に変換することに用いる提案データを保存する。各保存部３２〜５２の詳細については、後ほど詳述する。また、メモリー３０は、図示はしないが、食事内容提案用プログラムを格納するプログラム保存部を有している。本実施例では、メモリー３０は不揮発性のメモリーである。なお、不揮発性に替えて揮発性のメモリーとして、処理の実行前に必要なデータやパラメーターを外部から受け取って保存する構成としてもよい。
【００２５】
ＣＰＵ１０は、メモリー３０のプログラム保存部に格納された食事内容提案用プログラムを実行することで、測定帯域指示部１２、前処理部１４、分光推定部１６、検量処理部１８、診断部１９、及び提案部５１を機能的に実現する。検量処理部１８は、肌を構成する各種成分を特徴量として、検量を行う。測定帯域指示部１２は、測定帯域データ保存部３２に保存されている測定帯域データをマルチバンドカメラ２００に送ることによって、マルチバンドカメラ２００に測定帯域を指示する。前処理部１４は、測定帯域指示部１２によって取得したマルチバンド画像を、前処理データ保存部３４に保存されている前処理データに基づいて補正し、補正後のマルチバンド画像を分光推定部１６に送る。分光推定部１６と、分光推定パラメーター保存部３６に保存されている分光推定パラメーターを用いて、マルチバンド画像から分光スペクトルを演算する。検量処理部１８は、検量処理パラメーター保存部３８に保存されている検量処理パラメーターを用いて、分光推定部１６によって求められた分光スペクトルから特徴量を演算する。診断部１９は、検量処理部１８で検量した肌の各種成分の成分量から、現在の肌状態について、栄養状態の過不足により引き起こされる問題点を診断する。提案部５１は、診断された問題点を改善するために必要な栄養素を判断し、必要な栄養素を適切に摂取できる食事メニューを提案データベースから選択し、提案する。各部１２〜５１は、対応する保存部３２〜５２に保存されたデータやパラメーターを用いて各処理を実行する。各処理の結果、ＣＰＵ１０は、マルチバンドカメラ２００で得られるマルチバンド画像を取得し、マルチバンド画像から被検体Ｔの食事内容を提案し、その提案結果を、入出力Ｉ／Ｆ５０を介して表示装置３００及び記憶装置４００に送信する。この結果、食事内容提案の結果が表示され、保存される。
【００２６】
なお、分光画像処理装置１００は、被検体Ｔの食事内容を提案するに際し、被検体Ｔの特定成分に関する特徴量を推定していることから、特徴量推定装置としても機能する。入出力インターフェイス（Ｉ／Ｆ）５０、メモリー３０の測定帯域データ保存部３２、及びＣＰＵ１０で機能する測定帯域指示部１２が、適用例１における「マルチバンド画像取得部」に対応している。
【００２７】
Ｂ．食事内容提案の作業手順：
図２は、本実施例に係る食事内容を提案する作業手順を示すフローチャートである。図示するように、まず、肌診断に必要となるデータベースを生成し、そのデータベースを分光画像処理装置１００のメモリー３０に保存する（工程Ｓ１０）。ここでいうデータベースは、分光画像処理装置１００における各保存部３２〜５２（図１）に保存される各種データに相当する。
【００２８】
その後、分光画像処理装置１００に接続されたマルチバンドカメラ２００を用いて、被検体Ｔを撮影する（工程Ｓ２０）。次いで、分光画像処理装置１００は、マルチバンドカメラ２００から出力されるマルチバンド画像から被検体Ｔの肌を診断し（工程Ｓ３０）、その診断結果を表示・保存する（工程Ｓ４０）。その後、分光画像処理装置１００は、次の被検体Ｔがあるか否かを診断し（工程Ｓ５０）、次の被検体Ｔがある場合（工程Ｓ５０がＹＥＳ）には、工程Ｓ２０に戻って、次の被検体Ｔに対して工程Ｓ２０ないし工程Ｓ４０を行う。工程Ｓ５０で、次の被検体Ｔがない場合（工程Ｓ５０がＮＯ）には、処理を終了する。
【００２９】
Ｃ．データベースの生成・保存：
前記工程Ｓ１０により生成し、保存するデータベースとしての各種データについて、その内容と生成方法を次に詳述する。各種データは、測定帯域データ、前処理データ、分光推定パラメーター、検量処理パラメーター、診断データベース、及び提案データベースである。なお、データベースの生成・保存は、分光画像処理装置１００の工場出荷前に行うことが好適である。工程Ｓ３０における診断は、肌が既知の被検体Ｔを使用する場合には省略してもよい。上記の手順の一部を、図示しないインターフェイスを介して作業者が行ってもよい。
【００３０】
・前処理データ：
マルチバンドカメラ２００には、光学系のムラや、波長選択フィルター２２０を構成するファブリペロー型フィルターの反りや、光源ユニット２５０の照明ムラなど、ハードウェア的な製造誤差がある。これにより、マルチバンドカメラ２００では、撮影によって得られたマルチバンド画像の各面内（マルチバンド画像を構成する各バンド画像内）に波長ムラ（透過波長のムラ）や光量ムラが発生する。本実施例では、この面内波長ムラ及び光量ムラをキャンセルするための補正量を前処理データとして、前処理データ保存部３４に記憶する。
【００３１】
具体的には、まず、肌診断に使用するマルチバンドカメラ２００（機種が同一、より好ましくは実機そのもの）で均一色のサンプルを撮影し、マルチバンド画像を取得する。次いで、マルチバンド画像を構成するバンド画像のそれぞれにおいて、画像内のどの位置でも均一となるように、ハードウェア的な製造誤差をキャンセルする補正データを画素毎に求め、その画素毎の補正データの集合を各バンド画像に対応した前処理データとして、前処理データ保存部３４に記憶する。均一色のサンプルとしては、どの波長域でも均等に光を反射可能な色が好ましく、例えば標準白色板を用意する。
【００３２】
図３は、本実施例に係る前処理データを説明するための説明図である。図中の（Ａ）にマルチバンド画像を示し、図中の（Ｂ）に前処理データを示す。図示するように、複数の前処理データＰＤ１，ＰＤ２，…，ＰＤｎのそれぞれは、マルチバンド画像を構成するバンド画像ＢＰ１，…，ＢＰｎ毎（すなわち、マルチバンド画像の波長帯域毎）に用意されるもので、バンド画像ＢＰ１，ＢＰ２，…，ＢＰｎと同数、用意されている。そして、前処理データＰＤ１，ＰＤ２，…，ＰＤｎのそれぞれは、各バンド画像と同じ要素数（画素数）によって構成される。ｋ番目（ｋ＝１〜ｎ）の前処理データＰＤｋにおける、横方向がｉ番目、縦方向がｊ番目の要素に格納される補正データαｋ（ｉ，ｊ）は、ｋ番目のバンド画像ＢＰｋにおける、横方向がｉ番目、縦方向がｊ番目の画素を補正する補正データ（ｋ番目のバンド画像ＢＰｋ内でムラをキャンセルすることに用いる補正データ）が格納されることになる。
【００３３】
なお、本実施例では、補正データは、バンド画像ＢＰ１〜ＢＰｎにおける全ての画素に対して生成する構成としたが、これに替えて、離散的に補正データを生成することで補正データの数を減らして、補正データのない部分については補間演算によって求めるようにしてもよい。なお、前処理データの生成方法は、上記に限る必要はなく、他の手法に換えることができる。
【００３４】
前処理データは、マルチバンド画像の各画素における補正量をテーブル化したものである。補正量は、マルチバンドカメラ２００の光学系・フィルターなどのムラや、光源ユニット２５０の照明ムラをあらかじめ測定しておき、それをキャンセルする値を算出することで求める。前処理データは、マルチバンドカメラ２００の特性のみに依存するので、工程Ｓ１０の処理は検量／診断対象に依らず、共通の処理を用いることができる。
【００３５】
・分光推定パラメーター：
分光推定パラメーターは、マルチバンド画像と分光スペクトルとの関係を表したものである。マルチバンド画像はマルチバンドカメラ２００で得られる波長帯域の相違するマルチバンド画像であり、分光スペクトルは分光器によって得られるスペクトルである。具体的には、以下の式（１）における分光推定行列Ｍが、分光推定パラメーターである。式（１）において、ｘはマルチバンド画像の所定位置の値（画素値）を示す行列であり、ｐはその所定位置に対応した部分における分光スペクトルを示す行列である。「マルチバンド画像の所定位置の画素値」とはマルチバンド画像を構成する各バンド画像の所定位置の画素値のことであり、「その所定位置に対応した部分」とはその所定位置に対応した被検体Ｔにおける位置のことである。
【００３６】
【数１】
【００３７】
式（１）は、以下の式（２）を意味する。式（２）に示すように、行列ｘは、ｘ１、ｘ２、…、ｘｎの要素を含むものである。各要素は測定帯域データ保存部３２に保存された測定帯域データのそれぞれに対応したもので、要素の数ｎは、要素測定帯域データの数と同一である。すなわち、マルチバンド画像の所定位置の画素値は各測定帯域の光の強度として示されることから、前記画素値を示すｘは、ｘ１、ｘ２、…、ｘｎを要素とする行列で表される。一方、分光スペクトルを示す行列ｐは、ｐ１、ｐ２、…、ｐｍの要素を含むものである。各要素は分光スペクトルを表す波長帯域に対応したもので、その要素の数ｍは、マルチバンド画像の画素値を示す行列ｘの要素の数ｎよりも大きい。分光推定行列Ｍは、ｍ×ｎ行列である。
【００３８】
【数２】
【００３９】
予め用意した色見本を、食事内容提案に使用するマルチバンドカメラ２００（機種が同一、より好ましくは実機そのもの）と、分光器を備えた撮影装置（以下、「分光器撮影装置」と呼ぶ）とで撮影する。分光器撮影装置は、色見本からの反射光を分光器に通し、分光器から出力されるスペクトルを撮像素子の撮像面で受ける周知のものであり、例えば前述した特許文献１に記載されたものである。その後、マルチバンドカメラ２００で得られたマルチバンド画像から所定位置の画素値を抽出する。ここでいう所定位置とは、マルチバンド画像内で色見本が写っている部分であればどの位置でもよいが、好ましくは、前処理データを作成する際に、ハードウェア的な製造誤差が少ないとされた部分に対応した位置とするのがよい。
【００４０】
続いて、その所定位置に対応した色見本上の部分からの反射光のスペクトルを、分光器撮影装置で得られたデータから抽出する。これらの結果、前記色見本についての、マルチバンド画像の所定位置の画素値を示す行列ｘと、上記所定位置に対応した部分における分光スペクトルを示す行列ｐとを得ることができる。以下、「マルチバンド画像の所定位置の画素値」を単に「マルチバンド画像の画素値」と呼び、「上記所定位置に対応した部分」を単に「所定部分」と呼ぶ。
【００４１】
さらに、可視光線の帯域から赤外線の帯域まで含む範囲で多数用意された各色見本について、マルチバンドカメラと分光器撮影装置での撮影を行い、多数の色見本のそれぞれについての、マルチバンド画像の画素値を示す行列ｘと、所定部分における分光スペクトルを示す行列ｐとを得る。
【００４２】
行列はベクトルとして表すことができることから、以下、行列ｘをＸ（ベクトルを意味し、大文字で示す）と表し、行列ｐをＰ（ベクトルを意味し、大文字で示す）と表すものとする。したがって、多数の色見本についてのマルチバンド画像の画素値を示す行列（Ｘ１，Ｘ２，…，Ｘｕ）と、多数の色見本についての所定部分における分光スペクトルを示す行列（Ｐ１，Ｐ２，…，Ｐｕ）との間は、分光推定行列Ｍを用いて、以下の式（３）で関係づけることができる。ｕは色見本の数に一致する。
【００４３】
【数３】
【００４４】
行列（Ｘ１，Ｘ２，…，Ｘｕ）をＡと表し、行列（Ｐ１，Ｐ２，…，Ｐｕ）をＢと表すと、式（３）は以下の式（４）となり、式（４）を変形して以下の式（５）を得ることができる。
【００４５】
【数４】
【００４６】
【数５】
【００４７】
式（５）において、Ａは複数の色見本についてのマルチバンド画像の画素値であり、Ｂは複数の色見本についての所定部分における分光スペクトルである。ｔの上付き文字のある行列は転置行列を意味する。作業者は、式（５）に従って分光推定行列Ｍを求める。その後、作業者は、分光推定行列Ｍを分光推定パラメーターとして、分光推定パラメーター保存部３６に記憶する。分光推定行列Ｍは、どの色見本においても、式（４）における左辺と右辺とが十分に近づくような値となる。この分光推定行列Ｍを求めるにあたって、マルチバンドカメラ２００における測定帯域やバンド数（帯域数）を変更しながら、少ないバンド数で分光推定精度が維持できるようにするのが好ましい。このため、データベースの生成においては、この分光推定パラメーターの生成と、測定帯域データの生成とは合わせて行うのが好ましい。
【００４８】
色見本としては検量／診断対象に依存しないカラーチャート等を用いることができる。分光推定パラメーターは、マルチバンドカメラにのみ依存する値となるので、被検体Ｔや特徴量の違いによらず共通して使えるようになる。
【００４９】
なお、分光推定パラメーターは、マルチバンド画像と分光スペクトルとの関係を表すことができるものであれば、上記以外の内容に換えることができる。また、分光推定パラメーターの生成方法についても、上記に限る必要はなく、他の方法に換えることができる。
【００５０】
・検量処理パラメーター：
検量処理パラメーターは、分光スペクトルと被検体Ｔの特徴量との関係を表したものである。被検体Ｔの特徴量は、本実施例では肌を構成する水分、油分、コラーゲン、メラニンなどの成分量である。検量サンプルには、例えば人の皮膚に合わせて人工的に作られた皮膚ファントムを用いる。各サンプルについて分光光度計でマルチバンド画像と同じ波長帯の分光スペクトルを測定し、合わせて化学分析などで構成成分（水分、油分、コラーゲン、メラニンなど）の量を測定する。分光スペクトルと特徴量から検量処理パラメーターを求める処理は、検量／診断対象に依らず共通の手法を用いることができる。具体的には、以下の式（６）における混合行列Ｚが、検量処理パラメーターである。式（６）において、ｐは被検体Ｔの所定部分における分光スペクトルを示す行列であり、ｓは前記所定部分における特徴量である。
【００５１】
【数６】
【００５２】
式（６）は、以下の式（７）を意味する。式（７）に示すように、行列ｐはｐ１、ｐ２、…、ｐｍの要素を含むものであり、行列ｓはｓ１、ｓ２、…、ｓｌの要素を含むものである。混合行列Ｚは、ｌ×ｍ行列である。一般的に、特徴量についての要素の数ｌは、分光スペクトルについての要素の数ｍよりも小さい。
【００５３】
【数７】
【００５４】
なお、検量処理パラメーターは、分光スペクトルと被検体の特徴量との関係を表すことができるものであれば、上記以外の内容に換えることができる。また、検量処理パラメーターの生成方法についても、上記に限る必要はなく、主成分分析・ＰＬＳ分析・ニューラルネットワークなどを用いる方法等、他の方法に換えることができる。
【００５５】
・診断データベース：
診断データベースは、水分量、油分量のバランスから、肌が乾燥状態にある、皮脂が多すぎるなどの問題点との関係を表すためのものである。また、コラーゲン量、メラニン量から肌のたるみ、シミの量などの関係を診断データベースとして保存しておく。
【００５６】
なお、診断データベースは、被検体Ｔの特徴量と何らかの評価値との関係を表すことができるものであれば、上記以外の内容に換えることができる。
【００５７】
・提案データベース：
提案データベースは、栄養素量から、その栄養素量のバランスに近い食事メニューとの関係を表すためのものである。また、提案データベースは、被検体Ｔの診断結果と、その被検体Ｔの診断結果で示された肌問題を解決するために必要な栄養素とその量の関係を表すためのものである。
【００５８】
Ｄ．肌画像の撮影：
肌画像の撮影について、次に詳述する。肌画像の撮影は、被写体に対し光源ユニット２５０から近赤外光を照射し、その反射光をマルチバンドカメラ２００で撮影する。測定波長帯域は、測定帯域指示部１２が測定帯域データ保存部３２に保存されている測定帯域データを読み出して制御する、照明部は必ずしもカメラ部に含まれなくてもよい。
【００５９】
肌画像の撮影は、肌のマルチバンド画像をマルチバンドカメラ２００で撮影する。撮影用の照明は、水分、油分、コラーゲン、メラニンなどの吸収があり試料の比較的深部まで光が到達する近赤外光（６００〜２５００ｎｍ）がよい。工程Ｓ１０において検量／診断対象に合わせた測定帯域データを生成しておけば、工程Ｓ２０の処理は検量／診断対象に依らず、共通の処理を用いることができる。
【００６０】
Ｅ．分光画像処理：
分光画像処理について、次に詳述する。分光画像処理は、前述した工程Ｓ３０（図２）で分光画像処理装置１００により実行される処理である。メモリー３０のプログラム保存部に格納された分光画像用プログラムを、ＣＰＵ１０が実行することで、分光画像処理が実現される。
【００６１】
分光画像処理は、工程Ｓ２０で撮影したマルチバンド画像から、各画素の分光スペクトル・特徴量を推定し、その結果から診断を行う。分光画像処理は、マルチバンド画像から、肌の診断に必要な、水分、油分、コラーゲン、メラニンの量／分布を求める。工程Ｓ１０において検量／診断対象に合わせた分光推定パラメーター及び検量処理パラメーターを生成しておけば、工程Ｓ３０の処理は検量／診断対象に依らず、共通の処理を用いることができる。
【００６２】
以下に各処理の詳細を示す。
図４は、本実施例に係る分光画像処理を示すフローチャートである。図示するように、処理が開始されると、ＣＰＵ１０は、マルチバンドカメラ２００からマルチバンド画像を取得する処理を行う（ステップＳ３１０）。詳しくは、ＣＰＵ１０は、メモリー３０の測定帯域データ保存部３２に記憶された複数の測定帯域データを、マルチバンドカメラ２００の波長選択フィルター２２０に順に送信することで、波長選択フィルター２２０の透過波長域を順に変更して、異なる測定帯域毎のバンド画像（スペクトル画像）を表すマルチバンド画像を、マルチバンドカメラ２００から取得する。なお、このステップＳ３１０における処理の一部である、複数の測定帯域データをマルチバンドカメラ２００に送信する構成が、ＣＰＵ１０で実現される測定帯域指示部１２（図１）に相当する。
【００６３】
次いで、ＣＰＵ１０は、ステップＳ３１０で取得したバンド画像のそれぞれを補正する前処理を実行する（ステップＳ３２０）。この前処理は、前処理データ保存部３４に記憶された波長帯域毎の前処理データに基づいて、バンド画像を補正する画像処理である。具体的には、ステップＳ３１０で入力されたマルチバンド画像には、マルチバンドカメラ２００の光学系・フィルターなどのムラや、光源ユニット２５０の照明ムラに起因する測定誤差が含まれている。これを工程Ｓ１０で生成・保存された前処理データを用いて補正する。例えば、図３で例示したように、ｋ番目の前処理データＰＤｋを構成する各要素の補正データがαｋ（ｉ，ｊ）で示される場合、ステップＳ３２０では、ｋバンド画像の画素値ｇｋ（ｉ，ｊ）を次式（８）に従って補正する。
【００６４】
ｔｇｋ（ｉ，ｊ）＝αｋ（ｉ，ｊ）・ｇｋ（ｉ，ｊ） …（８）
ただし、ｔｇｋ（ｉ，ｊ）は補正後の画素値である。
【００６５】
すなわち、変数ｉとｊを順にインクリメントしながらｋ番目のバンド画像を補正する処理を１番目からｎ番目までの全てのバンド画像に施すことで、マルチバンド画像全体について補正する。なお、前処理データとしてのこの補正データは、前述したように、マルチバンドカメラ２００におけるハードウェア的な製造誤差をソフトウェア的にキャンセルするためのものであることから、補正後のマルチバンド画像は、マルチバンドカメラ２００におけるハードウェア的な製造誤差に起因する波長ムラや光量ムラを補正したものとなる。
【００６６】
なお、式（８）は、補正データがαｋ（ｉ，ｊ）で示される場合についてのものであるが、補正データが、例えば２変数αｋ（ｉ，ｊ）、βｋ（ｉ，ｊ）である場合には、例えば次式（９）に従って補正する。
【００６７】
ｔｇｋ（ｉ，ｊ）＝αｋ（ｉ，ｊ）・ｇｋ（ｉ，ｊ）＋βｋ（ｉ，ｊ） …（９）
ただし、ｔｇｋ（ｉ，ｊ）は補正後の画素値である。
【００６８】
上記ステップＳ３２０の処理が、ＣＰＵ１０で実現される前処理部１４（図１）に相当する。
【００６９】
ステップＳ３２０の実行後、ＣＰＵ１０は、ステップＳ３２０で補正を終えた後のマルチバンド画像（以下、「補正後マルチバンド画像」と呼ぶ）から分光スペクトルを推定する処理を実行する（ステップＳ３３０）。ここでは、分光推定パラメーター保存部３６に記憶された分光推定パラメーターに基づいて前記推定を行う。
【００７０】
詳しくは、先に説明した式（１）に従う演算処理を実行する。すなわち、分光推定パラメーター保存部３６に記憶された分光推定パラメーターＭと、補正後マルチバンド画像の所定位置の値（画素値）ｘとの間の行列の積を求めることで、前記所定位置における分光スペクトルｐを求める。ここで、所定位置とは、被検体Ｔが写っている部分であればどの位置でも良く、例えば、画像の中央位置である。どの位置でもよいとしたのは、ステップＳ３２０で波長ムラや光量ムラが補正されているためである。
【００７１】
ステップＳ３３０の実行後、ＣＰＵ１０は、ステップＳ３３０で求めた各画素の分光スペクトルと、工程Ｓ１０で生成・保存された求めた検量処理パラメーターから、式（６）を用いて特徴量を推定する（ステップＳ３４０）。ここでは、検量処理パラメーター保存部３８に記憶された検量処理パラメーターに基づいて前記推定を行う。
【００７２】
詳しくは、先に説明した式（６）に従う演算処理を実行する。すなわち、検量処理パラメーター保存部３８に記憶された検量処理パラメーターＺと、ステップＳ３３０で得られた所定位置の分光スペクトルｐとの間の行列の積を求めることで、前記所定位置における特徴量、肌の水分、油分、コラーゲン、メラニン量を求める。
【００７３】
上記ステップＳ３３０の処理が、ＣＰＵ１０で実現される分光推定部１６（図１）に相当し、上記ステップＳ３４０の処理が、ＣＰＵ１０で実現される検量処理部１８（図１）に相当している。
【００７４】
ステップＳ３４０の実行後、ＣＰＵ１０は、ステップＳ３４０で得られた特徴量から肌診断結果を求める処理を行う（ステップＳ３５０）。
【００７５】
図５は、本実施例に係る肌構成成分と肌状態との関係を例示する図である。
診断結果の算出は、ステップＳ３４０で求めた特徴量と、工程Ｓ１０で生成・保存された診断データベースから診断結果を算出する。診断結果の算出は、算出された肌の構成成分量／成分比を、診断データベース保存部３９に保存されている健康な状態・問題のある状態の成分量／成分比と比較する。成分量／成分比がもっとも近い状態を選択することで、肌の現在の問題点の診断を行う。ここでは、診断データベース保存部３９に記憶された診断データベースに基づいて、前記肌診断結果の演算を行う。
【００７６】
ステップＳ３５０の実行後、ＣＰＵ１０は、ステップＳ３５０で得られた肌診断結果を表示装置３００及び記憶装置４００に出力する（ステップＳ３６０）。この結果、肌の診断結果が表示装置３００に表示され、記憶装置４００に記憶される。ステップＳ３６０の実行後、ＣＰＵ１０はリターンに処理を進めて、この肌診断処理を一旦終了する。なお、図２で説明したように肌を診断したい次の被検体Ｔがある場合には、ＣＰＵ１０は、肌診断処理を繰り返し実行する。
【００７７】
Ｆ．食事メニューの提案処理：
図６は、本実施例に係る食事メニューの提案処理を示すフローチャートである。
食事メニューの提案処理は、工程Ｓ３０で求めた特徴量及び診断結果をもとに、食事メニューを選択し、表示装置３００に表示しユーザーに伝える。
【００７８】
食事メニューの提案処理は、工程Ｓ３０で測定した水分、油分、コラーゲン、メラニンなどの成分量と、肌の問題点を診断した診断結果から、問題点の改善のために必要な栄養素とその量を決定し、その栄養素を効率よく摂取できる食事メニューを選択しその結果を提案として表示する。工程Ｓ１０において検量／診断対象に合わせた提案データベースを生成しておけば、工程Ｓ４０の処理は検量／診断対象に依らず、共通の処理を用いることができる。
【００７９】
以下に各処理の詳細を示す。ステップＳ４１０において、ステップＳ３６０で出力された診断結果を入力する。
【００８０】
図７は、本実施例に係る肌状態と必要栄養素との関係を例示する表である。
ステップＳ４１０の実行後、ＣＰＵ１０は、ステップＳ４１０で入力された診断結果から、肌の状態・問題点を改善するために必要な栄養素を、図７に例示した表の提案データベースから選択する（ステップＳ４２０）。さらに、状態・問題点の程度、問題の組み合わせから、各栄養素の必要量を計算しリストにする。
【００８１】
図８は、本実施例に係る必要栄養素と食事メニューとの関係を例示する表である。
ステップＳ４２０の実行後、ＣＰＵ１０は、ステップＳ４２０で求めた必要栄養素量のリストを参照し、その栄養素量のバランスに近い食事メニューを、図８に例示する表の提案データベースから選択する（ステップＳ４３０）。選択する場合に、もっとも近いものだけでなく、許容範囲内で近しい複数のメニューを選択する。
【００８２】
図９は、本実施例に係る提案表示画面を例示する図である。
ステップＳ４２０の実行後、ＣＰＵ１０は、ステップＳ４３０で選択されて、図９に例示する図の食事メニューを表示部に出力する（ステップＳ４４０）。
【００８３】
Ｇ．実施例効果：
以上のように構成された食事内容提案システム１によれば、肌の状態を分光分析により診断し、さらに、肌に関する専門知識と、現在の肌の正確な情報を、即時で合成できるので、肌状態改善のための食事メニューがわかる。これにより、肌のトラブルを改善するために必要な栄養素等を無理なく摂取できる食事メニューを知ることができる。
【００８４】
Ｈ．変形例：
この発明は前記実施例やその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。なお、変形例の説明にあたっては上述した実施例と同一の構成については同一の符号を付し、その説明を省略する。
【００８５】
（変形例１）
前記実施例では、食事内容提案システム１専用の分光画像処理装置１００を用いていたが、分光画像処理装置１００は汎用のパーソナルコンピューターに換えることができる。また、マルチバンドカメラ２００と分光画像処理装置１００とは別体であったが、一体とすることもできる。例えば、分光画像処理装置１００を内蔵する構成としてもよいし、マルチバンドカメラ２００に分光画像処理装置１００を例えばチップの形で内蔵する構成としてもよい。表示装置３００及び記憶装置４００も、分光画像処理装置１００と一体とすることもできる。
【００８６】
（変形例２）
前記実施例及び各変形例において、ソフトウェアによって実現した機能は、ハードウェアによって実現するものとしてもよい。
【００８７】
（変形例３）
前記実施例及び各変形例では、分光推定パラメーターを用いて、マルチバンド画像から分光スペクトルを演算し、検量処理パラメーターを用いて、前記分光スペクトルから特徴量を演算する構成としていたが、これに換えて、分光推定パラメーターＭと検量処理パラメーターＺとを掛け合わせたパラメーターＬ（＝Ｚ・Ｍ）を用いて、マルチバンド画像から直接、特徴量を推定する構成としてもよい。マルチバンドカメラ２００の個体、被検体Ｔの種類、及び推定する特徴量の組合せが予め定められている場合には、この構成によっても、マルチバンド画像から被検体の特徴量を高精度に推定することができる。
【００８８】
（変形例４）
前記実施例及び各変形例では、測定帯域データ保存部３２に記憶された複数の測定帯域データを、マルチバンドカメラ２００の波長選択フィルター２２０に順に送信することで、波長選択フィルター２２０の透過波長域を順に変更して、異なる測定帯域毎のバンド画像（スペクトル画像）を表すマルチバンド画像を、マルチバンドカメラ２００から取得する構成とした。これに替えて、予め定められた複数の測定帯域毎のバンド画像を表すマルチバンド画像をマルチバンドカメラ２００から取得する構成としてもよい。すなわち、測定帯域データ保存部３２及び測定帯域指示部１２はなくてもよい。
【００８９】
（変形例５）
前記実施例及び各変形例では、前処理データ保存部３４に記憶した前処理データに基づいて、前処理部１４がマルチバンド画像を補正し、補正後マルチバンド画像から分光スペクトルを推定する構成とした。これに替えて、マルチバンド画像取得部が取得したマルチバンド画像から分光スペクトルを推定する構成としてもよい。また、マルチバンド画像取得部が、補正後マルチバンド画像を取得してもよい。すなわち、前処理データ保存部３４及び前処理部１４はなくてもよい。
【００９０】
（変形例６）
前記実施例及び各変形例では、分光画像処理装置１００の診断データベース保存部３９に記憶された診断データベースと、推定された特徴量とに基づいて、診断部１９が診断を行う構成とした。これに替えて、推定された特徴量を分光画像処理装置１００とは別に構成された診断装置に出力し、診断装置が診断を行ってもよい。すなわち、分光画像処理装置１００には診断データベース保存部３９及び診断部１９はなくてもよい。
【００９１】
なお、前述した各実施例及び各変形例における構成要素の中の、独立請求項で記載された要素以外の要素は、付加的な要素であり、適宜省略可能である。
【符号の説明】
【００９２】
１…食事内容提案システム １０…ＣＰＵ １２…測定帯域指示部（マルチバンド画像取得部） １４…前処理部 １６…分光推定部 １８…検量処理部 １９…診断部 ３０…メモリー ３２…測定帯域データ保存部（マルチバンド画像取得部） ３４…前処理データ保存部 ３６…分光推定パラメーター保存部 ３８…検量処理パラメーター保存部 ３９…診断データベース保存部 ５０…入出力Ｉ／Ｆ ５１…提案部 ５２…提案データベース保存部 １００…分光画像処理装置 ２００…マルチバンドカメラ ２１０…レンズユニット ２２０…波長選択フィルター ２３０…ＣＣＤ ２４０…ＣＣＤＡＦＥ ２５０…光源ユニット ３００…表示装置 ４００…記憶装置 Ｍ…分光推定行列（＝分光推定パラメーター） Ｚ…混合行列（＝検量処理パラメーター）。
【技術分野】
【０００１】
本発明は、分光画像処理装置、分光画像処理方法、及びコンピュータープログラムに関する。
【背景技術】
【０００２】
近年、近赤外分光法を用いて肌の状態を推定、診断する技術が発展してきている。現在では、化粧品販売などで、その場で近赤外分光計測を行い、肌状態を計測することで、肌状態に合わせた化粧品の推奨などが行われている。
【０００３】
従来、利用者の食事内容履歴、体調情報履歴を収集し、体調悪化要因を特定し、体調悪化を引き起こさない食事内容を支援するシステムが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２４９３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、一般に近赤外分光法による肌の測定結果から肌の状態を判断することや、問題点を改善する方法を知ることには、高度な専門知識が必要であり、誰でも行えることではなかった。同様に、肌のトラブルや問題点を根本的に改善するためには、必要な栄養素を効率よく摂取することが必要であるが、そのための食事メニューを選択することも、一般には難しい問題となっている。
【０００６】
また、特許文献１では食事履歴、体調履歴を収集しないと、悪化要因を特定できない虞がある。また、体調情報の判断を医師が行うため、即時性が低い虞がある。さらに、肌状態改善のための知識を利用できない虞がある。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００８】
［適用例１］本適用例に係る分光画像処理装置は、複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、前記マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、該所定位置に対応した前記被検体の部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを保存する分光推定パラメーター保存部と、前記分光推定パラメーター保存部に保存されている前記分光推定パラメーターを用いて、前記マルチバンド画像から前記分光スペクトルを演算する分光推定部と、前記分光スペクトルを前記被検体の特定成分に関する特徴量に変換することに用いる検量処理パラメーターを保存する検量処理パラメーター保存部と、前記検量処理パラメーター保存部に保存されている前記検量処理パラメーターを用いて、前記分光推定部によって求められた前記分光スペクトルから前記特徴量を演算する検量処理部と、前記被検体の前記特徴量を前記被検体の評価値に変換することに用いる診断データを保存する診断データベース保存部と、前記診断データベース保存部に保存されている前記診断データを用いて、前記検量処理部によって得られた前記特徴量から前記被検体の前記評価値を演算する診断部と、前記被検体の前記評価値を前記被検体の食事内容に変換することに用いる提案データを保存する提案データベース保存部と、前記提案データベース保存部に保存されている前記提案データを用いて、前記診断部によって得られた前記評価値から前記被検体の前記食事内容を提案する提案部と、を備えることを特徴とする。
【０００９】
本適用例によれば、肌の状態を分光分析により診断し、さらに、肌に関する専門知識と、現在の肌の正確な情報を、即時で合成できるので、肌状態改善のための食事メニューがわかる。これにより、肌のトラブルを改善するために必要な栄養素等を無理なく摂取できる食事メニューを知ることができる。
【００１０】
［適用例２］上記適用例に記載の分光画像処理装置は、前記マルチバンド画像取得部は、複数の波長帯域の感度で前記被検体の撮影を行うマルチバンドカメラに対して測定帯域を指示することに用いる複数の測定帯域データを保存する測定帯域データ保存部と、前記測定帯域データ保存部に保存されている前記測定帯域データを前記マルチバンドカメラに送ることによって、該マルチバンドカメラに測定帯域を指示する測定帯域指示部と、を備えることを特徴とする。
【００１１】
本適用例によれば、マルチバンドカメラに対して測定帯域を指示することが可能となることから、特定成分に応じた所定帯域を含む複数の波長帯域のマルチバンド画像をより確実に取得することができる。
【００１２】
［適用例３］上記適用例に記載の分光画像処理装置は、前記マルチバンド画像の取得先であるマルチバンドカメラにおける誤差を補正することに用いる補正量を、前記マルチバンド画像を構成するバンド画像のそれぞれに対して定めた前処理データを保存する前処理データ保存部と、前記マルチバンド画像取得部によって取得した前記マルチバンド画像を、前記前処理データ保存部に保存されている前記前処理データに基づいて補正し、補正後のマルチバンド画像を前記分光推定部に送る前処理部と、を備えることを特徴とする。
【００１３】
本適用例によれば、マルチバンドカメラにおける誤差を、補正することができることから、推定精度をより高めることができる。
【００１４】
［適用例４］本適用例に係る分光画像処理方法は、複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得する工程と、前記マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、該所定位置に対応した前記被検体の部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを用いて、前記マルチバンド画像から前記分光スペクトルを演算する工程と、前記分光スペクトルを前記被検体の特定成分に関する特徴量に変換することに用いる検量処理パラメーターを用いて、前記分光スペクトルから前記特徴量を演算する工程と、前記被検体の前記特徴量を前記被検体の評価値に変換することに用いる診断データを用いて、前記特徴量から前記被検体の前記評価値を演算する工程と、前記被検体の前記評価値を前記被検体の食事内容に変換することに用いる提案データを用いて、前記評価値から前記被検体の前記食事内容を提案する工程と、を含むことを特徴とする。
【００１５】
［適用例５］本適用例に係るコンピュータープログラムは、複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得する機能と、前記マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、該所定位置に対応した前記被検体の部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを用いて、前記マルチバンド画像から前記分光スペクトルを演算する機能と、前記分光スペクトルを前記被検体の特定成分に関する特徴量に変換することに用いる検量処理パラメーターを用いて、前記分光スペクトルから前記特徴量を演算する機能と、前記被検体の前記特徴量を前記被検体の評価値に変換することに用いる診断データを用いて、前記特徴量から前記被検体の前記評価値を演算する機能と、前記被検体の前記評価値を前記被検体の食事内容に変換することに用いる提案データを用いて、前記評価値から前記被検体の前記食事内容を提案する機能と、をコンピューターに実現させることを特徴とする。
【００１６】
適用例４の分光画像処理方法及び適用例５のコンピュータープログラムは、適用例１の分光画像処理装置と同様に、マルチバンド画像から分光スペクトルを得ることができるので、肌のトラブルを改善するために必要な栄養素等を無理なく摂取できる食事メニューを知ることができる。
【図面の簡単な説明】
【００１７】
【図１】本実施例に係る食事内容提案システムの構成を概略的に示す説明図。
【図２】本実施例に係る食事内容を提案する作業手順を示すフローチャート。
【図３】本実施例に係る前処理データを説明するための説明図。
【図４】本実施例に係る分光画像処理を示すフローチャート。
【図５】本実施例に係る肌構成成分と肌状態との関係を例示する図。
【図６】本実施例に係る食事メニューの提案処理を示すフローチャート。
【図７】本実施例に係る肌状態と必要栄養素との関係を例示する表。
【図８】本実施例に係る必要栄養素と食事メニューとの関係を例示する表。
【図９】本実施例に係る提案表示画面を例示する図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態を実施例に基づいて説明する。本発明の一実施例は、被検体の肌状態の問題点を改善するための食事内容を提案するためのものである。
【００１９】
Ａ．食事内容提案システムの全体構成：
図１は、本実施例に係る食事内容提案システムの構成を概略的に示す説明図である。図示するように、食事内容提案システム１は、分光画像処理装置１００と、マルチバンドカメラ２００と、表示装置３００と、記憶装置４００と、を備える。マルチバンドカメラ２００、表示装置３００、及び記憶装置４００は、分光画像処理装置１００に電気的に接続されている。
【００２０】
マルチバンドカメラ２００は、レンズユニット２１０、波長選択フィルター２２０、ＣＣＤ２３０、ＣＣＤＡＦＥ（Analog Front End）２４０、及び光源ユニット２５０等を備える。レンズユニット２１０は、被写体にフォーカスを合わせるオートフォーカス機構を備えないものであるが、オートフォーカス機構を備えるものとすることもできる。波長選択フィルター２２０は、透過波長帯域を変更可能なファブリペロー型のフィルターが用いられている。ＣＣＤ２３０は、波長選択フィルター２２０を透過した光を光電変換して被写体像を表す電気信号を得る撮像デバイスである。ＣＣＤＡＦＥ２４０は、ＣＣＤ２３０の検出信号をデジタル化するためのものである。光源ユニット２５０は、被写体を照射するためのものである。
【００２１】
上記構成のマルチバンドカメラ２００では分光画像処理装置１００から、複数の測定帯域の指示を波長選択フィルター２２０で順に受けることで、波長選択フィルター２２０の透過波長域が順に変更される。こうして、マルチバンドカメラ２００は、複数の波長帯域（マルチバンド）の感度で被検体Ｔ（被写体）の撮影を行う。
【００２２】
表示装置３００は、画面に情報を表示するための装置である。記憶装置４００は、データを記憶するための外部装置であり、例えばハードディスクドライブ装置である。
【００２３】
分光画像処理装置１００は、波長帯域の相違するマルチバンド画像を分光スペクトルに変換する。分光画像処理装置１００は、マルチバンドカメラ２００で撮影して得られたマルチバンド画像を処理することで、被検体Ｔの食事内容を提案する装置である。分光画像処理装置１００は、プログラムを実行することにより種々の処理や制御を行うＣＰＵ１０と、プログラムやデータ・情報を格納するメモリー３０と、マルチバンドカメラ２００から画像データを受取、かつ、表示装置３００及び記憶装置４００に食事内容提案の結果を送る入出力インターフェイス（Ｉ／Ｆ）５０と、を備えている。
【００２４】
メモリー３０は、測定帯域データ保存部３２、前処理データ保存部３４、分光推定パラメーター保存部３６、検量処理パラメーター保存部３８、診断データベース保存部３９、及び提案データベース保存部５２を有している。測定帯域データ保存部３２は、複数の波長帯域の感度で被検体Ｔの撮影を行うマルチバンドカメラ２００に対して測定帯域を指示することに用いる複数の測定帯域データを保存する。前処理データ保存部３４は、マルチバンド画像の取得先であるマルチバンドカメラ２００における誤差を補正することに用いる補正量を、マルチバンド画像を構成するバンド画像のそれぞれに対して定めた前処理データを保存する。分光推定パラメーター保存部３６は、マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、所定位置に対応した被検体Ｔの部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを保存する。検量処理パラメーター保存部３８は、分光スペクトルを被検体Ｔの特定成分に関する特徴量に変換することに用いる検量処理パラメーターを保存する。診断データベース保存部３９は、被検体Ｔの特徴量を被検体Ｔの評価値に変換することに用いる診断データを保存する。提案データベース保存部５２は、被検体Ｔの評価値を被検体Ｔの食事内容に変換することに用いる提案データを保存する。各保存部３２〜５２の詳細については、後ほど詳述する。また、メモリー３０は、図示はしないが、食事内容提案用プログラムを格納するプログラム保存部を有している。本実施例では、メモリー３０は不揮発性のメモリーである。なお、不揮発性に替えて揮発性のメモリーとして、処理の実行前に必要なデータやパラメーターを外部から受け取って保存する構成としてもよい。
【００２５】
ＣＰＵ１０は、メモリー３０のプログラム保存部に格納された食事内容提案用プログラムを実行することで、測定帯域指示部１２、前処理部１４、分光推定部１６、検量処理部１８、診断部１９、及び提案部５１を機能的に実現する。検量処理部１８は、肌を構成する各種成分を特徴量として、検量を行う。測定帯域指示部１２は、測定帯域データ保存部３２に保存されている測定帯域データをマルチバンドカメラ２００に送ることによって、マルチバンドカメラ２００に測定帯域を指示する。前処理部１４は、測定帯域指示部１２によって取得したマルチバンド画像を、前処理データ保存部３４に保存されている前処理データに基づいて補正し、補正後のマルチバンド画像を分光推定部１６に送る。分光推定部１６と、分光推定パラメーター保存部３６に保存されている分光推定パラメーターを用いて、マルチバンド画像から分光スペクトルを演算する。検量処理部１８は、検量処理パラメーター保存部３８に保存されている検量処理パラメーターを用いて、分光推定部１６によって求められた分光スペクトルから特徴量を演算する。診断部１９は、検量処理部１８で検量した肌の各種成分の成分量から、現在の肌状態について、栄養状態の過不足により引き起こされる問題点を診断する。提案部５１は、診断された問題点を改善するために必要な栄養素を判断し、必要な栄養素を適切に摂取できる食事メニューを提案データベースから選択し、提案する。各部１２〜５１は、対応する保存部３２〜５２に保存されたデータやパラメーターを用いて各処理を実行する。各処理の結果、ＣＰＵ１０は、マルチバンドカメラ２００で得られるマルチバンド画像を取得し、マルチバンド画像から被検体Ｔの食事内容を提案し、その提案結果を、入出力Ｉ／Ｆ５０を介して表示装置３００及び記憶装置４００に送信する。この結果、食事内容提案の結果が表示され、保存される。
【００２６】
なお、分光画像処理装置１００は、被検体Ｔの食事内容を提案するに際し、被検体Ｔの特定成分に関する特徴量を推定していることから、特徴量推定装置としても機能する。入出力インターフェイス（Ｉ／Ｆ）５０、メモリー３０の測定帯域データ保存部３２、及びＣＰＵ１０で機能する測定帯域指示部１２が、適用例１における「マルチバンド画像取得部」に対応している。
【００２７】
Ｂ．食事内容提案の作業手順：
図２は、本実施例に係る食事内容を提案する作業手順を示すフローチャートである。図示するように、まず、肌診断に必要となるデータベースを生成し、そのデータベースを分光画像処理装置１００のメモリー３０に保存する（工程Ｓ１０）。ここでいうデータベースは、分光画像処理装置１００における各保存部３２〜５２（図１）に保存される各種データに相当する。
【００２８】
その後、分光画像処理装置１００に接続されたマルチバンドカメラ２００を用いて、被検体Ｔを撮影する（工程Ｓ２０）。次いで、分光画像処理装置１００は、マルチバンドカメラ２００から出力されるマルチバンド画像から被検体Ｔの肌を診断し（工程Ｓ３０）、その診断結果を表示・保存する（工程Ｓ４０）。その後、分光画像処理装置１００は、次の被検体Ｔがあるか否かを診断し（工程Ｓ５０）、次の被検体Ｔがある場合（工程Ｓ５０がＹＥＳ）には、工程Ｓ２０に戻って、次の被検体Ｔに対して工程Ｓ２０ないし工程Ｓ４０を行う。工程Ｓ５０で、次の被検体Ｔがない場合（工程Ｓ５０がＮＯ）には、処理を終了する。
【００２９】
Ｃ．データベースの生成・保存：
前記工程Ｓ１０により生成し、保存するデータベースとしての各種データについて、その内容と生成方法を次に詳述する。各種データは、測定帯域データ、前処理データ、分光推定パラメーター、検量処理パラメーター、診断データベース、及び提案データベースである。なお、データベースの生成・保存は、分光画像処理装置１００の工場出荷前に行うことが好適である。工程Ｓ３０における診断は、肌が既知の被検体Ｔを使用する場合には省略してもよい。上記の手順の一部を、図示しないインターフェイスを介して作業者が行ってもよい。
【００３０】
・前処理データ：
マルチバンドカメラ２００には、光学系のムラや、波長選択フィルター２２０を構成するファブリペロー型フィルターの反りや、光源ユニット２５０の照明ムラなど、ハードウェア的な製造誤差がある。これにより、マルチバンドカメラ２００では、撮影によって得られたマルチバンド画像の各面内（マルチバンド画像を構成する各バンド画像内）に波長ムラ（透過波長のムラ）や光量ムラが発生する。本実施例では、この面内波長ムラ及び光量ムラをキャンセルするための補正量を前処理データとして、前処理データ保存部３４に記憶する。
【００３１】
具体的には、まず、肌診断に使用するマルチバンドカメラ２００（機種が同一、より好ましくは実機そのもの）で均一色のサンプルを撮影し、マルチバンド画像を取得する。次いで、マルチバンド画像を構成するバンド画像のそれぞれにおいて、画像内のどの位置でも均一となるように、ハードウェア的な製造誤差をキャンセルする補正データを画素毎に求め、その画素毎の補正データの集合を各バンド画像に対応した前処理データとして、前処理データ保存部３４に記憶する。均一色のサンプルとしては、どの波長域でも均等に光を反射可能な色が好ましく、例えば標準白色板を用意する。
【００３２】
図３は、本実施例に係る前処理データを説明するための説明図である。図中の（Ａ）にマルチバンド画像を示し、図中の（Ｂ）に前処理データを示す。図示するように、複数の前処理データＰＤ１，ＰＤ２，…，ＰＤｎのそれぞれは、マルチバンド画像を構成するバンド画像ＢＰ１，…，ＢＰｎ毎（すなわち、マルチバンド画像の波長帯域毎）に用意されるもので、バンド画像ＢＰ１，ＢＰ２，…，ＢＰｎと同数、用意されている。そして、前処理データＰＤ１，ＰＤ２，…，ＰＤｎのそれぞれは、各バンド画像と同じ要素数（画素数）によって構成される。ｋ番目（ｋ＝１〜ｎ）の前処理データＰＤｋにおける、横方向がｉ番目、縦方向がｊ番目の要素に格納される補正データαｋ（ｉ，ｊ）は、ｋ番目のバンド画像ＢＰｋにおける、横方向がｉ番目、縦方向がｊ番目の画素を補正する補正データ（ｋ番目のバンド画像ＢＰｋ内でムラをキャンセルすることに用いる補正データ）が格納されることになる。
【００３３】
なお、本実施例では、補正データは、バンド画像ＢＰ１〜ＢＰｎにおける全ての画素に対して生成する構成としたが、これに替えて、離散的に補正データを生成することで補正データの数を減らして、補正データのない部分については補間演算によって求めるようにしてもよい。なお、前処理データの生成方法は、上記に限る必要はなく、他の手法に換えることができる。
【００３４】
前処理データは、マルチバンド画像の各画素における補正量をテーブル化したものである。補正量は、マルチバンドカメラ２００の光学系・フィルターなどのムラや、光源ユニット２５０の照明ムラをあらかじめ測定しておき、それをキャンセルする値を算出することで求める。前処理データは、マルチバンドカメラ２００の特性のみに依存するので、工程Ｓ１０の処理は検量／診断対象に依らず、共通の処理を用いることができる。
【００３５】
・分光推定パラメーター：
分光推定パラメーターは、マルチバンド画像と分光スペクトルとの関係を表したものである。マルチバンド画像はマルチバンドカメラ２００で得られる波長帯域の相違するマルチバンド画像であり、分光スペクトルは分光器によって得られるスペクトルである。具体的には、以下の式（１）における分光推定行列Ｍが、分光推定パラメーターである。式（１）において、ｘはマルチバンド画像の所定位置の値（画素値）を示す行列であり、ｐはその所定位置に対応した部分における分光スペクトルを示す行列である。「マルチバンド画像の所定位置の画素値」とはマルチバンド画像を構成する各バンド画像の所定位置の画素値のことであり、「その所定位置に対応した部分」とはその所定位置に対応した被検体Ｔにおける位置のことである。
【００３６】
【数１】
【００３７】
式（１）は、以下の式（２）を意味する。式（２）に示すように、行列ｘは、ｘ１、ｘ２、…、ｘｎの要素を含むものである。各要素は測定帯域データ保存部３２に保存された測定帯域データのそれぞれに対応したもので、要素の数ｎは、要素測定帯域データの数と同一である。すなわち、マルチバンド画像の所定位置の画素値は各測定帯域の光の強度として示されることから、前記画素値を示すｘは、ｘ１、ｘ２、…、ｘｎを要素とする行列で表される。一方、分光スペクトルを示す行列ｐは、ｐ１、ｐ２、…、ｐｍの要素を含むものである。各要素は分光スペクトルを表す波長帯域に対応したもので、その要素の数ｍは、マルチバンド画像の画素値を示す行列ｘの要素の数ｎよりも大きい。分光推定行列Ｍは、ｍ×ｎ行列である。
【００３８】
【数２】
【００３９】
予め用意した色見本を、食事内容提案に使用するマルチバンドカメラ２００（機種が同一、より好ましくは実機そのもの）と、分光器を備えた撮影装置（以下、「分光器撮影装置」と呼ぶ）とで撮影する。分光器撮影装置は、色見本からの反射光を分光器に通し、分光器から出力されるスペクトルを撮像素子の撮像面で受ける周知のものであり、例えば前述した特許文献１に記載されたものである。その後、マルチバンドカメラ２００で得られたマルチバンド画像から所定位置の画素値を抽出する。ここでいう所定位置とは、マルチバンド画像内で色見本が写っている部分であればどの位置でもよいが、好ましくは、前処理データを作成する際に、ハードウェア的な製造誤差が少ないとされた部分に対応した位置とするのがよい。
【００４０】
続いて、その所定位置に対応した色見本上の部分からの反射光のスペクトルを、分光器撮影装置で得られたデータから抽出する。これらの結果、前記色見本についての、マルチバンド画像の所定位置の画素値を示す行列ｘと、上記所定位置に対応した部分における分光スペクトルを示す行列ｐとを得ることができる。以下、「マルチバンド画像の所定位置の画素値」を単に「マルチバンド画像の画素値」と呼び、「上記所定位置に対応した部分」を単に「所定部分」と呼ぶ。
【００４１】
さらに、可視光線の帯域から赤外線の帯域まで含む範囲で多数用意された各色見本について、マルチバンドカメラと分光器撮影装置での撮影を行い、多数の色見本のそれぞれについての、マルチバンド画像の画素値を示す行列ｘと、所定部分における分光スペクトルを示す行列ｐとを得る。
【００４２】
行列はベクトルとして表すことができることから、以下、行列ｘをＸ（ベクトルを意味し、大文字で示す）と表し、行列ｐをＰ（ベクトルを意味し、大文字で示す）と表すものとする。したがって、多数の色見本についてのマルチバンド画像の画素値を示す行列（Ｘ１，Ｘ２，…，Ｘｕ）と、多数の色見本についての所定部分における分光スペクトルを示す行列（Ｐ１，Ｐ２，…，Ｐｕ）との間は、分光推定行列Ｍを用いて、以下の式（３）で関係づけることができる。ｕは色見本の数に一致する。
【００４３】
【数３】
【００４４】
行列（Ｘ１，Ｘ２，…，Ｘｕ）をＡと表し、行列（Ｐ１，Ｐ２，…，Ｐｕ）をＢと表すと、式（３）は以下の式（４）となり、式（４）を変形して以下の式（５）を得ることができる。
【００４５】
【数４】
【００４６】
【数５】
【００４７】
式（５）において、Ａは複数の色見本についてのマルチバンド画像の画素値であり、Ｂは複数の色見本についての所定部分における分光スペクトルである。ｔの上付き文字のある行列は転置行列を意味する。作業者は、式（５）に従って分光推定行列Ｍを求める。その後、作業者は、分光推定行列Ｍを分光推定パラメーターとして、分光推定パラメーター保存部３６に記憶する。分光推定行列Ｍは、どの色見本においても、式（４）における左辺と右辺とが十分に近づくような値となる。この分光推定行列Ｍを求めるにあたって、マルチバンドカメラ２００における測定帯域やバンド数（帯域数）を変更しながら、少ないバンド数で分光推定精度が維持できるようにするのが好ましい。このため、データベースの生成においては、この分光推定パラメーターの生成と、測定帯域データの生成とは合わせて行うのが好ましい。
【００４８】
色見本としては検量／診断対象に依存しないカラーチャート等を用いることができる。分光推定パラメーターは、マルチバンドカメラにのみ依存する値となるので、被検体Ｔや特徴量の違いによらず共通して使えるようになる。
【００４９】
なお、分光推定パラメーターは、マルチバンド画像と分光スペクトルとの関係を表すことができるものであれば、上記以外の内容に換えることができる。また、分光推定パラメーターの生成方法についても、上記に限る必要はなく、他の方法に換えることができる。
【００５０】
・検量処理パラメーター：
検量処理パラメーターは、分光スペクトルと被検体Ｔの特徴量との関係を表したものである。被検体Ｔの特徴量は、本実施例では肌を構成する水分、油分、コラーゲン、メラニンなどの成分量である。検量サンプルには、例えば人の皮膚に合わせて人工的に作られた皮膚ファントムを用いる。各サンプルについて分光光度計でマルチバンド画像と同じ波長帯の分光スペクトルを測定し、合わせて化学分析などで構成成分（水分、油分、コラーゲン、メラニンなど）の量を測定する。分光スペクトルと特徴量から検量処理パラメーターを求める処理は、検量／診断対象に依らず共通の手法を用いることができる。具体的には、以下の式（６）における混合行列Ｚが、検量処理パラメーターである。式（６）において、ｐは被検体Ｔの所定部分における分光スペクトルを示す行列であり、ｓは前記所定部分における特徴量である。
【００５１】
【数６】
【００５２】
式（６）は、以下の式（７）を意味する。式（７）に示すように、行列ｐはｐ１、ｐ２、…、ｐｍの要素を含むものであり、行列ｓはｓ１、ｓ２、…、ｓｌの要素を含むものである。混合行列Ｚは、ｌ×ｍ行列である。一般的に、特徴量についての要素の数ｌは、分光スペクトルについての要素の数ｍよりも小さい。
【００５３】
【数７】
【００５４】
なお、検量処理パラメーターは、分光スペクトルと被検体の特徴量との関係を表すことができるものであれば、上記以外の内容に換えることができる。また、検量処理パラメーターの生成方法についても、上記に限る必要はなく、主成分分析・ＰＬＳ分析・ニューラルネットワークなどを用いる方法等、他の方法に換えることができる。
【００５５】
・診断データベース：
診断データベースは、水分量、油分量のバランスから、肌が乾燥状態にある、皮脂が多すぎるなどの問題点との関係を表すためのものである。また、コラーゲン量、メラニン量から肌のたるみ、シミの量などの関係を診断データベースとして保存しておく。
【００５６】
なお、診断データベースは、被検体Ｔの特徴量と何らかの評価値との関係を表すことができるものであれば、上記以外の内容に換えることができる。
【００５７】
・提案データベース：
提案データベースは、栄養素量から、その栄養素量のバランスに近い食事メニューとの関係を表すためのものである。また、提案データベースは、被検体Ｔの診断結果と、その被検体Ｔの診断結果で示された肌問題を解決するために必要な栄養素とその量の関係を表すためのものである。
【００５８】
Ｄ．肌画像の撮影：
肌画像の撮影について、次に詳述する。肌画像の撮影は、被写体に対し光源ユニット２５０から近赤外光を照射し、その反射光をマルチバンドカメラ２００で撮影する。測定波長帯域は、測定帯域指示部１２が測定帯域データ保存部３２に保存されている測定帯域データを読み出して制御する、照明部は必ずしもカメラ部に含まれなくてもよい。
【００５９】
肌画像の撮影は、肌のマルチバンド画像をマルチバンドカメラ２００で撮影する。撮影用の照明は、水分、油分、コラーゲン、メラニンなどの吸収があり試料の比較的深部まで光が到達する近赤外光（６００〜２５００ｎｍ）がよい。工程Ｓ１０において検量／診断対象に合わせた測定帯域データを生成しておけば、工程Ｓ２０の処理は検量／診断対象に依らず、共通の処理を用いることができる。
【００６０】
Ｅ．分光画像処理：
分光画像処理について、次に詳述する。分光画像処理は、前述した工程Ｓ３０（図２）で分光画像処理装置１００により実行される処理である。メモリー３０のプログラム保存部に格納された分光画像用プログラムを、ＣＰＵ１０が実行することで、分光画像処理が実現される。
【００６１】
分光画像処理は、工程Ｓ２０で撮影したマルチバンド画像から、各画素の分光スペクトル・特徴量を推定し、その結果から診断を行う。分光画像処理は、マルチバンド画像から、肌の診断に必要な、水分、油分、コラーゲン、メラニンの量／分布を求める。工程Ｓ１０において検量／診断対象に合わせた分光推定パラメーター及び検量処理パラメーターを生成しておけば、工程Ｓ３０の処理は検量／診断対象に依らず、共通の処理を用いることができる。
【００６２】
以下に各処理の詳細を示す。
図４は、本実施例に係る分光画像処理を示すフローチャートである。図示するように、処理が開始されると、ＣＰＵ１０は、マルチバンドカメラ２００からマルチバンド画像を取得する処理を行う（ステップＳ３１０）。詳しくは、ＣＰＵ１０は、メモリー３０の測定帯域データ保存部３２に記憶された複数の測定帯域データを、マルチバンドカメラ２００の波長選択フィルター２２０に順に送信することで、波長選択フィルター２２０の透過波長域を順に変更して、異なる測定帯域毎のバンド画像（スペクトル画像）を表すマルチバンド画像を、マルチバンドカメラ２００から取得する。なお、このステップＳ３１０における処理の一部である、複数の測定帯域データをマルチバンドカメラ２００に送信する構成が、ＣＰＵ１０で実現される測定帯域指示部１２（図１）に相当する。
【００６３】
次いで、ＣＰＵ１０は、ステップＳ３１０で取得したバンド画像のそれぞれを補正する前処理を実行する（ステップＳ３２０）。この前処理は、前処理データ保存部３４に記憶された波長帯域毎の前処理データに基づいて、バンド画像を補正する画像処理である。具体的には、ステップＳ３１０で入力されたマルチバンド画像には、マルチバンドカメラ２００の光学系・フィルターなどのムラや、光源ユニット２５０の照明ムラに起因する測定誤差が含まれている。これを工程Ｓ１０で生成・保存された前処理データを用いて補正する。例えば、図３で例示したように、ｋ番目の前処理データＰＤｋを構成する各要素の補正データがαｋ（ｉ，ｊ）で示される場合、ステップＳ３２０では、ｋバンド画像の画素値ｇｋ（ｉ，ｊ）を次式（８）に従って補正する。
【００６４】
ｔｇｋ（ｉ，ｊ）＝αｋ（ｉ，ｊ）・ｇｋ（ｉ，ｊ） …（８）
ただし、ｔｇｋ（ｉ，ｊ）は補正後の画素値である。
【００６５】
すなわち、変数ｉとｊを順にインクリメントしながらｋ番目のバンド画像を補正する処理を１番目からｎ番目までの全てのバンド画像に施すことで、マルチバンド画像全体について補正する。なお、前処理データとしてのこの補正データは、前述したように、マルチバンドカメラ２００におけるハードウェア的な製造誤差をソフトウェア的にキャンセルするためのものであることから、補正後のマルチバンド画像は、マルチバンドカメラ２００におけるハードウェア的な製造誤差に起因する波長ムラや光量ムラを補正したものとなる。
【００６６】
なお、式（８）は、補正データがαｋ（ｉ，ｊ）で示される場合についてのものであるが、補正データが、例えば２変数αｋ（ｉ，ｊ）、βｋ（ｉ，ｊ）である場合には、例えば次式（９）に従って補正する。
【００６７】
ｔｇｋ（ｉ，ｊ）＝αｋ（ｉ，ｊ）・ｇｋ（ｉ，ｊ）＋βｋ（ｉ，ｊ） …（９）
ただし、ｔｇｋ（ｉ，ｊ）は補正後の画素値である。
【００６８】
上記ステップＳ３２０の処理が、ＣＰＵ１０で実現される前処理部１４（図１）に相当する。
【００６９】
ステップＳ３２０の実行後、ＣＰＵ１０は、ステップＳ３２０で補正を終えた後のマルチバンド画像（以下、「補正後マルチバンド画像」と呼ぶ）から分光スペクトルを推定する処理を実行する（ステップＳ３３０）。ここでは、分光推定パラメーター保存部３６に記憶された分光推定パラメーターに基づいて前記推定を行う。
【００７０】
詳しくは、先に説明した式（１）に従う演算処理を実行する。すなわち、分光推定パラメーター保存部３６に記憶された分光推定パラメーターＭと、補正後マルチバンド画像の所定位置の値（画素値）ｘとの間の行列の積を求めることで、前記所定位置における分光スペクトルｐを求める。ここで、所定位置とは、被検体Ｔが写っている部分であればどの位置でも良く、例えば、画像の中央位置である。どの位置でもよいとしたのは、ステップＳ３２０で波長ムラや光量ムラが補正されているためである。
【００７１】
ステップＳ３３０の実行後、ＣＰＵ１０は、ステップＳ３３０で求めた各画素の分光スペクトルと、工程Ｓ１０で生成・保存された求めた検量処理パラメーターから、式（６）を用いて特徴量を推定する（ステップＳ３４０）。ここでは、検量処理パラメーター保存部３８に記憶された検量処理パラメーターに基づいて前記推定を行う。
【００７２】
詳しくは、先に説明した式（６）に従う演算処理を実行する。すなわち、検量処理パラメーター保存部３８に記憶された検量処理パラメーターＺと、ステップＳ３３０で得られた所定位置の分光スペクトルｐとの間の行列の積を求めることで、前記所定位置における特徴量、肌の水分、油分、コラーゲン、メラニン量を求める。
【００７３】
上記ステップＳ３３０の処理が、ＣＰＵ１０で実現される分光推定部１６（図１）に相当し、上記ステップＳ３４０の処理が、ＣＰＵ１０で実現される検量処理部１８（図１）に相当している。
【００７４】
ステップＳ３４０の実行後、ＣＰＵ１０は、ステップＳ３４０で得られた特徴量から肌診断結果を求める処理を行う（ステップＳ３５０）。
【００７５】
図５は、本実施例に係る肌構成成分と肌状態との関係を例示する図である。
診断結果の算出は、ステップＳ３４０で求めた特徴量と、工程Ｓ１０で生成・保存された診断データベースから診断結果を算出する。診断結果の算出は、算出された肌の構成成分量／成分比を、診断データベース保存部３９に保存されている健康な状態・問題のある状態の成分量／成分比と比較する。成分量／成分比がもっとも近い状態を選択することで、肌の現在の問題点の診断を行う。ここでは、診断データベース保存部３９に記憶された診断データベースに基づいて、前記肌診断結果の演算を行う。
【００７６】
ステップＳ３５０の実行後、ＣＰＵ１０は、ステップＳ３５０で得られた肌診断結果を表示装置３００及び記憶装置４００に出力する（ステップＳ３６０）。この結果、肌の診断結果が表示装置３００に表示され、記憶装置４００に記憶される。ステップＳ３６０の実行後、ＣＰＵ１０はリターンに処理を進めて、この肌診断処理を一旦終了する。なお、図２で説明したように肌を診断したい次の被検体Ｔがある場合には、ＣＰＵ１０は、肌診断処理を繰り返し実行する。
【００７７】
Ｆ．食事メニューの提案処理：
図６は、本実施例に係る食事メニューの提案処理を示すフローチャートである。
食事メニューの提案処理は、工程Ｓ３０で求めた特徴量及び診断結果をもとに、食事メニューを選択し、表示装置３００に表示しユーザーに伝える。
【００７８】
食事メニューの提案処理は、工程Ｓ３０で測定した水分、油分、コラーゲン、メラニンなどの成分量と、肌の問題点を診断した診断結果から、問題点の改善のために必要な栄養素とその量を決定し、その栄養素を効率よく摂取できる食事メニューを選択しその結果を提案として表示する。工程Ｓ１０において検量／診断対象に合わせた提案データベースを生成しておけば、工程Ｓ４０の処理は検量／診断対象に依らず、共通の処理を用いることができる。
【００７９】
以下に各処理の詳細を示す。ステップＳ４１０において、ステップＳ３６０で出力された診断結果を入力する。
【００８０】
図７は、本実施例に係る肌状態と必要栄養素との関係を例示する表である。
ステップＳ４１０の実行後、ＣＰＵ１０は、ステップＳ４１０で入力された診断結果から、肌の状態・問題点を改善するために必要な栄養素を、図７に例示した表の提案データベースから選択する（ステップＳ４２０）。さらに、状態・問題点の程度、問題の組み合わせから、各栄養素の必要量を計算しリストにする。
【００８１】
図８は、本実施例に係る必要栄養素と食事メニューとの関係を例示する表である。
ステップＳ４２０の実行後、ＣＰＵ１０は、ステップＳ４２０で求めた必要栄養素量のリストを参照し、その栄養素量のバランスに近い食事メニューを、図８に例示する表の提案データベースから選択する（ステップＳ４３０）。選択する場合に、もっとも近いものだけでなく、許容範囲内で近しい複数のメニューを選択する。
【００８２】
図９は、本実施例に係る提案表示画面を例示する図である。
ステップＳ４２０の実行後、ＣＰＵ１０は、ステップＳ４３０で選択されて、図９に例示する図の食事メニューを表示部に出力する（ステップＳ４４０）。
【００８３】
Ｇ．実施例効果：
以上のように構成された食事内容提案システム１によれば、肌の状態を分光分析により診断し、さらに、肌に関する専門知識と、現在の肌の正確な情報を、即時で合成できるので、肌状態改善のための食事メニューがわかる。これにより、肌のトラブルを改善するために必要な栄養素等を無理なく摂取できる食事メニューを知ることができる。
【００８４】
Ｈ．変形例：
この発明は前記実施例やその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。なお、変形例の説明にあたっては上述した実施例と同一の構成については同一の符号を付し、その説明を省略する。
【００８５】
（変形例１）
前記実施例では、食事内容提案システム１専用の分光画像処理装置１００を用いていたが、分光画像処理装置１００は汎用のパーソナルコンピューターに換えることができる。また、マルチバンドカメラ２００と分光画像処理装置１００とは別体であったが、一体とすることもできる。例えば、分光画像処理装置１００を内蔵する構成としてもよいし、マルチバンドカメラ２００に分光画像処理装置１００を例えばチップの形で内蔵する構成としてもよい。表示装置３００及び記憶装置４００も、分光画像処理装置１００と一体とすることもできる。
【００８６】
（変形例２）
前記実施例及び各変形例において、ソフトウェアによって実現した機能は、ハードウェアによって実現するものとしてもよい。
【００８７】
（変形例３）
前記実施例及び各変形例では、分光推定パラメーターを用いて、マルチバンド画像から分光スペクトルを演算し、検量処理パラメーターを用いて、前記分光スペクトルから特徴量を演算する構成としていたが、これに換えて、分光推定パラメーターＭと検量処理パラメーターＺとを掛け合わせたパラメーターＬ（＝Ｚ・Ｍ）を用いて、マルチバンド画像から直接、特徴量を推定する構成としてもよい。マルチバンドカメラ２００の個体、被検体Ｔの種類、及び推定する特徴量の組合せが予め定められている場合には、この構成によっても、マルチバンド画像から被検体の特徴量を高精度に推定することができる。
【００８８】
（変形例４）
前記実施例及び各変形例では、測定帯域データ保存部３２に記憶された複数の測定帯域データを、マルチバンドカメラ２００の波長選択フィルター２２０に順に送信することで、波長選択フィルター２２０の透過波長域を順に変更して、異なる測定帯域毎のバンド画像（スペクトル画像）を表すマルチバンド画像を、マルチバンドカメラ２００から取得する構成とした。これに替えて、予め定められた複数の測定帯域毎のバンド画像を表すマルチバンド画像をマルチバンドカメラ２００から取得する構成としてもよい。すなわち、測定帯域データ保存部３２及び測定帯域指示部１２はなくてもよい。
【００８９】
（変形例５）
前記実施例及び各変形例では、前処理データ保存部３４に記憶した前処理データに基づいて、前処理部１４がマルチバンド画像を補正し、補正後マルチバンド画像から分光スペクトルを推定する構成とした。これに替えて、マルチバンド画像取得部が取得したマルチバンド画像から分光スペクトルを推定する構成としてもよい。また、マルチバンド画像取得部が、補正後マルチバンド画像を取得してもよい。すなわち、前処理データ保存部３４及び前処理部１４はなくてもよい。
【００９０】
（変形例６）
前記実施例及び各変形例では、分光画像処理装置１００の診断データベース保存部３９に記憶された診断データベースと、推定された特徴量とに基づいて、診断部１９が診断を行う構成とした。これに替えて、推定された特徴量を分光画像処理装置１００とは別に構成された診断装置に出力し、診断装置が診断を行ってもよい。すなわち、分光画像処理装置１００には診断データベース保存部３９及び診断部１９はなくてもよい。
【００９１】
なお、前述した各実施例及び各変形例における構成要素の中の、独立請求項で記載された要素以外の要素は、付加的な要素であり、適宜省略可能である。
【符号の説明】
【００９２】
１…食事内容提案システム １０…ＣＰＵ １２…測定帯域指示部（マルチバンド画像取得部） １４…前処理部 １６…分光推定部 １８…検量処理部 １９…診断部 ３０…メモリー ３２…測定帯域データ保存部（マルチバンド画像取得部） ３４…前処理データ保存部 ３６…分光推定パラメーター保存部 ３８…検量処理パラメーター保存部 ３９…診断データベース保存部 ５０…入出力Ｉ／Ｆ ５１…提案部 ５２…提案データベース保存部 １００…分光画像処理装置 ２００…マルチバンドカメラ ２１０…レンズユニット ２２０…波長選択フィルター ２３０…ＣＣＤ ２４０…ＣＣＤＡＦＥ ２５０…光源ユニット ３００…表示装置 ４００…記憶装置 Ｍ…分光推定行列（＝分光推定パラメーター） Ｚ…混合行列（＝検量処理パラメーター）。
【特許請求の範囲】
【請求項１】
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、
前記マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、該所定位置に対応した前記被検体の部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを保存する分光推定パラメーター保存部と、
前記分光推定パラメーター保存部に保存されている前記分光推定パラメーターを用いて、前記マルチバンド画像から前記分光スペクトルを演算する分光推定部と、
前記分光スペクトルを前記被検体の特定成分に関する特徴量に変換することに用いる検量処理パラメーターを保存する検量処理パラメーター保存部と、
前記検量処理パラメーター保存部に保存されている前記検量処理パラメーターを用いて、前記分光推定部によって求められた前記分光スペクトルから前記特徴量を演算する検量処理部と、
前記被検体の前記特徴量を前記被検体の評価値に変換することに用いる診断データを保存する診断データベース保存部と、
前記診断データベース保存部に保存されている前記診断データを用いて、前記検量処理部によって得られた前記特徴量から前記被検体の前記評価値を演算する診断部と、
前記被検体の前記評価値を前記被検体の食事内容に変換することに用いる提案データを保存する提案データベース保存部と、
前記提案データベース保存部に保存されている前記提案データを用いて、前記診断部によって得られた前記評価値から前記被検体の前記食事内容を提案する提案部と、
を備えることを特徴とする分光画像処理装置。
【請求項２】
請求項１に記載の分光画像処理装置において、
前記マルチバンド画像取得部は、
複数の波長帯域の感度で前記被検体の撮影を行うマルチバンドカメラに対して測定帯域を指示することに用いる複数の測定帯域データを保存する測定帯域データ保存部と、
前記測定帯域データ保存部に保存されている前記測定帯域データを前記マルチバンドカメラに送ることによって、該マルチバンドカメラに測定帯域を指示する測定帯域指示部と、
を備えることを特徴とする分光画像処理装置。
【請求項３】
請求項１又は２に記載の分光画像処理装置において、
前記マルチバンド画像の取得先であるマルチバンドカメラにおける誤差を補正することに用いる補正量を、前記マルチバンド画像を構成するバンド画像のそれぞれに対して定めた前処理データを保存する前処理データ保存部と、
前記マルチバンド画像取得部によって取得した前記マルチバンド画像を、前記前処理データ保存部に保存されている前記前処理データに基づいて補正し、補正後のマルチバンド画像を前記分光推定部に送る前処理部と、
を備えることを特徴とする分光画像処理装置。
【請求項４】
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得する工程と、
前記マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、該所定位置に対応した前記被検体の部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを用いて、前記マルチバンド画像から前記分光スペクトルを演算する工程と、
前記分光スペクトルを前記被検体の特定成分に関する特徴量に変換することに用いる検量処理パラメーターを用いて、前記分光スペクトルから前記特徴量を演算する工程と、
前記被検体の前記特徴量を前記被検体の評価値に変換することに用いる診断データを用いて、前記特徴量から前記被検体の前記評価値を演算する工程と、
前記被検体の前記評価値を前記被検体の食事内容に変換することに用いる提案データを用いて、前記評価値から前記被検体の前記食事内容を提案する工程と、
を含むことを特徴とする分光画像処理方法。
【請求項５】
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得する機能と、
前記マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、該所定位置に対応した前記被検体の部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを用いて、前記マルチバンド画像から前記分光スペクトルを演算する機能と、
前記分光スペクトルを前記被検体の特定成分に関する特徴量に変換することに用いる検量処理パラメーターを用いて、前記分光スペクトルから前記特徴量を演算する機能と、
前記被検体の前記特徴量を前記被検体の評価値に変換することに用いる診断データを用いて、前記特徴量から前記被検体の前記評価値を演算する機能と、
前記被検体の前記評価値を前記被検体の食事内容に変換することに用いる提案データを用いて、前記評価値から前記被検体の前記食事内容を提案する機能と、
をコンピューターに実現させることを特徴とするコンピュータープログラム。
【請求項１】
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、
前記マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、該所定位置に対応した前記被検体の部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを保存する分光推定パラメーター保存部と、
前記分光推定パラメーター保存部に保存されている前記分光推定パラメーターを用いて、前記マルチバンド画像から前記分光スペクトルを演算する分光推定部と、
前記分光スペクトルを前記被検体の特定成分に関する特徴量に変換することに用いる検量処理パラメーターを保存する検量処理パラメーター保存部と、
前記検量処理パラメーター保存部に保存されている前記検量処理パラメーターを用いて、前記分光推定部によって求められた前記分光スペクトルから前記特徴量を演算する検量処理部と、
前記被検体の前記特徴量を前記被検体の評価値に変換することに用いる診断データを保存する診断データベース保存部と、
前記診断データベース保存部に保存されている前記診断データを用いて、前記検量処理部によって得られた前記特徴量から前記被検体の前記評価値を演算する診断部と、
前記被検体の前記評価値を前記被検体の食事内容に変換することに用いる提案データを保存する提案データベース保存部と、
前記提案データベース保存部に保存されている前記提案データを用いて、前記診断部によって得られた前記評価値から前記被検体の前記食事内容を提案する提案部と、
を備えることを特徴とする分光画像処理装置。
【請求項２】
請求項１に記載の分光画像処理装置において、
前記マルチバンド画像取得部は、
複数の波長帯域の感度で前記被検体の撮影を行うマルチバンドカメラに対して測定帯域を指示することに用いる複数の測定帯域データを保存する測定帯域データ保存部と、
前記測定帯域データ保存部に保存されている前記測定帯域データを前記マルチバンドカメラに送ることによって、該マルチバンドカメラに測定帯域を指示する測定帯域指示部と、
を備えることを特徴とする分光画像処理装置。
【請求項３】
請求項１又は２に記載の分光画像処理装置において、
前記マルチバンド画像の取得先であるマルチバンドカメラにおける誤差を補正することに用いる補正量を、前記マルチバンド画像を構成するバンド画像のそれぞれに対して定めた前処理データを保存する前処理データ保存部と、
前記マルチバンド画像取得部によって取得した前記マルチバンド画像を、前記前処理データ保存部に保存されている前記前処理データに基づいて補正し、補正後のマルチバンド画像を前記分光推定部に送る前処理部と、
を備えることを特徴とする分光画像処理装置。
【請求項４】
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得する工程と、
前記マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、該所定位置に対応した前記被検体の部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを用いて、前記マルチバンド画像から前記分光スペクトルを演算する工程と、
前記分光スペクトルを前記被検体の特定成分に関する特徴量に変換することに用いる検量処理パラメーターを用いて、前記分光スペクトルから前記特徴量を演算する工程と、
前記被検体の前記特徴量を前記被検体の評価値に変換することに用いる診断データを用いて、前記特徴量から前記被検体の前記評価値を演算する工程と、
前記被検体の前記評価値を前記被検体の食事内容に変換することに用いる提案データを用いて、前記評価値から前記被検体の前記食事内容を提案する工程と、
を含むことを特徴とする分光画像処理方法。
【請求項５】
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得する機能と、
前記マルチバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、該所定位置に対応した前記被検体の部分における分光スペクトルを示す第２群の変量と、の間の関係を示す分光推定パラメーターを用いて、前記マルチバンド画像から前記分光スペクトルを演算する機能と、
前記分光スペクトルを前記被検体の特定成分に関する特徴量に変換することに用いる検量処理パラメーターを用いて、前記分光スペクトルから前記特徴量を演算する機能と、
前記被検体の前記特徴量を前記被検体の評価値に変換することに用いる診断データを用いて、前記特徴量から前記被検体の前記評価値を演算する機能と、
前記被検体の前記評価値を前記被検体の食事内容に変換することに用いる提案データを用いて、前記評価値から前記被検体の前記食事内容を提案する機能と、
をコンピューターに実現させることを特徴とするコンピュータープログラム。
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１】
【図９】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１】
【図９】
【公開番号】特開２０１３−９２３７２（Ｐ２０１３−９２３７２Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３２５４９（Ｐ２０１１−２３２５４９）
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]