特徴量推定装置およびその方法、分光画像処理装置およびその方法、並びにコンピュータープログラム
【課題】高価な分光器を必要とせずに、特徴量を高精度に推定可能とする。
【解決手段】被検体の特定成分に関する特徴量を推定する特徴量推定装置は、波長帯域の相違する複数のバンド画像を分光スペクトルに変換するための分光推定パラメーターを保存する分光推定パラメーター保存部３６と、分光スペクトルを前記特徴量に変換するための検量処理パラメーターを保存する検量処理パラメーター保存部３８とを備える。さらに、特定成分に応じた所定の波長帯域を含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、前記分光推定パラメーターを用いて、マルチバンド画像から分光スペクトルを演算する分光推定部１６と、検量処理パラメーターを用いて、前記分光スペクトルから前記特徴量を演算する検量処理部１８とを備える。
【解決手段】被検体の特定成分に関する特徴量を推定する特徴量推定装置は、波長帯域の相違する複数のバンド画像を分光スペクトルに変換するための分光推定パラメーターを保存する分光推定パラメーター保存部３６と、分光スペクトルを前記特徴量に変換するための検量処理パラメーターを保存する検量処理パラメーター保存部３８とを備える。さらに、特定成分に応じた所定の波長帯域を含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、前記分光推定パラメーターを用いて、マルチバンド画像から分光スペクトルを演算する分光推定部１６と、検量処理パラメーターを用いて、前記分光スペクトルから前記特徴量を演算する検量処理部１８とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体の特定成分に関する特徴量を推定する技術と、マルチバンド画像から分光スペクトルを得る技術とに関する。
【背景技術】
【０００２】
従来、生鮮食品の鮮度判定を行う鮮度センサーとして、被検体からの反射光を分光する分光器を備えたものが提案されている。この鮮度センサーでは、分光器の出力である反射スペクトルを画像素子により電気信号に変換し、その反射スペクトルの電気信号と基準スペクトルとを比較することにより、鮮度判定を行う（例えば、特許文献１参照）。
【０００３】
上記分光器から出力される反射スペクトルは被検体の特徴量を示すものであり、反射スペクトルを利用することで、被検体の特徴量を推定することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１０８１２４号公報
【０００５】
しかしながら、前記従来の技術では、高精度に特徴量を推定することができるが、波長分解能やＳ／Ｎ比に優れた品質の高い分光器が必要となり、高コストとなる問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前記の課題を解決するためになされたものであり、高価な分光器を必要とせずに、特徴量を高精度に推定可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００８】
［適用例１］ 被検体の特定成分に関する特徴量を推定する特徴量推定装置であって、
波長帯域の相違する複数のバンド画像を分光スペクトルに変換することに用いる分光推定パラメーターを保存する分光推定パラメーター保存部と、
前記分光スペクトルを前記特徴量に変換することに用いる検量処理パラメーターを保存する検量処理パラメーター保存部と、
前記特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、
前記分光推定パラメーター保存部に保存されている分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する分光スペクトル演算部と、
前記検量処理パラメーター保存部に保存されている検量処理パラメーターを用いて、前記分光スペクトル演算部によって求められた分光スペクトルから前記特徴量を演算する検量処理部と
を備える特徴量推定装置。
【０００９】
適用例１の特徴量推定装置によれば、被検体の特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で被検体を撮影して得られるマルチバンド画像から、分光推定パラメーターを用いて分光スペクトルを演算し、その分光スペクトルから、検量処理パラメーターを用いて被検体の特徴量を演算する。このために、分光推定パラメーターと検量処理パラメーターとを予め用意しておけば、高価な分光器を必要とせずに、マルチバンド画像から被検体の特徴量を高精度に推定することができる。
【００１０】
［適用例２］ 適用例１に記載の特徴量推定装置であって、前記マルチバンド画像取得部は、複数の波長帯域の感度で被検体の撮影を行うマルチバンドカメラに対して測定帯域を指示することに用いる複数の測定帯域データを保存する測定帯域データ保存部と、前記測定帯域データ保存部に保存されている測定帯域データを前記マルチバンドカメラに送ることによって、前記マルチバンドカメラに測定帯域を指示する測定帯域指示部とを備える特徴量推定装置。
【００１１】
適用例２の特徴量推定装置によれば、マルチバンドカメラに対して測定帯域を指示することが可能となることから、特定成分に応じた所定帯域を含む複数の波長帯域のマルチバンド画像をより確実に取得することができる。
【００１２】
［適用例３］ 適用例１または２に記載の特徴量推定装置であって、前記マルチバンド画像の取得先であるマルチバンドカメラにおける誤差を補正することに用いる補正量を、前記マルチバンド画像を構成するバンド画像のそれぞれに対して定めた前処理データを保存する前処理データ保存部と、前記マルチバンド画像取得部によって取得したマルチバンド画像を、前記前処理データ保存部に保存されている前処理データに基づいて補正し、補正後のマルチバンド画像を前記分光スペクトル演算部に送る前処理部とを備える特徴量推定装置。
【００１３】
適用例３の特徴量推定装置によれば、マルチバンドカメラにおける誤差を、補正することができることから、推定精度をより高めることができる。
【００１４】
［適用例４］ 適用例１ないし３のいずれかに記載の特徴量推定装置であって、前記被検体の特徴量を前記被検体の評価値に変換することに用いる診断データを保存する診断データ保存部と、前記診断データ保存部に保存されている診断データを用いて、前記検量処理部によって得られた特徴量から前記被検体の評価値を演算する診断部とを備える特徴量推定装置。
【００１５】
適用例４の特徴量推定装置によれば、求めた特徴量から被検体の評価値を演算することが可能となる。
【００１６】
［適用例５］ 波長帯域の相違する複数のバンド画像を分光スペクトルに変換する分光画像処理装置であって、
前記複数のバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、前記所定位置に対応した被検体の部分における分光スペクトルを示す第２群の変量との間の関係を示す分光推定パラメーターを保存する分光推定パラメーター保存部と、
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、
前記分光推定パラメーター保存部に保存されている分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する分光スペクトル演算部と
を備える分光画像処理装置。
【００１７】
適用例５の分光画像処理装置によれば、複数の波長帯域で被検体を撮影して得られるマルチバンド画像から、分光推定パラメーターを用いて分光スペクトルを演算する。このために、分光推定パラメーターを予め用意しておけば、高価な分光器を必要とせずに、マルチバンド画像から分光スペクトルを得ることができる。
【００１８】
［適用例６］ 被検体の特定成分に関する特徴量を推定する特徴量推定方法であって、
前記特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得し、
波長帯域の相違する複数のバンド画像を分光スペクトルに変換することに用いる分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算し、
前記分光スペクトルを前記特徴量に変換することに用いる検量処理パラメーターを用いて、前記演算により得られた分光スペクトルから前記特徴量を演算する、特徴量推定方法。
【００１９】
［適用例７］ 波長帯域の相違する複数のバンド画像を分光スペクトルに変換する分光画像処理方法であって、
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得し、
前記複数のバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、前記所定位置に対応した被検体の部分における分光スペクトルを示す第２群の変量との間の関係を示す分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する、分光画像処理方法。
【００２０】
［適用例８］ 被検体の特定成分に関する特徴量を推定するためのコンピュータープログラムであって、
前記特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得する機能と、
前記波長帯域の相違する複数のバンド画像と、分光スペクトルとの関係を表す分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する機能と、
前記分光スペクトルと、前記特徴量との関係を表す検量処理パラメーターを用いて、前記演算によって得られた分光スペクトルから前記特徴量を演算する機能と
をコンピューターに実現させるコンピュータープログラム。
【００２１】
［適用例９］ 波長帯域の相違する複数のバンド画像を分光スペクトルに変換するためのコンピュータープログラムであって、
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得する機能と、
前記複数のバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、前記所定位置に対応した被検体の部分における分光スペクトルを示す第２群の変量との間の関係を示す分光推定パラメーターを用いて、前記取得したマルチバンド画像から分光スペクトルを演算する機能と
をコンピューターに実現させるコンピュータープログラム。
【００２２】
適用例６の特徴量推定方法および適用例８のコンピュータープログラムは、適用例１の特徴量推定装置と同様に、高価な分光器を必要とせずに、マルチバンド画像から被検体の特徴量を高精度に推定することができる。また、適用例７の分光画像処理方法および適用例９のコンピュータープログラムは、適用例５の分光画像処理装置と同様に、高価な分光器を必要とせずに、マルチバンド画像から分光スペクトルを得ることができる。
【００２３】
さらに、本発明は、前記適用例１ないし９以外の種々の形態で実現可能であり、例えば、適用例１ないし４に記載の特徴量推定装置をマルチバンドカメラと共に備えた鮮度判定システムの形態で実現することが可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施例としての鮮度判定システム１の構成を概略的に示す説明図である。
【図２】緑色野菜の鮮度を判定する作業手順を示すフローチャートである。
【図３】鮮度が相違する緑色野菜についての光の波長と反射率との関係を示すグラフである。
【図４】前処理データを説明するための説明図である。
【図５】診断データベースの一例を示すグラフである。
【図６】診断データベースの他の一例を示すグラフである。
【図７】鮮度判定処理を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態を実施例に基づいて説明する。本発明の一実施例は、被検体である緑色野菜（例えば、ほうれん草、こまつな、ピーマン等）の鮮度を判定するためのものである。
【００２６】
Ａ．鮮度判定システムの全体構成：
図１は、本発明の一実施例としての鮮度判定システム１の構成を概略的に示す説明図である。図示するように、鮮度判定システム１は、分光画像処理装置１００と、マルチバンドカメラ２００と、表示装置３００と、記憶装置４００とを備える。マルチバンドカメラ２００、表示装置３００、および記憶装置４００は、分光画像処理装置１００に電気的に接続されている。
【００２７】
マルチバンドカメラ２００は、レンズユニット２１０、波長選択フィルター２２０、ＣＣＤ２３０、ＣＣＤＡＦＥ（Analog Front End）２４０、および光源ユニット２５０等を備える。レンズユニット２１０は、被写体にフォーカスを合わせるオートフォーカス機構を備えないものであるが、オートフォーカス機構を備えるものとすることもできる。波長選択フィルター２２０は、透過波長帯域を変更可能なファブリペロー型のフィルターが用いられている。ＣＣＤ２３０は、波長選択フィルター２２０を透過した光を光電変換して被写体像を表す電気信号を得る撮像デバイスである。ＣＣＤＡＦＥ２４０は、ＣＣＤ２３０の検出信号をデジタル化するためのものである。光源ユニット２５０は、被写体を照射するためのものである。
【００２８】
上記構成のマルチバンドカメラ２００では分光画像処理装置１００から、複数の測定帯域の指示を波長選択フィルター２２０で順に受けることで、波長選択フィルター２２０の透過波長域が順に変更される。こうして、マルチバンドカメラ２００は、複数の波長帯域（マルチバンド）の感度で被検体Ｔ（被写体）の撮影を行う。
【００２９】
表示装置３００は、画面に情報を表示するための装置である。記憶装置４００は、データを記憶するための外部装置であり、例えばハードディスクドライブ装置である。
【００３０】
分光画像処理装置１００は、マルチバンドカメラ２００で撮影して得られたマルチバンド画像を処理することで、被検体Ｔの鮮度を判定する装置である。分光画像処理装置１００は、プログラムを実行することにより種々の処理や制御を行うＣＰＵ１０と、プログラムやデータ・情報を格納するメモリー３０と、マルチバンドカメラ２００から画像データを受け取り、かつ、表示装置３００および記憶装置４００に鮮度判定の結果を送る入出力インタフェース（Ｉ／Ｆ）５０と、を備えている。
【００３１】
メモリー３０は、測定帯域データ保存部３２、前処理データ保存部３４、分光推定パラメーター保存部３６、検量処理パラメーター保存部３８、および診断データベース保存部３９を有している。各保存部３２〜３９の詳細については、後ほど詳述する。また、メモリー３０は、図示はしないが、鮮度判定用プログラムを格納するプログラム保存部を有している。本実施例では、メモリー３０は不揮発性のメモリーである。なお、不揮発性に替えて揮発性のメモリーとして、処理の実行前に必要なデータやパラメーターを外部から受け取って保存する構成としてもよい。
【００３２】
ＣＰＵ１０は、メモリー３０のプログラム保存部に格納された鮮度判定用プログラムを実行することで、測定帯域指示部１２、前処理部１４、分光推定部１６、検量処理部１８、および診断部１９を機能的に実現する。各部１２〜１９は、対応する保存部３２〜３９に保存されたデータやパラメーターを用いて各処理を実行する。各処理の結果、ＣＰＵ１０は、マルチバンドカメラ２００で得られるマルチバンド画像を取得し、マルチバンド画像から被検体Ｔの鮮度を判定し、その判定結果を、入出力Ｉ／Ｆ５０を介して表示装置３００および記憶装置４００に送信する。この結果、鮮度判定の結果が表示され、保存される。
【００３３】
なお、分光画像処理装置１００は、被検体Ｔの鮮度を判定するに際し、被検体Ｔの特定成分に関する特徴量を推定していることから、特徴量推定装置としても機能する。入出力インタフェース（Ｉ／Ｆ）５０、メモリー３０の測定帯域データ保存部３２、およびＣＰＵ１０で機能する測定帯域指示部１２が、適用例１における「マルチバンド画像取得部」に対応している。診断データベース保存部３９が、適用例４における「診断データ保存部」に対応している。
【００３４】
Ｂ．鮮度判定の作業手順：
図２は、緑色野菜の鮮度を判定する作業手順を示すフローチャートである。図示するように、まず、鮮度判定に必要となるデータベースを生成し、そのデータベースを分光画像処理装置１００のメモリー３０に保存する（工程Ｓ１）。ここで言うデータベースは、分光画像処理装置１００における各保存部３２〜３９（図１）に保存される各種データに相当する。
【００３５】
その後、分光画像処理装置１００に接続されたマルチバンドカメラ２００を用いて、被検体Ｔを撮影する（工程Ｓ２）。次いで、分光画像処理装置１００は、マルチバンドカメラ２００から出力されるマルチバンド画像から被検体Ｔの鮮度を判定し（工程Ｓ３）、その判定結果を表示・保存する（工程Ｓ４）。その後、分光画像処理装置１００は、次の被検体Ｔがあるか否かを判定し（工程Ｓ５）、次の被検体Ｔがある場合（工程Ｓ５がＹＥＳ）には、工程Ｓ２に戻って、次の被検体Ｔに対して工程Ｓ２ないし工程Ｓ４を行う。工程Ｓ５で、次の被検体Ｔがない場合（工程Ｓ５がＮＯ）には、処理を終了する。
【００３６】
Ｃ．データベースの生成・保存：
前記工程Ｓ１により生成し、保存するデータベースとしての各種データについて、その内容と生成方法を次に詳述する。各種データは、測定帯域データ、前処理データ、分光推定パラメーター、検量処理パラメーター、および診断データベースである。なお、データベースの生成・保存は、分光画像処理装置１００の工場出荷前に行うことが好適である。工程Ｓ３における判定は、鮮度が既知の被検体Ｔを使用する場合には省略してもよい。上記の手順の一部を、図示しないインタフェースを介して作業者が行ってもよい。
【００３７】
・測定帯域データ：
緑色野菜は、古くなると、クロロフィル（葉緑素）が分解されて鮮やかな緑色が消える。このことから、緑色野菜の鮮度は、クロロフィルの量から判定可能なことが判る。本実施例では、クロロフィルの量を被検体の特徴量として推定することで、被検体である緑色野菜の鮮度を判定する。
【００３８】
図３は、鮮度が相違する緑色野菜についての光の波長と反射率との関係を示すグラフである。図示するように、新鮮な野菜（あるいは、やや萎びた野菜）は、約７００ｎｍ辺りでクロロフィルによる光の吸収が起こる。このため、クロロフィルによる光の吸収が起こる波長（約７００ｎｍ）を含む５００ｎｍ〜１１００ｎｍの範囲内の複数の波長を、測定帯域としてマルチバンドカメラ２００に指示するために、測定帯域データとして測定帯域データ保存部３２に記憶する。例えば、５００ｎｍから２０ｎｍ間隔で１１００ｎｍまでの３１個（具体的には、５００ｎｍ、５２０ｎｍ、５４０ｎｍ、…、１０６０ｎｍ、１０８０ｎｍ、１１００ｎｍ）の測定帯域データを記憶する構成とすればよい。
【００３９】
なお、上記測定帯域データは、２０ｎｍ間隔の３１個である必要は必ずしもなく、１０ｎｍ間隔の６１個としてもよく、複数であればいくつであってもよい。また、等間隔である必要もなく、クロロフィルによる光の吸収が起こる波長である約７００ｎｍ付近をより細かい間隔で指示できるように定めてもよい。また、５００ｎｍ〜１１００ｎｍの範囲内である必要もなく、クロロフィルによる光の吸収が起こる波長（約７００ｎｍ）を含めば他の範囲としてもよい。
【００４０】
・前処理データ：
マルチバンドカメラ２００には、光学系のムラや、波長選択フィルター２２０を構成するファブリペロー型フィルターの反りや、光源ユニット２５０の照明ムラなど、ハードウェア的な製造誤差がある。これにより、マルチバンドカメラ２００では、撮影によって得られたマルチバンド画像の各面内（マルチバンド画像を構成する各バンド画像内）に波長ムラ（透過波長のムラ）や光量ムラが発生する。本実施例では、この面内波長ムラおよび光量ムラをキャンセルするための補正量を前処理データとして、前処理データ保存部３４に記憶する。
【００４１】
具体的には、まず、鮮度判定に使用するマルチバンドカメラ２００（機種が同一、より好ましくは実機そのもの）で均一色のサンプルを撮影し、マルチバンド画像を取得する。次いで、マルチバンド画像を構成するバンド画像のそれぞれにおいて、画像内のどの位置でも均一となるように、ハードウェア的な製造誤差をキャンセルする補正データを画素毎に求め、その画素毎の補正データの集合を各バンド画像に対応した前処理データとして、前処理データ保存部３４に記憶する。均一色のサンプルとしては、どの波長域でも均等に光を反射可能な色が好ましく、例えば標準白色板を用意する。
【００４２】
図４は、前処理データを説明するための説明図である。図中の（ａ）にマルチバンド画像を示し、図中の（ｂ）に前処理データを示す。図示するように、複数の前処理データＰＤ１，ＰＤ２，…，ＰＤｎのそれぞれは、マルチバンド画像を構成するバンド画像ＢＰ１，…，ＢＰｎ毎（すなわち、マルチバンド画像の波長帯域毎）に用意されるもので、バンド画像ＢＰ１，ＢＰ２，…，ＢＰｎと同数、用意されている。そして、前処理データＰＤ１，ＰＤ２，…，ＰＤｎのそれぞれは、各バンド画像と同じ要素数（画素数）によって構成される。ｋ番目（ｋ＝１〜ｎ）の前処理データＰＤｋにおける、横方向がｉ番目、縦方向がｊ番目の要素に格納される補正データαk（ｉ，ｊ）は、ｋ番目のバンド画像ＢＰｋにおける、横方向がｉ番目、縦方向がｊ番目の画素を補正する補正データ（ｋ番目のバンド画像ＢＰｋ内でムラをキャンセルすることに用いる補正データ）が格納されることになる。
【００４３】
なお、本実施例では、補正データは、バンド画像ＢＰ１〜ＢＰｎにおける全ての画素に対して生成する構成としたが、これに替えて、離散的に補正データを生成することで補正データの数を減らして、補正データのない部分については補間演算によって求めるようにしてもよい。なお、前処理データの生成方法は、上記に限る必要はなく、他の手法に換えることができる。
【００４４】
・分光推定パラメーター：
分光推定パラメーターは、マルチバンド画像と分光スペクトルとの関係を表したものである。マルチバンド画像はマルチバンドカメラ２００で得られる波長帯域の相違する複数のバンド画像であり、分光スペクトルは分光器によって得られるスペクトルである。具体的には、以下の式（１）における分光推定行列Ｍが、分光推定パラメーターである。式（１）において、ｘはマルチバンド画像の所定位置の値（画素値）を示す行列であり、ｐはその所定位置に対応した部分における分光スペクトルを示す行列である。「マルチバンド画像の所定位置の画素値」とはマルチバンド画像を構成する各バンド画像の所定位置の画素値のことであり、「その所定位置に対応した部分」とはその所定位置に対応した被検体Ｔにおける位置のことである。
【００４５】
【数１】
【００４６】
式（１）は、以下の式（２）を意味する。式（２）に示すように、行列ｘは、ｘ1、ｘ2、…、ｘnの要素を含むものである。各要素は測定帯域データ保存部３２に保存された測定帯域データのそれぞれに対応したもので、要素の数ｎは、要素測定帯域データの数と同一である。すなわち、マルチバンド画像の所定位置の画素値は各測定帯域の光の強度として示されることから、前記画素値を示すｘは、ｘ1、ｘ2、…、ｘnを要素とする行列で表される。一方、分光スペクトルを示す行列ｐは、ｐ1、ｐ2、…、ｐmの要素を含むものである。各要素は分光スペクトルを表す波長帯域に対応したもので、その要素の数ｍは、マルチバンド画像の画素値を示す行列ｘの要素の数ｎよりも大きい。分光推定行列Ｍは、ｍ×ｎ行列である。
【００４７】
【数２】
【００４８】
予め用意した色見本色見本を、鮮度判定に使用するマルチバンドカメラ２００（機種が同一、より好ましくは実機そのもの）と、分光器を備えた撮影装置（以下、「分光器撮影装置」と呼ぶ）とで撮影する。分光器撮影装置は、色見本からの反射光を分光器に通し、分光器から出力されるスペクトルを撮像素子の撮像面で受ける周知のものであり、例えば前述した特許文献１に記載されたものである。その後、マルチバンドカメラ２００で得られたマルチバンド画像から所定位置の画素値を抽出する。ここでいう所定位置とは、マルチバンド画像内で色見本が写っている部分であればどの位置でもよいが、好ましくは、前処理データを作成する際に、ハードウェア的な製造誤差が少ないとされた部分に対応した位置とするのがよい。
【００４９】
続いて、その所定位置に対応した色見本上の部分からの反射光のスペクトルを、分光器撮影装置で得られたデータから抽出する。これらの結果、前記色見本についての、マルチバンド画像の所定位置の画素値を示す行列ｘと、上記所定位置に対応した部分における分光スペクトルを示す行列ｐとを得ることができる。以下、「マルチバンド画像の所定位置の画素値」を単に「マルチバンド画像の画素値」と呼び、「上記所定位置に対応した部分」を単に「所定部分」と呼ぶ。
【００５０】
さらに、可視光線の帯域から赤外線の帯域まで含む範囲で多数用意された各色見本について、マルチバンドカメラと分光器撮影装置での撮影を行い、多数の色見本のそれぞれについての、マルチバンド画像の画素値を示す行列ｘと、所定部分における分光スペクトルを示す行列ｐとを得る。
【００５１】
行列はベクトルとして表すことができることから、以下、行列ｘをＸ（ベクトルを意味し、大文字で示す）と表し、行列ｐをＰ（ベクトルを意味し、大文字で示す）と表すものとする。したがって、多数の色見本についてのマルチバンド画像の画素値を示す行列（Ｘ1，Ｘ2，…，Ｘu）と、多数の色見本についての所定部分における分光スペクトルを示す行列（Ｐ1,Ｐ2，…，Ｐu）との間は、分光推定行列Ｍを用いて、以下の式（３）で関係づけることができる。ｕは色見本の数に一致する。
【００５２】
【数３】
【００５３】
行列（Ｘ1，Ｘ2，…，Ｘu）をＡと表し、行列（Ｐ1,Ｐ2，…，Ｐu）をＢと表すと、式（３）は以下の式（４）となり、式（４）を変形して以下の式（５）を得ることができる。
【００５４】
【数４】
【数５】
【００５５】
式（５）において、Ａは複数の色見本についてのマルチバンド画像の画素値であり、Ｂは複数の色見本についての所定部分における分光スペクトルである。ｔの上付き文字のある行列は転置行列を意味する。作業者は、式（５）に従って分光推定行列Ｍを求める。その後、作業者は、分光推定行列Ｍを分光推定パラメーターとして、分光推定パラメーター保存部３６に記憶する。分光推定行列Ｍは、どの色見本においても、式（４）における左辺と右辺とが十分に近づくような値となる。この分光推定行列Ｍを求めるにあたって、マルチバンドカメラ２００における測定帯域やバンド数（帯域数）を変更しながら、少ないバンド数で分光推定精度が維持できるようにするのが好ましい。このため、データベースの生成においては、この分光推定パラメーターの生成と、測定帯域データの生成とは合わせて行うのが好ましい。
【００５６】
色見本としてはカラーチャート等を用いることができる。分光推定パラメーターは、マルチバンドカメラにのみ依存する値となるので、被検体Ｔや特徴量の違いによらず共通して使えるようになる。
【００５７】
なお、分光推定パラメーターは、マルチバンド画像と分光スペクトルとの関係を表すことができるものであれば、上記以外の内容に換えることができる。また、分光推定パラメーターの生成方法についても、上記に限る必要はなく、他の方法に換えることができる。
【００５８】
・検量処理パラメーター：
検量処理パラメーターは、分光スペクトルと被検体Ｔの特徴量との関係を表したものである。被検体Ｔの特徴量は、本実施例ではクロロフィルの量である。具体的には、以下の式（６）における混合行列Ｚが、検量処理パラメーターである。式（６）において、ｐは被検体Ｔである緑色野菜の所定部分における分光スペクトルを示す行列であり、ｓは前記所定部分における特徴量である。
【００５９】
【数６】
【００６０】
式（６）は、以下の式（７）を意味する。式（７）に示すように、行列ｐはｐ1、ｐ2、…、ｐmの要素を含むものであり、行列ｓはｓ1、ｓ2、…、ｓlの要素を含むものである。混合行列Ｚは、ｌ×ｍ行列である。一般的に、特徴量についての要素の数ｌは、分光スペクトルについての要素の数ｍよりも小さい。
【００６１】
【数７】
【００６２】
予め用意した緑色野菜の所定部位を分光器撮影装置で撮影し、その後、化学分析によって前記緑色野菜の所定部位からクロロフィルを抽出し、その量を測定する。ここで、「所定部位」は緑色野菜のいずれの部分でもよいが、分光器撮影装置で撮影する部位と化学分析する部位とは同一であるのが好ましい。これらの作業の結果、前記緑色野菜についての分光スペクトルである行列ｐと、特徴量を示す行列ｓとが得られることになる。さらに、鮮度が相違する緑色野菜を多数用意して、緑色野菜毎に、同様に、分光器撮影装置で撮影し、化学的にクロロフィル量を測定する。この結果、鮮度が相違する多数の緑色野菜のそれぞれについての分光スペクトルである行列ｐと特徴量を示す行列ｓとが得られることになる。
【００６３】
行列はベクトルとして表すことができることから、以下、行列ｐをＰ（ベクトルを意味し、大文字で示す）と表し、行列ｓをＳ（ベクトルを意味し、大文字で示す）と表すものとする。したがって、多数の緑色野菜についての特徴量を示す行列（Ｓ1，Ｓ2，…，Ｓw）と、多数の緑色野菜についての分光スペクトルである行列（Ｐ1,Ｐ2，…，Ｐw）との間は、混合行列Ｚを用いて、以下の式（８）で関係づけることができる。ｗは緑色野菜の数に一致する。
【００６４】
【数８】
【００６５】
行列（Ｐ1,Ｐ2，…，Ｐw）をＣと表し、行列（Ｓ1，Ｓ2，…，Ｓw）をＤと表すと、式（８）は以下の式（９）となり、式（９）を変形して次式（１０）を得ることができる。
【００６６】
【数９】
【数１０】
【００６７】
式（１０）において、Ｃは鮮度が相違する複数の緑色野菜についての所定部分の分光スペクトルであり、Ｄは鮮度が相違する複数の緑色野菜についての所定部分の特徴量である。作業者は、式（１０）から混合行列Ｚを求め、混合行列Ｚを検量処理パラメーターとして、検量処理パラメーター保存部３８に記憶する。混合行列Ｚは、鮮度が相違するどの緑色野菜においても式（８）における左辺と右辺とが十分に近づくような値に定められる。
【００６８】
なお、検量処理パラメーターは、分光スペクトルと被検体の特徴量との関係を表すことができるものであれば、上記以外の内容に換えることができる。また、検量処理パラメーターの生成方法についても、上記に限る必要はなく、主成分分析・ＰＬＳ分析・ニューラルネットワークなどを用いる方法等、他の方法に換えることができる。
【００６９】
・診断データベース：
診断データベースは、被検体Ｔの特徴量と鮮度との関係を表すためのものである。被検体Ｔの特徴量は、前述したＤ、すなわち行列（Ｓ1，Ｓ2，…，Ｓw）である。鮮度は、複数の段階、例えばＡ（＝優）、Ｂ（＝良）、Ｃ（＝悪）で示す。
【００７０】
図５は、診断データベースの一例を示すグラフである。この例では、行列（Ｓ1，Ｓ2，…，Ｓw）のうちの１つの要素、例えばＳ5に応じて、鮮度がＡ、Ｂ、Ｃのいずれかに定められている。
【００７１】
図６は、診断データベースの他の一例を示すグラフである。この例では、行列（Ｓ1，Ｓ2，…，Ｓw）のうちの複数の要素、例えばＳ5とＳ6に応じて、鮮度がＡ、Ｂ、Ｃのいずれかに定められている。複数の要素は２つに限る必要はなく、３つ以上であってもよい。鮮度についても３段階で有る必要もなく、２段階や、４段階以上であってもよい。
【００７２】
上記は診断データベースの一例であるが、評価値は、鮮度に限る必要はなく、鮮度に替えて、食べごろのような官能判定値とすることもできる。詳しくは、検量処理パラメーターを求める際に使用した野菜と同じ物を試食することで野菜毎に美味しさを予め調べ、美味しさを野菜の食べごろを示す指標として、野菜毎に特徴量と食べごろとを対応づけることで、データベースを作成する。
【００７３】
なお、診断データベースは、被検体Ｔの特徴量と何らかの評価値との関係を表すことができるものであれば、上記以外の内容に換えることができる。
【００７４】
Ｄ．鮮度判定：
鮮度判定処理について、次に詳述する。鮮度判定処理は、前述した工程Ｓ２〜Ｓ４（図２）で分光画像処理装置１００により実行される処理である。メモリー３０のプログラム保存部に格納された鮮度判定用プログラムを、ＣＰＵ１０が実行することで、鮮度判定処理が実現される。
【００７５】
図７は、鮮度判定処理を示すフローチャートである。図示するように、処理が開始されると、ＣＰＵ１０は、マルチバンドカメラ２００からマルチバンド画像を取得する処理を行う（ステップＳ１１０）。詳しくは、ＣＰＵ１０は、メモリー３０の測定帯域データ保存部３２に記憶された複数の測定帯域データを、マルチバンドカメラ２００の波長選択フィルター２２０に順に送信することで、波長選択フィルター２２０の透過波長域を順に変更して、異なる測定帯域毎のバンド画像（スペクトル画像）を表すマルチバンド画像を、マルチバンドカメラ２００から取得する。なお、このステップＳ１１０における処理の一部である、複数の測定帯域データをマルチバンドカメラ２００に送信する構成が、ＣＰＵ１０で実現される測定帯域指示部１２（図１）に相当する。
【００７６】
次いで、ＣＰＵ１０は、ステップ１１０で取得したバンド画像のそれぞれを補正する前処理を実行する（ステップＳ１２０）。この前処理は、前処理データ保存部３４に記憶された波長帯域毎の前処理データに基づいて、バンド画像を補正する画像処理である。例えば、図４で例示したように、ｋ番目の前処理データＰＤｋを構成する各要素の補正データがαk（ｉ，ｊ）で示される場合、ステップＳ１２０では、ｋバンド画像の画素値ｇk（ｉ，ｊ）を次式（１１）に従って補正する。
【００７７】
ｔｇk（ｉ，ｊ）＝αk（ｉ，ｊ）・ｇk（ｉ，ｊ） …（１１）
但し、ｔｇk（ｉ，ｊ）は補正後の画素値である。
【００７８】
すなわち、変数ｉとｊを順にインクリメントしながらｋ番目のバンド画像を補正する処理を１番目からｎ番目までの全てのバンド画像に施すことで、マルチバンド画像全体について補正する。なお、前処理データとしてのこの補正データは、前述したように、マルチバンドカメラ２００におけるハードウェア的な製造誤差をソフトウェア的にキャンセルするためのものであることから、補正後のマルチバンド画像は、マルチバンドカメラ２００におけるハードウェア的な製造誤差に起因する波長ムラや光量ムラを補正したものとなる。
【００７９】
なお、式（１１）は、補正データがαk（ｉ，ｊ）で示される場合についてのものであるが、補正データが、例えば２変数αk（ｉ，ｊ）、βk（ｉ，ｊ）である場合には、例えば次式（１２）に従って補正する。
【００８０】
ｔｇk（ｉ，ｊ）＝αk（ｉ，ｊ）・ｇk（ｉ，ｊ）＋βk（ｉ，ｊ） …（１２）
但し、ｔｇk（ｉ，ｊ）は補正後の画素値である。
【００８１】
上記ステップＳ１２０の処理が、ＣＰＵ１０で実現される前処理部１４（図１）に相当する。
【００８２】
ステップＳ１２０の実行後、ＣＰＵ１０は、ステップＳ１２０で補正を終えた後のマルチバンド画像（以下、「補正後マルチバンド画像」と呼ぶ）から分光スペクトルを推定する処理を実行する（ステップＳ１３０）。ここでは、分光推定パラメーター保存部３６に記憶された分光推定パラメーターに基づいて前記推定を行う。
【００８３】
詳しくは、先に説明した式（１）に従う演算処理を実行する。すなわち、分光推定パラメーター保存部３６に記憶された分光推定パラメーターＭと、補正後マルチバンド画像の所定位置の値（画素値）ｘとの間の行列の積を求めることで、前記所定位置における分光スペクトルｐを求める。ここで、所定位置とは、被検体Ｔが写っている部分であればどの位置でも良く、例えば、画像の中央位置である。どの位置でもよいとしたのは、ステップＳ１２０で波長ムラや光量ムラが補正されているためである。
【００８４】
ステップＳ１３０の実行後、ＣＰＵ１０は、ステップＳ１３０で得られた分光スペクトルから被検体Ｔの特徴量、すなわちクロロフィル量を推定する処理を行う（ステップＳ１４０）。ここでは、検量処理パラメーター保存部３８に記憶された検量処理パラメーターに基づいて前記推定を行う。
【００８５】
詳しくは、先に説明した式（６）に従う演算処理を実行する。すなわち、検量処理パラメーター保存部３８に記憶された検量処理パラメーターＺと、ステップＳ１３０で得られた所定位置の分光スペクトルｐとの間の行列の積を求めることで、前記所定位置における特徴量、すなわちクロロフィル量を求める。
【００８６】
上記ステップＳ１３０の処理が、ＣＰＵ１０で実現される分光推定部１６（図１）に相当し、適用例１における「分光スペクトル演算部」に対応している。上記ステップＳ１４０の処理が、ＣＰＵ１０で実現される検量処理部１８（図１）に相当し、適用例１における「検量処理部」に対応している。
【００８７】
ステップＳ１４０の実行後、ＣＰＵ１０は、ステップＳ１４０で得られた特徴量から鮮度判定結果を求める処理を行う（ステップＳ１５０）。ここでは、診断データベース保存部３９に記憶された診断データベースに基づいて、前記鮮度判定結果の演算を行う。詳しくは、図５に例示したグラフにステップＳ１４０で得られた特徴量のＳ5を当てはめることで、鮮度判定結果を求める。あるいは、図５に例示したグラフにステップＳ１４０で得られた特徴量のＳ5とＳ6を当てはめることで、鮮度判定結果を求める。
【００８８】
ステップＳ１５０の実行後、ＣＰＵ１０は、ステップＳ１５０で得られた鮮度判定結果を表示装置３００および記憶装置４００に出力する（ステップＳ１６０）。この結果、鮮度の判定結果が表示装置３００に表示され、記憶装置４００に記憶される。ステップＳ１６０の実行後、ＣＰＵ１０はリターンに処理を進めて、この鮮度判定処理を一旦終了する。なお、図２で説明したように鮮度を判定したい次の被検体Ｔがある場合には、ＣＰＵ１０は、鮮度判定処理を繰り返し実行する。
【００８９】
Ｅ．実施例効果：
以上のように構成された鮮度判定システム１によれば、クロロフィルによる光の吸収が起こる所定の波長帯域を含む複数の波長帯域で緑色野菜を撮影して得られるマルチバンド画像から、分光推定パラメーターを用いて分光スペクトルを演算し、その分光スペクトルから、検量処理パラメーターを用いてクロロフィル量を演算する。このために、分光推定パラメーター保存部３６と検量処理パラメーター保存部３８とを予めメモリーに用意しておけば、高価な分光器を必要とせずに、マルチバンド画像から緑色野菜のクロロフィル量を高精度に推定することができる。
【００９０】
Ｆ．変形例：
この発明は前記実施例やその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。なお、変形例の説明にあたっては上述した実施例と同一の構成については同一の符号を付し、その説明を省略する。
【００９１】
・変形例１：
前記実施例および変形例では、被検体を緑色野菜とし、特徴量をクロロフィル量としたが、これに換えて、例えば、被検体を肉とし、特徴量をオレイン酸量としてもよい。オレイン酸量とすることで、肉の美味しさを判定することができる。また、被検体を人肌とし、特徴量をコラーゲン量とすることで、肌の張りを判定することができる。すなわち、野菜、果物、肉、魚等の食材、肌や毛髪等の人の全身、その他、種々の対象を被検体とすることができ、被検体の種々の特定成分を推定することができる。
【００９２】
なお、被検体やその推定したい特徴量を変更する際には、前記実施例の鮮度判定システム１において、データベースである各保存部３２〜３９のデータを差し替えるだけで対応することができる。すなわち、前記実施例の鮮度判定システム１は、汎用性に優れているという効果も奏する。
【００９３】
・変形例２：
前記実施例および変形例では、特定成分としてクロロフィルの一種類に着目して、クロロフィル量を推定する構成としたが、これに換えて、クロロフィル量と水分量と言うように、２つの特定成分に関する２つの特徴量を推定する構成としてもよい。
【００９４】
・変形例３：
前記実施例では、鮮度判定システム１専用の分光画像処理装置１００を用いていたが、分光画像処理装置１００は汎用のパーソナルコンピューターに換えることができる。また、マルチバンドカメラ２００と分光画像処理装置１００とは別体であったが、一体とすることもできる。例えば、分光画像処理装置１００を内蔵する構成としてもよいし、マルチバンドカメラ２００に分光画像処理装置１００を例えばチップの形で内蔵する構成としてもよい。表示装置３００および記憶装置４００も、分光画像処理装置１００と一体とすることもできる。
【００９５】
・変形例４：
前記実施例および各変形例において、ソフトウェアによって実現した機能は、ハードウェアによって実現するものとしてもよい。
【００９６】
・変形例５：
前記実施例および各変形例では、分光推定パラメーターを用いて、マルチバンド画像から分光スペクトルを演算し、検量処理パラメーターを用いて、前記分光スペクトルから特徴量を演算する構成としていたが、これに換えて、分光推定パラメーターＭと検量処理パラメーターＺとを掛け合わせたパラメーターＬ（＝Ｚ・Ｍ）を用いて、マルチバンド画像から直接、特徴量を推定する構成としてもよい。マルチバンドカメラ２００の個体、被検体Ｔの種類、および推定する特徴量の組み合わせが予め定められている場合には、この構成によっても、高価な分光器を必要とせずに、マルチバンド画像から被検体の特徴量を高精度に推定することができる。
【００９７】
・変形例６：
前記実施例および各変形例では、測定帯域データ保存部３２に記憶された複数の測定帯域データを、マルチバンドカメラ２００の波長選択フィルター２２０に順に送信することで、波長選択フィルター２２０の透過波長域を順に変更して、異なる測定帯域毎のバンド画像（スペクトル画像）を表すマルチバンド画像を、マルチバンドカメラ２００から取得する構成とした。これに替えて、予め定められた複数の測定帯域毎のバンド画像を表すマルチバンド画像をマルチバンドカメラ２００から取得する構成としてもよい。すなわち、測定帯域データ保存部３２および測定帯域指示部１２はなくてもよい。
【００９８】
・変形例７：
前記実施例および各変形例では、前処理データ保存部３４に記憶した前処理データに基づいて、前処理部１４がマルチバンド画像を補正し、補正後マルチバンド画像から分光スペクトルを推定する構成とした。これに替えて、マルチバンド画像取得部が取得したマルチバンド画像から分光スペクトルを推定する構成としてもよい。また、マルチバンド画像取得部が、補正後マルチバンド画像を取得してもよい。すなわち、前処理データ保存部３４および前処理部１４はなくてもよい。
【００９９】
・変形例８：
前記実施例および各変形例では、分光画像処理装置１００の診断データベース保存部３９に記憶された診断データベースと、推定された特徴量とに基づいて、診断部１９が判定を行う構成とした。これに替えて、推定された特徴量を分光画像処理装置１００とは別に構成された診断装置に出力し、診断装置が診断を行ってもよい。すなわち、分光画像処理装置１００には診断データ保存部３９および診断部１９はなくてもよい。
【０１００】
なお、前述した各実施例および各変形例における構成要素の中の、独立請求項で記載された要素以外の要素は、付加的な要素であり、適宜省略可能である。
【符号の説明】
【０１０１】
１…鮮度判定システム
１０…ＣＰＵ
１２…測定帯域指示部
１４…前処理部
１６…分光推定部
１８…検量処理部
１９…診断部
３０…メモリー
３２…測定帯域データ保存部
３４…前処理データ保存部
３６…分光推定パラメーター保存部
３８…検量処理パラメーター保存部
３９…診断データベース保存部
５０…入出力Ｉ／Ｆ
１００…分光画像処理装置
２００…マルチバンドカメラ
２１０…レンズユニット
２２０…波長選択フィルター
２５０…光源ユニット
３００…表示装置
４００…記憶装置
Ｍ…分光推定行列（＝分光推定パラメーター）
Ｚ…混合行列（＝検量処理パラメーター）
【技術分野】
【０００１】
本発明は、被検体の特定成分に関する特徴量を推定する技術と、マルチバンド画像から分光スペクトルを得る技術とに関する。
【背景技術】
【０００２】
従来、生鮮食品の鮮度判定を行う鮮度センサーとして、被検体からの反射光を分光する分光器を備えたものが提案されている。この鮮度センサーでは、分光器の出力である反射スペクトルを画像素子により電気信号に変換し、その反射スペクトルの電気信号と基準スペクトルとを比較することにより、鮮度判定を行う（例えば、特許文献１参照）。
【０００３】
上記分光器から出力される反射スペクトルは被検体の特徴量を示すものであり、反射スペクトルを利用することで、被検体の特徴量を推定することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１０８１２４号公報
【０００５】
しかしながら、前記従来の技術では、高精度に特徴量を推定することができるが、波長分解能やＳ／Ｎ比に優れた品質の高い分光器が必要となり、高コストとなる問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前記の課題を解決するためになされたものであり、高価な分光器を必要とせずに、特徴量を高精度に推定可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００８】
［適用例１］ 被検体の特定成分に関する特徴量を推定する特徴量推定装置であって、
波長帯域の相違する複数のバンド画像を分光スペクトルに変換することに用いる分光推定パラメーターを保存する分光推定パラメーター保存部と、
前記分光スペクトルを前記特徴量に変換することに用いる検量処理パラメーターを保存する検量処理パラメーター保存部と、
前記特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、
前記分光推定パラメーター保存部に保存されている分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する分光スペクトル演算部と、
前記検量処理パラメーター保存部に保存されている検量処理パラメーターを用いて、前記分光スペクトル演算部によって求められた分光スペクトルから前記特徴量を演算する検量処理部と
を備える特徴量推定装置。
【０００９】
適用例１の特徴量推定装置によれば、被検体の特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で被検体を撮影して得られるマルチバンド画像から、分光推定パラメーターを用いて分光スペクトルを演算し、その分光スペクトルから、検量処理パラメーターを用いて被検体の特徴量を演算する。このために、分光推定パラメーターと検量処理パラメーターとを予め用意しておけば、高価な分光器を必要とせずに、マルチバンド画像から被検体の特徴量を高精度に推定することができる。
【００１０】
［適用例２］ 適用例１に記載の特徴量推定装置であって、前記マルチバンド画像取得部は、複数の波長帯域の感度で被検体の撮影を行うマルチバンドカメラに対して測定帯域を指示することに用いる複数の測定帯域データを保存する測定帯域データ保存部と、前記測定帯域データ保存部に保存されている測定帯域データを前記マルチバンドカメラに送ることによって、前記マルチバンドカメラに測定帯域を指示する測定帯域指示部とを備える特徴量推定装置。
【００１１】
適用例２の特徴量推定装置によれば、マルチバンドカメラに対して測定帯域を指示することが可能となることから、特定成分に応じた所定帯域を含む複数の波長帯域のマルチバンド画像をより確実に取得することができる。
【００１２】
［適用例３］ 適用例１または２に記載の特徴量推定装置であって、前記マルチバンド画像の取得先であるマルチバンドカメラにおける誤差を補正することに用いる補正量を、前記マルチバンド画像を構成するバンド画像のそれぞれに対して定めた前処理データを保存する前処理データ保存部と、前記マルチバンド画像取得部によって取得したマルチバンド画像を、前記前処理データ保存部に保存されている前処理データに基づいて補正し、補正後のマルチバンド画像を前記分光スペクトル演算部に送る前処理部とを備える特徴量推定装置。
【００１３】
適用例３の特徴量推定装置によれば、マルチバンドカメラにおける誤差を、補正することができることから、推定精度をより高めることができる。
【００１４】
［適用例４］ 適用例１ないし３のいずれかに記載の特徴量推定装置であって、前記被検体の特徴量を前記被検体の評価値に変換することに用いる診断データを保存する診断データ保存部と、前記診断データ保存部に保存されている診断データを用いて、前記検量処理部によって得られた特徴量から前記被検体の評価値を演算する診断部とを備える特徴量推定装置。
【００１５】
適用例４の特徴量推定装置によれば、求めた特徴量から被検体の評価値を演算することが可能となる。
【００１６】
［適用例５］ 波長帯域の相違する複数のバンド画像を分光スペクトルに変換する分光画像処理装置であって、
前記複数のバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、前記所定位置に対応した被検体の部分における分光スペクトルを示す第２群の変量との間の関係を示す分光推定パラメーターを保存する分光推定パラメーター保存部と、
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、
前記分光推定パラメーター保存部に保存されている分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する分光スペクトル演算部と
を備える分光画像処理装置。
【００１７】
適用例５の分光画像処理装置によれば、複数の波長帯域で被検体を撮影して得られるマルチバンド画像から、分光推定パラメーターを用いて分光スペクトルを演算する。このために、分光推定パラメーターを予め用意しておけば、高価な分光器を必要とせずに、マルチバンド画像から分光スペクトルを得ることができる。
【００１８】
［適用例６］ 被検体の特定成分に関する特徴量を推定する特徴量推定方法であって、
前記特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得し、
波長帯域の相違する複数のバンド画像を分光スペクトルに変換することに用いる分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算し、
前記分光スペクトルを前記特徴量に変換することに用いる検量処理パラメーターを用いて、前記演算により得られた分光スペクトルから前記特徴量を演算する、特徴量推定方法。
【００１９】
［適用例７］ 波長帯域の相違する複数のバンド画像を分光スペクトルに変換する分光画像処理方法であって、
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得し、
前記複数のバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、前記所定位置に対応した被検体の部分における分光スペクトルを示す第２群の変量との間の関係を示す分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する、分光画像処理方法。
【００２０】
［適用例８］ 被検体の特定成分に関する特徴量を推定するためのコンピュータープログラムであって、
前記特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得する機能と、
前記波長帯域の相違する複数のバンド画像と、分光スペクトルとの関係を表す分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する機能と、
前記分光スペクトルと、前記特徴量との関係を表す検量処理パラメーターを用いて、前記演算によって得られた分光スペクトルから前記特徴量を演算する機能と
をコンピューターに実現させるコンピュータープログラム。
【００２１】
［適用例９］ 波長帯域の相違する複数のバンド画像を分光スペクトルに変換するためのコンピュータープログラムであって、
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得する機能と、
前記複数のバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、前記所定位置に対応した被検体の部分における分光スペクトルを示す第２群の変量との間の関係を示す分光推定パラメーターを用いて、前記取得したマルチバンド画像から分光スペクトルを演算する機能と
をコンピューターに実現させるコンピュータープログラム。
【００２２】
適用例６の特徴量推定方法および適用例８のコンピュータープログラムは、適用例１の特徴量推定装置と同様に、高価な分光器を必要とせずに、マルチバンド画像から被検体の特徴量を高精度に推定することができる。また、適用例７の分光画像処理方法および適用例９のコンピュータープログラムは、適用例５の分光画像処理装置と同様に、高価な分光器を必要とせずに、マルチバンド画像から分光スペクトルを得ることができる。
【００２３】
さらに、本発明は、前記適用例１ないし９以外の種々の形態で実現可能であり、例えば、適用例１ないし４に記載の特徴量推定装置をマルチバンドカメラと共に備えた鮮度判定システムの形態で実現することが可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施例としての鮮度判定システム１の構成を概略的に示す説明図である。
【図２】緑色野菜の鮮度を判定する作業手順を示すフローチャートである。
【図３】鮮度が相違する緑色野菜についての光の波長と反射率との関係を示すグラフである。
【図４】前処理データを説明するための説明図である。
【図５】診断データベースの一例を示すグラフである。
【図６】診断データベースの他の一例を示すグラフである。
【図７】鮮度判定処理を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態を実施例に基づいて説明する。本発明の一実施例は、被検体である緑色野菜（例えば、ほうれん草、こまつな、ピーマン等）の鮮度を判定するためのものである。
【００２６】
Ａ．鮮度判定システムの全体構成：
図１は、本発明の一実施例としての鮮度判定システム１の構成を概略的に示す説明図である。図示するように、鮮度判定システム１は、分光画像処理装置１００と、マルチバンドカメラ２００と、表示装置３００と、記憶装置４００とを備える。マルチバンドカメラ２００、表示装置３００、および記憶装置４００は、分光画像処理装置１００に電気的に接続されている。
【００２７】
マルチバンドカメラ２００は、レンズユニット２１０、波長選択フィルター２２０、ＣＣＤ２３０、ＣＣＤＡＦＥ（Analog Front End）２４０、および光源ユニット２５０等を備える。レンズユニット２１０は、被写体にフォーカスを合わせるオートフォーカス機構を備えないものであるが、オートフォーカス機構を備えるものとすることもできる。波長選択フィルター２２０は、透過波長帯域を変更可能なファブリペロー型のフィルターが用いられている。ＣＣＤ２３０は、波長選択フィルター２２０を透過した光を光電変換して被写体像を表す電気信号を得る撮像デバイスである。ＣＣＤＡＦＥ２４０は、ＣＣＤ２３０の検出信号をデジタル化するためのものである。光源ユニット２５０は、被写体を照射するためのものである。
【００２８】
上記構成のマルチバンドカメラ２００では分光画像処理装置１００から、複数の測定帯域の指示を波長選択フィルター２２０で順に受けることで、波長選択フィルター２２０の透過波長域が順に変更される。こうして、マルチバンドカメラ２００は、複数の波長帯域（マルチバンド）の感度で被検体Ｔ（被写体）の撮影を行う。
【００２９】
表示装置３００は、画面に情報を表示するための装置である。記憶装置４００は、データを記憶するための外部装置であり、例えばハードディスクドライブ装置である。
【００３０】
分光画像処理装置１００は、マルチバンドカメラ２００で撮影して得られたマルチバンド画像を処理することで、被検体Ｔの鮮度を判定する装置である。分光画像処理装置１００は、プログラムを実行することにより種々の処理や制御を行うＣＰＵ１０と、プログラムやデータ・情報を格納するメモリー３０と、マルチバンドカメラ２００から画像データを受け取り、かつ、表示装置３００および記憶装置４００に鮮度判定の結果を送る入出力インタフェース（Ｉ／Ｆ）５０と、を備えている。
【００３１】
メモリー３０は、測定帯域データ保存部３２、前処理データ保存部３４、分光推定パラメーター保存部３６、検量処理パラメーター保存部３８、および診断データベース保存部３９を有している。各保存部３２〜３９の詳細については、後ほど詳述する。また、メモリー３０は、図示はしないが、鮮度判定用プログラムを格納するプログラム保存部を有している。本実施例では、メモリー３０は不揮発性のメモリーである。なお、不揮発性に替えて揮発性のメモリーとして、処理の実行前に必要なデータやパラメーターを外部から受け取って保存する構成としてもよい。
【００３２】
ＣＰＵ１０は、メモリー３０のプログラム保存部に格納された鮮度判定用プログラムを実行することで、測定帯域指示部１２、前処理部１４、分光推定部１６、検量処理部１８、および診断部１９を機能的に実現する。各部１２〜１９は、対応する保存部３２〜３９に保存されたデータやパラメーターを用いて各処理を実行する。各処理の結果、ＣＰＵ１０は、マルチバンドカメラ２００で得られるマルチバンド画像を取得し、マルチバンド画像から被検体Ｔの鮮度を判定し、その判定結果を、入出力Ｉ／Ｆ５０を介して表示装置３００および記憶装置４００に送信する。この結果、鮮度判定の結果が表示され、保存される。
【００３３】
なお、分光画像処理装置１００は、被検体Ｔの鮮度を判定するに際し、被検体Ｔの特定成分に関する特徴量を推定していることから、特徴量推定装置としても機能する。入出力インタフェース（Ｉ／Ｆ）５０、メモリー３０の測定帯域データ保存部３２、およびＣＰＵ１０で機能する測定帯域指示部１２が、適用例１における「マルチバンド画像取得部」に対応している。診断データベース保存部３９が、適用例４における「診断データ保存部」に対応している。
【００３４】
Ｂ．鮮度判定の作業手順：
図２は、緑色野菜の鮮度を判定する作業手順を示すフローチャートである。図示するように、まず、鮮度判定に必要となるデータベースを生成し、そのデータベースを分光画像処理装置１００のメモリー３０に保存する（工程Ｓ１）。ここで言うデータベースは、分光画像処理装置１００における各保存部３２〜３９（図１）に保存される各種データに相当する。
【００３５】
その後、分光画像処理装置１００に接続されたマルチバンドカメラ２００を用いて、被検体Ｔを撮影する（工程Ｓ２）。次いで、分光画像処理装置１００は、マルチバンドカメラ２００から出力されるマルチバンド画像から被検体Ｔの鮮度を判定し（工程Ｓ３）、その判定結果を表示・保存する（工程Ｓ４）。その後、分光画像処理装置１００は、次の被検体Ｔがあるか否かを判定し（工程Ｓ５）、次の被検体Ｔがある場合（工程Ｓ５がＹＥＳ）には、工程Ｓ２に戻って、次の被検体Ｔに対して工程Ｓ２ないし工程Ｓ４を行う。工程Ｓ５で、次の被検体Ｔがない場合（工程Ｓ５がＮＯ）には、処理を終了する。
【００３６】
Ｃ．データベースの生成・保存：
前記工程Ｓ１により生成し、保存するデータベースとしての各種データについて、その内容と生成方法を次に詳述する。各種データは、測定帯域データ、前処理データ、分光推定パラメーター、検量処理パラメーター、および診断データベースである。なお、データベースの生成・保存は、分光画像処理装置１００の工場出荷前に行うことが好適である。工程Ｓ３における判定は、鮮度が既知の被検体Ｔを使用する場合には省略してもよい。上記の手順の一部を、図示しないインタフェースを介して作業者が行ってもよい。
【００３７】
・測定帯域データ：
緑色野菜は、古くなると、クロロフィル（葉緑素）が分解されて鮮やかな緑色が消える。このことから、緑色野菜の鮮度は、クロロフィルの量から判定可能なことが判る。本実施例では、クロロフィルの量を被検体の特徴量として推定することで、被検体である緑色野菜の鮮度を判定する。
【００３８】
図３は、鮮度が相違する緑色野菜についての光の波長と反射率との関係を示すグラフである。図示するように、新鮮な野菜（あるいは、やや萎びた野菜）は、約７００ｎｍ辺りでクロロフィルによる光の吸収が起こる。このため、クロロフィルによる光の吸収が起こる波長（約７００ｎｍ）を含む５００ｎｍ〜１１００ｎｍの範囲内の複数の波長を、測定帯域としてマルチバンドカメラ２００に指示するために、測定帯域データとして測定帯域データ保存部３２に記憶する。例えば、５００ｎｍから２０ｎｍ間隔で１１００ｎｍまでの３１個（具体的には、５００ｎｍ、５２０ｎｍ、５４０ｎｍ、…、１０６０ｎｍ、１０８０ｎｍ、１１００ｎｍ）の測定帯域データを記憶する構成とすればよい。
【００３９】
なお、上記測定帯域データは、２０ｎｍ間隔の３１個である必要は必ずしもなく、１０ｎｍ間隔の６１個としてもよく、複数であればいくつであってもよい。また、等間隔である必要もなく、クロロフィルによる光の吸収が起こる波長である約７００ｎｍ付近をより細かい間隔で指示できるように定めてもよい。また、５００ｎｍ〜１１００ｎｍの範囲内である必要もなく、クロロフィルによる光の吸収が起こる波長（約７００ｎｍ）を含めば他の範囲としてもよい。
【００４０】
・前処理データ：
マルチバンドカメラ２００には、光学系のムラや、波長選択フィルター２２０を構成するファブリペロー型フィルターの反りや、光源ユニット２５０の照明ムラなど、ハードウェア的な製造誤差がある。これにより、マルチバンドカメラ２００では、撮影によって得られたマルチバンド画像の各面内（マルチバンド画像を構成する各バンド画像内）に波長ムラ（透過波長のムラ）や光量ムラが発生する。本実施例では、この面内波長ムラおよび光量ムラをキャンセルするための補正量を前処理データとして、前処理データ保存部３４に記憶する。
【００４１】
具体的には、まず、鮮度判定に使用するマルチバンドカメラ２００（機種が同一、より好ましくは実機そのもの）で均一色のサンプルを撮影し、マルチバンド画像を取得する。次いで、マルチバンド画像を構成するバンド画像のそれぞれにおいて、画像内のどの位置でも均一となるように、ハードウェア的な製造誤差をキャンセルする補正データを画素毎に求め、その画素毎の補正データの集合を各バンド画像に対応した前処理データとして、前処理データ保存部３４に記憶する。均一色のサンプルとしては、どの波長域でも均等に光を反射可能な色が好ましく、例えば標準白色板を用意する。
【００４２】
図４は、前処理データを説明するための説明図である。図中の（ａ）にマルチバンド画像を示し、図中の（ｂ）に前処理データを示す。図示するように、複数の前処理データＰＤ１，ＰＤ２，…，ＰＤｎのそれぞれは、マルチバンド画像を構成するバンド画像ＢＰ１，…，ＢＰｎ毎（すなわち、マルチバンド画像の波長帯域毎）に用意されるもので、バンド画像ＢＰ１，ＢＰ２，…，ＢＰｎと同数、用意されている。そして、前処理データＰＤ１，ＰＤ２，…，ＰＤｎのそれぞれは、各バンド画像と同じ要素数（画素数）によって構成される。ｋ番目（ｋ＝１〜ｎ）の前処理データＰＤｋにおける、横方向がｉ番目、縦方向がｊ番目の要素に格納される補正データαk（ｉ，ｊ）は、ｋ番目のバンド画像ＢＰｋにおける、横方向がｉ番目、縦方向がｊ番目の画素を補正する補正データ（ｋ番目のバンド画像ＢＰｋ内でムラをキャンセルすることに用いる補正データ）が格納されることになる。
【００４３】
なお、本実施例では、補正データは、バンド画像ＢＰ１〜ＢＰｎにおける全ての画素に対して生成する構成としたが、これに替えて、離散的に補正データを生成することで補正データの数を減らして、補正データのない部分については補間演算によって求めるようにしてもよい。なお、前処理データの生成方法は、上記に限る必要はなく、他の手法に換えることができる。
【００４４】
・分光推定パラメーター：
分光推定パラメーターは、マルチバンド画像と分光スペクトルとの関係を表したものである。マルチバンド画像はマルチバンドカメラ２００で得られる波長帯域の相違する複数のバンド画像であり、分光スペクトルは分光器によって得られるスペクトルである。具体的には、以下の式（１）における分光推定行列Ｍが、分光推定パラメーターである。式（１）において、ｘはマルチバンド画像の所定位置の値（画素値）を示す行列であり、ｐはその所定位置に対応した部分における分光スペクトルを示す行列である。「マルチバンド画像の所定位置の画素値」とはマルチバンド画像を構成する各バンド画像の所定位置の画素値のことであり、「その所定位置に対応した部分」とはその所定位置に対応した被検体Ｔにおける位置のことである。
【００４５】
【数１】
【００４６】
式（１）は、以下の式（２）を意味する。式（２）に示すように、行列ｘは、ｘ1、ｘ2、…、ｘnの要素を含むものである。各要素は測定帯域データ保存部３２に保存された測定帯域データのそれぞれに対応したもので、要素の数ｎは、要素測定帯域データの数と同一である。すなわち、マルチバンド画像の所定位置の画素値は各測定帯域の光の強度として示されることから、前記画素値を示すｘは、ｘ1、ｘ2、…、ｘnを要素とする行列で表される。一方、分光スペクトルを示す行列ｐは、ｐ1、ｐ2、…、ｐmの要素を含むものである。各要素は分光スペクトルを表す波長帯域に対応したもので、その要素の数ｍは、マルチバンド画像の画素値を示す行列ｘの要素の数ｎよりも大きい。分光推定行列Ｍは、ｍ×ｎ行列である。
【００４７】
【数２】
【００４８】
予め用意した色見本色見本を、鮮度判定に使用するマルチバンドカメラ２００（機種が同一、より好ましくは実機そのもの）と、分光器を備えた撮影装置（以下、「分光器撮影装置」と呼ぶ）とで撮影する。分光器撮影装置は、色見本からの反射光を分光器に通し、分光器から出力されるスペクトルを撮像素子の撮像面で受ける周知のものであり、例えば前述した特許文献１に記載されたものである。その後、マルチバンドカメラ２００で得られたマルチバンド画像から所定位置の画素値を抽出する。ここでいう所定位置とは、マルチバンド画像内で色見本が写っている部分であればどの位置でもよいが、好ましくは、前処理データを作成する際に、ハードウェア的な製造誤差が少ないとされた部分に対応した位置とするのがよい。
【００４９】
続いて、その所定位置に対応した色見本上の部分からの反射光のスペクトルを、分光器撮影装置で得られたデータから抽出する。これらの結果、前記色見本についての、マルチバンド画像の所定位置の画素値を示す行列ｘと、上記所定位置に対応した部分における分光スペクトルを示す行列ｐとを得ることができる。以下、「マルチバンド画像の所定位置の画素値」を単に「マルチバンド画像の画素値」と呼び、「上記所定位置に対応した部分」を単に「所定部分」と呼ぶ。
【００５０】
さらに、可視光線の帯域から赤外線の帯域まで含む範囲で多数用意された各色見本について、マルチバンドカメラと分光器撮影装置での撮影を行い、多数の色見本のそれぞれについての、マルチバンド画像の画素値を示す行列ｘと、所定部分における分光スペクトルを示す行列ｐとを得る。
【００５１】
行列はベクトルとして表すことができることから、以下、行列ｘをＸ（ベクトルを意味し、大文字で示す）と表し、行列ｐをＰ（ベクトルを意味し、大文字で示す）と表すものとする。したがって、多数の色見本についてのマルチバンド画像の画素値を示す行列（Ｘ1，Ｘ2，…，Ｘu）と、多数の色見本についての所定部分における分光スペクトルを示す行列（Ｐ1,Ｐ2，…，Ｐu）との間は、分光推定行列Ｍを用いて、以下の式（３）で関係づけることができる。ｕは色見本の数に一致する。
【００５２】
【数３】
【００５３】
行列（Ｘ1，Ｘ2，…，Ｘu）をＡと表し、行列（Ｐ1,Ｐ2，…，Ｐu）をＢと表すと、式（３）は以下の式（４）となり、式（４）を変形して以下の式（５）を得ることができる。
【００５４】
【数４】
【数５】
【００５５】
式（５）において、Ａは複数の色見本についてのマルチバンド画像の画素値であり、Ｂは複数の色見本についての所定部分における分光スペクトルである。ｔの上付き文字のある行列は転置行列を意味する。作業者は、式（５）に従って分光推定行列Ｍを求める。その後、作業者は、分光推定行列Ｍを分光推定パラメーターとして、分光推定パラメーター保存部３６に記憶する。分光推定行列Ｍは、どの色見本においても、式（４）における左辺と右辺とが十分に近づくような値となる。この分光推定行列Ｍを求めるにあたって、マルチバンドカメラ２００における測定帯域やバンド数（帯域数）を変更しながら、少ないバンド数で分光推定精度が維持できるようにするのが好ましい。このため、データベースの生成においては、この分光推定パラメーターの生成と、測定帯域データの生成とは合わせて行うのが好ましい。
【００５６】
色見本としてはカラーチャート等を用いることができる。分光推定パラメーターは、マルチバンドカメラにのみ依存する値となるので、被検体Ｔや特徴量の違いによらず共通して使えるようになる。
【００５７】
なお、分光推定パラメーターは、マルチバンド画像と分光スペクトルとの関係を表すことができるものであれば、上記以外の内容に換えることができる。また、分光推定パラメーターの生成方法についても、上記に限る必要はなく、他の方法に換えることができる。
【００５８】
・検量処理パラメーター：
検量処理パラメーターは、分光スペクトルと被検体Ｔの特徴量との関係を表したものである。被検体Ｔの特徴量は、本実施例ではクロロフィルの量である。具体的には、以下の式（６）における混合行列Ｚが、検量処理パラメーターである。式（６）において、ｐは被検体Ｔである緑色野菜の所定部分における分光スペクトルを示す行列であり、ｓは前記所定部分における特徴量である。
【００５９】
【数６】
【００６０】
式（６）は、以下の式（７）を意味する。式（７）に示すように、行列ｐはｐ1、ｐ2、…、ｐmの要素を含むものであり、行列ｓはｓ1、ｓ2、…、ｓlの要素を含むものである。混合行列Ｚは、ｌ×ｍ行列である。一般的に、特徴量についての要素の数ｌは、分光スペクトルについての要素の数ｍよりも小さい。
【００６１】
【数７】
【００６２】
予め用意した緑色野菜の所定部位を分光器撮影装置で撮影し、その後、化学分析によって前記緑色野菜の所定部位からクロロフィルを抽出し、その量を測定する。ここで、「所定部位」は緑色野菜のいずれの部分でもよいが、分光器撮影装置で撮影する部位と化学分析する部位とは同一であるのが好ましい。これらの作業の結果、前記緑色野菜についての分光スペクトルである行列ｐと、特徴量を示す行列ｓとが得られることになる。さらに、鮮度が相違する緑色野菜を多数用意して、緑色野菜毎に、同様に、分光器撮影装置で撮影し、化学的にクロロフィル量を測定する。この結果、鮮度が相違する多数の緑色野菜のそれぞれについての分光スペクトルである行列ｐと特徴量を示す行列ｓとが得られることになる。
【００６３】
行列はベクトルとして表すことができることから、以下、行列ｐをＰ（ベクトルを意味し、大文字で示す）と表し、行列ｓをＳ（ベクトルを意味し、大文字で示す）と表すものとする。したがって、多数の緑色野菜についての特徴量を示す行列（Ｓ1，Ｓ2，…，Ｓw）と、多数の緑色野菜についての分光スペクトルである行列（Ｐ1,Ｐ2，…，Ｐw）との間は、混合行列Ｚを用いて、以下の式（８）で関係づけることができる。ｗは緑色野菜の数に一致する。
【００６４】
【数８】
【００６５】
行列（Ｐ1,Ｐ2，…，Ｐw）をＣと表し、行列（Ｓ1，Ｓ2，…，Ｓw）をＤと表すと、式（８）は以下の式（９）となり、式（９）を変形して次式（１０）を得ることができる。
【００６６】
【数９】
【数１０】
【００６７】
式（１０）において、Ｃは鮮度が相違する複数の緑色野菜についての所定部分の分光スペクトルであり、Ｄは鮮度が相違する複数の緑色野菜についての所定部分の特徴量である。作業者は、式（１０）から混合行列Ｚを求め、混合行列Ｚを検量処理パラメーターとして、検量処理パラメーター保存部３８に記憶する。混合行列Ｚは、鮮度が相違するどの緑色野菜においても式（８）における左辺と右辺とが十分に近づくような値に定められる。
【００６８】
なお、検量処理パラメーターは、分光スペクトルと被検体の特徴量との関係を表すことができるものであれば、上記以外の内容に換えることができる。また、検量処理パラメーターの生成方法についても、上記に限る必要はなく、主成分分析・ＰＬＳ分析・ニューラルネットワークなどを用いる方法等、他の方法に換えることができる。
【００６９】
・診断データベース：
診断データベースは、被検体Ｔの特徴量と鮮度との関係を表すためのものである。被検体Ｔの特徴量は、前述したＤ、すなわち行列（Ｓ1，Ｓ2，…，Ｓw）である。鮮度は、複数の段階、例えばＡ（＝優）、Ｂ（＝良）、Ｃ（＝悪）で示す。
【００７０】
図５は、診断データベースの一例を示すグラフである。この例では、行列（Ｓ1，Ｓ2，…，Ｓw）のうちの１つの要素、例えばＳ5に応じて、鮮度がＡ、Ｂ、Ｃのいずれかに定められている。
【００７１】
図６は、診断データベースの他の一例を示すグラフである。この例では、行列（Ｓ1，Ｓ2，…，Ｓw）のうちの複数の要素、例えばＳ5とＳ6に応じて、鮮度がＡ、Ｂ、Ｃのいずれかに定められている。複数の要素は２つに限る必要はなく、３つ以上であってもよい。鮮度についても３段階で有る必要もなく、２段階や、４段階以上であってもよい。
【００７２】
上記は診断データベースの一例であるが、評価値は、鮮度に限る必要はなく、鮮度に替えて、食べごろのような官能判定値とすることもできる。詳しくは、検量処理パラメーターを求める際に使用した野菜と同じ物を試食することで野菜毎に美味しさを予め調べ、美味しさを野菜の食べごろを示す指標として、野菜毎に特徴量と食べごろとを対応づけることで、データベースを作成する。
【００７３】
なお、診断データベースは、被検体Ｔの特徴量と何らかの評価値との関係を表すことができるものであれば、上記以外の内容に換えることができる。
【００７４】
Ｄ．鮮度判定：
鮮度判定処理について、次に詳述する。鮮度判定処理は、前述した工程Ｓ２〜Ｓ４（図２）で分光画像処理装置１００により実行される処理である。メモリー３０のプログラム保存部に格納された鮮度判定用プログラムを、ＣＰＵ１０が実行することで、鮮度判定処理が実現される。
【００７５】
図７は、鮮度判定処理を示すフローチャートである。図示するように、処理が開始されると、ＣＰＵ１０は、マルチバンドカメラ２００からマルチバンド画像を取得する処理を行う（ステップＳ１１０）。詳しくは、ＣＰＵ１０は、メモリー３０の測定帯域データ保存部３２に記憶された複数の測定帯域データを、マルチバンドカメラ２００の波長選択フィルター２２０に順に送信することで、波長選択フィルター２２０の透過波長域を順に変更して、異なる測定帯域毎のバンド画像（スペクトル画像）を表すマルチバンド画像を、マルチバンドカメラ２００から取得する。なお、このステップＳ１１０における処理の一部である、複数の測定帯域データをマルチバンドカメラ２００に送信する構成が、ＣＰＵ１０で実現される測定帯域指示部１２（図１）に相当する。
【００７６】
次いで、ＣＰＵ１０は、ステップ１１０で取得したバンド画像のそれぞれを補正する前処理を実行する（ステップＳ１２０）。この前処理は、前処理データ保存部３４に記憶された波長帯域毎の前処理データに基づいて、バンド画像を補正する画像処理である。例えば、図４で例示したように、ｋ番目の前処理データＰＤｋを構成する各要素の補正データがαk（ｉ，ｊ）で示される場合、ステップＳ１２０では、ｋバンド画像の画素値ｇk（ｉ，ｊ）を次式（１１）に従って補正する。
【００７７】
ｔｇk（ｉ，ｊ）＝αk（ｉ，ｊ）・ｇk（ｉ，ｊ） …（１１）
但し、ｔｇk（ｉ，ｊ）は補正後の画素値である。
【００７８】
すなわち、変数ｉとｊを順にインクリメントしながらｋ番目のバンド画像を補正する処理を１番目からｎ番目までの全てのバンド画像に施すことで、マルチバンド画像全体について補正する。なお、前処理データとしてのこの補正データは、前述したように、マルチバンドカメラ２００におけるハードウェア的な製造誤差をソフトウェア的にキャンセルするためのものであることから、補正後のマルチバンド画像は、マルチバンドカメラ２００におけるハードウェア的な製造誤差に起因する波長ムラや光量ムラを補正したものとなる。
【００７９】
なお、式（１１）は、補正データがαk（ｉ，ｊ）で示される場合についてのものであるが、補正データが、例えば２変数αk（ｉ，ｊ）、βk（ｉ，ｊ）である場合には、例えば次式（１２）に従って補正する。
【００８０】
ｔｇk（ｉ，ｊ）＝αk（ｉ，ｊ）・ｇk（ｉ，ｊ）＋βk（ｉ，ｊ） …（１２）
但し、ｔｇk（ｉ，ｊ）は補正後の画素値である。
【００８１】
上記ステップＳ１２０の処理が、ＣＰＵ１０で実現される前処理部１４（図１）に相当する。
【００８２】
ステップＳ１２０の実行後、ＣＰＵ１０は、ステップＳ１２０で補正を終えた後のマルチバンド画像（以下、「補正後マルチバンド画像」と呼ぶ）から分光スペクトルを推定する処理を実行する（ステップＳ１３０）。ここでは、分光推定パラメーター保存部３６に記憶された分光推定パラメーターに基づいて前記推定を行う。
【００８３】
詳しくは、先に説明した式（１）に従う演算処理を実行する。すなわち、分光推定パラメーター保存部３６に記憶された分光推定パラメーターＭと、補正後マルチバンド画像の所定位置の値（画素値）ｘとの間の行列の積を求めることで、前記所定位置における分光スペクトルｐを求める。ここで、所定位置とは、被検体Ｔが写っている部分であればどの位置でも良く、例えば、画像の中央位置である。どの位置でもよいとしたのは、ステップＳ１２０で波長ムラや光量ムラが補正されているためである。
【００８４】
ステップＳ１３０の実行後、ＣＰＵ１０は、ステップＳ１３０で得られた分光スペクトルから被検体Ｔの特徴量、すなわちクロロフィル量を推定する処理を行う（ステップＳ１４０）。ここでは、検量処理パラメーター保存部３８に記憶された検量処理パラメーターに基づいて前記推定を行う。
【００８５】
詳しくは、先に説明した式（６）に従う演算処理を実行する。すなわち、検量処理パラメーター保存部３８に記憶された検量処理パラメーターＺと、ステップＳ１３０で得られた所定位置の分光スペクトルｐとの間の行列の積を求めることで、前記所定位置における特徴量、すなわちクロロフィル量を求める。
【００８６】
上記ステップＳ１３０の処理が、ＣＰＵ１０で実現される分光推定部１６（図１）に相当し、適用例１における「分光スペクトル演算部」に対応している。上記ステップＳ１４０の処理が、ＣＰＵ１０で実現される検量処理部１８（図１）に相当し、適用例１における「検量処理部」に対応している。
【００８７】
ステップＳ１４０の実行後、ＣＰＵ１０は、ステップＳ１４０で得られた特徴量から鮮度判定結果を求める処理を行う（ステップＳ１５０）。ここでは、診断データベース保存部３９に記憶された診断データベースに基づいて、前記鮮度判定結果の演算を行う。詳しくは、図５に例示したグラフにステップＳ１４０で得られた特徴量のＳ5を当てはめることで、鮮度判定結果を求める。あるいは、図５に例示したグラフにステップＳ１４０で得られた特徴量のＳ5とＳ6を当てはめることで、鮮度判定結果を求める。
【００８８】
ステップＳ１５０の実行後、ＣＰＵ１０は、ステップＳ１５０で得られた鮮度判定結果を表示装置３００および記憶装置４００に出力する（ステップＳ１６０）。この結果、鮮度の判定結果が表示装置３００に表示され、記憶装置４００に記憶される。ステップＳ１６０の実行後、ＣＰＵ１０はリターンに処理を進めて、この鮮度判定処理を一旦終了する。なお、図２で説明したように鮮度を判定したい次の被検体Ｔがある場合には、ＣＰＵ１０は、鮮度判定処理を繰り返し実行する。
【００８９】
Ｅ．実施例効果：
以上のように構成された鮮度判定システム１によれば、クロロフィルによる光の吸収が起こる所定の波長帯域を含む複数の波長帯域で緑色野菜を撮影して得られるマルチバンド画像から、分光推定パラメーターを用いて分光スペクトルを演算し、その分光スペクトルから、検量処理パラメーターを用いてクロロフィル量を演算する。このために、分光推定パラメーター保存部３６と検量処理パラメーター保存部３８とを予めメモリーに用意しておけば、高価な分光器を必要とせずに、マルチバンド画像から緑色野菜のクロロフィル量を高精度に推定することができる。
【００９０】
Ｆ．変形例：
この発明は前記実施例やその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。なお、変形例の説明にあたっては上述した実施例と同一の構成については同一の符号を付し、その説明を省略する。
【００９１】
・変形例１：
前記実施例および変形例では、被検体を緑色野菜とし、特徴量をクロロフィル量としたが、これに換えて、例えば、被検体を肉とし、特徴量をオレイン酸量としてもよい。オレイン酸量とすることで、肉の美味しさを判定することができる。また、被検体を人肌とし、特徴量をコラーゲン量とすることで、肌の張りを判定することができる。すなわち、野菜、果物、肉、魚等の食材、肌や毛髪等の人の全身、その他、種々の対象を被検体とすることができ、被検体の種々の特定成分を推定することができる。
【００９２】
なお、被検体やその推定したい特徴量を変更する際には、前記実施例の鮮度判定システム１において、データベースである各保存部３２〜３９のデータを差し替えるだけで対応することができる。すなわち、前記実施例の鮮度判定システム１は、汎用性に優れているという効果も奏する。
【００９３】
・変形例２：
前記実施例および変形例では、特定成分としてクロロフィルの一種類に着目して、クロロフィル量を推定する構成としたが、これに換えて、クロロフィル量と水分量と言うように、２つの特定成分に関する２つの特徴量を推定する構成としてもよい。
【００９４】
・変形例３：
前記実施例では、鮮度判定システム１専用の分光画像処理装置１００を用いていたが、分光画像処理装置１００は汎用のパーソナルコンピューターに換えることができる。また、マルチバンドカメラ２００と分光画像処理装置１００とは別体であったが、一体とすることもできる。例えば、分光画像処理装置１００を内蔵する構成としてもよいし、マルチバンドカメラ２００に分光画像処理装置１００を例えばチップの形で内蔵する構成としてもよい。表示装置３００および記憶装置４００も、分光画像処理装置１００と一体とすることもできる。
【００９５】
・変形例４：
前記実施例および各変形例において、ソフトウェアによって実現した機能は、ハードウェアによって実現するものとしてもよい。
【００９６】
・変形例５：
前記実施例および各変形例では、分光推定パラメーターを用いて、マルチバンド画像から分光スペクトルを演算し、検量処理パラメーターを用いて、前記分光スペクトルから特徴量を演算する構成としていたが、これに換えて、分光推定パラメーターＭと検量処理パラメーターＺとを掛け合わせたパラメーターＬ（＝Ｚ・Ｍ）を用いて、マルチバンド画像から直接、特徴量を推定する構成としてもよい。マルチバンドカメラ２００の個体、被検体Ｔの種類、および推定する特徴量の組み合わせが予め定められている場合には、この構成によっても、高価な分光器を必要とせずに、マルチバンド画像から被検体の特徴量を高精度に推定することができる。
【００９７】
・変形例６：
前記実施例および各変形例では、測定帯域データ保存部３２に記憶された複数の測定帯域データを、マルチバンドカメラ２００の波長選択フィルター２２０に順に送信することで、波長選択フィルター２２０の透過波長域を順に変更して、異なる測定帯域毎のバンド画像（スペクトル画像）を表すマルチバンド画像を、マルチバンドカメラ２００から取得する構成とした。これに替えて、予め定められた複数の測定帯域毎のバンド画像を表すマルチバンド画像をマルチバンドカメラ２００から取得する構成としてもよい。すなわち、測定帯域データ保存部３２および測定帯域指示部１２はなくてもよい。
【００９８】
・変形例７：
前記実施例および各変形例では、前処理データ保存部３４に記憶した前処理データに基づいて、前処理部１４がマルチバンド画像を補正し、補正後マルチバンド画像から分光スペクトルを推定する構成とした。これに替えて、マルチバンド画像取得部が取得したマルチバンド画像から分光スペクトルを推定する構成としてもよい。また、マルチバンド画像取得部が、補正後マルチバンド画像を取得してもよい。すなわち、前処理データ保存部３４および前処理部１４はなくてもよい。
【００９９】
・変形例８：
前記実施例および各変形例では、分光画像処理装置１００の診断データベース保存部３９に記憶された診断データベースと、推定された特徴量とに基づいて、診断部１９が判定を行う構成とした。これに替えて、推定された特徴量を分光画像処理装置１００とは別に構成された診断装置に出力し、診断装置が診断を行ってもよい。すなわち、分光画像処理装置１００には診断データ保存部３９および診断部１９はなくてもよい。
【０１００】
なお、前述した各実施例および各変形例における構成要素の中の、独立請求項で記載された要素以外の要素は、付加的な要素であり、適宜省略可能である。
【符号の説明】
【０１０１】
１…鮮度判定システム
１０…ＣＰＵ
１２…測定帯域指示部
１４…前処理部
１６…分光推定部
１８…検量処理部
１９…診断部
３０…メモリー
３２…測定帯域データ保存部
３４…前処理データ保存部
３６…分光推定パラメーター保存部
３８…検量処理パラメーター保存部
３９…診断データベース保存部
５０…入出力Ｉ／Ｆ
１００…分光画像処理装置
２００…マルチバンドカメラ
２１０…レンズユニット
２２０…波長選択フィルター
２５０…光源ユニット
３００…表示装置
４００…記憶装置
Ｍ…分光推定行列（＝分光推定パラメーター）
Ｚ…混合行列（＝検量処理パラメーター）
【特許請求の範囲】
【請求項１】
被検体の特定成分に関する特徴量を推定する特徴量推定装置であって、
波長帯域の相違する複数のバンド画像を分光スペクトルに変換することに用いる分光推定パラメーターを保存する分光推定パラメーター保存部と、
前記分光スペクトルを前記特徴量に変換することに用いる検量処理パラメーターを保存する検量処理パラメーター保存部と、
前記特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、
前記分光推定パラメーター保存部に保存されている分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する分光スペクトル演算部と、
前記検量処理パラメーター保存部に保存されている検量処理パラメーターを用いて、前記分光スペクトル演算部によって求められた分光スペクトルから前記特徴量を演算する検量処理部と
を備える特徴量推定装置。
【請求項２】
請求項１に記載の特徴量推定装置であって、
前記マルチバンド画像取得部は、
複数の波長帯域の感度で被検体の撮影を行うマルチバンドカメラに対して測定帯域を指示することに用いる複数の測定帯域データを保存する測定帯域データ保存部と、
前記測定帯域データ保存部に保存されている測定帯域データを前記マルチバンドカメラに送ることによって、前記マルチバンドカメラに測定帯域を指示する測定帯域指示部と
を備える特徴量推定装置。
【請求項３】
請求項１または２に記載の特徴量推定装置であって、
前記マルチバンド画像の取得先であるマルチバンドカメラにおける誤差を補正することに用いる補正量を、前記マルチバンド画像を構成するバンド画像のそれぞれに対して定めた前処理データを保存する前処理データ保存部と、
前記マルチバンド画像取得部によって取得したマルチバンド画像を、前記前処理データ保存部に保存されている前処理データに基づいて補正し、補正後のマルチバンド画像を前記分光スペクトル演算部に送る前処理部と
を備える特徴量推定装置。
【請求項４】
請求項１ないし３のいずれかに記載の特徴量推定装置であって、
前記被検体の特徴量を前記被検体の評価値に変換することに用いる診断データを保存する診断データ保存部と、
前記診断データ保存部に保存されている診断データを用いて、前記検量処理部によって得られた特徴量から前記被検体の評価値を演算する診断部と
を備える特徴量推定装置。
【請求項５】
波長帯域の相違する複数のバンド画像を分光スペクトルに変換する分光画像処理装置であって、
前記複数のバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、前記所定位置に対応した被検体の部分における分光スペクトルを示す第２群の変量との間の関係を示す分光推定パラメーターを保存する分光推定パラメーター保存部と、
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、
前記分光推定パラメーター保存部に保存されている分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する分光スペクトル演算部と
を備える分光画像処理装置。
【請求項６】
被検体の特定成分に関する特徴量を推定する特徴量推定方法であって、
前記特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得し、
波長帯域の相違する複数のバンド画像を分光スペクトルに変換することに用いる分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算し、
前記分光スペクトルを前記特徴量に変換することに用いる検量処理パラメーターを用いて、前記演算により得られた分光スペクトルから前記特徴量を演算する、特徴量推定方法。
【請求項７】
波長帯域の相違する複数のバンド画像を分光スペクトルに変換する分光画像処理方法であって、
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得し、
前記複数のバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、前記所定位置に対応した被検体の部分における分光スペクトルを示す第２群の変量との間の関係を示す分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する、分光画像処理方法。
【請求項８】
被検体の特定成分に関する特徴量を推定するためのコンピュータープログラムであって、
前記特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得する機能と、
前記波長帯域の相違する複数のバンド画像と、分光スペクトルとの関係を表す分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する機能と、
前記分光スペクトルと、前記特徴量との関係を表す検量処理パラメーターを用いて、前記演算によって得られた分光スペクトルから前記特徴量を演算する機能と
をコンピューターに実現させるコンピュータープログラム。
【請求項９】
波長帯域の相違する複数のバンド画像を分光スペクトルに変換するためのコンピュータープログラムであって、
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得する機能と、
前記複数のバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、前記所定位置に対応した被検体の部分における分光スペクトルを示す第２群の変量との間の関係を示す分光推定パラメーターを用いて、前記取得したマルチバンド画像から分光スペクトルを演算する機能と
をコンピューターに実現させるコンピュータープログラム。
【請求項１】
被検体の特定成分に関する特徴量を推定する特徴量推定装置であって、
波長帯域の相違する複数のバンド画像を分光スペクトルに変換することに用いる分光推定パラメーターを保存する分光推定パラメーター保存部と、
前記分光スペクトルを前記特徴量に変換することに用いる検量処理パラメーターを保存する検量処理パラメーター保存部と、
前記特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、
前記分光推定パラメーター保存部に保存されている分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する分光スペクトル演算部と、
前記検量処理パラメーター保存部に保存されている検量処理パラメーターを用いて、前記分光スペクトル演算部によって求められた分光スペクトルから前記特徴量を演算する検量処理部と
を備える特徴量推定装置。
【請求項２】
請求項１に記載の特徴量推定装置であって、
前記マルチバンド画像取得部は、
複数の波長帯域の感度で被検体の撮影を行うマルチバンドカメラに対して測定帯域を指示することに用いる複数の測定帯域データを保存する測定帯域データ保存部と、
前記測定帯域データ保存部に保存されている測定帯域データを前記マルチバンドカメラに送ることによって、前記マルチバンドカメラに測定帯域を指示する測定帯域指示部と
を備える特徴量推定装置。
【請求項３】
請求項１または２に記載の特徴量推定装置であって、
前記マルチバンド画像の取得先であるマルチバンドカメラにおける誤差を補正することに用いる補正量を、前記マルチバンド画像を構成するバンド画像のそれぞれに対して定めた前処理データを保存する前処理データ保存部と、
前記マルチバンド画像取得部によって取得したマルチバンド画像を、前記前処理データ保存部に保存されている前処理データに基づいて補正し、補正後のマルチバンド画像を前記分光スペクトル演算部に送る前処理部と
を備える特徴量推定装置。
【請求項４】
請求項１ないし３のいずれかに記載の特徴量推定装置であって、
前記被検体の特徴量を前記被検体の評価値に変換することに用いる診断データを保存する診断データ保存部と、
前記診断データ保存部に保存されている診断データを用いて、前記検量処理部によって得られた特徴量から前記被検体の評価値を演算する診断部と
を備える特徴量推定装置。
【請求項５】
波長帯域の相違する複数のバンド画像を分光スペクトルに変換する分光画像処理装置であって、
前記複数のバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、前記所定位置に対応した被検体の部分における分光スペクトルを示す第２群の変量との間の関係を示す分光推定パラメーターを保存する分光推定パラメーター保存部と、
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得するマルチバンド画像取得部と、
前記分光推定パラメーター保存部に保存されている分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する分光スペクトル演算部と
を備える分光画像処理装置。
【請求項６】
被検体の特定成分に関する特徴量を推定する特徴量推定方法であって、
前記特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得し、
波長帯域の相違する複数のバンド画像を分光スペクトルに変換することに用いる分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算し、
前記分光スペクトルを前記特徴量に変換することに用いる検量処理パラメーターを用いて、前記演算により得られた分光スペクトルから前記特徴量を演算する、特徴量推定方法。
【請求項７】
波長帯域の相違する複数のバンド画像を分光スペクトルに変換する分光画像処理方法であって、
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得し、
前記複数のバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、前記所定位置に対応した被検体の部分における分光スペクトルを示す第２群の変量との間の関係を示す分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する、分光画像処理方法。
【請求項８】
被検体の特定成分に関する特徴量を推定するためのコンピュータープログラムであって、
前記特定成分に応じた所定の波長帯域を少なくとも含む複数の波長帯域で前記被検体を撮影して得られるマルチバンド画像を取得する機能と、
前記波長帯域の相違する複数のバンド画像と、分光スペクトルとの関係を表す分光推定パラメーターを用いて、前記マルチバンド画像から分光スペクトルを演算する機能と、
前記分光スペクトルと、前記特徴量との関係を表す検量処理パラメーターを用いて、前記演算によって得られた分光スペクトルから前記特徴量を演算する機能と
をコンピューターに実現させるコンピュータープログラム。
【請求項９】
波長帯域の相違する複数のバンド画像を分光スペクトルに変換するためのコンピュータープログラムであって、
複数の波長帯域で被検体を撮影して得られるマルチバンド画像を取得する機能と、
前記複数のバンド画像のそれぞれにおける所定位置の画素値を示す第１群の変量と、前記所定位置に対応した被検体の部分における分光スペクトルを示す第２群の変量との間の関係を示す分光推定パラメーターを用いて、前記取得したマルチバンド画像から分光スペクトルを演算する機能と
をコンピューターに実現させるコンピュータープログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２４２２７０（Ｐ２０１２−２４２２７０Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１３４８３（Ｐ２０１１−１１３４８３）
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]