摂取熱量推定装置、摂取熱量推定方法および摂取熱量推定用データ出力装置
【課題】簡単かつ正確に摂取熱量を推定できるようにすること。
【解決手段】光源から光を発射しつつ、エタロンによって透過波長を順次切り替えながら撮像する（ステップＳ３１５）。ユーザーが食事を開始して食品を口元に運ぶと、画像から食品の部分を抽出し（ステップＳ３３０，ＹＥＳ）、その抽出された部位としての食品の体積を、可視光画像に基づいて推定する（ステップＳ３４０）。続いて、食品の質量を求める（ステップＳ３５０）。次に、赤外吸収スペクトルから食品の質量当たりの熱量を推定する（ステップＳ３６０）。次に、前回実行したステップＳ３７０の結果と比べて、口元において食品の熱量が減ったかを判定する（ステップＳ３８０）。熱量が減ったと判定した場合は（ステップＳ３８０，ＹＥＳ）、その熱量を摂取熱量として、総摂取熱量に加算する（ステップＳ３９０）。
【解決手段】光源から光を発射しつつ、エタロンによって透過波長を順次切り替えながら撮像する（ステップＳ３１５）。ユーザーが食事を開始して食品を口元に運ぶと、画像から食品の部分を抽出し（ステップＳ３３０，ＹＥＳ）、その抽出された部位としての食品の体積を、可視光画像に基づいて推定する（ステップＳ３４０）。続いて、食品の質量を求める（ステップＳ３５０）。次に、赤外吸収スペクトルから食品の質量当たりの熱量を推定する（ステップＳ３６０）。次に、前回実行したステップＳ３７０の結果と比べて、口元において食品の熱量が減ったかを判定する（ステップＳ３８０）。熱量が減ったと判定した場合は（ステップＳ３８０，ＹＥＳ）、その熱量を摂取熱量として、総摂取熱量に加算する（ステップＳ３９０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーによって摂取される食物の熱量を推定する技術に関する。
【背景技術】
【０００２】
従来、食事について記録や管理をするための技術が提案されている。例えば特許文献１は、食物の熱量をその食品が盛られた皿から取得する技術を開示している。また、特許文献２は、食事中におけるユーザーの様子をリアルタイムで観察し、その観察した様子に基づきユーザーに対して食事に関するアドバイスをする技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１９８０５号公報
【特許文献２】特開２０１０−０３３３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術には、ユーザーが摂取した熱量の推定が、簡単かつ正確には行えないという課題があった。本発明は、この課題を解決するためにされたものであり、簡単かつ正確に摂取熱量を推定できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、上記課題の少なくとも一部を解決するためにされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］
ユーザーの口元を時系列で撮像することによって取得した画像に基づいて、前記ユーザーの口腔内へ運ばれた食品を検出する検出部と、
前記検出部によって検出された食品の単位分量当たりの熱量を、該食品を対象とした分光分析の結果に基づいて推定する分量当たり熱量推定部と、
前記検出部によって検出された食品の分量を推定する分量推定部と、
前記分量当たり熱量推定部と前記分量推定部との推定結果に基づいて、前記ユーザーの口腔内へ運ばれた食品の熱量を推定する摂取熱量推定部と
を備える摂取熱量推定装置。
この適用例によれば、ユーザーの口元を時系列で撮像することによって取得した画像に基づいて、ユーザーの口腔内へ運ばれた食品を検出し、検出された食品の単位分量当たりの熱量を、該食品を対象とした分光分析の結果に基づいて推定することができる。そして、検出された食品の分量を推定し、推定された単位分量当たりの熱量と、推定された食品の分量とに基づいて、ユーザーの口腔内へ運ばれた食品の熱量を推定することができる。したがって、例えば、ユーザーによる入力作業を必要とせず、ユーザーの口腔内へ運ばれた食品の熱量を推定することができるため、より簡単に、かつ、より正確に摂取熱量を推定できる。なお「分量」とは、質量および体積を含む。また「食品」とは、食べ物および飲み物を含む。さらに「分光分析」とは、照射された光の各波長に対する吸光度を示す情報を分析することである。
【０００７】
［適用例２］
適用例１に記載の摂取熱量推定装置であって、
前記検出部は、少なくとも赤外領域によって撮像された画像から取得できる分光分析の結果と可視光領域によって撮像された画像から取得できるによって撮像された画像から取得できる分光分析の結果と可視光画像とに基づいて、前記食品を検出する
摂取熱量推定装置。
この適用例によれば、可視光領域によって撮像された画像から取得できる可視光画像を用いて食品を検出するため、例えば、ユーザーとしての人体を食品と誤検出することを減らすことができる。また、赤外領域によって撮像された画像から取得できる分光分析の結果を用いて食品を検出するため、例えば、食器などを食品と誤検出することを減らすことができ、より正確に食品を検出できる。
【０００８】
［適用例３］
適用例１又は２に記載の摂取熱量推定装置であって、
前記検出部は、前記時系列で撮像された複数の画像それぞれから食品の検出を試みて、時系列における後の画像から推定された食品の熱量が、時系列における前の画像から推定された食品の熱量よりも少ない場合に、該食品を前記ユーザーの口腔内へ運ばれた食品として検出する
摂取熱量推定装置。
この適用例によれば、時系列における後の画像から推定された食品の熱量が、時系列における前の画像から推定された食品の熱量よりも少ない場合に、食品がユーザーの口腔内へ運ばれたとして検出する。したがって、ユーザーの口腔内へ運ばれた食品をより正確に検出できる。なお、食品の検出を試みる画像は、時系列における全ての画像でもよいし、一部を間引いた残りの画像でもよい。
【０００９】
［適用例４］
適用例１〜３の何れか一つに記載の摂取熱量推定装置であって、
前記分量当たり熱量推定部は、予め取得された外乱光によるノイズを、前記分光分析の結果から除去したものに基づいて、前記食品の単位分量当たりの熱量を推定する
摂取熱量推定装置。
この適用例によれば、分光分析の結果から外乱光によるノイズを除去したものに基づいて熱量を推定するので、例えばノイズに起因する熱量の推定における誤差を抑制できる。したがって、より正確に単位分量当たりの熱量を推定できる。
【００１０】
［適用例５］
適用例１〜４の何れか一つに記載の摂取熱量推定装置であって、
前記分量推定部は、前記検出部によって検出された食品を撮像して取得できる画像に基づいて、該食品の分量を推定する
摂取熱量推定装置。
この適用例によれば、食品を撮像した画像に基づいて食品の分量を推定するので、箸やスプーンなどに圧電素子を組み込む等の準備が不要となり、簡単に分量の推定ができる。
【００１１】
［適用例６］
ユーザーの口元を時系列で撮像することによって取得できる画像に基づいて、前記ユーザーの口腔内へ運ばれた食品を検出し、
該検出した食品の分量を推定した結果と、単位分量当たりの熱量を該食品を対象とした分光分析の結果に基づいて推定した結果とに基づいて前記ユーザーの口腔内へ運ばれた食品の熱量を推定する
摂取熱量推定方法。
【００１２】
［適用例７］
ユーザーの口元を時系列で撮像することによって取得できる画像に基づいて、前記ユーザーの口腔内へ運ばれた食品を検出する検出部と、
前記検出部によって検出された食品の単位分量当たりの熱量を、該食品を対象とした分光分析の結果に基づいて推定する分量当たり熱量推定部と、
前記検出部によって検出された食品の分量を推定する分量推定部と、
前記分量当たり熱量推定部と前記分量推定部との推定結果を外部に出力する出力部と
を備える摂取熱量推定用データ出力装置。
この適用例によれば、外部装置に摂取熱量を正確に推定させることができる。
【図面の簡単な説明】
【００１３】
【図１】摂取熱量推定装置１０の外観および使用状態を示す図。
【図２】制御部１００および撮像部２００の構成を示したブロック図。
【図３】摂取熱量推定処理を示すフローチャート。
【図４】摂取熱量推定処理による画像処理の様子を模式的に示した図。
【図５】記憶装置１５０に記憶されるデータ構造を模式的に示した図。
【図６】摂取熱量推定装置２０の外観および使用状態を示す図。
【発明を実施するための形態】
【００１４】
本発明の実施形態を図面と共に説明する。図１は、本発明が適用された摂取熱量推定装置１０の外観および使用状態を示す図である。摂取熱量推定装置１０は、図に示すように、装着部５０、制御部１００及び撮像部２００を備え、装着部５０によってユーザーの頭に装着されて使用される。吹き出しに示された拡大画像は、摂取熱量推定装置１０によって撮像された可視光画像を示す。
【００１５】
［１．ハードウェア構成］
図２は、制御部１００及び撮像部２００の構成を示したブロック図である。撮像部２００は、外部に可視光〜近赤外領域の光を発射する光源２８０、外部からの光の光量を調整する光量調整器２７０、光量調整器２７０によって光量が調整された光を結像させるために屈折させるレンズ２１０、レンズ２１０からの光について透過させる波長の範囲を選択するエタロン２９０、エタロン２９０（ファブリペロー型フィルター）を透過した波長成分の光を受光し、受光位置毎に受光強度を示すアナログ信号を出力する受光素子２６０、制御部１００に対する撮像部２００の位置を三次元的に調整する三個のモーター２８５（一個のみ図示）を備える。
【００１６】
一方、制御部１００は、制御部１００に備えられた他の構成要素を統括制御するシステム制御部１１０、光源２８０の照射を制御する光源制御部１８０、光量調整器２７０を制御する光量調整器制御部１７０、エタロン２９０による波長選択を制御するエタロン制御部１９０、受光素子２６０を制御する受光素子制御部１６０、受光素子２６０からのアナログ信号をデジタル信号に変換し、システム制御部１１０に入力するＡＤ変換器１２０、ＡＤ変換器１２０から入力された信号のゲインを調整するゲイン処理部１３０、計算を実行する計算処理部１４０、データを記憶する記憶装置１５０、モーター２８５の駆動を制御するモーター制御部１８５、後述する摂取熱量推定処理の開始および終了の指示入力を受けるインターフェースとして機能する開始／終了ボタン１９５、外部装置とのデータのやり取りをするインターフェースとして機能する通信部１９７、撮像部２００と制御部１００に備えられた他の構成要素とに電源を供給するバッテリー（図示なし）を備える。
【００１７】
以上に説明した構成によって撮像対象を撮像すると、可視光画像に加えて、撮像範囲の分光分析の結果として、近赤外領域の赤外吸収スペクトルを取得できる。この可視光画像と赤外吸収スペクトルとを利用した摂取熱量推定処理を次から説明する。
【００１８】
［２．摂取熱量推定処理］
摂取熱量推定処理を示すフローチャートを図３に示す。この処理は、ユーザーが摂取した熱量を推定するためのものであり、開始／終了ボタン１９５が押されたことを契機に、システム制御部１１０が主体となって実行する。
【００１９】
まず、光源２８０から光を発射しない場合における受光強度に基づいて、各波長について外乱光の強度を測定する処理を実行する（ステップＳ３１０）。この処理の具体的な内容は、エタロン２９０を用いて順次、透過波長を切り替えながら、受光素子２６０が受光する外乱光の強度を二次元的に測定するというものである。この測定を行うのは、後述するステップＳ３５０における赤外吸収スペクトルを求める際に補正値として用いるノイズを予め求めておくためである。なお、本実施形態では、受光強度と、受光素子２６０の出力値とは線形関係にあると見なして外乱光を求めるが、非線形としてもよい。
【００２０】
その後、光源２８０から光を発射しつつ、エタロン２９０によって透過波長を順次切り替えながら撮像する（ステップＳ３１５）。次に、その撮像における可視光領域の画像を重ね合わせて取得した可視光画像による画像認識に基づき、ユーザーの口元が撮像範囲の中心に位置するようにモーター２８５を駆動する（ステップＳ３２０）。
【００２１】
続いて、撮像した画像から、食品の部分を抽出できたか否かを判定する（ステップＳ３３０）。具体的には、赤外吸収スペクトルを利用して食品と食器（箸やスプーン等）とを区別し、可視光画像を用いて食品とユーザーとしての人体とを区別することにより、食品としての画像部位を抽出する処理を行う。そして、抽出する処理によって、食品としての画像部位が抽出されたか否かを判定する。
【００２２】
摂取熱量推定処理の開始直後は、通常、食事が開始されていないので食品は抽出できず（ステップＳ３３０，ＮＯ）、続いて、口元において食品の熱量が減ったかを判定する（ステップＳ３８０）。未だ食品が抽出されていない段階であれば、当然、減っていないと判定することになるので（ステップＳ３８０，ＮＯ）、この場合、後述するステップＳ３９５（ＮＯ）を経て、ステップＳ３１５に戻る。ステップＳ３８０については、後で再度説明する。
【００２３】
その後、ユーザーが食事を開始して食品を口元に運ぶと（図４（Ａ）参照）、上記手法によって可視光画像から食品の部分を抽出する（ステップＳ３３０，ＹＥＳ）（図４（Ｂ）参照）。続いて、食品の質量を求める（ステップＳ３５０）。具体的には、スプーン等の食器に組み込んだ圧電素子の出力に基づいて推定する。その出力は、無線で取得する。
【００２４】
次に、赤外吸収スペクトルから食品の質量当たりの熱量（ｃａｌ／ｇ）を推定する（ステップＳ３６０）。具体的な方法としては、既知のもの（例えば、特開２００５−６７７３８に開示された手法）を用いればよい。この方法の概要は、食品における糖質・脂質・たんぱく質などの含有率を赤外吸収スペクトルに基づき推定し、さらに、その推定結果に基づき熱量を推定するというものである。本実施形態においては、可視光画像により抽出した食品の部位内において平均を取った赤外吸収スペクトルに基づいて、その食品の質量当たりの熱量を推定する。
【００２５】
続いて、推定した食品の質量と、質量当たりの熱量との積を、その食品の熱量として算出する（ステップＳ３７０）。次に、前回実行したステップＳ３７０の結果と比べて、口元において食品の熱量が減ったか否かを判定する（ステップＳ３８０）。すなわち、ユーザーの口元を撮像した、時系列における後の画像から推定された食品の熱量が、時系列における前の画像から推定された食品の熱量よりも少ないか否かを判定する。この判定ステップは、食品がユーザーの口腔内に運ばれたか否かを判定するためのものであり、食品が撮像範囲外に移動することで熱量が減った場合は、熱量が減ったとは判定しない。また、熱量の減少分が測定誤差範囲内である場合や、前回実行したステップＳ３７０の情報がない場合（例えば、摂取熱量推定処理を開始してから１回目のステップＳ３８０を実行する場合）も、熱量が減っていないと判定する。
【００２６】
熱量が減ったと判定すると（ステップＳ３８０，ＹＥＳ）（図４（Ｃ）（Ｄ）参照）、その熱量を摂取熱量として、現在の食事についての総摂取熱量に加算し（ステップＳ３９０）、開始／終了ボタン１９５が押されたかを判定する（ステップＳ３９５）。また、熱量が減っていないと判定すると（ステップＳ３８０，ＮＯ）、ステップＳ３９０を飛ばしてステップＳ３９５に進み、開始／終了ボタン１９５が押されたかを判定する。
【００２７】
開始／終了ボタン１９５が押されていないと判定すると（ステップＳ３９５，ＮＯ）、ステップＳ３１５に戻ってステップＳ３９０までの処理を再度実行する。ステップＳ３１５からステップＳ３９０を繰り返すことで、時系列でユーザーの口元が撮像され、撮像された画像から食品が抽出された場合には食品の熱量が推定される。一方、開始／終了ボタン１９５が押されたと判定すると（ステップＳ３９５，ＹＥＳ）、摂取熱量推定処理を終える。
【００２８】
以上に説明した処理を実行すると、口元に運んだ食品の一部が口腔内へ運ばれた場合は、直後のステップＳ３３０でＹＥＳと判定し、直後に推定する熱量と、直前に推定した熱量との差が摂取熱量として計上されることになる（図４の場合）。一方、口元に運んだ食品の全部が口腔内に運ばれた場合は、直後のステップＳ３３０でＮＯと判定し、直前に推定された熱量全部が摂取熱量として計上されることになる。
【００２９】
図５に、摂取熱量推定処理の終了後に記憶装置１５０に記憶されるデータ構造を模式的に示す。図に示すように、各食事において推定された摂取熱量が、日付および朝昼夜に対応づけられて記憶されている。また、上記データは、システム制御部１１０が記憶装置１５０から通信部１９７を通じて外部装置に入力できるようになっており、図に示すように、外部装置によるグラフ表示ができる。
【００３０】
以上に説明したように、摂取熱量推定装置１０によれば、ユーザーの口元を撮像した画像に基づいて、ユーザーの口腔内へ運ばれた食品を検出して摂取熱量を推定しているので、ユーザーによる入力作業を必要とせず、簡単かつ正確に摂取熱量を推定できる。また、ユーザーの口の追跡、食品の抽出および質量当たりの熱量の推定を、可視光画像および近赤外領域の赤外吸収スペクトルを利用して行うことにより、摂取熱量の推定をより正確に実行することができる。さらに、予め外乱光の補正を行うので、周囲の明るさによらず、正確に赤外吸収スペクトルが測定でき、ひいては正確に熱量の推定ができる。
【００３１】
［３．実施形態と適用例との対応関係］
ステップＳ３８０が検出部を、ステップＳ３６０が分量推定部を、ステップＳ３７０が分量当たり熱量推定部を、ステップＳ３７５が摂取熱量推定部を各々実現するためのソフトウェアに相当する。また、適用例７の摂取熱量推定用テータ出力装置は、下記他の実施形態の一つに相当する。
【００３２】
［４．他の実施形態］
本発明は、先述した実施形態になんら限定されるものではなく、発明の技術的範囲内における種々の形態により実施できる。例えば、実施形態の構成要素の中で付加的なものは、実施形態から省略できる。ここで言う付加的な構成要素とは、実質的に独立している適用例においては特定されていない事項に対応する要素のことである。また、例えば、以下のような実施形態が考えられる。
【００３３】
・図６に示された摂取熱量推定装置２０のように、ユーザーが装着するタイプでなく、据え置き型としてもよい。摂取熱量推定装置２０によれば、装着する手間を省くことができ、また、さほど小型化が要求されないので設計の自由度が上がる。
・推定した摂取熱量を、自装置で記憶せず、外部装置（汎用のコンピューター等）に入力するようにしてもよい。
・推定した質量と質量当たりの熱量とを外部装置に入力して、外部装置に熱量を推定させてもよい（適用例７に相当）。
・制御部と撮像部とを別体にすると共に、互いに無線通信可能に構成してもよい。このようにすれば、ユーザーが装着する装置を小さくでき、また、制御部は、汎用のコンピューターにソフトウェアを組み込むことで構成できる。なお、上記のように無線通信可能に構成するために、撮像部にもバッテリー及び制御部との通信のための通信部を搭載するとよい。
【００３４】
・食品の質量推定用のスプーンに、そのスプーンに開始／終了ボタンを組み込んで、その開始／終了ボタンによって摂取熱量推定処理の開始および終了のトリガーとしてもよい。
・赤外吸収スペクトルから食品の密度を推定し、その密度と、可視光画像から推定した体積との積を、質量の推定値としてもよい。なお、赤外吸収スペクトルと密度との関係は、予め種々の食品についてサンプルデータを求めておくと共に、記憶装置１５０に記憶させておいてもよい。また、密度の推定に用いる赤外吸収スペクトルは、可視光画像により抽出した食品の部位内において平均を取ったものとしてもよい。
・食品の質量を求める際にする密度の推定は、食品の種類に基づいて行ってもよい。具体的には、可視光画像と予め記憶した食品画像とのマッチングに基づいて、食品の種類を推定し、その食品の密度として予め記憶したものを質量推定に用いればよい。
・一口によって摂取される食品の質量を一定と見なしてもよい。このようにすれば、質量を推定する必要がなくなる。
・赤外吸収スペクトルによって体積当たりの熱量を推定する場合は、質量を求める処理を省いて、体積と体積当たりの熱量とに基づいて食品の熱量を推定すればよい。
・食品が摂取されたか否かを、実施形態とは異なり、食品の熱量の変化ではなく体積の変化に基づいて推定してもよい。
【００３５】
・外乱光の測定は、赤外吸収スペクトルを測定する度に行ってもよい。このようにすれば、外乱光補正をより正確に実行できる。
・分光分析の結果を取得するために、可視光や中赤外領域の吸収スペクトルを用いてもよい。可視光を用いると、可視光画像と波長領域を共通にできる。また、中赤外を用いると、食品成分をより詳細に分析でき、熱量推定の精度が向上すると考えられる。
・分光分析をするために、エタロンを使用する代わりに、光源から照射される光の波長を切り替えるようにしてもよい。つまり、異なるピークを持つ光源を複数備えておき、それら光源から順次、光を発射するようにすればよい。照射した光の波長が分かれば、赤外吸収スペクトルを求めることができる。
・可視光画像と赤外吸収スペクトルとで取得するための光の経路を別々にすることで、可視光画像を分光しないようにしてもよい。
・食品の検出は、可視光画像を用いず、赤外領域の画像のみで行ってもよい。
【符号の説明】
【００３６】
１０…摂取熱量推定装置
２０…摂取熱量推定装置
５０…装着部
１００…制御部
１１０…システム制御部
１２０…ＡＤ変換器
１３０…ゲイン処理部
１４０…計算処理部
１５０…記憶装置
１６０…受光素子制御部
１７０…光量調整器制御部
１８０…光源制御部
１８５…モーター制御部
１９０…エタロン制御部
１９５…開始／終了ボタン
２００…撮像部
２１０…レンズ
２６０…受光素子
２７０…光量調整器
２８０…光源
２８５…モーター
２９０…エタロン
【技術分野】
【０００１】
本発明は、ユーザーによって摂取される食物の熱量を推定する技術に関する。
【背景技術】
【０００２】
従来、食事について記録や管理をするための技術が提案されている。例えば特許文献１は、食物の熱量をその食品が盛られた皿から取得する技術を開示している。また、特許文献２は、食事中におけるユーザーの様子をリアルタイムで観察し、その観察した様子に基づきユーザーに対して食事に関するアドバイスをする技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１９８０５号公報
【特許文献２】特開２０１０−０３３３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術には、ユーザーが摂取した熱量の推定が、簡単かつ正確には行えないという課題があった。本発明は、この課題を解決するためにされたものであり、簡単かつ正確に摂取熱量を推定できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、上記課題の少なくとも一部を解決するためにされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］
ユーザーの口元を時系列で撮像することによって取得した画像に基づいて、前記ユーザーの口腔内へ運ばれた食品を検出する検出部と、
前記検出部によって検出された食品の単位分量当たりの熱量を、該食品を対象とした分光分析の結果に基づいて推定する分量当たり熱量推定部と、
前記検出部によって検出された食品の分量を推定する分量推定部と、
前記分量当たり熱量推定部と前記分量推定部との推定結果に基づいて、前記ユーザーの口腔内へ運ばれた食品の熱量を推定する摂取熱量推定部と
を備える摂取熱量推定装置。
この適用例によれば、ユーザーの口元を時系列で撮像することによって取得した画像に基づいて、ユーザーの口腔内へ運ばれた食品を検出し、検出された食品の単位分量当たりの熱量を、該食品を対象とした分光分析の結果に基づいて推定することができる。そして、検出された食品の分量を推定し、推定された単位分量当たりの熱量と、推定された食品の分量とに基づいて、ユーザーの口腔内へ運ばれた食品の熱量を推定することができる。したがって、例えば、ユーザーによる入力作業を必要とせず、ユーザーの口腔内へ運ばれた食品の熱量を推定することができるため、より簡単に、かつ、より正確に摂取熱量を推定できる。なお「分量」とは、質量および体積を含む。また「食品」とは、食べ物および飲み物を含む。さらに「分光分析」とは、照射された光の各波長に対する吸光度を示す情報を分析することである。
【０００７】
［適用例２］
適用例１に記載の摂取熱量推定装置であって、
前記検出部は、少なくとも赤外領域によって撮像された画像から取得できる分光分析の結果と可視光領域によって撮像された画像から取得できるによって撮像された画像から取得できる分光分析の結果と可視光画像とに基づいて、前記食品を検出する
摂取熱量推定装置。
この適用例によれば、可視光領域によって撮像された画像から取得できる可視光画像を用いて食品を検出するため、例えば、ユーザーとしての人体を食品と誤検出することを減らすことができる。また、赤外領域によって撮像された画像から取得できる分光分析の結果を用いて食品を検出するため、例えば、食器などを食品と誤検出することを減らすことができ、より正確に食品を検出できる。
【０００８】
［適用例３］
適用例１又は２に記載の摂取熱量推定装置であって、
前記検出部は、前記時系列で撮像された複数の画像それぞれから食品の検出を試みて、時系列における後の画像から推定された食品の熱量が、時系列における前の画像から推定された食品の熱量よりも少ない場合に、該食品を前記ユーザーの口腔内へ運ばれた食品として検出する
摂取熱量推定装置。
この適用例によれば、時系列における後の画像から推定された食品の熱量が、時系列における前の画像から推定された食品の熱量よりも少ない場合に、食品がユーザーの口腔内へ運ばれたとして検出する。したがって、ユーザーの口腔内へ運ばれた食品をより正確に検出できる。なお、食品の検出を試みる画像は、時系列における全ての画像でもよいし、一部を間引いた残りの画像でもよい。
【０００９】
［適用例４］
適用例１〜３の何れか一つに記載の摂取熱量推定装置であって、
前記分量当たり熱量推定部は、予め取得された外乱光によるノイズを、前記分光分析の結果から除去したものに基づいて、前記食品の単位分量当たりの熱量を推定する
摂取熱量推定装置。
この適用例によれば、分光分析の結果から外乱光によるノイズを除去したものに基づいて熱量を推定するので、例えばノイズに起因する熱量の推定における誤差を抑制できる。したがって、より正確に単位分量当たりの熱量を推定できる。
【００１０】
［適用例５］
適用例１〜４の何れか一つに記載の摂取熱量推定装置であって、
前記分量推定部は、前記検出部によって検出された食品を撮像して取得できる画像に基づいて、該食品の分量を推定する
摂取熱量推定装置。
この適用例によれば、食品を撮像した画像に基づいて食品の分量を推定するので、箸やスプーンなどに圧電素子を組み込む等の準備が不要となり、簡単に分量の推定ができる。
【００１１】
［適用例６］
ユーザーの口元を時系列で撮像することによって取得できる画像に基づいて、前記ユーザーの口腔内へ運ばれた食品を検出し、
該検出した食品の分量を推定した結果と、単位分量当たりの熱量を該食品を対象とした分光分析の結果に基づいて推定した結果とに基づいて前記ユーザーの口腔内へ運ばれた食品の熱量を推定する
摂取熱量推定方法。
【００１２】
［適用例７］
ユーザーの口元を時系列で撮像することによって取得できる画像に基づいて、前記ユーザーの口腔内へ運ばれた食品を検出する検出部と、
前記検出部によって検出された食品の単位分量当たりの熱量を、該食品を対象とした分光分析の結果に基づいて推定する分量当たり熱量推定部と、
前記検出部によって検出された食品の分量を推定する分量推定部と、
前記分量当たり熱量推定部と前記分量推定部との推定結果を外部に出力する出力部と
を備える摂取熱量推定用データ出力装置。
この適用例によれば、外部装置に摂取熱量を正確に推定させることができる。
【図面の簡単な説明】
【００１３】
【図１】摂取熱量推定装置１０の外観および使用状態を示す図。
【図２】制御部１００および撮像部２００の構成を示したブロック図。
【図３】摂取熱量推定処理を示すフローチャート。
【図４】摂取熱量推定処理による画像処理の様子を模式的に示した図。
【図５】記憶装置１５０に記憶されるデータ構造を模式的に示した図。
【図６】摂取熱量推定装置２０の外観および使用状態を示す図。
【発明を実施するための形態】
【００１４】
本発明の実施形態を図面と共に説明する。図１は、本発明が適用された摂取熱量推定装置１０の外観および使用状態を示す図である。摂取熱量推定装置１０は、図に示すように、装着部５０、制御部１００及び撮像部２００を備え、装着部５０によってユーザーの頭に装着されて使用される。吹き出しに示された拡大画像は、摂取熱量推定装置１０によって撮像された可視光画像を示す。
【００１５】
［１．ハードウェア構成］
図２は、制御部１００及び撮像部２００の構成を示したブロック図である。撮像部２００は、外部に可視光〜近赤外領域の光を発射する光源２８０、外部からの光の光量を調整する光量調整器２７０、光量調整器２７０によって光量が調整された光を結像させるために屈折させるレンズ２１０、レンズ２１０からの光について透過させる波長の範囲を選択するエタロン２９０、エタロン２９０（ファブリペロー型フィルター）を透過した波長成分の光を受光し、受光位置毎に受光強度を示すアナログ信号を出力する受光素子２６０、制御部１００に対する撮像部２００の位置を三次元的に調整する三個のモーター２８５（一個のみ図示）を備える。
【００１６】
一方、制御部１００は、制御部１００に備えられた他の構成要素を統括制御するシステム制御部１１０、光源２８０の照射を制御する光源制御部１８０、光量調整器２７０を制御する光量調整器制御部１７０、エタロン２９０による波長選択を制御するエタロン制御部１９０、受光素子２６０を制御する受光素子制御部１６０、受光素子２６０からのアナログ信号をデジタル信号に変換し、システム制御部１１０に入力するＡＤ変換器１２０、ＡＤ変換器１２０から入力された信号のゲインを調整するゲイン処理部１３０、計算を実行する計算処理部１４０、データを記憶する記憶装置１５０、モーター２８５の駆動を制御するモーター制御部１８５、後述する摂取熱量推定処理の開始および終了の指示入力を受けるインターフェースとして機能する開始／終了ボタン１９５、外部装置とのデータのやり取りをするインターフェースとして機能する通信部１９７、撮像部２００と制御部１００に備えられた他の構成要素とに電源を供給するバッテリー（図示なし）を備える。
【００１７】
以上に説明した構成によって撮像対象を撮像すると、可視光画像に加えて、撮像範囲の分光分析の結果として、近赤外領域の赤外吸収スペクトルを取得できる。この可視光画像と赤外吸収スペクトルとを利用した摂取熱量推定処理を次から説明する。
【００１８】
［２．摂取熱量推定処理］
摂取熱量推定処理を示すフローチャートを図３に示す。この処理は、ユーザーが摂取した熱量を推定するためのものであり、開始／終了ボタン１９５が押されたことを契機に、システム制御部１１０が主体となって実行する。
【００１９】
まず、光源２８０から光を発射しない場合における受光強度に基づいて、各波長について外乱光の強度を測定する処理を実行する（ステップＳ３１０）。この処理の具体的な内容は、エタロン２９０を用いて順次、透過波長を切り替えながら、受光素子２６０が受光する外乱光の強度を二次元的に測定するというものである。この測定を行うのは、後述するステップＳ３５０における赤外吸収スペクトルを求める際に補正値として用いるノイズを予め求めておくためである。なお、本実施形態では、受光強度と、受光素子２６０の出力値とは線形関係にあると見なして外乱光を求めるが、非線形としてもよい。
【００２０】
その後、光源２８０から光を発射しつつ、エタロン２９０によって透過波長を順次切り替えながら撮像する（ステップＳ３１５）。次に、その撮像における可視光領域の画像を重ね合わせて取得した可視光画像による画像認識に基づき、ユーザーの口元が撮像範囲の中心に位置するようにモーター２８５を駆動する（ステップＳ３２０）。
【００２１】
続いて、撮像した画像から、食品の部分を抽出できたか否かを判定する（ステップＳ３３０）。具体的には、赤外吸収スペクトルを利用して食品と食器（箸やスプーン等）とを区別し、可視光画像を用いて食品とユーザーとしての人体とを区別することにより、食品としての画像部位を抽出する処理を行う。そして、抽出する処理によって、食品としての画像部位が抽出されたか否かを判定する。
【００２２】
摂取熱量推定処理の開始直後は、通常、食事が開始されていないので食品は抽出できず（ステップＳ３３０，ＮＯ）、続いて、口元において食品の熱量が減ったかを判定する（ステップＳ３８０）。未だ食品が抽出されていない段階であれば、当然、減っていないと判定することになるので（ステップＳ３８０，ＮＯ）、この場合、後述するステップＳ３９５（ＮＯ）を経て、ステップＳ３１５に戻る。ステップＳ３８０については、後で再度説明する。
【００２３】
その後、ユーザーが食事を開始して食品を口元に運ぶと（図４（Ａ）参照）、上記手法によって可視光画像から食品の部分を抽出する（ステップＳ３３０，ＹＥＳ）（図４（Ｂ）参照）。続いて、食品の質量を求める（ステップＳ３５０）。具体的には、スプーン等の食器に組み込んだ圧電素子の出力に基づいて推定する。その出力は、無線で取得する。
【００２４】
次に、赤外吸収スペクトルから食品の質量当たりの熱量（ｃａｌ／ｇ）を推定する（ステップＳ３６０）。具体的な方法としては、既知のもの（例えば、特開２００５−６７７３８に開示された手法）を用いればよい。この方法の概要は、食品における糖質・脂質・たんぱく質などの含有率を赤外吸収スペクトルに基づき推定し、さらに、その推定結果に基づき熱量を推定するというものである。本実施形態においては、可視光画像により抽出した食品の部位内において平均を取った赤外吸収スペクトルに基づいて、その食品の質量当たりの熱量を推定する。
【００２５】
続いて、推定した食品の質量と、質量当たりの熱量との積を、その食品の熱量として算出する（ステップＳ３７０）。次に、前回実行したステップＳ３７０の結果と比べて、口元において食品の熱量が減ったか否かを判定する（ステップＳ３８０）。すなわち、ユーザーの口元を撮像した、時系列における後の画像から推定された食品の熱量が、時系列における前の画像から推定された食品の熱量よりも少ないか否かを判定する。この判定ステップは、食品がユーザーの口腔内に運ばれたか否かを判定するためのものであり、食品が撮像範囲外に移動することで熱量が減った場合は、熱量が減ったとは判定しない。また、熱量の減少分が測定誤差範囲内である場合や、前回実行したステップＳ３７０の情報がない場合（例えば、摂取熱量推定処理を開始してから１回目のステップＳ３８０を実行する場合）も、熱量が減っていないと判定する。
【００２６】
熱量が減ったと判定すると（ステップＳ３８０，ＹＥＳ）（図４（Ｃ）（Ｄ）参照）、その熱量を摂取熱量として、現在の食事についての総摂取熱量に加算し（ステップＳ３９０）、開始／終了ボタン１９５が押されたかを判定する（ステップＳ３９５）。また、熱量が減っていないと判定すると（ステップＳ３８０，ＮＯ）、ステップＳ３９０を飛ばしてステップＳ３９５に進み、開始／終了ボタン１９５が押されたかを判定する。
【００２７】
開始／終了ボタン１９５が押されていないと判定すると（ステップＳ３９５，ＮＯ）、ステップＳ３１５に戻ってステップＳ３９０までの処理を再度実行する。ステップＳ３１５からステップＳ３９０を繰り返すことで、時系列でユーザーの口元が撮像され、撮像された画像から食品が抽出された場合には食品の熱量が推定される。一方、開始／終了ボタン１９５が押されたと判定すると（ステップＳ３９５，ＹＥＳ）、摂取熱量推定処理を終える。
【００２８】
以上に説明した処理を実行すると、口元に運んだ食品の一部が口腔内へ運ばれた場合は、直後のステップＳ３３０でＹＥＳと判定し、直後に推定する熱量と、直前に推定した熱量との差が摂取熱量として計上されることになる（図４の場合）。一方、口元に運んだ食品の全部が口腔内に運ばれた場合は、直後のステップＳ３３０でＮＯと判定し、直前に推定された熱量全部が摂取熱量として計上されることになる。
【００２９】
図５に、摂取熱量推定処理の終了後に記憶装置１５０に記憶されるデータ構造を模式的に示す。図に示すように、各食事において推定された摂取熱量が、日付および朝昼夜に対応づけられて記憶されている。また、上記データは、システム制御部１１０が記憶装置１５０から通信部１９７を通じて外部装置に入力できるようになっており、図に示すように、外部装置によるグラフ表示ができる。
【００３０】
以上に説明したように、摂取熱量推定装置１０によれば、ユーザーの口元を撮像した画像に基づいて、ユーザーの口腔内へ運ばれた食品を検出して摂取熱量を推定しているので、ユーザーによる入力作業を必要とせず、簡単かつ正確に摂取熱量を推定できる。また、ユーザーの口の追跡、食品の抽出および質量当たりの熱量の推定を、可視光画像および近赤外領域の赤外吸収スペクトルを利用して行うことにより、摂取熱量の推定をより正確に実行することができる。さらに、予め外乱光の補正を行うので、周囲の明るさによらず、正確に赤外吸収スペクトルが測定でき、ひいては正確に熱量の推定ができる。
【００３１】
［３．実施形態と適用例との対応関係］
ステップＳ３８０が検出部を、ステップＳ３６０が分量推定部を、ステップＳ３７０が分量当たり熱量推定部を、ステップＳ３７５が摂取熱量推定部を各々実現するためのソフトウェアに相当する。また、適用例７の摂取熱量推定用テータ出力装置は、下記他の実施形態の一つに相当する。
【００３２】
［４．他の実施形態］
本発明は、先述した実施形態になんら限定されるものではなく、発明の技術的範囲内における種々の形態により実施できる。例えば、実施形態の構成要素の中で付加的なものは、実施形態から省略できる。ここで言う付加的な構成要素とは、実質的に独立している適用例においては特定されていない事項に対応する要素のことである。また、例えば、以下のような実施形態が考えられる。
【００３３】
・図６に示された摂取熱量推定装置２０のように、ユーザーが装着するタイプでなく、据え置き型としてもよい。摂取熱量推定装置２０によれば、装着する手間を省くことができ、また、さほど小型化が要求されないので設計の自由度が上がる。
・推定した摂取熱量を、自装置で記憶せず、外部装置（汎用のコンピューター等）に入力するようにしてもよい。
・推定した質量と質量当たりの熱量とを外部装置に入力して、外部装置に熱量を推定させてもよい（適用例７に相当）。
・制御部と撮像部とを別体にすると共に、互いに無線通信可能に構成してもよい。このようにすれば、ユーザーが装着する装置を小さくでき、また、制御部は、汎用のコンピューターにソフトウェアを組み込むことで構成できる。なお、上記のように無線通信可能に構成するために、撮像部にもバッテリー及び制御部との通信のための通信部を搭載するとよい。
【００３４】
・食品の質量推定用のスプーンに、そのスプーンに開始／終了ボタンを組み込んで、その開始／終了ボタンによって摂取熱量推定処理の開始および終了のトリガーとしてもよい。
・赤外吸収スペクトルから食品の密度を推定し、その密度と、可視光画像から推定した体積との積を、質量の推定値としてもよい。なお、赤外吸収スペクトルと密度との関係は、予め種々の食品についてサンプルデータを求めておくと共に、記憶装置１５０に記憶させておいてもよい。また、密度の推定に用いる赤外吸収スペクトルは、可視光画像により抽出した食品の部位内において平均を取ったものとしてもよい。
・食品の質量を求める際にする密度の推定は、食品の種類に基づいて行ってもよい。具体的には、可視光画像と予め記憶した食品画像とのマッチングに基づいて、食品の種類を推定し、その食品の密度として予め記憶したものを質量推定に用いればよい。
・一口によって摂取される食品の質量を一定と見なしてもよい。このようにすれば、質量を推定する必要がなくなる。
・赤外吸収スペクトルによって体積当たりの熱量を推定する場合は、質量を求める処理を省いて、体積と体積当たりの熱量とに基づいて食品の熱量を推定すればよい。
・食品が摂取されたか否かを、実施形態とは異なり、食品の熱量の変化ではなく体積の変化に基づいて推定してもよい。
【００３５】
・外乱光の測定は、赤外吸収スペクトルを測定する度に行ってもよい。このようにすれば、外乱光補正をより正確に実行できる。
・分光分析の結果を取得するために、可視光や中赤外領域の吸収スペクトルを用いてもよい。可視光を用いると、可視光画像と波長領域を共通にできる。また、中赤外を用いると、食品成分をより詳細に分析でき、熱量推定の精度が向上すると考えられる。
・分光分析をするために、エタロンを使用する代わりに、光源から照射される光の波長を切り替えるようにしてもよい。つまり、異なるピークを持つ光源を複数備えておき、それら光源から順次、光を発射するようにすればよい。照射した光の波長が分かれば、赤外吸収スペクトルを求めることができる。
・可視光画像と赤外吸収スペクトルとで取得するための光の経路を別々にすることで、可視光画像を分光しないようにしてもよい。
・食品の検出は、可視光画像を用いず、赤外領域の画像のみで行ってもよい。
【符号の説明】
【００３６】
１０…摂取熱量推定装置
２０…摂取熱量推定装置
５０…装着部
１００…制御部
１１０…システム制御部
１２０…ＡＤ変換器
１３０…ゲイン処理部
１４０…計算処理部
１５０…記憶装置
１６０…受光素子制御部
１７０…光量調整器制御部
１８０…光源制御部
１８５…モーター制御部
１９０…エタロン制御部
１９５…開始／終了ボタン
２００…撮像部
２１０…レンズ
２６０…受光素子
２７０…光量調整器
２８０…光源
２８５…モーター
２９０…エタロン
【特許請求の範囲】
【請求項１】
ユーザーの口元を時系列で撮像することによって取得した画像に基づいて、前記ユーザーの口腔内へ運ばれた食品を検出する検出部と、
前記検出部によって検出された食品の単位分量当たりの熱量を、該食品を対象とした分光分析の結果に基づいて推定する分量当たり熱量推定部と、
前記検出部によって検出された食品の分量を推定する分量推定部と、
前記分量当たり熱量推定部と前記分量推定部との推定結果に基づいて、前記ユーザーの口腔内へ運ばれた食品の熱量を推定する摂取熱量推定部と
を備える摂取熱量推定装置。
【請求項２】
請求項１に記載の摂取熱量推定装置であって、
前記検出部は、少なくとも赤外領域によって撮像された画像から取得できる分光分析の結果と可視光領域によって撮像された画像から取得できる可視光画像とに基づいて、前記食品を検出する
摂取熱量推定装置。
【請求項３】
請求項１又は２に記載の摂取熱量推定装置であって、
前記検出部は、前記時系列で撮像された複数の画像それぞれから食品の検出を試みて、時系列における後の画像から推定された食品の熱量が、時系列における前の画像から推定された食品の熱量よりも少ない場合に、該食品を前記ユーザーの口腔内へ運ばれた食品として検出する
摂取熱量推定装置。
【請求項４】
請求項１〜３の何れか一つに記載の摂取熱量推定装置であって、
前記分量当たり熱量推定部は、予め取得された外乱光によるノイズを、前記分光分析の結果から除去したものに基づいて、前記食品の単位分量当たりの熱量を推定する
摂取熱量推定装置。
【請求項５】
請求項１〜４の何れか一つに記載の摂取熱量推定装置であって、
前記分量推定部は、前記検出部によって検出された食品を撮像して取得できる画像に基づいて、該食品の分量を推定する
摂取熱量推定装置。
【請求項６】
ユーザーの口元を時系列で撮像することによって取得した画像に基づいて、前記ユーザーの口腔内へ運ばれた食品を検出し、
該検出した食品の分量を推定した結果と、単位分量当たりの熱量を該食品を対象とした分光分析の結果に基づいて推定した結果とに基づいて前記ユーザーの口腔内へ運ばれた食品の熱量を推定する
摂取熱量推定方法。
【請求項７】
ユーザーの口元を時系列で撮像することによって取得できる画像に基づいて、前記ユーザーの口腔内へ運ばれた食品を検出する検出部と、
前記検出部によって検出された食品の単位分量当たりの熱量を、該食品を対象とした分光分析の結果に基づいて推定する分量当たり熱量推定部と、
前記検出部によって検出された食品の分量を推定する分量推定部と、
前記分量当たり熱量推定部と前記分量推定部との推定結果を外部に出力する出力部と
を備える摂取熱量推定用データ出力装置。
【請求項１】
ユーザーの口元を時系列で撮像することによって取得した画像に基づいて、前記ユーザーの口腔内へ運ばれた食品を検出する検出部と、
前記検出部によって検出された食品の単位分量当たりの熱量を、該食品を対象とした分光分析の結果に基づいて推定する分量当たり熱量推定部と、
前記検出部によって検出された食品の分量を推定する分量推定部と、
前記分量当たり熱量推定部と前記分量推定部との推定結果に基づいて、前記ユーザーの口腔内へ運ばれた食品の熱量を推定する摂取熱量推定部と
を備える摂取熱量推定装置。
【請求項２】
請求項１に記載の摂取熱量推定装置であって、
前記検出部は、少なくとも赤外領域によって撮像された画像から取得できる分光分析の結果と可視光領域によって撮像された画像から取得できる可視光画像とに基づいて、前記食品を検出する
摂取熱量推定装置。
【請求項３】
請求項１又は２に記載の摂取熱量推定装置であって、
前記検出部は、前記時系列で撮像された複数の画像それぞれから食品の検出を試みて、時系列における後の画像から推定された食品の熱量が、時系列における前の画像から推定された食品の熱量よりも少ない場合に、該食品を前記ユーザーの口腔内へ運ばれた食品として検出する
摂取熱量推定装置。
【請求項４】
請求項１〜３の何れか一つに記載の摂取熱量推定装置であって、
前記分量当たり熱量推定部は、予め取得された外乱光によるノイズを、前記分光分析の結果から除去したものに基づいて、前記食品の単位分量当たりの熱量を推定する
摂取熱量推定装置。
【請求項５】
請求項１〜４の何れか一つに記載の摂取熱量推定装置であって、
前記分量推定部は、前記検出部によって検出された食品を撮像して取得できる画像に基づいて、該食品の分量を推定する
摂取熱量推定装置。
【請求項６】
ユーザーの口元を時系列で撮像することによって取得した画像に基づいて、前記ユーザーの口腔内へ運ばれた食品を検出し、
該検出した食品の分量を推定した結果と、単位分量当たりの熱量を該食品を対象とした分光分析の結果に基づいて推定した結果とに基づいて前記ユーザーの口腔内へ運ばれた食品の熱量を推定する
摂取熱量推定方法。
【請求項７】
ユーザーの口元を時系列で撮像することによって取得できる画像に基づいて、前記ユーザーの口腔内へ運ばれた食品を検出する検出部と、
前記検出部によって検出された食品の単位分量当たりの熱量を、該食品を対象とした分光分析の結果に基づいて推定する分量当たり熱量推定部と、
前記検出部によって検出された食品の分量を推定する分量推定部と、
前記分量当たり熱量推定部と前記分量推定部との推定結果を外部に出力する出力部と
を備える摂取熱量推定用データ出力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−３６９０７（Ｐ２０１３−３６９０７Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７４３２１（Ｐ２０１１−１７４３２１）
【出願日】平成２３年８月９日（２０１１．８．９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月９日（２０１１．８．９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]