摂取熱量推定装置、摂取熱量推定方法および摂取熱量推定用データ出力装置
【課題】簡単かつ正確に摂取熱量を推定できるようにすること。
【解決手段】食前画像、すなわち食前の熱量が推定された食品の中で、食後の熱量が推定されていないものを撮像した画像を表示し、ユーザーに何れか一つを選択させる（ステップＳ３８１）。何れか一つの画像の選択を受けると、「食事量入力」と「食後撮像」とのアイコンを表示し、「食後撮像」がユーザーに選択されると（ステップＳ３８２，「食後撮像」）、食後の食品の熱量を推定する（ステップＳ３８３）。続いて、ステップＳ３８１において選択された食品について予め推定した食前の熱量から、ステップＳ３８３において推定した熱量を引くことで、ステップＳ３８１において選択された食品についての摂取熱量を算出する（ステップＳ３８６）。
【解決手段】食前画像、すなわち食前の熱量が推定された食品の中で、食後の熱量が推定されていないものを撮像した画像を表示し、ユーザーに何れか一つを選択させる（ステップＳ３８１）。何れか一つの画像の選択を受けると、「食事量入力」と「食後撮像」とのアイコンを表示し、「食後撮像」がユーザーに選択されると（ステップＳ３８２，「食後撮像」）、食後の食品の熱量を推定する（ステップＳ３８３）。続いて、ステップＳ３８１において選択された食品について予め推定した食前の熱量から、ステップＳ３８３において推定した熱量を引くことで、ステップＳ３８１において選択された食品についての摂取熱量を算出する（ステップＳ３８６）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーによって摂取される食品の熱量を推定する技術に関する。
【背景技術】
【０００２】
食事に関する情報を記録したり管理したりするために、例えば特許文献１は、食品の情報をその食品が盛られた皿に予め付与された情報から取得する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１９８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術には、摂取熱量の推定が簡単かつ正確とは言えないという課題があった。本発明は、上記の課題を解決するためにされたものであり、簡単かつ正確に摂取熱量を推定できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］
ユーザーが摂取する前に食品の熱量を推定する食前熱量推定部と、
分光分析の結果に基づいて前記ユーザーが摂取した後に前記食品の熱量を推定する食後熱量推定部と、
前記ユーザーが摂取する前の熱量と前記ユーザーが摂取した後の熱量との差を取ることで、前記ユーザーによる摂取熱量を推定する摂取熱量推定部と
を備える摂取熱量推定装置。
この適用例によれば、ユーザーが摂取する前に推定した食品の熱量と、ユーザーが摂取した後に推定した食品の熱量とに基づいて、ユーザーによる摂取熱量が推定される。また、ユーザーに面倒な入力作業等を要求しないので、簡単かつ正確に摂取熱量を推定できる。なお「食品」とは、食べ物および飲み物を含む。また「分光分析」とは、照射された光の各波長に対する吸光度を示す情報の分析である。さらに、食品の食前の熱量を推定する手法は種々考えられ、例えば、分光分析を用いてもよいし、従来のように食品が盛られた皿から取得してもよい。
【０００７】
［適用例２］
適用例１に記載の摂取熱量推定装置であって、
前記食後熱量推定部は、前記ユーザーからの指示を契機に、前記ユーザーが摂取した後に前記食品の熱量を推定し、
前記食前熱量推定部によって熱量が推定された食品の中に、前記食後熱量推定部によって熱量が推定されていない食品がある場合、前記食後熱量推定部によって熱量が推定されていない旨を前記ユーザーに通知する未推定状態通知部
を備える摂取熱量推定装置。
この適用例によれば、ユーザーに、熱量が推定されていない食品がある旨を通知することで、例えば、ユーザーによる食後熱量推定部への指示を促すことができる。
【０００８】
［適用例３］
適用例２に記載の摂取熱量推定装置であって、
前記食前熱量推定部によって熱量が推定された食品の中に、前記食後熱量推定部によって熱量が推定されていない食品がある場合、何れの食品が熱量の推定をされていないかを前記ユーザーに通知する未推定食品通知部を備える
摂取熱量推定装置。
この適用例によれば、熱量が推定されていない食品が何れであるかをユーザーに通知できる。
【０００９】
［適用例４］
適用例３に記載の摂取熱量推定装置であって、
前記未推定状態通知部は、前記食後熱量推定部によって熱量が推定されていない旨を画面に表示することによって前記ユーザーに通知する
摂取熱量推定装置。
この適用例によれば、熱量が推定されていない食品がある旨をユーザーに分かりやすく通知できる。
【００１０】
［適用例５］
適用例４に記載の摂取熱量推定装置であって、
前記未推定状態通知部は、前記画面を介して、前記未推定食品通知部の起動の指示を受けるインターフェースを備える
摂取熱量推定装置。
この適用例によれば、熱量が推定されていない食品がある旨を通知すると共に、ユーザーから未推定食品通知部の起動の指示を受けることができる。
【００１１】
［適用例６］
適用例３〜５の何れか一つに記載の摂取熱量推定装置であって、
前記ユーザーが摂取する前に前記食品の画像である食前画像を撮像する食前撮像部をさらに備え、
前記未推定食品通知部は、前記食後熱量推定部によって熱量が推定されていない食品の通知として、前記ユーザーが摂取する前において撮像された前記食品の食前画像を表示する
摂取熱量推定装置。
この適用例によれば、食後の熱量が推定されていない食品が何れであるかを、ユーザーに分かりやすく通知できる。
【００１２】
［適用例７］
適用例６に記載の摂取熱量推定装置であって、
前記未推定食品通知部は、前記表示した画像から何れか一つを前記ユーザーに選択させるインターフェースを備え、
前記摂取熱量推定部は、前記選択された画像に含まれる食品について前記食前熱量推定部によって推定された熱量と、前記食後熱量推定部によって推定された熱量との差を取ることで、前記ユーザーによる摂取熱量を推定する
摂取熱量推定装置。
この適用例によれば、食前と食後との食品の照合を、ユーザーの確認に基づいて行うので、摂取熱量の推定をより正確に実行できる。
【００１３】
［適用例８］
適用例７に記載の摂取熱量推定装置であって、
前記ユーザーが摂取した後に前記食品の画像である食後画像を撮像する食後撮像部と、
前記画像の選択後、前記食後画像の撮像を行う操作を前記ユーザーに催促する催促部とを備え、
前記食後熱量推定部は、前記ユーザーによる操作に従って撮像された前記食後画像に含まれる食品を対象とした分光分析の結果に基づいて、前記ユーザーが摂取した後に当該食品の熱量を推定する
摂取熱量推定装置。
この適用例によれば、食後の熱量を推定するための操作をユーザーに催促できる。したがって、例えば、ユーザーが食後熱量推定部への指示を忘れることを防止できるので、より確実に摂取熱量を推定できる。
【００１４】
［適用例９］
適用例８に記載の摂取熱量推定装置であって、
前記食後画像の撮像を行うユーザーによる操作が、前記食後熱量推定部の動作の契機となる前記ユーザーの指示である
摂取熱量推定装置。
この適用例によれば、食後画像の撮像を行うユーザーによる操作が行われると、食後の熱量が推定される。したがって、例えば、ユーザーが撮像とは別に食後熱量推定部の動作の契機となる指示を行う必要が無いので、確実に摂取熱量を推定できる。
【００１５】
［適用例１０］
適用例８又は９に記載の摂取熱量推定装置であって、
前記ユーザーが摂取する前に撮像された前記食品の食前画像が前記未推定食品通知部を介して選択された後、前記ユーザーが摂取した後に行う該食品の熱量推定を前記食後熱量推定部による推定結果に基づいて実行するのか、前記ユーザーによって入力される食べ残し量に基づいて実行するのかを、前記ユーザーに選択させる選択部を備え、
前記催促部は、前記食後熱量推定部による推定結果が前記選択部を介して選択された場合に前記催促をし、
前記摂取熱量推定部は、前記食べ残し量が前記選択部を介して選択された場合は、前記食べ残し量に基づいて摂取熱量を推定する
摂取熱量推定装置。
この適用例によれば、ユーザーによって食品の食後が撮像されなかった場合にも、ユーザーによって入力される食べ残し量に基づいて、摂取熱量を推定できる。
【００１６】
［適用例１１］
適用例６〜１０の何れか一つに記載の摂取熱量推定装置であって、
前記食前熱量推定部は、前記食前画像を対象とした分光分析の結果に基づいて、前記ユーザーが摂取する前の前記食品の熱量を推定し、
前記未推定食品通知部は、前記食前画像を表示する
摂取熱量推定装置。
この適用例によれば、食後熱量推定部と同じ手法によって熱量を推定するので推定方法の違いによる誤差が出にくく、食前の撮像が分光分析と画像表示とのために行われるのでユーザーの負担が軽減する。
【００１７】
［適用例１２］
ユーザーが摂取する前に食品の熱量を推定することと、
分光分析の結果に基づいて前記ユーザーが摂取した後に前記食品の熱量を推定することと、
前記ユーザーが摂取する前の熱量と前記ユーザーが摂取した後の熱量との差を取ることで、前記ユーザーによる摂取熱量を推定することと、を含む
摂取熱量推定方法。
【００１８】
［適用例１３］
ユーザーが摂取する前に食品の熱量を推定する食前熱量推定部と、
分光分析の結果に基づいて前記ユーザーが摂取した後に前記食品の熱量を推定する食後熱量推定部と、
前記ユーザーが摂取する前の熱量と前記ユーザーが摂取した後の熱量とを外部に出力する出力部と
を備える摂取熱量推定用データ出力装置。
この適用例によれば、ユーザーが摂取する前に推定した食品の熱量と、ユーザーが摂取した後に推定した食品の熱量とを、外部に出力することができる。また、ユーザーに面倒な入力作業等を要求しないので、簡単かつ正確にユーザーによる摂取熱量を外部装置に推定させることができる。
【図面の簡単な説明】
【００１９】
【図１】実施形態による処理の概要を示した概念図。
【図２】摂取熱量推定装置１０の概略構成を示したブロック図。
【図３】摂取熱量推定処理を示したフローチャート。
【図４】食品熱量推定処理を示したフローチャート。
【図５】食後処理を示すフローチャート。
【図６】表示部１９１に表示される画像を示した図。
【発明を実施するための形態】
【００２０】
本発明が適用された実施形態を図面と共に説明する。図１は、本実施形態による処理の概要を示した概念図である。図に示すように、摂取熱量推定装置１０は、デジタルカメラのような外観を持ち、手にとって容易に撮像操作ができる形状に構成されている。この摂取熱量推定装置１０によって食前と食後において食品を撮像し、その撮像された食品の画像から食前・食後の熱量を推定する。そして、その推定した食前の熱量（ユーザーが摂取する前の熱量）と、食後の熱量（ユーザーが摂取した後の熱量）の差を取ることで、ユーザーの摂取熱量の推定値とし、その推定値を記憶装置１５０に記憶する。なお、食品が全て食べられた場合は、食後においてその食品を撮像することはできず、その食品が盛られていた食器等を撮像することになるが、この場合の撮像も本実施形態では「食品の食後の撮像」とする。以下、摂取熱量推定装置１０の詳細を説明する。
【００２１】
［１．ハードウェア構成（図２）］
図２は、摂取熱量推定装置１０の概略構成を示したブロック図である。摂取熱量推定装置１０は、図に示すように、外部に可視光〜近赤外領域の光を発射する光源２８０、外部からの光の光量を調整する光量調整器２７０、光量調整器２７０によって光量が調整された光を結像させるために屈折させるレンズ２１０、レンズ２１０からの光について透過させる波長の範囲を選択するエタロン２９０（ファブリペロー型フィルター）、エタロン２９０を透過した波長成分の光を受光し、受光位置毎に受光強度を示すアナログ信号を出力する受光素子２６０、受光素子２６０からのアナログ信号をデジタル信号に変換するＡＤ変換器１２０を備える。
【００２２】
さらに摂取熱量推定装置１０は、受光素子２６０からのデジタル信号の入力を受け、また、以下の構成要素を統括制御するシステム制御部１１０、ＡＤ変換器１２０から入力された信号のゲインを調整するゲイン処理部１３０、計算を実行する計算処理部１４０、データを記憶する記憶装置１５０、光源２８０の照射を制御する光源制御部１８０、光量調整器２７０を制御する光量調整器制御部１７０、エタロン２９０による波長選択を制御するエタロン制御部１９０、受光素子２６０を制御する受光素子制御部１６０、後述する摂取熱量推定処理の開始および終了の指示入力を受けるインターフェースとして機能する開始／終了ボタン１９５、撮像のためのシャッターボタン１９３、画面を表示する表示部１９１、外部装置とのデータのやり取りをするインターフェースとして機能する通信部１９７、他の構成要素に電力を供給するバッテリー（図示なし）を備える。
【００２３】
以上に説明した構成によって撮像対象を撮像すると、可視光画像に加えて、撮像範囲の分光分析の結果として、近赤外領域の赤外吸収スペクトルを取得できる。この可視光画像と赤外吸収スペクトルとを利用した摂取熱量推定処理を次から説明する。
【００２４】
図３は、摂取熱量推定処理を示したフローチャートである。この処理は、開始／終了ボタン１９５が押されたことを契機に、システム制御部１１０が主体となって実行する処理である。また、図４は摂取熱量推定処理の一部としての食品熱量推定処理を示すフローチャート、図５は摂取熱量推定処理の一部としての食後処理を示すフローチャート、図６（Ａ）〜（Ｇ）は摂取熱量推定処理において表示部１９１に表示される画面を示した図である。
【００２５】
［２．摂取熱量推定処理（図３）］
摂取熱量推定処理を開始すると、食前の熱量を推定した食品の中で、食後の熱量を推定していないものが有るか否かを判定する（ステップＳ３１０）。なお、食前・食後の熱量の推定は、後述する処理において行われる。
【００２６】
摂取熱量推定処理の開始直後で、食前の熱量の推定をまだ行っていなければ、食後の熱量を推定していないものは無いので（ステップＳ３１０，ＮＯ）、この場合、基本画面を表示部１９１に表示する（ステップＳ３２０）。基本画面とは「メニュー」「食事撮像」「終了」の各アイコンを表示する画面である。これらアイコンは、グラフィカル・ユーザー・インターフェースとして機能し、ユーザーが何れか一つを選択できる。図６（Ａ）は、この基本画面の各アイコンに加え、「食前画像」のアイコン（詳細後述）を表示した画面を示す。
【００２７】
上記のように基本画面を表示した後、この基本画面の各アイコンの何れかが選択されるまで待機し、ユーザーからの指示を待つ（ステップＳ３４０）。ユーザーからの指示が食事撮像だった場合（ステップＳ３４０，食事撮像）、食品熱量推定処理を実行する（ステップＳ３５０）。
【００２８】
［２−Ａ．食品熱量推定処理（図４）］
食品熱量推定処理を開始すると、撮像モードに移行する（ステップＳ３５２）。撮像モードとは、撮像対象を撮像するための操作をユーザーに行わせる状態のことである。具体的には、ＡＤ変換器１２０を介して取得した波長毎の画像から可視光領域のものを重ね合わせて形成する可視光画像を表示部１９１に表示する（図６（Ｂ）参照）。ユーザーには、撮像対象とすべき食品の何れか一種類が表示部１９１に表示されている状態においてシャッターボタン１９３を押すように、取扱説明書等によって予め説明しておく。
【００２９】
上記待機中にシャッターボタン１９３が押されたら、光源２８０から光を撮像対象に照射せずに、受光素子２６０が受光する光の波長をエタロン２９０によって切り替えることによって、波長毎の画像を撮像する（ステップＳ３５４）。続いて、光源２８０から光を撮像対象に照射しながら、受光素子２６０が受光する光の波長をエタロン２９０によって切り替えることによって、波長毎の画像を撮像する（ステップＳ３５６）。
【００３０】
続いて、撮像した画像から、食品の部分を抽出する（ステップＳ３５８）。具体的には、赤外吸収スペクトル及び可視光画像を利用して食品と食器（箸やスプーン等）とを区別し、食品としての画像部位を抽出する。赤外吸収スペクトルは、光源２８０から発射される光の波長毎の強度およびステップＳ３５６において取得した波長毎の強度の比較、並びにステップＳ３５４において取得した波長毎の強度に基づく外乱光補正によって、取得する。
【００３１】
続いて、食品の質量を求める（ステップＳ３６２）。具体的には、一般的な秤によって皿ごと重量を計測する。皿の重量は、後のステップにおいてその影響を相殺するので、計測結果に含めても問題ない。
【００３２】
次に、赤外吸収スペクトルから食品の質量当たりの熱量（ｃａｌ／ｇ）を推定する（ステップＳ３６４）。具体的な方法としては、既知のもの（例えば、特開２００５−６７７３８に開示された手法）を用いればよい。この方法の概要は、食品における糖質・脂質・たんぱく質などの含有率を赤外吸収スペクトルに基づき推定し、さらに、その推定結果に基づき熱量を推定するというものである。本実施形態においては、可視光画像により抽出した食品の部位内において平均を取った赤外吸収スペクトルに基づいて、その食品の質量当たりの熱量を推定する。
【００３３】
続いて、推定した食品の質量と、質量当たりの熱量との積を、その食品の熱量として算出し（ステップＳ３６６）、食品熱量推定処理を終えて摂取熱量推定処理に戻る。
【００３４】
続いて、ステップＳ３５６で撮像した画像（光源２８０による照射有りの場合の撮像による画像）に基づく可視光画像と、上記推定した熱量とを関連づけると共に食前のものとして記憶装置１５０に記憶し（ステップＳ３７０）、ステップＳ３１０に戻る。
【００３５】
上記のように食品の食前の熱量を推定した直後は、その食品の食後の熱量を推定していないので（ステップＳ３１０，ＹＥＳ）、基本画面の各アイコンに加えて、食前画像アイコンを表示部１９１に表示し（ステップＳ３３０）（図６（Ａ）参照）、ユーザーからの指示を待つ（ステップＳ３４０）。ユーザーには、食前の食品が複数種類ある場合、各種類の食品を対象にしてステップＳ３５０とステップＳ３７０とが実行されるように、ステップＳ３４０における指示、及びステップＳ３５２におけるシャッターボタン１９３の押下を行うよう予め説明しておく。
【００３６】
全種類の食前の食品を対象にしてステップＳ３５０とステップＳ３７０とが実行されると、ステップＳ３４０における指示待ちの状態になるが、ユーザーは食事を開始するので、その状態で暫く待機することになる。ユーザーには、食事を終えたと判断したら、ステップＳ３４０において「食前画像」を選択するように予め説明しておく。ステップＳ３４０において「食前画像」が選択されたら、食後処理を実行する（ステップＳ３８０）。
【００３７】
［２−Ｂ．食後処理（図５）］
食後処理を開始すると、食前画像、すなわち食前の熱量が推定された食品の中で、食後の熱量が推定されていないものを撮像した画像を表示部１９１に表示し（図６（Ｃ）参照）、ユーザーに何れか一つを選択させる（ステップＳ３８１）。ユーザーには、直前の食事において食べた食品に対応する食前の画像を選択するように予め説明しておく。
【００３８】
何れか一つの画像の選択を受けると、「食事量入力」と「食後撮像」とのアイコンを表示部１９１に表示し（図６（Ｄ）参照）、何れかをユーザーに選択させる（ステップＳ３８２）。
【００３９】
ステップＳ３８２において食後撮像が選択されると、既に説明した食品熱量推定処理を食後の食品を対象にして実行する（ステップＳ３８３）。続いて、ステップＳ３８２において選択された食品の食前のものとして記憶装置１５０に記憶した熱量から、ステップＳ３８３において推定した熱量を引くことで、ステップＳ３８１において選択された食品についての摂取熱量を算出する（ステップＳ３８６）。さらに、その算出した摂取熱量その他データ（食前の画像、食事の日付、食事が朝昼夜の何れであるかなど）を記憶装置１５０に記憶する（ステップＳ３８７）。
【００４０】
次に、食前の熱量を推定した食品の中で、食後の熱量を推定していないものが有るか否かを判定する（ステップＳ３８８）。食後の熱量を推定していないものが無ければ（ステップＳ３８８，ＮＯ）、食後処理を終えてステップＳ３１０に戻る。
【００４１】
一方、食後の熱量を推定していないものが有れば（ステップＳ３８８，ＹＥＳ）、表示部１９１を介して食後処理の終了指示が入力されたか否かを判定する（ステップＳ３８９）。終了指示が入力されていなければ（ステップＳ３８９，ＮＯ）、ステップＳ３８１に戻って、食後の熱量を推定していない食品について熱量の推定を実行する。この際、既に食後の熱量が推定された食品の画像は、ステップＳ３８１において表示されなくなる（図６（Ｇ）参照）。
【００４２】
一方、ステップＳ３８２において「食事量入力」が選択されたら、ステップＳ３８１において選択された食品の食べた割合を入力させるための画面を表示部１９１に表示し（図６（Ｆ）参照）、その割合の入力を受ける（ステップＳ３８５）。このようにして食べた割合の入力がされた場合は、ステップＳ３８６においてその割合に基づいて摂取熱量を推定する。
【００４３】
一方、終了指示が入力されたら（ステップＳ３８９，ＹＥＳ）、食後処理を終えて摂取熱量推定処理のステップＳ３１０に戻る。
【００４４】
一方、ステップＳ３４０において「メニュー」が選択されたら、「メニュー」用のアイコン（「摂取熱量の表示」「食前の画像の削除」「食べた食品名の入力」「基本画面に戻る」など）を表示部１９１に表示し（ステップＳ３９０）、「基本画面に戻る」が選択されない間は（ステップＳ３９５，ＮＯ）、ユーザーによって選択されたアイコンに従って動作を行う。「基本画面に戻る」が選択されたら（ステップＳ３９５，ＹＥＳ）、ステップＳ３１０を経て、ステップＳ３４０に進み基本画面を表示部１９１に表示する。一方、ステップＳ３４０において「終了」が選択されたら、摂取熱量推定処理を終える。
【００４５】
このように、摂取熱量推定処理を実行することで記憶装置１５０に記憶されたデータは、表示部１９１に表示することができる（図１参照）。具体的には、図１に示すように、各食事において推定された総摂取熱量を、日付および朝昼夜毎に整理した表やグラフとして表示できる。また、記憶装置１５０に記憶されたデータを通信部１９７経由で外部装置に入力することで、このような表示を外部装置に実行させることもできる。
【００４６】
以上に述べたように、摂取熱量推定装置１０によれば、食前と食後における食品の赤外吸収スペクトルに基づいて摂取熱量を推定するので、摂取熱量の推定を簡単かつ正確に実行できる。さらに、赤外吸収スペクトルを取得するための撮像によって得られる可視光画像をインターフェースに利用しているので、ユーザーの行う操作が分かりやすくなっている。
【００４７】
また、食後の熱量を推定していないものが有る場合にのみ、「食前画像」アイコンを表示するので、食後の熱量を推定していないものが有ることをユーザーに通知すると共に、食後処理を開始するための操作を促すことができる。さらに、食後処理において「食後撮像」が選択されると撮像モードに移行することによって、ユーザーに食後の熱量推定のための撮像を催促することができる。この他、食後の食品の撮像が実行されなかった場合でも、食べた割合に基づいて食後の熱量を推定できる。
【００４８】
［３．実施形態と適用例との対応関係］
ステップＳ３３０が未推定状態通知部を、ステップＳ３４０において「食事撮像」選択後の食品熱量推定処理におけるステップＳ３６６が食前熱量推定部を、食後処理の一部としての食品熱量推定処理におけるステップＳ３５２が催促部を、食後処理の一部としての食品熱量推定処理におけるステップＳ３６６が食後熱量推定部を、ステップＳ３８１が未推定食品通知部を、ステップＳ３８２が選択部を、ステップＳ３８６が摂取熱量推定部を各々実現するためのソフトウェアに対応する。また、下記他の実施形態の一つが、適用例１３に対応する。
【００４９】
［４．他の実施形態］
本発明は、先述した実施形態になんら限定されるものではなく、発明の技術的範囲内における種々の形態により実施できる。例えば、実施形態の構成要素の中で付加的なものは、実施形態から省略できる。ここで言う付加的な構成要素とは、実質的に独立している適用例においては特定されていない事項に対応する要素のことである。また、例えば、以下のような実施形態が考えられる。
【００５０】
・摂取熱量推定装置を、資料提示装置のような形状、つまり、食品を所定の位置に載せ、その位置に対して固定された撮像系によって撮像し、熱量を推定するように構成してもよい。このようにすれば、食前と食後でのアングル等に違いが出にくいので、より正確に摂取熱量を推定できる。
・摂取熱量推定装置を、電子レンジのような形状、つまり、食品を内部に収納する構造を備え、食品をこの構造によって収納した状態で撮像すると共に熱量を推定するように構成してもよい。このようにすれば、食前と食後において、アングル等に違いが出にくいのに加え、外乱光の差異が小さくなるので、より正確に摂取熱量を推定できる。
【００５１】
・摂取熱量推定装置の機能を複数の装置（例えば、サーバー及び端末装置）に分離させ、摂取熱量推定システムとして構成してもよい。
・サーバー及び端末装置による摂取熱量システムの場合、端末装置は、少なくとも撮像およびインターフェース機能（実施形態の場合、ステップＳ３１０〜３４０・３５２〜３５６・３８１・３８２・３８５・３８９・３９０を実現するための構成）を備えるのが好ましい。その他の機能は、端末装置が備えても、サーバーが備えても構わない。具体的には、次のような態様が考えられる。
・端末装置は、摂取熱量を推定し、その推定結果を無線通信によってサーバーに入力する。サーバーは、入力された摂取熱量の推定結果を記憶すると共に、要求に応じて端末に送信する。
・端末装置（適用例１３に相当）は、質量と質量当たりの熱量とを推定し、その推定結果を無線通信によってサーバーに入力する。サーバーは、入力された推定結果に基づいて摂取熱量を推定すると共に記憶し、その摂取熱量を要求に応じて端末に送信する。なお、端末装置による質量推定の方法は、秤を用いてもよいし、下記で述べるように、密度と体積とから推定してもよい。
・端末装置は、撮像を行い、撮像結果としての画像データを無線通信によってサーバーに入力する。サーバーは、入力された画像データに基づいて摂取熱量を推定すると共に記憶し、その摂取熱量を要求に応じて端末に送信する。
・端末装置としては、摂取熱量を推定するための専用機でもよいし、例えば、カメラ付きのスマートフォンやモバイルコンピューターなどの通信機器や、記録メディアによってデータを外部と授受できるデジタルカメラを利用してもよい。
【００５２】
・赤外吸収スペクトルから食品の密度を推定し、その密度と、可視光画像から推定した体積との積を、食品の質量の推定値としてもよい。なお、赤外吸収スペクトルと密度との関係は、予め種々の食品についてサンプルデータを求めておくと共に、記憶装置１５０に記憶させておく。また、密度の推定に用いる赤外吸収スペクトルは、可視光画像により抽出した食品の部位内において平均を取ったものとする。
・食品の質量を求める際にする密度の推定は、食品の種類に基づいて行ってもよい。具体的には、可視光画像と予め記憶した食品画像とのマッチングに基づいて、食品の種類を推定し、その食品の密度として予め記憶したものを質量推定に用いればよい。
・赤外吸収スペクトルによって体積当たりの熱量を推定する場合は、質量を求める処理を省いて、体積と体積当たりの熱量とに基づいて食品の熱量を推定すればよい。
【００５３】
・分光分析の結果を取得するために、可視光や中赤外領域の吸収スペクトルを用いてもよい。可視光を用いると、可視光画像と波長領域を共通にできる。また、中赤外を用いると、食品成分をより詳細に分析でき、熱量推定の精度が向上すると考えられる。
・分光分析をするために、エタロンを使用する代わりに、光源から照射される光の波長を切り替えるようにしてもよい。つまり、異なるピークを持つ光源を複数備えておき、それら光源から順次、光を発射するようにすればよい。照射した光の波長が分かれば、赤外吸収スペクトルを求めることができる。
・可視光画像と赤外吸収スペクトルとで取得するための光の経路を別々にすることで、可視光画像を分光しないようにしてもよい。
・食品の抽出は、可視光画像を用いず、赤外領域の画像のみで行ってもよい。
【００５４】
実施形態では、取扱説明書によってユーザーに操作の説明をしていたが、画面や音声で説明するようにしてもよい。なお、音声を用いる場合は、ハードウェア構成にスピーカーを追加するのが好ましい。
【符号の説明】
【００５５】
１０…摂取熱量推定装置
１１０…システム制御部
１２０…ＡＤ変換器
１３０…ゲイン処理部
１４０…計算処理部
１５０…記憶装置
１６０…受光素子制御部
１７０…光量調整器制御部
１８０…光源制御部
１９０…エタロン制御部
１９１…表示部
１９３…シャッターボタン
１９５…開始／終了ボタン
１９７…通信部
２１０…レンズ
２６０…受光素子
２７０…光量調整器
２８０…光源
２９０…エタロン
【技術分野】
【０００１】
本発明は、ユーザーによって摂取される食品の熱量を推定する技術に関する。
【背景技術】
【０００２】
食事に関する情報を記録したり管理したりするために、例えば特許文献１は、食品の情報をその食品が盛られた皿に予め付与された情報から取得する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１９８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術には、摂取熱量の推定が簡単かつ正確とは言えないという課題があった。本発明は、上記の課題を解決するためにされたものであり、簡単かつ正確に摂取熱量を推定できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］
ユーザーが摂取する前に食品の熱量を推定する食前熱量推定部と、
分光分析の結果に基づいて前記ユーザーが摂取した後に前記食品の熱量を推定する食後熱量推定部と、
前記ユーザーが摂取する前の熱量と前記ユーザーが摂取した後の熱量との差を取ることで、前記ユーザーによる摂取熱量を推定する摂取熱量推定部と
を備える摂取熱量推定装置。
この適用例によれば、ユーザーが摂取する前に推定した食品の熱量と、ユーザーが摂取した後に推定した食品の熱量とに基づいて、ユーザーによる摂取熱量が推定される。また、ユーザーに面倒な入力作業等を要求しないので、簡単かつ正確に摂取熱量を推定できる。なお「食品」とは、食べ物および飲み物を含む。また「分光分析」とは、照射された光の各波長に対する吸光度を示す情報の分析である。さらに、食品の食前の熱量を推定する手法は種々考えられ、例えば、分光分析を用いてもよいし、従来のように食品が盛られた皿から取得してもよい。
【０００７】
［適用例２］
適用例１に記載の摂取熱量推定装置であって、
前記食後熱量推定部は、前記ユーザーからの指示を契機に、前記ユーザーが摂取した後に前記食品の熱量を推定し、
前記食前熱量推定部によって熱量が推定された食品の中に、前記食後熱量推定部によって熱量が推定されていない食品がある場合、前記食後熱量推定部によって熱量が推定されていない旨を前記ユーザーに通知する未推定状態通知部
を備える摂取熱量推定装置。
この適用例によれば、ユーザーに、熱量が推定されていない食品がある旨を通知することで、例えば、ユーザーによる食後熱量推定部への指示を促すことができる。
【０００８】
［適用例３］
適用例２に記載の摂取熱量推定装置であって、
前記食前熱量推定部によって熱量が推定された食品の中に、前記食後熱量推定部によって熱量が推定されていない食品がある場合、何れの食品が熱量の推定をされていないかを前記ユーザーに通知する未推定食品通知部を備える
摂取熱量推定装置。
この適用例によれば、熱量が推定されていない食品が何れであるかをユーザーに通知できる。
【０００９】
［適用例４］
適用例３に記載の摂取熱量推定装置であって、
前記未推定状態通知部は、前記食後熱量推定部によって熱量が推定されていない旨を画面に表示することによって前記ユーザーに通知する
摂取熱量推定装置。
この適用例によれば、熱量が推定されていない食品がある旨をユーザーに分かりやすく通知できる。
【００１０】
［適用例５］
適用例４に記載の摂取熱量推定装置であって、
前記未推定状態通知部は、前記画面を介して、前記未推定食品通知部の起動の指示を受けるインターフェースを備える
摂取熱量推定装置。
この適用例によれば、熱量が推定されていない食品がある旨を通知すると共に、ユーザーから未推定食品通知部の起動の指示を受けることができる。
【００１１】
［適用例６］
適用例３〜５の何れか一つに記載の摂取熱量推定装置であって、
前記ユーザーが摂取する前に前記食品の画像である食前画像を撮像する食前撮像部をさらに備え、
前記未推定食品通知部は、前記食後熱量推定部によって熱量が推定されていない食品の通知として、前記ユーザーが摂取する前において撮像された前記食品の食前画像を表示する
摂取熱量推定装置。
この適用例によれば、食後の熱量が推定されていない食品が何れであるかを、ユーザーに分かりやすく通知できる。
【００１２】
［適用例７］
適用例６に記載の摂取熱量推定装置であって、
前記未推定食品通知部は、前記表示した画像から何れか一つを前記ユーザーに選択させるインターフェースを備え、
前記摂取熱量推定部は、前記選択された画像に含まれる食品について前記食前熱量推定部によって推定された熱量と、前記食後熱量推定部によって推定された熱量との差を取ることで、前記ユーザーによる摂取熱量を推定する
摂取熱量推定装置。
この適用例によれば、食前と食後との食品の照合を、ユーザーの確認に基づいて行うので、摂取熱量の推定をより正確に実行できる。
【００１３】
［適用例８］
適用例７に記載の摂取熱量推定装置であって、
前記ユーザーが摂取した後に前記食品の画像である食後画像を撮像する食後撮像部と、
前記画像の選択後、前記食後画像の撮像を行う操作を前記ユーザーに催促する催促部とを備え、
前記食後熱量推定部は、前記ユーザーによる操作に従って撮像された前記食後画像に含まれる食品を対象とした分光分析の結果に基づいて、前記ユーザーが摂取した後に当該食品の熱量を推定する
摂取熱量推定装置。
この適用例によれば、食後の熱量を推定するための操作をユーザーに催促できる。したがって、例えば、ユーザーが食後熱量推定部への指示を忘れることを防止できるので、より確実に摂取熱量を推定できる。
【００１４】
［適用例９］
適用例８に記載の摂取熱量推定装置であって、
前記食後画像の撮像を行うユーザーによる操作が、前記食後熱量推定部の動作の契機となる前記ユーザーの指示である
摂取熱量推定装置。
この適用例によれば、食後画像の撮像を行うユーザーによる操作が行われると、食後の熱量が推定される。したがって、例えば、ユーザーが撮像とは別に食後熱量推定部の動作の契機となる指示を行う必要が無いので、確実に摂取熱量を推定できる。
【００１５】
［適用例１０］
適用例８又は９に記載の摂取熱量推定装置であって、
前記ユーザーが摂取する前に撮像された前記食品の食前画像が前記未推定食品通知部を介して選択された後、前記ユーザーが摂取した後に行う該食品の熱量推定を前記食後熱量推定部による推定結果に基づいて実行するのか、前記ユーザーによって入力される食べ残し量に基づいて実行するのかを、前記ユーザーに選択させる選択部を備え、
前記催促部は、前記食後熱量推定部による推定結果が前記選択部を介して選択された場合に前記催促をし、
前記摂取熱量推定部は、前記食べ残し量が前記選択部を介して選択された場合は、前記食べ残し量に基づいて摂取熱量を推定する
摂取熱量推定装置。
この適用例によれば、ユーザーによって食品の食後が撮像されなかった場合にも、ユーザーによって入力される食べ残し量に基づいて、摂取熱量を推定できる。
【００１６】
［適用例１１］
適用例６〜１０の何れか一つに記載の摂取熱量推定装置であって、
前記食前熱量推定部は、前記食前画像を対象とした分光分析の結果に基づいて、前記ユーザーが摂取する前の前記食品の熱量を推定し、
前記未推定食品通知部は、前記食前画像を表示する
摂取熱量推定装置。
この適用例によれば、食後熱量推定部と同じ手法によって熱量を推定するので推定方法の違いによる誤差が出にくく、食前の撮像が分光分析と画像表示とのために行われるのでユーザーの負担が軽減する。
【００１７】
［適用例１２］
ユーザーが摂取する前に食品の熱量を推定することと、
分光分析の結果に基づいて前記ユーザーが摂取した後に前記食品の熱量を推定することと、
前記ユーザーが摂取する前の熱量と前記ユーザーが摂取した後の熱量との差を取ることで、前記ユーザーによる摂取熱量を推定することと、を含む
摂取熱量推定方法。
【００１８】
［適用例１３］
ユーザーが摂取する前に食品の熱量を推定する食前熱量推定部と、
分光分析の結果に基づいて前記ユーザーが摂取した後に前記食品の熱量を推定する食後熱量推定部と、
前記ユーザーが摂取する前の熱量と前記ユーザーが摂取した後の熱量とを外部に出力する出力部と
を備える摂取熱量推定用データ出力装置。
この適用例によれば、ユーザーが摂取する前に推定した食品の熱量と、ユーザーが摂取した後に推定した食品の熱量とを、外部に出力することができる。また、ユーザーに面倒な入力作業等を要求しないので、簡単かつ正確にユーザーによる摂取熱量を外部装置に推定させることができる。
【図面の簡単な説明】
【００１９】
【図１】実施形態による処理の概要を示した概念図。
【図２】摂取熱量推定装置１０の概略構成を示したブロック図。
【図３】摂取熱量推定処理を示したフローチャート。
【図４】食品熱量推定処理を示したフローチャート。
【図５】食後処理を示すフローチャート。
【図６】表示部１９１に表示される画像を示した図。
【発明を実施するための形態】
【００２０】
本発明が適用された実施形態を図面と共に説明する。図１は、本実施形態による処理の概要を示した概念図である。図に示すように、摂取熱量推定装置１０は、デジタルカメラのような外観を持ち、手にとって容易に撮像操作ができる形状に構成されている。この摂取熱量推定装置１０によって食前と食後において食品を撮像し、その撮像された食品の画像から食前・食後の熱量を推定する。そして、その推定した食前の熱量（ユーザーが摂取する前の熱量）と、食後の熱量（ユーザーが摂取した後の熱量）の差を取ることで、ユーザーの摂取熱量の推定値とし、その推定値を記憶装置１５０に記憶する。なお、食品が全て食べられた場合は、食後においてその食品を撮像することはできず、その食品が盛られていた食器等を撮像することになるが、この場合の撮像も本実施形態では「食品の食後の撮像」とする。以下、摂取熱量推定装置１０の詳細を説明する。
【００２１】
［１．ハードウェア構成（図２）］
図２は、摂取熱量推定装置１０の概略構成を示したブロック図である。摂取熱量推定装置１０は、図に示すように、外部に可視光〜近赤外領域の光を発射する光源２８０、外部からの光の光量を調整する光量調整器２７０、光量調整器２７０によって光量が調整された光を結像させるために屈折させるレンズ２１０、レンズ２１０からの光について透過させる波長の範囲を選択するエタロン２９０（ファブリペロー型フィルター）、エタロン２９０を透過した波長成分の光を受光し、受光位置毎に受光強度を示すアナログ信号を出力する受光素子２６０、受光素子２６０からのアナログ信号をデジタル信号に変換するＡＤ変換器１２０を備える。
【００２２】
さらに摂取熱量推定装置１０は、受光素子２６０からのデジタル信号の入力を受け、また、以下の構成要素を統括制御するシステム制御部１１０、ＡＤ変換器１２０から入力された信号のゲインを調整するゲイン処理部１３０、計算を実行する計算処理部１４０、データを記憶する記憶装置１５０、光源２８０の照射を制御する光源制御部１８０、光量調整器２７０を制御する光量調整器制御部１７０、エタロン２９０による波長選択を制御するエタロン制御部１９０、受光素子２６０を制御する受光素子制御部１６０、後述する摂取熱量推定処理の開始および終了の指示入力を受けるインターフェースとして機能する開始／終了ボタン１９５、撮像のためのシャッターボタン１９３、画面を表示する表示部１９１、外部装置とのデータのやり取りをするインターフェースとして機能する通信部１９７、他の構成要素に電力を供給するバッテリー（図示なし）を備える。
【００２３】
以上に説明した構成によって撮像対象を撮像すると、可視光画像に加えて、撮像範囲の分光分析の結果として、近赤外領域の赤外吸収スペクトルを取得できる。この可視光画像と赤外吸収スペクトルとを利用した摂取熱量推定処理を次から説明する。
【００２４】
図３は、摂取熱量推定処理を示したフローチャートである。この処理は、開始／終了ボタン１９５が押されたことを契機に、システム制御部１１０が主体となって実行する処理である。また、図４は摂取熱量推定処理の一部としての食品熱量推定処理を示すフローチャート、図５は摂取熱量推定処理の一部としての食後処理を示すフローチャート、図６（Ａ）〜（Ｇ）は摂取熱量推定処理において表示部１９１に表示される画面を示した図である。
【００２５】
［２．摂取熱量推定処理（図３）］
摂取熱量推定処理を開始すると、食前の熱量を推定した食品の中で、食後の熱量を推定していないものが有るか否かを判定する（ステップＳ３１０）。なお、食前・食後の熱量の推定は、後述する処理において行われる。
【００２６】
摂取熱量推定処理の開始直後で、食前の熱量の推定をまだ行っていなければ、食後の熱量を推定していないものは無いので（ステップＳ３１０，ＮＯ）、この場合、基本画面を表示部１９１に表示する（ステップＳ３２０）。基本画面とは「メニュー」「食事撮像」「終了」の各アイコンを表示する画面である。これらアイコンは、グラフィカル・ユーザー・インターフェースとして機能し、ユーザーが何れか一つを選択できる。図６（Ａ）は、この基本画面の各アイコンに加え、「食前画像」のアイコン（詳細後述）を表示した画面を示す。
【００２７】
上記のように基本画面を表示した後、この基本画面の各アイコンの何れかが選択されるまで待機し、ユーザーからの指示を待つ（ステップＳ３４０）。ユーザーからの指示が食事撮像だった場合（ステップＳ３４０，食事撮像）、食品熱量推定処理を実行する（ステップＳ３５０）。
【００２８】
［２−Ａ．食品熱量推定処理（図４）］
食品熱量推定処理を開始すると、撮像モードに移行する（ステップＳ３５２）。撮像モードとは、撮像対象を撮像するための操作をユーザーに行わせる状態のことである。具体的には、ＡＤ変換器１２０を介して取得した波長毎の画像から可視光領域のものを重ね合わせて形成する可視光画像を表示部１９１に表示する（図６（Ｂ）参照）。ユーザーには、撮像対象とすべき食品の何れか一種類が表示部１９１に表示されている状態においてシャッターボタン１９３を押すように、取扱説明書等によって予め説明しておく。
【００２９】
上記待機中にシャッターボタン１９３が押されたら、光源２８０から光を撮像対象に照射せずに、受光素子２６０が受光する光の波長をエタロン２９０によって切り替えることによって、波長毎の画像を撮像する（ステップＳ３５４）。続いて、光源２８０から光を撮像対象に照射しながら、受光素子２６０が受光する光の波長をエタロン２９０によって切り替えることによって、波長毎の画像を撮像する（ステップＳ３５６）。
【００３０】
続いて、撮像した画像から、食品の部分を抽出する（ステップＳ３５８）。具体的には、赤外吸収スペクトル及び可視光画像を利用して食品と食器（箸やスプーン等）とを区別し、食品としての画像部位を抽出する。赤外吸収スペクトルは、光源２８０から発射される光の波長毎の強度およびステップＳ３５６において取得した波長毎の強度の比較、並びにステップＳ３５４において取得した波長毎の強度に基づく外乱光補正によって、取得する。
【００３１】
続いて、食品の質量を求める（ステップＳ３６２）。具体的には、一般的な秤によって皿ごと重量を計測する。皿の重量は、後のステップにおいてその影響を相殺するので、計測結果に含めても問題ない。
【００３２】
次に、赤外吸収スペクトルから食品の質量当たりの熱量（ｃａｌ／ｇ）を推定する（ステップＳ３６４）。具体的な方法としては、既知のもの（例えば、特開２００５−６７７３８に開示された手法）を用いればよい。この方法の概要は、食品における糖質・脂質・たんぱく質などの含有率を赤外吸収スペクトルに基づき推定し、さらに、その推定結果に基づき熱量を推定するというものである。本実施形態においては、可視光画像により抽出した食品の部位内において平均を取った赤外吸収スペクトルに基づいて、その食品の質量当たりの熱量を推定する。
【００３３】
続いて、推定した食品の質量と、質量当たりの熱量との積を、その食品の熱量として算出し（ステップＳ３６６）、食品熱量推定処理を終えて摂取熱量推定処理に戻る。
【００３４】
続いて、ステップＳ３５６で撮像した画像（光源２８０による照射有りの場合の撮像による画像）に基づく可視光画像と、上記推定した熱量とを関連づけると共に食前のものとして記憶装置１５０に記憶し（ステップＳ３７０）、ステップＳ３１０に戻る。
【００３５】
上記のように食品の食前の熱量を推定した直後は、その食品の食後の熱量を推定していないので（ステップＳ３１０，ＹＥＳ）、基本画面の各アイコンに加えて、食前画像アイコンを表示部１９１に表示し（ステップＳ３３０）（図６（Ａ）参照）、ユーザーからの指示を待つ（ステップＳ３４０）。ユーザーには、食前の食品が複数種類ある場合、各種類の食品を対象にしてステップＳ３５０とステップＳ３７０とが実行されるように、ステップＳ３４０における指示、及びステップＳ３５２におけるシャッターボタン１９３の押下を行うよう予め説明しておく。
【００３６】
全種類の食前の食品を対象にしてステップＳ３５０とステップＳ３７０とが実行されると、ステップＳ３４０における指示待ちの状態になるが、ユーザーは食事を開始するので、その状態で暫く待機することになる。ユーザーには、食事を終えたと判断したら、ステップＳ３４０において「食前画像」を選択するように予め説明しておく。ステップＳ３４０において「食前画像」が選択されたら、食後処理を実行する（ステップＳ３８０）。
【００３７】
［２−Ｂ．食後処理（図５）］
食後処理を開始すると、食前画像、すなわち食前の熱量が推定された食品の中で、食後の熱量が推定されていないものを撮像した画像を表示部１９１に表示し（図６（Ｃ）参照）、ユーザーに何れか一つを選択させる（ステップＳ３８１）。ユーザーには、直前の食事において食べた食品に対応する食前の画像を選択するように予め説明しておく。
【００３８】
何れか一つの画像の選択を受けると、「食事量入力」と「食後撮像」とのアイコンを表示部１９１に表示し（図６（Ｄ）参照）、何れかをユーザーに選択させる（ステップＳ３８２）。
【００３９】
ステップＳ３８２において食後撮像が選択されると、既に説明した食品熱量推定処理を食後の食品を対象にして実行する（ステップＳ３８３）。続いて、ステップＳ３８２において選択された食品の食前のものとして記憶装置１５０に記憶した熱量から、ステップＳ３８３において推定した熱量を引くことで、ステップＳ３８１において選択された食品についての摂取熱量を算出する（ステップＳ３８６）。さらに、その算出した摂取熱量その他データ（食前の画像、食事の日付、食事が朝昼夜の何れであるかなど）を記憶装置１５０に記憶する（ステップＳ３８７）。
【００４０】
次に、食前の熱量を推定した食品の中で、食後の熱量を推定していないものが有るか否かを判定する（ステップＳ３８８）。食後の熱量を推定していないものが無ければ（ステップＳ３８８，ＮＯ）、食後処理を終えてステップＳ３１０に戻る。
【００４１】
一方、食後の熱量を推定していないものが有れば（ステップＳ３８８，ＹＥＳ）、表示部１９１を介して食後処理の終了指示が入力されたか否かを判定する（ステップＳ３８９）。終了指示が入力されていなければ（ステップＳ３８９，ＮＯ）、ステップＳ３８１に戻って、食後の熱量を推定していない食品について熱量の推定を実行する。この際、既に食後の熱量が推定された食品の画像は、ステップＳ３８１において表示されなくなる（図６（Ｇ）参照）。
【００４２】
一方、ステップＳ３８２において「食事量入力」が選択されたら、ステップＳ３８１において選択された食品の食べた割合を入力させるための画面を表示部１９１に表示し（図６（Ｆ）参照）、その割合の入力を受ける（ステップＳ３８５）。このようにして食べた割合の入力がされた場合は、ステップＳ３８６においてその割合に基づいて摂取熱量を推定する。
【００４３】
一方、終了指示が入力されたら（ステップＳ３８９，ＹＥＳ）、食後処理を終えて摂取熱量推定処理のステップＳ３１０に戻る。
【００４４】
一方、ステップＳ３４０において「メニュー」が選択されたら、「メニュー」用のアイコン（「摂取熱量の表示」「食前の画像の削除」「食べた食品名の入力」「基本画面に戻る」など）を表示部１９１に表示し（ステップＳ３９０）、「基本画面に戻る」が選択されない間は（ステップＳ３９５，ＮＯ）、ユーザーによって選択されたアイコンに従って動作を行う。「基本画面に戻る」が選択されたら（ステップＳ３９５，ＹＥＳ）、ステップＳ３１０を経て、ステップＳ３４０に進み基本画面を表示部１９１に表示する。一方、ステップＳ３４０において「終了」が選択されたら、摂取熱量推定処理を終える。
【００４５】
このように、摂取熱量推定処理を実行することで記憶装置１５０に記憶されたデータは、表示部１９１に表示することができる（図１参照）。具体的には、図１に示すように、各食事において推定された総摂取熱量を、日付および朝昼夜毎に整理した表やグラフとして表示できる。また、記憶装置１５０に記憶されたデータを通信部１９７経由で外部装置に入力することで、このような表示を外部装置に実行させることもできる。
【００４６】
以上に述べたように、摂取熱量推定装置１０によれば、食前と食後における食品の赤外吸収スペクトルに基づいて摂取熱量を推定するので、摂取熱量の推定を簡単かつ正確に実行できる。さらに、赤外吸収スペクトルを取得するための撮像によって得られる可視光画像をインターフェースに利用しているので、ユーザーの行う操作が分かりやすくなっている。
【００４７】
また、食後の熱量を推定していないものが有る場合にのみ、「食前画像」アイコンを表示するので、食後の熱量を推定していないものが有ることをユーザーに通知すると共に、食後処理を開始するための操作を促すことができる。さらに、食後処理において「食後撮像」が選択されると撮像モードに移行することによって、ユーザーに食後の熱量推定のための撮像を催促することができる。この他、食後の食品の撮像が実行されなかった場合でも、食べた割合に基づいて食後の熱量を推定できる。
【００４８】
［３．実施形態と適用例との対応関係］
ステップＳ３３０が未推定状態通知部を、ステップＳ３４０において「食事撮像」選択後の食品熱量推定処理におけるステップＳ３６６が食前熱量推定部を、食後処理の一部としての食品熱量推定処理におけるステップＳ３５２が催促部を、食後処理の一部としての食品熱量推定処理におけるステップＳ３６６が食後熱量推定部を、ステップＳ３８１が未推定食品通知部を、ステップＳ３８２が選択部を、ステップＳ３８６が摂取熱量推定部を各々実現するためのソフトウェアに対応する。また、下記他の実施形態の一つが、適用例１３に対応する。
【００４９】
［４．他の実施形態］
本発明は、先述した実施形態になんら限定されるものではなく、発明の技術的範囲内における種々の形態により実施できる。例えば、実施形態の構成要素の中で付加的なものは、実施形態から省略できる。ここで言う付加的な構成要素とは、実質的に独立している適用例においては特定されていない事項に対応する要素のことである。また、例えば、以下のような実施形態が考えられる。
【００５０】
・摂取熱量推定装置を、資料提示装置のような形状、つまり、食品を所定の位置に載せ、その位置に対して固定された撮像系によって撮像し、熱量を推定するように構成してもよい。このようにすれば、食前と食後でのアングル等に違いが出にくいので、より正確に摂取熱量を推定できる。
・摂取熱量推定装置を、電子レンジのような形状、つまり、食品を内部に収納する構造を備え、食品をこの構造によって収納した状態で撮像すると共に熱量を推定するように構成してもよい。このようにすれば、食前と食後において、アングル等に違いが出にくいのに加え、外乱光の差異が小さくなるので、より正確に摂取熱量を推定できる。
【００５１】
・摂取熱量推定装置の機能を複数の装置（例えば、サーバー及び端末装置）に分離させ、摂取熱量推定システムとして構成してもよい。
・サーバー及び端末装置による摂取熱量システムの場合、端末装置は、少なくとも撮像およびインターフェース機能（実施形態の場合、ステップＳ３１０〜３４０・３５２〜３５６・３８１・３８２・３８５・３８９・３９０を実現するための構成）を備えるのが好ましい。その他の機能は、端末装置が備えても、サーバーが備えても構わない。具体的には、次のような態様が考えられる。
・端末装置は、摂取熱量を推定し、その推定結果を無線通信によってサーバーに入力する。サーバーは、入力された摂取熱量の推定結果を記憶すると共に、要求に応じて端末に送信する。
・端末装置（適用例１３に相当）は、質量と質量当たりの熱量とを推定し、その推定結果を無線通信によってサーバーに入力する。サーバーは、入力された推定結果に基づいて摂取熱量を推定すると共に記憶し、その摂取熱量を要求に応じて端末に送信する。なお、端末装置による質量推定の方法は、秤を用いてもよいし、下記で述べるように、密度と体積とから推定してもよい。
・端末装置は、撮像を行い、撮像結果としての画像データを無線通信によってサーバーに入力する。サーバーは、入力された画像データに基づいて摂取熱量を推定すると共に記憶し、その摂取熱量を要求に応じて端末に送信する。
・端末装置としては、摂取熱量を推定するための専用機でもよいし、例えば、カメラ付きのスマートフォンやモバイルコンピューターなどの通信機器や、記録メディアによってデータを外部と授受できるデジタルカメラを利用してもよい。
【００５２】
・赤外吸収スペクトルから食品の密度を推定し、その密度と、可視光画像から推定した体積との積を、食品の質量の推定値としてもよい。なお、赤外吸収スペクトルと密度との関係は、予め種々の食品についてサンプルデータを求めておくと共に、記憶装置１５０に記憶させておく。また、密度の推定に用いる赤外吸収スペクトルは、可視光画像により抽出した食品の部位内において平均を取ったものとする。
・食品の質量を求める際にする密度の推定は、食品の種類に基づいて行ってもよい。具体的には、可視光画像と予め記憶した食品画像とのマッチングに基づいて、食品の種類を推定し、その食品の密度として予め記憶したものを質量推定に用いればよい。
・赤外吸収スペクトルによって体積当たりの熱量を推定する場合は、質量を求める処理を省いて、体積と体積当たりの熱量とに基づいて食品の熱量を推定すればよい。
【００５３】
・分光分析の結果を取得するために、可視光や中赤外領域の吸収スペクトルを用いてもよい。可視光を用いると、可視光画像と波長領域を共通にできる。また、中赤外を用いると、食品成分をより詳細に分析でき、熱量推定の精度が向上すると考えられる。
・分光分析をするために、エタロンを使用する代わりに、光源から照射される光の波長を切り替えるようにしてもよい。つまり、異なるピークを持つ光源を複数備えておき、それら光源から順次、光を発射するようにすればよい。照射した光の波長が分かれば、赤外吸収スペクトルを求めることができる。
・可視光画像と赤外吸収スペクトルとで取得するための光の経路を別々にすることで、可視光画像を分光しないようにしてもよい。
・食品の抽出は、可視光画像を用いず、赤外領域の画像のみで行ってもよい。
【００５４】
実施形態では、取扱説明書によってユーザーに操作の説明をしていたが、画面や音声で説明するようにしてもよい。なお、音声を用いる場合は、ハードウェア構成にスピーカーを追加するのが好ましい。
【符号の説明】
【００５５】
１０…摂取熱量推定装置
１１０…システム制御部
１２０…ＡＤ変換器
１３０…ゲイン処理部
１４０…計算処理部
１５０…記憶装置
１６０…受光素子制御部
１７０…光量調整器制御部
１８０…光源制御部
１９０…エタロン制御部
１９１…表示部
１９３…シャッターボタン
１９５…開始／終了ボタン
１９７…通信部
２１０…レンズ
２６０…受光素子
２７０…光量調整器
２８０…光源
２９０…エタロン
【特許請求の範囲】
【請求項１】
ユーザーが摂取する前に食品の熱量を推定する食前熱量推定部と、
分光分析の結果に基づいて前記ユーザーが摂取した後に前記食品の熱量を推定する食後熱量推定部と、
前記ユーザーが摂取する前の熱量と前記ユーザーが摂取した後の熱量との差を取ることで、前記ユーザーによる摂取熱量を推定する摂取熱量推定部と
を備える摂取熱量推定装置。
【請求項２】
請求項１に記載の摂取熱量推定装置であって、
前記食後熱量推定部は、前記ユーザーからの指示を契機に、前記ユーザーが摂取した後に前記食品の熱量を推定し、
前記食前熱量推定部によって熱量が推定された食品の中に、前記食後熱量推定部によって熱量が推定されていない食品がある場合、前記食後熱量推定部によって熱量が推定されていない旨を前記ユーザーに通知する未推定状態通知部
を備える摂取熱量推定装置。
【請求項３】
請求項２に記載の摂取熱量推定装置であって、
前記食前熱量推定部によって熱量が推定された食品の中に、前記食後熱量推定部によって熱量が推定されていない食品がある場合、何れの食品が熱量の推定をされていないかを前記ユーザーに通知する未推定食品通知部を備える
摂取熱量推定装置。
【請求項４】
請求項３に記載の摂取熱量推定装置であって、
前記未推定状態通知部は、前記食後熱量推定部によって熱量が推定されていない旨を画面に表示することによって前記ユーザーに通知する
摂取熱量推定装置。
【請求項５】
請求項４に記載の摂取熱量推定装置であって、
前記未推定状態通知部は、前記画面を介して、前記未推定食品通知部の起動の指示を受けるインターフェースを備える
摂取熱量推定装置。
【請求項６】
請求項３〜５の何れか一つに記載の摂取熱量推定装置であって、
前記ユーザーが摂取する前の前記食品の食前画像である食前画像を撮像する食前撮像部をさらに備え、
前記未推定食品通知部は、前記食後熱量推定部によって熱量が推定されていない食品の通知として、前記ユーザーが摂取する前において撮像された前記食品の画像を表示する
摂取熱量推定装置。
【請求項７】
請求項６に記載の摂取熱量推定装置であって、
前記未推定食品通知部は、前記表示した画像から何れか一つを前記ユーザーに選択させるインターフェースを備え、
前記摂取熱量推定部は、前記選択された画像に含まれる食品について前記食前熱量推定部によって推定された熱量と、前記食後熱量推定部によって推定された熱量との差を取ることで、前記ユーザーによる摂取熱量を推定する
摂取熱量推定装置。
【請求項８】
請求項７に記載の摂取熱量推定装置であって、
前記ユーザーが摂取した後に前記食品の画像である食後画像を撮像する食後撮像部と、
前記画像の選択後、前記食後画像の撮像を行う操作を前記ユーザーに催促する催促部とを備え、
前記食後熱量推定部は、前記ユーザーによる操作に従って撮像された前記食後画像に含まれる食品を対象とした分光分析の結果に基づいて、前記ユーザーが摂取した後に当該食品の熱量を推定する
摂取熱量推定装置。
【請求項９】
請求項８に記載の摂取熱量推定装置であって、
前記食後画像の撮像を行うユーザーによる操作が、前記食後熱量推定部の動作の契機となる前記ユーザーの指示である
摂取熱量推定装置。
【請求項１０】
請求項８又は９に記載の摂取熱量推定装置であって、
前記ユーザーが摂取する前に撮像された前記食品の食前画像が前記未推定食品通知部を介して選択された後、前記ユーザーが摂取した後に行う該食品の熱量推定を前記食後熱量推定部による推定結果に基づいて実行するのか、前記ユーザーによって入力される食べ残し量に基づいて実行するのかを、前記ユーザーに選択させる選択部を備え、
前記催促部は、前記食後熱量推定部による推定結果が前記選択部を介して選択された場合に前記催促をし、
前記摂取熱量推定部は、前記食べ残し量が前記選択部を介して選択された場合は、前記食べ残し量に基づいて摂取熱量を推定する
摂取熱量推定装置。
【請求項１１】
請求項６〜１０の何れか一つに記載の摂取熱量推定装置であって、
前記食前熱量推定部は、食前画像を対象とした分光分析の結果に基づいて、前記ユーザーが摂取する前の前記食品の熱量を推定し、
前記未推定食品通知部は、前記食前画像を表示する
摂取熱量推定装置。
【請求項１２】
ユーザーが摂取する前に食品の熱量を推定することと、
分光分析の結果に基づいて前記ユーザーが摂取した後に前記食品の熱量を推定することと、
前記ユーザーが摂取する前の熱量と前記ユーザーが摂取した後の熱量との差を取ることで、前記ユーザーによる摂取熱量を推定することと、を含む
摂取熱量推定方法。
【請求項１３】
ユーザーが摂取する前に食品の熱量を推定する食前熱量推定部と、
分光分析の結果に基づいて前記ユーザーが摂取した後に前記食品の熱量を推定する食後熱量推定部と、
前記ユーザーが摂取する前の熱量と前記ユーザーが摂取した後の熱量とを外部に出力する出力部と
を備える摂取熱量推定用データ出力装置。
【請求項１】
ユーザーが摂取する前に食品の熱量を推定する食前熱量推定部と、
分光分析の結果に基づいて前記ユーザーが摂取した後に前記食品の熱量を推定する食後熱量推定部と、
前記ユーザーが摂取する前の熱量と前記ユーザーが摂取した後の熱量との差を取ることで、前記ユーザーによる摂取熱量を推定する摂取熱量推定部と
を備える摂取熱量推定装置。
【請求項２】
請求項１に記載の摂取熱量推定装置であって、
前記食後熱量推定部は、前記ユーザーからの指示を契機に、前記ユーザーが摂取した後に前記食品の熱量を推定し、
前記食前熱量推定部によって熱量が推定された食品の中に、前記食後熱量推定部によって熱量が推定されていない食品がある場合、前記食後熱量推定部によって熱量が推定されていない旨を前記ユーザーに通知する未推定状態通知部
を備える摂取熱量推定装置。
【請求項３】
請求項２に記載の摂取熱量推定装置であって、
前記食前熱量推定部によって熱量が推定された食品の中に、前記食後熱量推定部によって熱量が推定されていない食品がある場合、何れの食品が熱量の推定をされていないかを前記ユーザーに通知する未推定食品通知部を備える
摂取熱量推定装置。
【請求項４】
請求項３に記載の摂取熱量推定装置であって、
前記未推定状態通知部は、前記食後熱量推定部によって熱量が推定されていない旨を画面に表示することによって前記ユーザーに通知する
摂取熱量推定装置。
【請求項５】
請求項４に記載の摂取熱量推定装置であって、
前記未推定状態通知部は、前記画面を介して、前記未推定食品通知部の起動の指示を受けるインターフェースを備える
摂取熱量推定装置。
【請求項６】
請求項３〜５の何れか一つに記載の摂取熱量推定装置であって、
前記ユーザーが摂取する前の前記食品の食前画像である食前画像を撮像する食前撮像部をさらに備え、
前記未推定食品通知部は、前記食後熱量推定部によって熱量が推定されていない食品の通知として、前記ユーザーが摂取する前において撮像された前記食品の画像を表示する
摂取熱量推定装置。
【請求項７】
請求項６に記載の摂取熱量推定装置であって、
前記未推定食品通知部は、前記表示した画像から何れか一つを前記ユーザーに選択させるインターフェースを備え、
前記摂取熱量推定部は、前記選択された画像に含まれる食品について前記食前熱量推定部によって推定された熱量と、前記食後熱量推定部によって推定された熱量との差を取ることで、前記ユーザーによる摂取熱量を推定する
摂取熱量推定装置。
【請求項８】
請求項７に記載の摂取熱量推定装置であって、
前記ユーザーが摂取した後に前記食品の画像である食後画像を撮像する食後撮像部と、
前記画像の選択後、前記食後画像の撮像を行う操作を前記ユーザーに催促する催促部とを備え、
前記食後熱量推定部は、前記ユーザーによる操作に従って撮像された前記食後画像に含まれる食品を対象とした分光分析の結果に基づいて、前記ユーザーが摂取した後に当該食品の熱量を推定する
摂取熱量推定装置。
【請求項９】
請求項８に記載の摂取熱量推定装置であって、
前記食後画像の撮像を行うユーザーによる操作が、前記食後熱量推定部の動作の契機となる前記ユーザーの指示である
摂取熱量推定装置。
【請求項１０】
請求項８又は９に記載の摂取熱量推定装置であって、
前記ユーザーが摂取する前に撮像された前記食品の食前画像が前記未推定食品通知部を介して選択された後、前記ユーザーが摂取した後に行う該食品の熱量推定を前記食後熱量推定部による推定結果に基づいて実行するのか、前記ユーザーによって入力される食べ残し量に基づいて実行するのかを、前記ユーザーに選択させる選択部を備え、
前記催促部は、前記食後熱量推定部による推定結果が前記選択部を介して選択された場合に前記催促をし、
前記摂取熱量推定部は、前記食べ残し量が前記選択部を介して選択された場合は、前記食べ残し量に基づいて摂取熱量を推定する
摂取熱量推定装置。
【請求項１１】
請求項６〜１０の何れか一つに記載の摂取熱量推定装置であって、
前記食前熱量推定部は、食前画像を対象とした分光分析の結果に基づいて、前記ユーザーが摂取する前の前記食品の熱量を推定し、
前記未推定食品通知部は、前記食前画像を表示する
摂取熱量推定装置。
【請求項１２】
ユーザーが摂取する前に食品の熱量を推定することと、
分光分析の結果に基づいて前記ユーザーが摂取した後に前記食品の熱量を推定することと、
前記ユーザーが摂取する前の熱量と前記ユーザーが摂取した後の熱量との差を取ることで、前記ユーザーによる摂取熱量を推定することと、を含む
摂取熱量推定方法。
【請求項１３】
ユーザーが摂取する前に食品の熱量を推定する食前熱量推定部と、
分光分析の結果に基づいて前記ユーザーが摂取した後に前記食品の熱量を推定する食後熱量推定部と、
前記ユーザーが摂取する前の熱量と前記ユーザーが摂取した後の熱量とを外部に出力する出力部と
を備える摂取熱量推定用データ出力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−３６９０６（Ｐ２０１３−３６９０６Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７４３１７（Ｐ２０１１−１７４３１７）
【出願日】平成２３年８月９日（２０１１．８．９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月９日（２０１１．８．９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]