撮影システム
【課題】容易に飲食物を記録することができると共に、コストを低減することを可能とする撮影システムを提供する。
【解決手段】料理が用意された食卓を照明する照明手段と、前記食卓を撮影可能な状態で前記照明手段に設置された撮像手段と、前記撮像手段により撮影された料理を示す料理画像に基づき、前記料理の名称を特定する特定手段と、前記特定手段により特定された前記料理の名称を含む料理情報を記録する料理情報記録手段と、を有する。
【解決手段】料理が用意された食卓を照明する照明手段と、前記食卓を撮影可能な状態で前記照明手段に設置された撮像手段と、前記撮像手段により撮影された料理を示す料理画像に基づき、前記料理の名称を特定する特定手段と、前記特定手段により特定された前記料理の名称を含む料理情報を記録する料理情報記録手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影システムに関し、特に食卓に用意された飲食物を撮影する撮影システムに関する。
【背景技術】
【０００２】
飲食した飲食物の記録を行うことは日常の健康管理のみならず、肥満、糖尿病、高血圧症、高脂血症、拒食・過食症等の治療のために必要である。
【０００３】
このような飲食物の記録に関連して、特許文献１には、食事記録用カメラ及びそれを利用した食事評価システムが開示されている。また、特許文献２には、食事の計測装置及び分析システムが開示されている。
【特許文献１】特開平７−２３４４３９号公報
【特許文献２】特開２００１−２５８８９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術では、撮影者が毎食毎に撮影しなければならず、撮影することを忘れたり、怠ったりする可能性があり、その場合は、飲食物が記録されないという問題点がある。また、特許文献２に開示された技術では、ストロボを必要とするため、その分のコストが必要となるという問題点がある。
【０００５】
このように従来の技術では、飲食物が記録されないという問題点や、ストロボのためにコストが必要となるという問題点があった。
【０００６】
本発明は上記問題点に鑑み、容易に飲食物を記録することができると共に、コストを低減することを可能とする撮影システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１の発明は、飲食物が用意された食卓を照明する照明手段と、前記食卓を撮影可能な状態で前記照明手段に設置された撮像手段と、前記撮像手段により撮影された飲食物を示す飲食物画像に基づき、前記飲食物の名称を特定する特定手段と、前記特定手段により特定された前記飲食物の名称を含む飲食物情報を記録する飲食物情報記録手段と、を有する。
【０００８】
請求項１の発明では、照明手段が飲食物が用意された食卓を照明し、撮像手段が前記食卓を撮影可能な状態で前記照明手段に設置され、特定手段が前記撮像手段により撮影された飲食物を示す飲食物画像に基づき、前記飲食物の名称を特定し、飲食物情報記録手段が前記特定手段により特定された前記飲食物の名称を含む飲食物情報を記録するため、容易に飲食物を記録することができると共に、コストを低減することを可能とする撮影システムを提供することができる。
【０００９】
請求項２の発明は、予め定められた時刻の到来を検知する時刻検知手段を更に有し、前記撮像手段は、前記検知手段により時刻の到来が検知されると、前記食卓を撮影する。
【００１０】
請求項２の発明によれば、食事毎にカメラを用意する必要はなく、更に予め定められた時刻が到来すると自動的に撮影されるため、飲食物を容易に記録することができる。
【００１１】
請求項３の発明は、前記食卓に食器が存在することを検知する食器検知手段と、前記食卓で人が食事をする際に人が席に着いたことを検知する着席検知手段と、を更に有し、前記撮像手段は、前記食器検知手段により前記食卓に食器が存在することを検知され、かつ前記着席検知手段により前記食卓で人が食事をする際に人が席に着いたことを検知されると前記食卓を撮影する。
【００１２】
請求項３の発明によれば、食事毎にカメラを用意する必要はなく、更に飲食物が用意され、かつ椅子に座ると自動的に撮影されるため、飲食物を容易に記録することができる。
【００１３】
請求項４の発明は、前記飲食物画像が示す前記飲食物に含まれる色の種類毎の前記飲食物の面積に占める割合、及び飲食物名を示す飲食物種別情報が予め記録された飲食物種別情報記録手段を更に有し、前記特定手段は、前記撮像手段により撮影された飲食物画像から、該飲食物画像に示される飲食物の面積、及び該飲食物に含まれる色の種類毎の前記面積に占める割合を検出し、前記飲食物種別情報記録手段に記録された飲食物種別情報を参照することにより、類似の度合いが所定度合い以上で、かつ最も高いものを当該飲食物の名称として特定する。
【００１４】
請求項４の発明によれば、比較的処理の負荷がかからない処理によって飲食物の名称を特定することができる。
【００１５】
請求項５の発明は、前記撮像手段による撮影時における前記照明手段の照明の明るさを、予め定められた明るさとなるように制御する照明制御手段を更に有する。
【００１６】
請求項５の発明によれば、撮影時の明るさを予め定められた明るさとすることで、飲食物の特定を正確に行うことのできる画像を得ることができる。
【発明の効果】
【００１７】
本発明によれば、容易に飲食物を記録することができると共に、コストを低減することを可能とする撮影システムを提供することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本実施の形態では、料理を飲食物として説明するが、飲食物には、ビールやジュースなどの飲料、バナナなどの果物、トマトなどの野菜、ケーキなどの菓子等、あらゆる飲食物が含まれる。
【００１９】
まず、図１を参照して、本実施の形態に係る撮影システムについて説明する。同図に示されるように、撮影システムは、デジタルカメラ１０、照明器具６０、パソコン（Personal Computer）６２、及び圧力センサ６８を含む。また、同図には、食卓６４、及び料理６６が示されている。
【００２０】
上記デジタルカメラ１０、及び照明器具６０は、パソコン６２と接続されており、また圧力センサ６８もパソコン６２と接続されており、各々情報のやり取りが可能となっている。上記接続は、例えばＵＳＢ（Universal Serial Bus）や、ＬＡＮケーブルなどによる有線接続や、IEEE 802b/gなどによる無線接続であっても良い。
【００２１】
上記照明器具６０は、料理が用意された食卓を照明する一般的な照明器具である。従って、本実施の形態に係る撮影システムは、ストロボなどのカメラ専用の照明が不要となるため、コストを低減することを可能とする。また、この照明器具６０の照明の明るさを、パソコン６２により制御するようにしても良い。デジタルカメラ１０は、食卓６４を撮影可能な状態で照明器具６０に設置される。なお、デジタルカメラ１０の設置場所は被写体に影を作らないために例えばリング状の蛍光灯の場合はその内側に配置するようにしても良い。
【００２２】
また、デジタルカメラ１０は、撮影した画像を示す画像データをパソコン６２に送信する。パソコン６２は、後述する料理種別ＤＢ（データベース）を記録しており、料理の名称の特定や、料理の記録などの処理を実行する。この処理の詳細については後にフローチャートを用いて説明する。また、パソコン６２には、図示しないディスプレイなどの表示部が設けられている。圧力センサ６８は、同図に示されるように椅子に設けられ、人が席に着いたことを検知し、検知した場合には、その旨をパソコン６２に通知する。
【００２３】
次に、図２を参照して、本実施の形態に係るデジタルカメラ１０の電気系の要部構成を説明する。
【００２４】
デジタルカメラ１０は、レンズを含んで構成された光学ユニット２２と、レンズの光軸後方に配設された撮像素子である電荷結合素子（以下、「ＣＣＤ」という。）２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部２６と、を含んで構成されている。なお、撮像素子としてＣＭＯＳイメージセンサなどを用いても良い。
【００２５】
また、デジタルカメラ１０は、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル（ＡＤ）変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部３０と、を含んで構成されている。
【００２６】
なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行う。
【００２７】
ＣＣＤ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、ＣＣＤ２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データ（以下、単に画像データと記すこともある）に変換された後にデジタル信号処理部３０に入力される。
【００２８】
一方、デジタルカメラ１０は、パソコン６２と画像データなどの情報をやり取りするためのネットワークＩ／Ｆ（インタフェース）３６と、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）４０と、撮影により得られたデジタル画像データ等を記憶するメモリ４８と、メモリ４８に対するアクセスの制御を行うメモリインタフェース４６と、を含んで構成されている。
【００２９】
更に、デジタルカメラ１０は、デジタル画像データに対する圧縮処理及び伸張処理を行う圧縮・伸張処理回路５４と、を含んで構成されている。
【００３０】
なお、本実施の形態のデジタルカメラ１０では、メモリ４８としてＶＲＡＭ（Video RAM）が用いられている。
【００３１】
デジタル信号処理部３０、ＣＰＵ４０、メモリインタフェース４６、及び圧縮・伸張処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０及び圧縮・伸張処理回路５４の作動の制御、メモリ４８へのメモリインタフェース４６を介したアクセスを各々行うことができる。
【００３２】
一方、デジタルカメラ１０には、主としてＣＣＤ２４を駆動させるためのタイミング信号を生成してＣＣＤ２４に供給するタイミングジェネレータ３２が備えられており、ＣＣＤ２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。
【００３３】
更に、デジタルカメラ１０にはモータ駆動部３４が備えられており、光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。
【００３４】
すなわち、本実施の形態に係るレンズ２１は複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ、及び絞り駆動モータは含まれるものであり、これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。
【００３５】
次に、本実施の形態に係るデジタルカメラ１０の撮影時における全体的な動作について簡単に説明する。
【００３６】
まず、ＣＣＤ２４は、光学ユニット２２を介した撮像を行い、被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）毎のアナログ信号をアナログ信号処理部２６に順次出力する。アナログ信号処理部２６は、ＣＣＤ２４から入力されたアナログ信号に対して相関二重サンプリング処理等のアナログ信号処理を施した後にＡＤＣ２８に順次出力する。
【００３７】
ＡＤＣ２８は、アナログ信号処理部２６から入力されたＲ、Ｇ、Ｂ毎のアナログ信号を各々１２ビットのＲ、Ｇ、Ｂの信号（デジタル画像データ）に変換してデジタル信号処理部３０に順次出力する。デジタル信号処理部３０は、内蔵しているラインバッファにＡＤＣ２８から順次入力されるデジタル画像データを蓄積して一旦メモリ４８の所定領域に直接格納する。
【００３８】
メモリ４８の所定領域に格納されたデジタル画像データは、ＣＰＵ４０による制御に応じてデジタル信号処理部３０により読み出され、所定の物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行なうと共に、ガンマ処理及びシャープネス処理を行なって所定ビット、例えば８ビットのデジタル画像データを生成する。
【００３９】
デジタル信号処理部３０は、生成した所定ビットのデジタル画像データに対しＹＣ信号処理を施して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」という。）を生成し、ＹＣ信号をメモリ４８の上記所定領域とは異なる領域に格納する。ここで生成された輝度信号Ｙを用いて被写体の明るさを測光する。
【００４０】
なお、デジタルカメラ１０は、ＣＣＤ２４による連続的な撮像によって得られた動画像（スルー画像）をパソコン６２に送信することができるものとして構成されており、パソコン６２に送信する場合には、生成したＹＣ信号を、ネットワークＩ／Ｆ３６を介して順次送信する。これによってパソコン６２の表示部にスルー画像が表示することができる。
【００４１】
ここで、パソコン６２から撮影指示された場合、ＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、その後、この時点でメモリ４８に格納されているＹＣ信号を、圧縮・伸張処理回路５４によって所定の圧縮形式（例えば、ＪＰＥＧ形式）で圧縮した後にネットワークＩ／Ｆ３６を介してパソコン６２に送信される。
【００４２】
次に、図３を用いて、パソコン６２の構成について説明する。パソコン６２は、ＣＰＵ７０と、ＨＤＤ７２と、ＲＡＭ７４と、ネットワークＩ／Ｆ７６と、ＲＯＭ７８と、表示部８０と、操作入力部８２と、バスとを含む。
【００４３】
ＣＰＵ７０は、パソコン６２の全体の動作を司るものであり、後述するパソコン６２の処理を示すフローチャートは、ＣＰＵ７０により実行される。ＨＤＤ７２は、上述料理種別情報ＤＢなどの料理に関する情報や、プログラム、ＯＳなどが記録される不揮発性の記憶装置である。ＲＡＭ７４は、ＯＳやプログラムやデータが展開される揮発性の記憶装置である。ネットワークＩ／Ｆ７６は、デジタルカメラ１０及び圧力センサ６８に、有線或いは無線で接続するためのものであり、ＮＩＣやそのドライバで構成される。ＲＯＭ７８は、パソコン６２の起動時に動作するブートプログラムなどが記憶されている不揮発性の記憶装置である。表示部８０は、パソコン６２に関する情報を撮影者などのユーザに表示するものである。操作入力部８２は、オペレータがパソコン６２の操作や情報を入力する際に用いられるものである。バスは、情報のやりとりが行われる際に使用される。
【００４４】
次に、図４を用いて料理種別情報について説明する。この料理種別情報は上述したように料理種別ＤＢとしてパソコン６２のＨＤＤ７２に予め記録されている。
【００４５】
料理種別ＤＢは同図に示されるように、色Ｎｏ、輝度、及び色割合（料理に含まれる色の種類毎の料理の面積に占める割合）を含む。また、色割合には、料理名（同図では料理Ａ、Ｂ、Ｃ）毎の割合を示す。
【００４６】
このうち、色Ｎｏは、各色を識別するための識別情報である。輝度は色の種類をＲＧＢの３段階の輝度で示すものである。もちろん、輝度は３段階に限るものではなく、処理の負荷や料理種別情報のデータサイズなどを考慮して段階数を定めるようにしても良い。その場合、例えばｎ段階とすると、色の数は、ｎの３乗となる。
【００４７】
色割合は、各料理Ａ、Ｂ、Ｃを示す画像が示す料理に含まれる色の種類毎の料理の面積に占める割合を示すものである。具体的に例えば、料理Ａの場合、色Ｎｏ４の割合が１０％、色Ｎｏ１３の割合が３０％、色Ｎｏ２３の割合が６０％となっている。
【００４８】
なお、料理は料理Ａ、Ｂ、Ｃに限るものではなく、必要に応じた料理の数だけ記録されている。また、新たな料理の色割合を料理種別情報に登録することも可能である。具体的に例えば、カレーをデジタルカメラ１０で撮影し、そのカレーを示す画像によりパソコン６２が色割合を検出し、ユーザがその色割合の料理として、パソコン６２の操作入力部８２から「カレー」と入力することで、新たな料理の色割合を料理種別情報に登録することができる。
【００４９】
以下、フローチャートを用いて処理の詳細について説明する。以下に示されるフローチャートは、デジタルカメラ１０、及びパソコン６２により実行される処理を示している。また、以下の処理では、デジタルカメラ１０からパソコン６２へ上述したスルー画像が送信されているものとする。
【００５０】
まず、図５を用いて、全体的な処理について説明する。ステップ１０１で、デジタルカメラ１０が料理が用意された食卓を撮影する撮影処理を実行し、ステップ１０２で、パソコン６２は撮影された料理を示す料理画像に基づき、料理の名称を特定する名称特定処理を実行する。そして、ステップ１０３で、パソコン６２は、特定された料理の名称を含む料理情報をＨＤＤ７２に記録する。
【００５１】
上記ステップ１０１、及び１０２の詳細を説明する。まず、ステップ１０１の撮影処理の詳細について説明する。
【００５２】
図６は撮影処理（その１）を示すフローチャートである。この処理は、ユーザがパソコン６２の操作入力部８２に設けられた撮影スイッチを押下することで料理の撮影を行うものである。従って、ステップ２０１で、パソコン６２は、撮影スイッチが押下されたか否かを判断し、押下されたと判断すると、ステップ２０２で撮影を実行する撮影実行処理を行う。この撮影実行処理の詳細については後にフローチャートを用いて説明する。
【００５３】
図６に示される処理により、ユーザは、食事毎にカメラを用意する必要はないため、料理を容易に記録することができる。
【００５４】
次に、図７を用いて、撮影処理（その２）について説明する。この処理は、予め定められた時刻の到来を検知することで料理の撮影を行うものである。従って、この処理は食事の時刻が定まっているユーザに有効な処理である。まず、ステップ３０１で、パソコン６２は、予め定められた時刻が到来したか否かを判断し、到来したと判断すると、ステップ３０２で撮影を実行する上記撮影実行処理を行う。
【００５５】
図７に示される処理により、ユーザは、食事毎にカメラを用意する必要はなく、更に予め定められた時刻が到来すると自動的に撮影されるため、料理を容易に記録することができる。また、飲食物を撮影する時刻を決めておくと、ユーザはこの時間に食事をするようにするため、毎日決まった時間に食事をするようになり、ユーザの体にかかる負担を軽減することができる。
【００５６】
次に、図８を用いて、撮影処理（その３）について説明する。この処理は、食卓に食器が存在することを検知され、かつ食卓で人が食事をする際に人が席に着いたことを検知されると食卓を撮影する処理である。
【００５７】
従って、まずステップ４０１で、パソコン６２は、料理存在判定処理を行う。この処理は後述するように料理が食卓に存在するか否かを判定する処理である。
【００５８】
次のステップ４０２で、パソコン６２は、料理が存在したか否かを判断し、料理が存在しない場合には、再びステップ４０１の処理を行う。一方、料理が存在した場合には、ステップ４０３で、圧力センサ６８により圧力が検知されたか否かを判断する。圧力が検知されない場合には、再びステップ４０１の処理を行う。一方、圧力が検知された場合には、パソコン６２は、ステップ４０４で、撮影実行処理を行う。
【００５９】
図８に示される処理により、ユーザは、食事毎にカメラを用意する必要はなく、更に料理が用意され、かつ椅子に座ると自動的に撮影されるため、料理を容易に記録することができる。また、料理を食べるとき以外に座っても、料理が検出されないために料理が撮影されることはない。
【００６０】
上記ステップ４０１で行われる料理存在判定処理を、図９のフローチャート及び図１０を用いて説明する。まず、パソコン６２は、図１０（Ａ）に示されるような料理が存在しない食卓から、予め食卓の色を記録しておく。
【００６１】
そして、ステップ５０１で、パソコン６２は、食卓の色と異なる色が食卓上に存在するか否か判断し、肯定判断した場合（図１０（Ｂ）参照）には、ステップ５０２で料理が存在すると判定する。そして、パソコン６２は、ステップ５０３で、食卓の色以外の色を検出し（図１０（Ｃ）参照）、ステップ５０４で食卓の色以外の色が連続的に存在する固まりを料理として検出する。このとき、図１０（Ｄ）に示されるように、各料理に対して番号を与えるようにしても良い。
【００６２】
一方、ステップ５０１で否定判断した場合、パソコン６２は、ステップ５０５で料理が存在しないと判定する。
【００６３】
なお、食卓の色と異なる色が存在することは、料理だけではなく、箸、スプーンなどでもあり得るため、その場合も料理が存在すると判定される。また、上述した料理存在判定処理では、画像を用いて料理が存在するか否かを判断しているが、例えば食器にＩＣタグを取り付けておき、そのＩＣタグとパソコン６２とがやり取りを行うことで、料理が存在するか否かを判断するようにしても良い。
【００６４】
次に、上記図６、図７、図８で説明したフローチャートで実行される撮影実行処理を、図１１、図１２のフローチャートを用いて説明する。
【００６５】
まず、撮影実行処理（その１）を、図１１のフローチャートを用いて説明する。ステップ６０１で、パソコン６２は、デジタルカメラ１０に撮影を指示する。撮影が指示されたデジタルカメラ１０は、ステップ６０２で撮影する。そして、ステップ６０３で画像データの送受信が行われる。この処理は、デジタルカメラ１０が撮影により得られた画像データをパソコン６２に送信し、パソコン６２がその画像データを受信する処理である。
【００６６】
次に、撮影実行処理（その２）を、図１２のフローチャートを用いて説明する。この処理は、撮影時における照明器具６０の照明の明るさを、予め定められた明るさとなるように制御する処理である。
【００６７】
まず、ステップ７０１で、パソコン６２は、照明器具６０に照明を予め定められた明るさとする指示を出力する。この明るさは、デジタルカメラ１０の性能や、食卓の周りの環境などにより定まるが、撮影で得られる画像が料理の種別を判定可能な明るさとする。従って、予め定められた明るさは、一般的に通常よりも明るさよりも明るいものとなる。また、予め定められた明るさは、上記料理種別情報を記録する際に、料理を撮影した明るさと同じものとする。これにより、明るさの差が生じないため、料理の特定を正確に行うことのできる画像を得ることができる。
【００６８】
次のステップ７０２で、パソコン６２は、デジタルカメラ１０に撮影を指示する。撮影が指示されたデジタルカメラ１０は、ステップ７０３で撮影する。そして、ステップ７０４で画像データの送受信が行われる。その後、ステップ７０５で、パソコン６２は、照明器具６０に照明を通常の明るさとする指示を出力する。このように、通常の明るさに戻すことにより、ユーザの食事の雰囲気を壊さないようにすることができる。また、消費電力も低減することができる。
【００６９】
なお、照明器具６０が蛍光灯などのようにフリッカーが発生する照明の場合は、同じ露光時間でもＣＣＤ２４が受ける光量に差が出てくる。その場合の蛍光灯の制御例を、図１３のフローチャートを用いて説明する。ステップ８０１で、まず蛍光灯を消灯し、ステップ８０２で、蛍光灯の明るさを示す変数Ｌを初期化し、スルー画像を用いて、ステップ８０３で、予め記録されている食卓の輝度と一致するか否か判断する。一致している場合は、処理を終了し、暗い場合は、ステップ８０４で、ＬがＬmax、すなわち、蛍光灯の最大光量か否かを判断する。
【００７０】
ステップ８０４で、ＬがＬmaxと判断された場合には、処理を終了し、否定判断された場合には、光量を１つ上げて再びステップ８０３の処理を実行する。
【００７１】
以上の処理は、図１４に示されるように、露光開始するタイミングをフリッカーと同期している交流電源の位相に合せて開始させるものであり、この図１４には、上記交流電源、蛍光灯のフリッカー、及び露光時間が示されており、位相が０°の時に開始した場合の一例を示している。このようにすることで、露光時と撮影時の蛍光灯フリッカーによる輝度バラツキをなくすことができる。
【００７２】
なお、蛍光灯の光量を上げる場合、Ｆ値とシャッター時間は変えないようにする。このようにして料理の存在しないテーブルの輝度を基準色サンプルとし、撮影画像同様の明るさになるように蛍光灯の明るさを決定することができる。
【００７３】
次に、上記図５で説明したステップ１０２の名称特定処理について説明する。まず、図１５に示される名称特定処理に係る模式図を用いて概要を説明する。図１５（Ａ）は、料理種別ＤＢに既に登録している料理の面積や色の割合を示す画面である。同図に示されるように、料理の面積や、その面積に占める赤や橙の割合が登録されている。そして、図１５（Ｂ）に示されるように、撮影された料理画像から、その料理画像に示される料理の面積、及び料理に含まれる色の種類毎の面積に占める割合を検出し、料理種別ＤＢを参照して、図１５（Ｃ）に示されるように、料理の名称を特定する。また、料理種別ＤＢに登録されていない新たな料理の場合は、図１５（Ｄ）に示されるように、ユーザにより料理の名称を入力することとなる。
【００７４】
この名称特定処理を、図１６のフローチャートを用いて説明する。この処理は、パソコン６２により実行される処理である。まず、ステップ９０１で、画素数から料理の面積を検出し、ステップ９０２で、料理に含まれる色をＲＧＢに分解する。そして、ステップ９０３で各画素の輝度の段階を検出することで、各画素の色を特定する。各画素の色の特定とは、各画素毎に、図４で説明した料理種別ＤＢの色Ｎｏを特定することを意味する。
【００７５】
次のステップ９０４で、このように特定された各色の画素数（面積）を求める。そして、ステップ９０５で、料理種別ＤＢを参照し、類似の度合いが所定度合い以上で、かつ最も高いものを当該料理の名称として特定する。
【００７６】
このステップ９０５の処理を、図１７を用いて詳細に説明する。図１７は、図４で説明した料理種別ＤＢと、撮影された料理画像の料理の面積と、その料理に含まれる色の種類毎の面積に占める割合とを比較することで、料理の名称を特定することを示す図である。
【００７７】
まず、撮影した料理の色割合を示す撮影画像の欄には、色Ｎｏ０が３５％、色Ｎｏ１が５％、色Ｎｏ９が５％、色Ｎｏ２１が５５％であることが示されている。この色割合から、各料理Ａ、Ｂ、Ｃの色割合との差分を求める。その差分の合計は、同図に示されるように、料理Ａが２００、料理Ｂが２００、料理Ｃが２０となっている。従って、料理Ｃの差分が最も小さいので、類似の度合いが最も高いと言える。これにより、撮影された料理画像の料理の名称を、料理Ｃと特定する。このように、本実施の形態では、類似の度合いを差分の合計としている。
【００７８】
上述した処理において、ＲＧＢ毎の輝度を求めることや、料理種別ＤＢを参照することは、画像処理としては比較的処理の負荷がかからない処理であるため、パソコン６２に負荷をかけずに料理の名称を特定することができる。
【００７９】
上記処理により特定された料理の名称は、図５で説明したステップ１０３で、図１８に示されるようにＨＤＤ７２に記録される。図１８に示されるように、記録される内容は、日付、時刻、及び料理である。
【００８０】
なお、名称特定処理においては、差分の合計に閾値を設けることで、全く異なる料理の名称を特定することを回避できる。具体的には、差分の合計の閾値を例えば１０とし、それ以上の場合は、類似の度合いが最も高い料理であっても、その料理とは特定しない。
【００８１】
なお、以上説明した各フローチャートの処理の流れは一例であり、本発明の主旨を逸脱しない範囲内で処理順序を入れ替えたり、新たなステップを追加したり、不要なステップを削除したりすることができることは言うまでもない。
【００８２】
以上説明したように、本実施の形態に係る撮影システムでは、照明器具６０にデジタルカメラ１０を設置することで、カメラを取り出して撮影するという行為が必要なくなるため、ユーザの負荷が軽減される。また食卓上の照明にカメラを設置することにより、常に順光となり、ストロボを使用する必要がない。また照明の通常の明るさを撮影に適さない明るさにしている場合には、撮影時のみ照明を予め定められた撮影に明るさにすることができる。
【００８３】
更に、新たな料理は名称を入力することで料理種別ＤＢに記録され、その後は画像から自動的に検出できるようになるため、ユーザが写真を見て料理名称を記入する必要がなくなる。
【００８４】
また、以上説明した実施の形態では、料理を飲食物として説明したが、飲料、果物、野菜、菓子等の飲食物も色を有するため、本実施の形態を適用できることは言うまでもない。
【図面の簡単な説明】
【００８５】
【図１】本実施の形態に係る撮影システムを示す図である。
【図２】本実施の形態に係るデジタルカメラの電気系の要部構成を示す図である。
【図３】本実施の形態に係るパソコンの構成を示す図である。
【図４】料理種別情報を示す図である。
【図５】本実施の形態に係る全体的な処理を示すフローチャートである。
【図６】撮影処理（その１）を示すフローチャートである。
【図７】撮影処理（その２）を示すフローチャートである。
【図８】撮影処理（その３）を示すフローチャートである。
【図９】料理存在判定処理を示すフローチャートである。
【図１０】料理存在判定処理を示す模式図である。
【図１１】撮影実行処理（その１）を示すフローチャートである。
【図１２】撮影実行処理（その２）を示すフローチャートである。
【図１３】蛍光灯制御処理を示すフローチャートである。
【図１４】フリッカーが発生する照明での撮影をするタイミングを示す図である。
【図１５】名称特定処理に係る模式図である。
【図１６】名称特定処理を示すフローチャートである。
【図１７】料理種別ＤＢと、撮影された料理画像の料理の面積と、その料理に含まれる色の種類毎の面積に占める割合とを比較することで、料理の名称を特定することを示す図である。
【図１８】記録された料理の名称の一例を示す図である。
【符号の説明】
【００８６】
１０ デジタルカメラ
４０、７０ ＣＰＵ
４８ メモリ
６０ 照明器具
６２ パソコン
６４ 食卓
６６ 料理
６８ 圧力センサ
７２ ＨＤＤ
【技術分野】
【０００１】
本発明は、撮影システムに関し、特に食卓に用意された飲食物を撮影する撮影システムに関する。
【背景技術】
【０００２】
飲食した飲食物の記録を行うことは日常の健康管理のみならず、肥満、糖尿病、高血圧症、高脂血症、拒食・過食症等の治療のために必要である。
【０００３】
このような飲食物の記録に関連して、特許文献１には、食事記録用カメラ及びそれを利用した食事評価システムが開示されている。また、特許文献２には、食事の計測装置及び分析システムが開示されている。
【特許文献１】特開平７−２３４４３９号公報
【特許文献２】特開２００１−２５８８９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術では、撮影者が毎食毎に撮影しなければならず、撮影することを忘れたり、怠ったりする可能性があり、その場合は、飲食物が記録されないという問題点がある。また、特許文献２に開示された技術では、ストロボを必要とするため、その分のコストが必要となるという問題点がある。
【０００５】
このように従来の技術では、飲食物が記録されないという問題点や、ストロボのためにコストが必要となるという問題点があった。
【０００６】
本発明は上記問題点に鑑み、容易に飲食物を記録することができると共に、コストを低減することを可能とする撮影システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１の発明は、飲食物が用意された食卓を照明する照明手段と、前記食卓を撮影可能な状態で前記照明手段に設置された撮像手段と、前記撮像手段により撮影された飲食物を示す飲食物画像に基づき、前記飲食物の名称を特定する特定手段と、前記特定手段により特定された前記飲食物の名称を含む飲食物情報を記録する飲食物情報記録手段と、を有する。
【０００８】
請求項１の発明では、照明手段が飲食物が用意された食卓を照明し、撮像手段が前記食卓を撮影可能な状態で前記照明手段に設置され、特定手段が前記撮像手段により撮影された飲食物を示す飲食物画像に基づき、前記飲食物の名称を特定し、飲食物情報記録手段が前記特定手段により特定された前記飲食物の名称を含む飲食物情報を記録するため、容易に飲食物を記録することができると共に、コストを低減することを可能とする撮影システムを提供することができる。
【０００９】
請求項２の発明は、予め定められた時刻の到来を検知する時刻検知手段を更に有し、前記撮像手段は、前記検知手段により時刻の到来が検知されると、前記食卓を撮影する。
【００１０】
請求項２の発明によれば、食事毎にカメラを用意する必要はなく、更に予め定められた時刻が到来すると自動的に撮影されるため、飲食物を容易に記録することができる。
【００１１】
請求項３の発明は、前記食卓に食器が存在することを検知する食器検知手段と、前記食卓で人が食事をする際に人が席に着いたことを検知する着席検知手段と、を更に有し、前記撮像手段は、前記食器検知手段により前記食卓に食器が存在することを検知され、かつ前記着席検知手段により前記食卓で人が食事をする際に人が席に着いたことを検知されると前記食卓を撮影する。
【００１２】
請求項３の発明によれば、食事毎にカメラを用意する必要はなく、更に飲食物が用意され、かつ椅子に座ると自動的に撮影されるため、飲食物を容易に記録することができる。
【００１３】
請求項４の発明は、前記飲食物画像が示す前記飲食物に含まれる色の種類毎の前記飲食物の面積に占める割合、及び飲食物名を示す飲食物種別情報が予め記録された飲食物種別情報記録手段を更に有し、前記特定手段は、前記撮像手段により撮影された飲食物画像から、該飲食物画像に示される飲食物の面積、及び該飲食物に含まれる色の種類毎の前記面積に占める割合を検出し、前記飲食物種別情報記録手段に記録された飲食物種別情報を参照することにより、類似の度合いが所定度合い以上で、かつ最も高いものを当該飲食物の名称として特定する。
【００１４】
請求項４の発明によれば、比較的処理の負荷がかからない処理によって飲食物の名称を特定することができる。
【００１５】
請求項５の発明は、前記撮像手段による撮影時における前記照明手段の照明の明るさを、予め定められた明るさとなるように制御する照明制御手段を更に有する。
【００１６】
請求項５の発明によれば、撮影時の明るさを予め定められた明るさとすることで、飲食物の特定を正確に行うことのできる画像を得ることができる。
【発明の効果】
【００１７】
本発明によれば、容易に飲食物を記録することができると共に、コストを低減することを可能とする撮影システムを提供することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本実施の形態では、料理を飲食物として説明するが、飲食物には、ビールやジュースなどの飲料、バナナなどの果物、トマトなどの野菜、ケーキなどの菓子等、あらゆる飲食物が含まれる。
【００１９】
まず、図１を参照して、本実施の形態に係る撮影システムについて説明する。同図に示されるように、撮影システムは、デジタルカメラ１０、照明器具６０、パソコン（Personal Computer）６２、及び圧力センサ６８を含む。また、同図には、食卓６４、及び料理６６が示されている。
【００２０】
上記デジタルカメラ１０、及び照明器具６０は、パソコン６２と接続されており、また圧力センサ６８もパソコン６２と接続されており、各々情報のやり取りが可能となっている。上記接続は、例えばＵＳＢ（Universal Serial Bus）や、ＬＡＮケーブルなどによる有線接続や、IEEE 802b/gなどによる無線接続であっても良い。
【００２１】
上記照明器具６０は、料理が用意された食卓を照明する一般的な照明器具である。従って、本実施の形態に係る撮影システムは、ストロボなどのカメラ専用の照明が不要となるため、コストを低減することを可能とする。また、この照明器具６０の照明の明るさを、パソコン６２により制御するようにしても良い。デジタルカメラ１０は、食卓６４を撮影可能な状態で照明器具６０に設置される。なお、デジタルカメラ１０の設置場所は被写体に影を作らないために例えばリング状の蛍光灯の場合はその内側に配置するようにしても良い。
【００２２】
また、デジタルカメラ１０は、撮影した画像を示す画像データをパソコン６２に送信する。パソコン６２は、後述する料理種別ＤＢ（データベース）を記録しており、料理の名称の特定や、料理の記録などの処理を実行する。この処理の詳細については後にフローチャートを用いて説明する。また、パソコン６２には、図示しないディスプレイなどの表示部が設けられている。圧力センサ６８は、同図に示されるように椅子に設けられ、人が席に着いたことを検知し、検知した場合には、その旨をパソコン６２に通知する。
【００２３】
次に、図２を参照して、本実施の形態に係るデジタルカメラ１０の電気系の要部構成を説明する。
【００２４】
デジタルカメラ１０は、レンズを含んで構成された光学ユニット２２と、レンズの光軸後方に配設された撮像素子である電荷結合素子（以下、「ＣＣＤ」という。）２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部２６と、を含んで構成されている。なお、撮像素子としてＣＭＯＳイメージセンサなどを用いても良い。
【００２５】
また、デジタルカメラ１０は、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル（ＡＤ）変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部３０と、を含んで構成されている。
【００２６】
なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行う。
【００２７】
ＣＣＤ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、ＣＣＤ２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データ（以下、単に画像データと記すこともある）に変換された後にデジタル信号処理部３０に入力される。
【００２８】
一方、デジタルカメラ１０は、パソコン６２と画像データなどの情報をやり取りするためのネットワークＩ／Ｆ（インタフェース）３６と、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）４０と、撮影により得られたデジタル画像データ等を記憶するメモリ４８と、メモリ４８に対するアクセスの制御を行うメモリインタフェース４６と、を含んで構成されている。
【００２９】
更に、デジタルカメラ１０は、デジタル画像データに対する圧縮処理及び伸張処理を行う圧縮・伸張処理回路５４と、を含んで構成されている。
【００３０】
なお、本実施の形態のデジタルカメラ１０では、メモリ４８としてＶＲＡＭ（Video RAM）が用いられている。
【００３１】
デジタル信号処理部３０、ＣＰＵ４０、メモリインタフェース４６、及び圧縮・伸張処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０及び圧縮・伸張処理回路５４の作動の制御、メモリ４８へのメモリインタフェース４６を介したアクセスを各々行うことができる。
【００３２】
一方、デジタルカメラ１０には、主としてＣＣＤ２４を駆動させるためのタイミング信号を生成してＣＣＤ２４に供給するタイミングジェネレータ３２が備えられており、ＣＣＤ２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。
【００３３】
更に、デジタルカメラ１０にはモータ駆動部３４が備えられており、光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。
【００３４】
すなわち、本実施の形態に係るレンズ２１は複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ、及び絞り駆動モータは含まれるものであり、これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。
【００３５】
次に、本実施の形態に係るデジタルカメラ１０の撮影時における全体的な動作について簡単に説明する。
【００３６】
まず、ＣＣＤ２４は、光学ユニット２２を介した撮像を行い、被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）毎のアナログ信号をアナログ信号処理部２６に順次出力する。アナログ信号処理部２６は、ＣＣＤ２４から入力されたアナログ信号に対して相関二重サンプリング処理等のアナログ信号処理を施した後にＡＤＣ２８に順次出力する。
【００３７】
ＡＤＣ２８は、アナログ信号処理部２６から入力されたＲ、Ｇ、Ｂ毎のアナログ信号を各々１２ビットのＲ、Ｇ、Ｂの信号（デジタル画像データ）に変換してデジタル信号処理部３０に順次出力する。デジタル信号処理部３０は、内蔵しているラインバッファにＡＤＣ２８から順次入力されるデジタル画像データを蓄積して一旦メモリ４８の所定領域に直接格納する。
【００３８】
メモリ４８の所定領域に格納されたデジタル画像データは、ＣＰＵ４０による制御に応じてデジタル信号処理部３０により読み出され、所定の物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行なうと共に、ガンマ処理及びシャープネス処理を行なって所定ビット、例えば８ビットのデジタル画像データを生成する。
【００３９】
デジタル信号処理部３０は、生成した所定ビットのデジタル画像データに対しＹＣ信号処理を施して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」という。）を生成し、ＹＣ信号をメモリ４８の上記所定領域とは異なる領域に格納する。ここで生成された輝度信号Ｙを用いて被写体の明るさを測光する。
【００４０】
なお、デジタルカメラ１０は、ＣＣＤ２４による連続的な撮像によって得られた動画像（スルー画像）をパソコン６２に送信することができるものとして構成されており、パソコン６２に送信する場合には、生成したＹＣ信号を、ネットワークＩ／Ｆ３６を介して順次送信する。これによってパソコン６２の表示部にスルー画像が表示することができる。
【００４１】
ここで、パソコン６２から撮影指示された場合、ＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、その後、この時点でメモリ４８に格納されているＹＣ信号を、圧縮・伸張処理回路５４によって所定の圧縮形式（例えば、ＪＰＥＧ形式）で圧縮した後にネットワークＩ／Ｆ３６を介してパソコン６２に送信される。
【００４２】
次に、図３を用いて、パソコン６２の構成について説明する。パソコン６２は、ＣＰＵ７０と、ＨＤＤ７２と、ＲＡＭ７４と、ネットワークＩ／Ｆ７６と、ＲＯＭ７８と、表示部８０と、操作入力部８２と、バスとを含む。
【００４３】
ＣＰＵ７０は、パソコン６２の全体の動作を司るものであり、後述するパソコン６２の処理を示すフローチャートは、ＣＰＵ７０により実行される。ＨＤＤ７２は、上述料理種別情報ＤＢなどの料理に関する情報や、プログラム、ＯＳなどが記録される不揮発性の記憶装置である。ＲＡＭ７４は、ＯＳやプログラムやデータが展開される揮発性の記憶装置である。ネットワークＩ／Ｆ７６は、デジタルカメラ１０及び圧力センサ６８に、有線或いは無線で接続するためのものであり、ＮＩＣやそのドライバで構成される。ＲＯＭ７８は、パソコン６２の起動時に動作するブートプログラムなどが記憶されている不揮発性の記憶装置である。表示部８０は、パソコン６２に関する情報を撮影者などのユーザに表示するものである。操作入力部８２は、オペレータがパソコン６２の操作や情報を入力する際に用いられるものである。バスは、情報のやりとりが行われる際に使用される。
【００４４】
次に、図４を用いて料理種別情報について説明する。この料理種別情報は上述したように料理種別ＤＢとしてパソコン６２のＨＤＤ７２に予め記録されている。
【００４５】
料理種別ＤＢは同図に示されるように、色Ｎｏ、輝度、及び色割合（料理に含まれる色の種類毎の料理の面積に占める割合）を含む。また、色割合には、料理名（同図では料理Ａ、Ｂ、Ｃ）毎の割合を示す。
【００４６】
このうち、色Ｎｏは、各色を識別するための識別情報である。輝度は色の種類をＲＧＢの３段階の輝度で示すものである。もちろん、輝度は３段階に限るものではなく、処理の負荷や料理種別情報のデータサイズなどを考慮して段階数を定めるようにしても良い。その場合、例えばｎ段階とすると、色の数は、ｎの３乗となる。
【００４７】
色割合は、各料理Ａ、Ｂ、Ｃを示す画像が示す料理に含まれる色の種類毎の料理の面積に占める割合を示すものである。具体的に例えば、料理Ａの場合、色Ｎｏ４の割合が１０％、色Ｎｏ１３の割合が３０％、色Ｎｏ２３の割合が６０％となっている。
【００４８】
なお、料理は料理Ａ、Ｂ、Ｃに限るものではなく、必要に応じた料理の数だけ記録されている。また、新たな料理の色割合を料理種別情報に登録することも可能である。具体的に例えば、カレーをデジタルカメラ１０で撮影し、そのカレーを示す画像によりパソコン６２が色割合を検出し、ユーザがその色割合の料理として、パソコン６２の操作入力部８２から「カレー」と入力することで、新たな料理の色割合を料理種別情報に登録することができる。
【００４９】
以下、フローチャートを用いて処理の詳細について説明する。以下に示されるフローチャートは、デジタルカメラ１０、及びパソコン６２により実行される処理を示している。また、以下の処理では、デジタルカメラ１０からパソコン６２へ上述したスルー画像が送信されているものとする。
【００５０】
まず、図５を用いて、全体的な処理について説明する。ステップ１０１で、デジタルカメラ１０が料理が用意された食卓を撮影する撮影処理を実行し、ステップ１０２で、パソコン６２は撮影された料理を示す料理画像に基づき、料理の名称を特定する名称特定処理を実行する。そして、ステップ１０３で、パソコン６２は、特定された料理の名称を含む料理情報をＨＤＤ７２に記録する。
【００５１】
上記ステップ１０１、及び１０２の詳細を説明する。まず、ステップ１０１の撮影処理の詳細について説明する。
【００５２】
図６は撮影処理（その１）を示すフローチャートである。この処理は、ユーザがパソコン６２の操作入力部８２に設けられた撮影スイッチを押下することで料理の撮影を行うものである。従って、ステップ２０１で、パソコン６２は、撮影スイッチが押下されたか否かを判断し、押下されたと判断すると、ステップ２０２で撮影を実行する撮影実行処理を行う。この撮影実行処理の詳細については後にフローチャートを用いて説明する。
【００５３】
図６に示される処理により、ユーザは、食事毎にカメラを用意する必要はないため、料理を容易に記録することができる。
【００５４】
次に、図７を用いて、撮影処理（その２）について説明する。この処理は、予め定められた時刻の到来を検知することで料理の撮影を行うものである。従って、この処理は食事の時刻が定まっているユーザに有効な処理である。まず、ステップ３０１で、パソコン６２は、予め定められた時刻が到来したか否かを判断し、到来したと判断すると、ステップ３０２で撮影を実行する上記撮影実行処理を行う。
【００５５】
図７に示される処理により、ユーザは、食事毎にカメラを用意する必要はなく、更に予め定められた時刻が到来すると自動的に撮影されるため、料理を容易に記録することができる。また、飲食物を撮影する時刻を決めておくと、ユーザはこの時間に食事をするようにするため、毎日決まった時間に食事をするようになり、ユーザの体にかかる負担を軽減することができる。
【００５６】
次に、図８を用いて、撮影処理（その３）について説明する。この処理は、食卓に食器が存在することを検知され、かつ食卓で人が食事をする際に人が席に着いたことを検知されると食卓を撮影する処理である。
【００５７】
従って、まずステップ４０１で、パソコン６２は、料理存在判定処理を行う。この処理は後述するように料理が食卓に存在するか否かを判定する処理である。
【００５８】
次のステップ４０２で、パソコン６２は、料理が存在したか否かを判断し、料理が存在しない場合には、再びステップ４０１の処理を行う。一方、料理が存在した場合には、ステップ４０３で、圧力センサ６８により圧力が検知されたか否かを判断する。圧力が検知されない場合には、再びステップ４０１の処理を行う。一方、圧力が検知された場合には、パソコン６２は、ステップ４０４で、撮影実行処理を行う。
【００５９】
図８に示される処理により、ユーザは、食事毎にカメラを用意する必要はなく、更に料理が用意され、かつ椅子に座ると自動的に撮影されるため、料理を容易に記録することができる。また、料理を食べるとき以外に座っても、料理が検出されないために料理が撮影されることはない。
【００６０】
上記ステップ４０１で行われる料理存在判定処理を、図９のフローチャート及び図１０を用いて説明する。まず、パソコン６２は、図１０（Ａ）に示されるような料理が存在しない食卓から、予め食卓の色を記録しておく。
【００６１】
そして、ステップ５０１で、パソコン６２は、食卓の色と異なる色が食卓上に存在するか否か判断し、肯定判断した場合（図１０（Ｂ）参照）には、ステップ５０２で料理が存在すると判定する。そして、パソコン６２は、ステップ５０３で、食卓の色以外の色を検出し（図１０（Ｃ）参照）、ステップ５０４で食卓の色以外の色が連続的に存在する固まりを料理として検出する。このとき、図１０（Ｄ）に示されるように、各料理に対して番号を与えるようにしても良い。
【００６２】
一方、ステップ５０１で否定判断した場合、パソコン６２は、ステップ５０５で料理が存在しないと判定する。
【００６３】
なお、食卓の色と異なる色が存在することは、料理だけではなく、箸、スプーンなどでもあり得るため、その場合も料理が存在すると判定される。また、上述した料理存在判定処理では、画像を用いて料理が存在するか否かを判断しているが、例えば食器にＩＣタグを取り付けておき、そのＩＣタグとパソコン６２とがやり取りを行うことで、料理が存在するか否かを判断するようにしても良い。
【００６４】
次に、上記図６、図７、図８で説明したフローチャートで実行される撮影実行処理を、図１１、図１２のフローチャートを用いて説明する。
【００６５】
まず、撮影実行処理（その１）を、図１１のフローチャートを用いて説明する。ステップ６０１で、パソコン６２は、デジタルカメラ１０に撮影を指示する。撮影が指示されたデジタルカメラ１０は、ステップ６０２で撮影する。そして、ステップ６０３で画像データの送受信が行われる。この処理は、デジタルカメラ１０が撮影により得られた画像データをパソコン６２に送信し、パソコン６２がその画像データを受信する処理である。
【００６６】
次に、撮影実行処理（その２）を、図１２のフローチャートを用いて説明する。この処理は、撮影時における照明器具６０の照明の明るさを、予め定められた明るさとなるように制御する処理である。
【００６７】
まず、ステップ７０１で、パソコン６２は、照明器具６０に照明を予め定められた明るさとする指示を出力する。この明るさは、デジタルカメラ１０の性能や、食卓の周りの環境などにより定まるが、撮影で得られる画像が料理の種別を判定可能な明るさとする。従って、予め定められた明るさは、一般的に通常よりも明るさよりも明るいものとなる。また、予め定められた明るさは、上記料理種別情報を記録する際に、料理を撮影した明るさと同じものとする。これにより、明るさの差が生じないため、料理の特定を正確に行うことのできる画像を得ることができる。
【００６８】
次のステップ７０２で、パソコン６２は、デジタルカメラ１０に撮影を指示する。撮影が指示されたデジタルカメラ１０は、ステップ７０３で撮影する。そして、ステップ７０４で画像データの送受信が行われる。その後、ステップ７０５で、パソコン６２は、照明器具６０に照明を通常の明るさとする指示を出力する。このように、通常の明るさに戻すことにより、ユーザの食事の雰囲気を壊さないようにすることができる。また、消費電力も低減することができる。
【００６９】
なお、照明器具６０が蛍光灯などのようにフリッカーが発生する照明の場合は、同じ露光時間でもＣＣＤ２４が受ける光量に差が出てくる。その場合の蛍光灯の制御例を、図１３のフローチャートを用いて説明する。ステップ８０１で、まず蛍光灯を消灯し、ステップ８０２で、蛍光灯の明るさを示す変数Ｌを初期化し、スルー画像を用いて、ステップ８０３で、予め記録されている食卓の輝度と一致するか否か判断する。一致している場合は、処理を終了し、暗い場合は、ステップ８０４で、ＬがＬmax、すなわち、蛍光灯の最大光量か否かを判断する。
【００７０】
ステップ８０４で、ＬがＬmaxと判断された場合には、処理を終了し、否定判断された場合には、光量を１つ上げて再びステップ８０３の処理を実行する。
【００７１】
以上の処理は、図１４に示されるように、露光開始するタイミングをフリッカーと同期している交流電源の位相に合せて開始させるものであり、この図１４には、上記交流電源、蛍光灯のフリッカー、及び露光時間が示されており、位相が０°の時に開始した場合の一例を示している。このようにすることで、露光時と撮影時の蛍光灯フリッカーによる輝度バラツキをなくすことができる。
【００７２】
なお、蛍光灯の光量を上げる場合、Ｆ値とシャッター時間は変えないようにする。このようにして料理の存在しないテーブルの輝度を基準色サンプルとし、撮影画像同様の明るさになるように蛍光灯の明るさを決定することができる。
【００７３】
次に、上記図５で説明したステップ１０２の名称特定処理について説明する。まず、図１５に示される名称特定処理に係る模式図を用いて概要を説明する。図１５（Ａ）は、料理種別ＤＢに既に登録している料理の面積や色の割合を示す画面である。同図に示されるように、料理の面積や、その面積に占める赤や橙の割合が登録されている。そして、図１５（Ｂ）に示されるように、撮影された料理画像から、その料理画像に示される料理の面積、及び料理に含まれる色の種類毎の面積に占める割合を検出し、料理種別ＤＢを参照して、図１５（Ｃ）に示されるように、料理の名称を特定する。また、料理種別ＤＢに登録されていない新たな料理の場合は、図１５（Ｄ）に示されるように、ユーザにより料理の名称を入力することとなる。
【００７４】
この名称特定処理を、図１６のフローチャートを用いて説明する。この処理は、パソコン６２により実行される処理である。まず、ステップ９０１で、画素数から料理の面積を検出し、ステップ９０２で、料理に含まれる色をＲＧＢに分解する。そして、ステップ９０３で各画素の輝度の段階を検出することで、各画素の色を特定する。各画素の色の特定とは、各画素毎に、図４で説明した料理種別ＤＢの色Ｎｏを特定することを意味する。
【００７５】
次のステップ９０４で、このように特定された各色の画素数（面積）を求める。そして、ステップ９０５で、料理種別ＤＢを参照し、類似の度合いが所定度合い以上で、かつ最も高いものを当該料理の名称として特定する。
【００７６】
このステップ９０５の処理を、図１７を用いて詳細に説明する。図１７は、図４で説明した料理種別ＤＢと、撮影された料理画像の料理の面積と、その料理に含まれる色の種類毎の面積に占める割合とを比較することで、料理の名称を特定することを示す図である。
【００７７】
まず、撮影した料理の色割合を示す撮影画像の欄には、色Ｎｏ０が３５％、色Ｎｏ１が５％、色Ｎｏ９が５％、色Ｎｏ２１が５５％であることが示されている。この色割合から、各料理Ａ、Ｂ、Ｃの色割合との差分を求める。その差分の合計は、同図に示されるように、料理Ａが２００、料理Ｂが２００、料理Ｃが２０となっている。従って、料理Ｃの差分が最も小さいので、類似の度合いが最も高いと言える。これにより、撮影された料理画像の料理の名称を、料理Ｃと特定する。このように、本実施の形態では、類似の度合いを差分の合計としている。
【００７８】
上述した処理において、ＲＧＢ毎の輝度を求めることや、料理種別ＤＢを参照することは、画像処理としては比較的処理の負荷がかからない処理であるため、パソコン６２に負荷をかけずに料理の名称を特定することができる。
【００７９】
上記処理により特定された料理の名称は、図５で説明したステップ１０３で、図１８に示されるようにＨＤＤ７２に記録される。図１８に示されるように、記録される内容は、日付、時刻、及び料理である。
【００８０】
なお、名称特定処理においては、差分の合計に閾値を設けることで、全く異なる料理の名称を特定することを回避できる。具体的には、差分の合計の閾値を例えば１０とし、それ以上の場合は、類似の度合いが最も高い料理であっても、その料理とは特定しない。
【００８１】
なお、以上説明した各フローチャートの処理の流れは一例であり、本発明の主旨を逸脱しない範囲内で処理順序を入れ替えたり、新たなステップを追加したり、不要なステップを削除したりすることができることは言うまでもない。
【００８２】
以上説明したように、本実施の形態に係る撮影システムでは、照明器具６０にデジタルカメラ１０を設置することで、カメラを取り出して撮影するという行為が必要なくなるため、ユーザの負荷が軽減される。また食卓上の照明にカメラを設置することにより、常に順光となり、ストロボを使用する必要がない。また照明の通常の明るさを撮影に適さない明るさにしている場合には、撮影時のみ照明を予め定められた撮影に明るさにすることができる。
【００８３】
更に、新たな料理は名称を入力することで料理種別ＤＢに記録され、その後は画像から自動的に検出できるようになるため、ユーザが写真を見て料理名称を記入する必要がなくなる。
【００８４】
また、以上説明した実施の形態では、料理を飲食物として説明したが、飲料、果物、野菜、菓子等の飲食物も色を有するため、本実施の形態を適用できることは言うまでもない。
【図面の簡単な説明】
【００８５】
【図１】本実施の形態に係る撮影システムを示す図である。
【図２】本実施の形態に係るデジタルカメラの電気系の要部構成を示す図である。
【図３】本実施の形態に係るパソコンの構成を示す図である。
【図４】料理種別情報を示す図である。
【図５】本実施の形態に係る全体的な処理を示すフローチャートである。
【図６】撮影処理（その１）を示すフローチャートである。
【図７】撮影処理（その２）を示すフローチャートである。
【図８】撮影処理（その３）を示すフローチャートである。
【図９】料理存在判定処理を示すフローチャートである。
【図１０】料理存在判定処理を示す模式図である。
【図１１】撮影実行処理（その１）を示すフローチャートである。
【図１２】撮影実行処理（その２）を示すフローチャートである。
【図１３】蛍光灯制御処理を示すフローチャートである。
【図１４】フリッカーが発生する照明での撮影をするタイミングを示す図である。
【図１５】名称特定処理に係る模式図である。
【図１６】名称特定処理を示すフローチャートである。
【図１７】料理種別ＤＢと、撮影された料理画像の料理の面積と、その料理に含まれる色の種類毎の面積に占める割合とを比較することで、料理の名称を特定することを示す図である。
【図１８】記録された料理の名称の一例を示す図である。
【符号の説明】
【００８６】
１０ デジタルカメラ
４０、７０ ＣＰＵ
４８ メモリ
６０ 照明器具
６２ パソコン
６４ 食卓
６６ 料理
６８ 圧力センサ
７２ ＨＤＤ
【特許請求の範囲】
【請求項１】
飲食物が用意された食卓を照明する照明手段と、
前記食卓を撮影可能な状態で前記照明手段に設置された撮像手段と、
前記撮像手段により撮影された飲食物を示す飲食物画像に基づき、前記飲食物の名称を特定する特定手段と、
前記特定手段により特定された前記飲食物の名称を含む飲食物情報を記録する飲食物情報記録手段と、
を有する撮影システム。
【請求項２】
予め定められた時刻の到来を検知する時刻検知手段を更に有し、
前記撮像手段は、前記検知手段により時刻の到来が検知されると、前記食卓を撮影する請求項１に記載の撮影システム。
【請求項３】
前記食卓に食器が存在することを検知する食器検知手段と、
前記食卓で人が食事をする際に人が席に着いたことを検知する着席検知手段と、
を更に有し、
前記撮像手段は、前記食器検知手段により前記食卓に食器が存在することを検知され、かつ前記着席検知手段により前記食卓で人が食事をする際に人が席に着いたことを検知されると前記食卓を撮影する請求項１又は請求項２に記載の撮影システム。
【請求項４】
前記飲食物画像が示す前記飲食物に含まれる色の種類毎の前記飲食物の面積に占める割合、及び飲食物名を示す飲食物種別情報が予め記録された飲食物種別情報記録手段を更に有し、
前記特定手段は、前記撮像手段により撮影された飲食物画像から、該飲食物画像に示される飲食物の面積、及び該飲食物に含まれる色の種類毎の前記面積に占める割合を検出し、前記飲食物種別情報記録手段に記録された飲食物種別情報を参照することにより、類似の度合いが所定度合い以上で、かつ最も高いものを当該飲食物の名称として特定する請求項１から請求項３のいずれか１項に記載の撮影システム。
【請求項５】
前記撮像手段による撮影時における前記照明手段の照明の明るさを、予め定められた明るさとなるように制御する照明制御手段を更に有する請求項１から請求項４のいずれか１項に記載の撮影システム。
【請求項１】
飲食物が用意された食卓を照明する照明手段と、
前記食卓を撮影可能な状態で前記照明手段に設置された撮像手段と、
前記撮像手段により撮影された飲食物を示す飲食物画像に基づき、前記飲食物の名称を特定する特定手段と、
前記特定手段により特定された前記飲食物の名称を含む飲食物情報を記録する飲食物情報記録手段と、
を有する撮影システム。
【請求項２】
予め定められた時刻の到来を検知する時刻検知手段を更に有し、
前記撮像手段は、前記検知手段により時刻の到来が検知されると、前記食卓を撮影する請求項１に記載の撮影システム。
【請求項３】
前記食卓に食器が存在することを検知する食器検知手段と、
前記食卓で人が食事をする際に人が席に着いたことを検知する着席検知手段と、
を更に有し、
前記撮像手段は、前記食器検知手段により前記食卓に食器が存在することを検知され、かつ前記着席検知手段により前記食卓で人が食事をする際に人が席に着いたことを検知されると前記食卓を撮影する請求項１又は請求項２に記載の撮影システム。
【請求項４】
前記飲食物画像が示す前記飲食物に含まれる色の種類毎の前記飲食物の面積に占める割合、及び飲食物名を示す飲食物種別情報が予め記録された飲食物種別情報記録手段を更に有し、
前記特定手段は、前記撮像手段により撮影された飲食物画像から、該飲食物画像に示される飲食物の面積、及び該飲食物に含まれる色の種類毎の前記面積に占める割合を検出し、前記飲食物種別情報記録手段に記録された飲食物種別情報を参照することにより、類似の度合いが所定度合い以上で、かつ最も高いものを当該飲食物の名称として特定する請求項１から請求項３のいずれか１項に記載の撮影システム。
【請求項５】
前記撮像手段による撮影時における前記照明手段の照明の明るさを、予め定められた明るさとなるように制御する照明制御手段を更に有する請求項１から請求項４のいずれか１項に記載の撮影システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００８−１９３５７０（Ｐ２００８−１９３５７０Ａ）
【公開日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願番号】特願２００７−２７９０１（Ｐ２００７−２７９０１）
【出願日】平成１９年２月７日（２００７．２．７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願日】平成１９年２月７日（２００７．２．７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]