情報処理装置、情報処理方法、およびプログラム
【課題】料理画像に写っている料理の組み合わせを判別する。
【解決手段】本開示の一側面である情報処理装置は、画像の被写体領域を検出する検出部と、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成部と、前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成部と、生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別部とを備える。本開示は、例えば、料理画像に写っている料理の組み合わせを判別する場合に適用できる。
【解決手段】本開示の一側面である情報処理装置は、画像の被写体領域を検出する検出部と、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成部と、前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成部と、生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別部とを備える。本開示は、例えば、料理画像に写っている料理の組み合わせを判別する場合に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、画像に写っている料理を判別できるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、料理を撮影して得られた画像を解析することにより、その料理の種類（その料理が何であるのか）を判別する料理画像解析技術が存在する。この従来の料理画像解析技術は、例えば、喫食時における摂取カロリーを調べるためのシステムなどに適用されている。
【０００３】
当該システムでは、例えば、飲食店で提供された料理をカメラ付き携帯端末にて撮像し、料理の画像とその飲食店の情報を所定のサーバに通知することにより、料理の喫食による摂取カロリーなどの情報がサーバからユーザのカメラ付き携帯端末に通知されるようになされている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１１８５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した従来の料理画像解析技術では、画像内に複数の料理が写っている場合、それらの各料理に対してそれぞれその種類を個別に判別する処理を行っており、同時に写っている料理どうしの組み合わせなどは考慮されていなかった。
【０００６】
本開示はこのような状況に鑑みてなされたものであり、同時に喫食される料理どうしの組み合わせを利用することによって、より高い精度で画像内の料理を判別できるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の一側面である情報処理装置は、画像の被写体領域を検出する検出部と、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成部と、前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成部と、生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別部とを備える。
【０００８】
本開示の一側面である情報処理装置は、学習用の画像に対応する前記組み合わせ特徴量とラベルとを入力として機械学習を行う組み合わせ被写体判別器をさらに備えることができ、前記判別部は、生成された前記組み合わせ特徴量に基づき、予め学習済みの組み合わせ被写体判別器を用いて、前記画像に写っている被写体の組み合わせに対応する前記ラベルを判別することができる。
【０００９】
前記特徴量生成部は、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報と、前記被写体領域における被写体個別の判別結果とを組み合わせて前記特徴量を生成することができる。
【００１０】
前記特徴量生成部は、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報と、前記被写体領域の画像特徴とを組み合わせて前記特徴量を生成することができる。
【００１１】
前記被写体領域の前記位置情報には、前記被写体領域の形状、中心座標、大きさ、または傾きのうちの少なくとも一つを含むことができる。
【００１２】
前記画像は、料理を被写体とする料理画像であり、前記検出手段は、前記料理画像上の皿が写っている領域を前記被写体領域として検出することができる。
【００１３】
本開示の一側面である情報処理方法は、情報処理装置の情報処理方法において、前記情報装置による、画像の被写体領域を検出する検出ステップと、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成ステップと、前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成ステップと、生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別ステップとを含む。
【００１４】
本開示の一側面であるプログラムは、コンピュータを、画像の被写体領域を検出する検出部と、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成部と、前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成部と、生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別部として機能させる。
【００１５】
本開示の一側面においては、画像の被写体領域が検出され、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量が生成され、前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量が生成され、生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルが判別される。
【発明の効果】
【００１６】
本開示の一側面によれば、画像内の料理を判別することができる。
【００１７】
また、本開示の一側面によれば、画像内の料理の組み合わせを判別することができる。
【図面の簡単な説明】
【００１８】
【図１】料理画像に対する料理組み合わせの判別結果を示す図である。
【図２】本開示を適用した料理判別装置の構成例を示すブロック図である。
【図３】料理領域の検出を説明する図である。
【図４】料理領域の検出結果に含まれる項目を示す図である。
【図５】円形の料理領域の検出結果を説明するための図である。
【図６】矩形の料理領域の検出結果を説明するための図である。
【図７】料理クラスの一例を示す図である。
【図８】料理領域の特徴量を示す図である。
【図９】料理組み合わせクラスを示す図である。
【図１０】料理判別処理を説明するフローチャートである。
【図１１】学習処理を説明するフローチャートである。
【図１２】判別処理を説明するフローチャートである。
【図１３】料理画像の料理を単品として判別する例を説明するための図である。
【図１４】料理画像の料理を単品として判別する例を説明するための図である。
【図１５】料理画像の料理を単品として判別する例を説明するための図である。
【図１６】料理画像に対する料理カテゴリの判別結果を示す図である。
【図１７】料理カテゴリクラスを示す図である。
【図１８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２０】
＜１．実施の形態＞
初めに、実施の形態である料理判別装置の概要を説明する。
【００２１】
一般に、料理に関しては以下のような相関性が知られている。例えば、料理と配膳方法の相関として、主食となるご飯と味噌汁は、おかずとなる主菜と副菜よりも手前側に配膳されることが多い。料理とそれが盛られる皿の相関として、魚料理は矩形皿に盛られることが多い。同時に喫食される料理どうしの相関として、主食とおかずを兼ねる料理どうしの組み合わせは少ない。なお、当然ながら、上述した相関に当てはまらない例外も多数存在する。
【００２２】
このように、料理については、配膳の位置、盛られる皿の形、同時に喫食される料理との組み合わせなどと相関がある。この相関を利用すれば、単にその料理の画像的な特徴だけを解析して種類を判別するよりも、判別精度を上げることができると考えられる。
【００２３】
そこで、実施の形態である料理判別装置においては、そのような相関を利用して、料理を単品としてではなく、複数の料理の組み合わせとして判別するようにする。
【００２４】
図１は、料理画像に写っている複数の料理を料理組み合わせとして判別したときの判別結果を示している。同図Ａには、ラーメンと炒飯が写っているが、この画像を判別対象とした場合、一方の料理に対してラーメンと判別され、他方の料理に対して炒飯と判別されるのではなく、画像全体に対する料理組み合わせとして「ラーメン、炒飯」と判別される。なお、料理組み合わせの表記では、画像を占める面積が広いものが先（左側）に記述される。したがって、料理組み合わせが判別された後、画像内でより広い面積を占める料理に対してラーメンと判別し、他方の料理に対して炒飯と判別することが可能である。
【００２５】
同図Ｂについても同様に、味噌汁、ご飯が単品として判別されるのではなく、画像全体に対して料理組み合わせ「味噌汁、ご飯」と判別される。同図Ｃについても同様である。
【００２６】
［料理判別装置の構成例］
図２は、実施の形態である料理判別装置の構成例を示している。この料理判別装置１０は、料理画像取得部１１、料理領域検出部１２、特徴量生成部１３、組み合わせ特徴量生成部１４、ラベル設定部１５、組み合わせ特徴量判別器１６、組み合わせ判別部１７、ラベル判定部１８、および提示部１９から構成される。
【００２７】
料理画像取得部１１は、組み合わせ特徴量判別器１６を機械学習させるための学習処理時において、学習用の料理画像を取得して料理領域検出部１２に出力する。ただし、学習用の料理画像については、後述する料理組み合わせクラスのいずれかに対応する料理の組み合わせが被写体として写っているものを用意するようにする。また、料理画像取得部１１は、料理画像に写っている料理の組み合わせを判別する判別処理時において、判別対象とする料理画像（被写体として１以上の料理が撮影されている画像）を取得して料理領域検出部１２に出力する。
【００２８】
料理領域検出部１２は、料理画像上の料理が写っている領域（料理領域）を検出し、検出結果を特徴量生成部１３に出力する。具体的には、料理が盛られている皿の形状を円（楕円を含む）または矩形の皿と想定し、料理画像から円、楕円、または矩形の皿を料理領域として検出する。なお、検出された料理領域をユーザが削除したり、ユーザが指定した範囲を料理領域として追加したりできるようにしてもよい。
【００２９】
図３は、料理画像から円、楕円、または矩形の皿が料理領域として検出される例を示している。同図Ａに示されるように、料理画像に複数の料理領域（いまの場合、楕円形の皿）が存在する場合、その面積が広い方からの順序を示す番号が付与される。同図Ｂは、料理画像から矩形の皿が料理領域として検出された状態を示している。なお、料理領域として検出する皿の形状については、円、楕円、または矩形に限定されるものではなく、多角形などであってもよい。
【００３０】
図４は、料理領域の検出結果に含まれる項目を示している。料理領域の検出結果には、皿の種類を示すdish-id、料理領域の位置を示すｘ，ｙ、料理領域の大きさを示すarea、および料理領域の角度を示すradの５項目が含まれる。換言すれば、料理領域の検出結果は、５次元ベクトルで表現できる。
【００３１】
皿の種類を示すdish-idは、０（円形（楕円を含む））または１（矩形）とされる。料理領域の位置を示すｘ，ｙは、料理画像における料理領域の中心座標を料理画像のサイズで正規化した値であり、0.0から1.0までの値とされる。料理領域の大きさを示すareaは、料理領域の面積を料理画像全体の面積で正規化した値であり、0.0から1.0までの値とされる。料理領域の角度を示すradは、Ｘ軸から料理領域の長辺までの角度であり、０からπまでの値とされる。
【００３２】
図５は、円形の料理領域が検出された場合における検出結果に含まれる、料理領域の位置ｘ，ｙと角度radの例を示している。図６は、矩形の料理領域が検出された場合における検出結果に含まれる場合、料理領域の位置ｘ，ｙと角度radの例を示している。
【００３３】
図２に戻る。特徴量生成部１３は、検出された各料理領域に対する特徴量を生成する。具体的には、特徴量生成部１３は、料理領域に写っている料理を単品として判別する判別器１３Ａを内蔵しており、その判別器１３Ａの判別結果を料理領域の特徴量の一部として用いる。
【００３４】
判別器１３Ａは、複数Ｎの料理クラス（種類）の単品料理をそれぞれ撮像して得られた学習用の料理画像を用いた機械学習（ブースティング、ランダムフォレストなど）によって学習済みである。したがって、判別器１３Ａにより料理領域の料理の種類を判別した場合、判別結果として複数Ｎの各料理クラスに対する料理領域の適合の度合いを示す判別スコアが出力される。換言すれば、判別器１３Ａは、検出された各料理領域に対する特徴量の一部として、複数Ｎの各料理クラスに対する料理領域の判別スコアを要素とするＮ次元ベクトルを出力することになる。
【００３５】
図７は、判別器１３Ａに対して予め学習させておく料理クラスの一例を示している。本実施の形態の場合、料理クラスは、同図に示されるように、料理クラスは、ご飯、丼もの、味噌汁、スープ、うどん、そば、ラーメン、パスタ、肉料理、魚料理、野菜料理、サラダ、果物、スイーツ、飲み物、および弁当の１６クラスとする。なお、当然ながら、料理クラスの数やその名称についてはこれに限るものではない。
【００３６】
なお、特徴量生成部１３において判別器１３Ａを用いて、各料理領域に対する特徴量の一部を生成する代わりに、従来存在している画像特徴量抽出技術（色情報、テクスチャ情報、エッジ情報などを用いるもの）を採用するようにしてもよい。
【００３７】
特徴量生成部１３はさらに、各料理領域に対して、料理領域検出部１２による料理領域の検出結果（５次元ベクトル）と、判別器１３Ａの判別結果（１６次元ベクトル）とを連結し、図８に示すような特徴量（２１次元ベクトル）を生成して、組み合わせ特徴量生成部１４に出力する。
【００３８】
組み合わせ特徴量生成部１４は、料理画像の各料理領域に対して生成された特徴量（２１次元ベクトル）を、対応する料理領域の面積の大きい順に連結することにより、料理画像に対応する組み合わせ特徴量を生成する。生成された組み合わせ特徴量は、学習処理時においては組み合わせ特徴量判別器１６に、判別処理時においては組み合わせ判別部１７に出力される。
【００３９】
なお、料理画像から複数Ｍの料理領域が検出されている場合、組み合わせ特徴量としてＭ×２１次元ベクトルが生成されることになるが、Ｍの値によっては後段の演算量が膨大となってしまう。そこで、本実施の形態においては、料理画像から検出された料理領域のうち、面積が大きい方から順に２番目までの特徴量を連結し、４２（＝２×２１）次元ベクトルの組み合わせ特徴量を生成するものとする。
【００４０】
ラベル設定部１５は、学習処理時において、学習用の料理画像に写っている料理の組み合わせ（料理組み合わせクラス）を示す料理組み合わせラベルを組み合わせ特徴量判別器１６に通知する。
【００４１】
図９は、料理組み合わせクラスの一例を示している。ただし、同図は、図７に示されたように料理クラスを１６クラスとした場合に対応しており、料理組み合わせクラスのクラス数は、同じ料理の組み合わせを許容した２５６（＝１６×１６）クラスとなっている。料理組み合わせクラスラベルの表記は、料理画像を占める面積が大きい方から順に２種類の料理名が列記される。
【００４２】
組み合わせ特徴量判別器１６は、学習処理時においては、学習用の料理画像に対する組み合わせ特徴量と、ラベル設定部１５から通知される当該学習用の料理画像に対する料理組み合わせラベルとを入力として機械学習（ブースティング、ランダムフォレストなど）を行う。判別処理時においては、判別対象の料理画像に対する組み合わせ特徴量を入力とし、その判別結果として、各料理組み合わせクラス（２５６クラス）に対する判別対象の料理画像の適合の度合いを示す判別スコアを出力する。
【００４３】
組み合わせ判別部１７は、判別処理時において、判別対象の料理画像に対する組み合わせ特徴量を組み合わせ特徴量判別器１６に入力し、それに応じて組み合わせ特徴量判別器１６から出力される２５６クラス分の判別スコアをラベル判定部１８に出力する。
【００４４】
ラベル判定部１８は、組み合わせ特徴量判別器１６の判別結果である２５６クラス分の判別スコアに基づき、判別対象の料理画像に対する組み合わせ料理ラベルを判定して判定結果を提示部１９に出力する。具体的には、２５６クラスの組み合わせ料理ラベルのうち、最も判別スコアが高いものを判別対象の料理画像に対する組み合わせ料理ラベルとして判定する。あるいは、２５６クラスの組み合わせ料理ラベルのうち、判別スコアが所定の閾値以上であるもの全て、または判別スコアに既知の料理どうしの同時生起確率を乗算した値が最大のものを判別対象の料理画像に対する組み合わせ料理ラベルとして判定するようにしてもよい。
【００４５】
提示部１９は、ラベル判定部１８による判定結果をユーザに提示する。
【００４６】
［動作説明］
次に、料理判別装置１０の動作について説明する。
【００４７】
図１０は、料理判別装置１０による料理判別処理を説明するフローチャートである。
【００４８】
この料理判別処理は、ステップＳ１として、組み合わせ特徴量判別器１６を学習させるための学習処理が行われた後に、ステップＳ２として、判別対象の料理画像に対する判別処理が行われる。学習処理では、所定数の学習用の料理画像を用いた学習処理が行われるが、判別処理を行う段階になっても、さらに学習用の料理画像を入力として学習料理を継続して実行してもよい。学習処理を継続することにより、組み合わせ特徴量判別器１６の判別精度を上げることができる。
【００４９】
図１１は、上述したステップＳ１の学習処理を説明するフローチャートである。
【００５０】
ステップＳ１１において、料理画像取得部１１は、学習用の料理画像を取得して料理領域検出部１２に出力する。
【００５１】
ステップＳ１２において、料理領域検出部１２は、料理画像から料理領域を検出し、検出結果として、各料理領域毎に５次元ベクトルを特徴量生成部１３に出力する。ステップＳ１３において、特徴量生成部１３は、検出された各料理領域に対する特徴量として、判別器１３Ａの判別結果（１６次元ベクトル）と、料理領域検出部１２による料理領域の検出結果（５次元ベクトル）とを連結することにより２１次元ベクトルを生成して組み合わせ特徴量生成部１４に出力する。
【００５２】
ステップＳ１４において、組み合わせ特徴量生成部１４は、料理画像における料理領域の面積の大きい方から順に２番目までにそれぞれ対応する特徴量（２１次元ベクトル）を連結することにより、料理画像に対応する組み合わせ特徴量（４２次元ベクトル）を生成し、組み合わせ特徴量判別器１６に出力する。
【００５３】
ステップＳ１５において、ラベル設定部１５は、学習用の料理画像に写っている料理の組み合わせ（料理組み合わせクラス）を示す料理組み合わせラベルを組み合わせ特徴量判別器１６に通知する。組み合わせ特徴量判別器１６は、学習用の料理画像に対する組み合わせ特徴量と、ラベル設定部１５から通知される当該学習用の料理画像に対する料理組み合わせラベルとを入力として機械学習を行う。以上で学習処理の説明を終了する。なお、組み合わせ特徴量判別器１６による判別精度を上げるためには、上述したステップＳ１１乃至Ｓ１５の処理を繰り返し実行する必要がある。
【００５４】
図１２は、上述したステップＳ２の判別処理を説明するフローチャートである。
【００５５】
ステップＳ２１において、料理画像取得部１１は、判別対象の料理画像を取得して料理領域検出部１２に出力する。
【００５６】
ステップＳ２２において、料理領域検出部１２は、料理画像から料理領域を検出し、検出結果として、各料理領域毎に５次元ベクトルを特徴量生成部１３に出力する。ステップＳ２３において、特徴量生成部１３は、検出された各料理領域に対する特徴量として、判別器１３Ａの判別結果（１６次元ベクトル）と、料理領域検出部１２による料理領域の検出結果（５次元ベクトル）とを連結することにより２１次元ベクトルを生成して組み合わせ特徴量生成部１４に出力する。
【００５７】
ステップＳ２４において、組み合わせ特徴量生成部１４は、料理画像における料理領域の面積の大きい方から順に２番目までにそれぞれ対応する特徴量を連結することにより、料理画像に対応する組み合わせ特徴量を生成して組み合わせ判別部１７に出力する。ステップＳ２５において、組み合わせ判別部１７は、判別対象の料理画像に対する組み合わせ特徴量を組み合わせ特徴量判別器１６に入力し、それに応じて組み合わせ特徴量判別器１６から出力される２５６クラス分の判別スコアをラベル判定部１８に出力する。
【００５８】
ステップＳ２６において、ラベル判定部１８は、組み合わせ特徴量判別器１６からの判別スコアに基づき、判別対象の料理画像に対する組み合わせ料理ラベルを判定して判定結果を提示部１９に出力する。ステップＳ２７において、提示部１９は、ラベル判定部１８による判定結果をユーザに提示する。以上で、判別処理の説明を終了する。
【００５９】
以上説明した判別処理によれば、判別対象の料理画像に写っている料理の組み合わせをユーザに提示することができる。
【００６０】
なお、組み合わせ料理ラベルを判別した後に、判別対象の料理画像に写っている各料理の種類（料理ラベル）を個別に判定することもできる。
【００６１】
判別対象の料理画像に写っている料理の数が２以下である場合には、料理領域の面積が大きい方から順に、判別された組み合わせ料理ラベルの左側から順に並ぶ料理ラベルを対応付ければよい。
【００６２】
判別対象の料理画像に写っている料理の数が３である場合には、図１３に示されるように、検出された３つの料理領域を総当りで２つずつ組み合わせて組み合わせ特徴量を生成し、それを組み合わせ特徴量判別器１６に入力して２５６クラス分の判別スコアを得るようにする。次に、３つの各料理領域に対して全て（１６クラス）の料理ラベルを割り当てたときの判別スコアの合計値を算出し、その合計値が最大となる組み合わせに対応する組み合わせ料理ラベルを判別対象の料理画像の組み合わせ料理ラベルと判定するようにする。
【００６３】
例えば、図１４は、判別対象の料理画像における上側の料理領域に料理ラベル「丼もの」、左側の料理領域に料理ラベル「スープ」、右側の料理領域に料理ラベル「ご飯」を割り当てた場合である。この場合、判別スコアの合計値は０．７となる。
【００６４】
また例えば、図１５は、判別対象の料理画像における上側の料理領域に料理ラベル「魚料理」、左側の料理領域に料理ラベル「味噌汁」、右側の料理領域に料理ラベル「ご飯」を割り当てた場合である。この場合、判別スコアの合計値は１．９となり、これが最大値であるので、判別対象の料理画像の組み合わせ料理ラベルは、「味噌汁、魚料理」、「味噌汁、ご飯」、「魚料理、ご飯」とされる。これら３つの組み合わせ料理ラベルにおける料理ラベルの順序から、対応する料理領域の面積は味噌汁、魚料理、ご飯の順に大きいことが分かるので、各料理の種類を個別に判別することができる。
【００６５】
このように、組み合わせ料理ラベルを判別した後、さらに各料理を個別に判別した場合、この判別結果には料理の配置、食べ合わせ（組み合わせ）という概念までも取り入れられているので、既存の判別器（例えば、特徴量生成部１３に内蔵されている判別器１３Ａ）よりも高精度で料理をの種類を個別に判別することができる。
【００６６】
上述した料理判別装置１０によれば、料理領域の特徴として単品の料理に対する料理ラベルの判別スコアを使うことにより、画像を画素単位で処理することなく、高速、かつ、少ないメモリ使用量で料理の組み合わせを判別することができる。
【００６７】
[変形例]
次に、実施の形態である料理判別装置の変形例について説明する。
【００６８】
上述した料理判別処理においては、判別対象の料理画像に写っている料理の組み合わせ（料理組み合わせラベル）を判別するようにした。変形例としては、図１６に示されるように、判別対象の料理画像に写っている料理の組み合わせの料理カテゴリ（和食、中華料理、フランス料理、タイ料理、韓国料理など）を判別するようにすることもできる。
【００６９】
これを実現する場合には、組み合わせ特徴量生成部１４にて、組み合わせる特徴量の数をより多くし（例えば、５）て組み合わせ特徴量として１０５（＝２１×５）次元ベクトルとして生成するようにする。ただし、料理領域の数が５に満たない場合には、組み合わせ特徴量における要素として不定の値を代入するようにする。
【００７０】
ラベル設定部１５では、例えば図１７に示されるような料理カテゴリクラスを示すラベルを設定するようにし、このラベルを用いて組み合わせ特徴量判別器１６を機械学習させておけばよい。
【００７１】
その他の変形例としては、判別対象の料理画像に写っている料理の喫食時間帯カテゴリ（朝食、昼食、間食、夕食、夜食など）を判別するようにしたり、判別対象の料理画像に写っている料理の組み合わせ名称（焼き魚定食、ラーメン炒飯セットなど）を判別するようにしたりすることも可能である。
【００７２】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００７３】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００７４】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００７５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
【００７６】
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
【００７７】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００７８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【００７９】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００８０】
１０ 料理判別装置， １１ 料理画像取得部， １２ 料理領域検出部， １３ 特徴量生成部， １４ 組み合わせ特徴量生成部， １５ ラベル設定部， １６ 組み合わせ特徴量判別器， １７ 組み合わせ判別部， １８ ラベル判定部， １９ 提示部， １００ コンピュータ， １０１ CPU
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、画像に写っている料理を判別できるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、料理を撮影して得られた画像を解析することにより、その料理の種類（その料理が何であるのか）を判別する料理画像解析技術が存在する。この従来の料理画像解析技術は、例えば、喫食時における摂取カロリーを調べるためのシステムなどに適用されている。
【０００３】
当該システムでは、例えば、飲食店で提供された料理をカメラ付き携帯端末にて撮像し、料理の画像とその飲食店の情報を所定のサーバに通知することにより、料理の喫食による摂取カロリーなどの情報がサーバからユーザのカメラ付き携帯端末に通知されるようになされている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１１８５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した従来の料理画像解析技術では、画像内に複数の料理が写っている場合、それらの各料理に対してそれぞれその種類を個別に判別する処理を行っており、同時に写っている料理どうしの組み合わせなどは考慮されていなかった。
【０００６】
本開示はこのような状況に鑑みてなされたものであり、同時に喫食される料理どうしの組み合わせを利用することによって、より高い精度で画像内の料理を判別できるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の一側面である情報処理装置は、画像の被写体領域を検出する検出部と、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成部と、前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成部と、生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別部とを備える。
【０００８】
本開示の一側面である情報処理装置は、学習用の画像に対応する前記組み合わせ特徴量とラベルとを入力として機械学習を行う組み合わせ被写体判別器をさらに備えることができ、前記判別部は、生成された前記組み合わせ特徴量に基づき、予め学習済みの組み合わせ被写体判別器を用いて、前記画像に写っている被写体の組み合わせに対応する前記ラベルを判別することができる。
【０００９】
前記特徴量生成部は、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報と、前記被写体領域における被写体個別の判別結果とを組み合わせて前記特徴量を生成することができる。
【００１０】
前記特徴量生成部は、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報と、前記被写体領域の画像特徴とを組み合わせて前記特徴量を生成することができる。
【００１１】
前記被写体領域の前記位置情報には、前記被写体領域の形状、中心座標、大きさ、または傾きのうちの少なくとも一つを含むことができる。
【００１２】
前記画像は、料理を被写体とする料理画像であり、前記検出手段は、前記料理画像上の皿が写っている領域を前記被写体領域として検出することができる。
【００１３】
本開示の一側面である情報処理方法は、情報処理装置の情報処理方法において、前記情報装置による、画像の被写体領域を検出する検出ステップと、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成ステップと、前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成ステップと、生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別ステップとを含む。
【００１４】
本開示の一側面であるプログラムは、コンピュータを、画像の被写体領域を検出する検出部と、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成部と、前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成部と、生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別部として機能させる。
【００１５】
本開示の一側面においては、画像の被写体領域が検出され、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量が生成され、前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量が生成され、生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルが判別される。
【発明の効果】
【００１６】
本開示の一側面によれば、画像内の料理を判別することができる。
【００１７】
また、本開示の一側面によれば、画像内の料理の組み合わせを判別することができる。
【図面の簡単な説明】
【００１８】
【図１】料理画像に対する料理組み合わせの判別結果を示す図である。
【図２】本開示を適用した料理判別装置の構成例を示すブロック図である。
【図３】料理領域の検出を説明する図である。
【図４】料理領域の検出結果に含まれる項目を示す図である。
【図５】円形の料理領域の検出結果を説明するための図である。
【図６】矩形の料理領域の検出結果を説明するための図である。
【図７】料理クラスの一例を示す図である。
【図８】料理領域の特徴量を示す図である。
【図９】料理組み合わせクラスを示す図である。
【図１０】料理判別処理を説明するフローチャートである。
【図１１】学習処理を説明するフローチャートである。
【図１２】判別処理を説明するフローチャートである。
【図１３】料理画像の料理を単品として判別する例を説明するための図である。
【図１４】料理画像の料理を単品として判別する例を説明するための図である。
【図１５】料理画像の料理を単品として判別する例を説明するための図である。
【図１６】料理画像に対する料理カテゴリの判別結果を示す図である。
【図１７】料理カテゴリクラスを示す図である。
【図１８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２０】
＜１．実施の形態＞
初めに、実施の形態である料理判別装置の概要を説明する。
【００２１】
一般に、料理に関しては以下のような相関性が知られている。例えば、料理と配膳方法の相関として、主食となるご飯と味噌汁は、おかずとなる主菜と副菜よりも手前側に配膳されることが多い。料理とそれが盛られる皿の相関として、魚料理は矩形皿に盛られることが多い。同時に喫食される料理どうしの相関として、主食とおかずを兼ねる料理どうしの組み合わせは少ない。なお、当然ながら、上述した相関に当てはまらない例外も多数存在する。
【００２２】
このように、料理については、配膳の位置、盛られる皿の形、同時に喫食される料理との組み合わせなどと相関がある。この相関を利用すれば、単にその料理の画像的な特徴だけを解析して種類を判別するよりも、判別精度を上げることができると考えられる。
【００２３】
そこで、実施の形態である料理判別装置においては、そのような相関を利用して、料理を単品としてではなく、複数の料理の組み合わせとして判別するようにする。
【００２４】
図１は、料理画像に写っている複数の料理を料理組み合わせとして判別したときの判別結果を示している。同図Ａには、ラーメンと炒飯が写っているが、この画像を判別対象とした場合、一方の料理に対してラーメンと判別され、他方の料理に対して炒飯と判別されるのではなく、画像全体に対する料理組み合わせとして「ラーメン、炒飯」と判別される。なお、料理組み合わせの表記では、画像を占める面積が広いものが先（左側）に記述される。したがって、料理組み合わせが判別された後、画像内でより広い面積を占める料理に対してラーメンと判別し、他方の料理に対して炒飯と判別することが可能である。
【００２５】
同図Ｂについても同様に、味噌汁、ご飯が単品として判別されるのではなく、画像全体に対して料理組み合わせ「味噌汁、ご飯」と判別される。同図Ｃについても同様である。
【００２６】
［料理判別装置の構成例］
図２は、実施の形態である料理判別装置の構成例を示している。この料理判別装置１０は、料理画像取得部１１、料理領域検出部１２、特徴量生成部１３、組み合わせ特徴量生成部１４、ラベル設定部１５、組み合わせ特徴量判別器１６、組み合わせ判別部１７、ラベル判定部１８、および提示部１９から構成される。
【００２７】
料理画像取得部１１は、組み合わせ特徴量判別器１６を機械学習させるための学習処理時において、学習用の料理画像を取得して料理領域検出部１２に出力する。ただし、学習用の料理画像については、後述する料理組み合わせクラスのいずれかに対応する料理の組み合わせが被写体として写っているものを用意するようにする。また、料理画像取得部１１は、料理画像に写っている料理の組み合わせを判別する判別処理時において、判別対象とする料理画像（被写体として１以上の料理が撮影されている画像）を取得して料理領域検出部１２に出力する。
【００２８】
料理領域検出部１２は、料理画像上の料理が写っている領域（料理領域）を検出し、検出結果を特徴量生成部１３に出力する。具体的には、料理が盛られている皿の形状を円（楕円を含む）または矩形の皿と想定し、料理画像から円、楕円、または矩形の皿を料理領域として検出する。なお、検出された料理領域をユーザが削除したり、ユーザが指定した範囲を料理領域として追加したりできるようにしてもよい。
【００２９】
図３は、料理画像から円、楕円、または矩形の皿が料理領域として検出される例を示している。同図Ａに示されるように、料理画像に複数の料理領域（いまの場合、楕円形の皿）が存在する場合、その面積が広い方からの順序を示す番号が付与される。同図Ｂは、料理画像から矩形の皿が料理領域として検出された状態を示している。なお、料理領域として検出する皿の形状については、円、楕円、または矩形に限定されるものではなく、多角形などであってもよい。
【００３０】
図４は、料理領域の検出結果に含まれる項目を示している。料理領域の検出結果には、皿の種類を示すdish-id、料理領域の位置を示すｘ，ｙ、料理領域の大きさを示すarea、および料理領域の角度を示すradの５項目が含まれる。換言すれば、料理領域の検出結果は、５次元ベクトルで表現できる。
【００３１】
皿の種類を示すdish-idは、０（円形（楕円を含む））または１（矩形）とされる。料理領域の位置を示すｘ，ｙは、料理画像における料理領域の中心座標を料理画像のサイズで正規化した値であり、0.0から1.0までの値とされる。料理領域の大きさを示すareaは、料理領域の面積を料理画像全体の面積で正規化した値であり、0.0から1.0までの値とされる。料理領域の角度を示すradは、Ｘ軸から料理領域の長辺までの角度であり、０からπまでの値とされる。
【００３２】
図５は、円形の料理領域が検出された場合における検出結果に含まれる、料理領域の位置ｘ，ｙと角度radの例を示している。図６は、矩形の料理領域が検出された場合における検出結果に含まれる場合、料理領域の位置ｘ，ｙと角度radの例を示している。
【００３３】
図２に戻る。特徴量生成部１３は、検出された各料理領域に対する特徴量を生成する。具体的には、特徴量生成部１３は、料理領域に写っている料理を単品として判別する判別器１３Ａを内蔵しており、その判別器１３Ａの判別結果を料理領域の特徴量の一部として用いる。
【００３４】
判別器１３Ａは、複数Ｎの料理クラス（種類）の単品料理をそれぞれ撮像して得られた学習用の料理画像を用いた機械学習（ブースティング、ランダムフォレストなど）によって学習済みである。したがって、判別器１３Ａにより料理領域の料理の種類を判別した場合、判別結果として複数Ｎの各料理クラスに対する料理領域の適合の度合いを示す判別スコアが出力される。換言すれば、判別器１３Ａは、検出された各料理領域に対する特徴量の一部として、複数Ｎの各料理クラスに対する料理領域の判別スコアを要素とするＮ次元ベクトルを出力することになる。
【００３５】
図７は、判別器１３Ａに対して予め学習させておく料理クラスの一例を示している。本実施の形態の場合、料理クラスは、同図に示されるように、料理クラスは、ご飯、丼もの、味噌汁、スープ、うどん、そば、ラーメン、パスタ、肉料理、魚料理、野菜料理、サラダ、果物、スイーツ、飲み物、および弁当の１６クラスとする。なお、当然ながら、料理クラスの数やその名称についてはこれに限るものではない。
【００３６】
なお、特徴量生成部１３において判別器１３Ａを用いて、各料理領域に対する特徴量の一部を生成する代わりに、従来存在している画像特徴量抽出技術（色情報、テクスチャ情報、エッジ情報などを用いるもの）を採用するようにしてもよい。
【００３７】
特徴量生成部１３はさらに、各料理領域に対して、料理領域検出部１２による料理領域の検出結果（５次元ベクトル）と、判別器１３Ａの判別結果（１６次元ベクトル）とを連結し、図８に示すような特徴量（２１次元ベクトル）を生成して、組み合わせ特徴量生成部１４に出力する。
【００３８】
組み合わせ特徴量生成部１４は、料理画像の各料理領域に対して生成された特徴量（２１次元ベクトル）を、対応する料理領域の面積の大きい順に連結することにより、料理画像に対応する組み合わせ特徴量を生成する。生成された組み合わせ特徴量は、学習処理時においては組み合わせ特徴量判別器１６に、判別処理時においては組み合わせ判別部１７に出力される。
【００３９】
なお、料理画像から複数Ｍの料理領域が検出されている場合、組み合わせ特徴量としてＭ×２１次元ベクトルが生成されることになるが、Ｍの値によっては後段の演算量が膨大となってしまう。そこで、本実施の形態においては、料理画像から検出された料理領域のうち、面積が大きい方から順に２番目までの特徴量を連結し、４２（＝２×２１）次元ベクトルの組み合わせ特徴量を生成するものとする。
【００４０】
ラベル設定部１５は、学習処理時において、学習用の料理画像に写っている料理の組み合わせ（料理組み合わせクラス）を示す料理組み合わせラベルを組み合わせ特徴量判別器１６に通知する。
【００４１】
図９は、料理組み合わせクラスの一例を示している。ただし、同図は、図７に示されたように料理クラスを１６クラスとした場合に対応しており、料理組み合わせクラスのクラス数は、同じ料理の組み合わせを許容した２５６（＝１６×１６）クラスとなっている。料理組み合わせクラスラベルの表記は、料理画像を占める面積が大きい方から順に２種類の料理名が列記される。
【００４２】
組み合わせ特徴量判別器１６は、学習処理時においては、学習用の料理画像に対する組み合わせ特徴量と、ラベル設定部１５から通知される当該学習用の料理画像に対する料理組み合わせラベルとを入力として機械学習（ブースティング、ランダムフォレストなど）を行う。判別処理時においては、判別対象の料理画像に対する組み合わせ特徴量を入力とし、その判別結果として、各料理組み合わせクラス（２５６クラス）に対する判別対象の料理画像の適合の度合いを示す判別スコアを出力する。
【００４３】
組み合わせ判別部１７は、判別処理時において、判別対象の料理画像に対する組み合わせ特徴量を組み合わせ特徴量判別器１６に入力し、それに応じて組み合わせ特徴量判別器１６から出力される２５６クラス分の判別スコアをラベル判定部１８に出力する。
【００４４】
ラベル判定部１８は、組み合わせ特徴量判別器１６の判別結果である２５６クラス分の判別スコアに基づき、判別対象の料理画像に対する組み合わせ料理ラベルを判定して判定結果を提示部１９に出力する。具体的には、２５６クラスの組み合わせ料理ラベルのうち、最も判別スコアが高いものを判別対象の料理画像に対する組み合わせ料理ラベルとして判定する。あるいは、２５６クラスの組み合わせ料理ラベルのうち、判別スコアが所定の閾値以上であるもの全て、または判別スコアに既知の料理どうしの同時生起確率を乗算した値が最大のものを判別対象の料理画像に対する組み合わせ料理ラベルとして判定するようにしてもよい。
【００４５】
提示部１９は、ラベル判定部１８による判定結果をユーザに提示する。
【００４６】
［動作説明］
次に、料理判別装置１０の動作について説明する。
【００４７】
図１０は、料理判別装置１０による料理判別処理を説明するフローチャートである。
【００４８】
この料理判別処理は、ステップＳ１として、組み合わせ特徴量判別器１６を学習させるための学習処理が行われた後に、ステップＳ２として、判別対象の料理画像に対する判別処理が行われる。学習処理では、所定数の学習用の料理画像を用いた学習処理が行われるが、判別処理を行う段階になっても、さらに学習用の料理画像を入力として学習料理を継続して実行してもよい。学習処理を継続することにより、組み合わせ特徴量判別器１６の判別精度を上げることができる。
【００４９】
図１１は、上述したステップＳ１の学習処理を説明するフローチャートである。
【００５０】
ステップＳ１１において、料理画像取得部１１は、学習用の料理画像を取得して料理領域検出部１２に出力する。
【００５１】
ステップＳ１２において、料理領域検出部１２は、料理画像から料理領域を検出し、検出結果として、各料理領域毎に５次元ベクトルを特徴量生成部１３に出力する。ステップＳ１３において、特徴量生成部１３は、検出された各料理領域に対する特徴量として、判別器１３Ａの判別結果（１６次元ベクトル）と、料理領域検出部１２による料理領域の検出結果（５次元ベクトル）とを連結することにより２１次元ベクトルを生成して組み合わせ特徴量生成部１４に出力する。
【００５２】
ステップＳ１４において、組み合わせ特徴量生成部１４は、料理画像における料理領域の面積の大きい方から順に２番目までにそれぞれ対応する特徴量（２１次元ベクトル）を連結することにより、料理画像に対応する組み合わせ特徴量（４２次元ベクトル）を生成し、組み合わせ特徴量判別器１６に出力する。
【００５３】
ステップＳ１５において、ラベル設定部１５は、学習用の料理画像に写っている料理の組み合わせ（料理組み合わせクラス）を示す料理組み合わせラベルを組み合わせ特徴量判別器１６に通知する。組み合わせ特徴量判別器１６は、学習用の料理画像に対する組み合わせ特徴量と、ラベル設定部１５から通知される当該学習用の料理画像に対する料理組み合わせラベルとを入力として機械学習を行う。以上で学習処理の説明を終了する。なお、組み合わせ特徴量判別器１６による判別精度を上げるためには、上述したステップＳ１１乃至Ｓ１５の処理を繰り返し実行する必要がある。
【００５４】
図１２は、上述したステップＳ２の判別処理を説明するフローチャートである。
【００５５】
ステップＳ２１において、料理画像取得部１１は、判別対象の料理画像を取得して料理領域検出部１２に出力する。
【００５６】
ステップＳ２２において、料理領域検出部１２は、料理画像から料理領域を検出し、検出結果として、各料理領域毎に５次元ベクトルを特徴量生成部１３に出力する。ステップＳ２３において、特徴量生成部１３は、検出された各料理領域に対する特徴量として、判別器１３Ａの判別結果（１６次元ベクトル）と、料理領域検出部１２による料理領域の検出結果（５次元ベクトル）とを連結することにより２１次元ベクトルを生成して組み合わせ特徴量生成部１４に出力する。
【００５７】
ステップＳ２４において、組み合わせ特徴量生成部１４は、料理画像における料理領域の面積の大きい方から順に２番目までにそれぞれ対応する特徴量を連結することにより、料理画像に対応する組み合わせ特徴量を生成して組み合わせ判別部１７に出力する。ステップＳ２５において、組み合わせ判別部１７は、判別対象の料理画像に対する組み合わせ特徴量を組み合わせ特徴量判別器１６に入力し、それに応じて組み合わせ特徴量判別器１６から出力される２５６クラス分の判別スコアをラベル判定部１８に出力する。
【００５８】
ステップＳ２６において、ラベル判定部１８は、組み合わせ特徴量判別器１６からの判別スコアに基づき、判別対象の料理画像に対する組み合わせ料理ラベルを判定して判定結果を提示部１９に出力する。ステップＳ２７において、提示部１９は、ラベル判定部１８による判定結果をユーザに提示する。以上で、判別処理の説明を終了する。
【００５９】
以上説明した判別処理によれば、判別対象の料理画像に写っている料理の組み合わせをユーザに提示することができる。
【００６０】
なお、組み合わせ料理ラベルを判別した後に、判別対象の料理画像に写っている各料理の種類（料理ラベル）を個別に判定することもできる。
【００６１】
判別対象の料理画像に写っている料理の数が２以下である場合には、料理領域の面積が大きい方から順に、判別された組み合わせ料理ラベルの左側から順に並ぶ料理ラベルを対応付ければよい。
【００６２】
判別対象の料理画像に写っている料理の数が３である場合には、図１３に示されるように、検出された３つの料理領域を総当りで２つずつ組み合わせて組み合わせ特徴量を生成し、それを組み合わせ特徴量判別器１６に入力して２５６クラス分の判別スコアを得るようにする。次に、３つの各料理領域に対して全て（１６クラス）の料理ラベルを割り当てたときの判別スコアの合計値を算出し、その合計値が最大となる組み合わせに対応する組み合わせ料理ラベルを判別対象の料理画像の組み合わせ料理ラベルと判定するようにする。
【００６３】
例えば、図１４は、判別対象の料理画像における上側の料理領域に料理ラベル「丼もの」、左側の料理領域に料理ラベル「スープ」、右側の料理領域に料理ラベル「ご飯」を割り当てた場合である。この場合、判別スコアの合計値は０．７となる。
【００６４】
また例えば、図１５は、判別対象の料理画像における上側の料理領域に料理ラベル「魚料理」、左側の料理領域に料理ラベル「味噌汁」、右側の料理領域に料理ラベル「ご飯」を割り当てた場合である。この場合、判別スコアの合計値は１．９となり、これが最大値であるので、判別対象の料理画像の組み合わせ料理ラベルは、「味噌汁、魚料理」、「味噌汁、ご飯」、「魚料理、ご飯」とされる。これら３つの組み合わせ料理ラベルにおける料理ラベルの順序から、対応する料理領域の面積は味噌汁、魚料理、ご飯の順に大きいことが分かるので、各料理の種類を個別に判別することができる。
【００６５】
このように、組み合わせ料理ラベルを判別した後、さらに各料理を個別に判別した場合、この判別結果には料理の配置、食べ合わせ（組み合わせ）という概念までも取り入れられているので、既存の判別器（例えば、特徴量生成部１３に内蔵されている判別器１３Ａ）よりも高精度で料理をの種類を個別に判別することができる。
【００６６】
上述した料理判別装置１０によれば、料理領域の特徴として単品の料理に対する料理ラベルの判別スコアを使うことにより、画像を画素単位で処理することなく、高速、かつ、少ないメモリ使用量で料理の組み合わせを判別することができる。
【００６７】
[変形例]
次に、実施の形態である料理判別装置の変形例について説明する。
【００６８】
上述した料理判別処理においては、判別対象の料理画像に写っている料理の組み合わせ（料理組み合わせラベル）を判別するようにした。変形例としては、図１６に示されるように、判別対象の料理画像に写っている料理の組み合わせの料理カテゴリ（和食、中華料理、フランス料理、タイ料理、韓国料理など）を判別するようにすることもできる。
【００６９】
これを実現する場合には、組み合わせ特徴量生成部１４にて、組み合わせる特徴量の数をより多くし（例えば、５）て組み合わせ特徴量として１０５（＝２１×５）次元ベクトルとして生成するようにする。ただし、料理領域の数が５に満たない場合には、組み合わせ特徴量における要素として不定の値を代入するようにする。
【００７０】
ラベル設定部１５では、例えば図１７に示されるような料理カテゴリクラスを示すラベルを設定するようにし、このラベルを用いて組み合わせ特徴量判別器１６を機械学習させておけばよい。
【００７１】
その他の変形例としては、判別対象の料理画像に写っている料理の喫食時間帯カテゴリ（朝食、昼食、間食、夕食、夜食など）を判別するようにしたり、判別対象の料理画像に写っている料理の組み合わせ名称（焼き魚定食、ラーメン炒飯セットなど）を判別するようにしたりすることも可能である。
【００７２】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００７３】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００７４】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００７５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
【００７６】
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
【００７７】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００７８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【００７９】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００８０】
１０ 料理判別装置， １１ 料理画像取得部， １２ 料理領域検出部， １３ 特徴量生成部， １４ 組み合わせ特徴量生成部， １５ ラベル設定部， １６ 組み合わせ特徴量判別器， １７ 組み合わせ判別部， １８ ラベル判定部， １９ 提示部， １００ コンピュータ， １０１ CPU
【特許請求の範囲】
【請求項１】
画像の被写体領域を検出する検出部と、
検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成部と、
前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成部と、
生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別部と
を備える情報処理装置。
【請求項２】
学習用の画像に対応する前記組み合わせ特徴量とラベルとを入力として機械学習を行う組み合わせ被写体判別器を
さらに備え、
前記判別部は、生成された前記組み合わせ特徴量に基づき、予め学習済みの組み合わせ被写体判別器を用いて、前記画像に写っている被写体の組み合わせに対応する前記ラベルを判別する
請求項１に記載の情報処理装置。
【請求項３】
前記特徴量生成部は、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報と、前記被写体領域における被写体個別の判別結果とを組み合わせて前記特徴量を生成する
請求項２に記載の情報処理装置。
【請求項４】
前記特徴量生成部は、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報と、前記被写体領域の画像特徴とを組み合わせて前記特徴量を生成する
請求項２に記載の情報処理装置。
【請求項５】
前記被写体領域の前記位置情報には、前記被写体領域の形状、中心座標、大きさ、または傾きのうちの少なくとも一つを含む
請求項２に記載の情報処理装置。
【請求項６】
前記画像は、料理を被写体とする料理画像であり、
前記検出手段は、前記料理画像上の皿が写っている領域を前記被写体領域として検出する
請求項２に記載の情報処理装置。
【請求項７】
情報処理装置の情報処理方法において、
前記情報装置による、
画像の被写体領域を検出する検出ステップと、
検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成ステップと、
前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成ステップと、
生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別ステップと
を含む情報処理方法。
【請求項８】
コンピュータを、
画像の被写体領域を検出する検出部と、
検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成部と、
前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成部と、
生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別部と
して機能させるプログラム。
【請求項１】
画像の被写体領域を検出する検出部と、
検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成部と、
前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成部と、
生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別部と
を備える情報処理装置。
【請求項２】
学習用の画像に対応する前記組み合わせ特徴量とラベルとを入力として機械学習を行う組み合わせ被写体判別器を
さらに備え、
前記判別部は、生成された前記組み合わせ特徴量に基づき、予め学習済みの組み合わせ被写体判別器を用いて、前記画像に写っている被写体の組み合わせに対応する前記ラベルを判別する
請求項１に記載の情報処理装置。
【請求項３】
前記特徴量生成部は、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報と、前記被写体領域における被写体個別の判別結果とを組み合わせて前記特徴量を生成する
請求項２に記載の情報処理装置。
【請求項４】
前記特徴量生成部は、検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報と、前記被写体領域の画像特徴とを組み合わせて前記特徴量を生成する
請求項２に記載の情報処理装置。
【請求項５】
前記被写体領域の前記位置情報には、前記被写体領域の形状、中心座標、大きさ、または傾きのうちの少なくとも一つを含む
請求項２に記載の情報処理装置。
【請求項６】
前記画像は、料理を被写体とする料理画像であり、
前記検出手段は、前記料理画像上の皿が写っている領域を前記被写体領域として検出する
請求項２に記載の情報処理装置。
【請求項７】
情報処理装置の情報処理方法において、
前記情報装置による、
画像の被写体領域を検出する検出ステップと、
検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成ステップと、
前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成ステップと、
生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別ステップと
を含む情報処理方法。
【請求項８】
コンピュータを、
画像の被写体領域を検出する検出部と、
検出された前記被写体領域毎に、少なくとも前記被写体領域の位置情報を含む特徴量を生成する特徴量生成部と、
前記被写体領域毎に生成された特徴量を組み合わせて、前記画像に対応する組み合わせ特徴量を生成する組み合わせ特徴量生成部と、
生成された前記組み合わせ特徴量に基づいて、前記画像に写っている被写体の組み合わせに対応するラベルを判別する判別部と
して機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−５４５４１（Ｐ２０１３−５４５４１Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９２３３６（Ｐ２０１１−１９２３３６）
【出願日】平成２３年９月５日（２０１１．９．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月５日（２０１１．９．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]