説明

電子機器

【課題】料理レシピや組み立て手順などの情報を使い勝手よく提供すること。
【解決手段】電子機器1は、被写体を撮像する撮像部28と、撮像した被写体に関連した情報を出力する出力部46と、出力部46が出力した情報への応答である音声を認識する音声認識部34と、音声認識部34による認識に応じて撮像とは異なる操作を制御する制御部20とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器に関する。
【背景技術】
【0002】
食材を撮影して自動的にレシピを作成し、作成したレシピを背面液晶表示部に表示するカメラ(自動レシピ作成装置)が提案されている。このカメラは、GPSおよびデートモジュールを有し、GPSにより検出した地理的位置情報や、デートモジュールにより検出した季節の情報などを考慮してレシピを作成することが開示されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−61382号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のカメラでは、背面の操作スイッチの操作が煩わしいなど、ユーザーインターフェースの使い勝手が十分ではないという問題があった。
【課題を解決するための手段】
【0005】
本発明による電子機器は、被写体を撮像する撮像部と、撮像した被写体に関連した情報を出力する出力部と、出力部が出力した情報への応答である音声を認識する音声認識部と、音声認識部による認識に応じて撮像とは異なる操作を制御する制御部と、を備えたことを特徴とする。
【発明の効果】
【0006】
本発明の電子機器によれば、たとえば料理レシピや組み立て手順などの情報を使い勝手よく提供できる。
【図面の簡単な説明】
【0007】
【図1】本発明の一実施の形態によるデジタルカメラの正面図である。
【図2】本発明の一実施の形態によるデジタルカメラの背面図である。
【図3】デジタルカメラの構成を例示するブロック図である。
【図4】CPUが実行するレシピ情報提供処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本発明の一実施の形態によるデジタルカメラ1の外観を例示する正面図である。図2は、デジタルカメラ1の外観を例示する背面図である。図1において、デジタルカメラ1の筐体内には撮影ユニット28とプロジェクタユニット46とが設けられている。プロジェクタユニット46は撮影ユニット28の図示左側に配置されており、デジタルカメラ1の筐体前面に設けられている投射窓46aからカメラ前方のスクリーンや壁などに向けて投射光が射出される。デジタルカメラ1から画像投射を行う場合には、デジタルカメラ1は不図示の机上やクレードルなどに載置される。
【0009】
図2において、デジタルカメラ1の筐体背面には、液晶モニター36、操作メニューボタン112、ロータリーマルチセレクター114、ズームレバー111および操作ボタン113A〜113Cが配置されている。液晶モニター36の表示面上には、不図示のタッチパネル操作部材が設けられている。操作ボタン113Aは、液晶モニター36に画像を再生表示する再生モードにおいて、メモリカードMCに記録されている画像データの削除指示を受け付ける操作部材として機能する。
【0010】
操作ボタン113Bは、デジタルカメラ1が撮影ユニット28によって撮影画像を取得する撮影モードと、上記再生モードとの切替え指示を受け付ける操作部材として機能する。また、プロジェクタユニット46により画像の投射を行うモード(以下、PJモードと呼ぶ)においては、操作ボタン113Bは色調整指示を受け付ける操作部材として機能する。
【0011】
操作ボタン113Cは、撮影モードにおいて人物撮影に適したモード(人物を浮き立たせて立体感のある画像を取得するモードであり、以下、フェイスクリアモードと呼ぶ)にセットする指示を受け付ける操作部材として機能する。また、PJモードにおいては、操作ボタン113Cは投射像の台形補正指示を受け付ける操作部材として機能する。
【0012】
デジタルカメラ1の筐体上面には、レリーズスイッチであるシャッターボタン11、PJボタン13、電源スイッチ14が設けられている。シャッターボタン11は、撮影モードにおいて撮影ユニット28による撮影の指示を受け付ける操作部材として機能する。PJボタン13は、撮影モードまたは再生モードと、PJモードとの切替え指示を受け付ける操作部材として機能する。デジタルカメラ1は、電源スイッチ14がオン操作されると撮影モードで起動し、操作ボタン113Bが押下されると再生モードに切替わる。撮影モードまたは再生モードの状態でPJボタン13が押下されるとPJモードに切替わる。PJモードの状態で再度PJボタン13が押下されると、撮影モードまたは再生モード(PJモードへ切替わる前に設定されていたモード)に戻る。
【0013】
ロータリーマルチセレクター114は、外周部114a、回転部114b、OKボタン114cから構成される。外周部114aの上下方向や左右方向に押下操作された場合、および回転部114bが回転操作された場合に、液晶モニター36に表示されている操作メニュー画面の中で選択する項目や画像を切替る。OKボタン114cが押下操作されると、その時点における項目や画像の選択内容を確定する。
【0014】
図3は、デジタルカメラ1の構成を例示するブロック図である。デジタルカメラ1には、上述した撮影ユニット28、液晶モニター36の他に、CPU20、操作部材22、顔認識部24、カレンダ部26、マイク30、情報取得部31、画像処理部32、音声認識部34、DB部40、GPS部42、プロジェクタユニット46、スピーカ48などを備える。
【0015】
撮影ユニット28は、撮影レンズ100(複数のレンズ群から構成される)、レンズシャッター部(不図示)、および撮像素子(不図示)を有する。撮像素子は、上記撮影レンズ100とレンズシャッター部とを透過した光束を撮像する。画像処理部32は、信号変換処理、圧縮・伸張処理、モニタ表示回路などを含み、撮像ユニット28で撮像された画像を画像処理する。
【0016】
液晶モニター36は、画像処理部32によって処理された画像や操作メニューなどを表示する。操作メニューを液晶モニター36にて表示中にタッチパネル操作部材(不図示)が操作された場合、タッチパネル操作部材はタッチ位置を示す信号をCPU20へ出力する。これにより、CPU20は液晶モニター36に表示中の操作メニューのうち、タッチ位置に対応する項目を選択する。
【0017】
操作部22は、上述したシャッターボタン11、PJボタン13、電源スイッチ14、操作ボタン113A〜113C、ロータリーマルチセレクター114を含み、各操作に応じた操作信号をCPU20へ送出する。
【0018】
顔認識部24は、撮影ユニット28によって取得された人物の顔の画像データを個人情報(名前、性別、年齢、グルーピング等)とともに記憶する不揮発性メモリ(不図示)を有する。カレンダ部26は、たとえば計時用集積回路を有し、該計時用集積回路が生成した日時情報を取得してCPU20へ送出する。カレンダ部26から異なる時刻に取得した日時情報の時間差を求めることにより、カレンダ部26をタイマーとして機能させることもできる。
【0019】
マイク30は、集音した音声を電気信号に変換し、変換後の音声データを音声認識部34へ送出する。音声認識部34は、料理メニューに関する単語の音声データを記憶する不揮発性メモリ(不図示)を有する。音声認識部34は、マイク30を介して集音された音声信号と不揮発性メモリ内に記憶している音声データとを比較し、両者が一致した場合に対応する単語を示す情報をCPU20へ送出する。音声認識部34はさらに、料理メニューに関する単語の他に、「上」、「下」、「次」、「戻る」、「タイマー**分」、「タイマー開始」、「撮影」、「家族」、「友人」などの音声データも不揮発性メモリ(不図示)に記憶している。
【0020】
GPS部42は、GPS衛星からの電波を受信し、受信データに基づいて経度、緯度、高度情報を検出してCPU20へ送出する。フラッシュROM29は、画像処理部32で処理された画像を記憶する。フラッシュROM29には、地図情報も記憶されている。CPU20は、GPS部42で検出された情報とフラッシュROM29に記憶される地図情報とに基づいて現在位置の情報を取得する。
【0021】
情報取得部31は、無線LANなどのネットワーク接続部と、イベント情報をネットワーク上から取得するためのプログラムとから構成される。本実施の形態においては、たとえば、キャンプ場などの外出先において料理のレシピに登場する食材がない場合に、GPS部42で取得された現在位置の情報と連携して当該食材を販売する最寄りの店舗の情報を取得する。なお、情報取得部31は、ネットワークに接続する構成の代わりに、あらかじめフラッシュROM29に記憶させデータベースにアクセス可能に構成したものでもよい。
【0022】
DB部40は、食材DB40a、メニュー紹介DB40b、およびレシピ紹介DB40cを有するデータベースである。食材DB40aは、あらかじめ様々な食材のデータ(画像データおよび栄養情報を含む)が記憶された不揮発性メモリ(不図示)を有する。画像データは、加工前(たとえば切る前のトマト)、および加工後(切った後のトマト)のそれぞれの画像データを含む。
【0023】
食材DB40aは、食材認識機能を備える。撮影ユニット28によって取得された食材の画像データを食材DB40a内の不揮発性メモリ内に記憶している食材のデータと比較し(公知のパターンマッチング処理)、両者が一致した場合に対応する食材に関する情報をCPU20へ送出する。一般に、加工された食材は識別が困難な場合がある。たとえば、じゃがいもを切った状態では、男爵いもとメークインとが紛らわしい。この場合の食材DB40aは、男爵いもとメークインとの双方の情報をCPU20へ送出する。CPU20は、男爵いもとメークインとの双方の情報を液晶モニター36に表示させて、ユーザーによるロータリーマルチセレクター114またはタッチパネル操作部材(不図示)への選択操作を待つ。なお、上述した音声認識部34を用いた音声認識を用いた選択操作を待つようにしてもよい。
【0024】
食材DB40aが男爵いもとメークインとを識別する理由は、以下の通りである。メークインは煮くずれしにくいのでシチューや肉じゃがに向いている一方で、男爵いもは煮くずれしやすいのでコロッケやサラダに向いている。このため、男爵いもを認識した場合とメークインを認識した場合とで異なる料理メニューを紹介するためである。
【0025】
メニュー紹介DB40bは、あらかじめ様々なジャンルの料理メニューデータが記憶された不揮発性メモリ(不図示)を有する。メニュー紹介DB40bは、食材DB40aによって認識された食材を用いて調理する料理メニューを抽出し、抽出した料理メニューの情報をCPU20へ送出する。CPU20は、抽出した複数の料理メニュー情報を液晶モニター36に表示させて、ユーザーによるロータリーマルチセレクター114またはタッチパネル操作部材(不図示)への選択操作を待つ。なお、上述した音声認識部34を用いた音声認識を用いた選択操作を待つようにしてもよい。
【0026】
レシピ紹介DB40cは、あらかじめメニュー紹介DB40bに記憶されている各料理メニューのレシピや詳細情報(カロリーや栄養を示す情報、食材等の分量を示す情報、画像データや音声ガイダンスデータ)が記憶された不揮発性メモリ(不図示)を有する。レシピ紹介DB40cは、液晶モニター36に表示させた複数の料理メニュー情報のうち、ユーザーによる選択操作で選択された料理メニューのレシピ情報を液晶モニター36に表示させる画像と音声ガイダンスとで紹介する。なお、液晶モニター36に表示させる代わりに、プロジェクタユニット46から投射させてもよい。
【0027】
スピーカ48は、音声ガイダンスデータに基づく音声を再生したり、ビープ音を発生させたりする。ビープ音は、たとえば、料理のレシピにおける茹で時間が10分の場合に、カレンダ部26で10分が計時されたことをユーザーに知らせるために発生させる。
【0028】
メモリカードMCは、デジタルカメラ1に対して着脱可能に構成されるデータ記憶媒体である。デジタルカメラ1がレシピ情報を提供する場合、CPU20は、提供日時(開始時刻および終了時刻を含む)や提供場所(GPS部42で取得された現在位置の情報)、レシピを提供した料理メニュー情報をログデータとしてメモリカードMCに記憶させる。なお、提供したレシピ情報も含めて記憶するようにしてもよい。
【0029】
CPU20は、デジタルカメラ1の全体の動作を制御する。本実施形態は、デジタルカメラ1を用いてレシピ情報を提供する点に特徴を有するので、以降の説明はレシピ情報を提供する動作を中心に行う。
【0030】
<事前準備>
デジタルカメラ1には、あらかじめ人物の情報(人物の名称またはIDと、当該人物の「顔」を示す情報など)や、当該人物が好きな食べ物の情報がメモリカードMCに登録(記憶)される。登録した人物を、たとえば、家族や所属チーム等によって関連づけてグループ化しておくことにより、メニュー紹介DB40bが料理メニューを抽出する際、グループのメンバーが好きな料理メニューを優先して抽出し得るように構成する。
【0031】
ここで、人物の登録データをフラッシュROM29内に記憶させる(登録)処理について説明する。CPU20は、たとえば、液晶モニター36に表示中の「操作メニュー画面」において「登録撮影」項目を選択した状態でロータリーマルチセレクター114の外周部114aが右方向に押下操作される、またはタッチパネル操作部材(不図示)がタッチ操作されると、登録処理を行うためのプログラムを起動する。
【0032】
登録プログラムを起動したCPU20は、撮影ユニット28によって取得されたモニタ用のライブビュー画像を液晶モニター36に表示させるとともに、ライブビュー画像表示に重ねてアシスト枠(不図示)を表示させる。ユーザーは、登録しようとする被写体人物の顔がアシスト枠に収まるようにデジタルカメラ1を構える。
【0033】
CPU20は、シャッターボタン11が全押し操作された場合に撮影処理を行う。そして、撮影処理で取得した画像データが顔識別に使えるか否かを判定する。CPU20は、画像データのうちアシスト枠内に対応するデータに基づいて顔検出処理を行い、顔を検出した場合には当該顔が登録されている顔か否かを判定する。具体的には、検出した顔の領域の画像データと、フラッシュROM29内に登録されているサムネイル画像の「顔」に対応する参照用データとに基づいて顔識別処理を行うことにより、検出されている人物の顔と、参照用データに含まれている人物の顔とが同一人物のものであるか否かを識別する。
【0034】
CPU20は、取得画像の「顔」が既に登録されている参照用データと合致する場合には液晶モニター36に、たとえば、「既に登録されています」と表示させる。登録されている参照用データと合致しない場合には新たな人物の「顔」として参照用データをフラッシュROM29に記憶させる。具体的には、アシスト枠内に対応する画像データに基づいてサムネイル画像データを生成し、上記画像データに基づいて特徴量データを生成する。そして、サムネイル画像データおよび特徴量データを含む参照用データをフラッシュROM29に記憶させる。
【0035】
ユーザーは、液晶モニター36に被写体人物の「顔」が表示されている状態で、マイク30から上記登録する人物が好きな料理メニューや食材の名称をマイク30から音声入力する。ユーザーはさらに、グループ化(グルーピング)のための情報(たとえば、「家族」、「友人」、「親戚」、「クラス」など)をマイク30から音声入力する。CPU20は、電気信号に変換後の音声データを上記参照用データに関連づけてフラッシュROM29に記憶させる。これにより、登録人物を「家族」または「友人」などに分けてグルーピングするとともに、登録人物ごとに、たとえば、好きな食べ物として「和食・イタリアン」などの情報を登録できる。なお、苦手な料理メニューや食材の情報を登録してもよい。
【0036】
上述した音声入力に代えて、液晶モニター36にグルーピングメニュー(たとえば、「家族」、「友人」、「親戚」、「学校」、「クラブ」など)を表示させて、ユーザーがロータリーマルチセレクター114の外周部114aを押下操作、またはタッチパネル操作部材(不図示)をタッチ操作した場合に、該当するグループに被写体人物を登録するように構成してもよい。さらに、液晶モニター36に料理メニューや食材の名称を表示させて、ユーザーがロータリーマルチセレクター114の外周部114aを押下操作、またはタッチパネル操作部材(不図示)をタッチ操作した場合に、該当する料理メニューや食材を登録人物に関連づけて登録するように構成してもよい。以上説明したように、デジタルカメラ1に事前の準備として人物、および当該人物が好む料理メニュー等が登録される。
【0037】
<レシピ提供処理>
図4は、上述した事前準備が行われたCPU20が実行するレシピ情報提供処理の流れを説明するフローチャートである。CPU20は、操作メニュー画面においてユーザーがロータリーマルチセレクター114の外周部114a、またはタッチパネル操作部材(不図示)を操作することによってレシピ情報の提供処理を実行するように指示された場合に、図4による処理を起動する。
【0038】
図4による処理を起動するCPU20は、音声認識部34による認識動作を有効にするとともに、液晶モニター36に表示する情報をプロジェクタユニット46によって壁などに投射するように切替え制御する。これにより、ユーザーがシャッターボタン11を操作することなしに音声で撮影を指示したり、ユーザーがロータリーマルチセレクター114の外周部114aやタッチパネル操作部材(不図示)を操作することなしに音声で操作メニュー選択指示が行える。
【0039】
図4のステップS1において、CPU20は食材認識を行う。たとえば、ユーザーが17時に夕食の料理メニューを決定する場合を例に説明する。食材として「えび」と「しめじ」と「トマト」を有するユーザーは、これらの食材をデジタルカメラ1の撮影レンズ100の前にかざし(デジタルカメラ1の前に載置してもよい)、マイク30に向かって「撮影」と発声する。
【0040】
CPU20は、音声認識部34から「撮影」を示す情報を受けると、撮影ユニット28に撮影開始を指示する。なお、シャッターボタン11が押下操作された場合にも撮影ユニット28に撮影開始を指示する。CPU20は、食材DB40aへ指示を送り、撮影ユニット28によって取得された画像データと食材DB40a内の不揮発性メモリ内に記憶している食材のデータとを比較させ、両者が一致した場合に対応する食材に関する情報をCPU20へ送出させる。
【0041】
CPU20は、食材DB40aから入力された食材情報に基づいて、当該食材の画像および名称をプロジェクタユニット46から投射させる。なお、食材画像および名称を液晶モニター36に表示させてもよい。本例の場合は、「えび」と「しめじ」と「トマト」の画像および名称が投射(または表示)される。
【0042】
上述したように、加工された食材の識別は困難である。CPU20は、識別が困難である場合は候補となる複数の食材のそれぞれの画像および名称を投射(または表示)させて、ユーザーの音声による選択指示を待つ。この場合、スピーカ48からガイダンスを再生して選択指示を促す音声案内をしてもよい。候補となる複数の食材を投射(表示)するのは、たとえば、男爵いもとメークインとを識別できない場合や、ラム肉と豚肉とが識別できない場合などである。
【0043】
食材認識を行ったCPU20は、ステップS2において料理メニュー表示を行う。CPU20はメニュー紹介DB40bへ指示を送り、食材DB40aによって認識された食材を用いた料理メニューを抽出させ、抽出した料理メニューの情報をCPU20へ送出させる。CPU20は、メニュー紹介DB40bから入力された複数の料理メニュー情報を投射(または表示)させて、ユーザーの音声による選択指示を待つ。この場合、スピーカ48からガイダンスを再生して選択指示を促す音声案内をしてもよい。本例の場合は、たとえば、料理メニューとして「えびとトマトのクリームパスタ」、「えびとしめじのトマトリゾット」、および「トマトとエビのチリ炒め」の3つの料理メニューが表示される。各料理メニューは、調理時間および熱量を含めて投射(または表示)される。
【0044】
食材の組み合わせが、たとえば「じゃがいも」、「人参」、「玉葱」、および「肉」の場合は、多数の料理メニューが存在する。CPU20は、料理メニューの数が所定数(たとえば10以上)存在する場合には、スピーカ48から「和食、中華、イタリアン、フレンチからジャンルを指定してください。」とガイダンスを再生してジャンル指定指示を促す音声案内をする。この場合のユーザーは、マイク30に向かって、たとえば「イタリアン」と発声する。
【0045】
CPU20は、音声認識部34から「イタリアン」を示す情報を受けると、上記10以上の料理メニューのうちイタリア料理メニューを抽出させる。そして、抽出したイタリア料理メニュー情報を投射(または表示)させて、ユーザーの音声による選択指示を待つ。なお、スピーカ48から「和食、中華、イタリアン、フレンチからジャンルを指定して下さい。」とメッセージを再生する代わりに、スピーカ48から「グループ名を指定して下さい。」とメッセージを再生してもよい。この場合のCPU20は、音声認識部34から、たとえば「家族」を示す情報を受けると、上記10以上の料理メニューのうち、「家族」としてグルーピングおよび登録されている人物が好きな料理メニューを抽出させる。そして、抽出した料理メニュー情報を投射(または表示)させて、ユーザーの音声による選択指示を待つ。
【0046】
料理メニュー表示(投射)を行わせたCPU20は、ステップS3において、料理メニューが選択済みか否かを判定する。CPU20は、投射(または表示)中の料理メニューのうち、たとえば「えびとトマトのクリームパスタ」を示す情報を音声認識部34から受けると、ステップS3を肯定判定してステップS4へ進む。CPU20は、投射(または表示)中の料理メニューを示す情報を音声認識部34から受けない場合には、ステップS3を否定判定してステップS2へ戻る。ステップS2へ戻る動作を繰り返す場合は、ステップS2へ戻って前回と異なる料理メニュー情報を投射(または表示)させて、ユーザーの音声による選択指示を待つ。なお、ジャンル指定指示またはグループ名を指定する指示を受けた場合には、上述したように、指示に応じて抽出した料理メニュー情報を投射(または表示)させる。
【0047】
ステップS4において、CPU20は、料理メニューから選択された料理を調理するのに必要な食材情報(食材名およびその分量)を投射(または表示)させてステップS5へ進む。食材情報は、レシピ紹介DB40cから取得する。分量は、通常、大人4人分とする。なお、人数が特定されているグループ(たとえば「家族」)が指定されている場合には、当該グループに登録されている人数分の分量に換算して表示する。人数が特定できないグループの場合は、スピーカ48から「人数を指定して下さい。」とメッセージを再生してもよい。この場合のCPU20は、音声認識部34から、たとえば「3人」を示す情報を受けると、3人分の分量に換算して投射(または表示)させる。
【0048】
ステップS5において、CPU20は、不足食材があるか否かを判定する。CPU20は、スピーカ48から「材料は揃っていますか?」とメッセージを再生させる。そして、CPU20は音声認識部34から「はい」を示す情報を受けると、ステップS5を肯定判定してステップS7へ進む。一方、CPU20は音声認識部34から「いいえ」を示す情報を受けると、ステップS5を否定判定してステップS6へ進む。
【0049】
ステップS6において、CPU20は不足食材に関する情報を提供する。CPU20は、ステップS4で表示した食材名の中にステップS1で認識した食材以外の他の食材(たとえば「モッツァレラチーズ」)が含まれる場合、または音声認識部34から食材名(たとえば「モッツァレラチーズ」)を示す情報を受けた場合には、不足食材(本例の場合は「モッツァレラチーズ」)の情報を情報取得部31を介して取得する。上述したように、GPS部42で取得された現在位置の情報、フラッシュROM29に記憶される地図情報とに基づいて、不足食材を販売する最寄りの店舗の情報(店舗の名称や交通アクセス等)を取得する。
【0050】
CPU20は、ステップS6の情報提供後に一旦図4による処理を中断してもよい。この場合のCPU20は、食材が揃った旨の情報が音声認識部34から入力されるまで中断状態を継続し、食材が揃った旨の情報が音声認識部34から入力されると処理を再開してステップS7へ進む。
【0051】
ステップS7において、CPU20は、ステップS3で選択されている料理のレシピ情報を投射(または表示)させてステップS8へ進む。レシピ情報は、レシピ紹介DB40cから取得する。レシピ紹介DB40cには、通常紹介する基本レシピの他、低カロリーレシピや一工夫を加えたサブレシピの情報も格納されている。CPU20は、音声認識部34から「サブレシピ」を要求する情報を受けると、対応するサブレシピの情報を投射(または表示)させる。レシピ情報の提供は、たとえば、各工程ごとに投射(または表示)して一旦停止し、音声認識部34から「次」を示す情報を受けると、次工程の情報を投射(または表示)させる。音声認識部34から「戻る」を示す情報を受けると、前工程の情報を投射(または表示)させる。
【0052】
ステップS8において、CPU20は調理の様子を記録させる。具体的には、CPU20が撮影ユニット28に指示を送り、レシピにおける各工程を動画像として所定時間(たとえば10秒)ずつ間欠的に記録させる。各工程における記録開始は、マイク30で集音された音声信号(たとえば、包丁で食材を切るときの音、フライパンで食材を炒めるときに発生する音など)をトリガに開始させるとよい。記録開始トリガとして用いたい音声データをあらかじめフラッシュROM29に記憶させておき、記憶されている音声データと同様の周波数の音声信号が集音された場合に、記録開始トリガと判断する。なお、上記各工程における動画像の記録は、料理のレシピ情報を投射(または表示)中に行ってもよいし、一旦停止中に行ってもよい。
【0053】
CPU20はさらに、各工程の所要時間をカレンダ部26で計時させて前記動画像と関連づけて調理記録(ログデータ)としてメモリカードMCに記憶させる。各工程の所要時間は、ある工程の情報を投射(または表示)開始してから、次工程の情報を投射(または表示)開始するまでの経過時間とする。各工程の投射(または表示)は、1回行なって一旦停止する他に、同工程を繰り返し投射(または表示)させてもよい。CPU20は、音声認識部34から「繰り返す」を示す情報を受けると、同工程の情報を再度投射(または表示)させる。
【0054】
ステップS9において、CPU20は、次の料理を作るか否かを判定する。CPU20は、スピーカ48から「他の料理を作りますか?」とメッセージを再生させる。そして、CPU20は音声認識部34から「はい」、または「もう一品」を示す情報を受けると、ステップS9を肯定判定してステップS1へ戻る。一方、CPU20は音声認識部34から「いいえ」、または「終了」を示す情報を受けると、ステップS9を否定判定して図4による処理を終了する。
【0055】
以上説明した実施形態によれば、次の作用効果が得られる。
(1)デジタルカメラ1は、被写体を撮像する撮影ユニット28と、撮像した被写体に関連した情報を出力するプロジェクタユニット46(または液晶モニター36)と、プロジェクタユニット46(または液晶モニター36)が出力した情報への応答である音声を認識する音声認識部34と、音声認識部34による認識に応じて撮像とは異なる操作を制御するCPU20とを備える。これにより、たとえば料理レシピや組み立て手順などの情報を使い勝手よく提供できる。
【0056】
(2)上記デジタルカメラ1において、撮影ユニット28による撮像指示を受け付けるシャッターボタン11を備え、プロジェクタユニット46は画像を投射し、CPU20はさらに、プロジェクタユニット46の投射動作に関連して、シャッターボタン11からの撮影指示なしに撮影ユニット28に撮像を行わせるようにした。これにより、たとえば、調理中で手が濡れていたり、手にパン粉などがついていたりして、手でデジタルカメラ1のシャッターボタン11を操作できない状態でも、撮影ユニット28に撮像を行わせることができる。
【0057】
(3)上記デジタルカメラ1において、CPU20は、音声認識部34による認識に応じて撮影ユニット28に撮像を行わせるので、手を使わないで声によって撮影指示を行える。
【0058】
(4)上記デジタルカメラ1において、CPU20は、音声認識部34がプロジェクタユニット46の投射した画像に関連した音声を認識した際に撮影ユニット28で撮像を行わせるようにした。音声認識部34の不揮発性メモリ(不図示)に記憶させる単語は、投射画像に関する単語だけでよいから、あらゆる単語を記憶させておく場合に比べて不揮発性メモリの容量を抑えることができる。
【0059】
(5)上記デジタルカメラ1において、被写体に関連した表示を行う液晶モニター36と、被写体に関連した音声を発生するスピーカ48の少なくとも一方を備えるので、撮像した被写体に関連した情報の提供を表示または音声で行えるから、表示または音声の一方のみで提供する場合に比べて使い勝手が向上する。
【0060】
(6)上記デジタルカメラ1において、音声認識部34による認識に応じて時間を計時するカレンダ部26をさらに備えるので、たとえば、たとえば料理レシピや組み立て手順などの提供内容に時間指定が含まれる場合において、指定した時間の計時動作に役立つ。
【0061】
(7)上記デジタルカメラ1において、プロジェクタユニット46(または液晶モニター36)は、カレンダ部26の出力に応じて被写体に関連した情報を変更するので、料理レシピや組み立て手順において所定時間が経過したら自動的に次の工程を案内したり、所定時間が経過したら工程案内を一旦停止したりするなどして、使い勝手よく提供することができる。
【0062】
(8)上記デジタルカメラ1において、撮影ユニット28は所定の食材を撮像し、プロジェクタユニット46(または液晶モニター36)は、食材を用いた料理のレシピ情報を投射(または表示)するので、操作部材から食材名の入力操作をすることなく、食材を撮像するだけで該食材を用いた料理のレシピ情報を得ることができる。
【0063】
(9)上記デジタルカメラ1において、食材に関する情報を取得する情報取得部31を備えるので、レシピ情報がデジタルカメラ1内に記憶されていない場合でも、該レシピ情報をデジタルカメラ1の外部から入手することができる。
【0064】
(変形例1)
上述した説明では、メモリカードMCに記憶させるログデータにレシピを提供した料理メニュー情報、およびそのレシピ情報を含めるようにした。ステップS2のメニュー表示の際にグループ名が指定された場合には、指定されたグループ名(「家族」や所属する「チーム」等)もログデータに含めるとよい。同じメンバーが集うグループに関連づけたログを残すことで、たとえば「家族史」や「チームの合宿記録」など、過去のイベントにおける調理記録をグループごとに自動的に分類して残すことができる。なお、ログデータに含めた調理中の記録画像は、調理後の食事中にプロジェクタユニット46で投射したり、テレビなどの再生表示装置で再生させて鑑賞することができる。
【0065】
(変形例2)
料理のレシピ情報を提供する場合を例に説明したが、模型やプラモデル、キット(物置、犬小屋など)の組み立て手順の情報を提供するように構成してもよい。
【0066】
(変形例3)
上述した説明では、ユーザーによる選択操作を受け付ける態様として、ロータリーマルチセレクター114またはタッチパネル操作部材(不図示)に指などで直接触れて行う選択操作の受け付けの他に、音声認識部34を用いた音声認識を用いることによって非接触で行う選択操作の受け付けの例を説明した。非接触の選択操作の受け付け例として、プロジェクタユニット46の投影領域を撮影ユニット28によって撮像した画像に基づいて判断するように構成してもよい。
【0067】
この場合のCPU20は、特開2008−298819号公報に記載されるように、撮影ユニット28で撮像して得られたスルー画を順次読み込んで、スルー画の所定の領域(撮影画面における所定画素数以上の領域)に変化があると判断すると、変化を判断した領域に応じた選択指示が行われたものと判断する。なお、スルー画とは、撮影ユニット28によって所定の時間間隔(たとえば30コマ/毎秒)で繰り返し取得されるモニタ用画像(ライブビュー画像とも呼ばれる)のことをいう。
【0068】
CPU20は、たとえば、まな板上にメニュー紹介DB40bから入力された複数の料理メニュー情報をプロジェクタユニット46により投射させて、ユーザーによる選択指示を待つ。料理メニューとして「えびとトマトのクリームパスタ」、「えびとしめじのトマトリゾット」、および「トマトとエビのチリ炒め」の3つの料理メニューが投射されている場合に、ユーザーは、まな板上で選択したいメニューが投射されている領域へ手をかざす。CPU20は、スルー画像の変化に基づいて手がかざされた領域を判断し、当該領域に対応するメニューの選択指示が行われたものと判断する。なお、上述の説明は、前述の図4のフローチャートS2、S3に相当し、CPU20は、撮影ユニット28とプロジェクタユニット46とを用いてメニューを選択した後に、シャッターボタン11からの撮影指示なしに撮影ユニット28に撮像させるようにしてもよい。
【0069】
なお、まな板上でなく床面に投射した場合には、選択したいメニューが投射されている領域へ足を動かして選択指示を行うようにしてもよい。
【0070】
(変形例4)
以上の説明では、コンパクトタイプのデジタルカメラ1を例に説明したが、レンズ交換式の一眼レフカメラや、ミラーレス一眼カメラ、ビデオカメラや携帯電話機などにも本発明を適用することができる。
【0071】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【0072】
1…デジタルカメラ
11…シャッターボタン
20…CPU
24…顔認識部
26…カレンダ部
28…撮影ユニット
29…フラッシュROM
30…マイク
31…情報取得部
34…音声認識部
36…液晶モニター
40…DB部
42…GPS部
46…プロジェクタユニット
48…スピーカ
113A〜C…操作ボタン
114…ロータリーマルチセレクター

【特許請求の範囲】
【請求項1】
被写体を撮像する撮像部と、
撮像した前記被写体に関連した情報を出力する出力部と、
前記出力部が出力した情報への応答である音声を認識する音声認識部と、
前記音声認識部による認識に応じて前記撮像とは異なる操作を制御する制御部と、
を備えたことを特徴とする電子機器。
【請求項2】
被写体を撮像する撮像部と、
撮像した前記被写体に関連した情報を出力する出力部と、
前記出力部が出力した情報への応答を前記撮像部で撮像された画像に基づいて判断する判断部と、
前記判断部による判断に応じて前記撮像および前記撮像とは異なる操作を制御する制御部と、
を備えたことを特徴とする電子機器。
【請求項3】
請求項2に記載の電子機器において、
前記出力部が出力した情報への応答である音声を認識する音声認識部を備え、
前記制御部は、前記音声認識部による認識に応じて前記撮像とは異なる操作を制御することを特徴とする電子機器。
【請求項4】
請求項1または3に記載の電子機器において、
前記撮像部による撮像指示を受け付ける操作部材を備え、
前記出力部は、画像を投射する投射部を有し、
前記制御部はさらに、前記投射部の投射動作に関連して、前記操作部材からの撮影指示なしに前記撮像部に撮像を行わせることを特徴とする電子機器。
【請求項5】
請求項4に記載の電子機器において、
前記制御部は、前記音声認識部による認識に応じて前記撮像部に撮像を行わせることを特徴とする電子機器。
【請求項6】
請求項5に記載の電子機器において、
前記制御部は、前記音声認識部が前記投射部の投射した画像に関連した音声を認識した際に前記撮像部に撮像を行わせることを特徴とする電子機器。
【請求項7】
請求項6に記載の電子機器において、
前記出力部は、前記被写体に関連した表示を行う表示部と、前記被写体に関連した音声を発生する音声出力部の少なくとも一方を備えることを特徴とする電子機器。
【請求項8】
請求項7に記載の電子機器において、
前記音声認識部による認識に応じて、時間を計時する計時部を備えることを特徴とする電子機器。
【請求項9】
請求項8に記載の電子機器において、
前記出力部は、前記計時部の出力に応じて、前記被写体に関連した情報を変更することを特徴とする電子機器。
【請求項10】
請求項9に記載の電子機器において、
前記撮像部は所定の部材を撮像し、
前記出力部は、前記部材を用いた作業手順を示す情報を出力することを特徴とする電子機器。
【請求項11】
請求項10に記載の電子機器において、
前記部材に関する情報を取得する情報取得部を備えることを特徴とする電子機器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2012−108282(P2012−108282A)
【公開日】平成24年6月7日(2012.6.7)
【国際特許分類】
【出願番号】特願2010−256541(P2010−256541)
【出願日】平成22年11月17日(2010.11.17)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】