ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
【課題】ユーザのジェスチャが画角内に収まっていない場合に通知する。
【解決手段】カメラが撮像した画像にユーザが写っているか否かを判定し、写っていなければ、ジェスチャが撮像されていないことを通知する。
【解決手段】カメラが撮像した画像にユーザが写っているか否かを判定し、写っていなければ、ジェスチャが撮像されていないことを通知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラでユーザの動作を撮像し、撮像した画像からユーザのジェスチャを認識するジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
近年、ユーザのジェスチャを認識することにより、機器を制御する制御信号を生成する様々な情報入力装置が開発されている。このような情報入力装置として、例えば、特許文献１および２に記載の情報入力装置がある。具体的には、ポインティングデバイス、ペン型デバイス、タッチパッド等の入力デバイスをユーザが操作し、入力デバイスがその動きを検知して、ユーザのジェスチャを認識する情報入力装置がある。
【０００３】
一方、入力デバイスを用いるのではなく、カメラでユーザの動作を撮像し、撮像した画像からユーザのジェスチャを認識する情報入力装置がある。以下では、画像からユーザのジェスチャを認識する情報入力装置をジェスチャ認識装置と称する。このジェスチャ認識装置は、ユーザが入力デバイス等を操作する必要がなく、直感的に装置に操作指示を入力することができるため、次世代インターフェースとして期待されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３０３２０７号公報（２００４年１０月２８日公開）
【特許文献２】特開２００９−３０１３０１号公報（２００９年１２月２４日公開）
【特許文献３】特開２００７−１６６１８７号公報（２００７年６月２８日公開）
【特許文献４】特開２００８−２４４８０４号公報（２００８年１０月９日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のジェスチャ認識装置では、ユーザは、ジェスチャ認識装置が自身のジェスチャを認識可能な状態であるか否かを知ることができない。換言すると、ユーザは、自身のジェスチャがカメラの画角の範囲内に収まっているかどうかを正確に判断することができない。そのため、ジェスチャ認識装置がユーザのジェスチャを認識可能な状態ではないにもかかわらず、ユーザは、ジェスチャが認識されることを期待して、何度も同じ動作をしたり、無駄に動きを工夫したりすることがあった。
【０００６】
ここで、カメラの撮影時に、人間の全身や顔等が画角に収まっているか否かを判定し、収まっていない場合に警告を発する技術がある（特許文献３および４）。しかしながら、特許文献３および４に記載の技術は、一般的なカメラに関する技術であり、ジェスチャ認識装置に関する技術ではない。また、従来、ジェスチャ認識装置において、ジェスチャが画角に収まっているか否かを通知することは行われていない。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザのジェスチャが画角内に収まっていない場合に通知するジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体を実現することにある。
【課題を解決するための手段】
【０００８】
本発明に係るジェスチャ認識装置は、上記課題を解決するために、カメラが撮像した画像から人のジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置であって、上記画像に人が含まれているか否かを判定する人判定手段と、上記人判定手段が上記画像に人が含まれていないと判定した場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を出力する出力手段とを備えることを特徴としている。
【０００９】
本発明に係るジェスチャ認識装置の制御方法は、上記課題を解決するために、カメラが撮像した画像から人のジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置の制御方法であって、上記画像に人が含まれているか否かを判定する人判定ステップと、上記人判定ステップにおいて上記画像に人が含まれていないと判定された場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を出力する出力ステップとを含むことを特徴としている。
【００１０】
上記の構成によれば、出力手段は、カメラが撮像した画像に人が含まれていない場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を電子機器に出力する。電子機器は、人画角外通知指示情報に基づいて、人が撮像されていないことを、電子機器を操作する人に通知する。
【００１１】
そのため、電子機器を操作する人は、電子機器からの通知に基づいて、カメラが撮像した画像に自身が含まれているか否か、つまり、カメラの画角から自身が外れているか否かを判断することができる。よって、電子機器を操作する人自身が撮像されていないにもかかわらず、当該人がジェスチャを認識させようとして何度も同じジェスチャをするという、電子機器を操作する人の無駄な動作を防止することができるという効果を奏する。
【００１２】
また、本発明に係るジェスチャ認識装置は、上記電子機器または上記ジェスチャ認識装置の現在または過去の処理に基づいて、人がジェスチャによる操作を所望する操作タイミングか否かを判定する時期判定手段と、上記出力手段は、上記人判定手段が上記画像に人が含まれていないと判定し、かつ、上記時期判定手段が操作タイミングであると判定した場合、上記人画角外通知指示情報を出力することが好ましい。
【００１３】
上記の構成によれば、出力手段は、カメラが撮像した画像に人が含まれておらず、かつ、人がジェスチャによる操作を所望する操作タイミングである場合に、人が撮像されていないことの通知を指示する人画角外通知指示情報を電子機器に出力する。
【００１４】
電子機器を操作する人が画角内にない場合には、電子機器を操作する人がジェスチャによる操作を所望しながらも当該人が画角内にない場合があるが、人がジェスチャによる操作を所望しないために当該人が画角内にない場合もある。そのため、電子機器を操作する人が画角から外れており、かつ、当該人がジェスチャによる操作を所望する場合にのみ、電子機器を操作する人に画角から外れていることを通知することによって、電子機器を操作する人の電子機器の使用を妨害することなく、当該人の無駄な動作を防止することができる。
【００１５】
また、本発明に係るジェスチャ認識装置は、上記時期判定手段は、現時点が、上記ジェスチャ認識装置がジェスチャ認識に基づく上記情報を上記電子機器に出力してから所定期間以内である場合、操作タイミングであると判定することが好ましい。
【００１６】
人がジェスチャによる操作を行った後の所定期間以内は、再度人がジェスチャによる操作を行う可能性が高いと考えられる。そのため、上記の構成のように、上記時期判定手段は、現時点が、上記ジェスチャ認識装置がジェスチャ認識に基づく上記情報を上記電子機器に出力してから所定期間以内である場合、操作タイミングであると判定することにより、ジェスチャ認識装置の処理に基づいて、操作タイミングを精度良く特定することができる。
【００１７】
また、本発明に係るジェスチャ認識装置は、上記時期判定手段は、上記ジェスチャ認識装置がジェスチャ認識に基づく上記情報を上記電子機器に出力してから所定期間経過している場合、操作タイミングであると判定することが好ましい。
【００１８】
人がジェスチャによる操作を行ってから所定期間経過した状態は、再度人がジェスチャによる操作を行う可能性が高いと考えられる。例えば、電子機器がテレビである場合、番組は１時間単位で構成されていることが多く、また、番組終了時には他のチャンネルに変える可能性がある。そのため、テレビにおいては、操作してから１時間経過すると、再度チェンネル切替等の操作が行われる可能性が高いと考えられる。
【００１９】
そのため、上記の構成のように、上記時期判定手段は、上記ジェスチャ認識装置がジェスチャ認識に基づく上記情報を上記電子機器に出力してから所定期間経過している場合、操作タイミングであると判定することにより、ジェスチャ認識装置の処理に基づいて、操作タイミングを精度良く特定することができる。
【００２０】
また、本発明に係るジェスチャ認識装置は、上記時期判定手段は、所定期間以内に、上記電子機器が所定の処理を実行した場合、操作タイミングであると判定することが好ましい。
【００２１】
電子機器が所定の処理を実行した後の所定期間以内は、再度人がジェスチャによる操作を行う可能性が高いと考えられる。例えば、電子機器の電源ＯＮ直後は人が電子機器を操作する可能性が高いと考えられる。
【００２２】
そのため、上記の構成のように、上記時期判定手段は、所定期間以内に、上記電子機器が所定の処理を実行した場合、操作タイミングであると判定することにより、ジェスチャ認識装置の処理に基づいて、操作タイミングを精度良く特定することができる。
【００２３】
また、本発明に係るジェスチャ認識装置は、上記電子機器がテレビであり、上記時期判定手段は、上記テレビにＣＭが表示されている場合、操作タイミングであると判定することが好ましい。
【００２４】
テレビでは、ＣＭが表示されている場合、人がチャンネル切替等の操作を行う可能性が高いと考えられる。そのため、上記の構成のように、上記時期判定手段は、上記テレビにＣＭが表示されている場合、操作タイミングであると判定することにより、ジェスチャ認識装置の処理に基づいて、操作タイミングを精度良く特定することができる。
【００２５】
また、本発明に係るジェスチャ認識装置は、上記人判定手段が上記画像に含まれていると判定した人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段をさらに備え、上記出力手段は、上記操作対象者判定手段が操作対象者ではないと判定した場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力することが好ましい。
【００２６】
上記出力手段は、電子機器を操作する人が操作対象者ではない場合、つまり、当該人がジェスチャにより上記電子機器の操作を実行することができない場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力する。
【００２７】
そのため、電子機器を操作する人は、電子機器からの通知に基づいて、自身が操作対象者であるか否かを判断することができる。よって、ジェスチャによる操作が実行できないにもかかわらず、電子機器を操作する人がジェスチャを認識させようとして何度も同じジェスチャをするという、当該人の無駄な動作を防止することができる。
【００２８】
また、本発明に係るジェスチャ認識装置は、上記人判定手段が上記画像に含まれていると判定した人が、ジェスチャによる上記電子機器の操作を禁止されている操作禁止者であるか否かを判定する操作禁止者判定手段とをさらに備え、上記出力手段は、上記操作禁止者判定手段が操作禁止者であると判定した場合、上記非操作対象者通知指示情報を出力しないことが好ましい。
【００２９】
上記出力手段は、電子機器を操作しようとする人が操作禁止者の場合、つまり、電子機器を操作しようとする人がジェスチャによる上記電子機器の操作を禁止されている場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力しない。操作禁止者は、ジェスチャによる上記電子機器の操作を実行することができないため、ジェスチャ認識を容易に行うための情報等を通知する必要が無い。
【００３０】
そのため、電子機器を操作しようとする人が操作禁止者の場合、上記情報を通知しないことにより、操作禁止者以外の人の電子機器の使用の妨害を低減すると共に、操作禁止者に対して、余分な情報を与えることを防止することができる。
【００３１】
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、予め、ジェスチャにより上記電子機器の操作を実行可能な者として設定されている人を操作対象者であると判定することが好ましい。
【００３２】
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、ジェスチャにより上記電子機器の操作を所定回数実行した人を操作対象者であると判定することが好ましい。
【００３３】
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、所定期間内にジェスチャにより上記電子機器の操作を実行した人を操作対象者であると判定することが好ましい。
【００３４】
また、本発明に係る電子機器は、上記ジェスチャ認識装置と、上記出力手段が出力する情報に従って、人に通知する通知手段とを備えたことを特徴としている。
【００３５】
上記の構成によれば、電子機器は、上記ジェスチャ認識装置と同様の効果を奏する。
【００３６】
なお、上記ジェスチャ認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記ジェスチャ認識装置の各手段として動作させることにより、上記ジェスチャ認識装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００３７】
以上のように、本発明に係るジェスチャ認識装置は、上記画像に人が含まれているか否かを判定する人判定手段と、上記人判定手段が上記画像に人が含まれていないと判定した場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を出力する出力手段とを備えている構成である。
【００３８】
また、本発明に係るジェスチャ認識装置の制御方法は、上記画像に人が含まれているか否かを判定する人判定ステップと、上記人判定ステップにおいて上記画像に人が含まれていないと判定された場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を出力する出力ステップとを含む。
【００３９】
したがって、人自身が撮像されていないにもかかわらず、人がジェスチャを認識させようとして何度も同じジェスチャをするという、人の無駄な動作を防止することができるという効果を奏する。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態を示すものであり、ジェスチャ認識装置およびジェスチャ認識装置を搭載したテレビの要部構成を示すブロック図である。
【図２】上記ジェスチャ認識装置を搭載したテレビの使用態様の一例を示す図である。
【図３】上記テレビのテレビ記憶部に格納されているテレビ処理履歴情報の一例を示す図である。
【図４】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されている人物特定情報の一例を示す図である。
【図５】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されているユーザ情報の一例を示す図である。
【図６】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されている操作タイミング情報の一例を示す図である。
【図７】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されているジェスチャ情報の一例を示す図である。
【図８】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されているジェスチャ認識装置処理履歴情報の一例を示す図である。
【図９】上記ジェスチャ認識装置が実行する処理の一例を示すフローチャートである。
【図１０】カメラが撮像した画像を示す図である。
【図１１】カメラが撮像した画像を示す図である。
【図１２】カメラが撮像した画像を示す図である。
【図１３】カメラが撮像した画像を示す図である。
【発明を実施するための形態】
【００４１】
＜本発明の概要＞
本発明は、ユーザ（操作者）が電子機器をジェスチャにより操作する際に、ユーザがカメラの画角から外れている場合、ユーザに対してその旨を通知するものである。本発明に係るジェスチャ認識装置を搭載した電子機器の使用態様の一例を図２に示す。図２は、本発明に係るジェスチャ認識装置を搭載した電子機器の使用態様の一例を示す図である。
【００４２】
図２では、電子機器がテレビ２の場合であり、テレビ２がジェスチャ認識装置を内蔵している場合を示す。図２に示すように、ユーザ４がカメラ３の画角θから外れている場合、テレビ２に「写っていません」等を表示して、ユーザ４にユーザ自身またはジェスチャが撮像されていないことを通知する。
【００４３】
このような通知をすることにより、ユーザは、自身のジェスチャが撮像されているか否かを知ることができる。そのため、ジェスチャが撮像されていないにもかかわらず、ユーザがジェスチャを認識させようとして何度も同じジェスチャをするという、ユーザの無駄な動作を防止することができる。
【００４４】
以下では、図２に示す本発明の実施形態を図１〜図１３に基づいてより詳細に説明する。なお、本実施形態では、電子機器がテレビの例を示しているが、これに限るものではない。例えば、電子機器として、携帯電話機、ゲーム機、デジタルカメラ、セキュリティゲート（ドア）等であってもよい。
【００４５】
また、本実施形態では、ジェスチャ認識装置を搭載したテレビ２が家庭内に設置されており、「父」、「母」、「子供」の３者がユーザとして存在するものとする。本実施形態では、このように特定のユーザが使用するものとするがこれに限るものではない。本発明に係る電子機器は、不特定多数のユーザが使用してもよい。例えば、病院等では、不特定多数のユーザがいるが、直接機器に触れて操作することが好ましくない場合がある。そのため、病院等の環境下では、電子機器の操作手段としてジェスチャ認識装置を好適に利用することができる。
【００４６】
なお、ここでは、ユーザとは、電子機器を操作する人（電子機器の操作を試みる人）を意味する。
【００４７】
＜テレビおよびジェスチャ認識装置の構成＞
まず、テレビ２およびテレビ２に搭載されるジェスチャ認識装置の具体的な構成および機能を説明する。図１は、テレビ２およびテレビ２に搭載されるジェスチャ認識装置１の要部構成の一例を示すブロック図である。まずは、テレビ２の構成について説明する。
【００４８】
〔テレビの構成〕
図１に示すように、テレビ２は、テレビ制御部５１、テレビ記憶部５２、テレビ通信部５３、操作部５４、表示部（通知手段）５５、音声出力部（通知手段）５６およびジェスチャ認識装置１を備えている。なお、テレビ２は、音声入力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
【００４９】
テレビ通信部５３は、無線通信手段または有線通信手段によって、他の装置と通信を行い、テレビ制御部５１の指示に従って、データのやりとりを行うものである。具体的には、テレビ通信部５３は、放送波を受信するアンテナであり、放送波を受信して映像データ、音声データおよび番組データ等を受信するものである。
【００５０】
操作部５４は、ユーザがテレビ２に操作信号を入力し、テレビ２を操作するためのものである。操作部５４は、操作ボタンなどの入力機器等で構成されているものであってもよい。また、操作部５４と表示部５５とが一体となっているタッチパネルであってもよい。また、操作部５４は、テレビ２と別体のリモートコントローラ等の遠隔制御装置であってもよい。なお、テレビ２はジェスチャ認識装置１を備えているため、テレビ２が操作部５４を備えていなくてもよい。
【００５１】
表示部５５は、テレビ制御部５１の指示に従って画像を表示するものである。表示部５５は、テレビ制御部５１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。
【００５２】
音声出力部５６は、テレビ制御部５１の指示に従って音声を出力するものであり、例えば、スピーカである。
【００５３】
テレビ制御部５１は、テレビ記憶部５２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、テレビ２が備える各部を統括的に制御するものである。
【００５４】
具体的には。テレビ制御部５１は、テレビ通信部５３を介して取得した映像データ、音声データおよび番組データ等に基づいて、表示部５５に映像や番組情報を表示させたり、音声出力部５６から音声を出力させたりするものである。また、テレビ制御部５１は、操作部５４またはジェスチャ認識装置１からの操作信号に基づいて、電源のＯＮ／ＯＦＦ、チャンネルの切替、音量の変更、番組表の表示等の所定の処理を実行する。また、テレビ制御部５１は、所定の処理を実行すると、実行した処理の処理内容と処理日時とを対応付けて、テレビ処理履歴情報６１としてテレビ記憶部５２に格納する。
【００５５】
また、テレビ制御部５１は、ジェスチャ認識装置１からの指示信号に基づいて、指示信号が示す情報を表示部５５に表示および／または音声出力部５６から音声を出力して、当該情報をユーザに通知する。また、テレビ制御部５１は、ＬＥＤ等の通知ランプ（不図示）を発光させて、上記指示信号が示す情報をユーザに通知してもよい。
【００５６】
詳細は後述するが、テレビ制御部５１は、ジェスチャ認識装置１から、ジェスチャもしくは操作対象者が撮像されていないことの通知の指示または操作対象者ではないことの通知の指示を受ける。テレビ制御部５１は、このような指示に基づいて、上述の内容をテキストとして表示部５５に表示してもよいし、音声として音声出力部５６から出力してもよい。また、テレビ制御部５１は、ジェスチャまたは操作対象者が撮像されていないことを通知するために、カメラ３が撮像した画像を表示部５５の画面の全体または一部に表示してもよい。
【００５７】
テレビ記憶部５２は、テレビ制御部５１が参照するプログラムやデータ等を格納するものであり、例えば、上記のテレビ処理履歴情報６１等を格納している。
【００５８】
テレビ記憶部５２に格納されているテレビ処理履歴情報６１について図３に基づいて説明する。図３は、テレビ記憶部５２に格納されているテレビ処理履歴情報６１の一例を示す図である。図３に示すように、テレビ処理履歴情報６１は、テレビ制御部５１が実行した処理の処理内容と、テレビ制御部５１が処理を実行した処理日時とが対応付けられている情報である。
【００５９】
ジェスチャ認識装置１は、カメラ３が撮像した画像からユーザのジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための信号（情報）を当該電子機器に出力するものである。図１に示す例では、ジェスチャ認識装置１がテレビ２に搭載されているが、これに限るものではなく、テレビ２とジェスチャ認識装置１が別体であってもよい。ジェスチャ認識装置１の具体的な構成および機能は次に説明する。
【００６０】
〔ジェスチャ認識装置の構成〕
図１に示すように、ジェスチャ認識装置１は、ジェスチャ認識装置制御部１１、ジェスチャ認識装置記憶部１２およびジェスチャ認識装置通信部１３を備えている。
【００６１】
ジェスチャ認識装置通信部１３は、無線通信手段または有線通信手段によって、カメラ３等の他の装置と通信を行い、ジェスチャ認識装置制御部１１の指示に従って、データのやりとりを行うものである。具体的には、ジェスチャ認識装置通信部１３は、ジェスチャ認識装置制御部１１の指示に従って、カメラ３から、カメラ３が撮像した画像を取得する。
【００６２】
ジェスチャ認識装置制御部１１は、ジェスチャ認識装置記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ジェスチャ認識装置１が備える各部を統括的に制御するものである。
【００６３】
本実施形態では、ジェスチャ認識装置制御部１１は、機能ブロックとして、画像取得部２１、人物判定部（人判定手段）２２、人物特定部２３、ユーザ判定部（操作対象者判定手段、操作禁止者判定手段）２４、時期判定部（時期判定手段）２６、出力部（出力手段）２７、ジェスチャ認識実行部２８および情報設定部２９を備える構成である。これらのジェスチャ認識装置制御部１１の各機能ブロック（２１〜２４、２６〜２９）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。
【００６４】
画像取得部２１は、ジェスチャ認識装置通信部１３を介して、カメラ３から、カメラ３が撮像した画像を取得するものである。
【００６５】
人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定するものである。例えば、人物判定部２２は、画像に対して人体検出または顔検出等を実行し、その結果として全身または人体の一部である顔（頭）、手、足等の部位を検出した場合、人物が撮像されていると判定する。また、人物判定部２２は、画像に対して人体検出または顔検出等を実行し、その検出結果として全身または部位の検出信頼度を特定し、検出信頼度が所定値以上である場合に人物が撮像されていると判定する。
【００６６】
換言すると、人物判定部２２は、画像取得部２１が取得した画像に人の全身または人の部位が撮像されている場合、人物が撮像されていると判定する。なお、人物判定部２２は、１つの画像から１または複数の人を検出してもよい。また、人物判定部２２は、取得した画像に人物が撮像されているか否かを判定するものであればよく、その手法を限定するものではない。
【００６７】
例えば、人物判定部２２は、全身または人体の一部である顔（頭）、手、足等の部位を検出するために、特開２００５−１１５９３２号公報、特開２００８−１５８７９０号公報および特開２００８−１５６４１号公報に記載の技術や、学習型の人体検出技術等を用いてもよい。
【００６８】
人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定するものである。
【００６９】
具体的には、人物特定部２３は、人物特定情報４１として「父」、「母」、「子供」の３者をそれぞれ個別に特定する情報が含まれている場合、人物判定部２２が検出した全身画像、顔画像等に対して認証を行い、検出した人が何れに該当するかを特定してもよい。例えば、人物特定部２３は、人物判定部２２が検出した顔画像の特徴量を算出し、算出した特徴量と、「父」、「母」、「子供」の顔画像の特徴量とを比較して、最も近似している人物を人物判定部２２が検出した顔画像の人物として特定してもよい。
【００７０】
また、人物特定部２３は、人物判定部２２が検出した全身画像、顔画像、手画像等から、性別、年齢、人種等を特定し、その特定した結果に基づいて、人物判定部２２が検出した人が誰であるかを特定してもよい。また、人物判定部２２が検出した全身画像、顔画像、手画像等から装飾品等を検出し、人物が身に付けている装飾品に基づいて、人物判定部２２が検出した人が誰であるかを特定してもよい。
【００７１】
また、人物特定部２３は、人物判定部２２が全身または顔等の一部が写っている画像（例えば、半身画像または顔、手もしくは足の一部のみが写っている画像）を検出した場合、写っていない部分を補完した後に人物を特定する処理を行ってもよい。例えば、半身、半顔の画像の場合、ミラーリングした後に人物を特定する処理を行ってもよい。
【００７２】
なお、人物特定部２３は、人物判定部２２が検出した人を、個人として特定するだけではなく、性別、年齢、人種等の人物の属性を特定するものであってもよい。また、人物特定部２３は、個人や属性を特定すればよく、その手法を限定するものではない。人物特定部２３は、上記以外の公知の技術を用いて個人や属性を特定してもよい。
【００７３】
ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定するものである。また、ユーザ判定部２４は、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作禁止者か否かを判定するものである。
【００７４】
ここで、操作対象者とは、ジェスチャによりテレビ２の操作を実行可能な人物である。換言すると、操作対象者として設定されているユーザのみがジェスチャによりテレビ２の操作を実行することができる。また、操作禁止者とは、ジェスチャによるテレビ２の操作を禁止されている人物である。
【００７５】
時期判定部２６は、テレビ２またはジェスチャ認識装置１の現在または過去の処理に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングか否かを判定する。具体的には、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出す。そして、時期判定部２６は、ジェスチャ認識装置記憶部１２からジェスチャ認識装置処理履歴情報４５を読み出し、テレビ制御部５１からテレビ２の現在の処理内容を示す情報、および、過去の処理内容を示すテレビ処理履歴情報６１を取得し、現時点が操作タイミング情報４３の示す操作タイミングに該当するか否かを判定する。
【００７６】
出力部２７は、人物判定部２２、ユーザ判定部２４および時期判定部２６の判定結果に基づいて、所定の情報の通知を指示する指示信号または当該通知の消去を指示する指示信号をテレビ制御部５１に出力するものである。
【００７７】
具体的には、出力部２７は、人物判定部２２が人物が撮像されていないと判定し、かつ、時期判定部２６が操作タイミングであると判定した場合、操作対象者（ユーザ）が撮像されていないことの通知を指示する人物画角外通知指示信号（人画角外通知指示情報）をテレビ制御部５１に出力する。また、出力部２７は、人物判定部２２が人物が撮像されていないと判定し、かつ、時期判定部２６が操作タイミングであると判定した場合、人物画角外通知指示信号に代えて、ジェスチャが撮像されていないことの通知を指示するジェスチャ画角外通知指示信号をテレビ制御部５１に出力してもよい。また、出力部２７は、ユーザ判定部２４が操作対象者ではないと判定し、さらに、操作禁止者ではないと判定し、かつ、時期判定部２６が操作タイミングであると判定した場合、操作対象者ではないことの通知を指示する非操作対象者通知指示信号（非操作対象者通知指示情報）をテレビ制御部５１に出力する。また、出力部２７は、ユーザ判定部２４が操作対象者であると判定し、かつ、テレビ２がジェスチャが撮像されていないことの通知または操作対象者ではないことの通知を行っている場合、当該通知の消去を指示する通知消去指示信号をテレビ制御部５１に出力する。
【００７８】
なお、出力部２７は、人物判定部２２が人物が撮像されていないと判定した場合、操作対象者（ユーザ）が撮像されていないことの通知を指示する人物画角外通知指示信号をテレビ制御部５１に出力してもよい。
【００７９】
また、出力部２７は、ジェスチャ認識実行部２８が生成した操作信号をテレビ制御部５１に出力する。また、出力部２７は、ジェスチャ認識実行部２８が生成したジェスチャ認識エラー信号をテレビ制御部５１に出力する。
【００８０】
ジェスチャ認識実行部２８は、ユーザ判定部２４が操作対象者であると判定した場合、ジェスチャ認識処理を実行する。具体的には、ジェスチャ認識実行部２８は、ジェスチャ認識処理を開始すると、画像取得部２１から時系列に並べられた複数の画像を取得すると共に、ジェスチャ認識装置記憶部１２からジェスチャ情報４４を読み出す。そして、ジェスチャ認識実行部２８は、取得した複数の画像からジェスチャ情報４４の示すジェスチャを検出する。
【００８１】
ジェスチャ認識実行部２８は、所定のジェスチャを検出すると、ジェスチャ情報４４において、検出したジェスチャに対応付けられている操作信号を生成する。一方、ジェスチャ認識実行部２８は、ジェスチャが検出できなかった場合、ジェスチャ認識エラー信号を生成してもよい。
【００８２】
また、ジェスチャ認識実行部２８は、ジェスチャ認識処理を実行した日時と、生成した操作信号またはジェスチャ認識エラー信号と、操作対象者とを対応付けて、ジェスチャ認識装置処理履歴情報４５を生成し、ジェスチャ認識装置記憶部１２に格納する。
【００８３】
情報設定部２９は、人物特定情報４１、ユーザ情報４２、操作タイミング情報４３およびジェスチャ情報４４を設定するものである。具体的には、情報設定部２９は、ユーザからの指示に基づいて、すなわち、操作部５４に入力された操作信号をテレビ制御部５１から取得またはジェスチャ認識実行部２８から操作信号を取得し、取得した操作信号に基づいて各情報を生成または更新する。
【００８４】
また、情報設定部２９は、ジェスチャ認識装置処理履歴情報４５として所定数の処理履歴がジェスチャ認識装置記憶部１２に格納されると、ジェスチャ認識装置処理履歴情報４５を参照して、ジェスチャによる操作を所定回数実行した人物を操作対象者として設定し、ユーザ情報４２を更新してもよい。
【００８５】
また、情報設定部２９は、ジェスチャ認識装置処理履歴情報４５として新たな処理履歴がジェスチャ認識装置記憶部１２に格納されると、最新の処理履歴を参照して、直前にジェスチャによる操作した人物のみを操作対象者として所定期間に限って設定し、ユーザ情報４２を更新してもよい。
【００８６】
また、情報設定部２９は、ジェスチャ認識装置処理履歴情報４５を参照して、所定期間内にジェスチャによる操作を実行した１または複数の人物を操作対象者として所定期間に限って設定し、ユーザ情報４２を更新してもよい。例えば、ユーザＸがジェスチャによる操作を実行すると、それから５分間を操作待ち受け時間とする。この操作待ち受け時間内にユーザＹがジェスチャによる操作を実行したとする。この場合、情報設定部２９は、ユーザＸおよびユーザＹを操作待ち受け時間終了後、所定の操作対象者有効期間（例えば、１５分間）操作対象者として設定する。
【００８７】
なお、情報設定部２９は、操作対象者または操作禁止者を設定してから、所定期間経過した後、操作対象者または操作禁止者の設定を解除してもよい。つまり、情報設定部２９は、操作対象者または操作禁止者の設定が有効な期間を定めておき、設定有効期間内は、所定のユーザを操作対象者または操作禁止者として設定し、設定有効期間終了後、当該設定を解除してもよい。また、情報設定部２９は、ユーザからの指示に基づいて、すなわち、操作部５４に入力された操作信号をテレビ制御部５１から取得またはジェスチャ認識実行部２８から操作信号を取得し、取得した操作信号に基づいて操作対象者または操作禁止者の設定を解除してもよい。
【００８８】
また、情報設定部２９は、テレビ制御部５１からテレビ処理履歴情報６１を取得すると共に、ジェスチャ認識装置記憶部１２からジェスチャ認識装置処理履歴情報４５を読み出し、テレビ処理履歴情報６１およびジェスチャ認識装置処理履歴情報４５に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングを学習し、操作タイミング情報４３を更新してもよい。
【００８９】
ジェスチャ認識装置記憶部１２は、ジェスチャ認識装置制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記の人物特定情報４１、ユーザ情報４２、操作タイミング情報４３、ジェスチャ情報４４、ジェスチャ認識装置処理履歴情報４５等を格納している。
【００９０】
ジェスチャ認識装置記憶部１２に格納されている人物特定情報４１、ユーザ情報４２、操作タイミング情報４３、ジェスチャ情報４４、ジェスチャ認識装置処理履歴情報４５についてそれぞれ図４〜図８に基づいて説明する。図４は、ジェスチャ認識装置記憶部１２に格納されている人物特定情報４１の一例を示す図である。図５は、ジェスチャ認識装置記憶部１２に格納されているユーザ情報４２の一例を示す図である。図６は、ジェスチャ認識装置記憶部１２に格納されている操作タイミング情報４３の一例を示す図である。図７は、ジェスチャ認識装置記憶部１２に格納されているジェスチャ情報４４の一例を示す図である。図８は、ジェスチャ認識装置記憶部１２に格納されているジェスチャ認識装置処理履歴情報４５の一例を示す図である。
【００９１】
（人物特定情報）
図４に示すように、人物特定情報４１は、ユーザ名と、当該ユーザを個別に特定するための個別特定情報および当該ユーザの属性を示す個人属性情報とが対応付けられた情報である。図示の例では、個別特定情報として「特徴量」がある。「特徴量」は、例えば、ユーザの人体画像および／または顔画像から抽出されるものである。人物特定部２３は、この「特徴量」を参照して、人物判定部２２が検出した人体画像または顔画像から特徴量を抽出し、人物特定情報４１に含まれる何れの特徴量と一致または近似しているかを特定して、ユーザを個別に特定する。
【００９２】
また、図示の例では、個人属性情報として、「性別」、「身長」、「年齢」、「人種」、「装飾品」がある。「性別」は、ユーザの性別を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から、唇の色、肌の色、眉毛の形状や色に基づく化粧の有無、ネイルの有無、髭の有無、爪の形状（長い場合は女性、深爪の場合は男性など）、服装、履物等に基づいてユーザの性別を特定する。人物特定部２３は、特定した性別から、何れのユーザに該当するかを判断する。例えば、図示の例では、女性と判断できれば、女性のユーザは「母」のみであるため、ユーザを「母」として特定することができる。
【００９３】
また、「身長」は、ユーザの身長を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から写っている人の身長を特定し、特定した身長から何れのユーザに該当するかを判断する。
【００９４】
また、「年齢」は、ユーザの年齢を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から写っている人の年齢を特定し、特定した年齢から何れのユーザに該当するかを判断する。
【００９５】
また、「人種」は、ユーザの人種を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から、瞳の色、肌の色、髪の色等に基づいて、写っている人の人種を特定し、特定した人種から何れのユーザに該当するかを判断する。
【００９６】
また、「装飾品」は、ユーザが身につけている装飾品を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から、眼鏡、指輪、時計等の装飾品を検出し、検出した装飾品を身に付けている人物が何れのユーザに該当するかを判断する。
【００９７】
なお、個人属性情報として「体型」や「髪型」等の情報が人物特定情報４１に含まれていてもよい。また、図示の例では、人物特定情報４１が６種の情報を含んでいるが、人物特定情報４１は、個別特定情報または個人属性情報の少なくとも１種類の情報を含んでいればよい。
【００９８】
（ユーザ情報）
図５に示すように、ユーザ情報４２は、どのユーザが操作対象者または操作禁止者として設定されているかを示す情報である。図５に示す例では、「父」が操作対象者として設定されており、「子供」が操作禁止者として設定されている。図５に示す例では、操作対象者および操作禁止者は、ユーザ個人として設定されているがこれに限るものではない。例えば、「女性」を操作対象者として設定したり、「未成年」を操作禁止者として設定したり、ユーザの属性で操作対象者または操作禁止者を設定してもよい。
【００９９】
なお、本実施形態では、操作対象者として設定されているユーザのみがジェスチャによる操作を実行できるがこれに限るものではない。例えば、誰でも自由にテレビをジェスチャによって操作可能な状態にしてもよい。この場合、例えば、操作対象者を「全てのユーザ」として設定してもよい。
【０１００】
また、上述のように、操作対象者および操作禁止者は、予め、ユーザの指示またはデフォルトで設定されていてもよい。
【０１０１】
（操作タイミング情報）
図６に示すように、操作タイミング情報４３は、ユーザがジェスチャによる操作を所望する操作タイミングに該当するか否かを判断するための条件（操作タイミングであるとみなす条件）を示す情報である。
【０１０２】
電子機器が所定の処理を行った後、電子機器が所定の処理を行っている期間中、電子機器が所定の処理を行ってから所定期間経過後、ジェスチャによる操作を行った後、ジェスチャによる操作を行ってから所定期間経過後等は、ユーザがジェスチャによる操作を所望する操作タイミングに該当する可能性が高いと考えられる。そこで、操作タイミングに該当するか否かを判断するための条件として、図６に示す条件を設定する。
【０１０３】
図６に示す例では、時期判定部２６は、ジェスチャ認識装置記憶部１２からジェスチャ認識装置処理履歴情報４５を読み出して、現時点がジェスチャによる操作から５分以内であるか、または、ジェスチャによる操作から２０分経過後５分以内であるかをそれぞれ判断し、いずれかに該当する場合に操作タイミングであると判定する。また、時期判定部２６は、テレビ制御部５１からテレビ処理履歴情報６１を取得し、現時点がテレビの電源ＯＮの操作から５分以内であるか、または、音量の変更の操作から１分以内であるか、または、チャンネルの変更の操作から１時間経過後５分以内であるかをそれぞれ判断し、いずれかに該当する場合に操作タイミングであると判定する。また、時期判定部２６は、テレビ制御部５１からテレビ２の現在の処理内容を示す情報を取得し、現在テレビ２がＣＭを表示中であれば、操作タイミングであると判定する。
【０１０４】
このように、本実施形態では、時期判定部２６は、操作タイミング情報４３に含まれる何れかの条件に該当すれば、操作タイミングであると判定するが、これに限るものではない。例えば、時期判定部２６は、操作タイミング情報４３に含まれる所定数以上の条件に該当すれば、操作タイミングであると判定してもよい。また、時期判定部２６は、各条件に信頼度を設定しておき、信頼度の合計値が所定値以上の場合に操作タイミングであると判定してもよい。また、操作タイミング情報４３に含まれる各条件をユーザごとに対応付けておいてもよい。これにより、各ユーザの使用態様に合わせて、時期判定部２６は操作タイミングを判定することができる。
【０１０５】
また、操作タイミング情報４３の各条件として、特定の時間帯や曜日等を更なる条件に加えてもよい。また、電子機器の特性や個人の使用態様により、周期的に電子機器が操作される場合、周期的な条件を操作タイミングとして設定してもよい。このように、操作タイミングは、操作タイミングは電子機器の特性（属性）、操作者の使用態様に応じて様々である。そのため、操作タイミングは、電子機器の特性（属性）、操作者の使用態様に応じて適宜設定したり、学習したりすることが望ましい。
【０１０６】
（ジェスチャ情報）
図７に示すように、ジェスチャ情報４４は、ジェスチャと操作信号とが対応付けられている情報である。例えば、ジェスチャ認識実行部２８は、取得した画像から操作対象者が「右手の人差指のみを立てている」ジェスチャを検出した場合、操作信号「Ｓ０１」を生成する。なお、操作信号「Ｓ０１」は、テレビ２の電源ＯＮ／ＯＦＦを制御する信号であり、操作信号「Ｓ０２」は、テレビ２のチャンネル変更を制御する信号であり、操作信号「Ｓ０３」は、テレビ２の音量変更を制御する信号であるとする。
【０１０７】
（ジェスチャ認識装置処理履歴情報）
図８に示すように、ジェスチャ認識装置処理履歴情報４５は、ジェスチャ認識実行部２８が生成した操作信号と、ジェスチャ認識実行部２８がジェスチャ認識処理を実行した処理日時と、ジェスチャ認識実行部２８が認識したジェスチャを行った操作対象者とが対応付けられている情報である。
【０１０８】
なお、図１に示す例では、テレビ２がジェスチャ認識装置１を搭載しているが、これに限るものではなく、テレビ２がジェスチャ認識装置１の機能を全て有していてもよい。具体的には、テレビ制御部５１がジェスチャ認識装置制御部１１の機能を有し、テレビ記憶部５２がジェスチャ認識装置記憶部１２が格納している情報を有し、テレビ通信部５３がジェスチャ認識装置通信部１３の機能を有していてもよい。
【０１０９】
＜ジェスチャ認識装置の処理＞
次に、ジェスチャ認識装置１が実行する処理について、図９〜図１３に基づいて説明する。図９は、ジェスチャ認識装置１が実行する処理の一例を示すフローチャートである。また、図１０〜図１３は、カメラ３が撮像した画像を示す図である。ここでは、ユーザ情報４２として図５に示す情報がジェスチャ認識装置記憶部１２に格納されているものとする。つまり、操作対象者は「父」であり、操作禁止者は「子供」であり、「母」は、操作対象者でも操作禁止者でもない人物であるとする。
【０１１０】
〔カメラが撮像した画像に誰も写っていない場合〕
まず、図１０に示すように、カメラ３が撮像した画像に誰も写っていない場合の処理について説明する。
【０１１１】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１０に示す画像には誰も写っていないため、人物判定部２２は、画像から何も検出せず、人物が撮像されていないと判定する。
【０１１２】
人物判定部２２が人物が撮像されていないと判定した場合（Ｓ２でＮＯ）、時期判定部２６は、テレビ２またはジェスチャ認識装置１の現在または過去の処理に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングか否かを判定する（Ｓ３）。時期判定部２６が操作タイミングであると判定した場合（Ｓ３でＹＥＳ）、出力部２７は、ジェスチャもしくは操作対象者が撮像されていないことの通知を指示する人物画角外通知指示信号をテレビ制御部５１に出力する（Ｓ４）。一方、時期判定部２６が操作タイミングではないと判定した場合（Ｓ３でＮＯ）、出力部２７は何も出力せず、Ｓ１に戻る。
【０１１３】
〔カメラが撮像した画像に「母」が写っている場合〕
次に、図１１に示すように、カメラ３が撮像した画像に「母」が写っている場合の処理について説明する。
【０１１４】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１１に示す画像に「母」の顔等が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１１５】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ５）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「母」として特定する。
【０１１６】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ６）。ここでは、「母」は操作対象者ではないため、ユーザ判定部２４は、操作対象者ではないと判定する（Ｓ６でＮＯ）。続いて、ユーザ判定部２４は、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作禁止者か否かを判定する（Ｓ７）。ここでも、「母」は操作禁止者ではないため、ユーザ判定部２４は、操作禁止者ではないと判定する（Ｓ７でＮＯ）。
【０１１７】
次に、時期判定部２６は、テレビ２またはジェスチャ認識装置１の現在または過去の処理に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングか否かを判定する（Ｓ８）。時期判定部２６が操作タイミングであると判定した場合（Ｓ８でＹＥＳ）、出力部２７は、操作対象者ではないことの通知を指示する非操作対象者通知指示信号をテレビ制御部５１に出力する（Ｓ９）。一方、時期判定部２６が操作タイミングではないと判定した場合（Ｓ８でＮＯ）、出力部２７は何も出力せず、Ｓ１に戻る。
【０１１８】
〔カメラが撮像した画像に「子供」が写っている場合〕
次に、図１２に示すように、カメラ３が撮像した画像に「子供」が写っている場合の処理について説明する。
【０１１９】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１２に示す画像に「子供」の顔等が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１２０】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ５）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「子供」として特定する。
【０１２１】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ６）。ここでは、「子供」は操作対象者ではないため、ユーザ判定部２４は、操作対象者ではないと判定する（Ｓ６でＮＯ）。続いて、ユーザ判定部２４は、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作禁止者か否かを判定する（Ｓ７）。ここでは、「子供」は操作禁止者であるため、ユーザ判定部２４は、操作禁止者であると判定する（Ｓ７でＹＥＳ）。ユーザ判定部２４が操作禁止者であると判定した場合は、出力部２７は何も出力せず、Ｓ１に戻る。
【０１２２】
〔カメラが撮像した画像に「父」が写っている場合〕
次に、図１３に示すように、カメラ３が撮像した画像に「父」が写っている場合の処理について説明する。
【０１２３】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１２に示す画像に「父」の顔等が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１２４】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ５）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「父」として特定する。
【０１２５】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ６）。ここでは、「父」は操作対象者であるため、ユーザ判定部２４は、操作対象者であると判定する（Ｓ６でＹＥＳ）。
【０１２６】
ここで、テレビ制御部５１が指示信号に基づいて通知処理を実行している場合（Ｓ１０でＹＥＳ）、出力部２７は、当該通知の消去を指示する通知消去指示信号をテレビ制御部５１に出力する（Ｓ１１）。そして、ジェスチャ認識実行部２８が、ジェスチャ認識処理を実行する（Ｓ１２）。一方、テレビ制御部５１が通知処理を実行していない場合（Ｓ１０でＮＯ）、出力部２７は何も出力せず、ジェスチャ認識実行部２８が、ジェスチャ認識処理を実行する（Ｓ１２）。
【０１２７】
なお、図９に示す処理例では、操作対象者か否かを判断した後に、ジェスチャ認識処理を実行しているが、これに限るものではない。例えば、画像取得部２１が取得した画像に対して、まず、ジェスチャ認識実行部２８がジェスチャ認識処理を実行し、ジェスチャ認識が正常にできなかった場合に、上記のＳ２〜Ｓ９の処理を行ってもよい。
【０１２８】
＜変形例＞
変形例として、電子機器がセキュリティゲートである場合を説明する。このセキュリティゲートは、会員の女性のみが入室可能な部屋の入口に設置されているものとする。そして、ここでは、操作対象者として、女性の予め登録されたユーザであり、操作禁止者として男性が設定されているものとする。
【０１２９】
この場合、会員の女性がジェスチャを行ったが、カメラに写っていない場合、セキュリティゲートは、会員の女性に対してジェスチャが写っていないことを通知する。また、会員ではない女性がジェスチャを行った場合は、セキュリティゲートは、会員ではない女性に対して、操作対象者ではない、つまり、未会員であることを通知する。このとき、セキュリティゲートは、会員ではない女性に対して、会員になるために必要な情報を通知してもよい。また、男性がジェスチャを行った場合、セキュリティゲートは、何も通知しない。セキュリティゲート等においては、許可者（操作対象者）および許可者になり得る人物以外の人物（つまりこの場合は男性）に対して、ジェスチャによる操作にエラーが発生したことを通知することは、セキュリティの観点から望ましくない。
【０１３０】
なお、セキュリティとユーザの便益とのバランスによるが、性別判定処理において誤った判定処理を実行する頻度が少なく無い場合、セキュリティゲートは、男性と判断した場合であっても、何回かに１度は未会員であることを通知してもよい。
【０１３１】
＜補足＞
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１３２】
最後に、ジェスチャ認識装置１の各ブロック、特にジェスチャ認識装置制御部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１３３】
すなわち、ジェスチャ認識装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるジェスチャ認識装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記ジェスチャ認識装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１３４】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１３５】
また、ジェスチャ認識装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１３６】
本発明は、カメラが撮像した画像からユーザのジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するジェスチャ認識装置に利用することができる。
【符号の説明】
【０１３７】
１ ジェスチャ認識装置
２ テレビ（電子機器）
３ カメラ
４ ユーザ
２２ 人物判定部（人判定手段）
２４ ユーザ判定部（操作対象者判定手段、操作禁止者判定手段）
２６ 時期判定部（時期判定手段）
２７ 出力部（出力手段）
５５ 表示部（通知手段）
５６ 音声出力部（通知手段）
【技術分野】
【０００１】
本発明は、カメラでユーザの動作を撮像し、撮像した画像からユーザのジェスチャを認識するジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
近年、ユーザのジェスチャを認識することにより、機器を制御する制御信号を生成する様々な情報入力装置が開発されている。このような情報入力装置として、例えば、特許文献１および２に記載の情報入力装置がある。具体的には、ポインティングデバイス、ペン型デバイス、タッチパッド等の入力デバイスをユーザが操作し、入力デバイスがその動きを検知して、ユーザのジェスチャを認識する情報入力装置がある。
【０００３】
一方、入力デバイスを用いるのではなく、カメラでユーザの動作を撮像し、撮像した画像からユーザのジェスチャを認識する情報入力装置がある。以下では、画像からユーザのジェスチャを認識する情報入力装置をジェスチャ認識装置と称する。このジェスチャ認識装置は、ユーザが入力デバイス等を操作する必要がなく、直感的に装置に操作指示を入力することができるため、次世代インターフェースとして期待されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３０３２０７号公報（２００４年１０月２８日公開）
【特許文献２】特開２００９−３０１３０１号公報（２００９年１２月２４日公開）
【特許文献３】特開２００７−１６６１８７号公報（２００７年６月２８日公開）
【特許文献４】特開２００８−２４４８０４号公報（２００８年１０月９日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のジェスチャ認識装置では、ユーザは、ジェスチャ認識装置が自身のジェスチャを認識可能な状態であるか否かを知ることができない。換言すると、ユーザは、自身のジェスチャがカメラの画角の範囲内に収まっているかどうかを正確に判断することができない。そのため、ジェスチャ認識装置がユーザのジェスチャを認識可能な状態ではないにもかかわらず、ユーザは、ジェスチャが認識されることを期待して、何度も同じ動作をしたり、無駄に動きを工夫したりすることがあった。
【０００６】
ここで、カメラの撮影時に、人間の全身や顔等が画角に収まっているか否かを判定し、収まっていない場合に警告を発する技術がある（特許文献３および４）。しかしながら、特許文献３および４に記載の技術は、一般的なカメラに関する技術であり、ジェスチャ認識装置に関する技術ではない。また、従来、ジェスチャ認識装置において、ジェスチャが画角に収まっているか否かを通知することは行われていない。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザのジェスチャが画角内に収まっていない場合に通知するジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体を実現することにある。
【課題を解決するための手段】
【０００８】
本発明に係るジェスチャ認識装置は、上記課題を解決するために、カメラが撮像した画像から人のジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置であって、上記画像に人が含まれているか否かを判定する人判定手段と、上記人判定手段が上記画像に人が含まれていないと判定した場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を出力する出力手段とを備えることを特徴としている。
【０００９】
本発明に係るジェスチャ認識装置の制御方法は、上記課題を解決するために、カメラが撮像した画像から人のジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置の制御方法であって、上記画像に人が含まれているか否かを判定する人判定ステップと、上記人判定ステップにおいて上記画像に人が含まれていないと判定された場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を出力する出力ステップとを含むことを特徴としている。
【００１０】
上記の構成によれば、出力手段は、カメラが撮像した画像に人が含まれていない場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を電子機器に出力する。電子機器は、人画角外通知指示情報に基づいて、人が撮像されていないことを、電子機器を操作する人に通知する。
【００１１】
そのため、電子機器を操作する人は、電子機器からの通知に基づいて、カメラが撮像した画像に自身が含まれているか否か、つまり、カメラの画角から自身が外れているか否かを判断することができる。よって、電子機器を操作する人自身が撮像されていないにもかかわらず、当該人がジェスチャを認識させようとして何度も同じジェスチャをするという、電子機器を操作する人の無駄な動作を防止することができるという効果を奏する。
【００１２】
また、本発明に係るジェスチャ認識装置は、上記電子機器または上記ジェスチャ認識装置の現在または過去の処理に基づいて、人がジェスチャによる操作を所望する操作タイミングか否かを判定する時期判定手段と、上記出力手段は、上記人判定手段が上記画像に人が含まれていないと判定し、かつ、上記時期判定手段が操作タイミングであると判定した場合、上記人画角外通知指示情報を出力することが好ましい。
【００１３】
上記の構成によれば、出力手段は、カメラが撮像した画像に人が含まれておらず、かつ、人がジェスチャによる操作を所望する操作タイミングである場合に、人が撮像されていないことの通知を指示する人画角外通知指示情報を電子機器に出力する。
【００１４】
電子機器を操作する人が画角内にない場合には、電子機器を操作する人がジェスチャによる操作を所望しながらも当該人が画角内にない場合があるが、人がジェスチャによる操作を所望しないために当該人が画角内にない場合もある。そのため、電子機器を操作する人が画角から外れており、かつ、当該人がジェスチャによる操作を所望する場合にのみ、電子機器を操作する人に画角から外れていることを通知することによって、電子機器を操作する人の電子機器の使用を妨害することなく、当該人の無駄な動作を防止することができる。
【００１５】
また、本発明に係るジェスチャ認識装置は、上記時期判定手段は、現時点が、上記ジェスチャ認識装置がジェスチャ認識に基づく上記情報を上記電子機器に出力してから所定期間以内である場合、操作タイミングであると判定することが好ましい。
【００１６】
人がジェスチャによる操作を行った後の所定期間以内は、再度人がジェスチャによる操作を行う可能性が高いと考えられる。そのため、上記の構成のように、上記時期判定手段は、現時点が、上記ジェスチャ認識装置がジェスチャ認識に基づく上記情報を上記電子機器に出力してから所定期間以内である場合、操作タイミングであると判定することにより、ジェスチャ認識装置の処理に基づいて、操作タイミングを精度良く特定することができる。
【００１７】
また、本発明に係るジェスチャ認識装置は、上記時期判定手段は、上記ジェスチャ認識装置がジェスチャ認識に基づく上記情報を上記電子機器に出力してから所定期間経過している場合、操作タイミングであると判定することが好ましい。
【００１８】
人がジェスチャによる操作を行ってから所定期間経過した状態は、再度人がジェスチャによる操作を行う可能性が高いと考えられる。例えば、電子機器がテレビである場合、番組は１時間単位で構成されていることが多く、また、番組終了時には他のチャンネルに変える可能性がある。そのため、テレビにおいては、操作してから１時間経過すると、再度チェンネル切替等の操作が行われる可能性が高いと考えられる。
【００１９】
そのため、上記の構成のように、上記時期判定手段は、上記ジェスチャ認識装置がジェスチャ認識に基づく上記情報を上記電子機器に出力してから所定期間経過している場合、操作タイミングであると判定することにより、ジェスチャ認識装置の処理に基づいて、操作タイミングを精度良く特定することができる。
【００２０】
また、本発明に係るジェスチャ認識装置は、上記時期判定手段は、所定期間以内に、上記電子機器が所定の処理を実行した場合、操作タイミングであると判定することが好ましい。
【００２１】
電子機器が所定の処理を実行した後の所定期間以内は、再度人がジェスチャによる操作を行う可能性が高いと考えられる。例えば、電子機器の電源ＯＮ直後は人が電子機器を操作する可能性が高いと考えられる。
【００２２】
そのため、上記の構成のように、上記時期判定手段は、所定期間以内に、上記電子機器が所定の処理を実行した場合、操作タイミングであると判定することにより、ジェスチャ認識装置の処理に基づいて、操作タイミングを精度良く特定することができる。
【００２３】
また、本発明に係るジェスチャ認識装置は、上記電子機器がテレビであり、上記時期判定手段は、上記テレビにＣＭが表示されている場合、操作タイミングであると判定することが好ましい。
【００２４】
テレビでは、ＣＭが表示されている場合、人がチャンネル切替等の操作を行う可能性が高いと考えられる。そのため、上記の構成のように、上記時期判定手段は、上記テレビにＣＭが表示されている場合、操作タイミングであると判定することにより、ジェスチャ認識装置の処理に基づいて、操作タイミングを精度良く特定することができる。
【００２５】
また、本発明に係るジェスチャ認識装置は、上記人判定手段が上記画像に含まれていると判定した人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段をさらに備え、上記出力手段は、上記操作対象者判定手段が操作対象者ではないと判定した場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力することが好ましい。
【００２６】
上記出力手段は、電子機器を操作する人が操作対象者ではない場合、つまり、当該人がジェスチャにより上記電子機器の操作を実行することができない場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力する。
【００２７】
そのため、電子機器を操作する人は、電子機器からの通知に基づいて、自身が操作対象者であるか否かを判断することができる。よって、ジェスチャによる操作が実行できないにもかかわらず、電子機器を操作する人がジェスチャを認識させようとして何度も同じジェスチャをするという、当該人の無駄な動作を防止することができる。
【００２８】
また、本発明に係るジェスチャ認識装置は、上記人判定手段が上記画像に含まれていると判定した人が、ジェスチャによる上記電子機器の操作を禁止されている操作禁止者であるか否かを判定する操作禁止者判定手段とをさらに備え、上記出力手段は、上記操作禁止者判定手段が操作禁止者であると判定した場合、上記非操作対象者通知指示情報を出力しないことが好ましい。
【００２９】
上記出力手段は、電子機器を操作しようとする人が操作禁止者の場合、つまり、電子機器を操作しようとする人がジェスチャによる上記電子機器の操作を禁止されている場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力しない。操作禁止者は、ジェスチャによる上記電子機器の操作を実行することができないため、ジェスチャ認識を容易に行うための情報等を通知する必要が無い。
【００３０】
そのため、電子機器を操作しようとする人が操作禁止者の場合、上記情報を通知しないことにより、操作禁止者以外の人の電子機器の使用の妨害を低減すると共に、操作禁止者に対して、余分な情報を与えることを防止することができる。
【００３１】
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、予め、ジェスチャにより上記電子機器の操作を実行可能な者として設定されている人を操作対象者であると判定することが好ましい。
【００３２】
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、ジェスチャにより上記電子機器の操作を所定回数実行した人を操作対象者であると判定することが好ましい。
【００３３】
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、所定期間内にジェスチャにより上記電子機器の操作を実行した人を操作対象者であると判定することが好ましい。
【００３４】
また、本発明に係る電子機器は、上記ジェスチャ認識装置と、上記出力手段が出力する情報に従って、人に通知する通知手段とを備えたことを特徴としている。
【００３５】
上記の構成によれば、電子機器は、上記ジェスチャ認識装置と同様の効果を奏する。
【００３６】
なお、上記ジェスチャ認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記ジェスチャ認識装置の各手段として動作させることにより、上記ジェスチャ認識装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００３７】
以上のように、本発明に係るジェスチャ認識装置は、上記画像に人が含まれているか否かを判定する人判定手段と、上記人判定手段が上記画像に人が含まれていないと判定した場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を出力する出力手段とを備えている構成である。
【００３８】
また、本発明に係るジェスチャ認識装置の制御方法は、上記画像に人が含まれているか否かを判定する人判定ステップと、上記人判定ステップにおいて上記画像に人が含まれていないと判定された場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を出力する出力ステップとを含む。
【００３９】
したがって、人自身が撮像されていないにもかかわらず、人がジェスチャを認識させようとして何度も同じジェスチャをするという、人の無駄な動作を防止することができるという効果を奏する。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態を示すものであり、ジェスチャ認識装置およびジェスチャ認識装置を搭載したテレビの要部構成を示すブロック図である。
【図２】上記ジェスチャ認識装置を搭載したテレビの使用態様の一例を示す図である。
【図３】上記テレビのテレビ記憶部に格納されているテレビ処理履歴情報の一例を示す図である。
【図４】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されている人物特定情報の一例を示す図である。
【図５】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されているユーザ情報の一例を示す図である。
【図６】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されている操作タイミング情報の一例を示す図である。
【図７】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されているジェスチャ情報の一例を示す図である。
【図８】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されているジェスチャ認識装置処理履歴情報の一例を示す図である。
【図９】上記ジェスチャ認識装置が実行する処理の一例を示すフローチャートである。
【図１０】カメラが撮像した画像を示す図である。
【図１１】カメラが撮像した画像を示す図である。
【図１２】カメラが撮像した画像を示す図である。
【図１３】カメラが撮像した画像を示す図である。
【発明を実施するための形態】
【００４１】
＜本発明の概要＞
本発明は、ユーザ（操作者）が電子機器をジェスチャにより操作する際に、ユーザがカメラの画角から外れている場合、ユーザに対してその旨を通知するものである。本発明に係るジェスチャ認識装置を搭載した電子機器の使用態様の一例を図２に示す。図２は、本発明に係るジェスチャ認識装置を搭載した電子機器の使用態様の一例を示す図である。
【００４２】
図２では、電子機器がテレビ２の場合であり、テレビ２がジェスチャ認識装置を内蔵している場合を示す。図２に示すように、ユーザ４がカメラ３の画角θから外れている場合、テレビ２に「写っていません」等を表示して、ユーザ４にユーザ自身またはジェスチャが撮像されていないことを通知する。
【００４３】
このような通知をすることにより、ユーザは、自身のジェスチャが撮像されているか否かを知ることができる。そのため、ジェスチャが撮像されていないにもかかわらず、ユーザがジェスチャを認識させようとして何度も同じジェスチャをするという、ユーザの無駄な動作を防止することができる。
【００４４】
以下では、図２に示す本発明の実施形態を図１〜図１３に基づいてより詳細に説明する。なお、本実施形態では、電子機器がテレビの例を示しているが、これに限るものではない。例えば、電子機器として、携帯電話機、ゲーム機、デジタルカメラ、セキュリティゲート（ドア）等であってもよい。
【００４５】
また、本実施形態では、ジェスチャ認識装置を搭載したテレビ２が家庭内に設置されており、「父」、「母」、「子供」の３者がユーザとして存在するものとする。本実施形態では、このように特定のユーザが使用するものとするがこれに限るものではない。本発明に係る電子機器は、不特定多数のユーザが使用してもよい。例えば、病院等では、不特定多数のユーザがいるが、直接機器に触れて操作することが好ましくない場合がある。そのため、病院等の環境下では、電子機器の操作手段としてジェスチャ認識装置を好適に利用することができる。
【００４６】
なお、ここでは、ユーザとは、電子機器を操作する人（電子機器の操作を試みる人）を意味する。
【００４７】
＜テレビおよびジェスチャ認識装置の構成＞
まず、テレビ２およびテレビ２に搭載されるジェスチャ認識装置の具体的な構成および機能を説明する。図１は、テレビ２およびテレビ２に搭載されるジェスチャ認識装置１の要部構成の一例を示すブロック図である。まずは、テレビ２の構成について説明する。
【００４８】
〔テレビの構成〕
図１に示すように、テレビ２は、テレビ制御部５１、テレビ記憶部５２、テレビ通信部５３、操作部５４、表示部（通知手段）５５、音声出力部（通知手段）５６およびジェスチャ認識装置１を備えている。なお、テレビ２は、音声入力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
【００４９】
テレビ通信部５３は、無線通信手段または有線通信手段によって、他の装置と通信を行い、テレビ制御部５１の指示に従って、データのやりとりを行うものである。具体的には、テレビ通信部５３は、放送波を受信するアンテナであり、放送波を受信して映像データ、音声データおよび番組データ等を受信するものである。
【００５０】
操作部５４は、ユーザがテレビ２に操作信号を入力し、テレビ２を操作するためのものである。操作部５４は、操作ボタンなどの入力機器等で構成されているものであってもよい。また、操作部５４と表示部５５とが一体となっているタッチパネルであってもよい。また、操作部５４は、テレビ２と別体のリモートコントローラ等の遠隔制御装置であってもよい。なお、テレビ２はジェスチャ認識装置１を備えているため、テレビ２が操作部５４を備えていなくてもよい。
【００５１】
表示部５５は、テレビ制御部５１の指示に従って画像を表示するものである。表示部５５は、テレビ制御部５１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。
【００５２】
音声出力部５６は、テレビ制御部５１の指示に従って音声を出力するものであり、例えば、スピーカである。
【００５３】
テレビ制御部５１は、テレビ記憶部５２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、テレビ２が備える各部を統括的に制御するものである。
【００５４】
具体的には。テレビ制御部５１は、テレビ通信部５３を介して取得した映像データ、音声データおよび番組データ等に基づいて、表示部５５に映像や番組情報を表示させたり、音声出力部５６から音声を出力させたりするものである。また、テレビ制御部５１は、操作部５４またはジェスチャ認識装置１からの操作信号に基づいて、電源のＯＮ／ＯＦＦ、チャンネルの切替、音量の変更、番組表の表示等の所定の処理を実行する。また、テレビ制御部５１は、所定の処理を実行すると、実行した処理の処理内容と処理日時とを対応付けて、テレビ処理履歴情報６１としてテレビ記憶部５２に格納する。
【００５５】
また、テレビ制御部５１は、ジェスチャ認識装置１からの指示信号に基づいて、指示信号が示す情報を表示部５５に表示および／または音声出力部５６から音声を出力して、当該情報をユーザに通知する。また、テレビ制御部５１は、ＬＥＤ等の通知ランプ（不図示）を発光させて、上記指示信号が示す情報をユーザに通知してもよい。
【００５６】
詳細は後述するが、テレビ制御部５１は、ジェスチャ認識装置１から、ジェスチャもしくは操作対象者が撮像されていないことの通知の指示または操作対象者ではないことの通知の指示を受ける。テレビ制御部５１は、このような指示に基づいて、上述の内容をテキストとして表示部５５に表示してもよいし、音声として音声出力部５６から出力してもよい。また、テレビ制御部５１は、ジェスチャまたは操作対象者が撮像されていないことを通知するために、カメラ３が撮像した画像を表示部５５の画面の全体または一部に表示してもよい。
【００５７】
テレビ記憶部５２は、テレビ制御部５１が参照するプログラムやデータ等を格納するものであり、例えば、上記のテレビ処理履歴情報６１等を格納している。
【００５８】
テレビ記憶部５２に格納されているテレビ処理履歴情報６１について図３に基づいて説明する。図３は、テレビ記憶部５２に格納されているテレビ処理履歴情報６１の一例を示す図である。図３に示すように、テレビ処理履歴情報６１は、テレビ制御部５１が実行した処理の処理内容と、テレビ制御部５１が処理を実行した処理日時とが対応付けられている情報である。
【００５９】
ジェスチャ認識装置１は、カメラ３が撮像した画像からユーザのジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための信号（情報）を当該電子機器に出力するものである。図１に示す例では、ジェスチャ認識装置１がテレビ２に搭載されているが、これに限るものではなく、テレビ２とジェスチャ認識装置１が別体であってもよい。ジェスチャ認識装置１の具体的な構成および機能は次に説明する。
【００６０】
〔ジェスチャ認識装置の構成〕
図１に示すように、ジェスチャ認識装置１は、ジェスチャ認識装置制御部１１、ジェスチャ認識装置記憶部１２およびジェスチャ認識装置通信部１３を備えている。
【００６１】
ジェスチャ認識装置通信部１３は、無線通信手段または有線通信手段によって、カメラ３等の他の装置と通信を行い、ジェスチャ認識装置制御部１１の指示に従って、データのやりとりを行うものである。具体的には、ジェスチャ認識装置通信部１３は、ジェスチャ認識装置制御部１１の指示に従って、カメラ３から、カメラ３が撮像した画像を取得する。
【００６２】
ジェスチャ認識装置制御部１１は、ジェスチャ認識装置記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ジェスチャ認識装置１が備える各部を統括的に制御するものである。
【００６３】
本実施形態では、ジェスチャ認識装置制御部１１は、機能ブロックとして、画像取得部２１、人物判定部（人判定手段）２２、人物特定部２３、ユーザ判定部（操作対象者判定手段、操作禁止者判定手段）２４、時期判定部（時期判定手段）２６、出力部（出力手段）２７、ジェスチャ認識実行部２８および情報設定部２９を備える構成である。これらのジェスチャ認識装置制御部１１の各機能ブロック（２１〜２４、２６〜２９）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。
【００６４】
画像取得部２１は、ジェスチャ認識装置通信部１３を介して、カメラ３から、カメラ３が撮像した画像を取得するものである。
【００６５】
人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定するものである。例えば、人物判定部２２は、画像に対して人体検出または顔検出等を実行し、その結果として全身または人体の一部である顔（頭）、手、足等の部位を検出した場合、人物が撮像されていると判定する。また、人物判定部２２は、画像に対して人体検出または顔検出等を実行し、その検出結果として全身または部位の検出信頼度を特定し、検出信頼度が所定値以上である場合に人物が撮像されていると判定する。
【００６６】
換言すると、人物判定部２２は、画像取得部２１が取得した画像に人の全身または人の部位が撮像されている場合、人物が撮像されていると判定する。なお、人物判定部２２は、１つの画像から１または複数の人を検出してもよい。また、人物判定部２２は、取得した画像に人物が撮像されているか否かを判定するものであればよく、その手法を限定するものではない。
【００６７】
例えば、人物判定部２２は、全身または人体の一部である顔（頭）、手、足等の部位を検出するために、特開２００５−１１５９３２号公報、特開２００８−１５８７９０号公報および特開２００８−１５６４１号公報に記載の技術や、学習型の人体検出技術等を用いてもよい。
【００６８】
人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定するものである。
【００６９】
具体的には、人物特定部２３は、人物特定情報４１として「父」、「母」、「子供」の３者をそれぞれ個別に特定する情報が含まれている場合、人物判定部２２が検出した全身画像、顔画像等に対して認証を行い、検出した人が何れに該当するかを特定してもよい。例えば、人物特定部２３は、人物判定部２２が検出した顔画像の特徴量を算出し、算出した特徴量と、「父」、「母」、「子供」の顔画像の特徴量とを比較して、最も近似している人物を人物判定部２２が検出した顔画像の人物として特定してもよい。
【００７０】
また、人物特定部２３は、人物判定部２２が検出した全身画像、顔画像、手画像等から、性別、年齢、人種等を特定し、その特定した結果に基づいて、人物判定部２２が検出した人が誰であるかを特定してもよい。また、人物判定部２２が検出した全身画像、顔画像、手画像等から装飾品等を検出し、人物が身に付けている装飾品に基づいて、人物判定部２２が検出した人が誰であるかを特定してもよい。
【００７１】
また、人物特定部２３は、人物判定部２２が全身または顔等の一部が写っている画像（例えば、半身画像または顔、手もしくは足の一部のみが写っている画像）を検出した場合、写っていない部分を補完した後に人物を特定する処理を行ってもよい。例えば、半身、半顔の画像の場合、ミラーリングした後に人物を特定する処理を行ってもよい。
【００７２】
なお、人物特定部２３は、人物判定部２２が検出した人を、個人として特定するだけではなく、性別、年齢、人種等の人物の属性を特定するものであってもよい。また、人物特定部２３は、個人や属性を特定すればよく、その手法を限定するものではない。人物特定部２３は、上記以外の公知の技術を用いて個人や属性を特定してもよい。
【００７３】
ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定するものである。また、ユーザ判定部２４は、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作禁止者か否かを判定するものである。
【００７４】
ここで、操作対象者とは、ジェスチャによりテレビ２の操作を実行可能な人物である。換言すると、操作対象者として設定されているユーザのみがジェスチャによりテレビ２の操作を実行することができる。また、操作禁止者とは、ジェスチャによるテレビ２の操作を禁止されている人物である。
【００７５】
時期判定部２６は、テレビ２またはジェスチャ認識装置１の現在または過去の処理に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングか否かを判定する。具体的には、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出す。そして、時期判定部２６は、ジェスチャ認識装置記憶部１２からジェスチャ認識装置処理履歴情報４５を読み出し、テレビ制御部５１からテレビ２の現在の処理内容を示す情報、および、過去の処理内容を示すテレビ処理履歴情報６１を取得し、現時点が操作タイミング情報４３の示す操作タイミングに該当するか否かを判定する。
【００７６】
出力部２７は、人物判定部２２、ユーザ判定部２４および時期判定部２６の判定結果に基づいて、所定の情報の通知を指示する指示信号または当該通知の消去を指示する指示信号をテレビ制御部５１に出力するものである。
【００７７】
具体的には、出力部２７は、人物判定部２２が人物が撮像されていないと判定し、かつ、時期判定部２６が操作タイミングであると判定した場合、操作対象者（ユーザ）が撮像されていないことの通知を指示する人物画角外通知指示信号（人画角外通知指示情報）をテレビ制御部５１に出力する。また、出力部２７は、人物判定部２２が人物が撮像されていないと判定し、かつ、時期判定部２６が操作タイミングであると判定した場合、人物画角外通知指示信号に代えて、ジェスチャが撮像されていないことの通知を指示するジェスチャ画角外通知指示信号をテレビ制御部５１に出力してもよい。また、出力部２７は、ユーザ判定部２４が操作対象者ではないと判定し、さらに、操作禁止者ではないと判定し、かつ、時期判定部２６が操作タイミングであると判定した場合、操作対象者ではないことの通知を指示する非操作対象者通知指示信号（非操作対象者通知指示情報）をテレビ制御部５１に出力する。また、出力部２７は、ユーザ判定部２４が操作対象者であると判定し、かつ、テレビ２がジェスチャが撮像されていないことの通知または操作対象者ではないことの通知を行っている場合、当該通知の消去を指示する通知消去指示信号をテレビ制御部５１に出力する。
【００７８】
なお、出力部２７は、人物判定部２２が人物が撮像されていないと判定した場合、操作対象者（ユーザ）が撮像されていないことの通知を指示する人物画角外通知指示信号をテレビ制御部５１に出力してもよい。
【００７９】
また、出力部２７は、ジェスチャ認識実行部２８が生成した操作信号をテレビ制御部５１に出力する。また、出力部２７は、ジェスチャ認識実行部２８が生成したジェスチャ認識エラー信号をテレビ制御部５１に出力する。
【００８０】
ジェスチャ認識実行部２８は、ユーザ判定部２４が操作対象者であると判定した場合、ジェスチャ認識処理を実行する。具体的には、ジェスチャ認識実行部２８は、ジェスチャ認識処理を開始すると、画像取得部２１から時系列に並べられた複数の画像を取得すると共に、ジェスチャ認識装置記憶部１２からジェスチャ情報４４を読み出す。そして、ジェスチャ認識実行部２８は、取得した複数の画像からジェスチャ情報４４の示すジェスチャを検出する。
【００８１】
ジェスチャ認識実行部２８は、所定のジェスチャを検出すると、ジェスチャ情報４４において、検出したジェスチャに対応付けられている操作信号を生成する。一方、ジェスチャ認識実行部２８は、ジェスチャが検出できなかった場合、ジェスチャ認識エラー信号を生成してもよい。
【００８２】
また、ジェスチャ認識実行部２８は、ジェスチャ認識処理を実行した日時と、生成した操作信号またはジェスチャ認識エラー信号と、操作対象者とを対応付けて、ジェスチャ認識装置処理履歴情報４５を生成し、ジェスチャ認識装置記憶部１２に格納する。
【００８３】
情報設定部２９は、人物特定情報４１、ユーザ情報４２、操作タイミング情報４３およびジェスチャ情報４４を設定するものである。具体的には、情報設定部２９は、ユーザからの指示に基づいて、すなわち、操作部５４に入力された操作信号をテレビ制御部５１から取得またはジェスチャ認識実行部２８から操作信号を取得し、取得した操作信号に基づいて各情報を生成または更新する。
【００８４】
また、情報設定部２９は、ジェスチャ認識装置処理履歴情報４５として所定数の処理履歴がジェスチャ認識装置記憶部１２に格納されると、ジェスチャ認識装置処理履歴情報４５を参照して、ジェスチャによる操作を所定回数実行した人物を操作対象者として設定し、ユーザ情報４２を更新してもよい。
【００８５】
また、情報設定部２９は、ジェスチャ認識装置処理履歴情報４５として新たな処理履歴がジェスチャ認識装置記憶部１２に格納されると、最新の処理履歴を参照して、直前にジェスチャによる操作した人物のみを操作対象者として所定期間に限って設定し、ユーザ情報４２を更新してもよい。
【００８６】
また、情報設定部２９は、ジェスチャ認識装置処理履歴情報４５を参照して、所定期間内にジェスチャによる操作を実行した１または複数の人物を操作対象者として所定期間に限って設定し、ユーザ情報４２を更新してもよい。例えば、ユーザＸがジェスチャによる操作を実行すると、それから５分間を操作待ち受け時間とする。この操作待ち受け時間内にユーザＹがジェスチャによる操作を実行したとする。この場合、情報設定部２９は、ユーザＸおよびユーザＹを操作待ち受け時間終了後、所定の操作対象者有効期間（例えば、１５分間）操作対象者として設定する。
【００８７】
なお、情報設定部２９は、操作対象者または操作禁止者を設定してから、所定期間経過した後、操作対象者または操作禁止者の設定を解除してもよい。つまり、情報設定部２９は、操作対象者または操作禁止者の設定が有効な期間を定めておき、設定有効期間内は、所定のユーザを操作対象者または操作禁止者として設定し、設定有効期間終了後、当該設定を解除してもよい。また、情報設定部２９は、ユーザからの指示に基づいて、すなわち、操作部５４に入力された操作信号をテレビ制御部５１から取得またはジェスチャ認識実行部２８から操作信号を取得し、取得した操作信号に基づいて操作対象者または操作禁止者の設定を解除してもよい。
【００８８】
また、情報設定部２９は、テレビ制御部５１からテレビ処理履歴情報６１を取得すると共に、ジェスチャ認識装置記憶部１２からジェスチャ認識装置処理履歴情報４５を読み出し、テレビ処理履歴情報６１およびジェスチャ認識装置処理履歴情報４５に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングを学習し、操作タイミング情報４３を更新してもよい。
【００８９】
ジェスチャ認識装置記憶部１２は、ジェスチャ認識装置制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記の人物特定情報４１、ユーザ情報４２、操作タイミング情報４３、ジェスチャ情報４４、ジェスチャ認識装置処理履歴情報４５等を格納している。
【００９０】
ジェスチャ認識装置記憶部１２に格納されている人物特定情報４１、ユーザ情報４２、操作タイミング情報４３、ジェスチャ情報４４、ジェスチャ認識装置処理履歴情報４５についてそれぞれ図４〜図８に基づいて説明する。図４は、ジェスチャ認識装置記憶部１２に格納されている人物特定情報４１の一例を示す図である。図５は、ジェスチャ認識装置記憶部１２に格納されているユーザ情報４２の一例を示す図である。図６は、ジェスチャ認識装置記憶部１２に格納されている操作タイミング情報４３の一例を示す図である。図７は、ジェスチャ認識装置記憶部１２に格納されているジェスチャ情報４４の一例を示す図である。図８は、ジェスチャ認識装置記憶部１２に格納されているジェスチャ認識装置処理履歴情報４５の一例を示す図である。
【００９１】
（人物特定情報）
図４に示すように、人物特定情報４１は、ユーザ名と、当該ユーザを個別に特定するための個別特定情報および当該ユーザの属性を示す個人属性情報とが対応付けられた情報である。図示の例では、個別特定情報として「特徴量」がある。「特徴量」は、例えば、ユーザの人体画像および／または顔画像から抽出されるものである。人物特定部２３は、この「特徴量」を参照して、人物判定部２２が検出した人体画像または顔画像から特徴量を抽出し、人物特定情報４１に含まれる何れの特徴量と一致または近似しているかを特定して、ユーザを個別に特定する。
【００９２】
また、図示の例では、個人属性情報として、「性別」、「身長」、「年齢」、「人種」、「装飾品」がある。「性別」は、ユーザの性別を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から、唇の色、肌の色、眉毛の形状や色に基づく化粧の有無、ネイルの有無、髭の有無、爪の形状（長い場合は女性、深爪の場合は男性など）、服装、履物等に基づいてユーザの性別を特定する。人物特定部２３は、特定した性別から、何れのユーザに該当するかを判断する。例えば、図示の例では、女性と判断できれば、女性のユーザは「母」のみであるため、ユーザを「母」として特定することができる。
【００９３】
また、「身長」は、ユーザの身長を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から写っている人の身長を特定し、特定した身長から何れのユーザに該当するかを判断する。
【００９４】
また、「年齢」は、ユーザの年齢を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から写っている人の年齢を特定し、特定した年齢から何れのユーザに該当するかを判断する。
【００９５】
また、「人種」は、ユーザの人種を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から、瞳の色、肌の色、髪の色等に基づいて、写っている人の人種を特定し、特定した人種から何れのユーザに該当するかを判断する。
【００９６】
また、「装飾品」は、ユーザが身につけている装飾品を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から、眼鏡、指輪、時計等の装飾品を検出し、検出した装飾品を身に付けている人物が何れのユーザに該当するかを判断する。
【００９７】
なお、個人属性情報として「体型」や「髪型」等の情報が人物特定情報４１に含まれていてもよい。また、図示の例では、人物特定情報４１が６種の情報を含んでいるが、人物特定情報４１は、個別特定情報または個人属性情報の少なくとも１種類の情報を含んでいればよい。
【００９８】
（ユーザ情報）
図５に示すように、ユーザ情報４２は、どのユーザが操作対象者または操作禁止者として設定されているかを示す情報である。図５に示す例では、「父」が操作対象者として設定されており、「子供」が操作禁止者として設定されている。図５に示す例では、操作対象者および操作禁止者は、ユーザ個人として設定されているがこれに限るものではない。例えば、「女性」を操作対象者として設定したり、「未成年」を操作禁止者として設定したり、ユーザの属性で操作対象者または操作禁止者を設定してもよい。
【００９９】
なお、本実施形態では、操作対象者として設定されているユーザのみがジェスチャによる操作を実行できるがこれに限るものではない。例えば、誰でも自由にテレビをジェスチャによって操作可能な状態にしてもよい。この場合、例えば、操作対象者を「全てのユーザ」として設定してもよい。
【０１００】
また、上述のように、操作対象者および操作禁止者は、予め、ユーザの指示またはデフォルトで設定されていてもよい。
【０１０１】
（操作タイミング情報）
図６に示すように、操作タイミング情報４３は、ユーザがジェスチャによる操作を所望する操作タイミングに該当するか否かを判断するための条件（操作タイミングであるとみなす条件）を示す情報である。
【０１０２】
電子機器が所定の処理を行った後、電子機器が所定の処理を行っている期間中、電子機器が所定の処理を行ってから所定期間経過後、ジェスチャによる操作を行った後、ジェスチャによる操作を行ってから所定期間経過後等は、ユーザがジェスチャによる操作を所望する操作タイミングに該当する可能性が高いと考えられる。そこで、操作タイミングに該当するか否かを判断するための条件として、図６に示す条件を設定する。
【０１０３】
図６に示す例では、時期判定部２６は、ジェスチャ認識装置記憶部１２からジェスチャ認識装置処理履歴情報４５を読み出して、現時点がジェスチャによる操作から５分以内であるか、または、ジェスチャによる操作から２０分経過後５分以内であるかをそれぞれ判断し、いずれかに該当する場合に操作タイミングであると判定する。また、時期判定部２６は、テレビ制御部５１からテレビ処理履歴情報６１を取得し、現時点がテレビの電源ＯＮの操作から５分以内であるか、または、音量の変更の操作から１分以内であるか、または、チャンネルの変更の操作から１時間経過後５分以内であるかをそれぞれ判断し、いずれかに該当する場合に操作タイミングであると判定する。また、時期判定部２６は、テレビ制御部５１からテレビ２の現在の処理内容を示す情報を取得し、現在テレビ２がＣＭを表示中であれば、操作タイミングであると判定する。
【０１０４】
このように、本実施形態では、時期判定部２６は、操作タイミング情報４３に含まれる何れかの条件に該当すれば、操作タイミングであると判定するが、これに限るものではない。例えば、時期判定部２６は、操作タイミング情報４３に含まれる所定数以上の条件に該当すれば、操作タイミングであると判定してもよい。また、時期判定部２６は、各条件に信頼度を設定しておき、信頼度の合計値が所定値以上の場合に操作タイミングであると判定してもよい。また、操作タイミング情報４３に含まれる各条件をユーザごとに対応付けておいてもよい。これにより、各ユーザの使用態様に合わせて、時期判定部２６は操作タイミングを判定することができる。
【０１０５】
また、操作タイミング情報４３の各条件として、特定の時間帯や曜日等を更なる条件に加えてもよい。また、電子機器の特性や個人の使用態様により、周期的に電子機器が操作される場合、周期的な条件を操作タイミングとして設定してもよい。このように、操作タイミングは、操作タイミングは電子機器の特性（属性）、操作者の使用態様に応じて様々である。そのため、操作タイミングは、電子機器の特性（属性）、操作者の使用態様に応じて適宜設定したり、学習したりすることが望ましい。
【０１０６】
（ジェスチャ情報）
図７に示すように、ジェスチャ情報４４は、ジェスチャと操作信号とが対応付けられている情報である。例えば、ジェスチャ認識実行部２８は、取得した画像から操作対象者が「右手の人差指のみを立てている」ジェスチャを検出した場合、操作信号「Ｓ０１」を生成する。なお、操作信号「Ｓ０１」は、テレビ２の電源ＯＮ／ＯＦＦを制御する信号であり、操作信号「Ｓ０２」は、テレビ２のチャンネル変更を制御する信号であり、操作信号「Ｓ０３」は、テレビ２の音量変更を制御する信号であるとする。
【０１０７】
（ジェスチャ認識装置処理履歴情報）
図８に示すように、ジェスチャ認識装置処理履歴情報４５は、ジェスチャ認識実行部２８が生成した操作信号と、ジェスチャ認識実行部２８がジェスチャ認識処理を実行した処理日時と、ジェスチャ認識実行部２８が認識したジェスチャを行った操作対象者とが対応付けられている情報である。
【０１０８】
なお、図１に示す例では、テレビ２がジェスチャ認識装置１を搭載しているが、これに限るものではなく、テレビ２がジェスチャ認識装置１の機能を全て有していてもよい。具体的には、テレビ制御部５１がジェスチャ認識装置制御部１１の機能を有し、テレビ記憶部５２がジェスチャ認識装置記憶部１２が格納している情報を有し、テレビ通信部５３がジェスチャ認識装置通信部１３の機能を有していてもよい。
【０１０９】
＜ジェスチャ認識装置の処理＞
次に、ジェスチャ認識装置１が実行する処理について、図９〜図１３に基づいて説明する。図９は、ジェスチャ認識装置１が実行する処理の一例を示すフローチャートである。また、図１０〜図１３は、カメラ３が撮像した画像を示す図である。ここでは、ユーザ情報４２として図５に示す情報がジェスチャ認識装置記憶部１２に格納されているものとする。つまり、操作対象者は「父」であり、操作禁止者は「子供」であり、「母」は、操作対象者でも操作禁止者でもない人物であるとする。
【０１１０】
〔カメラが撮像した画像に誰も写っていない場合〕
まず、図１０に示すように、カメラ３が撮像した画像に誰も写っていない場合の処理について説明する。
【０１１１】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１０に示す画像には誰も写っていないため、人物判定部２２は、画像から何も検出せず、人物が撮像されていないと判定する。
【０１１２】
人物判定部２２が人物が撮像されていないと判定した場合（Ｓ２でＮＯ）、時期判定部２６は、テレビ２またはジェスチャ認識装置１の現在または過去の処理に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングか否かを判定する（Ｓ３）。時期判定部２６が操作タイミングであると判定した場合（Ｓ３でＹＥＳ）、出力部２７は、ジェスチャもしくは操作対象者が撮像されていないことの通知を指示する人物画角外通知指示信号をテレビ制御部５１に出力する（Ｓ４）。一方、時期判定部２６が操作タイミングではないと判定した場合（Ｓ３でＮＯ）、出力部２７は何も出力せず、Ｓ１に戻る。
【０１１３】
〔カメラが撮像した画像に「母」が写っている場合〕
次に、図１１に示すように、カメラ３が撮像した画像に「母」が写っている場合の処理について説明する。
【０１１４】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１１に示す画像に「母」の顔等が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１１５】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ５）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「母」として特定する。
【０１１６】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ６）。ここでは、「母」は操作対象者ではないため、ユーザ判定部２４は、操作対象者ではないと判定する（Ｓ６でＮＯ）。続いて、ユーザ判定部２４は、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作禁止者か否かを判定する（Ｓ７）。ここでも、「母」は操作禁止者ではないため、ユーザ判定部２４は、操作禁止者ではないと判定する（Ｓ７でＮＯ）。
【０１１７】
次に、時期判定部２６は、テレビ２またはジェスチャ認識装置１の現在または過去の処理に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングか否かを判定する（Ｓ８）。時期判定部２６が操作タイミングであると判定した場合（Ｓ８でＹＥＳ）、出力部２７は、操作対象者ではないことの通知を指示する非操作対象者通知指示信号をテレビ制御部５１に出力する（Ｓ９）。一方、時期判定部２６が操作タイミングではないと判定した場合（Ｓ８でＮＯ）、出力部２７は何も出力せず、Ｓ１に戻る。
【０１１８】
〔カメラが撮像した画像に「子供」が写っている場合〕
次に、図１２に示すように、カメラ３が撮像した画像に「子供」が写っている場合の処理について説明する。
【０１１９】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１２に示す画像に「子供」の顔等が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１２０】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ５）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「子供」として特定する。
【０１２１】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ６）。ここでは、「子供」は操作対象者ではないため、ユーザ判定部２４は、操作対象者ではないと判定する（Ｓ６でＮＯ）。続いて、ユーザ判定部２４は、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作禁止者か否かを判定する（Ｓ７）。ここでは、「子供」は操作禁止者であるため、ユーザ判定部２４は、操作禁止者であると判定する（Ｓ７でＹＥＳ）。ユーザ判定部２４が操作禁止者であると判定した場合は、出力部２７は何も出力せず、Ｓ１に戻る。
【０１２２】
〔カメラが撮像した画像に「父」が写っている場合〕
次に、図１３に示すように、カメラ３が撮像した画像に「父」が写っている場合の処理について説明する。
【０１２３】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１２に示す画像に「父」の顔等が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１２４】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ５）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「父」として特定する。
【０１２５】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ６）。ここでは、「父」は操作対象者であるため、ユーザ判定部２４は、操作対象者であると判定する（Ｓ６でＹＥＳ）。
【０１２６】
ここで、テレビ制御部５１が指示信号に基づいて通知処理を実行している場合（Ｓ１０でＹＥＳ）、出力部２７は、当該通知の消去を指示する通知消去指示信号をテレビ制御部５１に出力する（Ｓ１１）。そして、ジェスチャ認識実行部２８が、ジェスチャ認識処理を実行する（Ｓ１２）。一方、テレビ制御部５１が通知処理を実行していない場合（Ｓ１０でＮＯ）、出力部２７は何も出力せず、ジェスチャ認識実行部２８が、ジェスチャ認識処理を実行する（Ｓ１２）。
【０１２７】
なお、図９に示す処理例では、操作対象者か否かを判断した後に、ジェスチャ認識処理を実行しているが、これに限るものではない。例えば、画像取得部２１が取得した画像に対して、まず、ジェスチャ認識実行部２８がジェスチャ認識処理を実行し、ジェスチャ認識が正常にできなかった場合に、上記のＳ２〜Ｓ９の処理を行ってもよい。
【０１２８】
＜変形例＞
変形例として、電子機器がセキュリティゲートである場合を説明する。このセキュリティゲートは、会員の女性のみが入室可能な部屋の入口に設置されているものとする。そして、ここでは、操作対象者として、女性の予め登録されたユーザであり、操作禁止者として男性が設定されているものとする。
【０１２９】
この場合、会員の女性がジェスチャを行ったが、カメラに写っていない場合、セキュリティゲートは、会員の女性に対してジェスチャが写っていないことを通知する。また、会員ではない女性がジェスチャを行った場合は、セキュリティゲートは、会員ではない女性に対して、操作対象者ではない、つまり、未会員であることを通知する。このとき、セキュリティゲートは、会員ではない女性に対して、会員になるために必要な情報を通知してもよい。また、男性がジェスチャを行った場合、セキュリティゲートは、何も通知しない。セキュリティゲート等においては、許可者（操作対象者）および許可者になり得る人物以外の人物（つまりこの場合は男性）に対して、ジェスチャによる操作にエラーが発生したことを通知することは、セキュリティの観点から望ましくない。
【０１３０】
なお、セキュリティとユーザの便益とのバランスによるが、性別判定処理において誤った判定処理を実行する頻度が少なく無い場合、セキュリティゲートは、男性と判断した場合であっても、何回かに１度は未会員であることを通知してもよい。
【０１３１】
＜補足＞
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１３２】
最後に、ジェスチャ認識装置１の各ブロック、特にジェスチャ認識装置制御部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１３３】
すなわち、ジェスチャ認識装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるジェスチャ認識装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記ジェスチャ認識装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１３４】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１３５】
また、ジェスチャ認識装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１３６】
本発明は、カメラが撮像した画像からユーザのジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するジェスチャ認識装置に利用することができる。
【符号の説明】
【０１３７】
１ ジェスチャ認識装置
２ テレビ（電子機器）
３ カメラ
４ ユーザ
２２ 人物判定部（人判定手段）
２４ ユーザ判定部（操作対象者判定手段、操作禁止者判定手段）
２６ 時期判定部（時期判定手段）
２７ 出力部（出力手段）
５５ 表示部（通知手段）
５６ 音声出力部（通知手段）
【特許請求の範囲】
【請求項１】
カメラが撮像した画像から人のジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置であって、
上記画像に人が含まれているか否かを判定する人判定手段と、
上記人判定手段が上記画像に人が含まれていないと判定した場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を出力する出力手段とを備えることを特徴とするジェスチャ認識装置。
【請求項２】
上記電子機器または上記ジェスチャ認識装置の現在または過去の処理に基づいて、人がジェスチャによる操作を所望する操作タイミングか否かを判定する時期判定手段と、
上記出力手段は、上記人判定手段が上記画像に人が含まれていないと判定し、かつ、上記時期判定手段が操作タイミングであると判定した場合、上記人画角外通知指示情報を出力することを特徴とする請求項１に記載のジェスチャ認識装置。
【請求項３】
上記時期判定手段は、現時点が、上記ジェスチャ認識装置がジェスチャ認識に基づく上記情報を上記電子機器に出力してから所定期間以内である場合、操作タイミングであると判定することを特徴とする請求項２に記載のジェスチャ認識装置。
【請求項４】
上記時期判定手段は、上記ジェスチャ認識装置がジェスチャ認識に基づく上記情報を上記電子機器に出力してから所定期間経過している場合、操作タイミングであると判定することを特徴とする請求項２に記載のジェスチャ認識装置。
【請求項５】
上記時期判定手段は、所定期間以内に、上記電子機器が所定の処理を実行した場合、操作タイミングであると判定することを特徴とする請求項２に記載のジェスチャ認識装置。
【請求項６】
上記電子機器がテレビであり、
上記時期判定手段は、上記テレビにＣＭが表示されている場合、操作タイミングであると判定することを特徴とする請求項２に記載のジェスチャ認識装置。
【請求項７】
上記人判定手段が上記画像に含まれていると判定した人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段をさらに備え、
上記出力手段は、上記操作対象者判定手段が操作対象者ではないと判定した場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力することを特徴とする請求項１〜６の何れか１項に記載のジェスチャ認識装置。
【請求項８】
上記人判定手段が上記画像に含まれていると判定した人が、ジェスチャによる上記電子機器の操作を禁止されている操作禁止者であるか否かを判定する操作禁止者判定手段とをさらに備え、
上記出力手段は、上記操作禁止者判定手段が操作禁止者であると判定した場合、上記非操作対象者通知指示情報を出力しないことを特徴とする請求項７に記載のジェスチャ認識装置。
【請求項９】
上記操作対象者判定手段は、予め、ジェスチャにより上記電子機器の操作を実行可能な者として設定されている人を操作対象者であると判定することを特徴とする請求項７に記載のジェスチャ認識装置。
【請求項１０】
上記操作対象者判定手段は、ジェスチャにより上記電子機器の操作を所定回数実行した人を操作対象者であると判定することを特徴とする請求項７に記載のジェスチャ認識装置。
【請求項１１】
上記操作対象者判定手段は、所定期間内にジェスチャにより上記電子機器の操作を実行した人を操作対象者であると判定することを特徴とする請求項７に記載のジェスチャ認識装置。
【請求項１２】
請求項１〜１１の何れか１項に記載のジェスチャ認識装置と、
上記出力手段が出力する情報に従って、人に通知する通知手段とを備えたことを特徴とする電子機器。
【請求項１３】
カメラが撮像した画像から人のジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置の制御方法であって、
上記画像に人が含まれているか否かを判定する人判定ステップと、
上記人判定ステップにおいて上記画像に人が含まれていないと判定された場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を出力する出力ステップとを含むことを特徴とするジェスチャ認識装置の制御方法。
【請求項１４】
請求項１〜１１の何れか１項に記載のジェスチャ認識装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１５】
請求項１４に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
カメラが撮像した画像から人のジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置であって、
上記画像に人が含まれているか否かを判定する人判定手段と、
上記人判定手段が上記画像に人が含まれていないと判定した場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を出力する出力手段とを備えることを特徴とするジェスチャ認識装置。
【請求項２】
上記電子機器または上記ジェスチャ認識装置の現在または過去の処理に基づいて、人がジェスチャによる操作を所望する操作タイミングか否かを判定する時期判定手段と、
上記出力手段は、上記人判定手段が上記画像に人が含まれていないと判定し、かつ、上記時期判定手段が操作タイミングであると判定した場合、上記人画角外通知指示情報を出力することを特徴とする請求項１に記載のジェスチャ認識装置。
【請求項３】
上記時期判定手段は、現時点が、上記ジェスチャ認識装置がジェスチャ認識に基づく上記情報を上記電子機器に出力してから所定期間以内である場合、操作タイミングであると判定することを特徴とする請求項２に記載のジェスチャ認識装置。
【請求項４】
上記時期判定手段は、上記ジェスチャ認識装置がジェスチャ認識に基づく上記情報を上記電子機器に出力してから所定期間経過している場合、操作タイミングであると判定することを特徴とする請求項２に記載のジェスチャ認識装置。
【請求項５】
上記時期判定手段は、所定期間以内に、上記電子機器が所定の処理を実行した場合、操作タイミングであると判定することを特徴とする請求項２に記載のジェスチャ認識装置。
【請求項６】
上記電子機器がテレビであり、
上記時期判定手段は、上記テレビにＣＭが表示されている場合、操作タイミングであると判定することを特徴とする請求項２に記載のジェスチャ認識装置。
【請求項７】
上記人判定手段が上記画像に含まれていると判定した人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段をさらに備え、
上記出力手段は、上記操作対象者判定手段が操作対象者ではないと判定した場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力することを特徴とする請求項１〜６の何れか１項に記載のジェスチャ認識装置。
【請求項８】
上記人判定手段が上記画像に含まれていると判定した人が、ジェスチャによる上記電子機器の操作を禁止されている操作禁止者であるか否かを判定する操作禁止者判定手段とをさらに備え、
上記出力手段は、上記操作禁止者判定手段が操作禁止者であると判定した場合、上記非操作対象者通知指示情報を出力しないことを特徴とする請求項７に記載のジェスチャ認識装置。
【請求項９】
上記操作対象者判定手段は、予め、ジェスチャにより上記電子機器の操作を実行可能な者として設定されている人を操作対象者であると判定することを特徴とする請求項７に記載のジェスチャ認識装置。
【請求項１０】
上記操作対象者判定手段は、ジェスチャにより上記電子機器の操作を所定回数実行した人を操作対象者であると判定することを特徴とする請求項７に記載のジェスチャ認識装置。
【請求項１１】
上記操作対象者判定手段は、所定期間内にジェスチャにより上記電子機器の操作を実行した人を操作対象者であると判定することを特徴とする請求項７に記載のジェスチャ認識装置。
【請求項１２】
請求項１〜１１の何れか１項に記載のジェスチャ認識装置と、
上記出力手段が出力する情報に従って、人に通知する通知手段とを備えたことを特徴とする電子機器。
【請求項１３】
カメラが撮像した画像から人のジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置の制御方法であって、
上記画像に人が含まれているか否かを判定する人判定ステップと、
上記人判定ステップにおいて上記画像に人が含まれていないと判定された場合、人が撮像されていないことの通知を指示する人画角外通知指示情報を出力する出力ステップとを含むことを特徴とするジェスチャ認識装置の制御方法。
【請求項１４】
請求項１〜１１の何れか１項に記載のジェスチャ認識装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１５】
請求項１４に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−６５１１１（Ｐ２０１３−６５１１１Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２４３３（Ｐ２０１１−２０２４３３）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]