ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
【課題】カメラでユーザの動作を撮像し、撮像した画像からユーザのジェスチャを認識するジェスチャ認識装置において、ユーザのジェスチャが画角内に収まっていない場合に通知する。
【解決手段】カメラが撮像した画像にジェスチャ認識対象の部位が写っているか否かを判定し、写っていなければ、ジェスチャ認識対象の部位が撮像されていないことを通知する。
【解決手段】カメラが撮像した画像にジェスチャ認識対象の部位が写っているか否かを判定し、写っていなければ、ジェスチャ認識対象の部位が撮像されていないことを通知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラでユーザの動作を撮像し、撮像した画像からユーザのジェスチャを認識するジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
近年、ユーザのジェスチャを認識することにより、機器を制御する制御信号を生成する様々な情報入力装置が開発されている。このような情報入力装置として、例えば、特許文献１および２に記載の情報入力装置がある。具体的には、ポインティングデバイス、ペン型デバイス、タッチパッド等の入力デバイスをユーザが操作し、入力デバイスがその動きを検知して、ユーザのジェスチャを認識する情報入力装置がある。
【０００３】
一方、入力デバイスを用いるのではなく、カメラでユーザの動作を撮像し、撮像した画像からユーザのジェスチャを認識する情報入力装置がある。以下では、画像からユーザのジェスチャを認識する情報入力装置をジェスチャ認識装置と称する。このジェスチャ認識装置は、ユーザが入力デバイス等を操作する必要がなく、直感的に装置に操作指示を入力することができるため、次世代インターフェースとして期待されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３０３２０７号公報（２００４年１０月２８日公開）
【特許文献２】特開２００９−３０１３０１号公報（２００９年１２月２４日公開）
【特許文献３】特開２００７−１６６１８７号公報（２００７年６月２８日公開）
【特許文献４】特開２００８−２４４８０４号公報（２００８年１０月９日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のジェスチャ認識装置では、ユーザは、ジェスチャ認識装置が自身のジェスチャを認識可能な状態であるか否かを知ることができない。換言すると、ユーザは、自身のジェスチャがカメラの画角の範囲内に収まっているかどうかを正確に判断することができない。そのため、ジェスチャ認識装置がユーザのジェスチャを認識可能な状態ではないにもかかわらず、ユーザは、ジェスチャが認識されることを期待して、何度も同じ動作をしたり、無駄に動きを工夫したりすることがあった。
【０００６】
ここで、カメラの撮影時に、人間の全身や顔等が画角に収まっているか否かを判定し、収まっていない場合に警告を発する技術がある（特許文献３および４）。しかしながら、特許文献３および４に記載の技術は、一般的なカメラに関する技術であり、ジェスチャ認識装置に関する技術ではない。また、従来、ジェスチャ認識装置において、ジェスチャが画角に収まっているか否かを通知することは行われていない。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザのジェスチャが画角内に収まっていない場合に通知するジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体を実現することにある。
【課題を解決するための手段】
【０００８】
本発明に係るジェスチャ認識装置は、上記課題を解決するために、カメラが撮像した画像から人のジェスチャ認識対象部位の動きおよび／または形状であるジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置であって、上記画像にジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定手段と、上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定した場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力手段とを備えることを特徴としている。
【０００９】
本発明に係るジェスチャ認識装置の制御方法は、上記課題を解決するために、カメラが撮像した画像から人のジェスチャ認識対象部位の動きおよび／または形状であるジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置の制御方法であって、上記画像にジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定ステップと、上記認識対象部位判定ステップにおいて上記画像にジェスチャ認識対象部位が含まれていないと判定された場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力ステップとを含むことを特徴としている。
【００１０】
上記の構成によれば、出力手段は、カメラが撮像した画像にジェスチャ認識対象部位が含まれていない場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を電子機器に出力する。電子機器は、対象部位画角外通知指示情報に基づいて、電子機器を操作する人に、ジェスチャ認識対象部位が撮像されていないことを通知する。
【００１１】
そのため、電子機器を操作する人は、電子機器からの通知に基づいて、カメラが撮像した画像に自身のジェスチャ認識対象部位が含まれているか否か、つまり、カメラの画角からジェスチャが外れているか否かを判断することができる。よって、電子機器を操作する人のジェスチャ認識対象部位が撮像されていないにもかかわらず、当該人がジェスチャを認識させようとして何度も同じジェスチャをするという、電子機器を操作する人の無駄な動作を防止することができるという効果を奏する。
【００１２】
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている人の部位に基づいて、人がジェスチャによる操作を所望する操作タイミングか否かを判定する時期判定手段をさらに備え、上記出力手段は、上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定し、かつ、上記時期判定手段が操作タイミングであると判定した場合、上記対象部位画角外通知指示情報を出力することが好ましい。
【００１３】
上記の構成によれば、出力手段は、カメラが撮像した画像にジェスチャ認識対象部位が含まれておらず、かつ、人がジェスチャによる操作を所望する操作タイミングである場合に、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を電子機器に出力する。
【００１４】
電子機器を操作する人のジェスチャ認識対象部位が画角内にない場合には、電子機器を操作する人がジェスチャによる操作を所望しながらもジェスチャ認識対象部位が画角内にない場合があるが、人がジェスチャによる操作を所望しないために人のジェスチャ認識対象部位が画角内にない場合もある。そのため、電子機器を操作する人のジェスチャ認識対象部位が画角から外れており、かつ、人がジェスチャによる操作を所望する場合にのみ、電子機器を操作する人に画角からジェスチャ認識対象部位が外れていることを通知することによって、電子機器を操作する人の電子機器の使用を妨害することなく、当該人の無駄な動作を防止することができる。
【００１５】
また、本発明に係るジェスチャ認識装置は、上記時期判定手段は、上記画像にジェスチャ認識対象部位付近の対象付近部位が含まれている場合、操作タイミングであると判定することが好ましい。
【００１６】
上記画像にジェスチャ認識対象部位付近の対象付近部位が含まれている場合は、人がジェスチャによる操作を所望しながらもジェスチャ認識対象部位が画角に収まっていない状況であると考えられる。すなわち、この場合、操作タイミングである可能性が高いと考えられる。
【００１７】
そのため、上記の構成のように、上記時期判定手段は、上記画像にジェスチャ認識対象部位付近の対象付近部位が含まれている場合、操作タイミングであると判定することにより、上記画像に撮像されている人の部位に基づいて、操作タイミングを精度良く特定することができる。
【００１８】
また、本発明に係るジェスチャ認識装置は、上記時期判定手段は、ジェスチャ時にジェスチャ認識対象部位と連動する対象連動部位が所定の動作をしたことを上記画像から検出した場合、操作タイミングであると判定することが好ましい。
【００１９】
ジェスチャ時にジェスチャ認識対象部位と連動する対象連動部位が所定の動作をしたことを上記画像から検出した場合は、人がジェスチャによる操作を所望しながらもジェスチャ認識対象部位が画角に収まっていない状況であると考えられる。すなわち、この場合、操作タイミングである可能性が高いと考えられる。
【００２０】
そのため、上記の構成のように、上記時期判定手段は、ジェスチャ時にジェスチャ認識対象部位と連動する対象連動部位が所定の動作をしたことを上記画像から検出した場合、操作タイミングであると判定することにより、上記画像に撮像されている人の部位に基づいて、操作タイミングを精度良く特定することができる。
【００２１】
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位の人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段とをさらに備え、上記出力手段は、上記操作対象者判定手段が上記画像に撮像されている部位の人が操作対象者であると判定した場合、上記対象部位画角外通知指示情報を出力することが好ましい。
【００２２】
上記出力手段は、電子機器を操作する人が操作対象者である場合、つまり、電子機器を操作する人がジェスチャにより上記電子機器の操作を実行することができる場合にのみ、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を電子機器に出力する。電子機器は、電子機器を操作する人がジェスチャにより上記電子機器の操作を実行することができる場合にのみ、対象部位画角外通知指示情報に基づいて、電子機器を操作する人に、ジェスチャ認識対象部位が撮像されていないことを通知する。
【００２３】
そのため、ジェスチャによる操作を実行可能な人にだけ有用な情報を提供し、かつ、操作対象者ではない人に不必要な情報を与えないようにすることができる。
【００２４】
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位の人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段とをさらに備え、上記出力手段は、上記操作対象者判定手段が上記画像に撮像されている部位の人が操作対象者ではないと判定した場合、上記対象部位画角外通知指示情報に代えて、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力することが好ましい。
【００２５】
上記出力手段は、電子機器の操作を試みる人が操作対象者ではない場合、つまり、電子機器の操作を試みる人がジェスチャにより上記電子機器の操作を実行することができない場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力する。
【００２６】
そのため、電子機器の操作を試みる人は、電子機器からの通知に基づいて、自身が操作対象者であるか否かを判断することができる。よって、ジェスチャによる操作が実行できないにもかかわらず、当該人がジェスチャを認識させようとして何度も同じジェスチャをするという、電子機器の操作を試みる人の無駄な動作を防止することができる。
【００２７】
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位の人が、ジェスチャによる上記電子機器の操作を禁止されている操作禁止者であるか否かを判定する操作禁止者判定手段とをさらに備え、上記出力手段は、上記操作禁止者判定手段が上記画像に撮像されている部位の人が操作禁止者であると判定した場合、上記非操作対象者通知指示情報を出力しないことが好ましい。
【００２８】
上記出力手段は、電子機器の操作を試みる人が操作禁止者の場合、つまり、電子機器の操作を試みる人がジェスチャによる上記電子機器の操作を禁止されている場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力しない。操作禁止者は、ジェスチャによる上記電子機器の操作を実行することができないため、ジェスチャ認識を容易に行うための情報等を通知する必要が無い。
【００２９】
そのため、電子機器の操作を試みる人が操作禁止者の場合、上記情報を通知しないことにより、操作禁止者以外の人の電子機器の使用の妨害を低減すると共に、操作禁止者に対して、余分な情報を与えることを防止することができる。
【００３０】
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、予め、ジェスチャにより上記電子機器の操作を実行可能な者として設定されている人を操作対象者であると判定することが好ましい。
【００３１】
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、ジェスチャにより上記電子機器の操作を所定回数実行した人を操作対象者であると判定することが好ましい。
【００３２】
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、所定期間内にジェスチャにより上記電子機器の操作を実行した人を操作対象者であると判定することが好ましい。
【００３３】
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位を特定する部位特定手段と、上記部位特定手段が特定した部位に対するジェスチャ認識対象部位の位置を特定する位置特定手段と、上記位置特定手段が特定した位置に基づいて、上記ジェスチャ認識対象部位が画角に入るために必要な移動方向を特定する移動ベクトル特定手段とをさらに備え、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記移動ベクトル特定手段が特定した方向に上記ジェスチャ認識対象部位の移動を促す通知を指示する方向通知指示情報を出力することが好ましい。
【００３４】
上記の構成によれば、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記ジェスチャ認識対象部位が画角に入るために必要な移動方向に上記ジェスチャ認識対象部位の移動を促す通知を指示する方向通知指示情報を出力する。電子機器は、方向通知指示情報に基づいて、ジェスチャ認識対象部位を上記移動方向に動かすように人に通知する。そのため、電子機器を操作する人は、ジェスチャ認識対象部位が画角から外れている場合、電子機器からの通知に基づいて、どの方向に動かせばジェスチャ認識対象部位が画角に収まるかを知ることができる。
【００３５】
また、本発明に係るジェスチャ認識装置は、上記移動ベクトル特定手段は、上記位置特定手段が特定した位置に基づいて、上記移動方向を特定すると共に、上記ジェスチャ認識対象部位が画角に入るために必要な移動量を算出し、上記出力手段は、上記方向通知指示情報に代えて、上記移動ベクトル特定手段が特定した方向に、上記ジェスチャ認識対象部位を上記移動ベクトル特定手段が特定した移動量分の移動を促す通知を指示するベクトル通知指示情報を出力することが好ましい。
【００３６】
上記の構成によれば、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記ジェスチャ認識対象部位を、上記ジェスチャ認識対象部位が画角に入るために必要な移動方向に、上記ジェスチャ認識対象部位が画角に入るために必要な移動量分の移動を促す通知を指示するベクトル通知指示情報を出力する。電子機器は、ベクトル通知指示情報に基づいて、ジェスチャ認識対象部位を上記移動方向に、上記移動量分動かすように人に通知する。そのため、電子機器を操作する人は、ジェスチャ認識対象部位が画角から外れている場合、電子機器からの通知に基づいて、どの方向にどの程度動かせばジェスチャ認識対象部位が画角に収まるかを知ることができる。
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位を特定する部位特定手段をさらに備え、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記部位特定手段が特定した部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示情報を出力することが好ましい。
【００３７】
上記の構成によれば、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記画像に撮像されている部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示情報を出力する。電子機器は、ジェスチャ位置通知指示情報に基づいて、ジェスチャ認識対象部位を上記画像に撮像されている部位の前に移動させて、ジェスチャを実行するように人に通知する。そのため、電子機器を操作する人は、ジェスチャ認識対象部位が画角から外れている場合、電子機器からの通知に基づいて、どこにジェスチャ認識対象部位を移動すればジェスチャ認識対象部位が画角に収まるかを知ることができる。
【００３８】
また、本発明に係るジェスチャ認識装置は、上記認識対象部位判定手段は、時系列に並べられた複数の上記画像に対して上記判定を実行し、上記認識対象部位判定手段の判定結果に基づいて、ジェスチャ認識対象部位が上記カメラの画角から出入りしているか否かを判定する出入判定手段をさらに備え、上記出力手段は、上記出入判定手段が上記カメラの画角からジェスチャ認識対象部位が出入りしていると判定した場合、上記カメラの画角からジェスチャ認識対象部位が出入りしていることの通知を指示する対象部位出入通知指示情報を出力することが好ましい。
【００３９】
上記の構成によれば、出力手段は、上記カメラの画角からジェスチャ認識対象部位が出入りしている場合、上記カメラの画角からジェスチャ認識対象部位が出入りしていることの通知を指示する対象部位出入通知指示情報を電子機器に出力する。電子機器は、対象部位出入通知指示情報に基づいて、電子機器を操作する人に、ジェスチャ認識対象部位が画角から出入りしていることを通知する。そのため、電子機器を操作する人は、電子機器からの通知に基づいて、カメラの画角から自身のジェスチャ認識対象部位が出入りしていることを知ることができる。
【００４０】
また、本発明に係る電子機器は、上記ジェスチャ認識装置と、上記出力手段が出力する情報に従って、人に通知する通知手段とを備えたことが好ましい。
【００４１】
上記の構成によれば、電子機器は、上記ジェスチャ認識装置と同様の効果を奏する。
【００４２】
なお、上記ジェスチャ認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記ジェスチャ認識装置の各手段として動作させることにより、上記ジェスチャ認識装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００４３】
以上のように、本発明に係るジェスチャ認識装置は、上記画像にジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定手段と、上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定した場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力手段とを備えている構成である。
【００４４】
また、本発明に係るジェスチャ認識装置の制御方法は、上記画像にジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定ステップと、上記認識対象部位判定ステップにおいて上記画像にジェスチャ認識対象部位が含まれていないと判定された場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力ステップとを含む。
【００４５】
したがって、電子機器を操作する人のジェスチャ認識対象部位が撮像されていないにもかかわらず、当該人がジェスチャを認識させようとして何度も同じジェスチャをするという、電子機器を操作する人の無駄な動作を防止することができるという効果を奏する。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態を示すものであり、ジェスチャ認識装置およびジェスチャ認識装置を搭載したテレビの要部構成を示すブロック図である。
【図２】上記ジェスチャ認識装置を搭載したテレビの使用態様の一例を示す図である。
【図３】上記テレビのテレビ記憶部に格納されているテレビ処理履歴情報の一例を示す図である。
【図４】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されている人物特定情報の一例を示す図である。
【図５】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されているユーザ情報の一例を示す図である。
【図６】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されている操作タイミング情報の一例を示す図である。
【図７】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されているジェスチャ情報の一例を示す図である。
【図８】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されているジェスチャ認識装置処理履歴情報の一例を示す図である。
【図９】上記ジェスチャ認識装置が実行する処理の一例を示すフローチャートである。
【図１０】カメラが撮像した画像を示す図である。
【図１１】上記ジェスチャ認識装置が実行する操作タイミング判定処理の一例を示すフローチャートである。
【図１２】上記ジェスチャ認識装置が実行する移動ベクトル通知処理の一例を示すフローチャートである。
【図１３】カメラが撮像した画像を示す図である。
【図１４】カメラが撮像した画像を示す図である。
【図１５】上記ジェスチャ認識装置が実行する操作タイミング判定処理の他の一例を示すフローチャートである。
【図１６】カメラが撮像した画像を示す図である。
【図１７】ジェスチャ認識装置が実行する処理の他の一例を示すフローチャートである。
【発明を実施するための形態】
【００４７】
＜本発明の概要＞
本発明は、ユーザ（操作者）が電子機器をジェスチャにより操作する際に、ジェスチャ認識対象の部位がカメラの画角から外れている場合、ユーザに対してその旨を通知するものである。本発明に係るジェスチャ認識装置を搭載した電子機器の使用態様の一例を図２に示す。図２は、本発明に係るジェスチャ認識装置を搭載した電子機器の使用態様の一例を示す図である。
【００４８】
図２では、電子機器がテレビ２の場合であり、テレビ２がジェスチャ認識装置を内蔵している場合を示す。図２に示すように、ユーザ４が右手（右の掌）を左右に振るというジェスチャを行っているときに、ユーザ４の右手がカメラ３の画角θから外れている場合、テレビ２に「手が写っていません」等を表示して、ユーザ４に手（ジェスチャ認識対象部位）が撮像されていないことを通知する。
【００４９】
このような通知をすることにより、ユーザは、自身のジェスチャが撮像されているか否かを知ることができる。そのため、ジェスチャが撮像されていないにもかかわらず、ユーザがジェスチャを認識させようとして何度も同じジェスチャをするという、ユーザの無駄な動作を防止することができる。
【００５０】
以下では、図２に示す本発明の実施形態を図１〜図１７に基づいてより詳細に説明する。なお、本実施形態では、電子機器がテレビの例を示しているが、これに限るものではない。例えば、電子機器として、携帯電話機、ゲーム機、デジタルカメラ、セキュリティゲート（ドア）等であってもよい。
【００５１】
また、本明細書中では、ジェスチャをユーザの所定の部位（顔（頭）、手、足等）の動きおよび／または形状として定義する。また、上記所定の部位をジェスチャ認識対象部位と称する。
【００５２】
また、本実施形態では、ジェスチャ認識装置を搭載したテレビ２が家庭内に設置されており、「父」、「母」、「子供」の３者がユーザとして存在するものとする。本実施形態では、このように特定のユーザが使用するものとするがこれに限るものではない。本発明に係る電子機器は、不特定多数のユーザが使用してもよい。例えば、病院等では、不特定多数のユーザがいるが、直接機器に触れて操作することが好ましくない場合がある。そのため、病院等の環境下では、電子機器の操作手段としてジェスチャ認識装置を好適に利用することができる。
【００５３】
なお、ここでは、ユーザとは、電子機器を操作する人（電子機器の操作を試みる人）を意味する。
【００５４】
＜テレビおよびジェスチャ認識装置の構成＞
まず、テレビ２およびテレビ２に搭載されるジェスチャ認識装置１の具体的な構成および機能を説明する。図１は、テレビ２およびテレビ２に搭載されるジェスチャ認識装置１の要部構成の一例を示すブロック図である。まずは、テレビ２の構成について説明する。
【００５５】
〔テレビの構成〕
図１に示すように、テレビ２は、テレビ制御部５１、テレビ記憶部５２、テレビ通信部５３、操作部５４、表示部（通知手段）５５、音声出力部（通知手段）５６およびジェスチャ認識装置１を備えている。なお、テレビ２は、音声入力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
【００５６】
テレビ通信部５３は、無線通信手段または有線通信手段によって、他の装置と通信を行い、テレビ制御部５１の指示に従って、データのやりとりを行うものである。具体的には、テレビ通信部５３は、放送波を受信するアンテナであり、放送波を受信して映像データ、音声データおよび番組データ等を受信するものである。
【００５７】
操作部５４は、ユーザがテレビ２に操作信号を入力し、テレビ２を操作するためのものである。操作部５４は、操作ボタンなどの入力機器等で構成されているものであってもよい。また、操作部５４と表示部５５とが一体となっているタッチパネルであってもよい。また、操作部５４は、テレビ２と別体のリモートコントローラ等の遠隔制御装置であってもよい。なお、テレビ２はジェスチャ認識装置１を備えているため、テレビ２が操作部５４を備えていなくてもよい。
【００５８】
表示部５５は、テレビ制御部５１の指示に従って画像を表示するものである。表示部５５は、テレビ制御部５１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。
【００５９】
音声出力部５６は、テレビ制御部５１の指示に従って音声を出力するものであり、例えば、スピーカである。
【００６０】
テレビ制御部５１は、テレビ記憶部５２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、テレビ２が備える各部を統括的に制御するものである。
【００６１】
具体的には。テレビ制御部５１は、テレビ通信部５３を介して取得した映像データ、音声データおよび番組データ等に基づいて、表示部５５に映像や番組情報を表示させたり、音声出力部５６から音声を出力させたりするものである。また、テレビ制御部５１は、操作部５４またはジェスチャ認識装置１からの操作信号に基づいて、電源のＯＮ／ＯＦＦ、チャンネルの切替、音量の変更、番組表の表示等の所定の処理を実行する。また、テレビ制御部５１は、所定の処理を実行すると、実行した処理の処理内容と処理日時とを対応付けて、テレビ処理履歴情報６１としてテレビ記憶部５２に格納する。
【００６２】
また、テレビ制御部５１は、ジェスチャ認識装置１からの指示信号に基づいて、指示信号が示す情報を表示部５５に表示および／または音声出力部５６から音声を出力して、当該情報をユーザに通知する。また、テレビ制御部５１は、ＬＥＤ等の通知ランプ（不図示）を発光させて、上記指示信号が示す情報をユーザに通知してもよい。
【００６３】
詳細は後述するが、テレビ制御部５１は、ジェスチャ認識装置１から、ジェスチャ認識対象部位が撮像されていないことの通知の指示または操作対象者ではないことの通知の指示を受ける。テレビ制御部５１は、このような指示に基づいて、上述の内容をテキストとして表示部５５に表示してもよいし、音声として音声出力部５６から出力してもよい。また、テレビ制御部５１は、ジェスチャ認識対象部位が撮像されていないことを通知するために、カメラ３が撮像した画像を表示部５５の画面の全体または一部に表示してもよい。
【００６４】
テレビ記憶部５２は、テレビ制御部５１が参照するプログラムやデータ等を格納するものであり、例えば、上記のテレビ処理履歴情報６１等を格納している。
【００６５】
テレビ記憶部５２に格納されているテレビ処理履歴情報６１について図３に基づいて説明する。図３は、テレビ記憶部５２に格納されているテレビ処理履歴情報６１の一例を示す図である。図３に示すように、テレビ処理履歴情報６１は、テレビ制御部５１が実行した処理の処理内容と、テレビ制御部５１が処理を実行した処理日時とが対応付けられている情報である。
【００６６】
ジェスチャ認識装置１は、カメラ３が撮像した画像からユーザのジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための信号（情報）を電子機器に出力するものである。図１に示す例では、ジェスチャ認識装置１がテレビ２に搭載されているが、これに限るものではなく、テレビ２とジェスチャ認識装置１が別体であってもよい。ジェスチャ認識装置１の具体的な構成および機能は次に説明する。
【００６７】
〔ジェスチャ認識装置の構成〕
図１に示すように、ジェスチャ認識装置１は、ジェスチャ認識装置制御部１１、ジェスチャ認識装置記憶部１２およびジェスチャ認識装置通信部１３を備えている。
【００６８】
ジェスチャ認識装置通信部１３は、無線通信手段または有線通信手段によって、カメラ３等の他の装置と通信を行い、ジェスチャ認識装置制御部１１の指示に従って、データのやりとりを行うものである。具体的には、ジェスチャ認識装置通信部１３は、ジェスチャ認識装置制御部１１の指示に従って、カメラ３から、カメラ３が撮像した画像を取得する。
【００６９】
ジェスチャ認識装置制御部１１は、ジェスチャ認識装置記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ジェスチャ認識装置１が備える各部を統括的に制御するものである。
【００７０】
本実施形態では、ジェスチャ認識装置制御部１１は、機能ブロックとして、画像取得部２１、人物判定部（人判定手段）２２、人物特定部２３、ユーザ判定部（操作対象者判定手段、操作禁止者判定手段）２４、認識対象部位判定部（認識対象部位判定手段）２５、時期判定部（時期判定手段）２６、出力部（出力手段）２７、ジェスチャ認識実行部２８、情報設定部２９、出入判定部（出入判定手段）３０、位置関係特定部（部位特定手段、位置特定手段）３１および移動ベクトル算出部（移動ベクトル特定手段）３２を備える構成である。これらのジェスチャ認識装置制御部１１の各機能ブロック（２１〜３２）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。
【００７１】
画像取得部２１は、ジェスチャ認識装置通信部１３を介して、カメラ３から、カメラ３が撮像した画像を取得するものである。
【００７２】
人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定するものである。例えば、人物判定部２２は、画像に対して人体検出または顔検出等を実行し、その結果として全身または人体の一部である顔（頭）、手、足等の部位を検出した場合、人物が撮像されていると判定する。また、人物判定部２２は、画像に対して人体検出または顔検出等を実行し、その検出結果として全身または部位の検出信頼度を特定し、検出信頼度が所定値以上である場合に人物が撮像されていると判定する。
【００７３】
換言すると、人物判定部２２は、画像取得部２１が取得した画像に人の全身または人の部位が撮像されている場合、人物が撮像されていると判定する。なお、人物判定部２２は、１つの画像から１または複数の人を検出してもよい。また、人物判定部２２は、取得した画像に人物が撮像されているか否かを判定するものであればよく、その手法を限定するものではない。
【００７４】
例えば、人物判定部２２は、全身または人体の一部である顔（頭）、手、足等の部位を検出するために、特開２００５−１１５９３２号公報、特開２００８−１５８７９０号公報および特開２００８−１５６４１号公報に記載の技術や、学習型の人体検出技術等を用いてもよい。
【００７５】
人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定するものである。
【００７６】
具体的には、人物特定部２３は、人物特定情報４１として「父」、「母」、「子供」の３者をそれぞれ個別に特定する情報が含まれている場合、人物判定部２２が検出した全身画像、顔画像等に対して認証を行い、検出した人が何れに該当するかを特定してもよい。例えば、人物特定部２３は、人物判定部２２が検出した顔画像の特徴量を算出し、算出した特徴量と、「父」、「母」、「子供」の顔画像の特徴量とを比較して、最も近似している人物を人物判定部２２が検出した顔画像の人物として特定してもよい。
【００７７】
また、人物特定部２３は、人物判定部２２が検出した全身画像、顔画像、手画像等から、性別、年齢、人種等を特定し、その特定した結果に基づいて、人物判定部２２が検出した人が誰であるかを特定してもよい。また、人物判定部２２が検出した全身画像、顔画像、手画像等から装飾品等を検出し、人物が身に付けている装飾品に基づいて、人物判定部２２が検出した人が誰であるかを特定してもよい。
【００７８】
また、人物特定部２３は、人物判定部２２が全身または顔等の一部が写っている画像（例えば、半身画像または顔、手もしくは足の一部のみが写っている画像）を検出した場合、写っていない部分を補完した後に人物を特定する処理を行ってもよい。例えば、半身、半顔の画像の場合、ミラーリングした後に人物を特定する処理を行ってもよい。
【００７９】
なお、人物特定部２３は、人物判定部２２が検出した人を、個人として特定するだけではなく、性別、年齢、人種等の人物の属性を特定するものであってもよい。また、人物特定部２３は、個人や属性を特定すればよく、その手法を限定するものではない。人物特定部２３は、上記以外の公知の技術を用いて個人や属性を特定してもよい。
【００８０】
ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定するものである。また、ユーザ判定部２４は、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作禁止者か否かを判定するものである。
【００８１】
ここで、操作対象者とは、ジェスチャによりテレビ２の操作を実行可能な人物である。換言すると、操作対象者として設定されているユーザのみがジェスチャによりテレビ２の操作を実行することができる。また、操作禁止者とは、ジェスチャによるテレビ２の操作を禁止されている人物である。
【００８２】
認識対象部位判定部２５は、ユーザ判定部２４が操作対象者であると判定した後、ジェスチャ認識装置記憶部１２からジェスチャ情報４４を読み出し、当該操作対象者が撮像されている画像に、ジェスチャ情報４４の示すジェスチャの認識対象部位が含まれているか否かを判定する。
【００８３】
また、認識対象部位判定部２５は、取得した画像にジェスチャの認識対象部位が含まれているか否かを判定するものであればよく、その手法を限定するものではない。例えば、認識対象部位判定部２５は、特開２００４−３２６６９３号公報に記載の技術を用いて、撮像されている人体にモデルを当てはめ、そのモデルにおけるジェスチャ認識対象部位が存在するか否かを判定することにより、取得した画像にジェスチャの認識対象部位が含まれているか否かを判定してもよい。また、認識対象部位判定部２５は、特開２００７−５２６０９号公報に記載の技術または特許第４３７２０５１号の技術等を用いて、手などのジェスチャ認識対象部位を直接検出して、取得した画像にジェスチャの認識対象部位が含まれているか否かを判定してもよい。
【００８４】
時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出し、テレビ２もしくはジェスチャ認識装置１の処理状態が操作タイミング情報４３の示す処理条件に該当するか否か、または、画像に撮像されている部位が操作タイミング情報４３の示す撮像部位条件に該当するか否かに基づいて、ユーザがジェスチャによる操作を所望する操作タイミングか否かを判定する。
【００８５】
具体的には、時期判定部２６は、テレビ２またはジェスチャ認識装置１の現在または過去の処理に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングか否かを判定する。より詳細には、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出す。そして、時期判定部２６は、ジェスチャ認識装置記憶部１２からジェスチャ認識装置処理履歴情報４５を読み出し、テレビ制御部５１からテレビ２の現在の処理内容を示す情報、および、過去の処理内容を示すテレビ処理履歴情報６１を取得し、現時点が操作タイミング情報４３の示す処理条件に該当するか否かを判定する。
【００８６】
また、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示すジェスチャ認識対象部位付近の部位（対象付近部位）が画像に撮像されている場合、操作タイミングであると判定する。また、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示すジェスチャ時にジェスチャ認識対象部位と連動する部位（対象連動部位）が所定の動作を行っていることを画像から検出した場合、操作タイミングであると判定する。また、時期判定部２６は、ユーザ判定部２４が撮像されている人物を操作対象者でもなく、操作禁止者でもないと判定した場合に、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、画像からジェスチャを検出したとき、操作タイミングであると判定する。
【００８７】
なお、時期判定部２６は、画像に対象付近部位が画像に撮像されているかを判定することができる技術であれば任意の技術を用いてよい。例えば、認識対象部位判定部２５と同様の技術を用いて、対象付近部位が画像に撮像されているかを判定する。また、時期判定部２６は、対象連動部位が所定の動作を行っていることを画像から検出することができる技術であれば任意の技術を用いてよい。例えば、時期判定部２６は、エッジオペレータまたはＳＩＦＴ等を用いて対象連動部位のエッジ点を求め、求めたエッジ点が時間変化と共に所定の変化をする場合に、対象連動部位が所定の動作を行っていると判定してもよい。また、時期判定部２６は、対象連動部位が前腕または上腕であれば、特開２００４−２８０１４８号公報に記載の技術を用いて、対象連動部位が所定の動作を行っているか否かを判定してもよい。
【００８８】
出力部２７は、人物判定部２２、ユーザ判定部２４、認識対象部位判定部２５および時期判定部２６の判定結果に基づいて、所定の情報の通知を指示する指示信号または当該通知の消去を指示する指示信号をテレビ制御部５１に出力するものである。
【００８９】
具体的には、出力部２７は、人物判定部２２が人物が撮像されていると判定し、かつ、ユーザ判定部２４が操作対象者であると判定し、かつ、認識対象部位判定部２５がジェスチャ認識対象部位が撮像されていないと判定し、かつ、時期判定部２６が操作タイミングであると判定した場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示信号（対象部位画角外通知指示情報）をテレビ制御部５１に出力する。
【００９０】
また、出力部２７は、人物判定部２２が人物が撮像されていると判定し、かつ、ユーザ判定部２４が操作対象者ではなく、操作禁止者でもないと判定し、かつ、時期判定部２６が操作タイミングであると判定した場合、操作対象者ではないことの通知を指示する非操作対象者通知指示信号（非操作対象者通知指示情報）をテレビ制御部５１に出力する。
【００９１】
また、出力部２７は、人物判定部２２が人物が撮像されていると判定し、かつ、ユーザ判定部２４が操作対象者であると判定し、かつ、認識対象部位判定部２５がジェスチャ認識対象部位が撮像されていると判定した場合であって、テレビ２がジェスチャが撮像されていないことの通知または操作対象者ではないことの通知を行っている場合、当該通知の消去を指示する通知消去指示信号をテレビ制御部５１に出力する。
【００９２】
また、出力部２７は、ジェスチャ認識実行部２８が生成した操作信号をテレビ制御部５１に出力する。また、出力部２７は、ジェスチャ認識実行部２８が特定したエラー原因の通知を指示するジェスチャ認識エラー通知指示信号をテレビ制御部５１に出力する。特に、ジェスチャ認識対象部位を検出できなかったことがエラー原因である場合、出力部２７は、ジェスチャ認識対象部位が画角から出ていることの通知を指示する対象部位画角外通知指示信号をテレビ制御部５１に出力する。さらに、ジェスチャ認識対象部位を検出できなかったことがエラー原因であり、かつ、出入判定部３０がジェスチャ認識対象部位が画角に出入りしていると判定した場合、出力部２７は、ジェスチャ認識対象部位が画角に出入りしていることの通知を指示する対象部位出入通知指示信号（対象部位出入通知指示情報）をテレビ制御部５１に出力する。
【００９３】
また、出力部２７は、上記対象部位画角外通知指示信号または上記対象部位出入通知指示信号に代えて、移動ベクトル算出部３２が特定した方向に、ジェスチャ認識対象部位を移動ベクトル算出部３２が算出した距離分の移動を促す通知を指示するベクトル通知指示信号（ベクトル通知指示情報）をテレビ制御部５１に出力してもよい。また、出力部２７は、上記対象部位画角外通知指示信号または上記対象部位出入通知指示信号に代えて、移動ベクトル算出部３２が特定した方向に、ジェスチャ認識対象部位の移動を促す通知を指示する方向通知指示信号（方向通知指示情報）をテレビ制御部５１に出力してもよい。
【００９４】
また、出力部２７は、上記対象部位画角外通知指示信号または上記対象部位出入通知指示信号に代えて、位置関係特定部３１が特定した基準部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号をテレビ制御部５１に出力してもよい。出力部２７は、例えば、位置関係特定部３１が画像に撮像されているユーザの「顔」を基準部位とした場合、顔の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号を出力する。
【００９５】
ジェスチャ認識実行部２８は、人物判定部２２が人物が撮像されていると判定し、かつ、ユーザ判定部２４が操作対象者であると判定し、かつ、認識対象部位判定部２５がジェスチャ認識対象部位が撮像されていると判定した場合、ジェスチャ認識処理を実行する。具体的には、ジェスチャ認識実行部２８は、ジェスチャ認識処理を開始すると、画像取得部２１から時系列に並べられた複数の画像を取得すると共に、ジェスチャ認識装置記憶部１２からジェスチャ情報４４を読み出す。そして、ジェスチャ認識実行部２８は、取得した複数の画像からジェスチャ情報４４の示すジェスチャを検出する。
【００９６】
ジェスチャ認識実行部２８は、所定のジェスチャを検出すると、ジェスチャ情報４４において、検出したジェスチャに対応付けられている操作信号を生成する。一方、ジェスチャ認識実行部２８は、ジェスチャが検出できなかった場合、エラー原因を特定してもよい。
【００９７】
また、ジェスチャ認識実行部２８は、ジェスチャが検出できなかった場合、複数の画像に対する認識対象部位判定部２５の判定結果に基づいて、ジェスチャが検出できなかった原因（エラー原因）がジェスチャ認識対象部位を検出できなかったことであるか否かを判定してもよい。この場合、認識対象部位判定部２５は、ジェスチャ認識実行部２８がジェスチャ認識に用いた時系列に並べられた複数の画像に対して、各画像にジェスチャ認識対象部位が撮像されているか否かをそれぞれ判定する。
【００９８】
また、ジェスチャ認識実行部２８は、ジェスチャ認識対象部位を検出できなかったこと以外のその他の原因でジェスチャが検出できなかった場合、当該他のエラー原因を特定してもよい。
【００９９】
また、ジェスチャ認識実行部２８は、ジェスチャ認識処理を実行した日時と、生成した操作信号またはジェスチャ認識エラー信号と、操作対象者とを対応付けて、ジェスチャ認識装置処理履歴情報４５を生成し、ジェスチャ認識装置記憶部１２に格納する。
【０１００】
情報設定部２９は、人物特定情報４１、ユーザ情報４２、操作タイミング情報４３およびジェスチャ情報４４を設定するものである。具体的には、情報設定部２９は、ユーザからの指示に基づいて、すなわち、操作部５４に入力された操作信号をテレビ制御部５１から取得またはジェスチャ認識実行部２８から操作信号を取得し、取得した操作信号に基づいて各情報を生成または更新する。
【０１０１】
また、情報設定部２９は、ジェスチャ認識装置処理履歴情報４５として所定数の処理履歴がジェスチャ認識装置記憶部１２に格納されると、ジェスチャ認識装置処理履歴情報４５を参照して、ジェスチャによる操作を所定回数実行した人物を操作対象者として設定し、ユーザ情報４２を更新してもよい。
【０１０２】
また、情報設定部２９は、ジェスチャ認識装置処理履歴情報４５として新たな処理履歴がジェスチャ認識装置記憶部１２に格納されると、最新の処理履歴を参照して、直前にジェスチャによる操作した人物のみを操作対象者として所定期間に限って設定し、ユーザ情報４２を更新してもよい。
【０１０３】
また、情報設定部２９は、ジェスチャ認識装置処理履歴情報４５を参照して、所定期間内にジェスチャによる操作を実行した１または複数の人物を操作対象者として所定期間に限って設定し、ユーザ情報４２を更新してもよい。例えば、ユーザＸがジェスチャによる操作を実行すると、それから５分間を操作待ち受け時間とする。この操作待ち受け時間内にユーザＹがジェスチャによる操作を実行したとする。この場合、情報設定部２９は、ユーザＸおよびユーザＹを操作待ち受け時間終了後、所定の操作対象者有効期間（例えば、１５分間）操作対象者として設定する。
【０１０４】
なお、情報設定部２９は、操作対象者または操作禁止者を設定してから、所定期間経過した後、操作対象者または操作禁止者の設定を解除してもよい。つまり、情報設定部２９は、操作対象者または操作禁止者の設定が有効な期間を定めておき、設定有効期間内は、所定のユーザを操作対象者または操作禁止者として設定し、設定有効期間終了後、当該設定を解除してもよい。また、情報設定部２９は、ユーザからの指示に基づいて、すなわち、操作部５４に入力された操作信号をテレビ制御部５１から取得またはジェスチャ認識実行部２８から操作信号を取得し、取得した操作信号に基づいて操作対象者または操作禁止者の設定を解除してもよい。
【０１０５】
また、情報設定部２９は、テレビ制御部５１からテレビ処理履歴情報６１を取得すると共に、ジェスチャ認識装置記憶部１２からジェスチャ認識装置処理履歴情報４５を読み出し、テレビ処理履歴情報６１およびジェスチャ認識装置処理履歴情報４５に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングを学習し、操作タイミング情報４３を更新してもよい。
【０１０６】
出入判定部３０は、時系列に並べられた複数の画像に対して認識対象部位判定部２５が実行した判定結果に基づいて、ジェスチャ認識対象部位が画角に出入りしているか否かを判定するものである。この場合、認識対象部位判定部２５は、時系列に並べられた複数の画像に対して、各画像にジェスチャ認識対象部位が撮像されているか否かをそれぞれ判定する。
【０１０７】
位置関係特定部３１は、時期判定部２６が操作タイミングであると判定すると、画像に撮像されている任意の部位（基準部位）の位置（基準位置）を特定するものである。そして、位置関係特定部３１は、基準部位に対するジェスチャ認識対象部位の画角外における位置（対象部位位置）を特定する。
【０１０８】
ここで、基準部位は、画像に撮像されている部位であれば、どの部位でもよく、対象付近部位でもよいし、対象連動部位でもよいし、その他の部位でもよい。
【０１０９】
移動ベクトル算出部３２は、対象部位位置から基準位置に向かう方向を特定すると共に、対象部位位置から基準位置までの距離を算出するものである。なお、移動ベクトル算出部３２は、対象部位位置から基準位置に向かう方向のみを特定してもよい。
【０１１０】
ジェスチャ認識装置記憶部１２は、ジェスチャ認識装置制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記の人物特定情報４１、ユーザ情報４２、操作タイミング情報４３、ジェスチャ情報４４、ジェスチャ認識装置処理履歴情報４５等を格納している。
【０１１１】
ジェスチャ認識装置記憶部１２に格納されている人物特定情報４１、ユーザ情報４２、操作タイミング情報４３、ジェスチャ情報４４、ジェスチャ認識装置処理履歴情報４５についてそれぞれ図４〜図８に基づいて説明する。図４は、ジェスチャ認識装置記憶部１２に格納されている人物特定情報４１の一例を示す図である。図５は、ジェスチャ認識装置記憶部１２に格納されているユーザ情報４２の一例を示す図である。図６は、ジェスチャ認識装置記憶部１２に格納されている操作タイミング情報４３の一例を示す図である。図７は、ジェスチャ認識装置記憶部１２に格納されているジェスチャ情報４４の一例を示す図である。図８は、ジェスチャ認識装置記憶部１２に格納されているジェスチャ認識装置処理履歴情報４５の一例を示す図である。
【０１１２】
（人物特定情報）
図４に示すように、人物特定情報４１は、ユーザ名と、当該ユーザを個別に特定するための個別特定情報および当該ユーザの属性を示す個人属性情報とが対応付けられた情報である。図示の例では、個別特定情報として「特徴量」がある。「特徴量」は、例えば、ユーザの人体画像および／または顔画像から抽出されるものである。人物特定部２３は、この「特徴量」を参照して、人物判定部２２が検出した人体画像または顔画像から特徴量を抽出し、人物特定情報４１に含まれる何れの特徴量と一致または近似しているかを特定して、ユーザを個別に特定する。
【０１１３】
また、図示の例では、個人属性情報として、「性別」、「身長」、「年齢」、「人種」、「装飾品」がある。「性別」は、ユーザの性別を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から、唇の色、肌の色、眉毛の形状や色に基づく化粧の有無、ネイルの有無、髭の有無、爪の形状（長い場合は女性、深爪の場合は男性など）、服装、履物等に基づいてユーザの性別を特定する。人物特定部２３は、特定した性別から、何れのユーザに該当するかを判断する。例えば、図示の例では、女性と判断できれば、女性のユーザは「母」のみであるため、ユーザを「母」として特定することができる。
【０１１４】
また、「身長」は、ユーザの身長を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から写っている人の身長を特定し、特定した身長から何れのユーザに該当するかを判断する。
【０１１５】
また、「年齢」は、ユーザの年齢を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から写っている人の年齢を特定し、特定した年齢から何れのユーザに該当するかを判断する。
【０１１６】
また、「人種」は、ユーザの人種を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から、瞳の色、肌の色、髪の色等に基づいて、写っている人の人種を特定し、特定した人種から何れのユーザに該当するかを判断する。
【０１１７】
また、「装飾品」は、ユーザが身につけている装飾品を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から、眼鏡、指輪、時計等の装飾品を検出し、検出した装飾品を身に付けている人物が何れのユーザに該当するかを判断する。
【０１１８】
なお、個人属性情報として「体型」や「髪型」等の情報が人物特定情報４１に含まれていてもよい。また、図示の例では、人物特定情報４１が６種の情報を含んでいるが、人物特定情報４１は、個別特定情報または個人属性情報の少なくとも１種類の情報を含んでいればよい。
【０１１９】
（ユーザ情報）
図５に示すように、ユーザ情報４２は、どのユーザが操作対象者または操作禁止者として設定されているかを示す情報である。図５に示す例では、「父」が操作対象者として設定されており、「子供」が操作禁止者として設定されている。図５に示す例では、操作対象者および操作禁止者は、ユーザ個人として設定されているがこれに限るものではない。例えば、「女性」を操作対象者として設定したり、「未成年」を操作禁止者として設定したり、ユーザの属性で操作対象者または操作禁止者を設定してもよい。
【０１２０】
なお、本実施形態では、操作対象者として設定されているユーザのみがジェスチャによる操作を実行できるがこれに限るものではない。例えば、誰でも自由にテレビをジェスチャによって操作可能な状態にしてもよい。この場合、例えば、操作対象者を「全てのユーザ」として設定してもよい。
【０１２１】
また、上述のように、操作対象者および操作禁止者は、予め、ユーザの指示またはデフォルトで設定されていてもよい。
【０１２２】
（操作タイミング情報）
図６に示すように、操作タイミング情報４３は、ユーザがジェスチャによる操作を所望する操作タイミングに該当するか否かを判断するための条件（操作タイミングであるとみなす条件）を示す情報である。図６に示すように、操作タイミング情報４３は、処理条件および撮像部位条件を含む。
【０１２３】
電子機器が所定の処理を行った後、電子機器が所定の処理を行っている期間中、電子機器が所定の処理を行ってから所定期間経過後、ジェスチャによる操作を行った後、ジェスチャによる操作を行ってから所定期間経過後等は、ユーザがジェスチャによる操作を所望する操作タイミングに該当する可能性が高いと考えられる。そこで、操作タイミングに該当するか否かを判断するための条件として、図６に示す処理条件を設定する。
【０１２４】
具体的には、図６に示す例では、時期判定部２６は、ジェスチャ認識装置記憶部１２からジェスチャ認識装置処理履歴情報４５を読み出して、現時点がジェスチャによる操作から５分以内であるか、または、ジェスチャによる操作から２０分経過後５分以内であるかをそれぞれ判断し、いずれかに該当する場合に操作タイミングであると判定する。また、時期判定部２６は、テレビ制御部５１からテレビ処理履歴情報６１を取得し、現時点がテレビの電源ＯＮの操作から５分以内であるか、または、音量の変更の操作から１分以内であるか、または、チャンネルの変更の操作から１時間経過後５分以内であるかをそれぞれ判断し、いずれかに該当する場合に操作タイミングであると判定する。また、時期判定部２６は、テレビ制御部５１からテレビ２の現在の処理内容を示す情報を取得し、現在テレビ２がＣＭを表示中であれば、操作タイミングであると判定する。
【０１２５】
また、操作対象者のジェスチャ認識対象部位が撮像されていない場合であっても、対象付近部位が撮像されていたり、対象連動部位がジェスチャ時に連動する所定の動作を行っていたりする場合は、ユーザがジェスチャによる操作を所望する操作タイミングに該当する可能性が高いと考えられる。そこで、操作タイミングに該当するか否かを判断するための条件として、図６に示す撮像部位条件を設定する。
【０１２６】
このように、本実施形態では、時期判定部２６は、操作タイミング情報４３に含まれる何れかの条件に該当すれば、操作タイミングであると判定するが、これに限るものではない。例えば、時期判定部２６は、操作タイミング情報４３に含まれる所定数以上の条件に該当すれば、操作タイミングであると判定してもよい。また、時期判定部２６は、各条件に信頼度を設定しておき、信頼度の合計値が所定値以上の場合に操作タイミングであると判定してもよい。また、操作タイミング情報４３に含まれる各条件をユーザごとに対応付けておいてもよい。これにより、各ユーザの使用態様に合わせて、時期判定部２６は操作タイミングを判定することができる。
【０１２７】
また、操作タイミング情報４３の各条件として、特定の時間帯や曜日等を更なる条件に加えてもよい。また、電子機器の特性や個人の使用態様により、周期的に電子機器が操作される場合、周期的な条件を操作タイミングとして設定してもよい。このように、操作タイミングは、操作タイミングは電子機器の特性（属性）、操作者の使用態様に応じて様々である。そのため、操作タイミングは、電子機器の特性（属性）、操作者の使用態様に応じて適宜設定したり、学習したりすることが望ましい。
【０１２８】
（ジェスチャ情報）
図７に示すように、ジェスチャ情報４４は、ジェスチャと操作信号とが対応付けられている情報である。例えば、ジェスチャ認識実行部２８は、取得した画像から操作対象者が「右手の人差指のみを立てている」ジェスチャを検出した場合、操作信号「Ｓ０１」を生成する。なお、操作信号「Ｓ０１」は、テレビ２の電源ＯＮ／ＯＦＦを制御する信号であり、操作信号「Ｓ０２」は、テレビ２のチャンネル変更を制御する信号であり、操作信号「Ｓ０３」は、テレビ２の音量変更を制御する信号であるとする。
【０１２９】
さらに、ジェスチャ情報４４は、ジェスチャに当該ジェスチャの認識対象部位と、当該認識対象部位付近の部位である対象付近部位と、当該ジェスチャ時に連動する連動対象部位およびその所定の動作とが対応付けられている。
【０１３０】
（ジェスチャ認識装置処理履歴情報）
図８に示すように、ジェスチャ認識装置処理履歴情報４５は、ジェスチャ認識実行部２８が生成した操作信号と、ジェスチャ認識実行部２８がジェスチャ認識処理を実行した処理日時と、ジェスチャ認識実行部２８が認識したジェスチャを行った操作対象者とが対応付けられている情報である。
【０１３１】
なお、図１に示す例では、テレビ２がジェスチャ認識装置１を搭載しているが、これに限るものではなく、テレビ２がジェスチャ認識装置１の機能を全て有していてもよい。具体的には、テレビ制御部５１がジェスチャ認識装置制御部１１の機能を有し、テレビ記憶部５２がジェスチャ認識装置記憶部１２が格納している情報を有し、テレビ通信部５３がジェスチャ認識装置通信部１３の機能を有していてもよい。
【０１３２】
＜ジェスチャ認識装置の処理（処理例１）＞
次に、ジェスチャ認識装置１が実行する処理について、図９〜図１６に基づいて説明する。図９は、ジェスチャ認識装置１が実行する処理の一例を示すフローチャートである。また、図１０、図１３、図１４、図１６は、カメラ３が撮像した画像を示す図である。ここでは、ユーザ情報４２として図５に示す情報がジェスチャ認識装置記憶部１２に格納されているものとする。つまり、操作対象者は「父」であり、操作禁止者は「子供」であり、「母」は、操作対象者でも操作禁止者でもない人物であるとする。
【０１３３】
〔カメラが撮像した画像にジェスチャを行っている「父」の右手が写っていない場合〕
まず、図１０に示すように、「父」が右手を左右に振るジェスチャを行っているが、カメラ３が撮像した画像から、ジェスチャ認識対象部位である右手が写っていない場合の処理について説明する。
【０１３４】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１０に示す画像に「父」の顔等が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１３５】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ３）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「父」として特定する。
【０１３６】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ４）。ここでは、「父」は操作対象者であるため、ユーザ判定部２４は、操作対象者であると判定する（Ｓ４でＹＥＳ）。
【０１３７】
ユーザ判定部２４が操作対象者であると判定した後、認識対象部位判定部２５は、当該操作対象者（ここでは、「父」）が撮像されている画像にジェスチャ認識対象部位が撮像されているか否かを判定する（Ｓ５）。ここでは、図１０に示すように、画像にはジェスチャ認識対象部位である右手が写っていないため、認識対象部位判定部２５はジェスチャ認識対象部位が撮像されていないと判定する。
【０１３８】
認識対象部位判定部２５はジェスチャ認識対象部位が撮像されていないと判定した場合（Ｓ５でＮＯ）、次に、時期判定部２６は、操作タイミング判定処理Ａを実行し（Ｓ６）、現時点がジェスチャの操作タイミングであるか否かを判定する（Ｓ７）。時期判定部２６が操作タイミングであると判定した場合（Ｓ７でＹＥＳ）、出力部２７は、ジェスチャ認識対象部位が撮像されていないことの通知を指示する人物画角外通知指示信号をテレビ制御部５１に出力する（Ｓ８）。一方、時期判定部２６が操作タイミングではないと判定した場合（Ｓ７でＮＯ）、出力部２７は何も出力せず、Ｓ１に戻る。
【０１３９】
（操作タイミング判定処理Ａ）
ここで、図９のＳ６における操作タイミング判定処理Ａについて、図１１に基づいて詳細に説明する。図１１は、操作タイミング判定処理Ａの一例を示すフローチャートである。
【０１４０】
図１１に示すように、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示す対象付近部位が画像に撮像されているか否かを判定する（Ｓ２１）。また、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示す対象連動部位が所定の動作を行っているか否かを判定する（Ｓ２２）。また、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出し、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が操作タイミング情報４３の示す処理条件の何れかに該当するか否かを判定する（Ｓ２３）。
【０１４１】
時期判定部２６は、Ｓ２１〜Ｓ２３において、何れも操作タイミングとみなす条件に該当すると判定した場合（Ｓ２１でＹＥＳ、かつＳ２２でＹＥＳ、かつＳ２３でＹＥＳ）、現時点がジェスチャの操作タイミングであると判定する（Ｓ２４）。一方、時期判定部２６は、Ｓ２１〜Ｓ２３において、何れかの操作タイミングとみなす条件に該当しないと判定した場合（Ｓ２１〜Ｓ２３の何れかでＮＯ）、現時点がジェスチャの操作タイミングではないと判定する（Ｓ２４）。
【０１４２】
なお、図１１に示す例では、Ｓ２１〜Ｓ２３の３つの判定処理を行って操作タイミングであるか否かを判定しているがこれに限るものではない。時期判定部２６は、Ｓ２１〜Ｓ２３の３つの判定処理の少なくとも１つの判定処理を行って操作タイミングであるか否かを判定してもよい。
【０１４３】
また、図１１に示す例では、Ｓ２１〜Ｓ２３の３つの判定処理を行って、全て該当すると判定した場合に、操作タイミングであると判定しているがこれに限るものではない。時期判定部２６は、例えば、Ｓ２１〜Ｓ２３のうちの少なくとも１つの判定処理で該当すると判定した場合に、操作タイミングであると判定してもよい。
【０１４４】
（移動ベクトル通知処理）
なお、Ｓ８において、出力部２７は、人物画角外通知指示信号を出力する代わりに、ジェスチャ認識対象部位が画角に入るために必要な移動方向および移動量を通知する移動ベクトル通知処理を行って、移動ベクトル通知指示信号を出力してもよい。ここで、Ｓ７でＹＥＳの場合に、Ｓ８に代えて実行する移動ベクトル通知処理を図１２に基づいて説明する。図１２は、移動ベクトル通知処理の一例を示すフローチャートである。
【０１４５】
図１２に示すように、位置関係特定部３１は、時期判定部２６が操作タイミングであると判定すると、画像に撮像されている任意の部位（基準部位）の位置（基準位置）を特定する（Ｓ８１）。そして、位置関係特定部３１は、基準部位に対するジェスチャ認識対象部位の画角外における位置（対象部位位置）を特定する（Ｓ８２）。
【０１４６】
次に、移動ベクトル算出部３２は、対象部位位置から基準位置に向かう方向（移動方向）を特定すると共に、対象部位位置から基準位置までの距離（移動距離）を算出する（Ｓ８３）。出力部２７は、移動ベクトル算出部３２が特定した方向に、ジェスチャ認識対象部位を移動ベクトル算出部３２が算出した距離量分の移動を促す通知を指示するベクトル通知指示信号をテレビ制御部５１に出力する（Ｓ８４）。
【０１４７】
移動ベクトル通知処理を行うことにより、例えば、ジェスチャ認識対象部位である右手が画角外の３０ｃｍ上方に外れている場合、出力部２７が上記ベクトル通知指示信号をテレビ制御部５１に出力して、テレビ２の表示部５５に、「下３０ｃｍで右手を振ってください」等を表示してもよい。
【０１４８】
また、出力部２７は、上記対象部位画角外通知指示信号に代えて、位置関係特定部３１が特定した基準部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号をテレビ制御部５１に出力してもよい。出力部２７は、例えば、位置関係特定部３１が画像に撮像されているユーザの「顔」を基準部位とした場合、顔の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号を出力してもよい。
【０１４９】
この場合、位置関係特定部３１は、時期判定部２６が操作タイミングであると判定すると、画像に撮像されている任意の部位（基準部位）を特定する。そして、出力部２７は、位置関係特定部３１が特定した基準部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号をテレビ制御部５１に出力する。
【０１５０】
これにより、ユーザがジェスチャによる操作を行ったときに、知らずにジェスチャ認識対象部位が画角から外れていた場合であっても、ユーザに対してどのようにすれば、ジェスチャが撮像されるかを通知することができる。
【０１５１】
〔カメラが撮像した画像にジェスチャを行っている「父」の右手が写っている場合〕
次に、図１３に示すように、「父」が右手を左右に振るジェスチャを行っており、カメラ３が撮像した画像に、ジェスチャ認識対象部位である右手が写っている場合の処理について説明する。
【０１５２】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１３に示す画像に「父」の顔等が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１５３】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ３）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「父」として特定する。
【０１５４】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ４）。ここでは、「父」は操作対象者であるため、ユーザ判定部２４は、操作対象者であると判定する（Ｓ４でＹＥＳ）。
【０１５５】
ユーザ判定部２４が操作対象者であると判定した後、認識対象部位判定部２５は、当該操作対象者（ここでは、「父」）が撮像されている画像にジェスチャ認識対象部位が撮像されているか否かを判定する（Ｓ５）。ここでは、図１３に示すように、画像にジェスチャ認識対象部位である右手が写っているため、認識対象部位判定部２５はジェスチャ認識対象部位が撮像されていると判定する（Ｓ５でＹＥＳ）。
【０１５６】
ここで、テレビ制御部５１が指示信号に基づいて通知処理を実行している場合（Ｓ９でＹＥＳ）、出力部２７は、当該通知の消去を指示する通知消去指示信号をテレビ制御部５１に出力する（Ｓ１０）。そして、ジェスチャ認識実行部２８が、ジェスチャ認識処理を実行する（Ｓ１１）。一方、テレビ制御部５１が通知処理を実行していない場合（Ｓ９でＮＯ）、出力部２７は何も出力せず、ジェスチャ認識実行部２８が、ジェスチャ認識処理を実行する（Ｓ１１）。
【０１５７】
〔カメラが撮像した画像に「母」が写っている場合〕
次に、図１４に示すように、カメラ３が撮像した画像に「母」が写っている場合の処理について説明する。
【０１５８】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１４に示す画像に「母」が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１５９】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ３）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「母」として特定する。
【０１６０】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ４）。ここでは、「母」は操作対象者ではないため、ユーザ判定部２４は、操作対象者ではないと判定する（Ｓ４でＮＯ）。続いて、ユーザ判定部２４は、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作禁止者か否かを判定する（Ｓ１２）。ここでも、「母」は操作禁止者ではないため、ユーザ判定部２４は、操作禁止者ではないと判定する（Ｓ１２でＮＯ）。
【０１６１】
次に、時期判定部２６は、操作タイミング判定処理Ｂを実行し（Ｓ１３）、現時点がジェスチャの操作タイミングであるか否かを判定する（Ｓ１４）。時期判定部２６が操作タイミングであると判定した場合（Ｓ１４でＹＥＳ）、出力部２７は、操作対象者ではないことの通知を指示する非操作対象者通知指示信号をテレビ制御部５１に出力する（Ｓ１５）。一方、時期判定部２６が操作タイミングではないと判定した場合（Ｓ１４でＮＯ）、出力部２７は何も出力せず、Ｓ１に戻る。
【０１６２】
（操作タイミング判定処理Ｂ）
次に、図９のＳ１３における操作タイミング判定処理Ｂについて、図１５に基づいて説明する。図１５は、操作タイミング判定処理Ｂの一例を示すフローチャートである。
【０１６３】
図１５に示すように、まず、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示すジェスチャの検出処理を画像に対して実行する（Ｓ３１）。
【０１６４】
ここでジェスチャを検出すると（Ｓ３１でＹＥＳ）、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出し、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が操作タイミング情報４３の示す処理条件の何れかに該当するか否かを判定する（Ｓ３５）。時期判定部２６は、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が処理条件の何れかに該当すると判定した場合（Ｓ３５でＹＥＳ）、現時点がジェスチャの操作タイミングであると判定する（Ｓ３６）。一方、時期判定部２６は、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が処理条件の何れにも該当しないと判定した場合（Ｓ３５でＮＯ）、現時点がジェスチャの操作タイミングではないと判定する（Ｓ３７）。
【０１６５】
また、Ｓ３１において、ジェスチャが検出できなかった場合（Ｓ３１でＮＯ）、続いて、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示すジェスチャ認識対象部位が撮像されているか否かを判定する（Ｓ３２）。
【０１６６】
時期判定部２６は、ジェスチャ認識対象部位が撮像されていると判定した場合（Ｓ３２でＹＥＳ）、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出し、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が操作タイミング情報４３の示す処理条件の何れかに該当するか否かを判定する（Ｓ３５）。時期判定部２６は、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が処理条件の何れかに該当すると判定した場合（Ｓ３５でＹＥＳ）、現時点がジェスチャの操作タイミングであると判定する（Ｓ３６）。一方、時期判定部２６は、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が処理条件の何れにも該当しないと判定した場合（Ｓ３５でＮＯ）、現時点がジェスチャの操作タイミングではないと判定する（Ｓ３７）。
【０１６７】
一方、時期判定部２６は、ジェスチャ認識対象部位が撮像されていないと判定した場合（Ｓ３２でＮＯ）、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示す対象付近部位が画像に撮像されているか否かを判定する（Ｓ３３）。また、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示す対象連動部位が所定の動作を行っているか否かを判定する（Ｓ３４）。また、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出し、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が操作タイミング情報４３の示す処理条件の何れかに該当するか否かを判定する（Ｓ３５）。
【０１６８】
時期判定部２６は、Ｓ３３〜Ｓ３５において、何れも操作タイミングとみなす条件に該当すると判定した場合（Ｓ３３でＹＥＳ、かつＳ３４でＹＥＳ、かつＳ３５でＹＥＳ）、現時点がジェスチャの操作タイミングであると判定する（Ｓ３６）。一方、時期判定部２６は、Ｓ３３〜Ｓ３５において、何れかの操作タイミングとみなす条件に該当しないと判定した場合（Ｓ３３〜Ｓ３５の何れかでＮＯ）、現時点がジェスチャの操作タイミングではないと判定する（Ｓ３７）。
【０１６９】
なお、図１１に示す例では、Ｓ３１でＹＥＳの場合、Ｓ３５の判定処理を行って操作タイミングであるか否かを判定しているがこれに限るものではない。時期判定部２６は、Ｓ３１でＹＥＳの場合、無条件で現時点が操作タイミングであると判定してもよい。
【０１７０】
また、図１１に示す例では、Ｓ３２でＹＥＳの場合、Ｓ３５の判定処理を行って操作タイミングであるか否かを判定しているがこれに限るものではない。時期判定部２６は、Ｓ３２でＹＥＳの場合、無条件で現時点が操作タイミングであると判定してもよい。
【０１７１】
また、図１１に示す例では、Ｓ３２でＮＯの場合、Ｓ３３〜Ｓ３５の３つの判定処理を行って操作タイミングであるか否かを判定しているがこれに限るものではない。時期判定部２６は、Ｓ３３〜Ｓ３５の３つの判定処理の少なくとも１つの判定処理を行って操作タイミングであるか否かを判定してもよい。また、図１１に示す例では、Ｓ３３〜Ｓ３５の３つの判定処理を行って、全て該当すると判定した場合に、操作タイミングであると判定しているがこれに限るものではない。時期判定部２６は、例えば、１または２の判定処理で該当すると判定した場合に、操作タイミングであると判定してもよい。
【０１７２】
〔カメラが撮像した画像に「子供」が写っている場合〕
次に、図１６に示すように、カメラ３が撮像した画像に「子供」が写っている場合の処理について説明する。
【０１７３】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１６に示す画像に「子供」の顔等が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１７４】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ３）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「子供」として特定する。
【０１７５】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ４）。ここでは、「子供」は操作対象者ではないため、ユーザ判定部２４は、操作対象者ではないと判定する（Ｓ４でＮＯ）。続いて、ユーザ判定部２４は、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作禁止者か否かを判定する（Ｓ１２）。ここでは、「子供」は操作禁止者であるため、ユーザ判定部２４は、操作禁止者であると判定する（Ｓ１２でＹＥＳ）。ユーザ判定部２４が操作禁止者であると判定した場合は、出力部２７は何も出力せず、Ｓ１に戻る。
【０１７６】
なお、図９に示す処理例では、操作対象者か否かを判定し、さらに、ジェスチャ認識対象部位が撮像されているか否かを判定した後に、ジェスチャ認識処理を実行しているが、これに限るものではない。例えば、画像取得部２１が取得した画像に対して、まず、ジェスチャ認識実行部２８がジェスチャ認識処理を実行し、ジェスチャ認識が正常にできなかった場合に、上記のＳ４、Ｓ６〜Ｓ８、Ｓ１２〜Ｓ１５の処理を行ってもよい。
【０１７７】
＜ジェスチャ認識装置の処理（処理例２）＞
次に、上述の最初にジェスチャ認識処理を実行し、ジェスチャ認識が正常にできなかった場合に、判定処理等を実行する処理について、図１７に基づいて説明する。図１７は、ジェスチャ認識装置１が実行する処理の他の一例を示すフローチャートである。
【０１７８】
図１７に示すように、ジェスチャ認識実行部２８は、ジェスチャ認識処理を開始すると（Ｓ４１）、画像取得部２１から時系列に並べられた複数の画像を取得する（Ｓ４２）。ジェスチャ認識実行部２８は、複数の画像取得した後、ジェスチャ認識装置記憶部１２からジェスチャ情報４４を読み出し、取得した複数の画像からジェスチャ情報４４の示すジェスチャを検出する（Ｓ４３）。
【０１７９】
ジェスチャ認識実行部２８は、所定のジェスチャを検出すると（Ｓ４４でＹＥＳ）、ジェスチャ情報４４において、検出したジェスチャに対応付けられている操作信号を生成する（Ｓ４５）。そして、出力部２７は、ジェスチャ認識実行部２８が生成した操作信号をテレビ制御部５１に出力する。
【０１８０】
一方、ジェスチャ認識実行部２８は、ジェスチャが検出できなかった場合（Ｓ４４でＮＯ）、複数の画像に対する認識対象部位判定部２５の判定結果に基づいて、ジェスチャが検出できなかった原因（エラー原因）がジェスチャ認識対象部位を検出できなかったことであるか否かを判定する（Ｓ４７）。
【０１８１】
ジェスチャ認識実行部２８がジェスチャ認識対象部位を検出できなかったことが原因であると判定した場合（Ｓ４７でＹＥＳ）、出入判定部３０は、複数の画像に対する認識対象部位判定部２５の判定結果に基づいて、ジェスチャ認識対象部位が画角に出入りしているか否かを判定する（Ｓ４８）。
【０１８２】
出入判定部３０がジェスチャ認識対象部位が画角に出入りしていると判定した場合（Ｓ４８でＹＥＳ）、出力部２７は、ジェスチャ認識対象部位が画角に出入りしていることの通知を指示する対象部位出入通知指示信号をテレビ制御部５１に出力する（Ｓ４９）。一方、出入判定部３０がジェスチャ認識対象部位が画角に出入りしていないと判定した場合（Ｓ４８でＮＯ）、出力部２７は、ジェスチャ認識対象部位が画角から出ていることの通知を指示する対象部位画角外通知指示信号をテレビ制御部５１に出力する（Ｓ５０）。
【０１８３】
Ｓ４７において、ジェスチャ認識実行部２８がジェスチャ認識対象部位を検出できなかったことが原因ではないと判定した場合、つまり、その他の原因でジェスチャが検出できなかった場合（Ｓ４７でＮＯ）、ジェスチャ認識対象部位はエラー原因を特定する。出力部２７は、ジェスチャ認識実行部２８が特定したエラー原因の通知を指示するジェスチャ認識エラー通知指示信号をテレビ制御部５１に出力する（Ｓ５１）。
【０１８４】
なお、Ｓ４８の処理の後に、時期判定部２６が操作タイミングであるか否かを判定し、時期判定部２６が操作タイミングであると判定した場合にのみ、出力部が各信号を出力するようにしてもよい。
【０１８５】
また、Ｓ４９およびＳ５０において、出力部２７は、対象部位出入通知指示信号または対象部位画角外通知指示信号と共に、または当該信号の代わりに、ベクトル通知指示信号を出力してもよい。
【０１８６】
＜変形例＞
変形例として、電子機器がセキュリティゲートである場合を説明する。このセキュリティゲートは、会員の女性のみが入室可能な部屋の入口に設置されているものとする。そして、ここでは、操作対象者として、女性の予め登録されたユーザであり、操作禁止者として男性が設定されているものとする。
【０１８７】
この場合、会員の女性がジェスチャを行ったが、カメラに写っていない場合、セキュリティゲートは、会員の女性に対してジェスチャが写っていないことを通知する。また、会員ではない女性がジェスチャを行った場合は、セキュリティゲートは、会員ではない女性に対して、操作対象者ではない、つまり、未会員であることを通知する。このとき、セキュリティゲートは、会員ではない女性に対して、会員になるために必要な情報を通知してもよい。また、男性がジェスチャを行った場合、セキュリティゲートは、何も通知しない。セキュリティゲート等においては、許可者（操作対象者）および許可者になり得る人物以外の人物（つまりこの場合は男性）に対して、ジェスチャによる操作にエラーが発生したことを通知することは、セキュリティの観点から望ましくない。
【０１８８】
なお、セキュリティとユーザの便益とのバランスによるが、性別判定処理において誤った判定処理を実行する頻度が少なく無い場合、セキュリティゲートは、男性と判断した場合であっても、何回かに１度は未会員であることを通知してもよい。
【０１８９】
＜補足＞
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１９０】
最後に、ジェスチャ認識装置１の各ブロック、特にジェスチャ認識装置制御部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１９１】
すなわち、ジェスチャ認識装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるジェスチャ認識装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記ジェスチャ認識装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１９２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１９３】
また、ジェスチャ認識装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１９４】
本発明は、カメラが撮像した画像からユーザのジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するジェスチャ認識装置に利用することができる。
【符号の説明】
【０１９５】
１ ジェスチャ認識装置
２ テレビ（電子機器）
３ カメラ
４ ユーザ
２２ 人物判定部（人判定手段）
２４ ユーザ判定部（操作対象者判定手段、操作禁止者判定手段）
２５ 認識対象部位判定部（認識対象部位判定手段）
２６ 時期判定部（時期判定手段）
２７ 出力部（出力手段）
３０ 出入判定部（出入判定手段）
３１ 位置関係特定部（部位特定手段、位置特定手段）
３２ 移動ベクトル算出部（移動ベクトル特定手段）
５５ 表示部（通知手段）
５６ 音声出力部（通知手段）
【技術分野】
【０００１】
本発明は、カメラでユーザの動作を撮像し、撮像した画像からユーザのジェスチャを認識するジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
近年、ユーザのジェスチャを認識することにより、機器を制御する制御信号を生成する様々な情報入力装置が開発されている。このような情報入力装置として、例えば、特許文献１および２に記載の情報入力装置がある。具体的には、ポインティングデバイス、ペン型デバイス、タッチパッド等の入力デバイスをユーザが操作し、入力デバイスがその動きを検知して、ユーザのジェスチャを認識する情報入力装置がある。
【０００３】
一方、入力デバイスを用いるのではなく、カメラでユーザの動作を撮像し、撮像した画像からユーザのジェスチャを認識する情報入力装置がある。以下では、画像からユーザのジェスチャを認識する情報入力装置をジェスチャ認識装置と称する。このジェスチャ認識装置は、ユーザが入力デバイス等を操作する必要がなく、直感的に装置に操作指示を入力することができるため、次世代インターフェースとして期待されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３０３２０７号公報（２００４年１０月２８日公開）
【特許文献２】特開２００９−３０１３０１号公報（２００９年１２月２４日公開）
【特許文献３】特開２００７−１６６１８７号公報（２００７年６月２８日公開）
【特許文献４】特開２００８−２４４８０４号公報（２００８年１０月９日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のジェスチャ認識装置では、ユーザは、ジェスチャ認識装置が自身のジェスチャを認識可能な状態であるか否かを知ることができない。換言すると、ユーザは、自身のジェスチャがカメラの画角の範囲内に収まっているかどうかを正確に判断することができない。そのため、ジェスチャ認識装置がユーザのジェスチャを認識可能な状態ではないにもかかわらず、ユーザは、ジェスチャが認識されることを期待して、何度も同じ動作をしたり、無駄に動きを工夫したりすることがあった。
【０００６】
ここで、カメラの撮影時に、人間の全身や顔等が画角に収まっているか否かを判定し、収まっていない場合に警告を発する技術がある（特許文献３および４）。しかしながら、特許文献３および４に記載の技術は、一般的なカメラに関する技術であり、ジェスチャ認識装置に関する技術ではない。また、従来、ジェスチャ認識装置において、ジェスチャが画角に収まっているか否かを通知することは行われていない。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザのジェスチャが画角内に収まっていない場合に通知するジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体を実現することにある。
【課題を解決するための手段】
【０００８】
本発明に係るジェスチャ認識装置は、上記課題を解決するために、カメラが撮像した画像から人のジェスチャ認識対象部位の動きおよび／または形状であるジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置であって、上記画像にジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定手段と、上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定した場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力手段とを備えることを特徴としている。
【０００９】
本発明に係るジェスチャ認識装置の制御方法は、上記課題を解決するために、カメラが撮像した画像から人のジェスチャ認識対象部位の動きおよび／または形状であるジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置の制御方法であって、上記画像にジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定ステップと、上記認識対象部位判定ステップにおいて上記画像にジェスチャ認識対象部位が含まれていないと判定された場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力ステップとを含むことを特徴としている。
【００１０】
上記の構成によれば、出力手段は、カメラが撮像した画像にジェスチャ認識対象部位が含まれていない場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を電子機器に出力する。電子機器は、対象部位画角外通知指示情報に基づいて、電子機器を操作する人に、ジェスチャ認識対象部位が撮像されていないことを通知する。
【００１１】
そのため、電子機器を操作する人は、電子機器からの通知に基づいて、カメラが撮像した画像に自身のジェスチャ認識対象部位が含まれているか否か、つまり、カメラの画角からジェスチャが外れているか否かを判断することができる。よって、電子機器を操作する人のジェスチャ認識対象部位が撮像されていないにもかかわらず、当該人がジェスチャを認識させようとして何度も同じジェスチャをするという、電子機器を操作する人の無駄な動作を防止することができるという効果を奏する。
【００１２】
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている人の部位に基づいて、人がジェスチャによる操作を所望する操作タイミングか否かを判定する時期判定手段をさらに備え、上記出力手段は、上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定し、かつ、上記時期判定手段が操作タイミングであると判定した場合、上記対象部位画角外通知指示情報を出力することが好ましい。
【００１３】
上記の構成によれば、出力手段は、カメラが撮像した画像にジェスチャ認識対象部位が含まれておらず、かつ、人がジェスチャによる操作を所望する操作タイミングである場合に、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を電子機器に出力する。
【００１４】
電子機器を操作する人のジェスチャ認識対象部位が画角内にない場合には、電子機器を操作する人がジェスチャによる操作を所望しながらもジェスチャ認識対象部位が画角内にない場合があるが、人がジェスチャによる操作を所望しないために人のジェスチャ認識対象部位が画角内にない場合もある。そのため、電子機器を操作する人のジェスチャ認識対象部位が画角から外れており、かつ、人がジェスチャによる操作を所望する場合にのみ、電子機器を操作する人に画角からジェスチャ認識対象部位が外れていることを通知することによって、電子機器を操作する人の電子機器の使用を妨害することなく、当該人の無駄な動作を防止することができる。
【００１５】
また、本発明に係るジェスチャ認識装置は、上記時期判定手段は、上記画像にジェスチャ認識対象部位付近の対象付近部位が含まれている場合、操作タイミングであると判定することが好ましい。
【００１６】
上記画像にジェスチャ認識対象部位付近の対象付近部位が含まれている場合は、人がジェスチャによる操作を所望しながらもジェスチャ認識対象部位が画角に収まっていない状況であると考えられる。すなわち、この場合、操作タイミングである可能性が高いと考えられる。
【００１７】
そのため、上記の構成のように、上記時期判定手段は、上記画像にジェスチャ認識対象部位付近の対象付近部位が含まれている場合、操作タイミングであると判定することにより、上記画像に撮像されている人の部位に基づいて、操作タイミングを精度良く特定することができる。
【００１８】
また、本発明に係るジェスチャ認識装置は、上記時期判定手段は、ジェスチャ時にジェスチャ認識対象部位と連動する対象連動部位が所定の動作をしたことを上記画像から検出した場合、操作タイミングであると判定することが好ましい。
【００１９】
ジェスチャ時にジェスチャ認識対象部位と連動する対象連動部位が所定の動作をしたことを上記画像から検出した場合は、人がジェスチャによる操作を所望しながらもジェスチャ認識対象部位が画角に収まっていない状況であると考えられる。すなわち、この場合、操作タイミングである可能性が高いと考えられる。
【００２０】
そのため、上記の構成のように、上記時期判定手段は、ジェスチャ時にジェスチャ認識対象部位と連動する対象連動部位が所定の動作をしたことを上記画像から検出した場合、操作タイミングであると判定することにより、上記画像に撮像されている人の部位に基づいて、操作タイミングを精度良く特定することができる。
【００２１】
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位の人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段とをさらに備え、上記出力手段は、上記操作対象者判定手段が上記画像に撮像されている部位の人が操作対象者であると判定した場合、上記対象部位画角外通知指示情報を出力することが好ましい。
【００２２】
上記出力手段は、電子機器を操作する人が操作対象者である場合、つまり、電子機器を操作する人がジェスチャにより上記電子機器の操作を実行することができる場合にのみ、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を電子機器に出力する。電子機器は、電子機器を操作する人がジェスチャにより上記電子機器の操作を実行することができる場合にのみ、対象部位画角外通知指示情報に基づいて、電子機器を操作する人に、ジェスチャ認識対象部位が撮像されていないことを通知する。
【００２３】
そのため、ジェスチャによる操作を実行可能な人にだけ有用な情報を提供し、かつ、操作対象者ではない人に不必要な情報を与えないようにすることができる。
【００２４】
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位の人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段とをさらに備え、上記出力手段は、上記操作対象者判定手段が上記画像に撮像されている部位の人が操作対象者ではないと判定した場合、上記対象部位画角外通知指示情報に代えて、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力することが好ましい。
【００２５】
上記出力手段は、電子機器の操作を試みる人が操作対象者ではない場合、つまり、電子機器の操作を試みる人がジェスチャにより上記電子機器の操作を実行することができない場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力する。
【００２６】
そのため、電子機器の操作を試みる人は、電子機器からの通知に基づいて、自身が操作対象者であるか否かを判断することができる。よって、ジェスチャによる操作が実行できないにもかかわらず、当該人がジェスチャを認識させようとして何度も同じジェスチャをするという、電子機器の操作を試みる人の無駄な動作を防止することができる。
【００２７】
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位の人が、ジェスチャによる上記電子機器の操作を禁止されている操作禁止者であるか否かを判定する操作禁止者判定手段とをさらに備え、上記出力手段は、上記操作禁止者判定手段が上記画像に撮像されている部位の人が操作禁止者であると判定した場合、上記非操作対象者通知指示情報を出力しないことが好ましい。
【００２８】
上記出力手段は、電子機器の操作を試みる人が操作禁止者の場合、つまり、電子機器の操作を試みる人がジェスチャによる上記電子機器の操作を禁止されている場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力しない。操作禁止者は、ジェスチャによる上記電子機器の操作を実行することができないため、ジェスチャ認識を容易に行うための情報等を通知する必要が無い。
【００２９】
そのため、電子機器の操作を試みる人が操作禁止者の場合、上記情報を通知しないことにより、操作禁止者以外の人の電子機器の使用の妨害を低減すると共に、操作禁止者に対して、余分な情報を与えることを防止することができる。
【００３０】
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、予め、ジェスチャにより上記電子機器の操作を実行可能な者として設定されている人を操作対象者であると判定することが好ましい。
【００３１】
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、ジェスチャにより上記電子機器の操作を所定回数実行した人を操作対象者であると判定することが好ましい。
【００３２】
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、所定期間内にジェスチャにより上記電子機器の操作を実行した人を操作対象者であると判定することが好ましい。
【００３３】
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位を特定する部位特定手段と、上記部位特定手段が特定した部位に対するジェスチャ認識対象部位の位置を特定する位置特定手段と、上記位置特定手段が特定した位置に基づいて、上記ジェスチャ認識対象部位が画角に入るために必要な移動方向を特定する移動ベクトル特定手段とをさらに備え、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記移動ベクトル特定手段が特定した方向に上記ジェスチャ認識対象部位の移動を促す通知を指示する方向通知指示情報を出力することが好ましい。
【００３４】
上記の構成によれば、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記ジェスチャ認識対象部位が画角に入るために必要な移動方向に上記ジェスチャ認識対象部位の移動を促す通知を指示する方向通知指示情報を出力する。電子機器は、方向通知指示情報に基づいて、ジェスチャ認識対象部位を上記移動方向に動かすように人に通知する。そのため、電子機器を操作する人は、ジェスチャ認識対象部位が画角から外れている場合、電子機器からの通知に基づいて、どの方向に動かせばジェスチャ認識対象部位が画角に収まるかを知ることができる。
【００３５】
また、本発明に係るジェスチャ認識装置は、上記移動ベクトル特定手段は、上記位置特定手段が特定した位置に基づいて、上記移動方向を特定すると共に、上記ジェスチャ認識対象部位が画角に入るために必要な移動量を算出し、上記出力手段は、上記方向通知指示情報に代えて、上記移動ベクトル特定手段が特定した方向に、上記ジェスチャ認識対象部位を上記移動ベクトル特定手段が特定した移動量分の移動を促す通知を指示するベクトル通知指示情報を出力することが好ましい。
【００３６】
上記の構成によれば、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記ジェスチャ認識対象部位を、上記ジェスチャ認識対象部位が画角に入るために必要な移動方向に、上記ジェスチャ認識対象部位が画角に入るために必要な移動量分の移動を促す通知を指示するベクトル通知指示情報を出力する。電子機器は、ベクトル通知指示情報に基づいて、ジェスチャ認識対象部位を上記移動方向に、上記移動量分動かすように人に通知する。そのため、電子機器を操作する人は、ジェスチャ認識対象部位が画角から外れている場合、電子機器からの通知に基づいて、どの方向にどの程度動かせばジェスチャ認識対象部位が画角に収まるかを知ることができる。
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位を特定する部位特定手段をさらに備え、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記部位特定手段が特定した部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示情報を出力することが好ましい。
【００３７】
上記の構成によれば、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記画像に撮像されている部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示情報を出力する。電子機器は、ジェスチャ位置通知指示情報に基づいて、ジェスチャ認識対象部位を上記画像に撮像されている部位の前に移動させて、ジェスチャを実行するように人に通知する。そのため、電子機器を操作する人は、ジェスチャ認識対象部位が画角から外れている場合、電子機器からの通知に基づいて、どこにジェスチャ認識対象部位を移動すればジェスチャ認識対象部位が画角に収まるかを知ることができる。
【００３８】
また、本発明に係るジェスチャ認識装置は、上記認識対象部位判定手段は、時系列に並べられた複数の上記画像に対して上記判定を実行し、上記認識対象部位判定手段の判定結果に基づいて、ジェスチャ認識対象部位が上記カメラの画角から出入りしているか否かを判定する出入判定手段をさらに備え、上記出力手段は、上記出入判定手段が上記カメラの画角からジェスチャ認識対象部位が出入りしていると判定した場合、上記カメラの画角からジェスチャ認識対象部位が出入りしていることの通知を指示する対象部位出入通知指示情報を出力することが好ましい。
【００３９】
上記の構成によれば、出力手段は、上記カメラの画角からジェスチャ認識対象部位が出入りしている場合、上記カメラの画角からジェスチャ認識対象部位が出入りしていることの通知を指示する対象部位出入通知指示情報を電子機器に出力する。電子機器は、対象部位出入通知指示情報に基づいて、電子機器を操作する人に、ジェスチャ認識対象部位が画角から出入りしていることを通知する。そのため、電子機器を操作する人は、電子機器からの通知に基づいて、カメラの画角から自身のジェスチャ認識対象部位が出入りしていることを知ることができる。
【００４０】
また、本発明に係る電子機器は、上記ジェスチャ認識装置と、上記出力手段が出力する情報に従って、人に通知する通知手段とを備えたことが好ましい。
【００４１】
上記の構成によれば、電子機器は、上記ジェスチャ認識装置と同様の効果を奏する。
【００４２】
なお、上記ジェスチャ認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記ジェスチャ認識装置の各手段として動作させることにより、上記ジェスチャ認識装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００４３】
以上のように、本発明に係るジェスチャ認識装置は、上記画像にジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定手段と、上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定した場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力手段とを備えている構成である。
【００４４】
また、本発明に係るジェスチャ認識装置の制御方法は、上記画像にジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定ステップと、上記認識対象部位判定ステップにおいて上記画像にジェスチャ認識対象部位が含まれていないと判定された場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力ステップとを含む。
【００４５】
したがって、電子機器を操作する人のジェスチャ認識対象部位が撮像されていないにもかかわらず、当該人がジェスチャを認識させようとして何度も同じジェスチャをするという、電子機器を操作する人の無駄な動作を防止することができるという効果を奏する。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態を示すものであり、ジェスチャ認識装置およびジェスチャ認識装置を搭載したテレビの要部構成を示すブロック図である。
【図２】上記ジェスチャ認識装置を搭載したテレビの使用態様の一例を示す図である。
【図３】上記テレビのテレビ記憶部に格納されているテレビ処理履歴情報の一例を示す図である。
【図４】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されている人物特定情報の一例を示す図である。
【図５】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されているユーザ情報の一例を示す図である。
【図６】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されている操作タイミング情報の一例を示す図である。
【図７】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されているジェスチャ情報の一例を示す図である。
【図８】上記ジェスチャ認識装置のジェスチャ認識装置記憶部に格納されているジェスチャ認識装置処理履歴情報の一例を示す図である。
【図９】上記ジェスチャ認識装置が実行する処理の一例を示すフローチャートである。
【図１０】カメラが撮像した画像を示す図である。
【図１１】上記ジェスチャ認識装置が実行する操作タイミング判定処理の一例を示すフローチャートである。
【図１２】上記ジェスチャ認識装置が実行する移動ベクトル通知処理の一例を示すフローチャートである。
【図１３】カメラが撮像した画像を示す図である。
【図１４】カメラが撮像した画像を示す図である。
【図１５】上記ジェスチャ認識装置が実行する操作タイミング判定処理の他の一例を示すフローチャートである。
【図１６】カメラが撮像した画像を示す図である。
【図１７】ジェスチャ認識装置が実行する処理の他の一例を示すフローチャートである。
【発明を実施するための形態】
【００４７】
＜本発明の概要＞
本発明は、ユーザ（操作者）が電子機器をジェスチャにより操作する際に、ジェスチャ認識対象の部位がカメラの画角から外れている場合、ユーザに対してその旨を通知するものである。本発明に係るジェスチャ認識装置を搭載した電子機器の使用態様の一例を図２に示す。図２は、本発明に係るジェスチャ認識装置を搭載した電子機器の使用態様の一例を示す図である。
【００４８】
図２では、電子機器がテレビ２の場合であり、テレビ２がジェスチャ認識装置を内蔵している場合を示す。図２に示すように、ユーザ４が右手（右の掌）を左右に振るというジェスチャを行っているときに、ユーザ４の右手がカメラ３の画角θから外れている場合、テレビ２に「手が写っていません」等を表示して、ユーザ４に手（ジェスチャ認識対象部位）が撮像されていないことを通知する。
【００４９】
このような通知をすることにより、ユーザは、自身のジェスチャが撮像されているか否かを知ることができる。そのため、ジェスチャが撮像されていないにもかかわらず、ユーザがジェスチャを認識させようとして何度も同じジェスチャをするという、ユーザの無駄な動作を防止することができる。
【００５０】
以下では、図２に示す本発明の実施形態を図１〜図１７に基づいてより詳細に説明する。なお、本実施形態では、電子機器がテレビの例を示しているが、これに限るものではない。例えば、電子機器として、携帯電話機、ゲーム機、デジタルカメラ、セキュリティゲート（ドア）等であってもよい。
【００５１】
また、本明細書中では、ジェスチャをユーザの所定の部位（顔（頭）、手、足等）の動きおよび／または形状として定義する。また、上記所定の部位をジェスチャ認識対象部位と称する。
【００５２】
また、本実施形態では、ジェスチャ認識装置を搭載したテレビ２が家庭内に設置されており、「父」、「母」、「子供」の３者がユーザとして存在するものとする。本実施形態では、このように特定のユーザが使用するものとするがこれに限るものではない。本発明に係る電子機器は、不特定多数のユーザが使用してもよい。例えば、病院等では、不特定多数のユーザがいるが、直接機器に触れて操作することが好ましくない場合がある。そのため、病院等の環境下では、電子機器の操作手段としてジェスチャ認識装置を好適に利用することができる。
【００５３】
なお、ここでは、ユーザとは、電子機器を操作する人（電子機器の操作を試みる人）を意味する。
【００５４】
＜テレビおよびジェスチャ認識装置の構成＞
まず、テレビ２およびテレビ２に搭載されるジェスチャ認識装置１の具体的な構成および機能を説明する。図１は、テレビ２およびテレビ２に搭載されるジェスチャ認識装置１の要部構成の一例を示すブロック図である。まずは、テレビ２の構成について説明する。
【００５５】
〔テレビの構成〕
図１に示すように、テレビ２は、テレビ制御部５１、テレビ記憶部５２、テレビ通信部５３、操作部５４、表示部（通知手段）５５、音声出力部（通知手段）５６およびジェスチャ認識装置１を備えている。なお、テレビ２は、音声入力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
【００５６】
テレビ通信部５３は、無線通信手段または有線通信手段によって、他の装置と通信を行い、テレビ制御部５１の指示に従って、データのやりとりを行うものである。具体的には、テレビ通信部５３は、放送波を受信するアンテナであり、放送波を受信して映像データ、音声データおよび番組データ等を受信するものである。
【００５７】
操作部５４は、ユーザがテレビ２に操作信号を入力し、テレビ２を操作するためのものである。操作部５４は、操作ボタンなどの入力機器等で構成されているものであってもよい。また、操作部５４と表示部５５とが一体となっているタッチパネルであってもよい。また、操作部５４は、テレビ２と別体のリモートコントローラ等の遠隔制御装置であってもよい。なお、テレビ２はジェスチャ認識装置１を備えているため、テレビ２が操作部５４を備えていなくてもよい。
【００５８】
表示部５５は、テレビ制御部５１の指示に従って画像を表示するものである。表示部５５は、テレビ制御部５１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。
【００５９】
音声出力部５６は、テレビ制御部５１の指示に従って音声を出力するものであり、例えば、スピーカである。
【００６０】
テレビ制御部５１は、テレビ記憶部５２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、テレビ２が備える各部を統括的に制御するものである。
【００６１】
具体的には。テレビ制御部５１は、テレビ通信部５３を介して取得した映像データ、音声データおよび番組データ等に基づいて、表示部５５に映像や番組情報を表示させたり、音声出力部５６から音声を出力させたりするものである。また、テレビ制御部５１は、操作部５４またはジェスチャ認識装置１からの操作信号に基づいて、電源のＯＮ／ＯＦＦ、チャンネルの切替、音量の変更、番組表の表示等の所定の処理を実行する。また、テレビ制御部５１は、所定の処理を実行すると、実行した処理の処理内容と処理日時とを対応付けて、テレビ処理履歴情報６１としてテレビ記憶部５２に格納する。
【００６２】
また、テレビ制御部５１は、ジェスチャ認識装置１からの指示信号に基づいて、指示信号が示す情報を表示部５５に表示および／または音声出力部５６から音声を出力して、当該情報をユーザに通知する。また、テレビ制御部５１は、ＬＥＤ等の通知ランプ（不図示）を発光させて、上記指示信号が示す情報をユーザに通知してもよい。
【００６３】
詳細は後述するが、テレビ制御部５１は、ジェスチャ認識装置１から、ジェスチャ認識対象部位が撮像されていないことの通知の指示または操作対象者ではないことの通知の指示を受ける。テレビ制御部５１は、このような指示に基づいて、上述の内容をテキストとして表示部５５に表示してもよいし、音声として音声出力部５６から出力してもよい。また、テレビ制御部５１は、ジェスチャ認識対象部位が撮像されていないことを通知するために、カメラ３が撮像した画像を表示部５５の画面の全体または一部に表示してもよい。
【００６４】
テレビ記憶部５２は、テレビ制御部５１が参照するプログラムやデータ等を格納するものであり、例えば、上記のテレビ処理履歴情報６１等を格納している。
【００６５】
テレビ記憶部５２に格納されているテレビ処理履歴情報６１について図３に基づいて説明する。図３は、テレビ記憶部５２に格納されているテレビ処理履歴情報６１の一例を示す図である。図３に示すように、テレビ処理履歴情報６１は、テレビ制御部５１が実行した処理の処理内容と、テレビ制御部５１が処理を実行した処理日時とが対応付けられている情報である。
【００６６】
ジェスチャ認識装置１は、カメラ３が撮像した画像からユーザのジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための信号（情報）を電子機器に出力するものである。図１に示す例では、ジェスチャ認識装置１がテレビ２に搭載されているが、これに限るものではなく、テレビ２とジェスチャ認識装置１が別体であってもよい。ジェスチャ認識装置１の具体的な構成および機能は次に説明する。
【００６７】
〔ジェスチャ認識装置の構成〕
図１に示すように、ジェスチャ認識装置１は、ジェスチャ認識装置制御部１１、ジェスチャ認識装置記憶部１２およびジェスチャ認識装置通信部１３を備えている。
【００６８】
ジェスチャ認識装置通信部１３は、無線通信手段または有線通信手段によって、カメラ３等の他の装置と通信を行い、ジェスチャ認識装置制御部１１の指示に従って、データのやりとりを行うものである。具体的には、ジェスチャ認識装置通信部１３は、ジェスチャ認識装置制御部１１の指示に従って、カメラ３から、カメラ３が撮像した画像を取得する。
【００６９】
ジェスチャ認識装置制御部１１は、ジェスチャ認識装置記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ジェスチャ認識装置１が備える各部を統括的に制御するものである。
【００７０】
本実施形態では、ジェスチャ認識装置制御部１１は、機能ブロックとして、画像取得部２１、人物判定部（人判定手段）２２、人物特定部２３、ユーザ判定部（操作対象者判定手段、操作禁止者判定手段）２４、認識対象部位判定部（認識対象部位判定手段）２５、時期判定部（時期判定手段）２６、出力部（出力手段）２７、ジェスチャ認識実行部２８、情報設定部２９、出入判定部（出入判定手段）３０、位置関係特定部（部位特定手段、位置特定手段）３１および移動ベクトル算出部（移動ベクトル特定手段）３２を備える構成である。これらのジェスチャ認識装置制御部１１の各機能ブロック（２１〜３２）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。
【００７１】
画像取得部２１は、ジェスチャ認識装置通信部１３を介して、カメラ３から、カメラ３が撮像した画像を取得するものである。
【００７２】
人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定するものである。例えば、人物判定部２２は、画像に対して人体検出または顔検出等を実行し、その結果として全身または人体の一部である顔（頭）、手、足等の部位を検出した場合、人物が撮像されていると判定する。また、人物判定部２２は、画像に対して人体検出または顔検出等を実行し、その検出結果として全身または部位の検出信頼度を特定し、検出信頼度が所定値以上である場合に人物が撮像されていると判定する。
【００７３】
換言すると、人物判定部２２は、画像取得部２１が取得した画像に人の全身または人の部位が撮像されている場合、人物が撮像されていると判定する。なお、人物判定部２２は、１つの画像から１または複数の人を検出してもよい。また、人物判定部２２は、取得した画像に人物が撮像されているか否かを判定するものであればよく、その手法を限定するものではない。
【００７４】
例えば、人物判定部２２は、全身または人体の一部である顔（頭）、手、足等の部位を検出するために、特開２００５−１１５９３２号公報、特開２００８−１５８７９０号公報および特開２００８−１５６４１号公報に記載の技術や、学習型の人体検出技術等を用いてもよい。
【００７５】
人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定するものである。
【００７６】
具体的には、人物特定部２３は、人物特定情報４１として「父」、「母」、「子供」の３者をそれぞれ個別に特定する情報が含まれている場合、人物判定部２２が検出した全身画像、顔画像等に対して認証を行い、検出した人が何れに該当するかを特定してもよい。例えば、人物特定部２３は、人物判定部２２が検出した顔画像の特徴量を算出し、算出した特徴量と、「父」、「母」、「子供」の顔画像の特徴量とを比較して、最も近似している人物を人物判定部２２が検出した顔画像の人物として特定してもよい。
【００７７】
また、人物特定部２３は、人物判定部２２が検出した全身画像、顔画像、手画像等から、性別、年齢、人種等を特定し、その特定した結果に基づいて、人物判定部２２が検出した人が誰であるかを特定してもよい。また、人物判定部２２が検出した全身画像、顔画像、手画像等から装飾品等を検出し、人物が身に付けている装飾品に基づいて、人物判定部２２が検出した人が誰であるかを特定してもよい。
【００７８】
また、人物特定部２３は、人物判定部２２が全身または顔等の一部が写っている画像（例えば、半身画像または顔、手もしくは足の一部のみが写っている画像）を検出した場合、写っていない部分を補完した後に人物を特定する処理を行ってもよい。例えば、半身、半顔の画像の場合、ミラーリングした後に人物を特定する処理を行ってもよい。
【００７９】
なお、人物特定部２３は、人物判定部２２が検出した人を、個人として特定するだけではなく、性別、年齢、人種等の人物の属性を特定するものであってもよい。また、人物特定部２３は、個人や属性を特定すればよく、その手法を限定するものではない。人物特定部２３は、上記以外の公知の技術を用いて個人や属性を特定してもよい。
【００８０】
ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定するものである。また、ユーザ判定部２４は、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作禁止者か否かを判定するものである。
【００８１】
ここで、操作対象者とは、ジェスチャによりテレビ２の操作を実行可能な人物である。換言すると、操作対象者として設定されているユーザのみがジェスチャによりテレビ２の操作を実行することができる。また、操作禁止者とは、ジェスチャによるテレビ２の操作を禁止されている人物である。
【００８２】
認識対象部位判定部２５は、ユーザ判定部２４が操作対象者であると判定した後、ジェスチャ認識装置記憶部１２からジェスチャ情報４４を読み出し、当該操作対象者が撮像されている画像に、ジェスチャ情報４４の示すジェスチャの認識対象部位が含まれているか否かを判定する。
【００８３】
また、認識対象部位判定部２５は、取得した画像にジェスチャの認識対象部位が含まれているか否かを判定するものであればよく、その手法を限定するものではない。例えば、認識対象部位判定部２５は、特開２００４−３２６６９３号公報に記載の技術を用いて、撮像されている人体にモデルを当てはめ、そのモデルにおけるジェスチャ認識対象部位が存在するか否かを判定することにより、取得した画像にジェスチャの認識対象部位が含まれているか否かを判定してもよい。また、認識対象部位判定部２５は、特開２００７−５２６０９号公報に記載の技術または特許第４３７２０５１号の技術等を用いて、手などのジェスチャ認識対象部位を直接検出して、取得した画像にジェスチャの認識対象部位が含まれているか否かを判定してもよい。
【００８４】
時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出し、テレビ２もしくはジェスチャ認識装置１の処理状態が操作タイミング情報４３の示す処理条件に該当するか否か、または、画像に撮像されている部位が操作タイミング情報４３の示す撮像部位条件に該当するか否かに基づいて、ユーザがジェスチャによる操作を所望する操作タイミングか否かを判定する。
【００８５】
具体的には、時期判定部２６は、テレビ２またはジェスチャ認識装置１の現在または過去の処理に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングか否かを判定する。より詳細には、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出す。そして、時期判定部２６は、ジェスチャ認識装置記憶部１２からジェスチャ認識装置処理履歴情報４５を読み出し、テレビ制御部５１からテレビ２の現在の処理内容を示す情報、および、過去の処理内容を示すテレビ処理履歴情報６１を取得し、現時点が操作タイミング情報４３の示す処理条件に該当するか否かを判定する。
【００８６】
また、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示すジェスチャ認識対象部位付近の部位（対象付近部位）が画像に撮像されている場合、操作タイミングであると判定する。また、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示すジェスチャ時にジェスチャ認識対象部位と連動する部位（対象連動部位）が所定の動作を行っていることを画像から検出した場合、操作タイミングであると判定する。また、時期判定部２６は、ユーザ判定部２４が撮像されている人物を操作対象者でもなく、操作禁止者でもないと判定した場合に、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、画像からジェスチャを検出したとき、操作タイミングであると判定する。
【００８７】
なお、時期判定部２６は、画像に対象付近部位が画像に撮像されているかを判定することができる技術であれば任意の技術を用いてよい。例えば、認識対象部位判定部２５と同様の技術を用いて、対象付近部位が画像に撮像されているかを判定する。また、時期判定部２６は、対象連動部位が所定の動作を行っていることを画像から検出することができる技術であれば任意の技術を用いてよい。例えば、時期判定部２６は、エッジオペレータまたはＳＩＦＴ等を用いて対象連動部位のエッジ点を求め、求めたエッジ点が時間変化と共に所定の変化をする場合に、対象連動部位が所定の動作を行っていると判定してもよい。また、時期判定部２６は、対象連動部位が前腕または上腕であれば、特開２００４−２８０１４８号公報に記載の技術を用いて、対象連動部位が所定の動作を行っているか否かを判定してもよい。
【００８８】
出力部２７は、人物判定部２２、ユーザ判定部２４、認識対象部位判定部２５および時期判定部２６の判定結果に基づいて、所定の情報の通知を指示する指示信号または当該通知の消去を指示する指示信号をテレビ制御部５１に出力するものである。
【００８９】
具体的には、出力部２７は、人物判定部２２が人物が撮像されていると判定し、かつ、ユーザ判定部２４が操作対象者であると判定し、かつ、認識対象部位判定部２５がジェスチャ認識対象部位が撮像されていないと判定し、かつ、時期判定部２６が操作タイミングであると判定した場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示信号（対象部位画角外通知指示情報）をテレビ制御部５１に出力する。
【００９０】
また、出力部２７は、人物判定部２２が人物が撮像されていると判定し、かつ、ユーザ判定部２４が操作対象者ではなく、操作禁止者でもないと判定し、かつ、時期判定部２６が操作タイミングであると判定した場合、操作対象者ではないことの通知を指示する非操作対象者通知指示信号（非操作対象者通知指示情報）をテレビ制御部５１に出力する。
【００９１】
また、出力部２７は、人物判定部２２が人物が撮像されていると判定し、かつ、ユーザ判定部２４が操作対象者であると判定し、かつ、認識対象部位判定部２５がジェスチャ認識対象部位が撮像されていると判定した場合であって、テレビ２がジェスチャが撮像されていないことの通知または操作対象者ではないことの通知を行っている場合、当該通知の消去を指示する通知消去指示信号をテレビ制御部５１に出力する。
【００９２】
また、出力部２７は、ジェスチャ認識実行部２８が生成した操作信号をテレビ制御部５１に出力する。また、出力部２７は、ジェスチャ認識実行部２８が特定したエラー原因の通知を指示するジェスチャ認識エラー通知指示信号をテレビ制御部５１に出力する。特に、ジェスチャ認識対象部位を検出できなかったことがエラー原因である場合、出力部２７は、ジェスチャ認識対象部位が画角から出ていることの通知を指示する対象部位画角外通知指示信号をテレビ制御部５１に出力する。さらに、ジェスチャ認識対象部位を検出できなかったことがエラー原因であり、かつ、出入判定部３０がジェスチャ認識対象部位が画角に出入りしていると判定した場合、出力部２７は、ジェスチャ認識対象部位が画角に出入りしていることの通知を指示する対象部位出入通知指示信号（対象部位出入通知指示情報）をテレビ制御部５１に出力する。
【００９３】
また、出力部２７は、上記対象部位画角外通知指示信号または上記対象部位出入通知指示信号に代えて、移動ベクトル算出部３２が特定した方向に、ジェスチャ認識対象部位を移動ベクトル算出部３２が算出した距離分の移動を促す通知を指示するベクトル通知指示信号（ベクトル通知指示情報）をテレビ制御部５１に出力してもよい。また、出力部２７は、上記対象部位画角外通知指示信号または上記対象部位出入通知指示信号に代えて、移動ベクトル算出部３２が特定した方向に、ジェスチャ認識対象部位の移動を促す通知を指示する方向通知指示信号（方向通知指示情報）をテレビ制御部５１に出力してもよい。
【００９４】
また、出力部２７は、上記対象部位画角外通知指示信号または上記対象部位出入通知指示信号に代えて、位置関係特定部３１が特定した基準部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号をテレビ制御部５１に出力してもよい。出力部２７は、例えば、位置関係特定部３１が画像に撮像されているユーザの「顔」を基準部位とした場合、顔の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号を出力する。
【００９５】
ジェスチャ認識実行部２８は、人物判定部２２が人物が撮像されていると判定し、かつ、ユーザ判定部２４が操作対象者であると判定し、かつ、認識対象部位判定部２５がジェスチャ認識対象部位が撮像されていると判定した場合、ジェスチャ認識処理を実行する。具体的には、ジェスチャ認識実行部２８は、ジェスチャ認識処理を開始すると、画像取得部２１から時系列に並べられた複数の画像を取得すると共に、ジェスチャ認識装置記憶部１２からジェスチャ情報４４を読み出す。そして、ジェスチャ認識実行部２８は、取得した複数の画像からジェスチャ情報４４の示すジェスチャを検出する。
【００９６】
ジェスチャ認識実行部２８は、所定のジェスチャを検出すると、ジェスチャ情報４４において、検出したジェスチャに対応付けられている操作信号を生成する。一方、ジェスチャ認識実行部２８は、ジェスチャが検出できなかった場合、エラー原因を特定してもよい。
【００９７】
また、ジェスチャ認識実行部２８は、ジェスチャが検出できなかった場合、複数の画像に対する認識対象部位判定部２５の判定結果に基づいて、ジェスチャが検出できなかった原因（エラー原因）がジェスチャ認識対象部位を検出できなかったことであるか否かを判定してもよい。この場合、認識対象部位判定部２５は、ジェスチャ認識実行部２８がジェスチャ認識に用いた時系列に並べられた複数の画像に対して、各画像にジェスチャ認識対象部位が撮像されているか否かをそれぞれ判定する。
【００９８】
また、ジェスチャ認識実行部２８は、ジェスチャ認識対象部位を検出できなかったこと以外のその他の原因でジェスチャが検出できなかった場合、当該他のエラー原因を特定してもよい。
【００９９】
また、ジェスチャ認識実行部２８は、ジェスチャ認識処理を実行した日時と、生成した操作信号またはジェスチャ認識エラー信号と、操作対象者とを対応付けて、ジェスチャ認識装置処理履歴情報４５を生成し、ジェスチャ認識装置記憶部１２に格納する。
【０１００】
情報設定部２９は、人物特定情報４１、ユーザ情報４２、操作タイミング情報４３およびジェスチャ情報４４を設定するものである。具体的には、情報設定部２９は、ユーザからの指示に基づいて、すなわち、操作部５４に入力された操作信号をテレビ制御部５１から取得またはジェスチャ認識実行部２８から操作信号を取得し、取得した操作信号に基づいて各情報を生成または更新する。
【０１０１】
また、情報設定部２９は、ジェスチャ認識装置処理履歴情報４５として所定数の処理履歴がジェスチャ認識装置記憶部１２に格納されると、ジェスチャ認識装置処理履歴情報４５を参照して、ジェスチャによる操作を所定回数実行した人物を操作対象者として設定し、ユーザ情報４２を更新してもよい。
【０１０２】
また、情報設定部２９は、ジェスチャ認識装置処理履歴情報４５として新たな処理履歴がジェスチャ認識装置記憶部１２に格納されると、最新の処理履歴を参照して、直前にジェスチャによる操作した人物のみを操作対象者として所定期間に限って設定し、ユーザ情報４２を更新してもよい。
【０１０３】
また、情報設定部２９は、ジェスチャ認識装置処理履歴情報４５を参照して、所定期間内にジェスチャによる操作を実行した１または複数の人物を操作対象者として所定期間に限って設定し、ユーザ情報４２を更新してもよい。例えば、ユーザＸがジェスチャによる操作を実行すると、それから５分間を操作待ち受け時間とする。この操作待ち受け時間内にユーザＹがジェスチャによる操作を実行したとする。この場合、情報設定部２９は、ユーザＸおよびユーザＹを操作待ち受け時間終了後、所定の操作対象者有効期間（例えば、１５分間）操作対象者として設定する。
【０１０４】
なお、情報設定部２９は、操作対象者または操作禁止者を設定してから、所定期間経過した後、操作対象者または操作禁止者の設定を解除してもよい。つまり、情報設定部２９は、操作対象者または操作禁止者の設定が有効な期間を定めておき、設定有効期間内は、所定のユーザを操作対象者または操作禁止者として設定し、設定有効期間終了後、当該設定を解除してもよい。また、情報設定部２９は、ユーザからの指示に基づいて、すなわち、操作部５４に入力された操作信号をテレビ制御部５１から取得またはジェスチャ認識実行部２８から操作信号を取得し、取得した操作信号に基づいて操作対象者または操作禁止者の設定を解除してもよい。
【０１０５】
また、情報設定部２９は、テレビ制御部５１からテレビ処理履歴情報６１を取得すると共に、ジェスチャ認識装置記憶部１２からジェスチャ認識装置処理履歴情報４５を読み出し、テレビ処理履歴情報６１およびジェスチャ認識装置処理履歴情報４５に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングを学習し、操作タイミング情報４３を更新してもよい。
【０１０６】
出入判定部３０は、時系列に並べられた複数の画像に対して認識対象部位判定部２５が実行した判定結果に基づいて、ジェスチャ認識対象部位が画角に出入りしているか否かを判定するものである。この場合、認識対象部位判定部２５は、時系列に並べられた複数の画像に対して、各画像にジェスチャ認識対象部位が撮像されているか否かをそれぞれ判定する。
【０１０７】
位置関係特定部３１は、時期判定部２６が操作タイミングであると判定すると、画像に撮像されている任意の部位（基準部位）の位置（基準位置）を特定するものである。そして、位置関係特定部３１は、基準部位に対するジェスチャ認識対象部位の画角外における位置（対象部位位置）を特定する。
【０１０８】
ここで、基準部位は、画像に撮像されている部位であれば、どの部位でもよく、対象付近部位でもよいし、対象連動部位でもよいし、その他の部位でもよい。
【０１０９】
移動ベクトル算出部３２は、対象部位位置から基準位置に向かう方向を特定すると共に、対象部位位置から基準位置までの距離を算出するものである。なお、移動ベクトル算出部３２は、対象部位位置から基準位置に向かう方向のみを特定してもよい。
【０１１０】
ジェスチャ認識装置記憶部１２は、ジェスチャ認識装置制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記の人物特定情報４１、ユーザ情報４２、操作タイミング情報４３、ジェスチャ情報４４、ジェスチャ認識装置処理履歴情報４５等を格納している。
【０１１１】
ジェスチャ認識装置記憶部１２に格納されている人物特定情報４１、ユーザ情報４２、操作タイミング情報４３、ジェスチャ情報４４、ジェスチャ認識装置処理履歴情報４５についてそれぞれ図４〜図８に基づいて説明する。図４は、ジェスチャ認識装置記憶部１２に格納されている人物特定情報４１の一例を示す図である。図５は、ジェスチャ認識装置記憶部１２に格納されているユーザ情報４２の一例を示す図である。図６は、ジェスチャ認識装置記憶部１２に格納されている操作タイミング情報４３の一例を示す図である。図７は、ジェスチャ認識装置記憶部１２に格納されているジェスチャ情報４４の一例を示す図である。図８は、ジェスチャ認識装置記憶部１２に格納されているジェスチャ認識装置処理履歴情報４５の一例を示す図である。
【０１１２】
（人物特定情報）
図４に示すように、人物特定情報４１は、ユーザ名と、当該ユーザを個別に特定するための個別特定情報および当該ユーザの属性を示す個人属性情報とが対応付けられた情報である。図示の例では、個別特定情報として「特徴量」がある。「特徴量」は、例えば、ユーザの人体画像および／または顔画像から抽出されるものである。人物特定部２３は、この「特徴量」を参照して、人物判定部２２が検出した人体画像または顔画像から特徴量を抽出し、人物特定情報４１に含まれる何れの特徴量と一致または近似しているかを特定して、ユーザを個別に特定する。
【０１１３】
また、図示の例では、個人属性情報として、「性別」、「身長」、「年齢」、「人種」、「装飾品」がある。「性別」は、ユーザの性別を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から、唇の色、肌の色、眉毛の形状や色に基づく化粧の有無、ネイルの有無、髭の有無、爪の形状（長い場合は女性、深爪の場合は男性など）、服装、履物等に基づいてユーザの性別を特定する。人物特定部２３は、特定した性別から、何れのユーザに該当するかを判断する。例えば、図示の例では、女性と判断できれば、女性のユーザは「母」のみであるため、ユーザを「母」として特定することができる。
【０１１４】
また、「身長」は、ユーザの身長を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から写っている人の身長を特定し、特定した身長から何れのユーザに該当するかを判断する。
【０１１５】
また、「年齢」は、ユーザの年齢を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から写っている人の年齢を特定し、特定した年齢から何れのユーザに該当するかを判断する。
【０１１６】
また、「人種」は、ユーザの人種を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から、瞳の色、肌の色、髪の色等に基づいて、写っている人の人種を特定し、特定した人種から何れのユーザに該当するかを判断する。
【０１１７】
また、「装飾品」は、ユーザが身につけている装飾品を示すものである。人物特定部２３は、人物判定部２２が検出した人体画像または顔画像から、眼鏡、指輪、時計等の装飾品を検出し、検出した装飾品を身に付けている人物が何れのユーザに該当するかを判断する。
【０１１８】
なお、個人属性情報として「体型」や「髪型」等の情報が人物特定情報４１に含まれていてもよい。また、図示の例では、人物特定情報４１が６種の情報を含んでいるが、人物特定情報４１は、個別特定情報または個人属性情報の少なくとも１種類の情報を含んでいればよい。
【０１１９】
（ユーザ情報）
図５に示すように、ユーザ情報４２は、どのユーザが操作対象者または操作禁止者として設定されているかを示す情報である。図５に示す例では、「父」が操作対象者として設定されており、「子供」が操作禁止者として設定されている。図５に示す例では、操作対象者および操作禁止者は、ユーザ個人として設定されているがこれに限るものではない。例えば、「女性」を操作対象者として設定したり、「未成年」を操作禁止者として設定したり、ユーザの属性で操作対象者または操作禁止者を設定してもよい。
【０１２０】
なお、本実施形態では、操作対象者として設定されているユーザのみがジェスチャによる操作を実行できるがこれに限るものではない。例えば、誰でも自由にテレビをジェスチャによって操作可能な状態にしてもよい。この場合、例えば、操作対象者を「全てのユーザ」として設定してもよい。
【０１２１】
また、上述のように、操作対象者および操作禁止者は、予め、ユーザの指示またはデフォルトで設定されていてもよい。
【０１２２】
（操作タイミング情報）
図６に示すように、操作タイミング情報４３は、ユーザがジェスチャによる操作を所望する操作タイミングに該当するか否かを判断するための条件（操作タイミングであるとみなす条件）を示す情報である。図６に示すように、操作タイミング情報４３は、処理条件および撮像部位条件を含む。
【０１２３】
電子機器が所定の処理を行った後、電子機器が所定の処理を行っている期間中、電子機器が所定の処理を行ってから所定期間経過後、ジェスチャによる操作を行った後、ジェスチャによる操作を行ってから所定期間経過後等は、ユーザがジェスチャによる操作を所望する操作タイミングに該当する可能性が高いと考えられる。そこで、操作タイミングに該当するか否かを判断するための条件として、図６に示す処理条件を設定する。
【０１２４】
具体的には、図６に示す例では、時期判定部２６は、ジェスチャ認識装置記憶部１２からジェスチャ認識装置処理履歴情報４５を読み出して、現時点がジェスチャによる操作から５分以内であるか、または、ジェスチャによる操作から２０分経過後５分以内であるかをそれぞれ判断し、いずれかに該当する場合に操作タイミングであると判定する。また、時期判定部２６は、テレビ制御部５１からテレビ処理履歴情報６１を取得し、現時点がテレビの電源ＯＮの操作から５分以内であるか、または、音量の変更の操作から１分以内であるか、または、チャンネルの変更の操作から１時間経過後５分以内であるかをそれぞれ判断し、いずれかに該当する場合に操作タイミングであると判定する。また、時期判定部２６は、テレビ制御部５１からテレビ２の現在の処理内容を示す情報を取得し、現在テレビ２がＣＭを表示中であれば、操作タイミングであると判定する。
【０１２５】
また、操作対象者のジェスチャ認識対象部位が撮像されていない場合であっても、対象付近部位が撮像されていたり、対象連動部位がジェスチャ時に連動する所定の動作を行っていたりする場合は、ユーザがジェスチャによる操作を所望する操作タイミングに該当する可能性が高いと考えられる。そこで、操作タイミングに該当するか否かを判断するための条件として、図６に示す撮像部位条件を設定する。
【０１２６】
このように、本実施形態では、時期判定部２６は、操作タイミング情報４３に含まれる何れかの条件に該当すれば、操作タイミングであると判定するが、これに限るものではない。例えば、時期判定部２６は、操作タイミング情報４３に含まれる所定数以上の条件に該当すれば、操作タイミングであると判定してもよい。また、時期判定部２６は、各条件に信頼度を設定しておき、信頼度の合計値が所定値以上の場合に操作タイミングであると判定してもよい。また、操作タイミング情報４３に含まれる各条件をユーザごとに対応付けておいてもよい。これにより、各ユーザの使用態様に合わせて、時期判定部２６は操作タイミングを判定することができる。
【０１２７】
また、操作タイミング情報４３の各条件として、特定の時間帯や曜日等を更なる条件に加えてもよい。また、電子機器の特性や個人の使用態様により、周期的に電子機器が操作される場合、周期的な条件を操作タイミングとして設定してもよい。このように、操作タイミングは、操作タイミングは電子機器の特性（属性）、操作者の使用態様に応じて様々である。そのため、操作タイミングは、電子機器の特性（属性）、操作者の使用態様に応じて適宜設定したり、学習したりすることが望ましい。
【０１２８】
（ジェスチャ情報）
図７に示すように、ジェスチャ情報４４は、ジェスチャと操作信号とが対応付けられている情報である。例えば、ジェスチャ認識実行部２８は、取得した画像から操作対象者が「右手の人差指のみを立てている」ジェスチャを検出した場合、操作信号「Ｓ０１」を生成する。なお、操作信号「Ｓ０１」は、テレビ２の電源ＯＮ／ＯＦＦを制御する信号であり、操作信号「Ｓ０２」は、テレビ２のチャンネル変更を制御する信号であり、操作信号「Ｓ０３」は、テレビ２の音量変更を制御する信号であるとする。
【０１２９】
さらに、ジェスチャ情報４４は、ジェスチャに当該ジェスチャの認識対象部位と、当該認識対象部位付近の部位である対象付近部位と、当該ジェスチャ時に連動する連動対象部位およびその所定の動作とが対応付けられている。
【０１３０】
（ジェスチャ認識装置処理履歴情報）
図８に示すように、ジェスチャ認識装置処理履歴情報４５は、ジェスチャ認識実行部２８が生成した操作信号と、ジェスチャ認識実行部２８がジェスチャ認識処理を実行した処理日時と、ジェスチャ認識実行部２８が認識したジェスチャを行った操作対象者とが対応付けられている情報である。
【０１３１】
なお、図１に示す例では、テレビ２がジェスチャ認識装置１を搭載しているが、これに限るものではなく、テレビ２がジェスチャ認識装置１の機能を全て有していてもよい。具体的には、テレビ制御部５１がジェスチャ認識装置制御部１１の機能を有し、テレビ記憶部５２がジェスチャ認識装置記憶部１２が格納している情報を有し、テレビ通信部５３がジェスチャ認識装置通信部１３の機能を有していてもよい。
【０１３２】
＜ジェスチャ認識装置の処理（処理例１）＞
次に、ジェスチャ認識装置１が実行する処理について、図９〜図１６に基づいて説明する。図９は、ジェスチャ認識装置１が実行する処理の一例を示すフローチャートである。また、図１０、図１３、図１４、図１６は、カメラ３が撮像した画像を示す図である。ここでは、ユーザ情報４２として図５に示す情報がジェスチャ認識装置記憶部１２に格納されているものとする。つまり、操作対象者は「父」であり、操作禁止者は「子供」であり、「母」は、操作対象者でも操作禁止者でもない人物であるとする。
【０１３３】
〔カメラが撮像した画像にジェスチャを行っている「父」の右手が写っていない場合〕
まず、図１０に示すように、「父」が右手を左右に振るジェスチャを行っているが、カメラ３が撮像した画像から、ジェスチャ認識対象部位である右手が写っていない場合の処理について説明する。
【０１３４】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１０に示す画像に「父」の顔等が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１３５】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ３）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「父」として特定する。
【０１３６】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ４）。ここでは、「父」は操作対象者であるため、ユーザ判定部２４は、操作対象者であると判定する（Ｓ４でＹＥＳ）。
【０１３７】
ユーザ判定部２４が操作対象者であると判定した後、認識対象部位判定部２５は、当該操作対象者（ここでは、「父」）が撮像されている画像にジェスチャ認識対象部位が撮像されているか否かを判定する（Ｓ５）。ここでは、図１０に示すように、画像にはジェスチャ認識対象部位である右手が写っていないため、認識対象部位判定部２５はジェスチャ認識対象部位が撮像されていないと判定する。
【０１３８】
認識対象部位判定部２５はジェスチャ認識対象部位が撮像されていないと判定した場合（Ｓ５でＮＯ）、次に、時期判定部２６は、操作タイミング判定処理Ａを実行し（Ｓ６）、現時点がジェスチャの操作タイミングであるか否かを判定する（Ｓ７）。時期判定部２６が操作タイミングであると判定した場合（Ｓ７でＹＥＳ）、出力部２７は、ジェスチャ認識対象部位が撮像されていないことの通知を指示する人物画角外通知指示信号をテレビ制御部５１に出力する（Ｓ８）。一方、時期判定部２６が操作タイミングではないと判定した場合（Ｓ７でＮＯ）、出力部２７は何も出力せず、Ｓ１に戻る。
【０１３９】
（操作タイミング判定処理Ａ）
ここで、図９のＳ６における操作タイミング判定処理Ａについて、図１１に基づいて詳細に説明する。図１１は、操作タイミング判定処理Ａの一例を示すフローチャートである。
【０１４０】
図１１に示すように、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示す対象付近部位が画像に撮像されているか否かを判定する（Ｓ２１）。また、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示す対象連動部位が所定の動作を行っているか否かを判定する（Ｓ２２）。また、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出し、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が操作タイミング情報４３の示す処理条件の何れかに該当するか否かを判定する（Ｓ２３）。
【０１４１】
時期判定部２６は、Ｓ２１〜Ｓ２３において、何れも操作タイミングとみなす条件に該当すると判定した場合（Ｓ２１でＹＥＳ、かつＳ２２でＹＥＳ、かつＳ２３でＹＥＳ）、現時点がジェスチャの操作タイミングであると判定する（Ｓ２４）。一方、時期判定部２６は、Ｓ２１〜Ｓ２３において、何れかの操作タイミングとみなす条件に該当しないと判定した場合（Ｓ２１〜Ｓ２３の何れかでＮＯ）、現時点がジェスチャの操作タイミングではないと判定する（Ｓ２４）。
【０１４２】
なお、図１１に示す例では、Ｓ２１〜Ｓ２３の３つの判定処理を行って操作タイミングであるか否かを判定しているがこれに限るものではない。時期判定部２６は、Ｓ２１〜Ｓ２３の３つの判定処理の少なくとも１つの判定処理を行って操作タイミングであるか否かを判定してもよい。
【０１４３】
また、図１１に示す例では、Ｓ２１〜Ｓ２３の３つの判定処理を行って、全て該当すると判定した場合に、操作タイミングであると判定しているがこれに限るものではない。時期判定部２６は、例えば、Ｓ２１〜Ｓ２３のうちの少なくとも１つの判定処理で該当すると判定した場合に、操作タイミングであると判定してもよい。
【０１４４】
（移動ベクトル通知処理）
なお、Ｓ８において、出力部２７は、人物画角外通知指示信号を出力する代わりに、ジェスチャ認識対象部位が画角に入るために必要な移動方向および移動量を通知する移動ベクトル通知処理を行って、移動ベクトル通知指示信号を出力してもよい。ここで、Ｓ７でＹＥＳの場合に、Ｓ８に代えて実行する移動ベクトル通知処理を図１２に基づいて説明する。図１２は、移動ベクトル通知処理の一例を示すフローチャートである。
【０１４５】
図１２に示すように、位置関係特定部３１は、時期判定部２６が操作タイミングであると判定すると、画像に撮像されている任意の部位（基準部位）の位置（基準位置）を特定する（Ｓ８１）。そして、位置関係特定部３１は、基準部位に対するジェスチャ認識対象部位の画角外における位置（対象部位位置）を特定する（Ｓ８２）。
【０１４６】
次に、移動ベクトル算出部３２は、対象部位位置から基準位置に向かう方向（移動方向）を特定すると共に、対象部位位置から基準位置までの距離（移動距離）を算出する（Ｓ８３）。出力部２７は、移動ベクトル算出部３２が特定した方向に、ジェスチャ認識対象部位を移動ベクトル算出部３２が算出した距離量分の移動を促す通知を指示するベクトル通知指示信号をテレビ制御部５１に出力する（Ｓ８４）。
【０１４７】
移動ベクトル通知処理を行うことにより、例えば、ジェスチャ認識対象部位である右手が画角外の３０ｃｍ上方に外れている場合、出力部２７が上記ベクトル通知指示信号をテレビ制御部５１に出力して、テレビ２の表示部５５に、「下３０ｃｍで右手を振ってください」等を表示してもよい。
【０１４８】
また、出力部２７は、上記対象部位画角外通知指示信号に代えて、位置関係特定部３１が特定した基準部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号をテレビ制御部５１に出力してもよい。出力部２７は、例えば、位置関係特定部３１が画像に撮像されているユーザの「顔」を基準部位とした場合、顔の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号を出力してもよい。
【０１４９】
この場合、位置関係特定部３１は、時期判定部２６が操作タイミングであると判定すると、画像に撮像されている任意の部位（基準部位）を特定する。そして、出力部２７は、位置関係特定部３１が特定した基準部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号をテレビ制御部５１に出力する。
【０１５０】
これにより、ユーザがジェスチャによる操作を行ったときに、知らずにジェスチャ認識対象部位が画角から外れていた場合であっても、ユーザに対してどのようにすれば、ジェスチャが撮像されるかを通知することができる。
【０１５１】
〔カメラが撮像した画像にジェスチャを行っている「父」の右手が写っている場合〕
次に、図１３に示すように、「父」が右手を左右に振るジェスチャを行っており、カメラ３が撮像した画像に、ジェスチャ認識対象部位である右手が写っている場合の処理について説明する。
【０１５２】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１３に示す画像に「父」の顔等が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１５３】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ３）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「父」として特定する。
【０１５４】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ４）。ここでは、「父」は操作対象者であるため、ユーザ判定部２４は、操作対象者であると判定する（Ｓ４でＹＥＳ）。
【０１５５】
ユーザ判定部２４が操作対象者であると判定した後、認識対象部位判定部２５は、当該操作対象者（ここでは、「父」）が撮像されている画像にジェスチャ認識対象部位が撮像されているか否かを判定する（Ｓ５）。ここでは、図１３に示すように、画像にジェスチャ認識対象部位である右手が写っているため、認識対象部位判定部２５はジェスチャ認識対象部位が撮像されていると判定する（Ｓ５でＹＥＳ）。
【０１５６】
ここで、テレビ制御部５１が指示信号に基づいて通知処理を実行している場合（Ｓ９でＹＥＳ）、出力部２７は、当該通知の消去を指示する通知消去指示信号をテレビ制御部５１に出力する（Ｓ１０）。そして、ジェスチャ認識実行部２８が、ジェスチャ認識処理を実行する（Ｓ１１）。一方、テレビ制御部５１が通知処理を実行していない場合（Ｓ９でＮＯ）、出力部２７は何も出力せず、ジェスチャ認識実行部２８が、ジェスチャ認識処理を実行する（Ｓ１１）。
【０１５７】
〔カメラが撮像した画像に「母」が写っている場合〕
次に、図１４に示すように、カメラ３が撮像した画像に「母」が写っている場合の処理について説明する。
【０１５８】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１４に示す画像に「母」が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１５９】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ３）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「母」として特定する。
【０１６０】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ４）。ここでは、「母」は操作対象者ではないため、ユーザ判定部２４は、操作対象者ではないと判定する（Ｓ４でＮＯ）。続いて、ユーザ判定部２４は、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作禁止者か否かを判定する（Ｓ１２）。ここでも、「母」は操作禁止者ではないため、ユーザ判定部２４は、操作禁止者ではないと判定する（Ｓ１２でＮＯ）。
【０１６１】
次に、時期判定部２６は、操作タイミング判定処理Ｂを実行し（Ｓ１３）、現時点がジェスチャの操作タイミングであるか否かを判定する（Ｓ１４）。時期判定部２６が操作タイミングであると判定した場合（Ｓ１４でＹＥＳ）、出力部２７は、操作対象者ではないことの通知を指示する非操作対象者通知指示信号をテレビ制御部５１に出力する（Ｓ１５）。一方、時期判定部２６が操作タイミングではないと判定した場合（Ｓ１４でＮＯ）、出力部２７は何も出力せず、Ｓ１に戻る。
【０１６２】
（操作タイミング判定処理Ｂ）
次に、図９のＳ１３における操作タイミング判定処理Ｂについて、図１５に基づいて説明する。図１５は、操作タイミング判定処理Ｂの一例を示すフローチャートである。
【０１６３】
図１５に示すように、まず、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示すジェスチャの検出処理を画像に対して実行する（Ｓ３１）。
【０１６４】
ここでジェスチャを検出すると（Ｓ３１でＹＥＳ）、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出し、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が操作タイミング情報４３の示す処理条件の何れかに該当するか否かを判定する（Ｓ３５）。時期判定部２６は、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が処理条件の何れかに該当すると判定した場合（Ｓ３５でＹＥＳ）、現時点がジェスチャの操作タイミングであると判定する（Ｓ３６）。一方、時期判定部２６は、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が処理条件の何れにも該当しないと判定した場合（Ｓ３５でＮＯ）、現時点がジェスチャの操作タイミングではないと判定する（Ｓ３７）。
【０１６５】
また、Ｓ３１において、ジェスチャが検出できなかった場合（Ｓ３１でＮＯ）、続いて、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示すジェスチャ認識対象部位が撮像されているか否かを判定する（Ｓ３２）。
【０１６６】
時期判定部２６は、ジェスチャ認識対象部位が撮像されていると判定した場合（Ｓ３２でＹＥＳ）、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出し、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が操作タイミング情報４３の示す処理条件の何れかに該当するか否かを判定する（Ｓ３５）。時期判定部２６は、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が処理条件の何れかに該当すると判定した場合（Ｓ３５でＹＥＳ）、現時点がジェスチャの操作タイミングであると判定する（Ｓ３６）。一方、時期判定部２６は、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が処理条件の何れにも該当しないと判定した場合（Ｓ３５でＮＯ）、現時点がジェスチャの操作タイミングではないと判定する（Ｓ３７）。
【０１６７】
一方、時期判定部２６は、ジェスチャ認識対象部位が撮像されていないと判定した場合（Ｓ３２でＮＯ）、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示す対象付近部位が画像に撮像されているか否かを判定する（Ｓ３３）。また、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３およびジェスチャ情報４４を読み出し、ジェスチャ情報４４の示す対象連動部位が所定の動作を行っているか否かを判定する（Ｓ３４）。また、時期判定部２６は、ジェスチャ認識装置記憶部１２から操作タイミング情報４３を読み出し、テレビ２もしくはジェスチャ認識装置１の現在または過去の処理状態が操作タイミング情報４３の示す処理条件の何れかに該当するか否かを判定する（Ｓ３５）。
【０１６８】
時期判定部２６は、Ｓ３３〜Ｓ３５において、何れも操作タイミングとみなす条件に該当すると判定した場合（Ｓ３３でＹＥＳ、かつＳ３４でＹＥＳ、かつＳ３５でＹＥＳ）、現時点がジェスチャの操作タイミングであると判定する（Ｓ３６）。一方、時期判定部２６は、Ｓ３３〜Ｓ３５において、何れかの操作タイミングとみなす条件に該当しないと判定した場合（Ｓ３３〜Ｓ３５の何れかでＮＯ）、現時点がジェスチャの操作タイミングではないと判定する（Ｓ３７）。
【０１６９】
なお、図１１に示す例では、Ｓ３１でＹＥＳの場合、Ｓ３５の判定処理を行って操作タイミングであるか否かを判定しているがこれに限るものではない。時期判定部２６は、Ｓ３１でＹＥＳの場合、無条件で現時点が操作タイミングであると判定してもよい。
【０１７０】
また、図１１に示す例では、Ｓ３２でＹＥＳの場合、Ｓ３５の判定処理を行って操作タイミングであるか否かを判定しているがこれに限るものではない。時期判定部２６は、Ｓ３２でＹＥＳの場合、無条件で現時点が操作タイミングであると判定してもよい。
【０１７１】
また、図１１に示す例では、Ｓ３２でＮＯの場合、Ｓ３３〜Ｓ３５の３つの判定処理を行って操作タイミングであるか否かを判定しているがこれに限るものではない。時期判定部２６は、Ｓ３３〜Ｓ３５の３つの判定処理の少なくとも１つの判定処理を行って操作タイミングであるか否かを判定してもよい。また、図１１に示す例では、Ｓ３３〜Ｓ３５の３つの判定処理を行って、全て該当すると判定した場合に、操作タイミングであると判定しているがこれに限るものではない。時期判定部２６は、例えば、１または２の判定処理で該当すると判定した場合に、操作タイミングであると判定してもよい。
【０１７２】
〔カメラが撮像した画像に「子供」が写っている場合〕
次に、図１６に示すように、カメラ３が撮像した画像に「子供」が写っている場合の処理について説明する。
【０１７３】
図９に示すように、画像取得部２１がカメラ３からジェスチャ認識装置通信部１３を介して、カメラ３が撮像した画像を取得する（Ｓ１）。人物判定部２２は、画像取得部２１が取得した画像に人物が撮像されているか否かを判定する（Ｓ２）。ここでは図１６に示す画像に「子供」の顔等が写っているため、人物判定部２２は、画像から人物を検出し、人物が撮像されていると判定する。
【０１７４】
人物判定部２２が人物が撮像されていると判定した場合（Ｓ２でＹＥＳ）、人物特定部２３は、ジェスチャ認識装置記憶部１２から人物特定情報４１を読み出し、人物特定情報４１に基づいて、人物判定部２２が検出した人を特定する（Ｓ３）。ここでは、人物特定部２３は、人物判定部２２が検出した人物を「子供」として特定する。
【０１７５】
次に、ユーザ判定部２４は、ジェスチャ認識装置記憶部１２からユーザ情報４２を読み出し、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作対象者か否かを判定する（Ｓ４）。ここでは、「子供」は操作対象者ではないため、ユーザ判定部２４は、操作対象者ではないと判定する（Ｓ４でＮＯ）。続いて、ユーザ判定部２４は、ユーザ情報４２に基づいて、人物特定部２３が特定した人物が操作禁止者か否かを判定する（Ｓ１２）。ここでは、「子供」は操作禁止者であるため、ユーザ判定部２４は、操作禁止者であると判定する（Ｓ１２でＹＥＳ）。ユーザ判定部２４が操作禁止者であると判定した場合は、出力部２７は何も出力せず、Ｓ１に戻る。
【０１７６】
なお、図９に示す処理例では、操作対象者か否かを判定し、さらに、ジェスチャ認識対象部位が撮像されているか否かを判定した後に、ジェスチャ認識処理を実行しているが、これに限るものではない。例えば、画像取得部２１が取得した画像に対して、まず、ジェスチャ認識実行部２８がジェスチャ認識処理を実行し、ジェスチャ認識が正常にできなかった場合に、上記のＳ４、Ｓ６〜Ｓ８、Ｓ１２〜Ｓ１５の処理を行ってもよい。
【０１７７】
＜ジェスチャ認識装置の処理（処理例２）＞
次に、上述の最初にジェスチャ認識処理を実行し、ジェスチャ認識が正常にできなかった場合に、判定処理等を実行する処理について、図１７に基づいて説明する。図１７は、ジェスチャ認識装置１が実行する処理の他の一例を示すフローチャートである。
【０１７８】
図１７に示すように、ジェスチャ認識実行部２８は、ジェスチャ認識処理を開始すると（Ｓ４１）、画像取得部２１から時系列に並べられた複数の画像を取得する（Ｓ４２）。ジェスチャ認識実行部２８は、複数の画像取得した後、ジェスチャ認識装置記憶部１２からジェスチャ情報４４を読み出し、取得した複数の画像からジェスチャ情報４４の示すジェスチャを検出する（Ｓ４３）。
【０１７９】
ジェスチャ認識実行部２８は、所定のジェスチャを検出すると（Ｓ４４でＹＥＳ）、ジェスチャ情報４４において、検出したジェスチャに対応付けられている操作信号を生成する（Ｓ４５）。そして、出力部２７は、ジェスチャ認識実行部２８が生成した操作信号をテレビ制御部５１に出力する。
【０１８０】
一方、ジェスチャ認識実行部２８は、ジェスチャが検出できなかった場合（Ｓ４４でＮＯ）、複数の画像に対する認識対象部位判定部２５の判定結果に基づいて、ジェスチャが検出できなかった原因（エラー原因）がジェスチャ認識対象部位を検出できなかったことであるか否かを判定する（Ｓ４７）。
【０１８１】
ジェスチャ認識実行部２８がジェスチャ認識対象部位を検出できなかったことが原因であると判定した場合（Ｓ４７でＹＥＳ）、出入判定部３０は、複数の画像に対する認識対象部位判定部２５の判定結果に基づいて、ジェスチャ認識対象部位が画角に出入りしているか否かを判定する（Ｓ４８）。
【０１８２】
出入判定部３０がジェスチャ認識対象部位が画角に出入りしていると判定した場合（Ｓ４８でＹＥＳ）、出力部２７は、ジェスチャ認識対象部位が画角に出入りしていることの通知を指示する対象部位出入通知指示信号をテレビ制御部５１に出力する（Ｓ４９）。一方、出入判定部３０がジェスチャ認識対象部位が画角に出入りしていないと判定した場合（Ｓ４８でＮＯ）、出力部２７は、ジェスチャ認識対象部位が画角から出ていることの通知を指示する対象部位画角外通知指示信号をテレビ制御部５１に出力する（Ｓ５０）。
【０１８３】
Ｓ４７において、ジェスチャ認識実行部２８がジェスチャ認識対象部位を検出できなかったことが原因ではないと判定した場合、つまり、その他の原因でジェスチャが検出できなかった場合（Ｓ４７でＮＯ）、ジェスチャ認識対象部位はエラー原因を特定する。出力部２７は、ジェスチャ認識実行部２８が特定したエラー原因の通知を指示するジェスチャ認識エラー通知指示信号をテレビ制御部５１に出力する（Ｓ５１）。
【０１８４】
なお、Ｓ４８の処理の後に、時期判定部２６が操作タイミングであるか否かを判定し、時期判定部２６が操作タイミングであると判定した場合にのみ、出力部が各信号を出力するようにしてもよい。
【０１８５】
また、Ｓ４９およびＳ５０において、出力部２７は、対象部位出入通知指示信号または対象部位画角外通知指示信号と共に、または当該信号の代わりに、ベクトル通知指示信号を出力してもよい。
【０１８６】
＜変形例＞
変形例として、電子機器がセキュリティゲートである場合を説明する。このセキュリティゲートは、会員の女性のみが入室可能な部屋の入口に設置されているものとする。そして、ここでは、操作対象者として、女性の予め登録されたユーザであり、操作禁止者として男性が設定されているものとする。
【０１８７】
この場合、会員の女性がジェスチャを行ったが、カメラに写っていない場合、セキュリティゲートは、会員の女性に対してジェスチャが写っていないことを通知する。また、会員ではない女性がジェスチャを行った場合は、セキュリティゲートは、会員ではない女性に対して、操作対象者ではない、つまり、未会員であることを通知する。このとき、セキュリティゲートは、会員ではない女性に対して、会員になるために必要な情報を通知してもよい。また、男性がジェスチャを行った場合、セキュリティゲートは、何も通知しない。セキュリティゲート等においては、許可者（操作対象者）および許可者になり得る人物以外の人物（つまりこの場合は男性）に対して、ジェスチャによる操作にエラーが発生したことを通知することは、セキュリティの観点から望ましくない。
【０１８８】
なお、セキュリティとユーザの便益とのバランスによるが、性別判定処理において誤った判定処理を実行する頻度が少なく無い場合、セキュリティゲートは、男性と判断した場合であっても、何回かに１度は未会員であることを通知してもよい。
【０１８９】
＜補足＞
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１９０】
最後に、ジェスチャ認識装置１の各ブロック、特にジェスチャ認識装置制御部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１９１】
すなわち、ジェスチャ認識装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるジェスチャ認識装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記ジェスチャ認識装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１９２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１９３】
また、ジェスチャ認識装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１９４】
本発明は、カメラが撮像した画像からユーザのジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するジェスチャ認識装置に利用することができる。
【符号の説明】
【０１９５】
１ ジェスチャ認識装置
２ テレビ（電子機器）
３ カメラ
４ ユーザ
２２ 人物判定部（人判定手段）
２４ ユーザ判定部（操作対象者判定手段、操作禁止者判定手段）
２５ 認識対象部位判定部（認識対象部位判定手段）
２６ 時期判定部（時期判定手段）
２７ 出力部（出力手段）
３０ 出入判定部（出入判定手段）
３１ 位置関係特定部（部位特定手段、位置特定手段）
３２ 移動ベクトル算出部（移動ベクトル特定手段）
５５ 表示部（通知手段）
５６ 音声出力部（通知手段）
【特許請求の範囲】
【請求項１】
カメラが撮像した画像から人のジェスチャ認識対象部位の動きおよび／または形状であるジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置であって、
上記画像に上記ジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定手段と、
上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定した場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力手段とを備えることを特徴とするジェスチャ認識装置。
【請求項２】
上記画像に撮像されている人の部位に基づいて、当該人がジェスチャによる操作を所望する操作タイミングか否かを判定する時期判定手段をさらに備え、
上記出力手段は、上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定し、かつ、上記時期判定手段が操作タイミングであると判定した場合、上記対象部位画角外通知指示情報を出力することを特徴とする請求項１に記載のジェスチャ認識装置。
【請求項３】
上記時期判定手段は、上記画像にジェスチャ認識対象部位付近の対象付近部位が含まれている場合、操作タイミングであると判定することを特徴とする請求項２に記載のジェスチャ認識装置。
【請求項４】
上記時期判定手段は、ジェスチャ時にジェスチャ認識対象部位と連動する対象連動部位が所定の動作をしたことを上記画像から検出した場合、操作タイミングであると判定することを特徴とする請求項２に記載のジェスチャ認識装置。
【請求項５】
上記画像に撮像されている部位の人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段とをさらに備え、
上記出力手段は、上記操作対象者判定手段が上記画像に撮像されている部位の人が操作対象者であると判定した場合、上記対象部位画角外通知指示情報を出力することを特徴とする請求項１〜４の何れか１項に記載のジェスチャ認識装置。
【請求項６】
上記画像に撮像されている部位の人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段とをさらに備え、
上記出力手段は、上記操作対象者判定手段が上記画像に撮像されている部位の人が操作対象者ではないと判定した場合、上記対象部位画角外通知指示情報に代えて、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力することを特徴とする請求項１〜５の何れか１項に記載のジェスチャ認識装置。
【請求項７】
上記画像に撮像されている部位の人が、ジェスチャによる上記電子機器の操作を禁止されている操作禁止者であるか否かを判定する操作禁止者判定手段とをさらに備え、
上記出力手段は、上記操作禁止者判定手段が上記画像に撮像されている部位の人が操作禁止者であると判定した場合、上記非操作対象者通知指示情報を出力しないことを特徴とする請求項６に記載のジェスチャ認識装置。
【請求項８】
上記操作対象者判定手段は、予め、ジェスチャにより上記電子機器の操作を実行可能な者として設定されている人を操作対象者であると判定することを特徴とする請求項６に記載のジェスチャ認識装置。
【請求項９】
上記操作対象者判定手段は、ジェスチャにより上記電子機器の操作を所定回数実行した人を操作対象者であると判定することを特徴とする請求項６に記載のジェスチャ認識装置。
【請求項１０】
上記操作対象者判定手段は、所定期間内にジェスチャにより上記電子機器の操作を実行した人を操作対象者であると判定することを特徴とする請求項６に記載のジェスチャ認識装置。
【請求項１１】
上記画像に撮像されている部位を特定する部位特定手段と、
上記部位特定手段が特定した部位に対するジェスチャ認識対象部位の位置を特定する位置特定手段と、
上記位置特定手段が特定した位置に基づいて、上記ジェスチャ認識対象部位が画角に入るために必要な移動方向を特定する移動ベクトル特定手段とをさらに備え、
上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記移動ベクトル特定手段が特定した方向に上記ジェスチャ認識対象部位の移動を促す通知を指示する方向通知指示情報を出力することを特徴とする請求項１〜１０の何れか１項に記載のジェスチャ認識装置。
【請求項１２】
上記移動ベクトル特定手段は、上記位置特定手段が特定した位置に基づいて、上記移動方向を特定すると共に、上記ジェスチャ認識対象部位が画角に入るために必要な移動量を算出し、
上記出力手段は、上記方向通知指示情報に代えて、上記移動ベクトル特定手段が特定した方向に、上記ジェスチャ認識対象部位を上記移動ベクトル特定手段が特定した移動量分の移動を促す通知を指示するベクトル通知指示情報を出力することを特徴とする請求項１１に記載のジェスチャ認識装置。
【請求項１３】
上記画像に撮像されている部位を特定する部位特定手段をさらに備え、
上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記部位特定手段が特定した部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示情報を出力することを特徴とする請求項１〜１０の何れか１項に記載のジェスチャ認識装置。
【請求項１４】
上記認識対象部位判定手段は、時系列に並べられた複数の上記画像に対して上記判定を実行し、
上記認識対象部位判定手段の判定結果に基づいて、ジェスチャ認識対象部位が上記カメラの画角から出入りしているか否かを判定する出入判定手段をさらに備え、
上記出力手段は、上記出入判定手段が上記カメラの画角からジェスチャ認識対象部位が出入りしていると判定した場合、上記カメラの画角からジェスチャ認識対象部位が出入りしていることの通知を指示する対象部位出入通知指示情報を出力することを特徴とする請求項１〜１３の何れか１項に記載のジェスチャ認識装置。
【請求項１５】
請求項１〜１４の何れか１項に記載のジェスチャ認識装置と、
上記出力手段が出力する情報に従って、人に通知する通知手段とを備えたことを特徴とする電子機器。
【請求項１６】
カメラが撮像した画像から人のジェスチャ認識対象部位の動きおよび／または形状であるジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置の制御方法であって、
上記画像に上記ジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定ステップと、
上記認識対象部位判定ステップにおいて上記画像にジェスチャ認識対象部位が含まれていないと判定された場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力ステップとを含むことを特徴とするジェスチャ認識装置の制御方法。
【請求項１７】
請求項１〜１４の何れか１項に記載のジェスチャ認識装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１８】
請求項１７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
カメラが撮像した画像から人のジェスチャ認識対象部位の動きおよび／または形状であるジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置であって、
上記画像に上記ジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定手段と、
上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定した場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力手段とを備えることを特徴とするジェスチャ認識装置。
【請求項２】
上記画像に撮像されている人の部位に基づいて、当該人がジェスチャによる操作を所望する操作タイミングか否かを判定する時期判定手段をさらに備え、
上記出力手段は、上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定し、かつ、上記時期判定手段が操作タイミングであると判定した場合、上記対象部位画角外通知指示情報を出力することを特徴とする請求項１に記載のジェスチャ認識装置。
【請求項３】
上記時期判定手段は、上記画像にジェスチャ認識対象部位付近の対象付近部位が含まれている場合、操作タイミングであると判定することを特徴とする請求項２に記載のジェスチャ認識装置。
【請求項４】
上記時期判定手段は、ジェスチャ時にジェスチャ認識対象部位と連動する対象連動部位が所定の動作をしたことを上記画像から検出した場合、操作タイミングであると判定することを特徴とする請求項２に記載のジェスチャ認識装置。
【請求項５】
上記画像に撮像されている部位の人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段とをさらに備え、
上記出力手段は、上記操作対象者判定手段が上記画像に撮像されている部位の人が操作対象者であると判定した場合、上記対象部位画角外通知指示情報を出力することを特徴とする請求項１〜４の何れか１項に記載のジェスチャ認識装置。
【請求項６】
上記画像に撮像されている部位の人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段とをさらに備え、
上記出力手段は、上記操作対象者判定手段が上記画像に撮像されている部位の人が操作対象者ではないと判定した場合、上記対象部位画角外通知指示情報に代えて、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力することを特徴とする請求項１〜５の何れか１項に記載のジェスチャ認識装置。
【請求項７】
上記画像に撮像されている部位の人が、ジェスチャによる上記電子機器の操作を禁止されている操作禁止者であるか否かを判定する操作禁止者判定手段とをさらに備え、
上記出力手段は、上記操作禁止者判定手段が上記画像に撮像されている部位の人が操作禁止者であると判定した場合、上記非操作対象者通知指示情報を出力しないことを特徴とする請求項６に記載のジェスチャ認識装置。
【請求項８】
上記操作対象者判定手段は、予め、ジェスチャにより上記電子機器の操作を実行可能な者として設定されている人を操作対象者であると判定することを特徴とする請求項６に記載のジェスチャ認識装置。
【請求項９】
上記操作対象者判定手段は、ジェスチャにより上記電子機器の操作を所定回数実行した人を操作対象者であると判定することを特徴とする請求項６に記載のジェスチャ認識装置。
【請求項１０】
上記操作対象者判定手段は、所定期間内にジェスチャにより上記電子機器の操作を実行した人を操作対象者であると判定することを特徴とする請求項６に記載のジェスチャ認識装置。
【請求項１１】
上記画像に撮像されている部位を特定する部位特定手段と、
上記部位特定手段が特定した部位に対するジェスチャ認識対象部位の位置を特定する位置特定手段と、
上記位置特定手段が特定した位置に基づいて、上記ジェスチャ認識対象部位が画角に入るために必要な移動方向を特定する移動ベクトル特定手段とをさらに備え、
上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記移動ベクトル特定手段が特定した方向に上記ジェスチャ認識対象部位の移動を促す通知を指示する方向通知指示情報を出力することを特徴とする請求項１〜１０の何れか１項に記載のジェスチャ認識装置。
【請求項１２】
上記移動ベクトル特定手段は、上記位置特定手段が特定した位置に基づいて、上記移動方向を特定すると共に、上記ジェスチャ認識対象部位が画角に入るために必要な移動量を算出し、
上記出力手段は、上記方向通知指示情報に代えて、上記移動ベクトル特定手段が特定した方向に、上記ジェスチャ認識対象部位を上記移動ベクトル特定手段が特定した移動量分の移動を促す通知を指示するベクトル通知指示情報を出力することを特徴とする請求項１１に記載のジェスチャ認識装置。
【請求項１３】
上記画像に撮像されている部位を特定する部位特定手段をさらに備え、
上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記部位特定手段が特定した部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示情報を出力することを特徴とする請求項１〜１０の何れか１項に記載のジェスチャ認識装置。
【請求項１４】
上記認識対象部位判定手段は、時系列に並べられた複数の上記画像に対して上記判定を実行し、
上記認識対象部位判定手段の判定結果に基づいて、ジェスチャ認識対象部位が上記カメラの画角から出入りしているか否かを判定する出入判定手段をさらに備え、
上記出力手段は、上記出入判定手段が上記カメラの画角からジェスチャ認識対象部位が出入りしていると判定した場合、上記カメラの画角からジェスチャ認識対象部位が出入りしていることの通知を指示する対象部位出入通知指示情報を出力することを特徴とする請求項１〜１３の何れか１項に記載のジェスチャ認識装置。
【請求項１５】
請求項１〜１４の何れか１項に記載のジェスチャ認識装置と、
上記出力手段が出力する情報に従って、人に通知する通知手段とを備えたことを特徴とする電子機器。
【請求項１６】
カメラが撮像した画像から人のジェスチャ認識対象部位の動きおよび／または形状であるジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置の制御方法であって、
上記画像に上記ジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定ステップと、
上記認識対象部位判定ステップにおいて上記画像にジェスチャ認識対象部位が含まれていないと判定された場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力ステップとを含むことを特徴とするジェスチャ認識装置の制御方法。
【請求項１７】
請求項１〜１４の何れか１項に記載のジェスチャ認識装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１８】
請求項１７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−６５１１２（Ｐ２０１３−６５１１２Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２４３４（Ｐ２０１１−２０２４３４）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]