説明

情報処理装置、情報処理方法、プログラム、及び電子機器

【課題】肌としての物体の位置や動きなどを精度良く認識する。
【解決手段】LEDユニットは、第1の波長の光を照射する第1のLEDと、第1の波長とは異なる第2の波長の光を照射する第2のLEDとを有し、PDは、第1の波長の光が照射されている物体からの反射光を受光したことに応じて、第1の検出用信号を生成し、第2の波長の光が照射されている物体からの反射光を受光したことに応じて、第2の検出用信号を生成する。また、処理部は、第1及び第2の検出用信号に基づいて、物体が肌であるか否かを検出し、第1又は第2の検出用信号の少なくとも一方に基づいて、肌として検出された物体の位置又は動きの少なくとも一方を認識するための認識情報を生成する。本開示は、例えば肌としての物体のジェスチャ等を認識するための電子機器などに適用できる。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、特に、例えば、情報処理装置、情報処理方法、プログラム、及び電子機器に関し、肌と肌以外の物体を区別して、肌としての物体の位置や動きなどを認識できるようにした情報処理装置、情報処理方法、プログラム、及び電子機器に関する。
【背景技術】
【0002】
例えば、近接した物体が肌であるときに、オン状態又はオフ状態の一方に切り替えられる肌近接スイッチが存在する(例えば特許文献1参照)。
【0003】
この肌近接スイッチでは、物体の近接を検知し、検知した物体が肌(例えば人間の指先等)であるか否かを判別する。そして、肌近接スイッチは、検知した物体が肌であると判別したことに対応して、オン状態又はオフ状態の一方に切り替えられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】WO2010/117006号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述の肌近接スイッチでは、例えば、近接した物体が肌であるか否かを判別することはできるものの、肌として判別した物体の動きなどを検知することは困難である。
【0006】
本開示は、このような状況に鑑みてなされたものであり、肌と肌以外の物体とを区別して、肌としての物体の位置や動きなどを認識できるようにするものである。
【課題を解決するための手段】
【0007】
本開示の第1の側面の情報処理装置は、第1の波長の光を照射する第1の照射部と、前記第1の波長とは異なる第2の波長の光を照射する第2の照射部とを有する照射ユニットと、前記第1の波長の光が照射されている物体からの反射光を受光したことに応じて、第1の検出用信号を生成し、前記第2の波長の光が照射されている前記物体からの反射光を受光したことに応じて、第2の検出用信号を生成する受光部と、前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する肌検出部と、前記第1又は第2の検出用信号の少なくとも一方に基づいて、肌として検出された前記物体の位置又は動きの少なくとも一方を認識するための認識情報を生成する生成部とを含む情報処理装置である。
【0008】
前記受光部と同様に構成された他の受光部をさらに設けることができ、前記生成部には、複数の前記受光部毎に生成された前記第1又は第2の検出用信号の少なくとも一方に基づいて、前記認識情報を生成させることができる。
【0009】
前記第1の照射部は、複数の前記受光部のそれぞれから同一の距離に配置されており、前記生成部には、前記複数の受光部毎に生成された前記第1の検出用信号に基づいて、前記認識情報を生成させることができる。
【0010】
前記受光部は、前記第1の照射部と前記第2の照射部から、それぞれ同一の距離に配置されており、前記肌検出部には、前記受光部により生成された前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出させることができる。
【0011】
前記照射ユニットと同様に構成された他の照射ユニットをさらに設けることができ、前記受光部には、異なるタイミングで前記第1の波長の光を照射する前記照射ユニット毎に、前記第1の検出用信号を生成させ、異なるタイミングで前記第2の波長の光を照射する前記照射ユニット毎に、前記第2の検出用信号を生成させ、前記生成部には、前記照射ユニット毎に生成された前記第1又は第2の検出用信号の少なくとも一方に基づいて、前記認識情報を生成させることができる。
【0012】
前記生成部には、第1の方向における前記第1の照射部どうしの間隔が、前記第2の照射部どうしの間隔よりも長い場合、前記受光部により、前記複数の照射ユニット毎に生成された前記第1の検出用信号に基づいて、前記第1の方向に垂直な第2の方向における前記物体の位置又は動きの少なくとも一方を認識するための前記認識情報を生成させることができる。
【0013】
前記照射ユニットと前記受光部とを有する複数のセンサであって、前記センサ毎に異なる照射範囲を照射する前記照射ユニットを有する前記センサをさらに設けることができ、前記肌検出部には、前記複数のセンサ毎に生成される前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出させ、前記生成部には、前記複数のセンサ毎に生成される前記第1又は第2の検出用信号の少なくとも一方に基づいて、前記認識情報を生成させることができる。
【0014】
前記第1の検出用信号に基づいて、前記物体が予め決められた検知範囲内に侵入したか否かを検出する近接検出部をさらに設けることができ、前記肌検出部には、前記物体が前記検知範囲内に侵入したと検出されたことに対応して、前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出させることができる。
【0015】
前記物体が肌であることが検出されたことに対応して、前記第1の検出用信号に基づき、前記物体が予め決められた検知範囲内に存在するか否かを検出する物体検出部をさらに設けることができ、前記情報処理装置では、前記物体が前記検知範囲内に存在すると検出された場合、前記物体が肌であるものとして取り扱うようにすることができる。
【0016】
前記物体の位置に応じた大きさの出力信号を生成する信号生成部をさらに設けることができ、前記生成部には、前記出力信号にも基づいて、前記認識情報を生成させることができる。
【0017】
前記第1の波長λ1、及び前記第1の波長λ1よりも長波長である前記第2の波長λ2は、
640nm ≦ λ1 ≦ 1000nm
900nm ≦ λ2 ≦ 1100nm
を満たすようにすることができる。
【0018】
前記第1の照射部には、前記第1の波長λ1の不可視光を照射させ、前記第2の照射部には、前記第2の波長λ2の不可視光を照射させることができる。
【0019】
前記受光部には、前記受光部に入射される可視光を遮断する可視光カットフィルタが設けられているようにすることができる。
【0020】
本開示の第1の側面の情報処理方法は、第1の波長の光を照射する第1の照射部と、前記第1の波長とは異なる第2の波長の光を照射する第2の照射部とを有する照射ユニットと、前記第1の波長の光が照射されている物体からの反射光を受光したことに応じて、第1の検出用信号を生成し、前記第2の波長の光が照射されている前記物体からの反射光を受光したことに応じて、第2の検出用信号を生成する受光部とを含む情報処理装置の情報処理方法であって、前記情報処理装置による、前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する肌検出ステップと、前記第1又は第2の検出用信号の少なくとも一方に基づいて、肌として検出された前記物体の位置又は動きの少なくとも一方を認識するための認識情報を生成する生成ステップとを含む情報処理方法である。
【0021】
本開示の第1の側面のプログラムは、第1の波長の光を照射する第1の照射部と、前記第1の波長とは異なる第2の波長の光を照射する第2の照射部とを有する照射ユニットと、前記第1の波長の光が照射されている物体からの反射光を受光したことに応じて、第1の検出用信号を生成し、前記第2の波長の光が照射されている前記物体からの反射光を受光したことに応じて、第2の検出用信号を生成する受光部とを含む情報処理装置のコンピュータを、前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する肌検出部と、前記第1又は第2の検出用信号の少なくとも一方に基づいて、肌として検出された前記物体の位置又は動きの少なくとも一方を認識するための認識情報を生成する生成部として機能させるためのプログラムである。
【0022】
本開示の第1の側面によれば、前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かが検出され、前記第1又は第2の検出用信号の少なくとも一方に基づいて、肌として検出された前記物体の位置又は動きの少なくとも一方を認識するための認識情報が生成される。
【0023】
本開示の第2の側面の電子機器は、第1の波長の光を照射する第1の照射部と、前記第1の波長とは異なる第2の波長の光を照射する第2の照射部とを有する照射ユニットと、前記第1の波長の光が照射されている物体からの反射光を受光したことに応じて、第1の検出用信号を生成し、前記第2の波長の光が照射されている前記物体からの反射光を受光したことに応じて、第2の検出用信号を生成する受光部と、前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する肌検出部と、前記第1又は第2の検出用信号の少なくとも一方に基づいて、肌として検出された前記物体の位置又は動きの少なくとも一方を認識するための認識情報を生成する生成部と、前記認識情報に基づく認識結果に応じて、対応する処理を行う処理部とを含む電子機器である。
【0024】
本開示の第2の側面によれば、前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かが検出され、前記第1又は第2の検出用信号の少なくとも一方に基づいて、肌として検出された前記物体の位置又は動きの少なくとも一方を認識するための認識情報が生成され、前記認識情報に基づく認識結果に応じて、対応する処理が行われる。
【発明の効果】
【0025】
本開示によれば、肌としての物体の位置や動きなどを精度良く認識することが可能となる。
【図面の簡単な説明】
【0026】
【図1】第1の実施の形態であるデジタルフォトフレームの構成例を示す図である。
【図2】物体の位置や動きを認識する認識方法を説明するための第1の図である。
【図3】物体の位置や動きを認識する認識方法を説明するための第2の図である。
【図4】図1において下側からデジタルフォトフレームを見たときの様子の第1の例を示す図である。
【図5】物体が、図4に示したような動きをした場合に、センサから出力される出力結果の一例を示す図である。
【図6】物体が、図4に示したような動きをした場合、センサの出力結果から得られる肌検出信号の第1の例を示す図である。
【図7】図1において下側からデジタルフォトフレームを見たときの様子の第2の例を示す図である。
【図8】物体が、図7に示したような動きをした場合に、センサから出力される出力結果の一例を示す図である。
【図9】物体が、図7に示したような動きをした場合、センサの出力結果から得られる肌検出信号の第2の例を示す図である。
【図10】図1のデジタルフォトフレームの詳細な構成例を示すブロック図である。
【図11】図10の制御部の詳細な構成例を示すブロック図である。
【図12】人間の肌に対する分光反射特性を示す図である。
【図13】各センサにおける照射タイミングの一例を示す図である。
【図14】トライアングル状に配置された3個のセンサを有するデジタルフォトフレームの構成例を示す図である。
【図15】L字状に配置された3個のセンサを有するデジタルフォトフレームの構成例を示す図である。
【図16】図1のデジタルフォトフレームが行う第1のジェスチャ認識処理を説明するためのフローチャートである。
【図17】注目センサが行うVλ1取得処理の詳細を説明するためのフローチャートである。
【図18】注目センサが行うVλoff取得処理の詳細を説明するためのフローチャートである。
【図19】注目センサの処理部が行う肌判別処理の詳細を説明するためのフローチャートである。
【図20】図1のデジタルフォトフレームが行う第2のジェスチャ認識処理を説明するためのフローチャートである。
【図21】図1のデジタルフォトフレームが行う近接物体検出処理を説明するためのフローチャートである。
【図22】第2の実施の形態であるデジタルフォトフレームの構成例を示す図である。
【図23】図22において下側からデジタルフォトフレームを見たときの様子の一例を示す図である。
【図24】物体が、図23に示したような動きをした場合に、PDから出力される出力結果の一例を示す図である。
【図25】図22のデジタルフォトフレームの詳細な構成例を示すブロック図である。
【図26】図25の制御部の詳細な構成例を示すブロック図である。
【図27】図22のデジタルフォトフレームが行う第3のジェスチャ認識処理を説明するためのフローチャートである。
【図28】2個のPDを結ぶ線分の中心を通る、表示画面と垂直な法線上に存在するLEDユニットの一例を示す第1の図である。
【図29】2個のPDを結ぶ線分の中心を通る、表示画面と垂直な法線上に存在するLEDユニットの一例を示す第2の図である。
【図30】デジタルフォトフレームにおいて、3個のPDを設けるようにした場合の一例を示す図である。
【図31】デジタルフォトフレームにおいて、4個のPDを設けるようにした場合の一例を示す図である。
【図32】デジタルフォトフレームにおいて、3個のPDと、2個のLEDユニットを設けるようにした場合の一例を示す図である。
【図33】第3の実施の形態であるデジタルフォトフレームの構成例を示す図である。
【図34】PDと2個のLEDユニットの位置関係の一例を示す第1の図である。
【図35】PDと2個のLEDユニットの位置関係の一例を示す第2の図である。
【図36】図35において、図中、左から右方向に物体が動いたときのPDの出力結果の一例を示す図である。
【図37】図33のデジタルフォトフレームの詳細な構成例を示すブロック図である。
【図38】図37の制御部の詳細な構成例を示すブロック図である。
【図39】図33のデジタルフォトフレームが行う第4のジェスチャ認識処理を説明するためのフローチャートである。
【図40】図11の各センサが行う処理の概要の一例を示す第1の図である。
【図41】図11の各センサが行う処理の概要の一例を示す第2の図である。
【図42】PDの内部状態が遷移する様子の一例を示す図である。
【図43】図26の制御部が行う処理の概要の一例を示す図である。
【図44】図38の制御部が行う処理の概要の一例を示す図である。
【図45】図1に示される2個のセンサ間の距離について説明するための第1の図である。
【図46】図1に示される2個のセンサ間の距離について説明するための第2の図である。
【図47】図22において、図中下側からデジタルフォトフレームを見た様子の一例を示す図である。
【図48】図33において、図中下側からデジタルフォトフレームを見た様子の一例を示す図である。
【図49】LEDの出力の調整について説明するための第1の図である。
【図50】LEDの出力の調整について説明するための第2の図である。
【図51】肌としての物体の位置を演算する演算方法を説明するための第1の図である。
【図52】肌としての物体の位置を演算する演算方法を説明するための第2の図である。
【図53】肌としての物体の位置を演算する演算方法を説明するための第3の図である。
【図54】ユーザがクリック動作を行う様子の一例を示す図である。
【図55】Lsumの変化に応じてクリック動作を認識する方法の一例を説明するための図である。
【図56】ユーザの認識と、実際の手の動きとが異なることを説明するための図である。
【図57】クリック動作を認識する方法の一例を説明するための他の図である。
【発明を実施するための形態】
【0027】
以下、本開示における実施の形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(PD及びLEDユニットを含む複数のセンサを有する場合の一例)
2.第2の実施の形態(1個のLEDユニットと複数のPDを有する場合の一例)
3.第3の実施の形態(複数のLEDユニットと1個のPDを有する場合の一例)
4.変形例
5.その他
【0028】
<1.第1の実施の形態>
[デジタルフォトフレーム1の構成例]
図1は、第1の実施の形態であるデジタルフォトフレーム1の構成例を示している。
【0029】
このデジタルフォトフレーム1は、静止画(例えば、写真として撮像された画像)や動画を表示させる表示画面1aを有している。
【0030】
また、デジタルフォトフレーム1において、図1に示されるように、表示画面1aの左右方向(以下、X方向ともいう)には、ユーザの手等の位置や動き(ジェスチャ)を認識するためのセンサ211及び212が、それぞれ設けられている。
【0031】
なお、本開示では、ユーザの手等を、位置や動きを認識する認識対象として説明するが、認識対象としては、ユーザの手等に限定されず、人間の肌部分であれば何でも良い。
【0032】
デジタルフォトフレーム1は、センサ211及び212を用いて、ユーザの手等の位置や動きを認識し、その認識結果に基づいて、例えば表示画面1aに表示させる静止画や動画の内容を変更させる。
【0033】
なお、センサ211及び212は、デジタルフォトフレーム1に近接した物体が、人間の肌であるか否かを判別し、人間の肌であると判別した物体のみを対象として、位置又は動き等の少なくとも一方を認識するために用いられる。
【0034】
また、以下において、センサ211及びセンサ212を区別する必要がない場合、センサ211又は212を、それぞれ、単にセンサ21という。
【0035】
次に、図2及び図3を参照して、デジタルフォトフレーム1が、センサ21からの出力結果に基づいて、Z方向における物体41の位置や動きを認識する認識方法の一例を説明する。なお、Z方向とは、図1において、表示画面1aの法線方向をいう。
【0036】
図2は、センサ21に物体41が近づくように移動している場合、センサ21から出力される出力結果の一例を示している。
【0037】
図2Aに示されるように、物体41が、センサ21に近づくように移動する場合、センサ21に物体41が近づくにつれて、センサ21からの出力Vが指数関数的に大きくなる。
【0038】
なお、図2Aにおいて、物体41を囲む扇状の図形は、センサ21の検知範囲を示している。また、図2Bにおいて、横軸は時刻tを表しており、縦軸はセンサ21からの出力結果Vを示している。これらのことは、後述する図3A及び図3Bについても同様である。
【0039】
図3は、センサ21から物体41が離れるように移動している場合、センサ21から出力される出力結果の一例を示している。
【0040】
図3Aに示されるように、物体41が、センサ21から離れるように移動する場合、センサ21から物体41が離れるにつれて、センサ21からの出力Vが指数関数的に小さくなる。
【0041】
デジタルフォトフレーム1では、図2及び図3に示したようなセンサ21からの出力結果に基づいて、Z方向における物体41の位置や動きを認識し、その認識結果に応じて、表示画面1aの表示内容を変更する。
【0042】
次に、図4乃至図9を参照して、デジタルフォトフレーム1が、センサ21からの出力結果に基づいて、X方向における物体41の位置や動きを認識する認識方法の一例を説明する。
【0043】
図4は、図1において図中下側からデジタルフォトフレーム1を見たときの様子の一例を示している。
【0044】
例えば、物体41が、図4において、図中左から右方向に移動した場合、つまり、物体41が、センサ211及びセンサ212の順序で、センサ21上を移動した場合、センサ211及び212からの出力結果に基づいて、物体41の動きが認識される。
【0045】
次に、図5は、物体41が、図4に示したような動きをした場合に、センサ211及びセンサ212から、それぞれ出力される出力結果の一例を示している。
【0046】
図5Aには、センサ211からの出力結果が示されている。また、図5Bには、センサ212からの出力結果が示されている。なお、図5A及び図5Bにおいて、横軸は時刻tを表しており、縦軸はセンサ21からの出力結果Vを示している。また、物体41がセンサ21の検知範囲内に存在しない場合、センサ21からは、比較的低い一定値が出力される。
【0047】
なお、物体41は、図4に示したように、センサ211の左側から近づき、センサ211の真上付近を通過して、センサ211から離れるように、センサ211の右側に存在するセンサ212に向かって移動する。
【0048】
この場合、センサ211では、図5Aに示されるように、物体41が近づくにつれ、センサ211からの出力結果が増加し、物体41がセンサ211の真上付近を通過する際に、出力結果が最大(極大)となる。そして、物体41がセンサ211を通過して離れるように移動することで、センサ211からの出力結果が減少していく。
【0049】
物体41は、図4に示したように、センサ211の真上あたりを通過後、センサ212の左側から近づき、センサ212の真上付近を通過して、センサ212から離れるように、センサ212の右側の方向に移動する。
【0050】
この場合、センサ212では、図5Bに示されるように、物体41が近づくにつれ、センサ212からの出力結果が増加し、物体41がセンサ212の真上付近を通過する際に、出力結果が最大(極大)となる。そして、物体41がセンサ212を通過して離れるように移動することで、センサ212からの出力結果が減少していく。
【0051】
すなわち、物体41が、図4に示したような動きをした場合、図5A及び図5Bに示したように、出力結果として、上に凸な極大部分が、センサ211及びセンサ212の順序で得られる。
【0052】
このため、デジタルフォトフレーム1では、例えば、センサ211からの出力結果として極大部分が得られたタイミングと、センサ212からの出力結果として極大部分が得られたタイミングに応じて、物体41の動きを認識することができる。
【0053】
また、デジタルフォトフレーム1では、センサ21からの出力結果に基づいて、センサ21の検知範囲内の物体41が、人間の肌であるか否かの判別も行われ、その判別により得られる判別結果を表す肌検出信号が生成される。
【0054】
そして、デジタルフォトフレーム1では、生成した肌検出信号に基づいて、物体41が肌であることを検出した場合に、センサ211及びセンサ212からの出力結果に基づいて、物体41の位置や動きを認識する。
【0055】
なお、肌検出信号の生成方法については、図10等を参照して詳述する。
【0056】
次に、図6は、物体41が、図4に示したような動きをした場合、デジタルフォトフレーム1において生成される肌検出信号の一例を示している。
【0057】
図6Aに示される肌検出信号は、センサ211の検知範囲内で肌が検出されたか否かを表す。また、図5Bに示される肌検出信号は、センサ212の検知範囲内で肌が検出されたか否かを表す。
【0058】
なお、肌検出信号は、センサ21の検知範囲内に、人間の肌としての物体41が存在する場合にON(例えば1)とされ、センサ21の検知範囲内に、人間の肌としての物体41が存在しない場合にOFF(例えば0)とされる。
【0059】
また、図6A及び図6Bにおいて、横軸は時刻tを表しており、縦軸は肌が検出されたか否かを表している。
【0060】
上述したように、物体41は、図4に示したように、センサ211の検知範囲を通過した後、センサ212の検知範囲を通過する。
【0061】
したがって、図6Aに示される肌検出信号、及び図6Bに示される肌検出信号の順序で、肌検出信号がONとされる。
【0062】
このため、デジタルフォトフレーム1では、センサ211及びセンサ212からの出力結果に代えて、図6A及び図6Bに示されるような肌検出信号に基づいて、物体41の位置や動き等を認識するようにしてもよい。
【0063】
すなわち、例えば、デジタルフォトフレーム1では、図6Aに示される肌検出信号においてONとされるタイミングと、図6Bに示される肌検出信号においてONとされるタイミングに応じて、物体41の動きを認識することができる。
【0064】
その他、例えば、デジタルフォトフレーム1では、センサ211及びセンサ212からの出力結果と、図6A及び図6Bに示されるような肌検出信号とに基づいて、物体41の位置や動き等を総合的に判断(認識)するようにしてもよい。
【0065】
図7は、図1において、図中下側からデジタルフォトフレーム1を見たときの様子の他の一例を示している。
【0066】
例えば、物体41が、図7において、図中右から左方向に移動した場合、つまり、物体41が、センサ212及びセンサ211の順序で、センサ21上を移動した場合、センサ211及び212からの出力結果に基づいて、物体41の動きが認識される。
【0067】
次に、図8は、物体41が、図7に示したような動きをした場合に、センサ211及びセンサ212から、それぞれ出力される出力結果の一例を示している。
【0068】
図8Aには、センサ211からの出力結果が示されている。また、図8Bには、センサ212からの出力結果が示されている。なお、図8A及び図8Bにおいて、横軸は時刻tを表しており、縦軸はセンサ21からの出力結果Vを示している。
【0069】
なお、物体41は、図7に示したように、センサ212の真上あたりを通過後、センサ211の右側から近づき、センサ211の真上付近を通過して、センサ211から離れるように、センサ211の左側の方向に移動する。
【0070】
この場合、センサ211では、図8Aに示されるように、物体41がセンサ212の真上あたりを通過後、センサ211に近づくにつれ、センサ211からの出力結果が増加し、物体41がセンサ211の真上付近を通過する際に、出力結果が最大(極大)となる。そして、物体41がセンサ211を通過して離れるように移動することで、センサ211からの出力結果が減少していく。
【0071】
物体41は、図7に示したように、センサ212の右側から近づき、センサ212の真上付近を通過して、センサ212から離れるように、センサ212の左側に存在するセンサ211に向かって移動する。
【0072】
この場合、センサ212では、図8Bに示されるように、物体41が近づくにつれ、センサ212からの出力結果が増加し、物体41がセンサ212の真上付近を通過する際に、出力結果が最大(極大)となる。そして、物体41がセンサ212を通過して離れるように移動することで、センサ212からの出力結果が減少していく。
【0073】
すなわち、物体41が、図7に示したような動きをした場合、図8A及び図8Bに示したように、出力結果として、上に凸な極大部分が、センサ212及びセンサ211の順序で得られる。
【0074】
このため、デジタルフォトフレーム1では、センサ211からの出力結果として極大部分が得られるタイミングと、センサ212からの出力結果として極大部分が得られるタイミングに応じて、物体41の動きを認識することができる。
【0075】
なお、物体41が、図7に示したような動きをした場合にも、図6で説明した場合と同様にして、肌検出信号から、物体41の動きを認識することができる。
【0076】
次に、図9は、物体41が、図7に示したような動きをした場合、センサ21の出力結果から得られる肌検出信号の一例を示している。
【0077】
なお、図9A及び図9Bは、図6A及び図6Bと同様に構成される。すなわち、図9Aに示される肌検出信号は、センサ211の検知範囲内で肌が検出されたか否かを表す。また、図9Bに示される肌検出信号は、センサ212の検知範囲内で肌が検出されたか否かを表す。
【0078】
上述したように、物体41は、図7に示したように、センサ212の検知範囲を通過した後、センサ211の検知範囲を通過する。
【0079】
したがって、図9Bに示される肌検出信号、及び図9Aに示される肌検出信号の順序で、肌検出信号がONとされる。
【0080】
このため、デジタルフォトフレーム1では、センサ211及びセンサ212からの出力結果に代えて、図9A及び図9Bに示されるような肌検出信号に基づいて、物体41の位置や動き等を認識するようにしてもよい。
【0081】
すなわち、例えば、デジタルフォトフレーム1では、図9Aに示される肌検出信号においてONとされるタイミングと、図9Bに示される肌検出信号においてONとされるタイミングに応じて、物体41の動きを認識することができる。
【0082】
その他、例えば、デジタルフォトフレーム1では、センサ211及びセンサ212からの出力結果と、図9A及び図9Bに示されるような肌検出信号とに基づいて、物体41の位置や動き等を総合的に判断(認識)するようにしてもよい。
【0083】
[デジタルフォトフレーム1の詳細な構成例]
次に、図10は、デジタルフォトフレーム1の詳細な構成例を示している。
【0084】
このデジタルフォトフレーム1は、CPU(Central Processing Unit)61、ROM(Read Only Memory)62、RAM(Random Access Memory)63、バス64、入出力インタフェース65、複数のセンサ211乃至21Nを有する制御部66、表示画面1aを有する表示部67、記憶部68、及びドライブ69から構成される。
【0085】
なお、図1のデジタルフォトフレーム1では、2個のセンサ211及び212が設けられているようにしたが、図10に示されるように、3個以上のセンサ211乃至21Nを設けるようにしてもよい。
【0086】
CPU61は、例えば、ROM62や記憶部68に保持されているプログラムを実行することにより、各種の処理を行う。
【0087】
すなわち、例えば、CPU61は、制御部66から入出力インタフェース65及びバス64を介して供給される肌検出信号に基づいて、デジタルフォトフレーム1に近接した物体41が肌であるか否かを検出する。
【0088】
また、CPU61は、物体41を肌であることを検出した場合、制御部66から入出力インタフェース65及びバス64を介して供給されるジェスチャ認識情報に基づいて、肌としての物体41の位置や動き等を認識する。
【0089】
なお、ジェスチャ認識情報とは、物体41の位置や動き等を認識するための情報を表す。したがって、ジェスチャ認識情報としては、例えばセンサ211及びセンサ212からの出力結果や、肌検出信号等が採用される。このことは、後述する第2及び第3の実施の形態でも同様である。
【0090】
さらに、例えば、CPU61は、ジェスチャ認識情報に基づく認識結果に応じて、対応する処理を行う。
【0091】
ここで、CPU61は、例えば、ス64及び入出力インタフェース65を介して、記憶部68に保持済みの複数の静止画を読み出し、読み出した複数の静止画を、所定の順序で順次、表示部67の表示画面1aに表示させているものとする。
【0092】
この場合、例えば、CPU61は、図2に示したような物体41の動きを認識した場合、バス64及び入出力インタフェース65を介して、表示部67を制御し、複数の静止画のうち、表示中の静止画を拡大させて、表示画面1aに表示させる。
【0093】
また、例えば、CPU61は、図3に示したような物体41の動きを認識した場合、バス64及び入出力インタフェース65を介して、表示部67を制御し、拡大して表示中の静止画を、元の大きさに縮小させて、表示画面1aに表示させる。
【0094】
さらに、例えば、CPU61は、図4に示したような物体41の動きを認識した場合、バス64及び入出力インタフェース65を介して、表示部67を制御し、複数の静止画のうち、次に表示されるべき静止画を、表示画面1aに表示させる。
【0095】
また、例えば、CPU61は、図7に示したような物体41の動きを認識した場合、バス64及び入出力インタフェース65を介して、表示部67を制御し、複数の静止画のうち、直前に表示された静止画を、表示画面1aに表示させる。
【0096】
さらに、CPU61は、制御部66、表示部67、及びドライブ69などを制御する。
【0097】
ROM62は、CPU61に実行されるプログラムや、その他のデータなどを予め保持(記憶)している。
【0098】
RAM63は、例えば、CPU61が行う処理に用いられるワーキングメモリ(作業用メモリ)であり、CPU61から指示されたデータを保持し、CPU61から読み出しが指示されたデータを、CPU61に供給する。
【0099】
バス64は、CPU61、ROM62、RAM63及び入出力インタフェース65と相互に接続され、データのやり取りを中継する。入出力インタフェース65は、バス64、制御部66、表示部67、記憶部68、及びドライブ69と相互に接続され、データのやり取りを中継する。
【0100】
制御部66は、各センサ21nを有し、センサ21nからの出力結果に基づいて、各センサ21n毎に、肌検出信号及びジェスチャ認識情報を生成し、入出力インタフェース65及びバス64を介して、CPU61に供給する。なお、制御部66の詳細は、図11を参照して詳述する。
【0101】
表示部67は、例えば、CPU61からバス64及び入出力インタフェース65を介して供給される静止画等を、表示画面1aに表示させる。
【0102】
記憶部68は、例えばハードディスクからなり、CPU61が実行するプログラムや各種のデータを記憶する。
【0103】
ドライブ69は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア70が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部68に転送され、記憶される。
【0104】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録(記憶)する記録媒体は、図10に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア70、又は、プログラムが一時的もしくは永続的に格納されるROM62や、記憶部68を構成するハードディスク等により構成される。
【0105】
記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースを接続し、接続したインタフェースを介して、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行うことができる。
【0106】
[制御部66の詳細な構成例]
次に、図11は、制御部66の詳細な構成を示している。
【0107】
制御部66は、センサ21n(n=1,2,…,N)の他、処理部91、電流制御部92n、タイミング制御部93n、ゲイン制御部94n、及びAD(Analog/Digital)変換部95nから構成される。
【0108】
また、センサ21nは、LED(Light Emitting Diode)ドライバ111n、LED112an、LED112bn、レンズ113an、レンズ113bn、PD(Phase detector)114n、及びレンズ115nから構成される。
【0109】
なお、センサ21nにおいて、LED112anの個数、及びLED112bnの個数は、それぞれ1個に限定されず、複数個とすることができる。
【0110】
処理部91は、電流制御部92nを制御して、電流制御部92nに、LED112anやLED112bnに流す電流を指示する。また、処理部91は、タイミング制御部93nを制御して、タイミング制御部93nに、LED112anの点灯及び消灯のタイミング、並びにLED112bnの点灯及び消灯のタイミングを指示する。
【0111】
これに対して、電流制御部92nは、処理部91から指示された電流を流させるように、LEDドライバ111nを制御する。また、タイミング制御部93nは、処理部91から指示されたタイミングで点灯や消灯を行わせるように、LEDドライバ111nを制御する。
【0112】
LEDドライバ111nは、電流制御部92n及びタイミング制御部93nからの制御にしたがって、LED112anのみの点灯、LED112bnのみの点灯、LED112an及びLED112bnの消灯を繰り返させる。
【0113】
なお、各センサ21nにおける点灯及び消灯のタイミングについては、後述する図13を参照して詳述する。
【0114】
また、処理部91は、ゲイン制御部94nを制御する。これにより、PD114nにおいて行われるゲインコントロール処理によるゲインの調整の度合いが調整される。
【0115】
処理部91には、各センサ21nのPD114nからAD変換部95nを介して、輝度信号Vλ1、輝度信号Vλ2、及び輝度信号Vλoffが供給される。処理部91は、例えば、AD変換部95nからの輝度信号Vλ1、輝度信号Vλ2、及び輝度信号Vλoffに基づいて、センサ21nの検知範囲に肌が存在するか否かを表す肌検出信号を生成する。
【0116】
また、処理部91は、例えば、AD変換部95nからの輝度信号Vλ1に基づいて、ジェスチャ認識情報を生成する。
【0117】
処理部91は、生成した肌検出信号及びジェスチャ認識情報を、図10の入出力インタフェース65及びバス64を介して、CPU61に供給する。
【0118】
なお、ジェスチャ認識情報として、輝度信号Vλ1に基づき生成される、反射光の受光強度などを採用するようにしたが、その他、例えば、肌検出信号を採用することができる。このことは、後述する第2及び第3の実施の形態でも同様である。
【0119】
ところで、例えば、処理部91は、生成した肌検出信号に基づいて、各センサ21nのいずれの検知範囲に、肌としての物体41が存在するか否かを判定し、肌としての物体41が存在すると判定した場合のみ、ジェスチャ認識情報を、CPU61に供給するようにしてもよい。
【0120】
また、このとき、処理部91は、ジェスチャ認識情報のみを、CPU61に供給してもよい。この場合、CPU61は、処理部91からのジェスチャ認識情報に基づき認識されるジェスチャに応じて、対応する処理を行うこととなる。これらのことは、第2及び第3の実施の形態でも同様である。
【0121】
また、例えば、処理部91は、生成したジェスチャ認識情報に基づいて、物体41の動き等を認識し、その認識結果を表す認識結果情報を、ジェスチャ認識情報に代えて、CPU61に供給するようにしてもよい。
【0122】
ここで、認識結果情報としては、例えば、物体41がセンサ21nに近づく動きをしている場合には"1"が、物体41がセンサ21nから離れる動きをしている場合には"2"が、図1において左から右方向に移動する動きをしている場合には"3"が、図1において右から左方向に移動する動きをしている場合には"4"などが採用される。
【0123】
また、認識結果情報としては、各センサ21nからの出力結果に基づき算出されるユーザの手等の位置を採用するようにしてもよい。なお、この場合、処理部91は、各センサ21nからの出力結果に基づき、肌としての物体(例えば、ユーザの手等)の位置を算出することとなる。
【0124】
処理部91が認識結果情報をCPU61に供給する場合、CPU61では、処理部91からの認識結果情報に応じた処理を行うこととなる。このことは、第2及び第3の実施の形態でも同様である。
【0125】
また、処理部91は、各センサ21n毎に生成される肌検出信号のOR信号のみ(例えば、肌が検出されたことを示す肌検出信号が少なくとも1つ存在する場合、肌が検出されたことを表す肌検出信号のみ)を、CPU61に供給するようにしてもよい。このことは、後述する第2及び第3の実施の形態でも同様である。
【0126】
ゲイン制御部94nは、PD114nを制御し、PD114nで行われるゲインコントロール処理に用いられるパラメータを調整する。このパラメータは、PD114nの受光により得られる受光輝度Vのゲインを、どの程度、調整するかを表す。
【0127】
これは、物体41がPD114nに近い程に、PD114nが受光する物体41からの反射光の受光強度(受光光量)が大きくなり、その反射光の受光により得られる輝度信号Vも大きくなることによる。
【0128】
すなわち、輝度信号Vが大きい場合には、輝度信号Vが小さくなるように、輝度信号Vが小さい場合には、受光輝度Vが大きくなるように、それぞれ、ゲインを調整する。
【0129】
これにより、輝度信号Vが飽和してしまう事態を防止できるので、輝度信号Vの飽和により輝度信号Vの階調が失われる事態を防止することができ、ひいては、より正確な肌検出信号やジェスチャ認識情報を生成することが可能となる。
【0130】
AD変換部95nは、PD114nからの出力結果V(例えば、輝度信号Vλ1や輝度信号Vλ2、輝度信号Vλoff)をAD変換し、AD変換後の出力結果Vを処理部91に供給する。
【0131】
LEDドライバ111nは、タイミング制御部93nからの指示にしたがって、LED112anの点灯及び消灯、並びにLED112bnの点灯及び消灯のタイミングを制御する。
【0132】
そして、LEDドライバ111nは、電流制御部92nからの指示にしたがって、LED112anに流す電流、及びLED112bnに流す電流を制御する。
【0133】
LED112anの前面には、レンズ113anが設けられている。また、LED112anは、LED111nドライバからの制御にしたがって、波長λ1の光(例えば870[nm]の赤外線)を、センサ21nの検知範囲内に照射する。
【0134】
すなわち、例えば、LED112anには、タイミング制御部93nにより指示されたタイミングに応じて、電流制御部92nにより指示された電流が流されることにより、LED112anの点灯(波長λ1の光の照射)及び消灯が行われる。
【0135】
LED112bnの前面には、レンズ113bnが設けられている。また、LED112bnは、LED111nドライバからの制御にしたがって、波長λ1よりも長波長である波長λ2の光(例えば950[nm]の赤外線)を、センサ21nの検知範囲内に照射する。
【0136】
LED112an及びLED112bnでは、それぞれ、レンズ113an及びレンズ113bnが設けられている。したがって、LED112an及びLED112bnでは、それぞれ、照射むらを生じることなく均一に、センサ21nの検知範囲内に照射光を照射することができる。
【0137】
なお、波長λ1と波長λ2との組合せ(λ1,λ2)は、例えば、人間の肌に対する分光反射特性に基づいて予め決定される。人間の肌に対する分光反射特性については、図12を参照して詳述する。
【0138】
すなわち、例えば、LED112bnには、タイミング制御部93nにより指示されたタイミングに応じて、電流制御部92nにより指示された電流が流されることにより、LED112bnの点灯及び消灯が繰り返される。そして、LED112bnの点灯時に、波長λ2の光が、LED112bnから照射される。
【0139】
PD114nの前面には、レンズ115nが設けられている。PD114nは、LED112anの点灯時に、センサ21nの検知範囲内の物体からの反射光を受光する。
【0140】
すなわち、例えば、センサ21nの検知範囲内に物体41が存在する場合、PD114nは、LED112anの点灯時に、波長λ1の光が照射されている物体41からの反射光を受光する。
【0141】
そして、PD114nは、その受光により得られる受光輝度Vλ1に対してゲインコントロール処理を施し、処理後の受光輝度Vλ1をAD変換部95nに出力する。
【0142】
また、例えば、センサ21nの検知範囲内に物体41が存在する場合、PD114nは、LED112bnの点灯時に、波長λ2の光が照射されている物体41からの反射光を受光する。
【0143】
そして、PD114nは、その受光により得られる受光輝度Vλ2に対してゲインコントロール処理を施し、処理後の受光輝度Vλ2をAD変換部95nに出力する。
【0144】
さらに、例えば、センサ21nの検知範囲内に物体41が存在する場合、PD114nは、LED112an及びLED112bnの消灯時に、照射光以外の外光が照射されている物体41からの反射光を受光する。
【0145】
そして、PD114nは、その受光により得られる受光輝度Vλoffに対してゲインコントロール処理を施し、処理後の受光輝度VλoffをAD変換部95nに出力する。
【0146】
図12は、人間の肌に対する分光反射特性を示している。
【0147】
なお、この分光反射特性は、人間の肌の色の違い(人種の違い)や状態(日焼け等)に拘らず、一般性があるものである。
【0148】
図12において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【0149】
人間の肌に照射された反射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【0150】
具体的には、例えば、図12に示されるように、人間の肌に対して、赤外線としての870[nm]の光を照射して得られる反射光の反射率は約63パーセントである。また、赤外線としての950[nm]の光を照射して得られる反射光の反射率は約50パーセントである。
【0151】
これは、人間の肌について特有のものであり、人間の肌以外の物体(例えば、衣服等)では、800乃至1000[nm]付近において、反射率の変化は緩やかになっている。また周波数が高くなるほど、反射率が少しずつ大きくなることが多い。
【0152】
本開示では、例えば、組合せ(λ1,λ2)=(870,950)とされる。この組合せは、人間の肌に対して、波長λ1の光を照射したときの反射率が、波長λ2の光を照射したときの反射率よりも大きくなる組合せである。
【0153】
したがって、肌としての物体41からの反射光により得られた輝度信号Vλ1が表す輝度値は比較的大きな値となり、肌としての物体41からの反射光により得られた輝度信号Vλ2が表す輝度値は比較的小さな値となる。
【0154】
このため、正規化差分信号Rdiff(=100×(Vλ1 - Vλ2)/(Vλ1 Vλoff))が表す差分値は、比較的大きな正の値α1となる。
【0155】
なお、輝度信号Vλoffは、LED112an及びLED112bnからの照射光以外の外光の影響を除去するために用いており、これにより肌検出の精度を向上することができる。
【0156】
なお、外光の影響が軽微である場合には、輝度信号Vλoffを省略して、正規化差分信号Rdiff(=100×(Vλ1 - Vλ2)/Vλ1)を算出するようにしてもよい。
【0157】
また、PD114nの前面に、可視光をカット(遮断)する可視光カットフィルタを設けるように構成すれば、外光としての可視光の影響を除去することができ、肌検出信号の精度をより向上させることができる。このことは、第2及び第3の実施の形態で説明するPDについても同様である。
【0158】
また、組み合わせ(λ1,λ2)=(870,950)は、人間の肌以外のものに対して、波長λ1の光を照射したときの反射率が、波長λ2の光を照射したときの反射率と殆ど同一となる組み合わせである。
【0159】
このため、正規化差分信号Rdiffが表す差分値は、比較的小さな正または負の値β1となる。
【0160】
よって、処理部91では、AD変換部95nからの輝度信号Vλ1、輝度信号Vλ2及びVλoffに基づいて、正規化差分信号Rdiffを算出する。そして、処理部91は、算出した正規化差分信号Rdiffが、予め決められた閾値(例えば、α1よりも小であり、β1よりも大である閾値)以上であるか否かに基づいて、肌検出信号を生成するようにしている。
【0161】
ここで、組み合わせ(λ1,λ2)は、(λ1,λ2)=(870,950)に限定されず、反射率の差が十分に大きくなる組み合わせ(λ1,λ2)であれば、どのような組み合わせでもよい。
【0162】
なお、正確に肌検出を行うためには、概ね、波長λ1の値は640[nm]乃至1000[nm]の範囲内で、波長λ2の値は900[nm]から1100[nm]の範囲内で、それぞれ設定することが望ましいことが、本発明者が予め行なった実験によりわかっている。
【0163】
但し、波長λ1が可視光領域の波長である場合、ユーザに眩しさを感じさせることや、ユーザが表示画面1a上の画像を見る際に感じる色調にも影響すること等から、波長λ1の値は不可視光領域の800[nm]以上とすることが望ましい。
【0164】
すなわち、例えば、上述の範囲内で、波長λ1の値は800[nm]以上900[nm]未満の不可視光領域の値とし、波長λ2の値は900[nm]以上の不可視光領域とすることが望ましい。
【0165】
次に、図13は、各センサ21nにおける照射タイミングの一例を示している。
【0166】
なお、図13では、図面が煩雑になるのを避けるため、3個のセンサ211乃至213における照射タイミングの一例を示している。
【0167】
図13A乃至図13Cは、それぞれ、センサ211乃至213の照射タイミングを示している。なお、図13A乃至図13Cにおいて、横軸は時刻tを表している。
【0168】
また、図13A乃至図13Cにおいて、「LED λ1」は、LED112anのみを点灯する点灯期間(波長λ1の光のみを照射する期間)を示している。さらに、「LED λ2」は、LED112bnのみを点灯する点灯期間(波長λ2の光のみを照射する期間)を示している。
【0169】
また、「LED off」は、LED112an及びLED112bnを消灯する消灯期間(波長λ1の光、及び波長λ2の光のいずれも照射しない期間)を示している。
【0170】
デジタルフォトフレーム1に、図1に示されるようなセンサ211及びセンサ212が設けられている場合、センサ211及びセンサ212は、図13A及び図13Bに示されるような照射を繰り返す。
【0171】
すなわち、例えば、センサ211は、図13Aに示されるように、点灯期間「LED λ1」でLED112a1のみを点灯し、点灯期間「LED λ2」でLED112b1のみを点灯する。そして、消灯期間「LED off」でLED112a1及びLED112b1を消灯する。
【0172】
また、例えば、センサ212は、図13Bに示されるように、図13Aに示される消灯期間「LED off」の直後から、点灯期間「LED λ1」でLED112a2のみを点灯し、点灯期間「LED λ2」でLED112b2のみを点灯する。そして、消灯期間「LED off」でLED112a2及びLED112b2を消灯する。
【0173】
図13Bに示される消灯期間「LED off」の経過後、センサ211及びセンサ212は、一定の間隔(時間)だけ待って、図13A及び図13Bを参照して説明した処理を繰り返す。なお、その一定の間隔(図示せず)において、例えば、制御部66の処理部91により、肌検出信号及びジェスチャ認識情報の生成、CPU61への出力等が行われる。
【0174】
また、例えば、デジタルフォトフレーム1に、3個のセンサ211乃至213が設けられている場合、センサ211及びセンサ212は、それぞれ、図13A及び図13Bで説明したような処理を行う。
【0175】
そして、センサ213は、図13Cに示されるように、図13Bに示される消灯期間「LED off」の直後から、点灯期間「LED λ1」でLED112a3のみを点灯し、点灯期間「LED λ2」でLED112b3のみを点灯する。また、センサ213は、消灯期間「LED off」でLED112a3及びLED112b3を消灯する。
【0176】
図13Cに示される消灯期間「LED off」の経過後、センサ211乃至213は、例えば、一定の間隔Iを待って、図13A乃至図13Cを参照して説明した処理を繰り返す。なお、その一定の間隔Iにおいて、例えば、制御部66の処理部91により、肌検出信号及びジェスチャ認識情報の生成、CPU61への出力等が行われる。
【0177】
次に、図14及び図15を参照して、3個のセンサ211乃至213が設けられたデジタルフォトフレームの一例を説明する。
【0178】
図14は、トライアングル状に配置された3個のセンサ211乃至213を有するデジタルフォトフレーム131の構成例を示している。
【0179】
このデジタルフォトフレーム131には、図1の場合と同様に、図中、表示画面1aの左右方向にセンサ211及び212が設けられている他、表示画面1aの下方向にセンサ213が設けられている。
【0180】
デジタルフォトフレーム131では、センサ211及び212からの出力結果に基づいて、X方向(左右方向)の動き等を認識できる。また、デジタルフォトフレーム131では、同様にして、センサ211及びセンサ213からの出力結果に基づいて、Y方向(上下方向)の動き等を認識することができる。
【0181】
なお、Y方向の動き等を認識する場合、センサ211及びセンサ213からの出力結果に代えて、例えば、センサ212及びセンサ213からの出力結果を用いることができる。
【0182】
次に、図15は、L字状に配置された3個のセンサ211乃至213を有するデジタルフォトフレーム151の構成例を示している。
【0183】
このデジタルフォトフレーム151には、その左上の角部分にセンサ211が、左下の角部分にセンサ212が、右下の角部分にセンサ213が、それぞれ設けられている。
【0184】
デジタルフォトフレーム151では、センサ212及び213からの出力結果に基づいて、X方向(左右方向)の動き等を認識でき、センサ211及びセンサ212からの出力結果に基づいて、Y方向(上下方向)の動き等を認識することができる。
【0185】
以上のように、図1では、2個のセンサ211及び212が設けられた場合を、図14及び図15では、3個のセンサ211乃至213が設けられた場合を説明したが、センサ21nの個数はこれに限定されない。
【0186】
すなわち、例えば、図15のデジタルフォトフレーム151において、センサ211とセンサ212との間に、新たなセンサ214を設けるようにしてもよい。
【0187】
この場合、デジタルフォトフレーム151では、例えば、Y方向の動き等を、センサ211,212及び214からの出力結果に基づいて認識することができるので、Y方向の動き等を、より正確に認識することができる。
【0188】
また、デジタルフォトフレームには、例えば、物体41までの距離に応じて異なる出力結果を出力する距離センサ(例えばPDや静電容量センサ等)を設けるようにしてもよい。
【0189】
この場合、デジタルフォトフレームには、センサ21nと距離センサが混在して設けられる。なお、距離センサからの出力は、処理部91に供給され、ジェスチャ認識情報を生成するために用いられる。このことは、後述する第2及び第3の実施の形態においても同様である。
【0190】
センサ21nと距離センサが混在する形で、デジタルフォトフレームに設けるようにした場合、距離センサに置き換えられた分だけ、処理部91において肌検出信号を生成する必要がなくなるため、肌検出信号の生成に要する負担を軽減できる。
【0191】
また、処理部91の負担を軽減できるので、処理部91として機能するDSP等を、比較的、処理速度の遅い安価なDSP(Digital Signal Processor)等とすることができ、デジタルフォトフレーム1の製造コストを削減することが可能となる。
【0192】
[第1のジェスチャ認識処理の詳細]
次に、図16を参照して、デジタルフォトフレーム1が行う第1のジェスチャ認識処理について説明する。
【0193】
この第1のジェスチャ認識処理は、例えば、デジタルフォトフレーム1の電源がオンされたときに開始される。
【0194】
ステップS1において、処理部91は、複数のセンサ211乃至21Nのうち、所定のセンサ21nに注目し、注目センサ21nとする。
【0195】
そして、ステップS2において、処理部91は、電流制御部92n、タイミング制御部93n及びゲイン制御部94n等を介して、注目センサ21nを制御し、輝度信号Vλ1を生成してAD変換部95nに出力するVλ1取得処理を行わせる。また、AD変換部95nは、注目センサ21nからの輝度信号Vλ1をAD変換し、AD変換後の輝度信号Vλ1を、処理部91に供給する。
【0196】
ステップS3において、処理部91は、電流制御部92n、タイミング制御部93n及びゲイン制御部94n等を介して、注目センサ21nを制御し、輝度信号Vλ2を生成してAD変換部95nに出力するVλ2取得処理を行わせる。また、AD変換部95nは、注目センサ21nからの輝度信号Vλ2をAD変換し、AD変換後の輝度信号Vλ2を、処理部91に供給する。
【0197】
なお、注目センサ21nが行うVλ1取得処理及びVλ2取得処理の詳細は、図17を参照して詳述する。
【0198】
ステップS4において、処理部91は、電流制御部92n、タイミング制御部93n及びゲイン制御部94n等を介して、注目センサ21nを制御し、輝度信号Vλoffを生成してAD変換部95nに出力するVλoff取得処理を行わせる。また、AD変換部95nは、注目センサ21nからの輝度信号VλoffをAD変換し、AD変換後の輝度信号Vλoffを、処理部91に供給する。
【0199】
なお、注目センサ21nが行うVλoff取得処理の詳細は、図18を参照して詳述する。
【0200】
ステップS5では、処理部91は、注目センサ21nからAD変換部95nを介して供給された輝度信号Vλ1、輝度信号Vλ2、及び生輝度信号Vλoffに基づいて、肌としての物体が注目センサ21nの検知範囲内に存在するか否かを表す肌検出信号を生成する肌判別処理を行う。なお、処理部91が行う肌判別処理の詳細は、図19を参照して詳述する。
【0201】
ステップS6では、処理部91は、注目センサ21nからAD変換部95nを介して供給された輝度信号Vλ1に基づいて、ジェスチャ認識情報を生成する。
【0202】
ここで、注目される各センサ21nにおいて行われるステップS2乃至ステップS6の処理のうち、ステップS5及びステップS6の処理を、ステップS7からステップS8に進むときにまとめて行うようにしてもよい。
【0203】
この場合、各センサ21nで輝度信号が取得される時間差を短くすることができるので、より精度の高い肌検出信号及びジェスチャ認識情報を生成することができるようになる。このことは、後述する他のジェスチャ認識処理(例えば第4のジェスチャ認識処理等)においても同様である。
【0204】
なお、ジェスチャ認識情報としては、PD114nにより受光された反射光の受光強度を表す輝度信号Vλ1をそのまま採用することができる。
【0205】
また、例えば、注目センサ21nから物体までの距離の2乗は、物体からの反射光の受光強度としての輝度信号Vλ1に比例することから、反射光の受光強度としての輝度信号Vλ1の平方根を、ジェスチャ認識情報として採用するようにしてもよい。
【0206】
また、例えば、輝度信号Vλ1(が表す輝度値)と輝度信号Vλ2(が表す輝度値)との平均を、ジェスチャ認識情報として採用してもよい。
【0207】
さらに、処理部91は、ステップS5で生成した肌検出信号をジェスチャ認識情報として採用することができる。また、処理部91は、注目センサ21nからAD変換部95nを介して供給された輝度信号Vλ2に基づいて、輝度信号Vλ2の場合と同様に、ジェスチャ認識情報を生成するようにしてもよい。
【0208】
ジェスチャ認識情報については、第2及び第3の実施の形態においても同様のことが言える。
【0209】
処理部91は、生成した肌検出信号とともに、輝度信号Vλ1又は輝度信号Vλ2の少なくとも一方に基づき生成したジェスチャ認識情報を、入出力インタフェース65及びバス64を介して、CPU61に供給する。
【0210】
ステップS7では、処理部91は、複数のセンサ211乃至21Nの全てに注目したか否かを判定し、複数のセンサ211乃至21Nの全てに注目していないと判定した場合、処理をステップS1に戻す。
【0211】
そして、ステップS1では、処理部91は、複数のセンサ211乃至21Nのうち、まだ注目していないセンサ21nを、新たな注目センサ21nとし、それ以降、同様の処理が行われる。
【0212】
また、ステップS7では、処理部91は、複数のセンサ211乃至21Nの全てに注目したと判定した場合、処理をステップS8に進める。
【0213】
以上説明したステップS1乃至ステップS7の処理により、CPU61には、注目された各センサ211乃至21Nから入出力インタフェース65及びバス64を介して、センサ211乃至21N毎に生成された肌検出信号及びジェスチャ認識情報が供給される。
【0214】
ステップS8では、CPU61は、制御部66の各センサ211乃至21Nから入出力インタフェース65及びバス64を介して供給された肌検出信号に基づいて、肌としての物体41が、いずれかのセンサ21nの検知範囲で検出されたか否かを判定する。
【0215】
そして、ステップS8では、CPU61は、肌としての物体41が検出されていないと判定した場合、処理はステップS1に戻り、それ以降同様の処理が行われる。
【0216】
また、ステップS8では、CPU61は、肌としての物体41が検出されたと判定した場合、処理はステップS9に進められる。ステップS9では、CPU61は、制御部66の各センサ211乃至21Nから入出力インタフェース65及びバス64を介して供給されたジェスチャ認識情報に基づいて、肌としての物体41の位置や動きなどを認識(検出)する。
【0217】
そして、ステップS10では、CPU61は、ジェスチャ認識情報に基づく認識結果に応じて、対応する処理を行う。
【0218】
すなわち、例えば、CPU61は、図2に示したような物体41の動きを認識した場合、バス64及び入出力インタフェース65を介して、表示部67を制御し、複数の静止画のうち、表示中の静止画を拡大させて、表示画面1aに表示させる。
【0219】
また、例えば、CPU61は、図3に示したような物体41の動きを認識した場合、バス64及び入出力インタフェース65を介して、表示部67を制御し、拡大して表示中の静止画を、元の大きさに縮小させて、表示画面1aに表示させる。
【0220】
さらに、例えば、CPU61は、図4に示したような物体41の動きを認識した場合、バス64及び入出力インタフェース65を介して、表示部67を制御し、複数の静止画のうち、次に表示されるべき静止画を、表示画面1aに表示させる。
【0221】
また、例えば、CPU61は、図7に示したような物体41の動きを認識した場合、バス64及び入出力インタフェース65を介して、表示部67を制御し、複数の静止画のうち、直前に表示された静止画を、表示画面1aに表示させる。
【0222】
ステップS10の終了後、処理はステップS1に戻り、それ以降同様の処理が繰り返される。なお、この第1のジェスチャ認識処理は、例えば、デジタルフォトフレーム1の電源がオフされたときに終了される。
【0223】
[Vλ1取得処理の詳細]
次に、図17のフローチャートを参照して、図16のステップS2において、注目センサ21nが行うVλ1取得処理の詳細を説明する。
【0224】
ステップS31において、LED112anは、LEDドライバ111nからの制御にしたがって、波長λ1の光を、注目センサ21nの検知範囲に照射する。なお、この場合、LED112bnは、LEDドライバ111nからの制御にしたがって消灯しているものとする。
【0225】
ステップS32において、PD114nは、LED112anから照射された波長λ1の光の反射光(例えば、注目センサ21nの検知範囲に物体41が存在する場合、物体41に照射された波長λ1の光の反射光)を受光する。
【0226】
ステップS33において、PD114nは、ステップS32の処理で受光した反射光を光電変換し、その結果得られる輝度信号Vλ1を、AD変換部95nに供給して、処理は、図16のステップS2に戻り、ステップS3に進められる。なお、AD変換部95nは、PD114nからの輝度信号Vλ1をAD変換し、AD変換後の輝度信号Vλ1を処理部91に供給する。
【0227】
[Vλ2取得処理の詳細]
図16のステップS3では、注目センサ21nは、Vλ1取得処理と同様にして、Vλ2取得処理を行う。
【0228】
すなわち、このVλ2取得処理は、ステップS31’乃至ステップS33’からなり、ステップS31’において、LED112bnは、LEDドライバ111nからの制御にしたがって、波長λ2の光を、注目センサ21nの検知範囲に照射する。なお、この場合、LED112anは、LEDドライバ111nからの制御にしたがって消灯しているものとする。
【0229】
ステップS32’において、PD114nは、LED112bnから照射された波長λ2の光の反射光(例えば、注目センサ21nの検知範囲に物体41が存在する場合、物体41に照射された波長λ2の光の反射光)を受光する。
【0230】
ステップS33’において、PD114nは、ステップS32’の処理で受光した反射光を光電変換し、その結果得られる輝度信号Vλ2を、AD変換部95nに供給して、処理は、図16のステップS3に戻り、ステップS4に進められる。なお、AD変換部95nは、PD114nからの輝度信号Vλ2をAD変換し、AD変換後の輝度信号Vλ2を処理部91に供給する。
【0231】
[Vλoff取得処理の詳細]
次に、図18のフローチャートを参照して、図16のステップS4において、注目センサ21nが行うVλoff取得処理の詳細を説明する。
【0232】
なお、LEDドライバ111nは、LED112an及びLED112bnを制御し、LED112an及びLED112bnのいずれも消灯させているものとする。したがって、注目センサ21nの検知範囲には、LED112an及びLED112bnからの照射光以外の外光のみが照射されている。
【0233】
ステップS51において、PD114nは、外光の反射光(例えば、注目センサ21nの検知範囲に物体41が存在する場合、物体41に照射された外光の反射光)を受光する。
【0234】
ステップS52において、PD114nは、ステップS51の処理で受光した反射光を光電変換し、その結果得られる輝度信号Vλoffを、AD変換部95nに供給して、処理は、図16のステップS4に戻り、ステップS5に進められる。なお、AD変換部95nは、PD114nからの輝度信号VλoffをAD変換し、AD変換後の輝度信号Vλoffを処理部91に供給する。
【0235】
[肌判別処理の詳細]
次に、図19のフローチャートを参照して、図16のステップS5において、注目センサ21nの処理部91が行う肌判別処理の詳細を説明する。
【0236】
ステップS71において、処理部91は、AD変換部95nからの輝度信号Vλ1及び輝度信号Vλ2に基づいて、差分信号Vdif(=Vλ1-Vλ2)を算出する。
【0237】
ステップS72において、処理部91は、差分信号Vdif(=Vλ1-Vλ2)を、輝度信号Vλ1又は輝度信号Vλ2の少なくとも一方に基づく値、すなわち、例えば、値(=Vλ1-Vλoff)で正規化(除算)する。
【0238】
そして、正規化後の差分信号に、例えば100を乗算して、正規化差分信号Rdif(=100×Vdif/(Vλ1-Vλoff))を算出する。
【0239】
ステップS73において、処理部91は、正規化差分信号Rdifが予め決められた閾値以上であるか否かに基づいて、注目センサ21nの検知範囲内に、肌としての物体41が存在するか否かを判別する。
【0240】
ステップS74において、処理部91は、正規化差分信号Rdifが予め決められた閾値以上である場合、注目センサ21nの検知範囲内に、肌としての物体41が存在すると判別し、その判別結果を表す肌検出信号を生成する。
【0241】
また、処理部91は、正規化差分信号Rdifが予め決められた閾値以上ではない場合、注目センサ21nの検知範囲内に、肌としての物体41が存在しないと判別し、その判別結果を表す肌検出信号を生成する。
【0242】
ステップS74の終了後、処理は、図16のステップS5に戻り、それ以降の処理が行われる。
【0243】
以上説明したように、第1のジェスチャ認識処理によれば、少なくとも1個のセンサ21nの検知範囲内に、肌としての物体41が存在する場合、肌としての物体41の位置や動き等を認識するようにした。
【0244】
したがって、物体41が肌以外のものである場合に、物体41の位置や動き等を誤って認識し、その認識結果に応じた処理を行う事態を防止することが可能となる。
【0245】
なお、第1のジェスチャ認識処理では、ステップS8において、肌が検出されなかった場合、所定の時間だけ待機した上で、処理をステップS1に戻すようにしてもよい。
【0246】
この場合、第1のジェスチャ認識処理では、ステップS8において肌が検出されるまでの間、ステップS1乃至ステップS7の処理が行われる間隔(例えば、図13に示される間隔Iに対応)を、肌が検出された後の間隔よりも長くすることができる。
【0247】
よって、肌が検出されるまでの間、ステップS1乃至ステップS7の処理が行われる間隔を長くするようにして、制御部66の負荷を軽減することが可能となる。また、肌が検出された後は、間隔を短くするようにして、より短い間隔(時間)で、検出された肌の位置や動きなどを認識することが可能となる。
【0248】
ところで、第1のジェスチャ認識処理では、注目センサ21nの検知範囲から、肌としての物体41を検出するための処理として、Vλ1取得処理、Vλ2取得処理、Vλoff取得処理、及び肌判別処理を繰り返して行うようにした。
【0249】
しかしながら、肌としての物体41が検出された場合には、注目センサ21nの検知範囲から、肌としての物体41を検出するための処理を簡略化する第2のジェスチャ認識処理を行うようにしてもよい。
【0250】
この第2のジェスチャ認識処理では、肌としての物体41が検出された場合、例えばVλ1取得処理のみを行い、Vλ1取得処理により得られる輝度信号Vλ1に基づいて、注目センサ21nの検知範囲内に物体が存在するか否かを検出する。
【0251】
そして、注目センサ21nの検知範囲内に物体が存在する旨が検出されたときには、肌としての物体41が検出されたものとして扱うようにして、処理を簡略化している。
【0252】
[第2のジェスチャ認識処理]
次に、図20のフローチャートを参照して、デジタルフォトフレーム1が行う第2のジェスチャ認識処理の詳細を説明する。
【0253】
この第2のジェスチャ認識処理は、例えばデジタルフォトフレーム1の電源がオンされたときに開始される。
【0254】
ステップS91乃至ステップS100では、それぞれ、図16のステップS1乃至ステップS10と同様の処理が行われる。
【0255】
ステップS101では、処理部91は、複数のセンサ211乃至21Nのうち、所定のセンサ21nに注目し、注目センサ21nとする。
【0256】
そして、ステップS102において、処理部91は、電流制御部92n、タイミング制御部93n及びゲイン制御部94n等を介して、注目センサ21nを制御し、Vλ1取得処理を行わせる。また、AD変換部95nは、注目センサ21nからの輝度信号Vλ1をAD変換し、AD変換後の輝度信号Vλ1を、処理部91に供給する。
【0257】
ステップS103では、処理部91は、注目センサ21nからAD変換部95nを介して供給された輝度信号Vλ1に基づいて、ジェスチャ認識情報を生成し、輝度信号Vλ1とともに、入出力インタフェース65及びバス64を介して、CPU61に供給する。
【0258】
なお、ステップS103において、ジェスチャ認識情報が、輝度信号Vλ1である場合、処理部91は、輝度信号Vλ1としてのジェスチャ認識情報のみを、入出力インタフェース65及びバス64を介して、CPU61に供給することとなる。
【0259】
ステップS104では、処理部91は、複数のセンサ211乃至21Nの全てに注目してか否かを判定し、複数のセンサ211乃至21Nの全てに注目していないと判定した場合、処理をステップS101に戻す。
【0260】
そして、ステップS101では、処理部91は、複数のセンサ211乃至21Nのうち、まだ注目していないセンサ21nを、新たな注目センサ21nとし、それ以降、同様の処理が行われる。
【0261】
また、ステップS104では、処理部91は、複数のセンサ211乃至21Nの全てに注目したと判定した場合、処理をステップS105に進める。
【0262】
以上説明したステップS101乃至ステップS104の処理により、CPU61には、注目された各センサ211乃至21Nから入出力インタフェース65及びバス64を介して、センサ211乃至21N毎に生成されたジェスチャ認識情報及び輝度信号Vλ1が供給される。
【0263】
ステップS105では、CPU61は、制御部66から入出力インタフェース65及びバス64を介して供給された各輝度信号Vλ1が所定の閾値以上であるか否かに基づいて、各センサ21nのいずれかの検知範囲内に物体が検出されたか否かを判定する。
【0264】
なお、ステップS105において、CPU61は、輝度信号Vλ2が閾値以上であるか否かに基づいて、注目センサ21nの検知範囲内に物体が検出されたか否かを判定するようにしてもよい。この場合、ステップS102において、Vλ2取得処理が行われる。
【0265】
そして、ステップS105では、CPU61は、物体が検出されたと判定した場合、肌としての物体41が検出されたものと扱い、処理をステップS99に戻し、それ以降同様の処理を繰り返す。
【0266】
また、ステップS105において、CPU61は、物体が検出されていないと判定した場合、肌としての物体41が検出されなかったものと扱い、処理をステップS91に戻し、それ以降同様の処理を繰り返す。
【0267】
なお、この第2のジェスチャ認識処理は、例えばデジタルフォトフレーム1の電源がオフされたときに終了される。
【0268】
以上説明したように、第2のジェスチャ認識処理によれば、センサ21nの検知範囲内に、肌としての物体を検出した後は、センサ21nの検知範囲内に物体が存在するか否かを検出するようにし、物体を検出した場合、肌としての物体を検出したものと取り扱うようにした。
【0269】
したがって、例えば、肌としての物体が検出されたか否かに拘らず、Vλ1取得処理、Vλ2取得処理、Vλoff取得処理、及び肌判別処理を繰り返して行う場合と比較して、処理部91の負担を軽減することが可能となる。
【0270】
なお、第2のジェスチャ認識処理では、ステップS98において肌が検出されなかった場合、及びステップS105において物体が検出されなかった場合、所定の時間だけ待機した上で、処理をステップS91に戻すようにしてもよい。
【0271】
この場合、第2のジェスチャ認識処理では、ステップS98において肌が検出されるまでの間、ステップS91乃至ステップS97の処理が行われる間隔(例えば、図13の間隔Iに対応)を、肌が検出された後の間隔よりも長くすることができる。
【0272】
よって、肌が検出されるまでの間、ステップS91乃至ステップS97の処理が行われる間隔を長くするようにして、制御部66の負荷を軽減することが可能となる。また、肌が検出された後は、間隔を短くするようにして、より短い間隔で、検出された肌の位置や動きなどを認識することが可能となる。
【0273】
第1の実施の形態では、例えば、センサ211乃至21Nの検知範囲内に物体が存在するか否かに拘らず、第1のジェスチャ認識処理、又は第2のジェスチャ認識処理を行うようにした。
【0274】
しかしながら、その他、例えば、センサ211乃至21Nの検知範囲内に物体が存在するか否かを判定し、検知範囲内に物体が存在すると判定したときに、第1のジェスチャ認識処理、又は第2のジェスチャ認識処理を行う近接物体検出処理を行うようにしてもよい。
【0275】
[デジタルフォトフレーム1が行う近接物体検出処理]
次に、図21のフローチャートを参照して、デジタルフォトフレーム1が行う近接物体検出処理の詳細を説明する。
【0276】
この近接物体検出処理は、例えばデジタルフォトフレーム1の電源がオンされたときに開始される。
【0277】
ステップS121において、処理部91は、複数のセンサ211乃至21Nのうち、所定のセンサ21nに注目し、注目センサ21nとする。
【0278】
そして、ステップS122において、処理部91は、電流制御部92n、タイミング制御部93n及びゲイン制御部94n等を介して、注目センサ21nを制御し、Vλ1取得処理を行わせる。また、AD変換部95nは、注目センサ21nからの輝度信号Vλ1をAD変換し、AD変換後の輝度信号Vλ1を、処理部91に供給する。
【0279】
ステップS123では、処理部91は、注目センサ21nからAD変換部95nを介して供給された輝度信号Vλ1に基づいて、注目センサ21nの検知範囲内に物体が侵入したか否かを判定する。
【0280】
すなわち、例えば、処理部91は、注目センサ21nからAD変換部95nを介して供給された輝度信号Vλ1が表す輝度値が、予め決められた閾値以上となったか否かに基づいて、注目センサ21nの検知範囲内に物体が侵入したか否かを判定する。
【0281】
処理部91は、その判定結果に基づいて、注目センサ21nの検知範囲に対する物体の侵入を検出しない場合、処理をステップS121に戻す。
【0282】
そして、ステップS121では、処理部91は、複数のセンサ211乃至21Nのうち、まだ注目していないセンサ21nを、新たな注目センサ21nとし、それ以降、同様の処理が行われる。
【0283】
なお、ステップS121において、複数のセンサ211乃至21Nの全てが注目された後、さらにステップS121の処理が行われる場合、複数のセンサ211乃至21Nのいずれも、まだ注目されていないものとして、ステップS121の処理が行われることとなる。
【0284】
また、ステップS123において、処理部123は、判定結果に基づいて、注目センサ21nの検知範囲に対する物体の侵入を検出した場合、処理をステップS124に進め、第1のジェスチャ認識処理又は第2のジェスチャ認識処理が行われる。
【0285】
なお、ステップS124において、第1のジェスチャ認識処理が行われる場合、以下のようにして第1のジェスチャ認識処理が終了され、近接物体検出処理も終了される。
【0286】
すなわち、例えば、第1のジェスチャ認識処理のステップS8において、CPU61により、肌としての物体41が検出されていないと判定された場合、換言すれば、検知範囲内に侵入した物体41が肌ではないと判定された場合、第1のジェスチャ認識処理は終了される。そして、近接物体検出処理は終了され、新たに近接物体検出処理が開始される。
【0287】
また、ステップS124において、第2のジェスチャ認識処理が行われる場合、以下のようにして第2のジェスチャ認識処理が終了され、近接物体検出処理も終了される。
【0288】
すなわち、例えば、第2のジェスチャ認識処理のステップS98において、CPU61により、肌としての物体41が検出されていないと判定された場合、換言すれば、検知範囲内に侵入した物体41が肌ではないと判定された場合、第2のジェスチャ認識処理は終了される。そして、近接物体検出処理は終了され、新たに近接物体検出処理が開始される。
【0289】
また、例えば、第2のジェスチャ認識処理のステップS105において、CPU61により、物体が検出されなかったと判定された場合、検知範囲内に侵入した物体41が既に検知範囲内に存在しないと判定されたものとし、第2のジェスチャ認識処理は終了される。そして、近接物体検出処理は終了され、新たに近接物体検出処理が開始される。
【0290】
新たに開始される近接物体検出処理では、ステップS121乃至ステップS123において、複数のセンサ211乃至21Nのいずれかの検知範囲内に、新たに物体が侵入したか否かが判定される。
【0291】
そして、その判定による判定結果に基づいて、複数のセンサ211乃至21Nのいずれかの検知範囲内に、新たに物体が侵入したことが検出された場合、ステップS124において、新たに、第1のジェスチャ認識処理又は第2のジェスチャ認識処理が行われる。
【0292】
以上説明したように、近接物体検出処理によれば、センサ21nのいずれかの検知範囲に物体が侵入したか否かを判定するようにした。そして、その判定結果に基づいて、センサ21nのいずれかの検知範囲に物体が侵入したことを検出した場合に、第1又は第2のジェスチャ認識処理を行うようにした。
【0293】
したがって、センサ21nのいずれかの検知範囲に物体が侵入したか否かに拘らず、第1又は第2のジェスチャ認識処理を行う場合と比較して、処理部91の負担を軽減することが可能となる。
【0294】
また、近接物体検出処理では、ステップS121において各センサ21nに順次注目し、ステップS122において注目センサ21nから輝度信号Vλ1が取得される毎に、ステップS123において物体が検出されたか否かを判定するようにした。
【0295】
しかしながら、その他、例えば、ステップS121及びステップS122において、各センサ211乃至21N毎に輝度信号Vλ1を取得するようにしてもよい。
【0296】
そして、ステップS123では、各センサ211乃至21N毎に取得された輝度信号Vλ1に基づいて、各センサ211乃至21Nのいずれかの検知範囲内に物体が侵入したか否かを判定するようにしてもよい。
【0297】
また、ステップS123において、注目した各センサ211乃至21Nのいずれの検知範囲内にも物体が侵入していないと判定された場合、所定の時間だけ待機して、処理をステップS121に戻すようにしてもよい。
【0298】
この場合、各センサ211乃至21Nのいずれかの検知範囲内に物体が侵入したか否かを判定するステップS121乃至ステップS123の処理による負荷を軽減することが可能となる。
【0299】
<2.第2の実施の形態>
[デジタルフォトフレーム171の構成例]
次に、図22は、第2の実施の形態であるデジタルフォトフレーム171の構成例を示している。
【0300】
このデジタルフォトフレーム171には、第1の実施の形態であるデジタルフォトフレーム1のセンサ211及びセンサ212に代えて、PD1911及びPD1912が設けられている。
【0301】
また、デジタルフォトフレーム171は、波長λ1の光を照射するLED112a(図26)と、波長λ2の光を照射するLED112b(図26)を有するLEDユニット192が設けられている。
【0302】
なお、第1の実施の形態におけるセンサ21nでは、内蔵するLED112a及びLED112bが、センサ21nの検知範囲内を照射するようにしている。
【0303】
これに対して、第2の実施の形態におけるLEDユニット192は、ユーザがジェスチャを行うと想定される範囲、すなわち、例えば、複数のセンサ211乃至21Nそれぞれの検知範囲からなる範囲を照射するようにしている。この範囲が、物体を検知する検知範囲とされる。
【0304】
それ以外は、デジタルフォトフレーム1(図1)の場合と同様に構成される。
【0305】
なお、LEDユニット192は、LED112a(図26)からPD1911までの距離、LED112a(図26)からPD1912までの距離、LED112b(図26)からPD1911までの距離、及びLED112b(図26)からPD1912までの距離がいずれも同一となるように配置されることが望ましい。
【0306】
このように配置するためには、LEDユニット192は、PD1911とPD1912を結ぶ線分の中心を通る、表示画面1aと垂直な法線上に存在する必要がある。このことは、図28及び図29を参照して詳述する。
【0307】
次に、図23及び図24を参照して、デジタルフォトフレーム171が、PD1911及びPD1912からの出力結果に基づいて、X方向(図22において、PD1911及びPD1912が存在する左右方向)における物体41の位置や動きを認識する認識方法を説明する。
【0308】
なお、PD1911及びPD1912において、Z方向における物体41の位置や動きを認識する認識方法は、図2及び図3で説明した場合と同様である。
【0309】
図23は、図22において、図中下側からデジタルフォトフレーム171を見たときの様子の一例を示している。
【0310】
なお、LEDユニット192は、図23に示されるように、デジタルフォトフレーム171の前面において、ユーザがジェスチャなどを行うと想定される範囲を照射する。LEDユニット192は、例えば、図13Aに示された場合と同様に、LED112aの点灯、LED112bの点灯、及びLED112a及びLED112bの消灯を繰り返す。
【0311】
図23において、例えば、物体が、図中、左から中央、そして右方向に移動した場合、つまり、物体が、PD1911の真上付近からPD1912の真上付近まで移動した場合、PD1911及びPD1912からの出力結果に基づいて、物体の動きが認識される。
【0312】
次に、図24は、物体が、図23に示したような動きをした場合に、PD1911及びPD1912から、それぞれ出力される出力結果の一例を示している。
【0313】
なお、図24A乃至図24Cにおいては、PD1911及びPD1912からの出力結果として得られる極大部分を、簡略化して記載するようにしている。
【0314】
図24Aには、図23において、物体が左側に存在する場合に得られる出力結果の一例が示されている。すなわち、図24A左側にはPD1911の出力結果が、図24A中央にはPD1912の出力結果が示されている。
【0315】
なお、図24A左側において、横軸は時刻tを表しており、縦軸はPD1911からの出力結果Vを示している。このことは、後述する図24B左側、及び図24C左側についても同様である。
【0316】
また、図24A中央において、横軸は時刻tを表しており、縦軸はPD1912からの出力結果Vを示している。このことは、後述する図24B中央、及び図24C中央についても同様である。
【0317】
さらに、図24A右側には、PD1911の出力結果(図24A左側)からPD1912の出力結果(図24A中央)を差し引いて得られる差分が示されている。
【0318】
図24Bには、図23において、物体が中央に存在する場合に得られる出力結果の一例が示されている。すなわち、図24B左側にはPD1911の出力結果が、図24B中央にはPD1912の出力結果が示されている。
【0319】
また、図24B右側には、PD1911の出力結果(図241B左側)からPD1912の出力結果(図24B中央)を差し引いて得られる差分が示されている。
【0320】
図24Cには、図23において、物体が右側に存在する場合に得られる出力結果の一例が示されている。すなわち、図24C左側にはPD1911の出力結果が、図24C中央にはPD1912の出力結果が示されている。
【0321】
また、図24C右側には、PD1911の出力結果(図24C左側)からPD1912の出力結果(図24C中央)を差し引いて得られる差分が示されている。
【0322】
例えば、図23に示されるように、物体が左側に存在する場合、図24A左側及び中央に示されるように、PD1911の出力結果が大となり、PD1912の出力結果が小となる。したがって、図24A右側に示されるように、差分は正の値となる。
【0323】
また、図23に示されるように、物体が中央に存在する場合、図24B左側及び中央に示されるように、PD1911の出力結果と、PD1912の出力結果が(殆ど)同一となる。したがって、図24B右側に示されるように、差分は0となる。
【0324】
さらに、図23に示されるように、物体が右側に存在する場合、図24C左側及び中央に示されるように、PD1911の出力結果が小となり、PD1912の出力結果が大となる。したがって、図24C右側に示されるように、差分は負の値となる。
【0325】
すなわち、物体が、図23に示したような動きをした場合、図24A右側、図24B右側、及び図24C右側に示されるように、物体の動きに応じて、差分が減少していく。
【0326】
このため、デジタルフォトフレーム171は、差分の変化に応じて、物体の動きを認識することができる。
【0327】
[デジタルフォトフレーム171の詳細な構成例]
次に、図25は、デジタルフォトフレーム171の詳細な構成例を示している。
【0328】
なお、このデジタルフォトフレーム171は、図10に示されるデジタルフォトフレーム1と同様に構成されている部分について、同一の符号を付すようにしているため、それらの説明は、以下、適宜省略する。
【0329】
すなわち、デジタルフォトフレーム171において、複数のセンサ211乃至21Nを有する制御部66(図10)に代えて、複数のPD1911乃至191Nを有する制御部211が設けられている他は、デジタルフォトフレーム1と同様に構成される。
【0330】
なお、図22のデジタルフォトフレーム171の制御部211は、PD1911及び1912を有するものであるが、PD191nの個数は、2個に限定されない。
【0331】
[制御部211の詳細な構成例]
図26は、制御部211の詳細な構成例を示している。
【0332】
この制御部211は、PD191n(n=1,2,…,N)の他、処理部231、電流制御部92、タイミング制御部93、ゲイン制御部94n、LEDユニット192、及びAD変換部95nから構成される。なお、PD191nの前面には、レンズ115nと同様のレンズ232nが設けられている。
【0333】
電流制御部92は、電流制御部92nと同様の処理を行い、タイミング制御部93は、タイミング制御部93nと同様の処理を行う。また、図26において、ゲイン制御部94n及びAD変換部95nは、それぞれ、図11のゲイン制御部94n及びAD変換部95nと同様の処理を行う。
【0334】
さらに、LEDユニット192は、図11におけるLEDドライバ111n、LED112an、LED112bn、レンズ113an、及びレンズ113bnとそれぞれ同様に構成されるLEDドライバ111、LED112a、LED112b、レンズ113a、及びレンズ113bから構成される。
【0335】
PD191nは、PD114nと同様に、LED112aの点灯時に、LED112aから照射される波長λ1の光の反射光(例えば、波長λ1の光が照射されている物体41からの反射光)を受光する。
【0336】
そして、PD191nは、その受光により得られる受光輝度Vλ1に対してゲインコントロール処理を施し、処理後の受光輝度Vλ1をAD変換部95nに出力する。
【0337】
また、PD191nは、LED112bの点灯時に、LED112bから照射される波長λ2の光の反射光(例えば、波長λ2の光が照射されている物体41からの反射光)を受光する。
【0338】
そして、PD191nは、その受光により得られる受光輝度Vλ2に対してゲインコントロール処理を施し、処理後の受光輝度Vλ2をAD変換部95nに出力する。
【0339】
さらに、PD191nは、LED112a及びLED112bの消灯時に、照射光以外の外光の反射光(例えば、外光が照射されている物体41からの反射光)を受光する。
【0340】
そして、PD191nは、その受光により得られる受光輝度Vλoffに対してゲインコントロール処理を施し、処理後の受光輝度VλoffをAD変換部95nに出力する。
【0341】
処理部231は、処理部91と同様にして、電流制御部92、タイミング制御部93、及びゲイン制御部94nを制御する。
【0342】
また、処理部231には、各PD191nからAD変換部95nからを介して、輝度信号Vλ1、輝度信号Vλ2、及び輝度信号Vλoffが供給される。
【0343】
処理部231は、処理部91と同様にして、例えば、AD変換部95nからの輝度信号Vλ1、輝度信号Vλ2、及び輝度信号Vλoffに基づいて、LEDユニット192の照射範囲(検知範囲)に肌が存在するか否かを表す肌検出信号を生成する。
【0344】
また、処理部231は、例えば、AD変換部95nからの輝度信号Vλ1に基づいて、ジェスチャ認識情報を生成する。なお、処理部231は、第1の実施の形態における処理部91と同様にして、輝度信号Vλ2に基づいて生成したり、肌検出信号を、ジェスチャ認識情報とすることができる。
【0345】
処理部231は、生成した肌検出信号及びジェスチャ認識情報を、図25の入出力インタフェース65及びバス64を介して、CPU61に供給する。
【0346】
[デジタルフォトフレーム171が行う第3のジェスチャ認識処理]
次に、図27のフローチャートを参照して、デジタルフォトフレーム171が行う第3のジェスチャ認識処理について説明する。
【0347】
この第3のジェスチャ認識処理は、例えば、デジタルフォトフレーム171の電源がオンされたときに開始される。
【0348】
ステップS141において、処理部231は、電流制御部92、タイミング制御部93及びゲイン制御部94n等を介して、PD191n及びLEDユニット192を制御する。
【0349】
そして、処理部231は、各PD191n毎に、輝度信号Vλ1を生成してAD変換部95nに出力するVλ1取得処理を行わせる。
【0350】
すなわち、例えば、処理部231は、電流制御部92に、LED112aやLED112bに流す電流を、タイミング制御部93に、LED112aやLED112bの点灯及び消灯のタイミングを指示する。
【0351】
これに対して、電流制御部92及びタイミング制御部93は、処理部231からの指示にしたがって、LEDドライバ111を制御する。
【0352】
LEDドライバ111は、電流制御部92及びタイミング制御部93からの制御にしたがって、LED112aのみを点灯させることにより、波長λ1の光を照射させる。
【0353】
このとき、各PD191nは、それぞれ、波長λ1の光の照射により得られる反射光を受光し、受光した反射光を光電変換して得られる輝度信号Vλ1を、AD変換部95nに出力する。
【0354】
また、AD変換部95nは、それぞれ、PD191nからの輝度信号Vλ1をAD変換し、AD変換後の輝度信号Vλ1を、処理部231に供給する。
【0355】
ステップS142において、処理部231は、電流制御部92、タイミング制御部93及びゲイン制御部94n等を介して、PD191n及びLEDユニット192を制御する。
【0356】
そして、処理部231は、各PD191n毎に、輝度信号Vλ2を生成してAD変換部95nに出力するVλ2取得処理を行わせる。
【0357】
すなわち、例えば、処理部231は、電流制御部92に、LED112aやLED112bに流す電流を、タイミング制御部93に、LED112aやLED112bの点灯及び消灯のタイミングを指示する。
【0358】
これに対して、電流制御部92及びタイミング制御部93は、処理部231からの指示にしたがって、LEDドライバ111を制御する。
【0359】
LEDドライバ111は、電流制御部92及びタイミング制御部93からの制御にしたがって、LED112bのみを点灯させることにより、波長λ2の光を照射させる。
【0360】
このとき、各PD191nは、それぞれ、波長λ2の光の照射により得られる反射光を受光し、受光した反射光を光電変換して得られる輝度信号Vλ2を、AD変換部95nに出力する。
【0361】
また、AD変換部95nは、それぞれ、PD191nからの輝度信号Vλ2をAD変換し、AD変換後の輝度信号Vλ2を、処理部231に供給する。
【0362】
ステップS143において、処理部231は、電流制御部92、タイミング制御部93及びゲイン制御部94n等を介して、PD191n及びLEDユニット192を制御する。
【0363】
そして、処理部231は、各PD191n毎に、輝度信号Vλoffを生成してAD変換部95nに出力するVλoff取得処理を行わせる。
【0364】
すなわち、例えば、処理部231は、電流制御部92に、LED112aやLED112bに流す電流を、タイミング制御部93に、LED112aやLED112bの点灯及び消灯のタイミングを指示する。
【0365】
これに対して、電流制御部92及びタイミング制御部93は、処理部231からの指示にしたがって、LEDドライバ111を制御する。
【0366】
LEDドライバ111は、電流制御部92及びタイミング制御部93からの制御にしたがって、LED112a及びLED112bのいずれも消灯させる。
【0367】
このとき、各PD191nは、それぞれ、外光の反射光を受光し、受光した反射光を光電変換して得られる輝度信号Vλoffを、AD変換部95nに出力する。
【0368】
また、AD変換部95nは、それぞれ、PD191nからの輝度信号VλoffをAD変換し、AD変換後の輝度信号Vλoffを、処理部231に供給する。
【0369】
以上説明したステップS141乃至ステップS143の処理により、PD191nにより生成された輝度信号の組合せ(Vλ1,Vλ2,Vλoff)nが、AD変換部95nを介して処理部231にそれぞれ供給される。
【0370】
ステップS144において、処理部231は、PD191nからAD変換部95nを介して供給された輝度信号の組合せ(Vλ1,Vλ2,Vλoff)nに基づいて、処理部91と同様の肌判別処理を行う。この肌判別処理では、組合せ(Vλ1,Vλ2,Vλoff)n毎に、肌検出信号Dnが生成される。
【0371】
ステップS145において、処理部231は、例えば、輝度信号の組合せ(Vλ1,Vλ2,Vλoff)nの輝度信号Vλ1に基づいて、ジェスチャ認識情報Jnを生成する。
【0372】
処理部231は、生成した肌検出信号Dn及びジェスチャ認識情報Jnを、入出力インタフェース65及びバス64を介して、CPU61に供給する。
【0373】
ステップS146乃至ステップS148では、図16のステップS8乃至ステップS10と同様の処理が行われる。
【0374】
なお、第3のジェスチャ認識処理は、例えばデジタルフォトフレーム171の電源がオフされたときに終了される。
【0375】
以上説明したように、第3のジェスチャ認識処理によれば、LEDユニット192の照射範囲(検知範囲)内に、肌としての物体41が存在する場合、肌としての物体41の位置や動き等を認識するようにした。
【0376】
したがって、物体41が肌以外のものである場合に、物体41の位置や動き等を誤って認識し、その認識結果に応じた処理を行う事態を防止することが可能となる。
【0377】
なお、第3のジェスチャ認識処理は、第1のジェスチャ認識処理におけるステップS1乃至ステップS6を、ステップS141乃至ステップS145に置き換えたものである。
【0378】
したがって、例えば、第3のジェスチャ認識処理では、第1のジェスチャ認識処理の場合と同様の変形を行うことができる。
【0379】
すなわち、例えば、第3のジェスチャ認識処理では、ステップS146において、肌が検出されなかった場合、所定の時間だけ待機した上で、処理をステップS141に戻すことができる。
【0380】
また、第3のジェスチャ認識処理では、LEDユニット192の照射範囲から、肌としての物体を検出するための処理として、Vλ1取得処理、Vλ2取得処理、Vλoff取得処理、及び肌判別処理を繰り返して行うようにした。
【0381】
しかしながら、ステップS146において、肌としての物体が検出された場合には、第2のジェスチャ認識処理と同様に、LEDユニット192の照射範囲から、肌としての物体を検出するための処理を簡略化するようにしてもよい。
【0382】
この場合、第3ジェスチャ認識処理では、ステップS148の終了後、図20のステップS101乃至ステップS104に相当する処理として、ステップS141と同様のVλ1取得処理が行われ、そのVλ1取得処理により生成された輝度信号Vλ1に基づいて、処理部231が、ジェスチャ認識情報を生成する。
【0383】
また、処理部231は、PD191n毎に生成された輝度信号Vλ1及びジェスチャ認識情報を、入出力インタフェース65及びバス64を介して、CPU61に供給する。
【0384】
図20のステップS105に相当する処理として、CPU61は、各PD191n毎の輝度信号Vλ1に基づいて、LEDユニット192の照射範囲内に物体が検出されたか否かを判定する。
【0385】
そして、CPU61は、LEDユニット192の照射範囲内に物体が検出されたと判定した場合、処理をステップS147に戻し、それ以降同様の処理が行われる。
【0386】
また、CPU61は、LEDユニット192の照射範囲内に物体が検出されていないと判定した場合、処理をステップS141に戻し、それ以降同様の処理が行われる。
【0387】
さらに、第2の実施の形態では、第3のジェスチャ認識処理を行う前に、図21の近接物体検出処理に相当する処理を行なうことができる。
【0388】
すなわち、例えば、図21のステップS121及びステップS122に相当する処理として、図27のステップS141におけるVλ1取得処理を行う。これにより、処理部231には、PD191n毎の輝度信号Vλ1が供給される。
【0389】
次に、図21のステップS123に相当する処理として、処理部231は、PD191n毎の輝度信号Vλ1に基づいて、LEDユニット192の照射範囲内に物体が侵入したか否かを判定する。
【0390】
すなわち、例えば、処理部231は、PD191n毎の輝度信号Vλ1がそれぞれ表す輝度値の少なくとも1つが、予め決められた閾値以上となったか否かに基づいて、LEDユニット192の照射範囲内に物体が侵入したか否かを判定する。
【0391】
処理部231は、その判定結果に基づいて、LEDユニット192の照射範囲に対する物体の侵入を検出しない場合、処理を、ステップS121及びステップS122に相当する処理に戻し、それ以降同様の処理が行われる。
【0392】
また、処理部123は、判定結果に基づいて、LEDユニット192の照射範囲に対する物体の侵入を検出した場合、処理を、図21のステップS124に相当する処理に進め、第3のジェスチャ認識処理が行われる。
【0393】
なお、ステップS124に相当する処理として、第3のジェスチャ認識処理が行われる場合、以下のようにして第3のジェスチャ認識処理が終了され、図21の近接物体検出処理に相当する処理も終了される。
【0394】
すなわち、例えば、第3のジェスチャ認識処理のステップS146において、CPU61により、肌としての物体41が検出されていないと判定された場合、換言すれば、検知範囲内に侵入した物体41が肌ではないと判定された場合、第3のジェスチャ認識処理は終了される。そして、図21の近接物体検出処理に相当する処理は終了され、新たに、近接物体検出処理に相当する処理が開始される。
【0395】
また、第1の実施の形態の場合と同様にして、ステップS123に相当する処理として、LEDユニット192の照射範囲に物体が侵入していないと判定された場合、所定の時間だけ待機して、処理を、ステップS121及びステップS122に相当する処理に戻すようにしてもよい。
【0396】
[LEDユニット192の配置]
図28は、PD1911とPD1912を結ぶ線分の中心を通る、表示画面1aと垂直な法線上に存在するLEDユニット192の一例を示している。
【0397】
なお、LEDユニット192は、図28に示されるように、図中上下方向にLED112a及びLED112bが並ぶように配置されることが望ましい。これは、LED112a及びLED112bの位置に起因して、PD1911とPD1912による受光量に偏りが生じることを防止するためである。
【0398】
図28では、LED112aからPD1911までの距離と、LED112aからPD1912までの距離が同一となる。
【0399】
したがって、例えば、物体が、PD1911とPD1912を結ぶ線分の中心に存在する場合、PD1911及びPD1912は、いずれも(殆ど)同一の受光量で、物体から波長λ1の光の反射光を受光することができる。
【0400】
このため、PD1911及びPD1912から、図24B左側及び中央に示されるような同一の出力結果(輝度信号Vλ1)を得ることができるので、精度良くジェスチャなどを認識することが可能となる。
【0401】
また、LEDユニット192では、図28に示されるように、LED112bからPD1911までの距離と、LED112bからPD1912までの距離が同一となる。
【0402】
したがって、例えば、物体が、PD1911とPD1912を結ぶ線分の中心に存在する場合、PD1911及びPD1912は、いずれも(殆ど)同一の受光量で、物体から波長λ2の光の反射光を受光することができる。
【0403】
このため、PD1911及びPD1912から、図24B左側及び中央に示されるような同一の出力結果(輝度信号Vλ2)を得ることができるので、波長λ2の光の照射時における出力結果を用いる場合にも、精度良くジェスチャなどを認識することが可能となる。
【0404】
さらに、LEDユニット192では、図28に示されるように、LED112aからPD1911までの距離と、LED112bからPD1911までの距離が同一となる。
【0405】
したがって、例えば、物体が、PD1911とPD1912を結ぶ線分の中心に存在する場合、PD1911は、いずれも(殆ど)同一の受光量で、物体から波長λ1の光の反射光と、波長λ2の光の反射光とを受光することができる。
【0406】
このような状況で、PD1911において輝度信号Vλ1及び輝度信号Vλ2を生成することができるので、精度良く肌を判別することが可能となる。
【0407】
また、LEDユニット192では、図28に示されるように、LED112aからPD1912までの距離と、LED112bからPD1912までの距離が同一となるため、PD1912についても、PD1911と同様のことが言える。
【0408】
次に、図29は、PD1911とPD1912を結ぶ線分の中心を通る、表示画面1aと垂直な法線上に存在するLEDユニット192の他の一例を示している。
【0409】
なお、図29に示されるLEDユニット192は、図中左右方向にLED112a及びLED112bが並ぶように配置されている。
【0410】
この場合、図28に示した場合とは異なり、例えば、LED112aからPD1911までの距離と、LED112aからPD1912までの距離が異なるものとなる。
【0411】
したがって、例えば、物体が、PD1911とPD1912を結ぶ線分の中心に存在する場合、PD1911及びPD1912は、それぞれ、異なる受光量で、物体から波長λ1の光の反射光を受光することになってしまう。
【0412】
この場合、PD1911及びPD1912から、図24B左側及び中央に示されるような所望の出力結果(輝度信号Vλ1)が得られなくなってしまう。
【0413】
そこで、LEDユニット192を、図29に示したように配置した場合には、PD1911及びPD1912でそれぞれ行われるゲインコントロール処理により、PD1911及びPD1912から、図24B左側及び中央に示されるような所望の出力結果が得られるように調整することが望ましい。
【0414】
[PDを3個とする場合の構成]
次に、図30は、デジタルフォトフレーム171において、3個のPD1911乃至1913を設けるようにした場合の一例が示されている。
【0415】
図30に示される構成では、PD1911及びPD1912からの出力結果に基づいて、図24A乃至図24Cに示したようにして、図中左右方向のジェスチャなどを認識することができる。
【0416】
また、PD1912及びPD1913からの出力結果に基づいて、PD1911及びPD1912からの出力結果を用いる場合と同様にして、図中上下方向のジェスチャなどを認識することができる。
【0417】
なお、PD1912及びPD1913からの出力結果を用いる場合、LED112bから波長λ2の光が照射された物体の反射光を受光することにより出力される出力結果が用いられる。
【0418】
これは、LED112bからPD1912までの距離と、LED112bからPD1913までの距離が同一であることによる。これにより、PD1912及びPD1913からは、図24A乃至図24Cに示したような所望の出力結果を得ることができる。
【0419】
なお、肌検出信号の生成時には、LED112aまでの距離と、LED112bまでの距離が同一となるPD1911(又はPD1912)からの出力結果(輝度信号Vλ1,Vλ2,Vλoff)を用いることが望ましい。
【0420】
[PDを4個とする場合の構成]
次に、図31は、デジタルフォトフレーム171において、4個のPD1911乃至1914を設けるようにした場合の一例が示されている。
【0421】
図31に示される構成では、PD1911及びPD1912からの出力結果に基づいて、図24A乃至図24Cに示したようにして、図中左右方向のジェスチャなどを認識することができる。
【0422】
なお、図31において、LED112aからPD1911までの距離と、LED112aからPD1912までの距離は同一である。また、LED112bからPD1911までの距離と、LED112bからPD1912までの距離は同一である。
【0423】
したがって、PD1911及びPD1912からの出力結果を用いる場合、LED112aから波長λ1の光が照射されたている物体の反射光を受光することにより出力される出力結果、又はLED112bから波長λ2の光が照射されている物体の反射光を受光することにより出力される出力結果のいずれを用いるようにしてもよい。
【0424】
このことは、図31において、PD1913及びPD1914からの出力結果に基づいて、図24A乃至図24Cに示したようにして、図中左右方向のジェスチャなどを認識する場合についても同様である。
【0425】
また、図31では、PD1912及びPD1913からの出力結果に基づいて、PD1911及びPD1912からの出力結果を用いる場合と同様にして、図中上下方向のジェスチャなどを認識することができる。
【0426】
さらに、図31において、PD1911及びPD1914からの出力結果に基づいて、図24A乃至図24Cに示したようにして、図中上下方向のジェスチャなどを認識するようにしてもよい。
【0427】
なお、図31では、いずれのPD1911乃至1914も、LED112aまでの距離と、LED112bまでの距離が異なる。
【0428】
したがって、肌検出信号の生成時には、PD1911とPD1914とを1個の第1のPDとして扱い、PD1912とPD1913とを1個の第2のPDとして扱うようにする。
【0429】
そして、PD1911からの出力結果と、PD1914からの出力結果との和を、第1のPDからの出力結果とし、PD1912からの出力結果と、PD1913からの出力結果との和を、第2のPDからの出力結果として扱う。
【0430】
このようにすれば、第1のPDと第2のPDは、図28に示されるPD1911とPD1912の場合と同様に考えることができる。
【0431】
[PDを3個とし、LEDユニットを2個とする場合の構成]
次に、図32は、デジタルフォトフレーム171において、3個のPD1911乃至1913を設けるとともに、2個のLEDユニット192及びLEDユニット271を設けるようにした場合の一例が示されている。
【0432】
なお、図32に示される場合、LEDユニット192は、第1の照射範囲を照射し、LEDユニット271は、第1の照射範囲とは異なる第2の照射範囲を照射する。なお、第1の照射範囲と第2の照射範囲とは、一部だけ重複していてもよい。
【0433】
図32のように構成した場合、PD1911,PD1912、並びに、LED112a及びLED112bを有するLEDユニット192の組合せにより、第1の照射範囲内における物体が肌であるか否かの判別や、第1の照射範囲内において、図中左右方向のジェスチャなどを認識する。
【0434】
また、PD1912,PD1913、並びに、LED291a及びLED291bを有するLEDユニット271の組合せにより、第2の照射範囲内における物体が肌であるか否かの判別や、第2の照射範囲内において、図中上下方向のジェスチャなどを認識する。
【0435】
<3.第3の実施の形態>
[デジタルフォトフレーム331の構成例]
次に、図33は、第3の実施の形態であるデジタルフォトフレーム331の構成例を示している。
【0436】
このデジタルフォトフレーム331は、表示画面1aを有している。また、表示画面1aの上側に、PD351が設けられている。そして、PD351の図中左右方向にLEDユニット3711及びLEDユニット3712が設けられている。
【0437】
PD351は、図22のPD191n(例えば、PD1911)と同様に構成される。また、LEDユニット3711及びLEDユニット3712は、それぞれ、図22のLEDユニット192と同様に構成される。
【0438】
なお、LEDユニット3711及びLEDユニット3712は、それぞれ、例えば、デジタルフォトフレーム331の前でユーザのジェスチャなどが行われると想定される想定範囲を照射範囲として照射する。
【0439】
次に、図34は、PD351とLEDユニット3711及びLEDユニット3712の位置関係の一例を示している。
【0440】
なお、LEDユニット3711は、波長λ1の光を照射するLED391a1、及び波長λ2の光を照射するLED391b1を有している。
【0441】
また、LEDユニット3712は、波長λ1の光を照射するLED391a2、及び波長λ2の光を照射するLED391b2を有している。
【0442】
PD351とLEDユニット3711は、図34に示されるように、PD351からLED391a1までの距離と、PD351からLED391b1までの距離が同一となるように配置されている。
【0443】
したがって、LED391a1の点灯時にPD351により生成される輝度信号Vλ1、LED391b1の点灯時にPD351により生成される輝度信号Vλ2、並びに、LED391a1及びLED391b1の消灯時にPD351により生成される輝度信号Vλoffに基づいて、比較的、精度の良い肌検出信号を生成することができる。
【0444】
さらに、PD351とLEDユニット3712は、図34に示されるように、PD351からLED391a2までの距離と、PD351からLED391b2までの距離が同一となるように配置されている。
【0445】
したがって、LED391a2の点灯時にPD351により生成される輝度信号Vλ1、LED391b2の点灯時にPD351により生成される輝度信号Vλ2、並びに、LED391a2及びLED391b2の消灯時にPD351により生成される輝度信号Vλoffに基づいて、比較的、精度の良い肌検出信号を生成することができる。
【0446】
図34では、LED391a1の点灯時にPD351から出力される出力結果と、LED391a2の点灯時にPD351から出力される出力結果を比較することにより、図中左右方向の動きなどを認識することができる。なお、LED391b1の点灯時及びLED391b2の点灯時に、それぞれ、PD351から出力される出力結果を比較して、図中左右方向の動き等を認識するようにしてもよい。
【0447】
すなわち、例えば、LEDユニット3711の真上付近に物体が存在する場合、LED391a1の点灯時にPD351から出力される出力結果として、図24A左側に示されるような出力結果が、LED391a2の点灯時にPD351から出力される出力結果として、図24A中央に示されるような出力結果が得られる。
【0448】
また、例えば、PD351の真上付近に物体が存在する場合、LED391a1の点灯時にPD351から出力される出力結果として、図24B左側に示されるような出力結果が、LED391a2の点灯時にPD351から出力される出力結果として、図24B中央に示されるような出力結果が得られる。
【0449】
さらに、例えば、LEDユニット3712の真上付近に物体が存在する場合、LED391a1の点灯時にPD351から出力される出力結果として、図24C左側に示されるような出力結果が、LED391a2の点灯時にPD351から出力される出力結果として、図24C中央に示されるような出力結果が得られる。
【0450】
このことは、波長λ1の光を照射するLED391a1及びLED391a2に代えて、波長λ2の光を照射するLED391b1及びLED391b2を点灯させる場合についても同様のことが言える。
【0451】
なお、図35に示されるように、LEDユニット3712を、PD351の下側に配置するようにすれば、図中左右方向のジェスチャの他、図中上下方向のジェスチャを認識することができる。
【0452】
図35において、図中左右方向のジェスチャを認識するときには、LED391b1の点灯時におけるPD351の出力結果と、LED391b2の点灯時におけるPD351の出力結果が利用される。
【0453】
また、図35において、図中上下方向のジェスチャを認識するときには、LED391a1の点灯時におけるPD351の出力結果と、LED391a2の点灯時におけるPD351の出力結果が利用される。
【0454】
なお、図35において、左右方向のジェスチャを認識する場合と、上下方向のジェスチャを認識する場合とで、異なるLEDの組合せを用いるようにしているのは、以下の理由による。次に、図36を参照して、その理由を説明する。
【0455】
図36は、図35において、図中、左から右方向に物体が動いたときのPD351の出力結果の一例を示している。
【0456】
図中、実線で示されるグラフは、LED391b1の点灯時にPD351から得られる出力結果の一例を示している。このグラフは、時刻t1において極大値とされている。
【0457】
また、図中、点線で示されるグラフは、LED391b2の点灯時にPD351から得られる出力結果の一例を示している。このグラフは、時刻t2において極大値とされている。
【0458】
図35において、図中、左から右方向に動く物体からLED391b1までの距離と、その物体からLED391b2までの距離との差が比較的小さいものとなっている。
【0459】
したがって、図36に示されるように、LED391b1の点灯時にPD351から得られる出力結果と、LED391b2の点灯時にPD351から得られる出力結果とで、極大値が生じるまでの時間差|t1-t2|が比較的短いものとなっている。
【0460】
このため、例えば、PD351の検出結果によっては、ほぼ同時刻に極大値が生じた出力結果が得られてしまい、物体の動きを正確に認識できないことが生じ得る。
【0461】
そこで、図中、左から右方向に動く物体のジェスチャを認識する際には、LED391a1とLED391a2との組合せを用いるようにしている。これは、LED391b1とLED391b2との組合せと比較して、物体からLED391a1までの距離と、物体からLED391a2までの距離との差が比較的大きいことによる。
【0462】
[デジタルフォトフレーム331の詳細な構成例]
次に、図37は、デジタルフォトフレーム331の詳細な構成例を示している。
【0463】
なお、このデジタルフォトフレーム331は、図10に示されるデジタルフォトフレーム1と同様に構成されている部分について、同一の符号を付すようにしているため、それらの説明は、以下、適宜省略する。
【0464】
すなわち、デジタルフォトフレーム331において、複数のセンサ211乃至21Nを有する制御部66(図10)に代えて、複数のLEDユニット3711乃至371Nを有する制御部411が設けられている他は、デジタルフォトフレーム1と同様に構成される。
【0465】
[制御部411の詳細な構成例]
図38は、制御部411の詳細な構成例を示している。
【0466】
この制御部411は、LEDユニット371n(n=1,2,…,N)の他、電流制御部92n、タイミング制御部93n、ゲイン制御部94、AD変換部95、PD351、及び処理部431から構成される。なお、PD351の前面には、レンズ352が設けられている。
【0467】
また、図38の電流制御部92n、タイミング制御部93n、及びLEDドライバ111nは、それぞれ、図11の電流制御部92n、タイミング制御部93n、及びLEDドライバ111nと同様に構成されているため、同一の符号を付している。
【0468】
さらに、図38のゲイン制御部94及びAD変換部95は、それぞれ、図11のゲイン制御部94n及びAD変換部95nと同様に構成される。また、図38のPD351は、図11のPD114nと同様に構成される。
【0469】
LED391an、LED391bn、レンズ392an、及びレンズ392bnは、それぞれ、図11のLED112an、LED112bn、レンズ113an、及びレンズ113bnと同様に構成される。
【0470】
処理部431は、図11の処理部91と同様にして、電流制御部92n、タイミング制御部93n及びゲイン制御部94を制御する。
【0471】
なお、LEDユニット371nは、図13を参照して説明したセンサ21nのLED112an及びLED112bnと同様にして、LED391anの点灯及び消灯、並びに、LED391bnの点灯及び消灯を行う。
【0472】
[デジタルフォトフレーム331が行う第4のジェスチャ認識処理]
次に、図39のフローチャートを参照して、デジタルフォトフレーム331が行う第4のジェスチャ認識処理について説明する。
【0473】
この第4のジェスチャ認識処理は、例えば、デジタルフォトフレーム331の電源がオンされたときに開始される。
【0474】
ステップS161において、処理部431は、複数のLEDユニット3711乃至371Nのうち、所定のLEDユニット371nに注目し、注目LEDユニット371nとする。
【0475】
ステップS162において、処理部431は、注目LEDユニット371n及びPD351を用いて、輝度信号Vλ1を生成してAD変換部95に出力させるVλ1取得処理を行わせる。
【0476】
すなわち、例えば、処理部431は、電流制御部92nに、LED391anやLED391bnに流す電流を、タイミング制御部93nに、LED391anやLED391bnの点灯及び消灯のタイミングを指示する。
【0477】
これに対して、電流制御部92n及びタイミング制御部93nは、処理部431からの指示にしたがって、LEDドライバ111nを制御する。
【0478】
LEDドライバ111nは、電流制御部92n及びタイミング制御部93nからの制御にしたがって、LED391anのみを点灯させることにより、波長λ1の光を照射させる。
【0479】
このとき、PD351は、波長λ1の光の照射により得られる反射光を受光し、受光した反射光を光電変換して得られる輝度信号Vλ1を、AD変換部95に出力する。
【0480】
AD変換部95は、PD351からの輝度信号Vλ1をAD変換し、AD変換後の輝度信号Vλ1を、処理部431に供給する。
【0481】
ステップS163において、処理部431は、注目LEDユニット371n及びPD351を用いて、輝度信号Vλ2を生成してAD変換部95に出力させるVλ2取得処理を行わせる。
【0482】
すなわち、例えば、処理部431は、電流制御部92nに、LED391anやLED391bnに流す電流を、タイミング制御部93nに、LED391anやLED391bnの点灯及び消灯のタイミングを指示する。
【0483】
これに対して、電流制御部92n及びタイミング制御部93nは、処理部431からの指示にしたがって、LEDドライバ111nを制御する。
【0484】
LEDドライバ111nは、電流制御部92n及びタイミング制御部93nからの制御にしたがって、LED391bnのみを点灯させることにより、波長λ2の光を照射させる。
【0485】
このとき、PD351は、波長λ2の光の照射により得られる反射光を受光し、受光した反射光を光電変換して得られる輝度信号Vλ2を、AD変換部95に出力する。
【0486】
AD変換部95は、PD351からの輝度信号Vλ2をAD変換し、AD変換後の輝度信号Vλ2を、処理部431に供給する。
【0487】
ステップS164において、処理部431は、注目LEDユニット371n及びPD351を用いて、輝度信号Vλoffを生成してAD変換部95に出力させるVλoff取得処理を行わせる。
【0488】
すなわち、例えば、処理部431は、電流制御部92nに、LED391anやLED391bnに流す電流を、タイミング制御部93nに、LED391anやLED391bnの点灯及び消灯のタイミングを指示する。
【0489】
これに対して、電流制御部92n及びタイミング制御部93nは、処理部431からの指示にしたがって、LEDドライバ111nを制御する。
【0490】
LEDドライバ111nは、電流制御部92n及びタイミング制御部93nからの制御にしたがって、LED391an及びLED391bnを消灯させる。
【0491】
このとき、PD351は、外光の反射光を受光し、受光した反射光を光電変換して得られる輝度信号Vλoffを、AD変換部95に出力する。
【0492】
AD変換部95は、PD351からの輝度信号VλoffをAD変換し、AD変換後の輝度信号Vλoffを、処理部431に供給する。
【0493】
以上説明したステップS162乃至ステップS164の処理により、PD351からAD変換部95を介して処理部431には、輝度信号の組合せ(Vλ1,Vλ2,Vλoff)nが供給される。なお、組合せ(Vλ1,Vλ2,Vλoff)nの添え字nは、注目LEDユニット371nの添え字nと対応している。
【0494】
ステップS165では、処理部431は、AD変換部95からの輝度信号の組合せ(Vλ1,Vλ2,Vλoff)nに基づいて、処理部91と同様の肌判別処理を行う。この肌判別処理では、肌検出信号Dnが生成される。
【0495】
ステップS166において、処理部431は、例えば、輝度信号の組合せ(Vλ1,Vλ2,Vλoff)nの輝度信号Vλ1に基づいて、ジェスチャ認識情報Jnを生成する。
【0496】
処理部431は、生成した肌検出信号、及びジェスチャ認識情報を、入出力インタフェース65及びバス64を介して、CPU61に供給する。
【0497】
ステップS167では、処理部431は、複数のLEDユニット3711乃至371Nの全てに注目したか否かを判定し、複数のLEDユニット3711乃至371Nの全てに注目していないと判定した場合、処理をステップS161に戻す。
【0498】
そして、ステップS161では、処理部431は、複数のLEDユニット3711乃至371Nのうち、まだ注目していないLEDユニット371nを、新たな注目LEDユニット371nとし、それ以降、同様の処理が行われる。
【0499】
また、ステップS167では、処理部431は、複数のLEDユニット3711乃至371Nの全てに注目したと判定した場合、処理をステップS168に進める。
【0500】
以上説明したステップS161乃至ステップS167の処理により、CPU61には、各LEDユニット3711乃至371Nが注目される毎に、PD351から入出力インタフェース65及びバス64を介して、肌検出信号及びジェスチャ認識情報が供給される。
【0501】
ステップS168乃至ステップS170では、図16のステップS8乃至ステップS10と同様の処理が行われる。
【0502】
なお、第4のジェスチャ認識処理は、例えばデジタルフォトフレーム331の電源がオフされたときに終了される。
【0503】
以上説明したように、第4のジェスチャ認識処理によれば、PD351の検知範囲(各LEDユニット371nそれぞれが照射する同一の照射範囲)内に、肌としての物体が存在する場合、肌としての物体の位置や動き等を認識するようにした。
【0504】
したがって、物体が肌以外のものである場合に、物体の位置や動き等を誤って認識し、その認識結果に応じた処理を行う事態を防止することが可能となる。
【0505】
なお、第4のジェスチャ認識処理については、第1のジェスチャ認識処理と同様の変形を行うことができる。
【0506】
例えば、第4のジェスチャ認識処理を、図20に示した第2のジェスチャ認識処理のように変形した場合、図20のステップS91及びステップS101にそれぞれ相当する処理では、処理部431において、LEDユニット371nに注目することが行われる。
【0507】
また、図20のステップS97及びステップS104にそれぞれ相当する処理では、処理部431において、全てのLEDユニット371nに注目したか否かを判定することが行われる。それ以外は、図20に示した第2のジェスチャ認識処理と同様の処理が行われる。
【0508】
さらに、例えば、図21に示される近接物体検出処理に相当する処理を行うようにし、物体が、PD351の検知範囲内に侵入したことに対応して、第4のジェスチャ認識処理を行うようにしてもよい。
【0509】
この場合、図21のステップS121及びステップS122に相当する処理として、所定のLEDユニット371nとPD351とによるVλ1取得処理が行われる。そして、図21のステップS123に相当する処理として、処理部431により、Vλ1取得処理から得られる輝度信号Vλ1に基づいて、PD351の検知範囲に対する物体が侵入されたか否かが判定される。
【0510】
図21のステップS123に相当する処理として、その判定結果に基づいて、PD351の検知範囲に対する物体が侵入されていないことが検出された場合、図21のステップS121及びステップS122に相当する処理に戻り、Vλ1取得処理が行われる。
【0511】
また、図21のステップS123に相当する処理として、その判定結果に基づいて、PD351の検知範囲に対する物体が侵入されたことが検出された場合、図21のステップS124に相当する処理として、第3のジェスチャ認識処理が行われる。
【0512】
<4.変形例>
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。また、本開示において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0513】
さらに、本開示における実施の形態は、上述した第1乃至第3の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【0514】
また、本開示において、物体が肌であるか否かを区別し、肌としての物体の位置や動き等を認識するデジタルフォトフレームについて説明した。しかしながら、その他、例えば、タブレットPCや携帯電話機などの電子機器についても、物体が肌であるか否かを区別し、肌としての物体の位置や動き等を認識する処理を行わせることができる。
【0515】
また、第1の実施の形態では、デジタルフォトフレーム1において、肌検出信号やジェスチャ認識情報等を出力する制御部66を設け、CPU61が、制御部66からの出力結果に基づいて、肌としての物体の動き等を認識するようにした。
【0516】
しかしながら、肌検出信号やジェスチャ認識情報等を出力する制御部66を、1のジェスチャ出力機器として構成することもできる。
【0517】
この場合、ジェスチャ出力機器と、制御部66を有さないデジタルフォトフレーム等が接続され、そのようなデジタルフォトフレームでは、接続されたジェスチャ出力機器からの出力結果に応じて、表示画面の内容などを変更する。なお、このことは、第2及び第3の実施の形態においても同様である。
【0518】
なお、本技術は以下のような構成もとることができる。
(1)
第1の波長の光を照射する第1の照射部と、
前記第1の波長とは異なる第2の波長の光を照射する第2の照射部と
を有する照射ユニットと、
前記第1の波長の光が照射されている物体からの反射光を受光したことに応じて、第1の検出用信号を生成し、
前記第2の波長の光が照射されている前記物体からの反射光を受光したことに応じて、第2の検出用信号を生成する
受光部と、
前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する肌検出部と、
前記第1又は第2の検出用信号の少なくとも一方に基づいて、肌として検出された前記物体の位置又は動きの少なくとも一方を認識するための認識情報を生成する生成部と
を含む情報処理装置。
(2)
前記受光部と同様に構成された他の受光部をさらに含み、
前記生成部は、複数の前記受光部毎に生成された前記第1又は第2の検出用信号の少なくとも一方に基づいて、前記認識情報を生成する
前記(1)に記載の情報処理装置。
(3)
前記第1の照射部は、複数の前記受光部のそれぞれから同一の距離に配置されており、
前記生成部は、前記複数の受光部毎に生成された前記第1の検出用信号に基づいて、前記認識情報を生成する
前記(2)に記載の情報処理装置。
(4)
前記受光部は、前記第1の照射部と前記第2の照射部から、それぞれ同一の距離に配置されており、
前記肌検出部は、前記受光部により生成された前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する
前記(2)に記載の情報処理装置。
(5)
前記照射ユニットと同様に構成された他の照射ユニットをさらに含み、
前記受光部は、
異なるタイミングで前記第1の波長の光を照射する前記照射ユニット毎に、前記第1の検出用信号を生成し、
異なるタイミングで前記第2の波長の光を照射する前記照射ユニット毎に、前記第2の検出用信号を生成し、
前記生成部は、前記照射ユニット毎に生成された前記第1又は第2の検出用信号の少なくとも一方に基づいて、前記認識情報を生成する
前記(1)に記載の情報処理装置。
(6)
前記生成部は、第1の方向における前記第1の照射部どうしの間隔が、前記第2の照射部どうしの間隔よりも長い場合、前記受光部により、前記複数の照射ユニット毎に生成された前記第1の検出用信号に基づいて、前記第1の方向に垂直な第2の方向における前記物体の位置又は動きの少なくとも一方を認識するための前記認識情報を生成する
前記(5)に記載の情報処理装置。
(7)
前記照射ユニットと前記受光部とを有する複数のセンサであって、前記センサ毎に異なる照射範囲を照射する前記照射ユニットを有する前記センサをさらに含み、
前記肌検出部は、前記複数のセンサ毎に生成される前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出し、
前記生成部は、前記複数のセンサ毎に生成される前記第1又は第2の検出用信号の少なくとも一方に基づいて、前記認識情報を生成する
前記(1)に記載の情報処理装置。
(8)
前記第1の検出用信号に基づいて、前記物体が予め決められた検知範囲内に侵入したか否かを検出する近接検出部をさらに含み、
前記肌検出部は、前記物体が前記検知範囲内に侵入したと検出されたことに対応して、前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する
前記(1)乃至(7)に記載の情報処理装置。
(9)
前記物体が肌であることが検出されたことに対応して、前記第1の検出用信号に基づき、前記物体が予め決められた検知範囲内に存在するか否かを検出する物体検出部をさらに含み、
前記情報処理装置では、前記物体が前記検知範囲内に存在すると検出された場合、前記物体が肌であるものとして取り扱う
前記(1)乃至(8)に記載の情報処理装置。
(10)
前記物体の位置に応じた大きさの出力信号を生成する信号生成部をさらに含み、
前記生成部は、前記出力信号にも基づいて、前記認識情報を生成する
前記(1)乃至(9)に記載の情報処理装置。
(11)
前記第1の波長λ1、及び前記第1の波長λ1よりも長波長である前記第2の波長λ2は、
640nm ≦ λ1 ≦ 1000nm
900nm ≦ λ2 ≦ 1100nm
を満たす前記(1)乃至(10)に記載の情報処理装置。
(12)
前記第1の照射部は、前記第1の波長λ1の不可視光を照射し、
前記第2の照射部は、前記第2の波長λ2の不可視光を照射する
前記(11)に記載の情報処理装置。
(13)
前記受光部には、前記受光部に入射される可視光を遮断する可視光カットフィルタが設けられている
前記(1)乃至(9)に記載の情報処理装置。
【0519】
<5.その他>
ところで、第1の実施の形態であるデジタルフォトフレーム1(図1)では、図40に示されるように、各センサ21nにより処理が行われる。
【0520】
[PDの飽和について]
次に、図40は、各センサ21nが行う処理の概要を示している。
【0521】
例えば、センサ211において、図40Aに示されるように、点灯期間「LED λ1」でLED112a1が点灯し、点灯期間「LED λ2」でLED112b1が点灯し、消灯期間「LED off」でLED112a1及びLED112b1が消灯する。
【0522】
なお、このとき、他のセンサ212乃至21Nは、図40Aに示されるいずれの期間「LED λ1」、「LED λ2」及び「LED off」においても消灯しているものとする。
【0523】
これに対応して、センサ211において、図40C上側に示されるように、PD1141は、LED112a1により、波長λ1の光が照射されている物体からの反射光を受光して得られる輝度信号Lum#1_λ1を出力する。
【0524】
また、センサ211において、図40C上側に示されるように、PD1141は、LED112b1により、波長λ2の光が照射されている物体からの反射光を受光して得られる輝度信号Lum#1_λ2を出力する。
【0525】
さらに、例えば、センサ212において、図40Bに示されるように、点灯期間「LED λ1」でLED112a2が点灯し、点灯期間「LED λ2」でLED112b2が点灯し、消灯期間「LED off」でLED112a2及びLED112b2が消灯する。
【0526】
なお、このとき、他のセンサ211及び213乃至21Nは、図40Bに示されるいずれの期間「LED λ1」、「LED λ2」及び「LED off」においても消灯しているものとする。
【0527】
これに対応して、センサ212において、図40C下側に示されるように、PD1142は、LED112a2により、波長λ1の光が照射されている物体からの反射光を受光して得られる輝度信号Lum#2_λ1を出力する。
【0528】
また、センサ212において、図40C下側に示されるように、PD1142は、LED112b2により、波長λ2の光が照射されている物体からの反射光を受光して得られる輝度信号Lum#2_λ2を出力する。
【0529】
そして、処理部91は、図40Dに示されるように、センサ211のPD1141からAD変換部951を介して出力される輝度信号Lum#1_λ1及び輝度信号Lum#1_λ2等に基づいて、肌検出信号を生成する。
【0530】
また、処理部91は、図40Dに示されるように、センサ212のPD1142からAD変換部952を介して出力される輝度信号Lum#2_λ1及び輝度信号Lum#2_λ2等に基づいて、肌検出信号を生成する。
【0531】
ところで、例えば、センサ211に対して、ユーザの手等を近づけていくと、ある距離で、図41C上側に示されるように、センサ211のPD1141からの出力としての輝度信号Lum#1_λ1が飽和してしまうことが生じ得る。
【0532】
なお、図41では、図41C上側が、図40の場合と異なるものの、それ以外については同様である。
【0533】
図41上側に示されるように、輝度信号Lum#1_λ1が飽和してしまった場合、輝度信号Lum#1_λ1と輝度信号Lum#1_λ2との差が小さくなってしまう。
【0534】
このため、処理部91において、飽和した輝度信号Lum#1_λ1と輝度信号Lum#1_λ2等に基づいて、肌検出信号を生成する場合、誤った肌検出信号(例えば、物体が肌であるのに、肌が検出されなかったことを表す肌検出信号)が生成されることが生じ得る。
【0535】
この点について、ユーザは、例えばデジタルフォトフレーム1の前で手をかざしてジェスチャ操作を行う場合、最初に手をかざす時点で、ユーザ自身が手の位置を調整し、無意識に、手が正確に検知される位置を探す傾向にある。
【0536】
したがって、例えば、図41上側に示されるように、輝度信号Lum#1_λ1が飽和する事態は殆ど発生しないと言える。
【0537】
しかしながら、操作中にそのような事態が発生した場合、デジタルフォトフレーム1において、ユーザの手等の動きなどに応じた処理が行われないことが生じ得るため、ユーザは、ジェスチャによる操作を妨げられた感覚に陥ってしまう。
【0538】
したがって、例えば、処理部91において、図示せぬ内蔵のメモリなどに、各PD141nの内部状態を保持するようにし、その内部状態の遷移に応じて、肌検出状態を決定することが望ましい。
【0539】
次に、図42は、PD141nの内部状態(を表す情報)が遷移する様子の一例を示している。
【0540】
図42において、内部状態「NO_SKIN」は、肌部を検出していない状態を表す。PD141nの内部状態が「NO_SKIN」である場合、処理部91は、Sensor#n Detect = FALSE、すなわち、肌が検出されていないことを表す肌検出信号(OFFとされた肌検出信号)を出力する。
【0541】
また、図42において、内部状態「SKIN_DETECT」は、肌部を検出している状態を表す。PD141nの内部状態が「SKIN_DETECT」である場合、処理部91は、Sensor#n Detect = TRUE、すなわち、肌が検出されたことを表す肌検出信号(ONとされた肌検出信号)を出力する。
【0542】
処理部91は、PD141nからAD変換部95nを介して供給される輝度信号Lum#n_λ1及び輝度信号Lum#n_λ2(#nはPD141nの添え字nと対応する)に基づいて、{(Lum#n_λ1-Lum#n_λ2)×100/Lum#n_λ1}を算出する。なお、Lum#n_λ1及びLum#n_λ2は、それぞれ、輝度信号Lum#n_λ1及び輝度信号Lum#n_λ2がそれぞれ表す輝度値を示している。
【0543】
そして、処理部91は、算出した{(Lum#n_λ1-Lum#n_λ2)×100/Lum#n_λ1}が、所定の閾値(例えば、10)を超える場合に、図42に示される「肌を検出」と判断し、PD141nの内部状態を、「NO_SKIN」から「SKIN_DETECT」に遷移させる。
【0544】
なお、処理部91は、算出した{(Lum#n_λ1-Lum#n_λ2)×100/Lum#n_λ1}が、所定の閾値を超えない場合、PD141nの内部状態を遷移させず、「NO_SKIN」のままとする。
【0545】
また、処理部91は、輝度値としてのLum#n_λ1、Lum#n_λ2、又は(Lum#n_λ1+ Lum#n_λ2)の少なくとも1つに基づいて、PD141nの内部状態を、「SKIN_DETECT」から「NO_SKIN」に遷移させるか否かを判断し、肌判別処理による判断に基づいて、「SKIN_DETECT」から「NO_SKIN」に遷移させることはしない。
【0546】
具体的には、例えば、処理部91は、図42に示されるように、輝度値としてのLum#n_λ1がある閾値未満である場合に、PD141nの内部状態を、「SKIN_DETECT」から「NO_SKIN」に遷移させる。
【0547】
なお、例えば、処理部91は、輝度値としてのLum#n_λ1がある閾値未満ではない場合に、PD141nの内部状態を遷移させず、「SKIN_DETECT」のままとする。
【0548】
例えば、処理部91は、上述したようにして、PD141nからAD変換部95nを介して供給される輝度信号に基づいて、PD141nの内部状態を決定する。そして、処理部91は、決定したPD141nの内部状態に応じた肌検出信号を出力する。
【0549】
すなわち、例えば、処理部91は、PD141nの内部状態が「NO_SKIN」である場合、Sensor#n Detect = FALSE、すなわち、肌が検出されていないことを表す肌検出信号(OFFとされた肌検出信号)を出力する。
【0550】
また、例えば、処理部91は、PD141nの内部状態が「SKIN_DETECT」である場合、Sensor#n Detect = TRUE、すなわち、肌が検出されたことを表す肌検出信号(ONとされた肌検出信号)を出力する。
【0551】
以上説明したように、処理部91において、PD141nの内部状態を保持するようにしたので、センサ21nの動作中におけるPD141nの飽和による操作ミスを防止することができる。
【0552】
このことは、第2の実施の形態であるデジタルフォトフレーム171、及び第3の実施の形態であるデジタルフォトフレーム331についても同様のことが言える。
【0553】
次に、図43は、第2の実施の形態であるデジタルフォトフレーム171の制御部211が行う処理の概要を示している。
【0554】
例えば、制御部211のLEDユニット192において、図43Aに示されるように、点灯期間「LED λ1」でLED112aが点灯し、点灯期間「LED λ2」でLED112bが点灯し、消灯期間「LED off」でLED112a及びLED112bが消灯する。
【0555】
これに対応して、制御部211において、図43Bに示されるように、PD1911は、LED112aにより、波長λ1の光が照射されている物体からの反射光を受光して得られる輝度信号Lum#1_λ1を出力する。
【0556】
また、制御部211において、図43Bに示されるように、PD1141は、LED112bにより、波長λ2の光が照射されている物体からの反射光を受光して得られる輝度信号Lum#1_λ2を出力する。
【0557】
さらに、制御部211において、図43Cに示されるように、PD1142は、LED112aにより、波長λ1の光が照射されている物体からの反射光を受光して得られる輝度信号Lum#2_λ1を出力する。
【0558】
また、制御部211において、図43Cに示されるように、PD1142は、LED112bにより、波長λ2の光が照射されている物体からの反射光を受光して得られる輝度信号Lum#2_λ2を出力する。
【0559】
そして、処理部231は、図43Cに示されるように、制御部211のPD1141からAD変換部951を介して出力される輝度信号Lum#1_λ1及び輝度信号Lum#1_λ2等に基づいて、肌検出信号を生成する。
【0560】
また、処理部231は、図43Cに示されるように、制御部211のPD1142からAD変換部952を介して出力される輝度信号Lum#2_λ1及び輝度信号Lum#2_λ2等に基づいて、肌検出信号を生成する。
【0561】
処理部231において、処理部91と同様に、図示せぬ内蔵のメモリなどに、各PD191nの内部状態を保持するようにし、その内部状態の遷移に応じて、肌検出信号による判断を採用するか否かを決定することができる。
【0562】
なお、PD191nの内部状態の遷移方法は、図42を参照して説明したようにして、処理部231により行われる。これにより、制御部211の動作中におけるPD191nの飽和による操作ミスを防止することができる。
【0563】
次に、図44は、第3の実施の形態であるデジタルフォトフレーム331の制御部411が行う処理の概要を示している。
【0564】
例えば、制御部411のLEDユニット3711において、図44Aに示されるように、点灯期間「LED λ1」でLED391a1が点灯し、点灯期間「LED λ2」でLED391b1が点灯し、消灯期間「LED off」でLED391a1及びLED391b1が消灯する。
【0565】
なお、このとき、他のLEDユニット3712乃至371Nは、図44Aに示されるいずれの期間「LED λ1」、「LED λ2」及び「LED off」においても消灯しているものとする。
【0566】
これに対応して、制御部411において、図44Cに示されるように、PD351は、LED391a1により、波長λ1の光が照射されている物体からの反射光を受光して得られる輝度信号Lum#1_λ1を出力する。
【0567】
また、制御部411において、図44Cに示されるように、PD351は、LED391b1により、波長λ2の光が照射されている物体からの反射光を受光して得られる輝度信号Lum#1_λ2を出力する。
【0568】
さらに、例えば、LEDユニット3712において、図44Bに示されるように、点灯期間「LED λ1」でLED391a2が点灯し、点灯期間「LED λ2」でLED391b2が点灯し、消灯期間「LED off」でLED391a2及びLED391b2が消灯する。
【0569】
なお、このとき、他のLEDユニット3711及び3713乃至371Nは、図44Bに示されるいずれの期間「LED λ1」、「LED λ2」及び「LED off」においても消灯しているものとする。
【0570】
これに対応して、制御部411において、図44Cに示されるように、PD351は、LED391a2により、波長λ1の光が照射されている物体からの反射光を受光して得られる輝度信号Lum#2_λ1を出力する。
【0571】
また、制御部411において、図44Cに示されるように、PD351は、LED391b2により、波長λ2の光が照射されている物体からの反射光を受光して得られる輝度信号Lum#2_λ2を出力する。
【0572】
そして、処理部431は、図44Cに示されるように、制御部211のPD351からAD変換部95を介して出力される輝度信号Lum#1_λ1及び輝度信号Lum#1_λ2等に基づいて、肌検出信号を生成する。
【0573】
また、処理部431は、図43Cに示されるように、制御部211のPD351からAD変換部95を介して出力される輝度信号Lum#2_λ1及び輝度信号Lum#2_λ2等に基づいて、肌検出信号を生成する。
【0574】
処理部431において、処理部91と同様に、図示せぬ内蔵のメモリなどに、LEDユニット371nの照射時におけるPD351それぞれの内部状態を保持するようにし、その内部状態の遷移に応じて、肌検出信号による判断を採用するか否かを決定することができる。
【0575】
なお、LEDユニット371nの照射時におけるPD351それぞれの内部状態の遷移方法は、図42を参照して説明したようにして、処理部431により行われる。これにより、制御部411の動作中におけるPD351の飽和による操作ミスを防止することができる。
【0576】
[各部品の配置について]
次に、図45及び図46を参照して、第1の実施の形態であるデジタルフォトフレーム1において、センサ211とセンサ212との間の距離について説明する。
【0577】
なお、図45及び図46は、それぞれ、図1において、図中下側からデジタルフォトフレーム1を見た場合の様子の一例を示している。
【0578】
ところで、ユーザのジェスチャ操作による使用感等から、最短使用距離lが、デジタルフォトフレーム1の製造時等に予め決定される。
【0579】
この最短使用距離lは、例えば、ユーザが、自身の手等をデジタルフォトフレーム1の前でかざしてジェスチャ操作等を行う場合に、ユーザの手等の位置や動き等を連続的に認識可能な最短の距離をいう。
【0580】
このため、ユーザが、デジタルフォトフレーム1から最短使用距離l未満の範囲でジェスチャ操作等を行った場合、ユーザの手等の位置や動き等を認識できないことが生じ得る。
【0581】
また、例えば、センサ211及びセンサ212が、図45に示されるような位置に配置された場合、デジタルフォトフレーム1から最短使用距離l以上の範囲で一部分、ユーザの手等の位置や動き等を認識できない範囲(いわゆる不感帯)が生じてしまう。
【0582】
したがって、センサ211及びセンサ212の位置は、それぞれ、図46に示されるように、デジタルフォトフレーム1から最短使用距離l以上の範囲(領域)を、センサ211及びセンサ212の検知範囲でカバーできる位置に決定される。
【0583】
なお、図46において、斜線で示されるアナログ出力可能領域とは、確実に、センサ211及びセンサ212により、ユーザの手等の位置や動き等を連続的に認識可能な領域を表す。
【0584】
また、図46において、センサ211とセンサ212との間の距離dは、最短使用距離l、及びセンサ21nにおける照射範囲(検知範囲)の半画角θ(度)に基づき、次式(1)により求められる。
d=2×l/tan(90-θ) ・・・(1)
【0585】
なお、第2の実施の形態であるデジタルフォトフレーム171において、PD1911とPD1912との間の距離dも、上述した式(1)を用いて求められる。
【0586】
次に、図47は、図22において、図中下側からデジタルフォトフレーム171を見た様子の一例を示している。
【0587】
デジタルフォトフレーム171においては、図47に示されるように、PD191nの検知範囲の半画角がθとされる。そして、式(1)により求められる距離dだけ、PD1911とPD1912とを離して配置させる。
【0588】
なお、図47において、LEDユニット192の照射範囲のうち、最短使用距離l以上の距離だけ離れた部分(の殆ど)が、アナログ出力可能領域とされる。
【0589】
また、第3の実施の形態であるデジタルフォトフレーム331において、LEDユニット3711とLEDユニット3712との間の距離dも、上述した式(1)を用いて求められる。
【0590】
次に、図48は、図33において、図中下側からデジタルフォトフレーム331を見た様子の一例を示している。
【0591】
デジタルフォトフレーム331においては、図48に示されるように、LEDユニット371nの照射範囲の半画角がθとされる。そして、式(1)により求められる距離dだけ、LEDユニット3711とLEDユニット3712とを離して配置させる。
【0592】
なお、図48において、PD351の検知範囲のうち、最短使用距離l以上の距離だけ離れた部分(の殆ど)が、アナログ出力可能領域とされる。
【0593】
[LEDの調整について]
次に、図49を参照して、第1の実施の形態であるデジタルフォトフレーム1に設けられたセンサ21nのLED112an及びLED112bnによる出力の調整の一例について説明する。なお、この調整は、例えば、デジタルフォトフレーム1の製造時等に行われる。
【0594】
なお、図49は、図1において、図中下側からデジタルフォトフレーム1を見た様子の一例を示している。
【0595】
まず、センサ211及びセンサ212の前に、波長λ1に対する反射率と、波長λ2に対する反射率がいずれも等しい素材501を配置する。この素材501としては、例えば、灰色のシートや鏡の鏡面等が採用される。
【0596】
センサ211及びセンサ212では、図49に示されるように、センサ211及びセンサ212の前面に素材501を配置した状態で、センサ211及びセンサ212それぞれのLEDの出力が調整される。
【0597】
次に、図50は、センサ211及びセンサ212から出力される輝度信号に基づいて、センサ211及びセンサ212それぞれのLEDの出力を調整するときの一例を示している。
【0598】
センサ211は、図50Aに示される点灯期間「LED λ1」で、素材501に対して波長λ1の光を照射し、波長λ1の光が照射されている素材501からの反射光を受光する。そして、センサ211は、その受光に応じて輝度信号Lum#1_λ1を生成し、AD変換部951を介して処理部91に出力する。
【0599】
また、センサ211は、図50Aに示される点灯期間「LED λ2」で、素材501に対して波長λ2の光を照射し、波長λ2の光が照射されている素材501からの反射光を受光する。そして、センサ211は、その受光に応じて輝度信号Lum#1_λ2を生成し、AD変換部951を介して処理部91に出力する。
【0600】
センサ212は、センサ211と同様にして、輝度信号Lum#2_λ1及び輝度信号Lum#2_λ2を生成し、AD変換部952を介して処理部91に出力する。
【0601】
すなわち、例えば、センサ212は、図50Bに示される点灯期間「LED λ1」で、素材501に対して波長λ1の光を照射し、波長λ1の光が照射されている素材501からの反射光を受光する。そして、センサ212は、その受光に応じて輝度信号Lum#2_λ1を生成し、AD変換部952を介して処理部91に出力する。
【0602】
また、センサ212は、図50Bに示される点灯期間「LED λ2」で、素材501に対して波長λ2の光を照射し、波長λ2の光が照射されている素材501からの反射光を受光する。そして、センサ212は、その受光に応じて輝度信号Lum#2_λ2を生成し、AD変換部952を介して処理部91に出力する。
【0603】
処理部91は、例えば、センサ211からの輝度信号Lum#1_λ1及び輝度信号Lum#1_λ2、並びにセンサ212からの輝度信号Lum#2_λ1及び輝度信号Lum#2_λ2に基づいて、図50C及び図50Dに示されるように、輝度値としてのLum#1_λ1,Lum#1_λ2,Lum#2_λ1,Lum#2_λ2のいずれも等しくなるように、センサ211及びセンサ212を調整する。
【0604】
すなわち、例えば、処理部91は、センサ211のLED112a1及びLED112b1、並びにセンサ212のLED112a2及びLED112b2の照射による出力を調整する。なお、LEDによる出力の調整方法としては、例えば、LEDに接続された可変抵抗によるLEDへの電流の調整の他、電流制御のためのPWM(Pulse Width Modulation)出力調整、プログラムによる補正などを採用できる。
【0605】
なお、第2の実施の形態であるデジタルフォトフレーム171、及び第3の実施の形態であるデジタルフォトフレーム331についても同様にして、LEDによる出力の調整が行われる。
【0606】
[肌としての物体の位置の演算について]
次に、図51乃至図53を参照して、肌としての物体の位置を演算する演算方法について説明する。
【0607】
図51は、肌としての物体が左右方向に移動する場合の一例を示している。
【0608】
例えば、デジタルフォトフレーム1のセンサ211及びセンサ212を用いて、図51に示されるX1からX2までの範囲内で、肌としての物体(図51において二重丸で示す)の位置を演算することを考える。
【0609】
なお、X1からX2までの範囲は、例えば、図46に示されたアナログ出力可能領域であるものとする。なお、例えばX1は0とされ、X2は639とされる。
【0610】
デジタルフォトフレーム1において、処理部91は、例えば、センサ211のPD1141からAD変換部951を介して供給される輝度信号Lum#1_λ1と、センサ212のPD1142からAD変換部952を介して供給される輝度信号Lum#2_λ1とに基づいて、肌としての物体の位置Xを演算(算出)することができる。
【0611】
すなわち、例えば、輝度値としてのLum#1_λ1をL1とし、輝度値としてのLum#2_λ1をL2とすれば、処理部91は、次式(2)により、肌としての物体の位置Xを算出することができる。
X={X1×L1/(L1+L2)}+{X2×L2/(L1+L2)} ・・・(2)
【0612】
この場合、例えば、処理部91は、位置Xをジェスチャ認識情報として、CPU61に出力する。なお、CPU61は、処理部91からのジェスチャ認識情報として、輝度信号Lum#1_λ1及び輝度信号Lum#2_λ1を取得した場合、取得したジェスチャ認識情報に基づいて、式(2)により、肌としての物体の位置Xを算出することにより認識するようにしてもよい。
【0613】
このことは、第2及び第3の実施の形態においても同様である。
【0614】
なお、デジタルフォトフレーム1において、図52に示されるように、3個のセンサ211乃至213が設けられている場合についても同様に、肌としての物体の位置Xを演算することができる。
【0615】
次に、図53は、肌としての物体が左右方向に移動する場合の一例を示している。
【0616】
例えば、デジタルフォトフレーム1のセンサ211乃至213を用いて、図53に示されるX1からX3までの範囲内で、肌としての物体(図53において二重丸で示す)の位置を演算することを考える。
【0617】
なお、X1からX3までの範囲は、例えば、図52に示されるように構成されたときのアナログ出力可能領域であるものとする。なお、例えばX1は0とされ、X2は320とされ、X3は639とされる。
【0618】
この場合、センサ213のPD1143からAD変換部953を介して処理部91に供給される輝度信号Lum#3_λ1において、輝度値としてのLum#3_λ1をL3とすれば、処理部91は、次式(3)により、肌としての物体の位置Xを算出することができる。
X={X1×L1/(L1+L2+L3)}+{X2×L2/(L1+L2+L3)}+{X3×L3/(L1+L2+L3)} ・・・(3)
【0619】
このことは、第2及び第3の実施の形態においても同様である。
【0620】
[クリック動作について]
次に、図54は、デジタルフォトフレーム1に対して、ユーザがクリック動作を行う様子の一例を示している。
【0621】
ユーザは、例えば、図54に示されるように、デジタルフォトフレーム1に対して、自身の手を近づけて元に戻すというクリック動作を行う。
【0622】
これに対応して、デジタルフォトフレーム1が、ユーザのクリック動作を認識し、認識したクリック動作に応じた処理を行うように構成すれば、デジタルフォトフレーム1に対して、より直感的なジェスチャ操作を行うことができる。
【0623】
次に、処理部91が、各センサ21nからAD変換部95nを介して供給される輝度信号Lum#n_λ1に基づいて、ユーザのクリック動作を認識する認識方法を説明する。
【0624】
なお、CPU61が、処理部91からのジェスチャ認識情報として、輝度信号Lum#n_λ1を取得した場合、そのジェスチャ認識情報に基づいて、ユーザのクリック動作を認識する場合についても、同様の認識方法が用いられる。
【0625】
すなわち、例えば、処理部91は、各センサ21nからAD変換部95nを介して供給される輝度信号Lum#n_λ1に基づいて、次式(4)により、Lsumを算出する。
Lsum=Σ(Lum#n_λ1) ・・・(4)
【0626】
なお、図54に示されるような場合、デジタルフォトフレーム1には、2個のセンサ211及びセンサ212が設けられている。したがって、処理部91には、センサ211からAD変換部951を介して輝度信号Lum#1_λ1が、センサ212からAD変換部952を介して輝度信号Lum#2_λ1が、それぞれ供給される。
【0627】
このため、処理部91は、輝度信号Lum#1_λ1及び輝度信号Lum#2_λ1に基づいて、式(4)により、Lsum(=Lum#1_λ1+Lum#2_λ1)を算出する。
【0628】
そして、処理部91は、算出したLsumの変化に基づいて、クリック動作を認識(検出)する。
【0629】
次に、図55を参照して、処理部91が、Lsumの変化に応じてクリック動作を認識する方法の一例について説明する。
【0630】
図55において、実線で示されるグラフは、Lsumを表している。また、点線で示されるグラフは、Lsumを微分して得られるd(Lsum)を表している。
【0631】
例えば、処理部91は、算出したLsumを微分し、その結果得られるd(Lsum)のグラフが、ゼロクロスした場合、すなわち、図55に示されるように、d(Lsum)が値0を割った場合に、ユーザによるクリック動作が行われたと認識する。
【0632】
ところで、例えば、図56において、一般的には、図中左右方向に手を動かしたつもりでも、実際には、ユーザの手は、図56に示されるような軌道、つまり、クリック動作時の手の軌道に類似する軌道を描いてしまうことがある。
【0633】
このため、処理部91において、ユーザのクリック動作を誤って検出(認識)してしまうことが生じ得る。
【0634】
ところで、一般的に、人間は、クリック動作等の一定の動作をする前に、X方向及びY方向の動きを止める傾向にある。ここで、X方向とは、表示画面1aの法線方向であるZ方向に垂直な方向であって、図1におけるセンサ211及びセンサ212が存在する方向(図1でいう左右方向)をいう。また、Y方向とは、Z方向とX方向に互いに垂直な方向(図1でいう上下方向)をいう。
【0635】
そこで、そのような傾向を利用して、より正確にクリック動作を認識することを考える。
【0636】
次に、図57は、上述した人間の傾向を利用して、ユーザのクリック動作を、より精度良く認識するための方法を説明するための図である。
【0637】
図57Aにおいて、実線で示されるグラフは、処理部91において算出される位置Xを表している。また、点線で示されるグラフは、d(Lsum)によるクリック動作の認識を行うか否かを表している。
【0638】
図57Aにおいて、横軸は時刻を表し、図中左側の縦軸は、実線で示されるグラフの値としての位置Xを表す。また、図中右側の縦軸は、点線で示されるグラフの値gateを表す。
【0639】
図57Bにおいて、実線で示されるグラフは、処理部91において算出されるd(Lsum)を表している。なお、図57Bにおいて、横軸は時刻を、縦軸は、実線で示されるグラフの値としてのd(Lsum)を表している。
【0640】
例えば、処理部91において、上述した式(2)や式(3)を用いて、各センサ21nからの輝度信号(例えば、Lum#n_λ1)に基づいて、図57Aに示されるように、肌としての物体(例えばユーザの手等)の位置Xを算出する。
【0641】
そして、処理部91は、算出した位置Xに基づいて、図57Aに示される点線のグラフ(の値gate)を算出する。
【0642】
すなわち、例えば、処理部91は、算出した位置X(図57Aに示される実線のグラフの値)が変わらない場合、対応する値gateを、d(Lsum)によるクリック動作の認識を行うことを表すHigh(=1)とする。
【0643】
なお、処理部91は、ごく微小な位置Xの変化(例えば、1pix以内の変化)が生じている場合についても、位置Xが変わらないものとして取り扱う。
【0644】
また、例えば、処理部91は、算出した位置X(図57Aに示される実線のグラフの値)が変わる場合、対応する値gateを、d(Lsum)によるクリック動作の認識を行わないことを表すLow(=0)とする。
【0645】
例えば、処理部91は、図57Aにおいて、点線で示されるグラフが、Low(=0)とされている場合、図57Bに示されるように、d(Lsum)によるクリック動作の認識を行わない。
【0646】
また、例えば、処理部91は、図57Aにおいて、点線で示されるグラフが、High(=1)とされている場合、図57Bに示されるように、d(Lsum)によるクリック動作の認識を行う。
【0647】
これにより、処理部91では、図57Aに示される点線のグラフの値gateがLowである場合、d(Lsum)によるクリック動作の認識を行わないようにし、図57Aに示される点線のグラフの値gateがHighである場合、d(Lsum)によるクリック動作の認識を行うようにした。
【0648】
このため、処理部91は、より正確にクリック動作を認識することが可能となる。なお、これらのことは、第2及び第3の実施の形態でも同様のことが言える。
【符号の説明】
【0649】
1 デジタルフォトフレーム, 1a 表示画面, 211乃至21N センサ, 61 CPU, 62 ROM, 63 RAM, 64 バス, 65 入出力インタフェース, 66 制御部, 67 表示部, 68 記憶部, 69 ドライブ, 91 処理部, 92 電流制御部, 93 タイミング制御部, 94 ゲイン制御部, 95 AD変換部, 111 LEDドライバ, 112a,112b LED, 113a,113b レンズ, 114n PD, 115n レンズ, 131,151,171 デジタルフォトフレーム, 1911乃至191N PD, 192 LEDユニット, 211 制御部, 231 処理部, 232 レンズ, 331 デジタルフォトフレーム, 351 PD, 352 レンズ, 3711乃至371N LEDユニット, 391a,391b LED, 392a,392b レンズ, 411 制御部, 431 処理部

【特許請求の範囲】
【請求項1】
第1の波長の光を照射する第1の照射部と、
前記第1の波長とは異なる第2の波長の光を照射する第2の照射部と
を有する照射ユニットと、
前記第1の波長の光が照射されている物体からの反射光を受光したことに応じて、第1の検出用信号を生成し、
前記第2の波長の光が照射されている前記物体からの反射光を受光したことに応じて、第2の検出用信号を生成する
受光部と、
前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する肌検出部と、
前記第1又は第2の検出用信号の少なくとも一方に基づいて、肌として検出された前記物体の位置又は動きの少なくとも一方を認識するための認識情報を生成する生成部と
を含む情報処理装置。
【請求項2】
前記受光部と同様に構成された他の受光部をさらに含み、
前記生成部は、複数の前記受光部毎に生成された前記第1又は第2の検出用信号の少なくとも一方に基づいて、前記認識情報を生成する
請求項1に記載の情報処理装置。
【請求項3】
前記第1の照射部は、複数の前記受光部のそれぞれから同一の距離に配置されており、
前記生成部は、前記複数の受光部毎に生成された前記第1の検出用信号に基づいて、前記認識情報を生成する
請求項2に記載の情報処理装置。
【請求項4】
前記受光部は、前記第1の照射部と前記第2の照射部から、それぞれ同一の距離に配置されており、
前記肌検出部は、前記受光部により生成された前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する
請求項2に記載の情報処理装置。
【請求項5】
前記照射ユニットと同様に構成された他の照射ユニットをさらに含み、
前記受光部は、
異なるタイミングで前記第1の波長の光を照射する前記照射ユニット毎に、前記第1の検出用信号を生成し、
異なるタイミングで前記第2の波長の光を照射する前記照射ユニット毎に、前記第2の検出用信号を生成し、
前記生成部は、前記照射ユニット毎に生成された前記第1又は第2の検出用信号の少なくとも一方に基づいて、前記認識情報を生成する
請求項1に記載の情報処理装置。
【請求項6】
前記生成部は、第1の方向における前記第1の照射部どうしの間隔が、前記第2の照射部どうしの間隔よりも長い場合、前記受光部により、前記複数の照射ユニット毎に生成された前記第1の検出用信号に基づいて、前記第1の方向に垂直な第2の方向における前記物体の位置又は動きの少なくとも一方を認識するための前記認識情報を生成する
請求項5に記載の情報処理装置。
【請求項7】
前記照射ユニットと前記受光部とを有する複数のセンサであって、前記センサ毎に異なる照射範囲を照射する前記照射ユニットを有する前記センサをさらに含み、
前記肌検出部は、前記複数のセンサ毎に生成される前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出し、
前記生成部は、前記複数のセンサ毎に生成される前記第1又は第2の検出用信号の少なくとも一方に基づいて、前記認識情報を生成する
請求項1に記載の情報処理装置。
【請求項8】
前記第1の検出用信号に基づいて、前記物体が予め決められた検知範囲内に侵入したか否かを検出する近接検出部をさらに含み、
前記肌検出部は、前記物体が前記検知範囲内に侵入したと検出されたことに対応して、前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する
請求項1に記載の情報処理装置。
【請求項9】
前記物体が肌であることが検出されたことに対応して、前記第1の検出用信号に基づき、前記物体が予め決められた検知範囲内に存在するか否かを検出する物体検出部をさらに含み、
前記情報処理装置では、前記物体が前記検知範囲内に存在すると検出された場合、前記物体が肌であるものとして取り扱う
請求項1に記載の情報処理装置。
【請求項10】
前記物体の位置に応じた大きさの出力信号を生成する信号生成部をさらに含み、
前記生成部は、前記出力信号にも基づいて、前記認識情報を生成する
請求項1に記載の情報処理装置。
【請求項11】
前記第1の波長λ1、及び前記第1の波長λ1よりも長波長である前記第2の波長λ2は、
640nm ≦ λ1 ≦ 1000nm
900nm ≦ λ2 ≦ 1100nm
を満たす請求項1に記載の情報処理装置。
【請求項12】
前記第1の照射部は、前記第1の波長λ1の不可視光を照射し、
前記第2の照射部は、前記第2の波長λ2の不可視光を照射する
請求項11に記載の情報処理装置。
【請求項13】
前記受光部には、前記受光部に入射される可視光を遮断する可視光カットフィルタが設けられている
請求項1に記載の情報処理装置。
【請求項14】
第1の波長の光を照射する第1の照射部と、
前記第1の波長とは異なる第2の波長の光を照射する第2の照射部と
を有する照射ユニットと、
前記第1の波長の光が照射されている物体からの反射光を受光したことに応じて、第1の検出用信号を生成し、
前記第2の波長の光が照射されている前記物体からの反射光を受光したことに応じて、第2の検出用信号を生成する
受光部と
を含む情報処理装置の情報処理方法において、
前記情報処理装置による、
前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する肌検出ステップと、
前記第1又は第2の検出用信号の少なくとも一方に基づいて、肌として検出された前記物体の位置又は動きの少なくとも一方を認識するための認識情報を生成する生成ステップと
を含む情報処理方法。
【請求項15】
第1の波長の光を照射する第1の照射部と、
前記第1の波長とは異なる第2の波長の光を照射する第2の照射部と
を有する照射ユニットと、
前記第1の波長の光が照射されている物体からの反射光を受光したことに応じて、第1の検出用信号を生成し、
前記第2の波長の光が照射されている前記物体からの反射光を受光したことに応じて、第2の検出用信号を生成する
受光部と
を含む情報処理装置のコンピュータを、
前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する肌検出部と、
前記第1又は第2の検出用信号の少なくとも一方に基づいて、肌として検出された前記物体の位置又は動きの少なくとも一方を認識するための認識情報を生成する生成部と
して機能させるためのプログラム。
【請求項16】
第1の波長の光を照射する第1の照射部と、
前記第1の波長とは異なる第2の波長の光を照射する第2の照射部と
を有する照射ユニットと、
前記第1の波長の光が照射されている物体からの反射光を受光したことに応じて、第1の検出用信号を生成し、
前記第2の波長の光が照射されている前記物体からの反射光を受光したことに応じて、第2の検出用信号を生成する
受光部と、
前記第1及び第2の検出用信号に基づいて、前記物体が肌であるか否かを検出する肌検出部と、
前記第1又は第2の検出用信号の少なくとも一方に基づいて、肌として検出された前記物体の位置又は動きの少なくとも一方を認識するための認識情報を生成する生成部と、
前記認識情報に基づく認識結果に応じて、対応する処理を行う処理部と
を含む電子機器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate

【図42】
image rotate

【図43】
image rotate

【図44】
image rotate

【図45】
image rotate

【図46】
image rotate

【図47】
image rotate

【図48】
image rotate

【図49】
image rotate

【図50】
image rotate

【図51】
image rotate

【図52】
image rotate

【図53】
image rotate

【図54】
image rotate

【図55】
image rotate

【図56】
image rotate

【図57】
image rotate


【公開番号】特開2013−84228(P2013−84228A)
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願番号】特願2011−225365(P2011−225365)
【出願日】平成23年10月12日(2011.10.12)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】