動作検出装置および操作システム
【課題】レーザープロジェクタが投影した画面を参照しつつ操作を行う操作システムにおいて、ユーザが画面から目を離したり、身を乗り出したりすることなく遠隔操作可能な動作検出装置を提供する。
【解決手段】スクリーンと、該スクリーンにレーザー光を用いて画像を投影するレーザープロジェクタとを備える動作検出装置を用意する。ユーザはレーザー光の光路を遮るように手を動かし、スクリーンに手の影を生じさせる。動作検出部はスクリーンをカメラで撮影し、その画像から取得した手の影に基づいてユーザの動作を検出し、指示内容を認識する。
【解決手段】スクリーンと、該スクリーンにレーザー光を用いて画像を投影するレーザープロジェクタとを備える動作検出装置を用意する。ユーザはレーザー光の光路を遮るように手を動かし、スクリーンに手の影を生じさせる。動作検出部はスクリーンをカメラで撮影し、その画像から取得した手の影に基づいてユーザの動作を検出し、指示内容を認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レーザー光を用いて画像を投影する投影部を備えた動作検出装置、およびそれを用いた操作システムに関する。
【背景技術】
【０００２】
従来、車載のカーナビゲーション装置を操作する際には、接触型および遠隔型の２種類の操作方法がある。接触型の例としては、ダッシュボードに配置されたボタンを操作したり、タッチパネル式の画面に直接触れたりする方法がある。しかし、これらの方法で運転者が操作する場合、運転席から身を乗り出したり、手を遠くに伸ばしたりする必要があり不便である。
【０００３】
遠隔型の例としては、リモコンを使用して指示を与える方法がある。しかし、リモコンを見ないと操作ができないため、画面と手元のリモコンを見比べながら操作を行うことになり時間がかかる。この対策として特開２００７−０８３８３４号公報（特許文献１）では、ミラーの反射を利用して操作部の像を前方に投影することで、前方を向いてタッチパネルを操作することを可能にした。しかし、この方法ではユーザが手を出す方向とユーザが見るべき画面の方向が異なるため、直観的な操作ができるとは言い難い。
【０００４】
一方、カーナビゲーション装置に限らず、ユーザが画面を見ながら遠隔操作を行うためのディスプレイシステムとして、特開平８−０９５７０７号公報（特許文献２）に記載の方法がある。この方法では、赤外光等を投影してユーザが持つ棒の位置を検出し、その位置情報に基づいてユーザの操作内容を認識している。しかし、この方法では光の回折現象により棒の位置を正確に特定するのが困難であった。
【特許文献１】特開２００７−０８３８３４号公報
【特許文献２】特開平８−０９５７０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、ユーザが画面を見ながら直観的に遠隔操作を行うことを可能とする技術を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明では、以下の構成の動作検出装置を採用する。すなわち、スクリーンと、レーザー光を用いてスクリーンに画像を投影する投影部と、スクリーンを撮影するスクリーン撮影手段を有する撮影部と、ユーザの動作を検出する動作検出部とを備え、動作検出部はレーザー光の光路が遮られた遮断領域の位置情報に基づいてユーザの動作を検出することを特徴とする動作検出装置である。
【０００７】
本発明は、操作内容を指示するためにユーザが行う動作を検出する方法として、スクリーンに映った遮断領域（影）の位置情報を利用するものである。すなわち、投影部がスクリーンにレーザー光で画像を投影している時に、ユーザはその光路を遮る位置に手などを置く。これにより、スクリーン上にレーザー光が遮られた影が生じる。そこでスクリーン撮影手段（カメラ等）はスクリーンを撮影し、スクリーン撮影画像を取得する。動作検出部は、スクリーン撮影画像中の影の位置情報に基づいてユーザの動作を検出する。
【０００８】
このように構成された本発明によれば、ユーザはスクリーンに映った影を見ながら、直観的に装置を遠隔操作することができる。またユーザは画面に直に接触する必要が無いこ
とから、身を乗り出したり手を遠くに伸ばしたりすることなく快適な操作ができる。さらに、レーザー光を用いることにより、レーザー光の直進性に基づいて回折のないくっきりした影を取得できる。
【０００９】
なお、動作検出部は、ある一時点での影の位置情報だけではなく、位置情報の経時的な変化に基づいて動作を検出しても良い。これにより、ユーザはより詳細に操作内容を指示することが可能となる。
【００１０】
本発明の実施においては、撮影部にユーザ撮影手段を設けることができる。これはレーザー光の光路を投影部の側から撮影し、ユーザ撮影画像を取得するものである。ここで、ユーザの手などの身体がレーザー光を遮っていれば、ユーザの手には画像の一部が投影されているはずである。そこで動作検出部は、ユーザ撮影画像中からユーザの手に映った画像を認識し、それに基づいてユーザの動作を検出する。
【００１１】
さらに本発明の実施においては、撮影部に三次元撮影手段を設けることができる。これはスクリーンの近傍を撮影して三次元撮影画像を取得するものである。動作検出部は三次元撮影画像中のユーザの手の動きを３次元的に分析し、ユーザの動作を検出する。
【００１２】
このように、ユーザ撮影手段または三次元撮影手段を追加して構成された本発明によれば、ユーザの手に映った画像またはユーザの手の動きに基づいてユーザの動作を検出することが可能になり、スクリーンに映った影に基づく方法と合わせることによって検出精度を向上させることができる。
【００１３】
本発明の実施においては、投影する画像に所定の明度を持つ領域である基準マーカを少なくとも１つ設けることができる。ここで、スクリーンに外乱光の映り込みがあった場合、スクリーン上での明度のコントラストが低くなり、影の位置情報に基づいてユーザの動作を検出できない事態が起こり得る。このとき動作検出部は、撮影部が撮影したスクリーンの画像中の基準マーカの明度と投影時の明度とを比較することにより、外乱光の影響がどの程度かを推測することができる。
【００１４】
このように構成された本発明によれば、動作検出部がユーザの動作を検出できない場合に、その原因が外乱光の影響かどうかを判断し、もし外乱光の影響であれば画像投影時の明度を増大させ、影を際立たせるという対応が取れるようになる。
【００１５】
本発明は、動作検出装置と、該動作検出装置が検出したユーザの動作に基づいて処理を実行する情報処理部とを備える操作システムとして実現することができる。さらに、該操作装置を車両に搭載して使用することができる。
【発明の効果】
【００１６】
本発明に係る動作検出装置または操作システムによれば、ユーザが画面を見ながら直観的に遠隔操作を行うことが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。以下の実施形態においては、動作検出装置とカーナビゲーション装置が搭載された車両で、ユーザである運転者が動作を行い、装置を操作する例について記述する。
【００１８】
＜実施形態１＞
本実施形態では、スクリーン上の遮断領域（影）の位置情報を利用してユーザの動作を検出する方法について説明する。すなわち、レーザープロジェクタがスクリーンにレーザ
ー光で画像を投影している時に、ユーザが手などでそのレーザー光を遮る。これによりスクリーン上に生じた影に基づいてユーザの動作を検出し、ユーザの意図した操作内容を認識する方法である。
【００１９】
（操作システムの構成）
図１に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。レーザープロジェクタ１は、画像作成部６が作成した画像をレーザー光により投影するものであり、本発明における投影部に当たる。スクリーン２は、レーザープロジェクタ１から投影された画像を表示する領域である。
【００２０】
なお、本実施形態においては、ユーザが運転席に座って操作することを前提としており、レーザープロジェクタ１は運転席の左後方に、スクリーン２は運転席の左前方のダッシュボードに、それぞれ設置されている。スクリーン２は通常、ユーザから視認できる程度の面積を持つ白色の平面領域からなるが、必ずしもこれに限定される必要はない。例えばダッシュボード自体に画像を投影しても良く、色も白色以外でも良い。
【００２１】
図示したように、ユーザがレーザー光を手で遮ることによって、スクリーン２の上に影（本発明における遮断領域）が生じる。スクリーン撮影用カメラ３は、スクリーン２を撮影してスクリーン撮影画像を取得するものであり、本発明におけるスクリーン撮影手段に当たる。スクリーン撮影用カメラ３を設置する位置としては、レーザープロジェクタ１から一定の角度を置き、ユーザの手がスクリーン撮影画像に映り込まないようにすることが好ましい。
【００２２】
動作検出部４は、スクリーン撮影画像に基づいてユーザの動作を検出するものであり、影検出部４１、パターン記憶部４２、パターン比較部４３、及び経時解析部４４を含む。影検出部４１はスクリーン撮影画像中の明度のコントラストを認識し、レーザー光が遮られた影の領域を検出する。その際、レーザープロジェクタ１が投影した画像を参照して、スクリーン撮影画像中のコントラストが影によるものか、元々の投影画像にコントラストがあるためかを判別し、影検出の精度を向上させることもできる。パターン記憶部４２は記憶装置であり、手の形状とユーザの動作を認識するための画像パターンのデータを保存している。データの種類としては、検出した影が手の形状であるかどうかを判断するためのものと、手の形状がどのような指示かを認識するためのものがある。
【００２３】
パターン比較部４３は、影検出部４１が検出した領域をパターン記憶部４２が保存する画像パターンとマッチングすることにより、スクリーン撮影画像に含まれる手の影の形状を認識する。このときパターン比較部４３は、まず影検出部４１が影だと判断した領域が手の影かどうかを判断し、もし手であれば、ユーザの指示がどのような内容であるかを認識する。経時解析部４４は、この手の影の形状を経時的に解析することによりユーザの動作を検出する。動作検出部４は、このユーザの動作を情報処理部５に送信する。なお、動作検出部４は専用の回路によって構成されても良く、ＣＰＵを利用して機能するプログラムとして実現することもできる。
【００２４】
情報処理部５は、動作検出部４が検出したユーザの動作に基づいて、ユーザの要求する操作を認識し、画像作成部６やその他の機器を制御する。画像作成部６はユーザに提示する画像を作成し、レーザープロジェクタ１に送信する。
【００２５】
（処理フロー）
以下、図２のフローチャートを参照しつつ、スクリーン上の地図からユーザが目的地を選択し、ナビゲーションを開始する際の処理フローについて説明する。必要に応じて図４（ａ）〜（ｃ）に示したスクリーン撮影画像の遷移図を参照する。具体的には、まず、レ
ーザープロジェクタがスクリーンに向けて画像を投影し、地図を表示する。続いてユーザ（運転者）がレーザー光を手で遮ってスクリーンに影を作り、影の指先部分で目的地の建物「ＡＢＣ会館」を選択する。続いて、カメラがスクリーンを撮影する。動作検出部は影の位置情報に基づいてユーザの動作を検出し、ユーザの指示内容を認識する。カーナビゲーション装置は指示内容に従って目的地を設定し、案内を開始する。
【００２６】
なお、本実施形態においてユーザがスクリーン上のオブジェクトを選択する際は、影の指先をそのオブジェクトの上に置いて１秒間保持するものとする。オブジェクトとしては例えば、地図上の建物や、画面上のボタンなどが対象となり得る。
【００２７】
ステップＳ２０１では、レーザープロジェクタ１がスクリーン２に向けて地図の画像を投影し、図４（ａ）に示したように、ユーザに対して目的地の選択を要求するメッセージを出して入力を待つ。ユーザは地図を見て目的地である「ＡＢＣ会館」を発見すると、手を動かしてレーザー光の光路を遮り、指先の影が「ＡＢＣ会館」を示すようにする。この状態を図４（ｂ）に示す。
【００２８】
ステップＳ２０２では、スクリーン撮影用カメラ３がスクリーン２を撮影し、スクリーン撮影画像を取得する。ステップＳ２０３では、スクリーン撮影画像に基づいて動作検出部４がユーザの動作の検出を試み、ユーザからの指示があったかどうか判断する。このステップについては後ほど詳細に述べる。
【００２９】
ユーザからの指示が無かった場合（ステップＳ２０４＝Ｎ）、ユーザからの入力待ちを継続し、所定の間隔を置いて再度ユーザの動作を検出しようと試みる。一方、ユーザからの指示があった場合（ステップＳ２０４＝Ｙ）、ステップＳ２０５に進む。目的地として「ＡＢＣ会館」を設定し、図４（ｃ）のようにメッセージ出力する。以上で目的地の選択は終わり、ナビゲーションを開始する。
【００３０】
（ユーザの動作検出の処理フロー）
図３のフローチャートを参照しつつ、動作検出部が指先の影の位置情報に基づいてユーザの動作を検出する処理を説明する。
【００３１】
ステップＳ３０１では、影検出部４１はスクリーン撮影画像から影と判断される領域を探す。その際には例えば、明度のコントラストに基づいて周囲より明度の低い領域を検出する方法によることができる。続いてパターン比較部４３は、影の形状とパターン記憶部４２が保存する画像パターンとのマッチングにより、指先の影が含まれるかを判断する。指先の影が無かった場合（ステップＳ３０１＝Ｎ）、ステップＳ３０４に進み、メモリに「指示なし」をセットして処理を終了する。一方、指先の影があった場合（ステップＳ３０１＝Ｙ）、ステップＳ３０２に進み、指先が選択しているオブジェクトである「ＡＢＣ会館」を特定する。
【００３２】
ステップＳ３０３では、経時解析部４４は指先によるオブジェクト選択が１秒間持続したかどうかを判断する。持続しない場合（ステップＳ３０３＝Ｎ）、ユーザによる選択動作ではなく単なる移動途中等であると判断してステップＳ３０４に進む。一方１秒間持続した場合（ステップＳ３０３＝Ｙ）、ユーザが目的地を選択したと判断してステップＳ３０５に進む。ステップＳ３０５ではメモリに「指示あり」をセットして終了する。
【００３３】
なお、本実施形態では地図上のオブジェクト選択方法として、オブジェクト上に指先の影を置いて１秒間保持することとしたが、実際はこれに限定されるものではない。例えばもっと短い時間で選択したとみなすこともできる。
【００３４】
本実施形態の動作検出装置によれば、ユーザがカーナビゲーション装置を操作する際に手の影を用いて遠隔操作することができるので、スクリーンに表示された地図を見ながら直観的に遠隔操作することが可能になる。また、ユーザは画面に直に接触しなくても良いため、身を乗り出したり手を遠くに伸ばしたりする必要が無い。また、レーザープロジェクタを使用することにより、投影部とスクリーンの距離にかかわらず回折現象が起きないので、操作システムを車内に配置する際の自由度が向上する。
【００３５】
＜実施形態２＞
本実施形態では、実施形態１で述べたスクリーン撮影画像中の指先の影に加えて、ユーザの手に投影された映像を利用してユーザの動作を検出する方法について説明する。
【００３６】
（操作システムの構成）
以下、図５に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。なお、実施形態１と同じブロックには同一の番号を付し、説明を省略する。
【００３７】
ユーザ撮影用カメラ７は、ユーザがレーザー光を手で遮ってスクリーンに影を生じさせるときに、手に投影されている画像を取得するためのカメラであり、本発明におけるユーザ撮影手段に当たる。そのために、ユーザ撮影用カメラ７はスクリーン２に向かってレーザープロジェクタ１と同じ方向に設置されている。以下、ユーザ撮影用カメラ７が撮影する画像をユーザ撮影画像と記述する。
【００３８】
（処理フロー）
以下、図６のフローチャート、図８（ａ）の投影画像、及び図８（ｂ）のスクリーン撮影画像を参照しつつ、本実施形態の処理フローを説明する。
【００３９】
ここでは、投影画像を縦横２×２の４つの領域に区分し、ユーザがその中から１つを選択する際の処理について述べる。具体的には、まず、レーザープロジェクタがスクリーンに向けて画像を投影する。続いてユーザが手を伸ばして、指先の影によって４つの領域のうち１つを選択する。このときレーザー光が手で遮られることによりスクリーンに影が生じるが、同時にユーザの手には遮られた部分のレーザー光が投影されている。そこで、ユーザ撮影用カメラ７による撮影画像からユーザの手に投影された画像を取得し、元の投影画像と比較することにより指先がどの位置にあるかを認識する。これによりユーザの動作を検出し、どの領域を選択したかを判断する。
【００４０】
ステップＳ６０１では、画像作成部８が作成した画像をレーザープロジェクション１がスクリーン２の上に投影する。この画像は図８（ａ）に示すように、スクリーンを４つの領域に区切るものである。
【００４１】
ステップＳ６０２では、スクリーン撮影用カメラ３がスクリーン２を撮影してスクリーン撮影画像を取得する。また、ユーザ撮影用カメラ７がレーザー光の光路をレーザープロジェクション１と同じ側から撮影してユーザ撮影画像を取得する。
【００４２】
ステップＳ６０３では、動作検出部４がスクリーン撮影画像からユーザの動作検出を試みる。検出は実施形態１と同様に図３のフローチャートに沿って実行される。その結果、図８（ｂ）に示したように明瞭な影があり、ユーザの動作を検出できた場合（ステップＳ６０４＝Ｙ）、ステップＳ６０７に進み、ユーザが指示した領域を選択する。一方、外乱光の影響などにより明瞭な影が検出できず、ユーザからの指示が確認できなかった場合（ステップＳ６０４＝Ｎ）、ステップＳ６０５に進む。
【００４３】
ステップＳ６０５では、動作検出部４がユーザ撮影画像からユーザの動作検出を試み、
「指示あり」、「指示なし」のいずれかを返す。このステップについては後ほど詳細に述べる。ユーザ指示ありの場合（ステップＳ６０６＝Ｙ）、ステップＳ６０７に進み、選択処理を終了する。一方、ユーザ指示なしの場合（ステップＳ６０６＝Ｎ）、ユーザの選択待機状態になり、所定の間隔をおいて再度ユーザの動作を検出する。
【００４４】
（ユーザ撮影画像からユーザの動作を検出する処理フロー）
図７のフローチャート、及び図８（ｃ）に示したユーザ撮影画像を参照しつつ、動作検出部がユーザの動作を検出する処理を説明する。
【００４５】
まずパターン比較部４３はユーザ撮影画像を解析し、パターン記憶部４２が保存しているパターンとのマッチング等によって手の形状の発見を試みる。手の形状を発見できなかった場合（ステップＳ７０１＝Ｎ）、ステップＳ７０５に進み、メモリに「指示なし」をセットして処理を終了する。一方、図８（ｃ）に示したように手の形状を発見した場合（ステップＳ７０１＝Ｙ）、ステップＳ７０２に進み、手に映った画像を取得する。続いてステップＳ７０３において手に映っている画像を分析し、画像作成部６から受信した元の投影画像とも比較し、指先が選択している領域（この場合画面の左上）を特定する。
【００４６】
ステップＳ７０４では、ユーザ撮影画像を継続して観察し、指先による選択が１秒間持続したがどうかを判断する。持続しない場合（ステップＳ７０４＝Ｎ）、ユーザによる選択ではなく単なる動作の途中だと判断し、ステップＳ７０５に進み、メモリに「指示なし」をセットして処理を終了する。一方、１秒間選択が持続した場合（ステップＳ７０４＝Ｙ）、ステップＳ７０６に進み、「指示あり」をセットして終了する。
【００４７】
本実施形態の動作検出装置によれば、スクリーン撮影画像において影が鮮明でない場合であっても、手に映った画像に基づいてユーザの動作を検出することが可能となり、検出の精度を向上させることができる。
【００４８】
なお、本実施形態ではスクリーン撮影画像で影を検出できなかった時のみユーザ撮影画像を分析しているが、実際はこれに限定されるものではない。例えば、常にユーザ撮影画像の分析を行い、スクリーン撮影画像と併用することで検出精度を向上させることもできる。
【００４９】
＜実施形態３＞
本実施形態は、ユーザの動作を検出するために、実施形態１で述べた指先の影に加えて、ユーザの手の動きをカメラで取得する構成をとる。その際、ユーザの手の形状や動きを三次元的に分析する点が特徴となる。以下、実施形態２との相違点について説明する。
【００５０】
（操作システムの構成）
本実施形態の動作検出装置は、スクリーンの近傍領域を撮影する三次元撮影用カメラを備え、同領域でのユーザの手の動きを撮影して三次元撮影画像を取得する。このカメラは本発明における三次元撮影手段に当たる。動作検出部は三次元撮影画像に基づいてユーザの手の動きを三次元的に分析し、ユーザの動作を検出する。
【００５１】
このような三次元撮影用カメラとして、例えば光の反射を利用して分析を行うカメラが利用できる。すなわち、カメラからスクリーン近傍領域に振動する光を出し、ユーザの手に当たって反射してくる際の位相のずれを計測する装置である。この場合ユーザの体やレーザー光に邪魔されず撮影できるように、三次元撮影カメラをスクリーン側に設置することが好ましい。また、三次元撮影用カメラとしてステレオカメラを用いて立体映像を取得することもできる。
【００５２】
（処理フロー）
本実施形態の処理フローはほぼ実施形態２と同様であり、実施形態２でユーザ撮影画像に基づいてユーザの動作を検出していたところを、三次元撮影画像に基づいて行う点が異なる。
【００５３】
本実施形態の動作検出装置によれば、スクリーン撮影画像における影や、ユーザ撮影画像における手に映った画像が不鮮明な場合であっても、ユーザの手の動きに基づいてユーザの動作を検出することが可能となり、検出の精度を向上させることができる。また、三次元撮影用カメラは３次元的な手の動きを取得するので、動きのある操作を認識する際に特に有効である。また、三次元撮影画像を利用するのは、スクリーン撮影画像またはユーザ撮影画像からユーザの動作を検出できなかった場合に限らない。両者と同時に利用して、検出の精度を高めることもできる。
【００５４】
＜実施形態４＞
本実施形態は、スクリーンに外乱光が入り込んで画面全体の明度が高くなり、コントラストが低下している場面に有効な方法である。
【００５５】
このような場合スクリーン上の手の影を認識するのが困難であるため、コントラストを向上させる必要がある。そのために、まず投影画像の中に基準マーカという所定の明度を持つ領域を設置した上で投影を行う。そして元の投影画像とスクリーン撮影画像の明度を比較することにより外乱光の影響を推定する。もし外乱光の影響が大きければ、投影画像の明度を増大してコントラストを向上させ、影の検出を試みる。
【００５６】
（操作システムの構成）
図９に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。構成要素自体は実施形態１と同じである。画像作成部６は、画像の右上と左下の２か所に基準マーカ８を設ける。レーザープロジェクタ１が投影する画像にかかわらず、基準マーカ８の部分は一定の明度になるよう出力する。
【００５７】
（処理フロー）
図１０のフローチャートを参照しつつ処理フローを説明する。実施形態１と同様に、ユーザが地図から目的地を選択し、カーナビゲーション装置にナビゲーションを開始させる場合を例にとって説明を行う。
【００５８】
ステップＳ１００１では、レーザープロジェクタ１がスクリーン２に向けて地図の画像を投影し、ユーザによる目的地選択を待つ。ステップＳ１００２では、スクリーン撮影用カメラ３がスクリーン２を撮影し、スクリーン撮影画像として動作検出部４に送信する。ステップＳ１００３では、動作検出部が図３のフローに従って手の影からユーザの動作の検出を試みる。ユーザからの指示が検出できた場合（ステップＳ１００４＝Ｙ）、ステップＳ１００７に進み、目的地を設定してナビゲーションを開始する。なお、ここまでの処理は実施形態１と同じであり、ユーザの動作を検出できなかった場合（ステップＳ１００４＝Ｎ）の動作が本実施形態の特徴となる。
【００５９】
すなわち、まだ明度増大を行っていない場合（ステップＳ１００５＝Ｎ）、外乱光推定および次回投影時の明度決定を行う。このステップについては後ほど詳細に述べる。続いて再度ステップＳ１００１に進み、先ほど決定した明度で画像投影する。これにより明度が高くなるため、スクリーン撮影画像中のコントラストが向上して、ステップＳ１００３において手の影に基づくユーザの動作を検出することができる。
【００６０】
一方、明度増大が済んでいる場合（ステップＳ１００５＝Ｙ）、影が検出できないのは
外乱光の影響とは無関係で、レーザー光が遮断されておらずスクリーン上に影自体が存在しないためだと考えられる。そのため動作検出部はユーザからの入力待ちを継続し、所定の間隔をおいて再度ユーザの動作検出を試みる。
【００６１】
（外乱光推定と投影明度決定）
図１１のフローチャートを参照しつつ、外乱光推定および次回投影時の明度決定方法を説明する。
【００６２】
動作検出部４は、ステップＳ１１０１でスクリーン撮影画像中の基準マーカの明度を検知し、ステップＳ１１０２で投影時の基準マーカの明度と比較する。ここで、もしも外乱光の影響によりコントラストが低下して手の影が検出できないとすれば、スクリーン撮影画像における基準マーカの明度は投影時より高くなっているはずである。そこで、ステップＳ１１０３では、スクリーン撮影画像の基準マーカ明度が基準値以上、例えば投影時の２倍を超えているかを判断する。基準値を超えている場合（Ｓ１１０３＝Ｙ）、外乱光の影響が大きいと判断してステップＳ１００４に進み、次回に投影時の明度を高くする。
【００６３】
一方、Ｓ１１０３＝Ｎの場合、外乱光の影響はさして大きくないと判断されるため、次回投影時の明度は変更しない。
【００６４】
本実施形態の動作検出装置によれば、スクリーン撮影画像から手の影を検出できない時に、基準マーカの明度に基づいて外乱光の影響を推測し、次回投影時の明度を決定し、影を検出可能とすることができる。
【００６５】
なお、本実施形態では基準マーカを２か所としているが、画面サイズや投影距離など周囲の状況に応じて基準マーカの個数やサイズなどを適宜変更しても良い。また、明度の増大を１回だけ行うことにしているが、複数回にわたって増大しても良い。さらに、明度の増大量を決定する際に、外乱光の影響が大きければそれに応じて明度増大量を大きくすることも可能である。
【００６６】
＜ユーザの動作が異なる変形例＞
上記の各実施形態では、ユーザの動作として、スクリーン上のオブジェクトに指先の影を１秒間置くことにより対象を選択する方法を取り上げた。しかし、ユーザの動作はオブジェクトの選択に限られるものではなく、様々な場面で定義できる。以下、その例を記述する。
【００６７】
（ドラッグ＆ドロップの動作）
ここでは、画面上のオブジェクトをドラッグ＆ドロップするユーザの動作を検出するケースについて記述する。この動作を適用できる例として、ユーザが画面に表示された地図の縮尺を変更する場合がある。すなわち、ユーザは地図の縮尺を表すスクロールバー上でポインタをドラッグ＆ドロップして所望の縮尺を選択する。
【００６８】
図１２（ａ）〜（ｃ）はこの変形例でのスクリーン撮影画像の遷移を示す図である。図１２（ａ）を例として画面構成について説明する。画面の上部は地図であり、道路や建物（ＸＹＺビル）等が表示されている。画面の下部は地図の縮尺を示しており、スクロールバー１２１とポインタ１２２が表示されている。ポインタ１２２がスクロールバー１２１上の右寄りにあれば広い範囲が表示され、左寄りにあれば狭い範囲が詳細に表示される。縮尺を変更したい場合、ユーザは、まず指先の影でポインタ１２２をタッチし、希望の縮尺を示す位置までスクロールバー上を移動させてから、指先の影をスクロールバー１２１付近から遠ざける。
【００６９】
図１３にこの例でのフローチャートを示す。ステップＳ１３０１で、まずレーザープロジェクション１がスクリーン２に地図を表示する。続いてステップＳ１３０２では、定期的に上述した実施形態いずれかの方法による指先の影の検出を試み、ユーザによる操作を待つ。
【００７０】
図１２（ａ）に示すように、ユーザが指先の影でポインタ１２２にタッチした場合（ステップＳ１３０２＝Ｙ）、スクロール操作が始まったと考えられる。このときユーザは図１２（ｂ）に示すように、ポインタ１２２をスクロールバー１２１上でスライドし、希望の縮尺を指定する。続いてステップＳ１３０３では、指先の影がポインタ１２２から離れたかどうかを定期的に判断する。指先の影がポインタから離れた場合（ステップＳ１３０３＝Ｙ）、ポインタの位置が変更されたかどうかを判断する。ポインタ位置が変更されていれば（ステップＳ１３０４＝Ｙ）、図１２（ｃ）に示すように地図の縮尺を変更して処理を終了する。一方、ポインタ位置の変更が無ければ（ステップＳ１３０４＝Ｎ）、縮尺を変更せずに処理を終了する。
【００７１】
（手の影を画面上で動かす動作）
ここでは、手の影を画面上で動かすユーザの動作を検出するケースについて記述する。この動作を適用できる例として、ユーザが画面に表示された地図をスクロールしたい場合がある。ここでは、ユーザは画面上で手を右から左に動かす動作をすることで地図を左にスクロールさせる。
【００７２】
画面上に地図が表示されている時に、図１４（ａ）に示すように、ユーザは指を伸ばした手でレーザー光を遮って、影が画面上に投影されるようにする。続いて、画面をスクロールしたい方向に手を払う動作をする。この例では、ユーザが手の影を左上方向に動かすことによって、図１４（ｂ）に示すように、地図も左上にスクロールされる。
【００７３】
（手を特定の形状にする動作）
ここでは、特定の手の形状と操作内容が対応付けられている時に、手をその形状にするユーザの動作を検出するケースについて記述する。
【００７４】
図１５（ａ）には、カーナビゲーション装置やカーオーディオの音量アップ、エアコンの温度上昇など、何らかの数値を上昇させるケースで利用できる手の形状を示す。ユーザは、図示したように手を握って親指だけを上に向け、手を振ることにより動作検出装置に操作内容を伝える。
【００７５】
図１５（ｂ）には、ユーザが了承を与える際の手の形状を示す。例えば図示したように「よろしいですか？」と承認を求めるダイアログが表示された時に、ユーザは親指と人差し指で輪を作って了承の意図を伝える。
【００７６】
（本発明の適用範囲）
以上の実施形態では車両に搭載されたカーナビゲーション装置について述べたが、実際はこれに限定されるものではない。例えばエアコンやオーディオなど、ユーザの指示に応じて機能を発揮するような各種の装置についても使用できる。
【００７７】
また、動作検出装置および操作システムは車両に搭載されるとは限らず、例えば家屋に設置して家電機器などに適用することも可能である。
【図面の簡単な説明】
【００７８】
【図１】実施形態１の操作システムの構成を示すブロック図。
【図２】実施形態１の処理のフローチャート。
【図３】影に基づいてユーザの動作を検出する処理のフローチャート。
【図４】実施形態１のスクリーン撮影画像の遷移を示す図。
【図５】実施形態２の操作システムの構成を示すブロック図。
【図６】実施形態２の処理のフローチャート。
【図７】手に映った画像に基づいてユーザの動作を検出する処理のフローチャート。
【図８】実施形態２の処理を説明する画像。
【図９】実施形態４の操作システムの構成を示すブロック図。
【図１０】実施形態４の処理のフローチャート。
【図１１】実施形態４の次回投影明度決定処理のフローチャート。
【図１２】地図の縮尺を変更するユーザの動作を示す図。
【図１３】地図の縮尺を変更するユーザの動作を示すフローチャート。
【図１４】地図をスクロールするユーザの動作を示す図。
【図１５】特定の手の形状と対応付けられた操作内容を示す図。
【符号の説明】
【００７９】
１ レーザープロジェクタ
２ スクリーン
３ スクリーン撮影用カメラ
４ 動作検出部
６ 画像作成部
７ ユーザ撮影用カメラ
８ 基準マーカ
【技術分野】
【０００１】
本発明は、レーザー光を用いて画像を投影する投影部を備えた動作検出装置、およびそれを用いた操作システムに関する。
【背景技術】
【０００２】
従来、車載のカーナビゲーション装置を操作する際には、接触型および遠隔型の２種類の操作方法がある。接触型の例としては、ダッシュボードに配置されたボタンを操作したり、タッチパネル式の画面に直接触れたりする方法がある。しかし、これらの方法で運転者が操作する場合、運転席から身を乗り出したり、手を遠くに伸ばしたりする必要があり不便である。
【０００３】
遠隔型の例としては、リモコンを使用して指示を与える方法がある。しかし、リモコンを見ないと操作ができないため、画面と手元のリモコンを見比べながら操作を行うことになり時間がかかる。この対策として特開２００７−０８３８３４号公報（特許文献１）では、ミラーの反射を利用して操作部の像を前方に投影することで、前方を向いてタッチパネルを操作することを可能にした。しかし、この方法ではユーザが手を出す方向とユーザが見るべき画面の方向が異なるため、直観的な操作ができるとは言い難い。
【０００４】
一方、カーナビゲーション装置に限らず、ユーザが画面を見ながら遠隔操作を行うためのディスプレイシステムとして、特開平８−０９５７０７号公報（特許文献２）に記載の方法がある。この方法では、赤外光等を投影してユーザが持つ棒の位置を検出し、その位置情報に基づいてユーザの操作内容を認識している。しかし、この方法では光の回折現象により棒の位置を正確に特定するのが困難であった。
【特許文献１】特開２００７−０８３８３４号公報
【特許文献２】特開平８−０９５７０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、ユーザが画面を見ながら直観的に遠隔操作を行うことを可能とする技術を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明では、以下の構成の動作検出装置を採用する。すなわち、スクリーンと、レーザー光を用いてスクリーンに画像を投影する投影部と、スクリーンを撮影するスクリーン撮影手段を有する撮影部と、ユーザの動作を検出する動作検出部とを備え、動作検出部はレーザー光の光路が遮られた遮断領域の位置情報に基づいてユーザの動作を検出することを特徴とする動作検出装置である。
【０００７】
本発明は、操作内容を指示するためにユーザが行う動作を検出する方法として、スクリーンに映った遮断領域（影）の位置情報を利用するものである。すなわち、投影部がスクリーンにレーザー光で画像を投影している時に、ユーザはその光路を遮る位置に手などを置く。これにより、スクリーン上にレーザー光が遮られた影が生じる。そこでスクリーン撮影手段（カメラ等）はスクリーンを撮影し、スクリーン撮影画像を取得する。動作検出部は、スクリーン撮影画像中の影の位置情報に基づいてユーザの動作を検出する。
【０００８】
このように構成された本発明によれば、ユーザはスクリーンに映った影を見ながら、直観的に装置を遠隔操作することができる。またユーザは画面に直に接触する必要が無いこ
とから、身を乗り出したり手を遠くに伸ばしたりすることなく快適な操作ができる。さらに、レーザー光を用いることにより、レーザー光の直進性に基づいて回折のないくっきりした影を取得できる。
【０００９】
なお、動作検出部は、ある一時点での影の位置情報だけではなく、位置情報の経時的な変化に基づいて動作を検出しても良い。これにより、ユーザはより詳細に操作内容を指示することが可能となる。
【００１０】
本発明の実施においては、撮影部にユーザ撮影手段を設けることができる。これはレーザー光の光路を投影部の側から撮影し、ユーザ撮影画像を取得するものである。ここで、ユーザの手などの身体がレーザー光を遮っていれば、ユーザの手には画像の一部が投影されているはずである。そこで動作検出部は、ユーザ撮影画像中からユーザの手に映った画像を認識し、それに基づいてユーザの動作を検出する。
【００１１】
さらに本発明の実施においては、撮影部に三次元撮影手段を設けることができる。これはスクリーンの近傍を撮影して三次元撮影画像を取得するものである。動作検出部は三次元撮影画像中のユーザの手の動きを３次元的に分析し、ユーザの動作を検出する。
【００１２】
このように、ユーザ撮影手段または三次元撮影手段を追加して構成された本発明によれば、ユーザの手に映った画像またはユーザの手の動きに基づいてユーザの動作を検出することが可能になり、スクリーンに映った影に基づく方法と合わせることによって検出精度を向上させることができる。
【００１３】
本発明の実施においては、投影する画像に所定の明度を持つ領域である基準マーカを少なくとも１つ設けることができる。ここで、スクリーンに外乱光の映り込みがあった場合、スクリーン上での明度のコントラストが低くなり、影の位置情報に基づいてユーザの動作を検出できない事態が起こり得る。このとき動作検出部は、撮影部が撮影したスクリーンの画像中の基準マーカの明度と投影時の明度とを比較することにより、外乱光の影響がどの程度かを推測することができる。
【００１４】
このように構成された本発明によれば、動作検出部がユーザの動作を検出できない場合に、その原因が外乱光の影響かどうかを判断し、もし外乱光の影響であれば画像投影時の明度を増大させ、影を際立たせるという対応が取れるようになる。
【００１５】
本発明は、動作検出装置と、該動作検出装置が検出したユーザの動作に基づいて処理を実行する情報処理部とを備える操作システムとして実現することができる。さらに、該操作装置を車両に搭載して使用することができる。
【発明の効果】
【００１６】
本発明に係る動作検出装置または操作システムによれば、ユーザが画面を見ながら直観的に遠隔操作を行うことが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。以下の実施形態においては、動作検出装置とカーナビゲーション装置が搭載された車両で、ユーザである運転者が動作を行い、装置を操作する例について記述する。
【００１８】
＜実施形態１＞
本実施形態では、スクリーン上の遮断領域（影）の位置情報を利用してユーザの動作を検出する方法について説明する。すなわち、レーザープロジェクタがスクリーンにレーザ
ー光で画像を投影している時に、ユーザが手などでそのレーザー光を遮る。これによりスクリーン上に生じた影に基づいてユーザの動作を検出し、ユーザの意図した操作内容を認識する方法である。
【００１９】
（操作システムの構成）
図１に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。レーザープロジェクタ１は、画像作成部６が作成した画像をレーザー光により投影するものであり、本発明における投影部に当たる。スクリーン２は、レーザープロジェクタ１から投影された画像を表示する領域である。
【００２０】
なお、本実施形態においては、ユーザが運転席に座って操作することを前提としており、レーザープロジェクタ１は運転席の左後方に、スクリーン２は運転席の左前方のダッシュボードに、それぞれ設置されている。スクリーン２は通常、ユーザから視認できる程度の面積を持つ白色の平面領域からなるが、必ずしもこれに限定される必要はない。例えばダッシュボード自体に画像を投影しても良く、色も白色以外でも良い。
【００２１】
図示したように、ユーザがレーザー光を手で遮ることによって、スクリーン２の上に影（本発明における遮断領域）が生じる。スクリーン撮影用カメラ３は、スクリーン２を撮影してスクリーン撮影画像を取得するものであり、本発明におけるスクリーン撮影手段に当たる。スクリーン撮影用カメラ３を設置する位置としては、レーザープロジェクタ１から一定の角度を置き、ユーザの手がスクリーン撮影画像に映り込まないようにすることが好ましい。
【００２２】
動作検出部４は、スクリーン撮影画像に基づいてユーザの動作を検出するものであり、影検出部４１、パターン記憶部４２、パターン比較部４３、及び経時解析部４４を含む。影検出部４１はスクリーン撮影画像中の明度のコントラストを認識し、レーザー光が遮られた影の領域を検出する。その際、レーザープロジェクタ１が投影した画像を参照して、スクリーン撮影画像中のコントラストが影によるものか、元々の投影画像にコントラストがあるためかを判別し、影検出の精度を向上させることもできる。パターン記憶部４２は記憶装置であり、手の形状とユーザの動作を認識するための画像パターンのデータを保存している。データの種類としては、検出した影が手の形状であるかどうかを判断するためのものと、手の形状がどのような指示かを認識するためのものがある。
【００２３】
パターン比較部４３は、影検出部４１が検出した領域をパターン記憶部４２が保存する画像パターンとマッチングすることにより、スクリーン撮影画像に含まれる手の影の形状を認識する。このときパターン比較部４３は、まず影検出部４１が影だと判断した領域が手の影かどうかを判断し、もし手であれば、ユーザの指示がどのような内容であるかを認識する。経時解析部４４は、この手の影の形状を経時的に解析することによりユーザの動作を検出する。動作検出部４は、このユーザの動作を情報処理部５に送信する。なお、動作検出部４は専用の回路によって構成されても良く、ＣＰＵを利用して機能するプログラムとして実現することもできる。
【００２４】
情報処理部５は、動作検出部４が検出したユーザの動作に基づいて、ユーザの要求する操作を認識し、画像作成部６やその他の機器を制御する。画像作成部６はユーザに提示する画像を作成し、レーザープロジェクタ１に送信する。
【００２５】
（処理フロー）
以下、図２のフローチャートを参照しつつ、スクリーン上の地図からユーザが目的地を選択し、ナビゲーションを開始する際の処理フローについて説明する。必要に応じて図４（ａ）〜（ｃ）に示したスクリーン撮影画像の遷移図を参照する。具体的には、まず、レ
ーザープロジェクタがスクリーンに向けて画像を投影し、地図を表示する。続いてユーザ（運転者）がレーザー光を手で遮ってスクリーンに影を作り、影の指先部分で目的地の建物「ＡＢＣ会館」を選択する。続いて、カメラがスクリーンを撮影する。動作検出部は影の位置情報に基づいてユーザの動作を検出し、ユーザの指示内容を認識する。カーナビゲーション装置は指示内容に従って目的地を設定し、案内を開始する。
【００２６】
なお、本実施形態においてユーザがスクリーン上のオブジェクトを選択する際は、影の指先をそのオブジェクトの上に置いて１秒間保持するものとする。オブジェクトとしては例えば、地図上の建物や、画面上のボタンなどが対象となり得る。
【００２７】
ステップＳ２０１では、レーザープロジェクタ１がスクリーン２に向けて地図の画像を投影し、図４（ａ）に示したように、ユーザに対して目的地の選択を要求するメッセージを出して入力を待つ。ユーザは地図を見て目的地である「ＡＢＣ会館」を発見すると、手を動かしてレーザー光の光路を遮り、指先の影が「ＡＢＣ会館」を示すようにする。この状態を図４（ｂ）に示す。
【００２８】
ステップＳ２０２では、スクリーン撮影用カメラ３がスクリーン２を撮影し、スクリーン撮影画像を取得する。ステップＳ２０３では、スクリーン撮影画像に基づいて動作検出部４がユーザの動作の検出を試み、ユーザからの指示があったかどうか判断する。このステップについては後ほど詳細に述べる。
【００２９】
ユーザからの指示が無かった場合（ステップＳ２０４＝Ｎ）、ユーザからの入力待ちを継続し、所定の間隔を置いて再度ユーザの動作を検出しようと試みる。一方、ユーザからの指示があった場合（ステップＳ２０４＝Ｙ）、ステップＳ２０５に進む。目的地として「ＡＢＣ会館」を設定し、図４（ｃ）のようにメッセージ出力する。以上で目的地の選択は終わり、ナビゲーションを開始する。
【００３０】
（ユーザの動作検出の処理フロー）
図３のフローチャートを参照しつつ、動作検出部が指先の影の位置情報に基づいてユーザの動作を検出する処理を説明する。
【００３１】
ステップＳ３０１では、影検出部４１はスクリーン撮影画像から影と判断される領域を探す。その際には例えば、明度のコントラストに基づいて周囲より明度の低い領域を検出する方法によることができる。続いてパターン比較部４３は、影の形状とパターン記憶部４２が保存する画像パターンとのマッチングにより、指先の影が含まれるかを判断する。指先の影が無かった場合（ステップＳ３０１＝Ｎ）、ステップＳ３０４に進み、メモリに「指示なし」をセットして処理を終了する。一方、指先の影があった場合（ステップＳ３０１＝Ｙ）、ステップＳ３０２に進み、指先が選択しているオブジェクトである「ＡＢＣ会館」を特定する。
【００３２】
ステップＳ３０３では、経時解析部４４は指先によるオブジェクト選択が１秒間持続したかどうかを判断する。持続しない場合（ステップＳ３０３＝Ｎ）、ユーザによる選択動作ではなく単なる移動途中等であると判断してステップＳ３０４に進む。一方１秒間持続した場合（ステップＳ３０３＝Ｙ）、ユーザが目的地を選択したと判断してステップＳ３０５に進む。ステップＳ３０５ではメモリに「指示あり」をセットして終了する。
【００３３】
なお、本実施形態では地図上のオブジェクト選択方法として、オブジェクト上に指先の影を置いて１秒間保持することとしたが、実際はこれに限定されるものではない。例えばもっと短い時間で選択したとみなすこともできる。
【００３４】
本実施形態の動作検出装置によれば、ユーザがカーナビゲーション装置を操作する際に手の影を用いて遠隔操作することができるので、スクリーンに表示された地図を見ながら直観的に遠隔操作することが可能になる。また、ユーザは画面に直に接触しなくても良いため、身を乗り出したり手を遠くに伸ばしたりする必要が無い。また、レーザープロジェクタを使用することにより、投影部とスクリーンの距離にかかわらず回折現象が起きないので、操作システムを車内に配置する際の自由度が向上する。
【００３５】
＜実施形態２＞
本実施形態では、実施形態１で述べたスクリーン撮影画像中の指先の影に加えて、ユーザの手に投影された映像を利用してユーザの動作を検出する方法について説明する。
【００３６】
（操作システムの構成）
以下、図５に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。なお、実施形態１と同じブロックには同一の番号を付し、説明を省略する。
【００３７】
ユーザ撮影用カメラ７は、ユーザがレーザー光を手で遮ってスクリーンに影を生じさせるときに、手に投影されている画像を取得するためのカメラであり、本発明におけるユーザ撮影手段に当たる。そのために、ユーザ撮影用カメラ７はスクリーン２に向かってレーザープロジェクタ１と同じ方向に設置されている。以下、ユーザ撮影用カメラ７が撮影する画像をユーザ撮影画像と記述する。
【００３８】
（処理フロー）
以下、図６のフローチャート、図８（ａ）の投影画像、及び図８（ｂ）のスクリーン撮影画像を参照しつつ、本実施形態の処理フローを説明する。
【００３９】
ここでは、投影画像を縦横２×２の４つの領域に区分し、ユーザがその中から１つを選択する際の処理について述べる。具体的には、まず、レーザープロジェクタがスクリーンに向けて画像を投影する。続いてユーザが手を伸ばして、指先の影によって４つの領域のうち１つを選択する。このときレーザー光が手で遮られることによりスクリーンに影が生じるが、同時にユーザの手には遮られた部分のレーザー光が投影されている。そこで、ユーザ撮影用カメラ７による撮影画像からユーザの手に投影された画像を取得し、元の投影画像と比較することにより指先がどの位置にあるかを認識する。これによりユーザの動作を検出し、どの領域を選択したかを判断する。
【００４０】
ステップＳ６０１では、画像作成部８が作成した画像をレーザープロジェクション１がスクリーン２の上に投影する。この画像は図８（ａ）に示すように、スクリーンを４つの領域に区切るものである。
【００４１】
ステップＳ６０２では、スクリーン撮影用カメラ３がスクリーン２を撮影してスクリーン撮影画像を取得する。また、ユーザ撮影用カメラ７がレーザー光の光路をレーザープロジェクション１と同じ側から撮影してユーザ撮影画像を取得する。
【００４２】
ステップＳ６０３では、動作検出部４がスクリーン撮影画像からユーザの動作検出を試みる。検出は実施形態１と同様に図３のフローチャートに沿って実行される。その結果、図８（ｂ）に示したように明瞭な影があり、ユーザの動作を検出できた場合（ステップＳ６０４＝Ｙ）、ステップＳ６０７に進み、ユーザが指示した領域を選択する。一方、外乱光の影響などにより明瞭な影が検出できず、ユーザからの指示が確認できなかった場合（ステップＳ６０４＝Ｎ）、ステップＳ６０５に進む。
【００４３】
ステップＳ６０５では、動作検出部４がユーザ撮影画像からユーザの動作検出を試み、
「指示あり」、「指示なし」のいずれかを返す。このステップについては後ほど詳細に述べる。ユーザ指示ありの場合（ステップＳ６０６＝Ｙ）、ステップＳ６０７に進み、選択処理を終了する。一方、ユーザ指示なしの場合（ステップＳ６０６＝Ｎ）、ユーザの選択待機状態になり、所定の間隔をおいて再度ユーザの動作を検出する。
【００４４】
（ユーザ撮影画像からユーザの動作を検出する処理フロー）
図７のフローチャート、及び図８（ｃ）に示したユーザ撮影画像を参照しつつ、動作検出部がユーザの動作を検出する処理を説明する。
【００４５】
まずパターン比較部４３はユーザ撮影画像を解析し、パターン記憶部４２が保存しているパターンとのマッチング等によって手の形状の発見を試みる。手の形状を発見できなかった場合（ステップＳ７０１＝Ｎ）、ステップＳ７０５に進み、メモリに「指示なし」をセットして処理を終了する。一方、図８（ｃ）に示したように手の形状を発見した場合（ステップＳ７０１＝Ｙ）、ステップＳ７０２に進み、手に映った画像を取得する。続いてステップＳ７０３において手に映っている画像を分析し、画像作成部６から受信した元の投影画像とも比較し、指先が選択している領域（この場合画面の左上）を特定する。
【００４６】
ステップＳ７０４では、ユーザ撮影画像を継続して観察し、指先による選択が１秒間持続したがどうかを判断する。持続しない場合（ステップＳ７０４＝Ｎ）、ユーザによる選択ではなく単なる動作の途中だと判断し、ステップＳ７０５に進み、メモリに「指示なし」をセットして処理を終了する。一方、１秒間選択が持続した場合（ステップＳ７０４＝Ｙ）、ステップＳ７０６に進み、「指示あり」をセットして終了する。
【００４７】
本実施形態の動作検出装置によれば、スクリーン撮影画像において影が鮮明でない場合であっても、手に映った画像に基づいてユーザの動作を検出することが可能となり、検出の精度を向上させることができる。
【００４８】
なお、本実施形態ではスクリーン撮影画像で影を検出できなかった時のみユーザ撮影画像を分析しているが、実際はこれに限定されるものではない。例えば、常にユーザ撮影画像の分析を行い、スクリーン撮影画像と併用することで検出精度を向上させることもできる。
【００４９】
＜実施形態３＞
本実施形態は、ユーザの動作を検出するために、実施形態１で述べた指先の影に加えて、ユーザの手の動きをカメラで取得する構成をとる。その際、ユーザの手の形状や動きを三次元的に分析する点が特徴となる。以下、実施形態２との相違点について説明する。
【００５０】
（操作システムの構成）
本実施形態の動作検出装置は、スクリーンの近傍領域を撮影する三次元撮影用カメラを備え、同領域でのユーザの手の動きを撮影して三次元撮影画像を取得する。このカメラは本発明における三次元撮影手段に当たる。動作検出部は三次元撮影画像に基づいてユーザの手の動きを三次元的に分析し、ユーザの動作を検出する。
【００５１】
このような三次元撮影用カメラとして、例えば光の反射を利用して分析を行うカメラが利用できる。すなわち、カメラからスクリーン近傍領域に振動する光を出し、ユーザの手に当たって反射してくる際の位相のずれを計測する装置である。この場合ユーザの体やレーザー光に邪魔されず撮影できるように、三次元撮影カメラをスクリーン側に設置することが好ましい。また、三次元撮影用カメラとしてステレオカメラを用いて立体映像を取得することもできる。
【００５２】
（処理フロー）
本実施形態の処理フローはほぼ実施形態２と同様であり、実施形態２でユーザ撮影画像に基づいてユーザの動作を検出していたところを、三次元撮影画像に基づいて行う点が異なる。
【００５３】
本実施形態の動作検出装置によれば、スクリーン撮影画像における影や、ユーザ撮影画像における手に映った画像が不鮮明な場合であっても、ユーザの手の動きに基づいてユーザの動作を検出することが可能となり、検出の精度を向上させることができる。また、三次元撮影用カメラは３次元的な手の動きを取得するので、動きのある操作を認識する際に特に有効である。また、三次元撮影画像を利用するのは、スクリーン撮影画像またはユーザ撮影画像からユーザの動作を検出できなかった場合に限らない。両者と同時に利用して、検出の精度を高めることもできる。
【００５４】
＜実施形態４＞
本実施形態は、スクリーンに外乱光が入り込んで画面全体の明度が高くなり、コントラストが低下している場面に有効な方法である。
【００５５】
このような場合スクリーン上の手の影を認識するのが困難であるため、コントラストを向上させる必要がある。そのために、まず投影画像の中に基準マーカという所定の明度を持つ領域を設置した上で投影を行う。そして元の投影画像とスクリーン撮影画像の明度を比較することにより外乱光の影響を推定する。もし外乱光の影響が大きければ、投影画像の明度を増大してコントラストを向上させ、影の検出を試みる。
【００５６】
（操作システムの構成）
図９に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。構成要素自体は実施形態１と同じである。画像作成部６は、画像の右上と左下の２か所に基準マーカ８を設ける。レーザープロジェクタ１が投影する画像にかかわらず、基準マーカ８の部分は一定の明度になるよう出力する。
【００５７】
（処理フロー）
図１０のフローチャートを参照しつつ処理フローを説明する。実施形態１と同様に、ユーザが地図から目的地を選択し、カーナビゲーション装置にナビゲーションを開始させる場合を例にとって説明を行う。
【００５８】
ステップＳ１００１では、レーザープロジェクタ１がスクリーン２に向けて地図の画像を投影し、ユーザによる目的地選択を待つ。ステップＳ１００２では、スクリーン撮影用カメラ３がスクリーン２を撮影し、スクリーン撮影画像として動作検出部４に送信する。ステップＳ１００３では、動作検出部が図３のフローに従って手の影からユーザの動作の検出を試みる。ユーザからの指示が検出できた場合（ステップＳ１００４＝Ｙ）、ステップＳ１００７に進み、目的地を設定してナビゲーションを開始する。なお、ここまでの処理は実施形態１と同じであり、ユーザの動作を検出できなかった場合（ステップＳ１００４＝Ｎ）の動作が本実施形態の特徴となる。
【００５９】
すなわち、まだ明度増大を行っていない場合（ステップＳ１００５＝Ｎ）、外乱光推定および次回投影時の明度決定を行う。このステップについては後ほど詳細に述べる。続いて再度ステップＳ１００１に進み、先ほど決定した明度で画像投影する。これにより明度が高くなるため、スクリーン撮影画像中のコントラストが向上して、ステップＳ１００３において手の影に基づくユーザの動作を検出することができる。
【００６０】
一方、明度増大が済んでいる場合（ステップＳ１００５＝Ｙ）、影が検出できないのは
外乱光の影響とは無関係で、レーザー光が遮断されておらずスクリーン上に影自体が存在しないためだと考えられる。そのため動作検出部はユーザからの入力待ちを継続し、所定の間隔をおいて再度ユーザの動作検出を試みる。
【００６１】
（外乱光推定と投影明度決定）
図１１のフローチャートを参照しつつ、外乱光推定および次回投影時の明度決定方法を説明する。
【００６２】
動作検出部４は、ステップＳ１１０１でスクリーン撮影画像中の基準マーカの明度を検知し、ステップＳ１１０２で投影時の基準マーカの明度と比較する。ここで、もしも外乱光の影響によりコントラストが低下して手の影が検出できないとすれば、スクリーン撮影画像における基準マーカの明度は投影時より高くなっているはずである。そこで、ステップＳ１１０３では、スクリーン撮影画像の基準マーカ明度が基準値以上、例えば投影時の２倍を超えているかを判断する。基準値を超えている場合（Ｓ１１０３＝Ｙ）、外乱光の影響が大きいと判断してステップＳ１００４に進み、次回に投影時の明度を高くする。
【００６３】
一方、Ｓ１１０３＝Ｎの場合、外乱光の影響はさして大きくないと判断されるため、次回投影時の明度は変更しない。
【００６４】
本実施形態の動作検出装置によれば、スクリーン撮影画像から手の影を検出できない時に、基準マーカの明度に基づいて外乱光の影響を推測し、次回投影時の明度を決定し、影を検出可能とすることができる。
【００６５】
なお、本実施形態では基準マーカを２か所としているが、画面サイズや投影距離など周囲の状況に応じて基準マーカの個数やサイズなどを適宜変更しても良い。また、明度の増大を１回だけ行うことにしているが、複数回にわたって増大しても良い。さらに、明度の増大量を決定する際に、外乱光の影響が大きければそれに応じて明度増大量を大きくすることも可能である。
【００６６】
＜ユーザの動作が異なる変形例＞
上記の各実施形態では、ユーザの動作として、スクリーン上のオブジェクトに指先の影を１秒間置くことにより対象を選択する方法を取り上げた。しかし、ユーザの動作はオブジェクトの選択に限られるものではなく、様々な場面で定義できる。以下、その例を記述する。
【００６７】
（ドラッグ＆ドロップの動作）
ここでは、画面上のオブジェクトをドラッグ＆ドロップするユーザの動作を検出するケースについて記述する。この動作を適用できる例として、ユーザが画面に表示された地図の縮尺を変更する場合がある。すなわち、ユーザは地図の縮尺を表すスクロールバー上でポインタをドラッグ＆ドロップして所望の縮尺を選択する。
【００６８】
図１２（ａ）〜（ｃ）はこの変形例でのスクリーン撮影画像の遷移を示す図である。図１２（ａ）を例として画面構成について説明する。画面の上部は地図であり、道路や建物（ＸＹＺビル）等が表示されている。画面の下部は地図の縮尺を示しており、スクロールバー１２１とポインタ１２２が表示されている。ポインタ１２２がスクロールバー１２１上の右寄りにあれば広い範囲が表示され、左寄りにあれば狭い範囲が詳細に表示される。縮尺を変更したい場合、ユーザは、まず指先の影でポインタ１２２をタッチし、希望の縮尺を示す位置までスクロールバー上を移動させてから、指先の影をスクロールバー１２１付近から遠ざける。
【００６９】
図１３にこの例でのフローチャートを示す。ステップＳ１３０１で、まずレーザープロジェクション１がスクリーン２に地図を表示する。続いてステップＳ１３０２では、定期的に上述した実施形態いずれかの方法による指先の影の検出を試み、ユーザによる操作を待つ。
【００７０】
図１２（ａ）に示すように、ユーザが指先の影でポインタ１２２にタッチした場合（ステップＳ１３０２＝Ｙ）、スクロール操作が始まったと考えられる。このときユーザは図１２（ｂ）に示すように、ポインタ１２２をスクロールバー１２１上でスライドし、希望の縮尺を指定する。続いてステップＳ１３０３では、指先の影がポインタ１２２から離れたかどうかを定期的に判断する。指先の影がポインタから離れた場合（ステップＳ１３０３＝Ｙ）、ポインタの位置が変更されたかどうかを判断する。ポインタ位置が変更されていれば（ステップＳ１３０４＝Ｙ）、図１２（ｃ）に示すように地図の縮尺を変更して処理を終了する。一方、ポインタ位置の変更が無ければ（ステップＳ１３０４＝Ｎ）、縮尺を変更せずに処理を終了する。
【００７１】
（手の影を画面上で動かす動作）
ここでは、手の影を画面上で動かすユーザの動作を検出するケースについて記述する。この動作を適用できる例として、ユーザが画面に表示された地図をスクロールしたい場合がある。ここでは、ユーザは画面上で手を右から左に動かす動作をすることで地図を左にスクロールさせる。
【００７２】
画面上に地図が表示されている時に、図１４（ａ）に示すように、ユーザは指を伸ばした手でレーザー光を遮って、影が画面上に投影されるようにする。続いて、画面をスクロールしたい方向に手を払う動作をする。この例では、ユーザが手の影を左上方向に動かすことによって、図１４（ｂ）に示すように、地図も左上にスクロールされる。
【００７３】
（手を特定の形状にする動作）
ここでは、特定の手の形状と操作内容が対応付けられている時に、手をその形状にするユーザの動作を検出するケースについて記述する。
【００７４】
図１５（ａ）には、カーナビゲーション装置やカーオーディオの音量アップ、エアコンの温度上昇など、何らかの数値を上昇させるケースで利用できる手の形状を示す。ユーザは、図示したように手を握って親指だけを上に向け、手を振ることにより動作検出装置に操作内容を伝える。
【００７５】
図１５（ｂ）には、ユーザが了承を与える際の手の形状を示す。例えば図示したように「よろしいですか？」と承認を求めるダイアログが表示された時に、ユーザは親指と人差し指で輪を作って了承の意図を伝える。
【００７６】
（本発明の適用範囲）
以上の実施形態では車両に搭載されたカーナビゲーション装置について述べたが、実際はこれに限定されるものではない。例えばエアコンやオーディオなど、ユーザの指示に応じて機能を発揮するような各種の装置についても使用できる。
【００７７】
また、動作検出装置および操作システムは車両に搭載されるとは限らず、例えば家屋に設置して家電機器などに適用することも可能である。
【図面の簡単な説明】
【００７８】
【図１】実施形態１の操作システムの構成を示すブロック図。
【図２】実施形態１の処理のフローチャート。
【図３】影に基づいてユーザの動作を検出する処理のフローチャート。
【図４】実施形態１のスクリーン撮影画像の遷移を示す図。
【図５】実施形態２の操作システムの構成を示すブロック図。
【図６】実施形態２の処理のフローチャート。
【図７】手に映った画像に基づいてユーザの動作を検出する処理のフローチャート。
【図８】実施形態２の処理を説明する画像。
【図９】実施形態４の操作システムの構成を示すブロック図。
【図１０】実施形態４の処理のフローチャート。
【図１１】実施形態４の次回投影明度決定処理のフローチャート。
【図１２】地図の縮尺を変更するユーザの動作を示す図。
【図１３】地図の縮尺を変更するユーザの動作を示すフローチャート。
【図１４】地図をスクロールするユーザの動作を示す図。
【図１５】特定の手の形状と対応付けられた操作内容を示す図。
【符号の説明】
【００７９】
１ レーザープロジェクタ
２ スクリーン
３ スクリーン撮影用カメラ
４ 動作検出部
６ 画像作成部
７ ユーザ撮影用カメラ
８ 基準マーカ
【特許請求の範囲】
【請求項１】
所定の領域を撮影し、撮影した動画像からユーザの動作を検出する動作検出装置であって、
スクリーンと、
レーザー光を用いて前記スクリーンに画像を投影する投影部と、
前記スクリーンを撮影してスクリーン撮影画像を取得するスクリーン撮影手段を有する撮影部と、
前記スクリーン撮影画像においてレーザー光が遮られた領域である遮断領域の位置情報に基づいてユーザの動作を検出する動作検出部と
を備えることを特徴とする動作検出装置。
【請求項２】
前記動作検出部は、前記遮断領域の位置情報の経時的な変化に基づいてユーザの動作を検出する
ことを特徴とする請求項１に記載の動作検出装置。
【請求項３】
前記撮影部は、レーザー光の光路を前記投影部の側から撮影してユーザ撮影画像を取得するユーザ撮影手段を有し、
前記動作検出部は、前記ユーザ撮影画像中にユーザの身体がレーザー光の光路を遮った部分があれば、ユーザの身体に投影された画像を検出し、その画像にも基づいてユーザの動作を検出する
ことを特徴とする請求項１または２に記載の動作検出装置。
【請求項４】
前記撮影部は、前記スクリーンの近傍におけるユーザの手の動きを撮影して三次元撮影画像を取得する三次元撮影手段を有し、
前記動作検出部は、前記三次元撮影画像にも基づいてユーザの動作を検出する
ことを特徴とする請求項１〜３のいずれか１項に記載の動作検出装置。
【請求項５】
前記投影部が投影する画像には、前記投影部によって、所定の明度を持つ領域である基準マーカが少なくとも１つ設けられており、
前記動作検出部が前記遮断領域の存在を認識できなかった場合、前記動作検出部は、前記スクリーン撮影画像中での基準マーカの明度を投影時の基準マーカの明度と比較し、前記スクリーン撮影画像において画像全体の明度が所定の値よりも低いと判断した場合、画像全体の明度を高くして投影を行う
ことを特徴とする請求項１〜４のいずれか１項に記載の動作検出装置。
【請求項６】
請求項１〜５のいずれか１項に記載の動作検出装置と、
前記動作検出装置によって検出されたユーザの動作に応じた処理を実行する情報処理部と
を備えることを特徴とする操作システム。
【請求項７】
前記操作システムは車両に搭載されており、
前記情報処理部はカーナビゲーション装置の制御を行う
ことを特徴とする請求項６に記載の操作システム。
【請求項１】
所定の領域を撮影し、撮影した動画像からユーザの動作を検出する動作検出装置であって、
スクリーンと、
レーザー光を用いて前記スクリーンに画像を投影する投影部と、
前記スクリーンを撮影してスクリーン撮影画像を取得するスクリーン撮影手段を有する撮影部と、
前記スクリーン撮影画像においてレーザー光が遮られた領域である遮断領域の位置情報に基づいてユーザの動作を検出する動作検出部と
を備えることを特徴とする動作検出装置。
【請求項２】
前記動作検出部は、前記遮断領域の位置情報の経時的な変化に基づいてユーザの動作を検出する
ことを特徴とする請求項１に記載の動作検出装置。
【請求項３】
前記撮影部は、レーザー光の光路を前記投影部の側から撮影してユーザ撮影画像を取得するユーザ撮影手段を有し、
前記動作検出部は、前記ユーザ撮影画像中にユーザの身体がレーザー光の光路を遮った部分があれば、ユーザの身体に投影された画像を検出し、その画像にも基づいてユーザの動作を検出する
ことを特徴とする請求項１または２に記載の動作検出装置。
【請求項４】
前記撮影部は、前記スクリーンの近傍におけるユーザの手の動きを撮影して三次元撮影画像を取得する三次元撮影手段を有し、
前記動作検出部は、前記三次元撮影画像にも基づいてユーザの動作を検出する
ことを特徴とする請求項１〜３のいずれか１項に記載の動作検出装置。
【請求項５】
前記投影部が投影する画像には、前記投影部によって、所定の明度を持つ領域である基準マーカが少なくとも１つ設けられており、
前記動作検出部が前記遮断領域の存在を認識できなかった場合、前記動作検出部は、前記スクリーン撮影画像中での基準マーカの明度を投影時の基準マーカの明度と比較し、前記スクリーン撮影画像において画像全体の明度が所定の値よりも低いと判断した場合、画像全体の明度を高くして投影を行う
ことを特徴とする請求項１〜４のいずれか１項に記載の動作検出装置。
【請求項６】
請求項１〜５のいずれか１項に記載の動作検出装置と、
前記動作検出装置によって検出されたユーザの動作に応じた処理を実行する情報処理部と
を備えることを特徴とする操作システム。
【請求項７】
前記操作システムは車両に搭載されており、
前記情報処理部はカーナビゲーション装置の制御を行う
ことを特徴とする請求項６に記載の操作システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−１１７９１７（Ｐ２０１０−１１７９１７Ａ）
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願番号】特願２００８−２９１１１９（Ｐ２００８−２９１１１９）
【出願日】平成２０年１１月１３日（２００８．１１．１３）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願日】平成２０年１１月１３日（２００８．１１．１３）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]