動作検出装置及びそれを用いた操作システム
【課題】投影画像を遮って生じる影の位置情報に基づいてユーザ動作を検出する動作検出装置及びそれを用いた操作システムにおいて、ユーザが影により隠された部分についての必要な情報を取得可能にする技術を提供する。
【解決手段】画像表示部と投影部を用意し、投影部から画像表示部に画像を投影する。ユーザは手で投影画像を遮って影を生じさせ、動作検出部がユーザ動作を検出する。その際に補完画像作成部は補完画像を作成し、影の領域に出力する。補完画像としては投影画像の色を異ならせた画像や、ユーザ動作に応じた形状のカーソルを出力できるため、操作性を向上させることができる。
【解決手段】画像表示部と投影部を用意し、投影部から画像表示部に画像を投影する。ユーザは手で投影画像を遮って影を生じさせ、動作検出部がユーザ動作を検出する。その際に補完画像作成部は補完画像を作成し、影の領域に出力する。補完画像としては投影画像の色を異ならせた画像や、ユーザ動作に応じた形状のカーソルを出力できるため、操作性を向上させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影画像をユーザが遮断して生じる影の位置情報に基づいてユーザ動作を検出する動作検出装置、及びそれを用いた操作システムに関する。
【背景技術】
【０００２】
従来、カーナビゲーション装置を操作する方法として、接触型と遠隔型の２種類があった。接触型とは例えば特開２００２−３２８０３０号公報（特許文献１）のように、タッチパネル式の画面に触れたり、画面付近に配置されたボタンを操作したりして装置を操作する方法である。しかしカーナビゲーション装置の画面はダッシュボード付近に設置されていることが多いため、接触型の場合、ユーザが運転席から身を乗り出したり、手を遠くに伸ばしたりする必要があった。遠隔型とは例えば特開２００８−１３５９１７号公報（特許文献２）のように、リモコンを利用して装置を操作する方法である。しかし遠隔型の場合、まず手元のリモコンを操作し、次に画面を見て操作結果を確認するといった手順が必要であり、注意が分散してしまっていた。
【０００３】
一方、特開２００４−１６８２６４号公報（特許文献３）に記載されているカーナビゲーション装置は、ユーザの手の形状や動き（ハンドパターン）を撮影し、スイッチ操作情報を検出している。しかしこの方法では画面から離れた位置で手を動かすため、地図上の位置を直接指示することができず、細かな操作ができない。
【特許文献１】特開２００２−３２８０３０号公報
【特許文献２】特開２００８−１３５９１７号公報
【特許文献３】特開２００４−１６８２６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の方法の不都合を解消するために、ユーザの手などの影を用いた遠隔操作が考えられる。すなわち、プロジェクタがスクリーンに光を投影してナビゲーション画面を表示すると、ユーザが手を動かして投影される画像を遮ってスクリーンに影を作り、影の形状や動きで操作を行う。そして装置は影の形状や動きに基づいて操作内容を認識する。
【０００５】
この方法によれば、手の影を用いて遠隔操作ができるので、ユーザは画面に触れるために運転席から身を乗り出したり、手を遠くに伸ばしたりする必要が無い。また、リモコンを用いずに画面を見ながら操作できるので、画面とリモコンの間で注意が分散する恐れが無い。さらに、例えば手の指先の影を用いて画面上の位置を直接指示し、細かな操作を行うことが可能である。
【０００６】
手などの影を用いた遠隔操作方法には上記のような利点を有するが、画面上に影が生じることが原因でユーザが得られる情報量が低下するという課題がある。例えば、ユーザは影の下に隠れた部分を視認することができない。また、影のうちどの部分が操作ポイントであるかユーザに分かりにくい場合がある。つまり、画面上に影が大きく表示されていると、ユーザが思っている操作ポイントと動作検出装置が認識した操作ポイントの位置がズレて、ユーザの意図した通りの反応をしない可能性がある。
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、投影画像をユーザが遮断して生じる影の位置情報に基づいてユーザ動作を検出する動作検出装置、及びそれを用いた操作システムにおいて、影の領域にユーザの操作性を向上するための情報を表示する技術を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明では、以下の構成の動作検出装置を採用する。すなわち、画像表示部と、前記画像表示部に画像を投影する投影部と、前記画像表示部を撮影する撮影部と、前記投影画像が遮断されて前記画像表示部に生じた遮断領域を検出し、当該遮断領域の位置情報に基づいてユーザ動作を検出する動作検出部と、前記遮断領域に画像を出力する補完画像出力部とを備えることを特徴とする動作検出装置である。
【０００９】
このように、投影部とは別に補完画像出力部を備える構成を取ることにより、補完画像出力部が遮断領域（ユーザの手などの影）に補完画像として、ユーザの操作性を向上させるための情報を出力することができる。
【００１０】
補完画像としては様々な画像を使用することが可能である。例えば補完画像として、遮断領域の画像を投影時とは異なる色に変えたものを出力することができる。異なる色の補完画像として例えば、遮断領域の画像の明度を最初の投影時よりも低下させたものを使用できる。
【００１１】
あるいは、投影部がカラー画像を投影している時に、補完画像として単色の画像を使用することができる。単色の画像としては、投影した画像をＲＧＢの三刺激値で表した時のいずれか一つの刺激値のみを表示したものや、投影したカラー画像をモノクロ画像に変換したものが考えられる。
【００１２】
このように、補完画像として投影画像とは異なる色の画像を出力するように構成された本発明によれば、ユーザは遮断された部分に何が表示されているかを視認しながら遠隔操作を行うことが可能であり、操作性が向上する。また、出力する補完画像の色を異ならせることにより、ユーザはどこに影があるかを見失うことなく操作できる。
【００１３】
本発明における補完画像出力部は、遮断領域にユーザ動作に応じた形状のアイコンを出力することができる。例えば補完画像として、ユーザの操作ポイントを示すアイコン（カーソル）を出力することができる。このようにカーソルを出力することによって、ユーザは影のどの部分が操作ポイントであるかを正確に認識でき、操作性が向上する。
【００１４】
更に、カーソルを出力するに当たっては、操作ポイントでユーザが実行可能な操作を知らせるようにカーソルの形状を変化させて出力することもできる。このようにカーソルの形状を変化させることによってユーザが様々な動作をスムーズに行えるようになり、操作性が向上する。
【００１５】
ところで、補完画像を出力する際には、遮断領域と正確に位置を合わせることが必要である。そこで本発明においては、投影画像の中に、画像での位置を特定するための基準マーカを少なくとも１箇所設けることができる。これにより、補完画像を出力する際に基準マーカの位置に基づいて出力位置を詳細に調整することができる。
【００１６】
また、補完画像出力部は補完画像を出力するに当たって、遮断領域のみに出力することもできるし、遮断領域を含む画像表示部全体に出力することも可能である。
【００１７】
本発明における画像表示部としてはスクリーンを、補完画像出力部としてプロジェクタを使用して、補完画像をスクリーンに投影することによって表示させることができる。その際補完画像出力用のプロジェクタは、ユーザから見て投影部と同じ側に設置しても良く、スクリーンの背面側に設置しても良い。背面側に設置した場合、補完画像を投影する角度を調整することにより、投影画像と補完画像のズレを修正しやすくなる。
【００１８】
あるいは、画像表示部としてディスプレイ装置を使用し、補完画像出力部から電気的な信号を出力することによって補完画像を表示させることができる。ディスプレイを使用することにより、補完画像の出力位置を細かく調整することができる。
【００１９】
本発明は、動作検出装置と、動作検出装置が検出したユーザ動作に応じた処理を実行させる情報処理部とを備える操作システムとして実現することができる。さらに、この操作装置を車両に搭載してカーナビゲーション装置として実現することも可能である。
【発明の効果】
【００２０】
本発明によれば、投影画像をユーザが遮断して生じる影の領域に、ユーザの操作性を向上するための情報を表示することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下に図面を参照して、本発明の好適な実施の形態を例示的に詳しく説明する。各実施形態においては動作検出装置とカーナビゲーション装置からなる操作システムが車両に搭載され、ユーザ（運転者）は手で投影画像を遮って生じた影により操作を行う。
【００２２】
＜影による操作方法＞
まず、図１４，図１５を用いて手の影による操作方法を説明する。
【００２３】
図１４は装置全体の構成を示す図である。プロジェクタ１は情報処理部５が作成した投影画像をスクリーン２に投影する。ユーザは手８を動かして投影画像を遮ることにより、スクリーン２に影９を生じさせる。ここで、カメラ３はユーザの手と重ならない位置からスクリーン２を撮影している。動作検出部４はこの撮影画像を分析して影の位置情報を取得し、ユーザ動作を検出する。情報処理部５はユーザ動作に基づいてユーザの要求する操作内容を認識し、次に表示する画像を作成する。
【００２４】
続いて、図１５を用いて動作検出部４が撮影画像からユーザ動作を検出する方法を説明する。動作検出部４は影検出部４１、パターン記憶部４２、パターン比較部４３を含む。まず影検出部４１は撮影画像中の明度のコントラストに基づいて、影の領域の位置情報を検出する。パターン記憶部４２は記憶装置であり、検出した影が手などの影であるかどうかや、手などの影であればどのような動作をしているかを認識するための画像パターンを保存している。そこで、パターン比較部４３は、影検出部４１が検出した影とパターン記憶部４２が保存している画像パターンを比較し、手などの影であるかどうか、及び、どのような動作をしているかを認識する。こうして検出されたユーザ動作は情報処理部５によって利用される。
【００２５】
＜実施形態１＞
実施形態１として、遮断された部分を、投影画像とは異なる色にした補完画像を出力する操作システムについて説明する。
【００２６】
（操作システムの構成）
図１に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。プロジェクタ１は、情報処理部５が作成した画像を光により投影するもので、本発明における投影部に当たる。スクリーン２は、プロジェクタ１から投影された画像を表示する領域であり、本発明における画像表示部に当たる。カメラ３はスクリーン２を撮影するもので、本発明における撮影部に当たる。カメラ３を設置する際は、プロジェクタ１から一定の角度を置くことにより、ユーザの手が映り込まないようにすることが好ましい。
【００２７】
ここで、図示したようにユーザが投影画像を手８で遮ることによって、スクリーン２の上に影９（本発明における遮断領域）が生じさせることができる。
【００２８】
動作検出部４は、上で図１４，図１５を用いて説明した方法により、カメラ３による撮影画像から影の領域とユーザ動作を検出する。
【００２９】
情報処理部５は、動作検出部４が検出した影の領域に出力する補完画像を作成する。補完プロジェクタ６は作成した補完画像をスクリーン２に投影する。なお、補完プロジェクタ６は、本発明における補完画像出力部にあたる。
【００３０】
情報処理部５はまた、動作検出部４が検出したユーザ動作に基づいてユーザの意図する操作内容を認識し、その操作内容に応じてユーザに次に提示する画像を作成し、プロジェクタ１から投影する。
【００３１】
なお、動作検出部４及び情報処理部５を構成するに当たっては、それぞれ専用の回路によって実現されても良いし、不図示のメモリに格納されたプログラムを、不図示のＣＰＵが実行することにより実現されても良い。
【００３２】
（処理フロー）
以下、図２のフローチャートを参照しつつ、本実施形態の処理フローを説明する。必要に応じて図３（ａ）〜（ｃ）に示したスクリーンの状態遷移図を参照する。
【００３３】
まずステップＳ２０１では、プロジェクタ１がスクリーン２に向けて、図３（ａ）に示したような地図を通常の色の画像で投影する。ステップＳ２０２では、ユーザは手を動かして投影画像を遮り、目的地である「病院」の上に指先の影が来るようにして選択操作を行う。この状態を図３（ｂ）に示す。このとき、手の影の下になった部分、例えば駐車場の位置はユーザから視認することができなくなっている。
【００３４】
ステップＳ２０３では、カメラ３がスクリーン２を撮影する。ステップＳ２０４では、動作検出部４が、撮影した画像から影の領域の位置情報を検出する。動作検出部４は更に、影の位置情報に基づいてユーザ動作を検出する。ここでは影として検出されたのは図３（ｂ）に示した人差し指を伸ばした手の形状であり、ユーザ動作として検出されたのは地図上から病院を選択するという動作である。
【００３５】
ステップＳ２０５では、情報処理部５が、影の位置情報に基づいて補完画像の出力位置を決定し、先に投影した画像の明度を低下させた補完画像を作成する。ステップＳ２０６では、補完プロジェクタ６がスクリーン２に補完画像を投影する。この状態を図３（ｃ）に示す。ここでは明度が低い状態を点線により表現している。図３（ｃ）に示すように、図３（ｂ）で手の影に隠れていた領域が視認できるようになっている。また投影画像と補完画像の明度が異なっているため、ユーザは影の領域を判別可能であり、操作する上で支障はない。
【００３６】
以上が画像の投影から補完画像出力までの一連の処理となる。続いてステップＳ２０７で、情報処理部５は病院を目的地として設定してナビゲーションを開始する。引き続きユーザに提示すべき画面があれば作成し、ステップＳ２０１に戻って作成した画像を投影する。
【００３７】
このようにステップＳ２０１に戻って処理フローを進めてステップＳ２０４に至り、影の位置情報を検出する時は、図３（ｃ）のように既に補完画像が出力されている状態の撮影画像から検出することになる。そのような場合であっても、補完画像の明度は投影画像
よりも低くなっているため、明度のコントラストを利用して影の位置情報を検出することができる。更に、先に投影した補完画像の位置情報を情報処理部５から取得して、影検出の精度を上げることも可能である。
【００３８】
（変形例）
以上の処理フローでは影の領域のみに補完画像を出力するようにしていたが、これよりも広い範囲に補完画像を出力しても良い。範囲としては例えばスクリーン全体にすることも可能である。
【００３９】
図４に、スクリーン全体に補完画像を出力する場合の、投影画像及び補完画像の例を示す。図４（ａ）は、プロジェクタから投影されるカラー画像である。図４（ｂ）は、補完プロジェクタから投影される補完画像である。この補完画像は投影画像をモノクロ画像に変換したものである。通常は両方の画像がスクリーン上で重なって表示されるため、ユーザはカラー画像が表示されていると認識する。ここでユーザが手などを動かして投影画像を遮ると、その領域には補完画像、すなわちモノクロ画像しか投影されない。
【００４０】
この変形例は、投影画像と補完画像の色を様々な組み合わせで利用することができる。上述したように投影画像がカラー画像で補完画像がモノクロ画像となる組合せのほか、投影画像に明度を低下させる処理を施して補完画像とすることもできる。モノクロ画像としては白黒の画像でも良いし、他の単色画像を用いても良い。
【００４１】
また、投影画像を色のＲＧＢの三刺激値で表現した時に、プロジェクタからはＲ成分とＧ成分を、補完プロジェクタからはＢ成分を出力することもできる。こうした場合、投影画像と補完画像が重なっている領域では通常の色で画像が表示され、投影画像が遮断された領域ではＢ成分のみが表示される。なお、投影画像と補完画像に振り分ける色成分の組み合わせはこれに限定されないし、表色系はＲＧＢ表色系に限られるものではない。
【００４２】
（ユーザが得られる効果）
以上の様に本実施形態の操作システムによれば、ユーザは手の影を用いて操作を行う際に、遮断領域の下の情報を投影画像とは異なる色の補完画像として取得することができる。この補完画像により、ユーザは遮断領域に何があるかを視認することができ、適切に操作を行うことが可能になる。なお、投影画像と補完画像の色が異なっているために、ユーザはどこが影の領域であるかを把握することができる。
【００４３】
＜実施形態２＞
実施形態２として、ユーザ動作に応じた形状のアイコンを補完画像として出力する操作システムについて説明する。
【００４４】
なお、本実施形態における操作システムの構成は、図１を用いて説明した実施形態１の操作システムと基本的に同様である。ただし、後述するように動作検出部４及び情報処理部５での処理内容は実施形態１と異なる。
【００４５】
（処理フロー）
以下、図を参照しつつ、本実施形態の処理フローを説明する。ここで説明するのは、スクリーン上の位置指定というユーザ動作に応じた補完画像として、ユーザの操作ポイントを知らせるカーソルを出力する処理である。さらに、オブジェクト選択というユーザ動作に応じてカーソルの形状を変化させる処理についても説明する。なお本実施形態では、動作検出部はユーザの手の影の第一関節の部分を操作ポイントとして認識する。そして、第一関節が対象オブジェクト上に置かれた時に、そのオブジェクトの選択動作を検出する。
【００４６】
まず、図５に示したスクリーンの画像を用いて、補完画像が出力されない例を示す。ユーザは、スクリーンに表示された地図から「デパート」を指定して選択しようとしている。このときユーザは影の爪先の部分（Ａ点）をデパートの上に置くことで指定し、選択する意図を示している。しかし上に述べたように、動作検出部は第一関節の部分（Ｂ点）の位置に基づいてオブジェクトの選択動作を検出している。そのため、ユーザの意図に反してデパートへのナビゲーションは行われない結果になる。
【００４７】
続いて図６のフローチャートを参照しつつ、本実施形態の処理フローを説明する。必要に応じて図７（ａ），（ｂ）に示したスクリーンの状態遷移図を参照する。
【００４８】
まずステップＳ６０１では、動作検出部４が、影の領域を検出し、指の第一関節の位置情報に基づいてユーザの操作ポイントを検出する。
【００４９】
ステップＳ６０２では、情報処理部５が、操作ポイントが目的地として選択可能なオブジェクト上に置かれているかどうかを判断する。置かれていなければステップＳ６０３に進み、操作ポイントを示す通常のカーソルを出力するよう設定する。本実施形態では星型のカーソルを用いる。一方、置かれていた場合はステップＳ６０４に進み、出力するカーソルとして旗の形状を設定する。
【００５０】
ステップＳ６０５では、補完プロジェクタ６が、先に設定したカーソルを補完画像として出力する。図７（ａ）に、ステップＳ６０３で設定した通常のカーソルを投影した状態を示す。ここでは、操作ポイントに星型のカーソルが投影されており、ユーザはこれを見ながら選択を続けることができる。また図７（ｂ）に、ステップＳ６０４で設定した選択可能なオブジェクトのカーソルを投影した状態を示す。図示したように、操作ポイントに旗の形状をしたカーソルが表示されているので、ユーザはこのカーソルを見て選択可能なオブジェクトであると判断可能である。
【００５１】
（変形例）
続いて、図８を用いてユーザ動作及びアイコンが異なる変形例を説明する。この変形例は、スクリーンに表示された地図をユーザがスクロールさせる時の処理である。ユーザは、図８（ａ）に示したように、手を広げた状態でスクリーン上に影を生じさせる。続いてその手をスクロールさせたい方向に動かして操作内容を伝える。動作検出部はこの操作を検出する。そして情報処理部は、地図がスクロール中であることを示し、スクロール方向を表すために、補完画像として図８（ｂ）に示したような矢印型のアイコンを出力する。
【００５２】
なお、上述したように、補完画像としてアイコンを単独で出力することも可能であるが、実施形態１に示したような補完画像と組み合わせて使うこともできる。すなわち、投影画像と色を異ならせた補完画像に加えて、ユーザ動作に応じた形状のアイコンを出力することにより、ユーザは今スクリーン上のどの位置を操作しているのかがより明確に理解できるようになる。
【００５３】
（ユーザが得られる効果）
本実施形態の操作システムによれば、ユーザが手の影を用いて操作を行う際に補完画像として操作ポイントを示すカーソルを投影することによって操作対象を明確にでき、操作性を向上できる。また、アイコンの形状をユーザ動作に応じて変化させることも可能であり、更に操作性を向上させることができる。
【００５４】
＜実施形態３＞
実施形態３として、投影画像に予め基準マーカを投影しておき、補完画像を出力する際に基準マーカを用いて位置を調節する操作システムについて説明する。
【００５５】
（操作システムの構成）
図９に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。実施形態１との違いは、投影画像の中に基準マーカ７が設けられている点である。この例では基準マーカは４隅に其々１つ、合計４つ設けられている。動作検出部４は、カメラ３が撮影した画像から基準マーカの位置情報を取得する。
【００５６】
（基準マーカを用いた処理フロー）
基準マーカを使用して補完画像の出力位置を調整する時の処理フローを説明する。必要に応じて図１０のフローチャート及び図１１（ａ）〜（ｄ）を参照する。投影画像を図１１（ａ）に示す。この投影画像はカラー画像であり、４隅に基準マーカが設けられている。補完画像を図１１（ｂ）に示す。この補完画像は投影画像をモノクロ化した画像であり、スクリーン全体（影の領域だけではなく）に投影されている（図中ではモノクロ化を点線で表現している）。従って、ユーザが手で投影画像を遮ると、遮断領域をモノクロ化した画像が補完画像として表示されることになる。
【００５７】
まずステップＳ１００１では、情報処理部５が図１１（ａ）に示した投影画像を作成する。ステップＳ１００２では、プロジェクタ１がスクリーン２に向けて画像を投影する。本来意図されているのは、投影画像がそのままスクリーンに表示される状態である。しかしここでは、図１１（ｃ）にスクリーンの様子を示したように、車両内の振動などが原因で投影位置が右にズレてしまっている。カメラ３はこのズレた状態のスクリーンを撮影する。
【００５８】
ステップＳ１００３では、動作検出部４が撮影画像から基準マーカの位置情報を検出する。ステップＳ１００４では、情報処理部５が補完画像を作成する。このとき、投影画像のズレを考慮せずに図１１（ｂ）の補完画像をそのまま投影してしまうと、図１１（ｄ）に示したように投影画像と補完画像が重ならず、ユーザの混乱を招くことになる。更にここでは図示していないが、投影画像と重なる部分にもモノクロの補完画像が出力されているため、画像が重なった部分が非常に見にくくなってしまう。さらに、ユーザが手で投影画像を遮ると、遮られた部分と異なるモノクロ画像が投影画像として出力されてしまう。そこで、情報処理部５は基準マーカの位置情報に基づいて補完画像を修正する。続いてステップＳ１００５では、補完プロジェクタが修正済みの補完画像を出力する。
【００５９】
（ユーザが得られる効果）
本実施形態の操作システムによれば、画像を投影する際にズレが生じた場合であっても、基準マーカの位置情報に基づいて適切な補完画像の作成を行うことが可能となり、ユーザにとって視認しやすい画像を用いて操作を続行することができる。
【００６０】
なお、投影した画像と撮影した画像からズレを認識するに当たっては、基準マーカを用いる方法に代えて、あるいは基準マーカとともに、双方の画像をブロックマッチング等により比較しても良い。
【００６１】
＜画像表示部の変形例＞
以上の実施形態では画像表示部としてスクリーンを使用していたが、これに代えてディスプレイ装置を使用することもできる。この場合、投影部としては影を用いて操作する都合上プロジェクタを用いるが、補完画像を表示させる時には電気的な信号をディスプレイに出力して表示させる。このような操作システムによれば、補完画像をプロジェクタによって投影するよりも高い精度で位置決めして出力することが可能となり、投影画像のひずみやズレに柔軟に対応できる。また、プロジェクタの場合は光路に他の物体が入らないように、装置の配置位置に注意しなければならず、設計上の制約になる可能性があるが、デ
ィスプレイ装置を用いればその必要はない。
【００６２】
＜補完画像出力部設置場所の変形例＞
上で述べたような補完画像を出力する範囲の変形例においては、投影画像と補完画像の出力位置を合わせる必要がある。出力位置にズレがあるとユーザの視認性が低下する恐れがあるからである。ここで、上の実施形態で述べたようにスクリーンに対してユーザ側に２つのプロジェクタを設置した場合、投影する角度によってはズレが大きくなる可能性がある。この状態について図１２を用いて説明する。プロジェクタ１はスクリーンに向かって右側からカラーの投影画像を投影するが、スクリーンの右端までの距離が左端までの距離よりも短いために、図示したように画像の右辺が左辺よりも短くなり、歪みが生じる。同様に、補完プロジェクタ６は向って左側からモノクロの補完画像を投影するので、投影画像とは左右逆の歪みが生じる。その結果、投影画像と補完画像を合致させることができなくなる。
【００６３】
この歪みに対処するには、情報処理部が歪みの程度を計算し、投影画像や補完画像を修正することによっても可能である。ただしその場合演算量が大きくなりＣＰＵに負荷がかかってしまう。そこで、図１３に示したように、補完プロジェクタ６をスクリーン２を挟んでプロジェクタ１と反対側に設置し、スクリーンと光路がなす角度が同じになるよう調節する対処法が考えられる。これにより、投影画像と補完画像は同程度の歪みを生じることになり、出力位置を適切に修正できる。
【００６４】
＜本発明の適用範囲＞
以上の実施形態では車両に搭載されたカーナビゲーション装置を制御する場合を例として説明した。ただし本発明の適用範囲はこれに限定されるものではなく、例えばエアコンやオーディオなど、ユーザの指示に応じて機能を発揮するような各種の装置の制御についても使用できる。
【００６５】
また、本発明の動作検出装置及び操作システムは車両に搭載されるとは限らず、例えば家屋に設置して家電装置などに適用することも可能である。
【図面の簡単な説明】
【００６６】
【図１】実施形態１の操作システムの構成を示すブロック図。
【図２】実施形態１の処理のフローチャート。
【図３】実施形態１のスクリーンの状態遷移図。
【図４】補完画像を全体に出力する変形例を説明する図。
【図５】カーソルが表示されない場合のスクリーン。
【図６】実施形態２の処理のフローチャート。
【図７】実施形態２のスクリーンの状態遷移図。
【図８】実施形態２の変形例のスクリーン。
【図９】実施形態３の操作システムの構成を示すブロック図。
【図１０】実施形態３の処理のフローチャート。
【図１１】実施形態３で投影される各画像を示す図。
【図１２】投影する画像の歪みを説明する図。
【図１３】補完プロジェクタの設置場所を説明する図。
【図１４】本発明に共通する操作システムの構成を示すブロック図。
【図１５】本発明に共通する動作検出方法を説明する図。
【符号の説明】
【００６７】
１ プロジェクタ
２ スクリーン
３ カメラ
４ 動作検出部
５ 情報処理部
６ 補完プロジェクタ
７ 基準マーカ
【技術分野】
【０００１】
本発明は、投影画像をユーザが遮断して生じる影の位置情報に基づいてユーザ動作を検出する動作検出装置、及びそれを用いた操作システムに関する。
【背景技術】
【０００２】
従来、カーナビゲーション装置を操作する方法として、接触型と遠隔型の２種類があった。接触型とは例えば特開２００２−３２８０３０号公報（特許文献１）のように、タッチパネル式の画面に触れたり、画面付近に配置されたボタンを操作したりして装置を操作する方法である。しかしカーナビゲーション装置の画面はダッシュボード付近に設置されていることが多いため、接触型の場合、ユーザが運転席から身を乗り出したり、手を遠くに伸ばしたりする必要があった。遠隔型とは例えば特開２００８−１３５９１７号公報（特許文献２）のように、リモコンを利用して装置を操作する方法である。しかし遠隔型の場合、まず手元のリモコンを操作し、次に画面を見て操作結果を確認するといった手順が必要であり、注意が分散してしまっていた。
【０００３】
一方、特開２００４−１６８２６４号公報（特許文献３）に記載されているカーナビゲーション装置は、ユーザの手の形状や動き（ハンドパターン）を撮影し、スイッチ操作情報を検出している。しかしこの方法では画面から離れた位置で手を動かすため、地図上の位置を直接指示することができず、細かな操作ができない。
【特許文献１】特開２００２−３２８０３０号公報
【特許文献２】特開２００８−１３５９１７号公報
【特許文献３】特開２００４−１６８２６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の方法の不都合を解消するために、ユーザの手などの影を用いた遠隔操作が考えられる。すなわち、プロジェクタがスクリーンに光を投影してナビゲーション画面を表示すると、ユーザが手を動かして投影される画像を遮ってスクリーンに影を作り、影の形状や動きで操作を行う。そして装置は影の形状や動きに基づいて操作内容を認識する。
【０００５】
この方法によれば、手の影を用いて遠隔操作ができるので、ユーザは画面に触れるために運転席から身を乗り出したり、手を遠くに伸ばしたりする必要が無い。また、リモコンを用いずに画面を見ながら操作できるので、画面とリモコンの間で注意が分散する恐れが無い。さらに、例えば手の指先の影を用いて画面上の位置を直接指示し、細かな操作を行うことが可能である。
【０００６】
手などの影を用いた遠隔操作方法には上記のような利点を有するが、画面上に影が生じることが原因でユーザが得られる情報量が低下するという課題がある。例えば、ユーザは影の下に隠れた部分を視認することができない。また、影のうちどの部分が操作ポイントであるかユーザに分かりにくい場合がある。つまり、画面上に影が大きく表示されていると、ユーザが思っている操作ポイントと動作検出装置が認識した操作ポイントの位置がズレて、ユーザの意図した通りの反応をしない可能性がある。
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、投影画像をユーザが遮断して生じる影の位置情報に基づいてユーザ動作を検出する動作検出装置、及びそれを用いた操作システムにおいて、影の領域にユーザの操作性を向上するための情報を表示する技術を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明では、以下の構成の動作検出装置を採用する。すなわち、画像表示部と、前記画像表示部に画像を投影する投影部と、前記画像表示部を撮影する撮影部と、前記投影画像が遮断されて前記画像表示部に生じた遮断領域を検出し、当該遮断領域の位置情報に基づいてユーザ動作を検出する動作検出部と、前記遮断領域に画像を出力する補完画像出力部とを備えることを特徴とする動作検出装置である。
【０００９】
このように、投影部とは別に補完画像出力部を備える構成を取ることにより、補完画像出力部が遮断領域（ユーザの手などの影）に補完画像として、ユーザの操作性を向上させるための情報を出力することができる。
【００１０】
補完画像としては様々な画像を使用することが可能である。例えば補完画像として、遮断領域の画像を投影時とは異なる色に変えたものを出力することができる。異なる色の補完画像として例えば、遮断領域の画像の明度を最初の投影時よりも低下させたものを使用できる。
【００１１】
あるいは、投影部がカラー画像を投影している時に、補完画像として単色の画像を使用することができる。単色の画像としては、投影した画像をＲＧＢの三刺激値で表した時のいずれか一つの刺激値のみを表示したものや、投影したカラー画像をモノクロ画像に変換したものが考えられる。
【００１２】
このように、補完画像として投影画像とは異なる色の画像を出力するように構成された本発明によれば、ユーザは遮断された部分に何が表示されているかを視認しながら遠隔操作を行うことが可能であり、操作性が向上する。また、出力する補完画像の色を異ならせることにより、ユーザはどこに影があるかを見失うことなく操作できる。
【００１３】
本発明における補完画像出力部は、遮断領域にユーザ動作に応じた形状のアイコンを出力することができる。例えば補完画像として、ユーザの操作ポイントを示すアイコン（カーソル）を出力することができる。このようにカーソルを出力することによって、ユーザは影のどの部分が操作ポイントであるかを正確に認識でき、操作性が向上する。
【００１４】
更に、カーソルを出力するに当たっては、操作ポイントでユーザが実行可能な操作を知らせるようにカーソルの形状を変化させて出力することもできる。このようにカーソルの形状を変化させることによってユーザが様々な動作をスムーズに行えるようになり、操作性が向上する。
【００１５】
ところで、補完画像を出力する際には、遮断領域と正確に位置を合わせることが必要である。そこで本発明においては、投影画像の中に、画像での位置を特定するための基準マーカを少なくとも１箇所設けることができる。これにより、補完画像を出力する際に基準マーカの位置に基づいて出力位置を詳細に調整することができる。
【００１６】
また、補完画像出力部は補完画像を出力するに当たって、遮断領域のみに出力することもできるし、遮断領域を含む画像表示部全体に出力することも可能である。
【００１７】
本発明における画像表示部としてはスクリーンを、補完画像出力部としてプロジェクタを使用して、補完画像をスクリーンに投影することによって表示させることができる。その際補完画像出力用のプロジェクタは、ユーザから見て投影部と同じ側に設置しても良く、スクリーンの背面側に設置しても良い。背面側に設置した場合、補完画像を投影する角度を調整することにより、投影画像と補完画像のズレを修正しやすくなる。
【００１８】
あるいは、画像表示部としてディスプレイ装置を使用し、補完画像出力部から電気的な信号を出力することによって補完画像を表示させることができる。ディスプレイを使用することにより、補完画像の出力位置を細かく調整することができる。
【００１９】
本発明は、動作検出装置と、動作検出装置が検出したユーザ動作に応じた処理を実行させる情報処理部とを備える操作システムとして実現することができる。さらに、この操作装置を車両に搭載してカーナビゲーション装置として実現することも可能である。
【発明の効果】
【００２０】
本発明によれば、投影画像をユーザが遮断して生じる影の領域に、ユーザの操作性を向上するための情報を表示することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下に図面を参照して、本発明の好適な実施の形態を例示的に詳しく説明する。各実施形態においては動作検出装置とカーナビゲーション装置からなる操作システムが車両に搭載され、ユーザ（運転者）は手で投影画像を遮って生じた影により操作を行う。
【００２２】
＜影による操作方法＞
まず、図１４，図１５を用いて手の影による操作方法を説明する。
【００２３】
図１４は装置全体の構成を示す図である。プロジェクタ１は情報処理部５が作成した投影画像をスクリーン２に投影する。ユーザは手８を動かして投影画像を遮ることにより、スクリーン２に影９を生じさせる。ここで、カメラ３はユーザの手と重ならない位置からスクリーン２を撮影している。動作検出部４はこの撮影画像を分析して影の位置情報を取得し、ユーザ動作を検出する。情報処理部５はユーザ動作に基づいてユーザの要求する操作内容を認識し、次に表示する画像を作成する。
【００２４】
続いて、図１５を用いて動作検出部４が撮影画像からユーザ動作を検出する方法を説明する。動作検出部４は影検出部４１、パターン記憶部４２、パターン比較部４３を含む。まず影検出部４１は撮影画像中の明度のコントラストに基づいて、影の領域の位置情報を検出する。パターン記憶部４２は記憶装置であり、検出した影が手などの影であるかどうかや、手などの影であればどのような動作をしているかを認識するための画像パターンを保存している。そこで、パターン比較部４３は、影検出部４１が検出した影とパターン記憶部４２が保存している画像パターンを比較し、手などの影であるかどうか、及び、どのような動作をしているかを認識する。こうして検出されたユーザ動作は情報処理部５によって利用される。
【００２５】
＜実施形態１＞
実施形態１として、遮断された部分を、投影画像とは異なる色にした補完画像を出力する操作システムについて説明する。
【００２６】
（操作システムの構成）
図１に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。プロジェクタ１は、情報処理部５が作成した画像を光により投影するもので、本発明における投影部に当たる。スクリーン２は、プロジェクタ１から投影された画像を表示する領域であり、本発明における画像表示部に当たる。カメラ３はスクリーン２を撮影するもので、本発明における撮影部に当たる。カメラ３を設置する際は、プロジェクタ１から一定の角度を置くことにより、ユーザの手が映り込まないようにすることが好ましい。
【００２７】
ここで、図示したようにユーザが投影画像を手８で遮ることによって、スクリーン２の上に影９（本発明における遮断領域）が生じさせることができる。
【００２８】
動作検出部４は、上で図１４，図１５を用いて説明した方法により、カメラ３による撮影画像から影の領域とユーザ動作を検出する。
【００２９】
情報処理部５は、動作検出部４が検出した影の領域に出力する補完画像を作成する。補完プロジェクタ６は作成した補完画像をスクリーン２に投影する。なお、補完プロジェクタ６は、本発明における補完画像出力部にあたる。
【００３０】
情報処理部５はまた、動作検出部４が検出したユーザ動作に基づいてユーザの意図する操作内容を認識し、その操作内容に応じてユーザに次に提示する画像を作成し、プロジェクタ１から投影する。
【００３１】
なお、動作検出部４及び情報処理部５を構成するに当たっては、それぞれ専用の回路によって実現されても良いし、不図示のメモリに格納されたプログラムを、不図示のＣＰＵが実行することにより実現されても良い。
【００３２】
（処理フロー）
以下、図２のフローチャートを参照しつつ、本実施形態の処理フローを説明する。必要に応じて図３（ａ）〜（ｃ）に示したスクリーンの状態遷移図を参照する。
【００３３】
まずステップＳ２０１では、プロジェクタ１がスクリーン２に向けて、図３（ａ）に示したような地図を通常の色の画像で投影する。ステップＳ２０２では、ユーザは手を動かして投影画像を遮り、目的地である「病院」の上に指先の影が来るようにして選択操作を行う。この状態を図３（ｂ）に示す。このとき、手の影の下になった部分、例えば駐車場の位置はユーザから視認することができなくなっている。
【００３４】
ステップＳ２０３では、カメラ３がスクリーン２を撮影する。ステップＳ２０４では、動作検出部４が、撮影した画像から影の領域の位置情報を検出する。動作検出部４は更に、影の位置情報に基づいてユーザ動作を検出する。ここでは影として検出されたのは図３（ｂ）に示した人差し指を伸ばした手の形状であり、ユーザ動作として検出されたのは地図上から病院を選択するという動作である。
【００３５】
ステップＳ２０５では、情報処理部５が、影の位置情報に基づいて補完画像の出力位置を決定し、先に投影した画像の明度を低下させた補完画像を作成する。ステップＳ２０６では、補完プロジェクタ６がスクリーン２に補完画像を投影する。この状態を図３（ｃ）に示す。ここでは明度が低い状態を点線により表現している。図３（ｃ）に示すように、図３（ｂ）で手の影に隠れていた領域が視認できるようになっている。また投影画像と補完画像の明度が異なっているため、ユーザは影の領域を判別可能であり、操作する上で支障はない。
【００３６】
以上が画像の投影から補完画像出力までの一連の処理となる。続いてステップＳ２０７で、情報処理部５は病院を目的地として設定してナビゲーションを開始する。引き続きユーザに提示すべき画面があれば作成し、ステップＳ２０１に戻って作成した画像を投影する。
【００３７】
このようにステップＳ２０１に戻って処理フローを進めてステップＳ２０４に至り、影の位置情報を検出する時は、図３（ｃ）のように既に補完画像が出力されている状態の撮影画像から検出することになる。そのような場合であっても、補完画像の明度は投影画像
よりも低くなっているため、明度のコントラストを利用して影の位置情報を検出することができる。更に、先に投影した補完画像の位置情報を情報処理部５から取得して、影検出の精度を上げることも可能である。
【００３８】
（変形例）
以上の処理フローでは影の領域のみに補完画像を出力するようにしていたが、これよりも広い範囲に補完画像を出力しても良い。範囲としては例えばスクリーン全体にすることも可能である。
【００３９】
図４に、スクリーン全体に補完画像を出力する場合の、投影画像及び補完画像の例を示す。図４（ａ）は、プロジェクタから投影されるカラー画像である。図４（ｂ）は、補完プロジェクタから投影される補完画像である。この補完画像は投影画像をモノクロ画像に変換したものである。通常は両方の画像がスクリーン上で重なって表示されるため、ユーザはカラー画像が表示されていると認識する。ここでユーザが手などを動かして投影画像を遮ると、その領域には補完画像、すなわちモノクロ画像しか投影されない。
【００４０】
この変形例は、投影画像と補完画像の色を様々な組み合わせで利用することができる。上述したように投影画像がカラー画像で補完画像がモノクロ画像となる組合せのほか、投影画像に明度を低下させる処理を施して補完画像とすることもできる。モノクロ画像としては白黒の画像でも良いし、他の単色画像を用いても良い。
【００４１】
また、投影画像を色のＲＧＢの三刺激値で表現した時に、プロジェクタからはＲ成分とＧ成分を、補完プロジェクタからはＢ成分を出力することもできる。こうした場合、投影画像と補完画像が重なっている領域では通常の色で画像が表示され、投影画像が遮断された領域ではＢ成分のみが表示される。なお、投影画像と補完画像に振り分ける色成分の組み合わせはこれに限定されないし、表色系はＲＧＢ表色系に限られるものではない。
【００４２】
（ユーザが得られる効果）
以上の様に本実施形態の操作システムによれば、ユーザは手の影を用いて操作を行う際に、遮断領域の下の情報を投影画像とは異なる色の補完画像として取得することができる。この補完画像により、ユーザは遮断領域に何があるかを視認することができ、適切に操作を行うことが可能になる。なお、投影画像と補完画像の色が異なっているために、ユーザはどこが影の領域であるかを把握することができる。
【００４３】
＜実施形態２＞
実施形態２として、ユーザ動作に応じた形状のアイコンを補完画像として出力する操作システムについて説明する。
【００４４】
なお、本実施形態における操作システムの構成は、図１を用いて説明した実施形態１の操作システムと基本的に同様である。ただし、後述するように動作検出部４及び情報処理部５での処理内容は実施形態１と異なる。
【００４５】
（処理フロー）
以下、図を参照しつつ、本実施形態の処理フローを説明する。ここで説明するのは、スクリーン上の位置指定というユーザ動作に応じた補完画像として、ユーザの操作ポイントを知らせるカーソルを出力する処理である。さらに、オブジェクト選択というユーザ動作に応じてカーソルの形状を変化させる処理についても説明する。なお本実施形態では、動作検出部はユーザの手の影の第一関節の部分を操作ポイントとして認識する。そして、第一関節が対象オブジェクト上に置かれた時に、そのオブジェクトの選択動作を検出する。
【００４６】
まず、図５に示したスクリーンの画像を用いて、補完画像が出力されない例を示す。ユーザは、スクリーンに表示された地図から「デパート」を指定して選択しようとしている。このときユーザは影の爪先の部分（Ａ点）をデパートの上に置くことで指定し、選択する意図を示している。しかし上に述べたように、動作検出部は第一関節の部分（Ｂ点）の位置に基づいてオブジェクトの選択動作を検出している。そのため、ユーザの意図に反してデパートへのナビゲーションは行われない結果になる。
【００４７】
続いて図６のフローチャートを参照しつつ、本実施形態の処理フローを説明する。必要に応じて図７（ａ），（ｂ）に示したスクリーンの状態遷移図を参照する。
【００４８】
まずステップＳ６０１では、動作検出部４が、影の領域を検出し、指の第一関節の位置情報に基づいてユーザの操作ポイントを検出する。
【００４９】
ステップＳ６０２では、情報処理部５が、操作ポイントが目的地として選択可能なオブジェクト上に置かれているかどうかを判断する。置かれていなければステップＳ６０３に進み、操作ポイントを示す通常のカーソルを出力するよう設定する。本実施形態では星型のカーソルを用いる。一方、置かれていた場合はステップＳ６０４に進み、出力するカーソルとして旗の形状を設定する。
【００５０】
ステップＳ６０５では、補完プロジェクタ６が、先に設定したカーソルを補完画像として出力する。図７（ａ）に、ステップＳ６０３で設定した通常のカーソルを投影した状態を示す。ここでは、操作ポイントに星型のカーソルが投影されており、ユーザはこれを見ながら選択を続けることができる。また図７（ｂ）に、ステップＳ６０４で設定した選択可能なオブジェクトのカーソルを投影した状態を示す。図示したように、操作ポイントに旗の形状をしたカーソルが表示されているので、ユーザはこのカーソルを見て選択可能なオブジェクトであると判断可能である。
【００５１】
（変形例）
続いて、図８を用いてユーザ動作及びアイコンが異なる変形例を説明する。この変形例は、スクリーンに表示された地図をユーザがスクロールさせる時の処理である。ユーザは、図８（ａ）に示したように、手を広げた状態でスクリーン上に影を生じさせる。続いてその手をスクロールさせたい方向に動かして操作内容を伝える。動作検出部はこの操作を検出する。そして情報処理部は、地図がスクロール中であることを示し、スクロール方向を表すために、補完画像として図８（ｂ）に示したような矢印型のアイコンを出力する。
【００５２】
なお、上述したように、補完画像としてアイコンを単独で出力することも可能であるが、実施形態１に示したような補完画像と組み合わせて使うこともできる。すなわち、投影画像と色を異ならせた補完画像に加えて、ユーザ動作に応じた形状のアイコンを出力することにより、ユーザは今スクリーン上のどの位置を操作しているのかがより明確に理解できるようになる。
【００５３】
（ユーザが得られる効果）
本実施形態の操作システムによれば、ユーザが手の影を用いて操作を行う際に補完画像として操作ポイントを示すカーソルを投影することによって操作対象を明確にでき、操作性を向上できる。また、アイコンの形状をユーザ動作に応じて変化させることも可能であり、更に操作性を向上させることができる。
【００５４】
＜実施形態３＞
実施形態３として、投影画像に予め基準マーカを投影しておき、補完画像を出力する際に基準マーカを用いて位置を調節する操作システムについて説明する。
【００５５】
（操作システムの構成）
図９に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。実施形態１との違いは、投影画像の中に基準マーカ７が設けられている点である。この例では基準マーカは４隅に其々１つ、合計４つ設けられている。動作検出部４は、カメラ３が撮影した画像から基準マーカの位置情報を取得する。
【００５６】
（基準マーカを用いた処理フロー）
基準マーカを使用して補完画像の出力位置を調整する時の処理フローを説明する。必要に応じて図１０のフローチャート及び図１１（ａ）〜（ｄ）を参照する。投影画像を図１１（ａ）に示す。この投影画像はカラー画像であり、４隅に基準マーカが設けられている。補完画像を図１１（ｂ）に示す。この補完画像は投影画像をモノクロ化した画像であり、スクリーン全体（影の領域だけではなく）に投影されている（図中ではモノクロ化を点線で表現している）。従って、ユーザが手で投影画像を遮ると、遮断領域をモノクロ化した画像が補完画像として表示されることになる。
【００５７】
まずステップＳ１００１では、情報処理部５が図１１（ａ）に示した投影画像を作成する。ステップＳ１００２では、プロジェクタ１がスクリーン２に向けて画像を投影する。本来意図されているのは、投影画像がそのままスクリーンに表示される状態である。しかしここでは、図１１（ｃ）にスクリーンの様子を示したように、車両内の振動などが原因で投影位置が右にズレてしまっている。カメラ３はこのズレた状態のスクリーンを撮影する。
【００５８】
ステップＳ１００３では、動作検出部４が撮影画像から基準マーカの位置情報を検出する。ステップＳ１００４では、情報処理部５が補完画像を作成する。このとき、投影画像のズレを考慮せずに図１１（ｂ）の補完画像をそのまま投影してしまうと、図１１（ｄ）に示したように投影画像と補完画像が重ならず、ユーザの混乱を招くことになる。更にここでは図示していないが、投影画像と重なる部分にもモノクロの補完画像が出力されているため、画像が重なった部分が非常に見にくくなってしまう。さらに、ユーザが手で投影画像を遮ると、遮られた部分と異なるモノクロ画像が投影画像として出力されてしまう。そこで、情報処理部５は基準マーカの位置情報に基づいて補完画像を修正する。続いてステップＳ１００５では、補完プロジェクタが修正済みの補完画像を出力する。
【００５９】
（ユーザが得られる効果）
本実施形態の操作システムによれば、画像を投影する際にズレが生じた場合であっても、基準マーカの位置情報に基づいて適切な補完画像の作成を行うことが可能となり、ユーザにとって視認しやすい画像を用いて操作を続行することができる。
【００６０】
なお、投影した画像と撮影した画像からズレを認識するに当たっては、基準マーカを用いる方法に代えて、あるいは基準マーカとともに、双方の画像をブロックマッチング等により比較しても良い。
【００６１】
＜画像表示部の変形例＞
以上の実施形態では画像表示部としてスクリーンを使用していたが、これに代えてディスプレイ装置を使用することもできる。この場合、投影部としては影を用いて操作する都合上プロジェクタを用いるが、補完画像を表示させる時には電気的な信号をディスプレイに出力して表示させる。このような操作システムによれば、補完画像をプロジェクタによって投影するよりも高い精度で位置決めして出力することが可能となり、投影画像のひずみやズレに柔軟に対応できる。また、プロジェクタの場合は光路に他の物体が入らないように、装置の配置位置に注意しなければならず、設計上の制約になる可能性があるが、デ
ィスプレイ装置を用いればその必要はない。
【００６２】
＜補完画像出力部設置場所の変形例＞
上で述べたような補完画像を出力する範囲の変形例においては、投影画像と補完画像の出力位置を合わせる必要がある。出力位置にズレがあるとユーザの視認性が低下する恐れがあるからである。ここで、上の実施形態で述べたようにスクリーンに対してユーザ側に２つのプロジェクタを設置した場合、投影する角度によってはズレが大きくなる可能性がある。この状態について図１２を用いて説明する。プロジェクタ１はスクリーンに向かって右側からカラーの投影画像を投影するが、スクリーンの右端までの距離が左端までの距離よりも短いために、図示したように画像の右辺が左辺よりも短くなり、歪みが生じる。同様に、補完プロジェクタ６は向って左側からモノクロの補完画像を投影するので、投影画像とは左右逆の歪みが生じる。その結果、投影画像と補完画像を合致させることができなくなる。
【００６３】
この歪みに対処するには、情報処理部が歪みの程度を計算し、投影画像や補完画像を修正することによっても可能である。ただしその場合演算量が大きくなりＣＰＵに負荷がかかってしまう。そこで、図１３に示したように、補完プロジェクタ６をスクリーン２を挟んでプロジェクタ１と反対側に設置し、スクリーンと光路がなす角度が同じになるよう調節する対処法が考えられる。これにより、投影画像と補完画像は同程度の歪みを生じることになり、出力位置を適切に修正できる。
【００６４】
＜本発明の適用範囲＞
以上の実施形態では車両に搭載されたカーナビゲーション装置を制御する場合を例として説明した。ただし本発明の適用範囲はこれに限定されるものではなく、例えばエアコンやオーディオなど、ユーザの指示に応じて機能を発揮するような各種の装置の制御についても使用できる。
【００６５】
また、本発明の動作検出装置及び操作システムは車両に搭載されるとは限らず、例えば家屋に設置して家電装置などに適用することも可能である。
【図面の簡単な説明】
【００６６】
【図１】実施形態１の操作システムの構成を示すブロック図。
【図２】実施形態１の処理のフローチャート。
【図３】実施形態１のスクリーンの状態遷移図。
【図４】補完画像を全体に出力する変形例を説明する図。
【図５】カーソルが表示されない場合のスクリーン。
【図６】実施形態２の処理のフローチャート。
【図７】実施形態２のスクリーンの状態遷移図。
【図８】実施形態２の変形例のスクリーン。
【図９】実施形態３の操作システムの構成を示すブロック図。
【図１０】実施形態３の処理のフローチャート。
【図１１】実施形態３で投影される各画像を示す図。
【図１２】投影する画像の歪みを説明する図。
【図１３】補完プロジェクタの設置場所を説明する図。
【図１４】本発明に共通する操作システムの構成を示すブロック図。
【図１５】本発明に共通する動作検出方法を説明する図。
【符号の説明】
【００６７】
１ プロジェクタ
２ スクリーン
３ カメラ
４ 動作検出部
５ 情報処理部
６ 補完プロジェクタ
７ 基準マーカ
【特許請求の範囲】
【請求項１】
画像表示部と、
前記画像表示部に画像を投影する投影部と、
前記画像表示部を撮影する撮影部と、
前記投影画像が遮断されて前記画像表示部に生じた遮断領域を検出し、当該遮断領域の位置情報に基づいてユーザ動作を検出する動作検出部と、
前記遮断領域に画像を出力する補完画像出力部と
を備えることを特徴とする動作検出装置。
【請求項２】
前記補完画像出力部は、遮断された部分の画像を、前記投影画像とは異なる色で出力する
ことを特徴とする請求項１に記載の動作検出装置。
【請求項３】
前記補完画像出力部は、遮断された部分の画像を、明度を低下させて出力する
ことを特徴とする請求項２に記載の動作検出装置。
【請求項４】
前記投影部はカラー画像を投影し、
前記補完画像出力部は単色画像を出力する
ことを特徴とする請求項２に記載の動作検出装置。
【請求項５】
前記補完画像出力部は、動作検出部によって検出されたユーザ動作に応じた形状のアイコンを出力する
ことを特徴とする請求項１〜４のいずれか１項に記載の動作検出装置。
【請求項６】
前記補完画像出力部は、ユーザが画像表示部上で座標を指定する動作に応じて、当該座標に前記アイコンを出力する
ことを特徴とする請求項５に記載の動作検出装置。
【請求項７】
前記投影画像の中には、画像での位置を特定するための基準マーカが少なくとも１箇所設けられており、
前記動作検出部は、前記撮影画像から基準マーカの位置を検出し、
前記補完画像出力部は、検出した基準マーカの位置に基づいて画像を出力する位置を決定する
ことを特徴とする請求項１〜６のいずれか１項に記載の動作検出装置。
【請求項８】
前記画像表示部はスクリーンであり、
前記補完画像出力部は前記スクリーンに画像を投影する
ことを特徴とする請求項１〜７のいずれか１項に記載の動作検出装置。
【請求項９】
前記補完画像出力部は前記スクリーンを挟んで前記投影部と反対側に位置しており、前記投影した画像と前記補完画像出力部が投影する画像の間にひずみが生じない方向に設置されている
ことを特徴とする請求項８に記載の動作検出装置。
【請求項１０】
前記画像表示部はディスプレイ装置であり、
前記補完画像出力部は前記画像表示部に電気的な信号を出力して画像を表示させる
ことを特徴とする請求項１〜７のいずれか１項に記載の動作検出装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の動作検出装置と、
ユーザ動作に応じた処理を実行する情報処理部と
を備えることを特徴とする操作システム。
【請求項１２】
前記操作システムは車両に搭載されており、
前記情報処理部はカーナビゲーション装置の制御を行う
ことを特徴とする請求項１１に記載の操作システム。
【請求項１】
画像表示部と、
前記画像表示部に画像を投影する投影部と、
前記画像表示部を撮影する撮影部と、
前記投影画像が遮断されて前記画像表示部に生じた遮断領域を検出し、当該遮断領域の位置情報に基づいてユーザ動作を検出する動作検出部と、
前記遮断領域に画像を出力する補完画像出力部と
を備えることを特徴とする動作検出装置。
【請求項２】
前記補完画像出力部は、遮断された部分の画像を、前記投影画像とは異なる色で出力する
ことを特徴とする請求項１に記載の動作検出装置。
【請求項３】
前記補完画像出力部は、遮断された部分の画像を、明度を低下させて出力する
ことを特徴とする請求項２に記載の動作検出装置。
【請求項４】
前記投影部はカラー画像を投影し、
前記補完画像出力部は単色画像を出力する
ことを特徴とする請求項２に記載の動作検出装置。
【請求項５】
前記補完画像出力部は、動作検出部によって検出されたユーザ動作に応じた形状のアイコンを出力する
ことを特徴とする請求項１〜４のいずれか１項に記載の動作検出装置。
【請求項６】
前記補完画像出力部は、ユーザが画像表示部上で座標を指定する動作に応じて、当該座標に前記アイコンを出力する
ことを特徴とする請求項５に記載の動作検出装置。
【請求項７】
前記投影画像の中には、画像での位置を特定するための基準マーカが少なくとも１箇所設けられており、
前記動作検出部は、前記撮影画像から基準マーカの位置を検出し、
前記補完画像出力部は、検出した基準マーカの位置に基づいて画像を出力する位置を決定する
ことを特徴とする請求項１〜６のいずれか１項に記載の動作検出装置。
【請求項８】
前記画像表示部はスクリーンであり、
前記補完画像出力部は前記スクリーンに画像を投影する
ことを特徴とする請求項１〜７のいずれか１項に記載の動作検出装置。
【請求項９】
前記補完画像出力部は前記スクリーンを挟んで前記投影部と反対側に位置しており、前記投影した画像と前記補完画像出力部が投影する画像の間にひずみが生じない方向に設置されている
ことを特徴とする請求項８に記載の動作検出装置。
【請求項１０】
前記画像表示部はディスプレイ装置であり、
前記補完画像出力部は前記画像表示部に電気的な信号を出力して画像を表示させる
ことを特徴とする請求項１〜７のいずれか１項に記載の動作検出装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の動作検出装置と、
ユーザ動作に応じた処理を実行する情報処理部と
を備えることを特徴とする操作システム。
【請求項１２】
前記操作システムは車両に搭載されており、
前記情報処理部はカーナビゲーション装置の制御を行う
ことを特徴とする請求項１１に記載の操作システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−１１３５６８（Ｐ２０１０−１１３５６８Ａ）
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願番号】特願２００８−２８６２８７（Ｐ２００８−２８６２８７）
【出願日】平成２０年１１月７日（２００８．１１．７）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願日】平成２０年１１月７日（２００８．１１．７）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]