ユーザインタフェース装置
【課題】距離画像センサを用いたユーザインタフェース装置において、ディスプレイと距離画像センサの位置のずれによって生じる誤入力を軽減し、入力精度を向上させる。
【解決手段】本発明に係るユーザインタフェース装置は、透明ディスプレイと、前記透明ディスプレイに画像を出力する画像出力手段と、前記透明ディスプレイの背面に設置され、前記透明ディスプレイ越しに距離画像を取得する距離画像センサと、前記距離画像センサによって取得される距離画像を解析してユーザの入力操作を検出する解析手段とを備える。また、透明ディスプレイへの画像出力と、距離画像センサによる距離画像の取得は時分割で交互に行われることが好ましい。
【解決手段】本発明に係るユーザインタフェース装置は、透明ディスプレイと、前記透明ディスプレイに画像を出力する画像出力手段と、前記透明ディスプレイの背面に設置され、前記透明ディスプレイ越しに距離画像を取得する距離画像センサと、前記距離画像センサによって取得される距離画像を解析してユーザの入力操作を検出する解析手段とを備える。また、透明ディスプレイへの画像出力と、距離画像センサによる距離画像の取得は時分割で交互に行われることが好ましい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離画像センサを用いたユーザインタフェース装置に関する。
【背景技術】
【０００２】
従来、物体までの距離を測る距離画像センサ（３次元カメラ、深度センサなどとも呼ばれる）のユーザインタフェース装置への応用が注目を集めている。
【０００３】
たとえば、イスラエルの３ＤＶ Ｓｙｓｔｅｍｓ社が開発した技術では、以下のように物体までの距離を計算する。センサデバイスから赤外光のパルスを照射し、物体から反射される反射光を測定する。センサは、１８０度反転したベクトルで入ってくる反射光によって、センサ位置から見た物体の形状を検知する。さらに、光が戻ってくるまでの飛行時間（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）によって、センサから物体までの位置を計算する。
【０００４】
図４に、距離画像センサを用いた従来のユーザインタフェース装置の概要を示す。従来のユーザインタフェース装置は、情報処理装置１０１と、情報処理装置から出力される画像を表示するディスプレイ１０２と、距離画像センサ１０３とから構成される。距離画像センサ１０３はディスプレイ１０２のそばに設置され、ディスプレイ１０２正面付近の距離画像を取得する。距離画像センサ１０３によって取得された距離画像は情報処理装置１０１へ入力されて、情報処理装置１０１が距離画像を解析してユーザ１０４の動作（ジェスチャ）を入力として処理する。
【０００５】
ジェスチャ入力には様々な種類が考えられる。距離画像センサは対象物の近づき・遠ざかりを検出するだけでなく、検出された物体形状の重心などをポインタとするポインティングデバイスとして用いることも可能である。したがって、たとえば、ディスプレイ１０２からの距離が所定値以内の物体（掌など）の重心をカーソル位置として利用することが考えられる。そして、ユーザが掌などをさらにディスプレイ１０２に近づけることで、クリック入力として利用することも考えられる。さらには、距離画像として得られる物体の形状（掌の形など）や動きなどに基づいて、どのような入力であるか判断してもよい。
【０００６】
このように、距離画像センサを用いたユーザインタフェース装置では、キーボードなどを利用することなく、ユーザが画面に対して働きかけることで、情報処理装置への入力を与えることができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２６６２４１号公報
【特許文献２】特開２０１０−０１５５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、ディスプレイ装置の周辺に距離画像センサを設置する場合は、図５に示すように距離センシング用の光パルスの方向と画像の表示方向にずれが生じる。ユーザは、目に見える対象に向かって働きかけようとする傾向がある。画面上に表示されているＯＫボタンを選択する場合、ＯＫボタンと目を結ぶ線上で手を動かそうとする。このとき、距離センシング用の光パルスの方向がずれているため、情報処理装置は、ユーザの意図しないところをポイントしたと認識することがある。
【０００９】
このような問題を考慮して、本発明は、距離画像センサを用いたユーザインタフェース装置の入力精度を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明ではディスプレイとして透明ディスプレイを採用し、透明ディスプレイの背後から透明ディスプレイ越しに距離画像を取得する。
【００１１】
より具体的には、本発明に係るユーザインタフェース装置は、
透明ディスプレイと、
前記透明ディスプレイに画像を出力する画像出力手段と、
前記透明ディスプレイの背面に設置され、前記透明ディスプレイ越しに距離画像を取得する距離画像センサと、
前記距離画像センサによって取得される距離画像を解析してユーザの入力操作を検出する解析手段と、
を備える。
【００１２】
このように、距離画像センサを透明ディスプレイの背面に配置することで、ユーザがポイントしようとする向きと距離画像センサの向きとのずれが小さくなるので、入力精度を向上させることができる。
【００１３】
また、本発明において、前記透明ディスプレイへの画像出力と、前記距離画像センサによる距離画像の取得は交互に行われることが好ましい。
【００１４】
このようにすれば、画像表示の影響を受けることなく距離画像の取得が行える。また、画像出力と距離画像取得の切り替えを十分高速に行えば、表示画像品質を損なうことなく距離画像の取得が行える。
【００１５】
本発明は、上記手段の少なくとも一部を含むユーザインタフェース装置として捉えることができる。また、これらの処理を行う情報入力方法、さらには、これらの方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００１６】
本発明によれば、距離画像センサを用いたユーザインタフェース装置において、入力の精度が向上する。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係るユーザインタフェース装置の概要を示す図である。
【図２】本実施形態に係るユーザインタフェース装置の機能ブロックを示す図である。
【図３】本実施形態に係るユーザインタフェースの処理を示すフローチャートである。
【図４】従来のユーザインタフェース装置の概要を示す図である。
【図５】従来のユーザインタフェース装置の問題点を説明する図である。
【発明を実施するための形態】
【００１８】
本実施形態に係るユーザインタフェース装置の概要を、図１，２を参照して説明する。本実施形態においては、情報処理装置１からの画像出力は、透明ディスプレイ２に表示される。距離画像センサ３は透明ディスプレイ２の背面側に設置され、距離画像の取得は透明ディスプレイ２越しに行われる。
【００１９】
情報処理装置１は、ＣＰＵ，主記憶装置、補助記憶装置、ネットワーク装置などを含むコンピュータである。情報処理装置１は、画像を透明ディスプレイ２に出力する。また、距離画像センサ３を入力装置として利用する。もちろん、距離画像センサに加えて、キーボードやマウス、コントローラ（有線／無線）などを入力装置として備えていてもよい。情報処理装置１は、メモリ上に展開されたプログラムをＣＰＵが実行することで、本明細書において説明する各機能を実現する。
【００２０】
透明ディスプレイ２は、透明状態とデジタル画像の表示状態を切り換え可能な表示装置である。透明ディスプレイとしては、たとえば、ＥＬ素子を用いたＥＬディスプレイ、液晶ディスプレイ等を用いることができる。本実施形態では、透明有機ＥＬディスプレイを用いている。この有機ＥＬディスプレイは、自発光であり、低電力で高輝度、高コントラスト、高視野角であるため表示画像が見やすく、液晶ディスプレイのようにバックライトを必要としないため薄型化が可能という利点がある。透明ディスプレイ２には、情報処理装置１から出力される画像が表示される。
【００２１】
距離画像センサ３は、赤外光などの光パルスを照射し、物体に当たって戻ってくる反射光とその飛行時間を検出することで、物体の形状と距離を計測する。距離画像センサ３が取得した距離画像は、情報処理装置１に入力される。
【００２２】
情報処理装置１の画像出力部１２は、制御部１１によって生成された画像データを透明ディスプレイ２へ出力する。また、距離画像入力部１３は、距離画像センサ３から距離画像を取得する。距離画像解析部１４は、距離画像を解析して情報処理装置１へ対するユーザの入力操作を検出する。距離画像を介した入力操作に従って、制御部１１はプログラムの実行を行う。
【００２３】
距離画像センサによる入力は種々の手法が考えられる。たとえば、ある程度近い距離にある物体の重心をポイント位置として認識する。ここで、距離画像に撮影される物体の形状を考慮して、形状に応じて異なる入力がされたものと判断してもよい。また、物体の移動にしたがって入力を判断してもよい。たとえば、物体が近づいた場合を「選択」と判断したり、左右に移動した場合に「ドラッグ」であると判断したりすることができる。本発明において、どのような動作をどのような入力操作として解釈するかは、適宜設計により定めればよい。
【００２４】
制御部１１は、また、透明ディスプレイ２上での画像表示と、距離画像センサ３による距離画像取得のタイミングを制御して、画像表示のための光と距離画像センサの光パルスを交互に点滅させる。このとき、点滅の時間を人間の目には知覚されない程度に十分短くすることで、表示画像を損なうことなく、かつ、ディスプレイの真裏から距離センシングのための光パルスを照射することができる。
【００２５】
図３に、本実施形態に係るユーザインタフェース装置が行う処理のフローチャートを示す。ユーザインタフェース装置は、図３に示す処理を繰り返し実行する。ここでは、透明ディスプレイ２が１秒間に３０フレームの画像を表示するものとする。まず、１フレーム分の画像の出力を開始し（Ｓ１０１）、１／６０後に画像出力を停止させる（Ｓ１０２）。透明ディスプレイ２に画像表示がされていない状態で、距離画像センサ３から距離計測用の光パルスを発光し距離画像を取得する（Ｓ１０３）。そして、距離画像を解析してユーザからの入力を取得する（Ｓ１０４）。これらの処理を繰り返すことで、画像の表示とユーザからの入力の受付が同時に行える。なお、ここでは距離画像の解析処理（Ｓ１０４）を透明ディスプレイ２に画像を表示していない状態で行うとして説明したが、距離画像の取得が画像非表示状態で行われれば十分であり、距離画像の解析は画像表示中に行って
もよい。
【００２６】
なお、距離画像の取得がディスプレイの画像非表示時に行われればよいので、距離画像計測を１フレーム表示のたびにおこなう必要はないし、ディスプレイ表示と距離画像計測の時間を同一とする必要もない。たとえば、透明ディスプレイ２に数フレーム続けて表示した後に、距離画像の取得を１回行うというような動作を採用してもかまわない。
【００２７】
上記の説明では、情報処理装置１と透明ディスプレイ２と距離画像センサ３を別体であるとして説明したが、透明ディスプレイ２と距離画像センサ３、または、情報処理装置１と透明ディスプレイ２と距離画像センサ３を一体として構成してもかまわない。
【符号の説明】
【００２８】
１ 情報処理装置
２ 透明ディスプレイ
３ 距離画像センサ
１１ 制御部
１２ 画像出力部
１３ 距離画像入力部
１４ 距離画像解析部
【技術分野】
【０００１】
本発明は、距離画像センサを用いたユーザインタフェース装置に関する。
【背景技術】
【０００２】
従来、物体までの距離を測る距離画像センサ（３次元カメラ、深度センサなどとも呼ばれる）のユーザインタフェース装置への応用が注目を集めている。
【０００３】
たとえば、イスラエルの３ＤＶ Ｓｙｓｔｅｍｓ社が開発した技術では、以下のように物体までの距離を計算する。センサデバイスから赤外光のパルスを照射し、物体から反射される反射光を測定する。センサは、１８０度反転したベクトルで入ってくる反射光によって、センサ位置から見た物体の形状を検知する。さらに、光が戻ってくるまでの飛行時間（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）によって、センサから物体までの位置を計算する。
【０００４】
図４に、距離画像センサを用いた従来のユーザインタフェース装置の概要を示す。従来のユーザインタフェース装置は、情報処理装置１０１と、情報処理装置から出力される画像を表示するディスプレイ１０２と、距離画像センサ１０３とから構成される。距離画像センサ１０３はディスプレイ１０２のそばに設置され、ディスプレイ１０２正面付近の距離画像を取得する。距離画像センサ１０３によって取得された距離画像は情報処理装置１０１へ入力されて、情報処理装置１０１が距離画像を解析してユーザ１０４の動作（ジェスチャ）を入力として処理する。
【０００５】
ジェスチャ入力には様々な種類が考えられる。距離画像センサは対象物の近づき・遠ざかりを検出するだけでなく、検出された物体形状の重心などをポインタとするポインティングデバイスとして用いることも可能である。したがって、たとえば、ディスプレイ１０２からの距離が所定値以内の物体（掌など）の重心をカーソル位置として利用することが考えられる。そして、ユーザが掌などをさらにディスプレイ１０２に近づけることで、クリック入力として利用することも考えられる。さらには、距離画像として得られる物体の形状（掌の形など）や動きなどに基づいて、どのような入力であるか判断してもよい。
【０００６】
このように、距離画像センサを用いたユーザインタフェース装置では、キーボードなどを利用することなく、ユーザが画面に対して働きかけることで、情報処理装置への入力を与えることができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２６６２４１号公報
【特許文献２】特開２０１０−０１５５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、ディスプレイ装置の周辺に距離画像センサを設置する場合は、図５に示すように距離センシング用の光パルスの方向と画像の表示方向にずれが生じる。ユーザは、目に見える対象に向かって働きかけようとする傾向がある。画面上に表示されているＯＫボタンを選択する場合、ＯＫボタンと目を結ぶ線上で手を動かそうとする。このとき、距離センシング用の光パルスの方向がずれているため、情報処理装置は、ユーザの意図しないところをポイントしたと認識することがある。
【０００９】
このような問題を考慮して、本発明は、距離画像センサを用いたユーザインタフェース装置の入力精度を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明ではディスプレイとして透明ディスプレイを採用し、透明ディスプレイの背後から透明ディスプレイ越しに距離画像を取得する。
【００１１】
より具体的には、本発明に係るユーザインタフェース装置は、
透明ディスプレイと、
前記透明ディスプレイに画像を出力する画像出力手段と、
前記透明ディスプレイの背面に設置され、前記透明ディスプレイ越しに距離画像を取得する距離画像センサと、
前記距離画像センサによって取得される距離画像を解析してユーザの入力操作を検出する解析手段と、
を備える。
【００１２】
このように、距離画像センサを透明ディスプレイの背面に配置することで、ユーザがポイントしようとする向きと距離画像センサの向きとのずれが小さくなるので、入力精度を向上させることができる。
【００１３】
また、本発明において、前記透明ディスプレイへの画像出力と、前記距離画像センサによる距離画像の取得は交互に行われることが好ましい。
【００１４】
このようにすれば、画像表示の影響を受けることなく距離画像の取得が行える。また、画像出力と距離画像取得の切り替えを十分高速に行えば、表示画像品質を損なうことなく距離画像の取得が行える。
【００１５】
本発明は、上記手段の少なくとも一部を含むユーザインタフェース装置として捉えることができる。また、これらの処理を行う情報入力方法、さらには、これらの方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００１６】
本発明によれば、距離画像センサを用いたユーザインタフェース装置において、入力の精度が向上する。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係るユーザインタフェース装置の概要を示す図である。
【図２】本実施形態に係るユーザインタフェース装置の機能ブロックを示す図である。
【図３】本実施形態に係るユーザインタフェースの処理を示すフローチャートである。
【図４】従来のユーザインタフェース装置の概要を示す図である。
【図５】従来のユーザインタフェース装置の問題点を説明する図である。
【発明を実施するための形態】
【００１８】
本実施形態に係るユーザインタフェース装置の概要を、図１，２を参照して説明する。本実施形態においては、情報処理装置１からの画像出力は、透明ディスプレイ２に表示される。距離画像センサ３は透明ディスプレイ２の背面側に設置され、距離画像の取得は透明ディスプレイ２越しに行われる。
【００１９】
情報処理装置１は、ＣＰＵ，主記憶装置、補助記憶装置、ネットワーク装置などを含むコンピュータである。情報処理装置１は、画像を透明ディスプレイ２に出力する。また、距離画像センサ３を入力装置として利用する。もちろん、距離画像センサに加えて、キーボードやマウス、コントローラ（有線／無線）などを入力装置として備えていてもよい。情報処理装置１は、メモリ上に展開されたプログラムをＣＰＵが実行することで、本明細書において説明する各機能を実現する。
【００２０】
透明ディスプレイ２は、透明状態とデジタル画像の表示状態を切り換え可能な表示装置である。透明ディスプレイとしては、たとえば、ＥＬ素子を用いたＥＬディスプレイ、液晶ディスプレイ等を用いることができる。本実施形態では、透明有機ＥＬディスプレイを用いている。この有機ＥＬディスプレイは、自発光であり、低電力で高輝度、高コントラスト、高視野角であるため表示画像が見やすく、液晶ディスプレイのようにバックライトを必要としないため薄型化が可能という利点がある。透明ディスプレイ２には、情報処理装置１から出力される画像が表示される。
【００２１】
距離画像センサ３は、赤外光などの光パルスを照射し、物体に当たって戻ってくる反射光とその飛行時間を検出することで、物体の形状と距離を計測する。距離画像センサ３が取得した距離画像は、情報処理装置１に入力される。
【００２２】
情報処理装置１の画像出力部１２は、制御部１１によって生成された画像データを透明ディスプレイ２へ出力する。また、距離画像入力部１３は、距離画像センサ３から距離画像を取得する。距離画像解析部１４は、距離画像を解析して情報処理装置１へ対するユーザの入力操作を検出する。距離画像を介した入力操作に従って、制御部１１はプログラムの実行を行う。
【００２３】
距離画像センサによる入力は種々の手法が考えられる。たとえば、ある程度近い距離にある物体の重心をポイント位置として認識する。ここで、距離画像に撮影される物体の形状を考慮して、形状に応じて異なる入力がされたものと判断してもよい。また、物体の移動にしたがって入力を判断してもよい。たとえば、物体が近づいた場合を「選択」と判断したり、左右に移動した場合に「ドラッグ」であると判断したりすることができる。本発明において、どのような動作をどのような入力操作として解釈するかは、適宜設計により定めればよい。
【００２４】
制御部１１は、また、透明ディスプレイ２上での画像表示と、距離画像センサ３による距離画像取得のタイミングを制御して、画像表示のための光と距離画像センサの光パルスを交互に点滅させる。このとき、点滅の時間を人間の目には知覚されない程度に十分短くすることで、表示画像を損なうことなく、かつ、ディスプレイの真裏から距離センシングのための光パルスを照射することができる。
【００２５】
図３に、本実施形態に係るユーザインタフェース装置が行う処理のフローチャートを示す。ユーザインタフェース装置は、図３に示す処理を繰り返し実行する。ここでは、透明ディスプレイ２が１秒間に３０フレームの画像を表示するものとする。まず、１フレーム分の画像の出力を開始し（Ｓ１０１）、１／６０後に画像出力を停止させる（Ｓ１０２）。透明ディスプレイ２に画像表示がされていない状態で、距離画像センサ３から距離計測用の光パルスを発光し距離画像を取得する（Ｓ１０３）。そして、距離画像を解析してユーザからの入力を取得する（Ｓ１０４）。これらの処理を繰り返すことで、画像の表示とユーザからの入力の受付が同時に行える。なお、ここでは距離画像の解析処理（Ｓ１０４）を透明ディスプレイ２に画像を表示していない状態で行うとして説明したが、距離画像の取得が画像非表示状態で行われれば十分であり、距離画像の解析は画像表示中に行って
もよい。
【００２６】
なお、距離画像の取得がディスプレイの画像非表示時に行われればよいので、距離画像計測を１フレーム表示のたびにおこなう必要はないし、ディスプレイ表示と距離画像計測の時間を同一とする必要もない。たとえば、透明ディスプレイ２に数フレーム続けて表示した後に、距離画像の取得を１回行うというような動作を採用してもかまわない。
【００２７】
上記の説明では、情報処理装置１と透明ディスプレイ２と距離画像センサ３を別体であるとして説明したが、透明ディスプレイ２と距離画像センサ３、または、情報処理装置１と透明ディスプレイ２と距離画像センサ３を一体として構成してもかまわない。
【符号の説明】
【００２８】
１ 情報処理装置
２ 透明ディスプレイ
３ 距離画像センサ
１１ 制御部
１２ 画像出力部
１３ 距離画像入力部
１４ 距離画像解析部
【特許請求の範囲】
【請求項１】
透明ディスプレイと、
前記透明ディスプレイに画像を出力する画像出力手段と、
前記透明ディスプレイの背面に設置され、前記透明ディスプレイ越しに距離画像を取得する距離画像センサと、
前記距離画像センサによって取得される距離画像を解析してユーザの入力操作を検出する解析手段と、
を備えるユーザインタフェース装置。
【請求項２】
前記透明ディスプレイへの画像出力と、前記距離画像センサによる距離画像の取得は交互に行われる、
請求項１に記載のユーザインタフェース装置。
【請求項１】
透明ディスプレイと、
前記透明ディスプレイに画像を出力する画像出力手段と、
前記透明ディスプレイの背面に設置され、前記透明ディスプレイ越しに距離画像を取得する距離画像センサと、
前記距離画像センサによって取得される距離画像を解析してユーザの入力操作を検出する解析手段と、
を備えるユーザインタフェース装置。
【請求項２】
前記透明ディスプレイへの画像出力と、前記距離画像センサによる距離画像の取得は交互に行われる、
請求項１に記載のユーザインタフェース装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−３５８５（Ｐ２０１２−３５８５Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３９２６３（Ｐ２０１０−１３９２６３）
【出願日】平成２２年６月１８日（２０１０．６．１８）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１８日（２０１０．６．１８）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]