オブジェクトの動きを用いたアイテム選択装置及び方法
【課題】オブジェクトの動きを用いて、スクリーンに表示された複数のアイテムのうち、所望のアイテムを選択する。
【解決手段】ユーザの動作を検知する動作検知部と、映像情報を表示するスクリーンと、スクリーンに表示する映像を生成するためのデータが保存されている表示映像保存部と、スクリーンに表示する映像を生成する表示映像生成部と、スクリーンに表示される複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つで前記スクリーンに表示するように制御する制御部とを含み、前記制御部は、前記動作検知部から信号を受信して前記オブジェクトのｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動きを測定し、前記スクリーンに前記複数のアイテムが配列される形態に応じて、ユーザの測定された動きに対応して前記複数のアイテムのうち少なくともいずれか一つのアイテムを選択させるか、視覚的なフィードバックを提供する。
【解決手段】ユーザの動作を検知する動作検知部と、映像情報を表示するスクリーンと、スクリーンに表示する映像を生成するためのデータが保存されている表示映像保存部と、スクリーンに表示する映像を生成する表示映像生成部と、スクリーンに表示される複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つで前記スクリーンに表示するように制御する制御部とを含み、前記制御部は、前記動作検知部から信号を受信して前記オブジェクトのｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動きを測定し、前記スクリーンに前記複数のアイテムが配列される形態に応じて、ユーザの測定された動きに対応して前記複数のアイテムのうち少なくともいずれか一つのアイテムを選択させるか、視覚的なフィードバックを提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アイテム選択装置に関し、より詳細には、スクリーンに表示されたアイテムを選択するアイテム選択装置及びそのアイテム選択方法に関する。
【背景技術】
【０００２】
ユーザインターフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）は、ユーザと物、システム、装置又はプログラムなどの間のコミュニケーションができるように一時的又は持続的なアプローチを提供することができる。ユーザインターフェースは、物理的な媒介体又は仮想的な媒介体を含んでよい。一般的に、ユーザインターフェースはユーザがシステムを操作する入力とシステムの入力に対する反応又は結果が見られる出力に分けることができる。
【０００３】
入力は、スクリーン上でカーソルを動したり、特定対象を選択するためのユーザの操作を獲得する入力装置を必要とする。出力は、入力に対する反応をユーザの視覚、聴覚又は触覚などで確認できるようにする出力装置を必要とする。
【０００４】
最近では、テレビ及びゲーム機などの機器でユーザの便宜を図るために、遠隔からユーザの動きを入力として認識し、ユーザの動きに相応したユーザインターフェースの反応を提供するための技術への研究が進められている。このようなユーザインターフェースを用いてスクリーンに表示された複数のアイテムのうち、所望のアイテムを選択することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】韓国特開第２００８−００４３４６９号公報
【特許文献２】米国特開第２００９−０２６５６５７号公報
【特許文献３】韓国特開第２００６−０１２１６１０号公報
【特許文献４】韓国特開第２０１０−００２５０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、オブジェクトの動きを用いて、スクリーンに表示された複数のアイテムのうち、所望のアイテムを選択するアイテム選択装置及びそのアイテム選択方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係るアイテム選択装置において、オブジェクトの動きを検知する動作検知部と、スクリーンに表示される複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つで前記スクリーンに表示するように制御する制御部とを含み、前記制御部は、前記動作検知部から信号を受信して前記オブジェクト（ｏｂｊｅｃｔ）のｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動き（ｍｏｖｅｍｅｎｔ）を測定し、前記スクリーンに前記複数のアイテムが配列される形態に応じて、同一の類型の前記測定された動きに応答して、前記複数のアイテムのうち少なくともいずれか一つのアイテムが選択されるようにするか、視覚的なフィードバックを提供するアイテム選択装置が提供される。
【０００８】
ここで、前記複数のアイテムが１次元で配列される場合、前記制御部は、前記配置された方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムに対して、視覚的なフィードバックを提供し、前記配列された方向と前記予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムが選択されるように制御する。
【０００９】
なお、前記制御部は、前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムが選択されるように制御する。
【００１０】
なお、前記制御部は、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムが選択されるように制御する。
【００１１】
本発明の一実施形態によると、前記複数のアイテムが２次元で配列される場合、前記制御部は、前記オブジェクトの動きがｘ軸及びｙ軸方向への動きである場合、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記オブジェクトの動きがｚ軸方向への動きである場合、前記少なくともいずれか一つのアイテムが選択されるように制御する。
【００１２】
なお、前記制御部は、前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムが選択されるように制御するアイテム選択装置。
【００１３】
なお、前記制御部は、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムが選択される。
【００１４】
本発明の一実施形態によると、前記複数のアイテムが３次元で配列される場合、前記制御部は、前記オブジェクトの動きに応じて前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持されたり、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムが選択されるように制御するアイテム選択装置が提供されてよい。
【００１５】
本発明の一実施形態によると、前記制御部は、前記測定されたオブジェクトの動きの速度が予め設定された基準速度より早い場合、前記複数のアイテムと区別される別の複数のアイテムが前記スクリーンに表示されるように制御し、前記別の複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供するように制御する。
【００１６】
本発明の一実施形態によると、前記制御部は、前記視覚的なフィードバックが前記スクリーンに表示された前記複数のアイテムのうち、前記スクリーンのエッジ（ｅｄｇｅ）に配置されたアイテムに提供される場合において、前記測定された動きが前記スクリーンのエッジに向かう場合、前記複数のアイテムと区別される別の複数のアイテムが前記スクリーンに表示されるように制御し、前記別の複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供するように制御する。
【００１７】
本発明の別の実施形態によると、アイテム選択装置において、複数のアイテムを表示するスクリーンと、前記スクリーンに前記複数のアイテムを１次元配列で表示する制御部とを含み、前記制御部は、前記オブジェクトの動きを測定し、前記複数のアイテムの配列方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合、前記複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記複数のアイテムの配列方向と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合、前記複数のアイテムのうち少なくともいずれか一つのアイテムが選択されるように制御するアイテム選択装置が提供される。
【００１８】
本発明の別の実施形態によると、スクリーンに表示される複数のアイテムのうち少なくともいずれか一つのアイテムを選択する方法において、複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態で前記スクリーンに表示するステップと、オブジェクトの動きを検知するステップと、前記オブジェクトのｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動きを測定するステップと、前記スクリーンに前記複数のアイテムが配列される形態に応じて、同一の類型の前記測定された動きに応答して、前記複数のアイテムのうち少なくともいずれか一つのアイテムに対して選択命令をするか、視覚的なフィードバックを提供するアイテム選択方法が提供される。
【００１９】
ここで、前記複数のアイテムが１次元形態で配列される場合、前記配列された方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記配列された方向と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムを選択する。
【００２０】
なお、前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムを選択してよい。
【００２１】
なお、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムを選択してよい。
【００２２】
本発明の別の実施形態によると、前記複数のアイテムが２次元形態で配列される場合、前記オブジェクトの動きがｘ軸及びｙ軸方向への動きである場合には、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記オブジェクトの動きがｚ軸方向への動きである場合には、前記少なくともいずれか一つのアイテムを選択するアイテム選択方法を提供する。
【００２３】
ここで、前記視覚的なフィードバックを提供した時から前記オブジェクトの動きの変化量が予め決定された値以内で、前記予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムを選択してよい。
【００２４】
ここで、前記オブジェクトの動きが予め設定された特定パターンに該当する場合、前記少なくともいずれか一つのアイテムを選択してよい。
【００２５】
本発明の別の実施形態によると、前記複数のアイテムが３次元形態で配列される場合、前記オブジェクトの動きに応じて前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記オブジェクトの動きの変化量が予め決定された値以内で、予め決定された時間の間維持されたり、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合には、前記少なくともいずれか一つのアイテムを選択してよい。
【００２６】
ここで、前記測定された動きの速度が予め設定された基準速度より早い場合、前記複数のアイテムと区別される別の複数のアイテムが前記スクリーンに表示されるようにし、前記別の複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供する。
【００２７】
なお、前記視覚的なフィードバックが前記スクリーンに表示された前記複数のアイテムのうち、前記スクリーンのエッジ（ｅｄｇｅ）に配置されたアイテムに提供される場合において、前記測定された動きが前記スクリーンのエッジに向かう場合、前記複数のアイテムと区別される別の複数のアイテムが前記スクリーンに表示されるようにし、前記別の複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供する。
【００２８】
本発明の別の実施形態によると、複数のアイテムを表示するスクリーンと、前記スクリーンに前記複数のアイテムを１次元配列で表示する制御部とを含み、前記制御部は、オブジェクトの動きを測定し、前記複数のアイテムの配列方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合、前記複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記複数のアイテムの配列方向と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合、前記複数のアイテムのうち少なくともいずれか一つのアイテムが選択されるように制御するアイテム選択装置が提供される。
【００２９】
ここで、前記制御部は、前記オブジェクトの動きに応じて電気信号を生成する動作検知部から前記電気信号を受信して前記オブジェクトの動きを測定してよい。
【００３０】
なお、前記動作検知部は、前記オブジェクトを撮像してイメージフレームを獲得するビジョンセンサを含んでよい。なお、前記動作検知部は、慣性センサと、モーションセンサと、加速度センサ及び工学センサのうち少なくともいずれか一つを含むリモコンで構成する。
【００３１】
本発明の別の実施形態によると、スクリーンに表示される複数のアイテムのうち少なくともいずれか一つのアイテムを選択する方法において、複数のアイテムをスクリーンに１次元配列で表示するステップと、前記複数のアイテムの配列方向を測定するステップと、オブジェクトの動きの方向を測定するステップと、前記複数のアイテムの配列方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記複数のアイテムの配列方向と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合、前記少なくとも一つのアイテムが選択されるようにするステップとを含むアイテム選択方法が提供される。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に係るアイテム選択装置の構成を示す図である。
【図２】本発明の一実施形態に係るオブジェクトの動きからユーザインターフェースの反応を提供する図である。
【図３】本発明の一実施形態に係るセンサを示す図である。
【図４】本発明の一実施形態に係るイメージフレーム及びイメージフレーム上でオブジェクトを示す図である。
【図５】本発明の一実施形態に係る垂直方向及び水平方向に対する動作認識範囲を示す図である。
【図６】本発明の一実施形態に係る複数のアイテムがスクリーンの下段に１次元で配列された画面を示す図である。
【図７】本発明の一実施形態に係る複数のアイテムがスクリーンの上段に１次元で配列された画面を示す図である。
【図８】本発明の一実施形態に係る複数のアイテムがスクリーン左側に１次元で配列された画面を示す図である。
【図９】本発明の一実施形態に係る複数のアイテムがスクリーン右側に１次元で配列された画面を示す図である。
【図１０】本発明の一実施形態に係る複数のアイテムがスクリーン左側上段から右側下段方向の斜めで１次元配列された画面を示す図である。
【図１１】本発明の一実施形態に係る複数のアイテムがスクリーン左側下段から右側上段方向の斜めで１次元配列された画面を示す図である。
【図１２】本発明の一実施形態に係る複数のアイテムがスクリーンに２次元で配列された画面を示す図である。
【図１３】本発明の一実施形態に係る複数のアイテムがスクリーンに３次元で配列された画面を示す図である。
【図１４】本発明の一実施形態に係る複数のアイテムがスクリーンに１次元、２次元又は３次元のうちいずれか一つの形態で配列された状態で、オブジェクトの動きに応じてアイテムを選択したり、視覚的なフィードバックを提供するためのアイテム選択装置の処理過程を示す図である。
【発明を実施するための形態】
【００３３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより繰り返し説明を省略する。
【００３４】
なお、本明細書及び添付の特許請求範囲に使われた単数形は、文脈上明確に指摘しない限り、複数形も含むものとして意図されたものである。なお、本明細書で使用された「及び」という用語は、列挙された関連アイテム（ｉｔｅｍ）のうち一つ以上のアイテムの可能な全ての組み合わせを称し、含むものとして理解すべきである。
【００３５】
図１は、本発明の一実施形態に係るアイテム選択装置の構成を示す図である。図１によると、アイテム選択装置１００は、ユーザの動作を検知する動作検知部１１０と、映像情報を表示するスクリーン１５０と、スクリーンに表示する映像を生成するためのデータが保存されている表示映像保存部１３０と、スクリーンに表示する映像を生成する表示映像生成部１４０と、スクリーンに表示される複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態でスクリーンに表示するように制御する制御部１２０を含み、前記制御部１２０は、前記動作検知部１１０から信号を受信して前記オブジェクトのｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動きを測定し、前記スクリーンに前記複数のアイテムが配列される形態に応じて、ユーザの測定された動きに応じて前記複数のアイテムのうち少なくともいずれか一つのアイテムに対して選択命令をするか、又は視覚的フィードバックを提供してよい。
【００３６】
動作検知部１１０は、オブジェクト（ｏｂｊｅｃｔ）の動作を入力されて、基礎データを取得する手段であってよい。動作検知部１１０は、オブジェクトの動きに応じて電気信号を生成することができる。前記電気信号は、アナログ信号か、又はデジタル信号であってよい。動作検知部１１０は、慣性センサ（Ｉｎｅｒｔｉａｌ ｓｅｎｓｏｒ）、モーションセンサ（ｍｏｔｉｏｎ ｓｅｎｓｏｒ）、加速度センサ（ａｃｃｅｌｅｒｏｍｅｔｅｒ）及び光学センサ（ｏｐｔｉｃａｌ ｓｅｎｓｏｒ）のうち少なくともいずれか一つが含まれているリモコンであってよい。リモコンは、オブジェクトの３次元動作（ｘ軸、ｙ軸、ｘ軸）に対応して電気信号を生成することができる。オブジェクトが、ユーザ又はユーザ身体の一部であってよい。ユーザがリモコンを手に動かすと、これに対応してリモコンに含まれている慣性センサは、オブジェクトのｘ軸、ｙ軸又はｚ軸動作に対する電気信号を生成することができる。リモコンから生成されたオブジェクトのｘ軸、ｙ軸及びｚ軸動作に対する電気信号は、有無線通信を通じてアイテム選択装置に伝達されてよい。
【００３７】
動作検知部１１０は、ビジョンセンサ（Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ）であってよい。ビジョンセンサはオブジェクトを撮影し、ビジョンセンサからオブジェクトまでの距離情報の含まれた映像情報を獲得することができる。ビジョンセンサは別途のモジュールで提供されるかアイテム選択装置の内部に含まれてよい。
【００３８】
動作検知部１１０は、オブジェクトの位置を獲得することができる。オブジェクトの位置はイメージフレーム上の垂直方向に対する座標、イメージフレーム上の水平方向に対する座標及びオブジェクトと動作検知部１１０間の距離を示すオブジェクトの深度情報のうち少なくともいずれか一つを含む。ここで、オブジェクトの深度情報は、イメージフレームと垂直になる方向に対する座標の値で表してよい。例えば、動作検知部１１０は、オブジェクトを撮像してオブジェクトの深度情報を含むイメージフレームを獲得することができる。ここで、イメージフレームは複数の領域に区別され、複数の領域のうち少なくとも二つの領域は相違する閾値（Ｔｈｒｅｓｈｏｌｄｓ）を有してよい。動作検知部１１０は、イメージフレーム上のオブジェクトの位置として垂直方向に対する座標及びイメージフレーム上の水平方向に対する座標を獲得することができる。なお、オブジェクトと動作検知部１１０間の距離を示すオブジェクトの深度情報を獲得することができる。深度センサ（ｄｅｐｔｈ ｓｅｎｓｏｒ）、２次元カメラ、又はステレオスコープ（ｓｔｅｒｅｏｓｃｏｐｉｃ）カメラを含む３次元カメラなどが動作検知部１１０として使用される。
【００３９】
制御部１２０は、イメージフレームを用いてオブジェクトの動きの大きさを算出することができる。制御部１２０は、位置を検出し、検出された位置を用いてオブジェクトの動きに相応した動き情報を生成することができる。即ち、制御部１２０は、各位置でオブジェクトの動きに相応したイベントが発生するように、位置に基づいてイメージフレームで動き情報を生成することができる。なお、制御部１２０は動き情報に相応したイベントを発生させることができる。
【００４０】
制御部１２０は、保存された少なくともいずれか一つのイメージフレームを用いるか、オブジェクトの位置に対するデータを用いてオブジェクトの動きを検出することができる。制御部１２０は、検出されたオブジェクトに対する動きの大きさを算出することができる。例えば、オブジェクトの動きの開始及び終わりの位置をつなぐ直線の長さを動きの大きさで算出するか、又はオブジェクトの動きの平均的な位置を基準に仮想の直線を描いて仮想の直線の長さを動きの大きさで算出することもできる。制御部１２０は、複数のイメージフレームを通じてオブジェクトの動きが獲得される場合、オブジェクトの位置はオブジェクトの動きに相応した複数のイメージフレームのうち少なくともいずれか一つの位置であるか、複数のイメージフレームのうち少なくともいずれか一つの位置を用いて獲得された中心点の位置であるか、又は動きの区間別の移動時間などを考慮して算出された位置であってよい。例えば、オブジェクトの動きの最初のイメージフレームでオブジェクトの位置、オブジェクトの動きの最後のイメージフレームでオブジェクトの位置、又は前記両位置の中心点がオブジェクトの位置であってよい。
【００４１】
制御部１２０は、オブジェクトの動きの相応したイベントが発生するように、オブジェクトの位置に基づいて動き情報を生成することができる。制御部１２０は、イベントに従って、図２のメニュー２２０を表示するスクリーンを通じてオブジェクトの動きに対する反応を表示することができる。
【００４２】
以下で、図２ないし図４を参照し、各構成要素の動作を詳細に説明する。
【００４３】
図２のアイテム選択装置２１０は、テレビ、ゲーム機及び／又はオーディオなどを含んでよい。オブジェクトは、ユーザ２６０の身体、ユーザ２６０の身体の一部、又はユーザ２６０の取り扱う道具であってよい。
【００４４】
図３は、センサとして深度センサ１１０、光学受信部３２０、レンズ３２２、赤外線フィルタ３２４及びイメージセンサ３２６を示す図である。図３によると、センサ１１０は赤外線（Ｉｎｆｒａｒｅｄ）送信部３１０及び光学受信部３２０を含む。赤外線送信部３１０と光学受信部３２０は、同様であるか又は近接した距離に位置するように実現されてよい。センサ１１０は、光学受信部３２０によって固有値で視野角（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を有してよい。赤外線送信部３１０を介して伝送された赤外線は、前方に位置したオブジェクトを含む実体に到達した後に反射され、反射された赤外線は光学受信部３２０に受信されてよい。レンズ３２２は、実体の光成分を受信し、赤外線フィルタ３２４は受信された光成分中の赤外線を通過させることができる。イメージセンサ３２６は、通過された赤外線を電気信号に変換し、イメージフレームを獲得することができる。例えば、イメージセンサ３２６は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などであってよい。このとき、実体の深さに応じて輪郭を現し、各輪郭が深度情報を含むように信号処置される。深度情報は、赤外線送信部３１０から伝送された赤外線が光学受信部３２０に到達するまでの飛行時間（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）などを用いて獲得することができる。なお、超音波又は電波を送受信してオブジェクトの位置を獲得する装置も、超音波又は電波の飛行時間を用いて深度情報を獲得することができる。
【００４５】
動作検知部１１０は、ユーザ２６０のテ２７０を含む図４のイメージフレーム４１０を獲得することができる。ビジョンセンサは、アイテム選択装置の一部であってよく、又は別個のモジュールであってよい。イメージフレーム４１０は、等高線のように一定範囲の深さを有する対象に対する輪郭及び当該輪郭に相応した深度情報を含む。輪郭４１２は、イメージフレーム４１０上のユーザ２６０の手２７０に相応し、手２７０と動作検知部１１０間の距離を示す深度情報を有する。輪郭４１４は、ユーザ２６０の手の一部に相応し、輪郭４１６はユーザ２６０の頭及び上半身に相応してよい。輪郭４１８は、ユーザ２６０の後ろに位置した背景に相応してよい。輪郭４１２ないし輪郭４１８は、相違した深度情報を有してよい。
【００４６】
図３は、センサとして深度センサ１１０と、光学受信部３２０と、レンズ３２２と、赤外線フィルタ３２４及びイメージセンサ３２６を示す図である。図３によると、センサ１１０は赤外線（Ｉｎｆｒａｒｅｄ）送信部３１０及び光学受信部３２０を含む。赤外線送信部３１０と光学受信部３２０は、同様であるか又は近接した距離に位置するように実現されてよい。センサ１１０は、光学受信部３２０によって固有値で視野角（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を有してよい。赤外線送信部３１０を介して伝送された赤外線は、前方に位置したオブジェクトを含む実体に到達した後に反射され、反射された赤外線は光学受信部３２０に受信されてよい。レンズ３２２は、実体の光成分を受信し、赤外線フィルタ３２４は受信された光成分中の赤外線を通過させることができる。イメージセンサ３２６は、通過された赤外線を電気信号に変換し、イメージフレームを獲得することができる。例えば、イメージセンサ３２６は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などであってよい。このとき、実体の深さに応じて輪郭を現し、各輪郭が深度情報を含むように信号処置される。深度情報は、赤外線送信部３１０から伝送された赤外線が光学受信部３２０に到達するまでの飛行時間（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）などを用いて獲得することができる。なお、超音波又は電波を送受信してオブジェクトの位置を獲得する装置も、超音波又は電波の飛行時間を用いて深度情報を獲得することができる。
【００４７】
制御部１２０は、イメージフレーム４１０を用いてオブジェクト及びオブジェクトの位置を検出することができる。制御部１２０は、イメージフレーム４１０からイメージフレーム４１０上のオブジェクト４１２を検出し、イメージフレーム４２０が検出されたオブジェクト４２２のみを含むように制御することができる。なお、制御部１２０は、イメージフレーム４１０でオブジェクト４１２を別の形態とするように表示して制御することができる。例えば、制御部１２０はイメージフレーム４３０上のオブジェクト４３２を少なくともいずれか一つの点又は線、面などで表すように制御することができる。
【００４８】
なお、制御部１２０は、イメージフレーム４３０上のオブジェクト４３２を点で表し、オブジェクト４３２の位置を３次元座標で表示することができる。３次元座標は、ｘ軸、ｙ軸、ｚ軸成分を含み、ｘ軸はイメージフレーム上の水平方向に対応し、ｙ軸はイメージフレーム上の垂直方向に対応することができる。ｚ軸はイメージフレームと垂直になる方向、即ち深度情報の示す値に対応する。
【００４９】
制御部１２０は、少なくともいずれか二つのイメージフレームを用いてオブジェクトの位置を追跡し、動きの大きさを算出することができる。なお、オブジェクトの動きの大きさは、ｘ軸、ｙ軸又はｚ軸成分に分けて表すことができる。
【００５０】
制御部１２０は、スクリーンに表示される複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態で前記スクリーンに表示するように制御することができる。スクリーンに表示されるアイテムは、メニューアイテムであってよく、コンテンツアイテムであってもよい。例えば、コンテンツは動画イメージ、停止映像イメージ、音楽ファイルであってよい。なお、例えば、コンテンツアイテムは動画を代表するサムネイル（Ｔｈｕｍｂｎａｉｌ）イメージ、停止映像を代表するサムネイルイメージ、放送チャネルを代表するサムネイルイメージ、音楽ファイルを代表するアルバムイメージ及びファイル（Ｆｉｌｅ）名を代表するアイコン（ｉｃｏｎ）であってよい。
【００５１】
メニューアイテム及びコンテンツアイテムは、表示映像保存部１３０に保存されてよい。例えば、表示映像保存部１３０は、コンピュータ読取可能な記録媒体であってよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（Ｍａｇａｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリとソリッドステートメモリ（ｓｏｌｉｄ ｓｔａｔｅ ｍｅｍｏｒｙ）が含まれてよい。
【００５２】
制御部１２０は、表示映像保存部１３０からアイテムを読み取り、１次元配列、２次元配列又は３次元配列のうち少なくともいずれか一つの形態でスクリーンに表示されるように制御することができる。制御部１２０は、ユーザから別途の命令が入力されなくても、１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態でアイテムをスクリーン１５０に表示することができる。制御部１２０は、スクリーン１５０に表示するアイテムの個数に対応して１次元配列、２次元配列及び３次元配列のうち少なくともいずれか一つの形態で表示することを決定することができる。例えば、スクリーン１５０に表示されるアイテムの個数が５０未満である場合には、制御部１２０は複数のアイテムを１次元配列形態で表示されるように制御することができる。スクリーン１５０に表示されるアイテムの個数が３００未満である場合には、制御部１２０は複数のアイテムを２次元配列形態で表示されるよう制御することができる。スクリーンに表示されるアイテムの個数が３００以上で有る場合には、制御部１２０は複数のアイテムを３次元配列形態で表示されるように制御することができる。
【００５３】
なお、アイテム選択装置は、複数のアイテムをスクリーンに１次元配列のみで表示することができる。なお、アイテム選択装置は、複数のアイテムをスクリーンに２次元配列のみで表示することができる。なお、アイテム選択装置は、複数のアイテムをスクリーンに３次元配列のみで表示することができる。
【００５４】
なお、本発明の一実施形態によると、制御部１２０はユーザが最初に設定した表示形態に応じて、１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態でアイテムをスクリーン１５０に表示することができる。例えば、ユーザは１次元配列表示を選択すると、スクリーン１５０に複数のアイテムが１次元配列であるｘ軸、ｙ軸及び斜め方向に表示される。ユーザが２次元配列表示を選択すると、スクリーン１５０に複数のアイテムが２次元配列で表示される。ユーザが３次元配列表示を選択すると、スクリーン１５０に複数のアイテムが３次元配列で表示される。
【００５５】
制御部１２０は、動作検知部１１０から信号を受信して、オブジェクトのｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動きを測定することができる。動作検知部１１０から出力された信号は制御部１２０に入力され、制御部１２０は前記信号を分析して３次元空間でオブジェクトの動きを測定する。前記信号は、ｘ軸、ｙ軸又はｚ軸成分を含めており、制御部１２０は前記信号を予め決定された時間間隔で測定し、ｘ軸、ｙ軸又はｚ軸成分に該当する値の変化量を測定して、オブジェクトの動きを測定する。オブジェクトの動きは、ユーザが手を動かす動作を含んでよい。ユーザが手を動かすと、それに対応して動作検知部１１０は信号を出力し、制御部１２０はそれを受信して動きの変化量、方向及び動きの速度を決定することができる。
【００５６】
制御部１２０は、前記スクリーン１５０に前記複数のアイテムが配列される形態によって、前記測定された動きに応じて前記複数のアイテムのうち少なくともいずれか一つのアイテムに対して選択命令をするか、視覚的フィードバックを提供することができる。制御部１２０は、オブジェクトの動きが発生すると、現在スクリーンに表示されている複数のアイテムが１次元配列、２次元配列及び３次元配列であるかを判断する。制御部１２０は、判断結果に従って、同様のオブジェクトの動きに応じて複数のアイテムに視覚的なフィードバックを提供するか、又は前記アイテムを選択する選択命令として認識することができる。複数のアイテムがｘ軸方向に１次元配列されていると、制御部１２０はオブジェクトのｘ軸方向の動きに応じてスクリーンに表示されている複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することができる。例えば、視覚的なフィードバックは該当するアイテムを相対的に明るく表示するハイライト（Ｈｉｇｈｌｉｇｈｔ）、色相変更及びサイズ変更することを含んでよい。例えば、ユーザがｘ軸方向に手を動かすと、制御部１２０はｘ軸方向の動きに応じてスクリーンにハイライトされたアイテムの位置を移動させる。ユーザがｙ軸方向に手を動かすと、制御部１２０はｙ軸方向の動きに応じてスクリーンにハイライト表示されているアイテムが選択されるように制御することができる。制御部１２０は、アイテムが選択されると、当該アイテムに対するサブアイテムがスクリーンに表示されるように制御するか、当該アイテムに対応するコンテンツが再生されるように制御するか、当該アイテムに対応する放送チャネルが選択されるように制御することができる。
【００５７】
なお、前記複数のアイテムが１次元形態で配列される場合、制御部１２０は前記複数のアイテムの配列された方向と予め決定された角度以内の方向でオブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記配列された方向と前記予め決定された角度から外れる方向でオブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムを選択することができる。
【００５８】
スクリーン１５０は、一般的なディスプレイ装置であってよい。例えば、ＬＣＤ、ＣＲＴ、ＰＤＰなどのようなディスプレイ装置がスクリーンとして使用されてよい。
【００５９】
図５は、本発明の一実施形態に係るオブジェクトの垂直方向及び水平方向の動きに対する動作認識範囲を示す図である。点線５３０と点線５２５とは相互に交差する。点線５３０と点線５２５は９０度の角度をなしている。点線５３０と点線５２５とが交差して形成された領域５１５及び領域５４５でオブジェクト５１０が動くと、制御部は水平方向に認識することができる。一例として、ｘ軸方向５４５を基準に、＋４５度から−４５度の範囲及び＋１３５度から−１３５度の範囲に含まれる方向にオブジェクトが動くと、水平方向に動くと認識することができる。例えば、制御部は、オブジェクト５１０が方向５４０、方向５４５及び方向５５０に動くと、オブジェクト５１０が水平方向に動くと認識することができる。
【００６０】
なお、点線５３０と点線５１５とは９０度で交差する。点線５３０と点線５１５とは交差して領域５９０及び領域５８５を形成する。一例として、ｘ軸方向５４５を基準に、＋４５度から＋１３５度の範囲５６０及び−１３５度から−４５度の範囲５８０に含まれる方向にオブジェクトが動くと、垂直方向に動くと認識することができる。制御部は、オブジェクトが領域５９０と領域５８５内で動くと、オブジェクト５１０が垂直方向に動くと認識することができる。例えば、制御部は、オブジェクト５１０が方向５６５、方向５７０及び方向５７５に動くと、オブジェクト５１０が垂直方向に動くと認識することができる。
【００６１】
図６は、本発明の一実施形態に係る複数のアイテムがスクリーンの下段に１次元で配列された画面を示す図である。図６と図２によると、複数のアイテムを表示するスクリーン６１０が示されている。スクリーン６１０には複数のアイテム６５０、６５２、６５４、６５６、６５８が１次元配列で表示されている。例えば、制御部は複数のアイテム６５０、６５２、６５４、６５６、６５８をｘ軸方向に１次元配列で表示することができる。オブジェクト６８０は、図２に示すように、ユーザの手２７０であってよく、ｚ軸方向にスクリーンから一定距離離れている。オブジェクト６８０は、ｘ軸、ｙ軸又はｚ軸方向に動かすことができる。制御部は、オブジェクト６８０のｘ軸、ｙ軸又はｚ軸方向のうち少なくともいずれか一つの動きを測定することができる。制御部は、オブジェクト６８０の動きの方向が複数のアイテム６５０、６５２、６５４、６５６、６５８の配列方向と予め決定された角度以内の方向で測定される場合、少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することができる。例えば、制御部はアイテム６５２をハイライトさせて視覚的フィードバックを提供することができる。制御部は、スクリーンに表示された複数のアイテム６５０、６５２、６５４、６５６、６５８の配列方向が水平方向６９０か、垂直方向６９２かを判断する。即ち、制御部は、複数のアイテムの配列方向がｘ軸方向６９０か、ｙ軸方向６９２かを判断する。
【００６２】
なお、制御部は、オブジェクト６８０の動きの方向がｘ軸方向６９０か、ｙ軸方向６９２かを判断することができる。配列方向がｘ軸方向である場合において、オブジェクト６８０がｘ軸方向と予め決定された角度以内の方向に動く場合、制御部は、前記動きに応じて視覚的なフィードバックを提供することができる。例えば、制御部はユーザの手をｘ軸方向に動かすと、前記動きに応じてスクリーンにカーソルを表示するか、又は複数のアイテム６５０、６５２、６５４、６５６、６５８のうち少なくともいずれか一つのアイテム６８０をハイライトさせることができる。
【００６３】
一例として、予め決定された角度は、図５に示すように、アイテムの配列方向を基準に、＋４５度から−４５度の範囲５３５及び＋１３５度から−１３５度の範囲５５５を含む。なお、制御部は配列方向がｘ軸方向である場合において、オブジェクト６８０の動きがｘ軸方向と予め決定された角度から外れる方向で測定される場合、制御部は前記少なくともいずれか一つのアイテムが選択されるように制御することができる。例えば、制御部は、アイテム６８０がハイライトされた状態で、ユーザが手をｙ軸方向に動かすと、前記動きに応じてハイライトされたアイテム６８０が選択されるように制御することができる。
【００６４】
制御部は、オブジェクト６８０の動きに応じてスクリーンに視覚的なフィードバックを提供することができる。視覚的なフィードバックを提供する方法には、スクリーンにカーソルを表示及び特定アイテムをハイライトすることが含まれてよい。例えば、制御部は、オブジェクトに対応してスクリーンにカーソル６０２を表示することができる。オブジェクト６８０の動きは、スクリーンでカーソルの動きで示してよい。オブジェクトの動きに応じてスクリーンでカーソルが動く。即ち、カーソル６０２は、オブジェクト６８０の動きに沿ってスクリーンで動くことができる。なお、制御部は、視覚的なフィードバックを提供するために、スクリーンに表示された複数のアイテム６５０、６５２、６５４、６５６、６５８のうち少なくともいずれか一つのアイテム６５２をハイライト表示することができる。オブジェクト６８０の動きに応じてハイライトされるアイテムも変更されてよい。例えば、アイテム６５２がハイライトされた状態で、オブジェクト６８０が＋ｘ軸方向６５８に動くと、それに応じてアイテム６５２は正常表示されてアイテム６５４がハイライトされる。引き続き、オブジェクト６８０が＋ｘ軸方向６５８に動くと、アイテム６５４は正常表示されてアイテム６５６がハイライトされる。視覚的なフィードバックにはカーソルを表示、アイテムをハイライト表示、アイテムのサイズを変更、及びアイテムの色相を変更することが含まれてよい。
【００６５】
制御部は、オブジェクト６８０がアイテムの配列された方向と予め決定された角度から外れる方向６３０に移動すると、ハイライトされたアイテムが選択されたと認識することができる。制御部は、ユーザが手を垂直方向に動かすと、視覚的なフィードバックが提供されたアイテムを選択することができる。例えば、ユーザが手を垂直方向６３０に移動すると、制御部はハイライト表示されたアイテム６５２が選択されるように制御することができる。ハイライト表示されたアイテム６５２が選択されると、制御部はアイテム６５２のサブアイテム６６０、６６２、６６４をスクリーンに表示することができる。なお、オブジェクト６８０が矢印６６６方向への動きに沿ってスクリーンに表示されたカーソルが動かされるか、又はサブアイテム６６０、６６２、６６４が順にハイライトされてよい。
【００６６】
制御部は、ハイライトされたサブアイテム６６２からオブジェクトがｚ軸６３５、６９３方向に移動すると、サブアイテム６６２が選択されたと認識し、サブアイテム６６２に対応するコンテンツ６４０を拡大して表示することができる。
【００６７】
なお、制御部は、オブジェクトの動きの変化量が予め決定された値以内で、視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、少なくともいずれか一つのアイテムを選択することができる。ここで、予め決定された値は、スクリーン上ではアイテム（例えば、アイテム６５４）の幅６５５と高さ６５７となる。なお、予め決定された値は、オブジェクト６８０の動きを基準にする際には、スクリーンに表示されるアイテムのハイライトされる位置を変更させるための閾値であってよい。例えば、オブジェクト６８０の動きが、５ｃｍ以内である場合に、スクリーンでは何の反応も起きなくてよい。即ち、制御部は、オブジェクト６８０が５ｃｍ以内で動く場合には、スクリーンに表示されるアイテムのハイライトされる位置を変更させない。なお、５ｃｍは一例として設計者によって好適に変更が可能である。なお、制御部は、オブジェクト６８０の動きに応じてスクリーンに表示されるカーソル６０２の移動距離がアイテム６５６の幅６５５と高さ６５７より小さい状態を予め決定された時間の間維持すると、視覚的なフィードバックが提供されているアイテムを選択し、選択されたアイテムと関連した次の動作（ｏｐｅｒａｔｉｏｎ）を行なうことができる。例えば、制御部は、オブジェクト６８０の動きに応じてスクリーンで動く移動距離がアイテム６５２の幅と高さより小さい値を３秒以上維持すると、アイテム６５２が選択されたと認識してアイテム６５２と関連した次の動作を行なうことができる。アイテム６５２と関連した次の動作はサブメニューが現れるか、当該アイテムと関連したコンテンツが再生される動作を含んでよい。
【００６８】
なお、制御部は、オブジェクトの動きが予め設定された特定パターンに該当する場合、少なくともいずれか一つのアイテムを選択することができる。例えば、特定アイテムに視覚的なフィードアックが提供されている状態で、ユーザがオブジェクト６８０に該当する手を振ると、制御部は前記特定アイテムが選択されるように制御することができる。特定パターンは、ユーザがオブジェクト６８０に該当する手を振る動作及びこぶしを作るといった手の形を変更する動作が含まれてよい。
【００６９】
図７は、本発明の一実施形態に係る複数のアイテムがスクリーンの上段に１次元で配列された画面を示す図である。図７と図２によると、複数のアイテムを表示するスクリーン７１０が示されている。スクリーン７１０には複数のアイテム７５０、７５２、７５４、７５６、７５８が１次元配列で表示されている。例えば、制御部は複数のアイテム７５０、７５２、７５４、７５６、７５８をｘ軸方向に１次元配列で表示することができる。オブジェクト７８０は、図２に示すように、ユーザの手２７０であってよく、ｚ軸方向にスクリーンから一定距離離れている。オブジェクト７８０は、ｘ軸、ｙ軸又はｚ軸方向に動かすことができる。制御部は、オブジェクト７８０のｘ軸、ｙ軸又はｚ軸方向のうち少なくともいずれか一つの動きを測定することができる。制御部は、オブジェクト７８０の動きの方向が複数のアイテム７５０、７５２、７５４、７５６、７５８の配列方向と予め決定された角度以内の方向で測定される場合、少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することができる。例えば、制御部はアイテム７５２をハイライトさせて視覚的フィードバックを提供することができる。制御部は、スクリーンに表示された複数のアイテム７５０、７５２、７５４、７５６、７５８の配列方向が水平方向７９０か、垂直方向７９２かを判断する。即ち、制御部は、複数のアイテムの配列方向がｘ軸方向７９０か、ｙ軸方向７９２かを判断する。
【００７０】
なお、制御部は、オブジェクト７８０の動きの方向がｘ軸方向７９０か、ｙ軸方向７９２かを判断することができる。配列方向がｘ軸方向である場合において、オブジェクト７８０がｘ軸方向と予め決定された角度以内の方向に動く場合、制御部は、前記動きに応じて視覚的なフィードバックを提供することができる。例えば、制御部はユーザの手をｘ軸方向に動かすと、前記動きに応じてスクリーンにカーソルを表示するか、又は複数のアイテム７５０、７５２、７５４、７５６、７５８のうち少なくともいずれか一つのアイテム７８０をハイライトさせることができる。
【００７１】
一例として、予め決定された角度は、図５に示すように、アイテムの配列方向を基準に、＋４５度から−４５度の範囲５３５及び＋１３５度から−１３５度の範囲５５５を含む。なお、制御部は配列方向がｘ軸方向である場合において、オブジェクト７８０の動きがｘ軸方向と予め決定された角度から外れる方向で測定される場合、制御部は前記少なくともいずれか一つのアイテムが選択されるように制御することができる。例えば、制御部は、アイテム７８０がハイライトされた状態で、ユーザが手をｙ軸方向に動かすと、前記動きに応じてハイライトされたアイテム７８０が選択されるように制御することができる。
【００７２】
制御部は、オブジェクト７８０の動きに応じてスクリーンに視覚的なフィードバックを提供することができる。視覚的なフィードバックを提供する方法には、スクリーンにカーソルを表示及び特定アイテムをハイライトすることが含まれてよい。例えば、制御部は、オブジェクトに対応してスクリーンにカーソル７０２を表示することができる。オブジェクト７８０の動きは、スクリーンでカーソルの動きで示してよい。オブジェクトの動きに応じてスクリーンでカーソルが動いてよい。即ち、カーソル７０２は、オブジェクト７８０の動きに沿ってスクリーンで動くことができる。なお、制御部は、視覚的なフィードバックを提供するために、スクリーンに表示された複数のアイテム７５０、７５２、７５４、７５６、７５８のうち少なくともいずれか一つのアイテム７５２をハイライト表示することができる。オブジェクト７８０の動きに応じてハイライトされるアイテムも変更されてよい。例えば、アイテム７５２がハイライトされた状態で、オブジェクト７８０が＋ｘ軸方向７５８に動くと、それに応じてアイテム７５２は正常表示されてアイテム７５４がハイライトされる。引き続き、オブジェクト７８０が＋ｘ軸方向７５８に動くと、アイテム７５４は正常表示されてアイテム７５６がハイライトされる。視覚的なフィードバックにはカーソルを表示、アイテムをハイライト表示、アイテムのサイズを変更、及びアイテムの色相を変更することが含まれる。
【００７３】
制御部は、オブジェクト７８０がアイテムの配列された方向と予め決定された角度から外れる方向７３０に移動すると、ハイライトされたアイテムが選択されたと認識することができる。制御部は、ユーザが手を垂直方向に動かすと、視覚的なフィードバックが提供されたアイテムを選択することができる。例えば、ユーザが手を垂直方向７３０に移動すると、制御部はハイライト表示されたアイテム７５２が選択されるように制御することができる。ハイライト表示されたアイテム７５２が選択されると、制御部はアイテム７５２のサブアイテム７６０、７６２、７６４をスクリーンに表示することができる。なお、オブジェクト７８０が矢印７６６方向への動きに沿ってスクリーンに表示されたカーソルが動かされるか、又はサブアイテム７６０、７６２、７６４が順にハイライトされてよい。
【００７４】
制御部は、ハイライトされたサブアイテム７６２からオブジェクトがｚ軸７３５、７９３方向に移動すると、サブアイテム７６２が選択されたと認識し、サブアイテム７６２に対応するコンテンツ７４０を拡大して表示することができる。
【００７５】
図８は、本発明の一実施形態に係る複数のアイテムがスクリーンの左側に１次元で配列された画面を示す図である。図８によると、スクリーン８１０に複数のアイテム８５０、８５２、８５４、８５６、８５８がｙ軸方向に表示されている。オブジェクト８８０は、図２に示すように、ユーザの手２７０であってよく、ｚ軸方向にスクリーンから一定距離離れている。制御部は、オブジェクト８８０の動きに応じてスクリーンに視覚的なフィードバックを提供することができる。制御部は、視覚的なフィードバックを提供するためにスクリーンにカーソル（図示せず）を表示するか、又はスクリーンに表示された複数のアイテム８５０、８５２、８５４、８５６、８５８のうち少なくともいずれか一つのアイテムを明るく表示するか、又はハイライトするか、又はサイズを変更するか、又は色相を変更することのうち、いずれか一つの動作を行なうことができる。
【００７６】
制御部は、オブジェクト８８０がｙ軸方向及びｘ軸方向と予め決定された角度以内の方向に動くと、スクリーン８１０にカーソルを表示するか、又は複数のアイテム８５０、８５２、８５４、８５６、８５８のうち少なくともいずれか一つのアイテムをハイライトさせることができる。一例として、予め決定された角度は、ｘ軸を基準に、＋４５度から＋１３５度以内の範囲及び−４５度から−１３５度以内の範囲であってよい。
【００７７】
制御部は、オブジェクト８８０がｙ軸方向及びｘ軸方向と予め決定された角度から外れる方向８３０に動くと、視覚的なフィードバックの提供されたアイテムが選択されたと認識することができる。一例として、予め決定された角度から外れる方向は、ｘ軸を基準に、＋４５度から−４５度以内の範囲及び＋１３５度から−１３５度以内の範囲であってよい。
【００７８】
例えば、ユーザが手をｘ軸方向８３０に移動すると、制御部は、ハイライトされたアイテム８５２が選択されるように制御することができる。
【００７９】
制御部は、ハイライトされたアイテム８５２が選択されると、アイテム８５２のサブアイテム８６０、８６２、８６４をスクリーンに表示することができる。ユーザが手を矢印８６６方向への動きに沿ってスクリーンにカーソルが表示するか、又はサブアイテム８６０、８６２、８６４が順にハイライトされてよい。
【００８０】
制御部は、ハイライトされたサブアイテム８６２からユーザが手をスクリーン方向であるｚ軸８３５方向に移動させると、制御部はサブアイテム８６２が選択されたと認識し、サブアイテム８６２に対応するコンテンツ８４０を拡大して表示することができる。
【００８１】
図９は、本発明の一実施形態に係る複数のアイテムがスクリーンの右側に１次元で配列された画面を示す図である。図９によると、スクリーン９１０に複数のアイテム９５０、９５２、９５４、９５６、９５８がｙ軸方向９９２に表示されている。オブジェクト９８０は、図２に示すように、ユーザの手２７０であってよく、ｚ軸方向９９３にスクリーンから一定距離離れている。制御部は、オブジェクト９８０の動きに応じてスクリーンに視覚的なフィードバックを提供することができる。制御部は、視覚的なフィードバックを提供するためにスクリーンにカーソル９０２を表示するか、又はスクリーンに表示された複数のアイテム９５０、９５２、９５４、９５６、９５８のうち少なくともいずれか一つのアイテムを明るく表示するか、又はハイライトするか、又はサイズを変更するか、又は色相を変更することのうち、いずれか一つの動作を行なうことができる。
【００８２】
制御部は、オブジェクト９８０がｙ軸方向９９２と予め決定された角度以内の方向に動くと、スクリーン９１０にカーソル９０２を表示するか、又は複数のアイテム９５０、９５２、９５４、９５６、９５８のうち少なくともいずれか一つのアイテムをハイライトさせることができる。一例として、予め決定された角度は、ｘ軸９９０を基準に、＋４５度から＋１３５度以内の範囲及び−４５度から−１３５度以内の範囲であってよい。
【００８３】
制御部は、オブジェクト９８０がｙ軸方向９９２と予め決定された角度から外れる方向９３０に動くと、視覚的なフィードバックの提供されたアイテムが選択されたと認識することができる。一例として、予め決定された角度から外れる方向は、ｘ軸９９０を基準に、＋４５度から−４５度以内の範囲及び＋１３５度から−１３５度以内の範囲であってよい。
【００８４】
例えば、ユーザが手をｘ軸方向９３０に移動すると、制御部は、ハイライトされたアイテム９５４が選択されるように制御することができる。
【００８５】
制御部は、ハイライトされたアイテム９５４が選択されると、アイテム９５４のサブアイテム９６０、９６２、９６４をスクリーンに表示することができる。ユーザが手を矢印９６６方向への動きに沿ってスクリーンにカーソルが表示するか、又はサブアイテム９６０、９６２、９６４が順にハイライトされてよい。
【００８６】
制御部は、ハイライトされたサブアイテム９６２からユーザが手をスクリーン方向であるｚ軸方向９３５方向に移動させると、制御部はサブアイテム９６２が選択されたと認識し、サブアイテム９６２に対応するコンテンツ９４０を拡大して表示することができる。
【００８７】
図１０は、本発明の一実施形態に係る複数のアイテムがスクリーンの左側上段から右側下段への斜めに１次元配列された画面を示す図である。図１０によると、スクリーン１０１０に複数のアイテム１０５０、１０５２、１０５４、１０５６、１０５８が斜め方向に表示されている。オブジェクト１０８０は、図２に示すように、ユーザの手２７０であってよく、ｚ軸方向にスクリーンから一定距離離れている。制御部は、オブジェクト１０８０の動きに応じてスクリーンに視覚的なフィードバックを提供することができる。制御部は、視覚的なフィードバックを提供するためにスクリーンにカーソル（図示せず）を表示するか、又はスクリーンに表示された複数のアイテム１０５０、１０５２、１０５４、１０５６、１０５８のうち少なくともいずれか一つのアイテムを明るく表示するか、又はハイライトするか、又はサイズを変更するか、又は色相を変更することのうち、いずれか一つの動作を行なうことができる。
【００８８】
制御部は、オブジェクト１０８０が斜め方向１０２０、１０１５及び斜め方向と予め決定された角度以内の方向に動くと、スクリーン１０１０にカーソル１００２を表示するか、又は複数のアイテム１０５０、１０５２、１０５４、１０５６、１０５８のうち少なくともいずれか一つのアイテム１０５４をハイライトさせることができる。制御部は、オブジェクト１０８０が斜め方向と垂直の方向及び斜め方向と予め決定された角度から外れる方向１０３０に移動すると、視覚的なフィードバックの提供されたアイテムが選択されたと認識することができる。例えば、オブジェクト１０８０が複数のアイテムが配列された方向と垂直の方向１０３０に移動すると、制御部はハイライトされたアイテム１０５４が選択されるように制御することができる。
【００８９】
制御部は、ハイライトされたアイテム１０５４が選択されると、アイテム１０５４のサブアイテム１０６０、１０６２をスクリーンに表示することができる。オブジェクトが矢印１０６６方向への動きに沿ってスクリーンにカーソルが表示するか、又はサブアイテム１０６０、１０６２が順にハイライトされる。
【００９０】
サブアイテム１０６２がハイライトされた状態で、オブジェクトがｚ軸方向１０９３に動くと、制御部はサブアイテム１０６２が選択されたと認識し、サブアイテム１０６２に対応するコンテンツ１０４０を拡大して表示することができる。
【００９１】
図１１は、本発明の一実施形態に係る複数のアイテムがスクリーンの右側上段から左側下段への斜めに１次元配列された画面を示す図である。図１１によると、スクリーン１１１０に複数のアイテム１１５０、１１５２、１１５４、１１５６、１１５８が斜め方向に表示されている。オブジェクト１１８０は、図２に示すように、ユーザの手２７０であってよく、ｚ軸方向にスクリーンから一定距離離れている。制御部は、オブジェクト１１８０の動きに応じてスクリーンに視覚的なフィードバックを提供することができる。制御部は、視覚的なフィードバックを提供するためにスクリーンにカーソル１１０２を表示するか、又はスクリーンに表示された複数のアイテム１１５０、１１５２、１１５４、１１５６、１１５８のうち少なくともいずれか一つのアイテムを明るく表示するか、又はハイライトするか、又はサイズを変更するか、又は色相を変更することのうち、いずれか一つの動作を行なうことができる。
【００９２】
制御部は、オブジェクト１１８０が斜め方向１１２０、１１１５及び斜め方向と予め決定された角度以内の方向に動くと、スクリーン１１１０にカーソル（図示せず）を表示するか、又は複数のアイテム１１５０、１１５２、１１５４、１１５６、１１５８のうち少なくともいずれか一つのアイテム１０５４をハイライトさせることができる。制御部は、オブジェクト１１８０が斜め方向と垂直の方向及び斜め方向と予め決定された角度から外れる方向１１３０に移動すると、視覚的なフィードバックの提供されたアイテムが選択されたと認識することができる。例えば、オブジェクトが複数のアイテムが配列された方向と垂直の方向１１３０に移動すると、制御部はハイライトされたアイテム１１５４が選択されるように制御することができる。
【００９３】
制御部は、ハイライトされたアイテム１１５４が選択されると、アイテム１１５２のサブアイテム１１６０、１１６２をスクリーンに表示することができる。オブジェクトが矢印１１６６方向への動きに沿ってスクリーンにカーソルが表示するか、又はサブアイテム１１６０、１１６２が順にハイライトされてよい。
【００９４】
ハイライトされたアイテム１１６２からオブジェクトがｚ軸１１９３方向に動くと、制御部はアイテム１１６２が選択されたと認識し、アイテム１１６２に対応するコンテンツ１１４０を拡大して表示することができる。
【００９５】
図１２は、本発明の一実施形態に係る複数のアイテムがスクリーンに２次元で配列された画面を示す図である。図１２によると、スクリーン１２１０に複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２が２次元で配列されて表示されている。複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２は、一つの画面単位でグルーピングされている。スクリーンの上、下、左、右にはスクリーンに表示された複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２とは異なる複数のアイテムで構成されたグループ１２２２、１２２６、１２２０、１２２４の一部が表示されている。グループ１２２２、１２２６、１２２０、１２２４は、オブジェクト１２８０がスクリーンのエッジ部分に位置する際、現在のスクリーンに表示されているグループ１２０５に代わってスクリーンに表示されてよい。スクリーンの下段に表示されているグループ１２２６には、複数のアイテム１２７０、１２７２、１２７４、１２７６の一部が表示されている。制御部は、オブジェクト１２８０がｘ軸方向１２３０、１２３４又はｙ軸方向１２３２、１２３６に動く場合、２次元で配列されている複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２のうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、オブジェクトがｚ軸方向に動く場合、複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２のうち少なくともいずれか一つのアイテムを選択することができる。
【００９６】
制御部は、ユーザが手を動かすと、ユーザの手をオブジェクト１２８０として認識する。制御部は、オブジェクトの動きに沿ってスクリーンにカーソル１２０２を表示するか、又は複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２のうち少なくともいずれか一つをハイライトさせることができる。カーソル１２０２及びハイライトされたアイテムが視覚的なフィードバックに該当されてよい。例えば、オブジェクト１２８０が矢印１２８０に沿って動くと、制御部は矢印に沿ってスクリーンに表示されたカーソル１２０２を移動させるか、又はハイライトされるアイテムの位置を変更することができる。即ち、制御部は、アイテム１２５８、１２５２、１２４４、１２４６を順にハイライトさせることができる。制御部は、オブジェクトがｚ軸１２９３方向に動くと、ハイライトされたアイテムが選択されたと認識することができる。ここで、ｚ軸１２９３は、スクリーン面と垂直の方向であってよい。例えば、制御部は、ユーザが手をスクリーン側に押すと、オブジェクト１２８０がｚ軸方向１２９３に動いたと認識し、カーソルの位置したところのアイテム又はハイライトされたアイテムに対応するコンテンツをスクリーンに表示１２４０することができる。ここで、コンテンツは、動画、停止映像、音楽、テキスト、メニューアイテム及びグラフィック客体を含んでよい。
【００９７】
なお、制御部は、視覚的なフィードバックを提供した時からオブジェクトの動きが予め決定された値以内で、予め決定された時間の間維持される場合、少なくともいずれか一つのアイテムが選択されるように制御することができる。ここで、予め決定された値は、スクリーンに表示された複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２の幅１２５５と高さ１２５７となってよい。なお、予め決定された値は、オブジェクト１２８０の動きを基準とする際には、スクリーンに表示されるアイテムのハイライトされる位置を変更するための閾値となってよい。例えば、オブジェクト１２８０の動きが５ｃｍ以内である場合に、スクリーンでは何の反応を起きなくてよい。即ち、制御部は、オブジェクト１２８０が５ｃｍ以内で動く場合には、スクリーンに表示されるアイテムのハイライトされる位置を変更させない。なお、５ｃｍは一例として設計者によって好適に変更が可能である。なお、制御部は、オブジェクト１２８０の動きに応じてスクリーンに表示されるカーソル１２０２の移動距離がアイテムの幅１２５５と高さ１２５７より小さい状態を予め決定された時間の間維持すると、視覚的なフィードバックが提供されているアイテムを選択し、選択されたアイテムと関連した次の動作を行なうことができる。例えば、制御部は、オブジェクト１２８０の動きに応じてスクリーンで動く移動距離がアイテムの幅１２５５と高さ１２５７より小さい値を３秒以上維持すると、アイテム１２５０が選択されたと認識してアイテム１２５０と関連した次の動作を行なうことができる。アイテム１２５０と関連した次の動作はサブメニューが現れるか、当該アイテムと関連したコンテンツが再生される動作を含んでよい。
【００９８】
なお、制御部は、オブジェクト１２８０の動きが予め設定された特定パターンに該当する場合、少なくともいずれか一つのアイテムを選択することができる。例えば、特定アイテムに視覚的なフィードアックが提供されている状態で、ユーザがオブジェクト１２８０に該当する手を振ると、制御部は前記特定アイテムが選択されるように制御することができる。特定パターンは、ユーザがオブジェクト１２８０に該当する手を振る動作及びこぶしを作るといった手の形を変更する動作が含まれる。
【００９９】
なお、制御部は、オブジェクト１２８０の動きの速度が予め設定された基準速度より早い場合、複数のアイテムと区別される別の複数のアイテムがスクリーンに表示されるように制御し、複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することができる。例えば、制御部は、オブジェクトの動きの速度を測定して動きの速度が予め設定された基準速度より遅いと、オブジェクトの動きに応じてスクリーンに表示されたカーソル１２０２を移動させるか、又は複数のアイテムのうちいずれか一つのアイテムをハイライトさせ、オブジェクトの動きに応じてハイライトされたアイテムの位置を移動させることができる。制御部は、オブジェクトの動きの速度が予め設定された基準速度より速い場合には、スクリーンに表示された複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２で構成されたグループ１２０５を別のグループ１２２０、１２２２、１２２４、１２２６に代わってよい。オブジェクトが左側１２３０に素早く動くと、制御部はスクリーンに表示されたグループ１２０５を消えさせてグループ１２２４を表示することができる。オブジェクトが上側１２３２に素早く動くと、制御部はグループ１２０５を消えさせてグループ１２２６を表示することができる。
【０１００】
図１３は、本発明の一実施形態に係る複数のアイテムがスクリーンに３次元で配列された画面を示す図である。図１３によると、スクリーン１３１０に複数のアイテム１３４０、１３４２、１３４４、１３４６、１３４８、１３５０、１３５２、１３５４、１３５６、１３５８、１３６０、１３６２が一つのグループ１３２０を形成している。グループ１３２２、グループ１３２４も複数のアイテムで構成されている。グループ１３２０、１３２２、１３２４は３次元で配列されている。グループ１３２０がスクリーンの一番前に配置されており、グループ１３２２がグループ１３２の後ろに配置されており、グループ１３２４がスクリーンの一番後ろに配置されている。オブジェクト１３８０は、スクリーン１３１０から一定距離１３８２離れている。オブジェクト１３８０が動くと、制御部はそれに応じてスクリーンに視覚的なフィードバックを提供することができる。複数のアイテムが３次元で配列される場合において、制御部はオブジェクトがｘ軸１３３０、ｙ軸１３３２又はｚ軸１３３４方向に動く場合、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することができる。例えば、オブジェクトがｘ軸１３３０方向、ｙ軸１３３２方向に移動すると、制御部はオブジェクトの動きに応じてスクリーンにカーソル１３６４を表示するか、又は複数のアイテムのうち少なくともいずれか一つのアイテム１３５０をハイライト１３７０させ、ハイライトされたアイテムの位置を移動させることができる。制御部は、オブジェクトがｚ軸方向に移動することに対応して複数のアイテムで構成されたグループを活性化させることができる。活性化されたグループは、非活性化されたグループに比べて、透明度、明るさ及び色相が違ってよい。例えば、グループ１３２０が活性化されていると、グループ１３２０はグループ１３２２、１３２４に比べて相対的に不透明に表示されてよい。グループ１３２２が活性化されていると、グループ１３２２はグループ１３２０、１３２４より不透明に表示されてよい。
【０１０１】
制御部は、オブジェクトの動きの変化量が予め決定された値以内で、視覚的なフィードバックを提供した時から予め決定された時間の間維持されたり、オブジェクトの動きが予め設定された特定モーションに該当する場合、少なくともいずれか一つのアイテムが選択されるように制御することができる。例えば、制御部は、ハイライトされたアイテム１３５０の位置でオブジェクト１３８０の動きの変化量が５ｃｍ以内で３秒間維持されると、ハイライトされたアイテム１３５０が選択されるように制御することができる。ここで、５ｃｍ、３秒は一例であって、設計者によって変更されてよい。なお、制御部は、選択されたアイテムに関連した次の動作を行なうことができる。アイテム１３５０と関連した次の動作は、サブメニューが現れるか、又は当該アイテムに関連したコンテンツが再生される動作を含んでよい。
【０１０２】
なお、制御部は、オブジェクト１３５０の動きが予め設定された特定パターンに該当する場合、少なくともいずれか一つのアイテムを選択することができる。例えば、カーソル１３６４が位置しているアイテム１３５０及びハイライトされた特定アイテム１３５０でユーザがオブジェクト１３８０に該当する手を振ると、制御部は前記特定アイテム１３５０が選択されるように制御することができる。特定パターンは、ユーザが手を振る動作及びこぶしを作るといった手の形を変更する動作が含まれてよい。
【０１０３】
図１４は、本発明の一実施形態に係る複数のアイテムがスクリーンに１次元、２次元又は３次元のうちいずれか一つの形態で配列された状態で、オブジェクトの動きに応じてアイテムを選択したり、視覚的なフィードバックを提供するためのアイテム選択装置の処理過程を示す図である。以下、図２、図６及び図８を参照しながら、図１４について詳細に説明する。本発明の一実施形態に係るアイテム選択装置は、複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態でスクリーンに表示することができる（１４０５）。スクリーンに前記複数のアイテムが表示された状態で、アイテム選択装置はオブジェクトの動きを検知する（１４１０）。オブジェクトの動きはユーザの手の動作であってよい。ユーザがスクリーンの前で手を振ると（例えば、図２）アイテム選択装置はそれを検知し、前記検知されたオブジェクトのｘ軸、ｙ軸又はｚ軸のうちいずれか一方向への動きを測定する（１４１５）。アイテム選択装置は、複数のアイテムの配列形態を把握する（１４２０）。アイテム選択装置は、前記スクリーンに前記複数のアイテムが配列される形態に応じて、同一の類型の前記測定された動きに応答して前記複数アイテムのうち少なくともいずれか一つのアイテムに対して選択命令をするか、視覚的なフィードバックを提供する。例えば、オブジェクトの同一のｘ軸方向の動きに対し、アイテムの配列方向に応じて、アイテムを選択するか、又はカーソルを移動させるか、又はハイライトされるアイテムの位置を変更することができる。
【０１０４】
アイテム選択装置は、前記複数のアイテムが１次元で配列される場合（１４２５）、前記複数のアイテムの配列方向はｘ軸であるかを判断する。判断結果、前記複数のアイテムの配列方向がｘ軸ならば、前記オブジェクトの動きの方向を測定する。前記複数のアイテムの配列された方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供する。一例として、ここで配列された方向と予め決定された角度以内の範囲は、図５に示すように、配列された方向とオブジェクトの動きの方向とが作る角度が、＋４５度から−４５度の範囲５５５及び＋１３５度から−１３５度の範囲５３５が含まれる。アイテム選択装置は、前記オブジェクトの動きに応じてスクリーンにカーソルを表示するか、又はハイライトされたアイテムの位置を移動させることができる。アイテムの位置を移動されることについては図６に示されている。図６で、アイテム６５２がハイライトされた状態で、オブジェクト６８０が＋ｘ軸方向６５２に動く場合、アイテム選択装置はオブジェクト６８０の動きに応じてアイテム６５４をハイライトさせ、次にはアイテム６５６、次に６５８をハイライトさせることができる。なお、アイテム選択装置は、前記配列された方向と前記予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムが選択されるようにすることができる。一例として、ここで配列された方向と予め決定された角度から外れる方向は、図５に示すように、配列された方向とオブジェクトの動きの方向とが作る角度が、＋４５度から＋１３５度の範囲５６０及び−１３５度から−４５度の範囲５８０が含まれる。前記オブジェクトの動きの方向がｘ軸と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムを選択することができる。例えば、図６のように、複数のアイテム６５０、６５２、６５４、６５６、６５８が水平方向（ｘ軸方向）で配列されている場合、オブジェクトが垂直方向６３０（ｙ軸方向）に動くと、アイテム選択装置はアイテム６５２を選択することができる。
【０１０５】
即ち、アイテムの配列方向がｘ軸方向の際、オブジェクトのｘ軸方向の動きは、移動命令で動作し、オブジェクトのｙ軸方向の動きは選択命令で動作する（１４３５）。
【０１０６】
なお、判断結果、前記複数のアイテムの配列方向がｙ軸方向であり、前記オブジェクトの動き方向もｙ軸である場合、アイテム選択装置は前記オブジェクトの動きに応じてスクリーンのカーソルを表示するか、又はハイライトされたアイテムの位置を移動させることができる。アイテムの位置を移動されることは、図８に示されている。図８でアイテム８５４がハイライトされた状態で、オブジェクト８８０が＋ｙ軸方向８５０に動く場合、アイテム選択装置はオブジェクト８８０の動きに応じてアイテム８５６をハイライトさせ、次にはアイテム８５８を順にハイライトさせることができる。なお、アイテム選択装置は、前記配列された方向と前記予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムが選択されるようにすることができる。一例として、ここで配列された方向と予め決定された角度から外れる方向は、図５に示すように、配列された方向とオブジェクトの動きの方向とが作る角度が、＋４５度から＋１３５度の範囲５３５及び−１３５度から−４５度の範囲５５５が含まれる。前記オブジェクトの動きの方向がｘ軸と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムを選択することができる。例えば、図８のように、複数のアイテム８５０、８５２、８５４、８５６、８５８が垂直方向（ｙ軸方向）で配列されている場合、オブジェクトが水平方向８３０（ｙ軸方向）に動くと、アイテム選択装置はアイテム８５４を選択することができる。
【０１０７】
即ち、アイテムの配列方向がｙ軸方向である際、オブジェクトのｙ軸方向の動きは移動命令で動作し、オブジェクトのｘ軸方向の動きは選択命令で動作する（１４４０）。なお、アイテム選択装置は、オブジェクトの動きの変化量が前記視覚的なフィードバックを提供した時から予め決定された値以内で、予め決定された時間の間維持される場合には、前記少なくともいずれか一つのアイテムを選択することができる。なお、アイテム選択装置は、オブジェクトの動きが予め設定された特定パターンに該当する場合、前記少なくともいずれか一つのアイテムを選択することができる。
【０１０８】
アイテム選択装置は、複数のアイテムが２次元形態で配列されるかを判断する（１４５０）。アイテム選択装置は、複数のアイテムが２次元形態で配列される場合、前記オブジェクトの動きがｘ軸及びｙ軸方向への動きである場合、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供する（１４５５）。なお、前記オブジェクトの動きがｚ軸方向である場合には、前記少なくともいずれか一つのアイテムを選択する（１４６０）。また、前記視覚的なフィードバックを提供した時から前記オブジェクトの動きの変化量が予め決定された値以内で、予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムを選択する（１４６０）。予め決定された値は、アイテムの幅であってよい。例えば、予め決定された時間は、３秒であってよい。即ち、アイテム選択装置は、オブジェクトの動きに応じてスクリーンで移動する変化量がアイテムの幅より小さい状態が３秒間維持されると、当該アイテムが選択されたと認識することができる。なお、アイテム選択装置は、オブジェクトの動きが予め設定された特定パターンに該当する場合、前記少なくともいずれか一つのアイテムが選択されるように制御することができる（１４６０）。
【０１０９】
アイテム選択装置は、複数のアイテムが３次元形態で配列されるかを判断する（１４６５）。アイテム選択装置は、複数のアイテムが３次元形態で配列される場合において、前記オブジェクトの動きがｘ軸及びｙ軸又はｚ軸方向への動きである場合には、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供する（１４７０）。なお、前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持されるか（１４７５）、前記オブジェクトの動きが予め設定された特定パターンに該当する場合には、前記少なくともいずれか一つのアイテムが選択されるように制御することができる。
【０１１０】
上記で説明された方法は、多様なコンピュータ手段を通じて行なわれるプログラム命令形態で実現されてコンピュータ読取可能な媒体で記録できる。コンピュータ読取可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計された構成されたものや、コンピュータソフトウェアの当業者に既知の使用可能なものであってよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（Ｍａｇａｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリなどのようなプログラム命令を保存して行なうように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって行われる高級言語コードを含む。前記ハードディスク装置は、本発明の動作を行なうために、一つ以上のソフトウェアモジュールとして作動するように構成されてよく、その逆も同様である。
【０１１１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【技術分野】
【０００１】
本発明は、アイテム選択装置に関し、より詳細には、スクリーンに表示されたアイテムを選択するアイテム選択装置及びそのアイテム選択方法に関する。
【背景技術】
【０００２】
ユーザインターフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）は、ユーザと物、システム、装置又はプログラムなどの間のコミュニケーションができるように一時的又は持続的なアプローチを提供することができる。ユーザインターフェースは、物理的な媒介体又は仮想的な媒介体を含んでよい。一般的に、ユーザインターフェースはユーザがシステムを操作する入力とシステムの入力に対する反応又は結果が見られる出力に分けることができる。
【０００３】
入力は、スクリーン上でカーソルを動したり、特定対象を選択するためのユーザの操作を獲得する入力装置を必要とする。出力は、入力に対する反応をユーザの視覚、聴覚又は触覚などで確認できるようにする出力装置を必要とする。
【０００４】
最近では、テレビ及びゲーム機などの機器でユーザの便宜を図るために、遠隔からユーザの動きを入力として認識し、ユーザの動きに相応したユーザインターフェースの反応を提供するための技術への研究が進められている。このようなユーザインターフェースを用いてスクリーンに表示された複数のアイテムのうち、所望のアイテムを選択することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】韓国特開第２００８−００４３４６９号公報
【特許文献２】米国特開第２００９−０２６５６５７号公報
【特許文献３】韓国特開第２００６−０１２１６１０号公報
【特許文献４】韓国特開第２０１０−００２５０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、オブジェクトの動きを用いて、スクリーンに表示された複数のアイテムのうち、所望のアイテムを選択するアイテム選択装置及びそのアイテム選択方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係るアイテム選択装置において、オブジェクトの動きを検知する動作検知部と、スクリーンに表示される複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つで前記スクリーンに表示するように制御する制御部とを含み、前記制御部は、前記動作検知部から信号を受信して前記オブジェクト（ｏｂｊｅｃｔ）のｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動き（ｍｏｖｅｍｅｎｔ）を測定し、前記スクリーンに前記複数のアイテムが配列される形態に応じて、同一の類型の前記測定された動きに応答して、前記複数のアイテムのうち少なくともいずれか一つのアイテムが選択されるようにするか、視覚的なフィードバックを提供するアイテム選択装置が提供される。
【０００８】
ここで、前記複数のアイテムが１次元で配列される場合、前記制御部は、前記配置された方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムに対して、視覚的なフィードバックを提供し、前記配列された方向と前記予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムが選択されるように制御する。
【０００９】
なお、前記制御部は、前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムが選択されるように制御する。
【００１０】
なお、前記制御部は、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムが選択されるように制御する。
【００１１】
本発明の一実施形態によると、前記複数のアイテムが２次元で配列される場合、前記制御部は、前記オブジェクトの動きがｘ軸及びｙ軸方向への動きである場合、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記オブジェクトの動きがｚ軸方向への動きである場合、前記少なくともいずれか一つのアイテムが選択されるように制御する。
【００１２】
なお、前記制御部は、前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムが選択されるように制御するアイテム選択装置。
【００１３】
なお、前記制御部は、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムが選択される。
【００１４】
本発明の一実施形態によると、前記複数のアイテムが３次元で配列される場合、前記制御部は、前記オブジェクトの動きに応じて前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持されたり、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムが選択されるように制御するアイテム選択装置が提供されてよい。
【００１５】
本発明の一実施形態によると、前記制御部は、前記測定されたオブジェクトの動きの速度が予め設定された基準速度より早い場合、前記複数のアイテムと区別される別の複数のアイテムが前記スクリーンに表示されるように制御し、前記別の複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供するように制御する。
【００１６】
本発明の一実施形態によると、前記制御部は、前記視覚的なフィードバックが前記スクリーンに表示された前記複数のアイテムのうち、前記スクリーンのエッジ（ｅｄｇｅ）に配置されたアイテムに提供される場合において、前記測定された動きが前記スクリーンのエッジに向かう場合、前記複数のアイテムと区別される別の複数のアイテムが前記スクリーンに表示されるように制御し、前記別の複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供するように制御する。
【００１７】
本発明の別の実施形態によると、アイテム選択装置において、複数のアイテムを表示するスクリーンと、前記スクリーンに前記複数のアイテムを１次元配列で表示する制御部とを含み、前記制御部は、前記オブジェクトの動きを測定し、前記複数のアイテムの配列方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合、前記複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記複数のアイテムの配列方向と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合、前記複数のアイテムのうち少なくともいずれか一つのアイテムが選択されるように制御するアイテム選択装置が提供される。
【００１８】
本発明の別の実施形態によると、スクリーンに表示される複数のアイテムのうち少なくともいずれか一つのアイテムを選択する方法において、複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態で前記スクリーンに表示するステップと、オブジェクトの動きを検知するステップと、前記オブジェクトのｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動きを測定するステップと、前記スクリーンに前記複数のアイテムが配列される形態に応じて、同一の類型の前記測定された動きに応答して、前記複数のアイテムのうち少なくともいずれか一つのアイテムに対して選択命令をするか、視覚的なフィードバックを提供するアイテム選択方法が提供される。
【００１９】
ここで、前記複数のアイテムが１次元形態で配列される場合、前記配列された方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記配列された方向と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムを選択する。
【００２０】
なお、前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムを選択してよい。
【００２１】
なお、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムを選択してよい。
【００２２】
本発明の別の実施形態によると、前記複数のアイテムが２次元形態で配列される場合、前記オブジェクトの動きがｘ軸及びｙ軸方向への動きである場合には、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記オブジェクトの動きがｚ軸方向への動きである場合には、前記少なくともいずれか一つのアイテムを選択するアイテム選択方法を提供する。
【００２３】
ここで、前記視覚的なフィードバックを提供した時から前記オブジェクトの動きの変化量が予め決定された値以内で、前記予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムを選択してよい。
【００２４】
ここで、前記オブジェクトの動きが予め設定された特定パターンに該当する場合、前記少なくともいずれか一つのアイテムを選択してよい。
【００２５】
本発明の別の実施形態によると、前記複数のアイテムが３次元形態で配列される場合、前記オブジェクトの動きに応じて前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記オブジェクトの動きの変化量が予め決定された値以内で、予め決定された時間の間維持されたり、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合には、前記少なくともいずれか一つのアイテムを選択してよい。
【００２６】
ここで、前記測定された動きの速度が予め設定された基準速度より早い場合、前記複数のアイテムと区別される別の複数のアイテムが前記スクリーンに表示されるようにし、前記別の複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供する。
【００２７】
なお、前記視覚的なフィードバックが前記スクリーンに表示された前記複数のアイテムのうち、前記スクリーンのエッジ（ｅｄｇｅ）に配置されたアイテムに提供される場合において、前記測定された動きが前記スクリーンのエッジに向かう場合、前記複数のアイテムと区別される別の複数のアイテムが前記スクリーンに表示されるようにし、前記別の複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供する。
【００２８】
本発明の別の実施形態によると、複数のアイテムを表示するスクリーンと、前記スクリーンに前記複数のアイテムを１次元配列で表示する制御部とを含み、前記制御部は、オブジェクトの動きを測定し、前記複数のアイテムの配列方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合、前記複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記複数のアイテムの配列方向と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合、前記複数のアイテムのうち少なくともいずれか一つのアイテムが選択されるように制御するアイテム選択装置が提供される。
【００２９】
ここで、前記制御部は、前記オブジェクトの動きに応じて電気信号を生成する動作検知部から前記電気信号を受信して前記オブジェクトの動きを測定してよい。
【００３０】
なお、前記動作検知部は、前記オブジェクトを撮像してイメージフレームを獲得するビジョンセンサを含んでよい。なお、前記動作検知部は、慣性センサと、モーションセンサと、加速度センサ及び工学センサのうち少なくともいずれか一つを含むリモコンで構成する。
【００３１】
本発明の別の実施形態によると、スクリーンに表示される複数のアイテムのうち少なくともいずれか一つのアイテムを選択する方法において、複数のアイテムをスクリーンに１次元配列で表示するステップと、前記複数のアイテムの配列方向を測定するステップと、オブジェクトの動きの方向を測定するステップと、前記複数のアイテムの配列方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記複数のアイテムの配列方向と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合、前記少なくとも一つのアイテムが選択されるようにするステップとを含むアイテム選択方法が提供される。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に係るアイテム選択装置の構成を示す図である。
【図２】本発明の一実施形態に係るオブジェクトの動きからユーザインターフェースの反応を提供する図である。
【図３】本発明の一実施形態に係るセンサを示す図である。
【図４】本発明の一実施形態に係るイメージフレーム及びイメージフレーム上でオブジェクトを示す図である。
【図５】本発明の一実施形態に係る垂直方向及び水平方向に対する動作認識範囲を示す図である。
【図６】本発明の一実施形態に係る複数のアイテムがスクリーンの下段に１次元で配列された画面を示す図である。
【図７】本発明の一実施形態に係る複数のアイテムがスクリーンの上段に１次元で配列された画面を示す図である。
【図８】本発明の一実施形態に係る複数のアイテムがスクリーン左側に１次元で配列された画面を示す図である。
【図９】本発明の一実施形態に係る複数のアイテムがスクリーン右側に１次元で配列された画面を示す図である。
【図１０】本発明の一実施形態に係る複数のアイテムがスクリーン左側上段から右側下段方向の斜めで１次元配列された画面を示す図である。
【図１１】本発明の一実施形態に係る複数のアイテムがスクリーン左側下段から右側上段方向の斜めで１次元配列された画面を示す図である。
【図１２】本発明の一実施形態に係る複数のアイテムがスクリーンに２次元で配列された画面を示す図である。
【図１３】本発明の一実施形態に係る複数のアイテムがスクリーンに３次元で配列された画面を示す図である。
【図１４】本発明の一実施形態に係る複数のアイテムがスクリーンに１次元、２次元又は３次元のうちいずれか一つの形態で配列された状態で、オブジェクトの動きに応じてアイテムを選択したり、視覚的なフィードバックを提供するためのアイテム選択装置の処理過程を示す図である。
【発明を実施するための形態】
【００３３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより繰り返し説明を省略する。
【００３４】
なお、本明細書及び添付の特許請求範囲に使われた単数形は、文脈上明確に指摘しない限り、複数形も含むものとして意図されたものである。なお、本明細書で使用された「及び」という用語は、列挙された関連アイテム（ｉｔｅｍ）のうち一つ以上のアイテムの可能な全ての組み合わせを称し、含むものとして理解すべきである。
【００３５】
図１は、本発明の一実施形態に係るアイテム選択装置の構成を示す図である。図１によると、アイテム選択装置１００は、ユーザの動作を検知する動作検知部１１０と、映像情報を表示するスクリーン１５０と、スクリーンに表示する映像を生成するためのデータが保存されている表示映像保存部１３０と、スクリーンに表示する映像を生成する表示映像生成部１４０と、スクリーンに表示される複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態でスクリーンに表示するように制御する制御部１２０を含み、前記制御部１２０は、前記動作検知部１１０から信号を受信して前記オブジェクトのｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動きを測定し、前記スクリーンに前記複数のアイテムが配列される形態に応じて、ユーザの測定された動きに応じて前記複数のアイテムのうち少なくともいずれか一つのアイテムに対して選択命令をするか、又は視覚的フィードバックを提供してよい。
【００３６】
動作検知部１１０は、オブジェクト（ｏｂｊｅｃｔ）の動作を入力されて、基礎データを取得する手段であってよい。動作検知部１１０は、オブジェクトの動きに応じて電気信号を生成することができる。前記電気信号は、アナログ信号か、又はデジタル信号であってよい。動作検知部１１０は、慣性センサ（Ｉｎｅｒｔｉａｌ ｓｅｎｓｏｒ）、モーションセンサ（ｍｏｔｉｏｎ ｓｅｎｓｏｒ）、加速度センサ（ａｃｃｅｌｅｒｏｍｅｔｅｒ）及び光学センサ（ｏｐｔｉｃａｌ ｓｅｎｓｏｒ）のうち少なくともいずれか一つが含まれているリモコンであってよい。リモコンは、オブジェクトの３次元動作（ｘ軸、ｙ軸、ｘ軸）に対応して電気信号を生成することができる。オブジェクトが、ユーザ又はユーザ身体の一部であってよい。ユーザがリモコンを手に動かすと、これに対応してリモコンに含まれている慣性センサは、オブジェクトのｘ軸、ｙ軸又はｚ軸動作に対する電気信号を生成することができる。リモコンから生成されたオブジェクトのｘ軸、ｙ軸及びｚ軸動作に対する電気信号は、有無線通信を通じてアイテム選択装置に伝達されてよい。
【００３７】
動作検知部１１０は、ビジョンセンサ（Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ）であってよい。ビジョンセンサはオブジェクトを撮影し、ビジョンセンサからオブジェクトまでの距離情報の含まれた映像情報を獲得することができる。ビジョンセンサは別途のモジュールで提供されるかアイテム選択装置の内部に含まれてよい。
【００３８】
動作検知部１１０は、オブジェクトの位置を獲得することができる。オブジェクトの位置はイメージフレーム上の垂直方向に対する座標、イメージフレーム上の水平方向に対する座標及びオブジェクトと動作検知部１１０間の距離を示すオブジェクトの深度情報のうち少なくともいずれか一つを含む。ここで、オブジェクトの深度情報は、イメージフレームと垂直になる方向に対する座標の値で表してよい。例えば、動作検知部１１０は、オブジェクトを撮像してオブジェクトの深度情報を含むイメージフレームを獲得することができる。ここで、イメージフレームは複数の領域に区別され、複数の領域のうち少なくとも二つの領域は相違する閾値（Ｔｈｒｅｓｈｏｌｄｓ）を有してよい。動作検知部１１０は、イメージフレーム上のオブジェクトの位置として垂直方向に対する座標及びイメージフレーム上の水平方向に対する座標を獲得することができる。なお、オブジェクトと動作検知部１１０間の距離を示すオブジェクトの深度情報を獲得することができる。深度センサ（ｄｅｐｔｈ ｓｅｎｓｏｒ）、２次元カメラ、又はステレオスコープ（ｓｔｅｒｅｏｓｃｏｐｉｃ）カメラを含む３次元カメラなどが動作検知部１１０として使用される。
【００３９】
制御部１２０は、イメージフレームを用いてオブジェクトの動きの大きさを算出することができる。制御部１２０は、位置を検出し、検出された位置を用いてオブジェクトの動きに相応した動き情報を生成することができる。即ち、制御部１２０は、各位置でオブジェクトの動きに相応したイベントが発生するように、位置に基づいてイメージフレームで動き情報を生成することができる。なお、制御部１２０は動き情報に相応したイベントを発生させることができる。
【００４０】
制御部１２０は、保存された少なくともいずれか一つのイメージフレームを用いるか、オブジェクトの位置に対するデータを用いてオブジェクトの動きを検出することができる。制御部１２０は、検出されたオブジェクトに対する動きの大きさを算出することができる。例えば、オブジェクトの動きの開始及び終わりの位置をつなぐ直線の長さを動きの大きさで算出するか、又はオブジェクトの動きの平均的な位置を基準に仮想の直線を描いて仮想の直線の長さを動きの大きさで算出することもできる。制御部１２０は、複数のイメージフレームを通じてオブジェクトの動きが獲得される場合、オブジェクトの位置はオブジェクトの動きに相応した複数のイメージフレームのうち少なくともいずれか一つの位置であるか、複数のイメージフレームのうち少なくともいずれか一つの位置を用いて獲得された中心点の位置であるか、又は動きの区間別の移動時間などを考慮して算出された位置であってよい。例えば、オブジェクトの動きの最初のイメージフレームでオブジェクトの位置、オブジェクトの動きの最後のイメージフレームでオブジェクトの位置、又は前記両位置の中心点がオブジェクトの位置であってよい。
【００４１】
制御部１２０は、オブジェクトの動きの相応したイベントが発生するように、オブジェクトの位置に基づいて動き情報を生成することができる。制御部１２０は、イベントに従って、図２のメニュー２２０を表示するスクリーンを通じてオブジェクトの動きに対する反応を表示することができる。
【００４２】
以下で、図２ないし図４を参照し、各構成要素の動作を詳細に説明する。
【００４３】
図２のアイテム選択装置２１０は、テレビ、ゲーム機及び／又はオーディオなどを含んでよい。オブジェクトは、ユーザ２６０の身体、ユーザ２６０の身体の一部、又はユーザ２６０の取り扱う道具であってよい。
【００４４】
図３は、センサとして深度センサ１１０、光学受信部３２０、レンズ３２２、赤外線フィルタ３２４及びイメージセンサ３２６を示す図である。図３によると、センサ１１０は赤外線（Ｉｎｆｒａｒｅｄ）送信部３１０及び光学受信部３２０を含む。赤外線送信部３１０と光学受信部３２０は、同様であるか又は近接した距離に位置するように実現されてよい。センサ１１０は、光学受信部３２０によって固有値で視野角（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を有してよい。赤外線送信部３１０を介して伝送された赤外線は、前方に位置したオブジェクトを含む実体に到達した後に反射され、反射された赤外線は光学受信部３２０に受信されてよい。レンズ３２２は、実体の光成分を受信し、赤外線フィルタ３２４は受信された光成分中の赤外線を通過させることができる。イメージセンサ３２６は、通過された赤外線を電気信号に変換し、イメージフレームを獲得することができる。例えば、イメージセンサ３２６は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などであってよい。このとき、実体の深さに応じて輪郭を現し、各輪郭が深度情報を含むように信号処置される。深度情報は、赤外線送信部３１０から伝送された赤外線が光学受信部３２０に到達するまでの飛行時間（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）などを用いて獲得することができる。なお、超音波又は電波を送受信してオブジェクトの位置を獲得する装置も、超音波又は電波の飛行時間を用いて深度情報を獲得することができる。
【００４５】
動作検知部１１０は、ユーザ２６０のテ２７０を含む図４のイメージフレーム４１０を獲得することができる。ビジョンセンサは、アイテム選択装置の一部であってよく、又は別個のモジュールであってよい。イメージフレーム４１０は、等高線のように一定範囲の深さを有する対象に対する輪郭及び当該輪郭に相応した深度情報を含む。輪郭４１２は、イメージフレーム４１０上のユーザ２６０の手２７０に相応し、手２７０と動作検知部１１０間の距離を示す深度情報を有する。輪郭４１４は、ユーザ２６０の手の一部に相応し、輪郭４１６はユーザ２６０の頭及び上半身に相応してよい。輪郭４１８は、ユーザ２６０の後ろに位置した背景に相応してよい。輪郭４１２ないし輪郭４１８は、相違した深度情報を有してよい。
【００４６】
図３は、センサとして深度センサ１１０と、光学受信部３２０と、レンズ３２２と、赤外線フィルタ３２４及びイメージセンサ３２６を示す図である。図３によると、センサ１１０は赤外線（Ｉｎｆｒａｒｅｄ）送信部３１０及び光学受信部３２０を含む。赤外線送信部３１０と光学受信部３２０は、同様であるか又は近接した距離に位置するように実現されてよい。センサ１１０は、光学受信部３２０によって固有値で視野角（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を有してよい。赤外線送信部３１０を介して伝送された赤外線は、前方に位置したオブジェクトを含む実体に到達した後に反射され、反射された赤外線は光学受信部３２０に受信されてよい。レンズ３２２は、実体の光成分を受信し、赤外線フィルタ３２４は受信された光成分中の赤外線を通過させることができる。イメージセンサ３２６は、通過された赤外線を電気信号に変換し、イメージフレームを獲得することができる。例えば、イメージセンサ３２６は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などであってよい。このとき、実体の深さに応じて輪郭を現し、各輪郭が深度情報を含むように信号処置される。深度情報は、赤外線送信部３１０から伝送された赤外線が光学受信部３２０に到達するまでの飛行時間（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）などを用いて獲得することができる。なお、超音波又は電波を送受信してオブジェクトの位置を獲得する装置も、超音波又は電波の飛行時間を用いて深度情報を獲得することができる。
【００４７】
制御部１２０は、イメージフレーム４１０を用いてオブジェクト及びオブジェクトの位置を検出することができる。制御部１２０は、イメージフレーム４１０からイメージフレーム４１０上のオブジェクト４１２を検出し、イメージフレーム４２０が検出されたオブジェクト４２２のみを含むように制御することができる。なお、制御部１２０は、イメージフレーム４１０でオブジェクト４１２を別の形態とするように表示して制御することができる。例えば、制御部１２０はイメージフレーム４３０上のオブジェクト４３２を少なくともいずれか一つの点又は線、面などで表すように制御することができる。
【００４８】
なお、制御部１２０は、イメージフレーム４３０上のオブジェクト４３２を点で表し、オブジェクト４３２の位置を３次元座標で表示することができる。３次元座標は、ｘ軸、ｙ軸、ｚ軸成分を含み、ｘ軸はイメージフレーム上の水平方向に対応し、ｙ軸はイメージフレーム上の垂直方向に対応することができる。ｚ軸はイメージフレームと垂直になる方向、即ち深度情報の示す値に対応する。
【００４９】
制御部１２０は、少なくともいずれか二つのイメージフレームを用いてオブジェクトの位置を追跡し、動きの大きさを算出することができる。なお、オブジェクトの動きの大きさは、ｘ軸、ｙ軸又はｚ軸成分に分けて表すことができる。
【００５０】
制御部１２０は、スクリーンに表示される複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態で前記スクリーンに表示するように制御することができる。スクリーンに表示されるアイテムは、メニューアイテムであってよく、コンテンツアイテムであってもよい。例えば、コンテンツは動画イメージ、停止映像イメージ、音楽ファイルであってよい。なお、例えば、コンテンツアイテムは動画を代表するサムネイル（Ｔｈｕｍｂｎａｉｌ）イメージ、停止映像を代表するサムネイルイメージ、放送チャネルを代表するサムネイルイメージ、音楽ファイルを代表するアルバムイメージ及びファイル（Ｆｉｌｅ）名を代表するアイコン（ｉｃｏｎ）であってよい。
【００５１】
メニューアイテム及びコンテンツアイテムは、表示映像保存部１３０に保存されてよい。例えば、表示映像保存部１３０は、コンピュータ読取可能な記録媒体であってよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（Ｍａｇａｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリとソリッドステートメモリ（ｓｏｌｉｄ ｓｔａｔｅ ｍｅｍｏｒｙ）が含まれてよい。
【００５２】
制御部１２０は、表示映像保存部１３０からアイテムを読み取り、１次元配列、２次元配列又は３次元配列のうち少なくともいずれか一つの形態でスクリーンに表示されるように制御することができる。制御部１２０は、ユーザから別途の命令が入力されなくても、１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態でアイテムをスクリーン１５０に表示することができる。制御部１２０は、スクリーン１５０に表示するアイテムの個数に対応して１次元配列、２次元配列及び３次元配列のうち少なくともいずれか一つの形態で表示することを決定することができる。例えば、スクリーン１５０に表示されるアイテムの個数が５０未満である場合には、制御部１２０は複数のアイテムを１次元配列形態で表示されるように制御することができる。スクリーン１５０に表示されるアイテムの個数が３００未満である場合には、制御部１２０は複数のアイテムを２次元配列形態で表示されるよう制御することができる。スクリーンに表示されるアイテムの個数が３００以上で有る場合には、制御部１２０は複数のアイテムを３次元配列形態で表示されるように制御することができる。
【００５３】
なお、アイテム選択装置は、複数のアイテムをスクリーンに１次元配列のみで表示することができる。なお、アイテム選択装置は、複数のアイテムをスクリーンに２次元配列のみで表示することができる。なお、アイテム選択装置は、複数のアイテムをスクリーンに３次元配列のみで表示することができる。
【００５４】
なお、本発明の一実施形態によると、制御部１２０はユーザが最初に設定した表示形態に応じて、１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態でアイテムをスクリーン１５０に表示することができる。例えば、ユーザは１次元配列表示を選択すると、スクリーン１５０に複数のアイテムが１次元配列であるｘ軸、ｙ軸及び斜め方向に表示される。ユーザが２次元配列表示を選択すると、スクリーン１５０に複数のアイテムが２次元配列で表示される。ユーザが３次元配列表示を選択すると、スクリーン１５０に複数のアイテムが３次元配列で表示される。
【００５５】
制御部１２０は、動作検知部１１０から信号を受信して、オブジェクトのｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動きを測定することができる。動作検知部１１０から出力された信号は制御部１２０に入力され、制御部１２０は前記信号を分析して３次元空間でオブジェクトの動きを測定する。前記信号は、ｘ軸、ｙ軸又はｚ軸成分を含めており、制御部１２０は前記信号を予め決定された時間間隔で測定し、ｘ軸、ｙ軸又はｚ軸成分に該当する値の変化量を測定して、オブジェクトの動きを測定する。オブジェクトの動きは、ユーザが手を動かす動作を含んでよい。ユーザが手を動かすと、それに対応して動作検知部１１０は信号を出力し、制御部１２０はそれを受信して動きの変化量、方向及び動きの速度を決定することができる。
【００５６】
制御部１２０は、前記スクリーン１５０に前記複数のアイテムが配列される形態によって、前記測定された動きに応じて前記複数のアイテムのうち少なくともいずれか一つのアイテムに対して選択命令をするか、視覚的フィードバックを提供することができる。制御部１２０は、オブジェクトの動きが発生すると、現在スクリーンに表示されている複数のアイテムが１次元配列、２次元配列及び３次元配列であるかを判断する。制御部１２０は、判断結果に従って、同様のオブジェクトの動きに応じて複数のアイテムに視覚的なフィードバックを提供するか、又は前記アイテムを選択する選択命令として認識することができる。複数のアイテムがｘ軸方向に１次元配列されていると、制御部１２０はオブジェクトのｘ軸方向の動きに応じてスクリーンに表示されている複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することができる。例えば、視覚的なフィードバックは該当するアイテムを相対的に明るく表示するハイライト（Ｈｉｇｈｌｉｇｈｔ）、色相変更及びサイズ変更することを含んでよい。例えば、ユーザがｘ軸方向に手を動かすと、制御部１２０はｘ軸方向の動きに応じてスクリーンにハイライトされたアイテムの位置を移動させる。ユーザがｙ軸方向に手を動かすと、制御部１２０はｙ軸方向の動きに応じてスクリーンにハイライト表示されているアイテムが選択されるように制御することができる。制御部１２０は、アイテムが選択されると、当該アイテムに対するサブアイテムがスクリーンに表示されるように制御するか、当該アイテムに対応するコンテンツが再生されるように制御するか、当該アイテムに対応する放送チャネルが選択されるように制御することができる。
【００５７】
なお、前記複数のアイテムが１次元形態で配列される場合、制御部１２０は前記複数のアイテムの配列された方向と予め決定された角度以内の方向でオブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、前記配列された方向と前記予め決定された角度から外れる方向でオブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムを選択することができる。
【００５８】
スクリーン１５０は、一般的なディスプレイ装置であってよい。例えば、ＬＣＤ、ＣＲＴ、ＰＤＰなどのようなディスプレイ装置がスクリーンとして使用されてよい。
【００５９】
図５は、本発明の一実施形態に係るオブジェクトの垂直方向及び水平方向の動きに対する動作認識範囲を示す図である。点線５３０と点線５２５とは相互に交差する。点線５３０と点線５２５は９０度の角度をなしている。点線５３０と点線５２５とが交差して形成された領域５１５及び領域５４５でオブジェクト５１０が動くと、制御部は水平方向に認識することができる。一例として、ｘ軸方向５４５を基準に、＋４５度から−４５度の範囲及び＋１３５度から−１３５度の範囲に含まれる方向にオブジェクトが動くと、水平方向に動くと認識することができる。例えば、制御部は、オブジェクト５１０が方向５４０、方向５４５及び方向５５０に動くと、オブジェクト５１０が水平方向に動くと認識することができる。
【００６０】
なお、点線５３０と点線５１５とは９０度で交差する。点線５３０と点線５１５とは交差して領域５９０及び領域５８５を形成する。一例として、ｘ軸方向５４５を基準に、＋４５度から＋１３５度の範囲５６０及び−１３５度から−４５度の範囲５８０に含まれる方向にオブジェクトが動くと、垂直方向に動くと認識することができる。制御部は、オブジェクトが領域５９０と領域５８５内で動くと、オブジェクト５１０が垂直方向に動くと認識することができる。例えば、制御部は、オブジェクト５１０が方向５６５、方向５７０及び方向５７５に動くと、オブジェクト５１０が垂直方向に動くと認識することができる。
【００６１】
図６は、本発明の一実施形態に係る複数のアイテムがスクリーンの下段に１次元で配列された画面を示す図である。図６と図２によると、複数のアイテムを表示するスクリーン６１０が示されている。スクリーン６１０には複数のアイテム６５０、６５２、６５４、６５６、６５８が１次元配列で表示されている。例えば、制御部は複数のアイテム６５０、６５２、６５４、６５６、６５８をｘ軸方向に１次元配列で表示することができる。オブジェクト６８０は、図２に示すように、ユーザの手２７０であってよく、ｚ軸方向にスクリーンから一定距離離れている。オブジェクト６８０は、ｘ軸、ｙ軸又はｚ軸方向に動かすことができる。制御部は、オブジェクト６８０のｘ軸、ｙ軸又はｚ軸方向のうち少なくともいずれか一つの動きを測定することができる。制御部は、オブジェクト６８０の動きの方向が複数のアイテム６５０、６５２、６５４、６５６、６５８の配列方向と予め決定された角度以内の方向で測定される場合、少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することができる。例えば、制御部はアイテム６５２をハイライトさせて視覚的フィードバックを提供することができる。制御部は、スクリーンに表示された複数のアイテム６５０、６５２、６５４、６５６、６５８の配列方向が水平方向６９０か、垂直方向６９２かを判断する。即ち、制御部は、複数のアイテムの配列方向がｘ軸方向６９０か、ｙ軸方向６９２かを判断する。
【００６２】
なお、制御部は、オブジェクト６８０の動きの方向がｘ軸方向６９０か、ｙ軸方向６９２かを判断することができる。配列方向がｘ軸方向である場合において、オブジェクト６８０がｘ軸方向と予め決定された角度以内の方向に動く場合、制御部は、前記動きに応じて視覚的なフィードバックを提供することができる。例えば、制御部はユーザの手をｘ軸方向に動かすと、前記動きに応じてスクリーンにカーソルを表示するか、又は複数のアイテム６５０、６５２、６５４、６５６、６５８のうち少なくともいずれか一つのアイテム６８０をハイライトさせることができる。
【００６３】
一例として、予め決定された角度は、図５に示すように、アイテムの配列方向を基準に、＋４５度から−４５度の範囲５３５及び＋１３５度から−１３５度の範囲５５５を含む。なお、制御部は配列方向がｘ軸方向である場合において、オブジェクト６８０の動きがｘ軸方向と予め決定された角度から外れる方向で測定される場合、制御部は前記少なくともいずれか一つのアイテムが選択されるように制御することができる。例えば、制御部は、アイテム６８０がハイライトされた状態で、ユーザが手をｙ軸方向に動かすと、前記動きに応じてハイライトされたアイテム６８０が選択されるように制御することができる。
【００６４】
制御部は、オブジェクト６８０の動きに応じてスクリーンに視覚的なフィードバックを提供することができる。視覚的なフィードバックを提供する方法には、スクリーンにカーソルを表示及び特定アイテムをハイライトすることが含まれてよい。例えば、制御部は、オブジェクトに対応してスクリーンにカーソル６０２を表示することができる。オブジェクト６８０の動きは、スクリーンでカーソルの動きで示してよい。オブジェクトの動きに応じてスクリーンでカーソルが動く。即ち、カーソル６０２は、オブジェクト６８０の動きに沿ってスクリーンで動くことができる。なお、制御部は、視覚的なフィードバックを提供するために、スクリーンに表示された複数のアイテム６５０、６５２、６５４、６５６、６５８のうち少なくともいずれか一つのアイテム６５２をハイライト表示することができる。オブジェクト６８０の動きに応じてハイライトされるアイテムも変更されてよい。例えば、アイテム６５２がハイライトされた状態で、オブジェクト６８０が＋ｘ軸方向６５８に動くと、それに応じてアイテム６５２は正常表示されてアイテム６５４がハイライトされる。引き続き、オブジェクト６８０が＋ｘ軸方向６５８に動くと、アイテム６５４は正常表示されてアイテム６５６がハイライトされる。視覚的なフィードバックにはカーソルを表示、アイテムをハイライト表示、アイテムのサイズを変更、及びアイテムの色相を変更することが含まれてよい。
【００６５】
制御部は、オブジェクト６８０がアイテムの配列された方向と予め決定された角度から外れる方向６３０に移動すると、ハイライトされたアイテムが選択されたと認識することができる。制御部は、ユーザが手を垂直方向に動かすと、視覚的なフィードバックが提供されたアイテムを選択することができる。例えば、ユーザが手を垂直方向６３０に移動すると、制御部はハイライト表示されたアイテム６５２が選択されるように制御することができる。ハイライト表示されたアイテム６５２が選択されると、制御部はアイテム６５２のサブアイテム６６０、６６２、６６４をスクリーンに表示することができる。なお、オブジェクト６８０が矢印６６６方向への動きに沿ってスクリーンに表示されたカーソルが動かされるか、又はサブアイテム６６０、６６２、６６４が順にハイライトされてよい。
【００６６】
制御部は、ハイライトされたサブアイテム６６２からオブジェクトがｚ軸６３５、６９３方向に移動すると、サブアイテム６６２が選択されたと認識し、サブアイテム６６２に対応するコンテンツ６４０を拡大して表示することができる。
【００６７】
なお、制御部は、オブジェクトの動きの変化量が予め決定された値以内で、視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、少なくともいずれか一つのアイテムを選択することができる。ここで、予め決定された値は、スクリーン上ではアイテム（例えば、アイテム６５４）の幅６５５と高さ６５７となる。なお、予め決定された値は、オブジェクト６８０の動きを基準にする際には、スクリーンに表示されるアイテムのハイライトされる位置を変更させるための閾値であってよい。例えば、オブジェクト６８０の動きが、５ｃｍ以内である場合に、スクリーンでは何の反応も起きなくてよい。即ち、制御部は、オブジェクト６８０が５ｃｍ以内で動く場合には、スクリーンに表示されるアイテムのハイライトされる位置を変更させない。なお、５ｃｍは一例として設計者によって好適に変更が可能である。なお、制御部は、オブジェクト６８０の動きに応じてスクリーンに表示されるカーソル６０２の移動距離がアイテム６５６の幅６５５と高さ６５７より小さい状態を予め決定された時間の間維持すると、視覚的なフィードバックが提供されているアイテムを選択し、選択されたアイテムと関連した次の動作（ｏｐｅｒａｔｉｏｎ）を行なうことができる。例えば、制御部は、オブジェクト６８０の動きに応じてスクリーンで動く移動距離がアイテム６５２の幅と高さより小さい値を３秒以上維持すると、アイテム６５２が選択されたと認識してアイテム６５２と関連した次の動作を行なうことができる。アイテム６５２と関連した次の動作はサブメニューが現れるか、当該アイテムと関連したコンテンツが再生される動作を含んでよい。
【００６８】
なお、制御部は、オブジェクトの動きが予め設定された特定パターンに該当する場合、少なくともいずれか一つのアイテムを選択することができる。例えば、特定アイテムに視覚的なフィードアックが提供されている状態で、ユーザがオブジェクト６８０に該当する手を振ると、制御部は前記特定アイテムが選択されるように制御することができる。特定パターンは、ユーザがオブジェクト６８０に該当する手を振る動作及びこぶしを作るといった手の形を変更する動作が含まれてよい。
【００６９】
図７は、本発明の一実施形態に係る複数のアイテムがスクリーンの上段に１次元で配列された画面を示す図である。図７と図２によると、複数のアイテムを表示するスクリーン７１０が示されている。スクリーン７１０には複数のアイテム７５０、７５２、７５４、７５６、７５８が１次元配列で表示されている。例えば、制御部は複数のアイテム７５０、７５２、７５４、７５６、７５８をｘ軸方向に１次元配列で表示することができる。オブジェクト７８０は、図２に示すように、ユーザの手２７０であってよく、ｚ軸方向にスクリーンから一定距離離れている。オブジェクト７８０は、ｘ軸、ｙ軸又はｚ軸方向に動かすことができる。制御部は、オブジェクト７８０のｘ軸、ｙ軸又はｚ軸方向のうち少なくともいずれか一つの動きを測定することができる。制御部は、オブジェクト７８０の動きの方向が複数のアイテム７５０、７５２、７５４、７５６、７５８の配列方向と予め決定された角度以内の方向で測定される場合、少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することができる。例えば、制御部はアイテム７５２をハイライトさせて視覚的フィードバックを提供することができる。制御部は、スクリーンに表示された複数のアイテム７５０、７５２、７５４、７５６、７５８の配列方向が水平方向７９０か、垂直方向７９２かを判断する。即ち、制御部は、複数のアイテムの配列方向がｘ軸方向７９０か、ｙ軸方向７９２かを判断する。
【００７０】
なお、制御部は、オブジェクト７８０の動きの方向がｘ軸方向７９０か、ｙ軸方向７９２かを判断することができる。配列方向がｘ軸方向である場合において、オブジェクト７８０がｘ軸方向と予め決定された角度以内の方向に動く場合、制御部は、前記動きに応じて視覚的なフィードバックを提供することができる。例えば、制御部はユーザの手をｘ軸方向に動かすと、前記動きに応じてスクリーンにカーソルを表示するか、又は複数のアイテム７５０、７５２、７５４、７５６、７５８のうち少なくともいずれか一つのアイテム７８０をハイライトさせることができる。
【００７１】
一例として、予め決定された角度は、図５に示すように、アイテムの配列方向を基準に、＋４５度から−４５度の範囲５３５及び＋１３５度から−１３５度の範囲５５５を含む。なお、制御部は配列方向がｘ軸方向である場合において、オブジェクト７８０の動きがｘ軸方向と予め決定された角度から外れる方向で測定される場合、制御部は前記少なくともいずれか一つのアイテムが選択されるように制御することができる。例えば、制御部は、アイテム７８０がハイライトされた状態で、ユーザが手をｙ軸方向に動かすと、前記動きに応じてハイライトされたアイテム７８０が選択されるように制御することができる。
【００７２】
制御部は、オブジェクト７８０の動きに応じてスクリーンに視覚的なフィードバックを提供することができる。視覚的なフィードバックを提供する方法には、スクリーンにカーソルを表示及び特定アイテムをハイライトすることが含まれてよい。例えば、制御部は、オブジェクトに対応してスクリーンにカーソル７０２を表示することができる。オブジェクト７８０の動きは、スクリーンでカーソルの動きで示してよい。オブジェクトの動きに応じてスクリーンでカーソルが動いてよい。即ち、カーソル７０２は、オブジェクト７８０の動きに沿ってスクリーンで動くことができる。なお、制御部は、視覚的なフィードバックを提供するために、スクリーンに表示された複数のアイテム７５０、７５２、７５４、７５６、７５８のうち少なくともいずれか一つのアイテム７５２をハイライト表示することができる。オブジェクト７８０の動きに応じてハイライトされるアイテムも変更されてよい。例えば、アイテム７５２がハイライトされた状態で、オブジェクト７８０が＋ｘ軸方向７５８に動くと、それに応じてアイテム７５２は正常表示されてアイテム７５４がハイライトされる。引き続き、オブジェクト７８０が＋ｘ軸方向７５８に動くと、アイテム７５４は正常表示されてアイテム７５６がハイライトされる。視覚的なフィードバックにはカーソルを表示、アイテムをハイライト表示、アイテムのサイズを変更、及びアイテムの色相を変更することが含まれる。
【００７３】
制御部は、オブジェクト７８０がアイテムの配列された方向と予め決定された角度から外れる方向７３０に移動すると、ハイライトされたアイテムが選択されたと認識することができる。制御部は、ユーザが手を垂直方向に動かすと、視覚的なフィードバックが提供されたアイテムを選択することができる。例えば、ユーザが手を垂直方向７３０に移動すると、制御部はハイライト表示されたアイテム７５２が選択されるように制御することができる。ハイライト表示されたアイテム７５２が選択されると、制御部はアイテム７５２のサブアイテム７６０、７６２、７６４をスクリーンに表示することができる。なお、オブジェクト７８０が矢印７６６方向への動きに沿ってスクリーンに表示されたカーソルが動かされるか、又はサブアイテム７６０、７６２、７６４が順にハイライトされてよい。
【００７４】
制御部は、ハイライトされたサブアイテム７６２からオブジェクトがｚ軸７３５、７９３方向に移動すると、サブアイテム７６２が選択されたと認識し、サブアイテム７６２に対応するコンテンツ７４０を拡大して表示することができる。
【００７５】
図８は、本発明の一実施形態に係る複数のアイテムがスクリーンの左側に１次元で配列された画面を示す図である。図８によると、スクリーン８１０に複数のアイテム８５０、８５２、８５４、８５６、８５８がｙ軸方向に表示されている。オブジェクト８８０は、図２に示すように、ユーザの手２７０であってよく、ｚ軸方向にスクリーンから一定距離離れている。制御部は、オブジェクト８８０の動きに応じてスクリーンに視覚的なフィードバックを提供することができる。制御部は、視覚的なフィードバックを提供するためにスクリーンにカーソル（図示せず）を表示するか、又はスクリーンに表示された複数のアイテム８５０、８５２、８５４、８５６、８５８のうち少なくともいずれか一つのアイテムを明るく表示するか、又はハイライトするか、又はサイズを変更するか、又は色相を変更することのうち、いずれか一つの動作を行なうことができる。
【００７６】
制御部は、オブジェクト８８０がｙ軸方向及びｘ軸方向と予め決定された角度以内の方向に動くと、スクリーン８１０にカーソルを表示するか、又は複数のアイテム８５０、８５２、８５４、８５６、８５８のうち少なくともいずれか一つのアイテムをハイライトさせることができる。一例として、予め決定された角度は、ｘ軸を基準に、＋４５度から＋１３５度以内の範囲及び−４５度から−１３５度以内の範囲であってよい。
【００７７】
制御部は、オブジェクト８８０がｙ軸方向及びｘ軸方向と予め決定された角度から外れる方向８３０に動くと、視覚的なフィードバックの提供されたアイテムが選択されたと認識することができる。一例として、予め決定された角度から外れる方向は、ｘ軸を基準に、＋４５度から−４５度以内の範囲及び＋１３５度から−１３５度以内の範囲であってよい。
【００７８】
例えば、ユーザが手をｘ軸方向８３０に移動すると、制御部は、ハイライトされたアイテム８５２が選択されるように制御することができる。
【００７９】
制御部は、ハイライトされたアイテム８５２が選択されると、アイテム８５２のサブアイテム８６０、８６２、８６４をスクリーンに表示することができる。ユーザが手を矢印８６６方向への動きに沿ってスクリーンにカーソルが表示するか、又はサブアイテム８６０、８６２、８６４が順にハイライトされてよい。
【００８０】
制御部は、ハイライトされたサブアイテム８６２からユーザが手をスクリーン方向であるｚ軸８３５方向に移動させると、制御部はサブアイテム８６２が選択されたと認識し、サブアイテム８６２に対応するコンテンツ８４０を拡大して表示することができる。
【００８１】
図９は、本発明の一実施形態に係る複数のアイテムがスクリーンの右側に１次元で配列された画面を示す図である。図９によると、スクリーン９１０に複数のアイテム９５０、９５２、９５４、９５６、９５８がｙ軸方向９９２に表示されている。オブジェクト９８０は、図２に示すように、ユーザの手２７０であってよく、ｚ軸方向９９３にスクリーンから一定距離離れている。制御部は、オブジェクト９８０の動きに応じてスクリーンに視覚的なフィードバックを提供することができる。制御部は、視覚的なフィードバックを提供するためにスクリーンにカーソル９０２を表示するか、又はスクリーンに表示された複数のアイテム９５０、９５２、９５４、９５６、９５８のうち少なくともいずれか一つのアイテムを明るく表示するか、又はハイライトするか、又はサイズを変更するか、又は色相を変更することのうち、いずれか一つの動作を行なうことができる。
【００８２】
制御部は、オブジェクト９８０がｙ軸方向９９２と予め決定された角度以内の方向に動くと、スクリーン９１０にカーソル９０２を表示するか、又は複数のアイテム９５０、９５２、９５４、９５６、９５８のうち少なくともいずれか一つのアイテムをハイライトさせることができる。一例として、予め決定された角度は、ｘ軸９９０を基準に、＋４５度から＋１３５度以内の範囲及び−４５度から−１３５度以内の範囲であってよい。
【００８３】
制御部は、オブジェクト９８０がｙ軸方向９９２と予め決定された角度から外れる方向９３０に動くと、視覚的なフィードバックの提供されたアイテムが選択されたと認識することができる。一例として、予め決定された角度から外れる方向は、ｘ軸９９０を基準に、＋４５度から−４５度以内の範囲及び＋１３５度から−１３５度以内の範囲であってよい。
【００８４】
例えば、ユーザが手をｘ軸方向９３０に移動すると、制御部は、ハイライトされたアイテム９５４が選択されるように制御することができる。
【００８５】
制御部は、ハイライトされたアイテム９５４が選択されると、アイテム９５４のサブアイテム９６０、９６２、９６４をスクリーンに表示することができる。ユーザが手を矢印９６６方向への動きに沿ってスクリーンにカーソルが表示するか、又はサブアイテム９６０、９６２、９６４が順にハイライトされてよい。
【００８６】
制御部は、ハイライトされたサブアイテム９６２からユーザが手をスクリーン方向であるｚ軸方向９３５方向に移動させると、制御部はサブアイテム９６２が選択されたと認識し、サブアイテム９６２に対応するコンテンツ９４０を拡大して表示することができる。
【００８７】
図１０は、本発明の一実施形態に係る複数のアイテムがスクリーンの左側上段から右側下段への斜めに１次元配列された画面を示す図である。図１０によると、スクリーン１０１０に複数のアイテム１０５０、１０５２、１０５４、１０５６、１０５８が斜め方向に表示されている。オブジェクト１０８０は、図２に示すように、ユーザの手２７０であってよく、ｚ軸方向にスクリーンから一定距離離れている。制御部は、オブジェクト１０８０の動きに応じてスクリーンに視覚的なフィードバックを提供することができる。制御部は、視覚的なフィードバックを提供するためにスクリーンにカーソル（図示せず）を表示するか、又はスクリーンに表示された複数のアイテム１０５０、１０５２、１０５４、１０５６、１０５８のうち少なくともいずれか一つのアイテムを明るく表示するか、又はハイライトするか、又はサイズを変更するか、又は色相を変更することのうち、いずれか一つの動作を行なうことができる。
【００８８】
制御部は、オブジェクト１０８０が斜め方向１０２０、１０１５及び斜め方向と予め決定された角度以内の方向に動くと、スクリーン１０１０にカーソル１００２を表示するか、又は複数のアイテム１０５０、１０５２、１０５４、１０５６、１０５８のうち少なくともいずれか一つのアイテム１０５４をハイライトさせることができる。制御部は、オブジェクト１０８０が斜め方向と垂直の方向及び斜め方向と予め決定された角度から外れる方向１０３０に移動すると、視覚的なフィードバックの提供されたアイテムが選択されたと認識することができる。例えば、オブジェクト１０８０が複数のアイテムが配列された方向と垂直の方向１０３０に移動すると、制御部はハイライトされたアイテム１０５４が選択されるように制御することができる。
【００８９】
制御部は、ハイライトされたアイテム１０５４が選択されると、アイテム１０５４のサブアイテム１０６０、１０６２をスクリーンに表示することができる。オブジェクトが矢印１０６６方向への動きに沿ってスクリーンにカーソルが表示するか、又はサブアイテム１０６０、１０６２が順にハイライトされる。
【００９０】
サブアイテム１０６２がハイライトされた状態で、オブジェクトがｚ軸方向１０９３に動くと、制御部はサブアイテム１０６２が選択されたと認識し、サブアイテム１０６２に対応するコンテンツ１０４０を拡大して表示することができる。
【００９１】
図１１は、本発明の一実施形態に係る複数のアイテムがスクリーンの右側上段から左側下段への斜めに１次元配列された画面を示す図である。図１１によると、スクリーン１１１０に複数のアイテム１１５０、１１５２、１１５４、１１５６、１１５８が斜め方向に表示されている。オブジェクト１１８０は、図２に示すように、ユーザの手２７０であってよく、ｚ軸方向にスクリーンから一定距離離れている。制御部は、オブジェクト１１８０の動きに応じてスクリーンに視覚的なフィードバックを提供することができる。制御部は、視覚的なフィードバックを提供するためにスクリーンにカーソル１１０２を表示するか、又はスクリーンに表示された複数のアイテム１１５０、１１５２、１１５４、１１５６、１１５８のうち少なくともいずれか一つのアイテムを明るく表示するか、又はハイライトするか、又はサイズを変更するか、又は色相を変更することのうち、いずれか一つの動作を行なうことができる。
【００９２】
制御部は、オブジェクト１１８０が斜め方向１１２０、１１１５及び斜め方向と予め決定された角度以内の方向に動くと、スクリーン１１１０にカーソル（図示せず）を表示するか、又は複数のアイテム１１５０、１１５２、１１５４、１１５６、１１５８のうち少なくともいずれか一つのアイテム１０５４をハイライトさせることができる。制御部は、オブジェクト１１８０が斜め方向と垂直の方向及び斜め方向と予め決定された角度から外れる方向１１３０に移動すると、視覚的なフィードバックの提供されたアイテムが選択されたと認識することができる。例えば、オブジェクトが複数のアイテムが配列された方向と垂直の方向１１３０に移動すると、制御部はハイライトされたアイテム１１５４が選択されるように制御することができる。
【００９３】
制御部は、ハイライトされたアイテム１１５４が選択されると、アイテム１１５２のサブアイテム１１６０、１１６２をスクリーンに表示することができる。オブジェクトが矢印１１６６方向への動きに沿ってスクリーンにカーソルが表示するか、又はサブアイテム１１６０、１１６２が順にハイライトされてよい。
【００９４】
ハイライトされたアイテム１１６２からオブジェクトがｚ軸１１９３方向に動くと、制御部はアイテム１１６２が選択されたと認識し、アイテム１１６２に対応するコンテンツ１１４０を拡大して表示することができる。
【００９５】
図１２は、本発明の一実施形態に係る複数のアイテムがスクリーンに２次元で配列された画面を示す図である。図１２によると、スクリーン１２１０に複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２が２次元で配列されて表示されている。複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２は、一つの画面単位でグルーピングされている。スクリーンの上、下、左、右にはスクリーンに表示された複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２とは異なる複数のアイテムで構成されたグループ１２２２、１２２６、１２２０、１２２４の一部が表示されている。グループ１２２２、１２２６、１２２０、１２２４は、オブジェクト１２８０がスクリーンのエッジ部分に位置する際、現在のスクリーンに表示されているグループ１２０５に代わってスクリーンに表示されてよい。スクリーンの下段に表示されているグループ１２２６には、複数のアイテム１２７０、１２７２、１２７４、１２７６の一部が表示されている。制御部は、オブジェクト１２８０がｘ軸方向１２３０、１２３４又はｙ軸方向１２３２、１２３６に動く場合、２次元で配列されている複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２のうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、オブジェクトがｚ軸方向に動く場合、複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２のうち少なくともいずれか一つのアイテムを選択することができる。
【００９６】
制御部は、ユーザが手を動かすと、ユーザの手をオブジェクト１２８０として認識する。制御部は、オブジェクトの動きに沿ってスクリーンにカーソル１２０２を表示するか、又は複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２のうち少なくともいずれか一つをハイライトさせることができる。カーソル１２０２及びハイライトされたアイテムが視覚的なフィードバックに該当されてよい。例えば、オブジェクト１２８０が矢印１２８０に沿って動くと、制御部は矢印に沿ってスクリーンに表示されたカーソル１２０２を移動させるか、又はハイライトされるアイテムの位置を変更することができる。即ち、制御部は、アイテム１２５８、１２５２、１２４４、１２４６を順にハイライトさせることができる。制御部は、オブジェクトがｚ軸１２９３方向に動くと、ハイライトされたアイテムが選択されたと認識することができる。ここで、ｚ軸１２９３は、スクリーン面と垂直の方向であってよい。例えば、制御部は、ユーザが手をスクリーン側に押すと、オブジェクト１２８０がｚ軸方向１２９３に動いたと認識し、カーソルの位置したところのアイテム又はハイライトされたアイテムに対応するコンテンツをスクリーンに表示１２４０することができる。ここで、コンテンツは、動画、停止映像、音楽、テキスト、メニューアイテム及びグラフィック客体を含んでよい。
【００９７】
なお、制御部は、視覚的なフィードバックを提供した時からオブジェクトの動きが予め決定された値以内で、予め決定された時間の間維持される場合、少なくともいずれか一つのアイテムが選択されるように制御することができる。ここで、予め決定された値は、スクリーンに表示された複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２の幅１２５５と高さ１２５７となってよい。なお、予め決定された値は、オブジェクト１２８０の動きを基準とする際には、スクリーンに表示されるアイテムのハイライトされる位置を変更するための閾値となってよい。例えば、オブジェクト１２８０の動きが５ｃｍ以内である場合に、スクリーンでは何の反応を起きなくてよい。即ち、制御部は、オブジェクト１２８０が５ｃｍ以内で動く場合には、スクリーンに表示されるアイテムのハイライトされる位置を変更させない。なお、５ｃｍは一例として設計者によって好適に変更が可能である。なお、制御部は、オブジェクト１２８０の動きに応じてスクリーンに表示されるカーソル１２０２の移動距離がアイテムの幅１２５５と高さ１２５７より小さい状態を予め決定された時間の間維持すると、視覚的なフィードバックが提供されているアイテムを選択し、選択されたアイテムと関連した次の動作を行なうことができる。例えば、制御部は、オブジェクト１２８０の動きに応じてスクリーンで動く移動距離がアイテムの幅１２５５と高さ１２５７より小さい値を３秒以上維持すると、アイテム１２５０が選択されたと認識してアイテム１２５０と関連した次の動作を行なうことができる。アイテム１２５０と関連した次の動作はサブメニューが現れるか、当該アイテムと関連したコンテンツが再生される動作を含んでよい。
【００９８】
なお、制御部は、オブジェクト１２８０の動きが予め設定された特定パターンに該当する場合、少なくともいずれか一つのアイテムを選択することができる。例えば、特定アイテムに視覚的なフィードアックが提供されている状態で、ユーザがオブジェクト１２８０に該当する手を振ると、制御部は前記特定アイテムが選択されるように制御することができる。特定パターンは、ユーザがオブジェクト１２８０に該当する手を振る動作及びこぶしを作るといった手の形を変更する動作が含まれる。
【００９９】
なお、制御部は、オブジェクト１２８０の動きの速度が予め設定された基準速度より早い場合、複数のアイテムと区別される別の複数のアイテムがスクリーンに表示されるように制御し、複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することができる。例えば、制御部は、オブジェクトの動きの速度を測定して動きの速度が予め設定された基準速度より遅いと、オブジェクトの動きに応じてスクリーンに表示されたカーソル１２０２を移動させるか、又は複数のアイテムのうちいずれか一つのアイテムをハイライトさせ、オブジェクトの動きに応じてハイライトされたアイテムの位置を移動させることができる。制御部は、オブジェクトの動きの速度が予め設定された基準速度より速い場合には、スクリーンに表示された複数のアイテム１２４０、１２４２、１２４４、１２４６、１２４８、１２５０、１２５２、１２５４、１２５６、１２５８、１２６０、１２６２で構成されたグループ１２０５を別のグループ１２２０、１２２２、１２２４、１２２６に代わってよい。オブジェクトが左側１２３０に素早く動くと、制御部はスクリーンに表示されたグループ１２０５を消えさせてグループ１２２４を表示することができる。オブジェクトが上側１２３２に素早く動くと、制御部はグループ１２０５を消えさせてグループ１２２６を表示することができる。
【０１００】
図１３は、本発明の一実施形態に係る複数のアイテムがスクリーンに３次元で配列された画面を示す図である。図１３によると、スクリーン１３１０に複数のアイテム１３４０、１３４２、１３４４、１３４６、１３４８、１３５０、１３５２、１３５４、１３５６、１３５８、１３６０、１３６２が一つのグループ１３２０を形成している。グループ１３２２、グループ１３２４も複数のアイテムで構成されている。グループ１３２０、１３２２、１３２４は３次元で配列されている。グループ１３２０がスクリーンの一番前に配置されており、グループ１３２２がグループ１３２の後ろに配置されており、グループ１３２４がスクリーンの一番後ろに配置されている。オブジェクト１３８０は、スクリーン１３１０から一定距離１３８２離れている。オブジェクト１３８０が動くと、制御部はそれに応じてスクリーンに視覚的なフィードバックを提供することができる。複数のアイテムが３次元で配列される場合において、制御部はオブジェクトがｘ軸１３３０、ｙ軸１３３２又はｚ軸１３３４方向に動く場合、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することができる。例えば、オブジェクトがｘ軸１３３０方向、ｙ軸１３３２方向に移動すると、制御部はオブジェクトの動きに応じてスクリーンにカーソル１３６４を表示するか、又は複数のアイテムのうち少なくともいずれか一つのアイテム１３５０をハイライト１３７０させ、ハイライトされたアイテムの位置を移動させることができる。制御部は、オブジェクトがｚ軸方向に移動することに対応して複数のアイテムで構成されたグループを活性化させることができる。活性化されたグループは、非活性化されたグループに比べて、透明度、明るさ及び色相が違ってよい。例えば、グループ１３２０が活性化されていると、グループ１３２０はグループ１３２２、１３２４に比べて相対的に不透明に表示されてよい。グループ１３２２が活性化されていると、グループ１３２２はグループ１３２０、１３２４より不透明に表示されてよい。
【０１０１】
制御部は、オブジェクトの動きの変化量が予め決定された値以内で、視覚的なフィードバックを提供した時から予め決定された時間の間維持されたり、オブジェクトの動きが予め設定された特定モーションに該当する場合、少なくともいずれか一つのアイテムが選択されるように制御することができる。例えば、制御部は、ハイライトされたアイテム１３５０の位置でオブジェクト１３８０の動きの変化量が５ｃｍ以内で３秒間維持されると、ハイライトされたアイテム１３５０が選択されるように制御することができる。ここで、５ｃｍ、３秒は一例であって、設計者によって変更されてよい。なお、制御部は、選択されたアイテムに関連した次の動作を行なうことができる。アイテム１３５０と関連した次の動作は、サブメニューが現れるか、又は当該アイテムに関連したコンテンツが再生される動作を含んでよい。
【０１０２】
なお、制御部は、オブジェクト１３５０の動きが予め設定された特定パターンに該当する場合、少なくともいずれか一つのアイテムを選択することができる。例えば、カーソル１３６４が位置しているアイテム１３５０及びハイライトされた特定アイテム１３５０でユーザがオブジェクト１３８０に該当する手を振ると、制御部は前記特定アイテム１３５０が選択されるように制御することができる。特定パターンは、ユーザが手を振る動作及びこぶしを作るといった手の形を変更する動作が含まれてよい。
【０１０３】
図１４は、本発明の一実施形態に係る複数のアイテムがスクリーンに１次元、２次元又は３次元のうちいずれか一つの形態で配列された状態で、オブジェクトの動きに応じてアイテムを選択したり、視覚的なフィードバックを提供するためのアイテム選択装置の処理過程を示す図である。以下、図２、図６及び図８を参照しながら、図１４について詳細に説明する。本発明の一実施形態に係るアイテム選択装置は、複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態でスクリーンに表示することができる（１４０５）。スクリーンに前記複数のアイテムが表示された状態で、アイテム選択装置はオブジェクトの動きを検知する（１４１０）。オブジェクトの動きはユーザの手の動作であってよい。ユーザがスクリーンの前で手を振ると（例えば、図２）アイテム選択装置はそれを検知し、前記検知されたオブジェクトのｘ軸、ｙ軸又はｚ軸のうちいずれか一方向への動きを測定する（１４１５）。アイテム選択装置は、複数のアイテムの配列形態を把握する（１４２０）。アイテム選択装置は、前記スクリーンに前記複数のアイテムが配列される形態に応じて、同一の類型の前記測定された動きに応答して前記複数アイテムのうち少なくともいずれか一つのアイテムに対して選択命令をするか、視覚的なフィードバックを提供する。例えば、オブジェクトの同一のｘ軸方向の動きに対し、アイテムの配列方向に応じて、アイテムを選択するか、又はカーソルを移動させるか、又はハイライトされるアイテムの位置を変更することができる。
【０１０４】
アイテム選択装置は、前記複数のアイテムが１次元で配列される場合（１４２５）、前記複数のアイテムの配列方向はｘ軸であるかを判断する。判断結果、前記複数のアイテムの配列方向がｘ軸ならば、前記オブジェクトの動きの方向を測定する。前記複数のアイテムの配列された方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供する。一例として、ここで配列された方向と予め決定された角度以内の範囲は、図５に示すように、配列された方向とオブジェクトの動きの方向とが作る角度が、＋４５度から−４５度の範囲５５５及び＋１３５度から−１３５度の範囲５３５が含まれる。アイテム選択装置は、前記オブジェクトの動きに応じてスクリーンにカーソルを表示するか、又はハイライトされたアイテムの位置を移動させることができる。アイテムの位置を移動されることについては図６に示されている。図６で、アイテム６５２がハイライトされた状態で、オブジェクト６８０が＋ｘ軸方向６５２に動く場合、アイテム選択装置はオブジェクト６８０の動きに応じてアイテム６５４をハイライトさせ、次にはアイテム６５６、次に６５８をハイライトさせることができる。なお、アイテム選択装置は、前記配列された方向と前記予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムが選択されるようにすることができる。一例として、ここで配列された方向と予め決定された角度から外れる方向は、図５に示すように、配列された方向とオブジェクトの動きの方向とが作る角度が、＋４５度から＋１３５度の範囲５６０及び−１３５度から−４５度の範囲５８０が含まれる。前記オブジェクトの動きの方向がｘ軸と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムを選択することができる。例えば、図６のように、複数のアイテム６５０、６５２、６５４、６５６、６５８が水平方向（ｘ軸方向）で配列されている場合、オブジェクトが垂直方向６３０（ｙ軸方向）に動くと、アイテム選択装置はアイテム６５２を選択することができる。
【０１０５】
即ち、アイテムの配列方向がｘ軸方向の際、オブジェクトのｘ軸方向の動きは、移動命令で動作し、オブジェクトのｙ軸方向の動きは選択命令で動作する（１４３５）。
【０１０６】
なお、判断結果、前記複数のアイテムの配列方向がｙ軸方向であり、前記オブジェクトの動き方向もｙ軸である場合、アイテム選択装置は前記オブジェクトの動きに応じてスクリーンのカーソルを表示するか、又はハイライトされたアイテムの位置を移動させることができる。アイテムの位置を移動されることは、図８に示されている。図８でアイテム８５４がハイライトされた状態で、オブジェクト８８０が＋ｙ軸方向８５０に動く場合、アイテム選択装置はオブジェクト８８０の動きに応じてアイテム８５６をハイライトさせ、次にはアイテム８５８を順にハイライトさせることができる。なお、アイテム選択装置は、前記配列された方向と前記予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムが選択されるようにすることができる。一例として、ここで配列された方向と予め決定された角度から外れる方向は、図５に示すように、配列された方向とオブジェクトの動きの方向とが作る角度が、＋４５度から＋１３５度の範囲５３５及び−１３５度から−４５度の範囲５５５が含まれる。前記オブジェクトの動きの方向がｘ軸と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムを選択することができる。例えば、図８のように、複数のアイテム８５０、８５２、８５４、８５６、８５８が垂直方向（ｙ軸方向）で配列されている場合、オブジェクトが水平方向８３０（ｙ軸方向）に動くと、アイテム選択装置はアイテム８５４を選択することができる。
【０１０７】
即ち、アイテムの配列方向がｙ軸方向である際、オブジェクトのｙ軸方向の動きは移動命令で動作し、オブジェクトのｘ軸方向の動きは選択命令で動作する（１４４０）。なお、アイテム選択装置は、オブジェクトの動きの変化量が前記視覚的なフィードバックを提供した時から予め決定された値以内で、予め決定された時間の間維持される場合には、前記少なくともいずれか一つのアイテムを選択することができる。なお、アイテム選択装置は、オブジェクトの動きが予め設定された特定パターンに該当する場合、前記少なくともいずれか一つのアイテムを選択することができる。
【０１０８】
アイテム選択装置は、複数のアイテムが２次元形態で配列されるかを判断する（１４５０）。アイテム選択装置は、複数のアイテムが２次元形態で配列される場合、前記オブジェクトの動きがｘ軸及びｙ軸方向への動きである場合、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供する（１４５５）。なお、前記オブジェクトの動きがｚ軸方向である場合には、前記少なくともいずれか一つのアイテムを選択する（１４６０）。また、前記視覚的なフィードバックを提供した時から前記オブジェクトの動きの変化量が予め決定された値以内で、予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムを選択する（１４６０）。予め決定された値は、アイテムの幅であってよい。例えば、予め決定された時間は、３秒であってよい。即ち、アイテム選択装置は、オブジェクトの動きに応じてスクリーンで移動する変化量がアイテムの幅より小さい状態が３秒間維持されると、当該アイテムが選択されたと認識することができる。なお、アイテム選択装置は、オブジェクトの動きが予め設定された特定パターンに該当する場合、前記少なくともいずれか一つのアイテムが選択されるように制御することができる（１４６０）。
【０１０９】
アイテム選択装置は、複数のアイテムが３次元形態で配列されるかを判断する（１４６５）。アイテム選択装置は、複数のアイテムが３次元形態で配列される場合において、前記オブジェクトの動きがｘ軸及びｙ軸又はｚ軸方向への動きである場合には、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供する（１４７０）。なお、前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持されるか（１４７５）、前記オブジェクトの動きが予め設定された特定パターンに該当する場合には、前記少なくともいずれか一つのアイテムが選択されるように制御することができる。
【０１１０】
上記で説明された方法は、多様なコンピュータ手段を通じて行なわれるプログラム命令形態で実現されてコンピュータ読取可能な媒体で記録できる。コンピュータ読取可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計された構成されたものや、コンピュータソフトウェアの当業者に既知の使用可能なものであってよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（Ｍａｇａｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリなどのようなプログラム命令を保存して行なうように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって行われる高級言語コードを含む。前記ハードディスク装置は、本発明の動作を行なうために、一つ以上のソフトウェアモジュールとして作動するように構成されてよく、その逆も同様である。
【０１１１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【特許請求の範囲】
【請求項１】
アイテム選択装置において、
オブジェクトの動きを検知する動作検知部と、
スクリーンに表示される複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つで前記スクリーンに表示するように制御する制御部と
を含み、
前記制御部は、前記動作検知部から信号を受信して前記オブジェクト（ｏｂｊｅｃｔ）のｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動き（ｍｏｖｅｍｅｎｔ）を測定し、
前記スクリーンに前記複数のアイテムが配列される形態に応じて、同一の類型の前記測定された動きに応答して、前記複数のアイテムのうち少なくともいずれか一つのアイテムが選択されるようにするか、視覚的なフィードバックを提供するアイテム選択装置。
【請求項２】
前記複数のアイテムが１次元で配列される場合、
前記制御部は、
前記配置された方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムに対して、視覚的なフィードバックを提供し、前記配列された方向と前記予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムが選択されるように制御することを特徴とする請求項１に記載のアイテム選択装置。
【請求項３】
前記制御部は、
前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムが選択されるように制御することを特徴とする請求項２に記載のアイテム選択装置。
【請求項４】
前記制御部は、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムが選択されるように制御することを特徴とする請求項２に記載のアイテム選択装置。
【請求項５】
前記複数のアイテムが２次元で配列される場合、
前記制御部は、
前記オブジェクトの動きがｘ軸及びｙ軸方向への動きである場合、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、
前記オブジェクトの動きがｚ軸方向への動きである場合、前記少なくともいずれか一つのアイテムが選択されるように制御することを特徴とする請求項１に記載のアイテム選択装置。
【請求項６】
前記制御部は、
前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムが選択されるように制御することを特徴とする請求項５に記載のアイテム選択装置。
【請求項７】
前記制御部は、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムを選択することを特徴とする請求項５に記載のアイテム選択装置。
【請求項８】
前記複数のアイテムが３次元で配列される場合、
前記制御部は、
前記オブジェクトの動きに応じて前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、
前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持されたり、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムが選択されるように制御することを特徴とする請求項１に記載のアイテム選択装置。
【請求項９】
前記制御部は、
前記測定されたオブジェクトの動きの速度が予め設定された基準速度より早い場合、
前記複数のアイテムと区別される別の複数のアイテムが前記スクリーンに表示されるように制御し、
前記別の複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することを特徴とする請求項１に記載のアイテム選択装置。
【請求項１０】
前記制御部は、
前記視覚的なフィードバックが前記スクリーンに表示された前記複数のアイテムのうち、前記スクリーンのエッジ（ｅｄｇｅ）に配置されたアイテムに提供される場合において、前記測定された動きが前記スクリーンのエッジに向かう場合、
前記複数のアイテムと区別される別の複数のアイテムが前記スクリーンに表示されるように制御し、
前記別の複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することを特徴とする請求項１に記載のアイテム選択装置。
【請求項１１】
スクリーンに表示される複数のアイテムのうち少なくともいずれか一つのアイテムを選択する方法において、
複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態で前記スクリーンに表示するステップと、
オブジェクトの動きを検知するステップと、
前記オブジェクトのｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動きを測定するステップと、
前記スクリーンに前記複数のアイテムが配列される形態に応じて、同一の類型の前記測定された動きに応答して、前記複数のアイテムのうち少なくともいずれか一つのアイテムに対して選択命令をするか、視覚的なフィードバックを提供するアイテム選択方法。
【請求項１２】
前記複数のアイテムが１次元形態で配列される場合、
前記配列された方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、
前記配列された方向と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムを選択することを特徴とする請求項１１に記載のアイテム選択方法。
【請求項１３】
前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムを選択することを特徴とする請求項１２に記載のアイテム選択方法。
【請求項１４】
前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムを選択することを特徴とする請求項１２に記載のアイテム選択方法。
【請求項１５】
前記複数のアイテムが２次元形態で配列される場合、
前記オブジェクトの動きがｘ軸及びｙ軸方向への動きである場合には、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、
前記オブジェクトの動きがｚ軸方向への動きである場合には、前記少なくともいずれか一つのアイテムを選択することを特徴とする請求項１１に記載のアイテム選択方法。
【請求項１】
アイテム選択装置において、
オブジェクトの動きを検知する動作検知部と、
スクリーンに表示される複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つで前記スクリーンに表示するように制御する制御部と
を含み、
前記制御部は、前記動作検知部から信号を受信して前記オブジェクト（ｏｂｊｅｃｔ）のｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動き（ｍｏｖｅｍｅｎｔ）を測定し、
前記スクリーンに前記複数のアイテムが配列される形態に応じて、同一の類型の前記測定された動きに応答して、前記複数のアイテムのうち少なくともいずれか一つのアイテムが選択されるようにするか、視覚的なフィードバックを提供するアイテム選択装置。
【請求項２】
前記複数のアイテムが１次元で配列される場合、
前記制御部は、
前記配置された方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムに対して、視覚的なフィードバックを提供し、前記配列された方向と前記予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合、前記少なくともいずれか一つのアイテムが選択されるように制御することを特徴とする請求項１に記載のアイテム選択装置。
【請求項３】
前記制御部は、
前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムが選択されるように制御することを特徴とする請求項２に記載のアイテム選択装置。
【請求項４】
前記制御部は、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムが選択されるように制御することを特徴とする請求項２に記載のアイテム選択装置。
【請求項５】
前記複数のアイテムが２次元で配列される場合、
前記制御部は、
前記オブジェクトの動きがｘ軸及びｙ軸方向への動きである場合、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、
前記オブジェクトの動きがｚ軸方向への動きである場合、前記少なくともいずれか一つのアイテムが選択されるように制御することを特徴とする請求項１に記載のアイテム選択装置。
【請求項６】
前記制御部は、
前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムが選択されるように制御することを特徴とする請求項５に記載のアイテム選択装置。
【請求項７】
前記制御部は、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムを選択することを特徴とする請求項５に記載のアイテム選択装置。
【請求項８】
前記複数のアイテムが３次元で配列される場合、
前記制御部は、
前記オブジェクトの動きに応じて前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、
前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持されたり、前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムが選択されるように制御することを特徴とする請求項１に記載のアイテム選択装置。
【請求項９】
前記制御部は、
前記測定されたオブジェクトの動きの速度が予め設定された基準速度より早い場合、
前記複数のアイテムと区別される別の複数のアイテムが前記スクリーンに表示されるように制御し、
前記別の複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することを特徴とする請求項１に記載のアイテム選択装置。
【請求項１０】
前記制御部は、
前記視覚的なフィードバックが前記スクリーンに表示された前記複数のアイテムのうち、前記スクリーンのエッジ（ｅｄｇｅ）に配置されたアイテムに提供される場合において、前記測定された動きが前記スクリーンのエッジに向かう場合、
前記複数のアイテムと区別される別の複数のアイテムが前記スクリーンに表示されるように制御し、
前記別の複数のアイテムのうち少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供することを特徴とする請求項１に記載のアイテム選択装置。
【請求項１１】
スクリーンに表示される複数のアイテムのうち少なくともいずれか一つのアイテムを選択する方法において、
複数のアイテムを１次元配列、２次元配列又は３次元配列のうちいずれか一つの形態で前記スクリーンに表示するステップと、
オブジェクトの動きを検知するステップと、
前記オブジェクトのｘ軸、ｙ軸又はｚ軸のうち少なくともいずれか一方向への動きを測定するステップと、
前記スクリーンに前記複数のアイテムが配列される形態に応じて、同一の類型の前記測定された動きに応答して、前記複数のアイテムのうち少なくともいずれか一つのアイテムに対して選択命令をするか、視覚的なフィードバックを提供するアイテム選択方法。
【請求項１２】
前記複数のアイテムが１次元形態で配列される場合、
前記配列された方向と予め決定された角度以内の方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、
前記配列された方向と予め決定された角度から外れる方向で前記オブジェクトの動きが測定される場合には、前記少なくともいずれか一つのアイテムを選択することを特徴とする請求項１１に記載のアイテム選択方法。
【請求項１３】
前記オブジェクトの動きの変化量が予め決定された値以内で、前記視覚的なフィードバックを提供した時から予め決定された時間の間維持される場合、前記少なくともいずれか一つのアイテムを選択することを特徴とする請求項１２に記載のアイテム選択方法。
【請求項１４】
前記オブジェクトの動きが予め設定された特定パターン（ｐａｔｔｅｒｎ）に該当する場合、前記少なくともいずれか一つのアイテムを選択することを特徴とする請求項１２に記載のアイテム選択方法。
【請求項１５】
前記複数のアイテムが２次元形態で配列される場合、
前記オブジェクトの動きがｘ軸及びｙ軸方向への動きである場合には、前記少なくともいずれか一つのアイテムに対して視覚的なフィードバックを提供し、
前記オブジェクトの動きがｚ軸方向への動きである場合には、前記少なくともいずれか一つのアイテムを選択することを特徴とする請求項１１に記載のアイテム選択方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１１３７１５（Ｐ２０１２−１１３７１５Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１１−２５４２０７（Ｐ２０１１−２５４２０７）
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]