情報処理装置
【課題】 オブジェクトが重なっている場合や手の届かない場所に表示されていても、オブジェクトを容易に選択できる技術を提供する。
【解決手段】 保持部３０１で、複数のオブジェクトの順序を保持し、距離取得部３００で、物体からディスプレイの表示画面までの遠隔操作距離を取得する。選択部３０４で、複数のオブジェクトの順序と取得した遠隔操作距離に基づいて、オブジェクトを選択する。
【解決手段】 保持部３０１で、複数のオブジェクトの順序を保持し、距離取得部３００で、物体からディスプレイの表示画面までの遠隔操作距離を取得する。選択部３０４で、複数のオブジェクトの順序と取得した遠隔操作距離に基づいて、オブジェクトを選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示オブジェクトに対する操作性を向上する技術に関する。
【背景技術】
【０００２】
電子化されたドキュメントを大型のテーブル・ディスプレイや壁面ディスプレイに表示し、表示されたドキュメントをインタラクティブに操作可能にすることで、アイディアの整理や議論の活性化を支援するシステムが注目されている。このようなシステムでは、ディスプレイにタッチパネルやデジタイザなどが組み込まれており、画面上に表示されたドキュメント（オブジェクト）をタッチ操作するといった、直感的なオブジェクト操作が可能である。一般的にタッチパネルを利用した操作は、情報機器に不慣れなユーザにも馴染みやすいため、モバイル端末やコピー機など多くの情報機器で利用されるようになっている。
【０００３】
これらタッチパネル式の情報処理装置は、誰でも簡単に目的のオブジェクトをタッチ操作で選択できることが求められているが、表示されるオブジェクトが小さい場合には間違ったオブジェクトを選択してしまう可能性が高い。また、同様に隣り合うオブジェクトの間隔が狭い場合なども間違って隣のオブジェクトをタッチ選択してしまう。
【０００４】
このような課題を解決するため、特許文献１は、操作者の指先が接近したことを検出して、指先と表示画面間の距離を求め、その距離が小さくなるにつれて、ユーザが選択したい表示オブジェクトを選択しやすいように大きく表示する処理を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９‐２５９１１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、テーブル上に表示されたオブジェクトをタッチして選択する場合、特許文献１では、表示オブジェクトが重なって表示されている場合、タッチ操作でオブジェクトを選択するのは煩わしく、操作性を低下させてしまう。
【０００７】
また、テーブル上に表示されたオブジェクトをタッチして選択する場合、特許文献１では、選択するオブジェクトが操作者の手の届かない距離に表示されていると選択できない。例えば、図１（ａ）において操作者Ａは、手が届かないため表示されているオブジェクト１０３ｄや１０３ｅを直接タッチして選択することができない。
【０００８】
本発明は、上記課題を考慮してなされたもので、オブジェクトが重なっている場合や手の届かない場所に表示されていても、オブジェクトを容易に選択することが可能な情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の情報処理装置は、表示部に表示されている複数のオブジェクトから、オブジェクトを選択する情報処理装置であって、前記複数のオブジェクトの順序を保持する保持手段と、物体から前記表示部の表示画面までの遠隔操作距離を取得する距離取得手段と、前記複数のオブジェクトの順序と前記取得した遠隔操作距離に基づいて、オブジェクトを選択するオブジェクト選択手段を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、重なって表示されているため選択しにくいオブジェクトや、遠くに表示されて選択できないオブジェクトを容易に選択することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】情報処理装置のシステム概要図。
【図２】情報処理装置のハードウェア構成図。
【図３】情報処理装置の機能ブロック図。
【図４】オブジェクト選択処理の説明図。
【図５】情報処理装置の処理を示すメインフローチャート。
【図６】初期画面表示処理のフローチャート。
【図７】オブジェクト選択処理のフローチャート。
【図８】第２の実施形態の具体例を示す図。
【図９】遠隔操作距離算出方法を示す図。
【図１０】第２の実施形態におけるオブジェクト選択順の説明図。
【図１１】第３の実施形態における情報処理装置の概観図。
【図１２】対応付けのテーブルを示す図。
【図１３】物体とオブジェクトの位置情報取得方法を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について図面を参照して詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、これに限るものではない。
【００１３】
［第１の実施形態］
図１（Ａ）は、本実施形態におけるシステム概要図である。テーブル型ディスプレイ１０１、壁面型ディスプレイ１０２を利用して、アイディアの整理や議論をインタラクティブに行うためのシステムである。参加者Ａ、Ｂは表示装置であるディスプレイ（１０１、１０２）に表示されたオブジェクト（１０３ａ〜１０３ｅ）を指や手を使ってタッチ操作、もしくはジェスチャ操作することで選択し、操作する。
【００１４】
図１（Ｂ）では、下方と側方の両方向に投影可能なプロジェクタ１０４を利用してテーブル型ディスプレイ１０１、壁面型ディスプレイ１０２の両方にプロジェクタ１０４を用いてオブジェクトを投影するシステム１００１の例を示す。また、オブジェクトに対するジェスチャ操作を認識するためのセンサとして距離センサ１０５を利用する。これらの各デバイスは、情報処理装置１００とネットワークもしくはＵＳＢによって接続されており、協調して機能する。図１（Ｂ）では、２つの表示装置と一つの距離センサを利用する例を示したが、その限りではない。表示装置は１つでも良く、プロジェクタ１０４のような投影型表示装置ではなく、図１（Ｃ）に示したような、タッチパネルが組み込まれた大型ディスプレイをテーブルもしくは壁面に設置して利用してもよい。また、センサも距離情報を算出可能なセンサとして、複数の近接センサや超音波センサを利用してもよい。また画像の解析結果から距離情報を算出することも可能である。
【００１５】
図２は本実施形態における、情報処理装置１００のハードウェア構成図である。情報処理装置１００は、ＣＰＵ２００（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、バス２０３から構成される。またさらに、ディスプレイＩ／Ｆ２０４、ストレージＩ／Ｆ２０５、ストレージ２０６、入力Ｉ／Ｆ２０７から構成される。ただし、本発明はこれらのインターフェースだけに限らない。タッチパネルＩ／ＦやメモリーカードＩ／Ｆなどのインターフェースを含み、それを利用して情報処理装置を実現しても構わない。
【００１６】
以下、情報処理装置１００のハードウェア構成について、その詳細を説明する。
【００１７】
ＣＰＵ２００は、ＲＡＭ２０１、ＲＯＭ２０２、バス２０３を利用して情報処理装置１００全体の制御を行う。ここでは図示されていないが、オペレーティングシステム（以下ＯＳ）をはじめ、本発明に係る各処理プログラム、デバイスドライバ等はＲＯＭ２０２に記憶されており、ＲＡＭ２０１に一時記憶され、ＣＰＵ２００によって適宜実行される。ここでＯＳおよび各処理プログラム等はストレージ２０６に記憶されていてもよく、その場合は電源投入時にＲＡＭ２０１に適宜読み込まれ、ＣＰＵ２００によって起動される。
【００１８】
ディスプレイＩ／Ｆ２０４は、情報処理装置１００内部で作成される表示画面をディスプレイ１０１が処理可能な信号に変換する。ストレージＩ／Ｆ２０５は、情報処理装置１００内部で利用可能な映像データ形式とストレージ２０６に記憶するための映像データ形式を互いに変換する。入力Ｉ／Ｆ２０７は、距離センサ１０５からの距離情報を入力信号として受信し、情報処理装置１００が処理可能な情報に変換する。
【００１９】
ストレージ２０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置であって、ストレージ２０６には情報処理装置１００で表示するためのオブジェクトが膨大に記録されている。ストレージ２０６自体は、情報処理装置１００内部に搭載されていても良いし、イーサネット（登録商標）やＵＳＢ、メモリーカードＩ／Ｆなどの各種インターフェースを介して接続されていてもよい。またその際、ストレージ２０６は複数台接続されていても構わない。尚、以下特に断らない限り、他図を用いて説明されたものは同一の符号を付し、その説明を省略する。
【００２０】
図３（Ａ）は本実施形態における情報処理装置１００の機能ブロック図である。情報処理装置１００は、距離取得部３００、保持部３０１、オブジェクト取得部３０２、表示制御部３０３、選択部３０４から構成される。上記これらの各機能ブロックはハードウェア、ソフトウェアの組み合わせによって様々な形態で実現できる。
【００２１】
本実施形態では、ストレージ２０６に記憶されているデータ（オブジェクト）は主にマルチメディアデータであり、映像や静止画、音声データ、各種電子化ドキュメントである。以降これらデータをオブジェクトと記述する。これらオブジェクトには作成日時の情報や編集日時の情報、グループの情報など、オブジェクトの順序を決定するために必要なメタ情報が付与されているものとする。しかし、本実施形態はこれらのメタ情報に限定して利用されるものではない。例えば、オブジェクトの順序を決定するためのメタ情報がない場合は、オブジェクトを読み込んだ後、各オブジェクトの名前でオブジェクトをソートすることで、オブジェクトの順序を決定してもよい。
【００２２】
情報処理装置１００が起動すると、オブジェクト取得部３０２は表示するオブジェクトとメタ情報をストレージ２０６から読み出す。読み出したオブジェクト及びメタ情報はＲＡＭ２０１に保持される。この時、読み出したデータがＲＡＭ２０１に対して大きすぎる場合は、読み込むデータを小分けにして順次読み込んで処理しても構わない。または、即座に読み出し可能なスワップデータとしてストレージ２０６に退避させておいても構わない。
【００２３】
保持部３０１は、ＲＡＭ２０１に保持されているオブジェクトのメタ情報からオブジェクトの順序を決定し、保持する。ここでは、オブジェクトの順序を、表示画面上でオブジェクトが属している表示レイヤーの順とする。
【００２４】
表示制御部３０３は、ＲＡＭ２０１に保持されているオブジェクトから表示画面を生成しディスプレイ１０１に出力する。表示制御部３０３で作成される表示画面の一例を図４の４００に示す。図４では、４０１ａ、４０１ｂ、４０１ｃがディスプレイ１０１に表示出力されたオブジェクトを示している。
【００２５】
情報処理装置１００に対する操作は、手や指などの物体を使いジェスチャ操作（遠隔操作指示）することによって行う。オブジェクトが表示装置（ディスプレイ１０１）に表示されている状態で、距離取得部３００が、物体を検出すると、オブジェクト選択処理を開始する。距離取得部３００は、物体を検出し、物体から表示画面までの遠隔操作距離を算出する。そして算出した遠隔操作距離を選択部３０４に入力する。以下では、物体の一例である手を用いて説明する。
【００２６】
選択部３０４は、保持部３０１で保持しているオブジェクトの順序と距離取得部３００で取得した遠隔操作距離とから、オブジェクトを操作対象として選択する。
【００２７】
図４を用いて、本実施形態のオブジェクト選択処理の概要を説明する。
【００２８】
図４の４００は、本実施形態におけるオブジェクトが表示されている表示画面の一例を示しており、複数のオブジェクト４０１ａ、４０１ｂ、４０１ｃが一画面上に表示されている。
【００２９】
一般的にディスプレイに表示された複数のオブジェクトを個別に選択可能とするには、オブジェクトを１つの表示レイヤーで管理する必要がある。オブジェクトが表示レイヤー毎に管理されている状態を図４の（４０１ｘ、４０１ｙ、４０１ｚ）に示す。
【００３０】
本実施形態においても、各オブジェクトを表示レイヤーで管理する。また保持部３０１は、オブジェクトが属するレイヤーの順序に基づいて、オブジェクトの順序を決定し、保持する。
【００３１】
表示制御部３０３は、オブジェクトを各表示レイヤーで管理し、表示レイヤーを表示レイヤー順に重ね合わせることにより１つの表示画面を生成し、ディスプレイに出力する。そのようにして生成した表示画面が図４の表示画面４００である。
【００３２】
表示画面４００が表示されている状態で、物体４０３を使ってジェスチャ入力を行う。本実施形態におけるジェスチャ入力は、表示画面４００に対して手を垂直方向に動かす操作である。そのジェスチャ入力を距離取得部３００によって検出し、遠隔操作距離を算出する。本実施形態では、ジェスチャ入力を、表示画面４００や物体４０３よりも上部に取り付けられた距離センサ１０５によってジェスチャ操作を検出し、遠隔操作距離を算出する。
【００３３】
本実施形態における具体的な遠隔操作距離の算出方法を図９に示す。ここでは、物体の一例である手を用いて説明する。まず距離センサ１０５からディスプレイ１０１の表示画面１０１までの垂直距離Ｄｈ１を距離センサ１０５で取得する。そしてさらに、ジェスチャ操作を行う手の甲を認識し、距離センサ１０５から手の甲までの垂直距離Ｄｈ２を距離センサ１０５で取得する。本実施形態で算出する遠隔操作距離ｘは表示画面と手の垂直距離であり、ｘ＝Ｄｈ１−Ｄｈ２ で算出できる。本実施形態では距離センサを利用して遠隔操作距離を算出したが、その限りではない。表示画面４００上に近接センサや超音波センサを設置して、センサの情報から遠隔操作距離を算出しても良い。
【００３４】
次に、選択部３０４は、保持部３０１で保持しているオブジェクトの順序に従って、算出した遠隔操作距離から、オブジェクトを選択する。
【００３５】
本実施形態では、オブジェクトの順序は表示レイヤー順に基づく。従ってオブジェクトの順序は図４に示すように、表示レイヤー順であるＯｂｊｅｃｔ１（４０１ａ）、Ｏｂｊｅｃｔ２（４０１ｂ）、Ｏｂｊｅｃｔ３（４０１ｃ）となっている。この時、ジェスチャ操作を行う物体４０３と表示画面４００までの遠隔操作距離ｘが、０＜ｘ＜＝ａの場合はＯｂｊｅｃｔ３を操作対象として、選択し、ａ＜ｘ＜＝ｂの場合はＯｂｊｅｃｔ２を操作対象として選択する。同様に遠隔操作距離ｘが、ｂ＜ｘ＜＝ｃの場合はＯｂｊｅｃｔ３を操作対象として選択する。またｘ＝０およびｃ＜ｘの場合はジェスチャ操作対象外とし、オブジェクトを選択しない。
【００３６】
オブジェクトの順序（本実施形態では表示レイヤー順）と距離を対応付けてオブジェクトを選択するため、表示オブジェクトが重なって表示されている場合でも、オブジェクトを簡単に選択できる。
【００３７】
また本実施形態のように、表示レイヤーが上位であるオブジェクトを長い距離に対応付け（マッピング）することで操作するユーザの感覚にマッチさせ、より直感的にオブジェクトを選択することも可能である。
【００３８】
さらに、図４の４０４ａ、４０４ｂ、４０４ｃで示すように、表示制御部３０３は、選択されているオブジェクトをディスプレイに強調表示し、距離と選択オブジェクトの対応付けを４０５ａ、４０５ｂ、４０５ｃで示すインジケータでフィードバック表示する。このようなフィードバック表示を行うことで、ユーザは次にどのようにジェスチャ入力を行えば選択したいオブジェクトを選択できるのかを予め知ることができ、より使い勝手の良いユーザインターフェース（以下ＵＩ）を実現できる。
【００３９】
本実施形態では、ユーザ操作のし易さを考慮して手を上下させる範囲（操作可能な距離）を６０ｃｍとし、その範囲を３分割することによって、境界ａ、ｂ、ｃとする。しかし、この限りではない。オブジェクトを操作するユーザの状態（立っているのか、座っているのか）によって手の上下操作のし易い範囲も異なってくる。従って操作者の状態を認識して、手を上下させる範囲を動的に変更してもよい。尚、操作可能な距離は、情報処理装置１００のＲＯＭ２０２で予め保持しているものとする。
【００４０】
また、操作するオブジェクトの総数によっても手を上下させる範囲や分割数（境界数）異なってくる。例えば、操作対象オブジェクトが６個の場合は、６０ｃｍを６分割することによってオブジェクトと距離を対応付けてもよい。また逆に、手の上下操作の分解能を２ｃｍに固定して、操作対象オブジェクトの数に応じて、手を上下させる範囲を決定してもよい。このように、手を上下させる範囲の最小値Ｍｉｎと最大値Ｍａｘは、様々な方法で決定できる。
【００４１】
図５（Ａ）は本実施形態における情報処理装置１００の処理の流れを示すフローチャートである。このフローチャートを参照して、本実施形態におけるデータ表示処理、およびオブジェクト選択処理の詳細を説明する。
【００４２】
情報処理装置１００はデータ表示処理を開始すると、まずオブジェクト取得部３０２において、表示するオブジェクトと順序を決定するために利用されるメタ情報を取得し、ＲＡＭ２０１に保持する。次に保持部３０１にて取得したメタ情報からオブジェクトの順序を保持し、この情報もＲＡＭ２０１に保持する（Ｓ１０）。第１の実施形態の場合は表示レイヤーの順序に基づいてオブジェクトの順序と決定する。
【００４３】
オブジェクトの順序が決定すると、初期画面表示処理（Ｓ１１）を実行する。
【００４４】
図６は初期画面表示処理（Ｓ１１）の処理フロー図である。初期画面表示処理は、ＲＡＭ２０１に保持されたオブジェクトの表示レイヤー順とオブジェクトから表示画面を作成する。表示制御部３０３は、オブジェクトの表示レイヤーが低位のものから順に重ねて表示画面を作成する（Ｓ２０）。そして、作成した画面をディスプレイ１０１に表示出力する（Ｓ２１）。この時、ディスプレイ１０１に表示される初期画面の一例を図４の４００に示す。以上の処理で初期画面表示処理（Ｓ１１）は完了し、呼び出し元にその結果がリターンされる。
【００４５】
初期画面表示処理（Ｓ１０）が終了すると、距離センサ１０５にて、遠隔操作の検知を行う（Ｓ１２）。遠隔操作を検知しなかった場合（Ｓ１２、Ｎ）は、何も行わず、再びＳ１２の処理に移行し、遠隔操作待ちのループとなる。遠隔操作を検知した場合（Ｓ１２、Ｙ）は、距離センサ１０５の情報から、遠隔操作距離（表示画面と手などの物体までの垂直距離）を取得し、ＲＡＭ２０１に保持する。遠隔操作距離の取得が完了すると、オブジェクト選択処理が開始される（Ｓ１４）。
【００４６】
図７（Ａ）は、第１の実施形態のオブジェクト選択処理（Ｓ１４）の処理フロー図である。オブジェクト選択処理が開始されると、選択部３０４は、ＲＡＭ２０１からオブジェクトの表示レイヤー順を読み出す。そして、表示レイヤー順に基づいて、オブジェクトと距離の対応付けを行う（Ｓ３０）。対応つけは、表示レイヤー順に基づいて、オブジェクトと距離（操作可能な距離）と関係を示すテーブルを作成する。テーブルの例としては、図１２（Ａ）で示すようなテーブルを保持する。
【００４７】
さらに選択部３０４は、ＲＡＭ２０１から遠隔操作距離を読出し、対応付けの結果（テーブル）に基づいて、オブジェクトを操作対象として選択する。また表示制御部３０３は、選択したオブジェクトを強調表示する表示画面を作成し（Ｓ３１）、画面に出力する（Ｓ３２）ことで、ユーザにフィードバックを行う。選択したオブジェクトをフィードバック表示した画面の一例を図４の４０４ａ（Ｏｂｊｅｃｔ３を選択）、４０４ｂ（Ｏｂｊｅｃｔ２を選択）、４０４ｃ（Ｏｂｊｅｃｔ１を選択）に示す。以上の処理でオブジェクト選択処理（Ｓ１４）は完了し、呼び出し元の処理にその結果がリターンされる。
【００４８】
オブジェクト選択処理（Ｓ１４）が終了すると、データ表示を終了するかどうかの判定が行われる（Ｓ１５）。データ表示を終了しない場合（Ｓ１５、Ｎ）は、再びＳ１２に処理が移行する。データ表示を終了する場合（Ｓ１５、Ｙ）は、情報処理装置１００は、データ表示処理を終了する。
【００４９】
以上、本実施形態で述べたように、表示レイヤー順に基づいてオブジェクトと距離（操作可能な距離）を対応付けることで、簡単なジェスチャ操作で任意のオブジェクトを選択できる。また、オブジェクトが重なって表示されていて選択しにくい場合でも、簡単に選択し、操作することが可能となる。
【００５０】
本実施形態では、表示レイヤー順が上位のオブジェクトを長い距離に対応付けすることによって、より直感的に（ユーザの操作感にマッチするように）オブジェクトを選択することができる。
【００５１】
尚、本実施形態では、オブジェクトの順序を表示画面上でオブジェクトが属している表示レイヤーに基づいて決定したが、例えば、オブジェクトが作成された日時の情報を利用して、最も作成日時が新しい順にオブジェクトの順序を決定してもよい。また関連するメタ情報をもつオブジェクトをグループ化し、各グループ内でソートすることで順序を決定するなど、オブジェクトの順序は、アプリケーションの用途によって決定できる。
【００５２】
［第２の実施形態］
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。ここで、システムの概要図、ハードウェア構成図、初期画面表示処理フロー図は、図１、図２、図６を用いて説明した第１の実施形態と同様である。尚、第２の実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。
【００５３】
第１の実施形態との差異は、ジェスチャ操作を行う物体とオブジェクトの位置情報を取得する位置情報取得部３０５を機能ブロックに追加したことである。
【００５４】
図３（Ｂ）に、第２の実施形態における機能ブロック図を示す。位置情報取得部３０５以外は図３（Ａ）を用いて説明した第１の実施形態と同様である。
【００５５】
位置情報取得部３０５は、表示制御部３０３から取得できるオブジェクトの表示位置情報と距離センサ１０５から取得できる物体の位置情報から、ジェスチャ操作を行う物体と表示オブジェクトとの位置を取得する。本実施形態２では、位置情報として、遠隔操作を行う物体の遠隔操作方向と、その方向に表示されているオブジェクトと物体との距離を取得する。また、取得した物体の遠隔操作方向に位置するオブジェクトのみを選択対象にし、保持部３０１で、選択対象のオブジェクトの順序を決定し、保持する。
【００５６】
図５（Ｂ）は、第２の実施形態における情報処理装置１００の処理の流れを示すフローチャートである。物体とオブジェクトの位置情報を取得する処理Ｓ１６とオブジェクト選択処理Ｓ１７以外は、図５（Ａ）を用いて説明した第１の実施形態と同様である。Ｓ１６では、遠隔操作方向とその方向にあるオブジェクトまでの距離を取得し、その情報をＲＡＭ２０１に保持する。
【００５７】
本実施形態における物体とオブジェクトの位置情報の取得方法を図１３に示す。ここでは物体の一例である手４０３を用いて説明する。まず遠隔操作距離ｘは図９を用いて説明した第１の実施形態と同様である。本実施形態では遠隔操作距離ｘに加え、手４０３の重心位置とオブジェクト１０３ａの重心位置までの水平距離ｙも算出する。水平距離ｙを算出するには、まず前提条件としてプロジェクタ１０４と距離センサ１０５が正確にキャリブレーションされている必要がある。正しくキャリブレーションされている場合、距離センサの情報から表示画面上における手の重心位置ｐ１を求める。またオブジェクト１０３ａの表示情報からオブジェクト１０３ａの重心位置ｐ２を求める。これらの情報から手とオブジェクトの水平距離は ｙ＝｜ｐ１−ｐ２｜ で算出できる。
【００５８】
図７（Ｂ）に、第２の実施形態におけるオブジェクト選択処理（Ｓ１７）の処理フローを示す。
【００５９】
オブジェクト選択処理が開始されると、選択部３０４は、Ｓ１６で取得した位置情報を読み出す。そして遠隔操作方向にあるオブジェクトのみが選択対象となるように、オブジェクトをフィルタリングする（Ｓ３３）。次に、遠方にあるオブジェクトを長い距離に対応つける（Ｓ３４）。
【００６０】
本実施形態では、遠方にあるオブジェクト（水平距離ｙが大きいオブジェクト）を長い距離に対応付け、さらに、オブジェクトが重なっている場合は、第１の実施形態と同様に、表示レイヤーが上位に位置するものを長い距離に対応付ける。具体例を図１０に示す。図１０のオブジェクトＢとオブジェクトＣはほぼ等距離にオブジェクトが重ねて表示されているとする。手とオブジェクトの位置情報に加え、オブジェクトの重なり順も考慮してオブジェクトの順序を決定する。本実施形態の場合は、遠方にある、かつ重なり順が上位のオブジェクトに長い距離を対応づけるため、図１０の例では、オブジェクト選択順は距離が長い順から、Ｅ、Ｄ、Ｂ、Ｃ、Ａとなる。テーブルの例としては、図１２（Ｂ）で示す。
【００６１】
さらに選択部３０４は、対応付けの結果（テーブル）に基づいて、１つのオブジェクトを操作対象として選択する。また表示制御部３０３は、選択したオブジェクトを強調表示する表示画面を作成し（Ｓ３１）、画面に出力する（Ｓ３２）。
【００６２】
以上の処理でオブジェクト選択処理（Ｓ１７）は完了し、呼び出し元の処理にその結果がリターンされる。オブジェクト選択処理（Ｓ１７）が終了後の処理は、図５（Ａ）を用いて説明した第１の実施形態と同様である。
【００６３】
次に、手の届く範囲のオブジェクトは、タッチ操作で選択し、手の届かない範囲のオブジェクトをジェスチャ操作で選択する例を示す。
【００６４】
図８は、大量のオブジェクトが表示されている場合のオブジェクト選択操作の例を示す。この例は、本実施形態の情報処理装置１００を利用して、ブレインストーミング等のアイディア出しを行う場合を考慮したものである。この場合、オブジェクトにはアイディアが記載されている。尚、この例では、複数のオブジェクトは重ならずに表示されている場合である。
【００６５】
表示するオブジェクトを縦横１０ｃｍと仮定すると、約１００インチ（２００ｃｍ×１５０ｃｍ）の表示画面５００には少なくとも３００枚のオブジェクトが表示可能である。そのうち、手の届く範囲５０２（６０ｃｍ以内と想定）のオブジェクトは、タッチ操作で選択するものとして、遠隔操作対象オブジェクトから除外する。また、図８に示すように角度の分解能を１０度とすると、位置情報取得部３０５では、１８段階で方向を取得できる。さらに表示画面に対して垂直方向にジェスチャ操作する範囲を６０ｃｍ、分解能を５ｃｍとすると、選択部３０４は、１２段階で距離と操作対象となるオブジェクトを対応付けることができる。
【００６６】
前記仮定の場合、図８の領域５０３の方向が最もオブジェクトを多く表示可能であり、その数は１１個である。ここで、前述したように１２段階でオブジェクトと距離を対応付けることが可能であるので、手の上下動作という簡単なジェスチャ操作で、手の届かない領域に表示されている１１個のオブジェクトを選択可能となる。
【００６７】
以上、本実施形態で述べたように、物体とオブジェクトの位置情報を取得し、任意の方向にあるオブジェクトまでの距離に基づいて、オブジェクトと距離を対応付けることで、簡単にオブジェクトを選択することができる。つまり、大量にオブジェクトが表示されている場合においても簡単なジェスチャ操作でオブジェクトを選択できる。
【００６８】
［第３の実施形態］
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。ここで、ハードウェア構成図、処理フロー図は、図２、図５（Ａ）、図６、図７（Ａ）を用いて説明した第１の実施形態と同様である。尚、第３の実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。
【００６９】
第１の実施形態との差異は、情報処理装置が一体型のモバイルデバイスになったことである。本実施形態３における情報処理装置１０６の概観図を図１１に示す。
【００７０】
本実施形態３の情報処理装置１０６は、小型ディスプレイ１０７と遠隔操作距離を算出可能な１つまたは複数個の近接センサ１０８から構成される。１０９ａ、１０９ｂ、１０９ｃは小型ディスプレイ１０７に表示されているオブジェクトである。
【００７１】
第１の実施形態で示した場合と同様に、第３の実施形態で示した小型の情報処理装置１０６においても、簡単なジェスチャ操作によって、任意のオブジェクトを選択できる。これを利用すれば、小型ディスプレイ上に重なって表示されているため選択しずらいオブジェクトを簡単に選択する操作をモバイルデバイスでも実現できる。
【００７２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、表示オブジェクトに対する操作性を向上する技術に関する。
【背景技術】
【０００２】
電子化されたドキュメントを大型のテーブル・ディスプレイや壁面ディスプレイに表示し、表示されたドキュメントをインタラクティブに操作可能にすることで、アイディアの整理や議論の活性化を支援するシステムが注目されている。このようなシステムでは、ディスプレイにタッチパネルやデジタイザなどが組み込まれており、画面上に表示されたドキュメント（オブジェクト）をタッチ操作するといった、直感的なオブジェクト操作が可能である。一般的にタッチパネルを利用した操作は、情報機器に不慣れなユーザにも馴染みやすいため、モバイル端末やコピー機など多くの情報機器で利用されるようになっている。
【０００３】
これらタッチパネル式の情報処理装置は、誰でも簡単に目的のオブジェクトをタッチ操作で選択できることが求められているが、表示されるオブジェクトが小さい場合には間違ったオブジェクトを選択してしまう可能性が高い。また、同様に隣り合うオブジェクトの間隔が狭い場合なども間違って隣のオブジェクトをタッチ選択してしまう。
【０００４】
このような課題を解決するため、特許文献１は、操作者の指先が接近したことを検出して、指先と表示画面間の距離を求め、その距離が小さくなるにつれて、ユーザが選択したい表示オブジェクトを選択しやすいように大きく表示する処理を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９‐２５９１１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、テーブル上に表示されたオブジェクトをタッチして選択する場合、特許文献１では、表示オブジェクトが重なって表示されている場合、タッチ操作でオブジェクトを選択するのは煩わしく、操作性を低下させてしまう。
【０００７】
また、テーブル上に表示されたオブジェクトをタッチして選択する場合、特許文献１では、選択するオブジェクトが操作者の手の届かない距離に表示されていると選択できない。例えば、図１（ａ）において操作者Ａは、手が届かないため表示されているオブジェクト１０３ｄや１０３ｅを直接タッチして選択することができない。
【０００８】
本発明は、上記課題を考慮してなされたもので、オブジェクトが重なっている場合や手の届かない場所に表示されていても、オブジェクトを容易に選択することが可能な情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の情報処理装置は、表示部に表示されている複数のオブジェクトから、オブジェクトを選択する情報処理装置であって、前記複数のオブジェクトの順序を保持する保持手段と、物体から前記表示部の表示画面までの遠隔操作距離を取得する距離取得手段と、前記複数のオブジェクトの順序と前記取得した遠隔操作距離に基づいて、オブジェクトを選択するオブジェクト選択手段を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、重なって表示されているため選択しにくいオブジェクトや、遠くに表示されて選択できないオブジェクトを容易に選択することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】情報処理装置のシステム概要図。
【図２】情報処理装置のハードウェア構成図。
【図３】情報処理装置の機能ブロック図。
【図４】オブジェクト選択処理の説明図。
【図５】情報処理装置の処理を示すメインフローチャート。
【図６】初期画面表示処理のフローチャート。
【図７】オブジェクト選択処理のフローチャート。
【図８】第２の実施形態の具体例を示す図。
【図９】遠隔操作距離算出方法を示す図。
【図１０】第２の実施形態におけるオブジェクト選択順の説明図。
【図１１】第３の実施形態における情報処理装置の概観図。
【図１２】対応付けのテーブルを示す図。
【図１３】物体とオブジェクトの位置情報取得方法を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について図面を参照して詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、これに限るものではない。
【００１３】
［第１の実施形態］
図１（Ａ）は、本実施形態におけるシステム概要図である。テーブル型ディスプレイ１０１、壁面型ディスプレイ１０２を利用して、アイディアの整理や議論をインタラクティブに行うためのシステムである。参加者Ａ、Ｂは表示装置であるディスプレイ（１０１、１０２）に表示されたオブジェクト（１０３ａ〜１０３ｅ）を指や手を使ってタッチ操作、もしくはジェスチャ操作することで選択し、操作する。
【００１４】
図１（Ｂ）では、下方と側方の両方向に投影可能なプロジェクタ１０４を利用してテーブル型ディスプレイ１０１、壁面型ディスプレイ１０２の両方にプロジェクタ１０４を用いてオブジェクトを投影するシステム１００１の例を示す。また、オブジェクトに対するジェスチャ操作を認識するためのセンサとして距離センサ１０５を利用する。これらの各デバイスは、情報処理装置１００とネットワークもしくはＵＳＢによって接続されており、協調して機能する。図１（Ｂ）では、２つの表示装置と一つの距離センサを利用する例を示したが、その限りではない。表示装置は１つでも良く、プロジェクタ１０４のような投影型表示装置ではなく、図１（Ｃ）に示したような、タッチパネルが組み込まれた大型ディスプレイをテーブルもしくは壁面に設置して利用してもよい。また、センサも距離情報を算出可能なセンサとして、複数の近接センサや超音波センサを利用してもよい。また画像の解析結果から距離情報を算出することも可能である。
【００１５】
図２は本実施形態における、情報処理装置１００のハードウェア構成図である。情報処理装置１００は、ＣＰＵ２００（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、バス２０３から構成される。またさらに、ディスプレイＩ／Ｆ２０４、ストレージＩ／Ｆ２０５、ストレージ２０６、入力Ｉ／Ｆ２０７から構成される。ただし、本発明はこれらのインターフェースだけに限らない。タッチパネルＩ／ＦやメモリーカードＩ／Ｆなどのインターフェースを含み、それを利用して情報処理装置を実現しても構わない。
【００１６】
以下、情報処理装置１００のハードウェア構成について、その詳細を説明する。
【００１７】
ＣＰＵ２００は、ＲＡＭ２０１、ＲＯＭ２０２、バス２０３を利用して情報処理装置１００全体の制御を行う。ここでは図示されていないが、オペレーティングシステム（以下ＯＳ）をはじめ、本発明に係る各処理プログラム、デバイスドライバ等はＲＯＭ２０２に記憶されており、ＲＡＭ２０１に一時記憶され、ＣＰＵ２００によって適宜実行される。ここでＯＳおよび各処理プログラム等はストレージ２０６に記憶されていてもよく、その場合は電源投入時にＲＡＭ２０１に適宜読み込まれ、ＣＰＵ２００によって起動される。
【００１８】
ディスプレイＩ／Ｆ２０４は、情報処理装置１００内部で作成される表示画面をディスプレイ１０１が処理可能な信号に変換する。ストレージＩ／Ｆ２０５は、情報処理装置１００内部で利用可能な映像データ形式とストレージ２０６に記憶するための映像データ形式を互いに変換する。入力Ｉ／Ｆ２０７は、距離センサ１０５からの距離情報を入力信号として受信し、情報処理装置１００が処理可能な情報に変換する。
【００１９】
ストレージ２０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置であって、ストレージ２０６には情報処理装置１００で表示するためのオブジェクトが膨大に記録されている。ストレージ２０６自体は、情報処理装置１００内部に搭載されていても良いし、イーサネット（登録商標）やＵＳＢ、メモリーカードＩ／Ｆなどの各種インターフェースを介して接続されていてもよい。またその際、ストレージ２０６は複数台接続されていても構わない。尚、以下特に断らない限り、他図を用いて説明されたものは同一の符号を付し、その説明を省略する。
【００２０】
図３（Ａ）は本実施形態における情報処理装置１００の機能ブロック図である。情報処理装置１００は、距離取得部３００、保持部３０１、オブジェクト取得部３０２、表示制御部３０３、選択部３０４から構成される。上記これらの各機能ブロックはハードウェア、ソフトウェアの組み合わせによって様々な形態で実現できる。
【００２１】
本実施形態では、ストレージ２０６に記憶されているデータ（オブジェクト）は主にマルチメディアデータであり、映像や静止画、音声データ、各種電子化ドキュメントである。以降これらデータをオブジェクトと記述する。これらオブジェクトには作成日時の情報や編集日時の情報、グループの情報など、オブジェクトの順序を決定するために必要なメタ情報が付与されているものとする。しかし、本実施形態はこれらのメタ情報に限定して利用されるものではない。例えば、オブジェクトの順序を決定するためのメタ情報がない場合は、オブジェクトを読み込んだ後、各オブジェクトの名前でオブジェクトをソートすることで、オブジェクトの順序を決定してもよい。
【００２２】
情報処理装置１００が起動すると、オブジェクト取得部３０２は表示するオブジェクトとメタ情報をストレージ２０６から読み出す。読み出したオブジェクト及びメタ情報はＲＡＭ２０１に保持される。この時、読み出したデータがＲＡＭ２０１に対して大きすぎる場合は、読み込むデータを小分けにして順次読み込んで処理しても構わない。または、即座に読み出し可能なスワップデータとしてストレージ２０６に退避させておいても構わない。
【００２３】
保持部３０１は、ＲＡＭ２０１に保持されているオブジェクトのメタ情報からオブジェクトの順序を決定し、保持する。ここでは、オブジェクトの順序を、表示画面上でオブジェクトが属している表示レイヤーの順とする。
【００２４】
表示制御部３０３は、ＲＡＭ２０１に保持されているオブジェクトから表示画面を生成しディスプレイ１０１に出力する。表示制御部３０３で作成される表示画面の一例を図４の４００に示す。図４では、４０１ａ、４０１ｂ、４０１ｃがディスプレイ１０１に表示出力されたオブジェクトを示している。
【００２５】
情報処理装置１００に対する操作は、手や指などの物体を使いジェスチャ操作（遠隔操作指示）することによって行う。オブジェクトが表示装置（ディスプレイ１０１）に表示されている状態で、距離取得部３００が、物体を検出すると、オブジェクト選択処理を開始する。距離取得部３００は、物体を検出し、物体から表示画面までの遠隔操作距離を算出する。そして算出した遠隔操作距離を選択部３０４に入力する。以下では、物体の一例である手を用いて説明する。
【００２６】
選択部３０４は、保持部３０１で保持しているオブジェクトの順序と距離取得部３００で取得した遠隔操作距離とから、オブジェクトを操作対象として選択する。
【００２７】
図４を用いて、本実施形態のオブジェクト選択処理の概要を説明する。
【００２８】
図４の４００は、本実施形態におけるオブジェクトが表示されている表示画面の一例を示しており、複数のオブジェクト４０１ａ、４０１ｂ、４０１ｃが一画面上に表示されている。
【００２９】
一般的にディスプレイに表示された複数のオブジェクトを個別に選択可能とするには、オブジェクトを１つの表示レイヤーで管理する必要がある。オブジェクトが表示レイヤー毎に管理されている状態を図４の（４０１ｘ、４０１ｙ、４０１ｚ）に示す。
【００３０】
本実施形態においても、各オブジェクトを表示レイヤーで管理する。また保持部３０１は、オブジェクトが属するレイヤーの順序に基づいて、オブジェクトの順序を決定し、保持する。
【００３１】
表示制御部３０３は、オブジェクトを各表示レイヤーで管理し、表示レイヤーを表示レイヤー順に重ね合わせることにより１つの表示画面を生成し、ディスプレイに出力する。そのようにして生成した表示画面が図４の表示画面４００である。
【００３２】
表示画面４００が表示されている状態で、物体４０３を使ってジェスチャ入力を行う。本実施形態におけるジェスチャ入力は、表示画面４００に対して手を垂直方向に動かす操作である。そのジェスチャ入力を距離取得部３００によって検出し、遠隔操作距離を算出する。本実施形態では、ジェスチャ入力を、表示画面４００や物体４０３よりも上部に取り付けられた距離センサ１０５によってジェスチャ操作を検出し、遠隔操作距離を算出する。
【００３３】
本実施形態における具体的な遠隔操作距離の算出方法を図９に示す。ここでは、物体の一例である手を用いて説明する。まず距離センサ１０５からディスプレイ１０１の表示画面１０１までの垂直距離Ｄｈ１を距離センサ１０５で取得する。そしてさらに、ジェスチャ操作を行う手の甲を認識し、距離センサ１０５から手の甲までの垂直距離Ｄｈ２を距離センサ１０５で取得する。本実施形態で算出する遠隔操作距離ｘは表示画面と手の垂直距離であり、ｘ＝Ｄｈ１−Ｄｈ２ で算出できる。本実施形態では距離センサを利用して遠隔操作距離を算出したが、その限りではない。表示画面４００上に近接センサや超音波センサを設置して、センサの情報から遠隔操作距離を算出しても良い。
【００３４】
次に、選択部３０４は、保持部３０１で保持しているオブジェクトの順序に従って、算出した遠隔操作距離から、オブジェクトを選択する。
【００３５】
本実施形態では、オブジェクトの順序は表示レイヤー順に基づく。従ってオブジェクトの順序は図４に示すように、表示レイヤー順であるＯｂｊｅｃｔ１（４０１ａ）、Ｏｂｊｅｃｔ２（４０１ｂ）、Ｏｂｊｅｃｔ３（４０１ｃ）となっている。この時、ジェスチャ操作を行う物体４０３と表示画面４００までの遠隔操作距離ｘが、０＜ｘ＜＝ａの場合はＯｂｊｅｃｔ３を操作対象として、選択し、ａ＜ｘ＜＝ｂの場合はＯｂｊｅｃｔ２を操作対象として選択する。同様に遠隔操作距離ｘが、ｂ＜ｘ＜＝ｃの場合はＯｂｊｅｃｔ３を操作対象として選択する。またｘ＝０およびｃ＜ｘの場合はジェスチャ操作対象外とし、オブジェクトを選択しない。
【００３６】
オブジェクトの順序（本実施形態では表示レイヤー順）と距離を対応付けてオブジェクトを選択するため、表示オブジェクトが重なって表示されている場合でも、オブジェクトを簡単に選択できる。
【００３７】
また本実施形態のように、表示レイヤーが上位であるオブジェクトを長い距離に対応付け（マッピング）することで操作するユーザの感覚にマッチさせ、より直感的にオブジェクトを選択することも可能である。
【００３８】
さらに、図４の４０４ａ、４０４ｂ、４０４ｃで示すように、表示制御部３０３は、選択されているオブジェクトをディスプレイに強調表示し、距離と選択オブジェクトの対応付けを４０５ａ、４０５ｂ、４０５ｃで示すインジケータでフィードバック表示する。このようなフィードバック表示を行うことで、ユーザは次にどのようにジェスチャ入力を行えば選択したいオブジェクトを選択できるのかを予め知ることができ、より使い勝手の良いユーザインターフェース（以下ＵＩ）を実現できる。
【００３９】
本実施形態では、ユーザ操作のし易さを考慮して手を上下させる範囲（操作可能な距離）を６０ｃｍとし、その範囲を３分割することによって、境界ａ、ｂ、ｃとする。しかし、この限りではない。オブジェクトを操作するユーザの状態（立っているのか、座っているのか）によって手の上下操作のし易い範囲も異なってくる。従って操作者の状態を認識して、手を上下させる範囲を動的に変更してもよい。尚、操作可能な距離は、情報処理装置１００のＲＯＭ２０２で予め保持しているものとする。
【００４０】
また、操作するオブジェクトの総数によっても手を上下させる範囲や分割数（境界数）異なってくる。例えば、操作対象オブジェクトが６個の場合は、６０ｃｍを６分割することによってオブジェクトと距離を対応付けてもよい。また逆に、手の上下操作の分解能を２ｃｍに固定して、操作対象オブジェクトの数に応じて、手を上下させる範囲を決定してもよい。このように、手を上下させる範囲の最小値Ｍｉｎと最大値Ｍａｘは、様々な方法で決定できる。
【００４１】
図５（Ａ）は本実施形態における情報処理装置１００の処理の流れを示すフローチャートである。このフローチャートを参照して、本実施形態におけるデータ表示処理、およびオブジェクト選択処理の詳細を説明する。
【００４２】
情報処理装置１００はデータ表示処理を開始すると、まずオブジェクト取得部３０２において、表示するオブジェクトと順序を決定するために利用されるメタ情報を取得し、ＲＡＭ２０１に保持する。次に保持部３０１にて取得したメタ情報からオブジェクトの順序を保持し、この情報もＲＡＭ２０１に保持する（Ｓ１０）。第１の実施形態の場合は表示レイヤーの順序に基づいてオブジェクトの順序と決定する。
【００４３】
オブジェクトの順序が決定すると、初期画面表示処理（Ｓ１１）を実行する。
【００４４】
図６は初期画面表示処理（Ｓ１１）の処理フロー図である。初期画面表示処理は、ＲＡＭ２０１に保持されたオブジェクトの表示レイヤー順とオブジェクトから表示画面を作成する。表示制御部３０３は、オブジェクトの表示レイヤーが低位のものから順に重ねて表示画面を作成する（Ｓ２０）。そして、作成した画面をディスプレイ１０１に表示出力する（Ｓ２１）。この時、ディスプレイ１０１に表示される初期画面の一例を図４の４００に示す。以上の処理で初期画面表示処理（Ｓ１１）は完了し、呼び出し元にその結果がリターンされる。
【００４５】
初期画面表示処理（Ｓ１０）が終了すると、距離センサ１０５にて、遠隔操作の検知を行う（Ｓ１２）。遠隔操作を検知しなかった場合（Ｓ１２、Ｎ）は、何も行わず、再びＳ１２の処理に移行し、遠隔操作待ちのループとなる。遠隔操作を検知した場合（Ｓ１２、Ｙ）は、距離センサ１０５の情報から、遠隔操作距離（表示画面と手などの物体までの垂直距離）を取得し、ＲＡＭ２０１に保持する。遠隔操作距離の取得が完了すると、オブジェクト選択処理が開始される（Ｓ１４）。
【００４６】
図７（Ａ）は、第１の実施形態のオブジェクト選択処理（Ｓ１４）の処理フロー図である。オブジェクト選択処理が開始されると、選択部３０４は、ＲＡＭ２０１からオブジェクトの表示レイヤー順を読み出す。そして、表示レイヤー順に基づいて、オブジェクトと距離の対応付けを行う（Ｓ３０）。対応つけは、表示レイヤー順に基づいて、オブジェクトと距離（操作可能な距離）と関係を示すテーブルを作成する。テーブルの例としては、図１２（Ａ）で示すようなテーブルを保持する。
【００４７】
さらに選択部３０４は、ＲＡＭ２０１から遠隔操作距離を読出し、対応付けの結果（テーブル）に基づいて、オブジェクトを操作対象として選択する。また表示制御部３０３は、選択したオブジェクトを強調表示する表示画面を作成し（Ｓ３１）、画面に出力する（Ｓ３２）ことで、ユーザにフィードバックを行う。選択したオブジェクトをフィードバック表示した画面の一例を図４の４０４ａ（Ｏｂｊｅｃｔ３を選択）、４０４ｂ（Ｏｂｊｅｃｔ２を選択）、４０４ｃ（Ｏｂｊｅｃｔ１を選択）に示す。以上の処理でオブジェクト選択処理（Ｓ１４）は完了し、呼び出し元の処理にその結果がリターンされる。
【００４８】
オブジェクト選択処理（Ｓ１４）が終了すると、データ表示を終了するかどうかの判定が行われる（Ｓ１５）。データ表示を終了しない場合（Ｓ１５、Ｎ）は、再びＳ１２に処理が移行する。データ表示を終了する場合（Ｓ１５、Ｙ）は、情報処理装置１００は、データ表示処理を終了する。
【００４９】
以上、本実施形態で述べたように、表示レイヤー順に基づいてオブジェクトと距離（操作可能な距離）を対応付けることで、簡単なジェスチャ操作で任意のオブジェクトを選択できる。また、オブジェクトが重なって表示されていて選択しにくい場合でも、簡単に選択し、操作することが可能となる。
【００５０】
本実施形態では、表示レイヤー順が上位のオブジェクトを長い距離に対応付けすることによって、より直感的に（ユーザの操作感にマッチするように）オブジェクトを選択することができる。
【００５１】
尚、本実施形態では、オブジェクトの順序を表示画面上でオブジェクトが属している表示レイヤーに基づいて決定したが、例えば、オブジェクトが作成された日時の情報を利用して、最も作成日時が新しい順にオブジェクトの順序を決定してもよい。また関連するメタ情報をもつオブジェクトをグループ化し、各グループ内でソートすることで順序を決定するなど、オブジェクトの順序は、アプリケーションの用途によって決定できる。
【００５２】
［第２の実施形態］
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。ここで、システムの概要図、ハードウェア構成図、初期画面表示処理フロー図は、図１、図２、図６を用いて説明した第１の実施形態と同様である。尚、第２の実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。
【００５３】
第１の実施形態との差異は、ジェスチャ操作を行う物体とオブジェクトの位置情報を取得する位置情報取得部３０５を機能ブロックに追加したことである。
【００５４】
図３（Ｂ）に、第２の実施形態における機能ブロック図を示す。位置情報取得部３０５以外は図３（Ａ）を用いて説明した第１の実施形態と同様である。
【００５５】
位置情報取得部３０５は、表示制御部３０３から取得できるオブジェクトの表示位置情報と距離センサ１０５から取得できる物体の位置情報から、ジェスチャ操作を行う物体と表示オブジェクトとの位置を取得する。本実施形態２では、位置情報として、遠隔操作を行う物体の遠隔操作方向と、その方向に表示されているオブジェクトと物体との距離を取得する。また、取得した物体の遠隔操作方向に位置するオブジェクトのみを選択対象にし、保持部３０１で、選択対象のオブジェクトの順序を決定し、保持する。
【００５６】
図５（Ｂ）は、第２の実施形態における情報処理装置１００の処理の流れを示すフローチャートである。物体とオブジェクトの位置情報を取得する処理Ｓ１６とオブジェクト選択処理Ｓ１７以外は、図５（Ａ）を用いて説明した第１の実施形態と同様である。Ｓ１６では、遠隔操作方向とその方向にあるオブジェクトまでの距離を取得し、その情報をＲＡＭ２０１に保持する。
【００５７】
本実施形態における物体とオブジェクトの位置情報の取得方法を図１３に示す。ここでは物体の一例である手４０３を用いて説明する。まず遠隔操作距離ｘは図９を用いて説明した第１の実施形態と同様である。本実施形態では遠隔操作距離ｘに加え、手４０３の重心位置とオブジェクト１０３ａの重心位置までの水平距離ｙも算出する。水平距離ｙを算出するには、まず前提条件としてプロジェクタ１０４と距離センサ１０５が正確にキャリブレーションされている必要がある。正しくキャリブレーションされている場合、距離センサの情報から表示画面上における手の重心位置ｐ１を求める。またオブジェクト１０３ａの表示情報からオブジェクト１０３ａの重心位置ｐ２を求める。これらの情報から手とオブジェクトの水平距離は ｙ＝｜ｐ１−ｐ２｜ で算出できる。
【００５８】
図７（Ｂ）に、第２の実施形態におけるオブジェクト選択処理（Ｓ１７）の処理フローを示す。
【００５９】
オブジェクト選択処理が開始されると、選択部３０４は、Ｓ１６で取得した位置情報を読み出す。そして遠隔操作方向にあるオブジェクトのみが選択対象となるように、オブジェクトをフィルタリングする（Ｓ３３）。次に、遠方にあるオブジェクトを長い距離に対応つける（Ｓ３４）。
【００６０】
本実施形態では、遠方にあるオブジェクト（水平距離ｙが大きいオブジェクト）を長い距離に対応付け、さらに、オブジェクトが重なっている場合は、第１の実施形態と同様に、表示レイヤーが上位に位置するものを長い距離に対応付ける。具体例を図１０に示す。図１０のオブジェクトＢとオブジェクトＣはほぼ等距離にオブジェクトが重ねて表示されているとする。手とオブジェクトの位置情報に加え、オブジェクトの重なり順も考慮してオブジェクトの順序を決定する。本実施形態の場合は、遠方にある、かつ重なり順が上位のオブジェクトに長い距離を対応づけるため、図１０の例では、オブジェクト選択順は距離が長い順から、Ｅ、Ｄ、Ｂ、Ｃ、Ａとなる。テーブルの例としては、図１２（Ｂ）で示す。
【００６１】
さらに選択部３０４は、対応付けの結果（テーブル）に基づいて、１つのオブジェクトを操作対象として選択する。また表示制御部３０３は、選択したオブジェクトを強調表示する表示画面を作成し（Ｓ３１）、画面に出力する（Ｓ３２）。
【００６２】
以上の処理でオブジェクト選択処理（Ｓ１７）は完了し、呼び出し元の処理にその結果がリターンされる。オブジェクト選択処理（Ｓ１７）が終了後の処理は、図５（Ａ）を用いて説明した第１の実施形態と同様である。
【００６３】
次に、手の届く範囲のオブジェクトは、タッチ操作で選択し、手の届かない範囲のオブジェクトをジェスチャ操作で選択する例を示す。
【００６４】
図８は、大量のオブジェクトが表示されている場合のオブジェクト選択操作の例を示す。この例は、本実施形態の情報処理装置１００を利用して、ブレインストーミング等のアイディア出しを行う場合を考慮したものである。この場合、オブジェクトにはアイディアが記載されている。尚、この例では、複数のオブジェクトは重ならずに表示されている場合である。
【００６５】
表示するオブジェクトを縦横１０ｃｍと仮定すると、約１００インチ（２００ｃｍ×１５０ｃｍ）の表示画面５００には少なくとも３００枚のオブジェクトが表示可能である。そのうち、手の届く範囲５０２（６０ｃｍ以内と想定）のオブジェクトは、タッチ操作で選択するものとして、遠隔操作対象オブジェクトから除外する。また、図８に示すように角度の分解能を１０度とすると、位置情報取得部３０５では、１８段階で方向を取得できる。さらに表示画面に対して垂直方向にジェスチャ操作する範囲を６０ｃｍ、分解能を５ｃｍとすると、選択部３０４は、１２段階で距離と操作対象となるオブジェクトを対応付けることができる。
【００６６】
前記仮定の場合、図８の領域５０３の方向が最もオブジェクトを多く表示可能であり、その数は１１個である。ここで、前述したように１２段階でオブジェクトと距離を対応付けることが可能であるので、手の上下動作という簡単なジェスチャ操作で、手の届かない領域に表示されている１１個のオブジェクトを選択可能となる。
【００６７】
以上、本実施形態で述べたように、物体とオブジェクトの位置情報を取得し、任意の方向にあるオブジェクトまでの距離に基づいて、オブジェクトと距離を対応付けることで、簡単にオブジェクトを選択することができる。つまり、大量にオブジェクトが表示されている場合においても簡単なジェスチャ操作でオブジェクトを選択できる。
【００６８】
［第３の実施形態］
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。ここで、ハードウェア構成図、処理フロー図は、図２、図５（Ａ）、図６、図７（Ａ）を用いて説明した第１の実施形態と同様である。尚、第３の実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。
【００６９】
第１の実施形態との差異は、情報処理装置が一体型のモバイルデバイスになったことである。本実施形態３における情報処理装置１０６の概観図を図１１に示す。
【００７０】
本実施形態３の情報処理装置１０６は、小型ディスプレイ１０７と遠隔操作距離を算出可能な１つまたは複数個の近接センサ１０８から構成される。１０９ａ、１０９ｂ、１０９ｃは小型ディスプレイ１０７に表示されているオブジェクトである。
【００７１】
第１の実施形態で示した場合と同様に、第３の実施形態で示した小型の情報処理装置１０６においても、簡単なジェスチャ操作によって、任意のオブジェクトを選択できる。これを利用すれば、小型ディスプレイ上に重なって表示されているため選択しずらいオブジェクトを簡単に選択する操作をモバイルデバイスでも実現できる。
【００７２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
表示部に表示されている複数のオブジェクトから、オブジェクトを選択する情報処理装置であって、
前記複数のオブジェクトの順序を保持する保持手段と、
物体から前記表示部の表示画面までの遠隔操作距離を取得する距離取得手段と、
前記複数のオブジェクトの順序と前記取得した遠隔操作距離に基づいて、オブジェクトを選択するオブジェクト選択手段を有することを特徴とする情報処理装置。
【請求項２】
前記オブジェクト選択手段は、前記複数のオブジェクトの順序と操作可能な距離の対応つけを行い、前記対応つけと前記取得した遠隔操作距離に基づいて、オブジェクトを選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記オブジェクトの順序は、表示画面上でオブジェクトが属する表示レイヤーの順序であり、
前記オブジェクト選択手段は、表示レイヤーの順序が上位であるオブジェクトを長い距離に対応付け、前記対応つけと前記取得した遠隔操作距離に基づいて、オブジェクトを選択することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
さらに、物体の遠隔操作方向を取得する取得手段を有し、
前記オブジェクト選択手段は、前記遠隔操作方向にあるオブジェクトを選択対象とすることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
さらに、前記表示部に、前記オブジェクト選択手段が選択したオブジェクトを強調表示し、選択オブジェクトと距離との対応付けを示すインジケータを表示制御する表示制御手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至５のいずれか１項に記載の情報処理装置の各手段として機能させることを特徴とするプログラム。
【請求項７】
請求項６に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【請求項１】
表示部に表示されている複数のオブジェクトから、オブジェクトを選択する情報処理装置であって、
前記複数のオブジェクトの順序を保持する保持手段と、
物体から前記表示部の表示画面までの遠隔操作距離を取得する距離取得手段と、
前記複数のオブジェクトの順序と前記取得した遠隔操作距離に基づいて、オブジェクトを選択するオブジェクト選択手段を有することを特徴とする情報処理装置。
【請求項２】
前記オブジェクト選択手段は、前記複数のオブジェクトの順序と操作可能な距離の対応つけを行い、前記対応つけと前記取得した遠隔操作距離に基づいて、オブジェクトを選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記オブジェクトの順序は、表示画面上でオブジェクトが属する表示レイヤーの順序であり、
前記オブジェクト選択手段は、表示レイヤーの順序が上位であるオブジェクトを長い距離に対応付け、前記対応つけと前記取得した遠隔操作距離に基づいて、オブジェクトを選択することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
さらに、物体の遠隔操作方向を取得する取得手段を有し、
前記オブジェクト選択手段は、前記遠隔操作方向にあるオブジェクトを選択対象とすることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
さらに、前記表示部に、前記オブジェクト選択手段が選択したオブジェクトを強調表示し、選択オブジェクトと距離との対応付けを示すインジケータを表示制御する表示制御手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至５のいずれか１項に記載の情報処理装置の各手段として機能させることを特徴とするプログラム。
【請求項７】
請求項６に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−８８０８（Ｐ２０１２−８８０８Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４４２１９（Ｐ２０１０−１４４２１９）
【出願日】平成２２年６月２４日（２０１０．６．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２４日（２０１０．６．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]