対話型インターフェース方式および対話型インターフェース用プログラム
【課題】選択対象を取りこぼしなくかつ直感的な操作により選択できる新規インターフェースを提供すること。
【解決手段】
複数の選択対象を視認可能なように出力する選択対象出力部３０２と、選択対象出力部３０２により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知部３０３と、領域指定検知部３０３により検知された所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知部３０４と、決定領域検知部３０４により検知された領域にある選択対象が選択された旨を入力する選択対象入力部３０５と、選択対象入力部３０５により入力された選択対象に基づいて処理をおこなうアプリケーション実行部３０１と、を備えたことを特徴とするバーチャル金魚掬い装置１００。
【解決手段】
複数の選択対象を視認可能なように出力する選択対象出力部３０２と、選択対象出力部３０２により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知部３０３と、領域指定検知部３０３により検知された所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知部３０４と、決定領域検知部３０４により検知された領域にある選択対象が選択された旨を入力する選択対象入力部３０５と、選択対象入力部３０５により入力された選択対象に基づいて処理をおこなうアプリケーション実行部３０１と、を備えたことを特徴とするバーチャル金魚掬い装置１００。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話型インターフェース方式および対話型インターフェース用プログラムに関し、特に、表示画面を直に操作し、対象の一括指定が可能な新規インターフェースを構築する対話型インターフェース方式および対話型インターフェース用プログラムに関する。
【背景技術】
【０００２】
従来、コンピュータの周辺機器として、キーボードやマウスなどのインターフェース装置が知られている。特に、マウスは、操作画面上でポインタを移動させ、クリック、ダブルクリックなどの入力操作に欠かせないものとなっている。また、タッチパネルも実現されており、これらは、操作画面と表示画面が同一である点でより直感的なインターフェース装置ということができる。
【０００３】
近年では、タッチパネルを更に進化させ、操作面を操る手が表示画面に表示され、自分の手の影像が操作画面に入り込んで実際に操作対象を操作するインターフェース装置も開発されている（Ｔａｃｔｉｖａ社製ＴａｃｔａＰａｄ）。
【０００４】
【非特許文献１】［平成１７年１１月１日検索］、インターネット＜http://www.tactiva.com/tactapad.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では以下の問題点があった。
すなわち、タッチパネルは、点指定であり、選択したいオブジェクト（選択対象）が複数ある場合には、一括指定（同時指定）ができないという問題点があった。特に、選択対象が移動するような場合には、いわゆる取りこぼしが発生してしまう、という問題点があった。
【０００６】
本発明は上記に鑑みてなされたものであって、選択対象を取りこぼしなくかつ直感的な操作により選択できる新規インターフェースを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、請求項１に記載の対話型インターフェース方式は、複数の選択対象を視認可能なように出力する選択対象出力手段と、前記選択対象出力手段により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知手段と、前記領域指定検知手段により検知された所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知手段と、前記決定領域検知手段により検知された領域にある選択対象が選択された旨を入力する選択対象入力手段と、選択対象入力手段により入力された選択対象に基づいて処理をおこなう処理手段と、を備えたことを特徴とする。
【０００８】
すなわち、請求項１に係る発明は、選択と確定という作業を領域指定によりおこなう。なお、出力とは、２次元面であってもよく３次元空間であってもよい。すなわち、出力とは、表示、投影等の視覚的に認識できる態様をすべて含む。
【０００９】
また、請求項２に記載の対話型インターフェース方式は、請求項１に記載の対話型インターフェース方式において、前記領域指定検知手段により検知された所定領域内にある選択対象の移動を当該領域内に制限する移動制限手段を備えたことを特徴とする。
【００１０】
すなわち、請求項２に係る発明は、取りこぼしを防止する。特に、選択対象が表示画面ないし表示空間中にランダムに移動するような場合であっても、領域の一括指定および選択対象の移動制限により取りこぼしが防止できる。なお、この移動制限とは、所定領域内にある選択対象のすべての移動を当該領域内に制限する態様の他、例えば、当該領域の中央付近に存在している選択対象の移動を制限し、周縁部に存在している選択対象は領域外に逃れてもよいように一部制限をおこなうような態様であってもよい。
【００１１】
また、請求項３に記載の対話型インターフェース方式は、請求項１または２に記載の対話型インターフェース方式において、選択対象出力手段により出力される画面ないし画像の表示方向ないし投影方向と、領域指定検知手段および決定領域検知手段により検知をおこなう方向が同じ方向であることを特徴とする。
【００１２】
すなわち、請求項３に係る発明は、直感的な操作を可能とする。なお、投影面と操作面が距離的に離れていてもよく、座標の完全一致が必要であるか否かは使用の態様による。
【００１３】
また、請求項４に記載の対話型インターフェース方式は、請求項１、２または３に記載の対話型インターフェース方式において、前記領域指定検知手段が、前記選択対象出力手段により選択対象が出力された領域中に直に差し込まれた人の両手を検知する差込両手検知手段と、前記差込両手検知手段により検知された人の両手が第１の所定形状となったときに、当該形状に基づいて所定領域を設定する所定領域設定手段と、を含み、前記決定領域検知手段が、前記領域指定検知手段により指定された所定領域中にある人の両手を検知する領域中両手検知手段と、前記領域中両手検知手段により検知された人の両手が第２の所定形状となったときに、当該形状に基づいて最終的な領域を設定する最終領域設定手段と、を含んだことを特徴とする。
【００１４】
すなわち、請求項４に係る発明は、手の形状に従って領域指定を可能とする。
【００１５】
また、請求項５に記載の対話型インターフェース方式は、請求項１〜４のいずれか一つに記載の対話型インターフェース方式において、前記第１の所定形状とは、選択対象を囲う際の手の形状であり、前記第２の所定形状とは、手のひらが小指側で略平らに合わさった際の形状であることを特徴とする。
【００１６】
すなわち、請求項５に係る発明は、掬い取るないし掬い上げるインターフェースを簡便に実現できる。
【００１７】
また、請求項６に記載の対話型インターフェース用プログラムは、コンピュータを、複数の選択対象を視認可能なように出力する選択対象出力手段、前記選択対象出力手段により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知手段、前記領域指定検知手段により検知された前記所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知手段、前記決定領域検知手段により検知された最終的な領域に存在する選択対象が最終的に選択された旨を入力する選択対象入力手段、および、前記選択対象入力手段により入力された選択対象に基づいて処理をおこなう処理手段、として機能させることを特徴とする。
【００１８】
すなわち、請求項６に係る発明は、選択と確定という作業を領域指定によりおこなう。
【００１９】
また、請求項７に記載の対話型インターフェース用プログラムは、請求項６に記載の対話型インターフェース用プログラムにおいて、コンピュータを、更に、前記領域指定検知手段により検知された前記所定領域内に存在する選択対象の移動を当該領域内に制限する移動制限手段として機能させることを特徴とする。
【００２０】
すなわち、請求項７に係る発明は、取りこぼしを防止する。特に、選択対象が表示画面ないし表示空間中にランダムに移動するような場合であっても、領域の一括指定および選択対象の移動制限により取りこぼしが防止される。
【００２１】
また、請求項８に記載の対話型インターフェース用プログラムは、請求項６または７に記載の対話型インターフェース用プログラムにおいて、前記選択対象出力手段により出力される画面ないし画像の表示方向ないし投影方向と、前記領域指定検知手段および決定領域検知手段により検知がおこなわれる方向が同じ方向であることを特徴とする。
【００２２】
すなわち、請求項８に係る発明は、直感的な操作を可能とする。
【００２３】
また、請求項９に記載の対話型インターフェース用プログラムは、請求項６、７または８に記載の対話型インターフェース用プログラムにおいて、前記領域指定検知手段を、前記選択対象出力手段により選択対象が出力された領域中に直に差し込まれた人の両手を検知する差込両手検知手段、および、前記差込両手検知手段により検知された人の両手が第１の所定形状となったときに、当該形状に基づいて前記所定領域を設定する所定領域設定手段、として機能させ、前記決定領域検知手段を、前記領域指定検知手段により指定された前記所定領域中に存在する人の両手を検知する領域中両手検知手段、および、前記領域中両手検知手段により検知された人の両手が第２の所定形状となったときに、当該形状に基づいて前記最終的な領域を設定する最終領域設定手段、として機能させることを特徴とする。
【００２４】
すなわち、請求項９に係る発明は、手の形状に従って領域指定を可能とする。
【００２５】
また、請求項１０に記載の対話型インターフェース用プログラムは、請求項６〜９のいずれか一つに記載の対話型インターフェース用プログラムにおいて、前記第１の所定形状とは、人が物を囲う際の初期の手の形状であり、前記第２の所定形状とは、手のひらが小指側で略平らに合わさった際の形状であることを特徴とする。
【００２６】
すなわち、請求項１０に係る発明は、掬い取るないし掬い上げるインターフェースを簡便に実現できる。
【発明の効果】
【００２７】
以上説明したように、本発明の対話型インターフェース方式（請求項１）は、選択と確定という作業を領域指定によりおこなうので、目的とすべき選択対象を取りこぼしなくかつ直感的に選択することが可能となる。また、本発明の対話型インターフェース方式（請求項２）は、最初の粗い領域指定により、目的とすべき選択対象がその領域から逃れられないようにするので、取りこぼしを防止でき、かつ、最終的な選択対象の確定を容易にすることが可能となる。また、本発明の対話型インターフェース方式（請求項３）は、座標を一致させるので、直感的な操作を実現できる。また、本発明の対話型インターフェース方式（請求項４）は、手の形状に従って領域指定が可能となるため、操作者の設定に従って、より直感的な選択を実現することができる。また、本発明の対話型インターフェース方式（請求項５）は、手で囲むことにより粗い領域を設定し、手の平をあわせてお椀形状を作ることにより、最終領域を設定するので、掬い上げる操作を簡便に実装できる。
【００２８】
また、本発明の対話型インターフェース用プログラム（請求項６）は、選択と確定という作業を領域指定によりおこなわせるので、目的とすべき選択対象を取りこぼしなくかつ直感的に選択させることが可能となる。また、本発明の対話型インターフェース用プログラム（請求項７）は、最初の粗い領域指定により、目的とすべき選択対象がその領域から逃れられないようにさせるので、取りこぼしを防止させ、かつ、最終的な選択対象の確定を容易ならしめることができる。また、本発明の対話型インターフェース用プログラム（請求項８）は、座標を一致させるので、直感的な操作を実現させることができる。また、本発明の対話型インターフェース用プログラム（請求項９）は、手の形状に従って領域指定を可能とさせるため、操作者の設定に従って、より、直感的な選択を実現させることができる。また、本発明の対話型インターフェース用プログラム（請求項１０）は、手で囲むことにより粗い領域を設定させ、手の平をあわせてお椀形状を作ることにより、最終領域を設定させるので、掬い上げる操作を簡便に実装させることができる。
【００２９】
なお、本発明によれば、パーソナルユースのタッチパネルと異なり、複数人が一つの画面を共有して、共同して作業が可能となるという作用効果も奏する。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１では、本発明の対話型インターフェース用プログラムを汎用のコンピュータシステムに導入して対話型インターフェース方式を実現し、これをバーチャル金魚掬い装置として適用した例について説明する。ここでは、まず、バーチャル金魚掬い装置の外観を説明し、ついで、ハードウェア構成、機能的構成、処理流れについて説明していく。
【００３１】
（バーチャル金魚掬い装置の外観構成）
図１は、バーチャル金魚掬い装置の外観構成の一例を示した図である。図示したように、バーチャル金魚掬い装置１００は、いわゆるコンピュータと同様な構成を採用し、各種の情報を入力するキーボード１０１およびマウス１０２と、バーチャル金魚を泳がせ、バーチャル金魚のうちどれが選ばれ、その選ばれた金魚に従って次の処理などをおこなう本体部１０３と、バーチャル金魚を投影するプロジェクタ１０４と、水槽となる投影パネル１０５と、投影パネル１０５上に差し込まれた手を認識するカメラ１０６と、投影方向を偏向する鏡１０７と、を備える。なお、図示した例は、デスクトップタイプコンピュータであるが、これに限ることなく、ノートブックタイプコンピュータであってもよい。
【００３２】
（バーチャル金魚掬い装置のハードウェア構成）
図２は、バーチャル金魚掬い装置１００のハードウェア構成の一例を示した説明図である。バーチャル金魚掬い装置１００は、そのハードウェア構成として、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ハードディスク（ＨＤ）２０４と、グラフィックスカード２０５と、プロジェクタ２０６と、キーボード（Ｋ／Ｂ）２０７と、マウス（ＭＯＵＳＥ）２０８と、カメラ２０９と、を有する。なお説明の便宜上、キーボード１０１、マウス１０２、プロジェクタ１０４、およびカメラ１０６を図２ではそれぞれキーボード２０７、マウス２０８、プロジェクタ２０６、カメラ２０９と表記している。
【００３３】
ＣＰＵ２０１は、ＯＳと共にバーチャル金魚掬い装置１００全体を制御し、また、直感的な掬う操作を実現する表示処理および手の挿入等の認識処理といった各種のプログラムの処理制御をおこなう。具体的には、例えば、ＣＰＵ２０１は、ハードディスク２０４に格納されているプログラムに従って、投影パネル１０５上における操作者の手の動きを認識し、投影されているバーチャル金魚のうちどれが選択されたかを認識し、その後の処理をおこなう。この際、まずは、両手で大きく囲まれた領域を認識し、次に徐々に絞り込まれる領域を認識し、最終的に両手を略水平にあわせて掬い取る動作を認識し、その際手のひらに投影されているバーチャル金魚が最終的に選択されたと認識して、掬い取られた金魚に従って以降の処理をおこなう（例えば、手桶への移動）。この他ＣＰＵ２０１は、ハードディスク２０４に格納されている作業データをＲＡＭ２０３に一時保存する制御等もおこなう。
【００３４】
ＲＯＭ２０２は、ブートプログラム等を記憶する。使用の態様によっては、ＲＯＭ２０２は、バーチャル金魚掬い装置１００の制御プログラムを格納しておいてもよい。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用する。具体的には、ハードディスク２０４から読み出されたデータベースの内容やプログラム内容などを一時的に格納する。また、両手で大きく囲まれた際にその領域に存在するバーチャル金魚にフラグを立てたり、移動を制限する際のデータ群を一時的に格納する処理もおこなう。
【００３５】
ハードディスク２０４は、オペレーティング装置（ＯＳ）、アプリケーションプログラム、各種のデータを記憶する。ハードディスクの構成については後述する。
【００３６】
グラフィックスカード２０５は、プロジェクタ２０６へ出力すべき画像信号を送出する。グラフィックスカード２０５は、出力すべき画像信号を格納するＶＲＡＭと、処理された画像信号をプロジェクタ２０６へ出力する画像出力インターフェース（画像出力Ｉ／Ｆ）を備える。画像出力Ｉ／Ｆは、ＶＲＡＭに展開されたＲＧＢ画像データをプロジェクタ２０６へ出力する。
【００３７】
この他、図示は省略するが、バーチャル金魚掬い装置１００は、コンピュータをネットワークへ接続するＮＩＣ、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＭＯドライブ装置等を搭載することも可能である。
【００３８】
ハードディスク２０４に格納されているプログラムないしソフトウェアについて説明する。ハードディスク２０４は、バーチャル金魚掬い装置１００全体を制御するＯＳ２４１と、プロジェクタ２０６による表示を制御する投影プログラム２４２と、カメラ２０９による撮像を制御する撮像プログラム２４３と、プロジェクタ２０６とカメラ２０９の座標を一致させる座標制御プログラム２４４と、投影パネル１０５上空へ差し込まれる人間の手を認識する人手認識プログラム２４５と、領域の設定や決定を制御する領域制御プログラム２４６と、複数あるバーチャル金魚の表示や移動などを制御するバーチャル金魚制御プログラム２４７と、最終的に選択されたバーチャル金魚に基づいて手桶への移動や得点表示など次の処理をおこなう掬取要素実行プログラム２４８と、を有する。なお、以上説明した各種プログラムのうち、掬取要素実行プログラム２４８（場合によってはバーチャル金魚制御プログラム２４７）は、アプリケーションソフトと言うことができ、それ以外のプログラムは、掬い取りのインターフェースを実現するハードウェアよりのプログラムということができる。
【００３９】
また、以上説明したプログラムは、バーチャル金魚掬い装置１００が実現するインターフェース方式という観点から集約されたプログラム集合を説明したに過ぎず、実際のプログラムは多数のコンポーネントやＤＬＬなどにより構成される。後述する機能的構成は、これらのプログラムが単体もしくは複数で、場合によっては他の構成要素と協働して各種実現されるものである。
【００４０】
（バーチャル金魚掬い装置の機能的構成）
次に、バーチャル金魚掬い装置１００の機能的構成について説明する。図３は、バーチャル金魚掬い装置１００の機能的構成例を示した説明図である。図示したように、バーチャル金魚掬い装置１００は、アプリケーション実行部３０１と、選択対象出力部３０２と、領域指定検知部３０３と、決定領域検知部３０４と、選択対象入力部３０５と、移動制御部３０６と、を備える。また、領域指定検知部３０３は、差込両手検知部３３１と、所定領域設定部３３２とを含む。また、決定領域検知部３０４は、領域中両手検知部３４１と、最終領域設定部３４２とを含む。
【００４１】
アプリケーション実行部３０１は、実際の金魚や水槽、手桶を用いることなく、画像の投影により金魚の動きや水の陰影、手桶などを表示する制御をおこなう。また、手が水槽に差し込まれた際に、金魚の群れを逃げさせたり、掬い上げようとする際に手の像の認識や手のひらから金魚が逃げようとする動作をおこなう。また、競技的な趣向やゲーム的な趣向を取り入れる場合には、金魚の大きさや数によって得点配分したりする制御をおこなう。すなわち、アプリケーション実行部３０１は、掬い取りのインターフェース以外の処理を中心におこなう。アプリケーション実行部３０１は、例えば、ＯＳ２４１と、掬取要素実行プログラム２４８と、ＲＡＭ２０３などによりその機能を実現することができる。
【００４２】
選択対象出力部３０２は、多数のバーチャル金魚を投影パネル１０５上で視認可能なように表示する。なお、バーチャル金魚の動き自体は、アプリケーション実行部３０１がおこなう。選択対象出力部３０２は、例えば、投影プログラム２４２と、バーチャル金魚制御プログラム２４７と、グラフィックスカード２０５と、プロジェクタ２０６と、投影パネル１０５などによりその機能を実現することができる。
【００４３】
領域指定検知部３０３は、選択対象出力部３０２により表示されたバーチャル金魚の集合の所定領域が一括して指定されたことを検知する。指定に際しては、まず、差込両手検知部３３１がバーチャル金魚が投影されている領域中（投影パネル１０５直上）に直に差し込まれた人の両手を検知することによりおこない、続いて、所定領域設定部３３２が、差込両手検知部３３１により検知された人の両手が図４に示した手の形状となったときに、当該形状に基づいて所定領域を設定する。図示したように、手の形は、金魚を掬い取るときに、水に手を差し込む際の形状であり、その際に指定される領域（領域Ａ）は、補助線で示したように、両手の手先と手元が描く領域に即して設定される。なお、図では、金魚の移動方向もあわせて図示してある。なお、設定に際しては、手の親指と小指の距離（撮像方向から見た場合の見かけの距離）、および、肌色抽出した手の形状認識技術を用いることにより、実現可能である。
【００４４】
領域指定検知部３０３は、例えば、投影プログラム２４２と、撮像プログラム２４３と、座標制御プログラム２４４と、人手認識プログラム２４５と、領域制御プログラム２４６と、カメラ２０９と、掬取要素実行プログラム２４８などによりその機能を実現することができる。また、差込両手検知部３３１は、例えば、投影プログラム２４２と、撮像プログラム２４３と、座標制御プログラム２４４と、人手認識プログラム２４５と、プロジェクタ２０６と、カメラ２０９などによりその機能を実現することができる。また、所定領域設定部３３２は、例えば、撮像プログラム２４３と、領域制御プログラム２４６と、カメラ２０９などによりその機能を実現することができる。なお、設定された領域の輪郭は明示的に投影パネル１０５上に投影してもよい。
【００４５】
決定領域検知部３０４は、領域指定検知部３０３により検知された所定領域のうち、最終的な領域が決定されたことを検知する。領域の決定に際しては、まず、領域中両手検知部３４１が領域指定検知部３０３により検知された領域Ａ中にある人の両手を検知し、最終領域設定部３４２が領域中両手検知部３４１により検知された人の両手がお椀形状となったときにその形状に基づいて最終的な領域（領域Ｂ）を設定する。図５は、最終的な領域が決定されるときの手の形状を表した図である。図では最終的に選択された金魚の他、選択されなかった金魚に関しても矢印で移動方向もあわせて図示している。なお、領域Ｂは、両手で形成される手の外縁形状である。最終的な領域と決定されるタイミングは、両手の小指がつながったことを検知しておこなう。これは、形状認識および肌色でない内側の領域の消滅により判断する。
【００４６】
決定領域検知部３０４は、例えば、投影プログラム２４２と、撮像プログラム２４３と、座標制御プログラム２４４と、人手認識プログラム２４５と、領域制御プログラム２４６と、カメラ２０９と、掬取要素実行プログラム２４８などによりその機能を実現することができる。領域中両手検知部３４１は、例えば、投影プログラム２４２と、撮像プログラム２４３と、座標制御プログラム２４４と、人手認識プログラム２４５と、プロジェクタ２０６と、カメラ２０９などによりその機能を実現することができる。最終領域設定部３４２は、例えば、撮像プログラム２４３と、領域制御プログラム２４６と、カメラ２０９などによりその機能を実現することができる。
【００４７】
選択対象入力部３０５は、決定領域検知部３０４により検知された最終領域中にいるバーチャル金魚が選択された旨をアプリケーション実行部３０１へ通知する。これにより、アプリケーション実行部３０１は、選択された金魚に従って次の処理（得点計算など）をおこなう。選択対象入力部３０５は、例えば、撮像プログラム２４３と、バーチャル金魚制御プログラム２４７と、カメラ２０９と、投影パネル１０５などによりその機能を実現することができる。
【００４８】
移動制御部３０６は、領域指定検知部３０３により検知された領域Ｂ内にあるバーチャル金魚の移動を当該領域内に制限する。これにより、囲った金魚が領域外に漏出することがない。ただし、使用の態様によっては、両手が閉じて掬い「上げる」動作に至るまでは、両手からこぼれ落ちるようにアプリケーション実行部３０１で制御してもよい。移動制御部３０６は、例えば、バーチャル金魚制御プログラム２４７と、掬取要素実行プログラム２４８と、人手認識プログラム２４５、領域制御プログラム２４６、ＲＡＭ２０３などによりその機能を実現することができる。
【００４９】
（バーチャル金魚掬い装置の処理の流れ）
次に、バーチャル金魚掬い装置１００の処理の流れについて図６を用いて説明する。まず、投影パネル１０５とプロジェクタ１０４、カメラ１０６と、鏡１０７との光軸、焦点、座標の調整をおこなう（ステップＳ６０１）。次に、掬取要素実行プログラム２４８を実行し、水槽、水面の揺らぎ、金魚、手桶などを投影パネル１０５に投影する（ステップＳ６０２）。
【００５０】
次に、両手が差し込まれたかまたは両手が差し込まれた状態であるかを判定する（ステップＳ６０３）。両手が差し込まれていると検知された場合（ステップＳ６０３：Ｙｅｓ）、手が掬い初めの形状（図４参照）となったかを検知する（ステップＳ６０４）。一方、両手が差し込まれていないと判断された場合（ステップＳ６０３：Ｎｏ）、ステップＳ６０３の判断を繰り返す。
【００５１】
掬い初めの形状が形成されたと判断された場合（ステップＳ６０４：Ｙｅｓ）、第１の領域（粗い領域）である領域Ａ（図４参照）を設定する（ステップＳ６０５）。一方、掬い初めの形状が形成されていない場合（ステップＳ６０４：Ｎｏ）、ステップＳ６０３に戻り、両手の存在を検知し続ける。
【００５２】
領域Ａが設定された場合には、当該領域からのバーチャル金魚の移動制限を開始する（ステップＳ６０６）。これにより、領域Ａからのバーチャル金魚の移動が制限される。続いて、領域Ａ中に両手が存在し続けているかを判断する（ステップＳ６０７）。両手が存在する場合（ステップＳ６０７：Ｙｅｓ）、両手が閉じたか（両手がお椀形状になったか（図５参照））を判定する（ステップＳ６０８）。一方、領域Ａの外に手が移動した場合には（ステップＳ６０７：Ｎｏ）、取りこぼしがあった、もしくは、所望の金魚を囲えなかったということであるので、ステップＳ６０５で設定された領域Ａを解除して（ステップＳ６０９）、ステップＳ６０３に戻る。
【００５３】
両手が閉じた場合には（ステップＳ６０８：Ｙｅｓ）、その領域を最終領域（図５：領域Ｂ参照）と設定し（ステップＳ６１０）、その後の処理（得点加算、捉えた金魚の手桶移動）をおこなう（ステップＳ６１１）。一方、両手が閉じていない場合には（ステップＳ６０８：Ｎｏ）、ステップＳ６０７に移動し、領域Ａ中で両手が閉じられたか否かの判定を続行する。
【００５４】
以上説明したように、バーチャル金魚掬い装置１００により掬う操作を実現できる。なお、本実施の形態では、本発明である対話型インターフェース用プログラムを汎用のコンピュータシステムに導入して対話型インターフェース方式を実現し、これをバーチャル金魚掬い装置として適用した例について説明したまでであって、金魚掬いに本発明は限定されず、広く、掬う操作のインターフェースを構築できる。
【００５５】
例えば、バーチャル金魚掬いでなく、例えば、思考支援ツールとしても適用できる。図７は、思考支援ツールとして本発明を適用した例を示した説明図である。掬い取る操作自体は同じである。図では操作者が、画面上で表示された多数のきっかけアイコンを掬い取り、所定位置に移動させた様子が示されている。図では、デートと海を連想させるアイコンを同時に掬い取って、デート予定を考えた様子と、時計と歩く様子を連想させるアイコンを掬い取り、帰りに時計屋に立ち寄ることを考えた様子が示されている。なお、アイコンはあらかじめ意図した概念を万人が想起できるようなもの（例えば、図７に示したような時計）であってもよいが、想像が膨らむような抽象的なアイコンであってもよい（図７に示した波形のアイコンは必ずしも、万人が海と想起するものではない）。このようなソフトウェアは、上述したように、思考支援ツールとして用いることができるし、この他、心理テストとしても適用できる。
【産業上の利用可能性】
【００５６】
本発明は、上述した、掬い取る、という実施の形態に限ることなく、選択と決定というアクションを、領域設定によりおこなう、という観点からも、種々応用が利く。例えば、障害者支援ツールとして適用することも可能である。ここでは、目の移動のみの自由が利く寝たきりの身体障害者のコミュニケーションツールを説明する。
【００５７】
図８は、画面に動作と対象を示した表示画面を表している。図示したように、画面左上に、「かゆい」という状態と、何処がかゆいかという「場所」を示した画面が表示されている。このツールでは、画面の左側を見ることにより領域設定して、焦点を合わせるなどして最終的な領域を決定する（図では、図４および図５に示したように、粗い領域を領域Ａと、最終的な領域を領域Ｂとして示している）。従って、このツールでは、従来のように「かゆい」と意思表示して、次に、何処がかゆいかを別のページに移動して選択する、といような多段階でおこなう手順を省略することができる。
【図面の簡単な説明】
【００５８】
【図１】バーチャル金魚掬い装置の外観構成の一例を示した図である。
【図２】バーチャル金魚掬い装置のハードウェア構成の一例を示した説明図である。
【図３】バーチャル金魚掬い装置の機能的構成例を示した説明図である。
【図４】バーチャル金魚掬い装置で検知される第１の領域設定の際の両手の様子を示した説明図である。
【図５】バーチャル金魚掬い装置で検知される第２の領域設定の際の両手の様子を示した説明図である。
【図６】バーチャル金魚掬い装置の処理の流れを説明した説明図である。
【図７】思考支援ツールとして本発明を適用した例を示した説明図である。
【図８】目の移動のみの自由が利く寝たきりの身体障害者のコミュニケーションツールを説明する説明図である。
【符号の説明】
【００５９】
１００ バーチャル金魚掬い装置
１０３ 本体部
１０４ プロジェクタ
１０５ 投影パネル
１０６ カメラ
１０７ 鏡
２０４ ハードディスク
２０５ グラフィックスカード
２０６ プロジェクタ
２０９ カメラ
２４２ 投影プログラム
２４３ 撮像プログラム
２４４ 座標制御プログラム
２４５ 人手認識プログラム
２４６ 領域制御プログラム
２４７ バーチャル金魚制御プログラム
２４８ 掬取要素実行プログラム
３０１ アプリケーション実行部
３０２ 選択対象出力部
３０３ 領域指定検知部
３０４ 決定領域検知部
３０５ 選択対象入力部
３０６ 移動制御部
３３１ 差込両手検知部
３３２ 所定領域設定部
３４１ 領域中両手検知部
３４２ 最終領域設定部
【技術分野】
【０００１】
本発明は、対話型インターフェース方式および対話型インターフェース用プログラムに関し、特に、表示画面を直に操作し、対象の一括指定が可能な新規インターフェースを構築する対話型インターフェース方式および対話型インターフェース用プログラムに関する。
【背景技術】
【０００２】
従来、コンピュータの周辺機器として、キーボードやマウスなどのインターフェース装置が知られている。特に、マウスは、操作画面上でポインタを移動させ、クリック、ダブルクリックなどの入力操作に欠かせないものとなっている。また、タッチパネルも実現されており、これらは、操作画面と表示画面が同一である点でより直感的なインターフェース装置ということができる。
【０００３】
近年では、タッチパネルを更に進化させ、操作面を操る手が表示画面に表示され、自分の手の影像が操作画面に入り込んで実際に操作対象を操作するインターフェース装置も開発されている（Ｔａｃｔｉｖａ社製ＴａｃｔａＰａｄ）。
【０００４】
【非特許文献１】［平成１７年１１月１日検索］、インターネット＜http://www.tactiva.com/tactapad.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では以下の問題点があった。
すなわち、タッチパネルは、点指定であり、選択したいオブジェクト（選択対象）が複数ある場合には、一括指定（同時指定）ができないという問題点があった。特に、選択対象が移動するような場合には、いわゆる取りこぼしが発生してしまう、という問題点があった。
【０００６】
本発明は上記に鑑みてなされたものであって、選択対象を取りこぼしなくかつ直感的な操作により選択できる新規インターフェースを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、請求項１に記載の対話型インターフェース方式は、複数の選択対象を視認可能なように出力する選択対象出力手段と、前記選択対象出力手段により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知手段と、前記領域指定検知手段により検知された所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知手段と、前記決定領域検知手段により検知された領域にある選択対象が選択された旨を入力する選択対象入力手段と、選択対象入力手段により入力された選択対象に基づいて処理をおこなう処理手段と、を備えたことを特徴とする。
【０００８】
すなわち、請求項１に係る発明は、選択と確定という作業を領域指定によりおこなう。なお、出力とは、２次元面であってもよく３次元空間であってもよい。すなわち、出力とは、表示、投影等の視覚的に認識できる態様をすべて含む。
【０００９】
また、請求項２に記載の対話型インターフェース方式は、請求項１に記載の対話型インターフェース方式において、前記領域指定検知手段により検知された所定領域内にある選択対象の移動を当該領域内に制限する移動制限手段を備えたことを特徴とする。
【００１０】
すなわち、請求項２に係る発明は、取りこぼしを防止する。特に、選択対象が表示画面ないし表示空間中にランダムに移動するような場合であっても、領域の一括指定および選択対象の移動制限により取りこぼしが防止できる。なお、この移動制限とは、所定領域内にある選択対象のすべての移動を当該領域内に制限する態様の他、例えば、当該領域の中央付近に存在している選択対象の移動を制限し、周縁部に存在している選択対象は領域外に逃れてもよいように一部制限をおこなうような態様であってもよい。
【００１１】
また、請求項３に記載の対話型インターフェース方式は、請求項１または２に記載の対話型インターフェース方式において、選択対象出力手段により出力される画面ないし画像の表示方向ないし投影方向と、領域指定検知手段および決定領域検知手段により検知をおこなう方向が同じ方向であることを特徴とする。
【００１２】
すなわち、請求項３に係る発明は、直感的な操作を可能とする。なお、投影面と操作面が距離的に離れていてもよく、座標の完全一致が必要であるか否かは使用の態様による。
【００１３】
また、請求項４に記載の対話型インターフェース方式は、請求項１、２または３に記載の対話型インターフェース方式において、前記領域指定検知手段が、前記選択対象出力手段により選択対象が出力された領域中に直に差し込まれた人の両手を検知する差込両手検知手段と、前記差込両手検知手段により検知された人の両手が第１の所定形状となったときに、当該形状に基づいて所定領域を設定する所定領域設定手段と、を含み、前記決定領域検知手段が、前記領域指定検知手段により指定された所定領域中にある人の両手を検知する領域中両手検知手段と、前記領域中両手検知手段により検知された人の両手が第２の所定形状となったときに、当該形状に基づいて最終的な領域を設定する最終領域設定手段と、を含んだことを特徴とする。
【００１４】
すなわち、請求項４に係る発明は、手の形状に従って領域指定を可能とする。
【００１５】
また、請求項５に記載の対話型インターフェース方式は、請求項１〜４のいずれか一つに記載の対話型インターフェース方式において、前記第１の所定形状とは、選択対象を囲う際の手の形状であり、前記第２の所定形状とは、手のひらが小指側で略平らに合わさった際の形状であることを特徴とする。
【００１６】
すなわち、請求項５に係る発明は、掬い取るないし掬い上げるインターフェースを簡便に実現できる。
【００１７】
また、請求項６に記載の対話型インターフェース用プログラムは、コンピュータを、複数の選択対象を視認可能なように出力する選択対象出力手段、前記選択対象出力手段により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知手段、前記領域指定検知手段により検知された前記所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知手段、前記決定領域検知手段により検知された最終的な領域に存在する選択対象が最終的に選択された旨を入力する選択対象入力手段、および、前記選択対象入力手段により入力された選択対象に基づいて処理をおこなう処理手段、として機能させることを特徴とする。
【００１８】
すなわち、請求項６に係る発明は、選択と確定という作業を領域指定によりおこなう。
【００１９】
また、請求項７に記載の対話型インターフェース用プログラムは、請求項６に記載の対話型インターフェース用プログラムにおいて、コンピュータを、更に、前記領域指定検知手段により検知された前記所定領域内に存在する選択対象の移動を当該領域内に制限する移動制限手段として機能させることを特徴とする。
【００２０】
すなわち、請求項７に係る発明は、取りこぼしを防止する。特に、選択対象が表示画面ないし表示空間中にランダムに移動するような場合であっても、領域の一括指定および選択対象の移動制限により取りこぼしが防止される。
【００２１】
また、請求項８に記載の対話型インターフェース用プログラムは、請求項６または７に記載の対話型インターフェース用プログラムにおいて、前記選択対象出力手段により出力される画面ないし画像の表示方向ないし投影方向と、前記領域指定検知手段および決定領域検知手段により検知がおこなわれる方向が同じ方向であることを特徴とする。
【００２２】
すなわち、請求項８に係る発明は、直感的な操作を可能とする。
【００２３】
また、請求項９に記載の対話型インターフェース用プログラムは、請求項６、７または８に記載の対話型インターフェース用プログラムにおいて、前記領域指定検知手段を、前記選択対象出力手段により選択対象が出力された領域中に直に差し込まれた人の両手を検知する差込両手検知手段、および、前記差込両手検知手段により検知された人の両手が第１の所定形状となったときに、当該形状に基づいて前記所定領域を設定する所定領域設定手段、として機能させ、前記決定領域検知手段を、前記領域指定検知手段により指定された前記所定領域中に存在する人の両手を検知する領域中両手検知手段、および、前記領域中両手検知手段により検知された人の両手が第２の所定形状となったときに、当該形状に基づいて前記最終的な領域を設定する最終領域設定手段、として機能させることを特徴とする。
【００２４】
すなわち、請求項９に係る発明は、手の形状に従って領域指定を可能とする。
【００２５】
また、請求項１０に記載の対話型インターフェース用プログラムは、請求項６〜９のいずれか一つに記載の対話型インターフェース用プログラムにおいて、前記第１の所定形状とは、人が物を囲う際の初期の手の形状であり、前記第２の所定形状とは、手のひらが小指側で略平らに合わさった際の形状であることを特徴とする。
【００２６】
すなわち、請求項１０に係る発明は、掬い取るないし掬い上げるインターフェースを簡便に実現できる。
【発明の効果】
【００２７】
以上説明したように、本発明の対話型インターフェース方式（請求項１）は、選択と確定という作業を領域指定によりおこなうので、目的とすべき選択対象を取りこぼしなくかつ直感的に選択することが可能となる。また、本発明の対話型インターフェース方式（請求項２）は、最初の粗い領域指定により、目的とすべき選択対象がその領域から逃れられないようにするので、取りこぼしを防止でき、かつ、最終的な選択対象の確定を容易にすることが可能となる。また、本発明の対話型インターフェース方式（請求項３）は、座標を一致させるので、直感的な操作を実現できる。また、本発明の対話型インターフェース方式（請求項４）は、手の形状に従って領域指定が可能となるため、操作者の設定に従って、より直感的な選択を実現することができる。また、本発明の対話型インターフェース方式（請求項５）は、手で囲むことにより粗い領域を設定し、手の平をあわせてお椀形状を作ることにより、最終領域を設定するので、掬い上げる操作を簡便に実装できる。
【００２８】
また、本発明の対話型インターフェース用プログラム（請求項６）は、選択と確定という作業を領域指定によりおこなわせるので、目的とすべき選択対象を取りこぼしなくかつ直感的に選択させることが可能となる。また、本発明の対話型インターフェース用プログラム（請求項７）は、最初の粗い領域指定により、目的とすべき選択対象がその領域から逃れられないようにさせるので、取りこぼしを防止させ、かつ、最終的な選択対象の確定を容易ならしめることができる。また、本発明の対話型インターフェース用プログラム（請求項８）は、座標を一致させるので、直感的な操作を実現させることができる。また、本発明の対話型インターフェース用プログラム（請求項９）は、手の形状に従って領域指定を可能とさせるため、操作者の設定に従って、より、直感的な選択を実現させることができる。また、本発明の対話型インターフェース用プログラム（請求項１０）は、手で囲むことにより粗い領域を設定させ、手の平をあわせてお椀形状を作ることにより、最終領域を設定させるので、掬い上げる操作を簡便に実装させることができる。
【００２９】
なお、本発明によれば、パーソナルユースのタッチパネルと異なり、複数人が一つの画面を共有して、共同して作業が可能となるという作用効果も奏する。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１では、本発明の対話型インターフェース用プログラムを汎用のコンピュータシステムに導入して対話型インターフェース方式を実現し、これをバーチャル金魚掬い装置として適用した例について説明する。ここでは、まず、バーチャル金魚掬い装置の外観を説明し、ついで、ハードウェア構成、機能的構成、処理流れについて説明していく。
【００３１】
（バーチャル金魚掬い装置の外観構成）
図１は、バーチャル金魚掬い装置の外観構成の一例を示した図である。図示したように、バーチャル金魚掬い装置１００は、いわゆるコンピュータと同様な構成を採用し、各種の情報を入力するキーボード１０１およびマウス１０２と、バーチャル金魚を泳がせ、バーチャル金魚のうちどれが選ばれ、その選ばれた金魚に従って次の処理などをおこなう本体部１０３と、バーチャル金魚を投影するプロジェクタ１０４と、水槽となる投影パネル１０５と、投影パネル１０５上に差し込まれた手を認識するカメラ１０６と、投影方向を偏向する鏡１０７と、を備える。なお、図示した例は、デスクトップタイプコンピュータであるが、これに限ることなく、ノートブックタイプコンピュータであってもよい。
【００３２】
（バーチャル金魚掬い装置のハードウェア構成）
図２は、バーチャル金魚掬い装置１００のハードウェア構成の一例を示した説明図である。バーチャル金魚掬い装置１００は、そのハードウェア構成として、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ハードディスク（ＨＤ）２０４と、グラフィックスカード２０５と、プロジェクタ２０６と、キーボード（Ｋ／Ｂ）２０７と、マウス（ＭＯＵＳＥ）２０８と、カメラ２０９と、を有する。なお説明の便宜上、キーボード１０１、マウス１０２、プロジェクタ１０４、およびカメラ１０６を図２ではそれぞれキーボード２０７、マウス２０８、プロジェクタ２０６、カメラ２０９と表記している。
【００３３】
ＣＰＵ２０１は、ＯＳと共にバーチャル金魚掬い装置１００全体を制御し、また、直感的な掬う操作を実現する表示処理および手の挿入等の認識処理といった各種のプログラムの処理制御をおこなう。具体的には、例えば、ＣＰＵ２０１は、ハードディスク２０４に格納されているプログラムに従って、投影パネル１０５上における操作者の手の動きを認識し、投影されているバーチャル金魚のうちどれが選択されたかを認識し、その後の処理をおこなう。この際、まずは、両手で大きく囲まれた領域を認識し、次に徐々に絞り込まれる領域を認識し、最終的に両手を略水平にあわせて掬い取る動作を認識し、その際手のひらに投影されているバーチャル金魚が最終的に選択されたと認識して、掬い取られた金魚に従って以降の処理をおこなう（例えば、手桶への移動）。この他ＣＰＵ２０１は、ハードディスク２０４に格納されている作業データをＲＡＭ２０３に一時保存する制御等もおこなう。
【００３４】
ＲＯＭ２０２は、ブートプログラム等を記憶する。使用の態様によっては、ＲＯＭ２０２は、バーチャル金魚掬い装置１００の制御プログラムを格納しておいてもよい。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用する。具体的には、ハードディスク２０４から読み出されたデータベースの内容やプログラム内容などを一時的に格納する。また、両手で大きく囲まれた際にその領域に存在するバーチャル金魚にフラグを立てたり、移動を制限する際のデータ群を一時的に格納する処理もおこなう。
【００３５】
ハードディスク２０４は、オペレーティング装置（ＯＳ）、アプリケーションプログラム、各種のデータを記憶する。ハードディスクの構成については後述する。
【００３６】
グラフィックスカード２０５は、プロジェクタ２０６へ出力すべき画像信号を送出する。グラフィックスカード２０５は、出力すべき画像信号を格納するＶＲＡＭと、処理された画像信号をプロジェクタ２０６へ出力する画像出力インターフェース（画像出力Ｉ／Ｆ）を備える。画像出力Ｉ／Ｆは、ＶＲＡＭに展開されたＲＧＢ画像データをプロジェクタ２０６へ出力する。
【００３７】
この他、図示は省略するが、バーチャル金魚掬い装置１００は、コンピュータをネットワークへ接続するＮＩＣ、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＭＯドライブ装置等を搭載することも可能である。
【００３８】
ハードディスク２０４に格納されているプログラムないしソフトウェアについて説明する。ハードディスク２０４は、バーチャル金魚掬い装置１００全体を制御するＯＳ２４１と、プロジェクタ２０６による表示を制御する投影プログラム２４２と、カメラ２０９による撮像を制御する撮像プログラム２４３と、プロジェクタ２０６とカメラ２０９の座標を一致させる座標制御プログラム２４４と、投影パネル１０５上空へ差し込まれる人間の手を認識する人手認識プログラム２４５と、領域の設定や決定を制御する領域制御プログラム２４６と、複数あるバーチャル金魚の表示や移動などを制御するバーチャル金魚制御プログラム２４７と、最終的に選択されたバーチャル金魚に基づいて手桶への移動や得点表示など次の処理をおこなう掬取要素実行プログラム２４８と、を有する。なお、以上説明した各種プログラムのうち、掬取要素実行プログラム２４８（場合によってはバーチャル金魚制御プログラム２４７）は、アプリケーションソフトと言うことができ、それ以外のプログラムは、掬い取りのインターフェースを実現するハードウェアよりのプログラムということができる。
【００３９】
また、以上説明したプログラムは、バーチャル金魚掬い装置１００が実現するインターフェース方式という観点から集約されたプログラム集合を説明したに過ぎず、実際のプログラムは多数のコンポーネントやＤＬＬなどにより構成される。後述する機能的構成は、これらのプログラムが単体もしくは複数で、場合によっては他の構成要素と協働して各種実現されるものである。
【００４０】
（バーチャル金魚掬い装置の機能的構成）
次に、バーチャル金魚掬い装置１００の機能的構成について説明する。図３は、バーチャル金魚掬い装置１００の機能的構成例を示した説明図である。図示したように、バーチャル金魚掬い装置１００は、アプリケーション実行部３０１と、選択対象出力部３０２と、領域指定検知部３０３と、決定領域検知部３０４と、選択対象入力部３０５と、移動制御部３０６と、を備える。また、領域指定検知部３０３は、差込両手検知部３３１と、所定領域設定部３３２とを含む。また、決定領域検知部３０４は、領域中両手検知部３４１と、最終領域設定部３４２とを含む。
【００４１】
アプリケーション実行部３０１は、実際の金魚や水槽、手桶を用いることなく、画像の投影により金魚の動きや水の陰影、手桶などを表示する制御をおこなう。また、手が水槽に差し込まれた際に、金魚の群れを逃げさせたり、掬い上げようとする際に手の像の認識や手のひらから金魚が逃げようとする動作をおこなう。また、競技的な趣向やゲーム的な趣向を取り入れる場合には、金魚の大きさや数によって得点配分したりする制御をおこなう。すなわち、アプリケーション実行部３０１は、掬い取りのインターフェース以外の処理を中心におこなう。アプリケーション実行部３０１は、例えば、ＯＳ２４１と、掬取要素実行プログラム２４８と、ＲＡＭ２０３などによりその機能を実現することができる。
【００４２】
選択対象出力部３０２は、多数のバーチャル金魚を投影パネル１０５上で視認可能なように表示する。なお、バーチャル金魚の動き自体は、アプリケーション実行部３０１がおこなう。選択対象出力部３０２は、例えば、投影プログラム２４２と、バーチャル金魚制御プログラム２４７と、グラフィックスカード２０５と、プロジェクタ２０６と、投影パネル１０５などによりその機能を実現することができる。
【００４３】
領域指定検知部３０３は、選択対象出力部３０２により表示されたバーチャル金魚の集合の所定領域が一括して指定されたことを検知する。指定に際しては、まず、差込両手検知部３３１がバーチャル金魚が投影されている領域中（投影パネル１０５直上）に直に差し込まれた人の両手を検知することによりおこない、続いて、所定領域設定部３３２が、差込両手検知部３３１により検知された人の両手が図４に示した手の形状となったときに、当該形状に基づいて所定領域を設定する。図示したように、手の形は、金魚を掬い取るときに、水に手を差し込む際の形状であり、その際に指定される領域（領域Ａ）は、補助線で示したように、両手の手先と手元が描く領域に即して設定される。なお、図では、金魚の移動方向もあわせて図示してある。なお、設定に際しては、手の親指と小指の距離（撮像方向から見た場合の見かけの距離）、および、肌色抽出した手の形状認識技術を用いることにより、実現可能である。
【００４４】
領域指定検知部３０３は、例えば、投影プログラム２４２と、撮像プログラム２４３と、座標制御プログラム２４４と、人手認識プログラム２４５と、領域制御プログラム２４６と、カメラ２０９と、掬取要素実行プログラム２４８などによりその機能を実現することができる。また、差込両手検知部３３１は、例えば、投影プログラム２４２と、撮像プログラム２４３と、座標制御プログラム２４４と、人手認識プログラム２４５と、プロジェクタ２０６と、カメラ２０９などによりその機能を実現することができる。また、所定領域設定部３３２は、例えば、撮像プログラム２４３と、領域制御プログラム２４６と、カメラ２０９などによりその機能を実現することができる。なお、設定された領域の輪郭は明示的に投影パネル１０５上に投影してもよい。
【００４５】
決定領域検知部３０４は、領域指定検知部３０３により検知された所定領域のうち、最終的な領域が決定されたことを検知する。領域の決定に際しては、まず、領域中両手検知部３４１が領域指定検知部３０３により検知された領域Ａ中にある人の両手を検知し、最終領域設定部３４２が領域中両手検知部３４１により検知された人の両手がお椀形状となったときにその形状に基づいて最終的な領域（領域Ｂ）を設定する。図５は、最終的な領域が決定されるときの手の形状を表した図である。図では最終的に選択された金魚の他、選択されなかった金魚に関しても矢印で移動方向もあわせて図示している。なお、領域Ｂは、両手で形成される手の外縁形状である。最終的な領域と決定されるタイミングは、両手の小指がつながったことを検知しておこなう。これは、形状認識および肌色でない内側の領域の消滅により判断する。
【００４６】
決定領域検知部３０４は、例えば、投影プログラム２４２と、撮像プログラム２４３と、座標制御プログラム２４４と、人手認識プログラム２４５と、領域制御プログラム２４６と、カメラ２０９と、掬取要素実行プログラム２４８などによりその機能を実現することができる。領域中両手検知部３４１は、例えば、投影プログラム２４２と、撮像プログラム２４３と、座標制御プログラム２４４と、人手認識プログラム２４５と、プロジェクタ２０６と、カメラ２０９などによりその機能を実現することができる。最終領域設定部３４２は、例えば、撮像プログラム２４３と、領域制御プログラム２４６と、カメラ２０９などによりその機能を実現することができる。
【００４７】
選択対象入力部３０５は、決定領域検知部３０４により検知された最終領域中にいるバーチャル金魚が選択された旨をアプリケーション実行部３０１へ通知する。これにより、アプリケーション実行部３０１は、選択された金魚に従って次の処理（得点計算など）をおこなう。選択対象入力部３０５は、例えば、撮像プログラム２４３と、バーチャル金魚制御プログラム２４７と、カメラ２０９と、投影パネル１０５などによりその機能を実現することができる。
【００４８】
移動制御部３０６は、領域指定検知部３０３により検知された領域Ｂ内にあるバーチャル金魚の移動を当該領域内に制限する。これにより、囲った金魚が領域外に漏出することがない。ただし、使用の態様によっては、両手が閉じて掬い「上げる」動作に至るまでは、両手からこぼれ落ちるようにアプリケーション実行部３０１で制御してもよい。移動制御部３０６は、例えば、バーチャル金魚制御プログラム２４７と、掬取要素実行プログラム２４８と、人手認識プログラム２４５、領域制御プログラム２４６、ＲＡＭ２０３などによりその機能を実現することができる。
【００４９】
（バーチャル金魚掬い装置の処理の流れ）
次に、バーチャル金魚掬い装置１００の処理の流れについて図６を用いて説明する。まず、投影パネル１０５とプロジェクタ１０４、カメラ１０６と、鏡１０７との光軸、焦点、座標の調整をおこなう（ステップＳ６０１）。次に、掬取要素実行プログラム２４８を実行し、水槽、水面の揺らぎ、金魚、手桶などを投影パネル１０５に投影する（ステップＳ６０２）。
【００５０】
次に、両手が差し込まれたかまたは両手が差し込まれた状態であるかを判定する（ステップＳ６０３）。両手が差し込まれていると検知された場合（ステップＳ６０３：Ｙｅｓ）、手が掬い初めの形状（図４参照）となったかを検知する（ステップＳ６０４）。一方、両手が差し込まれていないと判断された場合（ステップＳ６０３：Ｎｏ）、ステップＳ６０３の判断を繰り返す。
【００５１】
掬い初めの形状が形成されたと判断された場合（ステップＳ６０４：Ｙｅｓ）、第１の領域（粗い領域）である領域Ａ（図４参照）を設定する（ステップＳ６０５）。一方、掬い初めの形状が形成されていない場合（ステップＳ６０４：Ｎｏ）、ステップＳ６０３に戻り、両手の存在を検知し続ける。
【００５２】
領域Ａが設定された場合には、当該領域からのバーチャル金魚の移動制限を開始する（ステップＳ６０６）。これにより、領域Ａからのバーチャル金魚の移動が制限される。続いて、領域Ａ中に両手が存在し続けているかを判断する（ステップＳ６０７）。両手が存在する場合（ステップＳ６０７：Ｙｅｓ）、両手が閉じたか（両手がお椀形状になったか（図５参照））を判定する（ステップＳ６０８）。一方、領域Ａの外に手が移動した場合には（ステップＳ６０７：Ｎｏ）、取りこぼしがあった、もしくは、所望の金魚を囲えなかったということであるので、ステップＳ６０５で設定された領域Ａを解除して（ステップＳ６０９）、ステップＳ６０３に戻る。
【００５３】
両手が閉じた場合には（ステップＳ６０８：Ｙｅｓ）、その領域を最終領域（図５：領域Ｂ参照）と設定し（ステップＳ６１０）、その後の処理（得点加算、捉えた金魚の手桶移動）をおこなう（ステップＳ６１１）。一方、両手が閉じていない場合には（ステップＳ６０８：Ｎｏ）、ステップＳ６０７に移動し、領域Ａ中で両手が閉じられたか否かの判定を続行する。
【００５４】
以上説明したように、バーチャル金魚掬い装置１００により掬う操作を実現できる。なお、本実施の形態では、本発明である対話型インターフェース用プログラムを汎用のコンピュータシステムに導入して対話型インターフェース方式を実現し、これをバーチャル金魚掬い装置として適用した例について説明したまでであって、金魚掬いに本発明は限定されず、広く、掬う操作のインターフェースを構築できる。
【００５５】
例えば、バーチャル金魚掬いでなく、例えば、思考支援ツールとしても適用できる。図７は、思考支援ツールとして本発明を適用した例を示した説明図である。掬い取る操作自体は同じである。図では操作者が、画面上で表示された多数のきっかけアイコンを掬い取り、所定位置に移動させた様子が示されている。図では、デートと海を連想させるアイコンを同時に掬い取って、デート予定を考えた様子と、時計と歩く様子を連想させるアイコンを掬い取り、帰りに時計屋に立ち寄ることを考えた様子が示されている。なお、アイコンはあらかじめ意図した概念を万人が想起できるようなもの（例えば、図７に示したような時計）であってもよいが、想像が膨らむような抽象的なアイコンであってもよい（図７に示した波形のアイコンは必ずしも、万人が海と想起するものではない）。このようなソフトウェアは、上述したように、思考支援ツールとして用いることができるし、この他、心理テストとしても適用できる。
【産業上の利用可能性】
【００５６】
本発明は、上述した、掬い取る、という実施の形態に限ることなく、選択と決定というアクションを、領域設定によりおこなう、という観点からも、種々応用が利く。例えば、障害者支援ツールとして適用することも可能である。ここでは、目の移動のみの自由が利く寝たきりの身体障害者のコミュニケーションツールを説明する。
【００５７】
図８は、画面に動作と対象を示した表示画面を表している。図示したように、画面左上に、「かゆい」という状態と、何処がかゆいかという「場所」を示した画面が表示されている。このツールでは、画面の左側を見ることにより領域設定して、焦点を合わせるなどして最終的な領域を決定する（図では、図４および図５に示したように、粗い領域を領域Ａと、最終的な領域を領域Ｂとして示している）。従って、このツールでは、従来のように「かゆい」と意思表示して、次に、何処がかゆいかを別のページに移動して選択する、といような多段階でおこなう手順を省略することができる。
【図面の簡単な説明】
【００５８】
【図１】バーチャル金魚掬い装置の外観構成の一例を示した図である。
【図２】バーチャル金魚掬い装置のハードウェア構成の一例を示した説明図である。
【図３】バーチャル金魚掬い装置の機能的構成例を示した説明図である。
【図４】バーチャル金魚掬い装置で検知される第１の領域設定の際の両手の様子を示した説明図である。
【図５】バーチャル金魚掬い装置で検知される第２の領域設定の際の両手の様子を示した説明図である。
【図６】バーチャル金魚掬い装置の処理の流れを説明した説明図である。
【図７】思考支援ツールとして本発明を適用した例を示した説明図である。
【図８】目の移動のみの自由が利く寝たきりの身体障害者のコミュニケーションツールを説明する説明図である。
【符号の説明】
【００５９】
１００ バーチャル金魚掬い装置
１０３ 本体部
１０４ プロジェクタ
１０５ 投影パネル
１０６ カメラ
１０７ 鏡
２０４ ハードディスク
２０５ グラフィックスカード
２０６ プロジェクタ
２０９ カメラ
２４２ 投影プログラム
２４３ 撮像プログラム
２４４ 座標制御プログラム
２４５ 人手認識プログラム
２４６ 領域制御プログラム
２４７ バーチャル金魚制御プログラム
２４８ 掬取要素実行プログラム
３０１ アプリケーション実行部
３０２ 選択対象出力部
３０３ 領域指定検知部
３０４ 決定領域検知部
３０５ 選択対象入力部
３０６ 移動制御部
３３１ 差込両手検知部
３３２ 所定領域設定部
３４１ 領域中両手検知部
３４２ 最終領域設定部
【特許請求の範囲】
【請求項１】
複数の選択対象を視認可能なように出力する選択対象出力手段と、
前記選択対象出力手段により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知手段と、
前記領域指定検知手段により検知された前記所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知手段と、
前記決定領域検知手段により検知された最終的な領域に存在する選択対象が最終的に選択された旨を入力する選択対象入力手段と、
前記選択対象入力手段により入力された選択対象に基づいて処理をおこなう処理手段と、
を備えたことを特徴とする対話型インターフェース方式。
【請求項２】
前記領域指定検知手段により検知された前記所定領域内に存在する選択対象の移動を当該領域内に制限する移動制限手段を備えたことを特徴とする請求項１に記載の対話型インターフェース方式。
【請求項３】
前記選択対象出力手段により出力される画面ないし画像の表示方向ないし投影方向と、
前記領域指定検知手段および決定領域検知手段により検知がおこなわれる方向が同じ方向であることを特徴とする請求項１または２に記載の対話型インターフェース方式。
【請求項４】
前記領域指定検知手段は、
前記選択対象出力手段により選択対象が出力された領域中に直に差し込まれた人の両手を検知する差込両手検知手段と、
前記差込両手検知手段により検知された人の両手が第１の所定形状となったときに、当該形状に基づいて前記所定領域を設定する所定領域設定手段と、
を含み、
前記決定領域検知手段は、
前記領域指定検知手段により検知された前記所定領域中に存在する人の両手を検知する領域中両手検知手段と、
前記領域中両手検知手段により検知された人の両手が第２の所定形状となったときに、当該形状に基づいて前記最終的な領域を設定する最終領域設定手段と、
を含んだことを特徴とする請求項１、２または３に記載の対話型インターフェース方式。
【請求項５】
前記第１の所定形状とは、人が物を囲う際の初期の手の形状であり、
前記第２の所定形状とは、手のひらが小指側で略平らに合わさった際の形状であることを特徴とする請求項１〜４のいずれか一つに記載の対話型インターフェース方式。
【請求項６】
コンピュータを、
複数の選択対象を視認可能なように出力する選択対象出力手段、
前記選択対象出力手段により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知手段、
前記領域指定検知手段により検知された前記所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知手段、
前記決定領域検知手段により検知された最終的な領域に存在する選択対象が最終的に選択された旨を入力する選択対象入力手段、および、
前記選択対象入力手段により入力された選択対象に基づいて処理をおこなう処理手段、
として機能させることを特徴とする対話型インターフェース用プログラム。
【請求項７】
コンピュータを、更に、
前記領域指定検知手段により検知された前記所定領域内に存在する選択対象の移動を当該領域内に制限する移動制限手段として機能させることを特徴とする請求項６に記載の対話型インターフェース用プログラム。
【請求項８】
前記選択対象出力手段により出力される画面ないし画像の表示方向ないし投影方向と、
前記領域指定検知手段および決定領域検知手段により検知がおこなわれる方向が同じ方向であることを特徴とする請求項６または７に記載の対話型インターフェース用プログラム。
【請求項９】
前記領域指定検知手段を、
前記選択対象出力手段により選択対象が出力された領域中に直に差し込まれた人の両手を検知する差込両手検知手段、および
前記差込両手検知手段により検知された人の両手が第１の所定形状となったときに、当該形状に基づいて前記所定領域を設定する所定領域設定手段、として機能させ、
前記決定領域検知手段を、
前記領域指定検知手段により指定された前記所定領域中に存在する人の両手を検知する領域中両手検知手段、および、
前記領域中両手検知手段により検知された人の両手が第２の所定形状となったときに、当該形状に基づいて前記最終的な領域を設定する最終領域設定手段、
として機能させることを特徴とする請求項６、７または８に記載の対話型インターフェース用プログラム。
【請求項１０】
前記第１の所定形状とは、人が物を囲う際の初期の手の形状であり、
前記第２の所定形状とは、手のひらが小指側で略平らに合わさった際の形状であることを特徴とする請求項６〜９のいずれか一つに記載の対話型インターフェース用プログラム。
【請求項１】
複数の選択対象を視認可能なように出力する選択対象出力手段と、
前記選択対象出力手段により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知手段と、
前記領域指定検知手段により検知された前記所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知手段と、
前記決定領域検知手段により検知された最終的な領域に存在する選択対象が最終的に選択された旨を入力する選択対象入力手段と、
前記選択対象入力手段により入力された選択対象に基づいて処理をおこなう処理手段と、
を備えたことを特徴とする対話型インターフェース方式。
【請求項２】
前記領域指定検知手段により検知された前記所定領域内に存在する選択対象の移動を当該領域内に制限する移動制限手段を備えたことを特徴とする請求項１に記載の対話型インターフェース方式。
【請求項３】
前記選択対象出力手段により出力される画面ないし画像の表示方向ないし投影方向と、
前記領域指定検知手段および決定領域検知手段により検知がおこなわれる方向が同じ方向であることを特徴とする請求項１または２に記載の対話型インターフェース方式。
【請求項４】
前記領域指定検知手段は、
前記選択対象出力手段により選択対象が出力された領域中に直に差し込まれた人の両手を検知する差込両手検知手段と、
前記差込両手検知手段により検知された人の両手が第１の所定形状となったときに、当該形状に基づいて前記所定領域を設定する所定領域設定手段と、
を含み、
前記決定領域検知手段は、
前記領域指定検知手段により検知された前記所定領域中に存在する人の両手を検知する領域中両手検知手段と、
前記領域中両手検知手段により検知された人の両手が第２の所定形状となったときに、当該形状に基づいて前記最終的な領域を設定する最終領域設定手段と、
を含んだことを特徴とする請求項１、２または３に記載の対話型インターフェース方式。
【請求項５】
前記第１の所定形状とは、人が物を囲う際の初期の手の形状であり、
前記第２の所定形状とは、手のひらが小指側で略平らに合わさった際の形状であることを特徴とする請求項１〜４のいずれか一つに記載の対話型インターフェース方式。
【請求項６】
コンピュータを、
複数の選択対象を視認可能なように出力する選択対象出力手段、
前記選択対象出力手段により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知手段、
前記領域指定検知手段により検知された前記所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知手段、
前記決定領域検知手段により検知された最終的な領域に存在する選択対象が最終的に選択された旨を入力する選択対象入力手段、および、
前記選択対象入力手段により入力された選択対象に基づいて処理をおこなう処理手段、
として機能させることを特徴とする対話型インターフェース用プログラム。
【請求項７】
コンピュータを、更に、
前記領域指定検知手段により検知された前記所定領域内に存在する選択対象の移動を当該領域内に制限する移動制限手段として機能させることを特徴とする請求項６に記載の対話型インターフェース用プログラム。
【請求項８】
前記選択対象出力手段により出力される画面ないし画像の表示方向ないし投影方向と、
前記領域指定検知手段および決定領域検知手段により検知がおこなわれる方向が同じ方向であることを特徴とする請求項６または７に記載の対話型インターフェース用プログラム。
【請求項９】
前記領域指定検知手段を、
前記選択対象出力手段により選択対象が出力された領域中に直に差し込まれた人の両手を検知する差込両手検知手段、および
前記差込両手検知手段により検知された人の両手が第１の所定形状となったときに、当該形状に基づいて前記所定領域を設定する所定領域設定手段、として機能させ、
前記決定領域検知手段を、
前記領域指定検知手段により指定された前記所定領域中に存在する人の両手を検知する領域中両手検知手段、および、
前記領域中両手検知手段により検知された人の両手が第２の所定形状となったときに、当該形状に基づいて前記最終的な領域を設定する最終領域設定手段、
として機能させることを特徴とする請求項６、７または８に記載の対話型インターフェース用プログラム。
【請求項１０】
前記第１の所定形状とは、人が物を囲う際の初期の手の形状であり、
前記第２の所定形状とは、手のひらが小指側で略平らに合わさった際の形状であることを特徴とする請求項６〜９のいずれか一つに記載の対話型インターフェース用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−１５６８５７（Ｐ２００７−１５６８５７Ａ）
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願番号】特願２００５−３５１５３１（Ｐ２００５−３５１５３１）
【出願日】平成１７年１２月６日（２００５．１２．６）
【出願人】（５０４１５５２９３）国立大学法人島根大学 (113)
【Ｆターム（参考）】
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願日】平成１７年１２月６日（２００５．１２．６）
【出願人】（５０４１５５２９３）国立大学法人島根大学 (113)
【Ｆターム（参考）】
[ Back to top ]