コマンド生成装置、その制御方法及びそれを備えたプロジェクター
【課題】コマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができるコマンド発生装置、その制御方法及びそれを備えたプロジェクターを提供する。
【解決手段】タブレットＰＣ１０は、手書き入力された情報を検出する情報検出部１０３と、情報の内容が、特定のコマンドを示す文字と文字をコマンドとして認識させるためのジェスチャーとを組み合わせた組み合わせ情報であることに応じて、コマンドの実行命令を出力するコマンド実行命令出力部１１７と、を有する。
【解決手段】タブレットＰＣ１０は、手書き入力された情報を検出する情報検出部１０３と、情報の内容が、特定のコマンドを示す文字と文字をコマンドとして認識させるためのジェスチャーとを組み合わせた組み合わせ情報であることに応じて、コマンドの実行命令を出力するコマンド実行命令出力部１１７と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コマンド生成装置、その制御方法及びそれを備えたプロジェクターに関する。
【背景技術】
【０００２】
電子黒板やタブレットＰＣなど、スタイラスペンや指による手書き入力が可能な機器が各種提案されている。これらの機器では、スタイラスペンや手により画面にタッチする行為が、描く、消す、指定する等の複数種類の入力指示を与えることができる。手書きで描く行為以外に、メールの送信、印刷、ファイルの入出力等の他の機能を呼び出す場合は、操作モードをマウスモードなどに切り替えたり、キーボードを利用して操作する必要がある。
【０００３】
特許文献１には、スタイラスペンによる手書き操作と類似の操作（ジェスチャー）で、手書きしたものを削除、移動、サイズ変更することを可能にし、利便性を向上させた手書き入力情報処理装置が記載されている。編集処理種別を指定するための手書き編集コマンドとして、「消去」は消しゴムを擦ったイメージのギザギザを複数回入力し、「移動」は「矢」印、「拡大・縮小」は「＜」印、「回転」は「曲線状の矢」印、「陰影」は陰影の方向を考えて「ギザギザ状の鍵括弧」印といったように、それぞれの編集内容をイメージさせる図形を入力することで、各機能を実行することができるようになっている。
【０００４】
また、特許文献２にも、手書入力手段によって入力された手書きデータを手書きコマンドとして解釈し、解釈されたコマンドの入力位置に対応するデータの少なくとも一部を、手書コマンドの処理対象として特定する方法が記載されている。削除、検索、コピー等といった機能をジェスチャーに割り当てている。
【０００５】
また、特許文献３には、手書き操作によるコマンドの文字入力を受け付けるコマンドエリアとコマンド以外の文字入力を受け付ける描画エリアとを区別し、コマンドエリアの方に文字を手書き入力することで各機能を実行させる情報処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０８−２６３６８８号公報
【特許文献２】特開２００７−４２０５０号公報
【特許文献３】特開平０６−７５６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１及び２によれば、各機能を実行させるコマンドに対応するジェスチャーを登録しておく必要がある。機能の種類が多いと登録するジェスチャーの数も増える。つまり、ユーザーが覚えなければならないジェスチャーの数も増加するため、利便性が低下する。また、特許文献３によれば、表示面上でコマンドエリアと描画エリアを区別し、表示面の一部はコマンドエリアによって利用されてしまうため、描画エリアを大きく利用することができず、やはり利便性に劣る点がある。
【０００８】
本発明は、上記課題を解決するためになされたものであって、コマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができるコマンド発生装置、その制御方法及びそれを備えたプロジェクターを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決することのできる本発明のコマンド発生装置は、指示位置の軌跡により入力された情報を検出する情報検出部と、前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であることに応じて、前記文字をコマンドとして認識するコマンド認識部と、認識したコマンドについて実行命令を出力するコマンド実行命令出力部と、を有することを特徴とする。
上記構成によれば、文字と図形との組み合わせによってコマンドを実行する。図形は各機能を実行するためのコマンドそのものではなく、文字をコマンドとして認識させるためのものである。文字と図形との組み合わせを同じ描画エリアに手書きすれば文字と図形との組み合わせ情報でコマンドを認識することができる。このため、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができる。
【００１０】
また、本発明のコマンド発生装置において、前記コマンド認識部は、前記情報に、前記コマンドに対するパラメータを示す文字と前記文字をパラメータとして認識させるための図形とを組み合わせた追加情報が含まれていることに応じて、前記文字をパラメータとして認識し、前記コマンド実行命令出力部は、認識したパラメータを利用した前記コマンドの実行命令を出力することを特徴とする。
上記構成によれば、コマンドのみならず、パラメータも文字と図形との組み合わせによって与えることができる。この場合、コマンドとパラメータを異なる文字で表現すれば、コマンドとして認識させるための図形と、パラメータとして認識させるための図形と、を共通の図形として使用することができる。したがって、パラメータが増えても、ユーザーが覚えなければならない図形（ジェスチャー）の数が増加することがなく、利便性の向上を図ることができる。
【００１１】
また、本発明のコマンド発生装置において、前記コマンド実行命令出力部は、前記図形が所定の軌跡で描画されていることに応じて、前記実行命令を出力することを特徴とする。
上記構成によれば、図形の形だけでなく、運筆（軌跡、ストローク、筆跡）によって実行命令を出力するか否かを決定することができる。したがって、通常使用する図形でも、ユーザーは意図的に手書き文字の軌跡を変えることで、文字をコマンドやパラメータとして認識させることができる。
【００１２】
また、本発明のコマンド発生装置において、前記コマンド実行命令出力部は、前記情報に、前記組合せ情報及び前記追加情報以外の他の情報が含まれていることに応じて、前記他の情報について前記コマンドの実行命令を出力することを特徴とする。
上記構成によれば、例えば、組み合わせ情報を印刷コマンドとして認識し、追加情報をパラメータとしてＡ４サイズを認識すれば、他の情報についてＡ４サイズで印刷したり、ファイルとして保存したりすることができる。
【００１３】
また、本発明のコマンド発生装置において、前記コマンド実行命令出力部は、前記図形の中に前記コマンドを示す文字及び前記パラメータを示す文字以外の内容が含まれていることに応じて、前記内容に基づいた前記コマンドの実行命令を出力することを特徴とする。
上記構成によれば、例えば、コマンドやパラメータを示す文字以外の内容をキーワードとして、キーワード検索を行なったり、置き換えたりすることもできる。
【００１４】
また、上記課題を解決することのできる本発明のコマンド発生装置の制御方法は、手書き入力された情報を検出するステップと、前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であるか否かを判定するステップと、前記情報の内容が組み合わせ情報であることに応じて、前記文字をコマンドとして認識するステップと、認識したコマンドについて実行命令を出力するステップと、を有することを特徴とする。
上記構成によれば、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることが可能なコマンド発生装置の制御方法を提供することができる。
【００１５】
上記の何れかに記載のコマンド発生装置を備えることを特徴とするプロジェクター。
上記構成によれば、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させるプロジェクターを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態のデータ出力システムの概略構成を示す図である。
【図２】ジェスチャー認識辞書の一例を示す図である。
【図３】コマンド認識辞書の一例を示す図である。
【図４】本実施形態の投写システムにおけるタブレットＰＣが実行する処理を説明するためのフローチャートである。
【図５】（ａ）は、文字が手書きされたときの表示画面を示す図であり、（ｂ）は、手書き文字がコマンド化されたときの表示画面を示す図であり、（ｃ）は、コマンドの実行を指示するときの表示画面を示す図であり、（ｄ）は、印刷コマンドを実行した後の表示画面を示す図である。
【図６】（ａ）は、印刷という文字がコマンド化されたときの表示画面を示す図であり、（ｂ）は、コマンド化されたオブジェクトを解除するときの表示画面を示す図であり、（ｃ）は、コマンド化されたオブジェクトを解除した後の表示画面を示す図である。
【図７】（ａ）は、Ｆｉｌｅという文字がコマンド化されたときの表示画面を示す図であり、（ｂ）は、ファイルとして保存するためのコマンドの実行を指示するときの表示画面を示す図であり、（ｃ）は、Ｆｉｌｅコマンドを実行した後の表示画面を示す図である。
【図８】（ａ）は、Ｆｉｌｅという文字がコマンド化されたときの表示画面を示す図であり、（ｂ）は、ファイルを読み出すためのコマンドの実行を指示するときの表示画面を示す図であり、（ｃ）は、Ｆｉｌｅコマンドを実行した後の表示画面を示す図である。
【図９】（ａ）は、Ｓｅａｒｃｈという文字がコマンド化されたときの表示画面を示す図であり、（ｂ）は、キーワードを検索するためのコマンドの実行を指示するときの表示画面を示す図であり、（ｃ）は、Ｓｅａｒｃｈコマンドを実行した後の表示画面を示す図である。
【図１０】（ａ）は、文字がコマンド化されたときの表示画面を示す図であり、（ｂ）は、キーワードを置き換えるためのコマンドの実行を指示するときの表示画面を示す図であり、（ｃ）は、置換コマンドを実行した後の表示画面を示す図である。
【図１１】本発明のコマンド発生装置をプロジェクターに搭載した場合の例を示した図である。
【発明を実施するための形態】
【００１７】
以下、本発明に係るコマンド発生装置及びその制御方法の好適な実施形態について、図面を参照して詳細に説明する。
本実施形態では、コマンド発生装置としてタブレットＰＣを例示し、タブレットＰＣの表示面に表示される画像と同じ画像データを、タブレットＰＣと通信可能に接続されたプロジェクター、プリンター及びメールサーバー等へ出力するデータ出力システム１として説明する。
【００１８】
＜データ出力システムの概略構成について＞
図１に示すようにデータ出力システム１は、タブレットＰＣ１０から送信された画像をスクリーン等の投写面に向けて拡大投写するプロジェクター２０と、タブレットＰＣ１０から送信されたデータを印刷するプリンター３０と、タブレットＰＣ１０から送信されたデータを電子メールに添付して指定された宛先に送信するメールサーバー４０と、を備え、各装置は互いに有線あるいは無線ＬＡＮによって接続されている。なお、プロジェクター２０、プリンター３０及びメールサーバー４０は、一般的な構成であるため、詳細なハードウェア構成については説明を省略する。
【００１９】
プロジェクター２０は、タブレットＰＣ１０との間で各種データの送受信を行なうためのインターフェイス、画像を投写する投写ランプや投写ランプからの投写光をスクリーン上に拡大投射する投写レンズなど、各種画像信号処理系および光学系から成る投写手段を有している。プリンター３０は、タブレットＰＣ１０との間で各種データの送受信を行なうためのインターフェイス、受信したデータに基づいて印刷処理を行う印刷機構部などを有している。また、メールサーバー４０は、タブレットＰＣ１０や外部ネットワークとの間で各種データの送受信を行なうためのインターフェイス、このメールサーバー４０が管理するユーザー認証情報や自らが管理する電子メールアドレスの宛先などが格納される記憶部を有している。相手先を振り分けるメール転送エージェントや振り分けられたメールをサーバ内のユーザーや別のサーバへ配送するなどの機能を備えており、タブレットＰＣ１０から受信した画像ファイルを指定された送信先へ電子メールを送信することができるようになっている。
【００２０】
タブレットＰＣ１０は、演算処理の中枢をなす不図示のＣＰＵを備えており、このＣＰＵはシステムバスを介してＲＯＭやＲＡＭにアクセス可能となっている。また、システムバスには外部記憶装置としてのハードディスクドライブが接続されており、ハードディスクドライブに記憶されたＯＳ（Operating System）やアプリケーションなどがＲＡＭに転送され、ＣＰＵはＲＯＭとＲＡＭに適宜アクセスしてソフトウェアを実行する。
【００２１】
本実施形態では、ハードディスクドライブにはプレゼンテーション用アプリケーションや、操作位置検出プログラム、文字認識アプリケーション等が記憶されている。ＣＰＵがＯＳやこれらのプログラムを実行することによって、スタイラスペンによって表示部１０１上に手書きされた描画情報をデジタルデータに変換し、例えばプレゼンテーション用のコンテンツ画像に合成し、プロジェクター２０へ送信することができる。
【００２２】
タブレットＰＣ１０のＣＰＵが、ＯＳやプレゼンテーション用アプリケーション、操作位置検出プログラム、文字認識アプリケーションを実行することによって、図１に示すように、タブレットＰＣ１０には、表示部１０１、情報検出部１０３、制御部１０５、記憶部１０７、送受信部１０９が構成される。
【００２３】
表示部１０１は、画像や操作内容を表示する液晶ディスプレイである。情報検出部１０３は、スタイラスペンによる表示部１０１への書き込みや、各種キー操作を行うための入力操作を検出するタッチパネルである。
情報検出部１０３は、スタイラスペンが表示面１０１に触れた位置を検出しデジタルデータに変換し、表示面上に描かれた描画データを制御部１０５へ出力する。なお、表示面に接触した位置を検出する方法としては、圧力の変化を感知する感圧方式や、静電気による電気信号を感知する静電方式等がある。
【００２４】
制御部１０５には、画像処理部１１１と、ジェスチャー認識部１１３と、コマンド認識部１１５と、コマンド実行命令出力部１１７と、が構成される。
画像処理部１１１は、ハードディスクドライブ等の各種ドライブに保存されているコンテンツファイルに基づいて画像データを取得し、表示部１０１に表示させたり、プロジェクター２０に投写させる画像データの処理を行う。また、画像処理部１１１は、情報検出部１０３から取得した描画データに基づいて、ユーザーが手書きした情報を画像データに合成する。合成した画像データは、表示部１０１へ出力するとともに、送受信部１０９を介してプロジェクター２０へ送信される。
【００２５】
ジェスチャー認識部１１３は、情報検出部１０３から取得した描画データに基づいて、ユーザーが手書きしたスタイラスペンの軌跡が示す図形を認識する。認識した図形が予め定義されているジェスチャーと一致するか否かを判定する。一致したことに応じて、そのジェスチャーが、対応する機能を実行させるために入力されたジェスチャーであることを認識し、入力されたジェスチャーに対応する機能をコマンド認識部１１５へ通知する。なお、図形がジャスチャーと一致するか否かは、その形状のみならず、スタイラスペンによる運筆（軌跡、ストローク、筆跡）も考慮して判定する。
【００２６】
コマンド認識部１１５は、ジェスチャー認識部１１３が認識したジェスチャーの範囲内に含まれている情報について文字認識を行なう。文字認識により得られたテキスト文字が、予め定義されているコマンドと一致するか否かを判定する。一致したことに応じて、そのテキスト文字とジェスチャー認識部１１３が認識したジェスチャーとを組み合わせ情報として認識する。そして、コマンド認識部１１５は、組み合わせ情報であることに応じて、そのテキスト文字を対応する機能を実行させるために入力されたコマンドとして認識する。入力されたコマンドに対応する機能をコマンド実行命令出力部１１７へ通知する。
【００２７】
また、コマンド認識部１１５は、ジェスチャー認識部１１３が認識したジェスチャーの範囲内に含まれている情報について文字認識を行い、文字認識により得られたテキスト文字が、予め定義されているパラメータと一致するか否かを判定する。一致したことに応じて、そのテキスト文字とジェスチャー認識部１１３が認識したジェスチャーとを追加情報として認識する。そして、コマンド認識部１１５は、追加情報であることに応じて、そのテキスト文字をコマンドに対して与えられたパラメータとして認識する。入力されたパラメータをコマンド実行命令出力部１１７へ通知する。
【００２８】
さらに、コマンド認識部１１５は、文字認識により得られたテキスト文字に、予め定義されているコマンド及びパラメータとも一致しない他の文字が含まれていることに応じて、当該他の文字をキーワードとして認識する。そして、入力されたキーワードをコマンド実行命令出力部１１７へ通知する。
【００２９】
コマンド実行命令出力部１１７は、コマンド認識部１１５からの通知を受けて、コマンド認識部１１５が認識したコマンドの実行命令を生成し出力する。コマンドの実行命令はその機能を実行する各装置２０,３０,４０へ送信される。
【００３０】
また、コマンド実行命令出力部１１７は、ジェスチャー認識部１１３及びコマンド認識部１１５からの通知を受けて、コマンド認識部１１５が認識したパラメータを利用したコマンドの実行命令を生成し出力する。コマンドの実行命令はその機能を実行させる装置へ送信される。
【００３１】
また、コマンド実行命令出力部１１７は、情報検出部１０３から取得した描画データに、上述した組み合わせ情報及び追加情報以外の他の情報が含まれていることに応じて、当該他の情報についてコマンドの実行命令を出力する。なお、他の情報としては、例えばユーザーが手書きした会議の内容や、表示されているコンテンツ画像に追加して手書きされたメモなど、コマンドやパラメータとして認識させる必要のない情報のことである。
【００３２】
また、コマンド実行命令出力部１１７は、コマンド認識部１１５からの通知を受けて、ジェスチャー認識部１１３が認識したジェスチャーが示す範囲内に、コマンドを示す文字及びパラメータを示す文字以外の内容が含まれていることに応じて、当該内容に基づいたコマンドの実行命令を出力する。なお、コマンドを示す文字及びパラメータを示す文字以外の内容とは、例えば、コマンド認識辞書１２５に登録されていない文字のことである。具体的には、ファイルを読み出す際のファイル名や、キーワード検索や置換を行う場合のキーワードなどである。
【００３３】
記憶部１０７は、例えばＲＯＭやハードディスクドライブの所定の記憶領域であり、ここでは文字認識辞書１２１、ジェスチャー認識辞書１２３及びコマンド認識辞書１２５が記憶されている。文字認識辞書１２１は、描画データと、描画データに対応付けられた文字のフォントデータと、の関係が定義された辞書である。文字認識辞書１２１を備えることによって、ユーザーがスタイラスペンで表示部１０１に手書きした情報を、テキスト文字に変換することができる。
【００３４】
ジェスチャー認識辞書１２３は、図２に示すように、機能と、機能に対応付けられた図形（ストロークを含む）と、の関係が定義された辞書である。ここでは、「コマンド／パラメータであることを認識する」ための図形として、「丸」、「二重丸」、「二本線」、「波線」、「線の終端に黒丸」、「丸の終端に黒丸」が対応付けられている。なお、「丸」、「二重丸」、「二本線」については、「丸」、「二重丸」、「二本線」の各図形として認識しても、描いたときのストロークを認識してもよい。また、「丸」、「二重丸」、「丸の終端に黒丸」については、丸の内側に書かれた文字がコマンドとして認識される。また、「二本線」、「波線」、「線の終端に黒丸」については、線の上（破線で示した領域）に書かれた文字がコマンドとして認識される。
【００３５】
さらに、「パラメータを与える、起動する」ための図形として、「矢印１」、「矢印２」、「両端に黒丸つき線」が対応付けられている。なお、「矢印１」及び「矢印２」は、矢印の元にあるものの内容を矢印の先にある内容（オブジェクト）のパラメータとして入力することができる。
【００３６】
さらに、「コマンドオブジェクトになったものを解除する」ための図形として、「バツ」、「二重取り消し線」、「斜線つき二重取り消し線」が対応付けられている。これらの図形を、コマンドとして認識されたオブジェクトに重ねて書くことによって、１度認識されたコマンドを単なる図形として再認識する。
【００３７】
コマンド認識辞書１２５は、図３に示すように、機能と、機能に対応付けられたコマンドとして書く文字と、の関係が定義された辞書である。例えば、プリンター３０に印刷を実行させたいときは、コマンドとして書く文字は「印刷」、「プリント」、「プリンター」の何れかである。また、「Ａ４、カラーで印刷」のように、パラメータとして書く文字［Ａ４］及び［カラー］を含む文章で指定することもできる。また、メールを送りたいときは「［名前］さんにメール」と書くと、名前に対応するメールアドレス宛にメールが送信される。この場合は、名前に対応するメールアドレスをコマンド認識辞書１２５に登録しておけばよい。
【００３８】
送受信部１０９は、プロジェクター２０、プリンター３０及びメールサーバー４０等とのデータの送受信を行うための通信インターフェイス、および無線ドライバ等である。コマンド実行命令出力部１１７が出力した実行命令は、送受信部１０９を介して各装置へ送信される。なお、送受信部１０９は、有線接続のためのコネクターおよびＬＡＮケーブル等によって構成することも可能である。
【００３９】
＜タブレットＰＣの制御方法について＞
次に、上記説明したデータ出力システムにおけるタブレットＰＣの制御方法について図４〜図１０を参照して説明する。
ユーザーがスタイラスペンで表示部１０１に手書きすると、情報検出部１０３は描画データへ変換し制御部１０５へ送信する。ジェスチャー認識部１１３は、描画データに基づいて手書き入力された線の形状を認識する（ステップＳ１１）。
【００４０】
ジェスチャー認識部１１３は、ジェスチャー認識辞書１２３を参照して、線の形状が定義されている図形と一致するか否かを判定する。つまり、線の形状がジェスチャーとして登録されたものか否かを判定する（ステップＳ１３）。ジェスチャー認識辞書１２３の中に一致する図形（ストロークを含む）が登録されていれば（ステップＳ１３：Ｙｅｓ）、ジェスチャーとして認識する。次に、認識したジェスチャーがコマンドとして定義されているか否かを判定する（ステップＳ１５）。つまり、線の形状が、図２に示した図形のうち、ストロークを含め「丸」、「二重丸」、「二本線」、「波線」、「線の終端に黒丸」及び「丸の終端に黒丸」の何れかと一致する場合は、コマンド化されたジェスチャーであると判定し、コマンド認識部１１５へ通知する。
【００４１】
ジェスチャー認識部１１３がコマンド化されたジャスチャーであると判定すると（ステップＳ１５：Ｙｅｓ）、コマンド認識部１１５がそのジェスチャーが示す範囲、つまり丸の内側や線の上に含まれている情報の認識を行う。すなわち、コマンド認識部１１５は、文字認識辞書１２１を参照して、ジェスチャーが示す範囲内に書かれている描画データに基づいて文字認識を行い、テキスト文字に変換する（ステップＳ１９）。
【００４２】
さらに、コマンド認識部１１５は、文字認識して取得したテキスト文字と一致する文字が、図３に示したコマンド認識辞書１２５の中に登録されているか否かを判定する。登録されている文字が含まれていれば、コマンド認識部１１５は、そのテキスト文字とジェスチャー認識部１１３が認識したジェスチャーとを組み合わせ情報として認識する。組み合わせ情報であることに応じて、その組み合せ情報をコマンドオブジェクトとして認識する（ステップＳ２１：Ｙｅｓ）。画像処理部１１１は、コマンドオブジェクト部分の色を変更した画像データを生成し、表示部１０１やプロジェクター２０に表示させる（ステップＳ２３）。
【００４３】
一方、コマンド認識部１１５は、文字認識して取得したテキスト文字と一致する文字が、図３に示したコマンド認識辞書１２５の中に登録されていないと判定した場合は（ステップＳ２１：Ｎｏ）、そのジェスチャーと、ジェスチャーの範囲内に含まれる文字と、をオブジェクトの属性として保持する（ステップＳ２５）。
【００４４】
ところで、ステップＳ１５において、ジェスチャー認識部１１３は、認識したジェスチャーがコマンドとして定義されていないジェスチャーであると判定すると（ステップＳ１５：Ｎｏ）、パラメータを与えるためのジェスチャーであるか否かを判定する（ステップＳ２７）。つまり、線の形状が、図２に示した図形のうち矢印ジェスチャーか否かを判定する。「矢印１」、「矢印２」、「両端に黒丸つき線」の何れかと一致する場合は、コマンド実行命令出力部１１７が矢印でつないでいるオブジェクトを特定する（ステップＳ２９）。さらに、コマンド実行命令出力部１１７は、矢印先のコマンドオブジェクトに、矢印元のデータパラメータとして与え、コマンド実行命令を出力する（ステップＳ３１）。
【００４５】
一方、ステップＳ２７において、ジェスチャー認識部１１３は、認識したジェスチャーが図２に示した図形のうち矢印ジェスチャーではないと判定すると（ステップＳ２７：Ｎｏ）、その他のジェスチャーに定義付けられている動作を実行する（ステップＳ３３）。
【００４６】
図５は、表示画面の情報を印刷する際の表示画面の状態を示した図である。図５（ａ）に示すように、ユーザーがスタイラスペンで表示部１０１上に手書きした後、（ｂ）に示すように、コマンドを示す文字［印刷］及びパラメータを示す文字［Ａ４］を丸で囲むと、丸で囲まれた領域の中が青色や赤色に変わる。これにより、ユーザーはコマンドオブジェクト又はパラメータを示すオブジェクトになったことがわかる。さらに、（ｃ）に示すように、矢印を引くと、矢印の出元の四角で囲われた領域（ステップＳ２５でオブジェクトの属性として認識された領域）を印刷するための印刷コマンド実行命令がプロンターへ送信され、表示画面がＡ４サイズで印刷される。また、出元の領域が指定されていないときは画面全体を印刷してもよい。なお、（ｄ）に示すように、印刷を実行するために使われた図形やストローク(四角の範囲指定や矢印)は機能の実行完了後に自動的に消滅するよう設定してもよい。
【００４７】
図６は、コマンド化されたオブジェクトを解除する際の表示画面の状態を示した図である。図６（ａ）に示すように、ユーザーはスタイラスペンで普通に書いていたものが、コマンドオブジェクトとして認識されてしまった場合は、（ｂ）に示すように解除の図形を描くことで、（ｃ）に示すようにコマンドとしての認識を解除するためのコマンド解除命令が出力され、コマンド化されたオブジェクトが解除される。
【００４８】
図７は、表示画面の情報をファイルとして保存する際の表示画面の状態を示した図である。図７（ａ）に示すように、ファイル名をつけて保存する場合は、ファイルのコマンドオブジェクトを作成し、（ｂ）に示すように、保存を表す図形（この場合は内向き矢印）を描くことにより、画面の内容を保存するための保存コマンド実行命令が出力され、表示画面をファイルとして保存する。なお、（ｃ）に示すように、矢印は、ファイルが保存された後に自動的に消滅するよう設定してもよい。
【００４９】
図８は、ファイルを開く際の表示画面の状態を示した図である。図８（ａ）に示すように、［Ｆｉｌｅ］と、開きたいファイルの［ファイル名］（コマンドを示す文字及びパラメータを示す文字以外の内容）を書き、丸で囲むことでコマンドオブジェクトを作成する。（ｂ）に示すように、ファイルを開くことを表す図形（この場合は外向き矢印）を描くことにより、指定されたファイル名のファイルを開くためのコマンド実行命令が出力される。（ｃ）に示すようにファイルが呼び出され表示部１０１にファイルの内容が表示される。
【００５０】
図９は、キーワード検索を行なう際の表示画面の状態を示した図である。図９（ａ）に示すように、［Ｓｅａｒｃｈ］（コマンドを示す文字）と、［キーワード］（コマンドを示す文字及びパラメータを示す文字以外の内容）を書き、丸で囲むことで検索のコマンドオブジェクトを作成する。（ｂ）に示すように検索のコマンドオブジェクトを実行（ここではタッチあるいはクリック）することにより、表示画面に書かれている情報を対象にキーワード検索するためのコマンド実行命令が出力される。（ｃ）に示すようにキーワードと一致する文字の色が赤色や青色に変わって表示される。
【００５１】
図１０は、文字の置換を行う際の表示画面の状態を示した図である。図１０（ａ）に示すように、［電話→ＴＥＬ］を書き、丸で囲むことで置換のコマンドオブジェクトを作成する。（ｂ）に示すように置換のコマンドオブジェクトを実行（ここではタッチあるいはクリック）することにより、表示画面に書かれている情報を対象に［電話］を［ＴＥＬ］に置き換えるためのコマンド実行命令が出力される。（ｃ）に示すように画面に書かれている［電話］が［ＴＥＬ］へ置換される。
【００５２】
上記実施形態によれば、図形（ストロークを含む）、すなわちジェスチャーと、文字と、の組み合わせによってコマンドオブジェクトとして認識されコマンド実行命令が出力される。すなわち、ジェスチャーは各機能を実行させるためのコマンドそのものではなく、文字をコマンドとして認識させるためのものであり、文字とジェスチャーとの組み合わせ情報でコマンドオブジェクトとして認識される。つまり、ユーザーは文字とジェスチャーとの組み合わせ情報を同じ描画エリアに手書きすればよいので、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができる。
【００５３】
また、上記実施形態によれば、コマンドのみならず、パラメータも文字とジェスチャーとの組み合わせによって与えることができる。コマンドとパラメータを異なる文字で表現すれば、コマンドとして認識させるためのジェスチャーと、パラメータとして認識させるためのジェスチャーと、を共通のジェスチャー（図２に示した例では「丸」、「二重丸」、「二本線」、「波線」、「線の終端に黒丸」及び「丸の終端に黒丸」が共通のジェスチャーである。）として使用することができる。したがって、コマンドやパラメータの種類が増えても、ユーザーが覚えなければならないジェスチャーの数は増加することがなく、利便性の向上を図ることができる。
【００５４】
また、上記実施形態によれば、図形の運筆（軌跡、ストローク、筆跡）によってコマンド実行命令を出力するか否かを決定することができる。すなわち、同じ図形であっても運筆が異なる場合はジェスチャーとして認識することなく、単なる図形として認識する。したがって、ユーザーは意図的に運筆を変えることで、文字をコマンドやパラメータとして認識させることができる。
【００５５】
また、上記実施形態によれば、図５に示したように、文字［印刷］とジェスチャー［丸］との組み合わせ情報を印刷コマンドとして認識し、文字［Ａ４］とジェスチャー［丸］との組み合わせ情報をパラメータとして認識することができる。さらに、図９や図１０に示したように、コマンドやパラメータを示す文字以外の他の文字をキーワードとして、キーワード検索を行なったり、キーワードで置換したりすることもできる。
【００５６】
なお、上記実施形態ではコマンド発生装置として、タブレットＰＣ１０を例示して説明したが、タブレットＰＣ１０に限定されることなく、手書き入力した軌跡をデジタルデータに変換し、元の画像データに合成して表示できる装置にも採用することができる。例えば、インタラクティブタイプの電子黒板システムなどがある。
【００５７】
なお、指先やスタイラスペンの軌跡を検出し、デジタルデータに変換する手段としては、上記実施形態で説明した感圧方式や静電方式の他、以下の方式を採用することもできる。
（レーザー型）
ホワイトボードの上辺の両端に赤外線レーザーが設置されており、レーザー光線が投写面の表面を監視しており、スタイラスペンについている反射板がレーザー光線を反射することで、その位置を検出する構成である。
（赤外線、超音波型）
ホワイトボードの上下左右に赤外線発行素子を置き、縦横斜めに赤外線を走らせ、遮られた位置を検出することにより、座標を取得する構成である。
（光学、赤外線型）
ホワイトボードの表面を指やマーカーで押すとボード上の表面を監視している赤外線発光装置と受光装置によって三角法的に位置を取得する構成である。
【００５８】
また、上記実施形態では、表示部１０１、情報検出部１０３、画像処理部１１１、ジェスチャー認識部１１３、コマンド認識部１１５、コマンド実行命令出力部１１７、文字認識辞書１２１、ジェスチャー認識辞書１２３及びコマンド認識辞書１２５をタブレットＰＣ１０が備えていたが、各機能部は、データ出力システムを構成する装置の何れに構成されてもよい。例えば図１１に示すように、プロジェクター２０に上述した機能を構成させて、表示部１０１に相当するホワイトボードＷＢに手書きされた情報の軌跡を内蔵のカメラ（情報検出部）で撮像してもよい。
【符号の説明】
【００５９】
１：データ出力システム、１０：タブレットＰＣ、２０：プロジェクター、３０：プリンター、４０：メールサーバー、１０１：表示部、１０３：情報検出部、１０５：制御部、１０７：記憶部、１０９：送受信部、１１１：画像処理部、１１３：ジェスチャー認識部、１１５：コマンド認識部、１１７：コマンド実行命令出力部、１２１：文字認識辞書、１２３：ジェスチャー認識辞書、１２５：コマンド認識辞書。
【技術分野】
【０００１】
本発明は、コマンド生成装置、その制御方法及びそれを備えたプロジェクターに関する。
【背景技術】
【０００２】
電子黒板やタブレットＰＣなど、スタイラスペンや指による手書き入力が可能な機器が各種提案されている。これらの機器では、スタイラスペンや手により画面にタッチする行為が、描く、消す、指定する等の複数種類の入力指示を与えることができる。手書きで描く行為以外に、メールの送信、印刷、ファイルの入出力等の他の機能を呼び出す場合は、操作モードをマウスモードなどに切り替えたり、キーボードを利用して操作する必要がある。
【０００３】
特許文献１には、スタイラスペンによる手書き操作と類似の操作（ジェスチャー）で、手書きしたものを削除、移動、サイズ変更することを可能にし、利便性を向上させた手書き入力情報処理装置が記載されている。編集処理種別を指定するための手書き編集コマンドとして、「消去」は消しゴムを擦ったイメージのギザギザを複数回入力し、「移動」は「矢」印、「拡大・縮小」は「＜」印、「回転」は「曲線状の矢」印、「陰影」は陰影の方向を考えて「ギザギザ状の鍵括弧」印といったように、それぞれの編集内容をイメージさせる図形を入力することで、各機能を実行することができるようになっている。
【０００４】
また、特許文献２にも、手書入力手段によって入力された手書きデータを手書きコマンドとして解釈し、解釈されたコマンドの入力位置に対応するデータの少なくとも一部を、手書コマンドの処理対象として特定する方法が記載されている。削除、検索、コピー等といった機能をジェスチャーに割り当てている。
【０００５】
また、特許文献３には、手書き操作によるコマンドの文字入力を受け付けるコマンドエリアとコマンド以外の文字入力を受け付ける描画エリアとを区別し、コマンドエリアの方に文字を手書き入力することで各機能を実行させる情報処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０８−２６３６８８号公報
【特許文献２】特開２００７−４２０５０号公報
【特許文献３】特開平０６−７５６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１及び２によれば、各機能を実行させるコマンドに対応するジェスチャーを登録しておく必要がある。機能の種類が多いと登録するジェスチャーの数も増える。つまり、ユーザーが覚えなければならないジェスチャーの数も増加するため、利便性が低下する。また、特許文献３によれば、表示面上でコマンドエリアと描画エリアを区別し、表示面の一部はコマンドエリアによって利用されてしまうため、描画エリアを大きく利用することができず、やはり利便性に劣る点がある。
【０００８】
本発明は、上記課題を解決するためになされたものであって、コマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができるコマンド発生装置、その制御方法及びそれを備えたプロジェクターを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決することのできる本発明のコマンド発生装置は、指示位置の軌跡により入力された情報を検出する情報検出部と、前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であることに応じて、前記文字をコマンドとして認識するコマンド認識部と、認識したコマンドについて実行命令を出力するコマンド実行命令出力部と、を有することを特徴とする。
上記構成によれば、文字と図形との組み合わせによってコマンドを実行する。図形は各機能を実行するためのコマンドそのものではなく、文字をコマンドとして認識させるためのものである。文字と図形との組み合わせを同じ描画エリアに手書きすれば文字と図形との組み合わせ情報でコマンドを認識することができる。このため、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができる。
【００１０】
また、本発明のコマンド発生装置において、前記コマンド認識部は、前記情報に、前記コマンドに対するパラメータを示す文字と前記文字をパラメータとして認識させるための図形とを組み合わせた追加情報が含まれていることに応じて、前記文字をパラメータとして認識し、前記コマンド実行命令出力部は、認識したパラメータを利用した前記コマンドの実行命令を出力することを特徴とする。
上記構成によれば、コマンドのみならず、パラメータも文字と図形との組み合わせによって与えることができる。この場合、コマンドとパラメータを異なる文字で表現すれば、コマンドとして認識させるための図形と、パラメータとして認識させるための図形と、を共通の図形として使用することができる。したがって、パラメータが増えても、ユーザーが覚えなければならない図形（ジェスチャー）の数が増加することがなく、利便性の向上を図ることができる。
【００１１】
また、本発明のコマンド発生装置において、前記コマンド実行命令出力部は、前記図形が所定の軌跡で描画されていることに応じて、前記実行命令を出力することを特徴とする。
上記構成によれば、図形の形だけでなく、運筆（軌跡、ストローク、筆跡）によって実行命令を出力するか否かを決定することができる。したがって、通常使用する図形でも、ユーザーは意図的に手書き文字の軌跡を変えることで、文字をコマンドやパラメータとして認識させることができる。
【００１２】
また、本発明のコマンド発生装置において、前記コマンド実行命令出力部は、前記情報に、前記組合せ情報及び前記追加情報以外の他の情報が含まれていることに応じて、前記他の情報について前記コマンドの実行命令を出力することを特徴とする。
上記構成によれば、例えば、組み合わせ情報を印刷コマンドとして認識し、追加情報をパラメータとしてＡ４サイズを認識すれば、他の情報についてＡ４サイズで印刷したり、ファイルとして保存したりすることができる。
【００１３】
また、本発明のコマンド発生装置において、前記コマンド実行命令出力部は、前記図形の中に前記コマンドを示す文字及び前記パラメータを示す文字以外の内容が含まれていることに応じて、前記内容に基づいた前記コマンドの実行命令を出力することを特徴とする。
上記構成によれば、例えば、コマンドやパラメータを示す文字以外の内容をキーワードとして、キーワード検索を行なったり、置き換えたりすることもできる。
【００１４】
また、上記課題を解決することのできる本発明のコマンド発生装置の制御方法は、手書き入力された情報を検出するステップと、前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であるか否かを判定するステップと、前記情報の内容が組み合わせ情報であることに応じて、前記文字をコマンドとして認識するステップと、認識したコマンドについて実行命令を出力するステップと、を有することを特徴とする。
上記構成によれば、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることが可能なコマンド発生装置の制御方法を提供することができる。
【００１５】
上記の何れかに記載のコマンド発生装置を備えることを特徴とするプロジェクター。
上記構成によれば、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、表示面上で描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させるプロジェクターを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態のデータ出力システムの概略構成を示す図である。
【図２】ジェスチャー認識辞書の一例を示す図である。
【図３】コマンド認識辞書の一例を示す図である。
【図４】本実施形態の投写システムにおけるタブレットＰＣが実行する処理を説明するためのフローチャートである。
【図５】（ａ）は、文字が手書きされたときの表示画面を示す図であり、（ｂ）は、手書き文字がコマンド化されたときの表示画面を示す図であり、（ｃ）は、コマンドの実行を指示するときの表示画面を示す図であり、（ｄ）は、印刷コマンドを実行した後の表示画面を示す図である。
【図６】（ａ）は、印刷という文字がコマンド化されたときの表示画面を示す図であり、（ｂ）は、コマンド化されたオブジェクトを解除するときの表示画面を示す図であり、（ｃ）は、コマンド化されたオブジェクトを解除した後の表示画面を示す図である。
【図７】（ａ）は、Ｆｉｌｅという文字がコマンド化されたときの表示画面を示す図であり、（ｂ）は、ファイルとして保存するためのコマンドの実行を指示するときの表示画面を示す図であり、（ｃ）は、Ｆｉｌｅコマンドを実行した後の表示画面を示す図である。
【図８】（ａ）は、Ｆｉｌｅという文字がコマンド化されたときの表示画面を示す図であり、（ｂ）は、ファイルを読み出すためのコマンドの実行を指示するときの表示画面を示す図であり、（ｃ）は、Ｆｉｌｅコマンドを実行した後の表示画面を示す図である。
【図９】（ａ）は、Ｓｅａｒｃｈという文字がコマンド化されたときの表示画面を示す図であり、（ｂ）は、キーワードを検索するためのコマンドの実行を指示するときの表示画面を示す図であり、（ｃ）は、Ｓｅａｒｃｈコマンドを実行した後の表示画面を示す図である。
【図１０】（ａ）は、文字がコマンド化されたときの表示画面を示す図であり、（ｂ）は、キーワードを置き換えるためのコマンドの実行を指示するときの表示画面を示す図であり、（ｃ）は、置換コマンドを実行した後の表示画面を示す図である。
【図１１】本発明のコマンド発生装置をプロジェクターに搭載した場合の例を示した図である。
【発明を実施するための形態】
【００１７】
以下、本発明に係るコマンド発生装置及びその制御方法の好適な実施形態について、図面を参照して詳細に説明する。
本実施形態では、コマンド発生装置としてタブレットＰＣを例示し、タブレットＰＣの表示面に表示される画像と同じ画像データを、タブレットＰＣと通信可能に接続されたプロジェクター、プリンター及びメールサーバー等へ出力するデータ出力システム１として説明する。
【００１８】
＜データ出力システムの概略構成について＞
図１に示すようにデータ出力システム１は、タブレットＰＣ１０から送信された画像をスクリーン等の投写面に向けて拡大投写するプロジェクター２０と、タブレットＰＣ１０から送信されたデータを印刷するプリンター３０と、タブレットＰＣ１０から送信されたデータを電子メールに添付して指定された宛先に送信するメールサーバー４０と、を備え、各装置は互いに有線あるいは無線ＬＡＮによって接続されている。なお、プロジェクター２０、プリンター３０及びメールサーバー４０は、一般的な構成であるため、詳細なハードウェア構成については説明を省略する。
【００１９】
プロジェクター２０は、タブレットＰＣ１０との間で各種データの送受信を行なうためのインターフェイス、画像を投写する投写ランプや投写ランプからの投写光をスクリーン上に拡大投射する投写レンズなど、各種画像信号処理系および光学系から成る投写手段を有している。プリンター３０は、タブレットＰＣ１０との間で各種データの送受信を行なうためのインターフェイス、受信したデータに基づいて印刷処理を行う印刷機構部などを有している。また、メールサーバー４０は、タブレットＰＣ１０や外部ネットワークとの間で各種データの送受信を行なうためのインターフェイス、このメールサーバー４０が管理するユーザー認証情報や自らが管理する電子メールアドレスの宛先などが格納される記憶部を有している。相手先を振り分けるメール転送エージェントや振り分けられたメールをサーバ内のユーザーや別のサーバへ配送するなどの機能を備えており、タブレットＰＣ１０から受信した画像ファイルを指定された送信先へ電子メールを送信することができるようになっている。
【００２０】
タブレットＰＣ１０は、演算処理の中枢をなす不図示のＣＰＵを備えており、このＣＰＵはシステムバスを介してＲＯＭやＲＡＭにアクセス可能となっている。また、システムバスには外部記憶装置としてのハードディスクドライブが接続されており、ハードディスクドライブに記憶されたＯＳ（Operating System）やアプリケーションなどがＲＡＭに転送され、ＣＰＵはＲＯＭとＲＡＭに適宜アクセスしてソフトウェアを実行する。
【００２１】
本実施形態では、ハードディスクドライブにはプレゼンテーション用アプリケーションや、操作位置検出プログラム、文字認識アプリケーション等が記憶されている。ＣＰＵがＯＳやこれらのプログラムを実行することによって、スタイラスペンによって表示部１０１上に手書きされた描画情報をデジタルデータに変換し、例えばプレゼンテーション用のコンテンツ画像に合成し、プロジェクター２０へ送信することができる。
【００２２】
タブレットＰＣ１０のＣＰＵが、ＯＳやプレゼンテーション用アプリケーション、操作位置検出プログラム、文字認識アプリケーションを実行することによって、図１に示すように、タブレットＰＣ１０には、表示部１０１、情報検出部１０３、制御部１０５、記憶部１０７、送受信部１０９が構成される。
【００２３】
表示部１０１は、画像や操作内容を表示する液晶ディスプレイである。情報検出部１０３は、スタイラスペンによる表示部１０１への書き込みや、各種キー操作を行うための入力操作を検出するタッチパネルである。
情報検出部１０３は、スタイラスペンが表示面１０１に触れた位置を検出しデジタルデータに変換し、表示面上に描かれた描画データを制御部１０５へ出力する。なお、表示面に接触した位置を検出する方法としては、圧力の変化を感知する感圧方式や、静電気による電気信号を感知する静電方式等がある。
【００２４】
制御部１０５には、画像処理部１１１と、ジェスチャー認識部１１３と、コマンド認識部１１５と、コマンド実行命令出力部１１７と、が構成される。
画像処理部１１１は、ハードディスクドライブ等の各種ドライブに保存されているコンテンツファイルに基づいて画像データを取得し、表示部１０１に表示させたり、プロジェクター２０に投写させる画像データの処理を行う。また、画像処理部１１１は、情報検出部１０３から取得した描画データに基づいて、ユーザーが手書きした情報を画像データに合成する。合成した画像データは、表示部１０１へ出力するとともに、送受信部１０９を介してプロジェクター２０へ送信される。
【００２５】
ジェスチャー認識部１１３は、情報検出部１０３から取得した描画データに基づいて、ユーザーが手書きしたスタイラスペンの軌跡が示す図形を認識する。認識した図形が予め定義されているジェスチャーと一致するか否かを判定する。一致したことに応じて、そのジェスチャーが、対応する機能を実行させるために入力されたジェスチャーであることを認識し、入力されたジェスチャーに対応する機能をコマンド認識部１１５へ通知する。なお、図形がジャスチャーと一致するか否かは、その形状のみならず、スタイラスペンによる運筆（軌跡、ストローク、筆跡）も考慮して判定する。
【００２６】
コマンド認識部１１５は、ジェスチャー認識部１１３が認識したジェスチャーの範囲内に含まれている情報について文字認識を行なう。文字認識により得られたテキスト文字が、予め定義されているコマンドと一致するか否かを判定する。一致したことに応じて、そのテキスト文字とジェスチャー認識部１１３が認識したジェスチャーとを組み合わせ情報として認識する。そして、コマンド認識部１１５は、組み合わせ情報であることに応じて、そのテキスト文字を対応する機能を実行させるために入力されたコマンドとして認識する。入力されたコマンドに対応する機能をコマンド実行命令出力部１１７へ通知する。
【００２７】
また、コマンド認識部１１５は、ジェスチャー認識部１１３が認識したジェスチャーの範囲内に含まれている情報について文字認識を行い、文字認識により得られたテキスト文字が、予め定義されているパラメータと一致するか否かを判定する。一致したことに応じて、そのテキスト文字とジェスチャー認識部１１３が認識したジェスチャーとを追加情報として認識する。そして、コマンド認識部１１５は、追加情報であることに応じて、そのテキスト文字をコマンドに対して与えられたパラメータとして認識する。入力されたパラメータをコマンド実行命令出力部１１７へ通知する。
【００２８】
さらに、コマンド認識部１１５は、文字認識により得られたテキスト文字に、予め定義されているコマンド及びパラメータとも一致しない他の文字が含まれていることに応じて、当該他の文字をキーワードとして認識する。そして、入力されたキーワードをコマンド実行命令出力部１１７へ通知する。
【００２９】
コマンド実行命令出力部１１７は、コマンド認識部１１５からの通知を受けて、コマンド認識部１１５が認識したコマンドの実行命令を生成し出力する。コマンドの実行命令はその機能を実行する各装置２０,３０,４０へ送信される。
【００３０】
また、コマンド実行命令出力部１１７は、ジェスチャー認識部１１３及びコマンド認識部１１５からの通知を受けて、コマンド認識部１１５が認識したパラメータを利用したコマンドの実行命令を生成し出力する。コマンドの実行命令はその機能を実行させる装置へ送信される。
【００３１】
また、コマンド実行命令出力部１１７は、情報検出部１０３から取得した描画データに、上述した組み合わせ情報及び追加情報以外の他の情報が含まれていることに応じて、当該他の情報についてコマンドの実行命令を出力する。なお、他の情報としては、例えばユーザーが手書きした会議の内容や、表示されているコンテンツ画像に追加して手書きされたメモなど、コマンドやパラメータとして認識させる必要のない情報のことである。
【００３２】
また、コマンド実行命令出力部１１７は、コマンド認識部１１５からの通知を受けて、ジェスチャー認識部１１３が認識したジェスチャーが示す範囲内に、コマンドを示す文字及びパラメータを示す文字以外の内容が含まれていることに応じて、当該内容に基づいたコマンドの実行命令を出力する。なお、コマンドを示す文字及びパラメータを示す文字以外の内容とは、例えば、コマンド認識辞書１２５に登録されていない文字のことである。具体的には、ファイルを読み出す際のファイル名や、キーワード検索や置換を行う場合のキーワードなどである。
【００３３】
記憶部１０７は、例えばＲＯＭやハードディスクドライブの所定の記憶領域であり、ここでは文字認識辞書１２１、ジェスチャー認識辞書１２３及びコマンド認識辞書１２５が記憶されている。文字認識辞書１２１は、描画データと、描画データに対応付けられた文字のフォントデータと、の関係が定義された辞書である。文字認識辞書１２１を備えることによって、ユーザーがスタイラスペンで表示部１０１に手書きした情報を、テキスト文字に変換することができる。
【００３４】
ジェスチャー認識辞書１２３は、図２に示すように、機能と、機能に対応付けられた図形（ストロークを含む）と、の関係が定義された辞書である。ここでは、「コマンド／パラメータであることを認識する」ための図形として、「丸」、「二重丸」、「二本線」、「波線」、「線の終端に黒丸」、「丸の終端に黒丸」が対応付けられている。なお、「丸」、「二重丸」、「二本線」については、「丸」、「二重丸」、「二本線」の各図形として認識しても、描いたときのストロークを認識してもよい。また、「丸」、「二重丸」、「丸の終端に黒丸」については、丸の内側に書かれた文字がコマンドとして認識される。また、「二本線」、「波線」、「線の終端に黒丸」については、線の上（破線で示した領域）に書かれた文字がコマンドとして認識される。
【００３５】
さらに、「パラメータを与える、起動する」ための図形として、「矢印１」、「矢印２」、「両端に黒丸つき線」が対応付けられている。なお、「矢印１」及び「矢印２」は、矢印の元にあるものの内容を矢印の先にある内容（オブジェクト）のパラメータとして入力することができる。
【００３６】
さらに、「コマンドオブジェクトになったものを解除する」ための図形として、「バツ」、「二重取り消し線」、「斜線つき二重取り消し線」が対応付けられている。これらの図形を、コマンドとして認識されたオブジェクトに重ねて書くことによって、１度認識されたコマンドを単なる図形として再認識する。
【００３７】
コマンド認識辞書１２５は、図３に示すように、機能と、機能に対応付けられたコマンドとして書く文字と、の関係が定義された辞書である。例えば、プリンター３０に印刷を実行させたいときは、コマンドとして書く文字は「印刷」、「プリント」、「プリンター」の何れかである。また、「Ａ４、カラーで印刷」のように、パラメータとして書く文字［Ａ４］及び［カラー］を含む文章で指定することもできる。また、メールを送りたいときは「［名前］さんにメール」と書くと、名前に対応するメールアドレス宛にメールが送信される。この場合は、名前に対応するメールアドレスをコマンド認識辞書１２５に登録しておけばよい。
【００３８】
送受信部１０９は、プロジェクター２０、プリンター３０及びメールサーバー４０等とのデータの送受信を行うための通信インターフェイス、および無線ドライバ等である。コマンド実行命令出力部１１７が出力した実行命令は、送受信部１０９を介して各装置へ送信される。なお、送受信部１０９は、有線接続のためのコネクターおよびＬＡＮケーブル等によって構成することも可能である。
【００３９】
＜タブレットＰＣの制御方法について＞
次に、上記説明したデータ出力システムにおけるタブレットＰＣの制御方法について図４〜図１０を参照して説明する。
ユーザーがスタイラスペンで表示部１０１に手書きすると、情報検出部１０３は描画データへ変換し制御部１０５へ送信する。ジェスチャー認識部１１３は、描画データに基づいて手書き入力された線の形状を認識する（ステップＳ１１）。
【００４０】
ジェスチャー認識部１１３は、ジェスチャー認識辞書１２３を参照して、線の形状が定義されている図形と一致するか否かを判定する。つまり、線の形状がジェスチャーとして登録されたものか否かを判定する（ステップＳ１３）。ジェスチャー認識辞書１２３の中に一致する図形（ストロークを含む）が登録されていれば（ステップＳ１３：Ｙｅｓ）、ジェスチャーとして認識する。次に、認識したジェスチャーがコマンドとして定義されているか否かを判定する（ステップＳ１５）。つまり、線の形状が、図２に示した図形のうち、ストロークを含め「丸」、「二重丸」、「二本線」、「波線」、「線の終端に黒丸」及び「丸の終端に黒丸」の何れかと一致する場合は、コマンド化されたジェスチャーであると判定し、コマンド認識部１１５へ通知する。
【００４１】
ジェスチャー認識部１１３がコマンド化されたジャスチャーであると判定すると（ステップＳ１５：Ｙｅｓ）、コマンド認識部１１５がそのジェスチャーが示す範囲、つまり丸の内側や線の上に含まれている情報の認識を行う。すなわち、コマンド認識部１１５は、文字認識辞書１２１を参照して、ジェスチャーが示す範囲内に書かれている描画データに基づいて文字認識を行い、テキスト文字に変換する（ステップＳ１９）。
【００４２】
さらに、コマンド認識部１１５は、文字認識して取得したテキスト文字と一致する文字が、図３に示したコマンド認識辞書１２５の中に登録されているか否かを判定する。登録されている文字が含まれていれば、コマンド認識部１１５は、そのテキスト文字とジェスチャー認識部１１３が認識したジェスチャーとを組み合わせ情報として認識する。組み合わせ情報であることに応じて、その組み合せ情報をコマンドオブジェクトとして認識する（ステップＳ２１：Ｙｅｓ）。画像処理部１１１は、コマンドオブジェクト部分の色を変更した画像データを生成し、表示部１０１やプロジェクター２０に表示させる（ステップＳ２３）。
【００４３】
一方、コマンド認識部１１５は、文字認識して取得したテキスト文字と一致する文字が、図３に示したコマンド認識辞書１２５の中に登録されていないと判定した場合は（ステップＳ２１：Ｎｏ）、そのジェスチャーと、ジェスチャーの範囲内に含まれる文字と、をオブジェクトの属性として保持する（ステップＳ２５）。
【００４４】
ところで、ステップＳ１５において、ジェスチャー認識部１１３は、認識したジェスチャーがコマンドとして定義されていないジェスチャーであると判定すると（ステップＳ１５：Ｎｏ）、パラメータを与えるためのジェスチャーであるか否かを判定する（ステップＳ２７）。つまり、線の形状が、図２に示した図形のうち矢印ジェスチャーか否かを判定する。「矢印１」、「矢印２」、「両端に黒丸つき線」の何れかと一致する場合は、コマンド実行命令出力部１１７が矢印でつないでいるオブジェクトを特定する（ステップＳ２９）。さらに、コマンド実行命令出力部１１７は、矢印先のコマンドオブジェクトに、矢印元のデータパラメータとして与え、コマンド実行命令を出力する（ステップＳ３１）。
【００４５】
一方、ステップＳ２７において、ジェスチャー認識部１１３は、認識したジェスチャーが図２に示した図形のうち矢印ジェスチャーではないと判定すると（ステップＳ２７：Ｎｏ）、その他のジェスチャーに定義付けられている動作を実行する（ステップＳ３３）。
【００４６】
図５は、表示画面の情報を印刷する際の表示画面の状態を示した図である。図５（ａ）に示すように、ユーザーがスタイラスペンで表示部１０１上に手書きした後、（ｂ）に示すように、コマンドを示す文字［印刷］及びパラメータを示す文字［Ａ４］を丸で囲むと、丸で囲まれた領域の中が青色や赤色に変わる。これにより、ユーザーはコマンドオブジェクト又はパラメータを示すオブジェクトになったことがわかる。さらに、（ｃ）に示すように、矢印を引くと、矢印の出元の四角で囲われた領域（ステップＳ２５でオブジェクトの属性として認識された領域）を印刷するための印刷コマンド実行命令がプロンターへ送信され、表示画面がＡ４サイズで印刷される。また、出元の領域が指定されていないときは画面全体を印刷してもよい。なお、（ｄ）に示すように、印刷を実行するために使われた図形やストローク(四角の範囲指定や矢印)は機能の実行完了後に自動的に消滅するよう設定してもよい。
【００４７】
図６は、コマンド化されたオブジェクトを解除する際の表示画面の状態を示した図である。図６（ａ）に示すように、ユーザーはスタイラスペンで普通に書いていたものが、コマンドオブジェクトとして認識されてしまった場合は、（ｂ）に示すように解除の図形を描くことで、（ｃ）に示すようにコマンドとしての認識を解除するためのコマンド解除命令が出力され、コマンド化されたオブジェクトが解除される。
【００４８】
図７は、表示画面の情報をファイルとして保存する際の表示画面の状態を示した図である。図７（ａ）に示すように、ファイル名をつけて保存する場合は、ファイルのコマンドオブジェクトを作成し、（ｂ）に示すように、保存を表す図形（この場合は内向き矢印）を描くことにより、画面の内容を保存するための保存コマンド実行命令が出力され、表示画面をファイルとして保存する。なお、（ｃ）に示すように、矢印は、ファイルが保存された後に自動的に消滅するよう設定してもよい。
【００４９】
図８は、ファイルを開く際の表示画面の状態を示した図である。図８（ａ）に示すように、［Ｆｉｌｅ］と、開きたいファイルの［ファイル名］（コマンドを示す文字及びパラメータを示す文字以外の内容）を書き、丸で囲むことでコマンドオブジェクトを作成する。（ｂ）に示すように、ファイルを開くことを表す図形（この場合は外向き矢印）を描くことにより、指定されたファイル名のファイルを開くためのコマンド実行命令が出力される。（ｃ）に示すようにファイルが呼び出され表示部１０１にファイルの内容が表示される。
【００５０】
図９は、キーワード検索を行なう際の表示画面の状態を示した図である。図９（ａ）に示すように、［Ｓｅａｒｃｈ］（コマンドを示す文字）と、［キーワード］（コマンドを示す文字及びパラメータを示す文字以外の内容）を書き、丸で囲むことで検索のコマンドオブジェクトを作成する。（ｂ）に示すように検索のコマンドオブジェクトを実行（ここではタッチあるいはクリック）することにより、表示画面に書かれている情報を対象にキーワード検索するためのコマンド実行命令が出力される。（ｃ）に示すようにキーワードと一致する文字の色が赤色や青色に変わって表示される。
【００５１】
図１０は、文字の置換を行う際の表示画面の状態を示した図である。図１０（ａ）に示すように、［電話→ＴＥＬ］を書き、丸で囲むことで置換のコマンドオブジェクトを作成する。（ｂ）に示すように置換のコマンドオブジェクトを実行（ここではタッチあるいはクリック）することにより、表示画面に書かれている情報を対象に［電話］を［ＴＥＬ］に置き換えるためのコマンド実行命令が出力される。（ｃ）に示すように画面に書かれている［電話］が［ＴＥＬ］へ置換される。
【００５２】
上記実施形態によれば、図形（ストロークを含む）、すなわちジェスチャーと、文字と、の組み合わせによってコマンドオブジェクトとして認識されコマンド実行命令が出力される。すなわち、ジェスチャーは各機能を実行させるためのコマンドそのものではなく、文字をコマンドとして認識させるためのものであり、文字とジェスチャーとの組み合わせ情報でコマンドオブジェクトとして認識される。つまり、ユーザーは文字とジェスチャーとの組み合わせ情報を同じ描画エリアに手書きすればよいので、従来のようにコマンドに対応するジェスチャーの数を増加させることなく、かつ、描画エリアとコマンドエリアとを区別する必要なくコマンドを実行させることができる。
【００５３】
また、上記実施形態によれば、コマンドのみならず、パラメータも文字とジェスチャーとの組み合わせによって与えることができる。コマンドとパラメータを異なる文字で表現すれば、コマンドとして認識させるためのジェスチャーと、パラメータとして認識させるためのジェスチャーと、を共通のジェスチャー（図２に示した例では「丸」、「二重丸」、「二本線」、「波線」、「線の終端に黒丸」及び「丸の終端に黒丸」が共通のジェスチャーである。）として使用することができる。したがって、コマンドやパラメータの種類が増えても、ユーザーが覚えなければならないジェスチャーの数は増加することがなく、利便性の向上を図ることができる。
【００５４】
また、上記実施形態によれば、図形の運筆（軌跡、ストローク、筆跡）によってコマンド実行命令を出力するか否かを決定することができる。すなわち、同じ図形であっても運筆が異なる場合はジェスチャーとして認識することなく、単なる図形として認識する。したがって、ユーザーは意図的に運筆を変えることで、文字をコマンドやパラメータとして認識させることができる。
【００５５】
また、上記実施形態によれば、図５に示したように、文字［印刷］とジェスチャー［丸］との組み合わせ情報を印刷コマンドとして認識し、文字［Ａ４］とジェスチャー［丸］との組み合わせ情報をパラメータとして認識することができる。さらに、図９や図１０に示したように、コマンドやパラメータを示す文字以外の他の文字をキーワードとして、キーワード検索を行なったり、キーワードで置換したりすることもできる。
【００５６】
なお、上記実施形態ではコマンド発生装置として、タブレットＰＣ１０を例示して説明したが、タブレットＰＣ１０に限定されることなく、手書き入力した軌跡をデジタルデータに変換し、元の画像データに合成して表示できる装置にも採用することができる。例えば、インタラクティブタイプの電子黒板システムなどがある。
【００５７】
なお、指先やスタイラスペンの軌跡を検出し、デジタルデータに変換する手段としては、上記実施形態で説明した感圧方式や静電方式の他、以下の方式を採用することもできる。
（レーザー型）
ホワイトボードの上辺の両端に赤外線レーザーが設置されており、レーザー光線が投写面の表面を監視しており、スタイラスペンについている反射板がレーザー光線を反射することで、その位置を検出する構成である。
（赤外線、超音波型）
ホワイトボードの上下左右に赤外線発行素子を置き、縦横斜めに赤外線を走らせ、遮られた位置を検出することにより、座標を取得する構成である。
（光学、赤外線型）
ホワイトボードの表面を指やマーカーで押すとボード上の表面を監視している赤外線発光装置と受光装置によって三角法的に位置を取得する構成である。
【００５８】
また、上記実施形態では、表示部１０１、情報検出部１０３、画像処理部１１１、ジェスチャー認識部１１３、コマンド認識部１１５、コマンド実行命令出力部１１７、文字認識辞書１２１、ジェスチャー認識辞書１２３及びコマンド認識辞書１２５をタブレットＰＣ１０が備えていたが、各機能部は、データ出力システムを構成する装置の何れに構成されてもよい。例えば図１１に示すように、プロジェクター２０に上述した機能を構成させて、表示部１０１に相当するホワイトボードＷＢに手書きされた情報の軌跡を内蔵のカメラ（情報検出部）で撮像してもよい。
【符号の説明】
【００５９】
１：データ出力システム、１０：タブレットＰＣ、２０：プロジェクター、３０：プリンター、４０：メールサーバー、１０１：表示部、１０３：情報検出部、１０５：制御部、１０７：記憶部、１０９：送受信部、１１１：画像処理部、１１３：ジェスチャー認識部、１１５：コマンド認識部、１１７：コマンド実行命令出力部、１２１：文字認識辞書、１２３：ジェスチャー認識辞書、１２５：コマンド認識辞書。
【特許請求の範囲】
【請求項１】
指示位置の軌跡により入力された情報を検出する情報検出部と、
前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であることに応じて、前記文字をコマンドとして認識するコマンド認識部と、
認識したコマンドについて実行命令を出力するコマンド実行命令出力部と、
を有することを特徴とするコマンド発生装置。
【請求項２】
前記コマンド認識部は、前記情報に、前記コマンドに対するパラメータを示す文字と前記文字をパラメータとして認識させるための図形とを組み合わせた追加情報が含まれていることに応じて、前記文字をパラメータとして認識し、
前記コマンド実行命令出力部は、認識したパラメータを利用した前記コマンドの実行命令を出力することを特徴とする請求項１に記載のコマンド発生装置。
【請求項３】
前記コマンド実行命令出力部は、前記図形が所定の軌跡で描画されていることに応じて、前記実行命令を出力することを特徴とする請求項１又は２に記載のコマンド発生装置。
【請求項４】
前記コマンド実行命令出力部は、前記情報に、前記組合せ情報及び前記追加情報以外の他の情報が含まれていることに応じて、前記他の情報について前記コマンドの実行命令を出力することを特徴とする請求項１〜３の何れか１項に記載のコマンド発生装置。
【請求項５】
前記コマンド実行命令出力部は、前記図形の中に前記コマンドを示す文字及び前記パラメータを示す文字以外の内容が含まれていることに応じて、前記内容に基づいた前記コマンドの実行命令を出力することを特徴とする請求項１〜４の何れか１項に記載のコマンド発生装置。
【請求項６】
手書き入力された情報を検出するステップと、
前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であるか否かを判定するステップと、
前記情報の内容が組み合わせ情報であることに応じて、前記文字をコマンドとして認識するステップと、
認識したコマンドについて実行命令を出力するステップと、を有することを特徴とするコマンド発生装置の制御方法。
【請求項７】
請求項１〜５の何れか１項に記載のコマンド発生装置を備えることを特徴とするプロジェクター。
【請求項１】
指示位置の軌跡により入力された情報を検出する情報検出部と、
前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であることに応じて、前記文字をコマンドとして認識するコマンド認識部と、
認識したコマンドについて実行命令を出力するコマンド実行命令出力部と、
を有することを特徴とするコマンド発生装置。
【請求項２】
前記コマンド認識部は、前記情報に、前記コマンドに対するパラメータを示す文字と前記文字をパラメータとして認識させるための図形とを組み合わせた追加情報が含まれていることに応じて、前記文字をパラメータとして認識し、
前記コマンド実行命令出力部は、認識したパラメータを利用した前記コマンドの実行命令を出力することを特徴とする請求項１に記載のコマンド発生装置。
【請求項３】
前記コマンド実行命令出力部は、前記図形が所定の軌跡で描画されていることに応じて、前記実行命令を出力することを特徴とする請求項１又は２に記載のコマンド発生装置。
【請求項４】
前記コマンド実行命令出力部は、前記情報に、前記組合せ情報及び前記追加情報以外の他の情報が含まれていることに応じて、前記他の情報について前記コマンドの実行命令を出力することを特徴とする請求項１〜３の何れか１項に記載のコマンド発生装置。
【請求項５】
前記コマンド実行命令出力部は、前記図形の中に前記コマンドを示す文字及び前記パラメータを示す文字以外の内容が含まれていることに応じて、前記内容に基づいた前記コマンドの実行命令を出力することを特徴とする請求項１〜４の何れか１項に記載のコマンド発生装置。
【請求項６】
手書き入力された情報を検出するステップと、
前記情報の内容が、特定のコマンドを示す文字と前記文字をコマンドとして認識させるための図形とを組み合わせた組み合わせ情報であるか否かを判定するステップと、
前記情報の内容が組み合わせ情報であることに応じて、前記文字をコマンドとして認識するステップと、
認識したコマンドについて実行命令を出力するステップと、を有することを特徴とするコマンド発生装置の制御方法。
【請求項７】
請求項１〜５の何れか１項に記載のコマンド発生装置を備えることを特徴とするプロジェクター。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２０３８２９（Ｐ２０１１−２０３８２９Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−６８３３９（Ｐ２０１０−６８３３９）
【出願日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]