空間手書きシステム及び電子ペン
【課題】自然な動作でストロークの切れ目を表現することができ、ストロークの切れ目が正確な反映された手書き画像を表示／保存する。
【解決手段】外部機器と通信可能な電子ペンであって、ペン先の３次元空間の座標を検出する座標検出部と、空間内に設定されたポイントに基づいて仮想平面を作成する仮想平面作成部と、前記３次元空間の座標の変化に基づいて前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた閾値を超えた場合にストロークの切れ目として認識するストローク検出部と、前記ストロークの切れ目から次の切れ目までの連続するストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、変換した前記平面座標の情報を前記外部機器に出力する通信部と、を備える。
【解決手段】外部機器と通信可能な電子ペンであって、ペン先の３次元空間の座標を検出する座標検出部と、空間内に設定されたポイントに基づいて仮想平面を作成する仮想平面作成部と、前記３次元空間の座標の変化に基づいて前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた閾値を超えた場合にストロークの切れ目として認識するストローク検出部と、前記ストロークの切れ目から次の切れ目までの連続するストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、変換した前記平面座標の情報を前記外部機器に出力する通信部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間手書きシステム及び電子ペンに関し、特に、仮想平面上に手書きした文字や図形を表示／保存可能にする空間手書きシステム及び仮想平面上に文字や図形を手書きする電子ペンに関する。
【背景技術】
【０００２】
アイデアを書き留める方法として、ペンとノートを用いる方法が一般的である。しかしながら、この方法では、どこで思いつくか分からないアイデアを書き留めるために、常にペンとノートを携帯しなければならず不便である。このような背景から、電子ペンを用いて空中に手書きした画像を表示したり保存したりする技術が提案されている。
【０００３】
例えば、下記特許文献１には、所望の空間に設定した仮想面に手書きで書き込む様子を撮像した書き込み画像を入力する画像入力手段と、前記書き込み画像から画像処理により手書きの軌跡を抽出して手書き画像を得る手書き抽出手段と、前記手書き画像の書き込み位置に関する相対座標を検出する相対座標検出手段と、前記手書き画像を前記相対座標とともに記録する画像記録手段と、前記手書き画像を表示する画像表示手段及び該画像表示手段からの光を反射するとともに使用者の視線方向の実視野からの光を透過する半透過型光学素子を少なくとも有する手書き画像表示装置とを備え、前記手書き画像表示装置の使用者から見て前記半透過型光学素子よりも前方の実視野に前記画像表示手段が表示する手書き画像の虚像を重畳して表示する手書き画像表示システムが開示されている。また、下記特許文献２にも、同様の手書き画像表示システムが開示されている。
【０００４】
また、下記特許文献３には、指先に装着されるセンサと、このセンサの移動に伴う空間位置に対応する空間座標を順次検出する検出手段と、この検出手段により順次検出される空間座標により、上記センサの移動速度と加速度とを測定する測定手段と、この測定手段により測定された移動速度と加速度とにより、上記センサにより描かれるトレース像を抽出する抽出手段と、この抽出手段により抽出されたトレース像を記憶する記憶手段と、を具備した空間手書き文字図形入力装置が開示されている。
【０００５】
また、下記特許文献４には、仮想対象に対するジェスチャーに従う制御を行うシステムであって、前記仮想対象に対するジェスチャーを撮影する撮影手段と、前記仮想対象の位置を表す情報を含んだ仮想対象情報を記憶する記憶手段と、前記撮影手段により取得された撮影画像と、前記仮想対象情報とを基に、ジェスチャーでの操作部の前記仮想対象に対する交差度合いを特定する交差度合い特定手段と、特定された交差度合いに応じた出力を操作者に対して行う出力制御手段とを備える制御システムが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１５４９００号公報
【特許文献２】特開２００６−１５４９０２号公報
【特許文献３】特開平６−２８０９６号公報
【特許文献４】特開２０１０−２０５２２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、特許文献１、２には、カメラで手書き軌跡を抽出して手書き画像を取得し、その手書き画像を透明タイプのＨＭＤ（Head Mounted Display）で表示する技術が開示されているが、空間上に手書きする場合は文字や図形の線の切れ目が明確でないため、手書きした文字や図形をどのようにユーザに見せるか、どのようにユーザに感じさせるかが重要な課題となる。
【０００８】
この課題に対して、特許文献３では、指先と一体に移動するセンサの移動速度や加速度を測定し、一定速度以下になった場合にストローク（文字や図形を描画する動作）の切れ目であると判断しているが、この方法では、「口」のような角張った文字や「はね」がある文字では、角の部分や「はね」の部分でセンサの移動速度が大きく変化するため、文字の形状によってはストロークの切れ目を正確に判断することができないという問題がある。
【０００９】
また、特許文献４では、指と仮想平面の交差度合いに応じて表示出力を変えているが、この方法では、仮想平面に接触している感覚をユーザにフィードバックすることができないため、ユーザはストロークの切れ目を認識して手書きすることができないという問題がある。
【００１０】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、自然な動作でストロークの切れ目を表現することができ、ストロークの切れ目が正確な反映された手書き画像を表示／保存することができる空間手書きシステム及び電子ペンを提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明は、電子ペンと表示装置とが通信可能に接続された空間手書きシステムであって、前記電子ペンは、ペン先の３次元空間の座標を検出する座標検出部と、空間内に設定されたポイントに基づいて、仮想平面を作成する仮想平面作成部と、前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた閾値を超えた場合に、ストロークの切れ目として認識するストローク検出部と、前記ストロークの切れ目から次の切れ目までの、連続するストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、変換した前記平面座標の情報を前記表示装置に出力する通信部と、を備え、前記表示装置は、前記平面座標の情報を受信して、前記仮想平面上のペン先の軌跡を画面上に表示するものである。
【００１２】
また、本発明は、外部機器と通信可能な電子ペンであって、ペン先の３次元空間の座標を検出する座標検出部と、空間内に設定されたポイントに基づいて、仮想平面を作成する仮想平面作成部と、前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた閾値を超えた場合に、ストロークの切れ目として認識するストローク検出部と、前記ストロークの切れ目から次の切れ目までの、連続するストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、変換した前記平面座標の情報を前記外部機器に出力する通信部と、を備えるものである。
【発明の効果】
【００１３】
本発明の空間手書きシステム及び電子ペンによれば、自然な動作でストロークの切れ目を表現することができ、ストロークの切れ目が正確な反映された手書き画像を表示／保存することができる。
【００１４】
その理由は、電子ペンは、３次元空間に作成した仮想平面上のペン先の移動軌跡を示す座標情報を送信する際に、仮想平面に直交する方向（法線方向）のペン先の移動量や移動速度、加速度に基づいてストロークの切れ目を検出し、連続するストローク（連続して描画された線）を区別できるようにするからである。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例に係る空間手書きシステムの構成を模式的に示す図である。
【図２】本発明の一実施例に係る電子ペンの主要構成を示すブロック図である。
【図３】絶対座標軸と仮想平面座標軸の関係を説明する図である。
【図４】仮想平面上の電子ペンの動作を説明する図である。
【図５】３点のポイントから仮想平面を作成する例を示す図である。
【図６】２点のポイントから仮想平面を作成する例を示す図である。
【図７】２点のポイントから仮想平面を作成する他の例を示す図である。
【図８】文字ストロークから仮想平面を作成する例を示す図である。
【図９】本発明の一実施例に係る空間手書きシステム（電子ペン）の動作を示すフローチャート図である。
【発明を実施するための形態】
【００１６】
背景技術で示したように、３次元空間に電子ペンで手書きした時のペン先の移動軌跡をヘッドマウントディスプレイなどの表示装置に表示する技術が提案されているが、従来の技術では、文字の形状によってはストロークの切れ目を正確に判断することができず、また、仮想平面に接触している感覚をユーザにフィードバックすることができないという問題があった。
【００１７】
そこで、本発明の一実施の形態では、まず、電子ペンのペン先の３次元空間の座標を検出して１又は複数のポイントを特定し、特定したポイントに基づいて、３次元空間内に２次元の仮想平面を作成する。例えば、３次元空間の２つのポイントを特定し、その２つのポイントを繋ぐ直線から垂直下方向もしくは水平方向に面を作成し、その面を仮想平面とする。又は、その２つのポイントを対角とする矩形領域を仮想平面としたり、３次元空間の１つのポイントと電子ペンの中心軸の角度とで特定される面を仮想平面としたり、３次元空間の３つのポイントで特定される面を仮想平面としたり、最初のストロークの軌跡で特定される面を仮想平面としたりする。
【００１８】
そして、上記手法で作成した仮想平面上で電子ペンを動かして文字や図形を手書きするが、その際、ストロークの切れ目が不明確であると、手書きした文字や図形を正確に表示することができない。一方、ストロークの切れ目を表現する方法として、紙面上にペンで手書き（若しくはタッチパネル上にタッチペンで手書き）する時と大きく異なる方法を採用した場合、実平面に手書きするように空間上に手書きすることができず、使い勝手が悪くなる。
【００１９】
そこで、仮想平面上のペン先の移動軌跡を示す座標情報を送信する際に、仮想平面に対してペン先をｚ軸方向（仮想平面の法線方向）に動かす動作（好ましくは、実平面に手書きする時のように手前側に引く動作）を検出したらストロークの切れ目であると判断し、ストロークの切れ目までペン先の移動軌跡を連続するストローク（連続して描画された線）として区別できるようにする。例えば、座標情報を連続するストローク単位で送信したり、座標情報にストロークの切れ目を示す情報を付加して送信したり、複数の連続するストロークを結合して作成した手書き画像のデータを送信したりする。
【００２０】
また、ペン先の仮想平面に対するｚ軸方向（法線方向）の動作に応じて、電子ペンを振動させたり音や光を発生させたりする等のフィードバック機能を持たせ、ペン先が仮想平面から離れたこと、若しくは、ペン先が仮想平面に接していることをユーザに明示的に知らせる。
【００２１】
これにより、ユーザは自然な動作でストロークの切れ目を表現することができ、また、ストロークの切れ目を確実に認識することができる。そして、ストロークの切れ目が正確に反映された手書き画像を電子ペンと通信可能なＨＭＤ等の表示装置に表示させたり、ストロークの切れ目が正確に反映された手書き画像のデータを電子ペンと通信可能なサーバなどに保存したりすることができる。
【実施例】
【００２２】
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る空間手書きシステム及び電子ペンについて、図１乃至図９を参照して説明する。図１は、本実施例の空間手書きシステムの構成を模式的に示す図であり、図２は、本実施例の電子ペンの主要構成を示すブロック図である。また、図３は、絶対座標軸と仮想平面座標軸の関係を説明する図であり、図４は、仮想平面上の電子ペンの動作を説明する図である。また、図５乃至図８は、仮想平面の作成例を示す図であり、図９は、本実施例の空間手書きシステム（電子ペン）の動作を示すフローチャート図である。
【００２３】
なお、本実施例において、ストロークとは、文字や図形を描画する動作を指し、ストロークの切れ目とは、文字や図形を構成する任意の線と次の線の間の描画しない場所を指す。この２つの線は１つの文字や図形を構成する線であってもよいし、異なる文字や図形を構成する線であってもよい。また、連続するストロークとは、ストロークの任意の切れ目（描画開始位置を含む。）と次の切れ目（描画終了位置を含む。）の間の連続する線を指し、複数の連続するストロークを結合したものを手書き画像と呼ぶ。
【００２４】
図１（ａ）に示すように、本実施例の空間手書きシステム１０は、電子ペン２０と表示装置３０などで構成され、これらは、Bluetooth（登録商標）に代表される短距離無線通信や赤外線通信、有線通信などにより接続されている。
【００２５】
上記空間手書きシステム１０の概略動作について図１（ｂ）を参照して説明すると、３次元空間に作成した仮想平面上でユーザが電子ペン２０を動かして文字や図形などを手書きすると、電子ペン２０は、ペン先の移動軌跡を示す座標情報を出力する。その際、ペン先の移動軌跡は一筆書きのように繋がった状態になっているため、仮想平面上に手書きした文字や図形を正確に表せないことから、後述する手法を用いて、自然な動作でストロークの切れ目を表現し、ストロークの切れ目までのペン先の移動軌跡を連続するストロークとして認識できるようにする。
【００２６】
一方、表示装置３０（ここでは、サングラス型のＨＭＤ）は、電子ペン２０から座標情報を受信すると、座標情報に基づいて連続するストロークを順次表示し、仮想平面上に手書きした文字や図形を閲覧できるようにする。また、必要に応じて、サーバ４０は、電子ペン２０から座標情報を受信して保存し、サーバ４０と通信可能に接続されたコンピュータ装置などを用いて、仮想平面上に手書きした文字や図形を利用できるようにする。
【００２７】
なお、電子ペン２０は、ペン先の移動軌跡を示す座標情報を送信する機能を備えていればよく、ボールペンのような筆記用具としての機能を備えていてもよいし、筆記用具としての機能を備えていなくてもよい。また、電子ペン２０は、ボールペンのような形状に限定されず、その先端が認識できる形状であればよく、例えば、指先に嵌めるキャップのような形状としてもよい。
【００２８】
また、図１では、表示装置３０としてサングラス型のＨＭＤを示しているが、表示装置３０は、電子ペン２０から受信した座標情報に基づいて手書き画像を表示可能な携帯型の装置であればよく、例えば、携帯電話機やタブレット端末などとしてもよい。また、表示装置３０は、手書き画像を表示するのみならず、手書き画像のデータを保存する機能を備えていてもよく、この場合は、サーバ４０を省略することもできる。
【００２９】
また、図１（ａ）では、空間手書きシステム１０に表示装置３０を含めているが、手書き画像をその場で閲覧する必要がない場合は、表示装置３０を省略することもできる。その場合は、電子ペン２０から送信される座標情報をサーバ４０に保存してもよいし、電子ペン２０の記憶部に座標情報を保存してもよい。
【００３０】
図２は、電子ペン２０の主要構成を示すブロック図である。本実施例の電子ペン２０は、操作部２１と、センサ２２と、３次元座標検出部２３ａと、３軸加速度検出部２３ｂと、移動量検出部２３ｃと、仮想平面及びデータ作成部２４と、ストローク検出部２５と、平面座標変換部２６と、仮想面接地フィードバック部２７と、通信部２８と、図示しない電源（蓄電池）などで構成される。
【００３１】
操作部２１は、スイッチやボタンなどで構成され、電子ペン２０の電源のＯＮ／ＯＦＦ、手書き動作の開始指示、平面作成モード（指定したポイントに基づいて仮想平面を作成するモード）と、描画モード（仮想平面上でペン先を移動させて文字や図形を手書きするモード）との切り替え指示などの操作を可能にする。
【００３２】
センサ２２は、ペン先の３次元空間の座標や加速度、電子ペン２０の中心軸の傾きなどを検出するセンサであり、例えば、３軸ジャイロセンサと３軸加速度センサなどで構成される。
【００３３】
３次元座標検出部２３ａは、センサ２２（３軸ジャイロセンサ）の出力に基づいて、ペン先の３次元空間の座標を検出する。
【００３４】
３軸加速度検出部２３ｂは、センサ２２（３軸加速度センサ）の出力に基づいて、ペン先の３軸の加速度を検出する。
【００３５】
移動量検出部２３ｃは、３次元座標検出部２３ａで検出した３次元空間の座標に基づいて、単位時間あたりのペン先の移動量（すなわち、ペン先の移動速度）を検出する。
【００３６】
仮想平面及びデータ作成部２４は、電子ペン２０で指定された３次元空間のポイント、ストローク、電子ペン２０の中心軸の傾きなどに基づいて、３次元空間内に２次元の仮想平面を作成する。また、ストロークの切れ目で分割された連続するストロークの軌跡を結合して手書き画像のデータを作成する。
【００３７】
ストローク検出部２５は、２次元の仮想平面に対するペン先のｚ軸方向（仮想平面の法線方向）の移動量や移動速度、加速度と予め定めた閾値とを比較することによって、ストロークの切れ目を検出する。
【００３８】
平面座標変換部２６は、ストローク検出部２５が検出した各ストロークの切れ目までのペン先の３次元座標を、仮想平面の特定点（例えば、左上）を基準とした２次元座標に変換し、変換した２次元座標を仮想平面及びデータ作成部２４に通知する。
【００３９】
仮想面接地フィードバック部２７は、ストローク検出部２５がストロークの切れ目を検出した時（すなわち、ペン先が仮想平面から離れた時）に、電子ペン２０に予め設けたバイブレータを振動させたり、スピーカから音を発生させたり、ランプを点灯／点滅させたりして、ユーザにその旨を通知して、ペン先が仮想面から離れている状態をフィードバックする。なお、本実施例では、ペン先が仮想平面から離れた状態をフィードバックする構成としているが、ストローク検出部２５がストロークの切れ目を検出していない時（すなわち、ペン先が仮想平面に接しており、文字や図形の描画中と判断されている時）に、ユーザにその旨を振動や音、光等で通知して、ペン先が仮想面に接地している状態をフィードバックする構成としてもよい。
【００４０】
通信部２８は、表示装置３０やサーバ４０との通信を確立し、平面座標変換部２６で変換した２次元座標を表示装置３０に送信したり、仮想平面及びデータ作成部２４で作成した手書き画像のデータをサーバ４０に送信したりする。
【００４１】
なお、図２は、本実施例の電子ペン２０の一例であり、ペン先のｚ軸方向（仮想平面の法線方向）の動作に基づいてストロークの切れ目を検出できる限りにおいて、その構成は適宜変更可能である。例えば、図２では、３次元座標検出部２３ａと３軸加速度検出部２３ｂと移動量検出部２３ｃとを設けたが、３次元座標検出部２３ａが時刻に関連付けられた座標情報から移動量や移動速度、移動加速度を算出する構成としてもよく、その場合は、３軸加速度検出部２３ｂや移動量検出部２３ｃは省略することができる。また、図２では、仮想平面及びデータ作成部２４が、仮想平面の作成と手書き画像のデータの作成を行う構成としているが、仮想平面及びデータ作成部２４を、仮想平面の作成を行う仮想平面作成部と手書き画像のデータの作成を行うデータ作成部とに分割してもよい。また、電子ペン２０に記憶部を設けて、手書き画像のデータを記憶しておき、電子ペン２０と通信可能な機器を認識した時や蓄電池の充電時に、その機器に手書き画像のデータを送信する構成としてもよい。
【００４２】
また、３次元座標検出部２３ａ、３軸加速度検出部２３ｂ、移動量検出部２３ｃ、仮想平面及びデータ作成部２４、ストローク検出部２５、平面座標変換部２６、仮想面接地フィードバック部２７、通信部２８などはハードウェアとして構成してもよいし、ソフトウェアとして構成してもよい。
【００４３】
以下、上記構成の電子ペン２０を用いて仮想平面に手書きする具体的な方法について説明する。
【００４４】
まず、３次元空間と仮想平面との関係について説明する。図３は、絶対座標軸と仮想平面座標軸との関係を説明する図であり、センサ２２で検出した３次元座標（ＸＹＺ座標）は、平面座標変換部２６により、仮想平面の面をＸＹ軸とし、仮想平面に対して垂直方向（法線方向）をｚ軸とした座標（Ｘ’Ｙ’Ｚ’座標）に変換される。
【００４５】
図４は、仮想平面上の電子ペン２０の動作を説明する図である。図４（ａ）に示すように、ストローク検出部２５は、Ｚ’軸方向における電子ペン２０の移動量、移動速度、加速度等に基づいて仮想平面からの電子ペン２０の離れ具合を判断して、その判断結果からストロークの切れ目を検出する。その際、ユーザは仮想平面を正確に認識できる訳ではないため、移動量、移動速度、加速度等に対して閾値を設定し、この閾値に基づいてストロークの切れ目を判断する。
【００４６】
例えば、図４（ｂ）に示すように、移動速度（ペン先が第１境界から第２境界まで移動する時間）や移動加速度が所定値以上の場合に、ストロークの切れ目と判断し、第１境界時点でのＸ’Ｙ’座標までを連続するストロークとして認識する。なお、ペン先を早く動かす場合は、移動速度又は移動加速度に基づいてストロークの切れ目を判断する方法が有効であるが、ペン先を大きく動かす場合は、ペン先の座標が閾値（例えば、第１境界）を超えた時にストロークの切れ目と判断することもできる。
【００４７】
次に、３次元空間内に２次元の仮想平面を作成する方法について、図５乃至図８を参照して説明する。
【００４８】
図５は、３つのポイントを用いて仮想平面を作成する例を示している。この例では、ユーザが、電子ペン２０の操作部２１を操作（例えば、所定のボタンを押下）して３つのポイントを設定すると、仮想平面及びデータ作成部２４は、ポイント１とポイント２を繋ぐ直線をＸ’軸とし、Ｘ’軸と垂直、かつ、ポイント１を原点とするポイント３方向の直線をＹ’軸として、ポイント１、２、３に外接する２次元平面を特定し、その２次元平面を仮想平面とする。
【００４９】
図６は、２つのポイントを用いて仮想平面を作成する例を示している。この例では、同様に、ユーザが電子ペン２０の操作部２１を操作して２つのポイントを設定すると、仮想平面及びデータ作成部２４は、ポイント１とポイント２を繋ぐ直線をＸ’軸として、ポイント１からポイント２までをＸ’軸方向の長さ、Ｙ軸方向を所定の長さとする２次元平面を特定し、その２次元平面を仮想平面とする。
【００５０】
図７は、２つのポイントを用いて仮想平面を作成する他の例を示している。この例では、同様に、ユーザが電子ペン２０の操作部２１を操作して２つのポイントを設定すると、仮想平面及びデータ作成部２４は、ポイント１とポイント２を繋ぐ直線をＸ’軸として、ポイント１からポイント２までをＸ’軸方向の長さ、Ｚ軸方向を所定の長さとする２次元平面を特定し、その２次元平面を仮想平面とする。
【００５１】
図８は、ストロークを用いて仮想平面を作成する例を示している。この例では、電子ペン２０の起動時の最初の座標（ポイント１）を原点として、所定時間経過後に検出したペン先の座標（ポイント２）とを繋ぐ直線をＸ’軸とする。また、電子ペン２０の中心線をＺ’軸とし、Ｘ’軸及びＺ’軸に対してそれぞれ９０度の角度を持つ直線をＹ’軸とする。そして、上記原点を基点として、Ｘ’軸方向、Ｙ’軸方向を所定の長さとする２次元平面を特定し、その２次元平面を仮想平面とする。
【００５２】
なお、仮想平面を作成する方法は図５乃至図８に限定されない。例えば、上記説明では、２つ若しくは３つのポイントを用いて仮想平面を作成したが、１つのポイントを用いて仮想平面を作成することも可能である。この場合、電子ペン２０の起動時の最初の座標（ポイント１）を通り、電子ペン２０の中心線に直交する面（若しくは所定の角度で傾斜する面）を特定し、その面を仮想平面とすることもできる。
【００５３】
以下、本実施例の空間手書きシステム１０（電子ペン２０）の動作について、図９のフローチャート図を参照して説明する。なお、以下の説明では、図１（ｂ）のシステムを前提とし、ストロークの切れ目を検出する度にデータを出力するものとする。
【００５４】
まず、仮想平面及びデータ作成部２４は、操作部２１の所定のスイッチ（手書き動作の開始を指示する起動スイッチ）がＯＮであるかを判断する（Ｓ１０１）。起動スイッチがＯＮの場合は、仮想平面及びデータ作成部２４は、ユーザが操作部２１を操作して設定したモードが、仮想平面を作成する平面作成モードであるか、仮想平面上に文字や図形などを手書きする描画モードであるかを判断する（Ｓ１０５）。
【００５５】
平面作成モードの場合は、仮想平面及びデータ作成部２４は、ポイントが指定されているかを判断する（Ｓ１０６）。ポイントが指定されていない場合は、ポイントが指定されるのを待ち、ポイントが指定されている場合は、仮想平面及びデータ作成部２４は、図５乃至図８に示す手法を用いて、２次元の仮想平面を作成する（Ｓ１０７）。そして、作成した仮想平面の座標軸情報（原点位置、座標軸の方向、仮想平面のサイズなど）を記憶すると共に、ストローク検出部２５及び平面座標変換部２６に通知し（Ｓ１０８）、Ｓ１０１に戻る。
【００５６】
一方、描画モードの場合は、仮想平面及びデータ作成部２４は、仮想平面が設定済みであるかを判断し（Ｓ１０９）、仮想平面が未設定の場合はＳ１０５に戻り、平面作成モードに設定されるのを待つ。仮想平面が設定済みの場合は、３次元座標検出部２３ａ及び３軸加速度検出部２３ｂは、センサ２２の出力に基づいて、各々、３次元座標と３軸加速度を検出し、移動量検出部２３ｃは、３次元座標検出部２３ａが検出した３次元座標に基づいて単位時間当たりのペン先の移動量（移動速度）を検出する（Ｓ１１０）。
【００５７】
次に、平面座標変換部２６は、３次元座標検出部２３ａが検出した３次元座標を順次、仮想平面上の座標に変換する（Ｓ１１１）。そして、ストローク検出部２５は、仮想平面座標のｚ軸方向への移動量、移動速度、移動加速度と予め定めた閾値とを比較して、ストロークの切れ目が発生したかを判断し（Ｓ１１２）、ストロークの切れ目が発生しなければ、Ｓ１１０に戻って同様の処理を繰り返す。
【００５８】
一方、ストロークの切れ目が発生した場合は、平面座標変換部２６は、仮想平面の座標に変換されたペン先のＸ’Ｙ’座標を連続するストロークの軌跡として記憶する（Ｓ１１３）。そして、必要に応じて、仮想面接地フィードバック部２７は、仮想平面との交差度合（ｚ軸方向の移動量や移動速度、移動加速度）に応じて電子ペン２０を振動させたり、音や光を発生させたりして、ユーザにストロークの切れ目を意識させる（Ｓ１１４）。
【００５９】
その後、仮想平面及びデータ作成部２４は、仮想平面の所定の位置（例えば、左上）を原点として連続するストロークのペン先のＸ’Ｙ’座標をプロットして、連続するストロークの軌跡を示すデータを作成し（Ｓ１１５）、作成したデータを表示装置３０に送信する（Ｓ１１６）。表示装置３０は、受信したデータに基づいて画面上に連続するストロークの軌跡を表示する。
【００６０】
起動スイッチがＯＦＦになるまで、ストロークの切れ目で分割されたデータを表示装置３０に送信し、起動スイッチがＯＦＦになったら、仮想平面及びデータ作成部２４は、複数の連続するストロークの軌跡を結合して手書き画像のデータを作成し、手書き画像のデータに、仮想平面の作成日時情報や電子ペン２０の識別情報、描画時の位置情報や日時情報などの属性を関連付ける（Ｓ１０２）。そして、未送信の手書き画像のデータがあるかを判断し（Ｓ１０３）、未送信の手書き画像のデータがある場合は、その手書き画像のデータをサーバ４０に送信し（Ｓ１０４）、サーバ４０は手書き画像のデータを上記属性に関連付けて保存する。
【００６１】
なお、上記フローでは、電子ペン２０が連続するストロークの軌跡を示すデータを作成して表示装置３０に送信する構成としたが、ストロークの切れ目を検出するまで逐次、座標情報を送信し、ストロークの切れ目を検出している間は座標情報の送信を中断し、仮想平面上での描画が開始されたら、再度、座標情報を送信するようにしてもよい。また、時系列のペン先のＸ’Ｙ’座標とストロークの切れ目を示す情報とを表示装置３０に送信し、表示装置３０が受信した情報に基づいて複数の連続するストロークの軌跡を特定して表示する構成としてもよい。また、電子ペン２０が複数の連続するストロークの軌跡を結合して手書き画像のデータを作成した後、手書き画像のデータを表示装置３０に送信する構成としてもよい。
【００６２】
このように、２次元の仮想平面上のペン先の移動軌跡を示す座標情報を送信する際に、仮想平面に対してｚ軸方向に動かす動作（好ましくは、手前側に引く動作）に基づいてストロークの切れ目を判断することにより、自然な動作で手書き画像を連続するストロークに分割することができる。また、ストロークの切れ目で電子ペン２０を振動させたり、音や光を発生させたりすることにより、ユーザはストロークの切れ目を認識することができ、正確な手書き画像を描画することができる。また、仮想平面上の電子ペン２０の軌跡を表示装置に表示したり、手書き画像のデータをサーバなどに保存したりすることにより、場所を問わずに、必要な時に必要な情報を書き留めることができ、ユーザの利便性を向上させることができる。
【００６３】
なお、本発明は上記実施に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。
【００６４】
例えば、上記実施例では、２次元の仮想平面から電子ペン２０を手前側に引く動作を行った時にストロークの切れ目であると判断したが、２次元の仮想平面に対して電子ペン２０を押し込む動作を行った時にストロークの切れ目であると判断してもよい。
【００６５】
また、上記実施例では、ペン先のｚ軸方向の動作に基づいて、ストロークの切れ目を検出する構成としたが、例えば、ｚ軸方向の動作に代えて、若しくは、ｚ軸方向の動作に加えて、電子ペン２０の傾きの変化に基づいて、ストロークの切れ目を検出する構成としてもよい。
【産業上の利用可能性】
【００６６】
本発明は、ペン先の移動軌跡を示す座標情報を送信可能な電子ペンを含むシステムに利用可能である。
【符号の説明】
【００６７】
１０ 空間手書きシステム
２０ 電子ペン
２１ 操作部
２２ センサ
２３ａ ３次元座標検出部
２３ｂ ３軸加速度検出部
２３ｃ 移動量検出部
２４ 仮想平面文書作成部
２５ 文字ストローク検出部
２６ 平面座標変換部
２７ 仮想面接地フィードバック部
２８ 通信部
３０ 表示装置
４０ サーバ
【技術分野】
【０００１】
本発明は、空間手書きシステム及び電子ペンに関し、特に、仮想平面上に手書きした文字や図形を表示／保存可能にする空間手書きシステム及び仮想平面上に文字や図形を手書きする電子ペンに関する。
【背景技術】
【０００２】
アイデアを書き留める方法として、ペンとノートを用いる方法が一般的である。しかしながら、この方法では、どこで思いつくか分からないアイデアを書き留めるために、常にペンとノートを携帯しなければならず不便である。このような背景から、電子ペンを用いて空中に手書きした画像を表示したり保存したりする技術が提案されている。
【０００３】
例えば、下記特許文献１には、所望の空間に設定した仮想面に手書きで書き込む様子を撮像した書き込み画像を入力する画像入力手段と、前記書き込み画像から画像処理により手書きの軌跡を抽出して手書き画像を得る手書き抽出手段と、前記手書き画像の書き込み位置に関する相対座標を検出する相対座標検出手段と、前記手書き画像を前記相対座標とともに記録する画像記録手段と、前記手書き画像を表示する画像表示手段及び該画像表示手段からの光を反射するとともに使用者の視線方向の実視野からの光を透過する半透過型光学素子を少なくとも有する手書き画像表示装置とを備え、前記手書き画像表示装置の使用者から見て前記半透過型光学素子よりも前方の実視野に前記画像表示手段が表示する手書き画像の虚像を重畳して表示する手書き画像表示システムが開示されている。また、下記特許文献２にも、同様の手書き画像表示システムが開示されている。
【０００４】
また、下記特許文献３には、指先に装着されるセンサと、このセンサの移動に伴う空間位置に対応する空間座標を順次検出する検出手段と、この検出手段により順次検出される空間座標により、上記センサの移動速度と加速度とを測定する測定手段と、この測定手段により測定された移動速度と加速度とにより、上記センサにより描かれるトレース像を抽出する抽出手段と、この抽出手段により抽出されたトレース像を記憶する記憶手段と、を具備した空間手書き文字図形入力装置が開示されている。
【０００５】
また、下記特許文献４には、仮想対象に対するジェスチャーに従う制御を行うシステムであって、前記仮想対象に対するジェスチャーを撮影する撮影手段と、前記仮想対象の位置を表す情報を含んだ仮想対象情報を記憶する記憶手段と、前記撮影手段により取得された撮影画像と、前記仮想対象情報とを基に、ジェスチャーでの操作部の前記仮想対象に対する交差度合いを特定する交差度合い特定手段と、特定された交差度合いに応じた出力を操作者に対して行う出力制御手段とを備える制御システムが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１５４９００号公報
【特許文献２】特開２００６−１５４９０２号公報
【特許文献３】特開平６−２８０９６号公報
【特許文献４】特開２０１０−２０５２２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、特許文献１、２には、カメラで手書き軌跡を抽出して手書き画像を取得し、その手書き画像を透明タイプのＨＭＤ（Head Mounted Display）で表示する技術が開示されているが、空間上に手書きする場合は文字や図形の線の切れ目が明確でないため、手書きした文字や図形をどのようにユーザに見せるか、どのようにユーザに感じさせるかが重要な課題となる。
【０００８】
この課題に対して、特許文献３では、指先と一体に移動するセンサの移動速度や加速度を測定し、一定速度以下になった場合にストローク（文字や図形を描画する動作）の切れ目であると判断しているが、この方法では、「口」のような角張った文字や「はね」がある文字では、角の部分や「はね」の部分でセンサの移動速度が大きく変化するため、文字の形状によってはストロークの切れ目を正確に判断することができないという問題がある。
【０００９】
また、特許文献４では、指と仮想平面の交差度合いに応じて表示出力を変えているが、この方法では、仮想平面に接触している感覚をユーザにフィードバックすることができないため、ユーザはストロークの切れ目を認識して手書きすることができないという問題がある。
【００１０】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、自然な動作でストロークの切れ目を表現することができ、ストロークの切れ目が正確な反映された手書き画像を表示／保存することができる空間手書きシステム及び電子ペンを提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明は、電子ペンと表示装置とが通信可能に接続された空間手書きシステムであって、前記電子ペンは、ペン先の３次元空間の座標を検出する座標検出部と、空間内に設定されたポイントに基づいて、仮想平面を作成する仮想平面作成部と、前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた閾値を超えた場合に、ストロークの切れ目として認識するストローク検出部と、前記ストロークの切れ目から次の切れ目までの、連続するストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、変換した前記平面座標の情報を前記表示装置に出力する通信部と、を備え、前記表示装置は、前記平面座標の情報を受信して、前記仮想平面上のペン先の軌跡を画面上に表示するものである。
【００１２】
また、本発明は、外部機器と通信可能な電子ペンであって、ペン先の３次元空間の座標を検出する座標検出部と、空間内に設定されたポイントに基づいて、仮想平面を作成する仮想平面作成部と、前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた閾値を超えた場合に、ストロークの切れ目として認識するストローク検出部と、前記ストロークの切れ目から次の切れ目までの、連続するストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、変換した前記平面座標の情報を前記外部機器に出力する通信部と、を備えるものである。
【発明の効果】
【００１３】
本発明の空間手書きシステム及び電子ペンによれば、自然な動作でストロークの切れ目を表現することができ、ストロークの切れ目が正確な反映された手書き画像を表示／保存することができる。
【００１４】
その理由は、電子ペンは、３次元空間に作成した仮想平面上のペン先の移動軌跡を示す座標情報を送信する際に、仮想平面に直交する方向（法線方向）のペン先の移動量や移動速度、加速度に基づいてストロークの切れ目を検出し、連続するストローク（連続して描画された線）を区別できるようにするからである。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例に係る空間手書きシステムの構成を模式的に示す図である。
【図２】本発明の一実施例に係る電子ペンの主要構成を示すブロック図である。
【図３】絶対座標軸と仮想平面座標軸の関係を説明する図である。
【図４】仮想平面上の電子ペンの動作を説明する図である。
【図５】３点のポイントから仮想平面を作成する例を示す図である。
【図６】２点のポイントから仮想平面を作成する例を示す図である。
【図７】２点のポイントから仮想平面を作成する他の例を示す図である。
【図８】文字ストロークから仮想平面を作成する例を示す図である。
【図９】本発明の一実施例に係る空間手書きシステム（電子ペン）の動作を示すフローチャート図である。
【発明を実施するための形態】
【００１６】
背景技術で示したように、３次元空間に電子ペンで手書きした時のペン先の移動軌跡をヘッドマウントディスプレイなどの表示装置に表示する技術が提案されているが、従来の技術では、文字の形状によってはストロークの切れ目を正確に判断することができず、また、仮想平面に接触している感覚をユーザにフィードバックすることができないという問題があった。
【００１７】
そこで、本発明の一実施の形態では、まず、電子ペンのペン先の３次元空間の座標を検出して１又は複数のポイントを特定し、特定したポイントに基づいて、３次元空間内に２次元の仮想平面を作成する。例えば、３次元空間の２つのポイントを特定し、その２つのポイントを繋ぐ直線から垂直下方向もしくは水平方向に面を作成し、その面を仮想平面とする。又は、その２つのポイントを対角とする矩形領域を仮想平面としたり、３次元空間の１つのポイントと電子ペンの中心軸の角度とで特定される面を仮想平面としたり、３次元空間の３つのポイントで特定される面を仮想平面としたり、最初のストロークの軌跡で特定される面を仮想平面としたりする。
【００１８】
そして、上記手法で作成した仮想平面上で電子ペンを動かして文字や図形を手書きするが、その際、ストロークの切れ目が不明確であると、手書きした文字や図形を正確に表示することができない。一方、ストロークの切れ目を表現する方法として、紙面上にペンで手書き（若しくはタッチパネル上にタッチペンで手書き）する時と大きく異なる方法を採用した場合、実平面に手書きするように空間上に手書きすることができず、使い勝手が悪くなる。
【００１９】
そこで、仮想平面上のペン先の移動軌跡を示す座標情報を送信する際に、仮想平面に対してペン先をｚ軸方向（仮想平面の法線方向）に動かす動作（好ましくは、実平面に手書きする時のように手前側に引く動作）を検出したらストロークの切れ目であると判断し、ストロークの切れ目までペン先の移動軌跡を連続するストローク（連続して描画された線）として区別できるようにする。例えば、座標情報を連続するストローク単位で送信したり、座標情報にストロークの切れ目を示す情報を付加して送信したり、複数の連続するストロークを結合して作成した手書き画像のデータを送信したりする。
【００２０】
また、ペン先の仮想平面に対するｚ軸方向（法線方向）の動作に応じて、電子ペンを振動させたり音や光を発生させたりする等のフィードバック機能を持たせ、ペン先が仮想平面から離れたこと、若しくは、ペン先が仮想平面に接していることをユーザに明示的に知らせる。
【００２１】
これにより、ユーザは自然な動作でストロークの切れ目を表現することができ、また、ストロークの切れ目を確実に認識することができる。そして、ストロークの切れ目が正確に反映された手書き画像を電子ペンと通信可能なＨＭＤ等の表示装置に表示させたり、ストロークの切れ目が正確に反映された手書き画像のデータを電子ペンと通信可能なサーバなどに保存したりすることができる。
【実施例】
【００２２】
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る空間手書きシステム及び電子ペンについて、図１乃至図９を参照して説明する。図１は、本実施例の空間手書きシステムの構成を模式的に示す図であり、図２は、本実施例の電子ペンの主要構成を示すブロック図である。また、図３は、絶対座標軸と仮想平面座標軸の関係を説明する図であり、図４は、仮想平面上の電子ペンの動作を説明する図である。また、図５乃至図８は、仮想平面の作成例を示す図であり、図９は、本実施例の空間手書きシステム（電子ペン）の動作を示すフローチャート図である。
【００２３】
なお、本実施例において、ストロークとは、文字や図形を描画する動作を指し、ストロークの切れ目とは、文字や図形を構成する任意の線と次の線の間の描画しない場所を指す。この２つの線は１つの文字や図形を構成する線であってもよいし、異なる文字や図形を構成する線であってもよい。また、連続するストロークとは、ストロークの任意の切れ目（描画開始位置を含む。）と次の切れ目（描画終了位置を含む。）の間の連続する線を指し、複数の連続するストロークを結合したものを手書き画像と呼ぶ。
【００２４】
図１（ａ）に示すように、本実施例の空間手書きシステム１０は、電子ペン２０と表示装置３０などで構成され、これらは、Bluetooth（登録商標）に代表される短距離無線通信や赤外線通信、有線通信などにより接続されている。
【００２５】
上記空間手書きシステム１０の概略動作について図１（ｂ）を参照して説明すると、３次元空間に作成した仮想平面上でユーザが電子ペン２０を動かして文字や図形などを手書きすると、電子ペン２０は、ペン先の移動軌跡を示す座標情報を出力する。その際、ペン先の移動軌跡は一筆書きのように繋がった状態になっているため、仮想平面上に手書きした文字や図形を正確に表せないことから、後述する手法を用いて、自然な動作でストロークの切れ目を表現し、ストロークの切れ目までのペン先の移動軌跡を連続するストロークとして認識できるようにする。
【００２６】
一方、表示装置３０（ここでは、サングラス型のＨＭＤ）は、電子ペン２０から座標情報を受信すると、座標情報に基づいて連続するストロークを順次表示し、仮想平面上に手書きした文字や図形を閲覧できるようにする。また、必要に応じて、サーバ４０は、電子ペン２０から座標情報を受信して保存し、サーバ４０と通信可能に接続されたコンピュータ装置などを用いて、仮想平面上に手書きした文字や図形を利用できるようにする。
【００２７】
なお、電子ペン２０は、ペン先の移動軌跡を示す座標情報を送信する機能を備えていればよく、ボールペンのような筆記用具としての機能を備えていてもよいし、筆記用具としての機能を備えていなくてもよい。また、電子ペン２０は、ボールペンのような形状に限定されず、その先端が認識できる形状であればよく、例えば、指先に嵌めるキャップのような形状としてもよい。
【００２８】
また、図１では、表示装置３０としてサングラス型のＨＭＤを示しているが、表示装置３０は、電子ペン２０から受信した座標情報に基づいて手書き画像を表示可能な携帯型の装置であればよく、例えば、携帯電話機やタブレット端末などとしてもよい。また、表示装置３０は、手書き画像を表示するのみならず、手書き画像のデータを保存する機能を備えていてもよく、この場合は、サーバ４０を省略することもできる。
【００２９】
また、図１（ａ）では、空間手書きシステム１０に表示装置３０を含めているが、手書き画像をその場で閲覧する必要がない場合は、表示装置３０を省略することもできる。その場合は、電子ペン２０から送信される座標情報をサーバ４０に保存してもよいし、電子ペン２０の記憶部に座標情報を保存してもよい。
【００３０】
図２は、電子ペン２０の主要構成を示すブロック図である。本実施例の電子ペン２０は、操作部２１と、センサ２２と、３次元座標検出部２３ａと、３軸加速度検出部２３ｂと、移動量検出部２３ｃと、仮想平面及びデータ作成部２４と、ストローク検出部２５と、平面座標変換部２６と、仮想面接地フィードバック部２７と、通信部２８と、図示しない電源（蓄電池）などで構成される。
【００３１】
操作部２１は、スイッチやボタンなどで構成され、電子ペン２０の電源のＯＮ／ＯＦＦ、手書き動作の開始指示、平面作成モード（指定したポイントに基づいて仮想平面を作成するモード）と、描画モード（仮想平面上でペン先を移動させて文字や図形を手書きするモード）との切り替え指示などの操作を可能にする。
【００３２】
センサ２２は、ペン先の３次元空間の座標や加速度、電子ペン２０の中心軸の傾きなどを検出するセンサであり、例えば、３軸ジャイロセンサと３軸加速度センサなどで構成される。
【００３３】
３次元座標検出部２３ａは、センサ２２（３軸ジャイロセンサ）の出力に基づいて、ペン先の３次元空間の座標を検出する。
【００３４】
３軸加速度検出部２３ｂは、センサ２２（３軸加速度センサ）の出力に基づいて、ペン先の３軸の加速度を検出する。
【００３５】
移動量検出部２３ｃは、３次元座標検出部２３ａで検出した３次元空間の座標に基づいて、単位時間あたりのペン先の移動量（すなわち、ペン先の移動速度）を検出する。
【００３６】
仮想平面及びデータ作成部２４は、電子ペン２０で指定された３次元空間のポイント、ストローク、電子ペン２０の中心軸の傾きなどに基づいて、３次元空間内に２次元の仮想平面を作成する。また、ストロークの切れ目で分割された連続するストロークの軌跡を結合して手書き画像のデータを作成する。
【００３７】
ストローク検出部２５は、２次元の仮想平面に対するペン先のｚ軸方向（仮想平面の法線方向）の移動量や移動速度、加速度と予め定めた閾値とを比較することによって、ストロークの切れ目を検出する。
【００３８】
平面座標変換部２６は、ストローク検出部２５が検出した各ストロークの切れ目までのペン先の３次元座標を、仮想平面の特定点（例えば、左上）を基準とした２次元座標に変換し、変換した２次元座標を仮想平面及びデータ作成部２４に通知する。
【００３９】
仮想面接地フィードバック部２７は、ストローク検出部２５がストロークの切れ目を検出した時（すなわち、ペン先が仮想平面から離れた時）に、電子ペン２０に予め設けたバイブレータを振動させたり、スピーカから音を発生させたり、ランプを点灯／点滅させたりして、ユーザにその旨を通知して、ペン先が仮想面から離れている状態をフィードバックする。なお、本実施例では、ペン先が仮想平面から離れた状態をフィードバックする構成としているが、ストローク検出部２５がストロークの切れ目を検出していない時（すなわち、ペン先が仮想平面に接しており、文字や図形の描画中と判断されている時）に、ユーザにその旨を振動や音、光等で通知して、ペン先が仮想面に接地している状態をフィードバックする構成としてもよい。
【００４０】
通信部２８は、表示装置３０やサーバ４０との通信を確立し、平面座標変換部２６で変換した２次元座標を表示装置３０に送信したり、仮想平面及びデータ作成部２４で作成した手書き画像のデータをサーバ４０に送信したりする。
【００４１】
なお、図２は、本実施例の電子ペン２０の一例であり、ペン先のｚ軸方向（仮想平面の法線方向）の動作に基づいてストロークの切れ目を検出できる限りにおいて、その構成は適宜変更可能である。例えば、図２では、３次元座標検出部２３ａと３軸加速度検出部２３ｂと移動量検出部２３ｃとを設けたが、３次元座標検出部２３ａが時刻に関連付けられた座標情報から移動量や移動速度、移動加速度を算出する構成としてもよく、その場合は、３軸加速度検出部２３ｂや移動量検出部２３ｃは省略することができる。また、図２では、仮想平面及びデータ作成部２４が、仮想平面の作成と手書き画像のデータの作成を行う構成としているが、仮想平面及びデータ作成部２４を、仮想平面の作成を行う仮想平面作成部と手書き画像のデータの作成を行うデータ作成部とに分割してもよい。また、電子ペン２０に記憶部を設けて、手書き画像のデータを記憶しておき、電子ペン２０と通信可能な機器を認識した時や蓄電池の充電時に、その機器に手書き画像のデータを送信する構成としてもよい。
【００４２】
また、３次元座標検出部２３ａ、３軸加速度検出部２３ｂ、移動量検出部２３ｃ、仮想平面及びデータ作成部２４、ストローク検出部２５、平面座標変換部２６、仮想面接地フィードバック部２７、通信部２８などはハードウェアとして構成してもよいし、ソフトウェアとして構成してもよい。
【００４３】
以下、上記構成の電子ペン２０を用いて仮想平面に手書きする具体的な方法について説明する。
【００４４】
まず、３次元空間と仮想平面との関係について説明する。図３は、絶対座標軸と仮想平面座標軸との関係を説明する図であり、センサ２２で検出した３次元座標（ＸＹＺ座標）は、平面座標変換部２６により、仮想平面の面をＸＹ軸とし、仮想平面に対して垂直方向（法線方向）をｚ軸とした座標（Ｘ’Ｙ’Ｚ’座標）に変換される。
【００４５】
図４は、仮想平面上の電子ペン２０の動作を説明する図である。図４（ａ）に示すように、ストローク検出部２５は、Ｚ’軸方向における電子ペン２０の移動量、移動速度、加速度等に基づいて仮想平面からの電子ペン２０の離れ具合を判断して、その判断結果からストロークの切れ目を検出する。その際、ユーザは仮想平面を正確に認識できる訳ではないため、移動量、移動速度、加速度等に対して閾値を設定し、この閾値に基づいてストロークの切れ目を判断する。
【００４６】
例えば、図４（ｂ）に示すように、移動速度（ペン先が第１境界から第２境界まで移動する時間）や移動加速度が所定値以上の場合に、ストロークの切れ目と判断し、第１境界時点でのＸ’Ｙ’座標までを連続するストロークとして認識する。なお、ペン先を早く動かす場合は、移動速度又は移動加速度に基づいてストロークの切れ目を判断する方法が有効であるが、ペン先を大きく動かす場合は、ペン先の座標が閾値（例えば、第１境界）を超えた時にストロークの切れ目と判断することもできる。
【００４７】
次に、３次元空間内に２次元の仮想平面を作成する方法について、図５乃至図８を参照して説明する。
【００４８】
図５は、３つのポイントを用いて仮想平面を作成する例を示している。この例では、ユーザが、電子ペン２０の操作部２１を操作（例えば、所定のボタンを押下）して３つのポイントを設定すると、仮想平面及びデータ作成部２４は、ポイント１とポイント２を繋ぐ直線をＸ’軸とし、Ｘ’軸と垂直、かつ、ポイント１を原点とするポイント３方向の直線をＹ’軸として、ポイント１、２、３に外接する２次元平面を特定し、その２次元平面を仮想平面とする。
【００４９】
図６は、２つのポイントを用いて仮想平面を作成する例を示している。この例では、同様に、ユーザが電子ペン２０の操作部２１を操作して２つのポイントを設定すると、仮想平面及びデータ作成部２４は、ポイント１とポイント２を繋ぐ直線をＸ’軸として、ポイント１からポイント２までをＸ’軸方向の長さ、Ｙ軸方向を所定の長さとする２次元平面を特定し、その２次元平面を仮想平面とする。
【００５０】
図７は、２つのポイントを用いて仮想平面を作成する他の例を示している。この例では、同様に、ユーザが電子ペン２０の操作部２１を操作して２つのポイントを設定すると、仮想平面及びデータ作成部２４は、ポイント１とポイント２を繋ぐ直線をＸ’軸として、ポイント１からポイント２までをＸ’軸方向の長さ、Ｚ軸方向を所定の長さとする２次元平面を特定し、その２次元平面を仮想平面とする。
【００５１】
図８は、ストロークを用いて仮想平面を作成する例を示している。この例では、電子ペン２０の起動時の最初の座標（ポイント１）を原点として、所定時間経過後に検出したペン先の座標（ポイント２）とを繋ぐ直線をＸ’軸とする。また、電子ペン２０の中心線をＺ’軸とし、Ｘ’軸及びＺ’軸に対してそれぞれ９０度の角度を持つ直線をＹ’軸とする。そして、上記原点を基点として、Ｘ’軸方向、Ｙ’軸方向を所定の長さとする２次元平面を特定し、その２次元平面を仮想平面とする。
【００５２】
なお、仮想平面を作成する方法は図５乃至図８に限定されない。例えば、上記説明では、２つ若しくは３つのポイントを用いて仮想平面を作成したが、１つのポイントを用いて仮想平面を作成することも可能である。この場合、電子ペン２０の起動時の最初の座標（ポイント１）を通り、電子ペン２０の中心線に直交する面（若しくは所定の角度で傾斜する面）を特定し、その面を仮想平面とすることもできる。
【００５３】
以下、本実施例の空間手書きシステム１０（電子ペン２０）の動作について、図９のフローチャート図を参照して説明する。なお、以下の説明では、図１（ｂ）のシステムを前提とし、ストロークの切れ目を検出する度にデータを出力するものとする。
【００５４】
まず、仮想平面及びデータ作成部２４は、操作部２１の所定のスイッチ（手書き動作の開始を指示する起動スイッチ）がＯＮであるかを判断する（Ｓ１０１）。起動スイッチがＯＮの場合は、仮想平面及びデータ作成部２４は、ユーザが操作部２１を操作して設定したモードが、仮想平面を作成する平面作成モードであるか、仮想平面上に文字や図形などを手書きする描画モードであるかを判断する（Ｓ１０５）。
【００５５】
平面作成モードの場合は、仮想平面及びデータ作成部２４は、ポイントが指定されているかを判断する（Ｓ１０６）。ポイントが指定されていない場合は、ポイントが指定されるのを待ち、ポイントが指定されている場合は、仮想平面及びデータ作成部２４は、図５乃至図８に示す手法を用いて、２次元の仮想平面を作成する（Ｓ１０７）。そして、作成した仮想平面の座標軸情報（原点位置、座標軸の方向、仮想平面のサイズなど）を記憶すると共に、ストローク検出部２５及び平面座標変換部２６に通知し（Ｓ１０８）、Ｓ１０１に戻る。
【００５６】
一方、描画モードの場合は、仮想平面及びデータ作成部２４は、仮想平面が設定済みであるかを判断し（Ｓ１０９）、仮想平面が未設定の場合はＳ１０５に戻り、平面作成モードに設定されるのを待つ。仮想平面が設定済みの場合は、３次元座標検出部２３ａ及び３軸加速度検出部２３ｂは、センサ２２の出力に基づいて、各々、３次元座標と３軸加速度を検出し、移動量検出部２３ｃは、３次元座標検出部２３ａが検出した３次元座標に基づいて単位時間当たりのペン先の移動量（移動速度）を検出する（Ｓ１１０）。
【００５７】
次に、平面座標変換部２６は、３次元座標検出部２３ａが検出した３次元座標を順次、仮想平面上の座標に変換する（Ｓ１１１）。そして、ストローク検出部２５は、仮想平面座標のｚ軸方向への移動量、移動速度、移動加速度と予め定めた閾値とを比較して、ストロークの切れ目が発生したかを判断し（Ｓ１１２）、ストロークの切れ目が発生しなければ、Ｓ１１０に戻って同様の処理を繰り返す。
【００５８】
一方、ストロークの切れ目が発生した場合は、平面座標変換部２６は、仮想平面の座標に変換されたペン先のＸ’Ｙ’座標を連続するストロークの軌跡として記憶する（Ｓ１１３）。そして、必要に応じて、仮想面接地フィードバック部２７は、仮想平面との交差度合（ｚ軸方向の移動量や移動速度、移動加速度）に応じて電子ペン２０を振動させたり、音や光を発生させたりして、ユーザにストロークの切れ目を意識させる（Ｓ１１４）。
【００５９】
その後、仮想平面及びデータ作成部２４は、仮想平面の所定の位置（例えば、左上）を原点として連続するストロークのペン先のＸ’Ｙ’座標をプロットして、連続するストロークの軌跡を示すデータを作成し（Ｓ１１５）、作成したデータを表示装置３０に送信する（Ｓ１１６）。表示装置３０は、受信したデータに基づいて画面上に連続するストロークの軌跡を表示する。
【００６０】
起動スイッチがＯＦＦになるまで、ストロークの切れ目で分割されたデータを表示装置３０に送信し、起動スイッチがＯＦＦになったら、仮想平面及びデータ作成部２４は、複数の連続するストロークの軌跡を結合して手書き画像のデータを作成し、手書き画像のデータに、仮想平面の作成日時情報や電子ペン２０の識別情報、描画時の位置情報や日時情報などの属性を関連付ける（Ｓ１０２）。そして、未送信の手書き画像のデータがあるかを判断し（Ｓ１０３）、未送信の手書き画像のデータがある場合は、その手書き画像のデータをサーバ４０に送信し（Ｓ１０４）、サーバ４０は手書き画像のデータを上記属性に関連付けて保存する。
【００６１】
なお、上記フローでは、電子ペン２０が連続するストロークの軌跡を示すデータを作成して表示装置３０に送信する構成としたが、ストロークの切れ目を検出するまで逐次、座標情報を送信し、ストロークの切れ目を検出している間は座標情報の送信を中断し、仮想平面上での描画が開始されたら、再度、座標情報を送信するようにしてもよい。また、時系列のペン先のＸ’Ｙ’座標とストロークの切れ目を示す情報とを表示装置３０に送信し、表示装置３０が受信した情報に基づいて複数の連続するストロークの軌跡を特定して表示する構成としてもよい。また、電子ペン２０が複数の連続するストロークの軌跡を結合して手書き画像のデータを作成した後、手書き画像のデータを表示装置３０に送信する構成としてもよい。
【００６２】
このように、２次元の仮想平面上のペン先の移動軌跡を示す座標情報を送信する際に、仮想平面に対してｚ軸方向に動かす動作（好ましくは、手前側に引く動作）に基づいてストロークの切れ目を判断することにより、自然な動作で手書き画像を連続するストロークに分割することができる。また、ストロークの切れ目で電子ペン２０を振動させたり、音や光を発生させたりすることにより、ユーザはストロークの切れ目を認識することができ、正確な手書き画像を描画することができる。また、仮想平面上の電子ペン２０の軌跡を表示装置に表示したり、手書き画像のデータをサーバなどに保存したりすることにより、場所を問わずに、必要な時に必要な情報を書き留めることができ、ユーザの利便性を向上させることができる。
【００６３】
なお、本発明は上記実施に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。
【００６４】
例えば、上記実施例では、２次元の仮想平面から電子ペン２０を手前側に引く動作を行った時にストロークの切れ目であると判断したが、２次元の仮想平面に対して電子ペン２０を押し込む動作を行った時にストロークの切れ目であると判断してもよい。
【００６５】
また、上記実施例では、ペン先のｚ軸方向の動作に基づいて、ストロークの切れ目を検出する構成としたが、例えば、ｚ軸方向の動作に代えて、若しくは、ｚ軸方向の動作に加えて、電子ペン２０の傾きの変化に基づいて、ストロークの切れ目を検出する構成としてもよい。
【産業上の利用可能性】
【００６６】
本発明は、ペン先の移動軌跡を示す座標情報を送信可能な電子ペンを含むシステムに利用可能である。
【符号の説明】
【００６７】
１０ 空間手書きシステム
２０ 電子ペン
２１ 操作部
２２ センサ
２３ａ ３次元座標検出部
２３ｂ ３軸加速度検出部
２３ｃ 移動量検出部
２４ 仮想平面文書作成部
２５ 文字ストローク検出部
２６ 平面座標変換部
２７ 仮想面接地フィードバック部
２８ 通信部
３０ 表示装置
４０ サーバ
【特許請求の範囲】
【請求項１】
電子ペンと表示装置とが通信可能に接続された空間手書きシステムであって、
前記電子ペンは、
ペン先の３次元空間の座標を検出する座標検出部と、
空間内に設定されたポイントに基づいて、仮想平面を作成する仮想平面作成部と、
前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた閾値を超えた場合に、ストロークの切れ目として認識するストローク検出部と、
前記ストロークの切れ目から次の切れ目までの、連続するストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、
変換した前記平面座標の情報を前記表示装置に出力する通信部と、を備え、
前記表示装置は、前記平面座標の情報を受信して、前記仮想平面上のペン先の軌跡を画面上に表示する、ことを特徴とする空間手書きシステム。
【請求項２】
前記電子ペンの前記通信部は、連続するストローク単位で、前記平面座標の情報を出力し、
前記表示装置は、連続するストローク単位で、前記仮想平面上のペン先の軌跡を画面上に表示する、ことを特徴とする請求項１に記載の空間手書きシステム。
【請求項３】
前記電子ペンは、更に、
前記ストローク検出部がストロークの切れ目を認識した場合に、振動又は音又は光によって、ストロークの切れ目を認識したことをユーザに通知するフィードバック部を備える、ことを特徴とする請求項１又は２に記載の空間手書きシステム。
【請求項４】
前記仮想平面作成部は、設定された３つのポイント、又は、設定された２つのポイント、又は、設定された２つのポイント及び前記３次元空間の１つの軸、又は、設定された１つのポイント及び前記電子ペンの中心軸の角度、のいずれかに基づいて、前記仮想平面を作成する、ことを特徴とする請求項１乃至３のいずれか一に記載の空間手書きシステム。
【請求項５】
データを保存するサーバが前記電子ペンと通信可能に接続され、
前記電子ペンは、更に、
複数の連続するストロークのペン先の軌跡を結合して、前記仮想平面上に描画された手書き画像を作成し、当該手書き画像のデータに、前記仮想平面の作成日時情報、手書き画像の描画位置情報、手書き画像の描画日時情報、前記電子ペンの識別情報の中から選択される１以上の属性情報を付加するデータ作成部を備え、
前記通信部は、前記属性情報を付加した前記手書き画像のデータを前記サーバに出力し、
前記サーバは、取得した前記手書き画像のデータを、前記１以上の属性情報に関連付けて保存する、ことを特徴とする請求項１乃至４のいずれか一に記載の空間手書きシステム。
【請求項６】
外部機器と通信可能な電子ペンであって、
ペン先の３次元空間の座標を検出する座標検出部と、
空間内に設定されたポイントに基づいて、仮想平面を作成する仮想平面作成部と、
前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた閾値を超えた場合に、ストロークの切れ目として認識するストローク検出部と、
前記ストロークの切れ目から次の切れ目までの、連続するストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、
変換した前記平面座標の情報を前記外部機器に出力する通信部と、
を備える、ことを特徴とする電子ペン。
【請求項７】
前記通信部は、連続するストローク単位で、前記平面座標の情報を出力する、ことを特徴とする請求項６に記載の電子ペン。
【請求項８】
更に、前記ストローク検出部がストロークの切れ目を認識した場合に、振動又は音又は光によって、ストロークの切れ目を認識したことをユーザに通知するフィードバック部を備える、ことを特徴とする請求項６又は７に記載の電子ペン。
【請求項９】
前記仮想平面作成部は、設定された３つのポイント、又は、設定された２つのポイント、又は、設定された２つのポイント及び前記３次元空間の１つの軸、又は、設定された１つのポイント及び前記電子ペンの中心軸の角度、のいずれかに基づいて、前記仮想平面を作成する、ことを特徴とする請求項６乃至８のいずれか一に記載の電子ペン。
【請求項１０】
更に、複数の連続するストロークのペン先の軌跡を結合して、前記仮想平面上に描画された手書き画像を作成し、当該手書き画像のデータに、前記仮想平面の作成日時情報、手書き画像の描画位置情報、手書き画像の描画日時情報、前記電子ペンの識別情報の中から選択される１以上の属性情報を付加するデータ作成部を備え、
前記通信部は、前記属性情報を付加した前記手書き画像のデータを前記外部機器に出力する、ことを特徴とする請求項６乃至９のいずれか一に記載の電子ペン。
【請求項１】
電子ペンと表示装置とが通信可能に接続された空間手書きシステムであって、
前記電子ペンは、
ペン先の３次元空間の座標を検出する座標検出部と、
空間内に設定されたポイントに基づいて、仮想平面を作成する仮想平面作成部と、
前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた閾値を超えた場合に、ストロークの切れ目として認識するストローク検出部と、
前記ストロークの切れ目から次の切れ目までの、連続するストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、
変換した前記平面座標の情報を前記表示装置に出力する通信部と、を備え、
前記表示装置は、前記平面座標の情報を受信して、前記仮想平面上のペン先の軌跡を画面上に表示する、ことを特徴とする空間手書きシステム。
【請求項２】
前記電子ペンの前記通信部は、連続するストローク単位で、前記平面座標の情報を出力し、
前記表示装置は、連続するストローク単位で、前記仮想平面上のペン先の軌跡を画面上に表示する、ことを特徴とする請求項１に記載の空間手書きシステム。
【請求項３】
前記電子ペンは、更に、
前記ストローク検出部がストロークの切れ目を認識した場合に、振動又は音又は光によって、ストロークの切れ目を認識したことをユーザに通知するフィードバック部を備える、ことを特徴とする請求項１又は２に記載の空間手書きシステム。
【請求項４】
前記仮想平面作成部は、設定された３つのポイント、又は、設定された２つのポイント、又は、設定された２つのポイント及び前記３次元空間の１つの軸、又は、設定された１つのポイント及び前記電子ペンの中心軸の角度、のいずれかに基づいて、前記仮想平面を作成する、ことを特徴とする請求項１乃至３のいずれか一に記載の空間手書きシステム。
【請求項５】
データを保存するサーバが前記電子ペンと通信可能に接続され、
前記電子ペンは、更に、
複数の連続するストロークのペン先の軌跡を結合して、前記仮想平面上に描画された手書き画像を作成し、当該手書き画像のデータに、前記仮想平面の作成日時情報、手書き画像の描画位置情報、手書き画像の描画日時情報、前記電子ペンの識別情報の中から選択される１以上の属性情報を付加するデータ作成部を備え、
前記通信部は、前記属性情報を付加した前記手書き画像のデータを前記サーバに出力し、
前記サーバは、取得した前記手書き画像のデータを、前記１以上の属性情報に関連付けて保存する、ことを特徴とする請求項１乃至４のいずれか一に記載の空間手書きシステム。
【請求項６】
外部機器と通信可能な電子ペンであって、
ペン先の３次元空間の座標を検出する座標検出部と、
空間内に設定されたポイントに基づいて、仮想平面を作成する仮想平面作成部と、
前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた閾値を超えた場合に、ストロークの切れ目として認識するストローク検出部と、
前記ストロークの切れ目から次の切れ目までの、連続するストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、
変換した前記平面座標の情報を前記外部機器に出力する通信部と、
を備える、ことを特徴とする電子ペン。
【請求項７】
前記通信部は、連続するストローク単位で、前記平面座標の情報を出力する、ことを特徴とする請求項６に記載の電子ペン。
【請求項８】
更に、前記ストローク検出部がストロークの切れ目を認識した場合に、振動又は音又は光によって、ストロークの切れ目を認識したことをユーザに通知するフィードバック部を備える、ことを特徴とする請求項６又は７に記載の電子ペン。
【請求項９】
前記仮想平面作成部は、設定された３つのポイント、又は、設定された２つのポイント、又は、設定された２つのポイント及び前記３次元空間の１つの軸、又は、設定された１つのポイント及び前記電子ペンの中心軸の角度、のいずれかに基づいて、前記仮想平面を作成する、ことを特徴とする請求項６乃至８のいずれか一に記載の電子ペン。
【請求項１０】
更に、複数の連続するストロークのペン先の軌跡を結合して、前記仮想平面上に描画された手書き画像を作成し、当該手書き画像のデータに、前記仮想平面の作成日時情報、手書き画像の描画位置情報、手書き画像の描画日時情報、前記電子ペンの識別情報の中から選択される１以上の属性情報を付加するデータ作成部を備え、
前記通信部は、前記属性情報を付加した前記手書き画像のデータを前記外部機器に出力する、ことを特徴とする請求項６乃至９のいずれか一に記載の電子ペン。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−３９６１（Ｐ２０１３−３９６１Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３６３０７（Ｐ２０１１−１３６３０７）
【出願日】平成２３年６月２０日（２０１１．６．２０）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２０日（２０１１．６．２０）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]