ペン型電子機器及びペン先移動情報算出方法
【課題】インキで書けないような対象物にペンで手書きをしても、画像読み取り手段で筆記面を読み取って、ペンの軌跡の算出が可能になるペン型電子機器を提供することを目的とする。
【解決手段】
ペン型電子機器は、ペン先に発熱手段（１０１）が設けられ、このペン先で筆記された面の温度情報を画像読み取り手段（１０３）により画像として順次撮像すると、データ処理部（１０４）が、時間差をもって撮像された前後の画像に基づいてペン先の移動情報を算出するようにしている。このとき前画像については、後画像の撮像までの時間差により温度が低下するので、時間分の冷却を行う温度補正を行って前画像と後画像のパターンマッチングを行う。
【解決手段】
ペン型電子機器は、ペン先に発熱手段（１０１）が設けられ、このペン先で筆記された面の温度情報を画像読み取り手段（１０３）により画像として順次撮像すると、データ処理部（１０４）が、時間差をもって撮像された前後の画像に基づいてペン先の移動情報を算出するようにしている。このとき前画像については、後画像の撮像までの時間差により温度が低下するので、時間分の冷却を行う温度補正を行って前画像と後画像のパターンマッチングを行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発熱するペン先により筆記された任意の筆記面の温度情報を内蔵するカメラで撮影し、ペンの軌跡を求めるペン型電子機器、及びこのペン型電子機器を用いたペン先移動情報算出方法に関する。
【背景技術】
【０００２】
人が手書きした文字や記号等をＰＣに入力するために各種の電子ペン装置が考えられている。その中で、ペン先から筆記面に記載されたインクによる軌跡を、ペンに内蔵するカメラで撮像し、前後の画像をパターンマッチングしてペン先の移動量を算出することが考えられている。（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００５−９２４３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記の電子ペンでは、ノート、記入用紙のようにインクで書けるものに筆記する場合に限定され、例えば、会議室の机のようなものに書くことはできなかった。
【０００５】
本発明は、このような課題に鑑みなされたもので、どのような対象物に手書きしても、ペンの軌跡を算出可能にした電子ペンを提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載のペン型電子機器は、ペン先に設けられた発熱手段と、前記発熱手段が設けられたペン先で筆記された面の温度情報を画像として撮像する画像読み取り手段と、 前記画像読み取り手段により時間差をもって撮像された前後の画像に基づいてペン先の移動情報を算出するデータ処理手段と、を具備したことを特徴とする。
【０００７】
請求項２に記載のペン型電子機器は、前記請求項１に記載のペン型電子機器において、前記データ処理手段は、前記前画像について後画像の撮像までの時間差により温度が低下する分の温度補正を行う温度補正手段と、当該温度補正手段により温度補正された前画像と後画像のパターンマッチングをするパターンマッチング手段とを具備し、パターンマッチングの結果に基づいてペン先の移動量を決定することを特徴とする。
【０００８】
請求項３に記載のペン型電子機器は、前記請求項１または２に記載のペン型電子機器において、前記ペン先に設けられる温度センサーと、前記温度センサーにより検出される温度により前記発熱手段の加熱を制御する加熱制御手段とを具備したことを特徴とする。
【０００９】
請求項４に記載のペン型電子機器は、前記請求項１から請求項３の何れか１項に記載されたペン型電子機器であって、前記データ処理手段で算出されたペン先の移動情報を外部装置に出力する出力手段を具備したことを特徴とする。
【００１０】
請求項５に記載のペン先移動情報算出方法は、発熱手段が設けられたペン先と、温度情報を画像として撮像する画像読み取り手段を有するペン型電子機器を用い、前記発熱手段が設けられたペン先で筆記された面の温度情報を画像として撮像しペン先の移動情報を算出するペン先移動情報算出方法であって、一定の時間差をもって筆記面を撮像し、前後する２つの画像を取得する撮像ステップと、前記撮像ステップで撮像された２つの画像のうち前画像について、後画像の撮像までの時間差により温度が低下する分の温度補正をする温度補正ステップと、前記撮像ステップで取得した後画像と前記温度補正ステップで温度補正された前画像とを所定の条件に従ってずらしながら画像の一致度を算出する一致度算出ステップと、前記一致度算出ステップで算出された一致度のうち最も高い一致度が得られたずれ量に基づいてペン先の移動量を決定する移動量決定ステップと、からなることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、発熱手段が設けられたペン先で筆記された面の温度情報を画像として撮像し、撮像された時間差を有する前後の画像に基づいてペン先の移動情報を算出するので、インキで書けないような対象物にペンで手書きをしても、画像読み取り手段で筆記面を読み取って、ペンの軌跡の算出が可能になる。
【発明を実施するための最良の形態】
【００１２】
以下、図面により、本発明の実施の形態である電子ペンについて説明する。
図１は、電子ペンの全体構成を示す図である。
電子ペン本体１００は、人が片手で持てるペン型の形状をしており、ペン先部となる先端にヒータ部１０１を有し、本体内には、圧力センサ１０２、遠赤外線カメラ１０３、データ処理部１０４、無線通信部１０５、及びバッテリ１０６を備えている。
【００１３】
圧力センサ１０２は、ヒータ部１０１の支持体の取り付け位置に配置されており、ペン先部が筆記面に当接しているかいないかを検知するための押圧力を測定する。遠赤外線カメラ１０３は、ペン先部が筆記面に当接してヒータ部１０１から熱が与えられた筆記面を一定の時間間隔で連続して撮像し、撮像により得られた温度データを画像データとしてデータ処理部１０４に出力する。遠赤外線カメラ１０３は、２０〜８０度の温度範囲が撮影できるものとする。
【００１４】
データ処理部１０４は、遠赤外線カメラ１０３により撮像された画像に記録されたペンの軌跡からペンの移動情報を算出し、この情報を無線通信部１０５を介して外部のＰＣ等に出力する。バッテリ１０６はこれらの電子ペンの各部に電源を供給する。
【００１５】
図２は、ヒータ部１０１の構造を示す図である。
ヒータ部１０１は、基板２００の上に薄膜抵抗体２０１を形成して発熱素子を構成しており、薄膜抵抗体２０１の上に温度センサ２０２が中間層２０３を介して配置される。そして温度センサ２０２、薄膜抵抗体２０１を保護する保護層２０４が各構成部品を覆っている。薄膜抵抗体２０１は、熱容量が小さいため、筆記面を急速に過熱するのに適しており、また使用者が誤って触った場合でも火傷し難くく、ペン先のヒータとして適している。
【００１６】
温度センサ２０２は、筆記面の加熱が適切なるように筆記面の温度を検出する。中間層２０３は、薄膜抵抗体２０１と温度センサ２０２とを電気的に分離するとともに、温度センサ２０２による温度測定に薄膜抵抗体２０１が影響し難くさせるために設けられる。中間層２０３と保護層２０４の材料としては、熱伝導性、絶縁性が高く、耐磨耗性、耐腐食性があり、硬度が高い窒化硅素等の材料が使用される。
【００１７】
図３は、電子ペンの回路ブロック図である。
データ処理部１０４は、ＣＰＵ１０７、ＲＯＭ１０８、ＲＡＭ１０９で構成され、図１で示したヒータ部１０１、圧力センサ１０２、遠赤外線カメラ１０３、無線通信部１０５は、バスを介してＣＰＵ１０７に接続されている。ＲＯＭ１０８は、フラッシュメモリやマスクＲＯＭ等の不揮発性メモリであり、電子ペンを機能させるためにＣＰＵ１０７で実行されるヒータ処理や筆記読み取り処理等のプログラム及びデータが保存されている。
【００１８】
したがって、電子ペンが動作する時には、ＣＰＵ１０７は、ＲＯＭ１０８のプログラムを実行することにより、圧力センサ１０２からペン先部が筆記面に当接しているペンダウンのデータを受信すると、一定時間間隔で遠赤外線カメラ１０３を駆動し、筆記面を連続して撮像し、撮像により得られた画像データをＲＡＭ１０９に記憶させ、この画像データに基づいてペンの移動情報を算出し、無線通信部１０５を介して外部のＰＣ等に出力する制御を行うようになる。そして外部のＰＣ等は受信したペンの移動情報に基づき手書き文字の入力処理や、ジェスチャーの解析処理を行ったりする。
【００１９】
次に本発明の実施の形態である電子ペンの動作原理について説明する。
当該電子ペンを用いて任意の筆記面に手書き入力すると、ペン先のヒータ部１０１から熱が筆記面に伝達され、筆記面には筆記された跡に熱が残ることになる。この熱の軌跡を電子ペンの遠赤外線カメラ１０３で撮影すると、温度に応じて色が異なる画像が得られる。
【００２０】
この画像を一定の時間間隔で連続して撮像し、ペンの軌跡が撮像された前回の画像と今回の画像のパターンマッチングを取ることでペン先の移動量を計算する。このペンの軌跡のパターンマッチングはインキで筆記した場合と同じである。しかし、筆記面に残された熱は、時間の経過により失われていく点でインクの場合と異なる。そこで、本実施の形態においては、画像データを温度補正処理することでパターンマッチングが適正に行われるようにしている。
【００２１】
ここで実行される温度補正とは、時間差をもって撮像した前後２枚の画像をパターンマッチングする場合、撮像の時間差分、軌跡データに温度低下が生じるので、前画像について、時間差分の温度低下があったようにデータを冷却補正することである。
【００２２】
例えば、筆記面を連続して撮影した結果、図７の（Ａ）（Ｂ）のように前画像と後画像が得られた場合、（Ａ）で示す軌跡アの部分は、（Ｂ）の撮像時には放熱により温度が低下する。よって撮影画像（Ａ）と撮影画像（Ｂ）をそのまま比較したのでは上手くパターンマッチングができないことになる。そこで（Ａ）の画像を冷却補正して（Ｃ）のような画像にしてからパターンマッチングを行うことで（Ｄ）に示すように上手く画像マッチングできるようになる。
【００２３】
冷却補正により温度を変換する式は、ｔ秒後の補正された温度をＴｃ、補正前温度を
Ｔｒ、環境（周囲）温度をＴｅ、時定数をτとして、以下の式（１）で表される。
【数１】
【００２４】
ここで未知の補正パラメータは環境温度Ｔｅと時定数τの２つであるから、２点以上のサンプルがあれば連立方程式を解くことで求めることができる。そこで後述するように、筆記読み取りをする際に、最初の２回の撮像画像から２点の温度変化を読み取って補正パラメータを算出するようにする。
【００２５】
次にこの電子ペンの動作について、図４〜図７を用いて説明する。
図４は、電子ペンの全体的動作を示すフローチャートであり、図５は、電子ペンのヒータ処理を示すフローチャートであり、図６は、電子ペンの筆記読み込み処理を示すフローチャートである。
【００２６】
図示しないスイッチの操作により電子ペンの電源がオンされると、電子ペンの動作が開始され、図４で示すように、電子ペンでは、ヒータ処理（ステップＳ１）、筆記読み取り処理（ステップＳ２）、軌跡データ出力処理（ステップＳ３）が動作停止となるまで（ステップＳ４）繰り返し実行される。
【００２７】
ヒータ処理では、まず、図５に示すように、ペンダウンしているか、つまりペン先部が筆記面についているか、圧力センサ１０２の出力により判断される（ステップＡ１）。そして、ペンダウンであると判断されるとヒータ部１０１の薄膜抵抗体２０１に電流が一定時間与えられ加熱が行われる（ステップＡ２）。
【００２８】
一方、ペンダウンでない場合、つまりペン先部が筆記面から離れていると判断された場合は、ヒータ部１０１の薄膜抵抗体２０１には電流が与えられず、ヒータの加熱が停止される（ステップＡ４）。
【００２９】
また、ヒータの加熱中に温度センサ２０２により一定の温度以上になったことが検知されたときには（ステップＡ３；Ｙｅｓ）、過熱防止のため、ヒータの加熱期間中であっても薄膜抵抗体２０１への電流供給が停止される（ステップＡ４）。
【００３０】
このようにして電子ペンが動作中は、一定の温度が筆記された軌跡に残るようにペン先の温度制御が行われる。なお、筆記面の温度は５０〜７０℃くらいになるように制御されるのが望ましい。なお、ヒータの加熱は、連続的に電流を与えても良いが、例えば０．１秒毎の間欠加熱にすることもできる。
【００３１】
筆記読み取り処理では、図６で示すように、まず、ペンダウンしているか、つまりペン先部が筆記面にあるか判断される（ステップＢ１）。ペンが筆記面上にない場合は、書き込み中に電子ペンが筆記面から離れてペンアップしたのかが判断される（ステップＢ２）。最初の書き出し前であればステップＢ２の判断はＮｏとなり、何もせずに、ペンが筆記面にダウンされるのを待機する。
【００３２】
使用者による電子ペンを用いた筆記が行われることにより、ペンダウンが判断されると（ステップＢ１；Ｙｅｓ）、筆記面が遠赤外線カメラ１０３により撮像され、ＲＡＭ１０９に画像データが記録される（ステップＢ３）。
【００３３】
画像の読み取りが行われると、次に、後述する冷却補正計算に必要な補正パラメータが取得済みか判断される（ステップＢ４）。最初の段階では取得されていないので、Ｎｏとなり、次に、パラメータの計算が可能であるか判断される（ステップＢ５）。画像が２枚読み込まれていないと計算ができないので、当初の場合は何も処理をしないで次の画像読み取りを待つ。
【００３４】
そして、次のタイミングで２回目の画像が読み取られると、パラメータの計算が可能になるので（ステップB３、B４→ステップB５；Ｙｅｓ）、２枚の画像に基づいて補正パラメータ（環境温度Ｔｅと時定数τ）の計算が行われる（ステップＢ６）。この場合、例えば筆記の開始点とこの開始点を基準に所定の距離にある点の２点の温度変化を読み取って計算することができる。
【００３５】
補正パラメータ（環境温度Ｔｅと時定数τ）が計算されると、前回の画像の全ての画素データ（温度データ）が、先に示した式（１）を用いて冷却後の温度データに変換され、冷却補正がなされたことになる（ステップＢ７）。この冷却補正処理された画像が画像マッチングにおける前画像となる。
【００３６】
冷却補正が終了すると、次に、画像マッチングするための検索条件が設定される（ステップＢ８）。検索条件は、前画像と後画像をどの程度ずらしてパターンマッチングを行うかを定義する範囲であり、少なくとも平行移動する範囲が定義され、さらに、回転させる角度の範囲やペンの傾き量をも考慮するようにしても良い。本実施形態では平行移動のみを条件とする。
【００３７】
検索条件が設定されると、設定された検索条件の中から１つの条件が選ばれて、その条件に基づいて前画像が平行移動変換される（ステップＢ９）。そして変換された前画像と後画像との一致度に対応する評価値が計算される（ステップＢ１０）。
評価値は以下の式で計算する。
【数２】
【００３８】
ここでＧＡ（ｘ、ｙ）、ＧＢ（ｘ、ｙ）は各々前画像、後画像の画素値つまり温度データである。Ｆは評価関数であり、例えば、式３のように、温度データの差が小さいほど小さい値を出力するものを用いる。
（数３）
Ｆ（ａ、ｂ）＝｜ａ−ｂ｜ （式３）
よって評価値は一致度が高いほど小さな値になる。なお、評価関数としては式（３）のような数式だけでなく、実験的に求めた評価表を参照するようにしても良い。
【００３９】
ステップＢ１０で、ある１つの条件での評価値の計算が終了すると、設定された全ての検索条件で画像変換を終了しているか、つまり、次に変換すべき条件が、まだ残っているかが判断される（ステップＢ１１）。全ての設定条件で画像変換を終了していない場合は、次の条件を選んで、前画像について画像変換をして同様に評価値が計算される（ステップＢ１１→Ｂ９）。
【００４０】
全ての条件で評価値が求められると（ステップＢ１１；Ｎｏ）、その評価値の中から最小値を選び出し、その最小値を得たときの条件、つまり平行移動量に基づいて、ペン先の移動量が決定される（ステップＢ１２）。そして、ペン先の移動量が算出されると、図４のステップＳ３で軌跡データとして外部のＰＣ等に出力される。
【００４１】
以降、電子ペンにより筆記されている間は、一定の時間間隔で画像が次々と読み取られるが、このときには既に冷却補正のためのパラメータは取得されているので、書き始めに実行されたパラメータの計算は行わず、画像読み取り後は直ぐにステップＢ７の冷却補正処理に進み、ペン先の移動量計算処理が行われる（ステップB４→ステップB７〜Ｂ１２）。
そして、前述したように、ペン先の移動量が算出されると、そのたびに、図４のステップＳ３で軌跡データとして外部のＰＣ等に出力される。
【００４２】
一方、電子ペンによる筆記中にペンアップが検出されると（ステップＢ１；Ｎｏ→ステップＢ２；Ｙｅｓ）、ペン先が筆記面から離れたことが記録され、この情報は図４のステップＳ３で軌跡データとして外部のＰＣ等に出力されることになる。
【００４３】
なお、評価値の最小値を得るにあたり、上記の説明では、全ての条件のもとで画像をずらして評価値を算出した後に最小値を選出したが、計算途中の最低評価値を記録しておき、ある条件の下での評価値計算の最中に前記最低評価値を超えたならば、その時点で計算を打ち切るようにして処理の高速化を図るようにしても良い。
【００４４】
また、高速化に関しては、取得した画像データ全てを用いるのではなく、例えば温度の高い点を抽出して、その点の画像データを用いてパターンマッチングを行っても良い。
【００４５】
このように本発明に係るペン型電子機器は、ペン先に設けられた発熱手段と、前記発熱手段が設けられたペン先で筆記された面の温度情報を画像として撮像する画像読み取り手段と、 前記画像読み取り手段で時間差をもって撮像された前後の画像に基づいてペン先の移動情報を算出するデータ処理手段と、を具備しているため、発熱手段が設けられたペン先で筆記された面の温度情報を画像として撮像し、撮像された時間差を有する前後の画像に基づいてペン先の移動情報を算出するので、インキで書けないような対象物にペンで手書きをしても、画像読み取り手段で筆記面を読み取って、ペンの軌跡の算出が可能になる。
【００４６】
なお、このペン型電子機器において、前記データ処理手段は、前記前画像について後画像の撮像までの時間差により温度が低下する分の温度補正を行う温度補正手段と、当該温度補正手段により温度補正された前画像と後画像のパターンマッチングをするパターンマッチング手段とを具備し、パターンマッチングの結果に基づいてペン先の移動量を決定するので、温度低下の影響を考慮した適切な移動量の算出が可能になる。
【００４７】
なお、本願発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施の形態である電子ペンの全体構成図。
【図２】前記電子ペンの回路ブロック図。
【図３】前記電子ペンのヒータの構成図。
【図４】本発明の電子ペンの全体的動作を示すフローチャート。
【図５】前記フローチャートのヒータ処理を示すフローチャート。
【図６】前記フローチャートの筆記読み込み処理を示すフローチャート。
【図７】画像のパターンマッチングを説明するための図。
【符号の説明】
【００４９】
１００ …電子ペン本体
１０１ …発熱部
１０２ …圧力センサ
１０３ …遠赤外線カメラ
１０４ …データ処理部
１０５ …無線通信部
１０６ …バッテリ
１０７ …ＣＰＵ
１０８ …ＲＯＭ
１０９ …ＲＡＭ
２００ …基板
２０１ …薄膜抵抗体
２０２ …温度センサ
２０３ …中間層
２０４ …保護層
【技術分野】
【０００１】
本発明は、発熱するペン先により筆記された任意の筆記面の温度情報を内蔵するカメラで撮影し、ペンの軌跡を求めるペン型電子機器、及びこのペン型電子機器を用いたペン先移動情報算出方法に関する。
【背景技術】
【０００２】
人が手書きした文字や記号等をＰＣに入力するために各種の電子ペン装置が考えられている。その中で、ペン先から筆記面に記載されたインクによる軌跡を、ペンに内蔵するカメラで撮像し、前後の画像をパターンマッチングしてペン先の移動量を算出することが考えられている。（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００５−９２４３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記の電子ペンでは、ノート、記入用紙のようにインクで書けるものに筆記する場合に限定され、例えば、会議室の机のようなものに書くことはできなかった。
【０００５】
本発明は、このような課題に鑑みなされたもので、どのような対象物に手書きしても、ペンの軌跡を算出可能にした電子ペンを提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載のペン型電子機器は、ペン先に設けられた発熱手段と、前記発熱手段が設けられたペン先で筆記された面の温度情報を画像として撮像する画像読み取り手段と、 前記画像読み取り手段により時間差をもって撮像された前後の画像に基づいてペン先の移動情報を算出するデータ処理手段と、を具備したことを特徴とする。
【０００７】
請求項２に記載のペン型電子機器は、前記請求項１に記載のペン型電子機器において、前記データ処理手段は、前記前画像について後画像の撮像までの時間差により温度が低下する分の温度補正を行う温度補正手段と、当該温度補正手段により温度補正された前画像と後画像のパターンマッチングをするパターンマッチング手段とを具備し、パターンマッチングの結果に基づいてペン先の移動量を決定することを特徴とする。
【０００８】
請求項３に記載のペン型電子機器は、前記請求項１または２に記載のペン型電子機器において、前記ペン先に設けられる温度センサーと、前記温度センサーにより検出される温度により前記発熱手段の加熱を制御する加熱制御手段とを具備したことを特徴とする。
【０００９】
請求項４に記載のペン型電子機器は、前記請求項１から請求項３の何れか１項に記載されたペン型電子機器であって、前記データ処理手段で算出されたペン先の移動情報を外部装置に出力する出力手段を具備したことを特徴とする。
【００１０】
請求項５に記載のペン先移動情報算出方法は、発熱手段が設けられたペン先と、温度情報を画像として撮像する画像読み取り手段を有するペン型電子機器を用い、前記発熱手段が設けられたペン先で筆記された面の温度情報を画像として撮像しペン先の移動情報を算出するペン先移動情報算出方法であって、一定の時間差をもって筆記面を撮像し、前後する２つの画像を取得する撮像ステップと、前記撮像ステップで撮像された２つの画像のうち前画像について、後画像の撮像までの時間差により温度が低下する分の温度補正をする温度補正ステップと、前記撮像ステップで取得した後画像と前記温度補正ステップで温度補正された前画像とを所定の条件に従ってずらしながら画像の一致度を算出する一致度算出ステップと、前記一致度算出ステップで算出された一致度のうち最も高い一致度が得られたずれ量に基づいてペン先の移動量を決定する移動量決定ステップと、からなることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、発熱手段が設けられたペン先で筆記された面の温度情報を画像として撮像し、撮像された時間差を有する前後の画像に基づいてペン先の移動情報を算出するので、インキで書けないような対象物にペンで手書きをしても、画像読み取り手段で筆記面を読み取って、ペンの軌跡の算出が可能になる。
【発明を実施するための最良の形態】
【００１２】
以下、図面により、本発明の実施の形態である電子ペンについて説明する。
図１は、電子ペンの全体構成を示す図である。
電子ペン本体１００は、人が片手で持てるペン型の形状をしており、ペン先部となる先端にヒータ部１０１を有し、本体内には、圧力センサ１０２、遠赤外線カメラ１０３、データ処理部１０４、無線通信部１０５、及びバッテリ１０６を備えている。
【００１３】
圧力センサ１０２は、ヒータ部１０１の支持体の取り付け位置に配置されており、ペン先部が筆記面に当接しているかいないかを検知するための押圧力を測定する。遠赤外線カメラ１０３は、ペン先部が筆記面に当接してヒータ部１０１から熱が与えられた筆記面を一定の時間間隔で連続して撮像し、撮像により得られた温度データを画像データとしてデータ処理部１０４に出力する。遠赤外線カメラ１０３は、２０〜８０度の温度範囲が撮影できるものとする。
【００１４】
データ処理部１０４は、遠赤外線カメラ１０３により撮像された画像に記録されたペンの軌跡からペンの移動情報を算出し、この情報を無線通信部１０５を介して外部のＰＣ等に出力する。バッテリ１０６はこれらの電子ペンの各部に電源を供給する。
【００１５】
図２は、ヒータ部１０１の構造を示す図である。
ヒータ部１０１は、基板２００の上に薄膜抵抗体２０１を形成して発熱素子を構成しており、薄膜抵抗体２０１の上に温度センサ２０２が中間層２０３を介して配置される。そして温度センサ２０２、薄膜抵抗体２０１を保護する保護層２０４が各構成部品を覆っている。薄膜抵抗体２０１は、熱容量が小さいため、筆記面を急速に過熱するのに適しており、また使用者が誤って触った場合でも火傷し難くく、ペン先のヒータとして適している。
【００１６】
温度センサ２０２は、筆記面の加熱が適切なるように筆記面の温度を検出する。中間層２０３は、薄膜抵抗体２０１と温度センサ２０２とを電気的に分離するとともに、温度センサ２０２による温度測定に薄膜抵抗体２０１が影響し難くさせるために設けられる。中間層２０３と保護層２０４の材料としては、熱伝導性、絶縁性が高く、耐磨耗性、耐腐食性があり、硬度が高い窒化硅素等の材料が使用される。
【００１７】
図３は、電子ペンの回路ブロック図である。
データ処理部１０４は、ＣＰＵ１０７、ＲＯＭ１０８、ＲＡＭ１０９で構成され、図１で示したヒータ部１０１、圧力センサ１０２、遠赤外線カメラ１０３、無線通信部１０５は、バスを介してＣＰＵ１０７に接続されている。ＲＯＭ１０８は、フラッシュメモリやマスクＲＯＭ等の不揮発性メモリであり、電子ペンを機能させるためにＣＰＵ１０７で実行されるヒータ処理や筆記読み取り処理等のプログラム及びデータが保存されている。
【００１８】
したがって、電子ペンが動作する時には、ＣＰＵ１０７は、ＲＯＭ１０８のプログラムを実行することにより、圧力センサ１０２からペン先部が筆記面に当接しているペンダウンのデータを受信すると、一定時間間隔で遠赤外線カメラ１０３を駆動し、筆記面を連続して撮像し、撮像により得られた画像データをＲＡＭ１０９に記憶させ、この画像データに基づいてペンの移動情報を算出し、無線通信部１０５を介して外部のＰＣ等に出力する制御を行うようになる。そして外部のＰＣ等は受信したペンの移動情報に基づき手書き文字の入力処理や、ジェスチャーの解析処理を行ったりする。
【００１９】
次に本発明の実施の形態である電子ペンの動作原理について説明する。
当該電子ペンを用いて任意の筆記面に手書き入力すると、ペン先のヒータ部１０１から熱が筆記面に伝達され、筆記面には筆記された跡に熱が残ることになる。この熱の軌跡を電子ペンの遠赤外線カメラ１０３で撮影すると、温度に応じて色が異なる画像が得られる。
【００２０】
この画像を一定の時間間隔で連続して撮像し、ペンの軌跡が撮像された前回の画像と今回の画像のパターンマッチングを取ることでペン先の移動量を計算する。このペンの軌跡のパターンマッチングはインキで筆記した場合と同じである。しかし、筆記面に残された熱は、時間の経過により失われていく点でインクの場合と異なる。そこで、本実施の形態においては、画像データを温度補正処理することでパターンマッチングが適正に行われるようにしている。
【００２１】
ここで実行される温度補正とは、時間差をもって撮像した前後２枚の画像をパターンマッチングする場合、撮像の時間差分、軌跡データに温度低下が生じるので、前画像について、時間差分の温度低下があったようにデータを冷却補正することである。
【００２２】
例えば、筆記面を連続して撮影した結果、図７の（Ａ）（Ｂ）のように前画像と後画像が得られた場合、（Ａ）で示す軌跡アの部分は、（Ｂ）の撮像時には放熱により温度が低下する。よって撮影画像（Ａ）と撮影画像（Ｂ）をそのまま比較したのでは上手くパターンマッチングができないことになる。そこで（Ａ）の画像を冷却補正して（Ｃ）のような画像にしてからパターンマッチングを行うことで（Ｄ）に示すように上手く画像マッチングできるようになる。
【００２３】
冷却補正により温度を変換する式は、ｔ秒後の補正された温度をＴｃ、補正前温度を
Ｔｒ、環境（周囲）温度をＴｅ、時定数をτとして、以下の式（１）で表される。
【数１】
【００２４】
ここで未知の補正パラメータは環境温度Ｔｅと時定数τの２つであるから、２点以上のサンプルがあれば連立方程式を解くことで求めることができる。そこで後述するように、筆記読み取りをする際に、最初の２回の撮像画像から２点の温度変化を読み取って補正パラメータを算出するようにする。
【００２５】
次にこの電子ペンの動作について、図４〜図７を用いて説明する。
図４は、電子ペンの全体的動作を示すフローチャートであり、図５は、電子ペンのヒータ処理を示すフローチャートであり、図６は、電子ペンの筆記読み込み処理を示すフローチャートである。
【００２６】
図示しないスイッチの操作により電子ペンの電源がオンされると、電子ペンの動作が開始され、図４で示すように、電子ペンでは、ヒータ処理（ステップＳ１）、筆記読み取り処理（ステップＳ２）、軌跡データ出力処理（ステップＳ３）が動作停止となるまで（ステップＳ４）繰り返し実行される。
【００２７】
ヒータ処理では、まず、図５に示すように、ペンダウンしているか、つまりペン先部が筆記面についているか、圧力センサ１０２の出力により判断される（ステップＡ１）。そして、ペンダウンであると判断されるとヒータ部１０１の薄膜抵抗体２０１に電流が一定時間与えられ加熱が行われる（ステップＡ２）。
【００２８】
一方、ペンダウンでない場合、つまりペン先部が筆記面から離れていると判断された場合は、ヒータ部１０１の薄膜抵抗体２０１には電流が与えられず、ヒータの加熱が停止される（ステップＡ４）。
【００２９】
また、ヒータの加熱中に温度センサ２０２により一定の温度以上になったことが検知されたときには（ステップＡ３；Ｙｅｓ）、過熱防止のため、ヒータの加熱期間中であっても薄膜抵抗体２０１への電流供給が停止される（ステップＡ４）。
【００３０】
このようにして電子ペンが動作中は、一定の温度が筆記された軌跡に残るようにペン先の温度制御が行われる。なお、筆記面の温度は５０〜７０℃くらいになるように制御されるのが望ましい。なお、ヒータの加熱は、連続的に電流を与えても良いが、例えば０．１秒毎の間欠加熱にすることもできる。
【００３１】
筆記読み取り処理では、図６で示すように、まず、ペンダウンしているか、つまりペン先部が筆記面にあるか判断される（ステップＢ１）。ペンが筆記面上にない場合は、書き込み中に電子ペンが筆記面から離れてペンアップしたのかが判断される（ステップＢ２）。最初の書き出し前であればステップＢ２の判断はＮｏとなり、何もせずに、ペンが筆記面にダウンされるのを待機する。
【００３２】
使用者による電子ペンを用いた筆記が行われることにより、ペンダウンが判断されると（ステップＢ１；Ｙｅｓ）、筆記面が遠赤外線カメラ１０３により撮像され、ＲＡＭ１０９に画像データが記録される（ステップＢ３）。
【００３３】
画像の読み取りが行われると、次に、後述する冷却補正計算に必要な補正パラメータが取得済みか判断される（ステップＢ４）。最初の段階では取得されていないので、Ｎｏとなり、次に、パラメータの計算が可能であるか判断される（ステップＢ５）。画像が２枚読み込まれていないと計算ができないので、当初の場合は何も処理をしないで次の画像読み取りを待つ。
【００３４】
そして、次のタイミングで２回目の画像が読み取られると、パラメータの計算が可能になるので（ステップB３、B４→ステップB５；Ｙｅｓ）、２枚の画像に基づいて補正パラメータ（環境温度Ｔｅと時定数τ）の計算が行われる（ステップＢ６）。この場合、例えば筆記の開始点とこの開始点を基準に所定の距離にある点の２点の温度変化を読み取って計算することができる。
【００３５】
補正パラメータ（環境温度Ｔｅと時定数τ）が計算されると、前回の画像の全ての画素データ（温度データ）が、先に示した式（１）を用いて冷却後の温度データに変換され、冷却補正がなされたことになる（ステップＢ７）。この冷却補正処理された画像が画像マッチングにおける前画像となる。
【００３６】
冷却補正が終了すると、次に、画像マッチングするための検索条件が設定される（ステップＢ８）。検索条件は、前画像と後画像をどの程度ずらしてパターンマッチングを行うかを定義する範囲であり、少なくとも平行移動する範囲が定義され、さらに、回転させる角度の範囲やペンの傾き量をも考慮するようにしても良い。本実施形態では平行移動のみを条件とする。
【００３７】
検索条件が設定されると、設定された検索条件の中から１つの条件が選ばれて、その条件に基づいて前画像が平行移動変換される（ステップＢ９）。そして変換された前画像と後画像との一致度に対応する評価値が計算される（ステップＢ１０）。
評価値は以下の式で計算する。
【数２】
【００３８】
ここでＧＡ（ｘ、ｙ）、ＧＢ（ｘ、ｙ）は各々前画像、後画像の画素値つまり温度データである。Ｆは評価関数であり、例えば、式３のように、温度データの差が小さいほど小さい値を出力するものを用いる。
（数３）
Ｆ（ａ、ｂ）＝｜ａ−ｂ｜ （式３）
よって評価値は一致度が高いほど小さな値になる。なお、評価関数としては式（３）のような数式だけでなく、実験的に求めた評価表を参照するようにしても良い。
【００３９】
ステップＢ１０で、ある１つの条件での評価値の計算が終了すると、設定された全ての検索条件で画像変換を終了しているか、つまり、次に変換すべき条件が、まだ残っているかが判断される（ステップＢ１１）。全ての設定条件で画像変換を終了していない場合は、次の条件を選んで、前画像について画像変換をして同様に評価値が計算される（ステップＢ１１→Ｂ９）。
【００４０】
全ての条件で評価値が求められると（ステップＢ１１；Ｎｏ）、その評価値の中から最小値を選び出し、その最小値を得たときの条件、つまり平行移動量に基づいて、ペン先の移動量が決定される（ステップＢ１２）。そして、ペン先の移動量が算出されると、図４のステップＳ３で軌跡データとして外部のＰＣ等に出力される。
【００４１】
以降、電子ペンにより筆記されている間は、一定の時間間隔で画像が次々と読み取られるが、このときには既に冷却補正のためのパラメータは取得されているので、書き始めに実行されたパラメータの計算は行わず、画像読み取り後は直ぐにステップＢ７の冷却補正処理に進み、ペン先の移動量計算処理が行われる（ステップB４→ステップB７〜Ｂ１２）。
そして、前述したように、ペン先の移動量が算出されると、そのたびに、図４のステップＳ３で軌跡データとして外部のＰＣ等に出力される。
【００４２】
一方、電子ペンによる筆記中にペンアップが検出されると（ステップＢ１；Ｎｏ→ステップＢ２；Ｙｅｓ）、ペン先が筆記面から離れたことが記録され、この情報は図４のステップＳ３で軌跡データとして外部のＰＣ等に出力されることになる。
【００４３】
なお、評価値の最小値を得るにあたり、上記の説明では、全ての条件のもとで画像をずらして評価値を算出した後に最小値を選出したが、計算途中の最低評価値を記録しておき、ある条件の下での評価値計算の最中に前記最低評価値を超えたならば、その時点で計算を打ち切るようにして処理の高速化を図るようにしても良い。
【００４４】
また、高速化に関しては、取得した画像データ全てを用いるのではなく、例えば温度の高い点を抽出して、その点の画像データを用いてパターンマッチングを行っても良い。
【００４５】
このように本発明に係るペン型電子機器は、ペン先に設けられた発熱手段と、前記発熱手段が設けられたペン先で筆記された面の温度情報を画像として撮像する画像読み取り手段と、 前記画像読み取り手段で時間差をもって撮像された前後の画像に基づいてペン先の移動情報を算出するデータ処理手段と、を具備しているため、発熱手段が設けられたペン先で筆記された面の温度情報を画像として撮像し、撮像された時間差を有する前後の画像に基づいてペン先の移動情報を算出するので、インキで書けないような対象物にペンで手書きをしても、画像読み取り手段で筆記面を読み取って、ペンの軌跡の算出が可能になる。
【００４６】
なお、このペン型電子機器において、前記データ処理手段は、前記前画像について後画像の撮像までの時間差により温度が低下する分の温度補正を行う温度補正手段と、当該温度補正手段により温度補正された前画像と後画像のパターンマッチングをするパターンマッチング手段とを具備し、パターンマッチングの結果に基づいてペン先の移動量を決定するので、温度低下の影響を考慮した適切な移動量の算出が可能になる。
【００４７】
なお、本願発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施の形態である電子ペンの全体構成図。
【図２】前記電子ペンの回路ブロック図。
【図３】前記電子ペンのヒータの構成図。
【図４】本発明の電子ペンの全体的動作を示すフローチャート。
【図５】前記フローチャートのヒータ処理を示すフローチャート。
【図６】前記フローチャートの筆記読み込み処理を示すフローチャート。
【図７】画像のパターンマッチングを説明するための図。
【符号の説明】
【００４９】
１００ …電子ペン本体
１０１ …発熱部
１０２ …圧力センサ
１０３ …遠赤外線カメラ
１０４ …データ処理部
１０５ …無線通信部
１０６ …バッテリ
１０７ …ＣＰＵ
１０８ …ＲＯＭ
１０９ …ＲＡＭ
２００ …基板
２０１ …薄膜抵抗体
２０２ …温度センサ
２０３ …中間層
２０４ …保護層
【特許請求の範囲】
【請求項１】
ペン先に設けられた発熱手段と、
前記発熱手段が設けられたペン先で筆記された面の温度情報を画像として撮像する画像読み取り手段と、
前記画像読み取り手段により時間差をもって撮像された前後の画像に基づいてペン先の移動情報を算出するデータ処理手段と、
を具備したことを特徴とするペン型電子機器。
【請求項２】
前記データ処理手段は、前記前画像について後画像の撮像までの時間差により温度が低下する分の温度補正を行う温度補正手段と、当該温度補正手段により温度補正された前画像と後画像のパターンマッチングをするパターンマッチング手段とを具備し、パターンマッチングの結果に基づいてペン先の移動量を決定することを特徴とする請求項１に記載のペン型電子機器。
【請求項３】
前記ペン先に設けられる温度センサーと、
前記温度センサーにより検出される温度により前記発熱手段の加熱を制御する加熱制御手段と
を具備したことを特徴とする請求項１または２に記載のペン型電子機器。
【請求項４】
前記データ処理手段で算出されたペン先の移動情報を外部装置に出力する出力手段を具備したことを特徴とする請求項１から請求項３の何れか１項に記載されたペン型電子機器。
【請求項５】
発熱手段が設けられたペン先と、温度情報を画像として撮像する画像読み取り手段を有するペン型電子機器を用い、前記ペン先で筆記された面の温度情報を画像として撮像してペン先の移動情報を算出するペン先移動情報算出方法であって、
一定の時間差をもって筆記面を撮像し、前後する２つの画像を取得する撮像ステップと、
前記撮像ステップで撮像された２つの画像のうち前画像について、後画像の撮像までの時間差により温度が低下する分の温度補正をする温度補正ステップと、
前記撮像ステップで取得した後画像と前記温度補正ステップで温度補正された前画像とを所定の条件に従ってずらしながら画像の一致度を算出する一致度算出ステップと、
前記一致度算出ステップで算出された一致度のうち最も高い一致度が得られたずれ量に基づいてペン先の移動量を決定する移動量決定ステップと、
からなるペン先移動情報算出方法。
【請求項１】
ペン先に設けられた発熱手段と、
前記発熱手段が設けられたペン先で筆記された面の温度情報を画像として撮像する画像読み取り手段と、
前記画像読み取り手段により時間差をもって撮像された前後の画像に基づいてペン先の移動情報を算出するデータ処理手段と、
を具備したことを特徴とするペン型電子機器。
【請求項２】
前記データ処理手段は、前記前画像について後画像の撮像までの時間差により温度が低下する分の温度補正を行う温度補正手段と、当該温度補正手段により温度補正された前画像と後画像のパターンマッチングをするパターンマッチング手段とを具備し、パターンマッチングの結果に基づいてペン先の移動量を決定することを特徴とする請求項１に記載のペン型電子機器。
【請求項３】
前記ペン先に設けられる温度センサーと、
前記温度センサーにより検出される温度により前記発熱手段の加熱を制御する加熱制御手段と
を具備したことを特徴とする請求項１または２に記載のペン型電子機器。
【請求項４】
前記データ処理手段で算出されたペン先の移動情報を外部装置に出力する出力手段を具備したことを特徴とする請求項１から請求項３の何れか１項に記載されたペン型電子機器。
【請求項５】
発熱手段が設けられたペン先と、温度情報を画像として撮像する画像読み取り手段を有するペン型電子機器を用い、前記ペン先で筆記された面の温度情報を画像として撮像してペン先の移動情報を算出するペン先移動情報算出方法であって、
一定の時間差をもって筆記面を撮像し、前後する２つの画像を取得する撮像ステップと、
前記撮像ステップで撮像された２つの画像のうち前画像について、後画像の撮像までの時間差により温度が低下する分の温度補正をする温度補正ステップと、
前記撮像ステップで取得した後画像と前記温度補正ステップで温度補正された前画像とを所定の条件に従ってずらしながら画像の一致度を算出する一致度算出ステップと、
前記一致度算出ステップで算出された一致度のうち最も高い一致度が得られたずれ量に基づいてペン先の移動量を決定する移動量決定ステップと、
からなるペン先移動情報算出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−６９９４５（Ｐ２００９−６９９４５Ａ）
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願番号】特願２００７−２３５１８７（Ｐ２００７−２３５１８７）
【出願日】平成１９年９月１１日（２００７．９．１１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願日】平成１９年９月１１日（２００７．９．１１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]