ペン型情報入力装置、ペン型情報入力方法、ペン型情報入力プログラム
【課題】資料内の記載情報、又は資料に書き込んだ情報を重要度に応じて取得する。
【解決手段】圧力センサ部１０２がペン先部１０３の筆圧を検知した場合に、ペン型入力装置１本体の加速度情報を取得し、この加速度情報に基づきペン先部１０３の軌跡情報を生成すると共に、カメラ部１０４から取得した画像情報における画素間の輝度差に基づき加筆時におけるペン先部１０３近傍の画像領域の複雑度を算出する複雑度計算部１０５と、この複雑度と予め設定された複雑度基準値とを比較することにより画像情報の重要度を算出し、軌跡情報および画像情報のうちの重要度の高い方の情報を入力用データとして決定する判定部１０６を備えたペン型入力装置１。
【解決手段】圧力センサ部１０２がペン先部１０３の筆圧を検知した場合に、ペン型入力装置１本体の加速度情報を取得し、この加速度情報に基づきペン先部１０３の軌跡情報を生成すると共に、カメラ部１０４から取得した画像情報における画素間の輝度差に基づき加筆時におけるペン先部１０３近傍の画像領域の複雑度を算出する複雑度計算部１０５と、この複雑度と予め設定された複雑度基準値とを比較することにより画像情報の重要度を算出し、軌跡情報および画像情報のうちの重要度の高い方の情報を入力用データとして決定する判定部１０６を備えたペン型入力装置１。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、資料内の情報から重要度に応じて情報を抽出する情報入力装置に関し、特に資料に対して加筆された情報と予め記載された情報とから重要情報を抽出する情報入力装置に関する。
【背景技術】
【０００２】
近年、タブレット型ＰＣ（パーソナル・コンピュータ）や電子ブックなどのタッチパネルを入力インターフェースとして備え、手書き文字情報を電子化する電子ペンなどの情報装置が利用されている。
【０００３】
これらは入力された手書き文字などの情報を記憶すると共に、利用者が書きとめたメモやノート内におけるメモデータなどを容易に検索可能とし、更には、これにより、複数人数での情報共有を容易に行うことも可能となる。
【０００４】
また、メモや手書き文字などを電子化した電子情報をインターネット上のサーバ装置に蓄積するクラウド型サービスも利用されており、これにより、過去に生成されたデータをクラウド上に蓄積保存する場面が増えてきている。
【０００５】
更に、手書きのメモをより有効活用する手段として、クラウドに保存された情報を複数の利用者が共有することにより、組織内、グループ内における情報活用を活発化することが求められている。
【０００６】
ところで、配布された資料に対してユーザが書き込みを行い、この資料から重要情報を抽出する場合に、資料に予め記載された情報が重要なのか、資料に書き込まれた情報が重要なのかを判断することは、各ユーザの恣意的な判断が含まれるために、適切に行うことが困難であった。
【０００７】
これに対する関連技術として、ペン先にカメラを備えた電子ペンで、ペン先の軌道をトレースするために、紙面のパタンを撮影し、また、紙面に何も記載されていない場合にはペン先の印字を撮影する事によって、何が記載されたかをペンに搭載された加速度センサ情報の補助情報として取得する電子ペン装置が開示されている（特許文献１）。
【０００８】
また、他の関連技術として、電子ペンと付属の座標入力装置によって、ペン先の軌道を取得し、紙面上の座標位置に記載した情報を取得する装置が開示されている（特許文献２）。
更に、この関連技術として、ペン先のカメラで紙面に予め記入されている格子模様パタンを撮影検出し格子模様の大きさによってペン先が紙面に接触しているか否かを判断し且つ、ペン先の位置情報を捉えることで、電子ペンによって記入された文字情報を取得している（特許文献３）。
【０００９】
また、タブレット型ＰＣや電子ブックなどの表示デバイス上に管理可能な付加情報を付与し、表示デバイス上に表示された情報に新たに意味づけを行い共有する手法が開示されている（特許文献４）。
【００１０】
関連技術として、画像データの複雑度を計算して画像データの平滑化フィルタの強度を決定するシステムが開示されている（特許文献５）。
また、他の関連技術として、電子ペンの圧力センサ及び加速度センサによってペンの移動量を求め正確なポインティングを可能とする装置が開示されている（特許文献６）。
【００１１】
また、これに対する関連技術として、低解像度高速度カメラと、高解像度低速度カメラとを組み合わせる場合に隣り合う画素間の二乗和を求めることで、画像のエッジ方向を決定する装置が開示されている（特許文献７）。更に、この関連技術として、取り込まれた画像データのヒストグラムおよびエントロピーを計算することで、デジタル画像のブロック内のエッジを検出するシステムが開示されている（特許文献８）。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特許第４２９２９２７号公報
【特許文献２】特開２０１０−００９５４２号公報
【特許文献３】特許第３９９５８６６号公報
【特許文献４】特許第４１７２２６６号公報
【特許文献５】特開２０１０−０８１０６６号公報
【特許文献６】特開平０９−０１６３２１号公報
【特許文献７】特許第４２１５２６６号公報
【特許文献８】特許第４２５７２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記各特許文献１〜３、およびこれらを組み合わせた内容では、電子ペンによって紙面のどの位置にどのような情報を記載したかを電子化することを目的としており、紙面に予め記載された文字情報を取得することができないという不都合がある。
【００１４】
また、上記特許文献４〜８、またはこれらの組み合わせでは、入力された画像データが無地であるのか、複雑な模様もしくは文字が記載されているのかを判断することができないため、筆記対象面における記載内容と、ユーザによる書き込み内容とを的確に判別することができず、重要度の高い所望の情報を適切に抽出することができないという不都合が生じ得る。
【００１５】
［発明の目的］
本発明は、上記関連技術の有する不都合を改善し、予め資料に記載された記載情報または資料に対して書き込んだ内容を重要度に応じて電子化して入力するペン型情報入力装置、情報入力方法、および情報入力プログラムを提供することを、その目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明に係るペン型情報入力装置は、筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置であって、前記圧力センサ部がペン先部における一定の筆圧を検知した場合に前記本体部における加速度情報を検知し当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する軌跡情報生成部と、前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する複雑度算出部と、前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定部とを備えたことを特徴としている。
【００１７】
また、本発明にかかる情報入力方法は、筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置にあって、前記加筆時に前記筆記対象面から入力用データを抽出する情報入力方法であって、前記圧力センサ部がペン先部における一定の筆圧を検知した場合に、前記本体部における加速度情報を検知し、当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成し、前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出し、前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定することを前記ペン型情報入力装置により実行することを特徴としている。
【００１８】
又、本発明にかかる情報入力プログラムは、筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置にあって、前記加筆時に前記筆記対象面から入力用データを抽出するための情報入力プログラムであって、前記圧力センサ部がペン先部における一定の筆圧を検知した場合に、前記本体部における加速度情報を検知し、当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する軌跡情報生成機能と、前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する複雑度算出機能と、前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定機能とを、前記ペン型情報入力装置が備えたコンピュータに実現させることを特徴としている。
【発明の効果】
【００１９】
本発明は、以上のように構成され機能するので、これによると、検知した加速度情報に基づきペン先部１０３の軌跡情報を生成すると共に、カメラ部１０４から取得した画像情報における画素間の輝度差に基づき加筆時におけるペン先部１０３近傍の画像領域の複雑度を算出する複雑度算出部（複雑度計算部１０５）と、画像情報の重要度を算出し、軌跡情報および画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定部（判定部１０６）とをペン型情報入力装置（ペン型入力装置１）が備えた構成としたことにより、資料に対して書き込みを行った場合に、資料に予め記載された記載情報または書き込まれた内容である書き込み情報のうちの重要度の高い方の情報を電子化して蓄積するペン型情報入力装置、情報入力方法、および情報入力プログラムを提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本願に係るペン型情報入力装置の一実施形態を示す概略ブロック図である。
【図２】図１に開示したペン型情報入力装置の動作処理ステップを示すフローチャートである。
【図３】図１に開示したペン型情報入力装置を利用した書き込み動作が行われている状態を示す説明図である。
【発明を実施するための形態】
【００２１】
［実施形態］
次に、本発明の実施形態について、その基本的構成内容を説明する。
【００２２】
本実施形態であるペン型入力装置（ペン型情報入力装置）１は、文字データや画像データを含む資料や紙などの筆記対象媒体面（ここでは「紙面２」）に筆記するためのペン型の形状を有する装置であり、紙面２に接触した場合に予め充填されたインクを紙面２に転写する構造を有するペン先部１０３と、紙面２に文字や図を記入するためにペン先部１０３が紙面２に接触した場合のペン先部１０３における紙面２に対する接触圧力（つまり、筆圧）を検出する圧力センサ部１０２と、圧力センサ部１０２がペン先部１０３における筆圧を検出した場合に、ペン先部１０３に近接して設置された接写レンズを通してペン先部を含む一定の接触領域を撮影するカメラ部１０４と、ペン先が紙面２に接触しているときのペン型入力装置１における加速度情報を検知する加速度センサ部１０１を備えた構成を有する。
【００２３】
また、ペン型入力装置１は、図１に示すように、加速度センサ部１０１、圧力センサ部１０２、およびカメラ部１０４から送り込まれた情報に基づき、ペン先の移動軌跡を示す軌跡情報、紙面２における地の複雑度を算出する複雑度計算部１０５と、算出された軌跡情報、複雑度に基づき紙面２から書き込み動作時に取得した情報それぞれの重要度を決定する判定部１０６と、重要度が高いと判定されたデータを予め設置された外部機器３に対して無線送信する通信部１０７を備えた構成を有する。
【００２４】
尚、図１においては、カメラ部１０４の一部を構成する接写レンズは１つしか記載していないが、ペン先部１０３を含む一定範囲を画像データとして取得する、異なる２つ以上の接写レンズを備えた構成であってもよい。
また、上記圧力センサ部１０２は、ペン先部１０３における筆圧を捉えることができればよいため、例えば、タクトスイッチなどであってもよい。
【００２５】
また、ペン型入力装置１は、複雑度計算部１０５により算出された情報を内部データとして一時的に保持する内部データメモリ領域１０８と、内部データメモリ領域１０８に格納された内部データの有無判定を行うと共に、ペン型入力装置１の内部構成における動作開始用に初期化処理を行う動作制御部１０９を備えている。
【００２６】
以下、これを詳述する。
圧力センサ部１０２は、ユーザがペン型入力装置１を利用して紙面２に対して文字や図などの書き込みを行うのに際し、ペン型入力装置１のペン先部１０３が紙面２に接触し、その筆圧の大きさに応じてペン先部１０３に生じた筆圧を電気信号として検知する（筆圧検知機能）。
また、圧力センサ部１０２は検知した検知された筆圧が一定値以上であるか否かを判定する（筆圧値判定機能）。
【００２７】
カメラ部１０４は、圧力センサ部１０２が一定値以上の大きさの筆圧を検出したときに（つまり、圧力センサ１０２がオン状態に設定された場合に）、ペン先部１０３に近接して設置されたレンズを通して、ペン先部１０３および紙面２の接触部分を含む領域の撮影を行い、撮像された画像データを取得する（ペン先部撮影機能）。
【００２８】
尚、図１では、カメラ部１０４の接写レンズが１つ設けられた実施形態が示されているが、ペン先を含むペン先近辺の画像を撮影するために、例えば、３つ以上の接写レンズをペン先部１０３に近接した位置（装置外装部）に均等に設けた構成であってもよい。
【００２９】
複雑度計算部１０５は、カメラ部１０４により撮影された画像データを取得し、この画像データにおける異なる画素濃度値（例えば、隣り合う画素同士の濃度値とする）の差分値の二乗和を、複雑度値（以下「複雑度」という）として算出する（複雑度計算機能）。
尚、この複雑度は、紙面２に予め記載された内容や紙面２の背景地の色・模様などの種別を判別可能に示す値であるものとする。
【００３０】
例えば、紙面２が無地である場合には、算出される複雑度は一定値（例えば、閾値の値を１とする）を下回る値となり、紙面２に文字や画像などが記載・描画されている場合には、複雑度が一定値より高い値となるものとする。
【００３１】
また、複雑度計算部１０５は、画像データ内における異なる画素領域における単位面積当たりの複雑度を画素濃度値に基づき計算し、各画素領域に対応した複雑度の値から成るヒストグラム（ヒストグラム情報）を作成するヒストグラム計算機能を備えている。
【００３２】
更に、複雑度計算部１０５は、圧力センサ部１０２がオン状態であるときに、紙面２に接触しているときに検知された加速度情報（加速度センサデータ）を加速度センサ部１０１から収集する（加速度情報収集機能）。
【００３３】
複雑度計算部１０５は、収集した加速度情報に基づきペン先部１０３における移動軌跡を示す軌跡情報を導出する。つまり、複雑度計算部１０５は、ペン先部オン状態時における加速度情報に基づきペン先部１０３の動きを示す軌跡情報を算出する（軌跡情報導出機能）。
これにより、加速度センサ部１０１で取得された加速度情報は、ユーザが入力装置１を利用して紙面２へと描画（記述）した内容を示す軌跡情報へと変換される。
【００３４】
尚、軌跡情報を導出する処理にかかる処理負荷が複雑度計算部１０５におけるプロセッサの処理能力に比して一定割合より高くなる場合に、複雑度計算部１０５は、軌跡情報導出処理を中止し、この場合、通信部１０７が加速度情報を入力データとして外部機器３に対して送出する設定であってもよい（加速度情報送出機能）。
【００３５】
尚、複雑度計算部１０５における、処理演算量の割合が一定値以上に高くなる場合とは、処理演算量が一定値以上の場合や処理演算にかかる時間が一定時間より長くなることが推定される場合などを示すものとする。
【００３６】
例えば、ペン型入力装置１の物理的大きさ（長さ）が一定値よりも大きい場合には、演算量も大きくなる。
このため、ペン型入力装置１の物理的大きさ（長さ）と複雑度計算部１０５におけるプロセッサの処理スペックとに基づき設定された、上記処理閾値が複雑度計算部１０５内に予め記憶されていてもよい。
【００３７】
判定部１０６は、圧力センサ部１０２がオフ状態（例えば、筆圧が０となった場合など）となった場合に、内部データ記憶領域１０８から、ペン先部１０３の軌跡情報、複雑度、およびヒストグラム情報を取得し、これら情報に基づきカメラ部１０４で撮影された画像データおよび軌跡情報のどちらが重要データであるかを判定する重要データ決定機能を備えている。
【００３８】
判定部１０６は、ヒストグラムの形状やヒストグラムを構成する異なる値の相関関係などに基づき、紙面２に記載された内容が文字、図形もしくは写真であるのかを判定を行う記載情報種別判別機能を有する。
【００３９】
尚、紙面２上に予め文字、図形、写真等が記載されている（印刷されている）と判定した場合に、判定部１０６は、カメラ部１０４で撮影された、紙面２に予め記載された情報である画像データと、取得した軌跡情報のどちらが重要データであるかの判定を行う設定であってもよい。
【００４０】
判定部１０６は、取得した複雑度が予め設定された閾値１より低い場合に、紙面２が無地であると推定すると共に、このとき、ペン先部１０３の軌跡情報は画像データ（無地の紙面を示す）よりも重要な情報であると判定する（重要情報決定機能）。
【００４１】
また、判定部１０６は、複雑度と予め設定された閾値（例えば、１とする）とを比較し、複雑度の値が閾値１以上である場合に、複雑度の平均値とヒストグラムの交差間隔に基づき紙面２には文字情報が記載されているものと判定する設定であってもよい（記載情報種別判定機能）。また、このとき、判定部１０６は、記載された文字情報の文字間隔の推定算出を行うものとする（文字間隔推定算出機能）。
【００４２】
また、判定部１０６は、ペン先部１０３の軌跡情報（書き込まれた内容）における開始点と終了点を結んだ直線Ａに対して、軌跡情報がどれだけ外れているかを示すバラツキ度（つまり、軌跡情報が直線Ａに対して離れている度合い）を算出する（バラツキ度算出機能）。
【００４３】
更に、判定部１０６は、直線Ａの長さと推定した文字間隔を比較し、例えば、直線Ａが文字間隔より短い場合には、ペン先部１０３の軌跡情報（書き込まれた内容）の方が画像データ（記載された文字情報）よりもが重要であると判定する（重要データ決定機能）。
【００４４】
また、判定部１０６は、直線Ａの長さと推定した文字間隔を比較し直線Ａが文字間隔より長い場合には、この直線Ａに対応するバラツキ度と予め設定された閾値２とを比較する（直線−バラツキ度比較判定機能）。
ここで、閾値２よりバラツキ度が小さい場合、判定部１０６は、ペン先部１０３の軌跡情報と画像データのどちらが重要であるかは判定不能（つまり、両方等も需要である）と決定する（重要データ決定機能）。
【００４５】
一方、バラツキ度と閾値２とを比較した結果、閾値２よりバラツキ度が大きい場合、判定部１０６は、画像データの方が重要であると判定する。つまり、例えば、ペン先部１０３の軌跡情報（つまり、ペン先による紙面２への描画内容）が重要な記載データ（記載文字データ）を囲っているものと判定する。
【００４６】
通信部１０７は、軌跡情報または画像データのうち上記判定結果として重要度が高いと判定された側の情報を外部機器３に無線送信する重要データ送信機能を備えている。
また、通信部１０７は、重要度の判定結果が判定不能を示す場合には、軌跡情報及び画像データの両データを入力データとして外部機器３に対して送信する（入力データ送信機能）。
【００４７】
尚、通信部１０７は、例えば、ＷｉＦｉ、ＷｉＭＡＸ、ＩＥＥＥ８０２．１１ａ，ｇ，ｂ、Ｂｌｕｅｔｏｏｔｈなどの通信方式により外部機器３に対してデータ送信を行うものとする。
【００４８】
外部機器３は、入力装置１から送り込まれた画像データ、軌跡情報について、対応して送り込まれた判定結果に基づいて、重要であると判定された画像データ、軌跡情報、または、その両方を記憶する。
【００４９】
尚、外部機器３は、ペン型入力装置１の通信部１０７の無線通信方式に対応した、例えば、ＷｉＦｉ、ＷｉＭＡＸ、ＩＥＥＥ８０２．１１ａ，ｇ，ｂ、Ｂｌｕｅｔｏｏｔｈなどの方式の通信手段を備えているものとする。
【００５０】
以上のように、本実施形態では、ユーザが入力装置１を利用して資料（紙面）に対して書き込みを行った場合に、資料内の記載データと書き込み内容とのどちらが重要なデータであるかを判断し、外部機器に対して重要データと判定した情報を格納することができる。
【００５１】
一般に、例えば、図３に示すように、紙面２に予め記載された内容が文章などの文字データであり、その文章内に重要であると判断される文字データ（文字列）があった場合に、ユーザはこの文字データに対して下線を引く場合がある。
【００５２】
また、ユーザが重要と判断した文字データや下線などのマーキングを行った文字データが、膨大な量となる場合などには、ユーザがそれらの文字データを記憶しておくことは困難である。
更には、ユーザが資料や紙面に対してどのような文字データ（キーワード）を書いたか、どの記載文字データに対してマーキングを行ったか、資料内でどのような文字データを重要データ、重要語句と判断したか、といったことは、正確に思い出すということは困難である。
【００５３】
これに対して、本実施形態に示したペン型入力装置１を利用してユーザが資料に対してマーキングや書き込みを行った場合に、ペン型入力装置１は、ユーザが重要と判断した情報を抽出し、外部機器３に蓄積することができる。
これにより、資料における重要内容を容易に把握することが可能となり、更には、資料における重要データやキーワードを効率よく検索することも可能となる。
【００５４】
更には、上記ペン型入力装置を利用して、異なるユーザそれぞれが重要データとして書き込んだメモやマーキング情報、また、資料内のマーキングされた文字データなどの情報が効率的に抽出され外部機器３に格納することが可能となり、このため、異なるユーザ間で、外部機器３に重要データとして格納された情報を容易に共有することが可能となる。
【００５５】
［実施形態の動作説明］
次に、上記実施形態について、その全体的な動作内容を説明する。
まず、圧力センサ部１０２がペン先部１０３における一定の筆圧を検知した場合に、複雑度計算部１０５が、ペン型入力装置１の加速度情報を取得し、この加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する（軌跡情報生成工程）。
【００５６】
また、複雑度計算部１０５は、カメラ部１０４から取得した画像データにおける異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する（複雑度算出工程）。
【００５７】
次いで、判定部１０６が、上記複雑度と予め設定された複雑度基準値とを比較することにより、画像情報の重要度を算出し、軌跡情報および画像データのうちの重要度の高い方の情報を入力用データとして決定する（入力用データ決定工程）。
【００５８】
ここで、上記軌跡情報生成工程、複雑度算出工程、および入力用データ決定工程については、その実行内容をプログラム化し、コンピュータに実行させるように構成してもよい。
また、本プログラムは、非一時的な記録媒体、例えば、ＤＶＤ、ＣＤ、フラッシュメモリなどに記録されてもよい。その場合、本プログラムは、記録媒体からコンピュータによって読み出され、実行される。
【００５９】
次に、ペン型情報入力装置１の動作内容について、図２のフローチャートに基づき詳説する。
【００６０】
まず、動作制御部１０９が、ペン型入力装置１の動作開始用に初期化処理を行う（ステップＳ１０１）と共に、内部データメモリ領域１０８に内部データが格納されているかいないかの判定を行う。ここでは、内部データメモリ領域１０８には内部データが格納されていないものとする（ノー：ステップＳ１０２）。
次いで、ユーザがペン型入力装置１を利用しては紙面２に対して文字や図などの書き込みを行う（書き込み工程）。ここで、ペン型入力装置１のペン先部１０３が紙面２に接触する。
このとき、圧力センサ部１０２がペン先部１０３における筆圧に対応して発生した電気信号を検知し、この筆圧（電気信号）の変化を示す値を取得する。ここで、圧力センサ部１０２は検知した検知された筆圧が一定値以上であるか否かを判定する（ステップＳ１０３）。
【００６１】
圧力センサ部１０２で一定値以上の大きさの筆圧が検出された場合（つまり、圧力センサ１０２がオン状態に設定された場合（イエス：ステップＳ１０３））に、カメラ部１０４がペン先部１０３の紙面部２との接触部を含む領域の撮影を行い、撮影した画像データを取得する（ステップＳ１０４：カメラ画像入力（ペン先撮影工程））。
【００６２】
尚、図１ではカメラ部１０４の接写レンズが１つである場合が示されているが、ペン先を含むペン先周辺画像を取り込むために、例えば、３つ以上の接写レンズをペン先部１０３の外装に均等に設けた構成であってもよい。
【００６３】
次いで、複雑度計算部１０５が、カメラ部１０４により撮影された画像データを取得し、この画像データにおける異なる画素濃度値（例えば、隣り合う画素同士の濃度値とする）の差分値の二乗和を、複雑度値（以下「複雑度」という）として算出する（ステップＳ１０６：複雑度計算工程）。
尚、この複雑度は、紙面２に予め記載された内容や紙面２の背景地の色・模様などの種別を判別可能に示す値であるものとする。
【００６４】
例えば、紙面２が無地である場合には、算出される複雑度は一定値（例えば、閾値の値を１とする）を下回る値となり、紙面２に文字や画像などが記載・描画されている場合には、複雑度が一定値より高い値となるものとする。
【００６５】
次に、複雑度計算部１０５は、画像データ内における異なる画素領域における単位面積当たりの複雑度を画素濃度値に基づき計算し、各画素領域に対応した複雑度の値から成るヒストグラム（ヒストグラム情報）を作成する（ステップＳ１０８：ヒストグラム計算工程）。
【００６６】
一方、圧力センサ部１０２がオン状態であるときに（イエス：ステップＳ１０３））に、複雑度計算部１０５は、紙面２に接触しているときに検知された加速度情報（加速度センサデータ）を加速度センサ部１０１から収集する（ステップＳ１０５：加速度センサデータ入力（加速度情報収集工程））。
【００６７】
次いで、複雑度計算部１０５は、収集した加速度情報に基づきペン先部１０３における移動軌跡を示す軌跡情報を導出する。つまり、複雑度計算部１０５は、ペン先部オン状態時における加速度情報に基づきペン先部１０３の動きを示す軌跡情報を算出する（ステップＳ１０７：軌跡情報導出工程）。
これにより、加速度センサ部１０１で取得された加速度情報は、ユーザが入力装置１を利用して紙面２へと描画（記述）した内容を示す軌跡情報へと変換される。
【００６８】
ここで、上記算出された複雑度、ヒストグラム情報、軌跡情報は内部データとして内部データ記憶領域に格納される（ステップＳ１０９）。
【００６９】
尚、複雑度計算部１０５が軌跡情報を導出する処理を行う場合に、当該処理にかかる処理負荷が複雑度計算部１０５におけるプロセッサの処理能力に比して一定割合より高くなる場合、複雑度計算部１０５は軌跡情報導出処理を中止し、通信部１０７が加速度情報を入力データとして外部機器３に対して送出する設定であってもよい（加速度情報送出工程）。
【００７０】
次いで、圧力センサ部１０２がオフ状態（例えば、筆圧が０となった場合など）となり（ノー：ステップＳ１０３）、且つ内部データ記憶領域に内部データが格納された場合に（ステップＳ１０２）、判定部１０６が、内部データ記憶領域から、ペン先部１０３の軌跡情報、複雑度、およびヒストグラム情報を取得する。
【００７１】
このとき、判定部１０６はヒストグラムの形状やヒストグラムを構成する異なる値の相関関係などに基づき、紙面２に記載された内容が文字、図形もしくは写真であるのかを判定を行う設定であってもよい。
【００７２】
ここで、紙面２上に予め文字、図形、写真等が記載されている（印刷されている）と判定した場合に、判定部１０６は、カメラ部１０４で撮影された、紙面２に予め記載された情報である画像データと、取得した軌跡情報のどちらが重要データであるかの判定を行う。
【００７３】
取得した複雑度が予め設定された閾値１より低い場合に、判定部１０６は、紙面２が無地であると推定する。このとき、判定部１０６は、ペン先部１０３の軌跡情報は、画像データ（無地の紙面を示す）よりも重要な情報であると判定する（ステップＳ１１１：軌跡情報が重要データ：重要情報決定工程）。
【００７４】
次いで、通信部１０７が、軌跡情報、および判定結果（ここでは、「軌跡情報が重要であることを示す」）を外部機器３に対して、入力データとして送信する（ステップＳ１１９：軌跡情報を重要データとして送信（入力データ送信工程））。
【００７５】
また、判定部１０６は、複雑度が閾値１以上の場合に（ノー：ステップＳ１１０）、複雑度の平均値とヒストグラムの交差間隔に基づき紙面２には文字情報が記載されているものと判定し（記載情報種別判定工程）、このとき、判定部１０６は、記載された文字情報の文字間隔の推定算出を行うものとする（ステップＳ１１２：文字間隔を推定）。
【００７６】
更に、判定部１０６は、ペン先部１０３の軌跡情報（書き込まれた内容）における開始点と終了点を結んだ直線Ａに対して、軌跡情報がどれだけ外れているかを示すバラツキ度（軌跡情報が直線Ａに対して離れている度合い）を算出する（ステップＳ１１３：バラツキ度を計算）。
【００７７】
ここで、判定部１０６は、直線Ａの長さと推定した文字間隔を比較し（ステップＳ１１４）、例えば、直線Ａが文字間隔より短い場合（イエス：ステップＳ１１４）、ペン先部１０３の軌跡情報（書き込まれた内容）の方が画像データ（記載された文字情報）よりもが重要であると判定する（ステップＳ１１５：軌跡情報が重要（重要データ決定工程））。
このとき、通信部１０７は、外部機器３に対して軌跡情報を入力データとして送信する（ステップＳ１１９：軌跡情報を重要データとして送信（入力データ送信工程））。
【００７８】
また、判定部１０６は、直線Ａの長さと推定した文字間隔を比較し（ステップＳ１１４）、直線Ａが文字間隔より長い場合には（ノー：ステップＳ１１４）、この直線Ａに対応するバラツキ度と予め設定された閾値２とを比較する（ステップＳ１１６）。
ここで、閾値２よりバラツキ度が小さい場合（イエス：ステップＳ１１６）、判定部１０６は、ペン先部１０３の軌跡情報と画像データのどちらが重要であるかは判定不能（つまり、両方等も需要である）と判定する（ステップＳ１１７：重要データ判定不能（重要データ決定工程））。
このとき、通信部１０７は外部機器３に対して重要度判定不能を示す判定結果と、軌跡情報及び画像データを、入力データとして送信する（ステップＳ１２０：軌跡情報および画像データの両データを送信（入力データ送信工程））。
【００７９】
一方、バラツキ度と閾値２とを比較した結果、閾値２よりバラツキ度が大きい場合（ノー：ステップＳ１１６）、判定部１０６は、画像データの方が重要であると判定する。つまり、例えば、ペン先部１０３の軌跡情報（つまり、ペン先による紙面２への描画内容）が重要な記載データ（記載文字データ）を囲っているものと判定する（ステップＳ１１８：画像データが重要（重要データ決定工程））。
ここで、通信部１０７は、重要データと判定された画像データ（記載データ）、および判定結果（画像データの方が重要であることを示す）を、外部機器３に対して送信する（ステップＳ１２１：画像データを重要データとして送信する（重要データ送信工程））。
【００８０】
次いで、外部機器３は、入力装置１から送り込まれた画像データ、軌跡情報について、対応して送り込まれた判定結果に基づいて、重要であると判定された画像データ、軌跡情報、または、その両方を記憶する。
【００８１】
最後に、動作制御部１０９が、外部機器３に対して送信された軌跡情報および画像データに係る内部データを内部データメモリ領域１０８から消去する（ステップＳ１２２：内部データクリア）。
【００８２】
尚、外部機器３は、ペン型入力装置１の通信部１０７の無線通信方式に対応した、例えば、ＷｉＦｉ、ＷｉＭＡＸ、ＩＥＥＥ８０２．１１ａ，ｇ，ｂ、Ｂｌｕｅｔｏｏｔｈなどの方式の通信手段を備えているものとする。
【００８３】
以上のように、本実施形態では、ユーザにより、本実施形態であるペン型入力装置を利用して資料への書き込みが行われた場合に、その書き込み内容と資料内の記載内容それぞれの重要度を算出し、より重要度の高い方の内容（情報）を重要データとして外部機器に対して入力することができる。
このため、例えば、ユーザが資料を読んでいる最中に思いついたアイディアを資料にメモした場合には、このメモ内容が重要データとして抽出され、また、資料内の記載文字データに対してユーザが下線などのマーキングを行った場合には、マーキング対象となった記載文字データが重要データとして抽出され、これら抽出された重要データを外部機器に蓄積することができる。
【００８４】
これにより、資料内の重要内容や重要文字データ、そして資料に係るアイディアやメモ内容を自動的に格納保存することが可能となり、このため、ユーザは資料内に係る重要な文字データやキーワードを効率よく検索したり、ユーザが資料内容に係り思いついた内容やメモした情報を他のユーザと共有したりすることが可能となる。
【００８５】
上述の実施形態については、その新規な技術的内容の要点をまとめると、以下のようになる。
尚、上記実施形態の一部または全部は、新規な技術として以下のようにまとめられるが、本発明は必ずしもこれに限定されるものではない。
【００８６】
（付記１）
筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置であって、
前記圧力センサ部がペン先部における一定の筆圧を検知した場合に前記本体部における加速度情報を検知し当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する軌跡情報生成部と、
前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する複雑度算出部と、
前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定部とを備えたことを特徴とするペン型情報入力装置。
【００８７】
（付記２）
付記１に記載のペン型情報入力装置において、
前記入力用データを予め設定された外部機器に対して送信する通信部を備えたことを特徴とするペン型情報入力装置。
【００８８】
（付記３）
付記１に記載のペン型情報入力装置において、
複雑度算出部は、
前記複雑度基準値が前記複雑度より高い場合に、前記画像情報の輝度値に基づきヒストグラムを生成するヒストグラム生成機能と、前記ヒストグラムに基づき前記画像情報に含まれる文字情報の文字間隔を算出する文字間隔算出機能とを備え、
前記重要データ決定部が、
前記文字間隔と前記軌跡情報の始点および終点を結んだ直線が前記文字間隔より短い場合に前記軌跡情報を前記重要データとして決定する軌跡情報抽出機能を備えたことを特徴とするペン型情報入力装置。
【００８９】
（付記４）
付記１に記載のペン型情報入力装置において、
複雑度算出部は、
前記複雑度基準値が前記複雑度より高い場合に、前記画像情報の輝度値に基づきヒストグラムを生成するヒストグラム生成機能と、前記ヒストグラムに基づき前記画像情報に含まれる文字情報の文字間隔を算出する文字間隔算出機能と、前記軌跡情報の始点および終点を結んだ直線に対する前記軌跡情報の分散値を算出するバラツキ度算出機能とを備え、
前記重要データ決定部が、
前記文字間隔と前記軌跡情報の始点および終点を結んだ直線が前記文字間隔より長く且つ前記分散値が予め設定された分散基準値より低い場合に、前記軌跡情報および画像情報の両情報を前記入力用データして決定する両重要情報決定機能を備えたことを特徴とする情報入力装置。
【００９０】
（付記５）
付記１に記載のペン型情報入力装置において、
複雑度算出部は、
前記複雑度基準値が前記複雑度より高い場合に、前記画像情報の輝度値に基づきヒストグラムを生成するヒストグラム生成機能と、前記ヒストグラムに基づき前記画像情報に含まれる文字情報の文字間隔を算出する文字間隔算出機能と、前記軌跡情報の始点および終点を結んだ直線に対する前記軌跡情報の分散値を算出するバラツキ度算出機能とを備え、
前記重要データ決定部が、
前記文字間隔と前記軌跡情報の始点および終点を結んだ直線が前記文字間隔より長く且つ前記分散値が予め設定された分散基準値より高い場合に、前記画像情報を前記入力用データして決定する画像情報抽出機能を備えたことを特徴とする情報入力装置。
【００９１】
（付記６）
筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置にあって、前記加筆時に前記筆記対象面から入力用データを抽出する情報入力方法であって、
前記圧力センサ部がペン先部における一定の筆圧を検知した場合に、前記本体部における加速度情報を検知し、当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成し、
前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出し、
前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定することを、前記ペン型情報入力装置が実行することを特徴とする情報入力方法。
【００９２】
（付記７）
筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置にあって、前記加筆時に前記筆記対象面から入力用データを抽出するための情報入力プログラムであって、
前記圧力センサ部がペン先部における一定の筆圧を検知した場合に、前記本体部における加速度情報を検知し、当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する軌跡情報生成機能と、
前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する複雑度算出機能と、
前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定機能とを、
前記ペン型情報入力装置が備えたコンピュータにより実現することを特徴とした情報入力プログラム。
【産業上の利用可能性】
【００９３】
本発明は、資料や電子書籍から重要データを抽出し、当該重要データを異なる端末同士で共有する抽出データ共有システムに対して有用に適用することができる。
【符号の説明】
【００９４】
１ ペン型入力装置
２ 紙面
３ 外部機器
１０１ 加速度センサ部
１０２ 圧力センサ部
１０３ ペン先部
１０４ カメラ部
１０５ 複雑度計算部
１０６ 判定部
１０７ 通信部
【技術分野】
【０００１】
本発明は、資料内の情報から重要度に応じて情報を抽出する情報入力装置に関し、特に資料に対して加筆された情報と予め記載された情報とから重要情報を抽出する情報入力装置に関する。
【背景技術】
【０００２】
近年、タブレット型ＰＣ（パーソナル・コンピュータ）や電子ブックなどのタッチパネルを入力インターフェースとして備え、手書き文字情報を電子化する電子ペンなどの情報装置が利用されている。
【０００３】
これらは入力された手書き文字などの情報を記憶すると共に、利用者が書きとめたメモやノート内におけるメモデータなどを容易に検索可能とし、更には、これにより、複数人数での情報共有を容易に行うことも可能となる。
【０００４】
また、メモや手書き文字などを電子化した電子情報をインターネット上のサーバ装置に蓄積するクラウド型サービスも利用されており、これにより、過去に生成されたデータをクラウド上に蓄積保存する場面が増えてきている。
【０００５】
更に、手書きのメモをより有効活用する手段として、クラウドに保存された情報を複数の利用者が共有することにより、組織内、グループ内における情報活用を活発化することが求められている。
【０００６】
ところで、配布された資料に対してユーザが書き込みを行い、この資料から重要情報を抽出する場合に、資料に予め記載された情報が重要なのか、資料に書き込まれた情報が重要なのかを判断することは、各ユーザの恣意的な判断が含まれるために、適切に行うことが困難であった。
【０００７】
これに対する関連技術として、ペン先にカメラを備えた電子ペンで、ペン先の軌道をトレースするために、紙面のパタンを撮影し、また、紙面に何も記載されていない場合にはペン先の印字を撮影する事によって、何が記載されたかをペンに搭載された加速度センサ情報の補助情報として取得する電子ペン装置が開示されている（特許文献１）。
【０００８】
また、他の関連技術として、電子ペンと付属の座標入力装置によって、ペン先の軌道を取得し、紙面上の座標位置に記載した情報を取得する装置が開示されている（特許文献２）。
更に、この関連技術として、ペン先のカメラで紙面に予め記入されている格子模様パタンを撮影検出し格子模様の大きさによってペン先が紙面に接触しているか否かを判断し且つ、ペン先の位置情報を捉えることで、電子ペンによって記入された文字情報を取得している（特許文献３）。
【０００９】
また、タブレット型ＰＣや電子ブックなどの表示デバイス上に管理可能な付加情報を付与し、表示デバイス上に表示された情報に新たに意味づけを行い共有する手法が開示されている（特許文献４）。
【００１０】
関連技術として、画像データの複雑度を計算して画像データの平滑化フィルタの強度を決定するシステムが開示されている（特許文献５）。
また、他の関連技術として、電子ペンの圧力センサ及び加速度センサによってペンの移動量を求め正確なポインティングを可能とする装置が開示されている（特許文献６）。
【００１１】
また、これに対する関連技術として、低解像度高速度カメラと、高解像度低速度カメラとを組み合わせる場合に隣り合う画素間の二乗和を求めることで、画像のエッジ方向を決定する装置が開示されている（特許文献７）。更に、この関連技術として、取り込まれた画像データのヒストグラムおよびエントロピーを計算することで、デジタル画像のブロック内のエッジを検出するシステムが開示されている（特許文献８）。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特許第４２９２９２７号公報
【特許文献２】特開２０１０−００９５４２号公報
【特許文献３】特許第３９９５８６６号公報
【特許文献４】特許第４１７２２６６号公報
【特許文献５】特開２０１０−０８１０６６号公報
【特許文献６】特開平０９−０１６３２１号公報
【特許文献７】特許第４２１５２６６号公報
【特許文献８】特許第４２５７２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記各特許文献１〜３、およびこれらを組み合わせた内容では、電子ペンによって紙面のどの位置にどのような情報を記載したかを電子化することを目的としており、紙面に予め記載された文字情報を取得することができないという不都合がある。
【００１４】
また、上記特許文献４〜８、またはこれらの組み合わせでは、入力された画像データが無地であるのか、複雑な模様もしくは文字が記載されているのかを判断することができないため、筆記対象面における記載内容と、ユーザによる書き込み内容とを的確に判別することができず、重要度の高い所望の情報を適切に抽出することができないという不都合が生じ得る。
【００１５】
［発明の目的］
本発明は、上記関連技術の有する不都合を改善し、予め資料に記載された記載情報または資料に対して書き込んだ内容を重要度に応じて電子化して入力するペン型情報入力装置、情報入力方法、および情報入力プログラムを提供することを、その目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明に係るペン型情報入力装置は、筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置であって、前記圧力センサ部がペン先部における一定の筆圧を検知した場合に前記本体部における加速度情報を検知し当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する軌跡情報生成部と、前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する複雑度算出部と、前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定部とを備えたことを特徴としている。
【００１７】
また、本発明にかかる情報入力方法は、筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置にあって、前記加筆時に前記筆記対象面から入力用データを抽出する情報入力方法であって、前記圧力センサ部がペン先部における一定の筆圧を検知した場合に、前記本体部における加速度情報を検知し、当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成し、前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出し、前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定することを前記ペン型情報入力装置により実行することを特徴としている。
【００１８】
又、本発明にかかる情報入力プログラムは、筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置にあって、前記加筆時に前記筆記対象面から入力用データを抽出するための情報入力プログラムであって、前記圧力センサ部がペン先部における一定の筆圧を検知した場合に、前記本体部における加速度情報を検知し、当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する軌跡情報生成機能と、前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する複雑度算出機能と、前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定機能とを、前記ペン型情報入力装置が備えたコンピュータに実現させることを特徴としている。
【発明の効果】
【００１９】
本発明は、以上のように構成され機能するので、これによると、検知した加速度情報に基づきペン先部１０３の軌跡情報を生成すると共に、カメラ部１０４から取得した画像情報における画素間の輝度差に基づき加筆時におけるペン先部１０３近傍の画像領域の複雑度を算出する複雑度算出部（複雑度計算部１０５）と、画像情報の重要度を算出し、軌跡情報および画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定部（判定部１０６）とをペン型情報入力装置（ペン型入力装置１）が備えた構成としたことにより、資料に対して書き込みを行った場合に、資料に予め記載された記載情報または書き込まれた内容である書き込み情報のうちの重要度の高い方の情報を電子化して蓄積するペン型情報入力装置、情報入力方法、および情報入力プログラムを提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本願に係るペン型情報入力装置の一実施形態を示す概略ブロック図である。
【図２】図１に開示したペン型情報入力装置の動作処理ステップを示すフローチャートである。
【図３】図１に開示したペン型情報入力装置を利用した書き込み動作が行われている状態を示す説明図である。
【発明を実施するための形態】
【００２１】
［実施形態］
次に、本発明の実施形態について、その基本的構成内容を説明する。
【００２２】
本実施形態であるペン型入力装置（ペン型情報入力装置）１は、文字データや画像データを含む資料や紙などの筆記対象媒体面（ここでは「紙面２」）に筆記するためのペン型の形状を有する装置であり、紙面２に接触した場合に予め充填されたインクを紙面２に転写する構造を有するペン先部１０３と、紙面２に文字や図を記入するためにペン先部１０３が紙面２に接触した場合のペン先部１０３における紙面２に対する接触圧力（つまり、筆圧）を検出する圧力センサ部１０２と、圧力センサ部１０２がペン先部１０３における筆圧を検出した場合に、ペン先部１０３に近接して設置された接写レンズを通してペン先部を含む一定の接触領域を撮影するカメラ部１０４と、ペン先が紙面２に接触しているときのペン型入力装置１における加速度情報を検知する加速度センサ部１０１を備えた構成を有する。
【００２３】
また、ペン型入力装置１は、図１に示すように、加速度センサ部１０１、圧力センサ部１０２、およびカメラ部１０４から送り込まれた情報に基づき、ペン先の移動軌跡を示す軌跡情報、紙面２における地の複雑度を算出する複雑度計算部１０５と、算出された軌跡情報、複雑度に基づき紙面２から書き込み動作時に取得した情報それぞれの重要度を決定する判定部１０６と、重要度が高いと判定されたデータを予め設置された外部機器３に対して無線送信する通信部１０７を備えた構成を有する。
【００２４】
尚、図１においては、カメラ部１０４の一部を構成する接写レンズは１つしか記載していないが、ペン先部１０３を含む一定範囲を画像データとして取得する、異なる２つ以上の接写レンズを備えた構成であってもよい。
また、上記圧力センサ部１０２は、ペン先部１０３における筆圧を捉えることができればよいため、例えば、タクトスイッチなどであってもよい。
【００２５】
また、ペン型入力装置１は、複雑度計算部１０５により算出された情報を内部データとして一時的に保持する内部データメモリ領域１０８と、内部データメモリ領域１０８に格納された内部データの有無判定を行うと共に、ペン型入力装置１の内部構成における動作開始用に初期化処理を行う動作制御部１０９を備えている。
【００２６】
以下、これを詳述する。
圧力センサ部１０２は、ユーザがペン型入力装置１を利用して紙面２に対して文字や図などの書き込みを行うのに際し、ペン型入力装置１のペン先部１０３が紙面２に接触し、その筆圧の大きさに応じてペン先部１０３に生じた筆圧を電気信号として検知する（筆圧検知機能）。
また、圧力センサ部１０２は検知した検知された筆圧が一定値以上であるか否かを判定する（筆圧値判定機能）。
【００２７】
カメラ部１０４は、圧力センサ部１０２が一定値以上の大きさの筆圧を検出したときに（つまり、圧力センサ１０２がオン状態に設定された場合に）、ペン先部１０３に近接して設置されたレンズを通して、ペン先部１０３および紙面２の接触部分を含む領域の撮影を行い、撮像された画像データを取得する（ペン先部撮影機能）。
【００２８】
尚、図１では、カメラ部１０４の接写レンズが１つ設けられた実施形態が示されているが、ペン先を含むペン先近辺の画像を撮影するために、例えば、３つ以上の接写レンズをペン先部１０３に近接した位置（装置外装部）に均等に設けた構成であってもよい。
【００２９】
複雑度計算部１０５は、カメラ部１０４により撮影された画像データを取得し、この画像データにおける異なる画素濃度値（例えば、隣り合う画素同士の濃度値とする）の差分値の二乗和を、複雑度値（以下「複雑度」という）として算出する（複雑度計算機能）。
尚、この複雑度は、紙面２に予め記載された内容や紙面２の背景地の色・模様などの種別を判別可能に示す値であるものとする。
【００３０】
例えば、紙面２が無地である場合には、算出される複雑度は一定値（例えば、閾値の値を１とする）を下回る値となり、紙面２に文字や画像などが記載・描画されている場合には、複雑度が一定値より高い値となるものとする。
【００３１】
また、複雑度計算部１０５は、画像データ内における異なる画素領域における単位面積当たりの複雑度を画素濃度値に基づき計算し、各画素領域に対応した複雑度の値から成るヒストグラム（ヒストグラム情報）を作成するヒストグラム計算機能を備えている。
【００３２】
更に、複雑度計算部１０５は、圧力センサ部１０２がオン状態であるときに、紙面２に接触しているときに検知された加速度情報（加速度センサデータ）を加速度センサ部１０１から収集する（加速度情報収集機能）。
【００３３】
複雑度計算部１０５は、収集した加速度情報に基づきペン先部１０３における移動軌跡を示す軌跡情報を導出する。つまり、複雑度計算部１０５は、ペン先部オン状態時における加速度情報に基づきペン先部１０３の動きを示す軌跡情報を算出する（軌跡情報導出機能）。
これにより、加速度センサ部１０１で取得された加速度情報は、ユーザが入力装置１を利用して紙面２へと描画（記述）した内容を示す軌跡情報へと変換される。
【００３４】
尚、軌跡情報を導出する処理にかかる処理負荷が複雑度計算部１０５におけるプロセッサの処理能力に比して一定割合より高くなる場合に、複雑度計算部１０５は、軌跡情報導出処理を中止し、この場合、通信部１０７が加速度情報を入力データとして外部機器３に対して送出する設定であってもよい（加速度情報送出機能）。
【００３５】
尚、複雑度計算部１０５における、処理演算量の割合が一定値以上に高くなる場合とは、処理演算量が一定値以上の場合や処理演算にかかる時間が一定時間より長くなることが推定される場合などを示すものとする。
【００３６】
例えば、ペン型入力装置１の物理的大きさ（長さ）が一定値よりも大きい場合には、演算量も大きくなる。
このため、ペン型入力装置１の物理的大きさ（長さ）と複雑度計算部１０５におけるプロセッサの処理スペックとに基づき設定された、上記処理閾値が複雑度計算部１０５内に予め記憶されていてもよい。
【００３７】
判定部１０６は、圧力センサ部１０２がオフ状態（例えば、筆圧が０となった場合など）となった場合に、内部データ記憶領域１０８から、ペン先部１０３の軌跡情報、複雑度、およびヒストグラム情報を取得し、これら情報に基づきカメラ部１０４で撮影された画像データおよび軌跡情報のどちらが重要データであるかを判定する重要データ決定機能を備えている。
【００３８】
判定部１０６は、ヒストグラムの形状やヒストグラムを構成する異なる値の相関関係などに基づき、紙面２に記載された内容が文字、図形もしくは写真であるのかを判定を行う記載情報種別判別機能を有する。
【００３９】
尚、紙面２上に予め文字、図形、写真等が記載されている（印刷されている）と判定した場合に、判定部１０６は、カメラ部１０４で撮影された、紙面２に予め記載された情報である画像データと、取得した軌跡情報のどちらが重要データであるかの判定を行う設定であってもよい。
【００４０】
判定部１０６は、取得した複雑度が予め設定された閾値１より低い場合に、紙面２が無地であると推定すると共に、このとき、ペン先部１０３の軌跡情報は画像データ（無地の紙面を示す）よりも重要な情報であると判定する（重要情報決定機能）。
【００４１】
また、判定部１０６は、複雑度と予め設定された閾値（例えば、１とする）とを比較し、複雑度の値が閾値１以上である場合に、複雑度の平均値とヒストグラムの交差間隔に基づき紙面２には文字情報が記載されているものと判定する設定であってもよい（記載情報種別判定機能）。また、このとき、判定部１０６は、記載された文字情報の文字間隔の推定算出を行うものとする（文字間隔推定算出機能）。
【００４２】
また、判定部１０６は、ペン先部１０３の軌跡情報（書き込まれた内容）における開始点と終了点を結んだ直線Ａに対して、軌跡情報がどれだけ外れているかを示すバラツキ度（つまり、軌跡情報が直線Ａに対して離れている度合い）を算出する（バラツキ度算出機能）。
【００４３】
更に、判定部１０６は、直線Ａの長さと推定した文字間隔を比較し、例えば、直線Ａが文字間隔より短い場合には、ペン先部１０３の軌跡情報（書き込まれた内容）の方が画像データ（記載された文字情報）よりもが重要であると判定する（重要データ決定機能）。
【００４４】
また、判定部１０６は、直線Ａの長さと推定した文字間隔を比較し直線Ａが文字間隔より長い場合には、この直線Ａに対応するバラツキ度と予め設定された閾値２とを比較する（直線−バラツキ度比較判定機能）。
ここで、閾値２よりバラツキ度が小さい場合、判定部１０６は、ペン先部１０３の軌跡情報と画像データのどちらが重要であるかは判定不能（つまり、両方等も需要である）と決定する（重要データ決定機能）。
【００４５】
一方、バラツキ度と閾値２とを比較した結果、閾値２よりバラツキ度が大きい場合、判定部１０６は、画像データの方が重要であると判定する。つまり、例えば、ペン先部１０３の軌跡情報（つまり、ペン先による紙面２への描画内容）が重要な記載データ（記載文字データ）を囲っているものと判定する。
【００４６】
通信部１０７は、軌跡情報または画像データのうち上記判定結果として重要度が高いと判定された側の情報を外部機器３に無線送信する重要データ送信機能を備えている。
また、通信部１０７は、重要度の判定結果が判定不能を示す場合には、軌跡情報及び画像データの両データを入力データとして外部機器３に対して送信する（入力データ送信機能）。
【００４７】
尚、通信部１０７は、例えば、ＷｉＦｉ、ＷｉＭＡＸ、ＩＥＥＥ８０２．１１ａ，ｇ，ｂ、Ｂｌｕｅｔｏｏｔｈなどの通信方式により外部機器３に対してデータ送信を行うものとする。
【００４８】
外部機器３は、入力装置１から送り込まれた画像データ、軌跡情報について、対応して送り込まれた判定結果に基づいて、重要であると判定された画像データ、軌跡情報、または、その両方を記憶する。
【００４９】
尚、外部機器３は、ペン型入力装置１の通信部１０７の無線通信方式に対応した、例えば、ＷｉＦｉ、ＷｉＭＡＸ、ＩＥＥＥ８０２．１１ａ，ｇ，ｂ、Ｂｌｕｅｔｏｏｔｈなどの方式の通信手段を備えているものとする。
【００５０】
以上のように、本実施形態では、ユーザが入力装置１を利用して資料（紙面）に対して書き込みを行った場合に、資料内の記載データと書き込み内容とのどちらが重要なデータであるかを判断し、外部機器に対して重要データと判定した情報を格納することができる。
【００５１】
一般に、例えば、図３に示すように、紙面２に予め記載された内容が文章などの文字データであり、その文章内に重要であると判断される文字データ（文字列）があった場合に、ユーザはこの文字データに対して下線を引く場合がある。
【００５２】
また、ユーザが重要と判断した文字データや下線などのマーキングを行った文字データが、膨大な量となる場合などには、ユーザがそれらの文字データを記憶しておくことは困難である。
更には、ユーザが資料や紙面に対してどのような文字データ（キーワード）を書いたか、どの記載文字データに対してマーキングを行ったか、資料内でどのような文字データを重要データ、重要語句と判断したか、といったことは、正確に思い出すということは困難である。
【００５３】
これに対して、本実施形態に示したペン型入力装置１を利用してユーザが資料に対してマーキングや書き込みを行った場合に、ペン型入力装置１は、ユーザが重要と判断した情報を抽出し、外部機器３に蓄積することができる。
これにより、資料における重要内容を容易に把握することが可能となり、更には、資料における重要データやキーワードを効率よく検索することも可能となる。
【００５４】
更には、上記ペン型入力装置を利用して、異なるユーザそれぞれが重要データとして書き込んだメモやマーキング情報、また、資料内のマーキングされた文字データなどの情報が効率的に抽出され外部機器３に格納することが可能となり、このため、異なるユーザ間で、外部機器３に重要データとして格納された情報を容易に共有することが可能となる。
【００５５】
［実施形態の動作説明］
次に、上記実施形態について、その全体的な動作内容を説明する。
まず、圧力センサ部１０２がペン先部１０３における一定の筆圧を検知した場合に、複雑度計算部１０５が、ペン型入力装置１の加速度情報を取得し、この加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する（軌跡情報生成工程）。
【００５６】
また、複雑度計算部１０５は、カメラ部１０４から取得した画像データにおける異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する（複雑度算出工程）。
【００５７】
次いで、判定部１０６が、上記複雑度と予め設定された複雑度基準値とを比較することにより、画像情報の重要度を算出し、軌跡情報および画像データのうちの重要度の高い方の情報を入力用データとして決定する（入力用データ決定工程）。
【００５８】
ここで、上記軌跡情報生成工程、複雑度算出工程、および入力用データ決定工程については、その実行内容をプログラム化し、コンピュータに実行させるように構成してもよい。
また、本プログラムは、非一時的な記録媒体、例えば、ＤＶＤ、ＣＤ、フラッシュメモリなどに記録されてもよい。その場合、本プログラムは、記録媒体からコンピュータによって読み出され、実行される。
【００５９】
次に、ペン型情報入力装置１の動作内容について、図２のフローチャートに基づき詳説する。
【００６０】
まず、動作制御部１０９が、ペン型入力装置１の動作開始用に初期化処理を行う（ステップＳ１０１）と共に、内部データメモリ領域１０８に内部データが格納されているかいないかの判定を行う。ここでは、内部データメモリ領域１０８には内部データが格納されていないものとする（ノー：ステップＳ１０２）。
次いで、ユーザがペン型入力装置１を利用しては紙面２に対して文字や図などの書き込みを行う（書き込み工程）。ここで、ペン型入力装置１のペン先部１０３が紙面２に接触する。
このとき、圧力センサ部１０２がペン先部１０３における筆圧に対応して発生した電気信号を検知し、この筆圧（電気信号）の変化を示す値を取得する。ここで、圧力センサ部１０２は検知した検知された筆圧が一定値以上であるか否かを判定する（ステップＳ１０３）。
【００６１】
圧力センサ部１０２で一定値以上の大きさの筆圧が検出された場合（つまり、圧力センサ１０２がオン状態に設定された場合（イエス：ステップＳ１０３））に、カメラ部１０４がペン先部１０３の紙面部２との接触部を含む領域の撮影を行い、撮影した画像データを取得する（ステップＳ１０４：カメラ画像入力（ペン先撮影工程））。
【００６２】
尚、図１ではカメラ部１０４の接写レンズが１つである場合が示されているが、ペン先を含むペン先周辺画像を取り込むために、例えば、３つ以上の接写レンズをペン先部１０３の外装に均等に設けた構成であってもよい。
【００６３】
次いで、複雑度計算部１０５が、カメラ部１０４により撮影された画像データを取得し、この画像データにおける異なる画素濃度値（例えば、隣り合う画素同士の濃度値とする）の差分値の二乗和を、複雑度値（以下「複雑度」という）として算出する（ステップＳ１０６：複雑度計算工程）。
尚、この複雑度は、紙面２に予め記載された内容や紙面２の背景地の色・模様などの種別を判別可能に示す値であるものとする。
【００６４】
例えば、紙面２が無地である場合には、算出される複雑度は一定値（例えば、閾値の値を１とする）を下回る値となり、紙面２に文字や画像などが記載・描画されている場合には、複雑度が一定値より高い値となるものとする。
【００６５】
次に、複雑度計算部１０５は、画像データ内における異なる画素領域における単位面積当たりの複雑度を画素濃度値に基づき計算し、各画素領域に対応した複雑度の値から成るヒストグラム（ヒストグラム情報）を作成する（ステップＳ１０８：ヒストグラム計算工程）。
【００６６】
一方、圧力センサ部１０２がオン状態であるときに（イエス：ステップＳ１０３））に、複雑度計算部１０５は、紙面２に接触しているときに検知された加速度情報（加速度センサデータ）を加速度センサ部１０１から収集する（ステップＳ１０５：加速度センサデータ入力（加速度情報収集工程））。
【００６７】
次いで、複雑度計算部１０５は、収集した加速度情報に基づきペン先部１０３における移動軌跡を示す軌跡情報を導出する。つまり、複雑度計算部１０５は、ペン先部オン状態時における加速度情報に基づきペン先部１０３の動きを示す軌跡情報を算出する（ステップＳ１０７：軌跡情報導出工程）。
これにより、加速度センサ部１０１で取得された加速度情報は、ユーザが入力装置１を利用して紙面２へと描画（記述）した内容を示す軌跡情報へと変換される。
【００６８】
ここで、上記算出された複雑度、ヒストグラム情報、軌跡情報は内部データとして内部データ記憶領域に格納される（ステップＳ１０９）。
【００６９】
尚、複雑度計算部１０５が軌跡情報を導出する処理を行う場合に、当該処理にかかる処理負荷が複雑度計算部１０５におけるプロセッサの処理能力に比して一定割合より高くなる場合、複雑度計算部１０５は軌跡情報導出処理を中止し、通信部１０７が加速度情報を入力データとして外部機器３に対して送出する設定であってもよい（加速度情報送出工程）。
【００７０】
次いで、圧力センサ部１０２がオフ状態（例えば、筆圧が０となった場合など）となり（ノー：ステップＳ１０３）、且つ内部データ記憶領域に内部データが格納された場合に（ステップＳ１０２）、判定部１０６が、内部データ記憶領域から、ペン先部１０３の軌跡情報、複雑度、およびヒストグラム情報を取得する。
【００７１】
このとき、判定部１０６はヒストグラムの形状やヒストグラムを構成する異なる値の相関関係などに基づき、紙面２に記載された内容が文字、図形もしくは写真であるのかを判定を行う設定であってもよい。
【００７２】
ここで、紙面２上に予め文字、図形、写真等が記載されている（印刷されている）と判定した場合に、判定部１０６は、カメラ部１０４で撮影された、紙面２に予め記載された情報である画像データと、取得した軌跡情報のどちらが重要データであるかの判定を行う。
【００７３】
取得した複雑度が予め設定された閾値１より低い場合に、判定部１０６は、紙面２が無地であると推定する。このとき、判定部１０６は、ペン先部１０３の軌跡情報は、画像データ（無地の紙面を示す）よりも重要な情報であると判定する（ステップＳ１１１：軌跡情報が重要データ：重要情報決定工程）。
【００７４】
次いで、通信部１０７が、軌跡情報、および判定結果（ここでは、「軌跡情報が重要であることを示す」）を外部機器３に対して、入力データとして送信する（ステップＳ１１９：軌跡情報を重要データとして送信（入力データ送信工程））。
【００７５】
また、判定部１０６は、複雑度が閾値１以上の場合に（ノー：ステップＳ１１０）、複雑度の平均値とヒストグラムの交差間隔に基づき紙面２には文字情報が記載されているものと判定し（記載情報種別判定工程）、このとき、判定部１０６は、記載された文字情報の文字間隔の推定算出を行うものとする（ステップＳ１１２：文字間隔を推定）。
【００７６】
更に、判定部１０６は、ペン先部１０３の軌跡情報（書き込まれた内容）における開始点と終了点を結んだ直線Ａに対して、軌跡情報がどれだけ外れているかを示すバラツキ度（軌跡情報が直線Ａに対して離れている度合い）を算出する（ステップＳ１１３：バラツキ度を計算）。
【００７７】
ここで、判定部１０６は、直線Ａの長さと推定した文字間隔を比較し（ステップＳ１１４）、例えば、直線Ａが文字間隔より短い場合（イエス：ステップＳ１１４）、ペン先部１０３の軌跡情報（書き込まれた内容）の方が画像データ（記載された文字情報）よりもが重要であると判定する（ステップＳ１１５：軌跡情報が重要（重要データ決定工程））。
このとき、通信部１０７は、外部機器３に対して軌跡情報を入力データとして送信する（ステップＳ１１９：軌跡情報を重要データとして送信（入力データ送信工程））。
【００７８】
また、判定部１０６は、直線Ａの長さと推定した文字間隔を比較し（ステップＳ１１４）、直線Ａが文字間隔より長い場合には（ノー：ステップＳ１１４）、この直線Ａに対応するバラツキ度と予め設定された閾値２とを比較する（ステップＳ１１６）。
ここで、閾値２よりバラツキ度が小さい場合（イエス：ステップＳ１１６）、判定部１０６は、ペン先部１０３の軌跡情報と画像データのどちらが重要であるかは判定不能（つまり、両方等も需要である）と判定する（ステップＳ１１７：重要データ判定不能（重要データ決定工程））。
このとき、通信部１０７は外部機器３に対して重要度判定不能を示す判定結果と、軌跡情報及び画像データを、入力データとして送信する（ステップＳ１２０：軌跡情報および画像データの両データを送信（入力データ送信工程））。
【００７９】
一方、バラツキ度と閾値２とを比較した結果、閾値２よりバラツキ度が大きい場合（ノー：ステップＳ１１６）、判定部１０６は、画像データの方が重要であると判定する。つまり、例えば、ペン先部１０３の軌跡情報（つまり、ペン先による紙面２への描画内容）が重要な記載データ（記載文字データ）を囲っているものと判定する（ステップＳ１１８：画像データが重要（重要データ決定工程））。
ここで、通信部１０７は、重要データと判定された画像データ（記載データ）、および判定結果（画像データの方が重要であることを示す）を、外部機器３に対して送信する（ステップＳ１２１：画像データを重要データとして送信する（重要データ送信工程））。
【００８０】
次いで、外部機器３は、入力装置１から送り込まれた画像データ、軌跡情報について、対応して送り込まれた判定結果に基づいて、重要であると判定された画像データ、軌跡情報、または、その両方を記憶する。
【００８１】
最後に、動作制御部１０９が、外部機器３に対して送信された軌跡情報および画像データに係る内部データを内部データメモリ領域１０８から消去する（ステップＳ１２２：内部データクリア）。
【００８２】
尚、外部機器３は、ペン型入力装置１の通信部１０７の無線通信方式に対応した、例えば、ＷｉＦｉ、ＷｉＭＡＸ、ＩＥＥＥ８０２．１１ａ，ｇ，ｂ、Ｂｌｕｅｔｏｏｔｈなどの方式の通信手段を備えているものとする。
【００８３】
以上のように、本実施形態では、ユーザにより、本実施形態であるペン型入力装置を利用して資料への書き込みが行われた場合に、その書き込み内容と資料内の記載内容それぞれの重要度を算出し、より重要度の高い方の内容（情報）を重要データとして外部機器に対して入力することができる。
このため、例えば、ユーザが資料を読んでいる最中に思いついたアイディアを資料にメモした場合には、このメモ内容が重要データとして抽出され、また、資料内の記載文字データに対してユーザが下線などのマーキングを行った場合には、マーキング対象となった記載文字データが重要データとして抽出され、これら抽出された重要データを外部機器に蓄積することができる。
【００８４】
これにより、資料内の重要内容や重要文字データ、そして資料に係るアイディアやメモ内容を自動的に格納保存することが可能となり、このため、ユーザは資料内に係る重要な文字データやキーワードを効率よく検索したり、ユーザが資料内容に係り思いついた内容やメモした情報を他のユーザと共有したりすることが可能となる。
【００８５】
上述の実施形態については、その新規な技術的内容の要点をまとめると、以下のようになる。
尚、上記実施形態の一部または全部は、新規な技術として以下のようにまとめられるが、本発明は必ずしもこれに限定されるものではない。
【００８６】
（付記１）
筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置であって、
前記圧力センサ部がペン先部における一定の筆圧を検知した場合に前記本体部における加速度情報を検知し当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する軌跡情報生成部と、
前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する複雑度算出部と、
前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定部とを備えたことを特徴とするペン型情報入力装置。
【００８７】
（付記２）
付記１に記載のペン型情報入力装置において、
前記入力用データを予め設定された外部機器に対して送信する通信部を備えたことを特徴とするペン型情報入力装置。
【００８８】
（付記３）
付記１に記載のペン型情報入力装置において、
複雑度算出部は、
前記複雑度基準値が前記複雑度より高い場合に、前記画像情報の輝度値に基づきヒストグラムを生成するヒストグラム生成機能と、前記ヒストグラムに基づき前記画像情報に含まれる文字情報の文字間隔を算出する文字間隔算出機能とを備え、
前記重要データ決定部が、
前記文字間隔と前記軌跡情報の始点および終点を結んだ直線が前記文字間隔より短い場合に前記軌跡情報を前記重要データとして決定する軌跡情報抽出機能を備えたことを特徴とするペン型情報入力装置。
【００８９】
（付記４）
付記１に記載のペン型情報入力装置において、
複雑度算出部は、
前記複雑度基準値が前記複雑度より高い場合に、前記画像情報の輝度値に基づきヒストグラムを生成するヒストグラム生成機能と、前記ヒストグラムに基づき前記画像情報に含まれる文字情報の文字間隔を算出する文字間隔算出機能と、前記軌跡情報の始点および終点を結んだ直線に対する前記軌跡情報の分散値を算出するバラツキ度算出機能とを備え、
前記重要データ決定部が、
前記文字間隔と前記軌跡情報の始点および終点を結んだ直線が前記文字間隔より長く且つ前記分散値が予め設定された分散基準値より低い場合に、前記軌跡情報および画像情報の両情報を前記入力用データして決定する両重要情報決定機能を備えたことを特徴とする情報入力装置。
【００９０】
（付記５）
付記１に記載のペン型情報入力装置において、
複雑度算出部は、
前記複雑度基準値が前記複雑度より高い場合に、前記画像情報の輝度値に基づきヒストグラムを生成するヒストグラム生成機能と、前記ヒストグラムに基づき前記画像情報に含まれる文字情報の文字間隔を算出する文字間隔算出機能と、前記軌跡情報の始点および終点を結んだ直線に対する前記軌跡情報の分散値を算出するバラツキ度算出機能とを備え、
前記重要データ決定部が、
前記文字間隔と前記軌跡情報の始点および終点を結んだ直線が前記文字間隔より長く且つ前記分散値が予め設定された分散基準値より高い場合に、前記画像情報を前記入力用データして決定する画像情報抽出機能を備えたことを特徴とする情報入力装置。
【００９１】
（付記６）
筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置にあって、前記加筆時に前記筆記対象面から入力用データを抽出する情報入力方法であって、
前記圧力センサ部がペン先部における一定の筆圧を検知した場合に、前記本体部における加速度情報を検知し、当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成し、
前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出し、
前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定することを、前記ペン型情報入力装置が実行することを特徴とする情報入力方法。
【００９２】
（付記７）
筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置にあって、前記加筆時に前記筆記対象面から入力用データを抽出するための情報入力プログラムであって、
前記圧力センサ部がペン先部における一定の筆圧を検知した場合に、前記本体部における加速度情報を検知し、当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する軌跡情報生成機能と、
前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する複雑度算出機能と、
前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定機能とを、
前記ペン型情報入力装置が備えたコンピュータにより実現することを特徴とした情報入力プログラム。
【産業上の利用可能性】
【００９３】
本発明は、資料や電子書籍から重要データを抽出し、当該重要データを異なる端末同士で共有する抽出データ共有システムに対して有用に適用することができる。
【符号の説明】
【００９４】
１ ペン型入力装置
２ 紙面
３ 外部機器
１０１ 加速度センサ部
１０２ 圧力センサ部
１０３ ペン先部
１０４ カメラ部
１０５ 複雑度計算部
１０６ 判定部
１０７ 通信部
【特許請求の範囲】
【請求項１】
筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置であって、
前記圧力センサ部がペン先部における一定の筆圧を検知した場合に前記本体部における加速度情報を検知し当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する軌跡情報生成部と、
前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する複雑度算出部と、
前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定部とを備えたことを特徴とするペン型情報入力装置。
【請求項２】
請求項１に記載のペン型情報入力装置において、
前記入力用データを予め設定された外部機器に対して送信する通信部を備えたことを特徴とするペン型情報入力装置。
【請求項３】
請求項１に記載のペン型情報入力装置において、
複雑度算出部は、
前記複雑度基準値が前記複雑度より高い場合に、前記画像情報の輝度値に基づきヒストグラムを生成するヒストグラム生成機能と、前記ヒストグラムに基づき前記画像情報に含まれる文字情報の文字間隔を算出する文字間隔算出機能とを備え、
前記重要データ決定部が、
前記文字間隔と前記軌跡情報の始点および終点を結んだ直線が前記文字間隔より短い場合に前記軌跡情報を前記重要データとして決定する軌跡情報抽出機能を備えたことを特徴とするペン型情報入力装置。
【請求項４】
請求項１に記載のペン型情報入力装置において、
複雑度算出部は、
前記複雑度基準値が前記複雑度より高い場合に、前記画像情報の輝度値に基づきヒストグラムを生成するヒストグラム生成機能と、前記ヒストグラムに基づき前記画像情報に含まれる文字情報の文字間隔を算出する文字間隔算出機能と、前記軌跡情報の始点および終点を結んだ直線に対する前記軌跡情報の分散値を算出するバラツキ度算出機能とを備え、
前記重要データ決定部が、
前記文字間隔と前記軌跡情報の始点および終点を結んだ直線が前記文字間隔より長く且つ前記分散値が予め設定された分散基準値より低い場合に、前記軌跡情報および画像情報の両情報を前記入力用データして決定する両重要情報決定機能を備えたことを特徴とする情報入力装置。
【請求項５】
請求項１に記載のペン型情報入力装置において、
複雑度算出部は、
前記複雑度基準値が前記複雑度より高い場合に、前記画像情報の輝度値に基づきヒストグラムを生成するヒストグラム生成機能と、前記ヒストグラムに基づき前記画像情報に含まれる文字情報の文字間隔を算出する文字間隔算出機能と、前記軌跡情報の始点および終点を結んだ直線に対する前記軌跡情報の分散値を算出するバラツキ度算出機能とを備え、
前記重要データ決定部が、
前記文字間隔と前記軌跡情報の始点および終点を結んだ直線が前記文字間隔より長く且つ前記分散値が予め設定された分散基準値より高い場合に、前記画像情報を前記入力用データして決定する画像情報抽出機能を備えたことを特徴とする情報入力装置。
【請求項６】
筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置にあって、前記加筆時に前記筆記対象面から入力用データを抽出する情報入力方法であって、
前記圧力センサ部がペン先部における一定の筆圧を検知した場合に、前記本体部における加速度情報を検知し、当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成し、
前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出し、
前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定することを、前記ペン型情報入力装置が実行することを特徴とする情報入力方法。
【請求項７】
筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置にあって、前記加筆時に前記筆記対象面から入力用データを抽出するための情報入力プログラムであって、
前記圧力センサ部がペン先部における一定の筆圧を検知した場合に、前記本体部における加速度情報を検知し、当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する軌跡情報生成機能と、
前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する複雑度算出機能と、
前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定機能とを、
前記ペン型情報入力装置が備えたコンピュータにより実現することを特徴とした情報入力プログラム。
【請求項１】
筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置であって、
前記圧力センサ部がペン先部における一定の筆圧を検知した場合に前記本体部における加速度情報を検知し当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する軌跡情報生成部と、
前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する複雑度算出部と、
前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定部とを備えたことを特徴とするペン型情報入力装置。
【請求項２】
請求項１に記載のペン型情報入力装置において、
前記入力用データを予め設定された外部機器に対して送信する通信部を備えたことを特徴とするペン型情報入力装置。
【請求項３】
請求項１に記載のペン型情報入力装置において、
複雑度算出部は、
前記複雑度基準値が前記複雑度より高い場合に、前記画像情報の輝度値に基づきヒストグラムを生成するヒストグラム生成機能と、前記ヒストグラムに基づき前記画像情報に含まれる文字情報の文字間隔を算出する文字間隔算出機能とを備え、
前記重要データ決定部が、
前記文字間隔と前記軌跡情報の始点および終点を結んだ直線が前記文字間隔より短い場合に前記軌跡情報を前記重要データとして決定する軌跡情報抽出機能を備えたことを特徴とするペン型情報入力装置。
【請求項４】
請求項１に記載のペン型情報入力装置において、
複雑度算出部は、
前記複雑度基準値が前記複雑度より高い場合に、前記画像情報の輝度値に基づきヒストグラムを生成するヒストグラム生成機能と、前記ヒストグラムに基づき前記画像情報に含まれる文字情報の文字間隔を算出する文字間隔算出機能と、前記軌跡情報の始点および終点を結んだ直線に対する前記軌跡情報の分散値を算出するバラツキ度算出機能とを備え、
前記重要データ決定部が、
前記文字間隔と前記軌跡情報の始点および終点を結んだ直線が前記文字間隔より長く且つ前記分散値が予め設定された分散基準値より低い場合に、前記軌跡情報および画像情報の両情報を前記入力用データして決定する両重要情報決定機能を備えたことを特徴とする情報入力装置。
【請求項５】
請求項１に記載のペン型情報入力装置において、
複雑度算出部は、
前記複雑度基準値が前記複雑度より高い場合に、前記画像情報の輝度値に基づきヒストグラムを生成するヒストグラム生成機能と、前記ヒストグラムに基づき前記画像情報に含まれる文字情報の文字間隔を算出する文字間隔算出機能と、前記軌跡情報の始点および終点を結んだ直線に対する前記軌跡情報の分散値を算出するバラツキ度算出機能とを備え、
前記重要データ決定部が、
前記文字間隔と前記軌跡情報の始点および終点を結んだ直線が前記文字間隔より長く且つ前記分散値が予め設定された分散基準値より高い場合に、前記画像情報を前記入力用データして決定する画像情報抽出機能を備えたことを特徴とする情報入力装置。
【請求項６】
筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置にあって、前記加筆時に前記筆記対象面から入力用データを抽出する情報入力方法であって、
前記圧力センサ部がペン先部における一定の筆圧を検知した場合に、前記本体部における加速度情報を検知し、当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成し、
前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出し、
前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定することを、前記ペン型情報入力装置が実行することを特徴とする情報入力方法。
【請求項７】
筆記対象面に対する加筆を行うペン先部と、前記ペン先部における筆圧を検知する圧力センサ部と、前記加筆時に前記ペン先部が接する前記筆記対象面を撮影するカメラ部とを有する本体部を備えたペン型情報入力装置にあって、前記加筆時に前記筆記対象面から入力用データを抽出するための情報入力プログラムであって、
前記圧力センサ部がペン先部における一定の筆圧を検知した場合に、前記本体部における加速度情報を検知し、当該加速度情報に基づき前記ペン先部の移動軌跡を示す軌跡情報を生成する軌跡情報生成機能と、
前記カメラ部から取得した画像情報における異なる画素間の輝度差に基づき前記加筆時におけるペン先部近傍の画像領域の複雑度を算出する複雑度算出機能と、
前記複雑度と予め設定された複雑度基準値とを比較することにより前記画像情報の重要度を算出し、前記軌跡情報および前記画像情報のうちの重要度の高い方の情報を入力用データとして決定する重要データ決定機能とを、
前記ペン型情報入力装置が備えたコンピュータにより実現することを特徴とした情報入力プログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−１９０２７６（Ｐ２０１２−１９０２７６Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５３４７０（Ｐ２０１１−５３４７０）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]