説明

ストリームドットを用いた情報入力装置および情報入力システム

【課題】予めリンク等が設定されていないコンテンツ内の情報を容易にユーザが入力することが出来る情報入力装置を提供する。
【解決手段】ユーザが、ドットパターン3と共にコンテンツが印刷された媒体1aや表示されたディスプレイ上をスキャナ4によりタッチすると、ドキュメントIDとタッチ位置のXY座標値が読み込まれる。該コンテンツは、予めDTPデータとして用意されている。複数のDTPデータから、読み込まれたドキュメントIDに対応したDTPデータが選択される。座標変換部がXY座標値を該DTPデータ上のxy座標値に変換する。特定情報選択部が該DTPデータ内を構文解析・画像解析し、タッチ位置のxy座標値から、所定のアルゴリズムにより、DTPデータ内の、ユーザが指示した構成要素を、入力として認識する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ドットパターンが印刷された媒体、ドットパターンが表示されたディスプレイ、またはドットパターンが印刷された透明シートの利用と、電子データの構文解析および画像解析とにより、情報を入力する技術に関する。
【背景技術】
【0002】
従来、例えば、印刷媒体や画面上に表示されたコンテンツに関する情報を、パーソナルコンピュータ、PDA、ハンディ端末、テレビジョン受像機等の機器を用いて処理する場合、ユーザは、処理したい情報を、改めてそれらの機器に手動で入力していた。
【0003】
例えば、印刷媒体上に「東京」の語句があり、ユーザが、語句「東京」に関する情報をパーソナルコンピュータにより検索する場合、インターネット上の検索エンジンを呼び出し、キーボードから語句「東京」を入力し、画面上に語句「東京」の検索結果を表示させていた。
【0004】
また、前記のように、ユーザがキーボード等の入力装置により、処理を行いたい情報を入力する手間を省くために、図40および図41に示すように、印刷媒体や画面上に表示されるコンテンツの特定領域をマスク領域として予め定義し、そのマスク領域に特定のドットコードを埋め込み、ユーザがスキャナ等によりそのマスク領域のドットパターンを読み込むと、そのドットパターンに対応したドットコードが認識され、そのドットコードに予め対応付けられた情報が検索され、表示される技術が知られている(例えば、特許文献1)。
【0005】
また、HTML文書等をパーソナルコンピュータ等において表示し、表示されたコンテンツに関連する情報をユーザが検索出来るように、そのコンテンツに対しハイパーリンクを設定する技術が知られている。
【0006】
【特許文献1】WO2007/089021
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかし、前記従来技術を用いて、機器への情報入力を行う場合、ユーザが入力を所望する特定の情報(以下、特定情報という)が機器に入力されるようにするためには、印刷媒体や画面上に表示されるコンテンツ上に、予めマスク領域を定義し、マスク領域に特定情報に対応するドットコードを埋め込んだドットパターンを印刷または表示すると共に、ドットコードに対応した特定の情報を定義したドットコード・特定情報対応テーブルを作成しておく手間がかかった。
【0008】
また、特定情報の関連情報を機器に表示させる場合、前記のドットコード・特定情報対応テーブルに代えて、ドットコードに対応した関連情報の存在するアドレスを示すドットコード・アドレス対応テーブルを予め作成する手間がかかった。
【0009】
また、画面上に表示されるHTML等により記述されたコンテンツの場合、ハイパーリンク等が設定されていない特定情報に対しては、ユーザがキーボード入力等により処理したい特定情報の入力を明示的に行わない限り、その特定情報を処理することは出来なかった。
【0010】
本発明はこのような点に鑑みてなされたものであり、印刷されたまたは画面表示された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来る情報入力装置を提供することを技術的課題とする。
【課題を解決するための手段】
【0011】
(1) 本発明に係る情報入力装置は、前記課題を解決するために、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、該媒体の表面上に、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成すると共に、前記2次元書式情報が印刷された媒体上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記媒体上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、前記2次元書式情報のxy座標系における座標値(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、を備えたことを特徴としている。
【0012】
2次元書式情報とは、印刷物を作成する際に、基の電子データとなるDTP(Desk Top Publishing)データ等のことである。DTPデータ以外に、HTML、フラッシュ等で作成されたコンテンツデータでもよいし、CADデータ、地図データでもよい。
【0013】
特定情報とは、2次元書式情報に含に含まれる、テキスト、図表、イラスト、写真等の情報であり、構文解析および画像解析により識別される単位である。
【0014】
例えば、ワードプロセッサにより、東京タワーとビルと空とが写った写真と、「花の都 東京」というテキストとをレイアウトした印刷物を作成する場合、そのワードプロセッサにより作成された電子データが2次元書式情報であり、電子データに含まれる写真およびテキストが特定情報である。また、写真は、画像解析により、東京タワー、ビル、空に分解され、テキストは、「花の都」、「東京」、「花」、「都」、「東」、「京」に分解され、それぞれ特定情報となる。
【0015】
選択用位置情報とは、ユーザがタッチした位置により、印刷物上の特定情報を選択するために用いられる情報であり、例えば、DTPデータ上において、語句「東京」がレイアウトされる領域の中心座標値である。
【0016】
解析され、選択用位置情報が設定された特定情報を含む2次元書式情報は、2次元書式情報保管選択手段において保管される。
【0017】
識別情報とは、2次元書式情報を一意に特定するための情報であり、例えば、DTPデータのファイル名であってもよいし、予め決めたドキュメントIDを用いてもよい。また、URLであってもよい。
【0018】
媒体上には、前記の例では、写真とテキストとが印刷されており、それに重ねて、XY座標値および/またはコード値をパターン化したドットパターンが重畳印刷されている。
【0019】
前記の構成によれば、ユーザが、媒体上の入力したい情報の上を、ドットパターン読み取り手段を用いて、タッチすると、タッチ位置のXY座標値および/またはコード値が読み込まれる。次に、読み込まれたXY座標値および/またはコード値から、ユーザがタッチした媒体が特定され、その媒体に対応した2次元書式情報が、2次元書式情報保管選択手段から取り出される。次に、取り出された2次元書式情報とタッチ位置の媒体上のXY座標値とから、座標変換手段が、2次元書式情報上におけるタッチ位置のxy座標値を計算する。次に、特定情報選択手段が、2次元書式情報上のxy座標系により表されたタッチ位置の座標と、2次元書式情報内の各特定情報が有している選択用位置情報とを用いて、所定のアルゴリズムにより、タッチ位置の特定情報を選択し、情報入力装置への入力とする。それ故、印刷された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来るという効果を奏する。
また、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が媒体に隙間なく定義される。さらに、文字や五線譜、地図、図形などが媒体に印刷され、その線分上をスキャナーペンでなぞるかまたはタッチして操作する場合、その線分に沿ってのみストリームドットパターンを形成することにより、合理的にドットパターンを配置できる。また、ドットパターンが2次元コードとして形成される矩形領域の形状でのXY座標値によるインデックスの定義に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
(2) 本発明に係る情報入力装置は、前記課題を解決するために、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、ディスプレイに表示するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、該ディスプレイの表面上に、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成すると共に、前記2次元書式情報が表示されるディスプレイと、前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、を備えたことを特徴とする。
【0020】
2次元書式情報とは、ディスプレイに表示されるコンテンツの電子データとなるコンテンツデータ等のことである。
【0021】
選択用位置情報とは、ユーザがタッチした位置により、ディスプレイ上の特定情報を選択するために用いられる情報である。
【0022】
ディスプレイ上には、コンテンツが表示されており、それに重ねて、XY座標値および/またはコード値をパターン化したドットパターンが表示されている。
【0023】
前記の構成によれば、ユーザが、ディスプレイ上の入力したい情報の上を、ドットパターン読み取り手段を用いて、タッチすると、タッチ位置のXY座標値および/またはコード値が読み込まれる。次に、読み込まれたXY座標値および/またはコード値から、ユーザがタッチしたコンテンツが特定され、そのコンテンツの2次元書式情報が、2次元書式情報保管選択手段から取り出される。次に、取り出された2次元書式情報とタッチ位置のディスプレイ上のXY座標値とから、座標変換手段が、2次元書式情報上におけるタッチ位置のxy座標値を計算する。次に、特定情報選択手段が、2次元書式情報上のxy座標系により表されたタッチ位置の座標と、2次元書式情報内の各特定情報が有している選択用位置情報とを用いて、所定のアルゴリズムにより、タッチ位置の特定情報を選択し、情報入力装置への入力とする。それ故、ディスプレイ上に表示された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来るという効果を奏する。
【0024】
また、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値がディスプレイに隙間なく定義される。さらに、文字や五線譜、地図、図形などがディスプレイに表示され、その線分上をスキャナーペンでなぞるかまたはタッチして操作する場合、その線分に沿ってのみストリームドットパターンを形成することにより、合理的にドットパターンを配置できる。また、ドットパターンが2次元コードとして形成される矩形領域の形状でのXY座標値によるインデックスの定義に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【0025】
(3) 本発明に係る情報入力装置では、前記識別情報は、前記媒体上に印刷または前記ディスプレイ上に表示された前記ドットパターンの前記コード値であり、前記ドットパターンのXY座標値が印刷または表示されている領域の少なくとも一部に、該ドットパターンのXY座標値と共に印刷または表示されるか、または該領域とは異なる領域に印刷または表示されることが好ましい。
【0026】
前記の構成によれば、前記識別情報が前記コード値であることにより、ユーザのタッチ操作により識別情報が読み込まれるため、ユーザが別途識別情報を入力する手間が省けるというさらなる効果を奏する。
【0027】
また、識別情報を印刷する場所を調整することにより、ユーザがタッチする位置により、読み込まれる情報を調整することが出来るというさらなる効果を奏する。
【0028】
(4) 本発明に係る情報入力装置では、前記識別情報は、前記2次元書式情報を一意に識別する、前記ドットパターンのXY座標値であり、該XY座標値は、前記ドットパターンのXY座標値が印刷または表示される領域の全体に印刷されることが好ましい。
【0029】
前記の構成によれば、広大なXY座標面を分割し、各DTPデータが使用する領域を、領域同士が重ならないように予め定めておけば、いずれのXY座標値を用いているかにより、DTPデータを識別することが出来る。
【0030】
前記識別情報が2次元書式情報を一意に識別する、前記ドットパターンのXY座標値であることにより、識別情報をコード値としてドットパターンに含める処理が不要になるというさらなる効果を奏する。
【0031】
(5) 本発明に係る情報入力装置では、前記ディスプレイは、前記ドットパターン読み取り手段が備えた赤外線照射手段から照射された赤外線を前記ドットパターンのドット部が吸収または透過する構造であり、前記ドット部を除く領域は、前記赤外線を拡散反射する構造であることが好ましい。
【0032】
前記の構成によれば、前記ディスプレイのドット部以外の領域は、赤外線を拡散反射することにより、鏡面反射時に起こる反射ムラを防ぐことが出来るというさらなる効果を奏する。
【0033】
また、前記ドット部が、赤外線を吸収または透過する構造であることにより、ドットパターン読み取り手段により撮影される画像において、ドットとそれ以外の部分のコントラスト比を強め、確実にドットパターンが読み取られる様に出来るというさらなる効果を奏する。
【0034】
(6) 本発明に係る情報入力装置は、前記課題を解決するために、種々のマルチメディア情報出力および/またはオペレーション指示のため、情報入力補助シートの表面上に、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成して印刷され、DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷、またはディスプレイに表示するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、前記2次元書式情報が、印刷された媒体上または表示されるディスプレイ上に、配置または貼付された前記情報入力補助シートと、前記媒体または前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記情報入力補助シートを透して、前記媒体または前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、または、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、
を備えたことを特徴としている。
【0035】
情報入力補助シートは、透明なシートであり、ドットパターンが印刷等により設けられている。コンテンツが印刷された媒体またはコンテンツが表示されたディスプレイと重ね合わせて用いられる。ユーザは、媒体またはディスプレイ上の特定情報を入力するために、情報入力補助シートの上から、ドットパターン読み取り手段により、所望の特定情報をタッチする。
【0036】
前記の構成によれば、ユーザが、必要に応じ、印刷または表示されたコンテンツを特定する情報を入力する。そのコンテンツに対応した2次元書式情報が、2次元書式情報保管選択手段から取り出される。次に、ユーザが、入力したい情報の上を、ドットパターン読み取り手段を用いて、情報入力補助シートを透してタッチすると、タッチ位置のXY座標値および/またはコード値が読み込まれる。次に、取り出された2次元書式情報とタッチ位置の情報入力補助シート上のXY座標値とから、座標変換手段が、2次元書式情報上におけるタッチ位置のxy座標値を計算する。次に、特定情報選択手段が、2次元書式情報上のxy座標系により表されたタッチ位置の座標と、2次元書式情報内の各特定情報が有している選択用位置情報とを用いて、所定のアルゴリズムにより、タッチ位置の特定情報を選択し、情報入力装置への入力とする。それ故、本や雑誌、新聞等の印刷物に直接ドットパターンを印刷しなくても、印刷または表示された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来るという効果を奏する。
【0037】
また、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が情報入力補助シートに隙間なく定義される。さらに、文字や五線譜、地図、図形などが情報入力補助シートに印刷され、その線分上をスキャナーペンでなぞるかまたはタッチして操作する場合、その線分に沿ってのみストリームドットパターンを形成することにより、合理的にドットパターンを配置できる。また、ドットパターンが2次元コードとして形成される矩形領域の形状でのXY座標値によるインデックスの定義に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【0038】
(7) 本発明に係る情報入力装置では、前記情報入力補助シートには、前記媒体上に印刷されたまたは前記ディスプレイ上に表示された前記2次元書式情報を特定するためのインデックスを、ユーザが入力するための複数のアイコンが、前記ドットパターンと共に印刷されており、前記2次元書式情報保管選択手段は、前記ドットパターン読み取り手段を用いて該アイコンがタッチされることにより入力された該インデックスを前記識別情報に変換し、変換された該識別情報を用いて、前記2次元書式情報を選択することが好ましい。
【0039】
前記の構成によれば、情報入力補助シートには、インデックスが設けられているので、ユーザは、簡単に識別情報を入力することが出来るというさらなる効果を奏する。
【0040】
(8) 本発明に係る情報入力装置では、前記所定の操作は、ユーザが、前記ドットパターン読み取り手段を用いて、可視化された前記特定情報にタッチする、または、タッチし該特定情報上をなぞる操作であることが好ましい。
【0041】
(9) 本発明に係る情報入力装置では、前記所定の操作は、ユーザが、前記ドットパターン読み取り手段を用いて、可視化された前記特定情報にタッチし、該特定情報が表示された領域をなぞって囲む操作であることが好ましい。
【0042】
前記の構成によれば、特定情報選択手段は、囲まれた選択用位置情報を有する特定情報を選択すればよいので、タッチ操作により得られる1点のみの座標値により特定情報を選択する場合に比較し、より確実に、ユーザの所望する特定情報を選択することが出来るというさらなる効果を奏する。
【0043】
(10) 本発明に係る情報入力装置では、前記特定情報は、該特定情報が、1つの語句でありかつ該語句を構成する文字間が離れている場合、該文字ごとに、前記選択用位置情報を有し、該特定情報が、1つの図表、イラスト、写真等でありかつこれらを構成するオブジェクトが複数ある場合、該オブジェクトごとに、前記選択用位置情報を有することが好ましい。
【0044】
前記の構成によれば、前記特定情報は、位置が離れた文字ごとに、また図表、イラスト、写真ごとに、選択用位置情報を持つので、それらの特定情報を確実に選択できるというさらなる効果を奏する。
【0045】
(11) 本発明に係る情報入力装置では、前記選択用位置情報は、特定情報である語句または該語句を構成する各文字の中心座標値であるか、または特定情報である図表、イラスト、写真等、またはそれらを構成するオブジェクトの図心座標値であることが好ましい。
【0046】
前記の構成によれば、ユーザが、所望する特定情報の中心を指定する操作を行うことにより、その特定情報を確実に選択できるというさらなる効果を奏する。
【0047】
(12) 本発明に係る情報入力装置では、前記選択用位置情報は、特定情報である語句または該語句を構成する各文字の高さ方向の、中央または任意の位置における該語句または該文字の幅を示す線分の、始点座標値(xi1,yi1)および終点座標値(xi2,yi2)の組み合わせであり、前記特定情報選択手段は、前記タッチ位置の座標値(xt,yt)から該線分までの距離が、任意の距離内でありかつ最も近い線分を有する前記特定情報を選択することが好ましい。
【0048】
前記の構成によれば、選択用位置情報が線分により表されるので、タッチ位置の座標値との距離の計算が簡潔になるというさらなる効果を奏する。
【0049】
(13) 本発明に係る情報入力装置では、前記特定情報選択手段は、前記2次元書式情報において、所定のアルゴリズムにより、タッチ位置の前記座標値(xt,yt)から任意の距離内にあるテキストの構文解析、および/または、図形、イラスト、写真等のファイル検索および/または画像解析を行うことにより、1または2以上の前記特定情報を認識し、該特定情報の前記選択用位置情報を所定のアルゴリズムにより算定し、前記座標値(xt,yt)と、認識した該特定情報と、算定した該選択用位置情報とから、前記特定情報を選択することが好ましい。
【0050】
前記の構成によれば、特定情報選択手段は、2次元書式情報を取得してから、その内容のうち、タッチ位置に近い限られた範囲について、構文解析・画像解析を行うので、予め構文解析・画像解析がなされ、選択用位置情報が設定された2次元書式情報を用意しておく手間が省けるというさらなる効果を奏する。
【0051】
また、2次元書式情報の全体を構文解析・画像解析する場合に比較し、短時間で解析を行うことが出来るというさらなる効果を奏する。
【0052】
(14) 本発明に係る情報入力装置では、前記特定情報は、前記2次元書式情報に含まれる、テキストの構文解析、および/または、図形、イラスト、写真等の、ファイル検索および/または画像解析を行うことにより、予め特定され、該特定情報の前記選択用位置情報は、所定のアルゴリズムにより予め算定され、該2次元書式情報には、該特定情報と該選択用位置情報とが記録されていることが好ましい。
【0053】
前記の構成によれば、2次元書式情報は、予め解析され、選択用位置情報が設定され、特定情報が特定されており、特定情報選択手段は、2次元書式情報を取得した後に、構文解析・画像解析を行う必要が無いので、2次元書式情報を取得してから特定情報を選択するまでの処理時間を短縮出来るというさらなる効果を奏する。
【0054】
(15) 本発明に係る情報入力装置では、前記2次元書式情報は、CADにより描かれた、前記特定情報としての、テキスト、および/または、点、線分、平面、立体物を有した図形であることが好ましい。
【0055】
前記の構成によれば、CAD図面等、CADにより作成されたコンテンツも入力処理に利用することが出来るというさらなる効果を奏する。
【0056】
(16) 本発明に係る情報入力装置では、前記2次元書式情報は、地図データであり、該地図データは、テキスト、道路、地物、交差点等のカテゴリに分類された特定情報を有しており、該特定情報は、道路により囲まれた領域、地物領域、道路中心線、および地物図心を選択用位置情報として有することが好ましい。
【0057】
前記の構成によれば、地図も入力処理に利用することが出来るというさらなる効果を奏する。
【0058】
(17) 本発明に係る情報入力システムは、前記課題を解決するために、請求項1記載の情報入力装置と、2次元書式情報サーバと、これらを接続するネットワークとから構成される情報入力システムであって、前記情報入力装置は、前記2次元書式情報保管選択手段に替えて、入力された、前記2次元書式情報を識別するための識別情報を、前記2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段を備え、前記2次元書式情報サーバは、前記情報入力装置から受信した、前記識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した2次元書式情報を選択する2次元書式情報保管選択手段と、前記識別情報を前記情報入力装置から受信し、選択された該2次元書式情報を該情報入力装置へ送信する通信手段と、を備えたことを特徴としている。
【0059】
2次元書式情報サーバは、予め解析され、選択用位置情報が設定された特定情報を含む2次元書式情報を提供するサーバでもよいし、通常のWebサーバでもよい。なお、通常のWebサーバを用いる場合、Webサーバから取得する2次元書式情報には、選択用位置情報や特定情報が設定されていないので、特定情報選択手段は、2次元書式情報の取得後、選択用位置情報および特定情報を設定するように、解析を行う。
【0060】
前記の構成によれば、情報入力装置は、ネットワーク上の2次元書式情報サーバから識別情報に対応した2次元書式情報を取得する、クライアント・サーバ型構成となるので、複数の情報入力装置が、2次元書式情報サーバを共有することが出来るという効果を奏する。
【0061】
また、既存のWebサーバ等を、2次元書式情報サーバとして利用することが出来るという効果を奏する。
【0062】
(18) 本発明に係る情報入力システムは、前記課題を解決するために、請求項2記載の情報入力装置と、2次元書式情報サーバと、これらを接続するネットワークとから構成される情報入力システムであって、前記情報入力装置は、前記2次元書式情報保管選択手段に替えて、入力された、前記2次元書式情報を識別するための識別情報を、前記2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段を備え、前記2次元書式情報サーバは、前記情報入力装置から受信した、前記識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した2次元書式情報を選択する2次元書式情報保管選択手段と、前記識別情報を前記情報入力装置から受信し、選択された該2次元書式情報を該情報入力装置へ送信する通信手段とを備えたことを特徴としている。
【0063】
前記の構成によれば、情報入力装置は、ネットワーク上の2次元書式情報サーバから識別情報に対応した2次元書式情報を取得する、クライアント・サーバ型構成となるので、複数の情報入力装置が、2次元書式情報サーバを共有することが出来るという効果を奏する。
【0064】
(19) 本発明に係る情報入力システムは、前記課題を解決するために、請求項1記載の情報入力装置と、2次元書式情報サーバと、これらを接続するネットワークとから構成される情報入力システムであって、前記情報入力装置は、前記2次元書式情報保管選択手段に替えて、入力された、前記2次元書式情報を識別するための識別情報を、前記2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段を備え、前記2次元書式情報サーバは、前記情報入力装置から受信した、前記識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した2次元書式情報を選択する2次元書式情報保管選択手段と、前記識別情報を前記情報入力装置から受信し、選択された該2次元書式情報を該情報入力装置へ送信する通信手段とを備えたことを特徴としている。
【0065】
前記の構成によれば、情報入力装置は、ネットワーク上の2次元書式情報サーバから識別情報に対応した2次元書式情報を取得する、クライアント・サーバ型構成となるので、複数の情報入力装置が、2次元書式情報サーバを共有することが出来るという効果を奏する。
【0066】
(20) 本発明に係る情報入力システムでは、前記ストリームドットは、第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、基準となる基準ドットを所定の位置に設けたことが好ましい。
【0067】
これによれば、新たな基準点を設けることにより、ストリームドットパターンの向きと一定情報のまとまりを、情報ドットを使用せず簡易に定義することができ、これにより、余計な情報の低減を押さえられる。さらに、新たな基準点の配置により情報ドットの始点となる仮想基準点の位置を正確に示すことができる。
【0068】
(21) 本発明に係る情報入力システムでは、前記コード値の一部は、少なくとも、前記媒体または前記ディスプレイまたは前記情報入力補助シートを特定するコード値を含むことが好ましい。
前記の構成によれば、前記識別情報が前記コード値であることにより、ユーザのタッチ操作により、どの媒体またはディスプレイまたは情報入力補助シートが使用されているのかが認識できるため、ユーザが別途媒体等を識別するための情報を入力する手間が省けるというさらなる効果を奏する。
【発明の効果】
【0069】
本発明に係る情報入力装置は、以上のように、テキスト、図表、イラスト、写真等として可視化される特定情報を書式化した2次元書式情報が、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、印刷された媒体上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記媒体上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、前記特定情報が有している選択用位置情報を用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、任意の距離内でありかつ最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段とを備えたことを特徴としている。
【0070】
また、本発明に係る情報入力装置は、前記課題を解決するために、テキスト、図表、イラスト、写真等として可視化される特定情報を書式化した2次元書式情報が、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、表示されるディスプレイと、前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、前記特定情報が有している選択用位置情報を用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、任意の距離内でありかつ最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段とを備えたことを特徴としている。
【0071】
また、本発明に係る情報入力装置は、以上のように、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンが印刷され、テキスト、図表、イラスト、写真等として可視化される特定情報を書式化した2次元書式情報が、印刷された媒体上または表示されるディスプレイ上に、配置または貼付された情報入力補助シートと、前記媒体または前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記情報入力補助シートを透して、前記媒体または前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、前記特定情報が有している選択用位置情報を用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、任意の距離内でありかつ最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段とを備えたことを特徴としている。
【0072】
また、本発明に係る情報入力方法は、以上のように、テキスト、図表、イラスト、写真等として可視化される特定情報を書式化した2次元書式情報が、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、印刷された媒体上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記媒体上をタッチするために、ドットパターン読み取り手段を用いて、タッチ位置のドットパターンを読み込むドットパターン読み取りステップと、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択ステップと、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換ステップと、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、前記特定情報が有している選択用位置情報を用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、任意の距離内でありかつ最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択ステップとを含んだことを特徴としている。
【0073】
また、本発明に係る情報入力方法は、以上のように、テキスト、図表、イラスト、写真等として可視化される特定情報を書式化した2次元書式情報が、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンと共に、表示されたディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記ディスプレイ上をタッチするために、ドットパターン読み取り手段を用いて、タッチ位置のドットパターンを読み込むドットパターン読み取りステップと、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択ステップと、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換ステップと、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、前記特定情報が有している選択用位置情報を用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、任意の距離内でありかつ最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択ステップとを含んだことを特徴としている。
【0074】
また、本発明に係る情報入力方法は、以上のように、種々のマルチメディア情報出力および/またはオペレーション指示のため、XY座標値および/またはコード値を所定のアルゴリズムによりパターン化したドットパターンが印刷され、テキスト、図表、イラスト、写真等として可視化される特定情報を書式化した2次元書式情報が、印刷された媒体上または表示されるディスプレイ上に、配置または貼付された情報入力補助シートと、前記媒体または前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記情報入力補助シートを透して、前記媒体または前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段とを用いて、タッチ位置のドットパターンを読み込むドットパターン読み取りステップと、入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択ステップと、前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、選択された前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換ステップと、前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、前記特定情報が有している選択用位置情報を用い、前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、任意の距離内でありかつ最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択ステップとを含んだことを特徴としている。
【0075】
それ故、印刷・表示された、ハイパーリンク等が設定されていない特定情報に対して、予めマスク領域を定義したり、マスク領域に特定情報に対応するドットコードを埋め込んだり、ドットコードに対応した特定情報を予め定義したドットコード・特定情報対応テーブルを作成したりすること無しに、ユーザが特定情報を入力することが出来るという効果を奏する。
【図面の簡単な説明】
【0076】
【図1】本発明の第1の実施形態の概要を示すものであり、図1(a)は、操作の様子を示す図であり、図1(b)は、特定情報を選択する様子を示す図である。
【図2】図2は、ストリームドットについて説明する図(1)である。
【図3】図3は、ストリームドットについて説明する図(2)である。
【図4】図4は、ストリームドットについて説明する図(3)である。
【図5】図5は、ストリームドットについて説明する図(4)である。
【図6】図6は、ストリームドットについて説明する図(5)である。
【図7】図7は、ストリームドットについて説明する図(6)である。
【図8】図8は、ドットコードのフォーマット例を示す図であり、図8(a)は、ドットコードがXY座標値とコード値とパリティとを含む例であり、図8(b)は、ドットパターン3を設ける場所によりフォーマットを変更する例であり、図18(c)は、ドットコードがXY座標値とパリティとを含む例である。
【図9】図9は、印刷物1aの断面図であり、図9(a)は、赤外線が印刷媒体1cの何も印刷されていない箇所に当たり拡散反射する様子を示す図であり、図9(b)は、赤外線が印刷物1aのコンテンツ印刷箇所に当たり拡散反射する様子を示す図であり、図9(c)は、赤外線がドットパターン3に当たり吸収される様子を示す図である。
【図10】図10は、スキャナ4の、ドットパターン3を読み取る部分の構造と、印刷物1a上のドットパターン3を読み取る様子を示す図である。
【図11】図11は、第1の本実施形態に係る情報入力装置5の機能ブロック図である。
【図12】図12は、選択用位置情報として、オブジェクトの中心座標値または図心座標値を用いる場合の例を示す図であり、図12(a)は、特定情報がテキストの場合であり、図12(b)は、特定情報が図表の場合であり、図12(c)は、特定情報がイラスト・写真の場合である。
【図13】図13は、他の選択用位置情報の例を示す図であり、図13(a)は、語句の始点座標と高さを選択用位置情報とする例であり、図13(b)は、語句の始点座標と終点座標と高さとを選択用位置情報とする例であり、図13(c)は、語句を構成する文字が離れている場合に文字ごとの始点座標と終点座標と高さとを選択用位置情報とする例である。
【図14】図16は、ユーザが指定したい特定情報の1点にタッチする操作の例を示す図である。
【図15】図15は、ユーザが指定したい特定情報上をなぞる操作の例を示す図である。
【図16】図16は、ユーザが指定したい特定情報の周囲をなぞって囲む操作の例を示す図である。
【図17】図17は、特定情報を選択する方法の例を示す図であり、図17(a)は、タッチ位置から線分に対して下ろした垂線の足が線分と交わらない場合であり、図17(b)は、タッチ位置から線分に対して下ろした垂線の足が線分と交わる場合である。
【図18】図18は、特定情報を選択する方法の例を示す図であり、図18(a)は、タッチ位置がマスク領域2b内である場合であり、図18(b)は、タッチ位置が、マスク領域2b内にも、マスク領域2b’内にも入らない場合である。
【図19】図19は、特定情報を選択する方法の例を示す図である。
【図20】図20は、情報入力装置5が行う情報入力処理の手順のフローチャートである。
【図21】図21は、処理S40において行われる特定情報の選択処理について詳細に説明するフローチャートである。
【図22】図24は、第2の実施形態に係る情報入力装置5aの機能ブロック図である。
【図23】図23は、第3の実施形態に係る情報処理装置12の機能ブロック図である。
【図24】図24は、情報処理装置12が行う情報処理の手順について説明するフローチャートである。
【図25】図25は、情報処理装置12が行う情報処理の様子を示す図である。
【図26】図26は、第4の実施形態の概要を例示する図である。
【図27】図27は、ドット部を設けた有機ELディスプレイの断面図であり、図27(a)は、ドット部に入射した赤外線が、透過または吸収される様子を示す図であり、図27(b)は、ドット部以外の発光素子に赤外線が入射し、拡散反射される様子を示す図である。
【図28】図28は、フロントプロジェクタまたはリアプロジェクタのスクリーンにドット部を設ける例を示す図であり、図28(a)は、ドット部に入射した赤外線が、透過または吸収される様子を示す図であり、図29(b)は、ドット部以外のスクリーン部分に赤外線が入射し、拡散反射される様子を示す図である。
【図29】図29は、第4の実施形態に係る情報処理装置12bの機能ブロック図である。
【図30】図30は、情報処理装置12bが行う情報処理の手順について説明するフローチャートである。
【図31】図31は、第5の実施形態の概要を示す図である。
【図32】図32は、グリッドシート1gの表面の正面図である。
【図33】図33は、グリッドシート1gを使用する方法を示す図であり、図35(a)は、右側のページに使用する場合であり、図35(b)は、左側のページに使用する場合である。
【図34】図34は、グリッドシート1gの内部構造例を示す断面図である。
【図35】図35は、グリッドシート1gの内部構造例を示す断面図である。
【図36】図36は、第6の実施形態の概要を示す図である。
【図37】図37は、第7の実施形態の概要を示す図である。
【図38】図38は、第7の実施形態に係るテレビ受像機12eの機能ブロック図である。
【図39】図39は、テレビ受像機12eが行う情報処理の手順について説明するフローチャートである。
【図40】図40は、従来技術を示す図である。
【図41】図41は、従来技術を示す図である。
【発明を実施するための最良の形態】
【0077】
[第1の実施形態]
本発明に係る情報入力装置のうち、コンテンツと共にドットパターンが印刷された媒体を用いる一実施形態について、図1から図23に基づいて説明すると、以下の通りである。
<概要>
【0078】
図1において、本実施形態の概要を示す。図1(a)は、本実施形態における操作の様子を示す図であり、図1(b)は、特定情報を選択する様子を示す図である。
【0079】
図1(a)において示すように、まずユーザは、コンテンツと共にドットパターン3(詳細は、後述)が印刷された印刷物1a(媒体)上の、情報入力装置5に入力したい情報に、スキャナ4(ドットパターン読み取り手段)を用いてタッチする。
【0080】
この例では、ユーザは、情報入力装置5の画面上に表示された入力フォームの場所欄に「東京」の語句を入力したいので、印刷物1a上に印刷された語句「東京」2aを、スキャナ4によりタッチしている。
【0081】
ドットパターン3には、予め印刷物1a上のXY座標値と、印刷物1aを特定するためのドキュメントID(識別情報)とが、コード化されており、ユーザが印刷物1a上をスキャナ4によりタッチすると、タッチ位置の印刷物1a上のXY座標系における座標値(Xt,Yt)と、印刷物1aのドキュメントIDとが、情報入力装置5に読み込まれる。
【0082】
情報入力装置5は、読み込まれたXY座標値と、ドキュメントIDと、予め用意してある印刷物1aの元になった電子データであるDTP(Desk Top Publishing)データ1b(2次元書式情報)とから、タッチ位置には、語句「東京」2aがあることを認識(詳細は後述)し、語句「東京」2aが、情報入力装置5に入力される。
【0083】
図1(a)に示す例では、情報入力装置5に入力された語句「東京」2aが、画面上に表示された入力フォームの場所欄に記入された様子を示している。
【0084】
図1(b)において示すように、DTPデータ1bは、独自のxy座標系を持つ。DTPデータ1bに含まれる、テキスト、図表、イラスト、写真等(特定情報)には、これらを選択するために用いられる選択用位置情報が設定されている。
【0085】
例えば、語句「東京」2aには、対応するマスク領域2bおよび/または中心座標値(xi,yi)が設定されている。
【0086】
図1(b)は、スキャナ4によりタッチされた印刷物1a上のタッチ位置の座標値(Xt,Yt)から変換された、DTPデータ1b上におけるタッチ位置の座標値(xt,yt)と、語句「東京」2aに対応するマスク領域2bおよび中心座標値(xi,yi)との位置関係の例を示している。
【0087】
例えば、タッチ位置の座標値(xt,yt)がマスク領域2bに含まれることにより、DTPデータ1bに含まれる多くの特定情報のうち、語句「東京」2aが、情報入力装置5への入力として選択される。
【0088】
なお、特定情報を選択する方法は、タッチ位置の座標値(xt,yt)から、他の特定情報の中心座標値(xi,yi)までの距離よりも、タッチ位置の座標値(xt,yt)から、語句「東京」2aの中心座標値(xi,yi)までの距離の方が短いことから、語句「東京」2aを入力として選択する方法でもよい。特定情報を選択する方法の詳細は、後述する。

<ドットパターンについて>
次に、図2〜図7を参照しながら本発明に用いられるドットパターンである、ストリームドットの形成方法の一例について説明する。
【0089】
図2、3は、ストリームドットパターンを形成する工程の一例を順に示すものである。
【0090】
本発明に係るドットパターンは、従来のドットパターンとは異なり、まず工程1として媒体表面上の可視的な情報に対応して、情報を入出力させたい箇所に基準ドット101を線状に連続して複数個配置する。
【0091】
図2(a)では基準ドット101を曲線状に配置しているが、基準ドット101の配置はこれに限定されるものではなく、直線と曲線を織り交ぜたり、複数の線分により構成される折れ線状にするなど、情報を入出力させる領域にあわせた形状にドットパターンを形成するための種々の変更が可能である。
【0092】
また、媒体表面上に可視的に形成された実在線上に基準ドット101を配置してもよいし、実在線に沿って所定の規則により基準ドット101を配置してもよい。ここでいう実在線とは仮想線に対する概念で、実際に存在している線の全てを含むものである。例えば、実線、破線、点線、直線や曲線などが挙げられ、本発明においては、線が形成される媒体(例えば映像表示装置のディスプレイ)や、線を構成する物質(例えばインク)の如何を問わない。なお、ドットパターンは、印刷やディスプレイ表示、さらに金属やプラスチック上での穴や溝等の凸凹であってもよい。
【0093】
なお、基準ドットは読取り精度向上の観点から、等間隔に配置することが望ましいが、これに限定されるものではなく、複数の間隔を混在させてドットパターンの一定情報のまとまりを定義したり、一定情報のまとまり内における3つの異なる基準ドットの配置間隔によりドットパターンの一定情報のまとまりとドットパターンの方向の両方を定義することも可能である。
【0094】
次に、工程2として、線状に配置された基準ドット4を結ぶ、第一の仮想基準線102を設ける。図4(b)では第一の仮想基準線6を曲線により設けているが、第一の仮想基準線8はこれに限定されるものではなく、曲線状に配置された基準ドット101に対して直線の第一の仮想基準線102を設けてもよいし、直線状に配置された基準ドット101に対して曲線の第一の仮想基準線102を設けてもよい。すなわち、後述する工程3〜工程5における第二の仮想基準線103、仮想基準点104、情報ドット105をどの位置に配置するかによって、基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線102を自由に定義することが可能である。
【0095】
なお、図4に例を示すように、曲線である場合の第一の仮想基準線102は、ベジェ曲線によることが望ましい。
【0096】
すなわち、まず、第一の仮想基準線102上にある基準ドット101をP0、P3とし、P1、P2を与えられた制御点とする。次に、制御点を順に結んで得られる3つの線分・P0―P1、P1―P2、P2―P3・をそれぞれ1対1の比率で分割する点P4、P5、P6を求める。そして、これらの点を順に結んで得られる2つの線分・P4―P5、P5―P6・を、それぞれ1対1の比率で分割する点P7、P8を求める。
【0097】
最後に、この2点を結ぶ線分・P7―P8・をさらに1対1の比率で分割する点P9を求め、この点がベジェ曲線上の点となる。
【0098】
この手順を繰り返し行うことで、P0、P1、P2、P3を制御点とするベジェ曲線が得られる。
【0099】
なお、ベジェ曲線に限らず、スプライン関数を利用して求められるスプライン曲線、n次多項式、楕円弧など、種々のアルゴリズムを用いて第一の仮想基準線102を設けてもよい。
【0100】
また、第二の仮想基準線103においても、第一の仮想基準線102と同様に当該方法を用いて曲線を定義することが可能である。
【0101】
次に、工程3として、線状に配置された基準ドット101および/または第一の仮想基準線102から所定の位置に定義される第二の仮想基準線103を設ける。図2(c)では第二の仮想基準線103を、隣り合う基準ドット101の中間点における第一の仮想基準線102の接線に対して垂直線上の所定位置に向かって、隣り合う基準ドット101から任意の角度をもって設けているが、第二の仮想基準線103はこれに限定されるものではなく、後に示すようにドットパターンにより情報を入出力させたい領域に合わせて仮想基準点を設けるために、種々の方法により定義することが可能である。
【0102】
また、第一の仮想基準線102に対して片側のみに第二の仮想基準線103を設けてドットパターンの方向を定義してもよいし、情報量を増やすために両側各々に設けてもよい。
【0103】
次に、工程4として、第二の仮想基準線7上の所定の位置に複数の仮想基準点104を設ける。図3(a)では仮想基準点104を、第二の仮想基準線103の交点、すなわち隣り合う基準ドット101を結んだ直線を底辺とし、第二の仮想基準線103を対辺とする二等辺三角形の頂点に設けているが、仮想基準点74の位置はこれに限定されるものではなく、第二の仮想基準線103の中点に設けたり、第二の仮想基準線103上に代えて基準ドット101上に設けるなど、種々の変更が可能である。
【0104】
そして、工程5として、仮想基準点104を始点としてベクトルにより表現した終点に情報ドット105を配置する。図3(b)では情報ドット105を、仮想基準点104からのベクトル方向を8方向、仮想基準点104からの距離が等距離となるよう、一個の仮想基準点104に対し1個配置しているが、情報ドット105の配置はこれに限定されるものではなく、仮想基準点104上に配置したり、ベクトル方向を16方向として配置したり、一個の仮想基準点104に対し2個配置するなど、任意の方向に任意の長さに、複数配置することが可能である。
【0105】
図5はドットパターンの情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。
【0106】
情報ドット105は種々の情報を認識させるドットである。この情報ドット105は、仮想基準点104を始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット105は、図3に示すように、その仮想基準点104から0.1mm離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に45度ずつ回転させて8方向に配置し、3ビットを表現している。
【0107】
なお、図示例では8方向に配置して3ビットを表現しているが、これに限定されずに、16方向に配置して4ビットを表現することも可能であり、任意の方向に任意の長さに配置できることはもちろんである。
【0108】
さらに、図3(b)では全ての仮想基準点5において、この仮想基準点104を始点としてその終点位置に情報ドット105を配置したが、これに限定されることなく、仮想基準点上にドットが配置されているか否かで情報を定義するようにしてもよい。たとえば仮想基準点上にドットが配置されていれば「1」、配置されていなければ「0」というように情報を定義することができる。
【0109】
図6は情報ドットおよびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
【0110】
また、情報ドット105について基準ドット101から導き出された仮想基準点104から短(図1−5の上段)・長(図1−5の下段)の2種類を使用し、ベクトル方向を8方向とすると、4ビットを表現することができる。このとき、長い方が隣接する仮想基準点5間の距離の25〜30%程度、短い方は15〜20%程度が望ましい。ただし、長・短の情報ドット3の中心間隔は、これらのドットの径より長くなることが望ましい。
【0111】
情報ドット3は、その見栄えを考慮し、1ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、1ベクトル毎に、1ビットを割り当てて情報ドット3を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円8方向のベクトルでは、基準ドット4から定義された情報ドット3で2の情報を表現でき、1の一定情報のまとまりの情報ドット8個で264となる。
【0112】
このように、本発明に係るストリームドットパターンは、本発明者が提唱している従来のドットパターンでは2次元的に格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。
【0113】
図7は、ストリームドットパターンを上下方向に並べた状態の一例について示す図である。
【0114】
同図では、基準ドット、情報ドットの他に、キードットおよびサイドドットを配置している。キードットは、一定情報のまとまりの両端に配置されたドットである。このキードットは、ひとまとまりの情報ドット群を表す1領域分のドットパターン1の代表点である。サイドドットは、キードット2のずれの正負の延長線上に配置されたドットである。
【0115】
同図(b)は、基準ドットおよびストリームドットパターンを等間隔に並べている。このように、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が書き込み領域に隙間なく定義される。しかし、本発明に係るストリームドットパターンはこれに限らず、同図(a)に示すように、ドットパターン同士の間隔を任意に設定してよい。また、基準ドット同士の間隔も、任意に設定することができる。
【0116】
このように、本発明に係るストリームドットパターンは、本発明者が提唱している従来のドットパターンでは2次元的に格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。
【0117】
これにより、ドットパターンが2次元コードとして形成される矩形領域の形状でのXY座標値によるインデックスの定義に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状の一定情報のまとまりによるドットパターンを形成することが可能となる。
【0118】
このストリームドットパターンを用いることで、地球儀を初めとする曲面体や、人体模型、立体地図などの三次元造形物にもドットパターンを形成することができ、平面地図や絵本等に限らず本発明に係る入出力装置を利用することが可能となる。

<ドットコードのフォーマットについて>
【0119】
図8に基づき、ドットコードとそのフォーマット例を説明する。ドットコードとは、ドットパターン3に記録される情報である。
【0120】
図7に示すように、ドットパターンは、一定情報のまとまりが定義された情報ドット2行×4列のユニット領域で構成されたドットパターンであり、このユニット内でC〜C31に区画されている。各領域のドットコードフォーマットを示したものが(a)〜(c)である。
【0121】
図8(a)は、ドットコードがXY座標値とコード値とパリティとを含むフォーマットの例であり、図8(b)は、ドットパターン3を設ける場所によりフォーマットを変更する例であり、図8(c)は、ドットコードがXY座標値とパリティとを含むフォーマットの例である。
【0122】
図8(a)において示すフォーマット例では、ドットパターン3を設ける位置のX座標値が、ビットC0からC7の8ビットを用いて表現され、同じくY座標値がビットC8からC15を用いて表現される。次いで、コード値が、ビットC16からC29の14ビットを用いて表現される。このコード値には、ドットパターン3の使用目的に合わせて、任意の情報を表すために用いる事が出来る。本実施形態では、ドキュメントIDを表現するために用いる事が出来る。最後にドットコードのパリティとして、ビットC30およびC31の2ビットが使用される。なお、パリティの計算方法は、一般的に知られている方法を用いればよいので、説明は省略する。
【0123】
図8(b)において示すフォーマット例では、ドットパターン3を設ける場所によりフォーマットが変更される。この例では、ドットパターン3を設ける場所を、XY座標領域とコード値領域とに区分する。XY座標領域では、XY座標領域用フォーマットが用いられ、コード値領域では、コード値領域用フォーマットが用いられる。
【0124】
XY座標領域用フォーマットでは、X座標がビットC0からC14の15ビットを用いて表され、同じくY座標がC15からC29の15ビットを用いて表現される。また、コード値領域用フォーマットでは、コード値がC0からC29の30ビットを用いて表現される。
【0125】
なお、読み取られた情報がXY座標値を表すものであるか、コード値を表すものであるかの区別が出来るように、XY座標値およびコード値を表すビット列が重ならない様に、ビット列の表現規則を決めておくのがよい。
【0126】
このように、図8(b)に示すフォーマット例では、図8(a)に示すフォーマット例に較べ、より多くのビットをXY座標値およびコード値に割り当てることができるので、より広範囲のXY座標値およびより多くのコード値を表現することが出来る。
【0127】
図8(c)において示すフォーマット例では、図8(b)のXY座標領域用フォーマットと同じフォーマットが用いられる。コード値の欄がフォーマット中に無いので、ドキュメントIDを直接ドットパターン3に記録することは出来ず、XY座標値の割り当て領域を区分することにより、間接的にドキュメントIDを区別する。
【0128】
例えば、X座標が0から100の範囲にあり、Y座標が0から100の範囲にある領域は、ドキュメントID=1のDTPデータ専用に割り当てる。同様に、ドキュメントID=2のDTPデータには、X座標が101から200の範囲にあり、Y座標が0から100の範囲にある領域を割り当てる。この様な割り当てを予め行うことにより、例えば、ドットパターン3から読み込まれたXY座標値が(150,50)である場合、この座標値は、X座標が101から200の範囲にあり、Y座標が0から100の範囲にある領域に含まれることから、このドットパターン3が設けられている印刷物1aのドキュメントIDは2であると特定することが出来る。

<ドキュメントIDの入力方法について>
【0129】
印刷物1aがいずれのDTPデータに対応するかを示すドキュメントIDは、前記において説明したように、印刷物1a上に印刷されるドットパターン3の少なくとも一部の領域において、XY座標値と共にドットコードに含めて設定されてもよいし、印刷物1a上をXY座標値のみを含むドットコードの領域とドキュメントIDのみを含むドットコードの領域とに分けて印刷してもよい。
【0130】
また、ドキュメントIDは、ユーザがキーボード等の入力手段を用いて、手動により情報入力装置5に入力されてもよい。

<印刷物の構造について>
【0131】
図9に基づき、印刷物1aの構造を説明する。図9は、印刷物1aの断面図であり、図9(a)は、赤外線が印刷媒体1cの何も印刷されていない箇所に当たり拡散反射する様子を示す図であり、図9(b)は、赤外線が印刷物1aのコンテンツ印刷箇所に当たり拡散反射する様子を示す図であり、図9(c)は、赤外線がドットパターン3に当たり吸収される様子を示す図である。なお、ここでは、図示し易いように、インクが印刷媒体の表面上に盛り上がる様に示しているが、このような配置になるのは、印刷媒体1cがインクを吸収しない特性を有する場合と、印刷媒体1cはインクを吸収する特性を有するがインクの粘性が極めて高い場合とであり、通常は、印刷媒体ににじむ様に印刷される。
【0132】
図9(a)に示すように、印刷媒体1cの、コンテンツおよびドットパターン3が印刷される表面は、赤外線を拡散反射する特性を持つことが望ましい。その理由は、印刷媒体1cの表面が赤外線を鏡面反射する特性を持つ場合、スキャナ4により読み取られる面の一部からの反射光がレンズ(後述)に適切に入射せず、読み取った画像の一部が暗く写ってしまい、画像解析が困難になるためである。
【0133】
図9(b)において、赤外線拡散反射インク10を用いて印刷した箇所に赤外線が当たり拡散反射する様子と、赤外線透過インク11を用いて印刷した箇所に赤外線が当たり、赤外線が赤外線透過インク11を透過した後、印刷媒体1cの表面において拡散反射する様子とを示す。
【0134】
図9(c)において、上から順に、ドットパターン3と赤外線拡散反射インク10とが重畳印刷された表面において、ドットパターン3に向かって入射した赤外線が吸収される様子と、ドットパターン3のみが印刷された表面において、ドットパターン3に向かって入射した赤外線が吸収される様子と、ドットパターン3と赤外線透過インク11とが重畳印刷された表面において、ドットパターン3に向かって入射した赤外線が吸収される様子とを示す。
【0135】
このように、ドットパターン3と、赤外線拡散反射インク10または赤外線透過インク11とを重畳印刷した場合、粘性が極めて高いと、先に印刷したドットパターン3の周りにドーナツ状に赤外線拡散反射インク10または赤外線透過インク11が配置される。通常の粘性のインクであれば、互いににじみ合う。
【0136】
スキャナ4は、印刷物1aのドットパターン3が印刷された読み取り面に対して赤外線を照射し、その反射光を画像として撮影する(詳細は後述)ので、赤外線吸収インクにより印刷されたドットパターン3は、画像において、黒く表され、赤外線を拡散反射する箇所は、白く表される。
【0137】
なお、赤外線拡散反射インク10および赤外線透過インク11は、可視光の特定の波長を反射または吸収する特性を持つので、これらのインクを用いて印刷された印刷物1aを人が見る場合、印刷されたコンテンツを通常の印刷と同様に読むことが出来る。
【0138】
このように、印刷媒体1c上にドットパターン3を印刷し、さらにその上にコンテンツを重畳印刷する際に用いるインクを、赤外線拡散反射インク10と赤外線透過インク11とで切り替えることにより、様々な、ドットパターン印刷とコンテンツ印刷の組み合わせを実現することが出来る。

<スキャナ4について>
【0139】
図10において、スキャナ4の構造のうち、ドットパターン3を読み取る部分の構造と、印刷物1a上のドットパターン3を読み取る様子を示す。スキャナ4は、赤外線を照射する手段であるIR−LEDと、IR−LEDから照射された赤外線が印刷物1aの表面において反射された反射光を集光するレンズと、レンズを通過した反射光のうち所定の波長成分をカットするIRフィルタと、撮像素子であるC−MOSセンサとを内蔵している。
【0140】
スキャナ4は、印刷物1aに赤外線を照射し、印刷媒体1cの表面および赤外線拡散反射インク10により印刷された箇所から拡散反射された反射光を撮影する。上述したように、ドットパターン3は赤外線を吸収する特性を有するインクで印刷されているため、C−MOSセンサにおいて撮像された画像では、ドットパターン3のドット部分のみ黒く撮像されることとなる。
【0141】
また、スキャナ4は、前記の構成に加えて、中央処理装置(図示せず)を備えており、中央処理装置は、C−MOSセンサから入力されたドットパターン3を、解析ソフトウェアにより解析し、ドットコードに変換して出力する。
【0142】
なお、スキャナ4は、中央処理装置および解析ソフトウェアの代わりに、同様の機能を備えたハードウェア回路を備えていてもよい。
【0143】
また、ドットパターン3を解析してドットコードに変換する処理は、スキャナ4上の中央処理装置により行う代わりに、スキャナ4が接続された装置、例えばパーソナルコンピュータ上において処理を行う構成でもよい。
【0144】
スキャナ4とスキャナ4が接続される装置との間は、USBケーブルなどの有線方式により接続されてもよいし、無線方式により接続されてもよい。

<情報入力装置5の構成について>
【0145】
図11において、本実施形態に係る情報入力装置5の機能ブロック図を示す。情報入力装置5は、スキャナ4と、ドキュメント管理部20(2次元書式情報保管選択手段)と、座標変換部30(座標変換手段)と、特定情報選択部40(特定情報選択手段)とを備えている。
【0146】
スキャナ4は、印刷物1a上においてユーザがスキャナ4を用いてタッチした位置のドットパターン3を読み込み、ドットコードに変換後、ドットコード内のドキュメントID部分をドキュメント管理部20に出力する。また、スキャナ4は、ドットコード内のXY座標値(xt,yt)部分を座標変換部30に出力する。なお、ここでは、ドットコードが、XY座標値およびコード値を含む場合について説明する。
【0147】
ドキュメント管理部20は、スキャナ4から入力されたドキュメントIDを用いて、ドキュメント管理部20内に予め保存されている、ドキュメントのDTPデータを検索する。そして、入力されたドキュメントIDに対応したDTPデータ1bを座標変換部30および特定情報選択部40に出力する。
【0148】
座標変換部30は、スキャナ4から入力されたXY座標値(Xt,Yt)と、ドキュメント管理部20から入力されたDTPデータ1bとを用いて、タッチ位置の座標を、印刷物1a上の座標系におけるXY座標値(Xt,Yt)から、DTPデータ1b上の座標系におけるxy座標値(xt,yt)に変換し、変換したxy座標値(xt,yt)を特定情報選択部40に出力する。
【0149】
特定情報選択部40は、ドキュメント管理部20から入力されたDTPデータ1bと、座標変換部30から入力されたxy座標値(xt,yt)とを用いて、DTPデータ1bに含まれるテキスト、図表、イラスト、写真等の特定情報のうち、ユーザがタッチ操作により指示したと考えられる特定情報を選択し出力する。特定情報の選択方法の詳細は後述するが、例えば、タッチ位置のxy座標値(xt,yt)から最も近い位置にある特定情報を選択する方法などがある。
【0150】
特定情報選択部40から出力された特定情報が、他の機器等において、入力として利用される。
【0151】
なお、情報入力装置5の具体例としては、パーソナルコンピュータ、PDA、テレビ受信装置、フロントプロジェクタ、リアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、POS端末装置、ATM、KIOSK端末、カーナビ、パチンコ、時計、スマートフォン等が挙げられる。

<DTPデータについて>
【0152】
本実施形態では、2次元書式情報の例として、DTPデータを挙げている。DTPデータは、さらに具体的には、ワードプロセッサなどのDTPソフトウェアや、CADソフトウェア、HTML、XML、フラッシュ、PDF等の形式のファイルを作成するオーサリングソフトウェア等により作成された電子データであり、その電子データには、例えば、テキスト本文に加えて、そのテキストを表示したり印刷したりする際に使用するフォント(ベクターフォント)の種類および大きさの指定やレイアウト情報などが含まれている。
【0153】
また、DTPデータには、図表、イラスト、写真等を含む場合、各画像データが格納されているファイルの名前や、表示したり印刷したりする際に、それらが占める領域の位置情報なども含まれている。
【0154】
DTPデータは、ドキュメントIDにより、一意に特定できるように管理される。DTPデータを印刷した時に複数ページとなる場合、すなわち、印刷物1aが複数ページにより構成されている場合には、ドキュメントIDは、その各ページを区別できるように構成されていることが望ましい。
【0155】
なお、DTPデータは、地図データであってもよい。

<選択用位置情報について>
【0156】
DTPデータ中のテキスト、図表、イラスト、写真等の特定情報には、これらのうちいずれの特定情報がユーザにより指示されたかを、タッチ位置のxy座標(xt,yt)との位置関係から判断するために、選択用位置情報が設けられる。
【0157】
選択用位置情報を各特定情報に対して設定するタイミングは、DTPデータをドキュメント管理部20に格納する際に予め設定されていてもよいし、特定情報選択部40が、ドキュメント管理部20からDTPデータ1bを受け取った後に、特定情報選択部40により設定されてもよい。
【0158】
また、特定情報選択部40は、ドキュメント管理部20から受け取ったDTPデータ1bの全体を一度に解析して、DTPデータ1bに含まれるすべての特定情報に対する選択用位置情報を設定してもよいし、DTPデータ1bのうち、タッチ位置の座標値(xt,yt)近傍にある特定情報のみを解析し、選択用位置情報を設定してもよい。
【0159】
特定情報の解析方法としては、特定情報がテキストの場合、一般的に知られている通常の構文解析方法を用いればよい。また、特定情報が階層化されたオブジェクトの集合として表される、図表、イラスト、CADデータ(点、線分、平面、立体物等)である場合は、その階層構造およびオブジェクトを扱えるソフトウェア等により、解析を行えばよい。また、特定情報がビットマップにより表されるイラストまたは写真等である場合は、DTPデータに含まれるそれら特定情報のファイル名からビットマップのデータを取得し、一般的に知られている通常の画像解析方法を用いてビットマップを解析すればよい。
【0160】
図12において、特定情報の選択用位置情報として、オブジェクトの中心座標値または図心座標値を用いる場合の例を示す。図12(a)は、特定情報がテキストの場合の例であり、図12(b)は、特定情報が図表(パイチャート)の場合の例であり、図12(c)は、特定情報がイラスト・写真の場合の例である。なお、この図では、オブジェクトの中心座標値または図心座標値の位置を示すために、プラス印のマークを用いているが、このマークは、説明のために示したものであり、印刷または表示されるものではない。
【0161】
図12(a)に示す例では、特定情報として、語句「花の都」、「大阪」、および「東京タワー」が示されている。語句「東京タワー」に対しては、その表示領域の中心が選択用位置情報として設定されている。
【0162】
これに対し、語句「花の都」の場合は、語句を構成する各文字の間隔が離れており、その表示領域の中心座標値のみを選択用位置情報として設定すると、ユーザが語句「花の都」を選択するために文字「花」の近傍をタッチした際、語句「花の都」の中心座標値とタッチ位置の座標値とが離れているため、語句「花の都」が選択されない可能性が高い。
【0163】
そのため、語句を構成する各文字の間隔が離れている場合は、その語句を構成する各文字に対して、各文字の中心座標値を選択用位置情報として設定するのがよい。
【0164】
なお、ユーザが文字「花」の近傍をタッチした場合、ユーザが指定したい語句は、語句「花の都」であるか語句「花」であるかの判断を、特定情報選択部40が出来ない場合がある。その場合、特定情報選択部40は、語句「花の都」および語句「花」の両方を選択候補としてユーザに提示し、ユーザが所望の語句を選択候補から選択する構成としてもよい。
【0165】
また、語句「大阪」の場合、改行により文字「大」と文字「阪」との間隔が離れてしまっている。この場合も、選択用位置情報として、各文字に対して、文字の中心座標値を設定することにより、ユーザは、適切に語句「大阪」を選択することが出来る。
【0166】
図12(b)に示す例では、特定情報として、パイチャートおよびそのパイチャートを構成するパイが示されている。パイチャート全体の選択用位置情報として、円の中心点座標が設定されると共に、27%、18%、および55%の各パイ(それぞれ、オブジェクトA、B、およびCとする)の図心座標値が、各オブジェクトの選択用位置情報として設定される。
【0167】
図12(c)に示す例では、特定情報として、河馬(オブジェクトD)および熊(オブジェクトE)のイラストの輪郭が示されている。各オブジェクトの図心座標値が選択用位置情報として設定される。なお、設定される図心座標値は、正確に計算される必要はなく、オブジェクトの選択が適切に出来る程度の概算値であればよい。
【0168】
このように、一つの大きなオブジェクトが複数の小さなオブジェクトにより構成されている場合、これらの小さなオブジェクト毎に選択用位置情報を設定することにより、ユーザはより柔軟な特定情報の指示を行うことが出来る。
【0169】
図13において、テキストおよび語句を特定情報とする場合の、他の選択用位置情報の例を示す。図13(a)は、語句の始点座標と高さを選択用位置情報とする例であり、図13(b)は、語句の始点座標と終点座標と高さとを選択用位置情報とする例であり、図13(c)は、語句を構成する文字が離れている場合に文字ごとの始点座標と終点座標と高さとを選択用位置情報とする例である。
【0170】
図13(a)に示す例では、語句「東京」の高さhiと、語句「東京」が占める長方形の領域の左辺(長さはhi)の中点の座標値(xi,yi)とを、選択用位置情報としている。
【0171】
図13(b)に示す例では、語句「東京」の高さhiと、語句「東京」の幅を示す、高さ方向において任意の位置の線分の始点座標(xi1,yi1)および終点座標(xi2,yi2)とを、選択用位置情報としている。
【0172】
図13(c)に示す例では、語句「大阪」を構成する各文字が離れているので、文字「大」および「阪」のそれぞれに対して、図13(b)に示す例と同様に、文字の高さと幅を示す線分とにより選択用位置情報を設定している。すなわち、文字「大」は、高さhi1と、始点座標(xi11,yi11)と、終点座標(xi12,yi12)とを選択用位置情報として有し、文字「阪」は、高さhi2と、始点座標(xi21,yi21)と、終点座標(xi22,yi22)とを選択用位置情報として有している。
【0173】
なお、テキスト、語句、および文字に対して、図13に示す各種の選択用位置情報を用いることにより、これらテキスト、語句、および文字の占める領域の位置、高さ、および幅がわかるので、xy座標系における、これらテキスト、語句、および文字のマスク領域を容易に計算することが出来る。
【0174】
また、選択用位置情報は、前記マスク領域に含まれる全ての座標値(xia,yia)の集合とマスク領域の輪郭部の座標値(xie,yie)の集合とから構成されてもよい。
【0175】
なお、図表、イラスト、写真等を特定情報とする場合にも、これらオブジェクトの輪郭部を定めることにより、オブジェクトに含まれる全ての座標値(xia,yia)の集合とオブジェクトの輪郭部の座標値(xie,yie)の集合とを選択用位置情報としてもよい。
【0176】
なお、DTPデータが、地図データの場合、道路により囲まれた領域、地物領域、道路中心線、および/または地物図心が選択用位置情報となる。地図データ内では、特定情報がテキスト、道路、地物、交差点等のカテゴリに分類される。特定情報を選択する際、いずれかのカテゴリを選択して、特定情報を認識する。当然、特定情報の候補から選択してもよいし、予めカテゴリを選択してからタッチしてもよい。

<タッチ操作について>
【0177】
図14から図16に基づき、ユーザが印刷物1a上の特定情報を指定する際に、スキャナ4を用いて行う操作について説明する。
【0178】
図14において、スキャナ4を用いて、ユーザが特定情報の1点にタッチする操作の例を示す。タッチ位置の座標値(Xt,Yt)が、点座標として、特定情報選択部40に認識される。
【0179】
図15において、スキャナ4を用いて、ユーザが特定情報の1点にタッチした後、指定したい特定情報上をなぞる操作の例を示す。タッチしてなぞった軌跡の座標値(Xt,Yt)が、線分として、特定情報選択部40に認識される。
【0180】
この操作法を用いると、例えば、語句「東京」2a全体をなぞった場合には、語句「東京」2aが、入力する特定情報として特定情報選択部40に認識されるのに対し、文字「東」のみをなぞった場合には、文字「東」のみが、入力する特定情報として特定情報選択部40に認識させることが出来る。
【0181】
図18において、スキャナ4を用いて、ユーザが特定情報の1点にタッチした後、指定したい特定情報の周囲をなぞって囲む操作の例を示す。タッチしてなぞって囲んだ軌跡の座標値(Xt,Yt)が、閉曲線として、特定情報選択部40に認識される。
【0182】
なお、なぞって囲む操作により、完全な閉曲線が形成されない場合、特定情報選択部40は、タッチしてなぞった軌跡の始点と終点とを結ぶ補正により、完全な閉曲線を形成してもよい。
【0183】
この操作法を用いると、タッチしてなぞる操作と同様に、語句「東京」2aの指定と文字「東」の指定とを区別するような、特定情報の正確な指示を情報入力装置5に与えることが出来る。
【0184】
なお、ここでいう囲む操作には、指定したい特定情報が中に含まれるように完全に囲む場合と、なぞった軌跡が特定情報上に重なるように囲む場合とが含まれる。なぞった軌跡が特定情報上に重なるように囲む場合には、少なくとも選択用位置情報が表す位置が囲まれていればよい。もし、少なくとも選択用位置情報が表す位置が囲まれていない場合は、なぞった軌跡を構成する複数の座標値(xt,yt)から最も近い、選択用位置情報の位置に対応した特定情報が選択される。

<特定情報の選択方法について>
【0185】
図17から図19に基づき、タッチ位置の座標値(xt,yt)と各特定情報に備えられた選択用位置情報とから、特定情報を選択する方法について説明する。なお、ユーザによるタッチ操作が3種類あり、選択用位置情報の種類が3種類あるので、以下では、これらの組み合わせとして、9通りのケースについて、特定情報の選択方法を説明する。
【0186】
ケース1:タッチ操作の軌跡が点であり、選択用位置情報が中心点の場合
特定情報選択部40は、タッチ位置の座標値(xt,yt)の点から最も近い中心座標(xi,yi)または図心座標(xi,yi)を持つ特定情報を選択する。
【0187】
ケース2:タッチ操作の軌跡が点であり、選択用位置情報が線分の場合
図19において、ユーザがタッチ操作により特定情報の指定を行い、かつ語句「東京」2aが選択用位置情報として、線分を持っている場合の、特定情報を選択する方法の例を示す。
【0188】
図17(a)は、タッチ位置の座標値(xt,yt)の点から線分に対して下ろした垂線の足が線分と交わらない場合の例である。この場合、座標値(xt,yt)の点から線分までの距離dは、座標値(xt,yt)と線分の始点座標値(xi1,yi1)または終点座標値(xi2,yi2)との距離のうち、いずれか短い方となる。
【0189】
図17(b)は、タッチ位置の座標値(xt,yt)の点から線分に対して下ろした垂線の足が線分と交わる場合の例である。この場合、座標値(xt,yt)の点から線分までの距離dは、座標値(xt,yt)の点から線分に対して下ろした垂線の長さとなる。
【0190】
特定情報選択部40は、前記の方法により、各特定情報を表す線分とタッチ位置の座標値(xt,yt)の点との距離dを求め、距離dが最も短くなる特定情報を選択する。
【0191】
ケース3:タッチ操作の軌跡が点であり、選択用位置情報がマスク領域の場合
図18において、ユーザがタッチ操作により特定情報の指定を行い、かつ語句「東京」2aが選択用位置情報として、マスク領域2bを持っている場合に、特定情報を選択する方法の例を示す。
【0192】
この方法では、タッチ位置の座標値(xt,yt)が、マスク領域内の全座標値(xia,yia)のいずれかと一致すれば、特定情報選択部40は、一致した座標値を持つ特定情報を選択する。もし一致する座標値が無い場合は、タッチ位置の座標値(xt,yt)から最も近い、マスク領域輪郭部の座標値(xie,yie)を持つ特定情報を選択すればよい。
【0193】
このマスク領域を利用する選択方法は、テキストのみならず、図表、イラスト、写真等のオブジェクトが特定情報である場合にも使用できる。
【0194】
図18(a)は、タッチ位置の座標値(xt,yt)がマスク領域2b内である場合の例である。この場合、特定情報選択部40は、マスク領域2bに対応した特定情報である語句「東京」2aを選択する。
【0195】
図18(b)は、タッチ位置の座標値(xt,yt)が、語句「東京」2aのマスク領域2b内にも、語句「大阪」2a’のマスク領域2b’内にも入らない場合の例である。この場合、特定情報選択部40は、タッチ位置の座標値(xt,yt)からマスク領域2bおよびマスク領域2b’までの距離d1およびd2を求め、これらの距離を比較する。距離d1の方が短いので、特定情報選択部40は、マスク領域2bに対応した特定情報である語句「東京」2aを選択する。
【0196】
ケース4:タッチ操作の軌跡が線分であり、選択用位置情報が中心点の場合
特定情報選択部40は、ケース2と同様に、中心座標(xi,yi)または図心座標(xi,yi)から、軌跡の線分までの距離dが最も短くなる特定情報を選択する。
【0197】
ケース5:タッチ操作の軌跡が線分であり、選択用位置情報が線分の場合
特定情報選択部40は、例えば、軌跡である線分の始点座標値(xt1,yt1)と、終点座標値(xt2,yt2)と、選択用位置情報である線分の始点座標値(xi1,yi1)と、終点座標値(xi2,yi2)とにより形成される四角形の面積が最小となる特定情報を選択する。
【0198】
ケース6:タッチ操作の軌跡が線分であり、選択用位置情報がマスク領域の場合
特定情報選択部40は、軌跡である線分を構成する複数の座標値(xt,yt)のうち、最も多くの座標値(xt,yt)が含まれるマスク領域を持つ特定情報を選択する。
【0199】
ケース7:タッチ操作の軌跡が閉曲線であり、選択用位置情報が中心点の場合
図21において、ユーザがタッチしてなぞって囲む操作により特定情報の指定を行い、かつ語句「東京」2aが選択用位置情報として、中心座標値(xi,yi)を持っている場合に、特定情報を選択する方法の例を示す。この場合、特定情報選択部40は、なぞって囲む操作により入力された軌跡により囲まれた選択用位置情報を有する特定情報を選択する。
【0200】
ケース8:タッチ操作の軌跡が閉曲線であり、選択用位置情報が線分の場合
特定情報選択部40は、ケース6と同様に、選択用位置情報である線分を構成する複数の座標値(xi,yi)のうち、最も多くの座標値が、軌跡である閉曲線内に含まれる特定情報を選択する。
【0201】
ケース9:タッチ操作の軌跡が閉曲線であり、選択用位置情報がマスク領域の場合
特定情報選択部40は、軌跡である閉曲線とマスク領域との重なりの面積が最大となる特定情報を選択する。

<情報入力処理の手順について>
【0202】
図20に示すフローチャートに基づき、情報入力装置5が行う情報入力処理の手順について説明する。なお、以下では、1つのドットコードがXY座標値およびコード値の両方を含む場合であり、かつ印刷物1a上の語句「東京」2aに対応したDTPデータ1b内の特定情報には選択用位置情報として予めマスク領域2bが設定されている場合について説明する。
【0203】
まず、ユーザがスキャナ4を用いて所望の特定情報を指定する操作を行うと、スキャナ4が、ユーザがスキャナ4を用いてタッチした、印刷物1a上の箇所に印刷されているドットパターン3を読み取る。読み取られたドットパターン3は、スキャナ4の中央処理装置において、解析ソフトウェアによりドットコードに変換される。スキャナ4は、変換したドットコードのうち、ドキュメントID部分を、ドキュメント管理部20に送り、XY座標値部分を座標変換部30に送る(ステップ10、以下S10と略す)。
【0204】
次に、ドキュメント管理部20が、スキャナ4から受け取ったドキュメントIDを用いて、予め保管されているDTPデータの中から、そのドキュメントIDに対応するDTPデータ1bを選択する。そして選択したDTPデータ1bを座標変換部30および特定情報選択部40に送る(S20)。
【0205】
次に、座標変換部30が、スキャナ4から受け取ったXY座標系の座標値(Xt,Yt)を、ドキュメント管理部20から受け取ったDTPデータ1b内のxy座標系における座標値(xt,yt)に変換する(S30)。
【0206】
次に、特定情報選択部40が、座標変換部30から受け取った座標値(xt,yt)に基づき、ドキュメント管理部20から受け取ったDTPデータ1b内の特定情報のうち、適切な特定情報を選択する(S40)。特定情報選択部40は、選択した特定情報を、他の機器の入力となるように、または情報入力装置5において行われる次の任意の処理の入力となるように、出力する。
【0207】
図21に示すフローチャートに基づき、前記S40において行われる特定情報の選択処理について詳細に説明すると、以下の通りである。
【0208】
まず、特定情報選択部40は、ユーザのタッチ操作により得られたタッチ位置の座標値(xt,yt)の軌跡が、点であるか否かを判断する(S41a)。
【0209】
点である場合は、S42aの処理に進む。
【0210】
点でない場合は、S41bの処理に進む。
【0211】
次に、特定情報選択部40は、点の座標値(xt,yt)がマスク領域2b内の全座標値(xia,yia)のいずれかと一致するか否かを判断する(S42a)。
【0212】
一致する場合には、S43aの処理に進む。
【0213】
一致しない場合には、S44aの処理に進む。
【0214】
S42aにおいて、点の座標値(xt,yt)がマスク領域2b内の全座標値(xia,yia)のいずれかと一致する場合、特定情報選択部40は、点の座標値(xt,yt)と一致する座標値(xia,yia)を持つ特定情報を選択して処理を終了する(S43a)。
【0215】
S42aにおいて、点の座標値(xt,yt)がマスク領域2b内の全座標値(xia,yia)のいずれとも一致しない場合、特定情報選択部40は、点の座標値(xt,yt)に最も近い、輪郭部の座標値(xie,yie)を持つ特定情報を選択し、処理を終了する(S44a)。
【0216】
S41aにおいて、タッチ位置の座標値(xt,yt)の軌跡が、点ではない場合、特定情報選択部40は、次に、タッチ位置の座標値(xt,yt)の軌跡が、線分であるか否かを判断する(S41b)。
【0217】
線分である場合は、S42bの処理に進む。
【0218】
線分でない場合は、S41cの処理に進む。
【0219】
S41bにおいて、タッチ位置の座標値(xt,yt)の軌跡が、線分である場合、特定情報選択部40は、線分の少なくとも一部がマスク領域2b内に含まれるか否かを判断する(S42b)。
【0220】
線分の少なくとも一部がマスク領域2b内に含まれる場合は、S43bの処理に進む。
【0221】
線分がマスク領域2b内に含まれない場合は、S44bの処理に進む。
【0222】
S42bにおいて、線分の少なくとも一部がマスク領域2b内に含まれる場合、特定情報選択部40は、最も多くの座標値(xt,yt)をマスク領域内に含む特定情報を選択し、処理を終了する(S43b)。
【0223】
S42bにおいて、線分がマスク領域2b内に含まれない場合、特定情報選択部40は、線分に最も近い輪郭部の座標値(xie,yie)を持つ特定情報を選択し、処理を終了する(S44b)。
【0224】
S41bにおいて、タッチ位置の座標値(xt,yt)の軌跡が、線分ではない場合、特定情報選択部40は、次に、タッチ位置の座標値(xt,yt)の軌跡が、閉曲線であるか否かを判断する(S41c)。
【0225】
閉曲線である場合は、S42cの処理に進む。
【0226】
閉曲線でない場合は、必要に応じエラー処理等を行い、処理を終了する。
【0227】
S41cにおいて、タッチ位置の座標値(xt,yt)の軌跡が、閉曲線である場合、特定情報選択部40は、閉曲線により囲まれた領域の少なくとも一部がマスク領域2bと重なるか否かを判断する(S42c)。
【0228】
重なる場合は、S43cの処理に進む。
【0229】
重ならない場合は、S44cの処理に進む。
【0230】
S42cにおいて、閉曲線により囲まれた領域の少なくとも一部がマスク領域2bと重なる場合、特定情報選択部40は、閉曲線により囲まれた領域と最も多くの重なりを持つマスク領域2bに対応した特定情報を選択し、処理を終了する(S43c)。
【0231】
S42cにおいて、閉曲線により囲まれた領域がいずれのマスク領域2bとも重ならない場合、特定情報選択部40は、閉曲線により囲まれた領域に最も近い輪郭部の座標値(xie,yie)を持つ特定情報を選択し、処理を終了する(S44c)。

[第2の実施形態]
【0232】
本発明に係る情報入力装置のうち、コンテンツと共にドットパターンが印刷された媒体を用い、かつDTPデータをネットワーク上のサーバから取得する一実施形態について、図24に基づいて説明すると、以下の通りである。
【0233】
なお、以下では、第1の実施形態と異なる箇所のみを説明し、同様の箇所に関しては説明を省略する。

<情報入力装置5aおよび情報処入力システムの構成について>
【0234】
図22において、本実施形態に係る情報入力装置5aの機能ブロック図を示す。情報入力装置5aは、スキャナ4aと、座標変換部30aと、特定情報選択部40aと、通信部50(通信手段)とを備えている。
【0235】
また、本実施形態に係る情報入力システムは、情報入力装置5aと、ドキュメント管理サーバ13(2次元書式情報サーバ)と、これらを接続するネットワークとから構成される。
【0236】
情報入力装置5aにおいて、スキャナ4aは、タッチ位置のドットパターン3を読み込み、ドットコードのうちドキュメントID部分を通信部50に送り、ドットコードのうちXY座標値部分を座標変換部30aに送る。
【0237】
通信部50は、スキャナ4aから受け取ったドキュメントIDをドキュメント管理サーバ13に送信すると共に、ドキュメント管理サーバ13から受信した、ドキュメントIDに対応したDTPデータ1bを、座標変換部30aおよび特定情報選択部40aに送る。
【0238】
特定情報選択部40aは、座標変換部30aから受け取ったxy座標値と、通信部50から受け取ったDTPデータ1bとを用いて、DTPデータ1b内の特定情報を選択し、選択した特定情報を出力する。
【0239】
ドキュメント管理サーバ13は、ドキュメント管理部20a(2次元書式情報保管選択手段)と通信部51(通信手段)とを備える。ドキュメント管理部20aの機能は、第1の実施形態におけるドキュメント管理部20と同じである。
【0240】
なお、前記構成では、ドキュメント管理部20aは、ドキュメント管理サーバ13上にのみ備えられているが、第1の実施形態と同様に、ドキュメント管理部20が情報入力装置5aにも備えられていてもよい。
【0241】
この場合、ドキュメント管理部20内のDTPデータを先に検索し、必要なDTPデータ1bが検索されれば、改めてネットワーク上のドキュメント管理サーバ13にアクセスする必要が無くなるので、ネットワーク上のトラフィックを軽減するとともに、処理を高速化できる。また、ドキュメント管理部20が、ドキュメント管理部20aから取得したDTPデータ1bをキャッシュする構成としてもよい。

<情報入力処理の手順について>
【0242】
情報入力装置5aが行う情報入力処理の手順について説明する。以下の説明における各ステップS10aからS40aの処理は、図20に示すフローチャートのS10からS40のそれぞれに対応するものである。なお、以下では、1つのドットコードがXY座標値およびコード値の両方を含む場合について説明する。
【0243】
まず、ユーザがスキャナ4aを用いて所望の特定情報を指定する操作を行うと、スキャナ4aが、ユーザがスキャナ4aを用いてタッチした、印刷物1a上の箇所に印刷されているドットパターン3を読み取る。読み取られたドットパターン3は、スキャナ4aの中央処理装置において、解析ソフトウェアによりドットコードに変換される。スキャナ4は、変換したドットコードのうち、ドキュメントID部分を、通信部50および51を介して、ドキュメント管理サーバ上のドキュメント管理部20aに送り、XY座標値部分を座標変換部30に送る(S10a)。
【0244】
次に、ドキュメント管理部20aが、スキャナ4aから受け取ったドキュメントIDを用いて、予め保管されているDTPデータの中から、そのドキュメントIDに対応するDTPデータ1bを選択する。そして選択したDTPデータ1bを、通信部51および50を介して、座標変換部30aおよび特定情報選択部40aに送る(S20a)。
【0245】
次に、座標変換部30aが、スキャナ4aから受け取ったXY座標系の座標値(Xt,Yt)を、ドキュメント管理部20aから受け取ったDTPデータ1b内のxy座標系における座標値(xt,yt)に変換する(S30a)。
【0246】
次に、特定情報選択部40aが、座標変換部30aから受け取った座標値(xt,yt)に基づき、ドキュメント管理部20aから受け取ったDTPデータ1b内の特定情報のうち、適切な特定情報を選択する(S40a)。特定情報選択部40aは、選択した特定情報を、他の機器の入力となるように、または情報入力装置5aにおいて行われる次の任意の処理の入力となるように、出力する。

<コンテンツおよびドットパターンの印刷について>
【0247】
情報入力装置5aは、さらに印刷部(図示せず)(印刷手段)を備え、新たに取得したDTPデータ1bを、ドットパターン3と共に、媒体上に印刷できる構成でもよい。ドットパターン3のドットコードには、XY座標値に加えて、新たに取得したDTPデータ1bを識別するドキュメントIDが含まれていることが望ましい。
【0248】
この構成によると、新たに取得したDTPデータ1bから、入力処理に用いる印刷物1aを作成することが出来る。

[第3の実施形態]
【0249】
本発明に係る情報処理装置のうち、コンテンツと共にドットパターンが印刷された媒体を用い、かつDTPデータをネットワーク上のサーバから取得して特定情報の入力を行い、その特定情報の関連情報を検索し、表示する情報処理装置の一実施形態について、図25から図27に基づいて説明すると、以下の通りである。
【0250】
なお、以下では、第1および第2の実施形態と異なる箇所のみを説明し、同様の箇所に関しては説明を省略する。

<情報処理装置12および情報処理システムの構成について>
【0251】
図23において、本実施形態に係る情報処理装置12の機能ブロック図を示す。情報処理装置12は、スキャナ4aと、座標変換部30aと、特定情報選択部40bと、通信部50bと、関連情報検索部60(関連情報検索手段)と、表示部70とを備えている。情報処理装置12の具体例として、例えばパーソナルコンピュータが挙げられる。
【0252】
なお、情報処理装置12は、PDA、テレビ受信装置、フロントプロジェクタ、リアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、POS端末装置、ATM、KIOSK端末、カーナビ、パチンコ、時計、スマートフォン等であってもよい。
【0253】
また、本実施形態に係る情報処理システムは、情報処理装置12と、ドキュメント管理サーバ13と、辞書サーバ14と、これらを接続するネットワークとから構成される。
【0254】
情報処理装置12において、スキャナ4aは、タッチ位置のドットパターン3を読み込み、ドットコードのうちドキュメントID部分を通信部50bに送り、ドットコードのうちXY座標値部分を座標変換部30aに送る。
【0255】
通信部50bは、スキャナ4aから受け取ったドキュメントIDをドキュメント管理サーバ13に送信すると共に、ドキュメント管理サーバ13から受信した、ドキュメントIDに対応したDTPデータ1bを、座標変換部30aおよび特定情報選択部40bに送る。また、通信部50bは、関連情報検索部60から受け取った特定情報を辞書サーバ14に送信すると共に、送信した特定情報を基に辞書サーバ14において検索された特定情報の関連情報を、辞書サーバ14から受信し、関連情報検索部60に渡す。
【0256】
特定情報選択部40bは、座標変換部30aから受け取ったxy座標値と、通信部50bから受け取ったDTPデータ1bとを用いて、DTPデータ1b内の特定情報を選択し、選択した特定情報を関連情報検索部60に出力する。
【0257】
関連情報検索部60は、特定情報選択部40bから受け取った特定情報を、通信部50bを介して辞書サーバ14に送り、検索結果である関連情報を辞書サーバ14から通信部50bを介して受け取り、受け取った関連情報を表示部70に出力する。
【0258】
なお、本実施の形態では、関連情報検索部60は、ネットワーク上の1または複数の辞書サーバ14を検索する構成としているが、ネットワーク上の辞書サーバ14に代わる機能として、予め設定されたリンクテーブル、データベース、および/または電子辞書を情報処理装置12内に備え、関連情報検索部60は、ネットワークにアクセスすること無しに関連情報の検索を行ってもよい。
【0259】
なお、辞書サーバ14の例としては、汎用リンクテーブル、汎用データベース、汎用電子辞書などが挙げられる。
【0260】
表示部70は、関連情報検索部60から受け取った関連情報を、ディスプレイ等を用いてユーザに提示する。
【0261】
なお、前記の構成では、情報処理装置12に備えられた関連情報検索部60が、辞書サーバ14と通信を行い、関連情報を取得しているが、この構成に代えて、ドキュメント管理サーバ13が、関連情報検索部60を備えていてもよい。この場合、特定情報選択部40bは、選択した特定情報を、通信部を介してドキュメント管理サーバ13上の関連情報検索部60に送信する。関連情報検索部60は、辞書サーバ14と通信を行い、選択された特定情報の関連情報を取得し、情報処理装置12に送信する。
【0262】
辞書サーバ14には、テキストやイラスト、写真等を示すデータファイルに対応する説明やURL、マルチメディア情報等の関連情報が格納されている。辞書サーバ14では、選択された特定情報であるテキストやイラスト、写真等の関連情報を示すデータファイルが検索される。辞書サーバ14は、ウィキペディア、ヤフー、グーグル等の検索エンジンまたは会員制の専門データベースであってもよい。

<情報処理の手順について>
【0263】
図24に示すフローチャートおよび図27に基づき、情報処理装置12が行う情報処理の手順について説明する。なお、以下では、1つのドットコードがXY座標値およびコード値の両方を含む場合であり、かつ印刷物1a上の語句「東京」2aに対応したDTPデータ1b内の特定情報には選択用位置情報として予め中心座標値(xi,yi)が設定されている場合について説明する。
【0264】
まず、ユーザがスキャナ4aを用いて所望の特定情報を指定する操作を行うと、スキャナ4aが、ユーザがスキャナ4aを用いてタッチした、印刷物1a上の箇所に印刷されているドットパターン3を読み取る。読み取られたドットパターン3は、スキャナ4aの中央処理装置において、解析ソフトウェアによりドットコードに変換される。スキャナ4aは、変換したドットコードのうち、ドキュメントID部分を、通信部50bおよび51を介して、ドキュメント管理サーバ13上のドキュメント管理部20aに送り、XY座標値部分を座標変換部30に送る(S10a)。
【0265】
次に、ドキュメント管理部20aが、スキャナ4aから受け取ったドキュメントIDを用いて、予め保管されているDTPデータの中から、そのドキュメントIDに対応するDTPデータ1bを選択する。そして選択したDTPデータ1bを、通信部51および50bを介して、座標変換部30aおよび特定情報選択部40bに送る(S20a)。
【0266】
次に、座標変換部30aが、スキャナ4aから受け取ったXY座標系の座標値(Xt,Yt)を、ドキュメント管理部20aから受け取ったDTPデータ1b内のxy座標系における座標値(xt,yt)に変換し、特定情報選択部40bに渡す(S30a)。
【0267】
次に、特定情報選択部40bが、座標変換部30aから受け取った座標値(xt,yt)に基づき、ドキュメント管理部20aから受け取ったDTPデータ1b内の特定情報のうち、適切な特定情報を選択する。特定情報選択部40bは、選択した特定情報を関連情報検索部60へ渡す(S40a)。
【0268】
例えば、タッチ位置の座標値(xt,yt)から、DTPデータ1b内の他の特定情報の中心座標値(xi,yi)までの距離よりも、タッチ位置の座標値(xt,yt)から、語句「東京」2aの中心座標値(xi,yi)までの距離の方が短いことから、語句「東京」2aが、情報処理装置12への入力として選択される。
【0269】
次に、関連情報検索部60が、特定情報選択部40bから受け取った特定情報を、通信部50bを介して、辞書サーバ14に送信し、辞書サーバにおいて検索された、特定情報の関連情報を、通信部50bを介して、辞書サーバ14から受信する。そして、関連情報検索部60は、受信した関連情報を、表示部70を介して、ユーザに提示する(S50a)。
【0270】
図25に示す例では、語句「東京」2aがネットワークを介して辞書サーバ14に送信される。辞書サーバ14上では、見出し語「東京」に対応した説明文「東京とは」が検索され、情報処理装置12に返信される。情報処理装置12の画面上には、語句「東京」2aに対応した関連情報である説明文「東京とは」が、画面上に表示される。
【0271】
なお、関連情報は、テキスト以外に、イラストや写真等を示すデータファイルであってもよい。

[第4の実施形態]
【0272】
本発明に係る情報処理装置のうち、コンテンツと共にドットパターン3が表示されたディスプレイを用いる一実施形態について、図26から図30に基づいて説明すると、以下の通りである。
【0273】
なお、第1の実施形態における情報入力装置5、第2の実施形態における情報入力装置5a、および第3の実施形態における情報処理装置12においては、印刷物1aを用いた。本実施形態では、印刷物1aに代わりディスプレイを用いる例を説明するにあたり、情報処理装置12を変形した例として、情報処理装置12bを挙げて説明する。情報入力装置5および情報入力装置5aを、印刷物1aに代わりディスプレイを用いる構成に変形する方法は、同様なので説明を省略する。
【0274】
また、以下では、第3の実施形態と異なる箇所のみを説明し、同様の箇所に関しては説明を省略する。

<概要>
【0275】
図26において、本実施形態の概要を例示する。
【0276】
図26において示すように、まずユーザは、Webサーバ13b(2次元書式情報サーバ)から適当なコンテンツをダウンロードし、情報処理装置12bの画面15上に表示させる。
【0277】
次に、ユーザは、コンテンツと共にドットパターン3が表示されたディスプレイ15上の、情報処理装置12bを用いて検索したい情報に、スキャナ4bを用いてタッチする。
【0278】
この例では、ユーザは、ディスプレイ15上に表示されたコンテンツのうち、語句「東京」2aに関する関連情報を検索したいので、ディスプレイ15上に表示された語句「東京」2aを、スキャナ4bによりタッチしている。
【0279】
ドットパターン3には、予めディスプレイ15のXY座標値が、コード化されており、ユーザがディスプレイ15上をスキャナ4bによりタッチすると、タッチ位置のディスプレイ15上のXY座標系における座標値(Xt,Yt)が、情報処理装置12bに読み込まれる。
【0280】
情報処理装置12bは、読み込まれたXY座標値と、Webサーバ13bからダウンロードし表示しているコンテンツのコンテンツデータ1d(2次元書式情報)とを用いて、タッチ位置にある特定情報を認識する。
【0281】
図に示すように、コンテンツファイル内のコンテンツデータは、独自のxy座標系を持つ。コンテンツデータに含まれる、テキスト、図表、イラスト、写真等の特定情報には、これらを選択するために用いられる選択用位置情報が設定されている。
【0282】
例えば、語句「東京」2aには、対応するマスク領域2bおよび/または中心座標値(xi,yi)が設定されている。
【0283】
例えば、タッチ位置の座標値(xt,yt)がマスク領域2bに含まれることにより、コンテンツデータ1dに含まれる多くの特定情報のうち、語句「東京」2aが、選択される。
【0284】
情報処理装置12bは、選択された語句「東京」2aを用いて、辞書サーバ14を検索する。検索結果である関連情報が辞書サーバ14から情報処理装置12bに返信され、ディスプレイ15上に表示される。
【0285】
図28に示す例では、検索結果として、語句「東京」2aの関連情報である説明文「東京とは」が、ディスプレイ15上に表示されている。
【0286】
このように、コンテンツ内の、ハイパーリンク等が設定されていない特定情報でも、ユーザがスキャナ4bによりタッチして指示することにより、情報処理装置12bへの入力とすることが出来る。また、入力した特定情報の関連情報を検索し表示することが出来る。

<ドットコードのフォーマットについて>
【0287】
本実施形態におけるドットコードは、XY座標値のみを含むものでよい。コンテンツIDは、前記の実施形態におけるドキュメントIDに相当するものである。
【0288】
なお、ディスプレイ15を複数持つ情報処理装置12bの場合は、ディスプレイ15を区別するために、コード値として、ディスプレイIDを含んだドットコードを用いることも出来る。

<ディスプレイの構造について>
【0289】
ディスプレイ15は、一般的なディスプレイを用いて、RGB値を調整することにより、ドットパターン3のドットを表示してもよいし、ディスプレイ15の画素とは別に、ドットパターン3を表すドット部をディスプレイ15上に配列して設けてもよい。
【0290】
本実施の形態等の説明においては、ドット等を「表示する」との表現を用いているが、前記の説明の通り、この表現には、「ドット部をディスプレイ15上に配列して設ける」という場合も含まれる。
【0291】
図27において、画素とは別にドット部を設けた有機ELディスプレイの断面図を示す。図27(a)は、ドット部に入射した赤外線が、透過または吸収される様子を示す図であり、図27(b)は、ドット部以外の発光素子に赤外線が入射し、拡散反射される様子を示す図である。
【0292】
このように、発光素子の部分とドット部とにおいて赤外線反射特性を異ならせることにより、ドットパターンを表現することが出来る。
【0293】
図28において、ディスプレイ15の変形例として、フロントプロジェクタまたはリアプロジェクタのスクリーンにドット部を設ける例を示す。図28(a)は、ドット部に入射した赤外線が、透過または吸収される様子を示す図であり、図28(b)は、ドット部以外のスクリーン部分に赤外線が入射し、拡散反射される様子を示す図である。

<コンテンツデータについて>
【0294】
コンテンツデータの例として、HTML、XML、フラッシュ等により作成されたものが挙げられる。もちろん、前記の実施形態において例示したDTPデータもコンテンツデータとして扱うことが出来る。

<情報処理装置12bおよび情報処理システムの構成について>
【0295】
図29において、本実施形態に係る情報処理装置12bの機能ブロック図を示す。情報処理装置12bは、スキャナ4bと、座標変換部30bと、特定情報選択部40cと、通信部50cと、関連情報検索部60と、表示部70bと、ディスプレイ15と、コンテンツ取得部80とを備えている。情報処理装置12bの具体例として、例えばパーソナルコンピュータが挙げられる。
【0296】
また、本実施形態に係る情報処理システムは、情報処理装置12bと、Webサーバ13bと、辞書サーバ14と、これらを接続するネットワークとから構成される。
【0297】
情報処理装置12bにおいて、コンテンツ取得部80は、通信部50cを介して、Webサーバ13bにコンテンツ要求を送信し、Webサーバ13bから返信されたコンテンツデータ1dを、通信部50cを介して受け取り、受け取ったコンテンツデータ1dを、表示部70bおよびディスプレイ15を介して、ユーザに提示する。
【0298】
スキャナ4bは、タッチ位置のドットパターン3を読み込み、ドットコードのXY座標値を座標変換部30bに送る。
【0299】
座標変換部30bは、スキャナ4bから受け取ったXY座標値(Xt,Yt)を、コンテンツ取得部80から受け取ったコンテンツデータ1dを用いて、コンテンツデータ1d上のxy座標系におけるタッチ位置の座標値(xt,yt)に変換し、変換した座標値(xt,yt)を特定情報選択部40cに送る。
【0300】
特定情報選択部40cは、座標変換部30bから受け取ったxy座標値と、コンテンツ取得部80から受け取ったコンテンツデータ1dとを用いて、コンテンツデータ1d内の特定情報を選択し、選択した特定情報を関連情報検索部60に出力する。
【0301】
関連情報検索部60は、特定情報選択部40cから受け取った特定情報を、通信部50cを介して辞書サーバ14に送り、検索結果である関連情報を辞書サーバ14から通信部50cを介して受け取り、受け取った関連情報を表示部70bおよびディスプレイ15を介してユーザに提示する。
【0302】
通信部50cは、コンテンツ取得部80から受け取ったコンテンツ要求をWebサーバ13bに送信すると共に、Webサーバ13bから受信した、コンテンツ要求に対応したコンテンツデータ1dを、表示部70b、座標変換部30bおよび特定情報選択部40cに送る。また、通信部50cは、関連情報検索部60から受け取った特定情報を辞書サーバ14に送信すると共に、送信した特定情報を基に辞書サーバ14において検索された特定情報の関連情報を、辞書サーバ14から受信し、関連情報検索部60に渡す。
【0303】
表示部70bは、コンテンツ取得部80から受け取ったコンテンツデータ1dと、関連情報検索部60から受け取った関連情報とを、ディスプレイ15を介してユーザに提示する。
【0304】
なお、本構成例では、ディスプレイ15の画面上に、赤外線を吸収するドット部が設けられている構成とするので、ドットパターン3をRGB値の調整により表示するための機能ブロックは設けられていない。

<情報処理の手順について>
【0305】
図30に示すフローチャートに基づき、情報処理装置12bが行う情報処理の手順について説明する。なお、以下では、ディスプレイ15上に表示された語句「東京」2aに対応したコンテンツデータ1d内の特定情報には、選択用位置情報として予め中心座標値(xi,yi)が設定されている場合について説明する。
【0306】
まず、コンテンツ取得部80が、コンテンツ要求を、通信部50cを介して、Webサーバ13bに送信し、Webサーバ13bから、コンテンツ要求に対応したコンテンツデータ1dを、通信部50cを介して受信する。コンテンツ取得部80は、受信したコンテンツデータ1dを、表示部70bを介して、ディスプレイ15上に表示する(S5)。また、コンテンツ取得部80は、表示中のコンテンツのコンテンツデータ1dを、座標変換部30bおよび特定情報選択部40cにも出力する。
【0307】
S5の処理は、具体的には、ユーザが一般的なWebブラウザを用いてネットサーフィンを行い、Webサーバ13bからダウンロードしたコンテンツデータを、ユーザが閲覧している状態を表している。
【0308】
次に、ユーザがスキャナ4bを用いて所望の特定情報を指定する操作を行うと、スキャナ4bが、ユーザがスキャナ4bを用いてタッチした、ディスプレイ15上の箇所に設定されているドットパターン3を読み取る。読み取られたドットパターン3は、スキャナ4bの中央処理装置において、解析ソフトウェアによりドットコードに変換される。スキャナ4bは、変換したドットコードのXY座標値を座標変換部30bに送る(S10b)。
【0309】
次に、座標変換部30bが、スキャナ4bから受け取ったXY座標系の座標値(Xt,Yt)を、コンテンツ取得部80から受け取ったコンテンツデータ1d内のxy座標系における座標値(xt,yt)に変換し、特定情報選択部40cに渡す(S30a)。
【0310】
次に、特定情報選択部40cが、座標変換部30bから受け取った座標値(xt,yt)に基づき、コンテンツ取得部80から受け取ったコンテンツデータ1d内の特定情報のうち、適切な特定情報を選択する。特定情報選択部40cは、選択した特定情報を関連情報検索部60へ渡す(S40b)。
【0311】
例えば、タッチ位置の座標値(xt,yt)から、コンテンツデータ1d内の他の特定情報の中心座標値(xi,yi)までの距離よりも、タッチ位置の座標値(xt,yt)から、語句「東京」2aの中心座標値(xi,yi)までの距離の方が短いことから、語句「東京」2aが、情報処理装置12bへの入力として選択される。
【0312】
次に、関連情報検索部60が、特定情報選択部40cから受け取った特定情報を、通信部50cを介して、辞書サーバ14に送信し、辞書サーバにおいて検索された、特定情報の関連情報を、通信部50cを介して、辞書サーバ14から受信する。そして、関連情報検索部60は、受信した関連情報を、表示部70bおよびディスプレイ15を介して、ユーザに提示する(S50a)。
【0313】
図26に示す例では、語句「東京」2aがネットワークを介して辞書サーバ14に送信される。辞書サーバ14上では、見出し語「東京」に対応した説明文「東京とは」が検索され、情報処理装置12bに返信される。情報処理装置12bの画面上には、語句「東京」2aに対応した関連情報である説明文「東京とは」が、画面上に表示される。

[第5の実施形態]
【0314】
本発明に係る情報処理装置のうち、ドットパターン3が印刷された透明シートを、通常の印刷物の印刷面に重ねて配置し用いる一実施形態について、図31から図35に基づいて説明すると、以下の通りである。なお、以下ではこの透明シートをグリッドシート1g(情報入力補助シート)という。
【0315】
なお、以下の説明では、コンテンツと共にドットパターンが印刷された媒体を用い、かつDTPデータをネットワーク上のサーバから取得して特定情報の入力を行い、その特定情報の関連情報を検索し、表示するという第3の実施形態と異なる箇所のみ説明を行う。

<概要>
【0316】
図31において、本実施形態の概要を示す。
【0317】
まず、ユーザが、ドットパターン3が印刷されていない、通常の印刷物1eを特定するためのインデックスを情報処理装置12cに入力する。入力方法は、ユーザがグリッドシート1gに印刷されたアイコン(後述)にタッチして印刷物1eを特定するインデックスを入力する方法でもよいし、ユーザがキーボード等を用いてインデックスを入力する方法でもよい。
【0318】
なお、インデックスは、ドキュメント管理サーバ13において、ドキュメントIDに変換され、変換されたドキュメントIDを用いて、ドキュメント管理サーバ13上のDTPデータが検索されても良い。
【0319】
次に、ユーザは、印刷物1eの印刷面上に、グリッドシート1gを正確に重ねる。
【0320】
次に、ユーザは、グリッドシート1gを通して印刷面上の、関連情報を検索したい特定情報である、語句「東京」2aを、スキャナ4aを用いて、タッチする。
【0321】
次に、スキャナ4aが、タッチ位置のグリッドシート1g上のXY座標系における座標値(Xt,Yt)を読み込む。
【0322】
インデックスとタッチ位置の座標値(Xt,Yt)とが情報処理装置12cに入力された後の処理は、第3の実施形態における処理と同一である。
【0323】
このように、印刷物1e上にグリッドシート1gを被せ、その上をスキャナ4aによりタッチするだけで、印刷物1e上のテキストやイラスト、写真等の詳細な説明(関連情報)を画面に表示させることが出来る。
【0324】
第1から第3の実施形態においては、印刷物1aに、テキストやイラスト、写真等とドットパターン3とを重畳印刷し、ユーザが印刷物1aをスキャナ4によりタッチし、タッチした特定情報に対応する関連情報を表示していた。
【0325】
しかし、この方法では、ドットパターン3が印刷されていない通常の印刷物1eを特定情報の入力に用いることは出来なかった。本実施形態では、印刷物1eにグリッドシート1gを被せて使用するため、既存の印刷物1eを対象とすることが出来る。また、グリッドシート1gは、複数の印刷物1eを対象として、1枚あれば共通して使用できるので、利便性が高まる。

<グリッドシートについて>
【0326】
図32において、グリッドシート1gの表面の正面図を示す。
【0327】
グリッドシート1gには、ほぼ全域に、XY座標値を含んだドットパターン3が印刷されている。グリッドシート1gの下部には、0から9までの数字、「頁入力」、「中止」、および「決定」の文字が記載されたアイコンが、各アイコンに対応したコード値を含んだドットパターン3と共に、重畳印刷されている。これらのアイコンは、印刷物1eを特定するためインデックスを、ユーザがスキャナ4aを用いて入力するためのアイコンである。

<グリッドシートの使用方法について>
【0328】
図33は、ドットパターン3が片面にのみ印刷されたグリッドシート1gを、印刷物1eに重ねて使用する方法を示す図である。
【0329】
ユーザは、本や雑誌、新聞等の印刷物1e上に、グリッドシート1gを被せて使用する。図33(a)に示すように、向かって右側のページに使用する場合であっても、図33(b)に示すように、向かって左側のページに使用する場合であっても、ユーザは、シートの表側を上に向けて使用する。

<グリッドシートの断面構造について>
【0330】
図34から図35において、代表的なグリッドシート1gの断面図を示す。
【0331】
図34に示すグリッドシート1gの内部構造は、裏側から順に、赤外線拡散反射層、ドットパターン層、保護層が積層された構造となっている。
【0332】
赤外線拡散反射層は、ドットパターン層側からの赤外線を拡散反射するとともに、可視光を透過する特性を有する。赤外線拡散反射層は、ビニール、塩ビペット、ポリプロピレン等、可視光線を透過する材料で生成された蒸着用透明シートに、赤外線拡散反射材料が蒸着された構成となっている。赤外線拡散反射層は、スキャナ4aのIR−LEDから照射され保護層を透過した赤外線を、スキャナ4aに対して反射すると共に、可視光を透過する。
【0333】
なお、赤外線拡散反射層は、ドットパターン層と反対側(裏面側)からの赤外線も反射する特性を有していてもよい。このような特性を有するグリッドシート1gを、ディスプレイ画面等に装着すると、ディスプレイ画面やスクリーンからの赤外線を遮断し、IR−LEDから照射された赤外線光のみを反射光とすることが出来る。そのため、明るく鮮明なドットパターン3を撮影でき、ドットコードを正確に解析できる。
【0334】
ドットパターン層には、カーボンインク等の赤外線吸収特性材料からなるドットを所定の規則により配列したドットパターン3が印刷されている。
【0335】
保護層は、ビニール、塩ビペット、ポリプロピレン等、可視光線および赤外線を透過する材料で生成されている。ドットパターンを繰り返しスキャナでタッチすると、ドットが磨耗し、正確にドットパターンを読み取れなくなるという問題が生じる。そこで、保護層を設けることにより、ドットの磨耗と汚れを防ぎ、シートを長期間使用することが可能となる。
【0336】
図に示すように、IR−LEDから照射された赤外線は、まず、保護層を透過し、ドットパターン層のドット部で吸収されるか、またはドット以外の領域では透過する。次に、ドットパターン層を透過した赤外線は、赤外線拡散反射層において拡散反射する。

【0337】
図35に示すグリッドシート1gの内部構造は、裏側から順に、赤外線拡散反射層、ドットパターン+グラフィック印刷層、保護層が積層された構造となっている。
【0338】
このように、ドットパターン層またはその他の層において、赤外線透過材料または赤外線反射材料からなるインクを用いて、テキスト、イラスト、写真等が重畳印刷されていてもよい。テキスト、イラスト、写真等が重畳印刷されるグラフィック印刷層は、可視的な印刷層である。

[第6の実施形態]
【0339】
本発明に係る情報処理装置のうち、ドットパターン3が印刷されたグリッドシート1gを、通常のディスプレイ画面に重ねて配置し用いる一実施形態について、図36に基づいて説明すると、以下の通りである。
【0340】
なお、以下の説明では、コンテンツと共にドットパターンが表示されたディスプレイを用いる第4の実施形態と異なる箇所のみ説明を行う。

<概要>
【0341】
図36において、本実施形態の概要を示す。
【0342】
まず、ユーザが、グリッドシート1gを情報処理装置12dのディスプレイ画面上に配置する。配置は、グリッドシート1gをディスプレイに貼付することにより行ってもよい。グリッドシート1gの配置後、キャリブレーション作業が行われることが望ましい。
【0343】
次に、ユーザは、Webブラウザ等を用いて、所望のコンテンツファイルをWebサーバ13bから情報処理装置12dにダウンロードする。ダウンロードされたコンテンツファイル内のコンテンツが、情報処理装置12dの画面上に表示される。
【0344】
次に、ユーザは、ディスプレイ画面上配置されたグリッドシート1gを通して、画面上の、関連情報を検索したい特定情報である、語句「東京」2aを、スキャナ4aを用いて、タッチする。
【0345】
次に、スキャナ4aが、タッチ位置のグリッドシート1g上のXY座標系における座標値(Xt,Yt)を読み込む。
【0346】
情報処理装置12dは、読み込まれたXY座標値と、Webサーバ13bからダウンロードし表示しているコンテンツのコンテンツデータ1dとを用いて、タッチ位置にある特定情報を認識する。
【0347】
特定情報を認識した後の処理は、第4の実施形態における処理と同一である。
【0348】
このように、ディスプレイ画面上にグリッドシート1gを被せ、その上をスキャナ4aによりタッチするだけで、ディスプレイ画面上のテキストやイラスト、写真等の詳細な説明(関連情報)を画面に表示させることが出来る。

[第7の実施形態]
【0349】
本発明に係る情報処理装置のうち、コンテンツと共にドットパターン3が表示されたディスプレイを備えたテレビジョン受像機を用いる一実施形態について、図37から図39に基づいて説明すると、以下の通りである。
【0350】
なお、第1の実施形態における情報入力装置5、第2の実施形態における情報入力装置5a、および第3の実施形態における情報処理装置12においては、印刷物1aを用いた。本実施形態では、印刷物1aに代わりテレビ受像機のディスプレイを用いる例を説明するにあたり、情報処理装置12を変形した例として、テレビ受像機12eを挙げて説明する。情報入力装置5および情報入力装置5aを、印刷物1aに代わりディスプレイを用いる構成に変形する方法は、同様なので説明を省略する。
【0351】
また、以下では、第4の実施形態と異なる箇所のみを説明し、同様の箇所に関しては説明を省略する。

<概要>
【0352】
図37において、本実施形態の概要を示す。
【0353】
図37において示すように、まずユーザは、テレビ受像機12eを用いて、通常の画像にドットパターン3が重ね合わされた放送電波を受信し、ディスプレイ15上に受信画像を表示する。そして、ユーザは、受信画像と共にドットパターン3が表示されたディスプレイ15上の、テレビ受像器12eに入力し検索したい情報に、スキャナ4cを用いてタッチする。
【0354】
この例では、ユーザは、ディスプレイ15上に表示された受信画像のうち、語句「東京」2aに関する関連情報を検索したいので、ディスプレイ15上に表示された語句「東京」2aを、スキャナ4cによりタッチしている。
【0355】
ドットパターン3には、ディスプレイ15のXY座標値と受信画像を特定するコンテンツIDとが、コード化されており、ユーザがディスプレイ15上をスキャナ4cによりタッチすると、タッチ位置のディスプレイ15上のXY座標系における座標値(Xt,Yt)とコンテンツIDとが、テレビ受像器12eに読み込まれる。
【0356】
テレビ受像器12eは、読み込まれたコンテンツIDを用いて、コンテンツサーバ13c(2次元書式情報サーバ)から、予め特定情報および選択用位置情報が設定されたコンテンツデータのうち、コンテンツIDに対応したコンテンツデータ1dをダウンロードする。そして、読み込まれたXY座標値とダウンロードしたコンテンツデータ1dとを用いて、タッチ位置にある特定情報を選択する。
【0357】
図に示すように、コンテンツファイル内のコンテンツデータは、独自のxy座標系を持つ。コンテンツデータに含まれる、テキスト、図表、イラスト、写真等の特定情報には、これらを選択するために用いられる選択用位置情報が設定されている。
【0358】
例えば、語句「東京」2aには、対応するマスク領域2bおよび/または中心座標値(xi,yi)が設定されている。
【0359】
例えば、タッチ位置の座標値(xt,yt)がマスク領域2bに含まれることにより、コンテンツデータ1dに含まれる多くの特定情報のうち、語句「東京」2aが、選択される。
【0360】
テレビ受像器12eは、選択された語句「東京」2aを用いて、辞書サーバ14を検索する。検索結果である関連情報が辞書サーバ14からテレビ受像器12eに返信され、ディスプレイ15上に表示される。
【0361】
図37に示す例では、検索結果として、語句「東京」2aの関連情報である説明文「東京とは」が、ディスプレイ15上に表示されている。
【0362】
このように、放送波から受信した画像内の、ハイパーリンク等が設定されていない特定情報でも、ユーザがスキャナ4cによりタッチして指示することにより、テレビ受像器12eへの入力とすることが出来る。また、入力した特定情報の関連情報を検索し表示することが出来る。

<ドットコードのフォーマットについて>
【0363】
前記の概要説明では、本実施形態におけるドットパターン3のドットコードは、放送波としてテレビ受像機12eに受信されたコンテンツを識別するコンテンツIDとXY座標値とを含むものとした。これ以外に、テレビ受像機12e自身により生成されたXY座標値と、テレビ受像機12eが入手したEPG(Electronic Program Guide)データから取得したコンテンツIDとからドットコードおよびドットパターン3が生成され、ディスプレイ15上に表示される構成でもよい。
【0364】
また、ディスプレイ15上に表示されるドットパターン3のドットコードは、XY座標値のみを含むものでよい。その場合、ドットパターン3は、RGBの画素により表現される構成に代わり、ディスプレイ15上に画素と並んでドットパターン3のドット部が予め固定的に設けられている構成でもよい。
【0365】
なお、ディスプレイ15上に表示されるドットパターン3のドットコードがコンテンツIDを含まない構成では、コンテンツIDは、コンテンツIDがドットパターン3として印刷されたテレビガイド等の印刷媒体の該当箇所をスキャナ4cによりタッチすることで読み込まれる構成でもよいし、ユーザがペーパーキーボードとスキャナ4cと用いて手入力により入力される構成でもよい。
【0366】
ディスプレイ15上に表示されるコンテンツIDは、ドットパターン3のXY座標値が表示されている領域の少なくとも一部に、ドットパターン3のXY座標値と共に表示されてもよいし、その領域とは異なる領域に表示されてもよい。
【0367】
また、ディスプレイ15上に表示されるコンテンツIDは、コンテンツデータを一意に識別する、ドットパターン3のXY座標値であり、このXY座標値は、ドットパターン3のXY座標値が表示される領域の全体に表示される構成でもよい。

<コンテンツデータについて>
【0368】
コンテンツデータの例として、MPEGなどの動画データ、および、HTML、XML、フラッシュ等により作成されたものが挙げられる。もちろん、前記の実施形態において例示したDTPデータもコンテンツデータとして扱うことが出来る。
【0369】
コンテンツデータは、2次元の書式情報を含むものが基本であるが、これに加え、MPEGデータなどは、時間軸を含んだ3次元の書式情報を持ってもよい。また、3次元立体画像データであれば、ディスプレイ15に向かって前後方向のZ軸を含んだ3次元の書式情報を持ってもよい。さらに、3次元立体画像の動画データであれば、XYZ軸および時間軸を持った4次元の書式情報を持ってもよい。

<テレビ受像機12eおよび情報処理システムの構成について>
【0370】
図38において、本実施形態に係るテレビ受像機12eの機能ブロック図を示す。テレビ受像機12eは、スキャナ4cと、座標変換部30cと、特定情報選択部40dと、通信部50dと、関連情報検索部60と、表示部70cと、ディスプレイ15と、テレビ受像部90とを備えている。
【0371】
また、本実施形態に係る情報処理システムは、テレビ受像機12eと、コンテンツサーバ13cと、辞書サーバ14と、これらを接続するネットワークとから構成される。
【0372】
テレビ受像機12eにおいて、テレビ受像部90は、放送波を受信する。受信画像に対して、放送波に含まれるかまたはEPG等から取得したコンテンツIDとディスプレイ画面上のXY座標値とを組み合わせたドットパターン3を加え、表示部70cおよびディスプレイ15を介して、ユーザに提示する。なお、ドットパターン3を受信画像に加えるのは、ユーザがスキャナ4cを使用する時のみとする構成でもよい。
【0373】
スキャナ4cは、タッチ位置のドットパターン3を読み込み、ドットコードのXY座標値を座標変換部30cに送り、ドットコードのコンテンツIDを、通信部50dを介して、コンテンツサーバ13cに送る。なお、コンテンツIDは、一度ドットパターン3に変換されスキャナ4cにより読み込む代わりに、スキャナ4cがXY座標値を読み込む際に、テレビ受像部90から直接、コンテンツサーバ13cに送られる構成でもよい。
【0374】
座標変換部30cは、スキャナ4cから受け取ったタッチ位置のXY座標値(Xt,Yt)を、通信部50dを介してコンテンツサーバ13cから受け取ったコンテンツデータ1dを用いて、コンテンツデータ1d上のxy座標系におけるタッチ位置の座標値(xt,yt)に変換し、変換した座標値(xt,yt)を特定情報選択部40dに送る。
【0375】
特定情報選択部40dは、座標変換部30cから受け取ったxy座標値と、通信部50dを介してコンテンツサーバ13cから受け取ったコンテンツデータ1dとを用いて、コンテンツデータ1d内の特定情報を選択し、選択した特定情報を関連情報検索部60に出力する。
【0376】
関連情報検索部60は、特定情報選択部40dから受け取った特定情報を、通信部50dを介して辞書サーバ14に送り、検索結果である関連情報を辞書サーバ14から通信部50dを介して受け取り、受け取った関連情報を表示部70cおよびディスプレイ15を介してユーザに提示する。
【0377】
通信部50dは、スキャナ4cから受け取ったコンテンツIDをコンテンツサーバ13cに送信すると共に、コンテンツサーバ13cから受信した、コンテンツIDに対応したコンテンツデータ1dを、座標変換部30cおよび特定情報選択部40dに送る。また、通信部50dは、関連情報検索部60から受け取った特定情報を辞書サーバ14に送信すると共に、送信した特定情報を基に辞書サーバ14において検索された特定情報の関連情報を、辞書サーバ14から受信し、関連情報検索部60に渡す。
【0378】
表示部70cは、テレビ受像部90から受け取った、ドットパターン3が加えられた受信画像と、関連情報検索部60から受け取った関連情報とを、ディスプレイ15を介してユーザに提示する。

<情報処理の手順について>
【0379】
図39に示すフローチャートに基づき、テレビ受像機12eが行う情報処理の手順について説明する。なお、以下では、ディスプレイ15上に表示された語句「東京」2aに対応したコンテンツデータ1d内の特定情報には、選択用位置情報として予め中心座標値(xi,yi)が設定されている場合について説明する。
【0380】
まず、テレビ受像部90が、放送波を受信し、放送波またはインターネット等から取得したコンテンツIDとディスプレイ15の画面上のXY座標値とを含んだドットパターン3を受信画像に重ねて、表示部70cを介して、ディスプレイ15上に表示する(S5b)。
【0381】
次に、ユーザがスキャナ4cを用いて所望の特定情報を指定する操作を行うと、スキャナ4cが、ユーザがスキャナ4cを用いてタッチした、ディスプレイ15上の箇所に設定されているドットパターン3を読み取る。読み取られたドットパターン3は、スキャナ4cの中央処理装置において、解析ソフトウェアによりドットコードに変換される。スキャナ4cは、変換したドットコードのXY座標値を座標変換部30cに送ると共に、変換したドットコードのコンテンツIDを、通信部50dを介して、コンテンツサーバ13cに送信する(S10c)。
【0382】
次に、コンテンツサーバ13cが、スキャナ4cから受け取ったコンテンツIDを用いて、予め保管されているコンテンツデータの中から、そのコンテンツIDに対応するコンテンツデータ1dを選択する。そして選択したコンテンツデータ1dを、通信部50dを介して、座標変換部30cおよび特定情報選択部40dに送る(S20b)。
【0383】
次に、座標変換部30cが、スキャナ4cから受け取ったXY座標系の座標値(Xt,Yt)を、コンテンツサーバ13cから取得したコンテンツデータ1d内のxy座標系における座標値(xt,yt)に変換し、特定情報選択部40dに渡す(S30a)。
【0384】
次に、特定情報選択部40dが、座標変換部30cから受け取った座標値(xt,yt)に基づき、コンテンツサーバ13cから受け取ったコンテンツデータ1d内の特定情報のうち、適切な特定情報を選択する。特定情報選択部40dは、選択した特定情報を関連情報検索部60へ渡す(S40b)。
【0385】
例えば、タッチ位置の座標値(xt,yt)から、コンテンツデータ1d内の他の特定情報の中心座標値(xi,yi)までの距離よりも、タッチ位置の座標値(xt,yt)から、語句「東京」2aの中心座標値(xi,yi)までの距離の方が短いことから、語句「東京」2aが、テレビ受像機12eへの入力として選択される。
【0386】
次に、関連情報検索部60が、特定情報選択部40dから受け取った特定情報を、通信部50dを介して、辞書サーバ14に送信し、辞書サーバ14において検索された、特定情報の関連情報を、通信部50dを介して、辞書サーバ14から受信する。そして、関連情報検索部60は、受信した関連情報を、表示部70cおよびディスプレイ15を介して、ユーザに提示する(S50a)。
【0387】
図37に示す例では、語句「東京」2aがネットワークを介して辞書サーバ14に送信される。辞書サーバ14上では、見出し語「東京」に対応した説明文「東京とは」が検索され、テレビ受像機12eに返信される。テレビ受像機12eの画面上には、語句「東京」2aに対応した関連情報である説明文「東京とは」が、画面上に表示される。
【0388】
なお、前記においては、コンテンツデータが予め解析され、特定情報および選択用位置情報が既に設定されている構成について説明したが、この構成に限らず、テレビ受像部90が放送波を受信した段階またはユーザがスキャナ4cによりディスプレイ15上のドットパターン3をタッチした段階において、特定情報選択部40dが初めてタッチ位置の座標値(xt,yt)から所定の距離内にあるテキスト、図形、イラスト、写真等のコンテンツデータの解析を行い、特定情報の認識と選択用位置情報の設定とを行う構成でもよい。
【0389】
また、本実施形態では、情報処理装置の例として、テレビ受像機12eを挙げたが、これ以外に、テレビ受像機は通常のものとし、追加で設置するセットトップボックスと組み合わせることにより、テレビ受像機12eの機能が実現される構成としてもよい。

[補足事項]
【0390】
前記の実施形態においては、ユーザが位置を指示するために、ドットパターンが印刷された媒体、ドットパターンが表示または設けられたディスプレイ、または、ドットパターンが設けられたグリッドシートを、スキャナによりタッチしたが、座標位置の入力方法はこれらに限らず、通常のディスプレイ上に設けられた通常のタッチパネルやタッチスクリーン上を指でタッチする方法、または、通常のマウス操作による方法でもよい。
【0391】
前記情報入力装置は、前記タッチ位置の座標値(xt,yt)を用いて、前記特定情報を検索するために、前記のいずれか一項に記載の選択用位置情報の設定方法に基づく該特定情報の検索方法を、1または2以上割り当て、所定のアルゴリズムにより前記検索方法のいずれかを選択し、前記特定情報を検索することを特徴としてもよい。
【0392】
前記情報入力装置は、前記座標値(xt,yt)から任意の距離内において検索された複数の前記特定情報から、1または2以上の当該特定情報を選択し、前記特定情報の関連情報を予め設定されたリンクテーブル、データベース、または、電子辞書から検索し、該関連情報を出力することを特徴としてもよい。
【0393】
前記情報入力装置は、前記座標値(xt,yt)から任意の距離内において検索された複数の前記特定情報のうち、前記タッチ位置の座標値(xt,yt)が前記マスク内の全座標値(xia,yia)のいずれかの座標値と同一であることにより検索された該特定情報を、少なくとも1以上含む場合、該特定情報の選択用位置情報を前記マスクの図心とし、前記タッチ位置の座標値(xt,yt)から、複数検索された前記特定情報の選択用位置情報までの距離が最も近い該特定情報を検索するか、または該距離の近い順から該特定情報の候補を検索し、選択することを特徴としてもよい。
【0394】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0395】
最後に、情報入力装置5、5a、情報処理装置12〜12d、およびテレビ受像機12eの各ブロック、特に座標変換部30〜30c、特定情報選択部40〜40d、および関連情報検索部60は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
【0396】
すなわち、情報入力装置5、5a、情報処理装置12〜12d、およびテレビ受像機12eは、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、前記プログラムを格納したROM(read only memory)、前記プログラムを展開するRAM(random access memory)、前記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである情報入力装置5、5a、情報処理装置12〜12d、およびテレビ受像機12eの制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、前記情報入力装置5、5a、情報処理装置12〜12d、およびテレビ受像機12eに供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0397】
前記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0398】
また、情報入力装置5、5a、情報処理装置12〜12d、およびテレビ受像機12eを通信ネットワークと接続可能に構成し、前記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【0399】
本発明に係る情報入力装置は、印刷媒体上に印刷された、または画面上に表示された、テキスト、図表、イラスト、写真等を、容易に入力できるパーソナルコンピュータ、PDA、テレビ受信装置、フロントプロジェクタ、リアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、POS端末装置、ATM、KIOSK端末、カーナビ、パチンコ、パチスロ、時計、スマートフォン等として利用することができる。
【0400】
また、本発明に係る情報処理装置は、印刷媒体上に印刷された、または画面上に表示された、テキスト、図表、イラスト、写真等の関連情報を容易に検索できるパーソナルコンピュータ、PDA、テレビ受信装置、フロントプロジェクタ、リアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、POS端末装置、ATM、KIOSK端末、カーナビ、パチンコ、パチスロ、時計、スマートフォン等として利用することができる。
【符号の説明】
【0401】
1a 印刷物(媒体)
1b DTPデータ(2次元書式情報)
1c 印刷媒体(媒体)
1d コンテンツデータ(2次元書式情報)
1g グリッドシート(情報入力補助シート)
2a 語句(特定情報)
2b マスク領域(選択用位置情報)
3 ドットパターン
4〜4c スキャナ(ドットパターン読み取り手段)
5〜5a 情報入力装置
6 キードット
7 情報ドット
8 基準格子点ドット
9 仮想格子点
9a〜9d 仮想基準点
12〜12d 情報処理装置
12e テレビ受像機(情報処理装置)
13 ドキュメント管理サーバ(2次元書式情報サーバ)
13b Webサーバ(2次元書式情報サーバ)
13c コンテンツサーバ(2次元書式情報サーバ)
15 ディスプレイ
20〜20a ドキュメント管理部(2次元書式情報保管選択手段)
30〜30b 座標変換部(座標変換手段)
40〜40c 特定情報選択部(特定情報選択手段)
50〜50c 通信部(通信手段)
51 通信部(通信手段)
60 関連情報検索部(関連情報検索手段)
101 基準ドット
102 第一の仮想基準線
103 第二の仮想基準線
104 仮想基準点
105 情報ドット

【特許請求の範囲】
【請求項1】
DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、該媒体の表面上に、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成すると共に、前記2次元書式情報が印刷された媒体上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記媒体上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、
入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、
前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、
前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、前記2次元書式情報のxy座標系における座標値(xi,yi)を選択用位置情報として用い、
前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、
を備えた情報入力装置。
【請求項2】
DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、ディスプレイに表示するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、種々のマルチメディア情報出力および/またはオペレーション指示のため、該ディスプレイの表面上に、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成すると共に、前記2次元書式情報が表示されるディスプレイと、
前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、
入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、
前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、
前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、
前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、
を備えた情報入力装置。
【請求項3】
前記識別情報は、
前記媒体上に印刷または前記ディスプレイ上に表示された前記ドットパターンの前記コード値であり、
前記ドットパターンのXY座標値が印刷または表示されている領域の少なくとも一部に、該ドットパターンのXY座標値と共に印刷または表示されるか、
または
該領域とは異なる領域に印刷または表示される
ことを特徴とする、請求項1または2に記載の情報入力装置。
【請求項4】
前記識別情報は、
前記2次元書式情報を一意に識別する、前記ドットパターンのXY座標値であり、
該XY座標値は、
前記ドットパターンのXY座標値が印刷または表示される領域の全体に印刷または表示される
ことを特徴とする、請求項1または2に記載の情報入力装置。
【請求項5】
前記ディスプレイは、
前記ドットパターン読み取り手段が備えた赤外線照射手段から照射された赤外線を
前記ドットパターンのドット部が吸収または透過する構造であり、
前記ドット部を除く領域は、
前記赤外線を拡散反射する構造である
ことを特徴とする、請求項2に記載の情報入力装置。
【請求項6】
種々のマルチメディア情報出力および/またはオペレーション指示のため、情報入力補助シートの表面上に、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを複数並べて形成して印刷され、
DTPデータ、HTML、フラッシュ、CADデータ、地図データ等であって、媒体に印刷、またはディスプレイに表示するための2次元書式情報を対象とし、テキスト、図表、イラスト、写真等として可視化される情報のうち、所定の基準に該当する情報を特定情報として予め定めて書式化し、
前記2次元書式情報が、印刷された媒体上または表示されるディスプレイ上に、配置または貼付された前記情報入力補助シートと、
前記媒体または前記ディスプレイ上において、可視化された前記特定情報を、ユーザが所定の操作により指定する際に、前記情報入力補助シートを透して、前記媒体または前記ディスプレイ上をタッチするために用いられ、タッチ位置のドットパターンを読み込むドットパターン読み取り手段と、
入力された、前記2次元書式情報を識別するための識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した前記2次元書式情報を選択する2次元書式情報保管選択手段と、
前記タッチ位置のドットパターンのXY座標系における座標値(Xt,Yt)を、前記2次元書式情報のxy座標系における座標値(xt,yt)に変換する座標変換手段と、
前記2次元書式情報のxy座標系において、前記特定情報の位置を特定するために、該特定情報をレイアウトして印刷する際に定まる、または、該特定情報をディスプレイに表示する際に定まる、前記2次元書式情報のxy座標系における(xi,yi)を選択用位置情報として用い、
前記タッチ位置のドットパターンの座標値(Xt,Yt)から変換された、前記2次元書式情報のxy座標系における座標値(xt,yt)から、所定の距離内の、1または2以上の選択用位置情報までの距離を計算し、最も近い該選択用位置情報の座標を有する特定情報を、自装置への入力として選択する特定情報選択手段と、
を備えた情報入力装置。
【請求項7】
前記情報入力補助シートには、
前記媒体上に印刷されたまたは前記ディスプレイ上に表示された前記2次元書式情報を特定するためのインデックスを、ユーザが入力するための複数のアイコンが、前記ドットパターンと共に印刷されており、
前記2次元書式情報保管選択手段は、
前記ドットパターン読み取り手段を用いて該アイコンがタッチされることにより入力された該インデックスを前記識別情報に変換し、変換された該識別情報を用いて、前記2次元書式情報を選択する
ことを特徴とする、請求項6に記載の情報入力装置。
【請求項8】
前記所定の操作は、
ユーザが、前記ドットパターン読み取り手段を用いて、可視化された前記特定情報にタッチする、または、タッチし該特定情報上をなぞる操作であることを特徴とする、請求項1または2、6のいずれかに記載の情報入力装置。
【請求項9】
前記所定の操作は、
ユーザが、前記ドットパターン読み取り手段を用いて、可視化された前記特定情報にタッチし、該特定情報が表示された領域をなぞって囲む操作であることを特徴とする、請求項1または2、6のいずれかに記載の情報入力装置。
【請求項10】
前記特定情報は、
該特定情報が、1つの語句でありかつ該語句を構成する文字間が離れている場合、
該文字ごとに、前記選択用位置情報を有し、
該特定情報が、1つの図表、イラスト、写真等でありかつこれらを構成するオブジェクトが複数ある場合、
該オブジェクトごとに、前記選択用位置情報を有する
ことを特徴とする、請求項1または2、6のいずれかに記載に記載の情報入力装置。
【請求項11】
前記選択用位置情報は、
特定情報である語句または該語句を構成する各文字の中心座標値であるか、
または
特定情報である図表、イラスト、写真等、またはそれらを構成するオブジェクトの図心座標値である
ことを特徴とする、請求項1または2、6のいずれかに記載に記載の情報入力装置。
【請求項12】
前記選択用位置情報は、
特定情報である語句または該語句を構成する各文字の高さ方向の、中央または任意の位置における該語句または該文字の幅を示す線分の、始点座標値(xi1,yi1)および終点座標値(xi2,yi2)の組み合わせであり、
前記特定情報選択手段は、
前記タッチ位置の座標値(xt,yt)から該線分までの距離が、任意の距離内でありかつ最も近い線分を有する前記特定情報を選択する
ことを特徴とする、請求項1または2、6のいずれかに記載に記載の情報入力装置。
【請求項13】
前記特定情報選択手段は、
前記2次元書式情報において、所定のアルゴリズムにより、タッチ位置の前記座標値(xt,yt)から任意の距離内にあるテキストの構文解析、および/または、図形、イラスト、写真等のファイル検索および/または画像解析を行うことにより、1または2以上の前記特定情報を認識し、
該特定情報の前記選択用位置情報を所定のアルゴリズムにより算定し、
前記座標値(xt,yt)と、認識した該特定情報と、算定した該選択用位置情報とから、前記特定情報を選択する
ことを特徴とする請求項1または2、6のいずれかに記載の情報入力装置。
【請求項14】
前記特定情報は、
前記2次元書式情報に含まれる、テキストの構文解析、および/または、図形、イラスト、写真等の、ファイル検索および/または画像解析を行うことにより、予め特定され、
該特定情報の前記選択用位置情報は、
所定のアルゴリズムにより予め算定され、
該2次元書式情報には、
該特定情報と該選択用位置情報とが記録されている
ことを特徴とする請求項1または2、6のいずれかに記載の情報入力装置。
【請求項15】
前記2次元書式情報は、
CADにより描かれた、前記特定情報としての、テキスト、および/または、点、線分、平面、立体物を有した図形であることを特徴とする請求項1または2、6のいずれかに記載の情報入力装置。
【請求項16】
前記2次元書式情報は、
地図データであり、
該地図データは、テキスト、道路、地物、交差点等のカテゴリに分類された特定情報を有しており、
該特定情報は、道路により囲まれた領域、地物領域、道路中心線、および地物図心を選択用位置情報として有する
ことを特徴とする請求項1または2、6のいずれかに記載の情報入力装置。
【請求項17】
請求項1記載の情報入力装置と、2次元書式情報サーバと、これらを接続するネットワークとから構成される情報入力システムであって、
前記情報入力装置は、前記2次元書式情報保管選択手段に替えて、
入力された、前記2次元書式情報を識別するための識別情報を、前記2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段を備え、
前記2次元書式情報サーバは、
前記情報入力装置から受信した、前記識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した2次元書式情報を選択する2次元書式情報保管選択手段と、
前記識別情報を前記情報入力装置から受信し、選択された該2次元書式情報を該情報入力装置へ送信する通信手段と
を備えた、情報入力システム。
【請求項18】
請求項2記載の情報入力装置と、2次元書式情報サーバと、これらを接続するネットワークとから構成される情報入力システムであって、 前記情報入力装置は、前記2次元書式情報保管選択手段に替えて、
入力された、前記2次元書式情報を識別するための識別情報を、前記2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段を備え、
前記2次元書式情報サーバは、
前記情報入力装置から受信した、前記識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した2次元書式情報を選択する2次元書式情報保管選択手段と、
前記識別情報を前記情報入力装置から受信し、選択された該2次元書式情報を該情報入力装置へ送信する通信手段と
を備えた、情報入力システム。
【請求項19】
請求項1記載の情報入力装置と、2次元書式情報サーバと、これらを接続するネットワークとから構成される情報入力システムであって、 前記情報入力装置は、前記2次元書式情報保管選択手段に替えて、
入力された、前記2次元書式情報を識別するための識別情報を、前記2次元書式情報サーバに送信し、該識別情報に対応した2次元書式情報を前記2次元書式情報サーバから受信するための通信手段を備え、
前記2次元書式情報サーバは、
前記情報入力装置から受信した、前記識別情報を用いて、予め保管している1または2以上の前記2次元書式情報の中から該識別情報に対応した2次元書式情報を選択する2次元書式情報保管選択手段と、
前記識別情報を前記情報入力装置から受信し、選択された該2次元書式情報を該情報入力装置へ送信する通信手段と
を備えた、情報入力システム。
【請求項20】
前記ストリームドットは、
第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、基準となる基準ドットを所定の位置に設けた、請求項1または2、6記載のいずれかに記載の情報入力装置または、請求項17〜19記載のいずれかに記載の情報入力システム。
【請求項21】
前記コード値の一部は、
少なくとも、前記媒体または前記ディスプレイまたは前記情報入力補助シートを特定するコード値を含む、請求項1または2、6記載のいずれかに記載の情報入力装置または、請求項17〜19記載のいずれかに記載の情報入力システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate