説明

ストリームドットを用いた情報入出力方法および情報入出力装置

【課題】ストリームドットに基づいた情報入出力方法および情報入出力装置を提供する。
【解決手段】線状に連続して複数の基準ドット701を配置する工程と、複数の基準ドットを結ぶ第一の仮想基準線702を設ける工程と、基準ドットおよび/または第一の仮想基準線から所定の位置に定義される、第二の仮想基準線703を設ける工程と、第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、仮想基準点を始点としてベクトルにより表現した終点に、仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを1ラインまたは複数並べて形成したドットパターンが形成された印刷物等の媒体を光学読取り手段で画像データとして読み取り、該画像データのドットパターンを解析して該XY座標値および/またはコード値に変換しマルチメディア情報を出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、印刷物に形成したストリームドットパターン情報を光学的に読み取り該ドットパターンに対応した種々の情報を再生する技術に関する。
【背景技術】
【0002】
従来より、光センサを用いて絵本やゲームカードに印刷されたバーコードを読み取り、特定の音声を発音させる音声発生玩具が提案されている。これらの音声発生玩具では、読み込んだバーコードに対応した音声情報をメモリから読み出すことで多種の音声情報を再生できるようにしていた。
【0003】
しかし、このようなバーコードを用いた技術は、紙面上にバーコード印刷用の専用領域を確保しなければならず、かつバーコードは情報処理システムが読み取るためのものであり、絵本や書籍の読者にとっては目視でそのコード内容を把握しかねるものであったため、限られた紙面上にバーコードが印刷されていることは読者にとっては煩わしく絵本等書籍の製品価値を下げかねないものとなっていた。
【0004】
さらに、上記のようにバーコード技術は、紙面上に印刷された文字、図形、記号に重ねて印刷することができないために、これらの文字、図形、記号等に対して音声再生を行いたい場合に文字等の近傍にバーコードを印刷するしかなく、読者にとって直感的に文字等に別の音声情報等が付加されていることを伝えにくい特性を有していた。
【0005】
この点について、特開平10−261059号公報に開示されている「ドットコード」技術では、ドットパターンで印刷されたコード情報を読み取って情報を再生させる方法が提案されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平10−261059号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
係る先行技術では、ブロック領域内のドットパターンの配置の仕方によってデータを定義するとともに、データドットパターンではあり得ないドットパターンでマーカを定義することにより、これを同期信号として機能させている。したがって、この技術では、ドットを所定の法則で紙面の二次元方向に印刷したドットパターンをペン型のスキャナで読み取り、このスキャナの走査速度と走査方向を情報処理装置で解析して予め対応付けられた音声等の情報を再生させる方法となっている。
【0008】
しかし、係るドットコード技術では、動的にスキャナを走査させることを前提としているために、紙面に印刷された文字に沿って音声情報を再生することは可能であるものの、紙面上にキャラクタ等が自由に印刷配置された絵本等で静的に読取装置を当接させるだけで情報を再生させたいような用途には不向きであった。すなわち、このドットコード技術では意味のあるコード情報を取得するためにはXY座標上で一定の距離以上のスキャニングを実行する必要があるため、紙面上に印刷された極小領域にドットコードを対応付けて印刷することはできなかった。
【0009】
本発明は、極小領域であってもコード情報やXY座標情報が定義可能なドットパターンを提案し、係るドットパターンに基づいた情報入出力方法および情報入出力装置を提案するものである。
【課題を解決するための手段】
【0010】
(1)本発明に係る情報入出力方法は、種々のマルチメディア情報を出力させるために、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを1ラインまたは複数並べて形成したドットパターンが形成された印刷物等の媒体を光学読取り手段で画像データとして読み取り、該画像データのドットパターンを解析して該XY座標値および/またはコード値に変換し、該XY座標値および/またはコード値に対応したマルチメディア情報を記憶手段から読み出して出力することを特徴とする。
【0011】
ここで、マルチメディア情報とは、音声、画像、動画情報、さらには文字、記号等の可視、可聴、可読な情報のいずれであってもよい。さらには他のパーソナルコンピュータ、テレビ受像システムやラジオ放送端末から動画・音声情報、文字情報等を再生させるためのデジタルデータであってもよい。
【0012】
ここで、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が印刷物等の媒体に隙間なく定義される。さらに、文字や五線譜、地図、図形などが印刷媒体に印刷され、その線分上をスキャナーペンでなぞるかまたはタッチして操作する場合、その線分に沿ってのみストリームドットパターンを形成することにより、合理的にドットパターンを配置できる。また、XY座標が定義されたドットパターンを2次元コードとして形成される際(インデックスとして使用)の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【0013】
なお、ドットパターン(607)には、記憶手段に登録された音声データに対応するコード情報を定義しておいてもよいし、XY座標値を定義しておいてもよい。また、コード情報とXY座標値とを混在させておいてもよい。ドットパターン(607)のヘッダには当該ドットパターンがコード情報なのかXY座標なのかを定義するフラグを登録しておくことができる。
【0014】
媒体としては絵本や写真とすることができ、この絵本等の絵柄(606b)に対応した音声情報を認識させるためのドットパターン(607)を絵柄(606b)に重畳して印刷しておいてもよい。
【0015】
(2)また、前記ストリームドットパターンは、前記第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、基準となる基準ドットを所定の位置に設けてもよい。
【0016】
これによれば、新たな基準点を設けることにより、ストリームドットパターンの向きと一定情報のまとまりを、情報ドットを使用せず簡易に定義することができ、これにより、余計な情報の低減を押さえられる。さらに、新たな基準点の配置により情報ドットの始点となる仮想基準点の位置を正確に示すことができる。
【0017】
(3)また、前記光学読取り手段には、赤外線または紫外線を照射する照射手段を備え、赤外線または紫外線を吸収するインクで印刷された前記ドットパターンのみを読み取ってもよい。
【0018】
(4)また、前記媒体は、印刷物または写真であり、媒体上に配置された文字や絵柄に応じた音声情報を出力させるために、前記ドットパターンが重畳して形成されているか、または、該前記印刷物または写真の絵柄に応じて複数の領域に分けて重畳して形成されていてもよい。
【0019】
(5)また、前記ドットパターンは、前記印刷物に貼付可能なシール材、カードまたは固形物の表面に形成されていてもよい。
【0020】
このように、ドットパターンはシール材に印刷してもよい。
【0021】
また、ドットパターン(607)を透明フィルム(611)に形成してもよい。その場合、当該透明フィルムは紙面に重ねて配置してもよいし、当該透明フィルム(611)をタッチパネルとして、電子機器等の固形物の表示手段(613)上に貼付してもよい。この場合、表示手段(613)に指示情報を表示させてユーザに対して読み取り手段の操作を促してもよい。
【0022】
また、前記タッチパネル(612)と前記紙面等の媒体または表示手段(613)の画面との間に、赤外線遮断フィルター(614)を配置してもよい。
【0023】
なお、タッチパネルは前記の表示手段(613)に貼付する場合の他、絵本等の書籍、図面等に貼付してもよい。
【0024】
(6)本発明に係る情報入出力装置は、種々のマルチメディア情報を出力させるために、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを1ラインまたは複数並べて形成したドットパターンを形成した印刷物等の媒体に対して、該媒体のドットパターンを画像データとして読み取る光学読取り手段と、該画像データのドットパターンをXY座標値および/またはコード値に変換する解析手段と、該XY座標値および/またはコード値に対応したマルチメディア情報を記憶する記憶手段と、該マルチメディア情報を出力する出力手段と、を備えたことを特徴とする。
【0025】
(7)また、前記媒体はマウスパッドまたはタブレットであり、前記光学読取り手段または、光学読取り手段および解析手段は、マウスまたはペンケースに収容されていてもよい。
【0026】
(8)また、前記情報入出力装置は、ペン状ケースに収容されていてもよい。
【0027】
(9)また、前記情報入出力装置は、入力部としてのマイクを有し録音した音声を前記記憶手段に記憶し、任意のドットパターンに定義されたXY座標値および/またはコード値に対応させるリンクテーブルを所定の方法で生成し、前記光学読取り手段で該ドットパターンを読み取り、前記解析手段で該XY座標値および/またはコード値に変換し、該リンクテーブルを参照して該XY座標値および/またはコード値に対応した該音声を出力してもよい。
【0028】
これによれば、ドットパターン毎に音声情報を関連付けておき、光学読取手段で前記ドットパターンを読み取った際に、当該ドットパターンに関係付けられた音声情報を出力することができる。これにより、絵本やカード等の表面にドットパターンを印刷しておき、絵本の図柄や物語に対応した音声情報を再生したり、カードに記載されたキャラクタに対応した音声情報を再生したりすることができる。また関係付け指示手段によって、新たなドットパターンに音声情報を新たに関係付けたり、解除したり変更することができる。
【0029】
(10)前記リンクテーブルは、前記音声を録音中または録音終了後、所定の時間内に前記光学読取り手段で任意のドットパターンを読み取るか、または、前記光学読取り手段に備えられたリンクボタンを押しながら該光学読取り手段で任意のドットパターンを読み取るか、または、前記媒体にリンク指示のためにリンクアイコンと重畳して設けられた前記ドットパターンを前記光学読取り手段で読み取り、その直後に該光学読取り手段で任意のドットパターンを読み取るか、して解析手段で変換されたXY座標値および/またはコード値に録音された音声を対応させて生成してもよい。
【0030】
これによれば、簡易な方法で、新たなドットパターンに音声情報を新たに関係付けることができる。
【0031】
(11)また、前記情報入出力装置は、PC、PDA、携帯電話、電子玩具であってもよい。
【0032】
(12)また、前記電子玩具はフィギアであって、前記光学読取り手段を下向きに該フィギアの底部に備えて、前記媒体面に設けられたドットパターンを読み取ってもよい。
【0033】
これによれば、媒体に設けられたドットパターンをフィギアが読み取る機構を利用して、ボードゲームや自走式おもちゃ等、様々な遊びを提供することができる。
【0034】
(13)また、前記光学読取り手段には、前記ドットパターンを読み取った画像を前記解析手段に送信するか、または、該光学読取り手段で前記ドットパターンを画像として読み取り、前記解析手段で変換されたXY座標値および/またはコード値を、前記記憶手段に送信する送信手段を備えてもよい。
【0035】
これによれば、利用者の目的に合わせて、光学読取手段はドットパターンを読み取るだけの構造にしたり、ドットパターンをXY座標値および/またはコード値に変換できる構造にしたりすることができる。
【図面の簡単な説明】
【0036】
【図1】図1は、本発明で用いるストリームドットパターンについて説明する図(1)である。
【図2】図2は、本発明で用いるストリームドットパターンについて説明する図(2)である。
【図3】図3は、本発明で用いるストリームドットパターンについて説明する図(3)である。
【図4】図4は、本発明で用いるストリームドットパターンについて説明する図(4)である。
【図5】図5は、本発明で用いるストリームドットパターンについて説明する図(5)である。
【図6】図6は、本発明で用いるストリームドットパターンについて説明する図(6)である。
【図7】図7は、絵本と情報再生方法の状態を説明する機能ブロック図である。
【図8】図8は、絵本の絵柄と物語の文章を印刷した一例を示す正面図である。
【図9】図9は、絵本の絵柄と物語の文章を印刷した他の一例を示す正面図である。
【図10】図10は、絵本の絵柄と物語の文章を印刷したさらに他の一例を示す正面図である。
【図11】図11は、ドットパターンを形成した印刷面をタブレットとして利用する他の実施形態を示す断面図である。
【図12】図12は、XY座標情報からなるドットパターンを示す説明図である。
【図13】図13は、XY座標情報からなるドットパターンを認識し、その処理方法についての説明図である。
【図14】図14は、XY座標情報からなるドットパターンを認識し、それを処理する他の方法についての説明図である。
【図15】図15は、コード番号情報からなるドットパターンを示す説明図である。
【図16】図16は、コード番号情報からなるドットパターンを認識し、その処理方法についての説明図である。
【図17】図17は、印刷物に赤外線を照射することにより、ノンカーボンのカラーインクで印刷した文字または図等の情報伝達部から、カーボンインクで印刷したドットパターンの画像データのみをカメラで取り込む状態を説明する説明図である。
【図18】図18は、カメラ入力による情報入出力方法を用いた携帯情報入出力装置の実施形態を説明する機能ブロック図である。
【図19】図19は、カメラ入力による情報入出力方法を用いた携帯情報入出力装置の実施形態を説明する機能ブロック図である。
【図20】図20は、コンパクトなケース本体に収納した携帯情報入出力装置を示す斜視図である。
【図21】図21は、カメラユニットと出力部分とを別体に構成した実施形態を説明する機能ブロック図である。
【図22】図22は、カメラユニットと出力部分とを別体に構成した実施形態を説明する機能ブロック図である。
【図23】図23は、カメラユニット部分と出力側本体を分離した装置を示す斜視図である。
【図24】図24は、携帯電話機用のカメラを用いた情報入力装置の実施形態を説明する機能ブロック図である。
【図25】図25は、カメラを用いた情報入力装置の実施形態を説明する機能ブロック図である。
【図26】図26は、ドットパターンを用いた携帯用電子玩具の実施形態を示す正面図である。
【図27】図27は、携帯用電子玩具を示す右側面図である。
【図28】図28は、携帯用電子玩具を示す左側面図である。
【図29】図29は、携帯用電子玩具を示す底面図である。
【図30】図30は、主にミニフィギュアに相応する音声を発生させる携帯用電子玩具の実施形態を示す斜視図である。
【図31】図31は、実施形態の携帯用電子玩具の機能ブロック図である。
【図32】図32は、複数の音声発生玩具をコントローラユニットに接続した状態を示す斜視図である。
【図33】図33は、カメラ入力による情報出力機能を有するフィギュアユニットについて、カメラと出力部とを一体に構成した実施形態を説明する機能ブロック図である。
【図34】図34は、実施形態の変形例を説明する機能ブロック図である。
【図35】図35は、カメラ入力による情報出力機能を有するフィギュアユニットについて、カメラユニットと出力ユニットとを別体に構成した実施形態を説明する機能ブロック図である。
【図36】図36は、実施形態の変形例を説明する機能ブロック図である。
【図37】図37は、カメラユニットを備えるフィギュアを示す斜視図であり、(a)は人形、(b)はサッカーボール、(c)は自動車、(d)は動物の例を示すものである。
【図38】図38は、フィギュアユニットを新シミュレーション・ボードゲームの中央バトルステージに置いた状態を示す斜視図である。
【図39】図39は、フィギュアの一形態であるヌイグルミ内にカメラユニットと出力ユニットを内蔵した本発明の他の実施形態を示す説明断面図である。
【図40】図40は、フィギュアの一形態であるヌイグルミ内にカメラユニットと出力ユニットを内蔵した他の実施形態を示す説明断面図である。
【図41】図41は、フィギュアの一形態であるヌイグルミ内にカメラユニットと出力ユニットを内蔵した本発明の他の実施形態を示す説明断面図である。
【図42】図42は、ペン型スキャナの構造を示す説明図である。
【図43】図43は、ペン型スキャナを装置本体に接続した状態を示す説明図である。
【図44】図44は、無線タイプのペン型スキャナを示す説明図である。
【図45】図45は、ペン型スキャナの変形例を示す説明図である。
【図46】図46は、本発明を適用したボードゲームを示す斜視図である。
【図47】図47は、ミニフィギュアと装置本体を分離した状態について示す斜視図である。
【図48】図48は、ミニフィギュアの底面に設けられたスキャナ部で台座に形成されたドットパターンを読み取る場合の説明図である。
【図49】図49は、ミニフィギュアの他の構成例を示す断面図である。
【図50】図50は、ドットパターンが設けられたカードを用いた玩具について示す説明図である。
【図51】図51は、図50の玩具に用いるカードの正面図である。
【図52】図52は、ペン型スキャナを用いて遊ぶクロスワードパズルについて示す正面図である。
【図53】図53は、液晶表示部にヒントが表示されている状態を示す拡大正面図である。
【図54】図54は、自走式の猫のヌイグルミについて示す斜視図である。
【図55】図55は、自走式またはラジオコントロール式の自動車玩具について示す斜視図である。
【図56】図56は、本発明を適用した対戦型カードゲームについて示す斜視図である。
【図57】図57は、1枚のカードのみを挿入可能とした装置本体の斜視図である。
【図58】図58は、装置本体が単なるカードリーダである場合について示す説明図である。
【図59】図59は、ドットパターンの形成されたはがき大のシートを連続的に読み込むための装置本体の斜視図である。
【図60】図60は、POSレジ等で利用可能な装置本体の斜視図である。
【図61】図61は、装置本体とミニフィギュアを組み合わせた例を示す説明図である。
【図62】図62は、装置本体がテレビモニタに接続された例を示す説明図である。
【図63】図63は、フォトスタンド形式の装置本体の斜視図である。
【図64】図64は、ペン型スキャナをUSBケーブルを介してパソコンに接続した状態を示す説明図である。
【図65】図65は、PDAにケーブルでペン型スキャナを接続した状態を示す説明図である。
【図66】図66は、スキャナをマウスに内蔵した場合のパソコンとの接続を示す説明図である。
【図67】図67は、デジタイザ機能を持たせたマウスを示す断面図である。
【図68】図68は、デジタイザ機能を持たせたマウスを示す斜視図である。
【図69】図69は、PDAの本体にスキャナ部を設けた構成を示す斜視図である。
【図70】図70は、パソコン本体にスキャナ部を設けた構成を示す斜視図である。
【図71】図71は、スキャナ一体型の携帯電話について示す正面図(1)である。
【図72】図72は、ペン型スキャナを携帯電話のコネクタに接続した状態を示す図である。
【図73】図73は、スキャナ一体型の携帯電話について示す正面図(2)である。
【図74】図74は、ペン型スキャナに液晶表示部とスピーカとを設けた構成を示す説明図である。
【図75】図75は、ペン型スキャナにマイクとスピーカとを設けた構成を示す説明図である。
【図76】図76は、システム手帳とノートとペン型スキャナを組み合わせて用いる場合について示す説明図である。
【発明を実施するための形態】
【0037】
まず、図1〜図6を参照しながら本発明に用いられるドットパターンである、ストリームドットの形成方法の一例について説明する。
【0038】
図1、図2は、ストリームドットパターンを形成する工程の一例を順に示すものである。
【0039】
本発明に係るドットパターンは、従来のドットパターンとは異なり、まず工程1として媒体表面上の可視的な情報に対応して、情報を入出力させたい箇所に基準ドット701を線状に連続して複数個配置する。
【0040】
図1(a)では基準ドット701を曲線状に配置しているが、基準ドット701の配置はこれに限定されるものではなく、直線と曲線を織り交ぜたり、複数の線分により構成される折れ線状にするなど、情報を入出力させる領域にあわせた形状にドットパターンを形成するための種々の変更が可能である。
【0041】
また、媒体表面上に可視的に形成された実在線上に基準ドット701を配置してもよいし、実在線に沿って所定の規則により基準ドット701を配置してもよい。ここでいう実在線とは仮想線に対する概念で、実際に存在している線の全てを含むものである。例えば、実線、破線、点線、直線や曲線などが挙げられ、本発明においては、線が形成される媒体(例えば映像表示装置のディスプレイ)や、線を構成する物質(例えばインク)の如何を問わない。なお、ドットパターンは、印刷やディスプレイ表示、さらに金属やプラスチック上での穴や溝等の凸凹であってもよい。
【0042】
なお、基準ドットは読取り精度向上の観点から、等間隔に配置することが望ましいが、これに限定されるものではなく、複数の間隔を混在させてドットパターンの一定情報のまとまりを定義したり、一定情報のまとまり内における3つの異なる基準ドットの配置間隔によりドットパターンの一定情報のまとまりとドットパターンの方向の両方を定義することも可能である。
【0043】
次に、工程2として、線状に配置された基準ドット4を結ぶ、第一の仮想基準線702を設ける。図1(b)では第一の仮想基準線702を曲線により設けているが、第一の仮想基準線702はこれに限定されるものではなく、曲線状に配置された基準ドット701に対して直線の第一の仮想基準線702を設けてもよいし、直線状に配置された基準ドット701に対して曲線の第一の仮想基準線702を設けてもよい。すなわち、後述する工程3〜工程5における第二の仮想基準線703、仮想基準点704、情報ドット705をどの位置に配置するかによって、基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線702を自由に定義することが可能である。
【0044】
なお、図3に例を示すように、曲線である場合の第一の仮想基準線702は、ベジェ曲線によることが望ましい。
【0045】
すなわち、まず、第一の仮想基準線702上にある基準ドット704をP0、P3とし、P1、P2を与えられた制御点とする。次に、制御点を順に結んで得られる3つの線分・P0―P1、P1―P2、P2―P3・をそれぞれ1対1の比率で分割する点P4、P5、P6を求める。そして、これらの点を順に結んで得られる2つの線分・P4―P5、P5―P6・を、それぞれ1対1の比率で分割する点P7、P8を求める。
【0046】
最後に、この2点を結ぶ線分・P7―P8・をさらに1対1の比率で分割する点P9を求め、この点がベジェ曲線上の点となる。
【0047】
この手順を繰り返し行うことで、P0、P1、P2、P3を制御点とするベジェ曲線が得られる。
【0048】
なお、ベジェ曲線に限らず、スプライン関数を利用して求められるスプライン曲線、n次多項式、楕円弧など、種々のアルゴリズムを用いて第一の仮想基準線702を設けてもよい。
【0049】
また、第二の仮想基準線9においても、第一の仮想基準線702と同様に当該方法を用いて曲線を定義することが可能である。
【0050】
次に、工程3として、線状に配置された基準ドット701および/または第一の仮想基準線6から所定の位置に定義される第二の仮想基準線703を設ける。図1(c)では第二の仮想基準線703を、隣り合う基準ドット701の中間点における第一の仮想基準線703の接線に対して垂直線上の所定位置に向かって、隣り合う基準ドット701から任意の角度をもって設けているが、第二の仮想基準線703はこれに限定されるものではなく、後に示すようにドットパターンにより情報を入出力させたい領域に合わせて仮想基準点を設けるために、種々の方法により定義することが可能である。
【0051】
また、第一の仮想基準線702に対して片側のみに第二の仮想基準線703を設けてドットパターンの方向を定義してもよいし、情報量を増やすために両側各々に設けてもよい。
【0052】
次に、工程4として、第二の仮想基準線703上の所定の位置に複数の仮想基準点704を設ける。図2(a)では仮想基準点704を、第二の仮想基準線703の交点、すなわち隣り合う基準ドット701を結んだ直線を底辺とし、第二の仮想基準線703を対辺とする二等辺三角形の頂点に設けているが、仮想基準点704の位置はこれに限定されるものではなく、第二の仮想基準線703の中点に設けたり、第二の仮想基準線703上に代えて基準ドット701上に設けるなど、種々の変更が可能である。
【0053】
そして、工程5として、仮想基準点704を始点としてベクトルにより表現した終点に情報ドット705を配置する。図2(b)では情報ドット705を、仮想基準点704からのベクトル方向を8方向、仮想基準点704からの距離が等距離となるよう、一個の仮想基準点704に対し1個配置しているが、情報ドット705の配置はこれに限定されるものではなく、仮想基準点704上に配置したり、ベクトル方向を16方向として配置したり、一個の仮想基準点704に対し2個配置するなど、任意の方向に任意の長さに、複数配置することが可能である。
【0054】
図4はドットパターンの情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。
【0055】
情報ドット705は種々の情報を認識させるドットである。この情報ドット705は、仮想基準点704を始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット705は、図4に示すように、その仮想基準点5から0.1mm離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に45度ずつ回転させて8方向に配置し、3ビットを表現している。
【0056】
なお、図示例では8方向に配置して3ビットを表現しているが、これに限定されずに、16方向に配置して4ビットを表現することも可能であり、任意の方向に任意の長さに配置できることはもちろんである。
【0057】
さらに、図2(b)では全ての仮想基準点704において、この仮想基準点704を始点としてその終点位置に情報ドット705を配置したが、これに限定されることなく、仮想基準点上にドットが配置されているか否かで情報を定義するようにしてもよい。たとえば仮想基準点上にドットが配置されていれば「1」、配置されていなければ「0」というように情報を定義することができる。
【0058】
図5は情報ドットおよびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
【0059】
また、情報ドット705について基準ドット701から導き出された仮想基準点5から短(図5の上段)・長(図5の下段)の2種類を使用し、ベクトル方向を8方向とすると、4ビットを表現することができる。このとき、長い方が隣接する仮想基準点5間の距離の25〜30%程度、短い方は15〜20%程度が望ましい。ただし、長・短の情報ドット3の中心間隔は、これらのドットの径より長くなることが望ましい。
【0060】
情報ドット705は、その見栄えを考慮し、1ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、1ベクトル毎に、1ビットを割り当てて情報ドット3を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円8方向のベクトルでは、基準ドット4から定義された情報ドット3で2の情報を表現でき、1の一定情報のまとまりの情報ドット8個で264となる。
【0061】
このように、本発明に係るストリームドットパターンは、本発明者が提唱している従来のドットパターンでは2次元的に格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。
【0062】
図6は、ストリームドットパターンを上下方向に並べた状態の一例について示す図である。
【0063】
同図では、基準ドット、情報ドットの他に、キードットおよびサイドドットを配置している。キードットは、一定情報のまとまりの両端に配置されたドットである。このキードットは、ひとまとまりの情報ドット群を表す1領域分のドットパターン1の代表点である。サイドドットは、キードット2のずれの正負の延長線上に配置されたドットである。
【0064】
同図(b)は、基準ドットおよびストリームドットパターンを等間隔に並べている。このように、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、XY座標値が書き込み領域に隙間なく定義される。しかし、本発明に係るストリームドットパターンはこれに限らず、同図(a)に示すように、ドットパターン同士の間隔を任意に設定してよい。また、基準ドット同士の間隔も、任意に設定することができる。
【0065】
このように、本発明に係るストリームドットパターンは、本発明者が提唱している従来のドットパターンでは2次元的に格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。
【0066】
これにより、XY座標が定義されたドットパターンが2次元コードとして形成される際(インデックスとして使用)の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
【0067】
なお、本発明に係る仮想基準線及び仮想基準点は、実際に媒体表面上に印刷形成されるわけではなく、あくまでコンピュータの画像メモリ上に、ドットパターンの配置の際、またはドットパターンの読み取りの際に仮想的に設定されるものである。
【0068】
このストリームドットパターンを用いることで、地球儀を初めとする曲面体や、人体模型、立体地図などの三次元造形物にもドットパターンを形成することができ、平面地図や絵本等に限らず本発明に係る入出力装置を利用することが可能となる。
【0069】
図7は絵本と本発明のドットパターンを用いた情報再生方法の状態を説明する機能ブロック図である。
【0070】
上述したようなドットパターン601は、絵本、テキスト等の印刷物606に印刷することによりドットパターン607に構成する。このドットパターン607を、このカメラ602が画像認識し、該画像データから抽出された数値化データに基づいてそれに対応する音声情報をメモリから読み出してパソコン608、PDAまたは携帯電話等のスピーカ9等の出力手段からそれに対応する音声、音楽を再生する。
【0071】
図8は絵本の絵柄と物語の文章を印刷した一例を示す正面図である。
【0072】
このようなページでは、ページの左上のアイコン606aをカメラ602で読み取り、スイッチを入れる。次に、絵柄6bに相当する物語の文章が印刷されたその文章部分606cをカメラ602で読み取る。アイコン606aと文章部分606cそれぞれにはドットパターン607が印刷されているので、これらのドットパターン607は絵本の何ページのどの領域にある情報かを認識し、それに対応するように記憶した物語の音声をパソコン608に再生させる。たとえば、ドットパターン607のドット5はカーボンで印字し、それ以外はノンカーボンのカラーインクで印字または印刷することにより、赤外線照射で読み取ることができる。
【0073】
図9は絵本の絵柄と物語の文章を印刷した他の一例を示す正面図である。図10は絵本の絵柄と物語の文章を印刷したさらに他の一例を示す正面図である。
【0074】
本発明のドットパターンを用いた情報再生方法は、物語からなる絵本に限らず、図9に示すように、算数をわかりやすく教える教材に応用することができる。また、図10に示すように、音楽をわかりやすく教える教材に応用することができる。
【0075】
パソコン608、PDAまたは携帯電話のメモリには、「音の出る絵本」として絵本の絵に加えて音楽や主人公等の会話まで発生させる絵本として利用できるコンテンツを記憶させる。但し、組立てブロック等の玩具と合わせて音声が発生する教材として利用できるコンテンツ、「音の出る辞書」として、外国語の単語や文章をなぞると翻訳してくれ辞書ソフトとして利用できるコンテンツを記憶させることも勿論可能である。
【0076】
本発明のドットパターンを用いた情報再生方法は、さらに次のような利用方法がある。
「音が出るポップ絵本」
カメラ602をドットパターン607に当接または走査させるだけという特性を活かし、ページを開くと立体物が現れる「ポップ絵本」と組み合わせることができる。ページを開くと立体物の中にドットパターン607を貼り付け、または印刷し、このドットパターン607を探し出してカメラ602の先端部を当接させると、様々な音声が発生する「音が出るポップ絵本」として利用することができる。たとえば、ページを開くとポップアップで、「恐怖の館」が立ち上がり、「窓」にあるドットパターン607をカメラ602でなぞると「キャー!」といった女性の悲鳴の音声が再生され、「廊下」にあるドットパターン607をカメラ602でなぞると「コツ、コツ、コツ・・ ・」といった不気味な足音の音声が再生される。
【0077】
「創作絵本(創作本)」
印刷部6である絵本の好きな箇所にドットパターン607を貼ることができ、使用者自身がコンテンツを創作できるドットパターン607を貼れば、どこでもスイッチを設定できる「創作絵本(創作本)」として利用することができる。たとえば、絵本、セリフ集、サウンドリスト、音源データ等をセットにしたものを、使用者が好きなようにセリフや音楽のドットパターン607を絵本6に貼ってオリジナルストーリーを作ることができる。
【0078】
さらに、何も描かれていない絵本に、ドットパターン607の形成された音源リストのシールや、アイコンシール等を準備し、使用者が絵本に自分で絵を描き、これらのシールを貼り付けてオリジナルストーリーを創造し、音が出る絵本をユーザ自身に作成させることもできる。
【0079】
「音が出る教材」
本発明は子供から大人、老人までのすべての世代に向けた「音が出る教材」として利用することができる。たとえば、印刷物606のドットパターン607にカメラ602の先端を当接させたり、走査させると音声が再生され、英会話等の語学教育や知育・音楽等の幼児教育、ドリル等の補助教材として使用できる。
【0080】
このように、本発明は印刷物606等に印刷した入力インターフェースとして使用できるので、コンテンツ毎にそれに合わせたインターフェースを製造することができる。また、インターネット等の汎用ネットワークを介して、ドットパターンデータをパソコン608にダウンロードさせるようにし、ユーザが当該ドットパターンデータを自由に組み合わせて汎用のプリンタ装置で紙面上にドットパターンを印刷することにより、前述の「絵の出る絵本」等をユーザ自身が作成することができる。
【0081】
さらに、印刷物606等その他媒体のドットパターン607にURL情報を定義し、カメラ602でドットパターン607を撮影した画像データから前記URLを抽出することにより、パソコン608にインストールされたブラウザプログラムが前記URLにアクセスして所定の動作を行わせるようにしてもよい。
【0082】
図11はドットパターン607を形成した印刷面をタブレットとして利用する他の実施形態を示す断面図である。
【0083】
この実施形態では、カメラ602が内蔵されているペン状部材619と、テーブル620(またはトレース台)と組み合わせ、ドットパターン607を形成した印刷面をタブレットとして利用する。テーブル620の上に、ドットパターン607が印刷された紙621(印刷面)をセットし、このペン状部材619で絵や文字をなぞり、スイッチ622aを入れることによりデータをパソコン608やPDAに取り込むことができる。さらに、ペン状部材619の先端に、圧力スイッチ622bの先端部を突出させている。
【0084】
このペン状部材619は、ディスプレイを見ることなく、通常の絵や文字を描くのと同様に手元の紙の上に絵や文字を描けば、そこに描いたものを、カメラ602がその音声等の情報を認識してパソコン608やPDA等に入力される。そこで、イラストや図面作画用にも、またトレース用にも使える。今までは、マウスでなぞりながらディスプレイを見る必要があったが、その必要がなくなり、入力負荷が減る。また、従来タブレットと呼ばれる座標入力機器でしか実現できなかった操作が安価で実現できる。
【0085】
このように、本発明はパソコン608における通常のキーボードとマウスに代わってこのパソコン608を操作することができ、押すだけで誰でもパソコン608を簡単に操作することができる。そこで、本発明は人との親和性の高いインターフェースにすることができる。また、入力パッドよりも、簡単な構造で安価に製造することができる。
【0086】
なお、本発明は上述した発明の実施形態に限定されず、印刷物606や透明フィルム611(タッチパネル612)のドットパターン607を認識することにより、所定の情報や音声を再生させて様々な使用を可能にする構造であれば、上述した形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【0087】
図12はXY座標情報からなるドットパターンを示す説明図である。図13はXY座標情報からなるドットパターンを認識し、その処理方法についての説明図である。
【0088】
本発明のドットパターン6はXY座標情報で作成し、そのXY座標情報と情報伝達部7の内容とを関連付けることができる。このドットパターン6については、上述したようにカメラユニット2を用いてその画像データを取り込み、その画像情報をデジタル化して数値化し、そのX方向、Y方向を座標情報化したものを、円形部分A、四角部分B、三角部分Cで表現した各情報伝達部7の内容のいずれかの位置に対応させる。このときに図13の参照テーブル1を用いてXY座標と各情報伝達部7の内容とを対応させる。すなわち、どのXY領域が、情報伝達部7のいずれの内容であるかを対照させ、次に図13の参照テーブル2を参照することによりドットパターン6に対応した情報、プログラムを出力する。
【0089】
図14は、XY座標情報からなるドットパターンを認識および処理する他の方法を示す図である。
【0090】
同図の方法は、情報伝達部7が矩形の場合に用いる。同図(a)に示すように、印刷物5には、XY座標情報からなるドットパターン6および情報伝達部7が印刷されている。同図(b)に示すように、情報伝達部7の左下の座標値(Xmin, Ymin)と右上の座標値(Xmax, Ymax)が予め定められている。次に、同図(c)のテーブルを参照し、同図(b)で求めた座標値がテーブルのどの範囲に該当するかを検索する。そして、該当する範囲に対応するインデックスNo.を取得する。次に、同図(d)のテーブルを参照して、インデックスNo.に対応した音声(さようなら、こんにちは等)を出力する。なお、同図(d)のテーブルでは、音声ファイルそのものをインデックスNo.に対応させてもよいし、または、音声ファイル内に複数のアドレスが格納されており、そのアドレスを対応させるようにしてもよい。
【0091】
このXY座標情報からなるドットパターン6によれば、予めドットパターン1を印刷した印刷物5を用意しておき、この印刷物5上に情報伝達部7を重ね印刷するだけで、特定の内容(コンテンツ)に対してXY座標の領域と音声等の情報およびプログラムとを関連付けることが可能になる。すなわち、情報伝達部7の内容に合わせたドットパターン6を作成する必要がないので、その汎用性が非常に高くなる。
【0092】
図15はコード番号情報からなるドットパターンを示す説明図である。図16はコード番号情報からなるドットパターンの認識および処理手順を示した説明図である。
【0093】
本発明のドットパターン6は、前述したXY座標情報に代えてコード番号情報で作成し、そのコード番号情報と情報伝達部7の内容とを関連付けることができる。たとえば、円形部分Aの情報伝達部7、四角部分Bの情報伝達部7または三角部分Cの情報伝達部7の内容に対応して、それぞれ1つのコード番号情報を含んだドットパターン6を印刷する。このドットパターン6についても、上述したようにカメラユニット2を用いてその画像データを取り込み、その画像情報をデジタル化して数値化(コード番号情報化)し、図16の参照テーブルを参照することによりそのドットパターン6に対応した情報、プログラムを出力する。なお、参照テーブルでは、音声ファイルそのものをインデックスNo.に対応させてもよいし、または、音声ファイル内に複数のアドレスが格納されており、そのアドレスを対応させるようにしてもよい。
【0094】
このコード番号情報からなるドットパターン6によれば、コード番号と情報伝達部7の内容が直接対応しているために、図16に示すように、参照テーブルを1つ作成すればよい。さらに、参照テーブルを1つ作成すればよいので情報処理時間を短縮することができる。
【0095】
なお、XY座標情報とコード番号情報からなるドットパターン6を印刷物5の同一平面上に印刷することは勿論可能である。
【0096】
図17は印刷物に赤外線を照射することにより、ノンカーボンのカラーインクで印刷した文字または図等の情報伝達部から、カーボンインクで印刷したドットパターンの画像データのみをカメラで取り込む状態を説明する説明図である。
【0097】
図示するように、印刷物5は白色用紙に対して、赤外線域波長において透明で、かつ可視光域波長において発色するインク、例えばノンカーボンインク(染料インク)などで印刷した情報伝達部7を形成したものである。次に、この印刷物5に対してさらに赤外線域波長において発色するインクで印字、例えばトナー等のカーボンインク、赤外線インク、透明インク等で印字したドットパターン6を形成する。この情報伝達部7とドットパターン6とを同一面に重ねて印刷した状態に対してカメラユニット2のカメラで撮像する。このとき、赤外線フィルター2aは、可視光線波長をカットし、赤外線域波長のみを通過させる。カメラにはドットパターン1のみの情報を入手することができる。逆に、ドットパターン6を先に印刷し、次に情報伝達部7を印刷することも可能である。
【0098】
このカメラユニット2が、これらのドットパターン6に所定の規則により印刷されたドットを認識し、それをデジタル化して数値化し、その数値情報の読み取りにより、そのドットパターン6は印刷物5のどの領域にある情報またはプログラムかを認識して、それに対応するように記憶した種々の情報およびプログラムを記憶部(メモリ)より出力および実行する。たとえば、ドットパターン6に対応した情報およびプログラムは、テキストおよび画像あるいは音声により出力させることができる。
【0099】
なお、カメラユニット2で印刷物5中のドットパターン6の画像データのみを取り込む際に、ドットパターン6に紫外線を照射する方法によることも可能である。
【0100】
上述した本発明の方法では、印刷物5という媒体を介在して種々の音声情報を出力、実行させることができる。たとえば、絵本、飛び出す絵本、写真自体、教材、テキスト、問題集、雑誌、新聞紙、カード、会員証、フォトスタンド、粘着剤付写真、博物館内の展示物の説明、カードゲーム、ボードゲーム、パンフレット、通信販売のカタログ等のあらゆる印刷物5に応用することができる。このように、印刷物5中の文字または図等からなる情報伝達部7からの視覚情報と同時に、ドットパターン6からの音声情報を共に認識することができる。
【0101】
図18はカメラ入力による情報入出力方法を用いた携帯情報入出力装置の第一の実施形態を説明する機能ブロック図である。
【0102】
携帯情報入出力装置は、カメラユニット2からなるセンサ部8と、処理部9と記憶部(メモリ)10とからなる本体処理部11とを備えたものである。このセンサ部8は、印刷物5中のドットパターン6の画像データのみを取り込むカメラユニット2と、この画像データをデジタル化して数値化する画像処理部12とを備えたものである。このカメラユニット2の近くに印刷物5に赤外線を照射する赤外線発光部13を備えている。
【0103】
本体処理部11は、画像処理部12で画像処理した数値より、ドットパターン6に対応する、予め記憶させた記憶部(メモリ)10の情報およびプログラムを出力および実行させる処理部9を備えたものである。この本体処理部11には、スピーカ14、イヤホンまたは液晶モニタ25等の出力部15を備えている。この出力部15からは、この音声による出力以外に、音声出力(ライン)、TVモニタまたはパソコンに画像出力することも可能である。
【0104】
記憶部10には、予め情報およびプログラムを記憶させるほかに、後から情報およびプログラムを記憶させることができる。たとえば、この記憶部10に入力部17となるマイク17aを用いて音声により情報およびプログラムを記憶させることも可能である。この入力部17には、マイク17aの他に、音声入力端子、映像入力端子、パソコン等を接続して情報およびプログラムを記憶させることができる。
【0105】
このように、たとえばマイク17aを用いて音声を後から入力することができるので、携帯情報入出力装置は、絵本等の印刷物5に関連した自分や知人の声をマイク17を用いて記憶させておき、その後、この携帯情報入出力装置でその印刷物5を読み取ることで、別の人がその印刷物の内容に対応した音声情報を聞き取ることができる。たとえば、「親子の伝言装置」として、あるいは写真に声を入れた「ボイスメッセージの入った粘着剤付写真」といった用い方が可能である。
【0106】
この本体処理部11には、通信カード16を装着して外部の情報およびプログラムを出力または実行させることができる。たとえば、カメラユニット2で入力したドットパターン1を数値化し、そのデータを通信カード16を介してサーバ等のコンピュータ23に送信することができる。また、カメラユニット2で入力したドットパターン1を数値化し、そのデータを通信カード16を介してサーバ等のコンピュータ23に送信し、そのデータに対応する情報およびプログラムを受信する、ことも可能である。カメラユニット2で入力したドットパターン1を数値化したデータを入力し、それに対応した音声を入力する。通信カード16を装着して前記記憶部10に情報およびプログラムを記憶させる。
【0107】
このように通信カード16を用いることで、情報およびプログラムを容易に送信し、受信することができる。たとえば、携帯情報入出力装置を用いてアンケートに声で答え、この音声情報をサーバ等のコンピュータ23に送信することができる。問題集またはテストに声で回答し、その音声情報をサーバ等のコンピュータ23に送信して、発音テストや添削することができる。
【0108】
さらに、印刷物5等その他の媒体のドットパターン6にURL情報を埋め込み、スキャンしたら自動的にそのサイトに接続する。あるいはその接続後、特定の動作を行うように構成することも可能である。
【0109】
また、音の出る出版物を自作することができる。絵葉書、手紙に音声情報を後から入れることができる。たとえば、これらの印刷物5にBGM(バック グラウンド ミュージック)、SE(サウンド・エフェクト)等を後で付加することができる。
【0110】
この本体処理部11にはGPS24をさらに設けることにより、現在の位置情報を容易に表示することができる。
【0111】
図19はカメラ入力による情報入出力方法を用いた携帯情報入出力装置の実施形態を説明する機能ブロック図である。
【0112】
この実施形態の携帯情報入出力装置では、センサ部8にはカメラユニット2のみを備え、センサ部8をコンパクトに構成することができる。
【0113】
なお、本発明は図示例の実施形態に限定されず、印刷物5中のドットパターン6のみを認識することにより、所定の情報や音声を再生させて様々な使用を可能にする構造であれば、上述した利用方法に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【0114】
図20はコンパクトなケース本体に収納した携帯情報入出力装置を示す斜視図である。
【0115】
本発明の携帯情報入出力装置は、手のひらの中に容易に収まる程度の大きさの本体ケース18内に上述した本体処理部11を収納し、この本体ケース18にカメラユニット2を下向きに設け、側面に出力部15となるスピーカ14を、あるいはイヤホン端子19を設けている。この本体ケース18の上部にボタンスイッチ20を設け、また正面にはUSB端子21や記憶部10となるメモリカードスロット22を備えている。
【0116】
本発明の携帯情報入出力装置は、さらに液晶モニタ25、イヤホンジャック19、TVモニタ用出力端子26等を設けることができる。また、本体ケース18にはマイク17a、撮影ボタン27、収録ボタン28、プログラム選択ボタン29、出力ランプ30、GPS24、音声入力端子31、USB端子21や記憶部10となるメモリカードスロット22を備えている。
【0117】
この本体ケース18は、手のひらの中に収まりやすい形状にするために図31に示すように、全体に丸みを帯びた形状にすることができる。このように形成することにより印刷物5のドットパターン6の画像データを容易に取り込むことが可能になる。
【0118】
なお、本体ケース18の形状は、図示例の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【0119】
図21と図22はカメラと出力部分とを別体に構成した実施形態を説明する機能ブロック図である。
【0120】
この実施形態では、カメラユニット2を、前述した画像処理部12、記憶部10、処理部9および出力部15と分離し、インターフェース部を介して送信するように構成することができる。このインターフェース部は有線のほかに無線で送信する。無線で送信するときは、図示するように、インターフェース部となる無線送信部32と無線受信部33を介して送信することができる。
【0121】
図22では、センサ部8にはカメラ2のみを備えたものである。このように構成することにより、センサ部8をコンパクトに構成することができる。
【0122】
図23はカメラユニット部分と出力側本体を分離した装置を示す斜視図である。
【0123】
図示例ではカメラユニット部分と出力側本体を分離し、ケーブル34で接続した有線型を示している。このように分離することにより、印刷物5に対してカメラユニット2を当てやすくなり、本発明の携帯情報入出力装置について卓上で使用しやすくなる。このカメラユニット2は、カメラの周囲にリング型スイッチ35を構成したものである。このように構成することにより、印刷物5に対してカメラユニット2を押し当てるだけでスイッチを入れることができ、片手で容易に操作することができる。
【0124】
図24は携帯電話機用のカメラを用いた情報入力装置の実施形態を説明する機能ブロック図である。
【0125】
情報入力装置118は、カメラユニット102からなるセンサ部108と、処理部109からなる本体処理部111とを備えたものである。このセンサ部108は、印刷物5中のドットパターン6(図27参照)の画像データのみを取り込むカメラユニット102と、この画像データをデジタル化して数値化する画像処理部112とを備えたものである。このカメラユニット102の近傍に印刷物5に赤外線を照射する赤外線発光部113を備えている。
【0126】
本体処理部111は、画像処理部112で画像処理した数値に基づいてドットパターン6に対応する、予め携帯電話機10内に記憶させた記憶部(メモリ)の情報およびプログラムを出力および実行させる処理部109を備えたものである。この本体処理部111にはGPS(図示していない)をさらに設けることにより、現在の位置情報を容易に表示することができる。
【0127】
携帯電話機110の記憶部(メモリ)には、予め情報およびプログラムを記憶させるほかに、後から情報およびプログラムを記憶させることができる。たとえば、この携帯電話機110の記憶部にはマイクまたはカメラ(図示していない)等を用いて音声、画像または文字情報により情報およびプログラムを記憶させることも可能である。
【0128】
図25はカメラを用いた情報入力装置の実施形態を説明する機能ブロック図である。
【0129】
実施形態の携帯情報出力装置では、センサ部108にはカメラユニット102のみを備え、センサ部108をコンパクトに構成することができる。
【0130】
図26は実施形態の携帯用電子玩具を示す正面図である。図27は実施形態の携帯用電子玩具を示す右側面図である。図28は実施形態の携帯用電子玩具を示す左側面図である。図29は実施形態の携帯用電子玩具を示す底面図である。
【0131】
実施形態の携帯用電子玩具801は、ドットパターンの情報を再生させることにより、媒体802となる書籍、ゲームカード、小物類または玩具等に関する種々の音声または音楽を発生させる玩具である。この携帯用電子玩具801は、書籍等の記載事項と関連する音声を認識させるドットパターン803と、種々の音声を記憶した音声記憶部804と、その音声をスピーカ805に再生させる処理部(CPU)806と、音声再生LSI807とを備え、これらをケース本体808内に収納したものである。このケース本体808にケーブル809で、ドットパターン803の画像データを取り込むためのペン型のカメラ810を接続したものである。
【0132】
携帯用電子玩具801のケース本体808内に収納した音声記憶部804は、書籍等の記載事項と関連する音声を認識させるドットパターン803の情報に基づいて再生させる音声を記憶させたものである。この音声記憶部804は、そのまま内部メモリとして使用するだけでなく、外部メモリを使用して最新のコンテンツを取り込むことができる。たとえば、外部からプログラムをダウンロードしてその音声内容を更新することができ、一台の携帯用電子玩具801を繰り返し使用することができる。
【0133】
カメラ810は、書籍、ゲームカード、小物類または玩具類に貼り付けるドットパターン803または書籍等に認識信号となる数字、文字等を直接印刷したドットパターン803の画像データを取り込むものである。カメラ810で取り込んだドットパターン803の画像データは、画像処理アルゴリズムで処理してドットを抽出し、歪率補正のアルゴリズムにより、カメラ810が原因する歪を補正するので、歪率の高いレンズを付けた普及型のカメラ810でドットパターン803の画像データを取り込むときにも正確に認識することができる。また、ドットパターン803の面に対してカメラ810を傾けて読み取っても、そのドットパターン803を正確に認識することができる。
【0134】
このカメラ810は、ドットパターン803の情報を認識して、それに対応する音声、音楽を音声再生LSI807でスピーカ805から再生させる。
【0135】
本発明の携帯用電子玩具801のケース本体808は、たとえば縦13cm×横18cmの「システム手帳」のサイズで容易に携帯できるような大きさからなる。そこで、この携帯用電子玩具801を手に持ったり、バッグに入れて携帯することができる。
【0136】
また、ケース本体808に設けた液晶表示部812により、音声以外の情報も同時に表示する。この液晶表示部812は画像再生LSI13で表示させる。このように音声以外の情報も同時に入手することができるので、本発明の携帯用電子玩具801の応用範囲が広い。この携帯用電子玩具801は、ケース本体808の側面のスイッチ14をオンにすると、パイロットランプ15が点灯する。
【0137】
音声記憶部804は、その記憶媒体816として、フラッシュメモリ、コンパクトフラッシュ(登録商標)、スマートメディア、記憶用ICカード、メモリースティック等を用いることができる。これにより音声内容を容易に変更し得る。
【0138】
音声記憶部804は、たとえば、外国語の発音等を音声で教示する教材として利用できるコンテンツデータ(音声データ、画像データ、動画データまたは文字・記号等のキャラクタコードデータ)を記憶する。その他に、音声記憶部804は、音楽を作れる絵本や、フィギュア人形を使った楽団として利用できるコンテンツ、組立てブロック等の玩具と合わせて音声が発生する教材として利用できるコンテンツ、「音の出る絵本」として、絵本の絵に加えて音楽や主人公等の会話まで発生させる絵本として利用できるコンテンツ、「音の出る辞書」として、外国語の単語や文章をなぞると翻訳してくれ辞書ソフトとして利用できるコンテンツを記憶させる。
【0139】
さらに、本発明は、対戦型カードと組み合わせて、その対戦ゲームやRPGソフトができる。「販促ツール」として、商品の特徴や会社概要を音声で解説するパンフレットとして利用することができる。あるいは、「各種情報(ガイド等)」として、博物館等の施設や観光地の名所等を音声で解説する電子機器として利用することができる。
【0140】
このカメラ810はその使用後には、本発明の携帯用電子玩具801を携帯できるようにケース本体808の側面に格納できるようになっている。
【0141】
カメラ810の近くにライト(図示していない)を設けることにより、ドットパターン803を照明して暗い場所でもこのドットパターン803を正確に認識することができる。
【0142】
本発明の携帯用電子玩具801は、書籍、ゲームカード、小物類または玩具等の媒体802とドットパターン803との組み合わせにより、次のような様々な使用方法がある。
【0143】
「音が出る教材」
ケース本体808の底面にセットできるミニサイズの書籍を教材として用いることができる。本発明は携帯性に優れているという特長を活かし、場所を選ばず、いつでもどこでも勉強することができ、子供から大人、老人までのすべての世代に向けた「音が出る教材」として利用することができる。たとえば、書籍の文字をなぞると音声が再生され、英会話等の語学教育や知育・音楽等の幼児教育、ドリル等の補助教材として使用できる。
【0144】
「対戦カードゲーム」
本発明の携帯用電子玩具801は、「対戦カードゲーム」として利用することができる。対戦カードゲームに対応した「専用シール&データ集」を制作し、それぞれのカードに対応したドットパターン803を貼付すると、携帯用電子玩具801のスピーカ805からそのカードのキャラクタが生き生きと話し出すようにすることができる。また、キャラクタの声で解説を流したり、裏技を教えるなど、カード機能を拡張するアイテムとしても活用できる。
【0145】
または、人気の映画カードに対応した「専用シール&データ集」を制作すれば、カードに対応したドットパターン803を貼ると、映画のセリフや音楽が流れるようにすることができる。あるいは、確実なファン層を持つ、アイドルカードに対応した「専用シール&データ集」を制作し、それぞれのカードに対応したドットパターン803シールを貼ると、アイドル本人のプレゼントボイスが流れるようにすることができる。このとき、1枚に付き曲が1フレーズだけ流れ、全部集めると1曲になるといったタイアップ展開に利用することも可能である。
【0146】
本発明の携帯用電子玩具801は、身の回りにある様々なモノにドットパターン803を貼り付け、音を出して楽しむことができる、イタズラ感覚の「専用シール&データ集」を制作し、身の回りのモノにドットパターン803を貼り付けて、カメラ810でなぞると話し出させることができる。たとえば、男の子なら皆大好きなミニカーキットと組み合わせ、音の出る道路を作るための「専用シール&データ集」を制作する。踏み切りや建物が同梱されたミニカー用の道路キットにドットパターン803を付け、踏み切りにきたら「カンカンカン」、道路からはみ出したら「キキー!危ないよ!」などと音声が流れるようにして、臨場感を出すことができる。
【0147】
本発明の携帯用電子玩具801は、ドットパターン803が沢山プリントされたTシャツを制作し、身に付けて楽しむという、新しい遊び方に使用することができる。
【0148】
本発明の携帯用電子玩具801は、「占い装置」として利用することができる。自分で楽しむことは勿論、新歓コンパや忘年会といったパーティの余興で使用することができる。たとえば、「専用文字盤」に書かれた文字(ドットパターン803)を順番にカメラ810でなぞると、ランダムで面白いコメントが流れるようにする。文字盤を使って名前を入力することで、姓名判断に使用することができる。「今日の運勢」などのコメントが流れるようにし、たとえば「恋愛運、仕事運、健康運、ともに最悪。ただし、動物運だけはサイコウです。外出すれば、散歩している犬とすてきな恋が芽生えるかも!」といった脱力系のコメントを表示するようにすることができる。
【0149】
「宝探しゲーム」
本発明の携帯用電子玩具801は、「宝探しゲーム」として利用することができる。
【0150】
参加者の数だけ本発明の携帯用電子玩具801を用意し、事前にドットパターン803を色々な場所に隠し貼っておく。その後、一斉にスタート地点(玄関など)を出発し、隠されたドットパターン803を見つけ出し、「廊下を探せ」などといった次の場所へ行く指示を探しながら進んでいき、一番早くゴールのドットパターン803を見つけた人が勝ちといったゲームに使用することができる。
【0151】
「外国語翻訳装置」
本発明の携帯用電子玩具801により、「外国語翻訳装置」として利用することができる。
【0152】
英字新聞や外国の雑誌などを読んでいて分からない単語に出会ったとき、カメラ810で単語(ドットパターン803)をなぞると、それに対応した日本語に翻訳して読み上げるように使用することができる。
【0153】
複数の携帯用電子玩具801が、ネットワークに対応できるようにケース本体808にUSBコネクタ(図示していない)を設けることができる。このUSBコネクタにつないだケーブルを相互に接続したり、パソコン等につないでネットワーク化することも可能である。
【0154】
図30は主にミニフィギュアに相応する音声を発生させる携帯用電子玩具の実施形態を示す斜視図である。図31は複数の音声発生玩具をコントローラユニットに接続した状態を示す斜視図である。
【0155】
実施形態の携帯用電子玩具821は、主にミニフィギュアに相応する音声を発生させるように構成した玩具である。この携帯用電子玩具821は、ミニフィギュア822のキャラクタ相応する音声情報を発生させるためのコード情報を記録したドットパターン803と、ケース本体823内に収納した、音声を記憶した音声記憶部804と、カメラ810と、音声をスピーカ805に再生させる処理部(CPU)806と、音声再生用LSI807を備えたものである。
【0156】
ドットパターン803は、ミニフィギュア822の台824またはボトルキャップの内面天井に貼り付けられるように円形状のシート材からなり、その一面に粘着剤を貼付し、シート材の他面にドットパターン803を表示したものである。なお、このシート材に代えて、ミニフィギュア822自体にドットパターン803を印刷することも可能である。
【0157】
携帯用電子玩具821のケース本体823内に収納した音声記憶部804は、そのまま内部メモリとして使用するだけでなく、外部メモリを使用して最新のコンテンツデータを取り込むことができる。たとえば、外部からプログラムやデータを入力またはネットワークを介してダウンロードしてその音声内容を更新することができ、一台の携帯用電子玩具821を繰り返し使用することができる。
【0158】
ケース本体823の中央部分のカメラ810の近くに照明手段としてのライトを設けることにより、ドットパターン803を照明して暗い場所でもこのドットパターン803を正確にその画像を取り込むことができるようにすることが好ましい。
【0159】
図32は実施形態の携帯用電子玩具の機能ブロック図である。
【0160】
複数の携帯用電子玩具821が、ネットワークに対応できるようにケース本体823にUSBコネクタ(図示していない)を設けることができる。このUSBコネクタにつないだケーブルをパソコン等につないでネットワーク化することも可能である。
【0161】
図33と図34はカメラ入力による情報出力機能を有するフィギュアユニットについて、カメラと出力部とを一体に構成した実施形態を説明する機能ブロック図である。
【0162】
実施形態は、カメラ202と画像処理部212とからなるセンサ部208と、処理部209と記憶部(メモリ)210とからなる本体処理部211とを備えたものである。このセンサ部208は、印刷物5中のドットパターン803の画像データのみを取り込むカメラ202と、この画像データをデジタル化して数値化する画像処理部212とを備えたものである。このカメラ202の近くに印刷物5に赤外線を照射する赤外線発光部213を備えている。
【0163】
本体処理部211は、画像処理部212で画像処理した数値より、ドットパターン803に対応する、予め記憶させた記憶部(メモリ)210の情報およびプログラムを出力および実行させる処理部209を備えたものである。この本体処理部211には、スピーカ14等の出力部15を備えている。
【0164】
記憶部10には、予め情報およびプログラムを記憶させるほかに、後から情報およびプログラムを記憶させることができる。たとえば、この記憶部10にマイク17を用いて音声により情報およびプログラムを記憶させることも可能である。
【0165】
図34は実施形態の変形例で、センサ部208にはカメラ202のみを備えたものである。このように構成することにより、センサ部208をコンパクトに構成することができる。
【0166】
図35と図36はカメラ入力による情報出力機能を有するフィギュアユニットについて、カメラユニットと出力ユニットとを別体に構成した実施形態を説明する機能ブロック図である。
【0167】
この実施形態は、カメラユニットAと、出力ユニットBとからなるものである。カメラユニットAは、カメラ202と、画像処理部212とからなるセンサ部208とインターフェース部となる無線送信部221とからなる。このセンサ部208は、印刷物5中のドットパターン803の画像データのみを取り込むカメラ202と、この画像データをデジタル化して数値化する画像処理部212とを備えたものである。このカメラ202の近くに印刷物5に赤外線を照射する赤外線発光部213を備えている。
【0168】
出力ユニットBは、無線受信部222と、処理部209と記憶部(メモリ)210とからなる本体処理部211と、スピーカ14等の出力部15を備えたものである。本体処理部211は、画像処理部212で画像処理した数値より、ドットパターン803に対応する、予め記憶させた記憶部(メモリ)210の情報およびプログラムを出力および実行させる処理部209を備えたものである。このインターフェース部となる無線送信部221と無線受信部222とは、赤外線を使って通信する。この出力ユニットBはパソコンをそのまま用いることができる。
【0169】
図36は実施形態の変形例で、センサ部208にはカメラ202のみを備えたものである。このように構成することにより、センサ部208をコンパクトに構成することができる。
【0170】
図37はカメラユニットを備えるフィギュアを示す斜視図であり、(a)は人形、(b)はサッカーボール、(c)は自動車、(d)は動物の例を示すものである。
【0171】
図示例は、フィギュア218にカメラ202を備えたカメラユニットAを備えたフィギュアユニットである。カメラ202のレンズを下向きに配置し、このフィギュア218を印刷物5の上に置いたときに、そのドットパターン803の画像データを取り込む際に、このドットパターン803に赤外線を照射することにより、ノンカーボンのカラーインクで印刷した情報伝達部7から、ドットをカーボンで印刷したドットパターン803のみを読み取るようになっている。なお、フィギュア218の形状は、図示例の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【0172】
上述した本発明のフィギュアユニットでは、印刷物5という媒体を介在して種々の音声情報を出力、実行させることができる。たとえば、次のような使用方法がある。
【0173】
「すごろく」や「ボードゲーム」の駒としての利用
本発明のフィギュア218は、「すごろく」や「ボードゲーム」の駒として利用することができる。このフィギュア218を、「すごろく」や「ボードゲーム」の上に置いたときに、フィギュア218のカメラ202で印刷物5上のドットパターン803の特定の音声を発生し、指示内容を音声で知らせることができる。そこで、これらの「すごろく」や「ボードゲーム」の遊び方に幅を持たせることができる。
【0174】
「軍人将棋」の駒としての利用
本発明のフィギュア218は、「軍人将棋」の駒として利用することができる。このフィギュア218を、「軍人将棋」の将棋盤(印刷物5)上に置いたときに、フィギュア218のカメラ202でボードゲームのベース(印刷物5)上のドットパターン803の特定の音声を発生し、指示内容を音声で知らせることができるので、今までとは違った新たな側面を持つゲームに飛躍させることができる。たとえば、本体の処理プログラムによって、駒(フィギュア218)の対決に偶然性や時間軸を設けることができる。このよう付加価値は、実際の戦場をリアルに再現する重要な要素になり、ノーマルな軍人将棋にはなかった新たな戦略性を生み出し、楽しく遊ぶことができる。
【0175】
図38は本発明のフィギュアユニットを新シミュレーション・ボードゲームの中央バトルステージに置いた状態を示す斜視図である。
【0176】
「新シミュレーション・ボードゲーム」の駒としての利用
本発明のフィギュアユニットは、「ボードゲーム」の駒として利用することができる。ベース(印刷物5)とフィギュア218をセットした状態で、ベース(印刷物5)の上にフィギュア218を配置して遊ぶことができる。対戦の際には、中央のバトルステージ(印刷物5)に向かい合わせにフィギュア218を置き、ステージにはドットパターン803と情報伝達部7が印刷されており、このドットパターン6をフィギュア218のカメラ202で読み取り、内部の処理プログラムによって、複雑な対戦を展開することができる。
【0177】
このように、本発明のフィギュアユニットは印刷物5等に印刷した入力インターフェースとして使用できるので、コンテンツ毎にそれに合わせたインターフェースを製造することができる。また、インターネットを経由して、紙のインターフェースをPDF等でダウンロードしてプリンタ装置で出力し、それに応じたプログラムをダウンロードしてパソコン等にセットすれば、インターフェースをネットワーク経由で供給することも可能である。
【0178】
図39はフィギュアの一形態であるヌイグルミ内にカメラユニットと出力ユニットを内蔵した本発明の他の実施形態を示す説明断面図である。
【0179】
本発明のカメラユニットAと出力ユニットBについては、上述したフィギュア218の一形態である、綿またはスポンジのような弾力性素材を所定の形態を有する外皮に詰め込んだ、いわゆるヌイグルミ231内に内蔵することが可能である。たとえば、カメラユニットAのレンズ部分をそのままヌイグルミ231の眼球232部分に配置すると共に、出力ユニットBをヌイグルミ231の胴体233内に出し入れ自在に内蔵する。このように構成すれば、お気に入りのヌイグルミ231をそのまま所定の情報や音声を再生させる装置として使用することができる。
【0180】
図40と41はフィギュアの一形態であるヌイグルミ内にカメラユニットと出力ユニットを内蔵した他の実施形態を示す説明断面図である。
【0181】
ヌイグルミ231内に内蔵するカメラユニットAは、必ずしもそのヌイグルミ231の眼球232部分に配置する必要はない。たとえば、ヌイグルミ231の眼球232部分以外に、図示するように、ヌイグルミ231の手34に配置することができる。この他に本発明のカメラユニットAは、ヌイグルミ231の尻、腹、足、その他の所望の位置に配置することができることは勿論である。このカメラユニットAの配置位置はヌイグルミ231の種類や大きさまたは遊び方の目的に応じて決定される。
【0182】
なお、本発明は上述した発明の実施形態に限定されず、印刷物5中のドットパターン6のみを認識することにより、所定の情報や音声を再生させて様々な使用を可能にする構造であれば、上述した利用方法に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【0183】
また、本発明のドットパターンでは、キードットのずらし方を変更することにより、同一のドットパターンであっても別の意味を持たせることができる。つまり、キードットKDは格子点からずらすことでキードットKDとして機能するものであるが、このずらし方を格子点から等距離で45度ずつずらすことにより8パターンのキードットを定義できる。
【0184】
ここで、ドットパターンをC−MOS等の撮像手段で撮像した場合、当該撮像データは当該撮像手段のフレームバッファに記録されるが、このときもし撮像手段の位置が紙面の鉛直軸(撮影軸)を中心に回動された位置、すなわち撮影軸を中心にして回動した位置(ずれた位置)にある場合には、撮像された格子ドットとキードットKDとの位置関係から撮像手段の撮像軸を中心にしたずれ(カメラの角度)がわかることになる。この原理を応用すれば、カメラで同じ領域を撮影しても角度という別次元のパラメータを持たせることができる。そのため、同じ位置の同じ領域を読み取っても角度毎に別の情報を出力させることができる。
【0185】
いわば、同一領域に角度パラメータによって階層的な情報を配置できることになる。
【0186】
この原理を応用したものが図48、図50、図52に示すような例である。図48では、ミニフィギュア1101の底面に設けられたスキャナ部1105でこのミニフィギュア1101を台座上で45度ずつ回転させることでドットパターンの読取り情報とともに異なる角度情報を得ることできるため、8通りの音声内容を出力させることができる。
【0187】
図42〜図76は、実施形態のさらに変形例を示した図である。
【0188】
図42は、カメラをペン型スキャナ1001としてペン状のケース(装置本体)1015に収容したものである。
【0189】
ケース1015内には、バッテリ1016、スピーカ1007、回路基板1017が内設されている。回路基板1017上には中央処理装置(CPU)とメモリが面付実装されている。また図示は省略したマイク等を内蔵してもよい。また、ケース1015の後端(図で右上端部)にはメモリカートリッジ1014が着脱可能に装着されている。このメモリカートリッジ1014にはプログラムまたは既存の音声データ等が登録されるようになっている。メモリカートリッジ1014は交換可能に構成されており、ROMカートリッジ、マイクユニットカートリッジ等に交換可能である。
【0190】
ケース1015の表面には、ボタン1130a〜1130cが設けられており、読取り開始、録音開始、音声再生等が制御できるようになっている。
【0191】
当該ボタンの中で録音ボタンを押すことによって図示しないマイクで音声を録音することができる。録音した音声データはメモリカートリッジ1014に記録される。このとき、録音ボタンを押圧した状態のままドットパターンをスキャンすると当該ドットパターンに録音した音声わが割り当てられる。消去ボタンを押しながらドットパターンをスキャンすると音声のドットパターンへの割り当てが解除される。なお、このとき音声データはメモリカートリッジ1014に保存されたままであってもよい。
【0192】
同図において、ケース1015の先端(図で左下端部)には、ケース1015を約45度程度傾けて媒体面に当接したときに、媒体面の鉛直軸に沿ってC−MOSカメラユニット、スプリング1121および先細り状のノーズ1125が設けられている。ノーズ1125は、ケース1015が媒体面方向に押圧されると、スプリング1121の付勢力に抗して後退(情報に移動)し、スイッチ1123を押圧作動させるようになっている。
【0193】
ノーズ1125内空間にはC−MOSカメラユニットのレンズ1126が該空間に臨むように取り付けられており、ノーズ先端の窓部を撮像可能となっている。
【0194】
ノーズ1125内空間にはクランク状に45度ずつの2箇所の折曲部を有する照射管1127が設けられている。
【0195】
該照射管1127は、透明樹脂の筒体で構成されており、その基端面はLED1122に対面しており、LED1122の照射光が照射管内に入射されるようになっている。照射管内壁面で照射光の拡散成分(光軸に対して45度よりも大きな角度の光成分)は照射管内壁面を通過して外部に放射される。そして照射光の直進成分(光軸に対して45度よりも小さな角度の光成分)は照射管内壁面で反射されて管内を進行する。照射光は照射管内で光軸とほぼ平行な成分だけが先端面からノーズ1125の開口部に対して照射されるようになっている。
【0196】
このように、照射光は、透明樹脂で構成されたクランク状の照射管を通過することによって光軸に平行な集束光となるため、ノーズ部1125の開口部の全域にわたって均一な光量を供給することができる。このように本実施形態によれば、拡散光のような場合に生じる周辺部の暗がりがないため、ドットパターン607の読取り精度を高めることができる。
【0197】
図43は、このようなペン型スキャナ1001を装置本体1002に接続したものである。同図において、装置本体1002にはメモリカードスロット1003を備えており、音声データやプログラムが登録されたメモリカード1004を挿入可能となっている。また、装置本体1002にはマイクロホン1005が接続されて外部から音声データを装置本体内のメモリに登録することができるようになっている。音声データは装置本体1002のスピーカ1007又は装置本体1002に接続されたスピーカ1006から出力させることができるようになっている。
【0198】
なお、図43ではペン型スキャナ1001と装置本体とはケーブルで接続されているが、図44に示すようにスキャナ内に無線インターフェースを内蔵して装置本体1002とは無線で通信を行うようにしてもよい。
【0199】
図45はペン型スキャナの変形例を示している。同図に示すように、ペン型スキャナ1001aは、バッテリー1010、スピーカ1007を備えており、SDカードやメモリースティックまたはスマートメディア等のメモリーカード1004を装着できるようになっている。
【0200】
図46は、本発明をボードゲームに適用した場合を示しており、ミニフィギュア1101を駒としてボード1102に記載されたマス目1103をサイコロやスピーカ1104で決定された数字分だけミニフィギュア1101をマス目に沿って移動させるものである。この、ミニフィギュア1101の底面にはCCDやC−MOS等の読取り素子が設けられており、ボード1102のマス目にはドットパターンが形成されている。したがって、ミニフィギュア1101をマス目上に置くことによってマス目毎に異なった音声情報をケーブルで接続されたスピーカ1104から出力させることができる。これによってたとえば次のマス目への移動指示やゲーム進行にとって必要な情報を音声情報として出力させることができる。
【0201】
図47は、ミニフィギュア1101と装置本体1102とを分離し、ミニフィギュア1101の底面に設けられたスキャナ部1105で図示しないドットパターンを読み込んで無線通信で装置本体1102に当該ドットパターンに対応した読取り信号を送信するものである。装置本体1102ではスピーカ1007を備えており、前記読取り信号に対応した音声情報をメモリカード1004から読み出して音声情報として出力するようになっている。
【0202】
なお、この構成の場合、ミニフィギュア1101と装置本体1102との通信トラフィックを低減するために、ミニフィギュア1101本体内にデコーダを設けて、読み取ったドットパターンの画像データをデコードして数桁のコード情報に変換し該コード情報のみを読み取り信号として装置本体1102に送信することが望ましい。
【0203】
図48は、ミニフィギュア1101の底面に設けられたスキャナ部1105で台座1110表面に形成されたドットパターンを読み取る場合の変形例である。本実施形態では、スキャナ部1105のドットパターンに対する位置によって読取り内容を変えることができる。たとえば、ミニフィギュア1101の立設軸を中心にドットパターンに対して所定の角度ずつ傾けると、読取り信号も変化させることができるため、ミニフィギュアの向く方向によって出力させる音声内容も変化させることができる。ドットパターンに対してミニフィギュアの角度を変化させることで音声内容を変化させる方法については前述したので省略する。
【0204】
図49は、ミニフィギュア1101の他の構成例であり、この実施形態ではミニフィギュア1101内にはスキャナ部1105の他、バッテリー1010、スピーカ1007が内蔵されており、さらにメモリカード1004が装着可能となっており、メモリカード1004を交換することにより、プログラムまたは音声データを変更させて全く異なるゲームやミニフィギュア1101を全く異なるキャラクタに変更することもできる。
【0205】
なお、これらの図で説明したミニフィギュア1101は、図面上簡易な人形形状のもので説明したが、アニメーションのキャラクタやペット等の小動物、架空の動物、人物等を模したものであってもよいことは勿論である。
【0206】
図50は、カード1121にドットパターン1122が設けられており、このドットパターン1122を読み取るスキャナが内蔵された台座1123上にカード1121を所定角度で配置することにより音声や表示データで得点が出力される形式の玩具である。
【0207】
図52は、雑誌等に印刷されたクロスワードパズル1132をペン型スキャナ1001を用いて遊ぶ場合の例を示したものである。紙面のクロスワードパズル1132の空白枠内1133には本発明のドットパターン1122が形成されており、ペン型スキャナ1001の先端を所定の空白枠1133内に当接させることによって当該空白枠1133に設定された縦列または横列のワードのヒントがペン型スキャナ1001の液晶表示部1131に表示されるようになっている。
【0208】
この場合、ペン型スキャナ1001の先端部をヒントを希望する空白枠内1133に当接させることで、該空白枠内に形成されたドットパターンを読み込んで当該ワードのヒントを液晶表示部1131に表示させることができる。このとき、同じ空白枠内に当接させる場合であっても、ペン型スキャナ1001を当接させる角度によって縦方向のヒント、横方向のヒント、斜め方向のヒントをそれぞれ表示させることができる。このとき、前述のように、格子ドットに対するキードットの格子点からのずれを中央処理装置(CPU)で計算する際に、カメラの傾き(紙面の鉛直軸を中心にした撮像素子の回転方向へのずれ)を計算できるため、カメラの傾きに応じたクロスワードパズルの縦、横、斜め方向を認識することができる。したがってそれに対応したヒントを記憶手段から読み出して表示したりスピーカから1007から発声させることができる。
【0209】
なお、ペン型スキャナ1001を縦方向、横方向または斜め方向に2枠程度移動させることによってXY座標方向への移動を検出し(検出方法については前述している)当該方向のワードのヒントを液晶表示部1131に表示させたり、スピーカ1007から音声情報として発声させてもよい。
【0210】
図54は、自走型の猫のヌイグルミ1141の腹部底面にスキャナ部1105を設けておき、ボードや家庭内の床面にシール等で形成されたドットパターン1122上を該ヌイグルミ1141が自走することによってドットパターン1122を読取り、該読取り信号を装置本体1102に送信するものである。
【0211】
図55は、自走式またはラジオコントロール式の自動車玩具1151の底面にスキャナ部1105が設けられており、ボードや床面にシール等で形成されたドットパターン1122を読み取って装置本体1102に読取り信号を送信することによって装置本体1102のスピーカ1007からドットパターン1122に対応する音声情報を出力するものである。
【0212】
たとえば、市街の道路を印刷したシートを用意し、当該シート上を自動車玩具を走らせて遊ぶ場合、交差点や踏切の手前には該シート上にドットパターン1122を形成したシールを貼っておき、前記自動車玩具1151が交差点や踏切に接近した際に一時停止を促す音声情報を装置本体1102のスピーカ1007から出力させてもよい。
【0213】
図56は、対戦型カードゲームに本発明を適用した場合の説明図である。
【0214】
同図に示すように、装置本体1102には一対のカード挿入口が設けられており、各カード挿入口に対戦する2人のそれぞれの持ちカード1121,1121を挿入することにより、カード1121,1121に設定されたパラメータの優劣を判定するものである。カード1121,1121の表面には図51で説明したようにドットパターン1122が設けられており、このドットパターン1122を装置本体1102のスキャナ部1105で読み取ることにより、ドットパターン1122に対応付けられたパラメータをメモリカード1004から読み出すことで勝敗の判定ができるようになっている。なお、この装置本体1102に液晶表示画面を設けて勝敗結果を表示できるようにしてもよい。なお、図57は、1枚のカード1102のみを挿入可能とした装置本体1102の例である。
【0215】
図58は、装置本体1102が単なるカードリーダであり、当該装置本体1102をパーソナルコンピュータと接続する場合の実施形態である。また、図59は、ドットパターンの形成されたはがき大のシート1161を連続的に読み込むための装置本体1102の例であり、たとえばドットパターンの形成されたユーザからの返信はがきを次々と読み込む場合に適した装置構成である。
【0216】
図60は、POSレジ等で利用可能な装置本体1102の例であり、表面にガラス面1171を備えており、ガラス面1171下に配置されたスキャナ部1105でガラス面1171上を通過する商品等に貼付されたドットパターン1122を走査することによりバーコードと同様な商品管理、販売管理等をすることができる。この場合、本発明では、包装箱または包装紙の印刷表面に印刷面と重畳してドットパターンを形成できるため、バーコードシステムのように商品の表面を体裁の悪いバーコードシールが占有することがない。
【0217】
図61は、装置本体を台座1102で構成し、ミニフィギュア1101と組み合わせた例である。この実施形態では、台座1102の上面にガラス板1171が配置され、その下方にスキャナ部1105が設けられている。そして底面にドットパターン1122が形成されたミニフィギュア1101が台座1102上に載置されると、このドットパターン1122がスキャナ部1105で読み取られてドットパターン1122から読み出したコード番号に対応する音声データが挿入されたメモリカード1004から読み出されてスピーカ1007から出力されるようになっている。
【0218】
図62は、装置本体1102がテレビモニタ1171に接続された例である。装置本体1102から映像信号と音声信号とがピンプラグを介してテレビモニタ1171に出力されるようになっている。音声データと映像データとは装置本体1102のメモリーカード1004または内蔵メモリに蓄積されており、ペン型スキャナ1001で読み取ったドットパターン1122に対応した動画データが音声データと映像データとに分離されてテレビモニタ1171に入力されて、テレビモニタ1171の画面とスピーカから出力されるようになっている。
【0219】
図63は、フォトスタンド形式の装置本体1102を示している。写真1181の裏面にはドットパターン1122が形成されており、スタンド部分の背面にはスキャナ部(図示せず)が設けられており、このドットパターン1122を読み取ったコード番号に対応した音声情報が装置本体1102に内蔵されたメモリまたはメモリカードから読み出されてスピーカ1007から出力されるようになっている。この実施形態によれば、写真1181毎に予めドットパターン1122に対応した音声を内蔵メモリまたはメモリカード1004に登録しておくことにより、写真撮影時の解説または「誕生日おめでとう」等の音声メッセージをスピーカ1007から再生させることができる。
【0220】
なお、スピーカ1007の他にマイク1005を設けて、音声データを内蔵メモリまたはメモリカード1004に登録しておき、予め写真1181の裏面に貼付しているドットパターン1122と対応付けておいてもよい。
【0221】
また、同図のフォトスタンド型の装置本体1102には、液晶表示部1131を有しており、撮影日時やメッセージ文章等のデータをドットパターン1122に対応付けておき、写真1181に対応付けたこれらのデータを液晶表示部1131に表示させてもよい。
【0222】
図64は、ペン型スキャナ1001をUSBケーブルを介してパソコン1201に接続したものである。ペン型スキャナ1001とパソコン1201との接続はUSBインターフェースを用いる場合の他、RS−232Cによるシリアルインターフェース、LANインターフェース、IEEE1394インターフェース等を用いてもよい。
【0223】
また、パソコンに無線インターフェースカード1209を装着してペン型スキャナ1001と無線通信で接続してもよい。無線インターフェースについては、ブルートゥース、無線LAN等を用いることができる。また、無線インターフェースの他に赤外線通信等の光インターフェースを用いてペン型スキャナ1001とパソコン1201とを接続するようにしてもよい。
【0224】
図65は、PDA1202にケーブルでペン型スキャナ1001を接続した図である。PDA1202とペン型スキャナ1001との接続も有線接続の他、無線接続、光通信接続で実現してもよい。
【0225】
図66は、スキャナをマウス1301に内蔵した場合のパソコン1201との接続を示したものである。マウス1301はUSBインターフェースを介してパソコン1201にケーブル接続する場合が一般的であるが、無線接続または光通信接続を用いてもよい。
【0226】
図67および図68は、マウス1301にデジタイザ機能を持たせたものである。このマウスの中にはスキャナ部1105が設けられており、マウス1301の先端にガラス部材1302で透過窓を設けて、上方からスキャナ部1105によるドットパターン1122の読み取りターゲットを目視で確認できるようになっている。
【0227】
図69は、PDA1202の本体にスキャナ部1105を設けた構成であり、図70はパソコン本体1201にスキャナ部1105を設けた構成を示している。図71のようにPDA1202の本体にスキャナ部1105を設けた場合、PDA1202の本体のスキャナ部1105を紙面等のドットパターン1122に翳して該ドットパターン1122を読み取ることができる。一方、図70のようにパソコン本体1201にスキャナ部1105を設けた場合、名刺やカード1121(図51参照)に設けられたドットパターン1122を前記スキャナ部1105に翳すことによってドットパターン1105を読み取るように使用できる。なお、図71や図73に示すように、携帯電話1401の本体にスキャナ部1105を設けたり、ゲーム機本体にスキャナ部を設けてもよい(図示は省略)。
【0228】
図72は、ペン型スキャナ1001を携帯電話98のコネクタに接続したものである。このような構成の場合、ペン型スキャナ1001で読み取ったドットパターンに対応する読取り信号を、携帯電話1401に予めダウンロードしたプログラムで処理し、携帯電話の表示部に表示したり、音声出力させてもよい。また、当該プログラムでサーバにアクセスし、読取り信号を送信してサーバで処理した結果データを携帯電話1401で受信するようにしてもよい。
【0229】
図74は、ペン型スキャナ1001に液晶表示部1131とスピーカ1007とを設けた構成を説明している。この実施形態のペン型スキャナ1001は、その先端にボールペン等の筆記具1601が装着されており、その周囲にスキャナ部1105が設けられている。
【0230】
このようなペン型スキャナ1001の使用例としては、レストラン等のメニューにドットパターン1122を形成しておき、当該メニューとペン型スキャナ1001とを来店者に手渡す。
【0231】
来店者は、メニューを選択して、当該筆記具1601で選択したメニューの四角形状のボックスをチェックする。このときスキャナ部1105で選択されたメニューに対応したドットパターン1122が読み込まれる。これによりペン型スキャナ1001の内部の中央処理装置の処理によりメモリから当該メニューに対応する文字情報を読み出して液晶表示部1131に表示する。同図では液晶表示部1131に来店者が選択したメニュー名「和風ハンバーグプレートセット」、とカロリー「864kcal」と金額「1,250円」とが表示されている。
【0232】
このように、来店者自身がメニューを選択し、かつその選択を確認することができるため、店員はペン型スキャナ1001を回収するだけでオーダー処理を完了することができる。
【0233】
図75は、ペン型スキャナ1001にマイク1005とスピーカ1007とを設けた構成を示している。この実施形態では、写真1181の表面に形成されたドットパターン1122をスキャナ部1105で読み込んで、読取り完了後にマイク1005を用いて当該ドットパターン1122に対応した音声を入力する。入力された音声データはペン型スキャナ1001内の図示しないメモリに登録される。このときの音声は、当該写真1181を撮影したとの説明文や挨拶文等が考えられる。なお、写真表面の全体にわたってドットパターン1122を形成しておけば、集合写真等の場合、写真に写っている個人毎に説明文を登録しておくことも可能である。
【0234】
次に、当該写真1181の表面で説明を聞きたい部分にペン型スキャナ1001の先端(スキャナ部1105)を当接させることによってスピーカ1007から前述の音声データを再生させることができる。
【0235】
このように写真1181の他、個々のシールにドットパターン1122を形成しておき、シール表面にペン型スキャナ1001を当接して音声データを入力させることができる。
【0236】
図76は、システム手帳1701とノートとペン型スキャナ1001を組み合わせて用いる場合の例を示している。
【0237】
同図において、システム手帳1701のスケジュール欄1702にはあらかじめドットパターン1122が形成されている。そして、スケジュール欄1702に予定を登録する際に、出先等で文字を記録する余裕がない場合、ペン型スキャナ1001の先端(スキャナ部1105)を当該予定を入力した日付のスケジュール欄1702に当接させて、図示しないマイク17aから当該日付の予定を音声で入力しておく。
【0238】
そして、システム手帳1701上で予定を確認したいときには、確認した日付のスケジュール欄1702にペン型スキャナ1001(スキャナ部1105)を当接させてドットパターン1122を読み取ることにより、当該日付に対応付けて音声で入力した予定がスピーカ1007から再生される。
【0239】
なお、前記ペン型スキャナ1001はパソコン1201とUSBインターフェース等で接続可能としておくことにより、パソコン1201内のスケジュール管理システム(たとえば、マイクロソフト社のアウトルックや、ロータス社のノーツ等)とデータリンク(シンクロナイズ)させておけば、ペン型スキャナ1001で日付の欄(スケジュール欄1702)のドットパターン1122を読み込んだときに当該日付に対応する予定を文字データで同図に示すように液晶表示部1131に表示させることもできる。


なお、ペン型スキャナ1001をパソコン1201に接続しておき、前記システム手帳1701、IDカード、免許証等の表面に形成されたドットパターンを読み取ることによりパソコン1201の入力制御を行えるようにしてもよい。
【0240】
ドットパターン1122は、実施形態で説明した絵本等の媒体の他、通常の書籍、グリーティングカード、新聞、通信販売カタログ、パンフレット、ペーパークラフト、折り紙、レシピ等に形成してもよい。
【0241】
たとえば、通信販売カタログにドットパターンを形成しておくことにより、当該ドットパターンをスキャナ部で読み取って、商品の説明文を発声させたり、パソコン内のメモリに登録された購入申込みプログラムを起動させるようにしてもよい。
【0242】
また、ペーパークラフトや折り紙にドットパターンを形成しておくことで、該ドットパターンをスキャナ部で読み取って、作品の組み立て方をスピーカから音声で解説させるようにしてもよい。
【0243】
また、レシピにドットパターンを形成しておくことにより、料理等のレシピを音声で出力させることができる。
【0244】
また、本発明のドットパターンを用いてぬり絵のための絵本を提供してもよい。具体的には領域毎(マスク領域毎)に異なる色をクレヨン、フェルトペン、水彩絵の具等で着色させるようにしてもよい。この場合、ドットパターンが形成された紙面上であってもノンカーボンの水彩絵の具、クレヨン、フェルトペン等であえれば着色が施されていたとしても赤外線は前記着色層を透過させることができるため、ドットパターンの読取りは可能である。
【0245】
また、ドットパターンは、バーコードリーダと重ねて印刷されたものであってもよい。その場合、紙面等の媒体上でバーコードをノンカーボンインクで印刷し、さらにその上にカーボンインクでドットパターンを印刷する。通常のバーコードリーダーは、小さなドットが打ってあっても、バーコードを正確に読み取ることができる。次に本実施形態のペン型スキャナを用いて、ドットパターンのみを読み取り情報コードを入力する。
【0246】
また、バーコードを「(A)可視光線+可視光線の波長領域に近い赤外線もしくは紫外線」或いは、「(B)可視光線の波長領域に近い赤外線もしくは紫外線」を吸収するインクで印刷し、ドットを「(C)バーコードで使用した赤外線もしくは紫外線の波長領域とは異なる赤外線もしくは紫外線」を吸収するインクで印刷してもよい。
【0247】
この場合、C−MOSSカメラに可視光線遮断フィルターを取り付け、前記(A)もしくは(B)と同一の波長の光を発する第1のLEDを照射し、バーコードのみを読み取る。次に、(C)と同一の波長の光を発する第2のLEDを照射し、ドットパターンのみを読み取り、情報コードを入力する。このように、バーコード上にドットパターンからの情報を配置することにより重畳的な情報の取得(バーコードとドットパターンからのコード)が可能となる。
【産業上の利用可能性】
【0248】
本発明は、ドットパターンは、それが形成される書籍、絵本等の出版分野、写真シール、入力用にドットパターンを形成したシール、写真シール、ゲーム用のボード、フィギュア、ヌイグルミ等のキャラクタ商品、パソコン・テレビ等のモニタ画面のタッチパネルに利用できる。
【0249】
また、ドットパターンの読取りシステムとしては、子供向けの玩具コンピュータ分野、汎用コンピュータの入力システムとして利用できる。
【0250】
さらに、当該システムをケースに収納すれば、単体のスキャナとしての電子機器、ボイスレコーダ等の分野に利用できる。
【符号の説明】
【0251】
1、601 ドットパターン
2、102 カメラユニット
5、606 印刷物
6、601、607、803、1122 ドットパターン部
7 情報伝達部
8、108、208 センサ部
9、109、209、806 処理部
10、210 記憶部(メモリ)
11、111、211 本体処理部
12、112、212 画像処理部
14 スピーカ
15 出力部
16 通信カード
17 入力部
18 本体ケース
19 イヤホン端子
20 ボタンスイッチ
21 USB端子
23 コンピュータ
24 GPS
31 音声入力端子
32 無線送信部
33 無線受信部
34 ケーブル
36 ペン
40 マウス型本体
110 携帯電話機
113、213 赤外線発光部
118 情報入力装置
123 コンピュータ
202、602、810 カメラ
218 フィギュア
231 ヌイグルミ
603 第一方向
604 第二方向
605 ドット
608、1201 パソコン
611 透明フィルム
612 タッチパネル
615 ケース
616 マウスパッド
619 ペン状部材
620 テーブル
621 紙
622 スイッチ
701 基準ドット
702 第一の仮想基準線
703 第二の仮想基準線
704 仮想基準点
705 情報ドット
801、821 携帯用電子玩具
802 媒体
805 スピーカ
807 音声再生LSI
808 ケース本体
809 ケーブル
812、1131 液晶表示部
813 画像再生LSI
816 記憶媒体
822、1101 ミニフィギュア
824 台
823 ケース本体
1001 ペン型スキャナ
1002、1102 装置本体
1004 メモリカード
1007 スピーカ
1015 ケース
1105 スキャナ部
1121 カード
1124 筒状ケース
1125 ノーズ部
1181 写真
1202 PDA
1301 マウス
1401 携帯電話
1701 システム手帳
2022 LED
2023 フィルタ

【特許請求の範囲】
【請求項1】
種々のマルチメディア情報を出力させるために、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを1ラインまたは複数並べて形成したドットパターンが形成された印刷物等の媒体を光学読取り手段で画像データとして読み取り、
該画像データのドットパターンを解析して該XY座標値および/またはコード値に変換し、
該XY座標値および/またはコード値に対応したマルチメディア情報を記憶手段から読み出して出力する情報入出力方法。
【請求項2】
前記ストリームドットパターンは、前記第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と1つのXY座標値および/またはコード値を定義するために、基準となる基準ドットを所定の位置に設けた、請求項1記載の情報入出力方法。
【請求項3】
前記光学読取り手段には、赤外線または紫外線を照射する照射手段を備え、赤外線または紫外線を吸収するインクで印刷された前記ドットパターンのみを読み取る請求項1または2に記載の情報入出力方法。
【請求項4】
前記媒体は、印刷物または写真であり、媒体上に配置された文字や絵柄に応じた音声情報を出力させるために、前記ドットパターンが重畳して形成されているか、
または、該前記印刷物または写真の絵柄に応じて複数の領域に分けて重畳して形成されている請求項1または2に記載の情報入出力方法。
【請求項5】
前記ドットパターンは、前記印刷物に貼付可能なシール材、カードまたは固形物の表面に形成された請求項1または2に記載の情報入出力方法。
【請求項6】
種々のマルチメディア情報を出力させるために、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび/または該第一の仮想基準線から所定の位置に定義される、直線および/または曲線からなる少なくとも1以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでXY座標値および/またはコード値が定義される情報ドットを配置する工程に従って配列したストリームドットパターンを1ラインまたは複数並べて形成したドットパターンを形成した印刷物等の媒体に対して、
該媒体のドットパターンを画像データとして読み取る光学読取り手段と、
該画像データのドットパターンをXY座標値および/またはコード値に変換する解析手段と、
該XY座標値および/またはコード値に対応したマルチメディア情報を記憶する記憶手段と、
該マルチメディア情報を出力する出力手段と、を備えた情報入出力装置。
【請求項7】
前記媒体はマウスパッドまたはタブレットであり、
前記光学読取り手段または、光学読取り手段および解析手段は、マウスまたはペンケースに収容されている請求項6記載の情報入出力装置。
【請求項8】
前記情報入出力装置は、ペン状ケースに収容されている請求項6記載の情報入出力装置。
【請求項9】
前記情報入出力装置は、入力部としてのマイクを有し録音した音声を前記記憶手段に記憶し、任意のドットパターンに定義されたXY座標値および/またはコード値に対応させるリンクテーブルを所定の方法で生成し、
前記光学読取り手段で該ドットパターンを読み取り、前記解析手段で該XY座標値および/またはコード値に変換し、
該リンクテーブルを参照して該XY座標値および/またはコード値に対応した該音声を出力する請求項6に記載の情報入出力装置。
【請求項10】
前記リンクテーブルは、前記音声を録音中または録音終了後、
所定の時間内に前記光学読取り手段で任意のドットパターンを読み取るか、
または、前記光学読取り手段に備えられたリンクボタンを押しながら該光学読取り手段で任意のドットパターンを読み取るか、
または、前記媒体にリンク指示のためにリンクアイコンと重畳して設けられた前記ドットパターンを前記光学読取り手段で読み取り、その直後に該光学読取り手段で任意のドットパターンを読み取るか、
して解析手段で変換されたXY座標値および/またはコード値に録音された音声を対応させて生成する請求項9記載の情報入出力装置。
【請求項11】
前記情報入出力装置は、PC、PDA、携帯電話、電子玩具である請求項6〜10のいずれかに記載の情報入出力装置。
【請求項12】
前記電子玩具はフィギアであって、前記光学読取り手段を下向きに該フィギアの底部に備えて、前記媒体面に設けられたドットパターンを読み取る請求項11記載の情報入出力装置。
【請求項13】
前記前記光学読取り手段には、前記ドットパターンを読み取った画像を前記解析手段に送信するか、
または、該光学読取り手段で前記ドットパターンを画像として読み取り、前記解析手段で変換されたXY座標値および/またはコード値を、前記記憶手段に送信する送信手段を備えた請求項6記載の情報入出力装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate

【図42】
image rotate

【図43】
image rotate

【図44】
image rotate

【図45】
image rotate

【図46】
image rotate

【図47】
image rotate

【図48】
image rotate

【図49】
image rotate

【図50】
image rotate

【図51】
image rotate

【図52】
image rotate

【図53】
image rotate

【図54】
image rotate

【図55】
image rotate

【図56】
image rotate

【図57】
image rotate

【図58】
image rotate

【図59】
image rotate

【図60】
image rotate

【図61】
image rotate

【図62】
image rotate

【図63】
image rotate

【図64】
image rotate

【図65】
image rotate

【図66】
image rotate

【図67】
image rotate

【図68】
image rotate

【図69】
image rotate

【図70】
image rotate

【図71】
image rotate

【図72】
image rotate

【図73】
image rotate

【図74】
image rotate

【図75】
image rotate

【図76】
image rotate