説明

触覚表示装置、触覚表示方法およびプログラム

【課題】触知ピンの精確な制御を行う。
【解決手段】互いに異なる方向から触知ピン120が配置されている面をそれぞれ撮影するカメラ130−1,130−2が撮影した画像に基づいて、カメラ130−1,130−2が撮影した物体と面との距離を距離測定部140が測定し、カメラ130−1,130−2が撮影した物体の移動の方向および速度を動き算出部150が算出し、距離測定部140が測定した距離と、動き算出部150が算出した物体の移動の方向および速度とに基づいて、触知ピン120の突出を制御部160が制御する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点字等を用いて表示を触覚で認識させるための触覚表示装置、触覚表示方法およびプログラムに関する。
【背景技術】
【0002】
視覚障害者に対して情報を提示する場合、点字ディスプレイ・触覚ディスプレイと呼ばれる表示装置(触覚表示装置)を用いることが多い。
【0003】
このような触覚表示装置においては、その装置の周囲が覆いで囲われていない場合、ディスプレイ上に表示されている点字を第三者によって覗き見されてしまうおそれがある。
【0004】
これを防止するために、新たに専用の装置を設置することが考えられるが、装置の開発や設置のための工数やコストがかかってしまう。
【0005】
また、指がその表示面に近づいたこと、または触れたことを検知するセンサを設け、そのセンサの検知結果に基づいて、触知ピンの突出を制御する技術が考えられている(例えば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2006−084946号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載されたような技術においては、精確なタイミングで触知ピンを突出させることが困難であるという問題点がある。例えば、触知ピンの突出のタイミングが早すぎると、覗き見を完全には防ぎきれない。一方、触知ピンの突出のタイミングが遅すぎると、既に指が触知ピンに触れているときに突出してしまうため、普段と同じ感触で触読を行なえない。
【0008】
また、指と触覚ディスプレイとの距離を検出することもできないという問題点がある。そのため、利用者が触読位置を変更するために指を移動させているだけであるときに、指がセンサに検知されてしまうことで触知ピンが突出すると、表示内容を周囲の第三者から覗き見されるおそれがある。
【0009】
このように、上述した技術においては、検知の精確さに欠け、実際に指が触知ピンの上を通過するタイミングと、触知ピンの突出のタイミングとのズレを防ぐことはできない。また、センサにより触読の細かい動きを検知しようとすると、膨大な数なセンサが必要となってしまうという問題点がある。
【0010】
本発明の目的は、上述した課題を解決する触覚表示装置、触覚表示方法およびプログラムを提供することである。
【課題を解決するための手段】
【0011】
本発明の触覚表示装置は、
1つの面から突出することで、点字を構成する複数の触知ピンと、
互いに異なる方向から前記触知ピンが配置されている前記面をそれぞれ撮影する2つのカメラと、
前記2つのカメラが撮影した画像に基づいて、該カメラが撮影した物体と前記面との距離を測定する距離測定部と、
前記2つのカメラが撮影した画像に基づいて、該カメラが撮影した前記物体の移動の方向および速度を算出する動き算出部と、
前記距離測定部が測定した距離と、前記動き算出部が算出した前記物体の移動の方向および速度とに基づいて、前記触知ピンの突出を制御する制御部とを有する。
【0012】
また、本発明の触覚表示方法は、
1つの面から突出することで点字を構成する複数の触知ピンを用いて、情報を表示する触覚表示方法であって、
互いに異なる方向から前記触知ピンが配置されている前記面をそれぞれ撮影する処理と、
前記撮影した画像に基づいて、撮影された物体と前記面との距離を測定する処理と、
前記撮影した画像に基づいて、撮影された前記物体の移動の方向および速度を算出する処理と、
前記測定した距離と、前記算出した前記物体の移動の方向および速度とに基づいて、前記触知ピンの突出を制御する処理とを行う。
【0013】
また、本発明のプログラムは、
1つの面から突出することで点字を構成する複数の触知ピンと、2つのカメラとが設けられた装置に実行させるためのプログラムであって、
前記2つのカメラを用いて、互いに異なる方向から前記触知ピンが配置されている前記面をそれぞれ撮影する手順と、
前記撮影した画像に基づいて、撮影された物体と前記面との距離を測定する手順と、
前記撮影した画像に基づいて、撮影された前記物体の移動の方向および速度を算出する手順と、
前記測定した距離と、前記算出した前記物体の移動の方向および速度とに基づいて、前記触知ピンの突出を制御する手順とを実行させる。
【発明の効果】
【0014】
以上説明したように、本発明においては、触知ピンの精確な制御を行うことができる。
【図面の簡単な説明】
【0015】
【図1】本発明の触覚表示装置の実施の一形態を示す図である。
【図2】図1に示した触覚表示装置の外観の一例を示す図である。
【図3】図1に示した触知ピンを触覚表示装置の上の方向から見た図である。
【図4】図1に示した触知ピンが点字を表現する方法の一例を示す図である。
【図5】図1に示した触知ピンの突出/非突出状態を説明するための図である。
【図6】図1に示した触覚表示装置における触覚表示方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0016】
以下に、本発明の実施の形態について図面を参照して説明する。
【0017】
図1は、本発明の触覚表示装置の実施の一形態を示す図である。
【0018】
本形態における触覚表示装置100には図1に示すように、触覚ディスプレイ110と、触知ピン120と、カメラ130−1,130−2と、距離測定部140と、動き算出部150と、制御部160とが設けられている。なお、図1には、触覚表示装置100が具備する構成要素のうち、本発明に関わるもののみを示した。
【0019】
触覚ディスプレイ110は、1つの面(例えば、平面)から構成され、触知ピン120の突出により、点字を用いて情報を表示する。
【0020】
触知ピン120は、複数のピンから構成され、触覚ディスプレイ110から突出することで、点字を構成する。そのため、触知ピン120は、触覚ディスプレイ110から突出したときに、点字として認識可能な長さ等の形状を持つ。
【0021】
カメラ130−1,130−2は、撮影機能を具備し、互いに異なる方向から触知ピン120が配置されている面(触覚ディスプレイ110)全体を撮影する。また、カメラ130−1,130−2は、撮影した画像を距離測定部140および動き算出部150へ出力する。
【0022】
また、一方のカメラ(例えば、カメラ130−1。以下の説明について同じ。)は、触覚ディスプレイ110の高さ、または触知ピン120が突出した時の触知ピン120の高さ(触知ピン120の先端の高さ)とほぼ同じ高さで、面(触覚ディスプレイ110)に対して水平方向を撮影するように配置されている。
【0023】
また、他方のカメラ(例えば、カメラ130−2。以下の説明について同じ。)は、カメラ130−1の配置位置の高さとは異なる高さで、触覚ディスプレイ110の上方から斜め下の触覚ディスプレイ110を操作しようとする指を見下ろすような位置であり、且つ、水平位置もカメラ130−1の配置位置とは異なる位置に配置される。このとき、触読を行う利用者の指が、カメラ130−2に対して他の指や手首の陰に隠れてしまわないように、利用者からみて触覚表示装置100の奥側に配置する。
【0024】
距離測定部140は、カメラ130−1,130−2から出力されてきた画像に基づいて、カメラ130−1,130−2が撮影した物体(指)と面(触覚ディスプレイ110)との距離(高さ)を測定する。ここで、上述したような配置から、距離測定部140は、この高さを測定するのに適しているカメラ130−1から出力されてきた画像に基づいて、当該距離(高さ)を測定する。また、距離測定部140は、測定した距離を制御部160へ出力する。
【0025】
動き算出部150は、カメラ130−1,130−2から出力されてきた画像に基づいて、カメラ130−1,130−2が撮影した物体(指)の移動の方向および速度を算出する。
【0026】
また、動き算出部150は、移動の方向および速度を算出する際、物体(指)の位置を算出する。この位置の算出では、カメラ130−1,130−2を用いて、互いに異なる方向から対象物となる指および触覚ディスプレイ110を3次元的に撮影するため、その撮影結果から指の位置を特定することができる。また、動き算出部150は、算出した位置を示す位置情報を、画像のフレームごとにメモリ(不図示)に保存しておく。なお、画像のフレーム速度については、特に規定しない。例えば、30fps(frame per second)であっても良いし、60fpsであっても良い。
【0027】
また、動き算出部150は、カメラ130−1,130−2が撮影した物体の過去の動きに基づいて、物体の移動の方向および速度を算出する。具体的には、動き算出部150は、1フレーム前の位置情報と現在の指の位置情報との差分に基づいて、直近1フレームの指の移動の方向および速度を算出する。また、動き算出部150は、メモリに保存されている過去5フレームの指の位置情報に基づいて、過去5フレーム間の指の移動の方向および速度を算出する。このような、過去の存在位置に基づいて、移動の方向や速度を算出するアルゴリズムは、一般的に用いられているもので良い。また、この「1フレーム前」や「過去の5フレーム」というフレーム数は、この数に限定しない。
【0028】
また、動き算出部150は、算出した直近1フレームの指の移動の方向および速度と、算出した過去5フレーム間の指の移動の方向および速度とを制御部160へ出力する。
【0029】
制御部160は、距離測定部140から出力されてきた距離と、動き算出部150から出力されてきた物体の移動の方向および速度とに基づいて、触知ピン120の突出を制御する。このとき、制御部160は、動き算出部150から出力されてきた、直近1フレームの指の移動の方向および速度と、過去5フレーム間の指の移動の方向および速度とに基づいて、物体が動く先の位置を決定し、決定した位置と、距離測定部140から出力されてきた距離とに基づいて、触知ピン120の突出を制御する。さらに具体的には、制御部160は、距離測定部140から出力されてきた距離が所定の閾値以下である場合、触知ピンの突出を制御する。つまり、制御部160は、距離測定部140から出力されてきた距離が所定の閾値以下である場合、決定した位置に相当する位置に配置されている触知ピン120を突出させる。
【0030】
図2は、図1に示した触覚表示装置100の外観の一例を示す図である。
【0031】
図1に示した触覚表示装置100は図2に示すように、720×480の触知ピン120を備えた触覚ディスプレイ110が設けられ、触知ピン120の凹凸により点字だけでなく、画像を表現することも可能である。また、利用者の触読意思の有無の判断や触読軌跡の追尾を行なうための2台のカメラ130−1,130−2が設けられている。
【0032】
図3は、図1に示した触知ピン120を触覚表示装置100の上の方向から見た図である。
【0033】
図3に示すように、複数の触知ピン120で触知ピン群121(図中に示した太線の枠に囲まれた触知ピン120の組)が構成され、この触知ピン群121で点字の構成要素の点を表現している。触知ピン群121を構成する複数の触知ピン120に、互いに微妙な高さの差をつけることにより、擬似的に曲面を表現し、利用者が触読を行なう際の触感を本物の点に近づけている。
【0034】
図4は、図1に示した触知ピン120が点字を表現する方法の一例を示す図である。
【0035】
日本の点字は、6つの凹凸で1つの文字を表現する。そのため、図4に示すように、6つの触知ピン群121の凹凸の集合1つで1つの文字を表す。また、1つの触知ピン群121は複数の触知ピン120から構成され、それぞれの触知ピン120は、任意の高さをとることができる。
【0036】
図5は、図1に示した触知ピン120の突出/非突出状態を説明するための図である。
【0037】
図5に示した触知ピン120のうち、左側の触知ピン120の態様が、触覚ディスプレイ110の表面から突出したときの状態(突出状態)である。また、図5に示した触知ピン120のうち、右側の触知ピン120の態様が、触覚ディスプレイ110の表面から引っ込められたときの状態(非突出状態)である。触知ピン120の突出/非突出状態の制御は、上述したように制御部160によって行われる。この制御を行う機構は、例えば、磁石を用いたものであっても良いし、他の機械的なものであっても良いし、特に規定しない。
【0038】
以下に、図1に示した触覚表示装置100における触覚表示方法について説明する。
【0039】
図6は、図1に示した触覚表示装置100における触覚表示方法を説明するためのフローチャートである。
【0040】
まず、カメラ130−1,130−2によって撮影された画像に基づいて、指の位置が動き算出部150によって特定され、カメラ130−1によって撮影された画像に基づいて、指の高さ(指から触覚ディスプレイ110までの距離)が距離測定部140によって測定される(ステップS1)。動き算出部150による指の位置の特定方法は、上述した通りである。また、測定された高さを示す高さ情報は、距離測定部140から制御部160へ出力される。
【0041】
その後、動き算出部150によって、メモリに保存されている1フレーム前の位置情報が読み出され、当該位置情報が示す位置と現在の指の位置との差分に基づいて、直近1フレームの指の移動の方向および速度が算出される(ステップS2)。
【0042】
また、動き算出部150によって、メモリに保存されている過去5フレームの指の位置情報が読み出され、当該位置情報が示す位置に基づいて、過去5フレーム間の指の移動の方向および速度が算出される(ステップS3)。
【0043】
ステップS2およびS3にて算出された結果は、動き算出部150から制御部160へ出力される。
【0044】
すると、制御部160にて、動き算出部150から出力されてきた「直近1フレームの指の移動の方向および速度」(以下、情報A)と、「過去5フレーム間の指の移動の方向および速度」(以下、情報B)とに基づいて、物体が動く先の位置が予想位置として決定される(ステップS4)。
【0045】
このとき、制御部160は、情報Aと情報Bとの平均値を取って、予想位置を決定するものであっても良いし、情報A、Bに所定の重み付けをそれぞれ乗じたものに基づいて、予想位置を決定するものであっても良い。例えば、利用者が触読の習熟者であるか初心者であるかによって、情報Aと情報Bとの重み付けを変えるという運用も考えられる。習熟者と初心者とでは、触読の軌跡の特徴が互いに異なることが知られている。習熟者の軌跡は、左から右へ向かってほぼ一直線である。一方、初心者の軌跡は、上下(y方向)に細かく揺れ、右から左(x方向)への後戻りの傾向があり、180度方向への方向転換が頻繁に発生する。そのため、追跡対象を見失うことを防ぐために、初心者の場合は、情報Aの重み付けを大きくするものであっても良い。
【0046】
続いて、制御部160にて、距離測定部140から出力されてきた高さ情報を示す高さ(距離)があらかじめ設定されている閾値以下であるかどうかが判定される(ステップS5)。例えば、閾値が「3mm」である場合、距離測定部140から出力されてきた高さ情報を示す高さが3mm以下であるかどうかが、制御部160によって判定される。
【0047】
距離測定部140から出力されてきた高さ情報を示す高さが閾値以下である場合、利用者が触読を行なおうとしていると判定され、ステップS4にて決定された予想位置に配置されている触知ピン120を制御部160が突出させる(ステップS6)。
【0048】
一方、距離測定部140から出力されてきた高さ情報を示す高さが閾値以下でない場合は、利用者が触読位置を変更しようとしていると判定され、触知ピン120の突出は行なわれない。
【0049】
その後、あらかじめ設定された時間が経過したかどうかが制御部160によって判定される(ステップS7)。
【0050】
所定の時間が経過した場合、ステップS6にて突出させた触知ピン120が制御部160によって、引っ込められる(非突出状態にされる)(ステップS8)。
【0051】
この所定の時間は、特に規定しないが、第三者からの覗き見を防止するために速やかに引っ込める必要があるため、突出状態の触知ピン120の位置が、指の予想移動位置でなくなったら最短の時間で引っ込められる時間とする。また、この時間は、制御部160の触知ピン120を突出/非突出させる機構の性能に依存する。
【0052】
以上の動作が、触覚表示装置100にて、1フレームごとに繰り返される。
【0053】
ここで、背景で述べた近接センサは、「接近した」か「接近していない」かという2つの状態しか判定することができないが、本発明のようなカメラでの撮影では、その近接距離について具体的に数値で判定が可能である。
【0054】
また、近接センサには数種類があり、その中で代表的なものとして、電磁誘導を利用した高周波発振型や、磁石を用いた磁気型、静電容量の変化を利用した静電容量型がある。例えば、高周波発振型の近接センサでは、対象物の材質が金属なのか非金属なのかによっても、その検出精度が変化してしまい、また、周囲の環境にも影響されてしまう。また、センサ同士が相互に影響を及ぼしてしまう。いずれのタイプでも、対象物が接近したかどうかをアナログ系ハードウェアの技術で検出するのが目的であり、数ミリの差を区別するのには原理的に困難である。
【0055】
以上説明した本発明においては、以下に示す効果を奏する。
【0056】
第1の効果は、周囲の状況を把握することが困難な視覚障害者のプライバシーを守ることができることである。触知ピン120の突出のタイミングが精確であり、なおかつ利用者が触読を行なおうとしているのか、それとも触読位置を変更するために指を移動させているだけなのかを判定して触知ピン120を突出させる。そのため、悪意を持った第三者に手元をビデオ撮影されたとしても個人情報を知られることはない。
【0057】
第2の効果は、従来製品とは異なり、専用の装置や膨大な数のセンサを設ける必要がないため、低コストで実現可能であることである。
【0058】
第3の効果は、触知ピン120の突出のタイミングが精確であるため、普段と同じ感触で触読を行なうことができることである。
【0059】
なお、上述した実施の形態以外にも、利用者の触読の軌跡のブレの大きさに応じて、過去の何フレーム間の位置を移動予想位置決定の判断材料とするかを変更するものも考えられる。
【0060】
上述した触覚表示装置100に設けられた各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム(以下、プログラムと称する)を触覚表示装置100にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを触覚表示装置100に読み込ませ、実行するものであっても良い。触覚表示装置100にて読取可能な記録媒体とは、フロッピー(登録商標)ディスク、光磁気ディスク、DVD、CDなどの移設可能な記録媒体の他、触覚表示装置100に内蔵されたROM、RAM等のメモリやHDD等を指す。この記録媒体に記録されたプログラムは、触覚表示装置100に設けられた制御部160にて読み込まれ、制御部160の制御によって、上述したものと同様の処理が行われる。ここで、制御部160は、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。
【符号の説明】
【0061】
100 触覚表示装置
110 触覚ディスプレイ
120 触知ピン
121 触知ピン群
130−1,130−2 カメラ
140 距離測定部
150 動き算出部
160 制御部

【特許請求の範囲】
【請求項1】
1つの面から突出することで、点字を構成する複数の触知ピンと、
互いに異なる方向から前記触知ピンが配置されている前記面をそれぞれ撮影する2つのカメラと、
前記2つのカメラが撮影した画像に基づいて、該カメラが撮影した物体と前記面との距離を測定する距離測定部と、
前記2つのカメラが撮影した画像に基づいて、該カメラが撮影した前記物体の移動の方向および速度を算出する動き算出部と、
前記距離測定部が測定した距離と、前記動き算出部が算出した前記物体の移動の方向および速度とに基づいて、前記触知ピンの突出を制御する制御部とを有する触覚表示装置。
【請求項2】
請求項1に記載の触覚表示装置において、
前記2つのカメラのうち、一方のカメラは、前記面とほぼ同じ高さで、前記面に対して水平方向を撮影するように配置されていることを特徴とする触覚表示装置。
【請求項3】
請求項1または請求項2に記載の触覚表示装置において、
前記動き算出部は、前記カメラが撮影した前記物体の過去の動きに基づいて、該物体の移動の方向および速度を算出することを特徴とする触覚表示装置。
【請求項4】
請求項1乃至3のいずれか1項に記載の触覚表示装置において、
前記制御部は、前記距離測定部が測定した距離が所定の閾値以下である場合、前記触知ピンの突出を制御することを特徴とする触覚表示装置。
【請求項5】
請求項1乃至4のいずれか1項に記載の触覚表示装置において、
前記制御部は、前記動き算出部が算出した前記物体の移動の方向および速度に基づいて、前記物体が動く先の位置を決定し、該決定した位置と、前記距離測定部が測定した距離とに基づいて、前記触知ピンの突出を制御することを特徴とする触覚表示装置。
【請求項6】
1つの面から突出することで点字を構成する複数の触知ピンを用いて、情報を表示する触覚表示方法であって、
互いに異なる方向から前記触知ピンが配置されている前記面をそれぞれ撮影する処理と、
前記撮影した画像に基づいて、撮影された物体と前記面との距離を測定する処理と、
前記撮影した画像に基づいて、撮影された前記物体の移動の方向および速度を算出する処理と、
前記測定した距離と、前記算出した前記物体の移動の方向および速度とに基づいて、前記触知ピンの突出を制御する処理とを行う触覚表示方法。
【請求項7】
1つの面から突出することで点字を構成する複数の触知ピンと、2つのカメラとが設けられた装置に、
前記2つのカメラを用いて、互いに異なる方向から前記触知ピンが配置されている前記面をそれぞれ撮影する手順と、
前記撮影した画像に基づいて、撮影された物体と前記面との距離を測定する手順と、
前記撮影した画像に基づいて、撮影された前記物体の移動の方向および速度を算出する手順と、
前記測定した距離と、前記算出した前記物体の移動の方向および速度とに基づいて、前記触知ピンの突出を制御する手順とを実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2013−16124(P2013−16124A)
【公開日】平成25年1月24日(2013.1.24)
【国際特許分類】
【出願番号】特願2011−150222(P2011−150222)
【出願日】平成23年7月6日(2011.7.6)
【出願人】(390001395)NECシステムテクノロジー株式会社 (438)
【Fターム(参考)】