知覚刺激情報生成システム
【課題】触覚等の視覚以外の知覚を利用することによって、２次元情報をユーザにより分かり安く伝達することが可能な知覚刺激情報生成システム、知覚刺激情報生成方法及び知覚刺激情報生成プログラムを提供することである。
【解決手段】知覚刺激情報生成システム１は、種類判定手段３Ａ、情報変換手段３Ｂ及び制御手段３Ｃを備える。種類判定手段３Ａは、２次元情報を取得して前記２次元情報の種類を判定する。情報変換手段３Ｂは、前記２次元情報の種類に応じた前記２次元情報に対する処理によって、前記２次元情報の指定位置に対応する単位領域における特徴を表す特徴情報を生成する。制御手段３Ｃは、前記特徴情報に応じた知覚刺激が前記２次元情報のユーザに付与されるように知覚刺激装置を制御する。
【解決手段】知覚刺激情報生成システム１は、種類判定手段３Ａ、情報変換手段３Ｂ及び制御手段３Ｃを備える。種類判定手段３Ａは、２次元情報を取得して前記２次元情報の種類を判定する。情報変換手段３Ｂは、前記２次元情報の種類に応じた前記２次元情報に対する処理によって、前記２次元情報の指定位置に対応する単位領域における特徴を表す特徴情報を生成する。制御手段３Ｃは、前記特徴情報に応じた知覚刺激が前記２次元情報のユーザに付与されるように知覚刺激装置を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、知覚刺激情報生成システム、知覚刺激情報生成方法及び知覚刺激情報生成プログラムに関する。
【背景技術】
【０００２】
従来、視覚障害者が触覚を利用して２次元的な情報を取得できるようにした出力装置としてピンディスプレイが知られている。ピンディスプレイは、二次元に配列された複数のピンを上下させることによって、凹凸によりコンピュータの文字情報や図形情報などを表示するディスプレイである。また、ピンディスプレイをコンピュータマウスに設けることによって、マウスの動きに応じた触覚情報をユーザの指先にフィードバックできる触覚マウスも知られている（例えば特許文献１参照）。
【０００３】
更に、テレビ画像データ等の２次元画像データを触覚によって認識できるようにした振動型表示パネルも考案されている（例えば特許文献２参照）。この振動型表示パネルでは、表示画素に対応する電圧を振動素子に印加することによって振動が生成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０８６２２９号公報
【特許文献２】特開平７−３０６６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ピンディスプレイには、高価である、重量が大きい、解像度が低い、出力可能な情報に制限があるといった問題がある。また、触覚マウスは、絶対位置の認識が困難であるという問題がある。更に、振動型表示パネルは、構造が複雑で高価であるという問題がある。
【０００６】
また、共通の課題として、画像等の２次元情報を盲目者、弱視者及び色覚障害者等の視覚障害者に対して、より感覚的に分かり安く伝達することが望まれる。一方、視覚に障害がない対象者であっても、２次元情報を視覚以外の知覚を併用して感覚的に分かり安く伝達できれば、情報伝達を効果的に行うことができる。
【０００７】
本発明は、触覚等の視覚以外の知覚を利用することによって、２次元情報をユーザにより分かり安く伝達することが可能な知覚刺激情報生成システム、知覚刺激情報生成方法及び知覚刺激情報生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の実施形態に係る知覚刺激情報生成システムは、種類判定手段、情報変換手段及び制御手段を備える。種類判定手段は、２次元情報を取得して前記２次元情報の種類を判定する。情報変換手段は、前記２次元情報の種類に応じた前記２次元情報に対する処理によって、前記２次元情報の指定位置に対応する単位領域における特徴を表す特徴情報を生成する。制御手段は、前記特徴情報に応じた知覚刺激が前記２次元情報のユーザに付与されるように知覚刺激装置を制御する。
【０００９】
また、本発明の実施形態に係る知覚刺激情報生成方法は、２次元情報を取得して前記２次元情報の種類を判定するステップと、前記２次元情報の種類に応じた前記２次元情報に対する処理によって、前記２次元情報の指定位置に対応する単位領域における特徴を表す特徴情報を生成するステップと、前記特徴情報に応じた知覚刺激が前記２次元情報のユーザに付与されるように知覚刺激装置を制御するステップとを有する。
【００１０】
また、本発明の実施形態に係る知覚刺激情報生成プログラムは、コンピュータを上述の種類判定手段、情報変換手段及び制御手段として機能させる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る知覚刺激情報生成システムの機能ブロック図。
【図２】図１に示す画像変換部において画像変換処理として１階微分処理を行った例を示す図。
【図３】図１に示す画像変換部において画像変換処理として２階微分処理を行うことが有効な２次元画像の例を示す図。
【図４】図１に示す画像変換部において画像変換処理として２値化処理及び輪郭抽出処理を行った例を示す図。
【図５】図１に示す画像変換部において画像変換処理として空間周波数の補正処理を行った例を示す図。
【図６】図１に示す画像変換部において画像変換処理としてテキスト画像データをぼかす処理を行った例を示す図。
【図７】図１に示す画像変換部において画像変換処理として特定の色で着色された領域を抽出する処理を行った例を示す図。
【図８】図１に示す画像変換部において画像変換処理として特定の色領域の拡張処理を行った例を示す図。
【図９】図１に示す刺激制御部において波数が３つのトーンバース波形を有する制御信号を生成した例を示す図。
【図１０】図１に示す刺激制御部において波の高さが周期的に変化する波形を有する制御信号を生成した例を示す図。
【図１１】図１に示す画像変換部における画像変換処理及び刺激制御部における制御信号の生成処理の具体例を示す図。
【図１２】入出力端子を備えたマイクロコンピュータの演算装置を用いて知覚刺激情報生成システムを構成した例を示す図。
【図１３】図１に示す知覚刺激情報生成システムにより、コンピュータのディスプレイに表示された２次元画像を知覚刺激として出力する際の流れを示すフローチャート。
【図１４】本発明の第２の実施形態に係る知覚刺激情報生成システムの構成図。
【図１５】図１４に示すマイクロコンピュータの機能ブロック図。
【発明を実施するための形態】
【００１２】
本発明の実施形態に係る知覚刺激情報生成システム、知覚刺激情報生成方法及び知覚刺激情報生成プログラムについて添付図面を参照して説明する。
【００１３】
（第１の実施形態）
【００１４】
図１は本発明の第１の実施形態に係る知覚刺激情報生成システムの機能ブロック図である。
【００１５】
知覚刺激情報生成システム１は、２次元画像に応じた知覚刺激をユーザに与えることによって視覚を用いることなくユーザに２次元画像に関する情報を伝達するシステムである。図１に示す知覚刺激情報生成システム１は、パーソナルコンピュータや携帯電話等のコンピュータ２において表示される２次元画像に応じて知覚刺激を発生させる場合の構成例を示している。
【００１６】
知覚刺激情報生成システム１は、データ処理系３及び知覚刺激装置４を備えている。
【００１７】
データ処理系３は、コンピュータ２において表示される２次元画像データに応じた制御信号を生成し、生成した制御信号を知覚刺激装置４又はコンピュータ２に備えられる所望のデバイスに出力することによって、知覚刺激装置４又はコンピュータ２を制御する機能を有する。このデータ処理系３は、コンピュータ２の演算装置５に知覚刺激情報生成プログラムを読み込ませることによって構築することができる。具体的には、データ処理系３は、コンピュータ２の演算装置５を画像種類判定部３Ａ、画像変換部３Ｂ及び刺激制御部３Ｃとして機能させたものである。但し、データ処理系３を構成するために回路を用いてもよい。
【００１８】
知覚刺激情報生成プログラムは、コンピュータ２を知覚刺激情報生成システム１のデータ処理系３として利用できるように情報記録媒体に記録してプログラムプロダクトとして流通させることができる。もちろん、情報記録媒体を介さずにネットワーク経由で知覚刺激情報生成プログラムをコンピュータ２にダウンロードすることもできる。
【００１９】
コンピュータ２には、演算装置５の他、位置入力装置６、ディスプレイ７、指示入力装置８及び振動スピーカ９が備えられる。また、コンピュータ２の演算装置５は、本来の機能として、表示画像生成部１０として機能する。
【００２０】
ディスプレイ７は、２次元画像を表示することが可能なモニタである。従って、ユーザが視覚を用いない場合には、ディスプレイ７を省略してもよい。
【００２１】
表示画像生成部１０は、ディスプレイ７に表示させるための２次元画像データを生成する機能と、生成した２次元画像データをディスプレイ７に与えることによって、ディスプレイ７に２次元画像を表示させる機能を有する。
【００２２】
位置入力装置６は、ディスプレイ７上に表示された２次元画像の絶対的な２次元位置を指定し、指定位置情報としてコンピュータ２に入力する機能を有する。図１には、ディスプレイ７と位置入力装置６を層状に配置して一体に構成したタッチパネル１１をコンピュータ２に備えた例を示す。
【００２３】
タッチパネル１１には、複数の方式があり、任意の方式を用いることができる。具体的には、タッチパネル１１には、抵抗膜方式、表面弾性波方式（超音波方式）、赤外線方式（光学式）、電磁誘導方式、静電容量方式等の方式がある。タッチパネル１１の方式には、主にタッチペン等の指以外の指示道具を用いて位置情報を入力できる方式と、指又は指と同等の物理的特性を有する指示道具でなければ位置情報を入力できない方式とがある。この他、電磁誘導方式の場合には、位置情報を入力するために専用の電磁誘導ペンが必要である。
【００２４】
このため、タッチパネル１１の方式に応じて、タッチペンや電磁誘導ペン等のタッチパネル１１を介して位置情報を入力するための指示器具が位置入力装置６の構成要素として備えられる。図１は、タッチパネル１１の付属品としてタッチペン１１Ａを備えた例を示している。
【００２５】
タッチパネル１１を位置入力装置６及びディスプレイ７として使用すれば、ディスプレイ７に指又は指示道具を接触又は近接させた位置が指定位置情報としてコンピュータ２に入力される。このため、ユーザが、盲目者や弱視者等の視覚障害者であっても、直観的かつ感覚的に２次元画像の位置を確認しつつ指定位置情報をコンピュータ２に入力することが可能である。また、ユーザが視覚を利用して位置入力装置６を操作する場合であっても、２次元画像の参照を通じて容易に指定位置情報をコンピュータ２に入力することができる。
【００２６】
但し、ディスプレイ７上に表示された２次元画像の絶対的な２次元位置の指定位置情報をコンピュータ２に入力することが可能な位置入力装置６であれば、タッチパネル１１以外の位置入力装置６を用いることもできる。換言すれば、指定可能な２次元位置の範囲をユーザが認識できるようにすれば、様々な既存の入力装置を位置入力装置６として用いることができる。
【００２７】
例えば、大きさが有限のタッチパッドをそのまま位置入力装置６として用いることができる。或いは、マウス、トラックボール、ポインティングデバイス等の相対的な２次元位置を入力する入力装置であっても、指定可能な２次元位置の範囲の境界が指定された場合に、振動、音又は音声により指定可能な２次元領域の境界であることをユーザに知らせる機能を入力装置自体や任意のデバイスとして設けることにより、絶対的な２次元位置の指定位置情報を入力する位置入力装置６として用いることができる。
【００２８】
指示入力装置８は、コンピュータ２に位置以外の指示情報を入力するための入力装置である。指示入力装置８には、キーボードやマウス等の入力装置がある。また、タッチパネル１１に表示された電子ボタンを押したり、複数の選択肢から選択する操作を、タッチパネル１１を通じて行う場合には、タッチパネル１１は位置入力装置６と指示入力装置８を兼ねることとなる。タッチパッド等の入力装置を位置入力装置６として用いる場合も同様である。
【００２９】
ユーザが視覚障害者である場合には、スクリーンリーダ技術の利用によって指示入力装置８の操作をサポートすることができる。スクリーンリーダは、ディスプレイ７に表示された情報を音声で読み上げる技術である。
【００３０】
振動スピーカ９は、演算装置５から出力される音声信号に従って振動し、音声を発生させる装置である。すなわち、振動子を備えたスピーカである。
【００３１】
知覚刺激装置４は、ディスプレイ７に表示されている２次元画像に関する情報をユーザに伝達するために、データ処理系３から出力される制御信号に従って人間の視覚以外の単一又は複数の知覚を単一又は複数の方法で直接的又は間接的に刺激する装置である。
【００３２】
刺激する知覚としては、より分かり安くユーザに情報を伝達できる観点から触覚が最も有効である。また、より簡易な構成で情報を伝達するために、聴覚を刺激する機能を知覚刺激装置４に設けてもよい。聴覚を刺激する場合には、知覚刺激装置４にスピーカ４Ａが設けられる。
【００３３】
一方、触覚を刺激する代表的な方法としては、電気刺激と振動が挙げられる。
【００３４】
電気刺激は、指や手などの人体の一部に所定の強度及びパターンの電圧を印加することによって与えることができる。理論的には、人体に印加される電圧の制御によって、あらゆる材質の物を触ったときの触覚を模擬することが可能であるとされている。電気刺激を人体に付与する場合には、知覚刺激装置４に電極を有する電圧印加装置４Ｂが設けられる。この場合、印加電圧を可変とすることが、より詳細な情報を伝達できる観点から有効である。
【００３５】
振動で触覚を刺激する場合には、偏心モータ等の振動子４Ｃを用いて非常に簡易に知覚刺激装置４を構成することができる。尚、振動の一種である超音波振動を利用して触覚を刺激することもできる。振動の伝導方法としては、知覚刺激装置４から人体に直接伝導させる方法と間接的に伝導させる方法がある。
【００３６】
振動を直接人体に伝導させる場合には、人体に装着可能な形状及び素材の装着部に振動子４Ｃを固定することによって知覚刺激装置４を構成することができる。例えば、指に振動を与える場合には、弾力を有するＣ字状又はリング状のフレームや繊維素材に振動モータを取り付けることによって知覚刺激装置４を構成することができる。
【００３７】
この場合、複数の指に振動を与えることができるように、複数の振動子４Ｃを複数の装着部に設けることによって知覚刺激装置４を構成してもよい。複数の指に振動子４Ｃを設ければ、指ごとに異なる振動を与えることができる。このため、複数の指を用いたタッチパネル１１へのマルチ位置入力にも対応することができる。
【００３８】
振動を間接的に人体に伝導させる場合には、指や手で操作される位置入力装置６を介して振動を人体に付与することが効果的である。従って、タッチペン１１Ａ等のタッチパネル１１の指示器具やタッチパネル１１自体を振動させるように知覚刺激装置４を構成することができる。位置入力装置６がマウス、タッチパッド、トラックボール、ポインタ等の入力装置である場合には、これらの入力装置を振動させてもよい。この場合、タッチパネル１１やタッチペン１１Ａ等の被振動体に振動モータ等の振動子４Ｃを接触させればよい。従って、振動モータ等の振動子４Ｃに被振動体への固定器具を設けることによって知覚刺激装置４を構成することができる。
【００３９】
尚、図１に示すように振動スピーカ９がコンピュータ２に備えられている場合には、振動スピーカ９を制御することによってもタッチパネル１１を振動させることができる。振動スピーカ９を利用すれば、振動による触覚刺激と音による聴覚刺激とを併用することもできる。これは、知覚刺激装置４における振動子４Ｃとして振動スピーカを用いた場合も同様である。
【００４０】
また、コンピュータ２が携帯電話である場合には、コンピュータ２に標準的に振動機構が備わっている。従って、振動スピーカ９等の振動機構がコンピュータ２に備えられ、かつ当該振動機構を制御できる場合には、知覚刺激装置４を省略してもよい。逆に、知覚刺激装置４を設ければ、コンピュータ２に振動スピーカ９等の振動機構が備わっていなくても、人体の触覚を刺激することができる。
【００４１】
また、コンピュータ２からの出力が十分でない場合には、必要に応じて増幅器４Ｄが知覚刺激装置４に備えられる。そして、増幅器４Ｄの入力側がコンピュータ２と接続され、増幅器４Ｄの出力側に振動子４Ｃ、スピーカ４Ａ、電圧印加装置４Ｂ等の刺激を発生させる構成要素が接続される。
【００４２】
コンピュータ２の画像種類判定部３Ａは、表示画像生成部１０からディスプレイ７上に表示されている２次元画像データの少なくとも一部を取得して、表示されている２次元画像の種類を判定する機能を有する。
【００４３】
２次元画像の種類は、様々な分類方法で特定することができる。例えば、色に着目すれば、２次元画像は、白黒の２値画像、輝度で表示される多値のグレースケール画像、２値又は多値のカラー画像、３次元(3D: three-dimensional)画像等の種類に分類できる。或いは、画像の内容や属性に着目すれば、２次元画像は、デジタル写真等の静止画、動画、テキスト文書、表、グラフ、図面、イラスト等のイメージ、CG (computer graphic)等の種類にも分類することができる。
【００４４】
上述した２次元画像の種類の判定は、画像種類判定部３Ａにおける２次元画像データに対するデータ処理によって自動的に行うことができる。但し、ユーザの操作によって指示入力装置８から入力された指示情報に基づいて手動で判定又は判定結果を変更することもできる。画像の種類の判定処理を自動で行う場合には、画像種類判定部３Ａが、２次元画像データがカラー画像データか白黒画像データであるかの判定処理、２次元画像データが２値画像データであるか多値画像データであるかの判定処理、２次元画像データの画素値に対する閾値処理、２次元画像データの位置変化に関するｎ階の微分値（nは任意の自然数）に対する閾値処理等の必要なデータ処理を実行する。
【００４５】
上述した判定処理の詳細な方法の例としては、２次元画像データのデータ形式に基づく方法、画素値のヒストグラムに基づく方法及び画像データに所定の変換処理を施して得られるデータに基づく方法が挙げられる。
【００４６】
例えば、２次元画像データのデータ形式がモノクロのビットマップ形式である場合には、２次元画像の種類が白黒の２値画像であると判定することができる。
【００４７】
また、画素値のヒストグラムが２値である場合には２値画像データであると判定することができる。一方、RGB値の各ヒストグラム間における相関係数に対する閾値処理等によってRGB値の各ヒストグラムが互いに相似であると判定される場合には、２次元画像の種類がグレースケールの画像であると判定することができる。また、RGB値の各ヒストグラムが不連続な複数のピークを呈する場合には、２次元画像の種類が特定の色を抽出することが可能な画像であると判定することができる。更に、画素値のヒストグラムに対して、平滑化処理等の任意の処理を施してもよい。
【００４８】
別の例としては、２次元画像データを色相(Hue)、彩度(Saturation)及び明度(Value)の三成分からなるHSV色空間データや色相(Hue)、彩度(Saturation)及び輝度(Luminance)の三成分からなるHLS色空間データ等の色空間データに変換し、色空間データに基づいて２次元画像の種類を判定することができる。例えば、色空間データにおける色相の揺らぎを表す指標に対する閾値処理などによって、色相の揺らぎが少ないと判定される場合には、２次元画像の種類がグレースケールの画像であると判定することができる。
【００４９】
ディスプレイ７には、異なる複数の種類の２次元画像が表示される場合がある。この場合には、２次元画像が位置ごとに異なる複数の種類と判定される。
【００５０】
このような判定処理のため、画像種類判定部３Ａは、ディスプレイ７上に表示されている２次元画像データ全体又は少なくともディスプレイ７上に表示されている２次元画像の種類を判定することが可能な範囲の２次元画像データを表示画像生成部１０から取得できるように構成される。
【００５１】
すなわち、２次元画像の種類の判定に２次元画像データ全体を用いる場合には、画像種類判定部３Ａは、位置入力装置６から入力された指定位置情報とは無関係に２次元画像データ全体を表示画像生成部１０から取得する。一方、２次元画像の種類の判定に２次元画像データの一部を用いる場合には、画像種類判定部３Ａは、位置入力装置６から入力された指定位置情報に応じた範囲の２次元画像データを表示画像生成部１０から取得する。例えば、画像種類判定部３Ａは、位置入力装置６によって指定された位置を中心として予め設定された範囲内における２次元画像データを表示画像生成部１０から取得する。
【００５２】
つまり、２次元画像の種類は、位置入力装置６から入力された指定位置における画素値のみからは判定することができない。従って、指定位置の周辺を含み、画像の種類の判定に十分な範囲の画素に基づいて画像の種類が判定される。
【００５３】
２次元画像の種類の判定に２次元画像データ全体を用いれば、より確実な判定が期待できる。これに対して、２次元画像の種類の判定に２次元画像データの一部を用いれば、データ処理を高速化してリアルタイム性を向上させることができる。
【００５４】
画像変換部３Ｂは、画像種類判定部３Ａにおいて判定結果として生成された画像の種類情報に基づいて、画像の種類に応じた２次元画像データの特徴を表す中間画像データとして特徴画像データを生成する機能と、位置入力装置６から取得した指定位置情報に対応する所定の範囲内における特徴画像データの画素値情報を刺激制御部３Ｃに与える機能を有する。また、画像変換部３Ｂは、特徴画像データを生成するために、表示画像生成部１０から２次元画像データ全体の画素値又は少なくとも位置入力装置６から入力された指定位置を含む部分的な領域に対応する２次元画像データの画素値を取得できるように構成される。
【００５５】
特徴画像データは、ユーザが視覚障害者であっても認識がより容易となるような画像データとされる。特に、画像の種類に応じた２次元画像データの特徴を単純化した画像データや画像の種類に応じた２次元画像データの特徴を強調した画像データは、認識が容易な画像データとなる場合が多い。このような特徴画像データは、経験的又は実験的に決定した２次元画像データに対する画像変換処理によって生成することができる。
【００５６】
画像変換処理は、所望の単一又は複数の処理で構成し、処理の組み合わせは、画像の種類に応じて予め適切な組み合わせに決定しておくことができる。画像変換処理方法の具体例としては、空間周波数の補正処理、諧調の補正処理、２値化処理、特定の色に対応する位置又は領域の抽出処理、画像を意図的にぼかすスムージング処理、ガンマ変換、ｎ階の微分処理が挙げられる。
【００５７】
但し、指示入力装置８から入力された指示情報に基づいて複数の画像変換処理方法から所望の画像変換処理方法を選択できるようにしてもよい。すなわち、上述の画像の種類に加え、ユーザの目的に応じて画像変換処理方法を手動で変更することができる。
【００５８】
図２は、図１に示す画像変換部３Ｂにおいて画像変換処理として１階微分処理を行った例を示す図である。
【００５９】
図２(A)に示すように、指定位置周辺の２次元画像データとして、或いは２次元画像データに対する画像変換処理によって、着色された単純な図形を表す画像データが得られている場合、画像データに１階微分処理を行うと、(B)に示すように図形の輪郭が抽出された特徴画像データが生成される。すなわち、この場合、１階微分処理は、図形の輪郭抽出処理となっている。特にユーザが視覚障害者である場合には、図２(A)に示すような着色された図形情報よりも、図２(B)に示すような図形の輪郭情報の方が単純な情報であり認識が容易である。
【００６０】
図３は、図１に示す画像変換部３Ｂにおいて画像変換処理として２階微分処理を行うことが有効な２次元画像の例を示す図である。
【００６１】
図３(A)に示すように、陰影を付けることによって円柱を２次元で表現した画像データが得られている場合、１階微分処理行うと、底面の縁の輪郭を抽出することができる。しかし、円柱側面における曲率の変動を単純化した２次元画像として表すためには、図３(A)に示す画像データに対する２階微分処理が有効である。
【００６２】
図４は、図１に示す画像変換部３Ｂにおいて画像変換処理として２値化処理及び輪郭抽出処理を行った例を示す図である。
【００６３】
図４(A)に示すように、指定位置周辺の２次元画像データの種類がカラーの静止画像である場合に、静止画像データに対して２値化処理を行うと、図４(B)に示すように、白領域と黒領域を有する特徴画像データが生成される。このため、静止画像が風景画であるなどのサポート情報があれば、領域の形状から空の領域と山を含む地上の領域との識別が容易な画像データを生成することができる。一方、２次元画像データに対して微分処理などの輪郭線の抽出処理を行えば、図４(C)に示すように、領域の境界が抽出された特徴画像データが生成される。図４(C)に示す輪郭抽出画像によれば、空と山の境界の認識が容易である。
【００６４】
同様な応用例としては、２次元画像データの種類が解剖図であるとのサポート情報があれば、骨領域と筋肉領域との区別が容易な単純化された特徴画像データを２次元画像データに対する画像変換により生成することができる。
【００６５】
図５は、図１に示す画像変換部３Ｂにおいて画像変換処理として空間周波数の補正処理を行った例を示す図である。
【００６６】
図５(A)に示すように、輪郭画像データが得られている場合に、空間周波数が大きいと輪郭線が細くなる。そこで、空間周波数を低減化する補正処理を輪郭画像データに施すことによって、図５(B)に示すような線の太い輪郭画像データを生成することができる。補正処理としては、例えば、空間周波数が予め設定した閾値を超える場合に、より小さい特定の値に調整する補正や、空間周波数を一定の割合で小さくする補正などがある。
【００６７】
図６は、図１に示す画像変換部３Ｂにおいて画像変換処理としてテキスト画像データをぼかす処理を行った例を示す図である。
【００６８】
図６(A)に示すようなテキストを示す画像データから視覚障害者が文字のレイアウトを確認しようとする場合、原画像データに対してスムージング処理やガンマ変換等のテキストを意図的にぼかす処理を施すと、図６(B)に示すような画像データが生成される。図６(B)に示す画像データでは、テキストが読み取れない程、不正確に表示されているものの、各文字が太くなる結果、文字の配列方向が強調される。従って、視覚障害者には、図６(B)に示す画像データが適切な場合がある。
【００６９】
同様に、文書のレイアウトやOS (operating system)の操作画面のレイアウトを確認する場合には、このようなぼかし処理が有効な場合がある。逆に、文字の形状を認識しようとする場合には、文字自体の輪郭を強調する画像処理が適切となる。つまり、大局的に画像情報を得ることがユーザの目的である場合には、局所的な画像の要素を抑制する処理が適切であり、局所的な画像情報を得ることがユーザの目的である場合には、局所的な画像の要素を強調する処理が適切であることが多い。
【００７０】
図７は、図１に示す画像変換部３Ｂにおいて画像変換処理として特定の色で着色された領域を抽出する処理を行った例を示す図である。
【００７１】
図７(A)に示すようなテキストを示す画像データから視覚障害者が朱色で押された印影の有無を確認しようとする場合、原画像データに対して朱色領域の抽出処理を施すと、図７(B)に示すような画像データが生成される。図７(B)に示す画像データでは、テキストが消えているものの、印影部分は選択的に描出されている。従って、視覚障害者にとっては、図７(B)に示す画像データの方が印影の有無の認識に有効である。
【００７２】
尚、抽出された特定の色領域を拡張する処理を行ってもよい。例えば、印影を抽出する場合には、隣接する朱色の領域を拡大することによって結合させることが効果的である。
【００７３】
図８は、図１に示す画像変換部３Ｂにおいて画像変換処理として特定の色領域の拡張処理を行った例を示す図である。
【００７４】
図８(A)に示すように、複数の細かい色領域が分散して抽出された場合には、図８(B)に示すように色領域を膨張させて結合することが効果的である。尚、空間周波数を低下させる処理を行っても、複数の領域を結合することが可能である。但し、特定の領域を拡張する処理を行えば、着目する領域をより強調して確実に抽出することができる。
【００７５】
この他の画像変換処理の例としては、パターンやCGにおいて３次元的に表示される図形領域の模様として利用されるテクスチャを、特定の領域に付加する処理などが挙げられる。これによりテクスチャ等の周期的な模様の相違により画像データ上の領域の特定が容易となる。
【００７６】
上述の例のように、適切な画像変換処理は、２次元画像データの種類のみならず、ユーザの目的にも依存する。そこで画像変換部３Ｂが、位置入力装置６から入力された指定位置の履歴情報に基づいてユーザの目的を自動的に予測し、予測した目的に応じて画像変換処理方法を変更するモードを設定してもよい。
【００７７】
例えば、位置入力装置６から入力された指定位置が静止している場合には、ユーザは指定位置における局所的な画像情報を取得することが目的であると予測できる。逆に、位置入力装置６から入力された指定位置が断続的又は連続的に移動している場合には、大局的な画像情報を取得することが目的であると予測できる。
【００７８】
そこで、指定位置が静止している場合には、より詳細な画像データを生成するための画像変換処理を実行し、指定位置が移動している場合には、より単純な画像データを生成するための画像変換処理を実行するように、画像変換部３Ｂにおける処理方法を予め決定することができる。
【００７９】
一方、ユーザの目的に依存しない画像変換については、画像の種類に応じて自動的に実行されるようにすることができる。例えば、空間周波数の補正処理や諧調の補正処理などは、画像の種類に応じて画像変換部３Ｂが自動的に実行するように画像処理方法を決定することができる。
【００８０】
また、刺激制御部３Ｃに与えられる対象となる指定位置に対応する所定の範囲についても、指示入力装置８から指示情報を画像変換部３Ｂに入力することによって、指定位置周辺の所望の領域に含まれる複数の画素を単位画素領域として可変設定することができる。単位画素領域は、例えば、指やタッチペン１１Ａをタッチパネル１１に接触させたときの接触面積と同等な必要な解像度が得られる領域とすることが実用的である。
【００８１】
従って、単位画素領域の広さを特徴画像データの空間周波数に対応させて設定してもよい。例えば、特徴画像データの空間周波数が高ければ、特徴画像データは細かい画像データとなる。従って、特徴画像データの情報を得るためには、より高い解像度が必要となる。このため、空間周波数に依存して要求される解像度が得られるように単位画素領域も小さく設定すれば良い。逆に、空間周波数が低ければ、特徴画像データは粗い画像データとなるので、粗い解像度が得られればよく、ユーザにおおまかな情報が伝達されるよう単位画素領域も広く設定することができる。
【００８２】
但し、空間周波数等の条件に依らず、高解像度に対応するために、単一の画素を単位画素領域としてもよい。
【００８３】
そして、指定位置に対応する単位画素領域の特徴画像データが画像変換部３Ｂから刺激制御部３Ｃに与えられる対象データとなる。従って、画像変換部３Ｂは、単位画素領域のみについて特徴画像データを生成するようにしてもよいし、単位画素領域よりも広範囲の特徴画像データを生成して単位画素領域のデータを抽出するようにしてもよい。そして、後述する刺激制御部３Ｃによる知覚刺激装置４又は振動スピーカ９の制御によって、単位画素領域の特徴画像データに応じた知覚刺激がユーザに付与される。
【００８４】
知覚刺激を通じてユーザに情報をより分かり安く伝達する観点からは、位置入力装置６を操作して位置を指定したタイミングにおいて、指や手に知覚刺激を与えることが非常に効果的である。例えば、ユーザがタッチパネル１１をタッチしたタイミングでディスプレイ７を振動させれば、タッチパネル１１全体が振動しているとしても、ユーザにタッチした位置が振動すると認識させることができる。従って、指定位置の入力から知覚刺激発生までの遅延時間が長いと情報伝達の効果が低減する。遅延時間は、単位画素領域を大きくすることによってある程度短くすることができる。
【００８５】
更に、予測した指定位置に基づく制御を行うことによって、単位画素領域を不必要に大きくすることなく、つまり解像度を犠牲にすることなく指定位置の入力から知覚刺激発生までの遅延時間を短くすることができる。
【００８６】
将来のある時刻における指定位置は、過去の各時刻における指定位置の軌跡を示す履歴情報、すなわち指定位置の直前における移動方向及び移動速度に基づいて事前に予測することができる。従って、過去の各時刻における指定位置の移動方向及び移動速度を含む指定位置履歴情報及び位置入力装置６から取得した最新の指定位置情報に基づいて予測される将来の指定位置を中心とする領域を単位画素領域としてもよい。例えば、指定位置の入力タイミングから知覚刺激の発生までに要する時間分だけ最新の指定位置から移動させた位置を将来の指定位置として予測することができる。
【００８７】
このような制御によって、データ処理及び制御信号の伝送による出力の遅れを補正することができる。そして、常にリアルタイムにユーザにタッチした位置において振動等による触覚刺激を与えることができる。この制御は、画像種類判定部３Ａにおける指定位置に対応する画像の種類の判定処理にも適用することができる。
【００８８】
刺激制御部３Ｃは、画像変換部３Ｂから取得した指定位置に対応する単位画素領域における特徴画像データの画素値に基づいて制御信号を生成する機能と、生成した制御信号を知覚刺激装置４又は振動スピーカ９に出力する機能を有する。つまり、刺激制御部３Ｃは、知覚刺激装置４又は振動スピーカ９を制御することによって、特徴画像データの指定位置付近における特徴を所定のパターンの知覚刺激としてユーザに伝達する機能を備えている。
【００８９】
制御信号は、指定位置に対応する単位画素領域における画素値情報を、予め決定された規則に従って変換することによって生成することができる。制御信号への変換規則は、指示入力装置８から指示情報を刺激制御部３Ｃに入力することによって所望の規則に可変設定することができる。
【００９０】
制御信号による制御対象が、図１に示すように振動子４Ｃ、スピーカ４Ａ、電圧印加装置４Ｂ及び振動スピーカ９のうちの１つまたは複数の組合せである場合には、振動、音、電圧等の知覚刺激の付与主体の振幅及び周波数の他、波数（山の数）や波の面積（パワー）、唸り等のパラメータを特徴画像データの画素値に対応させて設定することができる。
【００９１】
図９は、図１に示す刺激制御部３Ｃにおいて波数が３つのトーンバース波形を有する制御信号を生成した例を示す図であり、図１０は、図１に示す刺激制御部３Ｃにおいて波の高さが周期的に変化する波形を有する制御信号を生成した例を示す図である。
【００９２】
例えば、特徴画像データが２値の白黒画像データである場合には、指定位置で特定される単位画素領域における値の有無を、振動、電圧又は音の有無としてユーザに伝達できるように制御信号を生成することができる。この場合、ユーザは、刺激の有無で特徴画像データの輪郭や領域を認識することができる。
【００９３】
一方、特徴画像データが多値の画像データであれば、特徴画像データの濃度又は輝度を制御信号の振幅の大きさ又は周波数の長さに対応させることができる。この場合、ユーザは、振動、電圧又は音の強さ及び周波数によって特徴画像データの濃度を判断することができる。
【００９４】
また、特徴画像データがカラーの画像データであれば、色相や彩度を制御信号の振幅の大きさ、周波数の高低及びそれらのパターンの組合せに対応させることができる。この場合、ユーザは、振動、電圧又は音の強さ及び周波数によって特徴画像データの色相や彩度を判断することができる。また、指定位置で特定される単位画素領域内に緑色等の特定色の画素が存在する場合にのみ振動、電圧又は音を発生させるように制御信号を生成することもできる。この場合、ユーザは、振動、電圧又は音の有無によって、特定色の有無を判断することができる。
【００９５】
別の例として、指定位置が既定の時間以上、既定の領域にあると判定される場合、その点における詳細な情報を伝達できるように制御信号を切換えることができる。例えば、RGB値を区切られた3個の振動における波の高さで表現したり、色相に対応する振動で表現することができる。
【００９６】
図１１は、図１に示す画像変換部３Ｂにおける画像変換処理及び刺激制御部３Ｃにおける制御信号の生成処理の具体例を示す図である。
【００９７】
図１１(A)に示すように観察対象となる画像データが事務処理等に利用される書類の画像データである場合には、白黒画像に捺印された書類データや赤色で強調された書類データのように、ごく一部において色が使用される場合が多い。そこで、図１１(B)に示すように画像変換部３Ｂにおいて画像データの分割処理を行うと、予め局所的な領域として設定した範囲を除く領域が白黒の2値データであるかグレースケールのデータである場合には、局所的に色が使用された書類データであると判定することができる。
【００９８】
そこで、図７に示すような色領域の抽出処理を画像変換部３Ｂにおいて行い、刺激制御部３Ｃにおいて着色領域では黒色領域と異なる振動を発生させる制御信号を生成すれば、ユーザが黒以外の色の存在及び領域を認識することができる。
【００９９】
ところで、コンピュータ２がパーソナルコンピュータである場合には、音声出力端子やBeep用スピーカに知覚刺激装置４を接続することによって、既存の構造を変えることなく簡易に刺激制御部３Ｃから制御信号を知覚刺激装置４に出力させることができる。Beep用スピーカは、周波数と時間を引数とするBeep関数で生成される単純なBeep音の出力を担うスピーカである。この場合、知覚刺激装置４から十分な振動、音又は電圧を発生させるためには、振動子４Ｃ、スピーカ４Ａ又は電圧印加装置４Ｂに増幅器（アンプ）４Ｄを接続することが必要である。
【０１００】
また、図１には、情報伝達の対象となる２次元画像を出力させるコンピュータ２自体の演算装置５にデータ処理系３を内蔵する例を示したが、別の演算装置を用いてデータ処理系３を構成してもよい。
【０１０１】
図１２は、入出力端子を備えたマイクロコンピュータの演算装置を用いて知覚刺激情報生成システム１を構成した例を示す図である。
【０１０２】
図１２に示すように、ユニバーサル・シリアル・バス (USB: Universal Serial Bus)端子２０及び出力ポート２１を設けたマイクロコンピュータ２２の出力ポート２１側に知覚刺激装置４を接続することによっても知覚刺激情報生成システム１を構成することができる。この場合、マイクロコンピュータ２２の演算装置に知覚刺激情報生成プログラムを読み込ませることによってデータ処理系３が構築される。
【０１０３】
図１２に示すように知覚刺激情報生成システム１を構成することによって、アタッチメントとして既存のコンピュータ２Ａに接続することができる。このため、コンピュータ２Ａの構造を変えることなく簡易にコンピュータ２Ａに表示された２次元画像に関する情報を、知覚刺激を利用してユーザに伝達することができる。特に、知覚刺激情報生成システム１を図１２に示す構成とすれば、コンピュータ２Ａに内蔵されるスピーカ９Ａをスクリーンリーダ機能のために利用することができる。従って、スクリーンリーダと知覚刺激の併用によって、一層分かり安くユーザに情報を伝達することが可能となる。
【０１０４】
次に知覚刺激情報生成システム１の動作および作用について説明する。
【０１０５】
図１３は、図１に示す知覚刺激情報生成システム１により、コンピュータ２のディスプレイ７に表示された２次元画像を知覚刺激として出力する際の流れを示すフローチャートである。
【０１０６】
まずステップＳ１において、画像種類判定部３Ａが、コンピュータ２のディスプレイ７に出力される２次元画像データを表示画像生成部１０から取得する。
【０１０７】
次に、ステップＳ２において、画像種類判定部３Ａは、取得した２次元画像データの種類を予め設定されたデータ処理方法に従って自動的に行われる。また、必要に応じてユーザが指示入力装置８を操作することによって、２次元画像データのデータ処理方法又は２次元画像データの種類自体を指定する。
【０１０８】
次に、ステップＳ３において、画像変換部３Ｂは、タッチパネル１１等の位置入力装置６から指定位置情報を取得する。すなわち、ユーザが位置入力装置６を操作してディスプレイ７に表示された２次元画像上の位置を指定すると、指定された位置が位置入力装置６から画像変換部３Ｂにより位置指定情報として取得される。
【０１０９】
次に、ステップＳ４において、画像変換部３Ｂは、画像種類判定部３Ａにおいて判定結果として生成された画像の種類情報に基づいて、指定位置に対応する単位画素領域における２次元画像データの特徴を表し、認識が容易な特徴画像データを生成する。すなわち、画像変換部３Ｂは、例えば、図２、図４、図５、図６又は図７に示すような画像変換処理の組合せによって指定位置に対応する単位画素領域の特徴画像データを生成する。このとき、予測される指定位置に対応する領域を単位画素領域とすることにより、入出力間における遅延を短くすることができる。
【０１１０】
そして、画像変換部３Ｂは、指定位置に対応する単位画素領域における特徴画像データを刺激制御部３Ｃに与える。
【０１１１】
次に、ステップＳ５において、刺激制御部３Ｃは、単位画素領域における特徴画像データの画素値に基づいて予め設定された方法に従って知覚刺激装置４及び振動スピーカ９の一方又は双方の制御信号を生成する。この制御信号の生成方法は、指示入力装置８から刺激制御部３Ｃに指示情報を入力することによって指定することもできる。
【０１１２】
次に、ステップＳ６において、刺激制御部３Ｃは、生成した制御信号を知覚刺激装置４及び振動スピーカ９の一方又は双方に出力する。これにより、振動を利用して情報をユーザに伝達させる場合には、知覚刺激装置４の振動子４Ｃ及び振動スピーカ９が、制御信号に従って指定位置における特徴画像データに応じた振動を発生させる。また、音を利用して情報をユーザに伝達させる場合には、知覚刺激装置４のスピーカ４Ａ及び振動スピーカ９が、制御信号に従って指定位置における特徴画像データに応じた音を発生させる。更に、電気刺激を利用して情報をユーザに伝達させる場合には、知覚刺激装置４の電圧印加装置４Ｂが制御信号に従って指定位置における特徴画像データに応じた電気刺激を直接的に又は間接的にユーザに与える。
【０１１３】
このため、ユーザは、２次元画像の指定位置における画像情報を、情報の種類や属性に応じた知覚刺激として認識することができる。しかも、知覚刺激は、２次元画像を画像の種類に応じて特徴を容易に認識できるように変換して生成された特徴画像に基づいて発生する。従って、ユーザは、２次元画像に関する情報をより容易に認識することができる。
【０１１４】
つまり以上のような、知覚刺激情報生成システム１は、ディスプレイ７に表示されている２次元画像情報を画像の種類及び目的に応じて一旦簡易化又は特徴化した特徴画像に変換し、タッチパネル１１等の位置入力装置６から取得した指定位置に対応する特徴画像に基づいてユーザに振動等による知覚刺激を与えるようにしたものである。
【０１１５】
このため、知覚刺激情報生成システム１によれば、視覚を用いないユーザであってもディスプレイ７に表示されている２次元画像から所望の情報を選択的かつ容易に認識することができる。
【０１１６】
特に、知覚刺激情報生成システム１では、表示されている２次元画像データの局所的な画素値が振動や電気刺激に変換されるのではなく、予め大局的な２次元画像データに基づいて判定された画像の種類に応じて特徴の認識が容易となるように生成された特徴画像データの画素値から振動や電気刺激等の知覚刺激が生成される。しかも、ユーザは、指定位置を入力した位置において知覚刺激を受けたと認識する。このため、視覚を利用しないユーザにとっては、より認識が容易な知覚刺激として２次元画像に関する情報を得ることができる。従って、知覚刺激情報生成システム１は、視覚障害者への２次元画像情報の伝達手段として有効である。
【０１１７】
また、知覚刺激情報生成システム１は、構造が簡易であるため、既存のコンピュータ２，２Ａに対しても容易に適用することができる。特に、従来の触覚ディスプレイであるピンディスプレイと比較すると、知覚刺激情報生成システム１は構造が簡易であり、かつ安価である。
【０１１８】
尚、上述の例では、コンピュータ２，２Ａにおいて生成される２次元画像をユーザへの伝達対象とする例について説明したが、コンピュータ２，２Ａ以外の機器において生成される２次元画像をユーザへの伝達対象としてもよい。例えば、アナログ放送又はデジタル放送を受信したテレビに表示された２次元画像、ハードディスク等の記録装置を備えた画像記録装置から出力される２次元画像、DVD (Digital Versatile Disc)等の画像記録媒体に記録された画像を再生する画像再生装置から出力される２次元画像を知覚刺激情報生成システム１によるユーザへの伝達対象とすることができる。このうち、実用性の高い例としては、デジタルテレビ放送におけるデータ表示のレイアウトの認識のために知覚刺激情報生成システム１を用いて知覚刺激を発生させる応用が挙げられる。
【０１１９】
この場合、伝達対象となる２次元画像データがアナログ信号であれば、アナログ・デジタル変換器(ADC: analog to digital converter)を知覚刺激情報生成システム１に設ければよい。また、タッチパネル１１等の位置入力装置６及びディスプレイ７が別途必要であれば、知覚刺激情報生成システム１の構成要素とすればよい。例えば、図１に示すコンピュータ２，２Ａ自体を知覚刺激情報生成システム１の構成要素としてもよい。
【０１２０】
また、上述の例では、ユーザへの伝達対象となる情報が２次元画像情報である場合について説明したが、画像以外の２次元情報を伝達対象とすることができる。例えば、表面粗さや材質の違いを表す２次元マップ情報をユーザへの伝達対象とすることができる。上述したように、電気刺激の制御によって、あらゆる触覚を疑似的にユーザに付与することができる。
【０１２１】
従って、２次元画像としても表示可能な２次元マップ情報の種類が画像種類判定部３Ａにおいて２次元表面粗さマップであると判定される場合には、位置入力装置６により指定される位置における表面粗さを模擬する触覚刺激を電気刺激としてユーザに与えることができる。このため、ユーザは所望の物体の表面粗さを実際に物体に触れることなく認識することができる。一方、実際の表面粗さよりも強調した触覚刺激をユーザに与えるようにすれば、知覚刺激情報生成システム１は、表面粗さの増幅検査装置として利用することができる。この場合、熟練を要することなく、ユーザが物体の表面粗さの検査をすることが可能となる。
【０１２２】
また、２次元マップ情報の種類が２次元材質マップである場合には、材質の肌触りを電気刺激によって模擬することにより、ユーザは実際に物体を触ることなく材質の肌触りを認識することができる。
【０１２３】
このため、視覚を用いるユーザであっても視覚に加えて触覚や聴覚を併用して２次元画像情報のみならず様々な２次元情報の内容を認識することができる。特に、知覚刺激情報生成システム１により材質ごとの触覚刺激を模擬すれば、バーチャルリアリティをユーザに体験させることが期待できる。また、伝達対象が２次元画像である場合においても、視覚健常者と視覚障害者との間で知覚刺激のある部分が何を表しているのかといった様々な情報を相互に確認することができる。
【０１２４】
（第２の実施形態）
図１４は本発明の第２の実施形態に係る知覚刺激情報生成システムの構成図であり、図１５は図１４に示すマイクロコンピュータ２２の機能ブロック図である。尚、図１又は図１２に示す第１の実施形態における知覚刺激情報生成システム１と同様の構成要素については、同符号を付して同様な内容については説明を省略する。
【０１２５】
図１４に示された、第２の実施形態における知覚刺激情報生成システム１Ａは、小型カメラ３０、カメラドライバ３１、センサ３２、知覚刺激装置４、指固定具３３、マイクロコンピュータ２２及び指示入力装置８を備えている。
【０１２６】
小型カメラ３０、カメラドライバ３１、センサ３２及び知覚刺激装置４は、指固定具３３に固定される。すなわち、指固定具３３は、小型カメラ３０、カメラドライバ３１、センサ３２及び知覚刺激装置４を指に固定する器具である。このため、指固定具３３によりユーザの指に小型カメラ３０、カメラドライバ３１、センサ３２及び知覚刺激装置４を固定することができる。
【０１２７】
もちろん、ユーザの指以外の位置を指示する人体の部分に小型カメラ３０、カメラドライバ３１、センサ３２及び知覚刺激装置４を固定してもよい。また、小型カメラ３０及びカメラドライバ３１は、ユーザに固定しなくてもよい。但し、十分な解像度の２次元画像を撮影する観点から小型カメラ３０が指や手に追従して移動するように、ユーザに固定することが望ましい。
【０１２８】
小型カメラ３０は、被写体Ｏの２次元のカラー画像又は白黒画像を静止画又は動画として撮影することが可能な可視光カメラ又は赤外線カメラ等のカメラである。被写体Ｏは、紙面上の画像等の平面的な２次元画像の他、風景等の立体的なものとすることもできる。また、必要に応じて近接用レンズ３０Ａが小型カメラ３０に設けられる。これにより、被写体Ｏが紙面に印刷された文章のように細かい対象であっても、局所的に解像度の高い２次元画像を撮影することが可能となる。尚、カメラを指固定具３３に固定しない場合には、小型でないカメラを用いてもよい。
【０１２９】
カメラドライバ３１は、マイクロコンピュータ２２からの制御下において、小型カメラ３０に制御信号を出力することによって小型カメラ３０を制御する装置である。例えば、小型カメラ３０には、被写体Ｏの状況に応じた複数の撮影モードが選択可能に準備される。このような場合、カメラドライバ３１は、所望の撮影モードの選択指示を小型カメラ３０に与えることができる。例えば、近接用レンズ３０Ａを用いて解像度の高い画像を撮影する場合には、カメラドライバ３１による制御によって絞り撮影モードを選択することができる。
【０１３０】
センサ３２は、指や手等の位置を指示する人体の部分の位置及び動きの一方又は双方を求めるための空間データを測定する機能を有する。例えば、向きセンサと加速度センサとを用いて、対象物の向き及び加速度を測定すれば、測定した向き及び加速度に基づいて対象物の位置を測定することができる。従って、向きセンサ及び加速度センサを位置センサとして用いることができる。また、方位加速度センサを用いれば、対象物の動きを検知することができる。
【０１３１】
マイクロコンピュータ２２には、ADC３４、デジタル・アナログ変換器(DAC: digital to analog converter)３５及び入出力(I/O: input/output)ポート３６が設けられる。また、マイクロコンピュータ２２に知覚刺激情報生成プログラムを読み込ませることによって、マイクロコンピュータ２２はデータ処理系３として機能する。
【０１３２】
ADC３４の入力側には、小型カメラ３０及びセンサ３２の出力側が接続される。このため、小型カメラ３０により撮影された画像データ及びセンサ３２により測定されたデータのアナログ信号がADC３４によりデジタル信号に変換されてマイクロコンピュータ２２に入力される。また、DAC３５の出力側は、カメラドライバ３１及び知覚刺激装置４の入力側と接続される。このため、マイクロコンピュータ２２により生成されたデジタル制御信号が、DAC３５によりアナログ制御信号に変換されてカメラドライバ３１及び知覚刺激装置４に出力される。
【０１３３】
指示入力装置８は、マイクロコンピュータ２２のI/Oポート３６に接続される。指示入力装置８は、ボタン等の入力装置で構成される。そして、指示入力装置８の操作によって各種指示情報をマイクロコンピュータ２２に入力することができる。
【０１３４】
データ処理系３は、第１の実施形態における知覚刺激情報生成システム１と同様な機能を有する画像種類判定部３Ａ、画像変換部３Ｂ及び刺激制御部３Ｃに加え、カメラ制御部３Ｄを有する。
【０１３５】
カメラ制御部３Ｄは、カメラドライバ３１に制御信号を出力することによって、カメラドライバ３１を通じて小型カメラ３０の撮影モード等の撮影条件を設定する機能と、小型カメラ３０の撮影条件を示す情報を画像種類判定部３Ａ及び画像変換部３Ｂに与える機能とを有する。
【０１３６】
画像種類判定部３Ａは、カメラ制御部３Ｄから取得した小型カメラ３０の撮影条件に応じて小型カメラ３０から取得した一部又は全体の２次元画像データの種類を判定する機能を有する。画像データの種類の判定方法は、第１の実施形態において説明した通りである。すなわち、小型カメラ３０によりカラー画像が撮影された場合には、位置ごとのRed, Green, Blueの階調を表すRGB値と輝度値とで構成される２次元画像データが画像種類判定部３Ａに入力される。そして、RGB値及び輝度値に基づいて、予め設定したデータ処理方法で画像の種類が画像種類判定部３Ａにより判定される。
【０１３７】
また、画像の種類の判定処理を開始するトリガとして、小型カメラ３０の撮影条件を利用することができる。例えば、小型カメラ３０の撮影条件が、絞り撮影モード等の局所撮影用のモードでない場合には、情報伝達対象となる小型カメラ３０の撮影対象が、ユーザによる位置の指定範囲となる可能性が高い。従って、このような場合に、画像種類判定部３Ａが画像データの種類の判定処理を自律的に行うように構成することができる。
【０１３８】
撮影モードが局所撮影用のモードであるか否かは、カメラ制御部３Ｄから取得した撮影モードの選択情報に基づく判定の他、小型カメラ３０の焦点距離に対する閾値処理判定によっても行うことができる。例えば、焦点距離が30cm程度である場合には、焦点距離が閾値を超えているため、撮影目的が撮影対象の大まかな把握であると判定することができる。このため、画像の種類の判定処理が実行される。逆に、焦点距離が1cm程度であれば、撮影対象の局所的な位置を指定して詳細情報を取得することが撮影目的であると判定することができる。このため、画像の種類の判定処理は実行されない。
【０１３９】
画像変換部３Ｂは及び刺激制御部３Ｃも第１の実施形態と同様の機能を有する。但し、画像変換部３Ｂは、センサ３２から位置データや加速度データ等の各種空間データを取得し、取得した空間データに基づいて画像の種類の判定対象となったデータ領域における指等の人体の部分の絶対位置を求めるように構成される。そして、求めた絶対位置が刺激制御部３Ｃに与えられる特徴画像データに対応する指定位置とみなされる。
【０１４０】
また、第１の実施形態において位置入力装置６から入力される指定位置と同様に、センサ３２の測定データから推定される指定位置が静止しているか移動しているかに応じて画像変換処理方法を変更するモードを準備することができる。例えば、所定の時間を超えてセンサ３２が静止した場合には、画像変換部３Ｂにおける画像変換処理方法を、より局所的で詳細な特徴画像データを生成する画像変換処理方法に切り換えることができる。
【０１４１】
このように構成された知覚刺激情報生成システム１Ａによれば、２次元画像が画像信号として出力されない場合であっても、２次元画像の種類及び目的に応じて２次元画像から簡易化又は特徴化した特徴画像データを生成し、センサ３２からの測定データに基づいて推定した指定位置に対応する特徴画像に応じた知覚刺激をユーザに与えることができる。
【０１４２】
具体的には、まず指に指固定具３３を介して小型カメラ３０が固定される。そして、指示入力装置８の操作によってカメラ制御部３Ｄ及びカメラドライバ３１を通じて小型カメラ３０が制御され、小型カメラ３０の撮影モードが30cm程度の焦点距離で観察対象全体を撮影するモードに設定される。
【０１４３】
次に、指示入力装置８の操作によってカメラ制御部３Ｄ及びカメラドライバ３１を通じて小型カメラ３０が制御され、観察対象全体が小型カメラ３０によって撮影される。このときカメラ制御部３Ｄから撮影モード情報が画像種類判定部３Ａに与えられる。そうすると、画像種類判定部３Ａは、小型カメラ３０から２次元画像を取得し、２次元画像の種類の判定処理を行う。判定結果は、画像変換部３Ｂに与えられる。一方、このときの撮影条件から特定される２次元画像の位置に対するセンサ３２の相対位置がセンサ３２の２次元画像に対する絶対的な初期位置とされ、画像変換部３Ｂに出力される。
【０１４４】
次に、指示入力装置８の操作によってカメラ制御部３Ｄ及びカメラドライバ３１を通じて小型カメラ３０が制御され、小型カメラ３０の撮影モードが絞り撮影モードに設定される。そして、ユーザが情報を得ようとする位置に指を移動させ、指示入力装置８の操作によって絞り撮影モードで近接画像の撮影を行う。そうすると、指とともに移動したセンサ３２からは向き、加速度、方位加速度等の測定データが、小型カメラ３０からは局所的な２次元画像データが、それぞれ画像変換部３Ｂに出力される。
【０１４５】
次に、画像変換部３Ｂは、センサ３２の測定データと初期位置とから２次元画像に対する指による指定位置を推定する。また、画像変換部３Ｂは、２次元画像の種類に対応する画像変換処理によって、絞り撮影モードで撮影された２次元画像を特徴画像データに変換する。そして、画像変換部３Ｂは、指定位置に対応する単位画素領域における特徴画像データを刺激制御部３Ｃに与える。
【０１４６】
更に、図１３のステップＳ５及びステップＳ６と同様な流れで特徴画像に応じた知覚刺激がユーザに与えられる。このため、ユーザは小型カメラ３０の絞り撮影モードで撮影された２次元画像の局所位置における情報を知覚刺激として認識することができる。
【０１４７】
（他の実施形態）
以上、特定の実施形態について記載したが、記載された実施形態は一例に過ぎず、発明の範囲を限定するものではない。ここに記載された新規な方法及び装置は、様々な他の様式で具現化することができる。また、ここに記載された方法及び装置の様式において、発明の要旨から逸脱しない範囲で、種々の省略、置換及び変更を行うことができる。添付された請求の範囲及びその均等物は、発明の範囲及び要旨に包含されているものとして、そのような種々の様式及び変形例を含んでいる。
【符号の説明】
【０１４８】
１、１Ａ 知覚刺激情報生成システム
２，２Ａ コンピュータ
３ データ処理系
３Ａ 画像種類判定部
３Ｂ 画像変換部
３Ｃ 刺激制御部
３Ｄ カメラ制御部
４ 知覚刺激装置
４Ａ スピーカ
４Ｂ 電圧印加装置
４Ｃ 振動子
４Ｄ 増幅器
５ 演算装置
６ 位置入力装置
７ ディスプレイ
８ 指示入力装置
９ 振動スピーカ
１０ 表示画像生成部
１１ タッチパネル
１１Ａ タッチペン
２０ USB端子
２１ 出力ポート
２２ マイクロコンピュータ
３０ 小型カメラ
３０Ａ 近接用レンズ
３１ カメラドライバ
３２ センサ
３３ 指固定具
３４ ADC、
３５ DAC
３６ I/Oポート
Ｏ 被写体
【技術分野】
【０００１】
本発明は、知覚刺激情報生成システム、知覚刺激情報生成方法及び知覚刺激情報生成プログラムに関する。
【背景技術】
【０００２】
従来、視覚障害者が触覚を利用して２次元的な情報を取得できるようにした出力装置としてピンディスプレイが知られている。ピンディスプレイは、二次元に配列された複数のピンを上下させることによって、凹凸によりコンピュータの文字情報や図形情報などを表示するディスプレイである。また、ピンディスプレイをコンピュータマウスに設けることによって、マウスの動きに応じた触覚情報をユーザの指先にフィードバックできる触覚マウスも知られている（例えば特許文献１参照）。
【０００３】
更に、テレビ画像データ等の２次元画像データを触覚によって認識できるようにした振動型表示パネルも考案されている（例えば特許文献２参照）。この振動型表示パネルでは、表示画素に対応する電圧を振動素子に印加することによって振動が生成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０８６２２９号公報
【特許文献２】特開平７−３０６６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ピンディスプレイには、高価である、重量が大きい、解像度が低い、出力可能な情報に制限があるといった問題がある。また、触覚マウスは、絶対位置の認識が困難であるという問題がある。更に、振動型表示パネルは、構造が複雑で高価であるという問題がある。
【０００６】
また、共通の課題として、画像等の２次元情報を盲目者、弱視者及び色覚障害者等の視覚障害者に対して、より感覚的に分かり安く伝達することが望まれる。一方、視覚に障害がない対象者であっても、２次元情報を視覚以外の知覚を併用して感覚的に分かり安く伝達できれば、情報伝達を効果的に行うことができる。
【０００７】
本発明は、触覚等の視覚以外の知覚を利用することによって、２次元情報をユーザにより分かり安く伝達することが可能な知覚刺激情報生成システム、知覚刺激情報生成方法及び知覚刺激情報生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の実施形態に係る知覚刺激情報生成システムは、種類判定手段、情報変換手段及び制御手段を備える。種類判定手段は、２次元情報を取得して前記２次元情報の種類を判定する。情報変換手段は、前記２次元情報の種類に応じた前記２次元情報に対する処理によって、前記２次元情報の指定位置に対応する単位領域における特徴を表す特徴情報を生成する。制御手段は、前記特徴情報に応じた知覚刺激が前記２次元情報のユーザに付与されるように知覚刺激装置を制御する。
【０００９】
また、本発明の実施形態に係る知覚刺激情報生成方法は、２次元情報を取得して前記２次元情報の種類を判定するステップと、前記２次元情報の種類に応じた前記２次元情報に対する処理によって、前記２次元情報の指定位置に対応する単位領域における特徴を表す特徴情報を生成するステップと、前記特徴情報に応じた知覚刺激が前記２次元情報のユーザに付与されるように知覚刺激装置を制御するステップとを有する。
【００１０】
また、本発明の実施形態に係る知覚刺激情報生成プログラムは、コンピュータを上述の種類判定手段、情報変換手段及び制御手段として機能させる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る知覚刺激情報生成システムの機能ブロック図。
【図２】図１に示す画像変換部において画像変換処理として１階微分処理を行った例を示す図。
【図３】図１に示す画像変換部において画像変換処理として２階微分処理を行うことが有効な２次元画像の例を示す図。
【図４】図１に示す画像変換部において画像変換処理として２値化処理及び輪郭抽出処理を行った例を示す図。
【図５】図１に示す画像変換部において画像変換処理として空間周波数の補正処理を行った例を示す図。
【図６】図１に示す画像変換部において画像変換処理としてテキスト画像データをぼかす処理を行った例を示す図。
【図７】図１に示す画像変換部において画像変換処理として特定の色で着色された領域を抽出する処理を行った例を示す図。
【図８】図１に示す画像変換部において画像変換処理として特定の色領域の拡張処理を行った例を示す図。
【図９】図１に示す刺激制御部において波数が３つのトーンバース波形を有する制御信号を生成した例を示す図。
【図１０】図１に示す刺激制御部において波の高さが周期的に変化する波形を有する制御信号を生成した例を示す図。
【図１１】図１に示す画像変換部における画像変換処理及び刺激制御部における制御信号の生成処理の具体例を示す図。
【図１２】入出力端子を備えたマイクロコンピュータの演算装置を用いて知覚刺激情報生成システムを構成した例を示す図。
【図１３】図１に示す知覚刺激情報生成システムにより、コンピュータのディスプレイに表示された２次元画像を知覚刺激として出力する際の流れを示すフローチャート。
【図１４】本発明の第２の実施形態に係る知覚刺激情報生成システムの構成図。
【図１５】図１４に示すマイクロコンピュータの機能ブロック図。
【発明を実施するための形態】
【００１２】
本発明の実施形態に係る知覚刺激情報生成システム、知覚刺激情報生成方法及び知覚刺激情報生成プログラムについて添付図面を参照して説明する。
【００１３】
（第１の実施形態）
【００１４】
図１は本発明の第１の実施形態に係る知覚刺激情報生成システムの機能ブロック図である。
【００１５】
知覚刺激情報生成システム１は、２次元画像に応じた知覚刺激をユーザに与えることによって視覚を用いることなくユーザに２次元画像に関する情報を伝達するシステムである。図１に示す知覚刺激情報生成システム１は、パーソナルコンピュータや携帯電話等のコンピュータ２において表示される２次元画像に応じて知覚刺激を発生させる場合の構成例を示している。
【００１６】
知覚刺激情報生成システム１は、データ処理系３及び知覚刺激装置４を備えている。
【００１７】
データ処理系３は、コンピュータ２において表示される２次元画像データに応じた制御信号を生成し、生成した制御信号を知覚刺激装置４又はコンピュータ２に備えられる所望のデバイスに出力することによって、知覚刺激装置４又はコンピュータ２を制御する機能を有する。このデータ処理系３は、コンピュータ２の演算装置５に知覚刺激情報生成プログラムを読み込ませることによって構築することができる。具体的には、データ処理系３は、コンピュータ２の演算装置５を画像種類判定部３Ａ、画像変換部３Ｂ及び刺激制御部３Ｃとして機能させたものである。但し、データ処理系３を構成するために回路を用いてもよい。
【００１８】
知覚刺激情報生成プログラムは、コンピュータ２を知覚刺激情報生成システム１のデータ処理系３として利用できるように情報記録媒体に記録してプログラムプロダクトとして流通させることができる。もちろん、情報記録媒体を介さずにネットワーク経由で知覚刺激情報生成プログラムをコンピュータ２にダウンロードすることもできる。
【００１９】
コンピュータ２には、演算装置５の他、位置入力装置６、ディスプレイ７、指示入力装置８及び振動スピーカ９が備えられる。また、コンピュータ２の演算装置５は、本来の機能として、表示画像生成部１０として機能する。
【００２０】
ディスプレイ７は、２次元画像を表示することが可能なモニタである。従って、ユーザが視覚を用いない場合には、ディスプレイ７を省略してもよい。
【００２１】
表示画像生成部１０は、ディスプレイ７に表示させるための２次元画像データを生成する機能と、生成した２次元画像データをディスプレイ７に与えることによって、ディスプレイ７に２次元画像を表示させる機能を有する。
【００２２】
位置入力装置６は、ディスプレイ７上に表示された２次元画像の絶対的な２次元位置を指定し、指定位置情報としてコンピュータ２に入力する機能を有する。図１には、ディスプレイ７と位置入力装置６を層状に配置して一体に構成したタッチパネル１１をコンピュータ２に備えた例を示す。
【００２３】
タッチパネル１１には、複数の方式があり、任意の方式を用いることができる。具体的には、タッチパネル１１には、抵抗膜方式、表面弾性波方式（超音波方式）、赤外線方式（光学式）、電磁誘導方式、静電容量方式等の方式がある。タッチパネル１１の方式には、主にタッチペン等の指以外の指示道具を用いて位置情報を入力できる方式と、指又は指と同等の物理的特性を有する指示道具でなければ位置情報を入力できない方式とがある。この他、電磁誘導方式の場合には、位置情報を入力するために専用の電磁誘導ペンが必要である。
【００２４】
このため、タッチパネル１１の方式に応じて、タッチペンや電磁誘導ペン等のタッチパネル１１を介して位置情報を入力するための指示器具が位置入力装置６の構成要素として備えられる。図１は、タッチパネル１１の付属品としてタッチペン１１Ａを備えた例を示している。
【００２５】
タッチパネル１１を位置入力装置６及びディスプレイ７として使用すれば、ディスプレイ７に指又は指示道具を接触又は近接させた位置が指定位置情報としてコンピュータ２に入力される。このため、ユーザが、盲目者や弱視者等の視覚障害者であっても、直観的かつ感覚的に２次元画像の位置を確認しつつ指定位置情報をコンピュータ２に入力することが可能である。また、ユーザが視覚を利用して位置入力装置６を操作する場合であっても、２次元画像の参照を通じて容易に指定位置情報をコンピュータ２に入力することができる。
【００２６】
但し、ディスプレイ７上に表示された２次元画像の絶対的な２次元位置の指定位置情報をコンピュータ２に入力することが可能な位置入力装置６であれば、タッチパネル１１以外の位置入力装置６を用いることもできる。換言すれば、指定可能な２次元位置の範囲をユーザが認識できるようにすれば、様々な既存の入力装置を位置入力装置６として用いることができる。
【００２７】
例えば、大きさが有限のタッチパッドをそのまま位置入力装置６として用いることができる。或いは、マウス、トラックボール、ポインティングデバイス等の相対的な２次元位置を入力する入力装置であっても、指定可能な２次元位置の範囲の境界が指定された場合に、振動、音又は音声により指定可能な２次元領域の境界であることをユーザに知らせる機能を入力装置自体や任意のデバイスとして設けることにより、絶対的な２次元位置の指定位置情報を入力する位置入力装置６として用いることができる。
【００２８】
指示入力装置８は、コンピュータ２に位置以外の指示情報を入力するための入力装置である。指示入力装置８には、キーボードやマウス等の入力装置がある。また、タッチパネル１１に表示された電子ボタンを押したり、複数の選択肢から選択する操作を、タッチパネル１１を通じて行う場合には、タッチパネル１１は位置入力装置６と指示入力装置８を兼ねることとなる。タッチパッド等の入力装置を位置入力装置６として用いる場合も同様である。
【００２９】
ユーザが視覚障害者である場合には、スクリーンリーダ技術の利用によって指示入力装置８の操作をサポートすることができる。スクリーンリーダは、ディスプレイ７に表示された情報を音声で読み上げる技術である。
【００３０】
振動スピーカ９は、演算装置５から出力される音声信号に従って振動し、音声を発生させる装置である。すなわち、振動子を備えたスピーカである。
【００３１】
知覚刺激装置４は、ディスプレイ７に表示されている２次元画像に関する情報をユーザに伝達するために、データ処理系３から出力される制御信号に従って人間の視覚以外の単一又は複数の知覚を単一又は複数の方法で直接的又は間接的に刺激する装置である。
【００３２】
刺激する知覚としては、より分かり安くユーザに情報を伝達できる観点から触覚が最も有効である。また、より簡易な構成で情報を伝達するために、聴覚を刺激する機能を知覚刺激装置４に設けてもよい。聴覚を刺激する場合には、知覚刺激装置４にスピーカ４Ａが設けられる。
【００３３】
一方、触覚を刺激する代表的な方法としては、電気刺激と振動が挙げられる。
【００３４】
電気刺激は、指や手などの人体の一部に所定の強度及びパターンの電圧を印加することによって与えることができる。理論的には、人体に印加される電圧の制御によって、あらゆる材質の物を触ったときの触覚を模擬することが可能であるとされている。電気刺激を人体に付与する場合には、知覚刺激装置４に電極を有する電圧印加装置４Ｂが設けられる。この場合、印加電圧を可変とすることが、より詳細な情報を伝達できる観点から有効である。
【００３５】
振動で触覚を刺激する場合には、偏心モータ等の振動子４Ｃを用いて非常に簡易に知覚刺激装置４を構成することができる。尚、振動の一種である超音波振動を利用して触覚を刺激することもできる。振動の伝導方法としては、知覚刺激装置４から人体に直接伝導させる方法と間接的に伝導させる方法がある。
【００３６】
振動を直接人体に伝導させる場合には、人体に装着可能な形状及び素材の装着部に振動子４Ｃを固定することによって知覚刺激装置４を構成することができる。例えば、指に振動を与える場合には、弾力を有するＣ字状又はリング状のフレームや繊維素材に振動モータを取り付けることによって知覚刺激装置４を構成することができる。
【００３７】
この場合、複数の指に振動を与えることができるように、複数の振動子４Ｃを複数の装着部に設けることによって知覚刺激装置４を構成してもよい。複数の指に振動子４Ｃを設ければ、指ごとに異なる振動を与えることができる。このため、複数の指を用いたタッチパネル１１へのマルチ位置入力にも対応することができる。
【００３８】
振動を間接的に人体に伝導させる場合には、指や手で操作される位置入力装置６を介して振動を人体に付与することが効果的である。従って、タッチペン１１Ａ等のタッチパネル１１の指示器具やタッチパネル１１自体を振動させるように知覚刺激装置４を構成することができる。位置入力装置６がマウス、タッチパッド、トラックボール、ポインタ等の入力装置である場合には、これらの入力装置を振動させてもよい。この場合、タッチパネル１１やタッチペン１１Ａ等の被振動体に振動モータ等の振動子４Ｃを接触させればよい。従って、振動モータ等の振動子４Ｃに被振動体への固定器具を設けることによって知覚刺激装置４を構成することができる。
【００３９】
尚、図１に示すように振動スピーカ９がコンピュータ２に備えられている場合には、振動スピーカ９を制御することによってもタッチパネル１１を振動させることができる。振動スピーカ９を利用すれば、振動による触覚刺激と音による聴覚刺激とを併用することもできる。これは、知覚刺激装置４における振動子４Ｃとして振動スピーカを用いた場合も同様である。
【００４０】
また、コンピュータ２が携帯電話である場合には、コンピュータ２に標準的に振動機構が備わっている。従って、振動スピーカ９等の振動機構がコンピュータ２に備えられ、かつ当該振動機構を制御できる場合には、知覚刺激装置４を省略してもよい。逆に、知覚刺激装置４を設ければ、コンピュータ２に振動スピーカ９等の振動機構が備わっていなくても、人体の触覚を刺激することができる。
【００４１】
また、コンピュータ２からの出力が十分でない場合には、必要に応じて増幅器４Ｄが知覚刺激装置４に備えられる。そして、増幅器４Ｄの入力側がコンピュータ２と接続され、増幅器４Ｄの出力側に振動子４Ｃ、スピーカ４Ａ、電圧印加装置４Ｂ等の刺激を発生させる構成要素が接続される。
【００４２】
コンピュータ２の画像種類判定部３Ａは、表示画像生成部１０からディスプレイ７上に表示されている２次元画像データの少なくとも一部を取得して、表示されている２次元画像の種類を判定する機能を有する。
【００４３】
２次元画像の種類は、様々な分類方法で特定することができる。例えば、色に着目すれば、２次元画像は、白黒の２値画像、輝度で表示される多値のグレースケール画像、２値又は多値のカラー画像、３次元(3D: three-dimensional)画像等の種類に分類できる。或いは、画像の内容や属性に着目すれば、２次元画像は、デジタル写真等の静止画、動画、テキスト文書、表、グラフ、図面、イラスト等のイメージ、CG (computer graphic)等の種類にも分類することができる。
【００４４】
上述した２次元画像の種類の判定は、画像種類判定部３Ａにおける２次元画像データに対するデータ処理によって自動的に行うことができる。但し、ユーザの操作によって指示入力装置８から入力された指示情報に基づいて手動で判定又は判定結果を変更することもできる。画像の種類の判定処理を自動で行う場合には、画像種類判定部３Ａが、２次元画像データがカラー画像データか白黒画像データであるかの判定処理、２次元画像データが２値画像データであるか多値画像データであるかの判定処理、２次元画像データの画素値に対する閾値処理、２次元画像データの位置変化に関するｎ階の微分値（nは任意の自然数）に対する閾値処理等の必要なデータ処理を実行する。
【００４５】
上述した判定処理の詳細な方法の例としては、２次元画像データのデータ形式に基づく方法、画素値のヒストグラムに基づく方法及び画像データに所定の変換処理を施して得られるデータに基づく方法が挙げられる。
【００４６】
例えば、２次元画像データのデータ形式がモノクロのビットマップ形式である場合には、２次元画像の種類が白黒の２値画像であると判定することができる。
【００４７】
また、画素値のヒストグラムが２値である場合には２値画像データであると判定することができる。一方、RGB値の各ヒストグラム間における相関係数に対する閾値処理等によってRGB値の各ヒストグラムが互いに相似であると判定される場合には、２次元画像の種類がグレースケールの画像であると判定することができる。また、RGB値の各ヒストグラムが不連続な複数のピークを呈する場合には、２次元画像の種類が特定の色を抽出することが可能な画像であると判定することができる。更に、画素値のヒストグラムに対して、平滑化処理等の任意の処理を施してもよい。
【００４８】
別の例としては、２次元画像データを色相(Hue)、彩度(Saturation)及び明度(Value)の三成分からなるHSV色空間データや色相(Hue)、彩度(Saturation)及び輝度(Luminance)の三成分からなるHLS色空間データ等の色空間データに変換し、色空間データに基づいて２次元画像の種類を判定することができる。例えば、色空間データにおける色相の揺らぎを表す指標に対する閾値処理などによって、色相の揺らぎが少ないと判定される場合には、２次元画像の種類がグレースケールの画像であると判定することができる。
【００４９】
ディスプレイ７には、異なる複数の種類の２次元画像が表示される場合がある。この場合には、２次元画像が位置ごとに異なる複数の種類と判定される。
【００５０】
このような判定処理のため、画像種類判定部３Ａは、ディスプレイ７上に表示されている２次元画像データ全体又は少なくともディスプレイ７上に表示されている２次元画像の種類を判定することが可能な範囲の２次元画像データを表示画像生成部１０から取得できるように構成される。
【００５１】
すなわち、２次元画像の種類の判定に２次元画像データ全体を用いる場合には、画像種類判定部３Ａは、位置入力装置６から入力された指定位置情報とは無関係に２次元画像データ全体を表示画像生成部１０から取得する。一方、２次元画像の種類の判定に２次元画像データの一部を用いる場合には、画像種類判定部３Ａは、位置入力装置６から入力された指定位置情報に応じた範囲の２次元画像データを表示画像生成部１０から取得する。例えば、画像種類判定部３Ａは、位置入力装置６によって指定された位置を中心として予め設定された範囲内における２次元画像データを表示画像生成部１０から取得する。
【００５２】
つまり、２次元画像の種類は、位置入力装置６から入力された指定位置における画素値のみからは判定することができない。従って、指定位置の周辺を含み、画像の種類の判定に十分な範囲の画素に基づいて画像の種類が判定される。
【００５３】
２次元画像の種類の判定に２次元画像データ全体を用いれば、より確実な判定が期待できる。これに対して、２次元画像の種類の判定に２次元画像データの一部を用いれば、データ処理を高速化してリアルタイム性を向上させることができる。
【００５４】
画像変換部３Ｂは、画像種類判定部３Ａにおいて判定結果として生成された画像の種類情報に基づいて、画像の種類に応じた２次元画像データの特徴を表す中間画像データとして特徴画像データを生成する機能と、位置入力装置６から取得した指定位置情報に対応する所定の範囲内における特徴画像データの画素値情報を刺激制御部３Ｃに与える機能を有する。また、画像変換部３Ｂは、特徴画像データを生成するために、表示画像生成部１０から２次元画像データ全体の画素値又は少なくとも位置入力装置６から入力された指定位置を含む部分的な領域に対応する２次元画像データの画素値を取得できるように構成される。
【００５５】
特徴画像データは、ユーザが視覚障害者であっても認識がより容易となるような画像データとされる。特に、画像の種類に応じた２次元画像データの特徴を単純化した画像データや画像の種類に応じた２次元画像データの特徴を強調した画像データは、認識が容易な画像データとなる場合が多い。このような特徴画像データは、経験的又は実験的に決定した２次元画像データに対する画像変換処理によって生成することができる。
【００５６】
画像変換処理は、所望の単一又は複数の処理で構成し、処理の組み合わせは、画像の種類に応じて予め適切な組み合わせに決定しておくことができる。画像変換処理方法の具体例としては、空間周波数の補正処理、諧調の補正処理、２値化処理、特定の色に対応する位置又は領域の抽出処理、画像を意図的にぼかすスムージング処理、ガンマ変換、ｎ階の微分処理が挙げられる。
【００５７】
但し、指示入力装置８から入力された指示情報に基づいて複数の画像変換処理方法から所望の画像変換処理方法を選択できるようにしてもよい。すなわち、上述の画像の種類に加え、ユーザの目的に応じて画像変換処理方法を手動で変更することができる。
【００５８】
図２は、図１に示す画像変換部３Ｂにおいて画像変換処理として１階微分処理を行った例を示す図である。
【００５９】
図２(A)に示すように、指定位置周辺の２次元画像データとして、或いは２次元画像データに対する画像変換処理によって、着色された単純な図形を表す画像データが得られている場合、画像データに１階微分処理を行うと、(B)に示すように図形の輪郭が抽出された特徴画像データが生成される。すなわち、この場合、１階微分処理は、図形の輪郭抽出処理となっている。特にユーザが視覚障害者である場合には、図２(A)に示すような着色された図形情報よりも、図２(B)に示すような図形の輪郭情報の方が単純な情報であり認識が容易である。
【００６０】
図３は、図１に示す画像変換部３Ｂにおいて画像変換処理として２階微分処理を行うことが有効な２次元画像の例を示す図である。
【００６１】
図３(A)に示すように、陰影を付けることによって円柱を２次元で表現した画像データが得られている場合、１階微分処理行うと、底面の縁の輪郭を抽出することができる。しかし、円柱側面における曲率の変動を単純化した２次元画像として表すためには、図３(A)に示す画像データに対する２階微分処理が有効である。
【００６２】
図４は、図１に示す画像変換部３Ｂにおいて画像変換処理として２値化処理及び輪郭抽出処理を行った例を示す図である。
【００６３】
図４(A)に示すように、指定位置周辺の２次元画像データの種類がカラーの静止画像である場合に、静止画像データに対して２値化処理を行うと、図４(B)に示すように、白領域と黒領域を有する特徴画像データが生成される。このため、静止画像が風景画であるなどのサポート情報があれば、領域の形状から空の領域と山を含む地上の領域との識別が容易な画像データを生成することができる。一方、２次元画像データに対して微分処理などの輪郭線の抽出処理を行えば、図４(C)に示すように、領域の境界が抽出された特徴画像データが生成される。図４(C)に示す輪郭抽出画像によれば、空と山の境界の認識が容易である。
【００６４】
同様な応用例としては、２次元画像データの種類が解剖図であるとのサポート情報があれば、骨領域と筋肉領域との区別が容易な単純化された特徴画像データを２次元画像データに対する画像変換により生成することができる。
【００６５】
図５は、図１に示す画像変換部３Ｂにおいて画像変換処理として空間周波数の補正処理を行った例を示す図である。
【００６６】
図５(A)に示すように、輪郭画像データが得られている場合に、空間周波数が大きいと輪郭線が細くなる。そこで、空間周波数を低減化する補正処理を輪郭画像データに施すことによって、図５(B)に示すような線の太い輪郭画像データを生成することができる。補正処理としては、例えば、空間周波数が予め設定した閾値を超える場合に、より小さい特定の値に調整する補正や、空間周波数を一定の割合で小さくする補正などがある。
【００６７】
図６は、図１に示す画像変換部３Ｂにおいて画像変換処理としてテキスト画像データをぼかす処理を行った例を示す図である。
【００６８】
図６(A)に示すようなテキストを示す画像データから視覚障害者が文字のレイアウトを確認しようとする場合、原画像データに対してスムージング処理やガンマ変換等のテキストを意図的にぼかす処理を施すと、図６(B)に示すような画像データが生成される。図６(B)に示す画像データでは、テキストが読み取れない程、不正確に表示されているものの、各文字が太くなる結果、文字の配列方向が強調される。従って、視覚障害者には、図６(B)に示す画像データが適切な場合がある。
【００６９】
同様に、文書のレイアウトやOS (operating system)の操作画面のレイアウトを確認する場合には、このようなぼかし処理が有効な場合がある。逆に、文字の形状を認識しようとする場合には、文字自体の輪郭を強調する画像処理が適切となる。つまり、大局的に画像情報を得ることがユーザの目的である場合には、局所的な画像の要素を抑制する処理が適切であり、局所的な画像情報を得ることがユーザの目的である場合には、局所的な画像の要素を強調する処理が適切であることが多い。
【００７０】
図７は、図１に示す画像変換部３Ｂにおいて画像変換処理として特定の色で着色された領域を抽出する処理を行った例を示す図である。
【００７１】
図７(A)に示すようなテキストを示す画像データから視覚障害者が朱色で押された印影の有無を確認しようとする場合、原画像データに対して朱色領域の抽出処理を施すと、図７(B)に示すような画像データが生成される。図７(B)に示す画像データでは、テキストが消えているものの、印影部分は選択的に描出されている。従って、視覚障害者にとっては、図７(B)に示す画像データの方が印影の有無の認識に有効である。
【００７２】
尚、抽出された特定の色領域を拡張する処理を行ってもよい。例えば、印影を抽出する場合には、隣接する朱色の領域を拡大することによって結合させることが効果的である。
【００７３】
図８は、図１に示す画像変換部３Ｂにおいて画像変換処理として特定の色領域の拡張処理を行った例を示す図である。
【００７４】
図８(A)に示すように、複数の細かい色領域が分散して抽出された場合には、図８(B)に示すように色領域を膨張させて結合することが効果的である。尚、空間周波数を低下させる処理を行っても、複数の領域を結合することが可能である。但し、特定の領域を拡張する処理を行えば、着目する領域をより強調して確実に抽出することができる。
【００７５】
この他の画像変換処理の例としては、パターンやCGにおいて３次元的に表示される図形領域の模様として利用されるテクスチャを、特定の領域に付加する処理などが挙げられる。これによりテクスチャ等の周期的な模様の相違により画像データ上の領域の特定が容易となる。
【００７６】
上述の例のように、適切な画像変換処理は、２次元画像データの種類のみならず、ユーザの目的にも依存する。そこで画像変換部３Ｂが、位置入力装置６から入力された指定位置の履歴情報に基づいてユーザの目的を自動的に予測し、予測した目的に応じて画像変換処理方法を変更するモードを設定してもよい。
【００７７】
例えば、位置入力装置６から入力された指定位置が静止している場合には、ユーザは指定位置における局所的な画像情報を取得することが目的であると予測できる。逆に、位置入力装置６から入力された指定位置が断続的又は連続的に移動している場合には、大局的な画像情報を取得することが目的であると予測できる。
【００７８】
そこで、指定位置が静止している場合には、より詳細な画像データを生成するための画像変換処理を実行し、指定位置が移動している場合には、より単純な画像データを生成するための画像変換処理を実行するように、画像変換部３Ｂにおける処理方法を予め決定することができる。
【００７９】
一方、ユーザの目的に依存しない画像変換については、画像の種類に応じて自動的に実行されるようにすることができる。例えば、空間周波数の補正処理や諧調の補正処理などは、画像の種類に応じて画像変換部３Ｂが自動的に実行するように画像処理方法を決定することができる。
【００８０】
また、刺激制御部３Ｃに与えられる対象となる指定位置に対応する所定の範囲についても、指示入力装置８から指示情報を画像変換部３Ｂに入力することによって、指定位置周辺の所望の領域に含まれる複数の画素を単位画素領域として可変設定することができる。単位画素領域は、例えば、指やタッチペン１１Ａをタッチパネル１１に接触させたときの接触面積と同等な必要な解像度が得られる領域とすることが実用的である。
【００８１】
従って、単位画素領域の広さを特徴画像データの空間周波数に対応させて設定してもよい。例えば、特徴画像データの空間周波数が高ければ、特徴画像データは細かい画像データとなる。従って、特徴画像データの情報を得るためには、より高い解像度が必要となる。このため、空間周波数に依存して要求される解像度が得られるように単位画素領域も小さく設定すれば良い。逆に、空間周波数が低ければ、特徴画像データは粗い画像データとなるので、粗い解像度が得られればよく、ユーザにおおまかな情報が伝達されるよう単位画素領域も広く設定することができる。
【００８２】
但し、空間周波数等の条件に依らず、高解像度に対応するために、単一の画素を単位画素領域としてもよい。
【００８３】
そして、指定位置に対応する単位画素領域の特徴画像データが画像変換部３Ｂから刺激制御部３Ｃに与えられる対象データとなる。従って、画像変換部３Ｂは、単位画素領域のみについて特徴画像データを生成するようにしてもよいし、単位画素領域よりも広範囲の特徴画像データを生成して単位画素領域のデータを抽出するようにしてもよい。そして、後述する刺激制御部３Ｃによる知覚刺激装置４又は振動スピーカ９の制御によって、単位画素領域の特徴画像データに応じた知覚刺激がユーザに付与される。
【００８４】
知覚刺激を通じてユーザに情報をより分かり安く伝達する観点からは、位置入力装置６を操作して位置を指定したタイミングにおいて、指や手に知覚刺激を与えることが非常に効果的である。例えば、ユーザがタッチパネル１１をタッチしたタイミングでディスプレイ７を振動させれば、タッチパネル１１全体が振動しているとしても、ユーザにタッチした位置が振動すると認識させることができる。従って、指定位置の入力から知覚刺激発生までの遅延時間が長いと情報伝達の効果が低減する。遅延時間は、単位画素領域を大きくすることによってある程度短くすることができる。
【００８５】
更に、予測した指定位置に基づく制御を行うことによって、単位画素領域を不必要に大きくすることなく、つまり解像度を犠牲にすることなく指定位置の入力から知覚刺激発生までの遅延時間を短くすることができる。
【００８６】
将来のある時刻における指定位置は、過去の各時刻における指定位置の軌跡を示す履歴情報、すなわち指定位置の直前における移動方向及び移動速度に基づいて事前に予測することができる。従って、過去の各時刻における指定位置の移動方向及び移動速度を含む指定位置履歴情報及び位置入力装置６から取得した最新の指定位置情報に基づいて予測される将来の指定位置を中心とする領域を単位画素領域としてもよい。例えば、指定位置の入力タイミングから知覚刺激の発生までに要する時間分だけ最新の指定位置から移動させた位置を将来の指定位置として予測することができる。
【００８７】
このような制御によって、データ処理及び制御信号の伝送による出力の遅れを補正することができる。そして、常にリアルタイムにユーザにタッチした位置において振動等による触覚刺激を与えることができる。この制御は、画像種類判定部３Ａにおける指定位置に対応する画像の種類の判定処理にも適用することができる。
【００８８】
刺激制御部３Ｃは、画像変換部３Ｂから取得した指定位置に対応する単位画素領域における特徴画像データの画素値に基づいて制御信号を生成する機能と、生成した制御信号を知覚刺激装置４又は振動スピーカ９に出力する機能を有する。つまり、刺激制御部３Ｃは、知覚刺激装置４又は振動スピーカ９を制御することによって、特徴画像データの指定位置付近における特徴を所定のパターンの知覚刺激としてユーザに伝達する機能を備えている。
【００８９】
制御信号は、指定位置に対応する単位画素領域における画素値情報を、予め決定された規則に従って変換することによって生成することができる。制御信号への変換規則は、指示入力装置８から指示情報を刺激制御部３Ｃに入力することによって所望の規則に可変設定することができる。
【００９０】
制御信号による制御対象が、図１に示すように振動子４Ｃ、スピーカ４Ａ、電圧印加装置４Ｂ及び振動スピーカ９のうちの１つまたは複数の組合せである場合には、振動、音、電圧等の知覚刺激の付与主体の振幅及び周波数の他、波数（山の数）や波の面積（パワー）、唸り等のパラメータを特徴画像データの画素値に対応させて設定することができる。
【００９１】
図９は、図１に示す刺激制御部３Ｃにおいて波数が３つのトーンバース波形を有する制御信号を生成した例を示す図であり、図１０は、図１に示す刺激制御部３Ｃにおいて波の高さが周期的に変化する波形を有する制御信号を生成した例を示す図である。
【００９２】
例えば、特徴画像データが２値の白黒画像データである場合には、指定位置で特定される単位画素領域における値の有無を、振動、電圧又は音の有無としてユーザに伝達できるように制御信号を生成することができる。この場合、ユーザは、刺激の有無で特徴画像データの輪郭や領域を認識することができる。
【００９３】
一方、特徴画像データが多値の画像データであれば、特徴画像データの濃度又は輝度を制御信号の振幅の大きさ又は周波数の長さに対応させることができる。この場合、ユーザは、振動、電圧又は音の強さ及び周波数によって特徴画像データの濃度を判断することができる。
【００９４】
また、特徴画像データがカラーの画像データであれば、色相や彩度を制御信号の振幅の大きさ、周波数の高低及びそれらのパターンの組合せに対応させることができる。この場合、ユーザは、振動、電圧又は音の強さ及び周波数によって特徴画像データの色相や彩度を判断することができる。また、指定位置で特定される単位画素領域内に緑色等の特定色の画素が存在する場合にのみ振動、電圧又は音を発生させるように制御信号を生成することもできる。この場合、ユーザは、振動、電圧又は音の有無によって、特定色の有無を判断することができる。
【００９５】
別の例として、指定位置が既定の時間以上、既定の領域にあると判定される場合、その点における詳細な情報を伝達できるように制御信号を切換えることができる。例えば、RGB値を区切られた3個の振動における波の高さで表現したり、色相に対応する振動で表現することができる。
【００９６】
図１１は、図１に示す画像変換部３Ｂにおける画像変換処理及び刺激制御部３Ｃにおける制御信号の生成処理の具体例を示す図である。
【００９７】
図１１(A)に示すように観察対象となる画像データが事務処理等に利用される書類の画像データである場合には、白黒画像に捺印された書類データや赤色で強調された書類データのように、ごく一部において色が使用される場合が多い。そこで、図１１(B)に示すように画像変換部３Ｂにおいて画像データの分割処理を行うと、予め局所的な領域として設定した範囲を除く領域が白黒の2値データであるかグレースケールのデータである場合には、局所的に色が使用された書類データであると判定することができる。
【００９８】
そこで、図７に示すような色領域の抽出処理を画像変換部３Ｂにおいて行い、刺激制御部３Ｃにおいて着色領域では黒色領域と異なる振動を発生させる制御信号を生成すれば、ユーザが黒以外の色の存在及び領域を認識することができる。
【００９９】
ところで、コンピュータ２がパーソナルコンピュータである場合には、音声出力端子やBeep用スピーカに知覚刺激装置４を接続することによって、既存の構造を変えることなく簡易に刺激制御部３Ｃから制御信号を知覚刺激装置４に出力させることができる。Beep用スピーカは、周波数と時間を引数とするBeep関数で生成される単純なBeep音の出力を担うスピーカである。この場合、知覚刺激装置４から十分な振動、音又は電圧を発生させるためには、振動子４Ｃ、スピーカ４Ａ又は電圧印加装置４Ｂに増幅器（アンプ）４Ｄを接続することが必要である。
【０１００】
また、図１には、情報伝達の対象となる２次元画像を出力させるコンピュータ２自体の演算装置５にデータ処理系３を内蔵する例を示したが、別の演算装置を用いてデータ処理系３を構成してもよい。
【０１０１】
図１２は、入出力端子を備えたマイクロコンピュータの演算装置を用いて知覚刺激情報生成システム１を構成した例を示す図である。
【０１０２】
図１２に示すように、ユニバーサル・シリアル・バス (USB: Universal Serial Bus)端子２０及び出力ポート２１を設けたマイクロコンピュータ２２の出力ポート２１側に知覚刺激装置４を接続することによっても知覚刺激情報生成システム１を構成することができる。この場合、マイクロコンピュータ２２の演算装置に知覚刺激情報生成プログラムを読み込ませることによってデータ処理系３が構築される。
【０１０３】
図１２に示すように知覚刺激情報生成システム１を構成することによって、アタッチメントとして既存のコンピュータ２Ａに接続することができる。このため、コンピュータ２Ａの構造を変えることなく簡易にコンピュータ２Ａに表示された２次元画像に関する情報を、知覚刺激を利用してユーザに伝達することができる。特に、知覚刺激情報生成システム１を図１２に示す構成とすれば、コンピュータ２Ａに内蔵されるスピーカ９Ａをスクリーンリーダ機能のために利用することができる。従って、スクリーンリーダと知覚刺激の併用によって、一層分かり安くユーザに情報を伝達することが可能となる。
【０１０４】
次に知覚刺激情報生成システム１の動作および作用について説明する。
【０１０５】
図１３は、図１に示す知覚刺激情報生成システム１により、コンピュータ２のディスプレイ７に表示された２次元画像を知覚刺激として出力する際の流れを示すフローチャートである。
【０１０６】
まずステップＳ１において、画像種類判定部３Ａが、コンピュータ２のディスプレイ７に出力される２次元画像データを表示画像生成部１０から取得する。
【０１０７】
次に、ステップＳ２において、画像種類判定部３Ａは、取得した２次元画像データの種類を予め設定されたデータ処理方法に従って自動的に行われる。また、必要に応じてユーザが指示入力装置８を操作することによって、２次元画像データのデータ処理方法又は２次元画像データの種類自体を指定する。
【０１０８】
次に、ステップＳ３において、画像変換部３Ｂは、タッチパネル１１等の位置入力装置６から指定位置情報を取得する。すなわち、ユーザが位置入力装置６を操作してディスプレイ７に表示された２次元画像上の位置を指定すると、指定された位置が位置入力装置６から画像変換部３Ｂにより位置指定情報として取得される。
【０１０９】
次に、ステップＳ４において、画像変換部３Ｂは、画像種類判定部３Ａにおいて判定結果として生成された画像の種類情報に基づいて、指定位置に対応する単位画素領域における２次元画像データの特徴を表し、認識が容易な特徴画像データを生成する。すなわち、画像変換部３Ｂは、例えば、図２、図４、図５、図６又は図７に示すような画像変換処理の組合せによって指定位置に対応する単位画素領域の特徴画像データを生成する。このとき、予測される指定位置に対応する領域を単位画素領域とすることにより、入出力間における遅延を短くすることができる。
【０１１０】
そして、画像変換部３Ｂは、指定位置に対応する単位画素領域における特徴画像データを刺激制御部３Ｃに与える。
【０１１１】
次に、ステップＳ５において、刺激制御部３Ｃは、単位画素領域における特徴画像データの画素値に基づいて予め設定された方法に従って知覚刺激装置４及び振動スピーカ９の一方又は双方の制御信号を生成する。この制御信号の生成方法は、指示入力装置８から刺激制御部３Ｃに指示情報を入力することによって指定することもできる。
【０１１２】
次に、ステップＳ６において、刺激制御部３Ｃは、生成した制御信号を知覚刺激装置４及び振動スピーカ９の一方又は双方に出力する。これにより、振動を利用して情報をユーザに伝達させる場合には、知覚刺激装置４の振動子４Ｃ及び振動スピーカ９が、制御信号に従って指定位置における特徴画像データに応じた振動を発生させる。また、音を利用して情報をユーザに伝達させる場合には、知覚刺激装置４のスピーカ４Ａ及び振動スピーカ９が、制御信号に従って指定位置における特徴画像データに応じた音を発生させる。更に、電気刺激を利用して情報をユーザに伝達させる場合には、知覚刺激装置４の電圧印加装置４Ｂが制御信号に従って指定位置における特徴画像データに応じた電気刺激を直接的に又は間接的にユーザに与える。
【０１１３】
このため、ユーザは、２次元画像の指定位置における画像情報を、情報の種類や属性に応じた知覚刺激として認識することができる。しかも、知覚刺激は、２次元画像を画像の種類に応じて特徴を容易に認識できるように変換して生成された特徴画像に基づいて発生する。従って、ユーザは、２次元画像に関する情報をより容易に認識することができる。
【０１１４】
つまり以上のような、知覚刺激情報生成システム１は、ディスプレイ７に表示されている２次元画像情報を画像の種類及び目的に応じて一旦簡易化又は特徴化した特徴画像に変換し、タッチパネル１１等の位置入力装置６から取得した指定位置に対応する特徴画像に基づいてユーザに振動等による知覚刺激を与えるようにしたものである。
【０１１５】
このため、知覚刺激情報生成システム１によれば、視覚を用いないユーザであってもディスプレイ７に表示されている２次元画像から所望の情報を選択的かつ容易に認識することができる。
【０１１６】
特に、知覚刺激情報生成システム１では、表示されている２次元画像データの局所的な画素値が振動や電気刺激に変換されるのではなく、予め大局的な２次元画像データに基づいて判定された画像の種類に応じて特徴の認識が容易となるように生成された特徴画像データの画素値から振動や電気刺激等の知覚刺激が生成される。しかも、ユーザは、指定位置を入力した位置において知覚刺激を受けたと認識する。このため、視覚を利用しないユーザにとっては、より認識が容易な知覚刺激として２次元画像に関する情報を得ることができる。従って、知覚刺激情報生成システム１は、視覚障害者への２次元画像情報の伝達手段として有効である。
【０１１７】
また、知覚刺激情報生成システム１は、構造が簡易であるため、既存のコンピュータ２，２Ａに対しても容易に適用することができる。特に、従来の触覚ディスプレイであるピンディスプレイと比較すると、知覚刺激情報生成システム１は構造が簡易であり、かつ安価である。
【０１１８】
尚、上述の例では、コンピュータ２，２Ａにおいて生成される２次元画像をユーザへの伝達対象とする例について説明したが、コンピュータ２，２Ａ以外の機器において生成される２次元画像をユーザへの伝達対象としてもよい。例えば、アナログ放送又はデジタル放送を受信したテレビに表示された２次元画像、ハードディスク等の記録装置を備えた画像記録装置から出力される２次元画像、DVD (Digital Versatile Disc)等の画像記録媒体に記録された画像を再生する画像再生装置から出力される２次元画像を知覚刺激情報生成システム１によるユーザへの伝達対象とすることができる。このうち、実用性の高い例としては、デジタルテレビ放送におけるデータ表示のレイアウトの認識のために知覚刺激情報生成システム１を用いて知覚刺激を発生させる応用が挙げられる。
【０１１９】
この場合、伝達対象となる２次元画像データがアナログ信号であれば、アナログ・デジタル変換器(ADC: analog to digital converter)を知覚刺激情報生成システム１に設ければよい。また、タッチパネル１１等の位置入力装置６及びディスプレイ７が別途必要であれば、知覚刺激情報生成システム１の構成要素とすればよい。例えば、図１に示すコンピュータ２，２Ａ自体を知覚刺激情報生成システム１の構成要素としてもよい。
【０１２０】
また、上述の例では、ユーザへの伝達対象となる情報が２次元画像情報である場合について説明したが、画像以外の２次元情報を伝達対象とすることができる。例えば、表面粗さや材質の違いを表す２次元マップ情報をユーザへの伝達対象とすることができる。上述したように、電気刺激の制御によって、あらゆる触覚を疑似的にユーザに付与することができる。
【０１２１】
従って、２次元画像としても表示可能な２次元マップ情報の種類が画像種類判定部３Ａにおいて２次元表面粗さマップであると判定される場合には、位置入力装置６により指定される位置における表面粗さを模擬する触覚刺激を電気刺激としてユーザに与えることができる。このため、ユーザは所望の物体の表面粗さを実際に物体に触れることなく認識することができる。一方、実際の表面粗さよりも強調した触覚刺激をユーザに与えるようにすれば、知覚刺激情報生成システム１は、表面粗さの増幅検査装置として利用することができる。この場合、熟練を要することなく、ユーザが物体の表面粗さの検査をすることが可能となる。
【０１２２】
また、２次元マップ情報の種類が２次元材質マップである場合には、材質の肌触りを電気刺激によって模擬することにより、ユーザは実際に物体を触ることなく材質の肌触りを認識することができる。
【０１２３】
このため、視覚を用いるユーザであっても視覚に加えて触覚や聴覚を併用して２次元画像情報のみならず様々な２次元情報の内容を認識することができる。特に、知覚刺激情報生成システム１により材質ごとの触覚刺激を模擬すれば、バーチャルリアリティをユーザに体験させることが期待できる。また、伝達対象が２次元画像である場合においても、視覚健常者と視覚障害者との間で知覚刺激のある部分が何を表しているのかといった様々な情報を相互に確認することができる。
【０１２４】
（第２の実施形態）
図１４は本発明の第２の実施形態に係る知覚刺激情報生成システムの構成図であり、図１５は図１４に示すマイクロコンピュータ２２の機能ブロック図である。尚、図１又は図１２に示す第１の実施形態における知覚刺激情報生成システム１と同様の構成要素については、同符号を付して同様な内容については説明を省略する。
【０１２５】
図１４に示された、第２の実施形態における知覚刺激情報生成システム１Ａは、小型カメラ３０、カメラドライバ３１、センサ３２、知覚刺激装置４、指固定具３３、マイクロコンピュータ２２及び指示入力装置８を備えている。
【０１２６】
小型カメラ３０、カメラドライバ３１、センサ３２及び知覚刺激装置４は、指固定具３３に固定される。すなわち、指固定具３３は、小型カメラ３０、カメラドライバ３１、センサ３２及び知覚刺激装置４を指に固定する器具である。このため、指固定具３３によりユーザの指に小型カメラ３０、カメラドライバ３１、センサ３２及び知覚刺激装置４を固定することができる。
【０１２７】
もちろん、ユーザの指以外の位置を指示する人体の部分に小型カメラ３０、カメラドライバ３１、センサ３２及び知覚刺激装置４を固定してもよい。また、小型カメラ３０及びカメラドライバ３１は、ユーザに固定しなくてもよい。但し、十分な解像度の２次元画像を撮影する観点から小型カメラ３０が指や手に追従して移動するように、ユーザに固定することが望ましい。
【０１２８】
小型カメラ３０は、被写体Ｏの２次元のカラー画像又は白黒画像を静止画又は動画として撮影することが可能な可視光カメラ又は赤外線カメラ等のカメラである。被写体Ｏは、紙面上の画像等の平面的な２次元画像の他、風景等の立体的なものとすることもできる。また、必要に応じて近接用レンズ３０Ａが小型カメラ３０に設けられる。これにより、被写体Ｏが紙面に印刷された文章のように細かい対象であっても、局所的に解像度の高い２次元画像を撮影することが可能となる。尚、カメラを指固定具３３に固定しない場合には、小型でないカメラを用いてもよい。
【０１２９】
カメラドライバ３１は、マイクロコンピュータ２２からの制御下において、小型カメラ３０に制御信号を出力することによって小型カメラ３０を制御する装置である。例えば、小型カメラ３０には、被写体Ｏの状況に応じた複数の撮影モードが選択可能に準備される。このような場合、カメラドライバ３１は、所望の撮影モードの選択指示を小型カメラ３０に与えることができる。例えば、近接用レンズ３０Ａを用いて解像度の高い画像を撮影する場合には、カメラドライバ３１による制御によって絞り撮影モードを選択することができる。
【０１３０】
センサ３２は、指や手等の位置を指示する人体の部分の位置及び動きの一方又は双方を求めるための空間データを測定する機能を有する。例えば、向きセンサと加速度センサとを用いて、対象物の向き及び加速度を測定すれば、測定した向き及び加速度に基づいて対象物の位置を測定することができる。従って、向きセンサ及び加速度センサを位置センサとして用いることができる。また、方位加速度センサを用いれば、対象物の動きを検知することができる。
【０１３１】
マイクロコンピュータ２２には、ADC３４、デジタル・アナログ変換器(DAC: digital to analog converter)３５及び入出力(I/O: input/output)ポート３６が設けられる。また、マイクロコンピュータ２２に知覚刺激情報生成プログラムを読み込ませることによって、マイクロコンピュータ２２はデータ処理系３として機能する。
【０１３２】
ADC３４の入力側には、小型カメラ３０及びセンサ３２の出力側が接続される。このため、小型カメラ３０により撮影された画像データ及びセンサ３２により測定されたデータのアナログ信号がADC３４によりデジタル信号に変換されてマイクロコンピュータ２２に入力される。また、DAC３５の出力側は、カメラドライバ３１及び知覚刺激装置４の入力側と接続される。このため、マイクロコンピュータ２２により生成されたデジタル制御信号が、DAC３５によりアナログ制御信号に変換されてカメラドライバ３１及び知覚刺激装置４に出力される。
【０１３３】
指示入力装置８は、マイクロコンピュータ２２のI/Oポート３６に接続される。指示入力装置８は、ボタン等の入力装置で構成される。そして、指示入力装置８の操作によって各種指示情報をマイクロコンピュータ２２に入力することができる。
【０１３４】
データ処理系３は、第１の実施形態における知覚刺激情報生成システム１と同様な機能を有する画像種類判定部３Ａ、画像変換部３Ｂ及び刺激制御部３Ｃに加え、カメラ制御部３Ｄを有する。
【０１３５】
カメラ制御部３Ｄは、カメラドライバ３１に制御信号を出力することによって、カメラドライバ３１を通じて小型カメラ３０の撮影モード等の撮影条件を設定する機能と、小型カメラ３０の撮影条件を示す情報を画像種類判定部３Ａ及び画像変換部３Ｂに与える機能とを有する。
【０１３６】
画像種類判定部３Ａは、カメラ制御部３Ｄから取得した小型カメラ３０の撮影条件に応じて小型カメラ３０から取得した一部又は全体の２次元画像データの種類を判定する機能を有する。画像データの種類の判定方法は、第１の実施形態において説明した通りである。すなわち、小型カメラ３０によりカラー画像が撮影された場合には、位置ごとのRed, Green, Blueの階調を表すRGB値と輝度値とで構成される２次元画像データが画像種類判定部３Ａに入力される。そして、RGB値及び輝度値に基づいて、予め設定したデータ処理方法で画像の種類が画像種類判定部３Ａにより判定される。
【０１３７】
また、画像の種類の判定処理を開始するトリガとして、小型カメラ３０の撮影条件を利用することができる。例えば、小型カメラ３０の撮影条件が、絞り撮影モード等の局所撮影用のモードでない場合には、情報伝達対象となる小型カメラ３０の撮影対象が、ユーザによる位置の指定範囲となる可能性が高い。従って、このような場合に、画像種類判定部３Ａが画像データの種類の判定処理を自律的に行うように構成することができる。
【０１３８】
撮影モードが局所撮影用のモードであるか否かは、カメラ制御部３Ｄから取得した撮影モードの選択情報に基づく判定の他、小型カメラ３０の焦点距離に対する閾値処理判定によっても行うことができる。例えば、焦点距離が30cm程度である場合には、焦点距離が閾値を超えているため、撮影目的が撮影対象の大まかな把握であると判定することができる。このため、画像の種類の判定処理が実行される。逆に、焦点距離が1cm程度であれば、撮影対象の局所的な位置を指定して詳細情報を取得することが撮影目的であると判定することができる。このため、画像の種類の判定処理は実行されない。
【０１３９】
画像変換部３Ｂは及び刺激制御部３Ｃも第１の実施形態と同様の機能を有する。但し、画像変換部３Ｂは、センサ３２から位置データや加速度データ等の各種空間データを取得し、取得した空間データに基づいて画像の種類の判定対象となったデータ領域における指等の人体の部分の絶対位置を求めるように構成される。そして、求めた絶対位置が刺激制御部３Ｃに与えられる特徴画像データに対応する指定位置とみなされる。
【０１４０】
また、第１の実施形態において位置入力装置６から入力される指定位置と同様に、センサ３２の測定データから推定される指定位置が静止しているか移動しているかに応じて画像変換処理方法を変更するモードを準備することができる。例えば、所定の時間を超えてセンサ３２が静止した場合には、画像変換部３Ｂにおける画像変換処理方法を、より局所的で詳細な特徴画像データを生成する画像変換処理方法に切り換えることができる。
【０１４１】
このように構成された知覚刺激情報生成システム１Ａによれば、２次元画像が画像信号として出力されない場合であっても、２次元画像の種類及び目的に応じて２次元画像から簡易化又は特徴化した特徴画像データを生成し、センサ３２からの測定データに基づいて推定した指定位置に対応する特徴画像に応じた知覚刺激をユーザに与えることができる。
【０１４２】
具体的には、まず指に指固定具３３を介して小型カメラ３０が固定される。そして、指示入力装置８の操作によってカメラ制御部３Ｄ及びカメラドライバ３１を通じて小型カメラ３０が制御され、小型カメラ３０の撮影モードが30cm程度の焦点距離で観察対象全体を撮影するモードに設定される。
【０１４３】
次に、指示入力装置８の操作によってカメラ制御部３Ｄ及びカメラドライバ３１を通じて小型カメラ３０が制御され、観察対象全体が小型カメラ３０によって撮影される。このときカメラ制御部３Ｄから撮影モード情報が画像種類判定部３Ａに与えられる。そうすると、画像種類判定部３Ａは、小型カメラ３０から２次元画像を取得し、２次元画像の種類の判定処理を行う。判定結果は、画像変換部３Ｂに与えられる。一方、このときの撮影条件から特定される２次元画像の位置に対するセンサ３２の相対位置がセンサ３２の２次元画像に対する絶対的な初期位置とされ、画像変換部３Ｂに出力される。
【０１４４】
次に、指示入力装置８の操作によってカメラ制御部３Ｄ及びカメラドライバ３１を通じて小型カメラ３０が制御され、小型カメラ３０の撮影モードが絞り撮影モードに設定される。そして、ユーザが情報を得ようとする位置に指を移動させ、指示入力装置８の操作によって絞り撮影モードで近接画像の撮影を行う。そうすると、指とともに移動したセンサ３２からは向き、加速度、方位加速度等の測定データが、小型カメラ３０からは局所的な２次元画像データが、それぞれ画像変換部３Ｂに出力される。
【０１４５】
次に、画像変換部３Ｂは、センサ３２の測定データと初期位置とから２次元画像に対する指による指定位置を推定する。また、画像変換部３Ｂは、２次元画像の種類に対応する画像変換処理によって、絞り撮影モードで撮影された２次元画像を特徴画像データに変換する。そして、画像変換部３Ｂは、指定位置に対応する単位画素領域における特徴画像データを刺激制御部３Ｃに与える。
【０１４６】
更に、図１３のステップＳ５及びステップＳ６と同様な流れで特徴画像に応じた知覚刺激がユーザに与えられる。このため、ユーザは小型カメラ３０の絞り撮影モードで撮影された２次元画像の局所位置における情報を知覚刺激として認識することができる。
【０１４７】
（他の実施形態）
以上、特定の実施形態について記載したが、記載された実施形態は一例に過ぎず、発明の範囲を限定するものではない。ここに記載された新規な方法及び装置は、様々な他の様式で具現化することができる。また、ここに記載された方法及び装置の様式において、発明の要旨から逸脱しない範囲で、種々の省略、置換及び変更を行うことができる。添付された請求の範囲及びその均等物は、発明の範囲及び要旨に包含されているものとして、そのような種々の様式及び変形例を含んでいる。
【符号の説明】
【０１４８】
１、１Ａ 知覚刺激情報生成システム
２，２Ａ コンピュータ
３ データ処理系
３Ａ 画像種類判定部
３Ｂ 画像変換部
３Ｃ 刺激制御部
３Ｄ カメラ制御部
４ 知覚刺激装置
４Ａ スピーカ
４Ｂ 電圧印加装置
４Ｃ 振動子
４Ｄ 増幅器
５ 演算装置
６ 位置入力装置
７ ディスプレイ
８ 指示入力装置
９ 振動スピーカ
１０ 表示画像生成部
１１ タッチパネル
１１Ａ タッチペン
２０ USB端子
２１ 出力ポート
２２ マイクロコンピュータ
３０ 小型カメラ
３０Ａ 近接用レンズ
３１ カメラドライバ
３２ センサ
３３ 指固定具
３４ ADC、
３５ DAC
３６ I/Oポート
Ｏ 被写体
【特許請求の範囲】
【請求項１】
２次元情報を取得して前記２次元情報の種類を判定する種類判定手段と、
前記２次元情報の種類に応じた前記２次元情報に対する処理によって、前記２次元情報の指定位置に対応する単位領域における特徴を表す特徴情報を生成する情報変換手段と、
前記特徴情報に応じた知覚刺激が前記２次元情報のユーザに付与されるように知覚刺激装置を制御する制御手段と、
を備える知覚刺激情報生成システム。
【請求項２】
前記情報変換手段は、前記２次元情報として２次元画像を表示させるとともに前記指定位置を入力するためのタッチパネルから前記指定位置を取得するように構成され、
前記制御手段は、前記タッチパネル又は前記ユーザの指を振動させる振動子を制御するように構成される請求項１記載の知覚刺激情報生成システム。
【請求項３】
前記情報変換手段は、前記指定位置の履歴情報に応じて前記処理を変更するように構成される請求項１記載の知覚刺激情報生成システム。
【請求項４】
前記情報変換手段は、前記指定位置の履歴情報から予測される位置を中心とする単位領域における特徴を表す特徴情報を生成するように構成される請求項１記載の知覚刺激情報生成システム。
【請求項５】
前記２次元情報として２次元画像を撮影する撮影手段と、
前記ユーザの位置を指示する部分に取り付けられ、前記指定位置を求めるための前記部分の空間データを測定するセンサと、
を更に備える請求項１記載の知覚刺激情報生成システム。
【請求項６】
２次元情報を取得して前記２次元情報の種類を判定するステップと、
前記２次元情報の種類に応じた前記２次元情報に対する処理によって、前記２次元情報の指定位置に対応する単位領域における特徴を表す特徴情報を生成するステップと、
前記特徴情報に応じた知覚刺激が前記２次元情報のユーザに付与されるように知覚刺激装置を制御するステップと、
を有する知覚刺激情報生成方法。
【請求項７】
コンピュータを、
２次元情報を取得して前記２次元情報の種類を判定する種類判定手段、
前記２次元情報の種類に応じた前記２次元情報に対する処理によって、前記２次元情報の指定位置に対応する単位領域における特徴を表す特徴情報を生成する情報変換手段、及び
前記特徴情報に応じた知覚刺激が前記２次元情報のユーザに付与されるように知覚刺激装置を制御する制御手段、
として機能させる知覚刺激情報生成プログラム。
【請求項１】
２次元情報を取得して前記２次元情報の種類を判定する種類判定手段と、
前記２次元情報の種類に応じた前記２次元情報に対する処理によって、前記２次元情報の指定位置に対応する単位領域における特徴を表す特徴情報を生成する情報変換手段と、
前記特徴情報に応じた知覚刺激が前記２次元情報のユーザに付与されるように知覚刺激装置を制御する制御手段と、
を備える知覚刺激情報生成システム。
【請求項２】
前記情報変換手段は、前記２次元情報として２次元画像を表示させるとともに前記指定位置を入力するためのタッチパネルから前記指定位置を取得するように構成され、
前記制御手段は、前記タッチパネル又は前記ユーザの指を振動させる振動子を制御するように構成される請求項１記載の知覚刺激情報生成システム。
【請求項３】
前記情報変換手段は、前記指定位置の履歴情報に応じて前記処理を変更するように構成される請求項１記載の知覚刺激情報生成システム。
【請求項４】
前記情報変換手段は、前記指定位置の履歴情報から予測される位置を中心とする単位領域における特徴を表す特徴情報を生成するように構成される請求項１記載の知覚刺激情報生成システム。
【請求項５】
前記２次元情報として２次元画像を撮影する撮影手段と、
前記ユーザの位置を指示する部分に取り付けられ、前記指定位置を求めるための前記部分の空間データを測定するセンサと、
を更に備える請求項１記載の知覚刺激情報生成システム。
【請求項６】
２次元情報を取得して前記２次元情報の種類を判定するステップと、
前記２次元情報の種類に応じた前記２次元情報に対する処理によって、前記２次元情報の指定位置に対応する単位領域における特徴を表す特徴情報を生成するステップと、
前記特徴情報に応じた知覚刺激が前記２次元情報のユーザに付与されるように知覚刺激装置を制御するステップと、
を有する知覚刺激情報生成方法。
【請求項７】
コンピュータを、
２次元情報を取得して前記２次元情報の種類を判定する種類判定手段、
前記２次元情報の種類に応じた前記２次元情報に対する処理によって、前記２次元情報の指定位置に対応する単位領域における特徴を表す特徴情報を生成する情報変換手段、及び
前記特徴情報に応じた知覚刺激が前記２次元情報のユーザに付与されるように知覚刺激装置を制御する制御手段、
として機能させる知覚刺激情報生成プログラム。
【図１】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図３】
【図４】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図３】
【図４】
【公開番号】特開２０１２−８４０９６（Ｐ２０１２−８４０９６Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２３２０３５（Ｐ２０１０−２３２０３５）
【出願日】平成２２年１０月１４日（２０１０．１０．１４）
【出願人】（３０４０３６７４３）国立大学法人宇都宮大学 (209)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月１４日（２０１０．１０．１４）
【出願人】（３０４０３６７４３）国立大学法人宇都宮大学 (209)
【Ｆターム（参考）】
[ Back to top ]