ユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラム
【課題】機能ボタンの表示位置に制約されることなく、視覚異常者に対しても機能ボタンの位置や機能を適切かつ分かりやすく認識させてユーザの利便性を向上させること。
【解決手段】ユーザインターフェイス装置は、表示パネルと、表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示する表示パネル制御部と、表示パネルに対する表面近傍または接触した状態でのユーザの操作を検出して操作位置を取得する操作位置検出部と、ユーザに対して触覚を与える所定のフィードバックを出力するフィードバック出力部と、操作位置が、表示パネルに表示されている機能ボタンの表示位置であるか否か判断する判断部と、操作位置が機能ボタンの表示位置である場合に、機能ボタンに関連する所定のフィードバックをフィードバック出力部に出力させる制御部と、を備えている。
【解決手段】ユーザインターフェイス装置は、表示パネルと、表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示する表示パネル制御部と、表示パネルに対する表面近傍または接触した状態でのユーザの操作を検出して操作位置を取得する操作位置検出部と、ユーザに対して触覚を与える所定のフィードバックを出力するフィードバック出力部と、操作位置が、表示パネルに表示されている機能ボタンの表示位置であるか否か判断する判断部と、操作位置が機能ボタンの表示位置である場合に、機能ボタンに関連する所定のフィードバックをフィードバック出力部に出力させる制御部と、を備えている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラムに関する。
【背景技術】
【0002】
近時、複合装置等の画像形成装置及びパーソナルコンピュータ、ワードプロセッサ、電子手帳、携帯電話機等の電子情報処理装置においては、入力操作を容易にするために、表示パネルの表面にタッチパネルを重ね合わせ、表示パネルに機能ボタンを表示して、表示されている機能ボタンに対応する位置のタッチパネル上をタッチ操作することにより、該機能ボタンに割り当てられている命令、データの選択及び文字入力等の機能を実行させることのできるタッチパネル付き表示装置がユーザインターフェイス装置として用いられている。
【0003】
このようなタッチパネル付き表示装置を用いたユーザインターフェイス装置においては、視覚障害者にとっては、表示パネルに表示されている機能ボタンを視覚で確認して操作することができない。
【0004】
そして、従来、表示部の表示内容と同じ内容を触覚的に認識可能に表示する凹凸表示面を有し該表示部の機能ボタンと同じ機能を有する押しボタンを表示部の周囲に配置した入力装置が提案されている(例えば、特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来技術にあっては、表示部の表示内容と同じ内容を触覚的に認識可能に表示する凹凸表示面を有し該表示部の機能ボタンと同じ機能を有する押しボタンを表示部の周囲に配置しているため、機能ボタンが表示部の表示画面一面に並べて表示される場合や操作に応じて表示画面が偏移して機能ボタンの位置が変化する場合には、対応することができず、ユーザに対する利便性が低かった。このため、より一層機能的な画面表示に対して、視覚障害者にとって機能ボタンの位置と機能を適切かつ分かりやすく認識できるようにすることが望まれている。
【0006】
本発明は、上記に鑑みてなされたものであって、機能ボタンの表示位置に制約されることなく、視覚異常者に対しても機能ボタンの位置や機能を適切かつ分かりやすく認識させてユーザの利便性を向上させることができるユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラムを提供することを主な目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明にかかるユーザインターフェイス装置は、表示パネルと、前記表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示する表示パネル制御部と、前記表示パネルに対する表面近傍または接触した状態でのユーザの操作を検出して操作位置を取得する操作位置検出部と、ユーザに対して触覚を与える所定のフィードバックを出力するフィードバック出力部と、前記操作位置が、前記表示パネルに表示されている前記機能ボタンの表示位置であるか否か判断する判断部と、前記操作位置が前記機能ボタンの表示位置である場合に、前記機能ボタンに関連する所定のフィードバックを前記フィードバック出力部に出力させる制御部と、を備えていることを特徴とする。
【0008】
また、本発明にかかる画像形成装置は、ユーザインターフェイス装置からの入力操作に応じて、被記録媒体に画像形成出力する画像形成装置において、前記ユーザインターフェイス装置として、上記ユーザインターフェイス装置を備えていることを特徴とする。
【0009】
また、本発明にかかるユーザインターフェイス制御方法は、表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示するパネル表示処理ステップと、前記表示パネルに対する表面近傍または接触した状態での操作を検出して該操作位置を取得するタッチ操作位置取得処理ステップと、前記表示パネルへの操作に対して該操作位置に関連する所定のフィードバックを出力するフィードバック出力処理ステップと、前記操作位置が前記表示パネルに表示されている前記機能ボタンの表示位置であるか判断して、該操作位置が該機能ボタンの表示位置であると、該機能ボタンに関連する所定のフィードバックを前記フィードバック出力処理ステップで出力させる制御処理ステップと、を有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、機能ボタンの表示位置に制約されることなく、視覚異常者に対しても機能ボタンの位置や機能を適切かつ分かりやすく認識させることができ、この結果、ユーザに対する利便性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【0011】
【図1】図1は、本実施例を適用したユーザインターフェイス装置の概略構成図である。
【図2】図2は、ユーザインターフェイス装置の制御系のブロック構成図である。
【図3】図3は、本実施例のユーザインターフェイス装置の機能的構成を示すブロック図である。
【図4】図4は、マルチタッチ操作されている状態の一例を示すユーザインターフェイス装置の平面図である。
【図5】図5は、タッチ操作に応じたフィードバック出力制御処理を示すフローチャートである。
【図6】図6は、2つ以上のタッチ位置が機能ボタン上であるときのフィードバック出力制御処理を示すフローチャートである。
【図7】図7は、右側領域にフィードバック文字列が収まらない場合に下側に文字列を出力する例を示す図である。
【図8】図8は、上下左右方向にフィードバック文字列が収まるか判定して収まる方向に文字列を出力する例を示す図である。
【図9】図9は、指の移動方向にフィードバック文字列を順次出力する例を示す図である。
【図10】図10は、指の移動方向にフィードバック文字列を出力する際に文字列が収まらずに下側に指が移動した場合の文字列の出力例を示す図である。
【図11】図11は、既出力のフィードバック文字を順次出力する例を示す図である。
【図12】図12は、指の移動方向が出力済みの文字と重なるときのフィードバック文字列の出力例を示す図である。
【図13】図13は、表示可能領域と出力文字数に応じて文字の大きさを変化させてフィードバック文字列を出力する例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の好適な実施例を添付図面に基づいて詳細に説明する。なお、以下に述べる実施例は、本発明の好適な実施例であるので、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明によって不当に限定されるものではなく、また、本実施の形態で説明される構成の全てが本発明の必須の構成要件ではない。
【実施例1】
【0013】
図1〜図13は、本発明のユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法、ユーザインターフェイス制御プログラム及び記録媒体の一実施例を示す図であり、図1は、本発明のユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法、ユーザインターフェイス制御プログラム及び記録媒体の一実施例を適用したユーザインターフェイス装置1の概略斜視図である。
【0014】
図1において、ユーザインターフェイス装置1は、表示パネル2上に、フィードバックパネル3とタッチパネル4が順次積層された状態で構成されており、例えば、プリンタ装置、複写装置、複合装置等のような画像形成装置等の機器の操作表示部に適用される。特に、画像を形成する画像形成装置の場合、画像形成における設定操作等の入出力操作の行われる操作表示部に適用される。
【0015】
表示パネル2は、例えば、LCD(Liquid Crystal Display)が用いられており、所定の解像度で表示データを表示する。この表示データは、ユーザインターフェイス装置1の適用されている機器の状態や該機器からユーザに通知する各種情報、例えば、操作モードを複数備えているときには、該操作モード毎の操作ガイド情報及び該操作モードで操作する機能ボタンを表示パネル2の全面にわたって適宜の配置で表示する。
【0016】
フィードバックパネル3は、タッチパネル4の表面をタッチしているユーザの指に対して、所定の触覚を与えるフォースフィードバック(以下、単に「フィードバック」という)を出力するパネルである。フィードバックパネル3としては、圧電素子方式を用いることができる。圧電素子方式は、フィードバックパネル3に多数の圧電素子を配置し、タッチパネル4のタッチした座標位置に応じて圧電素子を振動させる方式である。フィードバックパネル3に圧電素子方式を用いる場合には、例えば、特開2007−86990号公報に開示されたパネルおよび技術を用いることができる。この他、フィードバックパネル3として、静電気方式等各種方式を採用することができる。本実施例のフィードバックパネル3は、タッチパネル4の表面をタッチしている指に何らかの感触を作用させることで、文字、画像等をユーザに認識させることのできるものであれば、どのような方式のものであってもよい。
【0017】
タッチパネル4は、抵抗膜方式、静電気方式、圧力センサ方式、画像取得方式、赤外線方式等の種々の方式のタッチパネルを用いることができ、方式は限定されるものではない。
【0018】
ユーザインターフェイス装置1は、その制御ブロックが図2に示すように構成されており、上記表示パネル2、フィードバックパネル3及びタッチパネル4を備えているとともに、CPU(Central Processing Unit )11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、外部I/F14、表示コントローラ15、フィードバックコントローラ16及びタッチパネルコントローラ17等を備えている。
【0019】
ROM12は、ユーザインターフェイス装置1としての基本プログラム、本発明のユーザインターフェイス制御プログラム等のプログラム及び必要なシステムデータが格納されており、RAM13は、CPU11のワークメモリとして利用される。外部I/F14には、ユーザインターフェイス装置1が適用される画像形成装置等の機器が接続され、外部I/F14は、機器との間でコマンドとデータの授受を行なって、表示情報の入出力、操作データの出力等を行う。
【0020】
CPU(後述する判断部11a、制御部11bとして機能する)11は、ROM12内のプログラムに基づいて、RAM13をワークメモリとして利用して、外部I/F14から受け取った表示情報の表示コントローラ15への出力、フィードバックコントローラ16へのフィードバックデータの出力及びタッチパネルコントローラ17から受け取ったタッチパネルデータの外部I/F14を介しての機器への出力等を行う。すなわち、CPU11は、ROM、EEPROM(Electrically Erasable and Programmable Read Only Memory )、EPROM、フラッシュメモリ、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory )、CD−RW(Compact Disc Rewritable )、DVD(Digital Versatile Disk)、SD(Secure Digital)カード、MO(Magneto-Optical Disc)等のコンピュータが読み取り可能な記録媒体に記録されている本発明のユーザインターフェイス制御方法を実行するユーザインターフェイス制御プログラムを読み込んでROM12に導入することで、後述する視覚異常者にとっても機能ボタンを確認しやすく操作しやすいユーザインターフェイス制御方法を実行するユーザインターフェイス装置1として構築されている。このユーザインターフェイス制御プログラムは、アセンブラ、C、C++、C#、Java(登録商標)等のレガシープログラミング言語やオブジェクト指向ブログラミング言語等で記述されたコンピュータ実行可能なプログラムであり、上記記録媒体に格納して頒布することができる。
【0021】
表示コントローラ15は、CPU11の制御下で、CPU11から表示データを受け取って、該表示データを表示パネル2の指定の位置に表示出力させる。
【0022】
フィードバックコントローラ15は、CPU11からフィードバックデータを受け取って、CPU11の制御下で、該フィードバックを、フィードバックパネル3のCPU11から指定される位置に出力する。このフィードバックローラ15によるフィードバックは、例えば、電気刺激、振動刺激等によって点字文字をタッチパネル4にタッチしている指に付与するものである。上記フィードバックパネル3及びフィードバックコントローラ15は、全体としてフィードバック出力部として機能している。
【0023】
タッチパネルコントローラ17は、タッチパネル4上におけるユーザの指のタッチ操作を検出して、検出した座標位置(操作位置)をCPU11に出力する。このタッチパネルコントローラ17は、タッチパネル4上における複数箇所の同時タッチ操作を検出する機能、すなわち、マルチタッチ検出機能を備えており、マルチタッチ操作の検出結果をCPU11に出力する。上記タッチパネル4及びタッチパネルコントローラ17は、全体として、操作位置検出部として機能している。
【0024】
CPU11は、RAM13に表示パネル2への情報や機能ボタン等の表示データの表示位置データをRAM13に格納しており、タッチパネルコントローラ17から取得したマルチタッチの表示位置とRAM13の表示一データを照らし合わせて、機能ボタンへのタッチが行われているか否か等のタッチ操作内容の確認を行う。
【0025】
次に、本実施例のユーザインターフェイス装置1の機能的構成について説明する。図3は、本実施例のユーザインターフェイス装置1の機能的構成を示すブロック図である。本実施例のユーザインターフェイス装置1は、図3に示すように、上述したタッチパネル4、タッチパネルコントローラ17、表示パネル2、表示コントローラ15、フィードバックパネル3、フィードバックコントローラ16の他、判断部11aと、制御部11bとを備えている。
【0026】
判断部11aと、制御部11bは、ROM12に記憶されてるユーザインターフェイス制御プログラムのモジュール構成であり、CPU11がROM12からユーザインターフェイス制御ムを読み出して実行することにより、判断部11aと、制御部11bがRAM13上に生成されるようになっている。
【0027】
判断部11aは、ユーザの操作が行われた座標位置(操作位置)が、表示パネル2に表示されている機能ボタンの表示位置であるか否か判断する。
【0028】
より具体的には、判断部11aは、操作位置として複数の操作位置が検出された場合に、複数の操作位置のうち、少なくとも1つの操作位置が機能ボタンの表示位置であるか否かを判断する。また、判断部11aは、複数の操作位置の全てが機能ボタンの表示位置であるか否かを判断する。さらに、判断部11aは、出力方向に全ての記号文字列の出力を行うスペースの有無を判断する。
【0029】
制御部11bは、判断部11aによって、座標位置(操作位置)が機能ボタンの表示位置であると判断された場合に、機能ボタンに関連する所定のフィードバックを、フィードバックコントローラ16及びフィードバックパネル3に出力させる。
【0030】
より具体的には、制御部11bは、判断部11aによって、ユーザによる複数の操作位置のうち、少なくとも1つの操作位置が機能ボタンの表示位置であると判断された場合に、フィードバックコントローラ16及びフィードバックパネル3に、当該操作位置に、操作位置が機能ボタンであることを示すフィードバックを出力させるとともに、他の操作位置に当該機能ボタンの機能内容を示す情報のフィードバックを出力させる。
【0031】
操作位置が機能ボタンであることを示すフィードバックとしては、例えば、機能ボタンの領域を振動させることにより、機能ボタンを押下している触覚をユーザの指に与えること等があげられる。また、機能ボタンの機能内容を示す情報のフィードバックとしては、例えば、機能ボタンの機能内容を点字で表して振動させること等があげられる。
【0032】
また、制御部11bは、判断部11aによって、ユーザによる複数の操作位置の全てが機能ボタンの表示位置であると判断された場合に、フィードバックコントローラ16及びフィードバックパネル3に、最初に操作された操作位置に当該操作位置が機能ボタンであることを示すフィードバックを出力させる。
【0033】
また、制御部11bは、フィードバックコントローラ16及びフィードバックパネル3に、機能ボタンの機能内容を示す情報として、当該機能内容を示す記号文字列を操作位置を起点として任意の方向に配列して出力させ、出力方向に全ての記号文字列の出力を行うスペースが無い場合には、フィードバックコントローラ16及びフィードバックパネル3に、全ての記号文字列の出力が可能な方向に出力方向を変更して当該記号文字列を出力させる。
【0034】
また、制御部11bは、機能ボタンの機能内容を示す記号文字列を出力する操作位置が任意の方向になぞって移動されたことを検出された場合に、フィードバックコントローラ16及びフィードバックパネル3に、当該操作位置の移動に応じて該記号文字列を順次出力させる。
【0035】
また、制御部11bは、フィードバックコントローラ16及びフィードバックパネル3に、操作位置の移動に応じて順次出力させた記号文字列を所定の消去条件に基づいて消去させる。また、制御部11bは、記号文字列の総出力文字数、出力後の経過時間、操作位置の既出力の該記号文字列との重なりを、上記消去条件として既出力の該記号文字列を消去させる。
【0036】
さらに、制御部11bは、操作位置の移動に応じて出力させた記号文字列上を該操作位置が逆戻りして、既に消去済みの位置に戻る場合に、フィードバックコントローラ16及びフィードバックパネル3に、当該操作位置に再度消去した記号文字列を出力させる。
【0037】
加えて、制御部11bは、記号文字列の出力を開始する操作位置から当該記号文字列の出力方向のスペースの大きさに合わせて、当該記号文字列の大きさを変更して当該記号文字列を出力させる。
【0038】
次に、本実施例の作用について説明する。本実施例のユーザインターフェイス装置1は、タッチパネル4上へのタッチ操作に対して、機能ボタンの案内情報を適切に出力する。
【0039】
すなわち、ユーザインターフェイス装置1は、図4に示すように、CPU11が、表示コントローラ15を介して表示パネル2に、機能ボタン及びその他の表示情報を表示している状態で、制御部11b(CPU11)が、図5に示すタッチ操作に応じたフィードバック出力処理を行う。すなわち、判断部11a(CPU11)は、図5に示すように、タッチパネルコントローラ17からのタッチ操作の検出結果を取得して、タッチパネル4にユーザによって指が触れられているか(タッチ操作されているか)チェックし(ステップS101)、タッチ操作されると、タッチ操作された1つまたは複数の指の触れている点の座標を検出する(ステップS102)。
【0040】
判断部11a(CPU11)は、タッチ位置の座標を検出すると、2つ以上の位置に指が触れているか判別し(ステップS103)、1つの位置にのみ指が触れているときには、機能ボタン上に指が触れているかチェックする(ステップS104)。
【0041】
ステップS104で、機能ボタン上に指が触れていないときには、制御部11b(CPU11)は、フィードバックパネル3によるフィードバックを行うこと無く、ステップS101に戻って、タッチパネル4に指が触れられているかのチェックから上記同様の処理を繰り返し行う(ステップS101〜S104)。
【0042】
ステップS104で、機能ボタン上に指が触れていると、例えば、図4に示すように、スキャナ機能ボタン上に指が触れていると、制御部11b(CPU11)は、タッチ位置が機能ボタンの位置であることを示すフィードバックデータをフィードバックコントローラ16に出力し、フィードバックコントローラ15が、フィードバックパネル3のタッチ位置に対応する位置に、機能ボタンであることを示すフィードバックを発生させて(ステップS105)、ステップS101に戻る。
【0043】
ステップS103で、タッチパネル4上の2つ以上の位置に指が触れているときには、判断部11a(CPU11)は、機能ボタン上に指が触れているか、すなわち、タッチ位置が機能ボタンの位置であるかチェックし(ステップS106)、機能ボタン上に指が触れていないときには、フィードバックパネル3によるフィードバックを行うこと無く、ステップS101に戻って、タッチパネル4に指が触れられているかのチェックから上記同様の処理を繰り返し行う(ステップS101〜S106)。
【0044】
ステップS106で、機能ボタン上に指が触れているときには、判断部11a(CPU11)は、2つ以上の機能ボタン上に指が触れているかチェックし(ステップS107)、1つの指のみが機能ボタン上に触れていて、他の指は機能ボタン上から外れた位置に触れているときには、制御部11bは、機能ボタンに触れている方の指に対して機能ボタンであることを示すフィードバックを、他の指に対して、触れている機能ボタンの機能の内容を示すフィードバックを行って(ステップS108)、ステップS101に戻る。例えば、図4に示したように、1つの指が機能ボタンとしてのスキャナボタンに触れており、他の指が機能ボタン以外の領域のタッチパネル4に触れているときには、制御部11b(CPU11)は、フィードバックコントローラ16を介して、1つの指が触れているスキャナボタンに対応する位置で、フィードバックパネル3に、タッチ位置が機能ボタン位置である旨を通知するフィードバックを発生させ、他の指が触れている機能ボタン以外の領域に対応する位置において、フィードバックコントローラ16を介して、触れている機能ボタンがスキャナボタンであることを通知するフィードバックを行わせる。
【0045】
ここで、タッチ位置が機能ボタン位置である旨を通知するフィードバックとしては、例えば、機能ボタンの領域を振動させることにより、機能ボタンを押下している触覚をユーザの指に与えること等があげられる。
【0046】
また、制御部11b(CPU11)は、触れている機能ボタンの機能の内容を通知するフィードバック方法としては、例えば、フィードバックパネル3に該機能ボタンの機能の内容を示す点字(例えば、図4の場合、スキャナの点字)等の記号文字列をフィードバックさせる。
【0047】
そして、ステップS107で、2つ以上の指が機能ボタンに触れていると、制御部11b(CPU11)は、フィードバックコントローラ16を介して、機能ボタンに触れている2つ以上の指が触れている位置に機能ボタンであることを示すフィードバックを行って(ステップS109)、ステップS101に戻る。
【0048】
そして、判断部11a(CPU11)は、タッチパネル4の機能ボタンに触れている指がタッチパネル4の機能ボタン位置から離されると、該機能ボタンのボタン操作が行われたと判断する。なお、この機能ボタンのボタン操作の判断は、機能ボタン位置から指が離れることによって判断する以外に、例えば、該機能ボタンのダブルタッチ操作等によってボタン操作であると判断してもよい。
【0049】
なお、上記説明においては、タッチパネル4上の2つ以上の位置に触れている指が全て機能ボタン上であると、各指の触れている位置が機能ボタンである旨のフィードバックを行っているが、フィードバックの方法としては、上記の内容に限るものではなく、例えば、図6に示すように、タッチパネル4上の機能ボタンに1つの指が触れたまま、別の指で任意の場所を触れた場合、別の指のタッチ位置が機能ボタンの位置であっても、上記1つの指が位置している機能ボタンの機能の内容を示す点字等の記号文字列のフィードバックを行うようにしてもよい。
【0050】
すなわち、図6において、判断部11a(CPU11)は、タッチパネル4に指が触れているか、すなわち、タッチ操作されているかチェックし(ステップS201)、タッチパネル4に指が触れていないときには、制御部11b(CPU11)は、変数(レジスタ等に格納されている)に格納されている機能ボタンの識別情報を削除して(ステップS202)、ステップS201に戻る。
【0051】
ステップS201で、タッチパネル4に指が触れられていると、1つまたは複数の指の指が触れられている点の座標位置を検出し(ステップS203)、判断部11a(CPU11)は、タッチパネル4上の2つ以上の位置に指が触れているかチェックする(ステップS204)。
【0052】
ステップS204で、タッチパネル4上の1点にのみ指が触れられているときには、判断部11a(CPU11)は、機能ボタン上に指が触れられているかチェックし(ステップS205)、機能ボタン上に触れられていないときには、制御部11b(CPU11)は、変数に格納されている機能ボタンの識別情報を削除して(ステップS202)、ステップS201に戻って、上記同様に処理を行う(ステップS201〜S205)。
【0053】
ステップS205で、機能ボタン上に指が触れられているときには、制御部11b(CPU11)は、変数に現在触れられている機能ボタンの識別情報を格納し(ステップS206)、フィードバックコントローラ16を介して、触れられている位置に、該位置が機能ボタンであることを通知するフィードバックを行わせて(ステップS207)、ステップS201に戻る。
【0054】
ステップS204で、タッチパネル4上の2点以上に指が触れられていると、判断部11a(CPU11)は、機能ボタン上に指が触れられているかチェックし(ステップS208)、機能ボタン上に指が触れられていないときには、制御部11b(CPU11)は、変数に格納されている機能ボタンの識別情報を削除して(ステップS209)、ステップS201に戻って、上記同様に処理を行う(ステップS201〜S209)。
【0055】
ステップS208で、機能ボタン上に指が触れられているときには、制御部11b(CPU11)は、変数に格納されている識別情報の機能ボタンと同じ機能ボタンであることを通知するためのフィードバックを、フィードバックコントローラ16を介してフィードバックパネル3に行わせるとともに、他方の指の触れられている位置(タッチ位置)に対応するフィードバックパネル3において、変数に格納されている識別情報の機能ボタンに割り付けられている機能の内容を、点字等の記号文字列によって通知するフィードバックを行わせる(ステップS210)。
【0056】
そして、上記機能ボタンの機能の内容のフィードバック方式として、点字等による文字情報を用いる場合、種々の方式を用いることができる。例えば、制御部11b(CPU11)は、点字を出力する際、点字出力側の指の位置から、点字の文字列方向を上下左右の方向を自動判断して、その判断に基づいて文字列方向を決定して、フィードバックコントローラ16を介してフィードバックパネル3からフィードバック出力を行わせる。
【0057】
このフィードバック出力を行う場合、判断部11a(CPU11)は、上下左右方向に優先順位を設けておいて、例えば、優先順位が、右、下、左、上の順であった場合、図7に示すように、右側の表示パネル2の領域に、フィードバックする文字が収まるか否か判断して、文字が収まらないと判断すると、制御部11b(CPU)11)は、下方向へフィードバック文字列のフィードバック出力を行う。
【0058】
また、この場合、図8に示すように、判断部11a(CPU11)は、上下左右の全ての方向で、表示パネル2の領域に、フィードバックする文字が収まるか否か判断して、制御部11b(CPU11)は、文字が収まらない方向へのフィードバック出力を禁止し、文字列が収まる方向のうち適宜の方向または収まる方向全てに対してフィードバック文字列のフィードバック出力を行う。図8の場合、制御部11b(CPU11)は、上方向及び右方向については、文字列が収まらないため、フィードバックを禁止し、下方向及び左方向については、文字列が収まるため、フィードバックを許可する。
【0059】
さらに、フィードバック文字列のフィードバック出力を行う場合、制御部11b(CPU11)は、フィードバック文字列の出力方向としては、上下左右に限るものではなく、斜め方向も含めて、360度全ての方向へ出力可能としてもよい。
【0060】
また、フィードバック文字列のフィードバック出力を行う場合、制御部11b(CPU11)は、図9に示すように、タッチパネル4上の指が触れている位置を起点として、指が動いた方向を検知して、該指の動いた方向にフィードバック文字列を順次フィードバック出力してもよい。なお、図9において、矢印は、指の移動方向を示している。この場合、フィードバック文字列がタッチパネル4の表示領域に全て出力しきれないときには、制御部11b(CPU11)は、図10に示すように、指の上下等への動きに合わせてフィードバック文字列をフィードバック出力する。
【0061】
さらに、フィードバック文字列のフィードバック出力を、指の移動に従って出力する場合、制御部11b(CPU11)は、図11に示すように、所定の消去条件に基づいて、既に出力したフィードバック文字列を消去してもよい。この消去条件としては、例えば、出力文字数の最大値を設定、例えば、10文字と設定して、10文字を超えると、最初に出力した文字から順次消去し、また、出力時間を設定、例えば、5秒と設定して、文字を出力してから出力時間が経過した文字から順次消去する。なお、図11において、矢印は、指の移動方向を示している。
【0062】
この場合、制御部11b(CPU11)は、前に出力されたフィードバック文字列(点字等)を読み取るために、出力されているフィードバック文字(点字等)をなぞって逆方向へ戻る操作が行われて、既に消去したフィードバック文字上に指が移動すると、再度、フィードバック文字をフィードバック出力させてもよい。
【0063】
また、フィードバック文字列のフィードバック出力を、指の移動に従って出力する場合、制御部11b(CPU11)は、図12に示すように、指の移動方向が変化して既に出力したフィードバック文字と重なると、該重なった出力済みフィードバック文字を消去して、出力順において該位置に出力すべきフィードバック文字を出力してもよい。なお、この場合、指の移動がフィードバック文字列上を逆戻りして、既に消去された文字上に移動すると、再度、フィードバック文字を出力するようにしてもよい。なお、図12において、矢印は、指の移動方向を示している。
【0064】
さらに、フィードバック文字列のフィードバック出力を、指の移動に従って出力する場合、制御部11b(CPU11)は、図13に示すように、指の移動方向に対して表示パネル2の空き領域の大きさと出力するフィードバック文字列の文字数に基づいて、出力する文字の大きさを変化させてもよい。図13においては、上側の「スキャナ」は、指の移動方向である右側の空き領域が大きいため、空き領域の大きさに応じた大きい文字が出力され、下側の「スキャナ」は、指の移動方向である右側の空き領域が小さいため、空き領域の大きさに応じた小さい文字が出力されている。
【0065】
このように、本実施例のユーザインターフェイス装置1は、種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示する表示パネル4に対する表面近傍または接触した状態での操作を、タッチパネル4及びタッチパネルコントローラ17によって検出し、制御部11b(CPU11)が、該操作位置を取得して、表示パネル2への操作に対して該操作位置に関連する所定のフィードバックを出力する場合に、該操作位置が表示パネル2に表示されている機能ボタンの表示位置であるか否かを判断して、該操作位置が機能ボタンの表示位置であると、該機能ボタンに関連する所定のフィードバックを、フィードバックパネル3及びフィードバックコントローラ16によって出力している。
【0066】
したがって、表示パネル2への機能ボタンの表示位置に制約されることなく、視覚異常者に対しても、機能ボタンの位置や機能を適切かつ分かりやすく認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0067】
また、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、タッチパネル4とタッチパネルコントローラ17によって操作位置として複数の操作位置が検出され、複数の該操作位置のうち、少なくとも1つの操作位置が表示パネル2の機能ボタンの表示位置であると、該操作位置に該操作位置が機能ボタンであることを示す情報のフィードバックを出力するとともに、他の操作位置に該機能ボタンの機能内容を示す情報のフィードバックを出力している。
【0068】
したがって、マルチタッチ操作によって機能ボタン位置と機能ボタン位置以外の位置がタッチ操作されると、機能ボタン位置のタッチ位置に機能ボタンであることが分かるようにすることができるとともに、機能ボタン以外のタッチ位置に機能ボタンの機能内容が分かるようにフィードバックすることができ、表示パネル2への機能ボタンの表示位置に制約されることなく、視覚異常者に対して、機能ボタンの位置や機能をより一層適切かつ分かりやすく認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0069】
さらに、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、タッチパネル4とタッチパネルコントローラ17によって操作位置として複数の操作位置が検出され、複数の該操作位置の全てが表示パネル2における機能ボタンの表示位置であると、フィードバックコントローラ16及びフィードバックパネル3によって、複数の該操作位置のうち最初に操作された操作位置に該操作位置が機能ボタンであることを示す情報のフィードバックを出力させるとともに、他の操作位置に該機能ボタンの機能内容を示す情報のフィードバックを出力させている。
【0070】
したがって、タッチパネル4上の機能ボタン位置に1つの指で触れたまま、別の指で任意の場所を触った場合、別の指で触った位置が別の機能ボタン上であっても、最初に触れた機能ボタンの機能内容を後で触った指にフィードバックすることができ、最初に触った機能ボタンの機能内容を機能ボタン以外の領域を探すことなく、タッチパネル4の別な位置を触ることで、最初の指で触った機能ボタンの機能の内容をフィードバックして、利用性を向上させつつ、機能ボタンの位置や機能を適切かつ分かりやすく認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0071】
また、本実施例のユーザインターフェイス装置1は、フィードバックパネル3及びフィードバックコントローラ16によって、フィードバックとして点字等の記号文字を出力している。
【0072】
したがって、色覚異常者が熟知していることの多い点字等によって、機能ボタンであるか否かや機能ボタンの機能内容をフィードバックすることができ、利用性をより一層向上させることができる。
【0073】
さらに、本実施例のユーザインターフェイス装置1は、CPU11が、フィードバックパネル3及びフィードバックコントローラ16に、機能ボタンの機能内容を示す情報として、該機能内容を示す点字等の記号文字列を、操作位置を起点として任意の方向に配列して出力させるとともに、該出力方向に全ての該記号文字列の出力を行うスペースが無いときには、全ての該記号文字列の出力が可能な方向に出力方向を変更して該記号文字列を出力させている。
【0074】
したがって、機能ボタンの機能内容を示す記号文字列を途中で切れることなく、全て適切に出力することができ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0075】
また、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、機能ボタンの機能内容を示す点字等の記号文字列を出力する操作位置が任意の方向になぞって移動されたことを、タッチパネル4及びタッチパネルコントローラ17が検出すると、フィードバックパネル3及びフィードバックコントローラ16に、該操作位置の移動に応じて該記号文字列を順次出力させている。
【0076】
したがって、タッチパネル4上に点字等の記号文字列を全て出力するスペースがない場合でも、指の移動する方向に文字を順次出力させることができ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0077】
さらに、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、フィードバックパネル3及びフィードバックコントローラ16に、操作位置の移動に応じて順次出力させた点字等の記号文字列を所定の消去条件に基づいて消去させている。
【0078】
したがって、出力する点字等の記号文字列の文字数が長い場合、利用者が最後まで読むために指を移動しつづけていると、既に出力された記号文字によってスペースが無くなることを防止して、利用性を向上させつつ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0079】
また、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、記号文字列の総出力文字数、出力後の経過時間、前記操作位置の既出力の該記号文字列との重なりを、消去条件として既出力の該記号文字列を消去させている。
【0080】
したがって、不必要な記号文字列を消去して、適切かつ安価に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0081】
さらに、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、操作位置の移動に応じて出力させた記号文字列上を該操作位置が逆戻りして、既に消去済みの位置に戻ると、フィードバックパネル3及びフィードバックコントローラ16に、該操作位置に再度消去した記号文字列を出力させている。
【0082】
したがって、一度消去しても、利用者の知りたい記号文字列を適切に出力することができ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0083】
また、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、記号文字列の出力を開始する操作位置から該記号文字列の出力方向のスペースの大きさに合わせて、該記号文字列の大きさを変更して該記号文字列を出力させている。
【0084】
したがって、出力する記号文字列の長さと出力スペースに応じて、記号文字列の大きさを変化させることができ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0085】
以上、本発明者によってなされた発明を好適な実施例に基づき具体的に説明したが、本発明は上記実施例で説明したものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【産業上の利用可能性】
【0086】
本発明は、色覚異常者にとっても、また色覚異常者でない人にとっても機能ボタンの識別を適切かつ容易に行うことのできるタッチパネル付き表示パネルを備えたユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラムに利用することができる。
【符号の説明】
【0087】
1 ユーザインターフェイス装置
2 表示パネル
3 フィードバックパネル
4 タッチパネル
11 CPU
11a 判断部
11b 制御部
12 ROM
13 RAM
14 外部I/F
15 表示コントローラ
16 フィードバックコントローラ
17 タッチパネルコントローラ
【先行技術文献】
【特許文献】
【0088】
【特許文献1】特開2004−265035号公報
【技術分野】
【0001】
本発明は、ユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラムに関する。
【背景技術】
【0002】
近時、複合装置等の画像形成装置及びパーソナルコンピュータ、ワードプロセッサ、電子手帳、携帯電話機等の電子情報処理装置においては、入力操作を容易にするために、表示パネルの表面にタッチパネルを重ね合わせ、表示パネルに機能ボタンを表示して、表示されている機能ボタンに対応する位置のタッチパネル上をタッチ操作することにより、該機能ボタンに割り当てられている命令、データの選択及び文字入力等の機能を実行させることのできるタッチパネル付き表示装置がユーザインターフェイス装置として用いられている。
【0003】
このようなタッチパネル付き表示装置を用いたユーザインターフェイス装置においては、視覚障害者にとっては、表示パネルに表示されている機能ボタンを視覚で確認して操作することができない。
【0004】
そして、従来、表示部の表示内容と同じ内容を触覚的に認識可能に表示する凹凸表示面を有し該表示部の機能ボタンと同じ機能を有する押しボタンを表示部の周囲に配置した入力装置が提案されている(例えば、特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来技術にあっては、表示部の表示内容と同じ内容を触覚的に認識可能に表示する凹凸表示面を有し該表示部の機能ボタンと同じ機能を有する押しボタンを表示部の周囲に配置しているため、機能ボタンが表示部の表示画面一面に並べて表示される場合や操作に応じて表示画面が偏移して機能ボタンの位置が変化する場合には、対応することができず、ユーザに対する利便性が低かった。このため、より一層機能的な画面表示に対して、視覚障害者にとって機能ボタンの位置と機能を適切かつ分かりやすく認識できるようにすることが望まれている。
【0006】
本発明は、上記に鑑みてなされたものであって、機能ボタンの表示位置に制約されることなく、視覚異常者に対しても機能ボタンの位置や機能を適切かつ分かりやすく認識させてユーザの利便性を向上させることができるユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラムを提供することを主な目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明にかかるユーザインターフェイス装置は、表示パネルと、前記表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示する表示パネル制御部と、前記表示パネルに対する表面近傍または接触した状態でのユーザの操作を検出して操作位置を取得する操作位置検出部と、ユーザに対して触覚を与える所定のフィードバックを出力するフィードバック出力部と、前記操作位置が、前記表示パネルに表示されている前記機能ボタンの表示位置であるか否か判断する判断部と、前記操作位置が前記機能ボタンの表示位置である場合に、前記機能ボタンに関連する所定のフィードバックを前記フィードバック出力部に出力させる制御部と、を備えていることを特徴とする。
【0008】
また、本発明にかかる画像形成装置は、ユーザインターフェイス装置からの入力操作に応じて、被記録媒体に画像形成出力する画像形成装置において、前記ユーザインターフェイス装置として、上記ユーザインターフェイス装置を備えていることを特徴とする。
【0009】
また、本発明にかかるユーザインターフェイス制御方法は、表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示するパネル表示処理ステップと、前記表示パネルに対する表面近傍または接触した状態での操作を検出して該操作位置を取得するタッチ操作位置取得処理ステップと、前記表示パネルへの操作に対して該操作位置に関連する所定のフィードバックを出力するフィードバック出力処理ステップと、前記操作位置が前記表示パネルに表示されている前記機能ボタンの表示位置であるか判断して、該操作位置が該機能ボタンの表示位置であると、該機能ボタンに関連する所定のフィードバックを前記フィードバック出力処理ステップで出力させる制御処理ステップと、を有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、機能ボタンの表示位置に制約されることなく、視覚異常者に対しても機能ボタンの位置や機能を適切かつ分かりやすく認識させることができ、この結果、ユーザに対する利便性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【0011】
【図1】図1は、本実施例を適用したユーザインターフェイス装置の概略構成図である。
【図2】図2は、ユーザインターフェイス装置の制御系のブロック構成図である。
【図3】図3は、本実施例のユーザインターフェイス装置の機能的構成を示すブロック図である。
【図4】図4は、マルチタッチ操作されている状態の一例を示すユーザインターフェイス装置の平面図である。
【図5】図5は、タッチ操作に応じたフィードバック出力制御処理を示すフローチャートである。
【図6】図6は、2つ以上のタッチ位置が機能ボタン上であるときのフィードバック出力制御処理を示すフローチャートである。
【図7】図7は、右側領域にフィードバック文字列が収まらない場合に下側に文字列を出力する例を示す図である。
【図8】図8は、上下左右方向にフィードバック文字列が収まるか判定して収まる方向に文字列を出力する例を示す図である。
【図9】図9は、指の移動方向にフィードバック文字列を順次出力する例を示す図である。
【図10】図10は、指の移動方向にフィードバック文字列を出力する際に文字列が収まらずに下側に指が移動した場合の文字列の出力例を示す図である。
【図11】図11は、既出力のフィードバック文字を順次出力する例を示す図である。
【図12】図12は、指の移動方向が出力済みの文字と重なるときのフィードバック文字列の出力例を示す図である。
【図13】図13は、表示可能領域と出力文字数に応じて文字の大きさを変化させてフィードバック文字列を出力する例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の好適な実施例を添付図面に基づいて詳細に説明する。なお、以下に述べる実施例は、本発明の好適な実施例であるので、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明によって不当に限定されるものではなく、また、本実施の形態で説明される構成の全てが本発明の必須の構成要件ではない。
【実施例1】
【0013】
図1〜図13は、本発明のユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法、ユーザインターフェイス制御プログラム及び記録媒体の一実施例を示す図であり、図1は、本発明のユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法、ユーザインターフェイス制御プログラム及び記録媒体の一実施例を適用したユーザインターフェイス装置1の概略斜視図である。
【0014】
図1において、ユーザインターフェイス装置1は、表示パネル2上に、フィードバックパネル3とタッチパネル4が順次積層された状態で構成されており、例えば、プリンタ装置、複写装置、複合装置等のような画像形成装置等の機器の操作表示部に適用される。特に、画像を形成する画像形成装置の場合、画像形成における設定操作等の入出力操作の行われる操作表示部に適用される。
【0015】
表示パネル2は、例えば、LCD(Liquid Crystal Display)が用いられており、所定の解像度で表示データを表示する。この表示データは、ユーザインターフェイス装置1の適用されている機器の状態や該機器からユーザに通知する各種情報、例えば、操作モードを複数備えているときには、該操作モード毎の操作ガイド情報及び該操作モードで操作する機能ボタンを表示パネル2の全面にわたって適宜の配置で表示する。
【0016】
フィードバックパネル3は、タッチパネル4の表面をタッチしているユーザの指に対して、所定の触覚を与えるフォースフィードバック(以下、単に「フィードバック」という)を出力するパネルである。フィードバックパネル3としては、圧電素子方式を用いることができる。圧電素子方式は、フィードバックパネル3に多数の圧電素子を配置し、タッチパネル4のタッチした座標位置に応じて圧電素子を振動させる方式である。フィードバックパネル3に圧電素子方式を用いる場合には、例えば、特開2007−86990号公報に開示されたパネルおよび技術を用いることができる。この他、フィードバックパネル3として、静電気方式等各種方式を採用することができる。本実施例のフィードバックパネル3は、タッチパネル4の表面をタッチしている指に何らかの感触を作用させることで、文字、画像等をユーザに認識させることのできるものであれば、どのような方式のものであってもよい。
【0017】
タッチパネル4は、抵抗膜方式、静電気方式、圧力センサ方式、画像取得方式、赤外線方式等の種々の方式のタッチパネルを用いることができ、方式は限定されるものではない。
【0018】
ユーザインターフェイス装置1は、その制御ブロックが図2に示すように構成されており、上記表示パネル2、フィードバックパネル3及びタッチパネル4を備えているとともに、CPU(Central Processing Unit )11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、外部I/F14、表示コントローラ15、フィードバックコントローラ16及びタッチパネルコントローラ17等を備えている。
【0019】
ROM12は、ユーザインターフェイス装置1としての基本プログラム、本発明のユーザインターフェイス制御プログラム等のプログラム及び必要なシステムデータが格納されており、RAM13は、CPU11のワークメモリとして利用される。外部I/F14には、ユーザインターフェイス装置1が適用される画像形成装置等の機器が接続され、外部I/F14は、機器との間でコマンドとデータの授受を行なって、表示情報の入出力、操作データの出力等を行う。
【0020】
CPU(後述する判断部11a、制御部11bとして機能する)11は、ROM12内のプログラムに基づいて、RAM13をワークメモリとして利用して、外部I/F14から受け取った表示情報の表示コントローラ15への出力、フィードバックコントローラ16へのフィードバックデータの出力及びタッチパネルコントローラ17から受け取ったタッチパネルデータの外部I/F14を介しての機器への出力等を行う。すなわち、CPU11は、ROM、EEPROM(Electrically Erasable and Programmable Read Only Memory )、EPROM、フラッシュメモリ、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory )、CD−RW(Compact Disc Rewritable )、DVD(Digital Versatile Disk)、SD(Secure Digital)カード、MO(Magneto-Optical Disc)等のコンピュータが読み取り可能な記録媒体に記録されている本発明のユーザインターフェイス制御方法を実行するユーザインターフェイス制御プログラムを読み込んでROM12に導入することで、後述する視覚異常者にとっても機能ボタンを確認しやすく操作しやすいユーザインターフェイス制御方法を実行するユーザインターフェイス装置1として構築されている。このユーザインターフェイス制御プログラムは、アセンブラ、C、C++、C#、Java(登録商標)等のレガシープログラミング言語やオブジェクト指向ブログラミング言語等で記述されたコンピュータ実行可能なプログラムであり、上記記録媒体に格納して頒布することができる。
【0021】
表示コントローラ15は、CPU11の制御下で、CPU11から表示データを受け取って、該表示データを表示パネル2の指定の位置に表示出力させる。
【0022】
フィードバックコントローラ15は、CPU11からフィードバックデータを受け取って、CPU11の制御下で、該フィードバックを、フィードバックパネル3のCPU11から指定される位置に出力する。このフィードバックローラ15によるフィードバックは、例えば、電気刺激、振動刺激等によって点字文字をタッチパネル4にタッチしている指に付与するものである。上記フィードバックパネル3及びフィードバックコントローラ15は、全体としてフィードバック出力部として機能している。
【0023】
タッチパネルコントローラ17は、タッチパネル4上におけるユーザの指のタッチ操作を検出して、検出した座標位置(操作位置)をCPU11に出力する。このタッチパネルコントローラ17は、タッチパネル4上における複数箇所の同時タッチ操作を検出する機能、すなわち、マルチタッチ検出機能を備えており、マルチタッチ操作の検出結果をCPU11に出力する。上記タッチパネル4及びタッチパネルコントローラ17は、全体として、操作位置検出部として機能している。
【0024】
CPU11は、RAM13に表示パネル2への情報や機能ボタン等の表示データの表示位置データをRAM13に格納しており、タッチパネルコントローラ17から取得したマルチタッチの表示位置とRAM13の表示一データを照らし合わせて、機能ボタンへのタッチが行われているか否か等のタッチ操作内容の確認を行う。
【0025】
次に、本実施例のユーザインターフェイス装置1の機能的構成について説明する。図3は、本実施例のユーザインターフェイス装置1の機能的構成を示すブロック図である。本実施例のユーザインターフェイス装置1は、図3に示すように、上述したタッチパネル4、タッチパネルコントローラ17、表示パネル2、表示コントローラ15、フィードバックパネル3、フィードバックコントローラ16の他、判断部11aと、制御部11bとを備えている。
【0026】
判断部11aと、制御部11bは、ROM12に記憶されてるユーザインターフェイス制御プログラムのモジュール構成であり、CPU11がROM12からユーザインターフェイス制御ムを読み出して実行することにより、判断部11aと、制御部11bがRAM13上に生成されるようになっている。
【0027】
判断部11aは、ユーザの操作が行われた座標位置(操作位置)が、表示パネル2に表示されている機能ボタンの表示位置であるか否か判断する。
【0028】
より具体的には、判断部11aは、操作位置として複数の操作位置が検出された場合に、複数の操作位置のうち、少なくとも1つの操作位置が機能ボタンの表示位置であるか否かを判断する。また、判断部11aは、複数の操作位置の全てが機能ボタンの表示位置であるか否かを判断する。さらに、判断部11aは、出力方向に全ての記号文字列の出力を行うスペースの有無を判断する。
【0029】
制御部11bは、判断部11aによって、座標位置(操作位置)が機能ボタンの表示位置であると判断された場合に、機能ボタンに関連する所定のフィードバックを、フィードバックコントローラ16及びフィードバックパネル3に出力させる。
【0030】
より具体的には、制御部11bは、判断部11aによって、ユーザによる複数の操作位置のうち、少なくとも1つの操作位置が機能ボタンの表示位置であると判断された場合に、フィードバックコントローラ16及びフィードバックパネル3に、当該操作位置に、操作位置が機能ボタンであることを示すフィードバックを出力させるとともに、他の操作位置に当該機能ボタンの機能内容を示す情報のフィードバックを出力させる。
【0031】
操作位置が機能ボタンであることを示すフィードバックとしては、例えば、機能ボタンの領域を振動させることにより、機能ボタンを押下している触覚をユーザの指に与えること等があげられる。また、機能ボタンの機能内容を示す情報のフィードバックとしては、例えば、機能ボタンの機能内容を点字で表して振動させること等があげられる。
【0032】
また、制御部11bは、判断部11aによって、ユーザによる複数の操作位置の全てが機能ボタンの表示位置であると判断された場合に、フィードバックコントローラ16及びフィードバックパネル3に、最初に操作された操作位置に当該操作位置が機能ボタンであることを示すフィードバックを出力させる。
【0033】
また、制御部11bは、フィードバックコントローラ16及びフィードバックパネル3に、機能ボタンの機能内容を示す情報として、当該機能内容を示す記号文字列を操作位置を起点として任意の方向に配列して出力させ、出力方向に全ての記号文字列の出力を行うスペースが無い場合には、フィードバックコントローラ16及びフィードバックパネル3に、全ての記号文字列の出力が可能な方向に出力方向を変更して当該記号文字列を出力させる。
【0034】
また、制御部11bは、機能ボタンの機能内容を示す記号文字列を出力する操作位置が任意の方向になぞって移動されたことを検出された場合に、フィードバックコントローラ16及びフィードバックパネル3に、当該操作位置の移動に応じて該記号文字列を順次出力させる。
【0035】
また、制御部11bは、フィードバックコントローラ16及びフィードバックパネル3に、操作位置の移動に応じて順次出力させた記号文字列を所定の消去条件に基づいて消去させる。また、制御部11bは、記号文字列の総出力文字数、出力後の経過時間、操作位置の既出力の該記号文字列との重なりを、上記消去条件として既出力の該記号文字列を消去させる。
【0036】
さらに、制御部11bは、操作位置の移動に応じて出力させた記号文字列上を該操作位置が逆戻りして、既に消去済みの位置に戻る場合に、フィードバックコントローラ16及びフィードバックパネル3に、当該操作位置に再度消去した記号文字列を出力させる。
【0037】
加えて、制御部11bは、記号文字列の出力を開始する操作位置から当該記号文字列の出力方向のスペースの大きさに合わせて、当該記号文字列の大きさを変更して当該記号文字列を出力させる。
【0038】
次に、本実施例の作用について説明する。本実施例のユーザインターフェイス装置1は、タッチパネル4上へのタッチ操作に対して、機能ボタンの案内情報を適切に出力する。
【0039】
すなわち、ユーザインターフェイス装置1は、図4に示すように、CPU11が、表示コントローラ15を介して表示パネル2に、機能ボタン及びその他の表示情報を表示している状態で、制御部11b(CPU11)が、図5に示すタッチ操作に応じたフィードバック出力処理を行う。すなわち、判断部11a(CPU11)は、図5に示すように、タッチパネルコントローラ17からのタッチ操作の検出結果を取得して、タッチパネル4にユーザによって指が触れられているか(タッチ操作されているか)チェックし(ステップS101)、タッチ操作されると、タッチ操作された1つまたは複数の指の触れている点の座標を検出する(ステップS102)。
【0040】
判断部11a(CPU11)は、タッチ位置の座標を検出すると、2つ以上の位置に指が触れているか判別し(ステップS103)、1つの位置にのみ指が触れているときには、機能ボタン上に指が触れているかチェックする(ステップS104)。
【0041】
ステップS104で、機能ボタン上に指が触れていないときには、制御部11b(CPU11)は、フィードバックパネル3によるフィードバックを行うこと無く、ステップS101に戻って、タッチパネル4に指が触れられているかのチェックから上記同様の処理を繰り返し行う(ステップS101〜S104)。
【0042】
ステップS104で、機能ボタン上に指が触れていると、例えば、図4に示すように、スキャナ機能ボタン上に指が触れていると、制御部11b(CPU11)は、タッチ位置が機能ボタンの位置であることを示すフィードバックデータをフィードバックコントローラ16に出力し、フィードバックコントローラ15が、フィードバックパネル3のタッチ位置に対応する位置に、機能ボタンであることを示すフィードバックを発生させて(ステップS105)、ステップS101に戻る。
【0043】
ステップS103で、タッチパネル4上の2つ以上の位置に指が触れているときには、判断部11a(CPU11)は、機能ボタン上に指が触れているか、すなわち、タッチ位置が機能ボタンの位置であるかチェックし(ステップS106)、機能ボタン上に指が触れていないときには、フィードバックパネル3によるフィードバックを行うこと無く、ステップS101に戻って、タッチパネル4に指が触れられているかのチェックから上記同様の処理を繰り返し行う(ステップS101〜S106)。
【0044】
ステップS106で、機能ボタン上に指が触れているときには、判断部11a(CPU11)は、2つ以上の機能ボタン上に指が触れているかチェックし(ステップS107)、1つの指のみが機能ボタン上に触れていて、他の指は機能ボタン上から外れた位置に触れているときには、制御部11bは、機能ボタンに触れている方の指に対して機能ボタンであることを示すフィードバックを、他の指に対して、触れている機能ボタンの機能の内容を示すフィードバックを行って(ステップS108)、ステップS101に戻る。例えば、図4に示したように、1つの指が機能ボタンとしてのスキャナボタンに触れており、他の指が機能ボタン以外の領域のタッチパネル4に触れているときには、制御部11b(CPU11)は、フィードバックコントローラ16を介して、1つの指が触れているスキャナボタンに対応する位置で、フィードバックパネル3に、タッチ位置が機能ボタン位置である旨を通知するフィードバックを発生させ、他の指が触れている機能ボタン以外の領域に対応する位置において、フィードバックコントローラ16を介して、触れている機能ボタンがスキャナボタンであることを通知するフィードバックを行わせる。
【0045】
ここで、タッチ位置が機能ボタン位置である旨を通知するフィードバックとしては、例えば、機能ボタンの領域を振動させることにより、機能ボタンを押下している触覚をユーザの指に与えること等があげられる。
【0046】
また、制御部11b(CPU11)は、触れている機能ボタンの機能の内容を通知するフィードバック方法としては、例えば、フィードバックパネル3に該機能ボタンの機能の内容を示す点字(例えば、図4の場合、スキャナの点字)等の記号文字列をフィードバックさせる。
【0047】
そして、ステップS107で、2つ以上の指が機能ボタンに触れていると、制御部11b(CPU11)は、フィードバックコントローラ16を介して、機能ボタンに触れている2つ以上の指が触れている位置に機能ボタンであることを示すフィードバックを行って(ステップS109)、ステップS101に戻る。
【0048】
そして、判断部11a(CPU11)は、タッチパネル4の機能ボタンに触れている指がタッチパネル4の機能ボタン位置から離されると、該機能ボタンのボタン操作が行われたと判断する。なお、この機能ボタンのボタン操作の判断は、機能ボタン位置から指が離れることによって判断する以外に、例えば、該機能ボタンのダブルタッチ操作等によってボタン操作であると判断してもよい。
【0049】
なお、上記説明においては、タッチパネル4上の2つ以上の位置に触れている指が全て機能ボタン上であると、各指の触れている位置が機能ボタンである旨のフィードバックを行っているが、フィードバックの方法としては、上記の内容に限るものではなく、例えば、図6に示すように、タッチパネル4上の機能ボタンに1つの指が触れたまま、別の指で任意の場所を触れた場合、別の指のタッチ位置が機能ボタンの位置であっても、上記1つの指が位置している機能ボタンの機能の内容を示す点字等の記号文字列のフィードバックを行うようにしてもよい。
【0050】
すなわち、図6において、判断部11a(CPU11)は、タッチパネル4に指が触れているか、すなわち、タッチ操作されているかチェックし(ステップS201)、タッチパネル4に指が触れていないときには、制御部11b(CPU11)は、変数(レジスタ等に格納されている)に格納されている機能ボタンの識別情報を削除して(ステップS202)、ステップS201に戻る。
【0051】
ステップS201で、タッチパネル4に指が触れられていると、1つまたは複数の指の指が触れられている点の座標位置を検出し(ステップS203)、判断部11a(CPU11)は、タッチパネル4上の2つ以上の位置に指が触れているかチェックする(ステップS204)。
【0052】
ステップS204で、タッチパネル4上の1点にのみ指が触れられているときには、判断部11a(CPU11)は、機能ボタン上に指が触れられているかチェックし(ステップS205)、機能ボタン上に触れられていないときには、制御部11b(CPU11)は、変数に格納されている機能ボタンの識別情報を削除して(ステップS202)、ステップS201に戻って、上記同様に処理を行う(ステップS201〜S205)。
【0053】
ステップS205で、機能ボタン上に指が触れられているときには、制御部11b(CPU11)は、変数に現在触れられている機能ボタンの識別情報を格納し(ステップS206)、フィードバックコントローラ16を介して、触れられている位置に、該位置が機能ボタンであることを通知するフィードバックを行わせて(ステップS207)、ステップS201に戻る。
【0054】
ステップS204で、タッチパネル4上の2点以上に指が触れられていると、判断部11a(CPU11)は、機能ボタン上に指が触れられているかチェックし(ステップS208)、機能ボタン上に指が触れられていないときには、制御部11b(CPU11)は、変数に格納されている機能ボタンの識別情報を削除して(ステップS209)、ステップS201に戻って、上記同様に処理を行う(ステップS201〜S209)。
【0055】
ステップS208で、機能ボタン上に指が触れられているときには、制御部11b(CPU11)は、変数に格納されている識別情報の機能ボタンと同じ機能ボタンであることを通知するためのフィードバックを、フィードバックコントローラ16を介してフィードバックパネル3に行わせるとともに、他方の指の触れられている位置(タッチ位置)に対応するフィードバックパネル3において、変数に格納されている識別情報の機能ボタンに割り付けられている機能の内容を、点字等の記号文字列によって通知するフィードバックを行わせる(ステップS210)。
【0056】
そして、上記機能ボタンの機能の内容のフィードバック方式として、点字等による文字情報を用いる場合、種々の方式を用いることができる。例えば、制御部11b(CPU11)は、点字を出力する際、点字出力側の指の位置から、点字の文字列方向を上下左右の方向を自動判断して、その判断に基づいて文字列方向を決定して、フィードバックコントローラ16を介してフィードバックパネル3からフィードバック出力を行わせる。
【0057】
このフィードバック出力を行う場合、判断部11a(CPU11)は、上下左右方向に優先順位を設けておいて、例えば、優先順位が、右、下、左、上の順であった場合、図7に示すように、右側の表示パネル2の領域に、フィードバックする文字が収まるか否か判断して、文字が収まらないと判断すると、制御部11b(CPU)11)は、下方向へフィードバック文字列のフィードバック出力を行う。
【0058】
また、この場合、図8に示すように、判断部11a(CPU11)は、上下左右の全ての方向で、表示パネル2の領域に、フィードバックする文字が収まるか否か判断して、制御部11b(CPU11)は、文字が収まらない方向へのフィードバック出力を禁止し、文字列が収まる方向のうち適宜の方向または収まる方向全てに対してフィードバック文字列のフィードバック出力を行う。図8の場合、制御部11b(CPU11)は、上方向及び右方向については、文字列が収まらないため、フィードバックを禁止し、下方向及び左方向については、文字列が収まるため、フィードバックを許可する。
【0059】
さらに、フィードバック文字列のフィードバック出力を行う場合、制御部11b(CPU11)は、フィードバック文字列の出力方向としては、上下左右に限るものではなく、斜め方向も含めて、360度全ての方向へ出力可能としてもよい。
【0060】
また、フィードバック文字列のフィードバック出力を行う場合、制御部11b(CPU11)は、図9に示すように、タッチパネル4上の指が触れている位置を起点として、指が動いた方向を検知して、該指の動いた方向にフィードバック文字列を順次フィードバック出力してもよい。なお、図9において、矢印は、指の移動方向を示している。この場合、フィードバック文字列がタッチパネル4の表示領域に全て出力しきれないときには、制御部11b(CPU11)は、図10に示すように、指の上下等への動きに合わせてフィードバック文字列をフィードバック出力する。
【0061】
さらに、フィードバック文字列のフィードバック出力を、指の移動に従って出力する場合、制御部11b(CPU11)は、図11に示すように、所定の消去条件に基づいて、既に出力したフィードバック文字列を消去してもよい。この消去条件としては、例えば、出力文字数の最大値を設定、例えば、10文字と設定して、10文字を超えると、最初に出力した文字から順次消去し、また、出力時間を設定、例えば、5秒と設定して、文字を出力してから出力時間が経過した文字から順次消去する。なお、図11において、矢印は、指の移動方向を示している。
【0062】
この場合、制御部11b(CPU11)は、前に出力されたフィードバック文字列(点字等)を読み取るために、出力されているフィードバック文字(点字等)をなぞって逆方向へ戻る操作が行われて、既に消去したフィードバック文字上に指が移動すると、再度、フィードバック文字をフィードバック出力させてもよい。
【0063】
また、フィードバック文字列のフィードバック出力を、指の移動に従って出力する場合、制御部11b(CPU11)は、図12に示すように、指の移動方向が変化して既に出力したフィードバック文字と重なると、該重なった出力済みフィードバック文字を消去して、出力順において該位置に出力すべきフィードバック文字を出力してもよい。なお、この場合、指の移動がフィードバック文字列上を逆戻りして、既に消去された文字上に移動すると、再度、フィードバック文字を出力するようにしてもよい。なお、図12において、矢印は、指の移動方向を示している。
【0064】
さらに、フィードバック文字列のフィードバック出力を、指の移動に従って出力する場合、制御部11b(CPU11)は、図13に示すように、指の移動方向に対して表示パネル2の空き領域の大きさと出力するフィードバック文字列の文字数に基づいて、出力する文字の大きさを変化させてもよい。図13においては、上側の「スキャナ」は、指の移動方向である右側の空き領域が大きいため、空き領域の大きさに応じた大きい文字が出力され、下側の「スキャナ」は、指の移動方向である右側の空き領域が小さいため、空き領域の大きさに応じた小さい文字が出力されている。
【0065】
このように、本実施例のユーザインターフェイス装置1は、種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示する表示パネル4に対する表面近傍または接触した状態での操作を、タッチパネル4及びタッチパネルコントローラ17によって検出し、制御部11b(CPU11)が、該操作位置を取得して、表示パネル2への操作に対して該操作位置に関連する所定のフィードバックを出力する場合に、該操作位置が表示パネル2に表示されている機能ボタンの表示位置であるか否かを判断して、該操作位置が機能ボタンの表示位置であると、該機能ボタンに関連する所定のフィードバックを、フィードバックパネル3及びフィードバックコントローラ16によって出力している。
【0066】
したがって、表示パネル2への機能ボタンの表示位置に制約されることなく、視覚異常者に対しても、機能ボタンの位置や機能を適切かつ分かりやすく認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0067】
また、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、タッチパネル4とタッチパネルコントローラ17によって操作位置として複数の操作位置が検出され、複数の該操作位置のうち、少なくとも1つの操作位置が表示パネル2の機能ボタンの表示位置であると、該操作位置に該操作位置が機能ボタンであることを示す情報のフィードバックを出力するとともに、他の操作位置に該機能ボタンの機能内容を示す情報のフィードバックを出力している。
【0068】
したがって、マルチタッチ操作によって機能ボタン位置と機能ボタン位置以外の位置がタッチ操作されると、機能ボタン位置のタッチ位置に機能ボタンであることが分かるようにすることができるとともに、機能ボタン以外のタッチ位置に機能ボタンの機能内容が分かるようにフィードバックすることができ、表示パネル2への機能ボタンの表示位置に制約されることなく、視覚異常者に対して、機能ボタンの位置や機能をより一層適切かつ分かりやすく認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0069】
さらに、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、タッチパネル4とタッチパネルコントローラ17によって操作位置として複数の操作位置が検出され、複数の該操作位置の全てが表示パネル2における機能ボタンの表示位置であると、フィードバックコントローラ16及びフィードバックパネル3によって、複数の該操作位置のうち最初に操作された操作位置に該操作位置が機能ボタンであることを示す情報のフィードバックを出力させるとともに、他の操作位置に該機能ボタンの機能内容を示す情報のフィードバックを出力させている。
【0070】
したがって、タッチパネル4上の機能ボタン位置に1つの指で触れたまま、別の指で任意の場所を触った場合、別の指で触った位置が別の機能ボタン上であっても、最初に触れた機能ボタンの機能内容を後で触った指にフィードバックすることができ、最初に触った機能ボタンの機能内容を機能ボタン以外の領域を探すことなく、タッチパネル4の別な位置を触ることで、最初の指で触った機能ボタンの機能の内容をフィードバックして、利用性を向上させつつ、機能ボタンの位置や機能を適切かつ分かりやすく認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0071】
また、本実施例のユーザインターフェイス装置1は、フィードバックパネル3及びフィードバックコントローラ16によって、フィードバックとして点字等の記号文字を出力している。
【0072】
したがって、色覚異常者が熟知していることの多い点字等によって、機能ボタンであるか否かや機能ボタンの機能内容をフィードバックすることができ、利用性をより一層向上させることができる。
【0073】
さらに、本実施例のユーザインターフェイス装置1は、CPU11が、フィードバックパネル3及びフィードバックコントローラ16に、機能ボタンの機能内容を示す情報として、該機能内容を示す点字等の記号文字列を、操作位置を起点として任意の方向に配列して出力させるとともに、該出力方向に全ての該記号文字列の出力を行うスペースが無いときには、全ての該記号文字列の出力が可能な方向に出力方向を変更して該記号文字列を出力させている。
【0074】
したがって、機能ボタンの機能内容を示す記号文字列を途中で切れることなく、全て適切に出力することができ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0075】
また、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、機能ボタンの機能内容を示す点字等の記号文字列を出力する操作位置が任意の方向になぞって移動されたことを、タッチパネル4及びタッチパネルコントローラ17が検出すると、フィードバックパネル3及びフィードバックコントローラ16に、該操作位置の移動に応じて該記号文字列を順次出力させている。
【0076】
したがって、タッチパネル4上に点字等の記号文字列を全て出力するスペースがない場合でも、指の移動する方向に文字を順次出力させることができ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0077】
さらに、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、フィードバックパネル3及びフィードバックコントローラ16に、操作位置の移動に応じて順次出力させた点字等の記号文字列を所定の消去条件に基づいて消去させている。
【0078】
したがって、出力する点字等の記号文字列の文字数が長い場合、利用者が最後まで読むために指を移動しつづけていると、既に出力された記号文字によってスペースが無くなることを防止して、利用性を向上させつつ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0079】
また、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、記号文字列の総出力文字数、出力後の経過時間、前記操作位置の既出力の該記号文字列との重なりを、消去条件として既出力の該記号文字列を消去させている。
【0080】
したがって、不必要な記号文字列を消去して、適切かつ安価に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0081】
さらに、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、操作位置の移動に応じて出力させた記号文字列上を該操作位置が逆戻りして、既に消去済みの位置に戻ると、フィードバックパネル3及びフィードバックコントローラ16に、該操作位置に再度消去した記号文字列を出力させている。
【0082】
したがって、一度消去しても、利用者の知りたい記号文字列を適切に出力することができ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0083】
また、本実施例のユーザインターフェイス装置1は、制御部11b(CPU11)が、記号文字列の出力を開始する操作位置から該記号文字列の出力方向のスペースの大きさに合わせて、該記号文字列の大きさを変更して該記号文字列を出力させている。
【0084】
したがって、出力する記号文字列の長さと出力スペースに応じて、記号文字列の大きさを変化させることができ、より一層適切かつ確実に機能ボタンの位置や機能を認識させることができ、この結果、ユーザに対する利便性を向上させることができる。
【0085】
以上、本発明者によってなされた発明を好適な実施例に基づき具体的に説明したが、本発明は上記実施例で説明したものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【産業上の利用可能性】
【0086】
本発明は、色覚異常者にとっても、また色覚異常者でない人にとっても機能ボタンの識別を適切かつ容易に行うことのできるタッチパネル付き表示パネルを備えたユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラムに利用することができる。
【符号の説明】
【0087】
1 ユーザインターフェイス装置
2 表示パネル
3 フィードバックパネル
4 タッチパネル
11 CPU
11a 判断部
11b 制御部
12 ROM
13 RAM
14 外部I/F
15 表示コントローラ
16 フィードバックコントローラ
17 タッチパネルコントローラ
【先行技術文献】
【特許文献】
【0088】
【特許文献1】特開2004−265035号公報
【特許請求の範囲】
【請求項1】
表示パネルと、
前記表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示する表示パネル制御部と、
前記表示パネルに対する表面近傍または接触した状態でのユーザの操作を検出して操作位置を取得する操作位置検出部と、
ユーザに対して触覚を与える所定のフィードバックを出力するフィードバック出力部と、
前記操作位置が、前記表示パネルに表示されている前記機能ボタンの表示位置であるか否か判断する判断部と、
前記操作位置が前記機能ボタンの表示位置である場合に、前記機能ボタンに関連する所定のフィードバックを前記フィードバック出力部に出力させる制御部と、
を備えていることを特徴とするユーザインターフェイス装置。
【請求項2】
前記判断部は、前記操作位置検出部が前記操作位置として複数の操作位置を検出した場合に、前記複数の操作位置のうち、少なくとも1つの操作位置が前記機能ボタンの表示位置であるか否かを判断し、
前記制御部は、前記複数の操作位置のうち、少なくとも1つの操作位置が前記機能ボタンの表示位置である場合に、前記フィードバック出力部に、前記操作位置に、前記操作位置が機能ボタンであることを示すフィードバックを出力させるとともに、他の操作位置に該機能ボタンの機能内容を示す情報のフィードバックを出力させること、
を特徴とする請求項1記載のユーザインターフェイス装置。
【請求項3】
前記判断部は、前記複数の操作位置の全てが前記機能ボタンの表示位置であるか否かを判断し、
前記制御部は、前記複数の操作位置の全てが前記機能ボタンの表示位置である場合に、前記フィードバック出力部に、最初に操作された操作位置に該操作位置が機能ボタンであることを示すフィードバックを出力させること、
を特徴とする請求項2記載のユーザインターフェイス装置。
【請求項4】
前記フィードバック出力部は、前記フィードバックとして、点字による記号文字を出力すること、
を特徴とする請求項1に記載のユーザインターフェイス装置。
【請求項5】
前記制御部は、前記フィードバック出力部に、前記機能ボタンの機能内容を示す情報として、該機能内容を示す記号文字列を前記操作位置を起点として任意の方向に配列して出力させ、
前記判断部は、前記出力方向に全ての該記号文字列の出力を行うスペースの有無を判断し、
前記制御部は、前記出力方向に全ての該記号文字列の出力を行うスペースが無い場合には、前記フィードバック出力部に、全ての該記号文字列の出力が可能な方向に出力方向を変更して該記号文字列を出力させること、
を特徴とする請求項4記載のユーザインターフェイス装置。
【請求項6】
前記制御部は、前記操作位置検出部により、前記機能ボタンの機能内容を示す前記記号文字列を出力する前記操作位置が任意の方向になぞって移動されたことを検出された場合に、前記フィードバック出力部に、該操作位置の移動に応じて該記号文字列を順次出力させること、
を特徴とする請求項4記載のユーザインターフェイス装置。
【請求項7】
前記制御部は、前記フィードバック出力部に、前記操作位置の移動に応じて順次出力させた前記記号文字列を所定の消去条件に基づいて消去させること、
を特徴とする請求項6記載のユーザインターフェイス装置。
【請求項8】
前記制御部は、前記記号文字列の総出力文字数、出力後の経過時間、前記操作位置の既出力の該記号文字列との重なりを前記消去条件として既出力の該記号文字列を消去させること、
を特徴とする請求項7記載のユーザインターフェイス装置。
【請求項9】
前記制御部は、前記操作位置の移動に応じて出力させた前記記号文字列上を該操作位置が逆戻りして、既に消去済みの位置に戻る場合に、前記フィードバック出力部に、該操作位置に再度消去した記号文字列を出力させること、
を特徴とする請求項7または請求項8記載のユーザインターフェイス装置。
【請求項10】
前記制御部は、前記記号文字列の出力を開始する前記操作位置から該記号文字列の出力方向のスペースの大きさに合わせて、該記号文字列の大きさを変更して該記号文字列を出力させること、
を特徴とする請求項3から請求項9のいずれかに記載のユーザインターフェイス装置。
【請求項11】
前記フィードバック出力部は、前記フィードバックとして、前記機能ボタンを押下している触覚を出力すること、
を特徴とする請求項1に記載のユーザインターフェイス装置。
【請求項12】
ユーザインターフェイス装置からの入力操作に応じて、被記録媒体に画像形成出力する画像形成装置において、前記ユーザインターフェイス装置として、請求項1から請求項11のいずれかに記載のユーザインターフェイス装置を備えていること、
を特徴とする画像形成装置。
【請求項13】
表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示するパネル表示処理ステップと、
前記表示パネルに対する表面近傍または接触した状態での操作を検出して該操作位置を取得するタッチ操作位置取得処理ステップと、
前記表示パネルへの操作に対して該操作位置に関連する所定のフィードバックを出力するフィードバック出力処理ステップと、
前記操作位置が前記表示パネルに表示されている前記機能ボタンの表示位置であるか判断して、該操作位置が該機能ボタンの表示位置であると、該機能ボタンに関連する所定のフィードバックを前記フィードバック出力処理ステップで出力させる制御処理ステップと、
を有することを特徴とするユーザインターフェイス制御方法。
【請求項14】
コンピュータに、
表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示するパネル表示処理と、
前記表示パネルに対する表面近傍または接触した状態での操作を検出して該操作位置を取得するタッチ操作位置取得処理と、
前記表示パネルへの操作に対して該操作位置に関連する所定のフィードバックを出力するフィードバック出力処理と、
前記操作位置が前記表示パネルに表示されている前記機能ボタンの表示位置であるか判断して、該操作位置が該機能ボタンの表示位置であると、該機能ボタンに関連する所定のフィードバックを前記フィードバック出力処理で出力させる制御処理と、
を実行させることを特徴とするプログラム。
【請求項1】
表示パネルと、
前記表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示する表示パネル制御部と、
前記表示パネルに対する表面近傍または接触した状態でのユーザの操作を検出して操作位置を取得する操作位置検出部と、
ユーザに対して触覚を与える所定のフィードバックを出力するフィードバック出力部と、
前記操作位置が、前記表示パネルに表示されている前記機能ボタンの表示位置であるか否か判断する判断部と、
前記操作位置が前記機能ボタンの表示位置である場合に、前記機能ボタンに関連する所定のフィードバックを前記フィードバック出力部に出力させる制御部と、
を備えていることを特徴とするユーザインターフェイス装置。
【請求項2】
前記判断部は、前記操作位置検出部が前記操作位置として複数の操作位置を検出した場合に、前記複数の操作位置のうち、少なくとも1つの操作位置が前記機能ボタンの表示位置であるか否かを判断し、
前記制御部は、前記複数の操作位置のうち、少なくとも1つの操作位置が前記機能ボタンの表示位置である場合に、前記フィードバック出力部に、前記操作位置に、前記操作位置が機能ボタンであることを示すフィードバックを出力させるとともに、他の操作位置に該機能ボタンの機能内容を示す情報のフィードバックを出力させること、
を特徴とする請求項1記載のユーザインターフェイス装置。
【請求項3】
前記判断部は、前記複数の操作位置の全てが前記機能ボタンの表示位置であるか否かを判断し、
前記制御部は、前記複数の操作位置の全てが前記機能ボタンの表示位置である場合に、前記フィードバック出力部に、最初に操作された操作位置に該操作位置が機能ボタンであることを示すフィードバックを出力させること、
を特徴とする請求項2記載のユーザインターフェイス装置。
【請求項4】
前記フィードバック出力部は、前記フィードバックとして、点字による記号文字を出力すること、
を特徴とする請求項1に記載のユーザインターフェイス装置。
【請求項5】
前記制御部は、前記フィードバック出力部に、前記機能ボタンの機能内容を示す情報として、該機能内容を示す記号文字列を前記操作位置を起点として任意の方向に配列して出力させ、
前記判断部は、前記出力方向に全ての該記号文字列の出力を行うスペースの有無を判断し、
前記制御部は、前記出力方向に全ての該記号文字列の出力を行うスペースが無い場合には、前記フィードバック出力部に、全ての該記号文字列の出力が可能な方向に出力方向を変更して該記号文字列を出力させること、
を特徴とする請求項4記載のユーザインターフェイス装置。
【請求項6】
前記制御部は、前記操作位置検出部により、前記機能ボタンの機能内容を示す前記記号文字列を出力する前記操作位置が任意の方向になぞって移動されたことを検出された場合に、前記フィードバック出力部に、該操作位置の移動に応じて該記号文字列を順次出力させること、
を特徴とする請求項4記載のユーザインターフェイス装置。
【請求項7】
前記制御部は、前記フィードバック出力部に、前記操作位置の移動に応じて順次出力させた前記記号文字列を所定の消去条件に基づいて消去させること、
を特徴とする請求項6記載のユーザインターフェイス装置。
【請求項8】
前記制御部は、前記記号文字列の総出力文字数、出力後の経過時間、前記操作位置の既出力の該記号文字列との重なりを前記消去条件として既出力の該記号文字列を消去させること、
を特徴とする請求項7記載のユーザインターフェイス装置。
【請求項9】
前記制御部は、前記操作位置の移動に応じて出力させた前記記号文字列上を該操作位置が逆戻りして、既に消去済みの位置に戻る場合に、前記フィードバック出力部に、該操作位置に再度消去した記号文字列を出力させること、
を特徴とする請求項7または請求項8記載のユーザインターフェイス装置。
【請求項10】
前記制御部は、前記記号文字列の出力を開始する前記操作位置から該記号文字列の出力方向のスペースの大きさに合わせて、該記号文字列の大きさを変更して該記号文字列を出力させること、
を特徴とする請求項3から請求項9のいずれかに記載のユーザインターフェイス装置。
【請求項11】
前記フィードバック出力部は、前記フィードバックとして、前記機能ボタンを押下している触覚を出力すること、
を特徴とする請求項1に記載のユーザインターフェイス装置。
【請求項12】
ユーザインターフェイス装置からの入力操作に応じて、被記録媒体に画像形成出力する画像形成装置において、前記ユーザインターフェイス装置として、請求項1から請求項11のいずれかに記載のユーザインターフェイス装置を備えていること、
を特徴とする画像形成装置。
【請求項13】
表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示するパネル表示処理ステップと、
前記表示パネルに対する表面近傍または接触した状態での操作を検出して該操作位置を取得するタッチ操作位置取得処理ステップと、
前記表示パネルへの操作に対して該操作位置に関連する所定のフィードバックを出力するフィードバック出力処理ステップと、
前記操作位置が前記表示パネルに表示されている前記機能ボタンの表示位置であるか判断して、該操作位置が該機能ボタンの表示位置であると、該機能ボタンに関連する所定のフィードバックを前記フィードバック出力処理ステップで出力させる制御処理ステップと、
を有することを特徴とするユーザインターフェイス制御方法。
【請求項14】
コンピュータに、
表示パネルに種々の表示情報及び機能の割り付けられる機能ボタンを適宜の位置に表示するパネル表示処理と、
前記表示パネルに対する表面近傍または接触した状態での操作を検出して該操作位置を取得するタッチ操作位置取得処理と、
前記表示パネルへの操作に対して該操作位置に関連する所定のフィードバックを出力するフィードバック出力処理と、
前記操作位置が前記表示パネルに表示されている前記機能ボタンの表示位置であるか判断して、該操作位置が該機能ボタンの表示位置であると、該機能ボタンに関連する所定のフィードバックを前記フィードバック出力処理で出力させる制御処理と、
を実行させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−150794(P2012−150794A)
【公開日】平成24年8月9日(2012.8.9)
【国際特許分類】
【出願番号】特願2011−276332(P2011−276332)
【出願日】平成23年12月16日(2011.12.16)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成24年8月9日(2012.8.9)
【国際特許分類】
【出願日】平成23年12月16日(2011.12.16)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]