機器操作装置、プログラムおよび記録媒体並びに画像形成装置
【課題】 視覚を使用せずに機器の各種操作を容易に且つ確実に行うことができる機器操作装置を提供する。
【解決手段】 この機器操作装置は、機器の操作項目の設定項目を階層構造の階層メニューとして配置し、その階層上の所望の設定項目へ移動キーによって移動し、確定キーでその設定項目を選択することによって、この機器を操作し、その操作指示とその結果とを状況に応じて音アイコン、動作音および音声の音の属性を異ならせて通知するようにして、視覚を使用せずに機器を容易に且つ確実に操作できるようにした。
【解決手段】 この機器操作装置は、機器の操作項目の設定項目を階層構造の階層メニューとして配置し、その階層上の所望の設定項目へ移動キーによって移動し、確定キーでその設定項目を選択することによって、この機器を操作し、その操作指示とその結果とを状況に応じて音アイコン、動作音および音声の音の属性を異ならせて通知するようにして、視覚を使用せずに機器を容易に且つ確実に操作できるようにした。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、機器操作装置、プログラムおよび記録媒体並びに画像形成装置に関し、詳細には、複写機、ファクシミリ装置、プリンタ装置、スキャナ装置やそれらのＯＡ機器が提供する機能を１台に統合した複合機における種々の操作において、視覚を用いないで操作が行える機器操作装置、その機器操作装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに画像形成装置に関する。
【０００２】
【従来の技術】近年、複写機、ファクシミリ装置、プリンタ装置、スキャナ装置やそれらのＯＡ機器が提供する機能を１台に統合した複合機（以下、ＭＦＰ（Multi-FunctionPeripherals）という）等の装置は、デジタル技術の導入などによって取り扱う機能が飛躍的に多様となりテンキーや機能キーだけでは操作ができなくなったために、ディスプレイ上にタッチパネルを設け、画面には操作手順を示す文字や入力場所を示す絵等が表示され、利用者が絵に対応して予め設定された入力エリアに触れることによって入力を行うタッチパネル入力方法が広く普及している。
【０００３】
【発明が解決しようとする課題】身体障害を持った者の社会進出を促進する意味からも、身体障害を持った者が晴眼者と同じように働けるオフィス環境を整備することが望ましく、特に、米国では、リハビリテーション法５０８条が２００１年６月２１日から施行され、米国連邦政府はＩＴ機器調達において障害者が利用できる機器を購入する義務があり、州政府、関連施設、民間企業にも追従の動きが出てきている。
【０００４】上述したようなＭＦＰでは、その操作が益々複雑化する傾向にあり、ディスプレイパネルやタッチパネル等にインストラクションを表示しなければ正しく使いこなすのが困難となってきている。特に視覚障害を有する者にとっては、この傾向は決定的なバリアを生む結果となる。
【０００５】例えば、視覚障害者がＭＦＰを操作する場合、ハードキーによる操作であれば、キーの配置を覚えることで、触覚に頼る操作もある程度可能であるが、触覚によって知覚できない液晶タッチパネル上の仮想ボタンを操作することはまったく不可能である。この操作では、操作手順とタッチエリアの位置を予め覚えておかなければならないが、操作手順やタッチエリアの位置が変わってしまった場合、利用者が覚えていた操作手順、タッチエリアの位置が無効になってしまう。このため、視覚障害を有する者にとってＭＦＰを事実上使用不可能にしている。
【０００６】これを解決するために、上述のようなＭＦＰに、視覚障害者である情報を記録したＩＤカードやイヤホンを挿入することにより、視覚障害ありと判定されたとき、音声合成装置により音声ガイドを行ったり、点字出力装置を用いて点字ガイドを行ったりする装置がある。
【０００７】例えば、金融機関で用いられる現金自動支払機や現金自動預出金機などの自動取引装置に適用した場合、視覚障害者である情報を記録したＩＤカードやイヤホンをその自動取引装置へ挿入することにより、視覚障害ありと判定されたとき、点字付きのキーと、任意の点字を出力する点字出力装置と、ハンドセットから音声ガイダンスを出力する機能を備え、操作誘導をハンドセットからの音声ガイダンスにより行い、取引種別の選択や金額の入力を点字付きのキーで行い、入力の結果を点字装置により出力することで、視覚障害者であっても自身の操作で取引を行えるようにしている。
【０００８】しかしながら、晴眼者の利用者数に対して、これらの対応を必要とする障害者の利用者数が非常に少なく、その少ない利用者のためにすべての装置に障害者への対応を実施するにはコストがかかりすぎてしまう。また、点字出力装置やハンドセットなどの装置が整っていない自動取引装置や点字出力装置やハンドセットの位置や使用方法が違う自動取引装置が同時に存在すると利用者は混乱を来してしまうことになる。
【０００９】また、特開平１０−１１７２６３号公報の「複合装置」は、オフフック状態で操作者により音声ガイドモードに切り替えられた場合、音声出力される音声ガイドをスピーカからハンドセットへ切り替えて、音声ガイドは外部には漏れることがなくなり、複合装置の回りにいる人に迷惑をかけることなく、複合装置を利用することが可能になる。
【００１０】このような音声ガイドによる設定方法では、操作者がはじめての場合には分かりやすいが、その装置に習熟した後でも操作時間の短縮は見込めないという欠点がある。また、用意された操作手順以外の操作を自由に行うことができず、晴眼者と同等な機能にアクセスすることは想定されていない。このことは視覚障害者の社会参加を阻むもととなっている。
【００１１】また、特開２０００−３２２１７８号公報の「画像形成システム」では、ＩＤカードを所持する視覚障害者が画像形成装置に画像形成命令を出力する画像形成指示装置の近傍に来ると、そのＩＤカードからＩＤコードを読み取り、個人情報ファイルを参照して、そのＩＤコードを持つ人が視覚障害を持つと判断された場合、音声合成装置を利用して画像形成指示装置での操作案内を音声で案内するようにし、視覚障害者であっても各種の操作を容易にできるようにしている。
【００１２】このような画像形成システムでは、視覚障害がある人は個人情報ファイルへ登録されるが、弱視者や老眼の人のように操作パネルの表示内容を見づらい人、または、背の低い人や車椅子に乗った人のように操作パネルを見上げる形となり表示内容を見られない人は対象外となり、依然として利用しにくいことに変りはない。
【００１３】本発明は、上述した実情を考慮してなされたものであって、装置の製作コストを抑えるとともに、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる機器操作装置、その機器操作装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに画像形成装置を提供することを目的とする。また、本発明の他の目的は、装置を操作できる人が操作できない人を手助けしやすい装置を提供することにある。
【００１４】
【課題を解決するための手段】上記の問題を解決するために、本発明の請求項１の機器操作装置は、利用者が機器を操作する際、当該利用者の操作指示とその結果を音と音声によって通知するようにして、視覚を使用せずに機器を操作できるようにしたことを特徴とする。また、本発明の請求項２は、請求項１に記載の機器操作装置において、前記機器の動作が進行中および／または終了したときに、その動作結果を音と音声によって利用者へ通知するようにしたことを特徴とする。また、本発明の請求項３は、請求項１または２に記載の機器操作装置において、前記機器の操作項目に対する設定項目を階層構造の階層メニューとして配置し、その階層上の所望の設定項目へ移動し、その設定項目を選択することによってこの機器を操作するようにしたことを特徴とする。また、本発明の請求項４は、請求項３に記載の機器操作装置において、前記設定項目は機能番号を有することを特徴とする。
【００１５】また、本発明の請求項５は、請求項３または４に記載の機器操作装置において、前記機器の操作は、方向移動キーによって階層メニュー上の階層構造の設定項目を移動し、確定キーによってその設定項目の選択を確定することを特徴とする。また、本発明の請求項６は、請求項３、４または５に記載の機器操作装置において、前記機器の操作は、音声認識によって階層メニュー上の階層構造の設定項目を指定し、確定キーによってその設定項目の選択を確定することを特徴とする。また、本発明の請求項７は、請求項４、５または６に記載の機器操作装置において、前記機器の操作は、前記機能番号を音声認識によって指定することにより階層メニュー上の階層構造の設定項目を指定し、確定キーによってその設定項目の選択を確定することを特徴とする。また、本発明の請求項８は、請求項４、５、６または７に記載の機器操作装置において、前記機器の操作は、テンキーによって前記機能番号を指定することによって階層メニュー上の階層構造の設定項目を指定し、確定キーによってその設定項目の選択を確定することを特徴とする。
【００１６】また、本発明の請求項９は、請求項３乃至８のいずれか１に記載の機器操作装置において、前記操作結果として出力される音は、前記設定項目の種類に応じた音アイコンであることを特徴とする。また、本発明の請求項１０は、請求項３乃至９のいずれか１に記載の機器操作装置において、前記操作結果として出力される音は、前記階層上の移動場所によって異なる動作音またはＢＧＭを出力することを特徴とする。また、本発明の請求項１１は、請求項９または１０に記載の機器操作装置において、前記音アイコン、前記動作音または前記ＢＧＭを出力するとき、音の属性を異なるようにしたことを特徴とする。また、本発明の請求項１２は、請求項３乃至１１のいずれか１に記載の機器操作装置において、前記操作によって移動した前記階層上の設定項目の設定項目名および設定値を音声で読み上げることを特徴とする。
【００１７】また、本発明の請求項１３は、請求項１２に記載の機器操作装置において、前記設定項目名または前記機能番号を読み上げる際に、音の属性の変化を読み上げ音声に付加することを特徴とする。また、本発明の請求項１４は、請求項１３に記載の機器操作装置において、現在、設定が無効である設定項目を、選択あるいは設定可能である設定項目よりも低い音声で読み上げることを特徴とする。また、本発明の請求項１５は、請求項１３または１４に記載の機器操作装置において、現在、選択あるいは設定されている設定項目を、選択あるいは設定されていない設定項目よりも高い音声で読み上げることを特徴とする。また、本発明の請求項１６は、請求項１３、１４または１５に記載の機器操作装置において、現在、選択あるいは設定することによって新たな選択あるいは設定項目を追加提示するように設定された項目に残響音を付加した音声で読み上げることを特徴とする。
【００１８】また、本発明の請求項１７は、請求項３乃至１６のいずれか１に記載の機器操作装置において、前記設定項目を入力するまでＢＧＭを出力することを特徴とする。また、本発明の請求項１８は、請求項３乃至１７のいずれか１に記載の機器操作装置において、前記各設定項目に対して確認操作を行ったときに、その設定項目の設定内容を音声により通知するようにしたことを特徴とする。また、本発明の請求項１９は、請求項３乃至１８のいずれか１に記載の機器操作装置において、一括確認操作を行ったときに、既定値を変更した前記設定項目へ順次移動して、その設定内容の変化を音声で通知するようにしたことを特徴とする。また、本発明の請求項２０は、請求項３乃至１９のいずれか１に記載の機器操作装置において、前記階層メニュー上の現在操作中の位置以下にある階層の設定項目の設定値を既定値へ戻す操作を行った場合、その設定項目ごとに既定値へ戻してよいかを音声により問い合わせることを特徴とする。また、本発明の請求項２１は、請求項３乃至１９に記載の機器操作装置において、前記階層メニュー上の現在操作中の位置以下にある階層の設定項目の設定値を既定値へ戻す操作を行った場合、その階層以下にある設定項目をすべて既定値へ戻してよいかを音声により問い合わせることを特徴とする。また、本発明の請求項２２は、請求項２乃至２１のいずれか１に記載の機器操作装置において、視覚表示装置を備え、前記設定項目の選択が確定されたときに、その確定した設定項目の内容を音声で通知するとともに、このとき確定した内容をこの視覚表示装置にも表示するようにしたことを特徴とする機器操作装置。また、本発明の請求項２３は、請求項３乃至２２のいずれか１に記載の機器操作装置において、視覚入力装置を備え、前記視覚表示装置に表示された設定状況に対してこの視覚入力装置から入力された場合にも音および音声によって前記利用者へ通知することを特徴とする。
【００１９】また、本発明の請求項２４のプログラムは、コンピュータを、請求項１乃至２３のいずれか１つに記載の機器操作装置として機能させるためのプログラムである。また、本発明の請求項２５の記録媒体は、請求項２４に記載の機器操作プログラムを記録したコンピュータ読み取り可能な記録媒体である。また、本発明の請求項２６の画像形成装置は、請求項１乃至２３のいずれか１に記載の機器操作装置を用いて、視覚を使用せずに画像形成装置を操作することを特徴とする。
【００２０】したがって、装置の作製コストを抑えるとともに、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる。また、操作のできる人が操作のできない人を手助けしやすい装置を提供できる。
【００２１】また、階層メニュー中のどの位置の項目にいるのか、また、その位置の項目がどのような状態にあるのかを音声の属性を変えることによって、直感的かつ短時間で利用者に提示して操作の理解性と効率が向上する。
【００２２】
【発明の実施の形態】以下、図面を参照して本発明の一実施の形態を詳細に説明する。本実施の形態の説明では、本発明の機器操作装置をＭＦＰ（デジタル複合機：Multi-Function Peripherals）へ組み込んだものとして説明する。しかし、本発明の機器操作装置の組み込み対象は、ＭＦＰに限ったものではなく、多様化した機能を有する装置であれば組み込むことで同様の効果が期待できる。
【００２３】Ａ．本発明の機器操作装置を組み込んだＭＦＰ図１は、本発明の機器操作装置を組み込んだＭＦＰのブロック図である。図１において、ＭＦＰ１００は、ホストとＭＦＰを接続するためのホスト接続装置１０１、ＦＡＸ回線に接続するためのＦＡＸ回線用接続装置１０２、ＬＡＮ等のネットワークへ接続するためのネットワーク接続装置１０３、ＭＦＰの各種設定操作を行うための操作部１０４、原稿台から画像をスキャンし画像データを作成するスキャナ装置１０５、作像装置や給排紙装置を備えたプリンタエンジン１０６、ＭＦＰ全体の制御、プリンタ言語処理、ファクシミリ制御、スキャナ制御、利用者認識処理、音出力制御、画像データ編集処理およびＭＦＰ操作に対する制御等を行う制御コントローラ１０７、ファクシミリ受信した画像データ、交信記録や各機能で使用した画像データを保存する記憶装置１０８、利用者の操作結果に応じて音および音声を出力するスピーカ、ヘッドフォン等の音出力装置１０９とからなる。
【００２４】このようなＭＦＰ１００において、プリンタ機能を利用する場合には、ホスト接続装置１０１を介してホストから送信された印刷データ、または、ネットワーク接続装置１０３を介して接続されたコンピュータから送信された印刷データが制御コントローラ１０７の受信バッファに一時蓄えられ、制御コントローラ１０７でプリンタ言語処理に従い画像データに展開され、プリンタエンジン１０６に送られて印刷が実行される。このＭＦＰ１００のコピー機能を利用する場合には、制御コントローラ１０７の指示にしたがって、スキャナ装置１０５から読み取られた画像データをプリンタエンジン１０６に送って印刷が実行される。
【００２５】また、利用者がこのＭＦＰ１００を自由に取り扱える人である場合には、操作部１０４の操作パネルに表示された絵情報に従ってコピーの指示を与え、スキャナ装置１０５で読み取られた画像データを一旦記憶装置１０８へ格納しておき、制御コントローラ１０７の画像データ編集処理により、画像データの編集、複数画像の重ね合わせ等を実行したあと、その画像データをプリンタエンジン１０６によって印刷したり、ＦＡＸ回線用接続装置１０２によってＦＡＸ送信したりすることができる。利用者がこのＭＦＰ１００を自由に扱えない人である場合には、テンキー等の利用者に識別可能な入力装置とその操作状況を音として出力する音出力装置１０９とによってコピー指示を与えて、コピー機能を操作する。
【００２６】また、ＭＦＰ１００のスキャナ装置１０５で読み取られた画像データ、ＦＡＸ回線用接続装置１０２を介して得たファクシミリ画像データやネットワーク接続装置１０３を介して得た画像データをホスト接続装置１０１やネットワーク接続装置１０３を介してコンピュータへ送信し、そのコンピュータのアプリケーションで受信した画像データを再加工するようにも使うことができる。さらに、このＭＦＰ１００は、ネットワーク接続装置１０３を介してインターネットに接続した画像データサーバから画像データを取り寄せて、プリンタエンジン１０６によって印刷することもできる。
【００２７】Ｂ．操作部と操作パネル図２は、本発明の機器操作装置が搭載されたＭＦＰ１００における操作部１０４の正面図である。操作部１０４の中央には、液晶表示部（ＬＣＤ）２０１およびタッチパネルが設けられている。この液晶表示部２０１には、ＭＦＰ１００に組み込まれている機能（ＦＡＸ、コピー、プリンタ等）に対する設定項目の表示が行われ、利用者はこの表示された設定項目に値を設定することによってＭＦＰ１００の操作を行う。機能の切り替えは、機能キー２０６によって行われる。この液晶表示部２０１の右側には各機能で共通に使用する各種テンキー２０２、クリア／ストップキー２０３、スタートキー２０４等の各種キーが配置されている。また、この液晶表示部２０１の左側には、機能を切り替える機能キー２０６が設けられている。
【００２８】Ｃ．ＭＦＰによる操作概要本ＭＦＰ１００の利用者は、次の２種類に分類される。
（１）本ＭＦＰを自由に操作できない人これに分類される人は、視覚障害者、肢体不自由者、弱視者、老眼・近眼の人（以下、視覚障害者等と呼ぶ）のように操作部１０４の液晶表示部２０１の画面やタッチパネル２０１を見て操作できない人である。または、健常者であっても、音声や音での操作を選択した人もこの分類に含まれる。この分類に属する人が本ＭＦＰ１００を操作するときは、音声および音によって操作のガイダンスが行われるが、ＭＦＰのこの処理形態を「非視覚モード」と呼ぶことにする。
（２）本ＭＦＰを自由に操作できる人これに分類される人は、上記の（１）に含まれない人であって、晴眼者の健常者である。この分類に属する人が本ＭＦＰ１００を操作するときは、操作部１０４の液晶表示部２０１およびタッチパネル２０１によって操作が行われるが、ＭＦＰのこの処理形態を「視覚モード」と呼ぶことにする。
【００２９】以下、本ＭＦＰ１００の操作概要を「原稿を複写するときの操作」を用いて説明するが、本ＭＦＰ１００の利用者は、上述したいずれの利用者であっても、ＭＦＰの電源やテンキーがどの辺にあるかは分かっており、また、ＭＦＰの基本的な機能や操作方法を一通り勉強済みであることを前提とする。
【００３０】まず、ＭＦＰ１００の電源を入れた状態では、「視覚モード」で動作するように設定されているので、健常者の利用者では、そのまま操作部１０４の画面表示とタッチパネルとによって各種の指示を与え、ＭＦＰ１００を操作することができる。一旦、「非視覚モード」が設定されるとタッチパネルからの指示はロックされているが、「モード」の切り替え指示を行うことによって、随時切り替えることができる。このモード切り替えキーは、特定のキー、例えば、テンキーの「＊キー」を一定時間（３秒）以上押し続けることによって切り替えられる。
【００３１】一方、「非視覚モード」でＭＦＰを動作させたい人は、上記のモード切り替えキーを押下し、ヘッドフォンとマイクを備えたヘッドセットをＭＦＰ１００へ接続して、「視覚モード」から「非視覚モード」へ切り替えることによって、「非視覚モードに入りました」と音声で通知される。また、ヘッドセットとＭＦＰ１００との接続は、無線通信やＢｌｕｅｔｏｏｔｈを使って交信するようにしてもよい。
【００３２】次に、本ＭＦＰ１００の操作部１０４の機能キー２０６「Ｃｏｐｙ」（図２参照）を押すことによって、ヘッドフォンから「コピーの操作ができるようになりました」と音声で利用者へ知らせる。また、本ＭＦＰ１００は、ＦＡＸやコピー等の機能ごとに、あらかじめ操作可能なすべての操作項目を機能別に分類し、その分類をさらに細分化していくというように多階層を持った単一のメニューを作成しておく。例えば、「Ｃｏｐｙ」機能は、図３および図４（この機能分類は一部分を示したに過ぎない）に示すような階層に分類される。
【００３３】利用者は、操作部１０４に設置された方向移動キーあるいはこの方向移動キーの代用可能なキー（以下、まとめて方向移動キーという）を用いて、この階層メニューの階層をたどって所望の操作項目に移動し、これを選択または値を設定するという操作を繰り返して所望の設定を完了した後に、スタートキー２０４を押下することによって、原稿の複写が作成される。
【００３４】利用者が階層メニューを操作していく過程で、選択対象となった機能の説明や現在までに設定された設定項目の内容を利用者へ音声、音やＢＧＭ（Back Ground Music）によってフィードバックするので、操作部１０４の液晶表示部２０１の画面を見たり、タッチパネル２０１から入力しなくても、本ＭＦＰ１００を操作することができる。ここで音声、音やＢＧＭは、属性（音の高下、音の速度、声の種類（男性、女性、機械的音声等）、音質、調子、音色、音場感等）を用いて、設定項目の種類や設定状況および階層の深さや場所等に応じて変化させて出力する。
【００３５】また、「非視覚モード」における方向移動キーによる選択過程を操作部１０４の液晶表示部２０１の表示画面へほぼ対応付けて表示させる。ここで、ヘッドフォンをつけたまま「視覚モード」へ移行して、操作部１０４のタッチパネル２０１から入力指示を行ったとき、その操作結果をヘッドフォンへフィードバックし、もう一度「非視覚モード」のもとの位置へ切り替えることができるので、健常者が視覚障害者等を介助しやすくなる。
【００３６】Ｄ．本ＭＦＰにおける操作の詳細（１）階層メニューの構造本ＭＦＰで扱うＦＡＸ機能、コピー機能、プリンタ機能、スキャナ機能、ＮｅｔＦｉｌｅ機能等の機能ごとに、操作可能なすべての操作項目を機能別に分類し、その分類をさらに細分化していくというように多階層の木構造を持った単一のメニューを作成し、メニューデータベース（ＤＢ）へ記憶しておく。
【００３７】例えば、「変倍」、「両面」のように、より詳細な設定項目がある場合には、「変倍」や「両面」を１つの階層名とし、それらの階層の下にさらに「等倍」、「拡大」、「縮小」等選択すべき階層名を配置し、その階層名が「１１５％」、「９３％」といった最終的な設定項目になるまで細分化する。
【００３８】この階層メニュー上の設定項目の種類として、次にあげたようなものがある。
・同階層中にひとつだけ選択できる選択項目例えば、「拡大」の階層の下の「１１５％」か「１２２％」等・機能のＯＮ／ＯＦＦをトグルことができるトグル項目例えば、「フィニッシャー」の階層の下のソートするか否か等・数値を設定できる数値項目例えば、コピーする部数等の場合には、その設定項目を選択後テンキーで数値を入力・何らかの動作を始動する動作項目例えば、ＦＡＸ機能で登録されている宛先リストの作成等
【００３９】例えば、コピー機能の場合、先ず、図３および図４のように、第一階層の階層名を（部数、原稿、用紙、変倍、両面・集約・分割、フィニッシャー等）とし、それぞれ第二階層、第三階層等に細分化しておく。また、図３および図４のように、各階層の階層名および設定項目にはそれぞれ数字が対応しており、この数字を指定することによって、各階層をたどらなくても直接その設定項目を選択することができる。以下、この数字のことを「機能番号」という。
【００４０】図５を用いて、原稿の画像が薄いためにコピー結果が濃くなるように操作するときの例を説明する。操作開始のときは、現在の階層名「部数」が利用者に音声にて知らされるので、右方向移動キーにより階層名「原稿」へ進む。このとき音声で「原稿」の位置にいることが知らされる。次に、この「原稿」の細分類である「濃度」を選択するために、下方移動キーを用いて、階層メニューを１つ下の階層へ降りる。このとき音声で「種類」の位置にいることが知らされる。
【００４１】さらに、「原稿」の細分類の１つである階層名「濃度」へ進むために、右方向移動キーを押す。このとき音声で「濃度」の位置にいることが知らされる。同様に、この「濃度」の細分類である「濃く」を選択するために、下方移動キーを用いて、階層メニューを１つ下の階層へ降りる。このとき音声で「自動」の位置にいることが知らされる。さらに、「濃度」の細分類の１つである階層名「濃く」へ進むために右方向移動キー押す。このとき音声で「濃度」の位置にいることが知らされる。これにより、利用者の要求する「原稿を濃くコピーする」設定が達成できた。
【００４２】（２）階層メニューの操作次に、上述したような階層メニューの操作方法について説明する。上述した階層メニュー上に配置された階層名や設定項目を移動・選択操作するには、方向移動キーあるいはそれに代用可能なキーを用いるが、以下の説明ではテンキー２０２を代用して用いることにする。図６は、キーごとに割り当てられた機能を示している。
【００４３】即ち、階層の上下方向への移動をテンキー中の垂直方向に配置されたキーの押下によって行い、同階層の隣接項目をテンキー中の水平方向に配置されたキーにより行う。図６では、「上方移動（「２」）」キーを押下することによって階層を上にたどり、「下方移動（「８」）」キーを押下することによって階層を下にたどる。また、「左方移動（「４」）」キーを押下することによって同階層を左にたどり、「右方移動（「６」）」キーを押下することによって同階層を右にたどる。尚、上記した方向移動キーを逆に割り当てるようにしてもかまわない。
【００４４】利用者が階層メニューの下層へ移動するように指示したときに、下層の設定項目が複数ある場合、下に列挙したうちのいずれか予め定めた方法によって、次の設定項目へ移動する。
【００４５】・下層の最初の項目に移動する。どれが既定値というわけでもない場合、例えば、原稿の種類を選択するときに使用する。
・下層の既に選択されている項目に移動する。例えば、その下層の設定項目に、既に設定がなされた項目があれば、その項目以降の設定の続きかまたはその項目の内容を修正するために、その既に設定がなされた項目へ移動する。
・下層の既定値を持つ項目に移動する。例えば、濃度設定の場合には、「薄い、普通、濃い」の選択項目があるが、一般に、既定値として「普通」を設定しているので、その既定値「普通」の設定項目へ移動する。
【００４６】また、利用者が水平方向の移動キーを操作して、同階層を移動する時には、その階層の端へ達した場合には、その階層の反対の端へ移動し、循環的な移動を行う。常に一定方向へ移動することによって、利用者の選択したい項目を見つけることができる。この場合、利用者は、この階層の項目数がどの程度の数なのかを把握することができず、メニュー上で迷子になってしまう可能性が高い。または、この循環移動を行わず、端にきたときそれ以上は移動しないようにしてもよい。この場合には、所望の項目を行き過ぎてしまった場合、反対方向に移動キーを押さなくてはならないが、その階層にある項目がどの程度の数であるかを把握することはできる。
【００４７】さらに、図６では、利用者が設定の途中でどの階層にいるか分からなくなった場合や、最初から選択し直したい場合には、例えば、「トップへ戻る（「１」）」キーを押下することによって、どの階層からでもトップの階層（図３の例では、第一階層の「部数」）へ戻れる。この場合、それまでに選択または設定された設定項目は、本ＭＦＰ１００に記憶しておき、移動キーや確認キーによって、それまでに設定・選択された項目へ移動することができる。
【００４８】また、図６において、「直接ジャンプ（「０」）」キーを押下することによって、利用者が設定したい階層や項目へ直接移動することができる。例えば、「直接ジャンプ」キーを押下し、さらにテンキーから機能番号を入力することで、その機能番号に対応した階層名または項目へ移動することができる。例えば、「直接ジャンプ」キーの押下に続いて、「４３５」をテンキーによって数値入力すると、本ＭＦＰ１００は、「変倍」→「縮小」→「７１％」の順で項目が選択されたものと判断する（図３、図４参照）。
【００４９】また、上記のような「直接ジャンプ」キーによって直接設定したい項目の機能番号を入力するのではなく、「音声認識（「３」）」キーを押下して、利用者が「機能番号」、「階層名」や「設定項目名」を発声し、それを本ＭＦＰ１００が認識し、その認識された項目へ直接移動することもできる。
【００５０】また、図６において、「部分クリア（「７」）」キーを押すことによって、階層メニュー上で現在いる階層から下層にある設定項目のうち、既定値を変更した設定項目の値を既定値へ戻すことができる。設定値へ戻す際、設定項目ごとに問い合わせて、戻してよいものだけを既定値へ戻すようにしてもよいし、または、既定値を変更した設定項目すべてについて戻してよいかを問い合わせるようにしてもよい。例えば、現在、階層メニューの「フィニッシャー」階層にいる場合は、その階層以下の「ソート／スタック」、「ステープル」、「パンチ」の設定項目で既定値を変更した場合には、その設定値をクリアして既定値へ戻すようにする。
【００５１】また、図６において、「現在位置の説明（「９」）」キーを押下することにより、現在、階層メニュー上のどの階層名または設定項目にいるのかを音声によりフィードバックする。フィードバック情報としては、例えば、階層名または設定項目名、機能番号および設定された値（部数）等がある。例えば、用紙をＡ４横に設定確定した後、「現在位置の説明」キーを押下すると、「用紙はＡ４横に設定されています」と音声でフィードバックされる。
【００５２】また、図２において、「設定確認」キー２０５を押下することにより、利用者が既定値から変更した設定項目へ順次移動することができ、また、その設定値を変更することもできる。
【００５３】さらに、図６において、上述した各キーによって階層メニューを操作し、所望の設定項目の設定（選択または数値入力の終了）が終了したとき、その設定項目を確定するために「確定（「＃」）」キーを押下する。これにより本ＭＦＰ１００は、確定された設定項目の内容を操作部１０４の液晶表示部２０１の画面へ表示する。
【００５４】また、図６において、「モード切り替え（「＊」）」キーを押下すると、現在のモードを切り替える。現在のモードが「非視覚モード」であれば、「視覚モード」へ切り替える。但し、ヘッドセットが接続されたままであれば、音声や音等はそのヘッドセットのヘッドフォンへ出力される。従って、完全に「視覚モード」へ戻すためには、ヘッドセットも接続を切り離す必要がある。現在のモードが「視覚モード」であれば、上述のヘッドセットをＭＦＰ１００へ接続することにより「非視覚モード」へ切り替えることができる。
【００５５】また、本ＭＦＰ１００に非接触型のＩＣカードを認識できるようにして、上述の操作によって設定された内容をそのＩＣカードに操作名を付けて記憶させておくことにより、次回からそのＩＣカードから操作名を指定して操作内容を読み取ることにより、同じ操作を一々設定しなおさなくてもよいように構成することができる。
【００５６】（３）操作結果の動作音、音アイコンおよびＢＧＭによる利用者へのフィードバック上述したようにテンキーを用いて階層メニュー上に配置された階層名および設定項目を移動・選択操作を行う際に、次に示すような動作の結果の確認を動作音、音アイコンおよびＢＧＭ（background music）で利用者のヘッドフォンへ出力することによって通知する。ここで音アイコンは、対象物の性質を示す静的な情報であって、階層名や設定項目のタイプを弁別する目的で音色の異なる動きのない音（短い単音）のことを言う。
【００５７】また、動作音は、同一音色の異なる音（和音やごく短い旋律）を用いて動作結果のイメージをわかせ、動作と音楽理論上の音の意味付けを対応させる。例えば、階層上の上昇や下降にはそれぞれ上昇音形、下降音形を、行き止まり（移動の失敗）には不安感を感じさせる増４度の不協和音を、選択・確定には解決を意味するドミナントモーションを使う。
【００５８】例えば、階層の上下への移動を通知する動作音をそれぞれ用意し、利用者の上下の階層へ移動する際にその動作音を出力することによって、階層を上下したことを知らせる。この動作音は、上記の音アイコンとは異なるものとする。また、このときのＢＧＭも、例えば、上層階層ではゆっくりした調子のＢＧＭとし、下層に行くにしたがって早い調子のＢＧＭとするようにすれば今どの辺の階層にいるのかを認識できる。このとき、移動先の下層に設定項目があるか否かを動作音で出力することによって、移動できないことを利用者へ知らせることができる。また、移動先の下層にいくつの設定項目を持つかを動作音で利用者へ知らせることができる。
【００５９】また、同階層の循環的移動が設定されていない場合には、水平方向へ移動を指示したとき、それ以上移動する項目がないときには、「行き止まり」の動作音で利用者へ知らせる。さらに、階層の上下方向の「行き止まり」に対しても動作音で利用者へ知らせる。また、トップへ移動、水平方向へ移動、直接移動や音声認識等のキーを押下したときに、その選択動作を確認する動作音を出力することによって、利用者は確実に操作が受け付けられていることを認識できる。
【００６０】また、コピーの部数を入力するような数値入力の場合にも、その数値入力が終了するまでＢＧＭを流すことによって、数値入力を行っていることを確認できる。
【００６１】また、ＭＦＰの動作中の状態、例えば、「用紙切れ」、「トナー不足」、「紙詰まり」、「フロントカバーが開いています」等を音声によって利用者へ通知する。このような状態がすぐ解消できないような場合には、その音声が途切れてしまえばその状態はつかめなくなる。例えば、コピー動作を行っている間、本装置から利用者が離れていたときに「紙詰まりになった」場合には、この音声だけでは利用者にはわからない。しかし、音声の後にＢＧＭを流しておけば、このような状態でも利用者に認識できる。
【００６２】また、利用者が４０部のコピーを指定したときに、今どのくらいのコピーが終了しているかを認識できるように、ＢＧＭを流しておき、利用者はそのＢＧＭのどの辺を聞いたかによって、どのくらいまでコピーが進んだかを知ることができる。
【００６３】このように利用者へ動作イメージをわかせるような動作音やＢＧＭ、階層名や設定項目のタイプを示す音アイコンで通知することにより、利用者が今どのような状態にあるかを認識でき、確実に入力したか、または、操作が完了したかどうかの不安を低減することができる。
【００６４】（４）操作結果の音声による利用者へのフィードバック上述したようにテンキーを用いて階層メニュー上に配置された階層名や設定項目を移動・選択操作を行う際に、音声によってもヘッドフォンから出力することにより、利用者へ動作結果の確認を行うことにより、その入力および操作結果が確実になされたかを利用者が認識することができ、不安を低減することができる。このときの音声は、状況に応じて音声の属性（音の高さ、声種、音質、調子、音色、話速、音場感）を変化させてフィードバックすることにより、利用者が置かれた状況を直感的に把握させることができる。
【００６５】まず、移動操作によって階層メニューをたどって、階層名や設定項目へ達したときに、その階層名や設定項目を所定の内容の音声フィードバックを行う。例えば、「拡大」や「１１４％」等の設定項目へ移動したときには、その項目名を読み上げる。これにより、利用者がどの設定項目に移動したかを認識できる。
【００６６】この項目名を読み上げる際、既に選択されている項目をまだ選択されていない項目よりも高い声で読み上げる。これによって利用者に対して活性度の高いイメージを与え、その項目が現在選択されていることを、言語表現によるよりも素早く直感的に伝えることができる。
【００６７】例えば、図３および図４の階層メニューにおいて、「変倍」の下階層の「等倍」や「拡大」はそれらのうちのどれかひとつが選択されるべきものであるが、現在どれが選択されているかを利用者が知ることができれば「等倍」が選ばれているのにさらに「等倍」を選択するという無駄が省ける。また、例えば「原稿サイズ混載」等のような選択によってＯＮ／ＯＦＦを切り替える項目では、現在選択されているか（即ちＯＮであるか）、選択されていないか（即ちＯＦＦであるか）を知らなければ自分の所望の状態にセットすることができない。
【００６８】また、項目名を読み上げる際、無効な項目は有効な項目よりも低い音声によって読み上げる。これによって利用者に対して活性度の低いイメージを与え、その項目が現在無効であることを、言語表現によるよりも素早く直感的に伝えることができる。ある項目を選択したことにより他の項目に影響を与え、その結果として他の項目を選択できないという状況になることがある。
【００６９】例えば、「用紙」に「自動」や「トレイ１」等が選ばれている時、「手差し用紙の紙種類」を選択することは有効ではない。このとき、選択できないのにその項目へ移動や選択ができるようにしておくと、利用者に選択できるという誤解を与えて混乱を招きかねない。しかし、その項目を一時的に階層メニューから削除したり、移動させないようにすると、階層メニューの構造が動的に変化することになり、聴覚的にのみメニュー構造を把握している利用者には何故メニュー構造が変ったかが分かりにくく混乱を招くことになる。
【００７０】以上のような読み上げの際、音声の音高の上下は通常の高さと識別可能な変化量が必要であって、かつ発声内容を明瞭に聞き取れる範囲に抑える必要がある。例えば、通常の自然発話における音域と音声合成で明瞭性を確保できる音域を考慮し、半オクターブ程度の変化量を与えるようにする。
【００７１】また、項目名を読み上げる際、下の階層の項目をもつ項目名には残響を付加して出力する。これによって利用者に対して余韻のあるイメージを与え、その項目の後にさらに細分類された項目群があることを、言語表現によるよりも素早く直感的に伝えることができる。例えば、階層メニュー上の項目には、「等倍」のようにそれ以下の階層を持たないものと、「拡大」のようにさらに下の階層の細分類項目を持つものがある。この違いを実際に下の階層へ移動せずにわかることは、利用者による階層メニューの移動作業を見通しよくすることになる。
【００７２】この残響付加は、例えば、合成音声の出力を遅延器および減衰器に通した後、その合成音声に加算することで実現できる。この場合、制御パラメータは遅延器の遅延時間と減衰器の減衰量となるが、通常の音声との識別性を向上すること、および音声の明瞭性を確保することを考慮し実験的に決定する。
【００７３】また、「部分クリア（「７」）」キーが押されたときには、階層メニュー上の現在位置から下層にある設定項目に対してなされた設定変更を読み上げて既定値へ戻してよいかを音声で問い合わせる。このとき、いちいち設定された設定値を既定値へ戻すかどうかを問い合わせるのではなく、すべての下層にある設定項目について既定値へ戻してよいかを問い合わせ、ＯＫであれば一度に既定値へ戻すようにしてもよい。
【００７４】現在、階層メニュー上のどの設定項目にいるのかを、「現在位置の説明（「９」）」キーを押下することにより、その設定項目に対する設定項目名や設定値等の情報提供を所定の内容の音声によりフィードバックする。例えば、「用紙」を「Ａ４横」に設定確定した後、「現在位置の説明」キーを押下すると、「用紙はＡ４横に設定されています」と音声フィードバックされる。
【００７５】設定項目の選択が終了し、「確定（「＃」）」キーにて確定操作が行われたときに、その確定された内容を所定の内容の音声によりフィードバックを行う。例えば、「拡大」で「２００％」を選択・確定したときは、「変倍は拡大２００％に設定されました」という内容の音声によるフィードバックがある。
【００７６】また、設定確認キーが押下されたとき、現在の階層メニュー上の設定項目（中間階層を含めて）より下にあり、利用者が既定値から設定を変更した設定項目をまとめて音声で読み上げる。このとき、一度にすべての設定項目を音声フィードバックするのではなく、１つの設定項目につき音声フィードバックし、その設定項目に誤りがあれば修正し、移動キーを操作させて次の変更されている設定項目に移動し、最後は確定キーを押下して最終確定とするようにしてもよい。また、今までに既定値から変更した設定項目をすべて知りたいときには、一旦「トップへ戻る（「１」）」キーで階層メニューのトップへ移動してから、この設定確認キーを押すことにより一括して確認することができる。
【００７７】各設定項目に設定が完了し、スタートキーを押下することによって、ＭＦＰの動作が終了したときに、その成否を知らせる所定の内容の音声フィードバックを行う。例えば、「１２２％の変倍でコピーが終了しました」、「紙詰まりでコピーができませんでした」等の結果を音声にてフィードバックする。
【００７８】また、操作中や動作中にＭＦＰの状態を上述した設定項目の操作時の音声とは異なる話者の音声によって、動作音の後に続けて、例えば、「用紙がなくなりました」、「トナーが残り少なくなりました」、「紙詰まりが発生しました」、「フロントカバーが開いています」等と利用者へ通知する。
【００７９】上述した音声フィードバックによる音声の属性（音の高さ、声種、音質、調子、音色、話速、音場感）を変化させるつまみを用意することによって、利用者に聞き取りやすい音声出力とすることができる。また、音声フィードバックの終了を待たずに、次のキー操作がなされた場合には話速を自動的に早くすることによって、利用者のイライラ感をへらすことができる。
【００８０】このような階層メニュー構成および音アイコン、動作音、ＢＧＭや音声による案内を行うことによって、利用者がＭＦＰをはじめて扱うときに５分程度の練習でほぼその操作に慣れるようになる。
【００８１】上述した利用者による操作結果をＭＦＰ１００の液晶表示部２０１の画面にほぼ同期して表示させ、さらに、その表示に基づきタッチパネル２０１からも入力できるようにして、健常者が視覚障害者を介助することも、また弱視者や老眼の人が画面をみて操作することもできる。例えば、利用者が途中で操作が分からなくなったときに、健常者の介助によりタッチパネルで設定項目を選択することができ、その設定が音アイコン、動作音や音声でヘッドフォンへ出力されるので、視覚障害者等の利用者も何を設定したのかを知ることができる。
【００８２】（５）操作の例次に、上述したＭＦＰを使って「部数を２部」に設定し、動作完了するまでの操作例を説明する。先ず、階層メニューを操作して「部数」のところへ移動すると、ヘッドフォンから「（ピロン）部数」という音アイコンに続いて音声で設定項目名「部数」を読み上げる。このとき「部数」の下の階層がないため、残響音は付加されない。ここで利用者が「確定（「＃」）」キーを押下すると、ヘッドフォンから「（キャラン）テンキーで部数を入力して確定キーを押してください」という音アイコンに続いて部数の入力音声案内がなされ、部数の数値入力の間ＢＧＭが流れる。利用者はテンキーを使って、「２」を押すと、ヘッドフォンから入力した数字を読み、利用者が「確定（「＃」）キーを押すと、ヘッドフォンから「（キャラン）部数は２部に設定されました」の音声が聞こえてくる。ここで「（ピロン）」「（キャラン）」の音は、動作音を示している。この後、利用者はスタートキーを押すと、ヘッドフォンからコピーをしている間、ＢＧＭが流れ、終了すると「コピーが２部終了しました」と音声案内がある。
【００８３】Ｅ．ＭＦＰにおける機能構成図７は、本発明の機器操作装置を組み込んだＭＦＰの機能構成図である。図７のＭＦＰは、利用者から指示により実行制御を行う制御部３００とこの制御部３００からの指示で音声認識や音声合成の処理を行う支援部４００とから構成される。
【００８４】この制御部３００は、機能制御部３１０、操作制御部３２０、操作入力部３３０、視覚入力部３４０、視覚表示部３５０、メニュー制御部３６０、メニューデータベース（ＤＢ）３６５、音声入力部３７０、音出力部３８０、機能実行部３９０とから構成される。
【００８５】機能制御部３１０は、視覚モードまたは非視覚モードのいずれを使用するかを決定し、利用者がコピー機能やファクシミリ機能等のいずれの機能を使うかを指示させ、それに対する操作のための初期設定と全体の制御を行う。また、機能制御部３１０は、通常は視覚モードであり、モード切り替えキーを押下して、利用者がヘッドフォンとマイクを備えたヘッドセットを挿入した場合、非視覚モードの制御を行う。
【００８６】操作制御部３２０は、利用者からの各種の入力操作やその処理結果を表示する等の操作に対する制御を行う。操作入力部３３０は、数字等をテンキーから入力する。また、操作入力部３３０は、非視覚モードの時には、階層メニューの階層構造を移動させる方向移動キー、設定項目の選択・確定等を行う各種キーや数字を入力するテンキー等から各種の操作指示を入力する。非視覚モードの場合、その入力されたテンキーの種別によって、次のような入力機能番号の情報と入力したテンキーの種別をメニュー制御部３６０へ引き渡す。
【００８７】（１）方向移動キーの場合現在の階層メニュー位置の階層名または設定項目に対応する機能番号に対して次のような操作を行うことによって入力機能番号を設定する。これは機能番号の構成が階層を１つ下がるごとに１０倍となっており、同階層では１増加させるようになっているためである。
・上方移動（「２」）キー入力機能番号＝現在の機能番号／１０・下方移動（「８」）キー入力機能番号＝現在の機能番号×１０＋１・左方移動（「４」）キー入力機能番号＝現在の機能番号−１・右方移動（「６」）キー入力機能番号＝現在の機能番号＋１
【００８８】例えば、初期状態(現在の機能番号＝１)から、右方移動キーを押下すると、入力機能番号＝１＋１＝２である。ここで、下方移動キーを押下すると、入力機能番号＝２×１０＋１＝２１である。次に、ここで上方移動キー、下方移動キー、右方移動キーのいずれかのキーを押下した場合には、入力機能番号はそれぞれ２、２１１、２２となる。
【００８９】（２）直接ジャンプの場合「直接ジャンプ（「０」）」キーを入力して、数値入力可能な状態にし、利用者が設定項目に対応した機能番号をテンキーから入力し、最後に「確定（＃）」キーを押下する。これによって、今テンキーから入力した数値を入力機能番号に設定する。例えば、「文字・写真」に移動したい場合には，「2→1→2→＃」と押下すると、入力機能番号＝２１２と設定される。
【００９０】（３）音声認識の場合「音声認識（「３」）」キーを入力すると、音声入力部３７０を起動する。して、マイクロフォン等から項目名を表すことばまたは機能番号を発声する。音声入力部３７０では、音声認識部４１０を使って発声された音声を認識させ、認識結果を機能番号へ変換して操作入力部３３０へ戻す。これによって、入力された機能番号を入力機能番号に設定する。例えば、「もじしゃしん」と発声したときは、正しく認識されれば、入力機能番号＝２１２と設定される。
【００９１】また、操作入力部３３０は、利用者が階層メニューの下層へ移動を指示したときに、下層の設定項目が複数ある場合、下に列挙したうちのいずれか予め定めた方法で次の設定項目へ移動するようにしてもよい。
・下層の最初の項目に移動する。
・下層の現在選択されている項目に移動する。
・下層の既定項目に移動する。
また、操作入力部３３０は、利用者が水平方向の移動キーを操作して、同階層の設定項目を移動させるときには、その端の設定項目の次は反対の端の設定項目に移動したり、または、この循環移動を行わず、端にきたときそれ以上移動する項目がないので、それ以上は移動しないようにしてもよい。
【００９２】視覚入力部３４０は、画面上に設置されたタッチパネルを用いて、一般には視覚モードでは画面に表示された各種の設定項目を選択するための入力を行う。非視覚モードから一時的に視覚モードへ切り替えて、設定項目を選択することができる。視覚表示部３５０は、視覚モードでは、各種の機能を画面に表示する。非視覚モードでは、利用者が階層メニューから選択し、確定した設定項目を画面へ表示する。
【００９３】メニュー制御部３６０は、階層メニューを保持するメニューデータベース（ＤＢ）３６５を管理している。操作入力部３３０から渡された入力キーの種別がメニュー上の移動を伴う場合には、入力機能番号がメニューＤＢ３６５に存在するかどうかを検索し、存在すれば現在の機能番号を入力機能番号に置き換え、この置き換えられた機能番号に対応した設定項目が示す位置に移動し、その処理が行われる。また、移動を伴わないときには、そのキーに対する処理を行う。
【００９４】例えば、初期状態(機能番号＝１)で上方移動キーを押下すると、入力機能番号＝１／１０＝０となるので、メニューＤＢ３６５には登録されていない。この場合には、移動は起こらない。同様に、右方移動キーを押下すると入力機能番号＝１＋１＝２となり、メニューＤＢ３６５に登録されているので、該当する項目(「原稿」)に移動する。また、機能番号＝２１のとき左方移動キーを押下すると、入力機能番号＝２１−１＝２０であり、該当する機能番号がメニューＤＢ３６５に登録されていないので移動は起こらない。直接ジャンプや音声認識によって、機能番号が入力された場合にも、メニューＤＢ３６５にその入力機能番号が存在しなければ（例えば、「2→1→6→＃」）、移動は起こらない。
【００９５】音声入力部３７０は、操作入力部３３０から起動され、利用者が発声した設定項目名や機能番号を入力し、音声認識部４１０を介して入力された音声を音声認識する。図８のような設定項目名と機能番号の対応表をメモリへ記憶させておき、音声認識して設定項目名が入力された場合には、この対応表を検索して設定項目名を機能番号へ変換する。音声入力部３７０は、この認識された機能番号を操作入力部３３０へ引き渡す。これにより、利用者が階層メニューの所望する設定項目へ直接移動することができる。
【００９６】音出力部３８０は、非視覚モードにおいて、メニュー制御部３６０や操作制御部３２０の指示で、テンキーによる各種の操作および機能実行の成否を表す動作音、音声ガイダンス、ＢＧＭ等を出力する。音声ガイダンスは、音声合成部４２０によって生成された音声を出力する。機能実行部３９０は、操作制御部３２０から渡される各種の設定項目に対する設定値を機能（例えば、コピー機能やファクシミリ機能等）に応じて定められたＭＦＰ１００のメモリへ記憶させる。また、操作制御部３２０からの指示でＭＦＰ１００のメモリに記憶された設定値によって、機能を実行させる。
【００９７】また、この支援部４００は、音声認識部４１０、音声合成部４２０、音高変更部４３０、残響付加部４４０とから構成される。音声認識部４１０は、音声入力部３７０によって呼び出され、現在利用者が操作している機能（コピー機能やファクシミリ機能）に対する音声認識用辞書（例えば、コピー用の辞書）を用いて、利用者が発声した音声（階層メニューの設定項目名、機能番号、操作指令等）を音声認識した結果を音声入力部３７０へ戻す。
【００９８】音声合成部４２０は、音出力部３８０から呼び出され、利用者へ音声フィードバックするときに、音声合成用辞書を用いて、テキストから合成した音声をメニュー制御部３６０からの指示によって音高変更部４３０や残響付加部４４０で変形された音声を音出力部３８０へ戻す。ここで音出力部３８０によって音声フィードバックするときに、音声合成部４２０でテキストから音声合成するのではなく、録音された音声を使うようにしてもよい。
【００９９】音高変更部４３０は、音声合成部４２０から送られる音声に対して、メニュー制御部３６０に指示された設定項目が無効であれば音高を低くする、すなわち基本周波数を高くした音声で出力し、その設定項目が選択されていれば音高を高くする、すなわち基本周波数を低くした音声で出力する。音高の上下は、通常の高さと識別可能な変化量が必要であって、かつ発声内容を明瞭に聞き取れる範囲に抑える必要があるので、通常の自然発話における音域と音声合成で明瞭性を確保できる音域を考慮し、半オクターブ程度の変化量を与える。
【０１００】残響付加部４４０は、音声合成部４２０または音高変更部４３０からの音声に対してメニュー制御部３６０から指示された設定項目が下層に設定項目を持てば残響を付加する。残響付加は、例えば、音声を遅延器および減衰器に通した後に、入力に加算することで実現できる。この場合制御パラメータは遅延器の遅延時間と減衰器の減衰量となるが、通常の音声との識別性を向上することと音声の明瞭性を確保することを考慮し実験的に決定する。
【０１０１】なお、上述の構成では、音場感制御を音声属性のうち音高制御と残響付加によって行っているが、設定項目を読み上げる際は、話速、声種、音質などを変化させることで音場感を与えるように構成してもよい。話速制御は、録音合成では波形の伸縮、規則合成では音韻継続時間長の伸縮によって実現できる。また、声種の変更は、録音合成では録音元話者の変更、規則合成では素片波形の変更によって実現できる。また、音質の制御は、音声合成部の出力後にフィルターを挿入し、このカットオフ周波数を制御することによって実現できる。
【０１０２】Ｆ．ＭＦＰの動作このように構成された本ＭＦＰにおける動作を、コピー機能の操作を例にして説明する。図９は、コピー機能の操作に対する動作を示すフローチャートである。まず、モード切り替えキーが押下された場合（ステップＳ１のＹＥＳ）、現在の設定モードを切り替え（ステップＳ２）、次の操作指示を処理するためにステップＳ１へ戻る。「視覚モード」から「非視覚モード」へ切り替える場合、モード切り替えキーを押下し、ヘッドフォンとマイクを備えたヘッドセットをＭＦＰへ接続しなければならない。また、「非視覚モード」へ切り替わるとタッチパネルからの入力はロックされ、ヘッドフォンから「非視覚モードに入りました」という音声の通知がなされる。一方、現在の設定モードが「非視覚モード」であれば、「視覚モード」へ切り替える。ヘッドセットが接続されたままであれば、この「視覚モード」は、一時的なものであって、タッチパネルから操作された入力はヘッドフォンへ出力される。ヘッドセットをＭＦＰから切り離して、はじめて「視覚モード」へ切り替わる。
【０１０３】現在のモードが「視覚モード」の場合（ステップＳ３のＹＥＳ）、タッチパネル２０１を使って視覚入力部３４０によりＭＦＰの操作を行い（ステップＳ４）、次の操作指示を処理するためにステップＳ１へ戻る。
【０１０４】現在のモードが「非視覚モード」の場合は以下の処理を行う。機能キー（ＦＡＸ、コピー、プリンタ、スキャナ、ネットファイル等）２０６が押下された場合（ステップＳ５のＹＥＳ）、その押された機能に対応した階層メニューをメニューＤＢ３６５から取り出して初期設定し（ステップＳ６）、次の操作指示を処理するためにステップＳ１へ戻る。ここでは、機能キー「Ｃｏｐｙ」（図２参照）を選択したものとすると、ヘッドフォンから「コピーの操作ができるようになりました」と音声で利用者へ知らせる。
【０１０５】次に、方向移動キー（上下左右）が押下された場合（ステップＳ７のＹＥＳ）、階層の上下移動や同階層の隣接項目への移動し（ステップＳ８）、次の操作指示を処理するためにステップＳ１へ戻る。操作入力部３３０は、この入力されたキーの種別と入力された機能番号とをメニュー制御部３６０へ渡すことにより、階層メニューのどこにいるかを管理する。
【０１０６】移動するときには、メニュー制御部３６０は、音出力部３８０を呼び出して、動作音とＢＧＭを流し、さらに設定項目名も音声出力し、利用者へ確実に操作されていることを通知する。このときの音声は、項目名を音声合成部４２０によって合成した音声であり、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして読み上げる。さらに、その設定項目が下層に設定項目を持てば残響を付加して読み上げる。
【０１０７】また、メニュー制御部３６０は、階層メニューの端にきて、それ以上は移動できない場合には、音出力部３８０を呼び出して、「行き止まり」の動作音を出力し、利用者へ知らせる。階層メニュー上で上下方向に行き止まりになったときにも、「行き止まり」の動作音を出力し、利用者へ知らせる。
【０１０８】また、メニュー制御部３６０は、音出力部３８０を呼び出して、動作音、音アイコン、移動キーによって移動した先の設定項目名を音声で出力させ、この項目に対応するＢＧＭも出力させる。このときの音声は、項目名を音声合成部４２０によって合成した音声であり、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして読み上げる。さらに、その設定項目が下層に設定項目を持てば残響を付加して読み上げる。
【０１０９】次に、「トップへ戻る（「１」）」キーを押下した場合（ステップＳ９のＹＥＳ）、最上位階層の１番目のメニューにある設定項目に移動し（ステップＳ１０）、次の操作指示を処理するためにステップＳ１へ戻る。メニュー制御部３６０は、最上位階層の１番目のメニューにある設定項目になるように現在位置を管理する。この移動に際して、メニュー制御部３６０は、音出力部３８０を呼び出し、音アイコンとその移動先の設定項目名の音声を出力し、正しく動作したことを利用者へ通知する。このときの音声は、項目名を音声合成部４２０によって合成した音声であり、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして読み上げる。さらに、その設定項目が下層に設定項目を持てば残響を付加して読み上げる。
【０１１０】次に、「直接ジャンプ（「０」）」キーを押下した場合（ステップＳ１１のＹＥＳ）、続いて入力される機能番号に対応した設定項目に移動し（ステップＳ１２）、次の操作指示を処理するためにステップＳ１へ戻る。操作入力部３３０は、「直接ジャンプ（「０」）」キーが押下されると、音出力部３８０を呼び出し、動作音と「機能番号を入力してください」という音声とＢＧＭとを出力する。このＢＧＭが流れている間に、利用者はテンキーから数字を入力する。その入力された数字は音出力部３８０を介して読み上げられる。最後に、利用者が確定キー（「＃」）を押下すると、操作入力部３３０は、ＢＧＭを流すのを中止させ、メニュー制御部３６０によって、動作音と今入力した機能番号の設定項目の名前を音声で出力し、その設定項目を現在位置として管理する。
【０１１１】この指定した機能番号に対応する項目が階層名であるときには、階層名を音声合成部４２０によって合成した音声であり、この階層名が下層に設定項目を持てば残響を付加する。また、指定した機能番号が設定項目であれば、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして、設定項目を読み上げる。例えば、キー「０」の押下に続いて、「４３５」をテンキーによって入力すると高音で「変倍は縮小７１％に設定されました」という音声フィードバックがなされる。メニュー制御部３６０は、機能番号が最下層の設定項目を指定した場合には、その設定項目に対応する値をメニューＤＢ上の設定項目の設定値として保持し、操作制御部３２０は、機能実行部３９０を介して今指定された設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３５０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１１２】次に、「音声認識（「３」）」キーを押下した場合（ステップＳ１３のＹＥＳ）、続いて入力される音声を音声認識しその認識結果に対応した設定項目に移動し（ステップＳ１４）、次の操作指示を処理するためにステップＳ１へ戻る。操作入力部３３０は、「音声認識（「３」）」キーが押下されると、音出力部３８０を呼び出し、動作音とともに「設定項目名または機能番号を発声してください」と音声出力する。続いて、操作入力部３３０は、音声入力部３７０を呼び出し、利用者が発声した「設定項目名」や「機能番号」を音声認識部４１０で認識した認識結果をメニュー制御部３６０へ渡して、発声した設定項目を現在位置として管理する。このとき、メニュー制御部３６０は、音出力部３８０を呼び出し、音アイコンと入力した設定項目名とを音声出力し、利用者に音声入力が正しく認識されたことを通知する。
【０１１３】この指定した項目名や機能番号が階層名であるときには、階層名を音声合成部４２０によって合成した音声であり、この階層名が下層に設定項目を持てば残響を付加する。また、指定した機能番号が設定項目であれば、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして設定項目を読み上げる。メニュー制御部３６０は、音声で指定された項目名または機能番号が最下層の設定項目を指定した場合には、その設定項目に対応する値をメニューＤＢ３６５上の設定項目の設定値として保持し、操作制御部３２０は、機能実行部３９０を介して今指定された設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３５０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１１４】次に、部分クリアキー（「７」）を押下した場合（ステップＳ１５のＹＥＳ）、階層メニュー上の現在位置以下の階層にある設定項目の設定値を既定値へ戻し（ステップＳ１６）、次の操作指示を処理するためにステップＳ１へ戻る。メニュー制御部３６０は、部分クリアキー（「７」）が押下された場合、音出力部３８０を呼び出し、動作音とその指令内容（「階層メニュー上の現在位置とそれ以下の階層にある設定項目をクリアします」というメッセージ）を音声で利用者へ通知する。
【０１１５】続いて、メニュー制御部３６０は、階層メニュー上の現在位置以下の階層にある設定項目を探し、その設定項目が既定値から変更されている場合、その設定項目の設定値を読み上げて既定値へ戻すかどうかを利用者へ問い合わせる。利用者が変更してもよいと指示（例えば、確定キーによる）した場合、その設定項目の設定値を既定値へ戻す。この後、音アイコンと動作完了の音声メッセージを出力して、利用者へ部分クリアが完了したことを通知する。または、上記のように一つ一つ問い合わせることはせず、一括して既定値から変更された設定値を既定値へ戻してよいかを音声にて問い合わせるようにしてもよい。
【０１１６】さらに、メニュー制御部３６０は、既定値へ戻された設定項目とその既定値をメニューＤＢ３６５上の設定項目の設定値として保持し、操作制御部３２０は、機能実行部３９０を介して今指定された設定項目の既定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３５０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１１７】次に、「現在位置の説明（「９」）」キーを押下した場合（ステップＳ１７のＹＥＳ）、現在、階層メニューのどの階層名または設定項目にいるのかの情報提供し、（ステップＳ１８）、次の操作指示を処理するためにステップＳ１へ戻る。メニュー制御部３６０は、「現在位置の説明（「９」）」キーが押下されると、音出力部３８０を呼び出し、音アイコン、現在位置の階層名または設定項目名および設定値等を音声で利用者へ通知する。
【０１１８】現在位置が階層名であるときには、階層名を音声合成部４２０によって合成した音声であり、この階層名が下層に設定項目を持てば残響を付加する。また、現在位置が設定項目であれば、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして設定項目を読み上げる。
【０１１９】次に、「設定確認」キーを押下した場合（ステップＳ１９のＹＥＳ）、利用者が今までにどのような設定項目を選択したのかを音声で設定項目名と設定値を音声で通知し（ステップＳ２０）、次の操作指示を処理するためにステップＳ１へ戻る。メニュー制御部３６０は、「設定確認」キーが押下された場合、利用者が既定値から設定を変更した設定項目へ順次移動して、音出力部３８０を呼び出して設定項目名とその設定値を音声で読み上げ、利用者へ通知する。この際、メニュー制御部３６０は、移動先を現在位置として管理し、その設定項目に誤りがあれば修正できる。さらに、メニュー制御部３６０は、設定項目の変更が行われると、その変更された設定項目とその設定値をメニューＤＢ３６５上の設定項目の設定値として保持し、操作制御部３２０は、機能実行部３９０を介して今指定された設定項目の設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３５０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１２０】次に、「確定（「＃」）」キーを押下した場合（ステップＳ２１のＹＥＳ）、現在位置の設定項目の選択を確定し（ステップＳ２２）、次の操作指示を処理するためにステップＳ１へ戻る。メニュー制御部３６０は、確定キー（「＃」）が押下されると、音出力部３８０を呼び出し、動作音とその確定された動作内容を音声で出力し、利用者へ通知する。さらに、メニュー制御部３６０は、現在位置の設定項目の確定が行われると、その確定された設定項目とその設定値をメニューＤＢ３６５上の設定項目の設定値として保持し、操作制御部３２０は、機能実行部３９０を介して今確定された設定項目の設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３５０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１２１】最後に、各設定項目に設定が完了してスタートキーが押下された場合（ステップＳ２３のＹＥＳ）、選択されていた機能（コピー機能、ファクシミリ機能等）を実行させ（ステップＳ２４）、次の操作指示を処理するためにステップＳ１へ戻る。操作制御部３２０は、スタートキーが押下されると、機能実行部３９０を呼び出し、利用者が初めに選択した機能を動作させる。例えば、指定された機能がコピー機能であれば、これまでに設定した値に応じたコピー動作が行われる。この動作が終了したとき、操作制御部３２０は、音出力部３８０を呼び出し、利用者へその成否を音声で知らせる。例えば、「１２２％の変倍でコピーが終了しました」、「紙詰まりでコピーができませんでした」等の結果を音声にてフィードバックする。また、操作制御部３２０は、利用者が「４０部」のコピーを指定したようなときには、音出力部３８０を介して、今どのくらいのコピーが終了しているかを認識できるように、ＢＧＭを流し、利用者はそのＢＧＭの進み具合でどの程度の処理が完了したかを知ることができる。
【０１２２】また、機能制御部３１０は、ＭＦＰの動作中に装置の状態を監視し、例えば、「用紙切れ」、「トナー不足」、「紙詰まり」、「フロントカバーが開いている」等の場合には、音出力部３８０を呼び出して、音アイコンの後に、例えば、「用紙がなくなりました」、「トナーが残り少なくなりました」、「紙詰まりが発生しました」、「フロントカバーが開いています」等との音声とＢＧＭとを出力して利用者へ通知する。
【０１２３】Ｇ．ＭＦＰの他の機能構成上述した実施の形態では、本発明の機器操作装置（制御部３００と支援部４００）をＭＦＰへ組み込んだものとして説明した。ここでは他の実施の形態として、図１０のように機器操作装置のうち制御部３００をＭＦＰ、ファクシミリ装置、プリンタ装置やスキャナ装置等へ組み込み、汎用のコンピュータ（以下、ＰＣという）へ支援部４００を組み込むように構成してもよい。この場合、制御部３００と支援部４００との通信を行うためにそれぞれ通信部５００と通信部６００とをケーブル、赤外線通信、無線通信または通信回線（ネットワークを含む）等で接続する。
【０１２４】このような構成においては、制御部３００から音声認識処理を行う場合には、通信部５００を介して、音声認識処理の依頼であるというキー情報と音声入力部３７０で入力した音声データを通信部６００へ送信する。通信部６００は、このキー情報から音声認識部４１０を呼び出して、音声認識結果に先のキー情報をつけて、通信部５００へ送り返す。通信部５００は、この受信データをキー情報から音声認識結果であると判断して、音声入力部３７０へ戻す。
【０１２５】また、制御部３００から音声合成処理を行う場合には、通信部５００を介して、音声合成処理の依頼であるというキー情報と音出力部３８０で音声データへ変換したいテキスト文を通信部６００へ送信する。通信部６００は、このキー情報から音声合成部４２０または必要に応じて音高変更部４３０や残響付加部４４０を呼び出して、音声合成結果に先のキー情報をつけて、通信部６００へ送り返す。通信部６００は、この受信データをキー情報から音声合成結果であると判断して、音出力部３８０へ戻す。音声データを得る場合、テキストから音声合成させるのではなく、音声データのキー情報（どのような内容の音声データを欲しいのかの区分）によって録音された音声データを選択するように構成してもよい。
【０１２６】このようにＭＦＰ等とＰＣとに機能分担させることによって、ＭＦＰ等ごとに支援部４００のようなデータ量の多い辞書情報と処理時間のかかる音声認識や音声合成の処理機能を持たなくてもよくなるとともに、支援部４００の辞書、処理系やＰＣ自体のメンテナンスを行いやすくできる。このような構成の場合には、１つのＰＣに対して、複数のＭＦＰ等が接続するようにした方がコストバランスはよくなる。
【０１２７】Ｈ．ＭＦＰのさらに他の機能構成さらに他の実施の形態として、図１１のように機器操作装置のうち視覚モードに関する操作系および非視覚モードにおけるテンキー等の入力系をＭＦＰ、ファクシミリ装置、プリンタ装置やスキャナ装置等（以下、ＭＦＰという）へ組み込み、非視覚モードの処理を汎用のコンピュータ（以下、ＰＣという）へ組み込むように構成してもよい。この場合、ＭＦＰとＰＣとの通信を行うためにケーブル、赤外線通信、無線通信または通信回線（ネットワークを含む）等で接続する。
【０１２８】このような構成では、ＭＦＰ側で行われる入力に対して、非視覚モードが選択された場合、通信部７００を介して、操作入力部３３０から入力された種々のテンキーによる指示をＰＣ側の操作制御部３２０へ送信する。操作制御部３２０は、この受信した指示を処理し、ＭＦＰへの設定項目とその値があるときには、通信部７００を介して、機能実行部３９０へＭＦＰのメモリへ値を設定する。
【０１２９】このようにＭＦＰとＰＣとに機能分担させることによって、ＭＦＰごとに非視覚モードの処理系を持たなくてもよくなるとともに、非視覚モードの処理系自体のメンテナンスを行いやすくできる。このような構成の場合には、１つのＰＣに対して、複数のＭＦＰが接続するようにした方がコストバランスはよくなる。
【０１３０】さらに、図１１の実施の形態の変形例として、図１２のようにモードの切り替え、機能（コピー機能やファクシミリ機能等）の選択および非視覚モードを使用するときの入力からその処理系を汎用コンピュータ（以下、ＰＣという）で行い、設定された項目に対する値の設定や選択した機能の実行は、ＭＦＰ側で行うように構成してもよい。この場合、ＭＦＰとＰＣとの通信を行うために赤外線通信または無線通信等で接続する。
【０１３１】また、ＰＣは、テンキーやスタートキーおよびマイクとヘッドフォンとを接続できるような携帯端末であって、Ｂｌｕｅｔｏｏｔｈのような通信によってＭＦＰと接続可能なものであってもよい。このようにＭＦＰとＰＣとに機能分担させることによって、ＭＦＰ側の変更を最小限として、且つ、ＰＣを持つ利用者ごとに非視覚モードの処理系をカスタマイズすることができる。
【０１３２】このような構成では、ＰＣを持った利用者がＭＦＰの近傍へ行き、ＰＣから非視覚モードの選択、機能の選択およびその機能に併せた階層メニューを操作し、その操作結果の設定項目とその値および機能の実行を操作制御部３２０からＭＦＰ側の通信部７００へ送信する。通信部７００は、機能の選択に対する指示の場合、機能設定部７１０によりＭＦＰの機能（コピー機能またはファクシミリ機能等）を設定して、ＭＦＰ側の機能変更による初期設定を行う。また、項目への設定や機能の実行に関しては、機能実行部３９０で処理する。これらの設定した結果は通信部７００を介してＰＣ側の操作制御部３２０へ送信され、その結果を音声等で利用者へ通知される。
【０１３３】Ｉ．プログラムとしての実施の形態上述した実施の形態を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、このＣＤ−ＲＯＭをＣＤ−ＲＯＭドライブのような媒体駆動装置を搭載したコンピュータに装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによっても、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読出されたプログラム自体が上述した実施の形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【０１３４】なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
【０１３５】また、ロードしたプログラムを実行することにより上述した実施の形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれる。
【０１３６】また、上述した実施の形態の機能を実現するプログラムが、機能拡張ボードや機能拡張ユニットに備わるメモリにロードされ、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって、上述した実施例の機能が実現される場合も含まれる。
【０１３７】さらに、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、通信網で接続された利用者のコンピュータからダウンロード等の形式で頒布する場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【０１３８】
【発明の効果】以上説明したように本発明によれば、装置の作製コストを抑えるとともに、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる。また、操作のできる人が操作のできない人を手助けしやすい装置を提供できる。
【０１３９】また、階層メニュー中のどの位置の項目にいるのか、また、その位置の項目がどのような状態にあるのかを音声の属性を変えることによって、直感的かつ短時間で利用者に提示して操作の理解性と効率が向上する。
【図面の簡単な説明】
【図１】 本発明の機器操作装置を組み込んだＭＦＰのブロック図である。
【図２】 操作部の正面図である。
【図３】 コピー機能に関する階層メニューの例を示す図である。
【図４】 図３の続きである。
【図５】 階層メニューの展開例を示す図である。
【図６】 テンキーの機能配置例を示す図である。
【図７】 本発明の機器操作装置を組み込んだＭＦＰの機能構成図である。
【図８】 音声認識結果と機能番号との対応表の例である。
【図９】 コピー機能の操作に対する動作を示すフローチャートである。
【図１０】 本発明の機器操作装置を組み込んだＭＦＰの他の機能構成図である。
【図１１】 本発明の機器操作装置を組み込んだＭＦＰの他の機能構成図である。
【図１２】 図１１の機能構成の変形例である。
【符号の説明】
１００…ＭＦＰ、１０１…ホスト接続装置、１０２…ＦＡＸ回線用接続装置、１０３…ネットワーク接続装置、１０４…操作部、１０５…スキャナ装置、１０６…プリンタエンジン、１０７…制御コントローラ、１０８…記憶装置、１０９…音出力装置、２０１…液晶表示部（ＬＣＤ）およびタッチパネル、２０２…テンキー、２０３…クリア／ストップキー、２０４…スタートキー、２０５…設定確認キー、２０６…機能キー、３００…制御部、３１０…機能制御部、３２０…操作制御部、３３０…操作入力部、３４０…視覚入力部、３５０…視覚表示部、３６０…メニュー制御部、３６５…メニューデータベース（ＤＢ）、３７０…音声入力部、３８０…音出力部、３９０…機能実行部、４００…支援部、４１０…音声認識部、４２０…音声合成部、４３０…音高変更部、４４０…残響付加部、５００，６００，７００…通信部、７１０…機能設定部。
【０００１】
【発明の属する技術分野】本発明は、機器操作装置、プログラムおよび記録媒体並びに画像形成装置に関し、詳細には、複写機、ファクシミリ装置、プリンタ装置、スキャナ装置やそれらのＯＡ機器が提供する機能を１台に統合した複合機における種々の操作において、視覚を用いないで操作が行える機器操作装置、その機器操作装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに画像形成装置に関する。
【０００２】
【従来の技術】近年、複写機、ファクシミリ装置、プリンタ装置、スキャナ装置やそれらのＯＡ機器が提供する機能を１台に統合した複合機（以下、ＭＦＰ（Multi-FunctionPeripherals）という）等の装置は、デジタル技術の導入などによって取り扱う機能が飛躍的に多様となりテンキーや機能キーだけでは操作ができなくなったために、ディスプレイ上にタッチパネルを設け、画面には操作手順を示す文字や入力場所を示す絵等が表示され、利用者が絵に対応して予め設定された入力エリアに触れることによって入力を行うタッチパネル入力方法が広く普及している。
【０００３】
【発明が解決しようとする課題】身体障害を持った者の社会進出を促進する意味からも、身体障害を持った者が晴眼者と同じように働けるオフィス環境を整備することが望ましく、特に、米国では、リハビリテーション法５０８条が２００１年６月２１日から施行され、米国連邦政府はＩＴ機器調達において障害者が利用できる機器を購入する義務があり、州政府、関連施設、民間企業にも追従の動きが出てきている。
【０００４】上述したようなＭＦＰでは、その操作が益々複雑化する傾向にあり、ディスプレイパネルやタッチパネル等にインストラクションを表示しなければ正しく使いこなすのが困難となってきている。特に視覚障害を有する者にとっては、この傾向は決定的なバリアを生む結果となる。
【０００５】例えば、視覚障害者がＭＦＰを操作する場合、ハードキーによる操作であれば、キーの配置を覚えることで、触覚に頼る操作もある程度可能であるが、触覚によって知覚できない液晶タッチパネル上の仮想ボタンを操作することはまったく不可能である。この操作では、操作手順とタッチエリアの位置を予め覚えておかなければならないが、操作手順やタッチエリアの位置が変わってしまった場合、利用者が覚えていた操作手順、タッチエリアの位置が無効になってしまう。このため、視覚障害を有する者にとってＭＦＰを事実上使用不可能にしている。
【０００６】これを解決するために、上述のようなＭＦＰに、視覚障害者である情報を記録したＩＤカードやイヤホンを挿入することにより、視覚障害ありと判定されたとき、音声合成装置により音声ガイドを行ったり、点字出力装置を用いて点字ガイドを行ったりする装置がある。
【０００７】例えば、金融機関で用いられる現金自動支払機や現金自動預出金機などの自動取引装置に適用した場合、視覚障害者である情報を記録したＩＤカードやイヤホンをその自動取引装置へ挿入することにより、視覚障害ありと判定されたとき、点字付きのキーと、任意の点字を出力する点字出力装置と、ハンドセットから音声ガイダンスを出力する機能を備え、操作誘導をハンドセットからの音声ガイダンスにより行い、取引種別の選択や金額の入力を点字付きのキーで行い、入力の結果を点字装置により出力することで、視覚障害者であっても自身の操作で取引を行えるようにしている。
【０００８】しかしながら、晴眼者の利用者数に対して、これらの対応を必要とする障害者の利用者数が非常に少なく、その少ない利用者のためにすべての装置に障害者への対応を実施するにはコストがかかりすぎてしまう。また、点字出力装置やハンドセットなどの装置が整っていない自動取引装置や点字出力装置やハンドセットの位置や使用方法が違う自動取引装置が同時に存在すると利用者は混乱を来してしまうことになる。
【０００９】また、特開平１０−１１７２６３号公報の「複合装置」は、オフフック状態で操作者により音声ガイドモードに切り替えられた場合、音声出力される音声ガイドをスピーカからハンドセットへ切り替えて、音声ガイドは外部には漏れることがなくなり、複合装置の回りにいる人に迷惑をかけることなく、複合装置を利用することが可能になる。
【００１０】このような音声ガイドによる設定方法では、操作者がはじめての場合には分かりやすいが、その装置に習熟した後でも操作時間の短縮は見込めないという欠点がある。また、用意された操作手順以外の操作を自由に行うことができず、晴眼者と同等な機能にアクセスすることは想定されていない。このことは視覚障害者の社会参加を阻むもととなっている。
【００１１】また、特開２０００−３２２１７８号公報の「画像形成システム」では、ＩＤカードを所持する視覚障害者が画像形成装置に画像形成命令を出力する画像形成指示装置の近傍に来ると、そのＩＤカードからＩＤコードを読み取り、個人情報ファイルを参照して、そのＩＤコードを持つ人が視覚障害を持つと判断された場合、音声合成装置を利用して画像形成指示装置での操作案内を音声で案内するようにし、視覚障害者であっても各種の操作を容易にできるようにしている。
【００１２】このような画像形成システムでは、視覚障害がある人は個人情報ファイルへ登録されるが、弱視者や老眼の人のように操作パネルの表示内容を見づらい人、または、背の低い人や車椅子に乗った人のように操作パネルを見上げる形となり表示内容を見られない人は対象外となり、依然として利用しにくいことに変りはない。
【００１３】本発明は、上述した実情を考慮してなされたものであって、装置の製作コストを抑えるとともに、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる機器操作装置、その機器操作装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに画像形成装置を提供することを目的とする。また、本発明の他の目的は、装置を操作できる人が操作できない人を手助けしやすい装置を提供することにある。
【００１４】
【課題を解決するための手段】上記の問題を解決するために、本発明の請求項１の機器操作装置は、利用者が機器を操作する際、当該利用者の操作指示とその結果を音と音声によって通知するようにして、視覚を使用せずに機器を操作できるようにしたことを特徴とする。また、本発明の請求項２は、請求項１に記載の機器操作装置において、前記機器の動作が進行中および／または終了したときに、その動作結果を音と音声によって利用者へ通知するようにしたことを特徴とする。また、本発明の請求項３は、請求項１または２に記載の機器操作装置において、前記機器の操作項目に対する設定項目を階層構造の階層メニューとして配置し、その階層上の所望の設定項目へ移動し、その設定項目を選択することによってこの機器を操作するようにしたことを特徴とする。また、本発明の請求項４は、請求項３に記載の機器操作装置において、前記設定項目は機能番号を有することを特徴とする。
【００１５】また、本発明の請求項５は、請求項３または４に記載の機器操作装置において、前記機器の操作は、方向移動キーによって階層メニュー上の階層構造の設定項目を移動し、確定キーによってその設定項目の選択を確定することを特徴とする。また、本発明の請求項６は、請求項３、４または５に記載の機器操作装置において、前記機器の操作は、音声認識によって階層メニュー上の階層構造の設定項目を指定し、確定キーによってその設定項目の選択を確定することを特徴とする。また、本発明の請求項７は、請求項４、５または６に記載の機器操作装置において、前記機器の操作は、前記機能番号を音声認識によって指定することにより階層メニュー上の階層構造の設定項目を指定し、確定キーによってその設定項目の選択を確定することを特徴とする。また、本発明の請求項８は、請求項４、５、６または７に記載の機器操作装置において、前記機器の操作は、テンキーによって前記機能番号を指定することによって階層メニュー上の階層構造の設定項目を指定し、確定キーによってその設定項目の選択を確定することを特徴とする。
【００１６】また、本発明の請求項９は、請求項３乃至８のいずれか１に記載の機器操作装置において、前記操作結果として出力される音は、前記設定項目の種類に応じた音アイコンであることを特徴とする。また、本発明の請求項１０は、請求項３乃至９のいずれか１に記載の機器操作装置において、前記操作結果として出力される音は、前記階層上の移動場所によって異なる動作音またはＢＧＭを出力することを特徴とする。また、本発明の請求項１１は、請求項９または１０に記載の機器操作装置において、前記音アイコン、前記動作音または前記ＢＧＭを出力するとき、音の属性を異なるようにしたことを特徴とする。また、本発明の請求項１２は、請求項３乃至１１のいずれか１に記載の機器操作装置において、前記操作によって移動した前記階層上の設定項目の設定項目名および設定値を音声で読み上げることを特徴とする。
【００１７】また、本発明の請求項１３は、請求項１２に記載の機器操作装置において、前記設定項目名または前記機能番号を読み上げる際に、音の属性の変化を読み上げ音声に付加することを特徴とする。また、本発明の請求項１４は、請求項１３に記載の機器操作装置において、現在、設定が無効である設定項目を、選択あるいは設定可能である設定項目よりも低い音声で読み上げることを特徴とする。また、本発明の請求項１５は、請求項１３または１４に記載の機器操作装置において、現在、選択あるいは設定されている設定項目を、選択あるいは設定されていない設定項目よりも高い音声で読み上げることを特徴とする。また、本発明の請求項１６は、請求項１３、１４または１５に記載の機器操作装置において、現在、選択あるいは設定することによって新たな選択あるいは設定項目を追加提示するように設定された項目に残響音を付加した音声で読み上げることを特徴とする。
【００１８】また、本発明の請求項１７は、請求項３乃至１６のいずれか１に記載の機器操作装置において、前記設定項目を入力するまでＢＧＭを出力することを特徴とする。また、本発明の請求項１８は、請求項３乃至１７のいずれか１に記載の機器操作装置において、前記各設定項目に対して確認操作を行ったときに、その設定項目の設定内容を音声により通知するようにしたことを特徴とする。また、本発明の請求項１９は、請求項３乃至１８のいずれか１に記載の機器操作装置において、一括確認操作を行ったときに、既定値を変更した前記設定項目へ順次移動して、その設定内容の変化を音声で通知するようにしたことを特徴とする。また、本発明の請求項２０は、請求項３乃至１９のいずれか１に記載の機器操作装置において、前記階層メニュー上の現在操作中の位置以下にある階層の設定項目の設定値を既定値へ戻す操作を行った場合、その設定項目ごとに既定値へ戻してよいかを音声により問い合わせることを特徴とする。また、本発明の請求項２１は、請求項３乃至１９に記載の機器操作装置において、前記階層メニュー上の現在操作中の位置以下にある階層の設定項目の設定値を既定値へ戻す操作を行った場合、その階層以下にある設定項目をすべて既定値へ戻してよいかを音声により問い合わせることを特徴とする。また、本発明の請求項２２は、請求項２乃至２１のいずれか１に記載の機器操作装置において、視覚表示装置を備え、前記設定項目の選択が確定されたときに、その確定した設定項目の内容を音声で通知するとともに、このとき確定した内容をこの視覚表示装置にも表示するようにしたことを特徴とする機器操作装置。また、本発明の請求項２３は、請求項３乃至２２のいずれか１に記載の機器操作装置において、視覚入力装置を備え、前記視覚表示装置に表示された設定状況に対してこの視覚入力装置から入力された場合にも音および音声によって前記利用者へ通知することを特徴とする。
【００１９】また、本発明の請求項２４のプログラムは、コンピュータを、請求項１乃至２３のいずれか１つに記載の機器操作装置として機能させるためのプログラムである。また、本発明の請求項２５の記録媒体は、請求項２４に記載の機器操作プログラムを記録したコンピュータ読み取り可能な記録媒体である。また、本発明の請求項２６の画像形成装置は、請求項１乃至２３のいずれか１に記載の機器操作装置を用いて、視覚を使用せずに画像形成装置を操作することを特徴とする。
【００２０】したがって、装置の作製コストを抑えるとともに、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる。また、操作のできる人が操作のできない人を手助けしやすい装置を提供できる。
【００２１】また、階層メニュー中のどの位置の項目にいるのか、また、その位置の項目がどのような状態にあるのかを音声の属性を変えることによって、直感的かつ短時間で利用者に提示して操作の理解性と効率が向上する。
【００２２】
【発明の実施の形態】以下、図面を参照して本発明の一実施の形態を詳細に説明する。本実施の形態の説明では、本発明の機器操作装置をＭＦＰ（デジタル複合機：Multi-Function Peripherals）へ組み込んだものとして説明する。しかし、本発明の機器操作装置の組み込み対象は、ＭＦＰに限ったものではなく、多様化した機能を有する装置であれば組み込むことで同様の効果が期待できる。
【００２３】Ａ．本発明の機器操作装置を組み込んだＭＦＰ図１は、本発明の機器操作装置を組み込んだＭＦＰのブロック図である。図１において、ＭＦＰ１００は、ホストとＭＦＰを接続するためのホスト接続装置１０１、ＦＡＸ回線に接続するためのＦＡＸ回線用接続装置１０２、ＬＡＮ等のネットワークへ接続するためのネットワーク接続装置１０３、ＭＦＰの各種設定操作を行うための操作部１０４、原稿台から画像をスキャンし画像データを作成するスキャナ装置１０５、作像装置や給排紙装置を備えたプリンタエンジン１０６、ＭＦＰ全体の制御、プリンタ言語処理、ファクシミリ制御、スキャナ制御、利用者認識処理、音出力制御、画像データ編集処理およびＭＦＰ操作に対する制御等を行う制御コントローラ１０７、ファクシミリ受信した画像データ、交信記録や各機能で使用した画像データを保存する記憶装置１０８、利用者の操作結果に応じて音および音声を出力するスピーカ、ヘッドフォン等の音出力装置１０９とからなる。
【００２４】このようなＭＦＰ１００において、プリンタ機能を利用する場合には、ホスト接続装置１０１を介してホストから送信された印刷データ、または、ネットワーク接続装置１０３を介して接続されたコンピュータから送信された印刷データが制御コントローラ１０７の受信バッファに一時蓄えられ、制御コントローラ１０７でプリンタ言語処理に従い画像データに展開され、プリンタエンジン１０６に送られて印刷が実行される。このＭＦＰ１００のコピー機能を利用する場合には、制御コントローラ１０７の指示にしたがって、スキャナ装置１０５から読み取られた画像データをプリンタエンジン１０６に送って印刷が実行される。
【００２５】また、利用者がこのＭＦＰ１００を自由に取り扱える人である場合には、操作部１０４の操作パネルに表示された絵情報に従ってコピーの指示を与え、スキャナ装置１０５で読み取られた画像データを一旦記憶装置１０８へ格納しておき、制御コントローラ１０７の画像データ編集処理により、画像データの編集、複数画像の重ね合わせ等を実行したあと、その画像データをプリンタエンジン１０６によって印刷したり、ＦＡＸ回線用接続装置１０２によってＦＡＸ送信したりすることができる。利用者がこのＭＦＰ１００を自由に扱えない人である場合には、テンキー等の利用者に識別可能な入力装置とその操作状況を音として出力する音出力装置１０９とによってコピー指示を与えて、コピー機能を操作する。
【００２６】また、ＭＦＰ１００のスキャナ装置１０５で読み取られた画像データ、ＦＡＸ回線用接続装置１０２を介して得たファクシミリ画像データやネットワーク接続装置１０３を介して得た画像データをホスト接続装置１０１やネットワーク接続装置１０３を介してコンピュータへ送信し、そのコンピュータのアプリケーションで受信した画像データを再加工するようにも使うことができる。さらに、このＭＦＰ１００は、ネットワーク接続装置１０３を介してインターネットに接続した画像データサーバから画像データを取り寄せて、プリンタエンジン１０６によって印刷することもできる。
【００２７】Ｂ．操作部と操作パネル図２は、本発明の機器操作装置が搭載されたＭＦＰ１００における操作部１０４の正面図である。操作部１０４の中央には、液晶表示部（ＬＣＤ）２０１およびタッチパネルが設けられている。この液晶表示部２０１には、ＭＦＰ１００に組み込まれている機能（ＦＡＸ、コピー、プリンタ等）に対する設定項目の表示が行われ、利用者はこの表示された設定項目に値を設定することによってＭＦＰ１００の操作を行う。機能の切り替えは、機能キー２０６によって行われる。この液晶表示部２０１の右側には各機能で共通に使用する各種テンキー２０２、クリア／ストップキー２０３、スタートキー２０４等の各種キーが配置されている。また、この液晶表示部２０１の左側には、機能を切り替える機能キー２０６が設けられている。
【００２８】Ｃ．ＭＦＰによる操作概要本ＭＦＰ１００の利用者は、次の２種類に分類される。
（１）本ＭＦＰを自由に操作できない人これに分類される人は、視覚障害者、肢体不自由者、弱視者、老眼・近眼の人（以下、視覚障害者等と呼ぶ）のように操作部１０４の液晶表示部２０１の画面やタッチパネル２０１を見て操作できない人である。または、健常者であっても、音声や音での操作を選択した人もこの分類に含まれる。この分類に属する人が本ＭＦＰ１００を操作するときは、音声および音によって操作のガイダンスが行われるが、ＭＦＰのこの処理形態を「非視覚モード」と呼ぶことにする。
（２）本ＭＦＰを自由に操作できる人これに分類される人は、上記の（１）に含まれない人であって、晴眼者の健常者である。この分類に属する人が本ＭＦＰ１００を操作するときは、操作部１０４の液晶表示部２０１およびタッチパネル２０１によって操作が行われるが、ＭＦＰのこの処理形態を「視覚モード」と呼ぶことにする。
【００２９】以下、本ＭＦＰ１００の操作概要を「原稿を複写するときの操作」を用いて説明するが、本ＭＦＰ１００の利用者は、上述したいずれの利用者であっても、ＭＦＰの電源やテンキーがどの辺にあるかは分かっており、また、ＭＦＰの基本的な機能や操作方法を一通り勉強済みであることを前提とする。
【００３０】まず、ＭＦＰ１００の電源を入れた状態では、「視覚モード」で動作するように設定されているので、健常者の利用者では、そのまま操作部１０４の画面表示とタッチパネルとによって各種の指示を与え、ＭＦＰ１００を操作することができる。一旦、「非視覚モード」が設定されるとタッチパネルからの指示はロックされているが、「モード」の切り替え指示を行うことによって、随時切り替えることができる。このモード切り替えキーは、特定のキー、例えば、テンキーの「＊キー」を一定時間（３秒）以上押し続けることによって切り替えられる。
【００３１】一方、「非視覚モード」でＭＦＰを動作させたい人は、上記のモード切り替えキーを押下し、ヘッドフォンとマイクを備えたヘッドセットをＭＦＰ１００へ接続して、「視覚モード」から「非視覚モード」へ切り替えることによって、「非視覚モードに入りました」と音声で通知される。また、ヘッドセットとＭＦＰ１００との接続は、無線通信やＢｌｕｅｔｏｏｔｈを使って交信するようにしてもよい。
【００３２】次に、本ＭＦＰ１００の操作部１０４の機能キー２０６「Ｃｏｐｙ」（図２参照）を押すことによって、ヘッドフォンから「コピーの操作ができるようになりました」と音声で利用者へ知らせる。また、本ＭＦＰ１００は、ＦＡＸやコピー等の機能ごとに、あらかじめ操作可能なすべての操作項目を機能別に分類し、その分類をさらに細分化していくというように多階層を持った単一のメニューを作成しておく。例えば、「Ｃｏｐｙ」機能は、図３および図４（この機能分類は一部分を示したに過ぎない）に示すような階層に分類される。
【００３３】利用者は、操作部１０４に設置された方向移動キーあるいはこの方向移動キーの代用可能なキー（以下、まとめて方向移動キーという）を用いて、この階層メニューの階層をたどって所望の操作項目に移動し、これを選択または値を設定するという操作を繰り返して所望の設定を完了した後に、スタートキー２０４を押下することによって、原稿の複写が作成される。
【００３４】利用者が階層メニューを操作していく過程で、選択対象となった機能の説明や現在までに設定された設定項目の内容を利用者へ音声、音やＢＧＭ（Back Ground Music）によってフィードバックするので、操作部１０４の液晶表示部２０１の画面を見たり、タッチパネル２０１から入力しなくても、本ＭＦＰ１００を操作することができる。ここで音声、音やＢＧＭは、属性（音の高下、音の速度、声の種類（男性、女性、機械的音声等）、音質、調子、音色、音場感等）を用いて、設定項目の種類や設定状況および階層の深さや場所等に応じて変化させて出力する。
【００３５】また、「非視覚モード」における方向移動キーによる選択過程を操作部１０４の液晶表示部２０１の表示画面へほぼ対応付けて表示させる。ここで、ヘッドフォンをつけたまま「視覚モード」へ移行して、操作部１０４のタッチパネル２０１から入力指示を行ったとき、その操作結果をヘッドフォンへフィードバックし、もう一度「非視覚モード」のもとの位置へ切り替えることができるので、健常者が視覚障害者等を介助しやすくなる。
【００３６】Ｄ．本ＭＦＰにおける操作の詳細（１）階層メニューの構造本ＭＦＰで扱うＦＡＸ機能、コピー機能、プリンタ機能、スキャナ機能、ＮｅｔＦｉｌｅ機能等の機能ごとに、操作可能なすべての操作項目を機能別に分類し、その分類をさらに細分化していくというように多階層の木構造を持った単一のメニューを作成し、メニューデータベース（ＤＢ）へ記憶しておく。
【００３７】例えば、「変倍」、「両面」のように、より詳細な設定項目がある場合には、「変倍」や「両面」を１つの階層名とし、それらの階層の下にさらに「等倍」、「拡大」、「縮小」等選択すべき階層名を配置し、その階層名が「１１５％」、「９３％」といった最終的な設定項目になるまで細分化する。
【００３８】この階層メニュー上の設定項目の種類として、次にあげたようなものがある。
・同階層中にひとつだけ選択できる選択項目例えば、「拡大」の階層の下の「１１５％」か「１２２％」等・機能のＯＮ／ＯＦＦをトグルことができるトグル項目例えば、「フィニッシャー」の階層の下のソートするか否か等・数値を設定できる数値項目例えば、コピーする部数等の場合には、その設定項目を選択後テンキーで数値を入力・何らかの動作を始動する動作項目例えば、ＦＡＸ機能で登録されている宛先リストの作成等
【００３９】例えば、コピー機能の場合、先ず、図３および図４のように、第一階層の階層名を（部数、原稿、用紙、変倍、両面・集約・分割、フィニッシャー等）とし、それぞれ第二階層、第三階層等に細分化しておく。また、図３および図４のように、各階層の階層名および設定項目にはそれぞれ数字が対応しており、この数字を指定することによって、各階層をたどらなくても直接その設定項目を選択することができる。以下、この数字のことを「機能番号」という。
【００４０】図５を用いて、原稿の画像が薄いためにコピー結果が濃くなるように操作するときの例を説明する。操作開始のときは、現在の階層名「部数」が利用者に音声にて知らされるので、右方向移動キーにより階層名「原稿」へ進む。このとき音声で「原稿」の位置にいることが知らされる。次に、この「原稿」の細分類である「濃度」を選択するために、下方移動キーを用いて、階層メニューを１つ下の階層へ降りる。このとき音声で「種類」の位置にいることが知らされる。
【００４１】さらに、「原稿」の細分類の１つである階層名「濃度」へ進むために、右方向移動キーを押す。このとき音声で「濃度」の位置にいることが知らされる。同様に、この「濃度」の細分類である「濃く」を選択するために、下方移動キーを用いて、階層メニューを１つ下の階層へ降りる。このとき音声で「自動」の位置にいることが知らされる。さらに、「濃度」の細分類の１つである階層名「濃く」へ進むために右方向移動キー押す。このとき音声で「濃度」の位置にいることが知らされる。これにより、利用者の要求する「原稿を濃くコピーする」設定が達成できた。
【００４２】（２）階層メニューの操作次に、上述したような階層メニューの操作方法について説明する。上述した階層メニュー上に配置された階層名や設定項目を移動・選択操作するには、方向移動キーあるいはそれに代用可能なキーを用いるが、以下の説明ではテンキー２０２を代用して用いることにする。図６は、キーごとに割り当てられた機能を示している。
【００４３】即ち、階層の上下方向への移動をテンキー中の垂直方向に配置されたキーの押下によって行い、同階層の隣接項目をテンキー中の水平方向に配置されたキーにより行う。図６では、「上方移動（「２」）」キーを押下することによって階層を上にたどり、「下方移動（「８」）」キーを押下することによって階層を下にたどる。また、「左方移動（「４」）」キーを押下することによって同階層を左にたどり、「右方移動（「６」）」キーを押下することによって同階層を右にたどる。尚、上記した方向移動キーを逆に割り当てるようにしてもかまわない。
【００４４】利用者が階層メニューの下層へ移動するように指示したときに、下層の設定項目が複数ある場合、下に列挙したうちのいずれか予め定めた方法によって、次の設定項目へ移動する。
【００４５】・下層の最初の項目に移動する。どれが既定値というわけでもない場合、例えば、原稿の種類を選択するときに使用する。
・下層の既に選択されている項目に移動する。例えば、その下層の設定項目に、既に設定がなされた項目があれば、その項目以降の設定の続きかまたはその項目の内容を修正するために、その既に設定がなされた項目へ移動する。
・下層の既定値を持つ項目に移動する。例えば、濃度設定の場合には、「薄い、普通、濃い」の選択項目があるが、一般に、既定値として「普通」を設定しているので、その既定値「普通」の設定項目へ移動する。
【００４６】また、利用者が水平方向の移動キーを操作して、同階層を移動する時には、その階層の端へ達した場合には、その階層の反対の端へ移動し、循環的な移動を行う。常に一定方向へ移動することによって、利用者の選択したい項目を見つけることができる。この場合、利用者は、この階層の項目数がどの程度の数なのかを把握することができず、メニュー上で迷子になってしまう可能性が高い。または、この循環移動を行わず、端にきたときそれ以上は移動しないようにしてもよい。この場合には、所望の項目を行き過ぎてしまった場合、反対方向に移動キーを押さなくてはならないが、その階層にある項目がどの程度の数であるかを把握することはできる。
【００４７】さらに、図６では、利用者が設定の途中でどの階層にいるか分からなくなった場合や、最初から選択し直したい場合には、例えば、「トップへ戻る（「１」）」キーを押下することによって、どの階層からでもトップの階層（図３の例では、第一階層の「部数」）へ戻れる。この場合、それまでに選択または設定された設定項目は、本ＭＦＰ１００に記憶しておき、移動キーや確認キーによって、それまでに設定・選択された項目へ移動することができる。
【００４８】また、図６において、「直接ジャンプ（「０」）」キーを押下することによって、利用者が設定したい階層や項目へ直接移動することができる。例えば、「直接ジャンプ」キーを押下し、さらにテンキーから機能番号を入力することで、その機能番号に対応した階層名または項目へ移動することができる。例えば、「直接ジャンプ」キーの押下に続いて、「４３５」をテンキーによって数値入力すると、本ＭＦＰ１００は、「変倍」→「縮小」→「７１％」の順で項目が選択されたものと判断する（図３、図４参照）。
【００４９】また、上記のような「直接ジャンプ」キーによって直接設定したい項目の機能番号を入力するのではなく、「音声認識（「３」）」キーを押下して、利用者が「機能番号」、「階層名」や「設定項目名」を発声し、それを本ＭＦＰ１００が認識し、その認識された項目へ直接移動することもできる。
【００５０】また、図６において、「部分クリア（「７」）」キーを押すことによって、階層メニュー上で現在いる階層から下層にある設定項目のうち、既定値を変更した設定項目の値を既定値へ戻すことができる。設定値へ戻す際、設定項目ごとに問い合わせて、戻してよいものだけを既定値へ戻すようにしてもよいし、または、既定値を変更した設定項目すべてについて戻してよいかを問い合わせるようにしてもよい。例えば、現在、階層メニューの「フィニッシャー」階層にいる場合は、その階層以下の「ソート／スタック」、「ステープル」、「パンチ」の設定項目で既定値を変更した場合には、その設定値をクリアして既定値へ戻すようにする。
【００５１】また、図６において、「現在位置の説明（「９」）」キーを押下することにより、現在、階層メニュー上のどの階層名または設定項目にいるのかを音声によりフィードバックする。フィードバック情報としては、例えば、階層名または設定項目名、機能番号および設定された値（部数）等がある。例えば、用紙をＡ４横に設定確定した後、「現在位置の説明」キーを押下すると、「用紙はＡ４横に設定されています」と音声でフィードバックされる。
【００５２】また、図２において、「設定確認」キー２０５を押下することにより、利用者が既定値から変更した設定項目へ順次移動することができ、また、その設定値を変更することもできる。
【００５３】さらに、図６において、上述した各キーによって階層メニューを操作し、所望の設定項目の設定（選択または数値入力の終了）が終了したとき、その設定項目を確定するために「確定（「＃」）」キーを押下する。これにより本ＭＦＰ１００は、確定された設定項目の内容を操作部１０４の液晶表示部２０１の画面へ表示する。
【００５４】また、図６において、「モード切り替え（「＊」）」キーを押下すると、現在のモードを切り替える。現在のモードが「非視覚モード」であれば、「視覚モード」へ切り替える。但し、ヘッドセットが接続されたままであれば、音声や音等はそのヘッドセットのヘッドフォンへ出力される。従って、完全に「視覚モード」へ戻すためには、ヘッドセットも接続を切り離す必要がある。現在のモードが「視覚モード」であれば、上述のヘッドセットをＭＦＰ１００へ接続することにより「非視覚モード」へ切り替えることができる。
【００５５】また、本ＭＦＰ１００に非接触型のＩＣカードを認識できるようにして、上述の操作によって設定された内容をそのＩＣカードに操作名を付けて記憶させておくことにより、次回からそのＩＣカードから操作名を指定して操作内容を読み取ることにより、同じ操作を一々設定しなおさなくてもよいように構成することができる。
【００５６】（３）操作結果の動作音、音アイコンおよびＢＧＭによる利用者へのフィードバック上述したようにテンキーを用いて階層メニュー上に配置された階層名および設定項目を移動・選択操作を行う際に、次に示すような動作の結果の確認を動作音、音アイコンおよびＢＧＭ（background music）で利用者のヘッドフォンへ出力することによって通知する。ここで音アイコンは、対象物の性質を示す静的な情報であって、階層名や設定項目のタイプを弁別する目的で音色の異なる動きのない音（短い単音）のことを言う。
【００５７】また、動作音は、同一音色の異なる音（和音やごく短い旋律）を用いて動作結果のイメージをわかせ、動作と音楽理論上の音の意味付けを対応させる。例えば、階層上の上昇や下降にはそれぞれ上昇音形、下降音形を、行き止まり（移動の失敗）には不安感を感じさせる増４度の不協和音を、選択・確定には解決を意味するドミナントモーションを使う。
【００５８】例えば、階層の上下への移動を通知する動作音をそれぞれ用意し、利用者の上下の階層へ移動する際にその動作音を出力することによって、階層を上下したことを知らせる。この動作音は、上記の音アイコンとは異なるものとする。また、このときのＢＧＭも、例えば、上層階層ではゆっくりした調子のＢＧＭとし、下層に行くにしたがって早い調子のＢＧＭとするようにすれば今どの辺の階層にいるのかを認識できる。このとき、移動先の下層に設定項目があるか否かを動作音で出力することによって、移動できないことを利用者へ知らせることができる。また、移動先の下層にいくつの設定項目を持つかを動作音で利用者へ知らせることができる。
【００５９】また、同階層の循環的移動が設定されていない場合には、水平方向へ移動を指示したとき、それ以上移動する項目がないときには、「行き止まり」の動作音で利用者へ知らせる。さらに、階層の上下方向の「行き止まり」に対しても動作音で利用者へ知らせる。また、トップへ移動、水平方向へ移動、直接移動や音声認識等のキーを押下したときに、その選択動作を確認する動作音を出力することによって、利用者は確実に操作が受け付けられていることを認識できる。
【００６０】また、コピーの部数を入力するような数値入力の場合にも、その数値入力が終了するまでＢＧＭを流すことによって、数値入力を行っていることを確認できる。
【００６１】また、ＭＦＰの動作中の状態、例えば、「用紙切れ」、「トナー不足」、「紙詰まり」、「フロントカバーが開いています」等を音声によって利用者へ通知する。このような状態がすぐ解消できないような場合には、その音声が途切れてしまえばその状態はつかめなくなる。例えば、コピー動作を行っている間、本装置から利用者が離れていたときに「紙詰まりになった」場合には、この音声だけでは利用者にはわからない。しかし、音声の後にＢＧＭを流しておけば、このような状態でも利用者に認識できる。
【００６２】また、利用者が４０部のコピーを指定したときに、今どのくらいのコピーが終了しているかを認識できるように、ＢＧＭを流しておき、利用者はそのＢＧＭのどの辺を聞いたかによって、どのくらいまでコピーが進んだかを知ることができる。
【００６３】このように利用者へ動作イメージをわかせるような動作音やＢＧＭ、階層名や設定項目のタイプを示す音アイコンで通知することにより、利用者が今どのような状態にあるかを認識でき、確実に入力したか、または、操作が完了したかどうかの不安を低減することができる。
【００６４】（４）操作結果の音声による利用者へのフィードバック上述したようにテンキーを用いて階層メニュー上に配置された階層名や設定項目を移動・選択操作を行う際に、音声によってもヘッドフォンから出力することにより、利用者へ動作結果の確認を行うことにより、その入力および操作結果が確実になされたかを利用者が認識することができ、不安を低減することができる。このときの音声は、状況に応じて音声の属性（音の高さ、声種、音質、調子、音色、話速、音場感）を変化させてフィードバックすることにより、利用者が置かれた状況を直感的に把握させることができる。
【００６５】まず、移動操作によって階層メニューをたどって、階層名や設定項目へ達したときに、その階層名や設定項目を所定の内容の音声フィードバックを行う。例えば、「拡大」や「１１４％」等の設定項目へ移動したときには、その項目名を読み上げる。これにより、利用者がどの設定項目に移動したかを認識できる。
【００６６】この項目名を読み上げる際、既に選択されている項目をまだ選択されていない項目よりも高い声で読み上げる。これによって利用者に対して活性度の高いイメージを与え、その項目が現在選択されていることを、言語表現によるよりも素早く直感的に伝えることができる。
【００６７】例えば、図３および図４の階層メニューにおいて、「変倍」の下階層の「等倍」や「拡大」はそれらのうちのどれかひとつが選択されるべきものであるが、現在どれが選択されているかを利用者が知ることができれば「等倍」が選ばれているのにさらに「等倍」を選択するという無駄が省ける。また、例えば「原稿サイズ混載」等のような選択によってＯＮ／ＯＦＦを切り替える項目では、現在選択されているか（即ちＯＮであるか）、選択されていないか（即ちＯＦＦであるか）を知らなければ自分の所望の状態にセットすることができない。
【００６８】また、項目名を読み上げる際、無効な項目は有効な項目よりも低い音声によって読み上げる。これによって利用者に対して活性度の低いイメージを与え、その項目が現在無効であることを、言語表現によるよりも素早く直感的に伝えることができる。ある項目を選択したことにより他の項目に影響を与え、その結果として他の項目を選択できないという状況になることがある。
【００６９】例えば、「用紙」に「自動」や「トレイ１」等が選ばれている時、「手差し用紙の紙種類」を選択することは有効ではない。このとき、選択できないのにその項目へ移動や選択ができるようにしておくと、利用者に選択できるという誤解を与えて混乱を招きかねない。しかし、その項目を一時的に階層メニューから削除したり、移動させないようにすると、階層メニューの構造が動的に変化することになり、聴覚的にのみメニュー構造を把握している利用者には何故メニュー構造が変ったかが分かりにくく混乱を招くことになる。
【００７０】以上のような読み上げの際、音声の音高の上下は通常の高さと識別可能な変化量が必要であって、かつ発声内容を明瞭に聞き取れる範囲に抑える必要がある。例えば、通常の自然発話における音域と音声合成で明瞭性を確保できる音域を考慮し、半オクターブ程度の変化量を与えるようにする。
【００７１】また、項目名を読み上げる際、下の階層の項目をもつ項目名には残響を付加して出力する。これによって利用者に対して余韻のあるイメージを与え、その項目の後にさらに細分類された項目群があることを、言語表現によるよりも素早く直感的に伝えることができる。例えば、階層メニュー上の項目には、「等倍」のようにそれ以下の階層を持たないものと、「拡大」のようにさらに下の階層の細分類項目を持つものがある。この違いを実際に下の階層へ移動せずにわかることは、利用者による階層メニューの移動作業を見通しよくすることになる。
【００７２】この残響付加は、例えば、合成音声の出力を遅延器および減衰器に通した後、その合成音声に加算することで実現できる。この場合、制御パラメータは遅延器の遅延時間と減衰器の減衰量となるが、通常の音声との識別性を向上すること、および音声の明瞭性を確保することを考慮し実験的に決定する。
【００７３】また、「部分クリア（「７」）」キーが押されたときには、階層メニュー上の現在位置から下層にある設定項目に対してなされた設定変更を読み上げて既定値へ戻してよいかを音声で問い合わせる。このとき、いちいち設定された設定値を既定値へ戻すかどうかを問い合わせるのではなく、すべての下層にある設定項目について既定値へ戻してよいかを問い合わせ、ＯＫであれば一度に既定値へ戻すようにしてもよい。
【００７４】現在、階層メニュー上のどの設定項目にいるのかを、「現在位置の説明（「９」）」キーを押下することにより、その設定項目に対する設定項目名や設定値等の情報提供を所定の内容の音声によりフィードバックする。例えば、「用紙」を「Ａ４横」に設定確定した後、「現在位置の説明」キーを押下すると、「用紙はＡ４横に設定されています」と音声フィードバックされる。
【００７５】設定項目の選択が終了し、「確定（「＃」）」キーにて確定操作が行われたときに、その確定された内容を所定の内容の音声によりフィードバックを行う。例えば、「拡大」で「２００％」を選択・確定したときは、「変倍は拡大２００％に設定されました」という内容の音声によるフィードバックがある。
【００７６】また、設定確認キーが押下されたとき、現在の階層メニュー上の設定項目（中間階層を含めて）より下にあり、利用者が既定値から設定を変更した設定項目をまとめて音声で読み上げる。このとき、一度にすべての設定項目を音声フィードバックするのではなく、１つの設定項目につき音声フィードバックし、その設定項目に誤りがあれば修正し、移動キーを操作させて次の変更されている設定項目に移動し、最後は確定キーを押下して最終確定とするようにしてもよい。また、今までに既定値から変更した設定項目をすべて知りたいときには、一旦「トップへ戻る（「１」）」キーで階層メニューのトップへ移動してから、この設定確認キーを押すことにより一括して確認することができる。
【００７７】各設定項目に設定が完了し、スタートキーを押下することによって、ＭＦＰの動作が終了したときに、その成否を知らせる所定の内容の音声フィードバックを行う。例えば、「１２２％の変倍でコピーが終了しました」、「紙詰まりでコピーができませんでした」等の結果を音声にてフィードバックする。
【００７８】また、操作中や動作中にＭＦＰの状態を上述した設定項目の操作時の音声とは異なる話者の音声によって、動作音の後に続けて、例えば、「用紙がなくなりました」、「トナーが残り少なくなりました」、「紙詰まりが発生しました」、「フロントカバーが開いています」等と利用者へ通知する。
【００７９】上述した音声フィードバックによる音声の属性（音の高さ、声種、音質、調子、音色、話速、音場感）を変化させるつまみを用意することによって、利用者に聞き取りやすい音声出力とすることができる。また、音声フィードバックの終了を待たずに、次のキー操作がなされた場合には話速を自動的に早くすることによって、利用者のイライラ感をへらすことができる。
【００８０】このような階層メニュー構成および音アイコン、動作音、ＢＧＭや音声による案内を行うことによって、利用者がＭＦＰをはじめて扱うときに５分程度の練習でほぼその操作に慣れるようになる。
【００８１】上述した利用者による操作結果をＭＦＰ１００の液晶表示部２０１の画面にほぼ同期して表示させ、さらに、その表示に基づきタッチパネル２０１からも入力できるようにして、健常者が視覚障害者を介助することも、また弱視者や老眼の人が画面をみて操作することもできる。例えば、利用者が途中で操作が分からなくなったときに、健常者の介助によりタッチパネルで設定項目を選択することができ、その設定が音アイコン、動作音や音声でヘッドフォンへ出力されるので、視覚障害者等の利用者も何を設定したのかを知ることができる。
【００８２】（５）操作の例次に、上述したＭＦＰを使って「部数を２部」に設定し、動作完了するまでの操作例を説明する。先ず、階層メニューを操作して「部数」のところへ移動すると、ヘッドフォンから「（ピロン）部数」という音アイコンに続いて音声で設定項目名「部数」を読み上げる。このとき「部数」の下の階層がないため、残響音は付加されない。ここで利用者が「確定（「＃」）」キーを押下すると、ヘッドフォンから「（キャラン）テンキーで部数を入力して確定キーを押してください」という音アイコンに続いて部数の入力音声案内がなされ、部数の数値入力の間ＢＧＭが流れる。利用者はテンキーを使って、「２」を押すと、ヘッドフォンから入力した数字を読み、利用者が「確定（「＃」）キーを押すと、ヘッドフォンから「（キャラン）部数は２部に設定されました」の音声が聞こえてくる。ここで「（ピロン）」「（キャラン）」の音は、動作音を示している。この後、利用者はスタートキーを押すと、ヘッドフォンからコピーをしている間、ＢＧＭが流れ、終了すると「コピーが２部終了しました」と音声案内がある。
【００８３】Ｅ．ＭＦＰにおける機能構成図７は、本発明の機器操作装置を組み込んだＭＦＰの機能構成図である。図７のＭＦＰは、利用者から指示により実行制御を行う制御部３００とこの制御部３００からの指示で音声認識や音声合成の処理を行う支援部４００とから構成される。
【００８４】この制御部３００は、機能制御部３１０、操作制御部３２０、操作入力部３３０、視覚入力部３４０、視覚表示部３５０、メニュー制御部３６０、メニューデータベース（ＤＢ）３６５、音声入力部３７０、音出力部３８０、機能実行部３９０とから構成される。
【００８５】機能制御部３１０は、視覚モードまたは非視覚モードのいずれを使用するかを決定し、利用者がコピー機能やファクシミリ機能等のいずれの機能を使うかを指示させ、それに対する操作のための初期設定と全体の制御を行う。また、機能制御部３１０は、通常は視覚モードであり、モード切り替えキーを押下して、利用者がヘッドフォンとマイクを備えたヘッドセットを挿入した場合、非視覚モードの制御を行う。
【００８６】操作制御部３２０は、利用者からの各種の入力操作やその処理結果を表示する等の操作に対する制御を行う。操作入力部３３０は、数字等をテンキーから入力する。また、操作入力部３３０は、非視覚モードの時には、階層メニューの階層構造を移動させる方向移動キー、設定項目の選択・確定等を行う各種キーや数字を入力するテンキー等から各種の操作指示を入力する。非視覚モードの場合、その入力されたテンキーの種別によって、次のような入力機能番号の情報と入力したテンキーの種別をメニュー制御部３６０へ引き渡す。
【００８７】（１）方向移動キーの場合現在の階層メニュー位置の階層名または設定項目に対応する機能番号に対して次のような操作を行うことによって入力機能番号を設定する。これは機能番号の構成が階層を１つ下がるごとに１０倍となっており、同階層では１増加させるようになっているためである。
・上方移動（「２」）キー入力機能番号＝現在の機能番号／１０・下方移動（「８」）キー入力機能番号＝現在の機能番号×１０＋１・左方移動（「４」）キー入力機能番号＝現在の機能番号−１・右方移動（「６」）キー入力機能番号＝現在の機能番号＋１
【００８８】例えば、初期状態(現在の機能番号＝１)から、右方移動キーを押下すると、入力機能番号＝１＋１＝２である。ここで、下方移動キーを押下すると、入力機能番号＝２×１０＋１＝２１である。次に、ここで上方移動キー、下方移動キー、右方移動キーのいずれかのキーを押下した場合には、入力機能番号はそれぞれ２、２１１、２２となる。
【００８９】（２）直接ジャンプの場合「直接ジャンプ（「０」）」キーを入力して、数値入力可能な状態にし、利用者が設定項目に対応した機能番号をテンキーから入力し、最後に「確定（＃）」キーを押下する。これによって、今テンキーから入力した数値を入力機能番号に設定する。例えば、「文字・写真」に移動したい場合には，「2→1→2→＃」と押下すると、入力機能番号＝２１２と設定される。
【００９０】（３）音声認識の場合「音声認識（「３」）」キーを入力すると、音声入力部３７０を起動する。して、マイクロフォン等から項目名を表すことばまたは機能番号を発声する。音声入力部３７０では、音声認識部４１０を使って発声された音声を認識させ、認識結果を機能番号へ変換して操作入力部３３０へ戻す。これによって、入力された機能番号を入力機能番号に設定する。例えば、「もじしゃしん」と発声したときは、正しく認識されれば、入力機能番号＝２１２と設定される。
【００９１】また、操作入力部３３０は、利用者が階層メニューの下層へ移動を指示したときに、下層の設定項目が複数ある場合、下に列挙したうちのいずれか予め定めた方法で次の設定項目へ移動するようにしてもよい。
・下層の最初の項目に移動する。
・下層の現在選択されている項目に移動する。
・下層の既定項目に移動する。
また、操作入力部３３０は、利用者が水平方向の移動キーを操作して、同階層の設定項目を移動させるときには、その端の設定項目の次は反対の端の設定項目に移動したり、または、この循環移動を行わず、端にきたときそれ以上移動する項目がないので、それ以上は移動しないようにしてもよい。
【００９２】視覚入力部３４０は、画面上に設置されたタッチパネルを用いて、一般には視覚モードでは画面に表示された各種の設定項目を選択するための入力を行う。非視覚モードから一時的に視覚モードへ切り替えて、設定項目を選択することができる。視覚表示部３５０は、視覚モードでは、各種の機能を画面に表示する。非視覚モードでは、利用者が階層メニューから選択し、確定した設定項目を画面へ表示する。
【００９３】メニュー制御部３６０は、階層メニューを保持するメニューデータベース（ＤＢ）３６５を管理している。操作入力部３３０から渡された入力キーの種別がメニュー上の移動を伴う場合には、入力機能番号がメニューＤＢ３６５に存在するかどうかを検索し、存在すれば現在の機能番号を入力機能番号に置き換え、この置き換えられた機能番号に対応した設定項目が示す位置に移動し、その処理が行われる。また、移動を伴わないときには、そのキーに対する処理を行う。
【００９４】例えば、初期状態(機能番号＝１)で上方移動キーを押下すると、入力機能番号＝１／１０＝０となるので、メニューＤＢ３６５には登録されていない。この場合には、移動は起こらない。同様に、右方移動キーを押下すると入力機能番号＝１＋１＝２となり、メニューＤＢ３６５に登録されているので、該当する項目(「原稿」)に移動する。また、機能番号＝２１のとき左方移動キーを押下すると、入力機能番号＝２１−１＝２０であり、該当する機能番号がメニューＤＢ３６５に登録されていないので移動は起こらない。直接ジャンプや音声認識によって、機能番号が入力された場合にも、メニューＤＢ３６５にその入力機能番号が存在しなければ（例えば、「2→1→6→＃」）、移動は起こらない。
【００９５】音声入力部３７０は、操作入力部３３０から起動され、利用者が発声した設定項目名や機能番号を入力し、音声認識部４１０を介して入力された音声を音声認識する。図８のような設定項目名と機能番号の対応表をメモリへ記憶させておき、音声認識して設定項目名が入力された場合には、この対応表を検索して設定項目名を機能番号へ変換する。音声入力部３７０は、この認識された機能番号を操作入力部３３０へ引き渡す。これにより、利用者が階層メニューの所望する設定項目へ直接移動することができる。
【００９６】音出力部３８０は、非視覚モードにおいて、メニュー制御部３６０や操作制御部３２０の指示で、テンキーによる各種の操作および機能実行の成否を表す動作音、音声ガイダンス、ＢＧＭ等を出力する。音声ガイダンスは、音声合成部４２０によって生成された音声を出力する。機能実行部３９０は、操作制御部３２０から渡される各種の設定項目に対する設定値を機能（例えば、コピー機能やファクシミリ機能等）に応じて定められたＭＦＰ１００のメモリへ記憶させる。また、操作制御部３２０からの指示でＭＦＰ１００のメモリに記憶された設定値によって、機能を実行させる。
【００９７】また、この支援部４００は、音声認識部４１０、音声合成部４２０、音高変更部４３０、残響付加部４４０とから構成される。音声認識部４１０は、音声入力部３７０によって呼び出され、現在利用者が操作している機能（コピー機能やファクシミリ機能）に対する音声認識用辞書（例えば、コピー用の辞書）を用いて、利用者が発声した音声（階層メニューの設定項目名、機能番号、操作指令等）を音声認識した結果を音声入力部３７０へ戻す。
【００９８】音声合成部４２０は、音出力部３８０から呼び出され、利用者へ音声フィードバックするときに、音声合成用辞書を用いて、テキストから合成した音声をメニュー制御部３６０からの指示によって音高変更部４３０や残響付加部４４０で変形された音声を音出力部３８０へ戻す。ここで音出力部３８０によって音声フィードバックするときに、音声合成部４２０でテキストから音声合成するのではなく、録音された音声を使うようにしてもよい。
【００９９】音高変更部４３０は、音声合成部４２０から送られる音声に対して、メニュー制御部３６０に指示された設定項目が無効であれば音高を低くする、すなわち基本周波数を高くした音声で出力し、その設定項目が選択されていれば音高を高くする、すなわち基本周波数を低くした音声で出力する。音高の上下は、通常の高さと識別可能な変化量が必要であって、かつ発声内容を明瞭に聞き取れる範囲に抑える必要があるので、通常の自然発話における音域と音声合成で明瞭性を確保できる音域を考慮し、半オクターブ程度の変化量を与える。
【０１００】残響付加部４４０は、音声合成部４２０または音高変更部４３０からの音声に対してメニュー制御部３６０から指示された設定項目が下層に設定項目を持てば残響を付加する。残響付加は、例えば、音声を遅延器および減衰器に通した後に、入力に加算することで実現できる。この場合制御パラメータは遅延器の遅延時間と減衰器の減衰量となるが、通常の音声との識別性を向上することと音声の明瞭性を確保することを考慮し実験的に決定する。
【０１０１】なお、上述の構成では、音場感制御を音声属性のうち音高制御と残響付加によって行っているが、設定項目を読み上げる際は、話速、声種、音質などを変化させることで音場感を与えるように構成してもよい。話速制御は、録音合成では波形の伸縮、規則合成では音韻継続時間長の伸縮によって実現できる。また、声種の変更は、録音合成では録音元話者の変更、規則合成では素片波形の変更によって実現できる。また、音質の制御は、音声合成部の出力後にフィルターを挿入し、このカットオフ周波数を制御することによって実現できる。
【０１０２】Ｆ．ＭＦＰの動作このように構成された本ＭＦＰにおける動作を、コピー機能の操作を例にして説明する。図９は、コピー機能の操作に対する動作を示すフローチャートである。まず、モード切り替えキーが押下された場合（ステップＳ１のＹＥＳ）、現在の設定モードを切り替え（ステップＳ２）、次の操作指示を処理するためにステップＳ１へ戻る。「視覚モード」から「非視覚モード」へ切り替える場合、モード切り替えキーを押下し、ヘッドフォンとマイクを備えたヘッドセットをＭＦＰへ接続しなければならない。また、「非視覚モード」へ切り替わるとタッチパネルからの入力はロックされ、ヘッドフォンから「非視覚モードに入りました」という音声の通知がなされる。一方、現在の設定モードが「非視覚モード」であれば、「視覚モード」へ切り替える。ヘッドセットが接続されたままであれば、この「視覚モード」は、一時的なものであって、タッチパネルから操作された入力はヘッドフォンへ出力される。ヘッドセットをＭＦＰから切り離して、はじめて「視覚モード」へ切り替わる。
【０１０３】現在のモードが「視覚モード」の場合（ステップＳ３のＹＥＳ）、タッチパネル２０１を使って視覚入力部３４０によりＭＦＰの操作を行い（ステップＳ４）、次の操作指示を処理するためにステップＳ１へ戻る。
【０１０４】現在のモードが「非視覚モード」の場合は以下の処理を行う。機能キー（ＦＡＸ、コピー、プリンタ、スキャナ、ネットファイル等）２０６が押下された場合（ステップＳ５のＹＥＳ）、その押された機能に対応した階層メニューをメニューＤＢ３６５から取り出して初期設定し（ステップＳ６）、次の操作指示を処理するためにステップＳ１へ戻る。ここでは、機能キー「Ｃｏｐｙ」（図２参照）を選択したものとすると、ヘッドフォンから「コピーの操作ができるようになりました」と音声で利用者へ知らせる。
【０１０５】次に、方向移動キー（上下左右）が押下された場合（ステップＳ７のＹＥＳ）、階層の上下移動や同階層の隣接項目への移動し（ステップＳ８）、次の操作指示を処理するためにステップＳ１へ戻る。操作入力部３３０は、この入力されたキーの種別と入力された機能番号とをメニュー制御部３６０へ渡すことにより、階層メニューのどこにいるかを管理する。
【０１０６】移動するときには、メニュー制御部３６０は、音出力部３８０を呼び出して、動作音とＢＧＭを流し、さらに設定項目名も音声出力し、利用者へ確実に操作されていることを通知する。このときの音声は、項目名を音声合成部４２０によって合成した音声であり、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして読み上げる。さらに、その設定項目が下層に設定項目を持てば残響を付加して読み上げる。
【０１０７】また、メニュー制御部３６０は、階層メニューの端にきて、それ以上は移動できない場合には、音出力部３８０を呼び出して、「行き止まり」の動作音を出力し、利用者へ知らせる。階層メニュー上で上下方向に行き止まりになったときにも、「行き止まり」の動作音を出力し、利用者へ知らせる。
【０１０８】また、メニュー制御部３６０は、音出力部３８０を呼び出して、動作音、音アイコン、移動キーによって移動した先の設定項目名を音声で出力させ、この項目に対応するＢＧＭも出力させる。このときの音声は、項目名を音声合成部４２０によって合成した音声であり、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして読み上げる。さらに、その設定項目が下層に設定項目を持てば残響を付加して読み上げる。
【０１０９】次に、「トップへ戻る（「１」）」キーを押下した場合（ステップＳ９のＹＥＳ）、最上位階層の１番目のメニューにある設定項目に移動し（ステップＳ１０）、次の操作指示を処理するためにステップＳ１へ戻る。メニュー制御部３６０は、最上位階層の１番目のメニューにある設定項目になるように現在位置を管理する。この移動に際して、メニュー制御部３６０は、音出力部３８０を呼び出し、音アイコンとその移動先の設定項目名の音声を出力し、正しく動作したことを利用者へ通知する。このときの音声は、項目名を音声合成部４２０によって合成した音声であり、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして読み上げる。さらに、その設定項目が下層に設定項目を持てば残響を付加して読み上げる。
【０１１０】次に、「直接ジャンプ（「０」）」キーを押下した場合（ステップＳ１１のＹＥＳ）、続いて入力される機能番号に対応した設定項目に移動し（ステップＳ１２）、次の操作指示を処理するためにステップＳ１へ戻る。操作入力部３３０は、「直接ジャンプ（「０」）」キーが押下されると、音出力部３８０を呼び出し、動作音と「機能番号を入力してください」という音声とＢＧＭとを出力する。このＢＧＭが流れている間に、利用者はテンキーから数字を入力する。その入力された数字は音出力部３８０を介して読み上げられる。最後に、利用者が確定キー（「＃」）を押下すると、操作入力部３３０は、ＢＧＭを流すのを中止させ、メニュー制御部３６０によって、動作音と今入力した機能番号の設定項目の名前を音声で出力し、その設定項目を現在位置として管理する。
【０１１１】この指定した機能番号に対応する項目が階層名であるときには、階層名を音声合成部４２０によって合成した音声であり、この階層名が下層に設定項目を持てば残響を付加する。また、指定した機能番号が設定項目であれば、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして、設定項目を読み上げる。例えば、キー「０」の押下に続いて、「４３５」をテンキーによって入力すると高音で「変倍は縮小７１％に設定されました」という音声フィードバックがなされる。メニュー制御部３６０は、機能番号が最下層の設定項目を指定した場合には、その設定項目に対応する値をメニューＤＢ上の設定項目の設定値として保持し、操作制御部３２０は、機能実行部３９０を介して今指定された設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３５０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１１２】次に、「音声認識（「３」）」キーを押下した場合（ステップＳ１３のＹＥＳ）、続いて入力される音声を音声認識しその認識結果に対応した設定項目に移動し（ステップＳ１４）、次の操作指示を処理するためにステップＳ１へ戻る。操作入力部３３０は、「音声認識（「３」）」キーが押下されると、音出力部３８０を呼び出し、動作音とともに「設定項目名または機能番号を発声してください」と音声出力する。続いて、操作入力部３３０は、音声入力部３７０を呼び出し、利用者が発声した「設定項目名」や「機能番号」を音声認識部４１０で認識した認識結果をメニュー制御部３６０へ渡して、発声した設定項目を現在位置として管理する。このとき、メニュー制御部３６０は、音出力部３８０を呼び出し、音アイコンと入力した設定項目名とを音声出力し、利用者に音声入力が正しく認識されたことを通知する。
【０１１３】この指定した項目名や機能番号が階層名であるときには、階層名を音声合成部４２０によって合成した音声であり、この階層名が下層に設定項目を持てば残響を付加する。また、指定した機能番号が設定項目であれば、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして設定項目を読み上げる。メニュー制御部３６０は、音声で指定された項目名または機能番号が最下層の設定項目を指定した場合には、その設定項目に対応する値をメニューＤＢ３６５上の設定項目の設定値として保持し、操作制御部３２０は、機能実行部３９０を介して今指定された設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３５０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１１４】次に、部分クリアキー（「７」）を押下した場合（ステップＳ１５のＹＥＳ）、階層メニュー上の現在位置以下の階層にある設定項目の設定値を既定値へ戻し（ステップＳ１６）、次の操作指示を処理するためにステップＳ１へ戻る。メニュー制御部３６０は、部分クリアキー（「７」）が押下された場合、音出力部３８０を呼び出し、動作音とその指令内容（「階層メニュー上の現在位置とそれ以下の階層にある設定項目をクリアします」というメッセージ）を音声で利用者へ通知する。
【０１１５】続いて、メニュー制御部３６０は、階層メニュー上の現在位置以下の階層にある設定項目を探し、その設定項目が既定値から変更されている場合、その設定項目の設定値を読み上げて既定値へ戻すかどうかを利用者へ問い合わせる。利用者が変更してもよいと指示（例えば、確定キーによる）した場合、その設定項目の設定値を既定値へ戻す。この後、音アイコンと動作完了の音声メッセージを出力して、利用者へ部分クリアが完了したことを通知する。または、上記のように一つ一つ問い合わせることはせず、一括して既定値から変更された設定値を既定値へ戻してよいかを音声にて問い合わせるようにしてもよい。
【０１１６】さらに、メニュー制御部３６０は、既定値へ戻された設定項目とその既定値をメニューＤＢ３６５上の設定項目の設定値として保持し、操作制御部３２０は、機能実行部３９０を介して今指定された設定項目の既定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３５０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１１７】次に、「現在位置の説明（「９」）」キーを押下した場合（ステップＳ１７のＹＥＳ）、現在、階層メニューのどの階層名または設定項目にいるのかの情報提供し、（ステップＳ１８）、次の操作指示を処理するためにステップＳ１へ戻る。メニュー制御部３６０は、「現在位置の説明（「９」）」キーが押下されると、音出力部３８０を呼び出し、音アイコン、現在位置の階層名または設定項目名および設定値等を音声で利用者へ通知する。
【０１１８】現在位置が階層名であるときには、階層名を音声合成部４２０によって合成した音声であり、この階層名が下層に設定項目を持てば残響を付加する。また、現在位置が設定項目であれば、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして設定項目を読み上げる。
【０１１９】次に、「設定確認」キーを押下した場合（ステップＳ１９のＹＥＳ）、利用者が今までにどのような設定項目を選択したのかを音声で設定項目名と設定値を音声で通知し（ステップＳ２０）、次の操作指示を処理するためにステップＳ１へ戻る。メニュー制御部３６０は、「設定確認」キーが押下された場合、利用者が既定値から設定を変更した設定項目へ順次移動して、音出力部３８０を呼び出して設定項目名とその設定値を音声で読み上げ、利用者へ通知する。この際、メニュー制御部３６０は、移動先を現在位置として管理し、その設定項目に誤りがあれば修正できる。さらに、メニュー制御部３６０は、設定項目の変更が行われると、その変更された設定項目とその設定値をメニューＤＢ３６５上の設定項目の設定値として保持し、操作制御部３２０は、機能実行部３９０を介して今指定された設定項目の設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３５０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１２０】次に、「確定（「＃」）」キーを押下した場合（ステップＳ２１のＹＥＳ）、現在位置の設定項目の選択を確定し（ステップＳ２２）、次の操作指示を処理するためにステップＳ１へ戻る。メニュー制御部３６０は、確定キー（「＃」）が押下されると、音出力部３８０を呼び出し、動作音とその確定された動作内容を音声で出力し、利用者へ通知する。さらに、メニュー制御部３６０は、現在位置の設定項目の確定が行われると、その確定された設定項目とその設定値をメニューＤＢ３６５上の設定項目の設定値として保持し、操作制御部３２０は、機能実行部３９０を介して今確定された設定項目の設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３５０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１２１】最後に、各設定項目に設定が完了してスタートキーが押下された場合（ステップＳ２３のＹＥＳ）、選択されていた機能（コピー機能、ファクシミリ機能等）を実行させ（ステップＳ２４）、次の操作指示を処理するためにステップＳ１へ戻る。操作制御部３２０は、スタートキーが押下されると、機能実行部３９０を呼び出し、利用者が初めに選択した機能を動作させる。例えば、指定された機能がコピー機能であれば、これまでに設定した値に応じたコピー動作が行われる。この動作が終了したとき、操作制御部３２０は、音出力部３８０を呼び出し、利用者へその成否を音声で知らせる。例えば、「１２２％の変倍でコピーが終了しました」、「紙詰まりでコピーができませんでした」等の結果を音声にてフィードバックする。また、操作制御部３２０は、利用者が「４０部」のコピーを指定したようなときには、音出力部３８０を介して、今どのくらいのコピーが終了しているかを認識できるように、ＢＧＭを流し、利用者はそのＢＧＭの進み具合でどの程度の処理が完了したかを知ることができる。
【０１２２】また、機能制御部３１０は、ＭＦＰの動作中に装置の状態を監視し、例えば、「用紙切れ」、「トナー不足」、「紙詰まり」、「フロントカバーが開いている」等の場合には、音出力部３８０を呼び出して、音アイコンの後に、例えば、「用紙がなくなりました」、「トナーが残り少なくなりました」、「紙詰まりが発生しました」、「フロントカバーが開いています」等との音声とＢＧＭとを出力して利用者へ通知する。
【０１２３】Ｇ．ＭＦＰの他の機能構成上述した実施の形態では、本発明の機器操作装置（制御部３００と支援部４００）をＭＦＰへ組み込んだものとして説明した。ここでは他の実施の形態として、図１０のように機器操作装置のうち制御部３００をＭＦＰ、ファクシミリ装置、プリンタ装置やスキャナ装置等へ組み込み、汎用のコンピュータ（以下、ＰＣという）へ支援部４００を組み込むように構成してもよい。この場合、制御部３００と支援部４００との通信を行うためにそれぞれ通信部５００と通信部６００とをケーブル、赤外線通信、無線通信または通信回線（ネットワークを含む）等で接続する。
【０１２４】このような構成においては、制御部３００から音声認識処理を行う場合には、通信部５００を介して、音声認識処理の依頼であるというキー情報と音声入力部３７０で入力した音声データを通信部６００へ送信する。通信部６００は、このキー情報から音声認識部４１０を呼び出して、音声認識結果に先のキー情報をつけて、通信部５００へ送り返す。通信部５００は、この受信データをキー情報から音声認識結果であると判断して、音声入力部３７０へ戻す。
【０１２５】また、制御部３００から音声合成処理を行う場合には、通信部５００を介して、音声合成処理の依頼であるというキー情報と音出力部３８０で音声データへ変換したいテキスト文を通信部６００へ送信する。通信部６００は、このキー情報から音声合成部４２０または必要に応じて音高変更部４３０や残響付加部４４０を呼び出して、音声合成結果に先のキー情報をつけて、通信部６００へ送り返す。通信部６００は、この受信データをキー情報から音声合成結果であると判断して、音出力部３８０へ戻す。音声データを得る場合、テキストから音声合成させるのではなく、音声データのキー情報（どのような内容の音声データを欲しいのかの区分）によって録音された音声データを選択するように構成してもよい。
【０１２６】このようにＭＦＰ等とＰＣとに機能分担させることによって、ＭＦＰ等ごとに支援部４００のようなデータ量の多い辞書情報と処理時間のかかる音声認識や音声合成の処理機能を持たなくてもよくなるとともに、支援部４００の辞書、処理系やＰＣ自体のメンテナンスを行いやすくできる。このような構成の場合には、１つのＰＣに対して、複数のＭＦＰ等が接続するようにした方がコストバランスはよくなる。
【０１２７】Ｈ．ＭＦＰのさらに他の機能構成さらに他の実施の形態として、図１１のように機器操作装置のうち視覚モードに関する操作系および非視覚モードにおけるテンキー等の入力系をＭＦＰ、ファクシミリ装置、プリンタ装置やスキャナ装置等（以下、ＭＦＰという）へ組み込み、非視覚モードの処理を汎用のコンピュータ（以下、ＰＣという）へ組み込むように構成してもよい。この場合、ＭＦＰとＰＣとの通信を行うためにケーブル、赤外線通信、無線通信または通信回線（ネットワークを含む）等で接続する。
【０１２８】このような構成では、ＭＦＰ側で行われる入力に対して、非視覚モードが選択された場合、通信部７００を介して、操作入力部３３０から入力された種々のテンキーによる指示をＰＣ側の操作制御部３２０へ送信する。操作制御部３２０は、この受信した指示を処理し、ＭＦＰへの設定項目とその値があるときには、通信部７００を介して、機能実行部３９０へＭＦＰのメモリへ値を設定する。
【０１２９】このようにＭＦＰとＰＣとに機能分担させることによって、ＭＦＰごとに非視覚モードの処理系を持たなくてもよくなるとともに、非視覚モードの処理系自体のメンテナンスを行いやすくできる。このような構成の場合には、１つのＰＣに対して、複数のＭＦＰが接続するようにした方がコストバランスはよくなる。
【０１３０】さらに、図１１の実施の形態の変形例として、図１２のようにモードの切り替え、機能（コピー機能やファクシミリ機能等）の選択および非視覚モードを使用するときの入力からその処理系を汎用コンピュータ（以下、ＰＣという）で行い、設定された項目に対する値の設定や選択した機能の実行は、ＭＦＰ側で行うように構成してもよい。この場合、ＭＦＰとＰＣとの通信を行うために赤外線通信または無線通信等で接続する。
【０１３１】また、ＰＣは、テンキーやスタートキーおよびマイクとヘッドフォンとを接続できるような携帯端末であって、Ｂｌｕｅｔｏｏｔｈのような通信によってＭＦＰと接続可能なものであってもよい。このようにＭＦＰとＰＣとに機能分担させることによって、ＭＦＰ側の変更を最小限として、且つ、ＰＣを持つ利用者ごとに非視覚モードの処理系をカスタマイズすることができる。
【０１３２】このような構成では、ＰＣを持った利用者がＭＦＰの近傍へ行き、ＰＣから非視覚モードの選択、機能の選択およびその機能に併せた階層メニューを操作し、その操作結果の設定項目とその値および機能の実行を操作制御部３２０からＭＦＰ側の通信部７００へ送信する。通信部７００は、機能の選択に対する指示の場合、機能設定部７１０によりＭＦＰの機能（コピー機能またはファクシミリ機能等）を設定して、ＭＦＰ側の機能変更による初期設定を行う。また、項目への設定や機能の実行に関しては、機能実行部３９０で処理する。これらの設定した結果は通信部７００を介してＰＣ側の操作制御部３２０へ送信され、その結果を音声等で利用者へ通知される。
【０１３３】Ｉ．プログラムとしての実施の形態上述した実施の形態を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、このＣＤ−ＲＯＭをＣＤ−ＲＯＭドライブのような媒体駆動装置を搭載したコンピュータに装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによっても、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読出されたプログラム自体が上述した実施の形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【０１３４】なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
【０１３５】また、ロードしたプログラムを実行することにより上述した実施の形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれる。
【０１３６】また、上述した実施の形態の機能を実現するプログラムが、機能拡張ボードや機能拡張ユニットに備わるメモリにロードされ、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって、上述した実施例の機能が実現される場合も含まれる。
【０１３７】さらに、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、通信網で接続された利用者のコンピュータからダウンロード等の形式で頒布する場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【０１３８】
【発明の効果】以上説明したように本発明によれば、装置の作製コストを抑えるとともに、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる。また、操作のできる人が操作のできない人を手助けしやすい装置を提供できる。
【０１３９】また、階層メニュー中のどの位置の項目にいるのか、また、その位置の項目がどのような状態にあるのかを音声の属性を変えることによって、直感的かつ短時間で利用者に提示して操作の理解性と効率が向上する。
【図面の簡単な説明】
【図１】 本発明の機器操作装置を組み込んだＭＦＰのブロック図である。
【図２】 操作部の正面図である。
【図３】 コピー機能に関する階層メニューの例を示す図である。
【図４】 図３の続きである。
【図５】 階層メニューの展開例を示す図である。
【図６】 テンキーの機能配置例を示す図である。
【図７】 本発明の機器操作装置を組み込んだＭＦＰの機能構成図である。
【図８】 音声認識結果と機能番号との対応表の例である。
【図９】 コピー機能の操作に対する動作を示すフローチャートである。
【図１０】 本発明の機器操作装置を組み込んだＭＦＰの他の機能構成図である。
【図１１】 本発明の機器操作装置を組み込んだＭＦＰの他の機能構成図である。
【図１２】 図１１の機能構成の変形例である。
【符号の説明】
１００…ＭＦＰ、１０１…ホスト接続装置、１０２…ＦＡＸ回線用接続装置、１０３…ネットワーク接続装置、１０４…操作部、１０５…スキャナ装置、１０６…プリンタエンジン、１０７…制御コントローラ、１０８…記憶装置、１０９…音出力装置、２０１…液晶表示部（ＬＣＤ）およびタッチパネル、２０２…テンキー、２０３…クリア／ストップキー、２０４…スタートキー、２０５…設定確認キー、２０６…機能キー、３００…制御部、３１０…機能制御部、３２０…操作制御部、３３０…操作入力部、３４０…視覚入力部、３５０…視覚表示部、３６０…メニュー制御部、３６５…メニューデータベース（ＤＢ）、３７０…音声入力部、３８０…音出力部、３９０…機能実行部、４００…支援部、４１０…音声認識部、４２０…音声合成部、４３０…音高変更部、４４０…残響付加部、５００，６００，７００…通信部、７１０…機能設定部。
【特許請求の範囲】
【請求項１】 利用者が機器を操作する際、当該利用者の操作指示とその結果を音と音声によって通知するようにして、視覚を使用せずに機器を操作できるようにしたことを特徴とする機器操作装置。
【請求項２】 請求項１に記載の機器操作装置において、前記機器の動作が進行中および／または終了したときに、その動作結果を音と音声によって利用者へ通知するようにしたことを特徴とする機器操作装置。
【請求項３】 請求項１または２に記載の機器操作装置において、前記機器の操作項目に対する設定項目を階層構造の階層メニューとして配置し、その階層上の所望の設定項目へ移動し、その設定項目を選択することによってこの機器を操作するようにしたことを特徴とする機器操作装置。
【請求項４】 請求項３に記載の機器操作装置において、前記設定項目は機能番号を有することを特徴とする機器操作装置。
【請求項５】 請求項３または４に記載の機器操作装置において、前記機器の操作は、方向移動キーによって階層メニュー上の階層構造の設定項目を移動し、確定キーによってその設定項目の選択を確定することを特徴とする機器操作装置。
【請求項６】 請求項３、４または５に記載の機器操作装置において、前記機器の操作は、音声認識によって階層メニュー上の階層構造の設定項目を指定し、確定キーによってその設定項目の選択を確定することを特徴とする機器操作装置。
【請求項７】 請求項４、５または６に記載の機器操作装置において、前記機器の操作は、前記機能番号を音声認識によって指定することにより階層メニュー上の階層構造の設定項目を指定し、確定キーによってその設定項目の選択を確定することを特徴とする機器操作装置。
【請求項８】 請求項４、５、６または７に記載の機器操作装置において、前記機器の操作は、テンキーによって前記機能番号を指定することによって階層メニュー上の階層構造の設定項目を指定し、確定キーによってその設定項目の選択を確定することを特徴とする機器操作装置。
【請求項９】 請求項３乃至８のいずれか１に記載の機器操作装置において、前記操作結果として出力される音は、前記設定項目の種類に応じた音アイコンであることを特徴とする機器操作装置。
【請求項１０】 請求項３乃至９のいずれか１に記載の機器操作装置において、前記操作結果として出力される音は、前記階層上の移動場所によって異なる動作音またはＢＧＭを出力することを特徴とする機器操作装置。
【請求項１１】 請求項９または１０に記載の機器操作装置において、前記音アイコン、前記動作音または前記ＢＧＭを出力するとき、音の属性を異なるようにしたことを特徴とする機器操作装置。
【請求項１２】 請求項３乃至１１のいずれか１に記載の機器操作装置において、前記操作によって移動した前記階層上の設定項目の設定項目名および設定値を音声で読み上げることを特徴とする機器操作装置。
【請求項１３】 請求項１２に記載の機器操作装置において、前記設定項目名を読み上げる際に、音の属性の変化を読み上げ音声に付加することを特徴とする機器操作装置。
【請求項１４】 請求項１３に記載の機器操作装置において、現在、設定が無効である設定項目を、選択あるいは設定可能である設定項目よりも低い音声で読み上げることを特徴とする機器操作装置。
【請求項１５】 請求項１３または１４に記載の機器操作装置において、現在、選択あるいは設定されている設定項目を、選択あるいは設定されていない設定項目よりも高い音声で読み上げることを特徴とする機器操作装置。
【請求項１６】 請求項１３、１４または１５に記載の機器操作装置において、現在、選択あるいは設定することによって新たな選択あるいは設定項目を追加提示するように設定された項目に残響音を付加した音声で読み上げることを特徴とする機器操作装置。
【請求項１７】 請求項３乃至１６のいずれか１に記載の機器操作装置において、前記設定項目を入力するまでＢＧＭを出力することを特徴とする機器操作装置。
【請求項１８】 請求項３乃至１７のいずれか１に記載の機器操作装置において、前記各設定項目に対して確認操作を行ったときに、その設定項目の設定内容を音声により通知するようにしたことを特徴とする機器操作装置。
【請求項１９】 請求項３乃至１８のいずれか１に記載の機器操作装置において、一括確認操作を行ったときに、既定値を変更した前記設定項目へ順次移動して、その設定内容の変化を音声で通知するようにしたことを特徴とする機器操作装置。
【請求項２０】 請求項３乃至１９のいずれか１に記載の機器操作装置において、前記階層メニュー上の現在操作中の位置以下にある階層の設定項目の設定値を既定値へ戻す操作を行った場合、その設定項目ごとに既定値へ戻してよいかを音声により問い合わせることを特徴とする機器操作装置。
【請求項２１】 請求項３乃至１９に記載の機器操作装置において、前記階層メニュー上の現在操作中の位置以下にある階層の設定項目の設定値を既定値へ戻す操作を行った場合、その階層以下にある設定項目をすべて既定値へ戻してよいかを音声により問い合わせることを特徴とする機器操作装置。
【請求項２２】 請求項３乃至２１のいずれか１に記載の機器操作装置において、視覚表示装置を備え、前記設定項目の選択が確定されたときに、その確定した設定項目の内容を音声で通知するとともに、このとき確定した内容をこの視覚表示装置にも表示するようにしたことを特徴とする機器操作装置。
【請求項２３】 請求項３乃至２２のいずれか１に記載の機器操作装置において、視覚入力装置を備え、前記視覚表示装置に表示された設定状況に対してこの視覚入力装置から入力された場合にも音および音声によって前記利用者へ通知することを特徴とする機器操作装置。
【請求項２４】 コンピュータを、請求項１乃至２３のいずれか１つに記載の機器操作装置として機能させるためのプログラム。
【請求項２５】請求項２４に記載の機器操作プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２６】 請求項１乃至２３のいずれか１に記載の機器操作装置を用いて、視覚を使用せずに画像形成装置を操作することを特徴とする画像形成装置。
【請求項１】 利用者が機器を操作する際、当該利用者の操作指示とその結果を音と音声によって通知するようにして、視覚を使用せずに機器を操作できるようにしたことを特徴とする機器操作装置。
【請求項２】 請求項１に記載の機器操作装置において、前記機器の動作が進行中および／または終了したときに、その動作結果を音と音声によって利用者へ通知するようにしたことを特徴とする機器操作装置。
【請求項３】 請求項１または２に記載の機器操作装置において、前記機器の操作項目に対する設定項目を階層構造の階層メニューとして配置し、その階層上の所望の設定項目へ移動し、その設定項目を選択することによってこの機器を操作するようにしたことを特徴とする機器操作装置。
【請求項４】 請求項３に記載の機器操作装置において、前記設定項目は機能番号を有することを特徴とする機器操作装置。
【請求項５】 請求項３または４に記載の機器操作装置において、前記機器の操作は、方向移動キーによって階層メニュー上の階層構造の設定項目を移動し、確定キーによってその設定項目の選択を確定することを特徴とする機器操作装置。
【請求項６】 請求項３、４または５に記載の機器操作装置において、前記機器の操作は、音声認識によって階層メニュー上の階層構造の設定項目を指定し、確定キーによってその設定項目の選択を確定することを特徴とする機器操作装置。
【請求項７】 請求項４、５または６に記載の機器操作装置において、前記機器の操作は、前記機能番号を音声認識によって指定することにより階層メニュー上の階層構造の設定項目を指定し、確定キーによってその設定項目の選択を確定することを特徴とする機器操作装置。
【請求項８】 請求項４、５、６または７に記載の機器操作装置において、前記機器の操作は、テンキーによって前記機能番号を指定することによって階層メニュー上の階層構造の設定項目を指定し、確定キーによってその設定項目の選択を確定することを特徴とする機器操作装置。
【請求項９】 請求項３乃至８のいずれか１に記載の機器操作装置において、前記操作結果として出力される音は、前記設定項目の種類に応じた音アイコンであることを特徴とする機器操作装置。
【請求項１０】 請求項３乃至９のいずれか１に記載の機器操作装置において、前記操作結果として出力される音は、前記階層上の移動場所によって異なる動作音またはＢＧＭを出力することを特徴とする機器操作装置。
【請求項１１】 請求項９または１０に記載の機器操作装置において、前記音アイコン、前記動作音または前記ＢＧＭを出力するとき、音の属性を異なるようにしたことを特徴とする機器操作装置。
【請求項１２】 請求項３乃至１１のいずれか１に記載の機器操作装置において、前記操作によって移動した前記階層上の設定項目の設定項目名および設定値を音声で読み上げることを特徴とする機器操作装置。
【請求項１３】 請求項１２に記載の機器操作装置において、前記設定項目名を読み上げる際に、音の属性の変化を読み上げ音声に付加することを特徴とする機器操作装置。
【請求項１４】 請求項１３に記載の機器操作装置において、現在、設定が無効である設定項目を、選択あるいは設定可能である設定項目よりも低い音声で読み上げることを特徴とする機器操作装置。
【請求項１５】 請求項１３または１４に記載の機器操作装置において、現在、選択あるいは設定されている設定項目を、選択あるいは設定されていない設定項目よりも高い音声で読み上げることを特徴とする機器操作装置。
【請求項１６】 請求項１３、１４または１５に記載の機器操作装置において、現在、選択あるいは設定することによって新たな選択あるいは設定項目を追加提示するように設定された項目に残響音を付加した音声で読み上げることを特徴とする機器操作装置。
【請求項１７】 請求項３乃至１６のいずれか１に記載の機器操作装置において、前記設定項目を入力するまでＢＧＭを出力することを特徴とする機器操作装置。
【請求項１８】 請求項３乃至１７のいずれか１に記載の機器操作装置において、前記各設定項目に対して確認操作を行ったときに、その設定項目の設定内容を音声により通知するようにしたことを特徴とする機器操作装置。
【請求項１９】 請求項３乃至１８のいずれか１に記載の機器操作装置において、一括確認操作を行ったときに、既定値を変更した前記設定項目へ順次移動して、その設定内容の変化を音声で通知するようにしたことを特徴とする機器操作装置。
【請求項２０】 請求項３乃至１９のいずれか１に記載の機器操作装置において、前記階層メニュー上の現在操作中の位置以下にある階層の設定項目の設定値を既定値へ戻す操作を行った場合、その設定項目ごとに既定値へ戻してよいかを音声により問い合わせることを特徴とする機器操作装置。
【請求項２１】 請求項３乃至１９に記載の機器操作装置において、前記階層メニュー上の現在操作中の位置以下にある階層の設定項目の設定値を既定値へ戻す操作を行った場合、その階層以下にある設定項目をすべて既定値へ戻してよいかを音声により問い合わせることを特徴とする機器操作装置。
【請求項２２】 請求項３乃至２１のいずれか１に記載の機器操作装置において、視覚表示装置を備え、前記設定項目の選択が確定されたときに、その確定した設定項目の内容を音声で通知するとともに、このとき確定した内容をこの視覚表示装置にも表示するようにしたことを特徴とする機器操作装置。
【請求項２３】 請求項３乃至２２のいずれか１に記載の機器操作装置において、視覚入力装置を備え、前記視覚表示装置に表示された設定状況に対してこの視覚入力装置から入力された場合にも音および音声によって前記利用者へ通知することを特徴とする機器操作装置。
【請求項２４】 コンピュータを、請求項１乃至２３のいずれか１つに記載の機器操作装置として機能させるためのプログラム。
【請求項２５】請求項２４に記載の機器操作プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２６】 請求項１乃至２３のいずれか１に記載の機器操作装置を用いて、視覚を使用せずに画像形成装置を操作することを特徴とする画像形成装置。
【図１】
【図２】
【図４】
【図６】
【図８】
【図３】
【図５】
【図７】
【図１０】
【図９】
【図１１】
【図１２】
【図２】
【図４】
【図６】
【図８】
【図３】
【図５】
【図７】
【図１０】
【図９】
【図１１】
【図１２】
【公開番号】特開２００３−３２３０８１（Ｐ２００３−３２３０８１Ａ）
【公開日】平成１５年１１月１４日（２００３．１１．１４）
【国際特許分類】
【出願番号】特願２００２−１２９０２７（Ｐ２００２−１２９０２７）
【出願日】平成１４年４月３０日（２００２．４．３０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成１５年１１月１４日（２００３．１１．１４）
【国際特許分類】
【出願日】平成１４年４月３０日（２００２．４．３０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]