エミュレータ装置およびプログラム
【課題】電子装置が備える操作子の多様な操作方法を説明するのに適したエミュレータ装置を提供する。
【解決手段】関数電卓のエミュレータ画面ＧＥを表示させた状態で、教師の説明に伴うマイクからの入力音声を音声認識する。音声認識された入力音声に、表示変換テーブルに記憶されている何れかのキー音声が含まれ、さらに、同キー音声の後に有効確認単語テーブルに記憶されているキー操作を意図した単語音声が含まれると判断されると共に、電卓動作モードが同キー音声に対応するキーが動作するためのモードであると判断された場合は、前記エミュレータ画面ＧＥ内の電卓キーボードＫＢ上の該当するキーにキー識別マークＭが表示される。
【解決手段】関数電卓のエミュレータ画面ＧＥを表示させた状態で、教師の説明に伴うマイクからの入力音声を音声認識する。音声認識された入力音声に、表示変換テーブルに記憶されている何れかのキー音声が含まれ、さらに、同キー音声の後に有効確認単語テーブルに記憶されているキー操作を意図した単語音声が含まれると判断されると共に、電卓動作モードが同キー音声に対応するキーが動作するためのモードであると判断された場合は、前記エミュレータ画面ＧＥ内の電卓キーボードＫＢ上の該当するキーにキー識別マークＭが表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関数電卓などのユーザ操作に応じて動作する電子装置のエミュレータ装置およびその制御プログラムに関する。
【背景技術】
【０００２】
従来、例えば教育現場において、関数電卓の操作方法を説明する場合に、ＰＣとプロジェクタを用い、関数電卓を模した画面をプロジェクタに表示させるマネージャソフトが実用されている。
【０００３】
この場合、プロジェクタにより表示された関数電卓を模した画面に対しては、ユーザ（教師等）によってＰＣ上で操作されるマウスポインタやユーザが手にするレーザポインタによって当該電卓のキーを指し示し、キー操作の手順等を説明していた。
【０００４】
しかしながら、ユーザの手で操作されるマウスポインタやレーザポインタは、その位置がずれたり揺れたりして生徒側からは見難い場合が多々あった。
【０００５】
そこで、ユーザによる説明の音声を認識してポインタの機能を行わせることが考えられる。
【０００６】
従来のプレゼンテーション画面の表示装置において、音声認識を用いてプレゼンターにより音声入力された単語と画面上に表示された文字列が一致した場合に、当該文字列を強調表示することが考えられている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−２０８２９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の音声認識を用いたプレゼンテーション画面の表示装置は、音声入力された単語と画面上に表示された文字列が一致した場合に当該文字列を強調表示するものであるが、例えば関数電卓に備えられる各キーは、当該キー操作によって機能させたい内容に応じて、必ずしもキートップに表記された文字列と一致する呼び方をするものではない。
【０００９】
このため、関数電卓のキー操作手順など、電子装置が備える操作子の多様な操作方法を説明するための表示装置としては適用することができない。
【００１０】
本発明は、このような課題に鑑みなされたもので、電子装置が備える操作子の多様な操作方法を説明するのに適したエミュレータ装置およびその制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係るエミュレータ装置は、電子装置のエミュレータ画面を表示するエミュレータ画面表示手段と、音声入力手段と、この音声入力手段により入力された音声を認識する音声認識手段と、この音声認識手段により前記電子装置の操作子に相当する音声が認識された場合は、前記エミュレータ画面表示手段により表示されたエミュレータ画面の該当する操作子を識別表示する操作子識別表示手段と、を備えたことを特徴としている。
【００１２】
本発明に係るプログラムは、表示手段と音声入力手段を備えたコンピュータを制御するためのプログラムであって、前記コンピュータを、電子装置のエミュレータ画面を前記表示手段により表示させるエミュレータ画面表示手段、前記音声入力手段により入力された音声を認識する音声認識手段、この音声認識手段により前記電子装置の操作子に相当する音声が認識された場合は、前記エミュレータ画面表示手段により表示されたエミュレータ画面の該当する操作子を識別表示する操作子識別表示手段、として機能させることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、電子装置が備える操作子の多様な操作方法を説明するのに適したエミュレータ装置およびその制御プログラムを提供できる。
【図面の簡単な説明】
【００１４】
【図１】本発明のエミュレータ装置の実施形態に係る電卓エミュレータを有するマネージャソフトを用いたプレゼンテーションシステムの構成を示す図。
【図２】前記マネージャソフトがインストールされたＰＣ１０の電子回路の構成を示すブロック図。
【図３】前記ＰＣ１０内のマネージャソフト１３ｍのマーク表示プログラム１３ｍ３に含まれる表示変換テーブル１３ｔ１を示す図。
【図４】前記ＰＣ１０内のマーク表示プログラム１３ｍ３に含まれる表示変換テーブル１３ｔ１の各音声データと組み合わせて設定される有効確認単語テーブル１３ｔ２を示す図。
【図５】前記ＰＣ１０のマネージャソフト１３ｍに従ったエミュレータ表示処理を示すフローチャート。
【図６】前記ＰＣ１０のエミュレータ表示処理に伴うマーク表示処理を示すフローチャート。
【図７】前記ＰＣ１０のエミュレータ表示処理に伴う電卓エミュレータ画面ＧＥの表示状態を示す図。
【図８】前記ＰＣ１０のエミュレータ表示処理に伴う他の実施形態のマーク表示処理を示すフローチャート。
【図９】前記ＰＣ１０の他の実施形態のマーク表示処理に伴う電卓エミュレータ画面ＧＥの表示状態を示す図。
【発明を実施するための形態】
【００１５】
以下図面により本発明の実施の形態について説明する。
【００１６】
図１は、本発明のエミュレータ装置の実施形態に係る電卓エミュレータを有するマネージャソフトを用いたプレゼンテーションシステムの構成を示す図である。
【００１７】
このプレゼンテーションシステムは、例えば教育現場において教師が生徒にグラフ関数電卓の操作方法を説明するためのものであり、ＰＣ１０にインストールされたマネージャソフト１３ｍによって当該ＰＣ１０のハードウエアを動作させてグラフ関数電卓のエミュレータ画面ＧＥ（図７参照）を生成し、プロジェクタ２０によって教室のスクリーン３０に表示させる。
【００１８】
前記マネージャソフト１３ｍは、音声認識プログラムを有し、マイク１１により入力されたユーザ（教師）Ｈの音声を認識し、その音声認識の内容に従って前記電卓エミュレータ画面ＧＥの表示を制御する機能を有する。
【００１９】
図２は、前記マネージャソフトがインストールされたＰＣ１０の電子回路の構成を示すブロック図である。
【００２０】
このＰＣ１０は、コンピュータである制御部（ＣＰＵ）１２を備えている。制御部１２は、記憶装置１３に予め記憶されたＰＣ制御プログラム、あるいは通信ネットワーク上のプログラムサーバやＣＤ−ＲＯＭなどの外部記録媒体から入出力インターフェイス１４を介して記憶装置１３に読み込まれたＰＣ制御プログラムに従ってＲＡＭ１５を作業用メモリとし回路各部の動作を制御する。
【００２１】
前記記憶装置１３に記憶されるＰＣ制御プログラムとしては、ＰＣ１０の全体の制御を司るシステムプログラムの他、各種のアプリケーションプログラム、そして、グラフ関数電卓のエミュレータ画面ＧＥを生成し、ユーザ操作に応じて当該エミュレータ画面ＧＥの表示を制御するためのマネージャソフト（プログラム）１３ｍが記憶される。
【００２２】
前記マネージャソフト１３ｍには、本ＰＣ１０の電子回路をグラフ関数電卓に模倣して動作させるための電卓エミュレータプログラム１３ｍ１、当該電卓エミュレータプログラム１３ｍ１が起動中のマイク１１による入力音声を認識するための音声認識プログラム１３ｍ２、音声認識された内容に応じて前記電卓エミュレータ画面ＧＥのキーを識別表示させるためのマーク表示プログラム１３ｍ３が含まれる。
【００２３】
そして、前記記憶装置１３に記憶されるＰＣ制御プログラムは、前記マイク１１からの入力音声、キーボード１６からのキー信号、マウス１６Ｍからの移動信号やクリック信号等に応じて起動される。
【００２４】
このように、制御部１２には、マイク１１、記憶装置１３、入出力インターフェイス１４、ＲＡＭ１５、キーボード１６、マウス１６Ｍが接続される他に、本体表示部１７が接続され、さらに、前記入出力インターフェイス１４を介して前記プロジェクタ２０が接続される。
【００２５】
図３は、前記ＰＣ１０内のマネージャソフト１３ｍのマーク表示プログラム１３ｍ３に含まれる表示変換テーブル１３ｔ１を示す図である。
【００２６】
この表示変換テーブル１３ｔ１は、音声認識の対象とするキー音声データと、当該キー音声データに対応するグラフ関数電卓のキーと、当該キーを識別表示するための電卓動作モードのモード条件とを対応付けて記憶したものである。
【００２７】
電卓エミュレータプログラム１３ｍ１の起動状態で、例えば、音声認識プログラム１３ｍ２により認識された入力音声が「サインキー」である場合、電卓エミュレータ画面ＧＥに表示中の［ｓｉｎ］キーを識別表示するための条件として、現在の電卓動作モードが“演算モード”であることが設定される。また例えば、音声認識プログラム１３ｍ２により認識された入力音声が「トレースキー」である場合、電卓エミュレータ画面ＧＥに表示中の［ＳＨＩＦＴ］キーと［Ｆ１］キーを順次識別表示するための条件として、現在の電卓動作モードが“グラフモード”であることが設定される。
【００２８】
図４は、前記ＰＣ１０内のマーク表示プログラム１３ｍ３に含まれる表示変換テーブル１３ｔ１の各音声データと組み合わせて設定される有効確認単語テーブル１３ｔ２を示す図である。
【００２９】
この有効確認単語テーブル１３ｔ２には、前記表示変換テーブル１３ｔ１に記録された何れかのキー音声データが入力音声として認識された際に、当該キー音声データに対応付けられたキーを識別表示するためのもう１つの条件として、当該キー音声データと組み合わせて入力音声の認識が必要な単語音声データ（「操作」「押して」）が記憶される。
【００３０】
つまり、電卓エミュレータプログラム１３ｍ１の起動状態で、前記表示変換テーブル１３ｔ１に記憶された何れかのキー音声データが入力音声として認識された際に、当該キー音声データと組み合わせて前記有効確認単語テーブル１３ｔ２に記憶された単語音声データ（「操作」または「押して」）が入力音声として認識された場合に、前記キー音声データの音声認識を有効として判断する。
【００３１】
このように構成されたＰＣ１０は、制御部（ＣＰＵ）１２が前記ＰＣ制御プログラム（マネージャソフト１３ｍを含む）に記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べる機能を実現する。
【００３２】
次に、前記構成のマネージャソフトを用いたプレゼンテーションシステムのＰＣ１０によるエミュレータ表示動作について説明する。
【００３３】
図５は、前記ＰＣ１０のマネージャソフト１３ｍに従ったエミュレータ表示処理を示すフローチャートである。
【００３４】
図６は、前記ＰＣ１０のエミュレータ表示処理に伴うマーク表示処理を示すフローチャートである。
【００３５】
図７は、前記ＰＣ１０のエミュレータ表示処理に伴う電卓エミュレータ画面ＧＥの表示状態を示す図である。
【００３６】
前記図１で示したように構成したプレゼンテーションシステムにより、教師が生徒にグラフ関数電卓の操作方法について教えるため、ＰＣ１０においてマネージャソフト１３ｍが起動されると、電卓エミュレータプログラム１３ｍ１に従い、図７（Ａ）に示すような電卓エミュレータ画面ＧＥが生成されて表示部１７に表示されると共に、同電卓エミュレータ画面ＧＥの表示データが入出力インターフェイス１４を介してプロジェクタ２０に出力され、教室のスクリーン３０に表示される（ステップＳ１）。
【００３７】
前記電卓エミュレータ画面ＧＥは、グラフ関数電卓の正面パネルを模倣した電卓キーボードＫＢおよび電卓表示部ＤＳからなる電卓画面ＦＸと、前記電卓キーボードＫＢに配列されたキーをマウスポインタによりクリックすることで入力されたキー入力データが入力順に記録されて表示されるキーログ画面ＫＬとで構成される。
【００３８】
こうして前記電卓エミュレータ画面ＧＥが生成されて表示されると、音声認識プログラム１３ｍ２に従い、マイク１１から入力される音声の認識処理が開始され（ステップＳ２）、音声入力またはマウス入力の待機状態になる（ステップＳ３ or Ｓ１３）。
【００３９】
例えば教師Ｈによるグラフ関数電卓の説明に伴う音声がマイク１１から入力されると（ステップＳ３（Ｙｅｓ））、当該入力音声が所定の時間（例えば２秒）以上途切れたと判断されるまで連続して取り込まれＲＡＭ１５に記憶される（ステップＳ４，Ｓ５）。
【００４０】
そして、前記入力音声が所定時間以上途切れたと判断されると（ステップＳ５（Ｙｅｓ））、前記ＲＡＭ１５に記憶された音声データが順次音声認識処理され（ステップＳ６）、入力された音声が雑音データなどであるか、あるいは有効な音声データであるか判断される（ステップＳ７）。
【００４１】
ここで、有効な音声データであると判断された入力音声について（ステップＳ７（Ｙｅｓ））、マーク表示プログラム１３ｍ３に従い、表示変換テーブル１３ｔ１（図３参照）に記憶されている何れかのキー音声と一致する入力音声が含まれるか否か判断される（キー名称チェック：ステップＳ８）。
【００４２】
前記表示変換テーブル１３ｔ１に記憶された何れかのキー音声と一致する入力音声が含まれると判断されると（ステップＳ８（Ｙｅｓ））、当該キー音声と一致判断された入力音声に続いて有効であると判断された入力音声について、有効確認単語テーブル１３ｔ２に記憶されている単語音声（「操作」または「押して」）と一致する入力音声が含まれるか判断される（並びチェック：ステップＳ９）。
【００４３】
前記有効確認単語テーブル１３ｔ２に記憶された単語音声（「操作」または「押して」）と一致する入力音声が含まれると判断されると（ステップＳ９（Ｙｅｓ））、現在の電卓エミュレータの動作モードが、前記表示変換テーブル１３ｔ１にて一致判断されたキー音声のキーに対応付けられて記憶された動作モードの条件（例えば、入力音声に含まれたキー音声が「トレースキー」でそのキーが［ＳＨＩＦＴ］＋［Ｆ１］キーの場合は“グラフモード”）と一致するか判断される（状態チェック：ステップＳ１０）。
【００４４】
前記表示変換テーブル１３ｔ１にて入力音声と一致判断されたキー音声のキーに対応付けられた動作モードの条件と一致したと判断されると（ステップＳ１０（Ｙｅｓ））、前記電卓画面ＦＸの電卓キーボードＫＢ上で既にキー識別マークＭが表示されている場合には同マークＭの表示が解除された後（ステップＳ１１）、前記入力音声と一致判断されたキー音声のキーと対応するところのキー表示部分に新たなキー識別マークＭが表示される（ステップＳＡ）。
【００４５】
このキー識別マークＭの表示処理（ステップＳＡ）において、識別表示の対象となるキーが１つである場合は（ステップＡ１（Ｎｏ））、図７（Ａ）に示すように、該当するキー表示部分（この場合は［ＭＥＮＵ］）に赤色のキー識別マークＭが表示される（ステップＡ２）。
【００４６】
また、キー識別マークＭの表示処理（ステップＳＡ）において、識別表示の対象となるキーが複数ある場合は（ステップＡ１（Ｙｅｓ））、図７（Ｂ）に示すように、該当する第１のキー表示部分（この場合は［ＳＨＩＦＴ］）に緑色のキー識別マークＭ１が表示された後（ステップＡ３）、第２のキー表示部分（この場合は［Ｆ１］）に赤色のキー識別マークＭ２が表示される（ステップＡ４）。
【００４７】
一方、有効な音声データであると判断された入力音声について（ステップＳ７（Ｙｅｓ））、前記表示変換テーブル１３ｔ１に記憶された何れかのキー音声と一致する入力音声が含まれないと判断された場合は（ステップＳ８（Ｎｏ））、前記電卓画面ＦＸの電卓キーボードＫＢ上で既にキー識別マークＭが表示されている場合には同マークＭの表示が解除された後（ステップＳ１２）、前記音声入力またはマウス入力の待機状態に戻る（ステップＳ３ or Ｓ１３）。
【００４８】
また、前記表示変換テーブル１３ｔ１に記憶された何れかのキー音声と一致する入力音声が含まれると判断された場合であっても（ステップＳ８（Ｙｅｓ））、さらに、前記有効確認単語テーブル１３ｔ２に記憶された単語音声（「操作」または「押して」）と一致する入力音声が含まれないと判断された場合には（ステップＳ９（Ｎｏ））、前記音声入力またはマウス入力の待機状態に戻る（ステップＳ３ or Ｓ１３）。
【００４９】
また、前記表示変換テーブル１３ｔ１に記憶された何れかのキー音声と一致する入力音声が含まれると判断され（ステップＳ８（Ｙｅｓ））、さらに、前記有効確認単語テーブル１３ｔ２に記憶された単語音声（「操作」または「押して」）と一致する入力音声が含まると判断された場合であっても（ステップＳ９（Ｙｅｓ））、現在の電卓エミュレータの動作モードが、前記表示変換テーブル１３ｔ１にて一致判断されたキー音声のキーに対応付けられた動作モードの条件と一致しないと判断された場合には（ステップＳ１０（Ｎｏ））、前記音声入力またはマウス入力の待機状態に戻る（ステップＳ３ or Ｓ１３）。
【００５０】
具体的には、教師Ｈの説明として「グラフを表示する場合には、先ずメニューキーを操作して、グラフモードを設定します」との一連の入力音声が認識された場合は（ステップＳ３〜Ｓ７）、表示変換テーブル１３ｔ１のキー音声「メニューキー」が含まれると判断されると共に（ステップＳ８（Ｙｅｓ））、有効確認単語テーブル１３ｔ２の単語音声「操作」が含まれると判断される（ステップＳ９（Ｙｅｓ））。この場合、表示変換テーブル１３ｔ１において前記キー音声「メニューキー」のキー［ＭＥＮＵ］に対応付けられた動作モードの条件は無し“−”なので（ステップＳ１０（Ｙｅｓ））、図７（Ａ）に示すように、電卓エミュレータ画面ＧＥ内の電卓画面ＦＸにおける電卓キーボードＫＢの該当するキー表示部分［ＭＥＮＵ］に赤色のキー識別マークＭが表示される（ステップＳＡ（Ａ１→Ａ２））。
【００５１】
また、電卓エミュレータの動作モードが“グラフモード”に設定された状態で、教師Ｈの説明として「グラフをトレースする場合には、トレースキーを操作します」との一連の入力音声が認識された場合は（ステップＳ３〜Ｓ７）、表示変換テーブル１３ｔ１のキー音声「トレースキー」が含まれると判断されると共に（ステップＳ８（Ｙｅｓ））、有効確認単語テーブル１３ｔ２の単語音声「操作」が含まれると判断され（ステップＳ９（Ｙｅｓ））、さらに、前記キー音声「トレースキー」のキー［ＳＨＩＦＴ］＋［Ｆ１］に対応付けられた動作モードの条件“グラフモード”に一致すると判断される（ステップＳ１０（Ｙｅｓ））。すると、図７（Ｂ）に示すように、電卓エミュレータ画面ＧＥ内の電卓画面ＦＸにおける電卓キーボードＫＢの該当する第１のキー表示部分［ＳＨＩＦＴ］に緑色のキー識別マークＭ１が表示された後、第２のキー表示部分［Ｆ１］に赤色のキー識別マークＭ２が表示される（ステップＳＡ（Ａ１→Ａ３，Ａ４））。
【００５２】
また、教師Ｈの説明として「トレースキーはグラフ上の各点の座標を表示させます」との一連の入力音声が認識された場合は（ステップＳ３〜Ｓ７）、表示変換テーブル１３ｔ１のキー音声「トレースキー」が含まれると判断されるものの（ステップＳ８（Ｙｅｓ））、有効確認単語テーブル１３ｔ２に記憶された何れの単語音声（「操作」または「押して」）も含まれないと判断されるので（ステップＳ９（Ｎｏ））、キー識別マークＭは表示されず、音声入力またはマウス入力の待機状態になる（ステップＳ３ or Ｓ１３）。
【００５３】
一方、前記音声入力またはマウス入力の待機状態において（ステップＳ３ or Ｓ１３）、マウス１６Ｍから移動信号が入力されると（ステップＳ１３，Ｓ１４（Ｙｅｓ））、前記電卓エミュレータ画面ＧＥ上に表示されているマウスポインタが、当該マウス１６Ｍの移動信号に応じた方向と距離に対応する位置に移動されて表示される（ステップＳ１５）。
【００５４】
また、マウス１６Ｍからクリック信号が入力されると（ステップＳ１３〜Ｓ１６（Ｙｅｓ））、前記電卓エミュレータ画面ＧＥ内の電卓キーボードＫＢ上にキー識別マークＭの表示中であるか否かが判断される（ステップＳ１７）。
【００５５】
ここで、電卓キーボードＫＢ上にキー識別マークＭの表示中であると判断され（ステップＳ１７（Ｙｅｓ））、さらに、前記マウス１６Ｍからのクリック信号に応じた電卓エミュレータ画面ＧＥ上でのクリック位置が、当該キー識別マークＭの表示中であるキーの位置と同じであると判断されると（ステップＳ１８（Ｙｅｓ））、該当するキーの入力に応じた電卓処理が実行され、電卓表示部ＤＳの表示内容が更新される（ステップＳ１９）。
【００５６】
なお、前記マウス１６Ｍからのクリック信号に応じた電卓エミュレータ画面ＧＥ上でのクリック位置が、キー識別マークＭの表示中であるキーの位置と同じではないと判断された場合には（ステップＳ１８（Ｎｏ））、該当するマウスクリックに応じた電卓処理は実行されず、キーマーク位置とクリック位置とが異なる事を報知するアラームメッセージが表示される（ステップＳ２０）。
【００５７】
一方、マウス１６Ｍからクリック信号が入力された際に（ステップＳ１３〜Ｓ１６（Ｙｅｓ））、前記電卓エミュレータ画面ＧＥ内の電卓キーボードＫＢ上にキー識別マークＭの表示中ではないと判断された場合には（ステップＳ１７（Ｙｅｓ））、該当するマウスクリックの入力に応じた電卓処理が実行され、電卓表示部ＤＳの表示内容が更新される（ステップＳ１９）。
【００５８】
したがって、前記構成のマネージャソフトを用いたプレゼンテーションシステムのＰＣ１０によるエミュレータ表示機能によれば、関数電卓のエミュレータ画面ＧＥを表示させた状態で、教師Ｈの説明に伴うマイク１１からの入力音声を音声認識する。音声認識された入力音声に、表示変換テーブル１３ｔ１に記憶されている何れかのキー音声が含まれ、さらに、同キー音声の後に有効確認単語テーブル１３ｔ２に記憶されているキー操作を意図した単語音声が含まれると判断されると共に、電卓動作モードが同キー音声に対応するキーが動作するためのモードであると判断された場合は、前記エミュレータ画面ＧＥ内の電卓キーボードＫＢ上の該当するキーにキー識別マークＭが表示される。
【００５９】
このため、電卓エミュレータ画面ＧＥにて表示された各種のキーの操作手順を説明する際に、マウスポインタやレーザポインタによって当該各キーを指し示す必要なく、該当するキーを生徒に見易く且つ適切に識別表示させることができる。
【００６０】
なお、前記実施形態の図５〜図７を参照して説明したマーク表示処理（ステップＳＡ（Ａ１〜Ａ４））では、例えばキー音声「トレースキー」や「ルートキー」に対応して操作対象となるキーが、［ＳＨＩＦＴ］キーと、電卓キーボードＫＢ上に[Trace]や[√]と表記された［Ｆ１］キーや［ｘ２］キーとの第１，第２のキーからなる場合に、該当する第１のキー表示部分［ＳＨＩＦＴ］に緑色のキー識別マークＭ１を表示させた後、第２のキー表示部分（［Ｆ１］や［ｘ２］）に赤色のキー識別マークＭ２を表示させる構成とした。
【００６１】
ここで、前記［ＳＨＩＦＴ］キーとの組合せで機能する機能名の文字・記号が電卓キーボードＫＢ上に表記されているところの各キーを、当該［ＳＨＩＦＴ］キーとの組合せを要する場合にだけ“２ｎｄキー”と称し、次の他の実施形態にて説明するように、前記“２ｎｄキー”にキー識別マークＭを表示させる場合には、該当する機能名の文字・記号（２ｎｄ文字）も併せて識別表示ＭＣさせる構成としてもよい。
【００６２】
（他の実施形態）
図８は、前記ＰＣ１０のエミュレータ表示処理に伴う他の実施形態のマーク表示処理を示すフローチャートである。
【００６３】
図９は、前記ＰＣ１０の他の実施形態のマーク表示処理に伴う電卓エミュレータ画面ＧＥの表示状態を示す図である。
【００６４】
すなわち、例えば「トレースキー」とのキー音声と、「操作」または「押して」の単語音声とが、音声認識されたユーザ入力音声に含まれると判断され（ステップＳ３〜Ｓ９（Ｙｅｓ））、さらに、“グラフモード”の設定状態にあると判断された場合に（ステップＳ１０（Ｙｅｓ））、先ず、図７（Ｂ）で示したように、該当する第１のキー表示部分［ＳＨＩＦＴ］に緑色のキー識別マークＭ１を表示させた後、第２のキー表示部分［Ｆ１］に赤色のキー識別マークＭ２を表示させる（ステップＳＡ（Ａ１→Ａ３，Ａ４））。
【００６５】
この場合、図８，図９に示すように、前記第２のキー表示部分［Ｆ１］（２ｎｄキー）に赤色のキー識別マークＭ２を表示させるのに伴い、電卓キーボードＫＢ上に隣接表記された２ｎｄ文字[Trace]も併せて赤色で識別表示ＭＣさせる（ステップＡ４ａ〜Ａ４ｃ）。
【００６６】
これにより、前記［ＳＨＩＦＴ］キーとの組合せで機能する各キー（２ｎｄキー）の説明についても、その説明を聞く側にとって、より分かり易く表示させることができる。
【００６７】
また、前記各実施形態におけるキー識別マークＭ，Ｍ１，Ｍ２や２ｎｄ文字は、その表示色を変化させて識別表示させる構成としたが、さらに、点滅表示させたり、点線にして表示させたり、表示色の濃淡を変化させて表示させたり、矢印を付加して表示させたりすることで、より分かり易く表示させてもよい。
【００６８】
なお、前記各実施形態において記載したマネージャソフトを用いたプレゼンテーションシステムのＰＣ１０による各処理の手法、すなわち、図５のフローチャートに示すエミュレータ表示処理、図６のフローチャートに示す前記エミュレータ表示処理に伴うマーク表示処理、図８のフローチャートに示す前記エミュレータ表示処理に伴う他の実施形態のマーク表示処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して配布することができる。そして、プレゼンテーションシステムを制御する電子式計算機（１０）のコンピュータ（ＣＰＵ１２）は、この記録媒体に記憶されたプログラムを記憶装置（１３）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明したエミュレータ表示機能を実現し、前述した手法による同様の処理を実行することができる。
【００６９】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク上を伝送させることができ、この通信ネットワークに接続されたコンピュータ装置（プログラムサーバ）から前記のプログラムデータを電子式計算機（１０）に取り込んで記憶装置（１３）に記憶させ、前述したエミュレータ表示機能を実現することもできる。
【００７０】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【００７１】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【００７２】
［１］
電子装置のエミュレータ画面を表示するエミュレータ画面表示手段と、
音声入力手段と、
この音声入力手段により入力された音声を認識する音声認識手段と、
この音声認識手段により前記電子装置の操作子に相当する音声が認識された場合は、前記エミュレータ画面表示手段により表示されたエミュレータ画面の該当する操作子を識別表示する操作子識別表示手段と、
を備えたことを特徴とするエミュレータ装置。
【００７３】
［２］
前記電子装置の操作子に相当する操作子音声と当該操作子音声に応じて操作対象となる操作子名とを対応付けて記憶したテーブル記憶手段を備え、
前記操作子識別表示手段は、前記音声認識手段により前記テーブル記憶手段に記憶された電子装置の操作子に相当する操作子音声が認識された場合に、前記エミュレータ画面表示手段により表示されたエミュレータ画面において、同操作子音声に対応付けられて記憶された操作子名の操作子を識別表示する、
ことを特徴とする［１］に記載のエミュレータ装置。
【００７４】
［３］
予め定められた特定単語の音声を記憶した特定単語記憶手段を備え、
前記操作子識別表示手段は、前記音声認識手段により前記テーブル記憶手段に記憶された電子装置の操作子に相当する操作子音声が認識され、さらに、前記特定単語記憶手段に記憶された特定単語の音声が認識された場合に、前記エミュレータ画面表示手段により表示されたエミュレータ画面において、同操作子音声に対応付けられて記憶された操作子名の操作子を識別表示する、
ことを特徴とする［２］に記載のエミュレータ装置。
【００７５】
［４］
前記電子装置のエミュレータの動作状態を判断する状態判断手段を備え、
前記テーブル記憶手段は、前記電子装置の操作子に相当する操作子音声と当該操作子音声に応じて操作対象となる操作子名と同電子装置の動作状態とを対応付けて記憶し、
前記操作子識別表示手段は、前記音声認識手段により前記テーブル記憶手段に記憶された電子装置の操作子に相当する操作子音声が認識され、さらに、前記特定単語記憶手段に記憶された特定単語の音声が認識され、さらに、前記状態判断手段により判断されたエミュレータの動作状態が同操作子音声に対応付けられて記憶された電子装置の動作状態である場合に、前記エミュレータ画面表示手段により表示されたエミュレータ画面において、同操作子音声に対応付けられて記憶された操作子名の操作子を識別表示する、
ことを特徴とする［３］に記載のエミュレータ装置。
【００７６】
［５］
前記操作子識別表示手段による操作子の識別表示は、該当する操作子を特定の色のマークで囲んで識別表示することを特徴とする［１］ないし［４］の何れかに記載のエミュレータ装置。
【００７７】
［６］
表示手段と音声入力手段を備えたコンピュータを制御するためのプログラムであって、
前記コンピュータを、
電子装置のエミュレータ画面を前記表示手段により表示させるエミュレータ画面表示手段、
前記音声入力手段により入力された音声を認識する音声認識手段、
この音声認識手段により前記電子装置の操作子に相当する音声が認識された場合は、前記エミュレータ画面表示手段により表示されたエミュレータ画面の該当する操作子を識別表示する操作子識別表示手段、
として機能させるためのプログラム。
【符号の説明】
【００７８】
Ｈ …ユーザ（教師・プレゼンター）
１０ …ＰＣ
１１ …マイク
１２ …制御部（ＣＰＵ）
１３ …記憶装置
１３ｍ…マネージャソフト
１３ｍ１…電卓エミュレータプログラム
１３ｍ２…音声認識プログラム
１３ｍ３…マーク表示プログラム
１３ｔ１…表示変換テーブル
１３ｔ２…有効確認単語テーブル
１４ …入出力インターフェイス
１５ …ＲＡＭ
１６ …キーボード
１６Ｍ…マウス
１７ …表示部
２０ …プロジェクタ
３０ …スクリーン
ＧＥ …電卓エミュレータ画面
ＦＸ …電卓画面
ＫＢ …電卓キーボード
ＤＳ …電卓表示部
ＫＬ …キーログ画面
Ｍ，Ｍｎ…キー識別マーク
ＭＣ …２ｎｄ文字識別表示
【技術分野】
【０００１】
本発明は、関数電卓などのユーザ操作に応じて動作する電子装置のエミュレータ装置およびその制御プログラムに関する。
【背景技術】
【０００２】
従来、例えば教育現場において、関数電卓の操作方法を説明する場合に、ＰＣとプロジェクタを用い、関数電卓を模した画面をプロジェクタに表示させるマネージャソフトが実用されている。
【０００３】
この場合、プロジェクタにより表示された関数電卓を模した画面に対しては、ユーザ（教師等）によってＰＣ上で操作されるマウスポインタやユーザが手にするレーザポインタによって当該電卓のキーを指し示し、キー操作の手順等を説明していた。
【０００４】
しかしながら、ユーザの手で操作されるマウスポインタやレーザポインタは、その位置がずれたり揺れたりして生徒側からは見難い場合が多々あった。
【０００５】
そこで、ユーザによる説明の音声を認識してポインタの機能を行わせることが考えられる。
【０００６】
従来のプレゼンテーション画面の表示装置において、音声認識を用いてプレゼンターにより音声入力された単語と画面上に表示された文字列が一致した場合に、当該文字列を強調表示することが考えられている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−２０８２９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の音声認識を用いたプレゼンテーション画面の表示装置は、音声入力された単語と画面上に表示された文字列が一致した場合に当該文字列を強調表示するものであるが、例えば関数電卓に備えられる各キーは、当該キー操作によって機能させたい内容に応じて、必ずしもキートップに表記された文字列と一致する呼び方をするものではない。
【０００９】
このため、関数電卓のキー操作手順など、電子装置が備える操作子の多様な操作方法を説明するための表示装置としては適用することができない。
【００１０】
本発明は、このような課題に鑑みなされたもので、電子装置が備える操作子の多様な操作方法を説明するのに適したエミュレータ装置およびその制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係るエミュレータ装置は、電子装置のエミュレータ画面を表示するエミュレータ画面表示手段と、音声入力手段と、この音声入力手段により入力された音声を認識する音声認識手段と、この音声認識手段により前記電子装置の操作子に相当する音声が認識された場合は、前記エミュレータ画面表示手段により表示されたエミュレータ画面の該当する操作子を識別表示する操作子識別表示手段と、を備えたことを特徴としている。
【００１２】
本発明に係るプログラムは、表示手段と音声入力手段を備えたコンピュータを制御するためのプログラムであって、前記コンピュータを、電子装置のエミュレータ画面を前記表示手段により表示させるエミュレータ画面表示手段、前記音声入力手段により入力された音声を認識する音声認識手段、この音声認識手段により前記電子装置の操作子に相当する音声が認識された場合は、前記エミュレータ画面表示手段により表示されたエミュレータ画面の該当する操作子を識別表示する操作子識別表示手段、として機能させることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、電子装置が備える操作子の多様な操作方法を説明するのに適したエミュレータ装置およびその制御プログラムを提供できる。
【図面の簡単な説明】
【００１４】
【図１】本発明のエミュレータ装置の実施形態に係る電卓エミュレータを有するマネージャソフトを用いたプレゼンテーションシステムの構成を示す図。
【図２】前記マネージャソフトがインストールされたＰＣ１０の電子回路の構成を示すブロック図。
【図３】前記ＰＣ１０内のマネージャソフト１３ｍのマーク表示プログラム１３ｍ３に含まれる表示変換テーブル１３ｔ１を示す図。
【図４】前記ＰＣ１０内のマーク表示プログラム１３ｍ３に含まれる表示変換テーブル１３ｔ１の各音声データと組み合わせて設定される有効確認単語テーブル１３ｔ２を示す図。
【図５】前記ＰＣ１０のマネージャソフト１３ｍに従ったエミュレータ表示処理を示すフローチャート。
【図６】前記ＰＣ１０のエミュレータ表示処理に伴うマーク表示処理を示すフローチャート。
【図７】前記ＰＣ１０のエミュレータ表示処理に伴う電卓エミュレータ画面ＧＥの表示状態を示す図。
【図８】前記ＰＣ１０のエミュレータ表示処理に伴う他の実施形態のマーク表示処理を示すフローチャート。
【図９】前記ＰＣ１０の他の実施形態のマーク表示処理に伴う電卓エミュレータ画面ＧＥの表示状態を示す図。
【発明を実施するための形態】
【００１５】
以下図面により本発明の実施の形態について説明する。
【００１６】
図１は、本発明のエミュレータ装置の実施形態に係る電卓エミュレータを有するマネージャソフトを用いたプレゼンテーションシステムの構成を示す図である。
【００１７】
このプレゼンテーションシステムは、例えば教育現場において教師が生徒にグラフ関数電卓の操作方法を説明するためのものであり、ＰＣ１０にインストールされたマネージャソフト１３ｍによって当該ＰＣ１０のハードウエアを動作させてグラフ関数電卓のエミュレータ画面ＧＥ（図７参照）を生成し、プロジェクタ２０によって教室のスクリーン３０に表示させる。
【００１８】
前記マネージャソフト１３ｍは、音声認識プログラムを有し、マイク１１により入力されたユーザ（教師）Ｈの音声を認識し、その音声認識の内容に従って前記電卓エミュレータ画面ＧＥの表示を制御する機能を有する。
【００１９】
図２は、前記マネージャソフトがインストールされたＰＣ１０の電子回路の構成を示すブロック図である。
【００２０】
このＰＣ１０は、コンピュータである制御部（ＣＰＵ）１２を備えている。制御部１２は、記憶装置１３に予め記憶されたＰＣ制御プログラム、あるいは通信ネットワーク上のプログラムサーバやＣＤ−ＲＯＭなどの外部記録媒体から入出力インターフェイス１４を介して記憶装置１３に読み込まれたＰＣ制御プログラムに従ってＲＡＭ１５を作業用メモリとし回路各部の動作を制御する。
【００２１】
前記記憶装置１３に記憶されるＰＣ制御プログラムとしては、ＰＣ１０の全体の制御を司るシステムプログラムの他、各種のアプリケーションプログラム、そして、グラフ関数電卓のエミュレータ画面ＧＥを生成し、ユーザ操作に応じて当該エミュレータ画面ＧＥの表示を制御するためのマネージャソフト（プログラム）１３ｍが記憶される。
【００２２】
前記マネージャソフト１３ｍには、本ＰＣ１０の電子回路をグラフ関数電卓に模倣して動作させるための電卓エミュレータプログラム１３ｍ１、当該電卓エミュレータプログラム１３ｍ１が起動中のマイク１１による入力音声を認識するための音声認識プログラム１３ｍ２、音声認識された内容に応じて前記電卓エミュレータ画面ＧＥのキーを識別表示させるためのマーク表示プログラム１３ｍ３が含まれる。
【００２３】
そして、前記記憶装置１３に記憶されるＰＣ制御プログラムは、前記マイク１１からの入力音声、キーボード１６からのキー信号、マウス１６Ｍからの移動信号やクリック信号等に応じて起動される。
【００２４】
このように、制御部１２には、マイク１１、記憶装置１３、入出力インターフェイス１４、ＲＡＭ１５、キーボード１６、マウス１６Ｍが接続される他に、本体表示部１７が接続され、さらに、前記入出力インターフェイス１４を介して前記プロジェクタ２０が接続される。
【００２５】
図３は、前記ＰＣ１０内のマネージャソフト１３ｍのマーク表示プログラム１３ｍ３に含まれる表示変換テーブル１３ｔ１を示す図である。
【００２６】
この表示変換テーブル１３ｔ１は、音声認識の対象とするキー音声データと、当該キー音声データに対応するグラフ関数電卓のキーと、当該キーを識別表示するための電卓動作モードのモード条件とを対応付けて記憶したものである。
【００２７】
電卓エミュレータプログラム１３ｍ１の起動状態で、例えば、音声認識プログラム１３ｍ２により認識された入力音声が「サインキー」である場合、電卓エミュレータ画面ＧＥに表示中の［ｓｉｎ］キーを識別表示するための条件として、現在の電卓動作モードが“演算モード”であることが設定される。また例えば、音声認識プログラム１３ｍ２により認識された入力音声が「トレースキー」である場合、電卓エミュレータ画面ＧＥに表示中の［ＳＨＩＦＴ］キーと［Ｆ１］キーを順次識別表示するための条件として、現在の電卓動作モードが“グラフモード”であることが設定される。
【００２８】
図４は、前記ＰＣ１０内のマーク表示プログラム１３ｍ３に含まれる表示変換テーブル１３ｔ１の各音声データと組み合わせて設定される有効確認単語テーブル１３ｔ２を示す図である。
【００２９】
この有効確認単語テーブル１３ｔ２には、前記表示変換テーブル１３ｔ１に記録された何れかのキー音声データが入力音声として認識された際に、当該キー音声データに対応付けられたキーを識別表示するためのもう１つの条件として、当該キー音声データと組み合わせて入力音声の認識が必要な単語音声データ（「操作」「押して」）が記憶される。
【００３０】
つまり、電卓エミュレータプログラム１３ｍ１の起動状態で、前記表示変換テーブル１３ｔ１に記憶された何れかのキー音声データが入力音声として認識された際に、当該キー音声データと組み合わせて前記有効確認単語テーブル１３ｔ２に記憶された単語音声データ（「操作」または「押して」）が入力音声として認識された場合に、前記キー音声データの音声認識を有効として判断する。
【００３１】
このように構成されたＰＣ１０は、制御部（ＣＰＵ）１２が前記ＰＣ制御プログラム（マネージャソフト１３ｍを含む）に記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べる機能を実現する。
【００３２】
次に、前記構成のマネージャソフトを用いたプレゼンテーションシステムのＰＣ１０によるエミュレータ表示動作について説明する。
【００３３】
図５は、前記ＰＣ１０のマネージャソフト１３ｍに従ったエミュレータ表示処理を示すフローチャートである。
【００３４】
図６は、前記ＰＣ１０のエミュレータ表示処理に伴うマーク表示処理を示すフローチャートである。
【００３５】
図７は、前記ＰＣ１０のエミュレータ表示処理に伴う電卓エミュレータ画面ＧＥの表示状態を示す図である。
【００３６】
前記図１で示したように構成したプレゼンテーションシステムにより、教師が生徒にグラフ関数電卓の操作方法について教えるため、ＰＣ１０においてマネージャソフト１３ｍが起動されると、電卓エミュレータプログラム１３ｍ１に従い、図７（Ａ）に示すような電卓エミュレータ画面ＧＥが生成されて表示部１７に表示されると共に、同電卓エミュレータ画面ＧＥの表示データが入出力インターフェイス１４を介してプロジェクタ２０に出力され、教室のスクリーン３０に表示される（ステップＳ１）。
【００３７】
前記電卓エミュレータ画面ＧＥは、グラフ関数電卓の正面パネルを模倣した電卓キーボードＫＢおよび電卓表示部ＤＳからなる電卓画面ＦＸと、前記電卓キーボードＫＢに配列されたキーをマウスポインタによりクリックすることで入力されたキー入力データが入力順に記録されて表示されるキーログ画面ＫＬとで構成される。
【００３８】
こうして前記電卓エミュレータ画面ＧＥが生成されて表示されると、音声認識プログラム１３ｍ２に従い、マイク１１から入力される音声の認識処理が開始され（ステップＳ２）、音声入力またはマウス入力の待機状態になる（ステップＳ３ or Ｓ１３）。
【００３９】
例えば教師Ｈによるグラフ関数電卓の説明に伴う音声がマイク１１から入力されると（ステップＳ３（Ｙｅｓ））、当該入力音声が所定の時間（例えば２秒）以上途切れたと判断されるまで連続して取り込まれＲＡＭ１５に記憶される（ステップＳ４，Ｓ５）。
【００４０】
そして、前記入力音声が所定時間以上途切れたと判断されると（ステップＳ５（Ｙｅｓ））、前記ＲＡＭ１５に記憶された音声データが順次音声認識処理され（ステップＳ６）、入力された音声が雑音データなどであるか、あるいは有効な音声データであるか判断される（ステップＳ７）。
【００４１】
ここで、有効な音声データであると判断された入力音声について（ステップＳ７（Ｙｅｓ））、マーク表示プログラム１３ｍ３に従い、表示変換テーブル１３ｔ１（図３参照）に記憶されている何れかのキー音声と一致する入力音声が含まれるか否か判断される（キー名称チェック：ステップＳ８）。
【００４２】
前記表示変換テーブル１３ｔ１に記憶された何れかのキー音声と一致する入力音声が含まれると判断されると（ステップＳ８（Ｙｅｓ））、当該キー音声と一致判断された入力音声に続いて有効であると判断された入力音声について、有効確認単語テーブル１３ｔ２に記憶されている単語音声（「操作」または「押して」）と一致する入力音声が含まれるか判断される（並びチェック：ステップＳ９）。
【００４３】
前記有効確認単語テーブル１３ｔ２に記憶された単語音声（「操作」または「押して」）と一致する入力音声が含まれると判断されると（ステップＳ９（Ｙｅｓ））、現在の電卓エミュレータの動作モードが、前記表示変換テーブル１３ｔ１にて一致判断されたキー音声のキーに対応付けられて記憶された動作モードの条件（例えば、入力音声に含まれたキー音声が「トレースキー」でそのキーが［ＳＨＩＦＴ］＋［Ｆ１］キーの場合は“グラフモード”）と一致するか判断される（状態チェック：ステップＳ１０）。
【００４４】
前記表示変換テーブル１３ｔ１にて入力音声と一致判断されたキー音声のキーに対応付けられた動作モードの条件と一致したと判断されると（ステップＳ１０（Ｙｅｓ））、前記電卓画面ＦＸの電卓キーボードＫＢ上で既にキー識別マークＭが表示されている場合には同マークＭの表示が解除された後（ステップＳ１１）、前記入力音声と一致判断されたキー音声のキーと対応するところのキー表示部分に新たなキー識別マークＭが表示される（ステップＳＡ）。
【００４５】
このキー識別マークＭの表示処理（ステップＳＡ）において、識別表示の対象となるキーが１つである場合は（ステップＡ１（Ｎｏ））、図７（Ａ）に示すように、該当するキー表示部分（この場合は［ＭＥＮＵ］）に赤色のキー識別マークＭが表示される（ステップＡ２）。
【００４６】
また、キー識別マークＭの表示処理（ステップＳＡ）において、識別表示の対象となるキーが複数ある場合は（ステップＡ１（Ｙｅｓ））、図７（Ｂ）に示すように、該当する第１のキー表示部分（この場合は［ＳＨＩＦＴ］）に緑色のキー識別マークＭ１が表示された後（ステップＡ３）、第２のキー表示部分（この場合は［Ｆ１］）に赤色のキー識別マークＭ２が表示される（ステップＡ４）。
【００４７】
一方、有効な音声データであると判断された入力音声について（ステップＳ７（Ｙｅｓ））、前記表示変換テーブル１３ｔ１に記憶された何れかのキー音声と一致する入力音声が含まれないと判断された場合は（ステップＳ８（Ｎｏ））、前記電卓画面ＦＸの電卓キーボードＫＢ上で既にキー識別マークＭが表示されている場合には同マークＭの表示が解除された後（ステップＳ１２）、前記音声入力またはマウス入力の待機状態に戻る（ステップＳ３ or Ｓ１３）。
【００４８】
また、前記表示変換テーブル１３ｔ１に記憶された何れかのキー音声と一致する入力音声が含まれると判断された場合であっても（ステップＳ８（Ｙｅｓ））、さらに、前記有効確認単語テーブル１３ｔ２に記憶された単語音声（「操作」または「押して」）と一致する入力音声が含まれないと判断された場合には（ステップＳ９（Ｎｏ））、前記音声入力またはマウス入力の待機状態に戻る（ステップＳ３ or Ｓ１３）。
【００４９】
また、前記表示変換テーブル１３ｔ１に記憶された何れかのキー音声と一致する入力音声が含まれると判断され（ステップＳ８（Ｙｅｓ））、さらに、前記有効確認単語テーブル１３ｔ２に記憶された単語音声（「操作」または「押して」）と一致する入力音声が含まると判断された場合であっても（ステップＳ９（Ｙｅｓ））、現在の電卓エミュレータの動作モードが、前記表示変換テーブル１３ｔ１にて一致判断されたキー音声のキーに対応付けられた動作モードの条件と一致しないと判断された場合には（ステップＳ１０（Ｎｏ））、前記音声入力またはマウス入力の待機状態に戻る（ステップＳ３ or Ｓ１３）。
【００５０】
具体的には、教師Ｈの説明として「グラフを表示する場合には、先ずメニューキーを操作して、グラフモードを設定します」との一連の入力音声が認識された場合は（ステップＳ３〜Ｓ７）、表示変換テーブル１３ｔ１のキー音声「メニューキー」が含まれると判断されると共に（ステップＳ８（Ｙｅｓ））、有効確認単語テーブル１３ｔ２の単語音声「操作」が含まれると判断される（ステップＳ９（Ｙｅｓ））。この場合、表示変換テーブル１３ｔ１において前記キー音声「メニューキー」のキー［ＭＥＮＵ］に対応付けられた動作モードの条件は無し“−”なので（ステップＳ１０（Ｙｅｓ））、図７（Ａ）に示すように、電卓エミュレータ画面ＧＥ内の電卓画面ＦＸにおける電卓キーボードＫＢの該当するキー表示部分［ＭＥＮＵ］に赤色のキー識別マークＭが表示される（ステップＳＡ（Ａ１→Ａ２））。
【００５１】
また、電卓エミュレータの動作モードが“グラフモード”に設定された状態で、教師Ｈの説明として「グラフをトレースする場合には、トレースキーを操作します」との一連の入力音声が認識された場合は（ステップＳ３〜Ｓ７）、表示変換テーブル１３ｔ１のキー音声「トレースキー」が含まれると判断されると共に（ステップＳ８（Ｙｅｓ））、有効確認単語テーブル１３ｔ２の単語音声「操作」が含まれると判断され（ステップＳ９（Ｙｅｓ））、さらに、前記キー音声「トレースキー」のキー［ＳＨＩＦＴ］＋［Ｆ１］に対応付けられた動作モードの条件“グラフモード”に一致すると判断される（ステップＳ１０（Ｙｅｓ））。すると、図７（Ｂ）に示すように、電卓エミュレータ画面ＧＥ内の電卓画面ＦＸにおける電卓キーボードＫＢの該当する第１のキー表示部分［ＳＨＩＦＴ］に緑色のキー識別マークＭ１が表示された後、第２のキー表示部分［Ｆ１］に赤色のキー識別マークＭ２が表示される（ステップＳＡ（Ａ１→Ａ３，Ａ４））。
【００５２】
また、教師Ｈの説明として「トレースキーはグラフ上の各点の座標を表示させます」との一連の入力音声が認識された場合は（ステップＳ３〜Ｓ７）、表示変換テーブル１３ｔ１のキー音声「トレースキー」が含まれると判断されるものの（ステップＳ８（Ｙｅｓ））、有効確認単語テーブル１３ｔ２に記憶された何れの単語音声（「操作」または「押して」）も含まれないと判断されるので（ステップＳ９（Ｎｏ））、キー識別マークＭは表示されず、音声入力またはマウス入力の待機状態になる（ステップＳ３ or Ｓ１３）。
【００５３】
一方、前記音声入力またはマウス入力の待機状態において（ステップＳ３ or Ｓ１３）、マウス１６Ｍから移動信号が入力されると（ステップＳ１３，Ｓ１４（Ｙｅｓ））、前記電卓エミュレータ画面ＧＥ上に表示されているマウスポインタが、当該マウス１６Ｍの移動信号に応じた方向と距離に対応する位置に移動されて表示される（ステップＳ１５）。
【００５４】
また、マウス１６Ｍからクリック信号が入力されると（ステップＳ１３〜Ｓ１６（Ｙｅｓ））、前記電卓エミュレータ画面ＧＥ内の電卓キーボードＫＢ上にキー識別マークＭの表示中であるか否かが判断される（ステップＳ１７）。
【００５５】
ここで、電卓キーボードＫＢ上にキー識別マークＭの表示中であると判断され（ステップＳ１７（Ｙｅｓ））、さらに、前記マウス１６Ｍからのクリック信号に応じた電卓エミュレータ画面ＧＥ上でのクリック位置が、当該キー識別マークＭの表示中であるキーの位置と同じであると判断されると（ステップＳ１８（Ｙｅｓ））、該当するキーの入力に応じた電卓処理が実行され、電卓表示部ＤＳの表示内容が更新される（ステップＳ１９）。
【００５６】
なお、前記マウス１６Ｍからのクリック信号に応じた電卓エミュレータ画面ＧＥ上でのクリック位置が、キー識別マークＭの表示中であるキーの位置と同じではないと判断された場合には（ステップＳ１８（Ｎｏ））、該当するマウスクリックに応じた電卓処理は実行されず、キーマーク位置とクリック位置とが異なる事を報知するアラームメッセージが表示される（ステップＳ２０）。
【００５７】
一方、マウス１６Ｍからクリック信号が入力された際に（ステップＳ１３〜Ｓ１６（Ｙｅｓ））、前記電卓エミュレータ画面ＧＥ内の電卓キーボードＫＢ上にキー識別マークＭの表示中ではないと判断された場合には（ステップＳ１７（Ｙｅｓ））、該当するマウスクリックの入力に応じた電卓処理が実行され、電卓表示部ＤＳの表示内容が更新される（ステップＳ１９）。
【００５８】
したがって、前記構成のマネージャソフトを用いたプレゼンテーションシステムのＰＣ１０によるエミュレータ表示機能によれば、関数電卓のエミュレータ画面ＧＥを表示させた状態で、教師Ｈの説明に伴うマイク１１からの入力音声を音声認識する。音声認識された入力音声に、表示変換テーブル１３ｔ１に記憶されている何れかのキー音声が含まれ、さらに、同キー音声の後に有効確認単語テーブル１３ｔ２に記憶されているキー操作を意図した単語音声が含まれると判断されると共に、電卓動作モードが同キー音声に対応するキーが動作するためのモードであると判断された場合は、前記エミュレータ画面ＧＥ内の電卓キーボードＫＢ上の該当するキーにキー識別マークＭが表示される。
【００５９】
このため、電卓エミュレータ画面ＧＥにて表示された各種のキーの操作手順を説明する際に、マウスポインタやレーザポインタによって当該各キーを指し示す必要なく、該当するキーを生徒に見易く且つ適切に識別表示させることができる。
【００６０】
なお、前記実施形態の図５〜図７を参照して説明したマーク表示処理（ステップＳＡ（Ａ１〜Ａ４））では、例えばキー音声「トレースキー」や「ルートキー」に対応して操作対象となるキーが、［ＳＨＩＦＴ］キーと、電卓キーボードＫＢ上に[Trace]や[√]と表記された［Ｆ１］キーや［ｘ２］キーとの第１，第２のキーからなる場合に、該当する第１のキー表示部分［ＳＨＩＦＴ］に緑色のキー識別マークＭ１を表示させた後、第２のキー表示部分（［Ｆ１］や［ｘ２］）に赤色のキー識別マークＭ２を表示させる構成とした。
【００６１】
ここで、前記［ＳＨＩＦＴ］キーとの組合せで機能する機能名の文字・記号が電卓キーボードＫＢ上に表記されているところの各キーを、当該［ＳＨＩＦＴ］キーとの組合せを要する場合にだけ“２ｎｄキー”と称し、次の他の実施形態にて説明するように、前記“２ｎｄキー”にキー識別マークＭを表示させる場合には、該当する機能名の文字・記号（２ｎｄ文字）も併せて識別表示ＭＣさせる構成としてもよい。
【００６２】
（他の実施形態）
図８は、前記ＰＣ１０のエミュレータ表示処理に伴う他の実施形態のマーク表示処理を示すフローチャートである。
【００６３】
図９は、前記ＰＣ１０の他の実施形態のマーク表示処理に伴う電卓エミュレータ画面ＧＥの表示状態を示す図である。
【００６４】
すなわち、例えば「トレースキー」とのキー音声と、「操作」または「押して」の単語音声とが、音声認識されたユーザ入力音声に含まれると判断され（ステップＳ３〜Ｓ９（Ｙｅｓ））、さらに、“グラフモード”の設定状態にあると判断された場合に（ステップＳ１０（Ｙｅｓ））、先ず、図７（Ｂ）で示したように、該当する第１のキー表示部分［ＳＨＩＦＴ］に緑色のキー識別マークＭ１を表示させた後、第２のキー表示部分［Ｆ１］に赤色のキー識別マークＭ２を表示させる（ステップＳＡ（Ａ１→Ａ３，Ａ４））。
【００６５】
この場合、図８，図９に示すように、前記第２のキー表示部分［Ｆ１］（２ｎｄキー）に赤色のキー識別マークＭ２を表示させるのに伴い、電卓キーボードＫＢ上に隣接表記された２ｎｄ文字[Trace]も併せて赤色で識別表示ＭＣさせる（ステップＡ４ａ〜Ａ４ｃ）。
【００６６】
これにより、前記［ＳＨＩＦＴ］キーとの組合せで機能する各キー（２ｎｄキー）の説明についても、その説明を聞く側にとって、より分かり易く表示させることができる。
【００６７】
また、前記各実施形態におけるキー識別マークＭ，Ｍ１，Ｍ２や２ｎｄ文字は、その表示色を変化させて識別表示させる構成としたが、さらに、点滅表示させたり、点線にして表示させたり、表示色の濃淡を変化させて表示させたり、矢印を付加して表示させたりすることで、より分かり易く表示させてもよい。
【００６８】
なお、前記各実施形態において記載したマネージャソフトを用いたプレゼンテーションシステムのＰＣ１０による各処理の手法、すなわち、図５のフローチャートに示すエミュレータ表示処理、図６のフローチャートに示す前記エミュレータ表示処理に伴うマーク表示処理、図８のフローチャートに示す前記エミュレータ表示処理に伴う他の実施形態のマーク表示処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して配布することができる。そして、プレゼンテーションシステムを制御する電子式計算機（１０）のコンピュータ（ＣＰＵ１２）は、この記録媒体に記憶されたプログラムを記憶装置（１３）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明したエミュレータ表示機能を実現し、前述した手法による同様の処理を実行することができる。
【００６９】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク上を伝送させることができ、この通信ネットワークに接続されたコンピュータ装置（プログラムサーバ）から前記のプログラムデータを電子式計算機（１０）に取り込んで記憶装置（１３）に記憶させ、前述したエミュレータ表示機能を実現することもできる。
【００７０】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【００７１】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【００７２】
［１］
電子装置のエミュレータ画面を表示するエミュレータ画面表示手段と、
音声入力手段と、
この音声入力手段により入力された音声を認識する音声認識手段と、
この音声認識手段により前記電子装置の操作子に相当する音声が認識された場合は、前記エミュレータ画面表示手段により表示されたエミュレータ画面の該当する操作子を識別表示する操作子識別表示手段と、
を備えたことを特徴とするエミュレータ装置。
【００７３】
［２］
前記電子装置の操作子に相当する操作子音声と当該操作子音声に応じて操作対象となる操作子名とを対応付けて記憶したテーブル記憶手段を備え、
前記操作子識別表示手段は、前記音声認識手段により前記テーブル記憶手段に記憶された電子装置の操作子に相当する操作子音声が認識された場合に、前記エミュレータ画面表示手段により表示されたエミュレータ画面において、同操作子音声に対応付けられて記憶された操作子名の操作子を識別表示する、
ことを特徴とする［１］に記載のエミュレータ装置。
【００７４】
［３］
予め定められた特定単語の音声を記憶した特定単語記憶手段を備え、
前記操作子識別表示手段は、前記音声認識手段により前記テーブル記憶手段に記憶された電子装置の操作子に相当する操作子音声が認識され、さらに、前記特定単語記憶手段に記憶された特定単語の音声が認識された場合に、前記エミュレータ画面表示手段により表示されたエミュレータ画面において、同操作子音声に対応付けられて記憶された操作子名の操作子を識別表示する、
ことを特徴とする［２］に記載のエミュレータ装置。
【００７５】
［４］
前記電子装置のエミュレータの動作状態を判断する状態判断手段を備え、
前記テーブル記憶手段は、前記電子装置の操作子に相当する操作子音声と当該操作子音声に応じて操作対象となる操作子名と同電子装置の動作状態とを対応付けて記憶し、
前記操作子識別表示手段は、前記音声認識手段により前記テーブル記憶手段に記憶された電子装置の操作子に相当する操作子音声が認識され、さらに、前記特定単語記憶手段に記憶された特定単語の音声が認識され、さらに、前記状態判断手段により判断されたエミュレータの動作状態が同操作子音声に対応付けられて記憶された電子装置の動作状態である場合に、前記エミュレータ画面表示手段により表示されたエミュレータ画面において、同操作子音声に対応付けられて記憶された操作子名の操作子を識別表示する、
ことを特徴とする［３］に記載のエミュレータ装置。
【００７６】
［５］
前記操作子識別表示手段による操作子の識別表示は、該当する操作子を特定の色のマークで囲んで識別表示することを特徴とする［１］ないし［４］の何れかに記載のエミュレータ装置。
【００７７】
［６］
表示手段と音声入力手段を備えたコンピュータを制御するためのプログラムであって、
前記コンピュータを、
電子装置のエミュレータ画面を前記表示手段により表示させるエミュレータ画面表示手段、
前記音声入力手段により入力された音声を認識する音声認識手段、
この音声認識手段により前記電子装置の操作子に相当する音声が認識された場合は、前記エミュレータ画面表示手段により表示されたエミュレータ画面の該当する操作子を識別表示する操作子識別表示手段、
として機能させるためのプログラム。
【符号の説明】
【００７８】
Ｈ …ユーザ（教師・プレゼンター）
１０ …ＰＣ
１１ …マイク
１２ …制御部（ＣＰＵ）
１３ …記憶装置
１３ｍ…マネージャソフト
１３ｍ１…電卓エミュレータプログラム
１３ｍ２…音声認識プログラム
１３ｍ３…マーク表示プログラム
１３ｔ１…表示変換テーブル
１３ｔ２…有効確認単語テーブル
１４ …入出力インターフェイス
１５ …ＲＡＭ
１６ …キーボード
１６Ｍ…マウス
１７ …表示部
２０ …プロジェクタ
３０ …スクリーン
ＧＥ …電卓エミュレータ画面
ＦＸ …電卓画面
ＫＢ …電卓キーボード
ＤＳ …電卓表示部
ＫＬ …キーログ画面
Ｍ，Ｍｎ…キー識別マーク
ＭＣ …２ｎｄ文字識別表示
【特許請求の範囲】
【請求項１】
電子装置のエミュレータ画面を表示するエミュレータ画面表示手段と、
音声入力手段と、
この音声入力手段により入力された音声を認識する音声認識手段と、
この音声認識手段により前記電子装置の操作子に相当する音声が認識された場合は、前記エミュレータ画面表示手段により表示されたエミュレータ画面の該当する操作子を識別表示する操作子識別表示手段と、
を備えたことを特徴とするエミュレータ装置。
【請求項２】
前記電子装置の操作子に相当する操作子音声と当該操作子音声に応じて操作対象となる操作子名とを対応付けて記憶したテーブル記憶手段を備え、
前記操作子識別表示手段は、前記音声認識手段により前記テーブル記憶手段に記憶された電子装置の操作子に相当する操作子音声が認識された場合に、前記エミュレータ画面表示手段により表示されたエミュレータ画面において、同操作子音声に対応付けられて記憶された操作子名の操作子を識別表示する、
ことを特徴とする請求項１に記載のエミュレータ装置。
【請求項３】
予め定められた特定単語の音声を記憶した特定単語記憶手段を備え、
前記操作子識別表示手段は、前記音声認識手段により前記テーブル記憶手段に記憶された電子装置の操作子に相当する操作子音声が認識され、さらに、前記特定単語記憶手段に記憶された特定単語の音声が認識された場合に、前記エミュレータ画面表示手段により表示されたエミュレータ画面において、同操作子音声に対応付けられて記憶された操作子名の操作子を識別表示する、
ことを特徴とする請求項２に記載のエミュレータ装置。
【請求項４】
前記電子装置のエミュレータの動作状態を判断する状態判断手段を備え、
前記テーブル記憶手段は、前記電子装置の操作子に相当する操作子音声と当該操作子音声に応じて操作対象となる操作子名と同電子装置の動作状態とを対応付けて記憶し、
前記操作子識別表示手段は、前記音声認識手段により前記テーブル記憶手段に記憶された電子装置の操作子に相当する操作子音声が認識され、さらに、前記特定単語記憶手段に記憶された特定単語の音声が認識され、さらに、前記状態判断手段により判断されたエミュレータの動作状態が同操作子音声に対応付けられて記憶された電子装置の動作状態である場合に、前記エミュレータ画面表示手段により表示されたエミュレータ画面において、同操作子音声に対応付けられて記憶された操作子名の操作子を識別表示する、
ことを特徴とする請求項３に記載のエミュレータ装置。
【請求項５】
前記操作子識別表示手段による操作子の識別表示は、該当する操作子を特定の色のマークで囲んで識別表示することを特徴とする請求項１ないし請求項４の何れか１項に記載のエミュレータ装置。
【請求項６】
表示手段と音声入力手段を備えたコンピュータを制御するためのプログラムであって、
前記コンピュータを、
電子装置のエミュレータ画面を前記表示手段により表示させるエミュレータ画面表示手段、
前記音声入力手段により入力された音声を認識する音声認識手段、
この音声認識手段により前記電子装置の操作子に相当する音声が認識された場合は、前記エミュレータ画面表示手段により表示されたエミュレータ画面の該当する操作子を識別表示する操作子識別表示手段、
として機能させるためのプログラム。
【請求項１】
電子装置のエミュレータ画面を表示するエミュレータ画面表示手段と、
音声入力手段と、
この音声入力手段により入力された音声を認識する音声認識手段と、
この音声認識手段により前記電子装置の操作子に相当する音声が認識された場合は、前記エミュレータ画面表示手段により表示されたエミュレータ画面の該当する操作子を識別表示する操作子識別表示手段と、
を備えたことを特徴とするエミュレータ装置。
【請求項２】
前記電子装置の操作子に相当する操作子音声と当該操作子音声に応じて操作対象となる操作子名とを対応付けて記憶したテーブル記憶手段を備え、
前記操作子識別表示手段は、前記音声認識手段により前記テーブル記憶手段に記憶された電子装置の操作子に相当する操作子音声が認識された場合に、前記エミュレータ画面表示手段により表示されたエミュレータ画面において、同操作子音声に対応付けられて記憶された操作子名の操作子を識別表示する、
ことを特徴とする請求項１に記載のエミュレータ装置。
【請求項３】
予め定められた特定単語の音声を記憶した特定単語記憶手段を備え、
前記操作子識別表示手段は、前記音声認識手段により前記テーブル記憶手段に記憶された電子装置の操作子に相当する操作子音声が認識され、さらに、前記特定単語記憶手段に記憶された特定単語の音声が認識された場合に、前記エミュレータ画面表示手段により表示されたエミュレータ画面において、同操作子音声に対応付けられて記憶された操作子名の操作子を識別表示する、
ことを特徴とする請求項２に記載のエミュレータ装置。
【請求項４】
前記電子装置のエミュレータの動作状態を判断する状態判断手段を備え、
前記テーブル記憶手段は、前記電子装置の操作子に相当する操作子音声と当該操作子音声に応じて操作対象となる操作子名と同電子装置の動作状態とを対応付けて記憶し、
前記操作子識別表示手段は、前記音声認識手段により前記テーブル記憶手段に記憶された電子装置の操作子に相当する操作子音声が認識され、さらに、前記特定単語記憶手段に記憶された特定単語の音声が認識され、さらに、前記状態判断手段により判断されたエミュレータの動作状態が同操作子音声に対応付けられて記憶された電子装置の動作状態である場合に、前記エミュレータ画面表示手段により表示されたエミュレータ画面において、同操作子音声に対応付けられて記憶された操作子名の操作子を識別表示する、
ことを特徴とする請求項３に記載のエミュレータ装置。
【請求項５】
前記操作子識別表示手段による操作子の識別表示は、該当する操作子を特定の色のマークで囲んで識別表示することを特徴とする請求項１ないし請求項４の何れか１項に記載のエミュレータ装置。
【請求項６】
表示手段と音声入力手段を備えたコンピュータを制御するためのプログラムであって、
前記コンピュータを、
電子装置のエミュレータ画面を前記表示手段により表示させるエミュレータ画面表示手段、
前記音声入力手段により入力された音声を認識する音声認識手段、
この音声認識手段により前記電子装置の操作子に相当する音声が認識された場合は、前記エミュレータ画面表示手段により表示されたエミュレータ画面の該当する操作子を識別表示する操作子識別表示手段、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−３７０３０（Ｐ２０１３−３７０３０Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７０２７１（Ｐ２０１１−１７０２７１）
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]