ユーザインタフェース装置
【課題】イベントに対する状態遷移に伴って表示部品を切り替えるユーザＩ／Ｆを、状態の追加・削除と各状態における表示部品及びイベント処理の編集しておき容易に表示する。
【解決手段】入力機器からの情報を入力する入力手段と、設計対象装置のユーザＩ／Ｆを表示装置に表示するための表示手段と、ユーザＩ／Ｆに表示させるための部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、各状態において表示する基本表示部品並びに他の複合表示部品の配置を定義する複合表示部品を階層的に格納する複合表示部品格納手段と、入力手段によって入力された情報に基づき、複合表示部品の大きさ、位置、外観及びふるまいをシミュレートするシミュレーション手段とを備え、複合表示部品は、複数の状態と、各状態において、入力手段によって入力された情報に基づき、状態間の遷移ならびに定義された処理を行うイベントハンドラを有している。
【解決手段】入力機器からの情報を入力する入力手段と、設計対象装置のユーザＩ／Ｆを表示装置に表示するための表示手段と、ユーザＩ／Ｆに表示させるための部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、各状態において表示する基本表示部品並びに他の複合表示部品の配置を定義する複合表示部品を階層的に格納する複合表示部品格納手段と、入力手段によって入力された情報に基づき、複合表示部品の大きさ、位置、外観及びふるまいをシミュレートするシミュレーション手段とを備え、複合表示部品は、複数の状態と、各状態において、入力手段によって入力された情報に基づき、状態間の遷移ならびに定義された処理を行うイベントハンドラを有している。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、イベントに対する状態遷移に伴って表示部品を切り替えるような例えば携帯電話や携帯情報端末などのユーザインタフェースの設計に適用されるユーザインタフェース装置に関するものである。
【背景技術】
【０００２】
図３は例えば特許文献１に示された従来のユーザインタフェース設計装置を示すブロック図である。この文献に開示された装置においては、レイアウトデータを対話的に設計するレイアウト設計部１１１、属性データを設定する属性設定部１１２、およびＧＵＩ部品ごとの生成契機を設定する生成契機設定部１１３から構成されたＧＵＩ画面設計装置１０１と、レイアウトデータ記憶部１２１、属性データ記憶部１２２、および生成契機データ記憶部１２３の各記憶部から構成された設計データ記憶装置１０２と、設計データに基づいてソースプログラムを生成するＧＵＩ画面ソースプログラム生成部１３１によるソースプログラム生成装置１０３と、ハードディスク等へ出力する出力装置１０４とからなる（例えば、特許文献１参照。）。
【０００３】
このような構成のユーザインタフェース設計装置においては、第一の生成契機が設定されたとき、ＧＵＩ画面の中でＧＵＩ部品を生成するソースプログラムとアクセス関数のソースプログラムを生成し、第二の生成契機が設定されたとき、動的生成アクセス関数のソースプログラムを生成して必要なときにＧＵＩ部品の生成を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１３７５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような構成の従来のユーザインタフェース設計装置においては、状態遷移を伴うユーザインタフェース部品の設計や、それらを組み合わせたユーザインタフェースのシミュレーションができなかった。
【０００６】
この発明は、上述のような課題を解決するためになされたもので、イベントに対する状態遷移に伴って表示部品を切り替えるようなユーザインタフェースを、状態の追加・削除と各状態における表示部品及びイベント処理の編集によって容易に設計することが可能となるユーザインタフェース装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明は、入力機器からの操作入力を入力する入力手段と、設計対象装置のユーザインタフェースを表示装置に表示するための表示手段と、設計対象装置のユーザインタフェースに表示させるための部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、複合表示部品を格納する複合表示部品格納手段であって、上記複合表示部品は、複数の状態と、上記状態間の遷移ならびに定義された処理を行うイベントハンドラとを有し、上記各状態において表示する上記基本表示部品ならびに他の複合表示部品の大きさ、位置、外観の属性、及び、上記他の複合表示部品の各状態において表示する基本表示部品ならびにさらに他の複合表示部品の大きさ、位置、外観の属性と参照関係にある属性、および上記イベントハンドラのふるまい方を決定する属性、を定義する、複合表示部品格納手段と、上記操作入力に対応してイベントを発行し、複合表示部品が有する上記イベントに対応したイベントハンドラを動作させ、ユーザインタフェースを上記表示手段に表示するシミュレーション手段とを備え、上記複合表示部品格納手段に格納される各々の複合表示部品は、該当する複合表示部品が有する複数の状態毎に、各々の状態において表示すべき基本表示部品及び他の複合表示部品を階層的に組み合わせたものであり、上記シミュレーション手段は、複合表示部品が有する上記イベントに対応したイベントハンドラによる状態間の遷移の動作において、表示すべき上記基本表示部品がある場合は当該基本表示部品を表示し、表示すべき他の上記複合表示部品がある場合は、当該複合表示部品に対する動作として、上記設計対象装置の内部又は外部にて発生したイベントに対応し、かつ当該複合表示部品が有する有効化されたイベントハンドラを動作させ、この動作により当該複合表示部品に状態の遷移があって、上記遷移後の状態において表示すべき基本表示部品があるときには当該基本表示部品を表示し、上記遷移後の状態においてさらに表示すべき他の複合表示部品があるときには当該他の複合表示部品を表示することからなる動作を、繰り返し他の複合表示部品に対して再帰的に実行することを特徴とするユーザインタフェース装置である。
【発明の効果】
【０００８】
この発明は、入力機器からの操作入力を入力する入力手段と、設計対象装置のユーザインタフェースを表示装置に表示するための表示手段と、設計対象装置のユーザインタフェースに表示させるための部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、複合表示部品を格納する複合表示部品格納手段であって、上記複合表示部品は、複数の状態と、上記状態間の遷移ならびに定義された処理を行うイベントハンドラとを有し、上記各状態において表示する上記基本表示部品ならびに他の複合表示部品の大きさ、位置、外観の属性、及び、上記他の複合表示部品の各状態において表示する基本表示部品ならびにさらに他の複合表示部品の大きさ、位置、外観の属性と参照関係にある属性、および上記イベントハンドラのふるまい方を決定する属性、を定義する、複合表示部品格納手段と、上記操作入力に対応してイベントを発行し、複合表示部品が有する上記イベントに対応したイベントハンドラを動作させ、ユーザインタフェースを上記表示手段に表示するシミュレーション手段とを備え、上記複合表示部品格納手段に格納される各々の複合表示部品は、該当する複合表示部品が有する複数の状態毎に、各々の状態において表示すべき基本表示部品及び他の複合表示部品を階層的に組み合わせたものであり、上記シミュレーション手段は、複合表示部品が有する上記イベントに対応したイベントハンドラによる状態間の遷移の動作において、表示すべき上記基本表示部品がある場合は当該基本表示部品を表示し、表示すべき他の上記複合表示部品がある場合は、当該複合表示部品に対する動作として、上記設計対象装置の内部又は外部にて発生したイベントに対応し、かつ当該複合表示部品が有する有効化されたイベントハンドラを動作させ、この動作により当該複合表示部品に状態の遷移があって、上記遷移後の状態において表示すべき基本表示部品があるときには当該基本表示部品を表示し、上記遷移後の状態においてさらに表示すべき他の複合表示部品があるときには当該他の複合表示部品を表示することからなる動作を、繰り返し他の複合表示部品に対して再帰的に実行することを特徴とするユーザインタフェース装置であるので、イベントに対する状態遷移に伴って表示部品を切り替えるようなユーザインタフェースを、状態の追加・削除と各状態における表示部品及びイベント処理の編集によって容易に設計することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明のユーザインタフェース設計装置を示すブロック図である。
【図２】複合表示部品を説明する為の階層図である。
【図３】従来のユーザインタフェース設計装置を示すブロック図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は本発明の実施の形態１によるユーザインタフェース設計装置のブロック図である。この装置は状態集合編集手段１０、イベント処理編集手段２０、基本表示部品格納手段３０、状態表示編集手段４０、複合表示部品格納手段５０、属性編集手段６０、複合表示部品属性設定手段７０、シミュレーション手段８０、仮想表示部品格納手段９０からなる。
【００１１】
上記ユーザインタフェース設計装置における設計対象となる複合表示部品は、複数の状態からなる状態空間を有し、各状態における表示や状態遷移などのふるまいの設計記述を可能とするものである。
【００１２】
状態集合編集手段１０は、複合表示部品の状態空間を規定するために用いる。具体的には、複合表示部品の状態空間に新たな状態を追加したり、すでに状態空間に存在している状態を削除することが可能である。各状態には、互いを識別するための名前をつけられるようになっていてもよい。また状態空間に複数の状態がある場合は、複合表示部品が表示されたときに最初にどの状態になるかを指定するために、いずれかの状態を初期状態として設定可能としてもよい。さらにいくつかの状態からなる状態グループを編集する機能を設けてもよい。そして各状態もしくは状態グループを指定して、対応するイベント処理編集手段２０または状態表示編集手段４０を起動することを可能としてもよい。
【００１３】
イベント処理編集手段２０は、複合表示部品の各状態もしくは状態グループにおけるふるまいを設計記述するために用いる。具体的には、各状態もしくは状態グループにおいて、どういうイベントをどういうふうに処理するかを規定するイベントハンドラを設定する。
【００１４】
イベントの種類としては例えば、何らかのキーが押されたなどといったキーイベント、マウスボタンがクリックされたなどといったマウスイベント、ある状態になってから指定時間経過したときに発生するタイマーイベント、キーやマウスなどからの入力がなくなってから指定時間後に発生するリリースイベント、ある状態もしくは状態グループに入ったときに発生するエントリイベント、ある状態もしくは状態グループからぬけるときに発生するイグジットイベント、音声による入力で発生する音声入力イベント、カメラなどからの入力で発生する画像入力イベント、機器の動きによって発生するモーションイベント、などが考えられる。さらに、複合表示部品などの間の通信・同期などに用いられる内部イベントや、現実のユーザインタフェース装置では実現が困難あるいは複雑であったり、開発中の機能に関連したイベントであったり、あるいはシミュレーション手段８０でシミュレートすることが困難なイベントを仮に設定して、対応するイベントハンドラを設計していくことを可能にする仮想イベントなども考えられる。また、例えばキーイベントの場合にはどのキーが押されたか、タイマーイベントの場合には指定時間がどれぐらいか、などイベントを詳細に識別するための属性を各種イベントに設けてもよい。
【００１５】
イベントハンドラには、イベントの種類や属性と、対応するイベントが発生した場合の処理を規定するアクションが設定される。アクションで記述される処理としては、ユーザインタフェース装置の内部状態や後述する表示部品の属性の変更、他の複合表示部品などに対する内部イベントの送信、何らかのプログラムコードの実行、そして複合表示部品の状態遷移などが考えられる。またユーザインタフェース装置の内部状態などによってイベントを処理すべきかどうかを判定し、場合によってはイベント処理を行わないようにするための、いわゆるガードをイベントハンドラに設定可能としてもよい。アクションやガードの記述には、例えばインタプリタ実行可能なプログラミング言語を用いることが考えられる。
【００１６】
基本表示部品格納手段３０は、あらかじめ設計された基本表示部品を格納しておく。基本表示部品としてはボタンやラベル、テキスト入力フォーム、チェックボックス、メニューなどが考えられる。また他の基本表示部品などを配置するためのパネル、フレームなども考えられる。同じ種類の基本表示部品でも、あらかじめ配置や大きさ、色、表示文字列などを特定したものを必要なだけ用意することも考えられるが、それらを属性として変更可能としておき、設計時に属性編集手段６０で編集できるようにすると、用意すべき基本表示部品の数が少なくなるとともに、個々の基本表示部品の汎用性が向上する。
【００１７】
状態表示編集手段４０は、複合表示部品の各状態もしくは状態グループにおいて表示すべき表示部品を新たに追加したり、すでに各状態もしくは状態グループに登録もしくは追加されている表示部品を削除することを可能にする。
【００１８】
表示部品としては例えば、基本表示部品格納手段３０に格納されている基本表示部品、すでに設計した複合表示部品を格納する複合表示部品格納手段５０の中の複合表示部品、あるいは仮想表示部品格納手段９０に格納されている仮想表示部品がある。
【００１９】
また、複合表示部品の各状態もしくは状態グループにおいて表示すべき表示部品の配置をそれらの外観とともにグラフィカルに表示するとともに、それらをマウスなどで直接操作し、大きさやサイズあるいは部品間の前後関係などレイアウトに関する属性・情報をグラフィカルに編集したり、各表示部品に対応する属性編集手段６０を直接起動することを可能としてもよい。
複合表示部品格納手段５０は、すでに設計された複合表示部品を格納する。
【００２０】
属性編集手段６０は基本表示部品や複合表示部品などの表示部品のもつ属性の値を設定する。属性としては配置や大きさなど一般的なものの他に、例えばボタンの場合は、表示文字列とその色や、背景色、押されたときなどに発生するイベントなど、表示部品の種類に応じたものが考えられる。また表示部品を互いに識別するための名前を属性として持たせてもよい。属性編集手段６０はこれらの属性のタイプに応じた編集方法を提供してもよい。またある表示部品の属性が、他の表示部品の属性の値を参照するように設定可能とすることも考えられる。
【００２１】
複合表示部品属性設定手段７０は、複合表示部品の属性の追加、削除を行う。属性の追加においては属性のタイプや名前、初期値、参照関係などを設定する。これにより、複合表示部品の外観やふるまいなどを属性の設定によって簡便に変更することが可能となる。
シミュレーション手段８０は、複合表示部品の動作をシミュレートする。
【００２２】
複合表示部品をシミュレートするには、まず複合表示部品の状態を初期状態に設定するとともに、初期状態および初期状態が属する状態グループに対応した表示部品を生成し、属性を初期化した上で指定されたレイアウトで表示する一方、それらに対応したイベントハンドラを有効化する。有効化されたイベントハンドラは、必要に応じて後述のようにタイマーなどを起動しながら、対応するイベントの発生を待つ。各表示部品の表示は例えば属性に応じて決定する。また表示すべき部品に他の複合表示部品が含まれる場合は、生成された複合表示部品に対し上記の処理を繰り返す。
【００２３】
イベントの発生に関しては、そのままシミュレートできる場合もあるが、例えばユーザインタフェース装置のキーを表すボタンを押すことに対応したイベントはマウスクリックなどで模擬し、ボタンの属性などで指定されたキーイベントを発生させて、適当な表示部品（例えばいわゆるフォーカスのあたった表示部品）のイベントハンドラに処理させることが考えられる。またタイマーイベントの場合は、対応するイベントハンドラが有効になったときにタイマーを起動させ、一定時間後にイベントを発生させ、上記イベントハンドラに処理させることが考えられる。リリースイベントの場合は、キーイベントなどが生じるごとにタイマーをリセットすることが考えられる。また仮想的なイベントに対応するイベントハンドラが有効になった場合は、例えばそのイベントを発生させるための特別なボタンをディスプレーに表示しておく。そしてユーザがそれをマウスなどで選択することにより仮想イベントを発生させ、上記イベントハンドラに処理させることが考えられる。一方、ある状態あるいは状態グループのエントリイベントに対するイベントハンドラがあれば、その状態あるいは状態グループに移ったときに上記イベントハンドラの処理を行う。
【００２４】
イベントに対応したイベントハンドラの処理においては、まずガードがあればそれが評価され、アクションの処理を行うかどうかが決定される。ガードがない場合、もしくはガードを評価した結果アクションを処理すべきと判定された場合は、アクションの処理が行われる。なお前述のように、ガードやアクションは例えば何らかのプログラミング言語で記述して、それをインタプリタ実行してもよい。また、特定のイベントに対する反応速度を向上させるなどの目的で、イベントの種類に応じた処理の優先度付けを行ってもよい。一方、イベントの種類によっては、そのイベントを処理できるイベントハンドラをもった表示部品を探索するための手続きを用意してもよい。例えばキーイベントの場合、いわゆるフォーカスをもった表示部品がそのキーイベントを処理できない場合は、その表示部品が配置されているパネルや複合表示部品などがもつイベントハンドラで、そのキーイベントに対応したものを探索し、その処理を行わせることなどが考えられる。さらにガードやアクションの処理などで、ある表示部品が他の表示部品の属性の値を参照したり、名前付けされた表示部品をいわゆる連想配列などで管理し、それらの表示部品を名前で参照することを実現してもよい。
【００２５】
イベントハンドラにおけるアクションの処理の結果、ある複合表示部品が別の状態に遷移するときには、現在の状態、もしくは次の状態と共通しない現在の状態グループに対応したイグジットハンドラがあればそれを実行する。そして、次の状態と共通しない現在の状態グループ、及び現在の状態に対応した表示部品を表示しないようにし、それらを消去する。またそれらに対応したイベントハンドラを無効化する。消去される部品が複合表示部品であれば、その中で表示されている表示部品の消去、イベントハンドラの無効化を再帰的に行う。一方、イベントハンドラの無効化に際しては、必要に応じて対応するタイマーを無効化したり、対応する仮想的なイベントを発生させるためのボタンを消去するなどの処理を行う。そして、新たな状態、及びその状態が属する状態グループのうち現在の状態と共通しない新たな状態グループに対応した表示部品の生成、表示、イベントハンドラの有効化を上述のように行う。
【００２６】
仮想表示部品格納手段９０は、実際のユーザインタフェース装置では実現が困難あるいは複雑であったり、もしくは開発中の機能であるが、シミュレーション手段８０では仮想的に実装することが容易な機能を持った、仮想的な表示部品を格納する。
【００２７】
次に、上述のユーザインタフェース設計装置を用いて設計された複合表示部品において、状態遷移に伴ってどのように表示部品の切替が行われるかを、図２を用いて説明する。なお説明の簡単化のため、各複合表示部品は状態１を初期状態とするとともに、各状態から他の状態に遷移するためのイベントハンドラが各状態に設定されている一方、状態グループは設定されていないものとする。また、各表示部品は表示される前にそのインスタンスが生成されているものとする。
【００２８】
図２において、複合表示部品Ｘは状態１から状態ＬまでのＬ個の状態をもつ。そして例えば状態１では基本表示部品Ａと複合表示部品Ｙが、状態２では基本表示部品Ｂと基本表示部品Ｃが、状態Ｌでは基本表示部品Ｄと複合表示部品Ｚが用いられている。
【００２９】
一方、複合表示部品Ｙは状態１から状態ＭまでのＭ個の状態をもつ。そして例えば状態１では基本表示部品Ｅが、状態２では基本表示部品Ｆが、状態Ｍでは複合表示部品Ｚと基本表示部品Ｇが用いられている。
【００３０】
さらに、複合表示部品Ｚは状態１から状態ＮまでのＮ個の状態をもつ。そして例えば状態１では基本表示部品Ｈが、状態２では基本表示部品Ｉが、状態Ｎでは基本表示部品Ｊと基本表示部品Ｋが用いられている。
【００３１】
このように各表示部品が設計されている場合に複合表示部品Ｘが表示されると、まず複合表示部品Ｘは状態１となり、基本表示部品Ａとともに複合表示部品Ｙが表示される。複合表示部品Ｙもまず状態１となり、そこでは基本表示部品Ｅが表示される。
【００３２】
続いて複合表示部品Ｙが何らかのイベント処理による状態遷移の結果、状態Ｍになったとすると、基本表示部品Ｅが消えて、今度は基本表示部品Ｇとともに複合表示部品Ｚが表示される。そして複合表示部品Ｚはまず状態１となって、そこで基本表示部品Ｈが表示されることになる。一方、複合表示部品Ｘで表示されている基本表示部品Ａは表示されたままとなっている。
【００３３】
ここで複合表示部品Ｚに状態遷移が生じて状態Ｎになったとすると、今度は基本表示部品Ｈが消えて、基本表示部品Ｊおよび基本表示部品Ｋが表示されることになる。
【００３４】
ここで、複合表示部品Ｘが状態２に遷移すると、複合表示部品Ｘ以外はすべて消え、基本表示部品Ｂおよび基本表示部品Ｃが表示されることになる。さらに、複合表示部品１が状態Ｌに遷移すると、今度は基本表示部品Ｂおよび基本表示部品Ｃが消えて、基本表示部品Ｄ及び複合表示部品Ｚが表示され、上述のように複合表示部品Ｚはまず状態１となって、そこで基本表示部品Ｈが表示されることになる。
【００３５】
なお、ここでは表示部品の切換について説明したが、各状態に対応したイベントハンドラの有効化・無効化についても同様の処理が行われる。
【００３６】
このように実施の形態１によれば、ユーザインタフェース設計装置は、複数の状態からなる複合表示部品の状態を追加・削除する状態集合編集手段１０と、複合表示部品の各状態における状態間の遷移などのイベント処理を記述するイベント処理編集手段２０と、予め設計された基本表示部品を格納する基本表示部品格納手段３０と、複合表示部品の各状態において表示すべき基本表示部品を追加・削除する状態表示編集手段４０とを備えているため、イベントに対する状態遷移に伴って表示部品を切り替えるようなユーザインタフェースを、状態の追加・削除と各状態におけるイベント処理の編集及び基本表示部品の追加・削除によって容易に設計することが可能となる。
【００３７】
さらに、設計された複合表示部品を格納する複合表示部品格納手段５０を備えるとともに、状態表示編集手段４０は設計された他の複合表示部品も追加・削除可能であるため、複合表示部品のある状態において別の複合表示部品を配置・削除することが可能となる。このため、例えば図２のような場合でも、複合表示部品Ｚの設計は１回ですむことからわかるように、部分的に独立した状態遷移を内包する複雑なユーザインタフェースを、同一のユーザインタフェース設計装置で設計した複数の複合表示部品を階層的に組み合わせることにより、１つの状態空間で扱おうとすると生じる状態数の組み合わせ的爆発を防ぎながら、見通しよく設計することが可能になる。
【００３８】
また、状態集合編集手段１０において、複合表示部品のいくつかの状態をグループ化することを可能にするとともに、状態表示編集手段４０において、グループ化された状態で共通して表示される表示部品をまとめて編集することを可能にすることにより、いくつかの状態で共通して表示される表示部品の編集を簡略化することができる。
【００３９】
また、状態集合編集手段１０において、複合表示部品のいくつかの状態をグループ化することを可能にするとともに、イベント処理編集手段２０において、共通するイベント処理をまとめて編集することを可能にすることにより、いくつかの状態で共通するイベント処理の編集を簡略化することが可能となる。
【００４０】
また、基本表示部品格納手段３０に格納された基本表示部品において、大きさや位置、及び外観やふるまいに対応する属性を持たせると共に、複合表示部品の各状態あるいは状態のグループに追加された基本表示部品の属性を編集する属性編集手段６０を提供することにより、配置や外観、ふるまいなどの異なる同種の表示部品を多数用意しなくても、基本表示部品の属性の変更により、設計者の望む配置や外観、ふるまいなどを柔軟に効率良く設定することが出来る。そのため、複合表示部品の各状態のユーザインタフェースを効率的に実現することが可能となる。
【００４１】
また、複合表示部品に対してその大きさや位置、及び外観やふるまいに対応した属性を追加・削除する複合表示部品属性設定手段７０をさらに備え、属性編集手段６０は、複合表示部品の各状態あるいは状態のグループに追加された複合表示部品の属性を編集することを可能にすることにより、複合表示部品の外観やふるまいなどを属性の設定によって変更することが可能となり、外観やふるまいなどの異なる同種の複合表示部品を多数用意しなくても、その属性の変更により、複合表示部品の各状態のユーザインタフェースを効率的に実現することが可能となる。
【００４２】
また、属性編集手段６０において、基本表示部品あるいは複合表示部品の属性値として、他の基本表示部品あるいは複合表示部品の属性値を参照して記述することを可能にすることにより、他の表示部品の属性に応じて外観やふるまいなどを変更するユーザインタフェースの設計が容易になる。
【００４３】
また、状態表示編集手段４０において、複合表示部品の各状態もしくは状態のグループにおける基本表示部品あるいは複合表示部品の配置や外観をグラフィカルに表示するとともに、それらをマウスなどで直接操作し、大きさ、サイズあるいは部品間の前後関係などのレイアウトに関する属性、情報をグラフィカルに編集したり、対応する属性編集手段６０を直接起動することを可能にすることにより、複合表示部品の各状態における表示部品の配置を直感的に把握しながら、配置の修正や属性の編集を効率的に行うことが可能となる。
【００４４】
また、デイスプレーのタッチ入力、マウス、キーボード等の入力機器を介して入力される操作入力に基づき、複合表示部品格納手段５０に格納された複合表示部品のふるまいをシミュレートするシミュレーション手段８０をさらに備えることにより、設計中の複合表示部品のふるまいを確認しながら設計を進めていくことが可能となる。
【００４５】
また、複合表示部品の各状態もしくは状態のグループで表示する部品として、実際のユーザインタフェース装置では実現が困難あるいは複雑であったり、もしくは開発中の機能であるが、シミュレーション手段８０において仮想的に実装することが容易な機能を有する仮想表示部品を格納する仮想表示部品格納手段９０をさらに備えることにより、設計の早期段階で新たなユーザインタフェース機能のレビューを行いながら設計を進めていくことが容易となる。
【００４６】
また、イベント処理編集手段２０において、実際のユーザインタフェース装置では実現が困難あるいは複雑であったり、もしくは開発中の機能に関連したもの、シミュレート手段８０でのシミュレーションが困難なイベントを仮想的に設定して、そのようなイベントに対するイベント処理の編集を可能にし、シミュレーション手段８０において、仮想的なイベントを入出力機器を介して発行させ、発行された仮想的なイベントに対する処理を、対象となる複合表示部品でシミュレートさせることを可能にすることにより、実際のユーザインタフェース装置では実現が困難又は複雑であったり、開発中の機能に関連したイベントや、あるいはシミュレーション手段でシミュレートすることが困難なイベントに対するユーザインタフェースの動作を容易に設計・確認できる。
【００４７】
本発明によれば、以下のような効果を奏する。
【００４８】
１．このように、本発明に係るユーザインタフェース設計装置は、複数の状態からなる複合表示部品の状態を追加・削除する状態集合編集手段と、上記複合表示部品の各状態における状態間の遷移などのイベント処理を記述するイベント処理編集手段と、あらかじめ設計された基本表示部品を格納する基本表示部品格納手段と、上記複合表示部品の各状態において表示すべき基本表示部品を追加・削除する状態表示編集手段とを備えているため、イベントに対する状態遷移を伴うユーザインタフェースの設計が可能かつ容易となる。
【００４９】
２．上記１記載のユーザインタフェース設計装置に対して、設計された上記複合表示部品を格納する複合表示部品格納手段をさらに備え、上記状態表示編集手段は、上記設計された他の複合表示部品をも追加・削除する機能を備えたことにより、部分的に独立した状態遷移を内包する複雑なユーザインタフェースを、復号表示部品の組み合わせとして、状態数の組み合わせ的爆発を防ぎながら見通しよく設計することが可能になる。
【００５０】
３．上記１または２に記載のいずれかのユーザインタフェース設計装置に対して、上記状態集合編集手段は、上記複合表示部品のいくつかの状態をグループ化し、上記状態表示編集手段は、上記グループ化された状態で共通して表示される表示部品をまとめて編集する機能を備えることにより、いくつかの状態で共通して表示される表示部品の編集を簡略化することが可能となる。
【００５１】
４．上記１から３に記載のいずれかのユーザインタフェース設計装置に対して、上記状態集合編集手段は、上記複合表示部品のいくつかの状態をグループ化し、上記イベント処理編集手段は、上記グループ化された状態で、共通するイベント処理をまとめて編集する機能を備えることにより、いくつかの状態で共通するイベント処理の編集を簡略化することが可能となる。
【００５２】
５．上記１から４に記載のいずれかのユーザインタフェース設計装置に対して、上記基本表示部品格納手段に格納された基本表示部品は、大きさや位置、および外観やふるまいに対応する属性有し、上記複合表示部品の各状態あるいは状態のグループに追加された基本表示部品の上記属性を編集する属性編集手段を備えることにより、配置や外観、ふるまいなどに応じて部品を用意することなく、属性の変更により基本表示部品の配置や外観、ふるまいなどを所望のものに設定して用いながら、状態遷移を伴うユーザインタフェースを効率的に設計してゆくことが可能となる。
【００５３】
６．上記５に記載のいずれかのユーザインタフェース設計装置に対してその大きさや位置、及び外観やふるまいなどに対応した属性を追加・削除する複合表示部品属性設定手段をさらに備え、上記属性編集手段は、上記複合表示部品の各状態あるいは状態のグループに追加された複合表示部品の属性を編集する機能を備えることにより、配置や外観、ふるまいなどの異なる同種の復号表示部品を多数用意することなく、その属性の変更により、復号表示部品の配置や外観、ふるまいなどを所望のものに設定して用いながら、状態遷移を伴うユーザインタフェースを効率的に設計してゆくことが可能となる。
【００５４】
７．上記５および６に記載のいずれかのユーザインタフェース設計装置に対して、上記属性編集手段は、上記基本表示部品あるいは上記複合表示部品の属性の値として、他の上記基本表示部品あるいは上記複合表示部品の属性の値を参照記述する機能を備えることにより、他の表示部品の属性に応じて外観やふるまいなどを変更するユーザインタフェースの設計が容易になる。
【００５５】
８．上記１から７に記載のいずれかのユーザインタフェース設計装置に対して、上記状態表示編集手段は、上記複合表示部品の各状態もしくは状態のグループにおける上記基本表示部品あるいは上記複合表示部品の配置をグラフィカルに表示すると共に、それらを入力機器で直接操作させ、大きさやサイズあるいは部品間の前後関係などのレイアウトに関する属性、情報をグラフィカルに編集したり、対応する上記属性編集手段を直接起動する機能を備えることにより、複合表示部品の各状態における表示部品の配置を直感的に把握しながら、配置の修正や属性の編集を効率的に行うことが可能となる。
【００５６】
９．上記１から８に記載のユーザインタフェース設計装置に対して、入力機器を介して入力される操作入力に基づき、上記複合表示部品格納手段に格納された上記複合表示部品のふるまいをシミュレートするシミュレーション手段をさらに備えることにより、ユーザインタフェースのシミュレーションが出来るとともに、設計中の複合表示部品のふるまいを確認しながら設計を進めていくことができるので、状態遷移を伴うユーザインタフェースの設計を進めて行くことが可能となる。
【００５７】
１０．上記９に記載のユーザインタフェース設計装置に対して、上記シミュレーション手段において仮想的に実装することが容易な機能を有する仮想表示部品を格納する仮想表示部品格納手段をさらに備えることにより、仮想的な表示部品を用いて、ユーザインタフェースの設計、シミュレーションを行うことが可能となり、設計の早い段階から新たなユーザインタフェース機能のレビューを行いながら設計を進めていくことが容易となる。
【００５８】
１１．上記９および１０に記載のいずれかのユーザインタフェース設計装置に対して、上記イベント処理編集手段は、実際には困難なイベントを仮想的に設定し、該イベントに対するイベント処理を編集し、上記シミュレーション手段は、上記仮想的なイベントを入出力機器を介して発行させ、発行された仮想的なイベントに対する処理を、対象となる複合表示部品でシミュレートさせる機能を備えることにより、実際のユーザインタフェース装置では実現が困難又は複雑であったり、開発中の機能に関連したイベントや、あるいはシミュレーション手段でシミュレートすることが困難なイベントに対するユーザインタフェースの設計・確認が容易となる。
【符号の説明】
【００５９】
１０ 状態集合編集手段、２０ イベント処理編集手段、３０ 基本表示部品格納手段、４０ 状態表示編集手段、５０ 複合表示部品格納手段、６０ 属性編集手段、７０ 複合表示部品属性設定手段、８０ シミュレーション手段、９０ 仮想表示部品格納手段。
【技術分野】
【０００１】
この発明は、イベントに対する状態遷移に伴って表示部品を切り替えるような例えば携帯電話や携帯情報端末などのユーザインタフェースの設計に適用されるユーザインタフェース装置に関するものである。
【背景技術】
【０００２】
図３は例えば特許文献１に示された従来のユーザインタフェース設計装置を示すブロック図である。この文献に開示された装置においては、レイアウトデータを対話的に設計するレイアウト設計部１１１、属性データを設定する属性設定部１１２、およびＧＵＩ部品ごとの生成契機を設定する生成契機設定部１１３から構成されたＧＵＩ画面設計装置１０１と、レイアウトデータ記憶部１２１、属性データ記憶部１２２、および生成契機データ記憶部１２３の各記憶部から構成された設計データ記憶装置１０２と、設計データに基づいてソースプログラムを生成するＧＵＩ画面ソースプログラム生成部１３１によるソースプログラム生成装置１０３と、ハードディスク等へ出力する出力装置１０４とからなる（例えば、特許文献１参照。）。
【０００３】
このような構成のユーザインタフェース設計装置においては、第一の生成契機が設定されたとき、ＧＵＩ画面の中でＧＵＩ部品を生成するソースプログラムとアクセス関数のソースプログラムを生成し、第二の生成契機が設定されたとき、動的生成アクセス関数のソースプログラムを生成して必要なときにＧＵＩ部品の生成を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１３７５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような構成の従来のユーザインタフェース設計装置においては、状態遷移を伴うユーザインタフェース部品の設計や、それらを組み合わせたユーザインタフェースのシミュレーションができなかった。
【０００６】
この発明は、上述のような課題を解決するためになされたもので、イベントに対する状態遷移に伴って表示部品を切り替えるようなユーザインタフェースを、状態の追加・削除と各状態における表示部品及びイベント処理の編集によって容易に設計することが可能となるユーザインタフェース装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明は、入力機器からの操作入力を入力する入力手段と、設計対象装置のユーザインタフェースを表示装置に表示するための表示手段と、設計対象装置のユーザインタフェースに表示させるための部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、複合表示部品を格納する複合表示部品格納手段であって、上記複合表示部品は、複数の状態と、上記状態間の遷移ならびに定義された処理を行うイベントハンドラとを有し、上記各状態において表示する上記基本表示部品ならびに他の複合表示部品の大きさ、位置、外観の属性、及び、上記他の複合表示部品の各状態において表示する基本表示部品ならびにさらに他の複合表示部品の大きさ、位置、外観の属性と参照関係にある属性、および上記イベントハンドラのふるまい方を決定する属性、を定義する、複合表示部品格納手段と、上記操作入力に対応してイベントを発行し、複合表示部品が有する上記イベントに対応したイベントハンドラを動作させ、ユーザインタフェースを上記表示手段に表示するシミュレーション手段とを備え、上記複合表示部品格納手段に格納される各々の複合表示部品は、該当する複合表示部品が有する複数の状態毎に、各々の状態において表示すべき基本表示部品及び他の複合表示部品を階層的に組み合わせたものであり、上記シミュレーション手段は、複合表示部品が有する上記イベントに対応したイベントハンドラによる状態間の遷移の動作において、表示すべき上記基本表示部品がある場合は当該基本表示部品を表示し、表示すべき他の上記複合表示部品がある場合は、当該複合表示部品に対する動作として、上記設計対象装置の内部又は外部にて発生したイベントに対応し、かつ当該複合表示部品が有する有効化されたイベントハンドラを動作させ、この動作により当該複合表示部品に状態の遷移があって、上記遷移後の状態において表示すべき基本表示部品があるときには当該基本表示部品を表示し、上記遷移後の状態においてさらに表示すべき他の複合表示部品があるときには当該他の複合表示部品を表示することからなる動作を、繰り返し他の複合表示部品に対して再帰的に実行することを特徴とするユーザインタフェース装置である。
【発明の効果】
【０００８】
この発明は、入力機器からの操作入力を入力する入力手段と、設計対象装置のユーザインタフェースを表示装置に表示するための表示手段と、設計対象装置のユーザインタフェースに表示させるための部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、複合表示部品を格納する複合表示部品格納手段であって、上記複合表示部品は、複数の状態と、上記状態間の遷移ならびに定義された処理を行うイベントハンドラとを有し、上記各状態において表示する上記基本表示部品ならびに他の複合表示部品の大きさ、位置、外観の属性、及び、上記他の複合表示部品の各状態において表示する基本表示部品ならびにさらに他の複合表示部品の大きさ、位置、外観の属性と参照関係にある属性、および上記イベントハンドラのふるまい方を決定する属性、を定義する、複合表示部品格納手段と、上記操作入力に対応してイベントを発行し、複合表示部品が有する上記イベントに対応したイベントハンドラを動作させ、ユーザインタフェースを上記表示手段に表示するシミュレーション手段とを備え、上記複合表示部品格納手段に格納される各々の複合表示部品は、該当する複合表示部品が有する複数の状態毎に、各々の状態において表示すべき基本表示部品及び他の複合表示部品を階層的に組み合わせたものであり、上記シミュレーション手段は、複合表示部品が有する上記イベントに対応したイベントハンドラによる状態間の遷移の動作において、表示すべき上記基本表示部品がある場合は当該基本表示部品を表示し、表示すべき他の上記複合表示部品がある場合は、当該複合表示部品に対する動作として、上記設計対象装置の内部又は外部にて発生したイベントに対応し、かつ当該複合表示部品が有する有効化されたイベントハンドラを動作させ、この動作により当該複合表示部品に状態の遷移があって、上記遷移後の状態において表示すべき基本表示部品があるときには当該基本表示部品を表示し、上記遷移後の状態においてさらに表示すべき他の複合表示部品があるときには当該他の複合表示部品を表示することからなる動作を、繰り返し他の複合表示部品に対して再帰的に実行することを特徴とするユーザインタフェース装置であるので、イベントに対する状態遷移に伴って表示部品を切り替えるようなユーザインタフェースを、状態の追加・削除と各状態における表示部品及びイベント処理の編集によって容易に設計することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明のユーザインタフェース設計装置を示すブロック図である。
【図２】複合表示部品を説明する為の階層図である。
【図３】従来のユーザインタフェース設計装置を示すブロック図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は本発明の実施の形態１によるユーザインタフェース設計装置のブロック図である。この装置は状態集合編集手段１０、イベント処理編集手段２０、基本表示部品格納手段３０、状態表示編集手段４０、複合表示部品格納手段５０、属性編集手段６０、複合表示部品属性設定手段７０、シミュレーション手段８０、仮想表示部品格納手段９０からなる。
【００１１】
上記ユーザインタフェース設計装置における設計対象となる複合表示部品は、複数の状態からなる状態空間を有し、各状態における表示や状態遷移などのふるまいの設計記述を可能とするものである。
【００１２】
状態集合編集手段１０は、複合表示部品の状態空間を規定するために用いる。具体的には、複合表示部品の状態空間に新たな状態を追加したり、すでに状態空間に存在している状態を削除することが可能である。各状態には、互いを識別するための名前をつけられるようになっていてもよい。また状態空間に複数の状態がある場合は、複合表示部品が表示されたときに最初にどの状態になるかを指定するために、いずれかの状態を初期状態として設定可能としてもよい。さらにいくつかの状態からなる状態グループを編集する機能を設けてもよい。そして各状態もしくは状態グループを指定して、対応するイベント処理編集手段２０または状態表示編集手段４０を起動することを可能としてもよい。
【００１３】
イベント処理編集手段２０は、複合表示部品の各状態もしくは状態グループにおけるふるまいを設計記述するために用いる。具体的には、各状態もしくは状態グループにおいて、どういうイベントをどういうふうに処理するかを規定するイベントハンドラを設定する。
【００１４】
イベントの種類としては例えば、何らかのキーが押されたなどといったキーイベント、マウスボタンがクリックされたなどといったマウスイベント、ある状態になってから指定時間経過したときに発生するタイマーイベント、キーやマウスなどからの入力がなくなってから指定時間後に発生するリリースイベント、ある状態もしくは状態グループに入ったときに発生するエントリイベント、ある状態もしくは状態グループからぬけるときに発生するイグジットイベント、音声による入力で発生する音声入力イベント、カメラなどからの入力で発生する画像入力イベント、機器の動きによって発生するモーションイベント、などが考えられる。さらに、複合表示部品などの間の通信・同期などに用いられる内部イベントや、現実のユーザインタフェース装置では実現が困難あるいは複雑であったり、開発中の機能に関連したイベントであったり、あるいはシミュレーション手段８０でシミュレートすることが困難なイベントを仮に設定して、対応するイベントハンドラを設計していくことを可能にする仮想イベントなども考えられる。また、例えばキーイベントの場合にはどのキーが押されたか、タイマーイベントの場合には指定時間がどれぐらいか、などイベントを詳細に識別するための属性を各種イベントに設けてもよい。
【００１５】
イベントハンドラには、イベントの種類や属性と、対応するイベントが発生した場合の処理を規定するアクションが設定される。アクションで記述される処理としては、ユーザインタフェース装置の内部状態や後述する表示部品の属性の変更、他の複合表示部品などに対する内部イベントの送信、何らかのプログラムコードの実行、そして複合表示部品の状態遷移などが考えられる。またユーザインタフェース装置の内部状態などによってイベントを処理すべきかどうかを判定し、場合によってはイベント処理を行わないようにするための、いわゆるガードをイベントハンドラに設定可能としてもよい。アクションやガードの記述には、例えばインタプリタ実行可能なプログラミング言語を用いることが考えられる。
【００１６】
基本表示部品格納手段３０は、あらかじめ設計された基本表示部品を格納しておく。基本表示部品としてはボタンやラベル、テキスト入力フォーム、チェックボックス、メニューなどが考えられる。また他の基本表示部品などを配置するためのパネル、フレームなども考えられる。同じ種類の基本表示部品でも、あらかじめ配置や大きさ、色、表示文字列などを特定したものを必要なだけ用意することも考えられるが、それらを属性として変更可能としておき、設計時に属性編集手段６０で編集できるようにすると、用意すべき基本表示部品の数が少なくなるとともに、個々の基本表示部品の汎用性が向上する。
【００１７】
状態表示編集手段４０は、複合表示部品の各状態もしくは状態グループにおいて表示すべき表示部品を新たに追加したり、すでに各状態もしくは状態グループに登録もしくは追加されている表示部品を削除することを可能にする。
【００１８】
表示部品としては例えば、基本表示部品格納手段３０に格納されている基本表示部品、すでに設計した複合表示部品を格納する複合表示部品格納手段５０の中の複合表示部品、あるいは仮想表示部品格納手段９０に格納されている仮想表示部品がある。
【００１９】
また、複合表示部品の各状態もしくは状態グループにおいて表示すべき表示部品の配置をそれらの外観とともにグラフィカルに表示するとともに、それらをマウスなどで直接操作し、大きさやサイズあるいは部品間の前後関係などレイアウトに関する属性・情報をグラフィカルに編集したり、各表示部品に対応する属性編集手段６０を直接起動することを可能としてもよい。
複合表示部品格納手段５０は、すでに設計された複合表示部品を格納する。
【００２０】
属性編集手段６０は基本表示部品や複合表示部品などの表示部品のもつ属性の値を設定する。属性としては配置や大きさなど一般的なものの他に、例えばボタンの場合は、表示文字列とその色や、背景色、押されたときなどに発生するイベントなど、表示部品の種類に応じたものが考えられる。また表示部品を互いに識別するための名前を属性として持たせてもよい。属性編集手段６０はこれらの属性のタイプに応じた編集方法を提供してもよい。またある表示部品の属性が、他の表示部品の属性の値を参照するように設定可能とすることも考えられる。
【００２１】
複合表示部品属性設定手段７０は、複合表示部品の属性の追加、削除を行う。属性の追加においては属性のタイプや名前、初期値、参照関係などを設定する。これにより、複合表示部品の外観やふるまいなどを属性の設定によって簡便に変更することが可能となる。
シミュレーション手段８０は、複合表示部品の動作をシミュレートする。
【００２２】
複合表示部品をシミュレートするには、まず複合表示部品の状態を初期状態に設定するとともに、初期状態および初期状態が属する状態グループに対応した表示部品を生成し、属性を初期化した上で指定されたレイアウトで表示する一方、それらに対応したイベントハンドラを有効化する。有効化されたイベントハンドラは、必要に応じて後述のようにタイマーなどを起動しながら、対応するイベントの発生を待つ。各表示部品の表示は例えば属性に応じて決定する。また表示すべき部品に他の複合表示部品が含まれる場合は、生成された複合表示部品に対し上記の処理を繰り返す。
【００２３】
イベントの発生に関しては、そのままシミュレートできる場合もあるが、例えばユーザインタフェース装置のキーを表すボタンを押すことに対応したイベントはマウスクリックなどで模擬し、ボタンの属性などで指定されたキーイベントを発生させて、適当な表示部品（例えばいわゆるフォーカスのあたった表示部品）のイベントハンドラに処理させることが考えられる。またタイマーイベントの場合は、対応するイベントハンドラが有効になったときにタイマーを起動させ、一定時間後にイベントを発生させ、上記イベントハンドラに処理させることが考えられる。リリースイベントの場合は、キーイベントなどが生じるごとにタイマーをリセットすることが考えられる。また仮想的なイベントに対応するイベントハンドラが有効になった場合は、例えばそのイベントを発生させるための特別なボタンをディスプレーに表示しておく。そしてユーザがそれをマウスなどで選択することにより仮想イベントを発生させ、上記イベントハンドラに処理させることが考えられる。一方、ある状態あるいは状態グループのエントリイベントに対するイベントハンドラがあれば、その状態あるいは状態グループに移ったときに上記イベントハンドラの処理を行う。
【００２４】
イベントに対応したイベントハンドラの処理においては、まずガードがあればそれが評価され、アクションの処理を行うかどうかが決定される。ガードがない場合、もしくはガードを評価した結果アクションを処理すべきと判定された場合は、アクションの処理が行われる。なお前述のように、ガードやアクションは例えば何らかのプログラミング言語で記述して、それをインタプリタ実行してもよい。また、特定のイベントに対する反応速度を向上させるなどの目的で、イベントの種類に応じた処理の優先度付けを行ってもよい。一方、イベントの種類によっては、そのイベントを処理できるイベントハンドラをもった表示部品を探索するための手続きを用意してもよい。例えばキーイベントの場合、いわゆるフォーカスをもった表示部品がそのキーイベントを処理できない場合は、その表示部品が配置されているパネルや複合表示部品などがもつイベントハンドラで、そのキーイベントに対応したものを探索し、その処理を行わせることなどが考えられる。さらにガードやアクションの処理などで、ある表示部品が他の表示部品の属性の値を参照したり、名前付けされた表示部品をいわゆる連想配列などで管理し、それらの表示部品を名前で参照することを実現してもよい。
【００２５】
イベントハンドラにおけるアクションの処理の結果、ある複合表示部品が別の状態に遷移するときには、現在の状態、もしくは次の状態と共通しない現在の状態グループに対応したイグジットハンドラがあればそれを実行する。そして、次の状態と共通しない現在の状態グループ、及び現在の状態に対応した表示部品を表示しないようにし、それらを消去する。またそれらに対応したイベントハンドラを無効化する。消去される部品が複合表示部品であれば、その中で表示されている表示部品の消去、イベントハンドラの無効化を再帰的に行う。一方、イベントハンドラの無効化に際しては、必要に応じて対応するタイマーを無効化したり、対応する仮想的なイベントを発生させるためのボタンを消去するなどの処理を行う。そして、新たな状態、及びその状態が属する状態グループのうち現在の状態と共通しない新たな状態グループに対応した表示部品の生成、表示、イベントハンドラの有効化を上述のように行う。
【００２６】
仮想表示部品格納手段９０は、実際のユーザインタフェース装置では実現が困難あるいは複雑であったり、もしくは開発中の機能であるが、シミュレーション手段８０では仮想的に実装することが容易な機能を持った、仮想的な表示部品を格納する。
【００２７】
次に、上述のユーザインタフェース設計装置を用いて設計された複合表示部品において、状態遷移に伴ってどのように表示部品の切替が行われるかを、図２を用いて説明する。なお説明の簡単化のため、各複合表示部品は状態１を初期状態とするとともに、各状態から他の状態に遷移するためのイベントハンドラが各状態に設定されている一方、状態グループは設定されていないものとする。また、各表示部品は表示される前にそのインスタンスが生成されているものとする。
【００２８】
図２において、複合表示部品Ｘは状態１から状態ＬまでのＬ個の状態をもつ。そして例えば状態１では基本表示部品Ａと複合表示部品Ｙが、状態２では基本表示部品Ｂと基本表示部品Ｃが、状態Ｌでは基本表示部品Ｄと複合表示部品Ｚが用いられている。
【００２９】
一方、複合表示部品Ｙは状態１から状態ＭまでのＭ個の状態をもつ。そして例えば状態１では基本表示部品Ｅが、状態２では基本表示部品Ｆが、状態Ｍでは複合表示部品Ｚと基本表示部品Ｇが用いられている。
【００３０】
さらに、複合表示部品Ｚは状態１から状態ＮまでのＮ個の状態をもつ。そして例えば状態１では基本表示部品Ｈが、状態２では基本表示部品Ｉが、状態Ｎでは基本表示部品Ｊと基本表示部品Ｋが用いられている。
【００３１】
このように各表示部品が設計されている場合に複合表示部品Ｘが表示されると、まず複合表示部品Ｘは状態１となり、基本表示部品Ａとともに複合表示部品Ｙが表示される。複合表示部品Ｙもまず状態１となり、そこでは基本表示部品Ｅが表示される。
【００３２】
続いて複合表示部品Ｙが何らかのイベント処理による状態遷移の結果、状態Ｍになったとすると、基本表示部品Ｅが消えて、今度は基本表示部品Ｇとともに複合表示部品Ｚが表示される。そして複合表示部品Ｚはまず状態１となって、そこで基本表示部品Ｈが表示されることになる。一方、複合表示部品Ｘで表示されている基本表示部品Ａは表示されたままとなっている。
【００３３】
ここで複合表示部品Ｚに状態遷移が生じて状態Ｎになったとすると、今度は基本表示部品Ｈが消えて、基本表示部品Ｊおよび基本表示部品Ｋが表示されることになる。
【００３４】
ここで、複合表示部品Ｘが状態２に遷移すると、複合表示部品Ｘ以外はすべて消え、基本表示部品Ｂおよび基本表示部品Ｃが表示されることになる。さらに、複合表示部品１が状態Ｌに遷移すると、今度は基本表示部品Ｂおよび基本表示部品Ｃが消えて、基本表示部品Ｄ及び複合表示部品Ｚが表示され、上述のように複合表示部品Ｚはまず状態１となって、そこで基本表示部品Ｈが表示されることになる。
【００３５】
なお、ここでは表示部品の切換について説明したが、各状態に対応したイベントハンドラの有効化・無効化についても同様の処理が行われる。
【００３６】
このように実施の形態１によれば、ユーザインタフェース設計装置は、複数の状態からなる複合表示部品の状態を追加・削除する状態集合編集手段１０と、複合表示部品の各状態における状態間の遷移などのイベント処理を記述するイベント処理編集手段２０と、予め設計された基本表示部品を格納する基本表示部品格納手段３０と、複合表示部品の各状態において表示すべき基本表示部品を追加・削除する状態表示編集手段４０とを備えているため、イベントに対する状態遷移に伴って表示部品を切り替えるようなユーザインタフェースを、状態の追加・削除と各状態におけるイベント処理の編集及び基本表示部品の追加・削除によって容易に設計することが可能となる。
【００３７】
さらに、設計された複合表示部品を格納する複合表示部品格納手段５０を備えるとともに、状態表示編集手段４０は設計された他の複合表示部品も追加・削除可能であるため、複合表示部品のある状態において別の複合表示部品を配置・削除することが可能となる。このため、例えば図２のような場合でも、複合表示部品Ｚの設計は１回ですむことからわかるように、部分的に独立した状態遷移を内包する複雑なユーザインタフェースを、同一のユーザインタフェース設計装置で設計した複数の複合表示部品を階層的に組み合わせることにより、１つの状態空間で扱おうとすると生じる状態数の組み合わせ的爆発を防ぎながら、見通しよく設計することが可能になる。
【００３８】
また、状態集合編集手段１０において、複合表示部品のいくつかの状態をグループ化することを可能にするとともに、状態表示編集手段４０において、グループ化された状態で共通して表示される表示部品をまとめて編集することを可能にすることにより、いくつかの状態で共通して表示される表示部品の編集を簡略化することができる。
【００３９】
また、状態集合編集手段１０において、複合表示部品のいくつかの状態をグループ化することを可能にするとともに、イベント処理編集手段２０において、共通するイベント処理をまとめて編集することを可能にすることにより、いくつかの状態で共通するイベント処理の編集を簡略化することが可能となる。
【００４０】
また、基本表示部品格納手段３０に格納された基本表示部品において、大きさや位置、及び外観やふるまいに対応する属性を持たせると共に、複合表示部品の各状態あるいは状態のグループに追加された基本表示部品の属性を編集する属性編集手段６０を提供することにより、配置や外観、ふるまいなどの異なる同種の表示部品を多数用意しなくても、基本表示部品の属性の変更により、設計者の望む配置や外観、ふるまいなどを柔軟に効率良く設定することが出来る。そのため、複合表示部品の各状態のユーザインタフェースを効率的に実現することが可能となる。
【００４１】
また、複合表示部品に対してその大きさや位置、及び外観やふるまいに対応した属性を追加・削除する複合表示部品属性設定手段７０をさらに備え、属性編集手段６０は、複合表示部品の各状態あるいは状態のグループに追加された複合表示部品の属性を編集することを可能にすることにより、複合表示部品の外観やふるまいなどを属性の設定によって変更することが可能となり、外観やふるまいなどの異なる同種の複合表示部品を多数用意しなくても、その属性の変更により、複合表示部品の各状態のユーザインタフェースを効率的に実現することが可能となる。
【００４２】
また、属性編集手段６０において、基本表示部品あるいは複合表示部品の属性値として、他の基本表示部品あるいは複合表示部品の属性値を参照して記述することを可能にすることにより、他の表示部品の属性に応じて外観やふるまいなどを変更するユーザインタフェースの設計が容易になる。
【００４３】
また、状態表示編集手段４０において、複合表示部品の各状態もしくは状態のグループにおける基本表示部品あるいは複合表示部品の配置や外観をグラフィカルに表示するとともに、それらをマウスなどで直接操作し、大きさ、サイズあるいは部品間の前後関係などのレイアウトに関する属性、情報をグラフィカルに編集したり、対応する属性編集手段６０を直接起動することを可能にすることにより、複合表示部品の各状態における表示部品の配置を直感的に把握しながら、配置の修正や属性の編集を効率的に行うことが可能となる。
【００４４】
また、デイスプレーのタッチ入力、マウス、キーボード等の入力機器を介して入力される操作入力に基づき、複合表示部品格納手段５０に格納された複合表示部品のふるまいをシミュレートするシミュレーション手段８０をさらに備えることにより、設計中の複合表示部品のふるまいを確認しながら設計を進めていくことが可能となる。
【００４５】
また、複合表示部品の各状態もしくは状態のグループで表示する部品として、実際のユーザインタフェース装置では実現が困難あるいは複雑であったり、もしくは開発中の機能であるが、シミュレーション手段８０において仮想的に実装することが容易な機能を有する仮想表示部品を格納する仮想表示部品格納手段９０をさらに備えることにより、設計の早期段階で新たなユーザインタフェース機能のレビューを行いながら設計を進めていくことが容易となる。
【００４６】
また、イベント処理編集手段２０において、実際のユーザインタフェース装置では実現が困難あるいは複雑であったり、もしくは開発中の機能に関連したもの、シミュレート手段８０でのシミュレーションが困難なイベントを仮想的に設定して、そのようなイベントに対するイベント処理の編集を可能にし、シミュレーション手段８０において、仮想的なイベントを入出力機器を介して発行させ、発行された仮想的なイベントに対する処理を、対象となる複合表示部品でシミュレートさせることを可能にすることにより、実際のユーザインタフェース装置では実現が困難又は複雑であったり、開発中の機能に関連したイベントや、あるいはシミュレーション手段でシミュレートすることが困難なイベントに対するユーザインタフェースの動作を容易に設計・確認できる。
【００４７】
本発明によれば、以下のような効果を奏する。
【００４８】
１．このように、本発明に係るユーザインタフェース設計装置は、複数の状態からなる複合表示部品の状態を追加・削除する状態集合編集手段と、上記複合表示部品の各状態における状態間の遷移などのイベント処理を記述するイベント処理編集手段と、あらかじめ設計された基本表示部品を格納する基本表示部品格納手段と、上記複合表示部品の各状態において表示すべき基本表示部品を追加・削除する状態表示編集手段とを備えているため、イベントに対する状態遷移を伴うユーザインタフェースの設計が可能かつ容易となる。
【００４９】
２．上記１記載のユーザインタフェース設計装置に対して、設計された上記複合表示部品を格納する複合表示部品格納手段をさらに備え、上記状態表示編集手段は、上記設計された他の複合表示部品をも追加・削除する機能を備えたことにより、部分的に独立した状態遷移を内包する複雑なユーザインタフェースを、復号表示部品の組み合わせとして、状態数の組み合わせ的爆発を防ぎながら見通しよく設計することが可能になる。
【００５０】
３．上記１または２に記載のいずれかのユーザインタフェース設計装置に対して、上記状態集合編集手段は、上記複合表示部品のいくつかの状態をグループ化し、上記状態表示編集手段は、上記グループ化された状態で共通して表示される表示部品をまとめて編集する機能を備えることにより、いくつかの状態で共通して表示される表示部品の編集を簡略化することが可能となる。
【００５１】
４．上記１から３に記載のいずれかのユーザインタフェース設計装置に対して、上記状態集合編集手段は、上記複合表示部品のいくつかの状態をグループ化し、上記イベント処理編集手段は、上記グループ化された状態で、共通するイベント処理をまとめて編集する機能を備えることにより、いくつかの状態で共通するイベント処理の編集を簡略化することが可能となる。
【００５２】
５．上記１から４に記載のいずれかのユーザインタフェース設計装置に対して、上記基本表示部品格納手段に格納された基本表示部品は、大きさや位置、および外観やふるまいに対応する属性有し、上記複合表示部品の各状態あるいは状態のグループに追加された基本表示部品の上記属性を編集する属性編集手段を備えることにより、配置や外観、ふるまいなどに応じて部品を用意することなく、属性の変更により基本表示部品の配置や外観、ふるまいなどを所望のものに設定して用いながら、状態遷移を伴うユーザインタフェースを効率的に設計してゆくことが可能となる。
【００５３】
６．上記５に記載のいずれかのユーザインタフェース設計装置に対してその大きさや位置、及び外観やふるまいなどに対応した属性を追加・削除する複合表示部品属性設定手段をさらに備え、上記属性編集手段は、上記複合表示部品の各状態あるいは状態のグループに追加された複合表示部品の属性を編集する機能を備えることにより、配置や外観、ふるまいなどの異なる同種の復号表示部品を多数用意することなく、その属性の変更により、復号表示部品の配置や外観、ふるまいなどを所望のものに設定して用いながら、状態遷移を伴うユーザインタフェースを効率的に設計してゆくことが可能となる。
【００５４】
７．上記５および６に記載のいずれかのユーザインタフェース設計装置に対して、上記属性編集手段は、上記基本表示部品あるいは上記複合表示部品の属性の値として、他の上記基本表示部品あるいは上記複合表示部品の属性の値を参照記述する機能を備えることにより、他の表示部品の属性に応じて外観やふるまいなどを変更するユーザインタフェースの設計が容易になる。
【００５５】
８．上記１から７に記載のいずれかのユーザインタフェース設計装置に対して、上記状態表示編集手段は、上記複合表示部品の各状態もしくは状態のグループにおける上記基本表示部品あるいは上記複合表示部品の配置をグラフィカルに表示すると共に、それらを入力機器で直接操作させ、大きさやサイズあるいは部品間の前後関係などのレイアウトに関する属性、情報をグラフィカルに編集したり、対応する上記属性編集手段を直接起動する機能を備えることにより、複合表示部品の各状態における表示部品の配置を直感的に把握しながら、配置の修正や属性の編集を効率的に行うことが可能となる。
【００５６】
９．上記１から８に記載のユーザインタフェース設計装置に対して、入力機器を介して入力される操作入力に基づき、上記複合表示部品格納手段に格納された上記複合表示部品のふるまいをシミュレートするシミュレーション手段をさらに備えることにより、ユーザインタフェースのシミュレーションが出来るとともに、設計中の複合表示部品のふるまいを確認しながら設計を進めていくことができるので、状態遷移を伴うユーザインタフェースの設計を進めて行くことが可能となる。
【００５７】
１０．上記９に記載のユーザインタフェース設計装置に対して、上記シミュレーション手段において仮想的に実装することが容易な機能を有する仮想表示部品を格納する仮想表示部品格納手段をさらに備えることにより、仮想的な表示部品を用いて、ユーザインタフェースの設計、シミュレーションを行うことが可能となり、設計の早い段階から新たなユーザインタフェース機能のレビューを行いながら設計を進めていくことが容易となる。
【００５８】
１１．上記９および１０に記載のいずれかのユーザインタフェース設計装置に対して、上記イベント処理編集手段は、実際には困難なイベントを仮想的に設定し、該イベントに対するイベント処理を編集し、上記シミュレーション手段は、上記仮想的なイベントを入出力機器を介して発行させ、発行された仮想的なイベントに対する処理を、対象となる複合表示部品でシミュレートさせる機能を備えることにより、実際のユーザインタフェース装置では実現が困難又は複雑であったり、開発中の機能に関連したイベントや、あるいはシミュレーション手段でシミュレートすることが困難なイベントに対するユーザインタフェースの設計・確認が容易となる。
【符号の説明】
【００５９】
１０ 状態集合編集手段、２０ イベント処理編集手段、３０ 基本表示部品格納手段、４０ 状態表示編集手段、５０ 複合表示部品格納手段、６０ 属性編集手段、７０ 複合表示部品属性設定手段、８０ シミュレーション手段、９０ 仮想表示部品格納手段。
【特許請求の範囲】
【請求項１】
入力機器からの操作入力を入力する入力手段と、
設計対象装置のユーザインタフェースを表示装置に表示するための表示手段と、
設計対象装置のユーザインタフェースに表示させるための部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、
複合表示部品を格納する複合表示部品格納手段であって、上記複合表示部品は、複数の状態と、上記状態間の遷移ならびに定義された処理を行うイベントハンドラとを有し、上記各状態において表示する上記基本表示部品ならびに他の複合表示部品の大きさ、位置、外観の属性、及び、上記他の複合表示部品の各状態において表示する基本表示部品ならびにさらに他の複合表示部品の大きさ、位置、外観の属性と参照関係にある属性、および上記イベントハンドラのふるまい方を決定する属性、を定義する、複合表示部品格納手段と、
上記操作入力に対応してイベントを発行し、複合表示部品が有する上記イベントに対応したイベントハンドラを動作させ、ユーザインタフェースを上記表示手段に表示するシミュレーション手段と
を備え、
上記複合表示部品格納手段に格納される各々の複合表示部品は、該当する複合表示部品が有する複数の状態毎に、各々の状態において表示すべき基本表示部品及び他の複合表示部品を階層的に組み合わせたものであり、
上記シミュレーション手段は、複合表示部品が有する上記イベントに対応したイベントハンドラによる状態間の遷移の動作において、表示すべき上記基本表示部品がある場合は当該基本表示部品を表示し、表示すべき他の上記複合表示部品がある場合は、当該複合表示部品に対する動作として、上記設計対象装置の内部又は外部にて発生したイベントに対応し、かつ当該複合表示部品が有する有効化されたイベントハンドラを動作させ、この動作により当該複合表示部品に状態の遷移があって、上記遷移後の状態において表示すべき基本表示部品があるときには当該基本表示部品を表示し、上記遷移後の状態においてさらに表示すべき他の複合表示部品があるときには当該他の複合表示部品を表示することからなる動作を、繰り返し他の複合表示部品に対して再帰的に実行する
ことを特徴とするユーザインタフェース装置。
【請求項２】
上記基本表示部品及び上記複合表示部品の属性値は、他の上記基本表示部品及び上記複合表示部品の属性値を参照するように記述可能なものであって、
上記シミュレーション手段は、上記基本表示部品及び上記複合表示部品の属性値が他の上記基本表示部品及び上記複合表示部品の属性値を参照する場合は、当該属性値を参照する
ことを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項１】
入力機器からの操作入力を入力する入力手段と、
設計対象装置のユーザインタフェースを表示装置に表示するための表示手段と、
設計対象装置のユーザインタフェースに表示させるための部品として予め設計された基本表示部品を格納する基本表示部品格納手段と、
複合表示部品を格納する複合表示部品格納手段であって、上記複合表示部品は、複数の状態と、上記状態間の遷移ならびに定義された処理を行うイベントハンドラとを有し、上記各状態において表示する上記基本表示部品ならびに他の複合表示部品の大きさ、位置、外観の属性、及び、上記他の複合表示部品の各状態において表示する基本表示部品ならびにさらに他の複合表示部品の大きさ、位置、外観の属性と参照関係にある属性、および上記イベントハンドラのふるまい方を決定する属性、を定義する、複合表示部品格納手段と、
上記操作入力に対応してイベントを発行し、複合表示部品が有する上記イベントに対応したイベントハンドラを動作させ、ユーザインタフェースを上記表示手段に表示するシミュレーション手段と
を備え、
上記複合表示部品格納手段に格納される各々の複合表示部品は、該当する複合表示部品が有する複数の状態毎に、各々の状態において表示すべき基本表示部品及び他の複合表示部品を階層的に組み合わせたものであり、
上記シミュレーション手段は、複合表示部品が有する上記イベントに対応したイベントハンドラによる状態間の遷移の動作において、表示すべき上記基本表示部品がある場合は当該基本表示部品を表示し、表示すべき他の上記複合表示部品がある場合は、当該複合表示部品に対する動作として、上記設計対象装置の内部又は外部にて発生したイベントに対応し、かつ当該複合表示部品が有する有効化されたイベントハンドラを動作させ、この動作により当該複合表示部品に状態の遷移があって、上記遷移後の状態において表示すべき基本表示部品があるときには当該基本表示部品を表示し、上記遷移後の状態においてさらに表示すべき他の複合表示部品があるときには当該他の複合表示部品を表示することからなる動作を、繰り返し他の複合表示部品に対して再帰的に実行する
ことを特徴とするユーザインタフェース装置。
【請求項２】
上記基本表示部品及び上記複合表示部品の属性値は、他の上記基本表示部品及び上記複合表示部品の属性値を参照するように記述可能なものであって、
上記シミュレーション手段は、上記基本表示部品及び上記複合表示部品の属性値が他の上記基本表示部品及び上記複合表示部品の属性値を参照する場合は、当該属性値を参照する
ことを特徴とする請求項１に記載のユーザインタフェース装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−１５９３２５（Ｐ２０１１−１５９３２５Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１１−１０７１５３（Ｐ２０１１−１０７１５３）
【出願日】平成２３年５月１２日（２０１１．５．１２）
【分割の表示】特願２００６−２６８１２１（Ｐ２００６−２６８１２１）の分割
【原出願日】平成１３年２月１４日（２００１．２．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２３年５月１２日（２０１１．５．１２）
【分割の表示】特願２００６−２６８１２１（Ｐ２００６−２６８１２１）の分割
【原出願日】平成１３年２月１４日（２００１．２．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]