説明

ユーザインタフェース自動分析評価システム及びユーザインタフェース自動分析評価方法

【課題】アプリGUIのユーザビリティを評価するシステムにおいて、主観的評価結果と、物理特徴から得られる客観的評価結果との相関関係を捉えるモデルを構築して信頼性の高い評価システムを得る。
【解決手段】予め評価対象以外のアプリGUIに対して主観評価項目毎に付けた点数を主観評価値として蓄積した主観評価結果記憶部11と、前記アプリGUIに使用されているGUI物理パラメータに対する計測値を蓄積したGUI物理パラメータ計測結果記憶部12と、前記主観評価結果記憶部及びGUI物理パラメータ計測結果記憶部から読み出し、GUI物理パラメータと主観評価項目との相関関係を分析して、主観評価項目と相関の高いGUI物理パラメータの組を選出した分析モデルを出力する相関関係分析部10と、前記GUI物理パラメータに対して前記分析モデルを適用して、主観評価結果を予測するアプリGUI評価部13を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アプリケーションのユーザインタフェースに対する分析評価を自動的に行うシステム及び方法に関し、特に、タッチパネル操作を伴う携帯情報通信端末上で動作するアプリケーションを対象としたユーザインタフェース自動分析評価システム及びその評価方法に関する。
【背景技術】
【0002】
アプリケーションのユーザインタフェースを評価する方法としては、被験者がアプリケーションを実際に使った上で、主観的な評価結果をアンケート形式で行う方法が主流である。例えば、非特許文献1では、ウェブユーザビリティに関する21項目の質問に対して、それぞれ5段階で評価を行い、21項目の質問から生成される7つの評価因子でウェブサイトのユーザビリティを評価することが行われている。
【0003】
また、非特許文献2では、アプリケーションの画面配置を、ゲシュタルト理論のデザイン原則に基づいて決定する。具体的には、Simplicity(簡潔さ: 中核でない機能を排除しているか)、Structuring(構造: 文脈上関連しているものをグループ化しているか)、Proportion(均衡: 幅、高さ、余白の割合が等比で最適化されているか)に関する美的評価関数を導入し、画面配置を評価することが行われている。
【0004】
更に、特許文献1では、画面の上方に設置したカメラを利用して、画面を操作する指の動きを撮影するとともに画像解析を行い、指先の動きと停留時間を解析することで、画面操作に伴う思考動作と探索動作の検出、及び、その位置と時間を算出する。これにより、ユーザビリティを低下する要因を分析評価することが行われている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2011−100344号公報
【非特許文献】
【0006】
【非特許文献1】http://www.usability.gr.jp/wp-content/uploads/2011/01/his_10th_paper.pdf
【非特許文献2】Aesthetics Matter: Leveraging Design Heuristics to Synthesize Visually Satisfying Handheld Interfaces/Stanford University/CHI 2009, Spotlight on Works in Progress, Session 2, April 4-9, 2009
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、非特許文献1に記載された評価方法では、アプリケーションを構築・改良するたびに、複数の被験者を募り評価実験を実施する必要があるため、多大なコストと時間を必要とする。
また、非特許文献2に記載された評価方法では、一画面内の各部品の配置が整然と並んでいるかを評価するだけであり、複数画面で構成するアプリケーション全体に渡る画面遷移や階層関係まで考慮できていない。
特許文献1に記載された評価方法では、非特許文献1の課題と同様、アプリケーションを構築・改良するたびに、被験者を募り評価実験を実施する必要があるのに加え、被験者が思考した箇所と、熟読した箇所との区別など、指先の動きのみでは評価できない現象を考慮していない。
【0008】
すなわち、上述した既存技術の各評価方法は、アプリケーションに対して被験者の主観的な観点による評価と、画面配置や操作行動から得た客観的な観点による評価とを、それぞれ単独で評価しているに留まっており、これらの関係性まで考慮していないという課題が存在した。
特に、開発中のアプリケーションについては、試作段階での改良毎に被験者の主観的評価をその都度得ることは困難であり、主観的評価が自動的に取得できる評価システムが期待されていた。
【0009】
本発明は上記実情に鑑みて提案されたもので、被験者の主観的な観点による評価結果と、画面配置や画面構成などの物理特徴から得られる客観的な観点による評価結果との相関関係を捉えるモデルを構築することで、アプリケーションの自動的な評価を行うユーザインタフェース自動分析評価システム及び自動分析評価方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するため本発明のユーザインタフェース自動分析評価システム(請求項1)は、評価対象とするアプリGUIのユーザビリティを評価する評価システムであって、次の各構成を備えたことを特徴としている。
予め評価対象以外のアプリGUIに対して主観評価項目毎に付けた点数を主観評価値として蓄積した主観評価結果記憶部。
主観評価されたアプリGUIに使用されているGUI物理パラメータに対する計測値を蓄積したGUI物理パラメータ計測結果記憶部。
前記主観評価結果記憶部及びGUI物理パラメータ計測結果記憶部から読み出し、GUI物理パラメータと主観評価項目との相関関係を分析して、主観評価項目と相関の高いGUI物理パラメータの組を選出した分析モデルを出力する相関関係分析部。
前記評価対象アプリGUIに使用されている前記GUI物理パラメータに対して、前記分析モデルを適用して、主観評価結果を予測するアプリGUI評価部。
【0011】
請求項2は、請求項1のユーザインタフェース自動分析評価システムにおいて、前記相関関係分析部は、前記GUI物理パラメータの計測値の行列データと、前記主観評価値の行列データから、正準相関分析を行うことを特徴としている。
【0012】
請求項3は、請求項2のユーザインタフェース自動分析評価システムにおいて、前記相関関係分析部は、正準相関分析結果から得られる構造係数に基づき、主観評価項目に対して影響を及ぼし易いGUI物理パラメータを予測することを特徴としている。
【0013】
請求項4は、請求項2又は請求項3のユーザインタフェース自動分析評価システムにおいて、前記アプリGUI評価部は、前記相関関係分析部の正準相関分析の出力結果と、前記評価対象アプリGUIのGUI物理パラメータの計測値を元づき、評価対象アプリGUIの影響のある主観評価値を予測することを特徴としている。
【0014】
請求項5は、請求項1のユーザインタフェース自動分析評価システムにおいて、前記相関関係分析部は、分析結果に基づき各評価項目を軸とする多次元特徴空間に分析対象アプリGUIをプロットするプロット部と、前記多次元特徴空間において類似した特徴を有するアプリケーション毎に分類するアプリ特徴分類部と、前記多次元特徴空間において人気アプリケーションのランキング順位に基づき分類するアプリ人気分類部とを備えることを特徴としている。
【0015】
請求項6は、請求項1のユーザインタフェース自動分析評価システムにおいて、前記相関関係分析部は、前記アプリGUIから当該アプリGUIに使用されているGUI物理パラメータを判定し、前記GUI物理パラメータが存在した場合に、当該GUI物理パラメータに関するデータを計測するGUI物理パラメータ計測部を有し、前記データを前記GUI物理パラメータ計測結果記憶部に蓄積することを特徴としている。
【0016】
請求項7は、請求項6のユーザインタフェース自動分析評価システムにおいて、前記GUI物理パラメータ計測部は、GUI物理パラメータの存在の有無と、GUI物理パラメータの種類の判定を自動で行う画像解析処理部を備えたことを特徴としている。
【0017】
請求項8は、請求項6のユーザインタフェース自動分析評価システムにおいて、前記GUI物理パラメータ計測部は、GUI物理パラメータの存在の有無と、GUI物理パラメータの種類の判定を手作業で入力するGUI物理パラメータ計測手入力部を備えたことを特徴としている。
【0018】
請求項9は、請求項1のユーザインタフェース自動分析評価システムにおいて、前記アプリGUIを評価及び分析するGUI物理パラメータを取捨選択、追加、削除するGUI物理パラメータ追加・削除指定部を有し、該指定に基づき前記相関関係分析部が相関関係の分析を行うことを特徴としている。
【0019】
本発明のユーザインタフェース自動分析評価方法(請求項10)は、評価対象とするアプリGUIのユーザビリティを評価する評価方法であって、予め評価対象以外のアプリGUIに対して主観評価項目毎に付けた点数を主観評価値と、主観評価されたアプリGUIに使用されているGUI物理パラメータに対する計測値との相関関係を分析し、主観評価項目と相関の高いGUI物理パラメータの組を選出した分析モデルを作成し、前記評価対象アプリGUIに使用されている前記GUI物理パラメータに対して、前記分析モデルを適用して主観評価結果を予測することを特徴としている。
【発明の効果】
【0020】
本発明によれば、多数のアプリケーションを用いて分析モデルを学習することで、主観評価結果が高くなる要因となるGUI物理特徴を統計的に求めることができる。その結果、GUI設計時のポイントを押さえることができる。
アプリケーションの学習により得られた分析モデルを用いて、評価対象アプリGUIを入力すると、主観的評価に悪影響を及ぼすと予想されるGUI物理特徴をチェックできる。その結果、何度も主観評価実験とGUI改良案検討・実装を繰り返す必要がなくなる。
分析モデルを学習するための対象アプリケーションを、想定するユーザ層毎、人気の高いものと低いもの等のカテゴリに分けて学習することで、カテゴリ毎に主観評価項目とGUI物理特徴の相関性を比較することができる。
【図面の簡単な説明】
【0021】
【図1】本発明のユーザインタフェース自動分析評価システムの全体構成を示すブロック図である。
【図2】ユーザインタフェース自動分析評価システムの相関関係分析部の構成を示すブロック図である。
【図3】ユーザインタフェース自動分析評価システムの相関関係分析部において、GUI物理パラメータに対する計測値を取得する手順を示すフローチャートである。
【図4】ユーザインタフェース自動分析評価システムの相関関係分析部において、GUI物理パラメータの計測値とユーザが試用した主観評価結果を元に、GUI物理パラメータと主観評価項目との相関関係を分析する手順(学習ステップ)を示すフローチャートである。
【図5】ユーザインタフェース自動分析評価システムのGUI評価部において、相関関係分析部での分析によりGUI学習部で得られた分析モデルを用いてアプリGUIを評価する手順(評価ステップ)を示すフローチャートである。
【発明を実施するための形態】
【0022】
本発明のユーザインタフェース自動分析評価システムの実施形態の一例について、図1及び図2を参照しながら説明する。図1はユーザインタフェース自動分析評価システムの全体構成図、図2はユーザインタフェース自動分析評価システムにおける相関関係分析部の構成を示すブロック図である。
【0023】
ユーザインタフェース自動分析評価システムは、評価対象となるアプリケーションのアプリGUIに対して、既に学習済のアプリケーションの主観的評価及び客観的評価から求めた分析モデルを使用して主観評価結果を予測することで、ユーザビリティの評価を自動的に行うものである。
ユーザインタフェース自動分析評価システムは、図1に示すように、GUI物理パラメータと主観評価項目との相関関係を分析し分析モデルを算出する相関関係分析部10と、相関関係分析部10との間で主観評価値データの送受信を行う主観評価結果記憶部11と、相関関係分析部10との間でGUI物理パラメータ計測値データの送受信を行うGUI物理パラメータ計測結果記憶部12と、前記分析モデルを適用して主観評価結果を予測するアプリGUI評価部13と、前記分析モデルからGUI学習モデルを設定するGUI学習部14を備えている。
【0024】
相関関係分析部10は、学習対象となるアプリケーションのアプリGUIに使用されているGUI物理パラメータを判定し、GUI物理パラメータに関するデータを計測するGUI物理パラメータ計測部10aを備えている。また、GUI物理パラメータ計測部10aは、GUI物理パラメータの存在の有無と、GUI物理パラメータの種類の判定を自動で行う画像解析処理部を備えている。また、GUI物理パラメータ計測部10aは、前記した画像解析処理部に代えて、GUI物理パラメータの存在の有無と、GUI物理パラメータの種類の判定が手作業で入力されるGUI物理パラメータ計測手入力部を備えていても良い。
【0025】
GUI物理パラメータ計測結果記憶部12は、主観評価されたアプリGUIに使用されている各GUI物理パラメータに対する計測値をGUI物理パラメータ計測部10aで計測し、計測されたデータは行列データとして蓄積する。
GUI物理パラメータは、アプリGUIに対する客観的評価に関わるGUI分析指標であり、例えば、フォントサイズやボタンの数、状態遷移の平均分岐数、階層の深さなど画面構成・状態遷移・階層構造に関する様々な物理的特徴が自動的に算出される。
分析指標によっては、自動処理が難しい指標が存在する場合があるため、分析内容を入力するためのGUI物理特徴入力部21が設けられ、分析者(ユーザ)が手作業で入力できるように構成してもよい。また、他の実現方法として、画面キャプチャ画像に対する画像解析処理を導入してもよい。GUI物理特徴入力部21で入力された情報は、GUI物理パラメータ計測部10aのGUI物理パラメータ計測手入力部へ出力される。
【0026】
主観評価結果記憶部11は、相関関係分析部10を介して得られたアプリGUIに対し、主観評価項目毎に付けた点数を行列データとして蓄積する。
すなわち、対象アプリに対して、主観的評価に関わる評価指標に基づき、アンケート評価実験を実施する。複数の被験者から得た主観評価に基づく評価指標(画面構成の分かりやすさ、画面遷移の分かり易さ、操作の分かり易さ、見易さ等)毎の主観的評価値を取得し、主観評価項目毎に付けた点数を行列データとして蓄積する。
主観的評価指標に関する評価関数について、主観的評価指標を変数とする線形結合関数として定義する。
【0027】
相関関係分析部10は、アプリケーションデータベース22及びGUI物理特徴入力部21に接続され、アプリケーションデータベース22から読み込まれたアプリケーションのアプリGUIを学習対象とする。学習対象となるアプリGUIは、相関関係分析部10のGUI物理パラメータ計測部10aで自動的に選択されたり、GUI物理特徴入力部21で指定される。GUI物理特徴入力部21は、アプリGUIを手作業で入力するためのフォームを備えたインタフェース部である。
相関関係分析部10は、主観評価結果記憶部11及びGUI物理パラメータ計測結果記憶部12から読み出し、アプリGUIに関して客観的評価に関わるGUI分析指標に基づき、GUI物理パラメータと主観評価項目との相関関係を分析する分析部10cを有している。この分析部10cでは、主観評価項目と相関の高いGUI物理パラメータの組を選出した分析モデルをGUI学習部14に出力する。GUI学習部14では分析モデルからGUI学習モデルが設定される。
すなわち、相関関係分析部10の分析部10cでは、GUI物理パラメータ計測結果記憶部12で考慮したGUIパラメータについて、予め定義したモデル(評価関数)と、前記分析によって得られた物理的特徴量とを利用して、客観的評価値を算出する。
客観的評価指標に関する評価関数について、GUIパラメータを変数とする線形結合関数として定義する。
【0028】
また、相関関係分析部10は、分析結果に基づき各評価項目を軸とする多次元特徴空間に分析対象アプリGUIをプロットするプロット部10dと、前記多次元特徴空間において類似した特徴を有するアプリケーション毎に分類するアプリ特徴分類部10eと、前記多次元特徴空間において人気アプリケーションのランキング順位に基づき分類するアプリ人気分類部10fとを備えている。
プロット部10dは、上記機能を通じて得られた評価指標と評価値を元に、対象アプリの全てについて、客観的分析結果及び主観的評価実験結果に基づき、それぞれの分析指標を軸とする多次元特徴空間にマッピングする。アプリ特徴分類部10eは、上記特徴空間において、類似した特徴を有するアプリ毎に分類する。アプリ人気分類部10fは、上記特徴空間において、人気アプリランキングの順位に基づき分類する。
多次元特徴空間でのマッピングや、アプリ特徴,アプリ人気を分類することにより、分析部10cにおける分析モデルの学習において、アプリ特徴やアプリ人気との相関関係を把握し易くすることができる。
【0029】
相関関係分析部10の分析部10cでは、客観的評価指標に基づく分析結果(GUIパラメータと客観的評価値のセット)と、主観的評価指標に基づく評価結果(評価指標と主観的評価値のセット)を元に、前記した2つの評価関数から、双方の相関関係を求める。本実施例では、正準相関分析を用いることで、双方の相関関係が最大になるように、線形結合関数のパラメータが決定され、主観的評価指標に対して関係性の深い客観的評価指標の組み合わせが得られる。
また、分析モデルを学習するための対象アプリケーションについて、想定するユーザ層毎、人気の高いものと低いもの等のカテゴリに分けて学習すれば、カテゴリ毎に主観評価項目とGUI物理特徴の相関性を比較することができる。
【0030】
アプリGUI評価部13は、前記評価対象アプリGUIに使用されている前記GUI物理パラメータに対して、前記分析モデルを適用して、主観評価結果を予測する。
すなわち、上記機能を通じて得られた客観的評価関数と主観的評価関数のパラメータを元に、以下のような処理を行う。
上述したGUI学習に用いたアプリケーションとは異なるアプリケーション(アプリGUI)が評価対象GUI入力部31から入力され、アプリGUIのGUI物理パラメータに対する物理的特徴が自動的に選択され、又は、GUI物理特徴入力部32から入力されると、前記した多次元特徴空間にマッピングしたり、主観的評価値の低い客観的評価指標を指摘し、評価結果出力部33に評価結果を出力する。
【0031】
次に、ユーザインタフェース自動分析評価システムにおける処理手順について、図3〜図5を参照しながら説明する。
ユーザインタフェース自動分析評価システムでは、「GUI物理パラメータに対する計測値の取得」「GUI物理パラメータと主観評価項目との相関関係の分析」「アプリGUIの評価」の順に処理が行われる。
【0032】
先ず、相関関係分析部10における「GUI物理パラメータに対する計測値の取得」手順(学習ステップ)について、図3のフローチャートを参照して説明する。
【0033】
[学習するアプリGUIの指定]
アプリケーションデータベース22から対象アプリケーションを読み込み、学習対象の複数個(学習数A)のアプリGUIを選択して入力とする(ステップ101)。
入力するデータ形式としては、画面構成・画面階層関係を示すテキストデータ(XMLデータやプログラムソースコード)が存在する場合と、そのようなデータが存在せず、画面をキャプチャした画像データが存在する場合がある。
【0034】
[GUI物理パラメータの判定]
GUI物理パラメータ判定部において、選択された学習対象のアプリGUIが有るかどうか(アプリGUIの学習数が「0」かどうか)を判断し(ステップ102)、学習対象のアプリGUIが無い場合は終了する(ステップ103)。
学習対象のアプリGUIが有る場合、学習対象のアプリGUIから、そのGUIに使用されている複数のGUI物理パラメータを判定する(ステップ104)。
GUI物理パラメータの判定は、学習対象アプリGUIにテキストデータが存在する場合、そのテキストデータを解析して、GUI物理パラメータを抽出することで行われる。また、学習対象アプリGUIに画像データが存在する場合、画像解析でGUI物理パラメータの存在の判定とその種類の判別を自動で行う。或いは、GUI物理特徴入力部21から、作業者が手作業でGUI物理パラメータの存在位置/領域の指定とその種類の指定を行うようにしても良い。
【0035】
[GUI物理パラメータの計測]
判別された複数個(パラメータ数B)のGUI物理パラメータにおいて、処理対象となるGUI物理パラメータが有るかどうか(パラメータ数が「0」かどうか)を判断し(ステップ105)、GUI物理パラメータが無い場合は次の学習対象アプリGUI(A=A−1)を処理対象とする(ステップ106)。
GUI物理パラメータが有る場合、判別されたGUI物理パラメータに関する計測値を取得する(ステップ107)。例えば、GUI物理パラメータがボタンである場合、高さ,幅,色を計測する。
また、GUI物理パラメータにおいて、画面内で主要な情報を記述しているテキストのフォントサイズと、補助的に使われているテキストのフォントサイズとを区別して判別及び計測したい場合、画像解析やテキスト解析などの技術を用いて、テキストの意味や画面内での使われ方を判別することは難しい。このような場合は、GUI物理パラメータの判別及び計測を、GUI物理パラメータ追加・削除指定部23から作業者が手作業で行うようにする。
【0036】
[GUI物理パラメータの計測値の出力]
GUI物理パラメータ計測結果記憶部12は、相関関係分析部10に対して、ステップ108で取得したGUI物理パラメータの計測値を所定のフォーマットで出力する(ステップ108)。判別された各GUI物理パラメータについて、上述の処理が順次行われることで(ステップ109)、計測された全てのGUI物理パラメータの値が所定のフォーマットで相関関係分析部10に出力される。
【0037】
次に、相関関係分析部10において、GUI物理パラメータの計測値とユーザが試用した主観評価結果を元に、GUI物理パラメータと主観評価項目との相関関係を分析する手順(学習ステップ)について、図4のフローチャートを参照して説明する。
【0038】
[分析するアプリGUIの指定、GUI物理パラメータの計測値の読み出し]
GUI物理特徴入力部21において、アプリGUIを選択して入力とすると(ステップ201)、相関関係分析部10では、GUI物理パラメータ計測結果記憶部12から上記所定のフォーマットで記述されたGUI物理パラメータ計測値を読み出す(ステップ202)。
【0039】
[ユーザの主観評価結果の読み出し]
別途、分析対象のアプリGUIに対しては、主観評価実験を実施して所定フォーマットで出力されているので、相関関係分析部10では、主観評価結果記憶部11からその主観評価結果を読み出す(ステップ203)。
【0040】
[相関関係の分析]
相関関係分析部10では、GUI物理パラメータの計測値とユーザが試用した主観評価結果を元に、GUI物理パラメータと主観評価項目との相関関係を分析する。本実施例では、正準相関分析による分析方法で例示するが、それ以外の分析方法、例えば、単純な単相関分析方法を使用しても良い。
【0041】
表1に、GUI物理パラメータに対する計測結果の例を示す。
表1では、アプリ識別子APPIDに、GUI物理パラメータMPX(X=1,2,3,…)毎の計測値が対応した行列データDMとして計測結果を出力する。
【0042】
【表1】

【0043】
GUI物理パラメータには、テキストフォントサイズ、ボタンサイズ(高さと幅)、挿絵の数など、GUIを構成する要素に関する大きさや数などの計測可能な項目(MP1〜MP4に示されるように、データで表示される)であったり、ボタン自体が存在するかどうか、ボタンをタップしたときのアニメーションが存在するかどうかなど、GUIを構成する要素やそれに対して操作したときの反応の有無を示す項目(MP5に示されるように、「0」「1」で表示される)である。
この実施例においては、これらのパラメータは、どのようなアプリケーションに対しても固定的に扱うものではなく、必要に応じて追加や削除など行うことができるようにGUI物理パラメータ計測結果記憶部12に接続されたGUI物理パラメータ追加・削除指定部23(図1)から設定できるようにしている。
また、GUI物理パラメータの各データは、各GUI物理パラメータに対する計測値をそのまま利用してもよいし、項目毎に数値変換した値を利用してもよい。
【0044】
表1は、各GUI物理パラメータの計測値に対して数値変換された結果を示す。例えば、MP1は、対象とする全アプリの計測値を元に、平均23.83、標準偏差11.15の正規分布に従うとみなして基準化した数値に変換したものである。各パラメータで数値変換する基準は異なっていてよく、正規分布や線形回帰直線など、各パラメータの特性に応じて選ばれた関数を利用してよい。
【0045】
表2に、主観評価結果の例を示す。
表2では、アプリ識別子APPIDに、主観評価項目SPY(Y=1,2,3,…)毎の計測値が対応した行列データDSとして計測結果を出力する。
【0046】
【表2】

【0047】
アプリケーションの主観評価項目は、評価者がアプリケーションを実際に動作させ、画面内の情報のまとまりの分かり易さ、触って反応する領域の分かり易さ、読み易さなどの項目であり、例えば5段階で評点(数が多い程高い評価)が付けられる。
【0048】
上述した2つの行列データ(変量)DMとDSとから、正準相関分析を行い、正準係数PMとPS、正準変量VMとVS、及び、正準相関係数rを求める。
表3に、正準相関分析により得られた正準係数PM、PSの例を示す。
表3中、GUI物理パラメータMPX(X=1,2,3,…)に対応するのがPM、主観評価項目SPY(Y=1,2,3,…)に対応するのがPSである。
表4に、正準相関分析により得られた正準変量VM、VSの例を示す。
表4中、GUI物理パラメータMPX(X=1,2,3,…)に対応するのがVM、主観評価項目SPY(Y=1,2,3,…)に対応するのがVSである。
【0049】
【表3】

【0050】
【表4】

【0051】
更に、標準化した変量と正準変量を元に、構造係数Sを求める。
表5に、正準相関分析により得られた構造係数の例を示す。
【0052】
【表5】

【0053】
表5の構造係数において、第1因子に対応する主観評価項目では、SP3の絶対値が一番大きい。したがって、主観評価項目SP3に大きな影響を与えるのは第1因子であることが解る。そして、GUI物理パラメータでは、主観評価項目SP3と符号が同じで絶対値が大きいのは、GUI物理パラメータMP3とGUI物理パラメータMP1である。
同様に、第2因子に対応する主観評価項目では、SP2の絶対値が一番大きい。したがって、主観評価項目SP2に大きな影響を与えるのは第2因子であることが解る。そして、GUI物理パラメータでは、主観評価項目SP2と符号が同じで絶対値が大きいのは、GUI物理パラメータMP1とGUI物理パラメータMP2である。
また、第3因子に対応する主観評価項目では、SP1の絶対値が一番大きい。したがって、主観評価項目SP1に大きな影響を与えるのは第3因子であることが解る。そして、GUI物理パラメータでは、主観評価項目SP1と符号が同じで絶対値が大きいのは、GUI物理パラメータMP5とGUI物理パラメータMP2である。
すなわち、表5に示された構造係数の結果から、主観評価項目SP3にはGUI物理パラメータMP3とGUI物理パラメータMP1が、主観評価項目SP2にはGUI物理パラメータMP1とGUI物理パラメータMP2が、主観評価項目SP1にはGUI物理パラメータMP5とGUI物理パラメータMP2が強く影響していると分析できる。
【0054】
[分析結果の出力]
相関関係分析部10では、上記分析結果の内容を分析モデル(主観評価項目と相関の高いGUI物理パラメータの組の選出)として、GUI学習部14に所定のフォーマットで出力する(ステップ205)。
【0055】
GUI学習部14では、分析結果を元に、以下のような処理を行うことで学習モデルを作成する。
対象アプリ全てについて、客観的分析結果及び主観的評価実験結果に基づき、それぞれの分析指標を軸とする多次元特徴空間にマッピングする。加えて、上記特徴空間において、類似した特徴を有するアプリケーション毎に分類する。さらに加えて、上記特徴空間において、人気アプリケーションランキングの順位に基づき分類する。
【0056】
次に、GUI評価部13において、相関関係分析部10での分析によりGUI学習部14で得られた学習モデル(分析モデル)を用いて、アプリGUIを評価する手順(評価ステップ)について、図5のフローチャートを参照して説明する。
[評価するアプリGUIの指定]
評価対象GUI入力部31から評価する対象のアプリGUIを1つ選択して入力とする(ステップ301)。
入力するデータ形式としては、画面構成・画面階層関係を示すテキストデータ(XMLデータやプログラムソースコード)が存在する場合と、そのようなデータが存在せず、画面をキャプチャした画像データが存在する場合がある。
入力するものは、基本的には学習ステップ時のアプリGUI選択と同じ考えで、あるアプリケーションに対するGUI物理パラメータ計測結果が得られたとして、それをGUI評価部13に入力する。その計測結果は、自動処理の場合は、アプリケーションのソースコードや画面構成を記述したXMLデータのテキストデータから解析し、手動処理の場合は、アプリの画像キャプチャ画像から計測する。
【0057】
[GUI物理パラメータの判定]
GUI評価部13においては、評価対象のアプリGUIから、そのアプリGUIに使用されているGUI物理パラメータを判定する(ステップ302)
GUI物理パラメータの判定は、上述したGUI物理パラメータ計測結果記憶部12での判定と同様に、評価対象アプリGUIにテキストデータが存在する場合、そのテキストデータを解析して、GUI物理パラメータを抽出することで行われる。また、評価対象アプリGUIに画像データが存在する場合、画像解析でGUI物理パラメータの存在の判定とその種類の判別を自動で行う。或いは、GUI物理特徴入力部32から、作業者が手作業でGUI物理パラメータの存在位置/領域の指定とその種類の指定を行うようにしても良い。
【0058】
[GUI物理パラメータの計測、出力]
続いてGUI評価部13では、判別された複数個(パラメータ数C)のGUI物理パラメータが有るかどうか(パラメータ数が「0」かどうか)を判断する(ステップ303)。
GUI物理パラメータが有る場合、判別されたGUI物理パラメータに関する計測値を取得する(ステップ304)。例えば、GUI物理パラメータがボタンである場合、高さ,幅,色を計測する。更に、計測された全てのGUI物理パラメータの値を所定のフォーマットで出力する。
次に、ステップ304で取得したGUI物理パラメータの計測値を所定のフォーマットで出力する(ステップ305)。判別された各GUI物理パラメータについて、上述の処理が順次行われることで(ステップ306)、計測された全てのGUI物理パラメータの値が所定のフォーマットで出力される。
【0059】
[評価]
GUI評価部13では、GUI学習部14の学習モデル(分析モデル)に基づいて、評価対象アプリGUIで使用されているGUI物理パラメータから、主観評価結果を推定する。
本実施例では、上記正準相関分析により得られた分析モデルから、評価対象アプリGUIのGUI物理パラメータから、主観評価の傾向を予測する。
【0060】
上記正準相関分析において、GUI物理パラメータ(説明変数)に関する正準係数PM={PM1, PM2, PM3,…}と、標準化した評価対象アプリGUIのGUI物理パラメータ計測値DO={DO1, DO2, DO3,…}を元に、評価対象アプリの正準得点VOを算出する。
第1因子に関する正準得点VO1は、
VO1=PM1×DO1+PM2×DO2+PM3×DO3+…
の線形結合関数により求められる。
【0061】
例えば、評価対象アプリGUIの正準得点VO1=2.6612だったとする。このとき、表4のMPXの第1因子の正準変量の全ての値に対して、VO1の絶対値が最大となる。
一方、分析モデル(表5の構造係数)では、第1因子は、段落番号0051で述べたように、主観評価項目SPYのSP3に影響を与えると予想される。
以上から、評価対象アプリGUIの主観評価項目SP3は、高得点を示すと予測できる。
【0062】
また、例えば、評価対象アプリGUIにおいて、第3因子に関する正準得点VO3=−0.18218だったとする。このとき、表4のMPXの第3因子の正準変数の全ての値に対して、VO3の絶対値が小さい方である。
一方、分析モデルでは、第3因子は、段落番号0051で述べたように、主観評価項目SPYのSP1に影響を与えると予想される。
以上から、評価対象アプリGUIの主観評価項目SP1は、低得点を示すと予測できる。
【0063】
[評価結果の出力]
ステップ303において、判別された複数個(パラメータ数C)のGUI物理パラメータが無い(パラメータ数が「0」)場合、分析モデルを適用し(ステップ307)、上記評価結果を所定のフォーマットで評価結果出力部33に出力する(ステップ308)。
出力のフォーマット自体は、いずれの形式であってもよい。評価結果出力部33においては、評価対象アプリに対して、主観評価項目SP3に対する評価予想=高、主観評価項目SP1に対する評価予想=低、のような情報が出力される。この評価結果は、構造係数から自動的に処理して出力する。
【0064】
上述した自動ユーザインタフェース分析評価システムによれば、多数のアプリケーションを用いてこのモデルを学習し、モデルに基づいて評価を行うことで、評価の高い主観評価指標に関係が深い客観指標を得ることができる。すなわち、初期のモデル学習のときに、主観評価実験を実施しておけば、再度実施する必要がなくなるため、分析評価を行う場合に効率的なコスト及び時間を削減することができる。
【0065】
モデル学習のステップでは、フォントサイズやボタンの数、状態遷移の平均分岐数、階層の深さなど画面構成・状態遷移・階層構造に関する様々なGUIパラメータに対する物理的特徴を算出するとともに、複数のユーザ層(年代や性別)から得た主観評価に基づく評価指標(画面構成の分かり易さ、画面遷移の分かり易さ、操作の分かり易さ、見易さ)毎の評点を元に、物理的特徴と主観評価の相関関係を捉えるモデルを構築する。
そして、多数のアプリケーションを用いてこの分析モデルを学習することで、主観評価の高い評価指標と関係の深いルールが学習された分析モデルを構築できる。
【0066】
上述したシステムによる分析方法により、あるアプリGUIに分析モデルを適用することで、GUIパラメータに関するミクロな分析から、主観評価に通ずるマクロな分析が可能となる。
また、主観的評価と客観的評価の関係性を捉えたモデルとなるため、単独の評価結果と比較して分析の信頼性を向上できる。
更に、分析結果で低い評価を示したGUIパラメータに関して推奨値を提示するなど、具体的な改良内容を提案することが可能となる。
【符号の説明】
【0067】
10…相関関係分析部、 10a…GUI物理パラメータ計測部, 10c…分析部、 10d…プロット部、 10e…アプリ特徴分類部、 10f…アプリ人気分類部、 11…主観評価結果記憶部、 12…GUI物理パラメータ計測結果記憶部、 13…GUI評価部、 14…GUI学習部、 21…GUI物理特徴入力部、 22…アプリケーションデータベース、 23…GUI物理パラメータ追加・削除指定部、 31…評価対象GUI入力部、 32…GUI物理特徴入力部、 33…評価結果出力部。

【特許請求の範囲】
【請求項1】
評価対象とするアプリGUIのユーザビリティを評価する評価システムであって、
予め評価対象以外のアプリGUIに対して主観評価項目毎に付けた点数を主観評価値として蓄積した主観評価結果記憶部と、
主観評価されたアプリGUIに使用されているGUI物理パラメータに対する計測値を蓄積したGUI物理パラメータ計測結果記憶部と、
前記主観評価結果記憶部及びGUI物理パラメータ計測結果記憶部から読み出し、GUI物理パラメータと主観評価項目との相関関係を分析して、主観評価項目と相関の高いGUI物理パラメータの組を選出した分析モデルを出力する相関関係分析部と、
前記評価対象アプリGUIに使用されている前記GUI物理パラメータに対して、前記分析モデルを適用して、主観評価結果を予測するアプリGUI評価部と
を備えたことを特徴とするユーザインタフェース自動分析評価システム。
【請求項2】
前記相関関係分析部は、前記GUI物理パラメータの計測値の行列データと、前記主観評価値の行列データから、正準相関分析を行う請求項1に記載のユーザインタフェース自動分析評価システム。
【請求項3】
前記相関関係分析部は、正準相関分析結果から得られる構造係数に基づき、主観評価項目に対して影響を及ぼし易いGUI物理パラメータを予測する請求項2に記載のユーザインタフェース自動分析評価システム。
【請求項4】
前記アプリGUI評価部は、前記相関関係分析部の正準相関分析の出力結果と、前記評価対象アプリGUIのGUI物理パラメータの計測値を元づき、評価対象アプリGUIの影響のある主観評価値を予測する請求項2又は請求項3に記載のユーザインタフェース自動分析評価システム。
【請求項5】
前記相関関係分析部は、
分析結果に基づき各評価項目を軸とする多次元特徴空間に分析対象アプリGUIをプロットするプロット部と、
前記多次元特徴空間において類似した特徴を有するアプリケーション毎に分類するアプリ特徴分類部と、
前記多次元特徴空間において人気アプリケーションのランキング順位に基づき分類するアプリ人気分類部と
を備える請求項1に記載のユーザインタフェース自動分析評価システム。
【請求項6】
前記相関関係分析部は、
前記アプリGUIから当該アプリGUIに使用されているGUI物理パラメータを判定し、前記GUI物理パラメータが存在した場合に、当該GUI物理パラメータに関するデータを計測するGUI物理パラメータ計測部を有し、
前記データを前記GUI物理パラメータ計測結果記憶部に蓄積する請求項1に記載のユーザインタフェース自動分析評価システム。
【請求項7】
前記GUI物理パラメータ計測部は、GUI物理パラメータの存在の有無と、GUI物理パラメータの種類の判定を自動で行う画像解析処理部を備えた請求項6に記載のユーザインタフェース自動分析評価システム。
【請求項8】
前記GUI物理パラメータ計測部は、GUI物理パラメータの存在の有無と、GUI物理パラメータの種類の判定を手作業で入力するGUI物理パラメータ計測手入力部を備えた請求項6に記載のユーザインタフェース自動分析評価システム。
【請求項9】
前記アプリGUIを評価及び分析するGUI物理パラメータを取捨選択、追加、削除するGUI物理パラメータ追加・削除指定部を有し、該指定に基づき前記相関関係分析部が相関関係の分析を行う請求項1に記載のユーザインタフェース自動分析評価システム。
【請求項10】
評価対象とするアプリGUIのユーザビリティを評価する評価方法であって、
予め評価対象以外のアプリGUIに対して主観評価項目毎に付けた点数を主観評価値と、主観評価されたアプリGUIに使用されているGUI物理パラメータに対する計測値との相関関係を分析し、主観評価項目と相関の高いGUI物理パラメータの組を選出した分析モデルを作成し、
前記評価対象アプリGUIに使用されている前記GUI物理パラメータに対して、前記分析モデルを適用して主観評価結果を予測することを特徴とするユーザインタフェース自動分析評価方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate