モバイル端末の主観評価方法およびプログラム
【課題】モバイル端末の操作性や利用感に関する主観評価を、実使用を模した環境下で行える主観評価方法およびそのプログラムを提供する。
【解決手段】モバイル端末が評価プログラムを取得する手順と、モバイル端末が前記評価プログラムを実行する手順とを具備し、評価プログラムが、モバイル端末の出力画面を模した第１模擬画面を出力する手順（ステップＳ６）と、所定の操作を検知する手順（ステップＳ７）と、操作に応答して第２模擬画面を出力する手順（ステップＳ１１）と、前記操作に対する応答の主観評価を被験者に入力させる手順（ステップＳ１３，Ｓ１４）と、入力された主観評価を所定の宛先へ送信する手順（Ｓ１６）とを具備した。
【解決手段】モバイル端末が評価プログラムを取得する手順と、モバイル端末が前記評価プログラムを実行する手順とを具備し、評価プログラムが、モバイル端末の出力画面を模した第１模擬画面を出力する手順（ステップＳ６）と、所定の操作を検知する手順（ステップＳ７）と、操作に応答して第２模擬画面を出力する手順（ステップＳ１１）と、前記操作に対する応答の主観評価を被験者に入力させる手順（ステップＳ１３，Ｓ１４）と、入力された主観評価を所定の宛先へ送信する手順（Ｓ１６）とを具備した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイル端末の主観評価方法およびプログラムに係り、特に、モバイル端末上で主観的な評価試験を仮想的に実施する主観評価方法およびプログラムに関する。
【背景技術】
【０００２】
携帯電話やPDAなどのモバイル端末を対象に、その操作性や利用感に関するユーザの主観的な評価を獲得する方法として、実験室方式およびWebアンケート方式が知られている。実験室方式では、実験主催者が指定した会場に参加者を収集し、特別な改修を加えたプロトタイプ端末を用いて主観評価試験を実施する。プロトタイプ端末は、市販のモバイル端末のハードウェアあるいはソフトウェアに改修を加えたものである。
【０００３】
非特許文献１には、実験室方式の一つであるオピニオン評価法が開示されている。オピニオン評価法では、被験者に対して劣化度合いが異なる複数の音声あるいは映像を提示し、それら各々に対する被験者の主観評価値を、例えば５段階の評価値から選択させるものである。
【０００４】
Webアンケート方式は、インターネットを介して、モバイル端末の操作性や利用感に対するアンケートを行うものである。Webアンケートでは、提示された質問事項に対して、被験者自身の考えや意見あるいは思想を回答するものが多い。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ITU-T Recommendation P.800
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実験室方式では、実験参加者の収集コストが大きいため、数百名あるいはそれ以上の規模での評価試験を実施することが難しい。また、実験参加者は、普段とは異なる環境で、かつ普段とは異なるプロトタイプ端末を用いるため、通常の利用環境とは異なる状況で試験を実施することになる。そのため、通常時の判断とは異なる評価結果が得られる可能性がある。
【０００７】
一方、インターネットを利用したWebアンケートでは、被験者は自身が所有するコンピュータやモバイル端末を用いてアンケートに参加することができるため、主催者側で専用端末を用意する必要がなく、短期間で多数の回答を得ることが可能である。しかしながら、Webアンケート方式では、「操作しづらい」とか「反応が遅い」といった、通常利用しているモバイル端末の操作性や利用感に対する印象や感想を回答させるにすぎず、具体的に応答時間が何秒程度であれば満足できるかとか，どのようなデザインやインターフェースであれば操作しやすいかといった定量的な評価を行うための基礎データを収集することが難しい。
【０００８】
このように、モバイル端末を用いた評価試験では信頼性の高い評価結果を得ることが困難であるため、これまでは、コンピュータのディスプレイにモバイル端末の画像を表示するなどして、モバイル端末を用いた評価試験を模擬することが行われていた。しかしながら、このような評価試験では、実際にモバイル端末を用いて評価試験を実施した場合との乖離が問題となる。
【０００９】
本発明の目的は、上記した従来技術の課題を解決し、モバイル端末の操作性や利用感に関する主観評価を、実使用を模した環境下で行える主観評価方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、被験者にモバイル端末を主観評価させる主観評価方法において、以下のような手段を講じた点に特徴がある。
【００１１】
(1)モバイル端末が評価プログラムを取得する手順と、モバイル端末が前記評価プログラムを実行する手順とを具備し、評価プログラムが、モバイル端末の出力画面を模した第１模擬画面を出力する手順と、所定の操作を検知する手順と、前記操作に応答して第２模擬画面を出力する手順と、前記操作に対する応答の主観評価を被験者に入力させる手順と、前記入力された主観評価を所定の宛先へ送信する手順とを具備したことを特徴とする。
【００１２】
(2)評価プログラムが、モバイル端末の機種情報を取得する手順を更に具備し、評価結果を送信する手順は、機種情報を主観評価と共に送信することを特徴とする。
【００１３】
(3)評価プログラムが、第１模擬画面のデータをモバイル端末の機種ごとに備え、第１模擬画面を出力する手順では、取得された機種情報に対応した第１模擬画面が出力されることを特徴とする。
【００１４】
(4)評価プログラムが、第２模擬画面のデータをモバイル端末の機種ごとに備え、第２模擬画面を出力する手順では、取得された機種情報に対応した第２模擬画面が出力されることを特徴とする。
【００１５】
(5)評価プログラムが、入力操作に対する応答時間を切り換えながら繰り返されることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、以下のような効果が達成される。
【００１７】
(1)被験者にモバイル端末を主観評価させる評価プログラムが評価対象のモバイル端末上で実行され、被験者が評価対象のモバイル端末を実際に操作して評価できるので、評価専用のプロトタイプ端末を用意することなく、多数の被験者を対象に、実使用に近い環境下での主観評価を簡単に実現できるようになる。
【００１８】
(2)主観評価がモバイル端末の機種情報と共に得られるので、評価側ではモバイル端末ごとに主観評価を分析できるようになる。
【００１９】
(3)評価中の出力画面（第１模擬画面および／または第２模擬画面）をモバイル端末の機種ごとに固有の画面にできるので、実使用により近い環境下での主観評価が可能になる。
【００２０】
(4)評価プログラムが、入力操作に対する応答時間を切り換えながら繰り返されるので、様々な状況を模した評価が可能になる。
【図面の簡単な説明】
【００２１】
【図１】本発明が適用される無線ネットワークの構成を示したブロック図である。
【図２】モバイル端末MNが評価プログラムを取得する第１の手法を示した図である。
【図３】モバイル端末MNが評価プログラムを取得する第２の手法を示した図である。
【図４】モバイル端末MNが評価プログラムを取得する第３の手法を示した図である。
【図５】モバイル端末MNの主要部の構成を示した機能ブロック図である。
【図６】モバイル端末MNの第１実施形態の動作を示したフローチャートである。
【図７】モバイル端末MNの第２実施形態の動作を示したフローチャートである。
【図８】第１実施形態においてモバイル端末MNの画面表示が切り替わる様子を示した図である。
【図９】第２実施形態においてモバイル端末MNの画面表示が切り替わる様子を示した図である。
【図１０】第３実施形態においてモバイル端末MNの画面表示が切り替わる様子を示した図である。
【図１１】評価試験サーバの評価テーブルの一例を示した図である。
【図１２】スイッチの押下時間とユーザ満足度との関係を実験参加者ごとに示した図である。
【図１３】スイッチの押下時間とユーザ満足度の平均値(MOS)との関係を示した図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明が適用される無線ネットワークの構成を示したブロック図であり、携帯電話１やPDA２などの多数のモバイル端末MNが無線基地局３や無線アクセスポイント４を経由して携帯電話網あるいはインターネット等のIPネットワークNWに接続される。IPネットワークNWにはさらに、モバイル端末MNの主観評価試験を端末ユーザ（実験参加者）に実施させ、その回答結果を収集する評価サーバ５が接続されている。端末ユーザは、主観評価用のプログラムを評価サーバ５から自身のモバイル端末MNにダウンロードし、これを実行することで主観評価試験を行う。
【００２３】
本実施形態では、モバイル端末MNが評価サーバ５から評価プログラムを取得する方式として、以下の３つの手法が用意されている。第１の手法では、図２に示したように、実験に参加する端末ユーザがモバイル端末MNから評価サーバ５のURLに自発的にアクセスして評価プログラムを要求すると、これに応答して評価サーバ５からモバイル端末MNへ評価プログラムが配信される。第２の手法では、図３に示したように、評価サーバ５が評価プログラムを電子メール（例えば、Eメール）に添付し、端末ユーザのモバイル端末MNへ配信する。第３の手法では、図４に示したように、評価サーバ５からモバイル端末MNへ評価依頼のメッセージが電子メールで送信され、端末ユーザがモバイル端末MNから、電子メールに記述されている評価サーバ５のURLにアクセスして評価プログラムを取得する。
【００２４】
前記第１の手法は、評価主催者が予めWeb上あるいは電子メールで主観評価試験の募集要項や評価プログラムのダウンロード先のURLを告知し、実験に自発的に参加する端末ユーザに評価を依頼する場合に有効である。
【００２５】
前記第２，３の手法は、各端末ユーザの大まかな位置情報を、各モバイル端末を収容する基地局のカバレッジ等に基づいて評価主催者側が把握し、所望の対象地域に位置している端末ユーザを識別して評価を依頼する場合に有効である。
【００２６】
各モバイル端末MNでは、上記いずれかの手法で評価サーバ５から取得した評価プログラムを実行して端末ユーザに通信品質の主観評価を行わせ、その後、評価結果を評価サーバ５へ送信する。
【００２７】
図５は、前記モバイル端末MNの主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００２８】
モバイル端末MNは、送受信部１０１、変復調部１０２、制御部１０３、表示部１０４、入力操作部１０５および音響部１０６を含み、前記制御部１０３は、CPU２０１、このCPU２０１により実行されるプログラムや各種の制御データを不揮発に記憶するROM２０２、およびダウンロードしたプログラムやデータを一時記憶すると共に前記CPU２０１にワークエリアを提供するRAM２０３を主要な構成としている。
【００２９】
このような構成において、評価試験サーバ５からダウンロードされた評価プログラムは変復調部１０２で復調されて制御部１０３のRAM２０２に一時記憶される。CPU２０１により当該評価プログラムが実行されると、表示部１０４には、モバイル端末MNの一の状態（例えば、電子メールの送信前）における画面表示を模した第１模擬画面が出力される。端末ユーザが入力操作部１０５から電子メールの送信操作を入力すると、その処理時間に相当する応答時間の経過後に、今度はモバイル端末MNの他の一の状態（例えば、電子メールの送信後）における画面表示を模した第２模擬画面が表示部１０４に出力される。次いで、表示画面が回答画面に切り替わり、端末ユーザが入力操作部１０５から、応答時間に関する主観評価を入力すると、これが評価結果として評価サーバ５へ送信される。
【００３０】
図６は、前記評価プログラムが実行されるモバイル端末MNの第１実施形態の動作を示したフローチャートであり、ここでは始めに、電源スイッチの長押し時間の評価方法について説明する。図８は、モバイル端末MNの画面表示が評価プログラムの進行と共に切り替わる様子を示した図である。
【００３１】
モバイル端末MNにおいて評価プログラムが実行されると、ステップＳ１では、端末ユーザの年齢や性別などを入力させるユーザ情報の入力画面が表示される。ユーザ情報の入力が完了し、これがステップＳ２で検知されるとステップＳ３へ進む。ステップＳ３では、モバイル端末MNの機種情報が取得される。本実施形態では、評価プログラムをFlashLiteあるいはJava(登録商標)Scriptといったモバイル端末向けスクリプト言語で作成することができ、評価プログラムがFlash Liteで作成されていれば、次式(1)の関数を実行することによりモバイル端末MNの機種情報（デバイスID）を取得できる。
【００３２】
fscommand2 ("GetDevice", "devicename"); …(1)
【００３３】
ステップＳ４では、前記機種情報に基づいて各種のパラメータが設定される。本実施形態では、起動前の第１模擬画面、起動中の第２模擬画面、起動中に発せられるピープ音などが、前記機種情報に基づいて当該モバイル端末MNに固有の画面等に設定される。ステップＳ５では、今回の長押し時間Tpushが設定される。ステップＳ６では、図８(a)に示したように、電源オフの状態を模した第１模擬画面が表示される。ステップＳ７において、電源スイッチの押下操作が検知されるとステップＳ８へ進み、長押しの継続時間Tpを計測するタイマおよび経過時間Twを計測するタイマがスタートする。
【００３４】
ステップＳ９では、電源スイッチの押下が継続中であるか否かが判定される。継続中であればステップ１０へ進み、現在までの長押し継続時間Tpが今回の長押し時間Tpushと比較される。長押し継続時間Tpが未だ長押し時間Tpushを下回っていれば、ステップＳ９へ戻って待機する。その後、長押し継続時間Tpが長押し時間Tpushに達するとステップ１１へ進み、図８(b)に示したように、起動中の出力画面を模した当該モバイル端末に固有の第２模擬画面が表示される。
【００３５】
ステップＳ１２では、経過時間Twが所定の起動時間Twaitに達したか否かが判定される。経過時間Twが起動時間Twaitに達するとステップＳ１３へ進み、図８(c)に示した主観評価の回答画面が表示される。端末ユーザが主観評価に回答すると、これがステップＳ１４で検知されてステップＳ１５へ進む。ステップＳ１５では、評価試験が完了したか否かが判定される。本実施形態では複数の長押し時間Tpushが用意されており、長押し時間を切り換えながら評価が繰り返されるので、未評価の長押し時間があればステップＳ５へ戻り、長押し時間Tpushを切り換えながら上記の各処理が繰り返される。
【００３６】
その後、全ての長押し時間について端末ユーザの評価が完了するとステップＳ１６へ進み、長押し時間毎の主観評価、ユーザID、機種情報およびユーザ情報の記述された評価結果が評価試験サーバ５へ返信される。評価プログラムがFlashLiteで作成されていれば、評価結果はgetURL関数を次式(2)のように用いることにより送信可能である。
【００３７】
getURL("http://www.xxx.xxx.xxx", "_blank", "GET") …(2)
【００３８】
図７は、本発明の第２実施形態の動作を示したフローチャートであり、ここでは、モバイル端末MNのメニュー画面上でフォーカスを移動させる際の応答時間の評価方法について説明する。図９は、モバイル端末MNの画面表示が評価プログラムの進行と共に切り替わる様子を示した図である。
【００３９】
モバイル端末MNにおいて評価試験プログラムが実行されると、ステップＳ２１〜２４では、上記の第１実施形態と同様に、ユーザ情報の入力、機種情報の取得、および機種情報に基づくパラメータ設定が実施される。
【００４０】
ステップＳ２５では、今回の応答時間Trespが設定される。ステップＳ２６では、図９(a)に示したように、前記抽出された機種情報に基づいて、当該モバイル端末MNのメニュー画面を模した第１模擬画面が表示される。ステップＳ２７において、端末ユーザにより十字キーが操作されてフォーカス移動が指示されたことが検知されるとステップＳ２８へ進み、待機時間Trを計測するタイマが計測を開始する。ステップＳ２９では、待機時間Trが今回の応答時間Trespと比較され、待機時間Trが応答時間Trespに達するまで待機する。
【００４１】
その後、待機時間Trが応答時間Trespに達するとステップＳ３０へ進み、図６(b)に示したように、フォーカス移動後のメニュー画面を模した第２模擬画面が表示される。ステップＳ３１では、図９(c)に示した主観評価の回答画面が表示される。端末ユーザが主観評価に回答すると、これがステップＳ３２で検知されてステップＳ３３へ進む。
【００４２】
ステップＳ３３では、評価試験が完了したか否かが判定される。本実施形態でも複数の応答時間Trespが用意されており、応答時間を切り換えながら評価が繰り返されるので、未評価の応答時間があればステップＳ２５へ戻り、応答時間Trespを切り換えながら上記の各処理が繰り返される。
【００４３】
その後、全ての応答時間について評価が完了するとステップＳ３４へ進み、応答時間毎の主観評価、ユーザID、機種情報およびユーザ情報の記述された評価結果が試験サーバ５へ返信される。
【００４４】
図１０は、本発明の第３実施形態において、モバイル端末MNの画面表示が評価プログラムの進行と共に切り替わる様子を示した図である。
【００４５】
本実施形態では、図１０(a)に示したEメールのメニュー画面上で「Eメール終了」ボタンがクリックされてから、同図(b)の待受画面に戻るまでの応答時間が評価される。本実施形態でも、応答時間を切換ながら評価が繰り返され、応答時間ごとに、同図(c)の評価画面から回答結果が入力され、全ての応答時間に関する回答結果が評価サーバ５へ送信される。
【００４６】
評価試験サーバ５には、図１１に示したような評価テーブルが予め用意されており、各モバイル端末MNから受信した回答結果を定量値に変換し、図１２に一例を示した評価結果を生成する。図１２を参照すれば、例えば端末ユーザAは電源スイッチの押下時間が４秒以下であれば「非常に満足」であり、６秒以下でも「満足」である一方、１０秒以上では「非常に不満」と感じることが判る。
【００４７】
図１３は、スイッチの押下時間とユーザ満足度の平均値(MOS)との関係を示した図であり、ユーザ満足度の平均値を「満足」以上にするためには、起動時における電源スイッチの押下時間を３秒以下にする必要があることが判る。
【符号の説明】
【００４８】
１…携帯電話，２…PDA，３…無線基地局，４…無線アクセスポイント，５…評価サーバ
【技術分野】
【０００１】
本発明は、モバイル端末の主観評価方法およびプログラムに係り、特に、モバイル端末上で主観的な評価試験を仮想的に実施する主観評価方法およびプログラムに関する。
【背景技術】
【０００２】
携帯電話やPDAなどのモバイル端末を対象に、その操作性や利用感に関するユーザの主観的な評価を獲得する方法として、実験室方式およびWebアンケート方式が知られている。実験室方式では、実験主催者が指定した会場に参加者を収集し、特別な改修を加えたプロトタイプ端末を用いて主観評価試験を実施する。プロトタイプ端末は、市販のモバイル端末のハードウェアあるいはソフトウェアに改修を加えたものである。
【０００３】
非特許文献１には、実験室方式の一つであるオピニオン評価法が開示されている。オピニオン評価法では、被験者に対して劣化度合いが異なる複数の音声あるいは映像を提示し、それら各々に対する被験者の主観評価値を、例えば５段階の評価値から選択させるものである。
【０００４】
Webアンケート方式は、インターネットを介して、モバイル端末の操作性や利用感に対するアンケートを行うものである。Webアンケートでは、提示された質問事項に対して、被験者自身の考えや意見あるいは思想を回答するものが多い。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ITU-T Recommendation P.800
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実験室方式では、実験参加者の収集コストが大きいため、数百名あるいはそれ以上の規模での評価試験を実施することが難しい。また、実験参加者は、普段とは異なる環境で、かつ普段とは異なるプロトタイプ端末を用いるため、通常の利用環境とは異なる状況で試験を実施することになる。そのため、通常時の判断とは異なる評価結果が得られる可能性がある。
【０００７】
一方、インターネットを利用したWebアンケートでは、被験者は自身が所有するコンピュータやモバイル端末を用いてアンケートに参加することができるため、主催者側で専用端末を用意する必要がなく、短期間で多数の回答を得ることが可能である。しかしながら、Webアンケート方式では、「操作しづらい」とか「反応が遅い」といった、通常利用しているモバイル端末の操作性や利用感に対する印象や感想を回答させるにすぎず、具体的に応答時間が何秒程度であれば満足できるかとか，どのようなデザインやインターフェースであれば操作しやすいかといった定量的な評価を行うための基礎データを収集することが難しい。
【０００８】
このように、モバイル端末を用いた評価試験では信頼性の高い評価結果を得ることが困難であるため、これまでは、コンピュータのディスプレイにモバイル端末の画像を表示するなどして、モバイル端末を用いた評価試験を模擬することが行われていた。しかしながら、このような評価試験では、実際にモバイル端末を用いて評価試験を実施した場合との乖離が問題となる。
【０００９】
本発明の目的は、上記した従来技術の課題を解決し、モバイル端末の操作性や利用感に関する主観評価を、実使用を模した環境下で行える主観評価方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、被験者にモバイル端末を主観評価させる主観評価方法において、以下のような手段を講じた点に特徴がある。
【００１１】
(1)モバイル端末が評価プログラムを取得する手順と、モバイル端末が前記評価プログラムを実行する手順とを具備し、評価プログラムが、モバイル端末の出力画面を模した第１模擬画面を出力する手順と、所定の操作を検知する手順と、前記操作に応答して第２模擬画面を出力する手順と、前記操作に対する応答の主観評価を被験者に入力させる手順と、前記入力された主観評価を所定の宛先へ送信する手順とを具備したことを特徴とする。
【００１２】
(2)評価プログラムが、モバイル端末の機種情報を取得する手順を更に具備し、評価結果を送信する手順は、機種情報を主観評価と共に送信することを特徴とする。
【００１３】
(3)評価プログラムが、第１模擬画面のデータをモバイル端末の機種ごとに備え、第１模擬画面を出力する手順では、取得された機種情報に対応した第１模擬画面が出力されることを特徴とする。
【００１４】
(4)評価プログラムが、第２模擬画面のデータをモバイル端末の機種ごとに備え、第２模擬画面を出力する手順では、取得された機種情報に対応した第２模擬画面が出力されることを特徴とする。
【００１５】
(5)評価プログラムが、入力操作に対する応答時間を切り換えながら繰り返されることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、以下のような効果が達成される。
【００１７】
(1)被験者にモバイル端末を主観評価させる評価プログラムが評価対象のモバイル端末上で実行され、被験者が評価対象のモバイル端末を実際に操作して評価できるので、評価専用のプロトタイプ端末を用意することなく、多数の被験者を対象に、実使用に近い環境下での主観評価を簡単に実現できるようになる。
【００１８】
(2)主観評価がモバイル端末の機種情報と共に得られるので、評価側ではモバイル端末ごとに主観評価を分析できるようになる。
【００１９】
(3)評価中の出力画面（第１模擬画面および／または第２模擬画面）をモバイル端末の機種ごとに固有の画面にできるので、実使用により近い環境下での主観評価が可能になる。
【００２０】
(4)評価プログラムが、入力操作に対する応答時間を切り換えながら繰り返されるので、様々な状況を模した評価が可能になる。
【図面の簡単な説明】
【００２１】
【図１】本発明が適用される無線ネットワークの構成を示したブロック図である。
【図２】モバイル端末MNが評価プログラムを取得する第１の手法を示した図である。
【図３】モバイル端末MNが評価プログラムを取得する第２の手法を示した図である。
【図４】モバイル端末MNが評価プログラムを取得する第３の手法を示した図である。
【図５】モバイル端末MNの主要部の構成を示した機能ブロック図である。
【図６】モバイル端末MNの第１実施形態の動作を示したフローチャートである。
【図７】モバイル端末MNの第２実施形態の動作を示したフローチャートである。
【図８】第１実施形態においてモバイル端末MNの画面表示が切り替わる様子を示した図である。
【図９】第２実施形態においてモバイル端末MNの画面表示が切り替わる様子を示した図である。
【図１０】第３実施形態においてモバイル端末MNの画面表示が切り替わる様子を示した図である。
【図１１】評価試験サーバの評価テーブルの一例を示した図である。
【図１２】スイッチの押下時間とユーザ満足度との関係を実験参加者ごとに示した図である。
【図１３】スイッチの押下時間とユーザ満足度の平均値(MOS)との関係を示した図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明が適用される無線ネットワークの構成を示したブロック図であり、携帯電話１やPDA２などの多数のモバイル端末MNが無線基地局３や無線アクセスポイント４を経由して携帯電話網あるいはインターネット等のIPネットワークNWに接続される。IPネットワークNWにはさらに、モバイル端末MNの主観評価試験を端末ユーザ（実験参加者）に実施させ、その回答結果を収集する評価サーバ５が接続されている。端末ユーザは、主観評価用のプログラムを評価サーバ５から自身のモバイル端末MNにダウンロードし、これを実行することで主観評価試験を行う。
【００２３】
本実施形態では、モバイル端末MNが評価サーバ５から評価プログラムを取得する方式として、以下の３つの手法が用意されている。第１の手法では、図２に示したように、実験に参加する端末ユーザがモバイル端末MNから評価サーバ５のURLに自発的にアクセスして評価プログラムを要求すると、これに応答して評価サーバ５からモバイル端末MNへ評価プログラムが配信される。第２の手法では、図３に示したように、評価サーバ５が評価プログラムを電子メール（例えば、Eメール）に添付し、端末ユーザのモバイル端末MNへ配信する。第３の手法では、図４に示したように、評価サーバ５からモバイル端末MNへ評価依頼のメッセージが電子メールで送信され、端末ユーザがモバイル端末MNから、電子メールに記述されている評価サーバ５のURLにアクセスして評価プログラムを取得する。
【００２４】
前記第１の手法は、評価主催者が予めWeb上あるいは電子メールで主観評価試験の募集要項や評価プログラムのダウンロード先のURLを告知し、実験に自発的に参加する端末ユーザに評価を依頼する場合に有効である。
【００２５】
前記第２，３の手法は、各端末ユーザの大まかな位置情報を、各モバイル端末を収容する基地局のカバレッジ等に基づいて評価主催者側が把握し、所望の対象地域に位置している端末ユーザを識別して評価を依頼する場合に有効である。
【００２６】
各モバイル端末MNでは、上記いずれかの手法で評価サーバ５から取得した評価プログラムを実行して端末ユーザに通信品質の主観評価を行わせ、その後、評価結果を評価サーバ５へ送信する。
【００２７】
図５は、前記モバイル端末MNの主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００２８】
モバイル端末MNは、送受信部１０１、変復調部１０２、制御部１０３、表示部１０４、入力操作部１０５および音響部１０６を含み、前記制御部１０３は、CPU２０１、このCPU２０１により実行されるプログラムや各種の制御データを不揮発に記憶するROM２０２、およびダウンロードしたプログラムやデータを一時記憶すると共に前記CPU２０１にワークエリアを提供するRAM２０３を主要な構成としている。
【００２９】
このような構成において、評価試験サーバ５からダウンロードされた評価プログラムは変復調部１０２で復調されて制御部１０３のRAM２０２に一時記憶される。CPU２０１により当該評価プログラムが実行されると、表示部１０４には、モバイル端末MNの一の状態（例えば、電子メールの送信前）における画面表示を模した第１模擬画面が出力される。端末ユーザが入力操作部１０５から電子メールの送信操作を入力すると、その処理時間に相当する応答時間の経過後に、今度はモバイル端末MNの他の一の状態（例えば、電子メールの送信後）における画面表示を模した第２模擬画面が表示部１０４に出力される。次いで、表示画面が回答画面に切り替わり、端末ユーザが入力操作部１０５から、応答時間に関する主観評価を入力すると、これが評価結果として評価サーバ５へ送信される。
【００３０】
図６は、前記評価プログラムが実行されるモバイル端末MNの第１実施形態の動作を示したフローチャートであり、ここでは始めに、電源スイッチの長押し時間の評価方法について説明する。図８は、モバイル端末MNの画面表示が評価プログラムの進行と共に切り替わる様子を示した図である。
【００３１】
モバイル端末MNにおいて評価プログラムが実行されると、ステップＳ１では、端末ユーザの年齢や性別などを入力させるユーザ情報の入力画面が表示される。ユーザ情報の入力が完了し、これがステップＳ２で検知されるとステップＳ３へ進む。ステップＳ３では、モバイル端末MNの機種情報が取得される。本実施形態では、評価プログラムをFlashLiteあるいはJava(登録商標)Scriptといったモバイル端末向けスクリプト言語で作成することができ、評価プログラムがFlash Liteで作成されていれば、次式(1)の関数を実行することによりモバイル端末MNの機種情報（デバイスID）を取得できる。
【００３２】
fscommand2 ("GetDevice", "devicename"); …(1)
【００３３】
ステップＳ４では、前記機種情報に基づいて各種のパラメータが設定される。本実施形態では、起動前の第１模擬画面、起動中の第２模擬画面、起動中に発せられるピープ音などが、前記機種情報に基づいて当該モバイル端末MNに固有の画面等に設定される。ステップＳ５では、今回の長押し時間Tpushが設定される。ステップＳ６では、図８(a)に示したように、電源オフの状態を模した第１模擬画面が表示される。ステップＳ７において、電源スイッチの押下操作が検知されるとステップＳ８へ進み、長押しの継続時間Tpを計測するタイマおよび経過時間Twを計測するタイマがスタートする。
【００３４】
ステップＳ９では、電源スイッチの押下が継続中であるか否かが判定される。継続中であればステップ１０へ進み、現在までの長押し継続時間Tpが今回の長押し時間Tpushと比較される。長押し継続時間Tpが未だ長押し時間Tpushを下回っていれば、ステップＳ９へ戻って待機する。その後、長押し継続時間Tpが長押し時間Tpushに達するとステップ１１へ進み、図８(b)に示したように、起動中の出力画面を模した当該モバイル端末に固有の第２模擬画面が表示される。
【００３５】
ステップＳ１２では、経過時間Twが所定の起動時間Twaitに達したか否かが判定される。経過時間Twが起動時間Twaitに達するとステップＳ１３へ進み、図８(c)に示した主観評価の回答画面が表示される。端末ユーザが主観評価に回答すると、これがステップＳ１４で検知されてステップＳ１５へ進む。ステップＳ１５では、評価試験が完了したか否かが判定される。本実施形態では複数の長押し時間Tpushが用意されており、長押し時間を切り換えながら評価が繰り返されるので、未評価の長押し時間があればステップＳ５へ戻り、長押し時間Tpushを切り換えながら上記の各処理が繰り返される。
【００３６】
その後、全ての長押し時間について端末ユーザの評価が完了するとステップＳ１６へ進み、長押し時間毎の主観評価、ユーザID、機種情報およびユーザ情報の記述された評価結果が評価試験サーバ５へ返信される。評価プログラムがFlashLiteで作成されていれば、評価結果はgetURL関数を次式(2)のように用いることにより送信可能である。
【００３７】
getURL("http://www.xxx.xxx.xxx", "_blank", "GET") …(2)
【００３８】
図７は、本発明の第２実施形態の動作を示したフローチャートであり、ここでは、モバイル端末MNのメニュー画面上でフォーカスを移動させる際の応答時間の評価方法について説明する。図９は、モバイル端末MNの画面表示が評価プログラムの進行と共に切り替わる様子を示した図である。
【００３９】
モバイル端末MNにおいて評価試験プログラムが実行されると、ステップＳ２１〜２４では、上記の第１実施形態と同様に、ユーザ情報の入力、機種情報の取得、および機種情報に基づくパラメータ設定が実施される。
【００４０】
ステップＳ２５では、今回の応答時間Trespが設定される。ステップＳ２６では、図９(a)に示したように、前記抽出された機種情報に基づいて、当該モバイル端末MNのメニュー画面を模した第１模擬画面が表示される。ステップＳ２７において、端末ユーザにより十字キーが操作されてフォーカス移動が指示されたことが検知されるとステップＳ２８へ進み、待機時間Trを計測するタイマが計測を開始する。ステップＳ２９では、待機時間Trが今回の応答時間Trespと比較され、待機時間Trが応答時間Trespに達するまで待機する。
【００４１】
その後、待機時間Trが応答時間Trespに達するとステップＳ３０へ進み、図６(b)に示したように、フォーカス移動後のメニュー画面を模した第２模擬画面が表示される。ステップＳ３１では、図９(c)に示した主観評価の回答画面が表示される。端末ユーザが主観評価に回答すると、これがステップＳ３２で検知されてステップＳ３３へ進む。
【００４２】
ステップＳ３３では、評価試験が完了したか否かが判定される。本実施形態でも複数の応答時間Trespが用意されており、応答時間を切り換えながら評価が繰り返されるので、未評価の応答時間があればステップＳ２５へ戻り、応答時間Trespを切り換えながら上記の各処理が繰り返される。
【００４３】
その後、全ての応答時間について評価が完了するとステップＳ３４へ進み、応答時間毎の主観評価、ユーザID、機種情報およびユーザ情報の記述された評価結果が試験サーバ５へ返信される。
【００４４】
図１０は、本発明の第３実施形態において、モバイル端末MNの画面表示が評価プログラムの進行と共に切り替わる様子を示した図である。
【００４５】
本実施形態では、図１０(a)に示したEメールのメニュー画面上で「Eメール終了」ボタンがクリックされてから、同図(b)の待受画面に戻るまでの応答時間が評価される。本実施形態でも、応答時間を切換ながら評価が繰り返され、応答時間ごとに、同図(c)の評価画面から回答結果が入力され、全ての応答時間に関する回答結果が評価サーバ５へ送信される。
【００４６】
評価試験サーバ５には、図１１に示したような評価テーブルが予め用意されており、各モバイル端末MNから受信した回答結果を定量値に変換し、図１２に一例を示した評価結果を生成する。図１２を参照すれば、例えば端末ユーザAは電源スイッチの押下時間が４秒以下であれば「非常に満足」であり、６秒以下でも「満足」である一方、１０秒以上では「非常に不満」と感じることが判る。
【００４７】
図１３は、スイッチの押下時間とユーザ満足度の平均値(MOS)との関係を示した図であり、ユーザ満足度の平均値を「満足」以上にするためには、起動時における電源スイッチの押下時間を３秒以下にする必要があることが判る。
【符号の説明】
【００４８】
１…携帯電話，２…PDA，３…無線基地局，４…無線アクセスポイント，５…評価サーバ
【特許請求の範囲】
【請求項１】
被験者にモバイル端末を主観評価させる主観評価方法において、
モバイル端末が評価プログラムを取得する手順と、
モバイル端末が前記評価プログラムを実行する手順とを具備し、
前記評価プログラムが、
モバイル端末の出力画面を模した第１模擬画面を出力する手順と、
所定の操作を検知する手順と、
前記操作に応答して第２模擬画面を出力する手順と、
前記操作に対する応答の主観評価を被験者に入力させる手順と、
前記入力された主観評価を所定の宛先へ送信する手順とを具備したことを特徴とするモバイル端末の主観評価方法。
【請求項２】
前記評価プログラムが、モバイル端末の機種情報を取得する手順を更に具備し、
前記評価結果を送信する手順は、前記機種情報を主観評価と共に送信することを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項３】
前記評価プログラムが、前記第１模擬画面のデータをモバイル端末の機種ごとに備え、
前記第１模擬画面を出力する手順では、前記取得された機種情報に対応した第１模擬画面が出力されることを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項４】
前記評価プログラムが、前記第２模擬画面のデータをモバイル端末の機種ごとに備え、
前記第２模擬画面を出力する手順では、前記取得された機種情報に対応した第２模擬画面が出力されることを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項５】
前記評価プログラムが、前記入力操作に対する応答を切り換えながら繰り返されることを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項６】
前記第１模擬画面が電源オフ状態の画面であり、前記操作が起動操作であり、前記第２模擬画面が起動中画面であることを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項７】
前記第１模擬画面がメニュー画面であり、前記操作が待ち受け画面に戻る操作であり、前記第２模擬画面が待ち受け画面であることを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項８】
前記第１模擬画面がメニュー画面において一の項目にフォーカスしている画面であり、前記操作がフォーカスを移動する操作であり、前記第２模擬画面が移動先の項目にフォーカスしている画面であることを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項９】
前記請求項１ないし８のいずれかに記載のモバイル端末の主観評価方法をモバイル端末のコンピュータに実行させるためのモバイル端末の主観評価プログラム。
【請求項１】
被験者にモバイル端末を主観評価させる主観評価方法において、
モバイル端末が評価プログラムを取得する手順と、
モバイル端末が前記評価プログラムを実行する手順とを具備し、
前記評価プログラムが、
モバイル端末の出力画面を模した第１模擬画面を出力する手順と、
所定の操作を検知する手順と、
前記操作に応答して第２模擬画面を出力する手順と、
前記操作に対する応答の主観評価を被験者に入力させる手順と、
前記入力された主観評価を所定の宛先へ送信する手順とを具備したことを特徴とするモバイル端末の主観評価方法。
【請求項２】
前記評価プログラムが、モバイル端末の機種情報を取得する手順を更に具備し、
前記評価結果を送信する手順は、前記機種情報を主観評価と共に送信することを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項３】
前記評価プログラムが、前記第１模擬画面のデータをモバイル端末の機種ごとに備え、
前記第１模擬画面を出力する手順では、前記取得された機種情報に対応した第１模擬画面が出力されることを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項４】
前記評価プログラムが、前記第２模擬画面のデータをモバイル端末の機種ごとに備え、
前記第２模擬画面を出力する手順では、前記取得された機種情報に対応した第２模擬画面が出力されることを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項５】
前記評価プログラムが、前記入力操作に対する応答を切り換えながら繰り返されることを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項６】
前記第１模擬画面が電源オフ状態の画面であり、前記操作が起動操作であり、前記第２模擬画面が起動中画面であることを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項７】
前記第１模擬画面がメニュー画面であり、前記操作が待ち受け画面に戻る操作であり、前記第２模擬画面が待ち受け画面であることを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項８】
前記第１模擬画面がメニュー画面において一の項目にフォーカスしている画面であり、前記操作がフォーカスを移動する操作であり、前記第２模擬画面が移動先の項目にフォーカスしている画面であることを特徴とする請求項１に記載のモバイル端末の主観評価方法。
【請求項９】
前記請求項１ないし８のいずれかに記載のモバイル端末の主観評価方法をモバイル端末のコンピュータに実行させるためのモバイル端末の主観評価プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図１３】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図１３】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２８８１１５（Ｐ２０１０−２８８１１５Ａ）
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２００９−１４０８９５（Ｐ２００９−１４０８９５）
【出願日】平成２１年６月１２日（２００９．６．１２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＬＡＳＨ
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２１年６月１２日（２００９．６．１２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＬＡＳＨ
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]