階層構成の操作メニューの変更をユーザに認識させるユーザインタフェースプログラム、装置及び方法
【課題】階層構成の操作メニューの変更を、ユーザに容易に認識させるユーザインタフェースプログラム、装置及び方法を提供する。
【解決手段】当該ユーザにおける操作メニューの上位から下位への操作ログを記録する操作履歴記録手段と、操作ログに基づいて操作メニューの階層構成を変更した仮メニューを生成する仮メニュー生成手段と、起動しているアプリケーションに対するユーザの注目余裕度に応じて、仮メニューをディスプレイに明示すべき時点を判定する仮メニュー制御手段と、仮メニュー制御手段によって明示すべきと判定された時点で、仮メニューをディスプレイに明示する仮メニュー動作手段と、仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、仮メニューを操作メニューに反映するメニュー更新手段とを有する。
【解決手段】当該ユーザにおける操作メニューの上位から下位への操作ログを記録する操作履歴記録手段と、操作ログに基づいて操作メニューの階層構成を変更した仮メニューを生成する仮メニュー生成手段と、起動しているアプリケーションに対するユーザの注目余裕度に応じて、仮メニューをディスプレイに明示すべき時点を判定する仮メニュー制御手段と、仮メニュー制御手段によって明示すべきと判定された時点で、仮メニューをディスプレイに明示する仮メニュー動作手段と、仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、仮メニューを操作メニューに反映するメニュー更新手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階層構成の操作メニューをディスプレイに表示し、ユーザに認識させるＧＵＩ(Graphic User Interface)の技術に関する。
【背景技術】
【０００２】
情報機器のディスプレイに表示されるユーザインタフェースの多くで、階層構成の操作メニューが採用されている。操作メニューとしては、例えば以下の３つのタイプがある。
（１）操作メニューの階層構成を、全く変更できないタイプ
（２）操作メニューの階層構成を、ユーザが自らカスタマイズすることができるタイプ
（３）操作メニューの階層構成を、ユーザの利用状況に応じて自動的に変更するタイプ
【０００３】
ここで、タイプ（３）の場合、操作メニューの階層構成が自動的に変更されるために、ユーザが、所望の項目を見失うという課題がある。
【０００４】
この課題に対して、元の操作メニューの階層構成と、利用状況に応じて構築された操作メニューの階層構成とを併用させる技術がある（例えば特許文献１参照）。この技術によれば、更新された操作メニューであっても、ユーザは、所望の項目を見付けやすくなる。具体的には、アプリケーションの初期実行時に構築されていた元の操作メニューから、ユーザによって所定回数以上実行された下位層の操作ツリー（経路）のみを検出する。その下位の操作ツリーを、元の操作メニューのルートに接続する。これによって、ユーザは、ルートから直ぐに下位の操作ツリーへ移行することができる。これによって、元の操作メニューにおける操作ツリーを維持しつつ、過剰なメニューの入れ替えを回避することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１４０３３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術によれば、更新された操作メニュー自体が、ユーザの利用状況に適したものであっても、ユーザの意向に関係なく階層構成が変更される。例えばユーザの利用状況に基づいて操作項目をソートする場合がある。このソートは、例えば利用回数、名前、利用日時などに基づいて実行される。その結果、ユーザは、それまで記憶していた操作メニューの階層構成とは異なるために、所望の項目の位置を見失うことなる。
【０００７】
また、特許文献１に記載された技術によれば、ユーザにおける操作メニューの所定項目の利用回数が変化する毎に、自動的に操作メニューの階層構成が変更される。結局、ユーザは、操作メニューにおける所望の項目の位置を見失うこととなる。また、元の操作メニューのルートに、下位の操作ツリーを接続するために、同一の項目に対する経路が２つ存在することとなる。これは、ユーザ操作の視点から紛らわしい場合がある。
【０００８】
更に、例えば操作メニューの項目をソートする際に、例えば「名前順でソーティングします。よろしいですか？」といった質問と、「Ｙｅｓ／Ｎｏ」の選択肢とからなるダイアログを、ディスプレイに表示する場合がある。この場合、利用者が、「Ｙｅｓ」と回答した場合にのみ、操作メニューの階層構成が変更される。しかし、元の操作メニューのルートに、下位の操作ツリーを接続する場合、このようなダイアログで、ユーザに認識させることはできない。
【０００９】
そこで、本発明は、階層構成の操作メニューの変更を、ユーザに容易に認識させることができるユーザインタフェースプログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明によれば、階層構成の操作メニューをディスプレイに表示する操作装置に搭載されたコンピュータを機能させるユーザインタフェースプログラムにおいて、
当該ユーザにおける操作メニューの上位から下位への操作ログを記録する操作履歴記録手段と、
操作ログに基づいて操作メニューの階層構成を変更した仮メニューを生成する仮メニュー生成手段と、
起動しているアプリケーションに対するユーザの注目余裕度に応じて、仮メニューをディスプレイに明示すべき時点を判定する仮メニュー制御手段と、
仮メニュー制御手段によって明示すべきと判定された時点で、仮メニューをディスプレイに明示する仮メニュー動作手段と、
仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、仮メニューを操作メニューに反映するメニュー更新手段と
してコンピュータを機能させることを特徴とする。
【００１１】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
仮メニュー生成手段は、
変更前メニューにおける階層順の操作過程を、アニメーションによって仮想的な指の画像を順次移動させて重畳表示する復習モードアニメーションと、
仮メニューにおける階層順の操作過程を、アニメーションによって仮想的な指の画像を順次移動させて重畳表示する学習モードアニメーションと
を更に生成し、
仮メニュー動作手段は、ディスプレイに、復習モードアニメーションと学習モードアニメーションとを表示する
ようにコンピュータを更に機能させるものであってもよい。
【００１２】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
ディスプレイは、タッチパネルディスプレイによって構成されており、
学習モードアニメーションについて、上位層から下位層へ操作項目が移動する毎に、当該ユーザの指が、アニメーションに基づく当該仮想的な指の画像に接触した場合に、次の下位層を表示するように仮メニュー動作手段を制御する体験入力制御手段を更に有する
ようにコンピュータを更に機能させるものであってもよい。
【００１３】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
復習モードアニメーションについて、変更前メニューから仮メニューへ変更する際に、ユーザに明示すべき変更理由情報を蓄積した変更理由記憶手段を更に有し、
仮メニュー動作手段は、復習モードアニメーションを表示する際に、変更される階層を表示する際に、変更理由記憶手段から取得した変更理由情報を、ディスプレイに更に表示する
ようにコンピュータを更に機能させるものであってもよい。
【００１４】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
アプリケーション毎に、ユーザが集中する必要性が高い「集中型」か、又は、ユーザが集中する必要性が低い「非集中型」かが予め規定されており、
仮メニュー制御手段は、
（設定１）集中型／非集中型の全てのアプリケーションについて、ユーザ操作によって、終了状態から起動状態へ遷移した際、「注目余裕度＝０」に設定し、
（設定２）集中型アプリケーションが起動中の際、「注目余裕度＝０」に設定し、
（設定３）非集中型アプリケーションについて、過去の状態遷移と同じか又は異なるかを表す状態遷移確率モデルによって、「注目余裕度」を設定し、
（設定４）集中型／非集中型の全てのアプリケーションについて、ユーザ操作によって、起動状態から終了状態へ遷移した際、「注目余裕度＝１」に設定する
ようにコンピュータを更に機能させるものであってもよい。
【００１５】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
仮メニュー制御手段は、設定３について、非集中型アプリケーションにおける状態遷移をＨＭＭ(Hidden
Markov Model)によって状態遷移確率モデルを算出し、ユーザ操作に基づく状態遷移の遷移確率の積Ｐを、注目余裕度として設定する
ようにコンピュータを更に機能させるものであってもよい。
【００１６】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
仮メニュー動作手段は、
ディスプレイの表示領域を、２つに分割し、
一方の表示領域には、復習モードアニメーションを再生し、
他方の表示領域には、学習モードアニメーションを再生する
ようにコンピュータを更に機能させるものであってもよい。
【００１７】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
メニュー更新手段は、仮メニューへの変更の可否をユーザ操作によって選択させる際に、アバターを用いたダイアログを表示するようにコンピュータを更に機能させるものであってもよい。
【００１８】
本発明によれば、階層構成の操作メニューをディスプレイに表示する操作装置において、
当該ユーザにおける操作メニューの上位から下位への操作ログを記録する操作履歴記録手段と、
操作ログに基づいて操作メニューの階層構成を変更した仮メニューを生成する仮メニュー生成手段と、
起動しているアプリケーションに対するユーザの注目余裕度に応じて、仮メニューをディスプレイに明示すべき時点を判定する仮メニュー制御手段と、
仮メニュー制御手段によって明示すべきと判定された時点で、仮メニューをディスプレイに明示する仮メニュー動作手段と、
仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、仮メニューを操作メニューに反映するメニュー更新手段と
を有することを特徴とする。
【００１９】
本発明によれば、階層構成の操作メニューをディスプレイに表示する操作装置を用いたユーザ操作方法において、
当該ユーザにおける操作メニューの上位から下位への操作ログを記録する操作履歴記録部を有し、
操作ログに基づいて操作メニューの階層構成を変更した仮メニューを生成する第１のステップと、
起動しているアプリケーションに対するユーザの注目余裕度に応じて、仮メニューをディスプレイに明示すべき時点を判定する第２のステップと、
仮メニュー制御手段によって明示すべきと判定された時点で、仮メニューをディスプレイに明示する第３のステップと、
仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、仮メニューを操作メニューに反映する第４のステップと
を有することを特徴とする。
【発明の効果】
【００２０】
本発明のユーザインタフェースプログラム、装置及び方法によれば、階層構成の操作メニューの変更を、ユーザに容易に認識させることができる。特に、本発明によれば、ユーザは、アプリケーションの操作にできる限り集中していないタイミングで、仮メニューを見ることによって操作メニューの変更を認識することができる。
【図面の簡単な説明】
【００２１】
【図１】操作メニューがディスプレイに表示されたユーザインタフェース画面である。
【図２】階層構成の操作メニューを表す説明図である。
【図３】本発明におけるユーザインタフェースプログラムの機能構成図である。
【図４】復習モードアニメーションを表す説明図である。
【図５】学習モードアニメーションを表す説明図である。
【図６】アプリケーションにおける状態遷移を表す説明図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２３】
図１は、操作メニューがディスプレイに表示されたユーザインタフェース画面である。
【００２４】
図１によれば、操作装置１は、例えばスマートフォンであって、ディスプレイ１０は、例えばタッチパネルディスプレイである。タッチパネルディスプレイは、ユーザに視認させるディスプレイとしての機能と、ユーザの指の接触に基づく入力インタフェースとしての機能との両方を備える。
【００２５】
また、図１によれば、ユーザの指の接触によって操作メニューが変化していることが理解できる。操作メニューは、階層状に構成されており、上位の操作項目から順に、下位の操作項目へ向かって表示される。ユーザは、タッチパネルディスプレイ１０に表示された操作メニューにおけるいずれか１つの操作項目を指で接触する。
【００２６】
本発明の対象となる操作メニューは、少なくとも２段階以上の階層構成を有する。即ち、第１の操作項目を選択した場合、次に、その操作項目に従属する第２の操作項目の一覧が表示されるものである。一方で、操作メニューの表示構成としては、様々な実施形態がある。例えば、操作メニューが、上下左右の４方向のボタンで表示されるものであってもよい。
【００２７】
図２は、階層構成の操作メニューを表す説明図である。
【００２８】
図２（ａ）によれば、変更前の操作メニューの階層構成の例を表す。この場合、所望の操作項目「メロディ」へ到達するまでに、ユーザは、５回の操作を必要とする。
【００２９】
一方で、図２（ｂ）によれば、変更後の操作メニューの階層構成の例を表す。この場合、所望の操作項目「メロディ」へ到達するまでに、ユーザは、２回の操作しか必要としない。このように、操作メニューの階層構成を、ユーザの利用状況に応じて自動的に変更することができる（従来技術におけるタイプ（３）と同様）。即ち、本発明は、変更後の操作メニューをユーザに認識させるために必要となるものである。
【００３０】
図３は、本発明におけるユーザインタフェースプログラムの機能構成図である。
【００３１】
図３によれば、操作装置１は、タッチパネルディスプレイ１０と、操作メニュー記憶部１１１と、アプリケーション処理部１１２と、操作履歴記録部１１３とを有する。また、操作装置１は、仮メニュー生成部１２１と、仮メニュー制御部１２２と、仮メニュー動作部１２３と、体験入力制御部１２４と、変更理由記憶部１２５と、メニュー更新部１２６とを有する。タッチパネルディスプレイを除くこれら機能構成部は、操作装置１に搭載されたコンピュータを機能させるプログラムを実行させることによって実現できる。更に、これら機能部の処理の流れは、ユーザ操作方法としても理解できる。
【００３２】
操作メニュー記憶部１１１は、初期設定に基づく操作メニューの階層構成を記憶すると共に、その後に変更された操作メニューの階層構成を記憶する。
【００３３】
アプリケーション処理部１１２は、タッチパネルディスプレイ１０を介して、ユーザ操作に応じたアプリケーションを実行する。アプリケーションの実行状態（終了状態／起動状態）は、仮メニュー制御部１２２へ出力される。
【００３４】
操作履歴記録部１１３は、タッチパネルディスプレイ１０を介して、当該ユーザにおける操作メニューの上位から下位への操作ログを記録する。操作履歴記録部１１３は、階層構成の操作メニューに対して、ルート（最上位層の操作項目）からリーフ（階層構成の下位層）に向けて、ユーザによって選択された項目を、時刻と共に記憶する。これは、操作項目の遷移を１つのシーケンスとして記録する。そのために、操作ログは、ユーザの指がタッチパネルディスプレイに接触する毎に、記録される。前述した図２によれば、「機能設定」->「音/バイブ/ランプ」->「着信設定」->「Ｅメール受信」->「メロディ」の遷移を記録する。但し、このシーケンスは、「機能設定」から「メロディ」まで、最短で到達した場合のものである。もし、途中で項目の選択に迷ったり、間違えたりすることによって、下位階層から上位階層に戻った場合であっても、操作履歴記録部１１３はそのとおりに記録する。
【００３５】
また、操作履歴記録部１１３は、起動中のアプリケーションに対して、ユーザが入力した操作回数及び利用時間を記録することも好ましい。アプリケーション毎の操作回数及び利用時間は、後述する仮メニュー制御部１２２によって、アプリケーションの「集中型／非集中型」に基づく注目余裕度を算出するために用いられる。
【００３６】
更に、操作履歴記録部１１３は、タッチパネルディスプレイにおける接触座標位置を記録することも好ましい。この場合、メモリサイズの制限や処理量の制限の観点から、操作メニューの操作項目における重心を、指の接触座標位置とするものであってもよい。
【００３７】
［仮メニュー生成部１２１］
仮メニュー生成部１２１は、操作ログに基づいて操作メニューの階層構成を変更した変更後メニューに対する仮メニューを生成する。変更後メニュー自体は、従来技術と同様に、現在の操作メニューから、例えばユーザが頻繁に利用している操作項目を、ルートに近い部分に配置するものであってもよい。即ち、従来技術における前述したタイプ（３）のように、仮メニューは、ユーザの利用状況に応じて操作メニューの階層構成を自動的に変更したものであればよい。仮メニューによって、操作メニューに対するユーザの操作回数を減らすことができる。
【００３８】
「仮メニュー」とは、変更後メニューを反映する前に、仮に作成したメニューであって、ユーザに学習させるためのものである。本発明によれば、ユーザが、仮メニューに基づく階層構成を認識した後、変更後メニューを操作メニューに反映する。
【００３９】
仮メニューは、例えばアニメーションによって構成されたFlash（登録商標）ファイル(拡張子：.swf)であることが好ましい。「Flash」とは、Macromedia社（現在のAdobe社）が開発した、音声やベクターグラフィックス（頂点とそれを結ぶ曲線の方程式のパラメータ）のアニメーションを組み合わせてＷｅｂコンテンツを作成することができるソフトウェアである。このFlashコンテンツは、Flashプレーヤというプラグインソフト（無償）を用いて再生される。「Flash」は、ベクターグラフィックスであるので、ファイルサイズが小さく、実用に耐えるアニメーションツールとして、広く普及している。尚、三次元アニメーションを作成するソフトウェアとしては、Shockwave（登録商標）コンテンツがある。
【００４０】
階層構成の操作項目におけるテキストファイルを、自動的にFlashファイルに組み込むこともできる。Flashファイルは、対話的な操作を実現するActionScript（登録商標）によって記述される。ActionScriptとは、オブジェクトに対する操作への挙動を記述する、プロトタイプベースのオブジェクト指向処理系である。具体的には、例えば「ボタンアクション」を記述することができる。操作項目のテキストファイルと、ベースとなるFlashコンテンツとの間に、インタフェースとしてのActionScriptを介在させることによって、できる限り自動的に、階層構成の仮メニューのFlashコンテンツを生成することができる。
【００４１】
仮メニュー生成部１２１は、「復習モードアニメーション」と「学習モードアニメーション」とを生成する。これらアニメーションは、仮メニュー動作部１２３へ出力される。
【００４２】
「復習モードアニメーション」は、変更前メニューにおける階層順の操作過程を、仮想的な指の画像を順次移動させて重畳表示するアニメーションをいう。尚、変更のポイントとなる項目にマークを付けて、ユーザに明示することも好ましい。
【００４３】
「学習モードアニメーション」は、仮メニューにおける階層順の操作過程を、アニメーションによって仮想的な指の画像を順次移動させて重畳表示するアニメーションをいう。
【００４４】
図４は、復習モードアニメーションを表す説明図である。図４によれば、復習モードアニメーションは、変更前の操作メニューにおける操作項目の流れと、その指の位置とが表されている。
【００４５】
図５は、学習モードアニメーションを表す説明図である。図５によれば、学習モードアニメーションは、変更後の操作メニューにおける操作項目の流れと、その指の位置とが表されている。
【００４６】
［仮メニュー制御部１２２］
仮メニュー制御部１２２は、起動しているアプリケーションに対するユーザの注目余裕度に応じて、仮メニューをディスプレイに明示すべき時点を判定する。
【００４７】
ユーザに仮メニューを認識させるタイミングは、重要な問題である。即ち、ユーザの操作を邪魔しないように、仮メニューをユーザに明示する必要がある。仮メニュー制御部１２２は、仮メニューを明示する適切なタイミングを判定する。
【００４８】
本来、操作メニューの階層構成を変更すべき際に、直ぐのタイミングで、仮メニューをディスプレイに明示し、ユーザに視認させることが好ましい。しかしながら、ユーザが操作端末１で現に起動しているアプリケーションに集中している最中に、仮メニューを明示することは好ましくない。なぜなら、ユーザは、仮メニューの明示自体を、直ぐにキャンセルしてしまう恐れがあるからである。従って、ユーザにとって、ある程度の余裕が有る際に、仮メニューを明示することが好ましい。
【００４９】
例えば以下のような場合には、ユーザに仮メニューを明示するタイミングであると考えられる。
（１）ユーザに対して集中度を必要としないアプリケーションが現に起動している場合に、仮メニューを明示する。即ち、ユーザに余裕が有る際に、仮メニューを明示する。
（２）アプリケーションが終了された時に、仮メニューを明示する。アプリケーションを終了した直後は、ユーザにとってある程度の気持ちの余裕があるといえる。
（３）スマートフォンに待ち受け画面が明示されている場合に、仮メニューを明示する。
【００５０】
一方で、例えば以下のような場合には、ユーザに仮メニューを明示しない。
（１）ユーザによってスマートフォンが操作されていないときには、仮メニューを明示しない。
（２）ユーザに対して高い集中度を必要とするアプリケーションが現に起動している場合には、仮メニューを明示しない。即ち、ユーザに余裕が無い場合には、仮メニューを明示しない。
【００５１】
ここで、操作メニューの階層構成を変更する際に、ユーザがその仮メニューの閲覧を受け入れると推測される確率「注目余裕度」（０〜１）を算出する。注目余裕度が高いほど（１に近いほど）、ユーザに仮メニューを明示すべきと判定する。そして、注目余裕度の値が、所定閾値以上の場合に、仮メニューを明示すると決定する。逆に、注目余裕度が低い場合に仮メニューを明示しても、その仮メニューの動作をキャンセルされる確率が高い。
【００５２】
「注目余裕度」は、アプリケーション毎に含まれるプロファイルデータとして「集中型／非集中型」のタイプに応じて決定されるものであってもよい。
（１）「集中型」 ：ユーザの集中度を必要とするアプリケーション
（２）「非集中型」：ユーザの集中度を必要としないアプリケーション
例えば、メールやゲームのようなアプリケーションは「集中型」に分類され、時計表示やＷｅｂ閲覧は「非集中型」に分類される。この分類は、アプリケーションの配布者によって又はアプリケーション種別に応じて、予め決定されている。
【００５３】
更に、操作履歴記録部１１３に記録された操作ログを参照し、アプリケーション毎にその起動から終了までに、ユーザが入力した操作回数及び利用時間に基づいて、「集中型／非集中型」を判定するものであってもよい。例えば、利用時間の単位時間（例えば１分）あたり、操作回数が一定閾値（例えば６０回）以上であった場合、「集中型」と判定し、それ未満であった場合、「非集中型」と判定する。
【００５４】
また、メールのようなアプリケーションの場合、受信メール閲覧中と送信メール作成中とでは、操作頻度が大きく異なる。そのような場合、メールアプリケーションに付随するプロファイルデータにおけるその操作頻度を変更することも好ましい。操作頻度が所定閾値以上の場合、「集中型」と判定し、それ未満である場合、「非集中型」と判定する。
【００５５】
「集中型／非集中型」に基づいて、具体的に以下のように、「注目余裕度」を設定する。
（設定１）集中型／非集中型の全てのアプリケーションについて、ユーザ操作によって、終了状態から起動状態へ遷移した際、「注目余裕度＝０」に設定する。
（設定２）集中型アプリケーションが起動中の際、「注目余裕度＝０」に設定する。
（設定３）非集中型アプリケーションについて、過去の状態遷移と同じか又は異なるかを表す状態遷移確率モデルによって、「注目余裕度」を設定する。
（設定４）集中型／非集中型の全てのアプリケーションについて、ユーザ操作によって、起動状態から終了状態へ遷移した際、「注目余裕度＝１」に設定する。
【００５６】
前述した設定３における、状態遷移確率モデルに基づく「注目余裕度」について説明する。状態遷移確率モデルは、非集中型アプリケーションにおける状態遷移をＨＭＭ(Hidden Markov Model)によって算出され、ユーザ操作に基づく状態遷移の遷移確率の積Ｐを、注目余裕度として設定する。
【００５７】
「注目余裕度」は、当該ユーザにとって過去の操作履歴と複数回同じ操作をしているアプリケーションについては、非集中型に近い値となり、当該ユーザにとって過去の操作履歴と異なる操作をしているアプリケーションについては、集中型に近い値とする。そのために、アプリケーション毎の注目余裕度は、当該ユーザの操作履歴に基づいて変更される。
【００５８】
操作履歴記憶部１１３は、アプリケーション毎の操作ログとして、操作内容及び操作時刻を更に含むものであってもよい。一連の操作内容を、ユーザ操作シーケンスとして、ＨＭＭ(Hidden Markov Model)に基づいてモデル化する。即ち、あるアプリケーションについて、その起動から終了するまでに複数種類の状態が存在しており、第１の状態のとき、ある操作によって第２の状態に遷移すると考える。このとき、操作ログに基づいて、第１の状態から、第２の状態への遷移する場合における「確率値」を算出することができる。
【００５９】
図６は、アプリケーションにおける状態遷移を表す説明図である。
【００６０】
例えば、状態０から、他の状態１及び状態２へ遷移することが、操作ログに記録されているとする。
状態０->状態１の遷移回数：Ｎ０１回
状態０->状態２の遷移回数：Ｎ０２回
合計遷移回数：Ｎ＝Ｎ０１＋Ｎ０２
状態０->状態１への遷移確率：Ｐ０１＝Ｎ０１／Ｎ
状態０->状態２への遷移確率：Ｐ０２＝Ｎ０２／Ｎ
アプリケーション毎に、起動から終了までの間の状態遷移確率モデルを作成する。
【００６１】
あるアプリケーションについて起動から終了まで、実際に、ユーザによって操作された場合、状態遷移確率モデルを用いて、遷移確率の積Ｐを算出する。ここで、Ｐ値には、以下の特性がある。
（１）いつも辿るユーザ操作シーケンスである場合は、Ｐ値が大きくなる。
（２）いつもとは異なるユーザ操作シーケンスである場合は、Ｐ値は小さくなる。
【００６２】
そこで、このときのＰ値を、「注目余裕度」に設定する。図６によれば、起動直後０->状態２->状態５->状態８を辿った場合、Ｐ０２５８値＝Ｐ０１×Ｐ１２×Ｐ２５×Ｐ５８となる。
【００６３】
仮メニュー制御部１２２は、前述した注目余裕度に基づいて、ユーザに対して仮メニューを明示するタイミングであると決定した際に、その旨を、仮メニュー動作部１２３へ指示する。これによって、仮メニュー動作部１２３は、仮メニューをユーザに明示する適切なタイミングを知ることができる。
【００６４】
［仮メニュー動作部１２３］
仮メニュー動作部１２３は、仮メニュー制御部１２２によって明示すべきと判定された時点で、仮メニューをディスプレイに明示する。仮メニューとして、少なくとも「学習モードアニメーション」を再生する（図５参照）。また、その前段階として、「復習モードアニメーション」を再生するものであってもよい（図４参照）。更に、仮メニュー動作部１２３は、ディスプレイの表示領域を、２つに分割し、一方の表示領域には、「学習モードアニメーション」を再生し、他方の表示領域には、「復習モードアニメーション」を再生することも好ましい。ユーザは、２つのアニメーションを同時に閲覧することによって、短時間で且つその変更の違いを認識することができる。
【００６５】
尚、仮メニューを動作させることをユーザに知らせるために、例えば、音を再生するか、又は、バイブレーションを起動するように、操作装置が制御されるものであってもよい。
【００６６】
［体験入力制御部１２４］
体験入力制御部１２４は、「学習モードアニメーション」について、上位層から下位層へ操作項目が移動する毎に、当該ユーザの指が、アニメーションに基づく当該仮想的な指の画像に接触した場合に、次の下位層を表示するように仮メニュー動作部１２３を制御する。ユーザは、実際に、変更後の操作メニューに指を接触させることによって、疑似体験的に、変更後の操作メニューを認識することができる。
【００６７】
［変更理由記憶部１２５］
変更理由記憶部１２５は、「復習モードアニメーション」について、変更前の操作メニューから変更後の操作メニューへ変更する際にユーザに明示すべき変更理由情報を蓄積する。仮メニュー動作部１２３は、復習モードアニメーションを表示する際に、変更される階層を表示する際に、変更理由記憶部１２５から取得した変更理由情報を、ディスプレイに更に表示する。
【００６８】
変更理由情報は、操作メニューの階層構成における階層位置情報と、変更理由テキストとを対応付けて記憶している。これによって、ユーザは、何故そのような変更が施されることとなったのかを知ることができる。例えば、以下のような変更理由のテンプレートが表示される。
「この操作項目は、１週間で１０回操作されています。」（図４参照）
「この操作項目は、１日に１回操作されています。」
「この操作階層では、いつも迷われています。」
尚、操作階層で迷っているか否かは、タッチパネルディスプレイから次の選択までの時間間隔が所定閾値よりも長い場合であってもよい。また、その操作階層で、操作項目以外の項目（例えばヘルプ等）を操作して、次の操作項目を直ぐに選択しない場合もある。
【００６９】
［メニュー更新部１２６］
メニュー更新部１２６は、仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、仮メニューを操作メニューに反映する。ここでは、メニュー更新部１２６は、仮メニューへの変更の可否をユーザ操作によって選択させる際に、アバターを用いたダイアログ（対話形式）を表示するものであってもよい。「変更可」が選択された場合、メニュー更新部１２６は、操作メニュー記憶部１１１に対して、仮メニューを操作メニューに反映する。
【００７０】
尚、変更前の操作メニューに戻すことができるユーザ所望の猶予時間を残すことも好ましい。仮メニューを操作メニューに反映した後、操作ログの記録状況によっては、新しい操作メニューに使い慣れていないと判断される場合もある。即ち、以前の操作メニューの方が良いと判断された場合には、元の操作メニューに戻せることが好ましい。一方で、「変更否」が選択された場合、現時点での変更は保留し、引き続き操作ログを記録し続ける。
【００７１】
以上、詳細に説明したように、本発明のユーザインタフェースプログラム、装置及び方法によれば、階層構成の操作メニューの変更を、ユーザに容易に認識させることができる。特に、本発明によれば、ユーザは、アプリケーションの操作にできる限り集中していないタイミングで、仮メニューを見ることによって操作メニューの変更を認識することができる。
【００７２】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００７３】
１ 操作装置、スマートフォン
１０ タッチパネルディスプレイ
１１１ 操作メニュー記憶部
１１２ アプリケーション処理部
１１３ 操作履歴記録部
１１４ 変更メニュー生成部
１１５ メニュー更新部
１２１ 仮メニュー生成部
１２２ 仮メニュー制御部
１２３ 仮メニュー動作部
１２４ 体験入力制御部
１２５ 変更理由記憶部
１２６ メニュー更新部
【技術分野】
【０００１】
本発明は、階層構成の操作メニューをディスプレイに表示し、ユーザに認識させるＧＵＩ(Graphic User Interface)の技術に関する。
【背景技術】
【０００２】
情報機器のディスプレイに表示されるユーザインタフェースの多くで、階層構成の操作メニューが採用されている。操作メニューとしては、例えば以下の３つのタイプがある。
（１）操作メニューの階層構成を、全く変更できないタイプ
（２）操作メニューの階層構成を、ユーザが自らカスタマイズすることができるタイプ
（３）操作メニューの階層構成を、ユーザの利用状況に応じて自動的に変更するタイプ
【０００３】
ここで、タイプ（３）の場合、操作メニューの階層構成が自動的に変更されるために、ユーザが、所望の項目を見失うという課題がある。
【０００４】
この課題に対して、元の操作メニューの階層構成と、利用状況に応じて構築された操作メニューの階層構成とを併用させる技術がある（例えば特許文献１参照）。この技術によれば、更新された操作メニューであっても、ユーザは、所望の項目を見付けやすくなる。具体的には、アプリケーションの初期実行時に構築されていた元の操作メニューから、ユーザによって所定回数以上実行された下位層の操作ツリー（経路）のみを検出する。その下位の操作ツリーを、元の操作メニューのルートに接続する。これによって、ユーザは、ルートから直ぐに下位の操作ツリーへ移行することができる。これによって、元の操作メニューにおける操作ツリーを維持しつつ、過剰なメニューの入れ替えを回避することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１４０３３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術によれば、更新された操作メニュー自体が、ユーザの利用状況に適したものであっても、ユーザの意向に関係なく階層構成が変更される。例えばユーザの利用状況に基づいて操作項目をソートする場合がある。このソートは、例えば利用回数、名前、利用日時などに基づいて実行される。その結果、ユーザは、それまで記憶していた操作メニューの階層構成とは異なるために、所望の項目の位置を見失うことなる。
【０００７】
また、特許文献１に記載された技術によれば、ユーザにおける操作メニューの所定項目の利用回数が変化する毎に、自動的に操作メニューの階層構成が変更される。結局、ユーザは、操作メニューにおける所望の項目の位置を見失うこととなる。また、元の操作メニューのルートに、下位の操作ツリーを接続するために、同一の項目に対する経路が２つ存在することとなる。これは、ユーザ操作の視点から紛らわしい場合がある。
【０００８】
更に、例えば操作メニューの項目をソートする際に、例えば「名前順でソーティングします。よろしいですか？」といった質問と、「Ｙｅｓ／Ｎｏ」の選択肢とからなるダイアログを、ディスプレイに表示する場合がある。この場合、利用者が、「Ｙｅｓ」と回答した場合にのみ、操作メニューの階層構成が変更される。しかし、元の操作メニューのルートに、下位の操作ツリーを接続する場合、このようなダイアログで、ユーザに認識させることはできない。
【０００９】
そこで、本発明は、階層構成の操作メニューの変更を、ユーザに容易に認識させることができるユーザインタフェースプログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明によれば、階層構成の操作メニューをディスプレイに表示する操作装置に搭載されたコンピュータを機能させるユーザインタフェースプログラムにおいて、
当該ユーザにおける操作メニューの上位から下位への操作ログを記録する操作履歴記録手段と、
操作ログに基づいて操作メニューの階層構成を変更した仮メニューを生成する仮メニュー生成手段と、
起動しているアプリケーションに対するユーザの注目余裕度に応じて、仮メニューをディスプレイに明示すべき時点を判定する仮メニュー制御手段と、
仮メニュー制御手段によって明示すべきと判定された時点で、仮メニューをディスプレイに明示する仮メニュー動作手段と、
仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、仮メニューを操作メニューに反映するメニュー更新手段と
してコンピュータを機能させることを特徴とする。
【００１１】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
仮メニュー生成手段は、
変更前メニューにおける階層順の操作過程を、アニメーションによって仮想的な指の画像を順次移動させて重畳表示する復習モードアニメーションと、
仮メニューにおける階層順の操作過程を、アニメーションによって仮想的な指の画像を順次移動させて重畳表示する学習モードアニメーションと
を更に生成し、
仮メニュー動作手段は、ディスプレイに、復習モードアニメーションと学習モードアニメーションとを表示する
ようにコンピュータを更に機能させるものであってもよい。
【００１２】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
ディスプレイは、タッチパネルディスプレイによって構成されており、
学習モードアニメーションについて、上位層から下位層へ操作項目が移動する毎に、当該ユーザの指が、アニメーションに基づく当該仮想的な指の画像に接触した場合に、次の下位層を表示するように仮メニュー動作手段を制御する体験入力制御手段を更に有する
ようにコンピュータを更に機能させるものであってもよい。
【００１３】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
復習モードアニメーションについて、変更前メニューから仮メニューへ変更する際に、ユーザに明示すべき変更理由情報を蓄積した変更理由記憶手段を更に有し、
仮メニュー動作手段は、復習モードアニメーションを表示する際に、変更される階層を表示する際に、変更理由記憶手段から取得した変更理由情報を、ディスプレイに更に表示する
ようにコンピュータを更に機能させるものであってもよい。
【００１４】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
アプリケーション毎に、ユーザが集中する必要性が高い「集中型」か、又は、ユーザが集中する必要性が低い「非集中型」かが予め規定されており、
仮メニュー制御手段は、
（設定１）集中型／非集中型の全てのアプリケーションについて、ユーザ操作によって、終了状態から起動状態へ遷移した際、「注目余裕度＝０」に設定し、
（設定２）集中型アプリケーションが起動中の際、「注目余裕度＝０」に設定し、
（設定３）非集中型アプリケーションについて、過去の状態遷移と同じか又は異なるかを表す状態遷移確率モデルによって、「注目余裕度」を設定し、
（設定４）集中型／非集中型の全てのアプリケーションについて、ユーザ操作によって、起動状態から終了状態へ遷移した際、「注目余裕度＝１」に設定する
ようにコンピュータを更に機能させるものであってもよい。
【００１５】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
仮メニュー制御手段は、設定３について、非集中型アプリケーションにおける状態遷移をＨＭＭ(Hidden
Markov Model)によって状態遷移確率モデルを算出し、ユーザ操作に基づく状態遷移の遷移確率の積Ｐを、注目余裕度として設定する
ようにコンピュータを更に機能させるものであってもよい。
【００１６】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
仮メニュー動作手段は、
ディスプレイの表示領域を、２つに分割し、
一方の表示領域には、復習モードアニメーションを再生し、
他方の表示領域には、学習モードアニメーションを再生する
ようにコンピュータを更に機能させるものであってもよい。
【００１７】
本発明のユーザインタフェースプログラムにおける他の実施形態によれば、
メニュー更新手段は、仮メニューへの変更の可否をユーザ操作によって選択させる際に、アバターを用いたダイアログを表示するようにコンピュータを更に機能させるものであってもよい。
【００１８】
本発明によれば、階層構成の操作メニューをディスプレイに表示する操作装置において、
当該ユーザにおける操作メニューの上位から下位への操作ログを記録する操作履歴記録手段と、
操作ログに基づいて操作メニューの階層構成を変更した仮メニューを生成する仮メニュー生成手段と、
起動しているアプリケーションに対するユーザの注目余裕度に応じて、仮メニューをディスプレイに明示すべき時点を判定する仮メニュー制御手段と、
仮メニュー制御手段によって明示すべきと判定された時点で、仮メニューをディスプレイに明示する仮メニュー動作手段と、
仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、仮メニューを操作メニューに反映するメニュー更新手段と
を有することを特徴とする。
【００１９】
本発明によれば、階層構成の操作メニューをディスプレイに表示する操作装置を用いたユーザ操作方法において、
当該ユーザにおける操作メニューの上位から下位への操作ログを記録する操作履歴記録部を有し、
操作ログに基づいて操作メニューの階層構成を変更した仮メニューを生成する第１のステップと、
起動しているアプリケーションに対するユーザの注目余裕度に応じて、仮メニューをディスプレイに明示すべき時点を判定する第２のステップと、
仮メニュー制御手段によって明示すべきと判定された時点で、仮メニューをディスプレイに明示する第３のステップと、
仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、仮メニューを操作メニューに反映する第４のステップと
を有することを特徴とする。
【発明の効果】
【００２０】
本発明のユーザインタフェースプログラム、装置及び方法によれば、階層構成の操作メニューの変更を、ユーザに容易に認識させることができる。特に、本発明によれば、ユーザは、アプリケーションの操作にできる限り集中していないタイミングで、仮メニューを見ることによって操作メニューの変更を認識することができる。
【図面の簡単な説明】
【００２１】
【図１】操作メニューがディスプレイに表示されたユーザインタフェース画面である。
【図２】階層構成の操作メニューを表す説明図である。
【図３】本発明におけるユーザインタフェースプログラムの機能構成図である。
【図４】復習モードアニメーションを表す説明図である。
【図５】学習モードアニメーションを表す説明図である。
【図６】アプリケーションにおける状態遷移を表す説明図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２３】
図１は、操作メニューがディスプレイに表示されたユーザインタフェース画面である。
【００２４】
図１によれば、操作装置１は、例えばスマートフォンであって、ディスプレイ１０は、例えばタッチパネルディスプレイである。タッチパネルディスプレイは、ユーザに視認させるディスプレイとしての機能と、ユーザの指の接触に基づく入力インタフェースとしての機能との両方を備える。
【００２５】
また、図１によれば、ユーザの指の接触によって操作メニューが変化していることが理解できる。操作メニューは、階層状に構成されており、上位の操作項目から順に、下位の操作項目へ向かって表示される。ユーザは、タッチパネルディスプレイ１０に表示された操作メニューにおけるいずれか１つの操作項目を指で接触する。
【００２６】
本発明の対象となる操作メニューは、少なくとも２段階以上の階層構成を有する。即ち、第１の操作項目を選択した場合、次に、その操作項目に従属する第２の操作項目の一覧が表示されるものである。一方で、操作メニューの表示構成としては、様々な実施形態がある。例えば、操作メニューが、上下左右の４方向のボタンで表示されるものであってもよい。
【００２７】
図２は、階層構成の操作メニューを表す説明図である。
【００２８】
図２（ａ）によれば、変更前の操作メニューの階層構成の例を表す。この場合、所望の操作項目「メロディ」へ到達するまでに、ユーザは、５回の操作を必要とする。
【００２９】
一方で、図２（ｂ）によれば、変更後の操作メニューの階層構成の例を表す。この場合、所望の操作項目「メロディ」へ到達するまでに、ユーザは、２回の操作しか必要としない。このように、操作メニューの階層構成を、ユーザの利用状況に応じて自動的に変更することができる（従来技術におけるタイプ（３）と同様）。即ち、本発明は、変更後の操作メニューをユーザに認識させるために必要となるものである。
【００３０】
図３は、本発明におけるユーザインタフェースプログラムの機能構成図である。
【００３１】
図３によれば、操作装置１は、タッチパネルディスプレイ１０と、操作メニュー記憶部１１１と、アプリケーション処理部１１２と、操作履歴記録部１１３とを有する。また、操作装置１は、仮メニュー生成部１２１と、仮メニュー制御部１２２と、仮メニュー動作部１２３と、体験入力制御部１２４と、変更理由記憶部１２５と、メニュー更新部１２６とを有する。タッチパネルディスプレイを除くこれら機能構成部は、操作装置１に搭載されたコンピュータを機能させるプログラムを実行させることによって実現できる。更に、これら機能部の処理の流れは、ユーザ操作方法としても理解できる。
【００３２】
操作メニュー記憶部１１１は、初期設定に基づく操作メニューの階層構成を記憶すると共に、その後に変更された操作メニューの階層構成を記憶する。
【００３３】
アプリケーション処理部１１２は、タッチパネルディスプレイ１０を介して、ユーザ操作に応じたアプリケーションを実行する。アプリケーションの実行状態（終了状態／起動状態）は、仮メニュー制御部１２２へ出力される。
【００３４】
操作履歴記録部１１３は、タッチパネルディスプレイ１０を介して、当該ユーザにおける操作メニューの上位から下位への操作ログを記録する。操作履歴記録部１１３は、階層構成の操作メニューに対して、ルート（最上位層の操作項目）からリーフ（階層構成の下位層）に向けて、ユーザによって選択された項目を、時刻と共に記憶する。これは、操作項目の遷移を１つのシーケンスとして記録する。そのために、操作ログは、ユーザの指がタッチパネルディスプレイに接触する毎に、記録される。前述した図２によれば、「機能設定」->「音/バイブ/ランプ」->「着信設定」->「Ｅメール受信」->「メロディ」の遷移を記録する。但し、このシーケンスは、「機能設定」から「メロディ」まで、最短で到達した場合のものである。もし、途中で項目の選択に迷ったり、間違えたりすることによって、下位階層から上位階層に戻った場合であっても、操作履歴記録部１１３はそのとおりに記録する。
【００３５】
また、操作履歴記録部１１３は、起動中のアプリケーションに対して、ユーザが入力した操作回数及び利用時間を記録することも好ましい。アプリケーション毎の操作回数及び利用時間は、後述する仮メニュー制御部１２２によって、アプリケーションの「集中型／非集中型」に基づく注目余裕度を算出するために用いられる。
【００３６】
更に、操作履歴記録部１１３は、タッチパネルディスプレイにおける接触座標位置を記録することも好ましい。この場合、メモリサイズの制限や処理量の制限の観点から、操作メニューの操作項目における重心を、指の接触座標位置とするものであってもよい。
【００３７】
［仮メニュー生成部１２１］
仮メニュー生成部１２１は、操作ログに基づいて操作メニューの階層構成を変更した変更後メニューに対する仮メニューを生成する。変更後メニュー自体は、従来技術と同様に、現在の操作メニューから、例えばユーザが頻繁に利用している操作項目を、ルートに近い部分に配置するものであってもよい。即ち、従来技術における前述したタイプ（３）のように、仮メニューは、ユーザの利用状況に応じて操作メニューの階層構成を自動的に変更したものであればよい。仮メニューによって、操作メニューに対するユーザの操作回数を減らすことができる。
【００３８】
「仮メニュー」とは、変更後メニューを反映する前に、仮に作成したメニューであって、ユーザに学習させるためのものである。本発明によれば、ユーザが、仮メニューに基づく階層構成を認識した後、変更後メニューを操作メニューに反映する。
【００３９】
仮メニューは、例えばアニメーションによって構成されたFlash（登録商標）ファイル(拡張子：.swf)であることが好ましい。「Flash」とは、Macromedia社（現在のAdobe社）が開発した、音声やベクターグラフィックス（頂点とそれを結ぶ曲線の方程式のパラメータ）のアニメーションを組み合わせてＷｅｂコンテンツを作成することができるソフトウェアである。このFlashコンテンツは、Flashプレーヤというプラグインソフト（無償）を用いて再生される。「Flash」は、ベクターグラフィックスであるので、ファイルサイズが小さく、実用に耐えるアニメーションツールとして、広く普及している。尚、三次元アニメーションを作成するソフトウェアとしては、Shockwave（登録商標）コンテンツがある。
【００４０】
階層構成の操作項目におけるテキストファイルを、自動的にFlashファイルに組み込むこともできる。Flashファイルは、対話的な操作を実現するActionScript（登録商標）によって記述される。ActionScriptとは、オブジェクトに対する操作への挙動を記述する、プロトタイプベースのオブジェクト指向処理系である。具体的には、例えば「ボタンアクション」を記述することができる。操作項目のテキストファイルと、ベースとなるFlashコンテンツとの間に、インタフェースとしてのActionScriptを介在させることによって、できる限り自動的に、階層構成の仮メニューのFlashコンテンツを生成することができる。
【００４１】
仮メニュー生成部１２１は、「復習モードアニメーション」と「学習モードアニメーション」とを生成する。これらアニメーションは、仮メニュー動作部１２３へ出力される。
【００４２】
「復習モードアニメーション」は、変更前メニューにおける階層順の操作過程を、仮想的な指の画像を順次移動させて重畳表示するアニメーションをいう。尚、変更のポイントとなる項目にマークを付けて、ユーザに明示することも好ましい。
【００４３】
「学習モードアニメーション」は、仮メニューにおける階層順の操作過程を、アニメーションによって仮想的な指の画像を順次移動させて重畳表示するアニメーションをいう。
【００４４】
図４は、復習モードアニメーションを表す説明図である。図４によれば、復習モードアニメーションは、変更前の操作メニューにおける操作項目の流れと、その指の位置とが表されている。
【００４５】
図５は、学習モードアニメーションを表す説明図である。図５によれば、学習モードアニメーションは、変更後の操作メニューにおける操作項目の流れと、その指の位置とが表されている。
【００４６】
［仮メニュー制御部１２２］
仮メニュー制御部１２２は、起動しているアプリケーションに対するユーザの注目余裕度に応じて、仮メニューをディスプレイに明示すべき時点を判定する。
【００４７】
ユーザに仮メニューを認識させるタイミングは、重要な問題である。即ち、ユーザの操作を邪魔しないように、仮メニューをユーザに明示する必要がある。仮メニュー制御部１２２は、仮メニューを明示する適切なタイミングを判定する。
【００４８】
本来、操作メニューの階層構成を変更すべき際に、直ぐのタイミングで、仮メニューをディスプレイに明示し、ユーザに視認させることが好ましい。しかしながら、ユーザが操作端末１で現に起動しているアプリケーションに集中している最中に、仮メニューを明示することは好ましくない。なぜなら、ユーザは、仮メニューの明示自体を、直ぐにキャンセルしてしまう恐れがあるからである。従って、ユーザにとって、ある程度の余裕が有る際に、仮メニューを明示することが好ましい。
【００４９】
例えば以下のような場合には、ユーザに仮メニューを明示するタイミングであると考えられる。
（１）ユーザに対して集中度を必要としないアプリケーションが現に起動している場合に、仮メニューを明示する。即ち、ユーザに余裕が有る際に、仮メニューを明示する。
（２）アプリケーションが終了された時に、仮メニューを明示する。アプリケーションを終了した直後は、ユーザにとってある程度の気持ちの余裕があるといえる。
（３）スマートフォンに待ち受け画面が明示されている場合に、仮メニューを明示する。
【００５０】
一方で、例えば以下のような場合には、ユーザに仮メニューを明示しない。
（１）ユーザによってスマートフォンが操作されていないときには、仮メニューを明示しない。
（２）ユーザに対して高い集中度を必要とするアプリケーションが現に起動している場合には、仮メニューを明示しない。即ち、ユーザに余裕が無い場合には、仮メニューを明示しない。
【００５１】
ここで、操作メニューの階層構成を変更する際に、ユーザがその仮メニューの閲覧を受け入れると推測される確率「注目余裕度」（０〜１）を算出する。注目余裕度が高いほど（１に近いほど）、ユーザに仮メニューを明示すべきと判定する。そして、注目余裕度の値が、所定閾値以上の場合に、仮メニューを明示すると決定する。逆に、注目余裕度が低い場合に仮メニューを明示しても、その仮メニューの動作をキャンセルされる確率が高い。
【００５２】
「注目余裕度」は、アプリケーション毎に含まれるプロファイルデータとして「集中型／非集中型」のタイプに応じて決定されるものであってもよい。
（１）「集中型」 ：ユーザの集中度を必要とするアプリケーション
（２）「非集中型」：ユーザの集中度を必要としないアプリケーション
例えば、メールやゲームのようなアプリケーションは「集中型」に分類され、時計表示やＷｅｂ閲覧は「非集中型」に分類される。この分類は、アプリケーションの配布者によって又はアプリケーション種別に応じて、予め決定されている。
【００５３】
更に、操作履歴記録部１１３に記録された操作ログを参照し、アプリケーション毎にその起動から終了までに、ユーザが入力した操作回数及び利用時間に基づいて、「集中型／非集中型」を判定するものであってもよい。例えば、利用時間の単位時間（例えば１分）あたり、操作回数が一定閾値（例えば６０回）以上であった場合、「集中型」と判定し、それ未満であった場合、「非集中型」と判定する。
【００５４】
また、メールのようなアプリケーションの場合、受信メール閲覧中と送信メール作成中とでは、操作頻度が大きく異なる。そのような場合、メールアプリケーションに付随するプロファイルデータにおけるその操作頻度を変更することも好ましい。操作頻度が所定閾値以上の場合、「集中型」と判定し、それ未満である場合、「非集中型」と判定する。
【００５５】
「集中型／非集中型」に基づいて、具体的に以下のように、「注目余裕度」を設定する。
（設定１）集中型／非集中型の全てのアプリケーションについて、ユーザ操作によって、終了状態から起動状態へ遷移した際、「注目余裕度＝０」に設定する。
（設定２）集中型アプリケーションが起動中の際、「注目余裕度＝０」に設定する。
（設定３）非集中型アプリケーションについて、過去の状態遷移と同じか又は異なるかを表す状態遷移確率モデルによって、「注目余裕度」を設定する。
（設定４）集中型／非集中型の全てのアプリケーションについて、ユーザ操作によって、起動状態から終了状態へ遷移した際、「注目余裕度＝１」に設定する。
【００５６】
前述した設定３における、状態遷移確率モデルに基づく「注目余裕度」について説明する。状態遷移確率モデルは、非集中型アプリケーションにおける状態遷移をＨＭＭ(Hidden Markov Model)によって算出され、ユーザ操作に基づく状態遷移の遷移確率の積Ｐを、注目余裕度として設定する。
【００５７】
「注目余裕度」は、当該ユーザにとって過去の操作履歴と複数回同じ操作をしているアプリケーションについては、非集中型に近い値となり、当該ユーザにとって過去の操作履歴と異なる操作をしているアプリケーションについては、集中型に近い値とする。そのために、アプリケーション毎の注目余裕度は、当該ユーザの操作履歴に基づいて変更される。
【００５８】
操作履歴記憶部１１３は、アプリケーション毎の操作ログとして、操作内容及び操作時刻を更に含むものであってもよい。一連の操作内容を、ユーザ操作シーケンスとして、ＨＭＭ(Hidden Markov Model)に基づいてモデル化する。即ち、あるアプリケーションについて、その起動から終了するまでに複数種類の状態が存在しており、第１の状態のとき、ある操作によって第２の状態に遷移すると考える。このとき、操作ログに基づいて、第１の状態から、第２の状態への遷移する場合における「確率値」を算出することができる。
【００５９】
図６は、アプリケーションにおける状態遷移を表す説明図である。
【００６０】
例えば、状態０から、他の状態１及び状態２へ遷移することが、操作ログに記録されているとする。
状態０->状態１の遷移回数：Ｎ０１回
状態０->状態２の遷移回数：Ｎ０２回
合計遷移回数：Ｎ＝Ｎ０１＋Ｎ０２
状態０->状態１への遷移確率：Ｐ０１＝Ｎ０１／Ｎ
状態０->状態２への遷移確率：Ｐ０２＝Ｎ０２／Ｎ
アプリケーション毎に、起動から終了までの間の状態遷移確率モデルを作成する。
【００６１】
あるアプリケーションについて起動から終了まで、実際に、ユーザによって操作された場合、状態遷移確率モデルを用いて、遷移確率の積Ｐを算出する。ここで、Ｐ値には、以下の特性がある。
（１）いつも辿るユーザ操作シーケンスである場合は、Ｐ値が大きくなる。
（２）いつもとは異なるユーザ操作シーケンスである場合は、Ｐ値は小さくなる。
【００６２】
そこで、このときのＰ値を、「注目余裕度」に設定する。図６によれば、起動直後０->状態２->状態５->状態８を辿った場合、Ｐ０２５８値＝Ｐ０１×Ｐ１２×Ｐ２５×Ｐ５８となる。
【００６３】
仮メニュー制御部１２２は、前述した注目余裕度に基づいて、ユーザに対して仮メニューを明示するタイミングであると決定した際に、その旨を、仮メニュー動作部１２３へ指示する。これによって、仮メニュー動作部１２３は、仮メニューをユーザに明示する適切なタイミングを知ることができる。
【００６４】
［仮メニュー動作部１２３］
仮メニュー動作部１２３は、仮メニュー制御部１２２によって明示すべきと判定された時点で、仮メニューをディスプレイに明示する。仮メニューとして、少なくとも「学習モードアニメーション」を再生する（図５参照）。また、その前段階として、「復習モードアニメーション」を再生するものであってもよい（図４参照）。更に、仮メニュー動作部１２３は、ディスプレイの表示領域を、２つに分割し、一方の表示領域には、「学習モードアニメーション」を再生し、他方の表示領域には、「復習モードアニメーション」を再生することも好ましい。ユーザは、２つのアニメーションを同時に閲覧することによって、短時間で且つその変更の違いを認識することができる。
【００６５】
尚、仮メニューを動作させることをユーザに知らせるために、例えば、音を再生するか、又は、バイブレーションを起動するように、操作装置が制御されるものであってもよい。
【００６６】
［体験入力制御部１２４］
体験入力制御部１２４は、「学習モードアニメーション」について、上位層から下位層へ操作項目が移動する毎に、当該ユーザの指が、アニメーションに基づく当該仮想的な指の画像に接触した場合に、次の下位層を表示するように仮メニュー動作部１２３を制御する。ユーザは、実際に、変更後の操作メニューに指を接触させることによって、疑似体験的に、変更後の操作メニューを認識することができる。
【００６７】
［変更理由記憶部１２５］
変更理由記憶部１２５は、「復習モードアニメーション」について、変更前の操作メニューから変更後の操作メニューへ変更する際にユーザに明示すべき変更理由情報を蓄積する。仮メニュー動作部１２３は、復習モードアニメーションを表示する際に、変更される階層を表示する際に、変更理由記憶部１２５から取得した変更理由情報を、ディスプレイに更に表示する。
【００６８】
変更理由情報は、操作メニューの階層構成における階層位置情報と、変更理由テキストとを対応付けて記憶している。これによって、ユーザは、何故そのような変更が施されることとなったのかを知ることができる。例えば、以下のような変更理由のテンプレートが表示される。
「この操作項目は、１週間で１０回操作されています。」（図４参照）
「この操作項目は、１日に１回操作されています。」
「この操作階層では、いつも迷われています。」
尚、操作階層で迷っているか否かは、タッチパネルディスプレイから次の選択までの時間間隔が所定閾値よりも長い場合であってもよい。また、その操作階層で、操作項目以外の項目（例えばヘルプ等）を操作して、次の操作項目を直ぐに選択しない場合もある。
【００６９】
［メニュー更新部１２６］
メニュー更新部１２６は、仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、仮メニューを操作メニューに反映する。ここでは、メニュー更新部１２６は、仮メニューへの変更の可否をユーザ操作によって選択させる際に、アバターを用いたダイアログ（対話形式）を表示するものであってもよい。「変更可」が選択された場合、メニュー更新部１２６は、操作メニュー記憶部１１１に対して、仮メニューを操作メニューに反映する。
【００７０】
尚、変更前の操作メニューに戻すことができるユーザ所望の猶予時間を残すことも好ましい。仮メニューを操作メニューに反映した後、操作ログの記録状況によっては、新しい操作メニューに使い慣れていないと判断される場合もある。即ち、以前の操作メニューの方が良いと判断された場合には、元の操作メニューに戻せることが好ましい。一方で、「変更否」が選択された場合、現時点での変更は保留し、引き続き操作ログを記録し続ける。
【００７１】
以上、詳細に説明したように、本発明のユーザインタフェースプログラム、装置及び方法によれば、階層構成の操作メニューの変更を、ユーザに容易に認識させることができる。特に、本発明によれば、ユーザは、アプリケーションの操作にできる限り集中していないタイミングで、仮メニューを見ることによって操作メニューの変更を認識することができる。
【００７２】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００７３】
１ 操作装置、スマートフォン
１０ タッチパネルディスプレイ
１１１ 操作メニュー記憶部
１１２ アプリケーション処理部
１１３ 操作履歴記録部
１１４ 変更メニュー生成部
１１５ メニュー更新部
１２１ 仮メニュー生成部
１２２ 仮メニュー制御部
１２３ 仮メニュー動作部
１２４ 体験入力制御部
１２５ 変更理由記憶部
１２６ メニュー更新部
【特許請求の範囲】
【請求項１】
階層構成の操作メニューをディスプレイに表示する操作装置に搭載されたコンピュータを機能させるユーザインタフェースプログラムにおいて、
当該ユーザにおける前記操作メニューの上位から下位への操作ログを記録する操作履歴記録手段と、
前記操作ログに基づいて前記操作メニューの階層構成を変更した仮メニューを生成する仮メニュー生成手段と、
起動しているアプリケーションに対するユーザの注目余裕度に応じて、前記仮メニューをディスプレイに明示すべき時点を判定する仮メニュー制御手段と、
前記仮メニュー制御手段によって明示すべきと判定された時点で、前記仮メニューをディスプレイに明示する仮メニュー動作手段と、
前記仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、前記仮メニューを前記操作メニューに反映するメニュー更新手段と
してコンピュータを機能させることを特徴とするユーザインタフェースプログラム。
【請求項２】
前記仮メニュー生成手段は、
前記変更前メニューにおける階層順の操作過程を、アニメーションによって仮想的な指の画像を順次移動させて重畳表示する復習モードアニメーションと、
前記仮メニューにおける階層順の操作過程を、アニメーションによって仮想的な指の画像を順次移動させて重畳表示する学習モードアニメーションと
を更に生成し、
前記仮メニュー動作手段は、前記ディスプレイに、前記復習モードアニメーションと前記学習モードアニメーションとを表示する
ようにコンピュータを更に機能させることを特徴とする請求項１に記載のユーザインタフェースプログラム。
【請求項３】
前記ディスプレイは、タッチパネルディスプレイによって構成されており、
前記学習モードアニメーションについて、上位層から下位層へ操作項目が移動する毎に、当該ユーザの指が、前記アニメーションに基づく当該仮想的な指の画像に接触した場合に、次の下位層を表示するように前記仮メニュー動作手段を制御する体験入力制御手段を更に有する
ようにコンピュータを更に機能させることを特徴とする請求項２に記載のユーザインタフェースプログラム。
【請求項４】
前記復習モードアニメーションについて、変更前メニューから仮メニューへ変更する際に、ユーザに明示すべき変更理由情報を蓄積した変更理由記憶手段を更に有し、
前記仮メニュー動作手段は、前記復習モードアニメーションを表示する際に、変更される階層を表示する際に、前記変更理由記憶手段から取得した前記変更理由情報を、前記ディスプレイに更に表示する
ようにコンピュータを更に機能させることを特徴とする請求項２又は３に記載のユーザインタフェースプログラム。
【請求項５】
アプリケーション毎に、ユーザが集中する必要性が高い「集中型」か、又は、ユーザが集中する必要性が低い「非集中型」かが予め規定されており、
前記仮メニュー制御手段は、
（設定１）集中型／非集中型の全てのアプリケーションについて、ユーザ操作によって、終了状態から起動状態へ遷移した際、「注目余裕度＝０」に設定し、
（設定２）集中型アプリケーションが起動中の際、「注目余裕度＝０」に設定し、
（設定３）非集中型アプリケーションについて、過去の状態遷移と同じか又は異なるかを表す状態遷移確率モデルによって、「注目余裕度」を設定し、
（設定４）集中型／非集中型の全てのアプリケーションについて、ユーザ操作によって、起動状態から終了状態へ遷移した際、「注目余裕度＝１」に設定する
ようにコンピュータを更に機能させることを特徴とする請求項１から４のいずれか１項に記載のユーザインタフェースプログラム。
【請求項６】
前記仮メニュー制御手段は、設定３について、前記非集中型アプリケーションにおける状態遷移をＨＭＭ(Hidden Markov Model)によって状態遷移確率モデルを算出し、ユーザ操作に基づく状態遷移の遷移確率の積Ｐを、前記注目余裕度として設定する
ようにコンピュータを更に機能させることを特徴とする請求項５に記載のユーザインタフェースプログラム。
【請求項７】
前記仮メニュー動作手段は、
前記ディスプレイの表示領域を、２つに分割し、
一方の表示領域には、前記復習モードアニメーションを再生し、
他方の表示領域には、前記学習モードアニメーションを再生する
ようにコンピュータを更に機能させることを特徴とする請求項１から６のいずれか１項に記載のユーザインタフェースプログラム。
【請求項８】
前記メニュー更新手段は、前記仮メニューへの変更の可否をユーザ操作によって選択させる際に、アバターを用いたダイアログを表示するようにコンピュータを機能させることを特徴とする請求項１から７のいずれか１項に記載のユーザインタフェースプログラム。
【請求項９】
階層構成の操作メニューをディスプレイに表示する操作装置において、
当該ユーザにおける前記操作メニューの上位から下位への操作ログを記録する操作履歴記録手段と、
前記操作ログに基づいて前記操作メニューの階層構成を変更した仮メニューを生成する仮メニュー生成手段と、
起動しているアプリケーションに対するユーザの注目余裕度に応じて、前記仮メニューをディスプレイに明示すべき時点を判定する仮メニュー制御手段と、
前記仮メニュー制御手段によって明示すべきと判定された時点で、前記仮メニューをディスプレイに明示する仮メニュー動作手段と、
前記仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、前記仮メニューを前記操作メニューに反映するメニュー更新手段と
を有することを特徴とする操作装置。
【請求項１０】
階層構成の操作メニューをディスプレイに表示する操作装置を用いたユーザ操作方法において、
当該ユーザにおける前記操作メニューの上位から下位への操作ログを記録する操作履歴記録部を有し、
前記操作ログに基づいて前記操作メニューの階層構成を変更した仮メニューを生成する第１のステップと、
起動しているアプリケーションに対するユーザの注目余裕度に応じて、前記仮メニューをディスプレイに明示すべき時点を判定する第２のステップと、
前記仮メニュー制御手段によって明示すべきと判定された時点で、前記仮メニューをディスプレイに明示する第３のステップと、
前記仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、前記仮メニューを前記操作メニューに反映する第４のステップと
を有することを特徴とするユーザ操作方法。
【請求項１】
階層構成の操作メニューをディスプレイに表示する操作装置に搭載されたコンピュータを機能させるユーザインタフェースプログラムにおいて、
当該ユーザにおける前記操作メニューの上位から下位への操作ログを記録する操作履歴記録手段と、
前記操作ログに基づいて前記操作メニューの階層構成を変更した仮メニューを生成する仮メニュー生成手段と、
起動しているアプリケーションに対するユーザの注目余裕度に応じて、前記仮メニューをディスプレイに明示すべき時点を判定する仮メニュー制御手段と、
前記仮メニュー制御手段によって明示すべきと判定された時点で、前記仮メニューをディスプレイに明示する仮メニュー動作手段と、
前記仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、前記仮メニューを前記操作メニューに反映するメニュー更新手段と
してコンピュータを機能させることを特徴とするユーザインタフェースプログラム。
【請求項２】
前記仮メニュー生成手段は、
前記変更前メニューにおける階層順の操作過程を、アニメーションによって仮想的な指の画像を順次移動させて重畳表示する復習モードアニメーションと、
前記仮メニューにおける階層順の操作過程を、アニメーションによって仮想的な指の画像を順次移動させて重畳表示する学習モードアニメーションと
を更に生成し、
前記仮メニュー動作手段は、前記ディスプレイに、前記復習モードアニメーションと前記学習モードアニメーションとを表示する
ようにコンピュータを更に機能させることを特徴とする請求項１に記載のユーザインタフェースプログラム。
【請求項３】
前記ディスプレイは、タッチパネルディスプレイによって構成されており、
前記学習モードアニメーションについて、上位層から下位層へ操作項目が移動する毎に、当該ユーザの指が、前記アニメーションに基づく当該仮想的な指の画像に接触した場合に、次の下位層を表示するように前記仮メニュー動作手段を制御する体験入力制御手段を更に有する
ようにコンピュータを更に機能させることを特徴とする請求項２に記載のユーザインタフェースプログラム。
【請求項４】
前記復習モードアニメーションについて、変更前メニューから仮メニューへ変更する際に、ユーザに明示すべき変更理由情報を蓄積した変更理由記憶手段を更に有し、
前記仮メニュー動作手段は、前記復習モードアニメーションを表示する際に、変更される階層を表示する際に、前記変更理由記憶手段から取得した前記変更理由情報を、前記ディスプレイに更に表示する
ようにコンピュータを更に機能させることを特徴とする請求項２又は３に記載のユーザインタフェースプログラム。
【請求項５】
アプリケーション毎に、ユーザが集中する必要性が高い「集中型」か、又は、ユーザが集中する必要性が低い「非集中型」かが予め規定されており、
前記仮メニュー制御手段は、
（設定１）集中型／非集中型の全てのアプリケーションについて、ユーザ操作によって、終了状態から起動状態へ遷移した際、「注目余裕度＝０」に設定し、
（設定２）集中型アプリケーションが起動中の際、「注目余裕度＝０」に設定し、
（設定３）非集中型アプリケーションについて、過去の状態遷移と同じか又は異なるかを表す状態遷移確率モデルによって、「注目余裕度」を設定し、
（設定４）集中型／非集中型の全てのアプリケーションについて、ユーザ操作によって、起動状態から終了状態へ遷移した際、「注目余裕度＝１」に設定する
ようにコンピュータを更に機能させることを特徴とする請求項１から４のいずれか１項に記載のユーザインタフェースプログラム。
【請求項６】
前記仮メニュー制御手段は、設定３について、前記非集中型アプリケーションにおける状態遷移をＨＭＭ(Hidden Markov Model)によって状態遷移確率モデルを算出し、ユーザ操作に基づく状態遷移の遷移確率の積Ｐを、前記注目余裕度として設定する
ようにコンピュータを更に機能させることを特徴とする請求項５に記載のユーザインタフェースプログラム。
【請求項７】
前記仮メニュー動作手段は、
前記ディスプレイの表示領域を、２つに分割し、
一方の表示領域には、前記復習モードアニメーションを再生し、
他方の表示領域には、前記学習モードアニメーションを再生する
ようにコンピュータを更に機能させることを特徴とする請求項１から６のいずれか１項に記載のユーザインタフェースプログラム。
【請求項８】
前記メニュー更新手段は、前記仮メニューへの変更の可否をユーザ操作によって選択させる際に、アバターを用いたダイアログを表示するようにコンピュータを機能させることを特徴とする請求項１から７のいずれか１項に記載のユーザインタフェースプログラム。
【請求項９】
階層構成の操作メニューをディスプレイに表示する操作装置において、
当該ユーザにおける前記操作メニューの上位から下位への操作ログを記録する操作履歴記録手段と、
前記操作ログに基づいて前記操作メニューの階層構成を変更した仮メニューを生成する仮メニュー生成手段と、
起動しているアプリケーションに対するユーザの注目余裕度に応じて、前記仮メニューをディスプレイに明示すべき時点を判定する仮メニュー制御手段と、
前記仮メニュー制御手段によって明示すべきと判定された時点で、前記仮メニューをディスプレイに明示する仮メニュー動作手段と、
前記仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、前記仮メニューを前記操作メニューに反映するメニュー更新手段と
を有することを特徴とする操作装置。
【請求項１０】
階層構成の操作メニューをディスプレイに表示する操作装置を用いたユーザ操作方法において、
当該ユーザにおける前記操作メニューの上位から下位への操作ログを記録する操作履歴記録部を有し、
前記操作ログに基づいて前記操作メニューの階層構成を変更した仮メニューを生成する第１のステップと、
起動しているアプリケーションに対するユーザの注目余裕度に応じて、前記仮メニューをディスプレイに明示すべき時点を判定する第２のステップと、
前記仮メニュー制御手段によって明示すべきと判定された時点で、前記仮メニューをディスプレイに明示する第３のステップと、
前記仮メニューへの変更の可否をユーザ操作によって選択させ、変更可の場合に、前記仮メニューを前記操作メニューに反映する第４のステップと
を有することを特徴とするユーザ操作方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２０３７３０（Ｐ２０１２−２０３７３０Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６８８８３（Ｐ２０１１−６８８８３）
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]