グラフィカルユーザインターフェイス装置
【課題】グラフィカルな方法で可視化されたデータの一部を、ユーザが直感的に選択・操作可能にする。
【解決手段】ユーザはマウス１０９を操作して、ポインタで第１表示領域１０１上の所望の位置をスキャンする。マウス移動記録部１０３は、そのスキャンした位置を記録する。ラベル抽出部１０５は、スキャンした位置に表示されたデータ（計量φ）のうち、上位の計量値を有するデータを所定個数だけ抽出して選択する。
【解決手段】ユーザはマウス１０９を操作して、ポインタで第１表示領域１０１上の所望の位置をスキャンする。マウス移動記録部１０３は、そのスキャンした位置を記録する。ラベル抽出部１０５は、スキャンした位置に表示されたデータ（計量φ）のうち、上位の計量値を有するデータを所定個数だけ抽出して選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データを表示・操作するためのグラフィカルユーザインターフェイス装置に関するものである。
【背景技術】
【０００２】
近年、社会や生活の基盤（いわゆる“インフラ”）には多くのセンサが組み込まれ、そのセンサから大量のデータが取得できるようになっている。また経済活動のオンライン化により、経済状況に関する大量のデータを蓄積することも可能となっている。こうした大量のデータの分析を効率的に行う目的で、各データに含まれる情報を計量化してグラフィカルに表示し、またその表示を操作する技術が提案されている（例えば、特許文献１および非特許文献１）。
【０００３】
グラフィカルに表示されたデータの一部を選択し、選択された部分のデータを異なる形式で別に表示させることにより、データの分析を可能にしたシステムが知られている。例えば特許文献１では、可視化したデータであるＣＴ画像上の各領域がどのような材料の領域であるかを予めデータ化しておき、ＣＴ画像の領域をマウス（ポインティングデバイス）等で選択することにより、選択された領域の材料の特徴を表すデータ画像が他の表示領域に表示される構成となっている。
【０００４】
また非特許文献１には、大量のデータを持つ表から必要な項目を選択して、縦軸と横軸を交差させた集計表を作成するクロス集計技術（ピボットテーブル）が開示されている。この技術では、複数の系列のデータをシステムに取り込み、二次元の表の縦軸・横軸のラベルとするデータをそれぞれ画面上で選択し、さらにその表の二次元空間上のグリッドに表示する計量を指定することによって、各系列のデータの関連性を可視化できる。
【０００５】
また非特許文献２では、グラフィカルな方法でデータを選択し、それを操作する手法の一例が示されている。非特許文献２において、選択したデータの処理は、データ選択画面あるいはその補助画面上で行われる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１２５３３１号公報
【非特許文献】
【０００７】
【非特許文献１】Excel 2007 のヘルプと使い方 “ピボットテーブル レポートのデータを選択する”、［online ］、Microsoft Corporation、［平成２３年２月１４日検索］、インターネット＜URL ：http://office.microsoft.com/ja-jp/excel-help/HP010167767.aspx＞
【非特許文献２】Photoshop CS5 ユーザーガイド “第７章：選択とマスク”、［online ］、Adobe Systems Incorporated、［平成２３年２月１４日検索］、インターネット＜http://help.adobe.com/ja_JP/photoshop/cs/using/WSfd1234e1c4b69f30ea53e41001031ab64-7700a.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１のようにグラフィカルに表示されたデータの一部を選択するシステムでは、ユーザが画面上のグラフィカルな表示を直接的に選択・操作できる機能が有効である。ユーザがデータの識別子（文字情報）を指定することによって行う間接的な選択・操作の方法もあるが、その方法では大量のデータを扱うには非効率的である。特許文献１では、ユーザが画面上のグラフィカルな表示を直接的に選択・操作可能であるが、その操作対象の選択が領域指定に限られるため柔軟性に欠ける。
【０００９】
また非特許文献１のクロス集計技術では、表の縦軸・横軸を操作するため任意のデータを選択することが可能であるが、データ選択は、ラベルの値を書き写す操作となるため、特許文献１のような操作の直感性が失われている。一方、非特許文献２ではグラフィカルな方法でデータの一部の選択を行うことが可能であるが、選択したデータを異なる形式で表示するなどしてデータの分析に用いられるものではない。
【００１０】
本発明は以上のような課題を解決するためになされたものであり、グラフィカルな方法で可視化されたデータの一部を、ユーザが直感的に選択・操作可能なグラフィカルユーザインターフェイス装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係るグラフィカルユーザインターフェイス装置は、二次元座標として表現したラベルに関連付けされたデータが、当該データのラベルに対応した位置に当該データの計量値に応じた態様で表示される第１表示部と、前記第１表示部上の位置を指定するポインタを制御するポインティングデバイスと、前記ポインタにより連続的に指定された一連の位置を記録する記録部と、前記記録部が記録した位置に対応するラベルのうちから、比較的上位の計量値を有するデータのラベルを抽出して選択するラベル抽出部とを備えるものである。
【発明の効果】
【００１２】
本発明によれば、ユーザは、三次元的な凹凸を有する表面の凸部を削り取る感覚でポインティングデバイスを直感的に操作することにより、局所的な特徴を有する部分の選択を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態１に係るグラフィカルユーザインターフェイス装置の構成を示すブロック図である。
【図２】実施の形態１に係るグラフィカルユーザインターフェイス装置の動作を示すフローチャートである。
【図３】実施の形態１における第１表示領域の表示例を示す図である。
【図４】実施の形態１における第２表示領域の表示例を示す図である。
【図５】実施の形態２に係るグラフィカルユーザインターフェイス装置の構成を示すブロック図である。
【図６】実施の形態３における第２表示領域の表示例を示す図である。
【図７】本発明に係るグラフィカルユーザインターフェイス装置の適用例である実施の形態４に係るデータ管理システムの構成図である。
【図８】本発明に係るグラフィカルユーザインターフェイス装置の適用例である実施の形態６に係る画像エディタの構成図である。
【図９】実施の形態６に係る画像エディタにおける画素選択動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
＜実施の形態１＞
図１は、本発明の実施の形態１に係るグラフィカルユーザインターフェイス装置（データ可視化ユーザインターフェイス装置）である表示装置１００の内部構成を示すブロック図である。同図の如く、表示装置１００は、第１表示領域１０１（第１表示部）、第１表示処理部１０２、マウス移動記録部１０３、マウスストローク検出部１０４、ラベル抽出部１０５、第２表示領域１０６（第２表示部）、第２表示処理部１０７、ラベル変換処理部１０８、マウス１０９を含む構成となっている。
【００１５】
第１表示領域１０１は、二次元座標として表現されたラベル（μ，ν)が関連付けられたデータの計量（φと定義する）を、そのラベルに対応した位置に表示すことができる。第１表示領域１０１の表示は、第１表示処理部１０２により制御される。第１表示領域１０１における計量φの表示態様は、当該計量φの値を輝度や色に変換する、あるいは表示オブジェクトの大きさに変換するなど、特に限定されない。
【００１６】
ここで、計量φが関連付けされる二次元のラベルは、本来的に二次元のものであるとは限らず、第１表示領域１０１上の位置を特定できるように、１次元または３次元以上の多次元のラベルを二次元に変換したものが用いられてもよい。例えば、計量φがもともと３次元のラベル（μ，ν，ξ）に関連付けされているが、第１表示領域１０１への表示の都合上、ξを無視してあるいは定数と仮定して得た２次元のラベル（μ，ν）を計量φのラベルとして使用する場合が考えられる。
【００１７】
第２表示領域１０６は、第１表示領域１０１とは異なる形式でデータを表示する表示領域である。第２表示領域１０６の表示内容は、第２表示処理部１０７により制御される。第２表示領域１０６には、計量φのラベルと対応関係のあるラベル（計量φと同じラベルの場合もある）に関連付けられたデータの計量（ｆと定義する）が、そのラベルに対応する位置に表示される。基本的に、第２表示領域１０６におけるデータのラベルと表示位置との関係は、第１表示領域１０１のそれとは異なる。
【００１８】
ラベル変換処理部１０８は、計量φのラベルを計量ｆのラベルへと変換（マッピング）する。このマッピングは、計量φのラベルから一般に複数のｆラベルが定まる多対多のマッピングでもよい。
【００１９】
マウス１０９は、第１表示領域１０１および第２表示領域１０６を含む画面上の位置を指定するポインタ（マウスポインタ）を操作するポインティングデバイスである。マウス移動記録部１０３は、マウス１０９の操作に応じて第１表示領域１０１上を移動したポインタの移動記録（ポインタの画面上の位置とそのときの時刻；以下「マウス移動記録」）を取得するものである。マウスストローク検出部１０４は、マウス移動記録部１０３が取得したマウス移動記録をストロークごとに分割する。
【００２０】
ラベル抽出部１０５は、第１表示領域１０１上の各ストロークによってポインタが指定した各位置（ラベル）およびその位置の表示内容（計量φの値）を取得し、取得した計量φのラベルのうち、上位の値を有する計量φのラベルを抽出する。本実施の形態では、値のより大きいものを「上位の値」と定義する。
【００２１】
図２は、本実施の形態に係る表示装置１００の動作を示すフローチャートである。具体的には、表示装置１００のユーザがマウス１０９を操作して第１表示領域１０１に表示された計量φの一部を選択し、選択した計量φのラベルに対応するラベルの計量ｆを第２表示領域１０６の特定の位置に表示させる際の一連の動作の流れを示している。
【００２２】
ユーザがマウス１０９を操作して、第１表示領域１０１上の位置を指定しながらポインタを移動させると、マウス移動記録部１０３は、ポインタが指定した位置（計量φのラベル）を読み取る（スキャン）と共にそのときの時刻を取得する（ステップＳ１）。マウス１０９によってスキャンした位置と時刻の情報（スキャン情報）は、マウス移動記録部１０３により順次記録され、その結果ポインタの移動記録（マウス移動記録）が得られる（ステップＳ２）。
【００２３】
続いてマウスストローク検出部１０４が、マウス移動記録をもとに計算したポインタの動きの変化、例えば移動速度や加速度の変化に基づいて、マウス１０９の単位操作ごとのポインタの軌跡（ストローク）を検出し、ストロークごとにマウス移動記録を分割する（ステップＳ３）。そしてラベル抽出部１０５が、各ストロークに含まれる第１表示領域１０１上の位置（計量φのラベル）を特定し、そのうち上位の値（大きな値）を有する計量φのラベルを抽出して選択する（ステップＳ４）。つまりステップＳ４では、各ストロークでスキャンした複数の計量φのうち、上位の値を有するものだけが選択される。
【００２４】
その後ユーザは、マウス１０９を操作してポインタを第２表示領域１０６へ移動させ、第２表示領域１０６上の特定の位置をマウスクリックにより指定する（ステップＳ５）。
【００２５】
するとラベル変換処理部１０８が、選択された計量φのラベルを、対応する計量ｆのラベルに変換する（ステップＳ６）。第２表示処理部１０７は、ラベル変換処理部１０８が得た計量ｆのラベルに基づいて、ステップＳ５でユーザが指定した第２表示領域１０６上の位置に、選択した計量φに対応する計量ｆを表示させる（ステップＳ７）。
【００２６】
なお、ユーザによる第２表示領域１０６上の位置指定（ステップＳ５）は、ステップＳ６，Ｓ７より前であれば、どのタイミングで行われてもよい。例えば、ステップＳ１〜ステップＳ４と平行して行われてもよいし、ステップＳ１〜ステップＳ４よりも先に行われてもよい。
【００２７】
ステップＳ４において、各ストロークで選択する計量φの数は任意でよい。またその数は、固定値でもよいし、ストロークがスキャンした計量φの数や、ストロークに要した時間に応じて増減させてもよい。例えば、ストロークの距離が長いほど（スキャンした計量φの数が多いほど）、あるいはストロークの時間が長いほど、より多くの数の計量φが選択されるようにしてもよい。
【００２８】
またステップＳ４における計量φの選択方法としては、ストロークごとにスキャンした計量φから上位の値を有するものを所定個数ずつ選択する方法でもよいし、複数のストロークでスキャンした全ての計量φのうちから上位の値を有する所定個数の計量φを選択する方法でもよい。
【００２９】
また複数のストロークが行われた場合に、計量φの選択をストロークの時系列順に行い、先のストロークで既に選択済みの計量φをその後のストロークにおける選択の候補から除外するようにしてもよい。その場合、例えばストロークごとに計量φの選択個数が１ずつ選択されるケースでは、第１表示領域１０１の同じ部分を繰り返しスキャン（複数のストロークでスキャン）すると、１回目のスキャンでは最上位の計量φが選択され、２回目のスキャンでは２番目に上位の計量φが追加して選択される。つまりストロークの回数に応じた数の計量φが選択されるようになる。また複数のストロークでスキャンした全ての計量φのうちから上位の値を有する複数個の計量φを選択されるケースでは、選択された複数個の計量φに同じラベルのものが重複して含まれることを防止できる。
【００３０】
またスキャンによって多くの計量φが選択される場合、選択された計量φは必ずしも上位の値を持つものだけでなくてよく、許容される範囲内で、下位の値を有する計量φが含まれていてもよい。ユーザの使用感や扱うデータの性質に適応した柔軟なデータ選択が可能になる。但し、下位の値を有する計量φが必要以上に多く選択されると本発明の効果が損なわれるため、選択に含ませる下位の値の計量φを個数は、多くても全体の半数以下に抑えるべきである。
【００３１】
ここで、図２を用いて説明した表示装置１００の動作の具体例を示す。図３は、第１表示領域１０１に表示されたデータすなわち計量φの一例である。同図に示す曲線Ｍは、第１表示領域１０１のスキャンに係るポインタの軌道の例を示している。
【００３２】
この例は、異なる時系列データｆ（μ）およびｆ（ν）のラベル（μ，ν）をそれぞれ縦軸と横軸に配し、その時系列データの自己相関値を計量φとして表示させたものである。すなわち計量φの値は、
φ(μ，ν)＝（１／Ｔ）Σt=1~T｛ｆ（μ，ｔ）・ｆ（ν，ｔ）｝ …（１）
から算出される。第１表示領域１０１において、計量φはその値に比例する輝度によって表されている。つまり図３で白く表示された部分は時系列データ同士の相関が強い。
【００３３】
ユーザがマウス１０９を用いて、図３の曲線Ｍのような軌道でポインタを動かすと、その部分のスキャンが行われ（ステップＳ１，Ｓ２）、スキャンされた計量φのうち上位の値を有する計量φのラベルが選択される（ステップＳ３，Ｓ４）。ここではより大きな値を有する（より白く表示された）計量φほど上位であるので、自己相関値がより高い時系列データｆから得られた計量φのラベルが選択される。
【００３４】
なお図３では、マウスによるスキャンの軌道を表す曲線Ｍが一続きの線となっているが、例えばマウス１０９のボタンやキーボード（不図示）の特定のキーを押しながらマウスを移動させたときのみをスキャン期間として認識するようにすれば、第１表示領域１０１上のスキャンを不連続な軌道で行うことができ、複数に分かれた領域をスキャンすることができるようになる。
【００３５】
次にユーザは、ポインタを第２表示領域１０６へと移動させ、マウス１０９をクリックすることで第２表示領域１０６の所望の位置を指定する（ステップＳ５）。
【００３６】
図４（ａ）は、第２表示領域１０６に表示されたデータすなわち計量ｆの例である。この例において、計量ｆは、上記の時系列データそのものの値を表している。図４（ａ）の第２表示領域１０６においては、縦軸に計量ｆのラベル、横軸に時刻を配し、計量ｆが、各時刻ごとの時系列データを正規化した値に比例する輝度によって表されている。つまり図４（ａ）において、輝度の高い部分は計量ｆの値が大きい。
【００３７】
図４（ａ）の第２表示領域１０６上にポインタを移動させて所望の位置をクリックして指定すると、ラベル変換処理により、第１表示領域１０１上で選択した計量φのラベルに対応するラベルを有する計量ｆが導出される（ステップＳ６）。そしてその計量ｆのデータが、第２表示領域１０６上で指定した位置に挿入されて表示されるように、第２表示領域１０６上で計量ｆの表示位置（縦軸の表示順）の並べ替えが行われる（ステップＳ７）。
【００３８】
図４（ｂ）は、計量ｆの表示位置の並べ替えを行った後の第２表示領域１０６を示している。図４（ａ）では時系列データの相関を視覚的に把握することは困難であるが、図４（ｂ）では、自己相関値の大きい時系列データ（計量ｆ）が近接して表示されているため、時系列データの相関が視覚的に把握可能になっている。本実施の形態では、そのような計量ｆの並べ替えを、グラフィカルなオペレーションのみで実現することができる。
【００３９】
なお、図３および図４では、各データの値（計量値）を輝度で表現したが、各データの違いを視認できれば他の方法でもよく、例えば色で表現したり、輝度と色を組み合わせて表現してもよい。
【００４０】
本実施の形態によれば、第１表示領域１０１においてマウス１０９を用いてスキャンしたデータのうち上位の値をとるもの（例えば値の大きいもの）を抽出して選択することができる。第１表示領域１０１では、輝度や色で表現された計量φの値が二次元的に配列しているが、その輝度や色を高さに見立てると、凹凸を有する三次元表面を想定することができる。そして上位の値を有する計量φ（例えば輝度の高い部分）を凸部と見立てると、本実施の形態において計量φを選択する操作は、ポインタを用いて凸部分を削り取る感覚の直感的な操作になる。
【００４１】
またマウス１０９のクリックによって第２表示領域１０６上の指定した位置に、先に選択した計量φに対応する計量ｆを表示させるための操作は、削り取った破片を、ポインタから第２表示領域１０６の指定位置に落下させる感覚の直感的な操作になる。
【００４２】
本実施の形態によれば、大量のデータを詳細に分析するために、そのデータを画像化して表示した第１表示領域１０１から局所的に顕著なデータを選択し、その選択したデータを第２表示領域１０６の指定した位置に他の方法で表示させる操作を、データのＩＤなどメタデータの表示や入力を必要とせずに、直感的な操作のみで実施することができる。
【００４３】
なお計量φの選択の基準となる「上位の値」は、大きい値とせずに、小さい値としてもよい。その場合、下方向に突出した凸部を有する三次元表面の凸部を擦って削り取る作業がメタファとして実現されることになる。
【００４４】
＜実施の形態２＞
実施の形態１に係るグラフィカルユーザインターフェイス装置である表示装置１００では、ポインティングデバイスとしてマウスを使用していたが、他の装置を用いてもよい。本実施の形態では、一般的なポインティングデバイス、例えばペン形入力装置やユーザの指先を利用した接触型ポインティングデバイスや、レーザポインタなどの光学式ポインティングデバイス、カメラや加速度センサを用いた受動型ポインティングデバイスを用いた構成を示す。
【００４５】
図５は、実施の形態２に係る表示装置１００の構成を示すブロック図である。当該表示装置１００は、図１の構成に対し、マウス１０９、マウス移動記録部１０３およびマウスストローク検出部１０４を、それぞれ同様に機能する、一般的なポインティングデバイス（ＰＤ）４０９、ＰＤ移動記録部４０３、ＰＤストローク検出部４０４に置き換えている。
【００４６】
例えばポインティングデバイス４０９が接触型ポインティングデバイスの場合、ユーザが操作するときの接触圧力も検出することが可能である。そのため、第１表示領域１０１上で計量φを選択する際に（図２のステップＳ４）、選択する計量φの数を、接触圧力の強さに従って増加させることも可能である。その場合、第１表示領域１０１を輝度や色に応じた凹凸を有する三次元表面を見立てると、強い力を加えればより多くの凸部が削り取られる感覚となり、より直感的な操作となる。特に第１表示領域１０１および第２表示領域１０６の表面を直接操作するタッチパネル型のものであれば、さらに直感的になる。
【００４７】
また接触／非接触をストローク抽出の基準とすれば、各ストロークがユーザによる操作と直接的に関連づけされるので、ユーザにとっての操作性が向上する。
【００４８】
＜実施の形態３＞
実施の形態１で例示した、第１表示領域１０１の表示例（図３）および第２表示領域１０６の表示例（図４）は、共に輝度や色の違いを用いた画像表現であったが、第２表示領域１０６におけるデータの表示形式は任意でよい。
【００４９】
図６は、第２表示領域１０６における計量ｆの他の表示例を示す図である。ここでは、第１表示領域１０１上の操作で選択された計量φに対応する計量ｆが計量値の時系列データであるとする。この例では、ユーザが第２表示領域１０６をクリックしたとき（図２のステップＳ５）、その位置に関係なく第２表示領域１０６に、選択された計量φに対応する計量ｆの時系列データが、折れ線グラフとして表示されている。図６の縦軸は計量ｆすなわち時系列データの値（またはそれを正規化したもの）であり、横軸は時刻である。
【００５０】
＜実施の形態４＞
実施の形態４では、本発明のグラフィカルユーザインターフェイス装置の具体的な適用例を示す。
【００５１】
図７は、ビルや工場などで稼働する複数の設備の稼働状況を記録したデータの収集および分析を行うデータ管理システム５００と、そこから得られたデータの解析を行うデータブラウザ２００を示している。当該データ管理システム５００は、各設備に設けられた複数のセンサ５０１、複数のセンサ５０１を一括して監視制御するローカルコントローラ５０２、複数のローカルコントローラ５０２を制御する監視制御サーバ５０３、監視制御サーバ５０３に集められるデータを保存・管理するレポジトリ５０４を備えている。監視制御サーバ５０３には、本発明に係るグラフィカルユーザインターフェイス装置（上記の表示装置１００）を備えるデータブラウザ２００が接続されている。
【００５２】
図７の例では、ローカルコントローラ５０２と監視制御サーバ５０３とが直接接続しているが、この間に中間コントローラの階層があってもよい。
【００５３】
データ管理システム５００では、各設備の稼働状況時系列データ、稼働状況の定性的変化を示すイベントデータなど（稼働状況データ）が、センサ５０１から定常的に発生する。このためレポジトリ５０４には大量のデータが集められる。
【００５４】
ここで、設備の稼働状況データに基づいて、各設備の故障診断や省エネ運転に向けた最適化などを行う場合を考える。稼働状況データの特性が予め分かっていれば、データブラウザ２００等が、必要な情報を抽出して演算処理による分析を行い、その分析結果を表示するといった一連の処理を自動的に行うことができるが、演算による分析方法が確立していない状況では、収集したデータを人（専門家）が見て必要な情報を選択したり、演算処理による解析方法の開発を行ったりする必要がある。つまり専門家によるデータの特性や傾向の分析並びに定式化の実施が必要になる。そのような場合に、大量のデータを効率よくかつ直感的に選択して表示するユーザインターフェイスの使用が有効である。
【００５５】
本発明に係る表示装置１００を備えるデータブラウザ２００を、専門家によるデータの分析に利用した場合、データブラウザ２００は、レポジトリ５０４に集められたデータを監視制御サーバ５０３を介して取得し、これに対して計算機処理による一般的なデータ分析を行った結果を第１表示領域１０１に計量φとして表示させる。そして専門家が第１表示領域１０１で選択した計量φに対応するデータ（計量ｆ）を、監視制御サーバ５０３から取得して、それを第２表示領域１０６に表示する。なお、一般的なデータ分析とは、例えば、異なるセンサからの時系列データの相互相関や相互情報量を求めたり、あるいは時系列データの特異値分布を求めたりすることが挙げられるが、これらに限られるものではない。
【００５６】
またデータブラウザ２００が備える表示装置１００は、それぞれ異なる種類のデータを表示可能な複数の第１表示領域１０１を有していてもよいし、同様に、それぞれ異なる種類のデータを表示可能な複数の第２表示領域１０６を有していてもよい。また状況に応じて、第１表示領域１０１として機能したり、第２表示領域１０６として機能することができる表示領域を有していてもよい。
【００５７】
例えば、第１表示領域１０１で選択される計量φのラベルが、各センサ５０１を指し示すものであり、第２表示領域１０６で表示される計量ｆが各センサ５０１の出力の時系列データである場合のように、計量φおよび計量ｆがどちらも個々のセンサに関するものの場合は、第１表示領域１０１と第２表示領域１０６は各センサ５０１を同じラベルで扱って表示処理を行っている。このような場合、ラベル変換処理部１０８は入力されたラベルをそのまま出力する恒等変換を行うことになる。
【００５８】
一方、第２表示領域１０６では個々のセンサ５０１に関するデータを表示するが、第１表示領域１０１で選択される計量φラベルが複数のセンサ５０１を集合的にとりまとめたもの（例えば複数のセンサ５０１の出力の平均値など）である場合には、ラベル変換処理部１０８によって計量φのラベルから計量ｆのラベルへの変換が必要となる。例えば、第１表示領域１０１で選択される計量φのラベルがローカルコントローラ５０２を指し示すものであり、第２表示領域１０６ではそれに接続した個々のセンサ５０１に関する計量ｆが表示される場合である。この場合、ラベル変換処理部１０８では、選択された計量φに対応するローカルコントローラ５０２のラベルから、当該ローカルコントローラ５０２接続したセンサ５０１のラベルへの変換が成される。
【００５９】
また、第１表示領域１０１で選択される計量φのラベルと、第２表示領域１０６で表示する計量ｆのラベルとが同じであっても、例えば一連のポインティングデバイス操作で選択した計量φのラベルを集合的に扱う場合には、第１表示領域１０１において計量φを集合的に表す別のラベルが指定されるようにしてもよい。
【００６０】
本実施の形態では、設備の稼働状況監視や稼働状況監視のためのデータ処理方法の開発におけるデータ可視化において、データの閲覧を直感的な操作によって行うことができ、人によるデータ解析の効率化を図ることができる。
【００６１】
＜実施の形態５＞
上記のように、第１表示領域１０１でのデータ（計量φのラベル）の選択の方法における処理、すなわち図２のステップＳ３，Ｓ４の処理は、データの選択を、凹凸を有する三次元表面の凸部を擦って削り取る作業をメタファとして実現するものである。この選択には幾つかの処理方法が考えられる。ここではその処理方法について説明する。
【００６２】
マウス移動情報を、ポインタの動きの変化に基づいて複数のストロークに分割するステップＳ３の処理は、ポインタの位置と時刻の情報（スキャン情報）から得られる速度変化が一定の範囲内にある一連のポインタの軌跡を、一つのストロークとすることが考えられる。この方法は、ポインタのジグザグな動きの頂点や、ポインタの動きの停止位置がストロークの区切りとなる。
【００６３】
またポインタが同じ位置に戻ったことをストロークの区切りとしてもよい。この方法は、円に近い軌道や曲線の軌道でスキャンされた場合に有効とである。もちろん複数の方法を組み合わせてもよい。
【００６４】
タッチパネル式のポインティングデバイスや、光学センサまたはパッシブセンサを用いるポインティングデバイスなど、ポインタが表示領域内を不連続に移動できるものの場合は、（ポインタの移動速度とは無関係に）ポインタ移動の不連続点をストロークの区切りとしてもよい。
【００６５】
またスキャンした計量φのラベルのうち上位の値を有する計量φのラベルを選択する処理、すなわち図２ステップＳ４の処理は、例えば計量φの値が大きいものを所定個数だけ選択することで実現する。ここで選択の候補とするラベル（第１表示領域１０１上の位置）は、実際にスキャンされたラベルに加え、その近傍のものを加えてもよい。この場合、データの選択が三次元表面の凸部を、広い幅で削り取る感覚となるであろう。これによりユーザの使用感や扱うデータの性質に適応した柔軟なデータ選択が可能になる。
【００６６】
実施の形態１でも説明したように、選択する個数は固定値でもよいし、ストロークの長さや時間、ストロークがカバーする範囲の広さに応じ、所定の関数に基づいて変更さてもよい。またストロークごとにスキャンした計量φから上位の値を有するものを所定個数ずつ選択してもよいし、複数のストロークでスキャンした全ての計量φのうちから上位の値を有する所定個数の計量φを選択してもよい。複数のストロークが行われた場合には、先のストロークで既に選択済みの計量φを新たな選択の対象から除外するようにしてもよい。
【００６７】
またスキャンによって多くの計量φが選択される場合、選択される計量φは必ずしも上位の値を持つものだけでなくてよく、許容される範囲内（例えば過半数未満）で、下位の値を有する計量φが含まれていてもよい。
【００６８】
第１表示領域１０１において、選択された計量φは、速やかにその表示態様（輝度や色など）が変更されることが望ましい。それにより、ユーザは、選択された範囲を視覚的に認識することができる。これはユーザによる不要な操作の低減に寄与する。
【００６９】
＜実施の形態６＞
本実施の形態では、本発明に係るデータ可視化ユーザインターフェイスを、例えば非特許文献２のような画像エディタへ適用する。図８は画像エディタ６００の構成を示すブロック図である。
【００７０】
当該画像エディタ６００は、図１の表示装置１００の構成に対し、第１表示領域１０１、第１表示処理部１０２およびラベル抽出部１０５を、それぞれ画像表示領域６０１、画素情報表示処理部６０２および画素位置抽出処理部６０５に置き換え、第２表示領域１０６、第２表示処理部１０７、ラベル変換処理部１０８を省略した構成を有している。マウス１０９、マウス移動記録部１０３、マウスストローク検出部１０４は、実施の形態２（図５）に示したポインティングデバイス４０９、ＰＤ移動記録部４０３、ＰＤストローク検出部４０４であってもよい。
【００７１】
画像表示領域６０１は図１の第１表示領域１０１と同様の機能を有し、画素情報表示処理部６０２は図１の第１表示処理部１０２と同様の機能を有し、画素位置抽出処理部６０５は図１のラベル抽出部１０５と同様の機能を有する。画像エディタ６００では、画像表示領域６０１の各画素の値すなわち輝度が計量φであり、各画素の座標がそのラベルとして扱われる。
【００７２】
なお図８では、画像表示領域６０１に表示された画像の一部の画素を、本発明に係る方法で選択する動作を担う部分のみを示している。通常、画像エディタでは、選択した部分の編集等が実施されるが、それについては従来の画像エディタと同じでよいので、それらの説明は省略する。また画像エディタ６００は、ここで示す以外の画素の選択方法もサポートしているが、それらについても従来の画像エディタと同じでよいため説明は省略する。
【００７３】
図９は、本実施の形態に係る画像エディタ６００における、画素の選択処理を示すフローチャートである。具体的には、画像エディタ６００のユーザがマウス１０９を操作して画像表示領域６０１に表示された画像から、輝度の高い部分を選択する際の一連の動作の流れを示している。
【００７４】
ユーザがマウス１０９を操作して、画像表示領域６０１上の特定の位置を指定しながらポインタを移動させると、マウス移動記録部１０３は、ポインタが指定した座標を読み取る（スキャン）と共にそのときの時刻を取得する（ステップＳ１１）。マウス１０９によってスキャンした座標と時刻の情報（スキャン情報）は、マウス移動記録部１０３により順次記録され、その結果ポインタの移動記録（マウス移動記録）が得られる（ステップＳ１２）。
【００７５】
続いてマウスストローク検出部１０４が、マウス移動記録を取得し、それから求められるポインタの動きの変化、例えば移動速度および加速度の変化に基づいて、各ストロークごとにマウス移動記録を分割する（ステップＳ１３）。そしてラベル抽出部１０５が、各ストロークに含まれる画像表示領域６０１上の座標を特定し、そのうち上位の値すなわち高い輝度を有する画素の座標を抽出して選択する（ステップＳ１４）。その結果、各ストロークでスキャンした複数の画素のうち、上位の値を有するものだけが選択される。
【００７６】
本実施の形態によれば、選択される画素はストローク毎に画素の輝度が評価され、輝度の高い画素が選択される。従来の画像エディタでは、画像全体から輝度の高い部分を抽出して選択することは可能であったが、輝度のピークを有する局所的な部分だけを選択することはできなかったが、本実施の形態ではそのような画素の選択が可能になる。
【００７７】
また画素の選択の基準となる「上位の値」は、高い輝度ではなく、低い輝度としてもよい。その場合、画像表示領域６０１に表示された画像から、局所的に暗い部分を選択することができる。
【符号の説明】
【００７８】
１００ 表示装置、１０１ 第１表示領域、１０２ 第１表示処理部、１０３ マウス移動記録部、１０４ マウスストローク検出部、１０５ ラベル抽出部、１０６ 第２表示領域、１０７ 第２表示処理部、１０８ ラベル変換処理部、１０９ マウス、２００ データブラウザ、４００ 表示装置、４０３ ＰＤ移動記録部、４０４ ＰＤストローク検出部、４０９ ポインティングデバイス、５０１ センサ、５０２ ローカルコントローラ、５０３ 監視制御サーバ、５０４ レポジトリ、５０５ データ管理システム、６００ 画像エディタ、６０１ 画像表示領域、６０２ 画素情報表示処理部、６０５ 画素位置抽出処理部。
【技術分野】
【０００１】
本発明は、データを表示・操作するためのグラフィカルユーザインターフェイス装置に関するものである。
【背景技術】
【０００２】
近年、社会や生活の基盤（いわゆる“インフラ”）には多くのセンサが組み込まれ、そのセンサから大量のデータが取得できるようになっている。また経済活動のオンライン化により、経済状況に関する大量のデータを蓄積することも可能となっている。こうした大量のデータの分析を効率的に行う目的で、各データに含まれる情報を計量化してグラフィカルに表示し、またその表示を操作する技術が提案されている（例えば、特許文献１および非特許文献１）。
【０００３】
グラフィカルに表示されたデータの一部を選択し、選択された部分のデータを異なる形式で別に表示させることにより、データの分析を可能にしたシステムが知られている。例えば特許文献１では、可視化したデータであるＣＴ画像上の各領域がどのような材料の領域であるかを予めデータ化しておき、ＣＴ画像の領域をマウス（ポインティングデバイス）等で選択することにより、選択された領域の材料の特徴を表すデータ画像が他の表示領域に表示される構成となっている。
【０００４】
また非特許文献１には、大量のデータを持つ表から必要な項目を選択して、縦軸と横軸を交差させた集計表を作成するクロス集計技術（ピボットテーブル）が開示されている。この技術では、複数の系列のデータをシステムに取り込み、二次元の表の縦軸・横軸のラベルとするデータをそれぞれ画面上で選択し、さらにその表の二次元空間上のグリッドに表示する計量を指定することによって、各系列のデータの関連性を可視化できる。
【０００５】
また非特許文献２では、グラフィカルな方法でデータを選択し、それを操作する手法の一例が示されている。非特許文献２において、選択したデータの処理は、データ選択画面あるいはその補助画面上で行われる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１２５３３１号公報
【非特許文献】
【０００７】
【非特許文献１】Excel 2007 のヘルプと使い方 “ピボットテーブル レポートのデータを選択する”、［online ］、Microsoft Corporation、［平成２３年２月１４日検索］、インターネット＜URL ：http://office.microsoft.com/ja-jp/excel-help/HP010167767.aspx＞
【非特許文献２】Photoshop CS5 ユーザーガイド “第７章：選択とマスク”、［online ］、Adobe Systems Incorporated、［平成２３年２月１４日検索］、インターネット＜http://help.adobe.com/ja_JP/photoshop/cs/using/WSfd1234e1c4b69f30ea53e41001031ab64-7700a.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１のようにグラフィカルに表示されたデータの一部を選択するシステムでは、ユーザが画面上のグラフィカルな表示を直接的に選択・操作できる機能が有効である。ユーザがデータの識別子（文字情報）を指定することによって行う間接的な選択・操作の方法もあるが、その方法では大量のデータを扱うには非効率的である。特許文献１では、ユーザが画面上のグラフィカルな表示を直接的に選択・操作可能であるが、その操作対象の選択が領域指定に限られるため柔軟性に欠ける。
【０００９】
また非特許文献１のクロス集計技術では、表の縦軸・横軸を操作するため任意のデータを選択することが可能であるが、データ選択は、ラベルの値を書き写す操作となるため、特許文献１のような操作の直感性が失われている。一方、非特許文献２ではグラフィカルな方法でデータの一部の選択を行うことが可能であるが、選択したデータを異なる形式で表示するなどしてデータの分析に用いられるものではない。
【００１０】
本発明は以上のような課題を解決するためになされたものであり、グラフィカルな方法で可視化されたデータの一部を、ユーザが直感的に選択・操作可能なグラフィカルユーザインターフェイス装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係るグラフィカルユーザインターフェイス装置は、二次元座標として表現したラベルに関連付けされたデータが、当該データのラベルに対応した位置に当該データの計量値に応じた態様で表示される第１表示部と、前記第１表示部上の位置を指定するポインタを制御するポインティングデバイスと、前記ポインタにより連続的に指定された一連の位置を記録する記録部と、前記記録部が記録した位置に対応するラベルのうちから、比較的上位の計量値を有するデータのラベルを抽出して選択するラベル抽出部とを備えるものである。
【発明の効果】
【００１２】
本発明によれば、ユーザは、三次元的な凹凸を有する表面の凸部を削り取る感覚でポインティングデバイスを直感的に操作することにより、局所的な特徴を有する部分の選択を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態１に係るグラフィカルユーザインターフェイス装置の構成を示すブロック図である。
【図２】実施の形態１に係るグラフィカルユーザインターフェイス装置の動作を示すフローチャートである。
【図３】実施の形態１における第１表示領域の表示例を示す図である。
【図４】実施の形態１における第２表示領域の表示例を示す図である。
【図５】実施の形態２に係るグラフィカルユーザインターフェイス装置の構成を示すブロック図である。
【図６】実施の形態３における第２表示領域の表示例を示す図である。
【図７】本発明に係るグラフィカルユーザインターフェイス装置の適用例である実施の形態４に係るデータ管理システムの構成図である。
【図８】本発明に係るグラフィカルユーザインターフェイス装置の適用例である実施の形態６に係る画像エディタの構成図である。
【図９】実施の形態６に係る画像エディタにおける画素選択動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
＜実施の形態１＞
図１は、本発明の実施の形態１に係るグラフィカルユーザインターフェイス装置（データ可視化ユーザインターフェイス装置）である表示装置１００の内部構成を示すブロック図である。同図の如く、表示装置１００は、第１表示領域１０１（第１表示部）、第１表示処理部１０２、マウス移動記録部１０３、マウスストローク検出部１０４、ラベル抽出部１０５、第２表示領域１０６（第２表示部）、第２表示処理部１０７、ラベル変換処理部１０８、マウス１０９を含む構成となっている。
【００１５】
第１表示領域１０１は、二次元座標として表現されたラベル（μ，ν)が関連付けられたデータの計量（φと定義する）を、そのラベルに対応した位置に表示すことができる。第１表示領域１０１の表示は、第１表示処理部１０２により制御される。第１表示領域１０１における計量φの表示態様は、当該計量φの値を輝度や色に変換する、あるいは表示オブジェクトの大きさに変換するなど、特に限定されない。
【００１６】
ここで、計量φが関連付けされる二次元のラベルは、本来的に二次元のものであるとは限らず、第１表示領域１０１上の位置を特定できるように、１次元または３次元以上の多次元のラベルを二次元に変換したものが用いられてもよい。例えば、計量φがもともと３次元のラベル（μ，ν，ξ）に関連付けされているが、第１表示領域１０１への表示の都合上、ξを無視してあるいは定数と仮定して得た２次元のラベル（μ，ν）を計量φのラベルとして使用する場合が考えられる。
【００１７】
第２表示領域１０６は、第１表示領域１０１とは異なる形式でデータを表示する表示領域である。第２表示領域１０６の表示内容は、第２表示処理部１０７により制御される。第２表示領域１０６には、計量φのラベルと対応関係のあるラベル（計量φと同じラベルの場合もある）に関連付けられたデータの計量（ｆと定義する）が、そのラベルに対応する位置に表示される。基本的に、第２表示領域１０６におけるデータのラベルと表示位置との関係は、第１表示領域１０１のそれとは異なる。
【００１８】
ラベル変換処理部１０８は、計量φのラベルを計量ｆのラベルへと変換（マッピング）する。このマッピングは、計量φのラベルから一般に複数のｆラベルが定まる多対多のマッピングでもよい。
【００１９】
マウス１０９は、第１表示領域１０１および第２表示領域１０６を含む画面上の位置を指定するポインタ（マウスポインタ）を操作するポインティングデバイスである。マウス移動記録部１０３は、マウス１０９の操作に応じて第１表示領域１０１上を移動したポインタの移動記録（ポインタの画面上の位置とそのときの時刻；以下「マウス移動記録」）を取得するものである。マウスストローク検出部１０４は、マウス移動記録部１０３が取得したマウス移動記録をストロークごとに分割する。
【００２０】
ラベル抽出部１０５は、第１表示領域１０１上の各ストロークによってポインタが指定した各位置（ラベル）およびその位置の表示内容（計量φの値）を取得し、取得した計量φのラベルのうち、上位の値を有する計量φのラベルを抽出する。本実施の形態では、値のより大きいものを「上位の値」と定義する。
【００２１】
図２は、本実施の形態に係る表示装置１００の動作を示すフローチャートである。具体的には、表示装置１００のユーザがマウス１０９を操作して第１表示領域１０１に表示された計量φの一部を選択し、選択した計量φのラベルに対応するラベルの計量ｆを第２表示領域１０６の特定の位置に表示させる際の一連の動作の流れを示している。
【００２２】
ユーザがマウス１０９を操作して、第１表示領域１０１上の位置を指定しながらポインタを移動させると、マウス移動記録部１０３は、ポインタが指定した位置（計量φのラベル）を読み取る（スキャン）と共にそのときの時刻を取得する（ステップＳ１）。マウス１０９によってスキャンした位置と時刻の情報（スキャン情報）は、マウス移動記録部１０３により順次記録され、その結果ポインタの移動記録（マウス移動記録）が得られる（ステップＳ２）。
【００２３】
続いてマウスストローク検出部１０４が、マウス移動記録をもとに計算したポインタの動きの変化、例えば移動速度や加速度の変化に基づいて、マウス１０９の単位操作ごとのポインタの軌跡（ストローク）を検出し、ストロークごとにマウス移動記録を分割する（ステップＳ３）。そしてラベル抽出部１０５が、各ストロークに含まれる第１表示領域１０１上の位置（計量φのラベル）を特定し、そのうち上位の値（大きな値）を有する計量φのラベルを抽出して選択する（ステップＳ４）。つまりステップＳ４では、各ストロークでスキャンした複数の計量φのうち、上位の値を有するものだけが選択される。
【００２４】
その後ユーザは、マウス１０９を操作してポインタを第２表示領域１０６へ移動させ、第２表示領域１０６上の特定の位置をマウスクリックにより指定する（ステップＳ５）。
【００２５】
するとラベル変換処理部１０８が、選択された計量φのラベルを、対応する計量ｆのラベルに変換する（ステップＳ６）。第２表示処理部１０７は、ラベル変換処理部１０８が得た計量ｆのラベルに基づいて、ステップＳ５でユーザが指定した第２表示領域１０６上の位置に、選択した計量φに対応する計量ｆを表示させる（ステップＳ７）。
【００２６】
なお、ユーザによる第２表示領域１０６上の位置指定（ステップＳ５）は、ステップＳ６，Ｓ７より前であれば、どのタイミングで行われてもよい。例えば、ステップＳ１〜ステップＳ４と平行して行われてもよいし、ステップＳ１〜ステップＳ４よりも先に行われてもよい。
【００２７】
ステップＳ４において、各ストロークで選択する計量φの数は任意でよい。またその数は、固定値でもよいし、ストロークがスキャンした計量φの数や、ストロークに要した時間に応じて増減させてもよい。例えば、ストロークの距離が長いほど（スキャンした計量φの数が多いほど）、あるいはストロークの時間が長いほど、より多くの数の計量φが選択されるようにしてもよい。
【００２８】
またステップＳ４における計量φの選択方法としては、ストロークごとにスキャンした計量φから上位の値を有するものを所定個数ずつ選択する方法でもよいし、複数のストロークでスキャンした全ての計量φのうちから上位の値を有する所定個数の計量φを選択する方法でもよい。
【００２９】
また複数のストロークが行われた場合に、計量φの選択をストロークの時系列順に行い、先のストロークで既に選択済みの計量φをその後のストロークにおける選択の候補から除外するようにしてもよい。その場合、例えばストロークごとに計量φの選択個数が１ずつ選択されるケースでは、第１表示領域１０１の同じ部分を繰り返しスキャン（複数のストロークでスキャン）すると、１回目のスキャンでは最上位の計量φが選択され、２回目のスキャンでは２番目に上位の計量φが追加して選択される。つまりストロークの回数に応じた数の計量φが選択されるようになる。また複数のストロークでスキャンした全ての計量φのうちから上位の値を有する複数個の計量φを選択されるケースでは、選択された複数個の計量φに同じラベルのものが重複して含まれることを防止できる。
【００３０】
またスキャンによって多くの計量φが選択される場合、選択された計量φは必ずしも上位の値を持つものだけでなくてよく、許容される範囲内で、下位の値を有する計量φが含まれていてもよい。ユーザの使用感や扱うデータの性質に適応した柔軟なデータ選択が可能になる。但し、下位の値を有する計量φが必要以上に多く選択されると本発明の効果が損なわれるため、選択に含ませる下位の値の計量φを個数は、多くても全体の半数以下に抑えるべきである。
【００３１】
ここで、図２を用いて説明した表示装置１００の動作の具体例を示す。図３は、第１表示領域１０１に表示されたデータすなわち計量φの一例である。同図に示す曲線Ｍは、第１表示領域１０１のスキャンに係るポインタの軌道の例を示している。
【００３２】
この例は、異なる時系列データｆ（μ）およびｆ（ν）のラベル（μ，ν）をそれぞれ縦軸と横軸に配し、その時系列データの自己相関値を計量φとして表示させたものである。すなわち計量φの値は、
φ(μ，ν)＝（１／Ｔ）Σt=1~T｛ｆ（μ，ｔ）・ｆ（ν，ｔ）｝ …（１）
から算出される。第１表示領域１０１において、計量φはその値に比例する輝度によって表されている。つまり図３で白く表示された部分は時系列データ同士の相関が強い。
【００３３】
ユーザがマウス１０９を用いて、図３の曲線Ｍのような軌道でポインタを動かすと、その部分のスキャンが行われ（ステップＳ１，Ｓ２）、スキャンされた計量φのうち上位の値を有する計量φのラベルが選択される（ステップＳ３，Ｓ４）。ここではより大きな値を有する（より白く表示された）計量φほど上位であるので、自己相関値がより高い時系列データｆから得られた計量φのラベルが選択される。
【００３４】
なお図３では、マウスによるスキャンの軌道を表す曲線Ｍが一続きの線となっているが、例えばマウス１０９のボタンやキーボード（不図示）の特定のキーを押しながらマウスを移動させたときのみをスキャン期間として認識するようにすれば、第１表示領域１０１上のスキャンを不連続な軌道で行うことができ、複数に分かれた領域をスキャンすることができるようになる。
【００３５】
次にユーザは、ポインタを第２表示領域１０６へと移動させ、マウス１０９をクリックすることで第２表示領域１０６の所望の位置を指定する（ステップＳ５）。
【００３６】
図４（ａ）は、第２表示領域１０６に表示されたデータすなわち計量ｆの例である。この例において、計量ｆは、上記の時系列データそのものの値を表している。図４（ａ）の第２表示領域１０６においては、縦軸に計量ｆのラベル、横軸に時刻を配し、計量ｆが、各時刻ごとの時系列データを正規化した値に比例する輝度によって表されている。つまり図４（ａ）において、輝度の高い部分は計量ｆの値が大きい。
【００３７】
図４（ａ）の第２表示領域１０６上にポインタを移動させて所望の位置をクリックして指定すると、ラベル変換処理により、第１表示領域１０１上で選択した計量φのラベルに対応するラベルを有する計量ｆが導出される（ステップＳ６）。そしてその計量ｆのデータが、第２表示領域１０６上で指定した位置に挿入されて表示されるように、第２表示領域１０６上で計量ｆの表示位置（縦軸の表示順）の並べ替えが行われる（ステップＳ７）。
【００３８】
図４（ｂ）は、計量ｆの表示位置の並べ替えを行った後の第２表示領域１０６を示している。図４（ａ）では時系列データの相関を視覚的に把握することは困難であるが、図４（ｂ）では、自己相関値の大きい時系列データ（計量ｆ）が近接して表示されているため、時系列データの相関が視覚的に把握可能になっている。本実施の形態では、そのような計量ｆの並べ替えを、グラフィカルなオペレーションのみで実現することができる。
【００３９】
なお、図３および図４では、各データの値（計量値）を輝度で表現したが、各データの違いを視認できれば他の方法でもよく、例えば色で表現したり、輝度と色を組み合わせて表現してもよい。
【００４０】
本実施の形態によれば、第１表示領域１０１においてマウス１０９を用いてスキャンしたデータのうち上位の値をとるもの（例えば値の大きいもの）を抽出して選択することができる。第１表示領域１０１では、輝度や色で表現された計量φの値が二次元的に配列しているが、その輝度や色を高さに見立てると、凹凸を有する三次元表面を想定することができる。そして上位の値を有する計量φ（例えば輝度の高い部分）を凸部と見立てると、本実施の形態において計量φを選択する操作は、ポインタを用いて凸部分を削り取る感覚の直感的な操作になる。
【００４１】
またマウス１０９のクリックによって第２表示領域１０６上の指定した位置に、先に選択した計量φに対応する計量ｆを表示させるための操作は、削り取った破片を、ポインタから第２表示領域１０６の指定位置に落下させる感覚の直感的な操作になる。
【００４２】
本実施の形態によれば、大量のデータを詳細に分析するために、そのデータを画像化して表示した第１表示領域１０１から局所的に顕著なデータを選択し、その選択したデータを第２表示領域１０６の指定した位置に他の方法で表示させる操作を、データのＩＤなどメタデータの表示や入力を必要とせずに、直感的な操作のみで実施することができる。
【００４３】
なお計量φの選択の基準となる「上位の値」は、大きい値とせずに、小さい値としてもよい。その場合、下方向に突出した凸部を有する三次元表面の凸部を擦って削り取る作業がメタファとして実現されることになる。
【００４４】
＜実施の形態２＞
実施の形態１に係るグラフィカルユーザインターフェイス装置である表示装置１００では、ポインティングデバイスとしてマウスを使用していたが、他の装置を用いてもよい。本実施の形態では、一般的なポインティングデバイス、例えばペン形入力装置やユーザの指先を利用した接触型ポインティングデバイスや、レーザポインタなどの光学式ポインティングデバイス、カメラや加速度センサを用いた受動型ポインティングデバイスを用いた構成を示す。
【００４５】
図５は、実施の形態２に係る表示装置１００の構成を示すブロック図である。当該表示装置１００は、図１の構成に対し、マウス１０９、マウス移動記録部１０３およびマウスストローク検出部１０４を、それぞれ同様に機能する、一般的なポインティングデバイス（ＰＤ）４０９、ＰＤ移動記録部４０３、ＰＤストローク検出部４０４に置き換えている。
【００４６】
例えばポインティングデバイス４０９が接触型ポインティングデバイスの場合、ユーザが操作するときの接触圧力も検出することが可能である。そのため、第１表示領域１０１上で計量φを選択する際に（図２のステップＳ４）、選択する計量φの数を、接触圧力の強さに従って増加させることも可能である。その場合、第１表示領域１０１を輝度や色に応じた凹凸を有する三次元表面を見立てると、強い力を加えればより多くの凸部が削り取られる感覚となり、より直感的な操作となる。特に第１表示領域１０１および第２表示領域１０６の表面を直接操作するタッチパネル型のものであれば、さらに直感的になる。
【００４７】
また接触／非接触をストローク抽出の基準とすれば、各ストロークがユーザによる操作と直接的に関連づけされるので、ユーザにとっての操作性が向上する。
【００４８】
＜実施の形態３＞
実施の形態１で例示した、第１表示領域１０１の表示例（図３）および第２表示領域１０６の表示例（図４）は、共に輝度や色の違いを用いた画像表現であったが、第２表示領域１０６におけるデータの表示形式は任意でよい。
【００４９】
図６は、第２表示領域１０６における計量ｆの他の表示例を示す図である。ここでは、第１表示領域１０１上の操作で選択された計量φに対応する計量ｆが計量値の時系列データであるとする。この例では、ユーザが第２表示領域１０６をクリックしたとき（図２のステップＳ５）、その位置に関係なく第２表示領域１０６に、選択された計量φに対応する計量ｆの時系列データが、折れ線グラフとして表示されている。図６の縦軸は計量ｆすなわち時系列データの値（またはそれを正規化したもの）であり、横軸は時刻である。
【００５０】
＜実施の形態４＞
実施の形態４では、本発明のグラフィカルユーザインターフェイス装置の具体的な適用例を示す。
【００５１】
図７は、ビルや工場などで稼働する複数の設備の稼働状況を記録したデータの収集および分析を行うデータ管理システム５００と、そこから得られたデータの解析を行うデータブラウザ２００を示している。当該データ管理システム５００は、各設備に設けられた複数のセンサ５０１、複数のセンサ５０１を一括して監視制御するローカルコントローラ５０２、複数のローカルコントローラ５０２を制御する監視制御サーバ５０３、監視制御サーバ５０３に集められるデータを保存・管理するレポジトリ５０４を備えている。監視制御サーバ５０３には、本発明に係るグラフィカルユーザインターフェイス装置（上記の表示装置１００）を備えるデータブラウザ２００が接続されている。
【００５２】
図７の例では、ローカルコントローラ５０２と監視制御サーバ５０３とが直接接続しているが、この間に中間コントローラの階層があってもよい。
【００５３】
データ管理システム５００では、各設備の稼働状況時系列データ、稼働状況の定性的変化を示すイベントデータなど（稼働状況データ）が、センサ５０１から定常的に発生する。このためレポジトリ５０４には大量のデータが集められる。
【００５４】
ここで、設備の稼働状況データに基づいて、各設備の故障診断や省エネ運転に向けた最適化などを行う場合を考える。稼働状況データの特性が予め分かっていれば、データブラウザ２００等が、必要な情報を抽出して演算処理による分析を行い、その分析結果を表示するといった一連の処理を自動的に行うことができるが、演算による分析方法が確立していない状況では、収集したデータを人（専門家）が見て必要な情報を選択したり、演算処理による解析方法の開発を行ったりする必要がある。つまり専門家によるデータの特性や傾向の分析並びに定式化の実施が必要になる。そのような場合に、大量のデータを効率よくかつ直感的に選択して表示するユーザインターフェイスの使用が有効である。
【００５５】
本発明に係る表示装置１００を備えるデータブラウザ２００を、専門家によるデータの分析に利用した場合、データブラウザ２００は、レポジトリ５０４に集められたデータを監視制御サーバ５０３を介して取得し、これに対して計算機処理による一般的なデータ分析を行った結果を第１表示領域１０１に計量φとして表示させる。そして専門家が第１表示領域１０１で選択した計量φに対応するデータ（計量ｆ）を、監視制御サーバ５０３から取得して、それを第２表示領域１０６に表示する。なお、一般的なデータ分析とは、例えば、異なるセンサからの時系列データの相互相関や相互情報量を求めたり、あるいは時系列データの特異値分布を求めたりすることが挙げられるが、これらに限られるものではない。
【００５６】
またデータブラウザ２００が備える表示装置１００は、それぞれ異なる種類のデータを表示可能な複数の第１表示領域１０１を有していてもよいし、同様に、それぞれ異なる種類のデータを表示可能な複数の第２表示領域１０６を有していてもよい。また状況に応じて、第１表示領域１０１として機能したり、第２表示領域１０６として機能することができる表示領域を有していてもよい。
【００５７】
例えば、第１表示領域１０１で選択される計量φのラベルが、各センサ５０１を指し示すものであり、第２表示領域１０６で表示される計量ｆが各センサ５０１の出力の時系列データである場合のように、計量φおよび計量ｆがどちらも個々のセンサに関するものの場合は、第１表示領域１０１と第２表示領域１０６は各センサ５０１を同じラベルで扱って表示処理を行っている。このような場合、ラベル変換処理部１０８は入力されたラベルをそのまま出力する恒等変換を行うことになる。
【００５８】
一方、第２表示領域１０６では個々のセンサ５０１に関するデータを表示するが、第１表示領域１０１で選択される計量φラベルが複数のセンサ５０１を集合的にとりまとめたもの（例えば複数のセンサ５０１の出力の平均値など）である場合には、ラベル変換処理部１０８によって計量φのラベルから計量ｆのラベルへの変換が必要となる。例えば、第１表示領域１０１で選択される計量φのラベルがローカルコントローラ５０２を指し示すものであり、第２表示領域１０６ではそれに接続した個々のセンサ５０１に関する計量ｆが表示される場合である。この場合、ラベル変換処理部１０８では、選択された計量φに対応するローカルコントローラ５０２のラベルから、当該ローカルコントローラ５０２接続したセンサ５０１のラベルへの変換が成される。
【００５９】
また、第１表示領域１０１で選択される計量φのラベルと、第２表示領域１０６で表示する計量ｆのラベルとが同じであっても、例えば一連のポインティングデバイス操作で選択した計量φのラベルを集合的に扱う場合には、第１表示領域１０１において計量φを集合的に表す別のラベルが指定されるようにしてもよい。
【００６０】
本実施の形態では、設備の稼働状況監視や稼働状況監視のためのデータ処理方法の開発におけるデータ可視化において、データの閲覧を直感的な操作によって行うことができ、人によるデータ解析の効率化を図ることができる。
【００６１】
＜実施の形態５＞
上記のように、第１表示領域１０１でのデータ（計量φのラベル）の選択の方法における処理、すなわち図２のステップＳ３，Ｓ４の処理は、データの選択を、凹凸を有する三次元表面の凸部を擦って削り取る作業をメタファとして実現するものである。この選択には幾つかの処理方法が考えられる。ここではその処理方法について説明する。
【００６２】
マウス移動情報を、ポインタの動きの変化に基づいて複数のストロークに分割するステップＳ３の処理は、ポインタの位置と時刻の情報（スキャン情報）から得られる速度変化が一定の範囲内にある一連のポインタの軌跡を、一つのストロークとすることが考えられる。この方法は、ポインタのジグザグな動きの頂点や、ポインタの動きの停止位置がストロークの区切りとなる。
【００６３】
またポインタが同じ位置に戻ったことをストロークの区切りとしてもよい。この方法は、円に近い軌道や曲線の軌道でスキャンされた場合に有効とである。もちろん複数の方法を組み合わせてもよい。
【００６４】
タッチパネル式のポインティングデバイスや、光学センサまたはパッシブセンサを用いるポインティングデバイスなど、ポインタが表示領域内を不連続に移動できるものの場合は、（ポインタの移動速度とは無関係に）ポインタ移動の不連続点をストロークの区切りとしてもよい。
【００６５】
またスキャンした計量φのラベルのうち上位の値を有する計量φのラベルを選択する処理、すなわち図２ステップＳ４の処理は、例えば計量φの値が大きいものを所定個数だけ選択することで実現する。ここで選択の候補とするラベル（第１表示領域１０１上の位置）は、実際にスキャンされたラベルに加え、その近傍のものを加えてもよい。この場合、データの選択が三次元表面の凸部を、広い幅で削り取る感覚となるであろう。これによりユーザの使用感や扱うデータの性質に適応した柔軟なデータ選択が可能になる。
【００６６】
実施の形態１でも説明したように、選択する個数は固定値でもよいし、ストロークの長さや時間、ストロークがカバーする範囲の広さに応じ、所定の関数に基づいて変更さてもよい。またストロークごとにスキャンした計量φから上位の値を有するものを所定個数ずつ選択してもよいし、複数のストロークでスキャンした全ての計量φのうちから上位の値を有する所定個数の計量φを選択してもよい。複数のストロークが行われた場合には、先のストロークで既に選択済みの計量φを新たな選択の対象から除外するようにしてもよい。
【００６７】
またスキャンによって多くの計量φが選択される場合、選択される計量φは必ずしも上位の値を持つものだけでなくてよく、許容される範囲内（例えば過半数未満）で、下位の値を有する計量φが含まれていてもよい。
【００６８】
第１表示領域１０１において、選択された計量φは、速やかにその表示態様（輝度や色など）が変更されることが望ましい。それにより、ユーザは、選択された範囲を視覚的に認識することができる。これはユーザによる不要な操作の低減に寄与する。
【００６９】
＜実施の形態６＞
本実施の形態では、本発明に係るデータ可視化ユーザインターフェイスを、例えば非特許文献２のような画像エディタへ適用する。図８は画像エディタ６００の構成を示すブロック図である。
【００７０】
当該画像エディタ６００は、図１の表示装置１００の構成に対し、第１表示領域１０１、第１表示処理部１０２およびラベル抽出部１０５を、それぞれ画像表示領域６０１、画素情報表示処理部６０２および画素位置抽出処理部６０５に置き換え、第２表示領域１０６、第２表示処理部１０７、ラベル変換処理部１０８を省略した構成を有している。マウス１０９、マウス移動記録部１０３、マウスストローク検出部１０４は、実施の形態２（図５）に示したポインティングデバイス４０９、ＰＤ移動記録部４０３、ＰＤストローク検出部４０４であってもよい。
【００７１】
画像表示領域６０１は図１の第１表示領域１０１と同様の機能を有し、画素情報表示処理部６０２は図１の第１表示処理部１０２と同様の機能を有し、画素位置抽出処理部６０５は図１のラベル抽出部１０５と同様の機能を有する。画像エディタ６００では、画像表示領域６０１の各画素の値すなわち輝度が計量φであり、各画素の座標がそのラベルとして扱われる。
【００７２】
なお図８では、画像表示領域６０１に表示された画像の一部の画素を、本発明に係る方法で選択する動作を担う部分のみを示している。通常、画像エディタでは、選択した部分の編集等が実施されるが、それについては従来の画像エディタと同じでよいので、それらの説明は省略する。また画像エディタ６００は、ここで示す以外の画素の選択方法もサポートしているが、それらについても従来の画像エディタと同じでよいため説明は省略する。
【００７３】
図９は、本実施の形態に係る画像エディタ６００における、画素の選択処理を示すフローチャートである。具体的には、画像エディタ６００のユーザがマウス１０９を操作して画像表示領域６０１に表示された画像から、輝度の高い部分を選択する際の一連の動作の流れを示している。
【００７４】
ユーザがマウス１０９を操作して、画像表示領域６０１上の特定の位置を指定しながらポインタを移動させると、マウス移動記録部１０３は、ポインタが指定した座標を読み取る（スキャン）と共にそのときの時刻を取得する（ステップＳ１１）。マウス１０９によってスキャンした座標と時刻の情報（スキャン情報）は、マウス移動記録部１０３により順次記録され、その結果ポインタの移動記録（マウス移動記録）が得られる（ステップＳ１２）。
【００７５】
続いてマウスストローク検出部１０４が、マウス移動記録を取得し、それから求められるポインタの動きの変化、例えば移動速度および加速度の変化に基づいて、各ストロークごとにマウス移動記録を分割する（ステップＳ１３）。そしてラベル抽出部１０５が、各ストロークに含まれる画像表示領域６０１上の座標を特定し、そのうち上位の値すなわち高い輝度を有する画素の座標を抽出して選択する（ステップＳ１４）。その結果、各ストロークでスキャンした複数の画素のうち、上位の値を有するものだけが選択される。
【００７６】
本実施の形態によれば、選択される画素はストローク毎に画素の輝度が評価され、輝度の高い画素が選択される。従来の画像エディタでは、画像全体から輝度の高い部分を抽出して選択することは可能であったが、輝度のピークを有する局所的な部分だけを選択することはできなかったが、本実施の形態ではそのような画素の選択が可能になる。
【００７７】
また画素の選択の基準となる「上位の値」は、高い輝度ではなく、低い輝度としてもよい。その場合、画像表示領域６０１に表示された画像から、局所的に暗い部分を選択することができる。
【符号の説明】
【００７８】
１００ 表示装置、１０１ 第１表示領域、１０２ 第１表示処理部、１０３ マウス移動記録部、１０４ マウスストローク検出部、１０５ ラベル抽出部、１０６ 第２表示領域、１０７ 第２表示処理部、１０８ ラベル変換処理部、１０９ マウス、２００ データブラウザ、４００ 表示装置、４０３ ＰＤ移動記録部、４０４ ＰＤストローク検出部、４０９ ポインティングデバイス、５０１ センサ、５０２ ローカルコントローラ、５０３ 監視制御サーバ、５０４ レポジトリ、５０５ データ管理システム、６００ 画像エディタ、６０１ 画像表示領域、６０２ 画素情報表示処理部、６０５ 画素位置抽出処理部。
【特許請求の範囲】
【請求項１】
二次元座標として表現したラベルに関連付けされたデータが、当該データのラベルに対応した位置に当該データの計量値に応じた態様で表示される第１表示部と、
前記第１表示部上の位置を指定するポインタを制御するポインティングデバイスと、
前記ポインタにより連続的に指定された一連の位置を記録する記録部と、
前記記録部が記録した位置に対応するラベルのうちから、比較的上位の計量値を有するデータのラベルを抽出して選択するラベル抽出部とを備える
ことを特徴とするグラフィカルユーザインターフェイス装置。
【請求項２】
前記ポインタにより連続的に指定された一連の位置を、前記ポインタの動きの変化に基づいてストロークごとに分割するストローク検出部をさらに備え、
前記ラベル抽出部は、比較的上位の計量値を有するデータのラベルの選択を、前記ストロークごとに行う
請求項１記載のグラフィカルユーザインターフェイス装置。
【請求項３】
前記ラベル抽出部は、比較的上位の計量値を有するデータのラベルの選択を前記ストロークの時系列順に行い、先のストロークで選択済みのデータのラベルは、その後のストロークで選択するデータのラベルの候補から除外する
請求項２記載のグラフィカルユーザインターフェイス装置。
【請求項４】
前記ラベル抽出部は、選択するデータのラベルに、比較的下位の計量値を有するデータのラベルを、比較的上位の計量値を有するデータのラベルよりも少ない数だけ含ませる
請求項１から請求項３のいずれか一項記載のグラフィカルユーザインターフェイス装置。
【請求項５】
前記ラベル抽出部は、選択するデータのラベルの候補に、前記記録部が記録した位置の近傍の位置に対応するラベルをも加える
請求項１から請求項４のいずれか一項記載のグラフィカルユーザインターフェイス装置。
【請求項６】
前記ラベル抽出部により選択されたデータは、前記第１表示部における表示態様が変更される
請求項１から請求項５のいずれか一項記載のグラフィカルユーザインターフェイス装置。
【請求項７】
前記ラベル抽出部により選択されたデータが前記第１表示部とは異なる形式で表示される第２表示部をさらに備える
請求項１から請求項６のいずれか一項記載のグラフィカルユーザインターフェイス装置。
【請求項８】
前記ポインティングデバイスは、前記第２表示部上の位置も指定でき、
前記第２表示部において、前記ラベル抽出部により選択されたデータは、前記ポインティングデバイスによって指定された位置に表示される
請求項７記載のグラフィカルユーザインターフェイス装置。
【請求項９】
前記第２表示部において、前記ラベル抽出部により選択された複数のデータは、前記ポインティングデバイスによって指定された位置に互いに近接して表示される
請求項８記載のグラフィカルユーザインターフェイス装置。
【請求項１０】
前記第２表示部において、前記ポインティングデバイスによって指定された位置に、前記ラベル抽出部により選択されたデータが挿入されて表示されるように、他のデータの表示位置が並べ替えられる
請求項８または請求項９記載のグラフィカルユーザインターフェイス装置。
【請求項１】
二次元座標として表現したラベルに関連付けされたデータが、当該データのラベルに対応した位置に当該データの計量値に応じた態様で表示される第１表示部と、
前記第１表示部上の位置を指定するポインタを制御するポインティングデバイスと、
前記ポインタにより連続的に指定された一連の位置を記録する記録部と、
前記記録部が記録した位置に対応するラベルのうちから、比較的上位の計量値を有するデータのラベルを抽出して選択するラベル抽出部とを備える
ことを特徴とするグラフィカルユーザインターフェイス装置。
【請求項２】
前記ポインタにより連続的に指定された一連の位置を、前記ポインタの動きの変化に基づいてストロークごとに分割するストローク検出部をさらに備え、
前記ラベル抽出部は、比較的上位の計量値を有するデータのラベルの選択を、前記ストロークごとに行う
請求項１記載のグラフィカルユーザインターフェイス装置。
【請求項３】
前記ラベル抽出部は、比較的上位の計量値を有するデータのラベルの選択を前記ストロークの時系列順に行い、先のストロークで選択済みのデータのラベルは、その後のストロークで選択するデータのラベルの候補から除外する
請求項２記載のグラフィカルユーザインターフェイス装置。
【請求項４】
前記ラベル抽出部は、選択するデータのラベルに、比較的下位の計量値を有するデータのラベルを、比較的上位の計量値を有するデータのラベルよりも少ない数だけ含ませる
請求項１から請求項３のいずれか一項記載のグラフィカルユーザインターフェイス装置。
【請求項５】
前記ラベル抽出部は、選択するデータのラベルの候補に、前記記録部が記録した位置の近傍の位置に対応するラベルをも加える
請求項１から請求項４のいずれか一項記載のグラフィカルユーザインターフェイス装置。
【請求項６】
前記ラベル抽出部により選択されたデータは、前記第１表示部における表示態様が変更される
請求項１から請求項５のいずれか一項記載のグラフィカルユーザインターフェイス装置。
【請求項７】
前記ラベル抽出部により選択されたデータが前記第１表示部とは異なる形式で表示される第２表示部をさらに備える
請求項１から請求項６のいずれか一項記載のグラフィカルユーザインターフェイス装置。
【請求項８】
前記ポインティングデバイスは、前記第２表示部上の位置も指定でき、
前記第２表示部において、前記ラベル抽出部により選択されたデータは、前記ポインティングデバイスによって指定された位置に表示される
請求項７記載のグラフィカルユーザインターフェイス装置。
【請求項９】
前記第２表示部において、前記ラベル抽出部により選択された複数のデータは、前記ポインティングデバイスによって指定された位置に互いに近接して表示される
請求項８記載のグラフィカルユーザインターフェイス装置。
【請求項１０】
前記第２表示部において、前記ポインティングデバイスによって指定された位置に、前記ラベル抽出部により選択されたデータが挿入されて表示されるように、他のデータの表示位置が並べ替えられる
請求項８または請求項９記載のグラフィカルユーザインターフェイス装置。
【図１】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図３】
【図４】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図３】
【図４】
【公開番号】特開２０１２−２３８１４９（Ｐ２０１２−２３８１４９Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０６１７６（Ｐ２０１１−１０６１７６）
【出願日】平成２３年５月１１日（２０１１．５．１１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【出願人】（０００２３６０５６）三菱電機ビルテクノサービス株式会社 (1,792)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１１日（２０１１．５．１１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【出願人】（０００２３６０５６）三菱電機ビルテクノサービス株式会社 (1,792)
【Ｆターム（参考）】
[ Back to top ]