認知負荷評価装置、認知負荷評価方法、及びプログラム
【課題】ユーザから直接データを取得することなく、ユーザが認知できる聴覚情報に基づいてユーザの認知負荷を評価し得る、認知負荷評価装置、認知負荷評価方法、及びプログラムを提供する。
【解決手段】ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するため、認知負荷評価装置１０は、ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び画面を使用してタスクを遂行するための操作情報を解析して、タスクに関連する聴覚オブジェクトを抽出する、情報解析部１００と、聴覚オブジェクトが含む要素毎に、各要素がユーザに与える負荷を算出し、算出した各負荷に基づいて、聴覚オブジェクトに対するユーザの聴覚負荷を求める、聴覚負荷評価部３００とを備えている。
【解決手段】ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するため、認知負荷評価装置１０は、ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び画面を使用してタスクを遂行するための操作情報を解析して、タスクに関連する聴覚オブジェクトを抽出する、情報解析部１００と、聴覚オブジェクトが含む要素毎に、各要素がユーザに与える負荷を算出し、算出した各負荷に基づいて、聴覚オブジェクトに対するユーザの聴覚負荷を求める、聴覚負荷評価部３００とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヒューマン・マシン・インターフェース（以下「HMI：Human Machine Interface」という。）を操作するユーザの認知負荷を評価する、認知負荷評価装置、認知負荷方法、及びこれらを実現するためのプログラムに関する。
【背景技術】
【０００２】
従来から、優れたHMIを提供するため、種々の分野において、HMIを操作するユーザの認知負荷を評価する試みがなされている。例えば、特許文献１は、認知負荷評価装置の一例を開示している。特許文献１に開示された認知負荷評価装置は、特に、車両を運転するユーザの認知負荷（ワークロード）を評価する。
【０００３】
特許文献１に開示された認知負荷評価装置は、データ取得部と、ワークロード推定部とを備えている。データ取得部は、ワークロード毎に、各種センサから、車両運転中のユーザの寄与行動に関するデータを取得する。ワークロード推定部は、データ取得部が取得したデータに基づいて、ワークロード毎に、車両運転中のユーザのワークロード値を推定する。なお、ここでいう、ワークロードとしては、運転ワークロード、機器操作ワークロード、聴覚的ワークロード、視覚的ワークロード、内因的ワークロードなどが挙げられる。
【０００４】
このように、特許文献１に開示された認知負荷評価装置は、車両を運転中のユーザのワークロード値を推定できる。従って、特許文献１に開示された認知負荷評価装置によれば、当該車両のHMIに対する適切な評価を得ることができ、結果、HMIの研究開発が促進される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−３３５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された認知負荷評価装置は、以下に示す第１の問題点及び第２の問題点を内在している。以下に説明する。
【０００７】
第１の問題点は、特許文献１に開示された認知負荷評価装置では、ユーザが運転など何らかの作業中でなければ、ユーザの認知負荷を評価できない点である。これは、特許文献１に開示された認知負荷評価装置においては、認知負荷を評価するにあたり、各種センサを用いて作業中のユーザの行動に関するデータを取得する必要があるからである。
【０００８】
第２の問題点は、特許文献１に開示された認知負荷評価装置では、HMIの操作に音が関わっていた場合に、音量、発話スピードなど、ユーザが聴覚情報として認知できる情報に基づいて、認知負荷を評価できない点である。これは、特許文献１に開示された認知負荷評価装置は、音楽コンテンツがクラシック及びロックのうちのいずれであるか、また、音声コンテンツがニュース及び天気予報のうちのいずれであるかなど、コンテンツの形態に基づいた評価しか行わないからである。
【０００９】
［発明の目的］
本発明の目的の一例は、上記問題を解消し、ユーザから直接データを取得することなく、ユーザが認知できる聴覚情報に基づいてユーザの認知負荷を評価し得る、認知負荷評価装置、認知負荷評価方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の一側面における認知負荷評価装置は、ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するための認知負荷評価装置であって、
ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、情報解析部と、
前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、聴覚負荷評価部と、
を備えている、ことを特徴とする。
【００１１】
また、上記目的を達成するため、本発明の一側面における認知負荷評価方法は、ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するための方法であって、
（ａ）ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、ステップと、
（ｂ）前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、ステップと、
を有している、ことを特徴とする。
【００１２】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するためのプログラムであって、
前記コンピュータに、
（ａ）ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、ステップと、
（ｂ）前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、ステップと、
を実行させることを特徴とする。
【発明の効果】
【００１３】
以上のように、本発明における、認知負荷評価装置、認知負荷評価方法、及びプログラムによれば、ユーザから直接データを取得することなく、ユーザが認知できる聴覚情報に基づいてユーザの認知負荷を評価することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施の形態における認知負荷評価装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態における認知負荷評価装置の動作を示す流れ図である。
【図３】図３は、本発明の実施の形態において処理の対象となるHMI画面情報の一例を示す図である。
【図４】図４は、本発明の実施の形態において処理の対象となるHMI画面情報の一例を示す図である。
【図５】図５は、本発明の実施の形態において処理の対象となるHMI画面情報の一例を示す図である。
【図６】図６は、本発明の実施の形態において処理の対象となる操作情報の一例を示す図である。
【図７】図７は、本発明の実施の形態において用いられる参考情報の一例を示す図である。
【図８】図８は、本発明の実施の形態における認知負荷評価装置による出力結果の一例を示す図である。
【図９】図９は、本発明の実施の形態における認知負荷評価装置を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【００１５】
（実施の形態）
以下、本発明の実施の形態における、認知負荷評価装置、認知負荷評価方法、及びプログラムについて、図１〜図９を参照しながら説明する。
【００１６】
［装置構成］
最初に、本実施の形態における認知負荷評価装置の構成について、図１を用いて説明する。図１は、本発明の実施の形態における認知負荷評価装置の構成を示すブロック図である。図１に示す、本実施の形態における認知負荷評価装置１０は、HMIを操作するユーザの認知負荷を評価するための装置である。図１に示すように、本実施の形態における認知負荷評価装置１０は、主に、情報解析部１００と、聴覚負荷評価部３００とを備えている。
【００１７】
情報解析部１００は、HMIが表示された画面（以下「HMI画面」という。）のイメージを含む画面情報（以下「HMI画面情報」）、及びHMI画面を使用してタスクを遂行するための操作情報を解析して、タスクに関連する聴覚オブジェクトを抽出する。聴覚負荷評価部３００は、抽出された聴覚オブジェクトが含む要素毎に、各要素がユーザに与える負荷を算出する。また、聴覚負荷評価部３００は、算出した各負荷に基づいて、聴覚オブジェクトに対するユーザの聴覚負荷を求める。
【００１８】
このように、認知負荷評価装置１０では、ユーザに取り付けられたセンサではなく、HMI画面を使用するタスクに関連する各聴覚オブジェクトに基づいて、ユーザにおける聴覚負荷が取得されている。このため、認知負荷評価装置１０によれば、ユーザから直接データを取得することなく、ユーザが認知できる聴覚情報に基づいてユーザの認知負荷を評価することができる。
【００１９】
ここで、本実施の形態における認知負荷評価装置１０の構成について更に具体的に説明する。図１に示すように、認知負荷評価装置１０は、情報解析部１００及び聴覚負荷評価部３００に加えて、視覚負荷評価部２００と、操作負荷評価部４００と、周辺状況負荷評価部５００とを備えている。
【００２０】
また、認知負荷評価装置１０は、後述するように、コンピュータに、本実施の形態におけるプログラムをインプリメントすることによって構築できる。更に、認知負荷評価装置１０には、入力装置２０と、出力装置３０とが接続される。ここで、入力装置２０としては、マウス及びキーボードといった入力デバイス、ネットワークを介して接続された端末装置などが挙げられる。また、出力装置３０としては、液晶表示装置といった表示装置、プリンタなどが挙げられる。
【００２１】
［情報解析部］
情報解析部１００は、本実施の形態では、HMI画面情報と操作情報との解析によって、上述した聴覚オブジェクトに加えて、視覚オブジェクト、操作オブジェクト、周辺状況を抽出する。これらは認知負荷要因である。ここで、視覚オブジェクトとしては、HMI画面に表示されている、ボタン、メニュー、画像、及びテキストなどが挙げられる。また、聴覚オブジェクトとしては、タスクを遂行するためにHMI画面を操作したときに出力される、アラーム、音声メッセージなどが挙げられる。
【００２２】
また、操作オブジェクトは、視覚オブジェクト及び聴覚オブジェクトのうち、タスクを遂行するための操作対象となるオブジェクトである。周辺状況としては、タスク遂行時のHMI画面周辺の照度といった視覚環境、HMI画面周辺の雑音の音圧といった聴覚環境、操作デバイスが配置されている位置といった操作環境、タスクの遂行開始から完遂までに許容される制約時間、並行処理が求められるタスクの数などが挙げられる。
【００２３】
［視覚負荷評価部］
視覚負荷評価部２００は、視覚オブジェクトに対するユーザの視覚負荷をさまざまな要素に基づいて求める。視覚負荷評価部２００は、形式負荷演算部２１０と、配色負荷演算部２２０と、形状負荷演算部２３０と、密度負荷演算部２４０と、配置負荷演算部２５０と、視野負荷演算部２６０とを備える。
【００２４】
形式負荷演算部２１０は、視覚オブジェクトの形式がユーザに与える負荷（以下「形式負荷」という。）を算出する。ここで「形式」とは、動画、アニメーション、静止画（写真、図）、記号、テキスト（文字、数字）など、視覚オブジェクトの表示形態を指す。例えば、形式負荷演算部２１０は、形式負荷VWLmを、以下の数１を用いて算出することができる。
【００２５】
（数１）
VWLm =αvm×vm1 +βvm×vm2 +γvm×vm3 +δvm×vm4 +εvm×vm5 +ζvm×vm6 +ηvm×vm7
【００２６】
上記数１において、vm1、vm2、vm3、vm4、vm5、vm6、及びvm7は、それぞれ、動画、アニメーション、写真、図、記号、文字、数字に対応し、HMI画面内に、対応するオブジェクトが存在するときに「１」、存在しないときに「０」の値をとる関数である。また、αvm、βvm、γvm、δvm、εvm、ζvmは、それぞれ、動画、アニメーション、写真、図、記号、文字、数字に対応する重みである。
【００２７】
上記数１によれば、形式負荷は、HMI画面内に異なる形式の視覚オブジェクトが多く存在するほど負荷が大きくなるように算出される。例えば、HMI画面内に図、記号、文字、数字が存在し、重みがγ=ε=ζ=η=1の場合、形式負荷は4となる。また、vm1〜vm7の関数として、視覚オブジェクトの面積又は数に応じて変化する関数を用いてもよい。
【００２８】
配色負荷演算部２２０は、視覚オブジェクトの配色がユーザに与える負荷（以下「配色負荷」という。）を算出する。配色負荷の算出は、類似画像検索技術で一般的に用いられている算出方法、例えば、色に関する特徴量の抽出結果を用いる算出方法などによって行うことができる。配色負荷は、画面全体の彩度、明度、又は両方が極端に低かったり、彩度差、明度差、又は両方が少なかったり、色相差が少なかったり、するほど負荷が大きくなるように算出されるのが良い。例えば、配色負荷演算部２２０は、配色負荷VWLcを、以下の数２を用いて算出することができる。
【００２９】
（数２）
VWLc = vc1(W)
【００３０】
上記数２において、vc1は、HMI画面Wの配色負荷を算出するための関数である。vc1は、画面全体の彩度又は明度が極端に低かったり、彩度差明度差が少なかったり、色相差が少なかったりするほど、大きな値を出力するように構成されている。
【００３１】
形状負荷演算部２３０は、視覚オブジェクトの形状がユーザに与える負荷（以下「形状負荷」という。）を算出する。形状負荷は、視覚オブジェクトの形状が複雑なほど負荷が大きくなるように算出される。例えば、形状負荷演算部２３０は、形状負荷VWLsを、以下の数３を用いて算出することができる。
【００３２】
（数３）
VWLs = Kvs × Σ(l^2/S) / n
【００３３】
上記数３において、lは視覚オブジェクトの周囲長であり、Sは視覚オブジェクトの面積であり、l×l/Sは図形の複雑さを表す尺度である。nは視覚オブジェクトの総数である。また、Kvsは定数である。、上記数３から分かるように、形状負荷VWLsは、HMI画面に表示されている視覚オブジェクト全部の複雑度の平均値となっている。また、形状負荷の算出式としては、面積が小さいほど負荷が大きいとみなすのであれば、複雑度の代わりに、単純に面積の逆数が用いられていても良い。
【００３４】
密度負荷演算部２４０は、視覚オブジェクトの密度がユーザに与える負荷（以下「密度負荷」という。）を算出する。密度負荷は、視覚オブジェクトの密度が高いほど負荷が大きくなるように算出される。例えば、密度負荷演算部２４０は、密度負荷VWLdを、以下の数４を用いて算出することができる。
【００３５】
（数４）
VWLd = Kvd × (n / Ssum)
【００３６】
上記数４において、nは視覚オブジェクトの総数、Ssumは視覚オブジェクトの抽出元のHMI画面全体の面積である。また、Kvdは定数である。
【００３７】
配置負荷演算部２５０は、視覚オブジェクトの配置の状態がユーザに与える負荷（以下「配置負荷」という。）を算出する。配置負荷は、オブジェクトの配置がバラバラであるほど負荷が大きくなるように算出される。例えば、配置負荷演算部２５０は、配置負荷VWLpを、以下の数５を用いて算出することができる。
【００３８】
（数５）
VWLp = Kvp × {Σ(x-X)^2 + Σ(y-Y)^2} / n
【００３９】
上記数５において、x、yはそれぞれ、ある視覚オブジェクトのx座標値、y座標値である。X、Yはそれぞれすべての視覚オブジェクトのx座標値の平均値、y座標値の平均値である。nは視覚オブジェクトの総数である。また、Kvpは定数である。つまり、上記数５によれば、オブジェクトのx座標値の分散と、オブジェクトのy座標値の分散とを合わせた値が得られる。
【００４０】
視野負荷演算部２６０は、視覚オブジェクトのHMI画面における位置、即ち、ユーザの視野に対する視覚オブジェクトの位置が、ユーザに与える負荷（以下「視野負荷」という。）を算出する。視野負荷は、視覚オブジェクトの位置がHMI画面の中心部から離れるほど負荷が大きくなるように算出される。例えば、視野負荷演算部２６０は、視野負荷WVLfを、以下の数６を用いて算出することができる。
【００４１】
（数６）
WVLf = Kvf × Σ{1/fn(d)} / n
【００４２】
上記数６において、fnは正規分布の確率密度関数、dはHMI画面の中心部からの距離、nは視覚オブジェクトの総数である。また、Kvfは定数である。つまり、上記数６では、視野負荷は、HMI画面に表示されている視覚オブジェクト全部の負荷の平均値となっている。また、ここでいう「負荷」は、正規分布に従って視覚オブジェクトがHMI画面の中心部から離れるほど値が大きくなる負荷を意味する。
【００４３】
また、本実施の形態では、視覚負荷評価部２００は、上記の各演算部以外の演算部を備えていても良い。視覚負荷評価部２００は、HMI画面における表示の変化量がユーザに与える負荷、例えば、視覚オブジェクトのブリンク（点滅）、アニメーションの表示の激しさ等、これまで述べた負荷要素以外の要素がユーザに与える負荷を算出する演算部を備えていても良い。
【００４４】
更に、本実施の形態では、視覚負荷評価部２００は、上記の各演算部が算出した負荷を組み合わせて、視覚負荷を算出する。例えば、視覚負荷評価部２００は、以下の数７を用いて、視覚負荷VWLを算出することができる。なお、下記数７において、α、β、γ、δ、ε、及びζは、それぞれ各負荷要素の重みである。
【００４５】
（数７）
VWL = α×VWLm + β×VWLc + γ×VWLs + δ×VWLd + ε×VWLp + ζ×WVLf
【００４６】
［聴覚負荷評価部］
聴覚負荷評価部３００は、聴覚オブジェクトに対するユーザの聴覚負荷をさまざまな要素に基づいて求める。聴覚負荷評価部３００は、音声負荷演算部３１０と、音圧負荷演算部３２０と、音高負荷演算部３３０とを備える。
【００４７】
音声負荷演算部３１０は、音声メッセージの内容がユーザに与える負荷（以下「音声負荷」という。）を算出する。ここで「内容」とは、音声メッセージの「聞き取りやすさ」又は「理解のしやすさ」を意味する。一例として、話速度を用いて評価を行う場合を説明する。この場合、音声負荷演算部３１０は、音声メッセージの話速度が、一般的に聞き取りやすい平均的な話速度4.95[mora/sec]から離れるほど値が大きくなるように、音声負荷を算出する。例えば、音声負荷演算部３１０は、音声負荷AWLmを、以下の数８を用いて算出することができる。
【００４８】
（数８）
AWLm = Kam × 1 / fn(s-4.95)
【００４９】
上記数８において、sは音声メッセージの話速度、fnは正規分布の確率密度関数である。またKamは定数である。つまり、上記数８では、音声負荷AWLmは、正規分布に従って、音声メッセージの話速度が4.95[mora/sec]より離れるほど、値が大きくなるように算出される。
【００５０】
音圧負荷演算部３２０は、聴覚オブジェクトの音圧がユーザに与える負荷（以下「音圧負荷」という。）を算出する。ここで「音圧」は、一般的に音量を表す「音圧レベル[dB]」で表される。音圧負荷は、音圧レベルが大きいほど値が大きくなるように算出される。例えば、音圧負荷演算部３２０は、音圧負荷AWLpを、以下の数９を用いて算出することができる。
【００５１】
（数９）
AWLp = Kap × ap1(M)
【００５２】
下記数９において、ap1(M)は音声メッセージMの音圧レベルである。また、Kapは定数である。
【００５３】
音高負荷演算部３３０は、聴覚オブジェクトの音高がユーザに与える負荷（以下「音高負荷」という。）を算出する。ここで「音高」は、一般的に周波数で表され、高音が高い（周波数の高い音）ほど耳につくと言われている。音高負荷は、聴覚オブジェクトの周波数が、基準の周波数から離れるほど、値が大きくなるように算出される。例えば、音高負荷演算部３０は、基準の周波数を440Hzとして、音高負荷AWLfを、以下の数１０を用いて算出することができる。
【００５４】
（数１０）
AWLf = Kaf × 1 / fn(f-440)
【００５５】
上記数１０において、fnは正規分布の確率密度関数、fは聴覚オブジェクトの周波数である。また、Kafは定数である。つまり、上記の式では、正規分布に従って、聴覚オブジェクトの周波数が440Hzより離れるほど負荷が大きくなるように算出される。
【００５６】
また、本実施の形態では、聴覚負荷評価部３００は、上記の各演算部が算出した負荷を組み合わせて、聴覚負荷を算出する。例えば、聴覚負荷評価部３００は、以下の数１１を用いて、聴覚負荷AWLを算出することができる。
【００５７】
（数１１）
AWL = θ×AWLm + ι×AWLp + κ×AWLf
【００５８】
上記数１１において、θ、ι、及びκは、それぞれ各負荷要素の重みである。
【００５９】
［操作負荷評価部］
操作負荷評価部４００は、操作オブジェクトに対するユーザの操作負荷をさまざまな要素に基づいて求める。操作負荷評価部４００は、動作負荷演算部４１０と、選択肢負荷演算部４２０とを備える。
【００６０】
動作負荷演算部４１０は、ユーザのHMI操作に伴う動作がユーザ自身に与える負荷（以下「動作負荷」という。）を算出する。ここで「動作」とは、操作デバイスがキーボードの場合には「打鍵数」、マウスの場合には「ポインタ移動距離」及び「クリック操作」、タッチパネルの場合には、タップ、ピンチイン、ピンチアウトなどの「指動作」、及び「指移動距離」を意味する。「動作」は、操作デバイスによって異なる。
【００６１】
ここで、一例として、キーボード操作とマウス操作とが用いられる場合の動作負荷について説明する。キーボード操作とマウス操作とに関しては、操作時間の予測手法としてそれぞれキーストロークレベルモデル、Fittsの法則が知られている。
【００６２】
キーストロークレベルモデルは、キー入力に要する時間を予測するモデルであり、詳しくはキーボードからマウスへ手を移動させる時間、反対のマウスからキーボードへ手を移動させる時間、次の段階に進むための心理的準備時間などを含む。但し、本実施の形態では、簡単のため、キーボード上のキーを入力する時間のみを考えることとする。このとき、1つのキー入力に要する時間を200[ms]とすると、k個のキー入力に要する時間は、200×k[ms]となる。
【００６３】
また、Fittsの法則は、ユーザがカーソルを現在位置から目標ターゲットに移動するまでの操作時間T[ms]を予測するものであり、操作時間Tは一般に下記の数１２で表される。
【００６４】
（数１２）
T = a + b × log2(A/Ws + 1)
【００６５】
上記数１２において、aは操作効率、同じくbも操作効率、Aはカーソル現在位置とターゲットとの距離、Wsはターゲットとなる操作オブジェクトの大きさである。一般的には、a=50、b=150程度である。
【００６６】
そして、キーストロークレベルモデル及びFittsの法則は操作時間を算出するものであるが、認知負荷を算出する場合に利用できる。つまり、操作時間が大きいほど動作負荷は大きくなると考えられるので、この考えに基づいて動作負荷を算出すれば良い。
【００６７】
例えば、クリック操作については、1回のマウスクリックに要する時間を150[ms]とすると、s回のクリックに要する時間は150×s[ms]となる。従って、動作負荷演算部４１０は、キーボードとマウスとを用いる場合の動作負荷OWLmを、以下の数１３を用いて算出することができる。
【００６８】
（数１３）
OWLm = αom × (200×k) + βom × {50 + 150 × log(A/W + 1) + 150 × s}
【００６９】
上記数１３において、αom、βomは、それぞれキーボード操作およびマウス操作に対応する重みである。
【００７０】
選択肢負荷演算部４２０は、HMI操作時の選択肢の数がユーザに与える負荷（以下「選択肢負荷」という。）を算出する。具体的には、選択肢負荷は、HMI画面上の複数のボタン及びメニューなどから、ユーザが１つのオブジェクトを選択する場合に、ユーザにかかる負荷であり、選択肢が多いほど値は大きくなる。一般的に、n個の選択肢から１つを選ぶ場合の困難度は「Hickの法則」として知られており、すべての選択肢が均等に選択されると仮定すると、その困難度Hは、以下の数１４によって算出される。
【００７１】
（数１４）
H = log2(n+1)
【００７２】
上記数１４は、「すべての選択肢が等確率で選択される場合、その選択の困難度は選択肢の数の対数に比例する」ことを意味している。選択肢負荷がHickの法則に従うとすると、選択肢負荷演算部４２０は、選択肢負荷OWLsを、以下の数１５を用いて算出することができる。
【００７３】
（数１５）
OWLs = Kos × log(n+1)
【００７４】
上記数１５において、nは選択肢の数である。また、Kosは定数である。
【００７５】
また、本実施の形態では、操作負荷評価部４００は、上記の各演算部が算出した負荷を組み合わせて、操作負荷を算出する。例えば、操作負荷評価部４００は、以下の数１６を用いて、操作負荷OWLを算出することができる。
【００７６】
（数１６）
OWL = λ×OWLm + μ×OWLs
【００７７】
上記数１６において、λ、μはそれぞれ各負荷要素の重みである。
【００７８】
［周辺状況負荷評価部］
周辺状況負荷評価部５００は、周辺状況に対するユーザの負荷をさまざまな要素に基づいて評価する。周辺状況負荷評価部５００は、視覚環境負荷演算部５１０と、聴覚環境負荷演算部５２０と、操作環境負荷演算部５３０と、制約時間負荷演算部５４０と、並行タスク負荷演算部５５０とを備える。
【００７９】
視覚環境負荷演算部５１０は、HMI画面周辺の照度など、ユーザがHMIを操作してタスクを遂行する際の視覚環境がユーザに与える負荷（以下「視覚環境負荷」という。）を算出する。例えば、「VDT(Visual Display Terminals)作業における労働衛生管理のためのガイドライン」では、「ディスプレイ画面上における照度は500ルクス以下、書類上及びキーボード上における照度は300ルクス以上とすること」と記されている。これに従うとすると、視覚環境負荷演算部５１０は、視覚環境負荷EWLvを、以下の数１７を用いて算出することができる。
【００８０】
（数１７）
EWLv = Kev × 1 / fd(lx-400)
【００８１】
上記数１７において、fdは標準正規分布の確率密度関数、lxはユーザがHMI操作を行う環境の照度［ルクス］である。また、Kevは定数である。上記数１７によれば、視覚環境負荷EWLvは、ユーザがHMI操作を行う環境の照度が、400ルクスから離れるほど値が大きくなるように算出される。
【００８２】
聴覚環境負荷演算部５２０は、HMI画面周辺の雑音の音圧など、ユーザがHMIを操作してタスクを遂行する際の聴覚環境がユーザに与える負荷（以下「聴覚環境負荷」という。）を算出する。例えば、雑音の音圧負荷を考えると、聴覚環境負荷演算部５２０は、聴覚環境負荷EWLaを、以下の数１８を用いて算出することができる。
【００８３】
（数１８）
EWLa = Kea × ea1(N)
【００８４】
上記数１８において、ea1(N)は雑音Nの音圧レベルである。また、Keaは定数である。
【００８５】
操作環境負荷演算部５３０は、操作デバイスの操作環境がユーザに与える負荷（以下「操作環境負荷」）を算出する。操作デバイスの操作環境としては、例えば、ユーザに対する操作デバイスの位置、ユーザの操作姿勢などが挙げられる。例えば、ユーザと操作デバイスとの距離を操作環境とした場合、操作環境負荷演算部５３０は、操作環境負荷EWLoを、上述のFittsの法則に従って、以下の数１９を用いて算出することができる。
【００８６】
（数１９）
EWLo = Keo × {a + b × log(A/Ws + 1)}
【００８７】
上記数１９において、Keoは定数である。また、上記数１９において、aは操作効率、同じくbも操作効率、Aはユーザの席と操作デバイスとの距離、Wsは操作デバイスの大きさである。
【００８８】
但し、上述の数１２の場合と異なり、上記数１９では、操作時間（= a + b × log2(A/Ws + 1)）は、マウスカーソルの移動にかかる時間ではなく、ユーザがその腕を操作デバイスまで移動するのにかかる時間である。よって、上記数１９においては、特にbの値が大きくなる。例えば、b=500とすると、操作環境負荷演算部５３０は、操作環境負荷EWLoを、更に以下の数２０を用いて算出する。
【００８９】
（数２０）
EWLo = Keo × {50 + 500 × log(A/W + 1)}
【００９０】
制約時間負荷演算部５４０は、タスク遂行開始から完遂までに許容される制約時間がユーザに与える負荷（以下「制約時間負荷」という。）を算出する。一般的に、制約時間負荷は、作業時間に余裕があるときは小さくなり、作業時間に余裕がないときは大きくなる。制約時間tを横軸としたときに、制約時間負荷が正規分布に従うとすると、制約時間負荷演算部５４０は、制約時間負荷EWLtを、以下の数２１を用いて算出することができる。
【００９１】
（数２１）
EWLt = Ket × fd(t)
【００９２】
上記数２１において、fdは、正規分布の確率密度関数である。tは、あるタスクの遂行開始から完遂までにかかる時間（制約時間）である。また、Ketは定数である。
【００９３】
並行タスク負荷演算部５５０は、現在操作対象としているタスク以外に並行して遂行することが求められるタスクの数（即ち、並行処理が求められるタスクの数）が、ユーザに与える負荷（以下「並行タスク負荷という。」）を算出する。並行タスク負荷は、一般的に、並行して遂行することが求められるタスクの数が多いほど、値が大きくなる。例えば、並行処理が求められるタスクの数pに対して、並行タスク負荷が指数関数的に大きくなるとすると、並行タスク負荷演算部５５０は、並行タスク負荷EWLpを、以下の数２２を用いて算出することができる。なお、以下の数２２において、Kepは定数である。
【００９４】
（数２２）
EWLp = Kep × exp(p)
【００９５】
また、本実施の形態では、周辺状況負荷評価部５００は、上記の各演算部が算出した負荷を組み合わせて、周辺状況負荷を算出する。例えば、周辺状況負荷評価部５００は、以下の数２３を用いて、周辺状況負荷EWLを算出することができる。
【００９６】
（数２３）
EWL = ν×EWLv + ξ×EWLa + ο×EWLo + π×EWLt + ρ×EWLp
【００９７】
ここで、上記数２３において、ν、ξ、ο、π、ρは、それぞれ各負荷要素の重みである。
【００９８】
統合負荷評価部６００は、視覚負荷評価部２００、聴覚負荷評価部３００、操作負荷評価部４００、及び周辺状況負荷評価部５００、それぞれが算出した負荷を統合して、ユーザの認知負荷を算出する。
【００９９】
ここで、負荷の統合は、各評価部が算出した負荷を組み合わせることによって行われても良いし、各評価部が備える全部又は一部の演算部が算出した負荷を組み合わせることによって行われても良い。例えば、総合負荷評価部６００は、以下の数２４を用い、各評価部が算出した負荷を組み合わせて、認知負荷WLを算出することができる。
【０１００】
（数２４）
WL = σ×VWL + τ×AWL + υ×OWL + φ×EWL
【０１０１】
上記数２４において、σ、τ、υ、φは、各負荷の重みである。
【０１０２】
本実施の形態では、統合負荷評価部６００は、HMI画面毎又はタスクのステップ毎の認知負荷、各評価部が算出した負荷、各演算部が算出した負荷を算出しても良い。更に、総合負荷評価部６００は、タスクにおけるステップ単位の認知負荷の平均値／分散値、各評価部が算出した負荷の平均値／分散値、各演算部が算出した負荷の平均値／分散値を算出しても良い。
【０１０３】
また、総合負荷評価部６００は、タスクにおける全ステップの認知負荷の総和、各評価部が算出した負荷の総和、各演算部が算出した負荷の総和を算出しても良い。更に、総合負荷評価部６００は、ステップ間の認知負荷の変化量、各評価部が算出した負荷の変化量、各演算部が算出した負荷の変化量を算出しても良い。
【０１０４】
［装置動作］
次に、本発明の実施の形態における認知負荷評価装置１０の動作について図２〜図８を用いて説明する。図２は、本発明の実施の形態における認知負荷評価装置の動作を示す流れ図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態では、認知負荷評価装置１０を動作させることによって、認知負荷評価方法が実施される。よって、本実施の形態における認知負荷評価方法の説明は、以下の認知負荷評価装置１０の動作説明に代える。
【０１０５】
［ステップＡ１］
最初に、図２に示すように、情報解析部１００が、入力装置２０からのHMI情報の入力を受け付ける（ステップＡ１）。HMI情報は、HMI画面情報、操作情報、負荷の算出に必要なその他の参考情報を含む。
【０１０６】
ここで、入力されるHMI画面情報の例を図３、図４、図５に示す。図３〜図５は、それぞれ、本発明の実施の形態において処理の対象となるHMI画面情報の一例を示す図である。具体的には、図３は、操作対象となるHMIのメイン画面を示し、図４は、図３のメイン画面上で「ファイル」メニューを選択したときの画面を示し、図５は、図４の画面上で「開く」を選択したときに表示されるダイアログを示す。
【０１０７】
また、操作情報の例を図６に示す。図６は、本発明の実施の形態において処理の対象となる操作情報の一例を示す図である。図６に示す操作情報は、６つのステップＳ１〜Ｓ６を含み、タスク「ファイル名"xxx.txt"のファイルを開く」を実行する際の操作情報を表している。また、参考情報の例を図７に示す。図７は、本発明の実施の形態において用いられる参考情報の一例を示す図である。
【０１０８】
［ステップＡ２］
次に、情報解析部１００が、ステップＡ１で受け付けたHMI情報を解析し、図３〜図５に示すHMI画面情報から、ボタン、メニュー、及びテキストなどの視覚オブジェクトを抽出する（ステップＡ２）。また、ステップＡ２では、情報解析部１００は、図６に示す操作情報を解析し、音声メッセージなどの聴覚オブジェクト、タスクを遂行するための操作対象となる操作オブジェクトも抽出する。さらに、情報解析部１００は、図７に示す参考情報から、負荷の算出に必要な情報を抽出する。
【０１０９】
具体的には、情報解析部１００は、図３に示したHMI画面情報から、ウインドウタイトルの文字列「ABCアプリ」、４つのメニュー「ファイル」、「編集」、「検索」、「ヘルプ」を抽出する。さらに、情報解析部１００は、図４に示したHMI画面情報からは、「ファイル」メニューの５つのアイテム、「新規作成 Ctrl+N」、「開く... Ctrl+O」、「閉じる」、「保存する... Ctrl+S」、「印刷する... Ctrl+P」を抽出する。
【０１１０】
また、情報解析部１００は、図５に示したHMI画面情報からは、ウインドウタイトルの文字列「ファイルを開く」、文字列「開くファイルを指定してください。」、ファイル名入力用のテキストフィールド、３つのボタン「参照...」、「OK」、「キャンセル」を抽出する。更に、情報解析部１００は、図６に示した操作情報からは、６つのステップからなる操作内容を抽出し、図７に示した参考情報からは、各項目の情報とそれに対応する値とを抽出する。
【０１１１】
［ステップＡ３］
次に、視覚負荷評価部２００が、HMI情報で表されるタスクについて視覚負荷を求める（ステップＡ３）。ステップＡ３では、視覚評価部２００は、図６に示したステップＳ１〜Ｓ６それぞれ毎に、視覚負荷を求める。
【０１１２】
ステップＡ３において、視覚負荷評価部２００は、先ず、図６に示した操作情報のステップＳ１について視覚負荷を算出する。具体的には、形式負荷演算部２１０は、「ABCアプリ」ウインドウに表示されている、テキスト文字列「ABCアプリ」、「ファイル」、「編集」、「検索」、「ヘルプ」について形式負荷を算出する。このとき、形式負荷として算出された値をVWLm(S1)とする。
【０１１３】
配色負荷演算部２２０は、「ABCアプリ」ウインドウの配色負荷を算出する。このとき、配色負荷として算出された値をVWLc(S1)とする。
【０１１４】
形状負荷演算部２３０は、ウインドウタイトルの文字列「ABCアプリ」、４つのメニュー「ファイル」、「編集」、「検索」、「ヘルプ」の形状負荷を算出する。このとき、形状負荷として算出された値をVWLs(S1)とする。
【０１１５】
密度負荷演算部２４０は、「ABCアプリ」ウインドウ上に５つの視覚オブジェクトがあるとして密度負荷を算出する。このとき、密度負荷として算出された値をVWLd(S1)とする。
【０１１６】
配置負荷演算部２５０は、「ABCアプリ」ウインドウに対する５つの視覚オブジェクトの相対座標を用いて配置負荷を算出する。このとき、配置負荷として算出された値をVWLp(S1)とする。
【０１１７】
視野負荷演算部２６０は、「ABCアプリ」ウインドウの中心座標から５つの視覚オブジェクトまでの距離を用いて視野負荷を算出する。このとき、視野負荷として算出された値をVWLf(S1)とする。
【０１１８】
その後、視覚負荷評価部２００は、上記の算出された各負荷を合算する。そして、視覚負荷評価部２００は、図６に示した操作情報のステップＳ１における視覚負荷VWL(S1)を、下記の数２５を用いて算出する。
【０１１９】
（数２５）
VWL(S1) = VWLm(S1)+VWLc(S1)+VWLs(S1)+VWLd(S1)+VWLp(S1)+VWLf(S1)
【０１２０】
同様にして、視覚負荷評価部２００は、図６に示した操作情報のステップＳ２についても視覚負荷を算出する。具体的には、視覚負荷評価部２００は、図４に示した「ABCアプリ」ウインドウの「ファイル」メニューを選択した状態の画面を用いて視覚負荷を算出する。いま、図６に示した操作情報のステップＳ２における視覚負荷として算出された値をVWL(S2)とする。
【０１２１】
更に、視覚負荷評価部２００は、図６に示した操作情報のステップＳ３については、図５に示した「ファイルを開く」ダイアログ画面を用いて視覚負荷を算出する。いま、ステップＳ３における視覚負荷として算出された値をVWL(S3)とする。
【０１２２】
また、視覚負荷評価部２００は、図６に示した操作情報のステップＳ４については、視覚負荷がないのでステップＳ４における視覚負荷はVWL(S4) = 0とする。更に、視覚負荷評価部２００は、図６に示した操作情報のステップＳ５およびステップＳ６については、HMI画面がステップＳ３の場合と変わらないのでVWL(S5) = VWL(S6) = VWL(S3)とする。
【０１２３】
なお、ステップＳ３、ステップＳ５、ステップＳ６については、「ABCアプリ」ウインドウと、「ファイルを開く」ダイアログとが、同時にHMI画面として表示されている。従って、視覚負荷評価部２００は、これら２つの画面の視覚負荷を合算して得られた値を視覚負荷として用いることもできる。
【０１２４】
［ステップＡ４］
次に、聴覚負荷評価部３００が、HMI情報で表されるタスクについて聴覚負荷を算出する（ステップＡ４）。但し、図６に示した操作情報では、ステップＳ４を除き、各ステップにおいて、聴覚オブジェクトは存在していない。従って、これらステップの聴覚負荷は０となるので、聴覚負荷評価部３００は、AWL(S1)=AWL(S2)=AWL(S3)=AWL(S5)=AWL(S6)=0と評価する。
【０１２５】
一方、図６に示した操作情報のステップＳ４に対しては、音声負荷演算部３１０は、聴覚オブジェクトとして抽出された音声メッセージ「開くファイルを指定してください」を用いて音声負荷を算出する。具体的には、音声負荷演算部３１０は、図７に示した参考情報の「音声メッセージの話速度」の値4.95[mora/sec]を用いて、音声負荷を算出する。いま、音声負荷として算出された値をAWLm(S4)とする。
【０１２６】
音圧負荷演算部３２０は、聴覚オブジェクトとして抽出された音声メッセージの音圧負荷を算出する。具体的には、音高負荷演算部３３０は、図７に示した参考情報の「音声メッセージの音圧」の値50[dB]を用いて、音圧負荷を算出する。いま、音圧負荷として算出された値をAWLp(S4)とする。
【０１２７】
音高負荷演算部３３０は、聴覚オブジェクトとして抽出された音声メッセージの音高負荷を算出する。具体的には、音高負荷演算部３３０は、図７に示した参考情報の「音声メッセージの周波数」の値440[Hz]を用いて、音高負荷を算出する。いま、音高負荷として算出された値をAWLf(S4)とする。
【０１２８】
その後、ステップＡ４において、聴覚負荷評価部３００は、上記の各負荷を足しあわせ、ステップＳ４における聴覚負荷を、VWL(S4) = AWLm(S4)+AWLp(S4)+AWLf(S4)として算出する。
【０１２９】
［ステップＡ５］
次に、操作負荷評価部４００が、HMI情報で表されるタスクについて操作負荷を算出する（ステップＡ５）。ステップＡ５では、操作負荷評価部４００は、図６に示したステップＳ１〜Ｓ６それぞれ毎に、操作負荷を求める。
【０１３０】
操作負荷評価部４００は、先ず、図６に示した操作情報のステップＳ１について操作負荷を算出する。具体的には、ステップＡ５において、動作負荷演算部４１０は、「ABCアプリ」ウインドウの中心座標から「ファイル」メニューまでの距離、「ファイル」メニューの面積、さらに１回のマウスクリックから、動作負荷を算出する。いま、動作負荷として算出された値をOWLm(S1)とする。
【０１３１】
選択肢負荷演算部４２０は、「ファイル」、「編集」、「検索」、「ヘルプ」の４つのメニューから「ファイル」メニューを選択することについて、選択肢負荷を算出する。いま、選択肢負荷として算出された値をOWLs(S1)とする。
【０１３２】
その後、ステップＡ５において、操作負荷評価部４００は、上記の算出された各負荷を足しあわせ、図６に示した操作情報のステップＳ１における操作負荷を、OWL(S1) = OWLm(S1)+OWLs(S1)として算出する。
【０１３３】
同様にして、操作負荷評価部４００は、図６に示した操作情報のステップＳ２についても操作負荷を算出する。具体的には、動作負荷演算部４１０は、図４に示した「ABCアプリ」ウインドウの「ファイル」メニューから「開く...」メニューまでの距離、「開く...」メニューの面積、１回のマウスクリックにかかる動作負荷を算出する。また、選択肢負荷演算部４２０は、「新規作成」、「開く...」、「閉じる」、「保存する...」、「印刷する...」の５つのメニューから「開く...」メニューを選択することについての選択肢負荷を算出する。そして、操作負荷評価部４００は、これらの算出した値を足しあわせて、操作負荷として算出する。いま、図６に示した操作情報のステップＳ２における操作負荷として算出された値をOWL(S2)とする。
【０１３４】
また、図６に示した操作情報のステップＳ３およびステップＳ４においては、操作は行われないので、操作負荷評価部４００は、操作負荷を０とする。
【０１３５】
更に、図６に示した操作情報のステップＳ５については、自動的にフォーカスがテキストフィールドに移っているものとすると、マウス操作に関する負荷は０となる。よって、操作負荷評価部４００は、文字列「xxx.txt」を入力するための７回の打鍵のみについて、操作負荷を算出する。いま、図６に示した操作情報のステップＳ５における操作負荷として算出された値をOWL(S5)とする。
【０１３６】
また、図６に示した操作情報のステップＳ６については、動作負荷演算部４１０は、「ファイルを開く」ダイアログの中心座標から「OK」ボタンまでの距離、「OK」ボタンの面積、１回のマウスクリックにかかる動作負荷を算出する。また、選択肢負荷演算部４２０は、「参照」、「OK」、「キャンセル」の3つのボタンから1つの「OK」ボタンを選ぶことについての選択肢負荷も算出する。そして、操作負荷評価部４００は、これらの算出した値を足しあわせて、操作負荷を算出する。いま、図６に示した操作情報のステップＳ６における操作負荷として算出された値をOWL(S6)とする。
【０１３７】
［ステップＡ６］
次に、周辺状況負荷評価部５００が、HMI情報で表されるタスクについて周辺状況負荷を算出する（ステップＡ６）。具体的には、ステップＡ６において、視覚環境負荷演算部５１０は、図７に示した参考情報の「照度」の値「400[lx]」を用いて、視覚環境に関する負荷を算出する。いま、視覚環境に関する負荷として算出された値をEWLv(S)とする。
【０１３８】
聴覚環境負荷演算部５２０は、図７に示した参考情報の「周囲の雑音の音圧」の値20[dB]を用いて、聴覚環境に関する負荷を算出する。いま、聴覚環境に関する負荷として算出された値をEWLa(S)とする。
【０１３９】
操作環境負荷演算部５３０は、図７に示した参考情報の「ユーザの席とキーボードとの距離」の値400[mm]、「キーボードの面積」の値250[mm]×500[mm]、「ユーザの席とマウスとの距離」の値500[mm]、「マウスの面積」の値100[mm]×70[mm]を用いて、操作環境に関する負荷を算出する。いま、キーボード操作環境に関する負荷として算出された値をEWLo(Sk)、マウス操作環境に関する負荷として算出された値をEWLo(Sm)とする。
【０１４０】
制約時間負荷演算部５４０は、図７に示した参考情報の「タスク遂行の制約時間」の値を用いて、制約時間に関する負荷を算出する。但し、図７に示した参考情報では、タスク遂行の制約時間は「なし」となっているので、制約時間に関する負荷は０となる。
【０１４１】
並行タスク負荷演算部５５０は、図７に示した参考情報の「並行タスク数」の値を用いて並行タスク数に関する負荷を算出する。但し、図７に示した参考情報では、並行タスク数は０であるので、並行タスク数に関する負荷も０となる。
【０１４２】
そして、図６に示した操作情報のステップＳ１、Ｓ２、及びＳ６における周辺状況負荷（EWL(S1)、EWL(S2)、EWL(S6)）は、視覚環境負荷、聴覚環境負荷、及びマウス操作環境負荷を足しあわせることによって、即ち、下記の数２６を用いて算出される。
【０１４３】
（数２６）
EWL(S1) = EWL(S2) = EWL(S6) = EWLv(S) + EWLa(S) + EWLo(Sm)
【０１４４】
また、図６に示した操作情報のステップＳ３及びＳ４においては、操作が行われていないので、周辺状況負荷は、視覚環境負荷と聴覚環境負荷とを足しあわせることによって、即ち、下記の数２７を用いて算出される。
【０１４５】
（数２７）
EWL(S3)=EWL(S4)=EWLv(S) + EWLa(S)
【０１４６】
更に、図６に示した操作情報のステップＳ５における周辺状況負荷は、視覚環境負荷、聴覚環境負荷、およびキーボード操作環境負荷を足しあわせることによって、即ち、下記の数２８を用いて算出される。
【０１４７】
（数２８）
EWL(S5)=EWLv(S) + EWLa(S) + EWLo(Sk)
【０１４８】
また、図６に示した操作情報のステップＳ１、Ｓ２、Ｓ５およびＳ６においては、ユーザが各ステップを実行する際に、視覚を必要とする。従って、ステップＳ１、Ｓ２、Ｓ５及びＳ６については、視覚環境負荷の重みを大きくしても良い。一方、聴覚を必要とするステップＳ４については、聴覚環境負荷の重みを大きくしても良い。
【０１４９】
また、本実施の形態において、ステップＡ３〜Ａ６の実行順序は、上述した順序に限定されるものではない。ステップＡ３〜Ａ６は、並行に実行されていても良いし、任意の順序で実行されていても良い。
【０１５０】
［ステップＡ７］
次に、統合評価部６００が、ステップＡ３〜ステップＡ６で得られた結果に基づいて、即ち、各評価部又は各演算部がそれぞれ算出した負荷を統合して、認知負荷を算出する（ステップＡ７）。
【０１５１】
例えば、各評価部が、上記数２４を用いて、算出した値を足しあわせたものを認知負荷として算出すると、ステップＳ１における認知負荷は、下記の数２９の通りとなる。同様にして、ステップＳ２における認知負荷は下記の数３０の通り、ステップＳ３における認知負荷は下記の数３１の通り、ステップＳ４における認知負荷は下記の数３２の通り、ステップＳ５における認知負荷は下記の数３３の通り、ステップＳ６における認知負荷は下記の数３４の通りとなる。なお、下記数２９〜数３４においては、簡単のために、各負荷の重みσ、τ、υ、φ（上記数２４参照）の値は、すべて１に設定されている。
【０１５２】
（数２９）
WL(S1)=VWL(S1)+OWL(S1)+EWL(S1)
【０１５３】
（数３０）
WL(S2)=VWL(S2)+OWL(S2)+EWL(S2)
【０１５４】
（数３１）
WL(S3)=VWL(S3)+OWL(S3)+EWL(S3)
【０１５５】
（数３２）
WL(S4)=VWL(S4)+AWL(S4)+OWL(S4)+EWL(S4)
【０１５６】
（数３３）
WL(S5)=VWL(S5)+OWL(S5)+EWL(S5)
【０１５７】
（数３４）
WL(S6)=VWL(S6)+OWL(S6)+EWL(S6)
【０１５８】
［ステップＡ８］
最後に、統合評価部６００が、算出した認知負荷を表示装置３０に出力し、図８に示すように、結果を表示装置の表示画面に表示させる（ステップＡ８）。図８は、本発明の実施の形態における認知負荷評価装置による出力結果の一例を示す図である。図８の例では、図６に示したステップＳ１からＳ６の各ステップの認知負荷は、棒グラフで表されている。またステップＳ１からＳ６までの認知負荷の平均値、さらに各ステップの視覚負荷、聴覚負荷、操作負荷、周辺状況負荷が折れ線グラフで表されている。
【０１５９】
ユーザが図８に示した表示結果を見ることで、例えば、「ステップＳ３の認知負荷が最も高い」、「ステップＳ２とＳ３との間で急激に認知負荷が上昇している」、「ステップＳ４とＳ５との間で操作負荷の上昇が大きい」など、認知負荷の観点からのHMIの特徴や問題点などが容易に把握でき、HMIの改良・改善などに活用することができる。
【０１６０】
［実施の形態における効果］
次に、本実施の形態の効果について説明する。本実施の形態では、設計段階でのHMI画面イメージなどのHMI情報を解析することによって、認知負荷を推定することができる。従って、HMIの開発段階などにおいて、ユーザが作業する前に、即ち、作業中のユーザから各種センサを用いてデータを取得しなくても、認知負荷を推定できる。
【０１６１】
また、本実施の形態では、さらに、HMI情報から抽出した聴覚オブジェクトがユーザに与える負荷を評価できるため、ユーザが聴覚情報として認知するコンテンツの情報量及び複雑さに基づいて、ユーザの認知負荷を推定できる。
【０１６２】
更に、本実施の形態では、聴覚オブジェクトに対する負荷だけでなく、雑音、スピーカとユーザとの距離など周辺状況の負荷も統合して、認知負荷を評価することもできる。このため、本実施の形態によれば、ユーザが聴覚情報としてコンテンツを認知する際の周辺状況に応じた負荷を推定することもできる。
【０１６３】
［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図２に示すステップＡ１〜Ａ８を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における認知負荷評価装置１０と認知負荷評価方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、情報解析部１００、視覚負荷評価部２００、聴覚負荷評価部３００、操作負荷評価部４００、及び周辺状況負荷評価部５００として機能し、処理を行なう。
【０１６４】
ここで、実施の形態におけるプログラムを実行することによって、認知負荷評価装置１０を実現するコンピュータについて図９を用いて説明する。図９は、本発明の実施の形態における認知負荷評価装置１０を実現するコンピュータの一例を示すブロック図である。
【０１６５】
図９に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
【０１６６】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【０１６７】
また、記憶装置１１３の具体例としては、ハードディスクの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【０１６８】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash）及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
【０１６９】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記２４）によって表現することができるが、以下の記載に限定されるものではない。
【０１７０】
（付記１）
ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するための認知負荷評価装置であって、
ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、情報解析部と、
前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、聴覚負荷評価部と、
を備えている、ことを特徴とする認知負荷評価装置。
【０１７１】
（付記２）
前記ユーザがタスクを遂行する際の周辺状況が含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記周辺状況に対する前記ユーザの周辺状況負荷を求める、周辺状況負荷評価部と、
前記聴覚負荷評価部によって算出された前記負荷又は求められた前記聴覚負荷と、前記周辺状況負荷評価部によって算出された前記負荷又は求められた前記周辺状況負荷とを統合し、統合結果に基づいて、前記ユーザの認知負荷を評価する、統合評価部と、
を更に備えている、付記１に記載の認知負荷評価装置。
【０１７２】
（付記３）
前記聴覚オブジェクトが音声メッセージである場合に、
前記聴覚負荷評価部が、前記聴覚オブジェクトが含む要素として、前記音声メッセージの内容を用い、前記音声メッセージの内容が前記ユーザに与える負荷を算出する、付記１または２に記載の認知負荷評価装置。
【０１７３】
（付記４）
前記聴覚負荷評価部が、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音圧を用い、前記聴覚オブジェクトの音圧が前記ユーザに与える負荷を算出する、付記１〜３のいずれかに記載の認知負荷評価装置。
【０１７４】
（付記５）
前記聴覚負荷評価部が、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音高を用い、前記聴覚オブジェクトの音高が前記ユーザに与える負荷を算出する、付記１〜４のいずれかに記載の認知負荷評価装置。
【０１７５】
（付記６）
前記周辺状況負荷評価部が、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、視覚環境、聴覚環境、及び操作環境を用い、それぞれ毎に、それぞれが前記ユーザに与える負荷を算出する、付記２に記載の認知負荷評価装置。
【０１７６】
（付記７）
前記周辺状況負荷評価部が、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、前記タスクの遂行開始から完遂までに許容される制約時間を用い、前記タスクの遂行開始から完遂までに許容される制約時間が前記ユーザに与える負荷を算出する、付記２または６に記載の認知負荷評価装置。
【０１７７】
（付記８）
前記周辺状況負荷評価部が、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、並行処理が求められる前記タスクの数を用い、並行処理が求められる前記タスクの数が前記ユーザに与える負荷を算出する、付記２、６、または７に記載の認知負荷評価装置。
【０１７８】
（付記９）
ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するための方法であって、
（ａ）ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、ステップと、
（ｂ）前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、ステップと、
を有している、ことを特徴とする認知負荷評価方法。
【０１７９】
（付記１０）
（ｃ）前記ユーザがタスクを遂行する際の周辺状況が含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記周辺状況に対する前記ユーザの周辺状況負荷を求める、ステップと、
（ｄ）前記（ｂ）のステップによって算出された前記負荷又は求められた前記聴覚負荷と、前記（ｃ）のステップによって算出された前記負荷又は求められた前記周辺状況負荷とを統合し、統合結果に基づいて、前記ユーザの認知負荷を評価する、ステップと、
を更に有している、付記９に記載の認知負荷評価方法。
【０１８０】
（付記１１）
前記聴覚オブジェクトが音声メッセージである場合に、
前記（ｂ）のステップで、前記聴覚オブジェクトが含む要素として、前記音声メッセージの内容を用い、前記音声メッセージの内容が前記ユーザに与える負荷を算出する、付記９または１０に記載の認知負荷評価方法。
【０１８１】
（付記１２）
前記（ｂ）のステップで、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音圧を用い、前記聴覚オブジェクトの音圧が前記ユーザに与える負荷を算出する、付記９〜１１のいずれかに記載の認知負荷評価方法。
【０１８２】
（付記１３）
前記（ｂ）のステップで、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音高を用い、前記聴覚オブジェクトの音高が前記ユーザに与える負荷を算出する、付記９〜１２のいずれかに記載の認知負荷評価方法。
【０１８３】
（付記１４）
前記（ｃ）のステップで、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、視覚環境、聴覚環境、及び操作環境を用い、それぞれ毎に、それぞれが前記ユーザに与える負荷を算出する、付記１０に記載の認知負荷評価方法。
【０１８４】
（付記１５）
前記（ｃ）のステップで、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、前記タスクの遂行開始から完遂までに許容される制約時間を用い、前記タスクの遂行開始から完遂までに許容される制約時間が前記ユーザに与える負荷を算出する、付記１０または１４に記載の認知負荷評価方法。
【０１８５】
（付記１６）
前記（ｃ）のステップで、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、並行処理が求められる前記タスクの数を用い、並行処理が求められる前記タスクの数が前記ユーザに与える負荷を算出する、付記１０、１４、または１５に記載の認知負荷評価方法。
【０１８６】
（付記１７）
コンピュータによって、ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するためのプログラムであって、
前記コンピュータに、
（ａ）ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、ステップと、
（ｂ）前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、ステップと、
を実行させる、プログラム。
【０１８７】
（付記１８）
（ｃ）前記ユーザがタスクを遂行する際の周辺状況が含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記周辺状況に対する前記ユーザの周辺状況負荷を求める、ステップと、
（ｄ）前記（ｂ）のステップによって算出された前記負荷又は求められた前記聴覚負荷と、前記（ｃ）のステップによって算出された前記負荷又は求められた前記周辺状況負荷とを統合し、統合結果に基づいて、前記ユーザの認知負荷を評価する、ステップと、
を更に前記コンピュータに実行させる、付記１７に記載のプログラム。
【０１８８】
（付記１９）
前記聴覚オブジェクトが音声メッセージである場合に、
前記（ｂ）のステップで、前記聴覚オブジェクトが含む要素として、前記音声メッセージの内容を用い、前記音声メッセージの内容が前記ユーザに与える負荷を算出する、付記１７または１８に記載のプログラム。
【０１８９】
（付記２０）
前記（ｂ）のステップで、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音圧を用い、前記聴覚オブジェクトの音圧が前記ユーザに与える負荷を算出する、付記１７〜１９のいずれかに記載のプログラム。
【０１９０】
（付記２１）
前記（ｂ）のステップで、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音高を用い、前記聴覚オブジェクトの音高が前記ユーザに与える負荷を算出する、付記１７〜２０のいずれかに記載のプログラム。
【０１９１】
（付記２２）
前記（ｃ）のステップで、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、視覚環境、聴覚環境、及び操作環境を用い、それぞれ毎に、それぞれが前記ユーザに与える負荷を算出する、付記１８に記載のプログラム。
【０１９２】
（付記２３）
前記（ｃ）のステップで、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、前記タスクの遂行開始から完遂までに許容される制約時間を用い、前記タスクの遂行開始から完遂までに許容される制約時間が前記ユーザに与える負荷を算出する、付記１８または２２に記載のプログラム。
【０１９３】
（付記２４）
前記（ｃ）のステップで、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、並行処理が求められる前記タスクの数を用い、並行処理が求められる前記タスクの数が前記ユーザに与える負荷を算出する、付記１８、２２、または２３に記載のプログラム。
【産業上の利用可能性】
【０１９４】
以上のように、本発明によれば、ユーザから直接データを取得することなく、ユーザが認知できる聴覚情報に基づいてユーザの認知負荷を評価することができる。本発明は、HMI設計段階での認知負荷評価による設計支援といった用途に有用である。また、開発済みのHMIについての、認知負荷の観点からの比較評価といった用途にも有用である。
【符号の説明】
【０１９５】
１０ 認知負荷評価装置
２０ 入力装置
３０ 表示装置
１００ 情報解析部
２００ 視覚負荷評価部
２１０ 形式負荷演算部
２２０ 配色負荷演算部
２３０ 形式負荷演算部
２４０ 密度負荷演算部
２５０ 配置負荷演算部
２６０ 視野負荷演算部
３００ 聴覚負荷評価部
３１０ 音声負荷演算部
３２０ 音圧負荷演算部
３３０ 音高負荷演算部
４００ 操作負荷評価部
４１０ 動作負荷演算部
４２０ 選択肢負荷演算部
５００ 周辺状況負荷評価部
５１０ 視覚環境負荷演算部
５２０ 聴覚環境負荷演算部
５３０ 操作環境負荷演算部
５４０ 制約時間負荷演算部
５５０ 並行タスク負荷演算部
６００ 統合評価部
【技術分野】
【０００１】
本発明は、ヒューマン・マシン・インターフェース（以下「HMI：Human Machine Interface」という。）を操作するユーザの認知負荷を評価する、認知負荷評価装置、認知負荷方法、及びこれらを実現するためのプログラムに関する。
【背景技術】
【０００２】
従来から、優れたHMIを提供するため、種々の分野において、HMIを操作するユーザの認知負荷を評価する試みがなされている。例えば、特許文献１は、認知負荷評価装置の一例を開示している。特許文献１に開示された認知負荷評価装置は、特に、車両を運転するユーザの認知負荷（ワークロード）を評価する。
【０００３】
特許文献１に開示された認知負荷評価装置は、データ取得部と、ワークロード推定部とを備えている。データ取得部は、ワークロード毎に、各種センサから、車両運転中のユーザの寄与行動に関するデータを取得する。ワークロード推定部は、データ取得部が取得したデータに基づいて、ワークロード毎に、車両運転中のユーザのワークロード値を推定する。なお、ここでいう、ワークロードとしては、運転ワークロード、機器操作ワークロード、聴覚的ワークロード、視覚的ワークロード、内因的ワークロードなどが挙げられる。
【０００４】
このように、特許文献１に開示された認知負荷評価装置は、車両を運転中のユーザのワークロード値を推定できる。従って、特許文献１に開示された認知負荷評価装置によれば、当該車両のHMIに対する適切な評価を得ることができ、結果、HMIの研究開発が促進される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−３３５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された認知負荷評価装置は、以下に示す第１の問題点及び第２の問題点を内在している。以下に説明する。
【０００７】
第１の問題点は、特許文献１に開示された認知負荷評価装置では、ユーザが運転など何らかの作業中でなければ、ユーザの認知負荷を評価できない点である。これは、特許文献１に開示された認知負荷評価装置においては、認知負荷を評価するにあたり、各種センサを用いて作業中のユーザの行動に関するデータを取得する必要があるからである。
【０００８】
第２の問題点は、特許文献１に開示された認知負荷評価装置では、HMIの操作に音が関わっていた場合に、音量、発話スピードなど、ユーザが聴覚情報として認知できる情報に基づいて、認知負荷を評価できない点である。これは、特許文献１に開示された認知負荷評価装置は、音楽コンテンツがクラシック及びロックのうちのいずれであるか、また、音声コンテンツがニュース及び天気予報のうちのいずれであるかなど、コンテンツの形態に基づいた評価しか行わないからである。
【０００９】
［発明の目的］
本発明の目的の一例は、上記問題を解消し、ユーザから直接データを取得することなく、ユーザが認知できる聴覚情報に基づいてユーザの認知負荷を評価し得る、認知負荷評価装置、認知負荷評価方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の一側面における認知負荷評価装置は、ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するための認知負荷評価装置であって、
ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、情報解析部と、
前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、聴覚負荷評価部と、
を備えている、ことを特徴とする。
【００１１】
また、上記目的を達成するため、本発明の一側面における認知負荷評価方法は、ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するための方法であって、
（ａ）ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、ステップと、
（ｂ）前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、ステップと、
を有している、ことを特徴とする。
【００１２】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するためのプログラムであって、
前記コンピュータに、
（ａ）ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、ステップと、
（ｂ）前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、ステップと、
を実行させることを特徴とする。
【発明の効果】
【００１３】
以上のように、本発明における、認知負荷評価装置、認知負荷評価方法、及びプログラムによれば、ユーザから直接データを取得することなく、ユーザが認知できる聴覚情報に基づいてユーザの認知負荷を評価することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施の形態における認知負荷評価装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態における認知負荷評価装置の動作を示す流れ図である。
【図３】図３は、本発明の実施の形態において処理の対象となるHMI画面情報の一例を示す図である。
【図４】図４は、本発明の実施の形態において処理の対象となるHMI画面情報の一例を示す図である。
【図５】図５は、本発明の実施の形態において処理の対象となるHMI画面情報の一例を示す図である。
【図６】図６は、本発明の実施の形態において処理の対象となる操作情報の一例を示す図である。
【図７】図７は、本発明の実施の形態において用いられる参考情報の一例を示す図である。
【図８】図８は、本発明の実施の形態における認知負荷評価装置による出力結果の一例を示す図である。
【図９】図９は、本発明の実施の形態における認知負荷評価装置を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【００１５】
（実施の形態）
以下、本発明の実施の形態における、認知負荷評価装置、認知負荷評価方法、及びプログラムについて、図１〜図９を参照しながら説明する。
【００１６】
［装置構成］
最初に、本実施の形態における認知負荷評価装置の構成について、図１を用いて説明する。図１は、本発明の実施の形態における認知負荷評価装置の構成を示すブロック図である。図１に示す、本実施の形態における認知負荷評価装置１０は、HMIを操作するユーザの認知負荷を評価するための装置である。図１に示すように、本実施の形態における認知負荷評価装置１０は、主に、情報解析部１００と、聴覚負荷評価部３００とを備えている。
【００１７】
情報解析部１００は、HMIが表示された画面（以下「HMI画面」という。）のイメージを含む画面情報（以下「HMI画面情報」）、及びHMI画面を使用してタスクを遂行するための操作情報を解析して、タスクに関連する聴覚オブジェクトを抽出する。聴覚負荷評価部３００は、抽出された聴覚オブジェクトが含む要素毎に、各要素がユーザに与える負荷を算出する。また、聴覚負荷評価部３００は、算出した各負荷に基づいて、聴覚オブジェクトに対するユーザの聴覚負荷を求める。
【００１８】
このように、認知負荷評価装置１０では、ユーザに取り付けられたセンサではなく、HMI画面を使用するタスクに関連する各聴覚オブジェクトに基づいて、ユーザにおける聴覚負荷が取得されている。このため、認知負荷評価装置１０によれば、ユーザから直接データを取得することなく、ユーザが認知できる聴覚情報に基づいてユーザの認知負荷を評価することができる。
【００１９】
ここで、本実施の形態における認知負荷評価装置１０の構成について更に具体的に説明する。図１に示すように、認知負荷評価装置１０は、情報解析部１００及び聴覚負荷評価部３００に加えて、視覚負荷評価部２００と、操作負荷評価部４００と、周辺状況負荷評価部５００とを備えている。
【００２０】
また、認知負荷評価装置１０は、後述するように、コンピュータに、本実施の形態におけるプログラムをインプリメントすることによって構築できる。更に、認知負荷評価装置１０には、入力装置２０と、出力装置３０とが接続される。ここで、入力装置２０としては、マウス及びキーボードといった入力デバイス、ネットワークを介して接続された端末装置などが挙げられる。また、出力装置３０としては、液晶表示装置といった表示装置、プリンタなどが挙げられる。
【００２１】
［情報解析部］
情報解析部１００は、本実施の形態では、HMI画面情報と操作情報との解析によって、上述した聴覚オブジェクトに加えて、視覚オブジェクト、操作オブジェクト、周辺状況を抽出する。これらは認知負荷要因である。ここで、視覚オブジェクトとしては、HMI画面に表示されている、ボタン、メニュー、画像、及びテキストなどが挙げられる。また、聴覚オブジェクトとしては、タスクを遂行するためにHMI画面を操作したときに出力される、アラーム、音声メッセージなどが挙げられる。
【００２２】
また、操作オブジェクトは、視覚オブジェクト及び聴覚オブジェクトのうち、タスクを遂行するための操作対象となるオブジェクトである。周辺状況としては、タスク遂行時のHMI画面周辺の照度といった視覚環境、HMI画面周辺の雑音の音圧といった聴覚環境、操作デバイスが配置されている位置といった操作環境、タスクの遂行開始から完遂までに許容される制約時間、並行処理が求められるタスクの数などが挙げられる。
【００２３】
［視覚負荷評価部］
視覚負荷評価部２００は、視覚オブジェクトに対するユーザの視覚負荷をさまざまな要素に基づいて求める。視覚負荷評価部２００は、形式負荷演算部２１０と、配色負荷演算部２２０と、形状負荷演算部２３０と、密度負荷演算部２４０と、配置負荷演算部２５０と、視野負荷演算部２６０とを備える。
【００２４】
形式負荷演算部２１０は、視覚オブジェクトの形式がユーザに与える負荷（以下「形式負荷」という。）を算出する。ここで「形式」とは、動画、アニメーション、静止画（写真、図）、記号、テキスト（文字、数字）など、視覚オブジェクトの表示形態を指す。例えば、形式負荷演算部２１０は、形式負荷VWLmを、以下の数１を用いて算出することができる。
【００２５】
（数１）
VWLm =αvm×vm1 +βvm×vm2 +γvm×vm3 +δvm×vm4 +εvm×vm5 +ζvm×vm6 +ηvm×vm7
【００２６】
上記数１において、vm1、vm2、vm3、vm4、vm5、vm6、及びvm7は、それぞれ、動画、アニメーション、写真、図、記号、文字、数字に対応し、HMI画面内に、対応するオブジェクトが存在するときに「１」、存在しないときに「０」の値をとる関数である。また、αvm、βvm、γvm、δvm、εvm、ζvmは、それぞれ、動画、アニメーション、写真、図、記号、文字、数字に対応する重みである。
【００２７】
上記数１によれば、形式負荷は、HMI画面内に異なる形式の視覚オブジェクトが多く存在するほど負荷が大きくなるように算出される。例えば、HMI画面内に図、記号、文字、数字が存在し、重みがγ=ε=ζ=η=1の場合、形式負荷は4となる。また、vm1〜vm7の関数として、視覚オブジェクトの面積又は数に応じて変化する関数を用いてもよい。
【００２８】
配色負荷演算部２２０は、視覚オブジェクトの配色がユーザに与える負荷（以下「配色負荷」という。）を算出する。配色負荷の算出は、類似画像検索技術で一般的に用いられている算出方法、例えば、色に関する特徴量の抽出結果を用いる算出方法などによって行うことができる。配色負荷は、画面全体の彩度、明度、又は両方が極端に低かったり、彩度差、明度差、又は両方が少なかったり、色相差が少なかったり、するほど負荷が大きくなるように算出されるのが良い。例えば、配色負荷演算部２２０は、配色負荷VWLcを、以下の数２を用いて算出することができる。
【００２９】
（数２）
VWLc = vc1(W)
【００３０】
上記数２において、vc1は、HMI画面Wの配色負荷を算出するための関数である。vc1は、画面全体の彩度又は明度が極端に低かったり、彩度差明度差が少なかったり、色相差が少なかったりするほど、大きな値を出力するように構成されている。
【００３１】
形状負荷演算部２３０は、視覚オブジェクトの形状がユーザに与える負荷（以下「形状負荷」という。）を算出する。形状負荷は、視覚オブジェクトの形状が複雑なほど負荷が大きくなるように算出される。例えば、形状負荷演算部２３０は、形状負荷VWLsを、以下の数３を用いて算出することができる。
【００３２】
（数３）
VWLs = Kvs × Σ(l^2/S) / n
【００３３】
上記数３において、lは視覚オブジェクトの周囲長であり、Sは視覚オブジェクトの面積であり、l×l/Sは図形の複雑さを表す尺度である。nは視覚オブジェクトの総数である。また、Kvsは定数である。、上記数３から分かるように、形状負荷VWLsは、HMI画面に表示されている視覚オブジェクト全部の複雑度の平均値となっている。また、形状負荷の算出式としては、面積が小さいほど負荷が大きいとみなすのであれば、複雑度の代わりに、単純に面積の逆数が用いられていても良い。
【００３４】
密度負荷演算部２４０は、視覚オブジェクトの密度がユーザに与える負荷（以下「密度負荷」という。）を算出する。密度負荷は、視覚オブジェクトの密度が高いほど負荷が大きくなるように算出される。例えば、密度負荷演算部２４０は、密度負荷VWLdを、以下の数４を用いて算出することができる。
【００３５】
（数４）
VWLd = Kvd × (n / Ssum)
【００３６】
上記数４において、nは視覚オブジェクトの総数、Ssumは視覚オブジェクトの抽出元のHMI画面全体の面積である。また、Kvdは定数である。
【００３７】
配置負荷演算部２５０は、視覚オブジェクトの配置の状態がユーザに与える負荷（以下「配置負荷」という。）を算出する。配置負荷は、オブジェクトの配置がバラバラであるほど負荷が大きくなるように算出される。例えば、配置負荷演算部２５０は、配置負荷VWLpを、以下の数５を用いて算出することができる。
【００３８】
（数５）
VWLp = Kvp × {Σ(x-X)^2 + Σ(y-Y)^2} / n
【００３９】
上記数５において、x、yはそれぞれ、ある視覚オブジェクトのx座標値、y座標値である。X、Yはそれぞれすべての視覚オブジェクトのx座標値の平均値、y座標値の平均値である。nは視覚オブジェクトの総数である。また、Kvpは定数である。つまり、上記数５によれば、オブジェクトのx座標値の分散と、オブジェクトのy座標値の分散とを合わせた値が得られる。
【００４０】
視野負荷演算部２６０は、視覚オブジェクトのHMI画面における位置、即ち、ユーザの視野に対する視覚オブジェクトの位置が、ユーザに与える負荷（以下「視野負荷」という。）を算出する。視野負荷は、視覚オブジェクトの位置がHMI画面の中心部から離れるほど負荷が大きくなるように算出される。例えば、視野負荷演算部２６０は、視野負荷WVLfを、以下の数６を用いて算出することができる。
【００４１】
（数６）
WVLf = Kvf × Σ{1/fn(d)} / n
【００４２】
上記数６において、fnは正規分布の確率密度関数、dはHMI画面の中心部からの距離、nは視覚オブジェクトの総数である。また、Kvfは定数である。つまり、上記数６では、視野負荷は、HMI画面に表示されている視覚オブジェクト全部の負荷の平均値となっている。また、ここでいう「負荷」は、正規分布に従って視覚オブジェクトがHMI画面の中心部から離れるほど値が大きくなる負荷を意味する。
【００４３】
また、本実施の形態では、視覚負荷評価部２００は、上記の各演算部以外の演算部を備えていても良い。視覚負荷評価部２００は、HMI画面における表示の変化量がユーザに与える負荷、例えば、視覚オブジェクトのブリンク（点滅）、アニメーションの表示の激しさ等、これまで述べた負荷要素以外の要素がユーザに与える負荷を算出する演算部を備えていても良い。
【００４４】
更に、本実施の形態では、視覚負荷評価部２００は、上記の各演算部が算出した負荷を組み合わせて、視覚負荷を算出する。例えば、視覚負荷評価部２００は、以下の数７を用いて、視覚負荷VWLを算出することができる。なお、下記数７において、α、β、γ、δ、ε、及びζは、それぞれ各負荷要素の重みである。
【００４５】
（数７）
VWL = α×VWLm + β×VWLc + γ×VWLs + δ×VWLd + ε×VWLp + ζ×WVLf
【００４６】
［聴覚負荷評価部］
聴覚負荷評価部３００は、聴覚オブジェクトに対するユーザの聴覚負荷をさまざまな要素に基づいて求める。聴覚負荷評価部３００は、音声負荷演算部３１０と、音圧負荷演算部３２０と、音高負荷演算部３３０とを備える。
【００４７】
音声負荷演算部３１０は、音声メッセージの内容がユーザに与える負荷（以下「音声負荷」という。）を算出する。ここで「内容」とは、音声メッセージの「聞き取りやすさ」又は「理解のしやすさ」を意味する。一例として、話速度を用いて評価を行う場合を説明する。この場合、音声負荷演算部３１０は、音声メッセージの話速度が、一般的に聞き取りやすい平均的な話速度4.95[mora/sec]から離れるほど値が大きくなるように、音声負荷を算出する。例えば、音声負荷演算部３１０は、音声負荷AWLmを、以下の数８を用いて算出することができる。
【００４８】
（数８）
AWLm = Kam × 1 / fn(s-4.95)
【００４９】
上記数８において、sは音声メッセージの話速度、fnは正規分布の確率密度関数である。またKamは定数である。つまり、上記数８では、音声負荷AWLmは、正規分布に従って、音声メッセージの話速度が4.95[mora/sec]より離れるほど、値が大きくなるように算出される。
【００５０】
音圧負荷演算部３２０は、聴覚オブジェクトの音圧がユーザに与える負荷（以下「音圧負荷」という。）を算出する。ここで「音圧」は、一般的に音量を表す「音圧レベル[dB]」で表される。音圧負荷は、音圧レベルが大きいほど値が大きくなるように算出される。例えば、音圧負荷演算部３２０は、音圧負荷AWLpを、以下の数９を用いて算出することができる。
【００５１】
（数９）
AWLp = Kap × ap1(M)
【００５２】
下記数９において、ap1(M)は音声メッセージMの音圧レベルである。また、Kapは定数である。
【００５３】
音高負荷演算部３３０は、聴覚オブジェクトの音高がユーザに与える負荷（以下「音高負荷」という。）を算出する。ここで「音高」は、一般的に周波数で表され、高音が高い（周波数の高い音）ほど耳につくと言われている。音高負荷は、聴覚オブジェクトの周波数が、基準の周波数から離れるほど、値が大きくなるように算出される。例えば、音高負荷演算部３０は、基準の周波数を440Hzとして、音高負荷AWLfを、以下の数１０を用いて算出することができる。
【００５４】
（数１０）
AWLf = Kaf × 1 / fn(f-440)
【００５５】
上記数１０において、fnは正規分布の確率密度関数、fは聴覚オブジェクトの周波数である。また、Kafは定数である。つまり、上記の式では、正規分布に従って、聴覚オブジェクトの周波数が440Hzより離れるほど負荷が大きくなるように算出される。
【００５６】
また、本実施の形態では、聴覚負荷評価部３００は、上記の各演算部が算出した負荷を組み合わせて、聴覚負荷を算出する。例えば、聴覚負荷評価部３００は、以下の数１１を用いて、聴覚負荷AWLを算出することができる。
【００５７】
（数１１）
AWL = θ×AWLm + ι×AWLp + κ×AWLf
【００５８】
上記数１１において、θ、ι、及びκは、それぞれ各負荷要素の重みである。
【００５９】
［操作負荷評価部］
操作負荷評価部４００は、操作オブジェクトに対するユーザの操作負荷をさまざまな要素に基づいて求める。操作負荷評価部４００は、動作負荷演算部４１０と、選択肢負荷演算部４２０とを備える。
【００６０】
動作負荷演算部４１０は、ユーザのHMI操作に伴う動作がユーザ自身に与える負荷（以下「動作負荷」という。）を算出する。ここで「動作」とは、操作デバイスがキーボードの場合には「打鍵数」、マウスの場合には「ポインタ移動距離」及び「クリック操作」、タッチパネルの場合には、タップ、ピンチイン、ピンチアウトなどの「指動作」、及び「指移動距離」を意味する。「動作」は、操作デバイスによって異なる。
【００６１】
ここで、一例として、キーボード操作とマウス操作とが用いられる場合の動作負荷について説明する。キーボード操作とマウス操作とに関しては、操作時間の予測手法としてそれぞれキーストロークレベルモデル、Fittsの法則が知られている。
【００６２】
キーストロークレベルモデルは、キー入力に要する時間を予測するモデルであり、詳しくはキーボードからマウスへ手を移動させる時間、反対のマウスからキーボードへ手を移動させる時間、次の段階に進むための心理的準備時間などを含む。但し、本実施の形態では、簡単のため、キーボード上のキーを入力する時間のみを考えることとする。このとき、1つのキー入力に要する時間を200[ms]とすると、k個のキー入力に要する時間は、200×k[ms]となる。
【００６３】
また、Fittsの法則は、ユーザがカーソルを現在位置から目標ターゲットに移動するまでの操作時間T[ms]を予測するものであり、操作時間Tは一般に下記の数１２で表される。
【００６４】
（数１２）
T = a + b × log2(A/Ws + 1)
【００６５】
上記数１２において、aは操作効率、同じくbも操作効率、Aはカーソル現在位置とターゲットとの距離、Wsはターゲットとなる操作オブジェクトの大きさである。一般的には、a=50、b=150程度である。
【００６６】
そして、キーストロークレベルモデル及びFittsの法則は操作時間を算出するものであるが、認知負荷を算出する場合に利用できる。つまり、操作時間が大きいほど動作負荷は大きくなると考えられるので、この考えに基づいて動作負荷を算出すれば良い。
【００６７】
例えば、クリック操作については、1回のマウスクリックに要する時間を150[ms]とすると、s回のクリックに要する時間は150×s[ms]となる。従って、動作負荷演算部４１０は、キーボードとマウスとを用いる場合の動作負荷OWLmを、以下の数１３を用いて算出することができる。
【００６８】
（数１３）
OWLm = αom × (200×k) + βom × {50 + 150 × log(A/W + 1) + 150 × s}
【００６９】
上記数１３において、αom、βomは、それぞれキーボード操作およびマウス操作に対応する重みである。
【００７０】
選択肢負荷演算部４２０は、HMI操作時の選択肢の数がユーザに与える負荷（以下「選択肢負荷」という。）を算出する。具体的には、選択肢負荷は、HMI画面上の複数のボタン及びメニューなどから、ユーザが１つのオブジェクトを選択する場合に、ユーザにかかる負荷であり、選択肢が多いほど値は大きくなる。一般的に、n個の選択肢から１つを選ぶ場合の困難度は「Hickの法則」として知られており、すべての選択肢が均等に選択されると仮定すると、その困難度Hは、以下の数１４によって算出される。
【００７１】
（数１４）
H = log2(n+1)
【００７２】
上記数１４は、「すべての選択肢が等確率で選択される場合、その選択の困難度は選択肢の数の対数に比例する」ことを意味している。選択肢負荷がHickの法則に従うとすると、選択肢負荷演算部４２０は、選択肢負荷OWLsを、以下の数１５を用いて算出することができる。
【００７３】
（数１５）
OWLs = Kos × log(n+1)
【００７４】
上記数１５において、nは選択肢の数である。また、Kosは定数である。
【００７５】
また、本実施の形態では、操作負荷評価部４００は、上記の各演算部が算出した負荷を組み合わせて、操作負荷を算出する。例えば、操作負荷評価部４００は、以下の数１６を用いて、操作負荷OWLを算出することができる。
【００７６】
（数１６）
OWL = λ×OWLm + μ×OWLs
【００７７】
上記数１６において、λ、μはそれぞれ各負荷要素の重みである。
【００７８】
［周辺状況負荷評価部］
周辺状況負荷評価部５００は、周辺状況に対するユーザの負荷をさまざまな要素に基づいて評価する。周辺状況負荷評価部５００は、視覚環境負荷演算部５１０と、聴覚環境負荷演算部５２０と、操作環境負荷演算部５３０と、制約時間負荷演算部５４０と、並行タスク負荷演算部５５０とを備える。
【００７９】
視覚環境負荷演算部５１０は、HMI画面周辺の照度など、ユーザがHMIを操作してタスクを遂行する際の視覚環境がユーザに与える負荷（以下「視覚環境負荷」という。）を算出する。例えば、「VDT(Visual Display Terminals)作業における労働衛生管理のためのガイドライン」では、「ディスプレイ画面上における照度は500ルクス以下、書類上及びキーボード上における照度は300ルクス以上とすること」と記されている。これに従うとすると、視覚環境負荷演算部５１０は、視覚環境負荷EWLvを、以下の数１７を用いて算出することができる。
【００８０】
（数１７）
EWLv = Kev × 1 / fd(lx-400)
【００８１】
上記数１７において、fdは標準正規分布の確率密度関数、lxはユーザがHMI操作を行う環境の照度［ルクス］である。また、Kevは定数である。上記数１７によれば、視覚環境負荷EWLvは、ユーザがHMI操作を行う環境の照度が、400ルクスから離れるほど値が大きくなるように算出される。
【００８２】
聴覚環境負荷演算部５２０は、HMI画面周辺の雑音の音圧など、ユーザがHMIを操作してタスクを遂行する際の聴覚環境がユーザに与える負荷（以下「聴覚環境負荷」という。）を算出する。例えば、雑音の音圧負荷を考えると、聴覚環境負荷演算部５２０は、聴覚環境負荷EWLaを、以下の数１８を用いて算出することができる。
【００８３】
（数１８）
EWLa = Kea × ea1(N)
【００８４】
上記数１８において、ea1(N)は雑音Nの音圧レベルである。また、Keaは定数である。
【００８５】
操作環境負荷演算部５３０は、操作デバイスの操作環境がユーザに与える負荷（以下「操作環境負荷」）を算出する。操作デバイスの操作環境としては、例えば、ユーザに対する操作デバイスの位置、ユーザの操作姿勢などが挙げられる。例えば、ユーザと操作デバイスとの距離を操作環境とした場合、操作環境負荷演算部５３０は、操作環境負荷EWLoを、上述のFittsの法則に従って、以下の数１９を用いて算出することができる。
【００８６】
（数１９）
EWLo = Keo × {a + b × log(A/Ws + 1)}
【００８７】
上記数１９において、Keoは定数である。また、上記数１９において、aは操作効率、同じくbも操作効率、Aはユーザの席と操作デバイスとの距離、Wsは操作デバイスの大きさである。
【００８８】
但し、上述の数１２の場合と異なり、上記数１９では、操作時間（= a + b × log2(A/Ws + 1)）は、マウスカーソルの移動にかかる時間ではなく、ユーザがその腕を操作デバイスまで移動するのにかかる時間である。よって、上記数１９においては、特にbの値が大きくなる。例えば、b=500とすると、操作環境負荷演算部５３０は、操作環境負荷EWLoを、更に以下の数２０を用いて算出する。
【００８９】
（数２０）
EWLo = Keo × {50 + 500 × log(A/W + 1)}
【００９０】
制約時間負荷演算部５４０は、タスク遂行開始から完遂までに許容される制約時間がユーザに与える負荷（以下「制約時間負荷」という。）を算出する。一般的に、制約時間負荷は、作業時間に余裕があるときは小さくなり、作業時間に余裕がないときは大きくなる。制約時間tを横軸としたときに、制約時間負荷が正規分布に従うとすると、制約時間負荷演算部５４０は、制約時間負荷EWLtを、以下の数２１を用いて算出することができる。
【００９１】
（数２１）
EWLt = Ket × fd(t)
【００９２】
上記数２１において、fdは、正規分布の確率密度関数である。tは、あるタスクの遂行開始から完遂までにかかる時間（制約時間）である。また、Ketは定数である。
【００９３】
並行タスク負荷演算部５５０は、現在操作対象としているタスク以外に並行して遂行することが求められるタスクの数（即ち、並行処理が求められるタスクの数）が、ユーザに与える負荷（以下「並行タスク負荷という。」）を算出する。並行タスク負荷は、一般的に、並行して遂行することが求められるタスクの数が多いほど、値が大きくなる。例えば、並行処理が求められるタスクの数pに対して、並行タスク負荷が指数関数的に大きくなるとすると、並行タスク負荷演算部５５０は、並行タスク負荷EWLpを、以下の数２２を用いて算出することができる。なお、以下の数２２において、Kepは定数である。
【００９４】
（数２２）
EWLp = Kep × exp(p)
【００９５】
また、本実施の形態では、周辺状況負荷評価部５００は、上記の各演算部が算出した負荷を組み合わせて、周辺状況負荷を算出する。例えば、周辺状況負荷評価部５００は、以下の数２３を用いて、周辺状況負荷EWLを算出することができる。
【００９６】
（数２３）
EWL = ν×EWLv + ξ×EWLa + ο×EWLo + π×EWLt + ρ×EWLp
【００９７】
ここで、上記数２３において、ν、ξ、ο、π、ρは、それぞれ各負荷要素の重みである。
【００９８】
統合負荷評価部６００は、視覚負荷評価部２００、聴覚負荷評価部３００、操作負荷評価部４００、及び周辺状況負荷評価部５００、それぞれが算出した負荷を統合して、ユーザの認知負荷を算出する。
【００９９】
ここで、負荷の統合は、各評価部が算出した負荷を組み合わせることによって行われても良いし、各評価部が備える全部又は一部の演算部が算出した負荷を組み合わせることによって行われても良い。例えば、総合負荷評価部６００は、以下の数２４を用い、各評価部が算出した負荷を組み合わせて、認知負荷WLを算出することができる。
【０１００】
（数２４）
WL = σ×VWL + τ×AWL + υ×OWL + φ×EWL
【０１０１】
上記数２４において、σ、τ、υ、φは、各負荷の重みである。
【０１０２】
本実施の形態では、統合負荷評価部６００は、HMI画面毎又はタスクのステップ毎の認知負荷、各評価部が算出した負荷、各演算部が算出した負荷を算出しても良い。更に、総合負荷評価部６００は、タスクにおけるステップ単位の認知負荷の平均値／分散値、各評価部が算出した負荷の平均値／分散値、各演算部が算出した負荷の平均値／分散値を算出しても良い。
【０１０３】
また、総合負荷評価部６００は、タスクにおける全ステップの認知負荷の総和、各評価部が算出した負荷の総和、各演算部が算出した負荷の総和を算出しても良い。更に、総合負荷評価部６００は、ステップ間の認知負荷の変化量、各評価部が算出した負荷の変化量、各演算部が算出した負荷の変化量を算出しても良い。
【０１０４】
［装置動作］
次に、本発明の実施の形態における認知負荷評価装置１０の動作について図２〜図８を用いて説明する。図２は、本発明の実施の形態における認知負荷評価装置の動作を示す流れ図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態では、認知負荷評価装置１０を動作させることによって、認知負荷評価方法が実施される。よって、本実施の形態における認知負荷評価方法の説明は、以下の認知負荷評価装置１０の動作説明に代える。
【０１０５】
［ステップＡ１］
最初に、図２に示すように、情報解析部１００が、入力装置２０からのHMI情報の入力を受け付ける（ステップＡ１）。HMI情報は、HMI画面情報、操作情報、負荷の算出に必要なその他の参考情報を含む。
【０１０６】
ここで、入力されるHMI画面情報の例を図３、図４、図５に示す。図３〜図５は、それぞれ、本発明の実施の形態において処理の対象となるHMI画面情報の一例を示す図である。具体的には、図３は、操作対象となるHMIのメイン画面を示し、図４は、図３のメイン画面上で「ファイル」メニューを選択したときの画面を示し、図５は、図４の画面上で「開く」を選択したときに表示されるダイアログを示す。
【０１０７】
また、操作情報の例を図６に示す。図６は、本発明の実施の形態において処理の対象となる操作情報の一例を示す図である。図６に示す操作情報は、６つのステップＳ１〜Ｓ６を含み、タスク「ファイル名"xxx.txt"のファイルを開く」を実行する際の操作情報を表している。また、参考情報の例を図７に示す。図７は、本発明の実施の形態において用いられる参考情報の一例を示す図である。
【０１０８】
［ステップＡ２］
次に、情報解析部１００が、ステップＡ１で受け付けたHMI情報を解析し、図３〜図５に示すHMI画面情報から、ボタン、メニュー、及びテキストなどの視覚オブジェクトを抽出する（ステップＡ２）。また、ステップＡ２では、情報解析部１００は、図６に示す操作情報を解析し、音声メッセージなどの聴覚オブジェクト、タスクを遂行するための操作対象となる操作オブジェクトも抽出する。さらに、情報解析部１００は、図７に示す参考情報から、負荷の算出に必要な情報を抽出する。
【０１０９】
具体的には、情報解析部１００は、図３に示したHMI画面情報から、ウインドウタイトルの文字列「ABCアプリ」、４つのメニュー「ファイル」、「編集」、「検索」、「ヘルプ」を抽出する。さらに、情報解析部１００は、図４に示したHMI画面情報からは、「ファイル」メニューの５つのアイテム、「新規作成 Ctrl+N」、「開く... Ctrl+O」、「閉じる」、「保存する... Ctrl+S」、「印刷する... Ctrl+P」を抽出する。
【０１１０】
また、情報解析部１００は、図５に示したHMI画面情報からは、ウインドウタイトルの文字列「ファイルを開く」、文字列「開くファイルを指定してください。」、ファイル名入力用のテキストフィールド、３つのボタン「参照...」、「OK」、「キャンセル」を抽出する。更に、情報解析部１００は、図６に示した操作情報からは、６つのステップからなる操作内容を抽出し、図７に示した参考情報からは、各項目の情報とそれに対応する値とを抽出する。
【０１１１】
［ステップＡ３］
次に、視覚負荷評価部２００が、HMI情報で表されるタスクについて視覚負荷を求める（ステップＡ３）。ステップＡ３では、視覚評価部２００は、図６に示したステップＳ１〜Ｓ６それぞれ毎に、視覚負荷を求める。
【０１１２】
ステップＡ３において、視覚負荷評価部２００は、先ず、図６に示した操作情報のステップＳ１について視覚負荷を算出する。具体的には、形式負荷演算部２１０は、「ABCアプリ」ウインドウに表示されている、テキスト文字列「ABCアプリ」、「ファイル」、「編集」、「検索」、「ヘルプ」について形式負荷を算出する。このとき、形式負荷として算出された値をVWLm(S1)とする。
【０１１３】
配色負荷演算部２２０は、「ABCアプリ」ウインドウの配色負荷を算出する。このとき、配色負荷として算出された値をVWLc(S1)とする。
【０１１４】
形状負荷演算部２３０は、ウインドウタイトルの文字列「ABCアプリ」、４つのメニュー「ファイル」、「編集」、「検索」、「ヘルプ」の形状負荷を算出する。このとき、形状負荷として算出された値をVWLs(S1)とする。
【０１１５】
密度負荷演算部２４０は、「ABCアプリ」ウインドウ上に５つの視覚オブジェクトがあるとして密度負荷を算出する。このとき、密度負荷として算出された値をVWLd(S1)とする。
【０１１６】
配置負荷演算部２５０は、「ABCアプリ」ウインドウに対する５つの視覚オブジェクトの相対座標を用いて配置負荷を算出する。このとき、配置負荷として算出された値をVWLp(S1)とする。
【０１１７】
視野負荷演算部２６０は、「ABCアプリ」ウインドウの中心座標から５つの視覚オブジェクトまでの距離を用いて視野負荷を算出する。このとき、視野負荷として算出された値をVWLf(S1)とする。
【０１１８】
その後、視覚負荷評価部２００は、上記の算出された各負荷を合算する。そして、視覚負荷評価部２００は、図６に示した操作情報のステップＳ１における視覚負荷VWL(S1)を、下記の数２５を用いて算出する。
【０１１９】
（数２５）
VWL(S1) = VWLm(S1)+VWLc(S1)+VWLs(S1)+VWLd(S1)+VWLp(S1)+VWLf(S1)
【０１２０】
同様にして、視覚負荷評価部２００は、図６に示した操作情報のステップＳ２についても視覚負荷を算出する。具体的には、視覚負荷評価部２００は、図４に示した「ABCアプリ」ウインドウの「ファイル」メニューを選択した状態の画面を用いて視覚負荷を算出する。いま、図６に示した操作情報のステップＳ２における視覚負荷として算出された値をVWL(S2)とする。
【０１２１】
更に、視覚負荷評価部２００は、図６に示した操作情報のステップＳ３については、図５に示した「ファイルを開く」ダイアログ画面を用いて視覚負荷を算出する。いま、ステップＳ３における視覚負荷として算出された値をVWL(S3)とする。
【０１２２】
また、視覚負荷評価部２００は、図６に示した操作情報のステップＳ４については、視覚負荷がないのでステップＳ４における視覚負荷はVWL(S4) = 0とする。更に、視覚負荷評価部２００は、図６に示した操作情報のステップＳ５およびステップＳ６については、HMI画面がステップＳ３の場合と変わらないのでVWL(S5) = VWL(S6) = VWL(S3)とする。
【０１２３】
なお、ステップＳ３、ステップＳ５、ステップＳ６については、「ABCアプリ」ウインドウと、「ファイルを開く」ダイアログとが、同時にHMI画面として表示されている。従って、視覚負荷評価部２００は、これら２つの画面の視覚負荷を合算して得られた値を視覚負荷として用いることもできる。
【０１２４】
［ステップＡ４］
次に、聴覚負荷評価部３００が、HMI情報で表されるタスクについて聴覚負荷を算出する（ステップＡ４）。但し、図６に示した操作情報では、ステップＳ４を除き、各ステップにおいて、聴覚オブジェクトは存在していない。従って、これらステップの聴覚負荷は０となるので、聴覚負荷評価部３００は、AWL(S1)=AWL(S2)=AWL(S3)=AWL(S5)=AWL(S6)=0と評価する。
【０１２５】
一方、図６に示した操作情報のステップＳ４に対しては、音声負荷演算部３１０は、聴覚オブジェクトとして抽出された音声メッセージ「開くファイルを指定してください」を用いて音声負荷を算出する。具体的には、音声負荷演算部３１０は、図７に示した参考情報の「音声メッセージの話速度」の値4.95[mora/sec]を用いて、音声負荷を算出する。いま、音声負荷として算出された値をAWLm(S4)とする。
【０１２６】
音圧負荷演算部３２０は、聴覚オブジェクトとして抽出された音声メッセージの音圧負荷を算出する。具体的には、音高負荷演算部３３０は、図７に示した参考情報の「音声メッセージの音圧」の値50[dB]を用いて、音圧負荷を算出する。いま、音圧負荷として算出された値をAWLp(S4)とする。
【０１２７】
音高負荷演算部３３０は、聴覚オブジェクトとして抽出された音声メッセージの音高負荷を算出する。具体的には、音高負荷演算部３３０は、図７に示した参考情報の「音声メッセージの周波数」の値440[Hz]を用いて、音高負荷を算出する。いま、音高負荷として算出された値をAWLf(S4)とする。
【０１２８】
その後、ステップＡ４において、聴覚負荷評価部３００は、上記の各負荷を足しあわせ、ステップＳ４における聴覚負荷を、VWL(S4) = AWLm(S4)+AWLp(S4)+AWLf(S4)として算出する。
【０１２９】
［ステップＡ５］
次に、操作負荷評価部４００が、HMI情報で表されるタスクについて操作負荷を算出する（ステップＡ５）。ステップＡ５では、操作負荷評価部４００は、図６に示したステップＳ１〜Ｓ６それぞれ毎に、操作負荷を求める。
【０１３０】
操作負荷評価部４００は、先ず、図６に示した操作情報のステップＳ１について操作負荷を算出する。具体的には、ステップＡ５において、動作負荷演算部４１０は、「ABCアプリ」ウインドウの中心座標から「ファイル」メニューまでの距離、「ファイル」メニューの面積、さらに１回のマウスクリックから、動作負荷を算出する。いま、動作負荷として算出された値をOWLm(S1)とする。
【０１３１】
選択肢負荷演算部４２０は、「ファイル」、「編集」、「検索」、「ヘルプ」の４つのメニューから「ファイル」メニューを選択することについて、選択肢負荷を算出する。いま、選択肢負荷として算出された値をOWLs(S1)とする。
【０１３２】
その後、ステップＡ５において、操作負荷評価部４００は、上記の算出された各負荷を足しあわせ、図６に示した操作情報のステップＳ１における操作負荷を、OWL(S1) = OWLm(S1)+OWLs(S1)として算出する。
【０１３３】
同様にして、操作負荷評価部４００は、図６に示した操作情報のステップＳ２についても操作負荷を算出する。具体的には、動作負荷演算部４１０は、図４に示した「ABCアプリ」ウインドウの「ファイル」メニューから「開く...」メニューまでの距離、「開く...」メニューの面積、１回のマウスクリックにかかる動作負荷を算出する。また、選択肢負荷演算部４２０は、「新規作成」、「開く...」、「閉じる」、「保存する...」、「印刷する...」の５つのメニューから「開く...」メニューを選択することについての選択肢負荷を算出する。そして、操作負荷評価部４００は、これらの算出した値を足しあわせて、操作負荷として算出する。いま、図６に示した操作情報のステップＳ２における操作負荷として算出された値をOWL(S2)とする。
【０１３４】
また、図６に示した操作情報のステップＳ３およびステップＳ４においては、操作は行われないので、操作負荷評価部４００は、操作負荷を０とする。
【０１３５】
更に、図６に示した操作情報のステップＳ５については、自動的にフォーカスがテキストフィールドに移っているものとすると、マウス操作に関する負荷は０となる。よって、操作負荷評価部４００は、文字列「xxx.txt」を入力するための７回の打鍵のみについて、操作負荷を算出する。いま、図６に示した操作情報のステップＳ５における操作負荷として算出された値をOWL(S5)とする。
【０１３６】
また、図６に示した操作情報のステップＳ６については、動作負荷演算部４１０は、「ファイルを開く」ダイアログの中心座標から「OK」ボタンまでの距離、「OK」ボタンの面積、１回のマウスクリックにかかる動作負荷を算出する。また、選択肢負荷演算部４２０は、「参照」、「OK」、「キャンセル」の3つのボタンから1つの「OK」ボタンを選ぶことについての選択肢負荷も算出する。そして、操作負荷評価部４００は、これらの算出した値を足しあわせて、操作負荷を算出する。いま、図６に示した操作情報のステップＳ６における操作負荷として算出された値をOWL(S6)とする。
【０１３７】
［ステップＡ６］
次に、周辺状況負荷評価部５００が、HMI情報で表されるタスクについて周辺状況負荷を算出する（ステップＡ６）。具体的には、ステップＡ６において、視覚環境負荷演算部５１０は、図７に示した参考情報の「照度」の値「400[lx]」を用いて、視覚環境に関する負荷を算出する。いま、視覚環境に関する負荷として算出された値をEWLv(S)とする。
【０１３８】
聴覚環境負荷演算部５２０は、図７に示した参考情報の「周囲の雑音の音圧」の値20[dB]を用いて、聴覚環境に関する負荷を算出する。いま、聴覚環境に関する負荷として算出された値をEWLa(S)とする。
【０１３９】
操作環境負荷演算部５３０は、図７に示した参考情報の「ユーザの席とキーボードとの距離」の値400[mm]、「キーボードの面積」の値250[mm]×500[mm]、「ユーザの席とマウスとの距離」の値500[mm]、「マウスの面積」の値100[mm]×70[mm]を用いて、操作環境に関する負荷を算出する。いま、キーボード操作環境に関する負荷として算出された値をEWLo(Sk)、マウス操作環境に関する負荷として算出された値をEWLo(Sm)とする。
【０１４０】
制約時間負荷演算部５４０は、図７に示した参考情報の「タスク遂行の制約時間」の値を用いて、制約時間に関する負荷を算出する。但し、図７に示した参考情報では、タスク遂行の制約時間は「なし」となっているので、制約時間に関する負荷は０となる。
【０１４１】
並行タスク負荷演算部５５０は、図７に示した参考情報の「並行タスク数」の値を用いて並行タスク数に関する負荷を算出する。但し、図７に示した参考情報では、並行タスク数は０であるので、並行タスク数に関する負荷も０となる。
【０１４２】
そして、図６に示した操作情報のステップＳ１、Ｓ２、及びＳ６における周辺状況負荷（EWL(S1)、EWL(S2)、EWL(S6)）は、視覚環境負荷、聴覚環境負荷、及びマウス操作環境負荷を足しあわせることによって、即ち、下記の数２６を用いて算出される。
【０１４３】
（数２６）
EWL(S1) = EWL(S2) = EWL(S6) = EWLv(S) + EWLa(S) + EWLo(Sm)
【０１４４】
また、図６に示した操作情報のステップＳ３及びＳ４においては、操作が行われていないので、周辺状況負荷は、視覚環境負荷と聴覚環境負荷とを足しあわせることによって、即ち、下記の数２７を用いて算出される。
【０１４５】
（数２７）
EWL(S3)=EWL(S4)=EWLv(S) + EWLa(S)
【０１４６】
更に、図６に示した操作情報のステップＳ５における周辺状況負荷は、視覚環境負荷、聴覚環境負荷、およびキーボード操作環境負荷を足しあわせることによって、即ち、下記の数２８を用いて算出される。
【０１４７】
（数２８）
EWL(S5)=EWLv(S) + EWLa(S) + EWLo(Sk)
【０１４８】
また、図６に示した操作情報のステップＳ１、Ｓ２、Ｓ５およびＳ６においては、ユーザが各ステップを実行する際に、視覚を必要とする。従って、ステップＳ１、Ｓ２、Ｓ５及びＳ６については、視覚環境負荷の重みを大きくしても良い。一方、聴覚を必要とするステップＳ４については、聴覚環境負荷の重みを大きくしても良い。
【０１４９】
また、本実施の形態において、ステップＡ３〜Ａ６の実行順序は、上述した順序に限定されるものではない。ステップＡ３〜Ａ６は、並行に実行されていても良いし、任意の順序で実行されていても良い。
【０１５０】
［ステップＡ７］
次に、統合評価部６００が、ステップＡ３〜ステップＡ６で得られた結果に基づいて、即ち、各評価部又は各演算部がそれぞれ算出した負荷を統合して、認知負荷を算出する（ステップＡ７）。
【０１５１】
例えば、各評価部が、上記数２４を用いて、算出した値を足しあわせたものを認知負荷として算出すると、ステップＳ１における認知負荷は、下記の数２９の通りとなる。同様にして、ステップＳ２における認知負荷は下記の数３０の通り、ステップＳ３における認知負荷は下記の数３１の通り、ステップＳ４における認知負荷は下記の数３２の通り、ステップＳ５における認知負荷は下記の数３３の通り、ステップＳ６における認知負荷は下記の数３４の通りとなる。なお、下記数２９〜数３４においては、簡単のために、各負荷の重みσ、τ、υ、φ（上記数２４参照）の値は、すべて１に設定されている。
【０１５２】
（数２９）
WL(S1)=VWL(S1)+OWL(S1)+EWL(S1)
【０１５３】
（数３０）
WL(S2)=VWL(S2)+OWL(S2)+EWL(S2)
【０１５４】
（数３１）
WL(S3)=VWL(S3)+OWL(S3)+EWL(S3)
【０１５５】
（数３２）
WL(S4)=VWL(S4)+AWL(S4)+OWL(S4)+EWL(S4)
【０１５６】
（数３３）
WL(S5)=VWL(S5)+OWL(S5)+EWL(S5)
【０１５７】
（数３４）
WL(S6)=VWL(S6)+OWL(S6)+EWL(S6)
【０１５８】
［ステップＡ８］
最後に、統合評価部６００が、算出した認知負荷を表示装置３０に出力し、図８に示すように、結果を表示装置の表示画面に表示させる（ステップＡ８）。図８は、本発明の実施の形態における認知負荷評価装置による出力結果の一例を示す図である。図８の例では、図６に示したステップＳ１からＳ６の各ステップの認知負荷は、棒グラフで表されている。またステップＳ１からＳ６までの認知負荷の平均値、さらに各ステップの視覚負荷、聴覚負荷、操作負荷、周辺状況負荷が折れ線グラフで表されている。
【０１５９】
ユーザが図８に示した表示結果を見ることで、例えば、「ステップＳ３の認知負荷が最も高い」、「ステップＳ２とＳ３との間で急激に認知負荷が上昇している」、「ステップＳ４とＳ５との間で操作負荷の上昇が大きい」など、認知負荷の観点からのHMIの特徴や問題点などが容易に把握でき、HMIの改良・改善などに活用することができる。
【０１６０】
［実施の形態における効果］
次に、本実施の形態の効果について説明する。本実施の形態では、設計段階でのHMI画面イメージなどのHMI情報を解析することによって、認知負荷を推定することができる。従って、HMIの開発段階などにおいて、ユーザが作業する前に、即ち、作業中のユーザから各種センサを用いてデータを取得しなくても、認知負荷を推定できる。
【０１６１】
また、本実施の形態では、さらに、HMI情報から抽出した聴覚オブジェクトがユーザに与える負荷を評価できるため、ユーザが聴覚情報として認知するコンテンツの情報量及び複雑さに基づいて、ユーザの認知負荷を推定できる。
【０１６２】
更に、本実施の形態では、聴覚オブジェクトに対する負荷だけでなく、雑音、スピーカとユーザとの距離など周辺状況の負荷も統合して、認知負荷を評価することもできる。このため、本実施の形態によれば、ユーザが聴覚情報としてコンテンツを認知する際の周辺状況に応じた負荷を推定することもできる。
【０１６３】
［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図２に示すステップＡ１〜Ａ８を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における認知負荷評価装置１０と認知負荷評価方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、情報解析部１００、視覚負荷評価部２００、聴覚負荷評価部３００、操作負荷評価部４００、及び周辺状況負荷評価部５００として機能し、処理を行なう。
【０１６４】
ここで、実施の形態におけるプログラムを実行することによって、認知負荷評価装置１０を実現するコンピュータについて図９を用いて説明する。図９は、本発明の実施の形態における認知負荷評価装置１０を実現するコンピュータの一例を示すブロック図である。
【０１６５】
図９に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
【０１６６】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【０１６７】
また、記憶装置１１３の具体例としては、ハードディスクの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【０１６８】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash）及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
【０１６９】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記２４）によって表現することができるが、以下の記載に限定されるものではない。
【０１７０】
（付記１）
ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するための認知負荷評価装置であって、
ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、情報解析部と、
前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、聴覚負荷評価部と、
を備えている、ことを特徴とする認知負荷評価装置。
【０１７１】
（付記２）
前記ユーザがタスクを遂行する際の周辺状況が含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記周辺状況に対する前記ユーザの周辺状況負荷を求める、周辺状況負荷評価部と、
前記聴覚負荷評価部によって算出された前記負荷又は求められた前記聴覚負荷と、前記周辺状況負荷評価部によって算出された前記負荷又は求められた前記周辺状況負荷とを統合し、統合結果に基づいて、前記ユーザの認知負荷を評価する、統合評価部と、
を更に備えている、付記１に記載の認知負荷評価装置。
【０１７２】
（付記３）
前記聴覚オブジェクトが音声メッセージである場合に、
前記聴覚負荷評価部が、前記聴覚オブジェクトが含む要素として、前記音声メッセージの内容を用い、前記音声メッセージの内容が前記ユーザに与える負荷を算出する、付記１または２に記載の認知負荷評価装置。
【０１７３】
（付記４）
前記聴覚負荷評価部が、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音圧を用い、前記聴覚オブジェクトの音圧が前記ユーザに与える負荷を算出する、付記１〜３のいずれかに記載の認知負荷評価装置。
【０１７４】
（付記５）
前記聴覚負荷評価部が、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音高を用い、前記聴覚オブジェクトの音高が前記ユーザに与える負荷を算出する、付記１〜４のいずれかに記載の認知負荷評価装置。
【０１７５】
（付記６）
前記周辺状況負荷評価部が、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、視覚環境、聴覚環境、及び操作環境を用い、それぞれ毎に、それぞれが前記ユーザに与える負荷を算出する、付記２に記載の認知負荷評価装置。
【０１７６】
（付記７）
前記周辺状況負荷評価部が、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、前記タスクの遂行開始から完遂までに許容される制約時間を用い、前記タスクの遂行開始から完遂までに許容される制約時間が前記ユーザに与える負荷を算出する、付記２または６に記載の認知負荷評価装置。
【０１７７】
（付記８）
前記周辺状況負荷評価部が、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、並行処理が求められる前記タスクの数を用い、並行処理が求められる前記タスクの数が前記ユーザに与える負荷を算出する、付記２、６、または７に記載の認知負荷評価装置。
【０１７８】
（付記９）
ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するための方法であって、
（ａ）ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、ステップと、
（ｂ）前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、ステップと、
を有している、ことを特徴とする認知負荷評価方法。
【０１７９】
（付記１０）
（ｃ）前記ユーザがタスクを遂行する際の周辺状況が含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記周辺状況に対する前記ユーザの周辺状況負荷を求める、ステップと、
（ｄ）前記（ｂ）のステップによって算出された前記負荷又は求められた前記聴覚負荷と、前記（ｃ）のステップによって算出された前記負荷又は求められた前記周辺状況負荷とを統合し、統合結果に基づいて、前記ユーザの認知負荷を評価する、ステップと、
を更に有している、付記９に記載の認知負荷評価方法。
【０１８０】
（付記１１）
前記聴覚オブジェクトが音声メッセージである場合に、
前記（ｂ）のステップで、前記聴覚オブジェクトが含む要素として、前記音声メッセージの内容を用い、前記音声メッセージの内容が前記ユーザに与える負荷を算出する、付記９または１０に記載の認知負荷評価方法。
【０１８１】
（付記１２）
前記（ｂ）のステップで、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音圧を用い、前記聴覚オブジェクトの音圧が前記ユーザに与える負荷を算出する、付記９〜１１のいずれかに記載の認知負荷評価方法。
【０１８２】
（付記１３）
前記（ｂ）のステップで、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音高を用い、前記聴覚オブジェクトの音高が前記ユーザに与える負荷を算出する、付記９〜１２のいずれかに記載の認知負荷評価方法。
【０１８３】
（付記１４）
前記（ｃ）のステップで、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、視覚環境、聴覚環境、及び操作環境を用い、それぞれ毎に、それぞれが前記ユーザに与える負荷を算出する、付記１０に記載の認知負荷評価方法。
【０１８４】
（付記１５）
前記（ｃ）のステップで、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、前記タスクの遂行開始から完遂までに許容される制約時間を用い、前記タスクの遂行開始から完遂までに許容される制約時間が前記ユーザに与える負荷を算出する、付記１０または１４に記載の認知負荷評価方法。
【０１８５】
（付記１６）
前記（ｃ）のステップで、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、並行処理が求められる前記タスクの数を用い、並行処理が求められる前記タスクの数が前記ユーザに与える負荷を算出する、付記１０、１４、または１５に記載の認知負荷評価方法。
【０１８６】
（付記１７）
コンピュータによって、ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するためのプログラムであって、
前記コンピュータに、
（ａ）ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、ステップと、
（ｂ）前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、ステップと、
を実行させる、プログラム。
【０１８７】
（付記１８）
（ｃ）前記ユーザがタスクを遂行する際の周辺状況が含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記周辺状況に対する前記ユーザの周辺状況負荷を求める、ステップと、
（ｄ）前記（ｂ）のステップによって算出された前記負荷又は求められた前記聴覚負荷と、前記（ｃ）のステップによって算出された前記負荷又は求められた前記周辺状況負荷とを統合し、統合結果に基づいて、前記ユーザの認知負荷を評価する、ステップと、
を更に前記コンピュータに実行させる、付記１７に記載のプログラム。
【０１８８】
（付記１９）
前記聴覚オブジェクトが音声メッセージである場合に、
前記（ｂ）のステップで、前記聴覚オブジェクトが含む要素として、前記音声メッセージの内容を用い、前記音声メッセージの内容が前記ユーザに与える負荷を算出する、付記１７または１８に記載のプログラム。
【０１８９】
（付記２０）
前記（ｂ）のステップで、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音圧を用い、前記聴覚オブジェクトの音圧が前記ユーザに与える負荷を算出する、付記１７〜１９のいずれかに記載のプログラム。
【０１９０】
（付記２１）
前記（ｂ）のステップで、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音高を用い、前記聴覚オブジェクトの音高が前記ユーザに与える負荷を算出する、付記１７〜２０のいずれかに記載のプログラム。
【０１９１】
（付記２２）
前記（ｃ）のステップで、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、視覚環境、聴覚環境、及び操作環境を用い、それぞれ毎に、それぞれが前記ユーザに与える負荷を算出する、付記１８に記載のプログラム。
【０１９２】
（付記２３）
前記（ｃ）のステップで、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、前記タスクの遂行開始から完遂までに許容される制約時間を用い、前記タスクの遂行開始から完遂までに許容される制約時間が前記ユーザに与える負荷を算出する、付記１８または２２に記載のプログラム。
【０１９３】
（付記２４）
前記（ｃ）のステップで、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、並行処理が求められる前記タスクの数を用い、並行処理が求められる前記タスクの数が前記ユーザに与える負荷を算出する、付記１８、２２、または２３に記載のプログラム。
【産業上の利用可能性】
【０１９４】
以上のように、本発明によれば、ユーザから直接データを取得することなく、ユーザが認知できる聴覚情報に基づいてユーザの認知負荷を評価することができる。本発明は、HMI設計段階での認知負荷評価による設計支援といった用途に有用である。また、開発済みのHMIについての、認知負荷の観点からの比較評価といった用途にも有用である。
【符号の説明】
【０１９５】
１０ 認知負荷評価装置
２０ 入力装置
３０ 表示装置
１００ 情報解析部
２００ 視覚負荷評価部
２１０ 形式負荷演算部
２２０ 配色負荷演算部
２３０ 形式負荷演算部
２４０ 密度負荷演算部
２５０ 配置負荷演算部
２６０ 視野負荷演算部
３００ 聴覚負荷評価部
３１０ 音声負荷演算部
３２０ 音圧負荷演算部
３３０ 音高負荷演算部
４００ 操作負荷評価部
４１０ 動作負荷演算部
４２０ 選択肢負荷演算部
５００ 周辺状況負荷評価部
５１０ 視覚環境負荷演算部
５２０ 聴覚環境負荷演算部
５３０ 操作環境負荷演算部
５４０ 制約時間負荷演算部
５５０ 並行タスク負荷演算部
６００ 統合評価部
【特許請求の範囲】
【請求項１】
ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するための認知負荷評価装置であって、
ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、情報解析部と、
前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、聴覚負荷評価部と、
を備えている、ことを特徴とする認知負荷評価装置。
【請求項２】
前記ユーザがタスクを遂行する際の周辺状況が含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記周辺状況に対する前記ユーザの周辺状況負荷を求める、周辺状況負荷評価部と、
前記聴覚負荷評価部によって算出された前記負荷又は求められた前記聴覚負荷と、前記周辺状況負荷評価部によって算出された前記負荷又は求められた前記周辺状況負荷とを統合し、統合結果に基づいて、前記ユーザの認知負荷を評価する、統合評価部と、
を更に備えている、請求項１に記載の認知負荷評価装置。
【請求項３】
前記聴覚オブジェクトが音声メッセージである場合に、
前記聴覚負荷評価部が、前記聴覚オブジェクトが含む要素として、前記音声メッセージの内容を用い、前記音声メッセージの内容が前記ユーザに与える負荷を算出する、請求項１または２に記載の認知負荷評価装置。
【請求項４】
前記聴覚負荷評価部が、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音圧を用い、前記聴覚オブジェクトの音圧が前記ユーザに与える負荷を算出する、請求項１〜３のいずれかに記載の認知負荷評価装置。
【請求項５】
前記聴覚負荷評価部が、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音高を用い、前記聴覚オブジェクトの音高が前記ユーザに与える負荷を算出する、請求項１〜４のいずれかに記載の認知負荷評価装置。
【請求項６】
前記周辺状況負荷評価部が、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、視覚環境、聴覚環境、及び操作環境を用い、それぞれ毎に、それぞれが前記ユーザに与える負荷を算出する、請求項２に記載の認知負荷評価装置。
【請求項７】
前記周辺状況負荷評価部が、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、前記タスクの遂行開始から完遂までに許容される制約時間を用い、前記タスクの遂行開始から完遂までに許容される制約時間が前記ユーザに与える負荷を算出する、請求項２または６に記載の認知負荷評価装置。
【請求項８】
前記周辺状況負荷評価部が、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、並行処理が求められる前記タスクの数を用い、並行処理が求められる前記タスクの数が前記ユーザに与える負荷を算出する、請求項２、６、または７に記載の認知負荷評価装置。
【請求項９】
ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するための方法であって、
（ａ）ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、ステップと、
（ｂ）前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、ステップと、
を有している、ことを特徴とする認知負荷評価方法。
【請求項１０】
コンピュータによって、ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するためのプログラムであって、
前記コンピュータに、
（ａ）ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、ステップと、
（ｂ）前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、ステップと、
を実行させる、プログラム。
【請求項１】
ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するための認知負荷評価装置であって、
ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、情報解析部と、
前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、聴覚負荷評価部と、
を備えている、ことを特徴とする認知負荷評価装置。
【請求項２】
前記ユーザがタスクを遂行する際の周辺状況が含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記周辺状況に対する前記ユーザの周辺状況負荷を求める、周辺状況負荷評価部と、
前記聴覚負荷評価部によって算出された前記負荷又は求められた前記聴覚負荷と、前記周辺状況負荷評価部によって算出された前記負荷又は求められた前記周辺状況負荷とを統合し、統合結果に基づいて、前記ユーザの認知負荷を評価する、統合評価部と、
を更に備えている、請求項１に記載の認知負荷評価装置。
【請求項３】
前記聴覚オブジェクトが音声メッセージである場合に、
前記聴覚負荷評価部が、前記聴覚オブジェクトが含む要素として、前記音声メッセージの内容を用い、前記音声メッセージの内容が前記ユーザに与える負荷を算出する、請求項１または２に記載の認知負荷評価装置。
【請求項４】
前記聴覚負荷評価部が、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音圧を用い、前記聴覚オブジェクトの音圧が前記ユーザに与える負荷を算出する、請求項１〜３のいずれかに記載の認知負荷評価装置。
【請求項５】
前記聴覚負荷評価部が、前記聴覚オブジェクトが含む要素として、前記聴覚オブジェクトの音高を用い、前記聴覚オブジェクトの音高が前記ユーザに与える負荷を算出する、請求項１〜４のいずれかに記載の認知負荷評価装置。
【請求項６】
前記周辺状況負荷評価部が、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、視覚環境、聴覚環境、及び操作環境を用い、それぞれ毎に、それぞれが前記ユーザに与える負荷を算出する、請求項２に記載の認知負荷評価装置。
【請求項７】
前記周辺状況負荷評価部が、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、前記タスクの遂行開始から完遂までに許容される制約時間を用い、前記タスクの遂行開始から完遂までに許容される制約時間が前記ユーザに与える負荷を算出する、請求項２または６に記載の認知負荷評価装置。
【請求項８】
前記周辺状況負荷評価部が、前記ユーザがタスクを遂行する際の周辺状況が含む要素として、並行処理が求められる前記タスクの数を用い、並行処理が求められる前記タスクの数が前記ユーザに与える負荷を算出する、請求項２、６、または７に記載の認知負荷評価装置。
【請求項９】
ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するための方法であって、
（ａ）ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、ステップと、
（ｂ）前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、ステップと、
を有している、ことを特徴とする認知負荷評価方法。
【請求項１０】
コンピュータによって、ヒューマン・マシン・インターフェースを操作するユーザの認知負荷を評価するためのプログラムであって、
前記コンピュータに、
（ａ）ヒューマン・マシン・インターフェースが表示された画面のイメージを含む画面情報、及び前記画面を使用してタスクを遂行するための操作情報を解析して、前記タスクに関連する聴覚オブジェクトを抽出する、ステップと、
（ｂ）前記聴覚オブジェクトが含む要素毎に、各要素が前記ユーザに与える負荷を算出し、算出した各負荷に基づいて、前記聴覚オブジェクトに対する前記ユーザの聴覚負荷を求める、ステップと、
を実行させる、プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１６１３７６（Ｐ２０１２−１６１３７６Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２１９４７（Ｐ２０１１−２１９４７）
【出願日】平成２３年２月３日（２０１１．２．３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月３日（２０１１．２．３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]