画像分析支援方法、画像分析支援システムおよび画像分析支援のためのプログラム
【課題】画像の探索目的に関連のあるすべての領域の完全な分析を保証する、より組織的に構造化されたヒューマン・ベース画像分析手法を提供する。
【解決手段】第１のユーザに画像を表示し、前記第１のユーザの注視を追跡し、前記第１のユーザの最初の注視データを収集し、該最初の注視データは複数の注視点を含み、前記画像内の注視データの密度にもとづいて該画像の少なくとも一つの未注視領域を識別し、前記画像の第１のサブセットを少なくとも表示し、少なくとも一つの未注視領域の個別の未注視領域を含むように前記画像の第１のサブセットを選択し、前記個別の未注視領域への注意を喚起するような表現で前記画像の第１のサブセットを表示する。
【解決手段】第１のユーザに画像を表示し、前記第１のユーザの注視を追跡し、前記第１のユーザの最初の注視データを収集し、該最初の注視データは複数の注視点を含み、前記画像内の注視データの密度にもとづいて該画像の少なくとも一つの未注視領域を識別し、前記画像の第１のサブセットを少なくとも表示し、少なくとも一つの未注視領域の個別の未注視領域を含むように前記画像の第１のサブセットを選択し、前記個別の未注視領域への注意を喚起するような表現で前記画像の第１のサブセットを表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像の視認探索の正確さを改善することに関し、詳細には、画像の視認探索における対象取得の効率を改善することに関する。
【背景技術】
【０００２】
ヒューマン・ベースの画像解析は多くの現代の専門的職業で一般に行われるタスクである。たとえば、放射線科医および他の医療専門家は、患者を診断し治療するために、医療画像を分析することが多くあるし、空港のセキュリティ・エージェントは禁止されているアイテムを探知するために荷物をＸ線で走査するし、工場の作業者は品質を保証するために製品の目視検査を行う。これらのタスクにおいて、短い時間で画像を分類もしくは解釈するために、人間である分析者は、当該分野の自身の知識と高度な精神集中とを組み合わせなければならない。画像を生成するために使用される技術と、人間である分析者のトレーニングと、の双方で多くの進展があるが、多くの画像分析タスクは、いまなお、重大なエラーを含む傾向がある。たとえば、放射線画像分析はいまなお臨床的に重大なエラーを２０％近く含む。さらに、複数のユーザによる画像の分析でさえも、いまなお、エラー率がかなり高いことが多い。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】サルヴァッシ（Salvucci）ら、「視線追跡プロトコルにおける凝視およびサッカードの識別（Identifying fixations and saccades in eye-tracking protocols）」、視線追跡リサーチおよびアプリケーション・シンポジウム抄録（Proceedings of the Eye Tracking Research and Applications Symposium）、２００４年、頁７１〜７８
【非特許文献２】レスリー（Leslie）ら、「放射線科医によるＣＴ報告についての臨床情報の影響（The Influence of Clinical Information on the Reporting of CT by Radiologists"）、放射線学に関するブリティッシュ・ジャーナル、２０００年１０月、頁１０５２〜１０５５
【発明の概要】
【発明が解決しようとする課題】
【０００４】
視認探索タスクにおいて、エラーを低減し、対象識別の効率を改善するために、画像の探索目的に関連のある領域のより完全な分析を保証できる、ヒューマン・ベース画像分析手法が必要とされている。
【課題を解決するための手段】
【０００５】
本発明の第１の態様は画像分析支援方法であって、（ａ）ユーザに画像を表示し、（ｂ）前記ユーザの注視を追跡し、（ｃ）前記ユーザの最初の注視データを収集し、該最初の注視データは複数の注視点の位置に関する情報を含み、（ｄ）前記画像内における前記複数の注視点の密度にもとづいて該画像の少なくとも一つの未注視領域を識別し、（ｅ）前記少なくとも一つの未注視領域の画像を含むような画像の第１のサブセットを選択し、前記第１のサブセットに含まれる前記未注視領域のそれぞれを、前記画像中に存在するときよりも前記ユーザへの注意を喚起するような表現態様で表示する。
【０００６】
本発明の第２の態様は、第１の態様の画像分析支援方法であって、前記第１のサブセットのうちで、前記未注視領域の画像だけを表示する。
【０００７】
本発明の第３の態様は、第１の態様の画像分析支援方法であって、（ｅ）の表現態様が前記個別の未注視領域を視覚的に強調することを含む。
【０００８】
本発明の第４の態様は、第１の態様の画像分析支援方法であって、（ｄ）が、（ｄ１）前記注視データの複数の注視グループを決定し、前記注視グループの各々が少なくとも一つの注視点を含み、前記注視グループの各々が前記画像内に個別の位置を有し、（ｄ２）前記複数の注視グループの個別の位置にもとづいて少なくとも一つの前記未注視領域を識別する、ことを含む。
【０００９】
本発明の第５の態様は、第１の態様の画像分析支援方法であって、前記画像を複数の所定の規則的な間隔を有する領域に分割し、前記未注視領域は、密度が所定の閾値を越えない注視データを含む個別の前記所定の規則的な間隔を有する領域である。
【００１０】
本発明の第６の態様は、第１の態様の画像分析支援方法であって、前記注視データから複数の注視グループを決定する、ことをさらに含み、前記注視グループの各々は少なくとも一つの注視点を含み、前記注視グループの各々は前記画像内に個別の位置を有し、前記複数の注視グループの個別の位置にもとづいて少なくとも一つの未注視領域を識別し、前記注視グループにもとづいて前記未注視領域を動的に決定し、密度が所定の閾値を越えない注視データを含む領域であって、前記注視グループと重畳しない領域であるように前記未注視領域を決定する。
【００１１】
本発明の第７の態様は、第１の態様の画像分析支援方法であって、未注視領域が少なくとも一つの近傍の領域と重なるように、前記未注視領域を決定する。
【００１２】
本発明の第８の態様は、第１の態様の画像分析支援方法であって、前記最初の注視データにもとづいて複数の視認済み領域を識別し、前記視認済み領域は密度が所定の閾値を越える注視データを含み、少なくとも一つの視認済み領域に共通な複数の特徴を識別する、ことをさらに含む。
【００１３】
本発明の第９の態様は、第８の態様の画像分析支援方法であって、注視グループにもとづいて前記未注視領域を決定し、識別された特徴の一つに類似する個別の特徴を含み、該個別の特徴が前記個別の未注視領域の個別の重心付近の特徴を表すように、個別の未注視領域を決定する。
【００１４】
本発明の第１０の態様は、第８の態様の画像分析支援方法であって、前記識別された特徴のサブセットの画像を少なくとも含む少なくとも一つの前記未注視領域を識別し、前記識別された特徴にもとづいて少なくとも一つの前記未注視領域の表示に優先順位を付ける、ことをさらに含む。
【００１５】
本発明の第１１の態様は、第１０の態様の画像分析支援方法であって、前記優先順位を付けることは、第１の順位付け規則にしたがって前記未注視領域に順位を付け、前記第１の順位付け規則による個別の未注視領域の順位が、前記視認済み領域の複数の識別された特徴と個別の前記未注視領域の特徴とがマッチする可能性、前記個別の未注視領域と前記複数の視認済み領域との間の幾何学的関係、前記画像内における前記個別の未注視領域の位置、の少なくとも一つにもとづいて決定される。
【００１６】
本発明の第１２の態様は、第１０の態様の画像分析支援方法であって、前記優先順位を付けることは、第１の順位付け規則によって前記未注視領域に順位を付けることを含み、（ｅ）が、前記第１の順位付け規則によって最上位に順位付けされた未注視領域を表示することを含む。
【００１７】
本発明の第１３の態様は、第１２の態様の画像分析支援方法であって、前記第１のユーザに前記第１のサブセットの画像を表示し、前記第１のユーザに第１のサブセットの画像を表示しながら、前記第１のユーザの注視を追跡し、更新された注視データを収集し、前記更新された注視データは複数の注視点を含み、前記画像内の注視データの密度にもとづいて前記画像の少なくとも一つの未注視領域を更新し、前記更新された注視データにもとづいて前記更新された未注視領域を第２の順位付け規則で順位付けし、前記画像の第２のサブセットの画像を少なくとも表示し、前記第２の順位付け規則で最上位に順位付けされた前記更新された未注視領域の個別の未注視領域を含むように、前記画像の第２のサブセットを選択し、前記個別の未注視領域に注意を喚起する表現で前記画像の第２のサブセットの画像を表示する。
【００１８】
本発明の第１４の態様は、第１の態様の画像分析支援方法であって、第２のユーザに前記画像を表示し、前記第２のユーザの注視を追跡し、前記第２のユーザの追加の注視データを収集し、前記追加の注視データは複数の注視点を含み、前記画像内の追加の注視データの密度に少なくとも部分的にもとづいて少なくとも一つの前記未注視領域を識別する。
【００１９】
本発明の第１５の態様は、第１４の態様の画像分析支援方法であって、（ｄ）が、複数の個別のユーザの注視データの個別の密度を評価することを含み、前記個別のユーザの各々の注視データの個別の密度が個別の領域の個々の所定の注視閾値を越えないと判断した場合、該個別の領域を未注視領域として識別する。
【００２０】
本発明の第１６の態様は、第１４の態様の画像分析支援方法であって、（ｄ）が、前記画像の少なくとも一つの個別の領域について、前記第１のユーザの注視データの密度と前記第２のユーザの注視データの密度との間の注視差異を決定し、前記個別の領域の注視差異と相違閾値とを比較し、前記個別の領域の注視差異が相違閾値を越える場合、該個別の領域を未注視領域として識別する。
【００２１】
本発明の第１７の態様は、画像分析支援システムであって、少なくとも一つのプロセッサと、メモリと、少なくとも一つのプログラムと、を含む。前記メモリは前記少なくとも一つのプログラムを保存し、前記少なくとも一つのプロセッサは前記少なくとも一つのプログラムを実行し、前記少なくとも一つのプログラムは、ユーザに画像を表示する機能と、前記ユーザの注視を追跡する機能と、前記ユーザの最初の注視データを収集する機能であって、該最初の注視データは複数の注視点の位置に関する情報を含む、機能と、前記画像内における前記複数の注視点の密度にもとづいて該画像の少なくとも一つの未注視領域を識別する機能と、前記少なくとも一つの未注視領域の画像を含むような画像の第１のサブセットを選択する機能と、前記第１のサブセットに含まれる前記未注視領域のそれぞれを、前記画像中に存在するときよりも前記ユーザへの注意を喚起するような表現態様で表示する機能と、をコンピュータに実現させるためのプログラムである。
【００２２】
本発明の第１８の態様は、画像分析支援プログラムであって、ユーザに画像を表示する機能と、前記ユーザの注視を追跡する機能と、前記ユーザの最初の注視データを収集する機能であって、該最初の注視データは複数の注視点の位置に関する情報を含む、機能と、前記画像内における前記複数の注視点の密度にもとづいて該画像の少なくとも一つの未注視領域を識別する機能と、前記少なくとも一つの未注視領域の画像を含むような画像の第１のサブセットを選択する機能と、前記第１のサブセットに含まれる前記未注視領域のそれぞれを、前記画像中に存在するときよりも前記ユーザへの注意を喚起するような表現態様で表示する機能と、をコンピュータに実現させる。
【００２３】
本発明のシステムおよび方法の態様の一つによれば、画像分析システムは第１のユーザに画像を表示する。画像分析システムは、第１のユーザの注視を追跡し、第１のユーザの最初の注視データを収集する。最初の注視データは複数の注視点を含む。画像内の注視データの密度にもとづいて画像の一つもしくは複数の未注視領域を識別し、画像の第１のサブセットを少なくとも表示する。実施形態のいくつかにおいて、第１のサブセットを第１のユーザに表示する。実施形態のいくつかにおいて、第１のサブセットを第１のユーザとは異なる第２のユーザに表示する。一つもしくは複数の未注視領域の個別の未注視領域を含むように画像の第１のサブセットを選択し、個別の未注視領域への注意を喚起するような表現で該画像の第１のサブセットを表示する。
【００２４】
すなわち、実施形態のいくつかによれば、本発明のシステムおよび方法は２段階に構造化された画像探索法を実現する。該２段階に構造化された画像探索法の第１段階は自由探索であり、第１段階に続く第２段階は画像をよりよく探索（カバー）するためにユーザを支援するように設計されている。実施形態のいくつかによれば、第２段階は、画像をより小さい未注視領域に分割し、未注視領域の一つを含む画像のサブセットだけを表示する。実施形態のいくつかによれば、第２段階は視認済み領域を隠し、隠された領域を含まない画像の部分を表示するか、もしくは、上記技術を組み合わせて実行する。実施形態のいくつかにおいて、第２段階は、画像内の一つもしくは複数の未注視領域を視覚的に強調して、画像を再表示することを含む。本発明のシステムおよび方法は分野に依存するものではなく、セキュリティ画像、衛星画像、地図、天文画像、サイエンティフィック・ビジュアライゼーションなどの多くの分野に適用することができる。
【００２５】
ここで記述される実施形態のさらなる利益は、少なくともいくつかの視認探索タスクについて、既知の視認探索法における偽の識別の割合を低減し、真の識別の割合を増大することができることである。すなわち、視認探索タスクにおける検出漏れを低減することができることである。
【発明の効果】
【００２６】
視認探索タスクを実行している間に画像の対象を識別することに関連する上記およびその他の問題は、本発明の、系統的であるとともに、ユーザのサーチふるまいに適応可能である構造化された画像分析のシステムおよび方法によって、低減されるか、もしくは、取り除かれる。一般に、本発明のシステムおよび方法はより構造化された画像分析プロセスを提供する。より詳細には、本発明のシステムおよび方法は、検出漏れ（詳細には、分析者が見なかった、もしくは、評価しなかった、画像の複数の領域における検出漏れ）の総数を低減するという目標を有し、冗長な分析を低減しつつ、分析範囲を増大する。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態による注視データにもとづいて未注視領域を識別するシステムの概観を例示するブロック図である。
【図２】本発明の実施形態による計算処理装置として実装される画像分析システムを例示するブロック図である。
【図３Ａ】本発明の実施形態によるオリジナル画像表示を例示する図である。
【図３Ｂ】本発明の実施形態による注視点を例示する図である。
【図３Ｃ】本発明の実施形態による注視グループを例示する図である。
【図３Ｄ】本発明の実施形態による変更画像表示を例示する図である。
【図３Ｅ】本発明の実施形態による固定注視を例示する図である。
【図３Ｆ】本発明の実施形態による変更画像表示を例示する図である。
【図３Ｇ】本発明の実施形態による変更画像表示を例示する図である。
【図３Ｈ】本発明の実施形態による変更画像表示を例示する図である。
【図３Ｉ】本発明の実施形態による変更画像表示を例示する図である。
【図３Ｊ】本発明の実施形態による変更画像表示を例示する図である。
【図４Ａ】本発明の実施形態による注視データにもとづく画像の未注視領域を識別する方法を例示するフロー・チャートである。
【図４Ｂ】本発明の実施形態による注視データにもとづく画像の未注視領域を識別する方法を例示するフロー・チャートである。
【図４Ｃ】本発明の実施形態による注視データにもとづく画像の未注視領域を識別する方法を例示するフロー・チャートである。
【図４Ｄ】本発明の実施形態による注視データにもとづく画像の未注視領域を識別する方法を例示するフロー・チャートである。
【図４Ｅ】本発明の実施形態による注視データにもとづく画像の未注視領域を識別する方法を例示するフロー・チャートである。
【図４Ｆ】本発明の実施形態による注視データにもとづく画像の未注視領域を識別する方法を例示するフロー・チャートである。
【発明を実施するための形態】
【００２８】
すべての図面にわたって、対応する構成要素には同一の参照符号を付してある。
【００２９】
実施形態についての説明を詳細に行う。該実施形態の例を添付の図面において例示する。以下の詳細な記述において、本発明の完全な理解を提供するために、特定の詳細をいくつか説明する。しかしながら、本発明をこれらの特定の詳細なしに実施することができることは明らかである。その他の例、よく知られている方法、手続、構成要素、回路およびネットワークについては、実施形態の態様を不必要に不明瞭としないように、記載しない。
【００３０】
図１は、実施形態のいくつかによる注視データにもとづいて、画像の複数の未注視領域を識別するシステムの概観を示すブロック図である。画像分析システム１０６によって、一もしくは複数のユーザ（たとえば、図１における１０４−１および／または１０４−２）に対して、表示手段１０３に画像１０２を表示する。実施形態のいくつかにおいて、画像データ１０７データ構造から画像データを検索する。画像データは画像表示モジュール１０８によって検索され、ユーザに対して表示するために表示手段１０３に送信される。ユーザ（一または複数）１０４の注視を、一つまたは複数の注視追跡手段１０９によって検出する。実施形態のいくつかにおいて、注視追跡手段（一つまたは複数）１０９は画像分析システム１０６に統合されている部分である。実施形態のいくつかにおいて、注視追跡手段（一つまたは複数）１０９は、スタンド・アロン・デバイスであってもよいし、表示手段１０３と統合されていてもよい。注視追跡手段（一つまたは複数）１０９は、注視データを画像分析システム１０６に送信する。画像分析システム１０６は計算処理装置である。実施形態のいくつかによれば、計算処理装置は、コンピュータ読み取り可能記憶媒体に保存されている指示にもとづいて計算処理を実行することができる任意の装置である。たとえば、計算処理装置は、ワークステーション・システム、パーソナル・コンピュータ、携帯端末、携帯電話、もしくは、その他の固定配置コンピュータであってもよいし、もしくは、モバイル・コンピュータであってもよい。
【００３１】
画像分析システム１０６は注視追跡手段１０９から注視データを受信する。注視追跡インタフェース１１０は注視データを受信し、画像分析システム１０６と関連付けられている注視データ１１２データ構造に保存する。注視データ分析手段１１４は注視データを分析する。実施形態のいくつかにおいて、注視データ分析手段は注視データのグループを生成する。さらに、実施形態のいくつかにおいては、注視データのグループ化は注視データの中から識別される固定注視(fixation)にもとづく（詳細は、図３Ａ〜図３Jを参照して、以下で説明する）。実施形態のいくつかにおいて、グループはユーザ・プリファレンス１１６データ構造から検索されるユーザ・プリファレンス（ユーザの嗜好）の少なくとも部分にもとづいて決定される。注視データ分析手段１１４によって生成される注視データのグループは、注視データ１１２データ構造に保存される。実施形態のいくつかにおいては、注視データ１１２は未処理注視データおよび処理済み注視データの双方を含む。実施形態のいくつかにおいて、注視データ分析手段１１４は画像分析システム１０６内のその他のモジュールおよび処理を制御し、変更画像を生成するために注視データの追加処理を指示する（詳細は、以下で説明する）。その他の実施形態において、画像分析システム１０６は、上記の様々なモジュールおよび処理を制御する専用マスター制御モジュールを備える。
【００３２】
実施形態のいくつかにおいて、注視データ１１２データ構造に保存されている注視データおよび注視データ・グループは、画像の複数の未注視領域を識別するために一つもしくは複数のモジュールによって使用される。実施形態のいくつかにおいて、注視データ分析手段１１４は未注視領域識別処理を制御する。特徴識別手段１１８は画像の関連する特徴を識別する。実施形態のいくつかにおいて、特徴識別パラメータ１２０および／または注視データ１１２（たとえば、処理済み注視データおよび／または未処理注視データ）にもとづいて、特徴が識別される。識別された特徴は領域データ１２２データ構造に保存される。
【００３３】
実施形態のいくつかにおいて、動的領域決定手段１２４は、画像の領域を動的に決定するために、注視データ１１２を使用する（詳細は、以下に記載する）。決定された領域の位置は領域データ１２２として保存される。実施形態のいくつかにおいて、注視データ１１２は複数のユーザからの注視データを含み、画像分析システム１０６は複数のユーザの個別のユーザからの注視データを比較するための注視比較手段１２６を含む。実施形態のいくつかにおいて、この比較データは、領域データ１２２データ構造に保存され、次に、複数のユーザの一または複数に対して画像をどのように再表示するかを決定するために使用される（詳細は、以下に記載する）。ユーザによって十分に注意深く検査されていない画像の複数の領域（たとえば、閾値を越える分布（密度）の注視データを含まない領域）を識別するために使用される未注視領域識別手段１２８を、画像分析システム１０６は含む（詳細は、以下に記載する）。識別された未注視領域が領域データ１２２において示される。実施形態のいくつかにおいて、未注視領域が識別されると、未注視領域ランク付け（順位付け）手段１３０が領域データ１２２にもとづいて（たとえば、検出特徴、動的識別領域、比較注視データおよび／または識別された未注視領域の位置にもとづいて）、未注視領域をランク付け（順位付け）する。順位は領域データ１２２に保存される。実施形態のいくつかによれば、上記結果を生成するために、領域データ１２２の様々なモジュールによって保存されているデータも様々な他のモジュール（たとえば、特徴識別手段１１８、動的領域決定手段１２４、注視データ比較手段１２６、未注視領域識別手段１２８および／または未注視領域ランク付け（順位付け）手段１３０）によって使用される。たとえば、実施形態のいくつかにおいて、注視データ比較手段１２６は、複数のユーザのデータを比較する場合、領域データ１２２に保存されている動的決定領域を使用する。
【００３４】
画像解析システム１０６は、オリジナル画像の未注視領域に注意を喚起するような表現に、画像（たとえば、当初表示された画像１０２）を変更する画像変更手段１３２も含む。実施形態のいくつかにおいて、変更画像１３４は画像表示モジュール１０８に送信され、一もしくは複数のユーザ（たとえば、第１のユーザ１０４−１および／もしくは第２のユーザ１０４−２）に対して表示される。実施形態のいくつかにおいて、変更画像１３４はオリジナル画像１０２のサブセットだけを含む。実施形態のいくつかにおいて、一つもしくは複数の未注視領域は、該一つもしくは複数の未注視領域に注意を喚起するように変更画像において視覚的に強調される（詳細は、以下に記載する）。
【００３５】
すなわち、実施形態のいくつかにおいて、オリジナル画像１０２が一もしくは複数のユーザ１０４に対して表示され、注視データが一もしくは複数のユーザ１０４の少なくとも一について収集され、一もしくは複数のユーザ１０４によって当初未注視された画像の領域に対して注意を喚起するように変更された変更画像１３４が、画像解析システム１０６によって一もしくは複数のユーザ１０４に対して表示される。実施形態の一つにおいて、最初の注視データが収集されたユーザについて、該ユーザが最初に画像を見たとき、該ユーザによって未注視されたオリジナル画像１０２の領域について、該ユーザに直接フィードバックを提供するために、変更画像１３４は該ユーザに対して表示される。
【００３６】
図２は、以下に記載する方法を実装する計算処理装置としての画像解析システム１０６の実施形態を示し、画像解析システム１０６は、一つもしくは複数の処理装置（ＣＰＵ）２０２、一つもしくは複数のネットワークもしくはその他の通信のインタフェース２０４、メモリ２０６、およびこれらの構成要素間を相互に接続するための一つもしくは複数の通信バス２０８を含む。通信バス２０８はシステムの構成要素を相互に接続し、システムの構成要素間の通信を制御する回路（チップセットと呼ばれることがある）を含んでいてもよい。画像解析システム１０６はユーザ・インタフェース２１０を含むことができるが、必須ではない。実施形態のいくつかにおいて、ユーザ・インタフェース２１０は表示手段１０３および／もしくはキーボード／マウス２１４を含むが、本発明はこれに限定されず、ユーザ・インタフェース手段のその他の構成を使用してもよい。画像解析システム１０６は、（必須ではないが、）注視追跡手段１０９を含んでもよいし、注視追跡手段１０９からデータを受信してもよい。実施形態のいくつかにおいて、注視追跡手段１０９はユーザの目の動きを追跡するために構成されている一つもしくは複数のセンサを含み、該目の動きを表示手段１０３上の注視点に変換する。実施形態のいくつかにおいて、注視点を注視追跡手段１０９によって取得している間、注視追跡手段１０９は画像解析システム１０６と通信する。その他の実施形態において、注視データを取得した後、注視追跡手段１０９は画像解析システムと通信する。実施形態のいくつかにおいて、注視追跡手段１０９は画像解析システム１０６から独立しており、注視データは、有線インタフェースまたは無線インタフェースを介して、注視追跡手段１０９から画像解析システム１０６に転送される。画像解析システム１０６のメモリ２０６は高速ランダム・アクセス・メモリを含んでもよく、一つもしくは複数の磁気記憶ディスクもしくは光記憶ディスク、フラッシュ・メモリ・デバイス、もしくは、その他の不揮発性ソリッド・ステート・ストレージ・デバイスなどの不揮発性メモリを含んでもよい。高速ランダム・アクセス・メモリは、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、もしくは、その他のランダム・アクセス・ソリッド・ステート・メモリ・デバイスなどを含んでもよい。メモリ２０６はＣＰＵ２０２から離隔した位置に配置されている大容量記憶手段を含んでもよいが、必須ではない。メモリ２０６、もしくは、代替的に、メモリ２０６内の不揮発性メモリ・デバイスは、コンピュータ読み取り可能記憶媒体を含む。メモリ２０６もしくはメモリ２０６内のコンピュータ読み取り可能記憶媒体は、以下の構成要素もしくはこれらの構成要素のサブセットを記憶するが、その他の構成要素も含むことができる。
●様々な基本システム・サービスを扱うための手続を含み、ハードウェア依存タスクを実行するためのオペレーティング・システム２１６
●一つもしくは複数の通信ネットワークインタフェース２０４および一つもしくは複数の通信ネットワーク（インターネット、その他のワイド・エリア・ネットワーク、ローカル・エリア・ネットワーク、メトロポリタン・エリア・ネットワークなど）を介して、他の計算処理デバイスに画像解析システム１０６を接続するために使用されるネットワーク通信モジュール（もしくは命令）２１８
●以下の一つもしくは複数を含むアプリケーション２２０
※表示手段１０３に画像を表示するための画像表示モジュール１０８
※注視追跡手段１０９からの入力を受信するための注視追跡手段インタフェース１１０
※注視追跡手段１０９から受信した注視データを処理するための注視データ分析手段１１４（実施形態のいくつかにおいて、注視データ分析手段１１４は、未処理注視データ、もしくは固定注視識別手段２２２によって識別された固定注視から注視グループを識別するために、注視点および／またはグループ識別手段２２４から固定注視を識別するための固定注視識別手段２２２も含む。）
※画像の重要な特徴を識別するための特徴識別手段１１８（必須ではない）
※注視データにもとづいて画像の領域を動的に識別するための動的領域識別手段１２４（必須ではない）
※ユーザ各々からの注視データを比較するための注視データ比較手段１２６（必須ではない）
※注視データの分布（密度）にもとづいて画像の未注視領域の各々を識別するための未注視領域識別手段１２８
※未注視領域の各々に順位を付ける未注視領域ランク付け（順位付け）手段１３０（必須ではない）
※画像の未注視領域への注意を喚起するように（たとえば、ユーザに対して表示するために、未注視領域を視覚的に強調することによって、および／または未注視領域を含む画像のサブセットを選択することにより）オリジナル画像（たとえば、図１の参照符号１０２）を変更するための画像変更手段１３２
●以下の一つもしくは複数を含むデータ２２６
※ユーザに対して表示するためのオリジナル画像、変更画像およびその他のデータを含む画像データ１０７
※複数の注視点を含む注視データ１１２
実施形態のいくつかにおいて、注視データは複数のユーザの注視データ（たとえば、ユーザ１注視データ２２８およびユーザ２注視データ２３０）を含み、実施形態のいくつかにおいて、注視データは未処理注視データを含み、実施形態のいくつかにおいて、注視データは処理済み注視データ（たとえば、注視データ分析手段１１４によって決定された注視グループ）を含む。
※個別のユーザに向けて画像分析システム１０６をカスタマイズするためのユーザ・プリファレンス１１６
※画像の特徴のタイプにもとづいて画像の各々の画像分析をカスタマイズするための特徴識別パラメータ１２０
※画像分析システム１０６によって生成された情報を保存する領域データ１２２
（領域位置データ２３２、領域注視分布（密度）データ２３４、領域ランク付け（順位付け）データ２３６および／または特徴データ２３８など）
【００３７】
図２の上記構成要素の各々は上記メモリ・デバイスの一つもしくは複数に保存されていてもよい。上記モジュールの各々は、上記機能を実行するための命令セットに対応する。上記モジュールもしくはプログラム（すなわち、命令セット）は別個のソフトウェア・プログラム、手順(procedure)もしくはモジュール、およびモジュールの様々なサブセットを組み合わせであってもよいし、様々な実施形態において再配置されるものであってもよい。実施形態のいくつかにおいて、メモリ２０６は上記モジュールおよびデータ構造のサブセットを保存してもよい。さらに、メモリ２０６は上記以外のモジュールおよびデータ構造を保存してもよい。さらに、画像分析システム１０６を一つの計算処理装置によって具体化されるものとして上記したが、実施形態のいくつかにおいては、画像分析システム１０６は相互接続された複数の計算処理装置として実現されてもよく、上記した様々な機能、モジュールおよびデータを、相互接続された複数の計算処理システムに分割することができる。
【００３８】
図３Ａ〜図３Ｊは、実施形態のいくつかによるオリジナル画像の表示（図３Ａの画像１０２）、注視データの収集、未注視領域の識別および変更画像の表示（たとえば、図３Ｄ、３F、３Ｇ〜３Ｈの画像１３４）を例示する。図３Ａには、例示的な画像分析タスクが表示されている。このタスクにおいて、オリジナル画像１０２がユーザに対して表示される。画像分析タスクは所定の形状３０２によって画像の形状を識別する。画像分析タスクは単なる例示であり、画像分析を構成するためのシステムおよび方法は、人間であるユーザが画像の特徴もしくはパターンを識別するために求められる画像分析タスクの広範なクラス（たとえば、Ｘ線画像において腫瘍を識別すること、航空写真において軍事目標を識別すること、物理的構造の画像における構造上の欠陥を識別すること）において、任意の画像分析タスクに対して同様に適用される。
【００３９】
図３Ｂは、表示手段に画像が表示されている（たとえば、図３Ａ）間のユーザの目の動きを検出することによって注視追跡手段（たとえば、図１および図２の参照符号１０９）によって生成される複数の注視点３０４を例示する。実施形態のいくつかにおいて、注視点の各々は特定の時点における画像のユーザの注視の位置を示す（詳細は、以下に記載する）。
【００４０】
図３Ｃは未処理注視データにもとづいて生成される注視点のグループ（たとえば、グループ３０６−Ａ）を例示する。すなわち、本実施形態において、注視グループは、十分な密度(density)を有する複数の注視点を含む画像の領域を識別することによって識別される（詳細は、以下に記載する）。
【００４１】
図３Ｄは、視認済み領域(attended region)（たとえば、領域３０８−Ａ）を隠し、未注視領域３１０の表示を継続しながら、画像を再表示することによって変更画像１３４−Ａを表示する例を示している。本実施形態において、視認済み領域（たとえば、領域３０８−Ａ）の位置は識別された注視グループ（たとえば、図３Ｃの３０６−Ａ）の位置にもとづいて決定される（詳細は、以下に記載する）。
【００４２】
図３Ｅは検出された注視点にもとづいて固定注視３１２を識別する例を示す（詳細は、以下に記載する）。本実施形態において、注視グループは、次に、複数の固定注視を結合することによって決定される（たとえば、図３Ｅの参照符号３０６−Ｂ)。すなわち、実施形態のいくつかにおいて、画像分析システム１０６は、まず、注視点の時間的および空間的な近さにもとづいて複数の固定注視を決定し、次に、注視グループを決定するために固定注視の相互の近さにもとづいて固定注視をグループ化する。
【００４３】
図３Ｆは、視認済み領域を隠し（たとえば、領域３０８−Ｂ）未注視領域の表示を継続し（たとえば、領域３１０−Ｂ)、画像を再表示することによって、変更画像１３４−Ｂを表示する例を示す。本実施の形態において、視認済み領域３０８は識別された注視グループの位置（図３Ｅの参照符号３０６−Ｂ）にもとづいて決定される。
【００４４】
図３Ｇは変更画像１３４−Ｃを例示する。変更画像１３４−Ｃでは、複数の視認済み領域３０８−Ｂが隠され、複数の所定の領域３１４−Ａが含まれている。図３Ｇにおいて、所定の領域は４×４個の矩形領域である。しかしながら、これは単なる例示であり、本発明のシステムおよび方法から逸脱することなく、任意の所定の領域を配置することができる。
【００４５】
図３Ｈは、複数の領域３１４−Ａの個別の領域３１４−Ａ−１を視覚的に強調するために変更された変更画像１３４−Ｄを例示する。本実施例において、個別の領域は、画像のその他の領域の強調を低減することによって（たとえば、他の領域に薄い影を付加することによって）強調されている。しかしながら、上記は単なる例示であって、一つもしくは複数の個別の領域を強調する任意の手法を本発明のシステムもしくは方法の範囲から逸脱することなく使用することができる。さらに、本例示において、個別領域３１４−Ａ−１における表示から画像の視認済み領域（たとえば、図３Ｈの３０８−Ｂ）を隠しているが、実施形態のいくつかにおいて、視認済み領域を隠さず、いずれの視認済み領域も隠すことなく領域３１４−Ａ−１の全体を表示する。さらに、実施形態のいくつかにおいて、視認済み領域は、所定の閾値を越える数の注視点を含む所定の領域として単に定義される。すなわち、視認済み領域は分布(密度)が閾値を越える注視点を含む領域３１４−Ａのいずれかである。
【００４６】
図３Ｉは、複数の視認済み領域３０８−Ｂを隠している変更画像１３４−Ｅを例示する。該画像は複数の動的定義領域３１４−Ｂを有する。図３Ｉにおいて、動的定義領域は画像の視認済み領域の間にある画像の領域を包囲するように定義される。しかしながら、上記は例示であり、本発明のシステムおよび方法の上記開示の範囲から逸脱することなく、領域の任意の動的配置を使用することができる。
【００４７】
図３Ｊは、複数の領域３１４−Ｂの個別の領域（たとえば、領域３１４−Ｂ−１もしくは３１４−Ｂ−２）を視覚的に強調する変更画像１３４−Ｆを例示する。本例示において、個別の領域は個別の領域３１４−Ｂ−１だけを表示することによって強調される。しかしながら、これは例示であり、本発明のシステムもしくは方法の範囲から逸脱することなく、一つもしくは複数の個別領域を強調する任意の手法を使用することができる。さらに、本例示において、個別領域（領域３１４−Ｂ−１および３１４−Ｂ−２）において画像の視認済み領域（図３Ｈの３０８−Ｂ）を表示から隠しているが、実施形態のいくつかにおいては、視認済み領域を隠しておらず、領域全体（たとえば、図３Jの領域３１４−Ｂ−１もしくは３１４−Ｂ−２）を表示する。
【００４８】
図４Ａ〜図４Ｆは実施形態のいくつかにおいて未注視領域を検出し、該未注視領域の一つもしくは複数への注意を喚起するように画像のサブセットを少なくとも表示する方法を例示する。
【００４９】
画像分析システム１０６は第１のユーザに（たとえば、図３Ａに例示されるような）画像を表示する（４０２）。画像分析システム１０６は第１のユーザの注視を（たとえば、図１および図２の注視追跡手段１０９を用いて、）追跡する（４０４）。画像分析システム１０６は、第１のユーザの最初の注視データを収集する（４０６）。最初の注視データは複数の注視点（たとえば、図３Ｂに例示されるような注視点３０４）を含む。
【００５０】
実施形態のいくつかにおいて、画像分析システム１０６は、最初の画像データにもとづいて、複数の視認済み領域を識別する（４０８）。例示の一つとして、図３Ｃに示されるように、画像分析システム１０６は注視点（たとえば、図３Ｂの３０４）を複数の注視グループ（たとえば、図３Ｃの３０６−Ａ、もしくは、図３Ｅの３０６−Ｂ）にグループ化し、所定の閾値を越える注視分布（密度）を有する画像領域が視認済み領域であると判断する（たとえば、画像分析システム１０６は、図３Ｄの領域３０８−Ａもしくは図３Ｆの領域３０８−Ｂがユーザによってある閾値より多く見られた領域であることを検出する。）。すなわち、ユーザが特定の領域を十分な分布（密度）で(sufficiently closely)見たことを画像分析システム１０６が検出する場合、画像分析システム１０６は該領域がユーザによって既に見られたと判断する。
【００５１】
これらの実施形態において、視認済み領域は分布（密度）が閾値を越える注視データを含む。実施形態のいくつかにおいて、画像分析システム１０６は視認済み領域の一つもしくは複数に共通する複数の特徴を識別する（４１０）。実施形態のいくつかにおいて、特徴は領域の全体としての特性（たとえば、色、テクスチャなど）である（４１２）。実施形態のいくつかにおいて、特徴は領域の構成要素（たとえば、形状、テクスチャを有する領域）である（４１４）。図３Ａ〜図３Ｊの画像において、例示の一つとして、視認済み領域の特徴（たとえば、図３Ｃもしくは図３Ｅの注視グループ３０６に関連する視認済み領域の中の形状）にもとづいて、ユーザが直線的なエッジを含むだけの特徴に主に関心を有することを画像分析システム１０６が決定してもよい。実施形態のいくつかにおいて、識別された特徴は画像のどの未注視領域が該ユーザに特に関連するのか、を決定し、該決定に応じて未注視領域の表示の優先順位を決定するために使用される（たとえば、多数の直線的なエッジを有する特徴を含む未注視領域は、少数の直線的なエッジを有する特徴を含む未注視領域より優先順位が高い。詳細は、以下に記載する）。
【００５２】
実施形態のいくつかにおいて、所定の特徴識別パラメータを用いて特徴を識別する（４１６）。例示の一つとして、画像分析システム１０６は特徴識別パラメータを供給するために一つもしくは複数の画像分類手段を使用する。実施形態のいくつかにおいて、該特徴は分野指向である（たとえば、画像分析システム１０６が溶接の分析のために使用されるのであれば、画像分析システム１０６は特徴識別パラメータの第１セットを使用し、一方、画像分析システム１０６が整形外科の分析のために使用されるのであれば、画像分析システム１０６は特徴識別パラメータの第２セットを使用する。一方、画像分析システム１０６がＸ線による腫瘍の検出のために使用されるのであれば、画像分析システム（装置）１０６は特徴識別パラメータの第３セットを使用する）。すなわち、実施形態のいくつかにおいて、分野指向の画像分類が画像の関連する特徴を識別するために使用される。
【００５３】
実施形態のいくつかにおいて、複数の関連する画像分析タスク（たとえば、同様の特徴が検出されており、したがって、注視が同様の特徴に向かっている可能性が高い画像分析タスク）の部分として表示された一連の画像がある場合、装置は複数の画像から特徴を識別する。すなわち、実施形態のいくつかにおいて、画像分析タスクは複数の画像を連続的に検討することを含む。たとえば、放射線科医は単一のセッションにおいて多くのＸ線画像を検討することができる。この例示における検討セッションのために（もしくは単一の画像分析タスクに関連するすべての検討セッションのために）画像分析システム１０６はユーザによって視認された領域の特徴についての情報を保存し、ユーザの関心を示すこの情報を特徴セットの識別を更新するために使用することができる。同様に、単一の画像の一連のサブセットをユーザに表示するので、識別された特徴セットを更新することができ、これにより、単一画像の分析過程において識別された特徴の正確さを改善することができる。
【００５４】
さらに、実施形態のいくつかにおいて、ユーザは、関心を有する特徴を画像分析システム１０６に対して詳細に示す。たとえば、ユーザは表示手段上の画像の領域を選択するためにカーソルもしくは他の入力手段を使用することができる。これにより、領域の特徴がユーザにとって特定の関心を示す領域であることを画像分析システム１０６に対して示すことができる。
【００５５】
画像分析システム１０６は画像内の注視データの分布（密度）にもとづいて画像の一つもしくは複数の未注視領域を識別する（４１８）。実施形態のいくつかにおいて、未注視領域は十分な量の注視を含まない領域である。例示の一つとして、未注視領域は、該領域が所定の閾値より低い合計数の注視点を含む所定の領域である（たとえば、本実施形態において、ある数より少ない注視点を含むので図３Ｈの未注視領域３１４−Ａ−１が表示される。）。その他の例示として、未注視領域は、ある継続時間閾値を越えてユーザによる注視が固定されていた画像の部分を除く動的定義領域である（たとえば、本実施形態において、ある時間閾値より短い時間継続する固定注視を含むので、図３Ｈの未注視領域３１４−Ａ−１が表示される）。
【００５６】
実施形態のいくつかにおいて、詳細を以上に記載したように、閾値は、未注視領域を決定し、固定注視を検出し、注視データをグループ化するために使用される。実施形態のいくつかにおいて、閾値は所定の閾値（たとえば、注視点の数（たとえば、ある領域における１７個の注視点）、あるいは、継続時間（たとえば、ある領域における合計２７５ｍ秒の固定注視の継続時間））である。所定の閾値の大きさは、特定の画像認識タスクのより高レベルな認識プロセスを示すために必要とされる注視推定継続時間および／または注視追跡手段の更新頻度（たとえば、注視データが収集される速度）などのファクターにもとづいて決定される。実施形態のいくつかにおいて、閾値は、画像分析システム１０６において受信された入力もしくはユーザ・プリファレンスにもとづいて動的に決定される。実施形態のいくつかにおいて、動的閾値はユーザ指向閾値(user-specific thresholds)である。例示の一つとして、固定注視において許容される空間的分散(dispersion)は、収集されたユーザの注視データの連続する注視点の間の距離の分散(distribution)を計測する一つもしくは複数の分散計測値(dispersion metrics)にもとづいて動的に決定される。一般に、照明条件、目の生理学的特性などによって、注視追跡手段がユーザの注視を追跡することが困難であり、それゆえ、注視点が多くのエラーを含む場合、分散計測値は所定の正常値より高い。反対に、注視追跡手段が最適状態で動作している場合、分散計測値は所定の正常値である。実施形態のいくつかにおいて、分散計測値は２つの連続する注視点の間の距離の分散にもとづいて決定される。すなわち、注視データのノイズのレベルが増加すると、注視データの固定注視をより正確に識別するために動的閾値が変化する。
【００５７】
実施形態のいくつかにおいて、一つもしくは複数の未注視領域を識別することは複数の注視グループを決定すること（４２０）を含む（たとえば、図３Ｃのグループ３０６−Ａもしくは図３Ｅのグループ３０６−Ｂ）。これらの実施形態において、注視グループの各々は一つもしくは複数の注視点（たとえば、図３Ｃおよび図３Ｅの参照符号３０４）を含み、画像内に個別の位置を有する。実施形態のいくつかにおいて、注視データは所定の頻度（たとえば、毎秒６０回（６０ヘルツ））で収集され、グループは注視グループ内の注視点の数にもとづく継続時間を有するか、グループ内の固定注視（たとえば、図３Ｅの固定注視３１２）の合計継続時間（たとえば、５００ｍ秒）を有する。実施形態のいくつかによれば、未注視領域は視認済み領域ではない領域である。すなわち、実施形態のいくつかにおいて、まず視認済み領域を決定し、未注視領域を視認済み領域の外側の領域として決定する。実施形態のいくつかにおいて、視認済み領域の外側である画像の部分は適当なサイズを有し、当該部分が未注視領域として特定される。実施形態のいくつかにおいて、視認済み領域の外側である画像の部分はあまりにも小さいかあまりにも大きい。この場合、該複数の部分は、未注視領域として特定される小さい領域にさらに分割されるか、もしくは、未注視領域として特定されるより大きな領域に併合される。
【００５８】
実施形態のいくつかにおいて、画像分析システム１０６は互いに隣接する注視点のサブセットを識別する（４２２）ことによって個別の注視グループを決定し、個別の注視グループとして複数の注視点を含む領域を決定する（４２４）。たとえば、図３Ｃに示されるように、画像分析システム１０６は画像の左上コーナーにおける注視点のサブセットを識別し、注視点３０４を含む注視グループ３０６−Ａ−１を決定する。同様に、本実施例において、画像分析システム１０６はその他の注視グループ（たとえば、図３Ｃのグループ３０６−Ａ−２および３０６−Ａ−３）としてその他の注視点のサブセットを識別する。
【００５９】
実施形態のいくつかにおいて、画像分析システム１０６は、複数の固定注視を決定する（４２６）ことにより、個別の注視グループを決定する。個別の注視グループを決定するために個別の固定注視と該個別の固定注視に重畳している一つもしくは複数の固定注視とを結合する（４２８）。たとえば、図３Ｅにおいて、画像分析システム１０６は複数の固定注視３１２を検出し、個別の注視グループ３０６−Ｂ−３を決定するために、重畳している複数の固定注視を結合する。
【００６０】
実施形態のいくつかにおいて、固定注視の各々は重心(centroid)および所定の形状を有する。「重心」は推定固定注視点である。形状は、固定注視点で留まるときに、目が見るであろうものを例示するために必要とされるだけである。たとえば、一般に、固定注視の形状は円形である。目の窩(fovea)（すなわち、中心視野の鮮鋭さに責任を有する目の領域）は円形だからである。実施形態のいくつかによれば、固定注視は、少なくとも１００の時間ウィンドウにわたって注視データ内で時間的に継続する注視点だけを含む。実施形態のいくつかにおいて、固定注視の継続時間は、固定注視の（ある時点における）最後の注視点のタイムスタンプと最初の注視点のタイプスタンプとの間の時間量である。実施形態のいくつかにおいて、固定注視は、注視追跡ハードウェア／ソフトウェアのエラーを修正するために、異常値である注視点を除外する。
【００６１】
さらに、固定注視は注視データにもとづいて非常に多くの手段を用いて検出することができる。記載を簡潔にするために、考えられるすべての固定注視検出手段についてここで記載することはしない。さらに、上記の分散ベース固定注視検出アルゴリズムにもとづく固定注視検出についてのさらなる詳細を含む固定注視検出のその他の手段およびアプローチは、非特許文献１により詳細に記載されている。
【００６２】
上記したように、実施形態のいくつかにおいて、固定注視は固定注視が重畳しているか否かにもとづいて注視グループに結合される。実施形態のいくつかにおいて、固定注視は最小全域木アルゴリズムを使用して結合される。さらに、本発明のシステムおよび方法の範囲から逸脱することなく複数の固定注視から注視グループを決定するために、その他の方法を使用してもよい。
【００６３】
実施形態のいくつかにおいて、複数の注視グループを決定した後、画像分析システム１０６は複数の注視グループの個別の位置にもとづいて一つもしくは複数の未注視領域を識別する（４３０）（たとえば、図３Ｉにおいて例示されるように、未注視領域３１４−Ｂは視認済み領域３０８−Ｂの間にある領域として識別される）。実施形態のいくつかにおいて、複数の注視グループの個別の位置にもとづいて一つもしくは複数の未注視領域を識別することは、結合された固定注視継続時間が閾値を越える任意の注視グループを含まない画像の領域を識別する（４３２）ことを含む。たとえば、図３Ｉ〜図３Ｊにおいて、画像分析システム１０６はある閾値を越える任意の注視グループを含まない領域３１４−Ｂ−１を検出する（たとえば、領域３１４−Ｂ−１は合計固定注視継続時間が２７５ｍ秒を越えるグループを含まない）。注視グループの固定注視のすべてが連続的である必要はない。すなわち、実施形態のいくつかにおいて、ユーザは画像の第１の領域を分析し、該画像の第２の領域を分析し、画像の第１の領域に戻って分析することによって、第１の領域の固定注視のすべてを単一の注視グループにグループ化することができる。
【００６４】
実施形態のいくつかにおいて、複数の注視グループの個別の位置にもとづいて一つもしくは複数の未注視領域を識別することは、注視点の数が閾値を越える注視グループを含まない画像の領域を識別する（４３４）ことを含む。たとえば、図３Ｇ〜図３Ｈにおいて、未注視領域３１４−Ａ−１は少なくともある閾値を越える注視点を含まない（たとえば、閾値は２７５ｍ秒に１６の注視点であってもよいし、１６００ｍ秒に１００の注視点であってもよい）。実施形態のいくつかによって、閾値は、タスクの困難さのレベルにもとづいて決定される。例示の一つとして、１秒間に６０回サンプリングされる注視点で、容易なタスクについて、閾値はほぼ５００ｍ秒に設定され、より困難なタスクについて、閾値はほぼ１０００ｍ秒に設定される。
【００６５】
実施形態のいくつかにおいて、画像は複数の所定の規則的な間隔を有する領域に分割され（たとえば、図３Ｇの３１４−Ａ）、未注視領域（たとえば、図３Ｈの３１４−Ａ−１）は注視データの分布（密度）が閾値を越えない所定の規則的な間隔を有する領域の各々である。実施形態のいくつかにおいて、領域の注視点の数がある数値の閾値を越えないならば、該領域の注視データの分布（密度）は閾値を越えない。実施形態のいくつかにおいて、領域の固定注視の合計継続時間が継続時間閾値を越えないならば、該領域の注視データの分布（密度）は閾値を越えない。実施形態のいくつかにおいて、閾値は所定の閾値である。実施形態のいくつかにおいて、詳細を以上に記載したように、閾値は動的閾値である。
【００６６】
実施形態のいくつかにおいて、画像分析システム１０６は注視データの複数のグループを決定する（４３８）。注視グループの各々は一つもしくは複数の注視点を含み、画像内に個別の位置を有する。たとえば、図３Ｃにおいて、注視データ（たとえば、注視点３０４）にもとづいて複数の注視グループ３０６を決定する。これらの実施形態において、一つもしくは複数の未注視領域が複数の注視グループの個別の位置にもとづいて識別される（４４０）。未注視領域は、注視グループにもとづいて動的に決定され、注視データの分布（密度）が閾値を越えない（注視グループと）重畳しない領域であるように、決定される。たとえば、図３Ｄにおいて、視認済み領域３０８−Ａは図３Ｃの注視グループ３０６−Ａの位置に対応する。これらの視認済み領域３０８−Ａの間の空間を未注視領域として決定する。例示の一つとして、図３Ｄに例示されるように、未注視領域３１０−Ａは注視データの分布（密度）が所定の閾値を越えない（視認済み領域と）重畳しない矩形領域である。その他の実施形態において、（図３I〜図３Jを参照して詳細を上記したように、）未注視領域は、画像の視認済み領域の間にある画像の領域を包囲するように決定される。同様に、その他の実施形態では、（図３Ｇ〜図３Ｈを参照して詳細を上記したように、）未注視領域は、規則的パターンもしくは格子状に配置される画像の領域を包囲するように決定される。
【００６７】
実施形態のいくつかにおいて、個別の未注視領域が一つもしくは複数の近傍領域と交差するように未注視領域を決定する（４４２）。すなわち、実施形態のいくつかにおいて、領域の境界によって重要な特徴（たとえば、画像分析システム１０６によって重要であると自動的に識別された特徴）が損なわれることを避けるために、領域がわずかに重畳するように、領域は決定される。重畳の量は、特徴のサイズおよび密度(density)のような画像特性によって決定される。たとえば、詳細が上記されたように、実施形態のいくつかにおいて、画像分析システム１０６は視認済み領域の重要な特徴を識別するために注視データを使用する。実施形態のいくつかにおいて、画像分析システム１０６は未注視領域のこれらの識別された重要な特徴とその他の特徴とを比較し、未注視領域の重要な特徴のいずれも通過しないように未注視領域の境界を設定する。これらの実施形態において、ユーザが識別することが困難とならないように、識別された特徴が複数の領域に分割されないことを確実にし、画像の未注視領域の特徴をすべてカバーするように、相互にわずかに重畳するように、未注視領域の境界を決定する。
【００６８】
実施形態のいくつかにおいて、注視グループにもとづいて未注視領域を動的に決定する（４４４）。これらの実施形態において、識別された特徴の一つに類似する特徴の各々を含み、特徴の各々が未注視領域の各々の重心に隣接するように、未注視領域の各々を決定する（４４６）。すなわち、未注視領域の中心に識別された特徴を配置することによって該識別された特徴にユーザの注意を喚起するように、未注視領域の各々を決定する。すなわち、未注視領域の重要な特徴が複数の領域間で分割されないようにするだけではなく、画像分析システム１０６は、未注視領域の中心に識別された特徴が含まれるように、積極的に未注視領域を決定する。未注視領域の中心に識別された特徴を配置することによって、ユーザは識別された特徴をより注意深く分析するので、識別された特徴の重要性をより正確に評価することができる。
【００６９】
実施形態のいくつかにおいて、画像分析システム１０６は識別された特徴のサブセットを少なくとも含む一つもしくは複数の未注視領域を識別する（４４８）。実施形態のいくつかにおいて、画像分析システム１０６は識別された特徴にもとづいて一つもしくは複数の未注視領域の表示に優先順位を付ける（４５０）。実施形態のいくつかにおいて、一つもしくは複数の未注視領域を該優先順位にもとづいて表示する（たとえば、第１に順位付けされた領域を表示した後に、第２に順位付けされた領域、第３に順位付けされた領域を表示する、など）。
【００７０】
実施形態のいくつかにおいて、優先順位は第１のランク付け（第１の順位付け規則）によって未注視領域を順位付けすることを含む（４５２）。実施形態のいくつかにおいて、視認済み領域の複数の識別された特徴に該未注視領域の各々の特徴がマッチする可能性にもとづいて、第１のランク付けによる未注視領域の各々の順位を決定する（４５４）。視認済み領域の識別された特徴に未注視領域の特徴がマッチする可能性にもとづいて未注視領域を順位付けする例示の一つとして、未注視領域において識別された重要な特徴の数にもとづいて該未注視領域に優先順位を付ける（たとえば、図３Jの第１の領域３１４−Ｂ−１が、ユーザが画像で分析した形状の特性を有する形状を４つ含み、第２の領域３１４−Ｂ−２が、ユーザが画像で分析した形状の特性を有する形状を２つしか含まないならば、第１の領域３１４−Ｂ−１の表示は画像分析システム１０６によって第２の領域３１４−Ｂ−２の表示より優先される）。
【００７１】
実施形態のいくつかにおいて、未注視領域の各々と複数の視認済み領域との間の幾何学的関係にもとづいて、第１のランク付けによる未注視領域の各々の順位を決定する（４５６）。実施形態のいくつかにおいて、画像の未注視領域の各々の位置にもとづいて、第１のランク付けによる未注視領域の各々の順位を決定する（４５８）。幾何学的順位付け基準にもとづく領域の順位付けの例示として、「読み方向」（たとえば、左から右、上から下）にもとづいて未注視領域を順位付けする。幾何学的関係にもとづく領域の順位付けのその他の例示として、サイズにもとづいて未注視領域を順位付けする（たとえば、小さい領域の前に該領域より大きい領域を表示する。）。さらに、これらの様々な順位付けのスキームの一つもしくは複数を相互に、もしくはその他の順位付けスキームと組み合わせてもよい。
【００７２】
画像分析システム１０６は画像の第１のサブセットを少なくとも表示する（４６０）。一つもしくは複数の未注視領域の未注視領域の各々を含むように画像の第１のサブセットを選択し、未注視領域の各々に注意を喚起するような手法（表現）で画像の第１のサブセットを表示する。たとえば、図３Ｈにおいて、個別の領域３１４−Ａ−１の周囲に濃い境界を付加し、残りの画像をわずかに薄めることによって、強調された個別のサブセット３１４−Ａ−１を含む画像全体を表示する。一方、図３Ｊにおいて、画像のサブセットだけを表示する（たとえば、第１の未注視領域３１４−Ｂ−１および／または第２の未注視領域３１４−Ｂ−２）。
【００７３】
実施形態のいくつかにおいて、未注視領域の各々に注意を喚起する手法で画像のサブセットを表示することは以下のいずれかを含む。
（Ａ）（たとえば、図３Ｈに例示するように、）画像全体を表示し、画像の未注視領域を強調する。
（Ｂ）（たとえば、図３Jに例示するように、）未注視領域を含む画像の部分を表示する。
すなわち、画像分析システム１０６は以下のいずれかのオペレーションを実行する。
●第１のユーザに第１のサブセットを表示する（第１のサブセットは未注視領域を含む）。
●第１のユーザに画像の第１のサブセットを少なくとも表示する（少なくとも一つの未注視領域を含むように画像の第１のサブセットを選択し、含まれる未注視領域の少なくとも一つを強調する）。
【００７４】
実施形態のいくつかにおいて、未注視領域を含む画像のサブセットだけを表示する（４６２）。たとえば、図３Ｊにおいて、第１の未注視領域３１４−Ｂ−１もしくは第２の未注視領域３１４−Ｂ−２、もしくは双方を表示している。しかしながら、オリジナル画像のサブセットを少なくとも覆い、ユーザに表示しない。同様に、実施形態のいくつかにおいて、視認済み領域を覆い、ユーザに全体画像を表示する（たとえば、視認済み領域３０８−Ｂを隠して、図３Ｉの変更画像１３４−Ｅをユーザに表示する。）。画像の視認済み領域を隠すことによって、以前に十分に見られなかった（ユーザが十分見ていない）画像の領域に容易にユーザの注意を集中させることができる。これにより、ユーザによる画像の分析をより徹底することができる。
【００７５】
実施形態のいくつかにおいて、画像の第１のサブセットを表示することは、未注視領域の各々を視覚的に強調する（４６４）ことを含む（たとえば、図３Ｈに例示されるように、未注視領域３１４−Ａ−１は画像のその他の領域を弱める（暗くする）ことによって視覚的に強調される）。たとえば、未注視領域と画像の残りとを視覚的に区別するための視覚的な強調は未注視領域の色、シェーディング、色相、彩度、サイズ、明度、境界コントラストを調整する（たとえば、増加、低減、シフトする）ことを含んでもよい。
【００７６】
実施形態のいくつかにおいて、画像の第１のサブセットは複数の未注視領域を含む（４６６）。たとえば、実施形態のいくつかにおいて、２以上の未注視領域を同時に表示する（たとえば、図３Jに示されるように、第１の未注視領域３１４−Ｂ−１と第２の未注視領域３１４−Ｂ−２とを同時に表示する）。実施形態のいくつかにおいて、同時に表示される未注視領域の数は未注視領域のサイズに依存する。たとえば、実施形態のいくつかにおいて、最大可視領域（たとえば、ユーザの可視領域の５度）を決定し、続いて、次に順位付けされている未注視領域を選択することによって選択された未注視領域合計領域が最大可視領域を越えるまで、ランク順（順位順）に一度に一つユーザに対して同時に表示するために未注視領域を選択する。実施形態のいくつかにおいて、最大視野領域を個々の未注視領域が越えないように、未注視領域を決定する。このような条件下で、状況のいくつかにおいて（たとえば、未注視領域のサイズに応じて）、単一の領域だけを表示し、一方、その他の状況においては、３つ以上の領域を同時に表示する。実施形態のいくつかにおいて、人間の目の物理的特性(physical characteristics)にもとづいて最大可視領域を決定する（たとえば、最大可視領域は目を動かしたり、焦点を再び合わせたりすることなく、平均的な人間の目によって詳細を見ることができる最大領域である）。実施形態のいくつかにおいて、画像の特徴の特性にもとづいて最小可視領域を決定する（たとえば、最小可視領域は、最小可視領域のサイズ以上のサイズを有する領域内で完全に特徴を見ることができるように、特徴の最大サイズによって最小可視領域を決定する）。
【００７７】
複数のより小さい領域の同時表示を行うことにより、ユーザに対して、未注視領域のすべてを表示することを画像分析システム１０６が実行しなければならない、という繰り返しの回数を低減する一方、ユーザに対して同時に提示される情報量の上限を提供するので、一度にユーザに対して表示されるべき領域の数を決定するために最大可視領域を使用することは有益である。したがって、ここに記載された構造化された画像分析の有益な効果を維持しながら、画像分析の効率を改善することができる。
【００７８】
実施形態のいくつかにおいて（たとえば、未注視領域に優先順位が付けられ、優先順位が第１のランク付けにしたがう未注視領域の順位を含む、上記実施形態において）、第１のユーザに画像の第１のサブセットを表示することは第１のランク付けにおいて最上位に順位付けされている未注視領域を表示することを含む（４６８）。たとえば、図３Ｈにおいて、個別の未注視領域３１４−Ａ−１は最上位に順位付けされている未注視領域であり、したがって、ユーザに対して表示される。本例示では、単一の最上位に順位付けされた未注視領域だけを表示しているが、実施形態のいくつかにおいては、複数の上位に順位付けされた領域が同時に表示される（たとえば、図３Jに例示されるように、最上位に順位付けされた領域３１４−Ｂ−１と２番目に順位付けされた未注視領域３１４−Ｂ−２とが同時に表示される）。同様に、実施形態のいくつかにおいて、上位にランク付けされた複数の領域を連続的に（たとえば、領域を再度順位付けすることなく）表示する。たとえば、同時に表示する代わりに、図３Ｊに例示されるように、最上位に順位付けされた領域３１４−Ｂ−１と２番目に順位付けされた領域３１４−Ｂ−２を連続的に（順々に）表示してもよい。実施形態のいくつかにおいて、複数のサブセットが連続的に表示される場合、画像内のサブセットの位置について、ユーザに状況(context)を提供するように、画像内の当該サブセットの位置に対応する表示手段上の個別の位置に個別のサブセットを表示する。実施形態のいくつかにおいて、複数のサブセットが連続的に表示される場合、表示手段の所定の位置（たとえば、表示手段の中心）にサブセットの各々を表示する。
【００７９】
実施形態のいくつかにおいて、第１のサブセットを第１のユーザに表示する（４７０）（たとえば、変更画像をオリジナル画像のユーザと同一のユーザに表示する）。実施形態のいくつかにおいて、第１のサブセットを第２のユーザに表示する（４７２）（たとえば、変更画像をオリジナル画像とは異なるユーザに表示する）。実施形態のいくつかにおいて、第１のサブセットを一もしくは複数のその他のユーザに対して表示する（たとえば、変更画像を第１のユーザと第２のユーザとの双方に表示する）。
【００８０】
実施形態のいくつかにおいて、第１のユーザに第１のサブセットを表示し、一方、第１のユーザに画像の第１のサブセットを表示する（４７４）。画像分析システム１０６は第１のユーザの注視を追跡し（４７６）、更新された注視データを収集する（４７８）。更新された注視データは複数の注視点を含む。これらの実施形態において、画像分析システム１０６は、画像の注視データの分布（密度）にもとづいて、画像の一つもしくは複数の未注視領域を更新する（４８０）。実施形態のいくつかにおいて、画像分析システム１０６は視認済み領域の重要な特徴を識別するために注視データを使用し、続いて、識別された重要な特徴にマッチする未注視領域の特徴を識別するために識別された重要な特徴を使用する。たとえば、新しい視認済み領域が新しいタイプの特徴を含むならば、画像分析システム１０６は新しく識別されたタイプの特徴と同様な未注視領域の特徴を探す。実施形態のいくつかにおいて、画像分析システム１０６は更新された注視データにもとづいて第２のランク付け（第２の順位付け規則）によって更新された未注視領域の順位付けを行う（４８２）。これらの実施形態において、第２のランク付けは最初の注視データに少なくとも部分的にもとづく。これらの実施形態において、画像分析システム１０６は画像の第２のサブセットを少なくとも表示する（４８４）。画像の第２のサブセットは、第２のランク付けにおいて最上位の未注視領域である更新された未注視領域の個別の未注視領域を含むように選択され、画像の第２のサブセットは個別の未注視領域に注意を喚起する手法（表現）で表示される。
【００８１】
すなわち、実施形態のいくつかにおいて、変更画像をユーザに表示する一方、画像分析システム１０６はより多くの注視データをユーザから収集し、以前に決定された未注視領域を調整するために該注視データを使用する。たとえば、以前に決定された未注視領域が閾値を越える分布（密度）の注視データを現在含むならば、以前に決定された未注視領域は未注視領域であることをやめる。同様に、実施形態のいくつかにおいて、閾値を越える分布（密度）の注視データを含む未注視領域の部分は視認済み領域として識別され、一方、未注視領域の残りは未注視領域のままとされる。未注視領域が動的に決定される実施形態において、更新された注視データによって、一つもしくは複数の未注視領域を再決定してもよい。実施形態のいくつかにおいて、詳細を以上に記載したように、画像分析システム１０６は、視認済みデータの重要な特徴を識別するために更新された注視データを使用する。続いて、識別された重要な特徴とマッチする未注視領域の特徴を識別するために、識別された重要な特徴を使用する。実施形態のいくつかにおいて、未注視領域の識別された特徴を未注視領域のランク付け（順位付け）を更新するために使用する。
【００８２】
実施形態のいくつかにおいて、第１のユーザに画像を表示し（４０２）、第１のユーザの注視を追跡し（４０４）、第１のユーザの最初の注視データを収集する（４０６）ことに加えて、詳細を以上に記載したように、画像分析システムは第２のユーザに画像を表示し（４８６）、第２のユーザの注視を追跡し（４８７）、第２のユーザの追加の注視データを収集する（４８８）。実施形態のいくつかにおいて、追加の注視データは複数の注視点を含む。すなわち、同一の画像について複数のユーザの注視データを収集する。実施形態のいくつかにおいて、図３Ａ〜図３Ｊによって詳細を以上に記載したように、注視データを収集し、処理する。
【００８３】
実施形態のいくつかにおいて、画像の注視データ（たとえば、第１のユーザからの注視データおよび第２のユーザからの注視データを含む）の分布（密度）にもとづいて画像の一つもしくは複数の未注視領域を識別する（４１８）ことは、一つもしくは複数のオペレーション４９０〜４９７を実行することを含む。実施形態のいくつかにおいて、画像の一つもしくは複数の未注視領域を識別することは、第１のユーザの注視データと第２のユーザの注視データとを比較することを含む。実施形態のいくつかにおいて、一つもしくは複数の未注視領域は画像内の追加の注視データの分布（密度）に少なくとも一部もとづいて識別される（４９０）（たとえば、本実施形態において、図３Jの未注視領域３１４−Ｂは第１のユーザの注視データの注視グループおよび第２のユーザの注視データの注視グループにもとづいて決定される）。追加の注視データを構成する複数の注視点は、最初の注視データを構成する複数の注視点とは異なる。すなわち、第１のユーザの注視点および第２のユーザの注視点は混合しない。注視点が属するユーザにもとづく該注視点のこのような分離は、多くの状況で有利である。なぜならば、これにより、複数のユーザが、ある分布（密度）を有する注視データ（たとえば、注視点）をある領域内に有し、一方、どのユーザも該領域を注意深く分析していない場合、該領域を誤って視認済み領域として指定しないようにするからである。注視データが分離されないならば、実際、該領域が実際に十分評価されていない場合であっても、そのような領域は（たとえば、高密度(high density)の注視点によって）視認済み領域であるとされるかもしれない。
【００８４】
実施形態のいくつかにおいて、画像分析システム１０６は、複数の個別ユーザの注視データの個別の分布（密度）を評価することによって一つもしくは複数の未注視領域を識別する（４９２）（たとえば、個別のユーザの各々について、画像分析システム１０６は未処理注視データもしくは個別のユーザの未処理注視データにもとづいて決定された固定注視から注視グループを決定する）。これらの実施形態において、個別のユーザの各々についての注視データの個別の分布（密度）が個別領域についての個々の注視閾値を越えないと判断すると、画像分析システム１０６は未注視領域として個別の領域を識別する（４９３）。すなわち、これらの実施形態において、画像分析システム１０６の視点から全体として画像を分析するためにユーザはともに作業している。画像の個別の領域が少なくとも一のユーザによって注意深く分析されていれば、どのユーザが画像の個別の領域を分析するかは重要ではない。これらの実施形態は、画像分析タスクを迅速に実行するために特に有利である。なぜならば、ユーザの努力が累積され、結果として、多くの状況で（たとえば、第１のユーザの注視データの分布（密度）が第２のユーザの注視データの分布（密度）と異なる場合に）、未注視領域は少なくなり、変更画像をユーザに表示した場合に、二のユーザはより迅速に未注視領域を検討することができるようになる。
【００８５】
実施形態のいくつかについて、画像分析システム１０６は、少なくとも一つの画像の個別領域について、第１のユーザの注視データの分布（密度）と第２のユーザの注視データの分布（密度）との間の注視差異を決定する（４９５）ことによって、一つもしくは複数の未注視領域を識別する。これらの実施形態において、画像分析システム１０６は、相違閾値と個別領域についての注視差異とを比較する（４９６）。たとえば、相違閾値は第１のユーザおよび第２のユーザについての個別領域における注視点の数の間の差異、もしくは、第１のユーザについてのある領域における固定注視の継続時間の合計と第２のユーザについての該領域における固定注視の継続時間の合計との間の注視継続時間の差異を含むことができる。すなわち、相違閾値は第１のユーザによって個別領域に払われた注意の量と第２のユーザによって該個別領域に払われた注意の量との間の差異の計測値である。これらの実施形態において、個別領域の注視差異が相違閾値を越える場合、画像分析システム１０６は該個別領域を未注視領域として識別する（４９７）。実施形態のいくつかにおいて、双方のユーザによって未注視された領域は未注視領域として識別されない（たとえば、それらの領域は別個の二のユーザによって別個に評価され、いずれのユーザも該領域が重要であることを示さないからである）。実施形態のいくつかにおいて、双方のユーザによって未注視された領域には高い相違閾値によって他の領域よりも低い順位を付ける。すなわち、第１のランク付けによって未注視領域に順位を付けることにより表示のために未注視領域に優先順位が付けられる実施形態において、第１のユーザによって未注視され、第２のユーザによって視認された領域は双方のユーザによって未注視された領域より高い順位が付けられる。
【００８６】
すなわち、これらの実施形態において、第１のユーザが個別領域に関心を有することを客観的に示し、第２のユーザが該個別領域を未注視する場合、画像分析システム１０６はユーザ間の相違を識別し、少なくとも、該個別領域を未注視したユーザに該個別領域を再度表示する。これらの実施形態のいくつかにおいて、未注視領域は双方のユーザに表示される。これらの実施形態は、画像分析タスクを正確に実行するために特に有益である。なぜならば、第１のユーザおよび第２のユーザは基本的に画像を二重にチェックすることになり、その結果、関連する特徴を含む領域を見落とすことが少なくなる。さらに、第１のユーザおよび第２のユーザの間の注視の分布（密度）の間の高レベルな相違を有する領域は一もしくは双方のユーザによって再度評価するための適正な候補となる可能性がある。なぜならば、ユーザはこのような領域の特徴の重要性について合意していないからである。
【００８７】
上記した情報処理方法のステップは、汎用目的プロセッサもしくは応用特定チップのような情報処理装置の一つもしくは複数の機能モジュールを駆動することによって実行することができる。これらのモジュール、これらのモジュールどうしの組み合わせ、および／もしくはこれらのモジュールと（たとえば、図２によって上記されたような）汎用ハードウェアとの組み合わせは本発明の保護の範囲内に含まれる。
【００８８】
以上の記載は、例示を目的とし、特定の実施形態を参照して記述された。しかしながら、例示的な以上の記載は、本発明を網羅することや開示された形態そのものに本発明を限定することを意図していない。多くの変更が上記開示の観点から可能である。本発明の原理およびその実用的な応用を最良に説明するために、実施形態を選択し記述した。これにより、当業者は本発明を最適に利用することができ、様々な変更による様々な実施形態を予期される特定の使用に適合させることができる。
【符号の説明】
【００８９】
１０３ 表示手段
１０６ 画像分析システム
１０９ 注視追跡手段
１１４ 注視データ分析手段
１２８ 未注視領域識別手段
１３０ 未注視領域ランク付け（順位付け）手段
１３２ 画像変更手段
【技術分野】
【０００１】
本発明は画像の視認探索の正確さを改善することに関し、詳細には、画像の視認探索における対象取得の効率を改善することに関する。
【背景技術】
【０００２】
ヒューマン・ベースの画像解析は多くの現代の専門的職業で一般に行われるタスクである。たとえば、放射線科医および他の医療専門家は、患者を診断し治療するために、医療画像を分析することが多くあるし、空港のセキュリティ・エージェントは禁止されているアイテムを探知するために荷物をＸ線で走査するし、工場の作業者は品質を保証するために製品の目視検査を行う。これらのタスクにおいて、短い時間で画像を分類もしくは解釈するために、人間である分析者は、当該分野の自身の知識と高度な精神集中とを組み合わせなければならない。画像を生成するために使用される技術と、人間である分析者のトレーニングと、の双方で多くの進展があるが、多くの画像分析タスクは、いまなお、重大なエラーを含む傾向がある。たとえば、放射線画像分析はいまなお臨床的に重大なエラーを２０％近く含む。さらに、複数のユーザによる画像の分析でさえも、いまなお、エラー率がかなり高いことが多い。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】サルヴァッシ（Salvucci）ら、「視線追跡プロトコルにおける凝視およびサッカードの識別（Identifying fixations and saccades in eye-tracking protocols）」、視線追跡リサーチおよびアプリケーション・シンポジウム抄録（Proceedings of the Eye Tracking Research and Applications Symposium）、２００４年、頁７１〜７８
【非特許文献２】レスリー（Leslie）ら、「放射線科医によるＣＴ報告についての臨床情報の影響（The Influence of Clinical Information on the Reporting of CT by Radiologists"）、放射線学に関するブリティッシュ・ジャーナル、２０００年１０月、頁１０５２〜１０５５
【発明の概要】
【発明が解決しようとする課題】
【０００４】
視認探索タスクにおいて、エラーを低減し、対象識別の効率を改善するために、画像の探索目的に関連のある領域のより完全な分析を保証できる、ヒューマン・ベース画像分析手法が必要とされている。
【課題を解決するための手段】
【０００５】
本発明の第１の態様は画像分析支援方法であって、（ａ）ユーザに画像を表示し、（ｂ）前記ユーザの注視を追跡し、（ｃ）前記ユーザの最初の注視データを収集し、該最初の注視データは複数の注視点の位置に関する情報を含み、（ｄ）前記画像内における前記複数の注視点の密度にもとづいて該画像の少なくとも一つの未注視領域を識別し、（ｅ）前記少なくとも一つの未注視領域の画像を含むような画像の第１のサブセットを選択し、前記第１のサブセットに含まれる前記未注視領域のそれぞれを、前記画像中に存在するときよりも前記ユーザへの注意を喚起するような表現態様で表示する。
【０００６】
本発明の第２の態様は、第１の態様の画像分析支援方法であって、前記第１のサブセットのうちで、前記未注視領域の画像だけを表示する。
【０００７】
本発明の第３の態様は、第１の態様の画像分析支援方法であって、（ｅ）の表現態様が前記個別の未注視領域を視覚的に強調することを含む。
【０００８】
本発明の第４の態様は、第１の態様の画像分析支援方法であって、（ｄ）が、（ｄ１）前記注視データの複数の注視グループを決定し、前記注視グループの各々が少なくとも一つの注視点を含み、前記注視グループの各々が前記画像内に個別の位置を有し、（ｄ２）前記複数の注視グループの個別の位置にもとづいて少なくとも一つの前記未注視領域を識別する、ことを含む。
【０００９】
本発明の第５の態様は、第１の態様の画像分析支援方法であって、前記画像を複数の所定の規則的な間隔を有する領域に分割し、前記未注視領域は、密度が所定の閾値を越えない注視データを含む個別の前記所定の規則的な間隔を有する領域である。
【００１０】
本発明の第６の態様は、第１の態様の画像分析支援方法であって、前記注視データから複数の注視グループを決定する、ことをさらに含み、前記注視グループの各々は少なくとも一つの注視点を含み、前記注視グループの各々は前記画像内に個別の位置を有し、前記複数の注視グループの個別の位置にもとづいて少なくとも一つの未注視領域を識別し、前記注視グループにもとづいて前記未注視領域を動的に決定し、密度が所定の閾値を越えない注視データを含む領域であって、前記注視グループと重畳しない領域であるように前記未注視領域を決定する。
【００１１】
本発明の第７の態様は、第１の態様の画像分析支援方法であって、未注視領域が少なくとも一つの近傍の領域と重なるように、前記未注視領域を決定する。
【００１２】
本発明の第８の態様は、第１の態様の画像分析支援方法であって、前記最初の注視データにもとづいて複数の視認済み領域を識別し、前記視認済み領域は密度が所定の閾値を越える注視データを含み、少なくとも一つの視認済み領域に共通な複数の特徴を識別する、ことをさらに含む。
【００１３】
本発明の第９の態様は、第８の態様の画像分析支援方法であって、注視グループにもとづいて前記未注視領域を決定し、識別された特徴の一つに類似する個別の特徴を含み、該個別の特徴が前記個別の未注視領域の個別の重心付近の特徴を表すように、個別の未注視領域を決定する。
【００１４】
本発明の第１０の態様は、第８の態様の画像分析支援方法であって、前記識別された特徴のサブセットの画像を少なくとも含む少なくとも一つの前記未注視領域を識別し、前記識別された特徴にもとづいて少なくとも一つの前記未注視領域の表示に優先順位を付ける、ことをさらに含む。
【００１５】
本発明の第１１の態様は、第１０の態様の画像分析支援方法であって、前記優先順位を付けることは、第１の順位付け規則にしたがって前記未注視領域に順位を付け、前記第１の順位付け規則による個別の未注視領域の順位が、前記視認済み領域の複数の識別された特徴と個別の前記未注視領域の特徴とがマッチする可能性、前記個別の未注視領域と前記複数の視認済み領域との間の幾何学的関係、前記画像内における前記個別の未注視領域の位置、の少なくとも一つにもとづいて決定される。
【００１６】
本発明の第１２の態様は、第１０の態様の画像分析支援方法であって、前記優先順位を付けることは、第１の順位付け規則によって前記未注視領域に順位を付けることを含み、（ｅ）が、前記第１の順位付け規則によって最上位に順位付けされた未注視領域を表示することを含む。
【００１７】
本発明の第１３の態様は、第１２の態様の画像分析支援方法であって、前記第１のユーザに前記第１のサブセットの画像を表示し、前記第１のユーザに第１のサブセットの画像を表示しながら、前記第１のユーザの注視を追跡し、更新された注視データを収集し、前記更新された注視データは複数の注視点を含み、前記画像内の注視データの密度にもとづいて前記画像の少なくとも一つの未注視領域を更新し、前記更新された注視データにもとづいて前記更新された未注視領域を第２の順位付け規則で順位付けし、前記画像の第２のサブセットの画像を少なくとも表示し、前記第２の順位付け規則で最上位に順位付けされた前記更新された未注視領域の個別の未注視領域を含むように、前記画像の第２のサブセットを選択し、前記個別の未注視領域に注意を喚起する表現で前記画像の第２のサブセットの画像を表示する。
【００１８】
本発明の第１４の態様は、第１の態様の画像分析支援方法であって、第２のユーザに前記画像を表示し、前記第２のユーザの注視を追跡し、前記第２のユーザの追加の注視データを収集し、前記追加の注視データは複数の注視点を含み、前記画像内の追加の注視データの密度に少なくとも部分的にもとづいて少なくとも一つの前記未注視領域を識別する。
【００１９】
本発明の第１５の態様は、第１４の態様の画像分析支援方法であって、（ｄ）が、複数の個別のユーザの注視データの個別の密度を評価することを含み、前記個別のユーザの各々の注視データの個別の密度が個別の領域の個々の所定の注視閾値を越えないと判断した場合、該個別の領域を未注視領域として識別する。
【００２０】
本発明の第１６の態様は、第１４の態様の画像分析支援方法であって、（ｄ）が、前記画像の少なくとも一つの個別の領域について、前記第１のユーザの注視データの密度と前記第２のユーザの注視データの密度との間の注視差異を決定し、前記個別の領域の注視差異と相違閾値とを比較し、前記個別の領域の注視差異が相違閾値を越える場合、該個別の領域を未注視領域として識別する。
【００２１】
本発明の第１７の態様は、画像分析支援システムであって、少なくとも一つのプロセッサと、メモリと、少なくとも一つのプログラムと、を含む。前記メモリは前記少なくとも一つのプログラムを保存し、前記少なくとも一つのプロセッサは前記少なくとも一つのプログラムを実行し、前記少なくとも一つのプログラムは、ユーザに画像を表示する機能と、前記ユーザの注視を追跡する機能と、前記ユーザの最初の注視データを収集する機能であって、該最初の注視データは複数の注視点の位置に関する情報を含む、機能と、前記画像内における前記複数の注視点の密度にもとづいて該画像の少なくとも一つの未注視領域を識別する機能と、前記少なくとも一つの未注視領域の画像を含むような画像の第１のサブセットを選択する機能と、前記第１のサブセットに含まれる前記未注視領域のそれぞれを、前記画像中に存在するときよりも前記ユーザへの注意を喚起するような表現態様で表示する機能と、をコンピュータに実現させるためのプログラムである。
【００２２】
本発明の第１８の態様は、画像分析支援プログラムであって、ユーザに画像を表示する機能と、前記ユーザの注視を追跡する機能と、前記ユーザの最初の注視データを収集する機能であって、該最初の注視データは複数の注視点の位置に関する情報を含む、機能と、前記画像内における前記複数の注視点の密度にもとづいて該画像の少なくとも一つの未注視領域を識別する機能と、前記少なくとも一つの未注視領域の画像を含むような画像の第１のサブセットを選択する機能と、前記第１のサブセットに含まれる前記未注視領域のそれぞれを、前記画像中に存在するときよりも前記ユーザへの注意を喚起するような表現態様で表示する機能と、をコンピュータに実現させる。
【００２３】
本発明のシステムおよび方法の態様の一つによれば、画像分析システムは第１のユーザに画像を表示する。画像分析システムは、第１のユーザの注視を追跡し、第１のユーザの最初の注視データを収集する。最初の注視データは複数の注視点を含む。画像内の注視データの密度にもとづいて画像の一つもしくは複数の未注視領域を識別し、画像の第１のサブセットを少なくとも表示する。実施形態のいくつかにおいて、第１のサブセットを第１のユーザに表示する。実施形態のいくつかにおいて、第１のサブセットを第１のユーザとは異なる第２のユーザに表示する。一つもしくは複数の未注視領域の個別の未注視領域を含むように画像の第１のサブセットを選択し、個別の未注視領域への注意を喚起するような表現で該画像の第１のサブセットを表示する。
【００２４】
すなわち、実施形態のいくつかによれば、本発明のシステムおよび方法は２段階に構造化された画像探索法を実現する。該２段階に構造化された画像探索法の第１段階は自由探索であり、第１段階に続く第２段階は画像をよりよく探索（カバー）するためにユーザを支援するように設計されている。実施形態のいくつかによれば、第２段階は、画像をより小さい未注視領域に分割し、未注視領域の一つを含む画像のサブセットだけを表示する。実施形態のいくつかによれば、第２段階は視認済み領域を隠し、隠された領域を含まない画像の部分を表示するか、もしくは、上記技術を組み合わせて実行する。実施形態のいくつかにおいて、第２段階は、画像内の一つもしくは複数の未注視領域を視覚的に強調して、画像を再表示することを含む。本発明のシステムおよび方法は分野に依存するものではなく、セキュリティ画像、衛星画像、地図、天文画像、サイエンティフィック・ビジュアライゼーションなどの多くの分野に適用することができる。
【００２５】
ここで記述される実施形態のさらなる利益は、少なくともいくつかの視認探索タスクについて、既知の視認探索法における偽の識別の割合を低減し、真の識別の割合を増大することができることである。すなわち、視認探索タスクにおける検出漏れを低減することができることである。
【発明の効果】
【００２６】
視認探索タスクを実行している間に画像の対象を識別することに関連する上記およびその他の問題は、本発明の、系統的であるとともに、ユーザのサーチふるまいに適応可能である構造化された画像分析のシステムおよび方法によって、低減されるか、もしくは、取り除かれる。一般に、本発明のシステムおよび方法はより構造化された画像分析プロセスを提供する。より詳細には、本発明のシステムおよび方法は、検出漏れ（詳細には、分析者が見なかった、もしくは、評価しなかった、画像の複数の領域における検出漏れ）の総数を低減するという目標を有し、冗長な分析を低減しつつ、分析範囲を増大する。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態による注視データにもとづいて未注視領域を識別するシステムの概観を例示するブロック図である。
【図２】本発明の実施形態による計算処理装置として実装される画像分析システムを例示するブロック図である。
【図３Ａ】本発明の実施形態によるオリジナル画像表示を例示する図である。
【図３Ｂ】本発明の実施形態による注視点を例示する図である。
【図３Ｃ】本発明の実施形態による注視グループを例示する図である。
【図３Ｄ】本発明の実施形態による変更画像表示を例示する図である。
【図３Ｅ】本発明の実施形態による固定注視を例示する図である。
【図３Ｆ】本発明の実施形態による変更画像表示を例示する図である。
【図３Ｇ】本発明の実施形態による変更画像表示を例示する図である。
【図３Ｈ】本発明の実施形態による変更画像表示を例示する図である。
【図３Ｉ】本発明の実施形態による変更画像表示を例示する図である。
【図３Ｊ】本発明の実施形態による変更画像表示を例示する図である。
【図４Ａ】本発明の実施形態による注視データにもとづく画像の未注視領域を識別する方法を例示するフロー・チャートである。
【図４Ｂ】本発明の実施形態による注視データにもとづく画像の未注視領域を識別する方法を例示するフロー・チャートである。
【図４Ｃ】本発明の実施形態による注視データにもとづく画像の未注視領域を識別する方法を例示するフロー・チャートである。
【図４Ｄ】本発明の実施形態による注視データにもとづく画像の未注視領域を識別する方法を例示するフロー・チャートである。
【図４Ｅ】本発明の実施形態による注視データにもとづく画像の未注視領域を識別する方法を例示するフロー・チャートである。
【図４Ｆ】本発明の実施形態による注視データにもとづく画像の未注視領域を識別する方法を例示するフロー・チャートである。
【発明を実施するための形態】
【００２８】
すべての図面にわたって、対応する構成要素には同一の参照符号を付してある。
【００２９】
実施形態についての説明を詳細に行う。該実施形態の例を添付の図面において例示する。以下の詳細な記述において、本発明の完全な理解を提供するために、特定の詳細をいくつか説明する。しかしながら、本発明をこれらの特定の詳細なしに実施することができることは明らかである。その他の例、よく知られている方法、手続、構成要素、回路およびネットワークについては、実施形態の態様を不必要に不明瞭としないように、記載しない。
【００３０】
図１は、実施形態のいくつかによる注視データにもとづいて、画像の複数の未注視領域を識別するシステムの概観を示すブロック図である。画像分析システム１０６によって、一もしくは複数のユーザ（たとえば、図１における１０４−１および／または１０４−２）に対して、表示手段１０３に画像１０２を表示する。実施形態のいくつかにおいて、画像データ１０７データ構造から画像データを検索する。画像データは画像表示モジュール１０８によって検索され、ユーザに対して表示するために表示手段１０３に送信される。ユーザ（一または複数）１０４の注視を、一つまたは複数の注視追跡手段１０９によって検出する。実施形態のいくつかにおいて、注視追跡手段（一つまたは複数）１０９は画像分析システム１０６に統合されている部分である。実施形態のいくつかにおいて、注視追跡手段（一つまたは複数）１０９は、スタンド・アロン・デバイスであってもよいし、表示手段１０３と統合されていてもよい。注視追跡手段（一つまたは複数）１０９は、注視データを画像分析システム１０６に送信する。画像分析システム１０６は計算処理装置である。実施形態のいくつかによれば、計算処理装置は、コンピュータ読み取り可能記憶媒体に保存されている指示にもとづいて計算処理を実行することができる任意の装置である。たとえば、計算処理装置は、ワークステーション・システム、パーソナル・コンピュータ、携帯端末、携帯電話、もしくは、その他の固定配置コンピュータであってもよいし、もしくは、モバイル・コンピュータであってもよい。
【００３１】
画像分析システム１０６は注視追跡手段１０９から注視データを受信する。注視追跡インタフェース１１０は注視データを受信し、画像分析システム１０６と関連付けられている注視データ１１２データ構造に保存する。注視データ分析手段１１４は注視データを分析する。実施形態のいくつかにおいて、注視データ分析手段は注視データのグループを生成する。さらに、実施形態のいくつかにおいては、注視データのグループ化は注視データの中から識別される固定注視(fixation)にもとづく（詳細は、図３Ａ〜図３Jを参照して、以下で説明する）。実施形態のいくつかにおいて、グループはユーザ・プリファレンス１１６データ構造から検索されるユーザ・プリファレンス（ユーザの嗜好）の少なくとも部分にもとづいて決定される。注視データ分析手段１１４によって生成される注視データのグループは、注視データ１１２データ構造に保存される。実施形態のいくつかにおいては、注視データ１１２は未処理注視データおよび処理済み注視データの双方を含む。実施形態のいくつかにおいて、注視データ分析手段１１４は画像分析システム１０６内のその他のモジュールおよび処理を制御し、変更画像を生成するために注視データの追加処理を指示する（詳細は、以下で説明する）。その他の実施形態において、画像分析システム１０６は、上記の様々なモジュールおよび処理を制御する専用マスター制御モジュールを備える。
【００３２】
実施形態のいくつかにおいて、注視データ１１２データ構造に保存されている注視データおよび注視データ・グループは、画像の複数の未注視領域を識別するために一つもしくは複数のモジュールによって使用される。実施形態のいくつかにおいて、注視データ分析手段１１４は未注視領域識別処理を制御する。特徴識別手段１１８は画像の関連する特徴を識別する。実施形態のいくつかにおいて、特徴識別パラメータ１２０および／または注視データ１１２（たとえば、処理済み注視データおよび／または未処理注視データ）にもとづいて、特徴が識別される。識別された特徴は領域データ１２２データ構造に保存される。
【００３３】
実施形態のいくつかにおいて、動的領域決定手段１２４は、画像の領域を動的に決定するために、注視データ１１２を使用する（詳細は、以下に記載する）。決定された領域の位置は領域データ１２２として保存される。実施形態のいくつかにおいて、注視データ１１２は複数のユーザからの注視データを含み、画像分析システム１０６は複数のユーザの個別のユーザからの注視データを比較するための注視比較手段１２６を含む。実施形態のいくつかにおいて、この比較データは、領域データ１２２データ構造に保存され、次に、複数のユーザの一または複数に対して画像をどのように再表示するかを決定するために使用される（詳細は、以下に記載する）。ユーザによって十分に注意深く検査されていない画像の複数の領域（たとえば、閾値を越える分布（密度）の注視データを含まない領域）を識別するために使用される未注視領域識別手段１２８を、画像分析システム１０６は含む（詳細は、以下に記載する）。識別された未注視領域が領域データ１２２において示される。実施形態のいくつかにおいて、未注視領域が識別されると、未注視領域ランク付け（順位付け）手段１３０が領域データ１２２にもとづいて（たとえば、検出特徴、動的識別領域、比較注視データおよび／または識別された未注視領域の位置にもとづいて）、未注視領域をランク付け（順位付け）する。順位は領域データ１２２に保存される。実施形態のいくつかによれば、上記結果を生成するために、領域データ１２２の様々なモジュールによって保存されているデータも様々な他のモジュール（たとえば、特徴識別手段１１８、動的領域決定手段１２４、注視データ比較手段１２６、未注視領域識別手段１２８および／または未注視領域ランク付け（順位付け）手段１３０）によって使用される。たとえば、実施形態のいくつかにおいて、注視データ比較手段１２６は、複数のユーザのデータを比較する場合、領域データ１２２に保存されている動的決定領域を使用する。
【００３４】
画像解析システム１０６は、オリジナル画像の未注視領域に注意を喚起するような表現に、画像（たとえば、当初表示された画像１０２）を変更する画像変更手段１３２も含む。実施形態のいくつかにおいて、変更画像１３４は画像表示モジュール１０８に送信され、一もしくは複数のユーザ（たとえば、第１のユーザ１０４−１および／もしくは第２のユーザ１０４−２）に対して表示される。実施形態のいくつかにおいて、変更画像１３４はオリジナル画像１０２のサブセットだけを含む。実施形態のいくつかにおいて、一つもしくは複数の未注視領域は、該一つもしくは複数の未注視領域に注意を喚起するように変更画像において視覚的に強調される（詳細は、以下に記載する）。
【００３５】
すなわち、実施形態のいくつかにおいて、オリジナル画像１０２が一もしくは複数のユーザ１０４に対して表示され、注視データが一もしくは複数のユーザ１０４の少なくとも一について収集され、一もしくは複数のユーザ１０４によって当初未注視された画像の領域に対して注意を喚起するように変更された変更画像１３４が、画像解析システム１０６によって一もしくは複数のユーザ１０４に対して表示される。実施形態の一つにおいて、最初の注視データが収集されたユーザについて、該ユーザが最初に画像を見たとき、該ユーザによって未注視されたオリジナル画像１０２の領域について、該ユーザに直接フィードバックを提供するために、変更画像１３４は該ユーザに対して表示される。
【００３６】
図２は、以下に記載する方法を実装する計算処理装置としての画像解析システム１０６の実施形態を示し、画像解析システム１０６は、一つもしくは複数の処理装置（ＣＰＵ）２０２、一つもしくは複数のネットワークもしくはその他の通信のインタフェース２０４、メモリ２０６、およびこれらの構成要素間を相互に接続するための一つもしくは複数の通信バス２０８を含む。通信バス２０８はシステムの構成要素を相互に接続し、システムの構成要素間の通信を制御する回路（チップセットと呼ばれることがある）を含んでいてもよい。画像解析システム１０６はユーザ・インタフェース２１０を含むことができるが、必須ではない。実施形態のいくつかにおいて、ユーザ・インタフェース２１０は表示手段１０３および／もしくはキーボード／マウス２１４を含むが、本発明はこれに限定されず、ユーザ・インタフェース手段のその他の構成を使用してもよい。画像解析システム１０６は、（必須ではないが、）注視追跡手段１０９を含んでもよいし、注視追跡手段１０９からデータを受信してもよい。実施形態のいくつかにおいて、注視追跡手段１０９はユーザの目の動きを追跡するために構成されている一つもしくは複数のセンサを含み、該目の動きを表示手段１０３上の注視点に変換する。実施形態のいくつかにおいて、注視点を注視追跡手段１０９によって取得している間、注視追跡手段１０９は画像解析システム１０６と通信する。その他の実施形態において、注視データを取得した後、注視追跡手段１０９は画像解析システムと通信する。実施形態のいくつかにおいて、注視追跡手段１０９は画像解析システム１０６から独立しており、注視データは、有線インタフェースまたは無線インタフェースを介して、注視追跡手段１０９から画像解析システム１０６に転送される。画像解析システム１０６のメモリ２０６は高速ランダム・アクセス・メモリを含んでもよく、一つもしくは複数の磁気記憶ディスクもしくは光記憶ディスク、フラッシュ・メモリ・デバイス、もしくは、その他の不揮発性ソリッド・ステート・ストレージ・デバイスなどの不揮発性メモリを含んでもよい。高速ランダム・アクセス・メモリは、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、もしくは、その他のランダム・アクセス・ソリッド・ステート・メモリ・デバイスなどを含んでもよい。メモリ２０６はＣＰＵ２０２から離隔した位置に配置されている大容量記憶手段を含んでもよいが、必須ではない。メモリ２０６、もしくは、代替的に、メモリ２０６内の不揮発性メモリ・デバイスは、コンピュータ読み取り可能記憶媒体を含む。メモリ２０６もしくはメモリ２０６内のコンピュータ読み取り可能記憶媒体は、以下の構成要素もしくはこれらの構成要素のサブセットを記憶するが、その他の構成要素も含むことができる。
●様々な基本システム・サービスを扱うための手続を含み、ハードウェア依存タスクを実行するためのオペレーティング・システム２１６
●一つもしくは複数の通信ネットワークインタフェース２０４および一つもしくは複数の通信ネットワーク（インターネット、その他のワイド・エリア・ネットワーク、ローカル・エリア・ネットワーク、メトロポリタン・エリア・ネットワークなど）を介して、他の計算処理デバイスに画像解析システム１０６を接続するために使用されるネットワーク通信モジュール（もしくは命令）２１８
●以下の一つもしくは複数を含むアプリケーション２２０
※表示手段１０３に画像を表示するための画像表示モジュール１０８
※注視追跡手段１０９からの入力を受信するための注視追跡手段インタフェース１１０
※注視追跡手段１０９から受信した注視データを処理するための注視データ分析手段１１４（実施形態のいくつかにおいて、注視データ分析手段１１４は、未処理注視データ、もしくは固定注視識別手段２２２によって識別された固定注視から注視グループを識別するために、注視点および／またはグループ識別手段２２４から固定注視を識別するための固定注視識別手段２２２も含む。）
※画像の重要な特徴を識別するための特徴識別手段１１８（必須ではない）
※注視データにもとづいて画像の領域を動的に識別するための動的領域識別手段１２４（必須ではない）
※ユーザ各々からの注視データを比較するための注視データ比較手段１２６（必須ではない）
※注視データの分布（密度）にもとづいて画像の未注視領域の各々を識別するための未注視領域識別手段１２８
※未注視領域の各々に順位を付ける未注視領域ランク付け（順位付け）手段１３０（必須ではない）
※画像の未注視領域への注意を喚起するように（たとえば、ユーザに対して表示するために、未注視領域を視覚的に強調することによって、および／または未注視領域を含む画像のサブセットを選択することにより）オリジナル画像（たとえば、図１の参照符号１０２）を変更するための画像変更手段１３２
●以下の一つもしくは複数を含むデータ２２６
※ユーザに対して表示するためのオリジナル画像、変更画像およびその他のデータを含む画像データ１０７
※複数の注視点を含む注視データ１１２
実施形態のいくつかにおいて、注視データは複数のユーザの注視データ（たとえば、ユーザ１注視データ２２８およびユーザ２注視データ２３０）を含み、実施形態のいくつかにおいて、注視データは未処理注視データを含み、実施形態のいくつかにおいて、注視データは処理済み注視データ（たとえば、注視データ分析手段１１４によって決定された注視グループ）を含む。
※個別のユーザに向けて画像分析システム１０６をカスタマイズするためのユーザ・プリファレンス１１６
※画像の特徴のタイプにもとづいて画像の各々の画像分析をカスタマイズするための特徴識別パラメータ１２０
※画像分析システム１０６によって生成された情報を保存する領域データ１２２
（領域位置データ２３２、領域注視分布（密度）データ２３４、領域ランク付け（順位付け）データ２３６および／または特徴データ２３８など）
【００３７】
図２の上記構成要素の各々は上記メモリ・デバイスの一つもしくは複数に保存されていてもよい。上記モジュールの各々は、上記機能を実行するための命令セットに対応する。上記モジュールもしくはプログラム（すなわち、命令セット）は別個のソフトウェア・プログラム、手順(procedure)もしくはモジュール、およびモジュールの様々なサブセットを組み合わせであってもよいし、様々な実施形態において再配置されるものであってもよい。実施形態のいくつかにおいて、メモリ２０６は上記モジュールおよびデータ構造のサブセットを保存してもよい。さらに、メモリ２０６は上記以外のモジュールおよびデータ構造を保存してもよい。さらに、画像分析システム１０６を一つの計算処理装置によって具体化されるものとして上記したが、実施形態のいくつかにおいては、画像分析システム１０６は相互接続された複数の計算処理装置として実現されてもよく、上記した様々な機能、モジュールおよびデータを、相互接続された複数の計算処理システムに分割することができる。
【００３８】
図３Ａ〜図３Ｊは、実施形態のいくつかによるオリジナル画像の表示（図３Ａの画像１０２）、注視データの収集、未注視領域の識別および変更画像の表示（たとえば、図３Ｄ、３F、３Ｇ〜３Ｈの画像１３４）を例示する。図３Ａには、例示的な画像分析タスクが表示されている。このタスクにおいて、オリジナル画像１０２がユーザに対して表示される。画像分析タスクは所定の形状３０２によって画像の形状を識別する。画像分析タスクは単なる例示であり、画像分析を構成するためのシステムおよび方法は、人間であるユーザが画像の特徴もしくはパターンを識別するために求められる画像分析タスクの広範なクラス（たとえば、Ｘ線画像において腫瘍を識別すること、航空写真において軍事目標を識別すること、物理的構造の画像における構造上の欠陥を識別すること）において、任意の画像分析タスクに対して同様に適用される。
【００３９】
図３Ｂは、表示手段に画像が表示されている（たとえば、図３Ａ）間のユーザの目の動きを検出することによって注視追跡手段（たとえば、図１および図２の参照符号１０９）によって生成される複数の注視点３０４を例示する。実施形態のいくつかにおいて、注視点の各々は特定の時点における画像のユーザの注視の位置を示す（詳細は、以下に記載する）。
【００４０】
図３Ｃは未処理注視データにもとづいて生成される注視点のグループ（たとえば、グループ３０６−Ａ）を例示する。すなわち、本実施形態において、注視グループは、十分な密度(density)を有する複数の注視点を含む画像の領域を識別することによって識別される（詳細は、以下に記載する）。
【００４１】
図３Ｄは、視認済み領域(attended region)（たとえば、領域３０８−Ａ）を隠し、未注視領域３１０の表示を継続しながら、画像を再表示することによって変更画像１３４−Ａを表示する例を示している。本実施形態において、視認済み領域（たとえば、領域３０８−Ａ）の位置は識別された注視グループ（たとえば、図３Ｃの３０６−Ａ）の位置にもとづいて決定される（詳細は、以下に記載する）。
【００４２】
図３Ｅは検出された注視点にもとづいて固定注視３１２を識別する例を示す（詳細は、以下に記載する）。本実施形態において、注視グループは、次に、複数の固定注視を結合することによって決定される（たとえば、図３Ｅの参照符号３０６−Ｂ)。すなわち、実施形態のいくつかにおいて、画像分析システム１０６は、まず、注視点の時間的および空間的な近さにもとづいて複数の固定注視を決定し、次に、注視グループを決定するために固定注視の相互の近さにもとづいて固定注視をグループ化する。
【００４３】
図３Ｆは、視認済み領域を隠し（たとえば、領域３０８−Ｂ）未注視領域の表示を継続し（たとえば、領域３１０−Ｂ)、画像を再表示することによって、変更画像１３４−Ｂを表示する例を示す。本実施の形態において、視認済み領域３０８は識別された注視グループの位置（図３Ｅの参照符号３０６−Ｂ）にもとづいて決定される。
【００４４】
図３Ｇは変更画像１３４−Ｃを例示する。変更画像１３４−Ｃでは、複数の視認済み領域３０８−Ｂが隠され、複数の所定の領域３１４−Ａが含まれている。図３Ｇにおいて、所定の領域は４×４個の矩形領域である。しかしながら、これは単なる例示であり、本発明のシステムおよび方法から逸脱することなく、任意の所定の領域を配置することができる。
【００４５】
図３Ｈは、複数の領域３１４−Ａの個別の領域３１４−Ａ−１を視覚的に強調するために変更された変更画像１３４−Ｄを例示する。本実施例において、個別の領域は、画像のその他の領域の強調を低減することによって（たとえば、他の領域に薄い影を付加することによって）強調されている。しかしながら、上記は単なる例示であって、一つもしくは複数の個別の領域を強調する任意の手法を本発明のシステムもしくは方法の範囲から逸脱することなく使用することができる。さらに、本例示において、個別領域３１４−Ａ−１における表示から画像の視認済み領域（たとえば、図３Ｈの３０８−Ｂ）を隠しているが、実施形態のいくつかにおいて、視認済み領域を隠さず、いずれの視認済み領域も隠すことなく領域３１４−Ａ−１の全体を表示する。さらに、実施形態のいくつかにおいて、視認済み領域は、所定の閾値を越える数の注視点を含む所定の領域として単に定義される。すなわち、視認済み領域は分布(密度)が閾値を越える注視点を含む領域３１４−Ａのいずれかである。
【００４６】
図３Ｉは、複数の視認済み領域３０８−Ｂを隠している変更画像１３４−Ｅを例示する。該画像は複数の動的定義領域３１４−Ｂを有する。図３Ｉにおいて、動的定義領域は画像の視認済み領域の間にある画像の領域を包囲するように定義される。しかしながら、上記は例示であり、本発明のシステムおよび方法の上記開示の範囲から逸脱することなく、領域の任意の動的配置を使用することができる。
【００４７】
図３Ｊは、複数の領域３１４−Ｂの個別の領域（たとえば、領域３１４−Ｂ−１もしくは３１４−Ｂ−２）を視覚的に強調する変更画像１３４−Ｆを例示する。本例示において、個別の領域は個別の領域３１４−Ｂ−１だけを表示することによって強調される。しかしながら、これは例示であり、本発明のシステムもしくは方法の範囲から逸脱することなく、一つもしくは複数の個別領域を強調する任意の手法を使用することができる。さらに、本例示において、個別領域（領域３１４−Ｂ−１および３１４−Ｂ−２）において画像の視認済み領域（図３Ｈの３０８−Ｂ）を表示から隠しているが、実施形態のいくつかにおいては、視認済み領域を隠しておらず、領域全体（たとえば、図３Jの領域３１４−Ｂ−１もしくは３１４−Ｂ−２）を表示する。
【００４８】
図４Ａ〜図４Ｆは実施形態のいくつかにおいて未注視領域を検出し、該未注視領域の一つもしくは複数への注意を喚起するように画像のサブセットを少なくとも表示する方法を例示する。
【００４９】
画像分析システム１０６は第１のユーザに（たとえば、図３Ａに例示されるような）画像を表示する（４０２）。画像分析システム１０６は第１のユーザの注視を（たとえば、図１および図２の注視追跡手段１０９を用いて、）追跡する（４０４）。画像分析システム１０６は、第１のユーザの最初の注視データを収集する（４０６）。最初の注視データは複数の注視点（たとえば、図３Ｂに例示されるような注視点３０４）を含む。
【００５０】
実施形態のいくつかにおいて、画像分析システム１０６は、最初の画像データにもとづいて、複数の視認済み領域を識別する（４０８）。例示の一つとして、図３Ｃに示されるように、画像分析システム１０６は注視点（たとえば、図３Ｂの３０４）を複数の注視グループ（たとえば、図３Ｃの３０６−Ａ、もしくは、図３Ｅの３０６−Ｂ）にグループ化し、所定の閾値を越える注視分布（密度）を有する画像領域が視認済み領域であると判断する（たとえば、画像分析システム１０６は、図３Ｄの領域３０８−Ａもしくは図３Ｆの領域３０８−Ｂがユーザによってある閾値より多く見られた領域であることを検出する。）。すなわち、ユーザが特定の領域を十分な分布（密度）で(sufficiently closely)見たことを画像分析システム１０６が検出する場合、画像分析システム１０６は該領域がユーザによって既に見られたと判断する。
【００５１】
これらの実施形態において、視認済み領域は分布（密度）が閾値を越える注視データを含む。実施形態のいくつかにおいて、画像分析システム１０６は視認済み領域の一つもしくは複数に共通する複数の特徴を識別する（４１０）。実施形態のいくつかにおいて、特徴は領域の全体としての特性（たとえば、色、テクスチャなど）である（４１２）。実施形態のいくつかにおいて、特徴は領域の構成要素（たとえば、形状、テクスチャを有する領域）である（４１４）。図３Ａ〜図３Ｊの画像において、例示の一つとして、視認済み領域の特徴（たとえば、図３Ｃもしくは図３Ｅの注視グループ３０６に関連する視認済み領域の中の形状）にもとづいて、ユーザが直線的なエッジを含むだけの特徴に主に関心を有することを画像分析システム１０６が決定してもよい。実施形態のいくつかにおいて、識別された特徴は画像のどの未注視領域が該ユーザに特に関連するのか、を決定し、該決定に応じて未注視領域の表示の優先順位を決定するために使用される（たとえば、多数の直線的なエッジを有する特徴を含む未注視領域は、少数の直線的なエッジを有する特徴を含む未注視領域より優先順位が高い。詳細は、以下に記載する）。
【００５２】
実施形態のいくつかにおいて、所定の特徴識別パラメータを用いて特徴を識別する（４１６）。例示の一つとして、画像分析システム１０６は特徴識別パラメータを供給するために一つもしくは複数の画像分類手段を使用する。実施形態のいくつかにおいて、該特徴は分野指向である（たとえば、画像分析システム１０６が溶接の分析のために使用されるのであれば、画像分析システム１０６は特徴識別パラメータの第１セットを使用し、一方、画像分析システム１０６が整形外科の分析のために使用されるのであれば、画像分析システム１０６は特徴識別パラメータの第２セットを使用する。一方、画像分析システム１０６がＸ線による腫瘍の検出のために使用されるのであれば、画像分析システム（装置）１０６は特徴識別パラメータの第３セットを使用する）。すなわち、実施形態のいくつかにおいて、分野指向の画像分類が画像の関連する特徴を識別するために使用される。
【００５３】
実施形態のいくつかにおいて、複数の関連する画像分析タスク（たとえば、同様の特徴が検出されており、したがって、注視が同様の特徴に向かっている可能性が高い画像分析タスク）の部分として表示された一連の画像がある場合、装置は複数の画像から特徴を識別する。すなわち、実施形態のいくつかにおいて、画像分析タスクは複数の画像を連続的に検討することを含む。たとえば、放射線科医は単一のセッションにおいて多くのＸ線画像を検討することができる。この例示における検討セッションのために（もしくは単一の画像分析タスクに関連するすべての検討セッションのために）画像分析システム１０６はユーザによって視認された領域の特徴についての情報を保存し、ユーザの関心を示すこの情報を特徴セットの識別を更新するために使用することができる。同様に、単一の画像の一連のサブセットをユーザに表示するので、識別された特徴セットを更新することができ、これにより、単一画像の分析過程において識別された特徴の正確さを改善することができる。
【００５４】
さらに、実施形態のいくつかにおいて、ユーザは、関心を有する特徴を画像分析システム１０６に対して詳細に示す。たとえば、ユーザは表示手段上の画像の領域を選択するためにカーソルもしくは他の入力手段を使用することができる。これにより、領域の特徴がユーザにとって特定の関心を示す領域であることを画像分析システム１０６に対して示すことができる。
【００５５】
画像分析システム１０６は画像内の注視データの分布（密度）にもとづいて画像の一つもしくは複数の未注視領域を識別する（４１８）。実施形態のいくつかにおいて、未注視領域は十分な量の注視を含まない領域である。例示の一つとして、未注視領域は、該領域が所定の閾値より低い合計数の注視点を含む所定の領域である（たとえば、本実施形態において、ある数より少ない注視点を含むので図３Ｈの未注視領域３１４−Ａ−１が表示される。）。その他の例示として、未注視領域は、ある継続時間閾値を越えてユーザによる注視が固定されていた画像の部分を除く動的定義領域である（たとえば、本実施形態において、ある時間閾値より短い時間継続する固定注視を含むので、図３Ｈの未注視領域３１４−Ａ−１が表示される）。
【００５６】
実施形態のいくつかにおいて、詳細を以上に記載したように、閾値は、未注視領域を決定し、固定注視を検出し、注視データをグループ化するために使用される。実施形態のいくつかにおいて、閾値は所定の閾値（たとえば、注視点の数（たとえば、ある領域における１７個の注視点）、あるいは、継続時間（たとえば、ある領域における合計２７５ｍ秒の固定注視の継続時間））である。所定の閾値の大きさは、特定の画像認識タスクのより高レベルな認識プロセスを示すために必要とされる注視推定継続時間および／または注視追跡手段の更新頻度（たとえば、注視データが収集される速度）などのファクターにもとづいて決定される。実施形態のいくつかにおいて、閾値は、画像分析システム１０６において受信された入力もしくはユーザ・プリファレンスにもとづいて動的に決定される。実施形態のいくつかにおいて、動的閾値はユーザ指向閾値(user-specific thresholds)である。例示の一つとして、固定注視において許容される空間的分散(dispersion)は、収集されたユーザの注視データの連続する注視点の間の距離の分散(distribution)を計測する一つもしくは複数の分散計測値(dispersion metrics)にもとづいて動的に決定される。一般に、照明条件、目の生理学的特性などによって、注視追跡手段がユーザの注視を追跡することが困難であり、それゆえ、注視点が多くのエラーを含む場合、分散計測値は所定の正常値より高い。反対に、注視追跡手段が最適状態で動作している場合、分散計測値は所定の正常値である。実施形態のいくつかにおいて、分散計測値は２つの連続する注視点の間の距離の分散にもとづいて決定される。すなわち、注視データのノイズのレベルが増加すると、注視データの固定注視をより正確に識別するために動的閾値が変化する。
【００５７】
実施形態のいくつかにおいて、一つもしくは複数の未注視領域を識別することは複数の注視グループを決定すること（４２０）を含む（たとえば、図３Ｃのグループ３０６−Ａもしくは図３Ｅのグループ３０６−Ｂ）。これらの実施形態において、注視グループの各々は一つもしくは複数の注視点（たとえば、図３Ｃおよび図３Ｅの参照符号３０４）を含み、画像内に個別の位置を有する。実施形態のいくつかにおいて、注視データは所定の頻度（たとえば、毎秒６０回（６０ヘルツ））で収集され、グループは注視グループ内の注視点の数にもとづく継続時間を有するか、グループ内の固定注視（たとえば、図３Ｅの固定注視３１２）の合計継続時間（たとえば、５００ｍ秒）を有する。実施形態のいくつかによれば、未注視領域は視認済み領域ではない領域である。すなわち、実施形態のいくつかにおいて、まず視認済み領域を決定し、未注視領域を視認済み領域の外側の領域として決定する。実施形態のいくつかにおいて、視認済み領域の外側である画像の部分は適当なサイズを有し、当該部分が未注視領域として特定される。実施形態のいくつかにおいて、視認済み領域の外側である画像の部分はあまりにも小さいかあまりにも大きい。この場合、該複数の部分は、未注視領域として特定される小さい領域にさらに分割されるか、もしくは、未注視領域として特定されるより大きな領域に併合される。
【００５８】
実施形態のいくつかにおいて、画像分析システム１０６は互いに隣接する注視点のサブセットを識別する（４２２）ことによって個別の注視グループを決定し、個別の注視グループとして複数の注視点を含む領域を決定する（４２４）。たとえば、図３Ｃに示されるように、画像分析システム１０６は画像の左上コーナーにおける注視点のサブセットを識別し、注視点３０４を含む注視グループ３０６−Ａ−１を決定する。同様に、本実施例において、画像分析システム１０６はその他の注視グループ（たとえば、図３Ｃのグループ３０６−Ａ−２および３０６−Ａ−３）としてその他の注視点のサブセットを識別する。
【００５９】
実施形態のいくつかにおいて、画像分析システム１０６は、複数の固定注視を決定する（４２６）ことにより、個別の注視グループを決定する。個別の注視グループを決定するために個別の固定注視と該個別の固定注視に重畳している一つもしくは複数の固定注視とを結合する（４２８）。たとえば、図３Ｅにおいて、画像分析システム１０６は複数の固定注視３１２を検出し、個別の注視グループ３０６−Ｂ−３を決定するために、重畳している複数の固定注視を結合する。
【００６０】
実施形態のいくつかにおいて、固定注視の各々は重心(centroid)および所定の形状を有する。「重心」は推定固定注視点である。形状は、固定注視点で留まるときに、目が見るであろうものを例示するために必要とされるだけである。たとえば、一般に、固定注視の形状は円形である。目の窩(fovea)（すなわち、中心視野の鮮鋭さに責任を有する目の領域）は円形だからである。実施形態のいくつかによれば、固定注視は、少なくとも１００の時間ウィンドウにわたって注視データ内で時間的に継続する注視点だけを含む。実施形態のいくつかにおいて、固定注視の継続時間は、固定注視の（ある時点における）最後の注視点のタイムスタンプと最初の注視点のタイプスタンプとの間の時間量である。実施形態のいくつかにおいて、固定注視は、注視追跡ハードウェア／ソフトウェアのエラーを修正するために、異常値である注視点を除外する。
【００６１】
さらに、固定注視は注視データにもとづいて非常に多くの手段を用いて検出することができる。記載を簡潔にするために、考えられるすべての固定注視検出手段についてここで記載することはしない。さらに、上記の分散ベース固定注視検出アルゴリズムにもとづく固定注視検出についてのさらなる詳細を含む固定注視検出のその他の手段およびアプローチは、非特許文献１により詳細に記載されている。
【００６２】
上記したように、実施形態のいくつかにおいて、固定注視は固定注視が重畳しているか否かにもとづいて注視グループに結合される。実施形態のいくつかにおいて、固定注視は最小全域木アルゴリズムを使用して結合される。さらに、本発明のシステムおよび方法の範囲から逸脱することなく複数の固定注視から注視グループを決定するために、その他の方法を使用してもよい。
【００６３】
実施形態のいくつかにおいて、複数の注視グループを決定した後、画像分析システム１０６は複数の注視グループの個別の位置にもとづいて一つもしくは複数の未注視領域を識別する（４３０）（たとえば、図３Ｉにおいて例示されるように、未注視領域３１４−Ｂは視認済み領域３０８−Ｂの間にある領域として識別される）。実施形態のいくつかにおいて、複数の注視グループの個別の位置にもとづいて一つもしくは複数の未注視領域を識別することは、結合された固定注視継続時間が閾値を越える任意の注視グループを含まない画像の領域を識別する（４３２）ことを含む。たとえば、図３Ｉ〜図３Ｊにおいて、画像分析システム１０６はある閾値を越える任意の注視グループを含まない領域３１４−Ｂ−１を検出する（たとえば、領域３１４−Ｂ−１は合計固定注視継続時間が２７５ｍ秒を越えるグループを含まない）。注視グループの固定注視のすべてが連続的である必要はない。すなわち、実施形態のいくつかにおいて、ユーザは画像の第１の領域を分析し、該画像の第２の領域を分析し、画像の第１の領域に戻って分析することによって、第１の領域の固定注視のすべてを単一の注視グループにグループ化することができる。
【００６４】
実施形態のいくつかにおいて、複数の注視グループの個別の位置にもとづいて一つもしくは複数の未注視領域を識別することは、注視点の数が閾値を越える注視グループを含まない画像の領域を識別する（４３４）ことを含む。たとえば、図３Ｇ〜図３Ｈにおいて、未注視領域３１４−Ａ−１は少なくともある閾値を越える注視点を含まない（たとえば、閾値は２７５ｍ秒に１６の注視点であってもよいし、１６００ｍ秒に１００の注視点であってもよい）。実施形態のいくつかによって、閾値は、タスクの困難さのレベルにもとづいて決定される。例示の一つとして、１秒間に６０回サンプリングされる注視点で、容易なタスクについて、閾値はほぼ５００ｍ秒に設定され、より困難なタスクについて、閾値はほぼ１０００ｍ秒に設定される。
【００６５】
実施形態のいくつかにおいて、画像は複数の所定の規則的な間隔を有する領域に分割され（たとえば、図３Ｇの３１４−Ａ）、未注視領域（たとえば、図３Ｈの３１４−Ａ−１）は注視データの分布（密度）が閾値を越えない所定の規則的な間隔を有する領域の各々である。実施形態のいくつかにおいて、領域の注視点の数がある数値の閾値を越えないならば、該領域の注視データの分布（密度）は閾値を越えない。実施形態のいくつかにおいて、領域の固定注視の合計継続時間が継続時間閾値を越えないならば、該領域の注視データの分布（密度）は閾値を越えない。実施形態のいくつかにおいて、閾値は所定の閾値である。実施形態のいくつかにおいて、詳細を以上に記載したように、閾値は動的閾値である。
【００６６】
実施形態のいくつかにおいて、画像分析システム１０６は注視データの複数のグループを決定する（４３８）。注視グループの各々は一つもしくは複数の注視点を含み、画像内に個別の位置を有する。たとえば、図３Ｃにおいて、注視データ（たとえば、注視点３０４）にもとづいて複数の注視グループ３０６を決定する。これらの実施形態において、一つもしくは複数の未注視領域が複数の注視グループの個別の位置にもとづいて識別される（４４０）。未注視領域は、注視グループにもとづいて動的に決定され、注視データの分布（密度）が閾値を越えない（注視グループと）重畳しない領域であるように、決定される。たとえば、図３Ｄにおいて、視認済み領域３０８−Ａは図３Ｃの注視グループ３０６−Ａの位置に対応する。これらの視認済み領域３０８−Ａの間の空間を未注視領域として決定する。例示の一つとして、図３Ｄに例示されるように、未注視領域３１０−Ａは注視データの分布（密度）が所定の閾値を越えない（視認済み領域と）重畳しない矩形領域である。その他の実施形態において、（図３I〜図３Jを参照して詳細を上記したように、）未注視領域は、画像の視認済み領域の間にある画像の領域を包囲するように決定される。同様に、その他の実施形態では、（図３Ｇ〜図３Ｈを参照して詳細を上記したように、）未注視領域は、規則的パターンもしくは格子状に配置される画像の領域を包囲するように決定される。
【００６７】
実施形態のいくつかにおいて、個別の未注視領域が一つもしくは複数の近傍領域と交差するように未注視領域を決定する（４４２）。すなわち、実施形態のいくつかにおいて、領域の境界によって重要な特徴（たとえば、画像分析システム１０６によって重要であると自動的に識別された特徴）が損なわれることを避けるために、領域がわずかに重畳するように、領域は決定される。重畳の量は、特徴のサイズおよび密度(density)のような画像特性によって決定される。たとえば、詳細が上記されたように、実施形態のいくつかにおいて、画像分析システム１０６は視認済み領域の重要な特徴を識別するために注視データを使用する。実施形態のいくつかにおいて、画像分析システム１０６は未注視領域のこれらの識別された重要な特徴とその他の特徴とを比較し、未注視領域の重要な特徴のいずれも通過しないように未注視領域の境界を設定する。これらの実施形態において、ユーザが識別することが困難とならないように、識別された特徴が複数の領域に分割されないことを確実にし、画像の未注視領域の特徴をすべてカバーするように、相互にわずかに重畳するように、未注視領域の境界を決定する。
【００６８】
実施形態のいくつかにおいて、注視グループにもとづいて未注視領域を動的に決定する（４４４）。これらの実施形態において、識別された特徴の一つに類似する特徴の各々を含み、特徴の各々が未注視領域の各々の重心に隣接するように、未注視領域の各々を決定する（４４６）。すなわち、未注視領域の中心に識別された特徴を配置することによって該識別された特徴にユーザの注意を喚起するように、未注視領域の各々を決定する。すなわち、未注視領域の重要な特徴が複数の領域間で分割されないようにするだけではなく、画像分析システム１０６は、未注視領域の中心に識別された特徴が含まれるように、積極的に未注視領域を決定する。未注視領域の中心に識別された特徴を配置することによって、ユーザは識別された特徴をより注意深く分析するので、識別された特徴の重要性をより正確に評価することができる。
【００６９】
実施形態のいくつかにおいて、画像分析システム１０６は識別された特徴のサブセットを少なくとも含む一つもしくは複数の未注視領域を識別する（４４８）。実施形態のいくつかにおいて、画像分析システム１０６は識別された特徴にもとづいて一つもしくは複数の未注視領域の表示に優先順位を付ける（４５０）。実施形態のいくつかにおいて、一つもしくは複数の未注視領域を該優先順位にもとづいて表示する（たとえば、第１に順位付けされた領域を表示した後に、第２に順位付けされた領域、第３に順位付けされた領域を表示する、など）。
【００７０】
実施形態のいくつかにおいて、優先順位は第１のランク付け（第１の順位付け規則）によって未注視領域を順位付けすることを含む（４５２）。実施形態のいくつかにおいて、視認済み領域の複数の識別された特徴に該未注視領域の各々の特徴がマッチする可能性にもとづいて、第１のランク付けによる未注視領域の各々の順位を決定する（４５４）。視認済み領域の識別された特徴に未注視領域の特徴がマッチする可能性にもとづいて未注視領域を順位付けする例示の一つとして、未注視領域において識別された重要な特徴の数にもとづいて該未注視領域に優先順位を付ける（たとえば、図３Jの第１の領域３１４−Ｂ−１が、ユーザが画像で分析した形状の特性を有する形状を４つ含み、第２の領域３１４−Ｂ−２が、ユーザが画像で分析した形状の特性を有する形状を２つしか含まないならば、第１の領域３１４−Ｂ−１の表示は画像分析システム１０６によって第２の領域３１４−Ｂ−２の表示より優先される）。
【００７１】
実施形態のいくつかにおいて、未注視領域の各々と複数の視認済み領域との間の幾何学的関係にもとづいて、第１のランク付けによる未注視領域の各々の順位を決定する（４５６）。実施形態のいくつかにおいて、画像の未注視領域の各々の位置にもとづいて、第１のランク付けによる未注視領域の各々の順位を決定する（４５８）。幾何学的順位付け基準にもとづく領域の順位付けの例示として、「読み方向」（たとえば、左から右、上から下）にもとづいて未注視領域を順位付けする。幾何学的関係にもとづく領域の順位付けのその他の例示として、サイズにもとづいて未注視領域を順位付けする（たとえば、小さい領域の前に該領域より大きい領域を表示する。）。さらに、これらの様々な順位付けのスキームの一つもしくは複数を相互に、もしくはその他の順位付けスキームと組み合わせてもよい。
【００７２】
画像分析システム１０６は画像の第１のサブセットを少なくとも表示する（４６０）。一つもしくは複数の未注視領域の未注視領域の各々を含むように画像の第１のサブセットを選択し、未注視領域の各々に注意を喚起するような手法（表現）で画像の第１のサブセットを表示する。たとえば、図３Ｈにおいて、個別の領域３１４−Ａ−１の周囲に濃い境界を付加し、残りの画像をわずかに薄めることによって、強調された個別のサブセット３１４−Ａ−１を含む画像全体を表示する。一方、図３Ｊにおいて、画像のサブセットだけを表示する（たとえば、第１の未注視領域３１４−Ｂ−１および／または第２の未注視領域３１４−Ｂ−２）。
【００７３】
実施形態のいくつかにおいて、未注視領域の各々に注意を喚起する手法で画像のサブセットを表示することは以下のいずれかを含む。
（Ａ）（たとえば、図３Ｈに例示するように、）画像全体を表示し、画像の未注視領域を強調する。
（Ｂ）（たとえば、図３Jに例示するように、）未注視領域を含む画像の部分を表示する。
すなわち、画像分析システム１０６は以下のいずれかのオペレーションを実行する。
●第１のユーザに第１のサブセットを表示する（第１のサブセットは未注視領域を含む）。
●第１のユーザに画像の第１のサブセットを少なくとも表示する（少なくとも一つの未注視領域を含むように画像の第１のサブセットを選択し、含まれる未注視領域の少なくとも一つを強調する）。
【００７４】
実施形態のいくつかにおいて、未注視領域を含む画像のサブセットだけを表示する（４６２）。たとえば、図３Ｊにおいて、第１の未注視領域３１４−Ｂ−１もしくは第２の未注視領域３１４−Ｂ−２、もしくは双方を表示している。しかしながら、オリジナル画像のサブセットを少なくとも覆い、ユーザに表示しない。同様に、実施形態のいくつかにおいて、視認済み領域を覆い、ユーザに全体画像を表示する（たとえば、視認済み領域３０８−Ｂを隠して、図３Ｉの変更画像１３４−Ｅをユーザに表示する。）。画像の視認済み領域を隠すことによって、以前に十分に見られなかった（ユーザが十分見ていない）画像の領域に容易にユーザの注意を集中させることができる。これにより、ユーザによる画像の分析をより徹底することができる。
【００７５】
実施形態のいくつかにおいて、画像の第１のサブセットを表示することは、未注視領域の各々を視覚的に強調する（４６４）ことを含む（たとえば、図３Ｈに例示されるように、未注視領域３１４−Ａ−１は画像のその他の領域を弱める（暗くする）ことによって視覚的に強調される）。たとえば、未注視領域と画像の残りとを視覚的に区別するための視覚的な強調は未注視領域の色、シェーディング、色相、彩度、サイズ、明度、境界コントラストを調整する（たとえば、増加、低減、シフトする）ことを含んでもよい。
【００７６】
実施形態のいくつかにおいて、画像の第１のサブセットは複数の未注視領域を含む（４６６）。たとえば、実施形態のいくつかにおいて、２以上の未注視領域を同時に表示する（たとえば、図３Jに示されるように、第１の未注視領域３１４−Ｂ−１と第２の未注視領域３１４−Ｂ−２とを同時に表示する）。実施形態のいくつかにおいて、同時に表示される未注視領域の数は未注視領域のサイズに依存する。たとえば、実施形態のいくつかにおいて、最大可視領域（たとえば、ユーザの可視領域の５度）を決定し、続いて、次に順位付けされている未注視領域を選択することによって選択された未注視領域合計領域が最大可視領域を越えるまで、ランク順（順位順）に一度に一つユーザに対して同時に表示するために未注視領域を選択する。実施形態のいくつかにおいて、最大視野領域を個々の未注視領域が越えないように、未注視領域を決定する。このような条件下で、状況のいくつかにおいて（たとえば、未注視領域のサイズに応じて）、単一の領域だけを表示し、一方、その他の状況においては、３つ以上の領域を同時に表示する。実施形態のいくつかにおいて、人間の目の物理的特性(physical characteristics)にもとづいて最大可視領域を決定する（たとえば、最大可視領域は目を動かしたり、焦点を再び合わせたりすることなく、平均的な人間の目によって詳細を見ることができる最大領域である）。実施形態のいくつかにおいて、画像の特徴の特性にもとづいて最小可視領域を決定する（たとえば、最小可視領域は、最小可視領域のサイズ以上のサイズを有する領域内で完全に特徴を見ることができるように、特徴の最大サイズによって最小可視領域を決定する）。
【００７７】
複数のより小さい領域の同時表示を行うことにより、ユーザに対して、未注視領域のすべてを表示することを画像分析システム１０６が実行しなければならない、という繰り返しの回数を低減する一方、ユーザに対して同時に提示される情報量の上限を提供するので、一度にユーザに対して表示されるべき領域の数を決定するために最大可視領域を使用することは有益である。したがって、ここに記載された構造化された画像分析の有益な効果を維持しながら、画像分析の効率を改善することができる。
【００７８】
実施形態のいくつかにおいて（たとえば、未注視領域に優先順位が付けられ、優先順位が第１のランク付けにしたがう未注視領域の順位を含む、上記実施形態において）、第１のユーザに画像の第１のサブセットを表示することは第１のランク付けにおいて最上位に順位付けされている未注視領域を表示することを含む（４６８）。たとえば、図３Ｈにおいて、個別の未注視領域３１４−Ａ−１は最上位に順位付けされている未注視領域であり、したがって、ユーザに対して表示される。本例示では、単一の最上位に順位付けされた未注視領域だけを表示しているが、実施形態のいくつかにおいては、複数の上位に順位付けされた領域が同時に表示される（たとえば、図３Jに例示されるように、最上位に順位付けされた領域３１４−Ｂ−１と２番目に順位付けされた未注視領域３１４−Ｂ−２とが同時に表示される）。同様に、実施形態のいくつかにおいて、上位にランク付けされた複数の領域を連続的に（たとえば、領域を再度順位付けすることなく）表示する。たとえば、同時に表示する代わりに、図３Ｊに例示されるように、最上位に順位付けされた領域３１４−Ｂ−１と２番目に順位付けされた領域３１４−Ｂ−２を連続的に（順々に）表示してもよい。実施形態のいくつかにおいて、複数のサブセットが連続的に表示される場合、画像内のサブセットの位置について、ユーザに状況(context)を提供するように、画像内の当該サブセットの位置に対応する表示手段上の個別の位置に個別のサブセットを表示する。実施形態のいくつかにおいて、複数のサブセットが連続的に表示される場合、表示手段の所定の位置（たとえば、表示手段の中心）にサブセットの各々を表示する。
【００７９】
実施形態のいくつかにおいて、第１のサブセットを第１のユーザに表示する（４７０）（たとえば、変更画像をオリジナル画像のユーザと同一のユーザに表示する）。実施形態のいくつかにおいて、第１のサブセットを第２のユーザに表示する（４７２）（たとえば、変更画像をオリジナル画像とは異なるユーザに表示する）。実施形態のいくつかにおいて、第１のサブセットを一もしくは複数のその他のユーザに対して表示する（たとえば、変更画像を第１のユーザと第２のユーザとの双方に表示する）。
【００８０】
実施形態のいくつかにおいて、第１のユーザに第１のサブセットを表示し、一方、第１のユーザに画像の第１のサブセットを表示する（４７４）。画像分析システム１０６は第１のユーザの注視を追跡し（４７６）、更新された注視データを収集する（４７８）。更新された注視データは複数の注視点を含む。これらの実施形態において、画像分析システム１０６は、画像の注視データの分布（密度）にもとづいて、画像の一つもしくは複数の未注視領域を更新する（４８０）。実施形態のいくつかにおいて、画像分析システム１０６は視認済み領域の重要な特徴を識別するために注視データを使用し、続いて、識別された重要な特徴にマッチする未注視領域の特徴を識別するために識別された重要な特徴を使用する。たとえば、新しい視認済み領域が新しいタイプの特徴を含むならば、画像分析システム１０６は新しく識別されたタイプの特徴と同様な未注視領域の特徴を探す。実施形態のいくつかにおいて、画像分析システム１０６は更新された注視データにもとづいて第２のランク付け（第２の順位付け規則）によって更新された未注視領域の順位付けを行う（４８２）。これらの実施形態において、第２のランク付けは最初の注視データに少なくとも部分的にもとづく。これらの実施形態において、画像分析システム１０６は画像の第２のサブセットを少なくとも表示する（４８４）。画像の第２のサブセットは、第２のランク付けにおいて最上位の未注視領域である更新された未注視領域の個別の未注視領域を含むように選択され、画像の第２のサブセットは個別の未注視領域に注意を喚起する手法（表現）で表示される。
【００８１】
すなわち、実施形態のいくつかにおいて、変更画像をユーザに表示する一方、画像分析システム１０６はより多くの注視データをユーザから収集し、以前に決定された未注視領域を調整するために該注視データを使用する。たとえば、以前に決定された未注視領域が閾値を越える分布（密度）の注視データを現在含むならば、以前に決定された未注視領域は未注視領域であることをやめる。同様に、実施形態のいくつかにおいて、閾値を越える分布（密度）の注視データを含む未注視領域の部分は視認済み領域として識別され、一方、未注視領域の残りは未注視領域のままとされる。未注視領域が動的に決定される実施形態において、更新された注視データによって、一つもしくは複数の未注視領域を再決定してもよい。実施形態のいくつかにおいて、詳細を以上に記載したように、画像分析システム１０６は、視認済みデータの重要な特徴を識別するために更新された注視データを使用する。続いて、識別された重要な特徴とマッチする未注視領域の特徴を識別するために、識別された重要な特徴を使用する。実施形態のいくつかにおいて、未注視領域の識別された特徴を未注視領域のランク付け（順位付け）を更新するために使用する。
【００８２】
実施形態のいくつかにおいて、第１のユーザに画像を表示し（４０２）、第１のユーザの注視を追跡し（４０４）、第１のユーザの最初の注視データを収集する（４０６）ことに加えて、詳細を以上に記載したように、画像分析システムは第２のユーザに画像を表示し（４８６）、第２のユーザの注視を追跡し（４８７）、第２のユーザの追加の注視データを収集する（４８８）。実施形態のいくつかにおいて、追加の注視データは複数の注視点を含む。すなわち、同一の画像について複数のユーザの注視データを収集する。実施形態のいくつかにおいて、図３Ａ〜図３Ｊによって詳細を以上に記載したように、注視データを収集し、処理する。
【００８３】
実施形態のいくつかにおいて、画像の注視データ（たとえば、第１のユーザからの注視データおよび第２のユーザからの注視データを含む）の分布（密度）にもとづいて画像の一つもしくは複数の未注視領域を識別する（４１８）ことは、一つもしくは複数のオペレーション４９０〜４９７を実行することを含む。実施形態のいくつかにおいて、画像の一つもしくは複数の未注視領域を識別することは、第１のユーザの注視データと第２のユーザの注視データとを比較することを含む。実施形態のいくつかにおいて、一つもしくは複数の未注視領域は画像内の追加の注視データの分布（密度）に少なくとも一部もとづいて識別される（４９０）（たとえば、本実施形態において、図３Jの未注視領域３１４−Ｂは第１のユーザの注視データの注視グループおよび第２のユーザの注視データの注視グループにもとづいて決定される）。追加の注視データを構成する複数の注視点は、最初の注視データを構成する複数の注視点とは異なる。すなわち、第１のユーザの注視点および第２のユーザの注視点は混合しない。注視点が属するユーザにもとづく該注視点のこのような分離は、多くの状況で有利である。なぜならば、これにより、複数のユーザが、ある分布（密度）を有する注視データ（たとえば、注視点）をある領域内に有し、一方、どのユーザも該領域を注意深く分析していない場合、該領域を誤って視認済み領域として指定しないようにするからである。注視データが分離されないならば、実際、該領域が実際に十分評価されていない場合であっても、そのような領域は（たとえば、高密度(high density)の注視点によって）視認済み領域であるとされるかもしれない。
【００８４】
実施形態のいくつかにおいて、画像分析システム１０６は、複数の個別ユーザの注視データの個別の分布（密度）を評価することによって一つもしくは複数の未注視領域を識別する（４９２）（たとえば、個別のユーザの各々について、画像分析システム１０６は未処理注視データもしくは個別のユーザの未処理注視データにもとづいて決定された固定注視から注視グループを決定する）。これらの実施形態において、個別のユーザの各々についての注視データの個別の分布（密度）が個別領域についての個々の注視閾値を越えないと判断すると、画像分析システム１０６は未注視領域として個別の領域を識別する（４９３）。すなわち、これらの実施形態において、画像分析システム１０６の視点から全体として画像を分析するためにユーザはともに作業している。画像の個別の領域が少なくとも一のユーザによって注意深く分析されていれば、どのユーザが画像の個別の領域を分析するかは重要ではない。これらの実施形態は、画像分析タスクを迅速に実行するために特に有利である。なぜならば、ユーザの努力が累積され、結果として、多くの状況で（たとえば、第１のユーザの注視データの分布（密度）が第２のユーザの注視データの分布（密度）と異なる場合に）、未注視領域は少なくなり、変更画像をユーザに表示した場合に、二のユーザはより迅速に未注視領域を検討することができるようになる。
【００８５】
実施形態のいくつかについて、画像分析システム１０６は、少なくとも一つの画像の個別領域について、第１のユーザの注視データの分布（密度）と第２のユーザの注視データの分布（密度）との間の注視差異を決定する（４９５）ことによって、一つもしくは複数の未注視領域を識別する。これらの実施形態において、画像分析システム１０６は、相違閾値と個別領域についての注視差異とを比較する（４９６）。たとえば、相違閾値は第１のユーザおよび第２のユーザについての個別領域における注視点の数の間の差異、もしくは、第１のユーザについてのある領域における固定注視の継続時間の合計と第２のユーザについての該領域における固定注視の継続時間の合計との間の注視継続時間の差異を含むことができる。すなわち、相違閾値は第１のユーザによって個別領域に払われた注意の量と第２のユーザによって該個別領域に払われた注意の量との間の差異の計測値である。これらの実施形態において、個別領域の注視差異が相違閾値を越える場合、画像分析システム１０６は該個別領域を未注視領域として識別する（４９７）。実施形態のいくつかにおいて、双方のユーザによって未注視された領域は未注視領域として識別されない（たとえば、それらの領域は別個の二のユーザによって別個に評価され、いずれのユーザも該領域が重要であることを示さないからである）。実施形態のいくつかにおいて、双方のユーザによって未注視された領域には高い相違閾値によって他の領域よりも低い順位を付ける。すなわち、第１のランク付けによって未注視領域に順位を付けることにより表示のために未注視領域に優先順位が付けられる実施形態において、第１のユーザによって未注視され、第２のユーザによって視認された領域は双方のユーザによって未注視された領域より高い順位が付けられる。
【００８６】
すなわち、これらの実施形態において、第１のユーザが個別領域に関心を有することを客観的に示し、第２のユーザが該個別領域を未注視する場合、画像分析システム１０６はユーザ間の相違を識別し、少なくとも、該個別領域を未注視したユーザに該個別領域を再度表示する。これらの実施形態のいくつかにおいて、未注視領域は双方のユーザに表示される。これらの実施形態は、画像分析タスクを正確に実行するために特に有益である。なぜならば、第１のユーザおよび第２のユーザは基本的に画像を二重にチェックすることになり、その結果、関連する特徴を含む領域を見落とすことが少なくなる。さらに、第１のユーザおよび第２のユーザの間の注視の分布（密度）の間の高レベルな相違を有する領域は一もしくは双方のユーザによって再度評価するための適正な候補となる可能性がある。なぜならば、ユーザはこのような領域の特徴の重要性について合意していないからである。
【００８７】
上記した情報処理方法のステップは、汎用目的プロセッサもしくは応用特定チップのような情報処理装置の一つもしくは複数の機能モジュールを駆動することによって実行することができる。これらのモジュール、これらのモジュールどうしの組み合わせ、および／もしくはこれらのモジュールと（たとえば、図２によって上記されたような）汎用ハードウェアとの組み合わせは本発明の保護の範囲内に含まれる。
【００８８】
以上の記載は、例示を目的とし、特定の実施形態を参照して記述された。しかしながら、例示的な以上の記載は、本発明を網羅することや開示された形態そのものに本発明を限定することを意図していない。多くの変更が上記開示の観点から可能である。本発明の原理およびその実用的な応用を最良に説明するために、実施形態を選択し記述した。これにより、当業者は本発明を最適に利用することができ、様々な変更による様々な実施形態を予期される特定の使用に適合させることができる。
【符号の説明】
【００８９】
１０３ 表示手段
１０６ 画像分析システム
１０９ 注視追跡手段
１１４ 注視データ分析手段
１２８ 未注視領域識別手段
１３０ 未注視領域ランク付け（順位付け）手段
１３２ 画像変更手段
【特許請求の範囲】
【請求項１】
（ａ）ユーザに画像を表示し、
（ｂ）前記ユーザの注視を追跡し、
（ｃ）前記ユーザの最初の注視データを収集し、該最初の注視データは複数の注視点の位置に関する情報を含み、
（ｄ）前記画像内における前記複数の注視点の密度にもとづいて該画像の少なくとも一つの未注視領域を識別し、
（ｅ）前記少なくとも一つの未注視領域の画像を含むような画像の第１のサブセットを選択し、
前記第１のサブセットに含まれる前記未注視領域のそれぞれを、前記画像中に存在するときよりも前記ユーザへの注意を喚起するような表現態様で表示する、
画像分析支援方法。
【請求項２】
前記第１のサブセットのうちで、前記未注視領域の画像だけを表示する、請求項１に記載の画像分析支援方法。
【請求項３】
（ｅ）の表現態様が前記個別の未注視領域を視覚的に強調することを含む、請求項１に記載の画像分析支援方法。
【請求項４】
（ｄ）が、
（ｄ１）前記注視データの複数の注視グループを決定し、前記注視グループの各々が少なくとも一つの注視点を含み、前記注視グループの各々が前記画像内に個別の位置を有し、
（ｄ２）前記複数の注視グループの個別の位置にもとづいて少なくとも一つの前記未注視領域を識別する、
ことを含む、
請求項１に記載の画像分析支援方法。
【請求項５】
前記画像を複数の所定の規則的な間隔を有する領域に分割し、
前記未注視領域は、密度が所定の閾値を越えない注視データを含む個別の前記所定の規則的な間隔を有する領域である、
請求項１に記載の画像分析支援方法。
【請求項６】
前記注視データから複数の注視グループを決定する、
ことをさらに含み、
前記注視グループの各々は少なくとも一つの注視点を含み、
前記注視グループの各々は前記画像内に個別の位置を有し、
前記複数の注視グループの個別の位置にもとづいて少なくとも一つの未注視領域を識別し、
前記注視グループにもとづいて前記未注視領域を動的に決定し、
密度が所定の閾値を越えない注視データを含む領域であって、前記注視グループと重畳しない領域であるように前記未注視領域を決定する、
請求項１に記載の画像分析支援方法。
【請求項７】
未注視領域が少なくとも一つの近傍の領域と重なるように、前記未注視領域を決定する、請求項１に記載の画像分析支援方法。
【請求項８】
前記最初の注視データにもとづいて複数の視認済み領域を識別し、
前記視認済み領域は密度が所定の閾値を越える注視データを含み、
少なくとも一つの視認済み領域に共通な複数の特徴を識別する、
ことをさらに含む、
請求項１に記載の画像分析支援方法。
【請求項９】
注視グループにもとづいて前記未注視領域を決定し、
識別された特徴の一つに類似する個別の特徴を含み、該個別の特徴が前記個別の未注視領域の個別の重心付近の特徴を表すように、個別の未注視領域を決定する、
請求項８に記載の画像分析支援方法。
【請求項１０】
前記識別された特徴のサブセットの画像を少なくとも含む少なくとも一つの前記未注視領域を識別し、
前記識別された特徴にもとづいて少なくとも一つの前記未注視領域の表示に優先順位を付ける、
ことをさらに含む、
請求項８に記載の画像分析支援方法。
【請求項１１】
前記優先順位を付けることは、
第１の順位付け規則にしたがって前記未注視領域に順位を付け、
前記第１の順位付け規則による個別の未注視領域の順位が、
前記視認済み領域の複数の識別された特徴と個別の前記未注視領域の特徴とがマッチする可能性、
前記個別の未注視領域と前記複数の視認済み領域との間の幾何学的関係、
前記画像内における前記個別の未注視領域の位置、
の少なくとも一つにもとづいて決定される、
請求項１０に記載の画像分析支援方法。
【請求項１２】
前記優先順位を付けることは、第１の順位付け規則によって前記未注視領域に順位を付けることを含み、
（ｅ）が、前記第１の順位付け規則によって最上位に順位付けされた未注視領域を表示することを含む、
請求項１０に記載の画像分析支援方法。
【請求項１３】
前記第１のユーザに前記第１のサブセットの画像を表示し、
前記第１のユーザに第１のサブセットの画像を表示しながら、前記第１のユーザの注視を追跡し、更新された注視データを収集し、前記更新された注視データは複数の注視点を含み、
前記画像内の注視データの密度にもとづいて前記画像の少なくとも一つの未注視領域を更新し、
前記更新された注視データにもとづいて前記更新された未注視領域を第２の順位付け規則で順位付けし、
前記画像の第２のサブセットの画像を少なくとも表示し、
前記第２の順位付け規則で最上位に順位付けされた前記更新された未注視領域の個別の未注視領域を含むように、前記画像の第２のサブセットを選択し、
前記個別の未注視領域に注意を喚起する表現で前記画像の第２のサブセットの画像を表示する、
請求項１２に記載の画像分析支援方法。
【請求項１４】
第２のユーザに前記画像を表示し、
前記第２のユーザの注視を追跡し、
前記第２のユーザの追加の注視データを収集し、
前記追加の注視データは複数の注視点を含み、
前記画像内の追加の注視データの密度に少なくとも部分的にもとづいて少なくとも一つの前記未注視領域を識別する、
請求項１に記載の画像分析支援方法。
【請求項１５】
（ｄ）が、複数の個別のユーザの注視データの個別の密度を評価することを含み、
前記個別のユーザの各々の注視データの個別の密度が個別の領域の個々の所定の注視閾値を越えないと判断した場合、該個別の領域を未注視領域として識別する、
請求項１４に記載の画像分析支援方法。
【請求項１６】
（ｄ）が、
前記画像の少なくとも一つの個別の領域について、前記第１のユーザの注視データの密度と前記第２のユーザの注視データの密度との間の注視差異を決定し、
前記個別の領域の注視差異と相違閾値とを比較し、
前記個別の領域の注視差異が相違閾値を越える場合、該個別の領域を未注視領域として識別する、
請求項１４に記載の画像分析支援方法。
【請求項１７】
少なくとも一つのプロセッサと、
メモリと、
少なくとも一つのプログラムと、
を含む、画像分析システムであって、
前記メモリは前記少なくとも一つのプログラムを保存し、
前記少なくとも一つのプロセッサは前記少なくとも一つのプログラムを実行し、
前記少なくとも一つのプログラムは、
ユーザに画像を表示する機能と、
前記ユーザの注視を追跡する機能と、
前記ユーザの最初の注視データを収集する機能であって、該最初の注視データは複数の注視点の位置に関する情報を含む、機能と、
前記画像内における前記複数の注視点の密度にもとづいて該画像の少なくとも一つの未注視領域を識別する機能と、
前記少なくとも一つの未注視領域の画像を含むような画像の第１のサブセットを選択する機能と、
前記第１のサブセットに含まれる前記未注視領域のそれぞれを、前記画像中に存在するときよりも前記ユーザへの注意を喚起するような表現態様で表示する機能と、
をコンピュータに実現させるためのプログラムである、
画像分析支援システム。
【請求項１８】
ユーザに画像を表示する機能と、
前記ユーザの注視を追跡する機能と、
前記ユーザの最初の注視データを収集する機能であって、該最初の注視データは複数の注視点の位置に関する情報を含む、機能と、
前記画像内における前記複数の注視点の密度にもとづいて該画像の少なくとも一つの未注視領域を識別する機能と、
前記少なくとも一つの未注視領域の画像を含むような画像の第１のサブセットを選択する機能と、
前記第１のサブセットに含まれる前記未注視領域のそれぞれを、前記画像中に存在するときよりも前記ユーザへの注意を喚起するような表現態様で表示する機能と、
をコンピュータに実現させるための画像分析支援プログラム。
【請求項１】
（ａ）ユーザに画像を表示し、
（ｂ）前記ユーザの注視を追跡し、
（ｃ）前記ユーザの最初の注視データを収集し、該最初の注視データは複数の注視点の位置に関する情報を含み、
（ｄ）前記画像内における前記複数の注視点の密度にもとづいて該画像の少なくとも一つの未注視領域を識別し、
（ｅ）前記少なくとも一つの未注視領域の画像を含むような画像の第１のサブセットを選択し、
前記第１のサブセットに含まれる前記未注視領域のそれぞれを、前記画像中に存在するときよりも前記ユーザへの注意を喚起するような表現態様で表示する、
画像分析支援方法。
【請求項２】
前記第１のサブセットのうちで、前記未注視領域の画像だけを表示する、請求項１に記載の画像分析支援方法。
【請求項３】
（ｅ）の表現態様が前記個別の未注視領域を視覚的に強調することを含む、請求項１に記載の画像分析支援方法。
【請求項４】
（ｄ）が、
（ｄ１）前記注視データの複数の注視グループを決定し、前記注視グループの各々が少なくとも一つの注視点を含み、前記注視グループの各々が前記画像内に個別の位置を有し、
（ｄ２）前記複数の注視グループの個別の位置にもとづいて少なくとも一つの前記未注視領域を識別する、
ことを含む、
請求項１に記載の画像分析支援方法。
【請求項５】
前記画像を複数の所定の規則的な間隔を有する領域に分割し、
前記未注視領域は、密度が所定の閾値を越えない注視データを含む個別の前記所定の規則的な間隔を有する領域である、
請求項１に記載の画像分析支援方法。
【請求項６】
前記注視データから複数の注視グループを決定する、
ことをさらに含み、
前記注視グループの各々は少なくとも一つの注視点を含み、
前記注視グループの各々は前記画像内に個別の位置を有し、
前記複数の注視グループの個別の位置にもとづいて少なくとも一つの未注視領域を識別し、
前記注視グループにもとづいて前記未注視領域を動的に決定し、
密度が所定の閾値を越えない注視データを含む領域であって、前記注視グループと重畳しない領域であるように前記未注視領域を決定する、
請求項１に記載の画像分析支援方法。
【請求項７】
未注視領域が少なくとも一つの近傍の領域と重なるように、前記未注視領域を決定する、請求項１に記載の画像分析支援方法。
【請求項８】
前記最初の注視データにもとづいて複数の視認済み領域を識別し、
前記視認済み領域は密度が所定の閾値を越える注視データを含み、
少なくとも一つの視認済み領域に共通な複数の特徴を識別する、
ことをさらに含む、
請求項１に記載の画像分析支援方法。
【請求項９】
注視グループにもとづいて前記未注視領域を決定し、
識別された特徴の一つに類似する個別の特徴を含み、該個別の特徴が前記個別の未注視領域の個別の重心付近の特徴を表すように、個別の未注視領域を決定する、
請求項８に記載の画像分析支援方法。
【請求項１０】
前記識別された特徴のサブセットの画像を少なくとも含む少なくとも一つの前記未注視領域を識別し、
前記識別された特徴にもとづいて少なくとも一つの前記未注視領域の表示に優先順位を付ける、
ことをさらに含む、
請求項８に記載の画像分析支援方法。
【請求項１１】
前記優先順位を付けることは、
第１の順位付け規則にしたがって前記未注視領域に順位を付け、
前記第１の順位付け規則による個別の未注視領域の順位が、
前記視認済み領域の複数の識別された特徴と個別の前記未注視領域の特徴とがマッチする可能性、
前記個別の未注視領域と前記複数の視認済み領域との間の幾何学的関係、
前記画像内における前記個別の未注視領域の位置、
の少なくとも一つにもとづいて決定される、
請求項１０に記載の画像分析支援方法。
【請求項１２】
前記優先順位を付けることは、第１の順位付け規則によって前記未注視領域に順位を付けることを含み、
（ｅ）が、前記第１の順位付け規則によって最上位に順位付けされた未注視領域を表示することを含む、
請求項１０に記載の画像分析支援方法。
【請求項１３】
前記第１のユーザに前記第１のサブセットの画像を表示し、
前記第１のユーザに第１のサブセットの画像を表示しながら、前記第１のユーザの注視を追跡し、更新された注視データを収集し、前記更新された注視データは複数の注視点を含み、
前記画像内の注視データの密度にもとづいて前記画像の少なくとも一つの未注視領域を更新し、
前記更新された注視データにもとづいて前記更新された未注視領域を第２の順位付け規則で順位付けし、
前記画像の第２のサブセットの画像を少なくとも表示し、
前記第２の順位付け規則で最上位に順位付けされた前記更新された未注視領域の個別の未注視領域を含むように、前記画像の第２のサブセットを選択し、
前記個別の未注視領域に注意を喚起する表現で前記画像の第２のサブセットの画像を表示する、
請求項１２に記載の画像分析支援方法。
【請求項１４】
第２のユーザに前記画像を表示し、
前記第２のユーザの注視を追跡し、
前記第２のユーザの追加の注視データを収集し、
前記追加の注視データは複数の注視点を含み、
前記画像内の追加の注視データの密度に少なくとも部分的にもとづいて少なくとも一つの前記未注視領域を識別する、
請求項１に記載の画像分析支援方法。
【請求項１５】
（ｄ）が、複数の個別のユーザの注視データの個別の密度を評価することを含み、
前記個別のユーザの各々の注視データの個別の密度が個別の領域の個々の所定の注視閾値を越えないと判断した場合、該個別の領域を未注視領域として識別する、
請求項１４に記載の画像分析支援方法。
【請求項１６】
（ｄ）が、
前記画像の少なくとも一つの個別の領域について、前記第１のユーザの注視データの密度と前記第２のユーザの注視データの密度との間の注視差異を決定し、
前記個別の領域の注視差異と相違閾値とを比較し、
前記個別の領域の注視差異が相違閾値を越える場合、該個別の領域を未注視領域として識別する、
請求項１４に記載の画像分析支援方法。
【請求項１７】
少なくとも一つのプロセッサと、
メモリと、
少なくとも一つのプログラムと、
を含む、画像分析システムであって、
前記メモリは前記少なくとも一つのプログラムを保存し、
前記少なくとも一つのプロセッサは前記少なくとも一つのプログラムを実行し、
前記少なくとも一つのプログラムは、
ユーザに画像を表示する機能と、
前記ユーザの注視を追跡する機能と、
前記ユーザの最初の注視データを収集する機能であって、該最初の注視データは複数の注視点の位置に関する情報を含む、機能と、
前記画像内における前記複数の注視点の密度にもとづいて該画像の少なくとも一つの未注視領域を識別する機能と、
前記少なくとも一つの未注視領域の画像を含むような画像の第１のサブセットを選択する機能と、
前記第１のサブセットに含まれる前記未注視領域のそれぞれを、前記画像中に存在するときよりも前記ユーザへの注意を喚起するような表現態様で表示する機能と、
をコンピュータに実現させるためのプログラムである、
画像分析支援システム。
【請求項１８】
ユーザに画像を表示する機能と、
前記ユーザの注視を追跡する機能と、
前記ユーザの最初の注視データを収集する機能であって、該最初の注視データは複数の注視点の位置に関する情報を含む、機能と、
前記画像内における前記複数の注視点の密度にもとづいて該画像の少なくとも一つの未注視領域を識別する機能と、
前記少なくとも一つの未注視領域の画像を含むような画像の第１のサブセットを選択する機能と、
前記第１のサブセットに含まれる前記未注視領域のそれぞれを、前記画像中に存在するときよりも前記ユーザへの注意を喚起するような表現態様で表示する機能と、
をコンピュータに実現させるための画像分析支援プログラム。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図３Ｆ】
【図３Ｇ】
【図３Ｈ】
【図３Ｉ】
【図３Ｊ】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図３Ｆ】
【図３Ｇ】
【図３Ｈ】
【図３Ｉ】
【図３Ｊ】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【公開番号】特開２０１１−１７５６２０（Ｐ２０１１−１７５６２０Ａ）
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願番号】特願２０１０−２３５４７１（Ｐ２０１０−２３５４７１）
【出願日】平成２２年１０月２０日（２０１０．１０．２０）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願日】平成２２年１０月２０日（２０１０．１０．２０）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]