ジェスチャ・ベース報告方法およびシステム
【課題】時宜に適った正確なやり方で全てのタスクを行い、効率目的のためにこれらのタスクのいずれかを組み合わせることのできる方法およびシステム。
【解決手段】本発明は、ジェスチャ・ベース報告システムおよび方法を対象とし、高解像度画像表示デバイス付き、かつプログラム可能スタイラスである入力デバイス付きのクライアント・コンピュータを含み、レポート内に含まれる既定の情報は一連の記号またはジェスチャにより規定され、かかる記号またはジェスチャは、画像表示デバイスに表示された画像の上にプログラム可能スタイラスを用いて直接描かれる。使用されるジェスチャまたは記号は、エンド・ユーザ人口に対して広範な訴求力を有する様々な性質の記号の秩序を利用する。同時に、それらは、画像研究を解釈するために様々な異なる状況、モダリティ、病理などに適用することができる。
【解決手段】本発明は、ジェスチャ・ベース報告システムおよび方法を対象とし、高解像度画像表示デバイス付き、かつプログラム可能スタイラスである入力デバイス付きのクライアント・コンピュータを含み、レポート内に含まれる既定の情報は一連の記号またはジェスチャにより規定され、かかる記号またはジェスチャは、画像表示デバイスに表示された画像の上にプログラム可能スタイラスを用いて直接描かれる。使用されるジェスチャまたは記号は、エンド・ユーザ人口に対して広範な訴求力を有する様々な性質の記号の秩序を利用する。同時に、それらは、画像研究を解釈するために様々な異なる状況、モダリティ、病理などに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照表示
本願は、２００４年７月９日に出願された米国特許仮出願第６０／５８６，４１５号の優先権を主張し、同仮出願の内容は参照により全体として本願に組み込まれるものとする。
本発明は、画像報告方法およびシステムに関するものであり、より具体的には、放射線医学環境において所見を報告するためのジェスチャ・ベース、記号ベースまたはアイコン・ベースの方法およびシステムに関するものである。
【背景技術】
【０００２】
医学分野、特に放射線医学で使用される画像報告方法およびシステムでは、放射線医がレントゲン（Ｘ線）・フィルムにワックス・クレヨンで注意書きまたは印付けを行うことが必要とされており、かかる印は、消去可能で一貫性がなく、再現不可能である。しかしながら、タイピストおよび放射線医がこの手法を用いてレポートを生成するには日数を要し、大量のレポートが生成される場合、この手法は時宜に適ったものでも正確なものでもなかった。
【０００３】
従来使用されている別の画像報告方法では、放射線医が、医用画像内に含まれる所見を精査して解釈した後、レポートをマイクロホンに吹き込むことが必要とされる。その後、口述レポートは、タイピストにより筆記されるか、またはコンピュータにより音声認識ソフトウェアを用いて筆記される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
いずれの取り組み方法でも入力は音声で生成され、その後、文字レポートに変換される。しかしながら、この取り組み方法の短所は、様々な発話パターンの登録における問題により潜在的に精度に欠ける点である。
さらに従来の報告方策では、ユーザは画像のナビゲーション、処理、操作および報告のような付随的タスクを（最も一般的には、入力デバイスとしてコンピュータ・キーボードまたはマウスを用いて）行うために画像から注意を逸らす必要がある。
【０００５】
よって、時宜に適った正確なやり方でこれら全てのタスクを行い、効率目的のためにこれらのタスクのいずれかを組み合わせることのできる方法およびシステムが望まれている。
【課題を解決するための手段】
【０００６】
本発明は、ジェスチャ・ベース報告システムおよび方法に関するものであり、高解像度画像表示デバイス付き、かつ、プログラム可能スタイラスまたは電子ペンである入力デバイス付きのクライアント・コンピュータまたはワークステーションを含み、レポート内に含まれる個々の概念（すなわち放射線所見）は一連の記号、アイコンまたはジェスチャにより定義され、かかる記号、アイコンまたはジェスチャは、プログラム可能スタイラスを用いて放射線医により、画像表示デバイスに表示された画像の上に直接描かれる。
【０００７】
チェックマーク、点などのような記号は、ある特定の情報を意味するようにあらかじめ決められたジェスチャまたは記号である。使用されるジェスチャまたは記号は、エンド・ユーザ人口に対して広範な訴求力を有する様々な性質の記号の秩序を利用する。同時に、それらは、画像研究を解釈するために様々な異なる特定の状況、モダリティ、病理などに適用されることができる。
【０００８】
従って、従来の文字（テキスト）レポート（画像と文字レポートとが異質のもので互いに分離している）と異なり、画像内に含まれる情報内容とジェスチャ・ベース・レポートとは不可分である。所見または概念（すなわち、放射線適用における拡張型心筋症）を画像からテキストに翻訳する代わりに、概念が直接、画像内に保持される。これにより、画像からテキストへの翻訳プロセスにおいて生じるおそれの高い潜在的な書き誤りおよび認識誤りが回避される。
【０００９】
画像データ、所見およびレポートをまとめてひとつのデータセットにすることにより、本発明は、特化した意思決定支援ツールを直接、画像およびレポートに同時に組み込むための独自の能力を提供する。普遍的に受け入れられる標準化された身振り（ジェスチャ）言語を用いることで潜在的な誤解は軽減され、言語障壁はもはや問題にならなくなる。
ジェスチャ・ベース報告を実行するコンピュータ・プログラムは、ジェスチャ付きで画像を記憶するという機能を果たすことができる。さらに、特定の所見および概念へのマッピングに使用される身振り言語は、ジェスチャ認識ソフトウェア・プログラムにより認識され、これらの所見および概念はジェスチャを用いたレポートに翻訳できる。さらにまた、画像のタイプも当該コンピュータ・プログラムにより認識されるであろうし、当該コンピュータ・プログラムは画像を生成し、選択された画像の適切な部位に記号を配置することができるであろう。このように本発明は双方向的に機能する。
【００１０】
本発明の双方向性により、従来の散文レポートは、散文を記号に変換するための自然言語処理（ＮＬＰ）を用いてジェスチャ・レポートに変換されることができる。これは、過去の散文レポートをジェスチャ・ベース・レポートに変換するために遡及的に行われることもできるはずであり、異なるユーザ間のレポートの、標準化された報告フォーマットでの直接比較を提供する。
【００１１】
本発明と一致する別の実施形態では、詳細な記述的情報は（記述された所見に対し）、高度に構築され組織化されたやり方で、追加の修飾語および記述子を身振り言語に組み込むことにより提供できる。これらの修飾子および記述子はユーザに、あらかじめ定義され限定された用語で自身の分析を識別して定量化することを強い、記述される意義および正確な所見に関しては美文調で冗長で不明瞭な場合のある従来の散文フォーマットの不確かさを事前に除去する。
【００１２】
ジェスチャ・ベース報告方法およびシステムの報告フォーマットは、従来の文字レポートを補うものであり、より大きい融通性をユーザに付加することができる。このように、生成される様々なレポートは、システムのユーザにより選択的にオンまたはオフされることができ、次のものを含むことができる。１）本発明に従って特定の所見および概念へマッピングする、画像に埋め込まれた単体のジェスチャまたは記号、２）構築された文字フォーマットによる所見（および各所見に関連する修飾語）の項目別リスト、および３）自然言語処理（ＮＬＰ）ツールを用いて所見が散文フォーマットに翻訳された従来の文字レポート。
【００１３】
ジェスチャ・ベース・レポートおよびジェスチャ埋め込み画像または「キー画像」は、その後、あらかじめ定義された通信プロトコルを用いて参照臨床医に自動的にルーティングされることができる。
従来の報告方法と比べた場合のジェスチャ・ベース報告利用の利点には、ユーザがターゲット画像から決して目を離さず、それにより、焦点となる対象との継続的接触を維持するという重要な利点が含まれる。これは、視標追跡、ワークフローおよび診断精度に関していくつかの理論的利点を提供する。
【００１４】
本発明と一致するある実施形態では、本発明はプログラム可能スタイラスのような入力デバイスを利用することができ、入力とナビゲーションとの組み合わせデバイスとして同スタイラスを用いて画像のナビゲーション、処理、操作および報告のような付随的タスクを行うことができる。このプログラム可能スタイラスは、画像の上に記号を描くために使用できるだけでなく、従来のコンピュータ・キーボードまたはマウスによる方法よりも優れた画像の表示、ナビゲーション、解釈および報告のプロセスに固有の、その他のタスクを遂行することもできる。これにより、画像のナビゲーションおよび表示は、ユーザが画像から決して目を離すことのない連続プロセスとなることができ、生産性およびワークフローを高め、また画像認知プロセスを改善する。
【００１５】
標準化された身振り言語を用いて構築されたレポートが作成されると、調査目的のためにユーザが照会することのできる参照可能なデータベースの作成が可能となる。これにより、業務管理、臨床調査、品質保証または利用審査のための価値あるリソースがつくり出される。
本発明と一致する別の実施形態では対話式（インタラクティブ）診察が行われることができ、エンド・ユーザは、組み合わされた画像／レポートが２人のユーザ間の電子診察ツールになるように、埋め込まれたジェスチャまたは記号を「オンおよびオフする」ための能力を有する。これは、ユーザが画像（および画像内に含まれる所見）からレポートに移動しなければならない（画像とレポートとは分断され互いに分離している）現行の方法を改善する。
【００１６】
本発明と一致する別の実施形態では、ユーザたちが分析結果に関して矛盾した場合、画像解釈をより正確に定義するためにニューラル・ネットワークを使用できる。
最終的に、ジェスチャ・ベース報告では、レポートの様々なオーバーレイまたは層が提供でき、かかるレポートは、経時的に異なる所見または所見の異なる局面を示すことができ、それにより、１枚の画像で出来るだけ多くの情報をユーザに提供する。
【００１７】
このように、本発明と一致するいくつかの特徴は、下記の発明の詳細な説明がよりよく理解され、かつ、当該技術に対するこの寄与がより正しく評価されるように略述されてきた。当然、本発明と一致する追加の特徴も存在し、かかる特徴は下記に説明され、本願の末尾に添付された特許請求の範囲の主題を形成する。
この点で、本発明と一致する少なくともひとつの実施形態について詳しく説明する前に、本発明がその適用において、下記の説明に記載されたかまたは図面に示された構造の詳細および構成部品の構成に限定されないことが理解されるべきである。本発明と一致する方法および装置は、その他の実施形態が可能であり、様々な方法で実施され実行されることができる。また、本願で用いられる術語および用語が、以下に記載された要約と同様に説明目的のためのもので、限定的なものと見なされないことが理解されるべきである。
【００１８】
このようなものとして、当業者は、本開示が基づいている概念が、本発明のいくつかの目的を遂行するためのその他の構造、方法およびシステムの設計基盤として容易に利用できることを正しく理解するはずである。従って、本発明と一致する方法および装置の精神および適用範囲から、かかる均等の構造物が外れていない限りにおいて、特許請求の範囲がそれらの構造物を含むと見なされるということが重要である。
【発明を実施するための最良の形態】
【００１９】
本発明は、画像ベース・レポートの作成に対する代替アプローチに関するものである。このジェスチャ・ベース（または記号ベースもしくはアイコン・ベース）報告の適用は、医学（すなわち放射線医学）、造園、建築などの分野のような、正確で記述的な「速記法」から利益を得ると思われるあらゆるタイプの画像報告に利用できる。
しかしながら、医学（すなわち放射線医学）への適用は、以下で検討される例示的な実施形態である。例示的な放射線医学適用では、本発明は、ジェスチャ埋め込み画像レポートのデータベースを作成するために、コンピュータで実施される方法およびコンピュータ・システム機能を含む。このジェスチャ埋め込み画像レポートからは、文字レポートを生成でき、データ・マイニングおよびその他の分析を行うことができる。
【００２０】
本発明の方法およびシステムは、デジタル画像の分析向けものとして説明されるが、本発明は、従来のレントゲン・フィルム、写真または紙ベース画像のようなアナログ画像と併せた使用にも適合させることができる。
医学（放射線医学）適用の例示的な実施形態では、本発明の報告システム１００（図１参照）は、病院情報システム（ＨＩＳ）１０、放射線情報システム（ＲＩＳ）２０、および画像保管通信システム（ＰＡＣＳ）３０のような既存の情報システムとのインタフェースを有し、かつ、医用デジタル画像および通信（ＤＩＣＯＭ）規格、ＤＩＣＯＭ構築報告（ＳＲ）規格、または北米放射線学会の医療連携のための情報統合化（ＩＨＥ）イニシアチブのような関連規格に適合するようにも設計される。
【００２１】
よって、本発明のジェスチャ・ベース報告システム１００と、ＨＩＳ１０、ＲＩＳ２０およびＰＡＣＳ３０などのような情報システムとの間の双方向通信は、報告システム１００がこれらのシステムから情報を検索し、その中の情報を更新し、報告システム１００により生成された所望のレポートを提供することを可能にする。
本発明の報告システム１００（図１参照）には、ＰＡＣＳ３０とのインタフェースを有するかもしくは有さない、またはＰＡＣＳ３０と統合されているかもしくはされていないＰＣのようなクライアント・コンピュータ１０１が含まれ、また、高解像度のデジタル画像を例えば２Ｄまたは３Ｄで提供することのできる画像表示デバイス１０２が含まれる。しかしながら、画像解像度を十分に高くできる場合、クライアントは、ユーザにより操作されてクライアントから遠隔でプログラムにアクセスするモバイル・コンピューティング・デバイスまたはモバイル・データ・オーガナイザ（ＰＤＡ）のような携帯端末であることができる（図２参照）。
【００２２】
本発明と一致する方法およびシステムは、入力手段１０４（図１参照）、またはホット・クリッカブルアイコンなどが含まれるユーザ選択手段、または、クライアント１０１に設けられたインタフェースのメニュー、ダイアログボックスもしくはロールダウン・ウィンドウの選択ボタンを設けることにより実行され、ユーザは、プログラム可能スタイラス、キーボード、マウス、音声処理手段、レーザー・ポインター、タッチ・スクリーンまたはその他の入力手段１０４を通じてコマンドを入力することができる。
【００２３】
入力手段または選択手段１０４は、専用のハードウェアにより構成されるか、またはその機能は、選択ウィンドウを表示するための表示装置１０２および例えば選択を入力するためのスタイラスもしくはキーボードを含むクライアント・プロセッサ１０６で実行されるコード指示により実行されることができる。
しかしながら、ユーザによるジェスチャ、記号またはアイコンの入力は、望ましくは多機能プログラム可能スタイラス１０４を用いて遂行され、同スタイラスは、記号を画像の上に描くために使用できるだけでなく、従来のコンピュータ・キーボードまたはマウスを用いた方法よりも優れた画像の表示、ナビゲーション、解釈および報告のプロセスに固有の、その他のタスクを遂行することもできる（ＰＡＣＳ内と電子カルテ（ＥＭＲ）内との両方において）。
【００２４】
クライアント１０１には多くの場合、クライアント・データ処理手段としてプロセッサ１０６が含まれ、同プロセッサには中央処置装置（ＣＰＵ）１０７または並列プロセッサおよび入力／出力（Ｉ／Ｏ）インタフェース１０８が含まれ、メモリ１０９にはデータ構造１１１を有するプログラム１１０が入っており、これら全てはバス１１２により接続される。さらに、クライアント１０１には入力デバイスまたは入力手段１０４、ディスプレイ１０２も含まれ、また、ひとつ以上の二次記憶デバイス１１３も含まれてもよい。バス１１２は、クライアント１０１の内側にあってもよく、キーボードもしくは入力デバイス１０４のアダプタを含むか、または外部接続を含むことができる。
【００２５】
本発明用の画像表示デバイス１０２は高解像度のタッチ・スクリーン・コンピュータ・モニタであり、これにより、レントゲン写真のような画像が判読可能となり、ジェスチャまたは記号は容易かつ正確に適用されるようになる。また画像表示デバイス１０２は、タブレット、ポケットＰＣおよびプラズマ・スクリーンを含むその他のタッチ感知式デバイスでもよい。タッチ・スクリーンは、本発明のジェスチャまたは記号を画像表示デバイス１０２の上に直接描くために使用されるスタイラス１０４の、入力を圧力感知してそれに応答する。
【００２６】
加えて、高解像度ゴーグルが、外部コンピュータの物理的制約なしに画像を精査できるようにエンド・ユーザに提供される場合がある。例えば、脳腫瘍の放射線断面画像を３Ｄフォーマットで表示することに特化した高解像度ゴーグルを着用した外科医は、手術中のガイドとして役立てるために画像上にジェスチャを記入し、問題の病理を強調（ハイライト）表示して関連特徴（すなわち解剖学的局在性、サイズなど）を報告することができる。このゴーグルは画像誘導手術に使用され、ジェスチャ・ベース報告は、手術の過程において関連所見に関する診察を提供するために役立つことになる。
【００２７】
別の例では内科医が、埋め込まれたジェスチャまたは記号付きの画像を精査するために、病院外でこの特化したゴーグルを使用することができる。画像は無線技術を用いてダウンロードされ、ゴーグルに表示されることができ、それにより、画像表示のためのコンピュータ・スクリーンは不要になる。
クライアント・システム１０１に関しては、グラフィック・ユーザ・インタフェースが、既存のコンピュータ・オペレーティング・システムで作動するように書かれたクライアント・アプリケーションであり、このクライアント・アプリケーションは、その他のパーソナル・コンピュータ（ＰＣ）ソフトウェア、パーソナル・デジタル・アシスタント（ＰＤＡ）および携帯電話、並びに、スクリーンまたはビジュアル・コンポーネントおよび適切な記憶能力を有するその他のデジタル・デバイスに移植（ポート）できることに注意されたい。
【００２８】
クライアント１０１のプロセッサ１０６は内部にあっても外部にあってもよく、既定の動作に適したプログラム１１０を実行する。プロセッサ１０６は、既定の動作を行うためのプログラム１１０およびデータ構造１１１を含むコード指示の、少なくともひとつのシーケンスを記憶するメモリ１０９にアクセスできる。メモリ１０９およびプログラム１１０はクライアント１０１の内部または外部に配置できる。
【００２９】
場合によっては本発明のシステムが、ある機能を果たすものとして説明されることに注意されたい。しかしながら、当業者は、プログラム１１０がシステム自体のエンティティというよりもむしろ機能を果たしているものであることを知っているであろう。
本発明のジェスチャ・ベース報告方法およびシステムを実行するプログラム１１０は、所望の動作を行うための別個のプログラム・コードを含むことができ、または、ある動作の下位動作を行う複数のモジュールであってもよく、もしくはその動作を提供する大型プログラム１１０の単一モジュールの一部であってもよい。
【００３０】
プロセッサ１０６は、複数の動作に対応する複数のプログラム１１０へのアクセスおよび／またはかかるプログラムを実行するために適したものであることができる。プログラム１１０により提供される動作は、例えば、ユーザ・インタフェースのサポート、データ・マイニング機能、Ｅメール・アプリケーションの実行などである。
データ構造１１１には複数のエントリが含まれてもよく、各エントリには、例えばジェスチャ記号のデータベースもしくはライブラリまたは画像ファイルを記憶する少なくとも第１の記憶領域が含まれる。
【００３１】
記憶デバイス１１３は、特定の動作を提供しているとき、画像ファイル、文字（テキスト）ファイル、データ・ファイル、音声、ビデオ・ファイルなどのような少なくともひとつのデータ・ファイルを記憶する。記憶手段１１３としてのデータ記憶デバイスは、例えばネットワークを介して接続される分散データベースを含め、例えばデータベースであってもよい。このデータベースは、コンピュータ検索可能データベースであってもよく、リレーショナル・データベースであってもよい。記憶デバイスは直接的に、またはＬＡＮまたはＷＡＮのような通信ネットワークを通じて、サーバ１２０および／またはクライアント１０１に接続される。内部記憶デバイス１１３または外部記憶デバイス１１４はオプションであり、データも、ネットワーク経由で受信され直接処理されてもよい。
【００３２】
本発明と一致する方法およびシステムでは、クライアント１０１は、アドレスまたはポートにより指定される通信エンド・ポートを用いて、クライアント通信手段としての通信リンク１１６経由で、管理システム、料金請求システムまたはその他のシステムを含むその他のクライアント１０１またはサーバ１２０に接続されてもよく、通信リンク１１６は、移動体通信リンク、切り替え回路通信リンクを含むか、またはＬＡＮ、ＷＡＮ、インターネットもしくはそれらの組み合わせのようなデータ処理デバイスのネットワークを伴うことができる。特に通信リンクは、Ｅメール・システム、ファックス、電話、ページャおよび携帯電話のような無線通信システム、無線ＰＤＡ並びにその他の通信システムであってもよい。
【００３３】
通信リンク１１６は、例えばサーバ１２０との通信を確立して維持するために、様々な通信プロトコルを実行できるアダプタ装置であってもよい。通信リンク１１６は、特化したハードウェアにより構成されてもよく、または対応するプログラム指示を実行する一般ＣＰＵにより実現される場合がある。通信リンク１１６は少なくとも部分的には、対応するプログラム指示を実行するプロセッサ１０６に含まれてもよい。
【００３４】
本発明に一致するある実施形態では、サーバ１２０が非分散環境において使用される場合、サーバ１２０は、ＣＰＵ１２２またはサーバのデータ処理手段である並列プロセッサおよびＩ／Ｏインタフェース１２３を有するプロセッサ１２１を含むが、ひとつまたは複数の機械に置かれた複数の個別プロセッサ１２１を含む分散ＣＰＵ１２２によっても構成されることができる。サーバ１２０のプロセッサ１２１は一般的なデータ処理装置で構わないが、大型リソース（すなわち、高処理能力および大量データ記憶用大型メモリ）を有するデータ処理装置であることが望ましい。
【００３５】
サーバ１２０には、データ構造１２６を有するプログラム１２５の入ったメモリ１２４も含まれ、これら全てはバス１２７により接続されている。サーバ１２０が分散システムにより構成される場合、バス１２７または類似の接続線は外部接続からなることもできる。サーバ・プロセッサ１２１は、様々な動作をユーザに提供するためのプログラム、望ましくは多数のそういったプログラムを記憶するための記憶デバイス１２８にアクセスできる。
【００３６】
データ構造１２６は複数のエントリを含む場合があり、各エントリは、例えば画像ファイルを記憶する少なくとも第１の記憶領域を含むが、当業者なら正しく理解するであろう通り、その他の記憶情報に関連する実施形態を含め、代替実施形態を有することもできる。
サーバ１２０は単一の装置（ユニット）であってもよく、または、複数のサーバ１２０もしくはデータ処理装置の分散システムであってもよく、互いの直接接続また間接接続を通して複数のユーザにより共有されてもよい。サーバ１２０は、所望の動作のために少なくともひとつのサーバ・プログラムを実行し、かかるプログラムは、クライアント１０１から要求を出す際に必要となる。
【００３７】
サーバ１２０からの通信リンク１２９は、複数のクライアントとの通信に適合するものであることが望ましい。
本発明は、クライアントおよびサーバ環境において提供されるソフトウェア内で実施されるか、または、いくつかのクライアント・システム間のコンピュータ化されたネットワーク上の分散システム内で実施される。よって、本発明では、個別の動作は、クライアントまたはサーバにおいてネットワークの縁端もしくは中心またはその両方で行われる。従って、クライアントもしくはサーバまたはその両方において、所望の動作／サービスに対応するプログラムが利用可能である。
【００３８】
クライアント‐サーバ環境では、少なくとも１個のクライアントおよび少なくとも１個のサーバが各々、通信リンク１１６、１２９を通じて、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）もしくはインターネットまたはそれらの組み合わせのようなネットワーク２２０に接続される。さらに、ＨＩＳ１０およびＲＩＳ２０並びにＰＡＣＳ３０の諸システム（分離している場合）はクライアント１０１に直接接続するものとして示されているにもかかわらず、これらのシステムが通信リンクを介してＬＡＮ、ＷＡＮもしくはインターネットまたはそれらの組み合わせを通じてクライアントに接続できることが分かる。ユーザとの相互作用は、暗号化および非暗号化インターネット接続性を通じたものであることができる。よって、本発明と一致する方法のステップは、クライアントもしくはサーバまたはその両方において実行され、サーバ（使用される場合）は、ブラウザ・アプリケーション等を用いて、例えばインターネットを通じて、クライアントによりアクセス可能である。
【００３９】
クライアント・システム１０１には、無線サービス接続を介する通信が含まれてもよい。サーバ・システム１２０には、例えば音声認識に接続する無線サーバを介して、ネットワーク／セキュリティ機能との通信が含まれてもよい。しかしながら、当業者は、その他のシステムが含まれてもよいことが分かるであろう。
本発明と一致する別の実施形態では、クライアント・システムは基本システムでもよく、サーバは、本発明のソフトウェア・プラットフォームをサポートするために必要なすべてのコンポーネントを含むことができる。さらに本クライアント‐サーバ・システムは、クライアント・システムがサーバ・システムから独立して動作できるが、サーバ・システムが任意接続できるように構成されることができる。前者の状況では、代わりに追加モジュールがクライアント・システムに接続される。本発明と一致する別の実施形態では、クライアント・システムおよびサーバ・システムは、２つのシステムに分離されるよりもむしろひとつのシステム内に配置されることができる。
【００４０】
上記の物理的構造は、上記ではクライアント側コンポーネントまたはサーバ側コンポーネントとして説明されたが、当業者は、物理的構造の上記コンポーネントがクライアント内もしくはサーバ内または分散環境に置かれ得ることが分かるであろう。
さらに、上記の機能および処理動作が専用ハードウェアにより実現されてもよく、または、データ処理装置で実行されるコード指示を含むプログラムとして実現されてもよいが、上記動作シーケンスの部分がハードウェアにおいて実行される一方で、上記処理動作の残り部分がソフトウェアを用いて実行されることがさらに可能である。
【００４１】
基盤技術により様々なその他のサイトへの複製が可能となる。新たな各サイトは、壊滅的故障の場合に、その他のサーバ・システムがアプリケーションを実行し続けて、システムが必要に応じて領域的にアプリケーションの負荷バランシングを行うことができるように近隣サイトとの「状態」を維持することができる。
さらに、本発明のある実施の諸側面はメモリに記憶されるものとして説明されるが、当業者は、本発明と一致する方法およびシステムの全部または一部が、ハード・ディスク、フロッピー（登録商標）・ディスク、ＣＤ‐ＲＯＭ、インターネットのようなネットワークから受信される搬送波、または現在知られているかもしくは後に開発されるその他の形態のＲＯＭもしくはＲＡＭのような２次記憶デバイスのようなその他のコンピュータ可読媒体に記憶されるか、またはかかる媒体から読み込まれてもよいことを正しく理解するであろう。さらに、システムの特定コンポーネントについて説明されたが、当業者は、本発明と一致する方法およびシステムと併せて使用するために適したシステムが、追加コンポーネントまたは異なるコンポーネントを含んでもよいことを理解するであろう。
【００４２】
これに応じて、本発明と一致するある実施形態では、例示的な放射線医学の方法およびシステムで使用されるジェスチャ・ベース報告システム１００および方法には、画像表示デバイス１０２およびプログラム可能スタイラスである入力デバイス１０４付きのクライアント・コンピュータ１０１が含まれる。プログラム可能スタイラス１０４は入力手段として使用され、画像上に記号を描くために使用できるだけでなく、本発明の画像の表示、ナビゲーション、解釈および報告のプロセスに固有のその他のタスクを遂行することもできる。
【００４３】
このように、放射線医は、スタンド・アロン型ＰＣ、または、放射線分野においてＰＡＣＳワークステーション３０として知られるクライアント・ワークステーションの一部に、もしくは同ワークステーションに接続されたものでありうるクライアント・コンピュータ・システム１０１のスイッチを入れる。この例示的な実施形態では、クライアント・コンピュータ１０１はＰＡＣＳ３０であり、画像表示デバイス１０２、コンピュータ・メモリ１０９およびプログラム１１０などに関しては、本発明の一部または全部では別個に設けられる代わりにＰＡＣＳ３０内に収容される。
【００４４】
よって、クライアント１０１がいったん稼働すると、ユーザはＰＡＣＳシステム３０にログオンする。
すると、ステップ２００においてコンピュータ・プログラム１１０はユーザにメニューを提示し、ステップ２０１において放射線医は、提示されたメニューから、分析に利用可能な画像ファイルをリストするワークリスト・フォルダを選択することができ、プログラム１１０はそのフォルダを開く。
【００４５】
ステップ２０２において、放射線医は選択を行うことができ、コンピュータ・プログラム１１０は、患者の放射線検査に対応するＰＡＣＳ３０からの画像データを含む（そのようなもに限定されるわけではない）、ステップ２０１で選択された画像研究（すなわち患者データ）と、検査室データ、電子カルテ（ＥＭＲ）からの病理レポート、患者人口統計および料金請求を含む（そのようなもに限定されるわけではない）、データ記憶１１３からの追加的情報とをディスプレイ１０２に取り込む（ロードする）。ＰＡＣＳ３０がＤＩＣＯＭのような既存の規格に従って情報を記憶することに注意すること。ＰＡＣＳ３０からのデータは、画像表示デバイス１０２に表示するためにクライアント・コンピュータ１０１を介してアクセスできる場合には、例えば検査画像記憶デバイス１１４、１２８に記憶される。あるいは、報告システム１００は、例えば中間記憶デバイス１１４または１２８を必要とせず、記憶１１３内のＰＡＣＳ画像に直接アクセスすることができる。
【００４６】
当該患者に関連する全ての未読み込み（または読み込み済み）検査ファイルを含め、選択された画像研究はコンピュータ・プログラム１１０によりクライアント１０１に表示される。画像研究は、表示される前にＤＩＣＯＭシリーズによるコンピュータ・プログラム１１０により体系づけられる。
画像研究が少数の画像しか含まない場合（放射線撮影またはマンモグラフィ）、放射線医は静態的に画像を精査する。画像研究が多数の画像を含む場合（ＣＴ、ＭＲＩ）、画像は、映画フォーマット（画像が逐次的に素早くスクロール・アップおよびスクロール・ダウンする映画に類似した形式）を用いて動態的に精査される。
【００４７】
ステップ２０３において放射線医は、望みの画像表示フォーマット（静態または動態）を選択し、画像の精査を開始する。放射線医が関連所見を観察するときには、対象とされる特定の画像が（スタイラス１０４を用いて）指し示され、適切なジェスチャまたは記号を用いて「キー画像」として表示される（図３参照）。放射線医は「埋め込み」画像を作成するために、確立された身振り（ジェスチャ）言語に基づき、あらかじめ定義された記号を記録された所見の上に描く。
【００４８】
チェックマーク、点などのようなジェスチャまたは記号（表１参照）は、特定のタイプの病理を意味するようにあらかじめ決められたジェスチャまたは記号である。使用されるジェスチャまたは記号は、エンド・ユーザである異種の人々（すなわち放射線医）に対して広範な訴求力を有する様々な性質の記号の秩序を利用する。同時に、それらは、すべての画像モダリティ、解剖学諸分野、および、放射線医が画像研究において解釈することを求められる様々なタイプの病理に適用できる。
【００４９】
例えば、表１に示された通り、チェックマークは「正常な」画像を示すために、脊柱の長軸を通る「Ｓ」字形の線は脊柱側彎症を示すために、三角形を形成する３つの点は気腔疾病を示すために、３本の水平な止め線は間質性疾患を示すために、などのように使用できる。しかしながら、様々な異なるジェスチャ、記号またはアイコンが異なる症状および疾患を識別するために使用でき、これらのジェスチャまたは記号が、放射線医にあらかじめテキストで教示されるか、またはクライアント・コンピュータ１０１のチュートリアルで提供され得ることは当業者には明白であろう。
【００５０】
【表１】
【００５１】
放射線医が主要な所見を定義した後、表２にその例が示された事前定義済みの記号およびアイコンを同様に使用して、放射線医によりスタイラス１０４を用いて修飾子が画像に記録されてもよい。修飾語および記述子は、放射線医に、事前定義され限定された用語で自身の分析を識別して定量化することを強い、記述される所見の臨床的意義および正確な病因に関しては、美文調で冗長で不明瞭な場合のある従来の散文フォーマットの不確かさを事前に除去する。
【００５２】
例えば、放射線医が肺結節の解剖学的位置を指定したい場合、放射線医は、指定された「解剖」のアイコンを例えば「クリック」し、スタイラス１０４を用いて対応する３次元解剖地図上に対象とする部位を局在化することができる。これらの修飾用のジェスチャまたは記号は、サイズ、形態、臨床学的意義およびに診断に関する追加情報（表２および図３参照）を提供するが、当業者は、示されているもの以外のその他の記号がこれらの用語およびその他の用語のために使用できることが分かるであろう。
【００５３】
【表２】
【００５４】
画像の精査および解釈が完了した後、放射線医は、自身のイニシャルを（スタイラス１０４を用いて）画像上に、例えばキー画像の１枚の右下角に電子的に付すことにより、ジェスチャ埋め込み画像に署名することができる。
ジェスチャおよび修飾子、またはジェスチャもしくは修飾子をその上に記録された画像は、ステップ２０４においてクライアント・コンピュータ１０１に保存されることができる。
【００５５】
「保存」を指示された後、コンピュータ・プログラム１１０はステップ２０５において、画像に記録されたジェスチャまたは修飾子と、そのジェスチャまたは修飾子の相関性に関するテキストを提供する例えばジェスチャのデータベース１１３、１１４または１２８とを相互に関連させる。プログラム１１０はその後、ステップ２０６において、ジェスチャまたは修飾子のすぐ隣に、ジェスチャまたは修飾子と関連するテキストを表示するようにディスプレイ１０４を更新する。コンピュータ・プログラム１１０はステップ２０７において、入力されたジェスチャまたは記号に対応するテキストをジェスチャの位置で明滅させることにより、保存されるべきジェスチャまたは修飾子の確認および検証を提示する。
【００５６】
コンピュータ・プログラムが、入力されたジェスチャまたは記号の解釈を誤り、ジェスチャまたは記号に関するテキストが正しくない場合、放射線医は、ジェスチャまたは記号の上に（「削除」のために）例えば「Ｘ」を付け、コンピュータ・プログラム１１０はステップ２０８において、画像に関するテキストおよびジェスチャもしくは記号、またはテキストもしくはジェスチャもしくは記号、並びに、そのジェスチャに関連して対応するレポートを消去または削除する。
【００５７】
その後、放射線医は、ステップ２０４の通りに、ジェスチャ・ベース記号を再入力し、そのプロセスを繰り返し、正しい対応するテキストを視覚化する時にジェスチャを最終的に確認する。コンピュータ・プログラム１１０はステップ２０９において、テキストを正しいものとして確認し、その後、ステップ２１０においてジェスチャ埋め込み画像を保存する。
【００５８】
「保存済み」の注釈付き「キー画像」は、包括的な画像データセットに加えて、例えばデータベースまたはアーカイブ１１３、１１４もしくは１２８にも別個に記憶される。埋め込みジェスチャ・ベース記号付きのこれらの「キー画像」は、ステップ２１１において参照臨床医に直接（Ｅメールなどのような事前定義された通信プロトコルに基づき）、電子的に送信されることもできる。
【００５９】
画像／レポートがいったんサインオフされ保存されると、コンピュータ・プログラム１１０は放射線ワークリスト・フォルダを持ち出し、放射線医は新しい画像ファイルをクリックして上記のプロセスを繰り返すことができる。
本発明と一致する別の実施形態では、放射線医が過去の比較研究と関係していて、以前報告されたいくつかの所見がそのまま残っていることに気づいた場合、放射線医は以前の画像を引き出し、その後、スタイラス１０４を用いて適切なジェスチャもしくは記号を改めて描くか、または新たな研究の上まで当該ジェスチャをドラッグすることにより、先の研究からのジェスチャもしくは記号を再伝搬する。このようにコンピュータ・プログラム１１０は、言語処理における「コピー」または「カット・アンド・ペースト」機能と同様のやり方で、ある画像から別の画像へのジェスチャの移動を可能にする。
【００６０】
本発明と一致する別の実施形態では、解釈プロセスを容易にするために放射線医は、対応するアイコンをスタイラス１０４でクリックすることにより自動意思決定支援を利用することができる。自動意思決定支援の例には、経時的サブトラクション法（経時的変化に注目する）、コンピュータ支援検出（ＣＡＤ）（事前定義された病理を検出する）、コンピュータ生成測定および鑑別診断（放射線所見に応じて潜在的病理のリストを提供する）が含まれる。これらの自動意思決定支援システムは、自動意思決定支援システムがどのように機能するかに応じて、放射線医によりジェスチャで画像に記録されることのできる所見、または自動的にジェスチャに翻訳されることのできる所見を提供することができ、本発明のジェスチャ・ベース報告方法およびシステムに統合されることができる。
【００６１】
例えば、肺癌の存在について胸部ＣＴを解釈する放射線医は、解釈プロセスを支援するためにコンピュータ支援検出（ＣＡＤ）ソフトウェアを利用することができる。本発明と一致するある実施形態では、ＣＡＤ所見は、コンピュータ・プログラム１１０によりジェスチャ・ベース報告記号とは異なる色／フォーマットを用いて画像上に重ね合わされることができる。これにより、臨床医または放射線医は自身の裁量でジェスチャ・ベース報告およびＣＡＤを実質的に「オンおよびオフする」ことができるようになる。画像は、これらの「データ層」付きまたは無しで見ることができ、データセット全体は、プログラム１１０により一括して永久的にアーカイブ／記憶される。
【００６２】
ジェスチャ・ベース報告方法およびシステムからレポートを生成する際には、デジタル・インク技術（すなわち、電子的に記号を作成しそれらの記号をテキストに翻訳する技術）、および、特定の放射線所見および概念へのマッピングに使用されたジェスチャまたは記号を項目別文字レポートに翻訳することに特化した認識ソフトウェアが提供される。この認識兼レポート生成ソフトウェアを含むプログラム１１０は、コンピュータ・プログラム１１０内に備えられ、本発明と一致するある実施形態では、（医用画像と医用レポートとの両方の）画像の表示、分散および記憶を担当するＰＡＣＳと統合されている可能性がある。自然言語処理（ＮＬＰ）は、ジェスチャおよび項目別テキストを標準的散文フォーマットに変換するための知能を備えている。
【００６３】
ジェスチャ・ベース記号がいったん画像に埋め込まれると、レポートは要望に応じて、少なくとも３つのフォーマットで生成されることができる。本発明に一致するある実施形態では、ジェスチャ・ベース報告フォーマットを用いて生成されるレポートは各々、システムのユーザにより選択的にオンまたはオフされることができ、次のいずれかを含む。
１） 本発明の通りに、特定の所見および概念へマッピングする、画像に埋め込まれた単一のジェスチャまたは記号
２） 構築された文字（テキスト）フォーマットによる所見（および各所見に関連する修飾語）の項目別リスト
３） 自然言語処理（ＮＬＰ）ツールを用いて所見が散文フォーマットに翻訳された従来の文字（テキスト）レポート
しかしながら、従来のレポートと異なり、標準化された身振り言語を用いて構築されたレポートが作成されると、臨床目的および調査目的のために照会できる参照可能なデータベース（例えば記憶１１４）の作成が可能となる。
【００６４】
従って、従来の文字レポート（画像と文字レポートとが異質のもので互いに分離している）と異なり、画像内に含まれる情報内容とジェスチャ・ベース・レポートは不可分である。所見または概念（すなわち心臓肥大）を画像からテキストに翻訳する代わりに、概念が画像内に直接保持される。これにより、画像からテキストへの翻訳プロセスにおいて生じるおそれのある潜在的な書き誤りおよび認識誤りが回避される。
【００６５】
このように、画像データ、所見およびレポートをまとめてひとつのデータセットにすることにより本発明は、特化した意思決定支援ツールを直接、画像とレポートとに同時に組み込むための独自の能力を提示する。例えば従来の散文報告では、大量の曖昧な表現が、類似の（ただし、時に異なる）概念を記述するためによく用いられる同義語の使用を通じて持ち込まれる。臨床分野には類義語「浸潤物」、「気腔疾患」、「硬化」および「肺炎」について様々な臨床的受け止め方があり得る。普遍的に受け入れられる標準化された身振り言語を用いることで、潜在的な誤解は軽減され、言語障壁はもはや問題にならなくなる。
【００６６】
よって、上記「浸潤物」に関して本発明と一致するある実施形態では、ユーザは、所見に関する普遍的記号を使用し、特定の日付の間の期間中にこの報告所見を有したか、または、ある一定の人口統計的もしくは臨床的なプロファイルを満たしたかについて、すべての患者のレポート・データベースを照会することができる。これにより、業務管理、臨床調査、品質保証または利用審査のための価値あるリソースがつくり出される。
【００６７】
加えて、本発明と一致するある実施形態ではレポートは、そのレポートで詳述された特定の所見を示す画像を生成するために使用できる。例えば、レントゲン写真のタイプ（すなわち胸部など）はコンピュータ・プログラム１１０により認識され、コンピュータ・プログラム１１０はレントゲン写真を生成し、レポートを根拠として用いて、選択されたフィルム上の適切な部位にジェスチャまたは記号を付けることができる。このように本発明は双方向的に機能する。
【００６８】
本発明の双方向性は、散文を記号に変換するための自然言語処理（ＮＬＰ）を用いて従来の散文レポートがジェスチャ・レポートに変換されることを可能にする。これは、過去の散文レポートをジェスチャ・ベース・レポートに変換するために遡及的に行うこともできる（標準化された報告フォーマットによる異ユーザ間のレポートの直接比較を提供する）。
【００６９】
本発明と一致する別の実施形態では、対話式（インタラクティブ）診察が臨床医と共に行われることができる。本発明の通りに、所見を医用画像に直接埋め込み、かつ、これらの埋め込み記号を「オンおよびオフする」ための能力をエンド・ユーザに提供することにより、組み合わされた画像／レポートは電子診察ツールになる。
例えばステップ３００（図４参照）において、コンピュータ・プログラム１１０は、図２で前述された通りに胸部ＣＴ検査を精査して、「キー画像」に適切なジェスチャまたは記号および修飾子を埋め込むことにより以下のような所見を行っていた放射線医により、解釈された埋め込み画像を保存する。
１．肺塞栓
２．肺炎
３．胸水
４．肺門リンパ腺炎
臨床医が、精査のためにクライアント・コンピュータ１０１にＣＴを呼び出すと、コンピュータ・プログラム１１０はステップ３０１において、全体として（初めから終わりまで、６００枚の個別画像からなる）研究を精査するかまたは「キー画像」のみ（４枚の画像からなる）を精査するかのオプションをユーザに提示する。
【００７０】
ユーザが「キー画像」のみを表示することを選択した場合、コンピュータ・プログラム１１０はステップ３０２において、ユーザの優先選択に基づき事前に選択されたフォーマットで４枚の「キー画像」をユーザに提示する。例えば臨床医Ａに関しては、これは、例えば４：１表示フォーマットを用いて単一のディスプレイまたはモニタ１０２に表示される４枚すべての画像からなる。例えば臨床医Ｂに関しては、４枚の個別画像が例えば１：１表示フォーマットを用いて個別に表示され、この臨床医は、自身の優先選択による入力デバイス１０４（すなわちスタイラス、トラックボール、マウス）を用いて画像間を自由に移動することができる。
【００７１】
臨床医が第１の「キー画像」を（所望の入力デバイス１０４を再度用いて）強調（ハイライト）表示すると、コンピュータ・プログラム１１０はステップ３０３において、例えば次のような３つのやり方で画像を精査するためのオプションをユーザに提示する。
１． 画像を記号なしで
２． 画像を記号付きで（静態モード）
３． 画像を記号付きで（動態モード）
本発明と一致するある実施形態では、臨床医の個別の優先選択がコンピュータ・プログラム１１０においてデフォルトとしてあらかじめ確立されコンピュータ・サインオン・プロセスに組み込まれているものとすることができるが、臨床医は、どの時点でもプログラム１１０のデフォルトに優先する能力を有することに注意されたい。加えて、臨床医は、例えば手動で当該表示モードに関する適切なアイコンをアクティブにすることにより、「実行中に」様々なオプション間で切り替えを行うことができる。
【００７２】
例えば、臨床医がオプション３（動態モードを用いる記号付き画像表示）をデフォルトとして選択した場合、コンピュータ・プログラム１１０はステップ３０４において、放射線医が解釈の際に埋め込み記号を記録した正確な順序で同記号を逐次的に表示しながら、強調表示された「キー画像」を提示する。これは事実上動画となり、エンド・ユーザが解釈プロセス全体を初めから終わりまで見る（さらに、自身の優先選択に基づき速度を制御することができる）ことになる。
【００７３】
ＣＴ事例の例では、臨床医により選択された第１の強調表示された「キー画像」は、記号を適用する時点で放射線医が用いていた正確な表示状態で肺塞栓を示す。このためには、例えば、用いられた特定のウィンドウ／レベル設定、拡大率、用いられた特定の処理アルゴリズム、特定の解剖学的方位（矢状縫合、軸、冠状縫合に関するもの）および使用された３Ｄボリューム・レンダリングを含む（これらに限定されるものではない）、事前選択されたいくつかの変数が必要となる。本発明と一致するある実施形態では、事前選択変数は、ユーザによるキー画像の強調表示の前に選択されることができる。ステップ３０５においてキー画像を強調表示すると、時間のかかる画像操作プロセスを臨床医が回避するための「ショートカット」が生成され、臨床医は、解釈する放射線医とまったく同じやり方で画像を精査することができるようになる。
【００７４】
ステップ３０５においてコンピュータ・プログラム１１０によりジェスチャまたは記号が自動的に適用されている間、臨床医は、電子診察を受動的に見る。コンピュータ・プログラム１１０は、コンピュータ・プログラム１１０のジェスチャ認識ソフトウェアにより各記号が認識されている間、ジェスチャまたは記号それ自体に加えて、対応するテキストを臨床医に示す。これは事実上、臨床医向けのジェスチャまたは記号の認識に関する教育ツールを作成し、適用された各ジェスチャとそれに対応するテキストとを積極的に関係づけることを可能にするという利点を有する。
【００７５】
肺塞栓に関するジェスチャまたは記号がコンピュータ・プログラム１１０により適用された後、臨床医は、プログラム１１０により適用される様々な修飾記号を見る。かかる修飾記号は、例えばサイズ（すなわち、線状測定値または容積測定値）、解剖学的位置（すなわち、右上肺葉肺動脈２次分枝）、内部構成（すなわち、非石灰化および閉塞性）、臨床的意義（すなわち、極めて高い）および診断信頼レベル（すなわち、高い）を記述する。ジェスチャが、記録された順序で適用されながら示されることができるか、またはユーザの選択に応じて一度にすべて示されることができることに注意されたい。
【００７６】
本発明と一致する別の実施形態では、コンピュータ・プログラム１１０による記号適用の全シーケンス（典型的な例では、５〜１０秒を要する）の完了後、臨床医はステップ３０６において、教育アイコンをクリックして「オン」にすることにより「追加データ」の表示を選択することができる。すると、コンピュータ・プログラム１１０は、事前定義されたユーザの優先選択に基づきデータベースを検索する検索エンジンを用いて、例えば雑誌（ジャーナル）記事、ウェブ・リンク、関連事例の教示ファイル事例を含む、いくつかのリソースを臨床医に提示する。
【００７７】
本発明のある実施形態のステップ３０７においてコンピュータ・プログラム１１０により臨床医に提示される別のオプションは、上記の通りの臨床医の既定の優先選択のみならず、例えば、報告所見および臨床的徴候用にカスタマイズされた意思決定支援ツール（すなわち画像処理、ＣＡＤ、セグメンテーション、鑑別診断）をも適用するというものである。
【００７８】
臨床医が「追加データ」を表示しないことを選択した場合、この画像の電子診療はステップ３０８においてコンピュータ・プログラム１１０により終了され、第２の強調表示された「キー画像」がステップ３０９においてコンピュータ・プログラムにより提示され、この例示の事例では、５日前に行われた比較ＣＴ検査に比べて全容積が２０％減少した右下肺葉上区内の肺炎の所見が示される。
【００７９】
コンピュータ・プログラム１１０によるこのシーケンスは比較的短く（およそ５〜１０秒）、コンピュータ・プログラム１１０は第３および第４の強調表示「キー画像」の提示を続け、その後、電子診察は終了する。
イベントの全シーケンスは、臨床医により用いられるオプションに応じて短い期間（約１〜３分）を要する。診察中いつでも臨床医は、画像またはデータの特定のポイントを（スタイラス１０４を用いて）強調表示することができ、プログラム１１０は、例えば病状、放射線所見、患者名、モダリティなどのような既定の因子によりアクセスされることのできる当該プログラム自体の画像フォルダに電子的に送信するために、「それ（強調表示ポイント）を保存」する。
【００８０】
本発明のジェスチャ・ベース報告を用いる電子診察は双方向性を有し、コンピュータ・プログラム１１０は、臨床医が最初に報告を行う場合には同一シーケンスが逆の順序で精査されることを可能にする。この例示的な場合、臨床医（すなわちＥＲ内科医）が最初に（すなわち午前１時３０分に）胸部レントゲン写真を精査し、自身の仮解釈を適切な身振り言語を用いて記録した。例えば、臨床医は次のような記号を（この順序に）記録した。
１． 密度、範囲不明確、右下肺葉、臨床的意義不確か
２． 心臓肥大、軽度、臨床的意義極小
３． 退行性変化、中央胸椎、急性の臨床的意義なし
この例では放射線医は、この研究を例えば午前８時に解釈し、ジェスチャ・ベース報告方法を用いてＥＲ内科医の解釈を精査する（ほんの数秒（すなわち５〜１０秒）しか掛からない）。ＥＭＲへの自動検索により得られた追加データは、患者の白血球（ＷＢＣ）数が正常であり発熱がないことを示す。
【００８１】
加えて、この例では患者の画像ファイルには、１年前に行われたＣＴ検査が含まれ、当該検査では例えば同様の、濃度の範囲が不明確な右下肺葉上区が見られ、鑑別診断は肺炎、吸引および癌を（統計的尤度の逐次順に）示した。
これらの（同一解剖学的部位の）様々なモダリティを相関させると放射線医は、例えば慢性の所見、サイズの経時的増大、および炎症性の経過を示唆する対症データの欠如により主に癌腫が懸念されると結論づけることができる。ジェスチャ・ベース報告方法を用いて画像にジェスチャを入力する時に放射線医により用いられる対応するジェスチャまたは記号は、例えば次のようなデータを（適用順に）表す。
１． 濃度、範囲不明確、右下肺葉上区、前回０４年４月３０日の胸部ＣＴと比較したサイズ増はゆるやか、主診断は癌腫、臨床的意義高し、フォローアップ推奨事項：胸部ＣＴおよび腫瘍診察
２． 心臓肥大；仮解釈からの変更なし
３． 胸部脊柱の退行性変化；仮解釈からの変更なし
放射線医の精査および解釈の過程で放射線医は、ＥＲ内科医により当初行われた心臓肥大および退行性変化の所見を「原状のまま」確認することを選択することができる。これは例えば、ＥＲ内科医により入力された対応する記号の上に「チェックマーク」のジェスチャを付けることにより行うことができる。その後、放射線医は、範囲が不明確な右下肺葉の濃度を表すジェスチャまたは記号を修飾し、次いで「統計画像診察」に関してＥＲ内科医に電子的にページングするための指示を付けて画像／レポートを高優先キューに入れることができる。
【００８２】
するとＥＲ内科医は、対応する患者情報および画像／レポート情報の記載された統計ページを受信することができる。その後、今度はＥＲ内科医が放射線医の解釈／電子診療を精査し、ＥＲ内科医がかかる診察を受信し、かかる解釈に同意し、推奨されたＣＴおよび腫瘍診察を指図済みであることを記載した電子文字メッセージ（すなわち高優先事項）を放射線医に返信することができる。
【００８３】
臨床医が画像を精査して、解釈する放射線医が見落としたものを見つけたと思う場合には当然、対話式診察が開始できる。その場合、臨床医は、適切なジェスチャを（臨床医独自の色またはその他の識別用フォーマットを用いて）記録し、解明のために、解釈を行った放射線医に画像を電子的に送信することができる。文字メッセージを打ち込むかまたは単に新規追加記号のすぐ隣に疑問符を付すことにより、放射線医には臨床医からの照会だと分かり、放射線医は画像を修飾して臨床医に再送信することができる。この電子診察はその後、将来の参照に備えて患者の画像フォルダに記憶されることができる。すべての連絡は身振り言語の形態を取り、画像データの追加「層（レイヤー）」として記録されることができる。
【００８４】
続いて、診察する腫瘍医によりこの画像／レポートが例えば３時間後に精査される場合、腫瘍医は、行われた所見、解釈、およびその結果行われた診察の一部または全部を精査することができる。腫瘍医が「すべての所見」を精査すことを選択した場合、コンピュータ・プログラム１１０は、まず、ＥＲ内科医のジェスチャ・ベース・レポートの所見を（例えば青のような特定の色のカラーコードで）、次いで、放射線医のジェスチャ・ベース・レポートの所見を（例えば赤のような特定の色のカラーコードで）提示する。腫瘍医も同様に、画像に追加所見を加えるか、または追加の臨床的／履歴データを組み込むことができる。
【００８５】
この特定の例では腫瘍医は、肋骨破壊（すなわち、第４右後部肋骨、重篤度は軽度、診断信頼度不確か、臨床的意義高し）を識別する。この「不審な食い違い」は、腫瘍医による入力時にコンピュータ・プログラム１１０により識別され、コンピュータ・プログラム１１０はこの識別に基づき「食い違いキュー」を入力する際、解釈を行った放射線医に電子的にレポートを送信する。
【００８６】
その後、放射線医が腫瘍医の所見を精査し、腫瘍医に文字メッセージを送信して、例えば、行われた追加所見を承認し、かかる追加所見は、指図された胸部ＣＴにおいてより十分に評価される。この連絡（音声ファイルを含む、所望の任意のフォーマットによる）は、来るべき胸部ＣＴを解釈する放射線医が、胸部レントゲン写真に関与する３人すべての内科医の画像所見および臨床メモに直接アクセスできるように画像に（例えば診察タブで）添付されることもできる。
【００８７】
次に、これら３人の内科医が、胸部ジェスチャ・ベース・レポートを（注釈付きのキー画像付きで）電子メッセージにより自動的に受信する。このプロセス全体は簡単に遂行でき、極わずかな時間しか要さない。実際には、各内科医が相手の所見を精査して修飾を入力し通信プロトコルを開始するために必要な時間は、例えば３分未満であるべきである。
本発明と一致する別の実施形態では、ユーザ独自の署名が、画像報告に対するある一定の特権を定義するために使用できる。あるユーザが他のユーザのジェスチャを積極的に変更または削除することができる（すなわち、放射線医が参照臨床医のジェスチャを変更または削除することができる）場合、これにより「セカンド・オピニオン」、診察および照会の権限が提供される。
【００８８】
例えば、放射線分科専門医は、主要放射線医、参照臨床医または患者により、画像を精査して「セカンド・オピニオン」または診察を提供することを求められる場合がある。診察する放射線医は、原レポートに対してジェスチャを追加または削除する。その際、（ジェスチャまたは記号の形態での）変更は、プログラム１１０により異なる色またはその他のフォーマットで記録され、そのため、ユーザは主要診察放射線医のレポートの性質が異なることを認識することができる。各「個別」レポートは個々に選択またはアクティブ化されることができ、レポートの「最終」バージョン（画像アーカイブに記憶された通りのもの）はすべてのバージョンを記録する。参照臨床医が画像／レポートを精査したいと考える場合、プログラム１１０は参照臨床医に、どのレポートをデフォルトとして使用するかを選択するように求める。
【００８９】
本発明と一致する別の実施形態では、臨床医は、これと同じ概念を用いて自身の患者の記録内に自身が解釈した画像所見を記録することができる。例えば、腫瘍医は、解釈を行った放射線医により言及されていない追加所見を記録したいと考える場合がある。腫瘍医は、対応する画像に追加の記号またはジェスチャを記録し、それら注釈付き画像を、患者の腫瘍フォルダに収められる「キー画像」として「保存する」。これらの画像はその後、患者の次の来診時または治療時に精査される。患者がフォローアップ画像検査（治療に対する反応を測定するためのもの）を有する場合、腫瘍医により照会が行われると、注釈付きの画像が（腫瘍医により自身のデフォルトとして選択された通りに）引き出される。コンピュータ（意思決定支援の形態として人工知能を用いる）は、腫瘍医によるジェスチャまたは記号を認識し、フォローアップ検査時に当該解剖学的部位および画像特徴を強調表示する。これにより、腫瘍医は自身の埋め込みジェスチャを用いて画像所見を連続的に追跡することができる。
【００９０】
本発明と一致する別の実施形態では、多層的な取り組み方法が、一部の放射線学的データ（すなわちマンモグラフィ）の分析に対して取られることができる。この実施形態では、ＲＩＳおよびモダリティが第１の２つの情報層を提供する一方で、第３および第４の層は放射線医により入力される。さらに、ＮＬＰが等式に追加されると、先の画像／レポートは、関連データについて事前に選別され、ＣＡＤオーバーレイと同様のやり方で解釈時に放射線医に提示されることができる。
【００９１】
この実施形態における個別の層は、エクセルのスプレッドシートとほぼ同じように組み込まれることができ、ユーザは、関係する特定のタブをクリックすることになる。「層１」のタブがクリックされると、この層内に収容された個別データ（すなわち、履歴データ、臨床的徴候、履歴比較のような背景データ）が、リンクされた歴史的画像を直接表示するための能力と共に表示される。「層２」のタブがアクティブにされると、個別データ（すなわち、ＱＡ記述子、手法、乳腺密度および局在マーカのような技術的側面）が表示される。これにより、個々の放射線医または臨床医は、自身の表示プロトコルを標準的デフォルトとしてカスタマイズすることができるようになる。すべてのデータは画像内に埋め込まれるかまたはリンクされるが、何が表示されるかは、個々のエンド・ユーザの裁量による。
【００９２】
「層３」は、上記の通りの本発明の方法およびシステムに従って放射線医の画像所見を収容し、「層４」は、所見の臨床的意義、フォローアップ推奨事項および診断信頼度のような解釈である。比較研究およびレポートは電子的にリンクでき、ジェスチャ・ベース報告を用いて解釈される場合、経時的サブトラクション法が、指定された病理部位に対する有用なツールとなることがある。
【００９３】
本発明と一致するその他の実施形態では、下記のような修正が、ジェスチャ・ベース報告が企てられるか、補助的技術が用いられるか、または出力が生成される個別のやり方で行われることができる。
例えば、上記の通りの異なる入力デバイス１０４または異なる表示デバイス１０２以外の潜在的修正には、表で特定されたものとは異なる身振り言語または記号言語が含まれる。例えば、ユーザは、自分独自のジェスチャおよび記号を作成する能力を有し、かかるジェスチャおよび記号が今度は、従来のソフトウェアを用いて、標準化された言語にマッピングし戻されることができる。提案された図式言語に加えて、アルファベット数字式記号も同じタスクを遂行できるが、国際的ユーザ間の言語の相違により制限を受けるはずである。
【００９４】
前記の通り、異なる出力（すなわちレポート）が使用できる。生成される出力は、ユーザの特定の優先選択に合わせてカスタマイズできる。画像の上にジェスチャ・ベース報告記号を重ね合わせるグラフィック表示に加えて、ジェスチャは、ＥＭＲがこれらのジェスチャを未加工フォーマットで記憶するＸＭＬスキーマに対してマッピングされることができる。
【００９５】
さらに、医用画像以外の、ジェスチャ・ベース報告の追加適用が存在する。ジェスチャ・ベース報告は、データが図解、線図または写真の形態で提示または記録される場合にはいつでも、実行可能な報告代替手段になる。医用画像は、内視鏡検査、心臓科、眼科、気管支鏡検査、皮膚科および結腸内視術を含め（それらに限らず）、いくつかの非画像専門部門において記録される。得られた画像は現在、ＥＭＲに記憶されており、記号を用いてレポートを生成するために容易に使用できる。
【００９６】
例えば、冠動脈血管造影を行う心臓医は、すべて身振り言語を用いて血管狭窄（重篤度、位置、臨床的意義）および提案される治療オプションを記述するために、画像に埋め込まれたジェスチャまたは記号を使用することができる。この心臓医は身振り言語を用いて（心臓壁運動異常のような）機能異常を報告することもでき、かかる身振り言語は従来の散文報告よりも容易に伝わるはずである。
【００９７】
電子的に（意思決定支援を用いて）所見を識別し経時的変化を追跡する能力は、診断および患者管理の大部分が視覚的入力に基づく皮膚科のような専門部門では極めて有用である。多病巣性発疹の写真を撮る皮膚医は、皮膚症状の数、サイズおよび領域的分布の経時的変化を定量化するために経時的サブトラクション技術を用いることができる。ジェスチャ・ベース報告は、関連所見を識別して記述するために身振り言語または記号言語を使用することができ、コンピュータ・プログラムは、フォローアップ検査時に、以前識別された異常部位を自動的に強調表示して、一連の定量的および定性的比較を行うことができる。これによりジェスチャ・ベース報告は、診断と治療との両方のための価値あるリソースになる。
【００９８】
医用写真は、病理を明らかにするために一般には手術室で撮られており、これらの写真は同様のやり方で容易に使用できるはずである。外科医は単に、病理部位の上にジェスチャを重ね合わせることで、拡大および画像処理を提供して懸念部位を強調するためのコンピュータ・ワークステーションの機能を使用する。病理部位と周囲の正常な組織および器官との解剖学的関係は医用写真撮影を用いて最もよく表され、ジェスチャ・ベース報告は論理的な報告手段となる。
【００９９】
手術中に撮られる「巨視的」写真に加えて、「微視的」写真も病理医により広く使用されており、ジェスチャ・ベース報告に十分適する。病理学では、正常細胞と異常細胞との間の境界が特に重要で、文字（テキスト）レポートはこれらの微妙な違いを伝えることが困難である。特殊染色された顕微鏡試料の拡大表示によって、正常細胞と異常細胞との間のこれらの境界の線引きと、異常細胞の明確な識別との両方が行われる。これら個別細胞の特定の異常は、ジェスチャ・ベース記号を用いて強調表示され報告されることができ、かかる記号は再度標準化される。これは、「外部専門家」による診察が求められることの多い病理学では利益になるはずである。標準化された身振り言語または記号言語を用いて強調表示された所見を付けて、巨視的画像および微視的画像を電子的に伝送するための能力は、特に訴求力を有する。
【０１００】
さらに、文字（テキスト）フォーマットで現在書かれている様々な医療メモは、線図上に重ね合わされるジェスチャを用いてジェスチャ・ベース報告フォーマットに容易に変換できる。例えば、病歴および健康診断を記録する内科医は、関連所見ならびに関係する修飾語および以前記述された概念を記録するために、各器官系のコンピュータ生成線図上に重ね合わされた記号を使用することができる。同じ原理が手技メモ、診察および経過メモに適用できる。
【０１０１】
ジェスチャ・ベース報告適用向けカルテの別の範疇は、グラフィック表現（ＥＥＧ、ＥＭＧ、ＥＫＧ）で表示される既存の試験である。ＥＥＧを解釈する神経医は、異常所見に対応するグラフィック表示の「キー部分」を強調表示し、ジェスチャ・ベース報告を用いてこれらの所見に注釈を付けることができる。すると、強調表示されたこれらのグラフィック分析キー部分は、コンピュータ・プログラムにより包括的データセットとは別に記憶され、フォローアップ検査時の詳細な比較に使用される。意思決定支援のこの適用は、解釈および報告のためにジェスチャ・ベース報告と併せて使用できる。
【０１０２】
いくつかの非医用適用は、ジェスチャ・ベース報告に十分適するはずであり、かかる適用には、絵表現または図解表現に基づく一切のものが含まれる。交通事故を調査する警察官または保険査定人は、一連の写真および線図を通じて事故現場、自動車およびその後の損害の図解表現を用いることができ、かかる写真および線図が次には、報告のためにジェスチャまたは記号で注釈を付けられることができる。同様の適用が工学、設計（デザイン）および建築専門化向けに利用できる。
【０１０３】
一般医および専門医のこれらの非常に異なるニーズおよび期待に応えるために、２層のジェスチャ・ベース報告言語が、一般放射線医および分科専門放射線医の間で等しい習熟度で使用されることできる。基本セットのジェスチャまたは記号（表１〜２参照）は、共通して見られるいくつかの放射線所見に適用可能であり、すべての画像モダリティおよび解剖学的領域に共通することになるはずである。専門セットのジェスチャ・ベース報告記号は、性質がより粒状で、異なる器官系および画像モダリティ向けに特化される。専門セットの記号に関する知識が不足していても、下記の通り、ジェスチャ・ベース報告方法およびシステムを使用するための人の能力に支障は生じない。
【０１０４】
この例として２人の異なる放射線医が、例えば嘔吐および頭痛のある８歳男児の脳ＣＴの解釈にジェスチャ・ベース報告を利用している。一般放射線医は、脳の後頭蓋窩にある塊を識別し「キー画像」を強調表示する。未確認の塊を記述するジェスチャ・ベース報告プロセスを行いながら、この放射線医は、次のような記述子でその塊を記述する。すなわち、塊、範囲不明確、小脳、質量効果極小、臨床的意義高し、病因不確か、ＭＲＩのフォローアップ推奨。
【０１０５】
当該研究を解釈する神経放射線医もジェスチャ・ベース報告を利用するが、塊を少し異なる用語で次のように記述する。すなわち、塊、小脳虫部、範囲明確、関連水頭症、内部の嚢胞性変化および石灰化、臨床的意義高し、髄芽細胞腫、神経外科診察。
事前プログラムされソフトウェアに入れられたニューラル・ネットワークを用いる本発明のコンピュータ・プログラム１１０は、意思決定支援、およびＥＭＲから得られた追加情報を用いて、特徴付けを改善するためのいくつかの標的質問を一般放射線医に行う。プログラム１１０は、まず、解剖マップを用いて塊を局在化することを一般放射線医に求める。その際、対応する参照脳ＣＴがプログラム１１０により持ち出され、一般放射線医は、問題の塊のある正確な部位にスタイラスを置く。すると、コンピュータ・プログラム１１０は、その解剖学的位置が「小脳虫部」であることを明らかにする。
【０１０６】
コンピュータ・プログラム１１０が行う第２の質問は、「関連水頭症はあるか？」である。一般放射線医は画像を精査し「はい」と答える。コンピュータ・プログラム１１０により提示される第３の質問は、「この塊は内部に石灰化、出血または嚢胞性変化を含むか？」である。当該放射線医は、嚢胞性変化と石灰化との両方の上を、その存在を指し示すためにスタイラス１０４で指す。コンピュータ１１０は（ニューラル・ネットワークを用いて）、問題の塊を髄芽細胞腫として識別し、電子データベースから教示ファイル事例を当該放射線医に提示する。
【０１０７】
これらの画像が問題の病型に対応するか否かをコンピュータ・プログラム１１０により尋ねられたとき、当該放射線医は「はい」と答え、これを「高臨床信頼度」の推定診断として入力する。
最終結果は、両放射線医の最終レポートにおいて塊がほとんど同一であることを記述するために使用されたジェスチャ・ベース言語となる。両者がたどった道筋はわずかに異なっていた可能性はあるが、最終結果および対応するレポートはほぼ同じである。ジェスチャ・ベース報告解釈プロセスへの意思決定支援の組み込みに加えて、身振り言語または記号言語に関する教育的フィードバックもまた、継続的学習のためにエンド・ユーザに提供される。
【０１０８】
ジェスチャ・ベース報告方法およびシステムの使用に関する学習プロセスも双方向性を有する。コンピュータ・プログラム１１０が各エンド・ユーザにより独自に作成されたジェスチャまたは記号を正確に把握するために学習している間、エンド・ユーザは、身振り言語または記号言語および記述方法を学習しなければならない。コンピュータ・プログラム１１０によるジェスチャ認識のこの双方向（対話式）学習プロセスは、音声認識技術で現在用いられているものと類似している。本発明と一致するある実施形態では、入力された記号をコンピュータ・プログラム１１０が不正確に識別したことが放射線医に分かった場合、放射線医は「学習アイコン」をクリックする。するとコンピュータ・プログラム１１０は、望みの記号を３回描くことをエンド・ユーザに求め、その記号を対応するテキストにマッピングすることをエンド・ユーザに求める。
【０１０９】
本発明と一致するある実施形態では、コンピュータ・プログラム１１０は、各個別のジェスチャまたは記号が各放射線医により使用される頻度をも追跡し、最もよく使用されるジェスチャまたは記号の統計プロフィールを作成する。合わせて、これは、コンピュータ・プログラム１１０がジェスチャ認識の精度を高めることを可能にする。
エンド・ユーザ教育は、例えば、よく使用されるジェスチャまたは記号およびユーザ独自の記号の作成法を放射線医に教示するオンライン学習を含む、いくつかの手段を通じて提供されることができる。また、コンピュータ・プログラム１１０は、スタイラス１０４を用いて望みのジェスチャまたは記号を画像に「タッチ・アンド・ドラッグする」ことにより使用できる標準化されたジェスチャまたは記号（対応するテキスト付き）のライブラリを提供することもできる。すべての概念がジェスチャ単体により記述できるわけではないので、これらの場合のために、代替入力（音声またはプルダウン・メニュー）が報告システム１００に含まれることができる。
【０１１０】
本発明の上記実施形態が、本発明の原理の明確な理解のために記載された単に考え得る実施の具体例にすぎないことが強調される。変形および変更は、本発明の精神および原理から逸脱することなく本発明の上記実施形態に合わせて行うことができる。かかる変更および変形はすべて、本願においては本発明の適用範囲内に含まれ、かつ、以下の特許請求の範囲により保護されることが意図される。
【図面の簡単な説明】
【０１１１】
【図１】本発明と一致するひとつの実施形態に従ったジェスチャ・ベース報告方法およびシステムを示す概略図である。
【図２】本発明と一致するひとつの実施形態に従ったジェスチャ・ベース報告方法を示すフローチャートである。
【図３】ヒトの胸部コンピュータ断層撮影（ＣＴ）を表したものであり、本発明のジェスチャ・ベース報告方法およびシステムと一致するひとつの実施形態に従って画像上にジェスチャおよび修飾子を示している。
【図４】本発明のジェスチャ・ベース報告方法およびシステムの双方向電子診察実施形態を示すフローチャートである。
【技術分野】
【０００１】
関連出願の相互参照表示
本願は、２００４年７月９日に出願された米国特許仮出願第６０／５８６，４１５号の優先権を主張し、同仮出願の内容は参照により全体として本願に組み込まれるものとする。
本発明は、画像報告方法およびシステムに関するものであり、より具体的には、放射線医学環境において所見を報告するためのジェスチャ・ベース、記号ベースまたはアイコン・ベースの方法およびシステムに関するものである。
【背景技術】
【０００２】
医学分野、特に放射線医学で使用される画像報告方法およびシステムでは、放射線医がレントゲン（Ｘ線）・フィルムにワックス・クレヨンで注意書きまたは印付けを行うことが必要とされており、かかる印は、消去可能で一貫性がなく、再現不可能である。しかしながら、タイピストおよび放射線医がこの手法を用いてレポートを生成するには日数を要し、大量のレポートが生成される場合、この手法は時宜に適ったものでも正確なものでもなかった。
【０００３】
従来使用されている別の画像報告方法では、放射線医が、医用画像内に含まれる所見を精査して解釈した後、レポートをマイクロホンに吹き込むことが必要とされる。その後、口述レポートは、タイピストにより筆記されるか、またはコンピュータにより音声認識ソフトウェアを用いて筆記される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
いずれの取り組み方法でも入力は音声で生成され、その後、文字レポートに変換される。しかしながら、この取り組み方法の短所は、様々な発話パターンの登録における問題により潜在的に精度に欠ける点である。
さらに従来の報告方策では、ユーザは画像のナビゲーション、処理、操作および報告のような付随的タスクを（最も一般的には、入力デバイスとしてコンピュータ・キーボードまたはマウスを用いて）行うために画像から注意を逸らす必要がある。
【０００５】
よって、時宜に適った正確なやり方でこれら全てのタスクを行い、効率目的のためにこれらのタスクのいずれかを組み合わせることのできる方法およびシステムが望まれている。
【課題を解決するための手段】
【０００６】
本発明は、ジェスチャ・ベース報告システムおよび方法に関するものであり、高解像度画像表示デバイス付き、かつ、プログラム可能スタイラスまたは電子ペンである入力デバイス付きのクライアント・コンピュータまたはワークステーションを含み、レポート内に含まれる個々の概念（すなわち放射線所見）は一連の記号、アイコンまたはジェスチャにより定義され、かかる記号、アイコンまたはジェスチャは、プログラム可能スタイラスを用いて放射線医により、画像表示デバイスに表示された画像の上に直接描かれる。
【０００７】
チェックマーク、点などのような記号は、ある特定の情報を意味するようにあらかじめ決められたジェスチャまたは記号である。使用されるジェスチャまたは記号は、エンド・ユーザ人口に対して広範な訴求力を有する様々な性質の記号の秩序を利用する。同時に、それらは、画像研究を解釈するために様々な異なる特定の状況、モダリティ、病理などに適用されることができる。
【０００８】
従って、従来の文字（テキスト）レポート（画像と文字レポートとが異質のもので互いに分離している）と異なり、画像内に含まれる情報内容とジェスチャ・ベース・レポートとは不可分である。所見または概念（すなわち、放射線適用における拡張型心筋症）を画像からテキストに翻訳する代わりに、概念が直接、画像内に保持される。これにより、画像からテキストへの翻訳プロセスにおいて生じるおそれの高い潜在的な書き誤りおよび認識誤りが回避される。
【０００９】
画像データ、所見およびレポートをまとめてひとつのデータセットにすることにより、本発明は、特化した意思決定支援ツールを直接、画像およびレポートに同時に組み込むための独自の能力を提供する。普遍的に受け入れられる標準化された身振り（ジェスチャ）言語を用いることで潜在的な誤解は軽減され、言語障壁はもはや問題にならなくなる。
ジェスチャ・ベース報告を実行するコンピュータ・プログラムは、ジェスチャ付きで画像を記憶するという機能を果たすことができる。さらに、特定の所見および概念へのマッピングに使用される身振り言語は、ジェスチャ認識ソフトウェア・プログラムにより認識され、これらの所見および概念はジェスチャを用いたレポートに翻訳できる。さらにまた、画像のタイプも当該コンピュータ・プログラムにより認識されるであろうし、当該コンピュータ・プログラムは画像を生成し、選択された画像の適切な部位に記号を配置することができるであろう。このように本発明は双方向的に機能する。
【００１０】
本発明の双方向性により、従来の散文レポートは、散文を記号に変換するための自然言語処理（ＮＬＰ）を用いてジェスチャ・レポートに変換されることができる。これは、過去の散文レポートをジェスチャ・ベース・レポートに変換するために遡及的に行われることもできるはずであり、異なるユーザ間のレポートの、標準化された報告フォーマットでの直接比較を提供する。
【００１１】
本発明と一致する別の実施形態では、詳細な記述的情報は（記述された所見に対し）、高度に構築され組織化されたやり方で、追加の修飾語および記述子を身振り言語に組み込むことにより提供できる。これらの修飾子および記述子はユーザに、あらかじめ定義され限定された用語で自身の分析を識別して定量化することを強い、記述される意義および正確な所見に関しては美文調で冗長で不明瞭な場合のある従来の散文フォーマットの不確かさを事前に除去する。
【００１２】
ジェスチャ・ベース報告方法およびシステムの報告フォーマットは、従来の文字レポートを補うものであり、より大きい融通性をユーザに付加することができる。このように、生成される様々なレポートは、システムのユーザにより選択的にオンまたはオフされることができ、次のものを含むことができる。１）本発明に従って特定の所見および概念へマッピングする、画像に埋め込まれた単体のジェスチャまたは記号、２）構築された文字フォーマットによる所見（および各所見に関連する修飾語）の項目別リスト、および３）自然言語処理（ＮＬＰ）ツールを用いて所見が散文フォーマットに翻訳された従来の文字レポート。
【００１３】
ジェスチャ・ベース・レポートおよびジェスチャ埋め込み画像または「キー画像」は、その後、あらかじめ定義された通信プロトコルを用いて参照臨床医に自動的にルーティングされることができる。
従来の報告方法と比べた場合のジェスチャ・ベース報告利用の利点には、ユーザがターゲット画像から決して目を離さず、それにより、焦点となる対象との継続的接触を維持するという重要な利点が含まれる。これは、視標追跡、ワークフローおよび診断精度に関していくつかの理論的利点を提供する。
【００１４】
本発明と一致するある実施形態では、本発明はプログラム可能スタイラスのような入力デバイスを利用することができ、入力とナビゲーションとの組み合わせデバイスとして同スタイラスを用いて画像のナビゲーション、処理、操作および報告のような付随的タスクを行うことができる。このプログラム可能スタイラスは、画像の上に記号を描くために使用できるだけでなく、従来のコンピュータ・キーボードまたはマウスによる方法よりも優れた画像の表示、ナビゲーション、解釈および報告のプロセスに固有の、その他のタスクを遂行することもできる。これにより、画像のナビゲーションおよび表示は、ユーザが画像から決して目を離すことのない連続プロセスとなることができ、生産性およびワークフローを高め、また画像認知プロセスを改善する。
【００１５】
標準化された身振り言語を用いて構築されたレポートが作成されると、調査目的のためにユーザが照会することのできる参照可能なデータベースの作成が可能となる。これにより、業務管理、臨床調査、品質保証または利用審査のための価値あるリソースがつくり出される。
本発明と一致する別の実施形態では対話式（インタラクティブ）診察が行われることができ、エンド・ユーザは、組み合わされた画像／レポートが２人のユーザ間の電子診察ツールになるように、埋め込まれたジェスチャまたは記号を「オンおよびオフする」ための能力を有する。これは、ユーザが画像（および画像内に含まれる所見）からレポートに移動しなければならない（画像とレポートとは分断され互いに分離している）現行の方法を改善する。
【００１６】
本発明と一致する別の実施形態では、ユーザたちが分析結果に関して矛盾した場合、画像解釈をより正確に定義するためにニューラル・ネットワークを使用できる。
最終的に、ジェスチャ・ベース報告では、レポートの様々なオーバーレイまたは層が提供でき、かかるレポートは、経時的に異なる所見または所見の異なる局面を示すことができ、それにより、１枚の画像で出来るだけ多くの情報をユーザに提供する。
【００１７】
このように、本発明と一致するいくつかの特徴は、下記の発明の詳細な説明がよりよく理解され、かつ、当該技術に対するこの寄与がより正しく評価されるように略述されてきた。当然、本発明と一致する追加の特徴も存在し、かかる特徴は下記に説明され、本願の末尾に添付された特許請求の範囲の主題を形成する。
この点で、本発明と一致する少なくともひとつの実施形態について詳しく説明する前に、本発明がその適用において、下記の説明に記載されたかまたは図面に示された構造の詳細および構成部品の構成に限定されないことが理解されるべきである。本発明と一致する方法および装置は、その他の実施形態が可能であり、様々な方法で実施され実行されることができる。また、本願で用いられる術語および用語が、以下に記載された要約と同様に説明目的のためのもので、限定的なものと見なされないことが理解されるべきである。
【００１８】
このようなものとして、当業者は、本開示が基づいている概念が、本発明のいくつかの目的を遂行するためのその他の構造、方法およびシステムの設計基盤として容易に利用できることを正しく理解するはずである。従って、本発明と一致する方法および装置の精神および適用範囲から、かかる均等の構造物が外れていない限りにおいて、特許請求の範囲がそれらの構造物を含むと見なされるということが重要である。
【発明を実施するための最良の形態】
【００１９】
本発明は、画像ベース・レポートの作成に対する代替アプローチに関するものである。このジェスチャ・ベース（または記号ベースもしくはアイコン・ベース）報告の適用は、医学（すなわち放射線医学）、造園、建築などの分野のような、正確で記述的な「速記法」から利益を得ると思われるあらゆるタイプの画像報告に利用できる。
しかしながら、医学（すなわち放射線医学）への適用は、以下で検討される例示的な実施形態である。例示的な放射線医学適用では、本発明は、ジェスチャ埋め込み画像レポートのデータベースを作成するために、コンピュータで実施される方法およびコンピュータ・システム機能を含む。このジェスチャ埋め込み画像レポートからは、文字レポートを生成でき、データ・マイニングおよびその他の分析を行うことができる。
【００２０】
本発明の方法およびシステムは、デジタル画像の分析向けものとして説明されるが、本発明は、従来のレントゲン・フィルム、写真または紙ベース画像のようなアナログ画像と併せた使用にも適合させることができる。
医学（放射線医学）適用の例示的な実施形態では、本発明の報告システム１００（図１参照）は、病院情報システム（ＨＩＳ）１０、放射線情報システム（ＲＩＳ）２０、および画像保管通信システム（ＰＡＣＳ）３０のような既存の情報システムとのインタフェースを有し、かつ、医用デジタル画像および通信（ＤＩＣＯＭ）規格、ＤＩＣＯＭ構築報告（ＳＲ）規格、または北米放射線学会の医療連携のための情報統合化（ＩＨＥ）イニシアチブのような関連規格に適合するようにも設計される。
【００２１】
よって、本発明のジェスチャ・ベース報告システム１００と、ＨＩＳ１０、ＲＩＳ２０およびＰＡＣＳ３０などのような情報システムとの間の双方向通信は、報告システム１００がこれらのシステムから情報を検索し、その中の情報を更新し、報告システム１００により生成された所望のレポートを提供することを可能にする。
本発明の報告システム１００（図１参照）には、ＰＡＣＳ３０とのインタフェースを有するかもしくは有さない、またはＰＡＣＳ３０と統合されているかもしくはされていないＰＣのようなクライアント・コンピュータ１０１が含まれ、また、高解像度のデジタル画像を例えば２Ｄまたは３Ｄで提供することのできる画像表示デバイス１０２が含まれる。しかしながら、画像解像度を十分に高くできる場合、クライアントは、ユーザにより操作されてクライアントから遠隔でプログラムにアクセスするモバイル・コンピューティング・デバイスまたはモバイル・データ・オーガナイザ（ＰＤＡ）のような携帯端末であることができる（図２参照）。
【００２２】
本発明と一致する方法およびシステムは、入力手段１０４（図１参照）、またはホット・クリッカブルアイコンなどが含まれるユーザ選択手段、または、クライアント１０１に設けられたインタフェースのメニュー、ダイアログボックスもしくはロールダウン・ウィンドウの選択ボタンを設けることにより実行され、ユーザは、プログラム可能スタイラス、キーボード、マウス、音声処理手段、レーザー・ポインター、タッチ・スクリーンまたはその他の入力手段１０４を通じてコマンドを入力することができる。
【００２３】
入力手段または選択手段１０４は、専用のハードウェアにより構成されるか、またはその機能は、選択ウィンドウを表示するための表示装置１０２および例えば選択を入力するためのスタイラスもしくはキーボードを含むクライアント・プロセッサ１０６で実行されるコード指示により実行されることができる。
しかしながら、ユーザによるジェスチャ、記号またはアイコンの入力は、望ましくは多機能プログラム可能スタイラス１０４を用いて遂行され、同スタイラスは、記号を画像の上に描くために使用できるだけでなく、従来のコンピュータ・キーボードまたはマウスを用いた方法よりも優れた画像の表示、ナビゲーション、解釈および報告のプロセスに固有の、その他のタスクを遂行することもできる（ＰＡＣＳ内と電子カルテ（ＥＭＲ）内との両方において）。
【００２４】
クライアント１０１には多くの場合、クライアント・データ処理手段としてプロセッサ１０６が含まれ、同プロセッサには中央処置装置（ＣＰＵ）１０７または並列プロセッサおよび入力／出力（Ｉ／Ｏ）インタフェース１０８が含まれ、メモリ１０９にはデータ構造１１１を有するプログラム１１０が入っており、これら全てはバス１１２により接続される。さらに、クライアント１０１には入力デバイスまたは入力手段１０４、ディスプレイ１０２も含まれ、また、ひとつ以上の二次記憶デバイス１１３も含まれてもよい。バス１１２は、クライアント１０１の内側にあってもよく、キーボードもしくは入力デバイス１０４のアダプタを含むか、または外部接続を含むことができる。
【００２５】
本発明用の画像表示デバイス１０２は高解像度のタッチ・スクリーン・コンピュータ・モニタであり、これにより、レントゲン写真のような画像が判読可能となり、ジェスチャまたは記号は容易かつ正確に適用されるようになる。また画像表示デバイス１０２は、タブレット、ポケットＰＣおよびプラズマ・スクリーンを含むその他のタッチ感知式デバイスでもよい。タッチ・スクリーンは、本発明のジェスチャまたは記号を画像表示デバイス１０２の上に直接描くために使用されるスタイラス１０４の、入力を圧力感知してそれに応答する。
【００２６】
加えて、高解像度ゴーグルが、外部コンピュータの物理的制約なしに画像を精査できるようにエンド・ユーザに提供される場合がある。例えば、脳腫瘍の放射線断面画像を３Ｄフォーマットで表示することに特化した高解像度ゴーグルを着用した外科医は、手術中のガイドとして役立てるために画像上にジェスチャを記入し、問題の病理を強調（ハイライト）表示して関連特徴（すなわち解剖学的局在性、サイズなど）を報告することができる。このゴーグルは画像誘導手術に使用され、ジェスチャ・ベース報告は、手術の過程において関連所見に関する診察を提供するために役立つことになる。
【００２７】
別の例では内科医が、埋め込まれたジェスチャまたは記号付きの画像を精査するために、病院外でこの特化したゴーグルを使用することができる。画像は無線技術を用いてダウンロードされ、ゴーグルに表示されることができ、それにより、画像表示のためのコンピュータ・スクリーンは不要になる。
クライアント・システム１０１に関しては、グラフィック・ユーザ・インタフェースが、既存のコンピュータ・オペレーティング・システムで作動するように書かれたクライアント・アプリケーションであり、このクライアント・アプリケーションは、その他のパーソナル・コンピュータ（ＰＣ）ソフトウェア、パーソナル・デジタル・アシスタント（ＰＤＡ）および携帯電話、並びに、スクリーンまたはビジュアル・コンポーネントおよび適切な記憶能力を有するその他のデジタル・デバイスに移植（ポート）できることに注意されたい。
【００２８】
クライアント１０１のプロセッサ１０６は内部にあっても外部にあってもよく、既定の動作に適したプログラム１１０を実行する。プロセッサ１０６は、既定の動作を行うためのプログラム１１０およびデータ構造１１１を含むコード指示の、少なくともひとつのシーケンスを記憶するメモリ１０９にアクセスできる。メモリ１０９およびプログラム１１０はクライアント１０１の内部または外部に配置できる。
【００２９】
場合によっては本発明のシステムが、ある機能を果たすものとして説明されることに注意されたい。しかしながら、当業者は、プログラム１１０がシステム自体のエンティティというよりもむしろ機能を果たしているものであることを知っているであろう。
本発明のジェスチャ・ベース報告方法およびシステムを実行するプログラム１１０は、所望の動作を行うための別個のプログラム・コードを含むことができ、または、ある動作の下位動作を行う複数のモジュールであってもよく、もしくはその動作を提供する大型プログラム１１０の単一モジュールの一部であってもよい。
【００３０】
プロセッサ１０６は、複数の動作に対応する複数のプログラム１１０へのアクセスおよび／またはかかるプログラムを実行するために適したものであることができる。プログラム１１０により提供される動作は、例えば、ユーザ・インタフェースのサポート、データ・マイニング機能、Ｅメール・アプリケーションの実行などである。
データ構造１１１には複数のエントリが含まれてもよく、各エントリには、例えばジェスチャ記号のデータベースもしくはライブラリまたは画像ファイルを記憶する少なくとも第１の記憶領域が含まれる。
【００３１】
記憶デバイス１１３は、特定の動作を提供しているとき、画像ファイル、文字（テキスト）ファイル、データ・ファイル、音声、ビデオ・ファイルなどのような少なくともひとつのデータ・ファイルを記憶する。記憶手段１１３としてのデータ記憶デバイスは、例えばネットワークを介して接続される分散データベースを含め、例えばデータベースであってもよい。このデータベースは、コンピュータ検索可能データベースであってもよく、リレーショナル・データベースであってもよい。記憶デバイスは直接的に、またはＬＡＮまたはＷＡＮのような通信ネットワークを通じて、サーバ１２０および／またはクライアント１０１に接続される。内部記憶デバイス１１３または外部記憶デバイス１１４はオプションであり、データも、ネットワーク経由で受信され直接処理されてもよい。
【００３２】
本発明と一致する方法およびシステムでは、クライアント１０１は、アドレスまたはポートにより指定される通信エンド・ポートを用いて、クライアント通信手段としての通信リンク１１６経由で、管理システム、料金請求システムまたはその他のシステムを含むその他のクライアント１０１またはサーバ１２０に接続されてもよく、通信リンク１１６は、移動体通信リンク、切り替え回路通信リンクを含むか、またはＬＡＮ、ＷＡＮ、インターネットもしくはそれらの組み合わせのようなデータ処理デバイスのネットワークを伴うことができる。特に通信リンクは、Ｅメール・システム、ファックス、電話、ページャおよび携帯電話のような無線通信システム、無線ＰＤＡ並びにその他の通信システムであってもよい。
【００３３】
通信リンク１１６は、例えばサーバ１２０との通信を確立して維持するために、様々な通信プロトコルを実行できるアダプタ装置であってもよい。通信リンク１１６は、特化したハードウェアにより構成されてもよく、または対応するプログラム指示を実行する一般ＣＰＵにより実現される場合がある。通信リンク１１６は少なくとも部分的には、対応するプログラム指示を実行するプロセッサ１０６に含まれてもよい。
【００３４】
本発明に一致するある実施形態では、サーバ１２０が非分散環境において使用される場合、サーバ１２０は、ＣＰＵ１２２またはサーバのデータ処理手段である並列プロセッサおよびＩ／Ｏインタフェース１２３を有するプロセッサ１２１を含むが、ひとつまたは複数の機械に置かれた複数の個別プロセッサ１２１を含む分散ＣＰＵ１２２によっても構成されることができる。サーバ１２０のプロセッサ１２１は一般的なデータ処理装置で構わないが、大型リソース（すなわち、高処理能力および大量データ記憶用大型メモリ）を有するデータ処理装置であることが望ましい。
【００３５】
サーバ１２０には、データ構造１２６を有するプログラム１２５の入ったメモリ１２４も含まれ、これら全てはバス１２７により接続されている。サーバ１２０が分散システムにより構成される場合、バス１２７または類似の接続線は外部接続からなることもできる。サーバ・プロセッサ１２１は、様々な動作をユーザに提供するためのプログラム、望ましくは多数のそういったプログラムを記憶するための記憶デバイス１２８にアクセスできる。
【００３６】
データ構造１２６は複数のエントリを含む場合があり、各エントリは、例えば画像ファイルを記憶する少なくとも第１の記憶領域を含むが、当業者なら正しく理解するであろう通り、その他の記憶情報に関連する実施形態を含め、代替実施形態を有することもできる。
サーバ１２０は単一の装置（ユニット）であってもよく、または、複数のサーバ１２０もしくはデータ処理装置の分散システムであってもよく、互いの直接接続また間接接続を通して複数のユーザにより共有されてもよい。サーバ１２０は、所望の動作のために少なくともひとつのサーバ・プログラムを実行し、かかるプログラムは、クライアント１０１から要求を出す際に必要となる。
【００３７】
サーバ１２０からの通信リンク１２９は、複数のクライアントとの通信に適合するものであることが望ましい。
本発明は、クライアントおよびサーバ環境において提供されるソフトウェア内で実施されるか、または、いくつかのクライアント・システム間のコンピュータ化されたネットワーク上の分散システム内で実施される。よって、本発明では、個別の動作は、クライアントまたはサーバにおいてネットワークの縁端もしくは中心またはその両方で行われる。従って、クライアントもしくはサーバまたはその両方において、所望の動作／サービスに対応するプログラムが利用可能である。
【００３８】
クライアント‐サーバ環境では、少なくとも１個のクライアントおよび少なくとも１個のサーバが各々、通信リンク１１６、１２９を通じて、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）もしくはインターネットまたはそれらの組み合わせのようなネットワーク２２０に接続される。さらに、ＨＩＳ１０およびＲＩＳ２０並びにＰＡＣＳ３０の諸システム（分離している場合）はクライアント１０１に直接接続するものとして示されているにもかかわらず、これらのシステムが通信リンクを介してＬＡＮ、ＷＡＮもしくはインターネットまたはそれらの組み合わせを通じてクライアントに接続できることが分かる。ユーザとの相互作用は、暗号化および非暗号化インターネット接続性を通じたものであることができる。よって、本発明と一致する方法のステップは、クライアントもしくはサーバまたはその両方において実行され、サーバ（使用される場合）は、ブラウザ・アプリケーション等を用いて、例えばインターネットを通じて、クライアントによりアクセス可能である。
【００３９】
クライアント・システム１０１には、無線サービス接続を介する通信が含まれてもよい。サーバ・システム１２０には、例えば音声認識に接続する無線サーバを介して、ネットワーク／セキュリティ機能との通信が含まれてもよい。しかしながら、当業者は、その他のシステムが含まれてもよいことが分かるであろう。
本発明と一致する別の実施形態では、クライアント・システムは基本システムでもよく、サーバは、本発明のソフトウェア・プラットフォームをサポートするために必要なすべてのコンポーネントを含むことができる。さらに本クライアント‐サーバ・システムは、クライアント・システムがサーバ・システムから独立して動作できるが、サーバ・システムが任意接続できるように構成されることができる。前者の状況では、代わりに追加モジュールがクライアント・システムに接続される。本発明と一致する別の実施形態では、クライアント・システムおよびサーバ・システムは、２つのシステムに分離されるよりもむしろひとつのシステム内に配置されることができる。
【００４０】
上記の物理的構造は、上記ではクライアント側コンポーネントまたはサーバ側コンポーネントとして説明されたが、当業者は、物理的構造の上記コンポーネントがクライアント内もしくはサーバ内または分散環境に置かれ得ることが分かるであろう。
さらに、上記の機能および処理動作が専用ハードウェアにより実現されてもよく、または、データ処理装置で実行されるコード指示を含むプログラムとして実現されてもよいが、上記動作シーケンスの部分がハードウェアにおいて実行される一方で、上記処理動作の残り部分がソフトウェアを用いて実行されることがさらに可能である。
【００４１】
基盤技術により様々なその他のサイトへの複製が可能となる。新たな各サイトは、壊滅的故障の場合に、その他のサーバ・システムがアプリケーションを実行し続けて、システムが必要に応じて領域的にアプリケーションの負荷バランシングを行うことができるように近隣サイトとの「状態」を維持することができる。
さらに、本発明のある実施の諸側面はメモリに記憶されるものとして説明されるが、当業者は、本発明と一致する方法およびシステムの全部または一部が、ハード・ディスク、フロッピー（登録商標）・ディスク、ＣＤ‐ＲＯＭ、インターネットのようなネットワークから受信される搬送波、または現在知られているかもしくは後に開発されるその他の形態のＲＯＭもしくはＲＡＭのような２次記憶デバイスのようなその他のコンピュータ可読媒体に記憶されるか、またはかかる媒体から読み込まれてもよいことを正しく理解するであろう。さらに、システムの特定コンポーネントについて説明されたが、当業者は、本発明と一致する方法およびシステムと併せて使用するために適したシステムが、追加コンポーネントまたは異なるコンポーネントを含んでもよいことを理解するであろう。
【００４２】
これに応じて、本発明と一致するある実施形態では、例示的な放射線医学の方法およびシステムで使用されるジェスチャ・ベース報告システム１００および方法には、画像表示デバイス１０２およびプログラム可能スタイラスである入力デバイス１０４付きのクライアント・コンピュータ１０１が含まれる。プログラム可能スタイラス１０４は入力手段として使用され、画像上に記号を描くために使用できるだけでなく、本発明の画像の表示、ナビゲーション、解釈および報告のプロセスに固有のその他のタスクを遂行することもできる。
【００４３】
このように、放射線医は、スタンド・アロン型ＰＣ、または、放射線分野においてＰＡＣＳワークステーション３０として知られるクライアント・ワークステーションの一部に、もしくは同ワークステーションに接続されたものでありうるクライアント・コンピュータ・システム１０１のスイッチを入れる。この例示的な実施形態では、クライアント・コンピュータ１０１はＰＡＣＳ３０であり、画像表示デバイス１０２、コンピュータ・メモリ１０９およびプログラム１１０などに関しては、本発明の一部または全部では別個に設けられる代わりにＰＡＣＳ３０内に収容される。
【００４４】
よって、クライアント１０１がいったん稼働すると、ユーザはＰＡＣＳシステム３０にログオンする。
すると、ステップ２００においてコンピュータ・プログラム１１０はユーザにメニューを提示し、ステップ２０１において放射線医は、提示されたメニューから、分析に利用可能な画像ファイルをリストするワークリスト・フォルダを選択することができ、プログラム１１０はそのフォルダを開く。
【００４５】
ステップ２０２において、放射線医は選択を行うことができ、コンピュータ・プログラム１１０は、患者の放射線検査に対応するＰＡＣＳ３０からの画像データを含む（そのようなもに限定されるわけではない）、ステップ２０１で選択された画像研究（すなわち患者データ）と、検査室データ、電子カルテ（ＥＭＲ）からの病理レポート、患者人口統計および料金請求を含む（そのようなもに限定されるわけではない）、データ記憶１１３からの追加的情報とをディスプレイ１０２に取り込む（ロードする）。ＰＡＣＳ３０がＤＩＣＯＭのような既存の規格に従って情報を記憶することに注意すること。ＰＡＣＳ３０からのデータは、画像表示デバイス１０２に表示するためにクライアント・コンピュータ１０１を介してアクセスできる場合には、例えば検査画像記憶デバイス１１４、１２８に記憶される。あるいは、報告システム１００は、例えば中間記憶デバイス１１４または１２８を必要とせず、記憶１１３内のＰＡＣＳ画像に直接アクセスすることができる。
【００４６】
当該患者に関連する全ての未読み込み（または読み込み済み）検査ファイルを含め、選択された画像研究はコンピュータ・プログラム１１０によりクライアント１０１に表示される。画像研究は、表示される前にＤＩＣＯＭシリーズによるコンピュータ・プログラム１１０により体系づけられる。
画像研究が少数の画像しか含まない場合（放射線撮影またはマンモグラフィ）、放射線医は静態的に画像を精査する。画像研究が多数の画像を含む場合（ＣＴ、ＭＲＩ）、画像は、映画フォーマット（画像が逐次的に素早くスクロール・アップおよびスクロール・ダウンする映画に類似した形式）を用いて動態的に精査される。
【００４７】
ステップ２０３において放射線医は、望みの画像表示フォーマット（静態または動態）を選択し、画像の精査を開始する。放射線医が関連所見を観察するときには、対象とされる特定の画像が（スタイラス１０４を用いて）指し示され、適切なジェスチャまたは記号を用いて「キー画像」として表示される（図３参照）。放射線医は「埋め込み」画像を作成するために、確立された身振り（ジェスチャ）言語に基づき、あらかじめ定義された記号を記録された所見の上に描く。
【００４８】
チェックマーク、点などのようなジェスチャまたは記号（表１参照）は、特定のタイプの病理を意味するようにあらかじめ決められたジェスチャまたは記号である。使用されるジェスチャまたは記号は、エンド・ユーザである異種の人々（すなわち放射線医）に対して広範な訴求力を有する様々な性質の記号の秩序を利用する。同時に、それらは、すべての画像モダリティ、解剖学諸分野、および、放射線医が画像研究において解釈することを求められる様々なタイプの病理に適用できる。
【００４９】
例えば、表１に示された通り、チェックマークは「正常な」画像を示すために、脊柱の長軸を通る「Ｓ」字形の線は脊柱側彎症を示すために、三角形を形成する３つの点は気腔疾病を示すために、３本の水平な止め線は間質性疾患を示すために、などのように使用できる。しかしながら、様々な異なるジェスチャ、記号またはアイコンが異なる症状および疾患を識別するために使用でき、これらのジェスチャまたは記号が、放射線医にあらかじめテキストで教示されるか、またはクライアント・コンピュータ１０１のチュートリアルで提供され得ることは当業者には明白であろう。
【００５０】
【表１】
【００５１】
放射線医が主要な所見を定義した後、表２にその例が示された事前定義済みの記号およびアイコンを同様に使用して、放射線医によりスタイラス１０４を用いて修飾子が画像に記録されてもよい。修飾語および記述子は、放射線医に、事前定義され限定された用語で自身の分析を識別して定量化することを強い、記述される所見の臨床的意義および正確な病因に関しては、美文調で冗長で不明瞭な場合のある従来の散文フォーマットの不確かさを事前に除去する。
【００５２】
例えば、放射線医が肺結節の解剖学的位置を指定したい場合、放射線医は、指定された「解剖」のアイコンを例えば「クリック」し、スタイラス１０４を用いて対応する３次元解剖地図上に対象とする部位を局在化することができる。これらの修飾用のジェスチャまたは記号は、サイズ、形態、臨床学的意義およびに診断に関する追加情報（表２および図３参照）を提供するが、当業者は、示されているもの以外のその他の記号がこれらの用語およびその他の用語のために使用できることが分かるであろう。
【００５３】
【表２】
【００５４】
画像の精査および解釈が完了した後、放射線医は、自身のイニシャルを（スタイラス１０４を用いて）画像上に、例えばキー画像の１枚の右下角に電子的に付すことにより、ジェスチャ埋め込み画像に署名することができる。
ジェスチャおよび修飾子、またはジェスチャもしくは修飾子をその上に記録された画像は、ステップ２０４においてクライアント・コンピュータ１０１に保存されることができる。
【００５５】
「保存」を指示された後、コンピュータ・プログラム１１０はステップ２０５において、画像に記録されたジェスチャまたは修飾子と、そのジェスチャまたは修飾子の相関性に関するテキストを提供する例えばジェスチャのデータベース１１３、１１４または１２８とを相互に関連させる。プログラム１１０はその後、ステップ２０６において、ジェスチャまたは修飾子のすぐ隣に、ジェスチャまたは修飾子と関連するテキストを表示するようにディスプレイ１０４を更新する。コンピュータ・プログラム１１０はステップ２０７において、入力されたジェスチャまたは記号に対応するテキストをジェスチャの位置で明滅させることにより、保存されるべきジェスチャまたは修飾子の確認および検証を提示する。
【００５６】
コンピュータ・プログラムが、入力されたジェスチャまたは記号の解釈を誤り、ジェスチャまたは記号に関するテキストが正しくない場合、放射線医は、ジェスチャまたは記号の上に（「削除」のために）例えば「Ｘ」を付け、コンピュータ・プログラム１１０はステップ２０８において、画像に関するテキストおよびジェスチャもしくは記号、またはテキストもしくはジェスチャもしくは記号、並びに、そのジェスチャに関連して対応するレポートを消去または削除する。
【００５７】
その後、放射線医は、ステップ２０４の通りに、ジェスチャ・ベース記号を再入力し、そのプロセスを繰り返し、正しい対応するテキストを視覚化する時にジェスチャを最終的に確認する。コンピュータ・プログラム１１０はステップ２０９において、テキストを正しいものとして確認し、その後、ステップ２１０においてジェスチャ埋め込み画像を保存する。
【００５８】
「保存済み」の注釈付き「キー画像」は、包括的な画像データセットに加えて、例えばデータベースまたはアーカイブ１１３、１１４もしくは１２８にも別個に記憶される。埋め込みジェスチャ・ベース記号付きのこれらの「キー画像」は、ステップ２１１において参照臨床医に直接（Ｅメールなどのような事前定義された通信プロトコルに基づき）、電子的に送信されることもできる。
【００５９】
画像／レポートがいったんサインオフされ保存されると、コンピュータ・プログラム１１０は放射線ワークリスト・フォルダを持ち出し、放射線医は新しい画像ファイルをクリックして上記のプロセスを繰り返すことができる。
本発明と一致する別の実施形態では、放射線医が過去の比較研究と関係していて、以前報告されたいくつかの所見がそのまま残っていることに気づいた場合、放射線医は以前の画像を引き出し、その後、スタイラス１０４を用いて適切なジェスチャもしくは記号を改めて描くか、または新たな研究の上まで当該ジェスチャをドラッグすることにより、先の研究からのジェスチャもしくは記号を再伝搬する。このようにコンピュータ・プログラム１１０は、言語処理における「コピー」または「カット・アンド・ペースト」機能と同様のやり方で、ある画像から別の画像へのジェスチャの移動を可能にする。
【００６０】
本発明と一致する別の実施形態では、解釈プロセスを容易にするために放射線医は、対応するアイコンをスタイラス１０４でクリックすることにより自動意思決定支援を利用することができる。自動意思決定支援の例には、経時的サブトラクション法（経時的変化に注目する）、コンピュータ支援検出（ＣＡＤ）（事前定義された病理を検出する）、コンピュータ生成測定および鑑別診断（放射線所見に応じて潜在的病理のリストを提供する）が含まれる。これらの自動意思決定支援システムは、自動意思決定支援システムがどのように機能するかに応じて、放射線医によりジェスチャで画像に記録されることのできる所見、または自動的にジェスチャに翻訳されることのできる所見を提供することができ、本発明のジェスチャ・ベース報告方法およびシステムに統合されることができる。
【００６１】
例えば、肺癌の存在について胸部ＣＴを解釈する放射線医は、解釈プロセスを支援するためにコンピュータ支援検出（ＣＡＤ）ソフトウェアを利用することができる。本発明と一致するある実施形態では、ＣＡＤ所見は、コンピュータ・プログラム１１０によりジェスチャ・ベース報告記号とは異なる色／フォーマットを用いて画像上に重ね合わされることができる。これにより、臨床医または放射線医は自身の裁量でジェスチャ・ベース報告およびＣＡＤを実質的に「オンおよびオフする」ことができるようになる。画像は、これらの「データ層」付きまたは無しで見ることができ、データセット全体は、プログラム１１０により一括して永久的にアーカイブ／記憶される。
【００６２】
ジェスチャ・ベース報告方法およびシステムからレポートを生成する際には、デジタル・インク技術（すなわち、電子的に記号を作成しそれらの記号をテキストに翻訳する技術）、および、特定の放射線所見および概念へのマッピングに使用されたジェスチャまたは記号を項目別文字レポートに翻訳することに特化した認識ソフトウェアが提供される。この認識兼レポート生成ソフトウェアを含むプログラム１１０は、コンピュータ・プログラム１１０内に備えられ、本発明と一致するある実施形態では、（医用画像と医用レポートとの両方の）画像の表示、分散および記憶を担当するＰＡＣＳと統合されている可能性がある。自然言語処理（ＮＬＰ）は、ジェスチャおよび項目別テキストを標準的散文フォーマットに変換するための知能を備えている。
【００６３】
ジェスチャ・ベース記号がいったん画像に埋め込まれると、レポートは要望に応じて、少なくとも３つのフォーマットで生成されることができる。本発明に一致するある実施形態では、ジェスチャ・ベース報告フォーマットを用いて生成されるレポートは各々、システムのユーザにより選択的にオンまたはオフされることができ、次のいずれかを含む。
１） 本発明の通りに、特定の所見および概念へマッピングする、画像に埋め込まれた単一のジェスチャまたは記号
２） 構築された文字（テキスト）フォーマットによる所見（および各所見に関連する修飾語）の項目別リスト
３） 自然言語処理（ＮＬＰ）ツールを用いて所見が散文フォーマットに翻訳された従来の文字（テキスト）レポート
しかしながら、従来のレポートと異なり、標準化された身振り言語を用いて構築されたレポートが作成されると、臨床目的および調査目的のために照会できる参照可能なデータベース（例えば記憶１１４）の作成が可能となる。
【００６４】
従って、従来の文字レポート（画像と文字レポートとが異質のもので互いに分離している）と異なり、画像内に含まれる情報内容とジェスチャ・ベース・レポートは不可分である。所見または概念（すなわち心臓肥大）を画像からテキストに翻訳する代わりに、概念が画像内に直接保持される。これにより、画像からテキストへの翻訳プロセスにおいて生じるおそれのある潜在的な書き誤りおよび認識誤りが回避される。
【００６５】
このように、画像データ、所見およびレポートをまとめてひとつのデータセットにすることにより本発明は、特化した意思決定支援ツールを直接、画像とレポートとに同時に組み込むための独自の能力を提示する。例えば従来の散文報告では、大量の曖昧な表現が、類似の（ただし、時に異なる）概念を記述するためによく用いられる同義語の使用を通じて持ち込まれる。臨床分野には類義語「浸潤物」、「気腔疾患」、「硬化」および「肺炎」について様々な臨床的受け止め方があり得る。普遍的に受け入れられる標準化された身振り言語を用いることで、潜在的な誤解は軽減され、言語障壁はもはや問題にならなくなる。
【００６６】
よって、上記「浸潤物」に関して本発明と一致するある実施形態では、ユーザは、所見に関する普遍的記号を使用し、特定の日付の間の期間中にこの報告所見を有したか、または、ある一定の人口統計的もしくは臨床的なプロファイルを満たしたかについて、すべての患者のレポート・データベースを照会することができる。これにより、業務管理、臨床調査、品質保証または利用審査のための価値あるリソースがつくり出される。
【００６７】
加えて、本発明と一致するある実施形態ではレポートは、そのレポートで詳述された特定の所見を示す画像を生成するために使用できる。例えば、レントゲン写真のタイプ（すなわち胸部など）はコンピュータ・プログラム１１０により認識され、コンピュータ・プログラム１１０はレントゲン写真を生成し、レポートを根拠として用いて、選択されたフィルム上の適切な部位にジェスチャまたは記号を付けることができる。このように本発明は双方向的に機能する。
【００６８】
本発明の双方向性は、散文を記号に変換するための自然言語処理（ＮＬＰ）を用いて従来の散文レポートがジェスチャ・レポートに変換されることを可能にする。これは、過去の散文レポートをジェスチャ・ベース・レポートに変換するために遡及的に行うこともできる（標準化された報告フォーマットによる異ユーザ間のレポートの直接比較を提供する）。
【００６９】
本発明と一致する別の実施形態では、対話式（インタラクティブ）診察が臨床医と共に行われることができる。本発明の通りに、所見を医用画像に直接埋め込み、かつ、これらの埋め込み記号を「オンおよびオフする」ための能力をエンド・ユーザに提供することにより、組み合わされた画像／レポートは電子診察ツールになる。
例えばステップ３００（図４参照）において、コンピュータ・プログラム１１０は、図２で前述された通りに胸部ＣＴ検査を精査して、「キー画像」に適切なジェスチャまたは記号および修飾子を埋め込むことにより以下のような所見を行っていた放射線医により、解釈された埋め込み画像を保存する。
１．肺塞栓
２．肺炎
３．胸水
４．肺門リンパ腺炎
臨床医が、精査のためにクライアント・コンピュータ１０１にＣＴを呼び出すと、コンピュータ・プログラム１１０はステップ３０１において、全体として（初めから終わりまで、６００枚の個別画像からなる）研究を精査するかまたは「キー画像」のみ（４枚の画像からなる）を精査するかのオプションをユーザに提示する。
【００７０】
ユーザが「キー画像」のみを表示することを選択した場合、コンピュータ・プログラム１１０はステップ３０２において、ユーザの優先選択に基づき事前に選択されたフォーマットで４枚の「キー画像」をユーザに提示する。例えば臨床医Ａに関しては、これは、例えば４：１表示フォーマットを用いて単一のディスプレイまたはモニタ１０２に表示される４枚すべての画像からなる。例えば臨床医Ｂに関しては、４枚の個別画像が例えば１：１表示フォーマットを用いて個別に表示され、この臨床医は、自身の優先選択による入力デバイス１０４（すなわちスタイラス、トラックボール、マウス）を用いて画像間を自由に移動することができる。
【００７１】
臨床医が第１の「キー画像」を（所望の入力デバイス１０４を再度用いて）強調（ハイライト）表示すると、コンピュータ・プログラム１１０はステップ３０３において、例えば次のような３つのやり方で画像を精査するためのオプションをユーザに提示する。
１． 画像を記号なしで
２． 画像を記号付きで（静態モード）
３． 画像を記号付きで（動態モード）
本発明と一致するある実施形態では、臨床医の個別の優先選択がコンピュータ・プログラム１１０においてデフォルトとしてあらかじめ確立されコンピュータ・サインオン・プロセスに組み込まれているものとすることができるが、臨床医は、どの時点でもプログラム１１０のデフォルトに優先する能力を有することに注意されたい。加えて、臨床医は、例えば手動で当該表示モードに関する適切なアイコンをアクティブにすることにより、「実行中に」様々なオプション間で切り替えを行うことができる。
【００７２】
例えば、臨床医がオプション３（動態モードを用いる記号付き画像表示）をデフォルトとして選択した場合、コンピュータ・プログラム１１０はステップ３０４において、放射線医が解釈の際に埋め込み記号を記録した正確な順序で同記号を逐次的に表示しながら、強調表示された「キー画像」を提示する。これは事実上動画となり、エンド・ユーザが解釈プロセス全体を初めから終わりまで見る（さらに、自身の優先選択に基づき速度を制御することができる）ことになる。
【００７３】
ＣＴ事例の例では、臨床医により選択された第１の強調表示された「キー画像」は、記号を適用する時点で放射線医が用いていた正確な表示状態で肺塞栓を示す。このためには、例えば、用いられた特定のウィンドウ／レベル設定、拡大率、用いられた特定の処理アルゴリズム、特定の解剖学的方位（矢状縫合、軸、冠状縫合に関するもの）および使用された３Ｄボリューム・レンダリングを含む（これらに限定されるものではない）、事前選択されたいくつかの変数が必要となる。本発明と一致するある実施形態では、事前選択変数は、ユーザによるキー画像の強調表示の前に選択されることができる。ステップ３０５においてキー画像を強調表示すると、時間のかかる画像操作プロセスを臨床医が回避するための「ショートカット」が生成され、臨床医は、解釈する放射線医とまったく同じやり方で画像を精査することができるようになる。
【００７４】
ステップ３０５においてコンピュータ・プログラム１１０によりジェスチャまたは記号が自動的に適用されている間、臨床医は、電子診察を受動的に見る。コンピュータ・プログラム１１０は、コンピュータ・プログラム１１０のジェスチャ認識ソフトウェアにより各記号が認識されている間、ジェスチャまたは記号それ自体に加えて、対応するテキストを臨床医に示す。これは事実上、臨床医向けのジェスチャまたは記号の認識に関する教育ツールを作成し、適用された各ジェスチャとそれに対応するテキストとを積極的に関係づけることを可能にするという利点を有する。
【００７５】
肺塞栓に関するジェスチャまたは記号がコンピュータ・プログラム１１０により適用された後、臨床医は、プログラム１１０により適用される様々な修飾記号を見る。かかる修飾記号は、例えばサイズ（すなわち、線状測定値または容積測定値）、解剖学的位置（すなわち、右上肺葉肺動脈２次分枝）、内部構成（すなわち、非石灰化および閉塞性）、臨床的意義（すなわち、極めて高い）および診断信頼レベル（すなわち、高い）を記述する。ジェスチャが、記録された順序で適用されながら示されることができるか、またはユーザの選択に応じて一度にすべて示されることができることに注意されたい。
【００７６】
本発明と一致する別の実施形態では、コンピュータ・プログラム１１０による記号適用の全シーケンス（典型的な例では、５〜１０秒を要する）の完了後、臨床医はステップ３０６において、教育アイコンをクリックして「オン」にすることにより「追加データ」の表示を選択することができる。すると、コンピュータ・プログラム１１０は、事前定義されたユーザの優先選択に基づきデータベースを検索する検索エンジンを用いて、例えば雑誌（ジャーナル）記事、ウェブ・リンク、関連事例の教示ファイル事例を含む、いくつかのリソースを臨床医に提示する。
【００７７】
本発明のある実施形態のステップ３０７においてコンピュータ・プログラム１１０により臨床医に提示される別のオプションは、上記の通りの臨床医の既定の優先選択のみならず、例えば、報告所見および臨床的徴候用にカスタマイズされた意思決定支援ツール（すなわち画像処理、ＣＡＤ、セグメンテーション、鑑別診断）をも適用するというものである。
【００７８】
臨床医が「追加データ」を表示しないことを選択した場合、この画像の電子診療はステップ３０８においてコンピュータ・プログラム１１０により終了され、第２の強調表示された「キー画像」がステップ３０９においてコンピュータ・プログラムにより提示され、この例示の事例では、５日前に行われた比較ＣＴ検査に比べて全容積が２０％減少した右下肺葉上区内の肺炎の所見が示される。
【００７９】
コンピュータ・プログラム１１０によるこのシーケンスは比較的短く（およそ５〜１０秒）、コンピュータ・プログラム１１０は第３および第４の強調表示「キー画像」の提示を続け、その後、電子診察は終了する。
イベントの全シーケンスは、臨床医により用いられるオプションに応じて短い期間（約１〜３分）を要する。診察中いつでも臨床医は、画像またはデータの特定のポイントを（スタイラス１０４を用いて）強調表示することができ、プログラム１１０は、例えば病状、放射線所見、患者名、モダリティなどのような既定の因子によりアクセスされることのできる当該プログラム自体の画像フォルダに電子的に送信するために、「それ（強調表示ポイント）を保存」する。
【００８０】
本発明のジェスチャ・ベース報告を用いる電子診察は双方向性を有し、コンピュータ・プログラム１１０は、臨床医が最初に報告を行う場合には同一シーケンスが逆の順序で精査されることを可能にする。この例示的な場合、臨床医（すなわちＥＲ内科医）が最初に（すなわち午前１時３０分に）胸部レントゲン写真を精査し、自身の仮解釈を適切な身振り言語を用いて記録した。例えば、臨床医は次のような記号を（この順序に）記録した。
１． 密度、範囲不明確、右下肺葉、臨床的意義不確か
２． 心臓肥大、軽度、臨床的意義極小
３． 退行性変化、中央胸椎、急性の臨床的意義なし
この例では放射線医は、この研究を例えば午前８時に解釈し、ジェスチャ・ベース報告方法を用いてＥＲ内科医の解釈を精査する（ほんの数秒（すなわち５〜１０秒）しか掛からない）。ＥＭＲへの自動検索により得られた追加データは、患者の白血球（ＷＢＣ）数が正常であり発熱がないことを示す。
【００８１】
加えて、この例では患者の画像ファイルには、１年前に行われたＣＴ検査が含まれ、当該検査では例えば同様の、濃度の範囲が不明確な右下肺葉上区が見られ、鑑別診断は肺炎、吸引および癌を（統計的尤度の逐次順に）示した。
これらの（同一解剖学的部位の）様々なモダリティを相関させると放射線医は、例えば慢性の所見、サイズの経時的増大、および炎症性の経過を示唆する対症データの欠如により主に癌腫が懸念されると結論づけることができる。ジェスチャ・ベース報告方法を用いて画像にジェスチャを入力する時に放射線医により用いられる対応するジェスチャまたは記号は、例えば次のようなデータを（適用順に）表す。
１． 濃度、範囲不明確、右下肺葉上区、前回０４年４月３０日の胸部ＣＴと比較したサイズ増はゆるやか、主診断は癌腫、臨床的意義高し、フォローアップ推奨事項：胸部ＣＴおよび腫瘍診察
２． 心臓肥大；仮解釈からの変更なし
３． 胸部脊柱の退行性変化；仮解釈からの変更なし
放射線医の精査および解釈の過程で放射線医は、ＥＲ内科医により当初行われた心臓肥大および退行性変化の所見を「原状のまま」確認することを選択することができる。これは例えば、ＥＲ内科医により入力された対応する記号の上に「チェックマーク」のジェスチャを付けることにより行うことができる。その後、放射線医は、範囲が不明確な右下肺葉の濃度を表すジェスチャまたは記号を修飾し、次いで「統計画像診察」に関してＥＲ内科医に電子的にページングするための指示を付けて画像／レポートを高優先キューに入れることができる。
【００８２】
するとＥＲ内科医は、対応する患者情報および画像／レポート情報の記載された統計ページを受信することができる。その後、今度はＥＲ内科医が放射線医の解釈／電子診療を精査し、ＥＲ内科医がかかる診察を受信し、かかる解釈に同意し、推奨されたＣＴおよび腫瘍診察を指図済みであることを記載した電子文字メッセージ（すなわち高優先事項）を放射線医に返信することができる。
【００８３】
臨床医が画像を精査して、解釈する放射線医が見落としたものを見つけたと思う場合には当然、対話式診察が開始できる。その場合、臨床医は、適切なジェスチャを（臨床医独自の色またはその他の識別用フォーマットを用いて）記録し、解明のために、解釈を行った放射線医に画像を電子的に送信することができる。文字メッセージを打ち込むかまたは単に新規追加記号のすぐ隣に疑問符を付すことにより、放射線医には臨床医からの照会だと分かり、放射線医は画像を修飾して臨床医に再送信することができる。この電子診察はその後、将来の参照に備えて患者の画像フォルダに記憶されることができる。すべての連絡は身振り言語の形態を取り、画像データの追加「層（レイヤー）」として記録されることができる。
【００８４】
続いて、診察する腫瘍医によりこの画像／レポートが例えば３時間後に精査される場合、腫瘍医は、行われた所見、解釈、およびその結果行われた診察の一部または全部を精査することができる。腫瘍医が「すべての所見」を精査すことを選択した場合、コンピュータ・プログラム１１０は、まず、ＥＲ内科医のジェスチャ・ベース・レポートの所見を（例えば青のような特定の色のカラーコードで）、次いで、放射線医のジェスチャ・ベース・レポートの所見を（例えば赤のような特定の色のカラーコードで）提示する。腫瘍医も同様に、画像に追加所見を加えるか、または追加の臨床的／履歴データを組み込むことができる。
【００８５】
この特定の例では腫瘍医は、肋骨破壊（すなわち、第４右後部肋骨、重篤度は軽度、診断信頼度不確か、臨床的意義高し）を識別する。この「不審な食い違い」は、腫瘍医による入力時にコンピュータ・プログラム１１０により識別され、コンピュータ・プログラム１１０はこの識別に基づき「食い違いキュー」を入力する際、解釈を行った放射線医に電子的にレポートを送信する。
【００８６】
その後、放射線医が腫瘍医の所見を精査し、腫瘍医に文字メッセージを送信して、例えば、行われた追加所見を承認し、かかる追加所見は、指図された胸部ＣＴにおいてより十分に評価される。この連絡（音声ファイルを含む、所望の任意のフォーマットによる）は、来るべき胸部ＣＴを解釈する放射線医が、胸部レントゲン写真に関与する３人すべての内科医の画像所見および臨床メモに直接アクセスできるように画像に（例えば診察タブで）添付されることもできる。
【００８７】
次に、これら３人の内科医が、胸部ジェスチャ・ベース・レポートを（注釈付きのキー画像付きで）電子メッセージにより自動的に受信する。このプロセス全体は簡単に遂行でき、極わずかな時間しか要さない。実際には、各内科医が相手の所見を精査して修飾を入力し通信プロトコルを開始するために必要な時間は、例えば３分未満であるべきである。
本発明と一致する別の実施形態では、ユーザ独自の署名が、画像報告に対するある一定の特権を定義するために使用できる。あるユーザが他のユーザのジェスチャを積極的に変更または削除することができる（すなわち、放射線医が参照臨床医のジェスチャを変更または削除することができる）場合、これにより「セカンド・オピニオン」、診察および照会の権限が提供される。
【００８８】
例えば、放射線分科専門医は、主要放射線医、参照臨床医または患者により、画像を精査して「セカンド・オピニオン」または診察を提供することを求められる場合がある。診察する放射線医は、原レポートに対してジェスチャを追加または削除する。その際、（ジェスチャまたは記号の形態での）変更は、プログラム１１０により異なる色またはその他のフォーマットで記録され、そのため、ユーザは主要診察放射線医のレポートの性質が異なることを認識することができる。各「個別」レポートは個々に選択またはアクティブ化されることができ、レポートの「最終」バージョン（画像アーカイブに記憶された通りのもの）はすべてのバージョンを記録する。参照臨床医が画像／レポートを精査したいと考える場合、プログラム１１０は参照臨床医に、どのレポートをデフォルトとして使用するかを選択するように求める。
【００８９】
本発明と一致する別の実施形態では、臨床医は、これと同じ概念を用いて自身の患者の記録内に自身が解釈した画像所見を記録することができる。例えば、腫瘍医は、解釈を行った放射線医により言及されていない追加所見を記録したいと考える場合がある。腫瘍医は、対応する画像に追加の記号またはジェスチャを記録し、それら注釈付き画像を、患者の腫瘍フォルダに収められる「キー画像」として「保存する」。これらの画像はその後、患者の次の来診時または治療時に精査される。患者がフォローアップ画像検査（治療に対する反応を測定するためのもの）を有する場合、腫瘍医により照会が行われると、注釈付きの画像が（腫瘍医により自身のデフォルトとして選択された通りに）引き出される。コンピュータ（意思決定支援の形態として人工知能を用いる）は、腫瘍医によるジェスチャまたは記号を認識し、フォローアップ検査時に当該解剖学的部位および画像特徴を強調表示する。これにより、腫瘍医は自身の埋め込みジェスチャを用いて画像所見を連続的に追跡することができる。
【００９０】
本発明と一致する別の実施形態では、多層的な取り組み方法が、一部の放射線学的データ（すなわちマンモグラフィ）の分析に対して取られることができる。この実施形態では、ＲＩＳおよびモダリティが第１の２つの情報層を提供する一方で、第３および第４の層は放射線医により入力される。さらに、ＮＬＰが等式に追加されると、先の画像／レポートは、関連データについて事前に選別され、ＣＡＤオーバーレイと同様のやり方で解釈時に放射線医に提示されることができる。
【００９１】
この実施形態における個別の層は、エクセルのスプレッドシートとほぼ同じように組み込まれることができ、ユーザは、関係する特定のタブをクリックすることになる。「層１」のタブがクリックされると、この層内に収容された個別データ（すなわち、履歴データ、臨床的徴候、履歴比較のような背景データ）が、リンクされた歴史的画像を直接表示するための能力と共に表示される。「層２」のタブがアクティブにされると、個別データ（すなわち、ＱＡ記述子、手法、乳腺密度および局在マーカのような技術的側面）が表示される。これにより、個々の放射線医または臨床医は、自身の表示プロトコルを標準的デフォルトとしてカスタマイズすることができるようになる。すべてのデータは画像内に埋め込まれるかまたはリンクされるが、何が表示されるかは、個々のエンド・ユーザの裁量による。
【００９２】
「層３」は、上記の通りの本発明の方法およびシステムに従って放射線医の画像所見を収容し、「層４」は、所見の臨床的意義、フォローアップ推奨事項および診断信頼度のような解釈である。比較研究およびレポートは電子的にリンクでき、ジェスチャ・ベース報告を用いて解釈される場合、経時的サブトラクション法が、指定された病理部位に対する有用なツールとなることがある。
【００９３】
本発明と一致するその他の実施形態では、下記のような修正が、ジェスチャ・ベース報告が企てられるか、補助的技術が用いられるか、または出力が生成される個別のやり方で行われることができる。
例えば、上記の通りの異なる入力デバイス１０４または異なる表示デバイス１０２以外の潜在的修正には、表で特定されたものとは異なる身振り言語または記号言語が含まれる。例えば、ユーザは、自分独自のジェスチャおよび記号を作成する能力を有し、かかるジェスチャおよび記号が今度は、従来のソフトウェアを用いて、標準化された言語にマッピングし戻されることができる。提案された図式言語に加えて、アルファベット数字式記号も同じタスクを遂行できるが、国際的ユーザ間の言語の相違により制限を受けるはずである。
【００９４】
前記の通り、異なる出力（すなわちレポート）が使用できる。生成される出力は、ユーザの特定の優先選択に合わせてカスタマイズできる。画像の上にジェスチャ・ベース報告記号を重ね合わせるグラフィック表示に加えて、ジェスチャは、ＥＭＲがこれらのジェスチャを未加工フォーマットで記憶するＸＭＬスキーマに対してマッピングされることができる。
【００９５】
さらに、医用画像以外の、ジェスチャ・ベース報告の追加適用が存在する。ジェスチャ・ベース報告は、データが図解、線図または写真の形態で提示または記録される場合にはいつでも、実行可能な報告代替手段になる。医用画像は、内視鏡検査、心臓科、眼科、気管支鏡検査、皮膚科および結腸内視術を含め（それらに限らず）、いくつかの非画像専門部門において記録される。得られた画像は現在、ＥＭＲに記憶されており、記号を用いてレポートを生成するために容易に使用できる。
【００９６】
例えば、冠動脈血管造影を行う心臓医は、すべて身振り言語を用いて血管狭窄（重篤度、位置、臨床的意義）および提案される治療オプションを記述するために、画像に埋め込まれたジェスチャまたは記号を使用することができる。この心臓医は身振り言語を用いて（心臓壁運動異常のような）機能異常を報告することもでき、かかる身振り言語は従来の散文報告よりも容易に伝わるはずである。
【００９７】
電子的に（意思決定支援を用いて）所見を識別し経時的変化を追跡する能力は、診断および患者管理の大部分が視覚的入力に基づく皮膚科のような専門部門では極めて有用である。多病巣性発疹の写真を撮る皮膚医は、皮膚症状の数、サイズおよび領域的分布の経時的変化を定量化するために経時的サブトラクション技術を用いることができる。ジェスチャ・ベース報告は、関連所見を識別して記述するために身振り言語または記号言語を使用することができ、コンピュータ・プログラムは、フォローアップ検査時に、以前識別された異常部位を自動的に強調表示して、一連の定量的および定性的比較を行うことができる。これによりジェスチャ・ベース報告は、診断と治療との両方のための価値あるリソースになる。
【００９８】
医用写真は、病理を明らかにするために一般には手術室で撮られており、これらの写真は同様のやり方で容易に使用できるはずである。外科医は単に、病理部位の上にジェスチャを重ね合わせることで、拡大および画像処理を提供して懸念部位を強調するためのコンピュータ・ワークステーションの機能を使用する。病理部位と周囲の正常な組織および器官との解剖学的関係は医用写真撮影を用いて最もよく表され、ジェスチャ・ベース報告は論理的な報告手段となる。
【００９９】
手術中に撮られる「巨視的」写真に加えて、「微視的」写真も病理医により広く使用されており、ジェスチャ・ベース報告に十分適する。病理学では、正常細胞と異常細胞との間の境界が特に重要で、文字（テキスト）レポートはこれらの微妙な違いを伝えることが困難である。特殊染色された顕微鏡試料の拡大表示によって、正常細胞と異常細胞との間のこれらの境界の線引きと、異常細胞の明確な識別との両方が行われる。これら個別細胞の特定の異常は、ジェスチャ・ベース記号を用いて強調表示され報告されることができ、かかる記号は再度標準化される。これは、「外部専門家」による診察が求められることの多い病理学では利益になるはずである。標準化された身振り言語または記号言語を用いて強調表示された所見を付けて、巨視的画像および微視的画像を電子的に伝送するための能力は、特に訴求力を有する。
【０１００】
さらに、文字（テキスト）フォーマットで現在書かれている様々な医療メモは、線図上に重ね合わされるジェスチャを用いてジェスチャ・ベース報告フォーマットに容易に変換できる。例えば、病歴および健康診断を記録する内科医は、関連所見ならびに関係する修飾語および以前記述された概念を記録するために、各器官系のコンピュータ生成線図上に重ね合わされた記号を使用することができる。同じ原理が手技メモ、診察および経過メモに適用できる。
【０１０１】
ジェスチャ・ベース報告適用向けカルテの別の範疇は、グラフィック表現（ＥＥＧ、ＥＭＧ、ＥＫＧ）で表示される既存の試験である。ＥＥＧを解釈する神経医は、異常所見に対応するグラフィック表示の「キー部分」を強調表示し、ジェスチャ・ベース報告を用いてこれらの所見に注釈を付けることができる。すると、強調表示されたこれらのグラフィック分析キー部分は、コンピュータ・プログラムにより包括的データセットとは別に記憶され、フォローアップ検査時の詳細な比較に使用される。意思決定支援のこの適用は、解釈および報告のためにジェスチャ・ベース報告と併せて使用できる。
【０１０２】
いくつかの非医用適用は、ジェスチャ・ベース報告に十分適するはずであり、かかる適用には、絵表現または図解表現に基づく一切のものが含まれる。交通事故を調査する警察官または保険査定人は、一連の写真および線図を通じて事故現場、自動車およびその後の損害の図解表現を用いることができ、かかる写真および線図が次には、報告のためにジェスチャまたは記号で注釈を付けられることができる。同様の適用が工学、設計（デザイン）および建築専門化向けに利用できる。
【０１０３】
一般医および専門医のこれらの非常に異なるニーズおよび期待に応えるために、２層のジェスチャ・ベース報告言語が、一般放射線医および分科専門放射線医の間で等しい習熟度で使用されることできる。基本セットのジェスチャまたは記号（表１〜２参照）は、共通して見られるいくつかの放射線所見に適用可能であり、すべての画像モダリティおよび解剖学的領域に共通することになるはずである。専門セットのジェスチャ・ベース報告記号は、性質がより粒状で、異なる器官系および画像モダリティ向けに特化される。専門セットの記号に関する知識が不足していても、下記の通り、ジェスチャ・ベース報告方法およびシステムを使用するための人の能力に支障は生じない。
【０１０４】
この例として２人の異なる放射線医が、例えば嘔吐および頭痛のある８歳男児の脳ＣＴの解釈にジェスチャ・ベース報告を利用している。一般放射線医は、脳の後頭蓋窩にある塊を識別し「キー画像」を強調表示する。未確認の塊を記述するジェスチャ・ベース報告プロセスを行いながら、この放射線医は、次のような記述子でその塊を記述する。すなわち、塊、範囲不明確、小脳、質量効果極小、臨床的意義高し、病因不確か、ＭＲＩのフォローアップ推奨。
【０１０５】
当該研究を解釈する神経放射線医もジェスチャ・ベース報告を利用するが、塊を少し異なる用語で次のように記述する。すなわち、塊、小脳虫部、範囲明確、関連水頭症、内部の嚢胞性変化および石灰化、臨床的意義高し、髄芽細胞腫、神経外科診察。
事前プログラムされソフトウェアに入れられたニューラル・ネットワークを用いる本発明のコンピュータ・プログラム１１０は、意思決定支援、およびＥＭＲから得られた追加情報を用いて、特徴付けを改善するためのいくつかの標的質問を一般放射線医に行う。プログラム１１０は、まず、解剖マップを用いて塊を局在化することを一般放射線医に求める。その際、対応する参照脳ＣＴがプログラム１１０により持ち出され、一般放射線医は、問題の塊のある正確な部位にスタイラスを置く。すると、コンピュータ・プログラム１１０は、その解剖学的位置が「小脳虫部」であることを明らかにする。
【０１０６】
コンピュータ・プログラム１１０が行う第２の質問は、「関連水頭症はあるか？」である。一般放射線医は画像を精査し「はい」と答える。コンピュータ・プログラム１１０により提示される第３の質問は、「この塊は内部に石灰化、出血または嚢胞性変化を含むか？」である。当該放射線医は、嚢胞性変化と石灰化との両方の上を、その存在を指し示すためにスタイラス１０４で指す。コンピュータ１１０は（ニューラル・ネットワークを用いて）、問題の塊を髄芽細胞腫として識別し、電子データベースから教示ファイル事例を当該放射線医に提示する。
【０１０７】
これらの画像が問題の病型に対応するか否かをコンピュータ・プログラム１１０により尋ねられたとき、当該放射線医は「はい」と答え、これを「高臨床信頼度」の推定診断として入力する。
最終結果は、両放射線医の最終レポートにおいて塊がほとんど同一であることを記述するために使用されたジェスチャ・ベース言語となる。両者がたどった道筋はわずかに異なっていた可能性はあるが、最終結果および対応するレポートはほぼ同じである。ジェスチャ・ベース報告解釈プロセスへの意思決定支援の組み込みに加えて、身振り言語または記号言語に関する教育的フィードバックもまた、継続的学習のためにエンド・ユーザに提供される。
【０１０８】
ジェスチャ・ベース報告方法およびシステムの使用に関する学習プロセスも双方向性を有する。コンピュータ・プログラム１１０が各エンド・ユーザにより独自に作成されたジェスチャまたは記号を正確に把握するために学習している間、エンド・ユーザは、身振り言語または記号言語および記述方法を学習しなければならない。コンピュータ・プログラム１１０によるジェスチャ認識のこの双方向（対話式）学習プロセスは、音声認識技術で現在用いられているものと類似している。本発明と一致するある実施形態では、入力された記号をコンピュータ・プログラム１１０が不正確に識別したことが放射線医に分かった場合、放射線医は「学習アイコン」をクリックする。するとコンピュータ・プログラム１１０は、望みの記号を３回描くことをエンド・ユーザに求め、その記号を対応するテキストにマッピングすることをエンド・ユーザに求める。
【０１０９】
本発明と一致するある実施形態では、コンピュータ・プログラム１１０は、各個別のジェスチャまたは記号が各放射線医により使用される頻度をも追跡し、最もよく使用されるジェスチャまたは記号の統計プロフィールを作成する。合わせて、これは、コンピュータ・プログラム１１０がジェスチャ認識の精度を高めることを可能にする。
エンド・ユーザ教育は、例えば、よく使用されるジェスチャまたは記号およびユーザ独自の記号の作成法を放射線医に教示するオンライン学習を含む、いくつかの手段を通じて提供されることができる。また、コンピュータ・プログラム１１０は、スタイラス１０４を用いて望みのジェスチャまたは記号を画像に「タッチ・アンド・ドラッグする」ことにより使用できる標準化されたジェスチャまたは記号（対応するテキスト付き）のライブラリを提供することもできる。すべての概念がジェスチャ単体により記述できるわけではないので、これらの場合のために、代替入力（音声またはプルダウン・メニュー）が報告システム１００に含まれることができる。
【０１１０】
本発明の上記実施形態が、本発明の原理の明確な理解のために記載された単に考え得る実施の具体例にすぎないことが強調される。変形および変更は、本発明の精神および原理から逸脱することなく本発明の上記実施形態に合わせて行うことができる。かかる変更および変形はすべて、本願においては本発明の適用範囲内に含まれ、かつ、以下の特許請求の範囲により保護されることが意図される。
【図面の簡単な説明】
【０１１１】
【図１】本発明と一致するひとつの実施形態に従ったジェスチャ・ベース報告方法およびシステムを示す概略図である。
【図２】本発明と一致するひとつの実施形態に従ったジェスチャ・ベース報告方法を示すフローチャートである。
【図３】ヒトの胸部コンピュータ断層撮影（ＣＴ）を表したものであり、本発明のジェスチャ・ベース報告方法およびシステムと一致するひとつの実施形態に従って画像上にジェスチャおよび修飾子を示している。
【図４】本発明のジェスチャ・ベース報告方法およびシステムの双方向電子診察実施形態を示すフローチャートである。
【特許請求の範囲】
【請求項１】
コンピュータで実施される画像報告方法であって、
画像を表示するステップと、
あらかじめ定められた情報に対応する少なくとも第１の記号を前記画像に埋め込むステップと、
前記埋め込み記号付きの前記画像を記憶するステップとを有する方法。
【請求項２】
あらかじめ定められた情報に対応する少なくとも第２の記号を前記画像に埋め込むステップをさらに有する、請求項１に記載の方法。
【請求項３】
前記第２の記号が修飾子記号である、請求項２に記載の方法。
【請求項４】
入力デバイスが、前記少なくとも第１の記号および前記第２の記号を埋め込むために使用される、請求項２に記載の方法。
【請求項５】
前記入力デバイスがプログラム可能スタイラスである、請求項４に記載の方法。
【請求項６】
画像研究における複数の画像から前記画像を提供するステップをさらに有する、請求項３に記載の方法。
【請求項７】
前記画像研究を、静態的態様および動態的態様のいずれかで表示のために提供することができる、請求項６に記載の方法。
【請求項８】
前記あらかじめ定められた情報が、医用適用における病理に対応している、請求項３に記載の方法。
【請求項９】
前記修飾子が前記病理を識別して定量化する、請求項８に記載の方法。
【請求項１０】
前記第１および前記第２の記号の少なくとも一方のすぐ隣に、前記あらかじめ定められた情報と相互に関係しているテキストを提供するステップと、
前記テキストが前記第１および前記第２の記号の前記少なくとも一方を正確に示していることを確認するステップとをさらに有する、請求項３に記載の方法。
【請求項１１】
前記テキストが前記対応する記号を正確に示していない場合、ユーザのコマンドに応答して前記テキストおよび前記対応する記号を削除するステップをさらに有する、請求項１０に記載の方法。
【請求項１２】
前記埋め込み記号付きの前記画像を、選択されたユーザに送付するステップをさらに有する、請求項１０に記載の方法。
【請求項１３】
前記埋め込み記号付きの前記画像を、前記画像研究において前記画像から別の画像に移すことのできる、請求項６に記載の方法。
【請求項１４】
前記画像を解釈するために自動意思決定支援システムを適用するステップをさらに有する、請求項３に記載の方法。
【請求項１５】
前記自動意思決定支援システムからの所見を、前記以前の埋め込み記号と異なるフォーマットおよび色のいずれかで埋め込み記号として前記画像上に示すことのできる、請求項１４に記載の方法。
【請求項１６】
前記埋め込み記号を有する前記画像上でレポートを生成するステップをさらに有する、請求項１２に記載の方法。
【請求項１７】
埋め込み記号を有する前記画像のデータベースを、選択された埋め込み記号について検索することのできる、請求項１に記載の方法。
【請求項１８】
レポートからの埋め込み記号を別の画像上に配置することにより、当該別の画像を生成するステップをさらに有する、請求項１６に記載の方法。
【請求項１９】
埋め込み記号付きの画像が、前記画像研究においてその他の画像とは別個にキー画像として記憶される、請求項６に記載の方法。
【請求項２０】
前記キー画像が、事前に選択された変数を含む事前選択ユーザ・フォーマットで表示される、請求項１９に記載の方法。
【請求項２１】
前記記号がユーザにより適用された順序で前記画像上に示される、請求項７に記載の方法。
【請求項２２】
画像解釈を支援するためにユーザに追加データを提供するステップをさらに有する、請求項３に記載の方法。
【請求項２３】
複数のレポートを、異なるフォーマットおよび色で提供される記号付きで生成し、かつ、以前の埋め込み記号付きの前記画像の上に重ねることのできる、請求項１８に記載の方法。
【請求項２４】
前記医用適用が放射線医学である、請求項２３に記載の方法。
【請求項２６】
前記記号がグラフィック表現および数字表現のいずれかひとつである、請求項１に記載の方法。
【請求項２７】
経時的サブトラクション法を、前記画像の変化を示すために前記レポートに適用することのできる、請求項２３に記載の方法。
【請求項２８】
前記画像がレントゲン写真、デジタル表現、写真、グラフィック表現、青写真および医用プリントアウトのいずれかを含む、請求項１に記載の方法。
【請求項２９】
ニューラル・ネットワークが、前記画像をさらに定義して解釈するために適用される、請求項１４に記載の方法。
【請求項３０】
よく使用される記号の統計プロフィールを作成して記号認識の精度を高めるために、前記画像に適用される記号の頻度を追跡するステップをさらに有する、請求項２に記載の方法。
【請求項３１】
画像報告を行うためのプログラムを有するコンピュータ・システムであって、
画像を表示する手段と、
あらかじめ定められた情報に対応する少なくとも第１の記号を前記画像に埋め込む手段と、
前記埋め込み記号付きの前記画像を記憶する手段とを有するコンピュータ・システム。
【請求項３２】
あらかじめ定められた情報に対応する少なくとも第２の記号を前記画像に埋め込む手段をさらに有する、請求項３１のコンピュータ・システム。
【請求項３３】
前記埋め込み記号付きの前記画像を、選択されたユーザに送付する手段をさらに有する、請求項３２のコンピュータ・システム。
【請求項３４】
前記画像を解釈するために自動意思決定支援システムを適用する手段をさらに有する、請求項３３に記載のコンピュータ・システム。
【請求項３７】
前記埋め込み記号を有する前記画像上でレポートを生成する手段をさらに有する、請求項３６に記載のコンピュータ・システム。
【請求項３８】
レポートからの埋め込み記号を別の画像上に配置することにより当該別の画像を生成する手段をさらに有する、請求項３７に記載のコンピュータ・システム。
【請求項３９】
画像解釈を支援するために追加データをユーザに提供する手段をさらに有する、請求項３８に記載のコンピュータ・システム。
【請求項４０】
一般に使用される記号の統計プロフィールを作成して記号認識の精度を高めるために、前記画像に適用される記号の頻度を追跡する手段をさらに有する、請求項３９に記載のコンピュータ・システム。
【請求項４１】
画像報告を行うためのコンピュータ・システムであって、
画像を表示するステップと、あらかじめ定められた情報に対応する少なくとも第１の記号を前記画像に埋め込むステップと、前記埋め込み記号付きの前記画像を記憶するステップとを有する、少なくともひとつのプログラムを格納している少なくともひとつのメモリと、
前記プログラムを実行するための少なくともひとつのプロセッサとを有するコンピュータ・システム。
【請求項４２】
画像報告を行うための装置であって、
画像を表示するディスプレイと、
あらかじめ定められた情報に対応する少なくともひとつの記号を前記画像に入力する入力デバイスと、
前記埋め込み記号付きの前記画像を記憶する記憶デバイスとを有する装置。
【請求項４３】
前記入力デバイスがプログラム可能スタイラスである、請求項４２に記載の装置。
【請求項４４】
前記画像を解釈する自動意思決定支援システムをさらに有する、請求項４２に記載の装置。
【請求項４５】
前記ディスプレイがタッチ・スクリーン・モニタである、請求項４２に記載の装置。
【請求項４６】
前記ディスプレイがＰＡＣＳの一部である、請求項４２に記載の装置。
【請求項４７】
前記記憶デバイスがＰＡＣＳの一部である、請求項４２に記載の装置。
【請求項４８】
前記記号を認識し、かつ、前記記号と対応するテキストとを関連づけるプロセッサをさらに有する、請求項４２に記載の装置。
【請求項４９】
コンピュータ可読媒体であって、この媒体の内容がコンピュータ・システムに画像報告を行わせるものであり、前記コンピュータ・システムは、プログラムを有しており、このプログラムが、
画像を表示するステップと、
あらかじめ定められた情報に対応する少なくとも第１の記号を前記画像に埋め込むステップと、
前記埋め込み記号付きの前記画像を記憶するステップとを有する、コンピュータ可読媒体。
【請求項５０】
コンピュータ・システムを用いる画像報告用のデータ構造によりコード化されたコンピュータ可読記憶デバイスであって、前記データ構造がエントリを有し、
各エントリが、あらかじめ定められた情報に対応する複数の記号を有する、コンピュータ可読記憶デバイス。
【請求項５１】
前記あらかじめ定められた情報に対応するテキストをさらに有する、請求項５０に記載のコンピュータ可読記憶デバイス。
【請求項５２】
前記表示するステップがＰＡＣＳにより行われる、請求項１に記載の方法。
【請求項５３】
前記記憶するステップがＰＡＣＳにより行われる、請求項１に記載の方法。
【請求項５４】
医用適用における画像報告の、コンピュータで実施される方法であって、
画像を表示するステップと、
病理所見に対応する少なくとも第１の記号を前記画像に埋め込むステップと、
前記埋め込み記号付きの前記画像を記憶するステップとを有する方法。
【請求項５５】
前記病理を識別して定量化する修飾子に対応する少なくとも第２の記号を、前記画像上に埋め込むステップをさらに有する、請求項５４に記載の方法。
【請求項５６】
前記埋め込み記号を有する前記画像上でレポートを生成するステップをさらに有する、請求項５５に記載の方法。
【請求項５７】
前記ディスプレイがタッチ・スクリーンおよび１対のゴーグルのいずれかである、請求項１に記載の方法。
【請求項５８】
前記画像にユーザの署名を記憶させるステップをさらに有する、請求項２３に記載の方法。
【請求項５９】
前記レポートを、前記ユーザの前記署名により前記画像上でソートできる、請求項５８に記載の方法。
【請求項６０】
前記ユーザの各署名を、前記画像およびレポートの異なる編集特権に割り当てることのできる、請求項５８に記載の方法。
【請求項６１】
少なくとも２人のユーザ間で電子診察を行う方法であって、
画像を表示するステップと、
第１のユーザにおいて、あらかじめ定められた情報に対応する少なくとも第１の記号を前記画像に埋め込むステップと、
前記第１のユーザから少なくとも第２のユーザに、前記埋め込み記号付きの前記画像を送付するステップと、
前記少なくとも第２のユーザから前記第１のユーザに、あらかじめ定められた情報に対応する少なくとも第２の記号付きの前記画像を送付するステップと、
前記第１のユーザにおいて必要な場合、前記画像を変更するステップと、
前記少なくとも第２のユーザに前記画像を送付し返すステップとを有する方法。
【請求項１】
コンピュータで実施される画像報告方法であって、
画像を表示するステップと、
あらかじめ定められた情報に対応する少なくとも第１の記号を前記画像に埋め込むステップと、
前記埋め込み記号付きの前記画像を記憶するステップとを有する方法。
【請求項２】
あらかじめ定められた情報に対応する少なくとも第２の記号を前記画像に埋め込むステップをさらに有する、請求項１に記載の方法。
【請求項３】
前記第２の記号が修飾子記号である、請求項２に記載の方法。
【請求項４】
入力デバイスが、前記少なくとも第１の記号および前記第２の記号を埋め込むために使用される、請求項２に記載の方法。
【請求項５】
前記入力デバイスがプログラム可能スタイラスである、請求項４に記載の方法。
【請求項６】
画像研究における複数の画像から前記画像を提供するステップをさらに有する、請求項３に記載の方法。
【請求項７】
前記画像研究を、静態的態様および動態的態様のいずれかで表示のために提供することができる、請求項６に記載の方法。
【請求項８】
前記あらかじめ定められた情報が、医用適用における病理に対応している、請求項３に記載の方法。
【請求項９】
前記修飾子が前記病理を識別して定量化する、請求項８に記載の方法。
【請求項１０】
前記第１および前記第２の記号の少なくとも一方のすぐ隣に、前記あらかじめ定められた情報と相互に関係しているテキストを提供するステップと、
前記テキストが前記第１および前記第２の記号の前記少なくとも一方を正確に示していることを確認するステップとをさらに有する、請求項３に記載の方法。
【請求項１１】
前記テキストが前記対応する記号を正確に示していない場合、ユーザのコマンドに応答して前記テキストおよび前記対応する記号を削除するステップをさらに有する、請求項１０に記載の方法。
【請求項１２】
前記埋め込み記号付きの前記画像を、選択されたユーザに送付するステップをさらに有する、請求項１０に記載の方法。
【請求項１３】
前記埋め込み記号付きの前記画像を、前記画像研究において前記画像から別の画像に移すことのできる、請求項６に記載の方法。
【請求項１４】
前記画像を解釈するために自動意思決定支援システムを適用するステップをさらに有する、請求項３に記載の方法。
【請求項１５】
前記自動意思決定支援システムからの所見を、前記以前の埋め込み記号と異なるフォーマットおよび色のいずれかで埋め込み記号として前記画像上に示すことのできる、請求項１４に記載の方法。
【請求項１６】
前記埋め込み記号を有する前記画像上でレポートを生成するステップをさらに有する、請求項１２に記載の方法。
【請求項１７】
埋め込み記号を有する前記画像のデータベースを、選択された埋め込み記号について検索することのできる、請求項１に記載の方法。
【請求項１８】
レポートからの埋め込み記号を別の画像上に配置することにより、当該別の画像を生成するステップをさらに有する、請求項１６に記載の方法。
【請求項１９】
埋め込み記号付きの画像が、前記画像研究においてその他の画像とは別個にキー画像として記憶される、請求項６に記載の方法。
【請求項２０】
前記キー画像が、事前に選択された変数を含む事前選択ユーザ・フォーマットで表示される、請求項１９に記載の方法。
【請求項２１】
前記記号がユーザにより適用された順序で前記画像上に示される、請求項７に記載の方法。
【請求項２２】
画像解釈を支援するためにユーザに追加データを提供するステップをさらに有する、請求項３に記載の方法。
【請求項２３】
複数のレポートを、異なるフォーマットおよび色で提供される記号付きで生成し、かつ、以前の埋め込み記号付きの前記画像の上に重ねることのできる、請求項１８に記載の方法。
【請求項２４】
前記医用適用が放射線医学である、請求項２３に記載の方法。
【請求項２６】
前記記号がグラフィック表現および数字表現のいずれかひとつである、請求項１に記載の方法。
【請求項２７】
経時的サブトラクション法を、前記画像の変化を示すために前記レポートに適用することのできる、請求項２３に記載の方法。
【請求項２８】
前記画像がレントゲン写真、デジタル表現、写真、グラフィック表現、青写真および医用プリントアウトのいずれかを含む、請求項１に記載の方法。
【請求項２９】
ニューラル・ネットワークが、前記画像をさらに定義して解釈するために適用される、請求項１４に記載の方法。
【請求項３０】
よく使用される記号の統計プロフィールを作成して記号認識の精度を高めるために、前記画像に適用される記号の頻度を追跡するステップをさらに有する、請求項２に記載の方法。
【請求項３１】
画像報告を行うためのプログラムを有するコンピュータ・システムであって、
画像を表示する手段と、
あらかじめ定められた情報に対応する少なくとも第１の記号を前記画像に埋め込む手段と、
前記埋め込み記号付きの前記画像を記憶する手段とを有するコンピュータ・システム。
【請求項３２】
あらかじめ定められた情報に対応する少なくとも第２の記号を前記画像に埋め込む手段をさらに有する、請求項３１のコンピュータ・システム。
【請求項３３】
前記埋め込み記号付きの前記画像を、選択されたユーザに送付する手段をさらに有する、請求項３２のコンピュータ・システム。
【請求項３４】
前記画像を解釈するために自動意思決定支援システムを適用する手段をさらに有する、請求項３３に記載のコンピュータ・システム。
【請求項３７】
前記埋め込み記号を有する前記画像上でレポートを生成する手段をさらに有する、請求項３６に記載のコンピュータ・システム。
【請求項３８】
レポートからの埋め込み記号を別の画像上に配置することにより当該別の画像を生成する手段をさらに有する、請求項３７に記載のコンピュータ・システム。
【請求項３９】
画像解釈を支援するために追加データをユーザに提供する手段をさらに有する、請求項３８に記載のコンピュータ・システム。
【請求項４０】
一般に使用される記号の統計プロフィールを作成して記号認識の精度を高めるために、前記画像に適用される記号の頻度を追跡する手段をさらに有する、請求項３９に記載のコンピュータ・システム。
【請求項４１】
画像報告を行うためのコンピュータ・システムであって、
画像を表示するステップと、あらかじめ定められた情報に対応する少なくとも第１の記号を前記画像に埋め込むステップと、前記埋め込み記号付きの前記画像を記憶するステップとを有する、少なくともひとつのプログラムを格納している少なくともひとつのメモリと、
前記プログラムを実行するための少なくともひとつのプロセッサとを有するコンピュータ・システム。
【請求項４２】
画像報告を行うための装置であって、
画像を表示するディスプレイと、
あらかじめ定められた情報に対応する少なくともひとつの記号を前記画像に入力する入力デバイスと、
前記埋め込み記号付きの前記画像を記憶する記憶デバイスとを有する装置。
【請求項４３】
前記入力デバイスがプログラム可能スタイラスである、請求項４２に記載の装置。
【請求項４４】
前記画像を解釈する自動意思決定支援システムをさらに有する、請求項４２に記載の装置。
【請求項４５】
前記ディスプレイがタッチ・スクリーン・モニタである、請求項４２に記載の装置。
【請求項４６】
前記ディスプレイがＰＡＣＳの一部である、請求項４２に記載の装置。
【請求項４７】
前記記憶デバイスがＰＡＣＳの一部である、請求項４２に記載の装置。
【請求項４８】
前記記号を認識し、かつ、前記記号と対応するテキストとを関連づけるプロセッサをさらに有する、請求項４２に記載の装置。
【請求項４９】
コンピュータ可読媒体であって、この媒体の内容がコンピュータ・システムに画像報告を行わせるものであり、前記コンピュータ・システムは、プログラムを有しており、このプログラムが、
画像を表示するステップと、
あらかじめ定められた情報に対応する少なくとも第１の記号を前記画像に埋め込むステップと、
前記埋め込み記号付きの前記画像を記憶するステップとを有する、コンピュータ可読媒体。
【請求項５０】
コンピュータ・システムを用いる画像報告用のデータ構造によりコード化されたコンピュータ可読記憶デバイスであって、前記データ構造がエントリを有し、
各エントリが、あらかじめ定められた情報に対応する複数の記号を有する、コンピュータ可読記憶デバイス。
【請求項５１】
前記あらかじめ定められた情報に対応するテキストをさらに有する、請求項５０に記載のコンピュータ可読記憶デバイス。
【請求項５２】
前記表示するステップがＰＡＣＳにより行われる、請求項１に記載の方法。
【請求項５３】
前記記憶するステップがＰＡＣＳにより行われる、請求項１に記載の方法。
【請求項５４】
医用適用における画像報告の、コンピュータで実施される方法であって、
画像を表示するステップと、
病理所見に対応する少なくとも第１の記号を前記画像に埋め込むステップと、
前記埋め込み記号付きの前記画像を記憶するステップとを有する方法。
【請求項５５】
前記病理を識別して定量化する修飾子に対応する少なくとも第２の記号を、前記画像上に埋め込むステップをさらに有する、請求項５４に記載の方法。
【請求項５６】
前記埋め込み記号を有する前記画像上でレポートを生成するステップをさらに有する、請求項５５に記載の方法。
【請求項５７】
前記ディスプレイがタッチ・スクリーンおよび１対のゴーグルのいずれかである、請求項１に記載の方法。
【請求項５８】
前記画像にユーザの署名を記憶させるステップをさらに有する、請求項２３に記載の方法。
【請求項５９】
前記レポートを、前記ユーザの前記署名により前記画像上でソートできる、請求項５８に記載の方法。
【請求項６０】
前記ユーザの各署名を、前記画像およびレポートの異なる編集特権に割り当てることのできる、請求項５８に記載の方法。
【請求項６１】
少なくとも２人のユーザ間で電子診察を行う方法であって、
画像を表示するステップと、
第１のユーザにおいて、あらかじめ定められた情報に対応する少なくとも第１の記号を前記画像に埋め込むステップと、
前記第１のユーザから少なくとも第２のユーザに、前記埋め込み記号付きの前記画像を送付するステップと、
前記少なくとも第２のユーザから前記第１のユーザに、あらかじめ定められた情報に対応する少なくとも第２の記号付きの前記画像を送付するステップと、
前記第１のユーザにおいて必要な場合、前記画像を変更するステップと、
前記少なくとも第２のユーザに前記画像を送付し返すステップとを有する方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２００８−５０６１８８（Ｐ２００８−５０６１８８Ａ）
【公表日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願番号】特願２００７−５２０４３８（Ｐ２００７−５２０４３８）
【出願日】平成１７年７月８日（２００５．７．８）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０２３８０７
【国際公開番号】ＷＯ２００６／０１７０７９
【国際公開日】平成１８年２月１６日（２００６．２．１６）
【出願人】（５０７００８０５７）ジェスチャーラド インコーポレイテッド (1)
【Ｆターム（参考）】
【公表日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願日】平成１７年７月８日（２００５．７．８）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０２３８０７
【国際公開番号】ＷＯ２００６／０１７０７９
【国際公開日】平成１８年２月１６日（２００６．２．１６）
【出願人】（５０７００８０５７）ジェスチャーラド インコーポレイテッド (1)
【Ｆターム（参考）】
[ Back to top ]