医用画像検索システム
【課題】読影医が診断の際に参考になる画像を自動的に検索し抽出する技術の提供。
【解決手段】一実施形態に係る医用画像検索システムは、医用画像を保持する画像データベースと、前記画像データベースから前記医用画像を呼び出す読映部と、前記医用画像に関連する参考画像を要求する画像要求部と、前記画像要求部からの要求に基づいて前記画像データベースに保持された医用画像から前記医用画像に関連する少なくとも一つの参考画像を検索する検索部と、前記画像要求部の作業の履歴を記録する作業履歴記録部と、前記作業履歴記録部に記録された履歴を解析して作業手順を生成する作業履歴解析部と、前記作業手順を登録する作業手順記録部と、前記医用画像に適した作業手順を検索する作業手順検索部と、前記検索された作業手順に係る情報の少なくとも一部を診断の流れに応じて提示する提示部と、を具備するものである。
【解決手段】一実施形態に係る医用画像検索システムは、医用画像を保持する画像データベースと、前記画像データベースから前記医用画像を呼び出す読映部と、前記医用画像に関連する参考画像を要求する画像要求部と、前記画像要求部からの要求に基づいて前記画像データベースに保持された医用画像から前記医用画像に関連する少なくとも一つの参考画像を検索する検索部と、前記画像要求部の作業の履歴を記録する作業履歴記録部と、前記作業履歴記録部に記録された履歴を解析して作業手順を生成する作業履歴解析部と、前記作業手順を登録する作業手順記録部と、前記医用画像に適した作業手順を検索する作業手順検索部と、前記検索された作業手順に係る情報の少なくとも一部を診断の流れに応じて提示する提示部と、を具備するものである。
【発明の詳細な説明】
【技術分野】
【０００１】
医用画像の読影の際に参考となる医用画像を検索するシステムに関する。
【背景技術】
【０００２】
医用画像の読影医に対して大量の画像から病巣の有無や、腫瘍の良性／悪性の判定などを行うことが要求されている。そこで、診断を支援するための様々な技術が提案されている。例えば、診断支援コンテンツを用意しておき、該診断支援コンテンツを選択的に利用することができるようにして、診断の目的や内容に応じた診断支援が可能な装置が提案されている（特許文献１参照）。また、関心領域の特徴量と医療情報を関連づけることにより、医用画像に関する医療情報を自動出力するシステムも提案されている（特許文献２参照）。このように、画像の診断には、他の読影医が診断した結果を参考にしながら進めるのが効率的である。また、多くの医療機関で、読影医の手助けをするＣＡＤ（Computer-Aided Detection）システムが導入されており、ＣＡＤは医用画像を特徴付ける数値を導きだしてくれる。しかし、現在では、読影医が参考になる画像を自動的に検索するような簡単な仕組みが存在していない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１２６０４５号公報
【特許文献２】特開２００６−３４３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
読影医が診断の際に参考になるような画像を自動的に検索して抽出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
一実施形態に係る医用画像検索システムは、医用画像を保持する画像データベースと、前記画像データベースから前記医用画像を呼び出す読映部と、前記医用画像に関連する参考画像を要求する画像要求部と、前記画像要求部からの要求に基づいて前記画像データベースに保持された医用画像から前記医用画像に関連する少なくとも一つの参考画像を検索する検索部と、前記画像要求部の作業の履歴を記録する作業履歴記録部と、前記作業履歴記録部に記録された履歴を解析して作業手順を生成する作業履歴解析部と、前記作業手順を登録する作業手順記録部と、前記医用画像に適した作業手順を検索する作業手順検索部と、前記検索された作業手順に係る情報の少なくとも一部を診断の流れに応じて提示する提示部と、を具備するものである。
【図面の簡単な説明】
【０００６】
【図１】本発明の第１の実施形態に係る医用画像検索システムの概略構成を示すブロック図である。
【図２】各データベースの詳細な構成と、その相互のリンクの関係を示す図である。
【図３】初期予想病名から確定病名までの具体例を示す図である。
【図４】第２の実施形態に係る医用画像検索システムの主要部の概略構成を示すブロック図である。
【図５】レポートから抽出した数値情報と、リンク数、アクセス回数、読影医信頼度、及び用語出現頻度を含む属性情報とを記録するフォーマット例である。
【図６】第３の実施形態に係る医用画像検索システムの主要部の概略構成を示すブロック図である。
【図７】検査名と検査部位毎の予想病名と確定病名の表の一例である。
【図８】全部の予想病名に対する確定病名の割合を示す図である。
【図９】損失テーブルの一例を示す図である。
【図１０】損失期待値テーブルの一例を示す図である。
【図１１】読影医の登録した作業テンプレートのデータ構造の一例を示す図である。
【図１２】作業テンプレート利用時の画面の一例を示す図である。
【図１３】読影時の作業履歴の記録のようすを示す図である。
【図１４】自動修正された作業テンプレートの一例を示す図である。
【図１５】自動修正された作業テンプレートの他の例を示す図である。
【発明を実施するための形態】
【０００７】
図面を参照して本発明の実施の形態を説明する。
【０００８】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る医用画像検索システムの概略構成を示すブロック図である。なお、本システムは、基本的に、ＣＰＵ、メモリ及び外部記憶装置を備えた専用のコンピュータシステムで構成されるが、具体的な構成例は省略する。
【０００９】
本実施形態に係る医用画像検索システムは、読影部１０と、画像検索部２０と、作業履歴記録部３０と、作業テンプレート登録部４０と、作業履歴解析部５０とを備えている。更に、読影部１０は、画像要求部１１と、評価入力部１２とを備えている。また、上記の各部は、診断などに必要な各種データベース（本明細書では、個々の構成については「ＤＢ」と記載する）に接続されている。本システムは、本実施形態に係るデータベースとして、画像ＤＢ２５、レポートＤＢ１３、診断結果ＤＢ１５、読影医ＤＢ１４、作業履歴ＤＢ３２、及び作業手順ＤＢ４２を備えている。これらのデータベースは、詳細は後述するように、相互にリンクにより結びつけられている。本構成による医用画像検索システムの動作を説明する。
【００１０】
読影医６２は、計算機の端末６０を介して読影部１０にアクセスすることで、検査で撮影された画像の診断を行う。この診断の結果として、読影医６２は診断の経緯を説明したテキストであるレポートを作成し、該レポートは、読影部１０を通じてレポートＤＢ１３に登録される。更に、病巣の位置とその病名が診断結果ＤＢ１５に登録される。
【００１１】
この場合において、本実施形態では、読影医６２は、診断中に今対応している検査の画像以外の画像も参考にすることが出来る。本実施形態では、読影部１０は診断の参考になる画像を提案する画像要求部１１を備えており、端末６０の画面上の操作によりこの画像要求部１１を起動できる。画像要求部１１は、どのような画像が要求されているかに応じて画像検索部２０に要求を出す。画像検索部２０は、詳細は後述する各種のＤＢ内の情報を用いて、要求に合致した画像を画像ＤＢ２５から取り出し、それを読影部１０に応答として返す。また、読影部１０は、評価入力部１２を備えている。評価入力部１２は、読影医６２は、端末６０を介して検索された画像が、役に立ったかたたなかったかを評価して入力する。例えば、非常に役に立った場合を「１００」、全く役に立たなかった場合を「０」として、１００点満点で点数付けしてその数値を入力する。他の実施形態では、評価入力の手間を省くため、読影医が推薦され画像を見たならば１００点、見なかったら０点とする。更に他の実施形態では読影医が画像に着目していた時間間隔により、画像が有用であったかどうかを判定する。画像が表示されていた時間を計測し、あるしきい値以上であれば１００点、しきい値以下であれば０点とする。また、医用画像検索システムは読影医６２がどのような操作を行ったかの履歴を保持する作業履歴記録部３０を備えている。作業履歴記録部３０はこの入力値を作業履歴ＤＢ３２に出力する。
【００１２】
読影医６２が診断を行う際には何らかの標準的な手順を参考にすることが出来る。これは読影医６２が読影部１０を使う際の操作の系列として具体化することが出来、それを記述したものを、本明細書では「作業テンプレート」と呼ぶことにする。作業テンプレートの使い方を簡単に説明する。
【００１３】
まず、最初の作業テンプレートは、診断に関して見識のある人が診断方法を、作業テンプレート登録部４０を通じて読影部１０に対する操作の系列として記述し、作業手順ＤＢ４２に登録することによって作成される。ある読影医６２がこの作業手順テンプレートを参考にする、ないしはそれに従って診断を行おうとした場合に、作業手順ＤＢ４２から作業手順を読影部１０に読み込む。その結果、読影部１０は画面の表示や、その順序に制限を加えることにより、読影医６２が作業手順を参考にする、あるいはその手順通りの操作を行うことを促す。
【００１４】
先に述べたように、読影医６２の診断作業は作業履歴ＤＢ３２に登録されるが、ここから作業手順を作ることも行われる。作業履歴解析部５０は、作業履歴ＤＢ３２に登録された作業履歴の中から、効果の高い作業の系列を割り出し、これを作業テンプレートとして作業手順ＤＢ４２に登録する。この作業テンプレートも読影医６２が診断の際に参考にすることが出来る。なお、作業テンプレートの更新などに関する詳細な記載は後述する。
【００１５】
以下、具体的な、各データベースの構成例を、図２を参照して説明する。図２は、各データベースの詳細な構成と、その相互のリンクの関係を示す図である。なお、このデータベースの構成は、以下の各実施形態においても同様である。図２に示すように、各データベースは、それぞれ独立ではなく、関連するデータベースの参照フィールドにリンクが張られている。
【００１６】
＜画像ＤＢ２５＞
画像ＤＢ２５は、検査のために撮影された画像を検査ごとにまとめて保持するデータベースである。１つの検査エントリーは、次のフィールドを持つ。
１） ＩＤ：検査を一意に識別するための番号。
２） 検査名：画像の種類。ＣＴ、ＭＲＩ、超音波の区別など。
３） 検査部位：検査した体の部位。頭部、胃、肺など。
４） 画像：この検査に置いて撮影された画像。複数あって良い。
５） レポート：該検査ＩＤに係る検査の診断の結果に基づいて読影医６２によって作成されたレポートへのリンク情報であって、レポートＤＢ１３に記憶されたレポートへのリンク情報。
【００１７】
＜レポートＤＢ１３＞
レポートＤＢ１３は、読影医６２が、診断の経緯を説明するために作ったレポートを保持するデータベースである。レポートは、例えば、テキストの中に、参照した画像のリンク情報を埋め込んだハイパーテキストになっている。１つのレポートエントリーは、次のフィールドを持つ。
１）テキスト：レポートのテキスト部分。
２）リンク：レポート中に埋め込まれた参考画像（診断に使用した画像も含む）へのリンク。次の２つのサブフィールドを持つ。
ａ）位置：テキスト中のリンク情報の埋め込み位置。
ｂ）画像：埋め込まれた画像の画像ＤＢ２５へのリンク情報。
５）診断結果：該レポートに対応する診断結果ＤＢ１５内の診断結果エントリーへのリンク情報。
６）数値情報：診断に係るさまざまな数値情報であって、例えば、数値情報として、バイタルの数値情報（体温、血圧等）、ＣＡＤで分析した結果得られる数値情報（ポリープのサイズ、ポリープの個数）、日付等がある。
【００１８】
＜診断結果ＤＢ１５＞
診断結果ＤＢ１５は、読影医６２が下した診断の結果をまとめたデータベースである。診断結果エントリーは、以下のフィールドを含む。
１）検査：診断結果に対応する検査（検査ＩＤでも良い）を指定する画像ＤＢ２５内の検査エントリーへのリンク情報。
２）読影医：診断を行った読影医６２を指定する読影医ＤＢ１４内の読影医エントリーへのリンク情報。
３）病巣：病巣についての記述。以下のサブフィールドを含む。
１）位置：病巣の人体器官上の位置
２）初期予想病名：最初に診断した際に決めた病名
３）病気候補：診断した病名以外に可能性が疑われる病名（もしあれば）
４）予想病名：ある時点での予想病名（例えば、カンファレンスで決定した病名） ５）確定病名：患者の治療を進める中で、最終的に患者が治癒（退院）または死亡した時点で決定していた病名
６）作業履歴：この病巣の診断の際の読影医６２の作業履歴であって、作業履歴ＤＢ３２内の作業履歴エントリーへのリンク情報。
図３に、初期予想病名から確定病名までの具体例を示す。図３によれば、例えば、患者「皮下注」が、画像診断により初期予想病名が胃潰瘍であった場合に、他の病気候補として、胃がんが考えられる。ここで、例えば、カンファレンスで「胃潰瘍」と診断されたが、最終的に「胃がん」であった場合には、確定病名として「胃がん」が記録される。一方、「坊茶間」では、当初「胃がん」と診断されたものの、最終的には、「問題なし」と診断されたことを示している。
【００１９】
＜読影医ＤＢ１４＞
読影医ＤＢ１４は、読影を行う読影医の情報を保持するデータベースである。読影医エントリーは、以下のフィールドを持つ。
１）氏名：読影医の氏名
２）経歴：読影医の経歴
３）診断：読影医６２が過去に行ったすべての診断履歴であって、診断結果ＤＢ１５内の診断結果エントリーへのリンク情報。
【００２０】
＜作業履歴ＤＢ３２＞
作業履歴ＤＢ３２は、読影医６２が読影部１０を操作した履歴を保持するデータベースである。履歴エントリーは、以下のフィールドを持つ。
【００２１】
１）標準手順：読影医６２が読影の際に従った、あるいは参考にした作業手順であって、作業手順ＤＢ４２内のエントリーへのリンク情報。
２）操作：読影医６２が診断の際に行った操作。以下のサブフィールドを持つ。
１）種類：読影医が画像診断の際に読影システムに対して行う操作の種類。例えば、画像を拡大したとか、病巣の大きさを測った等
２）参考レポート：操作の際に参考にしたレポートであって、レポートＤＢ１３内のエントリーへのリンク情報
３）時刻：操作が行われた時刻
４）評価：レポートが参考になった度合い。例えば、点数で示す。
【００２２】
＜作業手順ＤＢ４２＞
作業手順ＤＢ４２は、読影医６２が診断の際に準拠する、あるいは参考にする作業手順を保持するデータベースである。この作業手順は、標準的な作業手順として登録されているものである。
【００２３】
（第２の実施形態）
図４を参照して、第２の実施形態を説明する。図４は、第２の実施形態に係る医用画像検索システムの主要部の概略構成を示すブロック図である。第２の実施形態は、第１の実施形態において、具体的に類似画像を検索するための実施形態である。本実施形態では、読影部１０は、類似例要求部１６と、画像出力部１７とを備え、画像検索部２０は、類似度計算部２１と、優先度計算部２２とを備えている。
【００２４】
上記の構成において、類似例要求部１６は、第１の実施形態における画像要求部１１に代わるものであって、診断中の画像と類似する画像の検索を画像検索手段に要求する。この類似例要求部１６は、図示しない端末６０からの指示により起動される。また、画像出力部１７は、検索された画像、或いは画像へのリンク情報を端末６０に出力する。
【００２５】
類似度計算部２１は、リンク数計数部２１ａと、アクセス回数計数部２１ｂと、読影医信頼度評価部２１ｃと、用語出現頻度計数部２１ｄと、レポート評価集計部２１ｅとを備えており、選ばれた画像（以下、「選択画像」と称する）の中でどの画像が診断中の画像（以下、「診断画像」と称する）に類似しているかを、上記の各部で評価された値を用いて計算する。更に、類似度計算部２１は、レポートから数値情報を取り出す。
【００２６】
リンク数計数部２１ａは、選択画像に対するハイパーリンクの数を計数する。前述したように、読影医６２は、レポートを作成する際に、判断の際に参考にした画像をハイパーリンクによりレポートの中に埋め込んでおく。このハイパーリンクの数は、レポートＤＢ１３を走査して「レポート：リンク：画像」が選択画像と一致する回数を数えることにより計数される。
【００２７】
アクセス回数計数部２１ｂは、過去において当該医用画像検索システムを使用しているすべての読影医６２が選択画像を何回参考にしたかを計数する。具体的には、アクセス回数計数部２１ｂは、診断結果ＤＢ１５を走査して「診断：病巣：作業履歴」を取り出す。さらに作業履歴ＤＢ３２のなかのそれらに対応する履歴から「履歴：操作：参考レポート」を取り出す。そして、対応するレポートＤＢ１３のエントリーを取り出し、「レポート：リンク：画像」の値が選択画像と一致する回数を数える。
【００２８】
読影医信頼度評価部２１ｃは、選択画像に対して診断を下した読影医６２の信頼度を評価する。読影医６２の具体的な評価方法は次の通りである。まず、画像ＤＢ２５から選択画像を含む検査を取り出し、「検査：レポート」からその検査に対応するレポートを取り出す。次にレポートＤＢ１３の対応するレポートから「レポート：診断結果」を取り出す。更に、診断結果ＤＢ１５の対応する診断結果から「診断：読影医」を取り出す。この段階で選択画像に対する読影医６２が分かる。この読影医６２を、読影医Ａとする。更に読影医ＤＢ１４から「読影医：診断」を調べることによりこの読影医６２が行ったすべとの診断を追跡する。次に、診断結果ＤＢ１５から「診断：検査」をとりだす。次に、画像ＤＢ２５から「検査：画像」を取り出すことにより、読影医Ａが診断したすべての画像を取り出すことが出来る。ここで取り出した個々の画像に関してリンク数計数部２１ａを用いることによりその画像へのリンク数を算出する。読影医Ａが診断したすべての画像に対するリンク数の和を求め、これを読影医Ａの信頼度とする。
【００２９】
用語出現頻度計数部２１ｄは、画像ＤＢ２５から選択画像が含まれる検査をとりだし、「検査：レポート」からレポートを取り出す。引き続きレポートＤＢ１３から「レポート：テキスト」をたどってテキストを取り出す。テキストの中から重要語句の出現回数を数える。ここでは簡単のため用語としては１つのものを選び、その出現頻度を数えるものとする。
【００３０】
レポート評価集計部２１ｅは選択画像に対して、その画像を診断したレポートの評価が高いか低いかを見積もる。レポート評価集計部２１ｅは選択画像に対して、画像ＤＢ２５の選択画像に対する検査から「検査：レポート」を取り出し、選択画像に対応するレポートを取り出す。つぎに作業履歴ＤＢ３２を走査して、「履歴：操作：参考レポート」が取り出したレポートと一致する場合に、「履歴：操作：評価」の値を加えていく。この集計値をレポートの評価とする。
【００３１】
優先度計算部２２は、検索されたすべての画像に対して優先度を計算して優先度が大きい順に読影部１０に出力する。優先度としては、例えば類似度の大きいものに高い優先度を与える方法が考えられ、最も単純には類似度を優先度とすれば良い。その上で、優先度計算部２２は、ある指定された値より優先度が大きい画像、あるいは優先度の大きい順にある指定された数の画像を取り出す。上記のように構成された本実施形態に係る医用画像検索システム処理の流れを簡単に説明する。
【００３２】
読影医６２は、診断中の画像に対して有効な類似画像を見たいとき、端末６０を介して類似例要求部１６を起動する。このとき、読影医６２は、予想病名を必ず入力するものとする。類似例要求部１６は、診断画像とその予想病名を画像検索部２０に出力する。
【００３３】
画像検索部２０は、診断結果ＤＢ１５を走査して、予想病名に合致する病巣を持つ診断をすべて検索し、その診断に対応する検査に係る画像を画像ＤＢ２５から抽出する。そして、それらの検査に含まれる画像を、検索する画像の候補としてピックアップする。
【００３４】
類似度計算部２１は、レポートから抽出した数値情報と、リンク数、アクセス回数、読影医信頼度、及び用語出現頻度を含む属性情報とを、例えば、図５に示すフォーマットに記録しておく。これらの情報で、類似度の計算は、次の２つの計算で行う。
【００３５】
（計算１）数値情報の距離
数値情報のどれを選ぶかを指定する。ここでは、例えば数値情報１と数値情報３を指定したものとする。このとき、現在作成中のレポートにおける数値情報１と数値情報３とを要素とするベクトル（数値情報１、数値情報３）と、画像の候補を含むレポートに含まれる数値情報１と数値情報３を要素とするベクトルとの距離を計算して、該距離が指定した値以下のものを、類似度が高いものとして抽出する。
【００３６】
（計算２）属性情報
また、属性情報から、読影医が指定した条件以上のレポートを選択することができる。例えば、読影医は、リンク数が１以上、かつ医師の信頼度は３以上といった条件を、類似画像検索のためのキーとして入力できる。そして、例えば、条件を満たしていれば１、満たしていなければ０を返す。
【００３７】
以上の計算結果を用いて、類似度を計算することができる。計算順序としては、例えば、計算２の条件を満たしていない場合は０で終了し、計算２の条件を満たしている場合は、計算１の結果を利用して、類似度を計算して、類似度が高い画像を抽出する。ここで、類似度をｆ（ｘ）とすると、例えば、ｆ（ｘ）＝１／ｘであらわされ、ｆ（ｘ）は、ｘが取りうる範囲で単調減少し、かつ０以上の関数とする。
【００３８】
優先度計算部２２で取り出された画像は優先度が大きい順に読影部１０に出力され、画像出力部１７を介して端末６０により読影医６２に提示される。なお、読影医６２が、取得した画像について、役に立ったかたたなかったかを評価して入力すると、当該入力値が作業履歴更新部３１により、作業履歴ＤＢ３２の現在の履歴のフィールド「履歴:操作:評価」に保持される。また、本実施形態において、作業履歴更新部３１を設けずに、作業履歴記録部３０が、作業履歴の更新を行うようにしても良い。
【００３９】
（第３の実施形態）
図６を参照して、第３の実施形態を説明する。図６は、第３の実施形態に係る医用画像検索システムの主要部の概略構成を示すブロック図である。第３の実施形態は、第２の実施形態において、優先度に替えて、詳細は後述する正例、負例を判別することにより逐次画像を検索するようにしている。なお、図６において、図４と同じ部分には、同じ符号を付し、詳細な説明は省略する。
【００４０】
正例・負例判別部２３は、予想病名と確定病名との一致或いは不一致を判別する。具体的には、正例・負例判別部２３は、あらかじめ画像ＤＢ２５を走査して、すべての検査に対する診断の予想病名と確定病名を取り出す。その検索の順序は、例えば、「検査：レポート」→「レポート：診断結果」→「診断：予想病名」、「診断：確定病名」である。すべての検査に対する診断の予想病名と確定病名を取り出す。画像データについて、検査名と検査部位毎の予想病名と確定病名の表として、図７に示すような形式の表を作成する。ここで、検査名とはＣＴ、ＭＲＩ、超音波等の検査の種別を表し、検査部位とは頭部、腹部など身体のどの部分かを表すものである。理想的には、予想病名と確定病名が一致していることが好ましい。
【００４１】
例えば、図７において、予想病名Ａの欄を見てみると、確定病名がＡである症例は９１件であり、予想病名Ａであるが確定病名Ｂである症例は３件であることが分かる。図７において、各行を右端の合計値で割ると、図８の表が得られる。図８示す表は、全部の予想病名に対する確定病名の割合を示している。例えば、予想病名Ａについては、確定病名Ａが８９．２％、確定病名Ｂが２．９％、確定病名Ｃが１％、問題なしが６．９％であることを示している。
【００４２】
正例・負例判別部２３は、類似度計算部２１から渡された画像に対して以下の処理を行う。ここでは、入力された予想病名がＤであるとした場合における。具体的な処理手順を示す。
【００４３】
（１）正例の抽出
確定病名がＤである診断データ（画像とレポートの組）中で、類似度の大きい順に、予め指定された数だけ抽出する。
【００４４】
（２）負例の抽出
予想病名がＤで確定病名がＤでないケースを負例として抽出する。方法としては、例えば、次の２つがあげられる。
【００４５】
（方法１）
予め与えられた閾値が１％とすると、表で１％を超えるのは、Ｃと間違う（４．０％）場合、問題なし（２．４％）の場合、Ｂと間違う場合（１．６％）である。それぞれの場合について、類似度の大きい順に、予め指定された数だけ抽出する。
【００４６】
（方法２）
予め損失テーブルを用意しておく（図９参照）。この損失テーブルと図８に示したような確率を用いて、リスクの評価をおこなう。間違える確率と損失値を乗じることで、損失期待値テーブルの結果を得る（図１０参照）。この結果から、損失期待値の閾値を５とすると、Ａと間違う場合と、Ｂと間違う場合が５を超えている。それぞれの場合について、類似度の大きい順に、予め指定された数だけ抽出する。
【００４７】
（第４の実施形態）
本実施形態は、図１における作業履歴記録部３０、作業履歴ＤＢ３２、作業テンプレート登録部４０、作業手順ＤＢ４２、及び作業履歴解析部５０に係る実施形態である。本実施形態における構成要素は、第１から第３の実施形態と同様であるので、図示及び説明は省略する。まず、作業テンプレートについて簡単に説明する。
【００４８】
作業テンプレートは、診断手順の際に参照する画像やＣＡＤなどの情報を示すノード、判断を伴う分岐を示すノードと、判断をＡＮＤ／ＯＲ条件で論理演算し結合することを示すノードとをそれぞれアークで結んだネットワーク構造のデータとして内部表現される。図１１は、読影医の登録した作業テンプレートのデータ構造の一例を示す図である。この作業テンプレートは、端末６０に入力された診断の種類に応じて、読影部１０によって検索される。図１１に示す作業テンプレートでは、最初に心臓を縦方向から切断した断面図を参照した場合の例を示すものである。まず、縦断面図から、「出血の有無」、「血管閉塞の有無」及び「暗部の有無」をそれぞれ判断して、どれか１つでも当てはまった場合は該当部の拡大図で壊死の有無を確認し、開胸検査を行うか否かを診断する。壊死がなければ他の作業テンプレートＦ３（不図示）に接続する。「出血」、「血管閉塞」及び「暗部」がすべてない場合は、横方向から切断した断面とＣＡＤで測定した心臓比率を参照し肥大の有無を判定し、肥大があれば心筋症と判定、肥大がなければ他の作業テンプレートＦ１８（不図示）に接続する。このような作業テンプレートの原型は、読影医が作業テンプレート登録部４０を用いて作業手順ＤＢ４２に登録する。
【００４９】
次に、読影医が作業テンプレートを利用する方法の一例について説明する。図１２は、作業テンプレート利用時の画面の一例を示す図である。図１２において、画面左上のサブ画面は、図１１の作業テンプレートから推定される次に確認すべき判定事項の候補である。ここでは、暗部があるか否かを判断し終わった後であるものとする。次に、閉塞有無、出血有無を判定すると、図１１の作業テンプレートに基づいて、次のステップである壊死有無判定又は肥大有無判定に係る入力画面が読影部１０により端末６０の画面に表示される。
【００５０】
図１２におけるその他のサブ画面は、診断の参考とする情報であり、右上が患者本人の画像を表示するスペース、右下が他の患者や典型事例の参考となる症例の画像を表示するスペース、左下が参考とするＣＡＤの測定値を表示するスペースである。これらの参考情報は、作業テンプレートに指定されている種類のものは自動的に参照するためのリンク情報が表示される。さらに、読影医６２が任意のタイミングで検索画面からのドラッグや他画面へのドロップなどで新たなリンク情報を作成もしくは既にあるリンク情報を削除し、表示開始と終了を記録することが可能である。
【００５１】
次に、読影時の作業履歴について述べる。図１３に示したように、検索された判定事項を診断した場合、読影医６２が判定時に図１２の画面左上のサブ画面のようなボタンを押したりチェックしたりするなどの手段で入力すると、当該作業履歴が、時間データとともに作業履歴記録部３０により作業履歴ＤＢ３２に記録される。一方、同時にサブ画面で参照していた参照情報のＩＤやリンクのそれぞれに付き、参照を始めた時刻と参照を止めた時間が作業履歴記録部３０により判定事項の実行履歴と合わせて作業履歴ＤＢ３２に記録される。最終的な診断結果が正しかったか否かの情報が確認できる場合は、診断が正しかった診断場合の履歴データは正例、診断が間違っていた場合の診断時の履歴データは負例として蓄積される。
【００５２】
作業履歴データが十分に蓄積されると、作業履歴解析部５０が検索すべき参照情報の自動追加を行う。正例の作業履歴データから、あるテンプレートのある判定ステップと同時に参照されている頻度の高い画像やＣＡＤデータを同定し、サブ画面に検索参考情報として自動表示する。例えば、閉塞有無の判断をする場合は典型的な症例である画像Ｐ、Ｑを参照している頻度が高いと判断すれば、図１４のように、画像Ｐ、ＱのＩＤもしくはリンク情報を作業テンプレートに追加して、閉塞有無の判断をする場合には、常に画像Ｐ、Ｑがデフォルトで参照できるようにしておく。なお、頻度の判定には、データマイニング分野における相関ルールの発見と同様の考え方を利用して、以下のような条件を満足する参照情報を発見しても良い。
【数１】
【００５３】
ここで、Support（（判断ｉ＆参照情報ｋ）｜正例）は正例において判断ｉを実施した際に参照情報ｋが表示されていた場合の頻度を示す。参照情報と各判断は、正確には同期が取れているとは限らないため、判断ｉを実施した際に参照情報ｋが表示されていた場合の頻度と、参照情報ｋが判断iと無関係に表示されていた場合の頻度の割合を見積もるため、二番目の式が必要となる。
【００５４】
また、作業テンプレートの原型で順序関係が指定されていなくても、正例の作業履歴データで高い頻度で順序関係が見出せる場合は、新たな順序関係の追加を行うことが好ましい。例えば、図１１の作業テンプレートの例では、出血有無、閉塞有無、暗部有無の各判断の間に順序関係はなく、どの順番で判断してもよい。しかし、実際の正例の履歴データで、「暗部有無→出血有無」の順番が高い頻度で出現する場合には、作業履歴解析部５０は、この順番で判断を行うことに何らかの理由があると判断し、図１５のように順序関係を追加する。
【００５５】
なお、この場合における頻度の判定には、データマイニング分野における相関ルールの発見と同様の考え方を利用して、以下のような条件を満足する参照情報を発見しても良い。
【数２】
【００５６】
ここで、Support（判定ｉ⇒判定ｋ｜正例）は、正例において判定iの後に判定kが実施された場合の頻度を示し、Support（判定ｉ⇒判定ｋ）は負例も含める。二番目の式は、判定iの後に判定kが実施された頻度が、判定kの後に判定iが実施される頻度に比べ十分に多いことを示す。三番目の式は、正例において判定iの後に判定kが実施された頻度が、負例も含めた全体の履歴での判定iの後に判定kが実施された頻度より十分に多いことを示す。
【００５７】
上記のように、本発明の実施形態によれば、過去の診断結果を利用して、対象にしている画像の診断に参考になる画像を自動的に検索して抽出、提示することができる。
【００５８】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記の実施形態では、類似度計算部２１は、リンク数計数部２１ａと、アクセス回数計数部２１ｂと、読影医信頼度評価部２１ｃと、用語出現頻度計数部２１ｄとを備えているとしたが、いずれか１つでも良いし、１つ以上を適宜組み合わせても良い。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００５９】
１０…読影部、１１…画像要求部、１２…評価入力部、１３…レポートＤＢ、１４…読影医ＤＢ、１５…診断結果ＤＢ、１６…類似例要求部、１７…画像出力部、２０…画像検索部、２１…類似度計算部、２１ａ…リンク数計数部、２１ｂ…アクセス回数計数部、２１ｃ…読影医信頼度評価部、２１ｄ…用語出現頻度計数部、２２…優先度計算部、２３…正例・負例判別部、２５…画像ＤＢ、３０…作業履歴記録部、３１…作業履歴更新部、３２…作業履歴ＤＢ、４０…作業テンプレート登録部、４２…作業手順ＤＢ、５０…作業履歴解析部、６０…端末、６２…読影医
【技術分野】
【０００１】
医用画像の読影の際に参考となる医用画像を検索するシステムに関する。
【背景技術】
【０００２】
医用画像の読影医に対して大量の画像から病巣の有無や、腫瘍の良性／悪性の判定などを行うことが要求されている。そこで、診断を支援するための様々な技術が提案されている。例えば、診断支援コンテンツを用意しておき、該診断支援コンテンツを選択的に利用することができるようにして、診断の目的や内容に応じた診断支援が可能な装置が提案されている（特許文献１参照）。また、関心領域の特徴量と医療情報を関連づけることにより、医用画像に関する医療情報を自動出力するシステムも提案されている（特許文献２参照）。このように、画像の診断には、他の読影医が診断した結果を参考にしながら進めるのが効率的である。また、多くの医療機関で、読影医の手助けをするＣＡＤ（Computer-Aided Detection）システムが導入されており、ＣＡＤは医用画像を特徴付ける数値を導きだしてくれる。しかし、現在では、読影医が参考になる画像を自動的に検索するような簡単な仕組みが存在していない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１２６０４５号公報
【特許文献２】特開２００６−３４３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
読影医が診断の際に参考になるような画像を自動的に検索して抽出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
一実施形態に係る医用画像検索システムは、医用画像を保持する画像データベースと、前記画像データベースから前記医用画像を呼び出す読映部と、前記医用画像に関連する参考画像を要求する画像要求部と、前記画像要求部からの要求に基づいて前記画像データベースに保持された医用画像から前記医用画像に関連する少なくとも一つの参考画像を検索する検索部と、前記画像要求部の作業の履歴を記録する作業履歴記録部と、前記作業履歴記録部に記録された履歴を解析して作業手順を生成する作業履歴解析部と、前記作業手順を登録する作業手順記録部と、前記医用画像に適した作業手順を検索する作業手順検索部と、前記検索された作業手順に係る情報の少なくとも一部を診断の流れに応じて提示する提示部と、を具備するものである。
【図面の簡単な説明】
【０００６】
【図１】本発明の第１の実施形態に係る医用画像検索システムの概略構成を示すブロック図である。
【図２】各データベースの詳細な構成と、その相互のリンクの関係を示す図である。
【図３】初期予想病名から確定病名までの具体例を示す図である。
【図４】第２の実施形態に係る医用画像検索システムの主要部の概略構成を示すブロック図である。
【図５】レポートから抽出した数値情報と、リンク数、アクセス回数、読影医信頼度、及び用語出現頻度を含む属性情報とを記録するフォーマット例である。
【図６】第３の実施形態に係る医用画像検索システムの主要部の概略構成を示すブロック図である。
【図７】検査名と検査部位毎の予想病名と確定病名の表の一例である。
【図８】全部の予想病名に対する確定病名の割合を示す図である。
【図９】損失テーブルの一例を示す図である。
【図１０】損失期待値テーブルの一例を示す図である。
【図１１】読影医の登録した作業テンプレートのデータ構造の一例を示す図である。
【図１２】作業テンプレート利用時の画面の一例を示す図である。
【図１３】読影時の作業履歴の記録のようすを示す図である。
【図１４】自動修正された作業テンプレートの一例を示す図である。
【図１５】自動修正された作業テンプレートの他の例を示す図である。
【発明を実施するための形態】
【０００７】
図面を参照して本発明の実施の形態を説明する。
【０００８】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る医用画像検索システムの概略構成を示すブロック図である。なお、本システムは、基本的に、ＣＰＵ、メモリ及び外部記憶装置を備えた専用のコンピュータシステムで構成されるが、具体的な構成例は省略する。
【０００９】
本実施形態に係る医用画像検索システムは、読影部１０と、画像検索部２０と、作業履歴記録部３０と、作業テンプレート登録部４０と、作業履歴解析部５０とを備えている。更に、読影部１０は、画像要求部１１と、評価入力部１２とを備えている。また、上記の各部は、診断などに必要な各種データベース（本明細書では、個々の構成については「ＤＢ」と記載する）に接続されている。本システムは、本実施形態に係るデータベースとして、画像ＤＢ２５、レポートＤＢ１３、診断結果ＤＢ１５、読影医ＤＢ１４、作業履歴ＤＢ３２、及び作業手順ＤＢ４２を備えている。これらのデータベースは、詳細は後述するように、相互にリンクにより結びつけられている。本構成による医用画像検索システムの動作を説明する。
【００１０】
読影医６２は、計算機の端末６０を介して読影部１０にアクセスすることで、検査で撮影された画像の診断を行う。この診断の結果として、読影医６２は診断の経緯を説明したテキストであるレポートを作成し、該レポートは、読影部１０を通じてレポートＤＢ１３に登録される。更に、病巣の位置とその病名が診断結果ＤＢ１５に登録される。
【００１１】
この場合において、本実施形態では、読影医６２は、診断中に今対応している検査の画像以外の画像も参考にすることが出来る。本実施形態では、読影部１０は診断の参考になる画像を提案する画像要求部１１を備えており、端末６０の画面上の操作によりこの画像要求部１１を起動できる。画像要求部１１は、どのような画像が要求されているかに応じて画像検索部２０に要求を出す。画像検索部２０は、詳細は後述する各種のＤＢ内の情報を用いて、要求に合致した画像を画像ＤＢ２５から取り出し、それを読影部１０に応答として返す。また、読影部１０は、評価入力部１２を備えている。評価入力部１２は、読影医６２は、端末６０を介して検索された画像が、役に立ったかたたなかったかを評価して入力する。例えば、非常に役に立った場合を「１００」、全く役に立たなかった場合を「０」として、１００点満点で点数付けしてその数値を入力する。他の実施形態では、評価入力の手間を省くため、読影医が推薦され画像を見たならば１００点、見なかったら０点とする。更に他の実施形態では読影医が画像に着目していた時間間隔により、画像が有用であったかどうかを判定する。画像が表示されていた時間を計測し、あるしきい値以上であれば１００点、しきい値以下であれば０点とする。また、医用画像検索システムは読影医６２がどのような操作を行ったかの履歴を保持する作業履歴記録部３０を備えている。作業履歴記録部３０はこの入力値を作業履歴ＤＢ３２に出力する。
【００１２】
読影医６２が診断を行う際には何らかの標準的な手順を参考にすることが出来る。これは読影医６２が読影部１０を使う際の操作の系列として具体化することが出来、それを記述したものを、本明細書では「作業テンプレート」と呼ぶことにする。作業テンプレートの使い方を簡単に説明する。
【００１３】
まず、最初の作業テンプレートは、診断に関して見識のある人が診断方法を、作業テンプレート登録部４０を通じて読影部１０に対する操作の系列として記述し、作業手順ＤＢ４２に登録することによって作成される。ある読影医６２がこの作業手順テンプレートを参考にする、ないしはそれに従って診断を行おうとした場合に、作業手順ＤＢ４２から作業手順を読影部１０に読み込む。その結果、読影部１０は画面の表示や、その順序に制限を加えることにより、読影医６２が作業手順を参考にする、あるいはその手順通りの操作を行うことを促す。
【００１４】
先に述べたように、読影医６２の診断作業は作業履歴ＤＢ３２に登録されるが、ここから作業手順を作ることも行われる。作業履歴解析部５０は、作業履歴ＤＢ３２に登録された作業履歴の中から、効果の高い作業の系列を割り出し、これを作業テンプレートとして作業手順ＤＢ４２に登録する。この作業テンプレートも読影医６２が診断の際に参考にすることが出来る。なお、作業テンプレートの更新などに関する詳細な記載は後述する。
【００１５】
以下、具体的な、各データベースの構成例を、図２を参照して説明する。図２は、各データベースの詳細な構成と、その相互のリンクの関係を示す図である。なお、このデータベースの構成は、以下の各実施形態においても同様である。図２に示すように、各データベースは、それぞれ独立ではなく、関連するデータベースの参照フィールドにリンクが張られている。
【００１６】
＜画像ＤＢ２５＞
画像ＤＢ２５は、検査のために撮影された画像を検査ごとにまとめて保持するデータベースである。１つの検査エントリーは、次のフィールドを持つ。
１） ＩＤ：検査を一意に識別するための番号。
２） 検査名：画像の種類。ＣＴ、ＭＲＩ、超音波の区別など。
３） 検査部位：検査した体の部位。頭部、胃、肺など。
４） 画像：この検査に置いて撮影された画像。複数あって良い。
５） レポート：該検査ＩＤに係る検査の診断の結果に基づいて読影医６２によって作成されたレポートへのリンク情報であって、レポートＤＢ１３に記憶されたレポートへのリンク情報。
【００１７】
＜レポートＤＢ１３＞
レポートＤＢ１３は、読影医６２が、診断の経緯を説明するために作ったレポートを保持するデータベースである。レポートは、例えば、テキストの中に、参照した画像のリンク情報を埋め込んだハイパーテキストになっている。１つのレポートエントリーは、次のフィールドを持つ。
１）テキスト：レポートのテキスト部分。
２）リンク：レポート中に埋め込まれた参考画像（診断に使用した画像も含む）へのリンク。次の２つのサブフィールドを持つ。
ａ）位置：テキスト中のリンク情報の埋め込み位置。
ｂ）画像：埋め込まれた画像の画像ＤＢ２５へのリンク情報。
５）診断結果：該レポートに対応する診断結果ＤＢ１５内の診断結果エントリーへのリンク情報。
６）数値情報：診断に係るさまざまな数値情報であって、例えば、数値情報として、バイタルの数値情報（体温、血圧等）、ＣＡＤで分析した結果得られる数値情報（ポリープのサイズ、ポリープの個数）、日付等がある。
【００１８】
＜診断結果ＤＢ１５＞
診断結果ＤＢ１５は、読影医６２が下した診断の結果をまとめたデータベースである。診断結果エントリーは、以下のフィールドを含む。
１）検査：診断結果に対応する検査（検査ＩＤでも良い）を指定する画像ＤＢ２５内の検査エントリーへのリンク情報。
２）読影医：診断を行った読影医６２を指定する読影医ＤＢ１４内の読影医エントリーへのリンク情報。
３）病巣：病巣についての記述。以下のサブフィールドを含む。
１）位置：病巣の人体器官上の位置
２）初期予想病名：最初に診断した際に決めた病名
３）病気候補：診断した病名以外に可能性が疑われる病名（もしあれば）
４）予想病名：ある時点での予想病名（例えば、カンファレンスで決定した病名） ５）確定病名：患者の治療を進める中で、最終的に患者が治癒（退院）または死亡した時点で決定していた病名
６）作業履歴：この病巣の診断の際の読影医６２の作業履歴であって、作業履歴ＤＢ３２内の作業履歴エントリーへのリンク情報。
図３に、初期予想病名から確定病名までの具体例を示す。図３によれば、例えば、患者「皮下注」が、画像診断により初期予想病名が胃潰瘍であった場合に、他の病気候補として、胃がんが考えられる。ここで、例えば、カンファレンスで「胃潰瘍」と診断されたが、最終的に「胃がん」であった場合には、確定病名として「胃がん」が記録される。一方、「坊茶間」では、当初「胃がん」と診断されたものの、最終的には、「問題なし」と診断されたことを示している。
【００１９】
＜読影医ＤＢ１４＞
読影医ＤＢ１４は、読影を行う読影医の情報を保持するデータベースである。読影医エントリーは、以下のフィールドを持つ。
１）氏名：読影医の氏名
２）経歴：読影医の経歴
３）診断：読影医６２が過去に行ったすべての診断履歴であって、診断結果ＤＢ１５内の診断結果エントリーへのリンク情報。
【００２０】
＜作業履歴ＤＢ３２＞
作業履歴ＤＢ３２は、読影医６２が読影部１０を操作した履歴を保持するデータベースである。履歴エントリーは、以下のフィールドを持つ。
【００２１】
１）標準手順：読影医６２が読影の際に従った、あるいは参考にした作業手順であって、作業手順ＤＢ４２内のエントリーへのリンク情報。
２）操作：読影医６２が診断の際に行った操作。以下のサブフィールドを持つ。
１）種類：読影医が画像診断の際に読影システムに対して行う操作の種類。例えば、画像を拡大したとか、病巣の大きさを測った等
２）参考レポート：操作の際に参考にしたレポートであって、レポートＤＢ１３内のエントリーへのリンク情報
３）時刻：操作が行われた時刻
４）評価：レポートが参考になった度合い。例えば、点数で示す。
【００２２】
＜作業手順ＤＢ４２＞
作業手順ＤＢ４２は、読影医６２が診断の際に準拠する、あるいは参考にする作業手順を保持するデータベースである。この作業手順は、標準的な作業手順として登録されているものである。
【００２３】
（第２の実施形態）
図４を参照して、第２の実施形態を説明する。図４は、第２の実施形態に係る医用画像検索システムの主要部の概略構成を示すブロック図である。第２の実施形態は、第１の実施形態において、具体的に類似画像を検索するための実施形態である。本実施形態では、読影部１０は、類似例要求部１６と、画像出力部１７とを備え、画像検索部２０は、類似度計算部２１と、優先度計算部２２とを備えている。
【００２４】
上記の構成において、類似例要求部１６は、第１の実施形態における画像要求部１１に代わるものであって、診断中の画像と類似する画像の検索を画像検索手段に要求する。この類似例要求部１６は、図示しない端末６０からの指示により起動される。また、画像出力部１７は、検索された画像、或いは画像へのリンク情報を端末６０に出力する。
【００２５】
類似度計算部２１は、リンク数計数部２１ａと、アクセス回数計数部２１ｂと、読影医信頼度評価部２１ｃと、用語出現頻度計数部２１ｄと、レポート評価集計部２１ｅとを備えており、選ばれた画像（以下、「選択画像」と称する）の中でどの画像が診断中の画像（以下、「診断画像」と称する）に類似しているかを、上記の各部で評価された値を用いて計算する。更に、類似度計算部２１は、レポートから数値情報を取り出す。
【００２６】
リンク数計数部２１ａは、選択画像に対するハイパーリンクの数を計数する。前述したように、読影医６２は、レポートを作成する際に、判断の際に参考にした画像をハイパーリンクによりレポートの中に埋め込んでおく。このハイパーリンクの数は、レポートＤＢ１３を走査して「レポート：リンク：画像」が選択画像と一致する回数を数えることにより計数される。
【００２７】
アクセス回数計数部２１ｂは、過去において当該医用画像検索システムを使用しているすべての読影医６２が選択画像を何回参考にしたかを計数する。具体的には、アクセス回数計数部２１ｂは、診断結果ＤＢ１５を走査して「診断：病巣：作業履歴」を取り出す。さらに作業履歴ＤＢ３２のなかのそれらに対応する履歴から「履歴：操作：参考レポート」を取り出す。そして、対応するレポートＤＢ１３のエントリーを取り出し、「レポート：リンク：画像」の値が選択画像と一致する回数を数える。
【００２８】
読影医信頼度評価部２１ｃは、選択画像に対して診断を下した読影医６２の信頼度を評価する。読影医６２の具体的な評価方法は次の通りである。まず、画像ＤＢ２５から選択画像を含む検査を取り出し、「検査：レポート」からその検査に対応するレポートを取り出す。次にレポートＤＢ１３の対応するレポートから「レポート：診断結果」を取り出す。更に、診断結果ＤＢ１５の対応する診断結果から「診断：読影医」を取り出す。この段階で選択画像に対する読影医６２が分かる。この読影医６２を、読影医Ａとする。更に読影医ＤＢ１４から「読影医：診断」を調べることによりこの読影医６２が行ったすべとの診断を追跡する。次に、診断結果ＤＢ１５から「診断：検査」をとりだす。次に、画像ＤＢ２５から「検査：画像」を取り出すことにより、読影医Ａが診断したすべての画像を取り出すことが出来る。ここで取り出した個々の画像に関してリンク数計数部２１ａを用いることによりその画像へのリンク数を算出する。読影医Ａが診断したすべての画像に対するリンク数の和を求め、これを読影医Ａの信頼度とする。
【００２９】
用語出現頻度計数部２１ｄは、画像ＤＢ２５から選択画像が含まれる検査をとりだし、「検査：レポート」からレポートを取り出す。引き続きレポートＤＢ１３から「レポート：テキスト」をたどってテキストを取り出す。テキストの中から重要語句の出現回数を数える。ここでは簡単のため用語としては１つのものを選び、その出現頻度を数えるものとする。
【００３０】
レポート評価集計部２１ｅは選択画像に対して、その画像を診断したレポートの評価が高いか低いかを見積もる。レポート評価集計部２１ｅは選択画像に対して、画像ＤＢ２５の選択画像に対する検査から「検査：レポート」を取り出し、選択画像に対応するレポートを取り出す。つぎに作業履歴ＤＢ３２を走査して、「履歴：操作：参考レポート」が取り出したレポートと一致する場合に、「履歴：操作：評価」の値を加えていく。この集計値をレポートの評価とする。
【００３１】
優先度計算部２２は、検索されたすべての画像に対して優先度を計算して優先度が大きい順に読影部１０に出力する。優先度としては、例えば類似度の大きいものに高い優先度を与える方法が考えられ、最も単純には類似度を優先度とすれば良い。その上で、優先度計算部２２は、ある指定された値より優先度が大きい画像、あるいは優先度の大きい順にある指定された数の画像を取り出す。上記のように構成された本実施形態に係る医用画像検索システム処理の流れを簡単に説明する。
【００３２】
読影医６２は、診断中の画像に対して有効な類似画像を見たいとき、端末６０を介して類似例要求部１６を起動する。このとき、読影医６２は、予想病名を必ず入力するものとする。類似例要求部１６は、診断画像とその予想病名を画像検索部２０に出力する。
【００３３】
画像検索部２０は、診断結果ＤＢ１５を走査して、予想病名に合致する病巣を持つ診断をすべて検索し、その診断に対応する検査に係る画像を画像ＤＢ２５から抽出する。そして、それらの検査に含まれる画像を、検索する画像の候補としてピックアップする。
【００３４】
類似度計算部２１は、レポートから抽出した数値情報と、リンク数、アクセス回数、読影医信頼度、及び用語出現頻度を含む属性情報とを、例えば、図５に示すフォーマットに記録しておく。これらの情報で、類似度の計算は、次の２つの計算で行う。
【００３５】
（計算１）数値情報の距離
数値情報のどれを選ぶかを指定する。ここでは、例えば数値情報１と数値情報３を指定したものとする。このとき、現在作成中のレポートにおける数値情報１と数値情報３とを要素とするベクトル（数値情報１、数値情報３）と、画像の候補を含むレポートに含まれる数値情報１と数値情報３を要素とするベクトルとの距離を計算して、該距離が指定した値以下のものを、類似度が高いものとして抽出する。
【００３６】
（計算２）属性情報
また、属性情報から、読影医が指定した条件以上のレポートを選択することができる。例えば、読影医は、リンク数が１以上、かつ医師の信頼度は３以上といった条件を、類似画像検索のためのキーとして入力できる。そして、例えば、条件を満たしていれば１、満たしていなければ０を返す。
【００３７】
以上の計算結果を用いて、類似度を計算することができる。計算順序としては、例えば、計算２の条件を満たしていない場合は０で終了し、計算２の条件を満たしている場合は、計算１の結果を利用して、類似度を計算して、類似度が高い画像を抽出する。ここで、類似度をｆ（ｘ）とすると、例えば、ｆ（ｘ）＝１／ｘであらわされ、ｆ（ｘ）は、ｘが取りうる範囲で単調減少し、かつ０以上の関数とする。
【００３８】
優先度計算部２２で取り出された画像は優先度が大きい順に読影部１０に出力され、画像出力部１７を介して端末６０により読影医６２に提示される。なお、読影医６２が、取得した画像について、役に立ったかたたなかったかを評価して入力すると、当該入力値が作業履歴更新部３１により、作業履歴ＤＢ３２の現在の履歴のフィールド「履歴:操作:評価」に保持される。また、本実施形態において、作業履歴更新部３１を設けずに、作業履歴記録部３０が、作業履歴の更新を行うようにしても良い。
【００３９】
（第３の実施形態）
図６を参照して、第３の実施形態を説明する。図６は、第３の実施形態に係る医用画像検索システムの主要部の概略構成を示すブロック図である。第３の実施形態は、第２の実施形態において、優先度に替えて、詳細は後述する正例、負例を判別することにより逐次画像を検索するようにしている。なお、図６において、図４と同じ部分には、同じ符号を付し、詳細な説明は省略する。
【００４０】
正例・負例判別部２３は、予想病名と確定病名との一致或いは不一致を判別する。具体的には、正例・負例判別部２３は、あらかじめ画像ＤＢ２５を走査して、すべての検査に対する診断の予想病名と確定病名を取り出す。その検索の順序は、例えば、「検査：レポート」→「レポート：診断結果」→「診断：予想病名」、「診断：確定病名」である。すべての検査に対する診断の予想病名と確定病名を取り出す。画像データについて、検査名と検査部位毎の予想病名と確定病名の表として、図７に示すような形式の表を作成する。ここで、検査名とはＣＴ、ＭＲＩ、超音波等の検査の種別を表し、検査部位とは頭部、腹部など身体のどの部分かを表すものである。理想的には、予想病名と確定病名が一致していることが好ましい。
【００４１】
例えば、図７において、予想病名Ａの欄を見てみると、確定病名がＡである症例は９１件であり、予想病名Ａであるが確定病名Ｂである症例は３件であることが分かる。図７において、各行を右端の合計値で割ると、図８の表が得られる。図８示す表は、全部の予想病名に対する確定病名の割合を示している。例えば、予想病名Ａについては、確定病名Ａが８９．２％、確定病名Ｂが２．９％、確定病名Ｃが１％、問題なしが６．９％であることを示している。
【００４２】
正例・負例判別部２３は、類似度計算部２１から渡された画像に対して以下の処理を行う。ここでは、入力された予想病名がＤであるとした場合における。具体的な処理手順を示す。
【００４３】
（１）正例の抽出
確定病名がＤである診断データ（画像とレポートの組）中で、類似度の大きい順に、予め指定された数だけ抽出する。
【００４４】
（２）負例の抽出
予想病名がＤで確定病名がＤでないケースを負例として抽出する。方法としては、例えば、次の２つがあげられる。
【００４５】
（方法１）
予め与えられた閾値が１％とすると、表で１％を超えるのは、Ｃと間違う（４．０％）場合、問題なし（２．４％）の場合、Ｂと間違う場合（１．６％）である。それぞれの場合について、類似度の大きい順に、予め指定された数だけ抽出する。
【００４６】
（方法２）
予め損失テーブルを用意しておく（図９参照）。この損失テーブルと図８に示したような確率を用いて、リスクの評価をおこなう。間違える確率と損失値を乗じることで、損失期待値テーブルの結果を得る（図１０参照）。この結果から、損失期待値の閾値を５とすると、Ａと間違う場合と、Ｂと間違う場合が５を超えている。それぞれの場合について、類似度の大きい順に、予め指定された数だけ抽出する。
【００４７】
（第４の実施形態）
本実施形態は、図１における作業履歴記録部３０、作業履歴ＤＢ３２、作業テンプレート登録部４０、作業手順ＤＢ４２、及び作業履歴解析部５０に係る実施形態である。本実施形態における構成要素は、第１から第３の実施形態と同様であるので、図示及び説明は省略する。まず、作業テンプレートについて簡単に説明する。
【００４８】
作業テンプレートは、診断手順の際に参照する画像やＣＡＤなどの情報を示すノード、判断を伴う分岐を示すノードと、判断をＡＮＤ／ＯＲ条件で論理演算し結合することを示すノードとをそれぞれアークで結んだネットワーク構造のデータとして内部表現される。図１１は、読影医の登録した作業テンプレートのデータ構造の一例を示す図である。この作業テンプレートは、端末６０に入力された診断の種類に応じて、読影部１０によって検索される。図１１に示す作業テンプレートでは、最初に心臓を縦方向から切断した断面図を参照した場合の例を示すものである。まず、縦断面図から、「出血の有無」、「血管閉塞の有無」及び「暗部の有無」をそれぞれ判断して、どれか１つでも当てはまった場合は該当部の拡大図で壊死の有無を確認し、開胸検査を行うか否かを診断する。壊死がなければ他の作業テンプレートＦ３（不図示）に接続する。「出血」、「血管閉塞」及び「暗部」がすべてない場合は、横方向から切断した断面とＣＡＤで測定した心臓比率を参照し肥大の有無を判定し、肥大があれば心筋症と判定、肥大がなければ他の作業テンプレートＦ１８（不図示）に接続する。このような作業テンプレートの原型は、読影医が作業テンプレート登録部４０を用いて作業手順ＤＢ４２に登録する。
【００４９】
次に、読影医が作業テンプレートを利用する方法の一例について説明する。図１２は、作業テンプレート利用時の画面の一例を示す図である。図１２において、画面左上のサブ画面は、図１１の作業テンプレートから推定される次に確認すべき判定事項の候補である。ここでは、暗部があるか否かを判断し終わった後であるものとする。次に、閉塞有無、出血有無を判定すると、図１１の作業テンプレートに基づいて、次のステップである壊死有無判定又は肥大有無判定に係る入力画面が読影部１０により端末６０の画面に表示される。
【００５０】
図１２におけるその他のサブ画面は、診断の参考とする情報であり、右上が患者本人の画像を表示するスペース、右下が他の患者や典型事例の参考となる症例の画像を表示するスペース、左下が参考とするＣＡＤの測定値を表示するスペースである。これらの参考情報は、作業テンプレートに指定されている種類のものは自動的に参照するためのリンク情報が表示される。さらに、読影医６２が任意のタイミングで検索画面からのドラッグや他画面へのドロップなどで新たなリンク情報を作成もしくは既にあるリンク情報を削除し、表示開始と終了を記録することが可能である。
【００５１】
次に、読影時の作業履歴について述べる。図１３に示したように、検索された判定事項を診断した場合、読影医６２が判定時に図１２の画面左上のサブ画面のようなボタンを押したりチェックしたりするなどの手段で入力すると、当該作業履歴が、時間データとともに作業履歴記録部３０により作業履歴ＤＢ３２に記録される。一方、同時にサブ画面で参照していた参照情報のＩＤやリンクのそれぞれに付き、参照を始めた時刻と参照を止めた時間が作業履歴記録部３０により判定事項の実行履歴と合わせて作業履歴ＤＢ３２に記録される。最終的な診断結果が正しかったか否かの情報が確認できる場合は、診断が正しかった診断場合の履歴データは正例、診断が間違っていた場合の診断時の履歴データは負例として蓄積される。
【００５２】
作業履歴データが十分に蓄積されると、作業履歴解析部５０が検索すべき参照情報の自動追加を行う。正例の作業履歴データから、あるテンプレートのある判定ステップと同時に参照されている頻度の高い画像やＣＡＤデータを同定し、サブ画面に検索参考情報として自動表示する。例えば、閉塞有無の判断をする場合は典型的な症例である画像Ｐ、Ｑを参照している頻度が高いと判断すれば、図１４のように、画像Ｐ、ＱのＩＤもしくはリンク情報を作業テンプレートに追加して、閉塞有無の判断をする場合には、常に画像Ｐ、Ｑがデフォルトで参照できるようにしておく。なお、頻度の判定には、データマイニング分野における相関ルールの発見と同様の考え方を利用して、以下のような条件を満足する参照情報を発見しても良い。
【数１】
【００５３】
ここで、Support（（判断ｉ＆参照情報ｋ）｜正例）は正例において判断ｉを実施した際に参照情報ｋが表示されていた場合の頻度を示す。参照情報と各判断は、正確には同期が取れているとは限らないため、判断ｉを実施した際に参照情報ｋが表示されていた場合の頻度と、参照情報ｋが判断iと無関係に表示されていた場合の頻度の割合を見積もるため、二番目の式が必要となる。
【００５４】
また、作業テンプレートの原型で順序関係が指定されていなくても、正例の作業履歴データで高い頻度で順序関係が見出せる場合は、新たな順序関係の追加を行うことが好ましい。例えば、図１１の作業テンプレートの例では、出血有無、閉塞有無、暗部有無の各判断の間に順序関係はなく、どの順番で判断してもよい。しかし、実際の正例の履歴データで、「暗部有無→出血有無」の順番が高い頻度で出現する場合には、作業履歴解析部５０は、この順番で判断を行うことに何らかの理由があると判断し、図１５のように順序関係を追加する。
【００５５】
なお、この場合における頻度の判定には、データマイニング分野における相関ルールの発見と同様の考え方を利用して、以下のような条件を満足する参照情報を発見しても良い。
【数２】
【００５６】
ここで、Support（判定ｉ⇒判定ｋ｜正例）は、正例において判定iの後に判定kが実施された場合の頻度を示し、Support（判定ｉ⇒判定ｋ）は負例も含める。二番目の式は、判定iの後に判定kが実施された頻度が、判定kの後に判定iが実施される頻度に比べ十分に多いことを示す。三番目の式は、正例において判定iの後に判定kが実施された頻度が、負例も含めた全体の履歴での判定iの後に判定kが実施された頻度より十分に多いことを示す。
【００５７】
上記のように、本発明の実施形態によれば、過去の診断結果を利用して、対象にしている画像の診断に参考になる画像を自動的に検索して抽出、提示することができる。
【００５８】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記の実施形態では、類似度計算部２１は、リンク数計数部２１ａと、アクセス回数計数部２１ｂと、読影医信頼度評価部２１ｃと、用語出現頻度計数部２１ｄとを備えているとしたが、いずれか１つでも良いし、１つ以上を適宜組み合わせても良い。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００５９】
１０…読影部、１１…画像要求部、１２…評価入力部、１３…レポートＤＢ、１４…読影医ＤＢ、１５…診断結果ＤＢ、１６…類似例要求部、１７…画像出力部、２０…画像検索部、２１…類似度計算部、２１ａ…リンク数計数部、２１ｂ…アクセス回数計数部、２１ｃ…読影医信頼度評価部、２１ｄ…用語出現頻度計数部、２２…優先度計算部、２３…正例・負例判別部、２５…画像ＤＢ、３０…作業履歴記録部、３１…作業履歴更新部、３２…作業履歴ＤＢ、４０…作業テンプレート登録部、４２…作業手順ＤＢ、５０…作業履歴解析部、６０…端末、６２…読影医
【特許請求の範囲】
【請求項１】
医用画像を保持する画像データベースと、
前記画像データベースから前記医用画像を呼び出す読映部と、
前記医用画像に関連する参考画像を要求する画像要求部と、
前記画像要求部からの要求に基づいて前記画像データベースに保持された医用画像から前記医用画像に関連する少なくとも一つの参考画像を検索する検索部と、
前記画像要求部の作業の履歴を記録する作業履歴記録部と、
前記作業履歴記録部に記録された履歴を解析して作業手順を生成する作業履歴解析部と、
前記作業手順を登録する作業手順記録部と、
前記医用画像に適した作業手順を検索する作業手順検索部と、
前記検索された作業手順に係る情報の少なくとも一部を診断の流れに応じて提示する提示部と、
を具備することを特徴とする医用画像検索システム。
【請求項２】
前記検索部は、前記少なくとも一つの参考画像が、予想される病名と最終的に確定した病名が一致する正例画像、又は、一致しない負例画像のいずれであるかを判別し、
前記提示部は、前記検索された作業手順に係る情報の少なくとも一部と、前記前記少なくとも一つの参考画像と、前記判別結果と、を提示すること、
を特徴とする請求項１記載の医用画像検索システム。
【請求項３】
前記作業手順には、診断における判断の結果に伴う条件分岐と、前記判断の順序関係或いは前記判断の相互の順序を規定しない半順序関係と、各判断で参照した画像データや解析ツール（ＣＡＤ）に対する参照情報などの意思決定に有効な参考情報のリンク情報の集合とが、記述可能であることを特徴とする請求項１又は２記載の医用画像検索システム。
【請求項４】
前記作業履歴解析部は、前記作業手順の半順序関係を制約として守る範囲で、蓄積された作業履歴から推定される有効な参考情報のリンク情報の集合もしくは判断の新たな順序関係の追加を行い、新たな作業手順候補を生成することを特徴とする請求項３記載の医用画像検索システム。
【請求項１】
医用画像を保持する画像データベースと、
前記画像データベースから前記医用画像を呼び出す読映部と、
前記医用画像に関連する参考画像を要求する画像要求部と、
前記画像要求部からの要求に基づいて前記画像データベースに保持された医用画像から前記医用画像に関連する少なくとも一つの参考画像を検索する検索部と、
前記画像要求部の作業の履歴を記録する作業履歴記録部と、
前記作業履歴記録部に記録された履歴を解析して作業手順を生成する作業履歴解析部と、
前記作業手順を登録する作業手順記録部と、
前記医用画像に適した作業手順を検索する作業手順検索部と、
前記検索された作業手順に係る情報の少なくとも一部を診断の流れに応じて提示する提示部と、
を具備することを特徴とする医用画像検索システム。
【請求項２】
前記検索部は、前記少なくとも一つの参考画像が、予想される病名と最終的に確定した病名が一致する正例画像、又は、一致しない負例画像のいずれであるかを判別し、
前記提示部は、前記検索された作業手順に係る情報の少なくとも一部と、前記前記少なくとも一つの参考画像と、前記判別結果と、を提示すること、
を特徴とする請求項１記載の医用画像検索システム。
【請求項３】
前記作業手順には、診断における判断の結果に伴う条件分岐と、前記判断の順序関係或いは前記判断の相互の順序を規定しない半順序関係と、各判断で参照した画像データや解析ツール（ＣＡＤ）に対する参照情報などの意思決定に有効な参考情報のリンク情報の集合とが、記述可能であることを特徴とする請求項１又は２記載の医用画像検索システム。
【請求項４】
前記作業履歴解析部は、前記作業手順の半順序関係を制約として守る範囲で、蓄積された作業履歴から推定される有効な参考情報のリンク情報の集合もしくは判断の新たな順序関係の追加を行い、新たな作業手順候補を生成することを特徴とする請求項３記載の医用画像検索システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１０１０８８（Ｐ２０１２−１０１０８８Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１１−２７７６７０（Ｐ２０１１−２７７６７０）
【出願日】平成２３年１２月１９日（２０１１．１２．１９）
【分割の表示】特願２００７−５０７８４（Ｐ２００７−５０７８４）の分割
【原出願日】平成１９年２月２８日（２００７．２．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２３年１２月１９日（２０１１．１２．１９）
【分割の表示】特願２００７−５０７８４（Ｐ２００７−５０７８４）の分割
【原出願日】平成１９年２月２８日（２００７．２．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
[ Back to top ]