説明

データベースシステム、プログラム、及びレポート検索方法

【課題】画像に対するメタデータの付与ならびに検索条件の入力が容易で、かつ画像やレポートの検索精度が高い技術を提供する。
【解決手段】所定数の属性項目間で該各分類項目に属する複数の文字情報どうしがネットワーク状に関連付けられたネットワーク情報に基づき、分類項目毎に少なくとも1つの文字情報がそれぞれ列挙され、且つ複数の分類項目間で該各分類項目に属する複数の文字情報がネットワーク状に関連付けられている一覧表示が可視的に出力される。そして、該一覧表示において、レポートを構成する要素として、複数の分類項目のうちの一部の分類項目に対して文字情報がそれぞれ指定されている状態で、指定されている文字情報が検索キーワード群とされて、データベースにおいて各画像データに対して関連付けられている複数の文字情報をデータ検索のためのメタデータとしたキーワード検索が行われる。これにより、1以上のレポートデータが検出される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報の検索処理技術に関する。
【背景技術】
【0002】
医療分野においては、多数の読影レポートを電子データ化してPACS(Picture Archiving and Communication System)などのデータベースシステムに蓄積する技術が普及してきている。そして、このデータベースシステムでは、電子データ化された読影レポートと読影の対象となった画像データとが関連付けられて保存される。
【0003】
ところで、診断時における参考資料を得たり、代表的な症例をまとめたデータを作成したりする場面では、ある画像を元にして、類似した画像を検索したり、過去の読影レポートを検索することが出来れば、非常に利用価値が高い。
【0004】
ある画像を元にして類似した画像を検索する従来技術としては、画像の特徴量を利用した検索技術が知られているが、検索精度が低いといった問題がある。
【0005】
そこで、画像の特徴量と画像に付与したメタデータとを併用して類似画像を検索する技術(例えば、特許文献1、2)、画像に対してメタデータを簡単に付与するための技術(例えば、特許文献3、4)、及び動的メタデータ(動的特徴量)の類似度により動画像の検索を行う技術(例えば、特許文献5)等が提案されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2002−259410号公報
【特許文献2】特開2005−100090号公報
【特許文献3】特開2000−298606号公報
【特許文献4】特開2002−175298号公報
【特許文献5】特開2001−134589号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記特許文献1、2の技術では、画像に対してメタデータを付与する煩雑な作業が必要である。また、上記特許文献3の技術では、予め準備したメタデータの選択肢から適正なメタデータを選択することが可能であるが、特別にメタデータを付与する煩雑な作業は依然として必要であるとともに、付与可能なメタデータの種類が限定され自由度が低い。また、上記特許文献4の技術では、バイナリーデータにメタデータを登録する前に、予めメタデータを入力しておく必要があり、メタデータを付与する煩雑な作業が必要である。更に、上記特許文献5の技術では、メタデータを利用した検索時における検索条件の入力が非常に煩雑である。
【0008】
本発明は、上記課題に鑑みてなされたものであり、画像に対するメタデータの付与ならびに検索条件の入力が容易で、かつ画像やレポートの検索精度が高い技術を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために、請求項1の発明は、複数のレポートに含まれるレポート毎に、レポートを構成する複数の文字情報と、当該レポートに対応する1以上の画像データとが直接的及び/又は間接的に関連付けられた関連情報が蓄積されている関連情報データベースと、前記複数の文字情報が属する所定数の属性項目に含まれる属性項目毎に複数の文字情報が列挙されるとともに、該所定数の属性項目間で、該各分類項目に属する複数の文字情報どうしが相互にネットワーク状に関連付けられたネットワーク情報が記憶されている入力支援情報データベースと、前記ネットワーク情報に含まれる一部のネットワーク情報に基づき、前記所定数の分類項目に含まれる複数の分類項目について分類項目毎に少なくとも1つの文字情報がそれぞれ列挙され、且つ該複数の分類項目間で該各分類項目に属する複数の文字情報がネットワーク状に関連付けられている一覧表示と、少なくとも1つの画像データとを可視的に出力する出力手段と、前記出力手段によって前記少なくとも1つの画像データが可視的に出力されている状態で、ユーザーの動作に応答して、前記一覧表示において、前記複数の分類項目に対して文字情報をそれぞれ指定する指定手段と、前記指定手段によって前記複数の分類項目に対してそれぞれ指定された文字情報を、所定のレポートモデルに沿ったレポートを構成する要素として決定する決定手段と、前記出力手段によって前記少なくとも1つの画像データが可視的に出力されている状態であり、且つ前記指定手段によって前記一覧表示において前記複数の分類項目のうちの一部である1以上の分類項目に対して1以上の文字情報が指定されている状態で、ユーザーの動作に応答して、該1以上の文字情報を検索キーワード群とし、前記関連情報データベースにおいて各画像データに対して直接的及び/又は間接的に関連付けられている前記複数の文字情報をデータ検索のためのメタデータとしたキーワード検索を行うことで、前記出力手段によって可視的に出力されている前記少なくとも1つの画像データと関連する1以上のレポートデータを検出するレポート検出手段とを備えることを特徴とする。
【0010】
また、請求項2の発明は、請求項1に記載のデータベースシステムであって、前記複数のレポートに含まれるレポート毎に、レポートと当該レポートに対応する1以上の画像データとが関連付けられたレポート情報が蓄積されているレポートデータベースと、前記レポートデータベースに含まれる各レポートについて言語解析を行うことで、当該各レポートを構成する複数の文字情報を抽出する文字情報抽出手段と、前記複数のレポートに含まれるレポート毎に、前記文字情報抽出手段によって抽出されたレポートを構成する複数の文字情報と、当該レポートに対応する1以上の画像データとを直接的及び/又は間接的に関連付けて蓄積することで関連情報データベースを構築する記憶制御手段とを更に備えることを特徴とする。
【0011】
また、請求項3の発明は、請求項1又は請求項2に記載のデータベースシステムであって、前記関連情報を構成する複数の文字情報が、前記各レポートに対応する1以上の画像データに付与された属性情報を含むことを特徴とする。
【0012】
また、請求項4の発明は、請求項3に記載のデータベースシステムであって、前記属性情報が、患者ID、年齢、性別、モダリティ、検査部位、読影医師、及び担当医師を示す情報のうちの少なくとも1以上の情報を含むことを特徴とする。
【0013】
また、請求項5の発明は、請求項1から請求項4のいずれかに記載のデータベースシステムであって、前記関連情報が、RDFで記述されていることを特徴とする。
【0014】
また、請求項6の発明は、請求項1から請求項5のいずれかに記載のデータベースシステムであって、少なくとも1以上の文字情報に含まれる各文字情報に対して、当該各文字情報と所定の関係を有する1以上の関連文字情報が対応付けられて記憶された辞書データベースを更に備え、前記キーワード検索が、前記検索キーワード群に含まれる1以上の文字情報に対して前記所定の関係を有する1以上の関連文字情報を前記辞書データベースから抽出して前記検索キーワード群に追加する処理を含むことを特徴とする。
【0015】
また、請求項7の発明は、請求項6に記載のデータベースシステムであって、前記所定の関係が、類義語、同義語、及び関連語の関係うちの少なくとも1つの関係を含むことを特徴とする。
【0016】
また、請求項8の発明は、請求項6または請求項7に記載のデータベースシステムであって、前記所定の関係が、文字情報の概念の上下関係を含み、前記キーワード検索が、前記検索キーワード群に含まれる1以上の文字情報に対して1以上の上位概念の文字情報を前記辞書データベースから抽出して前記検索キーワード群に追加する処理を含むことを特徴とする。
【0017】
また、請求項9の発明は、請求項1から請求項8のいずれかに記載のデータベースシステムであって、前記所定数の分類項目が、撮影条件、部位、基本所見、特徴、診断、及び結語のうちの少なくとも1以上の項目を含むことを特徴とする。
【0018】
また、請求項10の発明は、請求項1から請求項9のいずれかに記載のデータベースシステムであって、前記キーワード検索が、前記指定手段によって前記一覧表示において前記複数の分類項目のうちの1以上の分類項目に対して指定されている1以上の文字情報のうち、前記所定数の分類項目に含まれる予め設定された所定の一部の分類項目に属する1以上の文字情報を、前記検索キーワード群として選択的に採用する処理を含むこと特徴とする。
【0019】
また、請求項11の発明は、請求項1から請求項10のいずれかに記載のデータベースシステムであって、ユーザーの動作に応答して、前記所定数の分類項目のうちの少なくとも一部の分類項目を指定する項目指定手段を更に備え、前記キーワード検索が、前記指定手段によって前記一覧表示において前記複数の分類項目のうちの1以上の分類項目に対して指定されている1以上の文字情報のうち、前記項目指定手段によって指定された一部の分類項目に属する1以上の文字情報を、前記検索キーワード群として選択的に採用する処理を含むこと特徴とする。
【0020】
また、請求項12の発明は、請求項1から請求項11のいずれかに記載のデータベースシステムであって、前記複数のレポートが、読影レポートを含むことを特徴とする。
【0021】
また、請求項13の発明は、請求項1から請求項12のいずれかに記載のデータベースシステムであって、前記レポート検出手段を有するサーバと、前記サーバに対してインターネット回線を介してデータ送受信可能に接続される端末機器とを備え、前記指定手段が、前記端末機器に対するユーザーの動作に応答して、前記出力手段によって前記少なくとも1つの画像データが可視的に出力されている状態で、前記一覧表示において、前記複数の分類項目に対して文字情報をそれぞれ指定し、前記サーバが、前記レポート検出手段によって検出された1以上のレポートデータを前記端末機器に対して前記インターネット回線を介して送信する送信手段を有し、前記端末機器が、前記出力手段を有し、該出力手段において、前記送信手段によって送信された1以上のレポートデータを可視的に出力することを特徴とする。
【0022】
また、請求項14の発明は、請求項13に記載のデータベースシステムであって、前記サーバが、前記前記レポート検出手段によって検出された1以上のレポートデータから所定種類の個人情報を削除する削除手段を更に備え、前記送信手段が、前記削除手段によって前記所定種類の個人情報が削除された1以上のレポートデータを前記端末機器に対して前記インターネット回線を介して送信することを特徴とする。
【0023】
また、請求項15の発明は、データベースシステムに含まれるコンピュータによって実行されることにより、前記データベースシステムを、請求項1から請求項14のいずれかに記載のデータベースシステムとして機能させるプログラムである。
【0024】
また、請求項16の発明は、レポート検索方法であって、(A)複数のレポートに含まれるレポート毎に、レポートを構成する複数の文字情報と、当該レポートに対応する1以上の画像データとが直接的及び/又は間接的に関連付けられた関連情報が蓄積されている関連情報データベース、ならびに前記複数の文字情報が属する所定数の属性項目に含まれる属性項目毎に複数の文字情報が列挙されるとともに、該所定数の属性項目間で、該各分類項目に属する複数の文字情報どうしが相互にネットワーク状に関連付けられたネットワーク情報が記憶されている入力支援情報データベースを準備するステップと、(B)前記ネットワーク情報に含まれる一部のネットワーク情報に基づき、前記所定数の分類項目に含まれる複数の分類項目について分類項目毎に少なくとも1つの文字情報がそれぞれ列挙され、且つ該複数の分類項目間で該各分類項目に属する複数の文字情報がネットワーク状に関連付けられている一覧表示と、少なくとも1つの画像データとを出力手段によって可視的に出力するステップと、(C)前記少なくとも1つの画像データが前記出力手段によって可視的に出力されている状態で、ユーザーの動作に応答して、前記一覧表示において、前記複数の分類項目に対して文字情報をそれぞれ指定するステップと、(D)前記ステップ(C)において前記複数の分類項目に対してそれぞれ指定された文字情報を、所定のレポートモデルに沿ったレポートを構成する要素として決定するステップと、(E)前記少なくとも1つの画像データが前記出力手段によって可視的に出力されている状態であり、且つ前記一覧表示において前記複数の分類項目のうちの一部である1以上の分類項目に対して1以上の文字情報が指定されている状態で、ユーザーの動作に応答して、該1以上の文字情報を検索キーワード群として、前記関連情報データベースにおいて各画像データに対して直接的及び/又は間接的に関連付けられている前記複数の文字情報をデータ検索のためのメタデータとしたキーワード検索を行うことで、前記出力手段によって可視的に出力されている前記少なくとも1つの画像データと関連する1以上のレポートデータを検出するステップとを備えることを特徴とする。
【0025】
なお、本明細書における「文字」には、漢字などの表意文字やローマ字、仮名等の表音文字は勿論のこと、ローマ数字等の数字も含まれる。
【0026】
また、本明細書における「キーワード検索」とは、データベースなどを検索する際に、各項目に対してあらかじめ設定されたキーワードを元に検索を行なうことである。
【発明の効果】
【0027】
請求項1に記載のデータベースシステムによれば、画像に関する詳細な情報が記載されているレポートを構成する文字情報をメタデータとして画像に対して付与しておき、画像に付与された文字情報をキーワードとして、上記メタデータを利用したキーワード検索を行うことができるため、レポートの検索精度が高くかつ、検索条件の入力が容易な検索技術を提供することができる。
【0028】
請求項2に記載のデータベースシステムによれば、画像に対して元々関連付けられていたレポートを構成する文字情報をメタデータとして画像に対して付与できるため、画像に対してメタデータの付与する特別な操作が不要となる。すなわち、画像に対するメタデータの付与が容易に可能となる。
【0029】
請求項3に記載のデータベースシステムによれば、画像に対して元々付与されていた属性情報もメタデータに含めることで、検索精度を更に向上させることができる。
【0030】
請求項4に記載のデータベースシステムによれば、画像の内容を特徴付ける項目に関する文字情報を利用した検索が可能となるため、検索精度をより向上させることができる。
【0031】
請求項5に記載のデータベースシステムによれば、RDFを利用することで、画像とレポートを構成する文字情報との関連を簡単に記述できる。
【0032】
請求項6から請求項8のいずれに記載のデータベースシステムによっても、最初に与えられたキーワードから所定の関係を有するキーワードをも含めたキーワード検索を行うことで、レポートの作成者によって若干異なる言葉使いの癖などに拘わらず、所望の画像やレポートが検出される確率が高まる。
【0033】
請求項7に記載のデータベースシステムによれば、類義語や同義語や関連語なども考慮したキーワード検索を行うことで、レポートの作成者によって若干異なる言葉使いの癖などに拘わらず、所望の画像やレポートが検出される確率が高まる。
【0034】
請求項8に記載のデータベースシステムによれば、上位概念のキーワードも考慮したキーワード検索を行うことで、所望の画像やレポートが検出される確率が高まる。
【0035】
請求項9に記載のデータベースシステムによれば、画像に関する特徴的な内容を示す文字情報を画像に対して付与できるため、検索精度を向上させることができる。
【0036】
請求項10及び請求項11のいずれに記載のデータベースシステムによっても、画像に付与された文字情報のうち一部の項目に属する文字情報を選択的に利用して検索を行うことで、検索処理に要する負荷を低減できる。
【0037】
請求項11に記載のデータベースシステムによれば、画像に付与された文字情報のうち所望の項目に属する文字情報を選択的に利用して検索を行うことができるため、ユーザーが指定する画像に付与されていない文字情報の項目を除外して検索を行うことができる。
【0038】
請求項12に記載のデータベースシステムによれば、読影レポートは画像と関連付けてデータベース化されることが多く、読影レポートは画像の特徴的な文字情報を多く含むため、画像に対するメタデータの付与の容易化、並びに検索精度の向上を図ることが可能である。
【0039】
請求項13に記載のデータベースシステムによれば、ユーザーは、検索対象の情報量を容易に増大させることができるインターネットを利用して、指定した画像について類似画像や関連するレポートの可視的な情報を得ることができるため、所望の画像やレポートが得られる確率を更に向上させることができる。
【0040】
請求項14に記載のデータベースシステムによれば、個人情報が広範囲に流出することを防ぐことができる。
【0041】
請求項15に記載のプログラムによれば、請求項1から請求項14と同様な効果を得ることができる。
【0042】
請求項16に記載の画像検索方法によれば、請求項1から請求項14と同様な効果を得ることができる。
【図面の簡単な説明】
【0043】
【図1】本発明の実施形態に係るデータベースシステムの概要を示す図である。
【図2】入力支援機能に係る情報処理内容の概要を示す図である。
【図3】検索機能に係る情報処理内容の概要を示す図である。
【図4】レポート入力装置で新規読影レポートを入力する状態を例示する図である。
【図5】新規レポートの入力及び情報検索に係る機能構成を示すブロック図である。
【図6】単一レポート構造化データを例示する図である。
【図7】多数の既存読影レポートに係る要素が構造化された例を示す図である。
【図8】詳細な要素をRDFの記述によって関連付けた情報を例示する図である。
【図9】支援情報作成動作の動作フローを示すフローチャートである。
【図10】検査一覧画面を例示する図である。
【図11】読影レポート入力画面を例示する図である。
【図12】依頼事項表示領域に表示される依頼事項の内容を例示する図である。
【図13】検査情報表示領域に表示される検査の詳細な内容を例示する図である。
【図14】頻出句の一覧を例示する図である。
【図15】サマリの一覧を例示する図である。
【図16】情報取得条件決定テンプレート表示を例示する図である。
【図17】入力支援テンプレート表示の表示例を示す図である。
【図18】入力支援テンプレート表示の表示例を示す図である。
【図19】画像表示画面の表示例を示す図である。
【図20】検索に係るコマンドのリストを例示する図である。
【図21】検索基準画像の特徴を示す文字情報の内容を示す図である。
【図22】辞書DBの記憶内容を例示する図である。
【図23】類似画像及び関連レポートの検索結果画面を例示する図である。
【図24】検索条件をカスタマイズする設定画面を例示する図である。
【図25】新規なレポートの作成動作フローを示すフローチャートである。
【図26】類似画像/関連レポートの検索動作フローを示すフローチャートである。
【図27】関連画像の表示画面を例示する図である。
【図28】シソーラスの内容を説明するための図である。
【図29】変形例に係るデータベースシステムの概要を示す図である。
【図30】変形例に係る入力支援テンプレート表示を例示する図である。
【図31】変形例に係る検索条件を決定するためのダイアログを例示する図である。
【図32】変形例に係る画像及び所見文の検索結果画面を例示する図である。
【発明を実施するための形態】
【0044】
以下、本発明の実施形態を図面に基づいて説明する。
【0045】
<データベースシステムの概要>
本発明の実施形態に係るデータベースシステムは、放射線画像等の画像の読影結果をレポーティングするためのシステムであり、上記画像は通常PACS(Picture Archiving and Communication System)の画像サーバ上に蓄積される。また、画像を読影したレポートを保存するデータベース(レポートデータベース)も存在する。このレポートデータベース(レポートDB)は、PACS内のサーバに存在しても良いし、PACS外の別サーバに存在しても良い。
【0046】
図1は、本発明の実施形態に係るデータベースシステム1の概要を例示する図である。
【0047】
データベースシステム1は、例えば、病院内で診療情報を管理・処理するためのシステムであり、LAN等のネットワーク回線NTWに、サーバ100、及び端末10,20が相互にデータ送受信可能に接続されている。また、サーバ100には、記憶部200がデータ送受信可能に接続され、更に、ネットワーク回線LNを介して端末30〜50がデータ送受信可能に接続されている。
【0048】
記憶部200は、診療対象である多数の患者に係る医療情報(以下「診療情報」とも称する)を記憶する診療情報データベース(診療情報DB)210を格納している。
【0049】
診療情報DB210には、各患者について放射線科で放射線撮影によって得られた複数の画像データが格納された画像データベース(画像DB)、複数の読影レポートに含まれるレポート毎に、画像DBに格納された1以上の画像データと当該1以上の画像データについて記載された読影レポートを示すデータとが関連付けられたデータ(以下「画像付きレポートデータ」とも、単に「レポートデータ」とも称する)が蓄積されたレポートデータベース(レポートDB)、及び当該レポートDBに格納されている各画像付きレポートデータが構造化されたデータ(単一レポート構造化データ)が蓄積された構造化データベース(構造化DB)が記憶されている。
【0050】
なお、1つの画像付きレポートデータで関連付けられる画像データは、1フレーム分に限られず、例えば、2フレーム分以上など1フレーム分以上の画像データであれば良い。そして、画像付きレポートデータでは、読影レポートを構成する自然文や各種文字情報のデータと、画像データの所在を特定する情報(例えば、ファイル名やURIの記述)とが関連付けられている。
【0051】
また、画像DBに格納された各画像データには、DICOM(Digital Image and Communications in Medicine)の属性(DICOM属性)に係る情報が付与されている。当該属性情報には、例えば、患者ID,年齢、性別、モダリティ、検査部位、読影医師、及び担当医師を示す情報が含まれるが、当該7つの情報のうちの少なくとも1以上の情報を含むような構成としても良い。
【0052】
また、診療情報DB210には、多数の患者についての検査の一覧を示すリスト(検査リスト)の情報(検査リスト情報)が格納されている。検査リスト情報には、例えば、検査毎に画像データに付与されていたDICOM属性の情報が列挙される。より詳細には、検査リスト情報には、例えば、各検査に係る患者の属性(患者ID、患者氏名、生年月日、年齢、性別)、読影レポートを作成したか否かを示す状態、検査を特定する検査ID、検査日、検査対象にあたる部位、撮影条件を示すモダリティ、及び撮影枚数をそれぞれ示す情報が含まれている。そして、診療情報DB210には、担当医からのオーダーリング(依頼事項)や検査の詳細(患者や検査に係る情報)を示す属性情報が検査IDと関連付けられて格納されている。
【0053】
サーバ100は、診療情報DB210に対する各種情報の書き込み/読み出しを行うとともに、診療情報DB210に格納される各種情報に基づいた情報処理を行う。サーバ100における情報処理は、端末10〜50に搭載されたデータ管理機能によって適宜管理される。
【0054】
データベースシステム1では、例えば、端末10,20が患者の担当医が使用する端末、端末30が放射線科の読影医が読影レポートを入力する端末(レポート入力装置)30、及び端末40,50が放射線科の技師が使用する端末である。
【0055】
端末10,20から放射線科の端末40,50に対してオーダーが入ると、放射線科の技師がMR装置やCR装置等を用いて患部の画像データを取得する。当該患部の画像データは、端末40,50からサーバ100を介して診療情報DB210に格納される。その後、放射線科の医師が、レポート入力装置30において、診療情報DB210に格納されている画像データを可視的に出力させた画面を参照しつつ読影レポートを入力する。
【0056】
サーバ100は、診療情報DB210に既に格納されている読影レポート(既存読影レポート)を利用して、新規な読影レポートの入力を支援する情報(入力支援情報)を作成し、当該入力支援情報から必要な情報を取得(抽出)してテンプレート表示の形でレポート入力装置30に提供する。
【0057】
また、サーバ100は、レポートDBに格納されている各画像付きレポートデータを利用して構造化することで、構造化DBを診療情報DB210内に構築する。そして、レポート入力装置30における新規な読影レポートの入力時に、サーバ100は、構造化DBを利用して、レポート入力装置30で指定された画像データに類似した画像データや関連する読影レポート(例えば、読影レポートの一部を構成する所見文等)のデータを参考情報として検索してレポート入力装置30に提供する。構造化DBが、検索を支援する情報(検索支援情報)の役割を果たす。
【0058】
なお、サーバ100において新規な読影レポートの入力を支援する機能を以下「入力支援機能」と称する。また、入力支援機能には、ユーザーによって指定された画像データに類似した画像(類似画像)データや関連する読影レポート(関連レポート)データを検索する機能(検索機能)が含まれる。検索機能を含む入力支援機能については更に後述する。
【0059】
図2及び図3は、データベースシステム1における入力支援機能に係る情報処理内容の概要を示す図であり、図3は、検索機能に係る情報処理内容の概要に着目して示す図である。
【0060】
診療情報DB210には、撮影された画像や作成された読影レポートを示すデータが保管されている。図2に示すように、レポート入力装置30は、診療情報DB210から読影対象の画像データを取得し、読影レポートを示すデータを作成する装置である。そして、サーバ100が、診療情報DB210から既存の読影レポートを示すデータを読み出して、解析機能によって解析することで、読影レポートの作成・入力を支援する情報(入力支援情報)が作成され、入力支援DB111に格納される。レポート入力装置30では、入力支援情報を利用して、新規な読影レポートの入力が行われる。また、新たに作成された読影レポートを示すデータは、診療情報DB210に追加されるとともに、入力支援DB111に格納される入力支援情報の補強に使用される。
【0061】
また、図3に示すように、診療情報DB210には、多数の画像付きレポートデータが蓄積されたレポートDB211、患部を捉えた多数の画像データが蓄積された画像DB212、及びレポートDB211に格納されている各画像付きレポートデータがそれぞれ構造化された単一レポート構造化データが蓄積された構造化DB213が保管されている。レポート入力装置30は、指定した画像データに類似した画像データや関連する読影レポートに係るデータを検索結果として診療情報DB210から得ることができる。なお、レポート入力装置30から入力される新規な読影レポートを示すデータは、レポートDB211及び構造化DB213の補強にも使用される。
【0062】
図4は、レポート入力装置30において新規な読影レポートを入力する状態を例示する図である。図4に示すように、レポート入力装置30では、放射線科の読影医が、診療情報DB210に格納された患者の画像データを可視的に出力した画面(画像表示画面)401を適宜参照しつつ、入力画面402において新規な読影レポートを入力する。図4では、画像表示画面401の左半分の表示領域LHに画像データが可視的に出力され、右半分の表示領域RHには画像データが可視的に出力されていない状態が示されている。表示領域RHは、検索機能における各種検索結果などを表示する領域として機能する。
【0063】
<入力支援機能>
入力支援機能は、診療情報DB210に格納された多数の画像付きレポートデータを過去の知識として、当該多数の画像付きレポートデータから、新規な読影レポートの入力に必要な要素を抽出してRDF(Resource Description Framework)等を利用して構造化することで、入力支援情報を作成し、適宜提示等を行う機能を有する。また、入力支援機能は、検索支援情報(ここでは、構造化DB213)を用いた検索を行う機能も有する。
【0064】
入力支援機能によって実現される動作は、主に、入力及び検索支援情報を作成する動作(支援情報作成動作)、入力対象の新規な読影レポートに対応する検査の選択に係る動作(検査選択動作)、入力支援情報に基づいて新規な読影レポートの入力を実際に支援する動作(入力支援動作)、及び検索機能によって実現される動作(検索動作)の4つの動作によって構成される。
【0065】
<機能構成>
図5は、データベースシステム1のうち検索機能を含む入力支援機能及び入力支援機能を利用した新規な読影レポートの入力に係る機能構成を示すブロック図である。図5で示す機能構成のうち、制御部120,31の備える機能は、サーバ100、及び端末(レポート入力装置)30において、それぞれハードディスク等によって構成される記憶部110,34に格納されたプログラムをCPU等によって構成される制御部120,31で実行することによって、実現される機能を概念的に示すものである。なお、当該機能構成で実行される各種情報処理において一時的に記憶される各種データは、例えば、制御部120,31にそれぞれ内蔵されているRAM等に適宜一時記憶される。
【0066】
サーバ100は、主に、記憶部110と制御部120とを備えて構成される。
【0067】
記憶部110は、サーバ100における各種制御や機能などを実現するための各種プログラムや各種データを格納している。例えば、記憶部110は、入力支援DB111と辞書データベース(辞書DB)130とを記憶している。
【0068】
入力支援DB111には、支援情報作成動作によって作成された入力支援情報が格納される。入力支援情報の具体的な内容については後述する。
【0069】
辞書DB130は、語句やフレーズなどといった各文字情報に対して、当該各文字情報と同じ意味や類似する意味や関連する意味を有する語句等が対応付けられて記憶されたデータベースである。つまり、辞書DB130では、類義語、同義語、及び関連語などといった所定の関係を有する語句などの文字情報が相互に対応付けられている。換言すれば、辞書DB130は、少なくとも1以上の文字情報に含まれる各文字情報に対して、所定の関係を有する1以上の文字情報(関連文字情報)が対応付けられたものである。なお、辞書DB130は、類義語、同義語、及び関連語のうちの1以上の関係を有する語句が対応付けられたものであっても良い。
【0070】
制御部120は、サーバ100の各種制御や機能などを統括制御するものであり、データ読込部121、検査済判定部122、データ構築部123、情報検索部125、レポート構成部127、及びデータ書込部128を機能として備えている。
【0071】
データ読込部121は、診療情報DB210から、画像付きレポートデータと、当該画像付きレポートデータに係る画像データに対応する属性情報と、検査リスト情報とを読み込む。そして、データ読込部121は、支援情報作成動作、及び入力支援動作においては、画像付きレポートデータと属性情報と検査リスト情報とを検査済判定部122に送出し、検査選択動作においては、検査リスト情報をレポート入力装置30の制御部31に送出する。
【0072】
検査済判定部122は、検査リスト情報を参照することで、各検査の読影レポートについて所見文等を書き込んで読影レポートが作成されているか否かを判定する。そして、検査済判定部122は、支援情報作成動作においては、作成済み(すなわち検査済み)の画像付きレポートデータを属性情報とともにデータ構築部123に送出し、入力支援動作においては、未完成(すなわち未検査)の画像付きレポートデータを属性情報とともにレポート入力装置30の制御部31に送出する。
【0073】
データ構築部123は、複数の画像付きレポートデータを対象として、画像付きレポートデータによって表される読影レポートを構成する自然文である所見文から必要な要素を抽出するとともに、属性情報に含まれる各種要素も抽出し、RDFを利用して構造化を行うことで、入力支援情報を作成して入力支援DB111を構築するとともに、検索支援情報を作成して構造化DB213を構築する。
【0074】
ここで作成される入力支援情報は、所見文を構成する複数の要素(ここでは文字情報)の項目に含まれる各項目間で、当該複数要素の項目にそれぞれ属する各要素が相互にネットワーク状に関連付けられた情報(以下「ネットワーク情報」とも称する)を含む情報(以下「要素ネットワーク情報」とも称する)となっている。
【0075】
また、ここで作成される検索支援情報は、複数のレポートに含まれるレポート毎に、レポートの所見文を構成する複数の文字情報(例えば語句)と、当該レポートの読影対象にあたる1以上の画像データとが関連付けられた情報(以下「関連情報」とも称する)が蓄積されて構築されたデータベース(構造化DB213)である。なお、構造化DB213は、関連情報データベース(DB)とも称する。
【0076】
情報検索部125は、レポート入力装置30からの要求に応答して、読影レポートの入力を直接的にサポートするテンプレート表示を構成するために、入力支援DB111に格納される要素ネットワーク情報から一部のネットワーク情報(以下「一部ネットワーク情報」とも称する)を取得する。そして、情報検索部125は、一部ネットワーク情報に基づき、複数要素の項目にそれぞれ属する各要素が各項目間で相互に関連付けられた一部ネットワーク情報の一覧表示を含む表示画面に係るデータ(ネットワーク表示画面データ)を生成し、制御部31に対して出力する。
【0077】
また、情報検索部125は、構造化DB213を検索対象として、レポート入力装置30において指定された画像データに係る類似画像及び関連レポートのデータを検索して取得するとともに、当該検索結果を表示する画面に係るデータ(検索結果表示画面データ)を生成し、制御部31に対して出力する。この検索動作では、指定された1以上の画像データに関連付けられた1以上の文字情報を検索キーワードとして、構造化DB213において画像データに対して関連付けられた複数の文字情報を画像データに付与されたデータ検索のためのメタデータとみなし、当該メタデータと検索キーワードとが合致するか否かに従った検索処理(すなわち、キーワード検索処理)が行われる。
【0078】
レポート構成部127は、入力支援動作において、ユーザーによる操作部32の操作に応じて構造化されたデータの形式で制御部31から入力される新規な単一レポート構造化データを受け付け、当該単一レポート構造化データに基づき、所定のルールに沿った新規な画像付きレポートデータを生成する。
【0079】
データ書込部128は、レポート構成部127で生成された画像付きレポートデータを診療情報DB210内のレポートDB211に追加する。このとき、レポート構成部127に入力される新規な単一レポート構造化データは、そのままの形式で診療情報DB210内の構造化DB213に対しても追加される。更に、レポート構成部127に入力される新規な単一レポート構造化データは、そのまま、データ構築部123に送られて、入力支援DB111の更新にも使用される。
【0080】
レポート入力装置30は、主に、制御部31、操作部32、表示部33、及び記憶部34を備えて構成される。
【0081】
制御部31は、レポート入力装置30の各種制御や機能などを統括制御するものであり、タスク管理部311、表示制御部312、及びクエリ生成部313を機能として備えている。
【0082】
タスク管理部311は、新規な読影レポートを入力する対象となる検査(レポート入力対象検査)が選択されると、レポート入力対象検査に対応する新規な画像付きレポートデータの作成に係るタスクを特定する。
【0083】
表示制御部312は、サーバ100から入力される各種情報等に基づいて、表示部33において、各種画面を可視的に出力させる。例えば、情報検索部125から入力されるネットワーク表示画面データに基づいてネットワーク表示画面を表示部33において可視的に出力させたり、検索結果表示画面データに基づいて検索結果表示画面を表示部33において可視的に出力させる。
【0084】
クエリ生成部313は、ユーザーである読影医が操作部32を種々操作することで指定された画像データに関連付けられた文字情報を検索キーワードとするクエリを生成して、情報検索部125に対して出力する。
【0085】
操作部32は、キーボードやマウス等を備えて構成され、ユーザーによって適宜操作されることで、各種信号を制御部31に対して出力する。
【0086】
表示部33は、液晶ディスプレイ等の各種ディスプレイによって構成され、例えば、情報検索部125において生成されたネットワーク表示画像データや検索結果表示画面データを表示制御部312による制御に応じて可視的に出力する。
【0087】
記憶部34は、レポート入力装置30における各種制御や機能などを実現するための各種プログラムや各種データを格納している。
【0088】
以下、図5を参照しつつ、入力支援機能によって実現される主な4動作である支援情報作成動作、検査選択動作、入力支援動作、及び検索動作について順次説明する。
【0089】
<支援情報作成動作>
まず、データ読込部121が、診療情報DB210から、画像付きレポートデータと、当該画像付きレポートデータに対応する属性情報と、検査リスト情報とを読み込み、検査済判定部122に送出する。検査済判定部122が、検査リスト情報を参照することで、各検査について画像付きレポートデータが作成されているか否かを判定し、作成済みの画像付きレポートデータを属性情報とともにデータ構築部123に送出する。そして、データ構築部123が、読影レポートの自然文である所見文から必要な要素を抽出するとともに、属性情報に含まれる各種要素も抽出し、RDFを利用して構造化を行う。この画像付きレポートデータの構造化は、例えば機械学習を利用して実現される。
【0090】
以下、データ構築部123における機械学習及び画像付きレポートデータの構造化について説明する。
【0091】
まず、例えば、教師データとして学習用コーパス等が与えられることで、構造化の基準となる情報を学習する。
【0092】
学習用コーパスは、読影レポートの所見文の形式(文章モデル)に準じた大量のテキストデータを含む。この文章モデルは、例えば、撮影条件→部位→基本所見(特徴−結語)→診断(診断−結語)といった具合に、読影レポートの所見文の構成を示すものである。そして、学習用コーパスでは、例えば、読影レポートのモデル(「レポートモデル」とも称する)に含まれる所見文の文章モデルを構成する各要素(ここでは各文字情報)の分類項目名が各語句にタグ付けされている。
【0093】
例えば、要素の分類項目としては「診断内容のカテゴリ(以下「カテゴリ」と略す)」「撮影条件」「部位」「基本所見」及び「診断内容(以下「診断」と略す)」等が挙げられる。
【0094】
そして、学習用コーパスでは、例えば、「脳梗塞」「虚血性変化」・・・等の語句に対して要素の分類項目名「カテゴリ」がタグ付けされている。「T1画像」「T2画像」・・・等の語句に対して要素の分類項目名「撮影条件」がタグ付けされている。「前頭葉」「側頭葉」・・・等の語句に対して要素の分類項目名「部位」がタグ付けされている。「点状、斑状の高信号域」「点状の高信号域」・・・等の語句に対して要素の分類項目名「基本所見」がタグ付けされている。「陳旧性脳梗塞」「広範な陳旧性脳梗塞」・・・等の語句に対して要素の分類項目名「診断」がタグ付けされている。
【0095】
なお、このような学習用コーパスがデータ構築部123に対して外部から与えられる際に、後述する新規な画像付きレポートデータを作成するために、結語をある程度特定した代表的な文章モデルを示すデータも外部から与えられる。
【0096】
データ構築部123の機械学習機能は、学習用コーパスから語句を抜き出し、対応する要素の分類項目毎にそれぞれ記憶する。つまり、データ構築部123では、学習用コーパスを含む教師データを学習教材とし、教師データを参照して要素の分類項目毎に各要素の分類項目に属する語句を学習して記憶する。ここで、学習されて記憶されるデータは、既存読影レポートを構成する各要素をどのような要素の分類項目に分解するのかを示すモデルのデータ(モデルデータ)として使用される。
【0097】
更に、データ構築部123の識別機能は、上述の如く学習されたモデルデータを基準としつつ、データ構築部123に入力される読影レポートを対象として、要素の分類項目と実際に使用されている語句とを識別する。
【0098】
なお、上述した機械学習の方法を用いると、予め教師データにおいて与えられた要素(ここでは、語句)についてしか、要素の分類項目を識別することができないが、以下の機械学習の方法を利用することで、予め教師データで与えられていなかった要素についても、要素の分類項目を識別することができる。
【0099】
例えば、データ構築部123の機械学習機能が、学習用コーパスを形態素解析によって形態素に分解し、形態素毎に、形態素そのもの、形態素の品詞、形態素の活用形、前後(例えば前後2つ)の形態素の情報等を用いて、ある分類項目に属する形態素が出現するパターンを学習する。そして、データ構築部123の識別機能が、当該パターンに従って、予め与えられていなかった要素(ここでは語句などの文字情報)についても、要素の分類項目を認識することができる。
【0100】
より具体的には、例えば、データ構築部123の機械学習機能は、学習用コーパスに「**に沿って」(「**」部には種々の語が入る)といった形の文が頻出する場合に、「**」の部分に部位を示す語句が頻出するときには、「**」の部分には部位を示す語句が入るというパターンを学習することができる。そして、データ構築部123の識別機能は、このようなパターンを利用すれば、既存の読影レポートを対象として、語の前後関係からフレーズ「下垂体/に/沿って」から「下垂体」を部位を示す語句として抽出することができる。なお、上記機械学習は、いわゆるSVM(Support Vector Machine)を利用することで実現することができる。このような機械学習によって自然言語処理の精度が向上する。
【0101】
このようにしてデータ構築部123では、レポートDB211に含まれる各画像付きレポートデータについて言語解析を行うことで、当該各画像付きレポートデータを構成する複数の文字情報を抽出する。
【0102】
そして、データ構築部123に含まれるデータ構造化機能では、識別機能によって識別された情報に基づき、画像付きレポートデータ及び属性情報に含まれる各種情報を、要素の分類項目毎に属する語句(要素)に分解してRDFで記述することで、画像付きレポートデータに係る情報を構造化する。
【0103】
図6は、1つの読影レポートの要素(既存の読影レポートに係る属性情報を構成する要素も含む)が構造化されたデータ(単一レポート構造化データ)を例示する図である。図6に示すように、画像付きレポートデータのファイル「A−0001」に対して、RDFによって、要素の分類項目「カテゴリ」「撮影条件」「部位」「基本所見」「診断」をそれぞれ属性の項目とし、各属性に対して属性値「脳梗塞」「T2WI」「前頭葉」「高信号域」「ラクナ梗塞」がぞれぞれ関連付けられて記述されている。そして、属性値「高信号域」に対して、要素の分類項目「特徴」を属性の項目として、当該属性に対して属性値「淡い」が関連付けられて記述されている。
【0104】
また、画像付きレポートデータのファイル「A−0001」に対して、RDFによって、「添付画像」及び画像データの属性情報に係る属性の項目「検査部位」「モダリティ」「年齢」「性別」を属性の項目とし、画像データのファイル名「img15.jpg」「頭部(SKULL)」「MR」「53」「男(M)」がそれぞれ属性値として関連付けられて記述されている。なお、単一レポート構造化データにおいて関連付けの対象となる属性の項目(属性項目)は、図6で示した11個の分類項目に限られず、例えば、検査属性の情報に含まれる他の属性項目や「結語」等といった自然文を構成する他の項目を含めた所定数の分類項目であっても良い。なお、図6では、画像データが1つしか関連付けられていないが、複数の画像データが関連付けられても良い。
【0105】
また、ここでは、画像付きレポートデータのファイル「A−0001」に対して、各属性値が直接的に関連付けらることで、画像データと添付画像以外の属性の項目に係る属性の項目の属性値とが、ファイル名「A−0001」を介して間接的に関連付けられたが、これに限られず、画像データと、一部又は全部の属性の項目に係る属性値とが直接的に関連付けられても良い。例えば、画像データの属性情報に係る属性の項目「検査部位」「モダリティ」「年齢」「性別」についての属性値「頭部(SKULL)」「MR」「53」「男(M)」が、画像データのファイル名を示す属性値「img15.jpg」に対して直接的に関連付けられても良い。
【0106】
また、データ構築部123では、図6で示したような単一レポート構造化データを、機械学習機能、識別機能、及びデータ構造化機能によって、診療情報DB210に格納された多数の検査済みの画像付きレポートデータについてそれぞれ作成する。
【0107】
このようにして、レポートDB211に格納される複数の画像付きレポートデータに含まれる画像付きレポートデータ毎に、画像付きレポートデータを構成する複数の文字情報と、画像付きレポートデータの読影対象として対応づけられた1以上の画像データとが関連付けられて作成された単一レポート構造化データを診療情報DB210に多数蓄積することで、検索動作を支援するための検索支援情報にあたる関連情報DBすなわち構造化DB213が構築される。
【0108】
また、データ構築部123では、各単一レポート構造化データにおいて関連付けられている複数の属性値を、属性項目毎に並べて相互に関連付け直してRDFで記述する処理を、多数の単一レポート構造化データの全てについて行う。そして、この処理の結果として、複数の属性項目に含まれる属性項目毎に複数の属性値(ここでは、語句などの文字情報)が列挙されるとともに、属性項目間で、属性値どうしが相互に(ネットワーク状に)関連付けられた情報(ネットワーク情報)が作成される。このネットワーク情報が、記憶部110に記憶されることで、新規な読影レポートの入力を支援する情報(入力支援情報)すなわち入力支援DB111が構築される。
【0109】
なお、ここでは、RDFを利用することで、構造化DB213や入力支援DB111を容易に記述することができる。
【0110】
図7は、多数の既存の画像付きレポートデータに係る要素が構造化された例を示す図であり、検査部位「頭部(SKULL)」及び「胸部(CHEST)」についてのネットワーク情報を例示している。図7では、関連付けられた語句どうしを実線で結んで示している。なお、図7では、図の複雑化を避けるために、語句を適宜「○○○」等と記載するとともに、関連付けを示す実線も図中の比較的上部に位置するものを例示して、その他の実線は省略している。
【0111】
また、データ構築部123で、ネットワーク情報を作成する際には、各単一レポート構造化データにおいて関連付けられた各項目間における語句の組合せの回数をカウントし、当該カウント情報を、入力支援DB111に格納しておく。例えば、「頭部−MR−53−M−脳梗塞−T2WI−前頭葉−高信号域−ラクナ梗塞」等といった語句の組合せの回数がカウント情報に記憶される。
【0112】
入力支援DB111に格納されるネットワーク情報では、既存の読影レポートにおいて、どのような語句がそれぞれ記述されたのかを、属性項目間で、語句どうしが関連付けられた態様で示される。そのため、当該ネットワーク情報を可視的に出力して、新規な読影レポートを入力する際に利用すると有効である。特に、各属性項目を入力する要素の項目(入力要素項目)とし、各属性項目に列挙される複数の語句を入力する候補(選択肢)として、テンプレート表示の形態で提供すれば有効である。
【0113】
ところで、入力支援DB111に格納されるネットワーク情報では、各属性項目に列挙される語句について、同義語(例えば「T2強調画像」と「T2WI」等)が多いと、選択肢が増大し過ぎて、選択肢の指定が困難となる。そこで、同義語については、データ構築部123の識別機能で、語句を検出する際に、代表的な1つの語句に置き換える処理を行う。また、属性項目に「結語」等がある場合には、結語等の表現の振れ(例えば「考える」と「考えます」等)が多いと選択肢が増大し過ぎて、選択肢の指定が困難となる。そこで、表現の振れについて、データ構築部123の識別機能で、結語を検出する際に、代表的な1つの表現に置き換える処理を行う。
【0114】
このような語句の代表的な語句への置き換えについては、教師データに、複数の語句と代表的な語句とを対応付けたテーブルを含ませることで、実現することができる。なお、表現の振れについては、表現の振れを正規化して、最も使用頻度の高いものに全て置き換えても良い。また、同義語についても最も使用頻度の高いものに全て置き換えても良い。
【0115】
また、読影レポートでは、例えば、属性項目「基本所見」について、大分類と特徴を示す修飾語とが複合したフレーズ(基本所見フレーズ)を用いる場合が多い。例えば、基本所見フレーズ「淡い高信号域」は、大分類「高信号域」、特徴「淡い」とが複合したものである。
【0116】
このように、基本所見フレーズ(例えば「淡い高信号域」「濃い高信号域」等)は、大分類と特徴による多数の組合せによって構成されるため、選択肢が増大し過ぎて、選択肢の指定が困難となる。そこで、例えば、属性項目「基本所見」については、基本所見フレーズを構成する要素を2要素の項目「大分類」「特徴」に分解する。
【0117】
この構成要素を2要素の項目に分解する処理は、各要素の項目に属する言語要素を列挙したモデルを基準として公知のSVM等を用いることで実現される。なお、ここで使用するモデルは、例えば、多数の基本所見フレーズが列挙されたコーパスを含む教師データを用いた機械学習によって得ることができる。なお、このコーパスでは、基本所見フレーズを構成する多数の言語要素に対して項目名がそれぞれタグ付けされている。
【0118】
そして、ネットワーク情報における属性項目「基本所見」について、ある大分類の用語に係る基本所見フレーズを当該大分類の用語に置換する。このとき、ネットワーク情報とは別に、図8に示すように、大分類の用語に対して、基本所見フレーズを形成するために複合する特徴(すなわち修飾語)などといった詳細な要素をRDFの記述によって関連付けた情報(詳細情報)を構成する。この詳細情報は、詳細な要素が関連付けられた要素(詳細情報付き要素)と、詳細な要素(詳細要素)とが関連付けられた構造化データ(詳細情報構造化データ)を形成している。
【0119】
具体的には、図8では、詳細情報付き要素である大分類の用語「高信号域」に対して、詳細要素の項目「特徴」に属する詳細要素「なし」「淡い」「濃い」が関連付けられている。
【0120】
なお、例えば、基本所見フレーズ等といったある項目に属するフレーズも、当該ある項目に属する要素に当たる大分類の用語に対する詳細な要素に該当する。よって、以下で言う「詳細要素」には、特徴等といったフレーズを構成する詳細な要素が含まれるが、適宜、複数の詳細な要素が結合した結果物であるフレーズも含まれる。
【0121】
また、ネットワーク情報とカウント情報と詳細情報とは、複数の項目間における複数の項目にそれぞれ属する要素(ここでは、語句)どうしの関連付けを示す情報であるため、適宜「要素ネットワーク情報」と称する。また、カウント情報は、1以上の詳細要素も含む複数の要素間の関連付けの強さを示す情報(「関連強度情報」とも称する)となっている。
【0122】
図9は、支援情報作成動作の動作フローを示すフローチャートである。本動作フローは、サーバ100の制御部120において、入力支援機能を実現するためのプログラムが実行されることで実現される。
【0123】
ステップST1では、データ読込部121及び検査済判定部122によって、診療情報DB210から、画像付きレポートデータが属性情報とともに読み込まれる。
【0124】
ステップST2では、データ構築部123の機能によって、画像付きレポートデータによって示される自然文である所見文が構造化される。
【0125】
ステップST3では、データ構築部123により、ステップST2で構造化されたデータに属性情報が追加されて、図6で示されたような単一レポート構造化データが作成される。
【0126】
ステップST4では、ステップST3で作成された単一レポート構造化データが診療情報DB210に記憶される。このステップST4における単一レポート構造化データの記憶処理が繰り返されることで、構造化DB213が構築される。
【0127】
ステップST5では、データ構築部123により、レポートDB211に格納されている全ての画像付きレポートデータについて単一レポート構造化データが作成されたか否か判定する。ここで、全ての画像付きレポートデータについて単一レポート構造化データが作成されていない場合には、ステップST1に戻り、次の画像付きレポートデータが属性情報とともに読み込まれて単一レポート構造化データが作成されて記憶される。また、全ての画像付きレポートデータについて単一レポート構造化データが作成された場合には、ステップST6に進む。
【0128】
ステップST6では、データ構築部123により、全ての画像付きレポートデータについての単一レポート構造化データに基づいて、図7で示されたようなネットワーク情報が作成される。
【0129】
ステップST7では、ステップST6で作成されたネットワーク情報が記憶部110に記憶されることで、入力支援DB111が構築されて、本動作フローが終了する。このとき、ネットワーク情報及びカウント情報を含む要素ネットワーク情報が作成され、入力支援DB111に格納される。
【0130】
ところで、診療情報DB210に蓄積される画像付きレポートデータは、レポート入力装置30からの入力に応じて新たな画像付きレポートデータが作成される度に増加する。この時間とともに更に蓄積されていく読影レポートも過去の知識として利用できれば有効である。特に、これまでにない所見文等が新たに蓄積された読影レポートに含まれる場合には、過去の知識が更に進化するため、より有効である。この点については後述するが、入力支援動作(後述)において、読影レポートの所見文を構成する各要素の項目毎に実際に入力する要素が指定されることに応答して、過去の知識が進化する。
【0131】
<検査選択動作>
次に、レポート入力装置30において、検査リストを示す画面(検査一覧画面)を表示させて、レポート入力対象検査を選択する動作(検査選択動作)について説明する。
【0132】
なお、検査選択動作は、入力支援機能によって実現され、データ読込部121は、診療情報DB210から検査リスト情報を読み込み、レポート入力装置30の制御部31に転送する。制御部31は、表示制御部312の機能により、検査リスト情報に基づいて、表示部33に検査一覧画面を表示させる。
【0133】
図10は、検査一覧画面G1を例示する図である。図10に示すように、検査一覧画面G1は、検査に係る情報(具体的には、患者ID、患者氏名、生年月日、年齢、性別、状態、検査ID、検査日、検査部位、モダリティ、画像枚数)が一覧表示された画面である。
【0134】
この検査一覧画面G1では、状態「未読影」が付された検査が、読影レポートが作成されていない検査であることが分かる。
【0135】
検査一覧画面G1では、1つの検査を囲む太枠カーソルCS1が表示される。この太枠カーソルCS1は、ユーザーによる操作部32の操作に応答して上下に移動され、所望の検査に合わされた状態で、操作部32の決定ボタン(例えば、リターンキー)が押下されると、太枠カーソルCS1で囲まれた1つの検査がレポート入力対象検査として選択される。このようにして、レポート入力対象検査が選択されると、表示部33に表示される画面が検査一覧画面G1からレポート入力画面G2(後述)に遷移する。
【0136】
この検査選択動作では、例えば、図10に示すような検査一覧画面でレポート入力対象検査が選択されると、項目「検査部位」に属する要素(例えば、SKULL)と項目「モダリティ」に属する要素(例えば、CR)との組合せも同時に指定され認識される。
【0137】
また、レポート入力対象検査が選択されると、タスク管理部311により、レポート入力対象検査に対応する新規な読影レポートの作成に係るタスクが特定される。このとき、タスク管理部311の制御下で、診療情報DB210からレポート入力対象検査に対応する依頼事項、及び検査の詳細を示す属性情報がデータ読込部121によって読み込まれ、レポート入力装置30の制御部31に提供される。
【0138】
<入力支援動作>
次に、レポート入力装置30において、新規な読影レポートを入力する画面(読影レポート入力画面)を表示させて、新規な読影レポートを入力させる場合について説明する。なお、レポート入力装置30の表示部33において表示される各種画面に係るデータはサーバ100から入力され、レポート入力装置30内の表示制御部312が当該入力データに基づいて表示部33における画面表示を実現する。
【0139】
図11は、読影レポート入力画面G2を例示する図である。図11に示すように、読影レポート入力画面G2は、主に、依頼事項表示領域A1、検査情報表示領域A2、メモ領域A3、非公開メモ領域A4、作成支援情報表示領域A5、所見文表示領域A6、頻出句表示領域A7、サマリ表示領域A8、画像添付領域A9、コマンド表示領域A10によって構成されている。
【0140】
依頼事項表示領域A1は、レポート入力対象検査に係る依頼事項の内容が表示される領域である。具体的には、サーバ100を介して診療情報DB210から取得した依頼事項に係る情報に基づいて、例えば、図12に示すような依頼事項の内容が依頼事項表示領域A1に表示される。
【0141】
検査情報表示領域A2は、レポート入力対象検査に係る検査の詳細な内容が表示される領域である。具体的には、サーバ100を介して診療情報DB210から取得した検査の詳細に係る情報に基づいて、例えば、図13に示すような検査の詳細な内容が検査情報表示領域A2に表示される。
【0142】
メモ領域A3は、読影医による操作部32の操作に応じて、自由な意見やその他の情報が記述される領域である。
【0143】
非公開メモ領域A4は、メモ領域A3と同様に、読影医による操作部32の操作に応じて、自由な意見やその他の情報が記述される領域である。但し、非公開メモ領域A4に記述される情報は、特定の機器又は特定の者しか閲覧することができない。例えば、IPアドレスを用いたフィルタリングやパスワードの入力等によって閲覧を制限することができ、秘匿性の高い個人情報の情報管理に利用することができる。
【0144】
作成支援情報表示領域A5は、読影レポートの作成を支援するために上述した入力支援DB111に格納されたネットワーク情報から取得(抽出)された一部のネットワーク情報を可視的に提供する領域である。詳細については後述するが、作成支援情報表示領域A5では、まず、項目「カテゴリ」に属する要素を指定する画面が表示され、当該画面で指定された項目「カテゴリ」に属する要素に応じたネットワーク情報が入力支援DB111から取得されてテンプレート表示の形態で可視的に出力された画面(以下「入力支援テンプレート画面」とも称する)が表示される。入力支援テンプレート画面については後で詳述する。
【0145】
所見文表示領域A6は、読影レポートを構成する所見文が表示される領域であり、読影医による操作部32の操作に応答して所見文が記入される。
【0146】
頻出句表示領域A7は、所見文で頻繁に使用される定型句(頻出句)の一覧が表示される領域であり、頻出句表示領域A7では、例えば、図14に示すような頻出句の一覧が表示される。読影医は操作部32のマウス等を適宜操作することで、頻出句の一覧から1つの頻出句を指定して、所見文表示領域A6のカーソル位置に指定された頻出句をコピー(記入)することができる。
【0147】
サマリ表示領域A8は、所見文で頻繁に使用される定型文(サマリ句)の一覧が表示される領域であり、サマリ表示領域A8では、例えば、図15に示すような定型文の一覧が表示される。読影医は操作部32のマウス等を適宜操作することで、定型文の一覧から1つの定型文を指定して、所見文表示領域A6のカーソル位置に指定された定型文をコピー(記入)することができる。具体的には、例えば、サマリ表示領域A8の定型文「特記すべき所見はありません。」が指定されると、所見文表示領域A6に「特記すべき所見はありません。」という文字列がコピーされる。
【0148】
なお、頻出句及び定型文の情報は記憶部110等に予め記憶しておけば良く、例えば、1以上の頻出句や定型文を2項目「検査部位」「モダリティ」にそれぞれ属する要素の組合せと対応させて記憶しておき、検査一覧画面で指定された2項目「検査部位」「モダリティ」にそれぞれ属する要素の組合せに応じた頻出句や定型文の一覧が頻出句表示領域A7やサマリ表示領域A8に表示されるようにすれば利便性が高い。
【0149】
画像添付領域A9は、特徴的で代表的な画像を添付する領域であり、読影医による操作部32の操作に応じて、所望の代表的な画像が添付される。例えば、図4で示す画像表示画面401の左半分の領域LHに表示されている画像のうち、所望の画像にマウスポインタを合わせてマウスの左ボタンを押したままでマウスポインタを画像添付領域A9まで移動させて(ドラッグして)、マウスの左ボタンを離す操作を行うことで、所望の画像を画像添付領域A9に添付することができる。
【0150】
コマンド表示領域A10は、コマンドを入力するためのアイコン(ここでは、ボタンBT1,BT2)が列挙される領域である。具体的には、ボタンBT1は、読影レポート入力画面G2において作成した読影レポートを構成する所見文や添付画像の内容を確定して新規な画像付きレポートデータを診療情報DB210に登録し、次の読影レポート(すなわち画像付きレポートデータ)の作成に移行させるコマンドを入力するボタンである。ボタンBT2は、読影レポート入力画面G2において作成した読影レポートを構成する所見文や添付画像の内容をクリアして、読影レポートの内容を作成し直すコマンドを入力するボタンである。
【0151】
次に、作成支援情報表示領域A5に表示されるテンプレート表示を利用して読影レポートを構成する所見文を入力する動作について説明する。
【0152】
作成支援情報表示領域A5では、支援情報作成動作において上記の如く作成されたネットワーク情報がテンプレート表示の形態で可視的に出力され、当該テンプレート表示における要素(ここでは、語句などの文字情報)の選択肢が適宜指定されることで、所見文の入力(すなわち新規な読影レポートの入力)が実行される。
【0153】
但し、各属性項目に列挙される複数要素を選択肢として、単にネットワーク情報の全体(全体ネットワーク情報)を図7に示すように一覧表示するテンプレート表示の形態で提供すれば、列挙される選択肢の数が膨大過ぎて選択肢の選択が困難となる。そこで、本発明の実施形態に係るデータベースシステム1では、例えば、ユーザーである読影医が全体ネットワーク情報のうち一部の属性項目について要素を決めることで、全体ネットワーク情報から一部のネットワーク情報(一部ネットワーク情報)を取得(抽出)して表示するようにしている。このように、一部ネットワーク情報を一覧表示するテンプレート表示では、列挙される選択肢の数はある程度限定されているため、選択肢が見易くなる。
【0154】
更に、例えば、基本所見の項目に属する大分類の用語「高信号域」については、各種特徴を示す用語が付加されて、種々の基本所見フレーズを構成する。このため、基本所見の分類項目に対しては1つの大分類の用語に係る基本所見フレーズが多数属する。しかしながら、多数の基本所見フレーズ(例えば「淡い高信号域」「濃い高信号域」等)全てを一覧表示すると、列挙される選択肢の数が多く、選択肢の選択が困難である。
【0155】
このような問題に対して、一覧表示において、単に「特徴」等といった詳細要素に係る分類項目を新たに設けることが考えられるが、このような方策では、一覧表示における項目が増加し過ぎて、見辛いものとなる。更には、詳細要素に係る分類項目については、詳細要素の入力が必須の項目でないため、レポート作成に最低限必要な必須項目は何か、ということも分かり辛いものとなる。
【0156】
そこで、データベースシステム1における一覧表示では、まず、同じ大分類の用語に関する複数の基本所見フレーズについては、大分類の用語を代表として示しておき、所定の指示に応答して、大分類の用語に係る複数の基本所見フレーズに関する詳細な情報が表示される。このような構成とすると、所見文の文章の骨格(最低限必要な必須項目)を明確にしたまま、詳細情報の入力も簡単に行うことができる。
【0157】
ここで、全体ネットワーク情報から一部のネットワーク情報を取得する手法について説明する。
【0158】
図16は、全体ネットワーク情報から所望の一部のネットワーク情報を取得するための条件(以下「情報取得条件」「抽出条件」とも称する)を決定するテンプレート表示(情報取得条件決定テンプレート表示)TP1を例示する図である。
【0159】
上述の如く、検査選択動作によって検査が選択されると、読影レポート入力画面G2(例えば、図11)では、例えば、依頼事項表示領域A1に依頼事項の内容(例えば、図12)が、検査情報表示領域A2にレポート入力対象検査に係る検査の詳細な内容(例えば、図13)が表示される。そして、情報検索部125の機能によって、作成支援情報表示領域A5に、情報取得条件決定テンプレート表示TP1が表示される。
【0160】
情報取得条件決定テンプレート表示TP1では、全体ネットワーク情報における全属性項目のうちの一部の属性項目「カテゴリ」について、語句(選択肢)が列挙される。ここで列挙される属性項目「カテゴリ」に係る選択肢は、例えば、全体ネットワーク情報のうち、検査選択動作でレポート入力対象検査の選択と同時に指定された項目「検査部位」に属する要素と項目「モダリティ」に属する要素との組合せと関連付けられた項目「カテゴリ」に係る要素となっている。
【0161】
例えば、検査選択動作で、項目「検査部位」に属する要素「CHEST」と項目「モダリティ」に属する要素「CR」との組合せが指定された場合、情報取得条件決定テンプレート表示TP1では、図16に示すように、項目「カテゴリ」に属する要素「肺」「軟部」「縦隔」「胸膜(辺縁)」「骨」「その他」が選択肢として列挙される。
【0162】
情報取得条件決定テンプレート表示TP1で列挙される項目「カテゴリ」に係る選択肢の情報は記憶部110等に予め記憶しておけば良く、例えば、項目「カテゴリ」に係る1以上の要素を2項目「検査部位」「モダリティ」にそれぞれ属する要素の組合せと対応させて記憶しておき、検査一覧画面で指定された2項目「検査部位」「モダリティ」にそれぞれ属する要素の組合せに応じた項目「カテゴリ」に係る選択肢の一覧が情報取得条件決定テンプレート表示TP1に表示されるようにすれば良い。
【0163】
この情報取得条件決定テンプレート表示TP1では、読影医が操作部32を種々操作することで、マウスポインタMPを所望の選択肢に合わせて所定の操作(例えば、ダブルクリック)を行うと、項目「カテゴリ」に属する選択肢を指定することができる。
【0164】
ここでは、検査一覧画面(例えば、図10等)および情報取得条件決定テンプレート表示TP1において決定される選択肢の組合せが情報取得条件として指定される。例えば、図16に示す情報取得条件決定テンプレート表示TP1において、項目「カテゴリ」に属する選択肢「胸膜」が指定された場合、項目「検査部位」の要素「CHEST」と項目「モダリティ」の要素「CR」と項目「カテゴリ」の要素「胸膜」からなる選択肢の組合せが情報取得条件として指定される。この情報取得条件は、制御部31によってレポート入力装置30から情報検索部125に与えられる。
【0165】
情報検索部125は、レポート入力装置30からの情報取得条件の指定に応答して、所定の情報取得ルールに従って、入力支援DB111を検索する。そして、全体ネットワーク情報から、所定の情報取得ルール及び情報取得条件に対応する一部ネットワーク情報を、作成支援情報表示領域A5にテンプレート表示として一覧表示するための情報(以下「表示用ネットワーク情報」とも称する)として取得する。具体的には、全体ネットワーク情報から、情報取得条件を満たすネットワーク情報のうち所定の情報取得ルールで規定される項目に絞り込んだ一部ネットワーク情報を取得する。
【0166】
このとき、情報検索部125は、入力支援DB111に格納されるカウント情報を参照することで、全体ネットワーク情報から、情報取得条件を満たす一部ネットワーク情報を抽出することができる。このとき、カウント情報から、抽出される一部ネットワーク情報に対応する一部のカウント情報も抽出する。
【0167】
なお、一部ネットワーク情報と一部のカウント情報とを適宜「一部要素ネットワーク情報」と総称し、一部ネットワーク情報及び一部のカウント情報については、それぞれ適宜「ネットワーク情報」及び「カウント情報」と略称する。ここでは、一部ネットワーク情報をRDFで記述した形式で抽出することとすると、取得後の一部要素ネットワーク情報やネットワーク情報を容易に記述することができる。
【0168】
そして、上記のようにして抽出された一部ネットワーク情報が可視的に一覧表示されたテンプレート表示が提供される。なお、ここで提供されたテンプレート表示は、新規な読影レポートの所見文の入力を支援するものであるため、以下「入力支援テンプレート表示」とも称する。
【0169】
図17は、入力支援テンプレート表示TP2の表示例を示す図であり、図17では、項目「モダリティ」について要素「MR」、項目「検査部位」について要素「SKULL」、項目「カテゴリ」について要素「梗塞」の組合せが情報取得条件として指定された場合に表示される入力支援テンプレート表示TP2が例示されている。後述する入力支援テンプレート表示TP2における各種入力及び指定は、読影医による操作部32の操作入力に応じて行われる。
【0170】
図17に示すように、入力支援テンプレート表示TP2では、最上段に情報取得条件SCが記載され、略中央を中心とした領域において、左から順に、項目「部位」「基本所見」「診断」についての複数の語句F1〜F3がそれぞれ表示される。具体的には、属性項目「部位」については、複数の語句(「前頭葉>」・・・「橋」)F1が、属性項目「基本所見」については、複数の語句(「点状、斑状の高信号域」・・・「散在性の高信号域」)F2が、属性項目「診断」については、複数の語句(「陳旧性脳梗塞」・・・「多発性脳梗塞」)F3が列挙される。
【0171】
そして、3項目「部位」「基本所見」「診断」については、情報取得条件に沿って抽出された一部ネットワーク情報に基づき、各項目間で、相互に関連付けられた語句どうしが線(ここでは、破線)によって結ばれた状態で表示される。このようにして、ある程度絞られた一部ネットワーク情報が可視的に一覧表示される。
【0172】
また、図17では、語句「高信号域>」などのように「>」の付いている語句は、複数の基本所見フレーズや部位フレーズを代表した大分類の用語を示している。入力支援テンプレート表示TP2では、このような「>」の付いている語句にマウスポインタMPを合わせて右クリックをして、ポップアップリスト形式のリストを出現させて、適宜詳細な要素を指定することで所望のフレーズを選択すると、選択された所望のフレーズが当該フレーズに対応する空白欄(空白欄W1,W2等)に充当される。なお、「>」の付いている語句にマウスポインタMPを合わせてマウスの右ボタンを押下することで出現させたポップアップリストに使用頻度の高いフレーズが表示され、当該表示にマウスポインタMPを合わせることにより、使用頻度の高いフレーズを容易に選択できるようにしても良い。また、適宜詳細な要素を指定することで所望のフレーズが選択されると、図18で示すように、入力支援テンプレート表示TP2において、大分類の用語が、選択された所望のフレーズ(ここでは、「淡い高信号域>」)に置き換わるような構成としても良い。
【0173】
各項目に対応する語句を指定する際には、入力支援テンプレート表示TP2の下部に表示される読影レポートの所見文の文章モデル表示MDを参照する。この文章モデル表示MDは、教師データ等と併せて外部から与えられたレポートモデル(ここでは、文章モデル)のデータに基づいて表示される。
【0174】
この文章モデル表示MDは、「部位−基本所見−結語。診断−結語」などといった読影レポートの所見文の文章モデルを示している。具体的には、「[空白欄W1]に[空白欄W2][プルダウン形式のリストPD1][空白欄W3][プルダウン形式のリストPD2]」といった文章モデルを示している。空白欄W1〜W3には、要素「部位」「基本所見」「診断」に係る語句がそれぞれ当てはまり、プルダウン形式のリストPD1,PD2には、基本所見に係る結語と診断に係る結語とがそれぞれ当てはまる。
【0175】
つまり、読影医による語句の指定により、複数の語句(選択肢)F1のうちの所望の1以上の語句(例えば「右前頭葉灰白質」)が空白欄W1に充当され、複数の語句(選択肢)F2のうちの1つの語句(例えば「高信号域」)が空白欄W2に充当され、複数の語句(選択肢)F3のうちの1つの語句(例えば「急性期脳梗塞」)が空白欄W3に充当されることになる。なお、この3項目について、特に語句を指定する順番は問われない。
【0176】
また、文章モデル表示MDでは、3つの項目以外の所定の文章モデルに沿った自然文を構成する結語については、プルダウンリストPD1,PD2にマウスポインタMPを適宜合わせて所望の選択肢を指定することができる。図18では、基本所見については結語「を認める。」が指定され、診断については結語「を疑う。」が指定されている状態が示されている。なお、結語に係る選択肢は3つ以上であって良いし、形容詞や副詞など自然文を構成する他の語句についても選択的に指定することができるように構成しても良い。
【0177】
上記のようにして、3項目及び2つの結語についてそれぞれ語句(適宜フレーズも含む)を指定した状態で、読影医が操作部32を種々入力操作して、マウスポインタMPを「文章を追加」を指示するボタンBT11に合わせて所定操作(例えば左クリック)をすると、制御部31により、各項目等について指定された語句が所定のレポートモデルに沿ったレポートを構成する要素として決定される。そして、所見文表示領域A6に対して文章モデル表示MDに表示された読影レポートの所見文がコピーされる。
【0178】
一方、マウスポインタMPを「文章のクリア」を指示するボタンBT12に合わせて所定の操作(例えば左クリック)をすると、文章モデル表示MDに表示された要素が全てクリアされる。
【0179】
図18で示した入力支援テンプレート表示TP2等を用いて所見文表示領域A6に新規な所見文を記入して、読影レポート入力画面G2の最下部のボタンBT1にマウスポインタMPを合わせて所定の操作(例えば左クリック)を行うと、新規な読影レポートの登録指示がなされる。そして、レポート構成部127に対して、所見文表示領域A6に表示された所見文を含む新規な読影レポートを構成する要素と画像添付領域A9に添付された画像データの所在を示す情報とが制御部31より入力される。このとき、文章モデル表示MDに表示された読影レポートの所見文を構成する要素(レポート構成要素)については、各項目に対して各レポート構成要素が指定されるため、新規な読影レポートは、例えば、図6に示す単レポート構造化データのような形式で入力される。
【0180】
レポート構成部127では、新規な単一レポート構造化データ等に基づいて、所定のルールに沿った新規な画像付きレポートデータが生成され、データ書込部128を介してレポートDB211に追加される。このとき、新規な単一レポート構造化データが構造化DB213に追加される。その一方で、データ構築部123によって、新規な単一レポート構造化データの情報が入力支援DB111に追加されることで、入力支援DB111が更新される。
【0181】
<検索動作>
上述の如く、入力支援テンプレート表示TP2では、所見文を容易に入力することが可能となる。しかしながら、所見文の入力時に、所見文を構成する幾つかの項目については要素を容易に選択することができるが、知識が曖昧で読影の判断に迷うような場面では残余の項目については要素の選択が難しい。このような場合には、過去の症例に含まれる読影の対象となる画像と類似した画像と当該画像について記載された所見文とを参照することができれば、判断の参考となり、入力が更に容易となる。
【0182】
以下、読影対象となる画像に対する類似画像と当該類似画像について記載された所見文を検索して提示する検索動作について説明する。
【0183】
図19は、レポート入力装置30に表示される画像表示画面401の表示例を示す図である。
【0184】
図19に示すように、所見文の入力時には、画像表示画面401の左半分の領域LHには、読影の対象となる画像データが可視的に出力されている。なお、図19では、12個の画像データに係る画像が表示された状態が示されている。
【0185】
読影医が操作部32に含まれるマウスを種々操作することで、領域LHに表示されている複数の画像の適当な位置にマウスポインタMPを合わせてマウスの右ボタンをクリックすると、図20に示すようなコマンドのリストCL1が出現する。図20は、マウスポインタMPを合わせている画像に着目して当該画像について表示されるコマンドのリストCL1を示している。
【0186】
コマンドのリストCL1には、「類似画像の検索」「使用する属性を選択して類似画像の検索」「画像の詳細属性を表示」「履歴の表示」の4つのコマンドを含む複数のコマンドが含まれている。そして、読影医が操作部32に含まれるマウスを種々操作することで、マウスポインタMPを所望のコマンドに合わせて、マウスの左ボタンをクリックすることで、所望のコマンドを指定することができる。
【0187】
まず、リストCL1の複数のコマンドのうちコマンド「類似画像の検索」を指定した場合について説明する。
【0188】
入力支援テンプレート表示TP2において、所見文を構成する要素に係る複数(ここでは5つ)の分類項目「部位」「基本所見」「結語」「診断」「結語」のうち、一部の分類項目について要素(ここでは文字情報)が指定された状態で、「類似画像の検索」が指定されると、領域LHに表示されている1又は2以上の画像が検索の基準となる画像(以下「検索基準画像」とも称する)として指定される。つまり、検索基準画像のデータ(検索基準画像データ)が指定される。
【0189】
検索基準画像が指定されたとき、入力支援テンプレート表示TP2において、既に一部の分類項目について指定された文字情報が、検索基準画像に対して関連付けられていた当該検索基準画像の特徴を示す文字情報(「画像特徴付け文字情報」とも称する)とみなされる。また、画像特徴付け文字情報には、検索基準画像のDICOM属性や情報取得条件SCの属性値を構成する文字情報も適宜含まれる。
【0190】
図21は、画像特徴付け文字情報を例示する図である。
【0191】
図21では、属性項目「診断」については文字情報が指定されておらず、属性項目Pf1〜Pf8(ここでは、文字情報「年齢」「性別」「モダリティ」「検査部位」「撮影条件」「部位」「基本所見」「特徴」)に対して属性値Pv1〜Pv8(ここでは、文字情報「53」「男」「MR」「SKULL」「T2WI」「前頭葉」「高信号域」「淡い」)がそれぞれ対応づけられている。
【0192】
上記のように検索基準画像が指定されると、制御部31から情報検索部125に対し、画像特徴付け文字情報を構成する複数の文字情報を検索キーワード群とした検索基準画像に係る類似画像の検索を要求するクエリが送られる。なお、「検索キーワード群」という文言は、2以上の文字情報だけでなく1つの文字情報をも含む概念で使用している。
【0193】
情報検索部125は、制御部31からのクエリの受け付けに応答して、診療情報DB210内の構造化DB213を検索対象としたテキスト情報を用いたキーワード検索により、所定の分類項目について画像特徴付け文字情報と同様な属性値が付与されている1以上の単一レポート構造化データを検出する。
【0194】
ここで言う「所定の分類項目」は、単一レポート構造化データにおいて関連付けの対象となる所定数の分類項目のうち、予め設定された所定の一部の分類項目である。この所定の一部の分類項目としては、例えば、図21で示す分類項目Pf3〜Pf7すなわち5つの分類項目「モダリティ」「検査部位」「撮影条件」「部位」「基本所見」等が挙げられる。
【0195】
このように、情報検索部125におけるキーワード検索では、1以上の検索基準画像データ(検索基準画像)に関連付けられた複数の文字情報のうち、単一レポート構造化データにおいて関連付けの対象となる所定数の分類項目のうちの予め設定された所定の一部の分類項目に属する1以上の文字情報が、検索キーワード群として選択的に採用される。このように、画像データに付与された文字情報のうち一部の項目に属する文字情報を選択的に利用することで、キーワード検索の処理に要する負荷の低減を図っている。
【0196】
また、情報検索部125におけるキーワード検索では、検索の漏れを防ぐために、辞書DB130を参照して、検索キーワード群に含まれる1以上の文字情報と所定の関係(同義語や類義語や関連語等といった関係)を有する1以上の文字情報(以下「関連文字情報」とも称する)を抽出して、検索キーワード群に追加した後にキーワード検索が行われる。図22は、辞書DBの記憶内容を例示する図であり、同義語の関係を有する「陳旧性脳梗塞」と「旧い脳梗塞」との組合せ、及び「T2WI」と「T2WI強調像」と「T2WI像」との組合せが例示されている。
【0197】
そして、単一レポート構造化データには、画像データの所在を示す情報及び画像付きレポートデータのファイル名が含まれているため、情報検索部125によって、1以上の単一レポート構造化データが検出されると、1以上の画像データと1以上の画像付きレポートデータとが一義的に検出されたことになる。このとき、情報検索部125によって検出される画像データは、検索基準画像データに付与された属性値と類似した属性値を有するため、検索基準画像データとは異なりかつ検索基準画像データに対する類似画像を示す画像データとして検出される。また、情報検索部125によって検出される画像付きレポートデータは、検索基準画像に対する類似画像について記載された読影レポートを示すため、当該画像付きレポートデータに係る読影レポートのデータは、検索基準画像データに関連するレポート(すなわち関連レポート)のデータとして検出される。
【0198】
そして、上記のようにして検出された類似画像及び関連レポートのデータが可視的に出力された検索結果表示画面が提供される。
【0199】
図23は、検索結果表示画面の表示内容を例示する図であり、検索結果表示画面は、画像表示画面401の右半分の表示領域RHに表示される。
【0200】
図23で示す検索結果表示画面では、2つの画像付きレポートデータに係る類似画像と属性情報と所見文との組合せが上から順に表示されている。具体的には、1つ目の画像付きレポートデータに係る類似画像が類似画像1とされて、画像付きレポートデータに添付されている2つの画像、属性情報(48歳、女性、SKULL、MR)及び所見文(T2WI強調像において、前頭葉、後頭葉に高信号域を認める。旧い脳梗塞を疑う。)が表示されている。また、類似画像1の下方に、2つ目の画像付きレポートデータに係る類似画像が類似画像2とされて、画像付きレポートデータに添付されている2つの画像、属性情報(68歳、男性、SKULL、MR)及び所見文(T2WIにおいて、前頭葉、右側頭葉に淡い高信号域を認める。CTにて精査ください。)が表示されている。
【0201】
読影医は、図23に示すような検索結果表示画面を参照することで、類似画像と読影対象となっている画像とを見比べつつ、過去の所見文を参考に、文字情報を指定するのが困難であった分類項目「診断」等についても、適正な文字情報を容易に指定することができる。
【0202】
次に、リストCL1の複数のコマンドのうちコマンド「使用する属性を選択して類似画像の検索」を指定した場合について説明する。
【0203】
リストCL1でコマンド「使用する属性を選択して類似画像の検索」が指定された場合には、図24で示すような検索条件をカスタマイズする設定画面が画像表示画面401の右半分の表示領域RHに表示される。
【0204】
図24で示す設定画面では、単一レポート構造化データにおいて関連付けの対象となる所定数(ここでは、9個)の分類項目「年齢」「性別」「モダリティ」「検査部位」「撮影条件」「部位」「基本所見」「特徴」「診断」が列挙されており、各分類項目の左方にそれぞれチェックボックスが付与されている。この設定画面では、ユーザーである読影医が操作部32のマウスを種々操作することで、マウスポインタMPを所望のチェックボックスに合わせ、マウスの左ボタンをクリックすることで、検索に使用する分類項目の左方に付されたチェックボックスを黒四角の状態とする一方で、検索に使用しない分類項目の左方に付されたチェックボックスを白抜き四角の状態として、決定ボタンをマウスポインタMPにて押下することで、検索条件がカスタマイズされたキーワード検索を実行させることができる。
【0205】
なお、年齢については、検索基準画像に係る患者の年齢と同じ年齢の患者に係る類似画像や関連レポートしか検索しないとすれば、検索結果として得られる情報が非常に少なくなったり、非常に偏ったものとなったりする可能性がある。このため、図24で示す設定画面では、年齢については、ある程度の幅が設定可能となっている。
【0206】
例えば、図24で示す設定画面では、検索条件として、5つの分類項目「モダリティ」「検査部位」「撮影条件」「部位」「基本所見」が検索に使用する分類項目として指定されている状態が示されている。
【0207】
また、検索に使用する分類項目が無い場合にはキーワード検索を実行することができないため、設定画面では、所定数の分類項目のうちの少なくとも1以上の分類項目からなる一部の分類項目が指定されなければ、決定ボタンが押下されてもキーワード検索が実行されないように構成されている。
【0208】
そして、情報検索部125におけるキーワード検索では、1以上の検索基準画像データに関連付けられた複数の文字情報のうち、単一レポート構造化データにおいて関連付けの対象となる所定数の分類項目のうちの設定画面(図24)で設定された一部の分類項目に属する1以上の文字情報が、検索キーワード群として選択的に採用される。このように、検索基準画像データに付与された文字情報のうち所望の分類項目に属する文字情報を選択的に利用してキーワード検索を行うようにすることで、例えば、読影医が未だに文字情報を入力していない文字情報の項目を適宜除外して検索を行うことができる。
【0209】
図25は、新規なレポートの作成動作フローを示すフローチャートである。ここでは、レポート入力装置30において所定の操作を行うと、まず、検査選択動作が開始され、図25のステップST11に進む。
【0210】
ステップST11では、表示部33に検査一覧画面(例えば図10の検査一覧画面G1)が表示される。
【0211】
ステップST12では、検査一覧画面において新規な読影レポートを作成する対象となる検査(レポート入力対象検査)が選択されたか否か判定される。ここでは、レポート入力対象検査が選択されるまでステップST12の判定が繰り返され、レポート入力対象検査が選択されるとステップST13に進む。
【0212】
ステップST13では、読影レポート入力画面G2が表示される。このとき、読影レポート入力画面G2の作成支援情報表示領域A5には、既に選択されたレポート入力対象検査に係る項目「検査部位」の要素と項目「モダリティ」の要素の組合せに対応する項目「カテゴリ」に属する要素(ここでは、文字情報)が列挙された画面(例えば、図16の情報取得条件決定テンプレート表示TP1)が表示される。
【0213】
ステップST14では、情報取得条件決定テンプレート表示TP1において項目「カテゴリ」に係る文字情報が選択されたか否かが判定される。ここでは、項目「カテゴリ」に係る文字情報が選択されるまでステップST14の判定が繰り返され、項目「カテゴリ」に係る文字情報が選択されるとステップST15に進む。このとき、項目「カテゴリ」に係る文字情報が選択されることで、情報取得条件が決定される。
【0214】
ステップST15では、情報取得条件の入力に応答して、入力支援DB111に格納された全体ネットワーク情報から一部ネットワーク情報が取得される。なお、このとき、一部のカウント情報も取得される。
【0215】
ステップST16では、ステップST15で取得された一部ネットワーク情報が可視的に出力された入力支援テンプレート表示TP2が表示部33に表示される。
【0216】
ステップST17では、入力支援テンプレート表示TP2において各項目について要素が指定され、その他の情報が入力される。ここでは、読影医による操作部32の操作入力によって各項目及び各結語についてそれぞれ文字情報(適宜フレーズも含む)を指定した状態で、マウスポインタMPを「文章を追加」を指示するボタンBT11に合わせて所定操作がなされると、所見文表示領域A6に対して文章モデル表示MDに表示された読影レポートの所見文がコピーされる。
【0217】
ステップST18では、新規な読影レポートの登録指示がなされたか否かを判定する。ここでは、新規な読影レポートの登録指示がなされるまでステップST17,18の処理が繰り返され、読影レポート入力画面G2の最下部のボタンBT1にマウスポインタMPが合わされて所定の操作(例えば左クリック)が行われることで、ステップST19に進む。
【0218】
ステップST19では、レポート構成部127において新規な読影レポートが構成され、データ書込部128によって、診療情報DB210に対して新規な画像付きレポートデータが記録される。このとき、入力支援テンプレート表示TP2において入力された新規な単一レポート構造化データが構造化DB123に対して追加される。また、新規な単一レポート構造化データは、レポート構成部127及びデータ構築部123の機能により、入力支援DB111に格納される情報を補強するデータとしても使用される。つまり、新たな単一レポート構造化データが入力される度に、当該データが、入力支援DB111に格納される全体ネットワーク情報に付加されつつ、カウント情報も更新される。
【0219】
図26は、類似画像及び関連レポートの検索動作フローを示すフローチャートである。本動作フローは、図25のステップST16に進むと開始され、図26のステップST31に進む。
【0220】
ステップST31では、制御部31により、読影医が操作部32を操作することで検索基準画像データが指定されて、キーワード検索を実行する指示(検索指示)が発せられたか否かが判定される。例えば、図20に示すようなコマンドのリストCL1において、「類似画像の検索」が指定されるか、又はリストCL1において「使用する属性を選択して類似画像の検索」が指定された後に図24で示すような設定画面で検索条件のカスタマイズが行われると、検索指示が発せられる。ここでは、検索指示が発せられるまでステップST31の処理が繰り返され、検索指示が発せられると、ステップST32に進む。
【0221】
ステップST32では、検索基準画像に対する類似画像及び関連レポートの検索を要求するクエリが制御部31から情報検索部125に対して転送される。なお、検索条件のカスタマイズが行われた場合には、カスタマイズされた検索条件の情報も、情報検索部125に転送される。
【0222】
ステップST33では、情報検索部125によって、予め設定されたか、又はカスタマイズされたキーワード検索に使用する属性すなわち分類項目が認識される。
【0223】
ステップST34では、情報検索部125によって、検索条件が認識される。具体的には、検索基準画像に関連付けられている属性値(ここでは、文字情報)のうちステップST32で認識された分類項目に属する文字情報が検索キーワードとして認識される。
【0224】
ステップST35では、情報検索部125によって、ステップST34で認識された検索条件に合致する類似画像及び関連レポートのデータが、キーワード検索により検出される。
【0225】
ステップST36では、情報検索部125によって、ステップST35で検出された類似画像及び関連レポートのデータに基づき、検索結果に係る検索結果表示画面データが生成されて、制御部31に転送される。
【0226】
ステップST37では、表示制御部312の制御により、ステップST36において生成された検索結果表示画面データに基づき、表示部33に検索結果表示画面が表示される。すなわち、ステップST35において検出された1以上の画像データ及び1以上のレポートデータが可視的に出力される。
【0227】
以上のように、本発明の実施形態に係るデータベースシステム1では、画像データに関する詳細な情報が記載されているレポート(ここでは、読影レポート)を構成する文字情報が、画像データに対してメタデータとして付与される。そして、例えば、ユーザーである読影医が読影中に読影対象の画像を検索の基準となる画像(検索基準画像)として指定するだけで、その検索基準画像に対して既に付与されている文字情報がキーワードとされて、上記メタデータを利用したキーワード検索により検索基準画像データに係る類似画像や関連レポートのデータが検出される。このように、画像の詳細な特徴について記載されているレポートを構成する文字情報をメタデータとして利用し、画像を指定するだけで検索条件が決定されるようにすることで、画像の検索精度が高くかつ、検索条件の入力が容易に可能となる。
【0228】
特に、読影レポートは画像と関連付けられてデータベース化されることが多く、読影レポートは画像の詳細な特徴を表した文字情報を多く含むため、画像データに対するメタデータの付与、及び検索精度の向上を容易に図ることが可能である。
【0229】
また、画像データに対して元々関連付けられていた画像付きレポートデータを構成する文字情報がメタデータとして画像データに対して自動的に付与されるため、画像に対してメタデータを付与する特別な操作が不要となる。したがって、画像に対するメタデータの付与が容易に可能となる。
【0230】
更に、画像データに対してメタデータとして付与される文字情報が、撮影条件、部位、基本所見、特徴、診断、及び結語等といった画像に関する特徴的な内容を示す文字情報である。したがって、検索精度の向上を図ることができる。
【0231】
また、画像データに対して元々付与されていたDICOM属性等に係る属性情報もメタデータに含めることで、検索精度を更に向上させることができる。例えば、画像の内容を特徴付ける項目(例えば、患者ID,年齢、性別、モダリティ、検査部位、担当医師等)に係る属性情報もメタデータに含めることで、画像の内容を特徴付ける項目に関する文字情報を利用した検索が可能となるため、検索精度をより向上させることができる。
【0232】
また、辞書DB130を利用して、最初に与えられたキーワードから所定の関係(例えば、同義語、類義語、関連語等の関係)を有するキーワードをも含めたキーワード検索を行う。このため、読影レポートの作成者によって若干異なる言葉使いの癖などによらず、所望の類似画像や関連レポートのデータが検出される確率が高まる。
【0233】
<変形例>
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0234】
◎例えば、上記実施形態では、類似画像及び関連レポートの双方が検出されたが、これに限られず、類似画像及び関連レポートのうちの少なくとも一方が検出されて、ユーザーに対して提示されても良い。
【0235】
◎また、上記実施形態では、新規な読影レポートを作成する際には、表示領域LHに表示されている複数の画像のうち、特徴的で代表的な画像を入力支援テンプレート表示TP2の画像添付領域A9に添付するものとして説明したが、これに限られず、例えば、画像添付領域A9に特徴的で代表的な画像が添付されない場合には、表示領域LHに表示されている複数の画像によって構成される画像群全体が、読影レポートと関連付けられた画像付きレポートデータが生成される。このような場合には、図6で示された単一レポート構造化データでは、例えば、画像群全体の所在を示すフォルダ名等が関連付けられた状態とすれば良い。そして、キーワード検索によって、画像群全体が関連付けられた画像付きレポートデータが検出された場合には、検索結果表示画面において、画像群を構成する全画像が一群の類似画像として表示される。
【0236】
◎また、上記実施形態では、読影対象の画像データに係る類似画像および関連レポートのデータ検索を行ったが、これに限られない。例えば、読影対象となっている患者の経過を示す画像データに係る類似画像および関連レポートのデータ検索を行うようにしても良い。当該構成の一例としては、下記のような構成が挙げられる。
【0237】
例えば、図20で示したリストCL1のうち、コマンド「履歴の表示」を指定すると、図27に示すような読影対象となっている患者の過去の経過を示す画像付きレポートデータの情報を示す画面(履歴表示画面)が表示領域RHに表示される。図27では、前回の画像付きレポートデータに係る画像、属性情報、及び所見文を含む情報が関連画像1として示されている。また、前々回の画像付きレポートデータに係る画像、属性情報、及び所見文を含む情報が関連画像2として示されている。
【0238】
そして、図27で示された履歴表示画面において、図20と同様に、所望の画像にマウスポインタを合わせてマウスの右ボタンをクリックすることでコマンドのリストを出現させ、当該リスト中のコマンド「類似画像の検索」又は「使用する属性を選択して類似画像の検索」を指定して、上記実施形態と同様な操作や動作などにより、履歴表示画面に表示された画像に係る類似画像や関連レポートが検出されて、レポート入力装置30で提示される。なお、このような構成では、既に検査済みの関連画像が検索基準画像として指定され、構造化DB213において検索基準画像の画像データに対して直接的及び/又は間接的に関連付けられている1以上の文字情報が、検索キーワード群として指定される。
【0239】
例えば、現在読影対象である画像について読影レポートがほとんど入力されていない場合には、読影対象の画像データに関連付けられている文字情報が少ない。したがって、読影対象の画像データに係る類似画像や関連レポートのデータを直接的に検索すると、検索キーワード群に含まれる文字情報が過少で、キーワード検索の精度が低下してしまう。そこで、既に読影レポートが作成されている過去の経過を示す画像データに係る類似画像や関連レポートのデータを検出するような構成、すなわち読影対象の画像データに係る類似画像や関連レポートのデータを間接的に検索する構成を採用することで、キーワード検索の精度を向上させることができる。なお、過去の経過を示す画像と現在読影対象となっている画像との間には、著変がみられないことが一般的である点から見ても、上記構成は、キーワード検索の精度向上に対して有効である。
【0240】
◎また、上記実施形態では、読影対象の画像データに係る類似画像や関連レポートのデータを直接的又は間接的に検索したが、これに限られない。例えば、既に検査済み(すなわち読影レポート作成済み)の画像を検索基準画像に指定し、構造化DB213に含まれる多数の単一レポート構造化データを検索対象として、検索基準画像に係る類似画像や関連レポートのデータが検出されて、レポート入力装置30において提示されるような検索機能を有する構成を採用しても良い。なお、このような構成では、既に検査済みの画像が検索基準画像として指定されると、構造化DB213において検索基準画像の画像データに対して直接的及び/又は間接的に関連付けられている1以上の文字情報が、検索キーワード群として指定される。
【0241】
このような構成を採用することで、各症例に係る画像に対して類似する画像を沢山集めて、各症例を示す代表的な画像をそれぞれ選択してまとめていくことができるため、ティーチングファイルを作成することが容易に可能となる。
【0242】
なお、ティーチングファイルとは、代表的な症例や特徴的な症例をファイリングしておき、医師が簡単に参照できることを目的としたものであり、一旦作成すると、医師の教育や診断の判断などに非常に有効であるが、通常は作成に非常に時間とコストがかかる。また、一旦作成しても随時各種メンテナンスが必要である。
【0243】
ここでは、ティーチングファイルの作成が容易となるばかりでなく、各症例に係る画像に対して関連するレポートも沢山集めて、ティーチングファイルの記載内容を容易に充実化させることもできる。また、ティーチングファイルの内容の更新などといったメンテナンス時にも上記構成は有効的である。
【0244】
また、上記構成は、以下のような研修の態様においても有効利用することができる。
【0245】
例えば、医療関係の研修時に、お手本となる画像データが与えられ、当該画像データの内容を示す文字情報が関連付けられている場合には、上記のような検索機能を利用して、お手本となる画像データと同じような症状の他の画像データを引っ張ってくることができる。したがって、研修を受けている側は、お手本となる画像データに係る画像を見ながら診断を行った後に、お手本となる画像データに係る類似画像及び関連レポートを検索して参照することで、ユーザー自らの診断結果と、一般的な診断結果とを比較検討することができる。また、その後、病状がどのように変化するのかを示す画像及びレポートのデータも検索することができる。
【0246】
◎また、上記実施形態では、辞書DB130には、同義語、類義語、関連語などの関係を有する語句が対応付けられて記憶されていたが、これに限られず、例えば、同じ意味を有する語句やフレーズが対応付けられて記憶されていたり、類似する意味を有する語句やフレーズが対応付けられて記憶されていたり、関連する意味を有する語句やフレーズが対応付けられて記憶されていても良い。すなわち、キーワード検索において、種々の関係をフォローした所謂オントロジーを利用するようにしても良い。
【0247】
更に、辞書DB130は、各種用語を階層的に整理したシソーラスなどといった文字情報の概念の上下関係をまとめて整理したデータベースを含んでいても良い。以下、単語を階層的に整理したシソーラス19及び辞書DB130がシソーラス19を含む場合における検索動作について説明する。
【0248】
図28は、シソーラス19の階層構造を例示する図である。図28に例示するように、シソーラス19の階層構造における最上位の階層は大分類となっており、大分類の各々からは、第1階層、第2階層および第3階層に含まれる単語が順次分岐している。シソーラス19では、概念の上下関係に基づいて単語が体系化され、概念的に上位の単語(上位語)が階層構造上で上位に位置し、概念的に下位の単語(下位語)が階層構造上で下位に位置するように、単語が階層的に整理されている。例えば、ある大分類が「病気」を表す場合、その下層には、第1階層のノードに「消化器の病気」、第2階層のノードに「胃の病気」、第3階層のノードに「胃潰瘍」に係る単語が整理される。また、シソーラス19の階層構造上の位置(以下では、「階層位置」と略記する)は、所定の規則に従って与えられる記号であるシソーラスコードによって特定される。例えば、上述の「病気」「消化器の病気」「胃の病気」および「胃潰瘍」に係る単語の階層位置は、それぞれ、「A」「A-10」「A-10-20」および「A-10-20-30」というシソーラスコードによって特定される。ここで、「A」は大分類を特定する指標であり、「10」「20」および「30」等の数字は同一階層内の階層位置を示す指標である。また、ハイフン「-」は、階層間の移行を示す指標である。なお、シソーラス19においては、特定の単語が複数の上位語を有することも許容されているので、階層位置が複数のシソーラスコードによって特定されることもありうる。
【0249】
このようなシソーラス19を利用して、当初の検索キーワード群に含まれる1以上の文字情報について、例えば、1階層以上だけ上の階層に属する文字情報、すなわち1以上の上位概念の文字情報をシソーラス19から抽出し、検索キーワード群に加えた後に、当該検索キーワード群を使用したキーワード検索が行われるような構成を採用しても良い。このように、上位概念のキーワードも考慮したキーワード検索を行うと、所望の画像やレポートが検出される確率がより高まる。
【0250】
◎また、上記実施形態では、読影レポートの入力を支援する例を挙げて説明したが、これに限られず、本発明は、画像について記載されるレポートの入力を支援するようなものであれば、どのようなレポートにも適用することができる。例えば、インシデントレポートや診断レポート等といった他の医療情報のレポート、更には、営業レポートやクレーム対策についてのレポート等といった画像を伴うレポート一般に適用することができる。
【0251】
◎また、上記実施形態では、単一レポート構造化データを構成する所定数の分類項目が6つの分類項目「撮影条件」「部位」「基本所見」「特徴」「診断」「結語」の全てを含んでいたが、これに限られず、上記6つの分類項目のうち、適宜1以上の分類項目を採用したような構成であっても良い。
【0252】
◎また、上記実施形態では、レポート入力装置30の操作部32をユーザーである読影医が種々操作することで各種入力を行ったが、これに限られず、例えば、レポート入力装置30において、ユーザーが発する音声をマイクで受け付けて、音声認識によって各種入力が実現されても良い。すなわち、ユーザーによる操作部32の操作や発音などを含む各種ユーザーの動作に応答して、各種入力が行われても良い。
【0253】
◎また、上記実施形態では、入力支援DB111や構造化DB123に格納される情報は、既存のレポートを言語処理によって解析することで作成したが、これに限られず、例えば、入力支援DB111や構造化DB123に格納される情報を適宜マニュアル操作で作成するようにしても良い。但し、メタデータの付与の容易化を図る観点から言えば、入力支援DB111や構造化DB123に格納される情報が自動入力される方が好ましい。
【0254】
◎また、上記実施形態では、病院内のネットワーク回線NTW等によってサーバ100と、各端末10〜50とがデータ送受信可能に接続され、病院内に蓄積された読影レポートを過去の知識として利用した入力支援機能を提供したが、これに限られず、例えば、図29に示すように、サーバ100を読影レポートの入力を支援するサービスを提供する業者や特定の病院が有し、当該サーバ100にインターネット回線IN等を通じて各病院の読影医が端末(例えば、レポート入力装置30A)でアクセスして、検索機能を含む入力支援機能を利用することができるようなデータベースシステム1Aとしても良い。
【0255】
このような構成によれば、ユーザーは、検索対象の情報量を容易に増大させることができるインターネットを利用して、指示した画像について類似画像や関連するレポートの可視的な情報を得ることができるため、所望の画像やレポートが得られる確率が更に向上する。
【0256】
なお、このとき、サーバ100を有する業者等が、各病院等の画像や読影レポート等を保管するサービスを提供するようにしても良い。
【0257】
但し、このようなインターネットを利用した類似画像や関連レポートの検索においては、類似画像に付与された属性情報に含まれる個人情報や関連レポートに記載された個人情報が流出してしまう虞がある。なお、この個人情報の代表的な例としては名前(患者名等)が挙げられる。
【0258】
したがって、サーバ100において、検出された類似画像や関連レポートのデータから所定種類の個人情報が削除された後に、端末30に対して、類似画像や関連レポートに係る情報が提供されるようにしても良い。このとき、所定種類の個人情報を認識する手法としては、例えば、所定種類の分類項目「患者氏名」に属する文字情報を所定種類の個人情報として認識するような手法が考えられ、このようにして認識された個人情報に係る文字情報は容易に削除することができる。
【0259】
このような構成により、個人情報が広範囲に流出することを防ぐことができる。
【0260】
◎また、上記実施形態では、レポート入力装置30におけるユーザーの入力に応答して、サーバ100において各種動作が行われたが、これに限られず、例えば、上記レポート入力装置30とサーバ100の機能が一台のコンピュータ装置によって構成されても構わない。また、レポート入力装置30では、ユーザーが各種入力を行うだけで、情報検索機能の画像データの指定、検索条件の指定が、サーバ100の制御部120で実質的に行われるような構成であっても良い。
【0261】
◎また、上記実施形態では、読影対象の画像データを起点として、類似画像および関連レポートのデータ検索を行ったが、起点となる画像データの決定方法としては、例えば、以下のような態様も考えられる。
【0262】
図30は、変形例に係る入力支援テンプレート表示TG1を例示する図である。入力支援テンプレート表示TG1では、上記実施形態に係る入力支援テンプレート表示TP2と同様形態で、項目「撮影条件」「部位」「基本所見」「診断」について1以上の語句からなる語句群FD1〜FD4がそれぞれ表示されており、更に、検索ボタンSBが追加されている。
【0263】
この検索ボタンSBは、類似画像および関連レポートのデータ検索において起点となる画像データを検索するためのボタンである。ユーザーがマウスを種々操作することでマウスポインタMPを検索ボタンSBに合わせてマウスの左ボタンの押下操作(左クリック)を行うと、入力支援テンプレート表示TG1の下方(すなわち、所見文表示領域A6付近)に、図31に示すような検索条件を決定するダイアログボックス(検索ダイアログ)DG1が表示される。
【0264】
検索ダイアログDG1では、各項目「撮影条件」「部位」「基本所見」「診断」に対して語句を指定することで、各項目「撮影条件」「部位」「基本所見」「診断」と当該各項目に属する語句の組合せを、検索条件として指定することができる。
【0265】
検索ダイアログDG1における検索条件の指定については、検索ダイアログDG1が表示された状態で、入力支援テンプレート表示TG1上において各項目と対応付けられて表示された語句群FD1〜FD4に含まれる所望の語句にマウスポインタMPを合わせて、選択操作(左クリック)を行うことで実行することができる。図31では、例えば、検索ダイアログDG1が表示された状態で、入力支援テンプレート表示TG1において項目「撮影条件」について語句「T2FLAIR像」、項目「部位」について語句「側頭葉」と「前頭葉」、項目「基本所見」について語句「高信号域」、及び項目「診断」について語句「ラクナ梗塞」がそれぞれ対応付けられた検索条件が指定されている状態が示されている。
【0266】
検索条件を指定した後、検索ボタンSB2にマウスポインタMPを合わせて押下操作(左クリック)を行うと、構造化DB213を検索対象として、指定された検索条件と完全及び/又は一部合致する属性値が付与されている1以上の単一レポート構造化データが検出される。そして、作成支援情報表示領域A5から所見文表示領域A6にかけた領域に、図32で示すような、検索結果を表示するダイアログボックス(検索結果表示ダイアログ)DG2が表示される。
【0267】
検索結果表示ダイアログDG2は、主に、左方の検索結果を表示する領域(検索結果表示領域)ALと、右方の再検索を行う為の検索条件を表示する領域(再検索条件表示領域)ARとによって構成されている。
【0268】
検索結果表示領域ALには、検索ダイアログDG1(図31)で指定された検索条件と完全及び/又は一部合致する属性値が付与されている1以上の単一レポート構造化データに係る画像及び所見文のデータがそれぞれ可視的に出力される。なお、図32では、146個の単一レポート構造化データが検出されて、そのうちの5個の単一レポート構造化データに係る画像及び所見文のデータが上から順にそれぞれ可視的に出力された状態が示されている。なお、検索結果表示領域ALの最も右方の領域には、各単一レポート構造化データについて、検索条件との一致度を示すスコアが示されており、例えば、スコアの大きな順に、検出された単一レポート構造化データが、上から空間順次に可視的に出力される。
【0269】
ユーザーは、検索結果表示領域ALに表示されている画像と、所見文の内容とを参照することで、類似画像及び/又は関連レポートのデータ検索の起点となる画像を適宜決定することができる。具体的には、検索結果表示領域ALに表示されている画像のうち、所望の画像に対してマウスポインタMPが合わされて、マウスの右ボタンが押下されると、図20で示した様なコマンドのリストCL1が出現する。そして、例えば、リストCL1のうちのコマンド「類似画像の検索」等が指定されると、検索結果表示領域ALで表示されている画像のうちのマウスポインタMPが合わされた所望の画像の画像データが類似画像及び関連レポートのデータ検索において起点となる検索基準画像の画像データとして決定され、上記実施形態と同様な処理によって、図23で示したような検索結果表示画面が表示される。なお、この類似画像及び関連レポートのデータ検索では、既に検査済みの画像が検索基準画像として指定されるため、構造化DB213において検索基準画像の画像データに対して直接的及び/又は間接的に関連付けられている1以上の文字情報が、検索キーワード群として指定されて使用される。
【0270】
また、検索結果表示領域ALでは、各画像の右方に番号が付されており、この番号は、画像DB212においてオリジナルの画像データを格納しているファイル名を示している。そして、所望の番号にマウスポインタMPが合わされて指定操作(左クリック)が行われると、オリジナルの画像データが可視的に大きく表示されるようにリンク付けがなされている。
【0271】
一方、再検索条件表示領域ARでは、類似画像及び/又は関連レポートのデータ検索の起点となり得る画像の候補を適宜絞り込んで検索結果表示領域ALに表示させるために、再検索の検索条件を決定することができる。図32に示すように、再検索条件表示領域ARでは、検索ダイアログDG1(図31)で指定された条件に対し、「患者氏名」「患者年齢」「検査日」「部位」「モダリティ」「担当医」「読影医」等といった項目について他の条件を追加することができる。また、各検索キーワードに対して、複合語や同義語や類義語等といった語句の揺らぎに関する条件(例えば、検索において各語句に対して考慮する複合語や同義語や類義語)を適宜検索条件に加えることもできる。そして、図示を省略しているが、再検索条件表示領域ARの最下部に設けられた再検索ボタンにマウスポインタMPを合わせて押下操作(左クリック)を行うと、構造化DB213を検索対象として、再度指定された検索条件(再検索条件)と完全及び/又は一部合致する属性値が付与されている1以上の単一レポート構造化データが検出されて、検索結果表示領域ALの表示内容が更新される。
【0272】
このような構成を採用することで、検索ダイアログDG1(図31)で指定された条件では、類似画像及び/又は関連レポートのデータ検索の起点となり得る画像の候補の絞り込みが不十分である場合には、ユーザーは、再検索を適宜行うことで、類似画像及び/又は関連レポートのデータ検索の起点となる画像データをより迅速かつ容易に決定することができる。すなわち、類似画像及び/又は関連レポートのデータ検索における検索条件の入力が更に容易となる。
【符号の説明】
【0273】
1,1A データベースシステム
19 シソーラス
30,30A 端末(レポート入力装置)
31,120 制御部
32 操作部
33 表示部
34,110,200 記憶部
100 サーバ
111 入力支援データベース
123 データ構築部
125 情報検索部
130 辞書データベース
210 診療情報データベース
211 レポートデータベース
212 画像データベース
213 構造化データベース
312 表示制御部
313 クエリ生成部
401 画像表示画面
402 入力画面
IN インターネット回線
LN,NTW ネットワーク回線

【特許請求の範囲】
【請求項1】
データベースシステムであって、
複数のレポートに含まれるレポート毎に、レポートを構成する複数の文字情報と、当該レポートに対応する1以上の画像データとが直接的及び/又は間接的に関連付けられた関連情報が蓄積されている関連情報データベースと、
前記複数の文字情報が属する所定数の属性項目に含まれる属性項目毎に複数の文字情報が列挙されるとともに、該所定数の属性項目間で、該各分類項目に属する複数の文字情報どうしが相互にネットワーク状に関連付けられたネットワーク情報が記憶されている入力支援情報データベースと、
前記ネットワーク情報に含まれる一部のネットワーク情報に基づき、前記所定数の分類項目に含まれる複数の分類項目について分類項目毎に少なくとも1つの文字情報がそれぞれ列挙され、且つ該複数の分類項目間で該各分類項目に属する複数の文字情報がネットワーク状に関連付けられている一覧表示と、少なくとも1つの画像データとを可視的に出力する出力手段と、
前記出力手段によって前記少なくとも1つの画像データが可視的に出力されている状態で、ユーザーの動作に応答して、前記一覧表示において、前記複数の分類項目に対して文字情報をそれぞれ指定する指定手段と、
前記指定手段によって前記複数の分類項目に対してそれぞれ指定された文字情報を、所定のレポートモデルに沿ったレポートを構成する要素として決定する決定手段と、
前記出力手段によって前記少なくとも1つの画像データが可視的に出力されている状態であり、且つ前記指定手段によって前記一覧表示において前記複数の分類項目の一部である1以上の分類項目に対して1以上の文字情報が指定されている状態で、ユーザーの動作に応答して、該1以上の文字情報を検索キーワード群とし、前記関連情報データベースにおいて各画像データに対して直接的及び/又は間接的に関連付けられている前記複数の文字情報をデータ検索のためのメタデータとしたキーワード検索を行うことで、前記出力手段によって可視的に出力されている前記少なくとも1つの画像データと関連する1以上のレポートデータを検出するレポート検出手段と、
を備えることを特徴とするデータベースシステム。
【請求項2】
請求項1に記載のデータベースシステムであって、
前記複数のレポートに含まれるレポート毎に、レポートと当該レポートに対応する1以上の画像データとが関連付けられたレポート情報が蓄積されているレポートデータベースと、
前記レポートデータベースに含まれる各レポートについて言語解析を行うことで、当該各レポートを構成する複数の文字情報を抽出する文字情報抽出手段と、
前記複数のレポートに含まれるレポート毎に、前記文字情報抽出手段によって抽出されたレポートを構成する複数の文字情報と、当該レポートに対応する1以上の画像データとを直接的及び/又は間接的に関連付けて蓄積することで関連情報データベースを構築する記憶制御手段と、
を更に備えることを特徴とするデータベースシステム。
【請求項3】
請求項1又は請求項2に記載のデータベースシステムであって、
前記関連情報を構成する複数の文字情報が、
前記各レポートに対応する1以上の画像データに付与された属性情報を含むことを特徴とするデータベースシステム。
【請求項4】
請求項3に記載のデータベースシステムであって、
前記属性情報が、
患者ID、年齢、性別、モダリティ、検査部位、読影医師、及び担当医師を示す情報のうちの少なくとも1以上の情報を含むことを特徴とするデータベースシステム。
【請求項5】
請求項1から請求項4のいずれかに記載のデータベースシステムであって、
前記関連情報が、
RDFで記述されていることを特徴とするデータベースシステム。
【請求項6】
請求項1から請求項5のいずれかに記載のデータベースシステムであって、
少なくとも1以上の文字情報に含まれる各文字情報に対して、当該各文字情報と所定の関係を有する1以上の関連文字情報が対応付けられて記憶された辞書データベース、
を更に備え、
前記キーワード検索が、
前記検索キーワード群に含まれる1以上の文字情報に対して前記所定の関係を有する1以上の関連文字情報を前記辞書データベースから抽出して前記検索キーワード群に追加する処理を含むことを特徴とするデータベースシステム。
【請求項7】
請求項6に記載のデータベースシステムであって、
前記所定の関係が、
類義語、同義語、及び関連語の関係うちの少なくとも1つの関係を含むことを特徴とするデータベースシステム。
【請求項8】
請求項6または請求項7に記載のデータベースシステムであって、
前記所定の関係が、
文字情報の概念の上下関係を含み、
前記キーワード検索が、
前記検索キーワード群に含まれる1以上の文字情報に対して1以上の上位概念の文字情報を前記辞書データベースから抽出して前記検索キーワード群に追加する処理を含むことを特徴とするデータベースシステム。
【請求項9】
請求項1から請求項8のいずれかに記載のデータベースシステムであって、
前記所定数の分類項目が、
撮影条件、部位、基本所見、特徴、診断、及び結語のうちの少なくとも1以上の項目を含むことを特徴とするデータベースシステム。
【請求項10】
請求項1から請求項9のいずれかに記載のデータベースシステムであって、
前記キーワード検索が、
前記指定手段によって前記一覧表示において前記複数の分類項目のうちの1以上の分類項目に対して指定されている1以上の文字情報のうち、前記所定数の分類項目に含まれる予め設定された所定の一部の分類項目に属する1以上の文字情報を、前記検索キーワード群として選択的に採用する処理を含むこと特徴とするデータベースシステム。
【請求項11】
請求項1から請求項10のいずれかに記載のデータベースシステムであって、
ユーザーの動作に応答して、前記所定数の分類項目のうちの少なくとも一部の分類項目を指定する項目指定手段、
を更に備え、
前記キーワード検索が、
前記指定手段によって前記一覧表示において前記複数の分類項目のうちの1以上の分類項目に対して指定されている1以上の文字情報のうち、前記項目指定手段によって指定された一部の分類項目に属する1以上の文字情報を、前記検索キーワード群として選択的に採用する処理を含むこと特徴とするデータベースシステム。
【請求項12】
請求項1から請求項11のいずれかに記載のデータベースシステムであって、
前記複数のレポートが、
読影レポートを含むことを特徴とするデータベースシステム。
【請求項13】
請求項1から請求項12のいずれかに記載のデータベースシステムであって、
前記レポート検出手段を有するサーバと、
前記サーバに対してインターネット回線を介してデータ送受信可能に接続される端末機器と、
を備え、
前記指定手段が、
前記端末機器に対するユーザーの動作に応答して、前記出力手段によって前記少なくとも1つの画像データが可視的に出力されている状態で、前記一覧表示において、前記複数の分類項目に対して文字情報をそれぞれ指定し、
前記サーバが、
前記レポート検出手段によって検出された1以上のレポートデータを前記端末機器に対して前記インターネット回線を介して送信する送信手段、
を有し、
前記端末機器が、
前記出力手段を有し、該出力手段において、前記送信手段によって送信された1以上のレポートデータを可視的に出力することを特徴とするデータベースシステム。
【請求項14】
請求項13に記載のデータベースシステムであって、
前記サーバが、
前記レポート検出手段によって検出された1以上のレポートデータから所定種類の個人情報を削除する削除手段、
を更に備え、
前記送信手段が、
前記削除手段によって前記所定種類の個人情報が削除された1以上のレポートデータを前記端末機器に対して前記インターネット回線を介して送信することを特徴とするデータベースシステム。
【請求項15】
データベースシステムに含まれるコンピュータによって実行されることにより、前記データベースシステムを、請求項1から請求項14のいずれかに記載のデータベースシステムとして機能させるプログラム。
【請求項16】
レポート検索方法であって、
(A)複数のレポートに含まれるレポート毎に、レポートを構成する複数の文字情報と、当該レポートに対応する1以上の画像データとが直接的及び/又は間接的に関連付けられた関連情報が蓄積されている関連情報データベース、ならびに前記複数の文字情報が属する所定数の属性項目に含まれる属性項目毎に複数の文字情報が列挙されるとともに、該所定数の属性項目間で、該各分類項目に属する複数の文字情報どうしが相互にネットワーク状に関連付けられたネットワーク情報が記憶されている入力支援情報データベースを準備するステップと、
(B)前記ネットワーク情報に含まれる一部のネットワーク情報に基づき、前記所定数の分類項目に含まれる複数の分類項目について分類項目毎に少なくとも1つの文字情報がそれぞれ列挙され、且つ該複数の分類項目間で該各分類項目に属する複数の文字情報がネットワーク状に関連付けられている一覧表示と、少なくとも1つの画像データとを出力手段によって可視的に出力するステップと、
(C)前記少なくとも1つの画像データが前記出力手段によって可視的に出力されている状態で、ユーザーの動作に応答して、前記一覧表示において、前記複数の分類項目に対して文字情報をそれぞれ指定するステップと、
(D)前記ステップ(C)において前記複数の分類項目に対してそれぞれ指定された文字情報を、所定のレポートモデルに沿ったレポートを構成する要素として決定するステップと、
(E)前記少なくとも1つの画像データが前記出力手段によって可視的に出力されている状態であり、且つ前記一覧表示において前記複数の分類項目のうちの一部である1以上の分類項目に対して1以上の文字情報が指定されている状態で、ユーザーの動作に応答して、該1以上の文字情報を検索キーワード群として、前記関連情報データベースにおいて各画像データに対して直接的及び/又は間接的に関連付けられている前記複数の文字情報をデータ検索のためのメタデータとしたキーワード検索を行うことで、前記出力手段によって可視的に出力されている前記少なくとも1つの画像データと関連する1以上のレポートデータを検出するステップと、
を備えることを特徴とするレポート検索方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate


【公開番号】特開2012−198928(P2012−198928A)
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願番号】特願2012−136689(P2012−136689)
【出願日】平成24年6月18日(2012.6.18)
【分割の表示】特願2006−228968(P2006−228968)の分割
【原出願日】平成18年8月25日(2006.8.25)
【出願人】(303000420)コニカミノルタエムジー株式会社 (2,950)