説明

医用画像表示装置、医用画像表示方法、並びに医用画像表示プログラム

【課題】医用画像の視認性を阻害することなく、付帯情報を効果的に表示する。
【解決手段】レポート作成端末13のストレージデバイス32には、重要度テーブル70が記憶されている。重要度テーブル70には、医用画像17の付帯情報の各項目の情報としての価値を示す重要度が格納される。画像表示画面46の表示に先立ち、領域設定部42は、医用画像17の主要被写体表示領域60を抽出し、それ以外のいずれかを付帯情報表示領域61として設定する。表示形態決定部43は、付帯情報の各項目の必要領域を算出し、重要度に応じて、付帯情報表示領域61に収まる項目と収まらない項目とを選別する。表示形態決定部43は、付帯情報表示領域61に収まらない項目を、表示しない、または透明化して表示、もしくは付帯情報表示領域61に変則表示枠を設けてスクロール表示、切替表示、小フォントサイズで表示すると決定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像とその付帯情報をディスプレイの画面上に重ねて表示する医用画像表示装置、医用画像表示方法、並びに医用画像表示プログラムに関する。
【背景技術】
【0002】
最近の医療現場には、カルテや医用レポート(以下、単にレポートという)等の医用文書を電子データとして扱い、医用文書の作成や管理を容易ならしめるための様々なコンピュータシステムが導入されつつある。その中で、レポート作成支援システムは、レポートの作成に際して大いに活用されている。
【0003】
レポート作成支援システムは、レポートを作成するレポート作成端末と、作成されたレポートのデータを格納するデータベース(以下、DBと略す)サーバとを備える。DBサーバには、レポートのデータに加えて、医用画像のデータが格納される。医用画像は、CR(Computed Radiography)装置、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置といったモダリティ(医療検査機器)で撮影される。
【0004】
レポート作成端末は、例えば、画像診断を専門とする医師(以下、読影医という)によって操作され、読影医が医用画像を観察して認識した、病変の状態等の観察記録、すなわち所見の入力を受け付ける。レポート作成端末は、入力された所見のデータをレポートにまとめる編集機能を備えている。レポートを作成する際に参照される医用画像は、レポート作成端末のディスプレイ、または専用のディスプレイに表示され、これを読影医が観察する。
【0005】
DBサーバは、ネットワークを通じて読み出し可能な状態でレポートや医用画像のデータを保存する。読影を依頼した診療科の医師(以下、依頼医という)は、診療科に配置された診療科端末を通じてDBサーバへアクセスし、レポートや医用画像のデータを診療科端末に読み出して、これらを閲覧する。
【0006】
医用画像には、患者ID、患者名、性別、生年月日、検査ID、検査日(撮影日)、撮影条件、検査種等の様々な付帯情報が付加される。付帯情報は、レポートを作成する際の指標となる情報であるため、医用画像とともに同一画面上に重ねて表示される。
【0007】
特許文献1には、医用画像と付帯情報の表示形態を規定した医用画像表示装置が開示されている。例えば、複数の断層画像の被検体の部位のうち最大のものを認識し、その画像領域を求めて、画像領域に付帯情報が重複しないように表示している。実施例1の「文字優先、画像移動方式」、または実施例2の「画像優先文字表示方式」では、画像領域、または付帯情報の表示領域のどちらか一方を移動させて、これらの重複を回避している。
【0008】
また、実施例3として、画面上で読影医に関心領域(Region of interest;以下、ROIと略す)を指定させて、ROIと付帯情報の表示領域が重ならないようにする「関心領域設定方式」や、実施例4として、表示する付帯情報の量に応じて医用画像を縮小表示し、付帯情報との重複を回避する「画像縮小方式」も記載されている。
【特許文献1】特開2007−185215号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
医用画像は、診断の根幹をなすデータであるため、できる限り高精細で鮮明に表示することが好ましい。一方、付帯情報には、読影やレポートを作成するにあたって必須となる項目と、そうでない項目とがある。また、付帯情報の各項目の情報としての価値は、依頼医や読影医、検査対象の患者等によっても異なる。このため、情報としての価値が高い項目はなるべく表示することが好ましく、情報としての価値が低い項目はそれなりに表示することがさらに好ましい。
【0010】
特許文献1の実施例1、2では、医用画像または付帯情報の表示領域のうちの一方を固定し、他方を移動させている。医用画像または付帯情報の表示領域がディスプレイの画面からはみ出ないようにすることが記載されているが、ディスプレイの画面は有限であるため、表示領域の移動量にも限界がある。従って、各表示領域が重複する場合も有り得る。各表示領域が重複すると、医用画像または付帯情報が見え難くなるため、誤診や病変の見落とし等の医療ミスに繋がるおそれがある。また、医用画像または付帯情報の表示領域を移動させると、正規の表示位置からずれるため、過去の医用画像との比較がままならないという問題もある。
【0011】
実施例3では、ROIを読影医に指定させているため、操作が面倒である。実施例4では、詳しい読影を必要としないレポートに貼り付けられる医用画像への適用を想定しているので、縮小による画質劣化は問題ないとしている。しかしながら、読影に供する医用画像に適用した場合は、画質劣化により正確な診断が下せないという問題が惹起する。
【0012】
本発明は、上記課題に鑑みてなされたもので、その目的は、医用画像の視認性を阻害することなく、付帯情報を効果的に表示することにある。
【課題を解決するための手段】
【0013】
上記目的を達成するために、本発明の医用画像表示装置は、医用画像、および複数の項目からなる医用画像の付帯情報を、ディスプレイの画面上に重ねて表示させる表示制御手段と、付帯情報の各項目の情報としての価値を示す第一重要度を格納する格納手段と、医用画像内の主要被写体表示領域外に設けられた付帯情報表示領域に、第一重要度が高い項目から順に優先的に表示されるように、付帯情報の表示形態を決定する表示形態決定手段とを備えることを特徴とする。
【0014】
医用画像を解析して主要被写体表示領域を抽出し、抽出した主要被写体表示領域外に付帯情報表示領域を設定する領域設定手段を備えることが好ましい。
【0015】
前記表示形態決定手段は、正規の表示形態で付帯情報を表示するために必要な必要領域の大きさと付帯情報表示領域の大きさを比較して、付帯情報表示領域に収まる項目と収まらない項目を選別する。
【0016】
この場合、前記表示形態決定手段は、付帯情報表示領域に収まらない項目を、付帯情報表示領域に表示しないと決定する。
【0017】
あるいは、前記表示形態決定手段は、透明表示枠を主要被写体表示領域に設ける。透明表示枠は、付帯情報表示領域における正規の表示濃度よりも薄く透明化して、付帯情報表示領域に収まらない項目を表示する。
【0018】
前記表示形態決定手段は、付帯情報表示領域に収まらない項目の第一重要度と予め設定された閾値を比較して、透明表示枠に入れ込む項目と入れ込まない項目を選別する。また、前記表示制御手段は、透明表示枠の透明度を、第一重要度に応じて変更する。
【0019】
前記表示形態決定手段は、正規の表示形態で付帯情報を表示する正規表示枠と、正規の表示形態とは異なる変則的な表示形態で付帯情報を表示する変則表示枠とを付帯情報表示領域内に設ける。そして、第一重要度が高い項目から順に、正規表示枠に入れ込む。
【0020】
この場合、前記表示形態決定手段は、正規表示枠に入れ込めない全ての項目を、変則表示枠に入れ込む。あるいは、前記表示形態決定手段は、正規表示枠に入れ込めない項目の第一重要度と予め設定された閾値を比較して、変則表示枠に入れ込む項目と入れ込まない項目を選別する。
【0021】
正規表示枠は、付帯情報を正規の大きさで、且つその全体を常時表示するものである。
【0022】
変則表示枠は、項目をスクロール表示するスクロール表示枠、複数の項目を切替表示する切替表示枠、または正規表示枠のフォントサイズよりも小さいフォントサイズで項目を表示する小フォントサイズ表示枠のいずれかを含む。前記表示制御手段は、スクロール表示速度、切替表示速度、またはフォントサイズのいずれかを、第一重要度に応じて変更する。
【0023】
前記表示制御手段は、ディスプレイの画面に医用画像が表示される前に予め付加された付帯情報と、ディスプレイの画面に医用画像が表示された後に付加される付帯情報の各付帯情報表示領域を別々のレイヤに分けて取り扱う。前記表示制御手段は、一方のレイヤを上層に設定した場合、他方のレイヤの付帯情報表示領域に一方のレイヤの付帯情報表示領域を重ね、一方のレイヤの付帯情報表示領域で他方のレイヤの付帯情報表示領域を隠して表示させる。あるいは、他方のレイヤの付帯情報表示領域は表示させず、一方のレイヤの付帯情報表示領域のみを表示させる。この場合、ディスプレイの画面に医用画像が表示された後に付加される付帯情報は、医用画像内の関心領域に付されるアノテーションである。
【0024】
前記表示形態決定手段は、医用画像の領域の情報としての価値を示す第二重要度と第一重要度を比較して、医用画像の領域に付帯情報を重ねて表示するか否かを決定する。医用画像を解析して第二重要度を算出する第二重要度算出手段を備えることが好ましい。
【0025】
第二重要度は、例えば、医用画像内の関心領域を抽出し、関心領域の中心画素からの距離に応じて算出する。
【0026】
この場合、例えば、付帯情報表示領域に収まらない項目をそのまま表示すると、医用画像のある領域を侵すときには、該項目の第一重要度と該領域の第二重要度とを比較し、第一重要度が第二重要度よりも大きい場合、該項目を透明化して表示すると決定する。あるいは、該項目を該領域に重ね、該項目で該領域を隠すように表示すると決定する。逆に、第一重要度が第二重要度よりも小さい場合は、該項目を表示しないと決定する。
【0027】
本発明の医用画像表示方法は、医用画像、および複数の項目からなる医用画像の付帯情報を、ディスプレイの画面上に重ねて表示させるための医用画像表示方法であって、医用画像内の主要被写体表示領域外に設けられた付帯情報表示領域に、情報としての価値を示す重要度が高い項目から順に優先的に表示されるように、付帯情報の表示形態を決定する表示形態決定ステップと、前記表示形態決定ステップで決定された表示形態に従って、医用画像、および付帯情報の表示制御を行う表示制御ステップとを備えることを特徴とする。
【0028】
本発明の医用画像表示プログラムは、医用画像、および複数の項目からなる医用画像の付帯情報を、ディスプレイの画面上に重ねて表示させるための医用画像表示プログラムであって、医用画像内の主要被写体表示領域外に設けられた付帯情報表示領域に、情報としての価値を示す重要度が高い項目から順に優先的に表示されるように、付帯情報の表示形態を決定する表示形態決定機能と、前記表示形態決定機能で決定された表示形態に従って、医用画像、および付帯情報の表示制御を行う表示制御機能とを、コンピュータに実現させることを特徴とする。
【発明の効果】
【0029】
本発明によれば、医用画像には手を加えることなく、付帯情報の各項目のうち、比較的重要度が高い項目は視認性がよい正規の表示形態で表示させ、付帯情報表示領域に収まらない比較的重要度が低い項目は表示させないか、正規の表示形態とは異なる表示形態でなるべく表示させるので、医用画像の視認性を阻害することなく、付帯情報を効果的に表示することができる。
【発明を実施するための最良の形態】
【0030】
[第一実施形態]
図1において、病院等の医療施設に構築される医療情報システム2は、診療科10に設置される診療科端末11、放射線検査科(以下、単に検査科という)12に設置されるレポート作成端末13、データベース(以下、DBと略す)サーバ14、およびこれらを通信可能に接続するネットワーク15を備える。ネットワーク15は、例えば、院内に敷設されたLAN(Local Area Network)である。
【0031】
診療科端末11は、検査(読影も含む)を依頼する診療科10の医師(以下、依頼医という)によって操作される。診療科端末11は、カルテ16の閲覧や入力の他、検査科12に対して検査を依頼するためのオーダを発行する際に利用される。診療科端末11は、検査科12から提供される医用画像17やレポート18を表示して、依頼医の閲覧に供する。
【0032】
レポート作成端末13は、読影を専門とする検査科12の医師(以下、読影医という)によって操作される。レポート作成端末13は、読影医がオーダを確認したり、レポート18を作成したりするときに利用される。レポート作成端末13は、画像表示画面46やレポート編集画面47(図3参照)を表示して、レポート18の作成を支援する。
【0033】
DBサーバ14には、カルテDB19、画像DB20、レポートDB21等の複数のDBが構築されている。カルテDB19は、患者毎のカルテ16のデータ等を格納する。画像DB20は、CR装置、CT装置、MRI装置といったモダリティ(医療検査機器)22によって撮影される医用画像17のデータを格納する。レポートDB21は、レポート作成端末13によって作成されたレポート18のデータを格納する。
【0034】
DBサーバ14は、ネットワーク15を通じて、モダリティ22から医用画像17のデータを受信して、受信した医用画像17のデータを画像DB20に格納する。つまり、DBサーバ14は、いわゆるPACS(Picture Archiving and Communication Systems)サーバとして機能し、モダリティ22とともにPACSを構成する。
【0035】
医用画像17のデータは、個々の医用画像17を識別するための画像IDを有する。医用画像17のデータは、例えば、DICOM(Digital Imaging and Communication in Medicine)に準拠したファイル形式で、画像DB20に格納される。医用画像17のファイルには、患者ID、患者名、性別、生年月日、検査ID、検査日(撮影日)、撮影条件、検査種等の各種項目からなる付帯情報を記録したDICOMタグが付与される。画像DB20に格納された医用画像17のデータは、DICOMタグの各種項目を検索キーとして、検索が可能である。
【0036】
DBサーバ14は、診療科端末11およびカルテDB19とともにカルテシステムを構成する。また、DBサーバ14は、レポート作成端末13、画像DB20、並びにレポートDB21とともにレポート作成支援システムを構成する。レポート18のデータは、医用画像17のデータと同様、検査ID、患者ID、患者名等の検索キーによって検索が可能である。なお、本例では、各DB19〜21を一つのDBサーバ14に構築した例で説明しているが、各DB19〜21を別々のDBサーバに構築してもよい。
【0037】
診療科端末11が発行するオーダは、患者ID、患者名、依頼日、依頼元、検査種(CTやMRI等)、検査目的、読影の要否、依頼医からのコメント(申し渡し事項)等の情報を記録する各種項目を有する。これら各項目の一部(依頼元、コメントの情報等)は、医用画像の付帯情報としても扱われる。依頼元の項目には、内科、脳外科等の依頼医の所属、氏名、医師IDといった情報が記録される。検査目的の項目には、治療中の病巣に対する治療効果を判定する治療効果判定、転移巣の有無を調べる転移検索等の情報が記録される。
【0038】
診療科端末11が発行したオーダは、検査科12に設置されたオーダ受付端末(図示せず)に送信されて、検査科12に受け付けられる。オーダ受付端末は、受信したオーダに検査IDを付与して、オーダのデータを管理する。検査IDは、受付完了通知とともにオーダ受付端末から診療科端末11に送信される。検査科12のスタッフ(検査技師)は、オーダ受付端末で受信したオーダに基づいて、モダリティ22による撮影を行う。
【0039】
読影が必要な場合(オーダの読影の要否の項目が要の場合)には、検査IDが付与されたオーダが、オーダ受付端末からレポート作成端末13に送信される。読影医は、レポート作成端末13を介してオーダを確認し、画像DB20から読影の対象となる医用画像17のデータを読み出す。そして、読み出した医用画像17の読影結果をレポート18にまとめる。
【0040】
レポート18の作成が完了すると、読影医は、オーダ発行元の診療科端末11に対して、レポート作成端末13を通じて作成完了通知を送信する。作成完了通知には、医用画像17やレポート18が格納される各DB20、21内のアドレスが含まれている。依頼医は、診療科端末11を通じて作成完了通知に含まれるアドレスにアクセスして、医用画像17やレポート18を閲覧する。
【0041】
各端末11、13およびDBサーバ14は、それぞれ、パーソナルコンピュータ、サーバ用コンピュータ、ワークステーションといったコンピュータをベースに、オペレーティングシステム等の制御プログラムや、クライアントプログラム又はサーバプログラムといったアプリケーションプログラムをインストールして構成される。
【0042】
図2において、各端末11、13およびDBサーバ14を構成するコンピュータは、基本的な構成は略同じであり、それぞれ、CPU30、メモリ31、ストレージデバイス32、LANポート33、およびコンソール34を備えている。これらはデータバス35を介して相互接続されている。
【0043】
ストレージデバイス32は、例えば、HDD(Hard Disk Drive)である。ストレージデバイス32には、制御プログラムやアプリケーションプログラム(以下、APという)36が格納される。また、レポート作成端末13のストレージデバイス32には、医用画像17の付帯情報の各項目の重要度(第一重要度に相当)を定義した重要度テーブル70(図6参照)が格納される。
【0044】
さらに、DBサーバ14には、プログラムを格納するHDDとは別に、DB用のストレージデバイス32として、例えば、HDDを複数台連装したディスクアレイが設けられる。ディスクアレイは、DBサーバ14の本体に内蔵されるものでもよいし、本体とは別に設けられ、本体にケーブルやネットワークを通じて接続されるものでもよい。
【0045】
メモリ31は、CPU30が処理を実行するためのワークメモリである。CPU30は、ストレージデバイス32に格納された制御プログラムをメモリ31へロードして、プログラムに従った処理を実行することにより、コンピュータの各部を統括的に制御する。
【0046】
LANポート33は、ネットワーク15との間の伝送制御を行うネットワークインタフェースである。コンソール34は、ディスプレイ37と、キーボードやマウス、マイクロホン等の入力デバイス38とからなる。
【0047】
診療科端末11には、AP36として、カルテ16の閲覧や編集を行うカルテ用ソフトウエア、医用画像17やレポート18の閲覧を行うビューアソフトウエアといったクライアントプログラムがインストールされている。クライアントプログラムが起動されると、診療科端末11のディスプレイ37には、GUI(Graphical User Interface)による操作画面が表示される。操作画面には、カルテDB19、画像DB20、レポートDB21からそれぞれ読み出されたカルテ16、医用画像17、レポート18を表示する表示画面が含まれる。
【0048】
診療科端末11には、入力デバイス38を通じて、カルテ16の入力・編集の指示や、オーダの入力・発行の指示といった操作指示が入力される。入力されたカルテ16やオーダのデータは、カルテDB19に格納される。
【0049】
レポート作成端末13には、AP36として、レポート作成支援を行うレポート編集用のクライアントプログラムがインストールされている。レポート作成端末13は、レポート編集用のクライアントプログラムによって、医用画像17の表示処理と、レポート18の編集処理とを行う。
【0050】
DBサーバ14には、AP36として、クライアントである各端末11、13からの要求に応じて処理を実行し、処理結果を応答するサーバプログラムがインストールされている。
【0051】
図3において、レポート作成端末13のCPU30は、レポート編集用のクライアントプログラムを起動すると、コンソール制御部(表示制御手段に相当)40、DBアクセス部41、領域設定部42、表示形態決定部43、編集処理部44、およびオーダ取得部45として機能する。
【0052】
レポート作成端末13は、CPU30が設けられた端末本体に、二台のディスプレイ37a、37bを接続した構成である。一台のディスプレイ37aには、医用画像17の観察用に使用される画像表示画面46が出力される。もう一台のディスプレイ37bには、レポート18の作成に使用されるレポート編集画面47が出力される。
【0053】
画像表示画面46およびレポート編集画面47は、GUIによる操作画面を構成する。コンソール制御部40は、これらの操作画面を各ディスプレイ37a、37bに出力し、操作画面を通じて、入力デバイス38からの操作指示の入力を受け付ける。
【0054】
画像表示画面46およびレポート編集画面47は、連動して起動する。レポート編集画面47から、読影対象の医用画像17が含まれる検査IDが入力されると、コンソール制御部40は、DBアクセス部41を通じて、検査IDに対応する医用画像17のデータを画像DB20から取得する。コンソール制御部40は、取得した医用画像17をディスプレイ37aに出力する際に、画像表示画面46を起動する。
【0055】
画像表示画面46には、CR装置で撮影された放射線による透視画像や、CT装置、MRI装置で撮影された断層画像、断層画像に基づいて生成される三次元画像といった各種の医用画像17が表示される。画像表示画面46は、一画面に六コマの断層画像を配列して表示するというように、複数の医用画像17を同時に一覧表示することが可能である。また、六コマの断層画像のうちの一コマを選択すると、その断層画像のみを一画面に表示することもできる(図4参照)。画像表示画面46には、操作ボタン、リストボックス、アイコンといった、GUIを構成する各種の操作ツールが設けられている。こうした操作ツールを通じて、入力デバイス38からの各種の操作指示が入力される。
【0056】
CT装置やMRI装置で撮影された断層画像を、医用画像17として画像表示画面46に表示した例を示す図4において、画像表示画面46は、主要被写体表示領域60と付帯情報表示領域61とに分けられる。各表示領域60、61のサイズ、配置等は、領域設定部42により設定される。また、付帯情報表示領域61への付帯情報の表示形態は、表示形態決定部43で決定される。
【0057】
主要被写体表示領域60は、医用画像17に映し出された被写体の主要部分(主要被写体、この場合は腹部CT断層像)をなし、略中央に配置される。付帯情報表示領域61は、医用画像17の付帯情報を一覧表示し、主要被写体表示領域60の上下にそれぞれ配置される。
【0058】
付帯情報表示領域61は、上側左右の第一区画62と第二区画63、および下側の第三区画64に分けられる。第一区画62には、付帯情報のうち、「検査日」、「コメント」、「患者名」、「患者ID」、「性別、生年月日」の項目が表示される。第二区画63には、「検査種」、「検査ID」、「依頼科名」、「依頼医名」の項目が表示される。第三区画64には、「撮影条件」の項目が表示される。なお、第一〜第三区画62〜64の配置レイアウト、および表示する項目は、本例に限らず、適宜変更することが可能である。例えば、下側の第三区画64を無くしてもよいし、第一、第二区画62、63を統合して、横長の一つの区画としてもよい。
【0059】
画像表示画面46では、レポート18の作成中に、医用画像17に対してアノテーション65を付加することも可能である。アノテーション65とは、医用画像17内の病変等、読影医が注目する関心領域(Region of interest;以下、ROIと略す)に付される注釈をいう。アノテーション65は、図示例のROIを指し示すための矢印、丸印、文字を含む記号の他、簡単なコメントを挿入するための矩形や吹き出し形状のテキストボックスといった各種のオブジェクトによって構成される。アノテーション65は、記号のみでもよいし、テキストボックスのみでもよい。
【0060】
図3に戻って、レポート編集画面47には、画像表示画面46と同様の各種操作ツールや付帯情報表示領域の他、複数の所見文入力領域48が設けられている。こうした操作ツールを通じて、入力デバイス38からの各種の操作指示が入力される。操作指示は、例えば、所望の操作ツールにポインタ49を合わせてマウスをクリックすることで行われる。操作指示には、レポートDB21からレポート18のデータを読み出す指示、レポートDB21へレポート18のデータを保存する指示、所見文入力領域48を選択してアクティブ(入力が可能な状態)にする指示等が含まれる。
【0061】
所見文入力領域48には、読影医が画像表示画面46を通して医用画像17を観察して認識した、病変の状態等の観察記録、すなわち所見を表す文(所見文)が入力される。所見文入力領域48は、病変が複数有る場合に、病変毎に所見を分けて入力したり、検査目的が複数ある場合(例えば、治療効果判定と転移検索等)に、検査目的毎に所見を分けて入力したりといった使い方がされる。また、研修医と指導医、一次読影を行う読影医と二次読影を行う読影医等、複数の読影医が所見をそれぞれ入力するという使い方も可能である。
【0062】
所見文入力領域48に入力された所見文のデータ(以下、所見データという)は、個々を識別する所見IDを有する。所見IDは、医用画像17やレポート18と所見文との対応をとるためのものであり、所見文入力領域48の追加された順に付された番号を含む。N個目(Nは1以上の自然数)の所見文入力領域48に入力される所見文には、「F−N」の所見IDが割り当てられる。
【0063】
レポート編集画面47にてレポート18を作成した後、レポート18のデータを保存する指示がなされると、レポート18のデータがレポートDB21に確定保存される。確定保存されたレポート18は、不正な改ざんを防止するために、編集が禁止される。勿論、作成途中のレポート18のデータを、レポートDB21に一時保存することも可能である。
【0064】
DBアクセス部41は、コンソール制御部40や編集処理部44からの指令に基づいて、DBサーバ14に対する処理要求の送信と処理結果の受信とを行う。画像DB20に対する処理要求には、検査IDや画像IDといった情報を検索キーとして、医用画像17を検索するための検索要求がある。レポートDB21に対する処理要求には、作成したレポート18のデータを格納するための格納要求と、作成したレポート18のデータや、作成途中のレポート18のデータの検索要求とがある。
【0065】
DBアクセス部41は、格納要求の対象となるデータを編集処理部44から受け取り、DBサーバ14へ送信する。また、検索要求の対象となるデータを、DBサーバ14から受信して、コンソール制御部40、領域設定部42、および表示形態決定部43に引き渡す。
【0066】
領域設定部42は、まず、DBアクセス部41から受け取った医用画像17のデータに二値化処理を施して、医用画像17を白黒画像とする。次に、その白黒画像に対してラベリング処理を施す。そして、医用画像17に映し出された被写体の主要部分を他の部分と識別して抽出する。二値化+ラベリング処理で被写体の主要部分を抽出する方法は周知であるため、詳しい説明を省略する。必要であれば、「視覚センサを用いた自律移動ロボットの行動決定」 山口智充他 計測自動制御学会東北支部第231回研究集会(2006.10.31) 資料番号231−4、特開2007−299210号公報等を参照されたい。
【0067】
図4で例示したCT装置やMRI装置による断層画像は、一回の検査で、患者の体軸方向に連続して複数得られる。このため、領域設定部42は、一回の検査に関わる複数の断層画像に対して二値化+ラベリング処理を施して、それぞれの被写体の主要部分を抽出する。そして、その中で大きさが最大となる主要部分を主要被写体表示領域60とする。
【0068】
主要被写体表示領域60を抽出した後、領域設定部42は、付帯情報表示領域61を設定する。具体的には、図4に示す画像表示画面46の各ピクセルの位置を、XY座標(画像表示画面46の左上を原点(0、0)、右下を最大値(XMAX、YMAX)(例えば、(XMAX、YMAX)=(1023、767))で表した場合、主要被写体表示領域60のY座標の下限をYLL(>0)として、(0+α、0+β)と(XMAX−α、YLL−β)を対角線とする矩形(幅XMAX−2α、高さYLL−2β)を、上側の付帯情報表示領域61(第一、第二区画62、63)と設定する。また、主要被写体表示領域60のY座標の上限をYUL(<YMAX)として、(0+α、YUL+β)と(XMAX−α、YMAX−β)を対角線とする矩形(幅W=XMAX−2α、高さH=YMAX−YUL−2β)を、下側の付帯情報表示領域61(第三区画64)と設定する。さらに、第一、第二区画62、63の分割位置XD1、XD2を、予め設定された値等に適宜決定する。これにより、第一、第二区画62、63の幅はそれぞれ、W=XD1−α、W=XMAX−XD2−α、高さはいずれもH、H=YLL−2βとなる。なお、α、βは、各表示領域60、61の境界が見難くならないようにするための余白であり、例えば1ピクセルとされている。
【0069】
主要被写体表示領域60は、一回の検査に関わる複数の断層画像に対して一個抽出されるため、検査毎に大きさは一定ではなく、そのY座標の上下限であるYUL、YLLは変化する。従って、付帯情報表示領域61の大きさ(高さ)も検査毎に変化する。領域設定部42は、各表示領域60、61(第一〜第三区画62〜64)の大きさを表す情報(XY座標や幅、高さの情報)を、コンソール制御部40、および表示形態決定部43に出力する。
【0070】
表示形態決定部43は、まず、予め設定されたフォントメトリクス(フォントを表示するときのレイアウト情報)を用いて、DBアクセス部41ないしオーダ取得部45から受け取った医用画像17の付帯情報(オーダの付帯情報の一部も含む)の各項目を文字列化したときに、その表示に必要な領域(以下、単に必要領域という。付帯情報表示領域61とは異なる)の大きさを算出する。
【0071】
ここで、必要領域は、付帯情報の項目を折り返しなく一列で表示した場合に必要な領域である。付帯情報の内容は検査毎に異なるため、必要領域の幅も変化する。但し、上記の定義からすると、必要領域の高さは不変である。図5に例示するように、表示形態決定部43は、算出した必要領域の大きさの情報(幅w、高さh(i=1、2、3、・・・、m、mは付帯情報表示領域61(各区画62〜64)に表示する項目の個数))を、付帯情報の項目毎にデータテーブル形式でメモリ32に一旦格納させる。
【0072】
表示形態決定部43は、図6に例示する重要度テーブル70を参照して、付帯情報の表示形態を決定する。重要度テーブル70は、付帯情報の各項目の重要度をデータテーブル形式で格納する。重要度とは、読影やレポート18を作成するにあたって、その項目に情報としての価値があるか否かを示す尺度である。重要度は、例えば、0ポイントを最小値、100ポイントを最大値として、1ポイント刻みで数値設定することが可能である。重要度のポイントが大きくなる程、その項目が情報として価値があることを示す。本例では、項目「検査日」が100ポイントで最大の重要度に設定されており、以下、項目「コメント」、「患者名」、「患者ID」、「性別、生年月日」、・・・の順に、80、40、15、10、・・・ポイントにそれぞれ設定されている。
【0073】
重要度は、予め固定した値に設定されていてもよいし、読影医等が設定変更可能に構成してもよい。また、重要度は、依頼医や読影医毎に設定してもよく、病変の種類や検査種によって自動的に変更してもよい。さらに、本例では重要度を数値化しているが、高、中、低等で定性的に重要度を表してもよい。
【0074】
表示形態決定部43は、メモリ32に格納された各項目の必要領域の幅wと、第一〜第三区画62〜64のうちの該当する区画の幅W〜Wの大小を比較する。wがW〜W以下(w≦W〜W)で、その項目が該当する区画に収まる場合、表示形態決定部43は、その項目を該当する区画に表示すると決定する。一方、wがW〜Wよりも大きく(w>W〜W)、その項目が該当する区画に収まらない場合、表示形態決定部43は、その項目を表示しないと決定する。
【0075】
続いて、表示形態決定部43は、幅同士の比較で表示すると決定した項目の必要領域の高さhを重要度が高い順に加算し、Σhを算出する。表示形態決定部43は、必要領域の高さhを加算する都度、Σhと、領域設定部42で設定された各区画62〜64の高さH〜Hを比較する。表示形態決定部43は、各区画62〜64に対して上記の加算と比較を行うが、以下では、幅同士の比較で全ての項目を表示すると決定した場合の、第一区画62を代表例として説明を行う。
【0076】
表示形態決定部43は、まず、重要度のポイントが最も高い項目「検査日」の高さhと、二番目に高い項目「コメント」の高さhを加算する。そして、加算結果Σh(=h+h)と第一区画62の高さHの大小を比較する。表示形態決定部43は、Σhが高さH以下(Σh≦H)の場合は、この加算と比較を順次繰り返し行う。
【0077】
重要度のポイントが最も低い項目(本例では項目「性別、生年月日」のh)を加算する前に、Σhが高さHよりも大きい(Σh>H)場合、表示形態決定部43は、それ以前に加算した項目は全て表示すると決定し、そのときに加算した項目と、該項目よりも重要度のポイントが低い項目を表示しないと決定する。例を挙げて説明すると、項目「患者ID」の高さhを加算したときにΣh>Hとなった場合は、項目「検査日」、「コメント」、「患者名」は表示すると決定し、項目「患者ID」と、それよりも重要度のポイントが低い項目「性別、生年月日」を表示しないと決定する。
【0078】
一方、重要度のポイントが最も低い項目の「性別、生年月日」のhを加算した後も、Σh≦Hであった場合、表示形態決定部43は、全ての項目を表示すると決定する。表示形態決定部43は、以上のようにして決定した付帯情報の各項目の表示形態を、コンソール制御部40に出力する。コンソール制御部40は、領域設定部42、表示形態決定部43からの指令に基づいて、各表示領域60、61の表示制御を行う。
【0079】
表示形態決定部43で最終的に表示すると決定されるのは、各区画62〜64の幅からはみ出さず、且つ各区画62〜64の高さ以内に収まる項目となる。必要領域の高さhを重要度が高い順に加算していくので、各区画62〜64の高さ以内に収まる項目は、比較的重要度が高い項目となる確率が高い。反対に、各区画62〜64の高さ以内に収まらない項目は、比較的重要度が低い項目となる確率が高い。
【0080】
図7は、段落[0077]で記載した例の画像表示画面46の表示形態を示している。すなわち、第一区画62には、項目「検査日」、「コメント」、「患者名」は表示されており、項目「患者ID」と、それよりも重要度のポイントが低い項目「性別、生年月日」は表示されていない。また、第二区画63には、項目「依頼医名」が表示されていない。なお、例えば、項目「コメント」の必要領域の幅wが、第一区画62の幅Wよりも大きかった場合(w>W)は、項目「コメント」は表示されず、代わりに項目「患者ID」が表示される。
【0081】
図3において、コンソール制御部40は、画像表示画面46の医用画像17へのアノテーション65の付加や、レポート編集画面47の所見文入力領域48への所見文の入力を受け付けて、編集処理部44に対して、操作指示に応じた処理を実行するように指令する。
【0082】
編集処理部44は、所見文入力領域48に入力された所見データを、コンソール制御部40を通じて受け付ける。編集処理部44は、受け付けた所見データを、所見文入力領域48毎に区別してブロック化する。
【0083】
編集処理部44は、ブロック化した所見データのそれぞれに「F−1」、「F−2」等の所見IDを付加して、これらをレポート18のデータに記録する。編集処理部44は、所見データの他に、オーダから読み出された検査ID、患者ID、患者名といった情報を、レポート18のデータに付加する。また、編集処理部44は、画像表示画面46を通じて医用画像17に付加されたアノテーション65のデータを、医用画像17およびレポート18のデータに関連付けて記録させる。
【0084】
編集処理部44は、所見IDに加えて、各所見データに対して、その所見文を入力した読影医を識別するための医師IDを付加する。医師IDは、レポート作成端末13の起動時のユーザ認証の際等に読影医によって入力される。所見データは、所見IDや医師IDによって、検索することが可能である。
【0085】
オーダ取得部45は、オーダ受付端末からネットワーク15を介してオーダを取得する。取得したオーダは、例えば、レポート作成端末13のストレージデバイス32に設けられたオーダテーブル(図示せず)に登録される。
【0086】
DBサーバ14のCPU30は、サーバプログラムを実行することにより、カルテ16、医用画像17、およびレポート18のデータの格納処理部50および検索処理部51として機能する。格納処理部50は、レポート作成端末13やモダリティ22といったクライアントからの各データの格納要求に応じて、各DB19〜21へのデータの格納処理を実行する。検索処理部51は、診療科端末11、レポート作成端末13からの各データの配信要求に応答して、要求されたデータを各DB19〜21から検索して、検索したデータを要求元へ配信する。
【0087】
以下、上記構成による作用について、図8に示すフローチャートを参照して説明する。依頼医は、診療科端末11を使用して、オーダを発行する。レポート作成端末13は、診療科端末11から発行されたオーダを、検査科12のオーダ受付端末を経由して受信する。
【0088】
読影医は、レポート作成端末13でオーダを確認し、レポート18の作成を開始する。レポート編集画面47がディスプレイ37bに表示されると、これと連動して画像表示画面46がディスプレイ37aに表示される。
【0089】
図8のステップ(以下、Sと略す)10において、画像表示画面46の表示に先立ち、領域設定部42によって各表示領域60、61が設定される。まず、DBアクセス部41から受け取った医用画像17のデータに領域設定部42で二値化処理が施される。次に、その二値化処理で生成された白黒画像に対してラベリング処理が施され、医用画像17に映し出された被写体の主要部分が抽出される。これにより、主要被写体表示領域60が抽出される。
【0090】
主要被写体表示領域60を抽出した後、領域設定部42により、付帯情報表示領域61の各区画62〜64が設定される。領域設定部42で設定された主要被写体表示領域60、各区画62〜64の大きさを表す情報は、コンソール制御部40、および表示形態決定部43に出力される。
【0091】
S11において、表示形態決定部43により、必要領域の大きさが算出される。表示形態決定部43で算出された必要領域の大きさの情報は、付帯情報の項目毎にデータテーブル形式でメモリ32に一旦格納される。
【0092】
S12において、表示形態決定部43により、各項目の必要領域の幅wと、各区画62〜64の幅W〜Wの大小が比較され、表示する項目が決定される。wがW〜W以下(w≦W〜W)であった場合は、その項目を該当する区画に表示すると決定される。一方、wがW〜Wよりも大きい(w>W〜W)場合は、その項目を該当する区画に表示しないと決定される。
【0093】
S13において、S12で表示すると決定された項目の必要領域の高さhが、重要度が高い順に加算され、Σhが算出される。そして、必要領域の高さhを加算する都度、Σhと、領域設定部42で設定された各区画62〜64の高さH〜Hが比較される。Σhが高さH〜H以下(S14でyes)で、且つ重要度のポイントが最も低い項目の高さhを加算していない場合(S15でyes)は、S13の処理が順次繰り返される。
【0094】
重要度のポイントが最も低い項目の高さhを加算する前に、Σhが高さH〜Hよりも大きくなった場合(S14でno)、それ以前に加算した項目は全て表示すると決定され、そのときに加算した項目と、該項目よりも重要度のポイントが低い項目は、該当する区画に表示しないと決定される(S16)。一方、重要度のポイントが最も低い項目の高さhを加算した後も、Σh≦H〜Hであった場合(S14でyes、S15でno)、全ての項目を該当する区画に表示すると決定される(S17)。付帯情報の各項目の表示形態は、表示形態決定部43からコンソール制御部40に出力される。
【0095】
領域設定部42、表示形態決定部43からの指令に基づいて、コンソール制御部40により各表示領域60、61の表示制御がなされ、画像表示画面46が起動される(S18)。
【0096】
読影医は、画像表示画面46で医用画像17を観察しながら、レポート編集画面47の所見文入力領域48に所見文を入力する。所見文が入力されると、コンソール制御部40から編集処理部44に所見データが受け渡される。
【0097】
所見データは、編集処理部44によって所見文入力領域48毎に区別してブロック化され、所見IDが付加されてレポート18のデータに記録される。レポート18のデータには、所見データの他に、検査ID、患者ID、患者名、医師ID、およびアノテーション65のデータ等が付加される。
【0098】
読影医は、所見文の入力を終えると、レポート18の作成の終了を指示する。作成終了が指示されると、レポート18のデータの格納要求がDBアクセス部41からDBサーバ14に送信される。レポート作成端末13から格納要求を受信すると、DBサーバ14では、格納処理部50によって、レポート18のデータの格納処理が実行される。以上をもって、一回のレポート18の作成処理が終了する。
【0099】
レポート18の作成が完了すると、レポート作成端末13から、依頼医の診療科端末11に対して、作成完了通知が送信される。依頼医は、診療科端末11を通じてレポートDB21にアクセスして、作成完了通知に含まれるレポート18のアドレスに基づいて、レポート18を読み出す。診療科端末11のディスプレイ37には、レポート表示画面と、レポート18に関連する医用画像17を表示する画像表示画面が出力される。依頼医は、これらの画面を閲覧して、レポート18の内容を確認する。
【0100】
以上説明したように、必要領域と重要度を加味して、付帯情報の各項目の表示形態を決定するので、医用画像17の画質を損なうことなく、比較的重要度が高い項目を優先的に表示することができる。従って、レポート18の作成をより円滑に進めることができ、また、医療ミスが発生するおそれを軽減することができる。
【0101】
領域設定部42で自動的に主要被写体表示領域60を抽出し、付帯情報表示領域61を設定するので、各表示領域60、61を設定する手間を省くことができる。
【0102】
なお、上記実施形態では、一回の検査に関わる複数の断層画像に対して二値化+ラベリング処理を施して、それぞれの被写体の主要部分を抽出し、その中で大きさが最大となる主要部分を主要被写体表示領域60としているが、複数の断層画像の各々に対して主要被写体表示領域60を抽出してもよい。また、医用画像17が内視鏡画像や超音波画像であった場合等、主要被写体表示領域60の大きさが不変である場合は、領域設定部42は不要である。さらに、二値化処理ではなく、グレースケール処理を施してもよい。
【0103】
上記実施形態では、必要領域の高さhを重要度が高い順に加算し、その都度、Σhと各区画62〜64の高さH〜Hを比較して、付帯情報表示領域61に収まる項目と収まらない項目とを選別しているが、本発明はこれに限定されない。最初にΣhを算出しておいて、逆に重要度が低い順に必要領域の高さhを減算し、その都度、Σhと各区画62〜64の高さH〜Hを比較してもよい。また、必要領域の高さhが一律同じである場合は、hを整数倍したものと各区画62〜64の高さH〜Hを比較してもよい。
【0104】
上記実施形態では、各区画62〜64よりも必要領域が大きく、各区画62〜64に収まらない項目を表示しないと決定しているが、本発明はこれに限定されない。以下に示す第二実施形態を採用してもよい。なお、第一実施形態と構成、作用が同じものについては、同符号を付して説明を省略する。
【0105】
[第二実施形態]
第二実施形態を示す図9において、画像表示画面46には、透明表示枠80が設けられている。透明表示枠80は、領域設定部42で設定された第一区画62の下部にさらに付け足されるもので、主要被写体表示領域60の上部を侵している。透明表示枠80は、例えば、高さの加算結果Σhと各区画62〜64の高さH〜Hとの比較で収まらないと選別された項目を、透明化して表示する(図では便宜上、一点鎖線の斜線で示す)。コンソール制御部40は、主要被写体表示領域60の視認性を妨げない程度の透明度となるように、透明表示枠80に表示される項目の透明度を制御する。
【0106】
図9では、項目「患者ID」、「性別、生年月日」が収まらない項目に選別された場合を例示している。項目「検査日」、「コメント」、「患者名」は、上記各実施形態と同じ正規の表示濃度(非透明)で実体的に表示している。項目「患者ID」、「性別、生年月日」は、正規の表示濃度よりも薄く透明化して表示している。
【0107】
なお、透明表示枠80で主要被写体表示領域60を侵す部分が増えると、透明化して表示しているとはいえ、主要被写体表示領域60の視認性が低下する。このため、透明表示枠80と主要被写体表示領域60の重畳部分の上限値(透明表示枠80の高さ)を規定しておくことが好ましい。この場合、表示形態決定部43は、透明化して表示しようとする項目の高さが、透明表示枠80の高さの上限値を超えた場合は、該項目を表示しないと決定する。
【0108】
また、重要度のポイントが高い項目の透明度を比較的低くしてより実体的に表示し、重要度のポイントが低い項目は透明度を比較的大きくしてうっすらと表示する等、重要度に応じて透明度を変更してもよい。さらに、透明表示枠80のうち、主要被写体表示領域60と重ならない項目(図9の「患者ID」)は実体的に表示し、主要被写体表示領域60と実際に重なる部分(図9の「性別、生年月日」の後半部分)のみを透明化して表示してもよい。
【0109】
なお、正規の表示形態で付帯情報を表示する正規表示枠と、正規の表示形態とは異なる変則的な表示形態で付帯情報を表示する変則表示枠とを付帯情報表示領域内に設けてもよい。正規表示枠とは、付帯情報を正規の大きさで、且つその全体を常時表示するものであり、第一実施形態で表示すると決定された項目の表示形態と同一である。以下の第三〜第五実施形態では、変則表示枠のバリエーションについて詳述する。
【0110】
[第三実施形態]
第三実施形態を示す図10において、第一区画62には、スクロール表示枠81が設けられている。スクロール表示枠81は、例えば、必要領域の幅wが各区画62〜64の幅W〜Wよりも大きい項目や、高さの加算結果Σhと各区画62〜64の高さH〜Hとの比較で収まらないと選別された項目等、第一実施形態で表示しないと決定した項目をスクロール表示する。この場合、必要領域の幅wと各区画62〜64の幅W〜Wの比較は、表示するしないを決定するためではなく、スクロール表示するかしないかを決定するために行う。コンソール制御部40は、スクロール表示枠81のスクロール表示速度を制御する。スクロール表示速度は、読影医が余裕をもって視認することができる程度の速さに設定されている。
【0111】
図10では、項目「コメント」の必要領域の幅wが第一区画62の幅Wよりも大きく、また、項目「患者ID」、「性別、生年月日」が、高さの加算結果Σhと第一区画62の高さHとの比較で収まらない項目に選別された場合を例示している。スクロール表示枠81は、項目「コメント」を表示するものと、項目「患者ID」、「性別、生年月日」を項目「患者名」の後に付けて表示するものと二列分用意されている。項目「検査日」のみは、正規の表示形態で表示している。上段は初期の表示形態を示し、スクロール表示枠81には、項目「コメント」の前半部分、項目「患者名」と「患者ID」の前半部分までをそれぞれ表示している。下段は時間経過とともにスクロール表示が進んだ状態を示し、項目「コメント」の後半部分とスペースを空けて前半部分、項目「性別、生年月日」の後半部分とスペースを空けて項目「患者名」の前半部分までをそれぞれ表示している。
【0112】
なお、項目「コメント」等、重要度のポイントが比較的高い項目の場合は、スクロール表示をせずに、付帯情報表示領域からはみ出る部分を付帯情報表示領域の終端で折り返して、全体を表示してもよい。また、第二実施形態の透明度と同様、重要度のポイントが高い項目のスクロール表示速度を遅くし、重要度のポイントが低い項目はスクロール表示速度を速くする等、重要度に応じてスクロール表示速度を変更してもよい。さらに、入力デバイス38からの指示を受けて、スクロール表示を一時停止させる等してもよい。
【0113】
[第四実施形態]
第四実施形態を示す図11において、第一区画62には、切替表示枠82が設けられている。切替表示枠82は、例えば、高さの加算結果Σhと各区画62〜64の高さH〜Hとの比較で収まらないと選別された項目を表示する。コンソール制御部40は、切替表示枠82の切替表示速度を、読影医が余裕をもって視認することができる程度の速さに制御する。あるいは、コンソール制御部40は、入力デバイス38からの切替指示を受けて、切替表示枠82の表示を切り替える。
【0114】
図11では、項目「患者ID」、「性別、生年月日」が収まらない項目に選別された場合を例示している。切替表示枠82は、第一実施形態ならば項目「患者名」が表示される部分に設けられている。上段は初期の表示形態を示し、切替表示枠82には、項目「患者名」、「患者ID」、「性別、生年月日」のうち、重要度のポイントが最も高い項目「患者名」を表示している。中段は所定時間経過後、または入力デバイス38からの切替指示があったときの表示形態を示し、項目「患者名」から次に重要度のポイントが高い項目「患者ID」に表示を切り替えている。下段は、中段の状態からさらに所定時間経過後、または入力デバイス38からの切替指示があったときの表示形態を示し、項目「患者ID」から項目「性別、生年月日」に表示を切り替えている。
【0115】
なお、コンソール制御部40で切替表示速度を制御する場合、第二、第三実施形態の透明度、スクロール表示速度と同様、重要度のポイントが高い項目の切替表示速度を遅くして比較的長い時間表示させ、重要度のポイントが低い項目は切替表示速度を速くする等、重要度に応じて切替表示速度を変更してもよい。また、第二実施形態の項目「コメント」等、必要領域の幅wが第一区画62の幅Wよりも大きい項目を前半と後半等の適度な長さに分け、分けたものを切替表示してもよい。さらに、コンソール制御部40で切替表示速度を制御する場合は、第三実施形態と同様、入力デバイス38からの指示を受けて、切替表示を一時停止させる等してもよい。
【0116】
[第五実施形態]
第五実施形態を示す図12において、第一区画62には、小フォントサイズ表示枠83が設けられている。小フォントサイズ表示枠83は、例えば、高さの加算結果Σhと各区画62〜64の高さH〜Hとの比較で収まらないと選別された項目を、正規のフォントサイズよりも小さいフォントサイズで表示する。コンソール制御部40は、予め設定されたフォントサイズとなるように、小フォントサイズ表示枠83のフォントサイズを制御する。
【0117】
図12では、項目「患者ID」、「性別、生年月日」が収まらない項目に選別された場合を例示している。項目「検査日」、「コメント」は、上記各実施形態と同じ正規のフォントサイズで表示している。小フォントサイズ表示枠83は、第一実施形態ならば項目「患者名」が表示される部分に設けられている。項目「患者名」、「患者ID」、「性別、生年月日」は、正規のフォントサイズよりも小さいフォントサイズ(正規のフォントサイズの1/3のフォントサイズ)で表示している。
【0118】
なお、第二〜第四実施形態の透明度、スクロール表示速度、切替表示速度と同様、重要度のポイントが高い項目のフォントサイズを比較的大きくし、重要度のポイントが低い項目はフォントサイズを比較的小さくする等、重要度に応じてフォントサイズを変更してもよい。また、フォントサイズが小さくなりすぎる場合は、各項目を横に並べて表示してもよい。この際、各項目を横に並べたときの必要領域の幅wが第一区画62の幅Wよりも大きくなった場合は、第三実施形態のスクロール表示を併用してもよい。
【0119】
第一実施形態では、重要度が高い項目であっても、必要領域の幅wが各区画62〜64の幅W〜Wよりも大きい項目は表示しないと決定していた。また、重要度が比較的低い項目は、各区画62〜64の高さH〜Hとの兼ね合いで、表示されない確率が高かった。
【0120】
対して、第二〜第五実施形態では、第一実施形態で表示しないと決定した項目も、透明化して表示、スクロール表示、切替表示、または小フォントサイズで表示するので、表示される付帯情報の量が増え、レポート18を作成するにあたって有用な手助けとなる。また、第二〜第五実施形態では、比較的重要度が高い項目は、上記のような変則的な表示がされずに正規の表示がされるため、一目で重要度が高い情報とそうでない情報を見分けることができる。
【0121】
第二〜第五実施形態では、第一区画62のみを例示しているが、第二、第三区画63、64についても同様に適用することが可能である。また、第二〜第五実施形態は、第一実施形態で表示しないと決定した項目をできるだけ表示させるための救済措置として説明しているが、本発明はこれに限定されない。例えば、重要度のポイントが10以上のものは必ず表示するとした場合等、重要度に応じて表示するしないを決定する場合の救済措置としても用いることができる。
【0122】
すなわち、表示形態決定部43は、重要度が予め設定された閾値よりも小さい項目を表示しないと決定し、重要度が閾値以上である項目をスクロール表示、切替表示、小フォントサイズ表示、または透明表示すると決定する。例を挙げて説明すると、スクロール表示の対象となる項目が三つある場合、第二実施形態では全ての項目をスクロール表示するが、スクロール表示の対象となる項目三つのうち、重要度が閾値以下である項目が一つある場合には、該項目は表示せず、残りの二つの項目をスクロール表示する。
【0123】
上記各実施形態では、レポート18の作成前に医用画像17に既に付加されている付帯情報を、表示形態を決定する対象としているが、レポート18の作成中に付されるアノテーション65といった情報についても、同様に対象としてもよい。この場合、アノテーション65の表示領域(以下、アノテーション表示領域という)90(図13参照)が、付帯情報表示領域61を侵す場合も有り得る。その場合の対処法について、以下の第六実施形態で説明する。
【0124】
[第六実施形態]
第六実施形態では、付帯情報表示領域61とアノテーション表示領域90とを別々のレイヤに分けて取り扱う。例えば、アノテーション表示領域90のレイヤを、付帯情報表示領域61のレイヤの上層に設定した場合、コンソール制御部40は、図13(A)に示すように、付帯情報表示領域61(第一区画62)にアノテーション表示領域90を重ね、アノテーション表示領域90で付帯情報表示領域61を隠して表示する。あるいは、図13(B)に示すように、付帯情報表示領域61を表示せず、アノテーション表示領域90のみを表示する。
【0125】
各表示領域61、90のレイヤのいずれを上層に設定するかを、入力デバイス38で切替操作が可能に構成してもよい。付帯情報表示領域61のレイヤを、アノテーション表示領域90のレイヤの上層に設定した場合は、各表示領域61、90の重畳状態、あるいは表示、非表示が上記例とは逆になる。各表示領域61、90を別々のレイヤに分けることで、各表示領域61、90の表示が重なって見難くなるという問題が解消する。
【0126】
上記各実施形態では、付帯情報の項目の重要度のみを加味しているが、医用画像17の各領域の重要度(第二重要度に相当)を算出し、これと併せて付帯情報の表示形態を決定してもよい。
【0127】
[第七実施形態]
図14において、第七実施形態のレポート作成端末100のCPU30は、図3に示すレポート作成端末13のCPU30の各部に加えて、画像重要度算出部101を有する。画像重要度算出部101は、DBアクセス部41から医用画像17のデータを受け取り、医用画像17内のROIを抽出して、医用画像17内の各領域の重要度を算出する。
【0128】
ROIの抽出方法としては、例えば、パターン認識によって検出した病変等をROIとするものが知られている。パターン認識には、デジタルカメラで用いられている周知の顔検出技術(例えば、特開2005−284203号公報、特開2005−286940号公報、特開2005−156967号公報参照)を利用することができる。具体的には、病変等の特定のパターンをテンプレートとして用意し、医用画像17中の所定の領域(サーチエリア)毎に、テンプレートとの形状や色の一致の度合いを検出していく。このとき、サーチエリアの大きさや角度を種々変えながら、医用画像17の全領域について検出を行い、一致の度合いが最も高い部分をROIとして抽出する。
【0129】
医用画像17が内視鏡画像であった場合は、医用画像17に血管強調処理を施して血管集中部位を検出し、この血管集中部位をROIとしてもよい。血管強調処理は周知技術であり、特開2003−93342号公報等に開示されている。画像重要度算出部101は、血管の主要色信号である赤色信号以外の色信号(例えば、緑色信号)を微分した微分信号を生成して増幅し、この微分信号に基づいて赤色信号を増幅することにより血管を強調する。血管集中部位は、赤色の濃度が高くなるため、医用画像17中から赤色の濃度が高い領域を検出し、この検出領域をROIとして抽出すればよい。
【0130】
画像重要度算出部101は、上記のようにして抽出したROIの重要度のポイントを最高の100とする。そして、例えば、ROIの中心画素からの距離に応じて、医用画像17内の領域の重要度を算出する。
【0131】
具体的には、図15に模式的に示すように、ROIの中心画素Oを中心とする複数の楕円102(円や矩形でも可)を仮想的に描く。そして、あたかもダーツの的の如く、楕円102同士で囲まれる複数の領域103に対して、中心画素Oからの距離が近い順に重要度のポイントを90、80、・・・というように10ポイント刻みで割り振る。なお、中心画素Oからの距離ではなく、ROIとの画像特徴量の類似度等に応じて、重要度を算出してもよい。画像重要度算出部101は、算出した重要度の情報を表示形態決定部43に出力する。
【0132】
表示形態決定部43は、付帯情報の項目の重要度に加えて、医用画像17(主要被写体表示領域60)内の各領域103の重要度に応じて、付帯情報表示領域61の表示形態を決定する。表示形態決定部43は、付帯情報表示領域61に収まらず、医用画像17内にはみ出す付帯情報の項目がある場合、その項目の重要度と、その項目がはみ出す医用画像17内の領域103の重要度を比較する。
【0133】
前者が後者よりも大きい場合は、第五実施形態を採用し、透明表示枠80を設けて該項目を透明化して表示すると決定する。あるいは、第六実施形態のレイヤ構造を採用し、該項目を医用画像17の領域103に重ね、該項目で領域103を隠すように表示すると決定する。逆に、医用画像17内にはみ出す付帯情報の項目の重要度が、その項目がはみ出す医用画像17内の領域103の重要度以下であった場合は、該項目を表示しないと決定する。
【0134】
このようにすれば、比較的重要度が高い医用画像17の領域103が、不用意に付帯情報表示領域61で隠されることがなくなる。また、比較的重要度が低い医用画像17の領域103の表示を犠牲にすることで、比較的重要度が高い付帯情報の項目を表示することができる。
【0135】
なお、画像重要度算出部101でROIを自動的に抽出する例を説明したが、入力デバイス38を介して読影医にROIを指定させてもよい。例えば、アノテーション65が付されている場合は、その部分をROIとする。また、読影医等が医用画像17の重要度を手動で設定してもよい。さらに、医用画像17の重要度を全領域103について算出しているが、少なくとも付帯情報表示領域に収まらない項目を表示しようとしたときに侵される医用画像17の領域103の重要度を算出すればよい。
【0136】
なお、付帯情報表示領域60に付帯情報の全項目が収まる場合は、項目の表示の並び順を上記各実施形態の如く重要度の高い順とせず、順不同としてもよい。また、上記各実施形態では、各区画62〜64をそれぞれ別の付帯情報表示領域に見立て、区画62〜64毎に表示形態を決定しているが、各区画62〜64を一つの付帯情報表示領域に見立てて表示形態を決定してもよい。この場合、各区画62〜64に配置する項目を予め規定せず、例えば、重要度が高いものから順に、第一区画62、第二区画63、第三区画64に配置する。このため、第二実施形態の透明表示枠80や第三〜第五実施形態の各変則表示枠は、概ね第三区画64に設けられる。さらに、主要被写体表示領域60の大きさが大き過ぎて、付帯情報表示領域61が所望の面積を確保できない場合は、止むを得ず医用画像17を縮小してもよい。
【0137】
上記各実施形態では、レポート作成端末でレポートを作成する際に、付帯情報表示領域の表示形態を決定しているが、診療科端末で、作成が完了したレポートと一緒に医用画像を閲覧する際に、付帯情報表示領域の表示形態を決定してもよい。この場合、レポート作成端末の表示形態決定部で決定した付帯情報表示領域の表示形態の情報を、医用画像のデータに記憶しておけば、診療科端末で医用画像のデータを開いた際に、レポート作成端末の画像表示画面における表示形態と同一の表示形態で、医用画像を表示することができる。勿論、診療科端末に図3の各部40〜43を設けて、診療科端末を本発明の医用画像表示装置としてもよい。
【0138】
なお、上記各実施形態で例示した表示形態を、読影医が選択可能に構成してもよい。読影医の好みやレポートの作成意図に応じて、適した表示形態を選択することができる。また、上記各実施形態で例示した表示形態を複合して用いても可である。例えば、第三実施形態と第五実施形態を複合し、フォントサイズを小さくして、且つ必要領域の幅が付帯情報表示領域の幅より大きい項目をスクロール表示してもよい。あるいは、第四実施形態と第五実施形態を複合し、フォントサイズを小さくして、且つ切替表示をしてもよい。スクロール表示枠や切替表示枠の高さを低くすることができ、より効率的な付帯情報の表示が可能となる。
【0139】
上記各実施形態では、検査科12で実施される検査を例示して説明したが、検査種はこれらに限定されるものではなく、PET(Positron Emission Tomography)検査、超音波検査、内視鏡検査等でもよい。
【0140】
上記各実施形態では、本発明の医用画像表示装置を構成する、レポート作成端末が一台の例で説明したが、レポート作成端末は複数台でもよい。また、レポート作成端末のストレージデバイスに重要度テーブルを格納する態様を例示したが、重要度テーブルの格納先は上記に限らず、DBサーバに格納しておいてもよい。この場合、レポート作成端末のDBアクセス部がDBサーバにアクセスして、重要度テーブルの検索要求の送信とその検索結果の受信とを行う。
【0141】
また、上記各実施形態のように、クライアント(レポート作成端末)と、サーバ(DBサーバ)とからなるクライアントサーバ型の情報システムの場合には、レポート編集用のクライアントプログラムは、専用のプログラムを使用してもよいし、HTTP(Hyper Text Transfer Protocol)といった、WWW(World Wide Web)のプロトコルに対応した汎用的なブラウザを使用してもよい。
【0142】
専用のプログラムを使用する場合には、レポート編集画面は、専用のプログラムで定義された画面データに基づいて生成される。汎用的なブラウザを使用する場合には、例えば、Webサーバにレポート編集画面のデータを格納しておき、クライアントはWebサーバにアクセスして、Webページの形式に加工されたレポート編集画面のデータをダウンロードする。クライアントのブラウザは、受信したWebページのソースコードを解釈してレポート編集画面を生成する。WebサーバはDBサーバ14が兼用してもよいし、DBサーバとは別のサーバでもよい。汎用的なブラウザを使用する場合には、WebサーバのCPUが、クライアントのCPUと協働して、または単独で、コンソール制御部、編集処理部等を構成する。
【0143】
また、DBが構築されるデータ格納装置としては、DBサーバ以外でもよく、例えば、NAS(Network Attached Storage)、SAN(Storage Area Network)といったネットワークを介して接続するストレージデバイスを使用してもよい。このように、コンピュータシステムの物理構成は適宜変更が可能である。
【0144】
上記各実施形態では、ネットワークとしてLANを例に説明しているが、診療科と検査科が複数の拠点に分散しているような場合には、ネットワークとしてLANとWAN(Wide Area Network)を組み合わせて使用してもよい。
【0145】
なお、上記各実施形態で示したとおり、本発明は、プログラムの形態、さらにはプログラムを記憶する記憶媒体にも及ぶことは勿論である。
【図面の簡単な説明】
【0146】
【図1】医療情報システムの構成図である。
【図2】診療科端末、レポート作成端末、およびデータベースサーバを構成するコンピュータの概略を示す構成図である。
【図3】レポート作成端末とデータベースサーバの概略構成を示す図である。
【図4】付帯情報の各項目を全て表示した画像表示画面を示す図である。
【図5】必要領域の大きさの情報の格納状態を示す説明図である。
【図6】重要度の格納状態を示す説明図である。
【図7】付帯情報の各項目の一部を表示し、他を非表示とした画像表示画面を示す図である。
【図8】画像表示画面を表示するまでの一連の処理の流れを示すフローチャートである。
【図9】透明表示枠を設けた第二実施形態の画像表示画面を示す図である。
【図10】スクロール表示枠を設けた第三実施形態の画像表示画面を示す図である。
【図11】切替表示枠を設けた第四実施形態の画像表示画面を示す図である。
【図12】小フォントサイズ表示枠を設けた第五実施形態の画像表示画面を示す図である。
【図13】第六実施形態に係る画像表示画面を示す図であり、(A)はアノテーション表示領域を付帯情報表示領域に重ねて表示する例、(B)は付帯情報表示領域を表示せずにアノテーション表示領域のみを表示する例をそれぞれ示す。
【図14】第七実施形態に係るレポート作成端末とデータベースサーバの概略構成を示す図である。
【図15】医用画像内の関心領域と各領域の重要度の関係を例示する説明図である。
【符号の説明】
【0147】
2 医療情報システム
11 診療科端末
13、100 レポート作成端末
17 医用画像
22 モダリティ
30 CPU
32 ストレージデバイス
34 コンソール
36 アプリケーションプログラム(AP)
37、37a、37b ディスプレイ
38 入力デバイス
40 コンソール制御部
42 領域設定部
43 表示形態決定部
46 画像表示画面
60 主要被写体表示領域
61 付帯情報表示領域
62〜64 第一〜第三区画
65 アノテーション
70 重要度テーブル
80 透明表示枠
81 スクロール表示枠
82 切替表示枠
83 小フォントサイズ表示枠
90 アノテーション表示領域
101 画像重要度算出部

【特許請求の範囲】
【請求項1】
医用画像、および複数の項目からなる医用画像の付帯情報を、ディスプレイの画面上に重ねて表示させる表示制御手段と、
付帯情報の各項目の情報としての価値を示す第一重要度を格納する格納手段と、
医用画像内の主要被写体表示領域外に設けられた付帯情報表示領域に、第一重要度が高い項目から順に優先的に表示されるように、付帯情報の表示形態を決定する表示形態決定手段とを備えることを特徴とする医用画像表示装置。
【請求項2】
医用画像を解析して主要被写体表示領域を抽出し、抽出した主要被写体表示領域外に付帯情報表示領域を設定する領域設定手段を備えることを特徴とする請求項1に記載の医用画像表示装置。
【請求項3】
前記表示形態決定手段は、正規の表示形態で付帯情報を表示するために必要な必要領域の大きさと付帯情報表示領域の大きさを比較して、付帯情報表示領域に収まる項目と収まらない項目を選別することを特徴とする請求項1または2に記載の医用画像表示装置。
【請求項4】
前記表示形態決定手段は、付帯情報表示領域に収まらない項目を、付帯情報表示領域に表示しないと決定することを特徴とする請求項3に記載の医用画像表示装置。
【請求項5】
前記表示形態決定手段は、付帯情報表示領域における正規の表示濃度よりも薄く透明化して、付帯情報表示領域に収まらない項目を表示する透明表示枠を、主要被写体表示領域に設けることを特徴とする請求項3に記載の医用画像表示装置。
【請求項6】
前記表示形態決定手段は、付帯情報表示領域に収まらない項目の第一重要度と予め設定された閾値を比較して、透明表示枠に入れ込む項目と入れ込まない項目を選別することを特徴とする請求項5に記載の医用画像表示装置。
【請求項7】
前記表示制御手段は、透明表示枠の透明度を、第一重要度に応じて変更することを特徴とする請求項5または6に記載の医用画像表示装置。
【請求項8】
前記表示形態決定手段は、正規の表示形態で付帯情報を表示する正規表示枠と、正規の表示形態とは異なる変則的な表示形態で付帯情報を表示する変則表示枠とを付帯情報表示領域内に設け、
第一重要度が高い項目から順に、正規表示枠に入れ込むことを特徴とする請求項1または2に記載の医用画像表示装置。
【請求項9】
前記表示形態決定手段は、正規表示枠に入れ込めない全ての項目を、変則表示枠に入れ込むことを特徴とする請求項8に記載の医用画像表示装置。
【請求項10】
前記表示形態決定手段は、正規表示枠に入れ込めない項目の第一重要度と予め設定された閾値を比較して、変則表示枠に入れ込む項目と入れ込まない項目を選別することを特徴とする請求項8に記載の医用画像表示装置。
【請求項11】
正規表示枠は、付帯情報を正規の大きさで、且つその全体を常時表示するものであることを特徴とする請求項8ないし10のいずれかに記載の医用画像表示装置。
【請求項12】
変則表示枠は、項目をスクロール表示するスクロール表示枠を含むことを特徴とする請求項8ないし11のいずれかに記載の医用画像表示装置。
【請求項13】
変則表示枠は、複数の項目を切替表示する切替表示枠を含むことを特徴とする請求項8ないし12のいずれかに記載の医用画像表示装置。
【請求項14】
変則表示枠は、正規表示枠のフォントサイズよりも小さいフォントサイズで項目を表示する小フォントサイズ表示枠を含むことを特徴とする請求項8ないし13のいずれかに記載の医用画像表示装置。
【請求項15】
前記表示制御手段は、スクロール表示速度、切替表示速度、またはフォントサイズのいずれかを、第一重要度に応じて変更することを特徴とする請求項12ないし14のいずれかに記載の医用画像表示装置。
【請求項16】
前記表示制御手段は、ディスプレイの画面に医用画像が表示される前に予め付加された付帯情報と、ディスプレイの画面に医用画像が表示された後に付加される付帯情報の各付帯情報表示領域を別々のレイヤに分けて取り扱い、
一方のレイヤを上層に設定した場合、他方のレイヤの付帯情報表示領域に一方のレイヤの付帯情報表示領域を重ね、一方のレイヤの付帯情報表示領域で他方のレイヤの付帯情報表示領域を隠して表示させる、あるいは、他方のレイヤの付帯情報表示領域は表示させず、一方のレイヤの付帯情報表示領域のみを表示させることを特徴とする請求項1ないし15のいずれかに記載の医用画像表示装置。
【請求項17】
ディスプレイの画面に医用画像が表示された後に付加される付帯情報は、医用画像内の関心領域に付されるアノテーションであることを特徴とする請求項16に記載の医用画像表示装置。
【請求項18】
前記表示形態決定手段は、医用画像の領域の情報としての価値を示す第二重要度と第一重要度を比較して、医用画像の領域に付帯情報を重ねて表示するか否かを決定することを特徴とする請求項1ないし17のいずれかに記載の医用画像表示装置。
【請求項19】
医用画像を解析して第二重要度を算出する第二重要度算出手段を備えることを特徴とする請求項18に記載の医用画像表示装置。
【請求項20】
医用画像、および複数の項目からなる医用画像の付帯情報を、ディスプレイの画面上に重ねて表示させるための医用画像表示方法であって、
医用画像内の主要被写体表示領域外に設けられた付帯情報表示領域に、情報としての価値を示す重要度が高い項目から順に優先的に表示されるように、付帯情報の表示形態を決定する表示形態決定ステップと、
前記表示形態決定ステップで決定された表示形態に従って、医用画像、および付帯情報の表示制御を行う表示制御ステップとを備えることを特徴とする医用画像表示方法。
【請求項21】
医用画像、および複数の項目からなる医用画像の付帯情報を、ディスプレイの画面上に重ねて表示させるための医用画像表示プログラムであって、
医用画像内の主要被写体表示領域外に設けられた付帯情報表示領域に、情報としての価値を示す重要度が高い項目から順に優先的に表示されるように、付帯情報の表示形態を決定する表示形態決定機能と、
前記表示形態決定機能で決定された表示形態に従って、医用画像、および付帯情報の表示制御を行う表示制御機能とを、コンピュータに実現させることを特徴とする医用画像表示プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2010−57528(P2010−57528A)
【公開日】平成22年3月18日(2010.3.18)
【国際特許分類】
【出願番号】特願2008−223081(P2008−223081)
【出願日】平成20年9月1日(2008.9.1)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】