説明

レポート作成支援システム

【課題】医用レポート内に記載された所見に対応する注目画像を容易に特定することができるレポート作成支援システムを提供する。
【解決手段】レポート作成支援システム10は、入力履歴記録部、操作履歴記録部、選択部、抽出部、表示制御部を有する。入力履歴記録部は、医用レポート作成時に入力された所見と所見の入力開始時刻及び終了時刻の少なくとも一方とを関連付けて記録する。操作履歴記録部は、操作履歴として医用レポート作成時に操作した画像に対して行った操作の種類と当該操作を行った時刻とを操作した画像と関連付けて記録する。選択部は、医用レポート内の所見の少なくとも一部を選択する。抽出部は、選択された位置に対応する所見の入力開始時刻及び終了時刻の少なくとも一方と、対応する時刻の操作履歴の内容に基づいて、選択部によって選択された所見における注目画像を抽出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、レポート作成支援システムに関する。
【背景技術】
【0002】
X線撮影装置、X線CT装置及びMRI(磁気共鳴イメージング)診断装置等の医用画像撮影装置によって撮影された画像は、医用画像保管装置(サーバ)に保管される。
【0003】
読影医は、マウス等の入力手段を用いて医用画像保管装置に保管された画像から任意の画像を医用観察装置(ビューア)上に表示させる指示を行う。そして読影医は、医用レポート作成装置に表示された所見入力欄にその画像に対する所見を入力することによって医用レポートを作成する。
【0004】
ここで、過去に検査(以下、「過去検査」という場合がある)を行った患者に対して新たに検査(以下、「今回検査」という場合がある)を行った場合、読影医は過去検査からの経時変化を今回検査の医用レポートに記載することがある。
【0005】
そのとき読影医は、過去検査において注目していた画像(以下、「注目画像」という場合がある)を確認したり、注目画像と今回検査の画像を比較する必要がある。
【0006】
この場合、注目画像の選択や注目画像と比較するための今回検査の画像選択、或いは医用観察装置への注目画像と今回検査の画像との並列表示操作等は読影医自身によって行われている。
【0007】
例えば、注目画像を選択する場合、読影医は過去検査の医用レポートを読み、その所見に対応すると思われる何枚かの画像を医用画像観察装置上に表示させる。そして読影医はそれらの画像から所見に最も近いと思われる画像を注目画像として選択するという作業を行っている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2009−230304号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかし、複数枚ある過去検査の画像から注目画像を選択すること等を読影医が行うことは時間がかかり、効率的な読影の妨げとなっていた。
【0010】
よって本実施形態では、上記課題を解決するために医用レポート内に記載された所見に対応する注目画像を容易に特定することができる構成を説明する。
【課題を解決するための手段】
【0011】
上記課題を解決するために、実施形態に記載のレポート作成支援システムは、入力履歴記録部と、操作履歴記録部と、選択部と、抽出部と、表示制御部とを有する。入力履歴記録部は、医用レポート作成時に入力された所見と当該所見の入力開始時刻及び終了時刻の少なくとも一方とを関連付けて入力履歴として記録する。操作履歴記録部は、操作履歴として、医用レポート作成時に操作した画像に対して行った操作の種類と当該操作を行った時刻とを当該操作した画像と関連付けて記録する。選択部は、入力部からの入力指示に基づいて、医用レポート内の所見の少なくとも一部を選択する。抽出部は、選択部によって選択された位置に対応する所見の入力開始時刻及び終了時刻の少なくとも一方と、それに対応する時刻の操作履歴の内容に基づいて、選択部によって選択された所見における注目画像を抽出する。表示制御部は、注目画像を表示部に表示させる。
【図面の簡単な説明】
【0012】
【図1】実施形態に共通する医用情報システムを示すブロック図である。
【図2】第1の実施形態におけるレポート作成支援システムを示すブロック図である。
【図3】第1の実施形態における画像操作履歴記録処理におけるビューア部の構成を示す図である。
【図4】第1の実施形態における画像操作履歴記録処理のフローチャートである。
【図5】第1の実施形態における画像操作履歴記録処理の処理結果を示す図である。
【図6】第1の実施形態における入力履歴記録処理におけるレポート部の構成を示す図である。
【図7】第1の実施形態における入力履歴記録処理のフローチャートである。
【図8】第1の実施形態における入力履歴記録処理の処理結果を示す図である。
【図9】第1の実施形態における入力履歴記録処理の説明を補足する図である。
【図10】第1の実施形態における注目画像抽出処理における選択部を示す図である。
【図11】第1の実施形態における注目画像抽出処理におけるレポート部の構成を示す図である。
【図12】第1の実施形態における注目画像抽出処理のフローチャートである。
【図13】第1の実施形態における注目画像抽出処理のフローチャートである。
【図14】第2の実施形態における入力履歴記録処理におけるレポート部の構成を示す図である。
【図15】第2の実施形態における入力履歴記録処理のフローチャートである。
【発明を実施するための形態】
【0013】
(医用情報システムの全体構成)
まず、図1を用いて本実施形態におけるレポート作成支援システム10を含む医用情報システム1の全体構成について説明する。
【0014】
図1に示す通り、医用情報システム1は、医用画像撮影装置2、医用画像保管装置3(以下、「サーバ部3」という場合がある)、医用画像観察装置4(以下、「ビューア部4」という場合がある)、医用レポート作成装置5(以下、「レポート部5」という場合がある)を有している。またこれらの装置間はLAN6(Local Area Network)を通じて通信可能に接続されている。本実施形態においては、レポート作成部5単体、或いはサーバ部3、ビューア部4及びレポート部5がレポート作成支援システム10を構成する。なお、本実施形態においては、サーバ部3、ビューア部4及びレポート部5が別体の構成について説明するが、サーバ部3、ビューア部4及びレポート部5は、それぞれの機能を有する一の装置であってもよい。
【0015】
医用画像撮影装置2は、X線撮影装置、X線CT装置及びMRI診断装置等の撮影装置である。これらの撮影装置で患者を撮影することにより、医用画像を取得することができる。取得された医用画像は、DICOM(Digital Imaging and Communication in Medicine)に準拠したファイル形式でサーバ部3に送信される。なお、送信される医用画像には、その医用画像を撮影した日付等その医用画像に付随する画像関連情報が含まれている。
【0016】
サーバ部3は、医用画像撮影装置2で撮影された医用画像及び医用レポート等を保管する装置である。サーバ部3の詳細については後述する。
【0017】
ビューア部4は、読影医等からの入力指示に基づき、サーバ部3に保管された複数の医用画像から所望の画像を読み出して表示させる装置である。ビューア部4の詳細については後述する。
【0018】
レポート部5は、読影医等からの入力指示に基づき、ビューア部4に表示された医用画像に対して、所見入力欄に所見を入力し、医用レポートを作成する装置である。レポート部5の詳細については後述する。なお、本実施形態において「所見」とは、少なくとも一文字以上からなる文字(文字列)である。
【0019】
(第1の実施形態)
図2から図13を用いて第1の実施形態について説明を行う。
【0020】
(レポート作成支援システムの構成)
図2を用いて本実施形態におけるレポート作成支援システム10の構成について詳述する。上述の通り、本実施形態におけるレポート作成支援システム10は、サーバ部3、ビューア部4及びレポート部5からなる。
【0021】
(サーバ部の構成)
サーバ部3は、画像送受信部31、関連情報保管部32、画像保管部33、画像配信部34、レポート送受信部35、レポート保管部36、レポート配信部37を有する。
【0022】
画像送受信部31は、医用画像撮影装置2から送信される医用画像(及び付随する画像関連情報)を受信し、関連情報保管部32及び画像保管部33に送信する機能を有している。
【0023】
関連情報保管部32は、画像送受信部31から送信された医用画像に関連する情報(画像の撮影日時、撮影条件等)を保管する機能を有している。
【0024】
画像保管部33は、画像送受信部31から送信された医用画像を保管する機能を有している。なお、画像送受信部31から送信された医用画像に関連する情報と画像送受信部31から送信された医用画像とは互いに関連付けられて保管されている。
【0025】
画像配信部34は、ビューア部4からの指示に基づき、特定の医用画像を関連情報と共にビューア部4に配信する機能を有している。
【0026】
レポート送受信部35は、レポート部5から送信された医用レポートを受信し、レポート保管部36に送信する機能を有している。
【0027】
レポート保管部36は、レポート送受信部35から送信された医用レポートを保管する機能を有している。なお、医用レポートには患者ID等、その医用レポートを特定するための関連情報が付随されている。
【0028】
レポート配信部37は、レポート部5からの指示に基づき、特定の医用レポートをレポート部5に配信する機能を有している。
【0029】
(ビューア部の構成)
ビューア部4は、入力部41、CPU(Central Processing Unit)42、表示部43を有する。
【0030】
入力部41は、読影医等が、ビューア部4に対する操作入力を行う機能を有している。入力部41は、キーボードやマウス等の操作入力手段である。
【0031】
CPU42は、入力部41からの入力指示に基づいて、ROM(Read Only Memory。図示なし)やRAM(Random Access Memory。図示なし)から対応するプログラムを読み出し、そのプログラムに従って所定の処理を実行する機能を有している。
【0032】
例えば、入力部41によってある患者に関する医用画像を表示させる指示(具体的には、ある患者IDが入力)がされると、CPU42は所定のプログラムに基づいて医用画像表示のための処理を行う。この場合、CPU42は、まず患者IDをサーバ部3(画像配信部34)に送信する。画像配信部34は、その患者IDに対応する医用画像(及び付随する画像関連情報)を関連情報保管部32及び画像保管部33から読み出し、CPU42に配信する。そしてCPU42はその医用画像を表示部43に表示させる処理を行う。
【0033】
表示部43は、モニタ等の表示手段であって、CPU42によって処理された医用画像等を表示する機能を有している。また表示部43に表示された医用画像に対しては、入力部41で入力操作を行うことにより、医用画像の拡大、縮小等の処理を行うことが可能である。この処理の制御に関しては、所定のプログラムに基づいてCPU42が行う。
【0034】
(レポート部の構成)
レポート部5は、入力部51、CPU52、表示部53を有する。
【0035】
入力部51は、読影医等がレポート部5に対する操作入力を行う機能を有している。入力部51は、キーボードやマウス等の操作入力手段である。なお、入力部41及び入力部51は別体で設けられている必要はなく一体的な入力部を設けることも可能である。
【0036】
CPU52は、入力部51からの入力指示に基づき、ROM(図示なし)やRAM(図示なし)から対応するプログラムを読み出し、そのプログラムに従って所定の処理を実行する機能を有している。なお、CPU42及びCPU52は別体で設けられている必要はなく一体的なCPUを設けることも可能である。
【0037】
例えば、入力部51によって医用レポート作成の指示がなされると、CPU52は、レポート作成部として機能する。すなわち、入力部51からの入力動作に基づいて表示部53上に所見入力欄を表示させたり、所見入力欄の選択、所見(文字列)の入力等を行う処理を実行する。
【0038】
或いはCPU52は、入力部51からの入力指示に基づいて、サーバ部3から特定の医用レポートを取得する処理を実行することも可能である。例えば、入力部51によってある患者IDが入力されると、CPU52はその患者IDをサーバ部3(レポート配信部37)に送信する。レポート配信部37は、その患者IDに対応する医用レポートをレポート保管部36から読み出し、レポート部5に配信する。CPU52はその医用レポートを表示部53に表示させる処理を行う。
【0039】
なお、入力部51によって入力された患者IDに対応する医用レポートが複数ある場合には、レポート配信部37によって全ての医用レポートがレポート部5に配信される。この場合、CPU52は、複数の医用レポートの一覧表(例えば日付のみ)を表示部53に表示させる処理を行う。読影医等がその一覧から所望の対象を選択することにより、CPU52は、それに対応する医用レポートを表示部53に表示させることが可能となっている。
【0040】
表示部53は、モニタ等の表示手段であって、医用レポートを表示する機能を有している。なお、表示部43及び表示部53は別体で設けられている必要はなく一つの表示部を設けることも可能である。
【0041】
(画像操作履歴記録処理について)
次に図3から図5を用いて、本実施形態における画像操作履歴記録処理について詳述する。
【0042】
医用レポート作成においては、読影医が医用画像を参照しながら所見入力欄に所見を入力していく。その際、複数の医用画像を切り換えて表示させたり、ある特定の医用画像について拡大、縮小等の操作を行う場合がある。本実施形態においてはそれらの医用画像に対して行われた操作の履歴(以下、「画像操作履歴」という場合がある)を記録する処理を行っている。
【0043】
図3に示すように、画像操作履歴記録処理においてCPU42は、判別部421、取得部422として機能する。
【0044】
判別部421は、表示部43に表示された医用画像に対して画像操作が行われたか否か及び画像操作が行われた場合にはその操作の種類(拡大、縮小、非表示、追加表示、階調変更、計測、アノテーション等)を判別する機能を有している。具体的には、入力部41によって医用画像の操作指示が入力された場合、判別部421はその入力信号(画像操作信号)を受信することにより画像操作の開始及び操作の種類を判別することができる。なお、判別部421はその判別結果を取得部422に送信する。
【0045】
取得部422は、医用画像に対する操作が行われた時刻を取得する機能を有している。具体的には、判別部421からの入力信号が入力された場合に、その入力信号に対応する時刻(画像操作が開始された時刻)を取得する。
【0046】
また本実施形態においては、サーバ部3内の関連情報保管部32が、画像操作履歴を操作が行われた医用画像と関連付けて記録する機能を有している。すなわち関連情報保管部32は、「操作履歴記録部」としての機能も有している。なお、ビューア部4内に記録部を設け、その記録部内に画像操作履歴及び関連する医用画像を記録させることも可能である。
【0047】
図4は、画像操作履歴記録処理のフローチャートである。
【0048】
入力部41からの入力指示に基づいて、表示部43に医用画像が表示されると(S10)、まず判別部421は、表示部43に表示された医用画像に対して画像操作が行われているか否か(操作が行われている場合にはその操作内容)を判別する(S11)。
【0049】
画像操作が行われている場合(S11でYの場合)、取得部422は、医用画像に対する操作が行われた時刻を取得する(S12)。
【0050】
そして関連情報保管部32は、操作された医用画像、その操作の開示時刻及びその操作の種類を関連付けて記録する(S13)。
【0051】
医用レポートの作成が完了するまでS11からS13の処理を繰り返し(S14でNの場合)、医用レポートの作成が完了した場合(S14でYの場合)には、医用レポートの作成における画像操作は完了となるため、画像操作履歴が例えば図5に示すような操作履歴ID100として関連情報保管部32に記録される(S15)。
【0052】
(入力履歴記録処理について)
次に図6から図9を用いて、本実施形態における入力履歴記録処理について詳述する。
【0053】
読影医は医用レポートを作成するため、ビューア部4に表示された医用画像を参照しながら所見入力欄に所見を入力していく。本実施形態においてはその所見入力の履歴(以下、「入力履歴」という場合がある)を記録する処理を行っている。
【0054】
図6に示すように、入力履歴記録処理においてCPU52は、判別部521、取得部522、監視部523として機能する。
【0055】
判別部521は、医用レポートの所見入力の開始、及び所見入力の終了を判別する機能を有している。具体的には、入力部51により表示部53上の所見入力欄が選択されると、その所見入力欄がアクティブ(所見の入力が可能な状態)になる。一方、入力部51による所見入力が完了した場合には、その所見入力欄は非アクティブ(所見の入力が不可能な状態)になる。判別部521はこれらアクティブ、非アクティブな状態を入力部51からの入力信号(所見入力欄選択信号及び選択解除信号)に基づいて認識し、所見入力の開始、及び所見入力の終了を判別する。
【0056】
取得部522は、所見入力欄がアクティブになった時刻(以下、「入力開始時刻」という場合がある)及び所見入力欄が非アクティブになった時刻(以下、「入力終了時刻」という場合がある)を取得する機能を有している。具体的には、入力部51からの入力信号(所見入力欄選択信号及び選択解除信号)に基づいて対応する時刻を取得する。
【0057】
監視部523は、入力部51によって入力される所見の所見入力欄内の位置を監視する機能を有している。例えば、ある所見が所見入力欄内で1文字目から−100文字目まで記入されている場合(先の所見入力)において、別の機会に新たな所見が51文字目から80文字目までに挿入された場合(後の所見入力)、監視部523は先の所見入力は1文字目から50文字目と81文字目から130文字目までであると判断し、その判断結果をレポート保管部36に記録する処理を行う。また監視部523は後の所見入力が51文字目から80文字目であると判断し、その判断結果をレポート保管部36に記録する処理を行う。
【0058】
また、本実施形態においては、サーバ部3内のレポート保管部36が、ある所見の入力開始時刻、入力終了時刻及び所見入力欄内における所見の位置を関連付けて記録する機能を有している。すなわちレポート保管部36は、「入力履歴記録部」としての機能も有している。なお、レポート部5内に記録部を設け、その記録部内に入力履歴を記録させることも可能である。
【0059】
図7は、入力履歴記録処理のフローチャートである。
【0060】
入力部51からの入力指示に基づいて、表示部53に医用レポート作成画面が表示されると(S20)、まず判別部521は、医用レポート作成画面上の所見入力欄がアクティブになっているか否かを判別する(S21)。
【0061】
所見入力欄がアクティブの場合(S21でYの場合)、取得部522は、入力開始時刻を取得する(S22)。
【0062】
アクティブになった所見入力欄には、入力部51によってビューア部4に表示された医用画像に対する所見が入力される(S23)。
【0063】
S23によって所見入力がなされている状態において、監視部523は、その所見が所見入力欄のどの位置に入力されているかを監視する(S24)。
【0064】
所見入力が完了した場合(S25でYの場合)、入力部51からの指示により、所見入力欄のアクティブ状態が解除(非アクティブ)される。所見入力が完了していない場合(S25でNの場合)にはS23に戻って、引き続き所見入力が継続される。
【0065】
所見入力欄が非アクティブになった場合、取得部522は入力終了時刻を取得する(S26)。
【0066】
所見入力欄に対して必要な所見入力が完了した場合、医用レポートの作成は完了となる(S27)。
【0067】
そして医用レポートに記載された各所見の入力開始時刻及び入力終了時刻及び所見の位置は、レポート保管部36に記録される(S28)。具体的には、例えば図8に示すような入力履歴ID200としてレポート保管部36に記録される。図8に示す入力履歴ID200には、ある所見入力欄に異なるタイミングで3回((a)〜(c))所見入力が行われた状態が記録されている。
【0068】
ここで図8のように、ある所見入力欄に異なるタイミングで複数回所見入力が行われた場合における監視部523の処理について、図9を用いて説明を行う。
【0069】
例えば、所見入力欄にあるタイミングで入力が終了した所見a(所見の位置:1文字目−160文字目)が記入されている状態において(図9A参照)、別のタイミングに新たな所見bを所見aの途中に割り込んで入力すると(所見の位置:101文字目−150文字目)、図9Bのように所見aは所見a−1(所見の位置:1文字目−100文字目)とa−2(所見の位置:151文字目−160文字目)の2つに分割されることになる。しかし監視部523により、分割された所見a−1とa−2は同じ時刻に入力を開始し、同じ時刻に入力が終了された所見(同じタイミングで入力処理が行われた所見)であるとして監視されている。従って、レポート保管部36には所見aと所見bの入力開始時刻及び入力終了時刻は区別されたままの状態(図8における(a)と(b))で記録されることとなる。同様に図9Cのように新たな所見c(所見の位置:161文字目−200文字目)が追記されると共に所見a−1が削除されたとしても、レポート保管部36には所見a−2、所見b、所見cそれぞれの入力開始及び入力終了時刻が区別されたままの状態(図8における(a)〜(c))で記録されることとなる。なお、医用レポート上における文字位置に関しては、所見a−1が削除された場合、所見a−2は51文字目−60文字目、所見bは1文字目−50文字目、所見cは61文字目−100文字目となる。
【0070】
なお取得部522が所見入力開始時刻及び終了時刻を取得するトリガーは、所見入力欄のアクティブ、非アクティブに限られない。例えばある一文の入力開始時を所見入力開始時刻として取得し、その一文の入力完了時刻(句点が入力された時)を入力終了時刻として取得することでもよい。
【0071】
(注目画像抽出処理について)
次に、上述の画像操作履歴及び入力操作履歴が記録されたある医用レポートに対して、読影医がその医用レポートの所見に対応する注目画像を表示させる場合の処理について詳述する。
【0072】
図10に示すように、本実施形態においては、選択部511が表示部53の表示画面53a上に設けられている。選択部511は入力部51によって操作され、表示部53の表示画面53a上に表示された医用レポート300に記載された所見の少なくとも一部を選択する機能を有している。
【0073】
また図11に示すように、注目画像抽出処理においてCPU52は抽出部524として機能する。
【0074】
抽出部524は、選択部511によって選択された所見の入力履歴と、その所見入力時に参照した画像に対して行った操作履歴とに基づいて選択部511によって選択された所見における注目画像を抽出する機能を有している。注目画像抽出の詳細については後述する。
【0075】
図12及び図13は、注目画像抽出処理のフローチャートである。
【0076】
まず、読影医が入力部51から患者ID等を入力すると、表示部53上にその患者IDに対応する過去検査に関する医用レポートが表示される(S30)。
【0077】
ここで、読影医がその医用レポート内のある所見について、その所見を記載する際に注目していた画像を見たいと考えた場合、読影医は入力部51を操作し、マーカーとして示される選択部511を動かして所望の所見を選択する(S31。図10参照)。
【0078】
選択部511によってある所見が選択された場合、抽出部524は、レポート保管部36からその医用レポートに対応する入力履歴に関する入力履歴ID200を読み出し、選択部511によって選択された所見の入力開始時刻及び入力終了時刻を特定する処理を行う(S32)。例えば、選択部511により医用レポートの100文字目から150文字目までの所見が選択された場合、抽出部524は入力履歴ID200からその所見の入力開始時刻及び入力終了時刻を特定する。
【0079】
次に抽出部524は、関連情報保管部32から操作履歴IDを読み出し、S32で特定された時刻の前後において操作が行われた画像及びその行われた操作内容を特定する処理を行う(S33)。
【0080】
ここで、S33において特定された画像が1枚の場合(S34でYの場合)には、その画像が選択部511によって選択された所見が入力された際に表示されていた画像であると考えられる。従って抽出部524は、その画像を注目画像として表示部43に表示させるためにCPU42に指示を行う。CPU42は、その指示に基づいて画像保管部33からその画像を読み出し、表示部43に表示させる制御を行う(S35)。すなわち本実施形態において、CPU42は「表示制御部」としての機能を有している。
【0081】
一方、S33で特定された画像が複数枚存在する場合(S34でNの場合)、抽出部524は、S33で特定された画像のうち、選択部511によって選択された所見に関連する画像(注目画像)を特定する処理を行う(S40−S43)。
【0082】
ここで、注目画像を特定する処理について詳細な説明を行う。以下の説明においては、選択部511によって選択された所見の入力が開始された時刻を開始時刻t、選択部511によって選択された所見の入力が終了した時刻を終了時刻t、開始時刻t前に設定される所定の期間を期間T、終了時刻t後に設定される所定の期間を期間T′とする。また、ある画像jに対して行われたある操作iにおいて、期間T内のある操作が行われた時刻をtとし、期間T′内のある操作が行われた時刻をt′とする。なお、実際に行われていない操作についてはt=t−T、t′=t+T′とする。
【0083】
期間T及び期間T′はサーバ部3等に予め記録されている値であるが、抽出処理を行う際に入力部51等で任意の値を入力することで決定してもよい。
【0084】
また本実施形態においてレポート保管部36は、例えば表1に示すような医用画像に対する各種操作に任意の重みづけがされたテーブルデータを有している。ここで「重みWi」は操作が行われた画像の重要度を特定するために用いられる値である。本実施形態においてはiの値が大きいほど重要な操作であると認識される。
【0085】
【表1】

【0086】
ここで、ある画像jが選択部511によって選択された所見と関連する度合いを示す値である注目度Rは以下の式(1)で表される。
【0087】
【数1】

【0088】
式(1)から明らかなように、抽出部524においては、重要な操作(重みづけが大きい操作)が行われた画像ほど、選択部511によって選択された所見に関連する可能性がある画像として認識される。
【0089】
また抽出部524おいては、期間T又は期間T′の間に操作が行われた画像について、その操作が行われた時刻が開始時刻t又は終了時刻tに近いものほど、選択部511によって選択された所見に関連する可能性がある画像として認識される。
【0090】
注目画像を特定する具体的な処理としては、まず抽出部524がある画像jに対して行われた各操作iにおいて、tとt′を特定する(S40)。
【0091】
次に抽出部524は、式(1)を用いて、ある画像jに対する注目度Rを求める処理を行う(S41)。更に抽出部524は、S34で特定された全ての画像に対して注目度Rを求める処理を行う(S42でNの場合)。
【0092】
S34で特定された全ての画像に対して注目度を求める処理が完了した場合(S42でYの場合)、注目度の値が大きい画像を選択部511によって選択された所見に関連性がある画像(注目画像)であるとして特定する(S43)。この場合、例えば、注目度の値が最も大きい画像を注目画像として特定することが可能である。或いは、注目度が閾値よりも高い画像全てを注目画像として特定することも可能である。更には、複数求められた注目度のうち上位の値を示す画像(例えば、注目度の高いほうから上位10%の画像)を注目画像として特定することも可能である。
【0093】
ここで抽出部524はS43で特定された画像を注目画像として表示部43に表示させるためにCPU42に指示を行う。CPU42は、その指示に基づいて画像保管部33からその画像を読み出し、表示部43に表示させる制御を行う(S35)。
【0094】
なお、本実施形態においては各操作の重みとそれらの操作が行われた時間を用いて抽出処理を行っているがこれに限られない。例えば、操作が行われた時間のみに着目し、開始時刻t又は終了時刻tに近い時刻に操作が行われた画像を注目画像として特定することも可能である。この場合、開始時刻t又は終了時刻tに最も近い時刻に操作が行われた画像を注目画像として特定することが可能である。或いは、閾値よりも開始時刻t又は終了時刻tに近い時刻に操作が行われた画像全てを注目画像として特定することも可能である。更には、操作が行われた画像のうち開始時刻t又は終了時刻tに近い上位の画像(例えば開始時刻t又は終了時刻tに時刻が近いほうから上位10%の画像)を注目画像として特定することも可能である。
【0095】
または、ある期間Tの中で重みの高い操作をした画像を注目画像として特定することも可能である。この場合、ある期間Tの中で最も重みの高い操作をした画像を注目画像として特定することが可能である。或いは、ある期間Tの中で閾値よりも重みの高い操作をした画像全てを注目画像として特定することも可能である。更には、ある期間Tの中で操作が行われた画像のうち重み付けが上位の画像(例えば、重み付けの高い上位10%の画像)を注目画像として特定することも可能である。
【0096】
また、重みづけの代わりに各操作が行われた頻度を用いて注目画像を抽出することも可能である。或いは、ある画像に対して操作が行われた回数を用いて注目画像を抽出することも可能である。
【0097】
また、本実施形態において、画像操作履歴記録処理と入力履歴記録処理はリアルタイムで行われている。従って、注目画像の特定は医用レポートの作成途中であっても可能である。
【0098】
更に、入力履歴において、医用レポート作成時に入力された所見の医用レポート上の位置に対して関連付けられる時刻は、当該所見の入力開始時刻及び終了時刻の少なくとも一方であればよい。
【0099】
以上の通り、本実施形態においては、入力履歴と操作履歴に基づいて医用レポートのある所見に対する注目画像を容易に表示させることができる構成とした。従って、読影医等が過去検査の医用レポートを参照する場合、その医用レポートに記載された所見に対応する注目画像を容易に取得することが可能となるため、読影効率が向上する。
【0100】
(第2の実施形態)
図14及び図15を用いて第2の実施形態について説明を行う。第1の実施形態と第2の実施形態とは、入力履歴記録処理が異なるだけである。よって、その他の構成・処理については詳細な説明を省略する。なお、「音声」と「音声データ」は一対一に対応するので、本実施形態では、これらを同一視する場合がある。
【0101】
(入力履歴記録処理について)
医用レポート作成においては、ディクテータ(人間)を介する場合がある。すなわち、ビューア部4に表示された医用画像を参照しながら、読影医がマイク等の音声入力手段を用いて口述した内容をレポート部5等に記録する。その後、ディクテータは当該記録を聞き、口述された内容に基づいて所見入力欄に所見を入力する。この場合、実際に読影医が口述した内容とディクテータが入力する所見にわずかな違いが生じる可能性がある。たとえば、口述した内容のうち明らかに所見に関係ないと判断できるもの(たとえば間投詞)は、ディクテータにより省かれて入力される場合がある。本実施形態においては、このような場合の入力履歴記録処理について説明する。
【0102】
図14に示すように、本実施形態において、レポート部5には、音声入力部54が設けられている。音声入力部54は、読影医等が読影を行う際に口述した内容を音声で入力するための手段である。入力された音声は音声データに変換され、CPU52に送られる。なお、音声入力部54はレポート部5に設けられている必要はなく、LAN6を通じて通信可能に接続されていればよい。また、レポート部5は、音声入力部54の他に第1の実施形態と同様の入力部51を有していてもよい。
【0103】
また、図14に示すように、本実施形態における入力履歴記録処理においてCPU52は、処理部525、特定部526及び関連付け部527として機能する。
【0104】
処理部525は、音声入力部54により入力された音声に基づく音声データを解析し、文章データに変換する機能を有している。更に、処理部525は、当該文章データと、その元となった音声データの入力開始時刻及び入力終了時刻とを関連付ける処理を行う機能を有している。具体的には、音声入力に伴って、処理部525は当該音声の入力開始時刻s1を取得する。また、処理部525は、一つの音声入力が完了すると入力終了時刻e1を取得する。更に、処理部525は、当該音声入力に基づく音声データaを解析し、文章データAに変換する。そして、処理部525は、文章データAと入力開始時刻s1及び入力終了時刻e1とを関連付ける。処理部525は、この処理を音声が入力される間、繰り返し行う(たとえば、文章データBに対して入力開始時刻s2、入力終了時刻e2を関連付ける。文章データCに対して入力開始時刻s3、入力終了時刻e3を関連付ける。・・・・)。処理部525による処理結果は、たとえばレポート部5内の記録部(図示なし)に記録される。
【0105】
音声データの入力開始時刻及び入力終了時刻は、たとえば、処理部525において、一つの音声データの入力からその音声データの区切り(文章における句点)までを特定することにより行われる。また、音声入力部54をオン・オフさせるスイッチを設けておき、処理部525がスイッチのオンを検出した時点を入力開始時刻とし、オフを検出した時点を入力終了時刻とすることも可能である。
【0106】
特定部526は、処理部525で変換された文章データと音声入力部54により入力された音声に基づいて作成された医用レポート上の所見とを比較し、類似する文章データ及び所見を特定する機能を有している。具体的には、ディクテータによって作成された医用レポートの所見と文章データとの類似度を比較し、類似度が高いものを同一内容であるとして特定する。たとえば、特定部526は、医用レポート上の所見A´について、文章データA〜Cとの類似度を比較し、最も類似度の高い文章データAを同一内容であると特定する。なお、文章データの順番と医用レポートの所見の順番が異なる場合(たとえば、ディクテータが音声データの順番を入れ替えて医用レポートを作成した場合)であっても、特定部526により医用レポートの所見と文章データとの類似度を比較することにより、同一内容の所見及び文章データを特定することができる。
【0107】
関連付け部527は、特定部526で特定された文章データと関連付けられている入力開始時刻及び終了時刻を、特定部526で特定された所見にも関連付けることで入力履歴とし、レポート保管部36に記録させる機能を有している。具体的には、関連付け部527は、特定部526で特定された文章データAに関連付けられた入力時刻s1及び終了時刻e1を、特定部526で特定された所見A´に対しても関連付けする。全ての所見に対する関連付けが完了すると、その結果は入力履歴IDとしてレポート保管部36に記録される。本実施形態において「医用レポート作成時」とは、音声入力部54による音声入力から、関連付け部527により入力履歴がレポート保管部36に記録されるまでのタイミングをいう。
【0108】
図15は、本実施形態における入力履歴記録処理のフローチャートである。
【0109】
音声入力部54から音声が入力されると(S50)、処理部525は、当該音声の入力開始時刻を取得する(S51)。また、一つの音声入力が完了すると、処理部525は、入力終了時刻を取得する(S52)。更に、処理部525は、S50で入力された音声に基づく一つの音声データを解析し、一つの文章データに変換する(S53)。
【0110】
そして、処理部525は、S53で変換された一つの文章データとS51で取得した入力開始時刻及びS52で取得した入力終了時刻とを関連付ける(S54)。処理部525は、この処理を音声データが入力される間、繰り返し行う(S55でNの場合)。
【0111】
音声データの入力が完了した場合(S55でYの場合)、特定部526は、S50で入力された音声データに基づいてディクテータが作成した医用レポートの所見と、S53で変換された文章データとの類似度を比較し、類似度が高いものを同一内容であるとして特定する(S56)。
【0112】
そして、関連付け部527は、S56で特定された文章データに関連付けられた入力開始時刻及び入力終了時刻をS56で特定された所見にも関連付けて入力履歴IDとし、レポート保管部36に記録させる(S57)。
【0113】
なお、処理部525において文章データに関連付けられる時刻は、当該文章データの基となる音声データの入力開始時刻及び終了時刻の少なくとも一方であればよい。
【0114】
本実施形態のように、所見を音声入力する場合であっても、入力履歴と操作履歴に基づいて医用レポートのある所見に対する注目画像を容易に表示させることができる構成とした。従って、読影医等が過去検査の医用レポートを参照する場合、その医用レポートに記載された所見に対応する注目画像を容易に取得することが可能となるため、読影効率が向上する。
【0115】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0116】
2 医用画像撮影装置
3 医用画像保管装置(サーバ部)
4 医用画像観察装置(ビューア部)
5 医用レポート作成装置(レポート部)
10 レポート作成支援システム
31 画像送受信部
32 関連情報保管部
33 画像保管部
34 画像配信部
35 レポート送受信部
36 レポート保管部
37 レポート配信部
41、51 入力部
42、52 CPU
43、53 表示部
421、521 判別部
422、522 取得部
523 監視部
524 抽出部

【特許請求の範囲】
【請求項1】
医用レポート作成時に入力された所見と当該所見の入力開始時刻及び終了時刻の少なくとも一方とを関連付けて入力履歴として記録する入力履歴記録部と、
操作履歴として、前記医用レポート作成時に操作した画像に対して行った操作の種類と当該操作を行った時刻とを当該操作した画像と関連付けて記録する操作履歴記録部と、
入力部からの入力指示に基づいて、医用レポート内の所見の少なくとも一部を選択する選択部と、
前記選択部によって選択された位置に対応する所見の入力開始時刻及び終了時刻の少なくとも一方と、それに対応する時刻の前記操作履歴の内容に基づいて、前記選択部によって選択された所見における注目画像を抽出する抽出部と、
前記注目画像を表示部に表示させる表示制御部と、
を有することを特徴とするレポート作成支援システム。
【請求項2】
前記入力履歴記録部は、入力履歴として、前記医用レポート作成時に入力された所見の医用レポート上の位置と当該所見の入力開始時刻及び終了時刻の少なくとも一方とを関連付けて記録することを特徴とする請求項1に記載のレポート作成支援システム。
【請求項3】
前記医用レポート作成時に前記所見を音声で入力する音声入力部を有し、
前記入力履歴記録部は、入力履歴として、前記音声に基づいて作成された医用レポートの所見に対して、当該所見に類似する音声に関連付けられた入力開始時刻及び終了時刻の少なくとも一方を関連付けて記録することを特徴とする請求項1に記載のレポート作成支援システム。
【請求項4】
前記操作履歴の内容は、前記入力開始時刻及び入力終了時刻の少なくとも一方に対応する時刻に行われた各操作の種類に対する重みづけ、及び当該各操作を行った時刻であることを特徴とする請求項1に記載のレポート作成支援システム。
【請求項5】
前記操作履歴の内容は、前記入力開始時刻及び入力終了時刻の少なくとも一方に対応する時刻に行われた各操作の種類に対する重みづけ、又は当該各操作を行った時刻であることを特徴とする請求項1に記載のレポート作成支援システム。
【請求項6】
前記抽出部は、前記操作履歴に基づいて前記選択部により選択された所見と関連する度合いを示す注目度を算出し、当該注目度に基づいて前記注目画像を抽出することを特徴とする請求項1記載のレポート作成支援システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2012−59251(P2012−59251A)
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願番号】特願2011−149642(P2011−149642)
【出願日】平成23年7月6日(2011.7.6)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】