画像処理装置および画像処理装置の制御方法
【課題】過去の参照時に注目された画像を参照する際のユーザの負担を軽減する技術を提供する。
【解決手段】本発明の表示装置は、撮影位置が互いに異なる複数の断層画像の過去の参照状況を表す参照履歴情報であって、少なくとも、各断層画像の累計参照回数または累計参照時間を表す情報を含む参照履歴情報を取得する取得手段と、前記参照履歴情報を用いて、前記複数の断層画像のうち、累計参照回数または累計参照時間が所定の閾値以上の断層画像を、過去の参照時に注目された断層画像として抽出する抽出手段と、前記抽出手段で抽出された断層画像が複数あった場合には、撮影位置の間隔が所定値以下の断層画像の集まり毎にグループ分けする分類手段と、を有する。
【解決手段】本発明の表示装置は、撮影位置が互いに異なる複数の断層画像の過去の参照状況を表す参照履歴情報であって、少なくとも、各断層画像の累計参照回数または累計参照時間を表す情報を含む参照履歴情報を取得する取得手段と、前記参照履歴情報を用いて、前記複数の断層画像のうち、累計参照回数または累計参照時間が所定の閾値以上の断層画像を、過去の参照時に注目された断層画像として抽出する抽出手段と、前記抽出手段で抽出された断層画像が複数あった場合には、撮影位置の間隔が所定値以下の断層画像の集まり毎にグループ分けする分類手段と、を有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および画像処理装置の制御方法に関する。
【背景技術】
【0002】
医師は、読影時に、自分や他の医師が過去に行った読影の様子を知るために、過去の読影において注目された画像を参照することがある。例えば、肺がん検診における二重読影では、読影時の見落としのリスクを低減する等の目的で、他の医師が注目した箇所(画像)を参照することがある。また、読影の精度を高める等の目的で、過去の読影時に自分が注目した箇所を参照することもある。従って、過去の注目画像(過去の読影において注目された画像)を容易に確認することができると、読影時の医師の負担を軽減することが可能となる。特に、Computed Tomography(CT)では1件の検査で1000枚を越える画像が生成されることもある。そのため、CTを用いた肺がん検診等においては、多数の断層画像から効率的に過去の注目画像を確認できることが特に重要である。
【0003】
肺がん診断において読影を行う医師(以下、読影医)は、例えば、結節の大きさ/形、結節と気管支/縦隔/胸壁等との位置関係、リンパ節/他臓器へのがんの転移の有無、等を確認する目的で断層画像を読影する。読影医は、断層画像の中から読影画像(読影箇所)を選び出し、選び出した画像に対して長さの測定、拡大/縮小、前後の画像(撮影位置が隣接する画像)との比較などの操作(読影操作)を施しながら読影を行う。つまり、読影医は読影目的によって、読影箇所、および、読影操作を切り替えながら読影を行う。
【0004】
特許文献1には、断層画像等を読影する際、過去に注目した画像、および、注目した画像と空間的な距離が近い画像のみを表示するための技術が開示されている。
特許文献2には、デジタル画像の撮影日時、デジタル画像が保存、印刷、加工処理された日時、デジタル画像に対して実施した操作の種類、および、各操作間の時間間隔の組み合わせで、画像のグループ分けを行う技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−271541号公報
【特許文献2】特開2007−323416号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特許文献1の技術によれば、読影時の作業履歴から、画像の表示回数、表示時間、注目画像との空間的な距離、などに基づいて画像毎に優先度を設定し、所定の優先度の画像のみを表示することができる。しかしながら、特許文献1の技術では、読影目的が異なる画像を区別して表示することはできなかった。
【0007】
また、上記特許文献2の技術によれば、画像に対して実施した操作の種類、および、各操作間の時間間隔の組み合わせで画像のグループ分けすることができる。しかしながら、特許文献2の技術では、過去の読影時に同一の操作が行われた画像は読影目的が異なっていても同一のグループに分類されてしまう。例えば、肺を詳細に読影するために拡大操作を行った画像と、胃を詳細に読影するために拡大操作を行った画像とが、同一のグループに分類されてしまう。
【0008】
このように、従来技術を用いた場合には、グループ化(選別)が不十分であるため、読影医の負担を十分に軽減することができなかった。
【0009】
本発明は、過去の参照時に注目された画像を参照する際のユーザの負担を軽減することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の画像処理装置は、
撮影位置が互いに異なる複数の断層画像の過去の参照状況を表す参照履歴情報であって、少なくとも、各断層画像の累計参照回数または累計参照時間を表す情報を含む参照履歴情報を取得する取得手段と、
前記参照履歴情報を用いて、前記複数の断層画像のうち、累計参照回数または累計参照時間が所定の閾値以上の断層画像を、過去の参照時に注目された断層画像として抽出する抽出手段と、
前記抽出手段で抽出された断層画像が複数あった場合には、撮影位置の間隔が所定値以下の断層画像の集まり毎にグループ分けする分類手段と、
を有することを特徴とする。
【0011】
本発明の画像処理装置の制御方法は、
撮影位置が互いに異なる複数の断層画像の過去の参照状況を表す参照履歴情報であって、少なくとも、各断層画像の累計参照回数または累計参照時間を表す情報を含む参照履歴情報を取得するステップと、
前記参照履歴情報を用いて、前記複数の断層画像のうち、累計参照回数または累計参照時間が所定の閾値以上の断層画像を、過去の参照時に注目された断層画像として抽出するステップと、
前記抽出された断層画像が複数あった場合には、撮影位置の間隔が所定値以下の断層画像の集まり毎にグループ分けするステップと、
を有することを特徴とする。
【発明の効果】
【0012】
本発明によれば、過去の参照時に注目された画像を参照する際のユーザの負担を軽減することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施例1に係る画像処理装置の機能ブロック図
【図2】被写体と断層画像の関係を説明するための図
【図3】本発明の実施例1で用いる読影履歴情報を説明するための図
【図4】本発明の実施例1のグループ化処理を説明するための図
【図5】本発明の実施例1のグループ情報を説明するための図
【図6】本発明の実施例1のグループ化表示例を説明するための図
【図7】本発明の実施例2で用いる読影履歴情報を説明するための図
【図8】本発明の実施例2のグループ化処理を説明するための図
【図9】本発明の実施例2のグループ化表示例を説明するための図
【図10】本発明の実施例3の読影操作の分類を説明するための図
【図11】本発明の実施例3のグループ化処理を説明するための図
【発明を実施するための形態】
【0014】
<実施例1>
以下、本発明の実施例1に係る画像処理装置および画像処理装置の制御方法について説明する。本実施例では、ユーザが画像処理装置を用いて過去の読影時に注目された医用画
像(例えば、人体の断層画像)を参照する例について説明する。
図1は実施例1に係る画像処理装置の機能構成の一例を示すブロック図である。画像処理装置100は、入力部101、通信部102、記憶部103、表示制御部104、グループ生成部105、表示部106などを備える。また、画像処理装置100は、通信部102を介してサーバ107と通信可能に接続されている。なお、表示部106は画像処理装置100の一部であってもよいし、画像処理装置とは別体の装置であってもよい。
【0015】
入力部101は、ユーザから画像表示に関する入力を受け付け、これを通信部102と表示制御部104に出力する。
通信部102は、ユーザからの要求に基づいて、読影対象の医用画像(撮影位置が互いに異なる複数の断層画像)をサーバ107から取得し、記憶部103に出力する。また、通信部102は、ユーザから入力部101を介して過去の読影時に注目された断層画像(注目画像)の確認要求(注目画像確認要求)が入力された場合は、読影履歴情報(参照履歴情報)をサーバ107から取得し、記憶部103に記憶する。読影履歴情報は、取得した複数の断層画像の過去の読影状況(参照状況)を表す情報である。なお、読影履歴情報は、読影装置(不図示)によって読影時に記録される情報であり、ユーザの読影装置の操作等に応じた読影履歴を表す情報である。なお、読影履歴情報を記録する機能は、画像処理装置100が有していてもよい。
【0016】
記憶部103は、通信部102を介して取得された断層画像と上記読影履歴情報を記憶する。
表示制御部104は、ユーザからの入力に応じて記憶部103から断層画像を読み出して表示画像を生成し、表示部106に出力する。なお、後述するグループ生成部105でグループ情報が生成された場合は、該グループ情報に基づいてグループ化した注目画像の表示画像を生成して、表示部106に出力する。グループ生成部105は、ユーザによって注目画像確認要求が入力された場合に、記憶部103に記憶されている読影履歴情報に基づいて、取得された断層画像から注目画像を抽出してグループ化するためのグループ情報を生成する。表示部106は、表示制御部104からの入力に応じて表示画像を表示する。
【0017】
ここで、読影装置が読影履歴情報を生成する際の処理の流れの一例について説明する。
まず、読影装置は、ユーザ(例えば読影医)による読影開始要求の入力によって読影開始を検出すると、患者情報、検査情報、撮影日、読影日などを含む読影履歴情報を新規作成する。
次に、ユーザによって表示画像の切り替えや拡大/縮小等の操作がなされるたびに、読影装置は、操作がなされた時刻、操作がなされた断層画像、操作の種類等を上記新規作成した読影履歴情報に追記する。
最後に、ユーザによる読影終了要求の入力によって読影終了を検出すると、読影装置は、読影した画像群と関連付けて上記読影履歴情報をサーバ107に記録する。
【0018】
次に、実施例1に係る画像処理装置において、グループ生成部105が読影履歴情報からグループ情報を生成し、表示制御部104および表示部106が過去の注目画像をグループ化して表示する処理の一例について、図2〜6を用いて、詳細に説明する。
【0019】
図2は、被写体(人間の胸部)と、撮影されたCT画像(CTによって撮影された断層画像)の関係を模式的に示す図である。図2に示すように、各断層画像には、それぞれ異なる部位が映っている。ここでは、各断層画像に、人体の頭側の断層画像から順番にスライス番号(0000,0001,0002,・・・)が付与されている。
【0020】
図3は、本実施例で用いる読影履歴情報を模式的に示す図である。図3に示すように、
読影履歴情報は、患者情報、検査情報、撮影日、読影日を含む。サーバ107に複数の読影履歴情報が記録されている場合、通信部102は、患者情報、検査情報、撮影日、読影日などを元に今回の読影に対応する過去の読影履歴情報を特定し取得する。また、読影履歴情報は、読影作業(過去の読影状況)に関する情報も含む。ここでは、読影作業に関する情報として、表示された断層画像のスライス番号、表示開始時刻、行われた操作の種類が、時系列順に記録されている。
上記情報から、断層画像毎に、その断層画像の表示開始時刻と表示終了時刻(即ち、次の断層画像の表示開始時刻)の差分を算出することにより、過去の参照時の、各断層画像の1回毎の読影時間(参照時間)を算出することができる。そして、スライス番号が同じ断層画像の1回毎の読影時間を累積加算することにより、各断層画像の累積表示時間(累積参照時間)を算出することができる。また、スライス番号が同じ断層画像の出現回数をカウントすることにより、各断層画像の累積表示回数(累積参照回数)を算出することができる。また、行われた操作の種類に対応するスライス番号を参照することで、過去の参照時に所定の操作が行われた断層画像を特定することができる。
なお、本実施例では、読影履歴情報から、各断層画像の累計表示回数、各断層画像の累計表示時間、各断層画像の1回毎の読影時間が算出されるものとしたが、読影履歴情報がそれらの情報を含んでいてもよい。また、本実施例では、行われた操作の種類に対応するスライス番号を参照することで、過去の参照時に所定の操作が行われた断層画像が特定されるものとしたが、読影履歴情報が、過去の参照時に所定の操作が行われた断層画像を直接示す情報を含んでいてもよい。
なお、本実施例では、複数の断層画像を含む画像群毎(例えば、患者、撮影部位、撮影機器毎等)に図3のような読影履歴情報が対応付けられている構成を説明するが、断層画像毎に該断層画像の読影履歴情報が対応付けられている構成であってもよい。
【0021】
図4は、図2に示した断層画像に対する過去の読影状況と、断層画像のグループ化(グループ分け)の流れを模式的に示す図である。図4の例では、4aで示すように、過去の読影において、スライス番号0000〜1000の断層画像について、断層画像を切り替えながら読影が実施されている。特に、スライス番号0100〜0140,0680〜0700の断層画像が、重点的に読影するために、繰り返し表示されていたとする(例えば、スライス番号0100〜0140,0680〜0700の断層画像がそれぞれ5回以上表示されていたとする)。更に、スライス番号0130,0131の断層画像に対しては、異常な陰影の大きさ等を計測するために、長さの計測操作が実施されている。なお、図3の操作履歴情報は、当該過去の読影の一部の状況を表している。図3から、スライス番号0100〜0140の断層画像の読影時間(それぞれ5秒以上)が、スライス番号0000〜0099の断層画像の読影時間(それぞれ2秒)よりも長いことや、スライス番号0130,0131の断層画像に対して計測操作を行っていることなどが読み取れる。
【0022】
このとき、グループ生成部105は、読影履歴情報を用いて、通信部102で取得された複数の断層画像から、過去の読影時に注目された断層画像(注目画像)を抽出する。本実施例では、過去の読影時の累計表示回数が所定回数(例えば5回)以上である断層画像、及び、累計表示時間が所定時間(例えば20秒)以上である断層画像を注目画像として抽出する。各断層画像の累計表示回数、および、累計表示時間は、記憶部103に記憶されている読影履歴情報から取得される。具体的には、累計表示回数は、断層画像毎に、読影履歴情報に含まれるその断層画像のスライス番号の数をカウントすることによって取得される。累計表示時間は、断層画像毎に、その断層画像の表示開始時刻と、次の断層画像の表示開始時刻の差分を算出し、算出結果を累積加算することで取得される。この結果、本実施例では、図4の4bで示すように、スライス番号0100〜0140、及び、スライス番号0680〜0700の断層画像が注目画像として抽出される。
【0023】
また、処理を簡略化するために、上記処理の代わりに、過去の読影時に拡大等の特定の
操作(所定の操作)が行われた断層画像を注目画像として抽出してもよい。この場合は、注目画像に対してなされる可能性が高い、拡大、計測等の操作を特定の操作として予め記録しておき、該特定の処理を行った断層画像を注目画像として抽出すればよい。
【0024】
次にグループ生成部105は、抽出した注目画像を、読影箇所に基づいてグループ化する。本実施例では、グループ生成部105は、注目画像間の、断層画像に対して垂直な方向の距離(撮影位置の差)に基づいてグループ化を実施する。なお、断層画像に対して垂直な方向とは、図2に示す断層画像の撮影面(xy平面、矢印202に平行な平面)に対してz軸方向(矢印201の方向)である。
【0025】
具体的には、グループ生成部105は、抽出された断層画像(注目画像)が複数あった場合に、撮影位置の間隔(互いに隣接する断層画像間の撮影位置の差)が所定値以下の断層画像の集まり毎にグループ分けする。本実施例では、グループ生成部105は、注目画像のスライス番号が不連続である、即ち、注目画像のスライス番号が所定数(例えば2)以上離れている部分にグループの境界を設定することで、注目画像をグループ分けする。この結果、注目画像を、空間的に連続な断層画像群毎にグループ分けすることができる(空間的に不連続な断層画像を異なるグループにグループ分けすることができる)。上記の結果、図4の例では、4cで示すように、スライス番号0100〜0140の断層画像がグループ1、スライス番号0680〜0700の断層画像がグループ2に設定される。なお、注目画像のスライス番号が不連続となるか否かは、前述した注目画像を抽出するための条件における閾値と関連する。従って、より精度よくグループ化するためには、グループ境界を設定するための閾値を、注目画像を抽出するための条件と関連して経験的に決定すればよい。例えば、注目画像の抽出条件が緩い(累計表示時間、累計表示回数の閾値が小さい)場合には、スライス番号がN以上(Nは1以上の整数)離れている部分にグループ境界を設定すればよい。注目画像の抽出条件が厳しい(累計表示時間、累計表示回数の閾値が大きい)場合には、スライス番号がM以上(MはNより大きい整数)離れている部分にグループ境界を設定すればよい。
【0026】
次に、グループ生成部105は、上記グループ化した注目画像を、読影操作に基づいてさらに詳細にグループ化する。具体的には、グループ生成部105は、読影履歴情報を用いて、グループ毎に、そのグループに属する断層画像のうち、過去の読影時に所定の操作が行われた断層画像の集まりを別グループとして設定する。
【0027】
本実施例では、グループ生成部105は、グループ1,2のそれぞれについて、所定の操作がなされた断層画像がグループ内にあれば抽出し、これを別グループとして設定する。ここで所定の操作は、読影目的に応じて行われる操作であり、例えば、拡大操作、長さの計測、WW/WL(Window Width/Window LEVEL)の変更、等である。この結果、図4の例では、4dで示すように、スライス番号0130,0131の断層画像に対して長さの計測ツールが使用されているため、スライス番号0130,0131の断層画像が、グループ3に設定される。
なお、所定の処理として複数種類の処理が設定されている場合には、処理の種類ごとに上記処理(読影操作に基づくグループ化)を行ってもよいし、該複数種類の処理を1つの所定の処理として上記処理を行ってもよい。
また、読影操作に基づくグループ化においても、撮影位置の間隔が所定値以下の集まりとなるように、所定の操作が行われた断層画像をグループ分けしてもよい。
【0028】
以上のようにして、グループ生成部105は、注目画像を、注目箇所および読影操作に基づいてグループ化する。なお、本実施例では読影箇所に基づいてグループ化した後に、読影操作に基づいてさらにグループ化を実施したが、これらグループ化の順番は逆であってもよい。
【0029】
最後に、グループ生成部105は、グループ化に関する情報として、図5に例示するグループ情報を表示制御部104に出力する。図5に示すように、本実施例では、グループ情報は、グループ毎に、グループID、グループに属する断層画像のスライス番号、グループに属する断層画像の枚数、グループに実行された操作の種類を含む。なお、これらの情報はグループ生成部105によるグループ化処理により取得される。
【0030】
次に、表示制御部104が、グループ情報に基づいて過去の注目画像をグループ化して表示するための表示画面を構成し、表示部106が該構成した表示画面を表示する。図6に断層画像をグループ化して表示する表示例を示す。
グループ表示領域601は、断層画像に含まれるグループを表示し、詳細表示するグループをユーザに選択させるための領域である。本実施例では該領域にグループIDを表示するものとしたが、より詳細な情報を表示してもよい。例えば、後述するグループ情報表示領域602に表示する情報を併記してもよい。
【0031】
グループ情報表示領域602は、グループ表示領域601上でユーザによって選択されたグループに関する情報を表示する領域である。本実施例では、選択されたグループに属する断像画像の枚数、グループに実行された操作の種類、グループの読影に要した時間、を表示する。なお、操作の種類は、予め種類を登録したテーブルを用意しておき、図4で示したグループ化処理中に該テーブルとの比較処理を実施することで判別される。同様に、グループの読影に要した時間も、図4で示したグループ生成処理中に取得される。なお、グループに関する情報をさらに詳細に表示する場合には、グループ情報表示領域602に画像表示回数や、画像表示時刻などを表示してもよい。
【0032】
画像表示領域603は、グループ表示領域601上でユーザによって選択されたグループに属する断層画像を表示する領域である。該領域に表示する断層画像は後述する操作バーによって切り替えることができる。なお、グループ選択時に最初に表示される断層画像はグループの先頭の断層画像、グループの中で過去の表示回数が最も多い断層画像、過去の表示時間の最も長い断層画像などである。
【0033】
操作バー表示領域604は、画像表示領域603に表示する断層画像をユーザに切り替えさせるための操作バーを表示する領域である。本実施例では、操作バー表示領域604には、グループの先頭/最後の断層画像を表示するためのボタン、画像表示領域603に表示中の断層画像の前/後の断層画像を表示するためのボタンが表示される。また、グループに属する断層画像を先頭からシネ再生するためのボタン、全ての断層画像(全ての注目画像や通信部102が取得した全ての断層画像)を先頭からシネ再生するためのボタンが表示される。
【0034】
以上述べたように、本実施例によれば、読影箇所に基づいて注目画像をグループ化し、グループ単位で表示を行うことが可能となる。それにより、過去の参照時に注目された画像の確認が容易となり、過去の参照時に注目された画像を参照する際のユーザ(医師)の負担を軽減することが可能となる。
また、本実施例では、読影操作に基づくグループ化を更に行うため、所定の操作が行われた断層画像群の確認が容易となり、ユーザの負担をより軽減することが可能となる。
【0035】
なお、本実施例では、断層画像が医用画像である場合について説明したが、断層画像は医用画像でなくてもよい。例えば、装置を構成する部材の断面を表す断層画像であってもよい。
なお、本実施例では、参照箇所に基づいてグループ化した注目画像を、読影操作に基づいてさらに詳細にグループ化したが、読影操作に基づくグループ化は行わなくてもよい。
目的によっては、参照回数が多い断層画像や参照時間の長い断層画像のみを確認できれば十分であるため、読影操作に基づくグループ化を行わない構成であっても上記効果に順じた効果を得ることができる。読影操作に基づくグループ化を行わない場合には、読影履歴情報に、過去の参照時に所定の操作が行われた断層画像を示す情報は含まれなくてもよい。
なお、本実施例では、読影履歴情報が累計参照回数を表す情報と累計参照時間を表す情報とを含むものとしたが、読影履歴情報はこれに限らない。少なくとも、累計参照回数を表す情報または累計参照時間を表す情報のいずれかを含んでいればよい。そして、累計参照回数または累計参照時間が所定の閾値以上である断層画像を注目画像として抽出すればよい。そのような構成であっても上記効果に順じた効果を得ることができる。
なお、本実施例では、断層画像毎に、断層画像の1回毎の参照時間を算出し、その累積時間を算出する構成としたが、この構成に限らない。例えば、読影履歴情報に、各断層画像の表示開始時刻ではなく、各断層画像の累積参照時間そのものが含まれていてもよい。
【0036】
<実施例2>
実施例1では、注目画像を、断層画像に対して垂直な方向の距離に基づいてグループ化したが、本実施例では、断層画像に対して垂直な方向、および、水平な方向の距離に基づいてグループ化を実施する。なお、断層画像に対して水平な方向とは、図2に示すxy平面内(矢印202)方向である。
本実施例における画像処理装置のブロック図は図1と同様である。また、入力部101、通信部102、記憶部103、表示制御部104、表示部106の処理内容も実施例1と同様である。以下、本実施例に係るグループ生成部105の処理について、図7,8を用いて説明する。
【0037】
図7は、本実施例で用いる読影履歴情報を模式的に示す図である。図7に示すように、本実施例で用いる読影履歴情報は、患者情報、検査情報、撮影日、読影日、読影作業に関する情報を含んでいる。拡大操作や長さの計測などの操作は、断層画像の一部の領域に対して行われる。本実施例では、読影作業に関する情報として、表示された断層画像のスライス番号、表示開始時刻、行われた操作の種類、および、操作が行われた領域の位置が、時系列順に記録されている。操作が行われた領域の位置は、例えば、断層画像の左上の頂点を原点(0,0)とし、座標(x,y)で表される。
【0038】
図8は、図2に示した断層画像に対する過去の読影状況と、断層画像のグループ化の流れを模式的に示す図である。図8の例では、8aで示すように、過去の読影において、スライス番号0000〜1000の断層画像について、断層画像を切り替えながら読影が実施されている。特に、スライス番号0200〜0400の断層画像が、重点的に読影するために、繰り返し表示されていたとする。更に、スライス番号0230〜0235の断層画像に対しては、断層画像中の座標(400,100)付近に異常陰影が存在したため、異常陰影の詳細を確認するために座標(400,100)を中心に拡大操作が行われている。また、同様に、スライス番号0270〜0275の断層画像に対しては、断層画像中の座標(80,300)を中心に拡大操作が行われている。前述したように、このような操作の種類および座標に関する履歴は、図7に示す読影履歴情報として記録される。
【0039】
このとき、グループ生成部105は、実施例1と同様に、通信部102で取得された複数の断層画像から注目画像を抽出する。この結果、本実施例では図8の8bで示すように、スライス番号0200〜0400の断層画像が抽出される。
次に、グループ生成部105は、実施例1と同様に、注目画像間の、断層画像に対して垂直な方向の距離に基づいてグループ化を実施する。この結果、図8の例では、8cで示すように、スライス番号0200〜0400の断層画像(全ての注目画像)がグループ1に分類される。
【0040】
そして、グループ生成部105は、断層画像に対して水平方向の距離に基づいてグループ化する。具体的には、グループ生成部105は、参照履歴情報を用いて、グループ毎に、そのグループに属する断層画像のうち、断層画像間の所定の操作が行われた領域の位置の差が所定値以下(例えば50ピクセル以下)の断層画像の集まりを別グループとして設定する。
【0041】
本実施例では、まず、各断層画像内で特に読影医が注目した箇所(注目箇所)を特定する。具体的には、グループ生成部105は、図7に示す読影履歴情報を参照し、断層画像に操作がなされた箇所の座標情報を抽出する。この結果、本実施例では、スライス番号0230〜0235の断層画像の注目箇所が座標(400,100)、スライス番号0270〜0275の断層画像の注目箇所が座標(80,300)であると、特定される。
次に、グループ生成部105は、上記座標情報から注目箇所間の距離を算出し、該距離の差が所定値以下の集まりを別グループとして設定する。なお、上記所定値は、断層画像の画素数によって座標上の距離と被写体の実際の長さの対応が異なることを考慮して、断層画像の画素数に合わせて設定される。この結果、図8の例では、8dで示すように、スライス番号0230〜0235の断層画像がグループ2、スライス番号0270〜0275の断層画像がグループ3に設定される。
【0042】
そして、グループ生成部105は、断層画像を、読影操作に基づいてさらに詳細にグループ化する。なお、本実施例では、スライス番号0230〜0235、および、スライス番号0270〜0275の断層画像に拡大操作がなされている。しかし、それらの断層画像は、既にグループ2、グループ3としてグループ分けがなされており、拡大操作以外の読影操作は行われていない。このため、図8の例では、8eで示すように、読影操作による詳細なグループ化を行っても、グループ化の結果は変わらない。読影操作に基づくグループ化において、断層画像の水平方向の距離を考慮しない場合には、スライス番号0230〜0235、および、スライス番号0270〜0275の断層画像が1つのグループとして設定されてもよい。
【0043】
以上のようになされたグループ化に基づいて、表示制御部104が表示画面を構成し、表示部106が該構成した表示画面を表示する。図9に断層画像をグループ化して表示する表示例を示す。本実施例では、グループ情報表示領域602に注目箇所の座標情報が更に表示され、画像表示領域603に注目箇所を示すマーカー901が重畳表示される。
【0044】
以上述べたように、本実施例によれば、実施例1の構成に加え、更に、断層画像の水平な方向の距離(注目箇所間の距離)に基づくグループ化が実施される。それにより、注目箇所の距離が離れている断層画像を互いに異なるグループに分けることができる。そして、注目箇所が近い断層画像の確認が容易となり、ユーザの負担をより軽減することが可能となる。
なお、上述した3つのグループ化処理(断層画像に対して垂直な方向の距離に基づくグループ化、断層画像に対して水平な方向の距離に基づくグループ化、読影操作に基づくグループ化)の順番はどのような順番で行われてもよい。
なお、本実施例では一枚の断層画像に一か所の注目箇所が存在する例を挙げたが、一枚の断層画像に複数か所の注目箇所が存在していてもよい。一枚の断層画像に複数の注目箇所が存在する場合には、例えば、以下のような処理を行えばよい。まず、水平な方向の距離が所定値を超えているか否かの判定の際に、全ての注目箇所間の距離を算出する。そして、上記所定値を超えない注目箇所の組み合わせが存在する場合には、それらの断層画像を同じグループに設定する。その結果、複数の注目箇所が存在する断層画像を、複数のグループに属するようにグループ分けすることができる。
【0045】
<実施例3>
読影には、例えばがんの転移の有無のように存在の有無を確認する場合と、がんの浸潤の確認のように広がり具合を確認する場合とがある。前者の場合は同一の画像が比較的長時間表示されることが、後者の場合は断層画像が隣接する断層画像との間で切り替えながら繰り返し短時間表示されることが予想される。つまり、読影時の目的が異なれば、画像の表示回数と表示時間の関係も異なる。そこで、本実施例では、表示回数は少ないが表示時間が長い断層画像群、あるいは、表示回数は多いが表示時間は短い断層画像群、といった特定の読影パターンの断層画像群が互いに異なるグループとなるように、グループ化を行う。本実施例によれば、拡大/計測等の特定の操作が行われなかった断層画像についても、読影時の読影パターンに応じたグループ化を実現することができる。
【0046】
本実施例における画像表示装置のブロック図は図1と同様である。また、入力部101、通信部102、記憶部103、表示制御部104、表示部106の処理内容も実施例1と同様である。また、本実施例で用いる読影履歴情報も実施例1と同様である。以下、グループ生成部105の処理について、図10,11を用いて説明する。
【0047】
本実施例のグループ生成部105は、読影履歴情報を用いて、グループ毎に、そのグループに属する断層画像のうち、読影パターンが互いに異なる断層画像群をそれぞれ別グループとして設定する。具体的には、参照時間の最大値が第1の閾値以上であり、且つ、累計参照回数が第2の閾値以下である断層画像の集まりを1グループとして設定する。また、参照時間の最大値が第1の閾値より小さい第3の閾値以下であり、且つ、累計参照回数が第2の閾値より大きい第4の閾値以上である断層画像の集まりを1グループとして設定する。本実施例では、グループ生成部105は、このようなグループ化を図10に示すテーブルを使用して行う。
【0048】
図10(a),(b)は、本実施例で用いる、読影操作をパターン分類する際に用いるテーブルを説明するための図である。図10(a)に示すように、本実施例では、例えば、参照時間の最大値(最大表示時間)が所定値(例えば20秒)以上、且つ、累計参照回数(累計表示回数)が所定値(例えば5回)未満である断層画像を分類Aとする。最大表示時間が所定値(例えば5秒)以下、且つ、累計表示回数が所定値(例えば10回)以上である断層画像を分類Bとする。グループ生成部105は、上記分類に関する情報を、図10(b)に例示するテーブルとして予め保持している。なお、最大表示時間の閾値や累計表示回数の閾値は、検査対象や読影医の年齢等を踏まえて実験的に決定すればよい。図10(b)のテーブルにより、例えば、結節等の存在の有無を確認するために、表示回数は少ないが長時間表示していた断層画像は分類Aに、結節等の広がり具合を確認するために、1回あたりの表示時間は短いが表示回数の多い断層画像は分類Bに、分類される。
【0049】
図11は、図2に示した断層画像に対する過去の読影状況と、断層画像のグループ化の流れを模式的に示す図である。図11の例では、11aで示すように、過去の読影において、スライス番号0000〜1000の断層画像について、断層画像を切り替えながら読影が実施されている。特に、スライス番号0200〜0400の断層画像が、重点的に読影するために、繰り返し表示されていたとする。具体的には、結節の有無を確認するために、スライス番号0220〜0225の断層画像は、それぞれ2回ずつ表示されており、且つ、1回に22秒以上表示されている。また、結節の広がり具合を確認するために、スライス番号0300〜0320の断層画像は、それぞれ12回ずつ表示されており、且つ、1回に4秒以下表示されている。
【0050】
このとき、グループ生成部105は、実施例1と同様に、通信部102で取得された複数の断層画像から注目画像を抽出する。この結果、本実施例では図11の11bで示すように、スライス番号0200〜0400の断層画像が抽出される。
次に、グループ生成部105は、実施例1と同様に、注目画像間の、画像に対して垂直な方向の距離に基づいてグループ化を実施する。この結果、図11の例では、11cで示すように、スライス番号0200〜0400の断層画像(全ての注目画像)がグループ1に分類される。
【0051】
そして、グループ生成部105は、抽出した注目画像について、それぞれの最大表示時間、および、累計表示回数を算出し、算出結果に応じて注目画像を分類A,Bに分類する。なお、上記算出は読影履歴情報を参照することで実施される。分類は図10に示したテーブルを参照することで実施される。以上の結果、図11の例では、スライス番号0220〜0225番の断層画像が分類Aに、スライス番号0300〜0320の断層画像が分類Bに、分類される。
【0052】
次に、グループ生成部105は、断層画像に対して垂直な方向の距離に基づいてグループ化された注目画像を、上記分類の結果を用いてさらに詳細にグループ化する。具体的には、分類A,Bに分類された断層画像群を、それぞれ別グループに設定する。この結果、図11の例では、11dで示すように、スライス番号0220〜0225の断層画像がグループ2に、スライス番号0300〜0320番の断層画像がグループ3に設定される。
【0053】
以上のようになされたグループ化に基づいて、表示制御部104が表示画面を構成し、表示部106が該構成した表示画面を表示する。なお、グループに関する情報をさらに詳細に表示する場合には、図6の表示例におけるグループ情報表示領域602に、グループの各断層画像の最大表示時間および累計表示回数を表示してもよい。
【0054】
以上述べたように、本実施例によれば、表示回数と表示時間の関係から特定の読影パターンを判別し、該パターンに基づいてグループ化が行われる。それにより、特定の読影パターンの断層画像の確認が容易となり、ユーザの負担をより軽減することが可能となる。
【符号の説明】
【0055】
100 画像処理装置
102 通信部
105 グループ生成部
【技術分野】
【0001】
本発明は、画像処理装置および画像処理装置の制御方法に関する。
【背景技術】
【0002】
医師は、読影時に、自分や他の医師が過去に行った読影の様子を知るために、過去の読影において注目された画像を参照することがある。例えば、肺がん検診における二重読影では、読影時の見落としのリスクを低減する等の目的で、他の医師が注目した箇所(画像)を参照することがある。また、読影の精度を高める等の目的で、過去の読影時に自分が注目した箇所を参照することもある。従って、過去の注目画像(過去の読影において注目された画像)を容易に確認することができると、読影時の医師の負担を軽減することが可能となる。特に、Computed Tomography(CT)では1件の検査で1000枚を越える画像が生成されることもある。そのため、CTを用いた肺がん検診等においては、多数の断層画像から効率的に過去の注目画像を確認できることが特に重要である。
【0003】
肺がん診断において読影を行う医師(以下、読影医)は、例えば、結節の大きさ/形、結節と気管支/縦隔/胸壁等との位置関係、リンパ節/他臓器へのがんの転移の有無、等を確認する目的で断層画像を読影する。読影医は、断層画像の中から読影画像(読影箇所)を選び出し、選び出した画像に対して長さの測定、拡大/縮小、前後の画像(撮影位置が隣接する画像)との比較などの操作(読影操作)を施しながら読影を行う。つまり、読影医は読影目的によって、読影箇所、および、読影操作を切り替えながら読影を行う。
【0004】
特許文献1には、断層画像等を読影する際、過去に注目した画像、および、注目した画像と空間的な距離が近い画像のみを表示するための技術が開示されている。
特許文献2には、デジタル画像の撮影日時、デジタル画像が保存、印刷、加工処理された日時、デジタル画像に対して実施した操作の種類、および、各操作間の時間間隔の組み合わせで、画像のグループ分けを行う技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−271541号公報
【特許文献2】特開2007−323416号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特許文献1の技術によれば、読影時の作業履歴から、画像の表示回数、表示時間、注目画像との空間的な距離、などに基づいて画像毎に優先度を設定し、所定の優先度の画像のみを表示することができる。しかしながら、特許文献1の技術では、読影目的が異なる画像を区別して表示することはできなかった。
【0007】
また、上記特許文献2の技術によれば、画像に対して実施した操作の種類、および、各操作間の時間間隔の組み合わせで画像のグループ分けすることができる。しかしながら、特許文献2の技術では、過去の読影時に同一の操作が行われた画像は読影目的が異なっていても同一のグループに分類されてしまう。例えば、肺を詳細に読影するために拡大操作を行った画像と、胃を詳細に読影するために拡大操作を行った画像とが、同一のグループに分類されてしまう。
【0008】
このように、従来技術を用いた場合には、グループ化(選別)が不十分であるため、読影医の負担を十分に軽減することができなかった。
【0009】
本発明は、過去の参照時に注目された画像を参照する際のユーザの負担を軽減することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の画像処理装置は、
撮影位置が互いに異なる複数の断層画像の過去の参照状況を表す参照履歴情報であって、少なくとも、各断層画像の累計参照回数または累計参照時間を表す情報を含む参照履歴情報を取得する取得手段と、
前記参照履歴情報を用いて、前記複数の断層画像のうち、累計参照回数または累計参照時間が所定の閾値以上の断層画像を、過去の参照時に注目された断層画像として抽出する抽出手段と、
前記抽出手段で抽出された断層画像が複数あった場合には、撮影位置の間隔が所定値以下の断層画像の集まり毎にグループ分けする分類手段と、
を有することを特徴とする。
【0011】
本発明の画像処理装置の制御方法は、
撮影位置が互いに異なる複数の断層画像の過去の参照状況を表す参照履歴情報であって、少なくとも、各断層画像の累計参照回数または累計参照時間を表す情報を含む参照履歴情報を取得するステップと、
前記参照履歴情報を用いて、前記複数の断層画像のうち、累計参照回数または累計参照時間が所定の閾値以上の断層画像を、過去の参照時に注目された断層画像として抽出するステップと、
前記抽出された断層画像が複数あった場合には、撮影位置の間隔が所定値以下の断層画像の集まり毎にグループ分けするステップと、
を有することを特徴とする。
【発明の効果】
【0012】
本発明によれば、過去の参照時に注目された画像を参照する際のユーザの負担を軽減することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施例1に係る画像処理装置の機能ブロック図
【図2】被写体と断層画像の関係を説明するための図
【図3】本発明の実施例1で用いる読影履歴情報を説明するための図
【図4】本発明の実施例1のグループ化処理を説明するための図
【図5】本発明の実施例1のグループ情報を説明するための図
【図6】本発明の実施例1のグループ化表示例を説明するための図
【図7】本発明の実施例2で用いる読影履歴情報を説明するための図
【図8】本発明の実施例2のグループ化処理を説明するための図
【図9】本発明の実施例2のグループ化表示例を説明するための図
【図10】本発明の実施例3の読影操作の分類を説明するための図
【図11】本発明の実施例3のグループ化処理を説明するための図
【発明を実施するための形態】
【0014】
<実施例1>
以下、本発明の実施例1に係る画像処理装置および画像処理装置の制御方法について説明する。本実施例では、ユーザが画像処理装置を用いて過去の読影時に注目された医用画
像(例えば、人体の断層画像)を参照する例について説明する。
図1は実施例1に係る画像処理装置の機能構成の一例を示すブロック図である。画像処理装置100は、入力部101、通信部102、記憶部103、表示制御部104、グループ生成部105、表示部106などを備える。また、画像処理装置100は、通信部102を介してサーバ107と通信可能に接続されている。なお、表示部106は画像処理装置100の一部であってもよいし、画像処理装置とは別体の装置であってもよい。
【0015】
入力部101は、ユーザから画像表示に関する入力を受け付け、これを通信部102と表示制御部104に出力する。
通信部102は、ユーザからの要求に基づいて、読影対象の医用画像(撮影位置が互いに異なる複数の断層画像)をサーバ107から取得し、記憶部103に出力する。また、通信部102は、ユーザから入力部101を介して過去の読影時に注目された断層画像(注目画像)の確認要求(注目画像確認要求)が入力された場合は、読影履歴情報(参照履歴情報)をサーバ107から取得し、記憶部103に記憶する。読影履歴情報は、取得した複数の断層画像の過去の読影状況(参照状況)を表す情報である。なお、読影履歴情報は、読影装置(不図示)によって読影時に記録される情報であり、ユーザの読影装置の操作等に応じた読影履歴を表す情報である。なお、読影履歴情報を記録する機能は、画像処理装置100が有していてもよい。
【0016】
記憶部103は、通信部102を介して取得された断層画像と上記読影履歴情報を記憶する。
表示制御部104は、ユーザからの入力に応じて記憶部103から断層画像を読み出して表示画像を生成し、表示部106に出力する。なお、後述するグループ生成部105でグループ情報が生成された場合は、該グループ情報に基づいてグループ化した注目画像の表示画像を生成して、表示部106に出力する。グループ生成部105は、ユーザによって注目画像確認要求が入力された場合に、記憶部103に記憶されている読影履歴情報に基づいて、取得された断層画像から注目画像を抽出してグループ化するためのグループ情報を生成する。表示部106は、表示制御部104からの入力に応じて表示画像を表示する。
【0017】
ここで、読影装置が読影履歴情報を生成する際の処理の流れの一例について説明する。
まず、読影装置は、ユーザ(例えば読影医)による読影開始要求の入力によって読影開始を検出すると、患者情報、検査情報、撮影日、読影日などを含む読影履歴情報を新規作成する。
次に、ユーザによって表示画像の切り替えや拡大/縮小等の操作がなされるたびに、読影装置は、操作がなされた時刻、操作がなされた断層画像、操作の種類等を上記新規作成した読影履歴情報に追記する。
最後に、ユーザによる読影終了要求の入力によって読影終了を検出すると、読影装置は、読影した画像群と関連付けて上記読影履歴情報をサーバ107に記録する。
【0018】
次に、実施例1に係る画像処理装置において、グループ生成部105が読影履歴情報からグループ情報を生成し、表示制御部104および表示部106が過去の注目画像をグループ化して表示する処理の一例について、図2〜6を用いて、詳細に説明する。
【0019】
図2は、被写体(人間の胸部)と、撮影されたCT画像(CTによって撮影された断層画像)の関係を模式的に示す図である。図2に示すように、各断層画像には、それぞれ異なる部位が映っている。ここでは、各断層画像に、人体の頭側の断層画像から順番にスライス番号(0000,0001,0002,・・・)が付与されている。
【0020】
図3は、本実施例で用いる読影履歴情報を模式的に示す図である。図3に示すように、
読影履歴情報は、患者情報、検査情報、撮影日、読影日を含む。サーバ107に複数の読影履歴情報が記録されている場合、通信部102は、患者情報、検査情報、撮影日、読影日などを元に今回の読影に対応する過去の読影履歴情報を特定し取得する。また、読影履歴情報は、読影作業(過去の読影状況)に関する情報も含む。ここでは、読影作業に関する情報として、表示された断層画像のスライス番号、表示開始時刻、行われた操作の種類が、時系列順に記録されている。
上記情報から、断層画像毎に、その断層画像の表示開始時刻と表示終了時刻(即ち、次の断層画像の表示開始時刻)の差分を算出することにより、過去の参照時の、各断層画像の1回毎の読影時間(参照時間)を算出することができる。そして、スライス番号が同じ断層画像の1回毎の読影時間を累積加算することにより、各断層画像の累積表示時間(累積参照時間)を算出することができる。また、スライス番号が同じ断層画像の出現回数をカウントすることにより、各断層画像の累積表示回数(累積参照回数)を算出することができる。また、行われた操作の種類に対応するスライス番号を参照することで、過去の参照時に所定の操作が行われた断層画像を特定することができる。
なお、本実施例では、読影履歴情報から、各断層画像の累計表示回数、各断層画像の累計表示時間、各断層画像の1回毎の読影時間が算出されるものとしたが、読影履歴情報がそれらの情報を含んでいてもよい。また、本実施例では、行われた操作の種類に対応するスライス番号を参照することで、過去の参照時に所定の操作が行われた断層画像が特定されるものとしたが、読影履歴情報が、過去の参照時に所定の操作が行われた断層画像を直接示す情報を含んでいてもよい。
なお、本実施例では、複数の断層画像を含む画像群毎(例えば、患者、撮影部位、撮影機器毎等)に図3のような読影履歴情報が対応付けられている構成を説明するが、断層画像毎に該断層画像の読影履歴情報が対応付けられている構成であってもよい。
【0021】
図4は、図2に示した断層画像に対する過去の読影状況と、断層画像のグループ化(グループ分け)の流れを模式的に示す図である。図4の例では、4aで示すように、過去の読影において、スライス番号0000〜1000の断層画像について、断層画像を切り替えながら読影が実施されている。特に、スライス番号0100〜0140,0680〜0700の断層画像が、重点的に読影するために、繰り返し表示されていたとする(例えば、スライス番号0100〜0140,0680〜0700の断層画像がそれぞれ5回以上表示されていたとする)。更に、スライス番号0130,0131の断層画像に対しては、異常な陰影の大きさ等を計測するために、長さの計測操作が実施されている。なお、図3の操作履歴情報は、当該過去の読影の一部の状況を表している。図3から、スライス番号0100〜0140の断層画像の読影時間(それぞれ5秒以上)が、スライス番号0000〜0099の断層画像の読影時間(それぞれ2秒)よりも長いことや、スライス番号0130,0131の断層画像に対して計測操作を行っていることなどが読み取れる。
【0022】
このとき、グループ生成部105は、読影履歴情報を用いて、通信部102で取得された複数の断層画像から、過去の読影時に注目された断層画像(注目画像)を抽出する。本実施例では、過去の読影時の累計表示回数が所定回数(例えば5回)以上である断層画像、及び、累計表示時間が所定時間(例えば20秒)以上である断層画像を注目画像として抽出する。各断層画像の累計表示回数、および、累計表示時間は、記憶部103に記憶されている読影履歴情報から取得される。具体的には、累計表示回数は、断層画像毎に、読影履歴情報に含まれるその断層画像のスライス番号の数をカウントすることによって取得される。累計表示時間は、断層画像毎に、その断層画像の表示開始時刻と、次の断層画像の表示開始時刻の差分を算出し、算出結果を累積加算することで取得される。この結果、本実施例では、図4の4bで示すように、スライス番号0100〜0140、及び、スライス番号0680〜0700の断層画像が注目画像として抽出される。
【0023】
また、処理を簡略化するために、上記処理の代わりに、過去の読影時に拡大等の特定の
操作(所定の操作)が行われた断層画像を注目画像として抽出してもよい。この場合は、注目画像に対してなされる可能性が高い、拡大、計測等の操作を特定の操作として予め記録しておき、該特定の処理を行った断層画像を注目画像として抽出すればよい。
【0024】
次にグループ生成部105は、抽出した注目画像を、読影箇所に基づいてグループ化する。本実施例では、グループ生成部105は、注目画像間の、断層画像に対して垂直な方向の距離(撮影位置の差)に基づいてグループ化を実施する。なお、断層画像に対して垂直な方向とは、図2に示す断層画像の撮影面(xy平面、矢印202に平行な平面)に対してz軸方向(矢印201の方向)である。
【0025】
具体的には、グループ生成部105は、抽出された断層画像(注目画像)が複数あった場合に、撮影位置の間隔(互いに隣接する断層画像間の撮影位置の差)が所定値以下の断層画像の集まり毎にグループ分けする。本実施例では、グループ生成部105は、注目画像のスライス番号が不連続である、即ち、注目画像のスライス番号が所定数(例えば2)以上離れている部分にグループの境界を設定することで、注目画像をグループ分けする。この結果、注目画像を、空間的に連続な断層画像群毎にグループ分けすることができる(空間的に不連続な断層画像を異なるグループにグループ分けすることができる)。上記の結果、図4の例では、4cで示すように、スライス番号0100〜0140の断層画像がグループ1、スライス番号0680〜0700の断層画像がグループ2に設定される。なお、注目画像のスライス番号が不連続となるか否かは、前述した注目画像を抽出するための条件における閾値と関連する。従って、より精度よくグループ化するためには、グループ境界を設定するための閾値を、注目画像を抽出するための条件と関連して経験的に決定すればよい。例えば、注目画像の抽出条件が緩い(累計表示時間、累計表示回数の閾値が小さい)場合には、スライス番号がN以上(Nは1以上の整数)離れている部分にグループ境界を設定すればよい。注目画像の抽出条件が厳しい(累計表示時間、累計表示回数の閾値が大きい)場合には、スライス番号がM以上(MはNより大きい整数)離れている部分にグループ境界を設定すればよい。
【0026】
次に、グループ生成部105は、上記グループ化した注目画像を、読影操作に基づいてさらに詳細にグループ化する。具体的には、グループ生成部105は、読影履歴情報を用いて、グループ毎に、そのグループに属する断層画像のうち、過去の読影時に所定の操作が行われた断層画像の集まりを別グループとして設定する。
【0027】
本実施例では、グループ生成部105は、グループ1,2のそれぞれについて、所定の操作がなされた断層画像がグループ内にあれば抽出し、これを別グループとして設定する。ここで所定の操作は、読影目的に応じて行われる操作であり、例えば、拡大操作、長さの計測、WW/WL(Window Width/Window LEVEL)の変更、等である。この結果、図4の例では、4dで示すように、スライス番号0130,0131の断層画像に対して長さの計測ツールが使用されているため、スライス番号0130,0131の断層画像が、グループ3に設定される。
なお、所定の処理として複数種類の処理が設定されている場合には、処理の種類ごとに上記処理(読影操作に基づくグループ化)を行ってもよいし、該複数種類の処理を1つの所定の処理として上記処理を行ってもよい。
また、読影操作に基づくグループ化においても、撮影位置の間隔が所定値以下の集まりとなるように、所定の操作が行われた断層画像をグループ分けしてもよい。
【0028】
以上のようにして、グループ生成部105は、注目画像を、注目箇所および読影操作に基づいてグループ化する。なお、本実施例では読影箇所に基づいてグループ化した後に、読影操作に基づいてさらにグループ化を実施したが、これらグループ化の順番は逆であってもよい。
【0029】
最後に、グループ生成部105は、グループ化に関する情報として、図5に例示するグループ情報を表示制御部104に出力する。図5に示すように、本実施例では、グループ情報は、グループ毎に、グループID、グループに属する断層画像のスライス番号、グループに属する断層画像の枚数、グループに実行された操作の種類を含む。なお、これらの情報はグループ生成部105によるグループ化処理により取得される。
【0030】
次に、表示制御部104が、グループ情報に基づいて過去の注目画像をグループ化して表示するための表示画面を構成し、表示部106が該構成した表示画面を表示する。図6に断層画像をグループ化して表示する表示例を示す。
グループ表示領域601は、断層画像に含まれるグループを表示し、詳細表示するグループをユーザに選択させるための領域である。本実施例では該領域にグループIDを表示するものとしたが、より詳細な情報を表示してもよい。例えば、後述するグループ情報表示領域602に表示する情報を併記してもよい。
【0031】
グループ情報表示領域602は、グループ表示領域601上でユーザによって選択されたグループに関する情報を表示する領域である。本実施例では、選択されたグループに属する断像画像の枚数、グループに実行された操作の種類、グループの読影に要した時間、を表示する。なお、操作の種類は、予め種類を登録したテーブルを用意しておき、図4で示したグループ化処理中に該テーブルとの比較処理を実施することで判別される。同様に、グループの読影に要した時間も、図4で示したグループ生成処理中に取得される。なお、グループに関する情報をさらに詳細に表示する場合には、グループ情報表示領域602に画像表示回数や、画像表示時刻などを表示してもよい。
【0032】
画像表示領域603は、グループ表示領域601上でユーザによって選択されたグループに属する断層画像を表示する領域である。該領域に表示する断層画像は後述する操作バーによって切り替えることができる。なお、グループ選択時に最初に表示される断層画像はグループの先頭の断層画像、グループの中で過去の表示回数が最も多い断層画像、過去の表示時間の最も長い断層画像などである。
【0033】
操作バー表示領域604は、画像表示領域603に表示する断層画像をユーザに切り替えさせるための操作バーを表示する領域である。本実施例では、操作バー表示領域604には、グループの先頭/最後の断層画像を表示するためのボタン、画像表示領域603に表示中の断層画像の前/後の断層画像を表示するためのボタンが表示される。また、グループに属する断層画像を先頭からシネ再生するためのボタン、全ての断層画像(全ての注目画像や通信部102が取得した全ての断層画像)を先頭からシネ再生するためのボタンが表示される。
【0034】
以上述べたように、本実施例によれば、読影箇所に基づいて注目画像をグループ化し、グループ単位で表示を行うことが可能となる。それにより、過去の参照時に注目された画像の確認が容易となり、過去の参照時に注目された画像を参照する際のユーザ(医師)の負担を軽減することが可能となる。
また、本実施例では、読影操作に基づくグループ化を更に行うため、所定の操作が行われた断層画像群の確認が容易となり、ユーザの負担をより軽減することが可能となる。
【0035】
なお、本実施例では、断層画像が医用画像である場合について説明したが、断層画像は医用画像でなくてもよい。例えば、装置を構成する部材の断面を表す断層画像であってもよい。
なお、本実施例では、参照箇所に基づいてグループ化した注目画像を、読影操作に基づいてさらに詳細にグループ化したが、読影操作に基づくグループ化は行わなくてもよい。
目的によっては、参照回数が多い断層画像や参照時間の長い断層画像のみを確認できれば十分であるため、読影操作に基づくグループ化を行わない構成であっても上記効果に順じた効果を得ることができる。読影操作に基づくグループ化を行わない場合には、読影履歴情報に、過去の参照時に所定の操作が行われた断層画像を示す情報は含まれなくてもよい。
なお、本実施例では、読影履歴情報が累計参照回数を表す情報と累計参照時間を表す情報とを含むものとしたが、読影履歴情報はこれに限らない。少なくとも、累計参照回数を表す情報または累計参照時間を表す情報のいずれかを含んでいればよい。そして、累計参照回数または累計参照時間が所定の閾値以上である断層画像を注目画像として抽出すればよい。そのような構成であっても上記効果に順じた効果を得ることができる。
なお、本実施例では、断層画像毎に、断層画像の1回毎の参照時間を算出し、その累積時間を算出する構成としたが、この構成に限らない。例えば、読影履歴情報に、各断層画像の表示開始時刻ではなく、各断層画像の累積参照時間そのものが含まれていてもよい。
【0036】
<実施例2>
実施例1では、注目画像を、断層画像に対して垂直な方向の距離に基づいてグループ化したが、本実施例では、断層画像に対して垂直な方向、および、水平な方向の距離に基づいてグループ化を実施する。なお、断層画像に対して水平な方向とは、図2に示すxy平面内(矢印202)方向である。
本実施例における画像処理装置のブロック図は図1と同様である。また、入力部101、通信部102、記憶部103、表示制御部104、表示部106の処理内容も実施例1と同様である。以下、本実施例に係るグループ生成部105の処理について、図7,8を用いて説明する。
【0037】
図7は、本実施例で用いる読影履歴情報を模式的に示す図である。図7に示すように、本実施例で用いる読影履歴情報は、患者情報、検査情報、撮影日、読影日、読影作業に関する情報を含んでいる。拡大操作や長さの計測などの操作は、断層画像の一部の領域に対して行われる。本実施例では、読影作業に関する情報として、表示された断層画像のスライス番号、表示開始時刻、行われた操作の種類、および、操作が行われた領域の位置が、時系列順に記録されている。操作が行われた領域の位置は、例えば、断層画像の左上の頂点を原点(0,0)とし、座標(x,y)で表される。
【0038】
図8は、図2に示した断層画像に対する過去の読影状況と、断層画像のグループ化の流れを模式的に示す図である。図8の例では、8aで示すように、過去の読影において、スライス番号0000〜1000の断層画像について、断層画像を切り替えながら読影が実施されている。特に、スライス番号0200〜0400の断層画像が、重点的に読影するために、繰り返し表示されていたとする。更に、スライス番号0230〜0235の断層画像に対しては、断層画像中の座標(400,100)付近に異常陰影が存在したため、異常陰影の詳細を確認するために座標(400,100)を中心に拡大操作が行われている。また、同様に、スライス番号0270〜0275の断層画像に対しては、断層画像中の座標(80,300)を中心に拡大操作が行われている。前述したように、このような操作の種類および座標に関する履歴は、図7に示す読影履歴情報として記録される。
【0039】
このとき、グループ生成部105は、実施例1と同様に、通信部102で取得された複数の断層画像から注目画像を抽出する。この結果、本実施例では図8の8bで示すように、スライス番号0200〜0400の断層画像が抽出される。
次に、グループ生成部105は、実施例1と同様に、注目画像間の、断層画像に対して垂直な方向の距離に基づいてグループ化を実施する。この結果、図8の例では、8cで示すように、スライス番号0200〜0400の断層画像(全ての注目画像)がグループ1に分類される。
【0040】
そして、グループ生成部105は、断層画像に対して水平方向の距離に基づいてグループ化する。具体的には、グループ生成部105は、参照履歴情報を用いて、グループ毎に、そのグループに属する断層画像のうち、断層画像間の所定の操作が行われた領域の位置の差が所定値以下(例えば50ピクセル以下)の断層画像の集まりを別グループとして設定する。
【0041】
本実施例では、まず、各断層画像内で特に読影医が注目した箇所(注目箇所)を特定する。具体的には、グループ生成部105は、図7に示す読影履歴情報を参照し、断層画像に操作がなされた箇所の座標情報を抽出する。この結果、本実施例では、スライス番号0230〜0235の断層画像の注目箇所が座標(400,100)、スライス番号0270〜0275の断層画像の注目箇所が座標(80,300)であると、特定される。
次に、グループ生成部105は、上記座標情報から注目箇所間の距離を算出し、該距離の差が所定値以下の集まりを別グループとして設定する。なお、上記所定値は、断層画像の画素数によって座標上の距離と被写体の実際の長さの対応が異なることを考慮して、断層画像の画素数に合わせて設定される。この結果、図8の例では、8dで示すように、スライス番号0230〜0235の断層画像がグループ2、スライス番号0270〜0275の断層画像がグループ3に設定される。
【0042】
そして、グループ生成部105は、断層画像を、読影操作に基づいてさらに詳細にグループ化する。なお、本実施例では、スライス番号0230〜0235、および、スライス番号0270〜0275の断層画像に拡大操作がなされている。しかし、それらの断層画像は、既にグループ2、グループ3としてグループ分けがなされており、拡大操作以外の読影操作は行われていない。このため、図8の例では、8eで示すように、読影操作による詳細なグループ化を行っても、グループ化の結果は変わらない。読影操作に基づくグループ化において、断層画像の水平方向の距離を考慮しない場合には、スライス番号0230〜0235、および、スライス番号0270〜0275の断層画像が1つのグループとして設定されてもよい。
【0043】
以上のようになされたグループ化に基づいて、表示制御部104が表示画面を構成し、表示部106が該構成した表示画面を表示する。図9に断層画像をグループ化して表示する表示例を示す。本実施例では、グループ情報表示領域602に注目箇所の座標情報が更に表示され、画像表示領域603に注目箇所を示すマーカー901が重畳表示される。
【0044】
以上述べたように、本実施例によれば、実施例1の構成に加え、更に、断層画像の水平な方向の距離(注目箇所間の距離)に基づくグループ化が実施される。それにより、注目箇所の距離が離れている断層画像を互いに異なるグループに分けることができる。そして、注目箇所が近い断層画像の確認が容易となり、ユーザの負担をより軽減することが可能となる。
なお、上述した3つのグループ化処理(断層画像に対して垂直な方向の距離に基づくグループ化、断層画像に対して水平な方向の距離に基づくグループ化、読影操作に基づくグループ化)の順番はどのような順番で行われてもよい。
なお、本実施例では一枚の断層画像に一か所の注目箇所が存在する例を挙げたが、一枚の断層画像に複数か所の注目箇所が存在していてもよい。一枚の断層画像に複数の注目箇所が存在する場合には、例えば、以下のような処理を行えばよい。まず、水平な方向の距離が所定値を超えているか否かの判定の際に、全ての注目箇所間の距離を算出する。そして、上記所定値を超えない注目箇所の組み合わせが存在する場合には、それらの断層画像を同じグループに設定する。その結果、複数の注目箇所が存在する断層画像を、複数のグループに属するようにグループ分けすることができる。
【0045】
<実施例3>
読影には、例えばがんの転移の有無のように存在の有無を確認する場合と、がんの浸潤の確認のように広がり具合を確認する場合とがある。前者の場合は同一の画像が比較的長時間表示されることが、後者の場合は断層画像が隣接する断層画像との間で切り替えながら繰り返し短時間表示されることが予想される。つまり、読影時の目的が異なれば、画像の表示回数と表示時間の関係も異なる。そこで、本実施例では、表示回数は少ないが表示時間が長い断層画像群、あるいは、表示回数は多いが表示時間は短い断層画像群、といった特定の読影パターンの断層画像群が互いに異なるグループとなるように、グループ化を行う。本実施例によれば、拡大/計測等の特定の操作が行われなかった断層画像についても、読影時の読影パターンに応じたグループ化を実現することができる。
【0046】
本実施例における画像表示装置のブロック図は図1と同様である。また、入力部101、通信部102、記憶部103、表示制御部104、表示部106の処理内容も実施例1と同様である。また、本実施例で用いる読影履歴情報も実施例1と同様である。以下、グループ生成部105の処理について、図10,11を用いて説明する。
【0047】
本実施例のグループ生成部105は、読影履歴情報を用いて、グループ毎に、そのグループに属する断層画像のうち、読影パターンが互いに異なる断層画像群をそれぞれ別グループとして設定する。具体的には、参照時間の最大値が第1の閾値以上であり、且つ、累計参照回数が第2の閾値以下である断層画像の集まりを1グループとして設定する。また、参照時間の最大値が第1の閾値より小さい第3の閾値以下であり、且つ、累計参照回数が第2の閾値より大きい第4の閾値以上である断層画像の集まりを1グループとして設定する。本実施例では、グループ生成部105は、このようなグループ化を図10に示すテーブルを使用して行う。
【0048】
図10(a),(b)は、本実施例で用いる、読影操作をパターン分類する際に用いるテーブルを説明するための図である。図10(a)に示すように、本実施例では、例えば、参照時間の最大値(最大表示時間)が所定値(例えば20秒)以上、且つ、累計参照回数(累計表示回数)が所定値(例えば5回)未満である断層画像を分類Aとする。最大表示時間が所定値(例えば5秒)以下、且つ、累計表示回数が所定値(例えば10回)以上である断層画像を分類Bとする。グループ生成部105は、上記分類に関する情報を、図10(b)に例示するテーブルとして予め保持している。なお、最大表示時間の閾値や累計表示回数の閾値は、検査対象や読影医の年齢等を踏まえて実験的に決定すればよい。図10(b)のテーブルにより、例えば、結節等の存在の有無を確認するために、表示回数は少ないが長時間表示していた断層画像は分類Aに、結節等の広がり具合を確認するために、1回あたりの表示時間は短いが表示回数の多い断層画像は分類Bに、分類される。
【0049】
図11は、図2に示した断層画像に対する過去の読影状況と、断層画像のグループ化の流れを模式的に示す図である。図11の例では、11aで示すように、過去の読影において、スライス番号0000〜1000の断層画像について、断層画像を切り替えながら読影が実施されている。特に、スライス番号0200〜0400の断層画像が、重点的に読影するために、繰り返し表示されていたとする。具体的には、結節の有無を確認するために、スライス番号0220〜0225の断層画像は、それぞれ2回ずつ表示されており、且つ、1回に22秒以上表示されている。また、結節の広がり具合を確認するために、スライス番号0300〜0320の断層画像は、それぞれ12回ずつ表示されており、且つ、1回に4秒以下表示されている。
【0050】
このとき、グループ生成部105は、実施例1と同様に、通信部102で取得された複数の断層画像から注目画像を抽出する。この結果、本実施例では図11の11bで示すように、スライス番号0200〜0400の断層画像が抽出される。
次に、グループ生成部105は、実施例1と同様に、注目画像間の、画像に対して垂直な方向の距離に基づいてグループ化を実施する。この結果、図11の例では、11cで示すように、スライス番号0200〜0400の断層画像(全ての注目画像)がグループ1に分類される。
【0051】
そして、グループ生成部105は、抽出した注目画像について、それぞれの最大表示時間、および、累計表示回数を算出し、算出結果に応じて注目画像を分類A,Bに分類する。なお、上記算出は読影履歴情報を参照することで実施される。分類は図10に示したテーブルを参照することで実施される。以上の結果、図11の例では、スライス番号0220〜0225番の断層画像が分類Aに、スライス番号0300〜0320の断層画像が分類Bに、分類される。
【0052】
次に、グループ生成部105は、断層画像に対して垂直な方向の距離に基づいてグループ化された注目画像を、上記分類の結果を用いてさらに詳細にグループ化する。具体的には、分類A,Bに分類された断層画像群を、それぞれ別グループに設定する。この結果、図11の例では、11dで示すように、スライス番号0220〜0225の断層画像がグループ2に、スライス番号0300〜0320番の断層画像がグループ3に設定される。
【0053】
以上のようになされたグループ化に基づいて、表示制御部104が表示画面を構成し、表示部106が該構成した表示画面を表示する。なお、グループに関する情報をさらに詳細に表示する場合には、図6の表示例におけるグループ情報表示領域602に、グループの各断層画像の最大表示時間および累計表示回数を表示してもよい。
【0054】
以上述べたように、本実施例によれば、表示回数と表示時間の関係から特定の読影パターンを判別し、該パターンに基づいてグループ化が行われる。それにより、特定の読影パターンの断層画像の確認が容易となり、ユーザの負担をより軽減することが可能となる。
【符号の説明】
【0055】
100 画像処理装置
102 通信部
105 グループ生成部
【特許請求の範囲】
【請求項1】
撮影位置が互いに異なる複数の断層画像の過去の参照状況を表す参照履歴情報であって、少なくとも、各断層画像の累計参照回数または累計参照時間を表す情報を含む参照履歴情報を取得する取得手段と、
前記参照履歴情報を用いて、前記複数の断層画像のうち、累計参照回数または累計参照時間が所定の閾値以上の断層画像を、過去の参照時に注目された断層画像として抽出する抽出手段と、
前記抽出手段で抽出された断層画像が複数あった場合には、撮影位置の間隔が所定値以下の断層画像の集まり毎にグループ分けする分類手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記参照履歴情報は、過去の参照時に所定の操作が行われた断層画像を示す情報を含み、
前記分類手段は、前記参照履歴情報を用いて、グループ毎に、そのグループに属する断層画像のうち、過去の参照時に前記所定の操作が行われた断層画像の集まりを別グループとして設定する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記参照履歴情報は、過去の参照時に断層画像の一部の領域に対して所定の操作が行われた断層画像を示す情報、及び、該所定の操作が行われた断層画像内の領域の位置を表す情報を含み、
前記分類手段は、前記参照履歴情報を用いて、グループ毎に、そのグループに属する断層画像のうち、断層画像間の前記所定の操作が行われた断層画像内の領域の位置の差が所定値以下の断層画像の集まりを別グループとして設定する
ことを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記参照履歴情報は、過去の参照時の、各断層画像の累計参照回数を表す情報および各断層画像の1回毎の参照時間を表す情報を含み、
前記分類手段は、前記参照履歴情報を用いて、グループ毎に、そのグループに属する断層画像のうち、参照時間の最大値が第1の閾値以上であり、且つ、累計参照回数が第2の閾値以下である断層画像の集まり、及び、参照時間の最大値が前記第1の閾値より小さい第3の閾値以下であり、且つ、累計参照回数が前記第2の閾値より大きい第4の閾値以上である断層画像の集まりを、それぞれ別グループとして設定する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項5】
撮影位置が互いに異なる複数の断層画像の過去の参照状況を表す参照履歴情報であって、少なくとも、各断層画像の累計参照回数または累計参照時間を表す情報を含む参照履歴情報を取得するステップと、
前記参照履歴情報を用いて、前記複数の断層画像のうち、累計参照回数または累計参照時間が所定の閾値以上の断層画像を、過去の参照時に注目された断層画像として抽出するステップと、
前記抽出された断層画像が複数あった場合には、撮影位置の間隔が所定値以下の断層画像の集まり毎にグループ分けするステップと、
を有することを特徴とする画像処理装置の制御方法。
【請求項1】
撮影位置が互いに異なる複数の断層画像の過去の参照状況を表す参照履歴情報であって、少なくとも、各断層画像の累計参照回数または累計参照時間を表す情報を含む参照履歴情報を取得する取得手段と、
前記参照履歴情報を用いて、前記複数の断層画像のうち、累計参照回数または累計参照時間が所定の閾値以上の断層画像を、過去の参照時に注目された断層画像として抽出する抽出手段と、
前記抽出手段で抽出された断層画像が複数あった場合には、撮影位置の間隔が所定値以下の断層画像の集まり毎にグループ分けする分類手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記参照履歴情報は、過去の参照時に所定の操作が行われた断層画像を示す情報を含み、
前記分類手段は、前記参照履歴情報を用いて、グループ毎に、そのグループに属する断層画像のうち、過去の参照時に前記所定の操作が行われた断層画像の集まりを別グループとして設定する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記参照履歴情報は、過去の参照時に断層画像の一部の領域に対して所定の操作が行われた断層画像を示す情報、及び、該所定の操作が行われた断層画像内の領域の位置を表す情報を含み、
前記分類手段は、前記参照履歴情報を用いて、グループ毎に、そのグループに属する断層画像のうち、断層画像間の前記所定の操作が行われた断層画像内の領域の位置の差が所定値以下の断層画像の集まりを別グループとして設定する
ことを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記参照履歴情報は、過去の参照時の、各断層画像の累計参照回数を表す情報および各断層画像の1回毎の参照時間を表す情報を含み、
前記分類手段は、前記参照履歴情報を用いて、グループ毎に、そのグループに属する断層画像のうち、参照時間の最大値が第1の閾値以上であり、且つ、累計参照回数が第2の閾値以下である断層画像の集まり、及び、参照時間の最大値が前記第1の閾値より小さい第3の閾値以下であり、且つ、累計参照回数が前記第2の閾値より大きい第4の閾値以上である断層画像の集まりを、それぞれ別グループとして設定する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項5】
撮影位置が互いに異なる複数の断層画像の過去の参照状況を表す参照履歴情報であって、少なくとも、各断層画像の累計参照回数または累計参照時間を表す情報を含む参照履歴情報を取得するステップと、
前記参照履歴情報を用いて、前記複数の断層画像のうち、累計参照回数または累計参照時間が所定の閾値以上の断層画像を、過去の参照時に注目された断層画像として抽出するステップと、
前記抽出された断層画像が複数あった場合には、撮影位置の間隔が所定値以下の断層画像の集まり毎にグループ分けするステップと、
を有することを特徴とする画像処理装置の制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−230528(P2012−230528A)
【公開日】平成24年11月22日(2012.11.22)
【国際特許分類】
【出願番号】特願2011−98099(P2011−98099)
【出願日】平成23年4月26日(2011.4.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年11月22日(2012.11.22)
【国際特許分類】
【出願日】平成23年4月26日(2011.4.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]