画像解析方法、プログラムおよび画像解析装置
【課題】オペレータが目視で確認しなくても、オペレータが注目している同じ種類の可能性が高い領域を特定し、その領域の付属情報を取得・表示することを目的とする。
【解決手段】撮像装置２から取得した観測データ１３１を解析する画像解析装置１であって、観測データ１３１から、オペレータが注目している空間領域である関心領域候補を抽出する関心領域候補抽出部１０４と、関心領域候補と、標本との特徴量の類似度を算出し、当該類似度が、閾値以上である場合、標本にひも付けられている付属情報１４３を対照データベース１４０から取得する検索処理部１０６と、付属情報１４３を表示部１１０に表示する付属情報表示処理部１０７と、を有することを特徴とする
【解決手段】撮像装置２から取得した観測データ１３１を解析する画像解析装置１であって、観測データ１３１から、オペレータが注目している空間領域である関心領域候補を抽出する関心領域候補抽出部１０４と、関心領域候補と、標本との特徴量の類似度を算出し、当該類似度が、閾値以上である場合、標本にひも付けられている付属情報１４３を対照データベース１４０から取得する検索処理部１０６と、付属情報１４３を表示部１１０に表示する付属情報表示処理部１０７と、を有することを特徴とする
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析方法、プログラムおよび画像解析装置の技術に関する。
【背景技術】
【０００２】
３次元空間上の観測データを解析するにあたり、観測データが占める位置に対応した付属情報（診断データや、レポートなど）を用いることで、解析の参考情報になることがある。
例えば、ＣＴ（Computerized Tomography）スキャンなどを使用した医療画像診断では、類似の画像に対する診断を参考にすることが行われている。例えば、特許文献１には、観測対象の画像上に関心領域を指定して、あらかじめ画像データベースに登録されている観測対象画像と類似した画像を検索し、当該関心領域に対応する診断データを参考情報として提示する類似画像検索装置および方法並びにプログラムが記載されている。特許文献１に記載の技術では、異なる患者や、同じ患者でも異なる日時に撮像した画像で、同じ種類と疑われる患部があった場合、オペレータが目視で同じ種類の患部であることを確認し、チェックを行うことで、その患部に関する付属情報を取得・表示している。
また、特許文献２には、関心領域の抽出方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２７５２１６号公報
【特許文献２】特開２００３−２６５４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、他のデータ中において、患部が完全に同じ位置に出現することは稀である。このような場合、特許文献１に記載の技術のように、オペレータが目視で同じ種類の患部であるか否かを確認する必要がある。
しかし、同じ種類の患部であるか否かを、オペレータが目視で確認する作業は、煩雑であり、オペレータの負担となってしまう。
【０００５】
このような背景に鑑みて本発明がなされたのであり、本発明は、他の画像において、オペレータが注目している領域と、同じ種類の可能性が高い領域を特定し、その領域の付属情報を取得・表示することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明は、撮像装置から取得した撮像画像を解析する画像解析装置による画像解析方法であって、記憶部に、前記撮像画像と、前記撮像画像に対応する対照画像と、が格納されており、前記対照画像は、当該対照画像から予め抽出されている空間領域である標本データを含み、前記標本データには、前記標本データに関する情報である付属情報がひも付けられており、前記画像解析装置は、前記撮像画像から、オペレータが注目している空間領域である関心領域データを抽出し、前記関心領域データと、前記標本データとの特徴量の類似度を算出し、当該類似度が、閾値以上である場合、前記標本データにひも付けられている付属情報を前記記憶部から取得し、前記付属情報を表示部に表示することを特徴とする。
【発明の効果】
【０００７】
本発明の方法によれば、他の画像において、オペレータが注目している領域と、同じ種類の可能性が高い領域を特定し、その領域の付属情報を取得・表示することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る画像解析システムの構成例を示す図である。
【図２】断面像画面の例を示す図である。
【図３】ボリュームで表現される観測データの例を示す図である。
【図４】観測データおよび対照データにおいて、領域分けされた造形物データの例を示す図である。
【図５】付属情報が表示された断面像画面の例である。
【図６】本実施形態に係る断面像取得処理の手順を示すフローチャートである。
【図７】本実施形態に係る関心領域候補抽出処理の詳細な手順を示すフローチャートである。
【図８】未領域候補の抽出のための開始画素の例を示す図である。
【図９】本実施形態に係る付属情報検索処理の詳細な手順を示すフローチャートである。
【図１０】本実施形態の概要を示す図である。
【発明を実施するための形態】
【０００９】
次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。
【００１０】
（システム構成）
図１は、本実施形態に係る画像解析システムの構成例を示す図である。
画像解析システム３は、ＣＴスキャンや、ＭＲＩ（Magnetic Resonance Imaging）などの撮像装置２と、撮像装置２から送られた画像を解析するための画像解析装置１とを有している。
画像解析装置１は、情報を処理する処理部１００と、情報を表示する表示部１１０と、情報を入力する入力部１２０と、撮像装置２で撮像された観測データ１３１などが格納されている観測データベース（記憶部）１３０と、以前に撮像され、観測データ１３１との比較にために用いられる対照データ１４１などが格納された対照データベース（記憶部）１４０とを有する。
【００１１】
観測データベース１３０には、観測データ１３１と、関心領域候補データ１３２とが格納されている。観測データ１３１とは、撮像装置２から送られた撮像画像のデータであり、解析対象となるデータである。この観測データ１３１には、関心領域候補抽出部１０４によって抽出された関心領域画像のデータである関心領域候補のデータ（関心領域候補データ１３２：関心領域データ）がひも付けられて格納している。
ここで、関心領域とは、観測データ１３１において、オペレータが注目している空間領域であり、例えば患部などである。
【００１２】
対照データベース１４０には、１以上の対照データ１４１が格納されている。対照データ１４１とは、過去に撮像装置２で撮像されるなどして、画像解析装置１で解析された対照画像のデータである。対照データ１４１には、関心領域候補に対応する領域（以下、標本と称する）のデータ（標本データ１４２）や、標本を解析した結果、記述された診断レポートなどの付属情報１４３が、ひも付けられて格納されている。
ここで、標本とは、例えば、他の患者のデータや、同じ患者における以前に検査した観測データ１３１において、図７の処理を行い、関心領域として抽出された箇所などである。
【００１３】
処理部１００は、断面位置処理部１０１と、断面像生成部１０２と、断面像表示処理部１０３と、関心領域候補抽出部１０４と、関心領域候補表示処理部１０５と、検索処理部１０６と、付属情報表示処理部１０７と、を有する。
断面位置処理部１０１は、入力部１２０を介して入力された情報を基に、観測データ１３１中の位置データを取得すると同時に、スクロールなどの操作が停止しているか、継続しているかなどを検知する。つまり、断面位置処理部１０１は、断面位置の指定情報を経時的に収集し、操作パターンが、それまでの断面位置指定の操作パターンとは異なることを検知する。操作パターンが異なることの検知方法は種々の手段が可能である。例えば、指定位置が一定時間内に一定方向に変化する操作パターンであったものが、一定時間を過ぎても位置指定変更が行われなかったり、位置指定の変化の方向がそれまでと異なっていたりすることを検知する方法などが考えられるが、これらの手段に限られることはない。
【００１４】
断面位置処理部１０１が検知した操作パターンの変化をトリガとして、関心領域候補抽出部１０４は関心領域候補の抽出処理を開始する。
【００１５】
断面像生成部１０２は、断面位置処理部１０１からの情報を基に、観測データ１３１の断面像を生成する。
断面像表示処理部１０３は、断面像生成部１０２で生成された断面像を表示部１１０に表示する。
【００１６】
関心領域候補抽出部１０４は、後記する領域拡張法などの方法により観測データ１３１中の関心領域を抽出する。
【００１７】
関心領域候補表示処理部１０５は、関心領域候補抽出部１０４で抽出された関心領域の候補を表示部１１０に表示する機能を有する。
【００１８】
検索処理部１０６は、対照データ１４１において、抽出された関心領域と関連する領域（標本）を検索し、この標本にひも付けられている付属情報１４３を取得する。
付属情報表示処理部１０７は、検索処理部１０６が取得した付属情報１４３を表示部１１０に表示する。
詳述すると、検索処理部１０６は、例えば特許文献１で記載されているような関心領域候補の特徴量と、対照データ１４１の標本の特徴量との類似度を計算し、この類似度が高い標本を検索し、付属情報表示処理部１０７が、この標本にひも付けられている付属情報１４３を表示部１１０に表示させる。
【００１９】
画像解析装置１は、例えばＰＣ（Personal Computer）などで実現され、処理部１００と、処理部１００における各部１０１〜１０７は、図示しないＲＯＭ（Read Only Memory）や、ＨＤＤ（Hard Disk Drive）に格納されたプログラムが、ＲＡＭ（Random Access Memory）に展開され、ＣＰＵ（Central Processing Unit）によって実行されることによって具現化する。
【００２０】
（処理概要）
次に、図２〜図５を参照して、本実施形態の処理概要を画面例を用いて説明する。
図２〜図５は、画面構成の一例と、観測データ１３１における断面との関係を示す図であり、このうち図２は、断面像画面の例を示す図であり、図３は、ボリュームで表現される観測データの例を示す図である。
オペレータ（例えば読影医）は、入力部１２０を操作することにより、ボリュームデータとして撮像装置２から取得した観測データ１３１を体軸方向に沿って走査する。例えば、スクロール操作が体軸方向に沿った断面位置を指定する手段だとすると、オペレータのスクロール操作により断面像生成部１０２が指定された断面位置でのアキシャル像（体軸に対する垂直断面像：以下、断面像（またはスライス像）と称する）を生成し、断面像表示処理部１０３が指定の断面位置での断面像を表示部１１０に表示する。
【００２１】
この点を図２と図３を参照して説明する。図２の断面像画面２００は、断面像表示エリア２０１と、スクロールバー２０２とを有している。この図２では断面像表示エリア２０１には、１枚分のスライス画像が表示されている。
また、観測データ１３１は、撮像装置２から入力された撮像画像を累積することによって（換言すると１スライス分の撮像画像を累積することによって）生成されるデータであり、図３に示すように３次元情報を有したデータである。ちなみに、図３は、等方的なボクセル（voxel）の画像データであると考えることができる。これは、例えば１スライス５１２×５１２ピクセル（pixel）の撮像画像から等方的に再構成したデータである。
オペレータが、図２のスクロールバー操作方向を示す矢印２０３で示す方向に、スクロールバー２０２を操作することは、図３の観測データ１３１における断面３０２が矢印３０１方向へ移動することを意味する。つまり、図２のスクロールバー２０２を矢印２０３方向に移動させることは、図３におけるＺ軸方向の奥に位置するスライス像から手前に位置するスライス像へと（矢印３０１方向へと）、１枚ずつスライス像を切り替えて図２の断面像表示エリア２０１に表示させることである。なお、符号３０３については後記する。
【００２２】
オペレータは断面像（スライス像）を観察しながら順次スクロール操作を行う。何ら異常が見当たらない場合、一通りスクロール操作が終了すると「異常所見なし」などのレポートを作成して診断を終了するのであるが、スクロールの途中に病変が疑われる部分を見つけた場合、オペレータは、スクロール操作をいったん止め、病変が疑われる箇所をよく観察する。この際、オペレータは、スクロールを止めた箇所で指定される断面像ばかりでなく、その前後の断面像も丁寧に観察することが一般的である。
【００２３】
図４は、観測データおよび対照データにおいて、領域分けされた造形物データの例を示す図である。なお、造形物は、例えば骨格や臓器である。
造形物データ４０１は、造形物毎に、その造形物が空間に占める範囲（座標範囲）が記述されている。図４における断面４０２は、図３の断面３０２に対応している。このようにすることで、図３の断面３０２が、どの造形物と交わるかの判定が可能となり、関心領域の候補を迅速に挙げることができる。
【００２４】
図５は、付属情報が表示された断面像画面の例である。
図５の断面像画面５０１は、図２と同様の構成に加えて、関心領域候補抽出部１０４で抽出された関心領域候補５０２が強調表示され、さらにこの関心領域候補に関する付属情報１４３が表示されている。関心領域候補や付属情報１４３は１つとは限らず、複数提示してもよい。
【００２５】
（フローチャート）
次に、図１を参照しつつ、図６〜図９に沿って本実施形態に係る画像解析方法を説明する。
（断面像取得処理）
図６は、本実施形態に係る断面像取得処理の手順を示すフローチャートである。
まず、断面位置処理部１０１が、断面位置取得回数ｉを「０」に設定する（Ｓ１０１）。
次に、オペレータが図２のスクロールバー２０２をスライドさせることにより、断面像の位置が移動し、断面位置処理部１０１は、現在の断面のＺ座標（図３の断面３０２のＺ座標）をＺ（ｉ）に設定し、取得時刻をＴｉに設定する（Ｓ１０２）。ここで、Ｚｉ（ｉ＝０）は、図３の一番端３０３（Ｚ軸の一番奥のスライス像（断面像））に相当する。
次に、断面像生成部１０２が、Ｚｉに相当する断面像を生成し（Ｓ１０３）、断面像表示処理部１０３が、生成した断面像を表示部１１０に表示する（Ｓ１０４）。
そして、断面位置処理部１０１は、ｉ＞２であるか否かを判定する（Ｓ１０５）。ここで、「２」としたのは、一番端の断面像Ｚｉ（ｉ＝０）を次のステップＳ１０６以降の処理対象から外すためであり、「ｉ＞１」としてもよい。
【００２６】
ステップＳ１０５の結果、ｉ＞２でない場合（Ｓ１０５→Ｎｏ）、すなわちｉ≦１であった場合、断面位置処理部１０１はｉに１を加算して（Ｓ１０６）、ステップＳ１０２へ処理を戻す。
ステップＳ１０５の結果、ｉ＞２であった場合（Ｓ１０５→Ｙｅｓ）、断面位置処理部１０１は、Ｔｉ−Ｔｉ―１＞ＴａかつＺｉ−Ｚｉ−１＝０であるか否かを判定する（Ｓ１０７）。
ここで、Ｔａは、所定の値である。つまり、ステップＳ１０７において、断面位置処理部１０１は、無操作の時間が所定の時間以上であり、かつ、その間断面像の位置が動いていないか否かを判定している。
【００２７】
ステップＳ１０７の結果、Ｔｉ−Ｔｉ―１＞ＴａかつＺｉ−Ｚｉ−１＝０でない場合（Ｓ１０７→Ｎｏ）、すなわち、Ｔｉ−Ｔｉ―１≦ＴａまたはＺｉ−Ｚｉ−１≠０である場合、断面位置処理部１０１は、ｉに１を加算して（Ｓ１０６）、ステップＳ１０２へ処理を戻す。
ステップＳ１０７の結果、Ｔｉ−Ｔｉ―１＞ＴａかつＺｉ−Ｚｉ−１＝０である場合（Ｓ１０７→Ｙｅｓ）、関心領域候補抽出部１０４が、図７で後記する関心領域候補抽出処理を行う（Ｓ１０８）。
関心領域候補抽出処理終了後、断面位置処理部１０１は、操作終了であるか否かを判定する（Ｓ１０９）。操作終了であるか否かは、例えば、表示画面状の図示しない終了ボタンが選択入力されたか否かなどによって判定される。
ステップＳ１０９の結果、操作終了でない場合（Ｓ１０９→Ｎｏ）、断面位置処理部１０１は、ｉに１を加算して（Ｓ１０６）、ステップＳ１０２へ処理を戻す。
ステップＳ１０９の結果、操作終了の場合（Ｓ１０９→Ｙｅｓ）、処理部１００は、処理を終了する。
【００２８】
図７は、本実施形態に係る関心領域候補抽出処理（図６のステップＳ１０８）の詳細な手順を示すフローチャートである。
関心領域の候補の生成方法としては、濃度しきい値法、領域拡張法などを用いることができる。例えば特許文献２に記載されているような領域拡張法をベースとした方法であれば、開始画素を設定する必要があるが、開始画素としてはオペレータが関心を示している可能性の高い箇所、例えば断面像表示処理部１０３で提示される表示画像の中央付近で一定の大きさ以上の領域を、その候補とすることができる。この場合、後記するように関心領域の候補とした領域が、領域拡張の進行とともに広がるが、その状況を関心領域候補表示処理部１０５を介して表示部１１０に表示することによりオペレータに提示し、開始画素の指定や領域の拡張方向などがオペレータの意図と異なる場合には、入力部１２０を介して変更を行うことができるように構成することが好ましい。
【００２９】
ここでは、特許文献２に記載の領域拡張法を用いることとする。
なお、領域拡張法とは、断面像の中心画素を基準にとり、徐々に画素範囲を、隣合う画素の濃度が大きく変化するまで拡張していき、濃度が大きく変化しない範囲の画素を関心領域候補として抽出する方法である。
【００３０】
関心領域候補抽出部１０４は、まず、断面像の中心画素を開始画素として設定する（Ｓ２０１）。
次に、関心領域候補抽出部１０４は、領域拡張抽出条件を図示しない記憶部から取得する（Ｓ２０２）。領域拡張抽出条件とは、後記する画素間の濃度差の閾値Ｎａ、Ｎｂなどである。
そして、関心領域候補抽出部１０４は、現在処理対象となっている画素群より１つ外側に位置する画素群を取得する領域拡張処理を行う（Ｓ２０３）。
続いて、関心領域候補表示処理部１０５は、ステップＳ２０３で取得した画素群と、既に関心領域候補（開始画素を含む）と判定されている画素群とを関心領域候補として表示部１１０に表示する（Ｓ２０４）。
続いて、関心領域候補抽出部１０４は、領域拡張抽出条件（濃度差の閾値Ｎａ、Ｎｂ）が、変更されたか否かを判定する（Ｓ２０５）。この処理は、例えば、ステップＳ２０２〜Ｓ２０７の繰り返しで、関心領域候補が徐々に拡大していく様子をオペレータが目視で確認し、拡大の大きさや、方向がオペレータが意図しているものと異なるとき、オペレータが画面上に表示されている図示しない「条件変更」ボタンを選択入力することによって、関心領域候補抽出部１０４が領域拡張抽出条件の変更を検知する。これは、ステップＳ２０４で表示された関心領域候補から、領域拡張抽出条件が適切であるか否かをオペレータが判断して領域拡張処理に介入するためである。なお、この処理は、関心領域候補の領域が異常でないか否かを判定するためのものであり、特許文献１に記載の技術における目視とは異なるものである。
【００３１】
ステップＳ２０５の結果、関心領域抽出条件を変更する場合（Ｓ２０５→Ｙｅｓ）、関心領域候補抽出部１０４は、関心領域抽出条件を、入力部１２０を介して入力された新たな関心領域抽出条件に変更して（Ｓ２０６）、ステップＳ２０１へ処理を戻す。
ステップＳ２０５の結果、関心領域抽出条件を変更しない場合（Ｓ２０５→Ｎｏ）、関心領域候補抽出部１０４は、領域拡張が完了したか否かを判定する（Ｓ２０７）。領域拡張が完了したか否かの判定は、以下のように行うこととする。現在処理対象となっている画素の濃度値をｆｎとし、現在処理対象となっている画素の外側における隣接画素の濃度値をｆｉとし、開始画素の濃度値をｆ０とするとき、｜ｆｎ−ｆ０｜＜Ｎａかつ｜ｆｎ−ｆｉ｜＜Ｎｂであるか否かを、関心領域候補抽出部１０４が判定することである。すなわち、関心領域候補抽出部１０４は、ステップＳ２０７において、現在処理対象となっている画素の濃度値が開始画素や、外側に隣接する画素の濃度と大きく異なっていないか否かを判定している。
【００３２】
ステップＳ２０７の結果、領域拡張が完了していない場合（Ｓ２０７→Ｎｏ）、すなわち、｜ｆｎ−ｆ０｜≧Ｎａまたは｜ｆｎ−ｆｉ｜≧Ｎｂである場合、関心領域候補抽出部１０４は、ステップＳ２０２へ処理を戻す。
ステップＳ２０７の結果、領域拡張が完了している場合（Ｓ２０７→Ｙｅｓ）、すなわち、｜ｆｎ−ｆ０｜＜Ｎａかつ｜ｆｎ−ｆｉ｜＜Ｎｂである場合、関心領域候補抽出部１０４は、現在の関心領域候補の領域サイズが予め設定してある関心領域最小サイズより大きいか否かを判定する（Ｓ２０８）。この処理は、関心領域候補の大きさがあまりにも小さい場合には、ノイズとして除外することを目的とするものである。
【００３３】
ステップＳ２０８の結果、領域サイズが関心領域最小サイズより大きくない場合（Ｓ２０８→Ｎｏ）、つまり、領域サイズが関心領域最小サイズ以下の場合、関心領域候補抽出部１０４は、ステップＳ２１０へ処理を進める。
ステップＳ２０８の結果、領域サイズが関心領域最小サイズより大きい場合（Ｓ２０８→Ｙｅｓ）、関心領域候補抽出部１０４は、抽出した領域を関心領域候補として観測データベース１３０に登録する（Ｓ２０９）。
そして、関心領域候補抽出部１０４は、断面像上の中心付近に未領域候補の画素があるか否かを判定する（Ｓ２１０）。未領域候補とは、関心領域候補として検出されていない領域のことである。これは、図８に示すように、例えば、中心画素（開始画素８０１）から関心領域候補８０２が右に偏った領域で抽出されてしまった場合、画素８０３の周辺が新たな関心領域として抽出できる可能性があるため行われる処理である。
【００３４】
ステップＳ２１０の結果、断面像上の中心付近に未領域候補の画素がある場合（Ｓ２１０→Ｙｅｓ）、関心領域候補抽出部１０４は、この画素を開始画素に設定して（Ｓ２１１）、ステップＳ２０２へ処理を戻す。
ステップＳ２１０の結果、断面像上の中心付近に未領域候補の画素がない場合（Ｓ２１０→Ｎｏ）、検索処理部１０６が図９で後記する付属情報検索処理を実行し（Ｓ２１２）、図６の処理へリターンする。
【００３５】
図９は、本実施形態に係る付属情報検索処理（図７のステップＳ２１２）の詳細な手順を示すフローチャートである。
まず、検索処理部１０６が観測データ１３１と、各対照データ１４１との位置合せを行う（Ｓ３０１）。これは、観測データ１３１と、対照データ１４１とで、臓器がおよそ同じ位置となるよう調整することであり、検索処理部１０６は、例えば、観測データ１３１や、対照データ１４１とは別に予め設定されているモデルを基に位置合せを行う。
次に、検索処理部１０６は、入力部１２０を介して対照データ検索条件を取得する（Ｓ３０２）。対照データ検索条件は、例えば、性別、病歴、年齢（あるいは年齢層）などである。
そして、検索処理部１０６は、ステップＳ３０２で取得した対照データ検索条件を基に、対照データ１４１を絞り込む（Ｓ３０３）。ここでは、複数の対照データ１４１に設定されている属性情報を基に、例えば、病歴、年齢、性別などの対照データ検索条件に合致するものを絞り込む。
【００３６】
そして、検索処理部１０６は、対照データ検索条件（条件）を満たす対照データ１４１があるか否かを判定する（Ｓ３０４）。
ステップＳ３０４の結果、対照データ検索条件を満たす対照データ１４１がない場合（Ｓ３０４→Ｎｏ）、検索処理部１０６は図７の処理へリターンする。
ステップＳ３０４の結果、対照データ検索条件を満たす対照データ１４１がある場合（Ｓ３０４→Ｙｅｓ）、検索処理部１０６は、図７の処理で抽出した関心領域の座標領域を取得し（Ｓ３０５）、対照データ１４１において、取得した座標領域と、少なくとも一部が重複する標本があるか否かを判定する（Ｓ３０６）。ステップＳ３０６の処理は、例えば、後記する特徴量の類似度が近い値を有していても、重複していない患部は別の種類の患部とみなすために行われる。
【００３７】
ステップＳ３０６の結果、重複する標本がない場合（Ｓ３０６→Ｎｏ）、検索処理部１０６は他に対照データ検索条件を満たす対照データ１４１があるか否かを判定する（Ｓ３０７）。
ステップＳ３０７の結果、他に対照データ検索条件を満たす対照データ１４１がある場合（Ｓ３０７→Ｙｅｓ）、検索処理部１０６はステップＳ３０５に戻り、この対照データ１４１についてステップＳ３０５，Ｓ３０６の処理を行う。
ステップＳ３０７の結果、他に対照データ検索条件を満たす対照データ１４１がない場合（Ｓ３０７→Ｎｏ）、検索処理部１０６は図７の処理へリターンする。
【００３８】
ステップＳ３０６の結果、重複する標本がある場合（Ｓ３０６→Ｙｅｓ）、検索処理部１０６は関心領域と、標本との間の特徴量の類似度を算出する（Ｓ３０８）。特徴量は、例えば、関心領域（標本）の形状、大きさ、濃淡パターン特性、位置、方向、数などを用いてもよいし、さらに断面像全体の濃淡パターン特性、臓器の形状や大きさなどを示す指標値、検出された関心領域（標本）の悪性度合などを判断するために用いられる指標値（例えば、腫瘤陰影の場合には、円形度、輪郭のエッジ情報、領域の濃度ヒストグラム情報）などが考えられる。
【００３９】
そして、検索処理部１０６は、ステップＳ３０８で算出した類似度が予め設定してある閾値以上であるか否かを判定する（Ｓ３０９）。
ステップＳ３０９の結果、類似度が閾値以上でない場合（Ｓ３０９→Ｎｏ）、すなわち類似度が閾値未満である場合、検索処理部１０６はステップＳ３０７へ処理を進める。
ステップＳ３０９の結果、類似度が閾値以上である場合（Ｓ３０９→Ｙｅｓ）、付属情報表示処理部１０７は、該当する標本にひも付けられている診断データなどの付属情報１４３を取得し（Ｓ３１０）、付属情報１４３を表示部１１０に表示して（Ｓ３１１）、図７の処理へリターンする。
【００４０】
ステップＳ３０９で、類似度が閾値以上の標本が複数存在する場合、検索処理部１０６は、最も類似度の高い標本を選択してもよいし、類似性の高いものから順に、標本を列挙・表示してもよい。また、年齢層や性別、あるいは当該被検者の時系列情報に限って付属情報１４３を検索するのであれば、これらの情報に従って標本を、さらに絞り込んでもよい。
【００４１】
表示された付属情報１４３がオペレータの意図に合致しない場合、該当する標本にひも付けられている他の付属情報１４３があれば、その付属情報１４３を表示してもよいし、入力部１２０を介して対照データ検索条件を調整してもよいし、その組み合せを行ってもよい。
【００４２】
なお、特許文献２で記載されるような一般化ハフ変換に基づく手法を用いれば、関心領域の候補が対照データ１４１における標本とは完全には一致しなくても、並進、拡大・縮小、回転などの処理を行って位置あわせができ、局所的な形状の違いがあっても、関心領域候補と、標本との同定を行うことができる。このため、経時的かつ局所的に形状を変化させてゆく観測データ１３１であれば、時系列順で各観測データ１３１からの関心領域候補を抽出した後、抽出した関心領域候補を、標本として対照データベース１４０に順次登録することで、関心領域候補の経時的な変化に追随しながら、付属情報１４３を表示するよう構成することができる。このような登録はオペレータの手動登録で行ってもよいし、検索処理部１０６によって行ってもよい。
【００４３】
本実施形態では、単純に断面像を生成する断面の位置指定のためのスクロール操作による断面位置の指定パターンの変化（具体的にはスクロールの停止）を、関心領域候補抽出開始のトリガとしたが、これに限らない。例えば、観測データ１３１を回転させた画像を表示可能である場合には、アキシャル軸（体軸）に沿っての断面の移動から、断面の法線方向を回転させ、異なる方向からの観測を始めたことをトリガとしてもよい。断面の指定方法は、スクロールやマウスドラッグ操作によるモニタ上の仮想断面の仮想空間上での操作ばかりでなく、例えばカメラか磁気センサなどによって位置を特定できるようにした板面（携帯端末などでもよい）を断面に見立てた上で、その板面の実空間上の操作によってもよい。また断面は平面とは限らず、空間上の位置を指定できる形状であれば曲面でもよい。
【００４４】
関心領域候補の表示方法は、断面と無関係に表示するよりは、図５の形式のように断面像に重ねて提示するようにしたほうが、関心領域候補の位置関係を把握しやすい場合が多いので好適である。その場合、例えば、関心領域候補の箇所に適当な色をつけて半透明にし、断面像が透けて見えるように重ねて表示するなどしてもよい。
【００４５】
さらに、対照データ１４１そのものを付属情報１４３として扱ってもよい。つまり、付属情報１４３として対照データ１４１の画像を表示するなどしてもよい。また、本実施形態では医療診断に例をとって説明したが、本実施形態は医療分野に限らず、観測データ１３１の断面を指定して付属情報１４３を取得するような分野で広く変形実施が可能である。
【００４６】
（まとめ）
図１０は、本実施形態の概要を示す図である。
図１０に示すように、関心領域候補１００２に相当する患部と、標本１００１に相当する患部の位置がずれた状態であり、断面１００３が関心領域候補１００２にかかっているが、標本１００１にかかっていない状態でも、特徴量の類似度を基に関心領域１００２と、標本１００１が同種の患部であるか否かを判定し、同種であれば、標本１００１にひも付けられている付属情報１４３を取得・表示することができる。
【００４７】
このように、本実施形態によれば、オペレータが行う断面位置の指定操作から、関心領域の候補を生成し、付属情報１４３を簡便に提示することができ、オペレータの負担を低減することができる。
【符号の説明】
【００４８】
１ 画像解析装置
２ 撮像装置
３ 画像解析システム
１００ 処理部
１０１ 断面位置処理部
１０２ 断面像生成部
１０３ 断面像表示処理部
１０４ 関心領域候補抽出部
１０５ 関心領域公報表示処理部
１０６ 検索処理部
１０７ 付属情報表示処理部
１１０ 表示部
１２０ 入力部
１３０ 観測データベース（記憶部）
１３１ 観測データ（撮像画像）
１３２ 関心領域候補データ（関心領域データ）
１４０ 対照データベース（記憶部）
１４１ 対照データ（対照画像）
１４２ 標本データ（標本データ）
１４３ 付属情報
【技術分野】
【０００１】
本発明は、画像解析方法、プログラムおよび画像解析装置の技術に関する。
【背景技術】
【０００２】
３次元空間上の観測データを解析するにあたり、観測データが占める位置に対応した付属情報（診断データや、レポートなど）を用いることで、解析の参考情報になることがある。
例えば、ＣＴ（Computerized Tomography）スキャンなどを使用した医療画像診断では、類似の画像に対する診断を参考にすることが行われている。例えば、特許文献１には、観測対象の画像上に関心領域を指定して、あらかじめ画像データベースに登録されている観測対象画像と類似した画像を検索し、当該関心領域に対応する診断データを参考情報として提示する類似画像検索装置および方法並びにプログラムが記載されている。特許文献１に記載の技術では、異なる患者や、同じ患者でも異なる日時に撮像した画像で、同じ種類と疑われる患部があった場合、オペレータが目視で同じ種類の患部であることを確認し、チェックを行うことで、その患部に関する付属情報を取得・表示している。
また、特許文献２には、関心領域の抽出方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２７５２１６号公報
【特許文献２】特開２００３−２６５４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、他のデータ中において、患部が完全に同じ位置に出現することは稀である。このような場合、特許文献１に記載の技術のように、オペレータが目視で同じ種類の患部であるか否かを確認する必要がある。
しかし、同じ種類の患部であるか否かを、オペレータが目視で確認する作業は、煩雑であり、オペレータの負担となってしまう。
【０００５】
このような背景に鑑みて本発明がなされたのであり、本発明は、他の画像において、オペレータが注目している領域と、同じ種類の可能性が高い領域を特定し、その領域の付属情報を取得・表示することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明は、撮像装置から取得した撮像画像を解析する画像解析装置による画像解析方法であって、記憶部に、前記撮像画像と、前記撮像画像に対応する対照画像と、が格納されており、前記対照画像は、当該対照画像から予め抽出されている空間領域である標本データを含み、前記標本データには、前記標本データに関する情報である付属情報がひも付けられており、前記画像解析装置は、前記撮像画像から、オペレータが注目している空間領域である関心領域データを抽出し、前記関心領域データと、前記標本データとの特徴量の類似度を算出し、当該類似度が、閾値以上である場合、前記標本データにひも付けられている付属情報を前記記憶部から取得し、前記付属情報を表示部に表示することを特徴とする。
【発明の効果】
【０００７】
本発明の方法によれば、他の画像において、オペレータが注目している領域と、同じ種類の可能性が高い領域を特定し、その領域の付属情報を取得・表示することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る画像解析システムの構成例を示す図である。
【図２】断面像画面の例を示す図である。
【図３】ボリュームで表現される観測データの例を示す図である。
【図４】観測データおよび対照データにおいて、領域分けされた造形物データの例を示す図である。
【図５】付属情報が表示された断面像画面の例である。
【図６】本実施形態に係る断面像取得処理の手順を示すフローチャートである。
【図７】本実施形態に係る関心領域候補抽出処理の詳細な手順を示すフローチャートである。
【図８】未領域候補の抽出のための開始画素の例を示す図である。
【図９】本実施形態に係る付属情報検索処理の詳細な手順を示すフローチャートである。
【図１０】本実施形態の概要を示す図である。
【発明を実施するための形態】
【０００９】
次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。
【００１０】
（システム構成）
図１は、本実施形態に係る画像解析システムの構成例を示す図である。
画像解析システム３は、ＣＴスキャンや、ＭＲＩ（Magnetic Resonance Imaging）などの撮像装置２と、撮像装置２から送られた画像を解析するための画像解析装置１とを有している。
画像解析装置１は、情報を処理する処理部１００と、情報を表示する表示部１１０と、情報を入力する入力部１２０と、撮像装置２で撮像された観測データ１３１などが格納されている観測データベース（記憶部）１３０と、以前に撮像され、観測データ１３１との比較にために用いられる対照データ１４１などが格納された対照データベース（記憶部）１４０とを有する。
【００１１】
観測データベース１３０には、観測データ１３１と、関心領域候補データ１３２とが格納されている。観測データ１３１とは、撮像装置２から送られた撮像画像のデータであり、解析対象となるデータである。この観測データ１３１には、関心領域候補抽出部１０４によって抽出された関心領域画像のデータである関心領域候補のデータ（関心領域候補データ１３２：関心領域データ）がひも付けられて格納している。
ここで、関心領域とは、観測データ１３１において、オペレータが注目している空間領域であり、例えば患部などである。
【００１２】
対照データベース１４０には、１以上の対照データ１４１が格納されている。対照データ１４１とは、過去に撮像装置２で撮像されるなどして、画像解析装置１で解析された対照画像のデータである。対照データ１４１には、関心領域候補に対応する領域（以下、標本と称する）のデータ（標本データ１４２）や、標本を解析した結果、記述された診断レポートなどの付属情報１４３が、ひも付けられて格納されている。
ここで、標本とは、例えば、他の患者のデータや、同じ患者における以前に検査した観測データ１３１において、図７の処理を行い、関心領域として抽出された箇所などである。
【００１３】
処理部１００は、断面位置処理部１０１と、断面像生成部１０２と、断面像表示処理部１０３と、関心領域候補抽出部１０４と、関心領域候補表示処理部１０５と、検索処理部１０６と、付属情報表示処理部１０７と、を有する。
断面位置処理部１０１は、入力部１２０を介して入力された情報を基に、観測データ１３１中の位置データを取得すると同時に、スクロールなどの操作が停止しているか、継続しているかなどを検知する。つまり、断面位置処理部１０１は、断面位置の指定情報を経時的に収集し、操作パターンが、それまでの断面位置指定の操作パターンとは異なることを検知する。操作パターンが異なることの検知方法は種々の手段が可能である。例えば、指定位置が一定時間内に一定方向に変化する操作パターンであったものが、一定時間を過ぎても位置指定変更が行われなかったり、位置指定の変化の方向がそれまでと異なっていたりすることを検知する方法などが考えられるが、これらの手段に限られることはない。
【００１４】
断面位置処理部１０１が検知した操作パターンの変化をトリガとして、関心領域候補抽出部１０４は関心領域候補の抽出処理を開始する。
【００１５】
断面像生成部１０２は、断面位置処理部１０１からの情報を基に、観測データ１３１の断面像を生成する。
断面像表示処理部１０３は、断面像生成部１０２で生成された断面像を表示部１１０に表示する。
【００１６】
関心領域候補抽出部１０４は、後記する領域拡張法などの方法により観測データ１３１中の関心領域を抽出する。
【００１７】
関心領域候補表示処理部１０５は、関心領域候補抽出部１０４で抽出された関心領域の候補を表示部１１０に表示する機能を有する。
【００１８】
検索処理部１０６は、対照データ１４１において、抽出された関心領域と関連する領域（標本）を検索し、この標本にひも付けられている付属情報１４３を取得する。
付属情報表示処理部１０７は、検索処理部１０６が取得した付属情報１４３を表示部１１０に表示する。
詳述すると、検索処理部１０６は、例えば特許文献１で記載されているような関心領域候補の特徴量と、対照データ１４１の標本の特徴量との類似度を計算し、この類似度が高い標本を検索し、付属情報表示処理部１０７が、この標本にひも付けられている付属情報１４３を表示部１１０に表示させる。
【００１９】
画像解析装置１は、例えばＰＣ（Personal Computer）などで実現され、処理部１００と、処理部１００における各部１０１〜１０７は、図示しないＲＯＭ（Read Only Memory）や、ＨＤＤ（Hard Disk Drive）に格納されたプログラムが、ＲＡＭ（Random Access Memory）に展開され、ＣＰＵ（Central Processing Unit）によって実行されることによって具現化する。
【００２０】
（処理概要）
次に、図２〜図５を参照して、本実施形態の処理概要を画面例を用いて説明する。
図２〜図５は、画面構成の一例と、観測データ１３１における断面との関係を示す図であり、このうち図２は、断面像画面の例を示す図であり、図３は、ボリュームで表現される観測データの例を示す図である。
オペレータ（例えば読影医）は、入力部１２０を操作することにより、ボリュームデータとして撮像装置２から取得した観測データ１３１を体軸方向に沿って走査する。例えば、スクロール操作が体軸方向に沿った断面位置を指定する手段だとすると、オペレータのスクロール操作により断面像生成部１０２が指定された断面位置でのアキシャル像（体軸に対する垂直断面像：以下、断面像（またはスライス像）と称する）を生成し、断面像表示処理部１０３が指定の断面位置での断面像を表示部１１０に表示する。
【００２１】
この点を図２と図３を参照して説明する。図２の断面像画面２００は、断面像表示エリア２０１と、スクロールバー２０２とを有している。この図２では断面像表示エリア２０１には、１枚分のスライス画像が表示されている。
また、観測データ１３１は、撮像装置２から入力された撮像画像を累積することによって（換言すると１スライス分の撮像画像を累積することによって）生成されるデータであり、図３に示すように３次元情報を有したデータである。ちなみに、図３は、等方的なボクセル（voxel）の画像データであると考えることができる。これは、例えば１スライス５１２×５１２ピクセル（pixel）の撮像画像から等方的に再構成したデータである。
オペレータが、図２のスクロールバー操作方向を示す矢印２０３で示す方向に、スクロールバー２０２を操作することは、図３の観測データ１３１における断面３０２が矢印３０１方向へ移動することを意味する。つまり、図２のスクロールバー２０２を矢印２０３方向に移動させることは、図３におけるＺ軸方向の奥に位置するスライス像から手前に位置するスライス像へと（矢印３０１方向へと）、１枚ずつスライス像を切り替えて図２の断面像表示エリア２０１に表示させることである。なお、符号３０３については後記する。
【００２２】
オペレータは断面像（スライス像）を観察しながら順次スクロール操作を行う。何ら異常が見当たらない場合、一通りスクロール操作が終了すると「異常所見なし」などのレポートを作成して診断を終了するのであるが、スクロールの途中に病変が疑われる部分を見つけた場合、オペレータは、スクロール操作をいったん止め、病変が疑われる箇所をよく観察する。この際、オペレータは、スクロールを止めた箇所で指定される断面像ばかりでなく、その前後の断面像も丁寧に観察することが一般的である。
【００２３】
図４は、観測データおよび対照データにおいて、領域分けされた造形物データの例を示す図である。なお、造形物は、例えば骨格や臓器である。
造形物データ４０１は、造形物毎に、その造形物が空間に占める範囲（座標範囲）が記述されている。図４における断面４０２は、図３の断面３０２に対応している。このようにすることで、図３の断面３０２が、どの造形物と交わるかの判定が可能となり、関心領域の候補を迅速に挙げることができる。
【００２４】
図５は、付属情報が表示された断面像画面の例である。
図５の断面像画面５０１は、図２と同様の構成に加えて、関心領域候補抽出部１０４で抽出された関心領域候補５０２が強調表示され、さらにこの関心領域候補に関する付属情報１４３が表示されている。関心領域候補や付属情報１４３は１つとは限らず、複数提示してもよい。
【００２５】
（フローチャート）
次に、図１を参照しつつ、図６〜図９に沿って本実施形態に係る画像解析方法を説明する。
（断面像取得処理）
図６は、本実施形態に係る断面像取得処理の手順を示すフローチャートである。
まず、断面位置処理部１０１が、断面位置取得回数ｉを「０」に設定する（Ｓ１０１）。
次に、オペレータが図２のスクロールバー２０２をスライドさせることにより、断面像の位置が移動し、断面位置処理部１０１は、現在の断面のＺ座標（図３の断面３０２のＺ座標）をＺ（ｉ）に設定し、取得時刻をＴｉに設定する（Ｓ１０２）。ここで、Ｚｉ（ｉ＝０）は、図３の一番端３０３（Ｚ軸の一番奥のスライス像（断面像））に相当する。
次に、断面像生成部１０２が、Ｚｉに相当する断面像を生成し（Ｓ１０３）、断面像表示処理部１０３が、生成した断面像を表示部１１０に表示する（Ｓ１０４）。
そして、断面位置処理部１０１は、ｉ＞２であるか否かを判定する（Ｓ１０５）。ここで、「２」としたのは、一番端の断面像Ｚｉ（ｉ＝０）を次のステップＳ１０６以降の処理対象から外すためであり、「ｉ＞１」としてもよい。
【００２６】
ステップＳ１０５の結果、ｉ＞２でない場合（Ｓ１０５→Ｎｏ）、すなわちｉ≦１であった場合、断面位置処理部１０１はｉに１を加算して（Ｓ１０６）、ステップＳ１０２へ処理を戻す。
ステップＳ１０５の結果、ｉ＞２であった場合（Ｓ１０５→Ｙｅｓ）、断面位置処理部１０１は、Ｔｉ−Ｔｉ―１＞ＴａかつＺｉ−Ｚｉ−１＝０であるか否かを判定する（Ｓ１０７）。
ここで、Ｔａは、所定の値である。つまり、ステップＳ１０７において、断面位置処理部１０１は、無操作の時間が所定の時間以上であり、かつ、その間断面像の位置が動いていないか否かを判定している。
【００２７】
ステップＳ１０７の結果、Ｔｉ−Ｔｉ―１＞ＴａかつＺｉ−Ｚｉ−１＝０でない場合（Ｓ１０７→Ｎｏ）、すなわち、Ｔｉ−Ｔｉ―１≦ＴａまたはＺｉ−Ｚｉ−１≠０である場合、断面位置処理部１０１は、ｉに１を加算して（Ｓ１０６）、ステップＳ１０２へ処理を戻す。
ステップＳ１０７の結果、Ｔｉ−Ｔｉ―１＞ＴａかつＺｉ−Ｚｉ−１＝０である場合（Ｓ１０７→Ｙｅｓ）、関心領域候補抽出部１０４が、図７で後記する関心領域候補抽出処理を行う（Ｓ１０８）。
関心領域候補抽出処理終了後、断面位置処理部１０１は、操作終了であるか否かを判定する（Ｓ１０９）。操作終了であるか否かは、例えば、表示画面状の図示しない終了ボタンが選択入力されたか否かなどによって判定される。
ステップＳ１０９の結果、操作終了でない場合（Ｓ１０９→Ｎｏ）、断面位置処理部１０１は、ｉに１を加算して（Ｓ１０６）、ステップＳ１０２へ処理を戻す。
ステップＳ１０９の結果、操作終了の場合（Ｓ１０９→Ｙｅｓ）、処理部１００は、処理を終了する。
【００２８】
図７は、本実施形態に係る関心領域候補抽出処理（図６のステップＳ１０８）の詳細な手順を示すフローチャートである。
関心領域の候補の生成方法としては、濃度しきい値法、領域拡張法などを用いることができる。例えば特許文献２に記載されているような領域拡張法をベースとした方法であれば、開始画素を設定する必要があるが、開始画素としてはオペレータが関心を示している可能性の高い箇所、例えば断面像表示処理部１０３で提示される表示画像の中央付近で一定の大きさ以上の領域を、その候補とすることができる。この場合、後記するように関心領域の候補とした領域が、領域拡張の進行とともに広がるが、その状況を関心領域候補表示処理部１０５を介して表示部１１０に表示することによりオペレータに提示し、開始画素の指定や領域の拡張方向などがオペレータの意図と異なる場合には、入力部１２０を介して変更を行うことができるように構成することが好ましい。
【００２９】
ここでは、特許文献２に記載の領域拡張法を用いることとする。
なお、領域拡張法とは、断面像の中心画素を基準にとり、徐々に画素範囲を、隣合う画素の濃度が大きく変化するまで拡張していき、濃度が大きく変化しない範囲の画素を関心領域候補として抽出する方法である。
【００３０】
関心領域候補抽出部１０４は、まず、断面像の中心画素を開始画素として設定する（Ｓ２０１）。
次に、関心領域候補抽出部１０４は、領域拡張抽出条件を図示しない記憶部から取得する（Ｓ２０２）。領域拡張抽出条件とは、後記する画素間の濃度差の閾値Ｎａ、Ｎｂなどである。
そして、関心領域候補抽出部１０４は、現在処理対象となっている画素群より１つ外側に位置する画素群を取得する領域拡張処理を行う（Ｓ２０３）。
続いて、関心領域候補表示処理部１０５は、ステップＳ２０３で取得した画素群と、既に関心領域候補（開始画素を含む）と判定されている画素群とを関心領域候補として表示部１１０に表示する（Ｓ２０４）。
続いて、関心領域候補抽出部１０４は、領域拡張抽出条件（濃度差の閾値Ｎａ、Ｎｂ）が、変更されたか否かを判定する（Ｓ２０５）。この処理は、例えば、ステップＳ２０２〜Ｓ２０７の繰り返しで、関心領域候補が徐々に拡大していく様子をオペレータが目視で確認し、拡大の大きさや、方向がオペレータが意図しているものと異なるとき、オペレータが画面上に表示されている図示しない「条件変更」ボタンを選択入力することによって、関心領域候補抽出部１０４が領域拡張抽出条件の変更を検知する。これは、ステップＳ２０４で表示された関心領域候補から、領域拡張抽出条件が適切であるか否かをオペレータが判断して領域拡張処理に介入するためである。なお、この処理は、関心領域候補の領域が異常でないか否かを判定するためのものであり、特許文献１に記載の技術における目視とは異なるものである。
【００３１】
ステップＳ２０５の結果、関心領域抽出条件を変更する場合（Ｓ２０５→Ｙｅｓ）、関心領域候補抽出部１０４は、関心領域抽出条件を、入力部１２０を介して入力された新たな関心領域抽出条件に変更して（Ｓ２０６）、ステップＳ２０１へ処理を戻す。
ステップＳ２０５の結果、関心領域抽出条件を変更しない場合（Ｓ２０５→Ｎｏ）、関心領域候補抽出部１０４は、領域拡張が完了したか否かを判定する（Ｓ２０７）。領域拡張が完了したか否かの判定は、以下のように行うこととする。現在処理対象となっている画素の濃度値をｆｎとし、現在処理対象となっている画素の外側における隣接画素の濃度値をｆｉとし、開始画素の濃度値をｆ０とするとき、｜ｆｎ−ｆ０｜＜Ｎａかつ｜ｆｎ−ｆｉ｜＜Ｎｂであるか否かを、関心領域候補抽出部１０４が判定することである。すなわち、関心領域候補抽出部１０４は、ステップＳ２０７において、現在処理対象となっている画素の濃度値が開始画素や、外側に隣接する画素の濃度と大きく異なっていないか否かを判定している。
【００３２】
ステップＳ２０７の結果、領域拡張が完了していない場合（Ｓ２０７→Ｎｏ）、すなわち、｜ｆｎ−ｆ０｜≧Ｎａまたは｜ｆｎ−ｆｉ｜≧Ｎｂである場合、関心領域候補抽出部１０４は、ステップＳ２０２へ処理を戻す。
ステップＳ２０７の結果、領域拡張が完了している場合（Ｓ２０７→Ｙｅｓ）、すなわち、｜ｆｎ−ｆ０｜＜Ｎａかつ｜ｆｎ−ｆｉ｜＜Ｎｂである場合、関心領域候補抽出部１０４は、現在の関心領域候補の領域サイズが予め設定してある関心領域最小サイズより大きいか否かを判定する（Ｓ２０８）。この処理は、関心領域候補の大きさがあまりにも小さい場合には、ノイズとして除外することを目的とするものである。
【００３３】
ステップＳ２０８の結果、領域サイズが関心領域最小サイズより大きくない場合（Ｓ２０８→Ｎｏ）、つまり、領域サイズが関心領域最小サイズ以下の場合、関心領域候補抽出部１０４は、ステップＳ２１０へ処理を進める。
ステップＳ２０８の結果、領域サイズが関心領域最小サイズより大きい場合（Ｓ２０８→Ｙｅｓ）、関心領域候補抽出部１０４は、抽出した領域を関心領域候補として観測データベース１３０に登録する（Ｓ２０９）。
そして、関心領域候補抽出部１０４は、断面像上の中心付近に未領域候補の画素があるか否かを判定する（Ｓ２１０）。未領域候補とは、関心領域候補として検出されていない領域のことである。これは、図８に示すように、例えば、中心画素（開始画素８０１）から関心領域候補８０２が右に偏った領域で抽出されてしまった場合、画素８０３の周辺が新たな関心領域として抽出できる可能性があるため行われる処理である。
【００３４】
ステップＳ２１０の結果、断面像上の中心付近に未領域候補の画素がある場合（Ｓ２１０→Ｙｅｓ）、関心領域候補抽出部１０４は、この画素を開始画素に設定して（Ｓ２１１）、ステップＳ２０２へ処理を戻す。
ステップＳ２１０の結果、断面像上の中心付近に未領域候補の画素がない場合（Ｓ２１０→Ｎｏ）、検索処理部１０６が図９で後記する付属情報検索処理を実行し（Ｓ２１２）、図６の処理へリターンする。
【００３５】
図９は、本実施形態に係る付属情報検索処理（図７のステップＳ２１２）の詳細な手順を示すフローチャートである。
まず、検索処理部１０６が観測データ１３１と、各対照データ１４１との位置合せを行う（Ｓ３０１）。これは、観測データ１３１と、対照データ１４１とで、臓器がおよそ同じ位置となるよう調整することであり、検索処理部１０６は、例えば、観測データ１３１や、対照データ１４１とは別に予め設定されているモデルを基に位置合せを行う。
次に、検索処理部１０６は、入力部１２０を介して対照データ検索条件を取得する（Ｓ３０２）。対照データ検索条件は、例えば、性別、病歴、年齢（あるいは年齢層）などである。
そして、検索処理部１０６は、ステップＳ３０２で取得した対照データ検索条件を基に、対照データ１４１を絞り込む（Ｓ３０３）。ここでは、複数の対照データ１４１に設定されている属性情報を基に、例えば、病歴、年齢、性別などの対照データ検索条件に合致するものを絞り込む。
【００３６】
そして、検索処理部１０６は、対照データ検索条件（条件）を満たす対照データ１４１があるか否かを判定する（Ｓ３０４）。
ステップＳ３０４の結果、対照データ検索条件を満たす対照データ１４１がない場合（Ｓ３０４→Ｎｏ）、検索処理部１０６は図７の処理へリターンする。
ステップＳ３０４の結果、対照データ検索条件を満たす対照データ１４１がある場合（Ｓ３０４→Ｙｅｓ）、検索処理部１０６は、図７の処理で抽出した関心領域の座標領域を取得し（Ｓ３０５）、対照データ１４１において、取得した座標領域と、少なくとも一部が重複する標本があるか否かを判定する（Ｓ３０６）。ステップＳ３０６の処理は、例えば、後記する特徴量の類似度が近い値を有していても、重複していない患部は別の種類の患部とみなすために行われる。
【００３７】
ステップＳ３０６の結果、重複する標本がない場合（Ｓ３０６→Ｎｏ）、検索処理部１０６は他に対照データ検索条件を満たす対照データ１４１があるか否かを判定する（Ｓ３０７）。
ステップＳ３０７の結果、他に対照データ検索条件を満たす対照データ１４１がある場合（Ｓ３０７→Ｙｅｓ）、検索処理部１０６はステップＳ３０５に戻り、この対照データ１４１についてステップＳ３０５，Ｓ３０６の処理を行う。
ステップＳ３０７の結果、他に対照データ検索条件を満たす対照データ１４１がない場合（Ｓ３０７→Ｎｏ）、検索処理部１０６は図７の処理へリターンする。
【００３８】
ステップＳ３０６の結果、重複する標本がある場合（Ｓ３０６→Ｙｅｓ）、検索処理部１０６は関心領域と、標本との間の特徴量の類似度を算出する（Ｓ３０８）。特徴量は、例えば、関心領域（標本）の形状、大きさ、濃淡パターン特性、位置、方向、数などを用いてもよいし、さらに断面像全体の濃淡パターン特性、臓器の形状や大きさなどを示す指標値、検出された関心領域（標本）の悪性度合などを判断するために用いられる指標値（例えば、腫瘤陰影の場合には、円形度、輪郭のエッジ情報、領域の濃度ヒストグラム情報）などが考えられる。
【００３９】
そして、検索処理部１０６は、ステップＳ３０８で算出した類似度が予め設定してある閾値以上であるか否かを判定する（Ｓ３０９）。
ステップＳ３０９の結果、類似度が閾値以上でない場合（Ｓ３０９→Ｎｏ）、すなわち類似度が閾値未満である場合、検索処理部１０６はステップＳ３０７へ処理を進める。
ステップＳ３０９の結果、類似度が閾値以上である場合（Ｓ３０９→Ｙｅｓ）、付属情報表示処理部１０７は、該当する標本にひも付けられている診断データなどの付属情報１４３を取得し（Ｓ３１０）、付属情報１４３を表示部１１０に表示して（Ｓ３１１）、図７の処理へリターンする。
【００４０】
ステップＳ３０９で、類似度が閾値以上の標本が複数存在する場合、検索処理部１０６は、最も類似度の高い標本を選択してもよいし、類似性の高いものから順に、標本を列挙・表示してもよい。また、年齢層や性別、あるいは当該被検者の時系列情報に限って付属情報１４３を検索するのであれば、これらの情報に従って標本を、さらに絞り込んでもよい。
【００４１】
表示された付属情報１４３がオペレータの意図に合致しない場合、該当する標本にひも付けられている他の付属情報１４３があれば、その付属情報１４３を表示してもよいし、入力部１２０を介して対照データ検索条件を調整してもよいし、その組み合せを行ってもよい。
【００４２】
なお、特許文献２で記載されるような一般化ハフ変換に基づく手法を用いれば、関心領域の候補が対照データ１４１における標本とは完全には一致しなくても、並進、拡大・縮小、回転などの処理を行って位置あわせができ、局所的な形状の違いがあっても、関心領域候補と、標本との同定を行うことができる。このため、経時的かつ局所的に形状を変化させてゆく観測データ１３１であれば、時系列順で各観測データ１３１からの関心領域候補を抽出した後、抽出した関心領域候補を、標本として対照データベース１４０に順次登録することで、関心領域候補の経時的な変化に追随しながら、付属情報１４３を表示するよう構成することができる。このような登録はオペレータの手動登録で行ってもよいし、検索処理部１０６によって行ってもよい。
【００４３】
本実施形態では、単純に断面像を生成する断面の位置指定のためのスクロール操作による断面位置の指定パターンの変化（具体的にはスクロールの停止）を、関心領域候補抽出開始のトリガとしたが、これに限らない。例えば、観測データ１３１を回転させた画像を表示可能である場合には、アキシャル軸（体軸）に沿っての断面の移動から、断面の法線方向を回転させ、異なる方向からの観測を始めたことをトリガとしてもよい。断面の指定方法は、スクロールやマウスドラッグ操作によるモニタ上の仮想断面の仮想空間上での操作ばかりでなく、例えばカメラか磁気センサなどによって位置を特定できるようにした板面（携帯端末などでもよい）を断面に見立てた上で、その板面の実空間上の操作によってもよい。また断面は平面とは限らず、空間上の位置を指定できる形状であれば曲面でもよい。
【００４４】
関心領域候補の表示方法は、断面と無関係に表示するよりは、図５の形式のように断面像に重ねて提示するようにしたほうが、関心領域候補の位置関係を把握しやすい場合が多いので好適である。その場合、例えば、関心領域候補の箇所に適当な色をつけて半透明にし、断面像が透けて見えるように重ねて表示するなどしてもよい。
【００４５】
さらに、対照データ１４１そのものを付属情報１４３として扱ってもよい。つまり、付属情報１４３として対照データ１４１の画像を表示するなどしてもよい。また、本実施形態では医療診断に例をとって説明したが、本実施形態は医療分野に限らず、観測データ１３１の断面を指定して付属情報１４３を取得するような分野で広く変形実施が可能である。
【００４６】
（まとめ）
図１０は、本実施形態の概要を示す図である。
図１０に示すように、関心領域候補１００２に相当する患部と、標本１００１に相当する患部の位置がずれた状態であり、断面１００３が関心領域候補１００２にかかっているが、標本１００１にかかっていない状態でも、特徴量の類似度を基に関心領域１００２と、標本１００１が同種の患部であるか否かを判定し、同種であれば、標本１００１にひも付けられている付属情報１４３を取得・表示することができる。
【００４７】
このように、本実施形態によれば、オペレータが行う断面位置の指定操作から、関心領域の候補を生成し、付属情報１４３を簡便に提示することができ、オペレータの負担を低減することができる。
【符号の説明】
【００４８】
１ 画像解析装置
２ 撮像装置
３ 画像解析システム
１００ 処理部
１０１ 断面位置処理部
１０２ 断面像生成部
１０３ 断面像表示処理部
１０４ 関心領域候補抽出部
１０５ 関心領域公報表示処理部
１０６ 検索処理部
１０７ 付属情報表示処理部
１１０ 表示部
１２０ 入力部
１３０ 観測データベース（記憶部）
１３１ 観測データ（撮像画像）
１３２ 関心領域候補データ（関心領域データ）
１４０ 対照データベース（記憶部）
１４１ 対照データ（対照画像）
１４２ 標本データ（標本データ）
１４３ 付属情報
【特許請求の範囲】
【請求項１】
撮像装置から取得した撮像画像を解析する画像解析装置による画像解析方法であって、
記憶部に、前記撮像画像と、前記撮像画像に対応する対照画像と、が格納されており、
前記対照画像は、当該対照画像から予め抽出されている空間領域である標本データを含み、前記標本データには、前記標本データに関する情報である付属情報がひも付けられており、
前記画像解析装置は、
前記撮像画像から、オペレータが注目している空間領域である関心領域データを抽出し、
前記関心領域データと、前記標本データとの特徴量の類似度を算出し、
当該類似度が、閾値以上である場合、前記標本データにひも付けられている付属情報を前記記憶部から取得し、
前記付属情報を表示部に表示する
ことを特徴とする画像解析方法。
【請求項２】
前記関心領域データの抽出は、処理対象となっている画面中央の画素を開始画素として、隣接する画素の濃度の変化量が、所定の値以下である領域を関心領域とする領域拡張法による
ことを特徴とする請求項１に記載の画像解析方法。
【請求項３】
前記画像解析装置は、
前記撮像画像を検索しているときに、一定時間操作が停止すると、前記関心領域データの抽出処理を行う
ことを特徴とする請求項１に記載の画像解析方法。
【請求項４】
前記画像解析装置は、
前記関心領域データと、前記標本データと、において、少なくとも一部が重複している箇所が存在するときに、前記類似度の算出を行う
ことを特徴とする請求項１に記載の画像解析方法。
【請求項５】
請求項１から請求項４のいずれか一項に記載の画像解析方法をコンピュータに実行させるためのプログラム。
【請求項６】
撮像装置から取得した撮像画像を解析する画像解析装置であって、
記憶部に、前記撮像画像と、前記撮像画像に対応する対照画像と、が格納されており、
前記対照画像は、当該対照画像から予め抽出されている空間領域である標本データを含み、前記標本データには、前記標本データに関する情報である付属情報がひも付けられており、
前記撮像画像から、オペレータが注目している空間領域である関心領域データを抽出する関心領域候補抽出部と、
前記関心領域データと、前記標本データとの特徴量の類似度を算出し、当該類似度が、閾値以上である場合、前記標本データにひも付けられている付属情報を前記記憶部から取得する検索処理部と、
前記付属情報を表示部に表示する付属情報表示処理部と、
を有することを特徴とする画像解析装置。
【請求項１】
撮像装置から取得した撮像画像を解析する画像解析装置による画像解析方法であって、
記憶部に、前記撮像画像と、前記撮像画像に対応する対照画像と、が格納されており、
前記対照画像は、当該対照画像から予め抽出されている空間領域である標本データを含み、前記標本データには、前記標本データに関する情報である付属情報がひも付けられており、
前記画像解析装置は、
前記撮像画像から、オペレータが注目している空間領域である関心領域データを抽出し、
前記関心領域データと、前記標本データとの特徴量の類似度を算出し、
当該類似度が、閾値以上である場合、前記標本データにひも付けられている付属情報を前記記憶部から取得し、
前記付属情報を表示部に表示する
ことを特徴とする画像解析方法。
【請求項２】
前記関心領域データの抽出は、処理対象となっている画面中央の画素を開始画素として、隣接する画素の濃度の変化量が、所定の値以下である領域を関心領域とする領域拡張法による
ことを特徴とする請求項１に記載の画像解析方法。
【請求項３】
前記画像解析装置は、
前記撮像画像を検索しているときに、一定時間操作が停止すると、前記関心領域データの抽出処理を行う
ことを特徴とする請求項１に記載の画像解析方法。
【請求項４】
前記画像解析装置は、
前記関心領域データと、前記標本データと、において、少なくとも一部が重複している箇所が存在するときに、前記類似度の算出を行う
ことを特徴とする請求項１に記載の画像解析方法。
【請求項５】
請求項１から請求項４のいずれか一項に記載の画像解析方法をコンピュータに実行させるためのプログラム。
【請求項６】
撮像装置から取得した撮像画像を解析する画像解析装置であって、
記憶部に、前記撮像画像と、前記撮像画像に対応する対照画像と、が格納されており、
前記対照画像は、当該対照画像から予め抽出されている空間領域である標本データを含み、前記標本データには、前記標本データに関する情報である付属情報がひも付けられており、
前記撮像画像から、オペレータが注目している空間領域である関心領域データを抽出する関心領域候補抽出部と、
前記関心領域データと、前記標本データとの特徴量の類似度を算出し、当該類似度が、閾値以上である場合、前記標本データにひも付けられている付属情報を前記記憶部から取得する検索処理部と、
前記付属情報を表示部に表示する付属情報表示処理部と、
を有することを特徴とする画像解析装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２９９６６（Ｐ２０１２−２９９６６Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１０−１７３３４５（Ｐ２０１０−１７３３４５）
【出願日】平成２２年８月２日（２０１０．８．２）
【出願人】（０００１５３４４３）株式会社日立情報制御ソリューションズ (359)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２２年８月２日（２０１０．８．２）
【出願人】（０００１５３４４３）株式会社日立情報制御ソリューションズ (359)
【Ｆターム（参考）】
[ Back to top ]