説明

画像処理装置

【課題】 被検体を複数の領域に客観的に分類することができ、分類した領域を評価することのできる画像処理装置を提供する。
【解決手段】 画像処理装置は、第1の演算部と、第1の管理部と、第1の評価部と、第2の演算部と、第2の管理部と、第2の評価部と、を備える。第1の演算部は画像データから特徴量0を算出する(S6)。第1の管理部は識別器0を作成し管理する。第1の評価部は、特徴量0を識別器0を用いて評価し、画像データを複数の領域画像データに分類し出力する(S7乃至S9)。第2の演算部は領域画像データから特徴量iを算出する。第2の管理部は識別器iを作成し管理する。第2の評価部は特徴量iを識別器iを用いて評価し出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【0002】
画像処理装置として、超音波診断装置等が知られている。超音波診断装置は、超音波パルス反射法により、被検体の表面から内部までの断層像を無侵襲に得る機器である。被検体が部品である場合、断層像から、部品を切断すること無しに、内部の情報(錆びの程度、欠陥等)を把握することができる。医療用においては、超音波診断装置を用いることにより、医師は、取得した画像から、肝臓等の臓器を対象とした疾病の重症度等、様々な診断情報を読み取ることができる。
上記のように、目視により上記の領域(錆、欠陥、病変等)を抽出する方法以外、次に挙げるような技術が提案されている。
【0003】
タイプ1:3次元情報を利用する技術である。3次元情報により、被検体内部の連続情報を抽出し、金属内部の疲労き裂や、肝臓内部の血管等を検出するものである。具体的には、予め撮られた3次元ボリュームデータから、エコー強度の差に基づいて領域を抽出ことにより、実質領域以外の領域等を抽出する方法である。
【0004】
タイプ2:2次元画像の連続情報を利用する技術である。連続情報等を評価することで、材料内部のき裂、肝臓内部の血管を検出するものである。具体的には、境界から反射するエコー信号は連続的に繋がる特徴を利用する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−220775号公報
【特許文献2】特開2004−215701号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、上記タイプ1の技術では、3次元的なボリュームデータをベースにする手法であるため、一般的な2次元画像では応用できない問題がある。
上記タイプ2の技術では、き裂や血管の太さ、エコーの連続情報から判定するため、細い領域などを検出できない問題がある。上記検出できない場合は毛細血管の影響で肝臓の実質領域が粗く見える特徴があるため、毛細血管等の非実質領域を抽出することが非常に重要である。工業用超音波検査では、同様に微小な欠陥等検出することが、困難であり、問題である。
このため、被検体を複数の領域に客観的に分類することができ、分類した領域を評価することのできる画像処理装置が求められている。
【0007】
この発明は以上の点に鑑みなされたもので、その目的は、被検体を複数の領域に客観的に分類することができ、分類した領域を評価することのできる画像処理装置を提供することにある。
【課題を解決するための手段】
【0008】
一実施形態に係る画像処理装置は、
複数の領域を含み被検体を撮像して得られる画像データが入力され、前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を算出する第1の演算部と、
前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を基に前記画像データを前記複数の領域画像データに分類するための指標を持つ識別器を作成し管理する第1の管理部と、
前記第1の演算部が算出した前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を、前記画像データを前記複数の領域画像データに分類するための指標を持つ識別器を用いて評価し、前記評価した結果に従って前記画像データを前記複数の領域画像データに分類し、前記分類した領域画像データを出力する第1の評価部と、
前記第1の評価部が分類した前記領域画像データから、前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を算出する第2の演算部と、
前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を基に前記領域画像データに対応する領域の状態を識別するための指標を持つ識別器を作成し管理する第2の管理部と、
前記第2の演算部が算出した前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を、前記領域画像データに対応する領域の状態を識別するための指標を持つ識別器を用いて評価し、前記評価した結果の情報を出力する第2の評価部とを備えることを特徴としている。
【図面の簡単な説明】
【0009】
【図1】図1は、一実施形態に係る超音波診断システムを示すブロック図である。
【図2】図2は、上記超音波診断システムを用いて被検体を評価する場合の流れを説明するフロー図である。
【図3】図3は、図2に続く、上記超音波診断システムを用いて被検体を評価する場合の流れを説明するフロー図である。
【図4】図4は、図1に示した表示部の画面を示す図であり、画像データの一部の中から注目領域を選定した状態を表示している概略図である。
【図5】図5は、上記表示部の画面を示す図であり、血管壁及び血液に重ねてブロックを表示している概略図である。
【図6】図6は、図4及び図5に示した特徴領域内の特徴分布のイメージを示すヒストグラムである。
【図7】図7は、図1に示した管理部が作成し管理する識別器0を示す概念図であり、高次特徴空間における3クラスの特徴量を表す図である。
【図8】図8は、上記管理部が作成し管理する識別器0を示す他の概念図であり、図7に示した3クラスの特徴量を1次元に投影して示す図である。
【図9】図9は、上記表示部の画面を示す図であり、部品の断層像を示す図である。
【図10】上記管理部が作成し管理する識別器iを示す概念図である。
【図11】上記管理部が作成し管理する識別器iを示す他の概念図である。
【図12】局所的二値パターンの例を示す概念図である。
【図13】局所的二値パターンの他の例を示す概念図である。
【図14】局所的二値パターンの他の例を示す概念図である。
【図15】局所的二値パターンの他の例を示す概念図である。
【図16】局所的二値パターンの他の例を示す概念図である。
【図17】肝臓の実質領域(内部組織)を評価した結果の情報を1次元で表示する場合の概念図である。
【図18】上記肝臓の実質領域を評価した結果の情報を2次元で表示する場合の概念図である。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら一実施形態に係る画像処理装置について詳細に説明する。本実施形態の画像処理装置は、超音波診断装置である。このため、本実施形態では、超音波診断装置(画像処理装置)を超音波診断システム(画像処理システム)に組み込んで使用する場合を例に説明する。
【0011】
図1に示すように、超音波診断システム1は、超音波診断装置2と、撮像部3と、設定部4と、表示部5とを備えている。超音波診断装置2は、演算部6と、管理部7と、評価部8とを備えている。
【0012】
撮像部3は、超音波を利用して被検体を撮像することにより画像データを得るものである。超音波診断装置2を使用する場合、被検体は、筋肉、骨などを含む生体の一部や、血管、腫瘍、臓器実質などを含む臓器や、欠陥、錆びなどを含む部品など、超音波を利用して撮像可能であり、超音波画像特徴が異なる部分が含まれるものであればよい。
【0013】
演算部6には、被検体を撮像して得られる画像データが入力される。画像データは、複数の領域を含んでいる。例えば、患者の肝臓を主体とした画像データは、肝臓の実質領域(肝細胞)と、血管、血液及び腫瘍等の肝臓の非実質領域と、腎臓等の肝臓以外の臓器と、など、複数の領域を含んでいる。部品の画像データは、正常領域と、欠陥領域の複数の領域を含んでいる。
【0014】
次に、画像データを複数の領域画像データに分類するための超音波診断システム1の構成(機能)について説明する。
演算部6は、入力される画像データから、画像データを複数の領域画像データに分類するための指標(パラメータ)となる特徴量(以下、特徴量0と称する)を算出するものである。管理部7は、演算部6が算出した特徴量0を基に、画像データを複数の領域画像データに分類するための指標を持つ識別器(以下、識別器0と称する)を作成し管理するものである。
【0015】
ここで、上述した画像データを複数の領域画像データに分類するための指標とは、画像データが持つ、領域を識別(テクスチャ識別(質感識別))することが可能な情報であればよい。例えば、患者の肝臓を主体とした画像データ用の指標としては、肝臓の形と、肝臓の内部に存在する血管や血液の輝度レベルや色味等と、を挙げることができる。その他、腎臓の形と、心臓の形と、筋肉の模様と、など、各種の指標であってもよい。部品の画像データ用の指標としては、腐蝕領域及び欠陥領域の輝度レベルや色味等を挙げることができる。
【0016】
評価部8は、演算部6に評価対象の画像データが入力された際、演算部6が評価対象の画像データから算出した特徴量0を管理部7の識別器0を用いて評価する。そして、評価部8は、評価した結果に従って画像データを複数の領域画像データに分類し、分類した領域画像データを出力するものである。
【0017】
設定部4は、超音波診断システム1の操作者による各種の設定を可能とするものである。設定部4を用いた設定の例を次にいくつか挙げる。
設定部4は、演算部6に、入力される画像データに対応した指標に関して算出させるように設定可能である。設定部4は、評価部8に、評価対象の画像データに対応した指標に関して評価させるように設定可能である。
【0018】
設定部4は、画像データの中から注目領域を選定し、演算部6に、画像データの注目領域に関して算出させるように設定可能である。設定部4は、評価部8に、評価対象の画像データの注目領域に関して評価させるように設定可能である。なお、注目領域は、隣合う複数の画素からなる少なくとも1つの画素群に対応している。
【0019】
設定部4は、評価部8に、分類された複数の領域画像データを全て又は一部だけ出力させるように設定可能である。
設定部4は、評価部8に、特徴量0を示す情報を出力させるように設定可能であり、表示部5は、特徴量0を示す情報を表示することができる。
【0020】
次に、分類した領域(領域画像データ)の状態を評価するための超音波診断システム1の構成(機能)について説明する。
演算部6は、評価部8から入力される領域画像データから、領域画像データに対応する領域の状態を識別するための指標となる特徴量(以下、特徴量iと称する)を算出するものである。管理部7は、特徴量iを基に領域画像データに対応する領域の状態を識別するための指標を持つ識別器(以下、識別器iと称する)を作成し管理するものである。
【0021】
評価部8は、演算部6に評価対象の領域画像データが入力された際、演算部6が評価対象の画像データから算出した特徴量iを、識別器iを用いて評価する。そして、評価部8は、評価した結果の情報を出力するものである。
【0022】
設定部4は、超音波診断システム1の操作者による各種の設定を可能とするものである。設定部4を用いた設定の例を次にいくつか挙げる。
設定部4は、演算部6に、入力される領域画像データに対応した指標に関して算出させるように設定可能である。設定部4は、評価部8に、評価対象の領域画像データに対応した指標に関して評価させるように設定可能である。
【0023】
設定部4は、領域画像データの中から注目領域を選定し、演算部6に、領域画像データの注目領域に関して算出させるように設定可能である。設定部4は、評価部8に、評価対象の領域画像データの注目領域に関して評価させるように設定可能である。なお、注目領域は、隣合う複数の画素からなる少なくとも1つの画素群に対応している。
【0024】
設定部4は、評価部8に、評価した結果の情報に限らず、評価対象の領域画像データ(領域画像データの注目領域)に関する各種の情報を出力させるようにも設定可能である。例えば、評価部8が複数種類の指標に関して評価し、評価した結果の情報が複数存在する場合、設定部4は、評価部8に、評価した結果の情報を、1種類又は複数種類、出力させるように設定可能であり、表示部5は、評価した結果の情報を、1種類又は複数種類、表示することができる。また、設定部4は、評価部8に、評価した結果の情報と併せて評価対象の領域画像データ(原データ)を出力させ、表示部5に表示させてもよい。
【0025】
設定部4は、評価部8に、特徴量iを示す情報を出力させるように設定可能であり、表示部5は、特徴量iを示す情報を表示することができる。
設定部4は、評価部8に、分類された複数の領域画像データに関する評価した結果の情報を、統合して出力させるように設定可能であり、表示部5は、統合された情報を表示することができる。
【0026】
なお、表示部5は、評価部8から評価した結果の情報が入力される。表示部5は、評価部8が評価した結果の情報を表示可能である。
上述したことから、操作者(超音波検査師、医師等)は、評価部8が評価(診断)した結果の情報を視認したりすることができる。その他、表示部5は、演算部6が被検体を撮像して得られる画像データを用い、被検体の画像を表示することもできる。
【0027】
なお、画像データを複数の領域画像データに分類するための設定部4と演算部6と管理部7と評価部8と、分類した領域(領域画像データ)の状態を評価するための設定部4と演算部6と管理部7と評価部8とは共有することができるため、同じ符号にて説明を行っているが、それぞれを別々に有していても良い。
【0028】
次に、上記超音波診断システム1を用いて被検体を分類及び評価する場合の流れを説明する。
図1及び図2に示すように、超音波診断システム1を用いた被検体の分類及び評価が開始されると、まず、ステップS1において、撮像部3は、撮像した被検体の画像データを演算部6に入力する。言うまでも無いが、画像データが複数の領域を含むことを前提としたものである。
【0029】
続くステップS2において、必要に応じて、設定部4は、演算部6及び評価部8を設定することにより、撮像した画像データを表示部5に表示させ、画像データの中から注目領域を選定してもよい。これにより、分類及び評価する個所を予め選定することができる。
【0030】
次いで、ステップS3において、必要に応じて、設定部4は、画像データ(画像データの注目領域)に対応した指標に関して、演算部6に算出させ、評価部8に評価させるように、演算部6及び評価部8を設定してもよい。この際、設定部4は、画像データ(画像データの注目領域)に適した指標に関して、演算部6に算出させ、評価部8に評価させるように、演算部6及び評価部8を設定した方が好ましい。
【0031】
例えば、同じ種類の画像データを同じ指標に関して、同様に分類することを前提とした場合、ステップS3の工程を用いなくともよい。一方、分類する度に、画像データの種類が同じとは決まっていなかったり、指標を異ならせたりする場合、ステップS3の工程を用いることが効果的である。
【0032】
その後、ステップS4において、必要に応じて、設定部4は、画像データ(画像データの注目領域)を複数の領域画像データに分類した後、分類された領域画像データを全て又は一部だけ出力させるように、評価部8を設定してもよい。例えば、肝臓を主体とする画像データであって、肝臓内部の血管についてのみ評価したい場合、肝臓の実質領域、肝臓内部の血管及び血液、肝臓以外の臓器、など、複数の領域の画像データ(領域画像データ)に分類した後、肝臓内部の血管の画像データ(領域画像データ)のみを出力させるように設定部4により設定することが効果的である。
【0033】
続くステップS5において、必要に応じて、設定部4は、特徴量0を算出した後、特徴量0を示す情報を、評価部8に出力させ、表示部5に表示させるように、評価部8を設定してもよい。これにより、超音波診断システム1を用いて被検体を客観的に分類するだけではなく、操作者による被検体の主観的な分類を可能としたり、超音波診断システム1による被検体の客観的な分類を見直したり、することが可能となる。
【0034】
次いで、ステップS6において、演算部6は、画像データ(画像データの注目領域)から特徴量0を算出した後、ステップS7において、評価部8は、算出された特徴量0を管理部7の識別器0を用いて評価する。続いて、ステップS8において、評価部8は、評価した結果に従って、画像データ(画像データの注目領域)を複数(n個)の領域画像データに分類する。なお、nは、2以上の自然数である。
【0035】
その後、ステップS9において、評価部8は、分類した複数の領域画像データを全て出力する。この際、上記ステップS4での設定部4を用いた設定の内容に応じて、評価部8は、分類した領域画像データを全て又は一部だけ出力することができる。
【0036】
図1及び図3に示すように、続くステップS10において、必要に応じて、設定部4は、評価部8を設定することにより、領域画像データiを表示部5に表示させ、領域画像データiの中から注目領域を選定してもよい。これにより、評価する個所を予め選定することができる。
【0037】
次いで、ステップS11において、必要に応じて、設定部4は、領域画像データi(領域画像データの注目領域)に対応した指標に関して、演算部6に算出させ、評価部8に評価させるように、演算部6及び評価部8を設定してもよい。この際、設定部4は、領域画像データi(領域画像データの注目領域)に適した指標に関して、演算部6に算出させ、評価部8に評価させるように、演算部6及び評価部8を設定した方が好ましい。
【0038】
例えば、演算部6及び評価部8の自動認識処理により、領域画像データi(領域画像データの注目領域)に対応した指標に関して、演算部6が算出でき、評価部8が評価できる場合、ステップS11の工程を用いなくともよい。一方、算出及び評価する度に、領域画像データi(領域画像データの注目領域)に対応した指標をカスタマイズする場合、など、ステップS11の工程を用いることが効果的である。
【0039】
続くステップS12において、必要に応じて、設定部4は、特徴量iを算出した後、特徴量iを示す情報を、評価部8に出力させ、表示部5に表示させるように、評価部8を設定してもよい。これにより、超音波診断システム1を用いて領域画像データi(領域画像データの注目領域)を客観的に評価するだけではなく、操作者による領域画像データi(領域画像データの注目領域)の主観的な評価を可能としたり、超音波診断システム1による領域画像データi(領域画像データの注目領域)の客観的な評価を見直したり、することが可能となる。
【0040】
次いで、ステップS13において、演算部6は、領域画像データi(領域画像データの注目領域)から特徴量iを算出した後、ステップS14において、評価部8は、算出された特徴量iを管理部7の識別器iを用いて評価する。続いて、ステップS15において、評価部8は、領域画像データi(領域画像データの注目領域)に関して評価した結果の情報を出力し、評価した結果の情報を表示部5に表示する。
【0041】
これにより、超音波診断システム1を用いて領域画像データi(領域画像データの注目領域)を客観的に評価することができる。なお、上記ステップS15において、設定部4は、表示部5に、領域画像データi(領域画像データの注目領域)から算出した特徴量iを示す情報を表示させるように設定してもよい。
【0042】
また、上記ステップS15において、設定部4は、評価部8に、評価した結果の情報に限らず、評価対象の領域画像データ(領域画像データの注目領域)に関する各種の情報を出力させるようにも設定可能である。これにより、操作者による領域画像データi(領域画像データの注目領域)の多角的な評価が可能となる。
【0043】
その後、ステップS16において、管理部7及び評価部8は、評価対象の全ての領域画像データi(領域画像データの注目領域)の評価が完了したのかどうか、すなわちi=mであるのかどうかを判断する。なお、iであるが、最初は1に設定されている(i=1)。また、mは、評価対象の領域画像データi(領域画像データの注目領域)の個数であり、n以下の自然数である。
【0044】
評価が全て完了していない場合、すなわちi<mである場合(ステップS16)、管理部7及び評価部8は、iをカウントアップし(i++)、ステップS10に移行し、ステップS10乃至S15を繰り返す。評価が全て完了した場合、すなわちi=mである場合(ステップS16)、ステップS17に移行する。
【0045】
例えば、画像データを5個の領域画像データ(領域)に分類し複数(n=5)、この内、2個の領域画像データ(領域)を評価対象とする(m=2)場合であっては、領域画像データ1(i=1)に関してステップS10乃至S15を進め、次いで領域画像データ2(i=2)に関してステップS10乃至S15を進めた後、ステップS17に移行する。
【0046】
続いて、ステップS17において、必要に応じて、設定部4は、評価部8に、分類された複数の領域画像データi(領域画像データの注目領域)に関して評価した結果の情報を、統合して出力させるように設定してもよく、これにより表示部5に統合された情報を表示させることができる。これにより、操作者は、複数の領域画像データi(領域画像データの複数の注目領域)をまとめて評価することが可能となる。
上記のことから、超音波診断システム1を用いた被検体の分類及び評価が終了する。
【0047】
次に、上記超音波診断システム1を用いて肝臓を主体とする画像データを複数の領域画像データに分類する場合について説明する。ここでは、撮像された画像データを表示部5に表示し、画像データの中から注目領域を選定している。また、評価対象の領域が肝臓の実質領域であり、肝臓の実質領域の画像データ(領域画像データ)のみ出力するものである。このため、肝臓の実質領域以外の領域(領域画像データ)については排除するものである。
【0048】
図4は、表示部5の画面を示す図であり、画像データの一部の中から注目領域を選定した状態を表示している概略図である。なお、注目領域を選定するため、表示部5に、予め超音波を利用して肝臓内部組織を撮像することにより得た画像データを用いて肝臓内部組織を表示している。
【0049】
患者の肝臓内部組織を撮像した場合、表示される画像(画像データ)には、肝臓以外の臓器や背景等が含まれている。また、肝臓は血管豊富な臓器である。このため、医師は、表示部5に表示される画像を基に、画像(画像データ)の中から肝臓以外の臓器、背景、肝臓の血管等を除いて肝臓の実質領域を選定するよう、設定部4の設定を操作する。これにより、診断(評価)対象となる肝臓の実質領域の画像データ(領域画像データ)を自動的に分類し、出力することができる。
【0050】
超音波診断システム1を用いた肝臓の実質領域、非実質領域の自動的な分類は次のようにして行われる。
肝臓の超音波断層図では、血液など肝臓の実質領域より軟らかい部分のエコー輝度(輝度レベル)が低く、血管壁など肝臓の実質領域より硬い部分のエコー輝度が高い特徴がある。このため、テクスチャ解析によりこのような特徴を抽出するものである。
【0051】
例えば、小さいブロック毎、輝度をベースとする特徴量を抽出(算出)する。なお、各ブロックは、隣合う複数の画素からなる画素群に相当する。ブロックの形状は、矩形状に限られるものではなく種々変形可能であり、例えば扇形状、円形状、楕円形状であってもよい。ブロック(画素群)のサイズも限定されるものではなく種々変形可能である。そして、各ブロック内の輝度レベルの平均値や分散値を算出する。
【0052】
血液の部分は、輝度値が低く且つ滑らかである特徴を示すため、輝度値が低く且つ分散値が低いブロックが、血液の領域であることを推定することができる。また、血管壁の部分及び毛細血管の部分は、輝度値が高く周囲画素との輝度差が激しい特徴を示すため、輝度値が高く且つ分散値が高いブロックが、血管壁や毛細血管であることを推定することができる。
【0053】
図5は、表示部5の画面を示す図であり、注目領域内の血管壁及び血液に重ねてブロックを表示している概略図である。図5に示すように、血管壁や血液である肝臓の非実質領域に重ねてブロックを表示することができる。ここで、上記分散値が低いブロックとは、画素間の輝度値のばらつきの小さいブロック(画素群)のことである。また、分散値が高いブロックとは、画素間の輝度値のばらつきの大きいブロック(画素群)のことである。
【0054】
次に、算出した特徴量0により、血管領域を分類(抽出)するなど、肝臓の実質領域、非実質領域を分類(抽出)する方法について説明する。
図6は、図4及び図5に示した特徴領域内の特徴分布のイメージを示すヒストグラムである。図6に示すように、輝度値が高く且つ分散値が高い領域、中間領域、輝度値が低く且つ分散値が低い領域を分離できれば、肝臓の実質領域と、血管壁及び血液等の肝臓の非実質領域と、を分離(分類)することができる。
【0055】
分離(分類)方法としては、主成分分析法(PCA:Principal Component Analysis)、大津法、P−tile法などが挙げられる。例えば、主成分分析法により分離(分類)する場合、算出した特徴量を主成分分析法により分離度が最大になる識別特徴軸を抽出するものである。
【0056】
図7は、管理部7が作成し管理する識別器0を示す概念図である。図8は、管理部7が作成し管理する識別器0を示す他の概念図である。図7では、高次特徴空間における3クラスの特徴量を表している。更に、1次元に投影すると、図8で示す分布になる。
【0057】
ここで、画像データ(画像データの注目領域)から算出した特徴量を上記で算出した識別特徴軸に投影すると、各クラスへの距離を算出可能である。各クラスへの距離の計算では、ユークリッド距離の計算でも良く、マハラノビス距離の計算でも良い。算出した一番近い距離により、クラスへ分類することができる。
【0058】
また、図6で示す特徴分布イメージでは、P−tile法により設定した閾値を用いて、輝度値が高く且つ分散値が高い領域を分離することができるし、更に輝度値が低く且つ分散値が低い領域を分離することもできる。また、大津法を用いて、中間特徴量の最頻値を求め、更に輝度値が高く且つ分散値が高い領域を分離するために分離度が一番高い閾値を算出することができる。同様に、輝度値が低く且つ分散値が低い領域を分離するための閾値を算出することもできる。算出した2つ閾値を用いて、3クラスの分類ができて、血管などの肝臓の非実質領域の抽出(分類)ができるものである。
【0059】
抽出(分類)した後は、抽出した血管領域(血管)の状態の評価を行い、また、血管などを排除した後の肝臓の実質領域の状態の評価を行う。若しくは、指定(注目)した対象領域だけ評価を行う。評価の結果として、血管領域と肝臓の実質領域を別々の評価指標として扱うことができるし、また、別の評価指標として、統合的に肝臓全体機能の評価を行うことができる。
【0060】
例えば、抽出した血管領域を対象に、更にエッジ情報などの抽出することにより血管壁を検出することができる。肝臓の機能が正常な場合は血管壁をキレイに検出することができるが、一方、肝硬変など病変がかなり進行する肝臓では、血管壁が暈ける特徴がある。血管壁のエッジ情報は、補助評価指標として、肝臓全体機能の評価に役に立つものである。従って、血管領域を排除した後の肝臓の実質領域に対する評価結果と、血管領域の血管壁情報を統合することで、より医師の判断基準に近づけることができる。
【0061】
以上、被検体が患者の場合に分類及び評価する場合について説明したが、被検体は、患者に限定されるものではなく種々変形可能であり、例えば部品であってもよい。
【0062】
図9は、表示部5の画面を示す図であり、撮像された部品の断層像を示す図である。図9に示すように、被検体が部品であっても、超音波診断システム1を用いることにより、部品の画像データを、欠陥の領域の画像データ(領域画像データ)と、正常の領域の画像データ(領域画像データ)と、に自動的に分類することができる。
【0063】
上記分類した後、さらに、超音波診断システム1を用いることにより、分類した正常の領域(領域画像データ)を自動的に評価することもでき、正常の領域の中から腐食の進行程度(腐食無し部分、軽度腐食部分、腐食進行部分、など)を評価することも可能である。
【0064】
次に、上記超音波診断システム1を用いて肝臓の実質領域の領域画像データを評価する場合について説明する。
始めに、肝臓の実質領域を診断(評価)する場合の管理部7の識別器iについて説明する。臨床では、医師は、主観判断で肝臓の実質領域の粗さを4段階に分類している。そこで、管理部7は、主観判断で肝臓の実質領域の粗さを4段階に分類するための指標を持つ識別器iを作成し管理することができる。これにより、評価部8は、上記識別器iを用いることにより、肝臓の実質領域の粗さを客観的に判断することが可能となる。
【0065】
また、管理部7は、演算部6に評価対象の画像データが入力される毎、評価部8が評価した結果の情報を基に、識別器の持つ特徴量を評価するための指標を更新することが可能である。すなわち、診断結果を学習データとして管理部7の識別器に取り込むことで、医師の主観判断を定量化することができる。
【0066】
ここで、超音波により肝臓などの臓器に対する診断を行う時、肝臓表面の滑らかさ、肝臓辺縁の角度、肝臓内部組織の粗さなど指標がある。その中、肝臓内部組織の粗さは最も客観的に評価しにくい指標であるが、上述したように、管理部7が上記識別器iを作成し管理することで、肝臓内部組織の粗さを客観的に評価することができる。また、管理部7が肝臓内部組織に限らず、肝臓表面の滑らかさ、肝臓辺縁の角度、及び肝臓以外の臓器に対応した識別器0、iを作成し管理することで、各種の臓器を客観的に評価することができる。
【0067】
次に、評価した結果の情報の表示手法等、肝臓の実質領域を診断する場合の実質的な手法を説明する。
画素群の指標が設定されると、演算部6は、領域画像データの特徴量(テクスチャ特徴量)iを算出する。そして、評価部8は、算出された各特徴量iを管理部7の識別器iを用いて評価する。管理部7は、評価部8が評価した結果の情報を基に、識別器iの持つ特徴量iを評価するための指標を更新し、このように識別器iに学習させる。
【0068】
管理部7が、特徴量iを基に主成分分析法を用いて識別器iを形成し、管理している場合、管理部7は識別器iから特徴量iを算出し、算出した特徴量iを主成分分析法により分離度が最大となる評価軸を算出(抽出)することができる。
【0069】
図10は、識別器iを示す概念図である。図10に示すように、識別器iの持つ特徴量iは、高次の空間に投影されている。高次の空間には、管理部7が算出した評価軸も示されている。このことから、特徴量iが高次の情報であることが分かる。特徴量iはクラス1からクラス4までの4つのクラスに分類されている。
ここで、評価軸は、高次の空間を形成する複数の軸から選定したものでもよく、また、新たに生成する軸であってもよい。
【0070】
図11は、識別器iを示す他の概念図である。図11に示すように、図10に示す識別器iの持つ特徴量iを、評価軸上にのみ投影して示している。ここでは、クラス1に分類される特徴量iは、正常の肝臓の実質領域の領域画像データから算出した特徴量iであり、クラス2乃至4に分類される特徴量iは、非正常(病変)の肝臓の実質領域の領域画像データから算出した特徴量である。
【0071】
上記のことから、評価対象の領域画像データから算出した特徴量iを評価軸上に投影することにより、各クラスへの距離を算出することができ、算出した距離が最も短くなったクラスに分類することができる。このため、評価部8は、特徴量iをクラスに分類することで、特徴量iの評価を行うことができ、ひいては肝臓の実質領域の診断を行うことができる。なお、各クラスへの距離の計算では、ユークリッド距離の計算や、マハラノビス距離の計算を利用することができる。
【0072】
そして、上述したように、評価軸は、特徴量iの分離度が最大の軸であるため、評価対象の領域画像データから算出した特徴量iを評価軸上に投影することは、評価部8が行う評価に好適である。
【0073】
次に、管理部7が、演算部6に評価対象の領域画像データが入力される毎に、識別器iの持つ特徴量iを評価するための指標を更新する場合の例について説明する。
肝臓の実質領域の粗さに関して、評価部8が評価した結果(診断結果)に基づいて領域画像データをさらに分類する。分類されたデータ(画像データ)から特徴量を算出し、識別器を作成する。例えば、管理部7が、粗さに関して、2段階に分類されたデータから算出された8次元の特徴量を基に線形判別方法を用いて識別器を作成すると、識別器(学習データ)から線形判別式の係数項(8個)と定数項を算出することができる。この場合、算出した線形判別式を識別器として使用することができる。
【0074】
次に、設定部4について説明する。
上記設定部4は、評価部8が評価した結果の情報を全て出力するよう設定したが、これに限らず、評価部8が評価した結果の情報を一部だけ出力するよう設定することも可能である。
【0075】
例えば、医師が表示部5の画面上のある位置を指定し、指標を設定すると、指定した位置を中心座標とする注目領域を設定することができ、これにより、注目領域内の肝臓の実質領域の粗さを評価した結果(診断結果)を出力(表示)することができる。この場合も、注目領域の指標を自由に設定することができ、例えば注目領域の形状は矩形状や円形状でも良い。また、肝臓の実質領域の粗さを評価した結果を出力(表示)する際、正規化した範囲内の数値で出力(表示)したり、数値を色情報に変換して色情報を出力(表示)したりすることができる。
【0076】
次に、特徴量について説明する。
特徴量は、画素群毎に算出された高次局所特徴量や、低次局所特徴量であってもよい。高次局所特徴量としては、局所的二値パターン(LBP:Local Binary Pattern)特徴量や、高次局所自己相関(HLAC:Higher-order Local AutoCorrelation)特徴量を挙げることができる。
【0077】
例えば、高次局所特徴量(テクスチャ特徴量)の一つとして局所的二値パターン特徴量は、画像輝度変化、回転やスケール変換に対してロバスト性が高い、計算コストが低いなど特徴があるため、顔認識など分野でよく使われている。
【0078】
局所的二値パターン特徴量とは、画像中の注目点(着目点)と周囲点との輝度の差をベースにし、パターンヒストグラムを算出することで、画像のテクスチャ特徴情報を抽出する方法である。注目点と周囲点の位置及びスケールが異なる場合の局所的二値パターンの例を図12乃至図16に示す。
【0079】
図12において、周囲点は、注目点の周りに4個あり(P=4)、注目点から周囲点までの距離(半径)は1.0である(R=1.0)。図13乃至図16においても図12と同様であり、図13においてはP=8、R=1.0、図14においてはP=12、R=1.5、図15においてはP=16、R=2.0、図16においてはP=24、R=3.0である。
【0080】
例えば、演算部6は、超音波を利用して撮像した肝臓の実質領域の画像に対して、画素群毎にシフトしなから局所的二値パターン特徴量を算出することができる。そして、評価部8は、算出された特徴量を基に肝臓の実質領域の性状(粗さ)を評価することができる。
【0081】
次に、管理部7について説明する。
管理部7は、特徴量iを基に線形判別方法又は非線形判別方法を用いて識別器iを作成し管理することができる。線形判別方法としては、線形判別分析(LDA:Linear Discriminant Analysis)、サポートベクタマシン(SVM:Support Vector Machine)、主成分分析法等を挙げることができる。非線形判別方法としては、非線形判別分析(QDA:Quadratic Discriminant Analysis)等を挙げることができる。
【0082】
上記のことから、学習データから算出した特徴量iに対して、主成分分析法により次元を圧縮し、分離度が最大になる評価軸を抽出可能であることが分かる。また、事前に学習データを用いてサポートベクタマシンの訓練モデルを算出することも可能である。
【0083】
次に、評価部8について説明する。
評価部8は、特徴量iの空間距離の長さ、又は類似度の程度に基づいて評価することができる。その他、評価部8は、他の指標により評価することもできる。上記のことから、評価部8が評価した結果の情報(新しい情報)が与えられる場合、上記情報から算出した特徴量iを識別式に代入すると、判別の結果を算出することができる。
【0084】
線形判別分析法を用いて識別器iが作成及び管理されている場合、0より大きいのかどうかを検出することにより、評価した結果を分類することができる。また、マハラノビス距離を算出し、距離が小さい順番に、評価した結果を分類することもできる。それ以外の方法で評価した結果を分類することも可能である。
【0085】
次に、設定部4について説明する。
設定部4は、評価部8が評価した結果の情報を、評価部8に、1以上の次元の情報として出力させるよう、設定することができる。このため、評価した結果の情報は、1次元の情報(例えば、数値又は数値に対応する色味)で表示することができ、また、2次元や多次元で表示することもできる。
【0086】
例えば、図17は、肝臓の実質領域を評価した結果の情報を1次元で表示する場合の概念図である。図17に示すように、肝臓の実質領域を評価し、正常、慢性肝炎及び肝硬変の3段階に分類する場合、正常から肝硬変までの間の距離を0乃至1に正規化し、評価した結果の情報(評価データ)を定量的に表示することができる。
【0087】
図18は、上記の肝臓内部組織を評価した結果の情報を2次元で表示する場合の概念図である。図18に示すように、2次元で表示することにより、肝臓内部組織を評価した結果をより多角的に表示することが可能である。なお、図において、正常であることを示すデータは丸、慢性肝炎を示すデータは四角、肝硬変を示すデータはバツで示している。
上記超音波診断システム1を用いて肝臓の実質領域の領域画像データを評価する場合について説明は以上である。
【0088】
以上のように構成された超音波診断システム1によれば、超音波診断装置2は、演算部6と、管理部7と、評価部8とを備えている。演算部6は、画像データから特徴量0を算出し、評価部8は、特徴量0を、識別器0を用いて評価し、画像データを複数の領域画像データに分類し出力することができる。これにより、超音波診断装置2は、被検体の画像を複数の領域に客観的に分類することが可能となる。
【0089】
また、超音波診断装置2の指標(コントラスト等)の設定に依存せず、閾値の設定や最適化処理を行うこと無しに、評価部8は、識別器iを用いることにより、例えば領域画像データを客観的に評価することが可能となる。
【0090】
また、管理部7は、演算部6に画像データや領域画像データが入力される毎、評価部8が分類又は評価した結果の情報を基に、識別器0、iの持つ特徴量0、iを評価するための指標を更新することが可能である。すなわち、評価結果を学習データとして管理部7の識別器に取り込むことができる。管理部7の識別器は、医師や専門家等のノウハウも取り込むことができる。これにより、操作者(医師など)の主観判断を定量化することができる。
【0091】
上記のことから、被検体を複数の領域に客観的に分類することができ、分類した領域を評価することのできる超音波診断システム1を得ることができる。そして、操作者に役に立つ超音波診断システム1を得ることができる。
【0092】
なお、この発明は上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化可能である。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【0093】
例えば、超音波診断装置2自体が、撮像部3や表示部5を備えていてもよい。演算部6や表示部5に入力される画像データは、撮像部3以外の手段で取得したものであってもよい。
【0094】
例えば、被検体の他の例としては、太陽光パネルやタービンであってもよい。太陽光パネルにおいては、サーモグラフィ画像を使用することにより、正常なパネルか劣化したパネルかを評価することができる。また、タービンにおいては、タービン表面の粗さを評価することができる。
【0095】
本発明の画像処理システムは、上記超音波診断システム1に限らず、種々変形可能であり、他の超音波診断システム等各種の画像処理システムに適用することが可能である。
【符号の説明】
【0096】
1…超音波診断システム、2…超音波診断装置、3…撮像部、4…設定部、5…表示部、6…演算部、7…管理部、8…評価部。

【特許請求の範囲】
【請求項1】
複数の領域を含み被検体を撮像して得られる画像データが入力され、前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を算出する第1の演算部と、
前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を基に前記画像データを前記複数の領域画像データに分類するための指標を持つ識別器を作成し管理する第1の管理部と、
前記第1の演算部が算出した前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を、前記画像データを前記複数の領域画像データに分類するための指標を持つ識別器を用いて評価し、前記評価した結果に従って前記画像データを前記複数の領域画像データに分類し、前記分類した領域画像データを出力する第1の評価部と、
前記第1の評価部が分類した前記領域画像データから、前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を算出する第2の演算部と、
前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を基に前記領域画像データに対応する領域の状態を識別するための指標を持つ識別器を作成し管理する第2の管理部と、
前記第2の演算部が算出した前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を、前記領域画像データに対応する領域の状態を識別するための指標を持つ識別器を用いて評価し、前記評価した結果の情報を出力する第2の評価部とを備えた画像処理装置。
【請求項2】
前記第1の演算部に前記画像データに対応した特徴量を算出するための指標を設定し、前記第2の演算部に前記領域画像データに対応した特徴量を算出するための指標を設定する設定部をさらに備えている請求項1に記載の画像処理装置。
【請求項3】
前記画像データ又は前記領域画像データの中から注目領域を設定し、前記注目領域に対して、分類又は評価させる設定部をさらに備えている請求項1に記載の画像処理装置。
【請求項4】
前記第1の評価部に、前記分類された複数の領域画像データを全て又は一部だけ出力させるように設定可能である設定部をさらに備えている請求項1に記載の画像処理装置。
【請求項5】
前記第1の評価部に、前記評価した結果の情報だけでなく、前記評価対象の領域画像データに関する情報も出力させるように設定可能である設定部をさらに備えている請求項1に記載の画像処理装置。
【請求項6】
前記第1の評価部にさらに前記画像データを前記複数の領域画像データに分類するための指標となる特徴量を示す情報を出力させ、前記第2の評価部にさらに前記領域画像データに対応する領域の状態を識別するための指標となる特徴量を示す情報を出力させるように設定可能である設定部をさらに備えている請求項1に記載の画像処理装置。
【請求項7】
前記第2の評価部に、前記分類された複数の領域画像データに関する前記評価した結果の情報を、統合して出力させるように設定可能である設定部をさらに備えている請求項1に記載の画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2012−187139(P2012−187139A)
【公開日】平成24年10月4日(2012.10.4)
【国際特許分類】
【出願番号】特願2011−50621(P2011−50621)
【出願日】平成23年3月8日(2011.3.8)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】