画像処理装置、プログラム及び画像処理システム
【課題】標的細胞の検体や撮像条件等の差異の影響を受け難くする。
【解決手段】画像処理装置１０は、核を有する標的細胞を含む試料を撮像した撮像画像を取得し、撮像画像に含まれる画素の中から、核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出し、抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいてさらに抽出し、抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を撮像画像に設定し、設定した矩形領域から得られる画像特徴量が、標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、矩形領域に標的細胞が含まれるか否かを判定する。
【解決手段】画像処理装置１０は、核を有する標的細胞を含む試料を撮像した撮像画像を取得し、撮像画像に含まれる画素の中から、核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出し、抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいてさらに抽出し、抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を撮像画像に設定し、設定した矩形領域から得られる画像特徴量が、標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、矩形領域に標的細胞が含まれるか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム及び画像処理システムに関する。
【背景技術】
【０００２】
出生前の胎児の診断を行う場合に、母胎血中に極微量に含まれる胎児由来の有核赤血球（ＮＲＢＣｓ、以下標的細胞）を検出し、利用することが行われている。母胎血中に存在するＮＲＢＣｓの数は極めて少ないため、ＮＲＢＣｓを目視により検出するのは負担が大きい。そこで、下記の特許文献１に記載されているように、ＮＲＢＣｓの色、形状、位置関係、面積比等の条件に合致する細胞を対象画像から探索することにより、ＮＲＢＣｓを機械的に検出する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４３４６９２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、核を有する標的細胞を撮像した撮像画像から画像処理によって標的細胞を探索する場合に、標的細胞の検体ごとの差異や撮像条件等の差異の影響を受け難くすることができる画像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に記載の発明は、核を有する標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、前記撮像画像に含まれる画素の中から、前記核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出する第１抽出手段と、前記第１抽出手段により抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、前記標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいて抽出する第２抽出手段と、前記第２抽出手段により抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を前記撮像画像に設定する設定手段と、前記設定手段により設定した矩形領域から得られる画像特徴量が、前記標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含むことを特徴とする画像処理装置である。
【０００６】
また、請求項２に記載の発明は、前記設定手段により設定した矩形領域の中心と、当該矩形領域に含まれる前記連結画素群の重心とを結ぶベクトルが予め定められた方向を向くように前記矩形領域に含まれる前記撮像画像を回転させた後に、当該回転させた前記撮像画像から画像特徴量を取得する画像特徴量取得手段をさらに含み、前記判定手段は、前記画像特徴量取得手段により取得された画像特徴量が、前記画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定することを特徴とする請求項１に記載の画像処理装置である。
【０００７】
また、請求項３に記載の発明は、前記設定手段により設定される矩形領域に前記撮像画像の端が含まれる場合に、当該矩形領域に含まれる画像のうち、当該矩形領域に含まれる前記連結画素群内に設定した中心線に対して前記端と対称の領域よりも前記中心線に対して外側にある画像を前記端側に結合して補間する補間手段をさらに含むことを特徴とする請求項１又は２に記載の画像処理装置である。
【０００８】
また、請求項４に記載の発明は、前記判定手段により標的細胞が含まれると判定された矩形領域に対応する前記撮像画像の座標領域を表示装置に表示させることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置である。
【０００９】
また、請求項５に記載の発明は、核を有する標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、前記撮像画像に含まれる画素の中から、前記核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出する第１抽出手段と、前記第１抽出手段により抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、前記標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいて抽出する第２抽出手段と、前記第２抽出手段により抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を前記撮像画像に設定する設定手段と、前記設定手段により設定した矩形領域から得られる画像特徴量が、前記標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する判定手段としてコンピュータを機能させるためのプログラムである。
【００１０】
また、請求項６に記載の発明は、画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、前記画像処理装置は、核を有する標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、前記撮像画像に含まれる画素の中から、前記核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出する第１抽出手段と、前記第１抽出手段により抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、前記標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいて抽出する第２抽出手段と、前記第２抽出手段により抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を前記撮像画像に設定する設定手段と、前記設定手段により設定した矩形領域から得られる画像特徴量が、前記標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含むことを特徴とする画像処理システムである。
【発明の効果】
【００１１】
請求項１、５及び６に記載の発明によれば、本構成を有しない場合と比較して、核を有する標的細胞を撮像した撮像画像から画像処理によって標的細胞を探索する場合に、標的細胞の検体ごとの差異や撮像条件等の差異の影響を受け難くすることができる。
【００１２】
請求項２に記載の発明によれば、矩形領域内の画像を一定の向きに合わせてから取得した画像特徴量を用いることにより、本構成を有しない場合と比較して、矩形領域内の画像が標的細胞であるか否かを精度良く判定できる。
【００１３】
請求項３に記載の発明によれば、本構成を有しない場合と比較して、撮像画像の端に設定された矩形領域からも、矩形領域内の画像が標的細胞であるか否かを精度良く判定できる。
【００１４】
請求項４に記載の発明によれば、核を有する標的細胞を撮像した撮像画像のうち、標的細胞が含まれる画像領域を表示させることができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る画像処理システムのシステム構成図である。
【図２】画像処理装置の機能ブロック図である。
【図３】試料（母胎血）を光学顕微鏡で撮像した撮像画像の一例を示す図である。
【図４】核候補の画素の一例を示す図である。
【図５】標的細胞の候補として抽出された画素群の一例を示す図である。
【図６】撮像画像に設定された判定対象領域の一例を示す図である。
【図７】正規化部による処理の流れを説明した図である。
【図８】画像補間部による処理の流れを説明した図である。
【図９】ＨＯＧ特徴量を説明する図である。
【図１０】標的細胞の正例及び負例に基づいて行われる画像特徴量の学習処理のフローチャートである。
【図１１Ａ】光学顕微鏡による試料（母胎血）の撮像画像から標的細胞を探索する処理のフローチャートである。
【図１１Ｂ】光学顕微鏡による試料（母胎血）の撮像画像から標的細胞を探索する処理のフローチャートである。
【図１２】画像補間処理のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための実施の形態（以下、実施形態という）を、図面に従って説明する。
【００１７】
図１には、本実施形態に係る画像処理システム１のシステム構成図を示す。図１に示されるように、画像処理システム１は、光学顕微鏡２、画像処理装置１０、表示装置６を含み、画像処理装置１０は光学顕微鏡２と表示装置６の各々とデータ通信可能に接続されている。
【００１８】
光学顕微鏡２は、試料台に配置されたスライドグラス３上の試料を、対物レンズ４等の光学系を介してＣＣＤカメラ５で撮像する。本実施形態では、試料には、母体血をスライドグラス３に塗布し、メイ・ギムザ染色を施したものを用いる。これにより、母体血中の胎児由来有核赤血球（ＮＲＢＣｓ）が青紫色に染色される。以下、ＮＲＢＣｓを標的細胞と称する。
【００１９】
画像処理装置１０は、光学顕微鏡２で撮像された撮像画像を取得するとともに、当該取得した撮像画像の中から標的細胞を探索する。画像処理装置１０において行われる標的細胞の探索処理の詳細については後述する。
【００２０】
表示装置６は、画像処理装置１０による処理の結果に基づいて画面を表示する。例えば、表示装置６には、光学顕微鏡２で撮像された撮像画像や、画像処理装置１０による標的細胞の探索結果等が表示される。
【００２１】
図２には、画像処理装置１０の機能ブロック図を示した。図２に示されるように、画像処理装置１０は、撮像画像取得部１２、前処理部１４、核候補領域抽出部１６、標的細胞候補領域抽出部１８、判定対象領域設定部２０、正規化部２２、画像補間部２４、特徴量演算部２６、学習データ取得部２８、学習部３０、判定部３２、標的細胞領域記憶部３４、及び結果出力部３６を備える。
【００２２】
画像処理装置１０に備えられた上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる画像処理装置１０に供給されることとしてもよいし、インターネット等のデータ通信網を介して画像処理装置１０に供給されることとしてもよい。
【００２３】
撮像画像取得部１２は、光学顕微鏡２に備えられたＣＣＤカメラ５より試料を撮像した撮像画像を光学顕微鏡２から取得する。
【００２４】
図３には、撮像画像取得部１２により取得された、試料（母胎血）を光学顕微鏡２で撮像した撮像画像の一例を示した。図３に示される撮像画像において、濃く着色された核を有する細胞が標的細胞である。なお、標的細胞（ＮＲＢＣｓ）は、以下の４つの特徴を有している（多量な顕微鏡画像からの有核赤血球の自動抽出、画像電子学会誌、Ｖｏｌ．３７ Ｎｏ．５ ２００８年９月を参照）。ＮＲＢＣｓの第１の特徴は、ＮＲＢＣｓには１個の核が存在し、核の形状は真円に近く、密度が高いという点である。第２の特徴は、ＮＲＢＣｓの核はメイ・ギムザ染色により他の細胞の核よりもわずかに濃く染色される点である。第３の特徴は、ＮＲＢＣｓの面積とその核の面積、及びその比率は特定の範囲内に収まるという点である。そして、第４の特徴は、ＮＲＢＣｓは核と細胞質の濃度差が他の細胞に比べてわずかに大きいという点である。
【００２５】
前処理部１４は、撮像画像取得部１２により取得された撮像画像にヒストグラム正規化、主成分分析による色合わせ、平均値フィルタ、メディアンフィルター等の画像処理を施して、撮像画像の色の正規化やノイズ除去を行う。
【００２６】
核候補領域抽出部１６は、前処理部１４によりノイズが除去された撮像画像に対して、色又は濃度が予め定められた範囲内にある画素を、核の候補領域として抽出する。例えば、核候補領域抽出部１６は、撮像画像内の画素を、予め定められた色（又は濃度）の閾値により二値化することとしてよく、具体的には、色（又は濃度）が閾値よりも（又は閾値以上）濃い画素を黒画素として抽出することとしてよい。
【００２７】
図４には、図３に示された撮像画像に対して、核候補領域抽出部１６により抽出された核候補の画素の一例を示した。図４に示されるように、核候補領域抽出部１６による処理により、撮像画像の中から核の候補となる領域（画素）が抽出される。
【００２８】
標的細胞候補領域抽出部１８は、核候補領域抽出部１６により抽出された核の候補となる画素のうち隣り合う画素をそれぞれ連結した連結画素群の中から、大きさ及び形状が予め定められた条件を満足する連結画素群を標的細胞の候補となる画素群（標的細胞候補領域）として抽出する。例えば、標的細胞候補領域抽出部１８は、核候補領域抽出部１６により抽出された核候補の画素（黒画素）を連結した連結画素群をラベリングし（連結画素群１〜ｎ）、連結画素群ｉ（ｉ＝１〜ｎ）のそれぞれについて外接矩形を設定する。そして、標的細胞候補領域抽出部１８は、設定した外接矩形の縦と横の長さ、縦と横の長さの比、外接矩形内の黒画素密度が、それぞれの値について予め定められた範囲にある連結画素群を標的細胞の候補として抽出する。
【００２９】
図５には、図４に示された核候補の画素から標的細胞の候補として抽出された画素群の一例を示した。図５に示されるように、標的細胞候補領域抽出部１８による処理により、核候補の中からさらに標的細胞における核の可能性がある画像領域が抽出される。
【００３０】
判定対象領域設定部２０は、標的細胞候補領域抽出部１８により抽出された連結画素群に設定された矩形領域（候補矩形領域）の画素を中心とした所与のサイズ（例えばＮ×Ｍ画素）の矩形領域（判定対象矩形領域）を撮像画像に設定する。例えば、判定対象領域設定部２０は、候補矩形領域の中から１画素を選択し、当該選択した１画素の位置座標に基づいて撮像画像における対応画素を特定し、当該特定した対応画素を中心とした所与のサイズの判定対象矩形領域を設定する。なお、判定対象領域設定部２０は、候補矩形領域の中から１画素を順次選択し、選択した画素ごとに判定対象領域を設定することとしてよい。
【００３１】
図６には、判定対象領域設定部２０により撮像画像に設定された判定対象領域の一例を示した。図６に示されるように、候補矩形領域の１画素を中心として判定対象領域が設定される。
【００３２】
正規化部２２は、判定対象領域設定部２０により設定された判定対象領域内の画像の向きが予め定められた向きとなるように回転させる処理を行う。例えば、正規化部２２は、判定対象領域内の二値化画像の重心位置を求め、判定対象領域の中心位置と上記求めた重心位置とを結ぶ方位ベクトルが、予め定められた方位（例えば上向き）を向くのに要する回転角度を演算する。そして、正規化部２２は、上記演算された回転角度で、判定対象領域内の画像（撮像画像の部分画像）を回転させる。なお、正規化部２２による処理は、必ずしも実行しなくともよい。
【００３３】
図７には、正規化部２２による処理の流れを説明した図を示した。図７（Ａ）は撮像画像に設定された判定対象領域であり、図７（Ｂ）は判定対象領域内の二値化画像である。そして、図７（Ｂ）の方位ベクトルが上に向くのに必要な回転角度θで、図７（Ａ）に示される撮像画像を回転させて判定対象領域で切り取った画像が図７（Ｃ）である。
【００３４】
画像補間部２４は、判定対象領域設定部２０により設定された判定対象領域内に、撮像画像の端が含まれている場合に、判定対象領域内の画像を補間する。例えば、画像補間部２４は、判定対象領域を予め定められたサイズ（２Ｍ×２Ｍ）となるように拡張した後に、当該拡張した判定対象領域に含まれる二値化画像のうち撮像画像の端と平行な線分のうち最長の部分を中心線に設定する。そして、画像補間部２４は、設定した中心線から撮像画像の端までの距離Ｌを求め、拡張した領域において中心線に対して撮像画像の端と対向する端から、中心線と垂直に（Ｍ−Ｌ）画素、中心線と平行の２Ｍ画素からなる部分領域を中心線に対して線対称の位置に移動して、判定対象領域内の画像を補間する。
【００３５】
図８には、画像補間部２４による処理の流れを説明した図を示した。図８（Ａ）は判定対象領域設定部２０により設定された判定対象領域の例であり、図８（Ａ）に示されるように判定対象領域には撮像画像の端が含まれている。このとき、画像補間部２４は、図８（Ｂ）に示されるように、判定対象領域が２Ｍ×２Ｍとなるように拡張した後に、判定対象領域内の二値化画像のうち撮像画像の端と平行であって最も長い線分の位置を中心線として設定する。次に、画像補間部２４は、中心線と撮像画像の端との長さＬを求め（図８（Ｃ）参照）、拡張した判定対称領域において中心線に対して撮像画像の端と対向する端から、中心線と垂直に（Ｍ−Ｌ）画素、中心線と平行の２Ｍ画素からなる部分領域を中心線に対して線対称の位置に移動し結合した図が図８（Ｄ）である。なお、結合する部分領域は中心線に対して反転させることとしてよい。
【００３６】
特徴量演算部２６は、判定対象領域設定部２０により設定された判定対象領域内の画像（正規化処理部による正規化後の画像であることが好ましいが正規化処理をしていない画像でもよい）についての画像特徴量を演算する。例えば、画像特徴量には、ＨＯＧ特徴量を用いることとしてよい。
【００３７】
図９には、特徴量演算部２６により演算されるＨＯＧ特徴量を説明する図を示した。図９（Ａ）に示されるように、判定対象領域を予め定められた数（例えば４×４）の部分領域に分割し、各部分領域内の各画素において輝度勾配の方向を算出し、算出した輝度勾配方向のヒストグラムを各部分領域に対して計算し、各領域のヒストグラムを連結することによりＨＯＧ特徴量を算出する。図９（Ｂ）に示されるように、輝度勾配方向は例えば８方向（上、右上、右下、右、下、左下、左、左上）としてよい。
【００３８】
学習データ取得部２８は、標的細胞の正例と負例の標本画像を取得し、当該取得した正例と負例の標本画像のそれぞれについての画像特徴量を取得する。例えば、学習データ取得部２８は、標本画像について特徴量演算部２６によりＨＯＧ特徴量を演算し、その結果を得ることとしてもよい。
【００３９】
学習部３０は、学習データ取得部２８により得た正例と負例のそれぞれの画像特徴量に基づいて、標的細胞とそれ以外とを識別する画像特徴量の条件（基準）を学習する。なお、学習は、サポートベクターマシン（Support Vector Machine）、アダブースト（AdaBoost）等の学習アルゴリズムを用いて行うこととしてよい。例えば、学習にサポートベクターマシンを用いた場合には、学習される画像特徴量の条件は、標的細胞に合致する画像特徴量と、合致しない画像特徴量とを分離する超平面により表される。
【００４０】
判定部３２は、判定対象領域設定部２０により設定された判定対象領域内の画像について特徴量演算部２６により演算された画像特徴量が、学習部３０により学習された標的細胞とそれ以外とを識別する画像特徴量の条件を満たすか否かに基づいて、上記判定対称領域内の画像が標的細胞を表すか否かを判定する。
【００４１】
標的細胞領域記憶部３４は、判定部３２により標的細胞を含むと判定された判定対象領域に対応する撮像画像中の座標範囲を記憶する。なお、標的細胞領域記憶部３４には、標的細胞を含むと判定された複数の判定対象領域が重なった部分を標的細胞の存在領域として記憶するようにしてもよい。
【００４２】
結果出力部３６は、標的細胞領域記憶部３４に記憶された撮像画像の座標範囲に基づく結果を出力する。例えば、結果出力部３６は、標的細胞領域記憶部３４に記憶された撮像画像の座標範囲を表示する画像を表示装置６に表示させたり、当該座標範囲に光学顕微鏡２の撮像位置を移動させたりする処理を行うこととしてよい。
【００４３】
次に、画像処理装置１０において行われる処理の流れの一例を、図１０、図１１Ａ、図１１Ｂ、及び図１２に示したフローチャートを参照しながら説明する。
【００４４】
図１０には、標的細胞の正例及び負例に基づいて行われる画像特徴量の学習処理のフローチャートを示した。
【００４５】
画像処理装置１０は、標的細胞の正例画像を取得し（Ｓ１０１）、取得した正例画像から画像特徴量（ＨＯＧ特徴量）を算出して正例の学習データを生成する（Ｓ１０２）。
【００４６】
次に、画像処理装置１０は、標的細胞の負例画像を取得し（Ｓ１０３）、取得した負例画像から画像特徴量（ＨＯＧ特徴量）を算出して負例の学習データを生成する（Ｓ１０４）。
【００４７】
画像処理装置１０は、正例の学習データと、負例の学習データとに基づいて、標的細胞の画像特徴量を識別する識別器の状態（モデルパラメータ）を学習し（Ｓ１０５）、学習したモデルパラメータを記憶して（Ｓ１０６）、学習処理を終了する。
【００４８】
次に、光学顕微鏡２による試料（母胎血）の撮像画像から標的細胞を探索する処理について、図１１Ａ及び図１１Ｂに示されたフローチャートを参照しながら説明する。
【００４９】
図１１Ａに示されるように、画像処理装置１０は、光学顕微鏡２により母体血を撮像した撮像画像を取得し（Ｓ２０１）、取得した撮像画像にメディアンフィルター等の前処理を施す（Ｓ２０２）。そして、画像処理装置１０は、前処理を施した撮像画像について色（例えばＲＧＢ値）が予め定められた範囲にある画素を１（黒画素）、それ以外を０（白画素）とした二値化画像を生成する（Ｓ２０３）。ここで、二値化画像における黒画素は核の候補領域を示している。
【００５０】
画像処理装置１０は、二値化画像における黒画素のうち隣り合う画素同士を連結して連結画素群を生成し、連結画素群のラベリングを行う（Ｓ２０４）。
【００５１】
画像処理装置１０は、ラベリングした連結画素群のうち１つを選択し（Ｓ２０５、ここで選択した連結画素群をＬｉ、ｉの初期値＝１とする）、Ｌｉについて設定した外接矩形のサイズ及び形状が、標的細胞の候補として満たすべき条件を満足するか否かを判定する（Ｓ２０６）。Ｓ２０６で条件を満足すると判定された場合には（Ｓ２０６：Ｙ）、Ｌｉを標的細胞の探索対象領域として設定し（Ｓ２０７）、Ｓ２０６で条件を満足しないと判定された場合には（Ｓ２０６：Ｎ）、Ｌｉを標的細胞の探索対象領域に設定しない（Ｓ２０８）。画像処理装置１０は、未選択の連結画素群が残っている場合には（Ｓ２０９：Ｙ）、ｉをインクリメントして（Ｓ２１０）、Ｓ２０６に戻り、未選択の連結画素群が残っていない場合には（Ｓ２０９：Ｎ）、Ｓ２１１に進む。
【００５２】
図１１Ｂに示されるように、画像処理装置１０は、上記設定された探索対象領域（Ａ１〜Ａｍ）のうち１つを選択し（Ｓ２１１、ここで選択した探索対象領域Ａｊ、ｊの初期値＝１とする）、さらにＡｊの外接矩形内の画素のうち未選択の１画素を選択する（Ｓ２１２）。そして、画像処理装置１０は、上記選択した画素を中心とした所与のサイズの矩形領域（判定対象領域：サイズＳ、Ｓの初期値＝Ｓｍｉｎ）を撮像画像に設定し（Ｓ２１３）、当該設定した判定対象領域の画像の向きを正規化する（Ｓ２１４）とともに、当該判定対象領域の中心から撮像画像の端までの距離が閾値未満である場合（すなわち、判定対象領域が撮像画像の端で切れている場合）には画像補間処理を行う（Ｓ２１５）。この画像補間処理のフローの詳細については後述する。
【００５３】
画像処理装置１０は、上記処理の後に、上記設定した判定対象領域に含まれる画像の画像特徴量を算出し（Ｓ２１６）、算出した画像特徴量と、予め学習された標的細胞の画像特徴量を識別する識別器のモデルパラメータに基づいて、判定対象領域に標的細胞が含まれるか否かを判定し（Ｓ２１７）、標的細胞が含まれていると判定される場合には（Ｓ２１７：Ｙ）、判定対象領域に対応する撮像画像の座標範囲を記憶する（Ｓ２１８）。Ｓ２１８の後、及びＳ２１７で標的細胞が含まれていないと判定された場合（Ｓ２１７：Ｎ）において、Ａｊの外接矩形内の画素に未処理の画素が残っているときには（Ｓ２１９：Ｙ）、Ｓ２１２に戻り、未処理の画素が残っていないときには（Ｓ２１９：Ｎ）、判定対象領域のサイズＳがＳｍａｘ（＞Ｓｍｉｎ）に達しているか否かを判定する（Ｓ２２０）。ここで、判定対象領域のサイズＳがＳｍａｘに達していない場合には（Ｓ２２０：Ｎ）、ＳをΔＳだけ大きくして（Ｓ２２１）、Ｓ２１３に戻り、判定対象領域のサイズＳがＳｍａｘに達している場合には（Ｓ２２０：Ｙ）、Ｓ２２２に進む。
【００５４】
画像処理装置１０は、全ての探索対象領域を処理していない場合には（Ｓ２２２：Ｎ）、Ａｊのｊをインクリメントして（Ｓ２２３）、Ｓ２１２に戻り、全ての探索対象領域を処理した場合には（Ｓ２２２：Ｙ）、標的細胞が含まれると判定された撮像画像の座標範囲を表示して（Ｓ２２４）、処理を終了する。
【００５５】
次に、Ｓ２１５に示した画像補間処理の流れについて、図１２に示されたフローチャートを参照しながら説明する。
【００５６】
画像処理装置１０は、判定対象領域の中心から撮像画像の端までの距離（ｄ）が閾値（Ｍ）以上でない場合には（Ｓ３０１：Ｎ）、撮像画像の端に合わせて一辺の長さがＭ×Ｍ画素となるように領域を拡張し（Ｓ３０２）、拡張した領域に含まれる二値化画像のうち撮像画像の端と平行な線分のうち最長の部分を中心線に設定する（Ｓ３０３）。
【００５７】
画像処理装置１０は、設定した中心線から撮像画像の端までの距離Ｌを求め（Ｓ３０４）、拡張した領域において中心線に対して撮像画像の端と対向する端から、中心線と垂直の（Ｍ−Ｌ）画素×中心線と平行の２Ｍ画素からなる部分領域を中心線から線対称の位置に移動して、判定対象領域内の画像を補間する（Ｓ３０５）。Ｓ３０５の後、及び判定対象領域の中心から撮像画像の端までの距離（ｄ）が閾値（Ｍ）以上でない場合には（Ｓ３０１：Ｙ）、リターンする。
【００５８】
以上説明した、本実施形態に係る画像処理システム１によれば、母体血中に含まれるＮＲＢＣｓ（標的細胞）の候補を色又は濃度で第１の絞り込みを行い、さらに第１の絞り込みで得られた候補をＮＲＢＣｓのサイズ、形状で第２の絞り込みを行った結果に基づいて判定対象領域を設定し、その判定対象領域から得た画像特徴量をＮＲＢＣｓの正例及び負例に基づいて学習した基準と比較して判定対象領域内にＮＲＢＣｓが含まれているかを判定するようにしたことで、細胞の候補１つ１つにパターンマッチングを行う場合に比べて、母体血中に含まれるＮＲＢＣｓを検出する処理の負荷を軽減しつつも、母体血の検体ごとの差異や撮像条件等の差異の影響を受け難くなる。
【００５９】
本発明は上記の実施形態に限定されるものではない。例えば、上記の実施形態では、光学顕微鏡２から試料の撮像画像を順次入力される画像処理システム１の例を示したが、画像処理装置１０が通信網を介して情報処理装置から撮像画像内の標的細胞の探索要求を受け付けて、その探索結果を情報処理装置に返すようにしてもよい。
【符号の説明】
【００６０】
１ 画像処理システム、２ 光学顕微鏡、３ スライドグラス、４ 対物レンズ、５ ＣＣＤカメラ、６ 表示装置、１０ 画像処理装置、１２ 撮像画像取得部、１４ 前処理部、１６ 核候補領域抽出部、１８ 標的細胞候補領域抽出部、２０ 判定対象領域設定部、２２ 正規化部、２４ 画像補間部、２６ 特徴量演算部、２８ 学習データ取得部、３０ 学習部、３２ 判定部、３４ 標的細胞領域記憶部、３６ 結果出力部。
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム及び画像処理システムに関する。
【背景技術】
【０００２】
出生前の胎児の診断を行う場合に、母胎血中に極微量に含まれる胎児由来の有核赤血球（ＮＲＢＣｓ、以下標的細胞）を検出し、利用することが行われている。母胎血中に存在するＮＲＢＣｓの数は極めて少ないため、ＮＲＢＣｓを目視により検出するのは負担が大きい。そこで、下記の特許文献１に記載されているように、ＮＲＢＣｓの色、形状、位置関係、面積比等の条件に合致する細胞を対象画像から探索することにより、ＮＲＢＣｓを機械的に検出する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４３４６９２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、核を有する標的細胞を撮像した撮像画像から画像処理によって標的細胞を探索する場合に、標的細胞の検体ごとの差異や撮像条件等の差異の影響を受け難くすることができる画像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に記載の発明は、核を有する標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、前記撮像画像に含まれる画素の中から、前記核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出する第１抽出手段と、前記第１抽出手段により抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、前記標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいて抽出する第２抽出手段と、前記第２抽出手段により抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を前記撮像画像に設定する設定手段と、前記設定手段により設定した矩形領域から得られる画像特徴量が、前記標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含むことを特徴とする画像処理装置である。
【０００６】
また、請求項２に記載の発明は、前記設定手段により設定した矩形領域の中心と、当該矩形領域に含まれる前記連結画素群の重心とを結ぶベクトルが予め定められた方向を向くように前記矩形領域に含まれる前記撮像画像を回転させた後に、当該回転させた前記撮像画像から画像特徴量を取得する画像特徴量取得手段をさらに含み、前記判定手段は、前記画像特徴量取得手段により取得された画像特徴量が、前記画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定することを特徴とする請求項１に記載の画像処理装置である。
【０００７】
また、請求項３に記載の発明は、前記設定手段により設定される矩形領域に前記撮像画像の端が含まれる場合に、当該矩形領域に含まれる画像のうち、当該矩形領域に含まれる前記連結画素群内に設定した中心線に対して前記端と対称の領域よりも前記中心線に対して外側にある画像を前記端側に結合して補間する補間手段をさらに含むことを特徴とする請求項１又は２に記載の画像処理装置である。
【０００８】
また、請求項４に記載の発明は、前記判定手段により標的細胞が含まれると判定された矩形領域に対応する前記撮像画像の座標領域を表示装置に表示させることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置である。
【０００９】
また、請求項５に記載の発明は、核を有する標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、前記撮像画像に含まれる画素の中から、前記核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出する第１抽出手段と、前記第１抽出手段により抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、前記標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいて抽出する第２抽出手段と、前記第２抽出手段により抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を前記撮像画像に設定する設定手段と、前記設定手段により設定した矩形領域から得られる画像特徴量が、前記標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する判定手段としてコンピュータを機能させるためのプログラムである。
【００１０】
また、請求項６に記載の発明は、画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、前記画像処理装置は、核を有する標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、前記撮像画像に含まれる画素の中から、前記核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出する第１抽出手段と、前記第１抽出手段により抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、前記標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいて抽出する第２抽出手段と、前記第２抽出手段により抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を前記撮像画像に設定する設定手段と、前記設定手段により設定した矩形領域から得られる画像特徴量が、前記標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含むことを特徴とする画像処理システムである。
【発明の効果】
【００１１】
請求項１、５及び６に記載の発明によれば、本構成を有しない場合と比較して、核を有する標的細胞を撮像した撮像画像から画像処理によって標的細胞を探索する場合に、標的細胞の検体ごとの差異や撮像条件等の差異の影響を受け難くすることができる。
【００１２】
請求項２に記載の発明によれば、矩形領域内の画像を一定の向きに合わせてから取得した画像特徴量を用いることにより、本構成を有しない場合と比較して、矩形領域内の画像が標的細胞であるか否かを精度良く判定できる。
【００１３】
請求項３に記載の発明によれば、本構成を有しない場合と比較して、撮像画像の端に設定された矩形領域からも、矩形領域内の画像が標的細胞であるか否かを精度良く判定できる。
【００１４】
請求項４に記載の発明によれば、核を有する標的細胞を撮像した撮像画像のうち、標的細胞が含まれる画像領域を表示させることができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る画像処理システムのシステム構成図である。
【図２】画像処理装置の機能ブロック図である。
【図３】試料（母胎血）を光学顕微鏡で撮像した撮像画像の一例を示す図である。
【図４】核候補の画素の一例を示す図である。
【図５】標的細胞の候補として抽出された画素群の一例を示す図である。
【図６】撮像画像に設定された判定対象領域の一例を示す図である。
【図７】正規化部による処理の流れを説明した図である。
【図８】画像補間部による処理の流れを説明した図である。
【図９】ＨＯＧ特徴量を説明する図である。
【図１０】標的細胞の正例及び負例に基づいて行われる画像特徴量の学習処理のフローチャートである。
【図１１Ａ】光学顕微鏡による試料（母胎血）の撮像画像から標的細胞を探索する処理のフローチャートである。
【図１１Ｂ】光学顕微鏡による試料（母胎血）の撮像画像から標的細胞を探索する処理のフローチャートである。
【図１２】画像補間処理のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための実施の形態（以下、実施形態という）を、図面に従って説明する。
【００１７】
図１には、本実施形態に係る画像処理システム１のシステム構成図を示す。図１に示されるように、画像処理システム１は、光学顕微鏡２、画像処理装置１０、表示装置６を含み、画像処理装置１０は光学顕微鏡２と表示装置６の各々とデータ通信可能に接続されている。
【００１８】
光学顕微鏡２は、試料台に配置されたスライドグラス３上の試料を、対物レンズ４等の光学系を介してＣＣＤカメラ５で撮像する。本実施形態では、試料には、母体血をスライドグラス３に塗布し、メイ・ギムザ染色を施したものを用いる。これにより、母体血中の胎児由来有核赤血球（ＮＲＢＣｓ）が青紫色に染色される。以下、ＮＲＢＣｓを標的細胞と称する。
【００１９】
画像処理装置１０は、光学顕微鏡２で撮像された撮像画像を取得するとともに、当該取得した撮像画像の中から標的細胞を探索する。画像処理装置１０において行われる標的細胞の探索処理の詳細については後述する。
【００２０】
表示装置６は、画像処理装置１０による処理の結果に基づいて画面を表示する。例えば、表示装置６には、光学顕微鏡２で撮像された撮像画像や、画像処理装置１０による標的細胞の探索結果等が表示される。
【００２１】
図２には、画像処理装置１０の機能ブロック図を示した。図２に示されるように、画像処理装置１０は、撮像画像取得部１２、前処理部１４、核候補領域抽出部１６、標的細胞候補領域抽出部１８、判定対象領域設定部２０、正規化部２２、画像補間部２４、特徴量演算部２６、学習データ取得部２８、学習部３０、判定部３２、標的細胞領域記憶部３４、及び結果出力部３６を備える。
【００２２】
画像処理装置１０に備えられた上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる画像処理装置１０に供給されることとしてもよいし、インターネット等のデータ通信網を介して画像処理装置１０に供給されることとしてもよい。
【００２３】
撮像画像取得部１２は、光学顕微鏡２に備えられたＣＣＤカメラ５より試料を撮像した撮像画像を光学顕微鏡２から取得する。
【００２４】
図３には、撮像画像取得部１２により取得された、試料（母胎血）を光学顕微鏡２で撮像した撮像画像の一例を示した。図３に示される撮像画像において、濃く着色された核を有する細胞が標的細胞である。なお、標的細胞（ＮＲＢＣｓ）は、以下の４つの特徴を有している（多量な顕微鏡画像からの有核赤血球の自動抽出、画像電子学会誌、Ｖｏｌ．３７ Ｎｏ．５ ２００８年９月を参照）。ＮＲＢＣｓの第１の特徴は、ＮＲＢＣｓには１個の核が存在し、核の形状は真円に近く、密度が高いという点である。第２の特徴は、ＮＲＢＣｓの核はメイ・ギムザ染色により他の細胞の核よりもわずかに濃く染色される点である。第３の特徴は、ＮＲＢＣｓの面積とその核の面積、及びその比率は特定の範囲内に収まるという点である。そして、第４の特徴は、ＮＲＢＣｓは核と細胞質の濃度差が他の細胞に比べてわずかに大きいという点である。
【００２５】
前処理部１４は、撮像画像取得部１２により取得された撮像画像にヒストグラム正規化、主成分分析による色合わせ、平均値フィルタ、メディアンフィルター等の画像処理を施して、撮像画像の色の正規化やノイズ除去を行う。
【００２６】
核候補領域抽出部１６は、前処理部１４によりノイズが除去された撮像画像に対して、色又は濃度が予め定められた範囲内にある画素を、核の候補領域として抽出する。例えば、核候補領域抽出部１６は、撮像画像内の画素を、予め定められた色（又は濃度）の閾値により二値化することとしてよく、具体的には、色（又は濃度）が閾値よりも（又は閾値以上）濃い画素を黒画素として抽出することとしてよい。
【００２７】
図４には、図３に示された撮像画像に対して、核候補領域抽出部１６により抽出された核候補の画素の一例を示した。図４に示されるように、核候補領域抽出部１６による処理により、撮像画像の中から核の候補となる領域（画素）が抽出される。
【００２８】
標的細胞候補領域抽出部１８は、核候補領域抽出部１６により抽出された核の候補となる画素のうち隣り合う画素をそれぞれ連結した連結画素群の中から、大きさ及び形状が予め定められた条件を満足する連結画素群を標的細胞の候補となる画素群（標的細胞候補領域）として抽出する。例えば、標的細胞候補領域抽出部１８は、核候補領域抽出部１６により抽出された核候補の画素（黒画素）を連結した連結画素群をラベリングし（連結画素群１〜ｎ）、連結画素群ｉ（ｉ＝１〜ｎ）のそれぞれについて外接矩形を設定する。そして、標的細胞候補領域抽出部１８は、設定した外接矩形の縦と横の長さ、縦と横の長さの比、外接矩形内の黒画素密度が、それぞれの値について予め定められた範囲にある連結画素群を標的細胞の候補として抽出する。
【００２９】
図５には、図４に示された核候補の画素から標的細胞の候補として抽出された画素群の一例を示した。図５に示されるように、標的細胞候補領域抽出部１８による処理により、核候補の中からさらに標的細胞における核の可能性がある画像領域が抽出される。
【００３０】
判定対象領域設定部２０は、標的細胞候補領域抽出部１８により抽出された連結画素群に設定された矩形領域（候補矩形領域）の画素を中心とした所与のサイズ（例えばＮ×Ｍ画素）の矩形領域（判定対象矩形領域）を撮像画像に設定する。例えば、判定対象領域設定部２０は、候補矩形領域の中から１画素を選択し、当該選択した１画素の位置座標に基づいて撮像画像における対応画素を特定し、当該特定した対応画素を中心とした所与のサイズの判定対象矩形領域を設定する。なお、判定対象領域設定部２０は、候補矩形領域の中から１画素を順次選択し、選択した画素ごとに判定対象領域を設定することとしてよい。
【００３１】
図６には、判定対象領域設定部２０により撮像画像に設定された判定対象領域の一例を示した。図６に示されるように、候補矩形領域の１画素を中心として判定対象領域が設定される。
【００３２】
正規化部２２は、判定対象領域設定部２０により設定された判定対象領域内の画像の向きが予め定められた向きとなるように回転させる処理を行う。例えば、正規化部２２は、判定対象領域内の二値化画像の重心位置を求め、判定対象領域の中心位置と上記求めた重心位置とを結ぶ方位ベクトルが、予め定められた方位（例えば上向き）を向くのに要する回転角度を演算する。そして、正規化部２２は、上記演算された回転角度で、判定対象領域内の画像（撮像画像の部分画像）を回転させる。なお、正規化部２２による処理は、必ずしも実行しなくともよい。
【００３３】
図７には、正規化部２２による処理の流れを説明した図を示した。図７（Ａ）は撮像画像に設定された判定対象領域であり、図７（Ｂ）は判定対象領域内の二値化画像である。そして、図７（Ｂ）の方位ベクトルが上に向くのに必要な回転角度θで、図７（Ａ）に示される撮像画像を回転させて判定対象領域で切り取った画像が図７（Ｃ）である。
【００３４】
画像補間部２４は、判定対象領域設定部２０により設定された判定対象領域内に、撮像画像の端が含まれている場合に、判定対象領域内の画像を補間する。例えば、画像補間部２４は、判定対象領域を予め定められたサイズ（２Ｍ×２Ｍ）となるように拡張した後に、当該拡張した判定対象領域に含まれる二値化画像のうち撮像画像の端と平行な線分のうち最長の部分を中心線に設定する。そして、画像補間部２４は、設定した中心線から撮像画像の端までの距離Ｌを求め、拡張した領域において中心線に対して撮像画像の端と対向する端から、中心線と垂直に（Ｍ−Ｌ）画素、中心線と平行の２Ｍ画素からなる部分領域を中心線に対して線対称の位置に移動して、判定対象領域内の画像を補間する。
【００３５】
図８には、画像補間部２４による処理の流れを説明した図を示した。図８（Ａ）は判定対象領域設定部２０により設定された判定対象領域の例であり、図８（Ａ）に示されるように判定対象領域には撮像画像の端が含まれている。このとき、画像補間部２４は、図８（Ｂ）に示されるように、判定対象領域が２Ｍ×２Ｍとなるように拡張した後に、判定対象領域内の二値化画像のうち撮像画像の端と平行であって最も長い線分の位置を中心線として設定する。次に、画像補間部２４は、中心線と撮像画像の端との長さＬを求め（図８（Ｃ）参照）、拡張した判定対称領域において中心線に対して撮像画像の端と対向する端から、中心線と垂直に（Ｍ−Ｌ）画素、中心線と平行の２Ｍ画素からなる部分領域を中心線に対して線対称の位置に移動し結合した図が図８（Ｄ）である。なお、結合する部分領域は中心線に対して反転させることとしてよい。
【００３６】
特徴量演算部２６は、判定対象領域設定部２０により設定された判定対象領域内の画像（正規化処理部による正規化後の画像であることが好ましいが正規化処理をしていない画像でもよい）についての画像特徴量を演算する。例えば、画像特徴量には、ＨＯＧ特徴量を用いることとしてよい。
【００３７】
図９には、特徴量演算部２６により演算されるＨＯＧ特徴量を説明する図を示した。図９（Ａ）に示されるように、判定対象領域を予め定められた数（例えば４×４）の部分領域に分割し、各部分領域内の各画素において輝度勾配の方向を算出し、算出した輝度勾配方向のヒストグラムを各部分領域に対して計算し、各領域のヒストグラムを連結することによりＨＯＧ特徴量を算出する。図９（Ｂ）に示されるように、輝度勾配方向は例えば８方向（上、右上、右下、右、下、左下、左、左上）としてよい。
【００３８】
学習データ取得部２８は、標的細胞の正例と負例の標本画像を取得し、当該取得した正例と負例の標本画像のそれぞれについての画像特徴量を取得する。例えば、学習データ取得部２８は、標本画像について特徴量演算部２６によりＨＯＧ特徴量を演算し、その結果を得ることとしてもよい。
【００３９】
学習部３０は、学習データ取得部２８により得た正例と負例のそれぞれの画像特徴量に基づいて、標的細胞とそれ以外とを識別する画像特徴量の条件（基準）を学習する。なお、学習は、サポートベクターマシン（Support Vector Machine）、アダブースト（AdaBoost）等の学習アルゴリズムを用いて行うこととしてよい。例えば、学習にサポートベクターマシンを用いた場合には、学習される画像特徴量の条件は、標的細胞に合致する画像特徴量と、合致しない画像特徴量とを分離する超平面により表される。
【００４０】
判定部３２は、判定対象領域設定部２０により設定された判定対象領域内の画像について特徴量演算部２６により演算された画像特徴量が、学習部３０により学習された標的細胞とそれ以外とを識別する画像特徴量の条件を満たすか否かに基づいて、上記判定対称領域内の画像が標的細胞を表すか否かを判定する。
【００４１】
標的細胞領域記憶部３４は、判定部３２により標的細胞を含むと判定された判定対象領域に対応する撮像画像中の座標範囲を記憶する。なお、標的細胞領域記憶部３４には、標的細胞を含むと判定された複数の判定対象領域が重なった部分を標的細胞の存在領域として記憶するようにしてもよい。
【００４２】
結果出力部３６は、標的細胞領域記憶部３４に記憶された撮像画像の座標範囲に基づく結果を出力する。例えば、結果出力部３６は、標的細胞領域記憶部３４に記憶された撮像画像の座標範囲を表示する画像を表示装置６に表示させたり、当該座標範囲に光学顕微鏡２の撮像位置を移動させたりする処理を行うこととしてよい。
【００４３】
次に、画像処理装置１０において行われる処理の流れの一例を、図１０、図１１Ａ、図１１Ｂ、及び図１２に示したフローチャートを参照しながら説明する。
【００４４】
図１０には、標的細胞の正例及び負例に基づいて行われる画像特徴量の学習処理のフローチャートを示した。
【００４５】
画像処理装置１０は、標的細胞の正例画像を取得し（Ｓ１０１）、取得した正例画像から画像特徴量（ＨＯＧ特徴量）を算出して正例の学習データを生成する（Ｓ１０２）。
【００４６】
次に、画像処理装置１０は、標的細胞の負例画像を取得し（Ｓ１０３）、取得した負例画像から画像特徴量（ＨＯＧ特徴量）を算出して負例の学習データを生成する（Ｓ１０４）。
【００４７】
画像処理装置１０は、正例の学習データと、負例の学習データとに基づいて、標的細胞の画像特徴量を識別する識別器の状態（モデルパラメータ）を学習し（Ｓ１０５）、学習したモデルパラメータを記憶して（Ｓ１０６）、学習処理を終了する。
【００４８】
次に、光学顕微鏡２による試料（母胎血）の撮像画像から標的細胞を探索する処理について、図１１Ａ及び図１１Ｂに示されたフローチャートを参照しながら説明する。
【００４９】
図１１Ａに示されるように、画像処理装置１０は、光学顕微鏡２により母体血を撮像した撮像画像を取得し（Ｓ２０１）、取得した撮像画像にメディアンフィルター等の前処理を施す（Ｓ２０２）。そして、画像処理装置１０は、前処理を施した撮像画像について色（例えばＲＧＢ値）が予め定められた範囲にある画素を１（黒画素）、それ以外を０（白画素）とした二値化画像を生成する（Ｓ２０３）。ここで、二値化画像における黒画素は核の候補領域を示している。
【００５０】
画像処理装置１０は、二値化画像における黒画素のうち隣り合う画素同士を連結して連結画素群を生成し、連結画素群のラベリングを行う（Ｓ２０４）。
【００５１】
画像処理装置１０は、ラベリングした連結画素群のうち１つを選択し（Ｓ２０５、ここで選択した連結画素群をＬｉ、ｉの初期値＝１とする）、Ｌｉについて設定した外接矩形のサイズ及び形状が、標的細胞の候補として満たすべき条件を満足するか否かを判定する（Ｓ２０６）。Ｓ２０６で条件を満足すると判定された場合には（Ｓ２０６：Ｙ）、Ｌｉを標的細胞の探索対象領域として設定し（Ｓ２０７）、Ｓ２０６で条件を満足しないと判定された場合には（Ｓ２０６：Ｎ）、Ｌｉを標的細胞の探索対象領域に設定しない（Ｓ２０８）。画像処理装置１０は、未選択の連結画素群が残っている場合には（Ｓ２０９：Ｙ）、ｉをインクリメントして（Ｓ２１０）、Ｓ２０６に戻り、未選択の連結画素群が残っていない場合には（Ｓ２０９：Ｎ）、Ｓ２１１に進む。
【００５２】
図１１Ｂに示されるように、画像処理装置１０は、上記設定された探索対象領域（Ａ１〜Ａｍ）のうち１つを選択し（Ｓ２１１、ここで選択した探索対象領域Ａｊ、ｊの初期値＝１とする）、さらにＡｊの外接矩形内の画素のうち未選択の１画素を選択する（Ｓ２１２）。そして、画像処理装置１０は、上記選択した画素を中心とした所与のサイズの矩形領域（判定対象領域：サイズＳ、Ｓの初期値＝Ｓｍｉｎ）を撮像画像に設定し（Ｓ２１３）、当該設定した判定対象領域の画像の向きを正規化する（Ｓ２１４）とともに、当該判定対象領域の中心から撮像画像の端までの距離が閾値未満である場合（すなわち、判定対象領域が撮像画像の端で切れている場合）には画像補間処理を行う（Ｓ２１５）。この画像補間処理のフローの詳細については後述する。
【００５３】
画像処理装置１０は、上記処理の後に、上記設定した判定対象領域に含まれる画像の画像特徴量を算出し（Ｓ２１６）、算出した画像特徴量と、予め学習された標的細胞の画像特徴量を識別する識別器のモデルパラメータに基づいて、判定対象領域に標的細胞が含まれるか否かを判定し（Ｓ２１７）、標的細胞が含まれていると判定される場合には（Ｓ２１７：Ｙ）、判定対象領域に対応する撮像画像の座標範囲を記憶する（Ｓ２１８）。Ｓ２１８の後、及びＳ２１７で標的細胞が含まれていないと判定された場合（Ｓ２１７：Ｎ）において、Ａｊの外接矩形内の画素に未処理の画素が残っているときには（Ｓ２１９：Ｙ）、Ｓ２１２に戻り、未処理の画素が残っていないときには（Ｓ２１９：Ｎ）、判定対象領域のサイズＳがＳｍａｘ（＞Ｓｍｉｎ）に達しているか否かを判定する（Ｓ２２０）。ここで、判定対象領域のサイズＳがＳｍａｘに達していない場合には（Ｓ２２０：Ｎ）、ＳをΔＳだけ大きくして（Ｓ２２１）、Ｓ２１３に戻り、判定対象領域のサイズＳがＳｍａｘに達している場合には（Ｓ２２０：Ｙ）、Ｓ２２２に進む。
【００５４】
画像処理装置１０は、全ての探索対象領域を処理していない場合には（Ｓ２２２：Ｎ）、Ａｊのｊをインクリメントして（Ｓ２２３）、Ｓ２１２に戻り、全ての探索対象領域を処理した場合には（Ｓ２２２：Ｙ）、標的細胞が含まれると判定された撮像画像の座標範囲を表示して（Ｓ２２４）、処理を終了する。
【００５５】
次に、Ｓ２１５に示した画像補間処理の流れについて、図１２に示されたフローチャートを参照しながら説明する。
【００５６】
画像処理装置１０は、判定対象領域の中心から撮像画像の端までの距離（ｄ）が閾値（Ｍ）以上でない場合には（Ｓ３０１：Ｎ）、撮像画像の端に合わせて一辺の長さがＭ×Ｍ画素となるように領域を拡張し（Ｓ３０２）、拡張した領域に含まれる二値化画像のうち撮像画像の端と平行な線分のうち最長の部分を中心線に設定する（Ｓ３０３）。
【００５７】
画像処理装置１０は、設定した中心線から撮像画像の端までの距離Ｌを求め（Ｓ３０４）、拡張した領域において中心線に対して撮像画像の端と対向する端から、中心線と垂直の（Ｍ−Ｌ）画素×中心線と平行の２Ｍ画素からなる部分領域を中心線から線対称の位置に移動して、判定対象領域内の画像を補間する（Ｓ３０５）。Ｓ３０５の後、及び判定対象領域の中心から撮像画像の端までの距離（ｄ）が閾値（Ｍ）以上でない場合には（Ｓ３０１：Ｙ）、リターンする。
【００５８】
以上説明した、本実施形態に係る画像処理システム１によれば、母体血中に含まれるＮＲＢＣｓ（標的細胞）の候補を色又は濃度で第１の絞り込みを行い、さらに第１の絞り込みで得られた候補をＮＲＢＣｓのサイズ、形状で第２の絞り込みを行った結果に基づいて判定対象領域を設定し、その判定対象領域から得た画像特徴量をＮＲＢＣｓの正例及び負例に基づいて学習した基準と比較して判定対象領域内にＮＲＢＣｓが含まれているかを判定するようにしたことで、細胞の候補１つ１つにパターンマッチングを行う場合に比べて、母体血中に含まれるＮＲＢＣｓを検出する処理の負荷を軽減しつつも、母体血の検体ごとの差異や撮像条件等の差異の影響を受け難くなる。
【００５９】
本発明は上記の実施形態に限定されるものではない。例えば、上記の実施形態では、光学顕微鏡２から試料の撮像画像を順次入力される画像処理システム１の例を示したが、画像処理装置１０が通信網を介して情報処理装置から撮像画像内の標的細胞の探索要求を受け付けて、その探索結果を情報処理装置に返すようにしてもよい。
【符号の説明】
【００６０】
１ 画像処理システム、２ 光学顕微鏡、３ スライドグラス、４ 対物レンズ、５ ＣＣＤカメラ、６ 表示装置、１０ 画像処理装置、１２ 撮像画像取得部、１４ 前処理部、１６ 核候補領域抽出部、１８ 標的細胞候補領域抽出部、２０ 判定対象領域設定部、２２ 正規化部、２４ 画像補間部、２６ 特徴量演算部、２８ 学習データ取得部、３０ 学習部、３２ 判定部、３４ 標的細胞領域記憶部、３６ 結果出力部。
【特許請求の範囲】
【請求項１】
核を有する標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、
前記撮像画像に含まれる画素の中から、前記核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出する第１抽出手段と、
前記第１抽出手段により抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、前記標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいて抽出する第２抽出手段と、
前記第２抽出手段により抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を前記撮像画像に設定する設定手段と、
前記設定手段により設定した矩形領域から得られる画像特徴量が、前記標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する判定手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記設定手段により設定した矩形領域の中心と、当該矩形領域に含まれる前記連結画素群の重心とを結ぶベクトルが予め定められた方向を向くように前記矩形領域に含まれる前記撮像画像を回転させた後に、当該回転させた前記撮像画像から画像特徴量を取得する画像特徴量取得手段をさらに含み、
前記判定手段は、前記画像特徴量取得手段により取得された画像特徴量が、前記画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段により設定される矩形領域に前記撮像画像の端が含まれる場合に、当該矩形領域に含まれる画像のうち、当該矩形領域に含まれる前記連結画素群内に設定した中心線に対して前記端と対称の領域よりも前記中心線に対して外側にある画像を前記端側に結合して補間する補間手段をさらに含む
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記判定手段により標的細胞が含まれると判定された矩形領域に対応する前記撮像画像の座標領域を表示装置に表示させる
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
核を有する標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、
前記撮像画像に含まれる画素の中から、前記核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出する第１抽出手段と、
前記第１抽出手段により抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、前記標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいて抽出する第２抽出手段と、
前記第２抽出手段により抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を前記撮像画像に設定する設定手段と、
前記設定手段により設定した矩形領域から得られる画像特徴量が、前記標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する判定手段
としてコンピュータを機能させるためのプログラム。
【請求項６】
画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、
前記画像処理装置は、
核を有する標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、
前記撮像画像に含まれる画素の中から、前記核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出する第１抽出手段と、
前記第１抽出手段により抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、前記標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいて抽出する第２抽出手段と、
前記第２抽出手段により抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を前記撮像画像に設定する設定手段と、
前記設定手段により設定した矩形領域から得られる画像特徴量が、前記標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する判定手段と、
を含むことを特徴とする画像処理システム。
【請求項１】
核を有する標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、
前記撮像画像に含まれる画素の中から、前記核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出する第１抽出手段と、
前記第１抽出手段により抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、前記標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいて抽出する第２抽出手段と、
前記第２抽出手段により抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を前記撮像画像に設定する設定手段と、
前記設定手段により設定した矩形領域から得られる画像特徴量が、前記標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する判定手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記設定手段により設定した矩形領域の中心と、当該矩形領域に含まれる前記連結画素群の重心とを結ぶベクトルが予め定められた方向を向くように前記矩形領域に含まれる前記撮像画像を回転させた後に、当該回転させた前記撮像画像から画像特徴量を取得する画像特徴量取得手段をさらに含み、
前記判定手段は、前記画像特徴量取得手段により取得された画像特徴量が、前記画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段により設定される矩形領域に前記撮像画像の端が含まれる場合に、当該矩形領域に含まれる画像のうち、当該矩形領域に含まれる前記連結画素群内に設定した中心線に対して前記端と対称の領域よりも前記中心線に対して外側にある画像を前記端側に結合して補間する補間手段をさらに含む
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記判定手段により標的細胞が含まれると判定された矩形領域に対応する前記撮像画像の座標領域を表示装置に表示させる
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
核を有する標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、
前記撮像画像に含まれる画素の中から、前記核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出する第１抽出手段と、
前記第１抽出手段により抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、前記標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいて抽出する第２抽出手段と、
前記第２抽出手段により抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を前記撮像画像に設定する設定手段と、
前記設定手段により設定した矩形領域から得られる画像特徴量が、前記標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する判定手段
としてコンピュータを機能させるためのプログラム。
【請求項６】
画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、
前記画像処理装置は、
核を有する標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、
前記撮像画像に含まれる画素の中から、前記核の候補となる画素を、当該候補となる画素が有すべき色又は輝度の少なくとも一方について予め定められた第１の条件に基づいて抽出する第１抽出手段と、
前記第１抽出手段により抽出された画素について隣り合う画素をそれぞれ連結した連結画素群の中から、前記標的細胞の候補となる連結画素群を、当該候補となる連結画素群が有すべき大きさ及び形状について予め定められた第２の条件に基づいて抽出する第２抽出手段と、
前記第２抽出手段により抽出された連結画素群に含まれる画素を中心とする所与の大きさの矩形領域を前記撮像画像に設定する設定手段と、
前記設定手段により設定した矩形領域から得られる画像特徴量が、前記標的細胞の正例及び負例の標本画像に基づいて機械学習された画像特徴量の条件を満足するか否かに基づいて、前記矩形領域に前記標的細胞が含まれるか否かを判定する判定手段と、
を含むことを特徴とする画像処理システム。
【図１】
【図２】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２５４０４２（Ｐ２０１２−２５４０４２Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２９３５０（Ｐ２０１１−１２９３５０）
【出願日】平成２３年６月９日（２０１１．６．９）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月９日（２０１１．６．９）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]