説明

画像におけるノイズ除去装置

【課題】本当にノイズであるか否かを正確に判断してノイズを除去できるようにする。
【解決手段】病理画像からノイズ5を除去する場合、癌細胞4aが存在する同一部位に対して異なる解像度の第一層画像21から第三層画像23を取得する。そして、まず、第一層画像21をセルに区切り、各セルがノイズ5であるか否かを第一確率モデルで判断する。その結果、そのセルがノイズ5でないと判断された場合は、そのセルの高解像度の画像を読み出し、セルで区切ってノイズ5であるか否かを第二確率モデルで判断する。この第二確率モデルを作成する場合、第一確率モデルの判断結果を組み込んで作成し、これによって、低解像度の画像で全体を見渡してノイズを判断し、また、高解像度の画像でその結果を考慮した細かい部分を判断する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、原画像からノイズを除去して特定の画像だけを抽出できるようにしたノイズ除去装置に関するもので、より詳しくは、例えば、解像度毎に異なる確率モデルを用いてノイズを高精度に除去できるようにしたノイズ除去装置に関するものである。
【背景技術】
【0002】
従来より、画像内におけるノイズを除去して特定の画像だけを抽出するノイズ除去方法が各種提案されている。
【0003】
このうちの一つの方法が、原画像とノイズの周波数分布の違いに基づいてノイズを除去する方法であり(特許文献1)、また、もう一つの方法が、確率モデルによってノイズを除去する方法である(特許文献2、特許文献3など)。これらの方法によれば、原画像からある程度ノイズを除去してきれいな画像を抽出することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2000−152036号公報
【特許文献2】特開平7−123277号公報
【特許文献3】特開2006−310999号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、このように原画像からノイズを除去する際、その除去されるノイズが本当にノイズであるかどうかを正確に判断しなければならないケースがある。例えば、癌細胞を含む病理画像から癌細胞を抽出するようなケースなどの場合においては、癌細胞とそれ以外の細胞の画像やノイズ(以下、まとめてノイズと称する)とを正確に見極めなければ、誤診の原因となりかねない。
【0006】
このような場合、一般的には、特定の解像度で取得された画像に基づいてノイズであるか否かを判断することになるが、その画像が比較的低解像度の画像である場合は、図6(a)に示すように、全体を見渡すことで、癌細胞とそれ以外の画像とを大まかに切り分けることができる。なお、図6(a)において、符号4aが癌細胞であり、符号5を示す領域がそれ以外のノイズとみなされる領域である。
【0007】
しかしながら、このように低解像度の画像で判断すると、細かな部分における判断が疎かにになり、誤った判断を生じさせてしまう可能性がある。具体的には、図6(a)において、黒い画像が密集した領域は癌細胞であるかノイズであるかを判断することが難しくなり誤診となりかねない。
【0008】
一方で、高解像度で取得された画像に基づいて判断しようとすると、判断対象となるセルが癌細胞であるかそれ以外の細胞であるかを判断できなくなってしまう可能性がある。例えば、図6(b)に示すように、図6(a)よりも高解像度の画像で細かな領域を判断しようとすると、ノイズが大きくなり、これが癌細胞であるかノイズであるかを判断することが難しくなる。
【0009】
また、このような病理画像による診断だけでなく、他の分野においても抽出されるべき画像とそれ以外の画像とを正確に切り分けしなければならないような場合も多く、産業界においては原画像からノイズを正確に除去する要請が高くなってきている。
【0010】
そこで、本発明は上記課題に着目してなされたものであり、原画像からノイズを除去する場合に、それが本当にノイズであるかどうかを正確に判断してノイズを除去できるようにしたノイズ除去装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
すなわち、本発明のノイズ除去装置は、上記課題を解決するために、原画像からノイズを除去するノイズ除去装置において、同一対象物に対して低解像度の画像と高解像度の画像を少なくとも2枚記憶させておく記憶手段と、低解像度の画像を所定のセルに区切り、当該セルがノイズであるか否かを判断する第一判断手段と、当該第一判断手段におけるセルの判断において、当該セルがノイズでないと判断された場合、当該セルの高解像度の画像を所定のセルで区切り、当該セルがノイズであるか否かを判断する第二判断手段とを備えるようにしたものである。
【0012】
また、別の発明では、第一判断手段におけるセルの判断において、当該セルがノイズであると判断された場合、当該セルの高解像度の画像を所定のセルで区切り、当該セルがノイズであるか否かを判断する第三判断手段とを備えるようにする。
【0013】
このようにすれば、低解像度の画像を用いて全体を見渡すことでノイズであるか否かをおおまかに判断することができ、また、高解像度の画像で細かい部分を判断することでノイズであるか否かを高精度に判断できるようになる。すなわち、はじめから高解像度の画像だけでノイズを除去しようとすると、判断対象となる小さなセルの領域内だけでノイズであるか否かを判断することができなくなってしまうが、低解像度の画像と組み合わせることでそれぞれの画像の利点を活かして高精度にノイズを除去することができるようになる。
【0014】
また、このような発明において、前記第一判断手段における判断結果を、第二判断手段や第三判断手段における判断に組み込んで判断できるようにする。
【0015】
このようにすれば、低解像度の画像による判断結果を高解像度の画像の判断に組み込むことで、判断対象となるセルが低解像度の画像においてノイズであるかどうかを判断することができ、高解像度の小さなセルの判断においても全体的な判断を誤るようなことがなくなる。
【0016】
さらに、このような発明において第一判断手段によってノイズか否かを判断する場合に、確率モデルを用いてノイズであるかどうかを判断し、前記第一判断手段によってノイズでないと判断されたセルのノイズ確率又は非ノイズ確率を抽出し、当該非ノイズ確率又はノイズ確率を考慮した第二確率モデルを用いて第二判断手段でセルの判断を行うようにする。
【0017】
もしくは、第三判断手段において、第一判断手段によってノイズであると判断されたセルの非ノイズ確率又はノイズ確率を抽出し、当該ノイズ確率又は非ノイズ確率を考慮した第三確率モデルを用いて前記第三判断手段でセルの判断を行うようにする。
【0018】
このようにすれば、低解像度の画像におけるセルでノイズであると判断された確率を考慮するので、次に、高解像度の画像で判断する際に、そのセルの何パーセントがノイズであるかなどの全体的な判断を誤るようなことがなくなる。
【発明の効果】
【0019】
本発明によれば、同一対象物に対して低解像度の画像と高解像度の画像を少なくとも2枚記憶させておく記憶手段と、低解像度の画像を所定のセルに区切り、当該セルがノイズであるか否かを判断する第一判断手段と、当該第一判断手段におけるセルの判断において、当該セルがノイズでないと判断された場合、当該セルの高解像度の画像を所定のセルで区切り、当該セルがノイズであるか否かを判断する第二判断手段とを備えるようにしたので、低解像度の画像を用いて全体を見渡すことでノイズであるか否かを大きく判断することができ、また、高解像度の画像で細かい部分を判断することでノイズであるか否かを高精度に判断できるようになる。すなわち、はじめから高解像度の画像だけでノイズを除去しようとすると、判断対象となる小さなセルの領域内だけでノイズであるか否かを判断することができなくなってしまうが、低解像度の画像と組み合わせることでそれぞれの画像の利点を活かして高精度にノイズを除去することができるようになる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施の形態におけるノイズ除去装置の機能ブロック図
【図2】同実施の形態における低解像度の画像と高解像度の画像の階層関係を示す図
【図3】同実施の形態における確率モデルとセルの修正を示す図
【図4】同実施の形態における教師画像に基づいて確率モデルを作成する場合のフローチャート
【図5】同実施の形態におけるノイズ除去する場合のフローチャート
【図6】低解像度で取得された画像と高解像度で取得された画像を示す図
【図7】ノイズを除去した場合の画像を示す図
【発明を実施するための形態】
【0021】
以下、本発明の一実施の形態におけるノイズ除去装置1について説明する。本実施の形態は、図6に示すような画像として癌細胞4aなどを含む病理画像からノイズ5を除去し、図7に示すようなターゲットである癌細胞4aを抽出するものである。しかしながら、必ずしもこのような病理画像からノイズ5を除去して癌細胞4aのみを抽出する場合に限定されるものではなく、一般的に、抽出対象となるターゲット以外のノイズ5を除去することが望まれているすべての分野に適用することができる。
【0022】
なお、この実施の形態において、図1はノイズ除去装置1の機能ブロック図を示し、図2は、低解像度から高解像度までを階層的に示した図であり、各階層のセルの状態を示したものである。
【0023】
この実施の形態におけるノイズ除去装置1は、汎用的なパーソナルコンピューターなどによって構成されるものであって、低解像度の画像からノイズ5とターゲット4(ここでは癌細胞4a)のセルに分離し、この分離されたセルについて、更に高解像度の画像を読み出してノイズ5であるか否かを判断できるようにしたものである。このとき、各セルがノイズ5であるか否かを判断するための手法として確率モデルを用い、まず、低解像度の画像に基づいて各セルがノイズ5であるか否かの第一確率モデルを作成し、その第一確率モデルを用いてセルを判断する。そして、次に、そのセルの高解像度の画像を読み出し、その画像のセルの判断を行う場合には、上層である低解像度の第一確率モデルの判断結果を考慮して第二確率モデルを作成し、その第二確率モデルを用いて第二層のセルの判断を行っていく。以下、高解像になるにしたがって、上層のセルの判断結果を用い、このように上層の判断結果を下層の確率モデルに組み込むことで、おおまかな判断から細かな判断までを行えるようにしたものである。以下、本実施の形態におけるノイズ除去装置1について図1の機能ブロック図を用いて説明する。
【0024】
このノイズ除去装置1を構成する教師データ記憶手段11は、記憶装置の内部に設けられるものであって、あらかじめターゲット4(例えば、癌細胞4a)であるかノイズ5であるか否かの結果が分かっている画像を記憶させている。ここでは、一つの病理画像に対して、図2に示すように、異なる解像度で画像を取得し、例えば、第一層の画像として低解像度の画像(以下、第一層画像21と称する)、第二層の画像として中解像度の画像(以下、第二層画像22と称する)、第三層の画像として高解像度の画像(以下、第三層画像23と称する)として記憶させるようにしている。また、必要ならば、更に高解像度で画像を取得して記憶させておいてもよい。このような画像としてはグレースケールの画像であってもよく、あるいは、RGBからなるカラー画像であってもよい。一般的に、癌細胞4aであるか否かを判断する場合は、MG染色やPAS染色、免疫科学染色、HE染色などによって癌細胞4aを染色するため、癌細胞4aは相対的に他の領域よりも色の濃くなる。このため、病理画像から癌細胞4aを抽出する場合は、染色されたRGB画像を教師画像として記憶させるようにしておく。
【0025】
セル分割手段12は、このような教師データ記憶手段11に記憶されている画像を、所定の大きさのセルに分割し、そのセルにおける画像がノイズ5であるか否かを判断できるようにする。このようなセルの大きさとしては、図2では、第一層画像21から第三層画像23においてすべて同じ矩形状に設定しているが、このセルの形状については、矩形状である必要はなく、極座標系に区切った扇形状であってもよい。また、セルの大きさについては、ノイズ5であるかどうかを判断できる大きさに設定しておくことが望ましい。すなわち、低解像度の画像のセルが大き過ぎる場合、一つのセルの中にターゲット4やノイズ5などが混在してしまい、ノイズ5であるかどうかを判断しにくくなる。一方、セルが小さ過ぎる場合は、セルの数が多くなって計算量が膨大になってしまう。そのため、セルの大きさについては、画像の解像度やターゲット4やノイズ5の大きさ、計算量などに基づいて適切な大きさに設定しておく。
【0026】
ルール作成手段13は、あらかじめ用意された複数の解像度の画像に基づいて、その画像内におけるセルがノイズ5であるか否かを判断するためのルールを作成する。このルールを作成する場合、本実施の形態では確率モデルを用いて各セルがノイズ5であるか否かを判断するルールを作成し、あらかじめ各セルがノイズ5であるか否かの答えが分かっている画像を用いてルールを作成する。
【0027】
<第一層画像21における確率モデルの構築>
このルール作成手段13のうち、第一ルール作成手段13aは、低解像度の第一層画像21を用いて、その画像の各セルがノイズ5であるか否かの第一ルールを作成する。
【0028】
この第一層画像21から第一ルールを作成する場合は、分割されたセルと第一層画像21とを重ね合わせ、その第一層画像21と重ね合わされたセルがノイズ5である場合は、図3に示すように、そのセルに「0」を記憶させ、一方、ターゲット4である場合は「1」を記憶させる。このとき、「0」「1」を記憶させる最も簡単な方法としては、グレースケールの256階調輝度値を取得し、セルの輝度平均値が所定の閾値よりも高い場合(すなわち、明るい場合)は「0」としてセルに記憶させ、また、セルの輝度平均値がその閾値よりも低い場合は「1」としてセルに記憶させる方法を採用することができる。もちろん、他の方法も用いることができ、例えば、カラー画像を用いて判断する場合は、セルのRGB輝度値を抽出し、その各輝度値毎に設定された値やRGBの各輝度値の割合などと所定の閾値とを比較して「0」や「1」を割り当てる方法も用いることもできる。このような閾値を設定する場合、あらかじめそのセルがターゲット4であるかノイズ5であるかが判っているため、その答えを導き出せるように閾値を設定しておく。そして、第一層画像21のセルに「0」「1」を設定することにより、図3に示すような第一層画像21のセルのマップを作成する。このセルマップは、第一層画像21から得られるターゲット4の答えとなっている。そして、このように得られたセルマップから、「0」と「1」の配列状態を把握し、周囲のセルの状態がどのような状態であれば「0」となるか、または、周囲のセルの状態がどのような状態であれば「1」となるかの第一確率モデルを作成する。このような確率モデルは、図3(a)に示すように、あるセルのセル値に対して輝度値や周囲の条件などを考慮して分岐を行い、さらにその分岐先でも所定の条件を考慮して分岐を行い、最終的にそのセルの値を決定するものを用いる。図3(a)では、あるセルの値が「0」である場合、確率モデルを用いて「1」に修正される場合を示している。
【0029】
ところで、このように低解像度の画像によって各セルがノイズ5であるか否かを判断する場合、図2に示すように、大部分がノイズ5である領域では、大まかにそのセルがノイズ5であると判断することができ、また、大部分がターゲット4である領域に対しても、大まかにそのセルがターゲット4であると判断することができる。しかしながら、ターゲット4とノイズ5の境界においては、仮にそこに位置するセルが「0」と判断されたとしても、そのセルがすべてノイズ5であったり、また、ノイズ5が60%程度しか含まれていない可能性がある。また、逆にそのセルが「1」と判断されたとしても、そのセル内にノイズ5が全く存在しなかったり、ノイズ5が50%も含まれている可能性もある。このため、低解像度の画像で「0」「1」を割り当てたとしても、実際には、そのセルが本当にノイズ5であるか否かを判断することができない。また、このような状況以外にも、ノイズ5の発生状態などによってそのセルがノイズ5であるか否かを正確に判断することができない場合もある。そこで、図2に示すように、第一層画像21で「0」「1」とを大まかに判断して切り分けた後、第一層画像21のすべてのセルについて、その第一層画像21よりも高解像度の第二層画像22を読み出し、その画像をもとに第一層のセルがノイズ5であるか否かを詳細に判断できるようにする。この第二層画像22を読み出す場合、一般的には、第一層画像21におけるセルの座標位置を読み出し、そのセルの座標位置に対応して記憶された領域の第二層画像22を読み出す。
【0030】
<第二層画像22における確率モデルの作成>
第二ルール作成手段13bによって第二ルールを作成する場合、図2の第二層画像22に示すように、第二層画像22を複数のセルに分割して画像と重ね合わせ、その分割されたセルにノイズ5が含まれているか否かを判断する。このような判断を行う場合においても、同様に、例えば、セルの平均輝度値を所定の閾値で仕切ることなどによって「0」や「1」を割り当て、第二層画像22全体についてのセルマップを作成する。そして、このように第二層画像22のセルマップを作成して「0」と「1」の配列状態を把握した後、周囲のセルの状態がどのような状態であれば「0」となるかの第二確率モデルを作成し、また、周囲のセルの状態がどのような状態であれば「1」となるのかを判断するための第三確率モデルを作成する。ただし、この第二確率モデルや第三確率モデルを作成する場合、上層セルの状態を参照し、その上層における当該セルの状態を考慮して確率モデルを作成していく。具体的には、第一層におけるセルが「0」と判断されている場合には、そのセルに対応する第二層画像22が全体的にノイズ5を多く含んでいるとみなすような第二確率モデルを作成し、また、上層のセルが「1」と判断されている場合は、そのセルに対応する第二層画像22が全体的にノイズ5をほとんど含んでいない(すなわち、ターゲット4を多く含んでいる)と判断するような第三確率モデルを作成する。また、これ以外にも、上層のセルの値だけを考慮するのではなく、第一層画像21のセルの周囲の値を考慮して第二層画像22の確率モデルを作成してもよい。例えば、このように第一層画像21の周囲のセルを考慮する場合においては、第一層画像21のセルの周囲8セルのすべてが「0」である場合は、第二層画像22のセルをほとんど「0」と判断するように第二確率モデルを作成し、また、第一層画像21のセルの周囲8セルのうち半分が「0」である場合は、第二層画像22のセルのうち約半分が「0」と判断されるように第三確率モデルを作成する。また、これ以外にも、第一層画像21のセルの輝度値などに基づいて確率モデルを作成するなど、上層における当該セルの状態を考慮して第二層画像22の確率モデルを作成していく。
【0031】
<第三層画像23における確率モデルの作成>
以下、同様に、このような処理を繰り返していくことにより、第三層以降のルールを作成していく。第三ルール作成手段13cでルールを作成する場合は、第二層画像22で「0」もしくは「1」と判断されたセルを抽出し、このうち、第二層画像22で「0」と判断されたセルについては、更に高解像度の第三層画像23を読み出し、その第三層画像23の分割されたセルとを重ね合わせて、各セルに「0」「1」を記憶させる。そして、このように作成された第三層のセルマップについて、「0」と「1」の配列状態を把握して、周囲のセルの状態がどのような状態であれば「0」となるか、また、周囲のセルの状態がどのような状態であれば「1」となるのかを判断するための第四確率モデルを作成する。また、第二層画像22で「1」と判断されたセルについても、更に高解像度の第三層画像23を読み出し、その第三層画像23の分割されたセルとを重ね合わせて、各セルに「0」「1」を記憶させる。そして、このように作成された第三層のセルマップについて、「0」と「1」の配列状態を把握して、周囲のセルの状態がどのような状態であれば「0」となるか、また、周囲のセルの状態がどのような状態であれば「1」となるのかを判断するための第五確率モデルを作成する。これらの第四確率モデルや第五確率モデルを作成する場合も、上層の当該セルの値「0」「1」を考慮し、例えば、第一層画像21のセルが「0」で第二層画像22のセルが「0」と判断された場合、それらの値を考慮した確率モデルを第四確率モデルとして作成する。以下、同様に、第一層画像21のセルが「0」で第二層画像22のセルが「1」と判断された場合の確率モデルを第五確率モデル、第一層画像21のセルが「1」で第二層画像22のセルが「0」と判断された場合の確率モデルを第六確率モデル、第一層画像21のセルが「1」で第二層画像22のセルが「1」と判断された場合の確率モデルを第七確率モデルとして第三層の確率モデルを作成していく。これらの第五確率モデルから第七確率モデルを作成する場合についても、もちろん、上層画像のセルの値を考慮した確率モデルを構築していく。
【0032】
このように作成された各層毎の確率モデルは、記憶手段14に記憶され、後に取得される被験者の病理画像からこれらの確率モデルを用いてノイズ5を除去し、ターゲット4の画像を抽出できるようにする。
【0033】
画像取得手段15は、具体的には、CCDカメラやスキャナーなどによって構成され、同一の対象物から異なる解像度で画像を取得する。これらの異なる解像度で画像を取得する場合は、前記第一層画像21・第二層画像22・第三層画像23と同じ解像度で画像を取得する。これらの画像を取得する場合、グレースケール画像でもRGBのカラー画像であってもよい。但し、画像の精度を保証するために、同じカメラなどで解像度を変更して画像を取得できるようにしておくことが好ましい。
【0034】
セル分割手段12では、この取得された画像をメッシュ状のセルに分割し、そのセルに対して座標を割り当てる。このセル分割手段12で画像を分割する場合、ルール作成手段13でルールを作成する場合と同じ状態でセルを分割する。
【0035】
判断手段16では、セルに分割された画像からそのセルがノイズ5であるか否かの判断を行う。この判断を行う場合、第一層画像21から第三層画像23のそれぞれについて判断を行い、最終的には高解像度の画像における各セルがノイズ5であるかどうかを判断する。
【0036】
この判断手段16における第一判断手段16aは、低解像度の画像である第一層画像21の各セルがノイズ5であるか(あるいは、ターゲット4であるか)否かを判断する。各セルの状態を判断する場合においては、例えば、取得された画像におけるセルの輝度平均値を取得し、その輝度平均値が所定の閾値よりも高いか低いかによって「0」「1」を判断する。もちろん、このような「0」「1」の判断をする場合、他の手法を用いることができるが、ルール作成手段13の第一ルールによってノイズ5を除去することを考慮すれば、ルール作成手段13で作成された判断手法によって「0」「1」を決定することが好ましい。そして、この判断手段16で「0」や「1」と判断されたセルについて、第一ルールである第一確率モデルを適用して、「0」や「1」を修正する。これにより、低解像度でどのような「0」「1」配列のときに、本当にノイズ5であるかどうかを判断し、その判断結果に基づいてセルの値を修正する。これによって、全体を見渡せるようなおおまかな画像に基づいてノイズ5の判断を行う。
【0037】
また、第二判断手段16bは、中解像度の画像である第二層画像22の各セルがノイズ5であるか否かを判断する。この場合においても、第一判断手段16aと同様に、取得された画像におけるセルの輝度平均値を取得し、その輝度平均値が所定の閾値よりも高いか低いかによって「0」「1」を判断する。そして、この判断手段16で「0」や「1」と判断されたセルについて、第二ルールである第二確率モデルを適用して、「0」や「1」を修正する。この第二確率モデルでは、第一確率モデルによる判断結果を考慮しているため、そのセルが全体を見渡したときにノイズ5であるか否かを判断することができ、しかも、更に詳細にノイズ5を判断することができる。
【0038】
さらに、第三判断手段16cも、同様にして高解像度の画像である第三層画像23の各セルがノイズ5であるか否かを判断し、第三確率モデルを用いて各セルの「0」「1」を修正する。以下、同様に必要な階層まで処理を繰り返し、高解像度の画像のセルについてノイズ5であるか否かの判断と修正を行う。
【0039】
そして、ノイズ除去手段17は、この第三判断手段16cによりノイズ5と判断されたセルの画像を除去し、最終的にターゲット4となるセルの画像のみを残す。このような処理をすることにより、図7に示すように、癌細胞4aのみからなる画像を抽出する。なお、ノイズ5を除去する場合においては、そのセルの画像を抜いてターゲット4の画像のみを残すようにしてもよく、あるいは、ノイズ5と判断されるセルや、ターゲット4と判断された画像を色分けしてノイズ5とターゲット4とを判別できるようにしてもよい。
【0040】
次に、このように構成されたノイズ除去装置1における処理の流れを、図4および図5を用いて説明する。
【0041】
<教師画像に基づく確率モデルの作成>
まず、教師画像から確率モデルを作成する場合の処理の流れについて、図4のフローチャートを用いて説明する。
【0042】
ノイズ除去のためのルールを作成する場合、低解像度の画像である第1層画像(ステップS1)を読み出し(ステップS2)、その画像全体について矩形状のセルに分割する(ステップS3)。そして、そのセルに分割された画像と教師画像とを重ね合わせ、ノイズ5が多く含まれている場合は「0」、ターゲット4が多く含まれている場合は「1」を記憶させる。この「0」「1」の判断基準については、各セルにおける輝度平均値と閾値とを比較することや、目視判断などによって行う。そして、この処理を第一層画像21全体について行い、周囲のセルがどのような状態であれば「0」と判断されているか、もしくは、周囲のセルがどのような状態であれば「1」と判断されているかという第一確率モデルを作成する(ステップS5、S7)。
【0043】
次に、このように第一層画像21に基づいて第一確率モデルを作成した後、第一層画像21の該当セルについて高解像度である第二層画像22を抽出し(ステップS9、S2)、同様にセルの分割と(ステップS3)、各セルのノイズ5の判断を行う(ステップS4)。ここでは、画像層が第二層であるため(ステップS5:No)、そのセルが属する上層セルである第一層のセルの判断結果を考慮した第二層画像22の第二確率モデルを作成する(ステップS8)。このとき、第一層画像21のセルが「0」であると判断されている場合は、これに対応して読み出された第二層画像22のセルについて全体が「0」と判断されるように第二確率モデルを作成し、一方、第一層画像21のセルが「1」であると判断されている場合は、これに対応して読み出された第二層画像22のセルについて全体が「1」と判断されるように第三確率モデルを作成する。もしくは、第一層画像21のセルについて第一確率モデルによってA%の確率で「0」もしくは「1」であると判断された場合、これに対応する第二層画像22のセル全体がA%の確率で「0」「1」となるように第二確率モデルや第三確率モデルを作成する。
【0044】
また、第三層画像23の確率モデルを作成する場合についても、同様に、第二層画像22の該当セルについて高解像度である第三層画像23を抽出し(ステップS9、S2)、同様にセルの分割と(ステップS3)、各セルのノイズ5の判断を行う(ステップS4)。そして、この層は第三層であるため(ステップS5:No)、そのセルが属する上層セルである第二層のセルの判断結果を考慮した第三層画像23の第三確率モデルを作成する(ステップS8)。このとき、第三確率モデルを作成する場合、第二層のセルの判断結果「0」「1」を考慮しており、また、第二層のセルは第一層のセルの判断結果「0」「1」を考慮しているため、合計4パターンの確率モデル(第四確率モデル〜第七確率モデル)が作成されることになる。
【0045】
以下、同様に、最も高解像度の画像まで同様の処理を繰り返し、最終層である第N層(この実施の形態では第三層)の画像まで確率モデルを作成したら、これを記憶手段14に記憶させて処理を終了する。
【0046】
<確率モデルを用いたノイズ除去フロー>
次に、このように作成された各階層毎の確率モデルを用いて高解像度の画像までノイズ5を除去する場合のフローチャートについて図5を用いて説明する。
【0047】
まず、被験者の病理画像を検査する場合、検査対象となる部位について異なる解像度で画像を取得しておき、これを記憶手段14に記憶させておく。ここでは、低解像度、中解像度、高解像度の3種類の画像を取得しているものとする。
【0048】
このような状態のもとで被験者の病理画像からノイズ5を除去する場合、まず、低解像度である第一層画像21を読み出し(ステップT1、T2)、この読み出された画像をセルに分割する(ステップT3)。そして、セルに分割された画像と取得された画像とを重ね合わせ、そのセルがノイズ5であるか否かを輝度値と閾値などを用いて判断し、そのセルに「0」「1」を記憶させる(ステップT4)。そして、これに対応して、同じ階層の確率モデルとして第一確率モデルを読み出し、その第一確率モデルを用いて「0」「1」を修正する(ステップT5)。このとき、その第一確率モデルは、教師画像から作成されているため、確率モデルに基づいて何パーセントの確率で「0」であるか、あるいは「1」であるかを正確に判断することができる。
【0049】
そして、このように第一層画像21の「0」「1」を修正した後、被験者から取得された中解像度である第二層画像22を読み取り、同様にして、セルの分割(ステップT3)やノイズ5であるか否かの判断を行う(ステップT4)。このとき、まず、第一層画像21で「0」と判断されたセルの第二層画像22を読み取り、「0」「1」のデータを書き込む。そして、記憶手段14に記憶されている第二確率モデルを用いてそのセルが本当に「0」であるか否かの判断を行い、第二層画像22の「0」「1」を修正する(ステップT5)。また、これと同様に、第一層画像21で「1」と判断されたセルの第二層画像22を読み取り、「0」「1」のデータを書き込む。そして、記憶手段14に記憶されている第三確率モデルを用いてそのセルが本当に「1」であるか否かの判断を行い、第三層画像23の「0」「1」を修正する(ステップT5)。
【0050】
以下、同様に、第二層画像22で「0」「1」と判断されたセルの詳細判断を行う場合、第二層で「0」と判断されたセルの第三層画像23を読み取り、輝度値と閾値の判断などに基づいて「0」「1」のデータを書き込む。そして、その判断の結果、第三層のセルで「0」が書き込まれた場合、記憶手段14に記憶されている第四確率モデルを用いてそのセルが本当に「0」であるか否かの判断を行い、その「0」と判断されたセルについて「0」「1」を修正する(ステップT5)。また、以下同様に、第二層のセルが「0」であって第三層のセルが「1」である場合、それが本当に「1」であるか否かの判断を第五確率モデルを用いて判断する(ステップT5)。一方、第二層で「1」と判断されたセルについては、同様に、第三層画像23を読み取り、輝度値と閾値の判断などに基づいて「0」「1」のデータを書き込む。そして、第三層のセルで「0」が書き込まれた場合、記憶手段14に記憶されている第六確率モデルを用いてそのセルが本当に「0」であるか否かの判断を行って、その「0」と判断されたセルについて「0」「1」を修正する(ステップT5)。また、以下同様に、第二層のセルが「1」で第三層のセルが「1」である場合、それが本当に「1」であるか否かの判断を第七確率モデルを用いて判断する(ステップT5)。
【0051】
そして、最後に、最も高解像度の画像に対するノイズ5の判断が行われた後(ステップT7)、ノイズ5と判断された「0」のセルを除去し、ターゲット4だけが残されたセルを抽出する(ステップT8)。
【0052】
このように、上記実施の形態によれば、病理画像からノイズ5を除去するノイズ除去装置1において、癌細胞4aが存在する同一部位に対して第一層画像21から第三層画像23を記憶させておく記憶手段14と、第一層画像21を所定のセルに区切り、あるセルがノイズ5であるか否かを第一ルールに従って判断する第一判断手段16aと、当該第一判断手段16aでそのセルが「1」(すなわちノイズでない)であると判断された場合は、当該セルの高解像度の画像を読み出し、所定のセルで区切って当該セルがノイズ5であるか否かを判断する第二判断手段16bを備え、また、第一判断手段16aでセルが「0」(すなわちノイズである)と判断された場合は、当該セルの高解像度の画像を読み出し、所定のセルで区切ってノイズ5であるか否かを判断する第三判断手段16cとを備えるようにしたので、低解像度の画像を用いて全体を見渡すことでノイズ5であるか否かをおおまかに判断することができ、また、高解像度の画像で細かい部分を判断することでノイズ5であるか否かを高精度に判断できるようになる。すなわち、はじめから高解像度の画像だけでノイズ5を除去しようとすると、判断対象となる小さなセルの領域内だけでノイズ5であるか否かを判断することができなくなってしまうが、低解像度の画像と組み合わせることで各画像の利点を活かして高精度にノイズ5を除去することができるようになる。
【0053】
また、このような階層別の画像の判断において、第一判断手段16aにおける判断結果を、第二ルールや第三ルールとして判断に組み込み、また、第二判断手段16bや第三判断手段16cにおける判断結果を第四ルールから第七ルールとして判断に組み込むようにしたので、低解像度の画像による判断結果を高解像度の画像の判断に組み込むことで、判断対象となるセルが低解像度の画像でノイズ5であるか否かを判断することができ、高解像度の小さなセルにおいても全体的な判断を誤るようなことがなくなる。
【0054】
さらに、第一判断手段16aによって判断する場合、確率モデルを用いてノイズ5であるか否かを判断し、第二判断手段16bにおいて、第一判断手段16aによってノイズ5でないと判断されたセルのノイズ5である確率又はノイズ5でない確率を抽出し、これらの確率を考慮して生成された第二確率モデルを用いて高解像度で区切られた各セルがノイズ5であるか否かを判断できるようにしたので、高解像度の画像で判断する際に、そのセルの何パーセントがノイズ5であるかなどの全体的な判断を誤るようなことがなくなる。
【0055】
なお、本発明は上記実施の形態に限定されることなく、種々の態様で実施することができる。
【0056】
すなわち、上記実施の形態では、低解像度、中解像度、高解像度の三層の画像に基づいて判断するようにしたが、低解像度と高解像度の二層だけの画像で判断してもよく、あるいは、四層以上の画像で判断してもよい。
【0057】
また、上記実施の形態では、第一層画像のすべてのセルについて高解像度画像を読み出してノイズか否かを判断するようにしているが、第一層画像でノイズであると判断されたセルのみ、もしくはターゲットであると判断されたセルのみについて高解像度画像を読み出し、同様の手法で詳細に判断してもよい。このとき、第一層画像でA%以上ノイズであると判断された部分を除き、それ以外の部分のみを詳細に高解像度画像で判断するようにしてもよい。
【0058】
また、上記実施の形態では、確率モデルを用いてセルのノイズ5の確率などを判断するようにしたが、各セルの判断においては他の手法を用いることもでき、例えば、各セルの輝度平均値について段階的に閾値を設けておき、第一段階の閾値内にセルの輝度平均値が入っていればノイズ5である可能性がA1%、第二段階のの閾値内にセルの輝度平均値が入っていればノイズ5である可能性がA2%というように、段階的にセルを判断するようにしてもよい。
【0059】
さらに、上記実施の形態では、教師画像から確率モデルを作成する場合について説明したが、一枚の教師画像から確率モデルを作成する場合だけでなく、複数枚の教師画像から確率モデルを作成するようにするとよい。
【産業上の利用可能性】
【0060】
本発明は、病理画像からノイズ5を除去して癌細胞4aを抽出する分野のみならず、取得された画像(例えば、部品検査装置における検査画像や風景画など)からノイズ5を除去してきれいな画像を抽出するような分野に適用することができる。
【符号の説明】
【0061】
1・・・ノイズ除去装置
11・・・教師データ記憶手段
12・・・セル分割手段
13・・・ルール作成手段
13a・・・第一ルール作成手段
13b・・・第二ルール作成手段
13c・・・第三ルール作成手段
14・・・記憶手段
15・・・画像取得手段
16・・・判断手段
16a・・・第一判断手段
16b・・・第二判断手段
16c・・・第三判断手段
17・・・ノイズ除去手段
21・・・第一層画像
22・・・第二層画像
23・・・第三層画像
3・・・セル
4・・・ターゲット
4a・・・癌細胞
5・・・ノイズ

【特許請求の範囲】
【請求項1】
原画像からノイズを除去するノイズ除去装置において、
同一対象物に対して低解像度の画像と高解像度の画像を少なくとも2枚記憶させておく記憶手段と、
低解像度の画像を所定のセルに区切り、当該セルがノイズであるか否かを判断する第一判断手段と、
当該第一判断手段におけるセルの判断において、当該セルがノイズでないと判断された場合、当該セルの高解像度の画像を前記記憶手段から読み出す読み出し手段と、
当該読み出された高解像度の画像を所定のセルで区切り、当該セルがノイズであるか否かを判断する第二判断手段とを備えるようにしたノイズ除去装置。
【請求項2】
原画像からノイズを除去するノイズ除去装置において、
同一対象物に対して低解像度の画像と高解像度の画像を少なくとも2枚記憶させておく記憶手段と、
低解像度の画像を所定のセルに区切り、当該セルがノイズであるか否かを判断する第一判断手段と、
当該第一判断手段におけるセルの判断において、当該セルがノイズであると判断された場合、当該セルの高解像度の画像を前記記憶手段から読み出す読み出し手段と、
当該読み出された高解像度の画像を所定のセルで区切り、当該セルがノイズであるか否かを判断する第三判断手段とを備えるようにしたノイズ除去装置。
【請求項3】
前記第一判断手段におけるセルの判断結果を、第二判断手段におけるセルの判断に組み込むようにした請求項1に記載のノイズ除去装置。
【請求項4】
前記第一判断手段におけるセルの判断結果を、第三判断手段におけるセルの判断に組み込むようにした請求項2に記載のノイズ除去装置。
【請求項5】
前記第一判断手段が確率モデルによってノイズであるか否かを判断するものであり、第二判断手段が、前記第一判断手段によってノイズでないと判断されたセルの非ノイズ確率又はノイズ確率を抽出し、当該非ノイズ確率又はノイズ確率を考慮して生成された第二確率モデルを用いて、前記高解像度で区切られた各セルがノイズであるか否かを判断するものである請求項1に記載のノイズ除去装置。
【請求項6】
前記第一判断手段が確率モデルによってノイズであるか否かを判断するものであり、第三判断手段が、第一判断手段によってノイズであると判断されたセルの非ノイズ確率又はノイズ確率を抽出し、当該非ノイズ確率又はノイズ確率を考慮して生成された第三確率モデルを用いて、前記高解像度で区切られたセルがノイズであるか否かを判断するものである請求項2に記載のノイズ除去装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2010−217970(P2010−217970A)
【公開日】平成22年9月30日(2010.9.30)
【国際特許分類】
【出願番号】特願2009−60829(P2009−60829)
【出願日】平成21年3月13日(2009.3.13)
【出願人】(503027931)学校法人同志社 (346)
【Fターム(参考)】