説明

画像処理装置、画像処理方法、プログラムおよび記憶媒体

【課題】全体領域に対して観察領域の占める割合が大きい画像に対して、正確に背景の明度分布を推定する。
【解決手段】制御部11は、元画像を入力し(S101)、近似多項式曲面の算出処理から除外する画素を抽出する(S102)。次に、制御部11は、S102によって抽出される画素に基づいて、近似多項式曲面の算出処理における連立方程式を定式化し(S103)、近似多項式曲面の算出処理を実行する(S104)。そして、制御部11は、S104によって算出される近似多項式曲面に基づいて、背景画像を生成する(S105)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡等によって撮影され、全体領域に対して観察領域の占める割合が大きい画像を解析対象とする画像処理装置等に関するものである。
【背景技術】
【0002】
現在、家畜などの受精卵をインキュベータ(培養装置)内で培養し、移植可能な状態になるまで発育させることが行われている。品質が低い受精卵は移植しても受胎しにくい為、何らかの仕組みで受精卵の品質を評価する必要がある。牛の体外受精卵の場合、従来は、熟練者が培養7日目に受精卵をインキュベータから取り出し、顕微鏡で観察することで、受精卵の最終品質を評価していた。しかしながら、インキュベータから取り出して観察することは、受精卵にとって大きなストレスとなる。
【0003】
特許文献1では、インキュベータから受精卵を取り出すことなく撮影された画像のみを用いて、受精卵の品質評価に有益な情報を提示する受精卵品質評価支援システムが開示されている。特許文献1に記載の技術では、受精卵が配置された培養容器を定期的に撮影し、撮影された画像から受精卵を含む最小近似円領域を切り出す。そして、切り出した画像の経時変化を解析することで、受精卵の品質評価に有益な情報を提示している。
【0004】
ところで、顕微鏡によって撮影されるときの撮影対象に当たる光には、一般に、照度(光の明るさ)の分布にムラ(以下、「照度ムラ」と記載する。)がある。このような顕微鏡によって撮影される画像(顕微鏡画像)に対する照度ムラの影響の除去処理は、その画像に対する他の様々な画像処理を施す前に行われるべき重要なステップであり、様々な手法が考案されている。
例えば、(1)観察対象を置かずに撮影された画像を基準画像として記録しておき、基準画像を利用して除去する手法、(2)画像を周波数分解し、低周波部分をムラとして除去する手法、(3)画像全体の画素に対して、低次数の方程式をフィッティングして背景を推定することにより照度ムラの影響を除去する手法、などが知られている。
従来技術は、画像全体に対して観察対象の占める割合が充分に小さい画像1枚に対して適用する場合、所望の通り、照度ムラの影響を除去することができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−181402号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来技術の(1)の手法では、一定の時間間隔によって連続的に観察する際の照明装置の出力のブレに由来する照度ムラの影響を除去することはできない。
【0007】
また、従来技術の(2)の手法では、背景を低周波成分、観察対象を高周波成分として分類することになるが、このような分類は、受精卵の画像に対しては不適切である。
一般に、受精卵はその内部の様子を観察することを目的として、大きく撮影される。また、多数の受精卵が1つの培養器にて培養されることも多い。従って、画像全体に占める背景領域が小さくなり、反対に、観察対象である受精卵の占める割合が大きくなる。そうすると、観察対象自体が低周波成分を構成することになり、従来技術の(2)の手法による分類は不適切である。
【0008】
更に、従来技術の(3)の手法も、受精卵の画像にそのまま適用することはできない。
受精卵内部には、脂肪小滴と呼ばれる光を通しにくい部位が分布する。この脂肪小滴は背景よりも暗く写る。更に、多数の受精卵が1つの培養器にて培養される場合、複数の受精卵が1箇所にまとまって存在することが多い。このような画像に対して従来技術の(3)の背景推定手法を適用すると、受精卵の集合がある領域を、照度ムラの影響によって暗くなっている背景とみなすような計算となってしまい、正確に背景の明度分布(色の明るさの分布)を推定することができない。
【0009】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、全体領域に対して観察領域の占める割合が大きい画像に対して、正確に背景の明度分布を推定することができる画像処理装置等を提供することである。更に、本発明は、正確に推定される背景の明度分布を示す画像を利用して、観察対象の特徴を出来る限り損なうことなく、画像に表れてしまう照度ムラの影響を適切に除去することができる画像処理装置等を提供することである。
【課題を解決するための手段】
【0010】
前述した目的を達成するために第1の発明は、解析対象の元画像を入力する入力手段と、前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出手段と、前記抽出手段によって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出手段と、を具備することを特徴とする画像処理装置である。
第1の発明によって、全体領域に対して観察領域の占める割合が大きい画像に対して、背景の明度分布を近似多項式曲面として正確に推定することができる。
【0011】
第1の発明は、前記算出手段によって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成手段、を更に具備することが望ましい。
これによって、近似多項式曲面として推定された背景の明度分布を背景画像として視覚的に確認することができる。
【0012】
第1の発明は、前記元画像と前記背景画像生成手段によって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成手段、を更に具備し、前記調整画像生成手段は、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成することが望ましい。
これによって、正確に推定される背景の明度分布を示す画像を利用して、背景に表れてしまう照度ムラの影響を適切に除去することができる。
【0013】
第1の発明における前記算出手段は、例えば、前記近似多項式曲面を算出する為の連立方程式を、前記抽出手段によって抽出される画素に係る方程式の両辺を0として定めて、前記連立方程式の解を算出する。
【0014】
第1の発明における前記調整画像生成手段は、前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第1ベクトルを算出し、前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第2ベクトルを算出し、前記第1ベクトルの各要素を、前記第2ベクトルの各要素によって重み付けした値、が各要素となる第3ベクトルを算出し、前記第3ベクトルと、前記元画像の各画素の画素値が各要素となる第4ベクトルとの直積、である第5ベクトルを算出し、前記第5ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出することが望ましい。
これによって、観察対象の特徴を出来る限り損なうことなく、画像に表れてしまう照度ムラの影響を適切に除去することができる。
【0015】
第1の発明における前記調整画像生成手段は、前記元画像の画素群から前記抽出手段によって抽出される画素を除いた画素群の平均値、を前記背景調整値として決定することが望ましい。
これによって、調整画像の背景色は、元画像の背景領域の全体的な色の印象に近い色となる。ひいては、元画像と調整画像とを比較するときに、ユーザは、背景領域の違いにあまり影響されず、観察対象領域に違いがあるかどうかを確認することができる。
【0016】
第2の発明は、コンピュータが、解析対象の元画像を入力する入力ステップと、前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出ステップと、前記抽出ステップによって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出ステップと、を実行することを特徴とする画像処理方法である。
第2の発明によって、全体領域に対して観察領域の占める割合が大きい画像に対して、正確に背景の明度分布を推定することができる。
【0017】
第3の発明は、コンピュータを、解析対象の元画像を入力する入力手段と、前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出手段と、前記抽出手段によって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出手段と、を具備する画像処理装置として機能させるためのプログラムである。
第3の発明を汎用のコンピュータにインストールすることによって、第1の発明の画像処理装置を得ることができる。
【0018】
第4の発明は、第3の発明のプログラムが記憶されているコンピュータ読取可能な記憶媒体である。
第4の発明によって、第3の発明を容易に配布することができる。
【発明の効果】
【0019】
本発明により、全体領域に対して観察領域の占める割合が大きい画像に対して、正確に背景の明度分布を推定することができる。更に、正確に推定される背景の明度分布を示す画像を利用して、観察対象の特徴を出来る限り損なうことなく、画像に表れてしまう照度ムラの影響を適切に除去することができる。
【図面の簡単な説明】
【0020】
【図1】元画像の一例を示す図
【図2】所望の背景画像を示す図
【図3】公知技術によって生成される背景画像を示す図
【図4】公知技術によって生成される調整画像を示す図
【図5】画像処理装置1のハードウエア構成図
【図6】画像処理装置1による処理の流れを示す図
【図7】画像処理装置1によって実行される閾値処理の結果を示す図
【図8】画像処理装置1によって生成される背景画像を示す図
【図9】画像処理装置1によって生成される第1の調整画像を示す図
【図10】画像処理装置1によって生成される第2の調整画像を示す図
【発明を実施するための形態】
【0021】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
最初に、本発明の技術的思想の理解を助ける為に、図1から図4を参照しながら、本発明が解析対象とする画像、及び本発明の技術的思想の基礎となる公知技術について説明する。
【0022】
以下では、一例として、グレースケール画像を対象とする。また、画素値レンジを256階調とし、画素値として取り得る値を0〜255とする。
全体領域とは、任意の画像データに含まれる全ての画素を含む領域とする。観察対象領域とは、全体領域のうち、観察対象物の画素のみを含む領域とする。背景領域とは、全体領域のうち、観察対象領域を除く領域とする。すなわち、観察対象領域と背景領域との間に、重複する画素はない。
【0023】
図1は、本発明が解析対象とする元画像の一例を示す図である。
図1は、培養中の受精卵を観察対象とする画像(以下、「受精卵画像」という。)である。図1に示す受精卵画像は、多数の受精卵が1つの培養器にて培養される場合の画像である。
【0024】
受精卵画像の特徴は、次の通りである。
(1)各受精卵の輪郭周辺は、殻に相当する透明帯が存在し、光の加減によって、背景よりも明るく写る部位と、背景よりも暗く写る部位とが混在する。
(2)各受精卵の内部は、主に脂肪小滴によって占められており、脂肪小滴に起因して、暗く写る部位が大部分である。
(3)多数の受精卵が1つの培養器にて培養される場合、図1に示すように、複数の受精卵が1箇所に固まって存在することが多い。
(4)受精卵の外部(背景)は、照明装置の傾きや撮影装置の出力のぶれなどによって、照度ムラの影響がある。
(5)受精卵の外部(背景)は、ゴミなどに起因して、少なからずノイズが存在する。
(6)各受精卵の明るさの傾向は、ほぼ一様であり、照度ムラの影響をそれほど受けていない。
【0025】
最も注意すべきことは、(4)の通り、背景領域である受精卵の外部が照度ムラの影響を受けているにも関わらず、(6)の通り、観察対象領域である受精卵の輪郭及び内部は、照度ムラの影響をそれほど受けていないことである。
これは、全体領域と比べて受精卵がかなり大きな構造物であること、かつ、受精卵の表面がほぼ球面の透明な殻(透明帯)によって覆われている為に様々な方向からの光を受けていること、などを理由として、観察対象領域が背景領域に見られる程の極端な照度の違いに晒されていない為であると考えられる。
【0026】
図2は、所望の背景画像を示す図である。
背景画像とは、元画像に係る擬似背景の明度分布を示す画像である。擬似背景とは、観察対象(図2の例では、受精卵)が存在しないものと仮定して擬似的に算出される背景である。
擬似背景の明度分布は、図1に示す元画像から推定される。図2に示す背景画像は、元画像に表れてしまう照度ムラの影響が正確に推定されている例である。
本発明の目的の1つは、図2に示すような背景画像を生成することである。
【0027】
尚、受精卵画像は、本発明が解析対象とする画像の一例に過ぎない。本発明は、基本的にどのような画像に対しても適用可能であり、特に、全体領域に対して観察対象領域の占める割合が大きい画像に対して、従来技術では得ることができない良好な結果が得られる。例えば、図2に示すような背景画像を生成することができる。
【0028】
次に、本発明の技術的思想の基礎となる背景推定手法(従来技術の(3)の背景推定手法)について説明する。
以下、(・・・)はベクトルや行列の転置を表し、(・・・)−1は逆行列を表す。
縦方向の画素数:N、横方向の画素数:N、総画素数:N(=N×N)の画像pについて、i(i=1、・・・、N)番目の画素(横方向の座標:x、縦方向の座標:y)の画素値をpとする。
画像pは、ベクトルとして表現し、p=(p、・・・、p、・・・、pとする。
【0029】
前述の照度ムラは、発生原理から考えると、空間的に緩慢な変化を有すると仮定できる。そこで、本発明では、K次の多項式曲面bによって、照度ムラの影響を含む擬似背景の明度分布を近似する。
【0030】
K次の多項式曲面bの横方向の座標x、縦方向の座標yにおける値b(x、y)は、要素数M=(K+1)×(K+2)/2の係数ベクトルc=(c、・・・、c、・・・、cM−1によって、次式によって定義される。
【0031】
【数1】

【0032】
ここで、画像pを多項式曲面bによって近似するために、N行M列の係数行列Zを用いて過剰定義系の連立方程式Zc=pを定式化する。
但し、係数行列Zのi行目のベクトルの要素zは、z=(1、x、y、x、y、x、・・・、y)である。
例えば、K=2の場合、M=6となり、z=(1、x、y、x、y、x)である。
また、例えば、K=3の場合、M=10となり、z=(1、x、y、x、y、x、x、y、x、x)である。
【0033】
過剰定義系の連立方程式とは、未知の変数よりも、方程式の数が多い連立方程式である。
連立方程式Zc=pでは、未知の変数がM個であり、方程式の数がN個となる。前述の通り、Nは画像pの総画素数であるから、少なくとも数十万個以上である。一方、Mは多項式曲面の次数によるところ、次数をむやみに多くしても精度の向上につながるわけではない。一般的には、K=2〜4程度であるが、仮に、K=10としても、M=66である。
従って、M≪Nであり、連立方程式Zc=pは、実用上、必ず過剰定義系となる。
【0034】
連立方程式Zc=pは、次式の最小二乗解cを算出することによって解くことができる。
【0035】
【数2】

【0036】
式(2)の解法は例示するまでもなく良く知られており、最小二乗解cは次式によって与えられる。
【0037】
【数3】

【0038】
式(3)の最小二乗解cによって、多項式曲面bは、次式によって与えられる。
【0039】
【数4】

【0040】
式(4)によって得られる多項式曲面bに基づいて、全体領域が元画像と同一の背景画像を生成することができる。
以上が、本発明の技術的思想の基礎となる背景推定手法である。しかしながら、本発明が解決しようとする課題の説明において前述したように、この背景推定手法を受精卵画像にそのまま適用すると、複数の受精卵が存在する観察対象領域を照度ムラの影響によって暗くなっている背景とみなすような計算となってしまい、正確に背景の明度分布を推定することができない。このことについて、図3、図4を参照しながら説明する。
【0041】
図3は、公知技術によって生成される背景画像を示す図である。図2と図3を比較すると、図3の方が、中央部分が黒っぽくなっていることが分かる。この部分は、元画像(図1)の受精卵の位置と一致しており、前述の公知の背景推定手法では、観察対象領域を照度ムラの影響によって暗くなっている背景とみなしていることが分かる。
【0042】
図4は、公知技術によって生成される調整画像を示す図である。
調整画像とは、元画像の明度分布が調整されている画像である。
最も望ましい調整画像は、観察対象領域の明度分布が元画像とほぼ同じ特徴(例えば、濃淡のコントラスト)を有していること、かつ、背景領域のみが一様な明度分布となることである。
これは、観察対象領域の明度分布の特徴が元画像と異なるような調整画像では、受精卵の品質評価の精度を落とすことになってしまうからである。また、背景領域のみが一様な明度分布となる、すなわち照度ムラの影響が除去されることによって、受精卵の品質評価などを目的とした様々な画像処理が容易になるからである。
【0043】
図4に示す調整画像は、公知の技術によって、図1の元画像から、図3の背景画像を減算して色調反転を行い、所定の画素値レンジ(この例では、256階調)に基づいて正規化(画素値レンジを調整)したものである。
図4に示す調整画像は、観察対象領域である受精卵の明度分布の特徴が、元画像(図1)と異なるものとなっている。また、背景領域も一様な明度分布となっていない。
【0044】
本発明の実施の形態では、前述の背景推定手法を改良することによって、照度ムラの影響が除去された背景画像を生成する。また、生成される背景画像を用いて、観察対象領域の明度分布が元画像とほぼ同じ特徴を有し、背景領域のみが一様な明度分布となる調整画像を生成する。
【0045】
次に、図5から図10を参照しながら、本発明の実施の形態に係る画像処理装置1について説明する。
【0046】
図5は、画像処理装置1のハードウエア構成図である。尚、図5のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【0047】
画像処理装置1は、制御部11、記憶部12、メディア入出力部13、通信制御部14、入力部15、表示部16、周辺機器I/F部17等が、バス18を介して接続される。
【0048】
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成される。
【0049】
CPUは、記憶部12、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス18を介して接続された各装置を駆動制御し、画像処理装置1が行う後述する処理を実現する。
ROMは、不揮発性メモリであり、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。
RAMは、揮発性メモリであり、記憶部12、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部11が各種処理を行う為に使用するワークエリアを備える。
【0050】
記憶部12は、HDD(ハードディスクドライブ)であり、制御部11が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OS(オペレーティングシステム)に相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部11により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
【0051】
メディア入出力部13(ドライブ装置)は、データの入出力を行い、例えば、CDドライブ(−ROM、−R、−RW等)、DVDドライブ(−ROM、−R、−RW等)等のメディア入出力装置を有する。
通信制御部14は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【0052】
入力部15は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
入力部15を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部16は、CRTモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等(ビデオアダプタ等)を有する。
【0053】
周辺機器I/F(インタフェース)部17は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器I/F部17を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器としては、例えば、受精卵を撮像するための撮像装置等がある。周辺機器I/F部17は、USBやIEEE1394やRS−232C等で構成されており、通常複数の周辺機器I/Fを有する。周辺機器との接続形態は有線、無線を問わない。
バス18は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【0054】
図6は、画像処理装置1による処理の流れを示す図である。以下では、図1、図7〜図10も参照しながら、画像処理装置1の処理を説明する。
図6に示すように、画像処理装置1の制御部11は、メディア入出力部13、通信制御部14、周辺機器I/F部17等を介して、元画像を入力する(S101)。元画像は、図1に示す通りである。
【0055】
次に、制御部11は、近似多項式曲面の算出処理から除外する画素を抽出する(S102)。近似多項式曲面とは、元画像に係る擬似背景の明度分布の推定結果として得られる多項式曲面である。
具体的には、制御部11は、元画像に含まれる画素の画素値に基づいて決定される閾値を用いて閾値処理を実行し、近似多項式曲面の算出処理から除外する画素を抽出する。
【0056】
S102の技術的意義について説明する。背景領域の画素の画素値と大きく異なる画素値を有する画素は、近似多項式曲面の算出処理に悪影響を与える。受精卵画像であれば、脂肪小滴に相当する画素であり、図1では、背景領域よりも暗く写っている。
そこで、制御部11は、例えば、近似多項式曲面の算出処理に悪影響を与える画素を閾値処理によって抽出する。
【0057】
閾値は、例えば、元画像に係る背景領域に含まれる画素の画素値に基づいて決定されても良い。例えば、閾値は、背景領域に含まれる画素の最大値、最小値または平均値に所定値(0を含む。)を加減した値としても良い。
また、閾値は、例えば、元画像に係る観察対象領域に含まれる画素の画素値に基づいて決定されても良い。例えば、閾値は、観察対象領域に含まれる画素の最大値、最小値または平均値に所定値(0を含む。)を加減した値としても良い。
尚、ここでは、厳密に脂肪小滴に相当する画素を抽出する必要はない。ある程度の誤差を含んでいても、最終的に生成される背景画像や調整画像の精度に大きな影響を与えるものではない。
【0058】
また、閾値処理によって、近似多項式曲面の算出処理から除外する画素を抽出するものとしたが、本発明は、これに限定されない。例えば、制御部11は、傾きを持った平面や曲面などを利用して、近似多項式曲面の算出処理から除外する画素を抽出するようにしても良い。すなわち、制御部11は、所定の平面や曲面によって、元画像に含まれる画素を、近似多項式曲面の算出処理に含める画素と、近似多項式曲面の算出処理から除外する画素とに分けるようにしても良い。
【0059】
図7は、画像処理装置1によって実行される閾値処理の結果を示す図である。制御部11は、図7に示すように、表示部16に閾値処理の結果を表示するようにしても良い。
図7では、閾値処理によって抽出された画素を「白」、それ以外の画素を「黒」として図示している。すなわち、「白」の画素が、近似多項式曲面の算出処理から除外する画素である。
【0060】
次に、制御部11は、S102によって抽出される画素に基づいて、近似多項式曲面の算出処理における連立方程式を定式化する(S103)。
具体的には、制御部11は、近似多項式曲面を算出する為の連立方程式を、S102によって抽出される画素に係る方程式の両辺を0として定めて、連立方程式Z´c=p´を定式化する。
【0061】
S102の処理結果として得られる2値化画像(図7)をg=(g、・・・、g、・・・、gとする。また、閾値処理によって抽出された画素(図7の「白」)をg=0とする。
このとき、ベクトルp´と、係数行列Z´のi行目のベクトルの要素zは、次式によって与えられる。
【0062】
【数5】

【0063】
式(5)〜(7)が連立方程式Z´c=p´に代入されることによって、S102によって抽出される画素に係る方程式の両辺が0と定まる。すなわち、連立方程式Z´c=p´は、近似多項式曲面の算出処理に悪影響を与える画素が除外されている。
【0064】
尚、この処理によって、連立方程式Z´c=p´には意味がない方程式(0=0という方程式)が含まれることになり、理論上は、連立方程式Z´c=p´が過剰定義系にならない場合も考え得る。しかしながら、実用上は、連立方程式Z´c=p´は、必ず過剰定義系となる。
例えば、S102によって抽出される画素数をL個とすると、連立方程式Z´c=p´は、未知の変数がM個であり、意味のある方程式の数が(N−L)個となる。図7を参照すれば分かるように、S102によって抽出される画素数は、多くても、全体の画素数の1/4程度である。仮に、S102によって抽出される画素数が、全体の画素数の99/100程度であったとしても、(N−L)>全体の画素数(数十万個)×1/100=数千個が成り立つから、未知の変数(仮に、K=10としても、M=66)よりも、圧倒的に多いことには変わりがない。すなわち、実用上は、(N−L)≫Mが成り立ち、連立方程式Z´c=p´は、過剰定義系となる。
【0065】
次に、制御部11は、S102によって抽出される画素の位置を特定し、S102によって抽出される画素を除外して近似多項式曲面の算出処理を実行する(S104)。
具体的には、制御部11は、S103によって定式化される連立方程式の解を算出し、近似多項式曲面を算出する。
制御部11は、前述した式(3)、(4)において、Z=Z´、p=p´を代入することにより、本発明の実施の形態における連立方程式の解を算出し、近似多項式曲面を算出する。
【0066】
次に、制御部11は、S104によって算出される近似多項式曲面に基づいて、全体領域が元画像と同一の背景画像を生成する(S105)。制御部11は、元画像における背景領域の画素だけでなく、元画像における観察対象領域の画素に対しても、S104によって算出される近似多項式曲面に基づく画素値を対応付けて、背景画像を生成する。
ここで、「全体領域が元画像と同一」とは、縦ピクセル数と横ピクセル数が元画像と同一という意味である。縦ピクセル数と横ピクセル数を合わせる意義は、ユーザが視覚的に確認し易いということと、後述する調整画像の生成処理が容易になるということである。
【0067】
図8は、画像処理装置1によって生成される背景画像を示す図である。制御部11は、図8に示すように、表示部16に背景画像を表示するようにしても良い。
図2、図3、図8をそれぞれ比較すると、図3よりも、図8の方が、図2に示す所望の背景画像に近いことが分かる。特に、図8では、受精卵(観察対象領域)の位置に黒っぽい領域が存在せず、全体的に右から左に向かって、黒から白に滑らかなグラデーションが現れている。
【0068】
次に、制御部11は、S105によって生成される背景画像に基づいて、調整画像を生成する(S106)。
【0069】
以下、調整画像生成処理について、2つの例を説明する。
最初に、調整画像生成処理の第1の例について説明する。
【0070】
第1の例では、制御部11は、公知の技術によって、図1の元画像から、図8の背景画像を減算して色調反転を行い、所定の画素値レンジ(この例では、256階調)に基づいて正規化(画素値レンジを調整)し、調整画像を生成する。調整画像は、例えば、最小値が0、最大値が255となるように、画素値レンジが調整されたものとなる。
【0071】
図9は、画像処理装置1によって生成される第1の調整画像を示す図である。制御部11は、図9に示すように、表示部16に第1の調整画像を表示するようにしても良い。
第1の例では、背景領域が一様な明度分布となっていることが分かる。但し、第1の例では、観察対象領域である受精卵について、明るさにムラが生じていることが分かる。
【0072】
次に、調整画像生成処理の第2の例について説明する。
第2の例では、制御部11は、調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、背景調整値に基づいて調整画像に係る背景領域のみが一様な明度分布となるように、調整画像を生成する。
【0073】
背景調整値は、調整画像における背景色として望ましい色(画素値)を適宜決めれば良い。例えば、画素値レンジが256階調のグレースケール画像の場合、中間色である「127」を選択したり、受精卵の透明帯の部分(比較的明るい部分)とのコントラストを強調するために「190」を選択したり、S105において生成される背景画像の全画素の平均値などを選択したりすれば良い。
但し、「0」や「255」など画素値レンジの両端に近い値とすると、背景よりも明るい部分や暗い部分が、背景と同化してしまうことになり、あまり望ましくはない。
【0074】
第2の例では、制御部11は、背景調整値Sを、背景画像(多項式曲面b)の各画素の画素値によって除した値、が各要素となるベクトルsを算出する。ベクトルsは、要素数Nである。ベクトルsは、式に表すと以下のようになる。
【0075】
【数6】

【0076】
ここで、後述する処理と比較する為、ベクトルsと、元画像の各画素の画素値が各要素となる元画像ベクトルpとの直積、であるベクトルrを考える。ベクトルrは、要素数Nである。ベクトルrは、式に表すと以下のようになる。
【0077】
【数7】

【0078】
ベクトルrを用いて調整画像を生成すると、調整画像の背景領域が背景調整値Sに近い色となるが、観察対象領域(受精卵)の明度分布にはムラが生じる。そこで、制御部11は、元画像(元画像ベクトルp)の各画素の画素値と背景画像(多項式曲面b)の各画素の画素値との差の絶対値を、所定の画素値レンジIrange(この例では、256階調)によって除した値、が各要素となるベクトルdを算出する。ベクトルdは、要素数Nである。ベクトルdは、式に表すと以下のようになる。
【0079】
【数8】

【0080】
次に、制御部11は、ベクトルsの各要素を、ベクトルdの各要素によって重み付けした値、が各要素となるベクトルtを算出する。ベクトルtは、要素数Nである。ベクトルtは、式に表すと以下のようになる。
【0081】
【数9】

【0082】
次に、制御部11は、ベクトルtと、元画像の各画素の画素値が各要素となる元画像ベクトルpとの直積、であるベクトルuを算出する。ベクトルuは、要素数Nである。ベクトルuは、式に表すと以下のようになる。
【0083】
【数10】

【0084】
そして、制御部11は、ベクトルuの各要素を、所定の画素値レンジIrangeに基づいて正規化することによって、調整画像の各画素の画素値を算出する。
例えば、制御部11は、ベクトルuの最小値umin、最大値umaxを用いて、ベクトルuの各要素を所定の画素値レンジIrange全体に引き伸ばし、ベクトルu´を算出する。ベクトルu´は、要素数Nである。ベクトルu´は、式に表すと以下のようになる。
【0085】
【数11】

【0086】
調整画像は、例えば、ベクトルu´の最小値が0、最大値が255となるように、画素値レンジが調整されたものとなる。
【0087】
更に、調整画像生成処理の第2の例では、背景調整値を、元画像の画素群から、S102によって抽出される画素を除いた画素群の平均値とする。このように背景調整値を決定すると、調整画像の背景色は、元画像の背景領域の全体的な色の印象に近い色となる。これによって、元画像と調整画像とを比較するときに、ユーザは、背景領域の違いにあまり影響されず、観察対象領域に違いがあるかどうかを確認することができる。
【0088】
図10は、画像処理装置1によって生成される第2の調整画像を示す図である。制御部11は、図10に示すように、表示部16に第2の調整画像を表示するようにしても良い。
第2の例では、調整画像の背景領域の各画素が、背景調整値Sに近い値に変換され、背景領域が一様な明度分布となる。
更に、第2の例では、観察対象領域である受精卵について、明るさにムラが生じていないことが分かる。すなわち、第2の例によって生成される調整画像は、観察対象領域の明度分布が元画像とほぼ同じ特徴(例えば、濃淡のコントラスト)を有しており、かつ、背景領域のみが一様な明度分布となっており、最も望ましい画像となっている。
また、図10に示す調整画像の背景色は、図1に示す元画像の背景領域の全体的な色の印象に近い色となっていることが分かる。
【0089】
本発明の実施の形態に係る画像処理装置1は、照度ムラの影響が除去された背景画像を生成することができる。また、生成される背景画像を用いて、観察対象領域の明度分布が元画像とほぼ同じ特徴を有し、背景領域のみが一様な明度分布となる調整画像を生成することができる。
そして、画像処理装置1が、観察対象領域の元画像から自動的に調整画像を生成することによって、一定の時間間隔によって連続的に観察する場合であっても、全ての画像を標準化することができる。画像処理装置1によって標準化される画像は、照明装置の出力のブレに由来する照度ムラの影響が除去されている。従って、観察対象領域を正確に抽出するための様々な画像処理を行う際、パラメータの調整が容易になるとともに、異なる撮影時刻の画像や異なる受精卵を正確に比較することができる。
【0090】
以上、添付図面を参照しながら、本発明に係る画像処理装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0091】
1………画像処理装置
11………制御部
12………記憶部
13………メディア入出力部
14………通信制御部
15………入力部
16………表示部
17………周辺機器I/F部
18………バス

【特許請求の範囲】
【請求項1】
解析対象の元画像を入力する入力手段と、
前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出手段と、
前記抽出手段によって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出手段と、
を具備することを特徴とする画像処理装置。
【請求項2】
前記算出手段によって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成手段、
を更に具備することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記元画像と前記背景画像生成手段によって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成手段、
を更に具備し、
前記調整画像生成手段は、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記算出手段は、前記近似多項式曲面を算出する為の連立方程式を、前記抽出手段によって抽出される画素に係る方程式の両辺を0として定めて、前記連立方程式の解を算出することを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記調整画像生成手段は、
前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第1ベクトルを算出し、
前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第2ベクトルを算出し、
前記第1ベクトルの各要素を、前記第2ベクトルの各要素によって重み付けした値、が各要素となる第3ベクトルを算出し、
前記第3ベクトルと、前記元画像の各画素の画素値が各要素となる第4ベクトルとの直積、である第5ベクトルを算出し、
前記第5ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出することを特徴とする請求項3に記載の画像処理装置。
【請求項6】
前記調整画像生成手段は、前記元画像の画素群から前記抽出手段によって抽出される画素を除いた画素群の平均値、を前記背景調整値として決定することを特徴とする請求項3に記載の画像処理装置。
【請求項7】
コンピュータが、
解析対象の元画像を入力する入力ステップと、
前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出ステップと、
前記抽出ステップによって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出ステップと、
を実行することを特徴とする画像処理方法。
【請求項8】
コンピュータを、
解析対象の元画像を入力する入力手段と、
前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出手段と、
前記抽出手段によって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出手段と、
を具備する画像処理装置として機能させるためのプログラム。
【請求項9】
請求項8に記載のプログラムが記憶されているコンピュータ読取可能な記憶媒体。

【図5】
image rotate

【図6】
image rotate

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−79089(P2012−79089A)
【公開日】平成24年4月19日(2012.4.19)
【国際特許分類】
【出願番号】特願2010−223669(P2010−223669)
【出願日】平成22年10月1日(2010.10.1)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成19年度、生物系特定産業技術研究支援センター、生物系産業創出のための異分野融合研究支援事業、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】