画像処理方法、画像処理装置およびこれらを用いた創薬支援装置
【課題】固定パターンではないランダムなノイズのうち、特に規則性がないごま塩状のノイズに対して、信号成分への影響は極力小さくしながら、ノイズのみを選択的に除去できる画像処理方法、画像処理装置およびこれらを用いた創薬支援装置を実現すること。
【解決手段】出現場所が予測不可能なランダムなノイズの画素値分布に基づき、前記ノイズを除去するためのフィルタ処理演算を制御することを特徴とする画像処理方法、画像処理装置およびこれらを用いた創薬支援装置である。
【解決手段】出現場所が予測不可能なランダムなノイズの画素値分布に基づき、前記ノイズを除去するためのフィルタ処理演算を制御することを特徴とする画像処理方法、画像処理装置およびこれらを用いた創薬支援装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置およびこれらを用いた創薬支援装置に関し、詳しくは、画像処理にあたり、雑音成分のみを効率的に除去できる画像処理方法、画像処理装置およびこれらを用いた創薬支援装置に関するものである。
【背景技術】
【０００２】
たとえば新薬の開発にあたっては、新薬の候補となる数十万から数百万もの化合物の中から有望なものを選別することが行われている。このような新薬開発の効率を高めるための開発支援システムとして、有望な化合物の選別を自動的に実行処理する創薬支援システムが実用化されている（非特許文献１）。
【０００３】
非特許文献１に記載されているシステムは、蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともにレーザー光を照射して細胞内の変化などの共焦点画像をカメラで撮影し、得られた細胞の共焦点顕微鏡画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認してレポートを作成するまでの一連の処理を自動的に高速で行うように構成されている。
【０００４】
ところで、カメラで取得した画像には、何らかのノイズが存在する。それらのうち、特定の位置に固定的に現れるノイズは「固定パターンノイズ」と呼べるものであって、そのパターンをバックグラウンドとすることにより、記録して減算（場合により除算）することで効率良く取り除くことができる。
【０００５】
これに対し、ノイズのパターンが固定されていなくてランダムに現れる場合には、これらのノイズを除去することは困難である。
【０００６】
近年、ＣＭＯＳセンサの分野において、ランダムノイズを減少させる技術が提案されているが、完全に除去できるわけではない。ここでは、ランダムに現れる「ごま塩ノイズ」に着目する。
【０００７】
「ごま塩ノイズ」とは、画像において、周辺画素よりも著しく画素値が高い（グレースケール表示で白色）、または、画素値が低い（グレースケール表示で黒色）ようなランダムなノイズのことである。白黒のパターンがランダムに現れることから、画像処理分野ではしばしば「ごま塩」（英語文献ではSalt and pepper）と呼ばれる。また、画素値が高い画素をホットピクセル、ホットスポットと呼んだり、画素値が低い画素をデッドピクセルと呼んだりすることもある。
【０００８】
ごま塩ノイズを減少させる典型的な従来技術として、メジアンフィルタを用いる方法がある。メジアンフィルタは、着目画素とその周辺画素（４近傍、８近傍、またはより広い近傍領域）を比較し、着目画素を自分自身を含む着目領域内の画素値のメジアン（中央値）で置換する。この処理により、極端に高い画素値を持つ白色のノイズや、極端に低い画素値を持つ黒色のノイズを除去することができる。
【０００９】
メジアンフィルタを用いる場合の問題点は、メジアンフィルタによる処理が画像内の全画素に均等に適用されることである。すなわち、画像内のノイズ以外の信号の領域にもメジアンフィルタが適用されるため、画像はフィルタのマスク領域で平滑化されてしまい、信号に存在する空間的に鋭い構造が鈍ってしまう。つまり、ノイズは除去できるものの画像信号にもフィルタの影響が出てしまう。
【００１０】
メジアンフィルタ以外のごま塩ノイズの除去方法としては、特許文献１に記載されているように、背景判別手段と局所的二値化手段を備え、多値画像を入力とし、各画素毎に背景判別手段が背景画素であるか否かを判別し、背景でなかった場合にのみ局所的二値化手段が局所的二値化を行い、背景かまたは文字、罫線などを構成するストロークであるかを判別して、二値画像を出力するように構成することが提案されている。
【００１１】
このような方法によれば、局所的二値化を行う前に、背景判別手段が大まかに対象画素が背景であるか否かを判別するため、低い計算コストでごま塩状ノイズの発生を抑制することができる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】新製品紹介、「ハイスループット細胞機能探索システムＣｅｌｌ Ｖｏｙａｇｅｒ ＣＶ６０００」、横河技報、横河電機株式会社、２０１０年、Ｖｏｌ．５３ Ｎｏ．１（２０１０） ｐ．６２
【特許文献】
【００１３】
【特許文献１】特開２００１−１５５１４６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかし、特許文献１に記載されている技術は、筆記された文字や数字の認識を主目的とするものであって、多値画像（グレースケール画像）を２値化する際に利用する技術であり、入力と出力がともに多値画像の場合の画像処理にそのまま適用することは困難と思われる。
【００１５】
本発明は、このような課題を解決するものであり、その目的は、固定パターンではないランダムなノイズのうち、特に規則性がないごま塩状のノイズに対して、信号成分への影響は極力小さくしながら、ノイズのみを選択的に除去できる画像処理方法、画像処理装置およびこれらを用いた創薬支援装置を実現することにある。
【課題を解決するための手段】
【００１６】
このような課題を解決するために、請求項１の発明は、
出現場所が予測不可能なランダムなノイズの画素値分布に基づき、前記ノイズを除去するためのフィルタ処理演算を制御することを特徴とする画像処理方法である。
【００１７】
請求項２の発明は、
信号成分が存在しない状態でバックグラウンドデータを取得するデータ取込部と、
前記データ取込部で取得したバックグラウンドデータからノイズの画素値の分布度を求めるノイズ分布度演算部と、
前記ノイズ分布度演算部で求めたノイズの画素値の分布度に基づき該当する画素に対するノイズを除去するためのフィルタ処理演算を行うフィルタ処理演算部、
を備えたことを特徴とする画像処理装置である。
【００１８】
請求項３の発明は、請求項２に記載の画像処理装置において、
さらに前記ノイズの評価をスコアで算出するノイズスコア演算部を設け、ノイズスコアが高い順に前記ノイズ分布度演算部で求めた一定の割合の画素に対して前記フィルタ処理演算部によるフィルタ処理演算を行うことを特徴とする。
【００１９】
請求項４の発明は、
蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともに光源からの光を照射して細胞内の変化などの画像をカメラで撮影し、得られた細胞の画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認する創薬支援装置において、
前記画像を処理する画像処理方法として、前記請求項１記載の画像処理方法を用いることを特徴とする。
【００２０】
請求項５の発明は、
蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともに光源からの光を照射して細胞内の変化などの画像をカメラで撮影し、得られた細胞の画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認する支援装置において、
前記画像を処理する画像処理装置として、前記請求項２または請求項３記載の画像処理装置を用いることを特徴とする。
【発明の効果】
【００２１】
これらの構成により、特に規則性がないごま塩状のノイズに対して、信号成分への影響は極力小さくしながら、ノイズのみを選択的に除去できる。
【００２２】
そしてこのような画像処理方法や画像処理装置を、蛍光染色された細胞の反応を観察確認する創薬支援装置の画像処理に適用することにより、蛍光の光量を正確に測定できるようになるため、より正確な薬効の判定が行える。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施例を示すブロック図である。
【図２】図１の構成における動作の流れを説明するフローチャートである。
【図３】バックグラウンド出力データの画素値のヒストグラム例である。
【図４】図１の構成における動作の流れを説明するフローチャートである。
【図５】図１の構成における動作の流れを説明するフローチャートである。
【図６】正負のノイズと信号と背景が画素値としてどの領域になるかを概念的に２次元で表示した領域説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について詳細に説明する。図１は本発明の一実施例を示すブロック図である。図１において、データ取込部１は、バックグラウンドデータや画像データを取り込み、データ格納部２に格納する。
【００２５】
ヒストグラム演算部３は、データ取込部１で取り込まれたバックグラウンドデータにおけるノイズ分布のヒストグラムを演算し、その演算結果をヒストグラム格納部４に格納する。
【００２６】
バックグラウンドとノイズ成分の識別にあたっては、正規分布の標準偏差などを用いてもよいが、着目画素が周辺画素からどれだけ突出して画素値が高いかまたは低いかをたとえば次式に基づいて演算できるノイズスコアを用いてもよい。
（着目画素のノイズスコア）＝（着目画素の画素値）−（周辺画素の画素値の代表値）
ここで、代表値としては、４近傍、８近傍、または周辺領域内のメジアン、平均、その他の統計データを用いる。
【００２７】
ノイズスコア演算部５は、データ取込部１で取り込まれたバックグラウンドデータに基づき、全画素の正負のノイズスコアを演算し、その演算結果をノイズスコア格納部６に格納する。
【００２８】
ノイズ分布度演算部７は、ヒストグラム演算部３で演算されたノイズ分布のヒストグラムまたはノイズスコア演算部５で演算された全画素の正負のノイズスコアに基づき、全画素の正負のノイズの分布度を演算し、その演算結果をノイズ分布度格納部８に格納する。
【００２９】
フィルタ選択部９は、フィルタ処理演算部１１がフィルタ処理演算に用いる適切なフィルタをフィルタ格納部１０から選択する。
【００３０】
フィルタ処理演算部１１は、データ格納部２に格納されている画像データに対し、フィルタ選択部９で選択されたフィルタを用いて、ノイズ分布度演算部５で演算されたノイズ分布度に基づき、該当する画素の出力データに含まれているノイズ成分を除去するためのフィルタ処理演算を行い、その演算結果をフィルタ処理演算結果格納部１２に格納する。
【００３１】
なお、バックグラウンドデータを取得することが困難な場合には、実データの中で観察対象が写っていない領域を用いてノイズの分布を推定するようにしてもよい。
【００３２】
図２は図１の構成における動作の流れを説明するフローチャートであり、対象とする画像データの取得や読込みに先立って、事前に対象とする検出器（ＣＣＤやＣＭＯＳなどの受光素子、またはＸ線画像取得装置など）のノイズの分布を調査して情報を取得する動作の流れを示している。
【００３３】
ステップＳ１において、データ取込部１は、入力信号がない状態で、検出器単体のバックグラウンド出力データを取り込む。この状態におけるバックグラウンド出力データの画素値は、入力信号がないことからノイズ成分のみになり、事前情報としてノイズ成分情報を取得できる。このバックグラウンドデータから、別途作成した基準となるバックグラウンドデータ（バックグラウンドのバックグラウンドデータ、またはバイアスデータ）を減算してもよい。
【００３４】
ステップＳ２において、ヒストグラム演算部３は、取り込まれたカメラのバックグラウンド出力データの画素値のヒストグラムを演算する。
【００３５】
バックグラウンド出力データの画素値のヒストグラムは、理想的にはアンプのノイズや熱雑音などに起因する素性が良い小さなノイズのみが存在するので、その場合のヒストグラムは図３に示すような単一の正規分布で表される。
【００３６】
図３において、横軸は画素値、縦軸はその画素値を持つ画素数のヒストグラムを示す。バックグラウンドデータでは大多数の画素は背景領域であり、ほぼ単一の正規分布で表現できるが、それより左側には画素値が著しく低いノイズ、右側には画素値が著しく高いノイズが存在する場合がある。
【００３７】
なお、図３の例では、背景領域のみのヒストグラムを表示していて、ノイズ成分のヒストグラムは表示していない。もし、バックグラウンド出力データにごま塩ノイズ成分が存在すれば、それは図３の正規分布から外れた正負の分布となって現れるので容易に検出できる。
【００３８】
図２のステップＳ３では、ノイズ分布度演算部７は、ステップＳ２で演算されたヒストグラムに基づいてそれらごま塩ノイズ成分を検出し、その画素値と出現頻度（全画素のうち正のノイズと負のノイズの割合はどれだけが）の分布度を演算する。この分布度を演算するためには、バックグラウンドデータは複数枚分取得することが望ましい。
【００３９】
図４も図１の構成における動作の流れを説明するフローチャートであり、対象とする画像データの取得や読込みに先立って、事前に対象とする検出器のノイズの分布を調査して情報を取得する他の動作の流れを示している。
【００４０】
ステップＳ１において、データ取込部１は、図２と同様に、入力信号がない状態で、検出器単体のバックグラウンド出力データを取り込む。
【００４１】
ステップＳ２において、ノイズスコア演算部５は、前述のように、取り込まれたカメラのバックグラウンド出力データの各画素と周辺画素の画素値の分布に基づき正負（白黒）のノイズスコアを各々演算する。
【００４２】
ステップＳ３において、ノイズ分布度演算部７は、全画素の正負のノイズスコアに基づき、全画素の正（白）負（黒）のノイズの分布度を演算する。
【００４３】
図５も図１の構成における動作の流れを説明するフローチャートであり、図２や図４のフローチャートの動作により対象とする画像データの取得や読込みに先立って事前に取得した対象とする検出器のノイズ分布情報に基づき所定のフィルタ処理演算を行うことにより画像データのノイズ成分を除去する動作の流れを示している。
【００４４】
信号が存在しても、センサの温度、露光時間、アンプのゲインが同等であれば、ごま塩ノイズは同等の頻度、同等の画素値（電荷量）で分布すると仮定できる。そこで、単純には、ある着目画素の画素値が、その周辺画素の代表画素値（平均や中央値）に対してどれだけ正または負の側に突出しているかを「ノイズスコア」として記録する。
【００４５】
ごま塩ノイズのように正と負の両方のノイズに着目する場合は、ノイズスコアは正のノイズ用と負のノイズ用に個別に演算してもよい。すべての画素について「ノイズスコア」を演算した後、ノイズスコアが高い順から、前述の事前情報として取得した一定の割合が本当のノイズであると考えてそれらの画素にはフィルタを適用する。
【００４６】
ステップＳ１において、データ取込部１は、ノイズ除去の対象とする画像データを取得または取り込む。
【００４７】
ステップＳ２において、フィルタ選択部９は、図２や図４のフローチャートの動作により求めた対象とする検出器のノイズ分布度に基づき、フィルタ処理演算に適したフィルタを選択する。
【００４８】
そして、ステップＳ３において、フィルタ処理演算１１は、フィルタ選択部９で選択されたフィルタを用いて、ステップＳ１で取得または取り込まれた画像データに対する所定のフィルタ処理演算を行う。
【００４９】
具体的には、たとえば前述の正側のノイズが１万画素（１％）である１００万画素のカメラの場合には、これら１万画素（１％）の画素について、選択的にフィルタ処理演算を行う。フィルタとしては、単純にはメジアンフィルタや平均値フィルタでもよいし、より複雑なフィルタを適用してもよい。
【００５０】
これらフィルタは、該当する着目画素の周辺画素を利用して該当（着目）画素を補間することにより、実質的にノイズ成分を選択的に低減するように機能する。
【００５１】
なお、上記実施例では、着目画素とその周辺画素という画素単位でノイズ成分を低減する例について説明したが、以下のようにＰＳＦ（Point Spread Function：点広がり関数、光学系で決まる点像応答関数）のパターンに着目してノイズ成分を低減するようにしてもよい。
【００５２】
すなわち、画像を形成する光学系のサンプリングが適切であって極端なアンダーサンプリング状態でなければ、画像のパターンは少なくともＰＳＦの広がりを持つ。逆に、ＰＳＦより細かい構造があるなら、それはノイズ成分と考えられる。そこで、ＰＳＦのパターンを画像のｘ，ｙ座標で偏微分した∂ＰＳＦ／∂ｘ，∂ＰＳＦ／∂ｙなどの媒介変数に着目し、この媒介変数の絶対値の最大値（＝理論的に現れ得る最も鋭い構造）で規格化したスコアを演算、利用してもよい。
【００５３】
本発明の実施にあたっては、一旦取得してハードディスクなどに保存した画像データを読み出し、オフラインで解析する段階で適用することを想定しているが、上記フローチャートのアルゴリズムをＤＳＰ(Digital Signal Processor)などに実装してリアルタイムに演算を行うことも考えられる。特に、周辺画素に対する画素値の突出度演算（減算）、ノイズスコアが高い画素の選択、補間などは比較的単純な処理であり、ＤＳＰやＦＰＧＡ（Field-Programmable Gate Array）への実装も容易である。
【００５４】
なお、図１の実施例では、ヒストグラム演算部３、ヒストグラム格納部４、ノイズスコア演算部５、ノイズスコア格納部６、ノイズ分布度演算部７およびノイズ分布度格納部８を個別に設ける例を示しているが、ヒストグラム演算部３とノイズスコア演算部５とを組み合わせることでノイズ分布度演算部７と同等の機能を得ることができ、ヒストグラム格納部４とノイズスコア格納部６とを組み合わせることでノイズ分布度格納部８と同等の機能を得ることができるものの、ノイズ分布度演算部７やノイズ分布度格納部８を個別に設けることで、ノイズ分布度の結果に基づいて測定データの要否判断を迅速に行える。
【００５５】
また、上記実施例では、ノイズのスコアを、周辺画素に対する画素値の突出度として演算し、１つのスカラー量として表したが、着目画素値や周辺画素値に応じてスコアの演算方法を変更することも考えられる。
【００５６】
たとえば、あるカメラのノイズは必ず周辺画素に対して一定範囲（たとえば＋２０００から＋３０００ＡＤＵ）の突出度を持つという既存知識があれば、その範囲に対してノイズスコアの重みを高くすればよい。
【００５７】
図６は正負のノイズと信号と背景が画素値としてどの領域になるかを概念的に２次元で表示した領域説明図であり、横軸は周辺画素の代表画素値、縦軸は着目画素の画素値を示している。背景領域では着目画素の画素値が低く、周辺の画素値も低い。信号領域では着目画素も周辺画素も画素値は高い。一方、着目画素が周辺と比較して著しく高いかまたは著しく低い画素を持つ場合は、ノイズである可能性が高い。
【００５８】
この２次元内を曲線や直線で４分割し、フィルタによる補正を適用するかしないかを決定してもよいが、スコアの与え方を単に着目画素と周辺領域の画素値との差という線形演算ではなく、ＰＳＦの形状や画素値の突出度に応じた非線形関数にすることで、より高精度に「ノイズであると推定できるもっともらしさ」を推定することが可能になる。
【００５９】
たとえば、ノイズ成分の画素値の分布（ヒストグラム）を知っていれば、ノイズの疑いがある画素の画素値にその分布関数を積算すれば、ヒストグラム空間でパターンマッチ（相関演算）を行ったことに相当するので、最も高感度にスコアを演算できる。ＸＹ空間についても同様で、カメラの視野内の位置に応じてノイズの発生頻度が異なれば、その分布関数を積算することで最高感度の検出が可能になる。
【００６０】
本発明に基づく画像処理方法や画像処理装置は、蛍光染色された細胞の反応を観察確認する創薬支援装置における画像処理に好適である。
【００６１】
すなわち、前述のように、特に規則性がないごま塩状のノイズに対して、信号成分への影響は極力小さくしながらノイズのみを選択的に除去できることから、蛍光染色された細胞の反応を観察確認するのにあたり、蛍光の光量を正確に測定できて、より正確な薬効の判定が行える。
【００６２】
以上説明したように、本発明によれば、全画素に対して一様にフィルタ（メジアン、平均値、その他）を適用する場合と比較すると、信号が存在する領域への影響を抑制しながら、雑音成分のみを効率よく除去することができる。
【００６３】
そして、雑音成分のみを効率的に除去できることにより、画像の見た目が美しくなる効果に加え、蛍光染色された細胞の反応を観察確認する創薬支援装置の画像処理に適用することにより蛍光の光量を正確に測定できるようになるため、より正確な薬効の判定が行える。
【符号の説明】
【００６４】
１ データ取込部
２ データ格納部
３ ヒストグラム演算部
４ ヒストグラム格納部
５ ノイズスコア演算部
６ ノイズスコア格納部
７ ノイズ分布度演算部
８ ノイズ分布度格納部
９ フィルタ選択部
１０ フィルタ格納部
１１ フィルタ処理演算部
１２ フィルタ処理演算結果格納部
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置およびこれらを用いた創薬支援装置に関し、詳しくは、画像処理にあたり、雑音成分のみを効率的に除去できる画像処理方法、画像処理装置およびこれらを用いた創薬支援装置に関するものである。
【背景技術】
【０００２】
たとえば新薬の開発にあたっては、新薬の候補となる数十万から数百万もの化合物の中から有望なものを選別することが行われている。このような新薬開発の効率を高めるための開発支援システムとして、有望な化合物の選別を自動的に実行処理する創薬支援システムが実用化されている（非特許文献１）。
【０００３】
非特許文献１に記載されているシステムは、蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともにレーザー光を照射して細胞内の変化などの共焦点画像をカメラで撮影し、得られた細胞の共焦点顕微鏡画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認してレポートを作成するまでの一連の処理を自動的に高速で行うように構成されている。
【０００４】
ところで、カメラで取得した画像には、何らかのノイズが存在する。それらのうち、特定の位置に固定的に現れるノイズは「固定パターンノイズ」と呼べるものであって、そのパターンをバックグラウンドとすることにより、記録して減算（場合により除算）することで効率良く取り除くことができる。
【０００５】
これに対し、ノイズのパターンが固定されていなくてランダムに現れる場合には、これらのノイズを除去することは困難である。
【０００６】
近年、ＣＭＯＳセンサの分野において、ランダムノイズを減少させる技術が提案されているが、完全に除去できるわけではない。ここでは、ランダムに現れる「ごま塩ノイズ」に着目する。
【０００７】
「ごま塩ノイズ」とは、画像において、周辺画素よりも著しく画素値が高い（グレースケール表示で白色）、または、画素値が低い（グレースケール表示で黒色）ようなランダムなノイズのことである。白黒のパターンがランダムに現れることから、画像処理分野ではしばしば「ごま塩」（英語文献ではSalt and pepper）と呼ばれる。また、画素値が高い画素をホットピクセル、ホットスポットと呼んだり、画素値が低い画素をデッドピクセルと呼んだりすることもある。
【０００８】
ごま塩ノイズを減少させる典型的な従来技術として、メジアンフィルタを用いる方法がある。メジアンフィルタは、着目画素とその周辺画素（４近傍、８近傍、またはより広い近傍領域）を比較し、着目画素を自分自身を含む着目領域内の画素値のメジアン（中央値）で置換する。この処理により、極端に高い画素値を持つ白色のノイズや、極端に低い画素値を持つ黒色のノイズを除去することができる。
【０００９】
メジアンフィルタを用いる場合の問題点は、メジアンフィルタによる処理が画像内の全画素に均等に適用されることである。すなわち、画像内のノイズ以外の信号の領域にもメジアンフィルタが適用されるため、画像はフィルタのマスク領域で平滑化されてしまい、信号に存在する空間的に鋭い構造が鈍ってしまう。つまり、ノイズは除去できるものの画像信号にもフィルタの影響が出てしまう。
【００１０】
メジアンフィルタ以外のごま塩ノイズの除去方法としては、特許文献１に記載されているように、背景判別手段と局所的二値化手段を備え、多値画像を入力とし、各画素毎に背景判別手段が背景画素であるか否かを判別し、背景でなかった場合にのみ局所的二値化手段が局所的二値化を行い、背景かまたは文字、罫線などを構成するストロークであるかを判別して、二値画像を出力するように構成することが提案されている。
【００１１】
このような方法によれば、局所的二値化を行う前に、背景判別手段が大まかに対象画素が背景であるか否かを判別するため、低い計算コストでごま塩状ノイズの発生を抑制することができる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】新製品紹介、「ハイスループット細胞機能探索システムＣｅｌｌ Ｖｏｙａｇｅｒ ＣＶ６０００」、横河技報、横河電機株式会社、２０１０年、Ｖｏｌ．５３ Ｎｏ．１（２０１０） ｐ．６２
【特許文献】
【００１３】
【特許文献１】特開２００１−１５５１４６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかし、特許文献１に記載されている技術は、筆記された文字や数字の認識を主目的とするものであって、多値画像（グレースケール画像）を２値化する際に利用する技術であり、入力と出力がともに多値画像の場合の画像処理にそのまま適用することは困難と思われる。
【００１５】
本発明は、このような課題を解決するものであり、その目的は、固定パターンではないランダムなノイズのうち、特に規則性がないごま塩状のノイズに対して、信号成分への影響は極力小さくしながら、ノイズのみを選択的に除去できる画像処理方法、画像処理装置およびこれらを用いた創薬支援装置を実現することにある。
【課題を解決するための手段】
【００１６】
このような課題を解決するために、請求項１の発明は、
出現場所が予測不可能なランダムなノイズの画素値分布に基づき、前記ノイズを除去するためのフィルタ処理演算を制御することを特徴とする画像処理方法である。
【００１７】
請求項２の発明は、
信号成分が存在しない状態でバックグラウンドデータを取得するデータ取込部と、
前記データ取込部で取得したバックグラウンドデータからノイズの画素値の分布度を求めるノイズ分布度演算部と、
前記ノイズ分布度演算部で求めたノイズの画素値の分布度に基づき該当する画素に対するノイズを除去するためのフィルタ処理演算を行うフィルタ処理演算部、
を備えたことを特徴とする画像処理装置である。
【００１８】
請求項３の発明は、請求項２に記載の画像処理装置において、
さらに前記ノイズの評価をスコアで算出するノイズスコア演算部を設け、ノイズスコアが高い順に前記ノイズ分布度演算部で求めた一定の割合の画素に対して前記フィルタ処理演算部によるフィルタ処理演算を行うことを特徴とする。
【００１９】
請求項４の発明は、
蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともに光源からの光を照射して細胞内の変化などの画像をカメラで撮影し、得られた細胞の画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認する創薬支援装置において、
前記画像を処理する画像処理方法として、前記請求項１記載の画像処理方法を用いることを特徴とする。
【００２０】
請求項５の発明は、
蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともに光源からの光を照射して細胞内の変化などの画像をカメラで撮影し、得られた細胞の画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認する支援装置において、
前記画像を処理する画像処理装置として、前記請求項２または請求項３記載の画像処理装置を用いることを特徴とする。
【発明の効果】
【００２１】
これらの構成により、特に規則性がないごま塩状のノイズに対して、信号成分への影響は極力小さくしながら、ノイズのみを選択的に除去できる。
【００２２】
そしてこのような画像処理方法や画像処理装置を、蛍光染色された細胞の反応を観察確認する創薬支援装置の画像処理に適用することにより、蛍光の光量を正確に測定できるようになるため、より正確な薬効の判定が行える。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施例を示すブロック図である。
【図２】図１の構成における動作の流れを説明するフローチャートである。
【図３】バックグラウンド出力データの画素値のヒストグラム例である。
【図４】図１の構成における動作の流れを説明するフローチャートである。
【図５】図１の構成における動作の流れを説明するフローチャートである。
【図６】正負のノイズと信号と背景が画素値としてどの領域になるかを概念的に２次元で表示した領域説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について詳細に説明する。図１は本発明の一実施例を示すブロック図である。図１において、データ取込部１は、バックグラウンドデータや画像データを取り込み、データ格納部２に格納する。
【００２５】
ヒストグラム演算部３は、データ取込部１で取り込まれたバックグラウンドデータにおけるノイズ分布のヒストグラムを演算し、その演算結果をヒストグラム格納部４に格納する。
【００２６】
バックグラウンドとノイズ成分の識別にあたっては、正規分布の標準偏差などを用いてもよいが、着目画素が周辺画素からどれだけ突出して画素値が高いかまたは低いかをたとえば次式に基づいて演算できるノイズスコアを用いてもよい。
（着目画素のノイズスコア）＝（着目画素の画素値）−（周辺画素の画素値の代表値）
ここで、代表値としては、４近傍、８近傍、または周辺領域内のメジアン、平均、その他の統計データを用いる。
【００２７】
ノイズスコア演算部５は、データ取込部１で取り込まれたバックグラウンドデータに基づき、全画素の正負のノイズスコアを演算し、その演算結果をノイズスコア格納部６に格納する。
【００２８】
ノイズ分布度演算部７は、ヒストグラム演算部３で演算されたノイズ分布のヒストグラムまたはノイズスコア演算部５で演算された全画素の正負のノイズスコアに基づき、全画素の正負のノイズの分布度を演算し、その演算結果をノイズ分布度格納部８に格納する。
【００２９】
フィルタ選択部９は、フィルタ処理演算部１１がフィルタ処理演算に用いる適切なフィルタをフィルタ格納部１０から選択する。
【００３０】
フィルタ処理演算部１１は、データ格納部２に格納されている画像データに対し、フィルタ選択部９で選択されたフィルタを用いて、ノイズ分布度演算部５で演算されたノイズ分布度に基づき、該当する画素の出力データに含まれているノイズ成分を除去するためのフィルタ処理演算を行い、その演算結果をフィルタ処理演算結果格納部１２に格納する。
【００３１】
なお、バックグラウンドデータを取得することが困難な場合には、実データの中で観察対象が写っていない領域を用いてノイズの分布を推定するようにしてもよい。
【００３２】
図２は図１の構成における動作の流れを説明するフローチャートであり、対象とする画像データの取得や読込みに先立って、事前に対象とする検出器（ＣＣＤやＣＭＯＳなどの受光素子、またはＸ線画像取得装置など）のノイズの分布を調査して情報を取得する動作の流れを示している。
【００３３】
ステップＳ１において、データ取込部１は、入力信号がない状態で、検出器単体のバックグラウンド出力データを取り込む。この状態におけるバックグラウンド出力データの画素値は、入力信号がないことからノイズ成分のみになり、事前情報としてノイズ成分情報を取得できる。このバックグラウンドデータから、別途作成した基準となるバックグラウンドデータ（バックグラウンドのバックグラウンドデータ、またはバイアスデータ）を減算してもよい。
【００３４】
ステップＳ２において、ヒストグラム演算部３は、取り込まれたカメラのバックグラウンド出力データの画素値のヒストグラムを演算する。
【００３５】
バックグラウンド出力データの画素値のヒストグラムは、理想的にはアンプのノイズや熱雑音などに起因する素性が良い小さなノイズのみが存在するので、その場合のヒストグラムは図３に示すような単一の正規分布で表される。
【００３６】
図３において、横軸は画素値、縦軸はその画素値を持つ画素数のヒストグラムを示す。バックグラウンドデータでは大多数の画素は背景領域であり、ほぼ単一の正規分布で表現できるが、それより左側には画素値が著しく低いノイズ、右側には画素値が著しく高いノイズが存在する場合がある。
【００３７】
なお、図３の例では、背景領域のみのヒストグラムを表示していて、ノイズ成分のヒストグラムは表示していない。もし、バックグラウンド出力データにごま塩ノイズ成分が存在すれば、それは図３の正規分布から外れた正負の分布となって現れるので容易に検出できる。
【００３８】
図２のステップＳ３では、ノイズ分布度演算部７は、ステップＳ２で演算されたヒストグラムに基づいてそれらごま塩ノイズ成分を検出し、その画素値と出現頻度（全画素のうち正のノイズと負のノイズの割合はどれだけが）の分布度を演算する。この分布度を演算するためには、バックグラウンドデータは複数枚分取得することが望ましい。
【００３９】
図４も図１の構成における動作の流れを説明するフローチャートであり、対象とする画像データの取得や読込みに先立って、事前に対象とする検出器のノイズの分布を調査して情報を取得する他の動作の流れを示している。
【００４０】
ステップＳ１において、データ取込部１は、図２と同様に、入力信号がない状態で、検出器単体のバックグラウンド出力データを取り込む。
【００４１】
ステップＳ２において、ノイズスコア演算部５は、前述のように、取り込まれたカメラのバックグラウンド出力データの各画素と周辺画素の画素値の分布に基づき正負（白黒）のノイズスコアを各々演算する。
【００４２】
ステップＳ３において、ノイズ分布度演算部７は、全画素の正負のノイズスコアに基づき、全画素の正（白）負（黒）のノイズの分布度を演算する。
【００４３】
図５も図１の構成における動作の流れを説明するフローチャートであり、図２や図４のフローチャートの動作により対象とする画像データの取得や読込みに先立って事前に取得した対象とする検出器のノイズ分布情報に基づき所定のフィルタ処理演算を行うことにより画像データのノイズ成分を除去する動作の流れを示している。
【００４４】
信号が存在しても、センサの温度、露光時間、アンプのゲインが同等であれば、ごま塩ノイズは同等の頻度、同等の画素値（電荷量）で分布すると仮定できる。そこで、単純には、ある着目画素の画素値が、その周辺画素の代表画素値（平均や中央値）に対してどれだけ正または負の側に突出しているかを「ノイズスコア」として記録する。
【００４５】
ごま塩ノイズのように正と負の両方のノイズに着目する場合は、ノイズスコアは正のノイズ用と負のノイズ用に個別に演算してもよい。すべての画素について「ノイズスコア」を演算した後、ノイズスコアが高い順から、前述の事前情報として取得した一定の割合が本当のノイズであると考えてそれらの画素にはフィルタを適用する。
【００４６】
ステップＳ１において、データ取込部１は、ノイズ除去の対象とする画像データを取得または取り込む。
【００４７】
ステップＳ２において、フィルタ選択部９は、図２や図４のフローチャートの動作により求めた対象とする検出器のノイズ分布度に基づき、フィルタ処理演算に適したフィルタを選択する。
【００４８】
そして、ステップＳ３において、フィルタ処理演算１１は、フィルタ選択部９で選択されたフィルタを用いて、ステップＳ１で取得または取り込まれた画像データに対する所定のフィルタ処理演算を行う。
【００４９】
具体的には、たとえば前述の正側のノイズが１万画素（１％）である１００万画素のカメラの場合には、これら１万画素（１％）の画素について、選択的にフィルタ処理演算を行う。フィルタとしては、単純にはメジアンフィルタや平均値フィルタでもよいし、より複雑なフィルタを適用してもよい。
【００５０】
これらフィルタは、該当する着目画素の周辺画素を利用して該当（着目）画素を補間することにより、実質的にノイズ成分を選択的に低減するように機能する。
【００５１】
なお、上記実施例では、着目画素とその周辺画素という画素単位でノイズ成分を低減する例について説明したが、以下のようにＰＳＦ（Point Spread Function：点広がり関数、光学系で決まる点像応答関数）のパターンに着目してノイズ成分を低減するようにしてもよい。
【００５２】
すなわち、画像を形成する光学系のサンプリングが適切であって極端なアンダーサンプリング状態でなければ、画像のパターンは少なくともＰＳＦの広がりを持つ。逆に、ＰＳＦより細かい構造があるなら、それはノイズ成分と考えられる。そこで、ＰＳＦのパターンを画像のｘ，ｙ座標で偏微分した∂ＰＳＦ／∂ｘ，∂ＰＳＦ／∂ｙなどの媒介変数に着目し、この媒介変数の絶対値の最大値（＝理論的に現れ得る最も鋭い構造）で規格化したスコアを演算、利用してもよい。
【００５３】
本発明の実施にあたっては、一旦取得してハードディスクなどに保存した画像データを読み出し、オフラインで解析する段階で適用することを想定しているが、上記フローチャートのアルゴリズムをＤＳＰ(Digital Signal Processor)などに実装してリアルタイムに演算を行うことも考えられる。特に、周辺画素に対する画素値の突出度演算（減算）、ノイズスコアが高い画素の選択、補間などは比較的単純な処理であり、ＤＳＰやＦＰＧＡ（Field-Programmable Gate Array）への実装も容易である。
【００５４】
なお、図１の実施例では、ヒストグラム演算部３、ヒストグラム格納部４、ノイズスコア演算部５、ノイズスコア格納部６、ノイズ分布度演算部７およびノイズ分布度格納部８を個別に設ける例を示しているが、ヒストグラム演算部３とノイズスコア演算部５とを組み合わせることでノイズ分布度演算部７と同等の機能を得ることができ、ヒストグラム格納部４とノイズスコア格納部６とを組み合わせることでノイズ分布度格納部８と同等の機能を得ることができるものの、ノイズ分布度演算部７やノイズ分布度格納部８を個別に設けることで、ノイズ分布度の結果に基づいて測定データの要否判断を迅速に行える。
【００５５】
また、上記実施例では、ノイズのスコアを、周辺画素に対する画素値の突出度として演算し、１つのスカラー量として表したが、着目画素値や周辺画素値に応じてスコアの演算方法を変更することも考えられる。
【００５６】
たとえば、あるカメラのノイズは必ず周辺画素に対して一定範囲（たとえば＋２０００から＋３０００ＡＤＵ）の突出度を持つという既存知識があれば、その範囲に対してノイズスコアの重みを高くすればよい。
【００５７】
図６は正負のノイズと信号と背景が画素値としてどの領域になるかを概念的に２次元で表示した領域説明図であり、横軸は周辺画素の代表画素値、縦軸は着目画素の画素値を示している。背景領域では着目画素の画素値が低く、周辺の画素値も低い。信号領域では着目画素も周辺画素も画素値は高い。一方、着目画素が周辺と比較して著しく高いかまたは著しく低い画素を持つ場合は、ノイズである可能性が高い。
【００５８】
この２次元内を曲線や直線で４分割し、フィルタによる補正を適用するかしないかを決定してもよいが、スコアの与え方を単に着目画素と周辺領域の画素値との差という線形演算ではなく、ＰＳＦの形状や画素値の突出度に応じた非線形関数にすることで、より高精度に「ノイズであると推定できるもっともらしさ」を推定することが可能になる。
【００５９】
たとえば、ノイズ成分の画素値の分布（ヒストグラム）を知っていれば、ノイズの疑いがある画素の画素値にその分布関数を積算すれば、ヒストグラム空間でパターンマッチ（相関演算）を行ったことに相当するので、最も高感度にスコアを演算できる。ＸＹ空間についても同様で、カメラの視野内の位置に応じてノイズの発生頻度が異なれば、その分布関数を積算することで最高感度の検出が可能になる。
【００６０】
本発明に基づく画像処理方法や画像処理装置は、蛍光染色された細胞の反応を観察確認する創薬支援装置における画像処理に好適である。
【００６１】
すなわち、前述のように、特に規則性がないごま塩状のノイズに対して、信号成分への影響は極力小さくしながらノイズのみを選択的に除去できることから、蛍光染色された細胞の反応を観察確認するのにあたり、蛍光の光量を正確に測定できて、より正確な薬効の判定が行える。
【００６２】
以上説明したように、本発明によれば、全画素に対して一様にフィルタ（メジアン、平均値、その他）を適用する場合と比較すると、信号が存在する領域への影響を抑制しながら、雑音成分のみを効率よく除去することができる。
【００６３】
そして、雑音成分のみを効率的に除去できることにより、画像の見た目が美しくなる効果に加え、蛍光染色された細胞の反応を観察確認する創薬支援装置の画像処理に適用することにより蛍光の光量を正確に測定できるようになるため、より正確な薬効の判定が行える。
【符号の説明】
【００６４】
１ データ取込部
２ データ格納部
３ ヒストグラム演算部
４ ヒストグラム格納部
５ ノイズスコア演算部
６ ノイズスコア格納部
７ ノイズ分布度演算部
８ ノイズ分布度格納部
９ フィルタ選択部
１０ フィルタ格納部
１１ フィルタ処理演算部
１２ フィルタ処理演算結果格納部
【特許請求の範囲】
【請求項１】
出現場所が予測不可能なランダムなノイズの画素値分布に基づき、前記ノイズを除去するためのフィルタ処理演算を制御することを特徴とする画像処理方法。
【請求項２】
信号成分が存在しない状態でバックグラウンドデータを取得するデータ取込部と、
前記データ取込部で取得したバックグラウンドデータからノイズの画素値の分布度を求めるノイズ分布度演算部と、
前記ノイズ分布度演算部で求めたノイズの画素値の分布度に基づき該当する画素に対するノイズを除去するためのフィルタ処理演算を行うフィルタ処理演算部、
を備えたことを特徴とする画像処理装置。
【請求項３】
さらに前記ノイズの評価をスコアで算出するノイズスコア演算部を設け、ノイズスコアが高い順に前記ノイズ分布度演算部で求めた一定の割合の画素に対して前記フィルタ処理演算部によるフィルタ処理演算を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともに光源からの光を照射して細胞内の変化などの画像をカメラで撮影し、得られた細胞の画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認する創薬支援装置において、
前記画像を処理する画像処理方法として、前記請求項１記載の画像処理方法を用いることを特徴とする創薬支援装置。
【請求項５】
蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともに光源からの光を照射して細胞内の変化などの画像をカメラで撮影し、得られた細胞の画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認する創薬支援装置において、
前記画像を処理する画像処理装置として、前記請求項２または請求項３記載の画像処理装置を用いることを特徴とする創薬支援装置。
【請求項１】
出現場所が予測不可能なランダムなノイズの画素値分布に基づき、前記ノイズを除去するためのフィルタ処理演算を制御することを特徴とする画像処理方法。
【請求項２】
信号成分が存在しない状態でバックグラウンドデータを取得するデータ取込部と、
前記データ取込部で取得したバックグラウンドデータからノイズの画素値の分布度を求めるノイズ分布度演算部と、
前記ノイズ分布度演算部で求めたノイズの画素値の分布度に基づき該当する画素に対するノイズを除去するためのフィルタ処理演算を行うフィルタ処理演算部、
を備えたことを特徴とする画像処理装置。
【請求項３】
さらに前記ノイズの評価をスコアで算出するノイズスコア演算部を設け、ノイズスコアが高い順に前記ノイズ分布度演算部で求めた一定の割合の画素に対して前記フィルタ処理演算部によるフィルタ処理演算を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともに光源からの光を照射して細胞内の変化などの画像をカメラで撮影し、得られた細胞の画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認する創薬支援装置において、
前記画像を処理する画像処理方法として、前記請求項１記載の画像処理方法を用いることを特徴とする創薬支援装置。
【請求項５】
蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともに光源からの光を照射して細胞内の変化などの画像をカメラで撮影し、得られた細胞の画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認する創薬支援装置において、
前記画像を処理する画像処理装置として、前記請求項２または請求項３記載の画像処理装置を用いることを特徴とする創薬支援装置。
【図１】
【図２】
【図４】
【図５】
【図６】
【図３】
【図２】
【図４】
【図５】
【図６】
【図３】
【公開番号】特開２０１２−２５６１７５（Ｐ２０１２−２５６１７５Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２８４３２（Ｐ２０１１−１２８４３２）
【出願日】平成２３年６月８日（２０１１．６．８）
【出願人】（０００００６５０７）横河電機株式会社 (4,443)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月８日（２０１１．６．８）
【出願人】（０００００６５０７）横河電機株式会社 (4,443)
【Ｆターム（参考）】
[ Back to top ]