説明

画像処理装置および画像処理プログラム

【課題】画像から所望の領域を容易に抽出可能な画像処理装置および画像処理プログラムを提供する。
【解決手段】画像データに基づく初期画像IMが表示部260に表示される。使用者が初期画像IMにおいて抽出すべき領域を含む抽出範囲を指定することにより、抽出範囲内で設定された抽出条件に基づいて一または複数の領域が抽出される。抽出された一または複数の領域から、領域に関する特徴情報に基づいて特徴領域が選択される。選択された特徴領域が抽出領域として決定される。使用者が初期画像IMにおいて抽出すべき他の領域を含む抽出範囲を指定することにより、抽出範囲内で設定された抽出条件に基づいて一または複数の領域が抽出される。抽出された一または複数の領域から、領域に関する特徴情報に基づいて特徴領域が選択される。選択された特徴領域は、既に決定された抽出領域に加えられる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を処理する画像処理装置および画像処理プログラムに関する。
【背景技術】
【0002】
拡大観察装置においては、観察対象物の画像から特定の領域を抽出することにより、例えば領域の大きさおよび面積等を算出することができる。これにより、拡大観察装置のユーザは、観察対象物を定量的に解析することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−079780号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載された画像処理装置においては、観察対象物の画像から特定の領域を抽出するために、しきい値等の抽出条件を設定することができるとともに、観察対象物の画像に対してぼかし処理等の処理を施すことができる。これにより、所望の領域を適切に抽出することができる。
【0005】
観察対象物の画像に対して施す処理としては、例えば画像中の空間的な高周波ノイズの軽減を目的とした処理、または画像中の明るさムラの軽減を目的とした処理等がある。ユーザは、目的に応じて種々の処理を選択することができる。
【0006】
しかしながら、処理の種類が適切に選択されなかった場合には、画像から所望の領域を抽出するための抽出条件を設定することが困難になることがある。また、画像処理装置に用意されている種類の処理を画像に施すだけでは、画像から所望の領域を抽出するための抽出条件を設定することが困難であることがある。
【0007】
本発明の目的は、画像から所望の領域を容易に抽出可能な画像処理装置および画像処理プログラムを提供することである。
【課題を解決するための手段】
【0008】
(1)第1の発明に係る画像処理装置は、画像データに基づく画像を表示するための表示部と、表示部に表示された画像において抽出すべき領域を含む範囲を指定するために使用者により操作される操作部と、操作部の操作により指定された範囲内で設定された抽出条件に基づいて抽出される一または複数の領域から、領域に関する特徴情報に基づいて特徴領域を選択し、選択された特徴領域を抽出領域として決定する処理部とを備え、処理部は、操作部の一の操作により選択された特徴領域を操作部の前回の操作により決定された抽出領域に加えるように動作するものである。
【0009】
この画像処理装置においては、画像データに基づく画像が表示される。表示された画像において抽出すべき領域を含む範囲が使用者の操作部の操作により指定される。指定された範囲内で設定された抽出条件に基づいて一または複数の領域が抽出される。抽出された一または複数の領域から、領域に関する特徴情報に基づいて特徴領域が選択される。選択された特徴領域が抽出領域として決定される。また、一の操作により選択された特徴領域は、操作部の前回の操作により決定された抽出領域に加えられる。
【0010】
この場合、使用者が画像から所望の領域の一部を含む範囲を指定する操作を行うことにより特徴領域が選択され、選択された特徴領域が抽出領域として決定される。また、使用者が画像から所望の領域の他の一部を含む範囲を指定する操作を行うことにより新たな特徴領域が選択され、選択された特徴領域が前回の操作により決定された抽出領域に追加される。この操作を繰り返すことにより、使用者は画像から所望の領域を容易に抽出することができる。
【0011】
(2)抽出条件は、表示部に表示される画像の輝度、色または輪郭成分に関する条件を含んでもよい。
【0012】
この場合、表示部に表示される画像の輝度、色または輪郭成分に関する条件に基づいて、指定された範囲内から領域が抽出される。これにより、使用者は、所望の輝度、色または輪郭成分を有する領域を画像から容易に抽出することができる。
【0013】
(3)抽出条件は、指定された範囲ごとに変更可能であってもよい。画像の全体において、所望の領域を抽出するための一の抽出条件を設定することが困難な場合がある。このような場合でも、指定された範囲ごとに抽出条件を指定された範囲ごとに変更することにより、画像から所望の領域を容易に抽出することができる。
【0014】
(4)処理部は、操作部の操作により指定された範囲内で設定された抽出条件により抽出される一または複数の領域のうち特徴情報が予め設定された選択条件を満たす領域を特徴領域として選択してもよい。
【0015】
指定された範囲内に所望の領域と不要な領域とが含まれる場合がある。このような場合でも、所望の領域と不要な領域とを区別する特徴情報の選択条件を適切に設定することにより、画像から所望の領域を容易に抽出することができる。
【0016】
(5)特徴情報は、領域の面積、領域の予め定められた部分の長さ、および領域の予め定められた部分と指定された範囲内の重心との間の距離の少なくとも1つであってもよい。
【0017】
この場合、使用者は、領域の面積、領域の予め定められた部分の長さ、または領域の予め定められた部分と指定された範囲内の重心との間の距離に基づいて所望の領域を容易に抽出することができる。
【0018】
(6)特徴情報は、領域の形状に関する情報であってもよい。この場合、使用者は、領域の形状に基づいて所望の領域を容易に抽出することができる。
【0019】
(7)特徴情報は、領域の画素の値に関する情報であってもよい。この場合、使用者は、画素の値に関する情報に基づいて所望の領域を容易に抽出することができる。
【0020】
(8)処理部は、予め設定された選択条件として、特徴情報が最大または最小となる領域を特徴領域として選択してもよい。
【0021】
この場合、使用者は、特徴情報が最大または最小となる所望の領域を容易に抽出することができる。
【0022】
(9)第2の発明に係る画像処理プログラムは、画像データに基づく画像を表示するための処理と、表示された画像において抽出すべき領域を含む範囲を指定するために使用者により操作される処理と、操作により指定された範囲内で設定された抽出条件に基づいて抽出される一または複数の領域から、領域に関する特徴情報に基づいて特徴領域を選択し、選択された特徴領域を抽出領域として決定する処理と、一の操作により選択された特徴領域を前回の操作により決定された抽出領域に加えるように動作する処理とを、処理装置に実行させるものである。
【0023】
この画像処理プログラムによれば、画像データに基づく画像が表示される。表示された画像において抽出すべき領域を含む範囲が使用者の操作により指定される。指定された範囲内で設定された抽出条件に基づいて一または複数の領域が抽出される。抽出された一または複数の領域から、領域に関する特徴情報に基づいて特徴領域が選択される。選択された特徴領域が抽出領域として決定される。また、一の操作により選択された特徴領域は、操作部の前回の操作により決定された抽出領域に加えられる。
【0024】
この場合、使用者が画像から所望の領域の一部を含む範囲を指定する操作を行うことにより特徴領域が選択され、選択された特徴領域が抽出領域として決定される。また、使用者が画像から所望の領域の他の一部を含む範囲を指定する操作を行うことにより新たな特徴領域が選択され、選択された特徴領域が前回の操作により決定された抽出領域に追加される。この操作を繰り返すことにより、使用者は画像から所望の領域を容易に抽出することができる。
【発明の効果】
【0025】
本発明によれば、画像から所望の領域を容易に抽出することができる。
【図面の簡単な説明】
【0026】
【図1】本発明の一実施の形態に係る画像処理装置を備えた拡大観察装置の構成を示すブロック図である。
【図2】本発明の一実施の形態に係る画像処理装置を備えた拡大観察装置の顕微鏡を示す斜視図である。
【図3】顕微鏡の撮像装置がZ方向と平行に固定されている状態を示す模式図である。
【図4】顕微鏡の撮像装置がZ方向から所望の角度まで傾斜された状態を示す模式図である。
【図5】表示部の画面の一例を示す模式図である。
【図6】図5の初期画像の2値化により得られた画像を示す模式図である。
【図7】特徴領域の第1の選択例における初期画像を示す模式図である。
【図8】特徴領域の第1の選択例における初期画像を示す模式図である。
【図9】特徴領域の第1の選択例における初期画像を示す模式図である。
【図10】特徴領域の第1の選択例における初期画像を示す模式図である。
【図11】特徴領域の第1の選択例における初期画像を示す模式図である。
【図12】表示部の画面の他の例を示す模式図である。
【図13】特徴領域の第2の選択例における初期画像を示す模式図である。
【図14】特徴領域の第2の選択例における初期画像を示す模式図である。
【図15】特徴領域の第2の選択例における初期画像を示す模式図である。
【図16】特徴領域の第2の選択例における初期画像を示す模式図である。
【図17】特徴領域の第2の選択例における初期画像を示す模式図である。
【図18】特徴領域の第2の選択例における初期画像を示す模式図である。
【図19】画像処理装置による領域抽出処理を示すフローチャートである。
【図20】画像処理装置による領域抽出処理を示すフローチャートである。
【図21】画像処理装置による領域抽出処理を示すフローチャートである。
【発明を実施するための形態】
【0027】
以下、本発明の一実施の形態に係る画像処理装置を備えた拡大観察装置について図面を参照しながら説明する。
【0028】
(1)拡大観察装置の構成
図1は、本発明の一実施の形態に係る画像処理装置を備えた拡大観察装置の構成を示すブロック図である。
【0029】
以下において、水平面内で直交する2方向をX方向およびY方向とし、X方向およびY方向に垂直な方向(鉛直方向)をZ方向とする。
【0030】
図1に示すように、拡大観察装置300は、顕微鏡100および画像処理装置200を備える。
【0031】
顕微鏡100は、撮像装置10、ステージ装置20および回転角度センサ30を含む。撮像装置10は、カラーCCD(電荷結合素子)11、ハーフミラー12、対物レンズ13、A/D変換器(アナログ/デジタル変換器)15、照明用光源16およびレンズ駆動部17を含む。ステージ装置20は、ステージ21、ステージ駆動部22およびステージ支持部23を含む。ステージ21上には、観察対象物Sが載置される。
【0032】
照明用光源16は、例えば白色光を発生するハロゲンランプまたは白色LED(発光ダイオード)である。照明用光源16により発生された白色光は、ハーフミラー12により反射された後、対物レンズ13によりステージ21上の観察対象物Sに集光される。
【0033】
観察対象物Sにより反射された白色光は、対物レンズ13およびハーフミラー12を透過してカラーCCD11に入射する。カラーCCD11は、赤色波長の光を受光する複数の赤色用画素、緑色波長の光を受光する複数の緑色用画素、および青色波長の光を受光する複数の青色用画素を有する。複数の赤色用画素、複数の緑色用画素および複数の青色用画素は二次元的に配列される。カラーCCD11の各画素からは、受光量に対応する電気信号が出力される。カラーCCD11の出力信号は、A/D変換器15によりデジタル信号に変換される。A/D変換器15から出力されるデジタル信号は、画像データとして画像処理装置200に順次与えられる。カラーCCD11に代えてCMOS(相補性金属酸化膜半導体)イメージセンサ等の撮像素子が用いられてもよい。
【0034】
対物レンズ13は、Z方向に移動可能に設けられる。レンズ駆動部17は、画像処理装置200の制御により対物レンズ13をZ方向に移動させる。それにより、撮像装置10の焦点の位置がZ方向において移動する。
【0035】
ステージ21は、Z方向の軸の周りで回転可能にステージ支持部23上に設けられる。ステージ駆動部22は、画像処理装置200から与えられる移動指令信号(駆動パルス)に基づいてステージ21をステージ支持部23に対して相対的に後述するx方向およびy方向に移動させる。ステージ駆動部22には、ステッピングモータが用いられる。回転角度センサ30は、ステージ21の回転角度を検出し、検出した角度を示す角度検出信号を画像処理装置200に与える。
【0036】
画像処理装置200は、インタフェース210、CPU(中央演算処理装置)220、ROM(リードオンリメモリ)230、記憶装置240、入力装置250、表示部260および作業用メモリ270を含む。
【0037】
ROM230には、システムプログラムが記憶される。記憶装置240は、ハードディスク等からなる。記憶装置240には、画像処理プログラムが記憶されるとともに、顕微鏡100からインタフェース210を通して与えられる画像データ等の種々のデータを記憶する。画像処理プログラムの詳細は後述する。入力装置250は、キーボードおよびポインティングデバイスを含む。ポインティングデバイスとしては、マウスまたはジョイスティック等が用いられる。
【0038】
表示部260は、例えば液晶ディスプレイパネルまたは有機EL(エレクトロルミネッセンス)パネルにより構成される。
【0039】
作業用メモリ270は、RAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。
【0040】
CPU220は、記憶装置240に記憶された画像処理プログラムを実行することにより作業用メモリ270を用いて画像データに基づく後述する領域抽出処理等の画像処理を行うとともに、画像データに基づく画像を表示部260に表示させる。また、CPU220は、インタフェース210を通して顕微鏡100のカラーCCD11、照明用光源16、レンズ駆動部17およびステージ駆動部22を制御する。
【0041】
図2は、本発明の一実施の形態に係る拡大観察装置300の顕微鏡100を示す斜視図である。図2においては、X方向、Y方向およびZ方向が矢印で示される。
【0042】
図2に示すように、顕微鏡100はベース1を有する。ベース1上には、第1の支持台2が取り付けられるとともに、この第1の支持台2の前面に嵌め込まれるように第2の支持台3が取り付けられる。
【0043】
第1の支持台2の上端部には、連結部4がY方向に延びる回動軸R1の周りに回動可能に取り付けられる。連結部4には回動支柱5が取り付けられる。それにより、回動支柱5は連結部4の回動に伴って回動軸R1を支点としてZ方向に平行な垂直面内で傾斜可能である。使用者は、固定つまみ9により連結部4を第1の支持台2に対して固定することができる。
【0044】
連結部6の前面には環状の支持部7が取り付けられる。支持部7には、略円筒状の撮像装置10が取り付けられる。図2の状態では、撮像装置10の光軸R2はZ方向に平行である。支持部7は、撮像装置10を水平面内で移動させるための複数の調整ネジ41を有する。複数の調整ネジ41を用いて撮像装置10の光軸R2が回動軸R1に垂直に交差するように撮像装置10の位置を調整することができる。
【0045】
ベース1上の第2の支持台3の前面には、Z方向に摺動可能にスライダ8が取り付けられる。第2の支持台3の側面には、調整つまみ42が設けられる。スライダ8のZ方向(高さ方向)の位置は、調整つまみ42により調整可能である。
【0046】
ステージ装置20の支持部23は、スライダ8上に取り付けられる。ステージ21は、支持部23に対してZ方向の回転軸R3の周りに回転可能に設けられる。また、ステージ21には、水平面内で互いに直交するx方向およびy方向が設定される。ステージ21は、図1のステージ駆動部22によりx方向およびy方向に移動可能に設けられる。ステージ21が回転軸R3の周りに回転すると、ステージ21のx方向およびy方向も回転する。それにより、ステージ21のx方向およびy方向は、X方向およびY方向に対して水平面内で傾斜する。
【0047】
撮像装置10の撮像範囲(視野範囲)は、撮像装置10の倍率により異なる。以下、撮像装置10の撮像範囲を単位領域と呼ぶ。ステージ21をx方向およびy方向に移動させることにより複数の単位領域の画像データを取得することができる。複数の単位領域の画像データを連結することにより複数の単位領域の画像を図1の表示部260に表示することができる。
【0048】
図3は顕微鏡100の撮像装置10がZ方向と平行に固定されている状態を示す模式図である。また、図4は顕微鏡100の撮像装置10がZ方向から所望の角度まで傾斜された状態を示す模式図である。
【0049】
図3に示すように、回動支柱5がZ方向に平行な状態で固定つまみ9を締めることにより連結部4が第2の支持台3に固定される。それにより、撮像装置10の光軸R2がZ方向に平行な状態で回動軸R1に垂直に交差する。この場合、撮像装置10の光軸R2はステージ21の表面に垂直となる。
【0050】
固定つまみ9を緩めることにより連結部4が回動軸R1の周りに回動可能となり、回動支柱5が回動軸R1を支点として傾斜可能となる。それにより、図4に示すように、撮像装置10の光軸R2をZ方向に対して任意の角度θ傾斜させることができる。この場合、撮像装置10の光軸R2は回動軸R1に垂直に交差する。同様にして、撮像装置10の光軸R2をZ方向に対して図4と逆側に任意の角度傾斜させることができる。
【0051】
したがって、ステージ21上の観察対象物の表面の高さを回動軸R1の高さに一致させることにより、観察対象物の同じ部分を垂直な方向および斜め方向から観察することができる。
【0052】
(2)画像処理装置
図5は、表示部260の画面の一例を示す模式図である。図5に示すように、表示部260の画面上には、画像表示領域261および抽出条件設定領域262が表示される。
【0053】
画像表示領域261には、図1の記憶装置240に記憶される画像データに基づいて観察対象物の画像が表示される。画像は、複数の画素から構成される。以下、記憶装置240に記憶される画像データに基づいて画像表示領域261に表示される画像を初期画像IMと呼ぶ。抽出条件設定領域262には、次へボタン263a、戻るボタン263bおよび終了ボタン263c等が表示される。また、抽出条件設定領域262には、しきい値設定バー264が表示される。しきい値設定バー264は、水平方向に移動可能なスライダ264sを有する。さらに、抽出条件設定領域262には、輝度チェックボックス265a,265b、穴埋め処理チェックボックス266およびオート処理チェックボックス267が表示される。
【0054】
図5においては、初期画像IMの異なる領域が複数のドットパターンおよびハッチングパターンにより表されている。初期画像IMには、観察対象物として定規の一部を示す画像が表示されている。観察対象物の数字部分「30」のうち「3」および「0」の領域をそれぞれ領域A,Bと呼ぶ。同様に、観察対象物の数字部分「40」のうち「4」および「0」の領域をそれぞれ領域C,Dと呼ぶ。数字部分の背景の模様のうち低い輝度を有する領域を領域Xと呼ぶ。ここで、各領域は、連続した一または複数の画素から構成される。
【0055】
以下の例において、表示部260に表示される初期画像IMから定規の数字部分の領域A〜Dのみを抽出することを考える。この場合、複数の領域A〜Dと背景とを区別する適切なしきい値が設定される。ここで、輝度チェックボックス265aが指定されている場合、初期画像IMの2値化によりしきい値よりも低い輝度値を有する画素が抽出される。一方、輝度チェックボックス265bが指定されている場合、初期画像IMの2値化によりしきい値よりも高い輝度値を有する画素が抽出される。図5の例においては、領域A〜Dの輝度値は背景の輝度値よりも低い。したがって、初期画像IMから複数の領域A〜Dを抽出する場合には、輝度チェックボックス265aが指定される。
【0056】
図6は、図5の初期画像IMの2値化により得られた画像を示す模式図である。初期画像IMの全体において、複数の領域A〜Dと背景とを区別する適切なしきい値を設定することが困難である場合がある。このような場合に初期画像IMを2値化すると、抽出したい領域の一部が抽出されないこととなる。例えば、図6の例においては領域Dの一部が抽出されない。または、不要な領域の一部が抽出されることとなる。例えば、図6の例においては領域Xの一部が抽出される。
【0057】
そこで、本実施の形態に係る画像処理装置200においては、使用者は、図1の入力装置250を用いて、表示部260に表示される初期画像IMから抽出すべき領域を含む範囲を指定することができる。使用者により指定された範囲を抽出範囲と呼ぶ。抽出範囲内で設定された抽出条件に基づいて一または複数の領域が抽出される。抽出された一または複数の領域のうち領域に関する特徴情報が予め設定された選択条件を満たす一または複数の領域が特徴領域として選択される。抽出条件は抽出範囲ごとに変更することができる。選択された特徴領域が抽出領域として決定される。本実施の形態においては、抽出領域の画素は“1”で表され、他の領域の画素は“0”で表される。選択された特徴領域が以前に決定された抽出領域に加えられることにより、初期画像IMから抽出領域のみを一体的に抽出することができる。
【0058】
本実施の形態では、抽出範囲内の画像から輝度を抽出条件として一または複数の領域が抽出される。この場合、抽出範囲内の初期画像IMが輝度のしきい値(以下、しきい値と略記する。)を用いて2値化されることにより、一または複数の領域が抽出される。例えば、抽出範囲内でしきい値以下の輝度値を有する画素により構成される領域が抽出される。
【0059】
しきい値設定バー264上のスライダ264sの位置は、初期画像IMに設定されるしきい値に対応する。使用者は、図1の入力装置250を用いて図5のしきい値設定バー264のスライダ264sを水平方向に移動させることにより、抽出範囲内の初期画像IMに設定されるしきい値を変更することができる。オート処理チェックボックス267が指定されている場合、しきい値が自動的に設定される。
【0060】
抽出条件は、画像の輝度に代えて、画像の色または輪郭成分に関する情報であってもよい。
【0061】
次に、抽出範囲内で抽出された一または複数の領域のうち特徴情報が予め設定される選択条件を満たす特徴領域が選択される。特徴情報は、領域の面積、領域の予め定められた部分の長さ、または領域の予め定められた部分と指定された範囲内の重心との間の距離であってもよい。また、特徴情報は、領域の形状に関する情報または領域の画素の値に関する情報であってもよい。画素の値は、輝度を表してもよく、色を表してもよく、輪郭成分を表してもよい。これらの特徴情報が予め設定された選択条件を満たす領域が特徴領域として選択される。例えば、抽出条件を満たす複数の領域のうち最大の面積を有する領域が特徴領域として選択されてもよいし、最小の面積を有する領域が特徴領域として選択されてもよい。また、形状が円、矩形または多角形等に最も近い領域が特徴領域として選択されてもよい。
【0062】
なお、穴埋め処理チェックボックス266が指定されている場合、特徴領域に囲まれた“0”の画素の部分(以下、孔と呼ぶ。)も特徴領域として選択される。特徴領域として選択される孔の大きさ(画素数)は使用者により任意に設定されてもよい。また、特徴領域として選択される孔の画素数は、選択された特徴領域の画素数の例えば5%以下に設定されてもよい。
【0063】
(3)特徴領域の第1の選択例
特徴領域の第1の選択例においては、抽出範囲内においてしきい値よりも低い輝度値を有する一および複数の領域のうち最も低い輝度値を有する領域が特徴領域として選択されるように、予め選択条件が設定されている。図7〜図11は、特徴領域の第1の選択例における初期画像IMを示す模式図である。特徴領域は、図7、図8、図9および図10の順に選択される。
【0064】
まず、使用者は、図1の入力装置250を用いて、図7に示すように、画像表示領域261に表示される初期画像IMにおける領域Aを含む抽出範囲Rを指定する。抽出範囲R内に複数の輝度値を有する画素が含まれている。ここで、使用者は、入力装置250を用いて図5のしきい値設定バー264のスライダ264sを移動させることにより、抽出範囲R内におけるしきい値を変更することができる。使用者は、抽出範囲R内において領域Aと他の領域Xとを区別する適切なしきい値を設定することにより、領域Aのみを特徴領域として選択することができる。
【0065】
なお、図5のオート処理チェックボックス267が指定されている場合、抽出範囲R内におけるしきい値が自動的に設定される。そのため、設定されたしきい値により領域Aと他の領域Xとを区別することができる場合には、使用者はしきい値設定バー264のスライダ264sを操作してしきい値を変更する必要がない。以下の説明においても同様である。
【0066】
その後、使用者は、入力装置250を用いて図5の次へボタン263aを操作する。これにより、選択された特徴領域(領域A)が抽出領域として決定され、抽出領域を表示するための抽出領域データが生成される。生成された抽出領域データは、図1の作業用メモリ270に記憶される。なお、使用者が入力装置250を用いて図5の戻るボタン263bを操作することにより、選択された特徴領域が抽出領域から除去される。これにより、使用者は初期画像IMから領域Aを含む領域を抽出範囲Rとして指定し直すことができる。
【0067】
本実施の形態においては、抽出領域の画素すなわち“1”の画素が、初期画像IMに重なるように黒く表示される。図8において、領域Aは既に決定された抽出領域であるため、作業用メモリ270に記憶された画像データに基づいて領域Aが黒く表示されている。
【0068】
次に、使用者は、入力装置250を用いて、図8に示すように、画像表示領域261に表示される初期画像IMから領域Bを含む抽出範囲Rを指定する。ここで、使用者は、抽出範囲R内において領域Bと他の領域Xとを区別する適切なしきい値を設定することにより、領域Bのみを特徴領域として選択することができる。
【0069】
その後、使用者は、入力装置250を用いて次へボタン263aを操作する。これにより、選択された特徴領域(領域B)が既に決定された抽出領域(領域A)に追加され、新たな抽出領域として決定される。決定された新たな抽出領域を表示するための抽出領域データが生成され、生成された抽出領域データは、作業用メモリ270に記憶される。図9において、領域A,Bは既に決定された抽出領域であるため、作業用メモリ270に記憶された画像データに基づいて領域A,Bが黒く表示されている。
【0070】
次に、使用者は、入力装置250を用いて、図9に示すように、画像表示領域261に表示される初期画像IMから領域Cを含む抽出範囲Rを指定する。ここで、使用者は、抽出範囲R内において領域Cと他の領域Xとを区別する適切なしきい値を設定することにより、領域Cのみを特徴領域として選択することができる。
【0071】
その後、使用者は、入力装置250を用いて次へボタン263aを操作する。これにより、選択された特徴領域(領域C)が既に決定された抽出領域(領域A,B)に追加され、新たな抽出領域として決定される。決定された新たな抽出領域を表示するための抽出領域データが生成され、生成された抽出領域データは、作業用メモリ270に記憶される。図10において、領域A〜Cは既に決定された抽出領域であるため、作業用メモリ270に記憶された画像データに基づいて領域A〜Cが黒く表示されている。
【0072】
次に、使用者は、入力装置250を用いて、図10に示すように、画像表示領域261に表示される初期画像IMから領域Dを含む抽出範囲Rを指定する。ここで、使用者は、抽出範囲R内において領域Dと他の領域Xとを区別する適切なしきい値を設定することにより、領域Dのみを特徴領域として選択することができる。
【0073】
その後、使用者は、入力装置250を用いて次へボタン263aを操作する。これにより、選択された特徴領域(領域D)が既に決定された抽出領域(領域A〜C)に追加され、新たな抽出領域として決定される。決定された新たな抽出領域を表示するための抽出領域データが生成され、生成された抽出領域データは、作業用メモリ270に記憶される。図11において、領域A〜Dは既に決定された抽出領域であるため、作業用メモリ270に記憶された画像データに基づいて領域A〜Dが黒く表示されている。
【0074】
最後に、使用者は、入力装置250を用いて、図5の終了ボタン263cを操作する。これにより、作業用メモリ270の抽出領域データが図1の記憶装置240に記憶される。このようにして、初期画像IMから抽出領域として領域A〜Dのみを抽出することができる。この場合、領域A〜Dに対応する画像データが一体的なデータとして合成される。
【0075】
このように、抽出範囲R内で不要な領域を抽出しない適切なしきい値が設定されることにより、必要な領域のみが抽出領域に順次追加される。これにより、初期画像IMの全体において適切なしきい値を設定することが困難な場合においても、所望の領域を容易に抽出することができる。
【0076】
なお、本例では、初めに領域を抽出する際に、その領域を含む抽出範囲Rが指定されたが、これに限定されない。初めに領域を抽出する際に、その領域を含む抽出範囲Rを指定しなくてもよい。それにより、初期画像IMの全体が抽出範囲Rとみなされる。この場合、初期画像IM全体において必要な領域を抽出しつつ不要な領域を抽出しないしきい値を設定することにより、必要な領域を抽出領域として決定することができる。
【0077】
具体的には、初期画像IM全体において領域Aを抽出しつつ不要な領域を抽出しないしきい値を設定する。これにより、領域Aが抽出領域として決定される。この場合には、同時に領域Bおよび領域C等の他の所望の領域が抽出領域として決定されない可能性がある。その後、所望の領域のうち抽出されていない領域を含む抽出範囲Rを指定することにより、順次必要な領域のみを抽出領域に追加することができる。
【0078】
(4)特徴領域の第2の選択例
図12は、表示部260の画面の他の例を示す模式図である。図12に示すように、表示部260の画像表示領域261には、図1の記憶装置240に記憶される画像データに基づいて初期画像IMとは異なる初期画像IM2が表示される。
【0079】
図12においては、初期画像IM2の異なる領域が複数のドットパターンおよびハッチングパターンにより表されている。初期画像IM2には、観察対象物として壁面の一部を示す画像が表示されている。壁面には複数の亀裂が生じている。複数の亀裂のうち、視認可能な特に独立した大きい亀裂の領域をそれぞれ領域E,E1,F,G,H,Iと呼ぶ。なお、壁面には、無数の小さい亀裂が発生しているが、これらの亀裂の図示は省略されている。壁面の背景を領域Yと呼ぶ。また、ここで、各領域は、連続した一または複数の画素から構成される。特徴領域の第2の選択例においては、表示部260に表示される初期画像IM2から領域E,E1のみを抽出することを考える。
【0080】
特徴領域の第2の選択例においては、抽出範囲内においてしきい値よりも低い輝度値を有する一または複数の領域のうち最大の面積を有する領域が特徴領域として選択されるように、予め選択条件が設定されている。図13〜図18は、特徴領域の第2の選択例における初期画像IM2を示す模式図である。
【0081】
まず、使用者は、図1の入力装置250を用いて、図13に示すように、画像表示領域261に表示される初期画像IM2における領域E,E1を含む抽出範囲Rを指定する。図13の例においては、抽出範囲R内に領域E,E1の全部、領域Fの一部および領域Yの一部が含まれている。したがって、領域G,H,Iは特徴領域として選択されることはない。抽出範囲R内に領域E,E1,F,Yに対応する複数の輝度値を有する画素が含まれている。ここで、使用者は、入力装置250を用いて図5のしきい値設定バー264のスライダ264sを移動させることにより、抽出範囲R内におけるしきい値を変更することができる。
【0082】
本例において、領域E〜Iの輝度は略等しい。したがって、抽出範囲R内の領域E,E1と領域Fとを区別するしきい値を設定することができない。そこで、本例では、領域E,E1,Fと他の領域Yとを区別する適切なしきい値を設定する。これにより、領域E,E1,Fのみが抽出条件を満たすこととなる。この場合の抽出条件は、しきい値よりも低い平均輝度を有することである。
【0083】
なお、特徴領域の第1の選択例と同様に、図12のオート処理チェックボックス267が指定されている場合、抽出範囲R内におけるしきい値が自動的に設定される。そのため、設定されたしきい値により領域E,E1,Fと他の領域Yとを区別することができる場合には、使用者はしきい値設定バー264のスライダ264sを操作してしきい値を変更する必要がない。以下の説明においても同様である。
【0084】
上述の通り、本例においては、抽出条件を満たす一または複数の領域のうち最大の面積を有する領域が特徴領域として選択される。抽出範囲R内において、領域Eの面積は領域E1,Fの面積よりも大きい。すなわち、領域Eは、抽出条件を満たす複数の領域のうち最大の面積を有する。したがって、領域Eのみが特徴領域として選択されることとなる。
【0085】
その後、使用者は、入力装置250を用いて図12の次へボタン263aを操作する。これにより、選択された特徴領域(領域E)が抽出領域として決定され、抽出領域を表示するための抽出領域データが生成される。生成された抽出領域データは、図1の作業用メモリ270に記憶される。なお、使用者が入力装置250を用いて図5の戻るボタン263bを操作することにより、選択された特徴領域が抽出領域から除去される。これにより、使用者は初期画像IM2から領域Eを含む領域を抽出範囲Rとして指定し直すことができる。
【0086】
本実施の形態においては、抽出領域の画素すなわち“1”の画素が、初期画像IM2に重なるように黒く表示される。図14において、領域Eは既に決定された抽出領域であるため、作業用メモリ270に記憶された画像データに基づいて領域Eが黒く表示されている。しかしながら、領域E1は特徴領域として選択されない。
【0087】
図15は、図14のZ部の拡大図である。図14の領域E1は、領域Eの近傍に存在する。しかし、領域E1は領域Eから分離しているため、領域Eとは異なる領域とみなされる。図15に示すように、領域Eは抽出範囲R内で最大の面積を有するので、特徴領域として選択されている。一方、領域E1は、領域Eよりも小さい面積を有する。そのため、領域E1は特徴領域として選択されていない。
【0088】
そこで、使用者は、入力装置250を用いて、図16に示すように、画像表示領域261に表示される初期画像IM2において領域E1を含む抽出範囲Rを指定する。それにより、図16の抽出範囲R内で最大の面積を有するE1が特徴領域として選択される。
【0089】
その後、使用者は、入力装置250を用いて次へボタン263aを操作する。これにより、選択された特徴領域(領域E1)が既に決定された抽出領域(領域E)に追加され、新たな抽出領域として決定される。決定された新たな抽出領域を表示するための抽出領域データが生成され、生成された抽出領域データは、作業用メモリ270に記憶される。図17および図18において、領域E,E1は既に決定された抽出領域であるため、作業用メモリ270に記憶された画像データに基づいて黒く表示されている。
【0090】
最後に、使用者は、入力装置250を用いて、図12の終了ボタン263cを操作する。これにより、作業用メモリ270の抽出領域データが図1の記憶装置240に記憶される。このようにして、初期画像IM2から抽出領域として領域E,E1のみを抽出することができる。この場合、領域E,E1に対応する画像データが一体的なデータとして合成される。
【0091】
(5)領域抽出処理
図19、図20および図21は、画像処理装置200による領域抽出処理を示すフローチャートである。領域抽出処理は、CPU220が記憶装置240に記憶された画像処理プログラムを実行することにより行われる。以下、図19〜図21のフローチャートにしたがって、初期画像IM(IM2)から所望の領域を抽出する処理を説明する。
【0092】
図1のCPU220は、使用者により図1の記憶装置240に記憶された画像データが選択されたか否かを判定する(ステップS1)。画像データが選択されていない場合、CPU220は使用者により画像データが選択されるまで待機する。ステップS1で使用者により画像データが選択された場合、CPU220は選択された画像データに基づいて初期画像IM(IM2)を図5(図12)の表示部260の画像表示領域261に表示する(ステップS2)。
【0093】
次に、CPU220は、使用者が図1の入力装置250を操作することにより初期画像IM(IM2)から最初の抽出範囲Rが指定されたか否かを判定する(ステップS3)。最初の抽出範囲Rが指定されていない場合、CPU220は使用者により終了ボタン263cが操作されたか否かを判定する(ステップS4)。終了ボタン263cが操作されていない場合、CPU220はステップS3の処理に戻る。
【0094】
ステップS3で使用者により最初の抽出範囲Rが指定された場合、CPU220は使用者が図5(図12)のしきい値設定バー264のスライダ264sを操作することにより抽出条件が変更されたか否かを判定する(ステップS5)。図5および図12の例では、抽出条件はしきい値である。ステップS5で抽出条件が変更されない場合、CPU220は予め設定された抽出条件で抽出範囲R内の一または複数の領域を抽出する(ステップS6)。一方、ステップS5で抽出条件が変更された場合、CPU220は変更後の抽出条件で抽出範囲R内の一または複数の領域を抽出する(ステップS7)。
【0095】
なお、図5(図12)のオート処理チェックボックス267が指定されていない場合には、ステップS5の抽出条件の変更の有無は、使用者が次へボタン263aを操作することにより確定する。オート処理チェックボックス267が指定されている場合には、ステップS5の処理は行われない。
【0096】
次に、CPU220は、一または複数の領域から特徴情報が設定された選択条件を満たす領域を特徴領域として選択する(ステップS8)。図5の例においては、領域の平均輝度がしきい値よりも低いことが選択条件である。図12の例においては、しきい値よりも低い輝度値を有する複数の領域のうち領域の面積が最大であることが選択条件である。
【0097】
続いて、CPU220は、選択された特徴領域を抽出領域として決定する(ステップS9)。その後、CPU220は、抽出領域を表示するための抽出領域データを図1の作業用メモリ270に記憶する(ステップS10)。また、CPU220は、抽出領域データに基づいて初期画像IM(IM2)上に抽出領域を表示する(ステップS11)。
【0098】
次に、CPU220は、使用者が入力装置250を操作することにより初期画像IM(IM2)から次の抽出範囲Rが指定されたか否かを判定する(ステップS12)。次の抽出範囲Rが指定されていない場合、CPU220は使用者により終了ボタン263cが操作されたか否かを判定する(ステップS13)。終了ボタン263cが操作されていない場合、CPU220はステップS12の処理に戻る。
【0099】
ステップS12で使用者により最初の抽出範囲Rが指定された場合、CPU220は使用者がしきい値設定バー264のスライダ264sを操作することにより抽出条件が変更されたか否かを判定する(ステップS14)。ステップS14で抽出条件が変更されない場合、CPU220は予め設定された抽出条件で抽出範囲R内の一または複数の領域を抽出する(ステップS15)。一方、ステップS14で抽出条件が変更された場合、CPU220は変更後の抽出条件で抽出範囲R内の一または複数の領域を抽出する(ステップS16)。なお、オート処理チェックボックス267が指定されている場合には、ステップS14の処理は行われない。
【0100】
次に、CPU220は、一または複数の領域から特徴情報が設定された選択条件を満たす領域を特徴領域として選択する(ステップS17)。続いて、CPU220は、選択された特徴領域を抽出領域に追加する(ステップS18)。その後、CPU220は、ステップS10の処理に戻り、抽出領域を表示するための抽出領域データを作業用メモリ270に記憶する(ステップS10)。また、CPU220は、抽出領域データに基づいて初期画像IM(IM2)上に抽出領域を表示する(ステップS11)。
【0101】
その後、ステップS12,S13の処理が繰り返されるか、またはステップS12,S14〜S20,S10,S11の処理が繰り返される。ステップS4またはステップS13で使用者により終了ボタン263cが操作された場合、CPU220は、作業用メモリ270の抽出領域データを図1の記憶装置240に記憶して領域抽出処理を終了する。
【0102】
(6)効果
本実施の形態においては、使用者が入力装置250を用いて表示部260の初表示領域261に表示される初期画像IM,IM2において所望の領域の一部を含む抽出範囲Rを指定する操作を行うことにより特徴領域が選択される。選択された特徴領域が抽出領域として決定される。また、使用者が入力装置250用いて表示部260の画像表示領域261に表示される初期画像IM,IM2から所望の領域の他の一部を含む抽出範囲Rを指定する操作を行うことにより新たな特徴領域が選択され、選択された特徴領域が前回の操作により決定された抽出領域に追加される。この操作を繰り返すことにより、使用者は初期画像IM,IM2から所望の領域を容易に抽出することができる。
【0103】
(7)請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
【0104】
初期画像IM,IM2が画像の例であり、表示部260が表示部の例であり、入力装置250が操作部の例であり、抽出範囲Rが指定された範囲の例であり、CPU220が処理部および処理装置の例であり、画像処理装置200が画像処理装置である。
【0105】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【0106】
本発明は、種々の画像処理装置および画像処理プログラムに有効に利用することができる。
【符号の説明】
【0107】
1 ベース
2,3 支持台
4,6 連結部
5 回動支柱
7 支持部
8 スライダ
9 固定つまみ
10 撮像装置
11 カラーCCD
12 ハーフミラー
13 対物レンズ
15 A/D変換器
16 照明用光源
17 レンズ駆動部
20 ステージ装置
21 ステージ
22 ステージ駆動部
23 ステージ支持部
30 回転角度センサ
41 調整ネジ
42 調整つまみ
100 顕微鏡
200 画像処理装置
210 インタフェース
220 CPU
230 ROM
240 記憶装置
250 入力装置
260 表示部
261 画像表示領域
262 抽出条件設定領域
263a 次へボタン
263b 戻るボタン
263c 終了ボタン
264 しきい値設定バー
264s スライダ
265a,265b 輝度チェックボックス
266 穴埋め処理チェックボックス
267 オート処理チェックボックス
270 作業用メモリ
300 拡大観察装置
A〜I,X,Y 領域
IM,IM2 初期画像
R 抽出範囲
R1 回動軸
R2 光軸
R3 回転軸
S 観察対象物

【特許請求の範囲】
【請求項1】
画像データに基づく画像を表示するための表示部と、
前記表示部に表示された画像において抽出すべき領域を含む範囲を指定するために使用者により操作される操作部と、
前記操作部の操作により指定された範囲内で設定された抽出条件に基づいて抽出される一または複数の領域から、領域に関する特徴情報に基づいて特徴領域を選択し、選択された特徴領域を抽出領域として決定する処理部とを備え、
前記処理部は、
前記操作部の一の操作により選択された特徴領域を前記操作部の前回の操作により決定された抽出領域に加えるように動作する、画像処理装置。
【請求項2】
前記抽出条件は、前記表示部に表示される画像の輝度、色または輪郭成分に関する条件を含む、請求項1記載の画像処理装置。
【請求項3】
前記抽出条件は、前記指定された範囲ごとに変更可能である、請求項1または2記載の画像処理装置。
【請求項4】
前記処理部は、前記操作部の操作により指定された範囲内で前記設定された抽出条件により抽出される一または複数の領域のうち前記特徴情報が予め設定された選択条件を満たす領域を特徴領域として選択する、請求項1〜3のいずれか一項に記載の画像処理装置。
【請求項5】
前記特徴情報は、領域の面積、領域の予め定められた部分の長さ、および領域の予め定められた部分と前記指定された範囲内の重心との間の距離の少なくとも1つである、請求項1〜4のいずれか一項に記載の画像処理装置。
【請求項6】
前記特徴情報は、領域の形状に関する情報である、請求項1〜5のいずれか一項に記載の画像処理装置。
【請求項7】
前記特徴情報は、領域の画素の値に関する情報である、請求項1〜6のいずれか一項に記載の画像処理装置。
【請求項8】
前記処理部は、前記予め設定された選択条件として、前記特徴情報が最大または最小となる領域を特徴領域として選択する、請求項4記載の画像処理装置。
【請求項9】
画像データに基づく画像を表示するための処理と、
表示された画像において抽出すべき領域を含む範囲を指定するために使用者により操作される処理と、
操作により指定された範囲内で設定された抽出条件に基づいて抽出される一または複数の領域から、領域に関する特徴情報に基づいて特徴領域を選択し、選択された特徴領域を抽出領域として決定する処理と、
一の操作により選択された特徴領域を前回の操作により決定された抽出領域に加えるように動作する処理とを、
処理装置に実行させる、画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate


【公開番号】特開2013−79857(P2013−79857A)
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願番号】特願2011−219893(P2011−219893)
【出願日】平成23年10月4日(2011.10.4)
【出願人】(000129253)株式会社キーエンス (681)
【Fターム(参考)】