画像補正装置、画像補正方法及び内視鏡装置
【課題】ファイババンドルにより構成されたファイバスコープの画像における網目模様を、ファイバスコープの種類によらない汎用性を有し、かつ画像の情報を劣化を最小限に抑えることが可能な画像補正装置及び画像補正方法を提供する。
【解決手段】本発明の画像補正方法は、ファイババンドルを伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させる、ステップを含む。
【解決手段】本発明の画像補正方法は、ファイババンドルを伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させる、ステップを含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ファイババンドルにより伝達された画像における網目模様の低減を行う画像補正装置、画像補正方法及び内視鏡装置に関する。
【背景技術】
【0002】
近年、複数の光ファイバ(例えば数百本から数万本の光ファイバ)を束ねたファイババンドル(またはバンドルファイバ)からなるファイバスコープが医療分野あるいは工業分野において内視鏡などで多用されている。
光ファイバは、光を伝送するコア部と、このコア部の外周面に接する光を伝送しないクラッド部から構成されている。このクラッド部は、光を伝送しない光非伝送部であり、また、光ファイバを束ねた構成における光ファイバ間も光を伝送しないため光非伝送部の一部となる。
このため、ファイバスコープの伝送する画像には、上述した光非伝送部において光が伝送されないため、光非伝送部に相当する領域の画像情報が欠落する。そのため、この画像情報が欠落した領域が網目模様の網部分(すなわち網目模様の網目の糸に相当する線、以下、模様線)として存在する。
【0003】
このファイババンドルからなるファイバスコープをテレビカメラに装着し、被写体の画像を撮像し、撮像した画像により被写体を観察する場合、画像に対して網目模様が存在すると、被写体の画像が見づらくなってしまう。
例えば、医療分野における医療用内視鏡に対し、このファイバスコープを用いて、重要な患部を被写体として撮像し、撮像した画像を用いて診断を行う場合、上述の網目模様の存在が、患部の観察を妨げる要因となる。
【0004】
このため、画像における上述した網目模様を低減するため、意図的にテレビカメラの光学系でフォーカスをずらすデフォーカスを行い、画像全体をぼかし、網目模様を目立たなくする処理が行われる。
また、観察対象を撮像するテレビカメラの光学系に対して、光学的なローパスフィルタ(LPS:Low pass filter)を挿入するなどし、画像を意図的にぼかすことにより、網目模様を目立たなくする処理が行われることもある。
このデフォーカスや光学系へのローパスフィルタの挿入による画像全体のぼかし処理により、画像における網目模様の模様線の信号強度を低減させ、網目模様を目立ち難くすることが行われている。
【0005】
また、撮像した画像に対して画像処理を行い、画像における網目模様を低減する方法も用いられている。
例えば予めファイバスコープの網目模様を位置座標として記憶しておき、この位置座標の画像情報を隣接する画像情報により補完する方法がある(例えば、特許文献1、特許文献2を参照)。
【0006】
また、ファイバスコープを機械的に、画像面に対して平行方向に所定の幅にて周期振動させ、テレビカメラの受光素子の画素レベルでずらして画像を撮像し、この撮像した画像の各々を、画像処理により模様線部分が除かれるように重ね合わせることにより、模様線部分を互いに補完する方法が提案されている(例えば、特許文献3を参照)。
【0007】
また、ローパスフィルタを用いた画像処理により、網目模様を低減させる方法がある。すなわち、ファイバスコープ及びテレビカメラの組合せ毎に対応し、画像情報を低減する周波数のローパスフィルタを複数設ける。この組合せ毎に対応する周波数は、それぞれ組合せに対応した画像における網目模様の模様線の配置における空間周波数に対応して設定されている。
そして、ファイバスコープを用いて撮像した画像をフーリエ変換し、ファイバスコープ及びカメラの組合せによる模様線に対応した周波数のローパスフィルタを選択する。そして、このローパスフィルタにより、組合せに対応する周波数の情報を低減させ、画像における網目模様を低減させる(例えば、特許文献4を参照)。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平08−242395号公報
【特許文献2】特開平08−191440号公報
【特許文献3】特開2010−284369号公報
【特許文献4】特開2000−350193号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、光学的にデフォーカス処理やローパスフィルタを用い、網目模様を目立ち難くする方法では、画像全体がぼけてしまう。このため、画像における情報の一部が欠損することになり、画像の解像度が大幅に劣化することになる。
【0010】
また、特許文献1及び特許文献2の方法は、予めファイバスコープに対応した網目模様のデータを記憶させておく必要がある。
このため、記憶されていないファイバスコープに対しては、このファイバスコープの網目模様のデータを新たに取得し、取得した後に画像処理装置に記憶させる必要がある。
すなわち、網目模様のデータが設定されていないファイバスコープを用いる場合、煩雑な網目模様のデータの取得処理を行うため、画像処理を行うまでの準備が煩雑となる。
【0011】
また、特許文献3の方法は、ファイバスコープを所定の幅及び周期で振動させるため、高い精度で振動を起こさせる可動部を設けなくてはならない。
したがって、上述した精度の問題から、使用可能なファイバスコープが特定され、種々のファイバスコープに使用できず、汎用性の無い装置となる。
このため、他のファイバスコープに交換する場合、この交換後のファイバスコープに対応した特性の可動部を新たに作成する必要があり、製造コストが増加することになる。
【0012】
また、特許文献4の方法は、周波性特性の異なるフィルタが設けられることにより、異なるテレビカメラとファイバスコープとの組合せに対応することは可能である。
しかしながら、所定の空間周波数の画像情報を低減する場合、網目模様の存在しない領域においても、同様の周波数成分の画像情報が削除される。そのため、全体的に特定の空間周波数を有する画像の情報が劣化してしまう問題がある。
【0013】
本発明は、このような事情に鑑みてなされたもので、ファイババンドルにより構成されたファイバスコープの画像における網目模様を、ファイバスコープの種類によらない汎用性を有し、かつ画像の情報を劣化させずに低減することが可能な画像補正装置、画像補正方法及び内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明の画像補正方法は、ファイババンドルを伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させるステップを含む。
前記ぼかし処理は、前記入力画像に対して第1平滑化フィルタ演算を行い、前記第1平滑化フィルタ演算によって得られる平滑化画像に対してメディアンフィルタ演算を行い、前記メディアンフィルタ演算の結果得られるメディアン画像に対して第2平滑化フィルタ演算を行ってぼかし画像を生成する。
前記第1平滑化フィルタ演算および第2平滑化フィルタ演算では、処理対象ピクセルの周囲の平滑化領域として、前記網目模様の模様線の幅を超えるピクセル数を辺とする矩形領域を用いる。
前記メディアンフィルタ演算は、前記第1平滑化フィルタ演算によって得られる平滑化画像を、輝度画像と色画像に変換した上で輝度画像に対してのみ行う。
前記ぼかし処理は、前記第1平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の各ピクセルに対し、各ピクセルの階調度の制御であるデジタルゲイン調整演算を行うステップを含む。
前記平滑化フィルタ演算では、前記平滑化領域に含まれるピクセルのうち、処理対象ピクセルの階調度に対し第1の係数を乗じ、前記処理対象ピクセル以外のピクセルの階調度に対し前記第1の係数と異なる係数を乗じ、それぞれの乗算結果を加算して、加算結果を前記処理対象ピクセルの新たな階調度とする。
前記デジタルゲイン調整演算では、前記入力画像を構成するピクセルの階調度の平均値を、前記第1の平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の階調度の平均値により除算し、除算結果をデジタルゲインとして、各ピクセルの階調度に乗算する。
前記輪郭強調処理は、前記ぼかし画像を構成するピクセルを順次処理対象ピクセルとし、当該処理対象ピクセルの周囲の輪郭強調領域に含まれる全てのピクセルの階調度の平均値を算出し、前記平均値と、前記処理対象ピクセルの階調度との差分を求め、前記処理対象ピクセルの階調度に対して、それぞれの差分に対して予め設定した係数を乗算した数値を加算し、加算結果を前記処理対象ピクセルの新たな階調度とする。
【0015】
本発明の内視鏡装置は、ファイババンドルと、前記ファイババンドルが伝搬してきた網目模様を含む入力画像を撮像する撮像素子と、前記撮像素子が撮像した前記入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで、前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する画像補正装置と、前記表示画像を表示させる映像表示制御装置とを備える。
本発明の画像補正装置は、ファイババンドルが伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことでぼかし画像を生成するぼかし処理部と、前記ぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する輪郭強調処理を行う輪郭強調部とを備える。
【発明の効果】
【0016】
この発明によれば、ファイババンドルにより構成されたファイバスコープの画像における網目模様の低減処理をデジタル処理により行うため、ファイバスコープの種類によらない汎用性を有している。
また、この発明によれば、ぼかし処理の後に輪郭強調処理を行い、入力画像の画像情報の補完を行うため、入力画像の画像情報の劣化を従来に比較して低減させることができる。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態による画像補正装置を用いた内視鏡装置の構成例を示す概略ブロック図である。
【図2】本発明の実施形態による画像データ補正装置103の構成例を示す概略ブロック図である。
【図3】本発明の実施形態における第1ガウシアンフィルタの処理対象ピクセルにおける色成分毎のカーネルの構成例を示す概念図である。
【図4】カーネルの縦方向と横方向のピクセル数を決定する処理を説明する概念図である。
【図5】本発明の実施形態による医療用内視鏡を用いて撮像した実際の画像における網目模様の模様線の幅とピクセル数との対応を示す図である。
【図6】デジタルゲインによる輝度レベルの調整の必要性を説明する、一ライン方向のピクセルの輝度レベルを示す図である。
【図7】強調フィルタ8による輪郭強調処理を説明する図である。
【図8】輪郭強調処理を行う対象ピクセルを中心とした局所領域を示す図である。
【図9】強調フィルタ8で用いるパラメータがrange1=1及びrange2=1の場合における、ピクセルの色成分毎に対応した局所領域を示す図である。
【図10】強調フィルタ8における輪郭強調処理の結果を示す図である。
【図11】強調フィルタ8のパラメータrange1、dc及びdsを変化させた際の輪郭強調処理の結果を示す図である。
【図12】本実施形態による画像データ補正装置103による網目模様の模様線の信号強度を低減した効果を示す図である。
【図13】本発明の実施形態における画像データ補正装置103の行う網目模様の低減処理の動作例を示すフローチャートである。
【図14】本発明の実施形態におけるメディアンフィルタ6のカーネルの構成例を示す概念図である。
【発明を実施するための形態】
【0018】
以下、図面を参照して、本発明の一実施形態について説明する。図1は、この発明の実施形態による画像データ補正装置を用いた内視鏡装置の構成例を示す概略ブロック図である。この内視鏡装置は、例えば工業用あるいは医療用の利用分野において、測定対象物(被写体)の特定部位の観察などに用いられる。例えば、利用分野が医療用の場合、生体組織の線状に見える構造物(血管や網膜など)を観察するために用いられる。
本実施形態の内視鏡装置は、ファイババンドル101、撮像装置102、画像データ補正装置103及び表示装置104を備えている。
【0019】
撮像装置102は、ファイババンドル101を介して、測定対象物200の表面状態を撮像し、画像データ補正装置103へ出力する。ここで、撮像装置102は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いた撮像素子により、測定対象物200の画像を撮像する。
また、撮像装置102は、撮像素子が撮像した画像を電気信号に光電変換し、RGB(Red、Green、Blue)形式によるディジタル画像の画像データ(入力画像データ)を得る。また、撮像装置102は、このRGB形式の画像データを直接に、または一旦、NTSC(National Television System Committee)方式あるいはPAL(Phase Alternating Line)方式に変換して出力する。
【0020】
ここで、このファイババンドル101は、複数、例えば数百本から数万本の光ファイバ(イメージファイバ)を束ね、その光ファイバの束の両端に端末金具を取り付けて構成された光ファイバスコープである。光ファイバの数は、例えば100〜100000である。
したがって、撮像装置102は、ファイババンドル101を伝搬した光が撮像素子の撮像面で結像されることにより、この像における光の明暗を電荷量に光電変換することで、測定対象物200の表面を撮像する。このため、すでに述べたように、撮像装置102により撮像された画像には、複数の光ファイバを束ねたことにより生じる網目模様が存在する。
網目模様とは、ファイバスコープの伝送する画像において、光非伝送部(クラッド部、および光ファイバどうしの隙間等)に相当する領域によって形成される網目状の模様である。前記光非伝送部に相当する領域は、画像情報が欠落しているか、画像の明度が低いため、他の部分に比べ暗く表示される。この暗く表示された領域は、網目模様の網部分(すなわち網目模様の網目の糸に相当する線、以下、模様線)となる。
【0021】
画像データ補正装置103は、撮像装置102から供給される画像データを入力画像データとし、この入力画像データにおける網目模様の模様線の信号強度を低減し、模様線を目立ち難くして、入力画像データにおける網目模様を低減する画像補正処理を行う。
また、画像データ補正装置103は、入力画像データに対して網目模様を目立ち難くする補正を行った入力画像データを、出力画像データとして表示装置104に対して出力する。
表示装置104は、液晶ディスプレイなどであり、画像データ補正装置103から供給される出力画像データを表示パネルに表示させる。
【0022】
図2は、この発明の実施形態による画像データ補正装置103の構成例を示す概略ブロック図である。この画像データ補正装置103は、第1色変換部1、第2色変換部2、第3色変換部3、第1ガウシアンフィルタ4、第2ガウシアンフィルタ5、メディアンフィルタ6、デジタルゲイン調整部7、強調フィルタ8、第1画像バッファ9、第2画像バッファ10、処理バッファ11及び記憶部12を備えている。第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5は、平滑化フィルタである。
以下、各部の行う処理の説明を行う。
【0023】
第1色変換部1は、撮像装置102から供給されるNTSC方式あるいはPAL方式の画像データを、入力画像データとして読み込む。また、第1色変換部1は、読み込んだ入力画像データをRGB形式の画像データに変換し、第1画像バッファ9または第2画像バッファ10に書き込んで記憶する。本実施形態においては、画像データがカラーであるとして、RGB形式を用いて説明するが、本発明は単色のグレースケールの画像データの網目模様の模様線の低減にも適用することができる。
ここで、第1色変換部1が撮像素子102から供給される入力画像データを、NTSC方式からRGB形式に変換し、第1画像バッファ9に書き込んでいる場合、第2画像バッファ10に直前に書き込まれた入力画像データの補正処理を行うことができる。
また、撮像装置102が出力する画像データがRGB形式であれば、第1色変換部1を設ける必要がない。その場合には、撮像装置102は、直接に、撮像した画像データを第1ガウシアンフィルタ4へ、入力画像データとして供給する。
【0024】
第1画像バッファ9、第2画像バッファ10及び処理バッファ11の各々は、表示装置104の表示画面に表示される一画面(1フレーム)分の入力画像データにおけるピクセルのデータを格納する。ここで、1ピクセルは画像の表示単位であり、色成分R(レッド)、G(グリーン)及びB(ブルー)の3個の画素から構成されている。この色成分毎の画素は、信号強度がデータとしての階調度により示される。
【0025】
第1ガウシアンフィルタ4は、デジタルフィルタ演算により、入力画像データを構成するピクセルにおける色成分の各画素の平滑化処理を行い、ぼかし画像の生成を行う。
ここで、第1ガウシアンフィルタ4は、本実施形態において、平滑化を行う処理対象ピクセルを中心としたカーネルを用いて、入力画像データの各ピクセルのデータの平滑化処理を行う。ここで、カーネルは、処理対象ピクセルが中心に配置され、一辺を複数のピクセルとした矩形領域、例えば一辺を3ピクセルとした3×3ピクセルからなる矩形領域であり、処理対象ピクセルのフィルタ処理を行う複数の周辺のピクセルの範囲を示している。
第1ガウシアンフィルタ4は、このカーネルを1ピクセル単位で、入力画像データを表示画面に表示させる際の2次元平面(x軸及びy軸からなる平面)内で、走査線方向(x軸方向)あるいは走査線の配列方向(y軸方向)に移動させる。第1ガウシアンフィルタ4は、位置ピクセル移動する毎に、処理対象ピクセルにおける色成分(R、G、B)毎の階調度の移動平均を算出する。
【0026】
第2ガウシアンフィルタ5は、デジタルゲイン調整部7が輝度レベルの制御(後述)を行った後、第1ガウシアンフィルタ4と同様に、デジタルフィルタ演算により、入力画像データのピクセルにおける色成分の画素の階調度の平滑化処理を行う。
【0027】
第2色変換部2は、各ピクセルにおけるRGB形式で示されている画素の階調度を、以下の式を用いてY(輝度信号)U(色差信号、B−Y)V(色差信号、R−Y)形式のデータに、一旦変換する。
Y=0.299×R + 0.587×G + 0.114×B
U=−0.169×R − 0.331×G + 0.500×B
V=0.500×R − 0.419×G − 0.081×B
【0028】
第3色変換部3は、処理対象ピクセルのY信号のデータ、U信号のデータ及びV信号のデータを、以下の式に代入し、YUV形式からRGB形式に変換する。
R=1.000×Y + 1.402×V
G=1.000×Y − 0.344×U − 0.714×V
B=1.000×Y + 1.772×U
【0029】
メディアンフィルタ6は、処理対象ピクセルが中心に配置された複数のピクセルからなる矩形領域のカーネルを用い、デジタルフィルタ演算を用いたメディアンフィルタ処理を行う。ここで、メディアンフィルタ6は、カーネル内におけるピクセルから、第3色変換部3が求めたY信号のデータが中央値であるピクセルを検出する。すなわち、メディアンフィルタ6は、デジタルフィルタ演算を用いたメディアンフィルタ処理により、入力画像データにおけるカーネルで選択されたピクセルから、Y信号のデータが中央値のピクセルの検出を行う。例えば、メディアンフィルタ6は、カーネル内のピクセルの各々のY信号のデータの大小を比較するソート処理などにより、Y信号のデータが中央値のピクセルを検出する。
また、メディアンフィルタ6は、メディアンフィルタ処理により検出したピクセルのY信号のデータ(カーネル内における中央値のY信号のデータ)を、処理対象ピクセルの新たなY信号のデータとする。
上述した輝度信号のみに対するメディアンフィルタ処理により、RGB形式の各色成分ごとに行う場合のように、入力画像データにおける色情報を損なうことなく、第1ガウシアンフィルタ4で除去しきれない孤立点(ノイズなど)を低減することができる。この孤立点とは、輝度レベルが周辺の他のピクセルに比較して著しく高い、あるいは著しく低い輝度レベルを有するピクセルである。
【0030】
デジタルゲイン調整部7は、メディアンフィルタ6のメディアンフィルタ処理した入力画像データの各ピクセルにおけるRGB形式の色成分の各々にデジタルゲインを乗じて、入力画像データのピクセルの輝度レベルを全体的に増加させる。
すなわち、第1ガウシアンフィルタ4による平滑化処理と、メディアンフィルタ6によるメディアンフィルタ処理とに起因する全体的な輝度レベル低下を抑制するため、デジタルゲイン調整部7は、上述した輝度レベルの制御を行う。
【0031】
強調フィルタ8は、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5による2度の平滑化処理と、メディアンフィルタ6による孤立点の除去処理とにより情報が劣化した入力画像データにおける絵柄の輪郭部の情報の再生を行う。すなわち、強調フィルタ8は、デジタルフィルタ演算により、上述した2度の平滑化処理とメディアンフィルタ処理とのぼかし処理により得られたぼかし画像における絵柄(生体組織の線状に見える構造物など)を構成するピクセル(各色成分毎の階調度)に対する輪郭強調処理を行う。
【0032】
上述した画像データ補正装置103において、第1ガウシアンフィルタ4による平滑化処理、メディアンフィルタ6による孤立点除去処理、デジタルゲイン調整部7によるゲイン調整、第2ガウシアンフィルタ5による平滑化処理、強調フィルタ8による輪郭強調処理の順番で、網目模様の網用線の信号強度の低減が行われ、網目模様を目立たなくさせる処理が行われる。
【0033】
<第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5による平滑化処理>
以下の説明は、第1ガウシアンフィルタ4を用いて説明するが、第2ガウシアンフィルタ5における入力画像データの平滑化処理も同様に行う。
図3は、本発明の実施形態における第1ガウシアンフィルタの処理対象ピクセルにおける色成分毎のカーネルの構成例を示す概念図である。
ここで、図3(a)は、RGB形式におけるR(レッド)に対するカーネルを示しており、このカーネルにおけるR5が処理対象ピクセルの色成分Rの画素である。
第1ガウシアンフィルタ4は、移動平均を求める際、カーネルにおいて、処理対象ピクセルの色成分Rの画素のデータ(R5)と、上下及び左右にて隣接するピクセルの色成分Rの画素のデータ(R2、R4、R6、R8)と、斜め方向で隣接するピクセルの色成分Rの画素のデータ(R1、R3、R7、R9)との各々に、予め設定された係数を乗じる。すなわち、第1ガウシアンフィルタ4は、以下の式により、処理対象ピクセルにおける色成分Rの画素の階調度を算出する。以下、画素の番号と、画素のデータである階調度とを同一として説明する。
R=R5×rISGAUSC1+(R2+R4+R6+R8)×rISGAUSC2
+(R1+R3+R7+R9)×rISGAUSC3 ・・・(1)
【0034】
この(1)式において、画素R5の階調度に乗ずる係数をrISGAUSC1とし、画素R2、R4、R6、R8の階調度に乗ずる係数をrISGAUSC2とし、画素R1、R3、R7、R9の階調度に乗ずる係数をrISGAUSC3としている。
【0035】
また、図3(b)は、RGB形式におけるG(グリーン)に対するカーネルを示しており、このカーネルにおけるG5が処理対象ピクセルの色成分Gの画素である。
第1ガウシアンフィルタ4は、移動平均を求める際、カーネルにおいて、処理対象ピクセルの色成分Gの画素のデータ(G5)と、上下及び左右にて隣接するピクセルの色成分Gの画素のデータ(G2、G4、G6、G8)と、斜め方向で隣接するピクセルの色成分Gの画素のデータ(G1、G3、G7、G9)との各々に、予め設定された係数を乗じる。すなわち、第1ガウシアンフィルタ4は、以下の式により、処理対象ピクセルにおける色成分Gの画素の階調度を算出する。
G=G5×rISGAUSC1+(G2+G4+G6+G8)×rISGAUSC2
+(G1+G3+G7+G9)×rISGAUSC3 ・・・(2)
【0036】
この(2)式において、画素G5の階調度に乗ずる係数をrISGAUSC1とし、画素G2、G4、G6、G8の階調度に乗ずる係数をrISGAUSC2とし、画素G1、G3、G7、G9の階調度に乗ずる係数をrISGAUSC3としている。
【0037】
また、図3(c)は、RGB形式におけるB(ブルー)に対するカーネルを示しており、このカーネルにおけるB5が処理対象ピクセルの色成分Bの画素である。
第1ガウシアンフィルタ4は、移動平均を求める際、カーネルにおいて、処理対象ピクセルの色成分Bの画素のデータ(B5)と、上下及び左右にて隣接するピクセルの色成分Bの画素のデータ(B2、B4、B6、B8)と、斜め方向で隣接するピクセルの色成分Bの画素のデータ(B1、B3、B7、B9)との各々に、予め設定された係数を乗じる。すなわち、第1ガウシアンフィルタ4は、以下の式により、処理対象ピクセルにおける色成分Bの画素の階調度を算出する。
B=B5×rISGAUSC1+(B2+B4+B6+B8)×rISGAUSC2
+(B1+B3+B7+B9)×rISGAUSC3 ・・・(3)
【0038】
この(3)式において、画素B5の階調度に乗ずる係数をrISGAUSC1とし、画素B2、B4、B6、B8の階調度に乗ずる係数をrISGAUSC2とし、画素B1、B3、B7、B9の階調度に乗ずる係数をrISGAUSC3としている。
【0039】
上述した係数rISGAUSC1、rISGAUSC2及びrISGAUSC3の各々は、例えば、予め実機を用い、表示装置104に表示される画像を確認して求めている。すなわち、係数rISGAUSC1、rISGAUSC2及びrISGAUSC3の各々は、最も網目模様が目立たなく、かつ撮像装置102からの画像データの情報が劣化しない数値として実験により求めている。
rISGAUSC1:0.0234375〜0.0625
rISGAUSC2:0.12109375〜0.1171875
rISGAUSC3:0.12109375〜0.1171875
上述した係数は、全ての係数を加算した数値が「1」となるように、設定される。
すなわち、
rISGAUSC1×1+rISGAUSC2×4+rISGAUSC3×4=1
となるように、設定されている。
【0040】
また、rISGAUSC1が「1」に近く、rISGAUSC2及びrISGAUSC3が「0」に近いほど、第1ガウシアンフィルタ4による平滑化処理の後、平滑化された画像は撮像装置102から供給される入力画像データに近い画像となる。一方、rISGAUSC1が「0」に近く、rISGAUSC2及びrISGAUSC3が「1」に近いほど、第1ガウシアンフィルタ4による平滑化処理の後、平滑化された画像は、入力画像データの平滑化が大きく、ぼけた画像となる。
【0041】
また、本実施形態においては、カーネルを3×3の画素グループとしている。しかしながら、このカーネルの構成は、ファイババンドル101と撮像装置102との各々の異なる種類毎の組み合せにより、実機を用いた実験により、以下に示すように決定される。
図4は、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5で用いるカーネルの縦方向と横方向のピクセル数(実際にはピクセル数)を決定する処理を説明する概念図である。
この図4において、カーネルの構成の決定処理を、撮像装置102から供給される入力画像データが、NTSC方式のアナログ信号の場合を例として、以下に説明する。
NTSC方式の解像度は、720ピクセル×486ピクセルである。
【0042】
内視鏡の映像は、通常、図4に示すように、表示装置104(図1参照)の表示画面に対して、少し小さな領域として表示されることになる。内視鏡の映像の表示領域は、ファイババンドル101の径と、撮像装置102の撮像素子の撮像面積とから決定される。すなわち、ファイババンドル101を伝搬した光は、撮像装置102の撮像面500に対し、図4の領域501の領域に照射されることになる。
撮像装置104の表示画面が4:3の比率に対し、この表示画面における領域500の比を加えると、4:3:α(1≦α≦1.5)となる。
また、領域501における、ファイババンドル101が光として伝搬する測定対象200の画像を拡大すると、この画像には領域Sに示すように網目模様が存在している。
【0043】
網目模様における模様線の幅は、撮像装置102の撮像素子の撮像面に照射される領域501の径と、この領域501内における光ファイバの数、すなわちファイババンドル101を構成する光ファイバの数とに依存する。
例えば、光学系で撮像面に撮像される画像をより拡大させ、領域501内における光ファイバの数をより少なくすると、網目模様の模様線の幅が太く(幅が広く)なる。一方、光学系で撮像面に撮像される画像をより縮小させ、領域501内に光を照射する光ファイバの数をより多くするほど、網目模様の模様線の幅が細く(幅が狭く)なる。このように、ピクセルからなる撮像面に撮像された画像において、網目模様の模様線の幅が、いくつのピクセルにまたがる幅となるかにより、カーネルのピクセルグループの数が決定される。
一例として、一般的にファイババンドル101を構成する光ファイバの数が3000以上であるため、以下領域501内に光を照射する光ファイバの数を3000として、領域501内における網目模様の模様線の幅を換算してみる。
【0044】
領域500の径の比(α)を1.5とすると、直径方向に含まれるピクセル数は、NTSC方式の解像度720×486から、以下の数値となる。
水平方向(x軸方向)のピクセル数: 720×(1.5/4)=270
水平方向(y軸方向)のピクセル数: 486×(1.5/3)=243
また、領域500における直径方向に含まれる光ファイバの数は、等価的に、以下の式により算出することができる。
直径方向の光ファイバの数: (3000/π)×2≒62
【0045】
ここで、すでに述べたように、ファイババンドル101を構成する光ファイバは、画像を光として伝搬するコア部と、このコア部の外周に設けられたクラッド部とから構成されている。入力画像データにおける網目模様の模様線は、ファイババンドルとして光ファイバを融合している部分、すなわち隣接する光ファイバのコア部の間にあるクラッド部あるいは隙間などの光を伝搬しない部分に相当する。
【0046】
光ファイバにおけるコア部の径に対するクラッド部の径の比は、通常、1.5から2.0の範囲になっている。この径の比を用いて、領域501内における画像の網目模様の模様線の幅をピクセル数として算出すると、以下のように求められる。ここで、径の比が大きくなるほど模様線の幅が大きくなるため、径の比を2.0として用いる。
水平方向の模様線の幅: (270/62)×(1−1/2)=2.2
垂直方向の模様線の幅: (243/62)×(1−1/2)=2.0
【0047】
上述した結果から、上述した条件の場合には、領域501内における画像データの網目模様の模様線の幅が、2.2ピクセル以下であることが求まる。ここで、上述した計算は、隣接する個別の光ファイバの集合体を仮定して行っているが、実際のイメージファイバでは各光ファイバが一体化された形で成型されているため、各光ファイバ間の隙間は個別ファイバの集合体とは必ずしも一致しないことを考慮して、本実施形態における模様線の幅を2.5ピクセルと設定した。
このピクセル数が2.5ピクセル以上の最小の整数値は3である。このため、本実施形態においては、演算処理の高速化を考慮し、第1ガウシアンフィルタ4におけるカーネルの縦方向と横方向のピクセル数(カーネルサイズ)を3ピクセルと決定した。
すなわち、カーネルを構成するピクセル数を増加させることにより、フィルタ演算の負荷が増加し、一時記憶を行うメモリ容量も増加するため、画像補正装置のコストを増大させることになる。このため、模様線の幅のピクセル数以上の整数値とし、カーネルを構成するピクセル数を必要最小限とすることが望ましい。したがって、カーネルは、網目模様の模様線の幅を超える画素数を辺とする矩形領域として設定される。
【0048】
次に、図5は、本発明の実施形態による医療用内視鏡を用いて撮像した実際の画像における網目模様の模様線の幅とピクセル数との対応を示す図である。
撮像装置102の条件としては、NTSC方式における解像度720×486(ピクセル)、ファイババンドル101を構成する光ファイバ数が3000、表示装置104の表示画面500の縦方向の幅と、横方向の幅と、領域501の径との比が4:3:1.5である。領域501内の領域Pの拡大図において、四角形Cが1ピクセルの大きさを示している。領域Pの拡大図において、所定の横方向の1ライン分の各ピクセルの輝度レベルを示す強度が実線で示されている。この1ラインに存在するピクセルの輝度レベルのベースレベルが一点鎖線で示されている。このベースライン以下の輝度部分を有するピクセルを模様線の幅に相当するとした場合、図5からも模様線の幅は2ピクセル以上であり、かつ2.5ピクセル以下であると読み取ることができる。図5において、模様線の幅を示す中括弧が示された部分のピクセルを点線(破線)で示してある。
【0049】
また、第2ガウシアンフィルタ5が行う平滑化処理は、第1ガウシアンフィルタ4が行う平滑化処理と同様の構成のカーネルを用いて行う。
この第2ガウシアンフィルタ5において、平滑化処理で使用される各ピクセルの色成分に乗算する係数rISGAUSC1、rISGAUSC2及びrISGAUSC3の各々は、第1ガウシアンフィルタ4と同様でも良い。
また、第2ガウシアンフィルタ5に対して、第1ガウシアンフィルタ4と同様に、実機による実験により独自に求めた数値としても良い。
上述した第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5におけるカーネルの構成、係数rISGAUSC1、rISGAUSC2及びrISGAUSC3を、異なる種類のファイババンドル101及び撮像装置102の各々の組合せ毎に設定してもよい。
【0050】
<デジタルゲインによる輝度レベルの調整>
図6は、デジタルゲインによる輝度レベルの調整の必要性を説明する、表示装置104の表示画面における走査線の一ライン方向に配置されるピクセルの輝度レベルを示す図である。この図6において、横軸はある一ライン(表示装置104に表示される際の走査線方向)におけるピクセルの位置を示し、縦軸は各ピクセルの輝度レベルを示している。
図に示すように、入力画像データの平滑化処理を行う前の輝度レベルに比較して、第1ガウシアンフィルタ4の平滑化処理後の入力画像データにおける各ピクセルの輝度レベル(第1平滑化処理後輝度レベル)が低下する。
また、第1ガウシアンフィルタ4の平滑化処理による第1平滑化処理後輝度レベルに比較して、第2ガウシアンフィルタ5の平滑化処理後の入力画像データにおける各ピクセルの輝度レベル(第2平滑化処理後レベル)がより低下する。
すなわち、ガウシアンフィルタを用いた平滑化処理を行うごとに、出力画像データの各ピクセルの輝度レベルが低下していくことになる。
【0051】
このため、デジタルゲイン調整部7は、入力画像データの各ピクセルの輝度レベルを回復するためのデジタルゲイン調整を行う。
ここで、デジタルゲイン調整部7が乗算するデジタルゲインは、入力画像データのピクセルにおけるRGB形式の色成分毎に乗算される数値であり、以下のように設定される。
例えば、実機において、複数の入力画像データを用い、入力画像データ毎に全ピクセルにおけるRGB形式の色成分毎の階調度の平均値AV1を算出する。そして、さらに複数の入力画像データの平均値AV1の平均値AAV1を求める。
また、第1ガウシアンフィルタ4による平滑化処理、及びメディアンフィルタ6によるメディアンフィルタ処理が行われた後、入力画像データ毎の全ピクセルにおけるRGB形式の色成分毎の階調度の平均値AV2を算出する。そして、さらに複数の入力画像データの平均値AV2の平均値AAV2を求める。
そして、平均値AAV1を平均値AAV2で除算し、除算結果の数値をデジタルゲインとして用いる。
【0052】
ここで、上述のように、デジタルゲインを予め計算し、計算したデジタルゲインを記憶部12に予め書き込んで記憶させておく。
そして、デジタルゲイン調整部7は、入力画像データのデジタルゲイン調整を行う際、記憶部12からデジタルゲインを読み出し、各ピクセルにおける色成分毎に乗算するデジタルゲイン調整により、入力画像データの輝度レベルの制御を行う。
【0053】
また、以下のように、デジタルゲイン調整部7を構成しても良い。
すなわち、デジタルゲイン調整部7は、第1ガウシアンフィルタ4による平滑化処理と、メディアンフィルタ6によるメディアンフィルタ処理とが行われた後、平均値AV1及び平均値AV2を算出する。
そして、デジタルゲイン調整部7は、平均値AV1を平均値AV2により除算し、デジタルゲインを求め、各ピクセルにおける色成分毎に乗算するデジタルゲイン調整により、入力画像データの輝度レベルの制御を行う。この場合、デジタルゲインが現在処理している入力画像に最適なものとなるため、予め設定されたデジタルゲインを使用する場合に比較し、より精度の高いデジタルゲイン調整を行うことができる。
【0054】
また、例えば、入力画像データの補正処理を行いつつ、実機による表示装置104に表示される出力画像の確認を行い、この確認結果から求めた数値とし、デジタルゲインを1から1.4の間に設定し、予め記憶部12に書き込んで記憶させておいても良い。
この場合、デジタルゲイン調整部7は、デジタルゲイン調整を行う際に、記憶部12からデジタルゲインを読み出して用いる。
上述したデジタルゲインの数値を、異なる種類のファイババンドル101及び撮像装置102の各々の組合せ毎に設定してもよい。
【0055】
<強調フィルタ8による輪郭強調処理>
図7は、強調フィルタ8による輪郭強調処理を説明する図である。この図7において、横軸はある一ラインにおけるピクセルの位置を示し、縦軸は各ピクセルの輝度レベル(または各色成分の階調度)を示している。
また、Area0は網目模様の存在する網目付近の領域であり、Area1は入力画像データにおける絵柄の中心付近の領域であり、Area2は絵柄の端部付近の領域である。
強調フィルタ8は、上述した各領域において、領域の各々のピクセルにおける色成分毎の階調度の平均値を求め、この平均値と各ピクセルの色成分の階調度との差分(diff)を求める。
【0056】
次に、図8は、輪郭強調処理を行う対象ピクセルを中心とした局所領域を示す図である。この図8において、range1は輪郭強調処理を行う対象の対象ピクセルの左右方向各々に設けるピクセル数を示し、range2は対象ピクセルの上下方向各々に設けるピクセル数を示している。ここで、平均値を求める範囲を設定するrange1及びrange2のピクセル数は、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5でのカーネルの対象ピクセル数と同様に網目模様の模様線の幅に相当するピクセル数以上とする必要がある。
【0057】
したがって、図8は、range1=3及びrange2=1の場合の局所領域を示している。
この場合、強調フィルタ8は、局所領域における対象ピクセルを含む21個のピクセルにおけるRGB形式の色成分毎の階調度の平均値を算出する。そして、強調フィルタ8は、この求めた平均値と各色成分の画素の階調度との差分を求め、ピクセルにおける色成分毎の画素の輪郭強調処理を行う。
ここで、強調フィルタ8は、この差分が予め設定した規程値(data clear:dc)の範囲内に有る(−dc≦diff≦dc)場合、差分を0とする。すなわち、強調フィルタ8は、差分が規程値の範囲内の数値である場合、元々階調度の差分が周辺の画素に比較して変化が内程度の大きさであったと判定し、処理対象ピクセルのこの色成分の画素の強調処理を行わない。
一方、強調フィルタ8は、差分が予め設定した規程値の範囲外に有る(−dc>diffあるいはdc<diff)場合、差分diffに対し、予め設定されている係数ds(data scaling)を乗算する。すなわち、強調フィルタ8は、差分の絶対値が規程値を超える場合、元々階調度の差分が周辺の画素に比較して大きかったと判定し、処理対象ピクセルのこの色成分の画素の強調処理を行う。
この係数dsは、本実施形態においては例えば1から3の間に設定しているが、実験による強調処理の結果を確認して適時設定する。また、規程値dcも、本実施形態においては例えば0から3の間に設定しているが、実験による強調処理の結果を確認して適時設定する。
そして、強調フィルタ8は、対象ピクセルにおける色成分の元の階調度に対し、係数dsと差分diffとの乗算結果を加算し、加算結果を処理対象ピクセルにおける色成分の画素の新たな階調度とする。
【0058】
次に、図9は、強調フィルタ8で用いるパラメータがrange1=1及びrange2=1の場合における、ピクセルの色成分毎に対応した局所領域の構成を示す図である。図9(a)がRGB形式におけるR(レッド)の色成分の画素に対する局所領域の構成を示し、この局所領域における画素R5が処理対象ピクセルの色成分Rの画素である。図9(b)がRGB形式におけるG(グリーン)の色成分の画素に対する局所領域の構成を示し、この局所領域における画素G5が処理対象ピクセルの色成分Gの画素である。図9(c)がRGB形式におけるB(ブルー)の色成分の画素に対する局所領域の構成を示し、B5が処理対象ピクセルの色成分Rの画素である。以下、画素を示す符号を階調度とし、強調フィルタ8が行う輪郭強調処理のフィルタ計算を説明する。
強調フィルタ8は、図9に示すrange1=1及びrange2=1の局所領域を用いた場合、以下に示す計算式群により、処理対象ピクセルにおける各色成分の輪郭強調処理を行う。
【0059】
強調フィルタ8は、局所領域における各ピクセルの色成分毎の階調度の平均値を算出する。下記の式で、Raveが局所領域における各ピクセルの色成分Rの階調度の平均値であり、Gaveが局所領域における各ピクセルの色成分Gの階調度の平均値であり、Baveが局所領域における各ピクセルの色成分Bの階調度の平均値である。
Rave=(R1+R2+R3+R4+R5+R6+R7+R8)/9
Gave=(G1+G2+G3+G4+G5+G6+G7+G8)/9
Rave=(R1+R2+R3+R4+R5+R6+R7+R8)/9
【0060】
次に、強調フィルタ8は、以下に示す式により、処理対象ピクセルにおける各色成分の階調度から、局所領域におけるピクセルの色成分毎の平均値を減算する。
そして、強調フィルタ8は、上述した減算により、処理対象ピクセルにおける各色成分の階調度と、局所領域におけるピクセルの色成分毎の平均値との差分を求める。
diffR=R5−Rave
diffG=B5−Bave
diffB=B5−Bave
ここで、diffRは処理対象ピクセルにおける色成分Rの階調度と、局所領域におけるピクセルの色成分Rの平均値との差分(diff)である。diffGは処理対象ピクセルにおける色成分Gの階調度と、局所領域におけるピクセルの色成分Gの平均値との差分(diff)である。diffBは処理対象ピクセルにおける色成分Bの階調度と、局所領域におけるピクセルの色成分Bの平均値との差分(diff)である。
【0061】
次に、強調フィルタ8は、以下に示す式により、対象ピクセルにおける各色成分の差分の絶対値を算出する。以下の式におけるabs(X)は、Xの絶対値を求める関数である。
Rofs=abs(diffR)
Gofs=abs(diffG)
Rofs=abs(diffB)
ここで、Rofsは対象ピクセルにおける差分diffRの絶対値であり、Gofsは対象ピクセルにおける差分diffGの絶対値であり、Bofsは対象ピクセルにおける差分diffBの絶対値である。
【0062】
次に、強調フィルタ8は、差分diffRの絶対値Rofsが予め設定した規程値dc以下か否かの判定を行い、規程値dc以下である場合、すなわち規程値dcの範囲内に有る(−dc≦diffR≦dc)場合、差分diffRを0とする。
一方、強調フィルタ8は、差分diffRの絶対値Rofsが規程値dc以下でない(規程値dcを超える)場合、すなわち規程値dcの範囲内にない(−dc>diffRあるいはdc<diffR)場合、差分diffRに対し、係数dsを乗算し、乗算結果を新たな差分diffRとする。
そして、強調フィルタ8は、処理対象ピクセルの色成分の階調度R5に対して、差分diffRを加算し、加算結果を処理対象ピクセルの色成分の階調度R5の画素の新たな階調度とする。
【0063】
同様に、強調フィルタ8は、差分diffGの絶対値Gofsが予め設定した規程値dc以下か否かの判定を行い、規程値dc以下である場合、すなわち規程値dcの範囲内に有る(−dc≦diffG≦dc)場合、差分diffGを0とする。
一方、強調フィルタ8は、差分diffGの絶対値Gofsが規程値dc以下でない場合、すなわち規程値dcの範囲内にない(−dc>diffGあるいはdc<diffG)場合、差分diffGに対し、係数dsを乗算し、乗算結果を新たな差分diffGとする。
そして、強調フィルタ8は、処理対象ピクセルの色成分の階調度G5に対して、差分diffGを加算し、加算結果を処理対象ピクセルの色成分の階調度G5の画素の新たな階調度とする。
【0064】
また、強調フィルタ8は、差分diffBの絶対値Bofsが予め設定した規程値dc以下か否かの判定を行い、規程値dc以下である場合、すなわち規程値dcの範囲内に有る(−dc≦diffB≦dc)場合、差分diffBを0とする。
一方、強調フィルタ8は、差分diffBの絶対値Bofsが規程値dc以下でない場合、すなわち規程値dcの範囲内にない(−dc>diffBあるいはdc<diffB)場合、差分diffBに対し、係数dsを乗算し、乗算結果を新たな差分diffBとする。
そして、強調フィルタ8は、処理対象ピクセルの色成分の階調度B5に対して、差分diffBを加算し、加算結果を処理対象ピクセルの色成分の階調度B5の画素の新たな階調度とする。
【0065】
次に、図10は、強調フィルタ8における輪郭強調処理の結果を示す図である。この図10において、規程値dsを適切に設定し、輪郭強調処理を行うことにより、差分の絶対値Bofsが規程値dc以下でない領域が存在するため、絵柄領域の絵柄の輪郭が強調される。
一方、差分の絶対値Bofsが規程値dc以下でない領域が存在しないため、網目模様領域における模様線の輪郭が強調されていないことが判る。
上述した強調フィルタ8におけるrange1、range2、規程値dc、係数dsの各々の数値を、異なる種類のファイババンドル101及び撮像装置102の各々の組合せ毎に設定してもよい。
【0066】
<強調フィルタ8における輪郭強調処理に用いるパラメータの評価>
図11は、強調フィルタ8のパラメータrange1、dc及びdsを変化させた際の輪郭強調処理の結果を示す図である。画像0−0、1−0及び2−0は同様の画像であり、すでに説明した平滑化処理及び孤立点除去の処理が終了した入力画像データである。
この図11において、グループ0は、range1=1、range2=1として、9個からなるピクセルで構成された局所領域で平均値の計算を行ったグループである。
また、グループ1は、range1=4、range2=1として、27個からなるピクセルで構成された局所領域で平均値の計算を行ったグループである。
また、グループ2は、range1=8、range2=1として、51個からなるピクセルで構成された局所領域で平均値の計算を行ったグループである。
【0067】
グループ0、グループ1及びグループ2において、各グループ間での平均値はrange1(あるいはrange2)を大きくするに従い、局所領域内における平均値と各ピクセルの色成分の階調度との差分diffがより大きくなるため、輪郭強調の効果が大きくなることが解る。
例えば、規程値dc=1、係数ds=1の輪郭強調のために加算される差分diffを比較してみると、range1=1の画像0−1に比較し、range1=4の画像1−1Aがより大きく、range1=8の画像2−1Aがさらに高いことが、図のコントラストから解る。
【0068】
また、画像0−0に対し、差分の画像0−1を重ねた結果(元のピクセルにおける色成分各々の階調度に対し、対応する差分diffを加算して生成した結果)として、輪郭が強調された画像0−2が得られる。
同様に、画像1−0に対し、差分の画像1−1Aを重ねた結果として、輪郭が強調された画像1−2Aが得られる。
画像2−0に対し、差分の画像2−1Aを重ねた結果として、輪郭が強調された画像2−2Aが得られる。
上述のように生成した画像0−2、1−2A及び2−2Aを比較すると、画像0−2に比較して、画像1−2Aのコントラストがより強く、さらに画像1−2Aに比較して、画像2−2Aのコントラストがより強いことが解る。
【0069】
一方、グループ1において、range1=4、range2=1の場合、すなわち局所領域を生成するピクセル数が同一である場合、画像1−1Aと画像1−1Cとを比較すると、画像1−1Cがよりコントラストが強いことが解る。ここで、画像1−1Aはdc=1及びds=1であり、画像1−1Cは、dc=1及びds=2である。
ここで、画像1−0に対して差分の画像1−1Aを重ねた結果として、輪郭が強調された画像1−2Aが得られる。
また、画像1−0に対して差分の画像1−1Cを重ねた結果として、輪郭が強調された画像1−2Cが得られる。
上述のように生成した画像1−2A及び1−2Cを比較すると、画像1−2Aに比較して、画像1−2Cのコントラストがより強いことが解る。
このように、係数dsの設定値を大きくするほど、より輪郭強調の効果が大きくなり、コントラストをより強くする補正が行えることになる。
【0070】
この効果は、グループ1における画像1−1B(dc=4、ds=1)と、画像1−1D(dc=4、ds=2)とを比較しても、係数dsの設定値を大きくするほど、より輪郭強調の効果が大きくなり、画像1−1Aと画像1−1Cとの比較と同様である。
ここで、画像1−0に対して差分の画像1−1Bを重ねた結果として、輪郭が強調された画像1−2Bが得られる。
また、画像1−0に対して差分の画像1−1Dを重ねた結果として、輪郭が強調された画像1−2Dが得られる。
上述のように生成した画像1−2B及び1−2Dを比較すると、画像1−2Bに比較して、画像1−2Dのコントラストがより強いことが解る。
【0071】
また、画像1−1D(dc=4、ds=2)と、画像1−1E(dc=4、ds=4)とを比較しても、画像1−1Dに比較して画像1−1Eがよりコントラストが強い。
そして、画像1−1Dを画像1−0に重ねた結果として得られる画像1−2Dに比較し、画像1−1Eを画像1−0に重ねた結果として得られる画像1−2Eが、よりコントラストが強いことが解る。
【0072】
次に、グループ1において、係数ds=1として固定し、規程値dcを変化させた場合を検討する。
画像1−1A(dc=1)と、画像1−1B(dc=4)とを比較すると、画像1−1Bに対して、より画像1−1Aのコントラストが強いことが解る。
また、画像1−2A及び1−2Bを比較すると、画像1−2Bに比較して、画像1−2Aのコントラストがより強いことが解る。
【0073】
同様に、係数ds=2として固定し、規程値dcを変化させた場合を検討する。
画像1−1C(dc=1)と、画像1−1D(dc=4)とを比較すると、画像1−1Dに対して、より画像1−1Cのコントラストが強いことが解る。
また、画像1−2C及び1−2Dを比較すると、画像1−2Dに比較して、画像1−2Cのコントラストがより強いことが解る。
【0074】
次に、グループ2において、係数ds=1として固定し、規程値dcを変化させた場合を検討する。
画像2−1A(dc=1)と、画像2−1B(dc=4)とを比較すると、画像2−1Bに対して、より画像2−1Aのコントラストが強いことが解る。
また、画像2−2A及び2−2Bを比較すると、画像2−2Bに比較して、画像2−2Aのコントラストがより強いことが解る。
したがって、上述したように、規程値dcが小さくなるに従い、強調処理の効果が大きくなり、コントラストがより強くする補正が行えることになる。
【0075】
<本実施形態による網目模様の低減処理の効果>
図12は、本実施形態による画像データ補正装置103による網目模様の模様線の信号強度を低減した効果を示す図である。この図12は、NTSCの分解能720×486を処理対象としている。
図12(a)は、撮像装置102から供給される原画像を示す図である。
また、図12(b)は、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5による平滑化処理と、メディアンフィル6による孤立点除去の処理とを行い、かつ強調フィルタ8による輪郭強調処理を行い、網目模様の低減を行った画像を示す図である。ここで、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5の各々のカーネルを、処理対象ピクセルを中心として含む3×3ピクセルとして用いている。また、強調フィルタ8において、range1=4、range2=1とし、係数dsを2とし、規程値dcを4としている。
図12から解るように、図12(a)における網目模様の黒いドットが、図12(b)においては薄くなり、画像の表面が滑らかな形態となっていることが解る。
【0076】
<本実施形態による画像データ補正装置103の動作説明>
次に、図2及び図13を用いて、本実施形態による画像データ補正装置103における網目模様の模様線の信号強度を低減する処理について説明する。図13は、本発明の実施形態における画像データ補正装置103の行う網目模様の模様線の信号強度の低減処理の動作例を示すフローチャートである。
ステップS1:
第1色変換部1は、撮像装置102から供給されるNTSC方式のアナログの入力画像を、RGB形式のデジタル信号である入力画像データに変換する。
そして、第1色変換部1は、変換後の入力画像データの各ピクセルの色成分のデータ(R、G、B)を、順次、第1画像バッファ9に書き込む。
ここで、第1画像バッファ9及び第2画像バッファ10は、同一の構成である。そして、第1画像バッファ9及び第2画像バッファ10のいずれか一方に第1色変換部1により入力画像データが書き込まれて記憶され、他方に記憶されている入力画像データに対する網目模様の模様線の信号強度を低減する処理が行われている。
この時点においては、例えば、第2画像バッファ10に記憶されている入力画像データに対する網目模様の模様線の信号強度を低減する処理が行われている。
【0077】
ステップS2:
この時点において、第2画像バッファ10に記憶されている入力画像データに対する網目模様の模様線の信号強度を低減する処理が終了し、第1画像バッファ9に対する入力画像データの書き込みが終了する。
これにより、第1色変換部1は、第2画像バッファ9に対し、撮像装置102から供給される新たな一画面の入力画像データの書き込みを開始する。
次に、第1ガウシアンフィルタ4は、第1画像バッファ9に書き込まれた入力画像データのピクセルにおける各色成分の画素の階調度を、処理対象ピクセルを中心とした3×3ピクセルのカーネル単位で読み出す。
【0078】
すなわち、平滑化処理を行う際、第1ガウシアンフィルタ4は、第1画像バッファ9から、処理対象ピクセルにおける各色成分の画素のデータ(R5、G5、B5)を読み出す。
また、第1ガウシアンフィルタ4は、上下及び左右にて処理対象ピクセルに隣接するピクセルにおける各色成分の画素のデータ(R2、R4、R6、R8、G2、G4、G6、G8、B2、B4、B6、B8)の各々を、第1画像バッファ9から読み出す。
また、第1ガウシアンフィルタ4は、斜め方向で処理対象ピクセルに隣接するピクセルにおける各色成分の画素のデータ(R1、R3、R7、R9、G1、G3、G7、G9、B1、B3、B7、B9)の各々を、第1画像バッファ9から読み出す。
【0079】
そして、第1ガウシアンフィルタ4は、処理対象ピクセルにおける色成分毎に平滑化処理を行い、処理が終了した処理対象ピクセルを処理バッファ11に書き込む。
第1ガウシアンフィルタ4は、入力画像データが表示画面に表示される際、各ピクセルが2次元平面において配置される位置に対応し、表示装置104の表示画面の走査線方向あるいは走査線の配置方向に対し、カーネルを1ピクセルずつ移動させる。
すなわち、第1ガウシアンフィルタ4は、上述したように、カーネルを1ピクセルづつ移動させる毎に、入力画像データの各ピクセルを順次、処理対象ピクセルとして、入力画像データにおける全ピクセルの平滑化処理を行い、ぼかし画像の生成を行う。第1ガウシアンフィルタ4は、1画面分の入力画像データの平滑化が終了すると、処理をステップS3へ進める。
【0080】
ステップS3:
次に、第2色変換部2は、入力画像データの各ピクセルにおけるRGB形式で示されている画素の階調度を、YUV形式のデータに変換する。
すなわち、第2色変換部2は、処理バッファ11から、順次、入力画像データのピクセルの各色成分の画素のデータを読み出し、読み出した各ピクセルにおけるRGB形式で示されている画素の階調度を、YUV形式のデータに、変換する。
そして、第2色変換部2は、YUV形式に変換した各ピクセルのY信号、U信号、V信号のデータを、第1画像バッファ9に対し、それぞれ対応するピクセルのアドレスに書き込む。
第2色変換部2は、1画面分の入力画像データの全ピクセルにおけるRGB形式からYUV形式のデータへの変換が終了すると、処理をステップS4へ進める。
【0081】
ステップS4:
次に、メディアンフィルタ6は、第1画像バッファ9から、順次、カーネルサイズである3×3のY信号のデータ(Y1、Y2、Y3、Y4、Y5、Y6、Y7、Y8、Y9)を読み出す。
次に、図14は、本発明の実施形態におけるメディアンフィルタ6のカーネルの構成例を示す概念図である。図14は、YUV形式におけるY信号のデータに対するカーネルを示しており、Y5が処理対象ピクセルである。
メディアンフィルタ処理を行う際、メディアンフィルタ6は、第1画像バッファ9から、処理対象ピクセルのY信号のデータ(Y5)を読み出す。
また、メディアンフィルタ処理を行う際、メディアンフィルタ6は、上下及び左右にて処理対象ピクセルに隣接するピクセルのY信号のデータ(Y2、Y4、Y6、Y8)の各々を、第1画像バッファ9から読み出す。
また、メディアンフィルタ処理を行う際、メディアンフィルタ6は、斜め方向で処理対象ピクセルに隣接するピクセルのY信号のデータ(Y1、Y3、Y7、Y9)の各々を、第1画像バッファ9から読み出す。
そして、メディアンフィルタ6は、読み出したY信号のデータY1からY9における中央値を求め、この中央値を処理対象ピクセルのY信号として、処理バッファ11に対し、処理対象ピクセルのアドレスに書き込む。
メディアンフィルタ8は、1画面分の入力画像データの全ピクセルにおけるメディアンフィルタ処理が終了すると、処理をステップS5へ進める。
【0082】
ステップS5:
次に、第3色変換部3は、入力画像データの各ピクセルにおけるYUV形式で示されている入力画像データのピクセルを、RGB形式のデータに、変換する。
すなわち、第3色変換部2は、処理バッファ11から、順次、入力画像データのピクセルのデータを読み出し、読み出した各ピクセルにおけるYUV形式で示されているピクセルのデータを、RGB形式のデータに変換する。
そして、第3色変換部2は、RGB形式に変換した各ピクセルの色成分(R、G、B)のデータを、第1画像バッファ9に対し、それぞれ対応するピクセルのアドレスに書き込む。
第3色変換部2は、1画面分の入力画像データの全ピクセルにおけるYUV形式からRGB形式のデータへの変換が終了すると、処理をステップS6へ進める。
【0083】
ステップS6:
次に、デジタルゲイン調整部7は、第1画像バッファ9から、順次、入力画像データの各ピクセルにおける色成分の階調度を読み出し、読み出した各色成分の画素の階調度に対し、それぞれ設定されたデジタルゲインを乗算する。
そして、デジタルゲイン調整部7は、各色成分に対するデジタルゲインの乗算結果を、ピクセルにおける各色成分の新たな階調度とし、この求めた新たな階調度を、第1画像バッファ9に対して、処理したピクセルのアドレスに書き込む。
第3色変換部2は、1画面分の入力画像データの全ピクセルにおける色成分の画素の階調度に対するデジタルゲイン調整が終了すると、処理をステップS7へ進める。
【0084】
ステップS7:
次に、第2ガウシアンフィルタ5は、第1画像バッファ9に書き込まれた入力画像データのピクセルの各色成分の画素の階調度を、処理対象ピクセルを中心とした3×3ピクセルのカーネル単位で読み出す。
そして、第2ガウシアンフィルタ5は、第1ガウシアンフィルタ4と同様の処理により、入力画像データの各ピクセルを順次、処理対象ピクセルとして、入力画像データにおける全ピクセルの平滑化処理を行い、ぼかし画像の生成を行う。
また、第2ガウシアンフィルタ5は、処理対象ピクセルにおける色成分毎に平滑化処理を行い、処理が終了した処理対象ピクセルを処理バッファ11に書き込む。
第2ガウシアンフィルタ5は、1画面分の入力画像データの平滑化が終了すると、処理をステップS8へ進める。
【0085】
ステップS8:
次に、強調フィルタ8は、設定されている局所領域のピクセル構成単位に、処理対象ピクセルを含む入力画像データのピクセルのデータを、処理バッファ11から順次読み出す。
例えば、range1=1、range2=1の場合、すなわち図9に示す局所領域の構成の場合、強調フィルタ8は、処理バッファ11から、処理対象ピクセルの各色成分のデータ(R5、G5、B5)を読み出す。
また、強調フィルタ8は、上下及び左右にて処理対象ピクセルに隣接するピクセルの各色成分のデータ(R2、R4、R6、R8、G2、G4、G6、G8、B2、B4、B6、B8)の各々を、処理バッファ11から読み出す。
また、強調フィルタ8は、斜め方向で処理対象ピクセルに隣接するピクセルの各色成分のデータ(R1、R3、R7、R9、G1、G3、G7、G9、B1、B3、B7、B9)の各々を、処理バッファ11から読み出す。
【0086】
そして、強調フィルタ8は、処理対象ピクセルにおける色成分毎に輪郭強調処理を行い、処理が終了した処理対象ピクセルを第1画像バッファ9に書き込む。
強調フィルタ8は、入力画像データが表示画面に表示される際、各ピクセルが2次元平面において配置される位置に対応し、局所領域を1ピクセルずつ、表示装置104の表示画面の走査線方向あるいは走査線の配置方向に移動させる。
すなわち、強調フィルタ8は、入力画像データの各ピクセルを順次、処理対象ピクセルとして、入力画像データにおける全ピクセルの平滑化処理を行い、輪郭強調処理を行い出力画像データの生成を行う。強調フィルタ8は、1画面分の入力画像データの輪郭強調処理が終了すると、次の1画面の網目模様の模様線の信号強度を低減する処理を行うため、処理をステップS1へ進める。
【0087】
また、図2における画像データ補正装置103の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、ファイババンドルを介して撮像装置で撮像される画像に含まれる網目模様の模様線の信号強度を低減する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0088】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0089】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0090】
1…第1色変換部、2…第2色変換部、3…第3色変換部、4…第1ガウシアンフィルタ、5…第2ガウシアンフィルタ、6…メディアンフィルタ、7…デジタルゲイン調整部、8…強調フィルタ、9…第1画像バッファ、10…第2画像バッファ、11…処理バッファ、12…記憶部、101…ファイババンドル、102…撮像装置、103…画像データ補正装置、104…表示装置。
【技術分野】
【0001】
本発明は、ファイババンドルにより伝達された画像における網目模様の低減を行う画像補正装置、画像補正方法及び内視鏡装置に関する。
【背景技術】
【0002】
近年、複数の光ファイバ(例えば数百本から数万本の光ファイバ)を束ねたファイババンドル(またはバンドルファイバ)からなるファイバスコープが医療分野あるいは工業分野において内視鏡などで多用されている。
光ファイバは、光を伝送するコア部と、このコア部の外周面に接する光を伝送しないクラッド部から構成されている。このクラッド部は、光を伝送しない光非伝送部であり、また、光ファイバを束ねた構成における光ファイバ間も光を伝送しないため光非伝送部の一部となる。
このため、ファイバスコープの伝送する画像には、上述した光非伝送部において光が伝送されないため、光非伝送部に相当する領域の画像情報が欠落する。そのため、この画像情報が欠落した領域が網目模様の網部分(すなわち網目模様の網目の糸に相当する線、以下、模様線)として存在する。
【0003】
このファイババンドルからなるファイバスコープをテレビカメラに装着し、被写体の画像を撮像し、撮像した画像により被写体を観察する場合、画像に対して網目模様が存在すると、被写体の画像が見づらくなってしまう。
例えば、医療分野における医療用内視鏡に対し、このファイバスコープを用いて、重要な患部を被写体として撮像し、撮像した画像を用いて診断を行う場合、上述の網目模様の存在が、患部の観察を妨げる要因となる。
【0004】
このため、画像における上述した網目模様を低減するため、意図的にテレビカメラの光学系でフォーカスをずらすデフォーカスを行い、画像全体をぼかし、網目模様を目立たなくする処理が行われる。
また、観察対象を撮像するテレビカメラの光学系に対して、光学的なローパスフィルタ(LPS:Low pass filter)を挿入するなどし、画像を意図的にぼかすことにより、網目模様を目立たなくする処理が行われることもある。
このデフォーカスや光学系へのローパスフィルタの挿入による画像全体のぼかし処理により、画像における網目模様の模様線の信号強度を低減させ、網目模様を目立ち難くすることが行われている。
【0005】
また、撮像した画像に対して画像処理を行い、画像における網目模様を低減する方法も用いられている。
例えば予めファイバスコープの網目模様を位置座標として記憶しておき、この位置座標の画像情報を隣接する画像情報により補完する方法がある(例えば、特許文献1、特許文献2を参照)。
【0006】
また、ファイバスコープを機械的に、画像面に対して平行方向に所定の幅にて周期振動させ、テレビカメラの受光素子の画素レベルでずらして画像を撮像し、この撮像した画像の各々を、画像処理により模様線部分が除かれるように重ね合わせることにより、模様線部分を互いに補完する方法が提案されている(例えば、特許文献3を参照)。
【0007】
また、ローパスフィルタを用いた画像処理により、網目模様を低減させる方法がある。すなわち、ファイバスコープ及びテレビカメラの組合せ毎に対応し、画像情報を低減する周波数のローパスフィルタを複数設ける。この組合せ毎に対応する周波数は、それぞれ組合せに対応した画像における網目模様の模様線の配置における空間周波数に対応して設定されている。
そして、ファイバスコープを用いて撮像した画像をフーリエ変換し、ファイバスコープ及びカメラの組合せによる模様線に対応した周波数のローパスフィルタを選択する。そして、このローパスフィルタにより、組合せに対応する周波数の情報を低減させ、画像における網目模様を低減させる(例えば、特許文献4を参照)。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平08−242395号公報
【特許文献2】特開平08−191440号公報
【特許文献3】特開2010−284369号公報
【特許文献4】特開2000−350193号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、光学的にデフォーカス処理やローパスフィルタを用い、網目模様を目立ち難くする方法では、画像全体がぼけてしまう。このため、画像における情報の一部が欠損することになり、画像の解像度が大幅に劣化することになる。
【0010】
また、特許文献1及び特許文献2の方法は、予めファイバスコープに対応した網目模様のデータを記憶させておく必要がある。
このため、記憶されていないファイバスコープに対しては、このファイバスコープの網目模様のデータを新たに取得し、取得した後に画像処理装置に記憶させる必要がある。
すなわち、網目模様のデータが設定されていないファイバスコープを用いる場合、煩雑な網目模様のデータの取得処理を行うため、画像処理を行うまでの準備が煩雑となる。
【0011】
また、特許文献3の方法は、ファイバスコープを所定の幅及び周期で振動させるため、高い精度で振動を起こさせる可動部を設けなくてはならない。
したがって、上述した精度の問題から、使用可能なファイバスコープが特定され、種々のファイバスコープに使用できず、汎用性の無い装置となる。
このため、他のファイバスコープに交換する場合、この交換後のファイバスコープに対応した特性の可動部を新たに作成する必要があり、製造コストが増加することになる。
【0012】
また、特許文献4の方法は、周波性特性の異なるフィルタが設けられることにより、異なるテレビカメラとファイバスコープとの組合せに対応することは可能である。
しかしながら、所定の空間周波数の画像情報を低減する場合、網目模様の存在しない領域においても、同様の周波数成分の画像情報が削除される。そのため、全体的に特定の空間周波数を有する画像の情報が劣化してしまう問題がある。
【0013】
本発明は、このような事情に鑑みてなされたもので、ファイババンドルにより構成されたファイバスコープの画像における網目模様を、ファイバスコープの種類によらない汎用性を有し、かつ画像の情報を劣化させずに低減することが可能な画像補正装置、画像補正方法及び内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明の画像補正方法は、ファイババンドルを伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させるステップを含む。
前記ぼかし処理は、前記入力画像に対して第1平滑化フィルタ演算を行い、前記第1平滑化フィルタ演算によって得られる平滑化画像に対してメディアンフィルタ演算を行い、前記メディアンフィルタ演算の結果得られるメディアン画像に対して第2平滑化フィルタ演算を行ってぼかし画像を生成する。
前記第1平滑化フィルタ演算および第2平滑化フィルタ演算では、処理対象ピクセルの周囲の平滑化領域として、前記網目模様の模様線の幅を超えるピクセル数を辺とする矩形領域を用いる。
前記メディアンフィルタ演算は、前記第1平滑化フィルタ演算によって得られる平滑化画像を、輝度画像と色画像に変換した上で輝度画像に対してのみ行う。
前記ぼかし処理は、前記第1平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の各ピクセルに対し、各ピクセルの階調度の制御であるデジタルゲイン調整演算を行うステップを含む。
前記平滑化フィルタ演算では、前記平滑化領域に含まれるピクセルのうち、処理対象ピクセルの階調度に対し第1の係数を乗じ、前記処理対象ピクセル以外のピクセルの階調度に対し前記第1の係数と異なる係数を乗じ、それぞれの乗算結果を加算して、加算結果を前記処理対象ピクセルの新たな階調度とする。
前記デジタルゲイン調整演算では、前記入力画像を構成するピクセルの階調度の平均値を、前記第1の平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の階調度の平均値により除算し、除算結果をデジタルゲインとして、各ピクセルの階調度に乗算する。
前記輪郭強調処理は、前記ぼかし画像を構成するピクセルを順次処理対象ピクセルとし、当該処理対象ピクセルの周囲の輪郭強調領域に含まれる全てのピクセルの階調度の平均値を算出し、前記平均値と、前記処理対象ピクセルの階調度との差分を求め、前記処理対象ピクセルの階調度に対して、それぞれの差分に対して予め設定した係数を乗算した数値を加算し、加算結果を前記処理対象ピクセルの新たな階調度とする。
【0015】
本発明の内視鏡装置は、ファイババンドルと、前記ファイババンドルが伝搬してきた網目模様を含む入力画像を撮像する撮像素子と、前記撮像素子が撮像した前記入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで、前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する画像補正装置と、前記表示画像を表示させる映像表示制御装置とを備える。
本発明の画像補正装置は、ファイババンドルが伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことでぼかし画像を生成するぼかし処理部と、前記ぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する輪郭強調処理を行う輪郭強調部とを備える。
【発明の効果】
【0016】
この発明によれば、ファイババンドルにより構成されたファイバスコープの画像における網目模様の低減処理をデジタル処理により行うため、ファイバスコープの種類によらない汎用性を有している。
また、この発明によれば、ぼかし処理の後に輪郭強調処理を行い、入力画像の画像情報の補完を行うため、入力画像の画像情報の劣化を従来に比較して低減させることができる。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態による画像補正装置を用いた内視鏡装置の構成例を示す概略ブロック図である。
【図2】本発明の実施形態による画像データ補正装置103の構成例を示す概略ブロック図である。
【図3】本発明の実施形態における第1ガウシアンフィルタの処理対象ピクセルにおける色成分毎のカーネルの構成例を示す概念図である。
【図4】カーネルの縦方向と横方向のピクセル数を決定する処理を説明する概念図である。
【図5】本発明の実施形態による医療用内視鏡を用いて撮像した実際の画像における網目模様の模様線の幅とピクセル数との対応を示す図である。
【図6】デジタルゲインによる輝度レベルの調整の必要性を説明する、一ライン方向のピクセルの輝度レベルを示す図である。
【図7】強調フィルタ8による輪郭強調処理を説明する図である。
【図8】輪郭強調処理を行う対象ピクセルを中心とした局所領域を示す図である。
【図9】強調フィルタ8で用いるパラメータがrange1=1及びrange2=1の場合における、ピクセルの色成分毎に対応した局所領域を示す図である。
【図10】強調フィルタ8における輪郭強調処理の結果を示す図である。
【図11】強調フィルタ8のパラメータrange1、dc及びdsを変化させた際の輪郭強調処理の結果を示す図である。
【図12】本実施形態による画像データ補正装置103による網目模様の模様線の信号強度を低減した効果を示す図である。
【図13】本発明の実施形態における画像データ補正装置103の行う網目模様の低減処理の動作例を示すフローチャートである。
【図14】本発明の実施形態におけるメディアンフィルタ6のカーネルの構成例を示す概念図である。
【発明を実施するための形態】
【0018】
以下、図面を参照して、本発明の一実施形態について説明する。図1は、この発明の実施形態による画像データ補正装置を用いた内視鏡装置の構成例を示す概略ブロック図である。この内視鏡装置は、例えば工業用あるいは医療用の利用分野において、測定対象物(被写体)の特定部位の観察などに用いられる。例えば、利用分野が医療用の場合、生体組織の線状に見える構造物(血管や網膜など)を観察するために用いられる。
本実施形態の内視鏡装置は、ファイババンドル101、撮像装置102、画像データ補正装置103及び表示装置104を備えている。
【0019】
撮像装置102は、ファイババンドル101を介して、測定対象物200の表面状態を撮像し、画像データ補正装置103へ出力する。ここで、撮像装置102は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いた撮像素子により、測定対象物200の画像を撮像する。
また、撮像装置102は、撮像素子が撮像した画像を電気信号に光電変換し、RGB(Red、Green、Blue)形式によるディジタル画像の画像データ(入力画像データ)を得る。また、撮像装置102は、このRGB形式の画像データを直接に、または一旦、NTSC(National Television System Committee)方式あるいはPAL(Phase Alternating Line)方式に変換して出力する。
【0020】
ここで、このファイババンドル101は、複数、例えば数百本から数万本の光ファイバ(イメージファイバ)を束ね、その光ファイバの束の両端に端末金具を取り付けて構成された光ファイバスコープである。光ファイバの数は、例えば100〜100000である。
したがって、撮像装置102は、ファイババンドル101を伝搬した光が撮像素子の撮像面で結像されることにより、この像における光の明暗を電荷量に光電変換することで、測定対象物200の表面を撮像する。このため、すでに述べたように、撮像装置102により撮像された画像には、複数の光ファイバを束ねたことにより生じる網目模様が存在する。
網目模様とは、ファイバスコープの伝送する画像において、光非伝送部(クラッド部、および光ファイバどうしの隙間等)に相当する領域によって形成される網目状の模様である。前記光非伝送部に相当する領域は、画像情報が欠落しているか、画像の明度が低いため、他の部分に比べ暗く表示される。この暗く表示された領域は、網目模様の網部分(すなわち網目模様の網目の糸に相当する線、以下、模様線)となる。
【0021】
画像データ補正装置103は、撮像装置102から供給される画像データを入力画像データとし、この入力画像データにおける網目模様の模様線の信号強度を低減し、模様線を目立ち難くして、入力画像データにおける網目模様を低減する画像補正処理を行う。
また、画像データ補正装置103は、入力画像データに対して網目模様を目立ち難くする補正を行った入力画像データを、出力画像データとして表示装置104に対して出力する。
表示装置104は、液晶ディスプレイなどであり、画像データ補正装置103から供給される出力画像データを表示パネルに表示させる。
【0022】
図2は、この発明の実施形態による画像データ補正装置103の構成例を示す概略ブロック図である。この画像データ補正装置103は、第1色変換部1、第2色変換部2、第3色変換部3、第1ガウシアンフィルタ4、第2ガウシアンフィルタ5、メディアンフィルタ6、デジタルゲイン調整部7、強調フィルタ8、第1画像バッファ9、第2画像バッファ10、処理バッファ11及び記憶部12を備えている。第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5は、平滑化フィルタである。
以下、各部の行う処理の説明を行う。
【0023】
第1色変換部1は、撮像装置102から供給されるNTSC方式あるいはPAL方式の画像データを、入力画像データとして読み込む。また、第1色変換部1は、読み込んだ入力画像データをRGB形式の画像データに変換し、第1画像バッファ9または第2画像バッファ10に書き込んで記憶する。本実施形態においては、画像データがカラーであるとして、RGB形式を用いて説明するが、本発明は単色のグレースケールの画像データの網目模様の模様線の低減にも適用することができる。
ここで、第1色変換部1が撮像素子102から供給される入力画像データを、NTSC方式からRGB形式に変換し、第1画像バッファ9に書き込んでいる場合、第2画像バッファ10に直前に書き込まれた入力画像データの補正処理を行うことができる。
また、撮像装置102が出力する画像データがRGB形式であれば、第1色変換部1を設ける必要がない。その場合には、撮像装置102は、直接に、撮像した画像データを第1ガウシアンフィルタ4へ、入力画像データとして供給する。
【0024】
第1画像バッファ9、第2画像バッファ10及び処理バッファ11の各々は、表示装置104の表示画面に表示される一画面(1フレーム)分の入力画像データにおけるピクセルのデータを格納する。ここで、1ピクセルは画像の表示単位であり、色成分R(レッド)、G(グリーン)及びB(ブルー)の3個の画素から構成されている。この色成分毎の画素は、信号強度がデータとしての階調度により示される。
【0025】
第1ガウシアンフィルタ4は、デジタルフィルタ演算により、入力画像データを構成するピクセルにおける色成分の各画素の平滑化処理を行い、ぼかし画像の生成を行う。
ここで、第1ガウシアンフィルタ4は、本実施形態において、平滑化を行う処理対象ピクセルを中心としたカーネルを用いて、入力画像データの各ピクセルのデータの平滑化処理を行う。ここで、カーネルは、処理対象ピクセルが中心に配置され、一辺を複数のピクセルとした矩形領域、例えば一辺を3ピクセルとした3×3ピクセルからなる矩形領域であり、処理対象ピクセルのフィルタ処理を行う複数の周辺のピクセルの範囲を示している。
第1ガウシアンフィルタ4は、このカーネルを1ピクセル単位で、入力画像データを表示画面に表示させる際の2次元平面(x軸及びy軸からなる平面)内で、走査線方向(x軸方向)あるいは走査線の配列方向(y軸方向)に移動させる。第1ガウシアンフィルタ4は、位置ピクセル移動する毎に、処理対象ピクセルにおける色成分(R、G、B)毎の階調度の移動平均を算出する。
【0026】
第2ガウシアンフィルタ5は、デジタルゲイン調整部7が輝度レベルの制御(後述)を行った後、第1ガウシアンフィルタ4と同様に、デジタルフィルタ演算により、入力画像データのピクセルにおける色成分の画素の階調度の平滑化処理を行う。
【0027】
第2色変換部2は、各ピクセルにおけるRGB形式で示されている画素の階調度を、以下の式を用いてY(輝度信号)U(色差信号、B−Y)V(色差信号、R−Y)形式のデータに、一旦変換する。
Y=0.299×R + 0.587×G + 0.114×B
U=−0.169×R − 0.331×G + 0.500×B
V=0.500×R − 0.419×G − 0.081×B
【0028】
第3色変換部3は、処理対象ピクセルのY信号のデータ、U信号のデータ及びV信号のデータを、以下の式に代入し、YUV形式からRGB形式に変換する。
R=1.000×Y + 1.402×V
G=1.000×Y − 0.344×U − 0.714×V
B=1.000×Y + 1.772×U
【0029】
メディアンフィルタ6は、処理対象ピクセルが中心に配置された複数のピクセルからなる矩形領域のカーネルを用い、デジタルフィルタ演算を用いたメディアンフィルタ処理を行う。ここで、メディアンフィルタ6は、カーネル内におけるピクセルから、第3色変換部3が求めたY信号のデータが中央値であるピクセルを検出する。すなわち、メディアンフィルタ6は、デジタルフィルタ演算を用いたメディアンフィルタ処理により、入力画像データにおけるカーネルで選択されたピクセルから、Y信号のデータが中央値のピクセルの検出を行う。例えば、メディアンフィルタ6は、カーネル内のピクセルの各々のY信号のデータの大小を比較するソート処理などにより、Y信号のデータが中央値のピクセルを検出する。
また、メディアンフィルタ6は、メディアンフィルタ処理により検出したピクセルのY信号のデータ(カーネル内における中央値のY信号のデータ)を、処理対象ピクセルの新たなY信号のデータとする。
上述した輝度信号のみに対するメディアンフィルタ処理により、RGB形式の各色成分ごとに行う場合のように、入力画像データにおける色情報を損なうことなく、第1ガウシアンフィルタ4で除去しきれない孤立点(ノイズなど)を低減することができる。この孤立点とは、輝度レベルが周辺の他のピクセルに比較して著しく高い、あるいは著しく低い輝度レベルを有するピクセルである。
【0030】
デジタルゲイン調整部7は、メディアンフィルタ6のメディアンフィルタ処理した入力画像データの各ピクセルにおけるRGB形式の色成分の各々にデジタルゲインを乗じて、入力画像データのピクセルの輝度レベルを全体的に増加させる。
すなわち、第1ガウシアンフィルタ4による平滑化処理と、メディアンフィルタ6によるメディアンフィルタ処理とに起因する全体的な輝度レベル低下を抑制するため、デジタルゲイン調整部7は、上述した輝度レベルの制御を行う。
【0031】
強調フィルタ8は、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5による2度の平滑化処理と、メディアンフィルタ6による孤立点の除去処理とにより情報が劣化した入力画像データにおける絵柄の輪郭部の情報の再生を行う。すなわち、強調フィルタ8は、デジタルフィルタ演算により、上述した2度の平滑化処理とメディアンフィルタ処理とのぼかし処理により得られたぼかし画像における絵柄(生体組織の線状に見える構造物など)を構成するピクセル(各色成分毎の階調度)に対する輪郭強調処理を行う。
【0032】
上述した画像データ補正装置103において、第1ガウシアンフィルタ4による平滑化処理、メディアンフィルタ6による孤立点除去処理、デジタルゲイン調整部7によるゲイン調整、第2ガウシアンフィルタ5による平滑化処理、強調フィルタ8による輪郭強調処理の順番で、網目模様の網用線の信号強度の低減が行われ、網目模様を目立たなくさせる処理が行われる。
【0033】
<第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5による平滑化処理>
以下の説明は、第1ガウシアンフィルタ4を用いて説明するが、第2ガウシアンフィルタ5における入力画像データの平滑化処理も同様に行う。
図3は、本発明の実施形態における第1ガウシアンフィルタの処理対象ピクセルにおける色成分毎のカーネルの構成例を示す概念図である。
ここで、図3(a)は、RGB形式におけるR(レッド)に対するカーネルを示しており、このカーネルにおけるR5が処理対象ピクセルの色成分Rの画素である。
第1ガウシアンフィルタ4は、移動平均を求める際、カーネルにおいて、処理対象ピクセルの色成分Rの画素のデータ(R5)と、上下及び左右にて隣接するピクセルの色成分Rの画素のデータ(R2、R4、R6、R8)と、斜め方向で隣接するピクセルの色成分Rの画素のデータ(R1、R3、R7、R9)との各々に、予め設定された係数を乗じる。すなわち、第1ガウシアンフィルタ4は、以下の式により、処理対象ピクセルにおける色成分Rの画素の階調度を算出する。以下、画素の番号と、画素のデータである階調度とを同一として説明する。
R=R5×rISGAUSC1+(R2+R4+R6+R8)×rISGAUSC2
+(R1+R3+R7+R9)×rISGAUSC3 ・・・(1)
【0034】
この(1)式において、画素R5の階調度に乗ずる係数をrISGAUSC1とし、画素R2、R4、R6、R8の階調度に乗ずる係数をrISGAUSC2とし、画素R1、R3、R7、R9の階調度に乗ずる係数をrISGAUSC3としている。
【0035】
また、図3(b)は、RGB形式におけるG(グリーン)に対するカーネルを示しており、このカーネルにおけるG5が処理対象ピクセルの色成分Gの画素である。
第1ガウシアンフィルタ4は、移動平均を求める際、カーネルにおいて、処理対象ピクセルの色成分Gの画素のデータ(G5)と、上下及び左右にて隣接するピクセルの色成分Gの画素のデータ(G2、G4、G6、G8)と、斜め方向で隣接するピクセルの色成分Gの画素のデータ(G1、G3、G7、G9)との各々に、予め設定された係数を乗じる。すなわち、第1ガウシアンフィルタ4は、以下の式により、処理対象ピクセルにおける色成分Gの画素の階調度を算出する。
G=G5×rISGAUSC1+(G2+G4+G6+G8)×rISGAUSC2
+(G1+G3+G7+G9)×rISGAUSC3 ・・・(2)
【0036】
この(2)式において、画素G5の階調度に乗ずる係数をrISGAUSC1とし、画素G2、G4、G6、G8の階調度に乗ずる係数をrISGAUSC2とし、画素G1、G3、G7、G9の階調度に乗ずる係数をrISGAUSC3としている。
【0037】
また、図3(c)は、RGB形式におけるB(ブルー)に対するカーネルを示しており、このカーネルにおけるB5が処理対象ピクセルの色成分Bの画素である。
第1ガウシアンフィルタ4は、移動平均を求める際、カーネルにおいて、処理対象ピクセルの色成分Bの画素のデータ(B5)と、上下及び左右にて隣接するピクセルの色成分Bの画素のデータ(B2、B4、B6、B8)と、斜め方向で隣接するピクセルの色成分Bの画素のデータ(B1、B3、B7、B9)との各々に、予め設定された係数を乗じる。すなわち、第1ガウシアンフィルタ4は、以下の式により、処理対象ピクセルにおける色成分Bの画素の階調度を算出する。
B=B5×rISGAUSC1+(B2+B4+B6+B8)×rISGAUSC2
+(B1+B3+B7+B9)×rISGAUSC3 ・・・(3)
【0038】
この(3)式において、画素B5の階調度に乗ずる係数をrISGAUSC1とし、画素B2、B4、B6、B8の階調度に乗ずる係数をrISGAUSC2とし、画素B1、B3、B7、B9の階調度に乗ずる係数をrISGAUSC3としている。
【0039】
上述した係数rISGAUSC1、rISGAUSC2及びrISGAUSC3の各々は、例えば、予め実機を用い、表示装置104に表示される画像を確認して求めている。すなわち、係数rISGAUSC1、rISGAUSC2及びrISGAUSC3の各々は、最も網目模様が目立たなく、かつ撮像装置102からの画像データの情報が劣化しない数値として実験により求めている。
rISGAUSC1:0.0234375〜0.0625
rISGAUSC2:0.12109375〜0.1171875
rISGAUSC3:0.12109375〜0.1171875
上述した係数は、全ての係数を加算した数値が「1」となるように、設定される。
すなわち、
rISGAUSC1×1+rISGAUSC2×4+rISGAUSC3×4=1
となるように、設定されている。
【0040】
また、rISGAUSC1が「1」に近く、rISGAUSC2及びrISGAUSC3が「0」に近いほど、第1ガウシアンフィルタ4による平滑化処理の後、平滑化された画像は撮像装置102から供給される入力画像データに近い画像となる。一方、rISGAUSC1が「0」に近く、rISGAUSC2及びrISGAUSC3が「1」に近いほど、第1ガウシアンフィルタ4による平滑化処理の後、平滑化された画像は、入力画像データの平滑化が大きく、ぼけた画像となる。
【0041】
また、本実施形態においては、カーネルを3×3の画素グループとしている。しかしながら、このカーネルの構成は、ファイババンドル101と撮像装置102との各々の異なる種類毎の組み合せにより、実機を用いた実験により、以下に示すように決定される。
図4は、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5で用いるカーネルの縦方向と横方向のピクセル数(実際にはピクセル数)を決定する処理を説明する概念図である。
この図4において、カーネルの構成の決定処理を、撮像装置102から供給される入力画像データが、NTSC方式のアナログ信号の場合を例として、以下に説明する。
NTSC方式の解像度は、720ピクセル×486ピクセルである。
【0042】
内視鏡の映像は、通常、図4に示すように、表示装置104(図1参照)の表示画面に対して、少し小さな領域として表示されることになる。内視鏡の映像の表示領域は、ファイババンドル101の径と、撮像装置102の撮像素子の撮像面積とから決定される。すなわち、ファイババンドル101を伝搬した光は、撮像装置102の撮像面500に対し、図4の領域501の領域に照射されることになる。
撮像装置104の表示画面が4:3の比率に対し、この表示画面における領域500の比を加えると、4:3:α(1≦α≦1.5)となる。
また、領域501における、ファイババンドル101が光として伝搬する測定対象200の画像を拡大すると、この画像には領域Sに示すように網目模様が存在している。
【0043】
網目模様における模様線の幅は、撮像装置102の撮像素子の撮像面に照射される領域501の径と、この領域501内における光ファイバの数、すなわちファイババンドル101を構成する光ファイバの数とに依存する。
例えば、光学系で撮像面に撮像される画像をより拡大させ、領域501内における光ファイバの数をより少なくすると、網目模様の模様線の幅が太く(幅が広く)なる。一方、光学系で撮像面に撮像される画像をより縮小させ、領域501内に光を照射する光ファイバの数をより多くするほど、網目模様の模様線の幅が細く(幅が狭く)なる。このように、ピクセルからなる撮像面に撮像された画像において、網目模様の模様線の幅が、いくつのピクセルにまたがる幅となるかにより、カーネルのピクセルグループの数が決定される。
一例として、一般的にファイババンドル101を構成する光ファイバの数が3000以上であるため、以下領域501内に光を照射する光ファイバの数を3000として、領域501内における網目模様の模様線の幅を換算してみる。
【0044】
領域500の径の比(α)を1.5とすると、直径方向に含まれるピクセル数は、NTSC方式の解像度720×486から、以下の数値となる。
水平方向(x軸方向)のピクセル数: 720×(1.5/4)=270
水平方向(y軸方向)のピクセル数: 486×(1.5/3)=243
また、領域500における直径方向に含まれる光ファイバの数は、等価的に、以下の式により算出することができる。
直径方向の光ファイバの数: (3000/π)×2≒62
【0045】
ここで、すでに述べたように、ファイババンドル101を構成する光ファイバは、画像を光として伝搬するコア部と、このコア部の外周に設けられたクラッド部とから構成されている。入力画像データにおける網目模様の模様線は、ファイババンドルとして光ファイバを融合している部分、すなわち隣接する光ファイバのコア部の間にあるクラッド部あるいは隙間などの光を伝搬しない部分に相当する。
【0046】
光ファイバにおけるコア部の径に対するクラッド部の径の比は、通常、1.5から2.0の範囲になっている。この径の比を用いて、領域501内における画像の網目模様の模様線の幅をピクセル数として算出すると、以下のように求められる。ここで、径の比が大きくなるほど模様線の幅が大きくなるため、径の比を2.0として用いる。
水平方向の模様線の幅: (270/62)×(1−1/2)=2.2
垂直方向の模様線の幅: (243/62)×(1−1/2)=2.0
【0047】
上述した結果から、上述した条件の場合には、領域501内における画像データの網目模様の模様線の幅が、2.2ピクセル以下であることが求まる。ここで、上述した計算は、隣接する個別の光ファイバの集合体を仮定して行っているが、実際のイメージファイバでは各光ファイバが一体化された形で成型されているため、各光ファイバ間の隙間は個別ファイバの集合体とは必ずしも一致しないことを考慮して、本実施形態における模様線の幅を2.5ピクセルと設定した。
このピクセル数が2.5ピクセル以上の最小の整数値は3である。このため、本実施形態においては、演算処理の高速化を考慮し、第1ガウシアンフィルタ4におけるカーネルの縦方向と横方向のピクセル数(カーネルサイズ)を3ピクセルと決定した。
すなわち、カーネルを構成するピクセル数を増加させることにより、フィルタ演算の負荷が増加し、一時記憶を行うメモリ容量も増加するため、画像補正装置のコストを増大させることになる。このため、模様線の幅のピクセル数以上の整数値とし、カーネルを構成するピクセル数を必要最小限とすることが望ましい。したがって、カーネルは、網目模様の模様線の幅を超える画素数を辺とする矩形領域として設定される。
【0048】
次に、図5は、本発明の実施形態による医療用内視鏡を用いて撮像した実際の画像における網目模様の模様線の幅とピクセル数との対応を示す図である。
撮像装置102の条件としては、NTSC方式における解像度720×486(ピクセル)、ファイババンドル101を構成する光ファイバ数が3000、表示装置104の表示画面500の縦方向の幅と、横方向の幅と、領域501の径との比が4:3:1.5である。領域501内の領域Pの拡大図において、四角形Cが1ピクセルの大きさを示している。領域Pの拡大図において、所定の横方向の1ライン分の各ピクセルの輝度レベルを示す強度が実線で示されている。この1ラインに存在するピクセルの輝度レベルのベースレベルが一点鎖線で示されている。このベースライン以下の輝度部分を有するピクセルを模様線の幅に相当するとした場合、図5からも模様線の幅は2ピクセル以上であり、かつ2.5ピクセル以下であると読み取ることができる。図5において、模様線の幅を示す中括弧が示された部分のピクセルを点線(破線)で示してある。
【0049】
また、第2ガウシアンフィルタ5が行う平滑化処理は、第1ガウシアンフィルタ4が行う平滑化処理と同様の構成のカーネルを用いて行う。
この第2ガウシアンフィルタ5において、平滑化処理で使用される各ピクセルの色成分に乗算する係数rISGAUSC1、rISGAUSC2及びrISGAUSC3の各々は、第1ガウシアンフィルタ4と同様でも良い。
また、第2ガウシアンフィルタ5に対して、第1ガウシアンフィルタ4と同様に、実機による実験により独自に求めた数値としても良い。
上述した第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5におけるカーネルの構成、係数rISGAUSC1、rISGAUSC2及びrISGAUSC3を、異なる種類のファイババンドル101及び撮像装置102の各々の組合せ毎に設定してもよい。
【0050】
<デジタルゲインによる輝度レベルの調整>
図6は、デジタルゲインによる輝度レベルの調整の必要性を説明する、表示装置104の表示画面における走査線の一ライン方向に配置されるピクセルの輝度レベルを示す図である。この図6において、横軸はある一ライン(表示装置104に表示される際の走査線方向)におけるピクセルの位置を示し、縦軸は各ピクセルの輝度レベルを示している。
図に示すように、入力画像データの平滑化処理を行う前の輝度レベルに比較して、第1ガウシアンフィルタ4の平滑化処理後の入力画像データにおける各ピクセルの輝度レベル(第1平滑化処理後輝度レベル)が低下する。
また、第1ガウシアンフィルタ4の平滑化処理による第1平滑化処理後輝度レベルに比較して、第2ガウシアンフィルタ5の平滑化処理後の入力画像データにおける各ピクセルの輝度レベル(第2平滑化処理後レベル)がより低下する。
すなわち、ガウシアンフィルタを用いた平滑化処理を行うごとに、出力画像データの各ピクセルの輝度レベルが低下していくことになる。
【0051】
このため、デジタルゲイン調整部7は、入力画像データの各ピクセルの輝度レベルを回復するためのデジタルゲイン調整を行う。
ここで、デジタルゲイン調整部7が乗算するデジタルゲインは、入力画像データのピクセルにおけるRGB形式の色成分毎に乗算される数値であり、以下のように設定される。
例えば、実機において、複数の入力画像データを用い、入力画像データ毎に全ピクセルにおけるRGB形式の色成分毎の階調度の平均値AV1を算出する。そして、さらに複数の入力画像データの平均値AV1の平均値AAV1を求める。
また、第1ガウシアンフィルタ4による平滑化処理、及びメディアンフィルタ6によるメディアンフィルタ処理が行われた後、入力画像データ毎の全ピクセルにおけるRGB形式の色成分毎の階調度の平均値AV2を算出する。そして、さらに複数の入力画像データの平均値AV2の平均値AAV2を求める。
そして、平均値AAV1を平均値AAV2で除算し、除算結果の数値をデジタルゲインとして用いる。
【0052】
ここで、上述のように、デジタルゲインを予め計算し、計算したデジタルゲインを記憶部12に予め書き込んで記憶させておく。
そして、デジタルゲイン調整部7は、入力画像データのデジタルゲイン調整を行う際、記憶部12からデジタルゲインを読み出し、各ピクセルにおける色成分毎に乗算するデジタルゲイン調整により、入力画像データの輝度レベルの制御を行う。
【0053】
また、以下のように、デジタルゲイン調整部7を構成しても良い。
すなわち、デジタルゲイン調整部7は、第1ガウシアンフィルタ4による平滑化処理と、メディアンフィルタ6によるメディアンフィルタ処理とが行われた後、平均値AV1及び平均値AV2を算出する。
そして、デジタルゲイン調整部7は、平均値AV1を平均値AV2により除算し、デジタルゲインを求め、各ピクセルにおける色成分毎に乗算するデジタルゲイン調整により、入力画像データの輝度レベルの制御を行う。この場合、デジタルゲインが現在処理している入力画像に最適なものとなるため、予め設定されたデジタルゲインを使用する場合に比較し、より精度の高いデジタルゲイン調整を行うことができる。
【0054】
また、例えば、入力画像データの補正処理を行いつつ、実機による表示装置104に表示される出力画像の確認を行い、この確認結果から求めた数値とし、デジタルゲインを1から1.4の間に設定し、予め記憶部12に書き込んで記憶させておいても良い。
この場合、デジタルゲイン調整部7は、デジタルゲイン調整を行う際に、記憶部12からデジタルゲインを読み出して用いる。
上述したデジタルゲインの数値を、異なる種類のファイババンドル101及び撮像装置102の各々の組合せ毎に設定してもよい。
【0055】
<強調フィルタ8による輪郭強調処理>
図7は、強調フィルタ8による輪郭強調処理を説明する図である。この図7において、横軸はある一ラインにおけるピクセルの位置を示し、縦軸は各ピクセルの輝度レベル(または各色成分の階調度)を示している。
また、Area0は網目模様の存在する網目付近の領域であり、Area1は入力画像データにおける絵柄の中心付近の領域であり、Area2は絵柄の端部付近の領域である。
強調フィルタ8は、上述した各領域において、領域の各々のピクセルにおける色成分毎の階調度の平均値を求め、この平均値と各ピクセルの色成分の階調度との差分(diff)を求める。
【0056】
次に、図8は、輪郭強調処理を行う対象ピクセルを中心とした局所領域を示す図である。この図8において、range1は輪郭強調処理を行う対象の対象ピクセルの左右方向各々に設けるピクセル数を示し、range2は対象ピクセルの上下方向各々に設けるピクセル数を示している。ここで、平均値を求める範囲を設定するrange1及びrange2のピクセル数は、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5でのカーネルの対象ピクセル数と同様に網目模様の模様線の幅に相当するピクセル数以上とする必要がある。
【0057】
したがって、図8は、range1=3及びrange2=1の場合の局所領域を示している。
この場合、強調フィルタ8は、局所領域における対象ピクセルを含む21個のピクセルにおけるRGB形式の色成分毎の階調度の平均値を算出する。そして、強調フィルタ8は、この求めた平均値と各色成分の画素の階調度との差分を求め、ピクセルにおける色成分毎の画素の輪郭強調処理を行う。
ここで、強調フィルタ8は、この差分が予め設定した規程値(data clear:dc)の範囲内に有る(−dc≦diff≦dc)場合、差分を0とする。すなわち、強調フィルタ8は、差分が規程値の範囲内の数値である場合、元々階調度の差分が周辺の画素に比較して変化が内程度の大きさであったと判定し、処理対象ピクセルのこの色成分の画素の強調処理を行わない。
一方、強調フィルタ8は、差分が予め設定した規程値の範囲外に有る(−dc>diffあるいはdc<diff)場合、差分diffに対し、予め設定されている係数ds(data scaling)を乗算する。すなわち、強調フィルタ8は、差分の絶対値が規程値を超える場合、元々階調度の差分が周辺の画素に比較して大きかったと判定し、処理対象ピクセルのこの色成分の画素の強調処理を行う。
この係数dsは、本実施形態においては例えば1から3の間に設定しているが、実験による強調処理の結果を確認して適時設定する。また、規程値dcも、本実施形態においては例えば0から3の間に設定しているが、実験による強調処理の結果を確認して適時設定する。
そして、強調フィルタ8は、対象ピクセルにおける色成分の元の階調度に対し、係数dsと差分diffとの乗算結果を加算し、加算結果を処理対象ピクセルにおける色成分の画素の新たな階調度とする。
【0058】
次に、図9は、強調フィルタ8で用いるパラメータがrange1=1及びrange2=1の場合における、ピクセルの色成分毎に対応した局所領域の構成を示す図である。図9(a)がRGB形式におけるR(レッド)の色成分の画素に対する局所領域の構成を示し、この局所領域における画素R5が処理対象ピクセルの色成分Rの画素である。図9(b)がRGB形式におけるG(グリーン)の色成分の画素に対する局所領域の構成を示し、この局所領域における画素G5が処理対象ピクセルの色成分Gの画素である。図9(c)がRGB形式におけるB(ブルー)の色成分の画素に対する局所領域の構成を示し、B5が処理対象ピクセルの色成分Rの画素である。以下、画素を示す符号を階調度とし、強調フィルタ8が行う輪郭強調処理のフィルタ計算を説明する。
強調フィルタ8は、図9に示すrange1=1及びrange2=1の局所領域を用いた場合、以下に示す計算式群により、処理対象ピクセルにおける各色成分の輪郭強調処理を行う。
【0059】
強調フィルタ8は、局所領域における各ピクセルの色成分毎の階調度の平均値を算出する。下記の式で、Raveが局所領域における各ピクセルの色成分Rの階調度の平均値であり、Gaveが局所領域における各ピクセルの色成分Gの階調度の平均値であり、Baveが局所領域における各ピクセルの色成分Bの階調度の平均値である。
Rave=(R1+R2+R3+R4+R5+R6+R7+R8)/9
Gave=(G1+G2+G3+G4+G5+G6+G7+G8)/9
Rave=(R1+R2+R3+R4+R5+R6+R7+R8)/9
【0060】
次に、強調フィルタ8は、以下に示す式により、処理対象ピクセルにおける各色成分の階調度から、局所領域におけるピクセルの色成分毎の平均値を減算する。
そして、強調フィルタ8は、上述した減算により、処理対象ピクセルにおける各色成分の階調度と、局所領域におけるピクセルの色成分毎の平均値との差分を求める。
diffR=R5−Rave
diffG=B5−Bave
diffB=B5−Bave
ここで、diffRは処理対象ピクセルにおける色成分Rの階調度と、局所領域におけるピクセルの色成分Rの平均値との差分(diff)である。diffGは処理対象ピクセルにおける色成分Gの階調度と、局所領域におけるピクセルの色成分Gの平均値との差分(diff)である。diffBは処理対象ピクセルにおける色成分Bの階調度と、局所領域におけるピクセルの色成分Bの平均値との差分(diff)である。
【0061】
次に、強調フィルタ8は、以下に示す式により、対象ピクセルにおける各色成分の差分の絶対値を算出する。以下の式におけるabs(X)は、Xの絶対値を求める関数である。
Rofs=abs(diffR)
Gofs=abs(diffG)
Rofs=abs(diffB)
ここで、Rofsは対象ピクセルにおける差分diffRの絶対値であり、Gofsは対象ピクセルにおける差分diffGの絶対値であり、Bofsは対象ピクセルにおける差分diffBの絶対値である。
【0062】
次に、強調フィルタ8は、差分diffRの絶対値Rofsが予め設定した規程値dc以下か否かの判定を行い、規程値dc以下である場合、すなわち規程値dcの範囲内に有る(−dc≦diffR≦dc)場合、差分diffRを0とする。
一方、強調フィルタ8は、差分diffRの絶対値Rofsが規程値dc以下でない(規程値dcを超える)場合、すなわち規程値dcの範囲内にない(−dc>diffRあるいはdc<diffR)場合、差分diffRに対し、係数dsを乗算し、乗算結果を新たな差分diffRとする。
そして、強調フィルタ8は、処理対象ピクセルの色成分の階調度R5に対して、差分diffRを加算し、加算結果を処理対象ピクセルの色成分の階調度R5の画素の新たな階調度とする。
【0063】
同様に、強調フィルタ8は、差分diffGの絶対値Gofsが予め設定した規程値dc以下か否かの判定を行い、規程値dc以下である場合、すなわち規程値dcの範囲内に有る(−dc≦diffG≦dc)場合、差分diffGを0とする。
一方、強調フィルタ8は、差分diffGの絶対値Gofsが規程値dc以下でない場合、すなわち規程値dcの範囲内にない(−dc>diffGあるいはdc<diffG)場合、差分diffGに対し、係数dsを乗算し、乗算結果を新たな差分diffGとする。
そして、強調フィルタ8は、処理対象ピクセルの色成分の階調度G5に対して、差分diffGを加算し、加算結果を処理対象ピクセルの色成分の階調度G5の画素の新たな階調度とする。
【0064】
また、強調フィルタ8は、差分diffBの絶対値Bofsが予め設定した規程値dc以下か否かの判定を行い、規程値dc以下である場合、すなわち規程値dcの範囲内に有る(−dc≦diffB≦dc)場合、差分diffBを0とする。
一方、強調フィルタ8は、差分diffBの絶対値Bofsが規程値dc以下でない場合、すなわち規程値dcの範囲内にない(−dc>diffBあるいはdc<diffB)場合、差分diffBに対し、係数dsを乗算し、乗算結果を新たな差分diffBとする。
そして、強調フィルタ8は、処理対象ピクセルの色成分の階調度B5に対して、差分diffBを加算し、加算結果を処理対象ピクセルの色成分の階調度B5の画素の新たな階調度とする。
【0065】
次に、図10は、強調フィルタ8における輪郭強調処理の結果を示す図である。この図10において、規程値dsを適切に設定し、輪郭強調処理を行うことにより、差分の絶対値Bofsが規程値dc以下でない領域が存在するため、絵柄領域の絵柄の輪郭が強調される。
一方、差分の絶対値Bofsが規程値dc以下でない領域が存在しないため、網目模様領域における模様線の輪郭が強調されていないことが判る。
上述した強調フィルタ8におけるrange1、range2、規程値dc、係数dsの各々の数値を、異なる種類のファイババンドル101及び撮像装置102の各々の組合せ毎に設定してもよい。
【0066】
<強調フィルタ8における輪郭強調処理に用いるパラメータの評価>
図11は、強調フィルタ8のパラメータrange1、dc及びdsを変化させた際の輪郭強調処理の結果を示す図である。画像0−0、1−0及び2−0は同様の画像であり、すでに説明した平滑化処理及び孤立点除去の処理が終了した入力画像データである。
この図11において、グループ0は、range1=1、range2=1として、9個からなるピクセルで構成された局所領域で平均値の計算を行ったグループである。
また、グループ1は、range1=4、range2=1として、27個からなるピクセルで構成された局所領域で平均値の計算を行ったグループである。
また、グループ2は、range1=8、range2=1として、51個からなるピクセルで構成された局所領域で平均値の計算を行ったグループである。
【0067】
グループ0、グループ1及びグループ2において、各グループ間での平均値はrange1(あるいはrange2)を大きくするに従い、局所領域内における平均値と各ピクセルの色成分の階調度との差分diffがより大きくなるため、輪郭強調の効果が大きくなることが解る。
例えば、規程値dc=1、係数ds=1の輪郭強調のために加算される差分diffを比較してみると、range1=1の画像0−1に比較し、range1=4の画像1−1Aがより大きく、range1=8の画像2−1Aがさらに高いことが、図のコントラストから解る。
【0068】
また、画像0−0に対し、差分の画像0−1を重ねた結果(元のピクセルにおける色成分各々の階調度に対し、対応する差分diffを加算して生成した結果)として、輪郭が強調された画像0−2が得られる。
同様に、画像1−0に対し、差分の画像1−1Aを重ねた結果として、輪郭が強調された画像1−2Aが得られる。
画像2−0に対し、差分の画像2−1Aを重ねた結果として、輪郭が強調された画像2−2Aが得られる。
上述のように生成した画像0−2、1−2A及び2−2Aを比較すると、画像0−2に比較して、画像1−2Aのコントラストがより強く、さらに画像1−2Aに比較して、画像2−2Aのコントラストがより強いことが解る。
【0069】
一方、グループ1において、range1=4、range2=1の場合、すなわち局所領域を生成するピクセル数が同一である場合、画像1−1Aと画像1−1Cとを比較すると、画像1−1Cがよりコントラストが強いことが解る。ここで、画像1−1Aはdc=1及びds=1であり、画像1−1Cは、dc=1及びds=2である。
ここで、画像1−0に対して差分の画像1−1Aを重ねた結果として、輪郭が強調された画像1−2Aが得られる。
また、画像1−0に対して差分の画像1−1Cを重ねた結果として、輪郭が強調された画像1−2Cが得られる。
上述のように生成した画像1−2A及び1−2Cを比較すると、画像1−2Aに比較して、画像1−2Cのコントラストがより強いことが解る。
このように、係数dsの設定値を大きくするほど、より輪郭強調の効果が大きくなり、コントラストをより強くする補正が行えることになる。
【0070】
この効果は、グループ1における画像1−1B(dc=4、ds=1)と、画像1−1D(dc=4、ds=2)とを比較しても、係数dsの設定値を大きくするほど、より輪郭強調の効果が大きくなり、画像1−1Aと画像1−1Cとの比較と同様である。
ここで、画像1−0に対して差分の画像1−1Bを重ねた結果として、輪郭が強調された画像1−2Bが得られる。
また、画像1−0に対して差分の画像1−1Dを重ねた結果として、輪郭が強調された画像1−2Dが得られる。
上述のように生成した画像1−2B及び1−2Dを比較すると、画像1−2Bに比較して、画像1−2Dのコントラストがより強いことが解る。
【0071】
また、画像1−1D(dc=4、ds=2)と、画像1−1E(dc=4、ds=4)とを比較しても、画像1−1Dに比較して画像1−1Eがよりコントラストが強い。
そして、画像1−1Dを画像1−0に重ねた結果として得られる画像1−2Dに比較し、画像1−1Eを画像1−0に重ねた結果として得られる画像1−2Eが、よりコントラストが強いことが解る。
【0072】
次に、グループ1において、係数ds=1として固定し、規程値dcを変化させた場合を検討する。
画像1−1A(dc=1)と、画像1−1B(dc=4)とを比較すると、画像1−1Bに対して、より画像1−1Aのコントラストが強いことが解る。
また、画像1−2A及び1−2Bを比較すると、画像1−2Bに比較して、画像1−2Aのコントラストがより強いことが解る。
【0073】
同様に、係数ds=2として固定し、規程値dcを変化させた場合を検討する。
画像1−1C(dc=1)と、画像1−1D(dc=4)とを比較すると、画像1−1Dに対して、より画像1−1Cのコントラストが強いことが解る。
また、画像1−2C及び1−2Dを比較すると、画像1−2Dに比較して、画像1−2Cのコントラストがより強いことが解る。
【0074】
次に、グループ2において、係数ds=1として固定し、規程値dcを変化させた場合を検討する。
画像2−1A(dc=1)と、画像2−1B(dc=4)とを比較すると、画像2−1Bに対して、より画像2−1Aのコントラストが強いことが解る。
また、画像2−2A及び2−2Bを比較すると、画像2−2Bに比較して、画像2−2Aのコントラストがより強いことが解る。
したがって、上述したように、規程値dcが小さくなるに従い、強調処理の効果が大きくなり、コントラストがより強くする補正が行えることになる。
【0075】
<本実施形態による網目模様の低減処理の効果>
図12は、本実施形態による画像データ補正装置103による網目模様の模様線の信号強度を低減した効果を示す図である。この図12は、NTSCの分解能720×486を処理対象としている。
図12(a)は、撮像装置102から供給される原画像を示す図である。
また、図12(b)は、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5による平滑化処理と、メディアンフィル6による孤立点除去の処理とを行い、かつ強調フィルタ8による輪郭強調処理を行い、網目模様の低減を行った画像を示す図である。ここで、第1ガウシアンフィルタ4及び第2ガウシアンフィルタ5の各々のカーネルを、処理対象ピクセルを中心として含む3×3ピクセルとして用いている。また、強調フィルタ8において、range1=4、range2=1とし、係数dsを2とし、規程値dcを4としている。
図12から解るように、図12(a)における網目模様の黒いドットが、図12(b)においては薄くなり、画像の表面が滑らかな形態となっていることが解る。
【0076】
<本実施形態による画像データ補正装置103の動作説明>
次に、図2及び図13を用いて、本実施形態による画像データ補正装置103における網目模様の模様線の信号強度を低減する処理について説明する。図13は、本発明の実施形態における画像データ補正装置103の行う網目模様の模様線の信号強度の低減処理の動作例を示すフローチャートである。
ステップS1:
第1色変換部1は、撮像装置102から供給されるNTSC方式のアナログの入力画像を、RGB形式のデジタル信号である入力画像データに変換する。
そして、第1色変換部1は、変換後の入力画像データの各ピクセルの色成分のデータ(R、G、B)を、順次、第1画像バッファ9に書き込む。
ここで、第1画像バッファ9及び第2画像バッファ10は、同一の構成である。そして、第1画像バッファ9及び第2画像バッファ10のいずれか一方に第1色変換部1により入力画像データが書き込まれて記憶され、他方に記憶されている入力画像データに対する網目模様の模様線の信号強度を低減する処理が行われている。
この時点においては、例えば、第2画像バッファ10に記憶されている入力画像データに対する網目模様の模様線の信号強度を低減する処理が行われている。
【0077】
ステップS2:
この時点において、第2画像バッファ10に記憶されている入力画像データに対する網目模様の模様線の信号強度を低減する処理が終了し、第1画像バッファ9に対する入力画像データの書き込みが終了する。
これにより、第1色変換部1は、第2画像バッファ9に対し、撮像装置102から供給される新たな一画面の入力画像データの書き込みを開始する。
次に、第1ガウシアンフィルタ4は、第1画像バッファ9に書き込まれた入力画像データのピクセルにおける各色成分の画素の階調度を、処理対象ピクセルを中心とした3×3ピクセルのカーネル単位で読み出す。
【0078】
すなわち、平滑化処理を行う際、第1ガウシアンフィルタ4は、第1画像バッファ9から、処理対象ピクセルにおける各色成分の画素のデータ(R5、G5、B5)を読み出す。
また、第1ガウシアンフィルタ4は、上下及び左右にて処理対象ピクセルに隣接するピクセルにおける各色成分の画素のデータ(R2、R4、R6、R8、G2、G4、G6、G8、B2、B4、B6、B8)の各々を、第1画像バッファ9から読み出す。
また、第1ガウシアンフィルタ4は、斜め方向で処理対象ピクセルに隣接するピクセルにおける各色成分の画素のデータ(R1、R3、R7、R9、G1、G3、G7、G9、B1、B3、B7、B9)の各々を、第1画像バッファ9から読み出す。
【0079】
そして、第1ガウシアンフィルタ4は、処理対象ピクセルにおける色成分毎に平滑化処理を行い、処理が終了した処理対象ピクセルを処理バッファ11に書き込む。
第1ガウシアンフィルタ4は、入力画像データが表示画面に表示される際、各ピクセルが2次元平面において配置される位置に対応し、表示装置104の表示画面の走査線方向あるいは走査線の配置方向に対し、カーネルを1ピクセルずつ移動させる。
すなわち、第1ガウシアンフィルタ4は、上述したように、カーネルを1ピクセルづつ移動させる毎に、入力画像データの各ピクセルを順次、処理対象ピクセルとして、入力画像データにおける全ピクセルの平滑化処理を行い、ぼかし画像の生成を行う。第1ガウシアンフィルタ4は、1画面分の入力画像データの平滑化が終了すると、処理をステップS3へ進める。
【0080】
ステップS3:
次に、第2色変換部2は、入力画像データの各ピクセルにおけるRGB形式で示されている画素の階調度を、YUV形式のデータに変換する。
すなわち、第2色変換部2は、処理バッファ11から、順次、入力画像データのピクセルの各色成分の画素のデータを読み出し、読み出した各ピクセルにおけるRGB形式で示されている画素の階調度を、YUV形式のデータに、変換する。
そして、第2色変換部2は、YUV形式に変換した各ピクセルのY信号、U信号、V信号のデータを、第1画像バッファ9に対し、それぞれ対応するピクセルのアドレスに書き込む。
第2色変換部2は、1画面分の入力画像データの全ピクセルにおけるRGB形式からYUV形式のデータへの変換が終了すると、処理をステップS4へ進める。
【0081】
ステップS4:
次に、メディアンフィルタ6は、第1画像バッファ9から、順次、カーネルサイズである3×3のY信号のデータ(Y1、Y2、Y3、Y4、Y5、Y6、Y7、Y8、Y9)を読み出す。
次に、図14は、本発明の実施形態におけるメディアンフィルタ6のカーネルの構成例を示す概念図である。図14は、YUV形式におけるY信号のデータに対するカーネルを示しており、Y5が処理対象ピクセルである。
メディアンフィルタ処理を行う際、メディアンフィルタ6は、第1画像バッファ9から、処理対象ピクセルのY信号のデータ(Y5)を読み出す。
また、メディアンフィルタ処理を行う際、メディアンフィルタ6は、上下及び左右にて処理対象ピクセルに隣接するピクセルのY信号のデータ(Y2、Y4、Y6、Y8)の各々を、第1画像バッファ9から読み出す。
また、メディアンフィルタ処理を行う際、メディアンフィルタ6は、斜め方向で処理対象ピクセルに隣接するピクセルのY信号のデータ(Y1、Y3、Y7、Y9)の各々を、第1画像バッファ9から読み出す。
そして、メディアンフィルタ6は、読み出したY信号のデータY1からY9における中央値を求め、この中央値を処理対象ピクセルのY信号として、処理バッファ11に対し、処理対象ピクセルのアドレスに書き込む。
メディアンフィルタ8は、1画面分の入力画像データの全ピクセルにおけるメディアンフィルタ処理が終了すると、処理をステップS5へ進める。
【0082】
ステップS5:
次に、第3色変換部3は、入力画像データの各ピクセルにおけるYUV形式で示されている入力画像データのピクセルを、RGB形式のデータに、変換する。
すなわち、第3色変換部2は、処理バッファ11から、順次、入力画像データのピクセルのデータを読み出し、読み出した各ピクセルにおけるYUV形式で示されているピクセルのデータを、RGB形式のデータに変換する。
そして、第3色変換部2は、RGB形式に変換した各ピクセルの色成分(R、G、B)のデータを、第1画像バッファ9に対し、それぞれ対応するピクセルのアドレスに書き込む。
第3色変換部2は、1画面分の入力画像データの全ピクセルにおけるYUV形式からRGB形式のデータへの変換が終了すると、処理をステップS6へ進める。
【0083】
ステップS6:
次に、デジタルゲイン調整部7は、第1画像バッファ9から、順次、入力画像データの各ピクセルにおける色成分の階調度を読み出し、読み出した各色成分の画素の階調度に対し、それぞれ設定されたデジタルゲインを乗算する。
そして、デジタルゲイン調整部7は、各色成分に対するデジタルゲインの乗算結果を、ピクセルにおける各色成分の新たな階調度とし、この求めた新たな階調度を、第1画像バッファ9に対して、処理したピクセルのアドレスに書き込む。
第3色変換部2は、1画面分の入力画像データの全ピクセルにおける色成分の画素の階調度に対するデジタルゲイン調整が終了すると、処理をステップS7へ進める。
【0084】
ステップS7:
次に、第2ガウシアンフィルタ5は、第1画像バッファ9に書き込まれた入力画像データのピクセルの各色成分の画素の階調度を、処理対象ピクセルを中心とした3×3ピクセルのカーネル単位で読み出す。
そして、第2ガウシアンフィルタ5は、第1ガウシアンフィルタ4と同様の処理により、入力画像データの各ピクセルを順次、処理対象ピクセルとして、入力画像データにおける全ピクセルの平滑化処理を行い、ぼかし画像の生成を行う。
また、第2ガウシアンフィルタ5は、処理対象ピクセルにおける色成分毎に平滑化処理を行い、処理が終了した処理対象ピクセルを処理バッファ11に書き込む。
第2ガウシアンフィルタ5は、1画面分の入力画像データの平滑化が終了すると、処理をステップS8へ進める。
【0085】
ステップS8:
次に、強調フィルタ8は、設定されている局所領域のピクセル構成単位に、処理対象ピクセルを含む入力画像データのピクセルのデータを、処理バッファ11から順次読み出す。
例えば、range1=1、range2=1の場合、すなわち図9に示す局所領域の構成の場合、強調フィルタ8は、処理バッファ11から、処理対象ピクセルの各色成分のデータ(R5、G5、B5)を読み出す。
また、強調フィルタ8は、上下及び左右にて処理対象ピクセルに隣接するピクセルの各色成分のデータ(R2、R4、R6、R8、G2、G4、G6、G8、B2、B4、B6、B8)の各々を、処理バッファ11から読み出す。
また、強調フィルタ8は、斜め方向で処理対象ピクセルに隣接するピクセルの各色成分のデータ(R1、R3、R7、R9、G1、G3、G7、G9、B1、B3、B7、B9)の各々を、処理バッファ11から読み出す。
【0086】
そして、強調フィルタ8は、処理対象ピクセルにおける色成分毎に輪郭強調処理を行い、処理が終了した処理対象ピクセルを第1画像バッファ9に書き込む。
強調フィルタ8は、入力画像データが表示画面に表示される際、各ピクセルが2次元平面において配置される位置に対応し、局所領域を1ピクセルずつ、表示装置104の表示画面の走査線方向あるいは走査線の配置方向に移動させる。
すなわち、強調フィルタ8は、入力画像データの各ピクセルを順次、処理対象ピクセルとして、入力画像データにおける全ピクセルの平滑化処理を行い、輪郭強調処理を行い出力画像データの生成を行う。強調フィルタ8は、1画面分の入力画像データの輪郭強調処理が終了すると、次の1画面の網目模様の模様線の信号強度を低減する処理を行うため、処理をステップS1へ進める。
【0087】
また、図2における画像データ補正装置103の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、ファイババンドルを介して撮像装置で撮像される画像に含まれる網目模様の模様線の信号強度を低減する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0088】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0089】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0090】
1…第1色変換部、2…第2色変換部、3…第3色変換部、4…第1ガウシアンフィルタ、5…第2ガウシアンフィルタ、6…メディアンフィルタ、7…デジタルゲイン調整部、8…強調フィルタ、9…第1画像バッファ、10…第2画像バッファ、11…処理バッファ、12…記憶部、101…ファイババンドル、102…撮像装置、103…画像データ補正装置、104…表示装置。
【特許請求の範囲】
【請求項1】
ファイババンドルを伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで前記網目模様を低減し、
前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させる
ステップを含む画像補正方法。
【請求項2】
前記ぼかし処理は、
前記入力画像に対して第1平滑化フィルタ演算を行い、
前記第1平滑化フィルタ演算によって得られる平滑化画像に対してメディアンフィルタ演算を行い、
前記メディアンフィルタ演算の結果得られるメディアン画像に対して第2平滑化フィルタ演算を行ってぼかし画像を生成する
ステップを含む請求項1に記載の画像補正方法。
【請求項3】
前記第1平滑化フィルタ演算および第2平滑化フィルタ演算では、処理対象ピクセルの周囲の平滑化領域として、前記網目模様の模様線の幅を超えるピクセル数を辺とする矩形領域を用いる
請求項2に記載の画像補正方法。
【請求項4】
前記メディアンフィルタ演算は、前記第1平滑化フィルタ演算によって得られる平滑化画像を、輝度画像と色画像に変換した上で輝度画像に対してのみ行う
請求項2または3に記載の画像補正方法。
【請求項5】
前記ぼかし処理は、前記第1平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の各ピクセルに対し、各ピクセルの階調度の制御であるデジタルゲイン調整演算を行うステップを含む
請求項2〜4のいずれか1項に記載の画像補正方法。
【請求項6】
前記平滑化フィルタ演算では、前記平滑化領域に含まれるピクセルのうち、処理対象ピクセルの階調度に対し第1の係数を乗じ、前記処理対象ピクセル以外のピクセルの階調度に対し前記第1の係数と異なる係数を乗じ、それぞれの乗算結果を加算して、加算結果を前記処理対象ピクセルの新たな階調度とする
請求項2〜5のいずれか1項に記載の画像補正方法。
【請求項7】
前記デジタルゲイン調整演算では、前記入力画像を構成するピクセルの階調度の平均値を、前記第1の平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の階調度の平均値により除算し、除算結果をデジタルゲインとして、各ピクセルの階調度に乗算する
請求項5に記載の画像補正方法。
【請求項8】
前記輪郭強調処理は、
前記ぼかし画像を構成するピクセルを順次処理対象ピクセルとし、当該処理対象ピクセルの周囲の輪郭強調領域に含まれる全てのピクセルの階調度の平均値を算出し、
前記平均値と、前記処理対象ピクセルの階調度との差分を求め、
前記処理対象ピクセルの階調度に対して、それぞれの差分に対して予め設定した係数を乗算した数値を加算し、加算結果を前記処理対象ピクセルの新たな階調度とする
ステップを含む請求項1〜7のうちいずれか1項に記載の画像補正方法。
【請求項9】
ファイババンドルと、
前記ファイババンドルが伝搬してきた網目模様を含む入力画像を撮像する撮像素子と、
前記撮像素子が撮像した前記入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで、前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する画像補正装置と、
前記表示画像を表示させる映像表示制御装置と
を備える内視鏡装置。
【請求項10】
ファイババンドルが伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことでぼかし画像を生成するぼかし処理部と、
前記ぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する輪郭強調処理を行う輪郭強調部と
を備える画像補正装置。
【請求項1】
ファイババンドルを伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで前記網目模様を低減し、
前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させる
ステップを含む画像補正方法。
【請求項2】
前記ぼかし処理は、
前記入力画像に対して第1平滑化フィルタ演算を行い、
前記第1平滑化フィルタ演算によって得られる平滑化画像に対してメディアンフィルタ演算を行い、
前記メディアンフィルタ演算の結果得られるメディアン画像に対して第2平滑化フィルタ演算を行ってぼかし画像を生成する
ステップを含む請求項1に記載の画像補正方法。
【請求項3】
前記第1平滑化フィルタ演算および第2平滑化フィルタ演算では、処理対象ピクセルの周囲の平滑化領域として、前記網目模様の模様線の幅を超えるピクセル数を辺とする矩形領域を用いる
請求項2に記載の画像補正方法。
【請求項4】
前記メディアンフィルタ演算は、前記第1平滑化フィルタ演算によって得られる平滑化画像を、輝度画像と色画像に変換した上で輝度画像に対してのみ行う
請求項2または3に記載の画像補正方法。
【請求項5】
前記ぼかし処理は、前記第1平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の各ピクセルに対し、各ピクセルの階調度の制御であるデジタルゲイン調整演算を行うステップを含む
請求項2〜4のいずれか1項に記載の画像補正方法。
【請求項6】
前記平滑化フィルタ演算では、前記平滑化領域に含まれるピクセルのうち、処理対象ピクセルの階調度に対し第1の係数を乗じ、前記処理対象ピクセル以外のピクセルの階調度に対し前記第1の係数と異なる係数を乗じ、それぞれの乗算結果を加算して、加算結果を前記処理対象ピクセルの新たな階調度とする
請求項2〜5のいずれか1項に記載の画像補正方法。
【請求項7】
前記デジタルゲイン調整演算では、前記入力画像を構成するピクセルの階調度の平均値を、前記第1の平滑化フィルタ演算によって得られる平滑化画像またはそれに基づく画像の階調度の平均値により除算し、除算結果をデジタルゲインとして、各ピクセルの階調度に乗算する
請求項5に記載の画像補正方法。
【請求項8】
前記輪郭強調処理は、
前記ぼかし画像を構成するピクセルを順次処理対象ピクセルとし、当該処理対象ピクセルの周囲の輪郭強調領域に含まれる全てのピクセルの階調度の平均値を算出し、
前記平均値と、前記処理対象ピクセルの階調度との差分を求め、
前記処理対象ピクセルの階調度に対して、それぞれの差分に対して予め設定した係数を乗算した数値を加算し、加算結果を前記処理対象ピクセルの新たな階調度とする
ステップを含む請求項1〜7のうちいずれか1項に記載の画像補正方法。
【請求項9】
ファイババンドルと、
前記ファイババンドルが伝搬してきた網目模様を含む入力画像を撮像する撮像素子と、
前記撮像素子が撮像した前記入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことで、前記網目模様を低減し、前記ぼかし処理を行ったぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する画像補正装置と、
前記表示画像を表示させる映像表示制御装置と
を備える内視鏡装置。
【請求項10】
ファイババンドルが伝搬してきた網目模様を含む入力画像に対し、デジタルフィルタ演算を用いた平滑化によるぼかし処理を行うことでぼかし画像を生成するぼかし処理部と、
前記ぼかし画像に対し輪郭強調処理を行うことで、前記入力画像に写っている被写体の前記ぼかし処理によりぼかされた輪郭を強調させて表示画像を生成する輪郭強調処理を行う輪郭強調部と
を備える画像補正装置。
【図1】
【図2】
【図3】
【図4】
【図6】
【図7】
【図8】
【図9】
【図10】
【図13】
【図14】
【図5】
【図11】
【図12】
【図2】
【図3】
【図4】
【図6】
【図7】
【図8】
【図9】
【図10】
【図13】
【図14】
【図5】
【図11】
【図12】
【公開番号】特開2013−81556(P2013−81556A)
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願番号】特願2011−222352(P2011−222352)
【出願日】平成23年10月6日(2011.10.6)
【出願人】(000005186)株式会社フジクラ (4,463)
【出願人】(509122887)株式会社レグラス (2)
【Fターム(参考)】
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願日】平成23年10月6日(2011.10.6)
【出願人】(000005186)株式会社フジクラ (4,463)
【出願人】(509122887)株式会社レグラス (2)
【Fターム(参考)】
[ Back to top ]