画像強調装置及び方法
【課題】特殊な光源を用いることなく、画像に含まれる特定の要素を強調することが可能な画像処理装置及び方法を得る。
【解決手段】画像取得部１０１は、映像信号作成部２２１から原画像を取得して、トーンカーブ作成部１０２に送信する。トーンカーブ作成部１０２は、トーンカーブ作成処理を実行して、原画像が有する複数の原輝度値と観察対象物の特性とに基づいてトーンカーブを作成する。画像強調部１０３は、トーンカーブを用いて原輝度値を変換輝度値に変換する。この変換輝度値が変換画像を構成する。画像合成部１０４は、合成関数を用いて重み付けした変換輝度値を加算、すなわち複数の変換画像を１つの合成画像に合成する。
【解決手段】画像取得部１０１は、映像信号作成部２２１から原画像を取得して、トーンカーブ作成部１０２に送信する。トーンカーブ作成部１０２は、トーンカーブ作成処理を実行して、原画像が有する複数の原輝度値と観察対象物の特性とに基づいてトーンカーブを作成する。画像強調部１０３は、トーンカーブを用いて原輝度値を変換輝度値に変換する。この変換輝度値が変換画像を構成する。画像合成部１０４は、合成関数を用いて重み付けした変換輝度値を加算、すなわち複数の変換画像を１つの合成画像に合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる特定要素を強調する画像処理装置及び方法に関する。
【背景技術】
【０００２】
内視鏡装置は、観察対象物を撮像する内視鏡スコープと、画像処理を行う内視鏡プロセッサと、観察対象物を照明する照明光を生成する光源とを備える。観察対象物に応じて照明光の波長を変更するため、発光波長が異なる複数種の光源を有する内視鏡装置が知られている。内視鏡装置は、複数種の光源の各出射光量の比率を変更して、照明光の色調を変更する（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−３６３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来広く用いられている内視鏡装置は、１つの光源により照明光を得る構成であるため、複数種の光源を用いるために、専用の内視鏡スコープ及び内視鏡プロセッサを使用する必要がある。また、複数の光源を内視鏡装置に搭載すると、内視鏡装置のコスト、大きさが大きくなる。また、光源はノイズ源であるため、複数の光源が発するノイズに対して対策を施す必要が生じる。
【０００５】
本発明はこれらの問題を鑑みてなされたものであり、特殊な光源を用いることなく、画像に含まれる特定の要素を強調することが可能な画像処理装置及び方法を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本願第１の発明による画像処理装置は、複数の輝度値からなる画像を取得する画像取得部と、複数の輝度値から求められる計算値及び観察対象物の特性に応じて決定される変換関数を用いて輝度値を変換輝度値に変換する変換部とを備えることを特徴とする。
【０００７】
計算値は、複数の輝度値の最大輝度値、最小輝度値、及び平均輝度値が好適である。
【０００８】
変換部は、ガウス関数に基づいて変換関数を決定し、観察対象物の特性に応じてガウス関数の分散を決定することが好ましい。
【０００９】
変換部は、ガウス関数を所定の範囲において累積して得られた累積分布に基づいて変換関数を決定することが好ましい。
【００１０】
変換部は、累積分布を正規化して得られた正規化累積分布に基づいて変換関数を決定することが好ましい。
【００１１】
変換部は、正規化累積分布の最小輝度値が複数の輝度値の最小輝度値となるように正規化累積分布を変換して得られた最小側分布に基づいて、変換関数を決定することが好ましい。
【００１２】
変換部は、正規化累積分布の最大輝度値が既定の所定値よりも小さな値となるように正規化累積分布を変換して得られた分布に基づいて、変換関数を決定することが好ましい。
【００１３】
前記画像処理装置は、複数の変換輝度値を合成して１つの合成画像を作成する合成部をさらに備えてもよく、変換部は、複数の変換関数を決定し、複数の変換関数ごとに変換輝度値を算出し、合成部は、複数の変換関数ごとに算出された変換輝度値を合成して１つの合成画像を作成することが好ましい。
【００１４】
撮像部は連続的に画像を出力し、変換部は、撮像部が出力した画像に基づいて変換輝度値を連続的に出力し、合成部は、変換部が出力した変換輝度値に基づいて合成画像を連続的に作成してもよい。
【００１５】
本願第２の発明による画像処理方法は、複数の輝度値からなる画像を取得するステップと、複数の輝度値から計算値を求めるステップと、計算値及び観察対象物の特性に応じて変換関数を決定するステップと、変換関数を用いて輝度値を変換輝度値に変換するステップとを備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、特殊な光源を用いることなく、画像に含まれる特定の要素を強調することが可能な画像処理装置及び方法を得る。
【図面の簡単な説明】
【００１７】
【図１】画像処理装置を概略的に示したブロック図である。
【図２】ガウス関数を示したグラフである。
【図３】ガウス関数から累積値を求めて正規化する処理を示したグラフである。
【図４】画像の暗部及び明部を調整する処理を示したグラフである。
【図５】第１のトーンカーブを示したグラフである。
【図６】第２のトーンカーブを示したグラフである。
【図７】トーンカーブ作成処理を示したフローチャートである。
【図８】合成関数を示したグラフである。
【図９】合成関数作成処理を示したフローチャートである。
【図１０】変換処理を示したフローチャートである。
【図１１】原画像から変換画像を経て合成画像を作成する工程を模式的に示した図である。
【図１２】合成画像にさらに変換画像を合成する工程を模式的に示した図である。
【発明を実施するための形態】
【００１８】
以下、本発明における画像処理装置１００について添付図面を参照して説明する。まず、図１を用いて画像処理装置１００の構成について説明する。本実施形態では、画像処理装置１００は内視鏡装置２００の一部として設けられる。
【００１９】
内視鏡装置２００は、観察対象物を撮像する内視鏡スコープ２１０と、画像処理を行う内視鏡プロセッサ２２０と、ディスプレイ２３０とを備える。
【００２０】
内視鏡スコープ２１０は、被験者の体内に挿入されて、観察対象物を撮像する。そして、撮影画像を内視鏡プロセッサ２２０に送信する。
【００２１】
内視鏡プロセッサ２２０は、映像信号作成部２２１と、メモリ２２２と、映像出力調整部２２３と、画像処理装置１００とを備える。映像信号作成部２２１は、内視鏡スコープ２１０から撮影画像を受信して、所定の画像処理を施して原画像を作成する。原画像は、画素ごとにＲ（赤）、Ｇ（緑）、Ｂ（青）の輝度値を有する画像であって、画像処理装置１００及びメモリ２２２に送信される。メモリ２２２は、映像信号作成部２２１及び画像処理装置１００に接続され、画像を処理する間、一時的に画像を記憶する。
【００２２】
映像信号作成部２２１は、画像処理装置１００とディスプレイ２３０に接続される。画像処理装置１００が出力した画像は、映像信号作成部２２１によって受信されて、ディスプレイ２３０の表示方式に応じた画像信号に変換された後、ディスプレイ２３０に送信される。ディスプレイ２３０は、映像信号作成部２２１から画像信号を受信して画像として表示する。
【００２３】
画像処理装置１００は、画像取得部１０１と、トーンカーブ作成部１０２と、画像強調部１０３と、画像合成部１０４とを備え、後述する変換処理を実行する。変換処理は、原画像から変換画像を経て合成画像を作成する処理である。トーンカーブ作成部１０２と画像強調部１０３とが変換部を成し、画像合成部１０４が合成部を成す。
【００２４】
画像取得部１０１は、映像信号作成部２２１から原画像を取得して、トーンカーブ作成部１０２に送信する。トーンカーブ作成部１０２は、後述するトーンカーブ作成処理を実行して、原画像が有する複数の原輝度値と観察対象物の特性とに基づいてトーンカーブを作成する。トーンカーブは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の輝度値ごとに作成される。すなわち、１つの原画像に対して３つのトーンカーブが作成される。ここで、観察対象物の特性とは、観察対象物に含まれる様々な要素のうち、ユーザが観察を希望する要素をいう。例えば、観察対象物が人体の粘膜である場合、人体の粘膜は、血管、病変部、正常部など、様々な要素を含む。ユーザが血管を観察したいと希望する場合、観察対象物の特性は血管固有の色、つまり赤色近辺の波長である。
【００２５】
画像強調部１０３は、トーンカーブを用いて原輝度値を変換輝度値に変換する。この変換輝度値が変換画像を構成する。すなわち、原画像と変換画像とは一対一で対応し、画像強調部１０３は原画像を変換画像に変換する。変換画像は、ユーザが観察を希望する要素を強調した画像である。画像強調部１０３は、複数の原画像に対して各々変換輝度値を作成し、メモリ２２２に送信する。メモリ２２２は、作成された変換輝度値を記憶する。
【００２６】
画像合成部１０４は、メモリ２２２から複数の変換画像に対応する変換輝度値を読み出し、合成関数を用いて重み付けした変換輝度値を加算、すなわち複数の変換画像を１つの合成画像に合成する。合成関数は、ユーザが観察を希望する要素に応じて変換輝度値に重み付けをする関数であって、後述する合成関数作成処理を用いて画像合成部１０４によって作成される。
【００２７】
次に、図２から図７を用いてトーンカーブ作成処理について説明する。まず、トーンカーブ作成処理の概略について説明する。トーンカーブ作成処理は、まず、最大輝度値、最小輝度値、平均輝度値と、観察対象物の特性に応じて決定される分散とを用いてガウス関数を決定する。次に、ガウス関数を最小輝度値から最大輝度値まで積分して累積分布を求める。そして、累積分布を正規化して正規化累積分布を求める。さらに、正規化累積分布の最小輝度値が原画像の最小輝度値と同じ値となるように正規化累積分布を変換して最小側分布を求める。そして、平均輝度値よりも小さい側の分布に最小側分布を採用し、平均輝度値よりも大きい側の分布に正規化累積分布を採用した分布を作成する。これにより得られた分布に、所定値を乗じて変換関数、すなわちトーンカーブを作成する。所定値は、経験や実験等によって予め決定される値である。
【００２８】
次に、トーンカーブ作成処理の詳細について説明する。図２を用いてガウス関数を決定する手順について説明する。図２は、輝度値を出現確率に応じてグラフ化したものである。ここで決定されるガウス関数の分散は、輝度値の平均値よりも小さい側と大きい側で異なる。小さい側は分散σ１、大きい側は分散σ２を用いる。分散σ１、σ２は、観察対象物の特性に応じて決定されるパラメータを用いて算出され、メモリ２２２に記憶される。パラメータは、経験や実験等によって予め決定される。出現確率が１０−１５であるときの輝度値を最大輝度値及び最小輝度値とする。平均輝度値よりも小さい側では、最小輝度値、平均輝度値、及び分散σ１によって、ガウス関数が決定され、平均輝度値よりも大きい側では、輝度最大輝度値、平均輝度値、及び分散σ２によって、ガウス関数が決定される。
【００２９】
次に、ガウス関数を用いて累積分布及び正規化累積分布を求める手順について図３を用いて説明する。図３（ａ）に示すガウス関数を最小輝度値０から最大輝度値２５５まで積分し、累積分布を求める。求めた累積分布を図３（ｂ）に示す。次に、累積分布の最大輝度値ｍａｘと最小輝度値ｍｉｎとの差で、累積分布から最小輝度値ｍｉｎを引いた値を除して正規化累積分布を求める。正規化累積分布を図３（ｃ）に示す。
【００３０】
次に、最小側分布を求める手順について図４（ａ）を用いて説明する。最小側分布は、正規化累積分布の最小輝度値における累積値が原画像の最小輝度値における累積値と同じ値になるように、正規化累積分布の平均輝度値から最小輝度値までの値を所定の関数を用いて変換することにより得られる。最小側分布ｇ（ｘ）を以下に示す。
ｇ（ｘ）＝ｆ（ｘ）・（正規化累積分布の平均輝度値における累積値−原輝度値の最小輝度値における累積値）／正規化累積分布の最大輝度値における累積値＋原輝度値の最小輝度値における累積値
ここで関数ｆ（ｘ）は、図３（ｃ）に示す正規化累積分布であり、ｘは０以上平均輝度値以下の値であって、ｆ（ｘ）は０から１までの値をとる。
【００３１】
その後、処理は、平均輝度値よりも小さい側の分布に最小側分布を採用し、平均輝度値よりも大きい側の分布に正規化累積分布を採用した分布を作成する。この分布を図４（ａ）に示す。正規化累積分布の最小輝度値が原画像の最小輝度値と同じ値になるように最小側分布を決定することにより、原画像と変換画像の最小輝度値を一致させることができる。最小輝度値は画像の黒レベルを表す値であるため、原画像と変換画像の黒レベルを一致させることができる。
【００３２】
次に、図４（ａ）に示す分布を用いて変換関数を求める手順について図４（ｂ）を用いて説明する。図４（ａ）に示す分布に、所定値を乗じて変換関数、すなわちトーンカーブを作成する。所定値は、例えば２３５が用いられる。輝度値が取り得る最大値である２５５を所定値として用いると画像中にハレーション、つまり白飛びを生じることがあるが、２３５を所定値として用いると白飛びを減少させることができる。作成されたトーンカーブの一例を図５及び図６に示す。図５は第１のトーンカーブを示し、例えば血管を強調するために用いられる。図６は第２のトーンカーブを示し、例えば発赤部を強調するために用いられる。発赤部は、病変等により周囲よりも赤みがかった部位である。
【００３３】
次に、図７を用いてトーンカーブ作成処理についてフローチャートを用いて説明する。トーンカーブ作成処理は、後述する変換処理の中で実行される。
【００３４】
始めのステップＳ７０１では、最小輝度値ｍｉｎ、平均輝度値ａｖｅ、及び分散σ１を用いて、平均輝度値ａｖｅよりも小さい側におけるガウス関数Ｇａｕｓｓｆｌｏｏｒ（ｖ）を決定する。そして、次のステップＳ７０２では、最大輝度値ｍａｘ、平均輝度値ａｖｅ、及び分散σ２を用いて、平均輝度値ａｖｅよりも大きい側におけるガウス関数Ｇａｕｓｓｃａｐ（ｖ）を決定する。そして変数ｖに０を代入して初期化する。
【００３５】
次のステップＳ７０３からＳ７１１では、累積分布Ｃｕｍｕｌｏ（ｖ）を作成する。ステップＳ７０３では、変数ｖが平均輝度値ａｖｅよりも小さいか否かを判断する。小さい場合、処理はステップＳ７０４に進み、小さくない場合、処理はステップＳ７０６に進む。
【００３６】
ステップＳ７０４では、累積分布Ｃｕｍｕｌｏ（ｖ）にガウス関数Ｇａｕｓｓｆｌｏｏｒ（ｖ）の値を代入する。そして次のステップＳ７０５では、変数ｖを１だけ増やしてステップＳ７０３に戻る。
【００３７】
ステップＳ７０６では、累積分布Ｃｕｍｕｌｏ（ｖ）にガウス関数Ｇａｕｓｓｃａｐ（ｖ）の値を代入する。そして次のステップＳ７０７では、変数ｖを１だけ増やす。そして次のステップＳ７０８では、変数ｖが最大輝度値ｍａｘよりも大きいか否かを判断する。大きい場合、最大輝度値ｍａｘまで代入されたと判断できるため、処理はステップＳ７１１に進む。大きくない場合、未だ最大輝度値ｍａｘまで代入されていないと判断できるため、処理はステップＳ７０３に戻り、ステップＳ７０６からＳ７０８を繰り返す。
【００３８】
次のステップＳ７０９からＳ７１１では、累積分布Ｃｕｍｕｌｏ（ｖ）を０から最大輝度値ｍａｘまで積分することにより、累積分布Ｃｕｍｕｌｏ（ｖ）を最終的に算出する。ステップＳ７０９では、変数ｖに１を代入して初期化する。そして、次のステップＳ７１０では、変数ｖが最大輝度値ｍａｘ以下であるか否かを判断する。最大輝度値ｍａｘ以下である場合、未だ最大輝度値ｍａｘまで累積されていないと判断できるため、処理はステップＳ７１１に進み、最大輝度値ｍａｘ以下でない場合、最大輝度値ｍａｘまで累積されたと判断できるため、処理はステップＳ７２１に進む。
【００３９】
ステップＳ７１１では、累積分布Ｃｕｍｕｌｏ（ｖ）に、累積分布Ｃｕｍｕｌｏ（ｖ−１）の値を加算する。そして、ステップＳ７１０に戻る。これを繰り返すことにより、累積分布Ｃｕｍｕｌｏ（ｖ）が算出される。
【００４０】
次のステップＳ７２１及びＳ７２２では、累積分布を正規化する。ステップＳ７２１では、累積分布Ｃｕｍｕｌｏ（ｖ）の最大輝度値Ｍａｘｃｕｍｕｌｏと最小輝度値Ｍｉｎｃｕｍｕｌｏを求める。そして次のステップＳ７２２では、最大輝度値Ｍａｘｃｕｍｕｌｏと最小輝度値Ｍｉｎｃｕｍｕｌｏを用いて、累積分布Ｃｕｍｕｌｏ（ｖ）を正規化し、正規化累積分布ＮＣｕｍｕｌｏ（ｖ）を求める。正規化累積分布ＮＣｕｍｕｌｏ（ｖ）は以下の式によって示される。
ＮＣｕｍｕｌｏ（ｖ）＝（Ｃｕｍｕｌｏ（ｖ）−Ｍｉｎｃｕｍｕ）／（Ｍａｘｃｕｍｕ−Ｍｉｎｃｕｍｕ）
【００４１】
次のステップＳ７３１からＳ７３３では、最小側分布を求め、平均輝度値よりも小さい側の分布に最小側分布を採用し、平均輝度値よりも大きい側の分布に正規化累積分布を採用した分布を作成する。変数ｖに０を代入して初期化した後、ステップＳ７３１に進む。
【００４２】
ステップＳ７３１では、変数ｖに平均輝度値ａｖｅを代入して初期化する。次のステップＳ７３２では、以下の式に従って、正規化累積分布ＮＣｕｍｕｌｏ（ｖ）の最小輝度値から平均輝度値までを最小側分布に変換する。
ＮＣｕｍｕｌｏ（ｖ）＝ＮＣｕｍｕｌｏ（ｖ）・（ＮＣｕｍｕｌｏ（ａｖｅ）−Ｃｕｍｕｌｏ（ｍｉｎ））／ＮＣｕｍｕｌｏ（ａｖｅ）＋Ｃｕｍｕｌｏ（ｍｉｎ）
ここで、ＮＣｕｍｕｌｏ（ａｖｅ）は、正規化累積分布の平均輝度値における累積値を表し、Ｃｕｍｕｌｏ（ｍｉｎ）は、原輝度値の最小輝度値における累積値を表す。
【００４３】
そして、次のステップＳ７３３では、ｖを１つ増やして、再度ステップＳ７３１を実行する。これにより得られた分布に所定値を乗じて変換関数、すなわちトーンカーブを作成する。トーンカーブは、ルックアップテーブルの形式でメモリ２２２に記憶される。そして、処理が終了する。
【００４４】
次に、図８及び図９を用いて合成関数作成処理について説明する。合成関数作成処理は、合成関数を作成する処理である。合成関数は、色差信号Ｃｒを用いて作成され、画像の赤みに応じて輝度値に乗じられる重みを表す。第１から第３の合成関数を例として図８に示す。強調したい観察対象物に応じて、第１から第３の合成関数が用いられる。第２の合成関数は、汎用的に用いることが可能な関数である。第３の合成関数は、病変部を強調することが可能な関数である。一般に、正常部は赤みが少なく、病変部は赤みが多い。そのため、赤みを帯びていない部分に加える重みを減らすことにより、第３の合成関数は病変部を強調する。図８に示すグラフにおいて、赤みの代わりに明るさを軸とした場合、第１の合成関数は、合成画像の明るさを改善する。すなわち、変換画像の明るい部分に大きな重みを加えることにより、合成関数の明るさを改善できる。
【００４５】
次に、図９を用いて合成関数作成処理についてフローチャートを用いて説明する。合成関数作成処理は、後述する変換処理の中で実行される。ここでは一例として、第２の合成関数を作成する処理について説明する。
【００４６】
始めのステップＳ９０１では、画素（ｘ，ｙ）が有する赤輝度値Ｉｍｇ（ｒ，ｘ，ｙ）、緑輝度値Ｉｍｇ（ｇ，ｘ，ｙ）、青輝度値Ｉｍｇ（ｂ，ｘ，ｙ）を用いて、色差信号Ｃｒ（ｘ，ｙ）を求める。
【００４７】
次のステップＳ９０２では、色差信号Ｃｒ（ｘ，ｙ）の最大値Ｃｒｍａｘ及び最小値Ｃｒｍｉｎを求める。そして次のステップＳ９０３では、以下の式を合成関数Ｃｏｍｂｉｎｅ（ｘ，ｙ）として作成する。
Ｃｏｍｂｉｎｅ（ｘ，ｙ）＝（Ｃｒ（ｘ，ｙ）−Ｃｒｍｉｎ）／（Ｃｒｍａｘ−Ｃｒｍｉｎ）
そして、処理が終了する。
【００４８】
色差信号Ｃｒ（ｘ，ｙ）を用いて合成関数Ｃｏｍｂｉｎｅ（ｘ，ｙ）を作成することにより、赤色を含む部位をより強調することができる。
【００４９】
次に、図１０及び図１１を用いて変換処理について説明する。変換処理は、原画像から合成画像を作成する処理であって、映像信号作成部２２１から原画像を受信する度に実行される。
【００５０】
始めのステップＳ１００１では、原画像ＯＩｍｇｉ（ｘ，ｙ）をメモリ２２２に保存する。原画像は既定の数だけ準備され、添字ｉは０から既定の数未満の値を取る。一例として図１１に原画像１１（ａ）を示す。次のステップＳ１００２では、原画像ＯＩｍｇｉ（ｘ，ｙ）を構成する輝度値の最大値ｍａｘ、最小値ｍｉｎ、及び平均値ａｖｅを求める。
【００５１】
次のステップＳ１００３では、トーンカーブを新たに作成するか否かを判断する。新たに作成する場合、処理はステップＳ１００４に進み、作成しない場合、処理はステップＳ１００７に進む。
【００５２】
ステップＳ１００４では、トーンカーブ作成処理を実行してトーンカーブを作成する。トーンカーブは、ルックアップテーブルＬｏｏｋＵｐｉ（ｖ）の形式でメモリ２２２に保存される。
【００５３】
次のステップＳ１００５では、トーンカーブを原画像に適用し、変換画像ＣＩｍｇｉ（ｘ，ｙ）を作成する。図１１に変換画像１１（ｂ）及び１１（ｃ）の一例を示す。そして、処理はステップＳ１００３に戻って再度ステップＳ１００４及びＳ１００５を実行して、原画像に対応する数だけトーンカーブを作成する。原画像は、ＲＧＢの３つの輝度を有するため、原画像に対応する数とは、原画像の数の３倍である。そして、原画像の数の３倍だけトーンカーブを作成し終えると、ステップＳ１００３においてステップＳ１００６に進む。
【００５４】
ステップＳ１００６では、合成関数作成処理を実行して合成関数Ｃｏｍｂｉｎｅ（ｘ，ｙ）を作成する。図１１に一例として合成関数を画像１１（ｄ）として示す。画像１１（ｄ）において明るい部分は重みが大きく、暗い部分は重みが小さい。そして次のステップＳ１００７において、変換画像ＣＩｍｇｉ（ｘ，ｙ）を合成関数Ｃｏｍｂｉｎｅ（ｘ，ｙ）で重み付けしたのちに合計し、合成画像を作成する。変換画像１１（ｂ）を画像１１（ｄ）で重み付けして変換画像１１（ｃ）に加えて得られた合成画像１１（ｅ）を一例として図１１に示す。そして、処理が終了する。
【００５５】
次に、合成画像を作成する他の手順について図１２を用いて説明する。ここでは、合成画像に変換画像を合成してさらに合成画像を作成する。原画像１２（ａ）から変換画像１２（ｂ）及び１２（ｃ）を経て中間合成画像１２（ｄ）を得るまでの手順は前述と同様であるため、説明を省略する。
【００５６】
中間合成画像１２（ｄ）を得た後、トーンカーブ作成部１０２は、さらにトーンカーブを作成し、画像強調部１０３は、トーンカーブを用いて変換画像１２（ｅ）を作成する。そして、画像合成部１０４は、さらに合成関数を作成し、この合成関数を用いて中間合成画像１２（ｄ）に変換画像１２（ｅ）を合成する。そして、合成画像１２（ｆ）を得る。このように、合成画像に対してさらに変換画像を合成することも可能である。中間合成画像１２（ｄ）に黒つぶれが生じていても、黒つぶれに対応する画素を明るくした変換画像を合成することによって、黒つぶれを無くすことができる。
【００５７】
以上のように、本実施形態によれば、特殊な光源を用いることなく、画像に含まれる特定の要素を強調することができる。
【００５８】
また、内視鏡スコープ２１０が連続的に出力した画像に対して、画像強調部が変換輝度値を連続的に出力し、画像合成部が合成画像を連続的に作成すれば、動画における特定部位を強調してディスプレイ２３０に表示できる。
【００５９】
なお、画像処理装置１００は、内視鏡プロセッサ２２０以外の装置に備えられても良い。
【００６０】
また、ＲＧＢチャンネルの輝度値を用いてトーンカーブを作成するのではなく、Ｇチャンネルの輝度情報や、色差信号ＹＣｒＣｂのＣｒを用いて作成してもよい。正常粘膜の表面構造や腫瘍の表面構造を強調することができる。
【００６１】
また、色差信号Ｃｒを用いて合成関数を算出したが、色差信号Ｃｒ以外の信号を用いても良い。
【符号の説明】
【００６２】
１００ 画像処理装置
１０１ 画像取得部
１０２ トーンカーブ作成部
１０３ 画像強調部
１０４ 画像合成部
２００ 内視鏡装置
２１０ 内視鏡スコープ
２２０ 内視鏡プロセッサ
２２１ 映像信号作成部
２２２ メモリ
２２３ 映像出力調整部
２３０ ディスプレイ
【技術分野】
【０００１】
本発明は、画像に含まれる特定要素を強調する画像処理装置及び方法に関する。
【背景技術】
【０００２】
内視鏡装置は、観察対象物を撮像する内視鏡スコープと、画像処理を行う内視鏡プロセッサと、観察対象物を照明する照明光を生成する光源とを備える。観察対象物に応じて照明光の波長を変更するため、発光波長が異なる複数種の光源を有する内視鏡装置が知られている。内視鏡装置は、複数種の光源の各出射光量の比率を変更して、照明光の色調を変更する（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−３６３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来広く用いられている内視鏡装置は、１つの光源により照明光を得る構成であるため、複数種の光源を用いるために、専用の内視鏡スコープ及び内視鏡プロセッサを使用する必要がある。また、複数の光源を内視鏡装置に搭載すると、内視鏡装置のコスト、大きさが大きくなる。また、光源はノイズ源であるため、複数の光源が発するノイズに対して対策を施す必要が生じる。
【０００５】
本発明はこれらの問題を鑑みてなされたものであり、特殊な光源を用いることなく、画像に含まれる特定の要素を強調することが可能な画像処理装置及び方法を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本願第１の発明による画像処理装置は、複数の輝度値からなる画像を取得する画像取得部と、複数の輝度値から求められる計算値及び観察対象物の特性に応じて決定される変換関数を用いて輝度値を変換輝度値に変換する変換部とを備えることを特徴とする。
【０００７】
計算値は、複数の輝度値の最大輝度値、最小輝度値、及び平均輝度値が好適である。
【０００８】
変換部は、ガウス関数に基づいて変換関数を決定し、観察対象物の特性に応じてガウス関数の分散を決定することが好ましい。
【０００９】
変換部は、ガウス関数を所定の範囲において累積して得られた累積分布に基づいて変換関数を決定することが好ましい。
【００１０】
変換部は、累積分布を正規化して得られた正規化累積分布に基づいて変換関数を決定することが好ましい。
【００１１】
変換部は、正規化累積分布の最小輝度値が複数の輝度値の最小輝度値となるように正規化累積分布を変換して得られた最小側分布に基づいて、変換関数を決定することが好ましい。
【００１２】
変換部は、正規化累積分布の最大輝度値が既定の所定値よりも小さな値となるように正規化累積分布を変換して得られた分布に基づいて、変換関数を決定することが好ましい。
【００１３】
前記画像処理装置は、複数の変換輝度値を合成して１つの合成画像を作成する合成部をさらに備えてもよく、変換部は、複数の変換関数を決定し、複数の変換関数ごとに変換輝度値を算出し、合成部は、複数の変換関数ごとに算出された変換輝度値を合成して１つの合成画像を作成することが好ましい。
【００１４】
撮像部は連続的に画像を出力し、変換部は、撮像部が出力した画像に基づいて変換輝度値を連続的に出力し、合成部は、変換部が出力した変換輝度値に基づいて合成画像を連続的に作成してもよい。
【００１５】
本願第２の発明による画像処理方法は、複数の輝度値からなる画像を取得するステップと、複数の輝度値から計算値を求めるステップと、計算値及び観察対象物の特性に応じて変換関数を決定するステップと、変換関数を用いて輝度値を変換輝度値に変換するステップとを備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、特殊な光源を用いることなく、画像に含まれる特定の要素を強調することが可能な画像処理装置及び方法を得る。
【図面の簡単な説明】
【００１７】
【図１】画像処理装置を概略的に示したブロック図である。
【図２】ガウス関数を示したグラフである。
【図３】ガウス関数から累積値を求めて正規化する処理を示したグラフである。
【図４】画像の暗部及び明部を調整する処理を示したグラフである。
【図５】第１のトーンカーブを示したグラフである。
【図６】第２のトーンカーブを示したグラフである。
【図７】トーンカーブ作成処理を示したフローチャートである。
【図８】合成関数を示したグラフである。
【図９】合成関数作成処理を示したフローチャートである。
【図１０】変換処理を示したフローチャートである。
【図１１】原画像から変換画像を経て合成画像を作成する工程を模式的に示した図である。
【図１２】合成画像にさらに変換画像を合成する工程を模式的に示した図である。
【発明を実施するための形態】
【００１８】
以下、本発明における画像処理装置１００について添付図面を参照して説明する。まず、図１を用いて画像処理装置１００の構成について説明する。本実施形態では、画像処理装置１００は内視鏡装置２００の一部として設けられる。
【００１９】
内視鏡装置２００は、観察対象物を撮像する内視鏡スコープ２１０と、画像処理を行う内視鏡プロセッサ２２０と、ディスプレイ２３０とを備える。
【００２０】
内視鏡スコープ２１０は、被験者の体内に挿入されて、観察対象物を撮像する。そして、撮影画像を内視鏡プロセッサ２２０に送信する。
【００２１】
内視鏡プロセッサ２２０は、映像信号作成部２２１と、メモリ２２２と、映像出力調整部２２３と、画像処理装置１００とを備える。映像信号作成部２２１は、内視鏡スコープ２１０から撮影画像を受信して、所定の画像処理を施して原画像を作成する。原画像は、画素ごとにＲ（赤）、Ｇ（緑）、Ｂ（青）の輝度値を有する画像であって、画像処理装置１００及びメモリ２２２に送信される。メモリ２２２は、映像信号作成部２２１及び画像処理装置１００に接続され、画像を処理する間、一時的に画像を記憶する。
【００２２】
映像信号作成部２２１は、画像処理装置１００とディスプレイ２３０に接続される。画像処理装置１００が出力した画像は、映像信号作成部２２１によって受信されて、ディスプレイ２３０の表示方式に応じた画像信号に変換された後、ディスプレイ２３０に送信される。ディスプレイ２３０は、映像信号作成部２２１から画像信号を受信して画像として表示する。
【００２３】
画像処理装置１００は、画像取得部１０１と、トーンカーブ作成部１０２と、画像強調部１０３と、画像合成部１０４とを備え、後述する変換処理を実行する。変換処理は、原画像から変換画像を経て合成画像を作成する処理である。トーンカーブ作成部１０２と画像強調部１０３とが変換部を成し、画像合成部１０４が合成部を成す。
【００２４】
画像取得部１０１は、映像信号作成部２２１から原画像を取得して、トーンカーブ作成部１０２に送信する。トーンカーブ作成部１０２は、後述するトーンカーブ作成処理を実行して、原画像が有する複数の原輝度値と観察対象物の特性とに基づいてトーンカーブを作成する。トーンカーブは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の輝度値ごとに作成される。すなわち、１つの原画像に対して３つのトーンカーブが作成される。ここで、観察対象物の特性とは、観察対象物に含まれる様々な要素のうち、ユーザが観察を希望する要素をいう。例えば、観察対象物が人体の粘膜である場合、人体の粘膜は、血管、病変部、正常部など、様々な要素を含む。ユーザが血管を観察したいと希望する場合、観察対象物の特性は血管固有の色、つまり赤色近辺の波長である。
【００２５】
画像強調部１０３は、トーンカーブを用いて原輝度値を変換輝度値に変換する。この変換輝度値が変換画像を構成する。すなわち、原画像と変換画像とは一対一で対応し、画像強調部１０３は原画像を変換画像に変換する。変換画像は、ユーザが観察を希望する要素を強調した画像である。画像強調部１０３は、複数の原画像に対して各々変換輝度値を作成し、メモリ２２２に送信する。メモリ２２２は、作成された変換輝度値を記憶する。
【００２６】
画像合成部１０４は、メモリ２２２から複数の変換画像に対応する変換輝度値を読み出し、合成関数を用いて重み付けした変換輝度値を加算、すなわち複数の変換画像を１つの合成画像に合成する。合成関数は、ユーザが観察を希望する要素に応じて変換輝度値に重み付けをする関数であって、後述する合成関数作成処理を用いて画像合成部１０４によって作成される。
【００２７】
次に、図２から図７を用いてトーンカーブ作成処理について説明する。まず、トーンカーブ作成処理の概略について説明する。トーンカーブ作成処理は、まず、最大輝度値、最小輝度値、平均輝度値と、観察対象物の特性に応じて決定される分散とを用いてガウス関数を決定する。次に、ガウス関数を最小輝度値から最大輝度値まで積分して累積分布を求める。そして、累積分布を正規化して正規化累積分布を求める。さらに、正規化累積分布の最小輝度値が原画像の最小輝度値と同じ値となるように正規化累積分布を変換して最小側分布を求める。そして、平均輝度値よりも小さい側の分布に最小側分布を採用し、平均輝度値よりも大きい側の分布に正規化累積分布を採用した分布を作成する。これにより得られた分布に、所定値を乗じて変換関数、すなわちトーンカーブを作成する。所定値は、経験や実験等によって予め決定される値である。
【００２８】
次に、トーンカーブ作成処理の詳細について説明する。図２を用いてガウス関数を決定する手順について説明する。図２は、輝度値を出現確率に応じてグラフ化したものである。ここで決定されるガウス関数の分散は、輝度値の平均値よりも小さい側と大きい側で異なる。小さい側は分散σ１、大きい側は分散σ２を用いる。分散σ１、σ２は、観察対象物の特性に応じて決定されるパラメータを用いて算出され、メモリ２２２に記憶される。パラメータは、経験や実験等によって予め決定される。出現確率が１０−１５であるときの輝度値を最大輝度値及び最小輝度値とする。平均輝度値よりも小さい側では、最小輝度値、平均輝度値、及び分散σ１によって、ガウス関数が決定され、平均輝度値よりも大きい側では、輝度最大輝度値、平均輝度値、及び分散σ２によって、ガウス関数が決定される。
【００２９】
次に、ガウス関数を用いて累積分布及び正規化累積分布を求める手順について図３を用いて説明する。図３（ａ）に示すガウス関数を最小輝度値０から最大輝度値２５５まで積分し、累積分布を求める。求めた累積分布を図３（ｂ）に示す。次に、累積分布の最大輝度値ｍａｘと最小輝度値ｍｉｎとの差で、累積分布から最小輝度値ｍｉｎを引いた値を除して正規化累積分布を求める。正規化累積分布を図３（ｃ）に示す。
【００３０】
次に、最小側分布を求める手順について図４（ａ）を用いて説明する。最小側分布は、正規化累積分布の最小輝度値における累積値が原画像の最小輝度値における累積値と同じ値になるように、正規化累積分布の平均輝度値から最小輝度値までの値を所定の関数を用いて変換することにより得られる。最小側分布ｇ（ｘ）を以下に示す。
ｇ（ｘ）＝ｆ（ｘ）・（正規化累積分布の平均輝度値における累積値−原輝度値の最小輝度値における累積値）／正規化累積分布の最大輝度値における累積値＋原輝度値の最小輝度値における累積値
ここで関数ｆ（ｘ）は、図３（ｃ）に示す正規化累積分布であり、ｘは０以上平均輝度値以下の値であって、ｆ（ｘ）は０から１までの値をとる。
【００３１】
その後、処理は、平均輝度値よりも小さい側の分布に最小側分布を採用し、平均輝度値よりも大きい側の分布に正規化累積分布を採用した分布を作成する。この分布を図４（ａ）に示す。正規化累積分布の最小輝度値が原画像の最小輝度値と同じ値になるように最小側分布を決定することにより、原画像と変換画像の最小輝度値を一致させることができる。最小輝度値は画像の黒レベルを表す値であるため、原画像と変換画像の黒レベルを一致させることができる。
【００３２】
次に、図４（ａ）に示す分布を用いて変換関数を求める手順について図４（ｂ）を用いて説明する。図４（ａ）に示す分布に、所定値を乗じて変換関数、すなわちトーンカーブを作成する。所定値は、例えば２３５が用いられる。輝度値が取り得る最大値である２５５を所定値として用いると画像中にハレーション、つまり白飛びを生じることがあるが、２３５を所定値として用いると白飛びを減少させることができる。作成されたトーンカーブの一例を図５及び図６に示す。図５は第１のトーンカーブを示し、例えば血管を強調するために用いられる。図６は第２のトーンカーブを示し、例えば発赤部を強調するために用いられる。発赤部は、病変等により周囲よりも赤みがかった部位である。
【００３３】
次に、図７を用いてトーンカーブ作成処理についてフローチャートを用いて説明する。トーンカーブ作成処理は、後述する変換処理の中で実行される。
【００３４】
始めのステップＳ７０１では、最小輝度値ｍｉｎ、平均輝度値ａｖｅ、及び分散σ１を用いて、平均輝度値ａｖｅよりも小さい側におけるガウス関数Ｇａｕｓｓｆｌｏｏｒ（ｖ）を決定する。そして、次のステップＳ７０２では、最大輝度値ｍａｘ、平均輝度値ａｖｅ、及び分散σ２を用いて、平均輝度値ａｖｅよりも大きい側におけるガウス関数Ｇａｕｓｓｃａｐ（ｖ）を決定する。そして変数ｖに０を代入して初期化する。
【００３５】
次のステップＳ７０３からＳ７１１では、累積分布Ｃｕｍｕｌｏ（ｖ）を作成する。ステップＳ７０３では、変数ｖが平均輝度値ａｖｅよりも小さいか否かを判断する。小さい場合、処理はステップＳ７０４に進み、小さくない場合、処理はステップＳ７０６に進む。
【００３６】
ステップＳ７０４では、累積分布Ｃｕｍｕｌｏ（ｖ）にガウス関数Ｇａｕｓｓｆｌｏｏｒ（ｖ）の値を代入する。そして次のステップＳ７０５では、変数ｖを１だけ増やしてステップＳ７０３に戻る。
【００３７】
ステップＳ７０６では、累積分布Ｃｕｍｕｌｏ（ｖ）にガウス関数Ｇａｕｓｓｃａｐ（ｖ）の値を代入する。そして次のステップＳ７０７では、変数ｖを１だけ増やす。そして次のステップＳ７０８では、変数ｖが最大輝度値ｍａｘよりも大きいか否かを判断する。大きい場合、最大輝度値ｍａｘまで代入されたと判断できるため、処理はステップＳ７１１に進む。大きくない場合、未だ最大輝度値ｍａｘまで代入されていないと判断できるため、処理はステップＳ７０３に戻り、ステップＳ７０６からＳ７０８を繰り返す。
【００３８】
次のステップＳ７０９からＳ７１１では、累積分布Ｃｕｍｕｌｏ（ｖ）を０から最大輝度値ｍａｘまで積分することにより、累積分布Ｃｕｍｕｌｏ（ｖ）を最終的に算出する。ステップＳ７０９では、変数ｖに１を代入して初期化する。そして、次のステップＳ７１０では、変数ｖが最大輝度値ｍａｘ以下であるか否かを判断する。最大輝度値ｍａｘ以下である場合、未だ最大輝度値ｍａｘまで累積されていないと判断できるため、処理はステップＳ７１１に進み、最大輝度値ｍａｘ以下でない場合、最大輝度値ｍａｘまで累積されたと判断できるため、処理はステップＳ７２１に進む。
【００３９】
ステップＳ７１１では、累積分布Ｃｕｍｕｌｏ（ｖ）に、累積分布Ｃｕｍｕｌｏ（ｖ−１）の値を加算する。そして、ステップＳ７１０に戻る。これを繰り返すことにより、累積分布Ｃｕｍｕｌｏ（ｖ）が算出される。
【００４０】
次のステップＳ７２１及びＳ７２２では、累積分布を正規化する。ステップＳ７２１では、累積分布Ｃｕｍｕｌｏ（ｖ）の最大輝度値Ｍａｘｃｕｍｕｌｏと最小輝度値Ｍｉｎｃｕｍｕｌｏを求める。そして次のステップＳ７２２では、最大輝度値Ｍａｘｃｕｍｕｌｏと最小輝度値Ｍｉｎｃｕｍｕｌｏを用いて、累積分布Ｃｕｍｕｌｏ（ｖ）を正規化し、正規化累積分布ＮＣｕｍｕｌｏ（ｖ）を求める。正規化累積分布ＮＣｕｍｕｌｏ（ｖ）は以下の式によって示される。
ＮＣｕｍｕｌｏ（ｖ）＝（Ｃｕｍｕｌｏ（ｖ）−Ｍｉｎｃｕｍｕ）／（Ｍａｘｃｕｍｕ−Ｍｉｎｃｕｍｕ）
【００４１】
次のステップＳ７３１からＳ７３３では、最小側分布を求め、平均輝度値よりも小さい側の分布に最小側分布を採用し、平均輝度値よりも大きい側の分布に正規化累積分布を採用した分布を作成する。変数ｖに０を代入して初期化した後、ステップＳ７３１に進む。
【００４２】
ステップＳ７３１では、変数ｖに平均輝度値ａｖｅを代入して初期化する。次のステップＳ７３２では、以下の式に従って、正規化累積分布ＮＣｕｍｕｌｏ（ｖ）の最小輝度値から平均輝度値までを最小側分布に変換する。
ＮＣｕｍｕｌｏ（ｖ）＝ＮＣｕｍｕｌｏ（ｖ）・（ＮＣｕｍｕｌｏ（ａｖｅ）−Ｃｕｍｕｌｏ（ｍｉｎ））／ＮＣｕｍｕｌｏ（ａｖｅ）＋Ｃｕｍｕｌｏ（ｍｉｎ）
ここで、ＮＣｕｍｕｌｏ（ａｖｅ）は、正規化累積分布の平均輝度値における累積値を表し、Ｃｕｍｕｌｏ（ｍｉｎ）は、原輝度値の最小輝度値における累積値を表す。
【００４３】
そして、次のステップＳ７３３では、ｖを１つ増やして、再度ステップＳ７３１を実行する。これにより得られた分布に所定値を乗じて変換関数、すなわちトーンカーブを作成する。トーンカーブは、ルックアップテーブルの形式でメモリ２２２に記憶される。そして、処理が終了する。
【００４４】
次に、図８及び図９を用いて合成関数作成処理について説明する。合成関数作成処理は、合成関数を作成する処理である。合成関数は、色差信号Ｃｒを用いて作成され、画像の赤みに応じて輝度値に乗じられる重みを表す。第１から第３の合成関数を例として図８に示す。強調したい観察対象物に応じて、第１から第３の合成関数が用いられる。第２の合成関数は、汎用的に用いることが可能な関数である。第３の合成関数は、病変部を強調することが可能な関数である。一般に、正常部は赤みが少なく、病変部は赤みが多い。そのため、赤みを帯びていない部分に加える重みを減らすことにより、第３の合成関数は病変部を強調する。図８に示すグラフにおいて、赤みの代わりに明るさを軸とした場合、第１の合成関数は、合成画像の明るさを改善する。すなわち、変換画像の明るい部分に大きな重みを加えることにより、合成関数の明るさを改善できる。
【００４５】
次に、図９を用いて合成関数作成処理についてフローチャートを用いて説明する。合成関数作成処理は、後述する変換処理の中で実行される。ここでは一例として、第２の合成関数を作成する処理について説明する。
【００４６】
始めのステップＳ９０１では、画素（ｘ，ｙ）が有する赤輝度値Ｉｍｇ（ｒ，ｘ，ｙ）、緑輝度値Ｉｍｇ（ｇ，ｘ，ｙ）、青輝度値Ｉｍｇ（ｂ，ｘ，ｙ）を用いて、色差信号Ｃｒ（ｘ，ｙ）を求める。
【００４７】
次のステップＳ９０２では、色差信号Ｃｒ（ｘ，ｙ）の最大値Ｃｒｍａｘ及び最小値Ｃｒｍｉｎを求める。そして次のステップＳ９０３では、以下の式を合成関数Ｃｏｍｂｉｎｅ（ｘ，ｙ）として作成する。
Ｃｏｍｂｉｎｅ（ｘ，ｙ）＝（Ｃｒ（ｘ，ｙ）−Ｃｒｍｉｎ）／（Ｃｒｍａｘ−Ｃｒｍｉｎ）
そして、処理が終了する。
【００４８】
色差信号Ｃｒ（ｘ，ｙ）を用いて合成関数Ｃｏｍｂｉｎｅ（ｘ，ｙ）を作成することにより、赤色を含む部位をより強調することができる。
【００４９】
次に、図１０及び図１１を用いて変換処理について説明する。変換処理は、原画像から合成画像を作成する処理であって、映像信号作成部２２１から原画像を受信する度に実行される。
【００５０】
始めのステップＳ１００１では、原画像ＯＩｍｇｉ（ｘ，ｙ）をメモリ２２２に保存する。原画像は既定の数だけ準備され、添字ｉは０から既定の数未満の値を取る。一例として図１１に原画像１１（ａ）を示す。次のステップＳ１００２では、原画像ＯＩｍｇｉ（ｘ，ｙ）を構成する輝度値の最大値ｍａｘ、最小値ｍｉｎ、及び平均値ａｖｅを求める。
【００５１】
次のステップＳ１００３では、トーンカーブを新たに作成するか否かを判断する。新たに作成する場合、処理はステップＳ１００４に進み、作成しない場合、処理はステップＳ１００７に進む。
【００５２】
ステップＳ１００４では、トーンカーブ作成処理を実行してトーンカーブを作成する。トーンカーブは、ルックアップテーブルＬｏｏｋＵｐｉ（ｖ）の形式でメモリ２２２に保存される。
【００５３】
次のステップＳ１００５では、トーンカーブを原画像に適用し、変換画像ＣＩｍｇｉ（ｘ，ｙ）を作成する。図１１に変換画像１１（ｂ）及び１１（ｃ）の一例を示す。そして、処理はステップＳ１００３に戻って再度ステップＳ１００４及びＳ１００５を実行して、原画像に対応する数だけトーンカーブを作成する。原画像は、ＲＧＢの３つの輝度を有するため、原画像に対応する数とは、原画像の数の３倍である。そして、原画像の数の３倍だけトーンカーブを作成し終えると、ステップＳ１００３においてステップＳ１００６に進む。
【００５４】
ステップＳ１００６では、合成関数作成処理を実行して合成関数Ｃｏｍｂｉｎｅ（ｘ，ｙ）を作成する。図１１に一例として合成関数を画像１１（ｄ）として示す。画像１１（ｄ）において明るい部分は重みが大きく、暗い部分は重みが小さい。そして次のステップＳ１００７において、変換画像ＣＩｍｇｉ（ｘ，ｙ）を合成関数Ｃｏｍｂｉｎｅ（ｘ，ｙ）で重み付けしたのちに合計し、合成画像を作成する。変換画像１１（ｂ）を画像１１（ｄ）で重み付けして変換画像１１（ｃ）に加えて得られた合成画像１１（ｅ）を一例として図１１に示す。そして、処理が終了する。
【００５５】
次に、合成画像を作成する他の手順について図１２を用いて説明する。ここでは、合成画像に変換画像を合成してさらに合成画像を作成する。原画像１２（ａ）から変換画像１２（ｂ）及び１２（ｃ）を経て中間合成画像１２（ｄ）を得るまでの手順は前述と同様であるため、説明を省略する。
【００５６】
中間合成画像１２（ｄ）を得た後、トーンカーブ作成部１０２は、さらにトーンカーブを作成し、画像強調部１０３は、トーンカーブを用いて変換画像１２（ｅ）を作成する。そして、画像合成部１０４は、さらに合成関数を作成し、この合成関数を用いて中間合成画像１２（ｄ）に変換画像１２（ｅ）を合成する。そして、合成画像１２（ｆ）を得る。このように、合成画像に対してさらに変換画像を合成することも可能である。中間合成画像１２（ｄ）に黒つぶれが生じていても、黒つぶれに対応する画素を明るくした変換画像を合成することによって、黒つぶれを無くすことができる。
【００５７】
以上のように、本実施形態によれば、特殊な光源を用いることなく、画像に含まれる特定の要素を強調することができる。
【００５８】
また、内視鏡スコープ２１０が連続的に出力した画像に対して、画像強調部が変換輝度値を連続的に出力し、画像合成部が合成画像を連続的に作成すれば、動画における特定部位を強調してディスプレイ２３０に表示できる。
【００５９】
なお、画像処理装置１００は、内視鏡プロセッサ２２０以外の装置に備えられても良い。
【００６０】
また、ＲＧＢチャンネルの輝度値を用いてトーンカーブを作成するのではなく、Ｇチャンネルの輝度情報や、色差信号ＹＣｒＣｂのＣｒを用いて作成してもよい。正常粘膜の表面構造や腫瘍の表面構造を強調することができる。
【００６１】
また、色差信号Ｃｒを用いて合成関数を算出したが、色差信号Ｃｒ以外の信号を用いても良い。
【符号の説明】
【００６２】
１００ 画像処理装置
１０１ 画像取得部
１０２ トーンカーブ作成部
１０３ 画像強調部
１０４ 画像合成部
２００ 内視鏡装置
２１０ 内視鏡スコープ
２２０ 内視鏡プロセッサ
２２１ 映像信号作成部
２２２ メモリ
２２３ 映像出力調整部
２３０ ディスプレイ
【特許請求の範囲】
【請求項１】
複数の輝度値からなる画像を取得する画像取得部と、
前記複数の輝度値から求められる計算値及び観察対象物の特性に応じて決定される変換関数を用いて前記輝度値を変換輝度値に変換する変換部とを備える画像処理装置。
【請求項２】
前記計算値は、前記複数の輝度値の最大輝度値、最小輝度値、及び平均輝度値である請求項１に記載の画像処理装置。
【請求項３】
前記変換部は、ガウス関数に基づいて前記変換関数を決定し、前記観察対象物の特性に応じてガウス関数の分散を決定する請求項１から２に記載の画像処理装置。
【請求項４】
前記変換部は、前記ガウス関数を所定の範囲において累積して得られた累積分布に基づいて前記変換関数を決定する請求項３に記載の画像処理装置。
【請求項５】
前記変換部は、前記累積分布を正規化して得られた正規化累積分布に基づいて前記変換関数を決定する請求項４に記載の画像処理装置。
【請求項６】
前記変換部は、前記正規化累積分布の最小輝度値が前記複数の輝度値の最小輝度値となるように前記正規化累積分布を変換して得られた最小側分布に基づいて、前記変換関数を決定する請求項５に記載の画像処理装置。
【請求項７】
前記変換部は、前記正規化累積分布の最大輝度値が既定の所定値よりも小さな値となるように前記正規化累積分布を変換して得られた分布に基づいて、前記変換関数を決定する請求項５又は６に記載の画像処理装置。
【請求項８】
複数の前記変換輝度値を合成して１つの合成画像を作成する合成部をさらに備え、
前記変換部は、複数の変換関数を決定し、前記複数の変換関数ごとに変換輝度値を算出し、
前記合成部は、前記複数の変換関数ごとに算出された変換輝度値を合成して１つの合成画像を作成する請求項１から７に記載の画像処理装置。
【請求項９】
前記撮像部は連続的に画像を出力し、
前記変換部は、前記撮像部が出力した画像に基づいて前記変換輝度値を連続的に出力し、
前記合成部は、前記変換部が出力した変換輝度値に基づいて前記合成画像を連続的に作成する請求項１から８に記載の画像処理装置。
【請求項１０】
複数の輝度値からなる画像を取得するステップと、
前記複数の輝度値から計算値を求めるステップと、
前記計算値及び観察対象物の特性に応じて変換関数を決定するステップと、
前記変換関数を用いて前記輝度値を変換輝度値に変換するステップとを備える画像処理方法。
【請求項１】
複数の輝度値からなる画像を取得する画像取得部と、
前記複数の輝度値から求められる計算値及び観察対象物の特性に応じて決定される変換関数を用いて前記輝度値を変換輝度値に変換する変換部とを備える画像処理装置。
【請求項２】
前記計算値は、前記複数の輝度値の最大輝度値、最小輝度値、及び平均輝度値である請求項１に記載の画像処理装置。
【請求項３】
前記変換部は、ガウス関数に基づいて前記変換関数を決定し、前記観察対象物の特性に応じてガウス関数の分散を決定する請求項１から２に記載の画像処理装置。
【請求項４】
前記変換部は、前記ガウス関数を所定の範囲において累積して得られた累積分布に基づいて前記変換関数を決定する請求項３に記載の画像処理装置。
【請求項５】
前記変換部は、前記累積分布を正規化して得られた正規化累積分布に基づいて前記変換関数を決定する請求項４に記載の画像処理装置。
【請求項６】
前記変換部は、前記正規化累積分布の最小輝度値が前記複数の輝度値の最小輝度値となるように前記正規化累積分布を変換して得られた最小側分布に基づいて、前記変換関数を決定する請求項５に記載の画像処理装置。
【請求項７】
前記変換部は、前記正規化累積分布の最大輝度値が既定の所定値よりも小さな値となるように前記正規化累積分布を変換して得られた分布に基づいて、前記変換関数を決定する請求項５又は６に記載の画像処理装置。
【請求項８】
複数の前記変換輝度値を合成して１つの合成画像を作成する合成部をさらに備え、
前記変換部は、複数の変換関数を決定し、前記複数の変換関数ごとに変換輝度値を算出し、
前記合成部は、前記複数の変換関数ごとに算出された変換輝度値を合成して１つの合成画像を作成する請求項１から７に記載の画像処理装置。
【請求項９】
前記撮像部は連続的に画像を出力し、
前記変換部は、前記撮像部が出力した画像に基づいて前記変換輝度値を連続的に出力し、
前記合成部は、前記変換部が出力した変換輝度値に基づいて前記合成画像を連続的に作成する請求項１から８に記載の画像処理装置。
【請求項１０】
複数の輝度値からなる画像を取得するステップと、
前記複数の輝度値から計算値を求めるステップと、
前記計算値及び観察対象物の特性に応じて変換関数を決定するステップと、
前記変換関数を用いて前記輝度値を変換輝度値に変換するステップとを備える画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−５８８４（Ｐ２０１３−５８８４Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３９８０７（Ｐ２０１１−１３９８０７）
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（０００１１３２６３）ＨＯＹＡ株式会社 (3,820)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（０００１１３２６３）ＨＯＹＡ株式会社 (3,820)
【Ｆターム（参考）】
[ Back to top ]