説明

画像処理装置、及び電子内視鏡システム

【課題】術者による観察又は診断を画角(又は撮影倍率)に応じて好適に補助する画像処理装置を提供すること。
【解決手段】画像処理装置を、撮影画角の情報を取得する画角取得手段と、取得された撮影画角の情報に応じたカラーマトリクス係数を取得するカラーマトリクス係数取得手段と、取得されたカラーマトリクス係数を適用して撮影画像を生成する画像生成手段と、から構成した。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カラーマトリクス係数を用いてカラー画像を生成する画像処理装置に関する。
【背景技術】
【0002】
体腔内の生体組織を撮影する電子内視鏡システムが知られており、医療現場等で実用に供されている。この種の電子内視鏡システムには、ズーム機能を搭載したものがある。特許文献1には、ズームアップ又はズームダウンの指示入力に従って撮影画像の倍率を電気的に変更する電子内視鏡システムが記載されている。
【0003】
ズーム機能付きの電子内視鏡システムの使い方の一つとして、診断目的に応じて撮影倍率を適宜変更するというものがある。診断目的が例えば病変部の有無の確認である場合、体腔内の広い範囲を撮影して病変部を探し出すため、倍率が低く設定される。発見した病変部の精査が目的である場合は病変部を拡大表示するため、倍率が高く設定される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−34544号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
電子内視鏡システムには、倍率を低く設定して体腔内の広い範囲を撮影したときに術者による病変部の有無の判断を補助するための機能が望まれる。倍率を高く設定して病変部を拡大表示させたときは、術者による病変部の的確な診断を補助するための機能が望まれる。しかし、特許文献1に記載の電子内視鏡システムをはじめとする既存の電子内視鏡システムでは、これらの要望を同時に満たす構成について何ら考慮されておらず、その具体的構成の開示、示唆が一切ない。
【0006】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、術者による観察又は診断を撮影倍率(より正確には画角)に応じて好適に補助する画像処理装置、及び電子内視鏡システムを提供することである。
【課題を解決するための手段】
【0007】
上記の課題を解決する本発明の一形態に係る画像処理装置は、撮影画角の情報を取得する画角取得手段と、取得された撮影画角の情報に応じたカラーマトリクス係数を取得するカラーマトリクス係数取得手段と、取得されたカラーマトリクス係数を適用して撮影画像を生成する画像生成手段とを有することを特徴とした装置である。
【0008】
本発明に係る画像処理装置によれば、撮影画角(又は撮影倍率)に応じたカラーマトリクス係数を用いることにより、診断目的に適合した画像の生成が行われる。診断目的に適合した色調整が自動的に行われるため、病変部の迅速かつ効率的な探索や精確な診断等に有利である。
【0009】
本発明に係る画像処理装置は、各撮影画角に対応するカラーマトリクス係数を保持するカラーマトリクス係数保持手段を有した構成としてもよい。かかる構成において、カラーマトリクス係数取得手段は、画角取得手段により取得された撮影画角の情報に応じたカラーマトリクス係数をカラーマトリクス係数保持手段から取得する。
【0010】
カラーマトリクス係数取得手段は、画角取得手段により取得された撮影画角の情報に応じた補正値を規定のカラーマトリクス係数にかけて補正する構成としてもよい。かかる構成において、画像生成手段は、補正後のカラーマトリクス係数を適用して撮影画像を生成する。
【0011】
本発明に係る画像処理装置は、撮像装置を接続する接続手段と、接続された撮影装置の撮影光学系の画角を設定する光学ズーム設定手段とを有する構成としてもよい。かかる構成において、撮影画角の情報は、光学ズーム設定手段により設定された撮影光学系の画角の情報を含む。
【0012】
本発明に係る画像処理装置は、撮影画像の画角を電気的に設定するデジタルズーム設定手段と、デジタルズーム設定手段により設定された画角に従って撮影画像を電気的に拡大又は縮小する画角変更手段とを有する構成としてもよい。かかる構成において、撮影画角の情報は、画角変更手段による撮影画像の拡大率の情報を含む。
【0013】
上記の課題を解決する本発明の一形態に係る電子内視鏡システムは、上記の何れかに記載の画像処理装置と、該画像処理装置に接続される電子スコープとを有する。電子スコープの挿入部先端には、撮影光学系が組み込まれている。
【発明の効果】
【0014】
本発明によれば、術者による観察又は診断を画角(又は撮影倍率)に応じて好適に補助する画像処理装置、及び電子内視鏡システムが提供される。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態の電子内視鏡システムの構成を示すブロック図である。
【図2】本発明の実施形態の電子スコープに搭載された固体撮像素子の画素配置を示す図である。
【図3】本発明の実施形態におけるカラーマトリクス係数を用いたカラーマトリクス演算処理のフローチャート図である。
【図4】本発明の実施形態におけるカラーマトリクス係数を用いたカラーマトリクス演算処理のフローチャート図である。
【発明を実施するための形態】
【0016】
以下、図面を参照して、本発明の実施形態の電子内視鏡システムについて説明する。
【0017】
図1は、本実施形態の電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、医療用の撮像システムであり、電子スコープ100、プロセッサ200、モニタ300を有している。電子スコープ100の基端は、プロセッサ200と接続されている。プロセッサ200は、電子スコープ100が出力する撮像信号を処理して画像を生成する画像処理装置と、自然光の届かない体腔内を電子スコープ100を介して照明する光源装置とを一体に備えた装置である。別の実施形態では、画像処理装置と光源装置とを別体で構成してもよい。
【0018】
図1に示されるように、プロセッサ200は、システムコントローラ202、タイミングコントローラ204を有している。システムコントローラ202は、電子内視鏡システム1を構成する各要素を制御する。タイミングコントローラ204は、信号の処理タイミングを調整するクロックパルスを電子内視鏡システム1内の各種回路に出力する。
【0019】
ランプ208は、ランプ電源イグナイタ206による始動後、白色光を放射する。ランプ208には、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプが適している。ランプ208から放射された照明光は、集光レンズ210によって集光されつつ絞り212を介して適正な光量に制限されて、LCB(Light Carrying Bundle)102の入射端に入射する。
【0020】
絞り212には、図示省略されたアームやギヤ等の伝達機構を介してモータ214が機械的に連結している。モータ214は例えばDCモータであり、ドライバ216のドライブ制御下で駆動する。絞り212は、モニタ300に表示される映像を適正な明るさにするため、モータ214によって動作して開度が変化して、ランプ208から放射された照明光の光量を開度に応じて制限する。適正とされる映像の明るさの基準は、術者によるフロントパネル218の輝度調節操作に応じて設定変更される。なお、ドライバ216を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては説明を省略することとする。
【0021】
フロントパネル218の構成には種々の形態が想定される。フロントパネル218の具体的構成例には、プロセッサ200のフロント面に実装された機能毎のハードウェアキーや、タッチパネル式GUI(Graphical User Interface)、ハードウェアキーとGUIとの組合せ等が想定される。
【0022】
LCB102の入射端に入射した照明光は、LCB102内を全反射を繰り返すことによって伝播する。LCB102内を伝播した照明光は、電子スコープ100の先端に配されたLCB102の射出端から射出する。LCB102の射出端から射出した照明光は、配光レンズ104を介して被写体を照明する。
【0023】
被写体からの光は、対物光学系106に入射する。対物光学系106は、複数枚のレンズで構成された変倍光学系である。図1においては、図面を簡明化する便宜上、対物光学系106を単レンズで図示し、残りのレンズの図示を省略している。
【0024】
対物光学系106の画角(別の表現によれば、ワイド端を基準とした撮影倍率)は、電子スコープ100の手元操作部(不図示)に設けられたズームボタン114を通じて設定することができる。図1においては、図面を簡明化するため、ズームボタン114と他のブロックとの結線は省略している。対物光学系106の画角(又は撮影倍率)は、フロントパネル218又はキーボード(不図示)の操作を通じて設定することもできる。
【0025】
プロセッサ200は、レンズ駆動制御部222を有している。システムコントローラ202は、ズームボタン114等の操作に応じた制御信号を生成してレンズ駆動制御部222に出力する。レンズ駆動制御部222は、制御信号に従って駆動制御信号を生成して、電子スコープ100の先端に配されたズーミング及びフォーカシング用のアクチュエータ107に出力する。
【0026】
アクチュエータ107は、例えばステッピングモータである。アクチュエータ107は、レンズ駆動制御部222による駆動制御信号に従って対物光学系106中の所定の可動レンズ群を光軸方向に移動させて、対物光学系106の画角(又は撮影倍率)を変更し又は合焦位置を調節する。システムコントローラ202は、可動レンズ群のホームポジションの検知及びアクチュエータ107の駆動ステップ数のカウントを行い、その結果に基づいて対物光学系106の画角(又は撮影倍率)を演算する。
【0027】
対物光学系106に入射した被写体からの光は、固体撮像素子108の受光面上の各画素で光学像を結ぶ。図2は、固体撮像素子108の画素配置を示す図である。図2に示されるように、固体撮像素子108は、補色市松型画素配置を有するインターレース方式の単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローYe、シアンCy、グリーンG、マゼンタMgの各補色に対応する撮像信号を得る。
【0028】
固体撮像素子108は、実質的な感度向上やフレームレート向上のため、垂直方向に隣接する2つの画素の撮像信号を加算し混合して出力する。混合信号は4通り(Wr、Gb、Wb、Gr)あり、それぞれ次のように定義される。
Wr=Mg+Ye
Gb=G+Cy
Wb=Mg+Cy
Gr=G+Ye
【0029】
固体撮像素子108は、奇数フィールドではN1ラインから混合信号Wr、Gbを出力し、N2ラインから混合信号Wb、Grを出力する。偶数フィールドにおいては、混合する組合せを変更して、N1ラインから1ラインずれたN1’ラインから混合信号Wb、Grを出力し、N2ラインから1ラインずれたN2’ラインから混合信号Wr、Gbを出力する。混合信号は、プリアンプ110による信号増幅後、ドライバ信号処理回路112を介して信号処理回路220に入力する。なお、固体撮像素子108のカラー配列は、例えばベイヤ型であってもよい。また、固体撮像素子108は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサに置き換えてもよい。
【0030】
タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【0031】
プロセッサ200は、各画角(又は撮影倍率)に対応するカラーマトリクス係数M〜Mを記憶したルックアップテーブル224を有している。ここでいう画角(又は撮影倍率)には、対物光学系106の光学的な画角(又は撮影倍率)の他、信号処理回路220が有するデジタルズーム機能で電気的に変更される画角(又は撮影倍率)が含まれる。更には、対物光学系106による光学ズームとデジタルズームとを組み合わせた際の画角(又は撮影倍率)も含まれる。デジタルズームによる画角(又は撮影倍率)は、画像の一部分を切り取って規定の表示サイズ(元画像の表示サイズ)まで引き伸ばした際の拡大率に従って決まる。
【0032】
デジタルズームによる画角(又は撮影倍率)も光学ズームと同じく、ズームボタン114、フロントパネル218、キーボードの操作を通じて設定することができる。システムコントローラ202は、光学ズーム単独の画角(又は撮影倍率)、デジタルズーム単独の画角(又は撮影倍率)、光学ズームとデジタルズームの両方で決まる合計の画角(又は撮影倍率)を演算し保持している。
【0033】
図3、図4は、カラーマトリクス係数M〜Mを用いたカラーマトリクス演算処理のフローチャート図である。図3は、光学ズーム単独で画角(又は撮影倍率)が変更されたときに実行される処理のフローチャートを示し、図4は、デジタルズーム単独で画角(又は撮影倍率)が変更されたときに実行される処理のフローチャートを示す。説明の便宜上、本明細書中の説明並びに図面において、処理ステップは「S」と省略して記す。
【0034】
図3に示すカラーマトリクス演算処理は、ズームボタン114等による光学ズームの画角(又は撮影倍率)変更操作が行われると実行が開始される。
【0035】
図3のS1の処理では、対物光学系106の可動レンズ群のホームポジションに対するシフト量l(アクチュエータ107の駆動ステップ数)が検知される。すなわち、操作の結果変更された光学ズームの現在の画角(又は撮影倍率)が検知される。なお、図3に示すカラーマトリクス演算処理の実行途中で光学ズームの画角(又は撮影倍率)変更操作が行われると、処理がS1に強制的に戻る。
【0036】
図3のS2の処理では、エラー検知の一つとして、シフト量lが所定範囲Rに収まるか否かが判定される(Lmin<l<Lmax)。所定範囲Rは、対物光学系106の可動レンズ群の仕様上の全移動範囲である。シフト位置Lminはワイド端に対応し、シフト位置Lmaxはテレ端に対応する。シフト量lが所定範囲Rから外れる場合はエラーとなり、本フローチャートの処理が終了する(S2:NO、END)。シフト量lが所定範囲Rに収まる場合は(S2:YES)、次の処理に進む。
【0037】
ルックアップテーブル224では、所定範囲Rをn個の群に分割して管理している。例えば所定範囲Rがアクチュエータ107の駆動ステップ数0〜Mに対応する範囲である場合、駆動ステップ数0〜9に対応する範囲を第一群とし、駆動ステップ数10〜19に対応する範囲を第二群とし、・・・駆動ステップ数M−9〜Mに対応する範囲を第n群として管理している。
【0038】
図3のS3の処理では、変数iが0にリセットされる。図3のS4の処理では、変数iが1インクリメントされる。図3のS5の処理では、変数iがn以下であるか否かが判定される。変数iがnより大きい場合はエラーとなり、本フローチャートの処理が終了する(S5:NO、END)。変数iがn以下の場合は(S5:YES)、次の処理に進む。
【0039】
図3のS6の処理では、所定範囲Rの第i群の最小シフト位置Li_min、最大シフト位置Li_maxがルックアップテーブル224から読み出される。
【0040】
図3のS7の処理では、シフト量lが最小シフト位置Li_minを下限とし、最大シフト位置Li_maxを上限とする第i群の範囲に収まるか否かが判定される(Li_min<l<Li_max)。シフト量lが第i群の範囲に収まらない場合は(S7:NO)、シフト量lが次の群に収まるか否かを判定するため、処理をS4に戻す。シフト量lが第i群の範囲に収まる場合は(S7:YES)、次の処理に進む。
【0041】
図3のS8の処理では、シフト量lが収まる第i群に対応するカラーマトリクス係数Mをルックアップテーブル224から読み出す。
【0042】
図3のS9の処理では、信号処理回路220によるカラーマトリクス演算が行われる。カラーマトリクス演算では、次式に示す通り、ドライバ信号処理回路112からの混合信号(Wr、Gb、Wb、Gr)がカラーマトリクス係数Mで乗算されて、原色信号(R、G、B)に変換される。S9の処理の実行後、本フローチャートの処理が終了する(図3のEND)。
【数1】

【0043】
図4に示すカラーマトリクス演算処理は、ズームボタン114等によるデジタルズームの画角(又は撮影倍率)変更操作が行われると実行が開始される。なお、図4において、図3に示すカラーマトリクス演算処理と同一又は同様の処理については説明を簡略又は省略する。
【0044】
システムコントローラ202は、デジタルズームによる画像の拡大率xをズームボタン114等によるデジタルズームに対する操作量から演算し保持している。図4のS11の処理では、演算・保持されている拡大率xの情報が呼び出される。すなわち、操作の結果変更されたデジタルズームの現在の画角(又は撮影倍率)が呼び出される。なお、図4に示すカラーマトリクス演算処理の実行途中でデジタルズームの画角(又は撮影倍率)変更操作が行われると、処理がS11に強制的に戻る。
【0045】
図4のS12の処理では、エラー検知の一つとして、拡大率x(より正確には拡大率xを画角に換算した値X)が所定範囲R’に収まるか否かが判定される(Xmin<X<Xmax)。所定範囲R’は、デジタルズーム機能で変更可能な画角(又は撮影倍率)の範囲であり、ルックアップテーブル224においてn個の群に分割されて管理されている。値Xが所定範囲R’から外れる場合はエラーとなり、本フローチャートの処理が終了する(S12:NO、END)。値Xが所定範囲R’に収まる場合は(S12:YES)、次の処理に進む。
【0046】
図4のS13〜15の処理は、図3のS3〜5の処理と同じである。図4のS16の処理では、所定範囲R’の第i群に属する最小の画角(又は最小の撮影倍率)Xi_min、最大の画角(又は最大の撮影倍率)Xi_maxがルックアップテーブル224から読み出される。
【0047】
図4のS17の処理では、値Xが最小の画角(又は最小の撮影倍率)Xi_minを下限とし、最大の画角(又は最大の撮影倍率)Xi_maxを上限とする第i群の範囲に収まるか否かが判定される(Xi_min<x<Xi_max)。値Xが第i群の範囲に収まらない場合は(S17:NO)、値Xが次の群に収まるか否かを判定するため、処理をS14に戻す。値Xが第i群の範囲に収まる場合は(S17:YES)、次の処理に進む。
【0048】
図4のS18の処理では、値Xが収まる第i群に対応するカラーマトリクス係数Mをルックアップテーブル224から読み出す。
【0049】
図4のS19の処理では、図3のS9の処理と同じく信号処理回路220によるカラーマトリクス演算が行われる。S19の処理の実行後、本フローチャートの処理が終了する(図4のEND)。
【0050】
なお、光学ズームとデジタルズームの併用時に実行されるカラーマトリクス演算処理においては、所定範囲R又は所定範囲R’に代わり、両者のズームの併用時に最大限変更可能な画角(又は撮影倍率)に対応する範囲(所定範囲Rと所定範囲R’の合計範囲)が適用される。カラーマトリクス係数M〜Mは、上記合計範囲に対応して用意されている。カラーマトリクス演算に用いられるカラーマトリクス係数Mは、両者のズームの併用時の画角(又は撮影倍率)が上記合計範囲の何れの群に属するかによって決まる。
【0051】
信号処理回路220は、カラーマトリクス係数Mに依存して変動する原色信号(R、G、B)の黒レベルの補正、γ補正、ブランキング等の所定の信号処理を行う。信号処理回路220は、所定の信号処理後の原色信号(R、G、B)を輝度信号Y、色差信号Cb、Crに変換する。信号処理回路220は、輝度信号Y、色差信号Cb、CrをNTSC(National Television System Committee)やPAL(Phase Alternating Line)等の所定の規格に準拠した映像信号として、モニタ300に出力する。映像信号がモニタ300に順次入力することにより、被写体の画像がモニタ300の表示画面上に表示される。
【0052】
ここで、カラーマトリクス係数M〜Mは、画角(又は撮影倍率)に応じて最適に設定されている。例えば病変部の有無の確認を目的とする場合、体腔内の広い範囲を一度に撮影するのが迅速かつ効率的な診断につながり、手技に対する患者の負担を考慮すると好適である。発見した病変部の診断を目的とする場合は、病変部を大きく表示させるのが精確な診断につながり、好適である。そこで、広い画角(又は低い撮影倍率)に対応するカラーマトリクス係数は、病変部を他の組織に対して強調した色で表示するように設定されている。例えば正常粘膜部分に対しては赤を抑えると共に血管が集中する病変部分に対しては赤を強調することで病変部分を強調する。狭い画角(又は高い撮影倍率)に対応するカラーマトリクス係数は、病変部の微細構造が術者の眼に高い視認性をもって映るのに最適な色となるように設定されている。例えば画面全体に病変部分を映すことが想定されるため、赤を単純に強調するのではなく、赤をより多くの階調で表示するようにする。
【0053】
従来は常に同一の(単一の)カラーマトリクス係数を用いて画像の生成が行われていたところ、本実施形態では、各画角(又は撮影倍率)に対応するカラーマトリクス係数が用意されており、診断目的に適合した適切なカラーマトリクス係数を用いた画像の生成が行われる。診断目的に適合した色調整が自動的に行われるため、病変部の迅速かつ効率的な探索や精確な診断等に有利である。
【0054】
以上が本発明の実施形態の説明である。本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能である。例えば別の実施形態では、複数のカラーマトリクス係数M〜Mを単一のカラーマトリクス係数Mに代えてもよい。カラーマトリクス係数Mを用いたカラーマトリクス演算は、次式に示される通りである。
【数2】

【0055】
上記の式に示される各項の補正値aは、画角(又は撮影倍率)とリニアの関係にある値であり、画角(又は撮影倍率)に伴い変化する。カラーマトリクス演算では、現在の画角(又は撮影倍率)に対応する補正値aを所定の線形関数を用いて計算した上で、カラーマトリクス係数Mを算出する。このようにして計算されたカラーマトリクス係数Mを用いてカラーマトリクス演算が行われる。なお、画角(又は撮影倍率)と係数aはリニアな関係に限らず、非線形な関係であってもよい。
【符号の説明】
【0056】
1 電子内視鏡システム
100 電子スコープ
114 ズームボタン
200 プロセッサ
220 信号処理回路
222 レンズ駆動制御部
224 ルックアップテーブル

【特許請求の範囲】
【請求項1】
撮影画角の情報を取得する画角取得手段と、
前記取得された撮影画角の情報に応じたカラーマトリクス係数を取得するカラーマトリクス係数取得手段と、
前記取得されたカラーマトリクス係数を適用して撮影画像を生成する画像生成手段と、
を有することを特徴とする画像処理装置。
【請求項2】
各撮影画角に対応するカラーマトリクス係数を保持するカラーマトリクス係数保持手段
を有し、
前記カラーマトリクス係数取得手段は、前記画角取得手段により取得された撮影画角の情報に応じたカラーマトリクス係数を前記カラーマトリクス係数保持手段から取得することを特徴とする、請求項1に記載の画像処置装置。
【請求項3】
前記カラーマトリクス係数取得手段は、前記画角取得手段により取得された撮影画角の情報に応じた補正値を規定のカラーマトリクス係数にかけて補正し、
前記画像生成手段は、補正後のカラーマトリクス係数を適用して撮影画像を生成することを特徴とする、請求項1に記載の画像処理装置。
【請求項4】
撮像装置を接続する接続手段と、
前記接続された撮影装置の撮影光学系の画角を設定する光学ズーム設定手段と、
を有し、
前記撮影画角の情報は、前記光学ズーム設定手段により設定された前記撮影光学系の画角の情報を含むことを特徴とする、請求項1から請求項3の何れか一項に記載の画像処理装置。
【請求項5】
撮影画像の画角を電気的に設定するデジタルズーム設定手段と、
前記デジタルズーム設定手段により設定された画角に従って前記撮影画像を電気的に拡大又は縮小する画角変更手段と、
を有し、
前記撮影画角の情報は、前記画角変更手段による前記撮影画像の拡大率の情報を含むことを特徴とする、請求項1から請求項4の何れか一項に記載の画像処理装置。
【請求項6】
請求項1から請求項5の何れか一項に記載の画像処理装置と、
前記画像処理装置に接続される、挿入部先端に撮影光学系が組み込まれた電子スコープと、
を有することを特徴とする電子内視鏡システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2012−200505(P2012−200505A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−69882(P2011−69882)
【出願日】平成23年3月28日(2011.3.28)
【出願人】(000113263)HOYA株式会社 (3,820)
【Fターム(参考)】