撮像装置、及び電子内視鏡システム
【課題】固体撮像素子で発生する漏れ込みによる画質の劣化を改善するのに好適な撮像装置を提供すること。
【解決手段】撮像装置を、カラーフィルタを持ち、被写体のカラー画像を撮像する固体撮像素子と、該固体撮像素子が出力する撮像信号を処理してモニタ表示可能なカラー画像を生成する画像生成部であって、該固体撮像素子の各画素が周辺画素に及ぼす光学的な又は電気的な混色による画素値変動を除去する画素値変動除去演算を所定の視感度補正処理前に行う画像生成部と、から構成した。
【解決手段】撮像装置を、カラーフィルタを持ち、被写体のカラー画像を撮像する固体撮像素子と、該固体撮像素子が出力する撮像信号を処理してモニタ表示可能なカラー画像を生成する画像生成部であって、該固体撮像素子の各画素が周辺画素に及ぼす光学的な又は電気的な混色による画素値変動を除去する画素値変動除去演算を所定の視感度補正処理前に行う画像生成部と、から構成した。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、被写体のカラー画像を撮像する撮像装置、及び該撮像装置を有する電子内視鏡システムに関連し、詳しくは、固体撮像素子の各画素が周辺画素に及ぼす光学的な又は電気的な原因で画質が劣化するという不具合を改善するのに好適な撮像装置、及び電子内視鏡システムに関する。
【背景技術】
【０００２】
近年、固体撮像素子を搭載した撮像装置が広く普及している。この種の撮像装置の具体的構成例が特許文献１に記載されている。特許文献１に記載の撮像装置は、色差順次方式のカラーフィルタを有する単板式ＣＣＤ（Charge Coupled Device）イメージセンサを備えている。当該撮像装置は、Ｍｇ信号の分光感度補正を行うことによって色再現性の改善を試みている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−３３６６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、固体撮像素子には、受光面に対して垂直な光だけが入射するとは限らない。受光面に対して角度をもって入射する光も存在する。その中でも入射角が特に大きい光は、カラーフィルタを斜めに透過して周辺画素に入射する虞がある。この場合、混色が生じるという不具合が指摘される。また、波長が長い光ほど受光素子の深い位置まで進達する。固体撮像素子においては、深い位置に進達して発生した電荷ほど周辺画素に漏れやすいという特性がある。このように、周辺画素に電荷が漏れた場合も混色が生じるという不具合が指摘される。
【０００５】
以降の本明細書中では、ここで説明した光学的な又は電気的な原因で周辺画素に悪影響を及ぼして混色を生じさせる現象を「漏れ込み」と記す。漏れ込みは、固体撮像素子の小型化や多画素化に伴って画素配置が高密度化するほど生じやすくなり、無視できない問題となっている。
【０００６】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、固体撮像素子で発生する漏れ込みによる画質の劣化を改善するのに好適な撮像装置、及び該撮像装置を有する一形態としての電子内視鏡システムを提供することである。
【課題を解決するための手段】
【０００７】
上記の課題を解決する本発明の一形態に係る撮像装置は、カラーフィルタを持ち、被写体のカラー画像を撮像する固体撮像素子と、該固体撮像素子が出力する撮像信号を処理してモニタ表示可能なカラー画像を生成する画像生成部とを有する。画像生成部は、固体撮像素子の各画素が周辺画素に及ぼす光学的な又は電気的な混色による画素値変動を、つまり、漏れ込みの影響を除去する画素値変動除去演算を所定の視感度補正処理前に行うことを特徴とする。
【０００８】
上記の画素値変動除去演算を行って理想的な画素値を推定した上で画像を生成することで、漏れ込みによる画質劣化、例えば色再現性の劣化や、被写体の色に応じた色ずれ量の変動、解像度の低下等が効果的に抑えられる。また、ホワイトバランスの調整が困難になるという弊害も有効に避けられる。
【０００９】
画像生成部は、視感度補正処理前の所定の色補間処理前に画素値変動除去演算を行う構成としてもよい。このように、色補間処理に先立って画素値変動除去演算を行う構成を採用した場合、色補間処理以降を既存と同一のプロセスとすることができ、回路設計が容易になる。
【００１０】
上記の課題を解決する本発明の一形態に係る電子内視鏡システムは、カラーフィルタを持ち、被写体のカラー画像を撮像する固体撮像素子を備える電子スコープと、該固体撮像素子が出力する撮像信号を処理してモニタ表示可能なカラー画像を生成する画像生成部を備えるプロセッサとを有する。画像生成部は、固体撮像素子の各画素が周辺画素に及ぼす光学的な又は電気的な混色による画素値変動を、つまり、漏れ込みの影響を除去する画素値変動除去演算を所定の視感度補正処理前に行うことを特徴とする。画像生成部は、例えば、視感度補正処理前の所定の色補間処理前に画素値変動除去演算を行う構成としてもよい。
【発明の効果】
【００１１】
本発明によれば、固体撮像素子で発生する漏れ込みによる画質の劣化を改善するのに好適な撮像装置、及び該撮像装置を有する一形態としての電子内視鏡システムが提供される。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態の電子内視鏡システムの外観図である。
【図２】本発明の実施形態の電子内視鏡システムの構成を示すブロック図である。
【図３】本発明の実施形態のプロセッサが有する信号処理回路及びその周辺の構成を示すブロック図である。
【図４】本発明の実施形態の逆漏れ込みマトリクス回路による逆マトリクス処理を説明するための漏れ込みモデルである。
【図５】漏れ込みの影響を除去しない場合と除去する場合との固体撮像素子の分光特性を比較検討するための図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施形態の撮像装置を搭載した電子内視鏡システムについて説明する。なお、本実施形態の電子内視鏡システムは、当該撮像装置を搭載する具体的構成の一例に過ぎない。本発明に係る撮像装置は、デジタルカメラやカムコーダ等の固体撮像素子を有する各種機器に搭載することができる。
【００１４】
図１は、本実施形態の電子内視鏡システム１の外観図である。図１に示されるように、電子内視鏡システム１は、被写体を撮影するための電子スコープ１００を有している。電子スコープ１００は、可撓性を有するシース（外皮）１１ａによって外装された可撓管１１を備えている。可撓管１１の先端には、硬質性を有する樹脂製筐体によって外装された先端部１２が連結されている。可撓管１１と先端部１２との連結箇所にある湾曲部１４は、可撓管１１の基端に連結された手元操作部１３からの遠隔操作（具体的には、湾曲操作ノブ１３ａの回転操作）によって屈曲自在に構成されている。この屈曲機構は、一般的な電子スコープに組み込まれている周知の機構であり、湾曲操作ノブ１３ａの回転操作に連動した操作ワイヤの牽引によって湾曲部１４を屈曲させるように構成されている。先端部１２の方向が上記操作による屈曲動作に応じて変わることにより、電子スコープ１００による撮影領域が移動する。
【００１５】
図１に示されるように、電子内視鏡システム１は、プロセッサ２００を有している。プロセッサ２００は、電子スコープ１００からの信号を処理する信号処理装置と、自然光の届かない体腔内を電子スコープ１００を介して照明する光源装置とを一体に備えた装置である。別の実施形態では、信号処理装置と光源装置とを別体で構成してもよい。
【００１６】
プロセッサ２００には、電子スコープ１００の基端に設けられたコネクタ部１０に対応するコネクタ部２０が設けられている。コネクタ部２０は、コネクタ部１０に対応する連結構造を有し、電子スコープ１００とプロセッサ２００とを電気的にかつ光学的に接続するように構成されている。
【００１７】
図２は、電子内視鏡システム１の構成を示すブロック図である。図２に示されるように、電子内視鏡システム１は、所定のケーブルを介してプロセッサ２００に接続されたモニタ３００を有している。なお、図１においては、図面を簡略化するため、モニタ３００を図示省略している。
【００１８】
図２に示されるように、プロセッサ２００は、システムコントローラ２０２、タイミングコントローラ２０４を有している。システムコントローラ２０２は、電子内視鏡システム１を構成する各要素を制御する。タイミングコントローラ２０４は、信号の処理タイミングを調整するクロックパルスを電子内視鏡システム１内の各種回路に出力する。
【００１９】
ランプ２０８は、ランプ電源イグナイタ２０６による始動後、白色光を放射する。ランプ２０８には、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプが適している。ランプ２０８から放射された照明光は、集光レンズ２１０によって集光されつつ絞り２１２を介して適正な光量に制限されて、ＬＣＢ（light carrying bundle）１０２の入射端に入射する。
【００２０】
絞り２１２には、図示省略されたアームやギヤ等の伝達機構を介してモータ２１４が機械的に連結している。モータ２１４は例えばＤＣモータであり、ドライバ２１６のドライブ制御下で駆動する。絞り２１２は、モニタ３００に表示される映像を適正な明るさにするため、モータ２１４によって動作して開度が変化して、ランプ２０８から放射された照明光の光量を開度に応じて制限する。適正とされる映像の明るさの基準は、術者によるフロントパネル２１８の輝度調節操作に応じて設定変更される。なお、ドライバ２１６を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。
【００２１】
ＬＣＢ１０２の入射端に入射した照明光は、ＬＣＢ１０２内を全反射を繰り返すことによって伝播する。ＬＣＢ１０２内を伝播した照明光は、電子スコープ１００の先端に配されたＬＣＢ１０２の射出端から射出する。ＬＣＢ１０２の射出端から射出した照明光は、配光レンズ１０４を介して被写体を照明する。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上の各画素で光学像を結ぶ。
【００２２】
固体撮像素子１０８は、ＩＲ（InfraRed）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面前面に配置された単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであり、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ、Ｇ、Ｂの各色に応じた撮像信号に変換する。変換された撮像信号は、ドライバ信号処理回路１１２に入力してＡＤ変換、信号増幅等の処理後、信号処理回路（画像生成部）２２０に出力される。なお、別の実施形態では、固体撮像素子１０８は、ＣＭＯＳイメージセンサに限らず、ＣＣＤイメージセンサであってもよい。
【００２３】
ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。電子スコープ１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、対応可能なレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４から読み出した固有情報をシステムコントローラ２０２に出力する。
【００２４】
システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続中の電子スコープに適した処理がされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。なお、システムコントローラ２０２は、電子スコープの型番と、この型番の電子スコープに適した制御情報とを対応付けたテーブルを有した構成としてもよい。この場合、システムコントローラ２０２は、対応テーブルの制御情報を参照して、プロセッサ２００に接続中の電子スコープに適した処理がされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。
【００２５】
タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０４から供給さるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【００２６】
図３は、信号処理回路２２０及びその周辺の構成を示すブロック図である。ドライバ信号処理回路１１２が出力した撮像信号は、図３に示されるように、信号処理回路２２０が有する逆漏れ込みマトリクス回路２２０ａに入力する。逆漏れ込みマトリクス回路２２０ａに入力した撮像信号は、逆漏れ込みマトリクス回路２２０ａによる逆マトリクス処理後、色補間回路２２０ｂに入力する。
【００２７】
逆漏れ込みマトリクス回路２２０ａによる逆マトリクス処理について説明する。逆マトリクス処理は、上述した漏れ込みによる画質に対する悪影響を抑制するのに好適である。ここでいう悪影響には、例えば、色再現性の劣化や、被写体の色に応じた色ずれ量の変動、解像度の低下などが挙げられる。また、ホワイトバランスの調整が困難になるという弊害も悪影響として挙げられる。
【００２８】
図４は、逆漏れ込みマトリクス回路２２０ａによる逆マトリクス処理を説明するための漏れ込みモデルである。図４の各ブロックは、ベイヤ型画素配置を模式的に示している。逆マトリクス処理の説明は、図４に示される画素Ｒ５に着目して行う。画素Ｒ５から各周辺画素（画素Ｂ１、Ｇ４、Ｂ２、Ｇ６、Ｇ７、Ｂ３、Ｇ９、Ｂ４）への漏れ込み、又はこれら周辺画素から画素Ｒ５への漏れ込みは、図４中矢印で視覚化して模式的に表現している。なお、画素Ｒ５に着目して行う説明の中では、便宜上、画素Ｒ５とその周辺画素との間の直接的な漏れ込み（つまり、図４中矢印で表現した漏れ込み）以外の漏れ込みは考慮しない。
【００２９】
漏れ込みを考慮した実測的な画素値には当該画素と同一の符号を付し、漏れ込みが無い場合の理想的な画素値には当該符号に更に０を付す。例えば画素Ｒ５の場合は、実測画素値に符号Ｒ５を付し、理想画素値に符号Ｒ５０を付す。画素Ｒ５から各周辺画素への漏れ込みによる変動画素値をＲ５outと定義し、各周辺画素から画素Ｒ５への漏れ込みによる変動画素値をＲ５inと定義した場合、次の式（１）が満たされる。
Ｒ５０＝Ｒ５＋Ｒ５out−Ｒ５in・・・（１）
【００３０】
変動画素値Ｒ５outは、画素Ｇ４、Ｇ９への漏れ込み量をＲα・Ｒ５０と定義し、画素Ｇ６、Ｇ７への漏れ込み量をＲβ・Ｒ５０と定義し、画素Ｂ１、Ｂ２、Ｂ３、Ｂ４への漏れ込み量をＲγ・Ｒ５０と定義した場合に、次の式（２）で表される。
Ｒ５out＝（２Ｒα＋２Ｒβ＋４Ｒγ）Ｒ５０・・・（２）
なお、固体撮像素子１０８の各画素の配置は、上下、左右、斜めの各々で空間的に均一である。上記の漏れ込み量は、着目画素から等距離に位置する各隣接画素では着目画素からの漏れ込み量が同一であるという仮定に基づいて定義されている。
【００３１】
変動画素値Ｒ５inは、画素Ｇ４、Ｇ９からの漏れ込み量をＧ’α（Ｇ４０＋Ｇ９０）と定義し、画素Ｇ６、Ｇ７からの漏れ込み量をＧβ（Ｇ６０＋Ｇ７０）と定義し、画素Ｂ１、Ｂ２、Ｂ３、Ｂ４からの漏れ込み量をＢγ（Ｂ１０＋Ｂ２０＋Ｂ３０＋Ｂ４０）と定義した場合に、次の式（３）で表される。なお、Ｒ画素を持つ水平ラインに含まれるＧの画素値に関する係数をＧで表現し、Ｂ画素を持つ水平ラインに含まれるＧの画素値に関する係数をＧ’で表現している。
Ｒ５in＝Ｇ’α（Ｇ４０＋Ｇ９０）＋Ｇβ（Ｇ６０＋Ｇ７０）＋Ｂγ（Ｂ１０＋Ｂ２０＋Ｂ３０＋Ｂ４０）・・・（３）
なお、各隣接画素からの漏れ込み量を規定する係数（つまり、隣接画素の画素値に基づく漏れ込み量の程度）は、着目画素から等距離に位置する各隣接画素では同一であるという仮定に基づいて定められている。
【００３２】
理想画素値と実測画素値との差は微差であるため、近似することができる。式（２）、（３）は、近似により次の式（４）、（５）で表される。
Ｒ５out≒（２Ｒα＋２Ｒβ＋４Ｒγ）Ｒ５・・・（４）
Ｒ５in≒Ｇ’α（Ｇ４＋Ｇ９）＋Ｇβ（Ｇ６＋Ｇ７）＋Ｂγ（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）・・・（５）
【００３３】
式（１）に式（４）、（５）を代入すると、次の式（６）が満たされる。
【数１】
【００３４】
式（６）右辺の実測画素値は既知であるため、式（６）右辺の各係数を求めることにより、漏れ込みが発生する前の理想画素値Ｒ５０を推定することができる。説明の便宜上、この係数項を「逆漏れ込みマトリクス」と記す。
【００３５】
固体撮像素子１０８の全ての画素の理想画素値を推定するためには、一のＲ、Ｂ画素、二のＧ画素を持つ２×２の正方行列（つまり、ベイヤ配列の一単位）の逆漏れ込みマトリクスを求める必要がある。ここでは、画素Ｒ５と一単位を構成する画素Ｇ７、Ｇ９、Ｂ４の逆漏れ込みマトリクスを、画素Ｒ５の場合と同様の方法で求める。
【００３６】
画素Ｇ７から画素Ｂ２、Ｂ４への漏れ込み量をＧα・Ｇ７０と定義し、画素Ｇ７から画素Ｒ５、Ｒ６への漏れ込み量をＧβ・Ｇ７０と定義し、画素Ｇ７から画素Ｇ４、Ｇ５、Ｇ９、Ｇ１０への漏れ込み量をＧγ・Ｇ７０と定義し、画素Ｂ２、Ｂ４から画素Ｇ７への漏れ込み量をＢα（Ｂ２０＋Ｂ４０）と定義し、画素Ｒ５、Ｒ６から画素Ｇ７への漏れ込み量をＲβ（Ｒ５０＋Ｒ６０）と定義し、画素Ｇ４、Ｇ５、Ｇ９、Ｇ１０から画素Ｇ７への漏れ込み量をＧ’γ（Ｇ４０＋Ｇ５０＋Ｇ９０＋Ｇ１００）と定義した場合に、次の式（７）が満たされる。
【数２】
【００３７】
画素Ｇ９から画素Ｒ５、Ｒ８への漏れ込み量をＧ’α・Ｇ９０と定義し、画素Ｇ９から画素Ｂ３、Ｂ４への漏れ込み量をＧ’β・Ｇ９０と定義し、画素Ｇ９から画素Ｇ６、Ｇ７、Ｇ１１、Ｇ１２への漏れ込み量をＧ’γ・Ｇ９０と定義し、画素Ｒ５、Ｒ８から画素Ｇ９への漏れ込み量をＲα（Ｒ５０＋Ｒ８０）と定義し、画素Ｂ３、Ｂ４から画素Ｇ９への漏れ込み量をＢβ（Ｂ３０＋Ｂ４０）と定義し、画素Ｇ６、Ｇ７、Ｇ１１、Ｇ１２から画素Ｇ９への漏れ込み量をＧγ（Ｇ６０＋Ｇ７０＋Ｇ１１０＋Ｇ１２０）と定義した場合に、次の式（８）が満たされる。
【数３】
【００３８】
画素Ｂ４から画素Ｇ７、Ｇ１２への漏れ込み量をＢα・Ｂ４０と定義し、画素Ｂ４から画素Ｇ９、Ｇ１０への漏れ込み量をＢβ・Ｂ４０と定義し、画素Ｂ４から画素Ｒ５、Ｒ６、Ｒ８、Ｒ９への漏れ込み量をＢγ・Ｂ４０と定義し、画素Ｇ７、Ｇ１２から画素Ｂ４への漏れ込み量をＧα（Ｇ７０＋Ｇ１２０）と定義し、画素Ｇ９、Ｇ１０から画素Ｂ４への漏れ込み量をＧ’β（Ｇ９０＋Ｇ１００）と定義し、画素Ｒ５、Ｒ６、Ｒ８、Ｒ９から画素Ｂ４への漏れ込み量をＲγ（Ｒ５０＋Ｒ６０＋Ｒ８０＋Ｒ９０）と定義した場合に、次の式（９）が満たされる。
【数４】
【００３９】
式（６）〜（９）を一式にまとめると、次の式（１０）が導かれる。
【数５】
【００４０】
式（１０）の符号Ｃは、ベイヤ配列の一単位の逆漏れ込みマトリクスを示している。逆漏れ込みマトリクスＣに含まれる未知の係数（具体的には、Ｒα、Ｒβ、Ｒγ、Ｇα、Ｇβ、Ｇγ、Ｇ’α、Ｇ’β、Ｇ’γ、Ｂα、Ｂβ、Ｂγの１２の係数）を求めることにより、固体撮像素子１０８の全ての画素の理想画素値の推定値を算出することができる。これらの未知の係数は、例えば製造段階で試験や計測等を重ねることによって予め求められる。
【００４１】
逆漏れ込みマトリクス回路２２０ａは、ドライバ信号処理回路１１２からの撮像信号（つまり、実測画素値）に対して逆漏れ込みマトリクスＣによるマトリクス変換を行い、漏れ込みが発生していない状態の撮像信号の推定値（つまり、理想画素値）を算出して色補間回路２２０ｂに出力する。
【００４２】
色補間回路２２０ｂは、各画素につき周辺画素の情報を用いて補間演算を行い、各画素の撮像信号にＲＧＢの３つの色情報を持たせる。色補間処理後の撮像信号は、マトリクス回路２２０ｃに入力してマトリクス演算（ＲＧＢの各色に対する視感度補正処理）が施された後、ＲＧＢの色信号別にフレームメモリ２２０Ｒ、２２０Ｇ、２２０Ｂにフレーム単位でバッファリングされる。バッファリングされた各色信号は、タイミングコントローラ２０４によって制御されたタイミングで各フレームメモリから掃き出されて、ＤＡコンバータ２２０ｄによるＤＡ変換後、エンコーダ２２０ｅによってＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）等の所定の規格に準拠した映像信号に変換される。変換された映像信号がモニタ３００に順次入力することにより、被写体のカラー画像がモニタ３００の表示画面上に表示される。
【００４３】
マトリクス回路２２０ｃによるマトリクス演算後のＲＧＢの色信号は、Ｙ／Ｃ分離回路２２０ｆにも入力する。Ｙ／Ｃ分離回路２２０ｆは、入力したＲＧＢの色信号を輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換して画像圧縮回路２２０ｇに出力する。画像圧縮回路２２０ｇは、入力した輝度信号Ｙ、色差信号Ｃｂ、ＣｒをＪＰＥＧ（Joint Photographic Experts Group）等のフォーマットで圧縮して、プロセッサ２００のカードスロット２２２に差し込まれたメモリカード４００に保存する。
【００４４】
図５（ａ）は、漏れ込みの影響を除去しない場合の（つまり、図３に示す信号処理回路２２０から逆漏れ込みマトリクス回路２２０ａを取り除いた構成の場合の）固体撮像素子１０８の分光特性を示す図である。図５（ｂ）は、漏れ込みの影響を除去した場合の（つまり、信号処理回路２２０が図３に示す構成の場合の）固体撮像素子１０８の分光特性を示す図である。図５（ａ）、（ｂ）の各図の縦軸は、正規化された強度を示し、横軸は、波長（単位：ｎｍ）を示す。
【００４５】
逆漏れ込みマトリクス回路２２０ａによる逆マトリクス処理を行わずに色補間以降の処理を行った場合は、一部の分光特性（ここではＢ、Ｒ）が劣化する。例えば、Ｂの分光特性は、図５（ａ）に示されるように、５００ｎｍを超えた辺りで漸進的に低下すべきところ、殆ど低下しない又は急激に低下する領域が存在する。Ｒの分光特性についても、図５（ａ）に示されるように、５００ｎｍを超えた辺りで漸進的に増加すべきところ、殆ど増加しない又は急激に増加する領域が存在する。そのため、色再現性の劣化や、被写体の色に応じた色ずれ量の変動、解像度の低下、ホワイトバランスの調整に関する弊害などの種々の悪影響が抑えられない。
【００４６】
逆漏れ込みマトリクス回路２２０ａによる逆マトリクス処理後に色補間以降の処理を行った場合は、分光特性が改善する。具体的には、ＲＧＧ’Ｂの何れの分光特性も、図５（ｂ）に示されるように、ピークを中心として漸進的に増加し又は低下する。そのため、色再現性の劣化や、被写体の色に応じた色ずれ量の変動、解像度の低下、ホワイトバランスの調整に関する弊害などの種々の悪影響が効果的に抑えられる。逆漏れ込みマトリクス回路２２０ａによる逆マトリクス処理を行うことにより、漏れ込みによる画質劣化が改善された画像がモニタ３００に表示されたりメモリカード４００に保存されたりすることとなる。附言するに、従来であれば、カラーチャートを用いて行った色設計に適さない配色等の被写体を撮像した場合は、各画素の漏れ込みによる色変化が設計時の想定とは異なるという不具合があった。しかし、本実施形態によれば、色補間回路２２０ｂ以降の回路は、逆マトリクス処理によって漏れ込みによる色変化の影響が除去されているため、色設計に適合した色を処理することができる。すなわち、本実施形態の構成を採用することで、漏れ込みによる色変化を考慮する必要が無くなり、色設計が容易になるという効果が奏される。
【００４７】
以上が本発明の実施形態の説明である。本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能である。例えば本実施形態では、色補間処理前に（つまり、各画素が複数の色情報を持つ前に）逆マトリクス処理を行うことで、逆漏れ込みマトリクス回路２２０ａの後段を既存と同一の構成にし、設計容易性の向上を達成している。但し、マトリクス回路２２０ｃの前段であれば色補間回路２２０ｂの後段に（例えば色補間回路２２０ｂとマトリクス回路２２０ｃとの間に）逆漏れ込みマトリクス回路２２０ａを配置しても、逆マトリクス処理による画質改善は達成することができる。
【００４８】
ベイヤ配列カラーフィルタ１０８ｂは、本実施形態では原色フィルタであるが、別の実施形態では補色フィルタとしてもよい。
【００４９】
逆漏れ込みマトリクス回路２２０ａは、本実施形態ではプロセッサ２００が有する信号処理回路２２０の一部であるが、別の実施形態では固体撮像素子１０８と１チップ化されて電子スコープ１００の先端部１２に配置されてもよい。
【符号の説明】
【００５０】
１ 電子内視鏡システム
１００ 電子スコープ
２００ プロセッサ
２２０ 信号処理回路
２２０ａ 逆漏れ込みマトリクス回路
【技術分野】
【０００１】
この発明は、被写体のカラー画像を撮像する撮像装置、及び該撮像装置を有する電子内視鏡システムに関連し、詳しくは、固体撮像素子の各画素が周辺画素に及ぼす光学的な又は電気的な原因で画質が劣化するという不具合を改善するのに好適な撮像装置、及び電子内視鏡システムに関する。
【背景技術】
【０００２】
近年、固体撮像素子を搭載した撮像装置が広く普及している。この種の撮像装置の具体的構成例が特許文献１に記載されている。特許文献１に記載の撮像装置は、色差順次方式のカラーフィルタを有する単板式ＣＣＤ（Charge Coupled Device）イメージセンサを備えている。当該撮像装置は、Ｍｇ信号の分光感度補正を行うことによって色再現性の改善を試みている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−３３６６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、固体撮像素子には、受光面に対して垂直な光だけが入射するとは限らない。受光面に対して角度をもって入射する光も存在する。その中でも入射角が特に大きい光は、カラーフィルタを斜めに透過して周辺画素に入射する虞がある。この場合、混色が生じるという不具合が指摘される。また、波長が長い光ほど受光素子の深い位置まで進達する。固体撮像素子においては、深い位置に進達して発生した電荷ほど周辺画素に漏れやすいという特性がある。このように、周辺画素に電荷が漏れた場合も混色が生じるという不具合が指摘される。
【０００５】
以降の本明細書中では、ここで説明した光学的な又は電気的な原因で周辺画素に悪影響を及ぼして混色を生じさせる現象を「漏れ込み」と記す。漏れ込みは、固体撮像素子の小型化や多画素化に伴って画素配置が高密度化するほど生じやすくなり、無視できない問題となっている。
【０００６】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、固体撮像素子で発生する漏れ込みによる画質の劣化を改善するのに好適な撮像装置、及び該撮像装置を有する一形態としての電子内視鏡システムを提供することである。
【課題を解決するための手段】
【０００７】
上記の課題を解決する本発明の一形態に係る撮像装置は、カラーフィルタを持ち、被写体のカラー画像を撮像する固体撮像素子と、該固体撮像素子が出力する撮像信号を処理してモニタ表示可能なカラー画像を生成する画像生成部とを有する。画像生成部は、固体撮像素子の各画素が周辺画素に及ぼす光学的な又は電気的な混色による画素値変動を、つまり、漏れ込みの影響を除去する画素値変動除去演算を所定の視感度補正処理前に行うことを特徴とする。
【０００８】
上記の画素値変動除去演算を行って理想的な画素値を推定した上で画像を生成することで、漏れ込みによる画質劣化、例えば色再現性の劣化や、被写体の色に応じた色ずれ量の変動、解像度の低下等が効果的に抑えられる。また、ホワイトバランスの調整が困難になるという弊害も有効に避けられる。
【０００９】
画像生成部は、視感度補正処理前の所定の色補間処理前に画素値変動除去演算を行う構成としてもよい。このように、色補間処理に先立って画素値変動除去演算を行う構成を採用した場合、色補間処理以降を既存と同一のプロセスとすることができ、回路設計が容易になる。
【００１０】
上記の課題を解決する本発明の一形態に係る電子内視鏡システムは、カラーフィルタを持ち、被写体のカラー画像を撮像する固体撮像素子を備える電子スコープと、該固体撮像素子が出力する撮像信号を処理してモニタ表示可能なカラー画像を生成する画像生成部を備えるプロセッサとを有する。画像生成部は、固体撮像素子の各画素が周辺画素に及ぼす光学的な又は電気的な混色による画素値変動を、つまり、漏れ込みの影響を除去する画素値変動除去演算を所定の視感度補正処理前に行うことを特徴とする。画像生成部は、例えば、視感度補正処理前の所定の色補間処理前に画素値変動除去演算を行う構成としてもよい。
【発明の効果】
【００１１】
本発明によれば、固体撮像素子で発生する漏れ込みによる画質の劣化を改善するのに好適な撮像装置、及び該撮像装置を有する一形態としての電子内視鏡システムが提供される。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態の電子内視鏡システムの外観図である。
【図２】本発明の実施形態の電子内視鏡システムの構成を示すブロック図である。
【図３】本発明の実施形態のプロセッサが有する信号処理回路及びその周辺の構成を示すブロック図である。
【図４】本発明の実施形態の逆漏れ込みマトリクス回路による逆マトリクス処理を説明するための漏れ込みモデルである。
【図５】漏れ込みの影響を除去しない場合と除去する場合との固体撮像素子の分光特性を比較検討するための図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施形態の撮像装置を搭載した電子内視鏡システムについて説明する。なお、本実施形態の電子内視鏡システムは、当該撮像装置を搭載する具体的構成の一例に過ぎない。本発明に係る撮像装置は、デジタルカメラやカムコーダ等の固体撮像素子を有する各種機器に搭載することができる。
【００１４】
図１は、本実施形態の電子内視鏡システム１の外観図である。図１に示されるように、電子内視鏡システム１は、被写体を撮影するための電子スコープ１００を有している。電子スコープ１００は、可撓性を有するシース（外皮）１１ａによって外装された可撓管１１を備えている。可撓管１１の先端には、硬質性を有する樹脂製筐体によって外装された先端部１２が連結されている。可撓管１１と先端部１２との連結箇所にある湾曲部１４は、可撓管１１の基端に連結された手元操作部１３からの遠隔操作（具体的には、湾曲操作ノブ１３ａの回転操作）によって屈曲自在に構成されている。この屈曲機構は、一般的な電子スコープに組み込まれている周知の機構であり、湾曲操作ノブ１３ａの回転操作に連動した操作ワイヤの牽引によって湾曲部１４を屈曲させるように構成されている。先端部１２の方向が上記操作による屈曲動作に応じて変わることにより、電子スコープ１００による撮影領域が移動する。
【００１５】
図１に示されるように、電子内視鏡システム１は、プロセッサ２００を有している。プロセッサ２００は、電子スコープ１００からの信号を処理する信号処理装置と、自然光の届かない体腔内を電子スコープ１００を介して照明する光源装置とを一体に備えた装置である。別の実施形態では、信号処理装置と光源装置とを別体で構成してもよい。
【００１６】
プロセッサ２００には、電子スコープ１００の基端に設けられたコネクタ部１０に対応するコネクタ部２０が設けられている。コネクタ部２０は、コネクタ部１０に対応する連結構造を有し、電子スコープ１００とプロセッサ２００とを電気的にかつ光学的に接続するように構成されている。
【００１７】
図２は、電子内視鏡システム１の構成を示すブロック図である。図２に示されるように、電子内視鏡システム１は、所定のケーブルを介してプロセッサ２００に接続されたモニタ３００を有している。なお、図１においては、図面を簡略化するため、モニタ３００を図示省略している。
【００１８】
図２に示されるように、プロセッサ２００は、システムコントローラ２０２、タイミングコントローラ２０４を有している。システムコントローラ２０２は、電子内視鏡システム１を構成する各要素を制御する。タイミングコントローラ２０４は、信号の処理タイミングを調整するクロックパルスを電子内視鏡システム１内の各種回路に出力する。
【００１９】
ランプ２０８は、ランプ電源イグナイタ２０６による始動後、白色光を放射する。ランプ２０８には、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプが適している。ランプ２０８から放射された照明光は、集光レンズ２１０によって集光されつつ絞り２１２を介して適正な光量に制限されて、ＬＣＢ（light carrying bundle）１０２の入射端に入射する。
【００２０】
絞り２１２には、図示省略されたアームやギヤ等の伝達機構を介してモータ２１４が機械的に連結している。モータ２１４は例えばＤＣモータであり、ドライバ２１６のドライブ制御下で駆動する。絞り２１２は、モニタ３００に表示される映像を適正な明るさにするため、モータ２１４によって動作して開度が変化して、ランプ２０８から放射された照明光の光量を開度に応じて制限する。適正とされる映像の明るさの基準は、術者によるフロントパネル２１８の輝度調節操作に応じて設定変更される。なお、ドライバ２１６を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。
【００２１】
ＬＣＢ１０２の入射端に入射した照明光は、ＬＣＢ１０２内を全反射を繰り返すことによって伝播する。ＬＣＢ１０２内を伝播した照明光は、電子スコープ１００の先端に配されたＬＣＢ１０２の射出端から射出する。ＬＣＢ１０２の射出端から射出した照明光は、配光レンズ１０４を介して被写体を照明する。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上の各画素で光学像を結ぶ。
【００２２】
固体撮像素子１０８は、ＩＲ（InfraRed）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面前面に配置された単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであり、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ、Ｇ、Ｂの各色に応じた撮像信号に変換する。変換された撮像信号は、ドライバ信号処理回路１１２に入力してＡＤ変換、信号増幅等の処理後、信号処理回路（画像生成部）２２０に出力される。なお、別の実施形態では、固体撮像素子１０８は、ＣＭＯＳイメージセンサに限らず、ＣＣＤイメージセンサであってもよい。
【００２３】
ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。電子スコープ１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、対応可能なレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４から読み出した固有情報をシステムコントローラ２０２に出力する。
【００２４】
システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続中の電子スコープに適した処理がされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。なお、システムコントローラ２０２は、電子スコープの型番と、この型番の電子スコープに適した制御情報とを対応付けたテーブルを有した構成としてもよい。この場合、システムコントローラ２０２は、対応テーブルの制御情報を参照して、プロセッサ２００に接続中の電子スコープに適した処理がされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。
【００２５】
タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０４から供給さるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【００２６】
図３は、信号処理回路２２０及びその周辺の構成を示すブロック図である。ドライバ信号処理回路１１２が出力した撮像信号は、図３に示されるように、信号処理回路２２０が有する逆漏れ込みマトリクス回路２２０ａに入力する。逆漏れ込みマトリクス回路２２０ａに入力した撮像信号は、逆漏れ込みマトリクス回路２２０ａによる逆マトリクス処理後、色補間回路２２０ｂに入力する。
【００２７】
逆漏れ込みマトリクス回路２２０ａによる逆マトリクス処理について説明する。逆マトリクス処理は、上述した漏れ込みによる画質に対する悪影響を抑制するのに好適である。ここでいう悪影響には、例えば、色再現性の劣化や、被写体の色に応じた色ずれ量の変動、解像度の低下などが挙げられる。また、ホワイトバランスの調整が困難になるという弊害も悪影響として挙げられる。
【００２８】
図４は、逆漏れ込みマトリクス回路２２０ａによる逆マトリクス処理を説明するための漏れ込みモデルである。図４の各ブロックは、ベイヤ型画素配置を模式的に示している。逆マトリクス処理の説明は、図４に示される画素Ｒ５に着目して行う。画素Ｒ５から各周辺画素（画素Ｂ１、Ｇ４、Ｂ２、Ｇ６、Ｇ７、Ｂ３、Ｇ９、Ｂ４）への漏れ込み、又はこれら周辺画素から画素Ｒ５への漏れ込みは、図４中矢印で視覚化して模式的に表現している。なお、画素Ｒ５に着目して行う説明の中では、便宜上、画素Ｒ５とその周辺画素との間の直接的な漏れ込み（つまり、図４中矢印で表現した漏れ込み）以外の漏れ込みは考慮しない。
【００２９】
漏れ込みを考慮した実測的な画素値には当該画素と同一の符号を付し、漏れ込みが無い場合の理想的な画素値には当該符号に更に０を付す。例えば画素Ｒ５の場合は、実測画素値に符号Ｒ５を付し、理想画素値に符号Ｒ５０を付す。画素Ｒ５から各周辺画素への漏れ込みによる変動画素値をＲ５outと定義し、各周辺画素から画素Ｒ５への漏れ込みによる変動画素値をＲ５inと定義した場合、次の式（１）が満たされる。
Ｒ５０＝Ｒ５＋Ｒ５out−Ｒ５in・・・（１）
【００３０】
変動画素値Ｒ５outは、画素Ｇ４、Ｇ９への漏れ込み量をＲα・Ｒ５０と定義し、画素Ｇ６、Ｇ７への漏れ込み量をＲβ・Ｒ５０と定義し、画素Ｂ１、Ｂ２、Ｂ３、Ｂ４への漏れ込み量をＲγ・Ｒ５０と定義した場合に、次の式（２）で表される。
Ｒ５out＝（２Ｒα＋２Ｒβ＋４Ｒγ）Ｒ５０・・・（２）
なお、固体撮像素子１０８の各画素の配置は、上下、左右、斜めの各々で空間的に均一である。上記の漏れ込み量は、着目画素から等距離に位置する各隣接画素では着目画素からの漏れ込み量が同一であるという仮定に基づいて定義されている。
【００３１】
変動画素値Ｒ５inは、画素Ｇ４、Ｇ９からの漏れ込み量をＧ’α（Ｇ４０＋Ｇ９０）と定義し、画素Ｇ６、Ｇ７からの漏れ込み量をＧβ（Ｇ６０＋Ｇ７０）と定義し、画素Ｂ１、Ｂ２、Ｂ３、Ｂ４からの漏れ込み量をＢγ（Ｂ１０＋Ｂ２０＋Ｂ３０＋Ｂ４０）と定義した場合に、次の式（３）で表される。なお、Ｒ画素を持つ水平ラインに含まれるＧの画素値に関する係数をＧで表現し、Ｂ画素を持つ水平ラインに含まれるＧの画素値に関する係数をＧ’で表現している。
Ｒ５in＝Ｇ’α（Ｇ４０＋Ｇ９０）＋Ｇβ（Ｇ６０＋Ｇ７０）＋Ｂγ（Ｂ１０＋Ｂ２０＋Ｂ３０＋Ｂ４０）・・・（３）
なお、各隣接画素からの漏れ込み量を規定する係数（つまり、隣接画素の画素値に基づく漏れ込み量の程度）は、着目画素から等距離に位置する各隣接画素では同一であるという仮定に基づいて定められている。
【００３２】
理想画素値と実測画素値との差は微差であるため、近似することができる。式（２）、（３）は、近似により次の式（４）、（５）で表される。
Ｒ５out≒（２Ｒα＋２Ｒβ＋４Ｒγ）Ｒ５・・・（４）
Ｒ５in≒Ｇ’α（Ｇ４＋Ｇ９）＋Ｇβ（Ｇ６＋Ｇ７）＋Ｂγ（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）・・・（５）
【００３３】
式（１）に式（４）、（５）を代入すると、次の式（６）が満たされる。
【数１】
【００３４】
式（６）右辺の実測画素値は既知であるため、式（６）右辺の各係数を求めることにより、漏れ込みが発生する前の理想画素値Ｒ５０を推定することができる。説明の便宜上、この係数項を「逆漏れ込みマトリクス」と記す。
【００３５】
固体撮像素子１０８の全ての画素の理想画素値を推定するためには、一のＲ、Ｂ画素、二のＧ画素を持つ２×２の正方行列（つまり、ベイヤ配列の一単位）の逆漏れ込みマトリクスを求める必要がある。ここでは、画素Ｒ５と一単位を構成する画素Ｇ７、Ｇ９、Ｂ４の逆漏れ込みマトリクスを、画素Ｒ５の場合と同様の方法で求める。
【００３６】
画素Ｇ７から画素Ｂ２、Ｂ４への漏れ込み量をＧα・Ｇ７０と定義し、画素Ｇ７から画素Ｒ５、Ｒ６への漏れ込み量をＧβ・Ｇ７０と定義し、画素Ｇ７から画素Ｇ４、Ｇ５、Ｇ９、Ｇ１０への漏れ込み量をＧγ・Ｇ７０と定義し、画素Ｂ２、Ｂ４から画素Ｇ７への漏れ込み量をＢα（Ｂ２０＋Ｂ４０）と定義し、画素Ｒ５、Ｒ６から画素Ｇ７への漏れ込み量をＲβ（Ｒ５０＋Ｒ６０）と定義し、画素Ｇ４、Ｇ５、Ｇ９、Ｇ１０から画素Ｇ７への漏れ込み量をＧ’γ（Ｇ４０＋Ｇ５０＋Ｇ９０＋Ｇ１００）と定義した場合に、次の式（７）が満たされる。
【数２】
【００３７】
画素Ｇ９から画素Ｒ５、Ｒ８への漏れ込み量をＧ’α・Ｇ９０と定義し、画素Ｇ９から画素Ｂ３、Ｂ４への漏れ込み量をＧ’β・Ｇ９０と定義し、画素Ｇ９から画素Ｇ６、Ｇ７、Ｇ１１、Ｇ１２への漏れ込み量をＧ’γ・Ｇ９０と定義し、画素Ｒ５、Ｒ８から画素Ｇ９への漏れ込み量をＲα（Ｒ５０＋Ｒ８０）と定義し、画素Ｂ３、Ｂ４から画素Ｇ９への漏れ込み量をＢβ（Ｂ３０＋Ｂ４０）と定義し、画素Ｇ６、Ｇ７、Ｇ１１、Ｇ１２から画素Ｇ９への漏れ込み量をＧγ（Ｇ６０＋Ｇ７０＋Ｇ１１０＋Ｇ１２０）と定義した場合に、次の式（８）が満たされる。
【数３】
【００３８】
画素Ｂ４から画素Ｇ７、Ｇ１２への漏れ込み量をＢα・Ｂ４０と定義し、画素Ｂ４から画素Ｇ９、Ｇ１０への漏れ込み量をＢβ・Ｂ４０と定義し、画素Ｂ４から画素Ｒ５、Ｒ６、Ｒ８、Ｒ９への漏れ込み量をＢγ・Ｂ４０と定義し、画素Ｇ７、Ｇ１２から画素Ｂ４への漏れ込み量をＧα（Ｇ７０＋Ｇ１２０）と定義し、画素Ｇ９、Ｇ１０から画素Ｂ４への漏れ込み量をＧ’β（Ｇ９０＋Ｇ１００）と定義し、画素Ｒ５、Ｒ６、Ｒ８、Ｒ９から画素Ｂ４への漏れ込み量をＲγ（Ｒ５０＋Ｒ６０＋Ｒ８０＋Ｒ９０）と定義した場合に、次の式（９）が満たされる。
【数４】
【００３９】
式（６）〜（９）を一式にまとめると、次の式（１０）が導かれる。
【数５】
【００４０】
式（１０）の符号Ｃは、ベイヤ配列の一単位の逆漏れ込みマトリクスを示している。逆漏れ込みマトリクスＣに含まれる未知の係数（具体的には、Ｒα、Ｒβ、Ｒγ、Ｇα、Ｇβ、Ｇγ、Ｇ’α、Ｇ’β、Ｇ’γ、Ｂα、Ｂβ、Ｂγの１２の係数）を求めることにより、固体撮像素子１０８の全ての画素の理想画素値の推定値を算出することができる。これらの未知の係数は、例えば製造段階で試験や計測等を重ねることによって予め求められる。
【００４１】
逆漏れ込みマトリクス回路２２０ａは、ドライバ信号処理回路１１２からの撮像信号（つまり、実測画素値）に対して逆漏れ込みマトリクスＣによるマトリクス変換を行い、漏れ込みが発生していない状態の撮像信号の推定値（つまり、理想画素値）を算出して色補間回路２２０ｂに出力する。
【００４２】
色補間回路２２０ｂは、各画素につき周辺画素の情報を用いて補間演算を行い、各画素の撮像信号にＲＧＢの３つの色情報を持たせる。色補間処理後の撮像信号は、マトリクス回路２２０ｃに入力してマトリクス演算（ＲＧＢの各色に対する視感度補正処理）が施された後、ＲＧＢの色信号別にフレームメモリ２２０Ｒ、２２０Ｇ、２２０Ｂにフレーム単位でバッファリングされる。バッファリングされた各色信号は、タイミングコントローラ２０４によって制御されたタイミングで各フレームメモリから掃き出されて、ＤＡコンバータ２２０ｄによるＤＡ変換後、エンコーダ２２０ｅによってＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）等の所定の規格に準拠した映像信号に変換される。変換された映像信号がモニタ３００に順次入力することにより、被写体のカラー画像がモニタ３００の表示画面上に表示される。
【００４３】
マトリクス回路２２０ｃによるマトリクス演算後のＲＧＢの色信号は、Ｙ／Ｃ分離回路２２０ｆにも入力する。Ｙ／Ｃ分離回路２２０ｆは、入力したＲＧＢの色信号を輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換して画像圧縮回路２２０ｇに出力する。画像圧縮回路２２０ｇは、入力した輝度信号Ｙ、色差信号Ｃｂ、ＣｒをＪＰＥＧ（Joint Photographic Experts Group）等のフォーマットで圧縮して、プロセッサ２００のカードスロット２２２に差し込まれたメモリカード４００に保存する。
【００４４】
図５（ａ）は、漏れ込みの影響を除去しない場合の（つまり、図３に示す信号処理回路２２０から逆漏れ込みマトリクス回路２２０ａを取り除いた構成の場合の）固体撮像素子１０８の分光特性を示す図である。図５（ｂ）は、漏れ込みの影響を除去した場合の（つまり、信号処理回路２２０が図３に示す構成の場合の）固体撮像素子１０８の分光特性を示す図である。図５（ａ）、（ｂ）の各図の縦軸は、正規化された強度を示し、横軸は、波長（単位：ｎｍ）を示す。
【００４５】
逆漏れ込みマトリクス回路２２０ａによる逆マトリクス処理を行わずに色補間以降の処理を行った場合は、一部の分光特性（ここではＢ、Ｒ）が劣化する。例えば、Ｂの分光特性は、図５（ａ）に示されるように、５００ｎｍを超えた辺りで漸進的に低下すべきところ、殆ど低下しない又は急激に低下する領域が存在する。Ｒの分光特性についても、図５（ａ）に示されるように、５００ｎｍを超えた辺りで漸進的に増加すべきところ、殆ど増加しない又は急激に増加する領域が存在する。そのため、色再現性の劣化や、被写体の色に応じた色ずれ量の変動、解像度の低下、ホワイトバランスの調整に関する弊害などの種々の悪影響が抑えられない。
【００４６】
逆漏れ込みマトリクス回路２２０ａによる逆マトリクス処理後に色補間以降の処理を行った場合は、分光特性が改善する。具体的には、ＲＧＧ’Ｂの何れの分光特性も、図５（ｂ）に示されるように、ピークを中心として漸進的に増加し又は低下する。そのため、色再現性の劣化や、被写体の色に応じた色ずれ量の変動、解像度の低下、ホワイトバランスの調整に関する弊害などの種々の悪影響が効果的に抑えられる。逆漏れ込みマトリクス回路２２０ａによる逆マトリクス処理を行うことにより、漏れ込みによる画質劣化が改善された画像がモニタ３００に表示されたりメモリカード４００に保存されたりすることとなる。附言するに、従来であれば、カラーチャートを用いて行った色設計に適さない配色等の被写体を撮像した場合は、各画素の漏れ込みによる色変化が設計時の想定とは異なるという不具合があった。しかし、本実施形態によれば、色補間回路２２０ｂ以降の回路は、逆マトリクス処理によって漏れ込みによる色変化の影響が除去されているため、色設計に適合した色を処理することができる。すなわち、本実施形態の構成を採用することで、漏れ込みによる色変化を考慮する必要が無くなり、色設計が容易になるという効果が奏される。
【００４７】
以上が本発明の実施形態の説明である。本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能である。例えば本実施形態では、色補間処理前に（つまり、各画素が複数の色情報を持つ前に）逆マトリクス処理を行うことで、逆漏れ込みマトリクス回路２２０ａの後段を既存と同一の構成にし、設計容易性の向上を達成している。但し、マトリクス回路２２０ｃの前段であれば色補間回路２２０ｂの後段に（例えば色補間回路２２０ｂとマトリクス回路２２０ｃとの間に）逆漏れ込みマトリクス回路２２０ａを配置しても、逆マトリクス処理による画質改善は達成することができる。
【００４８】
ベイヤ配列カラーフィルタ１０８ｂは、本実施形態では原色フィルタであるが、別の実施形態では補色フィルタとしてもよい。
【００４９】
逆漏れ込みマトリクス回路２２０ａは、本実施形態ではプロセッサ２００が有する信号処理回路２２０の一部であるが、別の実施形態では固体撮像素子１０８と１チップ化されて電子スコープ１００の先端部１２に配置されてもよい。
【符号の説明】
【００５０】
１ 電子内視鏡システム
１００ 電子スコープ
２００ プロセッサ
２２０ 信号処理回路
２２０ａ 逆漏れ込みマトリクス回路
【特許請求の範囲】
【請求項１】
カラーフィルタを持ち、被写体のカラー画像を撮像する固体撮像素子と、
前記固体撮像素子が出力する撮像信号を処理してモニタ表示可能なカラー画像を生成する画像生成部であって、該固体撮像素子の各画素が周辺画素に及ぼす光学的な又は電気的な混色による画素値変動を除去する画素値変動除去演算を所定の視感度補正処理前に行う画像生成部と、
を有することを特徴とする撮像装置。
【請求項２】
前記画像生成部は、前記視感度補正処理前の所定の色補間処理前に前記画素値変動除去演算を行うことを特徴とする、請求項１に記載の撮像装置。
【請求項３】
カラーフィルタを持ち、被写体のカラー画像を撮像する固体撮像素子を備える電子スコープと、
前記固体撮像素子が出力する撮像信号を処理してモニタ表示可能なカラー画像を生成する画像生成部であって、該固体撮像素子の各画素が周辺画素に及ぼす光学的な又は電気的な混色による画素値変動を除去する画素値変動除去演算を所定の視感度補正処理前に行う画像生成部を備えるプロセッサと、
を有することを特徴とする電子内視鏡システム。
【請求項４】
前記画像生成部は、前記視感度補正処理前の所定の色補間処理前に前記画素値変動除去演算を行うことを特徴とする、請求項３に記載の電子内視鏡システム。
【請求項１】
カラーフィルタを持ち、被写体のカラー画像を撮像する固体撮像素子と、
前記固体撮像素子が出力する撮像信号を処理してモニタ表示可能なカラー画像を生成する画像生成部であって、該固体撮像素子の各画素が周辺画素に及ぼす光学的な又は電気的な混色による画素値変動を除去する画素値変動除去演算を所定の視感度補正処理前に行う画像生成部と、
を有することを特徴とする撮像装置。
【請求項２】
前記画像生成部は、前記視感度補正処理前の所定の色補間処理前に前記画素値変動除去演算を行うことを特徴とする、請求項１に記載の撮像装置。
【請求項３】
カラーフィルタを持ち、被写体のカラー画像を撮像する固体撮像素子を備える電子スコープと、
前記固体撮像素子が出力する撮像信号を処理してモニタ表示可能なカラー画像を生成する画像生成部であって、該固体撮像素子の各画素が周辺画素に及ぼす光学的な又は電気的な混色による画素値変動を除去する画素値変動除去演算を所定の視感度補正処理前に行う画像生成部を備えるプロセッサと、
を有することを特徴とする電子内視鏡システム。
【請求項４】
前記画像生成部は、前記視感度補正処理前の所定の色補間処理前に前記画素値変動除去演算を行うことを特徴とする、請求項３に記載の電子内視鏡システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１５６２１４（Ｐ２０１１−１５６２１４Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−２１２７７（Ｐ２０１０−２１２７７）
【出願日】平成２２年２月２日（２０１０．２．２）
【出願人】（０００１１３２６３）ＨＯＹＡ株式会社 (3,820)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年２月２日（２０１０．２．２）
【出願人】（０００１１３２６３）ＨＯＹＡ株式会社 (3,820)
【Ｆターム（参考）】
[ Back to top ]