撮像装置、撮像装置の作動方法及び内視鏡装置
【課題】従来に比して短い時間で補正後の鮮明な画像を得ることができる撮像装置、撮像方法及び内視鏡装置を提供すること。
【解決手段】撮像装置は、被写体を撮像するヘッド部20と、ヘッド部20から送信される画像信号を処理する本体部30とが分離したヘッド分離型の撮像装置であって、ヘッド部20は撮像手段21と、画素のノイズを補正する補正情報のうちデータ量が所定の閾値を超える画素の補正情報と、残りの補正データとが記憶されている記憶手段とを具備し、本体部30は、データ量が所定の閾値を超える画素の補正情報を優先して取得し、その後に残りの補正データを取得する補正情報取得手段と、補正情報取得手段がデータ量が所定の閾値を超える画素の補正情報の取得が完了すると、取得した補正情報に基づいて、ヘッド部の撮像手段から送信される画像信号を補正する補正手段とを具備する。
【解決手段】撮像装置は、被写体を撮像するヘッド部20と、ヘッド部20から送信される画像信号を処理する本体部30とが分離したヘッド分離型の撮像装置であって、ヘッド部20は撮像手段21と、画素のノイズを補正する補正情報のうちデータ量が所定の閾値を超える画素の補正情報と、残りの補正データとが記憶されている記憶手段とを具備し、本体部30は、データ量が所定の閾値を超える画素の補正情報を優先して取得し、その後に残りの補正データを取得する補正情報取得手段と、補正情報取得手段がデータ量が所定の閾値を超える画素の補正情報の取得が完了すると、取得した補正情報に基づいて、ヘッド部の撮像手段から送信される画像信号を補正する補正手段とを具備する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、CCDセンサやCMOSセンサ等のイメージセンサを用いた撮像装置、撮像方法及び内視鏡装置に関する。
【背景技術】
【0002】
従来の撮像装置には、イメージセンサとしてCCD(Charge Coupled Device)センサやCOMS(Complementary Metal Oxide Semiconductor)センサ等を備えたヘッドと、このイメージセンサで撮像された画像の信号(以下、画像信号と称する)を処理する本体とを分離したヘッド分離型の撮像装置がある(例えば、特許文献1参照)。この撮像装置が備える上記イメージセンサには、固定パターンノイズ(FPN)とランダムノイズと呼ばれる2種類のノイズが存在するが、これら2種類のノイズのうち、固定パターンノイズは、イメージセンサの特定の画素に生じるノイズであり補正が可能である。そこで、従来のヘッド分離型の撮像装置では、ヘッド側にイメージセンサの補正データ(補正情報)を保持しておき、撮像装置を起動した際に、この補正データをヘッドから本体へ転送し、この転送された補正データを用いてヘッドのイメージセンサから送信される画像信号を補正している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平09−294223号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、イメージセンサの画素数の増加に伴い、この補正データのデータ量も増加しており転送に必要な時間が長くなっている。しかも、従来のヘッド分離型の撮像装置では、ヘッドに保持された全ての補正データが本体に転送されるまで画像信号を補正しないため、固定パターンノイズを補正した鮮明な画像を得るまでに数分もの時間が掛るという問題があった。
【0005】
本発明は、かかる従来の課題を解決するためになされたものであり、従来に比して短い時間で補正後の鮮明な画像を得ることができる撮像装置、撮像方法及び内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る撮像装置は、被写体を撮像するヘッド部と、ヘッド部から送信される画像信号を処理する本体部とが分離したヘッド分離型の撮像装置であって、ヘッド部は、複数の画素を有し、被写体を撮像する撮像手段と、複数の画素のノイズを補正する補正情報のうち補正情報のデータ量が所定の閾値を超える画素の補正情報と、残りの補正データとが記憶されている記憶手段とを具備し、本体部は、補正情報のデータ量が所定の閾値を超える画素の補正情報を優先して取得し、その後に残りの補正データを取得する補正情報取得手段と、補正情報取得手段が補正情報のデータ量が所定の閾値を超える画素の補正情報の取得が完了すると、該取得した補正情報に基づいて、ヘッド部の撮像手段から送信される画像信号を補正する補正手段とを具備する。
【図面の簡単な説明】
【0007】
【図1】第1の実施形態に係る内視鏡装置の構成図である。
【図2】ヘッドの構成図である。
【図3】色フィルタの配色例を示す図である。
【図4】データの説明図である。
【図5】補正データの作成手順の説明図である。
【図6】CCUの構成図である。
【図7】内視鏡装置の動作を示すフローチャートである。
【図8】補正データの作成手順の説明図である。
【図9】ノイズの一例を示した図である。
【図10】場合分けの説明図である。
【図11】欠陥画素の補正方法の説明図である。
【発明を実施するための形態】
【0008】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
(第1の実施形態)
第1の実施形態では、撮像装置としてヘッド分離型の内視鏡装置を例にその構成を説明する。なお、上述した固定パターンノイズには、外部環境(例えば、温度や明るさ)によってレベル(強度)が変化しないノイズと、外部環境によりレベルが変化するノイズとがあるが、この第1の実施形態では、外部環境によってレベルが変化しないノイズ(以下、素地ノイズと称する)を補正する場合を説明する。また、第1の実施形態では、イメージセンサ(撮像素子)としてCMOS(Complementary Metal Oxide Semiconductor)センサを用いた実施形態について説明するが、CMOSセンサの代わりにCCD(Charge Coupled Device)センサ等、他のセンサを用いてもよい。
【0009】
図1は、第1の実施形態に係る内視鏡装置1の構成図である。内視鏡装置1は、先端に対物レンズ10aが設けられ、被検査体内へ挿入されるスコープ10と、対物レンズ10aの結像面に位置するイメージセンサ21(撮像手段)により撮像される画像信号をCCUへカメラケーブル50を介して出力するヘッド20と、ヘッド20から出力された画像信号を処理するCCU(camera control unit)30と、撮像範囲を露光するライトソース40(光源)と、ライトソース40からの光をスコープ10の先端部へ導入するための光ファイバ60を具備する。
【0010】
なお、カメラケーブル50には、ヘッド20とCCU30との間で画像信号及び制御信号を送受信するための信号線およびCCU30からヘッド20へ電力を供給するための電力線などが収容されている。
【0011】
(ヘッド20の構成)
図2は、ヘッド20の構成図である。
ヘッド20は、イメージセンサ21、接続端子22、I/F回路23及びEEPROM24を具備する。イメージセンサ21は、三板式イメージセンサであり、対物レンズ10aからの光をR(Red),G(Green),B(Blue)の三色に色分解するプリズム21aと、このR,G,B色分解された光を電気信号に変換するCMOSセンサ21b〜21dから構成される。三板式イメージセンサは、1画素ごとにRGBの情報を保持するので色再現性に優れるという特性を有する。イメージセンサ21は、フルHD(high density)に対応したカラーイメージセンサである。
【0012】
イメージセンサ21は、三板式ではなく単板式としてもよい。単板式のイメージセンサでは、CMOSセンサの各画素上に色フィルタを備え、CMOSセンサから出力される電気信号を回路にてR,G,B信号に色分解する。プリズムとCMOSセンサを貼り合わせる必要がないため安価に制作できるという特性を有する。
【0013】
なお、色フィルタの配列には、種々の方式がある。図3は、色フィルタの配列例を示す図である。図3(a)には色差線順次配列を示した。色差線順次配列では、補色と呼ばれるM(R+B),Y(G+B),C(R+G)とGの色フィルタを図3(a)に示す配列で配置している。色差線順次配列では、補色M,Y,Cを用いることにより一つの画素で二つの原色(R+B、G+B、R+G)を得ている。色差線順次配列は、インターレーススキャンで駆動されるイメージセンサに好適である。
【0014】
また、図3(b)にはベイヤー配列を示した。このベイヤー配列では、原色(R,G,B)の色フィルタを配列しているが、Gの色フィルタがRやBの色フィルタ2倍配列される。これは人の目が、緑光に対して感度が高いためであり、撮影した画像の解像度を高める効果がある。なお、第1の実施形態に係る内視鏡装置1のイメージセンサ21には、図3に示した以外の配列の色フィルタを採用してもよい。
【0015】
接続端子22には、カメラケーブル50が接続される。I/F回路23は、シリアライザ23a及びLVDS変換回路23bを備え、イメージセンサ21から出力される画像信号をデジタル信号のまま、接続端子22に接続されたカメラケーブル50を介してCCU30へ送信する。EEPROM24は、電気的に書き換え可能な不揮発性メモリ(例えば、フラッシュメモリ等)であり、イメージセンサ21の補正データ(補正情報)および設定条件(例えば、フレームレート、ゲイン、感度等)等が記憶される。なお、これらの補正データおよび設定条件等を記憶するメモリは、書き換えが可能であれば、EEPROM24以外のメモリも使用できる。
【0016】
(補正データ)
図4は、EEPROM24に記憶されている補正データの説明図である。
上述したように、この第1の実施形態では、外部環境(例えば、温度や明るさ)によってレベル(強度)が変化しない素地ノイズを補正する。このため、イメージセンサ21が備えるCMOSセンサの素地ノイズを画素毎に予め測定しておき、図4に示すように、この素地ノイズを打ち消す補正データを画素毎にEEPROM24に記憶させておく。そして、イメージセンサ21から出力される画像信号に、この記憶した補正データを加算することで画像信号を補正する。なお、素地ノイズは、CMOSセンサに所定の電圧(基準電圧)を出力するよう指示し、実際に出力された電圧の基準電圧からのずれを各画素毎に調べることで測定できる。
【0017】
なお、この第1の実施形態では、各画素の映像信号は最大12bitであるものとする。このため、各画素の補正データも最大12bitとなる。すなわち、素地ノイズのレベルが最大の場合の補正データは12bitとなり、素地ノイズのレベルがゼロの場合の補正データは0bitとなる。
【0018】
EEPROM24には、イメージセンサ21が備えるCMOSセンサの全画素の補正データが、以下の1〜3の順で記憶されている。また、EEPROM24に記憶されている補正データが読みだされる際は、同順(1→2→3の順)で読みだされる。
1:補正データが4bitを超える画素数。
2:補正データが4bitを超える画素の上位8bit分の補正データとアドレス。
3:全画素の下位4bit分の補正データ。
【0019】
なお、この第1の実施形態では、補正データが4bitを超える画素については、補正データを12bitに、補正データが4bit以下の画素については、補正データを4bitに調整している(具体的には、補正とは関係のないデータ(例えば、Null(0))を挿入している)。このように補正データのbit数を一定にすることで、後述するMPU35cがEEPROM24から補正データ読みだす際に、読みだした補正データの数を認識することが可能となる。
【0020】
(補正データの作成)
次に、EEPROM24へ予め記憶させる補正データの作成手順について説明する。図5は、補正データの作成手順の説明図である。
初めに、素地ノイズを打ち消す補正データをCMOSセンサの画素毎に作成する。素地ノイズの大きさ(データ量)は、画素毎に異なるため、この素地ノイズを打ち消すために必要な補正データのデータ量も画素毎に異なるが、図5に示すように補正データが4bitを超える画素については、補正データを12bit、補正データが4bit以下の画素については、補正データを4bitに調整している。
【0021】
この第1の実施形態では、初めに、CMOSセンサの各画素の補正データのうち、データ量が4bitを超えている画素数をEEPROM24へ記憶する。次に、データ量が4bitを超えている画素の補正データの上位8bit分のデータを画素のアドレスと共にEEPROM24へ記憶する。最後に、CMOSセンサの全画素について下位4bit分のデータをアドレス順にEEPROM24へ記憶する。
【0022】
図5に示した例では、画素のアドレスが「3」と「8」の補正データが4bitを超えているので、まず、画素数「2」がEEPROM24へ記憶される。次いで、アドレスが「3」と「8」の補正データの上位8bit分が、アドレスと共に記憶される。最後に、アドレスが「3」と「8」画素を除くアドレス(「1」,「2」,「4」〜「7」)の画素の補正データの下位4bit分の補正データと、アドレスが「3」と「8」の画素の補正データの下位4bit分の補正データがアドレス順に記憶される。
【0023】
(CCU30の構成)
図6は、CCU30の構成を示す図である。
接続端子31、I/F回路32、画像信号処理回路33、画像出力回路34、システム制御回路35及び電源回路36を具備する。接続端子31には、カメラケーブル50が接続される。I/F回路32は、デシリアライザ32a及びLVDS変換回路32bを備え、ヘッド20から送信される画像信号を画像信号処理回路33へ出力する。また、I/F回路32は、システム制御回路35から出力される制御信号を接続端子31に接続されたカメラケーブル50を介してヘッド20へ送信する。
【0024】
画像信号処理回路33は、画像信号処理部33aと同期信号生成部33bを備える。画像信号処理部33aは、I/F回路32から出力される画像信号を処理して画像出力回路34へ出力する。画像信号処理部33aは、I/F回路32から出力される各画素の画像信号を画素のアドレス順に並べ替えた後、後述するMPU35cによりヘッド20のEEPROM24から読出された補正データに基づいて画像信号を補正する。なお、この画像信号処理部33aによる補正動作は後段の(画像信号処理部33aの補正動作)で詳細に説明する。
【0025】
画像信号処理部33aは、補正後の画像信号に対してデモザイキング処理、ニー補正、ガンマ補正、ディテールやマトリクス処理等のエンハンス処理が行い、画像出力回路34へ入力する。
【0026】
同期信号生成部33bは、イメージセンサ21の撮像に用いられる同期信号を生成する。該同期信号は、設定されたフレームレートに応じた所定の間隔で生成される。生成された同期信号は、MPU35cへ出力されると共に、I/F回路32から接続端子31に接続されたカメラケーブル50を介してヘッド20へ送信される。
【0027】
画像出力回路34は、D/Aコンバータ34a及びDVI(digital visual interface)トランスミッタ34bを備え、画像信号処理回路33で処理された画像信号をアナログ及びデジタルのRGB(red, green, blue)信号として外部のモニタ(図示せず)へ出力する。
【0028】
システム制御回路35は、EEPROM35a、OSD(on-screen display)コントローラ35b、MPU(micro processing unit)35c、受信部35d及び操作受付部35eを備え、この内視鏡装置1全体を制御する。EEPROM35aは、電気的に書き換え可能なROMである。EEPROM35aには、CCU30の設定条件(例えば、露光期間等)およびイメージセンサ21のCMOSセンサの全画素数が記憶されている。また、ヘッド20のEEPROM24から読出された補正データは、このEEPROM35a記憶される。
【0029】
露光期間は、イメージセンサ21で撮像される画像の明るさを調整するパラメータであり、シャッタースピードに相当する。露光期間としては、数種類(例えば、1/240秒、1/120秒等)あればよい。この露光期間は、後述する外部のPC(personal computer)や操作キーにより設定を変更できる。
【0030】
この設定条件を記憶するメモリは、書き換えが可能であれば、EEPROM以外のメモリも使用できる。OSDコントローラ35bは、画像信号処理部33aで処理される画像信号の画像にテキストデータやビットマップ等を重畳表示する。
【0031】
MPU35cは、受信部35dで受信したリモート制御信号、操作受付部で受付けた処理内容及びEEPROM35aに記憶された設定情報に基づいてヘッド20、CCU30及びライトソース40を制御する。
【0032】
また、MPU35cは、カメラケーブル50を介してヘッド20のEEPROM24に記憶されている補正データを記憶されている順に読み出してEEPROM35aに記憶する。MPU35cは、上位8bitと下位4bitの各補正データの読出しが完了する度に画像信号処理回路33の画像信号処理部33aへ読出し完了信号を出力する。なお、このMPU35cによる読出し動作は後段の(MPU35cの読出し動作)で詳細に説明する。
【0033】
なお、MPU35cによるヘッド20のEEPROM24からの補正データの読出しは、ヘッド20とCCU30との間で他のデータ(例えば、イメージセンサ21の画像信号)が送受信されていない間に行われる。
【0034】
受信部35dは、外部のPC等から送信されるリモート制御用の制御信号を受信してMPU35cへ出力する。なお、外部PCとの通信は、RS232−C用シリアルポートを介して行われる。操作受付部35eは、外部の操作キーで操作された処理を受け付けMPU35cへ出力する。
【0035】
電源回路36は、外部から供給される電力を所定の電圧に変換してCCU30内の各回路へ供給する。また、上記電力は、接続端子31に接続されたカメラケーブル50を介してヘッド20にも供給される。
【0036】
ライトソース40は、図示しないランプとレンズを備える。また、ライトソース40には、光ファイバ60が接続される。ランプは、例えば、キセノンランプであり、イメージセンサ21の撮像範囲を露光するための光を発する。レンズは、ランプから発せられる光を光ファイバ60へ導入する。光ファイバ60へ導入された光は、スコープ10の先端部へ導かれ、イメージセンサ21の撮像範囲を露光する。
【0037】
(MPU35cの読出し動作)
次に、ヘッド20のEEPROM24の補正データの読出しについて説明する。
初めに、MPU35cは、ヘッド20のEEPROM24に記憶されている画素数を読み出す。次に、MPU35cは、EEPROM24から上位8bitの補正データおよび画素のアドレスを読出してCCU30のEEPROM35aへ記憶する。読みだした上位8bitの補正データは、該補正データと共に読みだされたアドレス順に記憶される。
【0038】
MPU35cは、上位8bitの補正データおよび画素のアドレスを読出す度(具体的には補正データとアドレスのデータ分だけEEPROM24からデータを読み出す度)に内蔵カウンタの値をインクリメントし、この内蔵カウンタの値がEEPROM24から読み出した画素数と同じになった時点で上位8bitの補正データの読出しが終了したと判断して、1回目の読出し完了信号を出力する。
【0039】
MPU35cは、上位8bitの補正データの読出した後、続けて下位4bitの補正データを読出して、この読出した補正データをCCU30のEEPROM35aへ記憶する。この下位4bitの補正データにはアドレスが対応づけられていないが、画素のアドレス順に全ての画素に対して付与されているため、MPU35cは、読みだした順に下位4bitの補正データをEEPROM35aへ記憶する。
【0040】
MPU35cは、下位4bitの補正データを読出す度(具体的には補正データのbit数分(4bit)だけEEPROM24からデータを読み出す度)に内蔵カウンタの値をインクリメントし、この内蔵カウンタの値がEEPROM35aに記憶されているイメージセンサ21のCMOSの全画素数と同じになった時点で下位4bitの補正データの読出しが終了したと判断して、2回目の読出し完了信号を出力する。下位4bitの補正データは、先に読みだされた上位8bitのデータに加算して記憶される。
【0041】
(画像信号処理部33aの補正動作)
次に、CCU30の画像信号処理部33aの補正動作について説明する。
画像信号処理部33aは、MPU35cから1回目の読出し完了信号が入力されると、MPU35cによりヘッド20のEEPROM24からCCU30のEEPROM35aへ記憶された上位8bitの補正データに基づいて、イメージセンサ21からの画像信号を補正する。
【0042】
画像信号処理部33aは、画素毎の画像信号に付与されたアドレスに基づいて各画素の画像信号をアドレス順に並べ替えた後、同一のアドレスを有する画像信号にEEPROM35aに記憶された上位8bitの補正データを加算することで画像信号を補正する。MPU35cによりEEPROM35aに記憶された補正データは、イメージセンサ21が備えるCMOSセンサの素地ノイズを打ち消すように作成されているため、同一アドレスの画像信号に補正データを加算することで画像信号を補正することができる。
【0043】
画像信号処理部33aは、MPU35cから2回目の読出し完了信号が入力されると、MPU35cによりヘッド20のEEPROM24からCCU30のEEPROM35aへ記憶された全画素の補正データに基づいて、イメージセンサ21からの画像信号を補正する。
【0044】
画像信号処理部33aは、画素毎の画像信号に付与されたアドレスに基づいて各画素の画像信号をアドレス順に並べ替えた後、このアドレス順に並べ替えた画像信号に、EEPROM35aに記憶されている順に補正データ(12bit分)を加算することで画像信号を補正する。EEPROM35aには、アドレス順に補正データが記憶されているので、このアドレス順に並べ替えた画像信号に、EEPROM35aに記憶されている各画素の補正データを順次加算していくことで画像信号を補正することができる。
【0045】
(内視鏡装置1の動作)
次に、第1の実施形態に係る内視鏡装置1の動作について説明する。図7は、第1の実施形態に係る内視鏡装置1の動作を示すフローチャートである。
【0046】
(ステップS101)
電源が投入されると、MPU35cは、ヘッド20のEEPROM24に記憶されている特定画素の上位8bitの補正データを読出し、この読出した補正データをEEPROM35aへ記憶する。MPU35cは、ヘッド20のEEPROM24に記憶されている上位8bitの補正データの読出しとEEPROM35aへの記憶が完了すると1回目の読出し完了信号を出力する。
【0047】
(ステップS102)
ライトソース40は、MPU35cからの制御信号に基づいて、ランプ41を発光させる。ランプ41からの光は、光ファイバ60へ導入され、スコープ10の先端部から照射されてイメージセンサ21の撮像範囲を露光する。
【0048】
(ステップS103)
同期信号生成部33bは、同期信号を生成し、生成した同期信号を所定の時間間隔でI/F回路32から接続端子31に接続されたカメラケーブル50を介してヘッド20へ送信する。
【0049】
(ステップS104)
イメージセンサ21は、ヘッド20を介して同期信号生成部33bから送信される同期信号を受信すると、走査線毎にフォトトランジスタへ電荷を蓄積し、各フォトトランジスタに蓄積された電荷を電圧に変換・増幅して読みだす。
【0050】
(ステップS105)
イメージセンサ21の各フォトトランジスタへ蓄積された電荷は、走査線毎に電圧に変換後、増幅して読みだされ、画像信号としてヘッド20に接続されたカメラケーブ50を介してCCU30へ送信される。
【0051】
(ステップS106)
MPU35cから読出し完了信号が入力されると、画像信号処理回路33の画像信号処理部33aは、I/F回路32から出力される画像信号に対して画素情報の並べ替えを行い、この並べ替えた画像信号に対して補正を行う。画像信号処理部33aは、EEPROM35aへ記憶された上位8bitの補正データに基づいて、この並べ替えた画像信号を補正する。さらに、画像信号処理部33aは、補正後の画像信号に対してエンハンス処理等を行った後、画像出力回路34へ出力する。
【0052】
(ステップS107)
画像出力回路34は、画像信号処理部33aから出力される画像信号をアナログ及びデジタルのRGB(red, green, blue)信号として外部のモニタ(図示せず)へ出力し、該モニタに補正された画像が表示される。
【0053】
(ステップS108)
MPU35cは、ヘッド20のEEPROM24に記憶されている上位8bitの補正データの読出しとEEPROM35aへの記憶が完了すると、続けてEEPROM24に記憶されている全画素の下位4bitの補正データを読出し、この読出した補正データをEEPROM35aへ記憶する。この際、MPU35cは、読みだした下位4bitの補正データを、先に読みだした上位8bitのデータに加算して記憶する。
【0054】
この読出しにより、EEPROM35aへ記憶されている補正データは12bitになる。MPU35cは、ヘッド20のEEPROM24に記憶されている下位4bitの補正データの読出しとEEPROM35aへの記憶が完了すると、2回目の読出し完了信号を出力する。
【0055】
(ステップS109)
MPU35cから2回目の読出し完了信号が入力されると、画像信号処理回路33の画像信号処理部33aは、EEPROM35aへ記憶された12bitの補正データに基づいて、この並べ替えた画像信号を補正する。さらに、画像信号処理部33aは、補正後の画像信号に対してエンハンス処理等を行った後、画像出力回路34へ出力する。
【0056】
(ステップS110)
画像出力回路34は、画像信号処理部33aから出力される画像信号をアナログ及びデジタルのRGB(red, green, blue)信号として外部のモニタ(図示せず)へ出力し、該モニタに補正された画像が表示される。
【0057】
なお、MPU35cによるヘッド20のEEPROM24からの補正データの読出しは、ヘッド20とCCU30との間で他のデータ(例えば、イメージセンサ21の画像信号)が送受信されていない間に行われる。
【0058】
以上ように、この第1の実施形態に係る内視鏡装置1では、イメージセンサ21の画像信号の素地ノイズを補正する補正データのうち4bitを超える補正データの上位8bit分を優先してCCU30へ転送し、この転送された上位8bit分の補正データを用いてイメージセンサ21の画像信号を補正する。補正データが4bitを超える画素の数は通常少ないため(補正データが4bitを超える画素が多いイメージセンサは、そもそもイメージセンサとして適さない)、この転送はすぐに終了する。
【0059】
また、この段階では、下位4bit分については画像信号の補正が行われていないが、視認性に影響の大きい上位8bit分については画像信号の補正が行われているため、画像の視認には支障がないレベルにまでノイズが抑えられている。その結果、ユーザは、内視鏡装置1の電源を投入後、従来に比して短い時間で補正後の鮮明な画像を得ることができ、ユーザの利便性が大幅に向上する。
【0060】
なお、この第1の実施形態では、補正データが4bitを超える画素の補正データを優先的に転送する対象としているが、優先的に転送する補正データの基準は任意である。例えば、補正データが6bitを超える画素の補正データを優先的に転送するようにしてもよいし、補正データが8bitを超える画素の補正データを優先的に転送するようにしてもよい。
【0061】
また、この第1の実施形態では、補正データが4bitを超える画素については、補正データを12bitに、補正データが4bit以下の画素については、補正データを4bitに調整したが、各画素の補正データのbit数を調整せずに、ヘッド20のEEPROM24へ記憶するようにしてもよい。この場合、CCU30のMPU35cが、EEPROM24の補正データを読みだす際に、読みだした補正データのどこからどこまでが各画素の補正データであるかを認識出来るように、各画素の補正データのbit数を対応付けて記憶させておく必要がある。
【0062】
(第1の実施形態の変形例)
第1の実施形態では、CMOSセンサの各画素の補正データのうち、データ量が4bitを超えている画素の補正データの上位8bit分のデータをCCU30へ優先して転送し、その後、CMOSセンサの全画素について下位4bit分のデータを転送する実施形態について説明した。
【0063】
第1の実施形態の変形例では、CMOSセンサの各画素の補正データのうち、データ量が4bitを超えている画素の12bit分のデータをCCU30へ優先して転送し、その後、残りの画素の補正データをCCU30へ転送する実施形態について説明する。以下、第1の実施形態の変形例に係る内視鏡装置1Aについて説明するが、第1の実施形態の変形例に係る内視鏡装置1Aの構成と、第1の実施形態に係る内視鏡装置1の構成は同じであるため、図1,2,6を参照して説明することとする。
【0064】
(補正データ)
この第1の実施形態の変形例に係る内視鏡装置1AのEEPROM24には、イメージセンサ21が備えるCMOSセンサの全画素の補正データが記憶されているが、以下の1〜3の順でデータが記憶されている。また、EEPROM24に記憶されている補正データが読みだされる際は、同順(1→2→3の順)で読みだされる。
1:補正データが4bitを超える画素数。
2:補正データが4bitを超える画素の12bit分の補正データとアドレス。
3:残りの画素の補正データ。
【0065】
なお、この第1の実施形態の変形例においても、補正データが4bitを超える画素については、補正データを12bitに、補正データが4bit以下の画素については、補正データを4bitに調整している。
【0066】
(補正データの作成)
次に、EEPROM24へ予め記憶させる補正データの作成手順について説明する。図8は、補正データの作成手順の説明図である。なお、図8では、補正データが4bitを超える画素については、補正データを12bit、補正データが4bit以下の画素については、補正データを4bitに調整した後の補正データを示している。
【0067】
初めに、素地ノイズを打ち消す補正データをCMOSセンサの画素毎に作成する。次に、作成した各画素の補正データのうち、データ量が4bitを超えている画素数をEEPROM24へ記憶する。さらに、データ量が4bitを超えている画素の補正データを画素のアドレスと共にEEPROM24へ記憶する。最後に、残りの画素の補正データをアドレス順にEEPROM24へ記憶する。
【0068】
図5に示した例では、画素のアドレスが「3」と「8」の補正データが4bitを超えているので、まず、画素数「2」がEEPROM24へ記憶される。次いで、アドレスが「3」と「8」の補正データがアドレスと共に記憶される。最後に、アドレスが「3」と「8」の画素を除くアドレス「1」,「2」,「4」〜「7」の画素の補正データがアドレス順に記憶される。
【0069】
(MPU35cの読出し動作)
次に、ヘッド20のEEPROM24の補正データの読出しについて説明する。
初めに、MPU35cは、ヘッド20のEEPROM24に記憶されている画素数を読み出す。次に、MPU35cは、EEPROM24から補正データが4bitを超える画素の12bit分の補正データとアドレスを読出してCCU30のEEPROM35aへ記憶する。読みだした補正データは、該補正データと共に読みだされたアドレス順に記憶される。
【0070】
MPU35cは、補正データおよび画素のアドレスを読出す度に内蔵カウンタの値をインクリメントし、この内蔵カウンタの値がEEPROM24から読み出した画素数と同じになった時点で補正データが4bitを超える画素の補正データの読出しが終了したと判断して、1回目の読出し完了信号を出力する。
【0071】
MPU35cは、補正データが4bitを超える画素の補正データとアドレスの補正データの読出した後、続けて、残りの補正データ(補正データが4bit以下の画素の補正データ)を順次読み出してEEPROM25aへ記憶する。この際、先に読み出した画素のアドレスは、スキップして残りの補正データをEEPROM25aへ記憶する。もしくは、先に読み出した画素のアドレスには、「0」を加算するようにして、残りの補正データをEEPROM25aへ記憶する。
【0072】
なお、第1の実施形態の変形例に係る内視鏡装置1Aのその他の構成の動作は、図1,2,6で説明した第1の実施形態に係る内視鏡装置1の構成と同じであるため重複した説明を省略する。また、第1の実施形態の変形例に係る内視鏡装置1Aの効果は、第1の実施形態に係る内視鏡装置1と同じである。
【0073】
また、第1の実施形態と同様に、優先的に転送する補正データの基準は任意であり、例えば、補正データが6bitを超える画素の補正データを優先的に転送するようにしてもよいし、補正データが8bitを超える画素の補正データを優先的に転送するようにしてもよい。
【0074】
なお、該実施形態のように、補正データが4bitを超える画素については、補正データを12bitに、補正データが4bit以下の画素については、補正データを4bitに調整しない場合は、EEPROM24に記憶された補正データのデータ量(bit数)を、補正データ毎に付加する必要があることに留意する。補正データのデータ量(bit数)を、補正データ毎に付加することでCCU30側で、ヘッド20のEEPROM24から読みだす補正データの単位(どこからどこまでが一つの補正データであるか)を認識することができる。
【0075】
(第2の実施形態)
第1の実施形態では、素地ノイズを打ち消すための補正データが4bitを超えている画素の補正データを優先的に転送する実施形態について説明した。しかしながら、隣り合った複数の画素に素地ノイズが生じている場合には、ノイズのレベルが小さくても画像の視認性が低下する。
【0076】
この第2の実施形態では、隣り合った複数の画素に素地ノイズが生じている場合の補正方法について説明する。図9は、この第2の実施形態で補正するノイズの一例を示した図である。図9に示すように、ノイズのレベルが小さくても、隣り合った複数の画素に素地ノイズが生じている場合には、単独で素地ノイズが生じている場合に比べて目立つために画像の視認性が低下する。
【0077】
そこで、この第2の実施形態に係る内視鏡装置2では、ノイズの画像上での面積(大きさ)に応じて、優先して転送するノイズのレベルを変化させている。以下、第2の実施形態に係る内視鏡装置2について説明するが、第2の実施形態に係る内視鏡装置2の構成と、第1の実施形態に係る内視鏡装置1の構成は同じであるため、図1,2,6を参照して説明することとする。
【0078】
この第2の実施形態では、以下の3つの場合に分けて、優先的に補正を行うノイズのレベルを変化させている。図10は、場合分けの説明図である。
1:画素が隣り合っていない場合(図10(a))。
2:3つ以上の画素が縦、横、もしくは斜めに直線状に並んでいる場合(図10(b))。
3:複数の画素が面積を有している場合(図10(c))。
【0079】
上記1の場合、映像信号の基準レベル(100%の信号)からのずれが8%を超える画素の補正データを、ヘッド20のEEPROM24からCCU30のEEPROM35aへ優先的に転送する。
【0080】
上記2の場合、映像信号の基準レベル(100%の信号)からのずれが5%を超える画素の補正データを、ヘッド20のEEPROM24からCCU30のEEPROM35aへ優先的に転送する。
【0081】
上記3の場合、映像信号の基準レベル(100%の信号)からのずれが3%を超える画素の補正データを、ヘッド20のEEPROM24からCCU30のEEPROM35aへ優先的に転送する。
【0082】
なお、優先的に転送する補正データの基準は任意であり、必ずしも3%、5%、8%とする必要はなく、基準の値が上記1の基準値<上記2の基準値<上記3の基準値となっていればよい。
【0083】
(補正データ)
この第2の実施形態に係る内視鏡装置2のEEPROM24には、イメージセンサ21が備えるCMOSセンサの全画素の補正データが記憶されているが、以下の1〜3の順でデータが記憶されている。また、EEPROM24に記憶されている補正データが読みだされる際は、同順(1→2→3の順)で読みだされる。
1:画素が隣り合っていない場合(図10(a)参照)に映像信号の基準レベル(100%の信号)からのずれが8%を超える画素数+3つ以上の画素が縦、横、もしくは斜めに直線状に並んでいる場合(図10(b)参照)に、映像信号の基準レベル(100%の信号)からのずれが5%を超える画素数+複数の画素が面積を有している場合(図10(c)参照)に、映像信号の基準レベル(100%の信号)からのずれが3%を超える画素数。
2:画素が隣り合っていない場合の補正データとアドレス+3つ以上の画素が縦、横、もしくは斜めに直線状に並んでいる場合の補正データとアドレス+複数の画素が面積を有している場合の補正データとアドレス。
3:残りの画素の補正データ。
【0084】
(補正データの作成)
次に、EEPROM24へ予め記憶させる補正データの作成手順について説明する。
初めに、素地ノイズを打ち消す補正データをCMOSセンサの画素毎に作成する。次に、作成した各画素の補正データのうち、画素が隣り合っていない場合に映像信号の基準レベル(100%の信号)からのずれが8%を超える画素数と、3つ以上の画素が縦、横、もしくは斜めに直線状に並んでいる場合に映像信号の基準レベル(100%の信号)からのずれが5%を超える画素数と、複数の画素が面積を有している場合に映像信号の基準レベル(100%の信号)からのずれが3%を超える画素数との合計数をEEPROM24へ記憶する。
【0085】
次に、画素が隣り合っていない場合の補正データとアドレスと、3つ以上の画素が縦、横、もしくは斜めに直線状に並んでいる場合の補正データとアドレスと、複数の画素が面積を有している場合の補正データとアドレスとをEEPROM24へ記憶する。最後に、残りの画素の補正データをアドレス順にEEPROM24へ記憶する。
【0086】
(MPU35cの読出し動作)
次に、ヘッド20のEEPROM24の補正データの読出しについて説明する。
初めに、MPU35cは、ヘッド20のEEPROM24に記憶されている画素数を読み出す。次に、MPU35cは、EEPROM24から画素が隣り合っていない場合の補正データとアドレスと、3つ以上の画素が縦、横、もしくは斜めに直線状に並んでいる場合の補正データとアドレスと、複数の画素が面積を有している場合の補正データとアドレスとを読出してCCU30のEEPROM35aへ記憶する。読みだした補正データは、該補正データと共に読みだされたアドレス順に記憶される。
【0087】
MPU35cは、補正データおよび画素のアドレスを読出す度に内蔵カウンタの値をインクリメントし、この内蔵カウンタの値がEEPROM24から読み出した画素数と同じになった時点で補正データの読出しが終了したと判断して、1回目の読出し完了信号を出力する。
【0088】
MPU35cは、続けて、残りの補正データを順次読み出してEEPROM25aへ記憶する。この際、先に読み出した画素のアドレスは、スキップして残りの補正データをEEPROM25aへ記憶する。もしくは、先に読み出した画素のアドレスには、「0」を加算するようにして、残りの補正データをEEPROM25aへ記憶する。
【0089】
なお、第2の実施形態に係る内視鏡装置2のその他の構成の動作については、図1,2,6で説明した第1の実施形態に係る内視鏡装置1の構成と内示であるため重複した説明を省略する。
【0090】
以上のように、この第2の実施形態に係る内視鏡装置2では、ノイズのレベルが小さくても、画素が隣り合っている場合には、優先して転送するノイズレベルの基準を厳しくしている。このため、画像の視認性が向上し、ユーザの利便性がより向上する。その他の効果は、第1の実施形態に係る内視鏡装置1と同じである。
【0091】
(第3の実施形態)
上記第1〜第2の実施形態では、素地ノイズの補正について説明したが、外部環境(例えば、温度や明るさ)によりレベルが変化する固定パターンノイズについても補正が可能である。この第3の実施形態では、素地ノイズ以外の固定パターンノイズ(例えば、白キズや黒キズ)を補正する実施形態について説明する。
【0092】
白キズとは、本来出力されるべき値よりも高い値の画素データが出力されて、その受光素子に対応する画素が白く見える画素欠陥のことをいい、主に暗電流により生じる。暗電流とは、CMOSセンサにおいて、光を照射しない時にも流れている微弱な電流のことであり、主に熱的要因や絶縁不良のために生じる。暗電流が大きいと画像のノイズの原因となる。
【0093】
また、黒キズとは、本来出力されるべき値よりも低い値の画素データが出力されて、その受光素子に対応する画素が黒く見える画素欠陥のことをいい、主にCMOSセンサ内のダストが原因で生じる。このダストにより、CMOSセンサへの画素へ入射する光が遮られたり、CMOSセンサの回路がショートしている場合に生じる欠陥である。
【0094】
以下、第3の実施形態に係る内視鏡装置3について説明するが、第3の実施形態に係る内視鏡装置3の構成と、第1の実施形態に係る内視鏡装置1の構成は同じであるため、図1,2,6を参照して説明することとする。
【0095】
(補正データ)
この第3の実施形態に係る内視鏡装置3のEEPROM24には、イメージセンサ21が備えるCMOSセンサの全画素のうち白キズおよび黒キズ等の画素欠陥が生じている画素数およびアドレスが記憶される。
【0096】
(MPU35cの読出し動作)
次に、ヘッド20のEEPROM24の補正データの読出しについて説明する。
MPU35cは、ヘッド20のEEPROM24に記憶されている画素数を読みだす。次に、MPU35cは、EEPROM24に記憶されているアドレスを読出し、CCU30のEEPROM35aへ記憶する。
【0097】
MPU35cは、画素のアドレスを読出す度に内蔵カウンタの値をインクリメントし、この内蔵カウンタの値がEEPROM24から読み出した画素数と同じになった時点で全てのアドレスの読出しが終了したと判断して完了信号を出力する。
【0098】
(画像信号処理部33aの補正動作)
次に、CCU30の画像信号処理部33aの補正動作について説明する。
画像信号処理部33aは、MPU35cから完了信号が入力されると、MPU35cによりヘッド20のEEPROM24からCCU30のEEPROM35aへ記憶された画素のアドレスに基づいて、欠陥画素の画像信号を補正する。
【0099】
図11は、欠陥画素の補正方法を説明する図である。
画像信号処理部33aは、画素毎の画像信号に付与されたアドレスに基づいて各画素の画像信号をアドレス順に並べ替えた後、画素欠陥が生じている画素の画像信号を補正する。具体的には、図11に示すように、画像信号処理部33aは、欠陥画素の左右両隣の画素の画像信号を足して2で除算した値を欠陥画素の画像信号とし、欠陥画素の画像信号を補正する。
【0100】
なお、欠陥画素の補正は、上下両隣の画素の画像信号を足して2で除算してもよいし、欠陥画素の上下左右4つの画素の画像信号を足して4で除算してもよい。また、第3の実施形態に係る内視鏡装置3のその他の構成の動作は、図1,2,6で説明した第1の実施形態に係る内視鏡装置1の構成と内示であるため重複した説明を省略する。
【0101】
なお、この第3の実施形態を第1〜第2の実施形態と組み合わせることも可能である。第1の実施形態と組み合わせる場合、補正データが4bit以下の画素を補正する前に、画素欠陥を補正すればよい。このため、補正データが4bitを超える画素を補正した後に、画素欠陥を補正するように構成してもよいし、画素欠陥を補正した後に、補正データが4bitを超える画素を補正するように構成してもよい。この場合、素子ノイズだけでなく、黒キズや白キズ等の欠陥画素についても補正することができるため、画像の視認性がさらに向上する。その他の効果は、第1の実施形態に係る内視鏡装置1と同じである。
【0102】
(第4の実施形態)
上記第1〜第2の実施形態において、視認性の高い色から補正データを転送するように構成することも可能である。この第4の実施形態では、視認性の高い色から補正データを転送する実施形態について説明する。
【0103】
例えば、輝度信号は、Y=0.7G+0.2R+0.1Bといったように各原色(R,G,B)に重みづけがされている。上記の例では、G(Green)、R(Red)、B(Blue)の順に重みづけが高いことから、CMOSセンサの各画素の補正データのうち、データ量が4bitを超えている画素の補正データをG(Green)、R(Red)、B(Blue)の画素の順に転送するように構成してもよい。
【0104】
また、G(Green)、R(Red)、B(Blue)の画素毎に、補正データを優先的に転送する基準を変更するように構成してもよい。視認性の高い色は、ノイズが目立つことからGの基準を最も高くし、Bの基準を最も低くすることが考えられる。例えば、補正データを優先的に転送する基準を、基準電圧(例えば、5V)からの電圧のずれがフルスケール(例えば、12V)の3%(G)、5%(R)、8%(B)を超えている画素の補正データから優先的に転送するようにしてもよい。
【0105】
(その他の実施形態)
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、ヘッド20のEEPROM24にID(識別子)を記憶し、CCU30のEEPROM35aに、前記IDと画素数とを対応付けたテーブルデータを記憶するように構成してもよい。このように構成すれば、ヘッド20を交換した場合であっても、ヘッド20から読み出したIDからヘッド20が備えるイメージセンサ21の画素数を認識することが可能となる。
【符号の説明】
【0106】
1,1A,2,3…内視鏡装置、10…スコープ、20…ヘッド、21…イメージセンサ、22…接続端子、23…I/F回路、24…EEPROM、30…CCU、31…接続端子、32…I/F回路、33…画像信号処理回路、34…画像出力回路、35…システム制御回路、36…電源回路、40…ライトソース、50…カメラケーブル、60…光ファイバ。
【技術分野】
【0001】
本発明の実施形態は、CCDセンサやCMOSセンサ等のイメージセンサを用いた撮像装置、撮像方法及び内視鏡装置に関する。
【背景技術】
【0002】
従来の撮像装置には、イメージセンサとしてCCD(Charge Coupled Device)センサやCOMS(Complementary Metal Oxide Semiconductor)センサ等を備えたヘッドと、このイメージセンサで撮像された画像の信号(以下、画像信号と称する)を処理する本体とを分離したヘッド分離型の撮像装置がある(例えば、特許文献1参照)。この撮像装置が備える上記イメージセンサには、固定パターンノイズ(FPN)とランダムノイズと呼ばれる2種類のノイズが存在するが、これら2種類のノイズのうち、固定パターンノイズは、イメージセンサの特定の画素に生じるノイズであり補正が可能である。そこで、従来のヘッド分離型の撮像装置では、ヘッド側にイメージセンサの補正データ(補正情報)を保持しておき、撮像装置を起動した際に、この補正データをヘッドから本体へ転送し、この転送された補正データを用いてヘッドのイメージセンサから送信される画像信号を補正している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平09−294223号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、イメージセンサの画素数の増加に伴い、この補正データのデータ量も増加しており転送に必要な時間が長くなっている。しかも、従来のヘッド分離型の撮像装置では、ヘッドに保持された全ての補正データが本体に転送されるまで画像信号を補正しないため、固定パターンノイズを補正した鮮明な画像を得るまでに数分もの時間が掛るという問題があった。
【0005】
本発明は、かかる従来の課題を解決するためになされたものであり、従来に比して短い時間で補正後の鮮明な画像を得ることができる撮像装置、撮像方法及び内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る撮像装置は、被写体を撮像するヘッド部と、ヘッド部から送信される画像信号を処理する本体部とが分離したヘッド分離型の撮像装置であって、ヘッド部は、複数の画素を有し、被写体を撮像する撮像手段と、複数の画素のノイズを補正する補正情報のうち補正情報のデータ量が所定の閾値を超える画素の補正情報と、残りの補正データとが記憶されている記憶手段とを具備し、本体部は、補正情報のデータ量が所定の閾値を超える画素の補正情報を優先して取得し、その後に残りの補正データを取得する補正情報取得手段と、補正情報取得手段が補正情報のデータ量が所定の閾値を超える画素の補正情報の取得が完了すると、該取得した補正情報に基づいて、ヘッド部の撮像手段から送信される画像信号を補正する補正手段とを具備する。
【図面の簡単な説明】
【0007】
【図1】第1の実施形態に係る内視鏡装置の構成図である。
【図2】ヘッドの構成図である。
【図3】色フィルタの配色例を示す図である。
【図4】データの説明図である。
【図5】補正データの作成手順の説明図である。
【図6】CCUの構成図である。
【図7】内視鏡装置の動作を示すフローチャートである。
【図8】補正データの作成手順の説明図である。
【図9】ノイズの一例を示した図である。
【図10】場合分けの説明図である。
【図11】欠陥画素の補正方法の説明図である。
【発明を実施するための形態】
【0008】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
(第1の実施形態)
第1の実施形態では、撮像装置としてヘッド分離型の内視鏡装置を例にその構成を説明する。なお、上述した固定パターンノイズには、外部環境(例えば、温度や明るさ)によってレベル(強度)が変化しないノイズと、外部環境によりレベルが変化するノイズとがあるが、この第1の実施形態では、外部環境によってレベルが変化しないノイズ(以下、素地ノイズと称する)を補正する場合を説明する。また、第1の実施形態では、イメージセンサ(撮像素子)としてCMOS(Complementary Metal Oxide Semiconductor)センサを用いた実施形態について説明するが、CMOSセンサの代わりにCCD(Charge Coupled Device)センサ等、他のセンサを用いてもよい。
【0009】
図1は、第1の実施形態に係る内視鏡装置1の構成図である。内視鏡装置1は、先端に対物レンズ10aが設けられ、被検査体内へ挿入されるスコープ10と、対物レンズ10aの結像面に位置するイメージセンサ21(撮像手段)により撮像される画像信号をCCUへカメラケーブル50を介して出力するヘッド20と、ヘッド20から出力された画像信号を処理するCCU(camera control unit)30と、撮像範囲を露光するライトソース40(光源)と、ライトソース40からの光をスコープ10の先端部へ導入するための光ファイバ60を具備する。
【0010】
なお、カメラケーブル50には、ヘッド20とCCU30との間で画像信号及び制御信号を送受信するための信号線およびCCU30からヘッド20へ電力を供給するための電力線などが収容されている。
【0011】
(ヘッド20の構成)
図2は、ヘッド20の構成図である。
ヘッド20は、イメージセンサ21、接続端子22、I/F回路23及びEEPROM24を具備する。イメージセンサ21は、三板式イメージセンサであり、対物レンズ10aからの光をR(Red),G(Green),B(Blue)の三色に色分解するプリズム21aと、このR,G,B色分解された光を電気信号に変換するCMOSセンサ21b〜21dから構成される。三板式イメージセンサは、1画素ごとにRGBの情報を保持するので色再現性に優れるという特性を有する。イメージセンサ21は、フルHD(high density)に対応したカラーイメージセンサである。
【0012】
イメージセンサ21は、三板式ではなく単板式としてもよい。単板式のイメージセンサでは、CMOSセンサの各画素上に色フィルタを備え、CMOSセンサから出力される電気信号を回路にてR,G,B信号に色分解する。プリズムとCMOSセンサを貼り合わせる必要がないため安価に制作できるという特性を有する。
【0013】
なお、色フィルタの配列には、種々の方式がある。図3は、色フィルタの配列例を示す図である。図3(a)には色差線順次配列を示した。色差線順次配列では、補色と呼ばれるM(R+B),Y(G+B),C(R+G)とGの色フィルタを図3(a)に示す配列で配置している。色差線順次配列では、補色M,Y,Cを用いることにより一つの画素で二つの原色(R+B、G+B、R+G)を得ている。色差線順次配列は、インターレーススキャンで駆動されるイメージセンサに好適である。
【0014】
また、図3(b)にはベイヤー配列を示した。このベイヤー配列では、原色(R,G,B)の色フィルタを配列しているが、Gの色フィルタがRやBの色フィルタ2倍配列される。これは人の目が、緑光に対して感度が高いためであり、撮影した画像の解像度を高める効果がある。なお、第1の実施形態に係る内視鏡装置1のイメージセンサ21には、図3に示した以外の配列の色フィルタを採用してもよい。
【0015】
接続端子22には、カメラケーブル50が接続される。I/F回路23は、シリアライザ23a及びLVDS変換回路23bを備え、イメージセンサ21から出力される画像信号をデジタル信号のまま、接続端子22に接続されたカメラケーブル50を介してCCU30へ送信する。EEPROM24は、電気的に書き換え可能な不揮発性メモリ(例えば、フラッシュメモリ等)であり、イメージセンサ21の補正データ(補正情報)および設定条件(例えば、フレームレート、ゲイン、感度等)等が記憶される。なお、これらの補正データおよび設定条件等を記憶するメモリは、書き換えが可能であれば、EEPROM24以外のメモリも使用できる。
【0016】
(補正データ)
図4は、EEPROM24に記憶されている補正データの説明図である。
上述したように、この第1の実施形態では、外部環境(例えば、温度や明るさ)によってレベル(強度)が変化しない素地ノイズを補正する。このため、イメージセンサ21が備えるCMOSセンサの素地ノイズを画素毎に予め測定しておき、図4に示すように、この素地ノイズを打ち消す補正データを画素毎にEEPROM24に記憶させておく。そして、イメージセンサ21から出力される画像信号に、この記憶した補正データを加算することで画像信号を補正する。なお、素地ノイズは、CMOSセンサに所定の電圧(基準電圧)を出力するよう指示し、実際に出力された電圧の基準電圧からのずれを各画素毎に調べることで測定できる。
【0017】
なお、この第1の実施形態では、各画素の映像信号は最大12bitであるものとする。このため、各画素の補正データも最大12bitとなる。すなわち、素地ノイズのレベルが最大の場合の補正データは12bitとなり、素地ノイズのレベルがゼロの場合の補正データは0bitとなる。
【0018】
EEPROM24には、イメージセンサ21が備えるCMOSセンサの全画素の補正データが、以下の1〜3の順で記憶されている。また、EEPROM24に記憶されている補正データが読みだされる際は、同順(1→2→3の順)で読みだされる。
1:補正データが4bitを超える画素数。
2:補正データが4bitを超える画素の上位8bit分の補正データとアドレス。
3:全画素の下位4bit分の補正データ。
【0019】
なお、この第1の実施形態では、補正データが4bitを超える画素については、補正データを12bitに、補正データが4bit以下の画素については、補正データを4bitに調整している(具体的には、補正とは関係のないデータ(例えば、Null(0))を挿入している)。このように補正データのbit数を一定にすることで、後述するMPU35cがEEPROM24から補正データ読みだす際に、読みだした補正データの数を認識することが可能となる。
【0020】
(補正データの作成)
次に、EEPROM24へ予め記憶させる補正データの作成手順について説明する。図5は、補正データの作成手順の説明図である。
初めに、素地ノイズを打ち消す補正データをCMOSセンサの画素毎に作成する。素地ノイズの大きさ(データ量)は、画素毎に異なるため、この素地ノイズを打ち消すために必要な補正データのデータ量も画素毎に異なるが、図5に示すように補正データが4bitを超える画素については、補正データを12bit、補正データが4bit以下の画素については、補正データを4bitに調整している。
【0021】
この第1の実施形態では、初めに、CMOSセンサの各画素の補正データのうち、データ量が4bitを超えている画素数をEEPROM24へ記憶する。次に、データ量が4bitを超えている画素の補正データの上位8bit分のデータを画素のアドレスと共にEEPROM24へ記憶する。最後に、CMOSセンサの全画素について下位4bit分のデータをアドレス順にEEPROM24へ記憶する。
【0022】
図5に示した例では、画素のアドレスが「3」と「8」の補正データが4bitを超えているので、まず、画素数「2」がEEPROM24へ記憶される。次いで、アドレスが「3」と「8」の補正データの上位8bit分が、アドレスと共に記憶される。最後に、アドレスが「3」と「8」画素を除くアドレス(「1」,「2」,「4」〜「7」)の画素の補正データの下位4bit分の補正データと、アドレスが「3」と「8」の画素の補正データの下位4bit分の補正データがアドレス順に記憶される。
【0023】
(CCU30の構成)
図6は、CCU30の構成を示す図である。
接続端子31、I/F回路32、画像信号処理回路33、画像出力回路34、システム制御回路35及び電源回路36を具備する。接続端子31には、カメラケーブル50が接続される。I/F回路32は、デシリアライザ32a及びLVDS変換回路32bを備え、ヘッド20から送信される画像信号を画像信号処理回路33へ出力する。また、I/F回路32は、システム制御回路35から出力される制御信号を接続端子31に接続されたカメラケーブル50を介してヘッド20へ送信する。
【0024】
画像信号処理回路33は、画像信号処理部33aと同期信号生成部33bを備える。画像信号処理部33aは、I/F回路32から出力される画像信号を処理して画像出力回路34へ出力する。画像信号処理部33aは、I/F回路32から出力される各画素の画像信号を画素のアドレス順に並べ替えた後、後述するMPU35cによりヘッド20のEEPROM24から読出された補正データに基づいて画像信号を補正する。なお、この画像信号処理部33aによる補正動作は後段の(画像信号処理部33aの補正動作)で詳細に説明する。
【0025】
画像信号処理部33aは、補正後の画像信号に対してデモザイキング処理、ニー補正、ガンマ補正、ディテールやマトリクス処理等のエンハンス処理が行い、画像出力回路34へ入力する。
【0026】
同期信号生成部33bは、イメージセンサ21の撮像に用いられる同期信号を生成する。該同期信号は、設定されたフレームレートに応じた所定の間隔で生成される。生成された同期信号は、MPU35cへ出力されると共に、I/F回路32から接続端子31に接続されたカメラケーブル50を介してヘッド20へ送信される。
【0027】
画像出力回路34は、D/Aコンバータ34a及びDVI(digital visual interface)トランスミッタ34bを備え、画像信号処理回路33で処理された画像信号をアナログ及びデジタルのRGB(red, green, blue)信号として外部のモニタ(図示せず)へ出力する。
【0028】
システム制御回路35は、EEPROM35a、OSD(on-screen display)コントローラ35b、MPU(micro processing unit)35c、受信部35d及び操作受付部35eを備え、この内視鏡装置1全体を制御する。EEPROM35aは、電気的に書き換え可能なROMである。EEPROM35aには、CCU30の設定条件(例えば、露光期間等)およびイメージセンサ21のCMOSセンサの全画素数が記憶されている。また、ヘッド20のEEPROM24から読出された補正データは、このEEPROM35a記憶される。
【0029】
露光期間は、イメージセンサ21で撮像される画像の明るさを調整するパラメータであり、シャッタースピードに相当する。露光期間としては、数種類(例えば、1/240秒、1/120秒等)あればよい。この露光期間は、後述する外部のPC(personal computer)や操作キーにより設定を変更できる。
【0030】
この設定条件を記憶するメモリは、書き換えが可能であれば、EEPROM以外のメモリも使用できる。OSDコントローラ35bは、画像信号処理部33aで処理される画像信号の画像にテキストデータやビットマップ等を重畳表示する。
【0031】
MPU35cは、受信部35dで受信したリモート制御信号、操作受付部で受付けた処理内容及びEEPROM35aに記憶された設定情報に基づいてヘッド20、CCU30及びライトソース40を制御する。
【0032】
また、MPU35cは、カメラケーブル50を介してヘッド20のEEPROM24に記憶されている補正データを記憶されている順に読み出してEEPROM35aに記憶する。MPU35cは、上位8bitと下位4bitの各補正データの読出しが完了する度に画像信号処理回路33の画像信号処理部33aへ読出し完了信号を出力する。なお、このMPU35cによる読出し動作は後段の(MPU35cの読出し動作)で詳細に説明する。
【0033】
なお、MPU35cによるヘッド20のEEPROM24からの補正データの読出しは、ヘッド20とCCU30との間で他のデータ(例えば、イメージセンサ21の画像信号)が送受信されていない間に行われる。
【0034】
受信部35dは、外部のPC等から送信されるリモート制御用の制御信号を受信してMPU35cへ出力する。なお、外部PCとの通信は、RS232−C用シリアルポートを介して行われる。操作受付部35eは、外部の操作キーで操作された処理を受け付けMPU35cへ出力する。
【0035】
電源回路36は、外部から供給される電力を所定の電圧に変換してCCU30内の各回路へ供給する。また、上記電力は、接続端子31に接続されたカメラケーブル50を介してヘッド20にも供給される。
【0036】
ライトソース40は、図示しないランプとレンズを備える。また、ライトソース40には、光ファイバ60が接続される。ランプは、例えば、キセノンランプであり、イメージセンサ21の撮像範囲を露光するための光を発する。レンズは、ランプから発せられる光を光ファイバ60へ導入する。光ファイバ60へ導入された光は、スコープ10の先端部へ導かれ、イメージセンサ21の撮像範囲を露光する。
【0037】
(MPU35cの読出し動作)
次に、ヘッド20のEEPROM24の補正データの読出しについて説明する。
初めに、MPU35cは、ヘッド20のEEPROM24に記憶されている画素数を読み出す。次に、MPU35cは、EEPROM24から上位8bitの補正データおよび画素のアドレスを読出してCCU30のEEPROM35aへ記憶する。読みだした上位8bitの補正データは、該補正データと共に読みだされたアドレス順に記憶される。
【0038】
MPU35cは、上位8bitの補正データおよび画素のアドレスを読出す度(具体的には補正データとアドレスのデータ分だけEEPROM24からデータを読み出す度)に内蔵カウンタの値をインクリメントし、この内蔵カウンタの値がEEPROM24から読み出した画素数と同じになった時点で上位8bitの補正データの読出しが終了したと判断して、1回目の読出し完了信号を出力する。
【0039】
MPU35cは、上位8bitの補正データの読出した後、続けて下位4bitの補正データを読出して、この読出した補正データをCCU30のEEPROM35aへ記憶する。この下位4bitの補正データにはアドレスが対応づけられていないが、画素のアドレス順に全ての画素に対して付与されているため、MPU35cは、読みだした順に下位4bitの補正データをEEPROM35aへ記憶する。
【0040】
MPU35cは、下位4bitの補正データを読出す度(具体的には補正データのbit数分(4bit)だけEEPROM24からデータを読み出す度)に内蔵カウンタの値をインクリメントし、この内蔵カウンタの値がEEPROM35aに記憶されているイメージセンサ21のCMOSの全画素数と同じになった時点で下位4bitの補正データの読出しが終了したと判断して、2回目の読出し完了信号を出力する。下位4bitの補正データは、先に読みだされた上位8bitのデータに加算して記憶される。
【0041】
(画像信号処理部33aの補正動作)
次に、CCU30の画像信号処理部33aの補正動作について説明する。
画像信号処理部33aは、MPU35cから1回目の読出し完了信号が入力されると、MPU35cによりヘッド20のEEPROM24からCCU30のEEPROM35aへ記憶された上位8bitの補正データに基づいて、イメージセンサ21からの画像信号を補正する。
【0042】
画像信号処理部33aは、画素毎の画像信号に付与されたアドレスに基づいて各画素の画像信号をアドレス順に並べ替えた後、同一のアドレスを有する画像信号にEEPROM35aに記憶された上位8bitの補正データを加算することで画像信号を補正する。MPU35cによりEEPROM35aに記憶された補正データは、イメージセンサ21が備えるCMOSセンサの素地ノイズを打ち消すように作成されているため、同一アドレスの画像信号に補正データを加算することで画像信号を補正することができる。
【0043】
画像信号処理部33aは、MPU35cから2回目の読出し完了信号が入力されると、MPU35cによりヘッド20のEEPROM24からCCU30のEEPROM35aへ記憶された全画素の補正データに基づいて、イメージセンサ21からの画像信号を補正する。
【0044】
画像信号処理部33aは、画素毎の画像信号に付与されたアドレスに基づいて各画素の画像信号をアドレス順に並べ替えた後、このアドレス順に並べ替えた画像信号に、EEPROM35aに記憶されている順に補正データ(12bit分)を加算することで画像信号を補正する。EEPROM35aには、アドレス順に補正データが記憶されているので、このアドレス順に並べ替えた画像信号に、EEPROM35aに記憶されている各画素の補正データを順次加算していくことで画像信号を補正することができる。
【0045】
(内視鏡装置1の動作)
次に、第1の実施形態に係る内視鏡装置1の動作について説明する。図7は、第1の実施形態に係る内視鏡装置1の動作を示すフローチャートである。
【0046】
(ステップS101)
電源が投入されると、MPU35cは、ヘッド20のEEPROM24に記憶されている特定画素の上位8bitの補正データを読出し、この読出した補正データをEEPROM35aへ記憶する。MPU35cは、ヘッド20のEEPROM24に記憶されている上位8bitの補正データの読出しとEEPROM35aへの記憶が完了すると1回目の読出し完了信号を出力する。
【0047】
(ステップS102)
ライトソース40は、MPU35cからの制御信号に基づいて、ランプ41を発光させる。ランプ41からの光は、光ファイバ60へ導入され、スコープ10の先端部から照射されてイメージセンサ21の撮像範囲を露光する。
【0048】
(ステップS103)
同期信号生成部33bは、同期信号を生成し、生成した同期信号を所定の時間間隔でI/F回路32から接続端子31に接続されたカメラケーブル50を介してヘッド20へ送信する。
【0049】
(ステップS104)
イメージセンサ21は、ヘッド20を介して同期信号生成部33bから送信される同期信号を受信すると、走査線毎にフォトトランジスタへ電荷を蓄積し、各フォトトランジスタに蓄積された電荷を電圧に変換・増幅して読みだす。
【0050】
(ステップS105)
イメージセンサ21の各フォトトランジスタへ蓄積された電荷は、走査線毎に電圧に変換後、増幅して読みだされ、画像信号としてヘッド20に接続されたカメラケーブ50を介してCCU30へ送信される。
【0051】
(ステップS106)
MPU35cから読出し完了信号が入力されると、画像信号処理回路33の画像信号処理部33aは、I/F回路32から出力される画像信号に対して画素情報の並べ替えを行い、この並べ替えた画像信号に対して補正を行う。画像信号処理部33aは、EEPROM35aへ記憶された上位8bitの補正データに基づいて、この並べ替えた画像信号を補正する。さらに、画像信号処理部33aは、補正後の画像信号に対してエンハンス処理等を行った後、画像出力回路34へ出力する。
【0052】
(ステップS107)
画像出力回路34は、画像信号処理部33aから出力される画像信号をアナログ及びデジタルのRGB(red, green, blue)信号として外部のモニタ(図示せず)へ出力し、該モニタに補正された画像が表示される。
【0053】
(ステップS108)
MPU35cは、ヘッド20のEEPROM24に記憶されている上位8bitの補正データの読出しとEEPROM35aへの記憶が完了すると、続けてEEPROM24に記憶されている全画素の下位4bitの補正データを読出し、この読出した補正データをEEPROM35aへ記憶する。この際、MPU35cは、読みだした下位4bitの補正データを、先に読みだした上位8bitのデータに加算して記憶する。
【0054】
この読出しにより、EEPROM35aへ記憶されている補正データは12bitになる。MPU35cは、ヘッド20のEEPROM24に記憶されている下位4bitの補正データの読出しとEEPROM35aへの記憶が完了すると、2回目の読出し完了信号を出力する。
【0055】
(ステップS109)
MPU35cから2回目の読出し完了信号が入力されると、画像信号処理回路33の画像信号処理部33aは、EEPROM35aへ記憶された12bitの補正データに基づいて、この並べ替えた画像信号を補正する。さらに、画像信号処理部33aは、補正後の画像信号に対してエンハンス処理等を行った後、画像出力回路34へ出力する。
【0056】
(ステップS110)
画像出力回路34は、画像信号処理部33aから出力される画像信号をアナログ及びデジタルのRGB(red, green, blue)信号として外部のモニタ(図示せず)へ出力し、該モニタに補正された画像が表示される。
【0057】
なお、MPU35cによるヘッド20のEEPROM24からの補正データの読出しは、ヘッド20とCCU30との間で他のデータ(例えば、イメージセンサ21の画像信号)が送受信されていない間に行われる。
【0058】
以上ように、この第1の実施形態に係る内視鏡装置1では、イメージセンサ21の画像信号の素地ノイズを補正する補正データのうち4bitを超える補正データの上位8bit分を優先してCCU30へ転送し、この転送された上位8bit分の補正データを用いてイメージセンサ21の画像信号を補正する。補正データが4bitを超える画素の数は通常少ないため(補正データが4bitを超える画素が多いイメージセンサは、そもそもイメージセンサとして適さない)、この転送はすぐに終了する。
【0059】
また、この段階では、下位4bit分については画像信号の補正が行われていないが、視認性に影響の大きい上位8bit分については画像信号の補正が行われているため、画像の視認には支障がないレベルにまでノイズが抑えられている。その結果、ユーザは、内視鏡装置1の電源を投入後、従来に比して短い時間で補正後の鮮明な画像を得ることができ、ユーザの利便性が大幅に向上する。
【0060】
なお、この第1の実施形態では、補正データが4bitを超える画素の補正データを優先的に転送する対象としているが、優先的に転送する補正データの基準は任意である。例えば、補正データが6bitを超える画素の補正データを優先的に転送するようにしてもよいし、補正データが8bitを超える画素の補正データを優先的に転送するようにしてもよい。
【0061】
また、この第1の実施形態では、補正データが4bitを超える画素については、補正データを12bitに、補正データが4bit以下の画素については、補正データを4bitに調整したが、各画素の補正データのbit数を調整せずに、ヘッド20のEEPROM24へ記憶するようにしてもよい。この場合、CCU30のMPU35cが、EEPROM24の補正データを読みだす際に、読みだした補正データのどこからどこまでが各画素の補正データであるかを認識出来るように、各画素の補正データのbit数を対応付けて記憶させておく必要がある。
【0062】
(第1の実施形態の変形例)
第1の実施形態では、CMOSセンサの各画素の補正データのうち、データ量が4bitを超えている画素の補正データの上位8bit分のデータをCCU30へ優先して転送し、その後、CMOSセンサの全画素について下位4bit分のデータを転送する実施形態について説明した。
【0063】
第1の実施形態の変形例では、CMOSセンサの各画素の補正データのうち、データ量が4bitを超えている画素の12bit分のデータをCCU30へ優先して転送し、その後、残りの画素の補正データをCCU30へ転送する実施形態について説明する。以下、第1の実施形態の変形例に係る内視鏡装置1Aについて説明するが、第1の実施形態の変形例に係る内視鏡装置1Aの構成と、第1の実施形態に係る内視鏡装置1の構成は同じであるため、図1,2,6を参照して説明することとする。
【0064】
(補正データ)
この第1の実施形態の変形例に係る内視鏡装置1AのEEPROM24には、イメージセンサ21が備えるCMOSセンサの全画素の補正データが記憶されているが、以下の1〜3の順でデータが記憶されている。また、EEPROM24に記憶されている補正データが読みだされる際は、同順(1→2→3の順)で読みだされる。
1:補正データが4bitを超える画素数。
2:補正データが4bitを超える画素の12bit分の補正データとアドレス。
3:残りの画素の補正データ。
【0065】
なお、この第1の実施形態の変形例においても、補正データが4bitを超える画素については、補正データを12bitに、補正データが4bit以下の画素については、補正データを4bitに調整している。
【0066】
(補正データの作成)
次に、EEPROM24へ予め記憶させる補正データの作成手順について説明する。図8は、補正データの作成手順の説明図である。なお、図8では、補正データが4bitを超える画素については、補正データを12bit、補正データが4bit以下の画素については、補正データを4bitに調整した後の補正データを示している。
【0067】
初めに、素地ノイズを打ち消す補正データをCMOSセンサの画素毎に作成する。次に、作成した各画素の補正データのうち、データ量が4bitを超えている画素数をEEPROM24へ記憶する。さらに、データ量が4bitを超えている画素の補正データを画素のアドレスと共にEEPROM24へ記憶する。最後に、残りの画素の補正データをアドレス順にEEPROM24へ記憶する。
【0068】
図5に示した例では、画素のアドレスが「3」と「8」の補正データが4bitを超えているので、まず、画素数「2」がEEPROM24へ記憶される。次いで、アドレスが「3」と「8」の補正データがアドレスと共に記憶される。最後に、アドレスが「3」と「8」の画素を除くアドレス「1」,「2」,「4」〜「7」の画素の補正データがアドレス順に記憶される。
【0069】
(MPU35cの読出し動作)
次に、ヘッド20のEEPROM24の補正データの読出しについて説明する。
初めに、MPU35cは、ヘッド20のEEPROM24に記憶されている画素数を読み出す。次に、MPU35cは、EEPROM24から補正データが4bitを超える画素の12bit分の補正データとアドレスを読出してCCU30のEEPROM35aへ記憶する。読みだした補正データは、該補正データと共に読みだされたアドレス順に記憶される。
【0070】
MPU35cは、補正データおよび画素のアドレスを読出す度に内蔵カウンタの値をインクリメントし、この内蔵カウンタの値がEEPROM24から読み出した画素数と同じになった時点で補正データが4bitを超える画素の補正データの読出しが終了したと判断して、1回目の読出し完了信号を出力する。
【0071】
MPU35cは、補正データが4bitを超える画素の補正データとアドレスの補正データの読出した後、続けて、残りの補正データ(補正データが4bit以下の画素の補正データ)を順次読み出してEEPROM25aへ記憶する。この際、先に読み出した画素のアドレスは、スキップして残りの補正データをEEPROM25aへ記憶する。もしくは、先に読み出した画素のアドレスには、「0」を加算するようにして、残りの補正データをEEPROM25aへ記憶する。
【0072】
なお、第1の実施形態の変形例に係る内視鏡装置1Aのその他の構成の動作は、図1,2,6で説明した第1の実施形態に係る内視鏡装置1の構成と同じであるため重複した説明を省略する。また、第1の実施形態の変形例に係る内視鏡装置1Aの効果は、第1の実施形態に係る内視鏡装置1と同じである。
【0073】
また、第1の実施形態と同様に、優先的に転送する補正データの基準は任意であり、例えば、補正データが6bitを超える画素の補正データを優先的に転送するようにしてもよいし、補正データが8bitを超える画素の補正データを優先的に転送するようにしてもよい。
【0074】
なお、該実施形態のように、補正データが4bitを超える画素については、補正データを12bitに、補正データが4bit以下の画素については、補正データを4bitに調整しない場合は、EEPROM24に記憶された補正データのデータ量(bit数)を、補正データ毎に付加する必要があることに留意する。補正データのデータ量(bit数)を、補正データ毎に付加することでCCU30側で、ヘッド20のEEPROM24から読みだす補正データの単位(どこからどこまでが一つの補正データであるか)を認識することができる。
【0075】
(第2の実施形態)
第1の実施形態では、素地ノイズを打ち消すための補正データが4bitを超えている画素の補正データを優先的に転送する実施形態について説明した。しかしながら、隣り合った複数の画素に素地ノイズが生じている場合には、ノイズのレベルが小さくても画像の視認性が低下する。
【0076】
この第2の実施形態では、隣り合った複数の画素に素地ノイズが生じている場合の補正方法について説明する。図9は、この第2の実施形態で補正するノイズの一例を示した図である。図9に示すように、ノイズのレベルが小さくても、隣り合った複数の画素に素地ノイズが生じている場合には、単独で素地ノイズが生じている場合に比べて目立つために画像の視認性が低下する。
【0077】
そこで、この第2の実施形態に係る内視鏡装置2では、ノイズの画像上での面積(大きさ)に応じて、優先して転送するノイズのレベルを変化させている。以下、第2の実施形態に係る内視鏡装置2について説明するが、第2の実施形態に係る内視鏡装置2の構成と、第1の実施形態に係る内視鏡装置1の構成は同じであるため、図1,2,6を参照して説明することとする。
【0078】
この第2の実施形態では、以下の3つの場合に分けて、優先的に補正を行うノイズのレベルを変化させている。図10は、場合分けの説明図である。
1:画素が隣り合っていない場合(図10(a))。
2:3つ以上の画素が縦、横、もしくは斜めに直線状に並んでいる場合(図10(b))。
3:複数の画素が面積を有している場合(図10(c))。
【0079】
上記1の場合、映像信号の基準レベル(100%の信号)からのずれが8%を超える画素の補正データを、ヘッド20のEEPROM24からCCU30のEEPROM35aへ優先的に転送する。
【0080】
上記2の場合、映像信号の基準レベル(100%の信号)からのずれが5%を超える画素の補正データを、ヘッド20のEEPROM24からCCU30のEEPROM35aへ優先的に転送する。
【0081】
上記3の場合、映像信号の基準レベル(100%の信号)からのずれが3%を超える画素の補正データを、ヘッド20のEEPROM24からCCU30のEEPROM35aへ優先的に転送する。
【0082】
なお、優先的に転送する補正データの基準は任意であり、必ずしも3%、5%、8%とする必要はなく、基準の値が上記1の基準値<上記2の基準値<上記3の基準値となっていればよい。
【0083】
(補正データ)
この第2の実施形態に係る内視鏡装置2のEEPROM24には、イメージセンサ21が備えるCMOSセンサの全画素の補正データが記憶されているが、以下の1〜3の順でデータが記憶されている。また、EEPROM24に記憶されている補正データが読みだされる際は、同順(1→2→3の順)で読みだされる。
1:画素が隣り合っていない場合(図10(a)参照)に映像信号の基準レベル(100%の信号)からのずれが8%を超える画素数+3つ以上の画素が縦、横、もしくは斜めに直線状に並んでいる場合(図10(b)参照)に、映像信号の基準レベル(100%の信号)からのずれが5%を超える画素数+複数の画素が面積を有している場合(図10(c)参照)に、映像信号の基準レベル(100%の信号)からのずれが3%を超える画素数。
2:画素が隣り合っていない場合の補正データとアドレス+3つ以上の画素が縦、横、もしくは斜めに直線状に並んでいる場合の補正データとアドレス+複数の画素が面積を有している場合の補正データとアドレス。
3:残りの画素の補正データ。
【0084】
(補正データの作成)
次に、EEPROM24へ予め記憶させる補正データの作成手順について説明する。
初めに、素地ノイズを打ち消す補正データをCMOSセンサの画素毎に作成する。次に、作成した各画素の補正データのうち、画素が隣り合っていない場合に映像信号の基準レベル(100%の信号)からのずれが8%を超える画素数と、3つ以上の画素が縦、横、もしくは斜めに直線状に並んでいる場合に映像信号の基準レベル(100%の信号)からのずれが5%を超える画素数と、複数の画素が面積を有している場合に映像信号の基準レベル(100%の信号)からのずれが3%を超える画素数との合計数をEEPROM24へ記憶する。
【0085】
次に、画素が隣り合っていない場合の補正データとアドレスと、3つ以上の画素が縦、横、もしくは斜めに直線状に並んでいる場合の補正データとアドレスと、複数の画素が面積を有している場合の補正データとアドレスとをEEPROM24へ記憶する。最後に、残りの画素の補正データをアドレス順にEEPROM24へ記憶する。
【0086】
(MPU35cの読出し動作)
次に、ヘッド20のEEPROM24の補正データの読出しについて説明する。
初めに、MPU35cは、ヘッド20のEEPROM24に記憶されている画素数を読み出す。次に、MPU35cは、EEPROM24から画素が隣り合っていない場合の補正データとアドレスと、3つ以上の画素が縦、横、もしくは斜めに直線状に並んでいる場合の補正データとアドレスと、複数の画素が面積を有している場合の補正データとアドレスとを読出してCCU30のEEPROM35aへ記憶する。読みだした補正データは、該補正データと共に読みだされたアドレス順に記憶される。
【0087】
MPU35cは、補正データおよび画素のアドレスを読出す度に内蔵カウンタの値をインクリメントし、この内蔵カウンタの値がEEPROM24から読み出した画素数と同じになった時点で補正データの読出しが終了したと判断して、1回目の読出し完了信号を出力する。
【0088】
MPU35cは、続けて、残りの補正データを順次読み出してEEPROM25aへ記憶する。この際、先に読み出した画素のアドレスは、スキップして残りの補正データをEEPROM25aへ記憶する。もしくは、先に読み出した画素のアドレスには、「0」を加算するようにして、残りの補正データをEEPROM25aへ記憶する。
【0089】
なお、第2の実施形態に係る内視鏡装置2のその他の構成の動作については、図1,2,6で説明した第1の実施形態に係る内視鏡装置1の構成と内示であるため重複した説明を省略する。
【0090】
以上のように、この第2の実施形態に係る内視鏡装置2では、ノイズのレベルが小さくても、画素が隣り合っている場合には、優先して転送するノイズレベルの基準を厳しくしている。このため、画像の視認性が向上し、ユーザの利便性がより向上する。その他の効果は、第1の実施形態に係る内視鏡装置1と同じである。
【0091】
(第3の実施形態)
上記第1〜第2の実施形態では、素地ノイズの補正について説明したが、外部環境(例えば、温度や明るさ)によりレベルが変化する固定パターンノイズについても補正が可能である。この第3の実施形態では、素地ノイズ以外の固定パターンノイズ(例えば、白キズや黒キズ)を補正する実施形態について説明する。
【0092】
白キズとは、本来出力されるべき値よりも高い値の画素データが出力されて、その受光素子に対応する画素が白く見える画素欠陥のことをいい、主に暗電流により生じる。暗電流とは、CMOSセンサにおいて、光を照射しない時にも流れている微弱な電流のことであり、主に熱的要因や絶縁不良のために生じる。暗電流が大きいと画像のノイズの原因となる。
【0093】
また、黒キズとは、本来出力されるべき値よりも低い値の画素データが出力されて、その受光素子に対応する画素が黒く見える画素欠陥のことをいい、主にCMOSセンサ内のダストが原因で生じる。このダストにより、CMOSセンサへの画素へ入射する光が遮られたり、CMOSセンサの回路がショートしている場合に生じる欠陥である。
【0094】
以下、第3の実施形態に係る内視鏡装置3について説明するが、第3の実施形態に係る内視鏡装置3の構成と、第1の実施形態に係る内視鏡装置1の構成は同じであるため、図1,2,6を参照して説明することとする。
【0095】
(補正データ)
この第3の実施形態に係る内視鏡装置3のEEPROM24には、イメージセンサ21が備えるCMOSセンサの全画素のうち白キズおよび黒キズ等の画素欠陥が生じている画素数およびアドレスが記憶される。
【0096】
(MPU35cの読出し動作)
次に、ヘッド20のEEPROM24の補正データの読出しについて説明する。
MPU35cは、ヘッド20のEEPROM24に記憶されている画素数を読みだす。次に、MPU35cは、EEPROM24に記憶されているアドレスを読出し、CCU30のEEPROM35aへ記憶する。
【0097】
MPU35cは、画素のアドレスを読出す度に内蔵カウンタの値をインクリメントし、この内蔵カウンタの値がEEPROM24から読み出した画素数と同じになった時点で全てのアドレスの読出しが終了したと判断して完了信号を出力する。
【0098】
(画像信号処理部33aの補正動作)
次に、CCU30の画像信号処理部33aの補正動作について説明する。
画像信号処理部33aは、MPU35cから完了信号が入力されると、MPU35cによりヘッド20のEEPROM24からCCU30のEEPROM35aへ記憶された画素のアドレスに基づいて、欠陥画素の画像信号を補正する。
【0099】
図11は、欠陥画素の補正方法を説明する図である。
画像信号処理部33aは、画素毎の画像信号に付与されたアドレスに基づいて各画素の画像信号をアドレス順に並べ替えた後、画素欠陥が生じている画素の画像信号を補正する。具体的には、図11に示すように、画像信号処理部33aは、欠陥画素の左右両隣の画素の画像信号を足して2で除算した値を欠陥画素の画像信号とし、欠陥画素の画像信号を補正する。
【0100】
なお、欠陥画素の補正は、上下両隣の画素の画像信号を足して2で除算してもよいし、欠陥画素の上下左右4つの画素の画像信号を足して4で除算してもよい。また、第3の実施形態に係る内視鏡装置3のその他の構成の動作は、図1,2,6で説明した第1の実施形態に係る内視鏡装置1の構成と内示であるため重複した説明を省略する。
【0101】
なお、この第3の実施形態を第1〜第2の実施形態と組み合わせることも可能である。第1の実施形態と組み合わせる場合、補正データが4bit以下の画素を補正する前に、画素欠陥を補正すればよい。このため、補正データが4bitを超える画素を補正した後に、画素欠陥を補正するように構成してもよいし、画素欠陥を補正した後に、補正データが4bitを超える画素を補正するように構成してもよい。この場合、素子ノイズだけでなく、黒キズや白キズ等の欠陥画素についても補正することができるため、画像の視認性がさらに向上する。その他の効果は、第1の実施形態に係る内視鏡装置1と同じである。
【0102】
(第4の実施形態)
上記第1〜第2の実施形態において、視認性の高い色から補正データを転送するように構成することも可能である。この第4の実施形態では、視認性の高い色から補正データを転送する実施形態について説明する。
【0103】
例えば、輝度信号は、Y=0.7G+0.2R+0.1Bといったように各原色(R,G,B)に重みづけがされている。上記の例では、G(Green)、R(Red)、B(Blue)の順に重みづけが高いことから、CMOSセンサの各画素の補正データのうち、データ量が4bitを超えている画素の補正データをG(Green)、R(Red)、B(Blue)の画素の順に転送するように構成してもよい。
【0104】
また、G(Green)、R(Red)、B(Blue)の画素毎に、補正データを優先的に転送する基準を変更するように構成してもよい。視認性の高い色は、ノイズが目立つことからGの基準を最も高くし、Bの基準を最も低くすることが考えられる。例えば、補正データを優先的に転送する基準を、基準電圧(例えば、5V)からの電圧のずれがフルスケール(例えば、12V)の3%(G)、5%(R)、8%(B)を超えている画素の補正データから優先的に転送するようにしてもよい。
【0105】
(その他の実施形態)
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、ヘッド20のEEPROM24にID(識別子)を記憶し、CCU30のEEPROM35aに、前記IDと画素数とを対応付けたテーブルデータを記憶するように構成してもよい。このように構成すれば、ヘッド20を交換した場合であっても、ヘッド20から読み出したIDからヘッド20が備えるイメージセンサ21の画素数を認識することが可能となる。
【符号の説明】
【0106】
1,1A,2,3…内視鏡装置、10…スコープ、20…ヘッド、21…イメージセンサ、22…接続端子、23…I/F回路、24…EEPROM、30…CCU、31…接続端子、32…I/F回路、33…画像信号処理回路、34…画像出力回路、35…システム制御回路、36…電源回路、40…ライトソース、50…カメラケーブル、60…光ファイバ。
【特許請求の範囲】
【請求項1】
被写体を撮像するヘッド部と、前記ヘッド部から送信される画像信号を処理する本体部とが分離したヘッド分離型の撮像装置であって、
前記ヘッド部は、
複数の画素を有し、前記被写体を撮像する撮像手段と、
前記複数の画素のノイズを補正する補正情報のうち補正情報のデータ量が所定の閾値を超える画素の補正情報と、残りの補正データとが記憶されている記憶手段とを具備し、
前記本体部は、
前記補正情報のデータ量が所定の閾値を超える画素の補正情報を優先して取得し、その後に前記残りの補正データを取得する補正情報取得手段と、
前記補正情報取得手段が前記補正情報のデータ量が所定の閾値を超える画素の補正情報の取得が完了すると、該取得した補正情報に基づいて、前記ヘッド部の前記撮像手段から送信される画像信号を補正する補正手段とを具備する撮像装置。
【請求項2】
前記記憶手段は、
前記補正情報のデータ量が所定の閾値を超える画素の数をさらに記憶し、
前記補正情報取得手段は、
前記記憶手段から読み出した前記補正データの数が、前記記憶手段に記憶されている前記画素の数と同じ値になると読出し完了信号を出力し、
前記補正手段は、
前記補正情報取得手段から前記読出し完了信号が出力されると、前記補正情報取得手段が取得した補正情報に基づいて、前記ヘッド部の前記撮像手段から送信される画像信号を補正する請求項1記載の撮像装置。
【請求項3】
前記記憶手段には、
前記補正情報のデータ量が所定の閾値を超える画素の補正情報の一部と、残りの補正情報とが同順で記憶されている請求項1記載の撮像装置。
【請求項4】
前記記憶手段には、
前記補正情報のデータ量が所定の閾値を超える画素の補正情報の全部と、残りの補正情報とが同順で記憶されている請求項1記載の撮像装置。
【請求項5】
前記所定の閾値は、緑色、赤色、青色の画素の順に小さくなる請求項1記載の撮像装置。
【請求項6】
前記所定の閾値は、前記ノイズを有する画素が隣り合う数に応じて小さくなる請求項1記載の撮像装置。
【請求項7】
複数の画素を有し、被写体を撮像する撮像手段と、前記複数の画素のノイズを補正する補正情報が記憶されている記憶手段とを具備するヘッド部と、前記記憶手段に記憶されている前記補正情報を取得する補正情報取得手段と、前記補正情報取得手段が取得した前記補正情報に基づいて、前記ヘッド部の前記撮像手段から送信される画像信号を補正する補正手段とを具備する本体部とが分離したヘッド分離型の撮像装置を用いた撮像方法であって、
前記補正情報取得手段が、前記記憶手段から補正情報のデータ量が所定の閾値を超える画素の補正情報を優先して取得するステップと、
前記撮像装置が、前記被写体を撮像するステップと、
前記補正手段が、前記補正情報取得手段が前記補正情報のデータ量が所定の閾値を超える画素の補正情報の取得が完了すると、該取得した補正情報に基づいて、前記撮像手段から送信される画像信号を補正するステップと、
を有する撮像方法。
【請求項8】
被検体内に挿入されるスコープを備え、前記被検体内を撮像するヘッド部と、前記ヘッド部から送信される画像信号を処理する本体部とが分離したヘッド分離型の内視鏡装置であって、
前記ヘッド部は、
複数の画素を有し、前記被写体を撮像する撮像手段と、
前記複数の画素のノイズを補正する補正情報のうち補正情報のデータ量が所定の閾値を超える画素の補正情報と、残りの補正データとが記憶されている記憶手段とを具備し、
前記本体部は、
前記補正情報のデータ量が所定の閾値を超える画素の補正情報を優先して取得し、その後に前記残りの補正データを取得する補正情報取得手段と、
前記補正情報取得手段が前記補正情報のデータ量が所定の閾値を超える画素の補正情報の取得が完了すると、該取得した補正情報に基づいて、前記ヘッド部の前記撮像手段から送信される画像信号を補正する補正手段とを具備する内視鏡装置。
【請求項1】
被写体を撮像するヘッド部と、前記ヘッド部から送信される画像信号を処理する本体部とが分離したヘッド分離型の撮像装置であって、
前記ヘッド部は、
複数の画素を有し、前記被写体を撮像する撮像手段と、
前記複数の画素のノイズを補正する補正情報のうち補正情報のデータ量が所定の閾値を超える画素の補正情報と、残りの補正データとが記憶されている記憶手段とを具備し、
前記本体部は、
前記補正情報のデータ量が所定の閾値を超える画素の補正情報を優先して取得し、その後に前記残りの補正データを取得する補正情報取得手段と、
前記補正情報取得手段が前記補正情報のデータ量が所定の閾値を超える画素の補正情報の取得が完了すると、該取得した補正情報に基づいて、前記ヘッド部の前記撮像手段から送信される画像信号を補正する補正手段とを具備する撮像装置。
【請求項2】
前記記憶手段は、
前記補正情報のデータ量が所定の閾値を超える画素の数をさらに記憶し、
前記補正情報取得手段は、
前記記憶手段から読み出した前記補正データの数が、前記記憶手段に記憶されている前記画素の数と同じ値になると読出し完了信号を出力し、
前記補正手段は、
前記補正情報取得手段から前記読出し完了信号が出力されると、前記補正情報取得手段が取得した補正情報に基づいて、前記ヘッド部の前記撮像手段から送信される画像信号を補正する請求項1記載の撮像装置。
【請求項3】
前記記憶手段には、
前記補正情報のデータ量が所定の閾値を超える画素の補正情報の一部と、残りの補正情報とが同順で記憶されている請求項1記載の撮像装置。
【請求項4】
前記記憶手段には、
前記補正情報のデータ量が所定の閾値を超える画素の補正情報の全部と、残りの補正情報とが同順で記憶されている請求項1記載の撮像装置。
【請求項5】
前記所定の閾値は、緑色、赤色、青色の画素の順に小さくなる請求項1記載の撮像装置。
【請求項6】
前記所定の閾値は、前記ノイズを有する画素が隣り合う数に応じて小さくなる請求項1記載の撮像装置。
【請求項7】
複数の画素を有し、被写体を撮像する撮像手段と、前記複数の画素のノイズを補正する補正情報が記憶されている記憶手段とを具備するヘッド部と、前記記憶手段に記憶されている前記補正情報を取得する補正情報取得手段と、前記補正情報取得手段が取得した前記補正情報に基づいて、前記ヘッド部の前記撮像手段から送信される画像信号を補正する補正手段とを具備する本体部とが分離したヘッド分離型の撮像装置を用いた撮像方法であって、
前記補正情報取得手段が、前記記憶手段から補正情報のデータ量が所定の閾値を超える画素の補正情報を優先して取得するステップと、
前記撮像装置が、前記被写体を撮像するステップと、
前記補正手段が、前記補正情報取得手段が前記補正情報のデータ量が所定の閾値を超える画素の補正情報の取得が完了すると、該取得した補正情報に基づいて、前記撮像手段から送信される画像信号を補正するステップと、
を有する撮像方法。
【請求項8】
被検体内に挿入されるスコープを備え、前記被検体内を撮像するヘッド部と、前記ヘッド部から送信される画像信号を処理する本体部とが分離したヘッド分離型の内視鏡装置であって、
前記ヘッド部は、
複数の画素を有し、前記被写体を撮像する撮像手段と、
前記複数の画素のノイズを補正する補正情報のうち補正情報のデータ量が所定の閾値を超える画素の補正情報と、残りの補正データとが記憶されている記憶手段とを具備し、
前記本体部は、
前記補正情報のデータ量が所定の閾値を超える画素の補正情報を優先して取得し、その後に前記残りの補正データを取得する補正情報取得手段と、
前記補正情報取得手段が前記補正情報のデータ量が所定の閾値を超える画素の補正情報の取得が完了すると、該取得した補正情報に基づいて、前記ヘッド部の前記撮像手段から送信される画像信号を補正する補正手段とを具備する内視鏡装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−115310(P2012−115310A)
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願番号】特願2010−265170(P2010−265170)
【出願日】平成22年11月29日(2010.11.29)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願日】平成22年11月29日(2010.11.29)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]