撮像装置、撮像方法
【課題】撮像素子のノイズデータが反映された映像を出力するために要する時間が低減された撮像装置を提供することが課題になっていた。
【解決手段】実施形態の撮像装置は、撮像素子を用いて撮像された映像に係る撮像映像信号を出力する撮像映像信号出力部を備える。また、記憶部に記憶されている前記撮像素子に係るデータの一部を出力するデータ出力部を備える。また、前記出力された撮像素子に係るデータの一部を受信し、この受信した撮像素子に係るデータの一部を用いて、データの補完処理を行なう補完処理部を備える。また、前記補完処理されたデータを用いて、前記出力された撮像映像信号の映像処理を行ない、映像信号を出力する映像処理部を備える。
【解決手段】実施形態の撮像装置は、撮像素子を用いて撮像された映像に係る撮像映像信号を出力する撮像映像信号出力部を備える。また、記憶部に記憶されている前記撮像素子に係るデータの一部を出力するデータ出力部を備える。また、前記出力された撮像素子に係るデータの一部を受信し、この受信した撮像素子に係るデータの一部を用いて、データの補完処理を行なう補完処理部を備える。また、前記補完処理されたデータを用いて、前記出力された撮像映像信号の映像処理を行ない、映像信号を出力する映像処理部を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、撮像装置、撮像方法に関する。
【背景技術】
【0002】
近年、CCDイメージセンサ(Charge Coupled Device Image Sensor)やCMOSイメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor)等のイメージセンサを用い、撮像を行なう撮像装置が普及している。
【0003】
イメージセンサにおいては、例えば、数百万以上の多数の撮像素子(画素)が用いられるが、これらの撮像素子(画素)は、それぞれが固定パターンノイズを備えている。固定パターンノイズの一例としては、例えば、暗電流シェーディング等がある。
【0004】
これらの固定パターンノイズに係るデータは、予め測定し、カメラヘッド等に記憶しておき、例えば、撮像装置の起動時に読み出してCCU(Camera Control Unit)等へ送信し、撮像映像信号の映像処理等に用いることが可能である。
【0005】
しかし、上記のように、イメージセンサは、それぞれが固定パターンノイズを備える撮像素子(画素)を多数構成する構造であることから、固定パターンノイズのCCU等への送信に多大な時間を要していた。
【0006】
これによって、撮像装置の電源が投入されてから、上記イメージセンサの固定パターンノイズに係るデータが反映された映像を出力するまでに、例えば、十秒間程度の時間を要することがあった。
【0007】
このため、イメージセンサの固定パターンノイズに係るデータが反映された映像の出力時間が低減された撮像装置を提供することが課題になっていた。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平11−196332号公報
【特許文献2】特開2011−10113号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
例えば、内視鏡等の撮像装置において、ヘッド部に記憶された撮像素子のノイズデータ等に関するデータ量が多くなっている。このため、これらのデータをCCU等の制御部に送信する送信時間が長くなり、撮像素子のノイズデータが反映された映像を出力するために、多くの時間を要している。
【0010】
このため、撮像素子のノイズデータが反映された映像を出力するために要する時間が低減された撮像装置を提供することが課題になっていた。
【課題を解決するための手段】
【0011】
実施形態の撮像装置は、撮像素子を用いて撮像された映像に係る撮像映像信号を出力する撮像映像信号出力部を備える。
また、記憶部に記憶されている前記撮像素子に係るデータの一部を出力するデータ出力部を備える。
また、前記出力された撮像素子に係るデータの一部を受信し、この受信した撮像素子に係るデータの一部を用いて、データの補完処理を行なう補完処理部を備える。
また、前記補完処理されたデータを用いて、前記出力された撮像映像信号の映像処理を行ない、映像信号を出力する映像処理部を備える。
【図面の簡単な説明】
【0012】
【図1】実施形態に係わる撮像装置の構成の一例を示す図。
【図2】実施形態に係わる撮像装置に用いられる色フィルタの配列の一例を示す図。
【図3】実施形態に係わる撮像装置における撮像素子に係るデータの一例を示す図。
【図4】実施形態に係わる撮像装置において、イメージセンサ全画素の固定パターンノイズデータの一例を示す図。
【図5】実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの一例およびノイズデータの補間例を示す図。
【図6】実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータおよびノイズデータの補間の他の例を示す図。
【図7】実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図。
【図8】実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図。
【図9】実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図。
【図10】実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図。
【図11】実施形態に係わる撮像装置の動作を説明するフローチャート。
【発明を実施するための形態】
【0013】
以下、図面を参照し、実施の形態を説明する。
この実施の形態においては、撮像装置の一例としてヘッド分離型の内視鏡装置を用い、構成を説明する。
撮像部(イメージセンサ)にCCDセンサ、CMOSセンサ等の固体撮像素子を用いる撮像装置(固体撮像カメラ)において、固体撮像素子のもつ固定パターンノイズにより画質の劣化が生じやすい。
【0014】
また、固定パターンノイズには、固体撮像素子への入射光量に依存しないものと、固体撮像素子への入射光量に依存するものがある。
そして、固体撮像素子への入射光量に依存しない固定パターンノイズは、例えば、遮光状態での検出が可能である。しかし、入射光量に依存する固定パターンノイズは検出環境を整える必要がある。
【0015】
ここで、入射光量に依存する固定パターンノイズの検出方法の一例を説明する。
固定パターンノイズには、基本的に、位置及び時間的な変化が無い。このことから、例えば、理想的な固定撮像素子の出力が既知である被写体を撮像し、実際の固定撮像素子の出力を時間方向に平均し、ランダム的なノイズを除去することで得られた出力との差分を取ることで入射光量に依存する固定パターンノイズの検出が可能である。
【0016】
さらに具体的には、例えば、均一な光量の被写体を撮影し、時間方向にLPF(ローパスフィルタ)をかけることでランダム雑音を除去した後、撮像画面全体、或いは一部領域の平均値を計算し、これらの差分を取ることで、入射光量に依存する固定パターンノイズの検出を行なうことができる。
【0017】
また、上記撮像画面全体の平均値を用いるか、あるいは、一部領域の平均値を用いるかは、例えば、光学系のシェーディング量とランダムノイズ量、所望する固定パターンノイズの検出感度によって選択することが可能である。
【0018】
また、例えば、撮像画面全体の平均値を用いる場合は、ランダムノイズの観点からは有利であるが、光学系のシェーディングがエラーとして出力されやすい。反対に、撮像画面の一部領域の平均値を用いる場合は、光学系のシェーディングをキャンセルすることが可能であるが、ランダムノイズを除去する効果が低下し、残ったノイズがエラーとして出力されやすい。
【0019】
したがって、入射光量に依存する固定パターンノイズの検出においては、例えば、検出精度を向上させるために、光学系としてなるべくシェーディングが少ないものを選択し、平均値を計算する領域を広く取るようにすることが重要である。
【0020】
上述したように、入射光量に依存する固定パターンノイズは、上記のような環境を整える必要があり、例えば、撮像装置の電源投入毎に、自動検出を行ったり、ユーザに検出を行なわせたりすることは望ましくない。
【0021】
このため、予め、撮像装置の製品出荷時等に、固定パターンノイズの検出を行ない、例えば、撮像装置の本体に記憶しておくことが望ましい。
また、例えば、ヘッド分離型カメラにおいては、固定パターンノイズデータはカメラヘッド20固有の情報であるため、カメラヘッド20内の不揮発性の記憶媒体に記憶することが望ましい。
【0022】
しかし、不揮発性の記憶媒体(メモリ)からのデータ読み出し速度は速くない。このため、一般に、例えば、撮像装置の電源投入時に一旦、SDRAM等の揮発性メモリにデータを転送し、補正回路はSDRAMに保存されたデータを用いて補正を行なう動作が行なわれる。
【0023】
このため、例えば、カメラヘッド20内の記憶領域から補正回路用のメモリ(SDRAM等)への固定パターンノイズ転送処理が完了するまでの期間は、固定パターンノイズの補正を行なうことができない。
【0024】
このため、上記のように、イメージセンサの高画素化に伴う固定パターンノイズデータ量の増加によって、データ転送時間の長時間化が問題となっている。
図1は、実施形態に係わる撮像装置の構成の一例を示す図である。
符号1は撮像装置、符号10aはレンズ、符号10はスコープ、符号20はカメラヘッド、符号21はイメージセンサ(撮像部)、符号22は記憶部(フラッシュメモリ)、符号30はCCU、符号31は信号処理部、符号32は記憶部(SDRAM)、符号33はCPU、符号40はライトソース(光源)、符号50はカメラケーブル、符号60は光ファイバ、符号70は信号ケーブル、符号80は映像表示装置(LCD)である。
【0025】
ここでは、撮像装置(内視鏡装置)1は、例えば、その先端に対物レンズ10aが設けられている。また、被検査体内へ挿入されるスコープ10と、対物レンズ10aの結像面にカメラヘッド20に設けられるイメージセンサ21(撮像部)が配置される。
【0026】
そして、このイメージセンサ21(撮像部)によって撮像された撮像映像信号は、カメラケーブル50を介し、CCU30に出力される。
また、カメラヘッド20には、イメージセンサ21(撮像部)の各撮像素子に係る固定パターンノイズのデータが記憶された記憶部(フラッシュメモリ)22が設けられている。
【0027】
この実施の形態においては、例えば、まず、撮像装置1の電源が投入されると、カメラヘッド20は、記憶部(フラッシュメモリ)22に記憶されたイメージセンサ21(撮像部)の各撮像素子に係る固定パターンノイズのデータ(全画素の固定パターンノイズデータ)を、空間的に間引き処理し、CCU30に出力する(間引きデータ)。CCU30は、この間引きデータを受信する。
【0028】
次に、CCU30は、この間引きデータを用い、補間処理を行なうことによって、未送信部分(間引きデータの欠落部分)の固定パターンデータを生成する。この未送信部分の固定パターンデータの生成は、上記間引きデータを受信しながら行なうことができる。このため、ほぼ間引きデータの受信時間が経過すれば、撮像素子のノイズデータが反映された映像を出力することが可能になる。
【0029】
これにより、記憶部(フラッシュメモリ)22に記憶された固定パターンノイズの全データの送信に、例えば、9秒間程度要する場合に、上記間引きデータの送信時間が4.5秒間であれば、撮像素子のノイズデータが反映された映像を出力するために要する時間を約半分(1/2)の4.5秒間程度に低減することが可能になる。
【0030】
また、上記補間処理と平行して、カメラヘッド20は、記憶部(フラッシュメモリ)22に記憶された未送信部分(空間的に間引かれたデータの欠落部分)の固定パターンデータを、CCU30に出力する。CCU30は、カメラヘッド20から出力された上記未送信部分(空間的に間引かれたデータの欠落部分)の固定パターンデータを受信する。
【0031】
次に、CCU30は、上記未送信部分(空間的に間引かれたデータの欠落部分)の固定パターンデータを、上記補間処理によって生成されたデータと置き換える処理を行ない、全画素の固定パターンノイズデータを取得する。
【0032】
そして、この実施の形態においては、CCU30は、上記取得された全画素の固定パターンノイズデータを用い、映像信号の映像処理を行う。
換言すると、この実施の形態においては、例えば、記憶部(フラッシュメモリ)22に記憶されている前記撮像素子に係るデータ(イメージセンサ21の各撮像素子に係る固定パターンノイズのデータ)の一部がCCU30に出力される。
【0033】
CCU30は、このカメラヘッド20から出力された撮像映像信号受信する。
また、CCU30は、カメラヘッド20から出力された上記撮像素子に係るデータの一部を受信し、この受信した撮像素子に係るデータの一部を用いて、データの補完処理を行なう(後述)。これらの処理は、CPU33に制御され、例えば、記憶部(SDRAM)に記憶される。
【0034】
また、CCU30は、上記補完処理された撮像素子に係るデータを用いて、カメラヘッド20から出力された撮像映像信号の映像処理を行ない、映像信号を出力する。これらの処理は、CPU33に制御される。
【0035】
映像表示部(LCD)80は、上記CCU30から出力された映像信号を受信し、映像を表示出力する。
また、この撮像装置1は、上記撮像を行なう範囲を露光するライトソース40(光源)および、このライトソース40から出力された光をスコープ10の先端部へ導入する光ファイバ60を備えている。
【0036】
また、カメラケーブル50には、例えば、カメラヘッド20とCCU30との間で撮像映像信号および制御信号を送受信するための信号線や、CCU30からカメラヘッド20に電力を供給するための電力線等が構成されている。
【0037】
また、上記イメージセンサ21は、いわゆる三板式で構成することも可能であるし、単板式で構成することも可能である。
例えば、単板式のイメージセンサでは、イメージセンサ(CMOSセンサ)の各画素上に色フィルタを備え、例えば、イメージセンサ(CMOSセンサ)から出力される電気信号を所定の回路にて、R、G、B信号に色分解する。単板式のイメージセンサは、プリズム(図示せず)とイメージセンサ(CMOSセンサ)センサを貼り合わせる必要がないため、安価に制作することが可能である。
【0038】
図2は、実施形態に係わる撮像装置に用いられる色フィルタの配列の一例を示す図である。
色フィルタの配列には、種々の方式があり、ここでは、それらの一例を説明する。
図2(a)は色差線順次配列の色フィルタの例である。
色差線順次配列では、補色と呼ばれるM(R+B)、Y(G+B)、C(R+G)とGの色フィルタを図2(a)に示す配列で配置する。色差線順次配列では、補色M、Y、Cを用いることにより、例えば、一つの画素で二つの原色(R+B、G+B、R+G)を得るように構成している。
【0039】
なお、例えば、色差線順次配列は、インターレーススキャンで駆動されるイメージセンサに好適である。
図2(b)は、ベイヤー配列の色フィルタの例である。
このベイヤー配列では、原色(R、G、B)の色フィルタを配列しているが、Gの色フィルタがRやBの色フィルタの2倍となるように配列される。これは人の目が、緑光に対して感度が高いことがその理由である。これによって、撮影した映像の解像度を高くすることが可能になる。
【0040】
なお、この実施形態に係る撮像装置(内視鏡装置)1のイメージセンサ21は、他の配列の色フィルタを採用してもよい。
図3は、実施形態に係わる撮像装置における撮像素子に係るデータの一例を示す図である。
この実施の形態においては、例えば、温度や明るさ等の外部環境によってレベル(強度)が変化しない素地ノイズを補正する。
このため、例えば、予め、イメージセンサ21が備えるCMOSセンサの素地ノイズを画素毎に測定しておき、図3に示すように、この素地ノイズを打ち消す補正データを画素に対応させ、例えば、フラッシュメモリ22に記憶しておく。そして、イメージセンサ21から出力される撮像映像信号に、このフラッシュメモリ22に記憶された補正データを加算する。これによって、映像信号を補正する。
【0041】
なお、上記素地ノイズは、CMOSセンサに所定の電圧(基準電圧)を出力するように指示し、実際に出力された電圧の基準電圧からのずれを画素毎に調べることで測定することも可能である。
【0042】
図4は、実施形態に係わる撮像装置において、イメージセンサ全画素の固定パターンノイズデータの一例を示す図である。
ここでは、予め検出された、イメージセンサ21の全画素の固定パターンノイズデータを示している。
CCU30に送信されるイメージセンサ21全画素の固定パターンノイズデータは、例えば、フラッシュメモリ22に記憶されている。図4に示すように、「D」を付した画素は、固定パターンノイズデータが予め検出されている。
【0043】
図5は、実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの一例およびノイズデータの補間例を示す図である。
図5(a)は、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例1である。
ここでは、初めに、1ライン(1行)置きに間引き処理が行なわれた、全体の1/2の量の間引きデータが送信される。
この実施の形態においては、まず、カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、全体の1/2の量のデータをCCU30に送信する。
【0044】
図5(b)は、CCU30における固定パターンノイズデータの補間例である。
CCU30は、上記間引きデータを受信し、SDRAM32に記憶する。また、CCU30は、CPU33に制御され、上記間引きデータを受信しながら、この間引きデータを用いて補完処理を行い、映像信号の映像処理に必要な、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0045】
この補完データは、例えば、上記間引きデータの欠落を補完すべく、SDRAM32に記憶する。
この補完処理は、例えば、次のように行なう。
すなわち、図5(b)に示すように、上記間引きデータの1ライン(行)目と3ライン(行)目から補完データ行55aを作成する。
同様に、上記間引きデータの3ライン(行)目と5ライン(行)目から補完データ行55bを作成する。また、同様に、上記間引きデータの5ライン(行)目と7ライン(行)目から補完データ行55cを作成する。また、同様に、上記間引きデータの7ライン(行)目と9ライン(行)目から補完データ行55dを作成し、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0046】
また、上記説明では、上記データが欠落するライン(行)に前後する2つのライン(行)から補完データを作成したが、例えば、データが欠落するライン(行)の前に位置するライン(行)のデータをそのまま用い、補完データを作成するようにすることも可能である。
【0047】
この補完処理により、イメージセンサ21の全画素の固定パターンノイズデータ(補完版)がSDRAM32に記憶される。
そして、このイメージセンサ21の全画素の固定パターンノイズデータ(補完版)を用い、映像信号の映像処理を行ない、映像を出力する。
図6は、実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータおよびノイズデータの補間の他の例を示す図である。
ここでは、初めに、1画素(1ライン(1列))置きに間引き処理が行なわれた、全体の1/2の量の間引きデータが送信される。
この実施の形態においても、まず、カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、全体の1/2の量のデータをCCU30に送信する。
【0048】
図6(b)は、CCU30における固定パターンノイズデータの補間例である。
CCU30は、上記間引きデータを受信し、SDRAM32に記憶する。また、CCU30は、CPU33に制御され、上記間引きデータを受信しながら、この間引きデータを用いて補完処理を行い、映像信号の映像処理に必要な、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0049】
この補完データは、例えば、上記間引きデータの欠落を補完すべく、SDRAM32に記憶する。
この補完処理は、例えば、次のように行なう。
すなわち、図6(b)に示すように、上記間引きデータの1ライン(列)目と3ライン(列)目から補完データ列65aを作成する。同様に、上記間引きデータの3ライン(列)目と5ライン(列)目から補完データ列65bを作成する。また、同様に、上記間引きデータの5ライン(列)目と7ライン(列)目から補完データ列65cを作成する。また、同様に、上記間引きデータの7ライン(列)目と9ライン(列)目から補完データ列65dを作成し、イメージセンサ21の固定パターンノイズデータの補完データを作成する。また、同様に、上記間引きデータの9ライン(列)目と11ライン(列)目から補完データ列65fを作成し、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0050】
また、上記説明では、上記データが欠落するライン(列)に前後する2つのライン(列)から補完データを作成したが、例えば、データが欠落するライン(列)の前に位置するライン(列)のデータをそのまま用い、補完データを作成するようにすることも可能である。
【0051】
この補完処理により、イメージセンサ21の全画素の固定パターンノイズデータ(補完版)がSDRAM32に記憶される。
そして、このイメージセンサ21の全画素の固定パターンノイズデータ(補完版)を用い、映像信号の映像処理を行ない、映像を出力する。
図7は、実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図である。
ここでは、初めに、図7に示すように、チェッカー状の1画素置きに間引き処理が行なわれた、全体の1/2の量の間引きデータが送信される。
この実施の形態においては、まず、カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、チェッカー状の1画素置きに間引き処理が行なわれた、全体の1/2の量のデータをCCU30に送信する。
【0052】
上記と同様に、CCU30は、上記間引きデータを受信し、SDRAM32に記憶する。また、CCU30は、CPU33に制御され、上記間引きデータを受信しながら、この間引きデータを用いて補完処理を行い、映像信号の映像処理に必要な、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0053】
図8は、実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図である。
図8(a)は、初めに、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでは、まず、1/4ラインの量に間引き処理が行なわれた間引きデータが送信される。「1」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「1」を付した、全体の1/4の量のデータをCCU30に送信する。
【0054】
図8(b)は、次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、次の1/4ラインの間引きデータが送信される。「2」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「2」を付した、全体の1/4の量のデータをCCU30に送信する。
【0055】
図8(c)は、その次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、次の1/4ラインの間引きデータが送信される。「3」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「3」を付した、全体の1/4の量のデータをCCU30に送信する。
【0056】
図8(d)は、その次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、次の1/4ラインの間引きデータが送信される。「4」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「4」を付した、残り1/4の量のデータをCCU30に送信する。これにより、全画素の固定パターンノイズデータが送信される。
【0057】
上記と同様に、CCU30は、上記間引きデータを受信し、SDRAM32に記憶する。また、CCU30は、CPU33に制御され、上記間引きデータを受信しながら、適宜、この間引きデータを用いて補完処理を行い、映像信号の映像処理に必要な、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0058】
図9は、実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図である。
図9(a)は、初めに、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでは、まず、1/4ライン(列)の量に間引き処理が行なわれた間引きデータが送信される。「1」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「1」を付した、全体の1/4の量のデータをCCU30に送信する。
【0059】
図9(b)は、次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、次の1/4ライン(列)の間引きデータが送信される。「2」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「2」を付した、全体の1/4の量のデータをCCU30に送信する。
【0060】
図9(c)は、その次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、次の1/4ライン(列)の間引きデータが送信される。「3」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「3」を付した、全体の1/4の量のデータをCCU30に送信する。
【0061】
図9(d)は、その次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、次の1/4ライン(列)の間引きデータが送信される。「4」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「4」を付した、残り1/4の量のデータをCCU30に送信する。これにより、全画素の固定パターンノイズデータが送信される。
【0062】
上記と同様に、CCU30は、上記間引きデータを受信し、SDRAM32に記憶する。また、CCU30は、CPU33に制御され、上記間引きデータを受信しながら、適宜、この間引きデータを用いて補完処理を行い、映像信号の映像処理に必要な、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0063】
図10は、実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図である。
図10(a)は、初めに、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでは、まず、図10(a)に示すように、間引き処理が行なわれた間引きデータが送信される。「1」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「1」を付した部分のデータをCCU30に送信する。
【0064】
図10(b)は、次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、図10(b)に示す間引きデータが送信される。「2」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「2」を付した部分のデータをCCU30に送信する。
【0065】
図10(c)は、その次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、図10(c)に示す間引きデータが送信される。「3」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「3」を付した部分のデータをCCU30に送信する。
【0066】
図10(d)は、その次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、図10(d)に示す間引きデータが送信される。「4」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「4」を付した部分のデータをCCU30に送信する。これにより、全画素の固定パターンノイズデータが送信される。
【0067】
上記と同様に、CCU30は、上記間引きデータを受信し、SDRAM32に記憶する。また、CCU30は、CPU33に制御され、上記間引きデータを受信しながら、適宜、この間引きデータを用いて補完処理を行い、映像信号の映像処理に必要な、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0068】
図11は、実施形態に係わる撮像装置の動作を説明するフローチャートである。
符号S100は、ここでの開始ステップである。続いて、ステップS101に進む。
ステップS101は、撮像装置1の電源をONにするステップである。続いて、ステップS102に進む。
ステップS102は、例えば、上記撮像装置1の電源ONに応じて撮像を開始するステップである。続いて、ステップS103に進む。
ステップS103は、カメラヘッド20からCCU3に、撮像映像信号を出力するステップである。続いて、ステップS104に進む。
ステップS104は、CCU30は、イメージセンサ21(撮像素子)のノイズデータを用いずに、撮像映像信号を映像処理し、映像表示部80に出力するステップである。続いて、ステップS105に進む。
【0069】
ステップS105は、ノイズデータを用いずに映像処理された撮像映像を、映像表示部80に表示出力するステップである。続いて、ステップS106に進む。
ステップS106は、フラッシュメモリ22に記憶されているイメージセンサ21(撮像素子)のノイズデータの一部(例えば、間引きデータ)を、カメラヘッド20からCCU30に出力するステップである。続いて、ステップS107に進む。
【0070】
ステップS107は、フラッシュメモリ22に記憶されているイメージセンサ21のノイズデータの残りを、カメラヘッド20からCCU30に出力するステップである。続いて、ステップS108に進む。
【0071】
ステップS108は、イメージセンサ21のノイズデータ(間引きデータ)の一部を受信し、CCU30のSDRAM32に記憶するステップである。続いて、ステップS109に進む。
【0072】
ステップS109は、受信したノイズデータ(間引きデータ)の一部を用いて補完処理し、データが補完された補完ノイズデータを作成するステップである。続いて、ステップS110に進む。
【0073】
ステップS110は、上記補完ノイズデータをSDRAM32に記憶するステップである。続いて、ステップS111に進む。
ステップS111は、データが補完された補完ノイズデータを用いて撮像映像信号を映像処理し、映像表示部80に出力するステップである。続いて、ステップS112に進む。
【0074】
ステップS112は、補完ノイズデータを用いて映像処理された撮像映像信号を映像表示部80に表示出力するステップである。続いて、ステップS113に進む。
ステップS113は、残りのイメージセンサ21のノイズデータをCCU30が順次受信するステップである。続いて、ステップS114に進む。
ステップS114は、SDRAM32に記憶された補完ノイズデータの補完部分を残りのノイズデータに書き換え、間引きや補完のないノイズデータをSDRAM32に記憶するステップである。続いて、ステップS115に進む。
【0075】
ステップS115は、CCU30は、間引きや補完のないノイズデータを用いて撮像映像信号を映像処理し、映像表示部80に出力するステップである。続いて、ステップS116に進む。
【0076】
ステップS116は、間引きや補完のないノイズデータを用いて映像処理された撮像映像信号を映像表示部に表示出力するステップである。続いて、ステップS117に進む。
【0077】
ステップS117は、終了ステップであり、ここでの処理は終了する。
なお、上記説明においては、撮像装置1の電源投入(ON)に応じて、イメージセンサ21(撮像素子)のノイズデータを用いずに、撮像映像信号を映像処理し、映像表示部80に出力する例を説明したが、例えば、イメージセンサ21(撮像素子)のノイズデータを反映させたい場合は、この処理を行なわないようにすることも可能である。
【0078】
すなわち、この実施の形態においては、撮像素子(イメージセンサ21)を用いて撮像された映像に係る撮像映像信号を出力する撮像映像信号出力部(カメラヘッド20)を備えている。
【0079】
また、記憶部(フラッシュメモリ22)に記憶されている撮像素子(イメージセンサ21)に係るデータの一部(例えば、間引きデータ)を出力するデータ出力部(カメラヘッド20)を備えている。
【0080】
また、出力された撮像素子に係るデータの一部(例えば、間引きデータ)を受信し、この受信した撮像素子に係るデータの一部(例えば、間引きデータ)を用いて、データの補完処理を行なう補完処理部(CCU30)を備えている。
【0081】
また、補完処理されたデータを用いて、出力された撮像映像信号の映像処理を行ない、映像信号を出力する映像処理部(CCU30)を備えている。
また、映像処理部(CCU30)は、上記補完部分が置き換えられた撮像素子に係る固定パターンデータ等を用い、出力された撮像映像信号の映像処理を行なう。
上記のように構成することによって、この発明の実施の形態においては、撮像素子のノイズデータが反映された映像を出力するために要する時間が低減された撮像装置を提供することが可能になる。
【0082】
なお、上記実施形態は、記述そのものに限定されるものではなく、実施段階では、その趣旨を逸脱しない範囲で、構成要素を種々変形して具体化することが可能である。
【0083】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。
例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0084】
1…撮像装置、10a…レンズ、10…スコープ、20…カメラヘッド、21…イメージセンサ(撮像部)、22…記憶部(フラッシュメモリ)、30…CCU、31…信号処理部、32…記憶部(SDRAM)、33…CPU、40…ライトソース(光源)、50…カメラケーブル、60…光ファイバ、70…信号ケーブル、80…映像表示装置(LCD)。
【技術分野】
【0001】
本発明の実施形態は、撮像装置、撮像方法に関する。
【背景技術】
【0002】
近年、CCDイメージセンサ(Charge Coupled Device Image Sensor)やCMOSイメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor)等のイメージセンサを用い、撮像を行なう撮像装置が普及している。
【0003】
イメージセンサにおいては、例えば、数百万以上の多数の撮像素子(画素)が用いられるが、これらの撮像素子(画素)は、それぞれが固定パターンノイズを備えている。固定パターンノイズの一例としては、例えば、暗電流シェーディング等がある。
【0004】
これらの固定パターンノイズに係るデータは、予め測定し、カメラヘッド等に記憶しておき、例えば、撮像装置の起動時に読み出してCCU(Camera Control Unit)等へ送信し、撮像映像信号の映像処理等に用いることが可能である。
【0005】
しかし、上記のように、イメージセンサは、それぞれが固定パターンノイズを備える撮像素子(画素)を多数構成する構造であることから、固定パターンノイズのCCU等への送信に多大な時間を要していた。
【0006】
これによって、撮像装置の電源が投入されてから、上記イメージセンサの固定パターンノイズに係るデータが反映された映像を出力するまでに、例えば、十秒間程度の時間を要することがあった。
【0007】
このため、イメージセンサの固定パターンノイズに係るデータが反映された映像の出力時間が低減された撮像装置を提供することが課題になっていた。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平11−196332号公報
【特許文献2】特開2011−10113号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
例えば、内視鏡等の撮像装置において、ヘッド部に記憶された撮像素子のノイズデータ等に関するデータ量が多くなっている。このため、これらのデータをCCU等の制御部に送信する送信時間が長くなり、撮像素子のノイズデータが反映された映像を出力するために、多くの時間を要している。
【0010】
このため、撮像素子のノイズデータが反映された映像を出力するために要する時間が低減された撮像装置を提供することが課題になっていた。
【課題を解決するための手段】
【0011】
実施形態の撮像装置は、撮像素子を用いて撮像された映像に係る撮像映像信号を出力する撮像映像信号出力部を備える。
また、記憶部に記憶されている前記撮像素子に係るデータの一部を出力するデータ出力部を備える。
また、前記出力された撮像素子に係るデータの一部を受信し、この受信した撮像素子に係るデータの一部を用いて、データの補完処理を行なう補完処理部を備える。
また、前記補完処理されたデータを用いて、前記出力された撮像映像信号の映像処理を行ない、映像信号を出力する映像処理部を備える。
【図面の簡単な説明】
【0012】
【図1】実施形態に係わる撮像装置の構成の一例を示す図。
【図2】実施形態に係わる撮像装置に用いられる色フィルタの配列の一例を示す図。
【図3】実施形態に係わる撮像装置における撮像素子に係るデータの一例を示す図。
【図4】実施形態に係わる撮像装置において、イメージセンサ全画素の固定パターンノイズデータの一例を示す図。
【図5】実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの一例およびノイズデータの補間例を示す図。
【図6】実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータおよびノイズデータの補間の他の例を示す図。
【図7】実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図。
【図8】実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図。
【図9】実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図。
【図10】実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図。
【図11】実施形態に係わる撮像装置の動作を説明するフローチャート。
【発明を実施するための形態】
【0013】
以下、図面を参照し、実施の形態を説明する。
この実施の形態においては、撮像装置の一例としてヘッド分離型の内視鏡装置を用い、構成を説明する。
撮像部(イメージセンサ)にCCDセンサ、CMOSセンサ等の固体撮像素子を用いる撮像装置(固体撮像カメラ)において、固体撮像素子のもつ固定パターンノイズにより画質の劣化が生じやすい。
【0014】
また、固定パターンノイズには、固体撮像素子への入射光量に依存しないものと、固体撮像素子への入射光量に依存するものがある。
そして、固体撮像素子への入射光量に依存しない固定パターンノイズは、例えば、遮光状態での検出が可能である。しかし、入射光量に依存する固定パターンノイズは検出環境を整える必要がある。
【0015】
ここで、入射光量に依存する固定パターンノイズの検出方法の一例を説明する。
固定パターンノイズには、基本的に、位置及び時間的な変化が無い。このことから、例えば、理想的な固定撮像素子の出力が既知である被写体を撮像し、実際の固定撮像素子の出力を時間方向に平均し、ランダム的なノイズを除去することで得られた出力との差分を取ることで入射光量に依存する固定パターンノイズの検出が可能である。
【0016】
さらに具体的には、例えば、均一な光量の被写体を撮影し、時間方向にLPF(ローパスフィルタ)をかけることでランダム雑音を除去した後、撮像画面全体、或いは一部領域の平均値を計算し、これらの差分を取ることで、入射光量に依存する固定パターンノイズの検出を行なうことができる。
【0017】
また、上記撮像画面全体の平均値を用いるか、あるいは、一部領域の平均値を用いるかは、例えば、光学系のシェーディング量とランダムノイズ量、所望する固定パターンノイズの検出感度によって選択することが可能である。
【0018】
また、例えば、撮像画面全体の平均値を用いる場合は、ランダムノイズの観点からは有利であるが、光学系のシェーディングがエラーとして出力されやすい。反対に、撮像画面の一部領域の平均値を用いる場合は、光学系のシェーディングをキャンセルすることが可能であるが、ランダムノイズを除去する効果が低下し、残ったノイズがエラーとして出力されやすい。
【0019】
したがって、入射光量に依存する固定パターンノイズの検出においては、例えば、検出精度を向上させるために、光学系としてなるべくシェーディングが少ないものを選択し、平均値を計算する領域を広く取るようにすることが重要である。
【0020】
上述したように、入射光量に依存する固定パターンノイズは、上記のような環境を整える必要があり、例えば、撮像装置の電源投入毎に、自動検出を行ったり、ユーザに検出を行なわせたりすることは望ましくない。
【0021】
このため、予め、撮像装置の製品出荷時等に、固定パターンノイズの検出を行ない、例えば、撮像装置の本体に記憶しておくことが望ましい。
また、例えば、ヘッド分離型カメラにおいては、固定パターンノイズデータはカメラヘッド20固有の情報であるため、カメラヘッド20内の不揮発性の記憶媒体に記憶することが望ましい。
【0022】
しかし、不揮発性の記憶媒体(メモリ)からのデータ読み出し速度は速くない。このため、一般に、例えば、撮像装置の電源投入時に一旦、SDRAM等の揮発性メモリにデータを転送し、補正回路はSDRAMに保存されたデータを用いて補正を行なう動作が行なわれる。
【0023】
このため、例えば、カメラヘッド20内の記憶領域から補正回路用のメモリ(SDRAM等)への固定パターンノイズ転送処理が完了するまでの期間は、固定パターンノイズの補正を行なうことができない。
【0024】
このため、上記のように、イメージセンサの高画素化に伴う固定パターンノイズデータ量の増加によって、データ転送時間の長時間化が問題となっている。
図1は、実施形態に係わる撮像装置の構成の一例を示す図である。
符号1は撮像装置、符号10aはレンズ、符号10はスコープ、符号20はカメラヘッド、符号21はイメージセンサ(撮像部)、符号22は記憶部(フラッシュメモリ)、符号30はCCU、符号31は信号処理部、符号32は記憶部(SDRAM)、符号33はCPU、符号40はライトソース(光源)、符号50はカメラケーブル、符号60は光ファイバ、符号70は信号ケーブル、符号80は映像表示装置(LCD)である。
【0025】
ここでは、撮像装置(内視鏡装置)1は、例えば、その先端に対物レンズ10aが設けられている。また、被検査体内へ挿入されるスコープ10と、対物レンズ10aの結像面にカメラヘッド20に設けられるイメージセンサ21(撮像部)が配置される。
【0026】
そして、このイメージセンサ21(撮像部)によって撮像された撮像映像信号は、カメラケーブル50を介し、CCU30に出力される。
また、カメラヘッド20には、イメージセンサ21(撮像部)の各撮像素子に係る固定パターンノイズのデータが記憶された記憶部(フラッシュメモリ)22が設けられている。
【0027】
この実施の形態においては、例えば、まず、撮像装置1の電源が投入されると、カメラヘッド20は、記憶部(フラッシュメモリ)22に記憶されたイメージセンサ21(撮像部)の各撮像素子に係る固定パターンノイズのデータ(全画素の固定パターンノイズデータ)を、空間的に間引き処理し、CCU30に出力する(間引きデータ)。CCU30は、この間引きデータを受信する。
【0028】
次に、CCU30は、この間引きデータを用い、補間処理を行なうことによって、未送信部分(間引きデータの欠落部分)の固定パターンデータを生成する。この未送信部分の固定パターンデータの生成は、上記間引きデータを受信しながら行なうことができる。このため、ほぼ間引きデータの受信時間が経過すれば、撮像素子のノイズデータが反映された映像を出力することが可能になる。
【0029】
これにより、記憶部(フラッシュメモリ)22に記憶された固定パターンノイズの全データの送信に、例えば、9秒間程度要する場合に、上記間引きデータの送信時間が4.5秒間であれば、撮像素子のノイズデータが反映された映像を出力するために要する時間を約半分(1/2)の4.5秒間程度に低減することが可能になる。
【0030】
また、上記補間処理と平行して、カメラヘッド20は、記憶部(フラッシュメモリ)22に記憶された未送信部分(空間的に間引かれたデータの欠落部分)の固定パターンデータを、CCU30に出力する。CCU30は、カメラヘッド20から出力された上記未送信部分(空間的に間引かれたデータの欠落部分)の固定パターンデータを受信する。
【0031】
次に、CCU30は、上記未送信部分(空間的に間引かれたデータの欠落部分)の固定パターンデータを、上記補間処理によって生成されたデータと置き換える処理を行ない、全画素の固定パターンノイズデータを取得する。
【0032】
そして、この実施の形態においては、CCU30は、上記取得された全画素の固定パターンノイズデータを用い、映像信号の映像処理を行う。
換言すると、この実施の形態においては、例えば、記憶部(フラッシュメモリ)22に記憶されている前記撮像素子に係るデータ(イメージセンサ21の各撮像素子に係る固定パターンノイズのデータ)の一部がCCU30に出力される。
【0033】
CCU30は、このカメラヘッド20から出力された撮像映像信号受信する。
また、CCU30は、カメラヘッド20から出力された上記撮像素子に係るデータの一部を受信し、この受信した撮像素子に係るデータの一部を用いて、データの補完処理を行なう(後述)。これらの処理は、CPU33に制御され、例えば、記憶部(SDRAM)に記憶される。
【0034】
また、CCU30は、上記補完処理された撮像素子に係るデータを用いて、カメラヘッド20から出力された撮像映像信号の映像処理を行ない、映像信号を出力する。これらの処理は、CPU33に制御される。
【0035】
映像表示部(LCD)80は、上記CCU30から出力された映像信号を受信し、映像を表示出力する。
また、この撮像装置1は、上記撮像を行なう範囲を露光するライトソース40(光源)および、このライトソース40から出力された光をスコープ10の先端部へ導入する光ファイバ60を備えている。
【0036】
また、カメラケーブル50には、例えば、カメラヘッド20とCCU30との間で撮像映像信号および制御信号を送受信するための信号線や、CCU30からカメラヘッド20に電力を供給するための電力線等が構成されている。
【0037】
また、上記イメージセンサ21は、いわゆる三板式で構成することも可能であるし、単板式で構成することも可能である。
例えば、単板式のイメージセンサでは、イメージセンサ(CMOSセンサ)の各画素上に色フィルタを備え、例えば、イメージセンサ(CMOSセンサ)から出力される電気信号を所定の回路にて、R、G、B信号に色分解する。単板式のイメージセンサは、プリズム(図示せず)とイメージセンサ(CMOSセンサ)センサを貼り合わせる必要がないため、安価に制作することが可能である。
【0038】
図2は、実施形態に係わる撮像装置に用いられる色フィルタの配列の一例を示す図である。
色フィルタの配列には、種々の方式があり、ここでは、それらの一例を説明する。
図2(a)は色差線順次配列の色フィルタの例である。
色差線順次配列では、補色と呼ばれるM(R+B)、Y(G+B)、C(R+G)とGの色フィルタを図2(a)に示す配列で配置する。色差線順次配列では、補色M、Y、Cを用いることにより、例えば、一つの画素で二つの原色(R+B、G+B、R+G)を得るように構成している。
【0039】
なお、例えば、色差線順次配列は、インターレーススキャンで駆動されるイメージセンサに好適である。
図2(b)は、ベイヤー配列の色フィルタの例である。
このベイヤー配列では、原色(R、G、B)の色フィルタを配列しているが、Gの色フィルタがRやBの色フィルタの2倍となるように配列される。これは人の目が、緑光に対して感度が高いことがその理由である。これによって、撮影した映像の解像度を高くすることが可能になる。
【0040】
なお、この実施形態に係る撮像装置(内視鏡装置)1のイメージセンサ21は、他の配列の色フィルタを採用してもよい。
図3は、実施形態に係わる撮像装置における撮像素子に係るデータの一例を示す図である。
この実施の形態においては、例えば、温度や明るさ等の外部環境によってレベル(強度)が変化しない素地ノイズを補正する。
このため、例えば、予め、イメージセンサ21が備えるCMOSセンサの素地ノイズを画素毎に測定しておき、図3に示すように、この素地ノイズを打ち消す補正データを画素に対応させ、例えば、フラッシュメモリ22に記憶しておく。そして、イメージセンサ21から出力される撮像映像信号に、このフラッシュメモリ22に記憶された補正データを加算する。これによって、映像信号を補正する。
【0041】
なお、上記素地ノイズは、CMOSセンサに所定の電圧(基準電圧)を出力するように指示し、実際に出力された電圧の基準電圧からのずれを画素毎に調べることで測定することも可能である。
【0042】
図4は、実施形態に係わる撮像装置において、イメージセンサ全画素の固定パターンノイズデータの一例を示す図である。
ここでは、予め検出された、イメージセンサ21の全画素の固定パターンノイズデータを示している。
CCU30に送信されるイメージセンサ21全画素の固定パターンノイズデータは、例えば、フラッシュメモリ22に記憶されている。図4に示すように、「D」を付した画素は、固定パターンノイズデータが予め検出されている。
【0043】
図5は、実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの一例およびノイズデータの補間例を示す図である。
図5(a)は、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例1である。
ここでは、初めに、1ライン(1行)置きに間引き処理が行なわれた、全体の1/2の量の間引きデータが送信される。
この実施の形態においては、まず、カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、全体の1/2の量のデータをCCU30に送信する。
【0044】
図5(b)は、CCU30における固定パターンノイズデータの補間例である。
CCU30は、上記間引きデータを受信し、SDRAM32に記憶する。また、CCU30は、CPU33に制御され、上記間引きデータを受信しながら、この間引きデータを用いて補完処理を行い、映像信号の映像処理に必要な、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0045】
この補完データは、例えば、上記間引きデータの欠落を補完すべく、SDRAM32に記憶する。
この補完処理は、例えば、次のように行なう。
すなわち、図5(b)に示すように、上記間引きデータの1ライン(行)目と3ライン(行)目から補完データ行55aを作成する。
同様に、上記間引きデータの3ライン(行)目と5ライン(行)目から補完データ行55bを作成する。また、同様に、上記間引きデータの5ライン(行)目と7ライン(行)目から補完データ行55cを作成する。また、同様に、上記間引きデータの7ライン(行)目と9ライン(行)目から補完データ行55dを作成し、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0046】
また、上記説明では、上記データが欠落するライン(行)に前後する2つのライン(行)から補完データを作成したが、例えば、データが欠落するライン(行)の前に位置するライン(行)のデータをそのまま用い、補完データを作成するようにすることも可能である。
【0047】
この補完処理により、イメージセンサ21の全画素の固定パターンノイズデータ(補完版)がSDRAM32に記憶される。
そして、このイメージセンサ21の全画素の固定パターンノイズデータ(補完版)を用い、映像信号の映像処理を行ない、映像を出力する。
図6は、実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータおよびノイズデータの補間の他の例を示す図である。
ここでは、初めに、1画素(1ライン(1列))置きに間引き処理が行なわれた、全体の1/2の量の間引きデータが送信される。
この実施の形態においても、まず、カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、全体の1/2の量のデータをCCU30に送信する。
【0048】
図6(b)は、CCU30における固定パターンノイズデータの補間例である。
CCU30は、上記間引きデータを受信し、SDRAM32に記憶する。また、CCU30は、CPU33に制御され、上記間引きデータを受信しながら、この間引きデータを用いて補完処理を行い、映像信号の映像処理に必要な、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0049】
この補完データは、例えば、上記間引きデータの欠落を補完すべく、SDRAM32に記憶する。
この補完処理は、例えば、次のように行なう。
すなわち、図6(b)に示すように、上記間引きデータの1ライン(列)目と3ライン(列)目から補完データ列65aを作成する。同様に、上記間引きデータの3ライン(列)目と5ライン(列)目から補完データ列65bを作成する。また、同様に、上記間引きデータの5ライン(列)目と7ライン(列)目から補完データ列65cを作成する。また、同様に、上記間引きデータの7ライン(列)目と9ライン(列)目から補完データ列65dを作成し、イメージセンサ21の固定パターンノイズデータの補完データを作成する。また、同様に、上記間引きデータの9ライン(列)目と11ライン(列)目から補完データ列65fを作成し、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0050】
また、上記説明では、上記データが欠落するライン(列)に前後する2つのライン(列)から補完データを作成したが、例えば、データが欠落するライン(列)の前に位置するライン(列)のデータをそのまま用い、補完データを作成するようにすることも可能である。
【0051】
この補完処理により、イメージセンサ21の全画素の固定パターンノイズデータ(補完版)がSDRAM32に記憶される。
そして、このイメージセンサ21の全画素の固定パターンノイズデータ(補完版)を用い、映像信号の映像処理を行ない、映像を出力する。
図7は、実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図である。
ここでは、初めに、図7に示すように、チェッカー状の1画素置きに間引き処理が行なわれた、全体の1/2の量の間引きデータが送信される。
この実施の形態においては、まず、カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、チェッカー状の1画素置きに間引き処理が行なわれた、全体の1/2の量のデータをCCU30に送信する。
【0052】
上記と同様に、CCU30は、上記間引きデータを受信し、SDRAM32に記憶する。また、CCU30は、CPU33に制御され、上記間引きデータを受信しながら、この間引きデータを用いて補完処理を行い、映像信号の映像処理に必要な、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0053】
図8は、実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図である。
図8(a)は、初めに、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでは、まず、1/4ラインの量に間引き処理が行なわれた間引きデータが送信される。「1」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「1」を付した、全体の1/4の量のデータをCCU30に送信する。
【0054】
図8(b)は、次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、次の1/4ラインの間引きデータが送信される。「2」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「2」を付した、全体の1/4の量のデータをCCU30に送信する。
【0055】
図8(c)は、その次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、次の1/4ラインの間引きデータが送信される。「3」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「3」を付した、全体の1/4の量のデータをCCU30に送信する。
【0056】
図8(d)は、その次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、次の1/4ラインの間引きデータが送信される。「4」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「4」を付した、残り1/4の量のデータをCCU30に送信する。これにより、全画素の固定パターンノイズデータが送信される。
【0057】
上記と同様に、CCU30は、上記間引きデータを受信し、SDRAM32に記憶する。また、CCU30は、CPU33に制御され、上記間引きデータを受信しながら、適宜、この間引きデータを用いて補完処理を行い、映像信号の映像処理に必要な、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0058】
図9は、実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図である。
図9(a)は、初めに、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでは、まず、1/4ライン(列)の量に間引き処理が行なわれた間引きデータが送信される。「1」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「1」を付した、全体の1/4の量のデータをCCU30に送信する。
【0059】
図9(b)は、次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、次の1/4ライン(列)の間引きデータが送信される。「2」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「2」を付した、全体の1/4の量のデータをCCU30に送信する。
【0060】
図9(c)は、その次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、次の1/4ライン(列)の間引きデータが送信される。「3」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「3」を付した、全体の1/4の量のデータをCCU30に送信する。
【0061】
図9(d)は、その次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、次の1/4ライン(列)の間引きデータが送信される。「4」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「4」を付した、残り1/4の量のデータをCCU30に送信する。これにより、全画素の固定パターンノイズデータが送信される。
【0062】
上記と同様に、CCU30は、上記間引きデータを受信し、SDRAM32に記憶する。また、CCU30は、CPU33に制御され、上記間引きデータを受信しながら、適宜、この間引きデータを用いて補完処理を行い、映像信号の映像処理に必要な、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0063】
図10は、実施形態に係わる撮像装置において、間引き送信される固定パターンノイズデータの他の例を示す図である。
図10(a)は、初めに、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでは、まず、図10(a)に示すように、間引き処理が行なわれた間引きデータが送信される。「1」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「1」を付した部分のデータをCCU30に送信する。
【0064】
図10(b)は、次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、図10(b)に示す間引きデータが送信される。「2」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「2」を付した部分のデータをCCU30に送信する。
【0065】
図10(c)は、その次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、図10(c)に示す間引きデータが送信される。「3」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「3」を付した部分のデータをCCU30に送信する。
【0066】
図10(d)は、その次に、カメラヘッド20からCCU30に間引き送信される固定パターンノイズデータの送信例である。
ここでも、図10(d)に示す間引きデータが送信される。「4」を付した部分が、ここで送信される間引きデータである。
カメラヘッド20は、間引きデータとして、フラッシュメモリ22に記憶された、全固定パターンノイズデータの一部、すなわち、「4」を付した部分のデータをCCU30に送信する。これにより、全画素の固定パターンノイズデータが送信される。
【0067】
上記と同様に、CCU30は、上記間引きデータを受信し、SDRAM32に記憶する。また、CCU30は、CPU33に制御され、上記間引きデータを受信しながら、適宜、この間引きデータを用いて補完処理を行い、映像信号の映像処理に必要な、イメージセンサ21の固定パターンノイズデータの補完データを作成する。
【0068】
図11は、実施形態に係わる撮像装置の動作を説明するフローチャートである。
符号S100は、ここでの開始ステップである。続いて、ステップS101に進む。
ステップS101は、撮像装置1の電源をONにするステップである。続いて、ステップS102に進む。
ステップS102は、例えば、上記撮像装置1の電源ONに応じて撮像を開始するステップである。続いて、ステップS103に進む。
ステップS103は、カメラヘッド20からCCU3に、撮像映像信号を出力するステップである。続いて、ステップS104に進む。
ステップS104は、CCU30は、イメージセンサ21(撮像素子)のノイズデータを用いずに、撮像映像信号を映像処理し、映像表示部80に出力するステップである。続いて、ステップS105に進む。
【0069】
ステップS105は、ノイズデータを用いずに映像処理された撮像映像を、映像表示部80に表示出力するステップである。続いて、ステップS106に進む。
ステップS106は、フラッシュメモリ22に記憶されているイメージセンサ21(撮像素子)のノイズデータの一部(例えば、間引きデータ)を、カメラヘッド20からCCU30に出力するステップである。続いて、ステップS107に進む。
【0070】
ステップS107は、フラッシュメモリ22に記憶されているイメージセンサ21のノイズデータの残りを、カメラヘッド20からCCU30に出力するステップである。続いて、ステップS108に進む。
【0071】
ステップS108は、イメージセンサ21のノイズデータ(間引きデータ)の一部を受信し、CCU30のSDRAM32に記憶するステップである。続いて、ステップS109に進む。
【0072】
ステップS109は、受信したノイズデータ(間引きデータ)の一部を用いて補完処理し、データが補完された補完ノイズデータを作成するステップである。続いて、ステップS110に進む。
【0073】
ステップS110は、上記補完ノイズデータをSDRAM32に記憶するステップである。続いて、ステップS111に進む。
ステップS111は、データが補完された補完ノイズデータを用いて撮像映像信号を映像処理し、映像表示部80に出力するステップである。続いて、ステップS112に進む。
【0074】
ステップS112は、補完ノイズデータを用いて映像処理された撮像映像信号を映像表示部80に表示出力するステップである。続いて、ステップS113に進む。
ステップS113は、残りのイメージセンサ21のノイズデータをCCU30が順次受信するステップである。続いて、ステップS114に進む。
ステップS114は、SDRAM32に記憶された補完ノイズデータの補完部分を残りのノイズデータに書き換え、間引きや補完のないノイズデータをSDRAM32に記憶するステップである。続いて、ステップS115に進む。
【0075】
ステップS115は、CCU30は、間引きや補完のないノイズデータを用いて撮像映像信号を映像処理し、映像表示部80に出力するステップである。続いて、ステップS116に進む。
【0076】
ステップS116は、間引きや補完のないノイズデータを用いて映像処理された撮像映像信号を映像表示部に表示出力するステップである。続いて、ステップS117に進む。
【0077】
ステップS117は、終了ステップであり、ここでの処理は終了する。
なお、上記説明においては、撮像装置1の電源投入(ON)に応じて、イメージセンサ21(撮像素子)のノイズデータを用いずに、撮像映像信号を映像処理し、映像表示部80に出力する例を説明したが、例えば、イメージセンサ21(撮像素子)のノイズデータを反映させたい場合は、この処理を行なわないようにすることも可能である。
【0078】
すなわち、この実施の形態においては、撮像素子(イメージセンサ21)を用いて撮像された映像に係る撮像映像信号を出力する撮像映像信号出力部(カメラヘッド20)を備えている。
【0079】
また、記憶部(フラッシュメモリ22)に記憶されている撮像素子(イメージセンサ21)に係るデータの一部(例えば、間引きデータ)を出力するデータ出力部(カメラヘッド20)を備えている。
【0080】
また、出力された撮像素子に係るデータの一部(例えば、間引きデータ)を受信し、この受信した撮像素子に係るデータの一部(例えば、間引きデータ)を用いて、データの補完処理を行なう補完処理部(CCU30)を備えている。
【0081】
また、補完処理されたデータを用いて、出力された撮像映像信号の映像処理を行ない、映像信号を出力する映像処理部(CCU30)を備えている。
また、映像処理部(CCU30)は、上記補完部分が置き換えられた撮像素子に係る固定パターンデータ等を用い、出力された撮像映像信号の映像処理を行なう。
上記のように構成することによって、この発明の実施の形態においては、撮像素子のノイズデータが反映された映像を出力するために要する時間が低減された撮像装置を提供することが可能になる。
【0082】
なお、上記実施形態は、記述そのものに限定されるものではなく、実施段階では、その趣旨を逸脱しない範囲で、構成要素を種々変形して具体化することが可能である。
【0083】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。
例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0084】
1…撮像装置、10a…レンズ、10…スコープ、20…カメラヘッド、21…イメージセンサ(撮像部)、22…記憶部(フラッシュメモリ)、30…CCU、31…信号処理部、32…記憶部(SDRAM)、33…CPU、40…ライトソース(光源)、50…カメラケーブル、60…光ファイバ、70…信号ケーブル、80…映像表示装置(LCD)。
【特許請求の範囲】
【請求項1】
撮像素子を用いて撮像された映像に係る撮像映像信号を出力する撮像映像信号出力部と、
記憶部に記憶されている前記撮像素子に係るデータの一部を出力するデータ出力部と、
前記出力された撮像素子に係るデータの一部を受信し、この受信した撮像素子に係るデータの一部を用いて、データの補完処理を行なう補完処理部と、
前記補完処理されたデータを用いて、前記出力された撮像映像信号の映像処理を行ない、映像信号を出力する映像処理部を備える撮像装置。
【請求項2】
前記撮像素子に係るデータの前記一部以外の、前記記憶部に記憶されている前記撮像素子に係るデータを受信し、このデータの前記一部以外のデータを用いて、前記補完処理された前記撮像素子に係るデータの補完部分を置き換える置き換え部を備える請求項1に記載の撮像装置。
【請求項3】
前記映像処理部は、前記補完部分が置き換えられた前記撮像素子に係るデータを用い、前記出力された撮像映像信号の映像処理を行なう請求項2に記載の撮像装置。
【請求項4】
前記映像処理部から出力された映像を表示出力する映像表示部を備える請求項1に記載の撮像装置。
【請求項5】
前記撮像素子に係るデータは、撮像素子の固定パターンノイズに係るデータを含む請求項1に記載の撮像装置。
【請求項6】
前記撮像素子に係るデータは、複数の撮像素子に係るデータを含む請求項1に記載の撮像装置。
【請求項7】
前記撮像素子に係るデータの一部は、間引き処理によって出力される請求項1に記載の撮像装置。
【請求項8】
前記間引き処理は、前記撮像素子の1ライン毎に行なう請求項7に記載の撮像装置。
【請求項9】
前記間引き処理は、前記撮像素子の1素子毎に行なう請求項7に記載の撮像装置。
【請求項10】
前記間引き処理は、前記撮像素子の1素子毎のチェッカー状に行なう請求項7に記載の撮像装置。
【請求項11】
前記間引き処理は、複数回行なう請求項7に記載の撮像装置。
【請求項12】
撮像素子を用いて撮像された映像に係る撮像映像信号を出力するステップと、
記憶部に記憶されている前記撮像素子に係るデータの一部を出力するステップと、
前記出力された撮像素子に係るデータの一部を受信し、この受信した撮像素子に係るデータの一部を用いて、データの補完処理を行なうステップと、
前記補完処理されたデータを用いて、前記出力された撮像映像信号の映像処理を行ない、映像信号を出力するステップを備える撮像方法。
【請求項1】
撮像素子を用いて撮像された映像に係る撮像映像信号を出力する撮像映像信号出力部と、
記憶部に記憶されている前記撮像素子に係るデータの一部を出力するデータ出力部と、
前記出力された撮像素子に係るデータの一部を受信し、この受信した撮像素子に係るデータの一部を用いて、データの補完処理を行なう補完処理部と、
前記補完処理されたデータを用いて、前記出力された撮像映像信号の映像処理を行ない、映像信号を出力する映像処理部を備える撮像装置。
【請求項2】
前記撮像素子に係るデータの前記一部以外の、前記記憶部に記憶されている前記撮像素子に係るデータを受信し、このデータの前記一部以外のデータを用いて、前記補完処理された前記撮像素子に係るデータの補完部分を置き換える置き換え部を備える請求項1に記載の撮像装置。
【請求項3】
前記映像処理部は、前記補完部分が置き換えられた前記撮像素子に係るデータを用い、前記出力された撮像映像信号の映像処理を行なう請求項2に記載の撮像装置。
【請求項4】
前記映像処理部から出力された映像を表示出力する映像表示部を備える請求項1に記載の撮像装置。
【請求項5】
前記撮像素子に係るデータは、撮像素子の固定パターンノイズに係るデータを含む請求項1に記載の撮像装置。
【請求項6】
前記撮像素子に係るデータは、複数の撮像素子に係るデータを含む請求項1に記載の撮像装置。
【請求項7】
前記撮像素子に係るデータの一部は、間引き処理によって出力される請求項1に記載の撮像装置。
【請求項8】
前記間引き処理は、前記撮像素子の1ライン毎に行なう請求項7に記載の撮像装置。
【請求項9】
前記間引き処理は、前記撮像素子の1素子毎に行なう請求項7に記載の撮像装置。
【請求項10】
前記間引き処理は、前記撮像素子の1素子毎のチェッカー状に行なう請求項7に記載の撮像装置。
【請求項11】
前記間引き処理は、複数回行なう請求項7に記載の撮像装置。
【請求項12】
撮像素子を用いて撮像された映像に係る撮像映像信号を出力するステップと、
記憶部に記憶されている前記撮像素子に係るデータの一部を出力するステップと、
前記出力された撮像素子に係るデータの一部を受信し、この受信した撮像素子に係るデータの一部を用いて、データの補完処理を行なうステップと、
前記補完処理されたデータを用いて、前記出力された撮像映像信号の映像処理を行ない、映像信号を出力するステップを備える撮像方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−244259(P2012−244259A)
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願番号】特願2011−109915(P2011−109915)
【出願日】平成23年5月16日(2011.5.16)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願日】平成23年5月16日(2011.5.16)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]