静止画記録ディジタルカメラ
【目的】本発明の目的は、汎用の撮像素子などの一般的な部品を用いて、コンピュータなどのディジタル画像入力装置に好適な、安価な静止画記録ディジタルカメラを提供することにある。
【構成】一般的な撮像素子を用い、撮像素子から出力される信号をメモリに記録し、再生時にディジタル映像信号を出力する。また、静止画撮像時には撮像素子の駆動方法を変えて画素の信号を混合せずに読み出し、信号処理回路に静止画の映像信号が入力されたときに信号処理の内容を静止画用に切り替える。
【効果】本発明によれば、一般的な撮像素子を用いて少ないメモリ容量で静止画の記録及び再生ができるので、安価な静止画記録撮像装置を供給することができる。
【構成】一般的な撮像素子を用い、撮像素子から出力される信号をメモリに記録し、再生時にディジタル映像信号を出力する。また、静止画撮像時には撮像素子の駆動方法を変えて画素の信号を混合せずに読み出し、信号処理回路に静止画の映像信号が入力されたときに信号処理の内容を静止画用に切り替える。
【効果】本発明によれば、一般的な撮像素子を用いて少ないメモリ容量で静止画の記録及び再生ができるので、安価な静止画記録撮像装置を供給することができる。
【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明はディジタルカメラに係り、特にコンピュータなどの映像入力手段に好適な静止画の記録再生方法に関する。
【0002】
【従来の技術】ビデオカメラは、信号処理のディジタル化に伴ない、多種多様な機能が開発されている一方で、ディジタルの映像信号を容易に出力できることから、コンピュータなどの映像入力手段として注目されつつある。映像入力手段としてのディジタルカメラに民生用のカメラ一体型VTRのカメラ部で用いられている部品をできるだけ多く用いることにより、低価格の映像入力手段を供給することができるが、現在はラインスキャナーなどの特殊な映像入力手段が供給されているに留まっている。
【0003】低価格の映像入力手段を供給するための重要な課題として、以下の5つの項目がある。
【0004】(1)自動制御系を静止画にも対応できるようにする…一般的なビデオカメラでは映像信号を用いて露光制御やホワイトバランス制御を行なっている。すなわち、照度や色温度などを検出する検出器を別個には有しておらず、映像信号から検出してそれぞれの制御部にフィードバックしている。しかしながら、静止画の映像信号から検出しても、検出した静止画にフィードバックできない。
【0005】(2)一般的な撮像素子を用いてフレームの静止画を生成できるようにする…一般的な撮像素子は、画素の信号を一度しか読み出せない破壊読み出しであり、しかも垂直方向に隣接する2つの画素の信号を混合して読みだす画素混合方式である。上記読み出し方式のままで信号処理を行なうと、画素数に見合った解像度の静止画は生成できない。
【0006】(3)汎用の撮像素子を使用できるようにする…映像信号をコンピュータに取り込んだあとに、グラフィック上で画像に回転などの操作を加えることがあり、この時に画像に歪みが生じないようにする必要がある。そのためには撮像被写体を、水平、垂直方向で等しい空間的なサンプリングピッチで光電変換すれば良い。すなわち、水平、垂直方向に等しい距離で配された画素を有する撮像素子を用いれば良い。しかしながら、民生用のカメラ一体型VTRのカメラ部で一般的に用いられている撮像素子は、画素が水平、垂直方向に異なったピッチで配されている。
【0007】(4)静止画を記録する記録手段の容量をできるだけ小さくする…コンピュータに取り込む一般的な映像信号であるRGB信号で静止画を記録すると、R、G、Bそれぞれにアドレスが必要であり、記録容量が大きくなってしまう。
【0008】(5)画像出力は、ディジタルRGB信号で出力する…コンピュータに取り込む一般的な映像信号フォーマットは、ディジタルRGB信号である。しかしながら、一般的な民生用のカメラ一体型VTRから出力される信号は、コンポジットまたは、Y/C信号のアナログ信号フォーマットであり、ディジタルRGB信号を得るためには、上記アナログ信号をディジタルRGB信号に変換する信号変換回路を新たに設けなければならない。
【0009】
【課題を解決するための手段】上記(1)の問題点を解決する手段として、動画撮像時の検出結果を記憶しておき、その検出結果を基に静止画を生成する。
【0010】また、上記(2)の問題点を解決する手段として、静止画撮像時には撮像素子の駆動方法を変えて画素の信号を混合せずに読み出し、信号処理回路に静止画の映像信号が入力されたときに信号処理の内容を静止画用に切り替える。
【0011】また、上記(3)の問題点を解決する手段として、補間演算を行なう信号補間回路を設け、画素が水平、垂直方向に異なったピッチで配されている一般的な撮像素子を有する撮像手段から出力される映像信号に補間演算を施し、水平、垂直方向で等しい空間的なサンプリングピッチの映像信号を生成する。
【0012】また、上記(4)の問題点を解決する手段として、記録手段に記録する時には撮像手段から出力される映像信号に輝度信号処理や色信号処理などの処理を施さずに記録する。一般的な撮像素子を有する撮像手段からは、いわゆる補色の映像信号が出力されるので、記録手段から出力された映像信号に輝度信号処理や色信号処理などの処理を施す。
【0013】また、上記(5)の問題点を解決する手段として、上記撮像手段または上記信号処理回路から出力される信号を上記記録手段に記録し、上記記録手段は記録した映像信号を複数回出力し、上記信号処理回路は上記記録手段から出力される信号に応じてマトリクス係数をR信号用、G信号用、B信号用に変更し、面順次にRGB信号を生成する。
【0014】
【実施例】以下、本発明を図を用いて説明する。
【0015】図1は本発明の第1の実施例に係る撮像装置の構成図である。同図において101はレンズ、102はシャッタ、103はシャッタ制御回路、104は撮像素子、105は駆動回路、106はアンプ、107はA/D変換器、108はメモリ、109はメモリ制御回路、110は記録/再生制御回路、111はシャッタボタン、112は再生ボタン、113は選択回路、114は信号処理回路、115は信号処理制御回路、116はビューファインダ、117はFull/Economy切り換えスイッチであり、撮像素子104の具体例を図2に示す。図2において201はホトダイオード、202は垂直CCD、203は水平CCDであり、gr、mg、cy、yeは、ホトダイオード201の各々に配された色フィルタで、grはグリーン、mgはマゼンタ、cyはシアン、yeはイエローの色フィルタであることを示す。上記のような色フィルタが配されたホトダイオードは一般に画素と呼ばれている。上記構成において、レンズ101を通して入力された光は、シャッタ制御回路103により絞り値Fが制御されたシャッタ102を通して撮像素子104に入力され、撮像素子104の表面に配された図2に示すホトダイオード201によって光電変換された信号電荷は、垂直CCD202を経由して水平CCD203に転送され駆動回路105より供給される水平走査パルスに同期して電圧変換され出力される。
【0016】まず、動画撮影時の動作を説明する。撮像素子104は、特開昭63−114487号公報「固体カラーカメラ」に記載されているように、垂直方向に隣接する2つの画素信号を混合して読み出す、いわゆる画素混合方式で信号を読み出す。以下、図3を用いて画素混合読み出しの説明をする。
【0017】図3は、画素混合読み出し時における垂直転送パルスと、垂直CCD202における信号電荷の転送のタイミングチャートを示したものである。同図において垂直転送パルス1の3値パルスが高レベルになることでgr、mgの行のホトダイオード201から、垂直転送パルス3の3値パルスが高レベルになることでcy、yeの行のホトダイオード201からそれぞれ垂直CCD202に信号電荷が転送される。垂直CCD202に転送された信号電荷は、図3に示す通りに垂直CCD202内で混合され、水平CCD203に転送される。
【0018】撮像素子104の出力信号は、アンプ106によって増幅され、A/D変換器107に入力される。A/D変換器107に入力された信号は、駆動回路より供給されるタイミングパルスでサンプリングされてディジタル信号に変換される。A/D変換器107によりディジタル信号に変換された信号は、選択回路113によって信号処理回路114内に入力される。信号処理回路114は、ガンマ補正やホワイトバランス補正等の一般的な信号処理を行ない、輝度信号、色(RGB)信号などを生成する。
【0019】次に、静止画を記録する動作を説明する。
【0020】上記構成において、シャッタボタン111を押すことにより記録/再生制御回路112からシャッタクローズの制御信号がシャッタ制御回路103に入力され、シャッタ制御回路103によってシャッタ102は、所定の時間後にクローズ状態となる。シャッタ102がクローズ状態となるまでに撮像素子104に入力された光は、撮像素子104に配されたホトダイオード201によって光電変換され、シャッタ102がクローズ状態の間に垂直CCD202を経由して水平CCD203へ転送し、駆動回路105より供給される水平走査パルスに同期して電圧変換されて出力される。この時、撮像素子104は、ホトダイオード201から1度信号を読み出すと、ホトダイオード201に信号が残らない、いわゆる破壊読み出しであるので、動画の読み出しと同様に画素混合読み出しをすると、フレームの情報が失われてしまう。垂直方向の解像度を劣化させずに静止画を得るために、以下に示す独立読み出しを行なう。
【0021】図4は、独立読み出し時における垂直転送パルスと、垂直CCD202における信号電荷の転送のタイミングチャートを示したものである。同図において垂直転送パルス1、及び垂直転送パルス3の3値パルスが高レベルになる周期は、図4に示す通り1フィールドおきである。よって垂直転送パルス1の3値パルスが高レベルになるフィールドでは、gr、mgの行のホトダイオード201からのみ信号電荷が垂直CCD202に転送され、次の1フィールドでは、垂直転送パルス3の3値パルスが高レベルになることで、cy、mgの行のホトダイオード201からのみ垂直CCD202に信号電荷が転送される。垂直CCDに202転送された信号電荷は、1フィールド期間ですべて水平CCD203に転送されてしまうので、上記した画素混合読み出し方式の様に、隣りあったホトダイオード201の信号電荷が混合されることはなく、1つのホトダイオードに対して1つの信号を得ることができる。以下、水平CCD203に転送された信号電荷は、駆動回路105より供給される水平走査パルスに同期して撮像素子104から出力される。
【0022】上記動作によってそれぞれの画素から独立して読み出された信号Gr、Mg、Cy、Yeは、A/D変換器107でディジタル信号に変換されて、メモリ制御回路109に制御されたメモリ108に記録される。一方、上記静止画記録を行なう前の動画撮影時に、信号処理回路114で行なっていたホワイトバランスなどの情報もメモリ108に記録する。ホワイトバランスなどの情報は、別の記録手段に記録しても良い。
【0023】次に、記録された静止画を出力する動作を説明する。
【0024】再生ボタン112が押されると記録/再生制御回路からの制御信号に基ずいて、メモリ108に記録された信号は、選択回路113で選択されて信号処理回路114に入力される。信号処理回路114は、ホワイトバランスなどの情報を読み取って、その情報をもとに所定の映像信号を生成する。一方、ビューファインダ116は被写体を表示する他に、記録/再生制御回路110からの制御信号によりメモリ108に記録可能な静止画の枚数や、Full/Economy切り換え、スタンバイ状態などの後述する情報を表示する。
【0025】以下に、信号処理回路114の動作について説明する。
【0026】動画撮影時には、上述したように画素混合読み出しで画素の信号を撮像素子104から読み出し、A/D変換器107でディジタル信号に変換して、図3に示す信号を信号処理回路114に入力する。この入力信号から輝度信号と色差信号を生成する信号処理回路114の具体例を図5に示す。図5において211は入力信号ををサンプリングし出力信号S1,S2,S3,S4を生成するサンプリング回路、212は信号処理制御回路115により設定された輝度用のマトリクスを用いて輝度信号を生成する輝度マトリクス回路、213は輝度マトリクス回路212が生成した輝度信号に公知のガンマ補正などのディジタル信号処理を施す輝度信号処理回路、214は信号処理制御回路115により設定されたRGB用のマトリクスを用いてRGB信号を生成するRGBマトリクス回路、215はホワイトバランス回路、216は信号処理制御回路115により設定された色差信号用のマトリクスを用いて色差信号を生成する色差マトリクス回路である。図6は輝度およびRGBマトリクス回路212、214の回路構成例であり、221、222、223、224は入力信号とマトリクス係数をかけあわせる乗算器、225は乗算器221、222、223、224の出力をたしあわせる加算器である。
【0027】図5においてサンプリング回路211は、順次に信号が切り替わる図3に示す信号s1、s2、…を図7に示すようにサンプルホールドする。図7(a)および(c)はCy+GrあるいはYe+Mgの信号が撮像素子104から出力される水平期間のタイミングチャートであり、(b)はCy+MgあるいはYe+Grが出力される水平期間のタイミングチャートである。図示していないがサンプリング回路211はラインメモリを有し、例えば(b)の水平期間において(a)の水平期間と同じ信号時系列の信号S1、S2を出力し、(c)の水平期間において(b)の水平期間と同じ信号時系列の信号S3、S4を出力する。このサンプルホールドされた信号Gr+Cy、Mg+Ye、Mg+Cy、Gr+Yeは、輝度マトリクス回路212およびRGBマトリクス回路214で、図8に示すマトリクス係数M1、M2が乗じられて輝度信号YおよびRGB信号G、R、Bに変換される。図8に示すマトリクス係数M1、M2の具体例を以下に示す。
【0028】
M11=M12=M13=M14=1 M21=−2、M22=2、M23=0、M24=1 M31=1、M32=−1、M33=0、M34=2 … (1)
M41=1、M42=0、M43=2、M44=−2色差信号R−Y、B−Yも図6に示す回路構成で同様に生成でき、図8に示すマトリクス係数M3としては以下に示す具体例を用いれば良い。
【0029】
M51=0.7、M52=−0.59、M53=−0.11 M61=−0.3、M62=−0.59、M63=0.89 … (2)
上記マトリクス係数M1、M2、M3は信号処理制御回路115によって設定される。
【0030】次に静止画の信号生成ついて説明する。
【0031】静止画生成時時には、上述したように独立読み出しで各画素の信号を独立して撮像素子104から読み出し、A/D変換器107でディジタル信号に変換して、図4に示す信号列をメモリ108に記録する。メモリ108からは、図2に示す第1行のホトダイオード201の信号、第2行のホトダイオード201の信号、…の順に読み出し、信号処理回路114に入力する。サンプリング回路211は、図9に示すように、Gr、Mg、Gr、Mg、…あるいはCy、Ye、Cy、Ye、の時系列で入力された信号を動画撮影時と同様にサンプルホールドし、信号処理制御回路115によってマトリクス係数M1、M2、M3の内のM2を下記マトリクス値M4に設定し直して、図10に示す静止画撮影時の輝度信号Y、色信号R、G、Bおよび色差信号R−Y、B−Yを生成する。
【0032】
M71=0、M72=1、M73=−1、M74=1 M81=1、M82=−1、M83=1、M84=1 … (3)
M91=0、M92=1、M93=1、M94=−1なお、図2に示すように、色フィルタgr、mgの配置は1行おきにgr、mg、gr、…、の順とmg、gr、mg、…、の順を繰り返している。したがって、図9に示すように(a)と(c)では信号処理回路114に入力されるGrとMgの順序が1画素分ずれる。上記ずれを補正するためのサンプリング回路211の具体例を図11に示す。同図(a)において241、242はサンプルホールド回路であり、A、Bはそれぞれサンプルホールド回路241、242のサンプルホールドパルスである。同図(b)に示すようにN行目のホトダイオード201の信号を読み出すラインNの信号処理においてMg、Gr、…の順序で信号が入力されたとすると、サンプルホールドパルスA、Bを(c)のように供給し、(d)に示す時系列にサンプルホールドする。ここで、サンプルホールド回路241、242はサンプルホールドパルスがハイレベル時に入力信号を通し、ローレベル時には直前のハイレベル時の信号を出力する。一方、N+2行目のホトダイオード201の信号を読み出すラインN+2の信号処理においてはGr、Mg、…の順序で信号が入力されるので、サンプルホールドパルスA、Bを(c)のラインN+2のように供給し、(d)のラインN+2に示す時系列にサンプルホールドする。
【0033】次に本発明の別の実施例を図12に示す。同図において251は信号処理回路、252はカメラ信号処理回路、253は信号補間回路、254はメモリ、255は信号処理制御回路であり、図1の実施例と共通するものには同じ番号を付けている。図1の実施例と異なる点は、メモリ254に信号処理回路251の出力信号を記録するように構成したことである。動画撮像時の動作は図1の実施例と同じであるので、静止画撮像時の動作を以下に説明する。
【0034】独立読み出しで撮像素子104から出力された信号は、図5に示す信号処理回路を有するカメラ信号処理回路252に入力され、輝度信号あるいは色差信号生成経路のいずれか1経路を利用してスルーで出力される。例えば、サンプリング回路211は入力信号をそのままS1に出力し、輝度マトリクス回路212はS1に1を乗じた信号とS2〜S4に0を乗じた信号を加算し、輝度信号処理回路213は輝度マトリクス回路212の出力信号をそのまま出力する。信号補間回路253は信号処理制御回路255からの制御信号にもとずいて図13に示す信号時系列変換を行ない、この信号時系列変換後の信号をメモリ254に記録する。ここで、図13は撮像素子104から出力された信号の空間分布を表わしている。
【0035】撮像素子104から出力された信号をメモリ254に記録し終えた後、メモリ254に記録された信号はカメラ信号処理回路252に入力され、信号処理制御回路255からの制御信号にもとずいた図1の実施例と同様の信号処理によって輝度信号Yと色差信号R−Y、B−Yが生成される。信号補間回路253は信号処理制御回路255からの制御信号にもとずいてこの輝度信号Yと色差信号R−Y、B−Yをそのまま出力する。
【0036】信号補間回路253で図13に示す信号補間を行なえば、図11に示すサンプリングによる信号時系列変換を行なう必要がない。すなわち、図11(b)ラインNに示す時系列で信号Mg、Grが入力した場合には、信号補間回路253は図13(a)に示すようにそのまま補間後の信号Mg’、Gr’として出力し、図11(b)ラインN+2に示す時系列で信号Gr、Mgが入力した場合には、信号補間回路253は図13(b)に示すように2つの入力Gr信号から補間後の信号Gr’を入力Mg信号の位置に、2つの入力Mg信号から補間後の信号Mg’を入力Gr信号の位置にそれぞれ補間生成して出力する。上記信号補間を行なう信号補間回路253の具体例を図14に示す。図14において401は遅延回路、402、403は乗算器、404は加算器、K1、K2は信号処理制御回路255から供給される係数である。遅延回路401は入力信号を2画素分遅延させ、図13(a)に示す補間時には係数K1を0に、K2を1にそれぞれ設定し、図13(b)に示す補間時には係数K1、K2をそれぞれ0.5に設定する。
【0037】以上はフレーム情報を損なわずに静止画を記録する(Fullモードと呼ぶ)実施例であり、次に、画質の劣化を伴うが、少ないメモリ容量で静止画を記録する(Economyモードと呼ぶ)実施例を以下に説明する。
【0038】撮像素子104は、静止画撮像時にも上述した一般的な画素混合読み出しによって、信号を出力する。撮像素子104から出力された信号は、図1の実施例においてはメモリ制御回路109によって2個に1個の割合で水平方向に間引きしてメモリ108に記録し、メモリ108から読み出した信号に動画撮像時と同様のマトリクス処理を施して輝度信号と色差信号を生成する。また、図12の実施例においては信号補間回路253で、2個に1個の割合で水平方向に信号補間を行なって信号数を半減し、メモリ254に記録する。以上の動作により、Fullモードに比べて垂直・水平方向の信号数をそれぞれ半分にできるので、メモリ108、254に4倍の枚数の静止画を記録することができる。上記FullモードとEconomyモードはFull/Economy切り換えスイッチ119で切り換え、いずれのモードにあるかによって、メモリ108、254にあと何枚の静止画を記録することができるかをビューファインダ118に表示する。また、いずれのモードにあるかをビューファインダ118に表示する。
【0039】以下、本発明の別の実施例を図を用いて説明する。
【0040】図26は本発明の別の実施例に係る撮像装置の構成図である。同図において2601はレンズ、2602はシャッタ、2603はシャッタ制御回路、2604は撮像素子、2605は駆動回路、2606はアンプ、2607はA/D変換器、2608はメモリ、2609はバッファメモリ、2610はメインメモリ、2611はメモリ制御回路、2612は記録/再生制御回路、2613は選択回路、2614は信号処理回路、2615はカメラ信号処理回路、2616は信号補間回路、2617は信号処理制御回路、2618はシャッタボタン、2619はFull/Economy切り換えスイッチ、2620は表示装置であり、撮像素子2604の具体例を図27に示す。図27において2701はホトダイオード、2702は垂直CCD、2703は水平CCDであり、gr、mg、cy、yeは、ホトダイオード2701の各々に配された色フィルタで、grはグリーン、mgはマゼンタ、cyはシアン、yeはイエローの色フィルタであることを示す。 上記構成において、レンズ2601を通して入力された光は、シャッタ制御回路2603により絞り値Fが制御されたシャッタ2602を通して撮像素子2604に入力され、撮像素子2604の表面に配された図27に示すホトダイオード2701によって光電変換された信号電荷は、垂直CCD2702を経由して水平CCD2703に転送され駆動回路2605より供給される水平走査パルスに同期して電圧変換され出力される。
【0041】まず、動画撮影時の動作を説明する。撮像素子2604は、上記公知例に記載されているように、垂直方向に隣接する2つの画素信号を混合して読み出す、いわゆる画素混合方式で信号を読み出す。
【0042】以下、図3を用いて画素混合読み出しの説明をする。
【0043】図3は、画素混合読み出し時における垂直転送パルスと、垂直CCD2702における信号電荷の転送のタイミングチャートを示したものである。同図において垂直転送パルス1の3値パルスが高レベルになることでgr、mgの行のホトダイオード2701から、垂直転送パルス3の3値パルスが高レベルになることでcy、yeの行のホトダイオード2701からそれぞれ垂直CCD2702に信号電荷が転送される。垂直CCD2702に転送された信号電荷は、図3に示す通りに垂直CCD2702内で混合され、水平CCD2703に転送される。
【0044】撮像素子2604の出力信号は、アンプ2606によって増幅され、A/D変換器2607に入力される。A/D変換器2607に入力された信号は、駆動回路2605より供給されるタイミングパルスでサンプリングされてディジタル信号に変換される。A/D変換器2607によりディジタル信号に変換された信号は、選択回路2613によって信号処理回路2614内に入力される。信号処理回路2614は、ガンマ補正やホワイトバランス補正等の一般的な信号処理を行ない、輝度信号、色(RGB)信号などを生成する。
【0045】次に、静止画を記録する動作を説明する。
【0046】上記構成において、シャッタボタン2618を押すことにより記録/再生制御回路2612からシャッタクローズの制御信号がシャッタ制御回路2603に入力され、シャッタ制御回路2603によってシャッタ2602は、所定の時間後にクローズ状態となる。シャッタ2602がクローズ状態となるまでに撮像素子2604に入力された光は、撮像素子2604に配されたホトダイオード2701によって光電変換され、シャッタ2602がクローズ状態の間に垂直CCD2702を経由して水平CCD2703へ転送し、駆動回路2605より供給される水平走査パルスに同期して電圧変換されて出力される。この時、撮像素子2604は、ホトダイオード2701から1度信号を読み出すと、ホトダイオード2701に信号が残らない、いわゆる破壊読み出しであるので、動画の読み出しと同様に画素混合読み出しをすると、フレームの情報が失われてしまう。垂直方向の解像度を劣化させずに静止画を得るために、以下に示す独立読み出しを行なう。
【0047】図4は、独立読み出し時における垂直転送パルスと、垂直CCD2702における信号電荷の転送のタイミングチャートを示したものである。同図において垂直転送パルス1、及び垂直転送パルス3の3値パルスが高レベルになる周期は、図4に示す通り1フィールドおきである。よって垂直転送パルス1の3値パルスが高レベルになるフィールドでは、gr、mgの行のホトダイオード2701からのみ信号電荷が垂直CCD2702に転送され、次の1フィールドでは、垂直転送パルス3の3値パルスが高レベルになることで、cy、yeの行のホトダイオード2701からのみ垂直CCD2702に信号電荷が転送される。垂直CCDに2702転送された信号電荷は、1フィールド期間ですべて水平CCD2703に転送されてしまうので、上記した画素混合読み出し方式の様に、隣あったホトダイオード2701の信号電荷が混合されることはなく、1つのホトダイオードに対して1つの信号を得ることができる。以下、水平CCD2703に転送された信号電荷は、駆動回路2605より供給される水平走査パルスに同期して撮像素子2604から出力される。
【0048】上記動作によってそれぞれの画素から独立して読み出された信号Gr、Mg、Cy、Yeは、A/D変換器2607でディジタル信号に変換されて、メモリ制御装置2611に制御されたメモリ2608に記録される。一方、上記静止画記録を行なう前の動画撮影時に、信号処理回路2614で行なっていたホワイトバランスなどの情報もメモリ2608に記録する。ホワイトバランスなどの情報は、別の記録手段に記録しても良い。
【0049】次に、記録された静止画を出力する動作を説明する。
【0050】メモリ2608に記録された信号は、選択回路2613で選択されて信号処理回路2614に入力される。信号処理回路2614は、ホワイトバランスなどの情報を読み取って、その情報をもとに所定の映像信号を生成する。ところで、撮像素子2604の有するホトダイオード2701は、一般的に水平垂直で異なった間隔で配されている。すなわち、ホトダイオード2701は画素とも呼ばれており、図27に示す画素ピッチPx、Pyが等しくない。したがって、光学像が空間的に等間隔でサンプリングされないことになり、上述したように画像入力手段としては好ましくない。そこで、水平及び垂直の画素ピッチを等しくするために信号補間回路2616で内挿補間する。図14、図28、図29、及び図30を用いて、以下に空間的なサンプリングピッチを等しくする内挿補間について説明する。
【0051】図14は、信号補間回路2616の具体例である。
【0052】図28において〇で示しているS1,1 、S1,2 、S1,3 、S2,1 、S2,2 、S2,3 は、信号補間回路2616に入力される信号(補間前の信号)の空間分布を示し、△で示しているS1,1 ’、S1,2 ’、S1,3 ’、S2,1 ’、S2,2 ’、S2,3 ’は、加算器404の出力(補間後の信号)の空間分布を示している。補間前の信号は、Pxを水平画素ピッチ、Pyを垂直画素ピッチとすると、水平垂直方向にそれぞれPx、Pyの整数倍だけ離れていることになり、ここでは簡単のためにPx、Pyだけ離れているとする。S1,1 の位置にS1,1 ’で表わす補間後の信号を生成したとすると、△で示した補間後の信号S1,2 ’、S1,3 ’はS1,1 ’から、水平方向にPy、2Pyだけ離れたところに生成すれば良いから、次式の様に内挿の補間演算で求められる。
【0053】
S1,2 ’=S1,1 *(Px−Py)/Px+S1,2 *Py/Px・・・・(7)
S1,3 ’=S1,2 *(2Px−2Py)/Px +S1,3 *(2Py−Px)/Px・・・・(8)
換言すれば、垂直画素数をM個、水平画素数をN個とし、水平方向に下記N’個の水平方向のデータを内挿補間で生成すれば良い。
【0054】N’=N*Px/Py ・・・(9)
しかし、上記方法により補間して得た映像信号は、水平方向に間延びしてしまう。そこで、撮像素子2604には、その水平画素数から導出される周波数の水平走査パルスよりも、高速な水平走査パルスを供給する。以下に、具体的な方法を図29を用いて説明する。
【0055】撮像素子2604に、水平方向の画素ピッチPxが9.6μm、垂直方向の画素ピッチPyが7.5μm、水平画素数510画素、垂直画素数485画素の一般的なNTSC方式の撮像素子を用いた場合、水平画素数から導出される水平走査パルスの周波数は、下記610fH (fH :水平周波数)である。
【0056】
510*63.56/(63.56−10.5)=610.9 ≒611・・・(10)
一方、上記(9)式より、補間によって生成する水平方向の信号数は、下記653個である。
【0057】
510*9.6/7.5=652.8≒653 ・・・(11)
従って、611fH の周波数の水平走査パルスを用いると、1水平期間内に内挿補間が終了しなくなってしまう。上記問題を解決するためには、用いる水平走査パルスの周波数を、下記782fH とすれば良い。
【0058】
653*63.56/(63.56−10.5)=782.2 ≒782・・・(12)
図29において、出力信号1は、611fH の水平走査パルスを用いて、上記撮像素子から信号を出力した場合のタイミングチャートであり、出力信号2は、782fH の水平走査パルスを用いて上記撮像素子から信号を出力した場合のタイミングチャートである。本実施例においては、782fH の水平走査パルスを用いて、水平方向に510/653(あるいは7.5/9.6)の割合で縮小された出力信号2を得る。出力信号2は、上記信号補間により水平方向に653/510(あるいは9.6/7.5)倍されるので、得られる映像信号のアスペクト比は変わらない。
【0059】上記内挿補間方法は、水平方向について示したものであり、以下に垂直方向の内挿補間について、以下に説明する。
【0060】図30において〇で示しているS1,1 、S1,2 、S2,1 、S2,2 、S3,1 、S3,2 、S4,1 、S4,2 は、信号補間回路2616に入力される信号(補間前の信号)の空間分布を示している。上述の内挿補間と同様に、S1,1 の位置にS1,1’で表わす補間後の信号を生成したとすると、△で示した補間後の信号S2,1 '、S3,1 ’は、S1,1 ’から垂直方向にPx、2Pxだけ離れたところに生成すれば良いから、次式の様に内挿の補間演算で求められる。
【0061】
S2,1 ’=S2,1 *(2Py−Px)/Py +S3,1 *(Px−Py)/Py・・(13)
S3,1 ’=S3,1 *(3Py−2Px)/Py +S4,1 *(2Px−2Py)/Py・・・・(14)
換言すれば、下記(15)式によって求まるM’個の垂直方向のデータを信号補間により生成する。
【0062】
M’=M*Py/Px ・・・(15)
次に、メモリ2608への映像信号の書き込みについて説明する。
【0063】静止画記録時には、上述したように独立読み出しで各画素の信号を独立して撮像素子2604から読み出し、A/D変換器2607でディジタル信号に変換して、メモリ2608に記録する。図4に示すように、垂直転送パルスV1が3値パルスになるフィールドでは、MgとGrが順次に出力され、V3が3値パルスになるフィールドでは、CyとYeが出力されるので、メモリ2608には、図31に示すようなフォーマットで記録される。静止画出力時には、上記したメモリ2608に記録された信号を順次読み出して、信号処理回路2614で所定のフォーマットの映像信号を生成する。例えば、3原色信号のR、G、Bを生成するためには、以下に示すマトリクス演算を行ない、R、G、Bそれぞれの信号に上記したような信号補間を行なえば良い。
【0064】
R=Mg−Cy+YeG=−Mg+Cy+Ye+Gr ・・・(16)
B=Mg+Cy−Yeこの時、仮にメモリ2608を信号処理回路2614の後段に配し、撮像素子2604から出力された信号に、(16)式の演算処理を施して、補間後のR、G、B信号を生成し、このR、G、B信号を、メモリ2608に記録した場合、1フレーム分の画像信号を記録するのに必要なメモリ容量は、 485*653*3(RGB)*9bit≒8.6Mbit・・・(17)
である。ここで、485はライン数、653は水平ドット数であり、A/D変換器2607の分解能は、9bitとしている。一方、本実施例では、 485*510*9bit≒2.2Mbit ・・・(18)
の容量で済む。つまり、補色の信号を記録することで、データを約1/4に圧縮したことになる。
【0065】上記(17)、(18)式で、A/D変換器2607の分解能を9bitとした理由は、分解能8bit時の量子化エラーによるS/N劣化が、許容量以上であるという画質評価結果にもとづいている。しかしながら、汎用メモリをメモリ2608に使用する場合、汎用メモリのビット構成が深さ方向8bitであることを考慮すると、A/D変換器2607の分解能は、8bitであることが望ましい。そこで、アンプ2606に図32に示す非線形な入出力特性を持たせ、8bitの分解能でディジタル信号に変換する。量子化雑音の目立つ低輝度の領域では、9bitの分解能でディジタル信号に変換され、量子化雑音の目立たない高輝度の領域では、8bit以下の分解能でディジタル信号に変換することにより、データを圧縮して8bitの一般的なメモリを用いることができる。この時、図32に示す入出力特性とは逆の図33に示すような入出力特性を信号処理回路2614に持たせることにより、線形な信号処理を行なうことができる。上記した非線形な入出力特性は、入力信号レベルに応じてアンプ2606の利得を変化させることで、容易に実現できる。
【0066】次に、図26におけるメモリ2608の具体的な構成例を説明する。
【0067】メモリ2608の内部構成は、図26に示すように、メインメモリ2610とバッファメモリ2609の2つのメモリを用いた構成とする。メモリ2608は、A/D変換器2607より出力される信号を記録するために、ビデオレートで信号を入出力する必要がある。また、静止画を複数枚記録するには、大容量のメモリが必要となる。しかし、この様なメモリは、現在非常に高価である。そこで、メインメモリ2610には、記憶容量は大きいが、データアクセス速度の遅い(例えばフラッシュメモリや磁気ディスク、あるいは光ディスク等)を用い、バッファメモリ2609には、高速動作が可能な画像メモリ等を用いる。記録時には、A/D変換器2607より出力される信号を、ビデオレートで動作するバッファメモリ2609に一旦記録する。バッファメモリ2609に記録された静止画1枚分の信号は、メインメモリ2610の動作速度に合わせて、メインメモリ2610に転送され、記録される。
【0068】次に、画質の劣化を伴うが、更に少ないメモリ容量で静止画を記録する方法を以下に説明する。
【0069】以下、上記静止画記録方法をFullモードと呼び、以下に記す静止画記録方法をEconomyモードと呼ぶ。
【0070】撮像素子2604は、上述した一般的な画素混合読み出しによって、信号を出力する。撮像素子2604から出力された信号は、Fullモード撮影時と同様にして、メインメモリ2610に図34に示すフォーマットで記録される。ただし、本方法で記録された信号は、図34に示す通りFullモードとは信号のフォーマットが異なり、再生時において上記Fullモードと信号処理の方法が異なる。よって、所定のフォーマットの映像信号を生成する際に、Fullモードで記録された信号か、あるいはEconomyモードで記録された信号かを示す識別信号が必要である。この識別信号は、ホワイトバランスなどの情報と併せて記録される。
【0071】次に、Economyモードで記録された信号を出力する動作を説明する。
【0072】メインメモリ2610に記録された信号は、Fullモードの再生時と同様に、信号処理回路2614に入力され、ホワイトバランスなどの情報をもとにして所定のフォーマットの映像信号を生成する。例えば、3原色信号のR、G、Bを生成するためのマトリクス演算式は、上記した(16)式に示すマトリクス演算式とは別の、以下に示すマトリクス演算を行ない、R、G、Bそれぞれの信号に、図35に示す信号補間を行なえばよい。
【0073】
R=2(Mg+Ye)+(Gr+Ye)−2(Gr+CY)
G=−(Mg+Ye)+2(Gr+Ye)+(Gr+Cy)・・(19)
B=2(Mg+Cy)−2(Gr+Ye)+(Gr+Cy)
この時、撮像素子2604は、画素混合方式によって信号を出力したので、前述のFullモードによる記録方法と比較して、メモリに記録する静止画1枚あたりの信号数が1/2になる。よって、2倍の枚数の静止画を記録することができる。
【0074】上記したFullモード、Economyモードの、2通りの静止画記録方法の選択には、Full/Economy切り換えスイッチ2619を用いる。Full/Economy切り換えスイッチ2619が選択しているモードに応じ、マトリクス演算式の選択、撮像素子2604の駆動方法、及び、メモリ2608の駆動方法等を選択する。また、Full/Economy切り換えスイッチ2619の操作に応じて、表示装置2620は、どちらの記録方式を選択しているかを表示すると共に、現在選択されている記録方式であと何枚分の静止画を記録することができるかを表示する。
【0075】以下、本発明の別の実施例を図を用いて説明する。
【0076】図36は本発明の別の実施例に係る撮像装置の構成図である。同図において3601はレンズ、3602はシャッタ、3603はシャッタ制御回路、3604は撮像素子、3605は駆動回路、3606はアンプ、3607はA/D変換器、3608はメモリ、3609はバッファメモリ、3610はメインメモリ、3611はメモリ制御回路、3612は記録/再生制御回路、3613は選択回路、3614は信号処理回路、3615はカメラ信号処理回路、3616は信号補間回路、3617は信号処理制御回路、3618はシャッタボタン、3619はFull/Economy切り換えスイッチ、3620は表示装置である。本実施例において構成、及び動作は、前述の実施例と共通する部分があり、異なる点について以下に説明する。
【0077】動画を撮影する動作は、前述の実施例と全く同様である。
【0078】次に、静止画を、Fullモードで記録する場合の動作を説明する。
【0079】前述の実施例と同様に撮像素子3604からは、独立読み出しで信号を出力する。撮像素子3604から出力された信号は、A/D変換器3607によりディジタル信号に変換され、バッファメモリ3609に入力される。バッファメモリ3609は、静止画1枚分の信号を記録し、その信号を選択回路3613を介して信号処理回路3614に出力する。信号処理回路3614は、入力された信号に前述の実施例で行なった非線形のデータ圧縮と同様のデータ圧縮を施し(圧縮を施さなくても良い)、その信号をメインメモリ3610に記録する。また、前述の実施例と同様に、ホワイトバランス等の情報も記録する。
【0080】次に、記録された静止画を出力する動作を説明する。
【0081】メインメモリ3610に記録された信号は、前述の実施例と同様に選択回路3613を介して、信号処理回路3614に入力される。信号処理回路3614は、記録時に非線形のデータ圧縮を行っていれば、上述したような逆のデータ圧縮を施し、前述の実施例と同様にホワイトバランス等の情報を読み取って、その情報をもとに所定の映像信号を生成し、以下同様に水平垂直の画素ピッチを等しくするため、信号補間による内挿を行なう。
【0082】次に、メモリ3608に信号を記録する動作を詳しく説明する。
【0083】メモリ3608は、図36に示すように、前述の実施例と同じくバッファメモリ3609と、メインメモリ3610の構成となっている。撮像素子3604から出力された信号は、線形な入出力特性を持ったアンプ3606で増幅され、A/D変換器3607に入力される。本実施例において、前述の実施例で述べた理由からA/D変換器3607は、アンプ3606から出力される信号を、9bitのディジタル信号に変換する。A/D変換器3607でディジタル信号に変換された信号は、前述の実施例と同様にメインメモリ3608内のバッファメモリ3609に出力される。ただし、A/D変換器3607から出力された信号のビット数は、9bitであるので、バッファメモリ3609は、ビット構成が深さ方向9bitのメモリであることが必要である。バッファメモリ3609に記録された静止画1枚分の信号は、メインメモリ3610の動作速度に合わせたデータレートで、選択回路3613を介して信号処理回路3614に出力され、信号処理回路3614は、入力された9bitのディジタル信号を、前述の実施例で行なった非線形な入出力特性によるデータ圧縮と同等な変換によって8bitのディジタル信号に圧縮し、メインメモリ3610に記録する。
【0084】前述の実施例では、アナログ信号で非線形処理によるデータ圧縮を施したが、本実施例で用いた方法は、デイジタル処理によって非線形処理によるデータ圧縮をすることが可能である。よってバラツキの無い理想的なデータ圧縮をすることができる。また、信号補間回路3616は、ビデオレートで動作させる必要がなくなり、動作に時間的な余裕ができるので、簡単な回路構成をとることができる。
【0085】次に、画質の劣化を伴うが、更に少ないメモリ容量で静止画を記録する方法(Economyモード)を以下に説明する。
【0086】撮像素子3604は、上述した一般的な画素混合読み出しによって、信号を出力する。撮像素子3604から出力された信号は、Fullモード撮影時と同様にバッファメモリ3609に一旦記録し、メインメモリ3610の動作速度に合わせて信号処理回路3614に出力される。信号補間回路3616は、図37に示す方法で信号補間を行なう。この場合、入力信号の隣合った信号成分が異なるので、前述の方法による信号補間ができない。図38は、本実施例における信号補間回路3616の具体的な構成例であり、3801は分離回路、3802、3803は遅延回路、3804、3805、3806、3807は乗算器、3808、3809は加算器、3810はマルチプレクサである。Gr+Cy、Mg+Ye・・・あるいはMg+Cy、Gr+Ye・・・の順に入力される信号を、分離回路3801でGr+CyとMg+YeあるいはMg+CyとGr+Yeに分別し、2系統の補間回路で各々の信号を図37のフォーマットに従って補間する。
【0087】信号補間回路3616により、上記動作で補間された信号は、メインメモリ3610に記録される。図39は、メインメモリ3610に記録されるEconomyモード時の信号フォーマットを示したものである。ただし、上記実施例と同様に本方法で記録された信号は、再生時において、上記Fullモードと信号処理の方法が異なる。よって、Fullモードで記録された信号か、あるいはEconomyモードで記録された信号かを示す情報も、ホワイトバランスなどの情報と併せて記録する。
【0088】次に、Economyモードで記録された信号を出力する動作を説明する。
【0089】メインメモリ3610に記録された信号は、Fullモードの再生時と同様に、信号処理回路3614に入力され、所定のフォーマットの映像信号を生成する。
【0090】例えば、3原色信号のR、G、Bを生成するためのマトリクス演算式は、上記した(19)式に示すマトリクス演算を行ない、R、G、Bそれぞれの信号に、図40に示す信号補間を行なえばよい。
【0091】この時、メインメモリ3610に記録される信号は、撮像素子3604から画素混合方式によって信号を出力したので、垂直方向のデータ数が1/2になり、更に信号補間回路3616で水平方向の信号数を1/2としたので、前述のFullモードによる記録方法と比較して、1/4に圧縮されたこととなる。本方法によれば、Fullモード記録時の4倍の枚数の静止画を記録することができる。
【0092】上記したFullモード、Economyモードの選択には、Full/Economy切り換えスイッチ3619を用いる。Full/Economy切り換えスイッチ3619が選択しているモードに応じ、上述した記録方法のどちらか一方を選択する。また、Full/Economy切り換えスイッチ3619の操作に応じて、表示装置3620は、どちらの記録方式を選択しているかを表示すると共に、現在選択されている記録方式で、あと何枚分の静止画を記録することができるかを表示する。
【0093】以下、本発明の別の実施例を図を用いて説明する。
【0094】図41は本発明の別の実施例に係る撮像装置の構成図である。同図において4101はレンズ、4102はシャッタ、4103はシャッタ制御回路、4104は撮像素子、4105は駆動回路、4106はアンプ、4107はA/D変換器、4108はメモリ、4109はメモリ制御回路、4110は記録/再生制御回路、4111はシャッタボタン、4112は再生ボタン、4113は選択回路、4114は信号処理回路、4115はカメラ信号処理回路、4116は信号補間回路、4117は信号処理制御回路、4118はビューファインダ、4119はFull/Economy切り換えスイッチであり、撮像素子4104の具体例を図2に示す。上記図2に示す様な色フィルタが配されたホトダイオード201は一般に画素と呼ばれている。上記構成において、レンズ4101を通して入力された光は、シャッタ制御回路4103により絞り値Fが制御されたシャッタ4102を通して撮像素子4104に入力され、撮像素子4104の表面に配された図2に示すホトダイオード201によって光電変換された信号電荷は、垂直CCD202を経由して水平CCD203に転送され駆動回路4105より供給される水平走査パルスに同期して電圧変換され出力される。
【0095】まず、動画撮影時の動作を説明する。撮像素子4104は、上記公知例に記載されているように、垂直方向に隣接する2つの画素信号を混合して読み出す、いわゆる画素混合方式で信号を読み出す。
【0096】以下、図3を用いて画素混合読み出しの説明をする。
【0097】図3は、画素混合読み出し時における垂直転送パルスと、垂直CCD202における信号電荷の転送のタイミングチャートを示したものである。同図において垂直転送パルス1の3値パルスが高レベルになることでgr、mgの行のホトダイオード4401から、垂直転送パルス3の3値パルスが高レベルになることでcy、yeの行のホトダイオード201からそれぞれ垂直CCD202に信号電荷が転送される。垂直CCD202に転送された信号電荷は、図3に示す通りに垂直CCD202内で混合され、水平CCD203に転送される。撮像素子4104の出力信号は、アンプ4106によって増幅され、A/D変換器4107に入力される。A/D変換器4107に入力された信号は、駆動回路より供給されるタイミングパルスでサンプリングされてディジタル信号に変換される。A/D変換器4107によりディジタル信号に変換された信号は、選択回路4113によって信号処理回路4114に入力される。信号処理回路4114は、ガンマ補正やホワイトバランス補正等の一般的な信号処理を行ない、輝度信号、色(RGB)信号などを生成する。
【0098】次に、静止画を記録する動作を説明する。
【0099】上記構成において、シャッタボタン4111を押すことにより記録/再生制御回路4110からシャッタクローズの制御信号がシャッタ制御回路4103に入力され、シャッタ制御回路4103によってシャッタ4102は、所定の時間後にクローズ状態となる。シャッタ4102がクローズ状態となるまでに撮像素子4104に入力された光は、撮像素子4104に配されたホトダイオード201によって光電変換され、シャッタ4102がクローズ状態の間に垂直CCD202を経由して水平CCD203へ転送し、駆動回路4105より供給される水平走査パルスに同期して電圧変換されて出力される。この時、撮像素子4104は、ホトダイオード201から1度信号を読み出すとホトダイオード201に信号が残らない、いわゆる破壊読み出しであるので、動画の読み出しと同様に画素混合読み出しをすると、フレームの情報が失われてしまう。垂直方向の解像度を劣化させずに静止画を得るために、以下に示す独立読み出しを行なう。
【0100】図4は、独立読み出し時における垂直転送パルスと、垂直CCD202における信号電荷の転送のタイミングチャートを示したものである。同図において垂直転送パルス1、及び垂直転送パルス3の3値パルスが高レベルになる周期は、図4に示す通り1フィールドおきである。よって垂直転送パルス1の3値パルスが高レベルになるフィールドでは、gr、mgの行のホトダイオード201からのみ信号電荷が垂直CCD202に転送され、次の1フィールドでは、垂直転送パルス3の3値パルスが高レベルになることで、cy、yeの行のホトダイオード201からのみ垂直CCD202に信号電荷が転送される。垂直CCDに202転送された信号電荷は、1フィールド期間ですべて水平CCD203に転送されてしまうので、上記した画素混合読み出し方式の様に、隣りあったホトダイオード201の信号電荷が混合されることはなく、1つのホトダイオードに対して1つの信号を得ることができる。以下、水平CCD203に転送された信号電荷は、駆動回路4105より供給される水平走査パルスに同期して撮像素子4104から出力される。
【0101】上記動作によってそれぞれの画素から独立して読み出された信号Gr、Mg、Cy、Yeは、A/D変換器4107でディジタル信号に変換されて、メモリ制御回路4109に制御されたメモリ4108に記録される。一方、上記静止画記録を行なう前の動画撮影時に、信号処理回路4114で行なっていたホワイトバランスなどの情報もメモリ4108に記録する。また、ホワイトバランスなどの情報は、別の記録手段に記録しても良い。
【0102】次に、記録された静止画を出力する動作を説明する。
【0103】メモリ4108に記録された信号は、再生ボタン4112が押されると記録/再生制御回路からの制御信号によって、選択回路4113で選択されて信号処理回路4114に入力される。信号処理回路4114は、ホワイトバランスなどの情報を読み取って、その情報をもとにRGB信号を生成する。一方、ビューファインダ4118は被写体を表示する他に、記録/再生制御回路4110からの制御信号により、メモリ4108に記録可能な静止画の枚数や、Full/Economy切り換えなどの後述する情報を表示する。
【0104】以下に、信号処理回路4114の動作について説明する。
【0105】動画撮影時には、撮像素子4104から上述した画素混合読み出しで信号を読み出し、A/D変換器4107でディジタル信号に変換して、図3に示す信号を信号処理回路4114内のカメラ信号処理回路4115に入力する。この入力信号から輝度信号と色差信号を生成するカメラ信号処理回路4115の具体例を図42に示す。同図において4201はサンプリング回路、4202は輝度マトリクス回路、4203は輝度信号処理回路、4204はRGBマトリクス回路、4205はホワイトバランス回路、4206はYcマトリクス回路4207は色差マトリクス回路である。図43は輝度マトリクス回路4202の回路構成例であり、同図において4301は増幅器、4302はマトリクス回路、4303はYcマトリクス4206から出力される信号からマトリクス回路4302より出力される信号の差を出力する減算器、4304はローパスフィルタ、4305は加算器である。図42においてサンプリング回路4201は、順次に信号が切り替わる図3に示す信号s1、s2、…を図7に示すようにサンプルホールドする。図7(a)および(c)は、Cy+GrあるいはYe+Mgの信号が撮像素子4104から出力される水平期間のタイミングチャートであり、(b)は、Cy+MgあるいはYe+Grが出力される水平期間のタイミングチャートである。図示していないがサンプリング回路4201は、ラインメモリを有し、例えば(b)の水平期間において(a)の水平期間と同じ信号時系列の信号S1、S2を出力し、(c)の水平期間において(b)の水平期間と同じ信号時系列の信号S3、S4を出力する。このサンプルホールドされた信号Gr+Cy、Mg+Ye、Mg+Cy、Gr+Yeは、輝度マトリクス回路4202およびRGBマトリクス回路4204に入力される。輝度マトリクス回路4202に入力された信号は、以下に示すマトリクス演算式により輝度信号yに変換される。
【0106】
y=(Gr+Cy)+(Mg+Ye)
+(Mg+Cy)+(Gr+Ye) ・・・(20)
一方、RGBマトリクス回路4204に入力された信号は、以下に示すマトリクス演算式でr信号、g信号、b信号に変換される。
【0107】
r=−2(Gr+Cy)+2(Mg+Ye)+(Gr+Ye)
g=(Gr+Cy)−(Mg+Ye)+2(Gr+Ye) ・・・(21)
b=(Gr+Cy)+2(Mg+Cy)−2(Gr+Ye)
RGBマトリクス回路4204から出力されるr信号、g信号、b信号は、Ycマトリクス回路4206に入力され以下に示すマトリクス演算式でyc信号に変換される。
【0108】
yc=0.30r+0.59g+0.11b ・・・(22)
上記方法で生成されたyc信号は、輝度マトリクス回路4202に入力され、輝度マトリクス回路4202は、y、yc信号を用いて、以下に示す演算式に従って輝度信号Yを生成する。
【0109】
Y=y+(ycl−yl) ・・・(23)
ここでylはy信号の低域成分、yclはyc信号の低域成分であり、ローパスフィルタ4304で帯域制限する。(23)式は、y信号の高域成分yhを用いてY=yh+ycl ・・・(24)
と表すことができ、輝度信号Yの低域成分をr、g、b信号から生成したことになる。r、g、b信号から輝度信号Yの低域成分を生成することにより、例えば赤色の被写体を撮像した時に輝度が浮き上がるという問題が無くなる。
【0110】上記方法により生成された輝度信号Yは、輝度信号処理回路4203に入力され、ガンマ補正等の公知の輝度信号処理を施される。また、色差マトリクス回路4207に入力された信号は、以下に示すマトリクス演算式により色差信号R−Y、B−Yに変換される。
【0111】
R−Y= 0.7r−0.59g−0.11b B−Y=−0.3r−0.59g+0.89b …(25)
上記マトリクス係数は、信号処理制御回路4117によって設定される。
【0112】次に静止画の信号生成について説明する。
【0113】静止画生成時には、上述したように独立読み出しで各画素の信号を独立して撮像素子4104から読み出し、A/D変換器4107でディジタル信号に変換して、図4に示す信号列をメモリ4108に記録する。メモリ4108からは、図2に示す第1行のホトダイオード201の信号、第2行のホトダイオード201の信号の順に読み出し、信号処理回路4114に入力する。サンプリング回路4201は、図9に示すように、Gr、Mg、Gr、Mg、…あるいはCy、Ye、Cy、Ye、の時系列で入力された信号を動画撮影時と同様にサンプルホールドする。なお、図2に示すように、色フィルタgr、mgの配置は、1行おきにgr、mg、gr、…、の順とmg、gr、mg、…の順を繰り返している。したがって、図9に示すように(a)と(c)では信号処理回路4114に入力されるGrとMgの順序が1画素分ずれる。上記ずれを補正するためのサンプリング回路4201の具体例を図11に示す。同図(a)において241、242はサンプルホールド回路であり、A、Bはそれぞれサンプルホールド回路241、242に供給されるサンプルホールドパルスである。同図(b)に示すように、N行目のホトダイオード201の信号を読み出すラインNの信号処理において、Mg、Gr、…の順序で信号が入力されたとすると、サンプルホールドパルスA、Bを(c)のように供給し、(d)に示す時系列にサンプルホールドする。ここで、サンプルホールド回路241、242はサンプルホ−ルドパルスがハイレベル時に入力信号を通し、ローレベル時には直前のハイレベル時の信号を出力する。
【0114】一方、N+2行目のホトダイオード201の信号を読み出すラインN+2の信号処理においては、Gr、Mg、…の順序で信号が入力されるので、サンプルホ−ルドパルスA、Bを(c)のラインN+2のように供給し、(d)のラインN+2に示す時系列にサンプルホ−ルドする。
【0115】次に、静止画出力時において、R信号を生成する場合の動作を説明する。
【0116】上記方法でサンプルホ−ルドされた信号は、輝度マトリクス回路4202およびRGBマトリクス回路4204に入力される。輝度マトリクス回路4202およびRGBマトリクス回路4204により、y=Gr+Mg+Cy+Yer=Mg−Cy+Ye ・・・(26)
g=Gr−Mg+Cy+Yeb=Mg+Cy+Yeの演算式に従ってy、r、g、b信号が生成される。RGBマトリクス回路4204で生成された信号は、ホワイトバランス回路4205に入力され、前述のホワイトバランス補正を施され、Ycマトリクス回路4206に入力される。Ycマトリクス回路4206は、以下に示すマトリクス演算式によりR信号成分のみの信号yrを生成する。
【0117】
yr=1*r+0*g+0*b ・・・(27)
以上の動作によって得られた信号から、以下に示す演算式によってR信号を得ることができる。
【0118】
R=y+(yrl−yl)・・・(28)
=yh+rlここでyrl、rlはそれぞれyr、r信号の低域成分である。
【0119】次に、静止画出力時において、G信号を生成する場合の動作を説明する。
【0120】上記方法でサンプルホ−ルドされた信号は、輝度マトリクス回路4202およびRGBマトリクス回路4204に入力される。輝度マトリクス回路4202およびRGBマトリクス回路4204により、上記(26)の演算式に従ってy、r、g、b信号が生成される。RGBマトリクス回路4204で生成された信号は、ホワイトバランス回路4205に入力され、前述のホワイトバランス補正を施され、Ycマトリクス回路4206に入力される。Ycマトリクス回路4206は、以下に示すマトリクス演算式によりG信号成分のみの信号ygを生成する。
【0121】
yg=0*r+1*g+0*b ・・・(29)
以上の動作によって得られた信号から、以下に示す演算式によってG信号を得ることができる。
【0122】
G=y+(ygl−yl)・・・(30)
=yh+glここでygl、glはそれぞれyg、g信号の低域成分である。
【0123】次に、静止画出力時において、B信号を生成する場合の動作を説明する。
【0124】上記方法でサンプルホ−ルドされた信号は、輝度マトリクス回路4202およびRGBマトリクス回路4204に入力される。輝度マトリクス回路4202およびRGBマトリクス回路4204により、上記(26)の演算式に従ってy、r、g、b信号が生成される。RGBマトリクス回路4204で生成された信号は、ホワイトバランス回路4205に入力され、前述のホワイトバランス補正を施され、Ycマトリクス回路4206に入力される。Ycマトリクス回路4206は、以下に示すマトリクス演算式によりB信号成分のみの信号ybを生成する。
【0125】
yb=0*r+0*g+1*b ・・・(31)
以上の動作によって得られた信号から、以下に示す演算式によってB信号を得ることができる。
【0126】
B=y+(ybl−yl)・・・(32)
=yh+blここでybl、blはそれぞれyb、b信号の低域成分である。
【0127】上述したように信号処理回路4114は、RGB信号を生成する場合、R信号、G信号、B信号を、それぞれ個別に生成しなければならない。そこで、メモリ4108は、同じ信号を3回出力して1回目はR信号生成、2回目はG信号生成と、面順次でRGB信号を生成する。
【0128】以上はフレーム情報を損なわずに静止画を記録する(Fullモ−ドと呼ぶ)実施例であり、次に、画質の劣化を伴うが、少ないメモリ容量で静止画を記録する(Economyモードと呼ぶ)実施例を以下に説明する。
【0129】撮像素子4104は、上述した一般的な画素混合読み出しによって信号を出力する。撮像素子4104から出力された図3に示す信号は、上述したFullモ−ド撮影時と同様にして、メモリ4108に記録される。ただし、本方法で記録された信号は、Fullモードとは信号のフォーマットが異なる。よって、RGB信号を生成する際に、Fullモードで記録された信号か、あるいはEconomyモ−ドで記録された信号かを示す識別信号が必要である。この識別信号は、ホワイトバランス等の情報と併せて記録する。
【0130】次に、Economyモ−ドで記録された信号を出力する動作を説明する。
【0131】メモリ4108に記録された信号は、FullモードのRGB信号出力と同様に信号処理回路4114に入力され、ホワイトバランスなどの情報をもとにしてRGB信号を生成する。ただし、上述したように信号のフォーマットが、Fullモードとは異なるので、RGBマトリクス回路4204のマトリクス係数を変更する必要がある。この時の信号フォ−マットは、動画時の信号フォーマットと同じなので、上記(20)(21)(25)(26)(27)(28)(29)(30)式に示すマトリクス演算により上述した方法でR信号、G信号、B信号を生成すればよい。信号処理回路4114で生成されたR、G、B信号は、おのおの信号処理回路4114内の信号補間回路4116に入力され、信号補間回路4116において信号補間を行い、水平方向の信号数を1/2にして出力される。
【0132】以下に、信号補間について説明する。
【0133】図14は、信号補間回路4116の具体例である。上述した動画撮影時、およびFullモード撮影時には、信号補間の必要がないので、補間係数入力K1には1を、補間係数入力K2には0をそれぞれ設定し、信号補間を行なわずに出力する。
【0134】上述したEconomyモードの場合は、信号補間を行ない水平方向の信号数を1/2にする。
【0135】この時、撮像素子4104は、画素混合方式によって信号を出力したので、前述のFullモードによる記録方法と比較して、メモリに記録する静止画1枚当たりの信号数が1/2になる。よって、2倍の枚数の静止画を記録することができる。
【0136】上記したFullモード、Economyモードの、2通りの静止画記録方法の選択には、Full/Economy切り換えスイッチ4119を用いる。Full/Economy切り換えスイッチ4119が選択しているモードに応じ、マトリクス演算式の選択、撮像素子4104の駆動方法、及び、メモリ4108の駆動方法等を選択する。また、Full/Economy切り換えスイッチ4119の操作に応じて、ビューファインダ4118は、どちらの記録方式を選択しているかを表示すると共に、現在選択されている記録方式であと何枚分の静止画を記録することができるかを表示する。
【0137】以下、本発明の別の実施例を図を用いて説明する。
【0138】図12は本発明の別の実施例に係る撮像装置の構成図である。
【0139】同図において前述の実施例と異なる点は、メモリ254に信号処理回路251の出力信号を記録するように構成したことである。本実施例において、動画を撮影する動作は、前述の実施例と全く同様であるので、静止画をFullモードで記録する場合の動作を説明する。
【0140】前述の実施例と同様に、撮像素子104からは、独立読み出しで信号を出力する。撮像素子104から出力された信号は、A/D変換器107によりディジタル信号に変換され、メモリ254に入力される。メモリ254は、静止画1枚分の信号を記録し、その信号を選択回路113を介して信号処理回路251内のカメラ信号処理回路252に出力する。カメラ信号処理回路252は、入力された信号を、輝度信号あるいは色差信号生成経路のいずれか1経路を利用してスル−で出力する。例えば、サンプリング回路4201は入力信号をそのままS1に出力し、輝度マトリクス回路4202はS1に1を乗じた信号とS2〜S4に0を乗じた信号を加算し、輝度信号処理回路4203は輝度マトリクス回路4202の出力信号をそのまま出力する。カメラ信号処理回路252から出力された信号は、信号補間回路253に入力されるが、上述したように補間を行なわずに信号を出力する。信号処理回路251から出力された信号は、メモリ254に記録される。
【0141】上記方法によりメモリ254に記録された信号のフォーマットは、前述の実施例におけるFullモードと全く同じものであり、静止画出力時の動作は、前述の実施例と同様である。
【0142】次に、画質の劣化を伴うが、更に少ないメモリ容量で静止画を記録する方法(Economyモード)を以下に説明する。
【0143】撮像素子104は、上述した一般的な画素混合読み出しによって、信号を出力する。撮像素子104から出力された信号は、Fullモード撮影時と同様にメモリ254に一旦記録し、その信号を信号処理回路251に出力する。信号処理回路251に入力された信号は、上述のFullモ−ド撮影時と同様に、入力された信号をそのまま信号補間回路253に出力する。信号補間回路253は、入力された信号に信号補間を行なう。しかしこの場合には、入力信号の隣合った信号成分が異なるので、前述の実施例におけるEconomyモードで行なった方法による信号補間ができない。図38は、本実施例における信号補間回路253の具体的な構成例である。Gr+Cy、Mg+Ye・・・あるいはMg+Cy、Gr+Ye・・・の順に入力される信号を、分離回路3801でGr+CyとMg+YeあるいはMg+CyとGr+Yeに分別し、2系統の補間回路で各々の信号を補間する。信号補間回路253により補間された信号は、メモリ254に記録される。
【0144】上記方法によりメモリ254に記録された信号のフォーマットは、前述の実施例におけるEconomyモード記録時の水平方向のデータ数を1/2としたものである。よって、RGB信号を生成するマトリクス係数は、上述した実施例において、Economyモード時に用いたマトリクス係数を用いることができ、静止画出力時の動作は、前述の実施例のEconomyモードと同様である。
【0145】この時、メモリ254に記録される信号は、撮像素子104から画素混合方式によって信号を出力したので、垂直方向のデ−タ数が1/2になり、更に信号補間回路253で水平方向の信号数を1/2としたので、前述のFullモードによる記録方法と比較して、1/4に圧縮されたこととなる。本方法によれば、Fullモード記録時の4倍の枚数の静止画を記録することができる。
【0146】上記したFullモード、Economyモードの選択には、Full/Economy切り換えスイッチ117を用いる。Full/Economy切り換えスイッチ117が選択しているモードに応じ、上述した記録方法のどちらか一方を選択する。また、Full/Economy切り換えスイッチ117の操作に応じて、ビューファインダ116は、どちらの記録方式を選択しているかを表示すると共に、現在選択されている記録方式で、あと何枚分の静止画を記録することができるかを表示する。
【0147】以下、生成したRGB信号を出力するデータフォーマットについて説明する。
【0148】上述の実施例で示した信号処理回路は、図44(a)に示すように面順次に生成したR信号、G信号、B信号を、データ構成が深さ方向に各々複数ビット(例えば8ビット)のパラレルデータで出力する。上記信号出力を、図44(b)に示すように1bitのシリアルデータで出力することも可能であり、メモリ254に記録された信号を1bitずつ出力し、1bitずつR信号、G信号、B信号を生成することで実現できる。
【0149】
【発明の効果】本発明によれば、照度や色温度などを検出する検出器を必要とせず、一般的な撮像素子を用いて静止画の映像信号を生成できるので、安価な映像入力手段を供給することができる。
【0150】本発明によれば、少ない記憶容量の記録手段と一般的な撮像素子を用いて水平、垂直方向で等しい空間的なサンプリングピッチの映像信号を生成できるので、安価な映像入力手段を供給することができる。
【0151】本発明によれば、メモリ等の記録手段と一般的な撮像素子を用いて静止画のRGB信号を生成できるので、安価な映像入力手段を供給することができる。
【図面の簡単な説明】
【図1】本発明の一実施例を示すブロック図である。
【図2】撮像素子の構成図である。
【図3】撮像素子の駆動パルスとその出力である。
【図4】撮像素子の駆動パルスとその出力である。
【図5】信号処理回路の構成図である。
【図6】マトリクス回路の具体例である。
【図7】動画撮像時の信号処理の具体例である。
【図8】動画撮像時の信号処理の具体例である。
【図9】静止画撮像時の信号処理の具体例である。
【図10】静止画撮像時の信号処理の具体例である。
【図11】サンプリング回路の具体例である。
【図12】本発明の別の実施例を示すブロック図である。
【図13】図12に示す実施例の説明図である。
【図14】図26に示す実施例の説明図である。
【図15】シャッタ制御回路の構成図である。
【図16】シャッタの絞り値に対する露光量を表わすグラフである。
【図17】シャッタの絞り値に対する露光量を表わすグラフである。
【図18】シャッタの絞り値に対する露光量を表わすグラフである。
【図19】シャッタの絞り値に対する露光量を表わすグラフである。
【図20】シャッタの絞り値に対する露光量を表わすグラフである。
【図21】シャッタの絞り値に対する露光量を表わすグラフである。
【図22】ホワイトバランス回路の構成図である。
【図23】信号出力の具体例である。
【図24】信号出力の具体例である。
【図25】信号出力の具体例である。
【図26】本発明の実施例を示すブロック図である。
【図27】本発明の実施例に係る撮像素子の構成図である
【図28】本発明の実施例に係る信号の空間分布図である。
【図29】本発明の実施例に係る撮像素子の出力信号のタイミングチャートである。
【図30】本発明の実施例に係る信号の空間分布図である。
【図31】本発明の実施例に係る独立読み出し時の信号フォーマット図である。
【図32】本発明の実施例に係る非線形入出力特性を示した図である。
【図33】本発明の実施例に係る非線形入出力特性を示した図である。
【図34】本発明の実施例に係る画素混合読み出し時の信号フォーマット図である。
【図35】本発明の実施例に係る信号の空間分布図である。
【図36】本発明の実施例に係る撮像装置の構成を示すブロック図である。
【図37】本発明の実施例に係る信号の空間分布図である。
【図38】本発明の実施例に係る信号補間回路の構成を示すブロック図である。
【図39】本発明の実施例に係る画素混合読み出し時の信号フォーマット図である。
【図40】本発明の実施例に係る信号の空間分布図である。
【図41】本発明の実施例を示すブロック図である。
【図42】本発明の実施例に係るカメラ信号処理回路の構成を示すブロック図である。
【図43】本発明の実施例に係る輝度マトリクス回路の構成を示すブロック図である。
【図44】本発明の実施例に係る信号出力方法を示した図である。
【符号の説明】
101…レンズ、
102…シャッタ、
103…シャッタ制御回路、
104…撮像素子、
105…駆動回路、
106…アンプ、
107…A/D変換器、
108…メモリ、
109…メモリ制御回路、
110…記録/再生制御回路、
111…シャッタボタン、
112…再生ボタン、
113…選択回路、
114…信号処理回路、
115…信号処理制御回路、
116…ビューファインダ、
117…Full/Economy切り換えスイッチ、
201…ホトダイオード、
202…垂直CCD、
203…水平CCD、
211…サンプリング回路、
212…輝度マトリクス回路、
213…輝度信号処理回路、
214…RGBマトリクス、
215…ホワイトバランス回路、
216…色差マトリクス、
221…乗算器、
222…乗算器、
223…乗算器、
224…乗算器、
225…加算器、
226…マトリクス変換後出力、
241…サンプルホールド回路、
242…サンプルホールド回路、
251…信号処理回路、
252…カメラ信号処理回路、
253…信号補間回路、
401…遅延回路、
402…乗算器、
403…乗算器、
404…加算器、
300…検波回路、
301…演算回路、
302…シャッタ駆動回路、
303…R−アンプ、
304…B−アンプ、
305…利得制御回路、
306…R−Y検波回路、
307…B−Y検波回路、
308…順次化回路、
2601…レンズ、
2602…シャッタ、
2603…シャッタ制御回路、
2604…撮像素子、
2605…駆動回路、
2606…アンプ、
2607…A/D変換器、
2608…メモリ、
2609…バッファメモリ、
2610…メインメモリ、
2611…メモリ制御回路、
2612…記録/再生制御回路、
2613…選択回路、
2614…信号処理回路、
2615…カメラ信号処理回路、
2616…信号補間回路、
2617…信号処理制御回路、
2618…シャッタボタン、
2619…Full/Economy切り換えボタン、
2620…表示装置、
2701…ホトダイオード、
2702…垂直CCD、
2703…水平CCD、
3601…レンズ、
3602…シャッタ、
3603…シャッタ制御回路、
3604…撮像素子、
3605…駆動回路、
3606…アンプ、
3607…A/D変換器、
3608…メモリ、
3609…バッファメモリ、
3610…メインメモリ、
3611…メモリ制御回路、
3612…記録/再生制御回路、
3613…選択回路、
3614…信号処理回路、
3615…カメラ信号処理回路、
3616…信号補間回路、
3617…信号処理制御回路、
3618…シャッタボタン、
3619…Full/Economy切り換えボタン、
3620…表示装置、
3801…分離回路、
3802…遅延回路、
3803…遅延回路、
3804…乗算器、
3805…乗算器、
3806…乗算器、
3807…乗算器、
3808…加算器、
3809…加算器、
3810…マルチプレクサ、
4101…レンズ、
4102…シャッタ、
4103…シャッタ制御回路、
4104…撮像素子、
4105…駆動回路、
4106…アンプ、
4107…A/D変換器、
4108…メモリ、
4109…メモリ制御回路、
4110…記録/再生制御回路、
4111…シャッタボタン、
4112…再生ボタン、
4113…選択回路、
4114…信号処理回路、
4115…カメラ信号処理回路、
4116…信号補間回路、
4117…信号処理制御回路、
4118…ビューファインダ、
4119…Full/Economy切り換えスイッチ、
4201…サンプリング回路、
4202…輝度マトリクス回路、
4203…輝度信号処理回路、
4204…RGBマトリクス回路、
4205…ホワイトバランス回路、
4206…Ycマトリクス回路、
4207…色差マトリクス回路、
4301…増幅器、
4302…マトリクス回路、
4303…減算器、
4304…ローパスフィルタ、
4305…加算器。
【0001】
【産業上の利用分野】本発明はディジタルカメラに係り、特にコンピュータなどの映像入力手段に好適な静止画の記録再生方法に関する。
【0002】
【従来の技術】ビデオカメラは、信号処理のディジタル化に伴ない、多種多様な機能が開発されている一方で、ディジタルの映像信号を容易に出力できることから、コンピュータなどの映像入力手段として注目されつつある。映像入力手段としてのディジタルカメラに民生用のカメラ一体型VTRのカメラ部で用いられている部品をできるだけ多く用いることにより、低価格の映像入力手段を供給することができるが、現在はラインスキャナーなどの特殊な映像入力手段が供給されているに留まっている。
【0003】低価格の映像入力手段を供給するための重要な課題として、以下の5つの項目がある。
【0004】(1)自動制御系を静止画にも対応できるようにする…一般的なビデオカメラでは映像信号を用いて露光制御やホワイトバランス制御を行なっている。すなわち、照度や色温度などを検出する検出器を別個には有しておらず、映像信号から検出してそれぞれの制御部にフィードバックしている。しかしながら、静止画の映像信号から検出しても、検出した静止画にフィードバックできない。
【0005】(2)一般的な撮像素子を用いてフレームの静止画を生成できるようにする…一般的な撮像素子は、画素の信号を一度しか読み出せない破壊読み出しであり、しかも垂直方向に隣接する2つの画素の信号を混合して読みだす画素混合方式である。上記読み出し方式のままで信号処理を行なうと、画素数に見合った解像度の静止画は生成できない。
【0006】(3)汎用の撮像素子を使用できるようにする…映像信号をコンピュータに取り込んだあとに、グラフィック上で画像に回転などの操作を加えることがあり、この時に画像に歪みが生じないようにする必要がある。そのためには撮像被写体を、水平、垂直方向で等しい空間的なサンプリングピッチで光電変換すれば良い。すなわち、水平、垂直方向に等しい距離で配された画素を有する撮像素子を用いれば良い。しかしながら、民生用のカメラ一体型VTRのカメラ部で一般的に用いられている撮像素子は、画素が水平、垂直方向に異なったピッチで配されている。
【0007】(4)静止画を記録する記録手段の容量をできるだけ小さくする…コンピュータに取り込む一般的な映像信号であるRGB信号で静止画を記録すると、R、G、Bそれぞれにアドレスが必要であり、記録容量が大きくなってしまう。
【0008】(5)画像出力は、ディジタルRGB信号で出力する…コンピュータに取り込む一般的な映像信号フォーマットは、ディジタルRGB信号である。しかしながら、一般的な民生用のカメラ一体型VTRから出力される信号は、コンポジットまたは、Y/C信号のアナログ信号フォーマットであり、ディジタルRGB信号を得るためには、上記アナログ信号をディジタルRGB信号に変換する信号変換回路を新たに設けなければならない。
【0009】
【課題を解決するための手段】上記(1)の問題点を解決する手段として、動画撮像時の検出結果を記憶しておき、その検出結果を基に静止画を生成する。
【0010】また、上記(2)の問題点を解決する手段として、静止画撮像時には撮像素子の駆動方法を変えて画素の信号を混合せずに読み出し、信号処理回路に静止画の映像信号が入力されたときに信号処理の内容を静止画用に切り替える。
【0011】また、上記(3)の問題点を解決する手段として、補間演算を行なう信号補間回路を設け、画素が水平、垂直方向に異なったピッチで配されている一般的な撮像素子を有する撮像手段から出力される映像信号に補間演算を施し、水平、垂直方向で等しい空間的なサンプリングピッチの映像信号を生成する。
【0012】また、上記(4)の問題点を解決する手段として、記録手段に記録する時には撮像手段から出力される映像信号に輝度信号処理や色信号処理などの処理を施さずに記録する。一般的な撮像素子を有する撮像手段からは、いわゆる補色の映像信号が出力されるので、記録手段から出力された映像信号に輝度信号処理や色信号処理などの処理を施す。
【0013】また、上記(5)の問題点を解決する手段として、上記撮像手段または上記信号処理回路から出力される信号を上記記録手段に記録し、上記記録手段は記録した映像信号を複数回出力し、上記信号処理回路は上記記録手段から出力される信号に応じてマトリクス係数をR信号用、G信号用、B信号用に変更し、面順次にRGB信号を生成する。
【0014】
【実施例】以下、本発明を図を用いて説明する。
【0015】図1は本発明の第1の実施例に係る撮像装置の構成図である。同図において101はレンズ、102はシャッタ、103はシャッタ制御回路、104は撮像素子、105は駆動回路、106はアンプ、107はA/D変換器、108はメモリ、109はメモリ制御回路、110は記録/再生制御回路、111はシャッタボタン、112は再生ボタン、113は選択回路、114は信号処理回路、115は信号処理制御回路、116はビューファインダ、117はFull/Economy切り換えスイッチであり、撮像素子104の具体例を図2に示す。図2において201はホトダイオード、202は垂直CCD、203は水平CCDであり、gr、mg、cy、yeは、ホトダイオード201の各々に配された色フィルタで、grはグリーン、mgはマゼンタ、cyはシアン、yeはイエローの色フィルタであることを示す。上記のような色フィルタが配されたホトダイオードは一般に画素と呼ばれている。上記構成において、レンズ101を通して入力された光は、シャッタ制御回路103により絞り値Fが制御されたシャッタ102を通して撮像素子104に入力され、撮像素子104の表面に配された図2に示すホトダイオード201によって光電変換された信号電荷は、垂直CCD202を経由して水平CCD203に転送され駆動回路105より供給される水平走査パルスに同期して電圧変換され出力される。
【0016】まず、動画撮影時の動作を説明する。撮像素子104は、特開昭63−114487号公報「固体カラーカメラ」に記載されているように、垂直方向に隣接する2つの画素信号を混合して読み出す、いわゆる画素混合方式で信号を読み出す。以下、図3を用いて画素混合読み出しの説明をする。
【0017】図3は、画素混合読み出し時における垂直転送パルスと、垂直CCD202における信号電荷の転送のタイミングチャートを示したものである。同図において垂直転送パルス1の3値パルスが高レベルになることでgr、mgの行のホトダイオード201から、垂直転送パルス3の3値パルスが高レベルになることでcy、yeの行のホトダイオード201からそれぞれ垂直CCD202に信号電荷が転送される。垂直CCD202に転送された信号電荷は、図3に示す通りに垂直CCD202内で混合され、水平CCD203に転送される。
【0018】撮像素子104の出力信号は、アンプ106によって増幅され、A/D変換器107に入力される。A/D変換器107に入力された信号は、駆動回路より供給されるタイミングパルスでサンプリングされてディジタル信号に変換される。A/D変換器107によりディジタル信号に変換された信号は、選択回路113によって信号処理回路114内に入力される。信号処理回路114は、ガンマ補正やホワイトバランス補正等の一般的な信号処理を行ない、輝度信号、色(RGB)信号などを生成する。
【0019】次に、静止画を記録する動作を説明する。
【0020】上記構成において、シャッタボタン111を押すことにより記録/再生制御回路112からシャッタクローズの制御信号がシャッタ制御回路103に入力され、シャッタ制御回路103によってシャッタ102は、所定の時間後にクローズ状態となる。シャッタ102がクローズ状態となるまでに撮像素子104に入力された光は、撮像素子104に配されたホトダイオード201によって光電変換され、シャッタ102がクローズ状態の間に垂直CCD202を経由して水平CCD203へ転送し、駆動回路105より供給される水平走査パルスに同期して電圧変換されて出力される。この時、撮像素子104は、ホトダイオード201から1度信号を読み出すと、ホトダイオード201に信号が残らない、いわゆる破壊読み出しであるので、動画の読み出しと同様に画素混合読み出しをすると、フレームの情報が失われてしまう。垂直方向の解像度を劣化させずに静止画を得るために、以下に示す独立読み出しを行なう。
【0021】図4は、独立読み出し時における垂直転送パルスと、垂直CCD202における信号電荷の転送のタイミングチャートを示したものである。同図において垂直転送パルス1、及び垂直転送パルス3の3値パルスが高レベルになる周期は、図4に示す通り1フィールドおきである。よって垂直転送パルス1の3値パルスが高レベルになるフィールドでは、gr、mgの行のホトダイオード201からのみ信号電荷が垂直CCD202に転送され、次の1フィールドでは、垂直転送パルス3の3値パルスが高レベルになることで、cy、mgの行のホトダイオード201からのみ垂直CCD202に信号電荷が転送される。垂直CCDに202転送された信号電荷は、1フィールド期間ですべて水平CCD203に転送されてしまうので、上記した画素混合読み出し方式の様に、隣りあったホトダイオード201の信号電荷が混合されることはなく、1つのホトダイオードに対して1つの信号を得ることができる。以下、水平CCD203に転送された信号電荷は、駆動回路105より供給される水平走査パルスに同期して撮像素子104から出力される。
【0022】上記動作によってそれぞれの画素から独立して読み出された信号Gr、Mg、Cy、Yeは、A/D変換器107でディジタル信号に変換されて、メモリ制御回路109に制御されたメモリ108に記録される。一方、上記静止画記録を行なう前の動画撮影時に、信号処理回路114で行なっていたホワイトバランスなどの情報もメモリ108に記録する。ホワイトバランスなどの情報は、別の記録手段に記録しても良い。
【0023】次に、記録された静止画を出力する動作を説明する。
【0024】再生ボタン112が押されると記録/再生制御回路からの制御信号に基ずいて、メモリ108に記録された信号は、選択回路113で選択されて信号処理回路114に入力される。信号処理回路114は、ホワイトバランスなどの情報を読み取って、その情報をもとに所定の映像信号を生成する。一方、ビューファインダ116は被写体を表示する他に、記録/再生制御回路110からの制御信号によりメモリ108に記録可能な静止画の枚数や、Full/Economy切り換え、スタンバイ状態などの後述する情報を表示する。
【0025】以下に、信号処理回路114の動作について説明する。
【0026】動画撮影時には、上述したように画素混合読み出しで画素の信号を撮像素子104から読み出し、A/D変換器107でディジタル信号に変換して、図3に示す信号を信号処理回路114に入力する。この入力信号から輝度信号と色差信号を生成する信号処理回路114の具体例を図5に示す。図5において211は入力信号ををサンプリングし出力信号S1,S2,S3,S4を生成するサンプリング回路、212は信号処理制御回路115により設定された輝度用のマトリクスを用いて輝度信号を生成する輝度マトリクス回路、213は輝度マトリクス回路212が生成した輝度信号に公知のガンマ補正などのディジタル信号処理を施す輝度信号処理回路、214は信号処理制御回路115により設定されたRGB用のマトリクスを用いてRGB信号を生成するRGBマトリクス回路、215はホワイトバランス回路、216は信号処理制御回路115により設定された色差信号用のマトリクスを用いて色差信号を生成する色差マトリクス回路である。図6は輝度およびRGBマトリクス回路212、214の回路構成例であり、221、222、223、224は入力信号とマトリクス係数をかけあわせる乗算器、225は乗算器221、222、223、224の出力をたしあわせる加算器である。
【0027】図5においてサンプリング回路211は、順次に信号が切り替わる図3に示す信号s1、s2、…を図7に示すようにサンプルホールドする。図7(a)および(c)はCy+GrあるいはYe+Mgの信号が撮像素子104から出力される水平期間のタイミングチャートであり、(b)はCy+MgあるいはYe+Grが出力される水平期間のタイミングチャートである。図示していないがサンプリング回路211はラインメモリを有し、例えば(b)の水平期間において(a)の水平期間と同じ信号時系列の信号S1、S2を出力し、(c)の水平期間において(b)の水平期間と同じ信号時系列の信号S3、S4を出力する。このサンプルホールドされた信号Gr+Cy、Mg+Ye、Mg+Cy、Gr+Yeは、輝度マトリクス回路212およびRGBマトリクス回路214で、図8に示すマトリクス係数M1、M2が乗じられて輝度信号YおよびRGB信号G、R、Bに変換される。図8に示すマトリクス係数M1、M2の具体例を以下に示す。
【0028】
M11=M12=M13=M14=1 M21=−2、M22=2、M23=0、M24=1 M31=1、M32=−1、M33=0、M34=2 … (1)
M41=1、M42=0、M43=2、M44=−2色差信号R−Y、B−Yも図6に示す回路構成で同様に生成でき、図8に示すマトリクス係数M3としては以下に示す具体例を用いれば良い。
【0029】
M51=0.7、M52=−0.59、M53=−0.11 M61=−0.3、M62=−0.59、M63=0.89 … (2)
上記マトリクス係数M1、M2、M3は信号処理制御回路115によって設定される。
【0030】次に静止画の信号生成ついて説明する。
【0031】静止画生成時時には、上述したように独立読み出しで各画素の信号を独立して撮像素子104から読み出し、A/D変換器107でディジタル信号に変換して、図4に示す信号列をメモリ108に記録する。メモリ108からは、図2に示す第1行のホトダイオード201の信号、第2行のホトダイオード201の信号、…の順に読み出し、信号処理回路114に入力する。サンプリング回路211は、図9に示すように、Gr、Mg、Gr、Mg、…あるいはCy、Ye、Cy、Ye、の時系列で入力された信号を動画撮影時と同様にサンプルホールドし、信号処理制御回路115によってマトリクス係数M1、M2、M3の内のM2を下記マトリクス値M4に設定し直して、図10に示す静止画撮影時の輝度信号Y、色信号R、G、Bおよび色差信号R−Y、B−Yを生成する。
【0032】
M71=0、M72=1、M73=−1、M74=1 M81=1、M82=−1、M83=1、M84=1 … (3)
M91=0、M92=1、M93=1、M94=−1なお、図2に示すように、色フィルタgr、mgの配置は1行おきにgr、mg、gr、…、の順とmg、gr、mg、…、の順を繰り返している。したがって、図9に示すように(a)と(c)では信号処理回路114に入力されるGrとMgの順序が1画素分ずれる。上記ずれを補正するためのサンプリング回路211の具体例を図11に示す。同図(a)において241、242はサンプルホールド回路であり、A、Bはそれぞれサンプルホールド回路241、242のサンプルホールドパルスである。同図(b)に示すようにN行目のホトダイオード201の信号を読み出すラインNの信号処理においてMg、Gr、…の順序で信号が入力されたとすると、サンプルホールドパルスA、Bを(c)のように供給し、(d)に示す時系列にサンプルホールドする。ここで、サンプルホールド回路241、242はサンプルホールドパルスがハイレベル時に入力信号を通し、ローレベル時には直前のハイレベル時の信号を出力する。一方、N+2行目のホトダイオード201の信号を読み出すラインN+2の信号処理においてはGr、Mg、…の順序で信号が入力されるので、サンプルホールドパルスA、Bを(c)のラインN+2のように供給し、(d)のラインN+2に示す時系列にサンプルホールドする。
【0033】次に本発明の別の実施例を図12に示す。同図において251は信号処理回路、252はカメラ信号処理回路、253は信号補間回路、254はメモリ、255は信号処理制御回路であり、図1の実施例と共通するものには同じ番号を付けている。図1の実施例と異なる点は、メモリ254に信号処理回路251の出力信号を記録するように構成したことである。動画撮像時の動作は図1の実施例と同じであるので、静止画撮像時の動作を以下に説明する。
【0034】独立読み出しで撮像素子104から出力された信号は、図5に示す信号処理回路を有するカメラ信号処理回路252に入力され、輝度信号あるいは色差信号生成経路のいずれか1経路を利用してスルーで出力される。例えば、サンプリング回路211は入力信号をそのままS1に出力し、輝度マトリクス回路212はS1に1を乗じた信号とS2〜S4に0を乗じた信号を加算し、輝度信号処理回路213は輝度マトリクス回路212の出力信号をそのまま出力する。信号補間回路253は信号処理制御回路255からの制御信号にもとずいて図13に示す信号時系列変換を行ない、この信号時系列変換後の信号をメモリ254に記録する。ここで、図13は撮像素子104から出力された信号の空間分布を表わしている。
【0035】撮像素子104から出力された信号をメモリ254に記録し終えた後、メモリ254に記録された信号はカメラ信号処理回路252に入力され、信号処理制御回路255からの制御信号にもとずいた図1の実施例と同様の信号処理によって輝度信号Yと色差信号R−Y、B−Yが生成される。信号補間回路253は信号処理制御回路255からの制御信号にもとずいてこの輝度信号Yと色差信号R−Y、B−Yをそのまま出力する。
【0036】信号補間回路253で図13に示す信号補間を行なえば、図11に示すサンプリングによる信号時系列変換を行なう必要がない。すなわち、図11(b)ラインNに示す時系列で信号Mg、Grが入力した場合には、信号補間回路253は図13(a)に示すようにそのまま補間後の信号Mg’、Gr’として出力し、図11(b)ラインN+2に示す時系列で信号Gr、Mgが入力した場合には、信号補間回路253は図13(b)に示すように2つの入力Gr信号から補間後の信号Gr’を入力Mg信号の位置に、2つの入力Mg信号から補間後の信号Mg’を入力Gr信号の位置にそれぞれ補間生成して出力する。上記信号補間を行なう信号補間回路253の具体例を図14に示す。図14において401は遅延回路、402、403は乗算器、404は加算器、K1、K2は信号処理制御回路255から供給される係数である。遅延回路401は入力信号を2画素分遅延させ、図13(a)に示す補間時には係数K1を0に、K2を1にそれぞれ設定し、図13(b)に示す補間時には係数K1、K2をそれぞれ0.5に設定する。
【0037】以上はフレーム情報を損なわずに静止画を記録する(Fullモードと呼ぶ)実施例であり、次に、画質の劣化を伴うが、少ないメモリ容量で静止画を記録する(Economyモードと呼ぶ)実施例を以下に説明する。
【0038】撮像素子104は、静止画撮像時にも上述した一般的な画素混合読み出しによって、信号を出力する。撮像素子104から出力された信号は、図1の実施例においてはメモリ制御回路109によって2個に1個の割合で水平方向に間引きしてメモリ108に記録し、メモリ108から読み出した信号に動画撮像時と同様のマトリクス処理を施して輝度信号と色差信号を生成する。また、図12の実施例においては信号補間回路253で、2個に1個の割合で水平方向に信号補間を行なって信号数を半減し、メモリ254に記録する。以上の動作により、Fullモードに比べて垂直・水平方向の信号数をそれぞれ半分にできるので、メモリ108、254に4倍の枚数の静止画を記録することができる。上記FullモードとEconomyモードはFull/Economy切り換えスイッチ119で切り換え、いずれのモードにあるかによって、メモリ108、254にあと何枚の静止画を記録することができるかをビューファインダ118に表示する。また、いずれのモードにあるかをビューファインダ118に表示する。
【0039】以下、本発明の別の実施例を図を用いて説明する。
【0040】図26は本発明の別の実施例に係る撮像装置の構成図である。同図において2601はレンズ、2602はシャッタ、2603はシャッタ制御回路、2604は撮像素子、2605は駆動回路、2606はアンプ、2607はA/D変換器、2608はメモリ、2609はバッファメモリ、2610はメインメモリ、2611はメモリ制御回路、2612は記録/再生制御回路、2613は選択回路、2614は信号処理回路、2615はカメラ信号処理回路、2616は信号補間回路、2617は信号処理制御回路、2618はシャッタボタン、2619はFull/Economy切り換えスイッチ、2620は表示装置であり、撮像素子2604の具体例を図27に示す。図27において2701はホトダイオード、2702は垂直CCD、2703は水平CCDであり、gr、mg、cy、yeは、ホトダイオード2701の各々に配された色フィルタで、grはグリーン、mgはマゼンタ、cyはシアン、yeはイエローの色フィルタであることを示す。 上記構成において、レンズ2601を通して入力された光は、シャッタ制御回路2603により絞り値Fが制御されたシャッタ2602を通して撮像素子2604に入力され、撮像素子2604の表面に配された図27に示すホトダイオード2701によって光電変換された信号電荷は、垂直CCD2702を経由して水平CCD2703に転送され駆動回路2605より供給される水平走査パルスに同期して電圧変換され出力される。
【0041】まず、動画撮影時の動作を説明する。撮像素子2604は、上記公知例に記載されているように、垂直方向に隣接する2つの画素信号を混合して読み出す、いわゆる画素混合方式で信号を読み出す。
【0042】以下、図3を用いて画素混合読み出しの説明をする。
【0043】図3は、画素混合読み出し時における垂直転送パルスと、垂直CCD2702における信号電荷の転送のタイミングチャートを示したものである。同図において垂直転送パルス1の3値パルスが高レベルになることでgr、mgの行のホトダイオード2701から、垂直転送パルス3の3値パルスが高レベルになることでcy、yeの行のホトダイオード2701からそれぞれ垂直CCD2702に信号電荷が転送される。垂直CCD2702に転送された信号電荷は、図3に示す通りに垂直CCD2702内で混合され、水平CCD2703に転送される。
【0044】撮像素子2604の出力信号は、アンプ2606によって増幅され、A/D変換器2607に入力される。A/D変換器2607に入力された信号は、駆動回路2605より供給されるタイミングパルスでサンプリングされてディジタル信号に変換される。A/D変換器2607によりディジタル信号に変換された信号は、選択回路2613によって信号処理回路2614内に入力される。信号処理回路2614は、ガンマ補正やホワイトバランス補正等の一般的な信号処理を行ない、輝度信号、色(RGB)信号などを生成する。
【0045】次に、静止画を記録する動作を説明する。
【0046】上記構成において、シャッタボタン2618を押すことにより記録/再生制御回路2612からシャッタクローズの制御信号がシャッタ制御回路2603に入力され、シャッタ制御回路2603によってシャッタ2602は、所定の時間後にクローズ状態となる。シャッタ2602がクローズ状態となるまでに撮像素子2604に入力された光は、撮像素子2604に配されたホトダイオード2701によって光電変換され、シャッタ2602がクローズ状態の間に垂直CCD2702を経由して水平CCD2703へ転送し、駆動回路2605より供給される水平走査パルスに同期して電圧変換されて出力される。この時、撮像素子2604は、ホトダイオード2701から1度信号を読み出すと、ホトダイオード2701に信号が残らない、いわゆる破壊読み出しであるので、動画の読み出しと同様に画素混合読み出しをすると、フレームの情報が失われてしまう。垂直方向の解像度を劣化させずに静止画を得るために、以下に示す独立読み出しを行なう。
【0047】図4は、独立読み出し時における垂直転送パルスと、垂直CCD2702における信号電荷の転送のタイミングチャートを示したものである。同図において垂直転送パルス1、及び垂直転送パルス3の3値パルスが高レベルになる周期は、図4に示す通り1フィールドおきである。よって垂直転送パルス1の3値パルスが高レベルになるフィールドでは、gr、mgの行のホトダイオード2701からのみ信号電荷が垂直CCD2702に転送され、次の1フィールドでは、垂直転送パルス3の3値パルスが高レベルになることで、cy、yeの行のホトダイオード2701からのみ垂直CCD2702に信号電荷が転送される。垂直CCDに2702転送された信号電荷は、1フィールド期間ですべて水平CCD2703に転送されてしまうので、上記した画素混合読み出し方式の様に、隣あったホトダイオード2701の信号電荷が混合されることはなく、1つのホトダイオードに対して1つの信号を得ることができる。以下、水平CCD2703に転送された信号電荷は、駆動回路2605より供給される水平走査パルスに同期して撮像素子2604から出力される。
【0048】上記動作によってそれぞれの画素から独立して読み出された信号Gr、Mg、Cy、Yeは、A/D変換器2607でディジタル信号に変換されて、メモリ制御装置2611に制御されたメモリ2608に記録される。一方、上記静止画記録を行なう前の動画撮影時に、信号処理回路2614で行なっていたホワイトバランスなどの情報もメモリ2608に記録する。ホワイトバランスなどの情報は、別の記録手段に記録しても良い。
【0049】次に、記録された静止画を出力する動作を説明する。
【0050】メモリ2608に記録された信号は、選択回路2613で選択されて信号処理回路2614に入力される。信号処理回路2614は、ホワイトバランスなどの情報を読み取って、その情報をもとに所定の映像信号を生成する。ところで、撮像素子2604の有するホトダイオード2701は、一般的に水平垂直で異なった間隔で配されている。すなわち、ホトダイオード2701は画素とも呼ばれており、図27に示す画素ピッチPx、Pyが等しくない。したがって、光学像が空間的に等間隔でサンプリングされないことになり、上述したように画像入力手段としては好ましくない。そこで、水平及び垂直の画素ピッチを等しくするために信号補間回路2616で内挿補間する。図14、図28、図29、及び図30を用いて、以下に空間的なサンプリングピッチを等しくする内挿補間について説明する。
【0051】図14は、信号補間回路2616の具体例である。
【0052】図28において〇で示しているS1,1 、S1,2 、S1,3 、S2,1 、S2,2 、S2,3 は、信号補間回路2616に入力される信号(補間前の信号)の空間分布を示し、△で示しているS1,1 ’、S1,2 ’、S1,3 ’、S2,1 ’、S2,2 ’、S2,3 ’は、加算器404の出力(補間後の信号)の空間分布を示している。補間前の信号は、Pxを水平画素ピッチ、Pyを垂直画素ピッチとすると、水平垂直方向にそれぞれPx、Pyの整数倍だけ離れていることになり、ここでは簡単のためにPx、Pyだけ離れているとする。S1,1 の位置にS1,1 ’で表わす補間後の信号を生成したとすると、△で示した補間後の信号S1,2 ’、S1,3 ’はS1,1 ’から、水平方向にPy、2Pyだけ離れたところに生成すれば良いから、次式の様に内挿の補間演算で求められる。
【0053】
S1,2 ’=S1,1 *(Px−Py)/Px+S1,2 *Py/Px・・・・(7)
S1,3 ’=S1,2 *(2Px−2Py)/Px +S1,3 *(2Py−Px)/Px・・・・(8)
換言すれば、垂直画素数をM個、水平画素数をN個とし、水平方向に下記N’個の水平方向のデータを内挿補間で生成すれば良い。
【0054】N’=N*Px/Py ・・・(9)
しかし、上記方法により補間して得た映像信号は、水平方向に間延びしてしまう。そこで、撮像素子2604には、その水平画素数から導出される周波数の水平走査パルスよりも、高速な水平走査パルスを供給する。以下に、具体的な方法を図29を用いて説明する。
【0055】撮像素子2604に、水平方向の画素ピッチPxが9.6μm、垂直方向の画素ピッチPyが7.5μm、水平画素数510画素、垂直画素数485画素の一般的なNTSC方式の撮像素子を用いた場合、水平画素数から導出される水平走査パルスの周波数は、下記610fH (fH :水平周波数)である。
【0056】
510*63.56/(63.56−10.5)=610.9 ≒611・・・(10)
一方、上記(9)式より、補間によって生成する水平方向の信号数は、下記653個である。
【0057】
510*9.6/7.5=652.8≒653 ・・・(11)
従って、611fH の周波数の水平走査パルスを用いると、1水平期間内に内挿補間が終了しなくなってしまう。上記問題を解決するためには、用いる水平走査パルスの周波数を、下記782fH とすれば良い。
【0058】
653*63.56/(63.56−10.5)=782.2 ≒782・・・(12)
図29において、出力信号1は、611fH の水平走査パルスを用いて、上記撮像素子から信号を出力した場合のタイミングチャートであり、出力信号2は、782fH の水平走査パルスを用いて上記撮像素子から信号を出力した場合のタイミングチャートである。本実施例においては、782fH の水平走査パルスを用いて、水平方向に510/653(あるいは7.5/9.6)の割合で縮小された出力信号2を得る。出力信号2は、上記信号補間により水平方向に653/510(あるいは9.6/7.5)倍されるので、得られる映像信号のアスペクト比は変わらない。
【0059】上記内挿補間方法は、水平方向について示したものであり、以下に垂直方向の内挿補間について、以下に説明する。
【0060】図30において〇で示しているS1,1 、S1,2 、S2,1 、S2,2 、S3,1 、S3,2 、S4,1 、S4,2 は、信号補間回路2616に入力される信号(補間前の信号)の空間分布を示している。上述の内挿補間と同様に、S1,1 の位置にS1,1’で表わす補間後の信号を生成したとすると、△で示した補間後の信号S2,1 '、S3,1 ’は、S1,1 ’から垂直方向にPx、2Pxだけ離れたところに生成すれば良いから、次式の様に内挿の補間演算で求められる。
【0061】
S2,1 ’=S2,1 *(2Py−Px)/Py +S3,1 *(Px−Py)/Py・・(13)
S3,1 ’=S3,1 *(3Py−2Px)/Py +S4,1 *(2Px−2Py)/Py・・・・(14)
換言すれば、下記(15)式によって求まるM’個の垂直方向のデータを信号補間により生成する。
【0062】
M’=M*Py/Px ・・・(15)
次に、メモリ2608への映像信号の書き込みについて説明する。
【0063】静止画記録時には、上述したように独立読み出しで各画素の信号を独立して撮像素子2604から読み出し、A/D変換器2607でディジタル信号に変換して、メモリ2608に記録する。図4に示すように、垂直転送パルスV1が3値パルスになるフィールドでは、MgとGrが順次に出力され、V3が3値パルスになるフィールドでは、CyとYeが出力されるので、メモリ2608には、図31に示すようなフォーマットで記録される。静止画出力時には、上記したメモリ2608に記録された信号を順次読み出して、信号処理回路2614で所定のフォーマットの映像信号を生成する。例えば、3原色信号のR、G、Bを生成するためには、以下に示すマトリクス演算を行ない、R、G、Bそれぞれの信号に上記したような信号補間を行なえば良い。
【0064】
R=Mg−Cy+YeG=−Mg+Cy+Ye+Gr ・・・(16)
B=Mg+Cy−Yeこの時、仮にメモリ2608を信号処理回路2614の後段に配し、撮像素子2604から出力された信号に、(16)式の演算処理を施して、補間後のR、G、B信号を生成し、このR、G、B信号を、メモリ2608に記録した場合、1フレーム分の画像信号を記録するのに必要なメモリ容量は、 485*653*3(RGB)*9bit≒8.6Mbit・・・(17)
である。ここで、485はライン数、653は水平ドット数であり、A/D変換器2607の分解能は、9bitとしている。一方、本実施例では、 485*510*9bit≒2.2Mbit ・・・(18)
の容量で済む。つまり、補色の信号を記録することで、データを約1/4に圧縮したことになる。
【0065】上記(17)、(18)式で、A/D変換器2607の分解能を9bitとした理由は、分解能8bit時の量子化エラーによるS/N劣化が、許容量以上であるという画質評価結果にもとづいている。しかしながら、汎用メモリをメモリ2608に使用する場合、汎用メモリのビット構成が深さ方向8bitであることを考慮すると、A/D変換器2607の分解能は、8bitであることが望ましい。そこで、アンプ2606に図32に示す非線形な入出力特性を持たせ、8bitの分解能でディジタル信号に変換する。量子化雑音の目立つ低輝度の領域では、9bitの分解能でディジタル信号に変換され、量子化雑音の目立たない高輝度の領域では、8bit以下の分解能でディジタル信号に変換することにより、データを圧縮して8bitの一般的なメモリを用いることができる。この時、図32に示す入出力特性とは逆の図33に示すような入出力特性を信号処理回路2614に持たせることにより、線形な信号処理を行なうことができる。上記した非線形な入出力特性は、入力信号レベルに応じてアンプ2606の利得を変化させることで、容易に実現できる。
【0066】次に、図26におけるメモリ2608の具体的な構成例を説明する。
【0067】メモリ2608の内部構成は、図26に示すように、メインメモリ2610とバッファメモリ2609の2つのメモリを用いた構成とする。メモリ2608は、A/D変換器2607より出力される信号を記録するために、ビデオレートで信号を入出力する必要がある。また、静止画を複数枚記録するには、大容量のメモリが必要となる。しかし、この様なメモリは、現在非常に高価である。そこで、メインメモリ2610には、記憶容量は大きいが、データアクセス速度の遅い(例えばフラッシュメモリや磁気ディスク、あるいは光ディスク等)を用い、バッファメモリ2609には、高速動作が可能な画像メモリ等を用いる。記録時には、A/D変換器2607より出力される信号を、ビデオレートで動作するバッファメモリ2609に一旦記録する。バッファメモリ2609に記録された静止画1枚分の信号は、メインメモリ2610の動作速度に合わせて、メインメモリ2610に転送され、記録される。
【0068】次に、画質の劣化を伴うが、更に少ないメモリ容量で静止画を記録する方法を以下に説明する。
【0069】以下、上記静止画記録方法をFullモードと呼び、以下に記す静止画記録方法をEconomyモードと呼ぶ。
【0070】撮像素子2604は、上述した一般的な画素混合読み出しによって、信号を出力する。撮像素子2604から出力された信号は、Fullモード撮影時と同様にして、メインメモリ2610に図34に示すフォーマットで記録される。ただし、本方法で記録された信号は、図34に示す通りFullモードとは信号のフォーマットが異なり、再生時において上記Fullモードと信号処理の方法が異なる。よって、所定のフォーマットの映像信号を生成する際に、Fullモードで記録された信号か、あるいはEconomyモードで記録された信号かを示す識別信号が必要である。この識別信号は、ホワイトバランスなどの情報と併せて記録される。
【0071】次に、Economyモードで記録された信号を出力する動作を説明する。
【0072】メインメモリ2610に記録された信号は、Fullモードの再生時と同様に、信号処理回路2614に入力され、ホワイトバランスなどの情報をもとにして所定のフォーマットの映像信号を生成する。例えば、3原色信号のR、G、Bを生成するためのマトリクス演算式は、上記した(16)式に示すマトリクス演算式とは別の、以下に示すマトリクス演算を行ない、R、G、Bそれぞれの信号に、図35に示す信号補間を行なえばよい。
【0073】
R=2(Mg+Ye)+(Gr+Ye)−2(Gr+CY)
G=−(Mg+Ye)+2(Gr+Ye)+(Gr+Cy)・・(19)
B=2(Mg+Cy)−2(Gr+Ye)+(Gr+Cy)
この時、撮像素子2604は、画素混合方式によって信号を出力したので、前述のFullモードによる記録方法と比較して、メモリに記録する静止画1枚あたりの信号数が1/2になる。よって、2倍の枚数の静止画を記録することができる。
【0074】上記したFullモード、Economyモードの、2通りの静止画記録方法の選択には、Full/Economy切り換えスイッチ2619を用いる。Full/Economy切り換えスイッチ2619が選択しているモードに応じ、マトリクス演算式の選択、撮像素子2604の駆動方法、及び、メモリ2608の駆動方法等を選択する。また、Full/Economy切り換えスイッチ2619の操作に応じて、表示装置2620は、どちらの記録方式を選択しているかを表示すると共に、現在選択されている記録方式であと何枚分の静止画を記録することができるかを表示する。
【0075】以下、本発明の別の実施例を図を用いて説明する。
【0076】図36は本発明の別の実施例に係る撮像装置の構成図である。同図において3601はレンズ、3602はシャッタ、3603はシャッタ制御回路、3604は撮像素子、3605は駆動回路、3606はアンプ、3607はA/D変換器、3608はメモリ、3609はバッファメモリ、3610はメインメモリ、3611はメモリ制御回路、3612は記録/再生制御回路、3613は選択回路、3614は信号処理回路、3615はカメラ信号処理回路、3616は信号補間回路、3617は信号処理制御回路、3618はシャッタボタン、3619はFull/Economy切り換えスイッチ、3620は表示装置である。本実施例において構成、及び動作は、前述の実施例と共通する部分があり、異なる点について以下に説明する。
【0077】動画を撮影する動作は、前述の実施例と全く同様である。
【0078】次に、静止画を、Fullモードで記録する場合の動作を説明する。
【0079】前述の実施例と同様に撮像素子3604からは、独立読み出しで信号を出力する。撮像素子3604から出力された信号は、A/D変換器3607によりディジタル信号に変換され、バッファメモリ3609に入力される。バッファメモリ3609は、静止画1枚分の信号を記録し、その信号を選択回路3613を介して信号処理回路3614に出力する。信号処理回路3614は、入力された信号に前述の実施例で行なった非線形のデータ圧縮と同様のデータ圧縮を施し(圧縮を施さなくても良い)、その信号をメインメモリ3610に記録する。また、前述の実施例と同様に、ホワイトバランス等の情報も記録する。
【0080】次に、記録された静止画を出力する動作を説明する。
【0081】メインメモリ3610に記録された信号は、前述の実施例と同様に選択回路3613を介して、信号処理回路3614に入力される。信号処理回路3614は、記録時に非線形のデータ圧縮を行っていれば、上述したような逆のデータ圧縮を施し、前述の実施例と同様にホワイトバランス等の情報を読み取って、その情報をもとに所定の映像信号を生成し、以下同様に水平垂直の画素ピッチを等しくするため、信号補間による内挿を行なう。
【0082】次に、メモリ3608に信号を記録する動作を詳しく説明する。
【0083】メモリ3608は、図36に示すように、前述の実施例と同じくバッファメモリ3609と、メインメモリ3610の構成となっている。撮像素子3604から出力された信号は、線形な入出力特性を持ったアンプ3606で増幅され、A/D変換器3607に入力される。本実施例において、前述の実施例で述べた理由からA/D変換器3607は、アンプ3606から出力される信号を、9bitのディジタル信号に変換する。A/D変換器3607でディジタル信号に変換された信号は、前述の実施例と同様にメインメモリ3608内のバッファメモリ3609に出力される。ただし、A/D変換器3607から出力された信号のビット数は、9bitであるので、バッファメモリ3609は、ビット構成が深さ方向9bitのメモリであることが必要である。バッファメモリ3609に記録された静止画1枚分の信号は、メインメモリ3610の動作速度に合わせたデータレートで、選択回路3613を介して信号処理回路3614に出力され、信号処理回路3614は、入力された9bitのディジタル信号を、前述の実施例で行なった非線形な入出力特性によるデータ圧縮と同等な変換によって8bitのディジタル信号に圧縮し、メインメモリ3610に記録する。
【0084】前述の実施例では、アナログ信号で非線形処理によるデータ圧縮を施したが、本実施例で用いた方法は、デイジタル処理によって非線形処理によるデータ圧縮をすることが可能である。よってバラツキの無い理想的なデータ圧縮をすることができる。また、信号補間回路3616は、ビデオレートで動作させる必要がなくなり、動作に時間的な余裕ができるので、簡単な回路構成をとることができる。
【0085】次に、画質の劣化を伴うが、更に少ないメモリ容量で静止画を記録する方法(Economyモード)を以下に説明する。
【0086】撮像素子3604は、上述した一般的な画素混合読み出しによって、信号を出力する。撮像素子3604から出力された信号は、Fullモード撮影時と同様にバッファメモリ3609に一旦記録し、メインメモリ3610の動作速度に合わせて信号処理回路3614に出力される。信号補間回路3616は、図37に示す方法で信号補間を行なう。この場合、入力信号の隣合った信号成分が異なるので、前述の方法による信号補間ができない。図38は、本実施例における信号補間回路3616の具体的な構成例であり、3801は分離回路、3802、3803は遅延回路、3804、3805、3806、3807は乗算器、3808、3809は加算器、3810はマルチプレクサである。Gr+Cy、Mg+Ye・・・あるいはMg+Cy、Gr+Ye・・・の順に入力される信号を、分離回路3801でGr+CyとMg+YeあるいはMg+CyとGr+Yeに分別し、2系統の補間回路で各々の信号を図37のフォーマットに従って補間する。
【0087】信号補間回路3616により、上記動作で補間された信号は、メインメモリ3610に記録される。図39は、メインメモリ3610に記録されるEconomyモード時の信号フォーマットを示したものである。ただし、上記実施例と同様に本方法で記録された信号は、再生時において、上記Fullモードと信号処理の方法が異なる。よって、Fullモードで記録された信号か、あるいはEconomyモードで記録された信号かを示す情報も、ホワイトバランスなどの情報と併せて記録する。
【0088】次に、Economyモードで記録された信号を出力する動作を説明する。
【0089】メインメモリ3610に記録された信号は、Fullモードの再生時と同様に、信号処理回路3614に入力され、所定のフォーマットの映像信号を生成する。
【0090】例えば、3原色信号のR、G、Bを生成するためのマトリクス演算式は、上記した(19)式に示すマトリクス演算を行ない、R、G、Bそれぞれの信号に、図40に示す信号補間を行なえばよい。
【0091】この時、メインメモリ3610に記録される信号は、撮像素子3604から画素混合方式によって信号を出力したので、垂直方向のデータ数が1/2になり、更に信号補間回路3616で水平方向の信号数を1/2としたので、前述のFullモードによる記録方法と比較して、1/4に圧縮されたこととなる。本方法によれば、Fullモード記録時の4倍の枚数の静止画を記録することができる。
【0092】上記したFullモード、Economyモードの選択には、Full/Economy切り換えスイッチ3619を用いる。Full/Economy切り換えスイッチ3619が選択しているモードに応じ、上述した記録方法のどちらか一方を選択する。また、Full/Economy切り換えスイッチ3619の操作に応じて、表示装置3620は、どちらの記録方式を選択しているかを表示すると共に、現在選択されている記録方式で、あと何枚分の静止画を記録することができるかを表示する。
【0093】以下、本発明の別の実施例を図を用いて説明する。
【0094】図41は本発明の別の実施例に係る撮像装置の構成図である。同図において4101はレンズ、4102はシャッタ、4103はシャッタ制御回路、4104は撮像素子、4105は駆動回路、4106はアンプ、4107はA/D変換器、4108はメモリ、4109はメモリ制御回路、4110は記録/再生制御回路、4111はシャッタボタン、4112は再生ボタン、4113は選択回路、4114は信号処理回路、4115はカメラ信号処理回路、4116は信号補間回路、4117は信号処理制御回路、4118はビューファインダ、4119はFull/Economy切り換えスイッチであり、撮像素子4104の具体例を図2に示す。上記図2に示す様な色フィルタが配されたホトダイオード201は一般に画素と呼ばれている。上記構成において、レンズ4101を通して入力された光は、シャッタ制御回路4103により絞り値Fが制御されたシャッタ4102を通して撮像素子4104に入力され、撮像素子4104の表面に配された図2に示すホトダイオード201によって光電変換された信号電荷は、垂直CCD202を経由して水平CCD203に転送され駆動回路4105より供給される水平走査パルスに同期して電圧変換され出力される。
【0095】まず、動画撮影時の動作を説明する。撮像素子4104は、上記公知例に記載されているように、垂直方向に隣接する2つの画素信号を混合して読み出す、いわゆる画素混合方式で信号を読み出す。
【0096】以下、図3を用いて画素混合読み出しの説明をする。
【0097】図3は、画素混合読み出し時における垂直転送パルスと、垂直CCD202における信号電荷の転送のタイミングチャートを示したものである。同図において垂直転送パルス1の3値パルスが高レベルになることでgr、mgの行のホトダイオード4401から、垂直転送パルス3の3値パルスが高レベルになることでcy、yeの行のホトダイオード201からそれぞれ垂直CCD202に信号電荷が転送される。垂直CCD202に転送された信号電荷は、図3に示す通りに垂直CCD202内で混合され、水平CCD203に転送される。撮像素子4104の出力信号は、アンプ4106によって増幅され、A/D変換器4107に入力される。A/D変換器4107に入力された信号は、駆動回路より供給されるタイミングパルスでサンプリングされてディジタル信号に変換される。A/D変換器4107によりディジタル信号に変換された信号は、選択回路4113によって信号処理回路4114に入力される。信号処理回路4114は、ガンマ補正やホワイトバランス補正等の一般的な信号処理を行ない、輝度信号、色(RGB)信号などを生成する。
【0098】次に、静止画を記録する動作を説明する。
【0099】上記構成において、シャッタボタン4111を押すことにより記録/再生制御回路4110からシャッタクローズの制御信号がシャッタ制御回路4103に入力され、シャッタ制御回路4103によってシャッタ4102は、所定の時間後にクローズ状態となる。シャッタ4102がクローズ状態となるまでに撮像素子4104に入力された光は、撮像素子4104に配されたホトダイオード201によって光電変換され、シャッタ4102がクローズ状態の間に垂直CCD202を経由して水平CCD203へ転送し、駆動回路4105より供給される水平走査パルスに同期して電圧変換されて出力される。この時、撮像素子4104は、ホトダイオード201から1度信号を読み出すとホトダイオード201に信号が残らない、いわゆる破壊読み出しであるので、動画の読み出しと同様に画素混合読み出しをすると、フレームの情報が失われてしまう。垂直方向の解像度を劣化させずに静止画を得るために、以下に示す独立読み出しを行なう。
【0100】図4は、独立読み出し時における垂直転送パルスと、垂直CCD202における信号電荷の転送のタイミングチャートを示したものである。同図において垂直転送パルス1、及び垂直転送パルス3の3値パルスが高レベルになる周期は、図4に示す通り1フィールドおきである。よって垂直転送パルス1の3値パルスが高レベルになるフィールドでは、gr、mgの行のホトダイオード201からのみ信号電荷が垂直CCD202に転送され、次の1フィールドでは、垂直転送パルス3の3値パルスが高レベルになることで、cy、yeの行のホトダイオード201からのみ垂直CCD202に信号電荷が転送される。垂直CCDに202転送された信号電荷は、1フィールド期間ですべて水平CCD203に転送されてしまうので、上記した画素混合読み出し方式の様に、隣りあったホトダイオード201の信号電荷が混合されることはなく、1つのホトダイオードに対して1つの信号を得ることができる。以下、水平CCD203に転送された信号電荷は、駆動回路4105より供給される水平走査パルスに同期して撮像素子4104から出力される。
【0101】上記動作によってそれぞれの画素から独立して読み出された信号Gr、Mg、Cy、Yeは、A/D変換器4107でディジタル信号に変換されて、メモリ制御回路4109に制御されたメモリ4108に記録される。一方、上記静止画記録を行なう前の動画撮影時に、信号処理回路4114で行なっていたホワイトバランスなどの情報もメモリ4108に記録する。また、ホワイトバランスなどの情報は、別の記録手段に記録しても良い。
【0102】次に、記録された静止画を出力する動作を説明する。
【0103】メモリ4108に記録された信号は、再生ボタン4112が押されると記録/再生制御回路からの制御信号によって、選択回路4113で選択されて信号処理回路4114に入力される。信号処理回路4114は、ホワイトバランスなどの情報を読み取って、その情報をもとにRGB信号を生成する。一方、ビューファインダ4118は被写体を表示する他に、記録/再生制御回路4110からの制御信号により、メモリ4108に記録可能な静止画の枚数や、Full/Economy切り換えなどの後述する情報を表示する。
【0104】以下に、信号処理回路4114の動作について説明する。
【0105】動画撮影時には、撮像素子4104から上述した画素混合読み出しで信号を読み出し、A/D変換器4107でディジタル信号に変換して、図3に示す信号を信号処理回路4114内のカメラ信号処理回路4115に入力する。この入力信号から輝度信号と色差信号を生成するカメラ信号処理回路4115の具体例を図42に示す。同図において4201はサンプリング回路、4202は輝度マトリクス回路、4203は輝度信号処理回路、4204はRGBマトリクス回路、4205はホワイトバランス回路、4206はYcマトリクス回路4207は色差マトリクス回路である。図43は輝度マトリクス回路4202の回路構成例であり、同図において4301は増幅器、4302はマトリクス回路、4303はYcマトリクス4206から出力される信号からマトリクス回路4302より出力される信号の差を出力する減算器、4304はローパスフィルタ、4305は加算器である。図42においてサンプリング回路4201は、順次に信号が切り替わる図3に示す信号s1、s2、…を図7に示すようにサンプルホールドする。図7(a)および(c)は、Cy+GrあるいはYe+Mgの信号が撮像素子4104から出力される水平期間のタイミングチャートであり、(b)は、Cy+MgあるいはYe+Grが出力される水平期間のタイミングチャートである。図示していないがサンプリング回路4201は、ラインメモリを有し、例えば(b)の水平期間において(a)の水平期間と同じ信号時系列の信号S1、S2を出力し、(c)の水平期間において(b)の水平期間と同じ信号時系列の信号S3、S4を出力する。このサンプルホールドされた信号Gr+Cy、Mg+Ye、Mg+Cy、Gr+Yeは、輝度マトリクス回路4202およびRGBマトリクス回路4204に入力される。輝度マトリクス回路4202に入力された信号は、以下に示すマトリクス演算式により輝度信号yに変換される。
【0106】
y=(Gr+Cy)+(Mg+Ye)
+(Mg+Cy)+(Gr+Ye) ・・・(20)
一方、RGBマトリクス回路4204に入力された信号は、以下に示すマトリクス演算式でr信号、g信号、b信号に変換される。
【0107】
r=−2(Gr+Cy)+2(Mg+Ye)+(Gr+Ye)
g=(Gr+Cy)−(Mg+Ye)+2(Gr+Ye) ・・・(21)
b=(Gr+Cy)+2(Mg+Cy)−2(Gr+Ye)
RGBマトリクス回路4204から出力されるr信号、g信号、b信号は、Ycマトリクス回路4206に入力され以下に示すマトリクス演算式でyc信号に変換される。
【0108】
yc=0.30r+0.59g+0.11b ・・・(22)
上記方法で生成されたyc信号は、輝度マトリクス回路4202に入力され、輝度マトリクス回路4202は、y、yc信号を用いて、以下に示す演算式に従って輝度信号Yを生成する。
【0109】
Y=y+(ycl−yl) ・・・(23)
ここでylはy信号の低域成分、yclはyc信号の低域成分であり、ローパスフィルタ4304で帯域制限する。(23)式は、y信号の高域成分yhを用いてY=yh+ycl ・・・(24)
と表すことができ、輝度信号Yの低域成分をr、g、b信号から生成したことになる。r、g、b信号から輝度信号Yの低域成分を生成することにより、例えば赤色の被写体を撮像した時に輝度が浮き上がるという問題が無くなる。
【0110】上記方法により生成された輝度信号Yは、輝度信号処理回路4203に入力され、ガンマ補正等の公知の輝度信号処理を施される。また、色差マトリクス回路4207に入力された信号は、以下に示すマトリクス演算式により色差信号R−Y、B−Yに変換される。
【0111】
R−Y= 0.7r−0.59g−0.11b B−Y=−0.3r−0.59g+0.89b …(25)
上記マトリクス係数は、信号処理制御回路4117によって設定される。
【0112】次に静止画の信号生成について説明する。
【0113】静止画生成時には、上述したように独立読み出しで各画素の信号を独立して撮像素子4104から読み出し、A/D変換器4107でディジタル信号に変換して、図4に示す信号列をメモリ4108に記録する。メモリ4108からは、図2に示す第1行のホトダイオード201の信号、第2行のホトダイオード201の信号の順に読み出し、信号処理回路4114に入力する。サンプリング回路4201は、図9に示すように、Gr、Mg、Gr、Mg、…あるいはCy、Ye、Cy、Ye、の時系列で入力された信号を動画撮影時と同様にサンプルホールドする。なお、図2に示すように、色フィルタgr、mgの配置は、1行おきにgr、mg、gr、…、の順とmg、gr、mg、…の順を繰り返している。したがって、図9に示すように(a)と(c)では信号処理回路4114に入力されるGrとMgの順序が1画素分ずれる。上記ずれを補正するためのサンプリング回路4201の具体例を図11に示す。同図(a)において241、242はサンプルホールド回路であり、A、Bはそれぞれサンプルホールド回路241、242に供給されるサンプルホールドパルスである。同図(b)に示すように、N行目のホトダイオード201の信号を読み出すラインNの信号処理において、Mg、Gr、…の順序で信号が入力されたとすると、サンプルホールドパルスA、Bを(c)のように供給し、(d)に示す時系列にサンプルホールドする。ここで、サンプルホールド回路241、242はサンプルホ−ルドパルスがハイレベル時に入力信号を通し、ローレベル時には直前のハイレベル時の信号を出力する。
【0114】一方、N+2行目のホトダイオード201の信号を読み出すラインN+2の信号処理においては、Gr、Mg、…の順序で信号が入力されるので、サンプルホ−ルドパルスA、Bを(c)のラインN+2のように供給し、(d)のラインN+2に示す時系列にサンプルホ−ルドする。
【0115】次に、静止画出力時において、R信号を生成する場合の動作を説明する。
【0116】上記方法でサンプルホ−ルドされた信号は、輝度マトリクス回路4202およびRGBマトリクス回路4204に入力される。輝度マトリクス回路4202およびRGBマトリクス回路4204により、y=Gr+Mg+Cy+Yer=Mg−Cy+Ye ・・・(26)
g=Gr−Mg+Cy+Yeb=Mg+Cy+Yeの演算式に従ってy、r、g、b信号が生成される。RGBマトリクス回路4204で生成された信号は、ホワイトバランス回路4205に入力され、前述のホワイトバランス補正を施され、Ycマトリクス回路4206に入力される。Ycマトリクス回路4206は、以下に示すマトリクス演算式によりR信号成分のみの信号yrを生成する。
【0117】
yr=1*r+0*g+0*b ・・・(27)
以上の動作によって得られた信号から、以下に示す演算式によってR信号を得ることができる。
【0118】
R=y+(yrl−yl)・・・(28)
=yh+rlここでyrl、rlはそれぞれyr、r信号の低域成分である。
【0119】次に、静止画出力時において、G信号を生成する場合の動作を説明する。
【0120】上記方法でサンプルホ−ルドされた信号は、輝度マトリクス回路4202およびRGBマトリクス回路4204に入力される。輝度マトリクス回路4202およびRGBマトリクス回路4204により、上記(26)の演算式に従ってy、r、g、b信号が生成される。RGBマトリクス回路4204で生成された信号は、ホワイトバランス回路4205に入力され、前述のホワイトバランス補正を施され、Ycマトリクス回路4206に入力される。Ycマトリクス回路4206は、以下に示すマトリクス演算式によりG信号成分のみの信号ygを生成する。
【0121】
yg=0*r+1*g+0*b ・・・(29)
以上の動作によって得られた信号から、以下に示す演算式によってG信号を得ることができる。
【0122】
G=y+(ygl−yl)・・・(30)
=yh+glここでygl、glはそれぞれyg、g信号の低域成分である。
【0123】次に、静止画出力時において、B信号を生成する場合の動作を説明する。
【0124】上記方法でサンプルホ−ルドされた信号は、輝度マトリクス回路4202およびRGBマトリクス回路4204に入力される。輝度マトリクス回路4202およびRGBマトリクス回路4204により、上記(26)の演算式に従ってy、r、g、b信号が生成される。RGBマトリクス回路4204で生成された信号は、ホワイトバランス回路4205に入力され、前述のホワイトバランス補正を施され、Ycマトリクス回路4206に入力される。Ycマトリクス回路4206は、以下に示すマトリクス演算式によりB信号成分のみの信号ybを生成する。
【0125】
yb=0*r+0*g+1*b ・・・(31)
以上の動作によって得られた信号から、以下に示す演算式によってB信号を得ることができる。
【0126】
B=y+(ybl−yl)・・・(32)
=yh+blここでybl、blはそれぞれyb、b信号の低域成分である。
【0127】上述したように信号処理回路4114は、RGB信号を生成する場合、R信号、G信号、B信号を、それぞれ個別に生成しなければならない。そこで、メモリ4108は、同じ信号を3回出力して1回目はR信号生成、2回目はG信号生成と、面順次でRGB信号を生成する。
【0128】以上はフレーム情報を損なわずに静止画を記録する(Fullモ−ドと呼ぶ)実施例であり、次に、画質の劣化を伴うが、少ないメモリ容量で静止画を記録する(Economyモードと呼ぶ)実施例を以下に説明する。
【0129】撮像素子4104は、上述した一般的な画素混合読み出しによって信号を出力する。撮像素子4104から出力された図3に示す信号は、上述したFullモ−ド撮影時と同様にして、メモリ4108に記録される。ただし、本方法で記録された信号は、Fullモードとは信号のフォーマットが異なる。よって、RGB信号を生成する際に、Fullモードで記録された信号か、あるいはEconomyモ−ドで記録された信号かを示す識別信号が必要である。この識別信号は、ホワイトバランス等の情報と併せて記録する。
【0130】次に、Economyモ−ドで記録された信号を出力する動作を説明する。
【0131】メモリ4108に記録された信号は、FullモードのRGB信号出力と同様に信号処理回路4114に入力され、ホワイトバランスなどの情報をもとにしてRGB信号を生成する。ただし、上述したように信号のフォーマットが、Fullモードとは異なるので、RGBマトリクス回路4204のマトリクス係数を変更する必要がある。この時の信号フォ−マットは、動画時の信号フォーマットと同じなので、上記(20)(21)(25)(26)(27)(28)(29)(30)式に示すマトリクス演算により上述した方法でR信号、G信号、B信号を生成すればよい。信号処理回路4114で生成されたR、G、B信号は、おのおの信号処理回路4114内の信号補間回路4116に入力され、信号補間回路4116において信号補間を行い、水平方向の信号数を1/2にして出力される。
【0132】以下に、信号補間について説明する。
【0133】図14は、信号補間回路4116の具体例である。上述した動画撮影時、およびFullモード撮影時には、信号補間の必要がないので、補間係数入力K1には1を、補間係数入力K2には0をそれぞれ設定し、信号補間を行なわずに出力する。
【0134】上述したEconomyモードの場合は、信号補間を行ない水平方向の信号数を1/2にする。
【0135】この時、撮像素子4104は、画素混合方式によって信号を出力したので、前述のFullモードによる記録方法と比較して、メモリに記録する静止画1枚当たりの信号数が1/2になる。よって、2倍の枚数の静止画を記録することができる。
【0136】上記したFullモード、Economyモードの、2通りの静止画記録方法の選択には、Full/Economy切り換えスイッチ4119を用いる。Full/Economy切り換えスイッチ4119が選択しているモードに応じ、マトリクス演算式の選択、撮像素子4104の駆動方法、及び、メモリ4108の駆動方法等を選択する。また、Full/Economy切り換えスイッチ4119の操作に応じて、ビューファインダ4118は、どちらの記録方式を選択しているかを表示すると共に、現在選択されている記録方式であと何枚分の静止画を記録することができるかを表示する。
【0137】以下、本発明の別の実施例を図を用いて説明する。
【0138】図12は本発明の別の実施例に係る撮像装置の構成図である。
【0139】同図において前述の実施例と異なる点は、メモリ254に信号処理回路251の出力信号を記録するように構成したことである。本実施例において、動画を撮影する動作は、前述の実施例と全く同様であるので、静止画をFullモードで記録する場合の動作を説明する。
【0140】前述の実施例と同様に、撮像素子104からは、独立読み出しで信号を出力する。撮像素子104から出力された信号は、A/D変換器107によりディジタル信号に変換され、メモリ254に入力される。メモリ254は、静止画1枚分の信号を記録し、その信号を選択回路113を介して信号処理回路251内のカメラ信号処理回路252に出力する。カメラ信号処理回路252は、入力された信号を、輝度信号あるいは色差信号生成経路のいずれか1経路を利用してスル−で出力する。例えば、サンプリング回路4201は入力信号をそのままS1に出力し、輝度マトリクス回路4202はS1に1を乗じた信号とS2〜S4に0を乗じた信号を加算し、輝度信号処理回路4203は輝度マトリクス回路4202の出力信号をそのまま出力する。カメラ信号処理回路252から出力された信号は、信号補間回路253に入力されるが、上述したように補間を行なわずに信号を出力する。信号処理回路251から出力された信号は、メモリ254に記録される。
【0141】上記方法によりメモリ254に記録された信号のフォーマットは、前述の実施例におけるFullモードと全く同じものであり、静止画出力時の動作は、前述の実施例と同様である。
【0142】次に、画質の劣化を伴うが、更に少ないメモリ容量で静止画を記録する方法(Economyモード)を以下に説明する。
【0143】撮像素子104は、上述した一般的な画素混合読み出しによって、信号を出力する。撮像素子104から出力された信号は、Fullモード撮影時と同様にメモリ254に一旦記録し、その信号を信号処理回路251に出力する。信号処理回路251に入力された信号は、上述のFullモ−ド撮影時と同様に、入力された信号をそのまま信号補間回路253に出力する。信号補間回路253は、入力された信号に信号補間を行なう。しかしこの場合には、入力信号の隣合った信号成分が異なるので、前述の実施例におけるEconomyモードで行なった方法による信号補間ができない。図38は、本実施例における信号補間回路253の具体的な構成例である。Gr+Cy、Mg+Ye・・・あるいはMg+Cy、Gr+Ye・・・の順に入力される信号を、分離回路3801でGr+CyとMg+YeあるいはMg+CyとGr+Yeに分別し、2系統の補間回路で各々の信号を補間する。信号補間回路253により補間された信号は、メモリ254に記録される。
【0144】上記方法によりメモリ254に記録された信号のフォーマットは、前述の実施例におけるEconomyモード記録時の水平方向のデータ数を1/2としたものである。よって、RGB信号を生成するマトリクス係数は、上述した実施例において、Economyモード時に用いたマトリクス係数を用いることができ、静止画出力時の動作は、前述の実施例のEconomyモードと同様である。
【0145】この時、メモリ254に記録される信号は、撮像素子104から画素混合方式によって信号を出力したので、垂直方向のデ−タ数が1/2になり、更に信号補間回路253で水平方向の信号数を1/2としたので、前述のFullモードによる記録方法と比較して、1/4に圧縮されたこととなる。本方法によれば、Fullモード記録時の4倍の枚数の静止画を記録することができる。
【0146】上記したFullモード、Economyモードの選択には、Full/Economy切り換えスイッチ117を用いる。Full/Economy切り換えスイッチ117が選択しているモードに応じ、上述した記録方法のどちらか一方を選択する。また、Full/Economy切り換えスイッチ117の操作に応じて、ビューファインダ116は、どちらの記録方式を選択しているかを表示すると共に、現在選択されている記録方式で、あと何枚分の静止画を記録することができるかを表示する。
【0147】以下、生成したRGB信号を出力するデータフォーマットについて説明する。
【0148】上述の実施例で示した信号処理回路は、図44(a)に示すように面順次に生成したR信号、G信号、B信号を、データ構成が深さ方向に各々複数ビット(例えば8ビット)のパラレルデータで出力する。上記信号出力を、図44(b)に示すように1bitのシリアルデータで出力することも可能であり、メモリ254に記録された信号を1bitずつ出力し、1bitずつR信号、G信号、B信号を生成することで実現できる。
【0149】
【発明の効果】本発明によれば、照度や色温度などを検出する検出器を必要とせず、一般的な撮像素子を用いて静止画の映像信号を生成できるので、安価な映像入力手段を供給することができる。
【0150】本発明によれば、少ない記憶容量の記録手段と一般的な撮像素子を用いて水平、垂直方向で等しい空間的なサンプリングピッチの映像信号を生成できるので、安価な映像入力手段を供給することができる。
【0151】本発明によれば、メモリ等の記録手段と一般的な撮像素子を用いて静止画のRGB信号を生成できるので、安価な映像入力手段を供給することができる。
【図面の簡単な説明】
【図1】本発明の一実施例を示すブロック図である。
【図2】撮像素子の構成図である。
【図3】撮像素子の駆動パルスとその出力である。
【図4】撮像素子の駆動パルスとその出力である。
【図5】信号処理回路の構成図である。
【図6】マトリクス回路の具体例である。
【図7】動画撮像時の信号処理の具体例である。
【図8】動画撮像時の信号処理の具体例である。
【図9】静止画撮像時の信号処理の具体例である。
【図10】静止画撮像時の信号処理の具体例である。
【図11】サンプリング回路の具体例である。
【図12】本発明の別の実施例を示すブロック図である。
【図13】図12に示す実施例の説明図である。
【図14】図26に示す実施例の説明図である。
【図15】シャッタ制御回路の構成図である。
【図16】シャッタの絞り値に対する露光量を表わすグラフである。
【図17】シャッタの絞り値に対する露光量を表わすグラフである。
【図18】シャッタの絞り値に対する露光量を表わすグラフである。
【図19】シャッタの絞り値に対する露光量を表わすグラフである。
【図20】シャッタの絞り値に対する露光量を表わすグラフである。
【図21】シャッタの絞り値に対する露光量を表わすグラフである。
【図22】ホワイトバランス回路の構成図である。
【図23】信号出力の具体例である。
【図24】信号出力の具体例である。
【図25】信号出力の具体例である。
【図26】本発明の実施例を示すブロック図である。
【図27】本発明の実施例に係る撮像素子の構成図である
【図28】本発明の実施例に係る信号の空間分布図である。
【図29】本発明の実施例に係る撮像素子の出力信号のタイミングチャートである。
【図30】本発明の実施例に係る信号の空間分布図である。
【図31】本発明の実施例に係る独立読み出し時の信号フォーマット図である。
【図32】本発明の実施例に係る非線形入出力特性を示した図である。
【図33】本発明の実施例に係る非線形入出力特性を示した図である。
【図34】本発明の実施例に係る画素混合読み出し時の信号フォーマット図である。
【図35】本発明の実施例に係る信号の空間分布図である。
【図36】本発明の実施例に係る撮像装置の構成を示すブロック図である。
【図37】本発明の実施例に係る信号の空間分布図である。
【図38】本発明の実施例に係る信号補間回路の構成を示すブロック図である。
【図39】本発明の実施例に係る画素混合読み出し時の信号フォーマット図である。
【図40】本発明の実施例に係る信号の空間分布図である。
【図41】本発明の実施例を示すブロック図である。
【図42】本発明の実施例に係るカメラ信号処理回路の構成を示すブロック図である。
【図43】本発明の実施例に係る輝度マトリクス回路の構成を示すブロック図である。
【図44】本発明の実施例に係る信号出力方法を示した図である。
【符号の説明】
101…レンズ、
102…シャッタ、
103…シャッタ制御回路、
104…撮像素子、
105…駆動回路、
106…アンプ、
107…A/D変換器、
108…メモリ、
109…メモリ制御回路、
110…記録/再生制御回路、
111…シャッタボタン、
112…再生ボタン、
113…選択回路、
114…信号処理回路、
115…信号処理制御回路、
116…ビューファインダ、
117…Full/Economy切り換えスイッチ、
201…ホトダイオード、
202…垂直CCD、
203…水平CCD、
211…サンプリング回路、
212…輝度マトリクス回路、
213…輝度信号処理回路、
214…RGBマトリクス、
215…ホワイトバランス回路、
216…色差マトリクス、
221…乗算器、
222…乗算器、
223…乗算器、
224…乗算器、
225…加算器、
226…マトリクス変換後出力、
241…サンプルホールド回路、
242…サンプルホールド回路、
251…信号処理回路、
252…カメラ信号処理回路、
253…信号補間回路、
401…遅延回路、
402…乗算器、
403…乗算器、
404…加算器、
300…検波回路、
301…演算回路、
302…シャッタ駆動回路、
303…R−アンプ、
304…B−アンプ、
305…利得制御回路、
306…R−Y検波回路、
307…B−Y検波回路、
308…順次化回路、
2601…レンズ、
2602…シャッタ、
2603…シャッタ制御回路、
2604…撮像素子、
2605…駆動回路、
2606…アンプ、
2607…A/D変換器、
2608…メモリ、
2609…バッファメモリ、
2610…メインメモリ、
2611…メモリ制御回路、
2612…記録/再生制御回路、
2613…選択回路、
2614…信号処理回路、
2615…カメラ信号処理回路、
2616…信号補間回路、
2617…信号処理制御回路、
2618…シャッタボタン、
2619…Full/Economy切り換えボタン、
2620…表示装置、
2701…ホトダイオード、
2702…垂直CCD、
2703…水平CCD、
3601…レンズ、
3602…シャッタ、
3603…シャッタ制御回路、
3604…撮像素子、
3605…駆動回路、
3606…アンプ、
3607…A/D変換器、
3608…メモリ、
3609…バッファメモリ、
3610…メインメモリ、
3611…メモリ制御回路、
3612…記録/再生制御回路、
3613…選択回路、
3614…信号処理回路、
3615…カメラ信号処理回路、
3616…信号補間回路、
3617…信号処理制御回路、
3618…シャッタボタン、
3619…Full/Economy切り換えボタン、
3620…表示装置、
3801…分離回路、
3802…遅延回路、
3803…遅延回路、
3804…乗算器、
3805…乗算器、
3806…乗算器、
3807…乗算器、
3808…加算器、
3809…加算器、
3810…マルチプレクサ、
4101…レンズ、
4102…シャッタ、
4103…シャッタ制御回路、
4104…撮像素子、
4105…駆動回路、
4106…アンプ、
4107…A/D変換器、
4108…メモリ、
4109…メモリ制御回路、
4110…記録/再生制御回路、
4111…シャッタボタン、
4112…再生ボタン、
4113…選択回路、
4114…信号処理回路、
4115…カメラ信号処理回路、
4116…信号補間回路、
4117…信号処理制御回路、
4118…ビューファインダ、
4119…Full/Economy切り換えスイッチ、
4201…サンプリング回路、
4202…輝度マトリクス回路、
4203…輝度信号処理回路、
4204…RGBマトリクス回路、
4205…ホワイトバランス回路、
4206…Ycマトリクス回路、
4207…色差マトリクス回路、
4301…増幅器、
4302…マトリクス回路、
4303…減算器、
4304…ローパスフィルタ、
4305…加算器。
【特許請求の範囲】
【請求項1】入射光を遮断できる光量制限手段と、入射光を光電変換する画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力される静止画のディジタル映像信号を記録する記録手段を有し、上記光量制限手段は入射光量を所定量に制限したのちに入射光を遮断し、上記撮像手段は上記光量制限手段で入射光量を所定量に制限している時には動画のディジタル映像信号を出力し、遮断したのちに静止画のディジタル映像信号を出力し、上記信号処理回路は上記動画のディジタル映像信号が供給された時と静止画のディジタル映像信号が供給された時とで異なる信号処理を行なうことを特徴とする静止画記録ディジタルカメラ。
【請求項2】上記信号処理回路は輝度信号または色信号を生成するマトリクス回路を有し、上記動画のディジタル映像信号が供給された時と静止画のディジタル映像信号が供給された時とで上記マトリクス回路の係数を切り替えることを特徴とする請求項1に記載の静止画記録ディジタルカメラ。
【請求項3】入射光量を制限できる光量制限手段と、入射光を所定の露光時間だけ光電変換する画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力される静止画のディジタル映像信号を記録する記録手段とを有し、上記光量制限手段が所定の制限量で光量を制限した入射光を、上記撮像手段は所定の露光時間だけ光電変換して動画のディジタル映像信号を出力し、上記信号処理回路が上記動画のディジタル映像信号に所定の信号処理を施している時の上記制限量、上記露光時間または上記信号処理のいずれかの情報を上記記録手段または該記録手段とは異なる記録手段に記録し、上記光量制限手段で入射光を遮断するまでの時間、または上記光量制限手段で入射光を遮断したのちに上記撮像手段から出力される静止画のディジタル映像信号の露光時間、あるいは上記信号処理回路で上記静止画のディジタル映像信号に施す信号処理を、上記記録手段または該記録手段とは異なる記録手段に記録した情報で制御することを特徴とする静止画記録ディジタルカメラ。
【請求項4】上記信号処理回路は利得可変回路を含むホワイトバランス回路を有し、上記利得可変回路の利得を上記記録手段または該記録手段とは異なる記録手段に記録することを特徴とする請求項3に記載の静止画記録ディジタルカメラ。
【請求項5】入射光を遮断できる光量制限手段と、入射光を光電変換する画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力される静止画のディジタル映像信号を記録する記録手段を有し、上記光量制限手段は入射光量を所定量に制限したのちに入射光を遮断し、上記撮像手段は上記光量制限手段で入射光量を所定量に制限している時には動画のディジタル映像信号を出力し、遮断したのちに静止画のディジタル映像信号を出力し、上記信号処理回路は供給された上記静止画のディジタル映像信号から生成した輝度信号と色差信号、またはRGB信号、あるいは供給された上記静止画のディジタル映像信号を、パラレルまたはシリアルのディジタル信号で出力することを特徴とする静止画記録ディジタルカメラ。
【請求項6】上記光量制限手段が所定の制限量で光量を制限した入射光を、上記撮像手段は所定の露光時間だけ光電変換して動画のディジタル映像信号を出力し、上記信号処理回路が上記動画のディジタル映像信号に所定の信号処理を施している時の上記制限量、上記露光時間または上記信号処理のいずれかの情報が複数フィールドにわたって所定の変動範囲内に収まった後か、または上記記録手段に静止画のディジタル映像信号を記録し終えた後に、上記記録手段に静止画のディジタル映像信号が記録可能であることを表示する表示手段を有することを特徴とする請求項1、2、3、4または5に記載の静止画記録ディジタルカメラ。
【請求項7】上記光量制限手段が所定の制限量で光量を制限した入射光を、上記撮像手段は所定の露光時間だけ光電変換して動画のディジタル映像信号を出力し、上記信号処理回路が上記動画のディジタル映像信号に所定の信号処理を施している時の上記制限量、上記露光時間または上記信号処理のいずれかの情報が複数フィールドにわたって所定の変動範囲内に収まで、または上記記録手段に静止画のディジタル映像信号を記録し終えるまで、上記記録手段に静止画のディジタル映像信号が記録不可能であることを表示する表示手段を有することを特徴とする請求項1、2、3、4または5に記載の静止画記録ディジタルカメラ。
【請求項8】釦などの可動部と、記録再生制御回路を有し、上記可動部を動かすことにより上記記録再生制御回路から記録開始制御信号を出力し、上記記録手段に静止画のディジタル映像信号の記録を開始する静止画記録ディジタルカメラであって、上記光量制限手段が所定の制限量で光量を制限した入射光を、上記撮像手段は所定の露光時間だけ光電変換して動画のディジタル映像信号を出力し、上記信号処理回路が上記動画のディジタル映像信号に所定の信号処理を施している時の上記制限量、上記露光時間または上記信号処理のいずれかの情報が複数フィールドにわたって所定の変動範囲内に収まで、または上記記録手段に静止画のディジタル映像信号を記録し終えるまで、上記可動部の可動量を制限することを特徴とする請求項1、2、3、4または5に記載の静止画記録ディジタルカメラ。
【請求項9】入射光を遮断できる光量制限手段と、入射光を光電変換する画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力されるディジタル映像信号を記録する記録手段を有し、上記撮像手段は上記光量制限手段で入射光を遮断したのちに静止画のディジタル映像信号を出力し、上記信号処理回路は上記撮像手段または上記記録手段から供給される静止画のディジタル映像信号を内挿補間することを特徴とする静止画記録ディジタルカメラ。
【請求項10】上記撮像手段は水平方向Px、垂直方向Py(Px≠Py)の間隔で画素が配されており、上記信号処理回路は供給された静止画のディジタル映像信号を水平方向に内挿補間し、水平方向N個のディジタル映像信号から略N×Px/Py個のディジタル映像信号を生成することを特徴とする請求項9に記載の静止画記録ディジタルカメラ。
【請求項11】上記撮像手段は水平方向Px、垂直方向Py(Px≠Py)の間隔で画素が配されており、上記信号処理回路は供給された静止画のディジタル映像信号を垂直方向に内挿補間し、垂直方向M個のディジタル映像信号から略M×Py/Px個のディジタル映像信号を生成することを特徴とする請求項9に記載の静止画記録ディジタルカメラ。
【請求項12】入射光を遮断できる光量制限手段と、複数種類の分光特性のうちのいずれか1つの分光特性で入射光を光電変換する複数種類の画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力されるディジタル映像信号を記録する記録手段を有し、上記撮像手段は上記光量制限手段で入射光を遮断したのちに上記画素の信号をそれぞれ独立した画素信号として出力し、上記記録手段は上記独立した画素信号を記録し、上記信号処理回路は上記記録手段に記録した上記独立した画素信号から所定のフォーマットのディジタル映像信号を生成することを特徴とする静止画記録ディジタルカメラ。
【請求項13】入射光を遮断できる光量制限手段と、複数種類の分光特性のうちのいずれか1つの分光特性で入射光を光電変換する複数種類の画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力されるディジタル映像信号を記録する記録手段と、記録再生制御回路とを有し、該記録再生制御回路は上記光量制限手段で入射光を遮断したのちに上記撮像手段から上記画素の信号をそれぞれ独立した画素信号として出力するか、あるいは複数画素の信号を混合して混合画素信号として出力するかを制御し、上記記録手段には上記独立した画素信号か上記混合画素信号のいずれかを記録し、上記信号処理回路は上記記録手段に記録した上記独立した画素信号あるいは上記混合画素信号から所定のフォーマットのディジタル映像信号を生成することを特徴とする静止画記録ディジタルカメラ。
【請求項14】独立した画素信号あるいは混合画素信号のいずれの画素信号が記録されているかを識別するための識別信号を上記記録手段に記録することを特徴とする請求項13に記載の静止画記録ディジタルカメラ。
【請求項15】独立した画素信号あるいは混合画素信号のいずれの画素信号を記録するかを表示するための表示手段を有することを特徴とする請求項13または14に記載の静止画記録ディジタルカメラ。
【請求項16】上記記録手段に記録可能な静止画の枚数を表示するための表示手段を有することを特徴とする請求項13、14または15に記載の静止画記録ディジタルカメラ。
【請求項17】上記撮像手段または上記撮像手段から上記記録手段にいたるまでの信号伝達経路に非線形の入出力特性を有する回路を配したことを特徴とする請求項12、13、14、15または16に記載の静止画記録ディジタルカメラ。
【請求項18】上記記録手段はバッファメモリとメインメモリを有し、上記バッファメモリに上記静止画のディジタル映像信号を書き込む動作周波数より低い動作周波数で、上記バッファメモリから上記静止画のディジタル映像信号を読み出して上記メインメモリに書き込むことを特徴とする請求項9、10、11、12、13、14、15、16または17に記載の静止画記録ディジタルカメラ。
【請求項19】入射光を遮断できる光量制限手段と、入射光を光電変換する画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力されるディジタル映像信号を記録する記録手段を有し、上記撮像手段は上記光量制限手段で入射光を遮断したのちに静止画のディジタル映像信号を出力し、上記信号処理回路は上記撮像手段または上記記録手段から供給される静止画のディジタル映像信号よりRGB信号を生成することを特徴とする静止画記録ディジタルカメラ。
【請求項20】入射光を遮断できる光量制限手段と、入射光を光電変換する画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力されるディジタル映像信号を記録する記録手段を有し、上記撮像手段は上記光量制限手段で入射光を遮断したのちに静止画のディジタル映像信号を出力し、上記信号処理回路は上記撮像手段または上記記録手段から複数回供給される静止画のディジタル映像信号より面順次でRGB信号を生成することを特徴とする静止画記録ディジタルカメラ。
【請求項21】上記信号処理回路は輝度信号を生成する第1の輝度マトリクス回路とRGB信号を生成するRGBマトリクス回路と、該RGBマトリクス回路から出力されるRGB信号から低域の輝度信号を生成する第2の輝度マトリクス回路を有し、上記記録手段に記録されたディジタル映像信号が供給された時に上記第2の輝度マトリクス回路はR信号、G信号、B信号のうちいずれか1つの信号を出力し、上記第1の輝度マトリクス回路から出力される輝度信号に合成することを特徴とする請求項19または20に記載の静止画記録ディジタルカメラ。
【請求項1】入射光を遮断できる光量制限手段と、入射光を光電変換する画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力される静止画のディジタル映像信号を記録する記録手段を有し、上記光量制限手段は入射光量を所定量に制限したのちに入射光を遮断し、上記撮像手段は上記光量制限手段で入射光量を所定量に制限している時には動画のディジタル映像信号を出力し、遮断したのちに静止画のディジタル映像信号を出力し、上記信号処理回路は上記動画のディジタル映像信号が供給された時と静止画のディジタル映像信号が供給された時とで異なる信号処理を行なうことを特徴とする静止画記録ディジタルカメラ。
【請求項2】上記信号処理回路は輝度信号または色信号を生成するマトリクス回路を有し、上記動画のディジタル映像信号が供給された時と静止画のディジタル映像信号が供給された時とで上記マトリクス回路の係数を切り替えることを特徴とする請求項1に記載の静止画記録ディジタルカメラ。
【請求項3】入射光量を制限できる光量制限手段と、入射光を所定の露光時間だけ光電変換する画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力される静止画のディジタル映像信号を記録する記録手段とを有し、上記光量制限手段が所定の制限量で光量を制限した入射光を、上記撮像手段は所定の露光時間だけ光電変換して動画のディジタル映像信号を出力し、上記信号処理回路が上記動画のディジタル映像信号に所定の信号処理を施している時の上記制限量、上記露光時間または上記信号処理のいずれかの情報を上記記録手段または該記録手段とは異なる記録手段に記録し、上記光量制限手段で入射光を遮断するまでの時間、または上記光量制限手段で入射光を遮断したのちに上記撮像手段から出力される静止画のディジタル映像信号の露光時間、あるいは上記信号処理回路で上記静止画のディジタル映像信号に施す信号処理を、上記記録手段または該記録手段とは異なる記録手段に記録した情報で制御することを特徴とする静止画記録ディジタルカメラ。
【請求項4】上記信号処理回路は利得可変回路を含むホワイトバランス回路を有し、上記利得可変回路の利得を上記記録手段または該記録手段とは異なる記録手段に記録することを特徴とする請求項3に記載の静止画記録ディジタルカメラ。
【請求項5】入射光を遮断できる光量制限手段と、入射光を光電変換する画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力される静止画のディジタル映像信号を記録する記録手段を有し、上記光量制限手段は入射光量を所定量に制限したのちに入射光を遮断し、上記撮像手段は上記光量制限手段で入射光量を所定量に制限している時には動画のディジタル映像信号を出力し、遮断したのちに静止画のディジタル映像信号を出力し、上記信号処理回路は供給された上記静止画のディジタル映像信号から生成した輝度信号と色差信号、またはRGB信号、あるいは供給された上記静止画のディジタル映像信号を、パラレルまたはシリアルのディジタル信号で出力することを特徴とする静止画記録ディジタルカメラ。
【請求項6】上記光量制限手段が所定の制限量で光量を制限した入射光を、上記撮像手段は所定の露光時間だけ光電変換して動画のディジタル映像信号を出力し、上記信号処理回路が上記動画のディジタル映像信号に所定の信号処理を施している時の上記制限量、上記露光時間または上記信号処理のいずれかの情報が複数フィールドにわたって所定の変動範囲内に収まった後か、または上記記録手段に静止画のディジタル映像信号を記録し終えた後に、上記記録手段に静止画のディジタル映像信号が記録可能であることを表示する表示手段を有することを特徴とする請求項1、2、3、4または5に記載の静止画記録ディジタルカメラ。
【請求項7】上記光量制限手段が所定の制限量で光量を制限した入射光を、上記撮像手段は所定の露光時間だけ光電変換して動画のディジタル映像信号を出力し、上記信号処理回路が上記動画のディジタル映像信号に所定の信号処理を施している時の上記制限量、上記露光時間または上記信号処理のいずれかの情報が複数フィールドにわたって所定の変動範囲内に収まで、または上記記録手段に静止画のディジタル映像信号を記録し終えるまで、上記記録手段に静止画のディジタル映像信号が記録不可能であることを表示する表示手段を有することを特徴とする請求項1、2、3、4または5に記載の静止画記録ディジタルカメラ。
【請求項8】釦などの可動部と、記録再生制御回路を有し、上記可動部を動かすことにより上記記録再生制御回路から記録開始制御信号を出力し、上記記録手段に静止画のディジタル映像信号の記録を開始する静止画記録ディジタルカメラであって、上記光量制限手段が所定の制限量で光量を制限した入射光を、上記撮像手段は所定の露光時間だけ光電変換して動画のディジタル映像信号を出力し、上記信号処理回路が上記動画のディジタル映像信号に所定の信号処理を施している時の上記制限量、上記露光時間または上記信号処理のいずれかの情報が複数フィールドにわたって所定の変動範囲内に収まで、または上記記録手段に静止画のディジタル映像信号を記録し終えるまで、上記可動部の可動量を制限することを特徴とする請求項1、2、3、4または5に記載の静止画記録ディジタルカメラ。
【請求項9】入射光を遮断できる光量制限手段と、入射光を光電変換する画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力されるディジタル映像信号を記録する記録手段を有し、上記撮像手段は上記光量制限手段で入射光を遮断したのちに静止画のディジタル映像信号を出力し、上記信号処理回路は上記撮像手段または上記記録手段から供給される静止画のディジタル映像信号を内挿補間することを特徴とする静止画記録ディジタルカメラ。
【請求項10】上記撮像手段は水平方向Px、垂直方向Py(Px≠Py)の間隔で画素が配されており、上記信号処理回路は供給された静止画のディジタル映像信号を水平方向に内挿補間し、水平方向N個のディジタル映像信号から略N×Px/Py個のディジタル映像信号を生成することを特徴とする請求項9に記載の静止画記録ディジタルカメラ。
【請求項11】上記撮像手段は水平方向Px、垂直方向Py(Px≠Py)の間隔で画素が配されており、上記信号処理回路は供給された静止画のディジタル映像信号を垂直方向に内挿補間し、垂直方向M個のディジタル映像信号から略M×Py/Px個のディジタル映像信号を生成することを特徴とする請求項9に記載の静止画記録ディジタルカメラ。
【請求項12】入射光を遮断できる光量制限手段と、複数種類の分光特性のうちのいずれか1つの分光特性で入射光を光電変換する複数種類の画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力されるディジタル映像信号を記録する記録手段を有し、上記撮像手段は上記光量制限手段で入射光を遮断したのちに上記画素の信号をそれぞれ独立した画素信号として出力し、上記記録手段は上記独立した画素信号を記録し、上記信号処理回路は上記記録手段に記録した上記独立した画素信号から所定のフォーマットのディジタル映像信号を生成することを特徴とする静止画記録ディジタルカメラ。
【請求項13】入射光を遮断できる光量制限手段と、複数種類の分光特性のうちのいずれか1つの分光特性で入射光を光電変換する複数種類の画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力されるディジタル映像信号を記録する記録手段と、記録再生制御回路とを有し、該記録再生制御回路は上記光量制限手段で入射光を遮断したのちに上記撮像手段から上記画素の信号をそれぞれ独立した画素信号として出力するか、あるいは複数画素の信号を混合して混合画素信号として出力するかを制御し、上記記録手段には上記独立した画素信号か上記混合画素信号のいずれかを記録し、上記信号処理回路は上記記録手段に記録した上記独立した画素信号あるいは上記混合画素信号から所定のフォーマットのディジタル映像信号を生成することを特徴とする静止画記録ディジタルカメラ。
【請求項14】独立した画素信号あるいは混合画素信号のいずれの画素信号が記録されているかを識別するための識別信号を上記記録手段に記録することを特徴とする請求項13に記載の静止画記録ディジタルカメラ。
【請求項15】独立した画素信号あるいは混合画素信号のいずれの画素信号を記録するかを表示するための表示手段を有することを特徴とする請求項13または14に記載の静止画記録ディジタルカメラ。
【請求項16】上記記録手段に記録可能な静止画の枚数を表示するための表示手段を有することを特徴とする請求項13、14または15に記載の静止画記録ディジタルカメラ。
【請求項17】上記撮像手段または上記撮像手段から上記記録手段にいたるまでの信号伝達経路に非線形の入出力特性を有する回路を配したことを特徴とする請求項12、13、14、15または16に記載の静止画記録ディジタルカメラ。
【請求項18】上記記録手段はバッファメモリとメインメモリを有し、上記バッファメモリに上記静止画のディジタル映像信号を書き込む動作周波数より低い動作周波数で、上記バッファメモリから上記静止画のディジタル映像信号を読み出して上記メインメモリに書き込むことを特徴とする請求項9、10、11、12、13、14、15、16または17に記載の静止画記録ディジタルカメラ。
【請求項19】入射光を遮断できる光量制限手段と、入射光を光電変換する画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力されるディジタル映像信号を記録する記録手段を有し、上記撮像手段は上記光量制限手段で入射光を遮断したのちに静止画のディジタル映像信号を出力し、上記信号処理回路は上記撮像手段または上記記録手段から供給される静止画のディジタル映像信号よりRGB信号を生成することを特徴とする静止画記録ディジタルカメラ。
【請求項20】入射光を遮断できる光量制限手段と、入射光を光電変換する画素を有し、該画素の信号をディジタル映像信号として出力する撮像手段と、所定のフォーマットのディジタル映像信号を生成する信号処理回路と、上記撮像手段または上記信号処理回路から出力されるディジタル映像信号を記録する記録手段を有し、上記撮像手段は上記光量制限手段で入射光を遮断したのちに静止画のディジタル映像信号を出力し、上記信号処理回路は上記撮像手段または上記記録手段から複数回供給される静止画のディジタル映像信号より面順次でRGB信号を生成することを特徴とする静止画記録ディジタルカメラ。
【請求項21】上記信号処理回路は輝度信号を生成する第1の輝度マトリクス回路とRGB信号を生成するRGBマトリクス回路と、該RGBマトリクス回路から出力されるRGB信号から低域の輝度信号を生成する第2の輝度マトリクス回路を有し、上記記録手段に記録されたディジタル映像信号が供給された時に上記第2の輝度マトリクス回路はR信号、G信号、B信号のうちいずれか1つの信号を出力し、上記第1の輝度マトリクス回路から出力される輝度信号に合成することを特徴とする請求項19または20に記載の静止画記録ディジタルカメラ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図14】
【図7】
【図8】
【図12】
【図13】
【図9】
【図10】
【図15】
【図16】
【図11】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図29】
【図26】
【図27】
【図28】
【図30】
【図31】
【図32】
【図33】
【図34】
【図43】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図44】
【図2】
【図3】
【図4】
【図5】
【図6】
【図14】
【図7】
【図8】
【図12】
【図13】
【図9】
【図10】
【図15】
【図16】
【図11】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図29】
【図26】
【図27】
【図28】
【図30】
【図31】
【図32】
【図33】
【図34】
【図43】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図44】
【公開番号】特開2002−359772(P2002−359772A)
【公開日】平成14年12月13日(2002.12.13)
【国際特許分類】
【出願番号】特願2002−118669(P2002−118669)
【分割の表示】特願平4−339975の分割
【出願日】平成4年12月21日(1992.12.21)
【出願人】(000005108)株式会社日立製作所 (27,607)
【出願人】(000233136)株式会社日立画像情報システム (76)
【Fターム(参考)】
【公開日】平成14年12月13日(2002.12.13)
【国際特許分類】
【分割の表示】特願平4−339975の分割
【出願日】平成4年12月21日(1992.12.21)
【出願人】(000005108)株式会社日立製作所 (27,607)
【出願人】(000233136)株式会社日立画像情報システム (76)
【Fターム(参考)】
[ Back to top ]