説明

撮像装置,撮像方法,撮像制御装置,撮像制御方法,およびプログラム

【課題】 撮像した画像の品質を維持しつつ,より多くの画像補助信号を画像信号に重畳する。
【解決手段】 被写体を撮像し,デジタル化された画像信号を生成する撮像部410と,上記画像信号を補助する画像補助信号を生成する補助信号生成部424と,上記画像信号に上記画像補助信号を重畳する信号重畳部416と,上記信号重畳部によって重畳された画像信号を出力する画像信号出力部422とを備え,上記信号重畳部は,上記画像補助信号を画像信号のYデータ系列の水平ブランキング領域に重畳することを特徴とする,撮像装置100が提供される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は,画像信号に画像補助信号を付与する,撮像装置,撮像方法,撮像制御装置,撮像制御方法,およびプログラムに関する。
【背景技術】
【0002】
被写体を撮像し,その撮像した画像を,デジタル信号として送信もしくは記憶媒体に記憶する撮像装置は,撮像処理能力,例えばCPUやその他のデバイスの性能向上により高度かつ用途の広い撮像を行えるようになった。
【0003】
例えば,RGBといった画像の各画素を形成する色信号の他に,撮像者の意図した画像信号を得るため,もしくは画像のより詳細な情報を提供するため,ホワイトバランスの調整位置や人肌色領域を示す画像補助信号を生成することが可能である。かかる撮像装置ではこのような画像補助信号を利用し画質をより高めることができる。
【0004】
上記撮像装置において,画像補助信号は,通常,ビューファインダへの信号に重畳されて撮像者に伝達される。しかし,画像信号には元々上記画像補助信号を付加することが想定されておらず,上記撮像装置からの出力信号には,画像補助信号を添付することが困難であった。
【0005】
ところで,撮像された画像信号は,規格によって定められる有効画像信号に配置される(例えば,非特許文献1および非特許文献2)。上記に示した画像補助信号を後段の電子機器でも利用するため,出力される画像信号の画質に影響の少ない上記有効画像信号のLSB1ビットを犠牲にし,そこに画像補助信号を重畳するといった処理が行われていた。しかし,近年では,画像の再生能力もしくは表示能力が向上し,影響が少ないと考えられていたLSBにおける画像信号も無視することができなくなってきた。即ち,最小桁のデータといっても画像信号の品質を支えるデータには変わらず,画像信号の劣化を招くこととなる。
【0006】
【非特許文献1】「SMPTE STANDARD, for Television-Bit-Serial Digital Interface forHigh-Definition Television Systems(SMPTE 292M-1998)」1〜5頁,SMPTE,1998年10月1日
【非特許文献2】「ARIB STANDARD 1125/60方式HDTV信号のビット直列インターフェース規格(BTA S-004B)」81〜85頁,社団法人 電波産業会,1998年3月B版改訂
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明は,従来の撮像装置が有する上記問題点に鑑みてなされたものであり,本発明の目的は,撮像した画像の品質を維持しつつ,より多くの画像補助信号を画像信号に重畳することが可能な,新規かつ改良された撮像装置,撮像方法,撮像制御装置,撮像制御方法,およびプログラムを提供することである。
【課題を解決するための手段】
【0008】
上記課題を解決するために,本発明のある観点によれば,被写体を撮像し,デジタル化された画像信号を生成する撮像部と;上記画像信号を補助する画像補助信号を生成する補助信号生成部と;上記画像信号に上記画像補助信号を重畳する信号重畳部と;上記信号重畳部によって重畳された画像信号を出力する画像信号出力部と;を備え,上記信号重畳部は,上記画像補助信号を画像信号のブランキング領域に重畳することを特徴とする,撮像装置が提供される。
【0009】
本発明は,従来,画質に直接影響する有効画像信号(色信号)のLSB1ビットを犠牲にし,そこに画像補助信号を重畳する構成を,画像信号のブランキング領域に移したことを特徴としている。従って,ブランキング領域が許容できる範囲において,より多くの画像補助信号を画像信号に重畳することが可能となり,また,色信号等のLSB1ビットを犠牲にする必要がなくなることから撮像した画像の品質が維持される。
【0010】
画像補助信号が複数ある場合,信号重畳部は,該複数の画像補助信号を連続並置して形成しても良い。
【0011】
上記ブランキング領域は,Yデータ系列の水平ブランキング領域であるとしても良い。当該撮像装置で取り扱う画像信号は,Yデータ系列とPb/Pr(C)データ系列の2重構造になっており,Pb/Prデータ系列の水平ブランキング領域は,既に音声信号に利用されている。従って,画像補助信号をYデータ系列の水平ブランキング領域に重畳することによって,既存のデータの占有領域を侵すことなく,データ領域の有効活用を図ることができる。上記YおよびPb/Prデータ系列は,10ビット単位のパラレルデータで構成されるとしても良い。
【0012】
上記信号重畳部は,上記画像補助信号を所定ビットのパラレル信号として重畳するとしても良い。
【0013】
上記画像信号は,撮像部において所定ビットのパラレル信号,例えば10ビットのパラレル信号として形成される。従って,ブランキング領域も所定ビットのパラレル信号で形成され,その領域に画像補助信号を挿入することとなる。また,生成された画像補助信号は,チェックビットを除いた8ビット単位に区切られるとしても良く,その場合,8ビットに満たない区分には,所定の値,例えば,0または1を満たすとしても良い。
【0014】
また,上記チェックビットは,偶数または奇数パリティ1ビットおよびその反転値1ビットの2ビットで形成されるとしても良い。かかる構成により,データのエラー検出が可能となり,水平ライン開始の識別信号と重複しない信号を生成できる。
【0015】
上記画像補助信号の属性に対応する識別信号を上記画像補助信号に付与する識別信号付与部をさらに備えるとしても良い。
【0016】
かかる構成により,当該画像補助信号を利用する側で,それが画像補助信号であること,および,その画像補助信号がどのような補助を目的としているのかを即時に判断することが可能となる。
【0017】
上記画像信号の形成に利用される基本クロック(システムクロック)を整数Nで分周する分周部をさらに備え,上記画像補助信号は,上記分周された周期でサンプリングされるとしても良い。
【0018】
かかる構成によって,画像補助信号毎に,画像補助信号の必要性に応じたサンプリング期間を設定することができる。従って,各画像補助信号のサンプリングを他の画像補助信号と合わせる必要もない。かかる構成では,画像信号に重畳される画像補助信号が不統一になるが,例えば,上記識別信号付与部を利用してこの問題を回避できる。
【0019】
また,コンピュータによって,上記撮像装置として機能するプログラムも提供され,上記撮像装置を利用して,画像信号のブランキング領域に上記画像補助信号を重畳する撮像方法も提供される。
【0020】
上記課題を解決するために,本発明の別の観点によれば,画像信号を入力する入力部と;上記入力された画像信号のブランキング領域における画像補助信号の有無を判断する補助信号判断部と;上記画像補助信号が存在している場合,該画像補助信号を抽出する補助信号抽出部と;上記抽出された画像補助信号を,該画像補助信号の目的に応じて処理する補助信号処理部と;上記補助信号処理部によって処理された画像信号を出力する処理信号出力部と;を備えることを特徴とする,撮像制御装置が提供される。
【0021】
上記入力部に入力された画像信号が,ブランキング領域に画像補助信号を有している場合,上記の構成により,該画像補助信号を抽出して,画像補助信号の目的に応じた処理を行うことができる。このように画像補助信号の重畳にブランキング領域を利用することで,ブランキング領域が許容できる範囲において,より多くの画像補助信号を画像信号に重畳することが可能となり,また,色信号等のLSB1ビットを犠牲にしていないことから撮像した画像の品質を維持することができる。
【0022】
また,上記補助信号判断部を有していない既存の撮像制御装置においては,単に画像補助信号が無視されるだけなので,画像の品質等に影響を与えることはない。
【0023】
上記ブランキング領域は,Yデータ系列の水平ブランキング領域であるとしても良い。画像補助信号をYデータ系列の水平ブランキング領域に重畳することによって,データの占有領域を侵すことなく,データ領域を有効に活用することができる。
【0024】
上記補助信号抽出部は,上記画像補助信号に付与された,該画像補助信号の属性に対応した識別信号を識別し,該画像補助信号の処理に適した補助信号処理部に該画像補助信号を送信するとしても良い。
【0025】
かかる構成により,当該画像補助信号が画像補助信号であること,および,該画像補助信号がどのような補助を目的としているのかを即時に判断することが可能となり,複雑な回路なしに該画像補助信号の処理に適した補助信号処理部に該画像補助信号を送信することができる。
【0026】
このような撮像装置および撮像制御装置の構成により,同時に複数本の画像補助信号を伝送することが可能となり,従来のシステムと比較すると,撮像制御装置において画像信号を容易に調整することができる。また,撮像制御装置側で全ての調整を行うことが可能となるので,画像装置にモニタを接続する必要が無くなり,構成が容易となる。
【0027】
また,コンピュータによって,上記撮像制御装置として機能するプログラムも提供され,上記撮像制御装置を利用して,画像信号のブランキング領域における画像補助信号を抽出する撮像制御方法も提供される。
【0028】
かかる撮像装置や撮像制御装置は,1つの装置で構成することもでき,撮像装置がかかる撮像制御装置の機能を遂行するとしても良い。また,撮像装置や撮像制御装置における各機能を別体の装置で実行することもできる。
【発明の効果】
【0029】
以上説明したように本発明の画像装置は,画像信号のブランキング領域を利用して画像補助信号を重畳することにより,撮像した画像の品質を落とすことなく,撮像制御装置に画像信号を送信することができる。
【0030】
また,従来では,データ領域の都合により一種類の画像補助信号しか送信できなかったのが,画像補助信号をブランキング領域が許容できる範囲において複数画像信号に付与することが可能となる。
【発明を実施するための最良の形態】
【0031】
以下に添付図面を参照しながら,本発明の好適な実施の形態について詳細に説明する。なお,本明細書及び図面において,実質的に同一の機能構成を有する構成要素については,同一の符号を付することにより重複説明を省略する。
【0032】
(第1の実施形態:撮像装置)
まず,本願発明を適用することが可能な撮像装置について詳細に説明する。なお,以下では,本実施形態にかかる撮像装置として静止画像及び/又は動画像をカラー撮像可能なビデオカメラの例を挙げて説明するが,当該実施形態に限定されるものではない。
【0033】
図1は,第1の実施形態における撮像装置100を概略的に示したブロック図である。かかる撮像装置100は,レンズ部110と,プリズム部112と,CCD部114と,A/D変換部116と,リニアマトリクス回路118と,イメージ強調部120と,加算器122と,ニー回路124と,ガンマ回路126と,クリップ回路128と,Yマトリクス回路130と,MPEGエンコーダ132と,バッファメモリ134と,フォーマッタ136と,ディスク部138と,MPEGデコーダ140と,制御表示部142と,P/S変換部144と,外部出力端子146とを含んで構成される。
【0034】
上記レンズ部110は,被写体の光学像を撮像デバイスの感光面上に結像させる光学部品を含んで構成される。当該撮像装置100において,被写体からの光がレンズ部110を通して入射され,例えば光学ローパスフィルタ(LPF),赤外カットフィルタ及びカラーフィルタ(いずれも図示せず。)などを通じて,プリズム部112に出力される。また,マイクロコントローラ(図示せず)は,レンズ部110の絞りを制御して入射光量を調整する。
【0035】
上記プリズム部112は,例えば三角柱のガラス等により形成され,レンズに入射された入射光を,波長毎の単色光に分解する。この単色光は他のプリズム部112を使ったとしても,さらに多くの光に分解することはできない。ここでは,特に,Red,Green,Blueといった光の3原色に分解される。かかるプリズム部112を通過した後,色信号毎にDCクランプ,ゲイン調整を行うとしても良い。
【0036】
上記CCD部114は,レンズ部110によって結像された光学像を電気信号に変換するための撮像デバイスである。かかるCCD部114は,タイミングジェネレータ(図示せず。)により駆動され,光電変換された電気信号である画像信号を随時読み出す。このタイミングジェネレータのシャッタースピードは,上述したマイクロコントローラによって制御される。また,本実施形態では,上記プリズム部112によって分光された3原色それぞれにCCD部114が準備され,各原色に関して光電変換が行われる。
【0037】
上記レンズ部110,プリズム部112,CCD部114は,本実施形態における撮像部として機能するが,撮像部はかかる構成に限られず,例えば,撮像デバイスとして補色単板CCDを用いるとしても良いし,CMOSを利用しても良い。
【0038】
上記A/D(アナログ/デジタル)変換116は,CCD部114により得られたアナログ電気信号を,デジタル処理するためのデジタル信号に変換し,変換したデジタル信号を後段の回路に伝達する。
【0039】
上記リニアマトリクス回路118は,A/D変換部116から得られた光学系の3原色に分解した後の色信号の漏れを,リニア領域におけるマトリクス演算によって補正する。
【0040】
上記イメージ強調部120は,リニアマトリクス回路118の前段,即ち,A/D変換部116から得られた光学系の3原色の細かい部分を強調して各色信号に関するディテイル信号を生成する。
【0041】
上記加算器122は,リニアマトリクス回路118からの色信号とイメージ強調部120からのディテイル信号を加算し,後段の回路に伝達する。
【0042】
上記ニー回路124は,最終的な映像の表示における高輝度領域の再現性を高めるため,ニーカーブの特性を利用して高輝度域を圧縮する。かかるニーカーブにおいては,高輝度領域の信号レベルを制限する変換を行うことによって,映像の高輝度領域における再現性を確保している。
【0043】
上記ガンマ回路126は,逆ガンマ特性によりブラウン管モニタ等の映像制御表示部の映像が変化するのを,ガンマ特性を利用して防止し,最終的な映像のリニアな表示を実現する。ガンマ特性を有するガンマカーブにおいては,任意領域の信号レベルを非線形に増幅する変換を行っている。
【0044】
上記クリップ回路128は,後段の回路において,処理することができない,もしくは無視される領域の信号レベルをカットする。上記の領域は,取扱可能な信号レベルの最大値以上,もしくは最小値以下の信号であり,上記カットは,例えば,バンドパスフィルタ(BPF)等により実現可能である。
【0045】
上記Yマトリクス回路130は,クリップ回路128を通過した3つの色信号からY(輝度)信号を生成する。このとき,同時にPb/Pr(色差)信号を生成するとしても良い。
【0046】
上記MPEGエンコーダ132は,画像を圧縮処理するエンコーダの一つであり,Yマトリクス回路130で生成されたY信号およびPb/Pr信号を受信し,情報量を圧縮する手段としてのMPEGエンコード処理を行い,1つのMPEGストリーム信号を生成する。
【0047】
上記バッファメモリ134は,SRAM,DRAM,DPRAM,EEPROM等のスタティックなメモリで構成され,MPEGエンコーダ132によるMPEGストリーム信号を一旦保持する。
【0048】
上記フォーマッタ136は,バッファメモリ134に保持されたMPEGストリーム信号を,ディスク部138に格納されるディスク形態の記憶媒体に記憶するためのフォーマットに変換し,変換後のMPEGストリーム信号を,ディスク部138のアクセスタイミングに応じてディスク部138に出力する。
【0049】
上記ディスク部138は,回転により記憶位置が移動するディスク形態の記憶媒体,例えば光ディスク,磁気ディスク,ブルーレイディスクといったディスクを回転支持して,その記憶媒体にフォーマッタ136でフォーマットされたMPEGストリーム信号を書き込みおよび/または読み出しする。
【0050】
上記MPEGデコーダ140は,ディスク部138の記憶媒体に記憶されたMPEGストリーム信号をディスク部138のアクセスタイミングで読み出し,フォーマット変換を行い,その信号からY信号およびPb/Pr信号を生成して制御表示部142に伝送する。
【0051】
上記制御表示部142は,液晶等の表示装置で形成することができ,MPEGデコーダ140から受信したY信号およびPb/Pr信号によって,記憶媒体に記憶された画像を表示(再生)することができる。
【0052】
上記P/S(パラレル/シリアル)変換部144は,Yマトリクス回路130で生成されるY信号およびPb/Pr信号のパラレル信号を,シリアル転送するためのシリアル信号に変換し,後段の回路に伝達する。
【0053】
上記外部出力端子146は,外部機器,特に撮像制御装置(CCU:Camera Control Unit)に画像信号を伝送するための接続端子であり,例えば,HD−SDIといったP/S変換部144からのシリアル信号を出力する。
【0054】
上述した撮像装置により,本発明を実施するための基本的な機能が実現可能となる。本実施形態においては,かかる撮像装置で画像信号を得ると共に,画像信号を補助する画像補助信号を生成し,画像信号に画像補助信号を重畳して出力している。以下に,本発明による実施形態の全体的な説明を行う。
【0055】
(第2の実施形態:撮像システム)
図2は,第2の実施形態における撮像システムを概略的に示したシステム接続図である。かかる撮像システムは,主に撮像装置100,撮像制御装置200で形成される。撮像装置100における撮像部としてのレンズ部110,プリズム部112,CCD部114,A/D変換部116で生成された画像信号は,パラレル−シリアル変換され,同軸線210を介して撮像制御装置200に伝送される。
【0056】
上記撮像装置100内においては,上述したような色補正や,高周波域補正,あるいはガンマ補正や,高輝度圧縮などといった基本的な信号処理の他に,画像を美しくかつ鮮明に見せるための処理が行われる。かかる信号処理は,RGBの色信号それぞれに対して,例えば,10ビットのパラレル信号で行われるとしても良い。
【0057】
撮像装置100において必要な信号処理を施された画像信号は,同軸線210によって撮像制御装置200に伝送されるが,電気/光変換部を設けて伝送路を光ファイバケーブルに置換することも可能である。かかる伝送信号は,通常,HD−SDI(SMPTE292M,BTA S−004Bを参照)と呼ばれるSMPTEやARIBで規格化されたシリアル伝送フォーマットに変換される。かかる撮像装置100と撮像制御装置200との距離は,上記同軸線210を用いた場合100m程度,光ファイバを用いた場合数km程度まで延長することが可能である。
【0058】
また,撮像制御装置200においては,撮像装置100から入力されたシリアル信号から画像補助信号を抽出した後,その画像補助信号による補助処理を施して表示部に伝送する。図2においては,HD DUAL LINK表示部220,HD表示部222,SD表示部224が示され,それぞれ,LINK AおよびLINK B出力,HD SDI出力,SD SDI出力からシリアル信号を取得してその画像(映像)を表示する。また,撮像制御装置200には,遠隔制御部230も設けられ,無線または有線による遠隔操作を行うことが可能である。
【0059】
ところで,上記の撮像システムでは,撮像された画像信号に撮像者の意図を反映するため画像補助信号も利用されている。例えば,撮像装置100のアイリス調整を助けるため,輝度信号が所定のレベル範囲(例えば,75±10%)にある領域を画像信号に重畳するゼブラ信号や,所定の色信号近辺の信号帯域を狭くするために,輝度信号と色相,サチュレーション信号から所定の色領域,ここでは,人肌の色信号を検出して画像信号に重畳するスキンゲート信号等の画像補助信号が設けられている。また,ホワイトバランスをとったとき,画像中のどの部分(どの検出エリア)の信号を基にしてRGBのゲイン調整を行ったかを示す画像補助信号も考えられる。これらの画像補助信号は,撮像装置のデジタル信号処理部(処理回路)で検出され,その領域を画素単位で示すことができる。
【0060】
また,撮像されている画像に有効範囲を示す所定の枠や,画像中心を示す表示を重畳するマーカと呼ばれる画像補助信号もある。この所定枠や画像中心を示す信号は,撮像装置のデジタル信号処理部で生成される。
【0061】
さらに,撮像装置のCPUやDSPが,現在の撮像装置の状態やステータスを示すために重畳するキャラクタ信号等の画像補助信号も存在する。このキャラクタ信号は,CPUによって制御されるキャラクタジェネレータ(IC)から出力される。このような画像補助信号を有効に利用することによって,より品質の高い画像を提供することが可能となる。
【0062】
撮像装置100において,画像補助信号は,通常,ビューファインダへの信号に重畳されて撮像者に伝達される。しかし,画像信号には元々上記画像補助信号を付加することが想定されておらず,撮像装置100からの出力信号には,画像補助信号を添付することが困難であった。
【0063】
このような画像補助信号を後段の電子機器でも利用するため,出力される画像信号の画質に影響の少ない有効画像信号のLSB1ビットを犠牲にし,そこに画像補助信号を重畳するといった処理が行われていた。
【0064】
(第3の実施形態:従来の画像補助信号の重畳)
図3は,現存する画像信号の伝送を説明するための説明図である。図3は,特に1画像(1フレーム)中の任意の水平ラインのデータ系列を抽象的に示している。
【0065】
第3の実施形態において,画像信号は,Y信号を示すYデータ系列250とPb/Pr信号を示すPb/Prデータ系列252との2系列で表される。両データ系列は,10ビット×2200列のデータで構成され,各10ビットのデータは,74.25MHzの周波数で生成されている。従って,最終的に撮像装置100から出力されるシリアル信号は,74.25×20ビットで1.485GHzの周波数を有することとなる。
【0066】
図3に示す画像信号における各データ系列のEAV(End of Active Video)260は,水平ラインの同期信号であり,かつ,1ライン前の画像信号の終わりを示している。詳細には,「3FFh」,「000h」,「000h」(ここでhは数値が16進数であることを示す。以下も同様。)からなる固定のビット列により,かかる位置が水平ラインの開始位置であることを示す。また,XYZはデータ系列のステータスを示している。
【0067】
ライン番号262は,当該ラインのシリアル番号を示し,11ビットの数値を2列に跨って表示している。また,エラー検出データ264は,例えば,CRC(Cyclic Redundancy codes)により,エラー検出データ264に続く有効画像信号272のエラー検出に利用される。ここで,CRCのチェック多項式をX18+X+X+1とすることができる。それに続くブランキング領域266は,例えば,音声信号といった画像信号以外の信号が格納される。
【0068】
SAV(Start of Active Video)270は,有効画像信号272の開始点を示し,それに続く有効画像信号272は,かかる水平ラインの画像信号(色信号)が付与される。例えば,本実施形態において,有効画像信号272は,10ビット×1920列で示される。ここで,Yデータ系列は,この有効画像信号272の領域全てを利用できるが,Pb/Prデータ系列においては,Pb(Cb)とPr(Cr)とが交互に並べられる。これは,Pb/Pr信号がY信号と比較して重要度が低く,Y信号の半分のデータ量で十分に画像を表現できるからである。
【0069】
このような任意の水平ラインに画像補助信号を付与する。理解を容易にするため,ここでは,人肌信号といった所定の色信号を示すスキンゲート信号を挙げて説明する。
【0070】
図4は,画像補助信号の検出を説明するための説明図である。図4では,水泳を行っている画像300を基に,任意の水平ライン310の画像信号を形成する。かかる水平ライン310には人肌の色を表す必要がある画素が存在し,その部分は,画像補助信号において,「1」で表される。
【0071】
図5は,上記画像補助信号の伝送を具体的に示した説明図である。かかる図5においては,画像補助信号(スキンゲート信号)320が有効画像信号272のデータ数(1920列)に対応した数だけ検出される。ここでは,人肌以外の領域が0で,人肌領域が1で表されている。従って,図4の水平ライン310を参照すると,一部分322のみが値1をとり,画像補助信号としては「00…0011…1100…00」となる。
【0072】
このような画像補助信号は,図5に示すように,専らPb/Prデータ系列の下位1ビットに重畳される。これは,Pb/Pr信号がY信号と比較してS/N比が悪く,Pb/Pr信号を犠牲にした方が最終的な画像に余り影響されないためである。
【0073】
従来,このように検出された画像補助信号は,画像信号の特にPb/Prデータ系列の有効画像信号272に重畳され,図5に示すように,画像信号のLSBが犠牲となっていた。従来では,このようにLSB1ビットを犠牲にしたとしても,出力される画像信号の画質に影響が少なかった。しかし,近年では,画像の再生能力もしくは表示能力が向上し,かかるLSBにおける画像信号も無視することができなくなってきている。
【0074】
このような有効画像信号に画像補助信号を重畳する場合,重畳できる領域が限られるため,従来は,1本の画像補助信号しか送信できなかった。
【0075】
また,従来の撮像装置において画像補助信号を画像信号に付与する場合,その画像補助信号の連続するビットを加工せず,並んだままで重畳できるが,最終的にはシリアル信号に変換され,画像補助信号が離散して配置されることとなる。従って,かかる画像信号を受信する撮像制御装置では補助信号の抽出に複雑な回路構成が必要となる。
【0076】
この画像補助信号は,基となる画像信号から再度生成することも可能である。即ち,基となる画像信号さえあれば,あえて画像補助信号を付与する必要もない。しかし,その場合,撮像装置および撮像制御装置の両方で画像補助信号の検出が必要となり,コストおよび占有空間が増大する。
【0077】
(第4の実施形態:撮像装置)
第4の実施形態における撮像装置は,従来,画質に直接影響する色信号等のLSB1ビットを犠牲にし,そこに画像補助信号を重畳する構成を,画像信号のブランキング領域に移している。従って,ブランキング領域が許容できる範囲において,より多くの画像補助信号を画像信号に重畳することが可能となり,また,色信号等のLSB1ビットを犠牲にする必要がなくなることから撮像した画像の品質が維持される。
【0078】
図6は,撮像装置100の構成を概略的に示したブロック図である。かかる撮像装置100は,撮像部410と,デジタル信号処理部412と,CPU414と,信号重畳部416と,識別信号付与部418と,分周部420と,画像信号出力部422とを含んで構成される。
【0079】
上記撮像部410は,被写体を撮像し,デジタル化された画像信号を生成する。かかる撮像部410は,第1の実施形態で述べた,レンズ部110と,プリズム部112と,CCD部114と,A/D変換部116とを含むとしても良い。
【0080】
上記デジタル信号処理部412は,撮像部410から得られた画像信号をデジタル的に処理する。例えば,第1の実施形態における,リニアマトリクス回路118と,イメージ強調部120と,加算器122と,ニー回路124と,ガンマ回路126と,クリップ回路128と,Yマトリクス回路130とを含んで形成されるとしても良い。
【0081】
また,デジタル信号処理部412には,補助信号生成部としての検出回路424とマーカジェネレータ426が含まれる。上記検出回路424は,撮像部410によって取得された画像信号の各画素に対する,例えば,人肌色の有無等を検出し,画像補助信号としてのスキンゲート信号やゼブラ信号を生成する。上記マーカジェネレータ426は,所定の枠や画像中心を示す,画像補助信号としてのマーカを生成する。このように生成された画像補助信号は,デジタル値で信号重畳部416に伝送される。
【0082】
上記CPU414は,撮像装置100の各構成要素を制御すると共に,本実施形態においては画像信号に対する画像補助信号の重畳を支援する。また,CPU414は,補助信号生成部としてのキャラクタジェネレータ428も含んでいる。かかるキャラクタジェネレータ428は,画像に応じて出力すべき画像補助信号としてのキャラクタ信号を生成する。上記デジタル信号処理部412は,例えば74.25MHzといった基本クロックで動作する。
【0083】
上記信号重畳部416は,デジタル信号処理部412によって加工された画像信号に,上述した補助信号生成部(検出回路424,マーカジェネレータ426,キャラクタジェネレータ428)から得られた画像補助信号を重畳する。かかる画像補助信号は,後述の分周部420からの分周クロックでサンプリングされる。ここでは補助信号生成部として,検出回路424,マーカジェネレータ426,キャラクタジェネレータ428を挙げているが,かかる構成要素に限られず,画像補助信号を形成可能な他の構成要素であっても良い。
【0084】
本実施形態では,当該画像補助信号を,画像信号のブランキング領域,特にYデータ系列の水平ブランキング領域に重畳する。Pb/Prデータ系列の水平ブランキング領域は,既に音声信号に利用されているからである。従って,画像補助信号をYデータ系列の水平ブランキング領域に重畳することにより,データの占有領域を侵すことなく,データ領域の有効活用を図る。本実施形態では,水平ブランキング領域に画像補助信号を付加しているがそれに限らず,垂直ブランキング領域に付加するとしても良い。
【0085】
また,上記YおよびPb/Prデータ系列は,10ビット単位のパラレルデータで構成されるとしても良い。従って,信号重畳部416は,画像補助信号を10ビットのパラレル信号として重畳することができる。
【0086】
上記識別信号付与部418は,処理すべき画像補助信号の属性に対応する識別信号を,当該画像補助信号に付与する。かかる構成により,画像補助信号を利用する側,例えば撮像制御装置200において,それが画像補助信号であること,および,その画像補助信号がどのような補助を目的としているのかを即時に判断することが可能となる。
【0087】
また,この画像補助信号が複数ある場合,信号重畳部416は,該複数の画像補助信号を連続したデータとして形成しても良く,その際,識別信号付与部418は,各画像補助信号に個別の識別信号を付与することができる。
【0088】
上記分周部420は,上記画像信号の形成に利用される基本クロック,例えば,74.25MHzのクロックを整数Nで分周する。画像補助信号が複数ある場合,各画像補助信号に関して最適な分周比が与えられ,分周部420では,その各々に関して分周した値を生成する。従って,分周後のクロックは,例えば,1/N,1/N,1/Nといったように複数本形成される(ここで,N,N,Nは整数)。信号重畳部416では,かかる分周クロックによって各画像補助信号をサンプリングし,画像信号に重畳する。
【0089】
上記分周部420によって,画像補助信号毎に,画像補助信号の必要性に応じたサンプリング期間を設定することができる。従って,各画像補助信号のサンプリングを合わせる必要もない。かかる構成では,画像信号に重畳される画像補助信号が不統一になるが,例えば,上記識別信号付与部418を利用してこの問題を回避できる。
【0090】
上記画像信号出力部422は,信号重畳部416によって重畳された画像信号を,例えば,撮像制御装置200に出力する。
【0091】
また,上記撮像装置100として機能するプログラムやそのプログラムを記憶した記憶媒体も提供される。
【0092】
(第5の実施形態:撮像制御装置)
図7は,撮像制御装置200の構成を概略的に示したブロック図である。かかる撮像制御装置200は,入力部510と,補助信号判断部512と,補助信号抽出部514と,補助信号処理部516と,処理信号出力部518とを含んで構成される。
【0093】
上記入力部510は,撮像装置100から出力された画像信号を入力する。
【0094】
上記補助信号判断部512は,入力部510に入力された画像信号のブランキング領域における画像補助信号の有無を判断する。かかるブランキング領域は,Yデータ系列の水平ブランキング領域であるとしても良い。
【0095】
上記補助信号抽出部514は,画像信号に画像補助信号が存在している場合,該画像補助信号を抽出する。また,上記画像補助信号に識別信号が付与されている場合,補助信号抽出部514は,該画像補助信号の属性に対応した識別信号を識別し,該画像補助信号の処理に適した補助信号処理部に該画像補助信号を送信する。
【0096】
上記補助信号処理部516は,補助信号抽出部514で抽出された画像補助信号を,該画像補助信号の目的に応じて処理する。例えば,ゼブラの画像補助信号により輝度を調整したり,スキンゲート信号の画像補助信号により,その領域の色を制御したりする。ここでは,画像補助信号により画像信号を加工する構成を説明しているが,かかる場合に限られず,画像補助信号が単に画像確認にのみ参照されるとしても良い。
【0097】
上記処理信号出力部518は,上記補助信号処理部によって処理された画像信号をモニタ等の表示部に出力する。
【0098】
また,上記撮像制御装置200として機能するプログラムやそのプログラムを記憶した記憶媒体も提供される。
【0099】
(第6の実施形態:画像補助信号の重畳)
上述したように,本実施形態は,従来,画質に直接影響する色信号等のLSB1ビットを犠牲にし,そこに画像補助信号を重畳する構成を,画像信号のブランキング領域に移したことを特徴としている。以下,本実施形態による画像補助信号の重畳を具体的に説明する。
【0100】
第3の実施形態において説明したように,1つの水平ラインを形成する画像信号は,Y信号を示すYデータ系列250とPb/Pr信号を示すPb/Prデータ系列252の2系列で表される。両データ系列は,10ビットのデータからなり,各10ビットのデータは,74.25MHzの周波数でサンプリングされている。本実施形態においてもかかる図3の水平ラインを挙げて説明する。
【0101】
撮像装置100の信号重畳部416において,画像補助信号を基本クロックの1/N倍のクロックでサンプリングする。
【0102】
図8は,1水平ラインにおける画像補助信号を表した説明図である。基本クロックの1/N倍のサンプリングクロック600でサンプリングされた画像補助信号602は,サンプリングデータ604のような2値による連続データとなる。かかる画像補助信号602のサンプリングデータ604を8ビット単位に分け,16進数で表すと図に示すような「0Eh,1Fh,…,30h,F8h,00h」となる。ここで,各8ビットデータは,図面右側がMSB,図面左側がLSBを示している。このとき,8ビットの単位にならなかった,即ち,8ビットで割り切れなかったビット列は,足りない部分にそのビット分(ここでは4ビット)「0」を加えている。
【0103】
例えば,基本クロックの1/10でサンプリングした場合,水平ラインの全クロック数が,2200の場合,サンプリングデータ数は,2200/10=220個となる。また220ビットを8ビットで割ると27バイトと余りが4ビットとなるので,上述したように4ビットの0を加えた28バイトがサンプリングデータとして生成される。
【0104】
かかる画像補助信号を埋め込むべき画像信号は10ビットで形成されるので,ブランキング領域も10ビットのパラレル信号で形成されている。従って,上記8ビットで形成された画像補助信号にチェックビットを加えて10ビットとする。
【0105】
このチェックビットは,偶数または奇数パリティ1ビットおよびその反転値1ビットの2ビットで形成されるとしても良い。かかる反転値により,3FFや000等の禁止コードと当該画像補助信号のデータとを区別することが可能となる。
【0106】
また,このように形成された画像補助信号には,それが画像補助信号であること,および,その画像補助信号がどのような補助を目的としているのかを判断可能にする識別信号が付加される。
【0107】
図9は,このようにして生成された画像補助信号のパケットのフォーマットを示した説明図である。上述したように,10ビット単位に分けられた画像補助信号のサンプリングデータは,28列のパラレル信号で表され,前から識別信号650,サンプリングデータ652,チェックサム654の順に配置される。
【0108】
上記識別信号650は,「000h」,「3FFh」,「3FFh」で表される画像補助信号の開始位置データと,データ識別ワード(DID)と,データブロック番号ワード(DBN)または第2データ識別ワード(SDID)と,データカウントワード(DC)とから構成される。
【0109】
上記開始位置データは,当該水平ラインの開始位置を示すEAV260の「3FFh」,「000h」,「000h」を反転させたものである。上記データ識別ワード(DID)は,当該データの識別番号を記載している。また,上記データブロック番号ワード(DBN)は,同一のDIDを持つパケットにおけるシーケンス番号を示すワードであり,パケット毎にインクリメントする。このカウント値は0〜255をとる。上記第2データ識別ワードはデータ識別ワード(DID)とでデータの種類を示す。上記データカウントワード(DC)は,以下に続くサンプリングデータ652の列数(ワード数)を示す。
【0110】
上記チェックサム654は,DIDからUDW(サンプリングデータ652の最終列)までの下位9ビットの総和の下位9ビットを取ったものである。チェックサム654の10ビット目は,9ビット目のデータを反転している。
【0111】
上述したように,かかるサンプリングデータは,Yデータ系列の水平ブランキング領域に配置される。これは,Pb/Prデータ系列の水平ブランキング領域に音声信号の補助信号が既に配置され,それとの重複を避けるためである。
【0112】
図10は,画像補助信号をYデータ系列に挿入(重畳)した場合の配置図である。かかる画像補助信号は,ブランキング領域266中のエラー検出データ264の直後の領域680に配置される。従って,配置後のYデータ系列は,図10上段のようになる。
【0113】
このように信号重畳部416によって画像補助信号が重畳され,パケット化された画像信号は,画像制御装置200に送信される。画像制御装置200では,この画像信号のブランキング領域から画像補助信号を抽出する。この画像補助信号に識別信号が付与されていると,この識別信号により画像補助信号を振り分ける。
【0114】
画像制御装置200に入力された画像信号は,一旦シリアル/パラレル変換され,基の10ビット×2200列の水平ラインに復元される。画像補助信号に関しては,その10ビットのデータのパリティビットを利用して各列のエラー検出を行い,エラーが検出されていないデータ8ビットをシリアルの信号列に編集する。
【0115】
また,撮像装置100において,画像補助信号が8ビットで割り切れないが為付加したデータ(例えば,0)も取り除く。このような画像補助信号を抽出する処理は,識別信号により区別された画像処理信号の数分だけ繰り返される。
【0116】
(第7の実施形態:撮像方法,撮像制御方法)
以下に,撮像装置100や撮像制御装置200における撮像方法,撮像制御方法を簡単に説明する。
【0117】
図11は,上述した撮像装置100を利用して画像信号を生成する撮像方法の処理の流れを示したフローチャートである。
【0118】
先ず,撮像者は,撮像装置100を利用して,被写体を撮像し,デジタル化された画像信号を生成する(S700)。撮像と同時に,または撮像後に,撮像者は,撮像装置100上で画像補助信号を生成し(S702),このように生成された画像補助信号各々に対して識別信号を付与する(S704)。このような画像補助信号の生成処理は,必要とされる画像処理信号の数分だけ繰り返される。こうして,受信側である撮像制御装置200では,かかる画像補助信号がどのように画像を補助するのか即時に判断可能となる。
【0119】
続いて,画像信号のブランキング領域に上記ステップ(S702,S704)で生成された画像補助信号を重畳し(S706),この画像信号を外部に出力する(S708)。
【0120】
図12は,上述した撮像制御装置200を利用して,撮像装置100で撮像された画像信号を加工,もしくは,再生する撮像制御方法の処理の流れを示したフローチャートである。
【0121】
先ず,撮像装置100からの画像信号を入力し(S750),この入力された画像信号のブランキング領域における画像補助信号の有無を判断する(S752)。かかる補助信号判断ステップ(S752)において,画像補助信号が存在していると判断された場合,該画像補助信号を抽出し(S754),抽出された画像補助信号を,該画像補助信号の目的に応じて処理する(S756)。上記補助信号判断ステップ(S752)で,画像補助信号を検出できなかった場合,かかる画像補助信号の処理(S756)は行われない。
【0122】
こうして補助信号処理ステップ(S756)によって処理された画像信号は,さらに後段の機器,もしくはモニタに出力される(S758)。
【0123】
このような撮像方法や撮像制御方法により,画像補助信号がどのような形態であったとしてもブランキング領域に重畳することができ,画像補助信号の内容に応じてデータを再度加工する等別途の処理も実行しなくて済む。また,基本クロック(システムクロック)の分周を各画像補助信号に応じて複数生成することができるので,画像補助信号を非同期に生成,伝送することが可能となる。
【0124】
また,従来のように本線信号(有効画像信号)を犠牲にすることなく画像補助信号を送信でき,撮像した画像の品質を維持しつつ,より多くの画像補助信号を画像信号に重畳することが可能となる。
【0125】
さらに,本実施形態による撮像装置100で撮像された画像信号を,その画像補助信号に対応していない撮像制御装置もしくは他の電子機器に取り込んだとしても,画像補助信号が無視されるだけなので,画像自体に影響しない。
【0126】
以上,添付図面を参照しながら本発明の好適な実施形態について説明したが,本発明は係る例に限定されないことは言うまでもない。当業者であれば,特許請求の範囲に記載された範疇内において,各種の変更例または修正例に想到し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。
【0127】
上述した実施形態においては,撮像装置と撮像制御装置の組み合わせで画像補助信号の伝送を説明しているが,かかる場合に限られず,ブランキング領域の信号を抽出できる如何なる電子機器も,当該撮像装置と組み合わせることができる。
【0128】
また,上述の実施形態において画像補助信号の例を挙げているが,かかる場合に限られず,画像の加工の補助になると考えられるあらゆる補助信号を本実施形態に組み込むことが可能である。
【0129】
なお,本明細書の撮像方法および撮像制御方法における各工程は,必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく,並列的あるいは個別に実行される処理(例えば,並列処理あるいはオブジェクトによる処理)も含むとしても良い。
【図面の簡単な説明】
【0130】
【図1】第1の実施形態における撮像装置を概略的に示したブロック図である。
【図2】第2の実施形態における撮像システムを概略的に示したシステム接続図である。
【図3】画像信号の伝送を説明するための説明図である。
【図4】画像補助信号の検出を説明するための説明図である。
【図5】画像補助信号の伝送を具体的に示した説明図である。
【図6】撮像装置の構成を概略的に示したブロック図である。
【図7】撮像制御装置の構成を概略的に示したブロック図である。
【図8】1水平ラインにおける画像補助信号を表した説明図である。
【図9】画像補助信号のパケットのフォーマットを示した説明図である。
【図10】画像補助信号をYデータ系列に挿入した場合の配置図である。
【図11】撮像方法の処理の流れを示したフローチャートである。
【図12】撮像制御方法の処理の流れを示したフローチャートである。
【符号の説明】
【0131】
100 撮像装置
200 撮像制御装置
410 撮像部
416 信号重畳部
418 識別信号付与部
420 分周部
422 画像信号出力部
424,426,428 補助信号生成部
510 入力部
512 補助信号判断部
514 補助信号抽出部
516 補助信号処理部
518 処理信号出力部
S700 撮像ステップ
S702 補助信号生成ステップ
S704 識別信号付与ステップ
S706 信号重畳ステップ
S708 信号出力ステップ
S750 入力ステップ
S752 補助信号判断ステップ
S754 補助信号抽出ステップ
S756 補助信号処理ステップ
S758 処理信号出力ステップ

【特許請求の範囲】
【請求項1】
被写体を撮像し,デジタル化された画像信号を生成する撮像部と;
前記画像信号を補助する画像補助信号を生成する補助信号生成部と;
前記画像信号に前記画像補助信号を重畳する信号重畳部と;
前記信号重畳部によって重畳された画像信号を出力する画像信号出力部と;
を備え,
前記信号重畳部は,前記画像補助信号を画像信号のブランキング領域に重畳することを特徴とする,撮像装置。
【請求項2】
前記ブランキング領域は,Yデータ系列の水平ブランキング領域であることを特徴とする,請求項1に記載の撮像装置。
【請求項3】
前記信号重畳部は,前記画像補助信号を所定ビットのパラレル信号として重畳することを特徴とする,請求項1に記載の撮像装置。
【請求項4】
前記画像補助信号の属性に対応する識別信号を前記画像補助信号に付与する識別信号付与部をさらに備えることを特徴とする,請求項1に記載の撮像装置。
【請求項5】
前記画像信号の形成に利用される基本クロックを整数Nで分周する分周部をさらに備え,
前記画像補助信号は,前記分周された周期でサンプリングされることを特徴とする,請求項1に記載の撮像装置。
【請求項6】
コンピュータを,
被写体を撮像し,デジタル化された画像信号を生成する撮像部と;
前記画像信号を補助する画像補助信号を生成する補助信号生成部と;
前記画像信号のブランキング領域に前記画像補助信号を重畳する信号重畳部と;
前記信号重畳部によって重畳された画像信号を出力する画像信号出力部と;
して機能させることを特徴とする,プログラム。
【請求項7】
被写体を撮像し,デジタル化された画像信号を生成する撮像ステップと;
前記画像信号を補助する画像補助信号を生成する補助信号生成ステップと;
前記画像信号のブランキング領域に前記画像補助信号を重畳する信号重畳ステップと;
前記信号重畳ステップによって重畳された画像信号を出力する信号出力ステップと;
を含むことを特徴とする,撮像方法。
【請求項8】
画像信号を入力する入力部と;
前記入力された画像信号のブランキング領域における画像補助信号の有無を判断する補助信号判断部と;
前記画像補助信号が存在している場合,該画像補助信号を抽出する補助信号抽出部と;
前記抽出された画像補助信号を,該画像補助信号の目的に応じて処理する補助信号処理部と;
前記補助信号処理部によって処理された画像信号を出力する処理信号出力部と;
を備えることを特徴とする,撮像制御装置。
【請求項9】
前記ブランキング領域は,Yデータ系列の水平ブランキング領域であることを特徴とする,請求項8に記載の撮像制御装置。
【請求項10】
前記補助信号抽出部は,前記画像補助信号に付与された,該画像補助信号の属性に対応した識別信号を識別し,該画像補助信号の処理に適した補助信号処理部に該画像補助信号を送信することを特徴とする,請求項8に記載の撮像制御装置。
【請求項11】
コンピュータを,
画像信号を入力する入力部と;
前記入力された画像信号のブランキング領域における画像補助信号の有無を判断する補助信号判断部と;
前記画像補助信号が存在している場合,該画像補助信号を抽出する補助信号抽出部と;
前記抽出された画像補助信号を,該画像補助信号の目的に応じて処理する補助信号処理部と;
前記補助信号処理部によって処理された画像信号を出力する処理信号出力部と;
として機能させることを特徴とする,プログラム。
【請求項12】
画像信号を入力する入力ステップと;
前記入力された画像信号のブランキング領域における画像補助信号の有無を判断する補助信号判断ステップと;
前記画像補助信号が存在している場合,該画像補助信号を抽出する補助信号抽出ステップと;
前記抽出された画像補助信号を,該画像補助信号の目的に応じて処理する補助信号処理ステップと;
前記補助信号処理ステップによって処理された画像信号を出力する処理信号出力ステップと;
を含むことを特徴とする,撮像制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2006−333369(P2006−333369A)
【公開日】平成18年12月7日(2006.12.7)
【国際特許分類】
【出願番号】特願2005−157730(P2005−157730)
【出願日】平成17年5月30日(2005.5.30)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】