画像処理システム
【課題】インターレース方式の映像伝送機器に大きな変更を加えることなしに、撮影映像とともに付加情報を送信又は受信することを可能にする画像処理システムを提供する。
【解決手段】カメラを通じて取得されたインターレース方式の映像を処理する画像処理システム。映像をフィールド単位の単位撮影画像に区分けするフィールド区分け部４２と、付加情報をイメージ化して情報画像を生成する付加情報イメージ化部４１と、所定の単位撮影画像に代えて情報画像を割り当てる映像生成部４３と、付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部５０が備えられている。
【解決手段】カメラを通じて取得されたインターレース方式の映像を処理する画像処理システム。映像をフィールド単位の単位撮影画像に区分けするフィールド区分け部４２と、付加情報をイメージ化して情報画像を生成する付加情報イメージ化部４１と、所定の単位撮影画像に代えて情報画像を割り当てる映像生成部４３と、付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部５０が備えられている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像伝送において撮影映像以外の付加情報も処理する画像処理システムに関する。
【背景技術】
【０００２】
テレビ放送画像以外に文字放送用の文字情報をアナログテレビ放送波に組み込んで送信する文字放送が知られており、この文字放送では、アナログテレビ放送波として送信される映像信号の垂直ブランキング期間の所定水平ラインに、テレビ画面に表示させる文字信号のデータを重畳させて放送局側から送信し、テレビ受像機側では対応した水平ラインに重畳されたデータを文字放送デコーダによって検出して、この文字信号をテレビ画面に表示させる（例えば、特許文献１参照。）。この技術によれば、アナログビデオ信号の垂直ブランキング期間内の所定の１水平ライン（或いは複数水平ライン）に、デジタルデータを重畳して伝送させることで、アナログビデオ信号の映像情報とは異なる各種データ（付加情報）を送信側から受信側に伝送することができる。しかしながら、この技術では、アナログビデオ信号から映像情報を取り出すだけではなく、垂直ブランキング期間内の所定の水平ラインを同期検波して付加情報を取り出すという復調装置が必要となる。垂直ブランキング期間内の水平ラインはかなり限れた時間領域であることから、組み込まれる付加情報の伝送容量は限定されるし、また可能な限りの伝送容量を利用した場合その復調装置が複雑化して高価になるという問題が生じる。
【０００３】
撮像素子のアナログ出力信号をデジタル信号に変換した出力信号に信号処理を施し、信号処理が施されたデジタル映像データおよび信号処理時に得られた映像調整データを外部に出力するためのインターフェース手段とを備え、映像調整データのデータパケットに、被写体の照度に合わせて自動調整されるシャッタースピードやホワイトバランスの状態といった撮影情報を含ませており、シリアルインターフェース回路を介して受信したデータが映像デジタルデータか映像調整データかを判別し、受信した映像デジタルデータは映像表示に適したデータに変換し、受信した映像調整データは文字列に変換する装置が知られている（例えば、特許文献２参照。）。このようなパケット伝送技術を用いて映像データや映像調整データを伝送する技術は、送信側と受信側とで一致するフォーマットのインターフェースを備えておく必要があるが、このようなパケット伝送のフォーマットが十分には統一されておらず、使用できない分野も少なくない。
【特許文献１】特開平５−１４８６９号公報（段落番号０００２−００７０４、図１１）
【特許文献２】特開２００３−１７１４３５号公報（段落番号００００−００００、図５、図６）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記実状に鑑み、本発明の課題は、従来から良く用いられている映像伝送機器に大きな変更を加えることなしに、撮影映像とともに付加情報を送信又は受信あるいは送受信することを可能にする画像処理システムを提供することである。
【課題を解決するための手段】
【０００５】
カメラを通じて取得されたインターレース方式の映像を処理する、特に送信側の画像処理システムにおいて、上記課題を解決するための本発明による特徴構成は、前記映像をフィールド単位の単位撮影画像に区分けするフィールド区分け部と、前記映像に関する付加情報をイメージ化して情報画像を生成する付加情報イメージ化部と、所定の前記単位撮影画像に代えて前記情報画像を割り当てた付加情報付き映像を生成する映像生成部と、前記付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部とが備えられていることである。
【０００６】
この特徴構成では、カメラから送られてくる奇数フィールドと偶数フィールドからなる映像フレーム群は一旦フィールド単位で区分けされ、別の手段で取得されるとともにイメージ化（画像化）された付加情報としての情報画像を所定のフィールドにそのフィールドを利用していた単位撮影画像に代えて割り当てて嵌め込むことで、所定のフィールドに付加情報が嵌め込まれた付加情報付き映像が生成される。この付加情報付き映像は所定フォーマットのビデオ信号（例えばＮＴＳＣ方式やＰＡＬ方式のビデオ信号）に変換して送り出される。本発明では、従来のように垂直ブランキング期間などを利用するのではなく、付加情報をイメージ化して得られた情報画像をそのまま特定のフィールドの単位撮影画像に差し替えて送り込むので、付加情報の伝送のために十分な帯域確保が可能となるだけではなく、安定した付加情報の伝送が実現する。本発明は、所定のフィールドの欠落に伴う画質低下が許容される映像伝送分野においては、実質的な不利益なしに効果的である。
【０００７】
情報画像として撮影画像ともにビデオ信号にのせる付加情報の典型的な例は、伝送するべき撮影画像を取得しているカメラの撮影パラメータである。本発明ではこの撮影パラメータを広義の解釈で用いており、シャッター速度、絞り、ホワイトバランス、ストロボなどのカメラ撮影設定、レンズ収差やレンズとＣＣＤとの中心ズレといったカメラ機器特性、さらにはカメラの自己診断情報やカメラの位置・姿勢情報などといったカメラ撮影に関する全ての情報を含んでいる。それらの内の所望の撮影パラメータを情報画像として撮影画像ともにビデオ信号にのせることにより、このビデオ信号の受け取り側では、受け取った撮影パラメータを撮影画像の画像処理をはじめ種々の制御パラメータとして利用することができる。
【０００８】
さらに、好適な実施形態の１つとして、付加情報のイメージ化にあたって、バーコードやＱＲコードなどのコードイメージ変換を採用するならば、付加情報をよりコンパクトな容量でかつより高い信頼性で情報画像として伝送することができる。とくにこのようなコードイメージ変換を用いると強力な誤り訂正処理が可能であり、伝送中に発生したノイズをキャンセルすることができるし、ＱＲコードのような二次元コードの採用は非常に大きな情報量の伝送を可能にする。
【０００９】
付加情報である情報画像の所定フィールドへの割り当て処理において、奇数フィールド又は偶数フィールドの一方に前記単位撮影画像を割り当てるとともに奇数フィールド又は偶数フィールドの他方に前記情報画像を割り当てるような形態を採用する場合、情報画像と撮影画像の割り当てフィールドが前もって明確に決定されていることになるので、情報画像の嵌め込みや取り出しが容易となるし、撮影画像の再生にあたっては、奇数フィールド又は偶数フィールドのいずれかを表示するようにするだけで、画像品質の低下はあるとしても、その表示のために複雑で高価格な装置を用意する必要はない。もちろん、ある程度の装置の複雑化が容認できる場合、奇数フィールド又は偶数フィールドのいずれかから欠落している偶数フィールド又は奇数フィールドを補間処理等によって生成することで見かけ上の画像品質の低下を避けることは可能である。
【００１０】
付加情報である情報画像の所定フィールドへの割り当てが前もって設定されていない場合や、所定フィールドへの割り当てが経時的に変化するような場合では、何らかの方法で情報画像がどのフィールドに割り当ているかという割り当て情報を受信側に伝達する必要がある。そのような割り当て情報の伝達方法の１つとして、所定の前記フィールドへの前記情報画像の割り当てを示す情報を垂直ブランキング期間内に挿入することが提案される。例えば、情報画像が割り当てられたフィールドの直前の垂直ブランキング期間内の所定領域にパルスを立てるか立てないかで情報画像が割り当てられたフィールドを認識させることが可能である。この情報は１ビットで得られるので、その挿入や読み取り処理は簡単である。
【００１１】
カメラを通じて取得されたインターレース方式の映像を処理する、特に受信側の画像処理システムにおいて、上記課題を解決するための本発明による特徴構成は、カメラを通じて取得された映像を構成するフィールド単位の単位撮影画像と所定フィールドに嵌め込まれた付加情報としての情報画像とからなる付加情報付き映像のビデオ信号を入力するビデオキャプチャと、前記ビデオキャプチャによって取得された付加情報付き映像から前記単位撮影画像をもつフィールドと前記情報画像をもつフィールドとに区分けするフィールド区分け部と、前記区分けされた単位撮影画像から撮影映像を構築する撮影映像生成部と、前記区分けされた情報画像から付加情報を生成する付加情報生成部とが備えられていることである。
【００１２】
この構成では、ビデオキャプチャによって取得されたフレームを構成する奇数フィールドと偶数フィールドのうち情報画像をのせているフィールドから取り出された情報画像から付加情報が生成され、単位撮影映像をのせているフィールドから取り出された単位撮影画像から撮影映像が構築される。伝送されてきた付加情報が従来のように垂直ブランキング期間などに嵌め込まれているのではなく、所定のフィールドに情報画像として嵌め込まれているので、ビデオ信号に含まれている付加情報は一般的な画像処理モジュールを用いて簡単に取り出すことができる。撮影映像は、単位撮影映像をのせているフィールドだけを用いて構築してもよいし、必要の場合は情報画像をのせていたフィールドの分は補間処理などによって生成して画質低下の少ない撮影映像を構築してもよい。
【００１３】
フィールドから取り出された情報画像がバーコードやＱＲコードといったコードイメージに変換されたものである場合、この情報画像を対応するコードイメージデコーダによって付加情報に変換される。付加情報をバーコードなどのようにコードイメージ化する利点は上述した通りである。
【００１４】
受け取った付加情報は特定の少なくとも１つの目的に利用されるので、その目的に合わせて付加情報を加工しておくことが好ましい。そのために、好適な実施形態の１つでは、前記付加情報生成部で生成された付加情報を次処理のために処理する付加情報前処理部が備えられている。
【００１５】
特に、付加情報が前述したようなカメラの撮影パラメータの場合、同時に取得された撮影映像の画像処理時に利用されることが多い。このように付加情報に撮影映像の画像処理時に用いられる撮影パラメータが含まれている場合前記付加情報前処理部はこの撮影パラメータを撮影映像の画像処理時の補助制御パラメータに変換する機能を備えるとよい。また、カメラの撮影パラメータのなかにはこのビデオ信号の受け取り側のオペレータに音声や画面表示で知らせることが望ましいものある。従って、前記付加情報前処理部が前記付加情報に含まれている前記撮影パラメータを報知部による報知駆動信号に変換する機能を備えることも好都合である。
【００１６】
上述した送信側の画像処理システムと受信側の画像処理システムとを組み合わせることにより、本発明における所定フィールドに情報画像を嵌め込んだ付加情報付き映像伝送のための総合的な画像処理システムが構築される。従って、そのような付加情報付き映像伝送のための送受信機能を有する総合的な画像処理システムも本発明の対象であり、そのシステムは、実施形態例での作用効果を含む上述した全ての作用効果を得ることが可能である。
【００１７】
さらに、本発明は、インターレース方式における単位撮影画像であるフィールドを割り当て単位として情報画像を割り当てるのではなく、それ以外の一般的な単位撮影画像、例えばノンインターレース方式での単位撮影画像を割り当て単位として情報画像を割り当てる構成を採用することも可能である。つまり、カメラを通じて取得された映像を処理する、特に送信側の画像処理システムにおいて、上記課題を解決するための本発明による特徴構成は、前記映像に関する付加情報をコードイメージ化して情報画像を生成する付加情報イメージ化部と、前記映像を構成する単位撮影画像の少なくとも一部の領域に前記情報画像を割り当てた付加情報付き映像を生成する映像生成部と、前記付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部とを備えていることである。
この特徴構成では、カメラから送られてくる単位撮影画像の少なくとも一部の領域に、別の手段で取得されるとともにコードイメージ化（コード画像化）された付加情報としての情報画像を割り当てて嵌め込むことで、所定の単位撮影画像に付加情報が嵌め込まれた付加情報付き映像が生成される。この付加情報付き映像は所定フォーマットのビデオ信号に変換して送り出されるが、このビデオ信号を受け取る受信側の画像処理システムでは、付加情報付き映像を構成する単位撮影画像の該当箇所からコード画像化された情報画像を取り出し、デコードすることで付加情報を得ることができる。この形態は、車載カメラにおける映像伝送系などのように、撮影画像の全てに必要な情報が含まれているのではなく、撮影画像には不必要な領域も少なくないといった分野に、特に効果的に適用することができる。
【発明を実施するための最良の形態】
【００１８】
まず、本発明による画像処理システムの基本構成と原理を図１に示された模式的な図を用いて説明する。
送信側画像処理システム１は、撮影カメラとしてのＣＣＤカメラ１０と、アナログフロントエンド部２０と、付加情報取得部３０と、送信側映像処理手段４０と、送信側映像処理手段４０から送り込まれた付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部５０とを備えている。ＣＣＤカメラ１０は、撮影レンズ１１とＣＣＤ１３と撮影レンズ１１からＣＣＤ１３への光の通過を制御するシャッター１２などを備えた通常のインターレース方式のカメラであり、その撮影目的に応じて種々の場所に設置される。アナログフロントエンド部２０は、ＣＣＤカメラ１０で撮影したアナログ映像をノイズ除去、信号増幅してデジタル信号化する機能を有しており、カメラ撮影で取得された映像をインターレース方式で出力する。
【００１９】
付加情報取得部３０は、ＣＣＤカメラ１０で取得された映像とともに伝送する付加情報を取得する機能をもつものであり、取得すべき付加情報によってその形態は変化するが、本発明では、この付加情報の種別は限定されていない。映像処理手段４０は、付加情報取得部３０によって取得された付加情報をイメージ化して情報画像を生成する付加情報イメージ化部４１と、前記インターレース化された映像をフィールド単位の単位撮影画像に区分けするフィールド区分け部４２と、所定の前記単位撮影画像に代えて前記情報画像を割り当てた付加情報付き映像を生成する映像生成部４３とを備えている。これにより、付加情報取得部３０で取得された付加情報はイメージ化され情報画像として所定のフィールドにのせられて撮影画像とともに、ビデオ信号変換部５０で変換された所定フォーマットのビデオ信号（ＮＴＳＣ方式やＰＡＬ方式）で伝送される。
【００２０】
なお、付加情報である情報画像の所定フィールドへの割り当てが前もって設定されていない場合や、所定フィールドへの割り当てが経時的に変化するような場合では、何らかの方法で情報画像がどのフィールドに割り当ているかという割り当て情報を受信側に伝達する必要がある。そのようなケースでは、所定の前記フィールドへの情報画像の割り当てを示す情報としての１ビットパルスを情報画像が割り当てられたフィールドの直前の垂直ブランキング期間内に挿入する機能が映像生成部４３に実装される。
【００２１】
受信側画像処理システム２は、送信側画像処理システム１から送られてきた、フィールド単位の単位撮影画像と所定フィールドに嵌め込まれた付加情報としての情報画像とからなる付加情報付き映像のビデオ信号を入力するビデオキャプチャ６０と、このビデオキャプチャ６０よって取得された付加情報付き映像を処理して付加情報と撮影映像を作り出す受信側映像処理手段７０とを備えている。
【００２２】
受信側映像処理手段７０は、ビデオキャプチャ６０から送られてきた付加情報付き映像から単位撮影画像をもつフィールドと情報画像をもつフィールドとに区分けするフィールド区分け部７１と、区分けされた情報画像から付加情報を生成する付加情報生成部７２と、区分けされた単位撮影画像から撮影映像を再構築する撮影映像生成部７３とを備えている。さらに、付加情報生成部７２から出力された付加情報を次処理のために処理する付加情報前処理部８０、及び撮影映像生成部７３から出力された撮影映像を画像処理して所望の画像情報を取り出す画像処理部９０や撮影映像生成部７３から出力された撮影映像をディスプレイ３に表示するために表示用ビデオ信号に変換するビデオ信号制御部１００も備えられている。
【００２３】
なお、送信側画像処理システム１の映像生成部４３において情報画像が割り当てられているフィールドを特定する割り当て情報としての１ビットパルスが垂直ブランキング期間内に挿入されるケースでは、そのような割り当て情報としての１ビットパルスが垂直ブランキング期間内に挿入されているかどうかをチェックして、そのチェック結果をしめす区分けコマンドをフィールド区分け部７１に与える機能がビデオキャプチャ６０に実装される。この場合、フィールド区分け部７１は、ビデオキャプチャ６０からの区分けコマンドに基づいてビデオキャプチャ６０から送られてきた付加情報付き映像から情報画像をもつフィールドを取り出すことになる。
【００２４】
また、撮影映像生成部７３は、情報画像をのせてきたフィールド分が欠落した撮影映像、極端なケースでは奇数フィールド又は偶数フィールドだけからなる撮影映像を作り出すことになり、その画像品質は元画像より低下したものとなるので、そのような画像処理システムは高画質を要求されないところに適用されるとよい。元画像に匹敵する画像品質が要求される場合は、撮影映像生成部７３において情報画像の伝送のために欠落した撮影画像のフィールド部分を前後のフィールド画像から補間して作成するとよい。
【００２５】
上述した本発明による基本的な画像処理システムの応用例として、車両周辺（センターラインといった道路標示など）を撮影する車載カメラからの撮影画像とその車載カメラの撮影パラメータを車両内部のコントローラに伝送する第１実施形態が図２に示されている。この第１実施形態において、送信側画像処理システム１では、付加情報取得部３０が車載カメラとしてのＣＣＤカメラ１０のシャッター速度を取り込む撮影パラメータ取得部３０として構成され、付加情報イメージ化部４１が付加情報としてのシャッター速度をバーコードイメージに変換するバーコードイメージ生成部４１として構成され、ビデオ信号変換部５０がＮＴＳＣエンコーダ５０として構成されている。さらに、フィールド区分け部４２と映像生成部４３は、アナログフロントエンド部２０から入力されたインターレース方式の奇数フィールドと偶数フィールドから構成されるフレーム群としての映像に対してその偶数フィールドに情報画像（バーコードイメージ）を載せ替える処理を行っている。
【００２６】
第１実施形態における受信側画像処理システム２では、撮影情報生成部７２はバーコードデコーダ７２として構成され、付加情報前処理部８０はバーコードデコーダ７２から得られたシャッター速度と画像処理部９０から得られた撮影画像の画像データに基づいて被写体の明るさを求める被写体明度演算部８０として構成されている。送信側画像処理システム１から送られてくる付加情報付き映像信号（ビデオ信号）における情報画像の割り当てに対応して、フィールド区分け部７１と撮影映像生成部７３は、順次取り出された奇数フィールドから新しい撮影映像を生成するように構成されている。被写体明度演算部８０は、画像処理部９０から得られた撮影画像データの輝度値（撮影領域から選択された範囲における平均輝度値）及びバーコードデコーダ７２から得られたシャッター速度から道路標示等の明度、つまり車両外部の明るさが推定演算される。この推定演算に関して、道路標示（例えば路面部）に対応する画像データの輝度値とシャッター速度をパラメータとして道路標示の実際の明るさを決定する関数をテーブル化したＬＵＴを用意すると、高速の演算処理が実現する。結果的に、得られた車両外部の明るさに基づいて走行制御部４がヘッドライトや室内照明を制御する。例えば、ＣＣＤカメラ１０の撮影ポイントを車両進行方向の前方とすることで、トンネルに入る前のヘッドライトの点灯などの制御が可能となる。
【００２７】
この第１実施形態における連続した撮影画像である奇数フィールド画像と偶数フィールド画像である撮影映像に撮影パラメータとしてのシャッター速度を表すバーコードである情報画像を嵌め込んでいく様子が図３に示されている。図３から明らかなように、撮影パラメータ取得部３０によって取得されたシャッター１２のシャッター速度はバーコードイメージ生成部３０によってバーコードイメージにされ、ＣＣＤカメラ１０及びアナログフロントエンド部２０によって取得された撮影映像を構成していく奇数フィールド画像の間に、つまり偶数フィールド画像である単位撮影画像に代えてバーコードイメージが情報画像として嵌め込まれて、付加情報付き映像信号として出力される。この付加情報付き映像信号は、受信側画像処理システム２において、図３で示す反対の流れで、偶数フィールド画像からバーコードイメージが取り出され、奇数フィールド画像から単位撮影画像が取り出される。取り出されたバーコードイメージからシャッター速度が生成され、被写体明度演算部８０で利用される。取り出された奇数フィールド画像から単位撮影画像はそのまま奇数フィールドのみを用いた映像信号として出力され、ビデオ信号制御部１００を介してディスプレイ３で撮影画像として表示される。
【００２８】
前述した第１実施形態の変形例としての第２実施形態が図４に示されている。この第２実施形態における送信側画像処理システム１は、第１実施形態に較べて、撮影パラメータ取得部３０が撮影パラメータとしてシャッター速度だけでなくアナログフロントエンド部２０のホワイトバランス制御部から得られるホワイトバランスの制御状態も取得するように構成され、バーコードイメージ生成部４１は２種類の撮影パラメータを１つのバーコードイメージに変換するように構成されていることで異なっている。なお、バーコードイメージ生成部４１において、２種類の撮影パラメータを１つのバーコードイメージに変換するのではなく、撮影パラメータ毎にバーコードイメージを変換し、それらを例えば縦並びに配置して情報画像とするような構成を採用することが可能であり、これによりかなり多くの種類の撮影パラメータを情報画像に変換することができる。
【００２９】
これに対応して、この第２実施形態における受信側画像処理システム２は、第１実施形態に較べて、バーコードデコーダ７２が１つ又は複数のバーコードイメージからシャッター速度とホワイトバランスの２種類の撮影パラメータを生成するように構成され、付加情報前処理部８０としての被写体明度演算部が画像処理部９０から得られた撮影画像データのＲ・Ｇ・Ｂ画素値（又はＹＣＣ信号値）及びシャッター速度とホワイトバランスから被写体（先行車両、歩行者、センターラインなど）の実際の色を推定演算する被写体色演算部８０として構成されていることで異なっている。ここでも、この推定演算に関して、撮影画像に対応する画像データのＲ・Ｇ・Ｂ画素値とシャッター速度とホワイトバランスの状態（曇りモード、晴天モードなど）とをパラメータとして被写体の実際の色を決定する関数をテーブル化したＬＵＴを用意すると、高速の演算処理が実現する。
【００３０】
このように推定演算された被写体の実際の色は、順次送られてくる撮影映像を通じて目標被写体を追跡するようなトラッキング処理において、目標被写体の正しい認識が重要であるが、そのような被写体認識部５に実際の被写体色を与えることにより、その認識精度が飛躍的に向上し、結果的にトラッキング精度が向上するという利点がある。
【００３１】
前述した第１実施形態の変形例としての第３実施形態が図５に示されている。この第３実施形態における送信側画像処理システム１は、第１実施形態に較べて、撮影パラメータ取得部３０が撮影パラメータとしてＣＣＤカメラ１０のレンズ１１とＣＣＤ１３の中心ズレ量を取得するように構成され、バーコードイメージ生成部４１はレンズ１１とＣＣＤ１３の中心ズレ量をバーコードイメージに変換するように構成されていることで異なっている。これに対応して、この第３実施形態における受信側画像処理システム２では、バーコードデコーダ７２がレンズ１１とＣＣＤ１３の中心ズレ量を出力するので、付加情報前処理部８０がバーコードデコーダ７２から出力された中心ズレ量に基づいてこの中心ズレを修正する修正データを生成して画像処理部９０に与える修正データ生成部８０として構成されている。
【００３２】
ＣＣＤカメラ１０のレンズ１１とＣＣＤ１３の中心ズレは、図６（イ）に示されているように、レンズ１１の中心とＣＣＤ１３の中心が入射光軸に関して変位している状態を表している。このような中心ズレはＣＣＤ１３による撮影画像としての画像データの中心とレンズ１１の中心（カメラ中心）が一致しない現象を引き起こし（図６（ロ）参照）、そのような中心ズレは、画像データに基づいて車両走行の軌跡線や道路標示（センターラインなど）と車両との距離などを演算する際の誤差を導く。また、そのような中心ズレは、得られた画像データに対して種々のレンズ収差を補正する補正プログラムをかける際においても大きな補正誤差を生じさせることになる。このため、予めレンズ１１とＣＣＤ１３の中心ズレ量（ズレ方向とズレ距離）を測定しておいて、この中心ズレ量を画像処理装置側に送ってその中心ズレを修正することが重要である。この中心ズレ量はカメラの個体差として生じるものであることから、ＣＣＤカメラ１０が複数搭載される場合や、ＣＣＤカメラ１０が交換される可能性がある場合には、ＣＣＤカメラ１０側から画像処理装置側に使用中ＣＣＤカメラ１０の固有の中心ズレ量を送り込んで中心ズレ修正させることが高い精度の周辺監視装置の構築のために、特に重要である。また、このような中心ズレ量を画像処理装置側に送り込むことができるシステムでは、非常に安価な、つまりレンズ１１とＣＣＤ１３の位置精度が高くないＣＣＤカメラ１０を使用できるという利点も得られる。
【００３３】
前述した第１実施形態の変形例としての第４実施形態が図７に示されている。この第３実施形態における送信側画像処理システム１は、第１実施形態に較べて、撮影パラメータ取得部３０がいわゆる広義の撮影パラメータとしてのＣＣＤカメラ１０に発生した異常を示す異常情報をＣＣＤカメラ１０あるいはアナログフロントエンド部２０から取得するように構成され、バーコードイメージ生成部４１はこの異常情報をバーコードイメージに変換するように構成されていることで異なっている。これに対応して、この第２実施形態における受信側画像処理システム２では、バーコードデコーダ７２が異常情報を出力するので、付加情報前処理部８０がバーコードデコーダ７２から出力された異常情報に基づいてＣＣＤカメラ１０あるいはアナログフロントエンド部２０で発生している異常を認識する異常認識部８０として構成されている。異常認識部８０は、認識された異常に応じて、ブザーや表示器などの報知部６を通じて運転者に異常を報知するための報知駆動信号を出力する。さらに、異常認識部８０で認識された異常情報は車両に搭載されているＥＣＵ７に転送されると、そこで異常発生の対処プログラムが作動して、適切に対処される。つまり、この実施形態では、自己診断機能を有するＣＣＤカメラ１０からの診断結果データが撮影画像とともに送信することができる。
【００３４】
以上に、本発明による画像処理システムの基本構成及び４つの実施形態例が説明されたが、各実施形態例は単独で適用されてもよいし、それらの任意の組み合わせで適用されてもよい。しかしながら本発明による画像処理システムの応用形態は上述した４つの実施形態に限定されるわけではない。本発明を決定づける特徴は、撮影映像の内の所定のフィールド画像を付加情報をイメージ化した情報画像によって置き換えて付加情報付き映像信号として伝送したり、そのような付加情報付き映像信号から映像を得るだけではなく、付加情報をも取り出しえ種々の目的に利用することである。この特徴がもたらす作用効果を有効に利用できるあらゆる映像伝送分野において本発明は適用可能である。
さらに、インターレース方式ではなくノンインターレース方式での映像伝送系に本発明を適用することも可能である。その場合、送信側では、図示されていないが、フィールド区分け部４２に代えて、ノンインターレース方式での映像から１画面に対応する単位撮影画像を選択的に取り出し、その選択された単位撮影画像に少なくとも一部の領域（もちろん単位撮影画像まるごとでもよい）を区画する機能部を備え、その区画された領域に、バーコード方式などによりコードイメージ化された付加情報が映像生成部４３によって割り当てられるように構成される。受信側では、フィールド区分け部７１に代えて、単位撮影画像における付加情報が割り当てられた領域を切り出す機能部が備えられる。単位撮影画像において付加情報の割り当てのために区画される領域としては、伝送される映像が車外周辺の道路指標や対向車などを被写体とする車載カメラなどの場合目標となる被写体から外れた不要領域が少なくないので、この不要領域を利用するのが好都合である。
【図面の簡単な説明】
【００３５】
【図１】本発明による画像処理システムの原理を示す基本構成図
【図２】第１実施形態における画像処理システムの構成図
【図３】奇数フィールド画像と偶数フィールド画像である撮影映像に撮影パラメータとしての情報画像を嵌め込んでいく様子を示す説明図
【図４】第２実施形態における画像処理システムの構成図
【図５】第３実施形態における画像処理システムの構成図
【図６】レンズとＣＣＤの中心ズレを説明する説明図で、（イ）はレンズとＣＣＤ面の中心ズレを示す説明図、（ロ）はレンズと撮影画像データの中心ズレを示す説明図
【図７】第４実施形態における画像処理システムの構成図
【符号の説明】
【００３６】
１：送信側画像処理システム
２：受信側画像処理システム
３：ディスプレイ
４：走行制御部
５：被写体認識部
６：報知部
７：ＥＣＵ
１０：ＣＣＤカメラ（カメラ）
３０：付加情報取得部（撮影パラメータ取得部）
４０：送信側映像処理手段
４１：付加情報イメージ化部（バーコードイメージ生成部）
４２：フィールド区分け部
４３：映像生成部
５０：ビデオ信号変換部（ＮＴＳＣエンコーダ）
６０：ビデオキャプチャ
７０：受信側映像処理手段
７１：フィールド区分け部
７２：付加情報生成部（バーコードデコーダ）
７３：撮影映像生成部
８０：付加情報前処理部（被写体明度演算部；被写体色演算部；修正データ生成部；異常認識部）
９０：画像処理部
【技術分野】
【０００１】
本発明は、映像伝送において撮影映像以外の付加情報も処理する画像処理システムに関する。
【背景技術】
【０００２】
テレビ放送画像以外に文字放送用の文字情報をアナログテレビ放送波に組み込んで送信する文字放送が知られており、この文字放送では、アナログテレビ放送波として送信される映像信号の垂直ブランキング期間の所定水平ラインに、テレビ画面に表示させる文字信号のデータを重畳させて放送局側から送信し、テレビ受像機側では対応した水平ラインに重畳されたデータを文字放送デコーダによって検出して、この文字信号をテレビ画面に表示させる（例えば、特許文献１参照。）。この技術によれば、アナログビデオ信号の垂直ブランキング期間内の所定の１水平ライン（或いは複数水平ライン）に、デジタルデータを重畳して伝送させることで、アナログビデオ信号の映像情報とは異なる各種データ（付加情報）を送信側から受信側に伝送することができる。しかしながら、この技術では、アナログビデオ信号から映像情報を取り出すだけではなく、垂直ブランキング期間内の所定の水平ラインを同期検波して付加情報を取り出すという復調装置が必要となる。垂直ブランキング期間内の水平ラインはかなり限れた時間領域であることから、組み込まれる付加情報の伝送容量は限定されるし、また可能な限りの伝送容量を利用した場合その復調装置が複雑化して高価になるという問題が生じる。
【０００３】
撮像素子のアナログ出力信号をデジタル信号に変換した出力信号に信号処理を施し、信号処理が施されたデジタル映像データおよび信号処理時に得られた映像調整データを外部に出力するためのインターフェース手段とを備え、映像調整データのデータパケットに、被写体の照度に合わせて自動調整されるシャッタースピードやホワイトバランスの状態といった撮影情報を含ませており、シリアルインターフェース回路を介して受信したデータが映像デジタルデータか映像調整データかを判別し、受信した映像デジタルデータは映像表示に適したデータに変換し、受信した映像調整データは文字列に変換する装置が知られている（例えば、特許文献２参照。）。このようなパケット伝送技術を用いて映像データや映像調整データを伝送する技術は、送信側と受信側とで一致するフォーマットのインターフェースを備えておく必要があるが、このようなパケット伝送のフォーマットが十分には統一されておらず、使用できない分野も少なくない。
【特許文献１】特開平５−１４８６９号公報（段落番号０００２−００７０４、図１１）
【特許文献２】特開２００３−１７１４３５号公報（段落番号００００−００００、図５、図６）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記実状に鑑み、本発明の課題は、従来から良く用いられている映像伝送機器に大きな変更を加えることなしに、撮影映像とともに付加情報を送信又は受信あるいは送受信することを可能にする画像処理システムを提供することである。
【課題を解決するための手段】
【０００５】
カメラを通じて取得されたインターレース方式の映像を処理する、特に送信側の画像処理システムにおいて、上記課題を解決するための本発明による特徴構成は、前記映像をフィールド単位の単位撮影画像に区分けするフィールド区分け部と、前記映像に関する付加情報をイメージ化して情報画像を生成する付加情報イメージ化部と、所定の前記単位撮影画像に代えて前記情報画像を割り当てた付加情報付き映像を生成する映像生成部と、前記付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部とが備えられていることである。
【０００６】
この特徴構成では、カメラから送られてくる奇数フィールドと偶数フィールドからなる映像フレーム群は一旦フィールド単位で区分けされ、別の手段で取得されるとともにイメージ化（画像化）された付加情報としての情報画像を所定のフィールドにそのフィールドを利用していた単位撮影画像に代えて割り当てて嵌め込むことで、所定のフィールドに付加情報が嵌め込まれた付加情報付き映像が生成される。この付加情報付き映像は所定フォーマットのビデオ信号（例えばＮＴＳＣ方式やＰＡＬ方式のビデオ信号）に変換して送り出される。本発明では、従来のように垂直ブランキング期間などを利用するのではなく、付加情報をイメージ化して得られた情報画像をそのまま特定のフィールドの単位撮影画像に差し替えて送り込むので、付加情報の伝送のために十分な帯域確保が可能となるだけではなく、安定した付加情報の伝送が実現する。本発明は、所定のフィールドの欠落に伴う画質低下が許容される映像伝送分野においては、実質的な不利益なしに効果的である。
【０００７】
情報画像として撮影画像ともにビデオ信号にのせる付加情報の典型的な例は、伝送するべき撮影画像を取得しているカメラの撮影パラメータである。本発明ではこの撮影パラメータを広義の解釈で用いており、シャッター速度、絞り、ホワイトバランス、ストロボなどのカメラ撮影設定、レンズ収差やレンズとＣＣＤとの中心ズレといったカメラ機器特性、さらにはカメラの自己診断情報やカメラの位置・姿勢情報などといったカメラ撮影に関する全ての情報を含んでいる。それらの内の所望の撮影パラメータを情報画像として撮影画像ともにビデオ信号にのせることにより、このビデオ信号の受け取り側では、受け取った撮影パラメータを撮影画像の画像処理をはじめ種々の制御パラメータとして利用することができる。
【０００８】
さらに、好適な実施形態の１つとして、付加情報のイメージ化にあたって、バーコードやＱＲコードなどのコードイメージ変換を採用するならば、付加情報をよりコンパクトな容量でかつより高い信頼性で情報画像として伝送することができる。とくにこのようなコードイメージ変換を用いると強力な誤り訂正処理が可能であり、伝送中に発生したノイズをキャンセルすることができるし、ＱＲコードのような二次元コードの採用は非常に大きな情報量の伝送を可能にする。
【０００９】
付加情報である情報画像の所定フィールドへの割り当て処理において、奇数フィールド又は偶数フィールドの一方に前記単位撮影画像を割り当てるとともに奇数フィールド又は偶数フィールドの他方に前記情報画像を割り当てるような形態を採用する場合、情報画像と撮影画像の割り当てフィールドが前もって明確に決定されていることになるので、情報画像の嵌め込みや取り出しが容易となるし、撮影画像の再生にあたっては、奇数フィールド又は偶数フィールドのいずれかを表示するようにするだけで、画像品質の低下はあるとしても、その表示のために複雑で高価格な装置を用意する必要はない。もちろん、ある程度の装置の複雑化が容認できる場合、奇数フィールド又は偶数フィールドのいずれかから欠落している偶数フィールド又は奇数フィールドを補間処理等によって生成することで見かけ上の画像品質の低下を避けることは可能である。
【００１０】
付加情報である情報画像の所定フィールドへの割り当てが前もって設定されていない場合や、所定フィールドへの割り当てが経時的に変化するような場合では、何らかの方法で情報画像がどのフィールドに割り当ているかという割り当て情報を受信側に伝達する必要がある。そのような割り当て情報の伝達方法の１つとして、所定の前記フィールドへの前記情報画像の割り当てを示す情報を垂直ブランキング期間内に挿入することが提案される。例えば、情報画像が割り当てられたフィールドの直前の垂直ブランキング期間内の所定領域にパルスを立てるか立てないかで情報画像が割り当てられたフィールドを認識させることが可能である。この情報は１ビットで得られるので、その挿入や読み取り処理は簡単である。
【００１１】
カメラを通じて取得されたインターレース方式の映像を処理する、特に受信側の画像処理システムにおいて、上記課題を解決するための本発明による特徴構成は、カメラを通じて取得された映像を構成するフィールド単位の単位撮影画像と所定フィールドに嵌め込まれた付加情報としての情報画像とからなる付加情報付き映像のビデオ信号を入力するビデオキャプチャと、前記ビデオキャプチャによって取得された付加情報付き映像から前記単位撮影画像をもつフィールドと前記情報画像をもつフィールドとに区分けするフィールド区分け部と、前記区分けされた単位撮影画像から撮影映像を構築する撮影映像生成部と、前記区分けされた情報画像から付加情報を生成する付加情報生成部とが備えられていることである。
【００１２】
この構成では、ビデオキャプチャによって取得されたフレームを構成する奇数フィールドと偶数フィールドのうち情報画像をのせているフィールドから取り出された情報画像から付加情報が生成され、単位撮影映像をのせているフィールドから取り出された単位撮影画像から撮影映像が構築される。伝送されてきた付加情報が従来のように垂直ブランキング期間などに嵌め込まれているのではなく、所定のフィールドに情報画像として嵌め込まれているので、ビデオ信号に含まれている付加情報は一般的な画像処理モジュールを用いて簡単に取り出すことができる。撮影映像は、単位撮影映像をのせているフィールドだけを用いて構築してもよいし、必要の場合は情報画像をのせていたフィールドの分は補間処理などによって生成して画質低下の少ない撮影映像を構築してもよい。
【００１３】
フィールドから取り出された情報画像がバーコードやＱＲコードといったコードイメージに変換されたものである場合、この情報画像を対応するコードイメージデコーダによって付加情報に変換される。付加情報をバーコードなどのようにコードイメージ化する利点は上述した通りである。
【００１４】
受け取った付加情報は特定の少なくとも１つの目的に利用されるので、その目的に合わせて付加情報を加工しておくことが好ましい。そのために、好適な実施形態の１つでは、前記付加情報生成部で生成された付加情報を次処理のために処理する付加情報前処理部が備えられている。
【００１５】
特に、付加情報が前述したようなカメラの撮影パラメータの場合、同時に取得された撮影映像の画像処理時に利用されることが多い。このように付加情報に撮影映像の画像処理時に用いられる撮影パラメータが含まれている場合前記付加情報前処理部はこの撮影パラメータを撮影映像の画像処理時の補助制御パラメータに変換する機能を備えるとよい。また、カメラの撮影パラメータのなかにはこのビデオ信号の受け取り側のオペレータに音声や画面表示で知らせることが望ましいものある。従って、前記付加情報前処理部が前記付加情報に含まれている前記撮影パラメータを報知部による報知駆動信号に変換する機能を備えることも好都合である。
【００１６】
上述した送信側の画像処理システムと受信側の画像処理システムとを組み合わせることにより、本発明における所定フィールドに情報画像を嵌め込んだ付加情報付き映像伝送のための総合的な画像処理システムが構築される。従って、そのような付加情報付き映像伝送のための送受信機能を有する総合的な画像処理システムも本発明の対象であり、そのシステムは、実施形態例での作用効果を含む上述した全ての作用効果を得ることが可能である。
【００１７】
さらに、本発明は、インターレース方式における単位撮影画像であるフィールドを割り当て単位として情報画像を割り当てるのではなく、それ以外の一般的な単位撮影画像、例えばノンインターレース方式での単位撮影画像を割り当て単位として情報画像を割り当てる構成を採用することも可能である。つまり、カメラを通じて取得された映像を処理する、特に送信側の画像処理システムにおいて、上記課題を解決するための本発明による特徴構成は、前記映像に関する付加情報をコードイメージ化して情報画像を生成する付加情報イメージ化部と、前記映像を構成する単位撮影画像の少なくとも一部の領域に前記情報画像を割り当てた付加情報付き映像を生成する映像生成部と、前記付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部とを備えていることである。
この特徴構成では、カメラから送られてくる単位撮影画像の少なくとも一部の領域に、別の手段で取得されるとともにコードイメージ化（コード画像化）された付加情報としての情報画像を割り当てて嵌め込むことで、所定の単位撮影画像に付加情報が嵌め込まれた付加情報付き映像が生成される。この付加情報付き映像は所定フォーマットのビデオ信号に変換して送り出されるが、このビデオ信号を受け取る受信側の画像処理システムでは、付加情報付き映像を構成する単位撮影画像の該当箇所からコード画像化された情報画像を取り出し、デコードすることで付加情報を得ることができる。この形態は、車載カメラにおける映像伝送系などのように、撮影画像の全てに必要な情報が含まれているのではなく、撮影画像には不必要な領域も少なくないといった分野に、特に効果的に適用することができる。
【発明を実施するための最良の形態】
【００１８】
まず、本発明による画像処理システムの基本構成と原理を図１に示された模式的な図を用いて説明する。
送信側画像処理システム１は、撮影カメラとしてのＣＣＤカメラ１０と、アナログフロントエンド部２０と、付加情報取得部３０と、送信側映像処理手段４０と、送信側映像処理手段４０から送り込まれた付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部５０とを備えている。ＣＣＤカメラ１０は、撮影レンズ１１とＣＣＤ１３と撮影レンズ１１からＣＣＤ１３への光の通過を制御するシャッター１２などを備えた通常のインターレース方式のカメラであり、その撮影目的に応じて種々の場所に設置される。アナログフロントエンド部２０は、ＣＣＤカメラ１０で撮影したアナログ映像をノイズ除去、信号増幅してデジタル信号化する機能を有しており、カメラ撮影で取得された映像をインターレース方式で出力する。
【００１９】
付加情報取得部３０は、ＣＣＤカメラ１０で取得された映像とともに伝送する付加情報を取得する機能をもつものであり、取得すべき付加情報によってその形態は変化するが、本発明では、この付加情報の種別は限定されていない。映像処理手段４０は、付加情報取得部３０によって取得された付加情報をイメージ化して情報画像を生成する付加情報イメージ化部４１と、前記インターレース化された映像をフィールド単位の単位撮影画像に区分けするフィールド区分け部４２と、所定の前記単位撮影画像に代えて前記情報画像を割り当てた付加情報付き映像を生成する映像生成部４３とを備えている。これにより、付加情報取得部３０で取得された付加情報はイメージ化され情報画像として所定のフィールドにのせられて撮影画像とともに、ビデオ信号変換部５０で変換された所定フォーマットのビデオ信号（ＮＴＳＣ方式やＰＡＬ方式）で伝送される。
【００２０】
なお、付加情報である情報画像の所定フィールドへの割り当てが前もって設定されていない場合や、所定フィールドへの割り当てが経時的に変化するような場合では、何らかの方法で情報画像がどのフィールドに割り当ているかという割り当て情報を受信側に伝達する必要がある。そのようなケースでは、所定の前記フィールドへの情報画像の割り当てを示す情報としての１ビットパルスを情報画像が割り当てられたフィールドの直前の垂直ブランキング期間内に挿入する機能が映像生成部４３に実装される。
【００２１】
受信側画像処理システム２は、送信側画像処理システム１から送られてきた、フィールド単位の単位撮影画像と所定フィールドに嵌め込まれた付加情報としての情報画像とからなる付加情報付き映像のビデオ信号を入力するビデオキャプチャ６０と、このビデオキャプチャ６０よって取得された付加情報付き映像を処理して付加情報と撮影映像を作り出す受信側映像処理手段７０とを備えている。
【００２２】
受信側映像処理手段７０は、ビデオキャプチャ６０から送られてきた付加情報付き映像から単位撮影画像をもつフィールドと情報画像をもつフィールドとに区分けするフィールド区分け部７１と、区分けされた情報画像から付加情報を生成する付加情報生成部７２と、区分けされた単位撮影画像から撮影映像を再構築する撮影映像生成部７３とを備えている。さらに、付加情報生成部７２から出力された付加情報を次処理のために処理する付加情報前処理部８０、及び撮影映像生成部７３から出力された撮影映像を画像処理して所望の画像情報を取り出す画像処理部９０や撮影映像生成部７３から出力された撮影映像をディスプレイ３に表示するために表示用ビデオ信号に変換するビデオ信号制御部１００も備えられている。
【００２３】
なお、送信側画像処理システム１の映像生成部４３において情報画像が割り当てられているフィールドを特定する割り当て情報としての１ビットパルスが垂直ブランキング期間内に挿入されるケースでは、そのような割り当て情報としての１ビットパルスが垂直ブランキング期間内に挿入されているかどうかをチェックして、そのチェック結果をしめす区分けコマンドをフィールド区分け部７１に与える機能がビデオキャプチャ６０に実装される。この場合、フィールド区分け部７１は、ビデオキャプチャ６０からの区分けコマンドに基づいてビデオキャプチャ６０から送られてきた付加情報付き映像から情報画像をもつフィールドを取り出すことになる。
【００２４】
また、撮影映像生成部７３は、情報画像をのせてきたフィールド分が欠落した撮影映像、極端なケースでは奇数フィールド又は偶数フィールドだけからなる撮影映像を作り出すことになり、その画像品質は元画像より低下したものとなるので、そのような画像処理システムは高画質を要求されないところに適用されるとよい。元画像に匹敵する画像品質が要求される場合は、撮影映像生成部７３において情報画像の伝送のために欠落した撮影画像のフィールド部分を前後のフィールド画像から補間して作成するとよい。
【００２５】
上述した本発明による基本的な画像処理システムの応用例として、車両周辺（センターラインといった道路標示など）を撮影する車載カメラからの撮影画像とその車載カメラの撮影パラメータを車両内部のコントローラに伝送する第１実施形態が図２に示されている。この第１実施形態において、送信側画像処理システム１では、付加情報取得部３０が車載カメラとしてのＣＣＤカメラ１０のシャッター速度を取り込む撮影パラメータ取得部３０として構成され、付加情報イメージ化部４１が付加情報としてのシャッター速度をバーコードイメージに変換するバーコードイメージ生成部４１として構成され、ビデオ信号変換部５０がＮＴＳＣエンコーダ５０として構成されている。さらに、フィールド区分け部４２と映像生成部４３は、アナログフロントエンド部２０から入力されたインターレース方式の奇数フィールドと偶数フィールドから構成されるフレーム群としての映像に対してその偶数フィールドに情報画像（バーコードイメージ）を載せ替える処理を行っている。
【００２６】
第１実施形態における受信側画像処理システム２では、撮影情報生成部７２はバーコードデコーダ７２として構成され、付加情報前処理部８０はバーコードデコーダ７２から得られたシャッター速度と画像処理部９０から得られた撮影画像の画像データに基づいて被写体の明るさを求める被写体明度演算部８０として構成されている。送信側画像処理システム１から送られてくる付加情報付き映像信号（ビデオ信号）における情報画像の割り当てに対応して、フィールド区分け部７１と撮影映像生成部７３は、順次取り出された奇数フィールドから新しい撮影映像を生成するように構成されている。被写体明度演算部８０は、画像処理部９０から得られた撮影画像データの輝度値（撮影領域から選択された範囲における平均輝度値）及びバーコードデコーダ７２から得られたシャッター速度から道路標示等の明度、つまり車両外部の明るさが推定演算される。この推定演算に関して、道路標示（例えば路面部）に対応する画像データの輝度値とシャッター速度をパラメータとして道路標示の実際の明るさを決定する関数をテーブル化したＬＵＴを用意すると、高速の演算処理が実現する。結果的に、得られた車両外部の明るさに基づいて走行制御部４がヘッドライトや室内照明を制御する。例えば、ＣＣＤカメラ１０の撮影ポイントを車両進行方向の前方とすることで、トンネルに入る前のヘッドライトの点灯などの制御が可能となる。
【００２７】
この第１実施形態における連続した撮影画像である奇数フィールド画像と偶数フィールド画像である撮影映像に撮影パラメータとしてのシャッター速度を表すバーコードである情報画像を嵌め込んでいく様子が図３に示されている。図３から明らかなように、撮影パラメータ取得部３０によって取得されたシャッター１２のシャッター速度はバーコードイメージ生成部３０によってバーコードイメージにされ、ＣＣＤカメラ１０及びアナログフロントエンド部２０によって取得された撮影映像を構成していく奇数フィールド画像の間に、つまり偶数フィールド画像である単位撮影画像に代えてバーコードイメージが情報画像として嵌め込まれて、付加情報付き映像信号として出力される。この付加情報付き映像信号は、受信側画像処理システム２において、図３で示す反対の流れで、偶数フィールド画像からバーコードイメージが取り出され、奇数フィールド画像から単位撮影画像が取り出される。取り出されたバーコードイメージからシャッター速度が生成され、被写体明度演算部８０で利用される。取り出された奇数フィールド画像から単位撮影画像はそのまま奇数フィールドのみを用いた映像信号として出力され、ビデオ信号制御部１００を介してディスプレイ３で撮影画像として表示される。
【００２８】
前述した第１実施形態の変形例としての第２実施形態が図４に示されている。この第２実施形態における送信側画像処理システム１は、第１実施形態に較べて、撮影パラメータ取得部３０が撮影パラメータとしてシャッター速度だけでなくアナログフロントエンド部２０のホワイトバランス制御部から得られるホワイトバランスの制御状態も取得するように構成され、バーコードイメージ生成部４１は２種類の撮影パラメータを１つのバーコードイメージに変換するように構成されていることで異なっている。なお、バーコードイメージ生成部４１において、２種類の撮影パラメータを１つのバーコードイメージに変換するのではなく、撮影パラメータ毎にバーコードイメージを変換し、それらを例えば縦並びに配置して情報画像とするような構成を採用することが可能であり、これによりかなり多くの種類の撮影パラメータを情報画像に変換することができる。
【００２９】
これに対応して、この第２実施形態における受信側画像処理システム２は、第１実施形態に較べて、バーコードデコーダ７２が１つ又は複数のバーコードイメージからシャッター速度とホワイトバランスの２種類の撮影パラメータを生成するように構成され、付加情報前処理部８０としての被写体明度演算部が画像処理部９０から得られた撮影画像データのＲ・Ｇ・Ｂ画素値（又はＹＣＣ信号値）及びシャッター速度とホワイトバランスから被写体（先行車両、歩行者、センターラインなど）の実際の色を推定演算する被写体色演算部８０として構成されていることで異なっている。ここでも、この推定演算に関して、撮影画像に対応する画像データのＲ・Ｇ・Ｂ画素値とシャッター速度とホワイトバランスの状態（曇りモード、晴天モードなど）とをパラメータとして被写体の実際の色を決定する関数をテーブル化したＬＵＴを用意すると、高速の演算処理が実現する。
【００３０】
このように推定演算された被写体の実際の色は、順次送られてくる撮影映像を通じて目標被写体を追跡するようなトラッキング処理において、目標被写体の正しい認識が重要であるが、そのような被写体認識部５に実際の被写体色を与えることにより、その認識精度が飛躍的に向上し、結果的にトラッキング精度が向上するという利点がある。
【００３１】
前述した第１実施形態の変形例としての第３実施形態が図５に示されている。この第３実施形態における送信側画像処理システム１は、第１実施形態に較べて、撮影パラメータ取得部３０が撮影パラメータとしてＣＣＤカメラ１０のレンズ１１とＣＣＤ１３の中心ズレ量を取得するように構成され、バーコードイメージ生成部４１はレンズ１１とＣＣＤ１３の中心ズレ量をバーコードイメージに変換するように構成されていることで異なっている。これに対応して、この第３実施形態における受信側画像処理システム２では、バーコードデコーダ７２がレンズ１１とＣＣＤ１３の中心ズレ量を出力するので、付加情報前処理部８０がバーコードデコーダ７２から出力された中心ズレ量に基づいてこの中心ズレを修正する修正データを生成して画像処理部９０に与える修正データ生成部８０として構成されている。
【００３２】
ＣＣＤカメラ１０のレンズ１１とＣＣＤ１３の中心ズレは、図６（イ）に示されているように、レンズ１１の中心とＣＣＤ１３の中心が入射光軸に関して変位している状態を表している。このような中心ズレはＣＣＤ１３による撮影画像としての画像データの中心とレンズ１１の中心（カメラ中心）が一致しない現象を引き起こし（図６（ロ）参照）、そのような中心ズレは、画像データに基づいて車両走行の軌跡線や道路標示（センターラインなど）と車両との距離などを演算する際の誤差を導く。また、そのような中心ズレは、得られた画像データに対して種々のレンズ収差を補正する補正プログラムをかける際においても大きな補正誤差を生じさせることになる。このため、予めレンズ１１とＣＣＤ１３の中心ズレ量（ズレ方向とズレ距離）を測定しておいて、この中心ズレ量を画像処理装置側に送ってその中心ズレを修正することが重要である。この中心ズレ量はカメラの個体差として生じるものであることから、ＣＣＤカメラ１０が複数搭載される場合や、ＣＣＤカメラ１０が交換される可能性がある場合には、ＣＣＤカメラ１０側から画像処理装置側に使用中ＣＣＤカメラ１０の固有の中心ズレ量を送り込んで中心ズレ修正させることが高い精度の周辺監視装置の構築のために、特に重要である。また、このような中心ズレ量を画像処理装置側に送り込むことができるシステムでは、非常に安価な、つまりレンズ１１とＣＣＤ１３の位置精度が高くないＣＣＤカメラ１０を使用できるという利点も得られる。
【００３３】
前述した第１実施形態の変形例としての第４実施形態が図７に示されている。この第３実施形態における送信側画像処理システム１は、第１実施形態に較べて、撮影パラメータ取得部３０がいわゆる広義の撮影パラメータとしてのＣＣＤカメラ１０に発生した異常を示す異常情報をＣＣＤカメラ１０あるいはアナログフロントエンド部２０から取得するように構成され、バーコードイメージ生成部４１はこの異常情報をバーコードイメージに変換するように構成されていることで異なっている。これに対応して、この第２実施形態における受信側画像処理システム２では、バーコードデコーダ７２が異常情報を出力するので、付加情報前処理部８０がバーコードデコーダ７２から出力された異常情報に基づいてＣＣＤカメラ１０あるいはアナログフロントエンド部２０で発生している異常を認識する異常認識部８０として構成されている。異常認識部８０は、認識された異常に応じて、ブザーや表示器などの報知部６を通じて運転者に異常を報知するための報知駆動信号を出力する。さらに、異常認識部８０で認識された異常情報は車両に搭載されているＥＣＵ７に転送されると、そこで異常発生の対処プログラムが作動して、適切に対処される。つまり、この実施形態では、自己診断機能を有するＣＣＤカメラ１０からの診断結果データが撮影画像とともに送信することができる。
【００３４】
以上に、本発明による画像処理システムの基本構成及び４つの実施形態例が説明されたが、各実施形態例は単独で適用されてもよいし、それらの任意の組み合わせで適用されてもよい。しかしながら本発明による画像処理システムの応用形態は上述した４つの実施形態に限定されるわけではない。本発明を決定づける特徴は、撮影映像の内の所定のフィールド画像を付加情報をイメージ化した情報画像によって置き換えて付加情報付き映像信号として伝送したり、そのような付加情報付き映像信号から映像を得るだけではなく、付加情報をも取り出しえ種々の目的に利用することである。この特徴がもたらす作用効果を有効に利用できるあらゆる映像伝送分野において本発明は適用可能である。
さらに、インターレース方式ではなくノンインターレース方式での映像伝送系に本発明を適用することも可能である。その場合、送信側では、図示されていないが、フィールド区分け部４２に代えて、ノンインターレース方式での映像から１画面に対応する単位撮影画像を選択的に取り出し、その選択された単位撮影画像に少なくとも一部の領域（もちろん単位撮影画像まるごとでもよい）を区画する機能部を備え、その区画された領域に、バーコード方式などによりコードイメージ化された付加情報が映像生成部４３によって割り当てられるように構成される。受信側では、フィールド区分け部７１に代えて、単位撮影画像における付加情報が割り当てられた領域を切り出す機能部が備えられる。単位撮影画像において付加情報の割り当てのために区画される領域としては、伝送される映像が車外周辺の道路指標や対向車などを被写体とする車載カメラなどの場合目標となる被写体から外れた不要領域が少なくないので、この不要領域を利用するのが好都合である。
【図面の簡単な説明】
【００３５】
【図１】本発明による画像処理システムの原理を示す基本構成図
【図２】第１実施形態における画像処理システムの構成図
【図３】奇数フィールド画像と偶数フィールド画像である撮影映像に撮影パラメータとしての情報画像を嵌め込んでいく様子を示す説明図
【図４】第２実施形態における画像処理システムの構成図
【図５】第３実施形態における画像処理システムの構成図
【図６】レンズとＣＣＤの中心ズレを説明する説明図で、（イ）はレンズとＣＣＤ面の中心ズレを示す説明図、（ロ）はレンズと撮影画像データの中心ズレを示す説明図
【図７】第４実施形態における画像処理システムの構成図
【符号の説明】
【００３６】
１：送信側画像処理システム
２：受信側画像処理システム
３：ディスプレイ
４：走行制御部
５：被写体認識部
６：報知部
７：ＥＣＵ
１０：ＣＣＤカメラ（カメラ）
３０：付加情報取得部（撮影パラメータ取得部）
４０：送信側映像処理手段
４１：付加情報イメージ化部（バーコードイメージ生成部）
４２：フィールド区分け部
４３：映像生成部
５０：ビデオ信号変換部（ＮＴＳＣエンコーダ）
６０：ビデオキャプチャ
７０：受信側映像処理手段
７１：フィールド区分け部
７２：付加情報生成部（バーコードデコーダ）
７３：撮影映像生成部
８０：付加情報前処理部（被写体明度演算部；被写体色演算部；修正データ生成部；異常認識部）
９０：画像処理部
【特許請求の範囲】
【請求項１】
カメラを通じて取得されたインターレース方式の映像を処理する画像処理システムにおいて、
前記映像をフィールド単位の単位撮影画像に区分けするフィールド区分け部と、前記映像に関する付加情報をイメージ化して情報画像を生成する付加情報イメージ化部と、所定の前記単位撮影画像に代えて前記情報画像を割り当てた付加情報付き映像を生成する映像生成部と、前記付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部とからなる画像処理システム。
【請求項２】
前記付加情報が前記カメラの撮影パラメータである請求項１に記載の画像処理システム。
【請求項３】
前記情報画像がコードイメージである請求項１又は２に記載の画像処理システム。
【請求項４】
前記映像生成部は奇数フィールド又は偶数フィールドの一方に前記単位撮影画像を割り当てるとともに奇数フィールド又は偶数フィールドの他方に前記情報画像を割り当てる請求項１に記載の画像処理システム。
【請求項５】
所定の前記フィールドへの前記情報画像の割り当てを示す情報を垂直ブランキング期間内に挿入する請求項１に記載の画像処理システム。
【請求項６】
カメラを通じて取得された映像を構成するフィールド単位の単位撮影画像と所定フィールドに嵌め込まれた付加情報としての情報画像とからなる付加情報付き映像のビデオ信号を入力するビデオキャプチャと、前記ビデオキャプチャによって取得された付加情報付き映像から前記単位撮影画像をもつフィールドと前記情報画像をもつフィールドとに区分けするフィールド区分け部と、前記区分けされた単位撮影画像から撮影映像を構築する撮影映像生成部と、前記区分けされた情報画像から付加情報を生成する付加情報生成部とを有する画像処理システム。
【請求項７】
前記付加情報生成部は所定フォーマットのコードイメージから付加情報を生成するデコーダである請求項６に記載の画像処理システム。
【請求項８】
カメラを通じて取得された映像を処理する画像処理システムにおいて、
前記映像に関する付加情報をコードイメージ化して情報画像を生成する付加情報イメージ化部と、前記映像を構成する単位撮影画像の少なくとも一部の領域に前記情報画像を割り当てた付加情報付き映像を生成する映像生成部と、前記付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部とからなる画像処理システム。
【請求項１】
カメラを通じて取得されたインターレース方式の映像を処理する画像処理システムにおいて、
前記映像をフィールド単位の単位撮影画像に区分けするフィールド区分け部と、前記映像に関する付加情報をイメージ化して情報画像を生成する付加情報イメージ化部と、所定の前記単位撮影画像に代えて前記情報画像を割り当てた付加情報付き映像を生成する映像生成部と、前記付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部とからなる画像処理システム。
【請求項２】
前記付加情報が前記カメラの撮影パラメータである請求項１に記載の画像処理システム。
【請求項３】
前記情報画像がコードイメージである請求項１又は２に記載の画像処理システム。
【請求項４】
前記映像生成部は奇数フィールド又は偶数フィールドの一方に前記単位撮影画像を割り当てるとともに奇数フィールド又は偶数フィールドの他方に前記情報画像を割り当てる請求項１に記載の画像処理システム。
【請求項５】
所定の前記フィールドへの前記情報画像の割り当てを示す情報を垂直ブランキング期間内に挿入する請求項１に記載の画像処理システム。
【請求項６】
カメラを通じて取得された映像を構成するフィールド単位の単位撮影画像と所定フィールドに嵌め込まれた付加情報としての情報画像とからなる付加情報付き映像のビデオ信号を入力するビデオキャプチャと、前記ビデオキャプチャによって取得された付加情報付き映像から前記単位撮影画像をもつフィールドと前記情報画像をもつフィールドとに区分けするフィールド区分け部と、前記区分けされた単位撮影画像から撮影映像を構築する撮影映像生成部と、前記区分けされた情報画像から付加情報を生成する付加情報生成部とを有する画像処理システム。
【請求項７】
前記付加情報生成部は所定フォーマットのコードイメージから付加情報を生成するデコーダである請求項６に記載の画像処理システム。
【請求項８】
カメラを通じて取得された映像を処理する画像処理システムにおいて、
前記映像に関する付加情報をコードイメージ化して情報画像を生成する付加情報イメージ化部と、前記映像を構成する単位撮影画像の少なくとも一部の領域に前記情報画像を割り当てた付加情報付き映像を生成する映像生成部と、前記付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部とからなる画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−３０４１７１（Ｐ２００６−３０４１７１Ａ）
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願番号】特願２００５−１２６３８６（Ｐ２００５−１２６３８６）
【出願日】平成１７年４月２５日（２００５．４．２５）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願日】平成１７年４月２５日（２００５．４．２５）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]