カメラシステムおよび移動体カメラシステム
【課題】複数台のカメラ装置により得られた画像と合成するとカメラ毎の輝度、色味が異なり、視認しづらい。
【解決手段】第１のカメラ装置と第２のカメラ装置とを有し、上記第１のカメラ装置は撮像した画像から得られたリファレンスデータを上記第２のカメラ装置に送り、上記第２のカメラ装置は撮像した画像と上記リファレンスデータとを基に補正画像を生成し、上記記第１のカメラ装置からの第１の画像と上記補正画像とを制御手段により合成して合成画像を生成することにより、上記第１と第２のカメラ装置の設置場所に係らずカメラ画像合成時の隣接カメラ装置との画像調整を行い、合成画像の接続部分の違和感を無くする。
【解決手段】第１のカメラ装置と第２のカメラ装置とを有し、上記第１のカメラ装置は撮像した画像から得られたリファレンスデータを上記第２のカメラ装置に送り、上記第２のカメラ装置は撮像した画像と上記リファレンスデータとを基に補正画像を生成し、上記記第１のカメラ装置からの第１の画像と上記補正画像とを制御手段により合成して合成画像を生成することにより、上記第１と第２のカメラ装置の設置場所に係らずカメラ画像合成時の隣接カメラ装置との画像調整を行い、合成画像の接続部分の違和感を無くする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラシステムおよび移動体カメラシステムに関し、特に移動体に複数台の撮像装置を設け、この複数台の撮像装置に基準撮像装置を設定し、基準撮像装置のリファレンスデータを制御ユニットを介して他の撮像装置に転送し、リファレンスデータに基づいて他の撮像装置は単独に画像処理し、制御ユニットを介して画像を合成して合成画像の画質を向上するカメラシステムおよび移動体カメラシステムに関する。
【背景技術】
【０００２】
図１１に特許文献１（特許第３２９７０４０号）に開示された従来例の車載カメラ装置の画像合成表示装置８００を示す。この画像合成表示装置８００において、各カメラＣＡＭ１〜ＣＡＭ８（８０１〜８０８）の出力は車両内部の画像合成表示装置８２０に接続されている。画像合成表示装置８２０はモニタ装置８１６に接続されている。また、各カメラＣＡＭ１〜ＣＡＭ８（８０１〜８０８）の撮影領域は互いに重複するように設定されている。
画像合成表示装置８２０は、各カメラＣＡＭ１〜ＣＡＭ８（８０１〜８０８）から供給された画像を記憶する画像メモリ８２１〜８２８が設けられ、この画像メモリ８２１〜８２８が画像抽出合成部８１３に接続され、その出力が補正信号発生手段８１４と画像補正手段８１５に接続される。補正信号発生手段８１４は画像補正手段８１５に接続され、画像抽出合成部８１３から供給された制御信号により画像抽出合成部８１３から出力された合成画像を補正してモニタ装置８１６に出力する。
各カメラＣＡＭ１〜ＣＡＭ８（８０１〜８０８）から出力された画像は各画像メモリ８２１〜８２８にそれぞれ記憶され、その画像が画像抽出合成部８１３に出力される。画像抽出合成部８１３で画像メモリ８２１〜８２８から供給された各画像の補正ゲインを求め、画像補正手段８１５で補正ゲイン係数に基づいて合成画像を補正する。
このように、特許文献１においては、各カメラＣＡＭ１〜ＣＡＭ８（８０１〜８０８）で画像補正を行うのでなく、カメラ制御ユニットに相当する画像合成表示装置８２０で各カメラから供給された画像を補正している。
【０００３】
移動体、例えば自動車の運転者にとってバックするときの後方視認は難しく、死角が生じる。また、前方走行中であっても、併走している車両がドアミラーに隠れる位置に来ると、併走車が運転者の視界から消えてしまう。
このため、近年では、運転者の死角に位置する自車近傍周りを監視する車載カメラを搭載し、その撮像画像をカーナビゲーション用の表示画面に表示する様になってきている。
さらに、複数台のカメラ装置を接続した時に、画像合成した画像の共通部分を認識し、隣接するカメラ画像間の輝度や色味の差異を小さくする技術も開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３２９７０４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、車両に搭載される複数の車載カメラ装置は、同一機種のカメラが使用されるが、配置される位置や撮像する被写体の違いによって、輝度や色味のバランスはカメラ毎に異なってしまい、運転者にとって視認しづらい表示画面となってしまう。
また、一般に設置場所が異なりかつ撮影対象が異なる複数のカメラ装置を有するカメラシステムにおいて、複数のカメラ装置で撮影した画像を合成したとき、画像間の繋ぎ目において輝度と色味の違いが顕著に見られる。それぞれのカメラ装置の露光時間やゲインを同じレベルで制御すれば、カメラ装置間の色／明るさの違いは吸収されるが、本来別々に制御していたら見えていたはずの部分が見えなくなる問題がある。
例えば、図１１のＣＡＭ１（８０１）の被写体が日陰で、ＣＡＭ２（８０２）の被写体が日向の場合で、ＣＡＭ１（８０１）の露光時間やゲインと同じレベルでＣＡＭ２（８０２）を制御した場合、ＣＡＭ２（８０２）の画像は白飛びしてしまい、画像の認識が出来なくなってしまう。
【０００６】
また、特許文献１で開示されている様に、画像合成表示装置８２０内に各カメラＣＡＭ１〜ＣＡＭ８（８０１〜８０８）からの出力信号を記憶する画像メモリ８２１〜８２８を設け、各カメラ装置からの画像を記憶して各カメラ装置の重複する撮像領域を記憶する必要があり、カメラ装置の取り付け位置によって、重複する撮像領域を変更する必要がある。
上記問題に鑑みて、本発明の目的は各カメラ装置の取り付け位置を問わずカメラ画像合成時に隣接するカメラとの輝度や色の調整ができるようにすることである。
また、輝度や色は各カメラ装置で単独に調整され、車両内や特定の場所に備えられたＣ／Ｕ（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ；カメラコントロールユニット）では、マスター（基準）とするカメラ装置から輝度と色信号のリファレンスデータを受信し、他のカメラ装置に転送することで、Ｃ／Ｕの負荷を削減することができる。
【課題を解決するための手段】
【０００７】
本発明の移動体カメラシステムは、移動体と、上記移動体に設置され、画像信号を調整する信号処理部を有する複数台のカメラ装置と、上記複数台のカメラ装置の中から基準とする第１のカメラ装置を任意に選択し、該第１のカメラ装置からリファレンスデータが供給され、第２のカメラ装置の画像信号を補正するためのリファレンスデータを上記第２のカメラ装置に転送するカメラ制御ユニットと、リファレンスデータに基づき上記第２のカメラ装置は各カメラ装置に入力された画像信号を単独に補正し、上記第１のカメラ装置と上記第２のカメラ装置から出力された画像が合成され、該合成画像が表示される表示装置とを有する。
本発明のカメラシステムは、第１のカメラ装置と第２のカメラ装置とを有し、上記第１のカメラ装置は撮像した画像から得られたリファレンスデータを上記第２のカメラ装置に送り、上記第２のカメラ装置は撮像した画像と上記リファレンスデータとを基に補正画像を生成し、上記記第１のカメラ装置からの第１の画像と上記補正画像とを制御手段により合成して合成画像を生成することを特徴とする。
【発明の効果】
【０００８】
本発明では、それぞれのカメラ装置は適正に制御されて、見やすい合成画像が出力される。また、画像の接合部分において、色と明るさの違和感をなくすることができる。
また、上記２つのバランスとしてどちらに重点を置くかの選択、調整ができる構成にすることにより、色／輝度の調整は、各カメラ装置内で単独に制御を行い、各カメラ装置は取り付け位置を認識する事無く独立に制御をすることができる。
【図面の簡単な説明】
【０００９】
【図１】カメラシステムの最小ブロック構成を示す図である。
【図２】車載（移動体）カメラ装置のシステム構成を示す概要図である。
【図３】車載カメラ装置で合成された画像合成図を模式的に示した図である。
【図４】２台接続したカメラシステムのブロック構成を示す図である。
【図５】カメラ装置の露光状態と利得の関係を示すグラフである。
【図６】色座標上の色信号に対する座標位置を示す図である。
【図７】カメラ装置のブロック構成を示す図である。
【図８】図７に示すカメラ装置の色信号処理ブロックの回路構成を示す図である。
【図９】カメラ装置の自動露光制御装置のブロック構成を示す図である。
【図１０】カメラ装置の自動ホワイトバランス装置のブロックの構成を示す図である。
【図１１】従来例のカメラ装置の画像合成表示装置のブロック構成を示す図である。
【発明を実施するための形態】
【００１０】
図１に本発明のカメラシステムの実施形態例の一つである移動体カメラシステムを示す。図１に示すカメラシステム１００はその最小構成例を示す。
Ｃａｍ（カメラ装置）―１（１０１）とＣａｍ（カメラ装置）−２（１０２）がＣａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ（Ｃ／Ｕ：カメラコントロールユニット：カメラ制御部）１０３に接続される。
いま仮に、Ｃａｍ−１装置（１０１）を基準（マスター）カメラ装置とし、Ｃａｍ−２装置（１０２）を被調整用スレーブカメラ装置とする。Ｃａｍ−１装置（１０１）、Ｃａｍ−２装置（１０２）でそれぞれ被写体を撮影した後、Ｃ／Ｕ１０３はマスターカメラ装置に設定したＣａｍ−１装置（１０１）からリファレンスデータ（輝度／色状態）を受信してその値をそのまま他のスレーブカメラ装置のＣａｍ−２装置（１０２）に転送する。Ｃａｍ−２装置（１０２）では、リファレンスデータを受信し、このリファレンスデータを基に画像を調整する。
リファレンスデータとして、例えば輝度信号や色信号がある。スレーブカメラ装置のＣａｍ−２装置（１０２）で、輝度信号を用いて、シャッタースピードの調整やＡＦＥ（アナログフロントエンド）の利得制御装置のゲインを制御し、また色信号を用いてＤＳＰの色信号処理回路のＡＷＢ（オートホワイトバランス）アンプの利得を調整して色調整を行う。
【００１１】
図２に本発明の他の実施形態である移動体を車両とした場合の車載（移動体）カメラシステム２００のブロック構成を示す。
図２(ａ)に、車両２１０のフロントにカメラ装置Ｃａｍ１（Ｆｒｏｎｔ）、左側にカメラ装置Ｃａｍ２（Ｓｉｄｅ−Ｌ）、右側にカメラ装置Ｃａｍ３（Ｄｉｄｅ−Ｒ）、後方にカメラ装置Ｃａｍ４（Ｒｅａｒ）を装着したときの車載カメラシステム２００の構成を示す。
ここではカメラ装置Ｃａｍ１〜Ｃａｍ４の４台で構成された例を示すが、図１に示したように、カメラ装置は基本的に２台以上で構成される場合に適用される。また、各カメラ装置Ｃａｍ１〜Ｃａｍ４の取付位置や接続位置は図２に示した位置に限定されない。
【００１２】
図２（ａ）に示した車載カメラシステム２００のブロック構成を図２（ｂ）に示す。図２（ｂ）の車載カメラシステム２００は、車両に搭載されたカメラ装置Ｃａｍ−１（２５１）〜カメラ装置Ｃａｍ−４（２５４）と、Ｃ／Ｕ（カメラコントロールユニット）２５０、表示装置２７０で構成されている。
また、Ｃ／Ｕ２５０はバッファ回路２６１〜２６４と切り出し＆（アンド）合成回路２６５で構成されている。
【００１３】
カメラ装置Ｃａｍ−１（２５１）〜Ｃａｍ−４（２５４）は、自動露光制御（以下、ＡＥとも記載する）／オートホワイトバランス制御（以下、ＡＷＢ制御とも記載する）等が搭載され、カメラ毎に輝度の制御／色の制御が可能である。
各カメラ装置Ｃａｍ−１（２５１）〜Ｃａｍ−４（２５４）には、現在のＡＥの状態と現在のＡＷＢの状態を通知する機能と、Ｃ／Ｕ２５０からＡＥとＡＷＢのリファレンスデータを受信する機能を備える。
Ｃ／Ｕ２５０は、各カメラ装置Ｃａｍ−１（２５１）〜Ｃａｍ−４（２５４）から出力される画像を蓄えるためのＢｕｆｆｅｒ（バッファまたはメモリ）を備え、各カメラ装置Ｃａｍ−１（２５１）〜Ｃａｍ−４（２５４）の画像の表示部分の切り出しと合成を行う機能を備える。
ここで合成された画像は、カーナビゲーション等の表示装置２７０、例えばモニタに表示される。
またＣ／Ｕ２５０は、各カメラ装置Ｃａｍ−１（２５１）〜Ｃａｍ−４（２５４）から現在のＡＥの状態と現在のＡＷＢの状態を読み出す機能と、各カメラ装置Ｃａｍ−１（２５１）〜Ｃａｍ−４（２５４）にＡＥのリファレンス値（データ）とＡＷＢのリファレンス値（データ）を送信する機能を備える。
【００１４】
図３に合成された画像の例を示す。この合成した画像は、図２（ａ）に示すカメラ装置を４台接続した場合の例である。この画像を合成するためのカメラ装置の台数や画像の切り出し位置、合成方法については限定しない。また、図３の合成画像は車両画像を中心に各カメラ装置に対応した位置に画像が表示されているが、Ｃ／Ｕ２５０を用いて画像位置を変更し、また全体画像の回転などを行うことができる。
なお、例えば、マスターとするカメラ装置Ｃａｍ−１（２５１）で撮影されたリファレンスデータ生成用の画像と、このカメラ装置Ｃａｍ−１（２５１）からの合成画像生成用の画像とは、同じでも、異なってもよい。
【００１５】
図４に、最小構成として２台のカメラ装置３１０，３２０を有するカメラシステム３００を示す。図４において、実際はカメラ装置が４台構成や５台構成となるが、構成別の制御は上位装置であるＣ／Ｕ３３０にて制御が可能となる制御方式としているため、ここでは２台構成で説明する。
このカメラシステム３００において、一方のカメラ装置（Ｃａｍ−１（３１０））をマスターとし、他方のカメラ装置（Ｃａｍ−２（３２０））をスレーブとした時の動作を説明する。ただし、マスターカメラ装置３１０は一義的に決めるのではなく、Ｃ／Ｕ３３０でその時、場所などの条件に応じて適宜変更することができる。
Ｃ／Ｕ３３０の動作は、マスターであるカメラ装置Ｃａｍ−１（３１０）の撮像信号を受信し、リファレンスデータとしてスレーブのカメラ装置Ｃａｍ−２（３２０）に送信する。この動作を一定周期で実行する。
また、Ｃ／Ｕ３３０は、マスターであるカメラ装置Ｃａｍ−１（３１０）に対してリファレンスデータ“０”（補正なし）を転送することもできる。
このとき、スレーブのカメラ装置Ｃａｍ−２（３２０）の状態を検出する必要はないため、通信は必ずしも必要ではない。しかし、スレーブ／マスターが切り替わったりした場合には、補正なしの“０”信号を送信する必要がある。
【００１６】
カメラ装置Ｃａｍ−１（３１０）は、補正なしの指定であるため、ＡＥ／ＡＷＢでは何も補正されず通常の動作が行われる。
一方、カメラ装置Ｃａｍ−２（３２０）は、カメラ装置Ｃａｍ−１（３１０）の状態が、補正用リファレンスデータとして受信されるので、その値を加味した補正がオート制御に組み込まれる。
カメラ装置Ｃａｍ−１（３１０）から出力されたリファレンスデータとカメラ装置Ｃａｍ−２（３２０）から出力された画像をＣ／Ｕ３３０を介して画像を合成する。
なお、マスターであるカメラ装置Ｃａｍ−１（３１０）で撮影されたリファレンスデータ生成用の画像と、このカメラ装置Ｃａｍ−１（３１０）からの合成画像生成用の画像とは、同じでも、異なってもよい。
【００１７】
次に、カメラ装置が複数台（ここでは４台接続されている事を想定）接続された車載（移動体）カメラシステムの場合の動作について図２を用いて説明する。
車が前進している場合、運転手にとって、一番写したい（モニタで確認したい）場所は、Ｆｒｏｎｔ（前方）の位置である。
この場合、Ｃ／Ｕ２５０は、Ｆｒｏｎｔカメラ装置Ｃａｍ１（２５１）をマスター（基準）とし、Ｓｉｄｅ−Ｌ（左）カメラ装置Ｃａｍ−２（２５２）／Ｓｉｄｅ−Ｒ（右）カメラ装置Ｃａｍ−３（２５３））／Ｒｅａｒ（後方）カメラ装置Ｃａｍ−４（２５４）をスレーブとし、Ｆｒｏｎｔ（前方）カメラ装置Ｃａｍ−１（２５１）の色／輝度のデータを、Ｓｉｄｅ−Ｌ／Ｓｉｄｅ−Ｒ／Ｒｅａｒの各カメラ装置に送信する。
Ｓｉｄｅ−Ｌカメラ装置Ｃａｍ−２（２５２）／Ｓｉｄｅ−Ｒカメラ装置Ｃａｍ−３（２５３）／Ｒｅａｒカメラ装置Ｃａｍ−４（２５４）は、Ｆｒｏｎｔカメラ装置Ｃａｍ１（２５１）の色／輝度データをリファレンスデータとしＣ／Ｕ２５０を介して受信し、各カメラ装置内のカメラ信号処理ブロックで、色／輝度を調整する。
ここで、Ｒｅａｒカメラ装置Ｃａｍ−４（２５４）に対しては、Ｓｉｄｅ−Ｌカメラ装置Ｃａｍ−２（２５２）／Ｓｉｄｅ−Ｒカメラ装置Ｃａｍ−３（２５３）のデータの平均値をマスターデータとすることもできる。
【００１８】
カメラ装置としては取り付け位置の判断を行わずに制御をかけるため、Ｃ／Ｕ２５０側で、マスターカメラ装置Ｃａｍ１（２５１）の選択、スレーブカメラ装置の選択を行い、スレーブカメラ装置に送信するリファレンスデータの生成を自由に行うことができる。
また、Ｃ／Ｕ２５０側では、車のギア（車が前進しているのか、後進しているのか）をマスターカメラ装置Ｃａｍ１（２５１）の選択の判断材料とすることや、車が前進している時は、Ｆｒｏｎｔカメラ装置Ｃａｍ１（２５１）をマスターと判断することや、後進している時は、Ｒｅａｒカメラ装置Ｃａｍ−４（２５４）をマスターと判断することができる。
さらに、全て同じカメラ装置が取り付けられている場合、全てのカメラ装置をスレーブとして、同じ色／輝度のデータを送信し、全てのカメラ装置の制御値を同じにすることもできる。
このように、本移車載カメラシステム２００では、Ｃ／Ｕ２５０では画像の信号処理、輝度／色信号の調整は行わないで、各スレーブカメラ装置で単独に調整するシステム構成としている。
これまで、車載カメラシステムについて述べてきたが、本発明は車両などの移動体カメラシステムに限定するものではない。移動体以外のシステムにも明らかに適用することができ、例えば、屋内、屋外に上述した複数のカメラ装置を備えたカメラシステムを構築し、色と輝度の違和感のない画像を合成することができる。
なお、例えば、マスターとするカメラ装置Ｃａｍ１（２５１）で撮影されたリファレンスデータ生成用の画像と、このカメラ装置Ｃａｍ１（２５１）からの合成画像生成用の画像とは、同じでも、異なってもよい。
【００１９】
次に、図２と図５を用いてカメラ装置単体の基本的な制御原理について述べる。各カメラ装置は、Ｃ／Ｕ２５０から転送されたリファレンスデータを受信し、この受信したリファレンスデータに基づき各カメラ装置内で単独に輝度、色調整を行い、調整した画像をＣ／Ｕ２５０に転送する。その後、各カメラ装置から転送された画像が合成されて不図示の表示装置に出力し、合成画像が表示される。
Ｃ／Ｕ２５０はマスターカメラ装置２５１からスレーブカメラ装置２５２〜２５４にリファレンスデータを転送するが、この他に状態通知機能なども有している。
この状態通知機能に関するデータは、自発的に通知するパスは通信仕様上存在しないため、状態をカメラ装置（２５１〜２５４）内のバッファ回路２６１〜２６４、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃcｅｓｓ Ｍｅｍｏｒｙ）等に格納しておき、一定周期にＣ／Ｕ２５０が参照する。
カメラ装置内のＲＡＭへ格納するデータとして、露光状態と色状態を示すデータがある。
【００２０】
次に露光状態について述べる。露光状態としてのＡＥ（自動露光）レベルは以下の式で表される。
ＡＥレベル＝シャッターゲイン＋ゲインレベル
このＡＥレベルの具体的な特性を図５に示す。
図５に、ＡＥレベル、シャッターゲイン、ゲインレベルの関係を示し、横軸を露光状態（明るさ）、縦軸をＡＥレベル、シャッターゲイン、ＡＦＥの利得制御装置のゲインとする。
シャッターゲインは明るさｈ２まではレベルＬ４と一定であるが、ｈ２からｈ３になると直線的に減少し、ｈ３になるとレベルＬ２となる。このシャッターゲインにより受光素子の露光時間が制御される。
一方、ＡＦＥとディジタル信号処理回路の利得を制御するゲインレベルは、明るさｈ１からｈ２までレベルＬ３からＬ１へと直線的に減少するが、明るさｈ２からｈ３までは一定レベルＬ１となる。
マスターカメラ装置２５１で、ＡＥレベルが測定されると、それに対応してシャッターゲインとＡＦＥとディジタル信号処理回路の利得制御のゲインレベルが求まる。すなわち、明るさｈ１のときＡＥレベルはＬ６で、シャッターゲインはＬ４、ＡＦＥのゲインはＬ３である。このシャッターゲインＬ４とＡＦＥのゲインＬ３がリファレンスデータの輝度情報としてＣ／Ｕを介してスレーブカメラ装置２５２〜２５４に転送される。
明るさｈ２では、ＡＥレベルはＬ５で、シャッターゲインはＬ４、ＡＦＥのゲインはＬ１であり、明るさｈ３では、ＡＥレベルはＬ３で、シャッターゲインはＬ２、ＡＦＥのゲインはＬ１となる。
このように、マスターカメラ装置２５１で測定したＡＥレベルからシャッターゲイン、ＡＦＥのゲインがリファレンスデータとして求められ、このリファレンスデータがＣ／Ｕ２５０を介してスレーブカメラ装置２５２〜２５４に転送される。
そして、各カメラ装置はこのリファレンスデータに基づき、各カメラ装置内で単独にＡＥレベルを調整する。
【００２１】
次に、リファレンスデータとして輝度信号以外に色（信号）状態を用いた例を示す。プリホワイトバランス調整後、新たな撮影画像をカメラ装置のＯＰＤ（光検出器）でＡＷＢ調整を行うため、プリホワイトバランス調整値に基づいたＲ／Ｇ、Ｂ／Ｇ座標を格納しておく。ただしプリホワイトバランスは各カメラ装置２５１〜２５４で基準白色を撮影し、ＡＷＢ調整しかつその時に得られる各利得制御回路の調整データ例えばゲイン情報を記憶装置に格納し、各カメラ装置の製造ばらつきを無くする。
【００２２】
次に、色（信号）状態のグラフを図６に示す。色座標として、横軸をＲ／Ｇとし、縦軸をＢ／Ｇとする。ここで、Ｒ，Ｇ，Ｂは原色分離回路で得られた画素信号とし、Ｒは画素の赤信号、Ｂは画素の青信号、Ｇは画素の緑信号をそれぞれ示す。
図６は、各カメラ装置（Ｃａｍ１（２５１）〜Ｃａｍ４（２５４））のＯＰＤ（光検出器）で得られたＡＷＢ（オートホワイトバランス）の、プリホワイトバランス調整に基づいたＲ／Ｇ、Ｂ／Ｇ座標に変換した色状態を示す。この座標変換して得られた値は、各カメラ装置（Ｃａｍ１（２５１）〜Ｃａｍ４（２５４））で異なり、座標上で異なる位置にある。
【００２３】
図７に、本発明における他の実施形態である各カメラ（撮像）装置４００のブロック構成を示す。
カメラ装置４００は、レンズ４１０、シャッター機能付きセンサー４２０、ＡＦＥ（アナログフロントエンド）４３０、カメラ信号処理ブロック４４０、Ｃ／Ｕ（カメラコントロールユニット）４５０、マイクロコンピュータ４６０等で構成される。
レンズ４１０は、外部からの光を集光し、撮像素子上へ画像を結像する。シャッター機能付きセンサー４２０は、撮像素子で光を電気信号に変換し、また電子シャッターにより、電荷の蓄積時間を可変する。
ＡＦＥ４３０は、相関２重サンプリング回路によりノイズを除去し、ＡＧＣ（自動利得制御）とセンサーから入力されたアナログ信号をディジタル信号に変換する。
カメラ信号処理ブロック４４０は、センサーから供給された入力信号を映像信号に変換する。
Ｃ／Ｕ４５０は、カメラ信号処理ブロック４４０から映像信号と同期（ＳＹＮＣ）信号が供給され、マスターカメラ装置を設定（選択）したり、マスターカメラ装置から転送された輝度／色信号に関するリファレンスデータをスレーブカメラ装置に送信したりし、この他各カメラ装置から送られた画像を合成する機能を有する。また各カメラ装置の制御は、マイクロコンピュータ４６０と通信することにより行われる。
マイクロコンピュータ４６０は、シャッター機能付きセンサー４２０、ＡＦＥ４３０、カメラ信号処理ブロック４４０に接続され、Ｃ／Ｕ４５０から供給されたリファレンスデータに関連した制御信号をスレーブカメラ装置に送り、各スレーブカメラ装置は単独で輝度／色信号を制御する。
【００２４】
次に、上述した露光状態／色状態を示すリファレンスデータを用いたカメラ装置４００の動作について述べる。
露光状態のシャッターゲインは、図７のシャッター機能付きセンサー４２０の電子シャッターの制御値を示し、ゲインレベルは、ＡＦＥ４３０のＡＧＣの制御値とカメラ信号処理ブロック（４４０）内に持つディジタルゲインアンプの制御値を示す。
マスターカメラ装置から供給されたリファレンスデータがＣ／Ｕ４５０を介して他のカメラ装置のマイクロコンピュータ４６０に転送されると、マイクロコンピュータ４６０は、露光状態に対応するシャッターゲイン、ゲインレベルを発生し、シャッター機能付きセンサー４２０にシャッターゲインを制御する制御信号を供給して図５に示す電子シャッターのゲイン（期間）を調整する。
また、マイクロコンピュータ４６０は、ＡＦＥ４３０のＡＧＣ回路にゲインレベルの制御電圧を供給して利得を制御し、あるいはカメラ信号処理ブロック４４０にゲインレベルの制御信号を供給してディジタル信号処理回路のディジタルゲインを制御する。
また、色状態を示すリファレンスデータもカメラ信号処理ブロック４４０に供給されて、色処理回路を調整する。
このように、Ｃ／Ｕ２５０で合成画像の輝度、色調整を行うのではなく、各カメラ装置内で基準カメラ装置からＣ／Ｕ２５０を介して転送されて来たリファレンスデータを用いて輝度、色信号の調整を行う。
【００２５】
図８は、図７に示したカメラ信号処理ブロック４４０の一部を構成する色信号処理回路５００のブロック構成図である。
色信号処理回路５００は、原色分離回路５０１、ＷＢ（ホワイトバランス）アンプ５２０、ＯＰＤ（オプティカルディテクタ；光検出器）５３０、マイクロコンピュータ５４０で構成される。また、ＷＢアンプ５２０は原色Ｒ，Ｇ，Ｂの利得を制御する利得制御アンプ５２１〜５２３で構成される。
原色分離回路５０１は、ＡＦＥ４３０に設けられたＡＤ（アナログ・ディジタル）変換器から出力されたディジタル信号を、それぞれ赤、青、緑の原色信号Ｒ，Ｇ，Ｂに分離し、これらの原色信号Ｒ，Ｇ，Ｂをそれぞれ利得制御アンプ５２１〜５２３に出力する。
また、原色信号Ｒ，Ｇ，Ｂは、ホワイトバランス調整するため、ＯＰＤ５３０にも供給される。
【００２６】
ＯＰＤ５３０は、原色信号Ｒ，Ｇ，Ｂをフィールドまたはフレーム毎に積分する回路を有する。このため、ＯＰＤ５３０は、原色信号Ｒ，Ｇ，Ｂのたとえばフィールド単位の積分値データＩｎｔｇＲ，ＩｎｔｇＧ，ＩｎｔｇＢを求め、これらの積分値データＩｎｔｇＲ，ＩｎｔｇＧ，ＩｎｔｇＢをマイクロコンピュータ５４０に出力する。
マイクロコンピュータ５４０は、内蔵や外部メモリを有し、これらのメモリから読み出されたプログラムに従って、座標変換、色温度の引き込み枠設定とその制御、色温度制御、Ｒ，Ｇ，Ｂ毎のゲイン設定などの処理を実行する。
ＷＢアンプ５２０を構成する利得制御アンプ５２１〜５２３は、マイクロコンピュータ５４０から出力されたゲイン値Ｒゲイン、Ｇゲイン、Ｂゲインに基づいて、必要に応じてゲインが変更可能である。
利得制御アンプ５２１の入力には、原色分離回路５０１から出力された原色信号Ｒが供給され、マイクロコンピュータ５４０から出力されたＲゲインを用いて増幅または減衰の利得が制御される。
利得制御アンプ５２２の入力には、原色分離回路５０１から出力された原色信号Ｇが供給され、マイクロコンピュータ５４０から出力されたＧゲインを用いて増幅または減衰の利得が制御される。
また、利得制御アンプ５２３の入力には、原色分離回路５０１から出力された原色信号Ｂが供給され、マイクロコンピュータ５４０から出力されたＢゲインを用いて増幅または減衰の利得が制御される。
【００２７】
図８に示す色信号処理回路５００の回路構成はフィードフォワード方式になっている。
一般に、ＷＢアンプ５２０の利得制御アンプ５２１〜５２３の各出力信号をＯＰＤ５３０にフィードックし、そのレベルと原色分離回路５０１から出力された原色信号Ｒ，Ｇ，Ｂをそれぞれ比較し、その差信号に応じて制御信号を発生し、ＷＢアンプ５２０を制御するフィードバック構成が多い。
これに対して、図８の色信号処理回路５００はフィードフォワード構成であるので、フィードバック構成と比較して系の応答特性が改善される。
【００２８】
次に、色信号処理回路５００の動作について説明する。図８において、図７に示すシャッター機能付きセンサー４２０／ＡＦＥ４３０から得られた画像信号が信号処理され、ディジタル信号として原色分離回路５０１に入力される。
原色分離回路５０１では入力されたディジタル信号がＲ(赤)、Ｇ(緑)、Ｂ(青)の原色信号に分離される。分離された原色信号Ｒ，Ｇ，ＢはＷＢアンプ５２０に入力される。原色分離されたＲ，Ｇ，Ｂ信号は、ホワイトバランス調整に利用するべく、オプティカルディテクタ(ＯＰＤ)５３０にも供給される。ＯＰＤ５３０はＲ，Ｇ，Ｂの各原色信号をフィールド毎に積分する積分回路を有する。
ＯＰＤ５３０で得られた積分値データは、次段のマイクロコンピュータ５４０に供給される。マイクロコンピュータ５４０は、ＯＰＤ５３０から供給されるＲ，Ｇ，Ｂ各積分値データを基に、Ｒ／ＧとＢ／Ｇのデータを出力し、Ｒ／Ｇ、Ｂ／Ｇとプリホワイトバランス調整値に基づいてＲ信号、Ｇ信号、Ｂ信号の各ゲインを設定する。これらの動作は、マイクロコンピュータまたはＤＳＰ（ディジタル信号演算装置）などによって実行される。
ここで、プリホワイトバランス調整とは、基準色温度下で基準の白色を決める調整のことを示す。
【００２９】
次に、輝度状態と色状態に基づいて各カメラ装置の輝度／色を制御するオート補正機能について説明する。
Ｃ／Ｕからから受け取るデータは、前述したＡＥレベルとＡＷＢの座標位置となる。単純なケースとしてＣ／Ｕはマスターとなるカメラ装置から、リファレンスデータを取り出してその値をそのまま他のカメラ装置に転送することで、色／輝度の調整が可能となる。
尚、Ｃ／Ｕは、各カメラ装置に対して輝度／色調整を実行する場合と実効しない場合のフラッグを送り調整モードを制御する。例えば、ＡＥレベル／ＡＷＢ座標位置として“０”を指定した場合は、オート補正を禁止するモードと定義し、Ｃ／Ｕはデータを“０”とする事で補正をＯＦＦ（オフ）する事が可能となる。一方、“０”以外のＡＥレベル／ＡＷＢ座標位置の情報を転送した場合は、自動的に調整モードと判断し、調整を実行する。
【００３０】
まず、図９を用いてＡＥ（自動露光）制御装置６００のオート補正の動作について説明する。このＡＥ制御装置６００は、マスターカメラ装置、その他のスレーブカメラ装置の全てに備えられている。
図９のＡＥ制御装置６００は、ＯＰＤ（光検出器）６１０、評価値計算部６２０、エラー算出部６３０、ゲイン算出部６４０、露出補正自動計算部６５０で構成される。これらの構成のうち、評価値計算部６２０、エラー算出部６３０、ゲイン算出部６４０、露出補正自動計算部６５０の処理は、例えば上述したカメラ信号処理ブロックに内蔵されているマイクロコンピュータあるいはＤＳＰ等で行うことができ、またこれ以外にハードウェアーでも実現することができる。したがって、ここではいずれかを問わない。
【００３１】
ＯＰＤ６１０は、上述したように、原色分離された原色信号Ｒ，Ｇ，Ｂをフィールドまたはフレーム毎に積分して、その積分したデータに基づいて輝度信号を検出する。
評価値計算部６２０は、ＯＰＤ６１０から出力された輝度信号と露出補正自動計算部６５０から出力された輝度信号のレベルをそれぞれ演算する。
エラー算出部６３０は、評価値計算部６２０から出力された輝度信号の評価値と露出補正自動計算部６５０から出力された輝度信号の評価値を比較演算しエラーを算出する。
ゲイン算出部６４０は、エラー算出された結果に基づいて、スレーブカメラ装置で補正すべく輝度信号量、すなわちＡＥレベルを求める。
露出補正自動計算部６５０は、ゲイン算出部６４０から出力されたＡＥレベル、例えばマスターカメラ装置から転送されたＡＥレベルとゲイン算出部６４０から供給されたＡＥレベルがそれぞれ供給されシャッターゲインが算出される。
【００３２】
次に、図９に示したＡＥ制御装置６００の動作を説明する。このＡＥ制御装置６００は、通常の露光制御に、例えばマスターカメラ装置から受信したＡＥデータで微調整する機能を追加したものである。
現在の自己のカメラ装置（例えばスレーブカメラ装置）のＡＥレベルと、転送されて来たＡＥレベル（リファレンスデータ）の比により、露出補正レベルを加減算する方式とする。毎フレームゲイン算出した結果から、自己のカメラ装置のＡＥレベルを求めてカメラ装置内のＲＡＭに格納する。
ＡＥ補正を行うための調整パラメータとして、例えば、露出補正レベルの最大範囲、露出補正レベルを可変するステップ、露出補正レベルを可変するフレーム周期、補正しないレベル差、不感帯幅などがあり、これらの値を状況に応じて適宜設定することができる。
自己のカメラ装置（例えばスレーブカメラ装置）の露出レベルの補正方法として、自己のカメラ装置のＡＥレベルとマスターカメラ装置から受け取ったＡＥレベルを比較して、露出補正のレベルを予め設定したステップ量だけ上げたり下げたりして調整する方法があり、また、補正しないレベル差（差が設定基準以下）であった場合や、フラッグを立てて、受け取ったＡＥレベルが“０”（補正ＯＦＦ）であった場合は、ステップ量を“０”に近づける方向に調整する方法がある。
【００３３】
補正すべきＡＥレベルが求まると、図５に示す露光状態を示すグラフからシャッターゲイン、ゲインレベルが決定され、これに基づいて輝度信号の制御が行われる。
図５に示したように、例えば明るさがｈ１の場合、ＡＥレベルが“Ｌ６”であるから、シャッターゲインは“Ｌ４”、ゲインレベルは“Ｌ３”と求められ、シャッター機能付きセンサー４２０にシャッターゲイン“Ｌ４”に対応した制御信号が供給され、シャッター時間等が調整される。またＡＦＥ４３０とカメラ信号処理ブロック４４０にはゲイン“Ｌ３”に対応するアナログ制御電圧とディジタル制御電圧がそれぞれ供給され、利得が制御される。
次に、明るさがｈ２の場合、ＡＥレベルが“Ｌ５”であるから、シャッターゲインは“Ｌ４”、ゲインレベルは“Ｌ１”と求められ、シャッター機能付きセンサー４２０にシャッターゲイン“Ｌ４”に対応した制御信号が供給され、シャッター時間等が調整される。
またＡＦＥ４３０とカメラ信号処理ブロック４４０にはゲイン“Ｌ１”に対応するアナログ制御電圧とディジタル制御電圧がそれぞれ供給され、利得が制御される。さらに、明るさがｈ３の場合も同様に制御される。
スレーブカメラ装置が複数台のとき、このような輝度状態の調整が他のスレーブカメラ装置においても単独に行われる。
スレーブカメラ装置の輝度は、マスターカメラ装置のリファレンスデータのＡＥレベルを基準に、自己のＡＥレベルを予め設定された補正割合に従って自動的に計算を行う。
この結果、後述の色信号調整と合わせて輝度調整することにより各カメラ装置で撮影された画像をＣ／Ｕを介して転送された後各画像を合成しても画像の接続部分の輝度／色信号のレベル差が無くなり違和感を減少することができる。
【００３４】
図１０に他の実施形態であるＡＷＢ制御装置７００のブロック構成を示す。
このＡＷＢ制御装置７００は、ＯＰＤ７１０，Ｒ／Ｇ，Ｂ／Ｇ計算部７２０、座標補正自動計算部７３０、引込み枠判定部７４０、色温度推定部７５０、引込み処理部７６０、ゲイン設定部７７０で構成される。ここでＯＰＤ７１０以外はハードウェアーで構成することもできるが、マイクロコンピュータあるいはＤＳＰなどの制御装置を用いたソフトウェアーで構成することができる。
Ｒ／Ｇ，Ｂ／Ｇ計算部７２０は、入力された色情報（信号）がソフトウェアーまたはハードウェアーで演算処理される。色情報の表現は色々あるが、例えば座標軸の一方にＢ／Ｇを他方にＲ／Ｇをとり、この座標上で色情報を表現する。
ＯＰＤ７１０から供給された原色信号のＲ，Ｇ，Ｂ信号からＲ／ＧとＢ／Ｇ軸上で表現するための色情報が計算される。
【００３５】
座標補正自動計算部７３０は、自己のカメラ装置（スレーブカメラ装置）から得られたＲ／Ｇ、Ｂ／Ｇの計算結果（座標位置）とマスターカメラ装置から転送されて来た座標位置（Ｒ／Ｇ、Ｂ／Ｇ）が供給され、両座標位置から補正量を自動的に計算する。
【００３６】
引込み枠判定部７４０は、色座標（Ｒ／Ｇ、Ｂ／Ｇ）上に色調整時の制限枠が設けられていて、現在プリホワイトバランス調整に基づいた座標位置と転送されて来た座標位置の関係から入力画像の座標位置が補正され、この補正した値に関して引込みの制限枠内にあるか否かを判定する。
引込み制限枠内で有った場合は、その値から色温度推定計算へ進む。補正した値が引込み制限枠外の場合は、補正前の座標位置（ＯＰＤ７１０から計算した座標位置）から引込み制限枠の判定を行い、その値から色温度推定を行う。
上述した引込み制限枠内は、その制限枠内を色調整の領域とし、制限枠外を無調整領域とする。この引込み制限枠として、色座標上に四角等の枠を設定する。
【００３７】
色温度推定部７５０は、引込み枠判定部７４０から供給された補正色信号またはＯＰＤ７１０から出力された色信号が供給され、Ｒ／ＧとＢ／Ｇを座標軸とする色座標上に表された固体輻射カーブを用いて色温度を推定する。
【００３８】
引込み処理部７６０は、色座標（Ｒ／Ｇ，Ｂ／Ｇ）上で入力された色信号が引込み制限枠内にあると、入力された座標位置から原点“Ｏ”方向へ引込み動作を行いホワイトバランスの調整を行う。一方引込み制限枠外にあるとき、通常のホワイトバランスの調整を行う。
【００３９】
ゲイン設定部７７０は、引込み処理部７６０から出力された色信号に対して、ホワイトバランス（ＷＢアンプ）５２０を構成する利得制御アンプ５２１〜５２３の利得を制御するためのゲインを出力する。
【００４０】
次に図１０のＡＷＢ制御装置７００の動作について説明する。
ＡＷＢ制御装置７００は、通常のホワイトバランス制御に、マスターカメラ装置から受信したリファレンスデータで微調整する機能を追加している。
現在の自己のスレーブカメラ装置のプリホワイトバランス調整値に基づいた座標位置と、マスターカメラ装置からカメラ制御ユニットを介して転送されて来た座標位置の関係から、自分の座標位置を少し可変した後、引き込み枠の設定、色温度推定の順に処理する。
マスターカメラ装置から受け取ったＲ／Ｇデータを、受信Ｒ／Ｇデータとし、自己のスレーブカメラ装置のプリホワイトバランス調整値に基づいたＲ／Ｇデータを自Ｒ／Ｇデータと表記して、求めるＲ／Ｇの式を以下に示す。また、Ｂ／Ｇも同様な式にて計算し補正する。
【００４１】
[数１]
自Ｒ／Ｇ＋（（受信Ｒ／Ｇ−自Ｒ／Ｇ）＊（補正量の最大割合／２５５））
自Ｂ／Ｇ＋（（受信Ｂ／Ｇ−自Ｂ／Ｇ）＊（補正量の最大割合／２５５））…（１）
ここで＊印は乗算記号を表す。
【００４２】
式（１）で補正量の最大割合は０〜２５５まで任意に変更することができ、補正幅を例えば５ステップ、１０ステップ、・・・、と変えることができる。
式（１）で補正量の最大割合が０の時、補正結果は自Ｒ／Ｇと自Ｂ／Ｇととなり、自己のスレーブカメラの補正は行われない。
補正量の最大割合が１２８（５０％）の時、補正結果は自Ｒ／Ｇ＋（１／２）＊（受信Ｒ／Ｇ−自Ｒ／Ｇ）、自Ｂ／Ｇ＋（１／２）＊（受信Ｂ／Ｇ−自Ｂ／Ｇ）となる。これは、自己のカメラ装置で得られた色座標上の座標位置とマスターカメラ装置から転送された座標位置の中間（５０％補正）位置を補正量としたときの色信号の値である。
また補正量の最大割合が２５５（１００％）の時、補正結果は自Ｒ／Ｇ＋（（受信Ｒ／Ｇ−自Ｒ／Ｇ）、自Ｂ／Ｇ＋（（受信Ｂ／Ｇ−自Ｂ／Ｇ）となる。
【００４３】
補正された色信号は、引き込み枠判定部７４０で、引込み枠の領域内にあるかあるいはその領域外にあるかが判断される。
補正された色信号の座標が引込み制限枠内の場合は、その値から色温度の推定計算へ進む。一方、補正された色信号の座標が引込み制限枠外の場合は、補正前の座標位置（もともとの自己のスレーブカメラ装置のＯＰＤ７１０から計算した座標位置）から引込み制限枠判定を行い、その値から色温度推定をするものとする。
色温度推定された後引込み処理が行われ、その結果ゲイン設定が行われる。ゲインが設定されると、図８に示すマイクロコンピュータ５４０等でＲゲイン、Ｇイン、Ｂゲインの各制御信号を発生して、ＷＢアンプ５２０を構成する利得制御アンプ５２１〜５２３に供給され利得の制御が行われ、ホワイトバランス調整が行われる。
このように、リファレンスデータを基準に各スレーブカメラ装置で色調整行われることにより、各カメラ装置で撮像された画像を合成した場合の色味の違和感を減少することができる。
【００４４】
ＡＥ制御装置６００とＡＷＢ制御装置７００は各カメラ装置に備えられていて、車内にＣ／Ｕ（１０３，２５０，３３０）が設置してある。各カメラ装置は車両に搭載される場合、任意の位置に設置することができ、図２（ａ）はＦｒｏｎｔ（前方）、Ｓｉｄｅ−Ｌ（左）、Ｓｉｄｅ−Ｒ（右）、Ｒｅａｒ（後方）にそれぞれ設置した例である。しかし設置するカメラ装置の位置は必ずしもこの位置に限定する必要はない。また、設置する台数を４台でなく、少なくとも２台以上であれば良い。
このように、カメラ装置を少なくとも２台以上の複数台とし、このカメラ装置を移動体例えば車両、船舶、航空機等に搭載し、そのうちの１台のカメラ装置をマスターカメラ装置とする。マスターカメラ装置は図２（ａ）に示すように、必ずしも車両の前面に設置したカメラ装置に限定する必要はなく、例えばＲｅａｒ（後方）に設置されたカメラ装置をマスターとして良い。
車両が後進する時に、Ｒｅａｒのカメラ装置をマスターとして使用することができ、後方の画像を基準にした画像を合成することができる。
【００４５】
また、これ以外に例えばＳｉｄｅ−ＬとＳｉｄｅ−Ｒのカメラ装置の２個をマスターと設定することができる。２個のカメラ装置をマスターとしたときのリファレンス（基準）データは、Ｓｉｄｅ−ＬとＳｉｄｅ−Ｒのカメラ装置から得られた輝度／色信号を平均化したものを用いる。この平均化したリファレンスデータを基準に他のスレーブカメラ装置例えばＦｒｏｎｔカメラ装置、Ｒｅａｒカメラ装置の輝度／色を補正する。
したがって、マスターカメラ装置は補正前から固定される必要はなく、車両の場合進行方向に応じたギヤ度の切り替えに伴い逐次設定することもできる。
【００４６】
また、マスターカメラ装置は、必ずしも決定する必要はなく、マスターカメラ装置を設定しない時、全てのカメラ装置を同じ補正量に設定しても良い。
さらに、Ｃ／Ｕ側でマスターカメラ装置から転送されたデータを加工して各カメラ装置にデータを出力することも可能であるので、全てのカメラ装置に対して同じ色／輝度のデータを送信することにより、全てのカメラ装置の色／輝度の制御値を同じにすることが出来る。
【００４７】
以上述べたように、本発明では、それぞれのカメラ装置は適正に制御されて、見やすい画像が出力され、また、画像の接合部分において、色と明るさの違和感を減少させることができる。
これらのことを実現させ、上記２つのバランスとしてどちらに重点を置きたいのか選択でき、またその調整を可能とする構成にすることにより、色／輝度の調整は、各カメラ装置内で独立して制御動作を行い、各カメラ装置は取り付け位置を認識すること無く単独に制御することができる。
カメラ装置自体が移動体や場所の異なる位置に配置されたカメラ装置に関係なく動作することが出来、接続台数を限定することなく、色／輝度の調整が出来る。
また、Ｃ／Ｕから受け取るデータは、色／輝度のデータのみとすることにより、カメラ装置とＣ／Ｕ間の通信負荷を少なくすることが出来る。
【符号の説明】
【００４８】
１００，３００…カメラシステム、２００…車載（移動体）カメラシステム、１０１，１０２，２５１〜２５４，３１０，３２０，４００…カメラ装置、１０３，２５０，３３０，４５０…カメラ制御（コントロール）ユニット（Ｃ／Ｕ，Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、２６１〜２６４…バッファ回路、２６５…切り出し＆合成回路、２７０…表示装置、４１０…レンズ、４２０…シャッター機能付きセンサー、４３０…アナログフロントエンド（ＡＦＥ；Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、４４０…カメラ信号処理ブロック、４６０，５４０…マイクロコンピュータ、５００…色信号処理回路、５０１…原色分離回路、５２０…ＷＢ（ホワイトバランス）アンプ、５２１〜５２３…利得制御アンプ、５３０，６１０，７１０…オプティカルディテクタ（ＯＰＤ、光検出器）、６００…自動露光（ＡＥ）制御装置、６２０…評価値計算部、６３０…エラー算出部、６４０…ゲイン算出部、６５０…露出補正自動計算部、７００…オートホワイトバランス（ＡＷＢ）制御装置、７３０…座標補正自動計算部、７４０…引込み枠判定部、７５０…色温度推定部、７６０…引込み処理部、７７０…ゲイン設定部、８００…画像合成表示装置、８１３…画像抽出合成部、８１４…補正信号発生手段、８１５…画像補正手段、８１６…モニタ装置、８２０…画像合成表示装置、８２１〜８２８…画像メモリ。
【技術分野】
【０００１】
本発明は、カメラシステムおよび移動体カメラシステムに関し、特に移動体に複数台の撮像装置を設け、この複数台の撮像装置に基準撮像装置を設定し、基準撮像装置のリファレンスデータを制御ユニットを介して他の撮像装置に転送し、リファレンスデータに基づいて他の撮像装置は単独に画像処理し、制御ユニットを介して画像を合成して合成画像の画質を向上するカメラシステムおよび移動体カメラシステムに関する。
【背景技術】
【０００２】
図１１に特許文献１（特許第３２９７０４０号）に開示された従来例の車載カメラ装置の画像合成表示装置８００を示す。この画像合成表示装置８００において、各カメラＣＡＭ１〜ＣＡＭ８（８０１〜８０８）の出力は車両内部の画像合成表示装置８２０に接続されている。画像合成表示装置８２０はモニタ装置８１６に接続されている。また、各カメラＣＡＭ１〜ＣＡＭ８（８０１〜８０８）の撮影領域は互いに重複するように設定されている。
画像合成表示装置８２０は、各カメラＣＡＭ１〜ＣＡＭ８（８０１〜８０８）から供給された画像を記憶する画像メモリ８２１〜８２８が設けられ、この画像メモリ８２１〜８２８が画像抽出合成部８１３に接続され、その出力が補正信号発生手段８１４と画像補正手段８１５に接続される。補正信号発生手段８１４は画像補正手段８１５に接続され、画像抽出合成部８１３から供給された制御信号により画像抽出合成部８１３から出力された合成画像を補正してモニタ装置８１６に出力する。
各カメラＣＡＭ１〜ＣＡＭ８（８０１〜８０８）から出力された画像は各画像メモリ８２１〜８２８にそれぞれ記憶され、その画像が画像抽出合成部８１３に出力される。画像抽出合成部８１３で画像メモリ８２１〜８２８から供給された各画像の補正ゲインを求め、画像補正手段８１５で補正ゲイン係数に基づいて合成画像を補正する。
このように、特許文献１においては、各カメラＣＡＭ１〜ＣＡＭ８（８０１〜８０８）で画像補正を行うのでなく、カメラ制御ユニットに相当する画像合成表示装置８２０で各カメラから供給された画像を補正している。
【０００３】
移動体、例えば自動車の運転者にとってバックするときの後方視認は難しく、死角が生じる。また、前方走行中であっても、併走している車両がドアミラーに隠れる位置に来ると、併走車が運転者の視界から消えてしまう。
このため、近年では、運転者の死角に位置する自車近傍周りを監視する車載カメラを搭載し、その撮像画像をカーナビゲーション用の表示画面に表示する様になってきている。
さらに、複数台のカメラ装置を接続した時に、画像合成した画像の共通部分を認識し、隣接するカメラ画像間の輝度や色味の差異を小さくする技術も開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３２９７０４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、車両に搭載される複数の車載カメラ装置は、同一機種のカメラが使用されるが、配置される位置や撮像する被写体の違いによって、輝度や色味のバランスはカメラ毎に異なってしまい、運転者にとって視認しづらい表示画面となってしまう。
また、一般に設置場所が異なりかつ撮影対象が異なる複数のカメラ装置を有するカメラシステムにおいて、複数のカメラ装置で撮影した画像を合成したとき、画像間の繋ぎ目において輝度と色味の違いが顕著に見られる。それぞれのカメラ装置の露光時間やゲインを同じレベルで制御すれば、カメラ装置間の色／明るさの違いは吸収されるが、本来別々に制御していたら見えていたはずの部分が見えなくなる問題がある。
例えば、図１１のＣＡＭ１（８０１）の被写体が日陰で、ＣＡＭ２（８０２）の被写体が日向の場合で、ＣＡＭ１（８０１）の露光時間やゲインと同じレベルでＣＡＭ２（８０２）を制御した場合、ＣＡＭ２（８０２）の画像は白飛びしてしまい、画像の認識が出来なくなってしまう。
【０００６】
また、特許文献１で開示されている様に、画像合成表示装置８２０内に各カメラＣＡＭ１〜ＣＡＭ８（８０１〜８０８）からの出力信号を記憶する画像メモリ８２１〜８２８を設け、各カメラ装置からの画像を記憶して各カメラ装置の重複する撮像領域を記憶する必要があり、カメラ装置の取り付け位置によって、重複する撮像領域を変更する必要がある。
上記問題に鑑みて、本発明の目的は各カメラ装置の取り付け位置を問わずカメラ画像合成時に隣接するカメラとの輝度や色の調整ができるようにすることである。
また、輝度や色は各カメラ装置で単独に調整され、車両内や特定の場所に備えられたＣ／Ｕ（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ；カメラコントロールユニット）では、マスター（基準）とするカメラ装置から輝度と色信号のリファレンスデータを受信し、他のカメラ装置に転送することで、Ｃ／Ｕの負荷を削減することができる。
【課題を解決するための手段】
【０００７】
本発明の移動体カメラシステムは、移動体と、上記移動体に設置され、画像信号を調整する信号処理部を有する複数台のカメラ装置と、上記複数台のカメラ装置の中から基準とする第１のカメラ装置を任意に選択し、該第１のカメラ装置からリファレンスデータが供給され、第２のカメラ装置の画像信号を補正するためのリファレンスデータを上記第２のカメラ装置に転送するカメラ制御ユニットと、リファレンスデータに基づき上記第２のカメラ装置は各カメラ装置に入力された画像信号を単独に補正し、上記第１のカメラ装置と上記第２のカメラ装置から出力された画像が合成され、該合成画像が表示される表示装置とを有する。
本発明のカメラシステムは、第１のカメラ装置と第２のカメラ装置とを有し、上記第１のカメラ装置は撮像した画像から得られたリファレンスデータを上記第２のカメラ装置に送り、上記第２のカメラ装置は撮像した画像と上記リファレンスデータとを基に補正画像を生成し、上記記第１のカメラ装置からの第１の画像と上記補正画像とを制御手段により合成して合成画像を生成することを特徴とする。
【発明の効果】
【０００８】
本発明では、それぞれのカメラ装置は適正に制御されて、見やすい合成画像が出力される。また、画像の接合部分において、色と明るさの違和感をなくすることができる。
また、上記２つのバランスとしてどちらに重点を置くかの選択、調整ができる構成にすることにより、色／輝度の調整は、各カメラ装置内で単独に制御を行い、各カメラ装置は取り付け位置を認識する事無く独立に制御をすることができる。
【図面の簡単な説明】
【０００９】
【図１】カメラシステムの最小ブロック構成を示す図である。
【図２】車載（移動体）カメラ装置のシステム構成を示す概要図である。
【図３】車載カメラ装置で合成された画像合成図を模式的に示した図である。
【図４】２台接続したカメラシステムのブロック構成を示す図である。
【図５】カメラ装置の露光状態と利得の関係を示すグラフである。
【図６】色座標上の色信号に対する座標位置を示す図である。
【図７】カメラ装置のブロック構成を示す図である。
【図８】図７に示すカメラ装置の色信号処理ブロックの回路構成を示す図である。
【図９】カメラ装置の自動露光制御装置のブロック構成を示す図である。
【図１０】カメラ装置の自動ホワイトバランス装置のブロックの構成を示す図である。
【図１１】従来例のカメラ装置の画像合成表示装置のブロック構成を示す図である。
【発明を実施するための形態】
【００１０】
図１に本発明のカメラシステムの実施形態例の一つである移動体カメラシステムを示す。図１に示すカメラシステム１００はその最小構成例を示す。
Ｃａｍ（カメラ装置）―１（１０１）とＣａｍ（カメラ装置）−２（１０２）がＣａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ（Ｃ／Ｕ：カメラコントロールユニット：カメラ制御部）１０３に接続される。
いま仮に、Ｃａｍ−１装置（１０１）を基準（マスター）カメラ装置とし、Ｃａｍ−２装置（１０２）を被調整用スレーブカメラ装置とする。Ｃａｍ−１装置（１０１）、Ｃａｍ−２装置（１０２）でそれぞれ被写体を撮影した後、Ｃ／Ｕ１０３はマスターカメラ装置に設定したＣａｍ−１装置（１０１）からリファレンスデータ（輝度／色状態）を受信してその値をそのまま他のスレーブカメラ装置のＣａｍ−２装置（１０２）に転送する。Ｃａｍ−２装置（１０２）では、リファレンスデータを受信し、このリファレンスデータを基に画像を調整する。
リファレンスデータとして、例えば輝度信号や色信号がある。スレーブカメラ装置のＣａｍ−２装置（１０２）で、輝度信号を用いて、シャッタースピードの調整やＡＦＥ（アナログフロントエンド）の利得制御装置のゲインを制御し、また色信号を用いてＤＳＰの色信号処理回路のＡＷＢ（オートホワイトバランス）アンプの利得を調整して色調整を行う。
【００１１】
図２に本発明の他の実施形態である移動体を車両とした場合の車載（移動体）カメラシステム２００のブロック構成を示す。
図２(ａ)に、車両２１０のフロントにカメラ装置Ｃａｍ１（Ｆｒｏｎｔ）、左側にカメラ装置Ｃａｍ２（Ｓｉｄｅ−Ｌ）、右側にカメラ装置Ｃａｍ３（Ｄｉｄｅ−Ｒ）、後方にカメラ装置Ｃａｍ４（Ｒｅａｒ）を装着したときの車載カメラシステム２００の構成を示す。
ここではカメラ装置Ｃａｍ１〜Ｃａｍ４の４台で構成された例を示すが、図１に示したように、カメラ装置は基本的に２台以上で構成される場合に適用される。また、各カメラ装置Ｃａｍ１〜Ｃａｍ４の取付位置や接続位置は図２に示した位置に限定されない。
【００１２】
図２（ａ）に示した車載カメラシステム２００のブロック構成を図２（ｂ）に示す。図２（ｂ）の車載カメラシステム２００は、車両に搭載されたカメラ装置Ｃａｍ−１（２５１）〜カメラ装置Ｃａｍ−４（２５４）と、Ｃ／Ｕ（カメラコントロールユニット）２５０、表示装置２７０で構成されている。
また、Ｃ／Ｕ２５０はバッファ回路２６１〜２６４と切り出し＆（アンド）合成回路２６５で構成されている。
【００１３】
カメラ装置Ｃａｍ−１（２５１）〜Ｃａｍ−４（２５４）は、自動露光制御（以下、ＡＥとも記載する）／オートホワイトバランス制御（以下、ＡＷＢ制御とも記載する）等が搭載され、カメラ毎に輝度の制御／色の制御が可能である。
各カメラ装置Ｃａｍ−１（２５１）〜Ｃａｍ−４（２５４）には、現在のＡＥの状態と現在のＡＷＢの状態を通知する機能と、Ｃ／Ｕ２５０からＡＥとＡＷＢのリファレンスデータを受信する機能を備える。
Ｃ／Ｕ２５０は、各カメラ装置Ｃａｍ−１（２５１）〜Ｃａｍ−４（２５４）から出力される画像を蓄えるためのＢｕｆｆｅｒ（バッファまたはメモリ）を備え、各カメラ装置Ｃａｍ−１（２５１）〜Ｃａｍ−４（２５４）の画像の表示部分の切り出しと合成を行う機能を備える。
ここで合成された画像は、カーナビゲーション等の表示装置２７０、例えばモニタに表示される。
またＣ／Ｕ２５０は、各カメラ装置Ｃａｍ−１（２５１）〜Ｃａｍ−４（２５４）から現在のＡＥの状態と現在のＡＷＢの状態を読み出す機能と、各カメラ装置Ｃａｍ−１（２５１）〜Ｃａｍ−４（２５４）にＡＥのリファレンス値（データ）とＡＷＢのリファレンス値（データ）を送信する機能を備える。
【００１４】
図３に合成された画像の例を示す。この合成した画像は、図２（ａ）に示すカメラ装置を４台接続した場合の例である。この画像を合成するためのカメラ装置の台数や画像の切り出し位置、合成方法については限定しない。また、図３の合成画像は車両画像を中心に各カメラ装置に対応した位置に画像が表示されているが、Ｃ／Ｕ２５０を用いて画像位置を変更し、また全体画像の回転などを行うことができる。
なお、例えば、マスターとするカメラ装置Ｃａｍ−１（２５１）で撮影されたリファレンスデータ生成用の画像と、このカメラ装置Ｃａｍ−１（２５１）からの合成画像生成用の画像とは、同じでも、異なってもよい。
【００１５】
図４に、最小構成として２台のカメラ装置３１０，３２０を有するカメラシステム３００を示す。図４において、実際はカメラ装置が４台構成や５台構成となるが、構成別の制御は上位装置であるＣ／Ｕ３３０にて制御が可能となる制御方式としているため、ここでは２台構成で説明する。
このカメラシステム３００において、一方のカメラ装置（Ｃａｍ−１（３１０））をマスターとし、他方のカメラ装置（Ｃａｍ−２（３２０））をスレーブとした時の動作を説明する。ただし、マスターカメラ装置３１０は一義的に決めるのではなく、Ｃ／Ｕ３３０でその時、場所などの条件に応じて適宜変更することができる。
Ｃ／Ｕ３３０の動作は、マスターであるカメラ装置Ｃａｍ−１（３１０）の撮像信号を受信し、リファレンスデータとしてスレーブのカメラ装置Ｃａｍ−２（３２０）に送信する。この動作を一定周期で実行する。
また、Ｃ／Ｕ３３０は、マスターであるカメラ装置Ｃａｍ−１（３１０）に対してリファレンスデータ“０”（補正なし）を転送することもできる。
このとき、スレーブのカメラ装置Ｃａｍ−２（３２０）の状態を検出する必要はないため、通信は必ずしも必要ではない。しかし、スレーブ／マスターが切り替わったりした場合には、補正なしの“０”信号を送信する必要がある。
【００１６】
カメラ装置Ｃａｍ−１（３１０）は、補正なしの指定であるため、ＡＥ／ＡＷＢでは何も補正されず通常の動作が行われる。
一方、カメラ装置Ｃａｍ−２（３２０）は、カメラ装置Ｃａｍ−１（３１０）の状態が、補正用リファレンスデータとして受信されるので、その値を加味した補正がオート制御に組み込まれる。
カメラ装置Ｃａｍ−１（３１０）から出力されたリファレンスデータとカメラ装置Ｃａｍ−２（３２０）から出力された画像をＣ／Ｕ３３０を介して画像を合成する。
なお、マスターであるカメラ装置Ｃａｍ−１（３１０）で撮影されたリファレンスデータ生成用の画像と、このカメラ装置Ｃａｍ−１（３１０）からの合成画像生成用の画像とは、同じでも、異なってもよい。
【００１７】
次に、カメラ装置が複数台（ここでは４台接続されている事を想定）接続された車載（移動体）カメラシステムの場合の動作について図２を用いて説明する。
車が前進している場合、運転手にとって、一番写したい（モニタで確認したい）場所は、Ｆｒｏｎｔ（前方）の位置である。
この場合、Ｃ／Ｕ２５０は、Ｆｒｏｎｔカメラ装置Ｃａｍ１（２５１）をマスター（基準）とし、Ｓｉｄｅ−Ｌ（左）カメラ装置Ｃａｍ−２（２５２）／Ｓｉｄｅ−Ｒ（右）カメラ装置Ｃａｍ−３（２５３））／Ｒｅａｒ（後方）カメラ装置Ｃａｍ−４（２５４）をスレーブとし、Ｆｒｏｎｔ（前方）カメラ装置Ｃａｍ−１（２５１）の色／輝度のデータを、Ｓｉｄｅ−Ｌ／Ｓｉｄｅ−Ｒ／Ｒｅａｒの各カメラ装置に送信する。
Ｓｉｄｅ−Ｌカメラ装置Ｃａｍ−２（２５２）／Ｓｉｄｅ−Ｒカメラ装置Ｃａｍ−３（２５３）／Ｒｅａｒカメラ装置Ｃａｍ−４（２５４）は、Ｆｒｏｎｔカメラ装置Ｃａｍ１（２５１）の色／輝度データをリファレンスデータとしＣ／Ｕ２５０を介して受信し、各カメラ装置内のカメラ信号処理ブロックで、色／輝度を調整する。
ここで、Ｒｅａｒカメラ装置Ｃａｍ−４（２５４）に対しては、Ｓｉｄｅ−Ｌカメラ装置Ｃａｍ−２（２５２）／Ｓｉｄｅ−Ｒカメラ装置Ｃａｍ−３（２５３）のデータの平均値をマスターデータとすることもできる。
【００１８】
カメラ装置としては取り付け位置の判断を行わずに制御をかけるため、Ｃ／Ｕ２５０側で、マスターカメラ装置Ｃａｍ１（２５１）の選択、スレーブカメラ装置の選択を行い、スレーブカメラ装置に送信するリファレンスデータの生成を自由に行うことができる。
また、Ｃ／Ｕ２５０側では、車のギア（車が前進しているのか、後進しているのか）をマスターカメラ装置Ｃａｍ１（２５１）の選択の判断材料とすることや、車が前進している時は、Ｆｒｏｎｔカメラ装置Ｃａｍ１（２５１）をマスターと判断することや、後進している時は、Ｒｅａｒカメラ装置Ｃａｍ−４（２５４）をマスターと判断することができる。
さらに、全て同じカメラ装置が取り付けられている場合、全てのカメラ装置をスレーブとして、同じ色／輝度のデータを送信し、全てのカメラ装置の制御値を同じにすることもできる。
このように、本移車載カメラシステム２００では、Ｃ／Ｕ２５０では画像の信号処理、輝度／色信号の調整は行わないで、各スレーブカメラ装置で単独に調整するシステム構成としている。
これまで、車載カメラシステムについて述べてきたが、本発明は車両などの移動体カメラシステムに限定するものではない。移動体以外のシステムにも明らかに適用することができ、例えば、屋内、屋外に上述した複数のカメラ装置を備えたカメラシステムを構築し、色と輝度の違和感のない画像を合成することができる。
なお、例えば、マスターとするカメラ装置Ｃａｍ１（２５１）で撮影されたリファレンスデータ生成用の画像と、このカメラ装置Ｃａｍ１（２５１）からの合成画像生成用の画像とは、同じでも、異なってもよい。
【００１９】
次に、図２と図５を用いてカメラ装置単体の基本的な制御原理について述べる。各カメラ装置は、Ｃ／Ｕ２５０から転送されたリファレンスデータを受信し、この受信したリファレンスデータに基づき各カメラ装置内で単独に輝度、色調整を行い、調整した画像をＣ／Ｕ２５０に転送する。その後、各カメラ装置から転送された画像が合成されて不図示の表示装置に出力し、合成画像が表示される。
Ｃ／Ｕ２５０はマスターカメラ装置２５１からスレーブカメラ装置２５２〜２５４にリファレンスデータを転送するが、この他に状態通知機能なども有している。
この状態通知機能に関するデータは、自発的に通知するパスは通信仕様上存在しないため、状態をカメラ装置（２５１〜２５４）内のバッファ回路２６１〜２６４、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃcｅｓｓ Ｍｅｍｏｒｙ）等に格納しておき、一定周期にＣ／Ｕ２５０が参照する。
カメラ装置内のＲＡＭへ格納するデータとして、露光状態と色状態を示すデータがある。
【００２０】
次に露光状態について述べる。露光状態としてのＡＥ（自動露光）レベルは以下の式で表される。
ＡＥレベル＝シャッターゲイン＋ゲインレベル
このＡＥレベルの具体的な特性を図５に示す。
図５に、ＡＥレベル、シャッターゲイン、ゲインレベルの関係を示し、横軸を露光状態（明るさ）、縦軸をＡＥレベル、シャッターゲイン、ＡＦＥの利得制御装置のゲインとする。
シャッターゲインは明るさｈ２まではレベルＬ４と一定であるが、ｈ２からｈ３になると直線的に減少し、ｈ３になるとレベルＬ２となる。このシャッターゲインにより受光素子の露光時間が制御される。
一方、ＡＦＥとディジタル信号処理回路の利得を制御するゲインレベルは、明るさｈ１からｈ２までレベルＬ３からＬ１へと直線的に減少するが、明るさｈ２からｈ３までは一定レベルＬ１となる。
マスターカメラ装置２５１で、ＡＥレベルが測定されると、それに対応してシャッターゲインとＡＦＥとディジタル信号処理回路の利得制御のゲインレベルが求まる。すなわち、明るさｈ１のときＡＥレベルはＬ６で、シャッターゲインはＬ４、ＡＦＥのゲインはＬ３である。このシャッターゲインＬ４とＡＦＥのゲインＬ３がリファレンスデータの輝度情報としてＣ／Ｕを介してスレーブカメラ装置２５２〜２５４に転送される。
明るさｈ２では、ＡＥレベルはＬ５で、シャッターゲインはＬ４、ＡＦＥのゲインはＬ１であり、明るさｈ３では、ＡＥレベルはＬ３で、シャッターゲインはＬ２、ＡＦＥのゲインはＬ１となる。
このように、マスターカメラ装置２５１で測定したＡＥレベルからシャッターゲイン、ＡＦＥのゲインがリファレンスデータとして求められ、このリファレンスデータがＣ／Ｕ２５０を介してスレーブカメラ装置２５２〜２５４に転送される。
そして、各カメラ装置はこのリファレンスデータに基づき、各カメラ装置内で単独にＡＥレベルを調整する。
【００２１】
次に、リファレンスデータとして輝度信号以外に色（信号）状態を用いた例を示す。プリホワイトバランス調整後、新たな撮影画像をカメラ装置のＯＰＤ（光検出器）でＡＷＢ調整を行うため、プリホワイトバランス調整値に基づいたＲ／Ｇ、Ｂ／Ｇ座標を格納しておく。ただしプリホワイトバランスは各カメラ装置２５１〜２５４で基準白色を撮影し、ＡＷＢ調整しかつその時に得られる各利得制御回路の調整データ例えばゲイン情報を記憶装置に格納し、各カメラ装置の製造ばらつきを無くする。
【００２２】
次に、色（信号）状態のグラフを図６に示す。色座標として、横軸をＲ／Ｇとし、縦軸をＢ／Ｇとする。ここで、Ｒ，Ｇ，Ｂは原色分離回路で得られた画素信号とし、Ｒは画素の赤信号、Ｂは画素の青信号、Ｇは画素の緑信号をそれぞれ示す。
図６は、各カメラ装置（Ｃａｍ１（２５１）〜Ｃａｍ４（２５４））のＯＰＤ（光検出器）で得られたＡＷＢ（オートホワイトバランス）の、プリホワイトバランス調整に基づいたＲ／Ｇ、Ｂ／Ｇ座標に変換した色状態を示す。この座標変換して得られた値は、各カメラ装置（Ｃａｍ１（２５１）〜Ｃａｍ４（２５４））で異なり、座標上で異なる位置にある。
【００２３】
図７に、本発明における他の実施形態である各カメラ（撮像）装置４００のブロック構成を示す。
カメラ装置４００は、レンズ４１０、シャッター機能付きセンサー４２０、ＡＦＥ（アナログフロントエンド）４３０、カメラ信号処理ブロック４４０、Ｃ／Ｕ（カメラコントロールユニット）４５０、マイクロコンピュータ４６０等で構成される。
レンズ４１０は、外部からの光を集光し、撮像素子上へ画像を結像する。シャッター機能付きセンサー４２０は、撮像素子で光を電気信号に変換し、また電子シャッターにより、電荷の蓄積時間を可変する。
ＡＦＥ４３０は、相関２重サンプリング回路によりノイズを除去し、ＡＧＣ（自動利得制御）とセンサーから入力されたアナログ信号をディジタル信号に変換する。
カメラ信号処理ブロック４４０は、センサーから供給された入力信号を映像信号に変換する。
Ｃ／Ｕ４５０は、カメラ信号処理ブロック４４０から映像信号と同期（ＳＹＮＣ）信号が供給され、マスターカメラ装置を設定（選択）したり、マスターカメラ装置から転送された輝度／色信号に関するリファレンスデータをスレーブカメラ装置に送信したりし、この他各カメラ装置から送られた画像を合成する機能を有する。また各カメラ装置の制御は、マイクロコンピュータ４６０と通信することにより行われる。
マイクロコンピュータ４６０は、シャッター機能付きセンサー４２０、ＡＦＥ４３０、カメラ信号処理ブロック４４０に接続され、Ｃ／Ｕ４５０から供給されたリファレンスデータに関連した制御信号をスレーブカメラ装置に送り、各スレーブカメラ装置は単独で輝度／色信号を制御する。
【００２４】
次に、上述した露光状態／色状態を示すリファレンスデータを用いたカメラ装置４００の動作について述べる。
露光状態のシャッターゲインは、図７のシャッター機能付きセンサー４２０の電子シャッターの制御値を示し、ゲインレベルは、ＡＦＥ４３０のＡＧＣの制御値とカメラ信号処理ブロック（４４０）内に持つディジタルゲインアンプの制御値を示す。
マスターカメラ装置から供給されたリファレンスデータがＣ／Ｕ４５０を介して他のカメラ装置のマイクロコンピュータ４６０に転送されると、マイクロコンピュータ４６０は、露光状態に対応するシャッターゲイン、ゲインレベルを発生し、シャッター機能付きセンサー４２０にシャッターゲインを制御する制御信号を供給して図５に示す電子シャッターのゲイン（期間）を調整する。
また、マイクロコンピュータ４６０は、ＡＦＥ４３０のＡＧＣ回路にゲインレベルの制御電圧を供給して利得を制御し、あるいはカメラ信号処理ブロック４４０にゲインレベルの制御信号を供給してディジタル信号処理回路のディジタルゲインを制御する。
また、色状態を示すリファレンスデータもカメラ信号処理ブロック４４０に供給されて、色処理回路を調整する。
このように、Ｃ／Ｕ２５０で合成画像の輝度、色調整を行うのではなく、各カメラ装置内で基準カメラ装置からＣ／Ｕ２５０を介して転送されて来たリファレンスデータを用いて輝度、色信号の調整を行う。
【００２５】
図８は、図７に示したカメラ信号処理ブロック４４０の一部を構成する色信号処理回路５００のブロック構成図である。
色信号処理回路５００は、原色分離回路５０１、ＷＢ（ホワイトバランス）アンプ５２０、ＯＰＤ（オプティカルディテクタ；光検出器）５３０、マイクロコンピュータ５４０で構成される。また、ＷＢアンプ５２０は原色Ｒ，Ｇ，Ｂの利得を制御する利得制御アンプ５２１〜５２３で構成される。
原色分離回路５０１は、ＡＦＥ４３０に設けられたＡＤ（アナログ・ディジタル）変換器から出力されたディジタル信号を、それぞれ赤、青、緑の原色信号Ｒ，Ｇ，Ｂに分離し、これらの原色信号Ｒ，Ｇ，Ｂをそれぞれ利得制御アンプ５２１〜５２３に出力する。
また、原色信号Ｒ，Ｇ，Ｂは、ホワイトバランス調整するため、ＯＰＤ５３０にも供給される。
【００２６】
ＯＰＤ５３０は、原色信号Ｒ，Ｇ，Ｂをフィールドまたはフレーム毎に積分する回路を有する。このため、ＯＰＤ５３０は、原色信号Ｒ，Ｇ，Ｂのたとえばフィールド単位の積分値データＩｎｔｇＲ，ＩｎｔｇＧ，ＩｎｔｇＢを求め、これらの積分値データＩｎｔｇＲ，ＩｎｔｇＧ，ＩｎｔｇＢをマイクロコンピュータ５４０に出力する。
マイクロコンピュータ５４０は、内蔵や外部メモリを有し、これらのメモリから読み出されたプログラムに従って、座標変換、色温度の引き込み枠設定とその制御、色温度制御、Ｒ，Ｇ，Ｂ毎のゲイン設定などの処理を実行する。
ＷＢアンプ５２０を構成する利得制御アンプ５２１〜５２３は、マイクロコンピュータ５４０から出力されたゲイン値Ｒゲイン、Ｇゲイン、Ｂゲインに基づいて、必要に応じてゲインが変更可能である。
利得制御アンプ５２１の入力には、原色分離回路５０１から出力された原色信号Ｒが供給され、マイクロコンピュータ５４０から出力されたＲゲインを用いて増幅または減衰の利得が制御される。
利得制御アンプ５２２の入力には、原色分離回路５０１から出力された原色信号Ｇが供給され、マイクロコンピュータ５４０から出力されたＧゲインを用いて増幅または減衰の利得が制御される。
また、利得制御アンプ５２３の入力には、原色分離回路５０１から出力された原色信号Ｂが供給され、マイクロコンピュータ５４０から出力されたＢゲインを用いて増幅または減衰の利得が制御される。
【００２７】
図８に示す色信号処理回路５００の回路構成はフィードフォワード方式になっている。
一般に、ＷＢアンプ５２０の利得制御アンプ５２１〜５２３の各出力信号をＯＰＤ５３０にフィードックし、そのレベルと原色分離回路５０１から出力された原色信号Ｒ，Ｇ，Ｂをそれぞれ比較し、その差信号に応じて制御信号を発生し、ＷＢアンプ５２０を制御するフィードバック構成が多い。
これに対して、図８の色信号処理回路５００はフィードフォワード構成であるので、フィードバック構成と比較して系の応答特性が改善される。
【００２８】
次に、色信号処理回路５００の動作について説明する。図８において、図７に示すシャッター機能付きセンサー４２０／ＡＦＥ４３０から得られた画像信号が信号処理され、ディジタル信号として原色分離回路５０１に入力される。
原色分離回路５０１では入力されたディジタル信号がＲ(赤)、Ｇ(緑)、Ｂ(青)の原色信号に分離される。分離された原色信号Ｒ，Ｇ，ＢはＷＢアンプ５２０に入力される。原色分離されたＲ，Ｇ，Ｂ信号は、ホワイトバランス調整に利用するべく、オプティカルディテクタ(ＯＰＤ)５３０にも供給される。ＯＰＤ５３０はＲ，Ｇ，Ｂの各原色信号をフィールド毎に積分する積分回路を有する。
ＯＰＤ５３０で得られた積分値データは、次段のマイクロコンピュータ５４０に供給される。マイクロコンピュータ５４０は、ＯＰＤ５３０から供給されるＲ，Ｇ，Ｂ各積分値データを基に、Ｒ／ＧとＢ／Ｇのデータを出力し、Ｒ／Ｇ、Ｂ／Ｇとプリホワイトバランス調整値に基づいてＲ信号、Ｇ信号、Ｂ信号の各ゲインを設定する。これらの動作は、マイクロコンピュータまたはＤＳＰ（ディジタル信号演算装置）などによって実行される。
ここで、プリホワイトバランス調整とは、基準色温度下で基準の白色を決める調整のことを示す。
【００２９】
次に、輝度状態と色状態に基づいて各カメラ装置の輝度／色を制御するオート補正機能について説明する。
Ｃ／Ｕからから受け取るデータは、前述したＡＥレベルとＡＷＢの座標位置となる。単純なケースとしてＣ／Ｕはマスターとなるカメラ装置から、リファレンスデータを取り出してその値をそのまま他のカメラ装置に転送することで、色／輝度の調整が可能となる。
尚、Ｃ／Ｕは、各カメラ装置に対して輝度／色調整を実行する場合と実効しない場合のフラッグを送り調整モードを制御する。例えば、ＡＥレベル／ＡＷＢ座標位置として“０”を指定した場合は、オート補正を禁止するモードと定義し、Ｃ／Ｕはデータを“０”とする事で補正をＯＦＦ（オフ）する事が可能となる。一方、“０”以外のＡＥレベル／ＡＷＢ座標位置の情報を転送した場合は、自動的に調整モードと判断し、調整を実行する。
【００３０】
まず、図９を用いてＡＥ（自動露光）制御装置６００のオート補正の動作について説明する。このＡＥ制御装置６００は、マスターカメラ装置、その他のスレーブカメラ装置の全てに備えられている。
図９のＡＥ制御装置６００は、ＯＰＤ（光検出器）６１０、評価値計算部６２０、エラー算出部６３０、ゲイン算出部６４０、露出補正自動計算部６５０で構成される。これらの構成のうち、評価値計算部６２０、エラー算出部６３０、ゲイン算出部６４０、露出補正自動計算部６５０の処理は、例えば上述したカメラ信号処理ブロックに内蔵されているマイクロコンピュータあるいはＤＳＰ等で行うことができ、またこれ以外にハードウェアーでも実現することができる。したがって、ここではいずれかを問わない。
【００３１】
ＯＰＤ６１０は、上述したように、原色分離された原色信号Ｒ，Ｇ，Ｂをフィールドまたはフレーム毎に積分して、その積分したデータに基づいて輝度信号を検出する。
評価値計算部６２０は、ＯＰＤ６１０から出力された輝度信号と露出補正自動計算部６５０から出力された輝度信号のレベルをそれぞれ演算する。
エラー算出部６３０は、評価値計算部６２０から出力された輝度信号の評価値と露出補正自動計算部６５０から出力された輝度信号の評価値を比較演算しエラーを算出する。
ゲイン算出部６４０は、エラー算出された結果に基づいて、スレーブカメラ装置で補正すべく輝度信号量、すなわちＡＥレベルを求める。
露出補正自動計算部６５０は、ゲイン算出部６４０から出力されたＡＥレベル、例えばマスターカメラ装置から転送されたＡＥレベルとゲイン算出部６４０から供給されたＡＥレベルがそれぞれ供給されシャッターゲインが算出される。
【００３２】
次に、図９に示したＡＥ制御装置６００の動作を説明する。このＡＥ制御装置６００は、通常の露光制御に、例えばマスターカメラ装置から受信したＡＥデータで微調整する機能を追加したものである。
現在の自己のカメラ装置（例えばスレーブカメラ装置）のＡＥレベルと、転送されて来たＡＥレベル（リファレンスデータ）の比により、露出補正レベルを加減算する方式とする。毎フレームゲイン算出した結果から、自己のカメラ装置のＡＥレベルを求めてカメラ装置内のＲＡＭに格納する。
ＡＥ補正を行うための調整パラメータとして、例えば、露出補正レベルの最大範囲、露出補正レベルを可変するステップ、露出補正レベルを可変するフレーム周期、補正しないレベル差、不感帯幅などがあり、これらの値を状況に応じて適宜設定することができる。
自己のカメラ装置（例えばスレーブカメラ装置）の露出レベルの補正方法として、自己のカメラ装置のＡＥレベルとマスターカメラ装置から受け取ったＡＥレベルを比較して、露出補正のレベルを予め設定したステップ量だけ上げたり下げたりして調整する方法があり、また、補正しないレベル差（差が設定基準以下）であった場合や、フラッグを立てて、受け取ったＡＥレベルが“０”（補正ＯＦＦ）であった場合は、ステップ量を“０”に近づける方向に調整する方法がある。
【００３３】
補正すべきＡＥレベルが求まると、図５に示す露光状態を示すグラフからシャッターゲイン、ゲインレベルが決定され、これに基づいて輝度信号の制御が行われる。
図５に示したように、例えば明るさがｈ１の場合、ＡＥレベルが“Ｌ６”であるから、シャッターゲインは“Ｌ４”、ゲインレベルは“Ｌ３”と求められ、シャッター機能付きセンサー４２０にシャッターゲイン“Ｌ４”に対応した制御信号が供給され、シャッター時間等が調整される。またＡＦＥ４３０とカメラ信号処理ブロック４４０にはゲイン“Ｌ３”に対応するアナログ制御電圧とディジタル制御電圧がそれぞれ供給され、利得が制御される。
次に、明るさがｈ２の場合、ＡＥレベルが“Ｌ５”であるから、シャッターゲインは“Ｌ４”、ゲインレベルは“Ｌ１”と求められ、シャッター機能付きセンサー４２０にシャッターゲイン“Ｌ４”に対応した制御信号が供給され、シャッター時間等が調整される。
またＡＦＥ４３０とカメラ信号処理ブロック４４０にはゲイン“Ｌ１”に対応するアナログ制御電圧とディジタル制御電圧がそれぞれ供給され、利得が制御される。さらに、明るさがｈ３の場合も同様に制御される。
スレーブカメラ装置が複数台のとき、このような輝度状態の調整が他のスレーブカメラ装置においても単独に行われる。
スレーブカメラ装置の輝度は、マスターカメラ装置のリファレンスデータのＡＥレベルを基準に、自己のＡＥレベルを予め設定された補正割合に従って自動的に計算を行う。
この結果、後述の色信号調整と合わせて輝度調整することにより各カメラ装置で撮影された画像をＣ／Ｕを介して転送された後各画像を合成しても画像の接続部分の輝度／色信号のレベル差が無くなり違和感を減少することができる。
【００３４】
図１０に他の実施形態であるＡＷＢ制御装置７００のブロック構成を示す。
このＡＷＢ制御装置７００は、ＯＰＤ７１０，Ｒ／Ｇ，Ｂ／Ｇ計算部７２０、座標補正自動計算部７３０、引込み枠判定部７４０、色温度推定部７５０、引込み処理部７６０、ゲイン設定部７７０で構成される。ここでＯＰＤ７１０以外はハードウェアーで構成することもできるが、マイクロコンピュータあるいはＤＳＰなどの制御装置を用いたソフトウェアーで構成することができる。
Ｒ／Ｇ，Ｂ／Ｇ計算部７２０は、入力された色情報（信号）がソフトウェアーまたはハードウェアーで演算処理される。色情報の表現は色々あるが、例えば座標軸の一方にＢ／Ｇを他方にＲ／Ｇをとり、この座標上で色情報を表現する。
ＯＰＤ７１０から供給された原色信号のＲ，Ｇ，Ｂ信号からＲ／ＧとＢ／Ｇ軸上で表現するための色情報が計算される。
【００３５】
座標補正自動計算部７３０は、自己のカメラ装置（スレーブカメラ装置）から得られたＲ／Ｇ、Ｂ／Ｇの計算結果（座標位置）とマスターカメラ装置から転送されて来た座標位置（Ｒ／Ｇ、Ｂ／Ｇ）が供給され、両座標位置から補正量を自動的に計算する。
【００３６】
引込み枠判定部７４０は、色座標（Ｒ／Ｇ、Ｂ／Ｇ）上に色調整時の制限枠が設けられていて、現在プリホワイトバランス調整に基づいた座標位置と転送されて来た座標位置の関係から入力画像の座標位置が補正され、この補正した値に関して引込みの制限枠内にあるか否かを判定する。
引込み制限枠内で有った場合は、その値から色温度推定計算へ進む。補正した値が引込み制限枠外の場合は、補正前の座標位置（ＯＰＤ７１０から計算した座標位置）から引込み制限枠の判定を行い、その値から色温度推定を行う。
上述した引込み制限枠内は、その制限枠内を色調整の領域とし、制限枠外を無調整領域とする。この引込み制限枠として、色座標上に四角等の枠を設定する。
【００３７】
色温度推定部７５０は、引込み枠判定部７４０から供給された補正色信号またはＯＰＤ７１０から出力された色信号が供給され、Ｒ／ＧとＢ／Ｇを座標軸とする色座標上に表された固体輻射カーブを用いて色温度を推定する。
【００３８】
引込み処理部７６０は、色座標（Ｒ／Ｇ，Ｂ／Ｇ）上で入力された色信号が引込み制限枠内にあると、入力された座標位置から原点“Ｏ”方向へ引込み動作を行いホワイトバランスの調整を行う。一方引込み制限枠外にあるとき、通常のホワイトバランスの調整を行う。
【００３９】
ゲイン設定部７７０は、引込み処理部７６０から出力された色信号に対して、ホワイトバランス（ＷＢアンプ）５２０を構成する利得制御アンプ５２１〜５２３の利得を制御するためのゲインを出力する。
【００４０】
次に図１０のＡＷＢ制御装置７００の動作について説明する。
ＡＷＢ制御装置７００は、通常のホワイトバランス制御に、マスターカメラ装置から受信したリファレンスデータで微調整する機能を追加している。
現在の自己のスレーブカメラ装置のプリホワイトバランス調整値に基づいた座標位置と、マスターカメラ装置からカメラ制御ユニットを介して転送されて来た座標位置の関係から、自分の座標位置を少し可変した後、引き込み枠の設定、色温度推定の順に処理する。
マスターカメラ装置から受け取ったＲ／Ｇデータを、受信Ｒ／Ｇデータとし、自己のスレーブカメラ装置のプリホワイトバランス調整値に基づいたＲ／Ｇデータを自Ｒ／Ｇデータと表記して、求めるＲ／Ｇの式を以下に示す。また、Ｂ／Ｇも同様な式にて計算し補正する。
【００４１】
[数１]
自Ｒ／Ｇ＋（（受信Ｒ／Ｇ−自Ｒ／Ｇ）＊（補正量の最大割合／２５５））
自Ｂ／Ｇ＋（（受信Ｂ／Ｇ−自Ｂ／Ｇ）＊（補正量の最大割合／２５５））…（１）
ここで＊印は乗算記号を表す。
【００４２】
式（１）で補正量の最大割合は０〜２５５まで任意に変更することができ、補正幅を例えば５ステップ、１０ステップ、・・・、と変えることができる。
式（１）で補正量の最大割合が０の時、補正結果は自Ｒ／Ｇと自Ｂ／Ｇととなり、自己のスレーブカメラの補正は行われない。
補正量の最大割合が１２８（５０％）の時、補正結果は自Ｒ／Ｇ＋（１／２）＊（受信Ｒ／Ｇ−自Ｒ／Ｇ）、自Ｂ／Ｇ＋（１／２）＊（受信Ｂ／Ｇ−自Ｂ／Ｇ）となる。これは、自己のカメラ装置で得られた色座標上の座標位置とマスターカメラ装置から転送された座標位置の中間（５０％補正）位置を補正量としたときの色信号の値である。
また補正量の最大割合が２５５（１００％）の時、補正結果は自Ｒ／Ｇ＋（（受信Ｒ／Ｇ−自Ｒ／Ｇ）、自Ｂ／Ｇ＋（（受信Ｂ／Ｇ−自Ｂ／Ｇ）となる。
【００４３】
補正された色信号は、引き込み枠判定部７４０で、引込み枠の領域内にあるかあるいはその領域外にあるかが判断される。
補正された色信号の座標が引込み制限枠内の場合は、その値から色温度の推定計算へ進む。一方、補正された色信号の座標が引込み制限枠外の場合は、補正前の座標位置（もともとの自己のスレーブカメラ装置のＯＰＤ７１０から計算した座標位置）から引込み制限枠判定を行い、その値から色温度推定をするものとする。
色温度推定された後引込み処理が行われ、その結果ゲイン設定が行われる。ゲインが設定されると、図８に示すマイクロコンピュータ５４０等でＲゲイン、Ｇイン、Ｂゲインの各制御信号を発生して、ＷＢアンプ５２０を構成する利得制御アンプ５２１〜５２３に供給され利得の制御が行われ、ホワイトバランス調整が行われる。
このように、リファレンスデータを基準に各スレーブカメラ装置で色調整行われることにより、各カメラ装置で撮像された画像を合成した場合の色味の違和感を減少することができる。
【００４４】
ＡＥ制御装置６００とＡＷＢ制御装置７００は各カメラ装置に備えられていて、車内にＣ／Ｕ（１０３，２５０，３３０）が設置してある。各カメラ装置は車両に搭載される場合、任意の位置に設置することができ、図２（ａ）はＦｒｏｎｔ（前方）、Ｓｉｄｅ−Ｌ（左）、Ｓｉｄｅ−Ｒ（右）、Ｒｅａｒ（後方）にそれぞれ設置した例である。しかし設置するカメラ装置の位置は必ずしもこの位置に限定する必要はない。また、設置する台数を４台でなく、少なくとも２台以上であれば良い。
このように、カメラ装置を少なくとも２台以上の複数台とし、このカメラ装置を移動体例えば車両、船舶、航空機等に搭載し、そのうちの１台のカメラ装置をマスターカメラ装置とする。マスターカメラ装置は図２（ａ）に示すように、必ずしも車両の前面に設置したカメラ装置に限定する必要はなく、例えばＲｅａｒ（後方）に設置されたカメラ装置をマスターとして良い。
車両が後進する時に、Ｒｅａｒのカメラ装置をマスターとして使用することができ、後方の画像を基準にした画像を合成することができる。
【００４５】
また、これ以外に例えばＳｉｄｅ−ＬとＳｉｄｅ−Ｒのカメラ装置の２個をマスターと設定することができる。２個のカメラ装置をマスターとしたときのリファレンス（基準）データは、Ｓｉｄｅ−ＬとＳｉｄｅ−Ｒのカメラ装置から得られた輝度／色信号を平均化したものを用いる。この平均化したリファレンスデータを基準に他のスレーブカメラ装置例えばＦｒｏｎｔカメラ装置、Ｒｅａｒカメラ装置の輝度／色を補正する。
したがって、マスターカメラ装置は補正前から固定される必要はなく、車両の場合進行方向に応じたギヤ度の切り替えに伴い逐次設定することもできる。
【００４６】
また、マスターカメラ装置は、必ずしも決定する必要はなく、マスターカメラ装置を設定しない時、全てのカメラ装置を同じ補正量に設定しても良い。
さらに、Ｃ／Ｕ側でマスターカメラ装置から転送されたデータを加工して各カメラ装置にデータを出力することも可能であるので、全てのカメラ装置に対して同じ色／輝度のデータを送信することにより、全てのカメラ装置の色／輝度の制御値を同じにすることが出来る。
【００４７】
以上述べたように、本発明では、それぞれのカメラ装置は適正に制御されて、見やすい画像が出力され、また、画像の接合部分において、色と明るさの違和感を減少させることができる。
これらのことを実現させ、上記２つのバランスとしてどちらに重点を置きたいのか選択でき、またその調整を可能とする構成にすることにより、色／輝度の調整は、各カメラ装置内で独立して制御動作を行い、各カメラ装置は取り付け位置を認識すること無く単独に制御することができる。
カメラ装置自体が移動体や場所の異なる位置に配置されたカメラ装置に関係なく動作することが出来、接続台数を限定することなく、色／輝度の調整が出来る。
また、Ｃ／Ｕから受け取るデータは、色／輝度のデータのみとすることにより、カメラ装置とＣ／Ｕ間の通信負荷を少なくすることが出来る。
【符号の説明】
【００４８】
１００，３００…カメラシステム、２００…車載（移動体）カメラシステム、１０１，１０２，２５１〜２５４，３１０，３２０，４００…カメラ装置、１０３，２５０，３３０，４５０…カメラ制御（コントロール）ユニット（Ｃ／Ｕ，Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、２６１〜２６４…バッファ回路、２６５…切り出し＆合成回路、２７０…表示装置、４１０…レンズ、４２０…シャッター機能付きセンサー、４３０…アナログフロントエンド（ＡＦＥ；Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、４４０…カメラ信号処理ブロック、４６０，５４０…マイクロコンピュータ、５００…色信号処理回路、５０１…原色分離回路、５２０…ＷＢ（ホワイトバランス）アンプ、５２１〜５２３…利得制御アンプ、５３０，６１０，７１０…オプティカルディテクタ（ＯＰＤ、光検出器）、６００…自動露光（ＡＥ）制御装置、６２０…評価値計算部、６３０…エラー算出部、６４０…ゲイン算出部、６５０…露出補正自動計算部、７００…オートホワイトバランス（ＡＷＢ）制御装置、７３０…座標補正自動計算部、７４０…引込み枠判定部、７５０…色温度推定部、７６０…引込み処理部、７７０…ゲイン設定部、８００…画像合成表示装置、８１３…画像抽出合成部、８１４…補正信号発生手段、８１５…画像補正手段、８１６…モニタ装置、８２０…画像合成表示装置、８２１〜８２８…画像メモリ。
【特許請求の範囲】
【請求項１】
移動体と、
上記移動体に設置され、それぞれ画像信号を調整する信号処理部を有する複数台のカメラ装置と、
上記複数台のカメラ装置の中から基準とする第１のカメラ装置を任意に選択し、該第１のカメラ装置から出力された画像信号を基準とするリファレンスデータが供給され、第２のカメラ装置の画像信号を補正するためのリファレンスデータを上記第２のカメラ装置に転送するカメラ制御ユニットと、
上記リファレンスデータに基づき上記第２のカメラ装置は入力された画像信号を単独に補正し、上記第１のカメラ装置と上記第２のカメラ装置から出力された画像が合成され、該合成画像が表示される表示装置と
を有する移動体カメラシステム。
【請求項２】
上記カメラ制御ユニットは、上記複数台のカメラ装置の中から基準とする上記第１のカメラ装置を任意に選択して上記リファレンスデータを上記第２のカメラ装置に転送する
請求項１記載の移動体カメラシステム。
【請求項３】
上記第１のカメラ装置は、該第１のカメラ装置から出力されるリファレンスデータを色と輝度信号とする
請求項１記載の移動体カメラシステム。
【請求項４】
上記移動体は車両であって、上記各カメラ装置で撮影した画像を上記リファレンスデータに基づき調整し、調整した合成画像を上記車両内の表示装置に表示する
請求項１記載の移動体カメラシステム。
【請求項５】
上記第２のカメラ装置の信号処理部は、輝度信号が素子露光部と信号利得制御部で制御される
請求項１記載の移動体カメラシステム。
【請求項６】
上記第２のカメラ装置の信号処理部は色信号処理回路を有し、色座標上に引込み枠を設けてホワイトバランス調整する
請求項１記載の移動体カメラシステム。
【請求項７】
上記信号処理部は自動露光制御部を有し、
該自動露光制御部は、
光検出部から供給された輝度信号と補正された輝度信号が供給され現在の輝度状態を算出する評価値計算部と、
上記評価値計算部から出力された計算値に基づき現在の輝度信号と補正された輝度信号の差を計算するエラー算出部と、
上記エラー算出部から出力された差信号を用いて輝度信号のゲインを求めるゲイン算出部と、
上記ゲイン算出部から入力された輝度信号とリファレンスデータが供給され、該リファレンスデータに対する輝度信号の補正量を演算する露出補正自動計算部と
を有する請求項１記載の移動体カメラシステム。
【請求項８】
上記ゲイン算出部は、露光制御と利得制御のゲインを算出する
請求項７記載の移動体カメラシステム。
【請求項９】
上記色信号処理回路は、
光検出部から供給された画像信号を色座標に変換する座標計算部と、
上記色座標計算部から出力された座標位置データと基準座標データが入力され、該基準座標データに対して補正量を算出する座標補正自動計算部と、
上記座標補正自動計算部から出力された座標データから色温度を推定する色温度推定部と、
上記色温度推定部から出力された色温度からホワイトバランスを補正するゲインを求めるゲイン設定部と
を有する請求項５記載の移動体カメラシステム。
【請求項１０】
上記色信号処理回路は更に引込み枠判定部を有し、入力された座標データが上記引込み枠内のとき、ホワイトバランス調整する
請求項９記載の移動体カメラシステム。
【請求項１１】
第１のカメラ装置と第２のカメラ装置とを有し、
上記第１と第２のカメラ装置から任意に選択された上記第１のカメラ装置は撮像した画像を基準とするリファレンスデータをカメラ制御ユニットを介して上記第２のカメラ装置に送り、
上記第２のカメラ装置は撮像した画像と上記リファレンスデータとを基に補正画像を生成し、
上記記第１のカメラ装置からの第１の画像と上記補正画像を上記カメラ制御ユニットにより合成して合成画像を生成するカメラシステム。
【請求項１２】
上記第２のカメラ装置は、上記第１のカメラ装置から出力されるリファレンスデータを色と輝度信号とする
請求項１１記載のカメラシステム。
【請求項１３】
上記第１のカメラ装置で撮像され上記リファレンスデータの基となる画像は、上記合成画像を生成するために合成される上記第１の画像と同じであることを特徴とする
請求項１１記載のカメラシステム。
【請求項１】
移動体と、
上記移動体に設置され、それぞれ画像信号を調整する信号処理部を有する複数台のカメラ装置と、
上記複数台のカメラ装置の中から基準とする第１のカメラ装置を任意に選択し、該第１のカメラ装置から出力された画像信号を基準とするリファレンスデータが供給され、第２のカメラ装置の画像信号を補正するためのリファレンスデータを上記第２のカメラ装置に転送するカメラ制御ユニットと、
上記リファレンスデータに基づき上記第２のカメラ装置は入力された画像信号を単独に補正し、上記第１のカメラ装置と上記第２のカメラ装置から出力された画像が合成され、該合成画像が表示される表示装置と
を有する移動体カメラシステム。
【請求項２】
上記カメラ制御ユニットは、上記複数台のカメラ装置の中から基準とする上記第１のカメラ装置を任意に選択して上記リファレンスデータを上記第２のカメラ装置に転送する
請求項１記載の移動体カメラシステム。
【請求項３】
上記第１のカメラ装置は、該第１のカメラ装置から出力されるリファレンスデータを色と輝度信号とする
請求項１記載の移動体カメラシステム。
【請求項４】
上記移動体は車両であって、上記各カメラ装置で撮影した画像を上記リファレンスデータに基づき調整し、調整した合成画像を上記車両内の表示装置に表示する
請求項１記載の移動体カメラシステム。
【請求項５】
上記第２のカメラ装置の信号処理部は、輝度信号が素子露光部と信号利得制御部で制御される
請求項１記載の移動体カメラシステム。
【請求項６】
上記第２のカメラ装置の信号処理部は色信号処理回路を有し、色座標上に引込み枠を設けてホワイトバランス調整する
請求項１記載の移動体カメラシステム。
【請求項７】
上記信号処理部は自動露光制御部を有し、
該自動露光制御部は、
光検出部から供給された輝度信号と補正された輝度信号が供給され現在の輝度状態を算出する評価値計算部と、
上記評価値計算部から出力された計算値に基づき現在の輝度信号と補正された輝度信号の差を計算するエラー算出部と、
上記エラー算出部から出力された差信号を用いて輝度信号のゲインを求めるゲイン算出部と、
上記ゲイン算出部から入力された輝度信号とリファレンスデータが供給され、該リファレンスデータに対する輝度信号の補正量を演算する露出補正自動計算部と
を有する請求項１記載の移動体カメラシステム。
【請求項８】
上記ゲイン算出部は、露光制御と利得制御のゲインを算出する
請求項７記載の移動体カメラシステム。
【請求項９】
上記色信号処理回路は、
光検出部から供給された画像信号を色座標に変換する座標計算部と、
上記色座標計算部から出力された座標位置データと基準座標データが入力され、該基準座標データに対して補正量を算出する座標補正自動計算部と、
上記座標補正自動計算部から出力された座標データから色温度を推定する色温度推定部と、
上記色温度推定部から出力された色温度からホワイトバランスを補正するゲインを求めるゲイン設定部と
を有する請求項５記載の移動体カメラシステム。
【請求項１０】
上記色信号処理回路は更に引込み枠判定部を有し、入力された座標データが上記引込み枠内のとき、ホワイトバランス調整する
請求項９記載の移動体カメラシステム。
【請求項１１】
第１のカメラ装置と第２のカメラ装置とを有し、
上記第１と第２のカメラ装置から任意に選択された上記第１のカメラ装置は撮像した画像を基準とするリファレンスデータをカメラ制御ユニットを介して上記第２のカメラ装置に送り、
上記第２のカメラ装置は撮像した画像と上記リファレンスデータとを基に補正画像を生成し、
上記記第１のカメラ装置からの第１の画像と上記補正画像を上記カメラ制御ユニットにより合成して合成画像を生成するカメラシステム。
【請求項１２】
上記第２のカメラ装置は、上記第１のカメラ装置から出力されるリファレンスデータを色と輝度信号とする
請求項１１記載のカメラシステム。
【請求項１３】
上記第１のカメラ装置で撮像され上記リファレンスデータの基となる画像は、上記合成画像を生成するために合成される上記第１の画像と同じであることを特徴とする
請求項１１記載のカメラシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−１４７９７７（Ｐ２００９−１４７９７７Ａ）
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願番号】特願２００９−７０７２３（Ｐ２００９−７０７２３）
【出願日】平成２１年３月２３日（２００９．３．２３）
【分割の表示】特願２００６−１５２４１３（Ｐ２００６−１５２４１３）の分割
【原出願日】平成１８年５月３１日（２００６．５．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願日】平成２１年３月２３日（２００９．３．２３）
【分割の表示】特願２００６−１５２４１３（Ｐ２００６−１５２４１３）の分割
【原出願日】平成１８年５月３１日（２００６．５．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]