撮像システム
【課題】複数のカメラからの画像を連結し一巡して表示する場合、全ての連結部において画像の切れ目を目立たなく表示する。
【解決手段】画像処理部１６は、複数の撮像部１〜４からの画像信号を合成して合成画像を生成するとともに、画像内の信号レベルにグラデーション処理を行なう。信号レベル検出部１４は、複数の撮像部からの画像信号のうち互いに重複する領域における信号レベルを検出する。グラデーション制御部１５は、各撮像画像の重複領域における信号レベルを所定のレベル差以下となるよう画像処理部１６に対してグラデーション処理量を設定する。
【解決手段】画像処理部１６は、複数の撮像部１〜４からの画像信号を合成して合成画像を生成するとともに、画像内の信号レベルにグラデーション処理を行なう。信号レベル検出部１４は、複数の撮像部からの画像信号のうち互いに重複する領域における信号レベルを検出する。グラデーション制御部１５は、各撮像画像の重複領域における信号レベルを所定のレベル差以下となるよう画像処理部１６に対してグラデーション処理量を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部からの画像を合成して表示する撮像システムに関する。
【背景技術】
【０００２】
自動車の前後左右に複数のカメラ（撮像装置）を設置し、各カメラからの撮影画像を視点変換処理して車両周辺画像を生成して表示する技術が知られている。この技術に関して特許文献１には、輝度差による切れ目がなく、運転者にとって違和感の少ない車両周辺画像を少ない演算量で生成するための構成が記載される。該文献では、撮像装置が有する撮影領域の中から測光重点領域を決定し、測光重点領域を他の領域よりも重点的に測光して撮像領域の適正露光を算出することにより、測光重点領域において撮影領域の重なりを有する複数の画像の輝度は同程度となり、その画像間に輝度差に起因する切れ目は殆ど見えなくなると述べられている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１１９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記文献１を始めとする従来の技術では、隣接しているカメラの各画像のうち、撮影範囲が重複している領域の輝度やホワイトバランスが同等になるように調整することで、カメラ間の画像の切れ目を目立たなくするものである。その場合、カメラ間の輝度差等を調整するのは隣接する２台のカメラの撮影範囲が重複する領域の画像である。カメラを３台以上設置して各カメラの画像を連結し一巡して表示するような場合には、上記した輝度調整を各連結部で行なわねばならないが、調整を一巡して行う結果、いずれかの連結部において調整ずれが生じてしまう。すなわち、全ての連結部において画像の切れ目を目立たなくすることは困難であった。
【０００５】
本発明の目的は、複数のカメラからの画像を連結し一巡して表示する場合にも、全ての連結部において画像の切れ目を目立たなく表示する撮像システムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は複数の撮影画像を連結して合成画像を生成する撮像システムにおいて、撮影領域を重複させながら被写体を撮影する複数の撮像部と、複数の撮像部からの画像信号を合成して合成画像を生成するとともに、画像内の信号レベルにグラデーション処理を行なう画像処理部と、複数の撮像部からの画像信号の信号レベルを検出する信号レベル検出部と、信号レベル検出部の検出した信号レベルに応じて画像処理部の行うグラデーション処理量を設定するグラデーション制御部とを備え、信号レベル検出部は各撮像部の撮影画像のうち互いに重複する領域における信号レベルを検出し、グラデーション制御部は、各撮像画像の重複領域における信号レベルを所定のレベル差以下となるようグラデーション処理量を設定する。
【０００７】
さらに本発明の撮像システムは、信号レベル検出部の検出した信号レベルに応じて各撮像部の露光条件を制御する露光制御部を備え、露光制御部は、各撮像画像の重複領域における信号レベルを所定のレベル差以下となるよう露光量を調整する。
【発明の効果】
【０００８】
本発明によれば、複数のカメラからの画像を連結し一巡して表示する場合にも、全ての連結部において画像の切れ目を目立たなく表示することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明による撮像システムの一実施例を示すシステム構成図。
【図２】撮像部の配置と撮影範囲の例を示す図。
【図３】図２の各撮像部からの撮影画像を連結した合成画面の例を示す図。
【図４】露光制御とグラデーション制御による信号レベルの補正を示す図。
【図５】画像信号の補正方法の第１例を示す図（露光制御とグラデーション制御の組み合わせ）。
【図６】図５の変形例を示す図。
【図７】図５の変形例を示す図。
【図８】図７の変形例を示す図。
【図９】画像信号の補正方法の第２例を示す図（グラデーション制御のみ）。
【図１０】図９の変形例を示す図。
【図１１】図９の変形例を示す図。
【図１２】本発明による撮像システムの他の実施例を示すシステム構成図。
【図１３】重複領域決定部１８の内部構成を示す図。
【図１４】露光補正量とグラデーション補正量を制限する動作を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例を図面を用いて説明する。
【実施例１】
【００１１】
図１は、本発明による撮像システムの一実施例を示すシステム構成図である。ここでは、カメラ（撮像部）を４台設置し、各カメラの撮影画像を連結して表示する場合を例にする。撮像システム１０の構成を説明する。
【００１２】
撮像部１〜４は、被写体からの入射光を集めるためのレンズ（図示せず）、該レンズが集めた光を光電変換し画像信号として出力する撮像素子と、各撮像素子には電子シャッタ制御部（図示せず）及び利得制御部（図示せず）を有する。また撮像部１〜４は、後述の露光制御部１２からの制御信号を受け、露光条件（シャッター時間など）を変化させる。
【００１３】
画像入力部１１は、各撮像部１〜４からの画像信号を入力して後段の画像信号処理部へ送り出す入力インタフェースである。ここでは、信号レベル調整のための利得制御やフィルタ処理を行う。さらに、ＡＤ（Analog to Digital）変換処理、撮像素子と信号処理部との処理タイミングを調整する同期調整処理などを含んでも良い。
【００１４】
露光制御部１２は、撮像部１〜４に対する露光条件（絞り、撮像素子の電子シャッタ、および利得制御）と、画像入力部１１の利得などの制御を行う。その際、後述の信号レベル検出部１４から受けた信号レベルの情報に応じて、各撮像部１〜４からの画像の連結部に切れ目が目立たないように露光条件を制御する。
【００１５】
重複領域記憶部１３は、各撮像部１〜４の撮影画像のうち隣接する撮影画像と重複する領域を示す情報（以下、重複領域情報）を保持するメモリで、撮像部１〜４の配置に基づき予め記憶している。なお、重複領域情報はプログラム上に保持しても良い。
【００１６】
信号レベル検出部１４は、画像入力部１１から画像信号を受け、重複領域記憶部１３に保持されている重複領域情報に従い、重複画像領域における信号レベルを検出する。ここで検出する信号レベルとは、入力した画素信号の絶対値（輝度レベル）、ヒストグラム分布、最大値・最小値、平均値など、重複画像領域での信号の輝度分布状態を示す情報である。信号レベル検出部１４は、検出した信号レベルの情報を、前記露光制御部１２と後述のグラデーション制御部１５に出力する。
【００１７】
グラデーション制御部１５は、信号レベル検出部１４から受けた信号レベルの情報に応じて、各撮像部１〜４からの画像の連結部に切れ目が目立たないようにグラデーション処理の処理量を設定する。
【００１８】
画像処理部１６は、グラデーション制御部１５で設定したグラデーション処理量に従い、入力画像に対して信号レベルの変化を緩やかなるよう補正するグラデーション処理を行う。そして、各撮像部１〜４からの画像を連結して合成する。例えば車両周辺画像であれば、視点変換処理により、自車両の上方の仮想視点から見た車両周辺画像を生成する。またその他の画像処理として、ノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識など処理を行う。
【００１９】
画像出力部１７は、画像処理部１６で合成された画像信号を画像表示装置（モニタ、ＴＶ）や画像記録装置などに出力する。その際、出力機器の信号フォーマットに変換する処理を行う。例えば、ＮＴＳＣやＰＡＬ変換、ＨＤＭＩ変換、ネットワーク伝送方式への変換などを行う。なお、画像出力部１７は、信号レベル調整のための利得制御や、フィルタ処理、エンコードによる圧縮処理などを含む構成であっても良い。
【００２０】
本例の撮像システム１０では撮像部１〜４を含む構成としたが、撮像部１〜４を外部機器として扱っても良い。また、画像表示装置を外部機器として扱っているが、撮像システム１０内に含める構成でも良い。
【００２１】
図２は、撮像部の配置と撮影範囲の例を示す図である。ここでは４台の撮像部１〜４を配置して自動車９の周囲を撮影する例を、自動車の上方から見た図を示す。撮像部１は自動車後部、撮像部２は自動車左側面、撮像部３は自動車前部、撮像部４は自動車右側面に配置し、それぞれの撮影範囲を符号９１〜９４で示す。各撮像部の撮影範囲の左右端領域は、隣接する撮像部の撮影範囲と重複させることで、自動車の周辺画像を欠落することなく取得するようにしている。
【００２２】
図３は、図２の各撮像部からの撮影画像を連結した合成画面の例を示す図である。画面中央には撮像部３から得られる前方（正面）の撮影範囲９３を配し、これに隣接して撮像部２、４から得られる左側面と右側面方向の撮影範囲９２，９４を配する。さらにその外側には、撮像部１から得られる後方（背面）の撮影範囲９１を配する。これらの撮影範囲は隣接する撮影範囲との間で左右端部が重複し、その重複領域を斜線で示す。この重複領域の位置は、図１の重複領域記憶部１３に記憶されている。
【００２３】
この重複領域において画像のつなぎ目となる連結部９５〜９８を設け、撮像部１〜４からの画像信号を切り替えて表示する。以下の説明では、正面の撮影範囲９３で表示する画像をメイン画像、左右側面の撮影範囲９２，９４で表示する画像をサブ画像、後方（背面）の撮影範囲９１、９１’で表示する画像をリア画像とも呼ぶことにする。そして以下で説明する車両周辺画像の場合、メイン画像はサブ画像よりも運転者にとって重要な情報となるので、画質の優先度を高くして表示するものとする。またリア画像についてもメイン画像に次いで優先度を高くする。
【００２４】
ここで、本実施例で行う露光制御とグラデーション制御について説明する。
図４は、露光制御とグラデーション制御による信号レベルの補正を示す図である。露光制御では、例えば露光時間を変えることになるが、補正区間（Ｐ１〜Ｐ２）の画像信号レベル（輝度レベル）に均一な補正係数ｋを乗算することに相当する。その結果、補正後の信号レベルは元の信号レベルの勾配を保ったまま上下方向に平行移動することになる。なお、補正区間（Ｐ１〜Ｐ２）は補正対象の撮像部から得られる画面全体に及ぶ。
【００２５】
一方グラデーション制御では、補正区間（Ｐ１〜Ｐ２）の画像信号レベル（輝度レベル）に位置に応じた補正係数ｋを乗算する演算処理を行う。例えば、位置Ｐ１、Ｐ２における補正係数ｋ１、ｋ２が与えられたとき、中間位置Ｐでの補正係数ｋを（１）式に示す線形補間法で求め、滑らかに変化させる。
【００２６】
ｋ＝（１−α）×ｋ１＋α×ｋ２
ただしα＝（Ｐ−Ｐ１）／（Ｐ２−Ｐ１） （１）
これによれば、補正区間での信号レベルの勾配を緩やかに変化させることになる。なお、補間式はこれに限らず、区間内の補正量について適宜重み付けを施しても良い。
【００２７】
次に、上記の露光制御とグラデーション制御を適用した補正方法について、具体例を用いて説明する。
図５は、画像信号の補正方法の第１例を示す図である。各撮像部１〜４から得られる撮影画像を連結した合成画面において、各水平位置での平均輝度レベル（画面垂直方向の平均値）を示している。各撮像部１〜４から得られた撮影画像（輝度レベル）を符号１０１〜１０４で示し、連結部を符号９５〜９８で示す。
【００２８】
この例は通常露光で得られる典型的な輝度分布を想定したものであり、次の特徴がある。正面の撮像部３からのメイン画像１０３は、画面中央に明るい被写体があり、画面の左右領域では輝度が低下しているが、画面全体としては最適露光範囲内に収まっている。背面の撮像部１からのリア画像１０１は、後方の自動車からのヘッドライトにより照射されていることを想定し、正面の撮像部３からのメイン画像１０３と同様の分布になる。
【００２９】
一方、左側面の撮像部２からのサブ画像１０２は、画面中央に暗い被写体があり、画面の左右領域では明るくなっている。これは、左側に隣接するリア画像１０１（後方に自動車あり）の影響で、自動車の側面よりも明るくなるからである。このようなシーンでサブ画像１０２の中央に重みを置いて露光制御をした場合、画面中央は最適露光となるが、画面の左右領域では露出がオーバーになりやすい。このことは、右側面の撮像部４からのサブ画像１０４についても同様である。
【００３０】
この結果通常露光では、各撮影画像の連結部９５〜９８において輝度レベル差が生じ、画像の切れ目が非常に目立ちやすい状態になっている。そこで本実施例では、画像の切れ目を目立たなくするために、露光制御とグラデーション制御を組み合わせて実施する。
【００３１】
まず、メイン画像１０３とサブ画像１０２、１０４の連結部９６，９７に関しては、メイン画像１０３を優先させてその輝度レベルを固定し、これに隣接するサブ画像１０２、１０４の輝度レベルを合わせるように露光制御で補正する。すなわち、メイン画像１０３の左側の連結部９６近傍におけるレベル３Ｌを検出し、これに隣接するサブ画像１０２の連結部９６近傍におけるレベル２Ｒが同じレベルになるように、左側面の撮像部２の露光制御を実施する。この露光制御の結果、撮像部２から得られるサブ画像１０２のレベルは１０２ａのように補正（平行移動）される。同様に、右側面の撮像部４から得られるサブ画像１０４についても露光制御を実施して、レベルを１０４ａのように補正する。
【００３２】
この露光制御により、メイン画像１０３とこれに隣接するサブ画像１０２ａ，１０４ａとの、連結部９６，９７における画像の切れ目を目立たなくすることができる。しかし、連結部９５，９８における画像の切れ目は残っており、上記した露光制御を繰り返しても全ての連結部の切れ目を解消することはできない。
【００３３】
そこで、リア画像１０１と上記補正後のサブ画像１０２ａ、１０４ａの連結部９５，９８に関しては、リア画像１０１を優先させてその輝度レベルを固定し、これに隣接するサブ画像１０２ａ、１０４ａの輝度レベルを合わせるようにグラデーション制御で補正する。すなわち連結部９５では、リア画像１０１の連結部９５近傍におけるレベル１Ｒを検出し、これに隣接するサブ画像１０２ａの連結部９５近傍におけるレベル２ａＬが同じレベルになるように、補正係数ｋを乗算することでグラデーション制御を実施する。この例では、グラデーション処理を施す区間はＰ１〜Ｐ２までの部分とし、サブ画像１０２ａの左側約１／２の領域に限定する。すなわちこの補正では、Ｐ２におけるサブ画像１０２ａのレベル２ａＮを固定し、Ｐ１に至る部分の勾配を変化させて、リア画像１０１のレベル１Ｒに連結させるものである。このグラデーション制御の結果、撮像部２から得られるサブ画像１０２のレベルは１０２ｂのように補正される。同様に、撮像部４から得られるサブ画像１０４についても区間Ｐ５〜Ｐ６の部分でグラデーション制御を実施して、レベルを１０４ｂのように補正する。
【００３４】
このようにグラデーション制御を追加することにより、各連結部でのレベル合わせを他の連結部でのレベル差状況とは無関係に自在に調整することができ、全ての連結部９５，９６，９７，９８において画像の切れ目を目立たなくすることができる。なお、グラデーション制御を適用する区間の大きさはこれに限らず、適宜変更しても良い。以下、露光制御とグラデーション制御を組合せる場合について、様々な変形例を示す。
【００３５】
図６は図５の変形例を示し、グラデーション制御の適用区間をさらに狭く限定する場合である。ここでは、サブ画像１０２ａ，１０４ａの約１／３の領域（Ｐ１〜Ｐ２’、Ｐ５’〜Ｐ６）に限定して適用した場合を示す。グラデーション制御によれば滑らかな画像になるが階調差（分解能）が低下することになるので、両者の兼ね合いを考慮して適用区間を定めるようにすれば良い。
【００３６】
図７は図５の変形例を示し、メイン画像１０３についても露光制御により輝度レベルを補正する場合である。すなわち、左側の連結部９６において、メイン画像１０３のレベル３Ｌとサブ画像１０２のレベル２Ｒの両方を露光制御により補正し、同じレベル３ａＬになるようにする。補正後のメイン画像１０３のレベルは１０３ａとなり、サブ画像１０２のレベルは１０２ａとなる。さらにサブ画像１０２ａの区間Ｐ１〜Ｐ２については、リア画像１０１と連結するようグラデーション制御を施し、レベルを１０２ｂのように補正する。右側の連結部９７についても同様である。図７の例では、メイン画像１０３の輝度レベルも補正することで、サブ画像１０２，１０４の輝度レベルが最適露光範囲から外れるのを防止し、合成画像全体の露光状態を改善することができる。
【００３７】
図８は図７の変形例を示し、メイン画像に対し露光制御を行うとともに、サブ画像についてはグラデーション制御のみとする場合である。すなわち、メイン画像１０３の輝度レベルを露光制御により１０３ａに補正した後、左側のサブ画像１０２については区間Ｐ１〜Ｐ２と区間Ｐ２〜Ｐ３に分けてそれぞれグラデーション制御を施す。その結果、中間位置Ｐ２ではレベル２Ｎに固定しながら、区間Ｐ１〜Ｐ２についてはレベル１０２ｂに、区間Ｐ２〜Ｐ３についてはレベル１０２ｃに補正する。右側のサブ画像１０４についても同様である。この場合の中間位置Ｐ２も、任意の位置に設定できる。
【実施例２】
【００３８】
実施例１では、隣接する画像の切れ目を目立たなくするために露光制御とグラデーション制御を組合せる方法を述べた。これに対し実施例２では、グラデーション制御のみで画像信号（輝度レベル）を補正する場合である。
【００３９】
図９は、画像信号の補正方法の第２例を示す図である。まず、優先するメイン画像１０３については輝度レベルを固定する。そして、これに隣接するサブ画像１０２，１０４に対しグラデーション制御を施す。具体的には、左側のサブ画像１０２については区間Ｐ１〜Ｐ２と区間Ｐ２〜Ｐ３に分ける。そして、中間位置Ｐ２ではレベル２Ｎに固定しながら、区間Ｐ１〜Ｐ２についてはレベル１０２ｂに、区間Ｐ２〜Ｐ３についてはレベル１０２ｃに補正する。その結果、連結部９５における輝度レベルをリア画像１０１のレベル１Ｒに、連結部９５における輝度レベルをメイン画像１０３のレベル３Ｌに合わせることができる。右側のサブ画像１０４についても同様に補正する。
【００４０】
本実施例では、サブ画像１０２，１０４に対し、露光制御を行わずにグラデーション制御のみでメイン画像１０３の輝度レベルに連結するものである。通常メイン画像１０３は最適露光状態で撮影されるので、これに隣接するサブ画像の領域についても補正により最適露光から外れることが少ない。また、グラデーション制御をサブ画像の全区間に施すので、補正による画像の違和感が特定領域に集中することがない。
【００４１】
図１０は図９の変形例を示し、グラデーション制御の適用区間を限定する場合である。ここでは、サブ画像１０２，１０４の中央領域を除き、両側の連結部に近接する区間に限定して適用した場合を示す。具体的にはサブ画像１０２では、連結部９５に近接する略１／３の領域Ｐ１〜Ｐ２’と、連結部９６に近接する略１／３の領域Ｐ２”〜Ｐ３に限定している。その結果、サブ画像１０２の輝度レベルは１０２ｂと１０２ｃに補正され、区間Ｐ２’〜Ｐ２”では元のままである。右側のサブ画像１０４についても同様である。
【００４２】
図１１は図９の変形例を示し、サブ画像の区間を分割せずにグラデーション制御する場合を示す。すなわち、サブ画像１０２の範囲Ｐ１〜Ｐ３に対し、これを１つの区間として補正する。これにより、サブ画像１０２の輝度レベルは１０２ｂに補正されるが、元の輝度分布の傾向が保持されるので、違和感が少なくなる。右側のサブ画像１０４についても同様である。
【００４３】
上記実施例１と実施例２においては、メイン画像１０３を中心に左右のサブ画像１０２，１０４に対し同様の処理（露光制御とグラデーション制御の選択）を行うものとしたが、画像の種類に応じて左右で異なる処理を選択しても良い。また、優先する画像を正面（前方）のメイン画像１０３に固定したが、例えば車両周辺画像の場合、車両走行状態に応じて優先する画像を左側面や右側面、あるいは背面（後方）の画像に切り替えることで、運転者にとってより見やすい画像表示となる。
【実施例３】
【００４４】
図１２は、本発明による撮像システムの他の実施例を示すシステム構成図である。本実施例では、実施例１（図１）の構成に対し、重複領域決定部１８を追加している。重複領域決定部１８は、画像信号から各撮像部の撮影重複領域を認識する機能を有する。そして、別途重複領域記憶部１３に記憶している重複領域情報と、画像信号から認識して得られた重複領域情報のいずれかを選択して信号レベル検出部１４へ出力する。この構成は、重複領域記憶部１３において各撮像部間の重複領域情報を予め保持していない場合に有効である。また、露光制御部１２とグラデーション制御部１５は、補正による画質劣化を抑えるため補正量を制限する機能を有する。
【００４５】
図１３は、重複領域決定部１８の内部構成を示す図である。画像認識部２１は、入力した各撮像部の画像信号から撮影画像の重複部分を抽出する。その際の認識方法には、画像のエッジ情報、色情報、輝度情報などの相関関係を利用することができる。次に重複領域情報生成部２２は、抽出した重複画像部分の領域情報を生成する。選択部２３は、予め重複領域記憶部１３に保持された領域情報と、画像認識により重複領域情報生成部２２で生成された領域情報のいずれかを選択する。この選択部２３による選択はユーザが行なっても良く、重複領域記憶部１３がない場合は自動的に重複領域情報生成部２２側に切り替えても良い。選択された領域情報は信号レベル検出部１４に送られ、当該領域での画像信号の信号レベルを検出する。
【００４６】
図１４は、露光補正量とグラデーション補正量を制限する動作を示す図である。露光制御部１２とグラデーション制御部１５は、補正による画質劣化を抑えるため補正量の最大値を定め、補正量が最大値を超えないように制御する。例えば連結部９６にて露光制御を行い、画像１０２の輝度レベルを画像１０３の輝度レベルに合わせる場合、レベルＱ１からレベルＱ３までシフトさせる必要があるが、その補正量は最大値ｋｍａｘを超えてしまう。この場合には補正量を最大値ｋｍａｘに抑え、レベルＱ２までのシフトとし補正後の画像を１０２ａとする。この制限によって、露光が過補正となることを抑え画質劣化を防止する。
【００４７】
また連結部９５にてグラデーション制御を行い、画像１０２ａの輝度レベルを画像１０１の輝度レベルに合わせる場合、レベルＱ４からレベルＱ６までシフトさせる必要があるが、その補正量は最大値ｋｍａｘを超えてしまう。この場合には補正量を最大値ｋｍａｘに抑え、レベルＱ５までのシフトとし補正後の画像を１０２ｂとする。この制限によって、グラデーションの過補正を抑え画質劣化を防止する。
【００４８】
以上、本発明による撮像システムとその動作についていくつかの実施例を示したが、各実施例は単独でも、あるいは適宜組み合わせても有効である。これらの実施例によれば、複数のカメラからの画像を連結し一巡して表示する場合、全ての連結部において画像の切れ目を目立たなく表示することができる効果がある。
【符号の説明】
【００４９】
１〜４…撮像部（カメラ）、
９…自動車、
１０…撮像システム、
１１…画像入力部、
１２…露光制御部、
１３…重複領域記憶部、
１４…信号レベル検出部、
１５…グラデーション制御部、
１６…画像処理部、
１７…画像出力部、
１８…重複領域決定部、
２１…画像認識部、
２２…検出領域情報生成部、
２３…選択部、
９１〜９４…撮影領域、
９５〜９８…連結部、
１０１〜１０４…撮像部からの画像（輝度レベル）。
【技術分野】
【０００１】
本発明は、複数の撮像部からの画像を合成して表示する撮像システムに関する。
【背景技術】
【０００２】
自動車の前後左右に複数のカメラ（撮像装置）を設置し、各カメラからの撮影画像を視点変換処理して車両周辺画像を生成して表示する技術が知られている。この技術に関して特許文献１には、輝度差による切れ目がなく、運転者にとって違和感の少ない車両周辺画像を少ない演算量で生成するための構成が記載される。該文献では、撮像装置が有する撮影領域の中から測光重点領域を決定し、測光重点領域を他の領域よりも重点的に測光して撮像領域の適正露光を算出することにより、測光重点領域において撮影領域の重なりを有する複数の画像の輝度は同程度となり、その画像間に輝度差に起因する切れ目は殆ど見えなくなると述べられている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１１９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記文献１を始めとする従来の技術では、隣接しているカメラの各画像のうち、撮影範囲が重複している領域の輝度やホワイトバランスが同等になるように調整することで、カメラ間の画像の切れ目を目立たなくするものである。その場合、カメラ間の輝度差等を調整するのは隣接する２台のカメラの撮影範囲が重複する領域の画像である。カメラを３台以上設置して各カメラの画像を連結し一巡して表示するような場合には、上記した輝度調整を各連結部で行なわねばならないが、調整を一巡して行う結果、いずれかの連結部において調整ずれが生じてしまう。すなわち、全ての連結部において画像の切れ目を目立たなくすることは困難であった。
【０００５】
本発明の目的は、複数のカメラからの画像を連結し一巡して表示する場合にも、全ての連結部において画像の切れ目を目立たなく表示する撮像システムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は複数の撮影画像を連結して合成画像を生成する撮像システムにおいて、撮影領域を重複させながら被写体を撮影する複数の撮像部と、複数の撮像部からの画像信号を合成して合成画像を生成するとともに、画像内の信号レベルにグラデーション処理を行なう画像処理部と、複数の撮像部からの画像信号の信号レベルを検出する信号レベル検出部と、信号レベル検出部の検出した信号レベルに応じて画像処理部の行うグラデーション処理量を設定するグラデーション制御部とを備え、信号レベル検出部は各撮像部の撮影画像のうち互いに重複する領域における信号レベルを検出し、グラデーション制御部は、各撮像画像の重複領域における信号レベルを所定のレベル差以下となるようグラデーション処理量を設定する。
【０００７】
さらに本発明の撮像システムは、信号レベル検出部の検出した信号レベルに応じて各撮像部の露光条件を制御する露光制御部を備え、露光制御部は、各撮像画像の重複領域における信号レベルを所定のレベル差以下となるよう露光量を調整する。
【発明の効果】
【０００８】
本発明によれば、複数のカメラからの画像を連結し一巡して表示する場合にも、全ての連結部において画像の切れ目を目立たなく表示することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明による撮像システムの一実施例を示すシステム構成図。
【図２】撮像部の配置と撮影範囲の例を示す図。
【図３】図２の各撮像部からの撮影画像を連結した合成画面の例を示す図。
【図４】露光制御とグラデーション制御による信号レベルの補正を示す図。
【図５】画像信号の補正方法の第１例を示す図（露光制御とグラデーション制御の組み合わせ）。
【図６】図５の変形例を示す図。
【図７】図５の変形例を示す図。
【図８】図７の変形例を示す図。
【図９】画像信号の補正方法の第２例を示す図（グラデーション制御のみ）。
【図１０】図９の変形例を示す図。
【図１１】図９の変形例を示す図。
【図１２】本発明による撮像システムの他の実施例を示すシステム構成図。
【図１３】重複領域決定部１８の内部構成を示す図。
【図１４】露光補正量とグラデーション補正量を制限する動作を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例を図面を用いて説明する。
【実施例１】
【００１１】
図１は、本発明による撮像システムの一実施例を示すシステム構成図である。ここでは、カメラ（撮像部）を４台設置し、各カメラの撮影画像を連結して表示する場合を例にする。撮像システム１０の構成を説明する。
【００１２】
撮像部１〜４は、被写体からの入射光を集めるためのレンズ（図示せず）、該レンズが集めた光を光電変換し画像信号として出力する撮像素子と、各撮像素子には電子シャッタ制御部（図示せず）及び利得制御部（図示せず）を有する。また撮像部１〜４は、後述の露光制御部１２からの制御信号を受け、露光条件（シャッター時間など）を変化させる。
【００１３】
画像入力部１１は、各撮像部１〜４からの画像信号を入力して後段の画像信号処理部へ送り出す入力インタフェースである。ここでは、信号レベル調整のための利得制御やフィルタ処理を行う。さらに、ＡＤ（Analog to Digital）変換処理、撮像素子と信号処理部との処理タイミングを調整する同期調整処理などを含んでも良い。
【００１４】
露光制御部１２は、撮像部１〜４に対する露光条件（絞り、撮像素子の電子シャッタ、および利得制御）と、画像入力部１１の利得などの制御を行う。その際、後述の信号レベル検出部１４から受けた信号レベルの情報に応じて、各撮像部１〜４からの画像の連結部に切れ目が目立たないように露光条件を制御する。
【００１５】
重複領域記憶部１３は、各撮像部１〜４の撮影画像のうち隣接する撮影画像と重複する領域を示す情報（以下、重複領域情報）を保持するメモリで、撮像部１〜４の配置に基づき予め記憶している。なお、重複領域情報はプログラム上に保持しても良い。
【００１６】
信号レベル検出部１４は、画像入力部１１から画像信号を受け、重複領域記憶部１３に保持されている重複領域情報に従い、重複画像領域における信号レベルを検出する。ここで検出する信号レベルとは、入力した画素信号の絶対値（輝度レベル）、ヒストグラム分布、最大値・最小値、平均値など、重複画像領域での信号の輝度分布状態を示す情報である。信号レベル検出部１４は、検出した信号レベルの情報を、前記露光制御部１２と後述のグラデーション制御部１５に出力する。
【００１７】
グラデーション制御部１５は、信号レベル検出部１４から受けた信号レベルの情報に応じて、各撮像部１〜４からの画像の連結部に切れ目が目立たないようにグラデーション処理の処理量を設定する。
【００１８】
画像処理部１６は、グラデーション制御部１５で設定したグラデーション処理量に従い、入力画像に対して信号レベルの変化を緩やかなるよう補正するグラデーション処理を行う。そして、各撮像部１〜４からの画像を連結して合成する。例えば車両周辺画像であれば、視点変換処理により、自車両の上方の仮想視点から見た車両周辺画像を生成する。またその他の画像処理として、ノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識など処理を行う。
【００１９】
画像出力部１７は、画像処理部１６で合成された画像信号を画像表示装置（モニタ、ＴＶ）や画像記録装置などに出力する。その際、出力機器の信号フォーマットに変換する処理を行う。例えば、ＮＴＳＣやＰＡＬ変換、ＨＤＭＩ変換、ネットワーク伝送方式への変換などを行う。なお、画像出力部１７は、信号レベル調整のための利得制御や、フィルタ処理、エンコードによる圧縮処理などを含む構成であっても良い。
【００２０】
本例の撮像システム１０では撮像部１〜４を含む構成としたが、撮像部１〜４を外部機器として扱っても良い。また、画像表示装置を外部機器として扱っているが、撮像システム１０内に含める構成でも良い。
【００２１】
図２は、撮像部の配置と撮影範囲の例を示す図である。ここでは４台の撮像部１〜４を配置して自動車９の周囲を撮影する例を、自動車の上方から見た図を示す。撮像部１は自動車後部、撮像部２は自動車左側面、撮像部３は自動車前部、撮像部４は自動車右側面に配置し、それぞれの撮影範囲を符号９１〜９４で示す。各撮像部の撮影範囲の左右端領域は、隣接する撮像部の撮影範囲と重複させることで、自動車の周辺画像を欠落することなく取得するようにしている。
【００２２】
図３は、図２の各撮像部からの撮影画像を連結した合成画面の例を示す図である。画面中央には撮像部３から得られる前方（正面）の撮影範囲９３を配し、これに隣接して撮像部２、４から得られる左側面と右側面方向の撮影範囲９２，９４を配する。さらにその外側には、撮像部１から得られる後方（背面）の撮影範囲９１を配する。これらの撮影範囲は隣接する撮影範囲との間で左右端部が重複し、その重複領域を斜線で示す。この重複領域の位置は、図１の重複領域記憶部１３に記憶されている。
【００２３】
この重複領域において画像のつなぎ目となる連結部９５〜９８を設け、撮像部１〜４からの画像信号を切り替えて表示する。以下の説明では、正面の撮影範囲９３で表示する画像をメイン画像、左右側面の撮影範囲９２，９４で表示する画像をサブ画像、後方（背面）の撮影範囲９１、９１’で表示する画像をリア画像とも呼ぶことにする。そして以下で説明する車両周辺画像の場合、メイン画像はサブ画像よりも運転者にとって重要な情報となるので、画質の優先度を高くして表示するものとする。またリア画像についてもメイン画像に次いで優先度を高くする。
【００２４】
ここで、本実施例で行う露光制御とグラデーション制御について説明する。
図４は、露光制御とグラデーション制御による信号レベルの補正を示す図である。露光制御では、例えば露光時間を変えることになるが、補正区間（Ｐ１〜Ｐ２）の画像信号レベル（輝度レベル）に均一な補正係数ｋを乗算することに相当する。その結果、補正後の信号レベルは元の信号レベルの勾配を保ったまま上下方向に平行移動することになる。なお、補正区間（Ｐ１〜Ｐ２）は補正対象の撮像部から得られる画面全体に及ぶ。
【００２５】
一方グラデーション制御では、補正区間（Ｐ１〜Ｐ２）の画像信号レベル（輝度レベル）に位置に応じた補正係数ｋを乗算する演算処理を行う。例えば、位置Ｐ１、Ｐ２における補正係数ｋ１、ｋ２が与えられたとき、中間位置Ｐでの補正係数ｋを（１）式に示す線形補間法で求め、滑らかに変化させる。
【００２６】
ｋ＝（１−α）×ｋ１＋α×ｋ２
ただしα＝（Ｐ−Ｐ１）／（Ｐ２−Ｐ１） （１）
これによれば、補正区間での信号レベルの勾配を緩やかに変化させることになる。なお、補間式はこれに限らず、区間内の補正量について適宜重み付けを施しても良い。
【００２７】
次に、上記の露光制御とグラデーション制御を適用した補正方法について、具体例を用いて説明する。
図５は、画像信号の補正方法の第１例を示す図である。各撮像部１〜４から得られる撮影画像を連結した合成画面において、各水平位置での平均輝度レベル（画面垂直方向の平均値）を示している。各撮像部１〜４から得られた撮影画像（輝度レベル）を符号１０１〜１０４で示し、連結部を符号９５〜９８で示す。
【００２８】
この例は通常露光で得られる典型的な輝度分布を想定したものであり、次の特徴がある。正面の撮像部３からのメイン画像１０３は、画面中央に明るい被写体があり、画面の左右領域では輝度が低下しているが、画面全体としては最適露光範囲内に収まっている。背面の撮像部１からのリア画像１０１は、後方の自動車からのヘッドライトにより照射されていることを想定し、正面の撮像部３からのメイン画像１０３と同様の分布になる。
【００２９】
一方、左側面の撮像部２からのサブ画像１０２は、画面中央に暗い被写体があり、画面の左右領域では明るくなっている。これは、左側に隣接するリア画像１０１（後方に自動車あり）の影響で、自動車の側面よりも明るくなるからである。このようなシーンでサブ画像１０２の中央に重みを置いて露光制御をした場合、画面中央は最適露光となるが、画面の左右領域では露出がオーバーになりやすい。このことは、右側面の撮像部４からのサブ画像１０４についても同様である。
【００３０】
この結果通常露光では、各撮影画像の連結部９５〜９８において輝度レベル差が生じ、画像の切れ目が非常に目立ちやすい状態になっている。そこで本実施例では、画像の切れ目を目立たなくするために、露光制御とグラデーション制御を組み合わせて実施する。
【００３１】
まず、メイン画像１０３とサブ画像１０２、１０４の連結部９６，９７に関しては、メイン画像１０３を優先させてその輝度レベルを固定し、これに隣接するサブ画像１０２、１０４の輝度レベルを合わせるように露光制御で補正する。すなわち、メイン画像１０３の左側の連結部９６近傍におけるレベル３Ｌを検出し、これに隣接するサブ画像１０２の連結部９６近傍におけるレベル２Ｒが同じレベルになるように、左側面の撮像部２の露光制御を実施する。この露光制御の結果、撮像部２から得られるサブ画像１０２のレベルは１０２ａのように補正（平行移動）される。同様に、右側面の撮像部４から得られるサブ画像１０４についても露光制御を実施して、レベルを１０４ａのように補正する。
【００３２】
この露光制御により、メイン画像１０３とこれに隣接するサブ画像１０２ａ，１０４ａとの、連結部９６，９７における画像の切れ目を目立たなくすることができる。しかし、連結部９５，９８における画像の切れ目は残っており、上記した露光制御を繰り返しても全ての連結部の切れ目を解消することはできない。
【００３３】
そこで、リア画像１０１と上記補正後のサブ画像１０２ａ、１０４ａの連結部９５，９８に関しては、リア画像１０１を優先させてその輝度レベルを固定し、これに隣接するサブ画像１０２ａ、１０４ａの輝度レベルを合わせるようにグラデーション制御で補正する。すなわち連結部９５では、リア画像１０１の連結部９５近傍におけるレベル１Ｒを検出し、これに隣接するサブ画像１０２ａの連結部９５近傍におけるレベル２ａＬが同じレベルになるように、補正係数ｋを乗算することでグラデーション制御を実施する。この例では、グラデーション処理を施す区間はＰ１〜Ｐ２までの部分とし、サブ画像１０２ａの左側約１／２の領域に限定する。すなわちこの補正では、Ｐ２におけるサブ画像１０２ａのレベル２ａＮを固定し、Ｐ１に至る部分の勾配を変化させて、リア画像１０１のレベル１Ｒに連結させるものである。このグラデーション制御の結果、撮像部２から得られるサブ画像１０２のレベルは１０２ｂのように補正される。同様に、撮像部４から得られるサブ画像１０４についても区間Ｐ５〜Ｐ６の部分でグラデーション制御を実施して、レベルを１０４ｂのように補正する。
【００３４】
このようにグラデーション制御を追加することにより、各連結部でのレベル合わせを他の連結部でのレベル差状況とは無関係に自在に調整することができ、全ての連結部９５，９６，９７，９８において画像の切れ目を目立たなくすることができる。なお、グラデーション制御を適用する区間の大きさはこれに限らず、適宜変更しても良い。以下、露光制御とグラデーション制御を組合せる場合について、様々な変形例を示す。
【００３５】
図６は図５の変形例を示し、グラデーション制御の適用区間をさらに狭く限定する場合である。ここでは、サブ画像１０２ａ，１０４ａの約１／３の領域（Ｐ１〜Ｐ２’、Ｐ５’〜Ｐ６）に限定して適用した場合を示す。グラデーション制御によれば滑らかな画像になるが階調差（分解能）が低下することになるので、両者の兼ね合いを考慮して適用区間を定めるようにすれば良い。
【００３６】
図７は図５の変形例を示し、メイン画像１０３についても露光制御により輝度レベルを補正する場合である。すなわち、左側の連結部９６において、メイン画像１０３のレベル３Ｌとサブ画像１０２のレベル２Ｒの両方を露光制御により補正し、同じレベル３ａＬになるようにする。補正後のメイン画像１０３のレベルは１０３ａとなり、サブ画像１０２のレベルは１０２ａとなる。さらにサブ画像１０２ａの区間Ｐ１〜Ｐ２については、リア画像１０１と連結するようグラデーション制御を施し、レベルを１０２ｂのように補正する。右側の連結部９７についても同様である。図７の例では、メイン画像１０３の輝度レベルも補正することで、サブ画像１０２，１０４の輝度レベルが最適露光範囲から外れるのを防止し、合成画像全体の露光状態を改善することができる。
【００３７】
図８は図７の変形例を示し、メイン画像に対し露光制御を行うとともに、サブ画像についてはグラデーション制御のみとする場合である。すなわち、メイン画像１０３の輝度レベルを露光制御により１０３ａに補正した後、左側のサブ画像１０２については区間Ｐ１〜Ｐ２と区間Ｐ２〜Ｐ３に分けてそれぞれグラデーション制御を施す。その結果、中間位置Ｐ２ではレベル２Ｎに固定しながら、区間Ｐ１〜Ｐ２についてはレベル１０２ｂに、区間Ｐ２〜Ｐ３についてはレベル１０２ｃに補正する。右側のサブ画像１０４についても同様である。この場合の中間位置Ｐ２も、任意の位置に設定できる。
【実施例２】
【００３８】
実施例１では、隣接する画像の切れ目を目立たなくするために露光制御とグラデーション制御を組合せる方法を述べた。これに対し実施例２では、グラデーション制御のみで画像信号（輝度レベル）を補正する場合である。
【００３９】
図９は、画像信号の補正方法の第２例を示す図である。まず、優先するメイン画像１０３については輝度レベルを固定する。そして、これに隣接するサブ画像１０２，１０４に対しグラデーション制御を施す。具体的には、左側のサブ画像１０２については区間Ｐ１〜Ｐ２と区間Ｐ２〜Ｐ３に分ける。そして、中間位置Ｐ２ではレベル２Ｎに固定しながら、区間Ｐ１〜Ｐ２についてはレベル１０２ｂに、区間Ｐ２〜Ｐ３についてはレベル１０２ｃに補正する。その結果、連結部９５における輝度レベルをリア画像１０１のレベル１Ｒに、連結部９５における輝度レベルをメイン画像１０３のレベル３Ｌに合わせることができる。右側のサブ画像１０４についても同様に補正する。
【００４０】
本実施例では、サブ画像１０２，１０４に対し、露光制御を行わずにグラデーション制御のみでメイン画像１０３の輝度レベルに連結するものである。通常メイン画像１０３は最適露光状態で撮影されるので、これに隣接するサブ画像の領域についても補正により最適露光から外れることが少ない。また、グラデーション制御をサブ画像の全区間に施すので、補正による画像の違和感が特定領域に集中することがない。
【００４１】
図１０は図９の変形例を示し、グラデーション制御の適用区間を限定する場合である。ここでは、サブ画像１０２，１０４の中央領域を除き、両側の連結部に近接する区間に限定して適用した場合を示す。具体的にはサブ画像１０２では、連結部９５に近接する略１／３の領域Ｐ１〜Ｐ２’と、連結部９６に近接する略１／３の領域Ｐ２”〜Ｐ３に限定している。その結果、サブ画像１０２の輝度レベルは１０２ｂと１０２ｃに補正され、区間Ｐ２’〜Ｐ２”では元のままである。右側のサブ画像１０４についても同様である。
【００４２】
図１１は図９の変形例を示し、サブ画像の区間を分割せずにグラデーション制御する場合を示す。すなわち、サブ画像１０２の範囲Ｐ１〜Ｐ３に対し、これを１つの区間として補正する。これにより、サブ画像１０２の輝度レベルは１０２ｂに補正されるが、元の輝度分布の傾向が保持されるので、違和感が少なくなる。右側のサブ画像１０４についても同様である。
【００４３】
上記実施例１と実施例２においては、メイン画像１０３を中心に左右のサブ画像１０２，１０４に対し同様の処理（露光制御とグラデーション制御の選択）を行うものとしたが、画像の種類に応じて左右で異なる処理を選択しても良い。また、優先する画像を正面（前方）のメイン画像１０３に固定したが、例えば車両周辺画像の場合、車両走行状態に応じて優先する画像を左側面や右側面、あるいは背面（後方）の画像に切り替えることで、運転者にとってより見やすい画像表示となる。
【実施例３】
【００４４】
図１２は、本発明による撮像システムの他の実施例を示すシステム構成図である。本実施例では、実施例１（図１）の構成に対し、重複領域決定部１８を追加している。重複領域決定部１８は、画像信号から各撮像部の撮影重複領域を認識する機能を有する。そして、別途重複領域記憶部１３に記憶している重複領域情報と、画像信号から認識して得られた重複領域情報のいずれかを選択して信号レベル検出部１４へ出力する。この構成は、重複領域記憶部１３において各撮像部間の重複領域情報を予め保持していない場合に有効である。また、露光制御部１２とグラデーション制御部１５は、補正による画質劣化を抑えるため補正量を制限する機能を有する。
【００４５】
図１３は、重複領域決定部１８の内部構成を示す図である。画像認識部２１は、入力した各撮像部の画像信号から撮影画像の重複部分を抽出する。その際の認識方法には、画像のエッジ情報、色情報、輝度情報などの相関関係を利用することができる。次に重複領域情報生成部２２は、抽出した重複画像部分の領域情報を生成する。選択部２３は、予め重複領域記憶部１３に保持された領域情報と、画像認識により重複領域情報生成部２２で生成された領域情報のいずれかを選択する。この選択部２３による選択はユーザが行なっても良く、重複領域記憶部１３がない場合は自動的に重複領域情報生成部２２側に切り替えても良い。選択された領域情報は信号レベル検出部１４に送られ、当該領域での画像信号の信号レベルを検出する。
【００４６】
図１４は、露光補正量とグラデーション補正量を制限する動作を示す図である。露光制御部１２とグラデーション制御部１５は、補正による画質劣化を抑えるため補正量の最大値を定め、補正量が最大値を超えないように制御する。例えば連結部９６にて露光制御を行い、画像１０２の輝度レベルを画像１０３の輝度レベルに合わせる場合、レベルＱ１からレベルＱ３までシフトさせる必要があるが、その補正量は最大値ｋｍａｘを超えてしまう。この場合には補正量を最大値ｋｍａｘに抑え、レベルＱ２までのシフトとし補正後の画像を１０２ａとする。この制限によって、露光が過補正となることを抑え画質劣化を防止する。
【００４７】
また連結部９５にてグラデーション制御を行い、画像１０２ａの輝度レベルを画像１０１の輝度レベルに合わせる場合、レベルＱ４からレベルＱ６までシフトさせる必要があるが、その補正量は最大値ｋｍａｘを超えてしまう。この場合には補正量を最大値ｋｍａｘに抑え、レベルＱ５までのシフトとし補正後の画像を１０２ｂとする。この制限によって、グラデーションの過補正を抑え画質劣化を防止する。
【００４８】
以上、本発明による撮像システムとその動作についていくつかの実施例を示したが、各実施例は単独でも、あるいは適宜組み合わせても有効である。これらの実施例によれば、複数のカメラからの画像を連結し一巡して表示する場合、全ての連結部において画像の切れ目を目立たなく表示することができる効果がある。
【符号の説明】
【００４９】
１〜４…撮像部（カメラ）、
９…自動車、
１０…撮像システム、
１１…画像入力部、
１２…露光制御部、
１３…重複領域記憶部、
１４…信号レベル検出部、
１５…グラデーション制御部、
１６…画像処理部、
１７…画像出力部、
１８…重複領域決定部、
２１…画像認識部、
２２…検出領域情報生成部、
２３…選択部、
９１〜９４…撮影領域、
９５〜９８…連結部、
１０１〜１０４…撮像部からの画像（輝度レベル）。
【特許請求の範囲】
【請求項１】
複数の撮影画像を連結して合成画像を生成する撮像システムにおいて、
撮影領域を重複させながら被写体を撮影する複数の撮像部と、
該複数の撮像部からの画像信号を合成して合成画像を生成するとともに、画像内の信号レベルにグラデーション処理を行なう画像処理部と、
前記複数の撮像部からの画像信号の信号レベルを検出する信号レベル検出部と、
該信号レベル検出部の検出した信号レベルに応じて前記画像処理部の行うグラデーション処理量を設定するグラデーション制御部と、を備え、
前記信号レベル検出部は前記各撮像部の撮影画像のうち互いに重複する領域における信号レベルを検出し、
前記グラデーション制御部は、前記各撮像画像の重複領域における信号レベルを所定のレベル差以下となるようグラデーション処理量を設定することを特徴とする撮像システム。
【請求項２】
請求項１に記載の撮像システムにおいて、
前記信号レベル検出部の検出した信号レベルに応じて前記各撮像部の露光条件を制御する露光制御部を備え、
該露光制御部は、前記各撮像画像の重複領域における信号レベルを所定のレベル差以下となるよう露光量を調整することを特徴とする撮像システム。
【請求項３】
請求項１または２に記載の撮像システムにおいて、
前記各撮像部の撮影画像が互いに重複する領域の情報を保持する重複領域記憶部を備え、
前記信号レベル検出部は該重複領域記憶部の保持する重複領域情報に従い信号レベルを検出することを特徴とする撮像システム。
【請求項４】
請求項１または２に記載の撮像システムにおいて、
前記各撮像部の撮影画像から互いに重複する領域を抽出して重複領域情報を生成する重複領域決定部を備え、
前記信号レベル検出部は該重複領域決定部の生成した重複領域情報に従い信号レベルを検出することを特徴とする撮像システム。
【請求項５】
請求項１または２に記載の撮像システムにおいて、
前記撮像部からの撮影画像に優先順序を設けて優先度の高い画像をメイン画像、優先度の低い画像をサブ画像としたとき、
前記グラデーション制御部は、前記サブ画像に対してグラデーション処理を行うよう制御することを特徴とする撮像システム。
【請求項６】
請求項５に記載の撮像システムにおいて、
前記グラデーション制御部は、前記サブ画像のうち前記メイン画像に隣接しない側の一部領域に対してグラデーション処理を行うよう制御することを特徴とする撮像システム。
【請求項７】
請求項１または２に記載の撮像システムにおいて、
前記グラデーション制御部は、グラデーション処理により信号レベルの補正量が所定量を超えないように処理量を制限することを特徴とする撮像システム。
【請求項８】
請求項２に記載の撮像システムにおいて、
前記露光制御部は、露光量の調整により信号レベルの補正量が所定量を超えないように調整量を制限することを特徴とする撮像システム。
【請求項１】
複数の撮影画像を連結して合成画像を生成する撮像システムにおいて、
撮影領域を重複させながら被写体を撮影する複数の撮像部と、
該複数の撮像部からの画像信号を合成して合成画像を生成するとともに、画像内の信号レベルにグラデーション処理を行なう画像処理部と、
前記複数の撮像部からの画像信号の信号レベルを検出する信号レベル検出部と、
該信号レベル検出部の検出した信号レベルに応じて前記画像処理部の行うグラデーション処理量を設定するグラデーション制御部と、を備え、
前記信号レベル検出部は前記各撮像部の撮影画像のうち互いに重複する領域における信号レベルを検出し、
前記グラデーション制御部は、前記各撮像画像の重複領域における信号レベルを所定のレベル差以下となるようグラデーション処理量を設定することを特徴とする撮像システム。
【請求項２】
請求項１に記載の撮像システムにおいて、
前記信号レベル検出部の検出した信号レベルに応じて前記各撮像部の露光条件を制御する露光制御部を備え、
該露光制御部は、前記各撮像画像の重複領域における信号レベルを所定のレベル差以下となるよう露光量を調整することを特徴とする撮像システム。
【請求項３】
請求項１または２に記載の撮像システムにおいて、
前記各撮像部の撮影画像が互いに重複する領域の情報を保持する重複領域記憶部を備え、
前記信号レベル検出部は該重複領域記憶部の保持する重複領域情報に従い信号レベルを検出することを特徴とする撮像システム。
【請求項４】
請求項１または２に記載の撮像システムにおいて、
前記各撮像部の撮影画像から互いに重複する領域を抽出して重複領域情報を生成する重複領域決定部を備え、
前記信号レベル検出部は該重複領域決定部の生成した重複領域情報に従い信号レベルを検出することを特徴とする撮像システム。
【請求項５】
請求項１または２に記載の撮像システムにおいて、
前記撮像部からの撮影画像に優先順序を設けて優先度の高い画像をメイン画像、優先度の低い画像をサブ画像としたとき、
前記グラデーション制御部は、前記サブ画像に対してグラデーション処理を行うよう制御することを特徴とする撮像システム。
【請求項６】
請求項５に記載の撮像システムにおいて、
前記グラデーション制御部は、前記サブ画像のうち前記メイン画像に隣接しない側の一部領域に対してグラデーション処理を行うよう制御することを特徴とする撮像システム。
【請求項７】
請求項１または２に記載の撮像システムにおいて、
前記グラデーション制御部は、グラデーション処理により信号レベルの補正量が所定量を超えないように処理量を制限することを特徴とする撮像システム。
【請求項８】
請求項２に記載の撮像システムにおいて、
前記露光制御部は、露光量の調整により信号レベルの補正量が所定量を超えないように調整量を制限することを特徴とする撮像システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−２９９９５（Ｐ２０１３−２９９９５Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６５６４３（Ｐ２０１１−１６５６４３）
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]