複数カメラ画像処理装置及び複数カメラ画像表示装置
【課題】複数のカメラを用いて撮像した画像から視認性の向上した処理画像を生成、表示する複数カメラ画像処理装置及び複数カメラ画像表示装置を得る。
【解決手段】移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置された複数のカメラ又は複数のカメラのうち１台のカメラを除いた他のカメラからの撮像画像を保存する画像一時記憶部４と、複数のカメラのフレームレートとそれぞれの設置位置及び、移動体の移動速度を基にして複数のカメラのそれぞれの撮像タイミングを制御するタイミング制御部３と、画像一時記憶部又は、画像一時記憶部と前記１台のカメラから撮像画像を読み込んで画像処理を行う画像処理部５とを備える。
【解決手段】移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置された複数のカメラ又は複数のカメラのうち１台のカメラを除いた他のカメラからの撮像画像を保存する画像一時記憶部４と、複数のカメラのフレームレートとそれぞれの設置位置及び、移動体の移動速度を基にして複数のカメラのそれぞれの撮像タイミングを制御するタイミング制御部３と、画像一時記憶部又は、画像一時記憶部と前記１台のカメラから撮像画像を読み込んで画像処理を行う画像処理部５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、移動体上に搭載された複数のカメラから入力される撮像画像を画像処理し、処理画像を作成し表示する複数カメラ画像処理装置及び複数カメラ画像表示装置に関する。
【背景技術】
【０００２】
車両等の移動体の複数箇所にカメラを設置し、複数のカメラから得られた撮像画像から、それぞれ有効な領域の切り出しや貼り合わせ等の画像合成を行って死角の少ない合成画像を生成する方法が提案されている。従来の複数カメラ画像合成表示装置においては、車両進行方向に対して異なる方向に設置した複数のカメラを用い、複数カメラの相互配置と車速をもとに、車両後方の合成画像を生成、表示している（例えば、特許文献１参照。）。
【０００３】
【特許文献１】特開２００７−１１０５７２号公報（第６〜８頁、第１〜５図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の複数カメラ画像合成表示装置では、単一カメラでは死角となる領域を別のカメラの撮像画像にて補い、それらを１つの合成画像とすることにより、死角の減少と共に違和感の少ない合成表示を可能とし視野を広げているが、動きのなめらかさ、あるいは、低ノイズ、高解像度、画像中の異物といった視認性について問題点があった。
【０００５】
この発明は、上述のような問題点を解決するためになされたもので、複数のカメラを用いて撮像した画像から視認性の向上した処理画像を生成、表示する複数カメラ画像処理装置及び複数カメラ画像表示装置を得るものである。
【課題を解決するための手段】
【０００６】
この発明に係る複数カメラ画像処理装置は、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置された複数のカメラ又は複数のカメラのうち１台のカメラを除いた他のカメラからの撮像画像を保存する画像一時記憶部と、複数のカメラのフレームレートとそれぞれの設置位置及び、移動体の移動速度を基にして複数のカメラのそれぞれの撮像タイミングを制御するタイミング制御部と、画像一時記憶部又は、画像一時記憶部と前記１台のカメラから撮像画像を読み込んで画像処理を行う画像処理部とを備えるものである。
【発明の効果】
【０００７】
この発明によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように設けられ、撮像タイミングが制御された複数のカメラによる撮像画像を用いて画像処理を行うため、視認性の良好な処理画像が得られる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１はこの発明を実施するための実施の形態１による複数カメラ画像処理装置１の構成を示すブロック図である。図において、複数カメラ画像処理装置１は、タイミング制御部３と、画像一時記憶部４と、画像処理部５と、入力端子７と、出力端子８とを備える。複数カメラ部２は、Ｎ個の画像６ａ〜６ｂを取り込むため、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置されたＮ個のカメラを有しており、複数カメラ画像処理装置１により撮像タイミングを制御され、複数カメラ画像処理装置１に撮像画像を出力する。なお、Ｎは２以上の整数である。
【０００９】
入力端子７は、複数カメラ部２を構成するカメラのフレームレートや相互配置などの固定情報の他、移動体の移動速度等の移動体情報が入力される。タイミング制御部３は、入力端子７を介して入力される移動体情報から複数カメラ部２の個々のカメラの撮像タイミングを決定し、第１の撮像制御信号、・・・、第Ｎの撮像制御信号を複数カメラ部２に出力する。
【００１０】
Ｎ個のカメラを有する複数カメラ部２は、Ｎ個の画像６ａ〜６ｂをタイミング制御部３から入力される各カメラの撮像タイミングで取り込み、各カメラの撮像画像を画像一時記憶部４に出力する。
【００１１】
画像一時記憶部４は、複数カメラ部２から出力された撮像画像を一時的に記憶しておき、画像処理部５からの読み出し制御信号に応じて出力する。
【００１２】
画像処理部５は、入力端子７からの移動体情報と、タイミング制御部３からの撮像タイミング情報から各カメラの撮像画像の読み出しタイミングを決定し、画像一時記憶部４に対して読み出し制御信号を出力し、画像一時記憶部４からの各カメラの撮像画像を読み込む。読み込まれた各カメラの撮像画像は補整処理がなされた後、画像処理により連続した１つの処理画像が生成され、出力端子８に出力される。
【００１３】
このように構成された複数カメラ画像処理装置の動作について図１〜５を用いて説明をする。図２は、図１の複数カメラ部２の要部構成を示すブロック図である。複数カメラ部２は、第１のカメラ２１ａ〜第Ｎのカメラ２１ｂ、Ｎ個の入力端子２２ａ〜２２ｂ、Ｎ個の出力端子２３ａ〜２３ｂを備えている。第１のカメラ２１ａ〜第Ｎのカメラ２１ｂには、画像６ａ〜６ｂが絶えず入力されている。入力端子２２ａ〜２２ｂには、タイミング制御部３から出力された第１の撮像制御信号〜第Ｎの撮像制御信号が入力される。
【００１４】
図１に示すタイミング制御部３は、入力端子７から入力される移動体情報から第１のカメラ２１ａ〜第Ｎのカメラ２１ｂのそれぞれの撮像タイミングを決定し、第１の撮像制御信号〜第Ｎの撮像制御信号を複数カメラ部２に出力する。これらの情報は、撮像タイミング情報として、画像処理部５にも出力される。ここで、移動体情報とは、複数カメラ部２を構成する個々のカメラ（第１のカメラ２１ａ〜第Ｎのカメラ２１ｂ）の相互配置位置や角度等の固定情報、カメラ設定（光や電荷の蓄積時間やフレームレート）の他、移動体の移動速度、移動方向、移動距離などである。
【００１５】
複数カメラ部２では、入力端子２２ａ〜２２ｂを介してタイミング制御部３から入力された第１の撮像制御信号〜第Ｎの撮像制御信号により、Ｎ個の画像６ａ〜６ｂを第１のカメラ２１ａ〜第Ｎのカメラ２１ｂで撮像し取り込み、撮像画像を出力端子２３ａ〜２３ｂを介し画像一時記憶部４に出力する。
【００１６】
図３は、画像一時記憶部４の要部構成を示すブロック図である。画像一時記憶部４は、第１のメモリ４１ａ〜第Ｎのメモリ４１ｂ、Ｎ個の入力端子４２ａ〜４２ｂ、Ｎ個の入力端子４３ａ〜４３ｂ、Ｎ個の出力端子４４ａ〜４４ｂを備えている。入力端子４２ａ〜４２ｂには、複数カメラ部２から出力された各カメラ２１ａ〜２１ｂの撮像画像が入力される。入力端子４３ａ〜４３ｂには、画像処理部５から出力された第１の読み出し制御信号〜第Ｎの読み出し制御信号が入力される。
【００１７】
第１のメモリ４１ａ〜第Ｎのメモリ４１ｂは、入力端子４２ａ〜４２ｂを介して複数カメラ部２から入力された各カメラ２１ａ〜２１ｂの撮像画像が入力され、一時記憶される。入力端子４３ａ〜４３ｂを介して画像処理部５から入力される第１の読み出し制御信号〜第Ｎの読み出し制御信号により、一時記憶された各カメラ２１ａ〜２１ｂの撮像画像は読み出され、出力端子４４ａ〜４４ｂを介し画像処理部５に出力する。
【００１８】
図４は、図１の画像処理部５の形態の一つとして、フレームレート変換部５２ａを備えた画像処理部５ａの要部構成を示すブロック図である。画像処理部５ａは、それぞれのカメラ２１ａ〜２１ｂに対応した第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂ、フレームレート変換部５２ａ、Ｎ個の入力端子５３ａ〜５３ｂ、Ｎ個の出力端子５４ａ〜５４ｂ、出力端子５５、入力端子５６、５７を備えている。
【００１９】
画像処理部５ａには、入力端子７から入力される移動体情報が入力端子５７を介して入力され、タイミング制御部３から出力される撮像タイミング情報が入力端子５６を介して入力される。入力端子５６を介して入力された撮像タイミング情報と、入力端子５７を介して入力された移動体情報は、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂとフレームレート変換部５２ａに入力される。
【００２０】
フレームレート変換部５２ａでは、入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報と、入力端子５７を介して入力端子７から入力された移動体情報から、画像一時記憶部４に一時記憶された各カメラ２１ａ〜２１ｂの撮像画像の読み出しタイミングを決定し、第１の読み出し制御信号〜第Ｎの読み出し制御信号を、出力端子５４ａ〜５４ｂを介して画像一時記憶部４に出力する。
【００２１】
出力端子５４ａ〜５４ｂを介して出力された各カメラ２１ａ〜２１ｂの撮像画像の第１の読み出し制御信号〜第Ｎの読み出し制御信号は、画像一時記憶部４の入力端子４３ａ〜４３ｂを介して第１のメモリ４１ａ〜第Ｎのメモリ４１ｂに入力される。第１のメモリ４１ａ〜第Ｎのメモリ４１ｂは、各カメラ２１ａ〜２１ｂの撮像画像を読み出し、出力端子４４ａ〜４４ｂを介して、画像処理部５ａに出力する。
【００２２】
入力端子５３ａ〜５３ｂを介して画像処理部５ａに入力された各カメラ２１ａ〜２１ｂの撮像画像は、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂに入力される。第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂは、入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報と入力端子５７を介して入力端子７から入力された移動体情報により、画像一時記憶部４から入力された各カメラ２１ａ〜２１ｂの撮像画像の補整処理を行う。補整処理としては、回転、拡大縮小、変形、及び切り出し処理等があるが、具体例については、後述する。第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂにより補整処理された各カメラ２１ａ〜２１ｂの撮像画像はフレームレート変換部５２ａに出力され、フレームレート変換処理がなされる。
【００２３】
移動体としては、自動車や列車のような車両や、航空機等があげられるが、ここでは自動車を例にとって具体的に説明する。図５には、移動速度Ｖで移動している車両の側面に、進行方向に沿って同じ高さで同じ特性のカメラ（カメラａがカメラｂに対して進行方向前方側）を２個、間隔Ｄで設置し、車両進行方向に対して、カメラの撮影方向が重なるように配置している。本例では、進行方向に対して垂直方向（横方向）を撮影するものとして図示しているが、進行方向に対してある一定の角度の方向を撮影する場合にも同様である。また、これらのカメラは向きを変更する機構を備えていてもよい。特に、進行方向に対し最前に位置するカメラａが撮像した後に車両が曲がると車両の向きに伴って後続のカメラｂの向きも変わる。この場合、後続のカメラｂは、カメラａと同じ向きを撮像するために、車両が曲がったことによる方向の補正のため、向きを変更し、カメラａと撮影方向が重なるように制御されていてもよい。カメラはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラでも、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラでも、また、赤外線カメラ、近赤外線カメラ、遠赤外線カメラでも構わない。
【００２４】
ここでは、ＣＭＯＳカメラを例に説明する。光（電荷）の蓄積時間をＴとする。連続動作をさせた場合、フレームレートは１／Ｔとなる。現在、フレームレートが１５Ｈｚや、３０ＨｚのＣＭＯＳカメラが存在する。撮影時刻をｔ、カメラａの撮影位置（移動距離）をｐｏｓＡ、カメラｂの撮影位置（移動距離）をｐｏｓＢとする。フレームレートと移動速度を基に、１フレーム分の移動体の移動経路（蓄積時間Ｔあたりの移動距離Ｌ＝Ｖ×Ｔ）をカメラの台数で分割した移動体の移動経路上のそれぞれの位置（０、Ｌ／２、Ｌ、３×Ｌ／２、・・・）において、カメラａ、カメラｂを交互に用いて、同じ方向を撮影する。つまり、ｔ＝ｔ０ａ、ｐｏｓＡ＝０の時カメラａで、ｔ＝ｔ０ｂ、ｐｏｓＢ＝Ｌ／２の時カメラｂで、ｔ＝ｔ１ａ、ｐｏｓＡ＝Ｌの時カメラａで、ｔ＝ｔ１ｂ、ｐｏｓＢ＝３×Ｌ／２の時カメラｂで撮影を行う。カメラａ，ｂの撮像範囲は、車両の移動中、連続した範囲の一部をほぼ等間隔で切り取るようになる。
【００２５】
カメラａはフレームレートの関係上０、Ｌ、２Ｌ・・・の位置で撮像を行うが、Ｌ／２の位置においてカメラａが撮るべき撮像範囲と重複するようにカメラｂはＬ／２の位置に来たときに撮像する。つまり、移動体の移動によって異なるカメラの撮像範囲が重複するように撮影する。これにより、カメラａの画像をカメラｂによって補間することができるようになり、フレームレートをあげることが可能となる。
【００２６】
具体的には、カメラａによる撮影からカメラｂによる撮影までの時間差を、ｔ０ｂ−ｔ０ａ＝Ｔ／２＋Ｄ／Ｖ、カメラｂによる撮影からカメラａによる撮影までの時間差を、ｔ１ａ−ｔ０ｂ＝Ｔ／２−Ｄ／Ｖとなるように制御する。なお、移動速度がＶ１に変化した場合は、蓄積時間Ｔあたりの移動距離はＬ１＝Ｖ１×Ｔに変化するが、この場合も車両の移動経路をカメラの台数分の等間隔の位置（０、Ｌ１／２、Ｌ１、３×Ｌ１／２、・・・）に分割して、上記と同様に撮影すればよい。
【００２７】
カメラａ、カメラｂは、複数カメラ部２の第１のカメラ２１ａ、第Ｎのカメラ２１ｂに相当する。撮影時刻ｔ０ａ、ｔ０ｂ、ｔ１ａ、ｔ１ｂは、タイミング制御部３が入力端子７から入力された移動体情報（複数カメラの相互配置：間隔Ｄ、移動体の移動速度Ｖ）とカメラ設定（蓄積時間Ｔ又は、フレームレート：１／Ｔ）をもとに決定する。また、これらの時間に複数カメラ部２に第１の撮像制御信号と第Ｎの撮像制御信号が出力され、カメラａとカメラｂが画像６ａ、６ｂを取り込む。
【００２８】
カメラａとカメラｂで撮像された撮像画像は、第１のメモリ４１ａと第Ｎのメモリ４１ｂに一時記憶される。画像処理部５ａでは、タイミング制御部３から出力された撮像タイミング情報（カメラａの撮像タイミングとカメラｂの撮像タイミング）と、入力端子７から入力される移動体情報（複数カメラの相互配置：間隔Ｄ、移動体の移動速度Ｖ）から各カメラの撮像画像の読み出しタイミングｔｄ０、ｔｄ１、ｔｄ２、ｔｄ３を決定し、そのタイミングにあわせて第１の読み出し制御信号と第Ｎの読み出し制御信号を第１のメモリ４１ａと第Ｎのメモリ４１ｂに出力する。
【００２９】
第１のメモリ４１ａと第Ｎのメモリ４１ｂは、画像処理部５ａから出力された第１の読み出し制御信号と第Ｎの読み出し制御信号により、各メモリに一時記憶されている各カメラの撮像画像を画像処理部５ａに出力する。画像処理部５ａに入力された各カメラの撮像画像は、第１の画像補整部５１ａと第Ｎの画像補整部５１ｂに入力される。
【００３０】
第１の画像補整部５１ａと第Ｎの画像補整部５１ｂでは、タイミング制御部３から入力される撮像タイミング情報と、入力端子７から入力される移動体情報をもとに、各カメラａ、ｂの撮像画像を補整する。具体的には、カメラａ、ｂの相互配置の細かな違いや、移動体の移動方向や移動速度など移動体の移動にともなう画像のズレや歪みを補整する。相互配置の細かな違いによるものとしては、例えば、図６に示すような移動体の形状や取り付け制約からくる、カメラａ、ｂの移動体側面での奥行き方向の取り付け位置の差異ΔＸによる撮影倍率の差異、高さ方向の取り付け位置の差異ΔＨによる撮像範囲の差異や、取り付け角度の差異Δθによる図形変形の差異がある。同様な影響を及ぼすものとして、移動体が直線的な移動だけなく、ある方向に曲がったり、加速、減速など移動速度を変化したりすることによる撮影位置、撮影タイミングのずれによるものがある。
【００３１】
補整処理としては、例えば、アフィン変換等を使う。ｘ、ｙ、ｚ軸回りの回転は、それぞれ以下の（１）〜（３）式で表される。
【００３２】
【数１】
【００３３】
【数２】
【００３４】
【数３】
【００３５】
拡大縮小は以下の（４）式で表され、原点を中心に、ｘ、ｙ、ｚ軸方向にそれぞれ、Ｓｘ、Ｓｙ、Ｓｚだけ伸縮する。
【００３６】
【数４】
【００３７】
平行移動は以下の（５）式で表され、ｘ、ｙ、ｚ軸方向にそれぞれ、Ｔｘ、Ｔｙ、Ｔｚだけ平行移動する。
【００３８】
【数５】
【００３９】
第１の画像補整部５１ａと第Ｎの画像補整部５１ｂで補整処理された各カメラの撮像画像は、フレームレート変換部５２ａに受け渡される。フレームレート変換部５２ａでは、入力端子５７を介して入力された移動体情報と入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報とから、第１の画像補整部５１ａと第Ｎの画像補整部５１ｂで補整処理された各カメラａ、ｂの撮像画像を順番に選択して、出力端子８から出力する。
【００４０】
具体的には、画像処理等を含めた遅れ時間をｔｄｌｙａ、ｔｄｌｙｂとすると、例えば、時刻ｔｄ０（＝ｔ０ａ＋ｔｄｌｙａ）には、カメラａ（第１のカメラ）による撮像画像を、時刻ｔｄ１（＝ｔ０ｂ＋ｔｄｌｙｂ）には、カメラｂ（第Ｎのカメラ）による撮像画像を、時刻ｔｄ２（＝ｔ１ａ＋ｔｄｌｙａ）には、カメラａ（第１のカメラ）による撮像画像を、時刻ｔｄ３（＝ｔ１ｂ＋ｔｄｌｙｂ）には、カメラｂ（第Ｎのカメラ）による撮像画像を選択して出力する。このとき、ｔｄｌｙａ＝ｔｄｌｙｂ＋Ｄ／Ｖとし、時刻ｔｄ０、ｔｄ１、ｔｄ２、ｔｄ３が等間隔となるように制御する。
【００４１】
なお、複数カメラの個数は２個に限るものではなく、Ｎ個（Ｎは２以上の整数）の場合にも、同様の考え方を適用することによって、単一カメラを使用したときに比べて、フレームレートをＮ倍にし、なめらかな動きの処理画像とすることが可能である。
【００４２】
さらに、フレームレート変換部５２ａでは、時刻ｔ＝ｔｄ０と時刻ｔ＝ｔｄ１の間の、例えば、時刻ｔ＝（ｔｄ０＋ｔｄ１）／２に、時刻ｔ＝ｔｄ０に出力するカメラａ（第１のカメラ）の撮像画像と、時刻ｔ＝ｔｄ１に出力するカメラｂ（第Ｎのカメラ）の撮像画像からフレームを補間して作成することにより、フレームレートが更に高く、動きが更になめらか画像を得ることも可能である。なお、フレームの補間に使用する画像（フレーム）は補間位置前後のフレームに限るものではなく、さらにその前後のフレームもあわせて使用してもよい。なお、フレームレート変換の方法は上述したものに限るものではない。
【００４３】
なお、第Ｎのカメラ２１ｂの撮像タイミングと画像読み出し時間に合わせて、画像一時記憶部からの第１〜第（Ｎ−１）のカメラの画像の読み出し制御をすれば、第Ｎのカメラ用の第Ｎのメモリ４１ｂを削減することが可能である。この場合は、第１〜第（Ｎ−１）のカメラの撮像画像は、画像一時記憶部４の第１のメモリ〜第（Ｎ−１）のメモリから、第Ｎのカメラの撮像画像は、第Ｎのカメラから直接読み出すことになる。
【００４４】
また、複数カメラ画像処理装置１と、この複数カメラ画像処理装置１により撮像タイミングを制御され、複数カメラ画像処理装置１に撮像画像を出力し、移動体上に設置された複数のカメラ２１ａ〜２１ｂと、複数カメラ画像処理装置１からの処理画像を記録するドライブレコーダ等の記録部と、複数カメラ画像処理装置と記録部からの画像を表示する表示部とを備えて、複数カメラ画像表示装置を構成しても良い。この場合は、ドライブ途中の風景や建物、標識等を再生することができる。
【００４５】
このように構成された複数カメラ画像処理装置及び複数カメラ画像表示装置によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように異なる位置に設置された複数のカメラを用い、１フレーム分の移動経路をカメラの台数分で分割する位置とタイミングを使うと、１つのカメラによる撮影と撮影の間を別のカメラの撮影によって適切に補間することができる。そのため、フレームレートが高く、動きのなめらかな処理画像を得ることができ、視認性が向上する。また、撮像画像の間のフレームを補間して生成すると、更にフレームレートの高い処理画像を生成できるので、更に動きが滑らかな画像を得ることができる。
【００４６】
また、各カメラの撮像画像に対して、移動体の移動方向や移動速度、複数カメラの相互配置などの移動体情報に基づき、回転、拡大縮小、変形、切り出し処理等を行って、画像のズレや歪みを補整するため、複数カメラの切り替え、あるいは、複数カメラからの補間処理により生成した連続した１つの処理画像として違和感のない良好なものを得ることができる。
【００４７】
また、カメラの向きを変更する機構を備えれば、カメラの設置角度の微調整が可能であるとともに、任意の方向の画像を取得できるため、利便性が増す。また、車両が曲がったことによるカメラの方向の補正もできるため、移動体の移動によって異なるカメラの撮像範囲が重複するように撮影でき、視認性が向上する。また、画像一時記憶部の一部のメモリを省略すれば、コストを下げた複数カメラ画像処理装置を得ることができる。また、ドライブレコーダ等に処理画像を記録すれば、視認性に優れた画像を適宜再生することができるため、通り過ぎた建物や標識等を再生して確認でき、ドライブ時の利便性が向上する。
【００４８】
実施の形態２．
実施の形態１は、複数のカメラを用いてフレーム間の画像を補間することにより動きを滑らかにして視認性を向上させるが、ここでは、ノイズを減少させたり、解像度を向上させたりすることにより視認性の向上を行う複数カメラ画像処理装置について述べる。本発明の実施の形態２に係る複数カメラ画像処理装置１の要部構成も実施の形態１で示した図１を用いて説明する。なお、本発明の実施の形態２に係る複数カメラ画像処理装置１は、画像処理部５の構成が、実施の形態１の構成と若干異なる。
【００４９】
複数カメラ画像処理装置１は、タイミング制御部３と、画像一時記憶部４と、画像処理部５と、入力端子７と、出力端子８を備えている。複数カメラ部２は、Ｎ個の同様な画像６ａ〜６ｂを取り込むため、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置されたＮ個のカメラを有しており、複数カメラ画像処理装置１により撮像タイミングを制御され、複数カメラ画像処理装置１に撮像画像を出力する。図７、８は、図１の画像処理部５の形態の一つとして、それぞれノイズ低減部５２ｂと解像度変換部５２ｃを備えた画像処理部５ｂ、５ｃの要部構成を示すブロック図である。画像処理部５ｂ、５ｃは、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂ、ノイズ低減部５２ｂ又は解像度変換部５２ｃ、Ｎ個の入力端子５３ａ〜５３ｂ、Ｎ個の出力端子５４ａ〜５４ｂ、出力端子５５、入力端子５６、５７を備えている。
【００５０】
このように構成された複数カメラ画像処理装置の動作について図１〜３、７〜９を用いて説明をする。図１、２の複数カメラ部２と、図１、３の画像一時記憶部４の動作は実施の形態１と同じである。
【００５１】
図７、８に示す画像処理部５ｂ、５ｃには、入力端子７から入力される移動体情報が入力端子５７を介して入力され、タイミング制御部３から出力される撮像タイミング情報が入力端子５６を介して入力される。入力端子５６を介して入力された撮像タイミング情報と、入力端子５７を介して入力された移動体情報は、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂと、ノイズ低減部５２ｂ又は解像度変換部５２ｃに入力される。
【００５２】
ノイズ低減部５２ｂ又は解像度変換部５２ｃでは、入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報と、入力端子５７を介して入力端子７から入力された移動体情報から、画像一時記憶部４に一時記憶された各カメラ２１ａ〜２１ｂの撮像画像の読み出しタイミングを決定し、第１の読み出し制御信号〜第Ｎの読み出し制御信号を、出力端子５４ａ〜５４ｂを介して画像一時記憶部４に出力する。
【００５３】
出力端子５４ａ〜５４ｂを介して出力された各カメラ２１ａ〜２１ｂの撮像画像の第１の読み出し制御信号〜第Ｎの読み出し制御信号は、画像一時記憶部４の入力端子４３ａ〜４３ｂを介して第１のメモリ４１ａ〜第Ｎのメモリ４１ｂに入力される。第１のメモリ４１ａ〜第Ｎのメモリ４１ｂは、各カメラ２１ａ〜２１ｂの撮像画像を読み出し、出力端子４４ａ〜４４ｂを介して、画像処理部５ｂ、５ｃに出力する。
【００５４】
入力端子５３ａ〜５３ｂを介して画像処理部５ｂ、５ｃに入力された各カメラ２１ａ〜２１ｂの撮像画像は、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂに入力される。第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂは、入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報と入力端子５７を介して入力端子７から入力された移動体情報により、画像一時記憶部４から入力された各カメラの撮像画像の補整処理を行う。第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂにより補整処理された各カメラ２１ａ〜２１ｂの撮像画像は、ノイズ低減部５２ｂに出力されノイズ低減処理、又は、解像度変換部５２ｃに出力され解像度変換処理がなされる。
【００５５】
図９を用いて、移動速度Ｖで移動している車両の側面に、進行方向に沿って同じ高さで同じ特性のカメラ（カメラａがカメラｂに対して進行方向前方側）を２個、間隔Ｄで配置し、移動体の移動によって異なるカメラの撮像範囲が重複するように撮影する場合について説明する。本例では、進行方向に対して垂直方向（横方向）を撮影するものとして図示しているが、進行方向に対してある一定の角度の方向を撮影する場合にも同様である。また、これらのカメラは向きを変更する機構を備えていてもよい。特に、進行方向に対し最前に位置するカメラａが撮像した後に車両が曲がると車両の向きに伴って後続のカメラｂの向きも変わる。この場合、後続のカメラｂは、カメラａと同じ向きで同じ画像を撮像するために、車両が曲がったことによる方向の補正のため、向きを変更し、カメラａと撮像範囲が重複するように制御されていてもよい。
【００５６】
ＣＭＯＳカメラを例に説明する。光（電荷）の蓄積時間をＴとする。連続動作をさせた場合、フレームレートは１／Ｔとなる。撮影時刻をｔ、カメラａの撮影位置（移動距離）をｐｏｓＡ、カメラｂの撮影位置（移動距離）をｐｏｓＢとする。フレームレートと移動速度を基にした移動体の移動経路（蓄積時間Ｔあたりの移動距離Ｌ＝Ｖ×Ｔ）上で、複数のカメラのそれぞれが同じ位置（０、Ｌ、・・・）の時、カメラａ、カメラｂを交互に用いて、撮像範囲が重複するように同じ方向を撮影し、同様の撮像画像を得る。つまり、ｔ＝ｔ０ａ、ｐｏｓＡ＝０の時カメラａで、ｔ＝ｔ０ｂ、ｐｏｓＢ＝０の時カメラｂで、ｔ＝ｔ１ａ、ｐｏｓＡ＝Ｌの時カメラａで、ｔ＝ｔ１ｂ、ｐｏｓＢ＝Ｌの時カメラｂで撮影を行う。このとき、カメラａによる撮影からカメラｂによる撮影までの時間差を、ｔ０ｂ−ｔ０ａ＝Ｄ／Ｖ、カメラｂによる撮影からカメラａによる撮影までの時間差を、ｔ１ａ−ｔ０ｂ＝Ｔ−Ｄ／Ｖとなるように制御する。なお、移動速度がＶ１に変化した場合は、蓄積時間Ｔあたりの移動距離はＬ１＝Ｖ１×Ｔに変化するが、この場合も車両の移動経路上の複数のカメラのそれぞれが同じ位置（０、Ｌ１、・・・）で上記と同様に撮影すればよい。
【００５７】
カメラａ、カメラｂは、複数カメラ部２の第１のカメラ２１ａ、第Ｎのカメラ２１ｂに相当する。撮影時刻ｔ０ａ、ｔ０ｂ、ｔ１ａ、ｔ１ｂは、タイミング制御部３が入力端子７から入力された移動体情報（複数カメラの相互配置：間隔Ｄ、移動体の移動速度Ｖ）とカメラ設定（蓄積時間Ｔ又は、フレームレート：１／Ｔ）をもとに決定する。また、これらの時間に複数カメラ部２に第１の撮像制御信号と第Ｎの撮像制御信号が出力され、カメラａとカメラｂが画像６ａ、６ｂを取り込む。
【００５８】
カメラａとカメラｂで撮像された撮像画像は、第１のメモリ４１ａと第Ｎのメモリ４１ｂに一時記憶される。画像処理部５ｂでは、タイミング制御部３から出力された撮像タイミング情報（カメラａの撮像タイミングとカメラｂの撮像タイミング）と、入力端子７から入力される移動体情報（複数カメラの相互配置：間隔Ｄ、移動体の移動速度Ｖ）から各カメラの撮像画像の読み出しタイミングｔｄ０、ｔｄ１を決定し、そのタイミングにあわせて第１の読み出し制御信号と第Ｎの読み出し制御信号を第１のメモリ４１ａと第Ｎのメモリ４１ｂに出力する。
【００５９】
第１のメモリ４１ａと第Ｎのメモリ４１ｂは、画像処理部５ｂ、５ｃから出力された第１の読み出し制御信号と第Ｎの読み出し制御信号により、各メモリに一時記憶されている各カメラの撮像画像を画像処理部５ｂ、５ｃに出力する。画像処理部５ｂ、５ｃに入力された各カメラの撮像画像は、第１の画像補整部５１ａと第Ｎの画像補整部５１ｂに入力される。
【００６０】
第１の画像補整部５１ａと第Ｎの画像補整部５１ｂでは、タイミング制御部３から入力される撮像タイミング情報と、入力端子７から入力される移動体情報をもとに、各カメラの撮像画像を実施の形態１と同様に補整する。
【００６１】
第１の画像補整部５１ａと第Ｎの画像補整部５１ｂで補整処理された各カメラの撮像画像は、ノイズ低減部５２ｂ又は解像度変換部５２ｃに受け渡される。ノイズ低減部５２ｂ又は解像度変換部５２ｃは、入力端子５７を介して入力された移動体情報と入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報とから、第１の画像補整部５１ａと第Ｎの画像補整部５１ｂで補整処理された各カメラの撮像画像に対して重ね合わせ処理を行ない、ノイズが低減された処理結果（処理画像）又は、解像度が向上した処理結果（処理画像）を出力端子８から出力する。
【００６２】
具体的には、カメラａとカメラｂからの画像処理等を含めた遅れ時間をそれぞれｔｄｌｙａ、ｔｄｌｙｂとすると、例えば、時刻ｔｄ０（＝ｔ０ａ＋ｔｄｌｙａ＝ｔ０ｂ＋ｔｄｌｙｂ）には、カメラａ（第１のカメラ）による撮像画像とカメラｂ（第Ｎのカメラ）による撮像画像の処理画像を、時刻ｔｄ１（＝ｔ１ａ＋ｔｄｌｙａ＝ｔ１ｂ＋ｔｄｌｙｂ）には、カメラａ（第１のカメラ）による撮像画像とカメラｂ（第Ｎのカメラ）による撮像画像の処理画像を取得して、重ね合わせ処理を行うことによりノイズ低減や解像度向上を行う。なお、ノイズ低減方法については、例えば、吹抜敬彦著「ＴＶ画像の多次元信号処理」日刊工業新聞社、１９８８年、などに技術の概要が記載されている。また、重ね合わせ処理を行うことにより、解像度が向上できることは超解像技術として知られており、例えば、高木幹雄・下田陽久監修「新編画像解析ハンドブック」東京大学出版会、２００４年、などに技術の概要が記載されている。
【００６３】
なお、重ね合わせ処理に際して、重ね合わせる複数の撮像画像の位置合わせのため、撮像画像の向きや大きさ、範囲をあわせる必要があるが、これを第１の画像補整部５１ａ、第Ｎの画像補整部５１ｂでまとめて行なえるように、入力端子５３ａ、５３ｂと第１の画像補整部５１ａ、第Ｎの画像補整部５１ｂの間に、相互の撮像画像を比較する手段を設け、その比較結果により、第１の画像補整部５１ａ、第Ｎの画像補整部５１ｂの補整処理を制御するように構成してもよい。
【００６４】
また、解像度変換部５２ｃの処理前後で、画像サイズが変化しない場合に適用できるだけでなく、画像サイズが増加する、つまり、拡大処理されるような場合にも、逆に、画像サイズが減少する、つまり、縮小処理されるような場合にも同様に適用できることは言うまでもない。
【００６５】
また、複数カメラの個数は２個に限るものではなく、Ｎ個（Ｎは２以上の整数）の場合も、同様に撮像画像の重ね合わせ処理をすれば、よりノイズが低減できたり、解像度の高い処理画像が得られたりする。
【００６６】
また、第Ｎのカメラ２１ｂの撮像タイミングと画像読み出し時間に合わせて、画像一時記憶部からの第１〜第（Ｎ−１）のカメラの画像の読み出し制御をすれば、第Ｎのカメラ用の第Ｎのメモリ４１ｂを削減することが可能である。この場合は、第１〜第（Ｎ−１）のカメラの撮像画像は、画像一時記憶部４の第１のメモリ〜第（Ｎ−１）のメモリから、第Ｎのカメラの撮像画像は、直接第Ｎのカメラから読み出すことになる。
【００６７】
このように構成された複数カメラ画像処理装置及び複数カメラ画像表示装置によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように異なる位置に設置された複数のカメラを用い、これらが移動経路上の同じ位置から同じ方向を撮影するようにタイミングを制御すると、複数のカメラが同じ領域（方向、範囲）を撮影することができる。そのため、それら複数の撮像画像の重ね合わせ処理をすることにより、ノイズの少ない処理画像や、解像度の高い処理画像を得ることができ、視認性が向上する。
【００６８】
また、各カメラの撮像画像に対して、移動体の移動方向や移動速度、複数カメラの相互配置などの移動体情報に基づき、画像のズレや歪みを補整した後に、複数カメラの撮像画像による重ね合わせ処理をするので、連続した１つの処理画像として違和感のない良好なものを得ることができる。
【００６９】
実施の形態３．
実施の形態２は、複数のカメラを用いてノイズを低減させたり、解像度を向上させたりすることにより視認性を向上させるが、ここでは、カメラと背景の間にある移動物（異物）のために背後に隠れて見えなくなる背景の画像を補正して定常画像を作成することにより、背景の視認性の向上を行う複数カメラ画像処理装置について述べる。本発明の実施の形態３に係る複数カメラ画像処理装置１の要部構成も実施の形態１で示した図１を用いて説明する。なお、本発明の実施の形態３に係る複数カメラ画像処理装置１は、画像処理部５の構成が、実施の形態１、２の構成と若干異なる。
【００７０】
複数カメラ画像処理装置１は、タイミング制御部３と、画像一時記憶部４と、画像処理部５と、入力端子７と、出力端子８を備えている。複数カメラ部２は、Ｎ個の同様な画像６ａ〜６ｂを取り込むため、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置されたＮ個のカメラを有しており、複数カメラ画像処理装置１により撮像タイミングを制御され、複数カメラ画像処理装置１に撮像画像を出力する。図１０は、図１の画像処理部５の形態の一つとして、定常画像作成部５２ｄを備えた画像処理部５ｄの要部構成を示すブロック図である。画像処理部５ｄは、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂ、定常画像作成部５２ｄ、Ｎ個の入力端子５３ａ〜５３ｂ、Ｎ個の出力端子５４ａ〜５４ｂ、出力端子５５、入力端子５６、５７を備えている。
【００７１】
このように構成された複数カメラ画像処理装置の動作について説明をする。画像処理部５ｄの動作は、実施の形態２の画像処理部５ｂ、５ｃとほぼ同じであるが、最後の重ね合わせ処理をする定常画像作成部５２ｄの働きだけが異なる。定常画像作成部５２ｄの動作例を図１１を用いて説明する。
【００７２】
まず、車両の側面にカメラａ〜ｃを設置する。その後、車両の移動に伴い、カメラが移動経路上の同じ位置に来たときに、カメラａ、ｂ、ｃを用い順番に同じ方向を撮像する。その結果、同じ背景の画像が３枚得られる。このとき、カメラと背景の間に移動する異物（混入物）が撮像されることがある。カメラが１台のときは、異物の背後に隠れた例えば建物等の看板や道路標識、大売出し等ののぼりは確認することはできない。ここで、３枚の中のある同じエリアを比較したとき、１枚だけが他の２枚と異なるときは、そこを異物と判断し、異物が写っていない他の撮像画像から補間することにより、異物を消した定常画像を作成することができる。
【００７３】
また、別の方法としては、複数の画像を比較したとき、同じ異物が違う位置に写ることにより変化のあるところは、これを移動物と判断し、移動物（異物）が移っていない画像から補間することにより、異物を消した定常画像を作成することができる。
【００７４】
このように構成された複数カメラ画像処理装置及び複数カメラ画像表示装置によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように異なる位置に設置された複数のカメラを用い、これらが移動経路上の同じ位置から同じ方向を撮影するようにタイミングを制御すると、複数のカメラが同じ領域（方向、範囲）を撮影することができる。そのため、それら複数の撮像画像の重ね合わせ処理をすることにより、移動物（異物）を消した定常画像を得ることができ、視認性が向上する。
【００７５】
また、処理画像をドライブレコーダ等の記録部に記録し、それを後で表示部で再生することにより、移動物（異物）の背後の建物等の看板や道路標識や大売出し等ののぼりを確認することができ、また、カーナビゲーション装置には記録されていない大売出し等の限定情報も得ることができるので、ドライブの利便性が増す。
【図面の簡単な説明】
【００７６】
【図１】この発明の実施の形態１〜３を示す複数カメラ画像処理装置の構成を示すブロック図である。
【図２】この発明の実施の形態１〜３を示す複数カメラ部の構成を示すブロック図である
【図３】この発明の実施の形態１〜３を示す画像一時記憶部の構成を示すブロック図である
【図４】この発明の実施の形態１を示す画像処理部の構成を示すブロック図である
【図５】この発明の実施の形態１を示す複数カメラ画像処理装置の動作説明図である。
【図６】この発明の実施の形態１〜３の複数カメラの相互配置のずれを説明するための図である。
【図７】この発明の実施の形態２を示す画像処理部の構成を示すブロック図である
【図８】この発明の実施の形態２を示す別の画像処理部の構成を示すブロック図である。
【図９】この発明の実施の形態２を示す複数カメラ画像処理装置の動作説明図である。
【図１０】この発明の実施の形態３を示す画像処理部の構成を示すブロック図である。
【図１１】この発明の実施の形態３の定常画像作成部の処理例を示す図である。
【符号の説明】
【００７７】
１ 複数カメラ画像処理装置
２ 複数カメラ部
３ タイミング制御部
４ 画像一時記憶部
５、５ａ、５ｂ、５ｃ、５ｄ 画像処理部
６ａ、６ｂ 画像
２１ａ 第１のカメラ
２１ｂ 第Ｎのカメラ
２２ａ、２２ｂ 入力端子
２３ａ、２３ｂ 出力端子
４１ａ 第１のメモリ
４１ｂ 第Ｎのメモリ
４２ａ、４２ｂ 入力端子
４３ａ、４３ａ 入力端子
４４ａ、４４ｂ 出力端子
５１ａ 第１の画像補整部
５１ｂ 第Ｎの画像補整部
５２ａ フレームレート変換部
５２ｂ ノイズ低減部
５２ｃ 解像度変換部
５２ｄ 定常画像作成部
５３ａ、５３ｂ 入力端子
５４ａ、５４ｂ 出力端子
５５ 出力端子
５６ 入力端子
５７ 入力端子
【技術分野】
【０００１】
この発明は、移動体上に搭載された複数のカメラから入力される撮像画像を画像処理し、処理画像を作成し表示する複数カメラ画像処理装置及び複数カメラ画像表示装置に関する。
【背景技術】
【０００２】
車両等の移動体の複数箇所にカメラを設置し、複数のカメラから得られた撮像画像から、それぞれ有効な領域の切り出しや貼り合わせ等の画像合成を行って死角の少ない合成画像を生成する方法が提案されている。従来の複数カメラ画像合成表示装置においては、車両進行方向に対して異なる方向に設置した複数のカメラを用い、複数カメラの相互配置と車速をもとに、車両後方の合成画像を生成、表示している（例えば、特許文献１参照。）。
【０００３】
【特許文献１】特開２００７−１１０５７２号公報（第６〜８頁、第１〜５図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の複数カメラ画像合成表示装置では、単一カメラでは死角となる領域を別のカメラの撮像画像にて補い、それらを１つの合成画像とすることにより、死角の減少と共に違和感の少ない合成表示を可能とし視野を広げているが、動きのなめらかさ、あるいは、低ノイズ、高解像度、画像中の異物といった視認性について問題点があった。
【０００５】
この発明は、上述のような問題点を解決するためになされたもので、複数のカメラを用いて撮像した画像から視認性の向上した処理画像を生成、表示する複数カメラ画像処理装置及び複数カメラ画像表示装置を得るものである。
【課題を解決するための手段】
【０００６】
この発明に係る複数カメラ画像処理装置は、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置された複数のカメラ又は複数のカメラのうち１台のカメラを除いた他のカメラからの撮像画像を保存する画像一時記憶部と、複数のカメラのフレームレートとそれぞれの設置位置及び、移動体の移動速度を基にして複数のカメラのそれぞれの撮像タイミングを制御するタイミング制御部と、画像一時記憶部又は、画像一時記憶部と前記１台のカメラから撮像画像を読み込んで画像処理を行う画像処理部とを備えるものである。
【発明の効果】
【０００７】
この発明によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように設けられ、撮像タイミングが制御された複数のカメラによる撮像画像を用いて画像処理を行うため、視認性の良好な処理画像が得られる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１はこの発明を実施するための実施の形態１による複数カメラ画像処理装置１の構成を示すブロック図である。図において、複数カメラ画像処理装置１は、タイミング制御部３と、画像一時記憶部４と、画像処理部５と、入力端子７と、出力端子８とを備える。複数カメラ部２は、Ｎ個の画像６ａ〜６ｂを取り込むため、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置されたＮ個のカメラを有しており、複数カメラ画像処理装置１により撮像タイミングを制御され、複数カメラ画像処理装置１に撮像画像を出力する。なお、Ｎは２以上の整数である。
【０００９】
入力端子７は、複数カメラ部２を構成するカメラのフレームレートや相互配置などの固定情報の他、移動体の移動速度等の移動体情報が入力される。タイミング制御部３は、入力端子７を介して入力される移動体情報から複数カメラ部２の個々のカメラの撮像タイミングを決定し、第１の撮像制御信号、・・・、第Ｎの撮像制御信号を複数カメラ部２に出力する。
【００１０】
Ｎ個のカメラを有する複数カメラ部２は、Ｎ個の画像６ａ〜６ｂをタイミング制御部３から入力される各カメラの撮像タイミングで取り込み、各カメラの撮像画像を画像一時記憶部４に出力する。
【００１１】
画像一時記憶部４は、複数カメラ部２から出力された撮像画像を一時的に記憶しておき、画像処理部５からの読み出し制御信号に応じて出力する。
【００１２】
画像処理部５は、入力端子７からの移動体情報と、タイミング制御部３からの撮像タイミング情報から各カメラの撮像画像の読み出しタイミングを決定し、画像一時記憶部４に対して読み出し制御信号を出力し、画像一時記憶部４からの各カメラの撮像画像を読み込む。読み込まれた各カメラの撮像画像は補整処理がなされた後、画像処理により連続した１つの処理画像が生成され、出力端子８に出力される。
【００１３】
このように構成された複数カメラ画像処理装置の動作について図１〜５を用いて説明をする。図２は、図１の複数カメラ部２の要部構成を示すブロック図である。複数カメラ部２は、第１のカメラ２１ａ〜第Ｎのカメラ２１ｂ、Ｎ個の入力端子２２ａ〜２２ｂ、Ｎ個の出力端子２３ａ〜２３ｂを備えている。第１のカメラ２１ａ〜第Ｎのカメラ２１ｂには、画像６ａ〜６ｂが絶えず入力されている。入力端子２２ａ〜２２ｂには、タイミング制御部３から出力された第１の撮像制御信号〜第Ｎの撮像制御信号が入力される。
【００１４】
図１に示すタイミング制御部３は、入力端子７から入力される移動体情報から第１のカメラ２１ａ〜第Ｎのカメラ２１ｂのそれぞれの撮像タイミングを決定し、第１の撮像制御信号〜第Ｎの撮像制御信号を複数カメラ部２に出力する。これらの情報は、撮像タイミング情報として、画像処理部５にも出力される。ここで、移動体情報とは、複数カメラ部２を構成する個々のカメラ（第１のカメラ２１ａ〜第Ｎのカメラ２１ｂ）の相互配置位置や角度等の固定情報、カメラ設定（光や電荷の蓄積時間やフレームレート）の他、移動体の移動速度、移動方向、移動距離などである。
【００１５】
複数カメラ部２では、入力端子２２ａ〜２２ｂを介してタイミング制御部３から入力された第１の撮像制御信号〜第Ｎの撮像制御信号により、Ｎ個の画像６ａ〜６ｂを第１のカメラ２１ａ〜第Ｎのカメラ２１ｂで撮像し取り込み、撮像画像を出力端子２３ａ〜２３ｂを介し画像一時記憶部４に出力する。
【００１６】
図３は、画像一時記憶部４の要部構成を示すブロック図である。画像一時記憶部４は、第１のメモリ４１ａ〜第Ｎのメモリ４１ｂ、Ｎ個の入力端子４２ａ〜４２ｂ、Ｎ個の入力端子４３ａ〜４３ｂ、Ｎ個の出力端子４４ａ〜４４ｂを備えている。入力端子４２ａ〜４２ｂには、複数カメラ部２から出力された各カメラ２１ａ〜２１ｂの撮像画像が入力される。入力端子４３ａ〜４３ｂには、画像処理部５から出力された第１の読み出し制御信号〜第Ｎの読み出し制御信号が入力される。
【００１７】
第１のメモリ４１ａ〜第Ｎのメモリ４１ｂは、入力端子４２ａ〜４２ｂを介して複数カメラ部２から入力された各カメラ２１ａ〜２１ｂの撮像画像が入力され、一時記憶される。入力端子４３ａ〜４３ｂを介して画像処理部５から入力される第１の読み出し制御信号〜第Ｎの読み出し制御信号により、一時記憶された各カメラ２１ａ〜２１ｂの撮像画像は読み出され、出力端子４４ａ〜４４ｂを介し画像処理部５に出力する。
【００１８】
図４は、図１の画像処理部５の形態の一つとして、フレームレート変換部５２ａを備えた画像処理部５ａの要部構成を示すブロック図である。画像処理部５ａは、それぞれのカメラ２１ａ〜２１ｂに対応した第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂ、フレームレート変換部５２ａ、Ｎ個の入力端子５３ａ〜５３ｂ、Ｎ個の出力端子５４ａ〜５４ｂ、出力端子５５、入力端子５６、５７を備えている。
【００１９】
画像処理部５ａには、入力端子７から入力される移動体情報が入力端子５７を介して入力され、タイミング制御部３から出力される撮像タイミング情報が入力端子５６を介して入力される。入力端子５６を介して入力された撮像タイミング情報と、入力端子５７を介して入力された移動体情報は、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂとフレームレート変換部５２ａに入力される。
【００２０】
フレームレート変換部５２ａでは、入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報と、入力端子５７を介して入力端子７から入力された移動体情報から、画像一時記憶部４に一時記憶された各カメラ２１ａ〜２１ｂの撮像画像の読み出しタイミングを決定し、第１の読み出し制御信号〜第Ｎの読み出し制御信号を、出力端子５４ａ〜５４ｂを介して画像一時記憶部４に出力する。
【００２１】
出力端子５４ａ〜５４ｂを介して出力された各カメラ２１ａ〜２１ｂの撮像画像の第１の読み出し制御信号〜第Ｎの読み出し制御信号は、画像一時記憶部４の入力端子４３ａ〜４３ｂを介して第１のメモリ４１ａ〜第Ｎのメモリ４１ｂに入力される。第１のメモリ４１ａ〜第Ｎのメモリ４１ｂは、各カメラ２１ａ〜２１ｂの撮像画像を読み出し、出力端子４４ａ〜４４ｂを介して、画像処理部５ａに出力する。
【００２２】
入力端子５３ａ〜５３ｂを介して画像処理部５ａに入力された各カメラ２１ａ〜２１ｂの撮像画像は、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂに入力される。第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂは、入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報と入力端子５７を介して入力端子７から入力された移動体情報により、画像一時記憶部４から入力された各カメラ２１ａ〜２１ｂの撮像画像の補整処理を行う。補整処理としては、回転、拡大縮小、変形、及び切り出し処理等があるが、具体例については、後述する。第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂにより補整処理された各カメラ２１ａ〜２１ｂの撮像画像はフレームレート変換部５２ａに出力され、フレームレート変換処理がなされる。
【００２３】
移動体としては、自動車や列車のような車両や、航空機等があげられるが、ここでは自動車を例にとって具体的に説明する。図５には、移動速度Ｖで移動している車両の側面に、進行方向に沿って同じ高さで同じ特性のカメラ（カメラａがカメラｂに対して進行方向前方側）を２個、間隔Ｄで設置し、車両進行方向に対して、カメラの撮影方向が重なるように配置している。本例では、進行方向に対して垂直方向（横方向）を撮影するものとして図示しているが、進行方向に対してある一定の角度の方向を撮影する場合にも同様である。また、これらのカメラは向きを変更する機構を備えていてもよい。特に、進行方向に対し最前に位置するカメラａが撮像した後に車両が曲がると車両の向きに伴って後続のカメラｂの向きも変わる。この場合、後続のカメラｂは、カメラａと同じ向きを撮像するために、車両が曲がったことによる方向の補正のため、向きを変更し、カメラａと撮影方向が重なるように制御されていてもよい。カメラはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラでも、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラでも、また、赤外線カメラ、近赤外線カメラ、遠赤外線カメラでも構わない。
【００２４】
ここでは、ＣＭＯＳカメラを例に説明する。光（電荷）の蓄積時間をＴとする。連続動作をさせた場合、フレームレートは１／Ｔとなる。現在、フレームレートが１５Ｈｚや、３０ＨｚのＣＭＯＳカメラが存在する。撮影時刻をｔ、カメラａの撮影位置（移動距離）をｐｏｓＡ、カメラｂの撮影位置（移動距離）をｐｏｓＢとする。フレームレートと移動速度を基に、１フレーム分の移動体の移動経路（蓄積時間Ｔあたりの移動距離Ｌ＝Ｖ×Ｔ）をカメラの台数で分割した移動体の移動経路上のそれぞれの位置（０、Ｌ／２、Ｌ、３×Ｌ／２、・・・）において、カメラａ、カメラｂを交互に用いて、同じ方向を撮影する。つまり、ｔ＝ｔ０ａ、ｐｏｓＡ＝０の時カメラａで、ｔ＝ｔ０ｂ、ｐｏｓＢ＝Ｌ／２の時カメラｂで、ｔ＝ｔ１ａ、ｐｏｓＡ＝Ｌの時カメラａで、ｔ＝ｔ１ｂ、ｐｏｓＢ＝３×Ｌ／２の時カメラｂで撮影を行う。カメラａ，ｂの撮像範囲は、車両の移動中、連続した範囲の一部をほぼ等間隔で切り取るようになる。
【００２５】
カメラａはフレームレートの関係上０、Ｌ、２Ｌ・・・の位置で撮像を行うが、Ｌ／２の位置においてカメラａが撮るべき撮像範囲と重複するようにカメラｂはＬ／２の位置に来たときに撮像する。つまり、移動体の移動によって異なるカメラの撮像範囲が重複するように撮影する。これにより、カメラａの画像をカメラｂによって補間することができるようになり、フレームレートをあげることが可能となる。
【００２６】
具体的には、カメラａによる撮影からカメラｂによる撮影までの時間差を、ｔ０ｂ−ｔ０ａ＝Ｔ／２＋Ｄ／Ｖ、カメラｂによる撮影からカメラａによる撮影までの時間差を、ｔ１ａ−ｔ０ｂ＝Ｔ／２−Ｄ／Ｖとなるように制御する。なお、移動速度がＶ１に変化した場合は、蓄積時間Ｔあたりの移動距離はＬ１＝Ｖ１×Ｔに変化するが、この場合も車両の移動経路をカメラの台数分の等間隔の位置（０、Ｌ１／２、Ｌ１、３×Ｌ１／２、・・・）に分割して、上記と同様に撮影すればよい。
【００２７】
カメラａ、カメラｂは、複数カメラ部２の第１のカメラ２１ａ、第Ｎのカメラ２１ｂに相当する。撮影時刻ｔ０ａ、ｔ０ｂ、ｔ１ａ、ｔ１ｂは、タイミング制御部３が入力端子７から入力された移動体情報（複数カメラの相互配置：間隔Ｄ、移動体の移動速度Ｖ）とカメラ設定（蓄積時間Ｔ又は、フレームレート：１／Ｔ）をもとに決定する。また、これらの時間に複数カメラ部２に第１の撮像制御信号と第Ｎの撮像制御信号が出力され、カメラａとカメラｂが画像６ａ、６ｂを取り込む。
【００２８】
カメラａとカメラｂで撮像された撮像画像は、第１のメモリ４１ａと第Ｎのメモリ４１ｂに一時記憶される。画像処理部５ａでは、タイミング制御部３から出力された撮像タイミング情報（カメラａの撮像タイミングとカメラｂの撮像タイミング）と、入力端子７から入力される移動体情報（複数カメラの相互配置：間隔Ｄ、移動体の移動速度Ｖ）から各カメラの撮像画像の読み出しタイミングｔｄ０、ｔｄ１、ｔｄ２、ｔｄ３を決定し、そのタイミングにあわせて第１の読み出し制御信号と第Ｎの読み出し制御信号を第１のメモリ４１ａと第Ｎのメモリ４１ｂに出力する。
【００２９】
第１のメモリ４１ａと第Ｎのメモリ４１ｂは、画像処理部５ａから出力された第１の読み出し制御信号と第Ｎの読み出し制御信号により、各メモリに一時記憶されている各カメラの撮像画像を画像処理部５ａに出力する。画像処理部５ａに入力された各カメラの撮像画像は、第１の画像補整部５１ａと第Ｎの画像補整部５１ｂに入力される。
【００３０】
第１の画像補整部５１ａと第Ｎの画像補整部５１ｂでは、タイミング制御部３から入力される撮像タイミング情報と、入力端子７から入力される移動体情報をもとに、各カメラａ、ｂの撮像画像を補整する。具体的には、カメラａ、ｂの相互配置の細かな違いや、移動体の移動方向や移動速度など移動体の移動にともなう画像のズレや歪みを補整する。相互配置の細かな違いによるものとしては、例えば、図６に示すような移動体の形状や取り付け制約からくる、カメラａ、ｂの移動体側面での奥行き方向の取り付け位置の差異ΔＸによる撮影倍率の差異、高さ方向の取り付け位置の差異ΔＨによる撮像範囲の差異や、取り付け角度の差異Δθによる図形変形の差異がある。同様な影響を及ぼすものとして、移動体が直線的な移動だけなく、ある方向に曲がったり、加速、減速など移動速度を変化したりすることによる撮影位置、撮影タイミングのずれによるものがある。
【００３１】
補整処理としては、例えば、アフィン変換等を使う。ｘ、ｙ、ｚ軸回りの回転は、それぞれ以下の（１）〜（３）式で表される。
【００３２】
【数１】
【００３３】
【数２】
【００３４】
【数３】
【００３５】
拡大縮小は以下の（４）式で表され、原点を中心に、ｘ、ｙ、ｚ軸方向にそれぞれ、Ｓｘ、Ｓｙ、Ｓｚだけ伸縮する。
【００３６】
【数４】
【００３７】
平行移動は以下の（５）式で表され、ｘ、ｙ、ｚ軸方向にそれぞれ、Ｔｘ、Ｔｙ、Ｔｚだけ平行移動する。
【００３８】
【数５】
【００３９】
第１の画像補整部５１ａと第Ｎの画像補整部５１ｂで補整処理された各カメラの撮像画像は、フレームレート変換部５２ａに受け渡される。フレームレート変換部５２ａでは、入力端子５７を介して入力された移動体情報と入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報とから、第１の画像補整部５１ａと第Ｎの画像補整部５１ｂで補整処理された各カメラａ、ｂの撮像画像を順番に選択して、出力端子８から出力する。
【００４０】
具体的には、画像処理等を含めた遅れ時間をｔｄｌｙａ、ｔｄｌｙｂとすると、例えば、時刻ｔｄ０（＝ｔ０ａ＋ｔｄｌｙａ）には、カメラａ（第１のカメラ）による撮像画像を、時刻ｔｄ１（＝ｔ０ｂ＋ｔｄｌｙｂ）には、カメラｂ（第Ｎのカメラ）による撮像画像を、時刻ｔｄ２（＝ｔ１ａ＋ｔｄｌｙａ）には、カメラａ（第１のカメラ）による撮像画像を、時刻ｔｄ３（＝ｔ１ｂ＋ｔｄｌｙｂ）には、カメラｂ（第Ｎのカメラ）による撮像画像を選択して出力する。このとき、ｔｄｌｙａ＝ｔｄｌｙｂ＋Ｄ／Ｖとし、時刻ｔｄ０、ｔｄ１、ｔｄ２、ｔｄ３が等間隔となるように制御する。
【００４１】
なお、複数カメラの個数は２個に限るものではなく、Ｎ個（Ｎは２以上の整数）の場合にも、同様の考え方を適用することによって、単一カメラを使用したときに比べて、フレームレートをＮ倍にし、なめらかな動きの処理画像とすることが可能である。
【００４２】
さらに、フレームレート変換部５２ａでは、時刻ｔ＝ｔｄ０と時刻ｔ＝ｔｄ１の間の、例えば、時刻ｔ＝（ｔｄ０＋ｔｄ１）／２に、時刻ｔ＝ｔｄ０に出力するカメラａ（第１のカメラ）の撮像画像と、時刻ｔ＝ｔｄ１に出力するカメラｂ（第Ｎのカメラ）の撮像画像からフレームを補間して作成することにより、フレームレートが更に高く、動きが更になめらか画像を得ることも可能である。なお、フレームの補間に使用する画像（フレーム）は補間位置前後のフレームに限るものではなく、さらにその前後のフレームもあわせて使用してもよい。なお、フレームレート変換の方法は上述したものに限るものではない。
【００４３】
なお、第Ｎのカメラ２１ｂの撮像タイミングと画像読み出し時間に合わせて、画像一時記憶部からの第１〜第（Ｎ−１）のカメラの画像の読み出し制御をすれば、第Ｎのカメラ用の第Ｎのメモリ４１ｂを削減することが可能である。この場合は、第１〜第（Ｎ−１）のカメラの撮像画像は、画像一時記憶部４の第１のメモリ〜第（Ｎ−１）のメモリから、第Ｎのカメラの撮像画像は、第Ｎのカメラから直接読み出すことになる。
【００４４】
また、複数カメラ画像処理装置１と、この複数カメラ画像処理装置１により撮像タイミングを制御され、複数カメラ画像処理装置１に撮像画像を出力し、移動体上に設置された複数のカメラ２１ａ〜２１ｂと、複数カメラ画像処理装置１からの処理画像を記録するドライブレコーダ等の記録部と、複数カメラ画像処理装置と記録部からの画像を表示する表示部とを備えて、複数カメラ画像表示装置を構成しても良い。この場合は、ドライブ途中の風景や建物、標識等を再生することができる。
【００４５】
このように構成された複数カメラ画像処理装置及び複数カメラ画像表示装置によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように異なる位置に設置された複数のカメラを用い、１フレーム分の移動経路をカメラの台数分で分割する位置とタイミングを使うと、１つのカメラによる撮影と撮影の間を別のカメラの撮影によって適切に補間することができる。そのため、フレームレートが高く、動きのなめらかな処理画像を得ることができ、視認性が向上する。また、撮像画像の間のフレームを補間して生成すると、更にフレームレートの高い処理画像を生成できるので、更に動きが滑らかな画像を得ることができる。
【００４６】
また、各カメラの撮像画像に対して、移動体の移動方向や移動速度、複数カメラの相互配置などの移動体情報に基づき、回転、拡大縮小、変形、切り出し処理等を行って、画像のズレや歪みを補整するため、複数カメラの切り替え、あるいは、複数カメラからの補間処理により生成した連続した１つの処理画像として違和感のない良好なものを得ることができる。
【００４７】
また、カメラの向きを変更する機構を備えれば、カメラの設置角度の微調整が可能であるとともに、任意の方向の画像を取得できるため、利便性が増す。また、車両が曲がったことによるカメラの方向の補正もできるため、移動体の移動によって異なるカメラの撮像範囲が重複するように撮影でき、視認性が向上する。また、画像一時記憶部の一部のメモリを省略すれば、コストを下げた複数カメラ画像処理装置を得ることができる。また、ドライブレコーダ等に処理画像を記録すれば、視認性に優れた画像を適宜再生することができるため、通り過ぎた建物や標識等を再生して確認でき、ドライブ時の利便性が向上する。
【００４８】
実施の形態２．
実施の形態１は、複数のカメラを用いてフレーム間の画像を補間することにより動きを滑らかにして視認性を向上させるが、ここでは、ノイズを減少させたり、解像度を向上させたりすることにより視認性の向上を行う複数カメラ画像処理装置について述べる。本発明の実施の形態２に係る複数カメラ画像処理装置１の要部構成も実施の形態１で示した図１を用いて説明する。なお、本発明の実施の形態２に係る複数カメラ画像処理装置１は、画像処理部５の構成が、実施の形態１の構成と若干異なる。
【００４９】
複数カメラ画像処理装置１は、タイミング制御部３と、画像一時記憶部４と、画像処理部５と、入力端子７と、出力端子８を備えている。複数カメラ部２は、Ｎ個の同様な画像６ａ〜６ｂを取り込むため、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置されたＮ個のカメラを有しており、複数カメラ画像処理装置１により撮像タイミングを制御され、複数カメラ画像処理装置１に撮像画像を出力する。図７、８は、図１の画像処理部５の形態の一つとして、それぞれノイズ低減部５２ｂと解像度変換部５２ｃを備えた画像処理部５ｂ、５ｃの要部構成を示すブロック図である。画像処理部５ｂ、５ｃは、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂ、ノイズ低減部５２ｂ又は解像度変換部５２ｃ、Ｎ個の入力端子５３ａ〜５３ｂ、Ｎ個の出力端子５４ａ〜５４ｂ、出力端子５５、入力端子５６、５７を備えている。
【００５０】
このように構成された複数カメラ画像処理装置の動作について図１〜３、７〜９を用いて説明をする。図１、２の複数カメラ部２と、図１、３の画像一時記憶部４の動作は実施の形態１と同じである。
【００５１】
図７、８に示す画像処理部５ｂ、５ｃには、入力端子７から入力される移動体情報が入力端子５７を介して入力され、タイミング制御部３から出力される撮像タイミング情報が入力端子５６を介して入力される。入力端子５６を介して入力された撮像タイミング情報と、入力端子５７を介して入力された移動体情報は、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂと、ノイズ低減部５２ｂ又は解像度変換部５２ｃに入力される。
【００５２】
ノイズ低減部５２ｂ又は解像度変換部５２ｃでは、入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報と、入力端子５７を介して入力端子７から入力された移動体情報から、画像一時記憶部４に一時記憶された各カメラ２１ａ〜２１ｂの撮像画像の読み出しタイミングを決定し、第１の読み出し制御信号〜第Ｎの読み出し制御信号を、出力端子５４ａ〜５４ｂを介して画像一時記憶部４に出力する。
【００５３】
出力端子５４ａ〜５４ｂを介して出力された各カメラ２１ａ〜２１ｂの撮像画像の第１の読み出し制御信号〜第Ｎの読み出し制御信号は、画像一時記憶部４の入力端子４３ａ〜４３ｂを介して第１のメモリ４１ａ〜第Ｎのメモリ４１ｂに入力される。第１のメモリ４１ａ〜第Ｎのメモリ４１ｂは、各カメラ２１ａ〜２１ｂの撮像画像を読み出し、出力端子４４ａ〜４４ｂを介して、画像処理部５ｂ、５ｃに出力する。
【００５４】
入力端子５３ａ〜５３ｂを介して画像処理部５ｂ、５ｃに入力された各カメラ２１ａ〜２１ｂの撮像画像は、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂに入力される。第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂは、入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報と入力端子５７を介して入力端子７から入力された移動体情報により、画像一時記憶部４から入力された各カメラの撮像画像の補整処理を行う。第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂにより補整処理された各カメラ２１ａ〜２１ｂの撮像画像は、ノイズ低減部５２ｂに出力されノイズ低減処理、又は、解像度変換部５２ｃに出力され解像度変換処理がなされる。
【００５５】
図９を用いて、移動速度Ｖで移動している車両の側面に、進行方向に沿って同じ高さで同じ特性のカメラ（カメラａがカメラｂに対して進行方向前方側）を２個、間隔Ｄで配置し、移動体の移動によって異なるカメラの撮像範囲が重複するように撮影する場合について説明する。本例では、進行方向に対して垂直方向（横方向）を撮影するものとして図示しているが、進行方向に対してある一定の角度の方向を撮影する場合にも同様である。また、これらのカメラは向きを変更する機構を備えていてもよい。特に、進行方向に対し最前に位置するカメラａが撮像した後に車両が曲がると車両の向きに伴って後続のカメラｂの向きも変わる。この場合、後続のカメラｂは、カメラａと同じ向きで同じ画像を撮像するために、車両が曲がったことによる方向の補正のため、向きを変更し、カメラａと撮像範囲が重複するように制御されていてもよい。
【００５６】
ＣＭＯＳカメラを例に説明する。光（電荷）の蓄積時間をＴとする。連続動作をさせた場合、フレームレートは１／Ｔとなる。撮影時刻をｔ、カメラａの撮影位置（移動距離）をｐｏｓＡ、カメラｂの撮影位置（移動距離）をｐｏｓＢとする。フレームレートと移動速度を基にした移動体の移動経路（蓄積時間Ｔあたりの移動距離Ｌ＝Ｖ×Ｔ）上で、複数のカメラのそれぞれが同じ位置（０、Ｌ、・・・）の時、カメラａ、カメラｂを交互に用いて、撮像範囲が重複するように同じ方向を撮影し、同様の撮像画像を得る。つまり、ｔ＝ｔ０ａ、ｐｏｓＡ＝０の時カメラａで、ｔ＝ｔ０ｂ、ｐｏｓＢ＝０の時カメラｂで、ｔ＝ｔ１ａ、ｐｏｓＡ＝Ｌの時カメラａで、ｔ＝ｔ１ｂ、ｐｏｓＢ＝Ｌの時カメラｂで撮影を行う。このとき、カメラａによる撮影からカメラｂによる撮影までの時間差を、ｔ０ｂ−ｔ０ａ＝Ｄ／Ｖ、カメラｂによる撮影からカメラａによる撮影までの時間差を、ｔ１ａ−ｔ０ｂ＝Ｔ−Ｄ／Ｖとなるように制御する。なお、移動速度がＶ１に変化した場合は、蓄積時間Ｔあたりの移動距離はＬ１＝Ｖ１×Ｔに変化するが、この場合も車両の移動経路上の複数のカメラのそれぞれが同じ位置（０、Ｌ１、・・・）で上記と同様に撮影すればよい。
【００５７】
カメラａ、カメラｂは、複数カメラ部２の第１のカメラ２１ａ、第Ｎのカメラ２１ｂに相当する。撮影時刻ｔ０ａ、ｔ０ｂ、ｔ１ａ、ｔ１ｂは、タイミング制御部３が入力端子７から入力された移動体情報（複数カメラの相互配置：間隔Ｄ、移動体の移動速度Ｖ）とカメラ設定（蓄積時間Ｔ又は、フレームレート：１／Ｔ）をもとに決定する。また、これらの時間に複数カメラ部２に第１の撮像制御信号と第Ｎの撮像制御信号が出力され、カメラａとカメラｂが画像６ａ、６ｂを取り込む。
【００５８】
カメラａとカメラｂで撮像された撮像画像は、第１のメモリ４１ａと第Ｎのメモリ４１ｂに一時記憶される。画像処理部５ｂでは、タイミング制御部３から出力された撮像タイミング情報（カメラａの撮像タイミングとカメラｂの撮像タイミング）と、入力端子７から入力される移動体情報（複数カメラの相互配置：間隔Ｄ、移動体の移動速度Ｖ）から各カメラの撮像画像の読み出しタイミングｔｄ０、ｔｄ１を決定し、そのタイミングにあわせて第１の読み出し制御信号と第Ｎの読み出し制御信号を第１のメモリ４１ａと第Ｎのメモリ４１ｂに出力する。
【００５９】
第１のメモリ４１ａと第Ｎのメモリ４１ｂは、画像処理部５ｂ、５ｃから出力された第１の読み出し制御信号と第Ｎの読み出し制御信号により、各メモリに一時記憶されている各カメラの撮像画像を画像処理部５ｂ、５ｃに出力する。画像処理部５ｂ、５ｃに入力された各カメラの撮像画像は、第１の画像補整部５１ａと第Ｎの画像補整部５１ｂに入力される。
【００６０】
第１の画像補整部５１ａと第Ｎの画像補整部５１ｂでは、タイミング制御部３から入力される撮像タイミング情報と、入力端子７から入力される移動体情報をもとに、各カメラの撮像画像を実施の形態１と同様に補整する。
【００６１】
第１の画像補整部５１ａと第Ｎの画像補整部５１ｂで補整処理された各カメラの撮像画像は、ノイズ低減部５２ｂ又は解像度変換部５２ｃに受け渡される。ノイズ低減部５２ｂ又は解像度変換部５２ｃは、入力端子５７を介して入力された移動体情報と入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報とから、第１の画像補整部５１ａと第Ｎの画像補整部５１ｂで補整処理された各カメラの撮像画像に対して重ね合わせ処理を行ない、ノイズが低減された処理結果（処理画像）又は、解像度が向上した処理結果（処理画像）を出力端子８から出力する。
【００６２】
具体的には、カメラａとカメラｂからの画像処理等を含めた遅れ時間をそれぞれｔｄｌｙａ、ｔｄｌｙｂとすると、例えば、時刻ｔｄ０（＝ｔ０ａ＋ｔｄｌｙａ＝ｔ０ｂ＋ｔｄｌｙｂ）には、カメラａ（第１のカメラ）による撮像画像とカメラｂ（第Ｎのカメラ）による撮像画像の処理画像を、時刻ｔｄ１（＝ｔ１ａ＋ｔｄｌｙａ＝ｔ１ｂ＋ｔｄｌｙｂ）には、カメラａ（第１のカメラ）による撮像画像とカメラｂ（第Ｎのカメラ）による撮像画像の処理画像を取得して、重ね合わせ処理を行うことによりノイズ低減や解像度向上を行う。なお、ノイズ低減方法については、例えば、吹抜敬彦著「ＴＶ画像の多次元信号処理」日刊工業新聞社、１９８８年、などに技術の概要が記載されている。また、重ね合わせ処理を行うことにより、解像度が向上できることは超解像技術として知られており、例えば、高木幹雄・下田陽久監修「新編画像解析ハンドブック」東京大学出版会、２００４年、などに技術の概要が記載されている。
【００６３】
なお、重ね合わせ処理に際して、重ね合わせる複数の撮像画像の位置合わせのため、撮像画像の向きや大きさ、範囲をあわせる必要があるが、これを第１の画像補整部５１ａ、第Ｎの画像補整部５１ｂでまとめて行なえるように、入力端子５３ａ、５３ｂと第１の画像補整部５１ａ、第Ｎの画像補整部５１ｂの間に、相互の撮像画像を比較する手段を設け、その比較結果により、第１の画像補整部５１ａ、第Ｎの画像補整部５１ｂの補整処理を制御するように構成してもよい。
【００６４】
また、解像度変換部５２ｃの処理前後で、画像サイズが変化しない場合に適用できるだけでなく、画像サイズが増加する、つまり、拡大処理されるような場合にも、逆に、画像サイズが減少する、つまり、縮小処理されるような場合にも同様に適用できることは言うまでもない。
【００６５】
また、複数カメラの個数は２個に限るものではなく、Ｎ個（Ｎは２以上の整数）の場合も、同様に撮像画像の重ね合わせ処理をすれば、よりノイズが低減できたり、解像度の高い処理画像が得られたりする。
【００６６】
また、第Ｎのカメラ２１ｂの撮像タイミングと画像読み出し時間に合わせて、画像一時記憶部からの第１〜第（Ｎ−１）のカメラの画像の読み出し制御をすれば、第Ｎのカメラ用の第Ｎのメモリ４１ｂを削減することが可能である。この場合は、第１〜第（Ｎ−１）のカメラの撮像画像は、画像一時記憶部４の第１のメモリ〜第（Ｎ−１）のメモリから、第Ｎのカメラの撮像画像は、直接第Ｎのカメラから読み出すことになる。
【００６７】
このように構成された複数カメラ画像処理装置及び複数カメラ画像表示装置によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように異なる位置に設置された複数のカメラを用い、これらが移動経路上の同じ位置から同じ方向を撮影するようにタイミングを制御すると、複数のカメラが同じ領域（方向、範囲）を撮影することができる。そのため、それら複数の撮像画像の重ね合わせ処理をすることにより、ノイズの少ない処理画像や、解像度の高い処理画像を得ることができ、視認性が向上する。
【００６８】
また、各カメラの撮像画像に対して、移動体の移動方向や移動速度、複数カメラの相互配置などの移動体情報に基づき、画像のズレや歪みを補整した後に、複数カメラの撮像画像による重ね合わせ処理をするので、連続した１つの処理画像として違和感のない良好なものを得ることができる。
【００６９】
実施の形態３．
実施の形態２は、複数のカメラを用いてノイズを低減させたり、解像度を向上させたりすることにより視認性を向上させるが、ここでは、カメラと背景の間にある移動物（異物）のために背後に隠れて見えなくなる背景の画像を補正して定常画像を作成することにより、背景の視認性の向上を行う複数カメラ画像処理装置について述べる。本発明の実施の形態３に係る複数カメラ画像処理装置１の要部構成も実施の形態１で示した図１を用いて説明する。なお、本発明の実施の形態３に係る複数カメラ画像処理装置１は、画像処理部５の構成が、実施の形態１、２の構成と若干異なる。
【００７０】
複数カメラ画像処理装置１は、タイミング制御部３と、画像一時記憶部４と、画像処理部５と、入力端子７と、出力端子８を備えている。複数カメラ部２は、Ｎ個の同様な画像６ａ〜６ｂを取り込むため、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置されたＮ個のカメラを有しており、複数カメラ画像処理装置１により撮像タイミングを制御され、複数カメラ画像処理装置１に撮像画像を出力する。図１０は、図１の画像処理部５の形態の一つとして、定常画像作成部５２ｄを備えた画像処理部５ｄの要部構成を示すブロック図である。画像処理部５ｄは、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂ、定常画像作成部５２ｄ、Ｎ個の入力端子５３ａ〜５３ｂ、Ｎ個の出力端子５４ａ〜５４ｂ、出力端子５５、入力端子５６、５７を備えている。
【００７１】
このように構成された複数カメラ画像処理装置の動作について説明をする。画像処理部５ｄの動作は、実施の形態２の画像処理部５ｂ、５ｃとほぼ同じであるが、最後の重ね合わせ処理をする定常画像作成部５２ｄの働きだけが異なる。定常画像作成部５２ｄの動作例を図１１を用いて説明する。
【００７２】
まず、車両の側面にカメラａ〜ｃを設置する。その後、車両の移動に伴い、カメラが移動経路上の同じ位置に来たときに、カメラａ、ｂ、ｃを用い順番に同じ方向を撮像する。その結果、同じ背景の画像が３枚得られる。このとき、カメラと背景の間に移動する異物（混入物）が撮像されることがある。カメラが１台のときは、異物の背後に隠れた例えば建物等の看板や道路標識、大売出し等ののぼりは確認することはできない。ここで、３枚の中のある同じエリアを比較したとき、１枚だけが他の２枚と異なるときは、そこを異物と判断し、異物が写っていない他の撮像画像から補間することにより、異物を消した定常画像を作成することができる。
【００７３】
また、別の方法としては、複数の画像を比較したとき、同じ異物が違う位置に写ることにより変化のあるところは、これを移動物と判断し、移動物（異物）が移っていない画像から補間することにより、異物を消した定常画像を作成することができる。
【００７４】
このように構成された複数カメラ画像処理装置及び複数カメラ画像表示装置によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように異なる位置に設置された複数のカメラを用い、これらが移動経路上の同じ位置から同じ方向を撮影するようにタイミングを制御すると、複数のカメラが同じ領域（方向、範囲）を撮影することができる。そのため、それら複数の撮像画像の重ね合わせ処理をすることにより、移動物（異物）を消した定常画像を得ることができ、視認性が向上する。
【００７５】
また、処理画像をドライブレコーダ等の記録部に記録し、それを後で表示部で再生することにより、移動物（異物）の背後の建物等の看板や道路標識や大売出し等ののぼりを確認することができ、また、カーナビゲーション装置には記録されていない大売出し等の限定情報も得ることができるので、ドライブの利便性が増す。
【図面の簡単な説明】
【００７６】
【図１】この発明の実施の形態１〜３を示す複数カメラ画像処理装置の構成を示すブロック図である。
【図２】この発明の実施の形態１〜３を示す複数カメラ部の構成を示すブロック図である
【図３】この発明の実施の形態１〜３を示す画像一時記憶部の構成を示すブロック図である
【図４】この発明の実施の形態１を示す画像処理部の構成を示すブロック図である
【図５】この発明の実施の形態１を示す複数カメラ画像処理装置の動作説明図である。
【図６】この発明の実施の形態１〜３の複数カメラの相互配置のずれを説明するための図である。
【図７】この発明の実施の形態２を示す画像処理部の構成を示すブロック図である
【図８】この発明の実施の形態２を示す別の画像処理部の構成を示すブロック図である。
【図９】この発明の実施の形態２を示す複数カメラ画像処理装置の動作説明図である。
【図１０】この発明の実施の形態３を示す画像処理部の構成を示すブロック図である。
【図１１】この発明の実施の形態３の定常画像作成部の処理例を示す図である。
【符号の説明】
【００７７】
１ 複数カメラ画像処理装置
２ 複数カメラ部
３ タイミング制御部
４ 画像一時記憶部
５、５ａ、５ｂ、５ｃ、５ｄ 画像処理部
６ａ、６ｂ 画像
２１ａ 第１のカメラ
２１ｂ 第Ｎのカメラ
２２ａ、２２ｂ 入力端子
２３ａ、２３ｂ 出力端子
４１ａ 第１のメモリ
４１ｂ 第Ｎのメモリ
４２ａ、４２ｂ 入力端子
４３ａ、４３ａ 入力端子
４４ａ、４４ｂ 出力端子
５１ａ 第１の画像補整部
５１ｂ 第Ｎの画像補整部
５２ａ フレームレート変換部
５２ｂ ノイズ低減部
５２ｃ 解像度変換部
５２ｄ 定常画像作成部
５３ａ、５３ｂ 入力端子
５４ａ、５４ｂ 出力端子
５５ 出力端子
５６ 入力端子
５７ 入力端子
【特許請求の範囲】
【請求項１】
移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置された複数のカメラ又は前記複数のカメラのうち１台のカメラを除いた他のカメラからの撮像画像を保存する画像一時記憶部と、
前記複数のカメラのフレームレートとそれぞれの設置位置及び、前記移動体の移動速度を基にして前記複数のカメラのそれぞれの撮像タイミングを制御するタイミング制御部と、
前記画像一時記憶部又は、前記画像一時記憶部と前記１台のカメラから前記撮像画像を読み込んで画像処理を行う画像処理部とを備えた複数カメラ画像処理装置。
【請求項２】
前記画像処理部は、前記複数のカメラのそれぞれに対応し、撮像画像に対して、回転、拡大縮小、変形、及び切り出し処理のうち少なくとも１つを行う画像補整部を更に備える請求項１記載の複数カメラ画像処理装置。
【請求項３】
前記進行方向に沿って最前のカメラの撮像範囲と重複するように後続のカメラの撮像範囲を変更する機構を更に備える請求項１記載の複数カメラ画像処理装置。
【請求項４】
前記タイミング制御部は、前記フレームレートと前記移動速度を基に、１フレーム分の前記移動体の移動経路を前記複数のカメラの台数分に分割する位置から撮像するように前記複数のカメラのそれぞれの撮像タイミングを制御する請求項１記載の複数カメラ画像処理装置。
【請求項５】
前記画像処理部は、前記撮像画像を基にフレームレートの高い処理画像を生成するフレームレート変換部を更に備える請求項４記載の複数カメラ画像処理装置。
【請求項６】
前記フレームレート変換部は、前記複数のカメラのそれぞれのカメラからの撮像画像の間のフレームを補間して生成することにより、さらにフレームレートの高い処理画像を生成する請求項５記載の複数カメラ画像処理装置。
【請求項７】
前記タイミング制御部は、前記フレームレートと前記移動速度を基に、前記移動体の移動経路上で前記複数のカメラのそれぞれが同じ位置から撮像するように前記複数のカメラのそれぞれの撮像タイミングを制御する請求項１記載の複数カメラ画像処理装置。
【請求項８】
前記画像処理部は、前記同じ位置から撮像した複数のカメラからの撮像画像に対し、重ね合わせ処理を行う請求項７記載の複数カメラ画像処理装置。
【請求項９】
前記画像処理部は、前記撮像画像のノイズ低減、解像度向上、及び異物の削除のうち少なくとも１つを行う請求項８記載の複数カメラ画像処理装置。
【請求項１０】
請求項１ないし９のいずれかに記載の複数カメラ画像処理装置と、
前記複数カメラ画像処理装置により撮像タイミングを制御され、前記複数カメラ画像処理装置に撮像画像を出力する前記移動体に設置された複数のカメラと、
前記複数カメラ画像処理装置からの処理画像を記録する記録部と、
前記複数カメラ画像処理装置と前記記録部からの画像を表示する表示部とを備えた複数カメラ画像表示装置。
【請求項１】
移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置された複数のカメラ又は前記複数のカメラのうち１台のカメラを除いた他のカメラからの撮像画像を保存する画像一時記憶部と、
前記複数のカメラのフレームレートとそれぞれの設置位置及び、前記移動体の移動速度を基にして前記複数のカメラのそれぞれの撮像タイミングを制御するタイミング制御部と、
前記画像一時記憶部又は、前記画像一時記憶部と前記１台のカメラから前記撮像画像を読み込んで画像処理を行う画像処理部とを備えた複数カメラ画像処理装置。
【請求項２】
前記画像処理部は、前記複数のカメラのそれぞれに対応し、撮像画像に対して、回転、拡大縮小、変形、及び切り出し処理のうち少なくとも１つを行う画像補整部を更に備える請求項１記載の複数カメラ画像処理装置。
【請求項３】
前記進行方向に沿って最前のカメラの撮像範囲と重複するように後続のカメラの撮像範囲を変更する機構を更に備える請求項１記載の複数カメラ画像処理装置。
【請求項４】
前記タイミング制御部は、前記フレームレートと前記移動速度を基に、１フレーム分の前記移動体の移動経路を前記複数のカメラの台数分に分割する位置から撮像するように前記複数のカメラのそれぞれの撮像タイミングを制御する請求項１記載の複数カメラ画像処理装置。
【請求項５】
前記画像処理部は、前記撮像画像を基にフレームレートの高い処理画像を生成するフレームレート変換部を更に備える請求項４記載の複数カメラ画像処理装置。
【請求項６】
前記フレームレート変換部は、前記複数のカメラのそれぞれのカメラからの撮像画像の間のフレームを補間して生成することにより、さらにフレームレートの高い処理画像を生成する請求項５記載の複数カメラ画像処理装置。
【請求項７】
前記タイミング制御部は、前記フレームレートと前記移動速度を基に、前記移動体の移動経路上で前記複数のカメラのそれぞれが同じ位置から撮像するように前記複数のカメラのそれぞれの撮像タイミングを制御する請求項１記載の複数カメラ画像処理装置。
【請求項８】
前記画像処理部は、前記同じ位置から撮像した複数のカメラからの撮像画像に対し、重ね合わせ処理を行う請求項７記載の複数カメラ画像処理装置。
【請求項９】
前記画像処理部は、前記撮像画像のノイズ低減、解像度向上、及び異物の削除のうち少なくとも１つを行う請求項８記載の複数カメラ画像処理装置。
【請求項１０】
請求項１ないし９のいずれかに記載の複数カメラ画像処理装置と、
前記複数カメラ画像処理装置により撮像タイミングを制御され、前記複数カメラ画像処理装置に撮像画像を出力する前記移動体に設置された複数のカメラと、
前記複数カメラ画像処理装置からの処理画像を記録する記録部と、
前記複数カメラ画像処理装置と前記記録部からの画像を表示する表示部とを備えた複数カメラ画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−２１６１９（Ｐ２０１０−２１６１９Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００８−１７７８０４（Ｐ２００８−１７７８０４）
【出願日】平成２０年７月８日（２００８．７．８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２０年７月８日（２００８．７．８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]