画像同期化装置
【課題】 外部同期入力端子を有していない２個のカメラモジュールを使用して、同期化した２系統の映像信号を得るには、２系統の映像信号の最大遅延量分のフレームメモリを必要とし、装置が高価となる。
【解決手段】 エッジ検出、ゲート信号生成回路３１は、３次元空間にある同一の測定対象を撮像している、外部同期入力端子を有しないカメラモジュール１、２からそれぞれ垂直同期信号が入力され、その立下りエッジを検出する。エッジ検出、ゲート信号生成回路３１は、カメラモジュール１からの入力垂直同期信号を基準とし、カメラモジュール２からの垂直同期信号の位相が進んでいるときは、その位相進み量に相当する時間分、ＡＮＤ回路３２に供給するカメラ２クロックゲート信号をローレベルとし、ＰＬＬ回路７から出力されるクロックのカメラモジュール２への出力を遮断する。
【解決手段】 エッジ検出、ゲート信号生成回路３１は、３次元空間にある同一の測定対象を撮像している、外部同期入力端子を有しないカメラモジュール１、２からそれぞれ垂直同期信号が入力され、その立下りエッジを検出する。エッジ検出、ゲート信号生成回路３１は、カメラモジュール１からの入力垂直同期信号を基準とし、カメラモジュール２からの垂直同期信号の位相が進んでいるときは、その位相進み量に相当する時間分、ＡＮＤ回路３２に供給するカメラ２クロックゲート信号をローレベルとし、ＰＬＬ回路７から出力されるクロックのカメラモジュール２への出力を遮断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像同期化装置に係り、特に２つのカメラで撮像して得られたステレオ画像を用いて、ステレオ視の原理を応用して画像領域の距離分布測定を行う距離測定装置などにおける、複数の映像信号を同期化する画像同期化装置に関する。
【背景技術】
【０００２】
従来より、３次元空間に存在する物体を、２次元の画像から認識する技術としてステレオ視法が知られている（例えば、非特許文献１参照）。このステレオ視法には、レンズの光軸を平行に保った複数個のカメラで測定対象を撮像する方法と、レンズの光軸を交差させた数個のカメラで測定対象を撮像する方法とがある。そこで、２個以上のカメラモジュールとカメラ制御回路、カメラ映像信号処理回路、及びカメラ画像の視差量を用い、上記のステレオ視法の原理を応用して画像領域の距離分布測定を行う距離測定装置や、その距離測定結果を使用した物体検出装置が従来から知られている。
【０００３】
また、２個以上のカメラモジュールにより得られた映像信号により、３次元空間に存在する物体をステレオ視（立体視）の原理に基づいて検出する装置を、外界センサとしてロボットに搭載し、障害物を検出、衝突回避するシステムも従来知られている（例えば、非特許文献２参照）。上記の距離測定装置や物体検出装置、あるいは上記の障害物検出、衝突回避システムなどにおいて、動き量の大きな対象物体においても精度を損なわずに距離検出などを可能ならしめるには、２個以上のカメラモジュールでそれぞれ撮像された複数の映像信号を同期化する画像同期化装置が必要となる。
【０００４】
すなわち、ステレオ視による距離検出法においては、同一測定対象に対する２つのカメラの視差量（写される位置のずれ量）を検出する必要があるため、２つのカメラからの映像信号に同時性が求められる。測定対象が静止している場合には２つのカメラからの映像信号に多少の時間差が生じても測定精度に影響しないが、測定対象の動きが大きい場合、２つのカメラからの両映像信号の間の同期がとれていないと、本来の視差量に時間的影響が外乱として加味され、正しい視差量が得られない、すなわち、距離測定に誤差を生じることとなるためである。
【０００５】
図９は従来の画像同期化装置の一例のブロック図を示す。同図において、対象物体を撮像する２個のカメラモジュール１’及び２’がそれぞれ互いの光軸を平行に、あるいは交差するようにして配置されている。これらのカメラモジュール１’及び２’は、それぞれ外部同期入力端子を有しており、位相同期ループ回路（ＰＬＬ回路）４２により発生されたクロック信号に基づいて同期信号を生成する同期信号生成回路４１から同じクロックが供給されると共に、同じ同期信号が外部同期入力端子に供給され、対象物体を撮像して互いに同期した映像信号（同期化映像信号）を出力する。
【０００６】
カメラモジュール１’及び２’からそれぞれ出力された同期化映像信号は、メモリ４及び５にそれぞれ供給されて一時保持された後、ＰＬＬ回路４２からのクロック信号に同期して動作するＤＭＡ制御回路６により、距離演算装置８及び障害物回避処理装置９へＤＭＡ（Direct Memory Access）転送される。距離演算装置８及び障害物回避処理装置９は中央処理装置（ＣＰＵ）によるソフトウェア処理により前記ステレオ視法による距離演算を行い、またその距離演算結果などに基づいて、この映像同期化装置が搭載されている移動体（例えば、ロボット）の前方の障害物を検出して障害物を回避するための処理（例えば、移動方向を変更するなどの処理）を行う。
【０００７】
図１０は従来の画像同期化装置の他の例のブロック図を示す。同図中、図９と同一構成部分には同一符号を付し、その説明を省略する。図１０において、対象物体を撮像する２個のカメラモジュール１及び２がそれぞれ互いの光軸を平行に、あるいは交差するようにして配置されている。これらのカメラモジュール１及び２は、それぞれ外部同期入力端子を有しないカメラモジュールであり、メモリリード遅延制御／ＤＭＡ制御回路４３から同じクロックが供給されると共に、撮像した映像信号を遅延用フレームメモリ４５、４６に供給し、かつ、その映像信号の同期信号をメモリリード遅延制御／ＤＭＡ制御回路４３に供給する。
【０００８】
メモリリード遅延制御／ＤＭＡ制御回路４３は、ＰＬＬ回路４４からの信号に基づいて、クロックを生成してカメラモジュール１及び２へ出力すると共にＰＬＬ回路４４からの信号に基づいて遅延用フレームメモリ４５、４６から映像信号を読み出す時に、位相の遅い方の映像信号に合わせて、同期した２つの映像信号を読み出し、距離演算装置８及び障害物回避処理装置９へＤＭＡ転送する。
【０００９】
【非特許文献１】北野哲彦，”複数画像を利用した立体形状認識技術”，長野県情報技術試験場研究報告，ＮＯ．１５，ｐ.１４−１〜１４−４，１９９９
【非特許文献２】山本美子，”立体視を用いたロボット搭載ビジョンシステムの研究”，機能集積システム工学研究室，平成１３年２月１８日
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかるに、図９に示した従来の画像同期化装置では、カメラモジュール１’及び２’の外部に設けた同期信号生成回路４１からカメラ同期信号をカメラモジュール１’及び２’に供給する構成であるため、カメラモジュール１’及び２’としては外部同期入力端子を有している高価なカメラモジュールが必要であり、通常は外部同期入力端子を有していない安価なカメラモジュールを使用できず、従って装置全体が高価となるという問題がある。
【００１１】
一方、図１０に示した従来の画像同期化装置では、カメラモジュール１及び２として、外部同期入力端子を有していない安価なカメラモジュールを使用することができるが、映像信号を遅延用フレームメモリ４５、４６に一旦保存して、読み出し時にタイミングを調整して、同期化を実現するようにしているため、２系統の映像信号の最大遅延量分のフレームメモリ４５、４６を必要とするという問題がある。
【００１２】
本発明は以上の点に鑑みなされたもので、外部同期入力端子を有しないカメラモジュールを使用しても、遅延用のフレームメモリを用いることなく、クロック精度で同期化された映像信号を出力し得る画像同期化装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明は、外部同期入力端子を有しない複数のカメラモジュールにより、同一撮像対象を撮像して得られた複数の映像信号を同期化して出力する画像同期化装置において、複数のカメラモジュールからそれぞれ出力される垂直同期信号のうち、予め基準として定めた一個のカメラモジュールから出力される第１の垂直同期信号に対する、他のカメラモジュールから出力される第２の垂直同期信号の位相の進み量を検出する検出手段と、複数のカメラモジュールに対して、カメラモジュールを動作させるクロックをそれぞれ共通に供給するクロック発生手段と、検出手段により検出された位相の進み量に相当する時間、他のカメラモジュールへのクロック発生手段からのクロックの供給を遮断するクロック遮断手段とを有することを特徴とする。
【００１４】
この発明では、複数のカメラモジュールからそれぞれ出力される垂直同期信号のうち、予め基準として定めた一個のカメラモジュールから出力される第１の垂直同期信号に対する、他のカメラモジュールから出力される第２の垂直同期信号の位相の進み量に相当する時間、上記他のカメラモジュールへのクロックの供給を遮断してそのカメラモジュールの動作を一時停止するようにしたため、上記のクロックの供給遮断解除後は、第２の垂直同期信号の位相を第１の垂直同期信号の位相に一致させることができる。
【００１５】
また、上記の目的を達成するため、本発明は、複数のカメラモジュールからそれぞれ出力された複数の映像信号を、それぞれ時間軸圧縮した後時分割多重して、時分割多重化映像信号を出力する映像信号時間軸多重回路を更に有することを特徴とする。この発明では、複数のカメラモジュールからの複数系統の映像信号を一系統の時間軸多重化映像信号とすることができる。
【発明の効果】
【００１６】
本発明によれば、予め基準として定めた一個のカメラモジュールから出力される第１の垂直同期信号に対する、他のカメラモジュールから出力される第２の垂直同期信号の位相の進み量に相当する時間、上記他のカメラモジュールへのクロックの供給を遮断してそのカメラモジュールの動作を一時停止することで、クロックの供給遮断解除後は、第２の垂直同期信号の位相を第１の垂直同期信号の位相に一致させることができるため、複数のカメラモジュールとして外部同期入力端子を有しない安価な小型カメラモジュールを使用した場合でも、遅延用フレームメモリを用いることなく、互いに同期化した複数の映像信号を得ることができる。
【００１７】
また、本発明によれば、遅延用フレームメモリを不要にできるので、コスト上昇を回避できる。更に、本発明によれば、複数のカメラモジュールからの複数系統の映像信号を一系統の時間軸多重化映像信号として出力するようにしたため、時間軸多重化映像信号が入力されるバッファメモリの入力部のビット幅がカメラモジュール１系統分の幅で済む。
【発明を実施するための最良の形態】
【００１８】
図１は本発明になる画像同期化装置の第１の実施の形態のブロック図を示す。同図中、図１０と同一構成部分には同一符号を付してある。図１において、カメラモジュール１及び２は外部同期入力端子を有しないカメラモジュールである点は図１０と同様であるが、携帯電話等に搭載されるような小型のカメラモジュールである。一般に、携帯電話等に搭載されるような小型のカメラモジュールには、撮像素子の他、撮像素子の駆動回路、信号処理マイコン（マイクロコンピュータ）、ディジタル信号処理回路（ＤＳＰ）、電源回路などが搭載されており、モジュール外部から電源とクロック、リセットを供給することにより、モジュール単体で撮像素子の制御、信号の取り出し、各種映像信号の加工が可能となっている。また、このような小型カメラモジュールには、用途の性格上、業務用カメラにあるような外部同期入力が存在しないのが普通である。
【００１９】
カメラモジュール１及び２には、制御用クロック、リセット信号入力、シリアルバス入力（コマンド受信用）等がある他、出力信号として、映像信号、水平同期信号、垂直同期信号がある。２個のカメラモジュール１及び２を動作させたとき、取り出される映像信号の同期化（同位相化）を図るには、電源投入タイミング、リセット入力タイミングで制御するのが一般的である。
【００２０】
しかし、撮像素子のハードウェア的な制御タイミングはＤＳＰ、マイコンが担当しているので、単純にリセット動作などで同期化が図れない場合がある。そのため、従来は、図１０の構成の画像同期化装置のように、遅延用フレームメモリ４５、４６のうち、位相の遅い側に読み出しタイミングを合わせることで同期化映像信号を得ているが、この場合は前述した問題がある。
【００２１】
そこで、本実施の形態では、冗長なフレームメモリを用いることなく、電源投入、リセット動作後に、片方のカメラモジュールの動作を基準として、もう一方のカメラ動作を追従させるように、同期化回路３を構成した点に特徴がある。
【００２２】
図２は同期化回路３の一実施の形態の回路系統図を示す。同図中、図１と同一構成部分には同一符号を付してある。図２において、同期化回路３は、カメラモジュール１及び２からそれぞれ出力された垂直同期信号が入力されるエッジ検出、ゲート信号生成回路３１と、ＰＬＬ回路７から出力されるカメラクロックがそれぞれ一方の入力端子に供給される２入力ＡＮＤ回路３２及び３３と、ＡＮＤ回路３２、３３の各出力信号を増幅するアンプ３４、３５とよりなり、アンプ３４、３５からカメラモジュール１、２へカメラクロックを別々に供給する。
【００２３】
なお、ＡＮＤ回路３２の他方の入力端子にはエッジ検出、ゲート信号生成回路３１の出力信号が入力され、ＡＮＤ回路３３の他方の入力端子はハイレベルの信号が常時入力される。また、エッジ検出、ゲート信号生成回路３１内には後述する位相差計測用のアップダウンカウンタ（以下、位相差計測カウンタという）も設けられている。
【００２４】
次に、図１の実施の形態の動作について、図２の回路系統図、図３のタイミングチャート、図４の状態遷移図を併せ参照して説明する。図１の画像同期化装置の電源投入がなされると初期化処理が行われ（図４のステップ２１）、図３（Ａ）に示すハイレベルの同期化開始信号（同期化処理開始フラグイネーブル）の入力により同期化回路３の同期化処理動作が開始され、まず図２のエッジ検出、ゲート信号生成回路３１内の位相差計測カウンタの値が”０”とされ、待機状態となる（図４のステップ２２）。
【００２５】
同期化回路３には３次元空間にある同一の測定対象を撮像しているカメラモジュール１、２からそれぞれ垂直同期信号が入力されており、図２のエッジ検出、ゲート信号生成回路３１が同期化処理動作開始後、入力される垂直同期信号の立下りエッジを検出する。ここで、同期化処理動作開始時点では、図３（Ｂ）に示すようにカメラモジュール１からの垂直同期信号の方が、同図（Ｃ）に示すカメラモジュール２からの垂直同期信号よりも位相が遅れているものとすると、エッジ検出、ゲート信号生成回路３１が同期化処理動作開始後、同図（Ｃ）に示すカメラモジュール２からの垂直同期信号の立下りのエッジが最初に入力されるので、その立下りのエッジを時刻ｔ１で検出して、内部の位相差計測カウンタによるマスタークロックのカウントアップを開始する（図４のステップ２３）。なお、マスタークロックは例えば、エッジ検出、ゲート信号生成回路３１内のクロック発生器から出力されるが、ＰＬＬ回路７からのクロックを用いてもよい。
【００２６】
位相差計測カウンタのカウントアップ動作中は、位相差計測カウンタのカウンタ数は図３（Ｄ）に示すように増加していき、そのカウントアップ動作中に、続いて、図３（Ｂ）に示すようにカメラモジュール１からの垂直同期信号の立下りエッジがエッジ検出、ゲート信号生成回路３１に入力されて、時刻ｔ２でその立下りエッジが検出されると、エッジ検出、ゲート信号生成回路３１は、位相差計測カウンタによるマスタークロックのダウンカウントを開始すると共に、図２に示すＡＮＤ回路３２へローレベルのカメラ２クロックゲート信号を出力して、カメラモジュール２へのクロック遮断状態とする（図４のステップ２４）。
【００２７】
すなわち、図２に示すＡＮＤ回路３３は一方の入力端子に常時ハイレベルの信号が供給されているので常時「開」状態であり、ＰＬＬ回路７から出力されるクロックがＡＮＤ回路３３を通り、更にアンプ３５で増幅されてカメラモジュール１に供給されている。一方、図２に示すＡＮＤ回路３２は一方の入力端子に、エッジ検出、ゲート信号生成回路３１からカメラ２クロックゲート信号が供給されており、これは初期化後はハイレベルであるため、ＰＬＬ回路７から出力されるクロックがＡＮＤ回路３２を通り、更にアンプ３４で増幅されてカメラモジュール２に供給されているが、上記の時刻ｔ２でカメラ２クロックゲート信号がローレベルとなるため、ＡＮＤ回路３２が「閉」状態となり、ＰＬＬ回路７から出力されるクロックのカメラモジュール２への出力を遮断する。
【００２８】
カメラモジュール２はクロックの入力の遮断により動作を停止し、映像信号、水平同期信号、垂直同期信号は出力されない（所定値にホールドされた状態となる。）。位相差計測カウンタのダウンカウント動作中は、位相差計測カウンタのカウンタ数は図３（Ｄ）に示すように減少していき、その値が時刻ｔ３で初期値の”０”になると、エッジ検出、ゲート信号生成回路３１はカメラ２クロックゲート信号をハイレベルとする。これにより、時刻ｔ３以降はＡＮＤ回路３２が再び「開」状態となり、ＰＬＬ回路７から出力されるクロックが、ＡＮＤ回路３２を通り、更にアンプ３４で増幅されてカメラモジュール２に供給され、カメラモジュール２から再び映像信号、水平同期信号、垂直同期信号が出力され始め、同期化処理終了となる（図４のステップ２５）。
【００２９】
この結果、図３に示すように、時刻ｔ４で図３（Ｂ）に示すカメラモジュール１からの垂直同期信号の位相と、同図（Ｃ）に示すカメラモジュール２からの垂直同期信号の位相とが一致し、時刻ｔ４以降、カメラモジュール１及び２からそれぞれ出力される映像信号は互いに同期した同期化映像信号として図１のバッファメモリ４及び５にそれぞれ供給されて一時保持された後、ＤＭＡ制御回路６へ供給される。ＤＭＡ制御回路６はバッファメモリ４及び５から同期化されている２つの映像信号をＰＬＬ回路７から出力されるクロックに同期して距離演算装置８及び障害物回避処理装置９へそれぞれＤＭＡ転送する。
【００３０】
前述したように、距離演算装置８及び障害物回避処理装置９は中央処理装置（ＣＰＵ）によるソフトウェア処理により、前記非特許文献１などに記載の公知のステレオ視法による距離演算を行い、またその距離演算結果などに基づいて、この映像同期化装置が搭載されている移動体（例えば、ロボット）の前方の障害物を検出して障害物を回避するための処理（例えば、移動方向を変更するなどの処理）を行う。
【００３１】
このように、本実施の形態によれば、基準となるマスター側のカメラモジュール（マスターカメラモジュール）をカメラモジュール１とし、他方のカメラモジュール２をスレーブ側のカメラモジュール（スレーブカメラモジュール）として定め、マスター側のカメラモジュール１の垂直同期信号に対するスレーブ側のカメラモジュール２の垂直同期信号の位相の進み量を、クロック基準で動作する位相差計測カウンタによって測定し、その測定量に相当する時間（図３のｔ３−ｔ２）だけスレーブ側のカメラモジュール２へのクロック入力を一時遮断することで、マスター／スレーブカメラの垂直同期信号位相を一致させるようにしたため、外部同期入力端子を有しないカメラモジュール１及び２を使用できると共に、遅延用フレームメモリも不要にできる。
【００３２】
また、本実施の形態において、同期した２系統のカメラ映像信号を別々に書き込む２つのメモリは、バッファメモリ４及び５であり、遅延用フレームメモリよりも容量は少なくて済み、コスト上昇を回避できる。また、映像信号の情報量は、カメラ１個分の場合より増加するが、バッファメモリ４、５周りの回路のクロックレートを上げずに済む。これにより、動きのある測定対象物であっても、ステレオ視法により高精度で測距可能な測距システムや障害物回避システムを実現することができる。
【００３３】
次に、本発明の第２の実施の形態について説明する。図５は本発明になる画像同期化装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図５に示す実施の形態は、同期化されている２系統の同期化映像信号を１系統の時間軸多重化映像信号としてメモリ１２へ出力する映像信号時間軸多重回路１１を有する点に特徴がある。
【００３４】
この第２の実施の形態の動作について、図６のタイミングチャートと共に説明する。図５カメラモジュール１から出力された図６（Ａ）に画素単位で示す第１の同期化映像信号と、カメラモジュール２から出力された図６（Ｂ）に画素単位で示す第２の同期化映像信号とは、映像信号時間軸多重回路１１に供給され、ここでそれぞれ１／２に時間軸圧縮された後、交互に時分割多重され、同図（Ｃ）に示す如き時間軸多重化映像信号とされる。すなわち、映像信号時間軸多重回路１１は、２系統の同期化映像信号の各１画素が、１／２画素伝送期間で伝送されるように１／２に時間軸圧縮多重されて、１系統の時間軸多重化映像信号を生成する。
【００３５】
この時間軸多重化映像信号は、バッファメモリ１２に供給され、図６（Ｄ）に示すメモリ書き込み用クロックの立ち上がりエッジタイミングに基づいて書き込まれる。ＤＭＡ制御回路１３は、バッファメモリ１２に書き込まれた時間軸多重化映像信号を読み出して、距離演算装置８及び障害物回避処理装置９へそれぞれＤＭＡ転送して、中央処理装置（ＣＰＵ）によるソフトウェア処理により、公知のステレオ視法による距離演算や障害物回避処理を行わせる。
【００３６】
このように、本実施の形態では、２系統の同期化映像信号から１系統の時間軸多重化映像信号を生成するようにしているため、信号の転送レートは２倍となり、バッファメモリ１２に書き込むためのクロックは時間軸多重化映像信号と同期したクロックスピードにする必要があるが、バッファメモリ１２の入力部のビット幅がカメラモジュール１系統分の幅で済み、バッファメモリ１２を２個のカメラモジュール１及び２で共有できるというメリットがある。
【００３７】
これにより、例えば、この映像同期化装置をロボットに搭載した場合、カメラモジュール１及び２から映像信号時間軸多重回路１１までの回路部をロボットの頭部内の第１の基板に搭載し、バッファメモリ１２から距離演算装置８及び障害物回避処理装置９までの回路部を上記ロボットの胴体部内の第２の基板に搭載し、ビット幅がカメラモジュール１系統分の幅である１本の信号線を上記ロボットの首内を通過させて、上記第１の基板と第２の基板を接続することができる。
【００３８】
また、本実施の形態も第１の実施の形態と同様に、外部同期入力端子を有しないカメラモジュール１及び２を使用した場合でも、それらカメラモジュール１及び２により同一の測定対象を撮像した映像信号を同期化させて映像信号時間軸多重回路１１に入力させることができるので、ＤＭＡ制御回路１３からは同期化された２系統の映像信号を距離演算装置８や障害物回避処理装置９へＤＭＡ転送することができ、これにより、動きのある測定対象物であっても、ステレオ視法により高精度で測距可能な測距システムや障害物回避システムを実現することができ、また、遅延用フレームメモリを不要にできるので、コスト上昇を回避できる。
【００３９】
次に、本発明の第３の実施の形態について説明する。図７は本発明になる画像同期化装置の第３の実施の形態のブロック図を示す。同図中、図５と同一構成部分には同一符号を付し、その説明を省略する。図７に示す実施の形態は、同期化されている２系統の同期化映像信号を１系統の時間軸多重化映像信号とする映像信号時間軸多重回路１１、及びその時間軸多重化映像信号を格納する２つのバッファメモリ１５及び１６を有する点に特徴がある。
【００４０】
この第３の実施の形態の動作について、図８のタイミングチャートと共に説明する。図７のカメラモジュール１から出力された図８（Ａ）に画素単位で示す第１の同期化映像信号と、カメラモジュール２から出力された図８（Ｂ）に画素単位で示す第２の同期化映像信号とは、映像信号時間軸多重回路１１に供給され、ここでそれぞれ１／２に時間軸圧縮されて多重され、同図（Ｃ）に示す時間軸多重化映像信号とされる。すなわち、第２の実施の形態と同様に、映像信号時間軸多重回路１１は、２系統の同期化映像信号の各１画素が、１／２画素伝送期間で伝送されるように１／２に時間軸圧縮多重されて、１系統の時間軸多重化映像信号を生成する。
【００４１】
この時間軸多重化映像信号は、並列に設けられた２つのバッファメモリ１５及び１６にそれぞれ供給される。ここで、バッファメモリ１５に入力される第１のメモリ書き込み用クロックと、バッファメモリ１６に入力される第２のメモリ書き込み用クロックとは、図８（Ｄ）、（Ｅ）に示すように、それぞれ同期化映像信号の１画素伝送期間と同じ周期であり、かつ、互いに位相が１８０度異なるクロックであるのに対し、バッファメモリ１５及び１６はいずれも書き込み用クロックの立ち上がりエッジタイミングに基づいて書き込みが行われるので、バッファメモリ１５には時間軸多重化映像信号中の第１の同期化映像信号Ａ１、Ａ２、Ａ３、・・・が書き込まれ、バッファメモリ１６には時間軸多重化映像信号中の第２の同期化映像信号Ｂ１、Ｂ２、Ｂ３、・・・が書き込まれることになる。
【００４２】
ＤＭＡ制御回路１７は、バッファメモリ１５、１６にそれぞれ書き込まれた第１、第２の同期化映像信号を読み出して、距離演算装置８及び障害物回避処理装置９へそれぞれＤＭＡ転送して、中央処理装置（ＣＰＵ）によるソフトウェア処理により、公知のステレオ視法による距離演算や障害物回避処理を行わせる。
【００４３】
このように、本実施の形態では、２系統の同期化映像信号から１系統の時間軸多重化映像信号を生成するようにしているため、信号の転送レートは２倍となるが、並列に設けた２つのバッファメモリ１５及び１６に書き込むためのクロックは第２の実施の形態の書き込みクロックの１／２倍の周波数とすることができ、クロックレートを上げることなく、バッファメモリ１５及び１６の入力部のビット幅がカメラモジュール１系統分の幅で済み、コスト低減に寄与するというメリットがある。
【００４４】
これにより、例えば、この映像同期化装置をロボットに搭載した場合、カメラモジュール１及び２から映像信号時間軸多重回路１１までの回路部をロボットの頭部内の第１の基板に搭載し、バッファメモリ１５及び１６から距離演算装置８及び障害物回避処理装置９までの回路部を上記ロボットの胴体部内の第２の基板に搭載し、ビット幅がカメラモジュール１系統分の幅である１本の信号線を上記ロボットの首内を通過させて、上記第１の基板と第２の基板を接続することができる。
【００４５】
また、本実施の形態も第１及び第２の実施の形態と同様に、外部同期入力端子を有しないカメラモジュール１及び２を使用した場合でも、それらカメラモジュール１及び２により同一の測定対象を撮像した映像信号を同期化させて映像信号時間軸多重回路１１に入力させることができるので、ＤＭＡ制御回路１７からは同期化された２系統の映像信号を距離演算装置８や障害物回避処理装置９へＤＭＡ転送することができ、これにより、動きのある測定対象物であっても、ステレオ視法により高精度で測距可能な測距システムや障害物回避システムを実現することができ、また、遅延用フレームメモリを不要にできるので、コスト上昇を回避できる。
【００４６】
なお、本発明は以上の実施の形態に限定されるものではなく、カメラモジュールなどの撮像手段は２個に限定されるものではなく、例えば３個以上の複数個の外部同期入力端子を有しないカメラモジュールを、撮像対象を取り囲むように配置し、それら複数個のカメラモジュールから同時に同期化された映像信号を得て、その複数の映像信号から撮像対象の動きなどを監視、あるいは測定する用途などにも適用可能である。また、以上の実施の形態では、映像同期化装置がロボットなどの移動体に搭載されるように説明したが、これに限定されるものではない。
【図面の簡単な説明】
【００４７】
【図１】本発明装置の第１の実施の形態のブロック図である。
【図２】図１中同期化回路の一実施の形態の回路系統図である。
【図３】図１及び図２の動作説明用タイミングチャートである。
【図４】図１の状態遷移の一例を示す図である。
【図５】本発明装置の第２の実施の形態のブロック図である。
【図６】図５の動作説明用タイミングチャートである。
【図７】本発明装置の第３の実施の形態のブロック図である。
【図８】図７の動作説明用タイミングチャートである。
【図９】従来装置の一例のブロック図である。
【図１０】従来装置の他の例のブロック図である。
【符号の説明】
【００４８】
１、２ 外部同期入力端子を有しないカメラモジュール
３ 同期化回路
４、５、１２、１５、１６ バッファメモリ
６、１３、１７ ＤＭＡ制御回路
７ ＰＬＬ回路
８ 距離演算装置
９ 障害物回避処理装置
１１ 映像信号時間軸多重回路
【技術分野】
【０００１】
本発明は画像同期化装置に係り、特に２つのカメラで撮像して得られたステレオ画像を用いて、ステレオ視の原理を応用して画像領域の距離分布測定を行う距離測定装置などにおける、複数の映像信号を同期化する画像同期化装置に関する。
【背景技術】
【０００２】
従来より、３次元空間に存在する物体を、２次元の画像から認識する技術としてステレオ視法が知られている（例えば、非特許文献１参照）。このステレオ視法には、レンズの光軸を平行に保った複数個のカメラで測定対象を撮像する方法と、レンズの光軸を交差させた数個のカメラで測定対象を撮像する方法とがある。そこで、２個以上のカメラモジュールとカメラ制御回路、カメラ映像信号処理回路、及びカメラ画像の視差量を用い、上記のステレオ視法の原理を応用して画像領域の距離分布測定を行う距離測定装置や、その距離測定結果を使用した物体検出装置が従来から知られている。
【０００３】
また、２個以上のカメラモジュールにより得られた映像信号により、３次元空間に存在する物体をステレオ視（立体視）の原理に基づいて検出する装置を、外界センサとしてロボットに搭載し、障害物を検出、衝突回避するシステムも従来知られている（例えば、非特許文献２参照）。上記の距離測定装置や物体検出装置、あるいは上記の障害物検出、衝突回避システムなどにおいて、動き量の大きな対象物体においても精度を損なわずに距離検出などを可能ならしめるには、２個以上のカメラモジュールでそれぞれ撮像された複数の映像信号を同期化する画像同期化装置が必要となる。
【０００４】
すなわち、ステレオ視による距離検出法においては、同一測定対象に対する２つのカメラの視差量（写される位置のずれ量）を検出する必要があるため、２つのカメラからの映像信号に同時性が求められる。測定対象が静止している場合には２つのカメラからの映像信号に多少の時間差が生じても測定精度に影響しないが、測定対象の動きが大きい場合、２つのカメラからの両映像信号の間の同期がとれていないと、本来の視差量に時間的影響が外乱として加味され、正しい視差量が得られない、すなわち、距離測定に誤差を生じることとなるためである。
【０００５】
図９は従来の画像同期化装置の一例のブロック図を示す。同図において、対象物体を撮像する２個のカメラモジュール１’及び２’がそれぞれ互いの光軸を平行に、あるいは交差するようにして配置されている。これらのカメラモジュール１’及び２’は、それぞれ外部同期入力端子を有しており、位相同期ループ回路（ＰＬＬ回路）４２により発生されたクロック信号に基づいて同期信号を生成する同期信号生成回路４１から同じクロックが供給されると共に、同じ同期信号が外部同期入力端子に供給され、対象物体を撮像して互いに同期した映像信号（同期化映像信号）を出力する。
【０００６】
カメラモジュール１’及び２’からそれぞれ出力された同期化映像信号は、メモリ４及び５にそれぞれ供給されて一時保持された後、ＰＬＬ回路４２からのクロック信号に同期して動作するＤＭＡ制御回路６により、距離演算装置８及び障害物回避処理装置９へＤＭＡ（Direct Memory Access）転送される。距離演算装置８及び障害物回避処理装置９は中央処理装置（ＣＰＵ）によるソフトウェア処理により前記ステレオ視法による距離演算を行い、またその距離演算結果などに基づいて、この映像同期化装置が搭載されている移動体（例えば、ロボット）の前方の障害物を検出して障害物を回避するための処理（例えば、移動方向を変更するなどの処理）を行う。
【０００７】
図１０は従来の画像同期化装置の他の例のブロック図を示す。同図中、図９と同一構成部分には同一符号を付し、その説明を省略する。図１０において、対象物体を撮像する２個のカメラモジュール１及び２がそれぞれ互いの光軸を平行に、あるいは交差するようにして配置されている。これらのカメラモジュール１及び２は、それぞれ外部同期入力端子を有しないカメラモジュールであり、メモリリード遅延制御／ＤＭＡ制御回路４３から同じクロックが供給されると共に、撮像した映像信号を遅延用フレームメモリ４５、４６に供給し、かつ、その映像信号の同期信号をメモリリード遅延制御／ＤＭＡ制御回路４３に供給する。
【０００８】
メモリリード遅延制御／ＤＭＡ制御回路４３は、ＰＬＬ回路４４からの信号に基づいて、クロックを生成してカメラモジュール１及び２へ出力すると共にＰＬＬ回路４４からの信号に基づいて遅延用フレームメモリ４５、４６から映像信号を読み出す時に、位相の遅い方の映像信号に合わせて、同期した２つの映像信号を読み出し、距離演算装置８及び障害物回避処理装置９へＤＭＡ転送する。
【０００９】
【非特許文献１】北野哲彦，”複数画像を利用した立体形状認識技術”，長野県情報技術試験場研究報告，ＮＯ．１５，ｐ.１４−１〜１４−４，１９９９
【非特許文献２】山本美子，”立体視を用いたロボット搭載ビジョンシステムの研究”，機能集積システム工学研究室，平成１３年２月１８日
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかるに、図９に示した従来の画像同期化装置では、カメラモジュール１’及び２’の外部に設けた同期信号生成回路４１からカメラ同期信号をカメラモジュール１’及び２’に供給する構成であるため、カメラモジュール１’及び２’としては外部同期入力端子を有している高価なカメラモジュールが必要であり、通常は外部同期入力端子を有していない安価なカメラモジュールを使用できず、従って装置全体が高価となるという問題がある。
【００１１】
一方、図１０に示した従来の画像同期化装置では、カメラモジュール１及び２として、外部同期入力端子を有していない安価なカメラモジュールを使用することができるが、映像信号を遅延用フレームメモリ４５、４６に一旦保存して、読み出し時にタイミングを調整して、同期化を実現するようにしているため、２系統の映像信号の最大遅延量分のフレームメモリ４５、４６を必要とするという問題がある。
【００１２】
本発明は以上の点に鑑みなされたもので、外部同期入力端子を有しないカメラモジュールを使用しても、遅延用のフレームメモリを用いることなく、クロック精度で同期化された映像信号を出力し得る画像同期化装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明は、外部同期入力端子を有しない複数のカメラモジュールにより、同一撮像対象を撮像して得られた複数の映像信号を同期化して出力する画像同期化装置において、複数のカメラモジュールからそれぞれ出力される垂直同期信号のうち、予め基準として定めた一個のカメラモジュールから出力される第１の垂直同期信号に対する、他のカメラモジュールから出力される第２の垂直同期信号の位相の進み量を検出する検出手段と、複数のカメラモジュールに対して、カメラモジュールを動作させるクロックをそれぞれ共通に供給するクロック発生手段と、検出手段により検出された位相の進み量に相当する時間、他のカメラモジュールへのクロック発生手段からのクロックの供給を遮断するクロック遮断手段とを有することを特徴とする。
【００１４】
この発明では、複数のカメラモジュールからそれぞれ出力される垂直同期信号のうち、予め基準として定めた一個のカメラモジュールから出力される第１の垂直同期信号に対する、他のカメラモジュールから出力される第２の垂直同期信号の位相の進み量に相当する時間、上記他のカメラモジュールへのクロックの供給を遮断してそのカメラモジュールの動作を一時停止するようにしたため、上記のクロックの供給遮断解除後は、第２の垂直同期信号の位相を第１の垂直同期信号の位相に一致させることができる。
【００１５】
また、上記の目的を達成するため、本発明は、複数のカメラモジュールからそれぞれ出力された複数の映像信号を、それぞれ時間軸圧縮した後時分割多重して、時分割多重化映像信号を出力する映像信号時間軸多重回路を更に有することを特徴とする。この発明では、複数のカメラモジュールからの複数系統の映像信号を一系統の時間軸多重化映像信号とすることができる。
【発明の効果】
【００１６】
本発明によれば、予め基準として定めた一個のカメラモジュールから出力される第１の垂直同期信号に対する、他のカメラモジュールから出力される第２の垂直同期信号の位相の進み量に相当する時間、上記他のカメラモジュールへのクロックの供給を遮断してそのカメラモジュールの動作を一時停止することで、クロックの供給遮断解除後は、第２の垂直同期信号の位相を第１の垂直同期信号の位相に一致させることができるため、複数のカメラモジュールとして外部同期入力端子を有しない安価な小型カメラモジュールを使用した場合でも、遅延用フレームメモリを用いることなく、互いに同期化した複数の映像信号を得ることができる。
【００１７】
また、本発明によれば、遅延用フレームメモリを不要にできるので、コスト上昇を回避できる。更に、本発明によれば、複数のカメラモジュールからの複数系統の映像信号を一系統の時間軸多重化映像信号として出力するようにしたため、時間軸多重化映像信号が入力されるバッファメモリの入力部のビット幅がカメラモジュール１系統分の幅で済む。
【発明を実施するための最良の形態】
【００１８】
図１は本発明になる画像同期化装置の第１の実施の形態のブロック図を示す。同図中、図１０と同一構成部分には同一符号を付してある。図１において、カメラモジュール１及び２は外部同期入力端子を有しないカメラモジュールである点は図１０と同様であるが、携帯電話等に搭載されるような小型のカメラモジュールである。一般に、携帯電話等に搭載されるような小型のカメラモジュールには、撮像素子の他、撮像素子の駆動回路、信号処理マイコン（マイクロコンピュータ）、ディジタル信号処理回路（ＤＳＰ）、電源回路などが搭載されており、モジュール外部から電源とクロック、リセットを供給することにより、モジュール単体で撮像素子の制御、信号の取り出し、各種映像信号の加工が可能となっている。また、このような小型カメラモジュールには、用途の性格上、業務用カメラにあるような外部同期入力が存在しないのが普通である。
【００１９】
カメラモジュール１及び２には、制御用クロック、リセット信号入力、シリアルバス入力（コマンド受信用）等がある他、出力信号として、映像信号、水平同期信号、垂直同期信号がある。２個のカメラモジュール１及び２を動作させたとき、取り出される映像信号の同期化（同位相化）を図るには、電源投入タイミング、リセット入力タイミングで制御するのが一般的である。
【００２０】
しかし、撮像素子のハードウェア的な制御タイミングはＤＳＰ、マイコンが担当しているので、単純にリセット動作などで同期化が図れない場合がある。そのため、従来は、図１０の構成の画像同期化装置のように、遅延用フレームメモリ４５、４６のうち、位相の遅い側に読み出しタイミングを合わせることで同期化映像信号を得ているが、この場合は前述した問題がある。
【００２１】
そこで、本実施の形態では、冗長なフレームメモリを用いることなく、電源投入、リセット動作後に、片方のカメラモジュールの動作を基準として、もう一方のカメラ動作を追従させるように、同期化回路３を構成した点に特徴がある。
【００２２】
図２は同期化回路３の一実施の形態の回路系統図を示す。同図中、図１と同一構成部分には同一符号を付してある。図２において、同期化回路３は、カメラモジュール１及び２からそれぞれ出力された垂直同期信号が入力されるエッジ検出、ゲート信号生成回路３１と、ＰＬＬ回路７から出力されるカメラクロックがそれぞれ一方の入力端子に供給される２入力ＡＮＤ回路３２及び３３と、ＡＮＤ回路３２、３３の各出力信号を増幅するアンプ３４、３５とよりなり、アンプ３４、３５からカメラモジュール１、２へカメラクロックを別々に供給する。
【００２３】
なお、ＡＮＤ回路３２の他方の入力端子にはエッジ検出、ゲート信号生成回路３１の出力信号が入力され、ＡＮＤ回路３３の他方の入力端子はハイレベルの信号が常時入力される。また、エッジ検出、ゲート信号生成回路３１内には後述する位相差計測用のアップダウンカウンタ（以下、位相差計測カウンタという）も設けられている。
【００２４】
次に、図１の実施の形態の動作について、図２の回路系統図、図３のタイミングチャート、図４の状態遷移図を併せ参照して説明する。図１の画像同期化装置の電源投入がなされると初期化処理が行われ（図４のステップ２１）、図３（Ａ）に示すハイレベルの同期化開始信号（同期化処理開始フラグイネーブル）の入力により同期化回路３の同期化処理動作が開始され、まず図２のエッジ検出、ゲート信号生成回路３１内の位相差計測カウンタの値が”０”とされ、待機状態となる（図４のステップ２２）。
【００２５】
同期化回路３には３次元空間にある同一の測定対象を撮像しているカメラモジュール１、２からそれぞれ垂直同期信号が入力されており、図２のエッジ検出、ゲート信号生成回路３１が同期化処理動作開始後、入力される垂直同期信号の立下りエッジを検出する。ここで、同期化処理動作開始時点では、図３（Ｂ）に示すようにカメラモジュール１からの垂直同期信号の方が、同図（Ｃ）に示すカメラモジュール２からの垂直同期信号よりも位相が遅れているものとすると、エッジ検出、ゲート信号生成回路３１が同期化処理動作開始後、同図（Ｃ）に示すカメラモジュール２からの垂直同期信号の立下りのエッジが最初に入力されるので、その立下りのエッジを時刻ｔ１で検出して、内部の位相差計測カウンタによるマスタークロックのカウントアップを開始する（図４のステップ２３）。なお、マスタークロックは例えば、エッジ検出、ゲート信号生成回路３１内のクロック発生器から出力されるが、ＰＬＬ回路７からのクロックを用いてもよい。
【００２６】
位相差計測カウンタのカウントアップ動作中は、位相差計測カウンタのカウンタ数は図３（Ｄ）に示すように増加していき、そのカウントアップ動作中に、続いて、図３（Ｂ）に示すようにカメラモジュール１からの垂直同期信号の立下りエッジがエッジ検出、ゲート信号生成回路３１に入力されて、時刻ｔ２でその立下りエッジが検出されると、エッジ検出、ゲート信号生成回路３１は、位相差計測カウンタによるマスタークロックのダウンカウントを開始すると共に、図２に示すＡＮＤ回路３２へローレベルのカメラ２クロックゲート信号を出力して、カメラモジュール２へのクロック遮断状態とする（図４のステップ２４）。
【００２７】
すなわち、図２に示すＡＮＤ回路３３は一方の入力端子に常時ハイレベルの信号が供給されているので常時「開」状態であり、ＰＬＬ回路７から出力されるクロックがＡＮＤ回路３３を通り、更にアンプ３５で増幅されてカメラモジュール１に供給されている。一方、図２に示すＡＮＤ回路３２は一方の入力端子に、エッジ検出、ゲート信号生成回路３１からカメラ２クロックゲート信号が供給されており、これは初期化後はハイレベルであるため、ＰＬＬ回路７から出力されるクロックがＡＮＤ回路３２を通り、更にアンプ３４で増幅されてカメラモジュール２に供給されているが、上記の時刻ｔ２でカメラ２クロックゲート信号がローレベルとなるため、ＡＮＤ回路３２が「閉」状態となり、ＰＬＬ回路７から出力されるクロックのカメラモジュール２への出力を遮断する。
【００２８】
カメラモジュール２はクロックの入力の遮断により動作を停止し、映像信号、水平同期信号、垂直同期信号は出力されない（所定値にホールドされた状態となる。）。位相差計測カウンタのダウンカウント動作中は、位相差計測カウンタのカウンタ数は図３（Ｄ）に示すように減少していき、その値が時刻ｔ３で初期値の”０”になると、エッジ検出、ゲート信号生成回路３１はカメラ２クロックゲート信号をハイレベルとする。これにより、時刻ｔ３以降はＡＮＤ回路３２が再び「開」状態となり、ＰＬＬ回路７から出力されるクロックが、ＡＮＤ回路３２を通り、更にアンプ３４で増幅されてカメラモジュール２に供給され、カメラモジュール２から再び映像信号、水平同期信号、垂直同期信号が出力され始め、同期化処理終了となる（図４のステップ２５）。
【００２９】
この結果、図３に示すように、時刻ｔ４で図３（Ｂ）に示すカメラモジュール１からの垂直同期信号の位相と、同図（Ｃ）に示すカメラモジュール２からの垂直同期信号の位相とが一致し、時刻ｔ４以降、カメラモジュール１及び２からそれぞれ出力される映像信号は互いに同期した同期化映像信号として図１のバッファメモリ４及び５にそれぞれ供給されて一時保持された後、ＤＭＡ制御回路６へ供給される。ＤＭＡ制御回路６はバッファメモリ４及び５から同期化されている２つの映像信号をＰＬＬ回路７から出力されるクロックに同期して距離演算装置８及び障害物回避処理装置９へそれぞれＤＭＡ転送する。
【００３０】
前述したように、距離演算装置８及び障害物回避処理装置９は中央処理装置（ＣＰＵ）によるソフトウェア処理により、前記非特許文献１などに記載の公知のステレオ視法による距離演算を行い、またその距離演算結果などに基づいて、この映像同期化装置が搭載されている移動体（例えば、ロボット）の前方の障害物を検出して障害物を回避するための処理（例えば、移動方向を変更するなどの処理）を行う。
【００３１】
このように、本実施の形態によれば、基準となるマスター側のカメラモジュール（マスターカメラモジュール）をカメラモジュール１とし、他方のカメラモジュール２をスレーブ側のカメラモジュール（スレーブカメラモジュール）として定め、マスター側のカメラモジュール１の垂直同期信号に対するスレーブ側のカメラモジュール２の垂直同期信号の位相の進み量を、クロック基準で動作する位相差計測カウンタによって測定し、その測定量に相当する時間（図３のｔ３−ｔ２）だけスレーブ側のカメラモジュール２へのクロック入力を一時遮断することで、マスター／スレーブカメラの垂直同期信号位相を一致させるようにしたため、外部同期入力端子を有しないカメラモジュール１及び２を使用できると共に、遅延用フレームメモリも不要にできる。
【００３２】
また、本実施の形態において、同期した２系統のカメラ映像信号を別々に書き込む２つのメモリは、バッファメモリ４及び５であり、遅延用フレームメモリよりも容量は少なくて済み、コスト上昇を回避できる。また、映像信号の情報量は、カメラ１個分の場合より増加するが、バッファメモリ４、５周りの回路のクロックレートを上げずに済む。これにより、動きのある測定対象物であっても、ステレオ視法により高精度で測距可能な測距システムや障害物回避システムを実現することができる。
【００３３】
次に、本発明の第２の実施の形態について説明する。図５は本発明になる画像同期化装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図５に示す実施の形態は、同期化されている２系統の同期化映像信号を１系統の時間軸多重化映像信号としてメモリ１２へ出力する映像信号時間軸多重回路１１を有する点に特徴がある。
【００３４】
この第２の実施の形態の動作について、図６のタイミングチャートと共に説明する。図５カメラモジュール１から出力された図６（Ａ）に画素単位で示す第１の同期化映像信号と、カメラモジュール２から出力された図６（Ｂ）に画素単位で示す第２の同期化映像信号とは、映像信号時間軸多重回路１１に供給され、ここでそれぞれ１／２に時間軸圧縮された後、交互に時分割多重され、同図（Ｃ）に示す如き時間軸多重化映像信号とされる。すなわち、映像信号時間軸多重回路１１は、２系統の同期化映像信号の各１画素が、１／２画素伝送期間で伝送されるように１／２に時間軸圧縮多重されて、１系統の時間軸多重化映像信号を生成する。
【００３５】
この時間軸多重化映像信号は、バッファメモリ１２に供給され、図６（Ｄ）に示すメモリ書き込み用クロックの立ち上がりエッジタイミングに基づいて書き込まれる。ＤＭＡ制御回路１３は、バッファメモリ１２に書き込まれた時間軸多重化映像信号を読み出して、距離演算装置８及び障害物回避処理装置９へそれぞれＤＭＡ転送して、中央処理装置（ＣＰＵ）によるソフトウェア処理により、公知のステレオ視法による距離演算や障害物回避処理を行わせる。
【００３６】
このように、本実施の形態では、２系統の同期化映像信号から１系統の時間軸多重化映像信号を生成するようにしているため、信号の転送レートは２倍となり、バッファメモリ１２に書き込むためのクロックは時間軸多重化映像信号と同期したクロックスピードにする必要があるが、バッファメモリ１２の入力部のビット幅がカメラモジュール１系統分の幅で済み、バッファメモリ１２を２個のカメラモジュール１及び２で共有できるというメリットがある。
【００３７】
これにより、例えば、この映像同期化装置をロボットに搭載した場合、カメラモジュール１及び２から映像信号時間軸多重回路１１までの回路部をロボットの頭部内の第１の基板に搭載し、バッファメモリ１２から距離演算装置８及び障害物回避処理装置９までの回路部を上記ロボットの胴体部内の第２の基板に搭載し、ビット幅がカメラモジュール１系統分の幅である１本の信号線を上記ロボットの首内を通過させて、上記第１の基板と第２の基板を接続することができる。
【００３８】
また、本実施の形態も第１の実施の形態と同様に、外部同期入力端子を有しないカメラモジュール１及び２を使用した場合でも、それらカメラモジュール１及び２により同一の測定対象を撮像した映像信号を同期化させて映像信号時間軸多重回路１１に入力させることができるので、ＤＭＡ制御回路１３からは同期化された２系統の映像信号を距離演算装置８や障害物回避処理装置９へＤＭＡ転送することができ、これにより、動きのある測定対象物であっても、ステレオ視法により高精度で測距可能な測距システムや障害物回避システムを実現することができ、また、遅延用フレームメモリを不要にできるので、コスト上昇を回避できる。
【００３９】
次に、本発明の第３の実施の形態について説明する。図７は本発明になる画像同期化装置の第３の実施の形態のブロック図を示す。同図中、図５と同一構成部分には同一符号を付し、その説明を省略する。図７に示す実施の形態は、同期化されている２系統の同期化映像信号を１系統の時間軸多重化映像信号とする映像信号時間軸多重回路１１、及びその時間軸多重化映像信号を格納する２つのバッファメモリ１５及び１６を有する点に特徴がある。
【００４０】
この第３の実施の形態の動作について、図８のタイミングチャートと共に説明する。図７のカメラモジュール１から出力された図８（Ａ）に画素単位で示す第１の同期化映像信号と、カメラモジュール２から出力された図８（Ｂ）に画素単位で示す第２の同期化映像信号とは、映像信号時間軸多重回路１１に供給され、ここでそれぞれ１／２に時間軸圧縮されて多重され、同図（Ｃ）に示す時間軸多重化映像信号とされる。すなわち、第２の実施の形態と同様に、映像信号時間軸多重回路１１は、２系統の同期化映像信号の各１画素が、１／２画素伝送期間で伝送されるように１／２に時間軸圧縮多重されて、１系統の時間軸多重化映像信号を生成する。
【００４１】
この時間軸多重化映像信号は、並列に設けられた２つのバッファメモリ１５及び１６にそれぞれ供給される。ここで、バッファメモリ１５に入力される第１のメモリ書き込み用クロックと、バッファメモリ１６に入力される第２のメモリ書き込み用クロックとは、図８（Ｄ）、（Ｅ）に示すように、それぞれ同期化映像信号の１画素伝送期間と同じ周期であり、かつ、互いに位相が１８０度異なるクロックであるのに対し、バッファメモリ１５及び１６はいずれも書き込み用クロックの立ち上がりエッジタイミングに基づいて書き込みが行われるので、バッファメモリ１５には時間軸多重化映像信号中の第１の同期化映像信号Ａ１、Ａ２、Ａ３、・・・が書き込まれ、バッファメモリ１６には時間軸多重化映像信号中の第２の同期化映像信号Ｂ１、Ｂ２、Ｂ３、・・・が書き込まれることになる。
【００４２】
ＤＭＡ制御回路１７は、バッファメモリ１５、１６にそれぞれ書き込まれた第１、第２の同期化映像信号を読み出して、距離演算装置８及び障害物回避処理装置９へそれぞれＤＭＡ転送して、中央処理装置（ＣＰＵ）によるソフトウェア処理により、公知のステレオ視法による距離演算や障害物回避処理を行わせる。
【００４３】
このように、本実施の形態では、２系統の同期化映像信号から１系統の時間軸多重化映像信号を生成するようにしているため、信号の転送レートは２倍となるが、並列に設けた２つのバッファメモリ１５及び１６に書き込むためのクロックは第２の実施の形態の書き込みクロックの１／２倍の周波数とすることができ、クロックレートを上げることなく、バッファメモリ１５及び１６の入力部のビット幅がカメラモジュール１系統分の幅で済み、コスト低減に寄与するというメリットがある。
【００４４】
これにより、例えば、この映像同期化装置をロボットに搭載した場合、カメラモジュール１及び２から映像信号時間軸多重回路１１までの回路部をロボットの頭部内の第１の基板に搭載し、バッファメモリ１５及び１６から距離演算装置８及び障害物回避処理装置９までの回路部を上記ロボットの胴体部内の第２の基板に搭載し、ビット幅がカメラモジュール１系統分の幅である１本の信号線を上記ロボットの首内を通過させて、上記第１の基板と第２の基板を接続することができる。
【００４５】
また、本実施の形態も第１及び第２の実施の形態と同様に、外部同期入力端子を有しないカメラモジュール１及び２を使用した場合でも、それらカメラモジュール１及び２により同一の測定対象を撮像した映像信号を同期化させて映像信号時間軸多重回路１１に入力させることができるので、ＤＭＡ制御回路１７からは同期化された２系統の映像信号を距離演算装置８や障害物回避処理装置９へＤＭＡ転送することができ、これにより、動きのある測定対象物であっても、ステレオ視法により高精度で測距可能な測距システムや障害物回避システムを実現することができ、また、遅延用フレームメモリを不要にできるので、コスト上昇を回避できる。
【００４６】
なお、本発明は以上の実施の形態に限定されるものではなく、カメラモジュールなどの撮像手段は２個に限定されるものではなく、例えば３個以上の複数個の外部同期入力端子を有しないカメラモジュールを、撮像対象を取り囲むように配置し、それら複数個のカメラモジュールから同時に同期化された映像信号を得て、その複数の映像信号から撮像対象の動きなどを監視、あるいは測定する用途などにも適用可能である。また、以上の実施の形態では、映像同期化装置がロボットなどの移動体に搭載されるように説明したが、これに限定されるものではない。
【図面の簡単な説明】
【００４７】
【図１】本発明装置の第１の実施の形態のブロック図である。
【図２】図１中同期化回路の一実施の形態の回路系統図である。
【図３】図１及び図２の動作説明用タイミングチャートである。
【図４】図１の状態遷移の一例を示す図である。
【図５】本発明装置の第２の実施の形態のブロック図である。
【図６】図５の動作説明用タイミングチャートである。
【図７】本発明装置の第３の実施の形態のブロック図である。
【図８】図７の動作説明用タイミングチャートである。
【図９】従来装置の一例のブロック図である。
【図１０】従来装置の他の例のブロック図である。
【符号の説明】
【００４８】
１、２ 外部同期入力端子を有しないカメラモジュール
３ 同期化回路
４、５、１２、１５、１６ バッファメモリ
６、１３、１７ ＤＭＡ制御回路
７ ＰＬＬ回路
８ 距離演算装置
９ 障害物回避処理装置
１１ 映像信号時間軸多重回路
【特許請求の範囲】
【請求項１】
外部同期入力端子を有しない複数のカメラモジュールにより、同一撮像対象を撮像して得られた複数の映像信号を同期化して出力する画像同期化装置において、
前記複数のカメラモジュールからそれぞれ出力される垂直同期信号のうち、予め基準として定めた一個のカメラモジュールから出力される第１の垂直同期信号に対する、他のカメラモジュールから出力される第２の垂直同期信号の位相の進み量を検出する検出手段と、
前記複数のカメラモジュールに対して、カメラモジュールを動作させるクロックをそれぞれ共通に供給するクロック発生手段と、
前記検出手段により検出された前記位相の進み量に相当する時間、前記他のカメラモジュールへの前記クロック発生手段からの前記クロックの供給を遮断するクロック遮断手段と
を有することを特徴とする画像同期化装置。
【請求項２】
前記複数のカメラモジュールからそれぞれ出力された複数の映像信号を、それぞれ時間軸圧縮した後時分割多重して、時分割多重化映像信号を出力する映像信号時間軸多重回路を更に有することを特徴とする請求項１記載の画像同期化装置。
【請求項１】
外部同期入力端子を有しない複数のカメラモジュールにより、同一撮像対象を撮像して得られた複数の映像信号を同期化して出力する画像同期化装置において、
前記複数のカメラモジュールからそれぞれ出力される垂直同期信号のうち、予め基準として定めた一個のカメラモジュールから出力される第１の垂直同期信号に対する、他のカメラモジュールから出力される第２の垂直同期信号の位相の進み量を検出する検出手段と、
前記複数のカメラモジュールに対して、カメラモジュールを動作させるクロックをそれぞれ共通に供給するクロック発生手段と、
前記検出手段により検出された前記位相の進み量に相当する時間、前記他のカメラモジュールへの前記クロック発生手段からの前記クロックの供給を遮断するクロック遮断手段と
を有することを特徴とする画像同期化装置。
【請求項２】
前記複数のカメラモジュールからそれぞれ出力された複数の映像信号を、それぞれ時間軸圧縮した後時分割多重して、時分割多重化映像信号を出力する映像信号時間軸多重回路を更に有することを特徴とする請求項１記載の画像同期化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−６０１２９（Ｐ２００７−６０１２９Ａ）
【公開日】平成１９年３月８日（２００７．３．８）
【国際特許分類】
【出願番号】特願２００５−２４１３５６（Ｐ２００５−２４１３５６）
【出願日】平成１７年８月２３日（２００５．８．２３）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成１９年３月８日（２００７．３．８）
【国際特許分類】
【出願日】平成１７年８月２３日（２００５．８．２３）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]