全周カメラ
【課題】カメラで取得したデータの画像変換の高速化。
【解決手段】画像を取得するカメラと、圧縮して画像信号に変換する画像データ処理装置２０と、外部メモリ３とを具備する全周カメラに於いて、画像データ処理装置は、信号処理部５と、書込み切替え部２５と２つ１組の第１内部メモリ６ａ，６ｂとデータ変換部１０と変換後のデータを一時保存する第３内部メモリ１１と該第３内部メモリと前記外部メモリとの間でデータの入出力制御を行う入出力制御部７とを具備し、書込み切替え部は、信号処理部から出力される信号を第１内部メモリの一方に所定量になる迄蓄積し、蓄積が所定量に達すると蓄積先を変更して他の第１内部メモリに蓄積することを繰返し、又信号の蓄積が所定量に達した方の第１内部メモリからデータ変換部に信号が出力され、データ変換部は入力された信号を画像信号に圧縮変換し、画像信号は前記入出力制御部により前記外部メモリに逐次入力される。
【解決手段】画像を取得するカメラと、圧縮して画像信号に変換する画像データ処理装置２０と、外部メモリ３とを具備する全周カメラに於いて、画像データ処理装置は、信号処理部５と、書込み切替え部２５と２つ１組の第１内部メモリ６ａ，６ｂとデータ変換部１０と変換後のデータを一時保存する第３内部メモリ１１と該第３内部メモリと前記外部メモリとの間でデータの入出力制御を行う入出力制御部７とを具備し、書込み切替え部は、信号処理部から出力される信号を第１内部メモリの一方に所定量になる迄蓄積し、蓄積が所定量に達すると蓄積先を変更して他の第１内部メモリに蓄積することを繰返し、又信号の蓄積が所定量に達した方の第１内部メモリからデータ変換部に信号が出力され、データ変換部は入力された信号を画像信号に圧縮変換し、画像信号は前記入出力制御部により前記外部メモリに逐次入力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラが実装され、全周画像を撮像する全周カメラに関するものである。
【背景技術】
【０００２】
ナビゲータ用の地図情報等として、路線沿線の画像データが取得され、更に取得した画像に基づき計測が行われる。斯かる画像取得の為に全周カメラが用いられる。全周カメラは、自動車等の移動体の天井に設置され、移動体が移動しつつ沿線の構築物、景色等を全周カメラにより撮像していく。
【０００３】
この為、全周カメラで取得した画像を順次取込んでいく速度は、移動体の移動速度に対応する必要があり、移動体の速度は画像を取込む速度に制限されている。
【０００４】
又、全周カメラの撮像素子から出力される信号そのものは、画像データではなく、又膨大なデータ量であるので、画像データとして保存する為には画像データに変換すると共にデータの圧縮が行われる。
【０００５】
図４により、カメラ（撮像素子）から出力されるデータを、画像データとして圧縮する従来の画像データ処理装置について説明する。尚、説明を簡単にする為、データの処理は１つのカメラから出力されたものを示している。
【０００６】
図４中、１は画像データ処理装置、２はカメラから出力される受光信号、３は外部メモリ、４はＣＰＵを示している。前記受光信号２は具体的には、カメラの撮像素子の画素から出力される受光信号であり、又、前記外部メモリ３としては、例えばＤＤＲ２（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ２）等のＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が用いられる。
【０００７】
前記画像データ処理装置１は、主に信号処理部５、第１内部メモリ６、入出力制御部７、メモリコントローラ８、第２内部メモリ９、データ変換部１０、第３内部メモリ１１、第４内部メモリ１２、画像データ入出力部１３、内部レジスタ１４を具備している。
【０００８】
前記受光信号２は前記信号処理部５に入力され、該信号処理部５は入力された前記受光信号２をシリアル信号からパラレル信号に変換し、又ビット数の変換等の所要の信号処理をして前記第１内部メモリ６に出力する。
【０００９】
該第１内部メモリ６は、入力された信号が所定量に達する迄信号を一時保存する。ここで所定量とは、例えば２０４８画素×１６であり、保存するデータ量が２０４８画素×１６に達すると、前記入出力制御部７、前記メモリコントローラ８を介し前記外部メモリ３に書込まれる。ここで、前記メモリコントローラ８は、前記外部メモリ３にデータを書込むタイミング、前記外部メモリ３に書込む領域を制御する。
【００１０】
該外部メモリ３は、受光信号２を格納する受光信号格納領域と、画像データを格納する画像データ格納領域とを持っており、前記第１内部メモリ６から出力された信号は、前記入出力制御部７及び前記メモリコントローラ８を介して前記受光信号格納領域に保存される（図４中、矢印ａ）。
【００１１】
前記第１内部メモリ６へは受光信号２が継続して入力され、該第１内部メモリ６に保存された信号が、所定量に達する度に前記メモリコントローラ８を介して前記外部メモリ３に書込まれ、保存される。保存されたデータが１画像フレーム分に達すると、前記入出力制御部７が、前記メモリコントローラ８を介して１フレーム分の内所定量分（例えば、２０４８画素×１６）だけ切出し（図４中、矢印ｂ）、前記第２内部メモリ９に出力する。
【００１２】
前記データ変換部１０は、例えばＪＰＥＧエンコーダであり、前記第２内部メモリ９に蓄積された信号をＪＰＥＧの画像データに圧縮、変換する。変換された画像データは、一旦第３内部メモリ１１に保存され、前記メモリコントローラ８が管理する所要のタイミングで、前記入出力制御部７から前記外部メモリ３に書込まれる。
【００１３】
所定量ずつのデータが、前記データ変換部１０で画像データに圧縮、変換され、順次前記外部メモリ３に書込まれ、変換した画像データが１フレーム分に達すると、１フレーム分の画像データとして前記画像データ格納領域に格納される（図４中、矢印ｃ）。
【００１４】
次に、前記ＣＰＵ４が画像データに基づき計測等を実行する場合は、前記画像データ入出力部１３を介して前記入出力制御部７に読出し指令が発せられ、前記メモリコントローラ８を介し画像データが読出され（図４中、矢印ｄ）、該画像データは前記第４内部メモリ１２、前記画像データ入出力部１３を介して前記ＣＰＵ４に出力される。
【００１５】
上記した画像データ処理装置１では、１フレーム分の大容量のデータが前記画像データ処理装置１と前記外部メモリ３との間で４度も入出力する構成であり、又画像変換圧縮は、１フレーム毎に実行される為、必然的に１フレーム分の遅れをもって画像処理がなされていた。
【００１６】
この為、従来の画像データ処理では、前記外部メモリ３とのデータの授受がボルトネックになり、更に、画像データの変換又圧縮処理に１フレーム分のタイムラグがある等により、カメラで取得した画像を取込む速度が制限されていた。更に、全周カメラの様に、複数のカメラを有し、複数のカメラで同時に画像を取得する場合では、取込む速度の制限は大きな問題となっていた。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００７−１７１０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
本発明は斯かる実情に鑑み、カメラで取得したデータの画像変換の高速化を図るものである。
【課題を解決するための手段】
【００１９】
本発明は、デジタル画像を取得するカメラと、該カメラから出力される信号を圧縮して画像信号に変換する画像データ処理装置と、外部メモリとを具備する全周カメラに於いて、前記画像データ処理装置は、前記信号を取込む信号処理部と、書込み切替え部と、２つ１組の第１内部メモリと、データ変換部と、該データ変換部から出力された変換後のデータを一時保存する第３内部メモリと、該第３内部メモリと前記外部メモリとの間でデータの入出力の制御を行う入出力制御部とを具備し、前記書込み切替え部は、前記信号処理部から出力される信号を第１内部メモリの一方に所定量になる迄蓄積し、蓄積が所定量に達すると、蓄積先を変更して他の第１内部メモリに蓄積することを繰返し、又信号の蓄積が所定量に達した方の第１内部メモリから前記データ変換部に信号が出力され、該データ変換部は入力された信号を画像信号に圧縮変換し、該画像信号は前記入出力制御部により前記外部メモリに逐次入力される様構成された全周カメラに係るものである。
【００２０】
又本発明は、複数のカメラを有し、前記信号処理部と、前記書込み切替え部と、前記２つ１組の第１内部メモリと、前記データ変換部と、前記第３内部メモリは、各カメラに対応してカメラの数だけ設けられた全周カメラに係るものである。
【００２１】
又本発明は、前記入出力制御部は、前記第３内部メモリから入力される複数の書込みリクエストに対して優先順位を付与するリクエスト調停部と、前記データ変換部から出力され、前記書込みリクエストと対応する変換後のデータを一時保存するデータストック部とを有し、変換後のデータは付与された優先順位に従って前記外部メモリに書込まれる全周カメラに係るものである。
【００２２】
又本発明は、前記蓄積されるデータの所定量は、前記データ変換部が圧縮変換可能な最小単位の量である全周カメラに係るものである。
【発明の効果】
【００２３】
本発明によれば、デジタル画像を取得するカメラと、該カメラから出力される信号を圧縮して画像信号に変換する画像データ処理装置と、外部メモリとを具備する全周カメラに於いて、前記画像データ処理装置は、前記信号を取込む信号処理部と、書込み切替え部と、２つ１組の第１内部メモリと、データ変換部と、該データ変換部から出力された変換後のデータを一時保存する第３内部メモリと、該第３内部メモリと前記外部メモリとの間でデータの入出力の制御を行う入出力制御部とを具備し、前記書込み切替え部は、前記信号処理部から出力される信号を第１内部メモリの一方に所定量になる迄蓄積し、蓄積が所定量に達すると、蓄積先を変更して他の第１内部メモリに蓄積することを繰返し、又信号の蓄積が所定量に達した方の第１内部メモリから前記データ変換部に信号が出力され、該データ変換部は入力された信号を画像信号に圧縮変換し、該画像信号は前記入出力制御部により前記外部メモリに逐次入力される様構成されたので、カメラからのデータの取込みとデータの圧縮変換を並行して実行し、又外部メモリとのデータの授受の回数が少なくなり、データの圧縮変換に要する時間を大幅に短縮できる。
【００２４】
又本発明によれば、複数のカメラを有し、前記信号処理部と、前記書込み切替え部と、前記２つ１組の第１内部メモリと、前記データ変換部と、前記第３内部メモリは、各カメラに対応してカメラの数だけ設けられたので、カメラ個々からの信号の圧縮変換が、個別に実行され、又変換時間が短縮されるので、全周カメラでの撮像速度を増大させることができる。
【００２５】
又本発明によれば、前記入出力制御部は、前記第３内部メモリから入力される複数の書込みリクエストに対して優先順位を付与するリクエスト調停部と、前記データ変換部から出力され、前記書込みリクエストと対応する変換後のデータを一時保存するデータストック部とを有し、変換後のデータは付与された優先順位に従って前記外部メモリに書込まれるので、更に書込むデータ量が少ないので、外部メモリへの書込みが滞留することがなく円滑に行われる。
【００２６】
又本発明によれば、前記蓄積されるデータの所定量は、前記データ変換部が圧縮変換可能な最小単位の量であるので、内部メモリの容量が小さくてよく、更に最小単位のデータ圧縮変換であるので、一度のデータ圧縮変換は短時間で済み、データの取込みとデータの圧縮変換はリアルタイムで同時進行することができるという優れた効果を発揮する。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施例に係る全周カメラの概略図である。
【図２】該全周カメラに用いられる画像データ処理装置の概略ブロック図である。
【図３】該画像データ処理装置の入出力制御部のブロック図である。
【図４】従来の画像データ処理装置の概略ブロック図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しつつ本発明の実施例を説明する。
【００２９】
先ず、図１に於いて、本発明が実施される全周カメラ２１の一例を説明する。
【００３０】
カメラ筐体２２の垂直な４側面に、それぞれデジタル画像を撮像するカメラ２３ａ，２３ｂ，２３ｃ，２３ｄ（２３ｃ，２３ｄは図示せず）が設けられ、天井面にデジタル画像を撮像するカメラ２３ｅが設けられている。前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄによって全周囲の画像が取得でき、又、前記カメラ２３ｅによって上方の画像が取得でき、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄ、前記カメラ２３ｅによって下方を除く全ての方向の画像が取得できる。更に、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄの画像を合成することで、全周囲のパノラマ画像が作成できる様になっている。
【００３１】
前記カメラ筐体２２の内部には、画像データ処理装置２０（図２参照）が収納され、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄ、前記カメラ２３ｅで取得した信号は、それぞれ前記画像データ処理装置２０に送出され、該画像データ処理装置２０でデータが圧縮され、画像に変換される様になっている。又、前記カメラ筐体２２は水密構造となっており、例えば、自動車の天井に搭載できる様になっている。
【００３２】
次に、図２に於いて本実施例に係る画像データ処理装置２０について説明する。尚、図２中、図４中で示したものと同等のものには同符号を付し、その説明を省略する。
【００３３】
前記画像データ処理装置２０は、主に信号処理部５、書込み切替え部２５、１つのカメラに対して２つ設けられた第１内部メモリ６ａ，６ｂ、入出力制御部７、メモリコントローラ８、第３内部メモリ１１、第４内部メモリ１２、画像データ入出力部１３、内部レジスタ１４を具備している。
【００３４】
尚、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄ、前記カメラ２３ｅから出力される個々の信号処理は同一であるので、１つのカメラ２３ａから入力される受光信号２についての処理を説明する。又、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄ、前記カメラ２３ｅから出力される信号は、撮像素子からの信号となっている。
【００３５】
前記カメラ２３ａからの受光信号２は信号処理部５に入力され、該信号処理部５は前記受光信号２を取込み、取込んだ該受光信号２をシリアル信号からパラレル信号に変換すると共に８ビットの信号に変換する。
【００３６】
前記信号処理部５からの信号は、所定量が前記書込み切替え部２５を介して前記第１内部メモリ６ａ，６ｂのいずれかに交互に且つ択一的に入力され、該第１内部メモリ６ａ，６ｂに蓄積される。ここで、該第１内部メモリ６ａ，６ｂに蓄積されるデータの所定量は、画像の１フレーム分のデータ、或は第１内部メモリ６ａ，６ｂの容量より大幅に少なく設定され、好ましくはデータ変換部１０で圧縮、画像データに変換し得る最小単位のデータ、例えば８画素×８のデータ量である。
【００３７】
該第１内部メモリ６ａ，６ｂに蓄積されたデータ量が、８画素×８となる度に前記データ変換部１０に出力される。従って、該データ変換部１０には前記第１内部メモリ６ａ，６ｂから交互に８画素×８のデータが入力される。
【００３８】
前記書込み切替え部２５は、前記第１内部メモリ６ａ，６ｂのデータの蓄積、放出を制御するものであり、例えば第１内部メモリ６ａにデータが書込まれている場合は、前記第１内部メモリ６ｂから前記データ変換部１０にデータが出力され、前記第１内部メモリ６ａへのデータが所定量（８画素×８）となると、データが前記第１内部メモリ６ｂに書込まれる様にすると共に前記第１内部メモリ６ａに蓄積されたデータを前記データ変換部１０に出力する。
【００３９】
前記データ変換部１０は、前記第１内部メモリ６の一方から入力された８画素×８の信号を画像データに変換圧縮し、例えばＪＰＥＧの画像データに変換し、前記第３内部メモリ１１に出力する。該第３内部メモリ１１は前記入出力制御部７から出力の指令が来る迄画像データを一時的に保存する。
【００４０】
ここで、前記データ変換部１０によるデータ変換は、画像データ変換の最小単位であり、高速度で変換が可能であり、更に変換速度（変換に要する時間）を前記受光信号２のデータが前記第１内部メモリ６ａ，６ｂの一方に蓄積される時間より早くしておけば、前記第１内部メモリ６ａ，６ｂから前記データ変換部１０に出力する際の待ち時間がなく、前記信号処理部５からのデータの取込みとデータの画像データへの変換、圧縮がリアルタイムで同時進行する。
【００４１】
前記入出力制御部７は、前記データ変換部１０により逐次変換された最小単位の画像データを、前記メモリコントローラ８を介して所定のタイミングで、前記外部メモリ３の所定の領域、所定のアドレスに逐次書込んでいく（図２中、矢印ａ）。前記メモリコントローラ８は、書込まれるデータが１フレーム分となると、データを書込む領域、アドレスを変更し、前記外部メモリ３内で１フレーム毎の画像データが完成する様制御する。
【００４２】
画像データに基づき計測等を実行する場合は、前記ＣＰＵ４よりデータ読出しリクエストが発せられ、前記入出力制御部７及び前記メモリコントローラ８はデータ読出しリクエストに応じて前記外部メモリ３に格納された画像データを所定単位で出力する（図２中、矢印ｄ）。この場合のデータ量は、前記第４内部メモリ１２が保存し得る大きさ、例えば２０４８画素×１６等である。読出された画像データは、前記画像データ入出力部１３により所定のタイミングで出力される。
【００４３】
上記した様に本実施例では、第１内部メモリ６を２つ１組として、交互にデータを蓄積し、一方が蓄積している間にデータ変換を行う様にしたので、１フレーム分のデータを前記外部メモリ３に蓄積する必要がなく、ボルトネックとなっていた前記外部メモリ３と画像データ処理装置１間でのデータの授受がなくなる。更に、データの圧縮、画像データへの変換処理で１フレーム分のデータ蓄積時間の待ち時間がなくなる。この為、データの圧縮、画像データの変換を著しく高速で行うことができる。
【００４４】
上記説明は、カメラが１つの場合を説明したが、カメラが複数の場合は、各カメラに対応し、前記信号処理部５、前記第１内部メモリ６ａ，６ｂ及び前記データ変換部１０、前記第３内部メモリ１１もカメラの数だけ設けられる。而して、各カメラ毎にデータの取込み、データの圧縮変換が実行される。
【００４５】
図３は、カメラ２３が複数ある場合の前記入出力制御部７の構成を示し、特に前記入出力制御部７の書込み部分の構成を示している。
【００４６】
該入出力制御部７は、複数の前記第３内部メモリ１１から出力される画像データの前記外部メモリ３への書込みの制御を行い、前記入出力制御部７はリクエスト調停部２６、リクエストストック部２７、データストック部２８、リクエスト生成部２９、アドレス生成部３０を有する。
【００４７】
前記第３内部メモリ１１に圧縮変換後の画像データが蓄積されると、各第３内部メモリ１１から書込みリクエスト１〜５が発せられ、該書込みリクエスト１〜５は前記リクエスト調停部２６に入力される。該リクエスト調停部２６は、前記書込みリクエスト１〜５に優先順位を付加して前記リクエストストック部２７に保存する。優先順位は、待ち時間が生じない様、或は少なくなる様、時間的に早く入力されたものから順次決定していく。
【００４８】
又、前記第３内部メモリ１１からは前記書込みリクエスト１〜５に対応したデータが前記データストック部２８に出力され、該データストック部２８で一時的に保存される。
【００４９】
前記リクエスト生成部２９は、優先順位に従って前記書込みリクエスト、例えば書込みリクエスト２を出力し、又該書込みリクエスト２に対応する書込みデータのアドレスを前記アドレス生成部３０で決定し、前記書込みリクエスト２と共に前記メモリコントローラ８へ入力する。該メモリコントローラ８は前記書込みリクエスト２に基づき該書込みリクエスト２に対応した書込みデータ２（画像データ）を前記データストック部２８から読込み、前記外部メモリ３の前記アドレスに書込む。
【００５０】
而して、前記複数の第３内部メモリ１１から出力される画像データは、前記外部メモリ３内で各カメラ毎に、更に１フレーム毎の画像データに作成される。
【００５１】
複数のカメラで画像を取得した場合でも、データの圧縮変換は、データの取込みと同時進行で行われ、前記外部メモリ３へは画像データに変換したものが送出されるだけであり、画像データ処理装置２０と外部メモリ３間で変換前のデータの授受はなく、データの変換圧縮の高速化が図れる。
【００５２】
尚、上記実施例では、カメラが５個の全周カメラを示したが、カメラの数はカメラの画角に基づき決定されればよく、５個のカメラに限定されるものではない。
【００５３】
又、カメラは完成された単体ではなく、撮像素子と光学系とをカメラ筐体に組込んだものでもよい。
【００５４】
更に、前記入出力制御部７と前記メモリコントローラ８とは一体として入出力制御部とし、前記画像データ処理装置２０と前記外部メモリ３との間の信号の授受、前記外部メモリ３への書込み、読出しの制御を行ってもよい。又、前記第３内部メモリ１１と前記データストック部２８とは共通化してもよい。
【符号の説明】
【００５５】
１ 画像データ処理装置
２ 受光信号
３ 外部メモリ
４ ＣＰＵ
５ 信号処理部
６ 第１内部メモリ
７ 入出力制御部
８ メモリコントローラ
９ 第２内部メモリ
１０ データ変換部
１１ 第３内部メモリ
１２ 第４内部メモリ
１３ 画像データ入出力部
１４ 内部レジスタ
２０ 画像データ処理装置
２５ 書込み切替え部
２６ リクエスト調停部
２７ リクエストストック部
２８ データストック部
２９ リクエスト生成部
３０ アドレス生成部
【技術分野】
【０００１】
本発明は、複数のカメラが実装され、全周画像を撮像する全周カメラに関するものである。
【背景技術】
【０００２】
ナビゲータ用の地図情報等として、路線沿線の画像データが取得され、更に取得した画像に基づき計測が行われる。斯かる画像取得の為に全周カメラが用いられる。全周カメラは、自動車等の移動体の天井に設置され、移動体が移動しつつ沿線の構築物、景色等を全周カメラにより撮像していく。
【０００３】
この為、全周カメラで取得した画像を順次取込んでいく速度は、移動体の移動速度に対応する必要があり、移動体の速度は画像を取込む速度に制限されている。
【０００４】
又、全周カメラの撮像素子から出力される信号そのものは、画像データではなく、又膨大なデータ量であるので、画像データとして保存する為には画像データに変換すると共にデータの圧縮が行われる。
【０００５】
図４により、カメラ（撮像素子）から出力されるデータを、画像データとして圧縮する従来の画像データ処理装置について説明する。尚、説明を簡単にする為、データの処理は１つのカメラから出力されたものを示している。
【０００６】
図４中、１は画像データ処理装置、２はカメラから出力される受光信号、３は外部メモリ、４はＣＰＵを示している。前記受光信号２は具体的には、カメラの撮像素子の画素から出力される受光信号であり、又、前記外部メモリ３としては、例えばＤＤＲ２（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ２）等のＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が用いられる。
【０００７】
前記画像データ処理装置１は、主に信号処理部５、第１内部メモリ６、入出力制御部７、メモリコントローラ８、第２内部メモリ９、データ変換部１０、第３内部メモリ１１、第４内部メモリ１２、画像データ入出力部１３、内部レジスタ１４を具備している。
【０００８】
前記受光信号２は前記信号処理部５に入力され、該信号処理部５は入力された前記受光信号２をシリアル信号からパラレル信号に変換し、又ビット数の変換等の所要の信号処理をして前記第１内部メモリ６に出力する。
【０００９】
該第１内部メモリ６は、入力された信号が所定量に達する迄信号を一時保存する。ここで所定量とは、例えば２０４８画素×１６であり、保存するデータ量が２０４８画素×１６に達すると、前記入出力制御部７、前記メモリコントローラ８を介し前記外部メモリ３に書込まれる。ここで、前記メモリコントローラ８は、前記外部メモリ３にデータを書込むタイミング、前記外部メモリ３に書込む領域を制御する。
【００１０】
該外部メモリ３は、受光信号２を格納する受光信号格納領域と、画像データを格納する画像データ格納領域とを持っており、前記第１内部メモリ６から出力された信号は、前記入出力制御部７及び前記メモリコントローラ８を介して前記受光信号格納領域に保存される（図４中、矢印ａ）。
【００１１】
前記第１内部メモリ６へは受光信号２が継続して入力され、該第１内部メモリ６に保存された信号が、所定量に達する度に前記メモリコントローラ８を介して前記外部メモリ３に書込まれ、保存される。保存されたデータが１画像フレーム分に達すると、前記入出力制御部７が、前記メモリコントローラ８を介して１フレーム分の内所定量分（例えば、２０４８画素×１６）だけ切出し（図４中、矢印ｂ）、前記第２内部メモリ９に出力する。
【００１２】
前記データ変換部１０は、例えばＪＰＥＧエンコーダであり、前記第２内部メモリ９に蓄積された信号をＪＰＥＧの画像データに圧縮、変換する。変換された画像データは、一旦第３内部メモリ１１に保存され、前記メモリコントローラ８が管理する所要のタイミングで、前記入出力制御部７から前記外部メモリ３に書込まれる。
【００１３】
所定量ずつのデータが、前記データ変換部１０で画像データに圧縮、変換され、順次前記外部メモリ３に書込まれ、変換した画像データが１フレーム分に達すると、１フレーム分の画像データとして前記画像データ格納領域に格納される（図４中、矢印ｃ）。
【００１４】
次に、前記ＣＰＵ４が画像データに基づき計測等を実行する場合は、前記画像データ入出力部１３を介して前記入出力制御部７に読出し指令が発せられ、前記メモリコントローラ８を介し画像データが読出され（図４中、矢印ｄ）、該画像データは前記第４内部メモリ１２、前記画像データ入出力部１３を介して前記ＣＰＵ４に出力される。
【００１５】
上記した画像データ処理装置１では、１フレーム分の大容量のデータが前記画像データ処理装置１と前記外部メモリ３との間で４度も入出力する構成であり、又画像変換圧縮は、１フレーム毎に実行される為、必然的に１フレーム分の遅れをもって画像処理がなされていた。
【００１６】
この為、従来の画像データ処理では、前記外部メモリ３とのデータの授受がボルトネックになり、更に、画像データの変換又圧縮処理に１フレーム分のタイムラグがある等により、カメラで取得した画像を取込む速度が制限されていた。更に、全周カメラの様に、複数のカメラを有し、複数のカメラで同時に画像を取得する場合では、取込む速度の制限は大きな問題となっていた。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００７−１７１０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
本発明は斯かる実情に鑑み、カメラで取得したデータの画像変換の高速化を図るものである。
【課題を解決するための手段】
【００１９】
本発明は、デジタル画像を取得するカメラと、該カメラから出力される信号を圧縮して画像信号に変換する画像データ処理装置と、外部メモリとを具備する全周カメラに於いて、前記画像データ処理装置は、前記信号を取込む信号処理部と、書込み切替え部と、２つ１組の第１内部メモリと、データ変換部と、該データ変換部から出力された変換後のデータを一時保存する第３内部メモリと、該第３内部メモリと前記外部メモリとの間でデータの入出力の制御を行う入出力制御部とを具備し、前記書込み切替え部は、前記信号処理部から出力される信号を第１内部メモリの一方に所定量になる迄蓄積し、蓄積が所定量に達すると、蓄積先を変更して他の第１内部メモリに蓄積することを繰返し、又信号の蓄積が所定量に達した方の第１内部メモリから前記データ変換部に信号が出力され、該データ変換部は入力された信号を画像信号に圧縮変換し、該画像信号は前記入出力制御部により前記外部メモリに逐次入力される様構成された全周カメラに係るものである。
【００２０】
又本発明は、複数のカメラを有し、前記信号処理部と、前記書込み切替え部と、前記２つ１組の第１内部メモリと、前記データ変換部と、前記第３内部メモリは、各カメラに対応してカメラの数だけ設けられた全周カメラに係るものである。
【００２１】
又本発明は、前記入出力制御部は、前記第３内部メモリから入力される複数の書込みリクエストに対して優先順位を付与するリクエスト調停部と、前記データ変換部から出力され、前記書込みリクエストと対応する変換後のデータを一時保存するデータストック部とを有し、変換後のデータは付与された優先順位に従って前記外部メモリに書込まれる全周カメラに係るものである。
【００２２】
又本発明は、前記蓄積されるデータの所定量は、前記データ変換部が圧縮変換可能な最小単位の量である全周カメラに係るものである。
【発明の効果】
【００２３】
本発明によれば、デジタル画像を取得するカメラと、該カメラから出力される信号を圧縮して画像信号に変換する画像データ処理装置と、外部メモリとを具備する全周カメラに於いて、前記画像データ処理装置は、前記信号を取込む信号処理部と、書込み切替え部と、２つ１組の第１内部メモリと、データ変換部と、該データ変換部から出力された変換後のデータを一時保存する第３内部メモリと、該第３内部メモリと前記外部メモリとの間でデータの入出力の制御を行う入出力制御部とを具備し、前記書込み切替え部は、前記信号処理部から出力される信号を第１内部メモリの一方に所定量になる迄蓄積し、蓄積が所定量に達すると、蓄積先を変更して他の第１内部メモリに蓄積することを繰返し、又信号の蓄積が所定量に達した方の第１内部メモリから前記データ変換部に信号が出力され、該データ変換部は入力された信号を画像信号に圧縮変換し、該画像信号は前記入出力制御部により前記外部メモリに逐次入力される様構成されたので、カメラからのデータの取込みとデータの圧縮変換を並行して実行し、又外部メモリとのデータの授受の回数が少なくなり、データの圧縮変換に要する時間を大幅に短縮できる。
【００２４】
又本発明によれば、複数のカメラを有し、前記信号処理部と、前記書込み切替え部と、前記２つ１組の第１内部メモリと、前記データ変換部と、前記第３内部メモリは、各カメラに対応してカメラの数だけ設けられたので、カメラ個々からの信号の圧縮変換が、個別に実行され、又変換時間が短縮されるので、全周カメラでの撮像速度を増大させることができる。
【００２５】
又本発明によれば、前記入出力制御部は、前記第３内部メモリから入力される複数の書込みリクエストに対して優先順位を付与するリクエスト調停部と、前記データ変換部から出力され、前記書込みリクエストと対応する変換後のデータを一時保存するデータストック部とを有し、変換後のデータは付与された優先順位に従って前記外部メモリに書込まれるので、更に書込むデータ量が少ないので、外部メモリへの書込みが滞留することがなく円滑に行われる。
【００２６】
又本発明によれば、前記蓄積されるデータの所定量は、前記データ変換部が圧縮変換可能な最小単位の量であるので、内部メモリの容量が小さくてよく、更に最小単位のデータ圧縮変換であるので、一度のデータ圧縮変換は短時間で済み、データの取込みとデータの圧縮変換はリアルタイムで同時進行することができるという優れた効果を発揮する。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施例に係る全周カメラの概略図である。
【図２】該全周カメラに用いられる画像データ処理装置の概略ブロック図である。
【図３】該画像データ処理装置の入出力制御部のブロック図である。
【図４】従来の画像データ処理装置の概略ブロック図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しつつ本発明の実施例を説明する。
【００２９】
先ず、図１に於いて、本発明が実施される全周カメラ２１の一例を説明する。
【００３０】
カメラ筐体２２の垂直な４側面に、それぞれデジタル画像を撮像するカメラ２３ａ，２３ｂ，２３ｃ，２３ｄ（２３ｃ，２３ｄは図示せず）が設けられ、天井面にデジタル画像を撮像するカメラ２３ｅが設けられている。前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄによって全周囲の画像が取得でき、又、前記カメラ２３ｅによって上方の画像が取得でき、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄ、前記カメラ２３ｅによって下方を除く全ての方向の画像が取得できる。更に、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄの画像を合成することで、全周囲のパノラマ画像が作成できる様になっている。
【００３１】
前記カメラ筐体２２の内部には、画像データ処理装置２０（図２参照）が収納され、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄ、前記カメラ２３ｅで取得した信号は、それぞれ前記画像データ処理装置２０に送出され、該画像データ処理装置２０でデータが圧縮され、画像に変換される様になっている。又、前記カメラ筐体２２は水密構造となっており、例えば、自動車の天井に搭載できる様になっている。
【００３２】
次に、図２に於いて本実施例に係る画像データ処理装置２０について説明する。尚、図２中、図４中で示したものと同等のものには同符号を付し、その説明を省略する。
【００３３】
前記画像データ処理装置２０は、主に信号処理部５、書込み切替え部２５、１つのカメラに対して２つ設けられた第１内部メモリ６ａ，６ｂ、入出力制御部７、メモリコントローラ８、第３内部メモリ１１、第４内部メモリ１２、画像データ入出力部１３、内部レジスタ１４を具備している。
【００３４】
尚、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄ、前記カメラ２３ｅから出力される個々の信号処理は同一であるので、１つのカメラ２３ａから入力される受光信号２についての処理を説明する。又、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄ、前記カメラ２３ｅから出力される信号は、撮像素子からの信号となっている。
【００３５】
前記カメラ２３ａからの受光信号２は信号処理部５に入力され、該信号処理部５は前記受光信号２を取込み、取込んだ該受光信号２をシリアル信号からパラレル信号に変換すると共に８ビットの信号に変換する。
【００３６】
前記信号処理部５からの信号は、所定量が前記書込み切替え部２５を介して前記第１内部メモリ６ａ，６ｂのいずれかに交互に且つ択一的に入力され、該第１内部メモリ６ａ，６ｂに蓄積される。ここで、該第１内部メモリ６ａ，６ｂに蓄積されるデータの所定量は、画像の１フレーム分のデータ、或は第１内部メモリ６ａ，６ｂの容量より大幅に少なく設定され、好ましくはデータ変換部１０で圧縮、画像データに変換し得る最小単位のデータ、例えば８画素×８のデータ量である。
【００３７】
該第１内部メモリ６ａ，６ｂに蓄積されたデータ量が、８画素×８となる度に前記データ変換部１０に出力される。従って、該データ変換部１０には前記第１内部メモリ６ａ，６ｂから交互に８画素×８のデータが入力される。
【００３８】
前記書込み切替え部２５は、前記第１内部メモリ６ａ，６ｂのデータの蓄積、放出を制御するものであり、例えば第１内部メモリ６ａにデータが書込まれている場合は、前記第１内部メモリ６ｂから前記データ変換部１０にデータが出力され、前記第１内部メモリ６ａへのデータが所定量（８画素×８）となると、データが前記第１内部メモリ６ｂに書込まれる様にすると共に前記第１内部メモリ６ａに蓄積されたデータを前記データ変換部１０に出力する。
【００３９】
前記データ変換部１０は、前記第１内部メモリ６の一方から入力された８画素×８の信号を画像データに変換圧縮し、例えばＪＰＥＧの画像データに変換し、前記第３内部メモリ１１に出力する。該第３内部メモリ１１は前記入出力制御部７から出力の指令が来る迄画像データを一時的に保存する。
【００４０】
ここで、前記データ変換部１０によるデータ変換は、画像データ変換の最小単位であり、高速度で変換が可能であり、更に変換速度（変換に要する時間）を前記受光信号２のデータが前記第１内部メモリ６ａ，６ｂの一方に蓄積される時間より早くしておけば、前記第１内部メモリ６ａ，６ｂから前記データ変換部１０に出力する際の待ち時間がなく、前記信号処理部５からのデータの取込みとデータの画像データへの変換、圧縮がリアルタイムで同時進行する。
【００４１】
前記入出力制御部７は、前記データ変換部１０により逐次変換された最小単位の画像データを、前記メモリコントローラ８を介して所定のタイミングで、前記外部メモリ３の所定の領域、所定のアドレスに逐次書込んでいく（図２中、矢印ａ）。前記メモリコントローラ８は、書込まれるデータが１フレーム分となると、データを書込む領域、アドレスを変更し、前記外部メモリ３内で１フレーム毎の画像データが完成する様制御する。
【００４２】
画像データに基づき計測等を実行する場合は、前記ＣＰＵ４よりデータ読出しリクエストが発せられ、前記入出力制御部７及び前記メモリコントローラ８はデータ読出しリクエストに応じて前記外部メモリ３に格納された画像データを所定単位で出力する（図２中、矢印ｄ）。この場合のデータ量は、前記第４内部メモリ１２が保存し得る大きさ、例えば２０４８画素×１６等である。読出された画像データは、前記画像データ入出力部１３により所定のタイミングで出力される。
【００４３】
上記した様に本実施例では、第１内部メモリ６を２つ１組として、交互にデータを蓄積し、一方が蓄積している間にデータ変換を行う様にしたので、１フレーム分のデータを前記外部メモリ３に蓄積する必要がなく、ボルトネックとなっていた前記外部メモリ３と画像データ処理装置１間でのデータの授受がなくなる。更に、データの圧縮、画像データへの変換処理で１フレーム分のデータ蓄積時間の待ち時間がなくなる。この為、データの圧縮、画像データの変換を著しく高速で行うことができる。
【００４４】
上記説明は、カメラが１つの場合を説明したが、カメラが複数の場合は、各カメラに対応し、前記信号処理部５、前記第１内部メモリ６ａ，６ｂ及び前記データ変換部１０、前記第３内部メモリ１１もカメラの数だけ設けられる。而して、各カメラ毎にデータの取込み、データの圧縮変換が実行される。
【００４５】
図３は、カメラ２３が複数ある場合の前記入出力制御部７の構成を示し、特に前記入出力制御部７の書込み部分の構成を示している。
【００４６】
該入出力制御部７は、複数の前記第３内部メモリ１１から出力される画像データの前記外部メモリ３への書込みの制御を行い、前記入出力制御部７はリクエスト調停部２６、リクエストストック部２７、データストック部２８、リクエスト生成部２９、アドレス生成部３０を有する。
【００４７】
前記第３内部メモリ１１に圧縮変換後の画像データが蓄積されると、各第３内部メモリ１１から書込みリクエスト１〜５が発せられ、該書込みリクエスト１〜５は前記リクエスト調停部２６に入力される。該リクエスト調停部２６は、前記書込みリクエスト１〜５に優先順位を付加して前記リクエストストック部２７に保存する。優先順位は、待ち時間が生じない様、或は少なくなる様、時間的に早く入力されたものから順次決定していく。
【００４８】
又、前記第３内部メモリ１１からは前記書込みリクエスト１〜５に対応したデータが前記データストック部２８に出力され、該データストック部２８で一時的に保存される。
【００４９】
前記リクエスト生成部２９は、優先順位に従って前記書込みリクエスト、例えば書込みリクエスト２を出力し、又該書込みリクエスト２に対応する書込みデータのアドレスを前記アドレス生成部３０で決定し、前記書込みリクエスト２と共に前記メモリコントローラ８へ入力する。該メモリコントローラ８は前記書込みリクエスト２に基づき該書込みリクエスト２に対応した書込みデータ２（画像データ）を前記データストック部２８から読込み、前記外部メモリ３の前記アドレスに書込む。
【００５０】
而して、前記複数の第３内部メモリ１１から出力される画像データは、前記外部メモリ３内で各カメラ毎に、更に１フレーム毎の画像データに作成される。
【００５１】
複数のカメラで画像を取得した場合でも、データの圧縮変換は、データの取込みと同時進行で行われ、前記外部メモリ３へは画像データに変換したものが送出されるだけであり、画像データ処理装置２０と外部メモリ３間で変換前のデータの授受はなく、データの変換圧縮の高速化が図れる。
【００５２】
尚、上記実施例では、カメラが５個の全周カメラを示したが、カメラの数はカメラの画角に基づき決定されればよく、５個のカメラに限定されるものではない。
【００５３】
又、カメラは完成された単体ではなく、撮像素子と光学系とをカメラ筐体に組込んだものでもよい。
【００５４】
更に、前記入出力制御部７と前記メモリコントローラ８とは一体として入出力制御部とし、前記画像データ処理装置２０と前記外部メモリ３との間の信号の授受、前記外部メモリ３への書込み、読出しの制御を行ってもよい。又、前記第３内部メモリ１１と前記データストック部２８とは共通化してもよい。
【符号の説明】
【００５５】
１ 画像データ処理装置
２ 受光信号
３ 外部メモリ
４ ＣＰＵ
５ 信号処理部
６ 第１内部メモリ
７ 入出力制御部
８ メモリコントローラ
９ 第２内部メモリ
１０ データ変換部
１１ 第３内部メモリ
１２ 第４内部メモリ
１３ 画像データ入出力部
１４ 内部レジスタ
２０ 画像データ処理装置
２５ 書込み切替え部
２６ リクエスト調停部
２７ リクエストストック部
２８ データストック部
２９ リクエスト生成部
３０ アドレス生成部
【特許請求の範囲】
【請求項１】
デジタル画像を取得するカメラと、該カメラから出力される信号を圧縮して画像信号に変換する画像データ処理装置と、外部メモリとを具備する全周カメラに於いて、前記画像データ処理装置は、前記信号を取込む信号処理部と、書込み切替え部と、２つ１組の第１内部メモリと、データ変換部と、該データ変換部から出力された変換後のデータを一時保存する第３内部メモリと、該第３内部メモリと前記外部メモリとの間でデータの入出力の制御を行う入出力制御部とを具備し、前記書込み切替え部は、前記信号処理部から出力される信号を第１内部メモリの一方に所定量になる迄蓄積し、蓄積が所定量に達すると、蓄積先を変更して他の第１内部メモリに蓄積することを繰返し、又信号の蓄積が所定量に達した方の第１内部メモリから前記データ変換部に信号が出力され、該データ変換部は入力された信号を画像信号に圧縮変換し、該画像信号は前記入出力制御部により前記外部メモリに逐次入力される様構成されたことを特徴とする全周カメラ。
【請求項２】
複数のカメラを有し、前記信号処理部と、前記書込み切替え部と、前記２つ１組の第１内部メモリと、前記データ変換部と、前記第３内部メモリは、各カメラに対応してカメラの数だけ設けられた請求項１の全周カメラ。
【請求項３】
前記入出力制御部は、前記第３内部メモリから入力される複数の書込みリクエストに対して優先順位を付与するリクエスト調停部と、前記データ変換部から出力され、前記書込みリクエストと対応する変換後のデータを一時保存するデータストック部とを有し、変換後のデータは付与された優先順位に従って前記外部メモリに書込まれる請求項１又は請求項２の全周カメラ。
【請求項４】
前記蓄積されるデータの所定量は、前記データ変換部が圧縮変換可能な最小単位の量である請求項１〜請求項３のいずれかの全周カメラ。
【請求項１】
デジタル画像を取得するカメラと、該カメラから出力される信号を圧縮して画像信号に変換する画像データ処理装置と、外部メモリとを具備する全周カメラに於いて、前記画像データ処理装置は、前記信号を取込む信号処理部と、書込み切替え部と、２つ１組の第１内部メモリと、データ変換部と、該データ変換部から出力された変換後のデータを一時保存する第３内部メモリと、該第３内部メモリと前記外部メモリとの間でデータの入出力の制御を行う入出力制御部とを具備し、前記書込み切替え部は、前記信号処理部から出力される信号を第１内部メモリの一方に所定量になる迄蓄積し、蓄積が所定量に達すると、蓄積先を変更して他の第１内部メモリに蓄積することを繰返し、又信号の蓄積が所定量に達した方の第１内部メモリから前記データ変換部に信号が出力され、該データ変換部は入力された信号を画像信号に圧縮変換し、該画像信号は前記入出力制御部により前記外部メモリに逐次入力される様構成されたことを特徴とする全周カメラ。
【請求項２】
複数のカメラを有し、前記信号処理部と、前記書込み切替え部と、前記２つ１組の第１内部メモリと、前記データ変換部と、前記第３内部メモリは、各カメラに対応してカメラの数だけ設けられた請求項１の全周カメラ。
【請求項３】
前記入出力制御部は、前記第３内部メモリから入力される複数の書込みリクエストに対して優先順位を付与するリクエスト調停部と、前記データ変換部から出力され、前記書込みリクエストと対応する変換後のデータを一時保存するデータストック部とを有し、変換後のデータは付与された優先順位に従って前記外部メモリに書込まれる請求項１又は請求項２の全周カメラ。
【請求項４】
前記蓄積されるデータの所定量は、前記データ変換部が圧縮変換可能な最小単位の量である請求項１〜請求項３のいずれかの全周カメラ。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２４４３７５（Ｐ２０１２−２４４３７５Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１２０４７（Ｐ２０１１−１１２０４７）
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
[ Back to top ]