画像生成装置
【課題】移動体の移動方向に長大な解像度を持つ画像データを得ることができると共に、対象となる画像における奥行きの情報を得ることのできる画像生成装置を得る。
【解決手段】対象距離設定部３によって、画像センサ１における異なるフォーカス距離を複数の対象距離として設定する。画像センサ１から出力された複数の対象距離毎のデータは記録部２に記録される。データライン抽出部４は、記録部２のデータから複数の対象距離毎の移動体の移動方向に沿った画像を抽出する。レイヤデータ生成部７は、データライン抽出部４から出力される複数の対象距離毎の画像を重畳し、奥行き方向に階層化されたレイヤデータを生成する。
【解決手段】対象距離設定部３によって、画像センサ１における異なるフォーカス距離を複数の対象距離として設定する。画像センサ１から出力された複数の対象距離毎のデータは記録部２に記録される。データライン抽出部４は、記録部２のデータから複数の対象距離毎の移動体の移動方向に沿った画像を抽出する。レイヤデータ生成部７は、データライン抽出部４から出力される複数の対象距離毎の画像を重畳し、奥行き方向に階層化されたレイヤデータを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の移動方向に長大な解像度を持つ画像データを生成する画像生成装置に関する。
【背景技術】
【０００２】
従来、例えば特許文献１に示されるように、移動体にスリットカメラと同様の画像生成システムを装備し、移動体の移動方向に長大な解像度を持つ画像データを生成するシステムがあった。
このような画像生成システムは、ビデオカメラをトラックに載置し、トンネル内を走行する。そして、ビデオカメラで撮影されたトンネル内壁面の画像の画面を構成する走査線の中から所望の走査線を抽出し、この走査線データをデジタルデータとして再構成することにより、トンネル内壁面の全体を表す画像を出力するものである。
【０００３】
このような画像生成システムでは、ビデオカメラを用いてスリットカメラを形成したため、従来移動が不可能であったスリットカメラ本体を移動させることが可能になるとともに、長時間の撮影が可能になる。さらに、多種多様なスリットスキャン画像を得られるとともに、得られた画像の補正や保存が容易になり、被写体が移動できない、たとえばトンネルなどのような、長大な構造物のスリットスキャン撮影ができるようになるものであったため、１枚の長大な画像データが得られる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１３６６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の画像生成システムでは、移動体の移動方向に長大な解像度を持つ画像データを生成することができるが、対象となる画像における奥行きの情報が得られないという問題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、移動体の移動方向に長大な解像度を持つ画像データを得ることができると共に、対象となる画像における奥行きの情報を得ることのできる画像生成装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像生成装置は、移動体に設置され、対象とする被写体の画像を取得する画像センサと、画像センサにおける異なるフォーカス距離を複数の対象距離として設定する対象距離設定部と、画像センサから出力された複数の対象距離毎のデータを連続して記録する記録部と、移動体の速度に合わせて記録部に記録された複数の対象距離毎のデータの拡張または間引きを行い、複数の対象距離毎の移動体の移動方向に沿った画像を抽出するデータライン抽出部と、データライン抽出部から出力される複数の対象距離毎の画像を重畳し、奥行き方向に階層化されたレイヤデータを生成するレイヤデータ生成部を備えたものである。
【発明の効果】
【０００８】
この発明の画像生成装置は、画像センサにおける異なるフォーカス距離を複数の対象距離として設定し、複数の対象距離毎の移動体の移動方向に沿った画像を抽出してこれらの画像を重畳し、奥行き方向に階層化されたレイヤデータを生成するようにしたので、移動体の移動方向に長大な解像度を持つ画像データを得ることができると共に、対象となる画像における奥行きの情報を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による画像生成装置を示す構成図である。
【図２】この発明の実施の形態１による画像生成装置の設置例を示す説明図である。
【図３】この発明の実施の形態１による画像生成装置の画像センサの設置例を示す説明図である。
【図４】この発明の実施の形態１による画像生成装置の所定の時速での移動時のデータ抽出を示す説明図である。
【図５】この発明の実施の形態１による画像生成装置の異なる時速での移動時のデータ抽出を示す説明図である。
【図６】この発明の実施の形態１による画像生成装置の元画像を示す説明図である。
【図７】この発明の実施の形態１による画像生成装置の所定の対象距離における移動方向に沿った画像を示す説明図である。
【図８】この発明の実施の形態１による画像生成装置の異なる対象距離における移動方向に沿った画像を示す説明図である。
【図９】この発明の実施の形態１による画像生成装置のエッジ抽出結果を示す説明図である。
【図１０】この発明の実施の形態１による画像生成装置のレイヤの重畳を示す説明図である。
【図１１】この発明の実施の形態１による画像生成装置の視差を持つ立体画像データ取得を行うための複数の画像センサを示す説明図である。
【図１２】この発明の実施の形態１による画像生成装置の複数の画像センサの移動を示す説明図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
本発明は水平方向に長大な（理論的に無限）解像度を持つ画像で、かつ、立体画像を生成する装置である。列車、自動車など、移動体に撮像装置を設置する。このとき、撮像装置の撮像方向（レンズの向き）を移動方向に対して真横、９０度（水平）に設置し、また、撮像装置の画像センサの走査方向を鉛直方向とする。そして、鉛直ラインの画像データを順次蓄積し、移動体の速度に合わせて、抽出するデータラインの幅を調節し、速度と対象距離によってはレンズ画角を変更する。例えば、移動体の速度を０ｋｍ／ｈ〜３００ｋｍ／ｈ＝秒速０ｍｍ／ｓｅｃ〜８３３３３ｍｍ／ｓｅｃとした場合、撮像装置のフレームレートが３０ｆｐｓであれば、時速３００ｋｍで２７７７ｍｍ間隔毎にラインデータを生成する。以下、このような画像生成装置について説明する。
【００１１】
図１は、この発明の実施の形態１による画像生成装置を示す構成図である。
図１に示す画像生成装置は、画像センサ１、記録部２、対象距離設定部３、データライン抽出部４、速度記録部５、撮像範囲制御部６、レイヤデータ生成部７、長大・立体画像データ出力部８を備えている。画像センサ１は、所定の撮影方向の画像を取得し動画データとして出力する画像センサである。記録部２は画像センサ１から出力された動画データを連続して記録するデータ記録部である。対象距離設定部３は、画像センサ１が取得対象とする被写体への異なるフォーカス距離を複数の対象距離として設定するもので、フォーカス・絞り設定部３１を有している。このフォーカス・絞り設定部３１は、画像センサ１のフォーカスと絞りを設定して、画像センサ１のフォーカスや取得する画像の被写界深度を設定する機能を有している。
【００１２】
データライン抽出部４は、速度記録部５によって得られる移動体の速度に合わせて、記録部２に記録された複数の対象距離毎のデータの拡張または間引きを行い、複数の対象距離毎の移動体の移動方向に沿った画像を抽出するものであり、データライン拡張・間引部４１と視差データ生成部４２とを備えている。データライン拡張・間引部４１は、記録部２に記録された動画データを読み出して、拡張または間引きを行い、移動体の移動方向に沿った画像を抽出する。視差データ生成部４２は、画像センサ１が水平方向に複数設けられている場合、これらの画像センサ１の出力を同期させ、視差を持つ立体画像データを取得する。速度記録部５は、移動体の速度情報を記録しこれを出力するものである。また、撮像範囲制御部６は、画像センサ１におけるズームレンズを操作し画角を調整して撮影範囲を制御する。
【００１３】
レイヤデータ生成部７は、データライン抽出部４で抽出された複数の対象距離毎の画像を重畳し、奥行き方向に階層化されたレイヤデータを生成するものであり、エッジ抽出部７１、背景削除部７２、レイヤデータ同期部７３、レイヤデータ重畳部７４を備えている。エッジ抽出部７１は、データライン抽出部４から出力された画像からエッジ抽出を行う。背景削除部７２は、エッジ抽出部７１でエッジ抽出された画像から背景を削除した画像を出力する。レイヤデータ同期部７３は、データライン抽出部４で抽出された複数の対象距離毎の画像の位置を同期させる。レイヤデータ重畳部７４は、レイヤデータ同期部７３で同期された画像を重畳し奥行き方向に階層化されたレイヤデータを生成する。また、長大・立体画像データ出力部８は、レイヤデータ生成部７で得られたレイヤデータを外部に出力するものである。
【００１４】
次に、このように構成された画像生成装置の動作について説明する。
移動体に設置された画像センサ１は動画データを記録部２に記録する。画像センサ１のフォーカスと絞りは対象距離設定部３のフォーカス・絞り設定部３１によって撮影毎に固定される。移動体の速度は速度記録部５に記録され、データライン抽出部４に出力される。データライン抽出部４では、データライン拡張・間引部４１によって画像センサ１のデータの中央部縦１ライン、もしくは中央部縦３ラインを各フレームから取り出したり、間引く場合には数フレームに一度、画像センサ１のデータの中央部縦１ラインを抽出する。
【００１５】
データライン抽出部４においては、画像センサ１を水平方向に複数備えた場合、視差データ生成部４２により、再生時に左右の目に対応する視差を持つ立体画像データを生成する。例えば、移動体の速度が高速で、対象距離が近い場合にはデータラインの幅を最大にしても、連続性が得られなくなる。このような場合には撮像範囲制御部６によって画像センサ１のズームレンズを制御し、広角にすることで、画像データの連続性を得る。
【００１６】
抽出された画像データはレイヤデータ生成部７に出力され、エッジ抽出部７１によってｗａｖｅｌｅｔ変換等のエッジ抽出により、背景部を抽出し、背景削除部７２で切り出して透明とする。対象距離範囲に属するレイヤデータが生成でき、レイヤデータ同期部７３で位置合わせを行い、レイヤデータ重畳部７４で重ね合わせることで、奥行き構造をもつ３Ｄ画像データが得られる。
以上のようにして生成された画像データは、長大・立体画像データ出力部８に出力される。
【００１７】
次に、図２を参照して列車設置例を説明する。図２は、直線走行中の列車を上方から俯瞰した状態を示す図である。撮影方向は列車の進行方向に対して直角とする。また、撮影方向の角度は画像センサ１におけるカメラの画角を示している。
【００１８】
次に、図３〜図５によってデータライン抽出部４の動作を説明する。
図３は、ＨＤカメラの撮像素子を縦に設置した例を示している。ＨＤカメラの撮像素子は縦１０８０ｄｏｔ、横１９２０ｄｏｔであり、これを画像センサ１では縦にして使用する。高速で移動する移動体から撮影を行うと、撮像素子の出力信号がライン毎に遅延する。本発明で使用する１ラインのデータが斜め方向にずれてしまうのを防ぐために、縦にして使用する。図３（ａ）は、１／３０ｓｅｃ毎に１ラインのデータを取得する例である。図３（ｂ）は、１／３０ｓｅｃ毎に３ラインのデータを取得する例である。データライン抽出部４は、移動体の速度と撮像範囲、また、対象距離に合わせてラインのデータを取得する。
【００１９】
次に、図４及び図５に基づいて画像センサ１の移動と撮像範囲の説明を行う。図４において、●（黒丸）は画像センサ１の位置を表し、画像センサ１の位置が１ｍ進む毎に１ラインのデータ生成する場合に、設定した対象距離にある物体の映像が連続する様子を示す。ここで、速度ｖ、時間ｔの変位はｖｔであり、画像センサ１のフレームレートが３０ｆｐｓの場合、ｔ＝１／３０となる。例えば、時速１００ｋｍで進む移動体は１／３０秒に９２６ｍｍ移動する。
【００２０】
画像センサ１ラインに映る範囲は、画角をθとし、対象距離をｄとすると、
ｄ＊ｔａｎθ
画像センサ１ラインに映る範囲は、センサの水平解像度をｈとすると、
（ｄ＊ｔａｎθ）／ｈ
何フレームに一度データ抽出を行うかは以下の式で表される。
（（ｄ＊ｔａｎθ）／ｈ）／ｖｔ＝（ｄｔａｎθ）／ｈｖｔ
【００２１】
例えば、図４を時速１００ｋｍとした場合、時速３００ｋｍ時のデータ抽出タイミングは１／３となる。図５に時速３００ｋｍ時のデータ抽出の様子を示す。画像センサ１の位置（●で示す）は図４の３倍の速さで移動するので、設定した対象距離が図４と同じ場合、センサ上のデータを一度に３ライン取り込む。
【００２２】
以上のように、設定した対象距離において、撮像範囲が連続するように、撮像範囲（レンズの画角）、センサのライン数を制御する。例えば、動画ＨＤカメラの画像センサ１のデータは１秒間に３０フレームであり、速度が遅い場合や対象距離が遠い場合にはフレームを飛ばし、数フレームにつき、１ライン取得する。進行方向に対して真横の画像を１ライン、速度によっては複数ライン、もしくは間引きながらデータを記録していく。図３のセンタ１ライン、速度が速いときは複数ライン、遅いときは時間的にフレームを飛ばし、間引きを行う。
【００２３】
次に、図６〜図８によって、レイヤデータ生成部７の動作を説明する。
図６は元画像であり、動画ＨＤカメラの１フレームの画像である。
図７は例えば対象距離２０ｍの設定でデータライン抽出部４が抽出したデータラインを順番に横に並べ、生成した画像である。
図８は例えば対象距離５ｍの設定でデータライン抽出部４が抽出したデータラインを順番に横に並べ、生成した画像である。
スリットカメラ方式においては、対象とする撮像距離以外が流し撮りのような画像となる。画像センサを使用したデジタル方式の場合は対象とする撮像距離以外が横方向に引き伸ばされたり、圧縮された映像になる。エッジ抽出部７１によって、ｗａｖｅｌｅｔ変換等により、背景部を抽出した例を図９に示す。
【００２４】
背景削除部７２によって、抽出した背景を透明とすることで、対象距離範囲に属するレイヤデータが生成できる。これをレイヤデータ同期部７３で位置を合わせ、レイヤデータ重畳部７４で重ね合わせることで、奥行き構造をもつ３Ｄ画像データが得られる。
【００２５】
鉄道においては同じ線路を複数回撮影可能であり、撮像距離を変更して複数のデータを作成することが可能である。また、複数の機材を備え、対象距離を複数設定することによって、同時に、複数のレイヤデータを作成することもできる。複数回撮影する場合はデータ作成時の位置情報を、同時に複数のレイヤデータを作成する場合はデータ作成時の時間情報を使用して、前記レイヤデータ同期部７３はデータの同期を取る。図１０にレイヤ重ね合わせの概念図を示す。
【００２６】
次に、図１１〜図１２を用いて、視差データ生成部４２による、視差をもつ３Ｄ画像データの作成について説明する。
図１１は視差をもつ３Ｄ画像データの取得のための画像センサ配置例である。画像センサ１を水平に６０ｍｍ程度（両目間隔に相当する）離して二つ備え（位置を●で示す）、撮像方向（レンズの向き）を対象距離に合わせて回転する機構を備え、目の輻輳角による画像と同様の二つの画像が得られるようにする。視差データ生成部４２は二つの画像を関連付けて記録できるようにする。尚、輻輳角を持たず、平行の左右目用データを作成する場合は一つのセンサでも可能であるが、６０ｍｍ毎にラインデータが必要となるため、時速６．５ｋｍまでの移動という制限がある。
この二つのセンサのセットを複数備え、対象距離を複数設定することで、同時に、視差を持つ複数のレイヤデータを作成することができる。
図１２は視差画像センサの移動を説明する図である。図４及び図５と同様に画像センサ１の位置が１ｍ進む毎に１ラインのデータ生成を行う。
以上のように、水平方向に長大な解像度を持つ画像、また立体画像を生成することができる。
【００２７】
以上説明したように、実施の形態１の画像生成装置によれば、移動体に設置され、対象とする被写体の画像を取得する画像センサと、画像センサにおける異なるフォーカス距離を複数の対象距離として設定する対象距離設定部と、画像センサから出力された複数の対象距離毎のデータを連続して記録する記録部と、移動体の速度に合わせて記録部に記録された複数の対象距離毎のデータの拡張または間引きを行い、複数の対象距離毎の移動体の移動方向に沿った画像を抽出するデータライン抽出部と、データライン抽出部から出力される複数の対象距離毎の画像を重畳し、奥行き方向に階層化されたレイヤデータを生成するレイヤデータ生成部を備えたので、移動体の移動方向に長大な解像度を持つ画像データを得ることができると共に、対象となる画像における奥行きの情報を得ることができる。
【００２８】
また、実施の形態１の画像生成装置によれば、レイヤデータ生成部は、画像のエッジ抽出を行うエッジ抽出部と、エッジ抽出された画像から背景を削除する背景削除部と、複数の対象距離毎の画像の位置を同期させるレイヤデータ同期部と、同期された画像を重畳するレイヤデータ重畳部とを備えたので、奥行きの情報を持った画像をより確実に得ることができる。
【００２９】
また、実施の形態１の画像生成装置によれば、画像センサは、水平方向に複数設けられ、データライン抽出部は、複数の画像センサの出力を同期させ、再生時に左右の目に対応する視差を持つ立体画像データを出力するようにしたので、さらに、立体画像データを得ることができる。
【００３０】
また、実施の形態１の画像生成装置によれば、画像センサは、移動体の移動方向に対して垂直方向に走査することで１ライン分の画像データを出力するようにしたので、高速で移動中の移動体から撮影しても歪みのない画像を得ることができる。
なお、本願発明の範囲内において、実施の形態を適宜、変更、省略等することが可能である。
【符号の説明】
【００３１】
１ 画像センサ、２ 記録部、３ 対象距離設定部、４ データライン抽出部、５ 速度記録部、６ 撮像範囲制御部、７ レイヤデータ生成部、８ 長大・立体画像データ出力部、３１ フォーカス・絞り設定部、４１ データライン拡張・間引部、４２ 視差データ生成部、７１ エッジ抽出部、７２ 背景削除部、７３ レイヤデータ同期部、７４ レイヤデータ重畳部。
【技術分野】
【０００１】
本発明は、移動体の移動方向に長大な解像度を持つ画像データを生成する画像生成装置に関する。
【背景技術】
【０００２】
従来、例えば特許文献１に示されるように、移動体にスリットカメラと同様の画像生成システムを装備し、移動体の移動方向に長大な解像度を持つ画像データを生成するシステムがあった。
このような画像生成システムは、ビデオカメラをトラックに載置し、トンネル内を走行する。そして、ビデオカメラで撮影されたトンネル内壁面の画像の画面を構成する走査線の中から所望の走査線を抽出し、この走査線データをデジタルデータとして再構成することにより、トンネル内壁面の全体を表す画像を出力するものである。
【０００３】
このような画像生成システムでは、ビデオカメラを用いてスリットカメラを形成したため、従来移動が不可能であったスリットカメラ本体を移動させることが可能になるとともに、長時間の撮影が可能になる。さらに、多種多様なスリットスキャン画像を得られるとともに、得られた画像の補正や保存が容易になり、被写体が移動できない、たとえばトンネルなどのような、長大な構造物のスリットスキャン撮影ができるようになるものであったため、１枚の長大な画像データが得られる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１３６６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の画像生成システムでは、移動体の移動方向に長大な解像度を持つ画像データを生成することができるが、対象となる画像における奥行きの情報が得られないという問題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、移動体の移動方向に長大な解像度を持つ画像データを得ることができると共に、対象となる画像における奥行きの情報を得ることのできる画像生成装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像生成装置は、移動体に設置され、対象とする被写体の画像を取得する画像センサと、画像センサにおける異なるフォーカス距離を複数の対象距離として設定する対象距離設定部と、画像センサから出力された複数の対象距離毎のデータを連続して記録する記録部と、移動体の速度に合わせて記録部に記録された複数の対象距離毎のデータの拡張または間引きを行い、複数の対象距離毎の移動体の移動方向に沿った画像を抽出するデータライン抽出部と、データライン抽出部から出力される複数の対象距離毎の画像を重畳し、奥行き方向に階層化されたレイヤデータを生成するレイヤデータ生成部を備えたものである。
【発明の効果】
【０００８】
この発明の画像生成装置は、画像センサにおける異なるフォーカス距離を複数の対象距離として設定し、複数の対象距離毎の移動体の移動方向に沿った画像を抽出してこれらの画像を重畳し、奥行き方向に階層化されたレイヤデータを生成するようにしたので、移動体の移動方向に長大な解像度を持つ画像データを得ることができると共に、対象となる画像における奥行きの情報を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による画像生成装置を示す構成図である。
【図２】この発明の実施の形態１による画像生成装置の設置例を示す説明図である。
【図３】この発明の実施の形態１による画像生成装置の画像センサの設置例を示す説明図である。
【図４】この発明の実施の形態１による画像生成装置の所定の時速での移動時のデータ抽出を示す説明図である。
【図５】この発明の実施の形態１による画像生成装置の異なる時速での移動時のデータ抽出を示す説明図である。
【図６】この発明の実施の形態１による画像生成装置の元画像を示す説明図である。
【図７】この発明の実施の形態１による画像生成装置の所定の対象距離における移動方向に沿った画像を示す説明図である。
【図８】この発明の実施の形態１による画像生成装置の異なる対象距離における移動方向に沿った画像を示す説明図である。
【図９】この発明の実施の形態１による画像生成装置のエッジ抽出結果を示す説明図である。
【図１０】この発明の実施の形態１による画像生成装置のレイヤの重畳を示す説明図である。
【図１１】この発明の実施の形態１による画像生成装置の視差を持つ立体画像データ取得を行うための複数の画像センサを示す説明図である。
【図１２】この発明の実施の形態１による画像生成装置の複数の画像センサの移動を示す説明図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
本発明は水平方向に長大な（理論的に無限）解像度を持つ画像で、かつ、立体画像を生成する装置である。列車、自動車など、移動体に撮像装置を設置する。このとき、撮像装置の撮像方向（レンズの向き）を移動方向に対して真横、９０度（水平）に設置し、また、撮像装置の画像センサの走査方向を鉛直方向とする。そして、鉛直ラインの画像データを順次蓄積し、移動体の速度に合わせて、抽出するデータラインの幅を調節し、速度と対象距離によってはレンズ画角を変更する。例えば、移動体の速度を０ｋｍ／ｈ〜３００ｋｍ／ｈ＝秒速０ｍｍ／ｓｅｃ〜８３３３３ｍｍ／ｓｅｃとした場合、撮像装置のフレームレートが３０ｆｐｓであれば、時速３００ｋｍで２７７７ｍｍ間隔毎にラインデータを生成する。以下、このような画像生成装置について説明する。
【００１１】
図１は、この発明の実施の形態１による画像生成装置を示す構成図である。
図１に示す画像生成装置は、画像センサ１、記録部２、対象距離設定部３、データライン抽出部４、速度記録部５、撮像範囲制御部６、レイヤデータ生成部７、長大・立体画像データ出力部８を備えている。画像センサ１は、所定の撮影方向の画像を取得し動画データとして出力する画像センサである。記録部２は画像センサ１から出力された動画データを連続して記録するデータ記録部である。対象距離設定部３は、画像センサ１が取得対象とする被写体への異なるフォーカス距離を複数の対象距離として設定するもので、フォーカス・絞り設定部３１を有している。このフォーカス・絞り設定部３１は、画像センサ１のフォーカスと絞りを設定して、画像センサ１のフォーカスや取得する画像の被写界深度を設定する機能を有している。
【００１２】
データライン抽出部４は、速度記録部５によって得られる移動体の速度に合わせて、記録部２に記録された複数の対象距離毎のデータの拡張または間引きを行い、複数の対象距離毎の移動体の移動方向に沿った画像を抽出するものであり、データライン拡張・間引部４１と視差データ生成部４２とを備えている。データライン拡張・間引部４１は、記録部２に記録された動画データを読み出して、拡張または間引きを行い、移動体の移動方向に沿った画像を抽出する。視差データ生成部４２は、画像センサ１が水平方向に複数設けられている場合、これらの画像センサ１の出力を同期させ、視差を持つ立体画像データを取得する。速度記録部５は、移動体の速度情報を記録しこれを出力するものである。また、撮像範囲制御部６は、画像センサ１におけるズームレンズを操作し画角を調整して撮影範囲を制御する。
【００１３】
レイヤデータ生成部７は、データライン抽出部４で抽出された複数の対象距離毎の画像を重畳し、奥行き方向に階層化されたレイヤデータを生成するものであり、エッジ抽出部７１、背景削除部７２、レイヤデータ同期部７３、レイヤデータ重畳部７４を備えている。エッジ抽出部７１は、データライン抽出部４から出力された画像からエッジ抽出を行う。背景削除部７２は、エッジ抽出部７１でエッジ抽出された画像から背景を削除した画像を出力する。レイヤデータ同期部７３は、データライン抽出部４で抽出された複数の対象距離毎の画像の位置を同期させる。レイヤデータ重畳部７４は、レイヤデータ同期部７３で同期された画像を重畳し奥行き方向に階層化されたレイヤデータを生成する。また、長大・立体画像データ出力部８は、レイヤデータ生成部７で得られたレイヤデータを外部に出力するものである。
【００１４】
次に、このように構成された画像生成装置の動作について説明する。
移動体に設置された画像センサ１は動画データを記録部２に記録する。画像センサ１のフォーカスと絞りは対象距離設定部３のフォーカス・絞り設定部３１によって撮影毎に固定される。移動体の速度は速度記録部５に記録され、データライン抽出部４に出力される。データライン抽出部４では、データライン拡張・間引部４１によって画像センサ１のデータの中央部縦１ライン、もしくは中央部縦３ラインを各フレームから取り出したり、間引く場合には数フレームに一度、画像センサ１のデータの中央部縦１ラインを抽出する。
【００１５】
データライン抽出部４においては、画像センサ１を水平方向に複数備えた場合、視差データ生成部４２により、再生時に左右の目に対応する視差を持つ立体画像データを生成する。例えば、移動体の速度が高速で、対象距離が近い場合にはデータラインの幅を最大にしても、連続性が得られなくなる。このような場合には撮像範囲制御部６によって画像センサ１のズームレンズを制御し、広角にすることで、画像データの連続性を得る。
【００１６】
抽出された画像データはレイヤデータ生成部７に出力され、エッジ抽出部７１によってｗａｖｅｌｅｔ変換等のエッジ抽出により、背景部を抽出し、背景削除部７２で切り出して透明とする。対象距離範囲に属するレイヤデータが生成でき、レイヤデータ同期部７３で位置合わせを行い、レイヤデータ重畳部７４で重ね合わせることで、奥行き構造をもつ３Ｄ画像データが得られる。
以上のようにして生成された画像データは、長大・立体画像データ出力部８に出力される。
【００１７】
次に、図２を参照して列車設置例を説明する。図２は、直線走行中の列車を上方から俯瞰した状態を示す図である。撮影方向は列車の進行方向に対して直角とする。また、撮影方向の角度は画像センサ１におけるカメラの画角を示している。
【００１８】
次に、図３〜図５によってデータライン抽出部４の動作を説明する。
図３は、ＨＤカメラの撮像素子を縦に設置した例を示している。ＨＤカメラの撮像素子は縦１０８０ｄｏｔ、横１９２０ｄｏｔであり、これを画像センサ１では縦にして使用する。高速で移動する移動体から撮影を行うと、撮像素子の出力信号がライン毎に遅延する。本発明で使用する１ラインのデータが斜め方向にずれてしまうのを防ぐために、縦にして使用する。図３（ａ）は、１／３０ｓｅｃ毎に１ラインのデータを取得する例である。図３（ｂ）は、１／３０ｓｅｃ毎に３ラインのデータを取得する例である。データライン抽出部４は、移動体の速度と撮像範囲、また、対象距離に合わせてラインのデータを取得する。
【００１９】
次に、図４及び図５に基づいて画像センサ１の移動と撮像範囲の説明を行う。図４において、●（黒丸）は画像センサ１の位置を表し、画像センサ１の位置が１ｍ進む毎に１ラインのデータ生成する場合に、設定した対象距離にある物体の映像が連続する様子を示す。ここで、速度ｖ、時間ｔの変位はｖｔであり、画像センサ１のフレームレートが３０ｆｐｓの場合、ｔ＝１／３０となる。例えば、時速１００ｋｍで進む移動体は１／３０秒に９２６ｍｍ移動する。
【００２０】
画像センサ１ラインに映る範囲は、画角をθとし、対象距離をｄとすると、
ｄ＊ｔａｎθ
画像センサ１ラインに映る範囲は、センサの水平解像度をｈとすると、
（ｄ＊ｔａｎθ）／ｈ
何フレームに一度データ抽出を行うかは以下の式で表される。
（（ｄ＊ｔａｎθ）／ｈ）／ｖｔ＝（ｄｔａｎθ）／ｈｖｔ
【００２１】
例えば、図４を時速１００ｋｍとした場合、時速３００ｋｍ時のデータ抽出タイミングは１／３となる。図５に時速３００ｋｍ時のデータ抽出の様子を示す。画像センサ１の位置（●で示す）は図４の３倍の速さで移動するので、設定した対象距離が図４と同じ場合、センサ上のデータを一度に３ライン取り込む。
【００２２】
以上のように、設定した対象距離において、撮像範囲が連続するように、撮像範囲（レンズの画角）、センサのライン数を制御する。例えば、動画ＨＤカメラの画像センサ１のデータは１秒間に３０フレームであり、速度が遅い場合や対象距離が遠い場合にはフレームを飛ばし、数フレームにつき、１ライン取得する。進行方向に対して真横の画像を１ライン、速度によっては複数ライン、もしくは間引きながらデータを記録していく。図３のセンタ１ライン、速度が速いときは複数ライン、遅いときは時間的にフレームを飛ばし、間引きを行う。
【００２３】
次に、図６〜図８によって、レイヤデータ生成部７の動作を説明する。
図６は元画像であり、動画ＨＤカメラの１フレームの画像である。
図７は例えば対象距離２０ｍの設定でデータライン抽出部４が抽出したデータラインを順番に横に並べ、生成した画像である。
図８は例えば対象距離５ｍの設定でデータライン抽出部４が抽出したデータラインを順番に横に並べ、生成した画像である。
スリットカメラ方式においては、対象とする撮像距離以外が流し撮りのような画像となる。画像センサを使用したデジタル方式の場合は対象とする撮像距離以外が横方向に引き伸ばされたり、圧縮された映像になる。エッジ抽出部７１によって、ｗａｖｅｌｅｔ変換等により、背景部を抽出した例を図９に示す。
【００２４】
背景削除部７２によって、抽出した背景を透明とすることで、対象距離範囲に属するレイヤデータが生成できる。これをレイヤデータ同期部７３で位置を合わせ、レイヤデータ重畳部７４で重ね合わせることで、奥行き構造をもつ３Ｄ画像データが得られる。
【００２５】
鉄道においては同じ線路を複数回撮影可能であり、撮像距離を変更して複数のデータを作成することが可能である。また、複数の機材を備え、対象距離を複数設定することによって、同時に、複数のレイヤデータを作成することもできる。複数回撮影する場合はデータ作成時の位置情報を、同時に複数のレイヤデータを作成する場合はデータ作成時の時間情報を使用して、前記レイヤデータ同期部７３はデータの同期を取る。図１０にレイヤ重ね合わせの概念図を示す。
【００２６】
次に、図１１〜図１２を用いて、視差データ生成部４２による、視差をもつ３Ｄ画像データの作成について説明する。
図１１は視差をもつ３Ｄ画像データの取得のための画像センサ配置例である。画像センサ１を水平に６０ｍｍ程度（両目間隔に相当する）離して二つ備え（位置を●で示す）、撮像方向（レンズの向き）を対象距離に合わせて回転する機構を備え、目の輻輳角による画像と同様の二つの画像が得られるようにする。視差データ生成部４２は二つの画像を関連付けて記録できるようにする。尚、輻輳角を持たず、平行の左右目用データを作成する場合は一つのセンサでも可能であるが、６０ｍｍ毎にラインデータが必要となるため、時速６．５ｋｍまでの移動という制限がある。
この二つのセンサのセットを複数備え、対象距離を複数設定することで、同時に、視差を持つ複数のレイヤデータを作成することができる。
図１２は視差画像センサの移動を説明する図である。図４及び図５と同様に画像センサ１の位置が１ｍ進む毎に１ラインのデータ生成を行う。
以上のように、水平方向に長大な解像度を持つ画像、また立体画像を生成することができる。
【００２７】
以上説明したように、実施の形態１の画像生成装置によれば、移動体に設置され、対象とする被写体の画像を取得する画像センサと、画像センサにおける異なるフォーカス距離を複数の対象距離として設定する対象距離設定部と、画像センサから出力された複数の対象距離毎のデータを連続して記録する記録部と、移動体の速度に合わせて記録部に記録された複数の対象距離毎のデータの拡張または間引きを行い、複数の対象距離毎の移動体の移動方向に沿った画像を抽出するデータライン抽出部と、データライン抽出部から出力される複数の対象距離毎の画像を重畳し、奥行き方向に階層化されたレイヤデータを生成するレイヤデータ生成部を備えたので、移動体の移動方向に長大な解像度を持つ画像データを得ることができると共に、対象となる画像における奥行きの情報を得ることができる。
【００２８】
また、実施の形態１の画像生成装置によれば、レイヤデータ生成部は、画像のエッジ抽出を行うエッジ抽出部と、エッジ抽出された画像から背景を削除する背景削除部と、複数の対象距離毎の画像の位置を同期させるレイヤデータ同期部と、同期された画像を重畳するレイヤデータ重畳部とを備えたので、奥行きの情報を持った画像をより確実に得ることができる。
【００２９】
また、実施の形態１の画像生成装置によれば、画像センサは、水平方向に複数設けられ、データライン抽出部は、複数の画像センサの出力を同期させ、再生時に左右の目に対応する視差を持つ立体画像データを出力するようにしたので、さらに、立体画像データを得ることができる。
【００３０】
また、実施の形態１の画像生成装置によれば、画像センサは、移動体の移動方向に対して垂直方向に走査することで１ライン分の画像データを出力するようにしたので、高速で移動中の移動体から撮影しても歪みのない画像を得ることができる。
なお、本願発明の範囲内において、実施の形態を適宜、変更、省略等することが可能である。
【符号の説明】
【００３１】
１ 画像センサ、２ 記録部、３ 対象距離設定部、４ データライン抽出部、５ 速度記録部、６ 撮像範囲制御部、７ レイヤデータ生成部、８ 長大・立体画像データ出力部、３１ フォーカス・絞り設定部、４１ データライン拡張・間引部、４２ 視差データ生成部、７１ エッジ抽出部、７２ 背景削除部、７３ レイヤデータ同期部、７４ レイヤデータ重畳部。
【特許請求の範囲】
【請求項１】
移動体に設置され、対象とする被写体の画像を取得する画像センサと、
前記画像センサにおける異なるフォーカス距離を複数の対象距離として設定する対象距離設定部と、
前記画像センサから出力された複数の対象距離毎のデータを連続して記録する記録部と、
前記移動体の速度に合わせて前記記録部に記録された複数の対象距離毎のデータの拡張または間引きを行い、前記複数の対象距離毎の前記移動体の移動方向に沿った画像を抽出するデータライン抽出部と、
前記データライン抽出部から出力される複数の対象距離毎の画像を重畳し、奥行き方向に階層化されたレイヤデータを生成するレイヤデータ生成部を備えた画像生成装置。
【請求項２】
レイヤデータ生成部は、画像のエッジ抽出を行うエッジ抽出部と、エッジ抽出された画像から背景を削除する背景削除部と、複数の対象距離毎の画像の位置を同期させるレイヤデータ同期部と、同期された画像を重畳するレイヤデータ重畳部とを備えたことを特徴とする請求項１記載の画像生成装置。
【請求項３】
画像センサは、水平方向に複数設けられ、データライン抽出部は、前記複数の画像センサの出力を同期させ、再生時に左右の目に対応する視差を持つ立体画像データを出力することを特徴とする請求項１または請求項２記載の画像生成装置。
【請求項４】
画像センサは、移動体の移動方向に対して垂直方向に走査することで１ライン分の画像データを出力することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像生成装置。
【請求項１】
移動体に設置され、対象とする被写体の画像を取得する画像センサと、
前記画像センサにおける異なるフォーカス距離を複数の対象距離として設定する対象距離設定部と、
前記画像センサから出力された複数の対象距離毎のデータを連続して記録する記録部と、
前記移動体の速度に合わせて前記記録部に記録された複数の対象距離毎のデータの拡張または間引きを行い、前記複数の対象距離毎の前記移動体の移動方向に沿った画像を抽出するデータライン抽出部と、
前記データライン抽出部から出力される複数の対象距離毎の画像を重畳し、奥行き方向に階層化されたレイヤデータを生成するレイヤデータ生成部を備えた画像生成装置。
【請求項２】
レイヤデータ生成部は、画像のエッジ抽出を行うエッジ抽出部と、エッジ抽出された画像から背景を削除する背景削除部と、複数の対象距離毎の画像の位置を同期させるレイヤデータ同期部と、同期された画像を重畳するレイヤデータ重畳部とを備えたことを特徴とする請求項１記載の画像生成装置。
【請求項３】
画像センサは、水平方向に複数設けられ、データライン抽出部は、前記複数の画像センサの出力を同期させ、再生時に左右の目に対応する視差を持つ立体画像データを出力することを特徴とする請求項１または請求項２記載の画像生成装置。
【請求項４】
画像センサは、移動体の移動方向に対して垂直方向に走査することで１ライン分の画像データを出力することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−６０３６７（Ｐ２０１２−６０３６７Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２００９４８（Ｐ２０１０−２００９４８）
【出願日】平成２２年９月８日（２０１０．９．８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月８日（２０１０．９．８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]