三次元形状計測装置および半導体集積回路
【課題】低コストで車載環境における周辺監視手段での利用に適した光切断法による三次元形状計測装置を提供する。
【解決手段】光源列３１０と、監視領域を撮像するカメラ２００と、カメラ２００および光源列３１０に対するインタフェースとＣＰＵ１１０とを有する画像認識部１００とを有し、光切断法により立体物５００の三次元形状を計測する三次元形状計測装置１であって、画像認識部１００は、光源列３１０から照射された光を各光源３２０から照射された光の光源中心を結ぶ線分を含む照射パターンで照射するスリット光とみなし、擬似スリット光４２０が照射された監視領域について撮像された画像データから、各画素ラインの輝度データに基づいて推定した擬似スリット光４２０の照射位置の情報と照射パターンとの差分に基づいて照射位置におけるカメラ２００からの距離を算出し、立体物５００の擬似スリット光４２０による切断面形状を計測する。
【解決手段】光源列３１０と、監視領域を撮像するカメラ２００と、カメラ２００および光源列３１０に対するインタフェースとＣＰＵ１１０とを有する画像認識部１００とを有し、光切断法により立体物５００の三次元形状を計測する三次元形状計測装置１であって、画像認識部１００は、光源列３１０から照射された光を各光源３２０から照射された光の光源中心を結ぶ線分を含む照射パターンで照射するスリット光とみなし、擬似スリット光４２０が照射された監視領域について撮像された画像データから、各画素ラインの輝度データに基づいて推定した擬似スリット光４２０の照射位置の情報と照射パターンとの差分に基づいて照射位置におけるカメラ２００からの距離を算出し、立体物５００の擬似スリット光４２０による切断面形状を計測する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光切断法を利用した非接触での三次元形状計測技術に関し、特に、車載環境における周辺監視手段等での利用に適した三次元形状計測装置および当該装置における処理を行う半導体集積回路に適用して有効な技術に関するものである。
【背景技術】
【０００２】
近年、自動車等の車両においては、運転の補助や事故の削減に資するため、車両の周辺物体の存在を認識・検知できるようにする手段が開発・提供されてきている。例えば、車両の後方に設置したカメラで撮像した画像を運転席に設置したモニタに表示することで、車両後退時に運転者によって周辺の障害物等を識別できるようにする後方認識手段などが提供されている。
【０００３】
また、車両の周辺物体の情報に基づいて車両が自身の挙動を制御することも可能となるように、車両自身が周辺物体を認識可能とする技術も開発されている。これには、例えば、レーダやセンサ等を用いるものがある。また、カメラを用いた画像処理によって周辺物体の三次元形状を非接触で計測し、車両だけでなく運転者にも周辺物体の形状を認識可能とする手法として、いわゆるステレオカメラ法を用いるものが提案されている。
【０００４】
ステレオカメラ法では、２つのカメラから撮像された画像に対し、２つのカメラのそれぞれの結像の特性（レンズの焦点距離、画像中心、画素サイズなど）、２つのカメラの位置、姿勢、および２つの画像における点の対応の情報に基づいて、その対応する点の空間での位置を特定することができる。
【０００５】
これに関連する技術として、例えば、特開２００４−１９８２１２号公報（特許文献１）には以下のような技術が開示されている。すなわち、移動体が移動中に、光パターン投影手段によって特定平面上に対し所定の光パターンを投影し、撮像手段が撮像した画像の中から、光パターン内の少なくとも四つの特徴点を特徴点抽出手段によって抽出する。移動体が第１の状態から第２の状態に移動したときに抽出した前記特徴点を、特徴点追跡手段によって追跡する。この追跡結果に基づき、移動状態特定手段にて、第１及び第２の状態で撮像した画像の前記特徴点の平面座標に応じて、撮像手段ひいては移動体の相対的な位置及び姿勢を特定する。これにより、単一の撮像手段によって２点から撮像した画像に基づいて、ステレオカメラ法により精度の高い画像表示を行うことを可能とする。
【０００６】
一方、物体の三次元形状を非接触で計測する技術としては、上記のステレオカメラ法の他にスリット光を用いた光切断法も広く用いられている。この方法では、スリット光を対象物に照射し、スリット光の照射方向に対して光軸を所定の角度ずらして配置した単眼カメラで撮像する。撮像されたスリット光の画像データから画像処理によりスリット光の位置を特定し、対象物が存在しない場合のスリット光の位置との差分に基づいて、三角測量の原理により対象物の切断面形状に対応する位置データを求めて三次元形状を計測する。
【０００７】
光切断法による三次元形状の計測方法に関連した技術としては種々のものがあり、例えば、特開平１１−１６００５０号公報（特許文献２）には以下のような三次元形状の計測装置が開示されている。すなわち、算出手段のピーク検出部により、各水平走査線上において最大輝度レベルとなる一つの画素位置のみをスリット光の通過位置として処理する。また、算出手段が比較部と更新部とを備えており、一画面分の記憶容量の輝度メモリに対して、既に取り込まれた一つのスリット光画像の上から新たに他のスリット光画像を取り込む。これらにより、測定対象物の表面の反射率の違いや背景光等の輝度の低いノイズを拾うことがなく計測の精度の向上を図ることが可能となり、また、従来のように撮像回数と等しい画面数のメモリを必要とせず、省メモリ化を図ることが可能となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１９８２１２号公報
【特許文献２】特開平１１−１６００５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
自動車等の車両において周辺物体を認識する際に、例えば、車両に設置したカメラで撮像した画像を運転席に設置したモニタに表示するような後方認識手段では、日中であれば運転者が周辺物体をモニタにより視認することが可能である。しかし、夜間の場合は周囲が暗くなり画像も暗くなるため、運転者が周辺物体を視認することが難しい場合がある。これに対して、例えば、カメラを暗視カメラ等にすることはコストが高くなるため車載用途としては適当ではない。同様に、レーダやセンサ等を利用する場合でも、運転者が周辺物体を視認することはできず、またこれらを設置するためのコストも高くなる。
【００１０】
また、特許文献１において利用されているステレオカメラ法を用いる場合も同様に、夜間の場合は周辺物体を識別することは難しい。また、一般的には周辺物体に対する距離情報を得るために２台のカメラを必要とするため、これを増設することはコストが高くなり、やはり車載用途としては適当ではない。また、特許文献１に記載されているように１台のカメラで行う場合であっても、車両の移動により２点から撮像することが必要であり、車両の停止状態における周辺監視ができない場合がある。
【００１１】
一方で、上述したような光切断法では、スリット光を照射してその照射位置を特定するため、むしろ夜間など周囲が暗いほうがノイズとなる光が少なく精度良く周辺物体の三次元形状を計測することができる。従って、夜間であっても車両の周辺物体を検知・認識するためには、光切断法を利用することが考えられる。さらに、光切断法では単一のカメラによって計測するため、後方認識用カメラなどの既存の車載カメラを利用することもできる。
【００１２】
ここで、特許文献２などにもあるように、光切断法による三次元形状計測方法では、一般的にスリット光の光源には拡散が少ないレーザ光源が用いられる。従って、この方法を自動車等の車両における周辺監視手段に適用しようとした場合、レーザ光源を車両に搭載して車両周囲を照射する必要がある。しかし、レーザ光源によって車両周囲を照射することには危険性が伴う。また、レーザ光源を新たに搭載することはコスト増となるため、可能な限り新たな装置を車両に設置することなく実装できることが望ましい。
【００１３】
そこで本発明の目的は、低コストで車載環境における周辺監視手段での利用に適した光切断法による三次元形状計測装置および当該装置における処理を行う半導体集積回路を提供することにある。本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１４】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
【００１５】
本発明の代表的な実施の形態は、三次元形状計測装置および当該装置における処理を行う半導体集積回路などに適用される。前記三次元形状計測装置は、複数の光源の配列からなり、監視領域に対して光を照射する光源列と、前記光源列により照射された前記監視領域を撮像し、撮像した画像をデジタルデータにより出力するカメラと、前記カメラおよび前記光源列に対する入出力を行うインタフェースと、ＣＰＵとを有する画像認識部とを有し、光切断法により前記監視領域に存在する立体物の三次元形状を計測するものであって、以下のような特徴を有するものである。
【００１６】
すなわち、前記画像認識部は、前記光源列から照射された光を、照射面において前記光源列内の前記各光源から照射された光の光源中心を結ぶ線分を含む照射パターンで照射するスリット光とみなし、前記スリット光とみなされた擬似スリット光が照射された前記監視領域について前記カメラによって撮像された画像データから、光切断法により、前記画像データの画素ライン毎に、前記各画素ラインの輝度データに基づいて推定した前記擬似スリット光の照射位置の情報と、前記監視領域に前記立体物が存在しない場合の前記照射パターンとの差分に基づいて前記擬似スリット光の前記照射位置における前記カメラからの距離を算出し、算出した距離の情報に基づいて前記監視領域に存在する前記立体物の前記擬似スリット光による切断面形状を計測することを特徴とする。
【発明の効果】
【００１７】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００１８】
本発明の代表的な実施の形態によれば、光切断法による三次元形状計測において、自動車等の車両での後方認識用等に用いられるカメラを利用し、また、ブレーキランプやバックランプ等に用いられる光源を擬似スリット光として利用することができるため、車両の周辺物体の三次元形状の計測を行う周辺監視手段を低コストで実現することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態である三次元形状計測装置の構成例の概要を示した図である。
【図２】一般的な光切断法による三次元形状の計測方法の概要について説明する図である。
【図３】ＬＥＤを光源として単純に対象物に照射した場合の例を示した図である。
【図４】本発明の一実施の形態における擬似スリット光の例の概要を説明する図である。
【図５】本発明の一実施の形態である三次元形状計測装置を車両に適用した場合の例を示した図である。
【図６】本発明の一実施の形態である三次元形状計測装置における光源の構成例を示した図である。
【図７】本発明の一実施の形態における擬似スリット光を用いた光切断法による三次元形状の計測方法の概要について説明する図である。
【図８】本発明の一実施の形態における擬似スリット光を立体物に照射したときのカメラ画像における画素ラインの輝度値の例を示した図である。
【図９】本発明の一実施の形態における画素ラインにおける輝度値の分布から正規分布曲線を推定する例を示した図である。
【図１０】本発明の一実施の形態における実験に使用した三次元形状計測装置の概要を模式的に示した図である。
【図１１】本発明の一実施の形態における板状の立体物の切断面形状を計測したときの実験環境の概要を模式的に示した図である。
【図１２】本発明の一実施の形態における板状の立体物の切断面形状を計測したときの測定結果の概要を示した図である。
【図１３】本発明の一実施の形態におけるより複雑な形状の立体物の切断面形状を計測したときの実験環境の概要を模式的に示した図である。
【図１４】本発明の一実施の形態におけるより複雑な形状の立体物の切断面形状を計測したときの測定結果の概要を示した図である。
【図１５】本発明の一実施の形態における箱状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。
【図１６】本発明の一実施の形態における箱状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。
【図１７】本発明の一実施の形態における階段状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。
【図１８】本発明の一実施の形態における階段状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。
【図１９】本発明の一実施の形態における傾いた箱状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。
【図２０】本発明の一実施の形態における傾いた箱状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００２１】
［光切断法による三次元形状計測］
図２は、一般的な光切断法による三次元形状の計測方法の概要について説明する図である。図２において、光源３００から照射された光は、スリット４００によってスリット光４１０とされ、立体物５００に照射されている。精度の高いスリット光４００を得るため、光源３００には拡散の少ないレーザ光源などが用いられる。
【００２２】
立体物５００に照射したスリット光を、当該スリット光の照射方向に対して光軸を所定の角度ずらして配置したカメラ２００で撮像する。カメラ画像２１０は、撮像された立体物５００およびスリット光４１０の状態を示している。このカメラ画像２１０の各画素ライン（カメラ画像２１０における点線）を走査し、各画素ラインでのスリット光４１０の照射位置を画像処理により特定する（例えば、特許文献２のように輝度がピークの画素とする）。
【００２３】
特定したスリット光４１０の照射位置と、予め保持している立体物５００が存在しない場合のスリット光４１０の照射位置（照射パターン）との差分に基づいて、三角測量の原理により、特定したスリット光４１０の照射位置の光源３００もしくはカメラ２００からの距離、すなわち、立体物５００のスリット光４１０による切断面形状に対応する距離データを算出する。スリット光４１０の照射位置を立体物５００に対して少しずつ変えて走査し、立体物５００の各切断面形状の距離データを同様に算出して集計することで、立体物５００の三次元形状を計測することができる。
【００２４】
なお、スリット光４１０の照射パターンは直線状である必要はない。例えば、曲線状のスリット光４１０であっても、各画素ラインにおいて立体物５００が存在する場合としない場合とのスリット光４１０の位置の差分に基づいて同様に切断面形状を計測することができる。
【００２５】
ここで、上述した光切断法を自動車等の車両に適用する場合、危険性やコストの観点からレーザ光源を光源として用いることは適当ではない。そこで、車両に一般的に設置されているブレーキランプやバックランプなどの車両外部を照射するランプを光源として用いることを考える。近年、ブレーキランプ等の車載のランプには、消費電力や寿命、輝度、反応速度などの観点から光源としてＬＥＤ（Light Emitting Diode：発光ダイオード）の使用が拡大している。
【００２６】
図３は、ＬＥＤを光源として単純に対象物に照射した場合の例を示した図である。図３に示すように、光源３２０をＬＥＤとした場合、ＬＥＤの光は拡散するためそのままでは照射光はスリット光とはならない。また、実際にスリットを配置することは、車載のランプとしての用途をなさなくなるため適当ではない。
【００２７】
そこで、本実施の形態では、１つのＬＥＤにつき１つの光源中心があるとし、それを並べたものをスリット光と見立てる。図４は、擬似スリット光の例の概要を説明する図である。図４に示すように、本実施の形態では、光源（ＬＥＤ）を複数並べた配列（光源列）によって対象物を照射することにより、照射面に対して各光源中心を結んだ線分を含む照射パターンで照射するスリット光（擬似スリット光）であるものとして取り扱う。
【００２８】
なお、擬似スリット光についても照射パターンは直線状である必要はない。すなわち、図４における擬似スリット光の各光源中心（および実際の光源の配列）は直線状に並んでいなくてもよく、折れ線や曲線で結ばれる配列であってもよい。また、本実施の形態では、図４や以降の例において光源を縦方向に並べることにより擬似スリット光を縦方向の直線状としているが、横方向や斜め方向等に並べたものであってもよい。
【００２９】
図１は、上述した擬似スリット光を用いた、本発明の一実施の形態である三次元形状計測装置の構成例の概要を示した図である。三次元形状計測装置１は、画像認識部１００、カメラ２００、複数の光源３２０の配列からなる光源列３１０、光源制御装置３３０とを有する構成となっている。光源列３１０から上述したような擬似スリット光４２０を出力して立体物５００を照射し、照射光をカメラ２００で撮像する。カメラ２００での撮像データ、およびカメラ２００と光源列３１０の相対位置の情報に基づいて、画像認識部１００での演算処理により光切断法によって立体物５００の切断面形状を計測する。
【００３０】
画像認識部１００は、ＣＰＵ（Central Processing Unit）１１０、カメラインタフェース（Ｉ／Ｆ）１２０、光源インタフェース（Ｉ／Ｆ）１３０を有し、例えば、ＬＳＩ（Large Scale Integration）等の半導体集積回路により実現される。カメラＩ／Ｆ１２０および光源Ｉ／Ｆ１３０は、それぞれ、カメラ２００および光源制御装置３３０を介した光源列３１０に対する入出力のインタフェースを提供する。ＣＰＵ１１０は、ソフトウェアプログラムの実行により、カメラ２００での撮像データに基づいて光切断法によって立体物５００の切断面形状を計測し、処理結果を出力する。また、カメラＩ／Ｆ１２０および光源Ｉ／Ｆ１３０を介してカメラ２００および光源３２０の動作を制御する。
【００３１】
カメラ２００は、立体物５００に照射された擬似スリット光４２０を撮像し、撮像データを画像認識部１００に出力する。カメラ２００は、例えば、デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラである。光源３２０は、ＬＥＤなどのレーザではない光源であり、複数の光源３２０の配列である光源列３１０が点灯することで擬似スリット光４２０を照射する。光源列３１０を複数列有していてもよい。光源制御装置３３０は、ＣＰＵ１１０からの指示に基づいて光源列３１０の点灯／消灯などを制御する。
【００３２】
図５は、本実施の形態の三次元形状計測装置１を車両に適用した場合の例を示した図である。例えば、図１におけるカメラ２００に相当するものとして、後方認識用の車載カメラ２０１が車両２の後方に配置されている。また、図１における光源列３１０および光源制御装置３３０に相当するものとして、複数のＬＥＤを利用したバックランプ３４０を用いている。バックランプ３４０は車両２の左右両側に存在するため、擬似スリット光４２０を左右両側から照射することができる。また、車両２の内部の特定の位置には、図１における画像認識部１００が配置される。
【００３３】
この構成により、車両２の後方の監視領域に存在する立体物５０１について、画像認識部１００がその距離と三次元形状を計測して出力することができ、夜間等であっても車両２の運転席に設置されたモニタ等により運転者が視認することが可能となる。また、事故回避のため立体物５０１の認識によって車両２の挙動を自動的に制御してもよい。
【００３４】
図６は、本実施の形態の三次元形状計測装置１における光源の構成例を示した図である。図６の構成は、図５におけるバックランプ３４０等の内部の構成と同等のものであり、その光源としてＬＥＤ３２１を使用している。本実施の形態では、例えば赤色ＬＥＤを使用するものとする。このＬＥＤ３２１を複数（図６の例では１０個）列状に並べたＬＥＤ３２１を複数列（図６の例では８列）有する。
【００３５】
このＬＥＤ列３１１を１列毎に点灯させて（例えば図６の例では、右から２列目のＬＥＤ列３１１が点灯している）、図４に示したような擬似スリット光を生成する。点灯するＬＥＤ列３１１を順次変更することによって擬似スリット光の照射位置を立体物５００上で変更して走査することができる。
【００３６】
図７は、擬似スリット光４２０を用いた光切断法による三次元形状の計測方法の概要について説明する図である。図７において、ＬＥＤ列３１１から立体物５００に照射された光は擬似スリット光４２０として取り扱われる。カメラ２００によって撮像したカメラ画像２１０に対して、後述する手法により各画素ラインでの擬似スリット光４２０の照射位置、すなわち光源中心の位置を特定する。擬似スリット光４２０の光源中心の位置が特定された後は、図２で説明したものと同様の手法によって三角測量の原理により立体物５００の切断面形状を計測することができる。
【００３７】
また、点灯するＬＥＤ列３１１を変更して擬似スリット光４２０の照射位置を変更し、各擬似スリット光４２０について上述した手法により立体物５００の切断面形状を計測して集計することで、立体物５００の三次元形状を計測することができる。
【００３８】
図８は、擬似スリット光４２０を立体物５００に照射したときのカメラ画像２１０における画素ラインの輝度値の例を示した図である。左側のカメラ画像２１０は、ＬＥＤ列３１１から擬似スリット光４２０を立体物５００に照射したものをカメラ２００にて撮像した場合の撮像画像の例を示している。カメラ画像２１０中の点線は撮像データにおける各画素ラインを示している。そのうちの太点線で示される画素ラインを例として、各画素の水平方向の位置とその赤成分の輝度値を示したものが右側の図である。
【００３９】
この輝度の分布データに基づいて当該画素ラインにおける擬似スリット光４２０の照射位置（光源中心の位置）を推定する。このとき、特許文献２に記載されているように輝度値がピーク値となる位置を光源中心と推定することも可能である。しかしながら、擬似スリット光４２０ではスリット光４１０と異なり照射光が拡散しているため、輝度のピーク値による推定では誤差が大きくなる。そこで本実施の形態では、図８の右側の図の輝度値の分布が正規分布に従っていると仮定し、輝度の分布を表す正規分布曲線を推定してその中心位置を光源中心と推定する。
【００４０】
図９は、画素ラインにおける輝度値の分布から正規分布曲線を推定する例を示した図である。本実施の形態では、得られた輝度値のデータから数値解析的に正規分布曲線を推定する手法として、例えば、ＥＭ（Expectation-maximization）アルゴリズムを用いる。
【００４１】
ＥＭアルゴリズムの詳細については一般に知られているため本明細書では説明を省略するが、確率モデル（本実施の形態では正規分布曲線）のパラメータを反復法により数値解析的に最尤推定するアルゴリズムであり、特に確率モデルが観測できない隠れたパラメータに依存する場合に用いられる。ＥＭアルゴリズムは他の推定手法と比べて良い解に収束し易く、また実装が簡単になることが多く処理速度も基本的に高速であるため有効である。
【００４２】
図９の下図では、上図の輝度値の分布に対してＥＭアルゴリズムを適用して正規分布曲線を推定した場合の例を示している。この正規分布曲線の中心の位置を当該画素ラインでの擬似スリット光４２０の光源中心の位置と推定する。この処理を全画素ラインについて行うことで、擬似スリット光４２０の光源中心の位置を推定することができる。なお、本実施の形態では正規分布曲線を推定する際にＥＭアルゴリズムを用いているが、他のアルゴリズムを用いることも当然可能である。
【００４３】
［実験結果］
以下では、上述した擬似スリット光４２０を用いた光切断法による三次元形状計測手法により、種々の立体物５００の三次元形状を計測する実験を行った結果について説明する。
【００４４】
図１０は、実験に使用した三次元形状計測装置１の概要を模式的に示した図である。画像認識部１００に対してカメラ２００と光源３２０であるＬＥＤ３２１が接続されている。ＬＥＤ３２１は縦に１０個並べたＬＥＤ列３１１として５列配置されている。ＬＥＤ列３１１は画像認識部１００によって制御されて１列ずつ点灯して擬似スリット光４２０を生成する。また、カメラ２００から出力された撮像データに基づいて画像認識部１００によって三次元形状計測が行われた結果は、図示しないＰＣ等に出力され、ＰＣ等によってグラフ等のデータとして加工されて出力される。
【００４５】
実験では、まず、三次元形状計測装置１のＬＥＤ列３１１を１列点灯して対象物を照射する、すなわち、１本の擬似スリット光４２０により対象物を照射する。その照射光をカメラ２００により撮像し、撮像データに基づいて画像認識部１００によって光切断法により擬似スリット光４２０の光源中心の位置のカメラ２００からの距離を計測することで、擬似スリット光４２０による切断面の形状を計測する。
【００４６】
図１１は、板状の立体物の切断面形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対して板状の立体物５０２（例えばノート）を傾けて配置し、擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０２との間の距離の実測値は約７５ｃｍ（立体物５０２の下部）〜８０ｃｍ（立体物５０２の上部）である。
【００４７】
図１２は、図１１の実験環境により板状の立体物の切断面形状を計測したときの測定結果の概要を示した図である。左上の図は、カメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、板状の立体物５０２に擬似スリット光４２０が照射された状態を示している。このカメラ画像２１０のデータについて、例えば、上から２４０行目の画素ラインおよび２６０行目の画素ラインの輝度値を取得し、それぞれの輝度値の分布についてＥＭアルゴリズムを適用して正規分布曲線を推定したものが右図に示されている。
【００４８】
このように各画素ラインについて輝度値の正規分布曲線を推定し、光源中心の位置（カメラ２００からの距離）を推定したものをプロットした図が下図に示されている。下図では画素ラインを横軸としているため、図の左方がカメラ画像２１０での上方に相当する。なお、下図で示された光源中心の推定位置の情報が左上のカメラ画像２１０の図中に太線で追記されている。下図に示されるように、下図中の太線で示されたカメラ２００から立体物５０２までの距離の実測値とは若干の誤差があるが、立体物５０２の擬似スリット光４２０による切断面形状および距離をほぼ特定できていることが分かる。
【００４９】
同様に、図１３は、より複雑な形状の立体物の切断面形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対してより複雑な形状の立体物５０３（例えば市販の赤外線ヒーター）を配置し、擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０３との間の距離の実測値は約８５ｃｍである。
【００５０】
図１４は、図１３の実験環境により複雑な形状の立体物の切断面形状を計測したときの測定結果の概要を示した図である。左上の図は、カメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、複雑な形状の立体物５０３に擬似スリット光４２０が照射された状態を示している。このカメラ画像２１０のデータについて、例えば、上から２００行目の画素ラインおよび２４０行目の画素ラインの輝度値を取得し、それぞれの輝度分布についてＥＭアルゴリズムを適用して正規分布曲線を推定したものが右図に示されている。ここでは図１２の場合と比較して立体物５０３の形状が複雑であることから輝度値のばらつきが大きくなっているが、ＥＭアルゴリズムを適用することにより適切な正規分布曲線が推定できていることが分かる。
【００５１】
このように各画素ラインについて輝度値の正規分布曲線を推定し、光源中心の位置（カメラ２００からの距離）を推定したものをプロットした図が下図に示されている。下図では画素ラインを横軸としているため、図の左方がカメラ画像２１０での上方に相当する。なお、下図で示された光源中心の推定位置の情報が左上のカメラ画像２１０の図中に太線で追記されている。下図に示されるように、下図中の太線で示されたカメラ２００から立体物５０３までの距離の実測値とは若干の誤差があるが、複雑な形状の立体物５０３の擬似スリット光４２０による切断面形状および距離をほぼ特定できていることが分かる。
【００５２】
次の実験では、三次元形状計測装置１のＬＥＤ列３１１を１列ずつ順次点灯して対象物を照射する、すなわち、異なる擬似スリット光４２０により対象物を照射して走査する。その照射光をそれぞれカメラ２００により撮像し、撮像データに基づいて画像認識部１００によって光切断法によりそれぞれの擬似スリット光４２０の光源中心の位置のカメラ２００からの距離を計測する。本実験では２本の擬似スリット光４２０により走査しているが、実際は走査する擬似スリット光４２０の数をさらに増やすことで対象物の三次元形状をモデリングする。
【００５３】
図１５は、箱状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対して箱状の立体物５０４を配置し、異なるＬＥＤ列３１１からそれぞれ個別に２本の擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０４との間の距離の実測値は約６０ｃｍである。
【００５４】
図１６は、図１５の実験環境により箱状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。図１６の左の図は、２本の擬似スリット光４２０について、それぞれカメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、箱状の立体物５０４に擬似スリット光４２０が照射された状態を示している。
【００５５】
図１６の右の図は、２本の擬似スリット光４２０に対して、それぞれ上述した手法により光源中心の位置を推定した結果をプロットしている。図１６では画素ラインを縦軸としているため、図の上方がカメラ画像２１０での上方に相当する。なお、右の図で示された光源中心の推定位置の情報が左のカメラ画像２１０の図中にそれぞれ太線で追記されている。
【００５６】
図１６の右の図に示されるように、照射するＬＥＤ列３１１を順次切り換えて異なる擬似スリット光４２０によって対象物を照射して走査し、各擬似スリット光４２０についてそれぞれ対象物の切断面形状を計測して集計することにより、対象物の三次元形状をモデリングすることが可能であることが分かる。
【００５７】
同様に、図１７は、階段状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対して、階段状の立体物５０５（例えば、ずらして積み重ねた本）を配置し、異なるＬＥＤ列３１１からそれぞれ個別に２本の擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０５との間の距離の実測値は約６０ｃｍである。
【００５８】
図１８は、図１７の実験環境により階段状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。図１８の左の図は、２本の擬似スリット光４２０について、それぞれカメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、階段状の立体物５０５に擬似スリット光４２０が照射された状態を示している。
【００５９】
図１８の右の図は、２本の擬似スリット光４２０に対して、それぞれ上述した手法により光源中心の位置を推定した結果をプロットしている。図１８では画素ラインを縦軸としているため、図の上方がカメラ画像２１０での上方に相当する。なお、右の図で示された光源中心の推定位置の情報が左のカメラ画像２１０の図中にそれぞれ太線で追記されている。
【００６０】
図１８の右の図に示されるように、照射するＬＥＤ列３１１を順次切り換えて異なる擬似スリット光４２０によって対象物を照射して走査し、各擬似スリット光４２０についてそれぞれ対象物の切断面形状を計測して集計することにより、表面形状が複雑な対象物の三次元形状についてもモデリングすることが可能であることが分かる。
【００６１】
同様に、図１９は、傾いた箱状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対して、傾いた箱状の立体物５０６を配置し、異なるＬＥＤ列３１１からそれぞれ個別に２本の擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０６との間の距離の実測値は約５５ｃｍ（立体物５０６の下部）〜６０ｃｍ（立体物５０６の上部）である。
【００６２】
図２０は、図１９の実験環境により階段状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。図２０の左の図は、２本の擬似スリット光４２０について、それぞれカメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、傾いた箱状の立体物５０６に擬似スリット光４２０が照射された状態を示している。
【００６３】
図２０の右の図は、２本の擬似スリット光４２０に対して、それぞれ上述した手法により光源中心の位置を推定した結果をプロットしている。図２０では画素ラインを縦軸としているため、図の上方がカメラ画像２１０での上方に相当する。なお、右の図で示された光源中心の推定位置の情報が左のカメラ画像２１０の図中にそれぞれ太線で追記されている。
【００６４】
図２０の右の図に示されるように、照射するＬＥＤ列３１１を順次切り換えて異なる擬似スリット光４２０によって対象物を照射して走査し、各擬似スリット光４２０についてそれぞれ対象物の切断面形状を計測して集計することにより、奥行きのある対象物の三次元形状についてもモデリングすることが可能であることが分かる。
【００６５】
なお、以上に示した各実験の結果のカメラ画像２１０においては、擬似スリット光４２０が直接照射されていない領域や、照射されていても対象物がない領域では輝度が低くなっている。これらの領域における画素ラインで推定された擬似スリット光４２０の光源中心の位置は、輝度が低いことにより誤推定が生じ、画素ライン毎にばらつきが大きくなっている。従って、例えば、ばらつきが所定のレベル以上である領域のデータを除外するなどにより、対象物が存在する領域に絞り込んで三次元形状の計測を行うことができる。
【００６６】
以上に説明したように、本実施の形態の三次元計測装置によれば、光切断法を利用して、自動車等の車両の周辺物体についての三次元形状を計測する際に、カメラとして車両に設置されている後方認識用のカメラを用いる。また、スリット光の光源としてブレーキランプやバックランプなどＬＥＤが列状に配置された光源を用い、照射光を擬似スリット光として取り扱う。これらにより、車両に設置された既存の設備を用いて低コストで光切断法による三次元形状の計測を行うことが可能となる。
【００６７】
また、光切断法においてカメラ画像の各画素ラインでの光源中心の位置を推定する際に、各画素ラインにおける擬似スリット光の輝度分布を正規分布と仮定し、ＥＭアルゴリズムを適用して正規分布曲線を最尤推定して、その正規部分布曲線の中心を光源中心の位置と推定する。これにより、擬似スリット光を用いた場合であっても高精度で光切断法による三次元形状の計測を行うことが可能となる。
【００６８】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【００６９】
例えば、本実施の形態では図５に示すように三次元形状計測装置を車両における後方認識用として用いる場合を例としているが、これに限るものではなく、車両における後方以外の周辺の立体物の検知・認識に用いることもできる。また、車両以外の他の製造装置や検査装置等における立体物の三次元形状の計測手段に用いることもできる。
【産業上の利用可能性】
【００７０】
本発明の三次元形状計測装置および当該装置における処理を行う半導体集積回路は、車載環境における周辺監視手段等に利用可能である。
【符号の説明】
【００７１】
１…三次元形状計測装置、２…車両、
１００…画像認識部、１１０…ＣＰＵ、１２０…カメラＩ／Ｆ、１３０…光源Ｉ／Ｆ、
２００…カメラ、２０１…車載カメラ、２１０…カメラ画像、
３００…光源、３１０…光源列、３１１…ＬＥＤ列、３２０…光源、３２１…ＬＥＤ、３３０…光源制御装置、３４０…バックランプ、
４００…スリット、４１０…スリット光、４２０…擬似スリット光、
５００〜５０６…立体物。
【技術分野】
【０００１】
本発明は、光切断法を利用した非接触での三次元形状計測技術に関し、特に、車載環境における周辺監視手段等での利用に適した三次元形状計測装置および当該装置における処理を行う半導体集積回路に適用して有効な技術に関するものである。
【背景技術】
【０００２】
近年、自動車等の車両においては、運転の補助や事故の削減に資するため、車両の周辺物体の存在を認識・検知できるようにする手段が開発・提供されてきている。例えば、車両の後方に設置したカメラで撮像した画像を運転席に設置したモニタに表示することで、車両後退時に運転者によって周辺の障害物等を識別できるようにする後方認識手段などが提供されている。
【０００３】
また、車両の周辺物体の情報に基づいて車両が自身の挙動を制御することも可能となるように、車両自身が周辺物体を認識可能とする技術も開発されている。これには、例えば、レーダやセンサ等を用いるものがある。また、カメラを用いた画像処理によって周辺物体の三次元形状を非接触で計測し、車両だけでなく運転者にも周辺物体の形状を認識可能とする手法として、いわゆるステレオカメラ法を用いるものが提案されている。
【０００４】
ステレオカメラ法では、２つのカメラから撮像された画像に対し、２つのカメラのそれぞれの結像の特性（レンズの焦点距離、画像中心、画素サイズなど）、２つのカメラの位置、姿勢、および２つの画像における点の対応の情報に基づいて、その対応する点の空間での位置を特定することができる。
【０００５】
これに関連する技術として、例えば、特開２００４−１９８２１２号公報（特許文献１）には以下のような技術が開示されている。すなわち、移動体が移動中に、光パターン投影手段によって特定平面上に対し所定の光パターンを投影し、撮像手段が撮像した画像の中から、光パターン内の少なくとも四つの特徴点を特徴点抽出手段によって抽出する。移動体が第１の状態から第２の状態に移動したときに抽出した前記特徴点を、特徴点追跡手段によって追跡する。この追跡結果に基づき、移動状態特定手段にて、第１及び第２の状態で撮像した画像の前記特徴点の平面座標に応じて、撮像手段ひいては移動体の相対的な位置及び姿勢を特定する。これにより、単一の撮像手段によって２点から撮像した画像に基づいて、ステレオカメラ法により精度の高い画像表示を行うことを可能とする。
【０００６】
一方、物体の三次元形状を非接触で計測する技術としては、上記のステレオカメラ法の他にスリット光を用いた光切断法も広く用いられている。この方法では、スリット光を対象物に照射し、スリット光の照射方向に対して光軸を所定の角度ずらして配置した単眼カメラで撮像する。撮像されたスリット光の画像データから画像処理によりスリット光の位置を特定し、対象物が存在しない場合のスリット光の位置との差分に基づいて、三角測量の原理により対象物の切断面形状に対応する位置データを求めて三次元形状を計測する。
【０００７】
光切断法による三次元形状の計測方法に関連した技術としては種々のものがあり、例えば、特開平１１−１６００５０号公報（特許文献２）には以下のような三次元形状の計測装置が開示されている。すなわち、算出手段のピーク検出部により、各水平走査線上において最大輝度レベルとなる一つの画素位置のみをスリット光の通過位置として処理する。また、算出手段が比較部と更新部とを備えており、一画面分の記憶容量の輝度メモリに対して、既に取り込まれた一つのスリット光画像の上から新たに他のスリット光画像を取り込む。これらにより、測定対象物の表面の反射率の違いや背景光等の輝度の低いノイズを拾うことがなく計測の精度の向上を図ることが可能となり、また、従来のように撮像回数と等しい画面数のメモリを必要とせず、省メモリ化を図ることが可能となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１９８２１２号公報
【特許文献２】特開平１１−１６００５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
自動車等の車両において周辺物体を認識する際に、例えば、車両に設置したカメラで撮像した画像を運転席に設置したモニタに表示するような後方認識手段では、日中であれば運転者が周辺物体をモニタにより視認することが可能である。しかし、夜間の場合は周囲が暗くなり画像も暗くなるため、運転者が周辺物体を視認することが難しい場合がある。これに対して、例えば、カメラを暗視カメラ等にすることはコストが高くなるため車載用途としては適当ではない。同様に、レーダやセンサ等を利用する場合でも、運転者が周辺物体を視認することはできず、またこれらを設置するためのコストも高くなる。
【００１０】
また、特許文献１において利用されているステレオカメラ法を用いる場合も同様に、夜間の場合は周辺物体を識別することは難しい。また、一般的には周辺物体に対する距離情報を得るために２台のカメラを必要とするため、これを増設することはコストが高くなり、やはり車載用途としては適当ではない。また、特許文献１に記載されているように１台のカメラで行う場合であっても、車両の移動により２点から撮像することが必要であり、車両の停止状態における周辺監視ができない場合がある。
【００１１】
一方で、上述したような光切断法では、スリット光を照射してその照射位置を特定するため、むしろ夜間など周囲が暗いほうがノイズとなる光が少なく精度良く周辺物体の三次元形状を計測することができる。従って、夜間であっても車両の周辺物体を検知・認識するためには、光切断法を利用することが考えられる。さらに、光切断法では単一のカメラによって計測するため、後方認識用カメラなどの既存の車載カメラを利用することもできる。
【００１２】
ここで、特許文献２などにもあるように、光切断法による三次元形状計測方法では、一般的にスリット光の光源には拡散が少ないレーザ光源が用いられる。従って、この方法を自動車等の車両における周辺監視手段に適用しようとした場合、レーザ光源を車両に搭載して車両周囲を照射する必要がある。しかし、レーザ光源によって車両周囲を照射することには危険性が伴う。また、レーザ光源を新たに搭載することはコスト増となるため、可能な限り新たな装置を車両に設置することなく実装できることが望ましい。
【００１３】
そこで本発明の目的は、低コストで車載環境における周辺監視手段での利用に適した光切断法による三次元形状計測装置および当該装置における処理を行う半導体集積回路を提供することにある。本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１４】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
【００１５】
本発明の代表的な実施の形態は、三次元形状計測装置および当該装置における処理を行う半導体集積回路などに適用される。前記三次元形状計測装置は、複数の光源の配列からなり、監視領域に対して光を照射する光源列と、前記光源列により照射された前記監視領域を撮像し、撮像した画像をデジタルデータにより出力するカメラと、前記カメラおよび前記光源列に対する入出力を行うインタフェースと、ＣＰＵとを有する画像認識部とを有し、光切断法により前記監視領域に存在する立体物の三次元形状を計測するものであって、以下のような特徴を有するものである。
【００１６】
すなわち、前記画像認識部は、前記光源列から照射された光を、照射面において前記光源列内の前記各光源から照射された光の光源中心を結ぶ線分を含む照射パターンで照射するスリット光とみなし、前記スリット光とみなされた擬似スリット光が照射された前記監視領域について前記カメラによって撮像された画像データから、光切断法により、前記画像データの画素ライン毎に、前記各画素ラインの輝度データに基づいて推定した前記擬似スリット光の照射位置の情報と、前記監視領域に前記立体物が存在しない場合の前記照射パターンとの差分に基づいて前記擬似スリット光の前記照射位置における前記カメラからの距離を算出し、算出した距離の情報に基づいて前記監視領域に存在する前記立体物の前記擬似スリット光による切断面形状を計測することを特徴とする。
【発明の効果】
【００１７】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００１８】
本発明の代表的な実施の形態によれば、光切断法による三次元形状計測において、自動車等の車両での後方認識用等に用いられるカメラを利用し、また、ブレーキランプやバックランプ等に用いられる光源を擬似スリット光として利用することができるため、車両の周辺物体の三次元形状の計測を行う周辺監視手段を低コストで実現することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態である三次元形状計測装置の構成例の概要を示した図である。
【図２】一般的な光切断法による三次元形状の計測方法の概要について説明する図である。
【図３】ＬＥＤを光源として単純に対象物に照射した場合の例を示した図である。
【図４】本発明の一実施の形態における擬似スリット光の例の概要を説明する図である。
【図５】本発明の一実施の形態である三次元形状計測装置を車両に適用した場合の例を示した図である。
【図６】本発明の一実施の形態である三次元形状計測装置における光源の構成例を示した図である。
【図７】本発明の一実施の形態における擬似スリット光を用いた光切断法による三次元形状の計測方法の概要について説明する図である。
【図８】本発明の一実施の形態における擬似スリット光を立体物に照射したときのカメラ画像における画素ラインの輝度値の例を示した図である。
【図９】本発明の一実施の形態における画素ラインにおける輝度値の分布から正規分布曲線を推定する例を示した図である。
【図１０】本発明の一実施の形態における実験に使用した三次元形状計測装置の概要を模式的に示した図である。
【図１１】本発明の一実施の形態における板状の立体物の切断面形状を計測したときの実験環境の概要を模式的に示した図である。
【図１２】本発明の一実施の形態における板状の立体物の切断面形状を計測したときの測定結果の概要を示した図である。
【図１３】本発明の一実施の形態におけるより複雑な形状の立体物の切断面形状を計測したときの実験環境の概要を模式的に示した図である。
【図１４】本発明の一実施の形態におけるより複雑な形状の立体物の切断面形状を計測したときの測定結果の概要を示した図である。
【図１５】本発明の一実施の形態における箱状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。
【図１６】本発明の一実施の形態における箱状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。
【図１７】本発明の一実施の形態における階段状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。
【図１８】本発明の一実施の形態における階段状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。
【図１９】本発明の一実施の形態における傾いた箱状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。
【図２０】本発明の一実施の形態における傾いた箱状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００２１】
［光切断法による三次元形状計測］
図２は、一般的な光切断法による三次元形状の計測方法の概要について説明する図である。図２において、光源３００から照射された光は、スリット４００によってスリット光４１０とされ、立体物５００に照射されている。精度の高いスリット光４００を得るため、光源３００には拡散の少ないレーザ光源などが用いられる。
【００２２】
立体物５００に照射したスリット光を、当該スリット光の照射方向に対して光軸を所定の角度ずらして配置したカメラ２００で撮像する。カメラ画像２１０は、撮像された立体物５００およびスリット光４１０の状態を示している。このカメラ画像２１０の各画素ライン（カメラ画像２１０における点線）を走査し、各画素ラインでのスリット光４１０の照射位置を画像処理により特定する（例えば、特許文献２のように輝度がピークの画素とする）。
【００２３】
特定したスリット光４１０の照射位置と、予め保持している立体物５００が存在しない場合のスリット光４１０の照射位置（照射パターン）との差分に基づいて、三角測量の原理により、特定したスリット光４１０の照射位置の光源３００もしくはカメラ２００からの距離、すなわち、立体物５００のスリット光４１０による切断面形状に対応する距離データを算出する。スリット光４１０の照射位置を立体物５００に対して少しずつ変えて走査し、立体物５００の各切断面形状の距離データを同様に算出して集計することで、立体物５００の三次元形状を計測することができる。
【００２４】
なお、スリット光４１０の照射パターンは直線状である必要はない。例えば、曲線状のスリット光４１０であっても、各画素ラインにおいて立体物５００が存在する場合としない場合とのスリット光４１０の位置の差分に基づいて同様に切断面形状を計測することができる。
【００２５】
ここで、上述した光切断法を自動車等の車両に適用する場合、危険性やコストの観点からレーザ光源を光源として用いることは適当ではない。そこで、車両に一般的に設置されているブレーキランプやバックランプなどの車両外部を照射するランプを光源として用いることを考える。近年、ブレーキランプ等の車載のランプには、消費電力や寿命、輝度、反応速度などの観点から光源としてＬＥＤ（Light Emitting Diode：発光ダイオード）の使用が拡大している。
【００２６】
図３は、ＬＥＤを光源として単純に対象物に照射した場合の例を示した図である。図３に示すように、光源３２０をＬＥＤとした場合、ＬＥＤの光は拡散するためそのままでは照射光はスリット光とはならない。また、実際にスリットを配置することは、車載のランプとしての用途をなさなくなるため適当ではない。
【００２７】
そこで、本実施の形態では、１つのＬＥＤにつき１つの光源中心があるとし、それを並べたものをスリット光と見立てる。図４は、擬似スリット光の例の概要を説明する図である。図４に示すように、本実施の形態では、光源（ＬＥＤ）を複数並べた配列（光源列）によって対象物を照射することにより、照射面に対して各光源中心を結んだ線分を含む照射パターンで照射するスリット光（擬似スリット光）であるものとして取り扱う。
【００２８】
なお、擬似スリット光についても照射パターンは直線状である必要はない。すなわち、図４における擬似スリット光の各光源中心（および実際の光源の配列）は直線状に並んでいなくてもよく、折れ線や曲線で結ばれる配列であってもよい。また、本実施の形態では、図４や以降の例において光源を縦方向に並べることにより擬似スリット光を縦方向の直線状としているが、横方向や斜め方向等に並べたものであってもよい。
【００２９】
図１は、上述した擬似スリット光を用いた、本発明の一実施の形態である三次元形状計測装置の構成例の概要を示した図である。三次元形状計測装置１は、画像認識部１００、カメラ２００、複数の光源３２０の配列からなる光源列３１０、光源制御装置３３０とを有する構成となっている。光源列３１０から上述したような擬似スリット光４２０を出力して立体物５００を照射し、照射光をカメラ２００で撮像する。カメラ２００での撮像データ、およびカメラ２００と光源列３１０の相対位置の情報に基づいて、画像認識部１００での演算処理により光切断法によって立体物５００の切断面形状を計測する。
【００３０】
画像認識部１００は、ＣＰＵ（Central Processing Unit）１１０、カメラインタフェース（Ｉ／Ｆ）１２０、光源インタフェース（Ｉ／Ｆ）１３０を有し、例えば、ＬＳＩ（Large Scale Integration）等の半導体集積回路により実現される。カメラＩ／Ｆ１２０および光源Ｉ／Ｆ１３０は、それぞれ、カメラ２００および光源制御装置３３０を介した光源列３１０に対する入出力のインタフェースを提供する。ＣＰＵ１１０は、ソフトウェアプログラムの実行により、カメラ２００での撮像データに基づいて光切断法によって立体物５００の切断面形状を計測し、処理結果を出力する。また、カメラＩ／Ｆ１２０および光源Ｉ／Ｆ１３０を介してカメラ２００および光源３２０の動作を制御する。
【００３１】
カメラ２００は、立体物５００に照射された擬似スリット光４２０を撮像し、撮像データを画像認識部１００に出力する。カメラ２００は、例えば、デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラである。光源３２０は、ＬＥＤなどのレーザではない光源であり、複数の光源３２０の配列である光源列３１０が点灯することで擬似スリット光４２０を照射する。光源列３１０を複数列有していてもよい。光源制御装置３３０は、ＣＰＵ１１０からの指示に基づいて光源列３１０の点灯／消灯などを制御する。
【００３２】
図５は、本実施の形態の三次元形状計測装置１を車両に適用した場合の例を示した図である。例えば、図１におけるカメラ２００に相当するものとして、後方認識用の車載カメラ２０１が車両２の後方に配置されている。また、図１における光源列３１０および光源制御装置３３０に相当するものとして、複数のＬＥＤを利用したバックランプ３４０を用いている。バックランプ３４０は車両２の左右両側に存在するため、擬似スリット光４２０を左右両側から照射することができる。また、車両２の内部の特定の位置には、図１における画像認識部１００が配置される。
【００３３】
この構成により、車両２の後方の監視領域に存在する立体物５０１について、画像認識部１００がその距離と三次元形状を計測して出力することができ、夜間等であっても車両２の運転席に設置されたモニタ等により運転者が視認することが可能となる。また、事故回避のため立体物５０１の認識によって車両２の挙動を自動的に制御してもよい。
【００３４】
図６は、本実施の形態の三次元形状計測装置１における光源の構成例を示した図である。図６の構成は、図５におけるバックランプ３４０等の内部の構成と同等のものであり、その光源としてＬＥＤ３２１を使用している。本実施の形態では、例えば赤色ＬＥＤを使用するものとする。このＬＥＤ３２１を複数（図６の例では１０個）列状に並べたＬＥＤ３２１を複数列（図６の例では８列）有する。
【００３５】
このＬＥＤ列３１１を１列毎に点灯させて（例えば図６の例では、右から２列目のＬＥＤ列３１１が点灯している）、図４に示したような擬似スリット光を生成する。点灯するＬＥＤ列３１１を順次変更することによって擬似スリット光の照射位置を立体物５００上で変更して走査することができる。
【００３６】
図７は、擬似スリット光４２０を用いた光切断法による三次元形状の計測方法の概要について説明する図である。図７において、ＬＥＤ列３１１から立体物５００に照射された光は擬似スリット光４２０として取り扱われる。カメラ２００によって撮像したカメラ画像２１０に対して、後述する手法により各画素ラインでの擬似スリット光４２０の照射位置、すなわち光源中心の位置を特定する。擬似スリット光４２０の光源中心の位置が特定された後は、図２で説明したものと同様の手法によって三角測量の原理により立体物５００の切断面形状を計測することができる。
【００３７】
また、点灯するＬＥＤ列３１１を変更して擬似スリット光４２０の照射位置を変更し、各擬似スリット光４２０について上述した手法により立体物５００の切断面形状を計測して集計することで、立体物５００の三次元形状を計測することができる。
【００３８】
図８は、擬似スリット光４２０を立体物５００に照射したときのカメラ画像２１０における画素ラインの輝度値の例を示した図である。左側のカメラ画像２１０は、ＬＥＤ列３１１から擬似スリット光４２０を立体物５００に照射したものをカメラ２００にて撮像した場合の撮像画像の例を示している。カメラ画像２１０中の点線は撮像データにおける各画素ラインを示している。そのうちの太点線で示される画素ラインを例として、各画素の水平方向の位置とその赤成分の輝度値を示したものが右側の図である。
【００３９】
この輝度の分布データに基づいて当該画素ラインにおける擬似スリット光４２０の照射位置（光源中心の位置）を推定する。このとき、特許文献２に記載されているように輝度値がピーク値となる位置を光源中心と推定することも可能である。しかしながら、擬似スリット光４２０ではスリット光４１０と異なり照射光が拡散しているため、輝度のピーク値による推定では誤差が大きくなる。そこで本実施の形態では、図８の右側の図の輝度値の分布が正規分布に従っていると仮定し、輝度の分布を表す正規分布曲線を推定してその中心位置を光源中心と推定する。
【００４０】
図９は、画素ラインにおける輝度値の分布から正規分布曲線を推定する例を示した図である。本実施の形態では、得られた輝度値のデータから数値解析的に正規分布曲線を推定する手法として、例えば、ＥＭ（Expectation-maximization）アルゴリズムを用いる。
【００４１】
ＥＭアルゴリズムの詳細については一般に知られているため本明細書では説明を省略するが、確率モデル（本実施の形態では正規分布曲線）のパラメータを反復法により数値解析的に最尤推定するアルゴリズムであり、特に確率モデルが観測できない隠れたパラメータに依存する場合に用いられる。ＥＭアルゴリズムは他の推定手法と比べて良い解に収束し易く、また実装が簡単になることが多く処理速度も基本的に高速であるため有効である。
【００４２】
図９の下図では、上図の輝度値の分布に対してＥＭアルゴリズムを適用して正規分布曲線を推定した場合の例を示している。この正規分布曲線の中心の位置を当該画素ラインでの擬似スリット光４２０の光源中心の位置と推定する。この処理を全画素ラインについて行うことで、擬似スリット光４２０の光源中心の位置を推定することができる。なお、本実施の形態では正規分布曲線を推定する際にＥＭアルゴリズムを用いているが、他のアルゴリズムを用いることも当然可能である。
【００４３】
［実験結果］
以下では、上述した擬似スリット光４２０を用いた光切断法による三次元形状計測手法により、種々の立体物５００の三次元形状を計測する実験を行った結果について説明する。
【００４４】
図１０は、実験に使用した三次元形状計測装置１の概要を模式的に示した図である。画像認識部１００に対してカメラ２００と光源３２０であるＬＥＤ３２１が接続されている。ＬＥＤ３２１は縦に１０個並べたＬＥＤ列３１１として５列配置されている。ＬＥＤ列３１１は画像認識部１００によって制御されて１列ずつ点灯して擬似スリット光４２０を生成する。また、カメラ２００から出力された撮像データに基づいて画像認識部１００によって三次元形状計測が行われた結果は、図示しないＰＣ等に出力され、ＰＣ等によってグラフ等のデータとして加工されて出力される。
【００４５】
実験では、まず、三次元形状計測装置１のＬＥＤ列３１１を１列点灯して対象物を照射する、すなわち、１本の擬似スリット光４２０により対象物を照射する。その照射光をカメラ２００により撮像し、撮像データに基づいて画像認識部１００によって光切断法により擬似スリット光４２０の光源中心の位置のカメラ２００からの距離を計測することで、擬似スリット光４２０による切断面の形状を計測する。
【００４６】
図１１は、板状の立体物の切断面形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対して板状の立体物５０２（例えばノート）を傾けて配置し、擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０２との間の距離の実測値は約７５ｃｍ（立体物５０２の下部）〜８０ｃｍ（立体物５０２の上部）である。
【００４７】
図１２は、図１１の実験環境により板状の立体物の切断面形状を計測したときの測定結果の概要を示した図である。左上の図は、カメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、板状の立体物５０２に擬似スリット光４２０が照射された状態を示している。このカメラ画像２１０のデータについて、例えば、上から２４０行目の画素ラインおよび２６０行目の画素ラインの輝度値を取得し、それぞれの輝度値の分布についてＥＭアルゴリズムを適用して正規分布曲線を推定したものが右図に示されている。
【００４８】
このように各画素ラインについて輝度値の正規分布曲線を推定し、光源中心の位置（カメラ２００からの距離）を推定したものをプロットした図が下図に示されている。下図では画素ラインを横軸としているため、図の左方がカメラ画像２１０での上方に相当する。なお、下図で示された光源中心の推定位置の情報が左上のカメラ画像２１０の図中に太線で追記されている。下図に示されるように、下図中の太線で示されたカメラ２００から立体物５０２までの距離の実測値とは若干の誤差があるが、立体物５０２の擬似スリット光４２０による切断面形状および距離をほぼ特定できていることが分かる。
【００４９】
同様に、図１３は、より複雑な形状の立体物の切断面形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対してより複雑な形状の立体物５０３（例えば市販の赤外線ヒーター）を配置し、擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０３との間の距離の実測値は約８５ｃｍである。
【００５０】
図１４は、図１３の実験環境により複雑な形状の立体物の切断面形状を計測したときの測定結果の概要を示した図である。左上の図は、カメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、複雑な形状の立体物５０３に擬似スリット光４２０が照射された状態を示している。このカメラ画像２１０のデータについて、例えば、上から２００行目の画素ラインおよび２４０行目の画素ラインの輝度値を取得し、それぞれの輝度分布についてＥＭアルゴリズムを適用して正規分布曲線を推定したものが右図に示されている。ここでは図１２の場合と比較して立体物５０３の形状が複雑であることから輝度値のばらつきが大きくなっているが、ＥＭアルゴリズムを適用することにより適切な正規分布曲線が推定できていることが分かる。
【００５１】
このように各画素ラインについて輝度値の正規分布曲線を推定し、光源中心の位置（カメラ２００からの距離）を推定したものをプロットした図が下図に示されている。下図では画素ラインを横軸としているため、図の左方がカメラ画像２１０での上方に相当する。なお、下図で示された光源中心の推定位置の情報が左上のカメラ画像２１０の図中に太線で追記されている。下図に示されるように、下図中の太線で示されたカメラ２００から立体物５０３までの距離の実測値とは若干の誤差があるが、複雑な形状の立体物５０３の擬似スリット光４２０による切断面形状および距離をほぼ特定できていることが分かる。
【００５２】
次の実験では、三次元形状計測装置１のＬＥＤ列３１１を１列ずつ順次点灯して対象物を照射する、すなわち、異なる擬似スリット光４２０により対象物を照射して走査する。その照射光をそれぞれカメラ２００により撮像し、撮像データに基づいて画像認識部１００によって光切断法によりそれぞれの擬似スリット光４２０の光源中心の位置のカメラ２００からの距離を計測する。本実験では２本の擬似スリット光４２０により走査しているが、実際は走査する擬似スリット光４２０の数をさらに増やすことで対象物の三次元形状をモデリングする。
【００５３】
図１５は、箱状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対して箱状の立体物５０４を配置し、異なるＬＥＤ列３１１からそれぞれ個別に２本の擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０４との間の距離の実測値は約６０ｃｍである。
【００５４】
図１６は、図１５の実験環境により箱状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。図１６の左の図は、２本の擬似スリット光４２０について、それぞれカメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、箱状の立体物５０４に擬似スリット光４２０が照射された状態を示している。
【００５５】
図１６の右の図は、２本の擬似スリット光４２０に対して、それぞれ上述した手法により光源中心の位置を推定した結果をプロットしている。図１６では画素ラインを縦軸としているため、図の上方がカメラ画像２１０での上方に相当する。なお、右の図で示された光源中心の推定位置の情報が左のカメラ画像２１０の図中にそれぞれ太線で追記されている。
【００５６】
図１６の右の図に示されるように、照射するＬＥＤ列３１１を順次切り換えて異なる擬似スリット光４２０によって対象物を照射して走査し、各擬似スリット光４２０についてそれぞれ対象物の切断面形状を計測して集計することにより、対象物の三次元形状をモデリングすることが可能であることが分かる。
【００５７】
同様に、図１７は、階段状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対して、階段状の立体物５０５（例えば、ずらして積み重ねた本）を配置し、異なるＬＥＤ列３１１からそれぞれ個別に２本の擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０５との間の距離の実測値は約６０ｃｍである。
【００５８】
図１８は、図１７の実験環境により階段状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。図１８の左の図は、２本の擬似スリット光４２０について、それぞれカメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、階段状の立体物５０５に擬似スリット光４２０が照射された状態を示している。
【００５９】
図１８の右の図は、２本の擬似スリット光４２０に対して、それぞれ上述した手法により光源中心の位置を推定した結果をプロットしている。図１８では画素ラインを縦軸としているため、図の上方がカメラ画像２１０での上方に相当する。なお、右の図で示された光源中心の推定位置の情報が左のカメラ画像２１０の図中にそれぞれ太線で追記されている。
【００６０】
図１８の右の図に示されるように、照射するＬＥＤ列３１１を順次切り換えて異なる擬似スリット光４２０によって対象物を照射して走査し、各擬似スリット光４２０についてそれぞれ対象物の切断面形状を計測して集計することにより、表面形状が複雑な対象物の三次元形状についてもモデリングすることが可能であることが分かる。
【００６１】
同様に、図１９は、傾いた箱状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対して、傾いた箱状の立体物５０６を配置し、異なるＬＥＤ列３１１からそれぞれ個別に２本の擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０６との間の距離の実測値は約５５ｃｍ（立体物５０６の下部）〜６０ｃｍ（立体物５０６の上部）である。
【００６２】
図２０は、図１９の実験環境により階段状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。図２０の左の図は、２本の擬似スリット光４２０について、それぞれカメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、傾いた箱状の立体物５０６に擬似スリット光４２０が照射された状態を示している。
【００６３】
図２０の右の図は、２本の擬似スリット光４２０に対して、それぞれ上述した手法により光源中心の位置を推定した結果をプロットしている。図２０では画素ラインを縦軸としているため、図の上方がカメラ画像２１０での上方に相当する。なお、右の図で示された光源中心の推定位置の情報が左のカメラ画像２１０の図中にそれぞれ太線で追記されている。
【００６４】
図２０の右の図に示されるように、照射するＬＥＤ列３１１を順次切り換えて異なる擬似スリット光４２０によって対象物を照射して走査し、各擬似スリット光４２０についてそれぞれ対象物の切断面形状を計測して集計することにより、奥行きのある対象物の三次元形状についてもモデリングすることが可能であることが分かる。
【００６５】
なお、以上に示した各実験の結果のカメラ画像２１０においては、擬似スリット光４２０が直接照射されていない領域や、照射されていても対象物がない領域では輝度が低くなっている。これらの領域における画素ラインで推定された擬似スリット光４２０の光源中心の位置は、輝度が低いことにより誤推定が生じ、画素ライン毎にばらつきが大きくなっている。従って、例えば、ばらつきが所定のレベル以上である領域のデータを除外するなどにより、対象物が存在する領域に絞り込んで三次元形状の計測を行うことができる。
【００６６】
以上に説明したように、本実施の形態の三次元計測装置によれば、光切断法を利用して、自動車等の車両の周辺物体についての三次元形状を計測する際に、カメラとして車両に設置されている後方認識用のカメラを用いる。また、スリット光の光源としてブレーキランプやバックランプなどＬＥＤが列状に配置された光源を用い、照射光を擬似スリット光として取り扱う。これらにより、車両に設置された既存の設備を用いて低コストで光切断法による三次元形状の計測を行うことが可能となる。
【００６７】
また、光切断法においてカメラ画像の各画素ラインでの光源中心の位置を推定する際に、各画素ラインにおける擬似スリット光の輝度分布を正規分布と仮定し、ＥＭアルゴリズムを適用して正規分布曲線を最尤推定して、その正規部分布曲線の中心を光源中心の位置と推定する。これにより、擬似スリット光を用いた場合であっても高精度で光切断法による三次元形状の計測を行うことが可能となる。
【００６８】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【００６９】
例えば、本実施の形態では図５に示すように三次元形状計測装置を車両における後方認識用として用いる場合を例としているが、これに限るものではなく、車両における後方以外の周辺の立体物の検知・認識に用いることもできる。また、車両以外の他の製造装置や検査装置等における立体物の三次元形状の計測手段に用いることもできる。
【産業上の利用可能性】
【００７０】
本発明の三次元形状計測装置および当該装置における処理を行う半導体集積回路は、車載環境における周辺監視手段等に利用可能である。
【符号の説明】
【００７１】
１…三次元形状計測装置、２…車両、
１００…画像認識部、１１０…ＣＰＵ、１２０…カメラＩ／Ｆ、１３０…光源Ｉ／Ｆ、
２００…カメラ、２０１…車載カメラ、２１０…カメラ画像、
３００…光源、３１０…光源列、３１１…ＬＥＤ列、３２０…光源、３２１…ＬＥＤ、３３０…光源制御装置、３４０…バックランプ、
４００…スリット、４１０…スリット光、４２０…擬似スリット光、
５００〜５０６…立体物。
【特許請求の範囲】
【請求項１】
複数の光源の配列からなり、監視領域に対して光を照射する光源列と、
前記光源列により照射された前記監視領域を撮像し、撮像した画像をデジタルデータにより出力するカメラと、
前記カメラおよび前記光源列に対する入出力を行うインタフェースと、ＣＰＵとを有する画像認識部とを有し、光切断法により前記監視領域に存在する立体物の三次元形状を計測する三次元形状計測装置であって、
前記画像認識部は、前記光源列から照射された光を、照射面において前記光源列内の前記各光源から照射された光の光源中心を結ぶ線分を含む照射パターンで照射するスリット光とみなし、前記スリット光とみなされた擬似スリット光が照射された前記監視領域について前記カメラによって撮像された画像データから、光切断法により、前記画像データの画素ライン毎に、前記各画素ラインの輝度データに基づいて推定した前記擬似スリット光の照射位置の情報と、前記監視領域に前記立体物が存在しない場合の前記照射パターンとの差分に基づいて前記擬似スリット光の前記照射位置における前記カメラからの距離を算出し、算出した距離の情報に基づいて前記監視領域に存在する前記立体物の前記擬似スリット光による切断面形状を計測することを特徴とする三次元形状計測装置。
【請求項２】
請求項１に記載の三次元形状計測装置において、
前記光源列を構成する前記各光源はＬＥＤであることを特徴とする三次元形状計測装置。
【請求項３】
請求項２に記載の三次元形状計測装置において、
前記光源列を構成する前記各光源は車両に設置されているバックランプもしくはブレーキランプもしくは前記車両の外部を照射するその他のランプを構成するＬＥＤであり、
前記カメラは、前記車両に設置されている後方認識用カメラであることを特徴とする三次元形状計測装置。
【請求項４】
請求項１〜３のいずれか１項に記載の三次元形状計測装置において、
前記画像認識部は、前記カメラによって撮像された前記画像データから、前記各画素ラインにおける前記擬似スリット光の前記照射位置を推定する際に、前記各画素ラインの輝度の分布を表す正規分布曲線を推定し、前記正規分布曲線の中心を前記照射位置として推定することを特徴とする三次元形状計測装置。
【請求項５】
請求項４に記載の三次元形状計測装置において、
前記画像認識部は、前記各画素ラインの輝度の分布を表す前記正規分布曲線を推定する際に、ＥＭアルゴリズムを用いることを特徴とする三次元形状計測装置。
【請求項６】
請求項１〜５のいずれか１項に記載の三次元形状計測装置において、
前記光源列を構成する前記各光源の配列、および、前記光源列によって照射される前記擬似スリット光の前記照射パターンはともに直線状であることを特徴とする三次元形状計測装置。
【請求項７】
請求項１〜６のいずれか１項に記載の三次元形状計測装置において、
前記監視領域の異なる場所をそれぞれ照射する複数の前記光源列を有し、
前記画像認識部は、複数の前記光源列を順次点灯することによって前記監視領域の異なる場所を前記擬似スリット光によりそれぞれ照射し、前記各擬似スリット光の前記照射位置における前記カメラからの距離をそれぞれ算出し、算出した距離の情報に基づいて前記監視領域に存在する前記立体物の三次元形状を計測することを特徴とする三次元形状計測装置。
【請求項８】
請求項１〜７のいずれか１項に記載の三次元形状計測装置における前記画像認識部として動作することを特徴とする半導体集積回路。
【請求項１】
複数の光源の配列からなり、監視領域に対して光を照射する光源列と、
前記光源列により照射された前記監視領域を撮像し、撮像した画像をデジタルデータにより出力するカメラと、
前記カメラおよび前記光源列に対する入出力を行うインタフェースと、ＣＰＵとを有する画像認識部とを有し、光切断法により前記監視領域に存在する立体物の三次元形状を計測する三次元形状計測装置であって、
前記画像認識部は、前記光源列から照射された光を、照射面において前記光源列内の前記各光源から照射された光の光源中心を結ぶ線分を含む照射パターンで照射するスリット光とみなし、前記スリット光とみなされた擬似スリット光が照射された前記監視領域について前記カメラによって撮像された画像データから、光切断法により、前記画像データの画素ライン毎に、前記各画素ラインの輝度データに基づいて推定した前記擬似スリット光の照射位置の情報と、前記監視領域に前記立体物が存在しない場合の前記照射パターンとの差分に基づいて前記擬似スリット光の前記照射位置における前記カメラからの距離を算出し、算出した距離の情報に基づいて前記監視領域に存在する前記立体物の前記擬似スリット光による切断面形状を計測することを特徴とする三次元形状計測装置。
【請求項２】
請求項１に記載の三次元形状計測装置において、
前記光源列を構成する前記各光源はＬＥＤであることを特徴とする三次元形状計測装置。
【請求項３】
請求項２に記載の三次元形状計測装置において、
前記光源列を構成する前記各光源は車両に設置されているバックランプもしくはブレーキランプもしくは前記車両の外部を照射するその他のランプを構成するＬＥＤであり、
前記カメラは、前記車両に設置されている後方認識用カメラであることを特徴とする三次元形状計測装置。
【請求項４】
請求項１〜３のいずれか１項に記載の三次元形状計測装置において、
前記画像認識部は、前記カメラによって撮像された前記画像データから、前記各画素ラインにおける前記擬似スリット光の前記照射位置を推定する際に、前記各画素ラインの輝度の分布を表す正規分布曲線を推定し、前記正規分布曲線の中心を前記照射位置として推定することを特徴とする三次元形状計測装置。
【請求項５】
請求項４に記載の三次元形状計測装置において、
前記画像認識部は、前記各画素ラインの輝度の分布を表す前記正規分布曲線を推定する際に、ＥＭアルゴリズムを用いることを特徴とする三次元形状計測装置。
【請求項６】
請求項１〜５のいずれか１項に記載の三次元形状計測装置において、
前記光源列を構成する前記各光源の配列、および、前記光源列によって照射される前記擬似スリット光の前記照射パターンはともに直線状であることを特徴とする三次元形状計測装置。
【請求項７】
請求項１〜６のいずれか１項に記載の三次元形状計測装置において、
前記監視領域の異なる場所をそれぞれ照射する複数の前記光源列を有し、
前記画像認識部は、複数の前記光源列を順次点灯することによって前記監視領域の異なる場所を前記擬似スリット光によりそれぞれ照射し、前記各擬似スリット光の前記照射位置における前記カメラからの距離をそれぞれ算出し、算出した距離の情報に基づいて前記監視領域に存在する前記立体物の三次元形状を計測することを特徴とする三次元形状計測装置。
【請求項８】
請求項１〜７のいずれか１項に記載の三次元形状計測装置における前記画像認識部として動作することを特徴とする半導体集積回路。
【図１】
【図２】
【図５】
【図６】
【図９】
【図１０】
【図１１】
【図１３】
【図１５】
【図１７】
【図１９】
【図３】
【図４】
【図７】
【図８】
【図１２】
【図１４】
【図１６】
【図１８】
【図２０】
【図２】
【図５】
【図６】
【図９】
【図１０】
【図１１】
【図１３】
【図１５】
【図１７】
【図１９】
【図３】
【図４】
【図７】
【図８】
【図１２】
【図１４】
【図１６】
【図１８】
【図２０】
【公開番号】特開２０１１−７７１１（Ｐ２０１１−７７１１Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２００９−１５３２７３（Ｐ２００９−１５３２７３）
【出願日】平成２１年６月２９日（２００９．６．２９）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２１年３月５日 社団法人精密工学会主催の「ＤＩＡ２００９動的画像処理実利用化ワークショップ」において文書をもって発表
【出願人】（５０８２３６２４０）公立大学法人公立はこだて未来大学 (16)
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２１年６月２９日（２００９．６．２９）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２１年３月５日 社団法人精密工学会主催の「ＤＩＡ２００９動的画像処理実利用化ワークショップ」において文書をもって発表
【出願人】（５０８２３６２４０）公立大学法人公立はこだて未来大学 (16)
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]