説明

三次元データ処理装置、方法及びプログラム

【課題】三次元画像表示された対象物の視認性が向上する三次元データ処理技術を提供する。
【解決手段】三次元データ処理装置20は、対象物の表面に走査されたレーザの反射光を受光しその反射点の位置データの集合である点群データを生成する点群生成部21と、前記点群データ31の位置データにおけるピクセルの法線を導出する法線導出部22と、法線43に基づいてピクセルの輝度を演算する輝度演算部23と、ピクセルの前記位置データ及び前記輝度に基づいて対象物30の三次元画像を構成する3D画像構成部26と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物の表面にレーザを走査して、この対象物の三次元画像を生成する三次元データ処理技術に関する。
【背景技術】
【0002】
レーザスキャナ等により対象物を現物計測し、三次元位置データの集合である点群データであらわして、この対象物の表面形状を認識する技術が知られている(例えば、特許文献1参照)。さらに、このレーザスキャナが配置される基準点を複数とり、それぞれ取得された点群データを合成し、プラント、作業現場、街並、文化財建造物等といった大規模で複雑な形態を有するものの三次元情報化に広く利用されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−97419号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、点群データを構成するピクセルの輝度値は、入射したレーザの対象物表面からの反射光の強度に基づいていた。このため、レーザが垂直に入射する対象物表面を示すピクセルは、周囲と比べて顕著に高強度の輝度値(ハイライト)となり、ノイズとして観察される課題があった。
【0005】
また複数の基準点から取得された点群データを合成した場合、それぞれの基準点を視点とした複数の輝度分布の足し合わせとなるので、表示画面における対象物の視認性が悪化する課題があった。
さらに、各々の基準点における各々の点群データを合成した際の重複領域は、輝度の異なるピクセル混在することとなり、表示画面のざらつき感が避けられない課題があった。
【0006】
本発明はこのような事情を考慮してなされたもので、三次元画像表示された対象物の視認性が向上する三次元データ処理技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
三次元データ処理装置において、対象物の表面に走査されたレーザの反射光を受光しその反射点の位置データの集合である点群データを生成する点群生成部と、前記点群データの前記位置データにおけるピクセルの法線を導出する法線導出部と、前記法線に基づいて前記ピクセルの輝度を演算する輝度演算部と、前記ピクセルの前記位置データ及び前記輝度に基づいて前記対象物の三次元画像を構成する3D画像構成部と、を備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、三次元画像表示された対象物の視認性が向上する三次元データ処理技術が提供される。
【図面の簡単な説明】
【0009】
【図1】レーザスキャナにより対象物を三次元データ処理する概要の説明図。
【図2】本発明の三次元データ処理装置の実施形態を示すブロック図。
【図3】各々のレーザスキャナで取得された点群データを示す図。
【図4】各々の点群データを合成して構成した対象物の三次元画像。
【図5】(A)は拡散反射による輝度演算を説明する模式図、(B)は鏡面反射による輝度演算を説明する模式図。
【図6】拡散反射光と鏡面反射光の分布模式図。
【図7】(A)はボクセル空間分割を示し、(B)はオクトリー空間分割を示す模式図。
【図8】三次元データ処理動作を説明するフローチャート。
【図9】三次元データ処理動作の他の実施例を説明するフローチャート。
【図10】三次元データ処理動作の他の実施例を説明するフローチャート。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態を添付図面に基づいて説明する。
図1に示すように、レーザスキャナ10は、パルス状のレーザを出力して対象物30の表面に照射させる出力部11と、この対象物30からの反射光を受光する受光部12と、このレーザ出力部11及び受光部12を基準点に対して固定する三脚13とから構成されている。そして、一つの基準点においてレーザスキャナ10Aは、対象物30の表面にレーザ走査を行い点群データ31A(図3)を得る。その後、別の基準点においてレーザスキャナ10B,10Cは、対象物30の別の表面に同様にレーザ走査を行い点群データ31B,31Cを得る。
ここで、一つの基準点におけるレーザ走査により得られる点群データ31は、数千万点程度のピクセルを生成する。
【0011】
さらに図2に示すように、レーザの出力方向を動的に変化させて対象物30の表面にレーザを走査させる走査部14と、レーザが出力されてからその反射光が受光部12に受光されるまでの往復時間を測定する時間計測部15と、受光部12に受光されたレーザの強度検知部16とから構成されている。
【0012】
走査部14は、水平方向の回転機構(パン機構)と、俯仰方向の揺動機構(チルト機構)とを備え、基準点の周囲に略360度の範囲で対象物30に対しレーザ出力するものを例示しているが、そのようなものに限定されるものではない。
そして、時間計測部15で計測された往復時間により、基準点から対象物30の表面の反射点までの距離が求められ、走査部14のパン量及びチルト量からレーザの出力方向が導かれる。そして、このレーザの出力方向及び伝播距離とから、対象物30の表面の位置データを極座標上で扱うことができる。
【0013】
図2に示すように、三次元データ処理装置20は、対象物30(図1)の表面に走査されたレーザの反射光を受光しその反射点の位置データの集合である点群データ31(図3)を生成する点群生成部21と、前記点群データ31の位置データにおけるピクセルPの法線43(図5)を導出する法線導出部22と、法線43に基づいてピクセルPの輝度を演算する輝度演算部23と、ピクセルPの前記位置データ及び前記輝度に基づいて対象物30の三次元画像を構成する3D画像構成部26と、を備えている。
【0014】
点群生成部21では、異なる基準点に配置されたレーザスキャナ10(10A,10B,10C)による点群データ31(31A,31B,31C)をそれぞれ個別に生成するとともに(図3)、それぞれの基準点の位置データに基づいて点群データ31を合成する(図4)。
【0015】
法線導出部22は、合成された点群データ31(図4)の構成単位であるピクセルPの法線43(図5)を求めるが、得られる三次元画像の視認性を向上させる観点からその法線を高精度に求める必要がある。
【0016】
そのように法線を高精度に求める方法として、対象とするピクセルPとこれとは異なる二つのピクセルPとを結んだ二つのベクトルの外積により法線43を導出する方法がある。
この場合、隣りあうピクセルPを結ぶベクトルによる外積計算では、ノイズの影響を受ける為に、数個飛ばしたピクセルPを結ぶベクトルを用いて対象のピクセルの法線43を求めるとよい。
【0017】
また別の方法として、対象とするピクセルPとその近傍に存在する複数のピクセルPとから導かれる近似的な平面の直交ベクトルを法線として導出する方法がある。
この場合、対象とするピクセルPの上下左右N×M個の領域に含まれるピクセルPに対し、対象のピクセルPからの遠近で重み付けを行ったうえで、この対象とするピクセルPに接する平面の直交ベクトルを求めるとよい。
【0018】
なお、対象とするピクセルPの法線43を導出するために選択される他のピクセルPは、近接するものであっても全く関連のない(物理的に分離している)対象物30のものである可能性がある。このために、あらかじめ点群データ31において、同種の対象物30に由来するピクセルPをグループ化し、同グループ内の隣接点のみで法線43を計算する必要がある。
そのようなグループ化の方法の一例として、上下左右のピクセルPにおける距離差が閾値を超えたときに別グループと認識させる方法が挙げられる。
【0019】
さらにグループ化の精度を高める方法として、対象物30上の凹凸エッジ部を認識してこれをグループ化の判断基準にするとよい。この凹凸エッジ部の認識方法としては、導出された法線43を用いて、隣接するピクセルPにおけるそれぞれの法線43との角度計算を行い、閾値以上のものを凹凸エッジ部とする手法が挙げられる。
【0020】
輝度演算部23(図2)は、光源位置設定部24で仮想的に設定された光源41(図5)及び視点位置設定部25で仮想的に設定された視点42に基づいてピクセルPの輝度を演算し、対象物30の三次元画像の陰影処理を実行するものである。
光源41から対象物30の表面への入射光44は、拡散反射するものと鏡面反射するものとに分類される。ここで、拡散反射はいずれの方向においても同じ強さで反射するもので、鏡面反射は入射角αと等しい正反射角αの方向を中心に光が強く反射され表面の一部にハイライトを視認させるものである。
【0021】
ここで、図5(A)は、対象物30の表面に対し、光源41から入射光44が法線43に対して入射角αで入射し、視点42の位置において拡散反射光45が観測されている状態を示している。なお、図示において視点42は光源41の近傍に位置しているが、前述したとおり、拡散反射光45の強度Idは視点42の位置に依存しないものである。
ここで、拡散反射光45の強度Idは、入射角αの余弦に比例するとしたLambertの余弦則を用いて、次式(1)及び(2)のように表される。なお、式(1)は光源41が平行光源である場合で、式(2)は光源41が点光源である場合に適用される。
なお、Ii:入射光の強さ、kd:拡散反射係数、r:光源41から反射点までの距離である。
【0022】
d=Iidcosα (1)
d=Iid(cosα)/r2 (2)
【0023】
次に、図5(B)は、対象物30の表面に対し、光源41から入射光44が法線43に対して入射角αで入射し、視点42の位置において鏡面反射光46が観測されている場合を示している。
ここで、鏡面反射光46の強度Imは、次式(3)で表されるPhongの式を用いて導かれる。なお、Ii:入射光の強さ、ks:鏡面反射係数、n:ハイライト特性係数、γ:正反射方向47と視点42の方向(鏡面反射光46)とのなす角度である。
【0024】
m=Iiscosnγ (3)
【0025】
そして、所定の位置の視点42で観測されるピクセルの輝度Iは、次式(4)のように、拡散反射光45の強度Idと、鏡面反射光46の強度Imとの和で表される。なお、ピクセルの輝度Iを演算する方法として、Lambertの余弦則やPhongの式を適用することを例示したが、これに限定されず公知のモデルを適用することができる。
【0026】
I=Id+Im (4)
【0027】
光源位置設定部24(図2)は、仮想的に設定された光源41(図5)の位置に基づいてピクセルPの輝度を輝度演算部23に演算させるものである。つまり、設定された位置の光源41から各々のピクセルPへの入射光44の入射角αを演算し、これを上記式(1)又は(2)にあてはめて、各々のピクセルの輝度を演算するものである。
これにより、複数の基準点に配置されたレーザスキャナ10(10A,10B,10C)から取得して合成された点群データ31(図4)において、光源41の位置を合わせることができる。これによって、強度検知部16で得られたレーザの強度をそのままピクセルの輝度に採用した場合に生じる重複領域33(図4)のざらつき感が改善される。
【0028】
視点位置設定部25(図2)は、仮想的に設定された視点42(図5)の位置に基づいてピクセルの輝度を輝度演算部23に演算させるものである。つまり、各々のピクセルを対象に入射光の正反射角αと設定された視点42の方向(鏡面反射光46)とのなす角度γを演算し、これを上記式(3)にあてはめて、各々のピクセルの輝度を演算するものである。
さらに、この視点位置設定部25で設定された視点42は、3D画像構成部26(図2)における対象物30の三次元画像の観察角度を決定するパラメータにも利用される。
【0029】
これにより、ユーザが視点42を移動させて対象物30の観察角度が変化するのに同期して、三次元画像の陰影のうち鏡面反射成分が変化することになる。
つまり、上記式(1)又は(2)における拡散反射成分は、光源41の位置が固定されれば、視点42の位置が変化しても対象物30の陰影に変化を及ぼさないが、上記式(3)における鏡面反射成分の影響は観察角度に依存するので、現実により近い三次元画像が得られる。
【0030】
また、輝度演算部23(図2)は、レーザスキャナ10の強度検知部16で検知したレーザの反射光の強度値を、ピクセルの輝度値に反映させることができる。
これは、前記式(1)〜(4)に基づいて、ピクセルの輝度を求めた場合は、対象物30の表面の質感、色彩、文字等の模様等の情報を三次元画像に反映させることができない。しかし、強度検知部16で検知したレーザの反射光の強度値においては、そのような対象物30の表面の質感、色彩、文字等の模様の情報を含んでいる。
このために、強度検知部16で検知したレーザ反射光の強度値と前記式(1)〜(4)に基づいて演算された輝度との差分を、対象物30の表面に付与された模様又は色彩の情報として反映させることができる。
【0031】
また、強度検知部16で検知したレーザの反射光の強度値から、前記式(1)〜(4)における拡散反射係数kd、鏡面反射係数ks、ハイライト特性係数nといった演算パラメータを推定することができる。
【0032】
また、輝度演算部23は、強度検知部16で検知したレーザの反射光の強度値に含まれる鏡面反射成分を、前記式(3)に基づいて識別することができる。
これにより、これまでピクセルの法線43に基づいて導いたピクセルの輝度により対象物30の三次元画像を導くことを説明してきたが、強度検知部16で検知した反射光の強度値から鏡面反射成分をノイズ除去して得たピクセルの輝度により対象物30の三次元画像を導くことができる。
【0033】
これは、例えば大口径配管などの金属面では、形状が円筒または円環であるためにその中心部からのレーザ反射光の強度が周囲に比べて顕著に大きく観測される。このために、強度検知部16で検知したレーザの反射光からそのまま対象物30の三次元画像を作成した場合に、その部分がハイライトとなって三次元画像上のノイズとなって観察される。
このような場合、強度検知部16で検知したレーザ反射光を構成する拡散反射光と鏡面反射光を成分分離し、鏡面反射光の成分を除去することにより、三次元画像の視認性を改善させることができる。
【0034】
なお、材質によって鏡面反射係数が異なる為、材質の違いを考慮しながら前記した拡散反射光と鏡面反射光の成分分離を行う必要がある。なお、前記したグループ化の情報を用いて異なる属性を排除してこの成分分離を簡略化することができる。
この成分分離においては、RGBヒストグラムが必要となるが、白黒の輝度情報からも分離は可能である。鏡面反射光成分を拡散反射光のノイズとし拡散反射光のパラメータを最小二乗法やRANSACなどのロバストな推定法により求めることで、鏡面反射光を適切に除去することができる(図6参照)。
【0035】
3D画像構成部26(図2)は、所望する観察角度における対象物30の三次元画像を構成し、表示部27に表示させるものである。この観察角度は、視点位置設定部25で、対象物30を臨む視点として設定されている位置に対応している。
また3D画像構成部26は、三次元画像の視認性を向上させるために、複数の基準点から得られた点群データ31A,31B,31C(図4)を合成したことによる重複領域33のピクセルPを間引くか又はサイズを小さく表示する機能も備えている。
【0036】
ここで、重複領域33(図4)を検知・認識する方法について説明する。
それは、ある点群データ31Aと他の点群データ31Bとからそれぞれ一つずつ選択したピクセルPのペアにおいて、両者の最短距離が閾値以内でかつ同一の対象物30のものと判断されるペアの一方のピクセルPを削除する方法である。
ただし、この方法では、ある点群データ31AのピクセルPと他の点群データ31BのピクセルPとの総当り計算になり、処理時間が膨大になる。
【0037】
これを解決するために、点群データ31を図7に示すように区画して、単位区画において、前記したある点群データ31AのピクセルPと他の点群データ31BのピクセルPとの総当り計算を行う。これにより、計算数が削減されて処理時間の短縮が図れる。
【0038】
このように、点群データ31を区画する方法としては、点群データ31を、図7(A)に示されるように、全て包括する空間領域のX軸、Y軸、Z軸方向をそれぞれのN、M、Lの個数で分割して矩形領域を得る方法がある。
この方法で矩形に区画された領域に属する点群に対し、それぞれ前記したピクセルPのペアの最短距離を計算した場合、区画に属するピクセルの数がばらついていると全体の処理時間は、最も多くピクセルを含む区画の計算時間に律速されてしまう。
【0039】
そこで、計算処理を効率化するために、図7(B)に示すように、空間領域をオクトリー分割することを検討する。まず、空間領域をX軸、Y軸、Z軸方向のそれぞれについて1/2に分割し、空間全体で1/8の空間に分割する。
そして、この8つの区画にて点群が閾値以内の数に収まっていない区画に対し、さらに空間を1/8にする分割を行う。これ処理を区画が小さくなりすぎないレベルまで繰り返し行うと、ピクセルが密集している空間ほど分割が多く行われ、含まれるピクセル数のばらつきを抑えることができ、処理時間を短縮することができる。
【0040】
また、別の区画方法として、法線導出部22の説明において前記したグループ化を利用する方法がある。つまり、グループ毎に区画の分割を行い、ピクセルPのペアの最短距離の計算を行う。
【0041】
次に図8、図9、図10のフローチャートを参照して、三次元データ処理装置の動作を説明する。
まず、3つの図の共通部分の説明として、レーザスキャナ10を、第1基準点に配置し(S11)、対象物30に対しレーザを出力し(S12)、その反射光を受光する(S13)。これにより、対象物30の表面上のピクセルの位置データが確定する。
そして、対象物30に出力するレーザを走査することで(S14)、対象物30の表面を表す複数のピクセルの点群データが生成される(S15)。
【0042】
次に、図8の特有部分を説明する。取得した点群を近傍点でグループ化し(S16)、全てのピクセルにおいて同一グループ内での近傍点にて法線を求め(S17)、対象物30の全領域の照射が終了するまでS11〜S15を繰り返す(S18:Yes)。そして、それぞれの基準点で得られた点群データを合成し(S19)、全ての基準点にて統一の光源を設定する(S20)。そして、この導出された法線に基づいてピクセルの輝度を求め(S21)、すでに得られている位置データに基づいて対象物30の三次元画像を構成し表示する(S22)。
【0043】
なお、構成・表示される三次元画像は、視点位置を変更することにより、観察角度を変更することができる。この観察角度の変更に連動して、輝度の演算(S21)を必要に応じ再実行し(S23:No)、所望する三次元画像が得られたところで観察角度が保持される(S23:Yes)。
【0044】
次に、図9の特有部分を説明する。S16〜S23は図8と同処理となる。図8のフローに加え、レーザの反射光を受光する工程(S13)において、逐次、その強度を検知し(S24)、法線に基づいて演算されたピクセルに輝度との差分を演算する(S25)。そして、この演算値が閾値を超過するものについては(S26:Yes)、対象物30の表面に付与された模様又は色彩であるとして、その差分値を構成・表示される三次元画像に加算する(S27)。そして、この演算値が閾値を超過しないものについては(S26:No)、対象物30の表面に模様又は色彩がないとして、法線に基づき得られた三次元画像をそのまま構成・表示し(S22)、観察角度に応じて画像の再構成・再表示を行う(S23)。
【0045】
次に、図10の特有部分を説明する。図8のS16、S17の処理は実行しない。S18〜S19は図8と同処理となる。図8のS20、S21の代わりに領域分割などによる近傍点群のグループ化を行い(S28)、重複する点群を検知し削除する(S29)。計測した点群の輝度または図8の手法のように近傍点の法線から輝度を求め、画像の構成・表示を行い(S22)、観察角度に応じて画像の再構成・再表示を行う(S23)。
【0046】
本発明は前記した実施形態に限定されるものでなく、共通する技術思想の範囲内において、適宜変形して実施することができる。
例えば、三次元データ処理装置は、コンピュータによって各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して三次元データ処理プログラムとして動作させることも可能である。
【符号の説明】
【0047】
10(10A,10B,10C)…レーザスキャナ、11…出力部、12…受光部、13…三脚、14…走査部、15…時間計測部、16…強度検知部、20…三次元データ処理装置、21…点群生成部、22…法線導出部、23…輝度演算部、24…光源位置設定部、25…視点位置設定部、26…3D画像構成部、27…表示部、30…対象物、31(31A,31B,31C)…点群データ、33…重複領域、41…光源、42…視点、43…法線、44…入射光、45…拡散反射光、46…鏡面反射光、47…正反射方向、P…ピクセル。

【特許請求の範囲】
【請求項1】
対象物の表面に走査されたレーザの反射光を受光しその反射点の位置データの集合である点群データを生成する点群生成部と、
前記点群データの前記位置データにおけるピクセルの法線を導出する法線導出部と、
前記法線に基づいて前記ピクセルの輝度を演算する輝度演算部と、
前記ピクセルの前記位置データ及び前記輝度に基づいて前記対象物の三次元画像を構成する3D画像構成部と、を備えることを特徴とする三次元データ処理装置。
【請求項2】
請求項1に記載の三次元データ処理装置において、
前記三次元画像は、前記レーザの出力部及び受光部が配置される基準点を変化させて、得られた前記点群データを合成したものであることを特徴とする三次元データ処理装置。
【請求項3】
請求項1又は請求項2に記載の三次元データ処理装置において、
前記法線導出部は、対象とするピクセルとこのピクセルとは異なる二つのピクセルとを結んだ二つのベクトルの外積により前記法線を導出することを特徴とする三次元データ処理装置。
【請求項4】
請求項1から請求項3のいずれか1項に記載の三次元データ処理装置において、
前記法線導出部は、対象とするピクセルとその近傍に存在する複数のピクセルとから導かれる近似的な平面の直交ベクトルを前記法線として導出することを特徴とする三次元データ処理装置。
【請求項5】
請求項1から請求項4のいずれか1項に記載の三次元データ処理装置において、
前記輝度演算部は、前記受光した反射光の強度と前記演算した輝度との差分を対象物の表面に付与された模様又は色彩の情報として反映させることを特徴とする三次元データ処理装置。
【請求項6】
請求項1から請求項5のいずれか1項に記載の三次元データ処理装置において、
前記輝度演算部は、前記受光した反射光の強度から鏡面反射成分をノイズとして除去することを特徴とする三次元データ処理装置。
【請求項7】
請求項1から請求項6のいずれか1項に記載の三次元データ処理装置において、
前記輝度演算部は、画像表示される前記対象物の視点位置に基づいて前記輝度の演算値を変化させることを特徴とする三次元データ処理装置。
【請求項8】
請求項1から請求項7のいずれか1項に記載の三次元データ処理装置において、
前記輝度演算部は、仮想的に設定された光源位置に基づいて前記輝度の演算値を変化させることを特徴とする三次元データ処理装置。
【請求項9】
請求項2から請求項8のいずれか1項に記載の三次元データ処理装置において、
前記合成された前記点群データのうち前記基準点を変化させたことによる重複領域の前記ピクセルを間引くか又はサイズを小さく表示することを特徴とする三次元データ処理装置。
【請求項10】
対象物の表面に走査されたレーザの反射光を受光しその反射点の位置データの集合である点群データを生成するステップと、
前記点群データの前記位置データにおけるピクセルの法線を導出するステップと、
前記法線に基づいて前記ピクセルの輝度を演算するステップと、
前記ピクセルの前記位置データ及び前記輝度に基づいて前記対象物の三次元画像を構成するステップと、を含むことを特徴とする三次元データ処理方法。
【請求項11】
コンピュータを、
対象物の表面に走査されたレーザの反射光を受光しその反射点の位置データの集合である点群データを生成する手段、
前記点群データの前記位置データにおけるピクセルの法線を導出する手段、
前記法線に基づいて前記ピクセルの輝度を演算する手段、
前記ピクセルの前記位置データ及び前記輝度に基づいて前記対象物の三次元画像を構成する手段、として機能させることを特徴とする三次元データ処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−141758(P2012−141758A)
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願番号】特願2010−293609(P2010−293609)
【出願日】平成22年12月28日(2010.12.28)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】