画像生成装置及び操作支援システム
【課題】複数のカメラが撮像した複数の入力画像に基づいて生成される出力画像における、複数のカメラの撮像範囲が重複する領域での物体の消失を防止しながらも、入力画像間の明るさの差が際立たないようにする画像生成装置を提供すること。
【解決手段】ショベル60に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置100は、二つのカメラ2R、2Bのそれぞれの撮像範囲が重複する領域に対応するそれら二つのカメラ2R、2Bのそれぞれの入力画像部分がその出力画像において格子模様を形成するように、それら二つの入力画像部分を配置する。
【解決手段】ショベル60に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置100は、二つのカメラ2R、2Bのそれぞれの撮像範囲が重複する領域に対応するそれら二つのカメラ2R、2Bのそれぞれの入力画像部分がその出力画像において格子模様を形成するように、それら二つの入力画像部分を配置する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムに関する。
【背景技術】
【0002】
従来、車両周辺を撮像する複数の車載カメラによって撮像された画像のそれぞれを鳥瞰図画像に変換し、それら鳥瞰図画像を繋ぎ合わせた出力画像を運転者に提示する運転支援システムが知られている(例えば、特許文献1参照。)。
【0003】
この運転支援システムは、二つのカメラの撮像範囲の重複領域に対応する重複領域画像を生成する際に、その重複領域画像を二つに分ける一本の複雑な形状の境界線である櫛歯状の境界線を設定し、二つのカメラのそれぞれが撮像した二つの鳥瞰図画像のそれぞれの部分領域が櫛歯状に交互に配置されるように二つの鳥瞰図画像を繋ぎ合わせるようにする。
【0004】
通常、その重複領域に存在する高さのある物体は、二つのカメラのそれぞれとその物体とを結ぶ線の延長方向に二方向に伸長して投影されるため、その重複領域を一本の直線で二つの領域に二分し、一方の領域を一方のカメラによる鳥瞰図画像に対応させ、他方の領域を他方のカメラによる鳥瞰図画像に対応させることによってその重複領域画像を生成すると、その重複領域画像から消失してしまうこととなる。
【0005】
その点、この運転支援システムは、上述の繋ぎ合わせにより、高さのある物体が重複領域画像から消失してしまうのを防止することができ、その物体を運転者が認識し易いものにすることができるとしている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−109166号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載の運転支援システムは、一本の複雑な形状の境界線である櫛歯状の境界線を用いて二つの鳥瞰図画像のそれぞれの部分領域が櫛歯状に交互に配置されるように二つの鳥瞰図画像を繋ぎ合わせて出力画像を生成するので、それら二つの鳥瞰図画像の明るさに大きな差がある場合に櫛歯状の際立った明暗パタンを創出してしまい、その出力画像を見た運転者に不自然さを感じさせてしまうこととなる。
【0008】
上述の点に鑑み、本発明は、複数のカメラが撮像した複数の入力画像に基づいて生成される出力画像における、複数のカメラの撮像範囲が重複する領域での物体の消失を防止しながらも、入力画像間の明るさの差が際立たないようにする画像生成装置及びその装置を用いた操作支援システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上述の目的を達成するために、本発明の実施例に係る画像生成装置は、被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置であって、前記複数のカメラのうちの二つのそれぞれの撮像範囲が重複する領域に対応する前記複数のカメラのうちの二つのそれぞれの入力画像部分は、前記出力画像において、格子模様を形成するように配置されることを特徴とする。
また、本発明の実施例に係る操作支援システムは、被操作体の移動又は操作を支援する操作支援システムであって、請求項1又は2に記載の画像生成装置と、前記被操作体を移動させ或いは操作するための操作室に設置され、該画像生成装置が生成する出力画像を表示する表示部と、を備えることを特徴とする。
【発明の効果】
【0010】
上述の手段により、本発明は、複数のカメラが撮像した複数の入力画像に基づいて生成される出力画像における、複数のカメラの撮像範囲が重複する領域での物体の消失を防止しながらも、入力画像間の明るさの差が際立たないようにする画像生成装置及びその装置を用いた操作支援システムを提供することができる。
【図面の簡単な説明】
【0011】
【図1】本発明に係る画像生成装置の構成例を概略的に示すブロック図である。
【図2】画像生成装置が搭載されるショベルの構成例を示す図である。
【図3】入力画像が投影される空間モデルの一例を示す図である。
【図4】空間モデルと処理対象画像平面との間の関係の一例を示す図である。
【図5】入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。
【図6】座標対応付け手段による座標間の対応付けを説明するための図である。
【図7】平行線群の作用を説明するための図である。
【図8】補助線群の作用を説明するための図である。
【図9】処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。
【図10】出力画像の表示例(その1)である。
【図11】出力画像の表示例(その2)である。
【図12】同色錯視を説明するための図である。
【図13】同色錯視をもたらす明暗パタンを生成する方法の一例を説明するための図である。
【図14】図13の格子模様を出力画像平面上に配置した状態を示す図である。
【図15】格子模様形成処理の流れを示すフローチャートである。
【図16】図11で示される出力画像と、図11の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図である。
【図17】出力画像の表示例(その3)である。
【図18】二つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図である。
【図19】図17で示される出力画像と、図17の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【0013】
図1は、本発明に係る画像生成装置の構成例100を概略的に示すブロック図である。
【0014】
画像生成装置100は、例えば、建設機械に搭載されたカメラ2が撮像した入力画像に基づいて出力画像を生成しその出力画像を運転者に提示する装置であって、制御部1、カメラ2、入力部3、記憶部4、及び表示部5で構成される。
【0015】
図2は、画像生成装置100が搭載されるショベル60の構成例を示す図であり、ショベル60は、クローラ式の下部走行体61の上に、旋回機構62を介して、上部旋回体63を旋回軸PVの周りで旋回自在に搭載している。
【0016】
また、上部旋回体63は、その前方左側部にキャブ(運転室)64を備え、その前方中央部に掘削アタッチメントEを備え、その右側面及び後面にカメラ2(右側方カメラ2R、後方カメラ2B)を備えている。なお、キャブ64内の運転者が視認し易い位置には表示部5が設置されているものとする。
【0017】
次に、画像生成装置100の各構成要素について説明する。
【0018】
制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータであって、例えば、後述する座標対応付け手段10及び出力画像生成手段11のそれぞれに対応するプログラムをROMやNVRAMに記憶し、一時記憶領域としてRAMを利用しながら各手段に対応する処理をCPUに実行させる。
【0019】
カメラ2は、ショベル60の周辺を映し出す入力画像を取得するための装置であり、例えば、キャブ64にいる運転者の死角となる領域を撮像できるよう上部旋回体63の右側面及び後面に取り付けられる(図2参照。)、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えた右側方カメラ2R及び後方カメラ2Bである。なお、カメラ2は、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。
【0020】
また、カメラ2は、制御部1からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部1に対して出力する。なお、カメラ2は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部1に対して出力するが、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部1に対して出力してもよい。その場合には、制御部1がその見掛け上の歪曲やアオリを補正することとなる。
【0021】
入力部3は、操作者が画像生成装置100に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。
【0022】
記憶部4は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
【0023】
表示部5は、画像情報を表示するための装置であり、例えば、建設機械のキャブ64(図2参照。)内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部1が出力する各種画像を表示する。
【0024】
また、画像生成装置100は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周辺障害物との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を運転者に提示するようにしてもよい。
【0025】
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)の対象となる画像であり、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像(例えば、空の部分である。)を含む入力画像を画像変換処理で用いる場合に、その水平方向の画像が不自然に表示されないよう(例えば、空の部分が地表にあるものとして扱われないよう)その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる、画像変換処理に適した画像である。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
【0026】
「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面(例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。)を含む、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。
【0027】
なお、画像生成装置100は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
【0028】
図3は、入力画像が投影される空間モデルMDの一例を示す図であり、図3(A)は、ショベル60を側方から見たときのショベル60と空間モデルMDとの間の関係を示し、図3(B)は、ショベル60を上方から見たときのショベル60と空間モデルMDとの間の関係を示す。
【0029】
図3で示されるように、空間モデルMDは、半円筒形状を有し、その底面内部の平面領域R1とその側面内部の曲面領域R2とを有する。
【0030】
また、図4は、空間モデルMDと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面R3は、例えば、空間モデルMDの平面領域R1を含む平面である。なお、図4は、明確化のために、空間モデルMDを、図3で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルMDは、半円筒形状及び円筒形状の何れであってもよいものとする。以降の図においても同様である。また、処理対象画像平面R3は、上述のように、空間モデルMDの平面領域R1を含む円形領域であってもよく、空間モデルMDの平面領域R1を含まない環状領域であってもよい。
【0031】
次に、制御部1が有する各種手段について説明する。
【0032】
座標対応付け手段10は、カメラ2が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付けるための手段であり、例えば、予め設定された、或いは、入力部3を介して入力される、カメラ2の光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等のカメラ2に関する各種パラメータと、予め決定された、入力画像平面、空間モデルMD、及び処理対象画像平面R3の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、それらの対応関係を記憶部4の入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41に記憶する。
【0033】
なお、座標対応付け手段10は、処理対象画像を生成しない場合には、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ41への記憶を省略する。
【0034】
出力画像生成手段11は、出力画像を生成するための手段であり、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶し、座標対応付け手段10がその値を記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。
【0035】
また、出力画像生成手段11は、予め設定された、或いは、入力部3を介して入力される、仮想カメラの光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶し、座標対応付け手段10がその値を記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。
【0036】
なお、出力画像生成手段11は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。
【0037】
また、出力画像生成手段11は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルMD上の座標と出力画像平面上の座標とを対応付け、入力画像・空間モデル対応マップ40を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、出力画像生成手段11は、処理対象画像平面R3上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ42への記憶を省略する。
【0038】
次に、座標対応付け手段10及び出力画像生成手段11による具体的な処理の一例について説明する。
【0039】
座標対応付け手段10は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。
【0040】
図5は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図であり、カメラ2の入力画像平面は、カメラ2の光学中心Cを原点とするUVW直交座標系における一平面として表され、空間モデルは、XYZ直交座標系における立体面として表されるものとする。
【0041】
最初に、座標対応付け手段10は、空間モデル上の座標(XYZ座標系上の座標)を入力画像平面上の座標(UVW座標系上の座標)に変換するため、XYZ座標系の原点を光学中心C(UVW座標系の原点)に並行移動させた上で、X軸をU軸に、Y軸をV軸に、Z軸を−W軸(符号「−」は方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を−Z方向としていることに起因する。)にそれぞれ一致させるようXYZ座標系を回転させる。
【0042】
なお、カメラ2が複数存在する場合、カメラ2のそれぞれが個別のUVW座標系を有することとなるので、座標対応付け手段10は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させることとなる。
【0043】
上述の変換は、カメラ2の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が−W軸に一致するよう回転させ、更に、X軸がU軸に一致するよう回転させることによって実現されるので、座標対応付け手段10は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
【0044】
ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが張る面の法線を軸としてベクトルAとベクトルBとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは、
【0045】
【数1】
で表されることとなる。
【0046】
また、ベクトルAとベクトルBとが張る面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から
【0047】
【数2】
で表されることとなる。
【0048】
なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、
【0049】
【数3】
を満たす超複素数であり、本実施例において、四元数Qは、実成分をt、純虚成分をa、b、cとして、
【0050】
【数4】
で表されるものとし、四元数Qの共役四元数は、
【0051】
【数5】
で表されるものとする。
【0052】
四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することができ、また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
【0053】
更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。
【0054】
【数6】
ここで、本実施例において、Z軸を−W軸に一致させる回転を表す四元数をQzとすると、XYZ座標系におけるX軸上の点Xは、点X'に移動させられるので、点X'は、
【0055】
【数7】
で表されることとなる。
【0056】
また、本実施例において、X軸上にある点X'と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQxとすると、「Z軸を−W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、
【0057】
【数8】
で表されることとなる。
【0058】
以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P'は、
【0059】
【数9】
で表されることとなり、四元数Rがカメラ2のそれぞれで不変であることから、座標対応付け手段10は、以後、この演算を実行するだけで空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換することができる。
【0060】
空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、座標対応付け手段10は、カメラ2の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P'とを結ぶ線分CP'と、カメラ2の光軸Gとが形成する入射角αを算出する。
【0061】
また、座標対応付け手段10は、カメラ2の入力画像平面R4(例えば、CCD面)に平行で且つ座標P'を含む平面Hにおける、平面Hと光軸Gとの交点Eと座標P'とを結ぶ線分EP'と、平面HにおけるU'軸とが形成する偏角φ、及び線分EP'の長さを算出する。
【0062】
カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっているので、座標対応付け手段10は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。
【0063】
その後、座標対応付け手段10は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R4の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルMD上の座標P(P')と入力画像平面R4上の座標とを対応付けることができる。
【0064】
なお、入力画像平面R4のU軸方向における一画素当たりの画素サイズをaUとし、入力画像平面R4のV軸方向における一画素当たりの画素サイズをaVとすると、空間モデルMD上の座標P(P')に対応する入力画像平面R4上の座標(u,v)は、
【0065】
【数10】
【0066】
【数11】
で表されることとなる。
【0067】
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、カメラ毎に存在する一又は複数の入力画像平面R4上の座標とを対応付け、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R4上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。
【0068】
また、座標対応付け手段10は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段10は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。
【0069】
なお、複数の入力画像平面R4上の座標への対応付けが可能な場合、座標対応付け手段10は、空間モデルMD上の座標P(P')を、その入射角αが最も小さいカメラに関する入力画像平面R4上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面R4上の座標に対応付けるようにしてもよい。
【0070】
次に、空間モデルMD上の座標のうち、曲面領域R2上の座標(Z軸方向の成分を持つ座標)を、XY平面上にある処理対象画像平面R3に再投影する処理について説明する。
【0071】
図6は、座標対応付け手段10による座標間の対応付けを説明するための図であり、図6(A)は、一例として通常射影(h=ftanα)を採用するカメラ2の入力画像平面R4上の座標と空間モデルMD上の座標との間の対応関係を示す図であって、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ2の光学中心Cを通過するようにして、両座標を対応付ける。
【0072】
図6(A)の例では、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標K1を空間モデルMDの平面領域R1上の座標L1に対応付け、カメラ2の入力画像平面R4上の座標K2を空間モデルMDの曲面領域R2上の座標L2に対応付ける。このとき、線分K1−L1及び線分K2−L2は共にカメラ2の光学中心Cを通過する。
【0073】
なお、カメラ2が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、座標対応付け手段10は、それぞれの射影方式に応じて、カメラ2の入力画像平面R4上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付けるようにする。
【0074】
具体的には、座標対応付け手段10は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1−L1及び線分K2−L2がカメラ2の光学中心Cを通過することはない。
【0075】
図6(B)は、空間モデルMDの曲面領域R2上の座標と処理対象画像平面R3上の座標との間の対応関係を示す図であり、座標対応付け手段10は、XZ平面上に位置する平行線群PLであって、処理対象画像平面R3との間で角度βを形成する平行線群PLを導入し、空間モデルMDの曲面領域R2上の座標とその座標に対応する処理対象画像平面R3上の座標とが共に平行線群PLのうちの一つに乗るようにして、両座標を対応付ける。
【0076】
図6(B)の例では、座標対応付け手段10は、空間モデルMDの曲面領域R2上の座標L2と処理対象画像平面R3上の座標M2とが共通の平行線に乗るとして、両座標を対応付けるようにする。
【0077】
なお、座標対応付け手段10は、空間モデルMDの平面領域R1上の座標を曲面領域R2上の座標と同様に平行線群PLを用いて処理対象画像平面R3上の座標に対応付けることが可能であるが、図6(B)の例では、平面領域R1と処理対象画像平面R3とが共通の平面となっているので、空間モデルMDの平面領域R1上の座標L1と処理対象画像平面R3上の座標M1とは同じ座標値を有するものとなっている。
【0078】
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、空間モデルMD上の座標及び処理対象画像R3上の座標を関連付けて空間モデル・処理対象画像対応マップ41に記憶する。
【0079】
図6(C)は、処理対象画像平面R3上の座標と一例として通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5上の座標との間の対応関係を示す図であり、出力画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標とその座標に対応する処理対象画像平面R3上の座標とを結ぶ線分のそれぞれが仮想カメラ2Vの光学中心CVを通過するようにして、両座標を対応付ける。
【0080】
図6(C)の例では、出力画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標N1を処理対象画像平面R3(空間モデルMDの平面領域R1)上の座標M1に対応付け、仮想カメラ2Vの出力画像平面R5上の座標N2を処理対象画像平面R3上の座標M2に対応付ける。このとき、線分M1−N1及び線分M2−N2は共に仮想カメラ2Vの光学中心CVを通過する。
【0081】
なお、仮想カメラ2Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、出力画像生成手段11は、それぞれの射影方式に応じて、仮想カメラ2Vの出力画像平面R5上の座標N1、N2を処理対象画像平面R3上の座標M1、M2に対応付けるようにする。
【0082】
具体的には、出力画像生成手段11は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1−N1及び線分M2−N2が仮想カメラ2Vの光学中心CVを通過することはない。
【0083】
このようにして、出力画像生成手段11は、出力画像平面R5上の座標と、処理対象画像平面R3上の座標とを対応付け、出力画像平面R5上の座標及び処理対象画像R3上の座標を関連付けて処理対象画像・出力画像対応マップ42に記憶し、座標対応付け手段10が記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
【0084】
なお、図6(D)は、図6(A)〜図6(C)を組み合わせた図であり、カメラ2、仮想カメラ2V、空間モデルMDの平面領域R1及び曲面領域R2、並びに、処理対象画像平面R3の相互の位置関係を示す。
【0085】
次に、図7を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの作用について説明する。
【0086】
図7(A)は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図であり、図7(B)は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度β1(β1>β)が形成される場合の図である。また、図7(A)及び図7(B)における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応するものとし、図7(A)における座標La〜Ldのそれぞれの間隔は、図7(B)における座標La〜Ldのそれぞれの間隔と等しいものとする。なお、平行線群PLは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の全ての点から処理対象画像平面R3に向かって放射状に延びるように存在するものとする。なお、この場合のZ軸を「再投影軸」と称することとする。
【0087】
図7(A)及び図7(B)で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、平行線群PLと処理対象画像平面R3との間の角度が増大するにつれて線形的に減少する(空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離とは関係なく一様に減少する。)。一方で、空間モデルMDの平面領域R1上の座標群は、図7の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。
【0088】
これら座標群の間隔の変化は、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。
【0089】
次に、図8を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの代替例について説明する。
【0090】
図8(A)は、XZ平面上に位置する補助線群ALの全てがZ軸上の始点T1から処理対象画像平面R3に向かって延びる場合の図であり、図8(B)は、補助線群ALの全てがZ軸上の始点T2(T2>T1)から処理対象画像平面R3に向かって延びる場合の図である。また、図8(A)及び図8(B)における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応するものとし(図8(A)の例では、座標Mc、Mdは、処理対象画像平面R3の領域外となるため図示されていない。)、図8(A)における座標La〜Ldのそれぞれの間隔は、図8(B)における座標La〜Ldのそれぞれの間隔と等しいものとする。なお、補助線群ALは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の任意の一点から処理対象画像平面R3に向かって放射状に延びるように存在するものとする。なお、図7と同様、この場合のZ軸を「再投影軸」と称することとする。
【0091】
図8(A)及び図8(B)で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、補助線群ALの始点と原点Oとの間の距離(高さ)が増大するにつれて非線形的に減少する(空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。)。一方で、空間モデルMDの平面領域R1上の座標群は、図8の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。
【0092】
これら座標群の間隔の変化は、平行線群PLのときと同様、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。
【0093】
このようにして、画像生成装置100は、空間モデルMDの平面領域R1に投影された画像に対応する出力画像の画像部分(例えば、路面画像である。)に影響を与えることなく、空間モデルMDの曲面領域R2に投影された画像に対応する出力画像の画像部分(例えば、水平画像である。)を線形的に或いは非線形的に拡大或いは縮小させることができるので、ショベル60の近傍の路面画像(ショベル60を真上から見たときの仮想画像)に影響を与えることなく、ショベル60の周囲に位置する物体(ショベル60から水平方向に周囲を見たときの画像における物体)を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル60の死角領域の視認性を向上させることができる。
【0094】
次に、図9を参照しながら、画像生成装置100が処理対象画像を生成する処理(以下、「処理対象画像生成処理」とする。)、及び、生成した処理対象画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。なお、図9は、処理対象画像生成処理(ステップS1〜ステップS3)及び出力画像生成処理(ステップS4〜ステップS6)の流れを示すフローチャートである。また、カメラ2(入力画像平面R4)、空間モデル(平面領域R1及び曲面領域R2)、並びに、処理対象画像平面R3の配置は予め決定されているものとする。
【0095】
最初に、制御部1は、座標対応付け手段10により、処理対象画像平面R3上の座標と空間モデルMD上の座標とを対応付ける(ステップS1)。
【0096】
具体的には、座標対応付け手段10は、平行線群PLと処理対象画像平面R3との間に形成される角度を取得し、処理対象画像平面R3上の一座標から延びる平行線群PLの一つが空間モデルMDの曲面領域R2と交差する点を算出し、算出した点に対応する曲面領域R2上の座標を、処理対象画像平面R3上のその一座標に対応する曲面領域R2上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。なお、平行線群PLと処理対象画像平面R3との間に形成される角度は、記憶部4等に予め記憶された値であってもよく、入力部3を介して操作者が動的に入力する値であってもよい。
【0097】
また、座標対応付け手段10は、処理対象画像平面R3上の一座標が空間モデルMDの平面領域R1上の一座標と一致する場合には、平面領域R1上のその一座標を、処理対象画像平面R3上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。
【0098】
その後、制御部1は、座標対応付け手段10により、上述の処理によって導き出された空間モデルMD上の一座標と入力画像平面R4上の座標とを対応付ける(ステップS2)。
【0099】
具体的には、座標対応付け手段10は、通常射影(h=ftanα)を採用するカメラ2の光学中心Cの座標を取得し、空間モデルMD上の一座標から延びる線分であり、光学中心Cを通過する線分が入力画像平面R4と交差する点を算出し、算出した点に対応する入力画像平面R4上の座標を、空間モデルMD上のその一座標に対応する入力画像平面R4上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ40に記憶する。
【0100】
その後、制御部1は、処理対象画像平面R3上の全ての座標を空間モデルMD上の座標及び入力画像平面R4上の座標に対応付けたか否かを判定し(ステップS3)、未だ全ての座標を対応付けていないと判定した場合には(ステップS3のNO)、ステップS1及びステップS2の処理を繰り返すようにする。
【0101】
一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS3のYES)、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させ、出力画像生成手段11により、処理対象画像平面R3上の座標と出力画像平面R5上の座標とを対応付ける(ステップS4)。
【0102】
具体的には、出力画像生成手段11は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成し、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面R3上の座標と出力画像平面R5上の座標との間の対応関係を処理対象画像・出力画像対応マップ42に記憶する。
【0103】
或いは、出力画像生成手段11は、仮想カメラ2Vを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面R3上の座標から出力画像平面R5上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
【0104】
或いは、出力画像生成手段11は、通常射影(h=ftanα)を採用する仮想カメラ2Vを用いて出力画像を生成する場合には、その仮想カメラ2Vの光学中心CVの座標を取得した上で、出力画像平面R5上の一座標から延びる線分であり、光学中心CVを通過する線分が処理対象画像平面R3と交差する点を算出し、算出した点に対応する処理対象画像平面R3上の座標を、出力画像平面R5上のその一座標に対応する処理対象画像平面R3上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
【0105】
その後、制御部1は、出力画像生成手段11により、入力画像・空間モデル対応マップ40、空間モデル・処理対象画像対応マップ41、及び処理対象画像・出力画像対応マップ42を参照しながら入力画像平面R4上の座標と空間モデルMD上の座標との対応関係、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応関係、及び処理対象画像平面R3上の座標と出力画像平面R5上の座標との対応関係を辿り、出力画像平面R5上の各座標に対応する入力画像平面R4上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得し、その取得した値を、対応する出力画像平面R5上の各座標の値として採用する(ステップS5)。なお、出力画像平面R5上の一座標に対して複数の入力画像平面R4上の複数の座標が対応する場合、出力画像生成手段11は、それら複数の入力画像平面R4上の複数の座標のそれぞれの値に基づく統計値(例えば、平均値、最大値、最小値、中間値等である。)を導き出し、出力画像平面R5上のその一座標の値としてその統計値を採用するようにしてもよい。
【0106】
その後、制御部1は、出力画像平面R5上の全ての座標の値を入力画像平面R4上の座標の値に対応付けたか否かを判定し(ステップS6)、未だ全ての座標の値を対応付けていないと判定した場合には(ステップS6のNO)、ステップS4及びステップS5の処理を繰り返すようにする。
【0107】
一方、制御部1は、全ての座標の値を対応付けたと判定した場合には(ステップS6のYES)、出力画像を生成して、この一連の処理を終了させる。
【0108】
なお、画像生成装置100は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップS4の"処理対象画像平面上の座標"を"空間モデル上の座標"で読み替えるものとする。
【0109】
以上の構成により、画像生成装置100は、建設機械と周辺障害物との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
【0110】
また、画像生成装置100は、処理対象画像平面R3から空間モデルMDを経て入力画像平面R4に遡るように座標の対応付けを実行することにより、処理対象画像平面R3上の各座標を入力画像平面R4上の一又は複数の座標に確実に対応させることができ、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合と比べ(この場合には、入力画像平面R4上の各座標を処理対象画像平面R3上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面R3上の座標の一部が、入力画像平面R4上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面R3上の座標の一部に補間処理等を施す必要がある。)、より良質な処理対象画像を迅速に生成することができる。
【0111】
また、画像生成装置100は、空間モデルMDの曲面領域R2に対応する画像のみを拡大或いは縮小する場合には、平行線群PLと処理対象画像平面R3との間に形成される角度を変更して空間モデル・処理対象画像対応マップ41における曲面領域R2に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ40の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
【0112】
また、画像生成装置100は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の出力画像(スケール変換画像、アフィン変換画像又は歪曲変換画像)を生成することができる。
【0113】
同様に、画像生成装置100は、出力画像の視点を変更する場合には、仮想カメラ2Vの各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の視点から見た出力画像(視点変換画像)を生成することができる。
【0114】
図10は、ショベル60に搭載された二台のカメラ2(右側方カメラ2R及び後方カメラ2B)の入力画像を用いて生成される出力画像を表示部5に表示させたときの表示例である。
【0115】
画像生成装置100は、それら二台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成して、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周辺を見た画像(処理対象画像平面R3における画像)とを同時に表示している。
【0116】
なお、出力画像は、画像生成装置100が処理対象画像を生成しない場合には、空間モデルMDに投影された画像に画像変換処理(例えば、視点変換処理である。)を施すことによって生成されるものとする。
【0117】
また、出力画像は、ショベル60が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心CTRが空間モデルMDの円筒中心軸上で、且つ、ショベル60の旋回軸PV上となるように生成されており、ショベル60の旋回動作に応じてその中心CTRを軸に回転するように表示される。この場合、空間モデルMDの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。
【0118】
なお、空間モデルMDの半径は、例えば、5メートルであり、平行線群PLが処理対象画像平面R3との間で形成する角度、又は、補助線群ALの始点高さは、ショベル60の旋回中心から掘削アタッチメントEの最大到達距離(例えば12メートルである。)だけ離れた位置に物体(例えば、作業員である。)が存在する場合にその物体が表示部5で十分大きく(例えば、7ミリメートル以上である。)表示されるように、設定され得る。
【0119】
更に、出力画像は、ショベル60のCG画像を、ショベル60の前方が表示部5の画面上方と一致し、且つ、その旋回中心が中心CTRと一致するように配置するようにしてもよい。ショベル60と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。
【0120】
次に、図11〜図16を参照しながら、画像生成装置100が入力画像間の明るさ(輝度)の差を際立たせないようにする処理について説明する。
【0121】
図11は、ショベル60に搭載された三台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
【0122】
画像生成装置100は、それら三台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成して、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周辺を見た画像(処理対象画像平面R3における画像)とを同時に表示している。
【0123】
図11において、左側方カメラ2Lの入力画像及び後方カメラ2Bの入力画像はそれぞれ、ショベル60の周囲における同じ場所を異なる角度から撮像した重複部分を含むが、それら重複部分はそれぞれ、各カメラに関する照明環境等の違いにより異なる明るさで撮像されており、その輝度が異なるものとなっている。右側方カメラ2Rの入力画像と後方カメラ2Bの入力画像との間の重複部分についても同様である。
【0124】
そのため、それら三つの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が複数の入力画像平面上の座標に対応付け可能な場合に、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、同じ場所を撮像しているにもかかわらず、左側方カメラ2Lの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界(図の一点鎖線で囲まれる領域R6参照。)、及び、右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界(図の一点鎖線で囲まれる領域R7参照。)のところでその輝度が急激に変化することとなり、その出力画像を見た運転者に不自然さを感じさせてしまうこととなる。
【0125】
そこで、画像生成装置100は、チェッカーシャドー錯視(同色錯視)による効果を利用して、入力画像間の輝度の差を際立たせないようにする。
【0126】
図12は、同色錯視を説明するための図(Edward H. Adelson、"Checker shadow illusion"、1995年、インターネット<URL: http://web.mit.edu/persci/people/adelson/checkershadow_illusion.html>)であり、図12(A)は、同色錯視をもたらすために利用されるチェッカーパタン(格子模様)を示し、図12(B)は、チェッカーパタン(格子模様)上の点P1〜点P3及び点P4〜点P6における輝度の推移を表すグラフを示す。
【0127】
図12(A)で示されるように、点P2を含む単位パタンの輝度よりも高い輝度を有する二つの単位パタン(点P1を含む単位パタン及び点P3を含む単位パタンである。)で挟まれたその点P2を含む単位パタンの輝度は、点P5を含む単位パタンの輝度よりも低い輝度を有する二つの単位パタン(点P4を含む単位パタン及び点P6を含む単位パタンである。)で挟まれたその点P5を含む単位パタンの輝度よりも低いように見える。
【0128】
しかしながら、この輝度の差は、それぞれの単位パタンが格子模様を形成していること、及び、点P4〜点P6を含む単位パタン群が物体OBJの影に入っていることを認識している観察者の錯視によるものであり、実際には、図12(B)で示されるように、点P2を含む単位パタンの輝度は、点P5を含む単位パタンの輝度に等しいものとなっている。
【0129】
このように、その観察者は、点P1、点P3、及び点P5のそれぞれを含む単位パタンが同じ輝度を有し、点P2、点P4、及び点P6のそれぞれを含む単位パタンが同じ輝度を有するものと錯覚することとなる。
【0130】
図13は、同色錯視をもたらす明暗パタンを生成する方法の一例を説明するための図であり、二つの波源(例えば、右側方カメラ2R及び後方カメラ2Bである。なお、右側方カメラ2Rが図の左側に示されているが、これは図の明瞭化のためであり、ここでは、図の右斜め上方が、ショベル60の後方に対応するものとする。)から山(実線円)及び谷(破線円)を形成しながら拡がって互いに干渉する二つの波を示す。
【0131】
また、図13において、二つの扇形領域2Ra、2Baはそれぞれ、右側方カメラ2Rの撮像範囲、及び、後方カメラ2Bの撮像範囲を示し、太い実線で表される腹線ANLは、二つの波が互いに強め合う点を連ねた線を示し、太い破線で表される節線NLは、二つの波が互いに弱め合う点を連ねた線を示す。なお、腹線ANL及び節線NLは、図13で示されるように、交互に現れることとなる。
【0132】
また、図13において、右側方カメラ2Rを波源として拡がる波の一つの谷が描く線(破線円)と、その一つの谷の次に発生する一つの山が描く線(実線円)と、後方カメラ2Bを波源として拡がる波の一つの谷が描く線(破線円)と、その一つの谷の次に発生する一つの山が描く線(実線円)とで定められる菱形状の領域のそれぞれは、単位パタン領域LTを形成するものとする。
【0133】
図13で示される複数の単位パタン領域LTが出力画像平面上に描かれたものとし、単位パタン領域LTのうちの腹線ANLが通過する(灰色で塗り潰される)単位パタン領域LT1に後方カメラ2Bの入力画像が対応付けられ、且つ、単位パタン領域LTのうちの節線NLが通過する(白色で塗り潰される)単位パタン領域LT2に右側方カメラ2Rの入力画像が対応付けられるものとすると、平均輝度がそれぞれ異なる二つの入力画像は、同色錯視をもたらす格子模様を形成することができることとなる。
【0134】
なお、単位パタン領域LTのうちの腹線ANLが通過する(灰色で塗り潰される)単位パタン領域LT1に右側方カメラ2Rの入力画像が対応付けられ、且つ、単位パタン領域LTのうちの節線NLが通過する(白色で塗り潰される)単位パタン領域LT2に後方カメラ2Bの入力画像が対応付けられる場合も同様に、平均輝度がそれぞれ異なる二つの入力画像は、同色錯視をもたらす格子模様を形成することができることとなる。
【0135】
また、図13の格子模様は、波長及び位相が等しい二つの波を用いて形成されるが、波長及び位相の一方又は双方が異なる二つの波を用いて形成されてもよい。単位パタン領域LT1、LT2のサイズや形状を柔軟に調整できるようにするためである。
【0136】
図14は、図13で示される格子模様を出力画像平面(平面領域R1)上に配置した状態を示し、ショベル60のCG画像の右後方(図の右下方向)にある、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に配置される格子模様と、ショベル60のCG画像の左後方(図の左下方向)にある、左側方カメラ2Lの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に配置される格子模様とを示す。
【0137】
図14において、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に配置される格子模様は、例えば、(灰色で塗り潰される)単位パタン領域LT1に右後方カメラ2Rの入力画像が対応付けられ、(白色で塗り潰される)単位パタン領域LT2に後方カメラ2Bの入力画像が対応付けられるものとする。
【0138】
また、左側方カメラ2Lの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に配置される格子模様は、例えば、(灰色で塗り潰される)単位パタン領域LT3に左後方カメラ2Lの入力画像が対応付けられ、(白色で塗り潰される)単位パタン領域LT4に後方カメラ2Bの入力画像が対応付けられるものとする。
【0139】
図15は、画像生成装置100が、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像平面上の各座標に、それら二つのカメラの何れか一方の入力画像平面上の座標を対応付け、同色錯視をもたらす格子模様を形成する処理(以下、「格子模様形成処理」とする。)の流れを示すフローチャートである。
【0140】
画像生成装置100の制御部1は、例えば、座標対応付け手段10により、図9の処理対象画像生成処理のステップS2において、空間モデルMDの平面領域R1上の一座標と複数の入力画像平面上の座標との対応付けが可能な場合に、空間モデルMDの平面領域R1上の一座標と二つのカメラのそれぞれに対応する二つの入力画像平面のうちの一つにおける一座標とを対応付ける際に、この格子模様形成処理を実行するものとする。
【0141】
最初に、制御部1は、二つのカメラ(例えば、右側方カメラ2R及び後方カメラ2Bである。)の撮像範囲が重複する領域に対応する、空間モデルMDの平面領域R1上の一座標を取得する(ステップS11)。
【0142】
次に、制御部1は、二つのカメラのそれぞれにおける光学中心の座標を取得する(ステップS12)。
【0143】
次に、制御部1は、ステップS11で取得した空間モデルMDにおける平面領域R1上の一座標に対応付けるカメラを選択する(ステップS13)。
【0144】
具体的には、制御部1は、右側方カメラ2Rの光学中心の座標を(Xcam1、Ycam1)とし、後方カメラ2Bの光学中心の座標を(Xcam2、Ycam2)とし、対応付けの対象である空間モデルMDの平面領域R1上の一座標を(Xtarget、Ytarget)とすると、
【0145】
【数12】
で表される条件式が真である場合、その平面領域R1上の一座標に対応付けるカメラとして右側方カメラ2Rを選択し、上述の条件式が偽である場合、その平面領域R1上の一座標に対応付けるカメラとして後方カメラ2Rを選択する。
【0146】
なお、制御部1は、上述の条件式が真である場合に、その平面領域R1上の一座標に対応付けるカメラとして後方カメラ2Bを選択し、上述の条件式が偽である場合に、その平面領域R1上の一座標に対応付けるカメラとして右側方カメラ2Rを選択するようにしてもよい。
【0147】
なお、上述の条件式は、平面領域R1上の座標(Xtarget、Ytarget)が、図14で示される単位パタン領域LT1に含まれるか、或いは、単位パタン領域LT2に含まれるかの判定式に相当する。
【0148】
また、本実施例において、制御部1は、光学中心の座標が二次元座標であり、波源から発生する波が平面波であるという前提で、平面領域R1上の一座標(二次元座標)と二つのカメラのそれぞれの光学中心の座標(平面領域R1を含む平面上に投影された二次元座標)との間の二次元距離に基づいてカメラを選択するが、光学中心の座標を(高さ情報を含む)三次元座標とし、波源から発生する波を球面波としながら、平面領域R1上の一座標(三次元座標)と二つのカメラのそれぞれの光学中心の座標(三次元座標)との間の三次元距離に基づいてカメラを選択するようにしてもよい。
【0149】
また、本実施例において、制御部1は、二つのカメラ(例えば、右側方カメラ2R及び後方カメラ2Bである。)の撮像範囲が重複する領域に対応する、空間モデルMDの平面領域R1上の一座標に対応付けるカメラを選択しているが、二つのカメラの撮像範囲が重複する領域に対応する、処理対象画像平面R3上の一座標に対応付けるカメラを選択するようにしてもよい。
【0150】
この場合、制御部1は、処理対象画像平面R3上の一座標(二次元座標)と二つのカメラのそれぞれの光学中心の座標(処理対象画像平面R3を含む平面上に投影された二次元座標)との間の二次元距離に基づいてカメラを選択するようにしてもよく、処理対象画像平面R3上の一座標(三次元座標)と二つのカメラのそれぞれの光学中心の座標(三次元座標)との間の三次元距離に基づいてカメラを選択するようにしてもよい。なお、処理対象画像平面R3は、平面領域R1を含むものであってもよい。
【0151】
その後、制御部1は、座標対応付け手段10により、選択したカメラの入力画像平面上の一座標と、空間モデルMDの平面領域R1上の一座標とを対応付け(ステップS14)、空間モデルMD上の座標、カメラ識別子、及び入力画像平面上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。
【0152】
その後、制御部1は、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルMDの平面領域R1上の全ての座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けたか否かを判定し(ステップS15)、未だ全ての座標を対応付けていないと判定した場合には(ステップS15のNO)、ステップS11〜ステップS14の処理を繰り返すようにする。
【0153】
一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS15のYES)、この格子模様形成処理を終了させる。
【0154】
なお、上述において、制御部1は、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルMDの平面領域R1上の各座標、又は、処理対象画像平面R3上の各座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けるようにするが、更に、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルMDの曲面領域R2上の各座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けるようにしてもよい。
【0155】
このように、制御部1は、上述のような条件式を用いて空間モデルMD上の各座標を二つのカメラのうちの一つの入力画像平面上の座標に容易に対応付けることができ、適切な格子模様を生成することができる。
【0156】
図16は、図11で示される出力画像と、図11の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図であり、図16(A)が図11で示される出力画像を示し、図16(B)が同色錯視をもたらす格子模様が適用された出力画像を示す。
【0157】
左側方カメラ2Lの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界を含む図16(A)の一点鎖線で囲まれた領域R6は、顕著な輝度の違いを提示しているが、左側方カメラ2Lの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域とが格子模様となって混在する図16(B)の一点鎖線で囲まれた領域R8は、その輝度の違いが目立たなくなっており、その領域R8を含む出力画像を見た運転者に不自然さを感じさせ難くしている。
【0158】
同様に、右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界を含む図16(A)の一点鎖線で囲まれた領域R7は、顕著な輝度の違いを提示しているが、右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域とが格子模様となって混在する図16(B)の一点鎖線で囲まれた領域R9は、その輝度の違いが目立たなくなっており、その領域R9を含む出力画像を見た運転者に不自然さを感じさせ難くしている。
【0159】
次に、図17〜図19を参照しながら、画像生成装置100が、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止する処理について説明する。
【0160】
図17は、ショベル60に搭載された三台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
【0161】
画像生成装置100は、それら三台のカメラ2のそれぞれの入力画像平面上の座標を空間モデルMDの平面領域R1及び曲面領域R2上の座標に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成して、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周辺を見た画像(処理対象画像平面R3における画像)とを表示している。
【0162】
図17において、右側方カメラ2Rの入力画像、及び、後方カメラ2Bの入力画像はそれぞれ、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域内に人物(右側方カメラ2Rの入力画像における二点鎖線で囲まれる領域R10、及び、後方カメラ2Bの入力画像における二点鎖線で囲まれる領域R11参照。)を捉えている。
【0163】
しかしながら、それら右側方カメラ2Rの入力画像、及び、後方カメラ2Bの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、図17で示されるように、その重複領域内の人物を消失させてしまうこととなる(出力画像内の一点鎖線で囲まれる領域R12参照。)。
【0164】
そこで、画像生成装置100は、同色錯視をもたらすために形成される格子模様を利用して、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止するものとする。
【0165】
図18は、二つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図であり、図18(A)は、図13で示される同色錯視をもたらすための格子模様を形成するための波の図を示し、図18(B)は、図18(A)の一部拡大図を示す。
【0166】
図18(A)において、破線で囲まれる投影像PRJ1は、後方カメラ2Bの入力画像における物体OBJ1の像が、路面画像を生成するための視点変換によって、その後方カメラ2Bとその物体OBJ1とを結ぶ線の延長方向に伸長されたもの(後方カメラ2Bの入力画像を用いてその出力画像部分における路面画像を生成した場合に表示される像である。)を表す。
【0167】
また、破線で囲まれる投影像PRJ2は、右後方カメラ2Rの入力画像における物体OBJ1の像が、路面画像を生成するための視点変換によって、その右側方カメラ2Rとその物体OBJ1とを結ぶ線の延長方向に伸長されたもの(右側方カメラ2Rの入力画像を用いてその出力画像部分における路面画像を生成した場合に表示される像である。)を表す。
【0168】
なお、投影像PRJ1及び投影像PRJ2は、最終的な出力画像上にそのままの状態で表示されることはなく、図18(B)で示されるように、一部が切り欠かれた状態で表示されることとなる。
【0169】
また、図18(A)において、投影像PRJ1を表す破線領域のうち、灰色で塗り潰された部分は、腹線ANLが通過する単位パタン領域LT1(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には後方カメラ2Bの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられることを示す。
【0170】
一方、投影像PRJ1を表す破線領域のうち、白色で塗り潰された部分は、節線NLが通過する単位パタン領域LT2(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には右側方カメラ2Rの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられることを示す。
【0171】
なお、投影像PRJ1を表す破線領域のうち、灰色で塗り潰された部分に対応する出力画像上の各座標に、右側方カメラ2Rの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられ、投影像PRJ1を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に、後方カメラ2Bの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられるようにしてもよい。
【0172】
この場合、投影像PRJ1は、図18(B)で示されるように、その伸長方向に直交する円(後方カメラ2Bの位置を波源とする波の山及び谷が描く円である。)の一部をその境界線として含む単位パタン領域LT2によって切り欠かれることとなるが、隣接する単位パタン領域LT1が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域LT2のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。
【0173】
また、投影像PRJ1は、物体OBJ1の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域LT1及びLT2は何れもカメラから遠ざかる程、その投影像PRJ1と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。
【0174】
また、図18(A)において、投影像PRJ2を表す破線領域のうち、黒色で塗り潰された部分は、節線NLが通過する単位パタン領域LT2(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には右側方カメラ2Rの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられることを示す。
【0175】
一方、投影像PRJ2を表す破線領域のうち、白色で塗り潰された部分は、腹線ANLが通過する単位パタン領域LT1(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には後方カメラ2Bの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられることを示す。
【0176】
なお、投影像PRJ2を表す破線領域のうち、黒色で塗り潰された部分に対応する出力画像上の各座標に後方カメラ2Bの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられ、投影像PRJ2を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に右側方カメラ2Rの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられるようにしてもよい。
【0177】
この場合、投影像PRJ2は、投影像PRJ1と同様に、図18(B)で示されるように、その伸長方向に直交する円(右側方カメラ2Rの位置を波源とする波の山及び谷が描く円である。)の一部をその境界線として含む単位パタン領域LT1によって切り欠かれることとなるが、隣接する単位パタン領域LT2が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域LT1のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。
【0178】
また、投影像PRJ2は、投影像PRJ1と同様に、物体OBJ1の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域LT1及びLT2は何れもカメラから遠ざかる程、その投影像PRJ2と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。
【0179】
図19は、図17で示される出力画像と、図17の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図であり、図19(A)が図17で示される出力画像を示し、図19(B)が同色錯視をもたらす格子模様が適用された出力画像を示す。
【0180】
右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界を含む図19(A)の一点鎖線で囲まれた領域R13は、人物が消失した状態を提示しているが、右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域とが格子模様となって混在する図19(B)の一点鎖線で囲まれた領域R14は、人物を消失させることなく、その人物を認識し易い状態で提示し、その領域R14を含む出力画像を見た運転者にその人物の存在を確実に認識させることができるようにしている。
【0181】
以上の構成により、画像生成装置100は、同色錯視をもたらすための格子模様を利用することにより、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止することができ、二つの入力画像のそれぞれの部分領域が櫛歯状に交互に配置されるように二つの入力画像を繋ぎ合わせる場合に比べ、その一部が切り欠かれることとなるその物体の投影像を、運転者がより認識し易い状態で表示することができる。
【0182】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【0183】
例えば、上述の実施例において、画像生成装置100は、空間モデルとして円筒状の空間モデルMDを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
【0184】
また、画像生成装置100は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれているが、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない他の被操作体にカメラと共に搭載され、それら他の被操作体の操作を支援する操作支援システムに組み入れられてもよい。
【符号の説明】
【0185】
1・・・制御部 2・・・カメラ 2L・・・左側方カメラ 2R・・右側方カメラ 2B・・後方カメラ 3・・・入力部 4・・・記憶部 5・・・表示部 10・・・座標対応付け手段 11・・・出力画像生成手段 40・・・入力画像・空間モデル対応マップ 41・・・空間モデル・処理対象画像対応マップ 42・・・処理対象画像・出力画像対応マップ 60・・・ショベル 61・・・下部走行体 62・・・旋回機構 63・・・上部旋回体 64・・・キャブ
【技術分野】
【0001】
本発明は、被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置及びその装置を用いた操作支援システムに関する。
【背景技術】
【0002】
従来、車両周辺を撮像する複数の車載カメラによって撮像された画像のそれぞれを鳥瞰図画像に変換し、それら鳥瞰図画像を繋ぎ合わせた出力画像を運転者に提示する運転支援システムが知られている(例えば、特許文献1参照。)。
【0003】
この運転支援システムは、二つのカメラの撮像範囲の重複領域に対応する重複領域画像を生成する際に、その重複領域画像を二つに分ける一本の複雑な形状の境界線である櫛歯状の境界線を設定し、二つのカメラのそれぞれが撮像した二つの鳥瞰図画像のそれぞれの部分領域が櫛歯状に交互に配置されるように二つの鳥瞰図画像を繋ぎ合わせるようにする。
【0004】
通常、その重複領域に存在する高さのある物体は、二つのカメラのそれぞれとその物体とを結ぶ線の延長方向に二方向に伸長して投影されるため、その重複領域を一本の直線で二つの領域に二分し、一方の領域を一方のカメラによる鳥瞰図画像に対応させ、他方の領域を他方のカメラによる鳥瞰図画像に対応させることによってその重複領域画像を生成すると、その重複領域画像から消失してしまうこととなる。
【0005】
その点、この運転支援システムは、上述の繋ぎ合わせにより、高さのある物体が重複領域画像から消失してしまうのを防止することができ、その物体を運転者が認識し易いものにすることができるとしている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−109166号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載の運転支援システムは、一本の複雑な形状の境界線である櫛歯状の境界線を用いて二つの鳥瞰図画像のそれぞれの部分領域が櫛歯状に交互に配置されるように二つの鳥瞰図画像を繋ぎ合わせて出力画像を生成するので、それら二つの鳥瞰図画像の明るさに大きな差がある場合に櫛歯状の際立った明暗パタンを創出してしまい、その出力画像を見た運転者に不自然さを感じさせてしまうこととなる。
【0008】
上述の点に鑑み、本発明は、複数のカメラが撮像した複数の入力画像に基づいて生成される出力画像における、複数のカメラの撮像範囲が重複する領域での物体の消失を防止しながらも、入力画像間の明るさの差が際立たないようにする画像生成装置及びその装置を用いた操作支援システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上述の目的を達成するために、本発明の実施例に係る画像生成装置は、被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置であって、前記複数のカメラのうちの二つのそれぞれの撮像範囲が重複する領域に対応する前記複数のカメラのうちの二つのそれぞれの入力画像部分は、前記出力画像において、格子模様を形成するように配置されることを特徴とする。
また、本発明の実施例に係る操作支援システムは、被操作体の移動又は操作を支援する操作支援システムであって、請求項1又は2に記載の画像生成装置と、前記被操作体を移動させ或いは操作するための操作室に設置され、該画像生成装置が生成する出力画像を表示する表示部と、を備えることを特徴とする。
【発明の効果】
【0010】
上述の手段により、本発明は、複数のカメラが撮像した複数の入力画像に基づいて生成される出力画像における、複数のカメラの撮像範囲が重複する領域での物体の消失を防止しながらも、入力画像間の明るさの差が際立たないようにする画像生成装置及びその装置を用いた操作支援システムを提供することができる。
【図面の簡単な説明】
【0011】
【図1】本発明に係る画像生成装置の構成例を概略的に示すブロック図である。
【図2】画像生成装置が搭載されるショベルの構成例を示す図である。
【図3】入力画像が投影される空間モデルの一例を示す図である。
【図4】空間モデルと処理対象画像平面との間の関係の一例を示す図である。
【図5】入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。
【図6】座標対応付け手段による座標間の対応付けを説明するための図である。
【図7】平行線群の作用を説明するための図である。
【図8】補助線群の作用を説明するための図である。
【図9】処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。
【図10】出力画像の表示例(その1)である。
【図11】出力画像の表示例(その2)である。
【図12】同色錯視を説明するための図である。
【図13】同色錯視をもたらす明暗パタンを生成する方法の一例を説明するための図である。
【図14】図13の格子模様を出力画像平面上に配置した状態を示す図である。
【図15】格子模様形成処理の流れを示すフローチャートである。
【図16】図11で示される出力画像と、図11の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図である。
【図17】出力画像の表示例(その3)である。
【図18】二つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図である。
【図19】図17で示される出力画像と、図17の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【0013】
図1は、本発明に係る画像生成装置の構成例100を概略的に示すブロック図である。
【0014】
画像生成装置100は、例えば、建設機械に搭載されたカメラ2が撮像した入力画像に基づいて出力画像を生成しその出力画像を運転者に提示する装置であって、制御部1、カメラ2、入力部3、記憶部4、及び表示部5で構成される。
【0015】
図2は、画像生成装置100が搭載されるショベル60の構成例を示す図であり、ショベル60は、クローラ式の下部走行体61の上に、旋回機構62を介して、上部旋回体63を旋回軸PVの周りで旋回自在に搭載している。
【0016】
また、上部旋回体63は、その前方左側部にキャブ(運転室)64を備え、その前方中央部に掘削アタッチメントEを備え、その右側面及び後面にカメラ2(右側方カメラ2R、後方カメラ2B)を備えている。なお、キャブ64内の運転者が視認し易い位置には表示部5が設置されているものとする。
【0017】
次に、画像生成装置100の各構成要素について説明する。
【0018】
制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータであって、例えば、後述する座標対応付け手段10及び出力画像生成手段11のそれぞれに対応するプログラムをROMやNVRAMに記憶し、一時記憶領域としてRAMを利用しながら各手段に対応する処理をCPUに実行させる。
【0019】
カメラ2は、ショベル60の周辺を映し出す入力画像を取得するための装置であり、例えば、キャブ64にいる運転者の死角となる領域を撮像できるよう上部旋回体63の右側面及び後面に取り付けられる(図2参照。)、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えた右側方カメラ2R及び後方カメラ2Bである。なお、カメラ2は、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。
【0020】
また、カメラ2は、制御部1からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部1に対して出力する。なお、カメラ2は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部1に対して出力するが、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部1に対して出力してもよい。その場合には、制御部1がその見掛け上の歪曲やアオリを補正することとなる。
【0021】
入力部3は、操作者が画像生成装置100に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。
【0022】
記憶部4は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
【0023】
表示部5は、画像情報を表示するための装置であり、例えば、建設機械のキャブ64(図2参照。)内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部1が出力する各種画像を表示する。
【0024】
また、画像生成装置100は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周辺障害物との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を運転者に提示するようにしてもよい。
【0025】
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)の対象となる画像であり、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像(例えば、空の部分である。)を含む入力画像を画像変換処理で用いる場合に、その水平方向の画像が不自然に表示されないよう(例えば、空の部分が地表にあるものとして扱われないよう)その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる、画像変換処理に適した画像である。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
【0026】
「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面(例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。)を含む、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。
【0027】
なお、画像生成装置100は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
【0028】
図3は、入力画像が投影される空間モデルMDの一例を示す図であり、図3(A)は、ショベル60を側方から見たときのショベル60と空間モデルMDとの間の関係を示し、図3(B)は、ショベル60を上方から見たときのショベル60と空間モデルMDとの間の関係を示す。
【0029】
図3で示されるように、空間モデルMDは、半円筒形状を有し、その底面内部の平面領域R1とその側面内部の曲面領域R2とを有する。
【0030】
また、図4は、空間モデルMDと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面R3は、例えば、空間モデルMDの平面領域R1を含む平面である。なお、図4は、明確化のために、空間モデルMDを、図3で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルMDは、半円筒形状及び円筒形状の何れであってもよいものとする。以降の図においても同様である。また、処理対象画像平面R3は、上述のように、空間モデルMDの平面領域R1を含む円形領域であってもよく、空間モデルMDの平面領域R1を含まない環状領域であってもよい。
【0031】
次に、制御部1が有する各種手段について説明する。
【0032】
座標対応付け手段10は、カメラ2が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付けるための手段であり、例えば、予め設定された、或いは、入力部3を介して入力される、カメラ2の光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等のカメラ2に関する各種パラメータと、予め決定された、入力画像平面、空間モデルMD、及び処理対象画像平面R3の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、それらの対応関係を記憶部4の入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41に記憶する。
【0033】
なお、座標対応付け手段10は、処理対象画像を生成しない場合には、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ41への記憶を省略する。
【0034】
出力画像生成手段11は、出力画像を生成するための手段であり、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶し、座標対応付け手段10がその値を記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。
【0035】
また、出力画像生成手段11は、予め設定された、或いは、入力部3を介して入力される、仮想カメラの光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶し、座標対応付け手段10がその値を記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。
【0036】
なお、出力画像生成手段11は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。
【0037】
また、出力画像生成手段11は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルMD上の座標と出力画像平面上の座標とを対応付け、入力画像・空間モデル対応マップ40を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、出力画像生成手段11は、処理対象画像平面R3上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ42への記憶を省略する。
【0038】
次に、座標対応付け手段10及び出力画像生成手段11による具体的な処理の一例について説明する。
【0039】
座標対応付け手段10は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。
【0040】
図5は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図であり、カメラ2の入力画像平面は、カメラ2の光学中心Cを原点とするUVW直交座標系における一平面として表され、空間モデルは、XYZ直交座標系における立体面として表されるものとする。
【0041】
最初に、座標対応付け手段10は、空間モデル上の座標(XYZ座標系上の座標)を入力画像平面上の座標(UVW座標系上の座標)に変換するため、XYZ座標系の原点を光学中心C(UVW座標系の原点)に並行移動させた上で、X軸をU軸に、Y軸をV軸に、Z軸を−W軸(符号「−」は方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を−Z方向としていることに起因する。)にそれぞれ一致させるようXYZ座標系を回転させる。
【0042】
なお、カメラ2が複数存在する場合、カメラ2のそれぞれが個別のUVW座標系を有することとなるので、座標対応付け手段10は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させることとなる。
【0043】
上述の変換は、カメラ2の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が−W軸に一致するよう回転させ、更に、X軸がU軸に一致するよう回転させることによって実現されるので、座標対応付け手段10は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
【0044】
ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが張る面の法線を軸としてベクトルAとベクトルBとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは、
【0045】
【数1】
で表されることとなる。
【0046】
また、ベクトルAとベクトルBとが張る面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から
【0047】
【数2】
で表されることとなる。
【0048】
なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、
【0049】
【数3】
を満たす超複素数であり、本実施例において、四元数Qは、実成分をt、純虚成分をa、b、cとして、
【0050】
【数4】
で表されるものとし、四元数Qの共役四元数は、
【0051】
【数5】
で表されるものとする。
【0052】
四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することができ、また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
【0053】
更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。
【0054】
【数6】
ここで、本実施例において、Z軸を−W軸に一致させる回転を表す四元数をQzとすると、XYZ座標系におけるX軸上の点Xは、点X'に移動させられるので、点X'は、
【0055】
【数7】
で表されることとなる。
【0056】
また、本実施例において、X軸上にある点X'と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQxとすると、「Z軸を−W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、
【0057】
【数8】
で表されることとなる。
【0058】
以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P'は、
【0059】
【数9】
で表されることとなり、四元数Rがカメラ2のそれぞれで不変であることから、座標対応付け手段10は、以後、この演算を実行するだけで空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換することができる。
【0060】
空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、座標対応付け手段10は、カメラ2の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P'とを結ぶ線分CP'と、カメラ2の光軸Gとが形成する入射角αを算出する。
【0061】
また、座標対応付け手段10は、カメラ2の入力画像平面R4(例えば、CCD面)に平行で且つ座標P'を含む平面Hにおける、平面Hと光軸Gとの交点Eと座標P'とを結ぶ線分EP'と、平面HにおけるU'軸とが形成する偏角φ、及び線分EP'の長さを算出する。
【0062】
カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっているので、座標対応付け手段10は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。
【0063】
その後、座標対応付け手段10は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R4の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルMD上の座標P(P')と入力画像平面R4上の座標とを対応付けることができる。
【0064】
なお、入力画像平面R4のU軸方向における一画素当たりの画素サイズをaUとし、入力画像平面R4のV軸方向における一画素当たりの画素サイズをaVとすると、空間モデルMD上の座標P(P')に対応する入力画像平面R4上の座標(u,v)は、
【0065】
【数10】
【0066】
【数11】
で表されることとなる。
【0067】
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、カメラ毎に存在する一又は複数の入力画像平面R4上の座標とを対応付け、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R4上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。
【0068】
また、座標対応付け手段10は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段10は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。
【0069】
なお、複数の入力画像平面R4上の座標への対応付けが可能な場合、座標対応付け手段10は、空間モデルMD上の座標P(P')を、その入射角αが最も小さいカメラに関する入力画像平面R4上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面R4上の座標に対応付けるようにしてもよい。
【0070】
次に、空間モデルMD上の座標のうち、曲面領域R2上の座標(Z軸方向の成分を持つ座標)を、XY平面上にある処理対象画像平面R3に再投影する処理について説明する。
【0071】
図6は、座標対応付け手段10による座標間の対応付けを説明するための図であり、図6(A)は、一例として通常射影(h=ftanα)を採用するカメラ2の入力画像平面R4上の座標と空間モデルMD上の座標との間の対応関係を示す図であって、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ2の光学中心Cを通過するようにして、両座標を対応付ける。
【0072】
図6(A)の例では、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標K1を空間モデルMDの平面領域R1上の座標L1に対応付け、カメラ2の入力画像平面R4上の座標K2を空間モデルMDの曲面領域R2上の座標L2に対応付ける。このとき、線分K1−L1及び線分K2−L2は共にカメラ2の光学中心Cを通過する。
【0073】
なお、カメラ2が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、座標対応付け手段10は、それぞれの射影方式に応じて、カメラ2の入力画像平面R4上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付けるようにする。
【0074】
具体的には、座標対応付け手段10は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1−L1及び線分K2−L2がカメラ2の光学中心Cを通過することはない。
【0075】
図6(B)は、空間モデルMDの曲面領域R2上の座標と処理対象画像平面R3上の座標との間の対応関係を示す図であり、座標対応付け手段10は、XZ平面上に位置する平行線群PLであって、処理対象画像平面R3との間で角度βを形成する平行線群PLを導入し、空間モデルMDの曲面領域R2上の座標とその座標に対応する処理対象画像平面R3上の座標とが共に平行線群PLのうちの一つに乗るようにして、両座標を対応付ける。
【0076】
図6(B)の例では、座標対応付け手段10は、空間モデルMDの曲面領域R2上の座標L2と処理対象画像平面R3上の座標M2とが共通の平行線に乗るとして、両座標を対応付けるようにする。
【0077】
なお、座標対応付け手段10は、空間モデルMDの平面領域R1上の座標を曲面領域R2上の座標と同様に平行線群PLを用いて処理対象画像平面R3上の座標に対応付けることが可能であるが、図6(B)の例では、平面領域R1と処理対象画像平面R3とが共通の平面となっているので、空間モデルMDの平面領域R1上の座標L1と処理対象画像平面R3上の座標M1とは同じ座標値を有するものとなっている。
【0078】
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、空間モデルMD上の座標及び処理対象画像R3上の座標を関連付けて空間モデル・処理対象画像対応マップ41に記憶する。
【0079】
図6(C)は、処理対象画像平面R3上の座標と一例として通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5上の座標との間の対応関係を示す図であり、出力画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標とその座標に対応する処理対象画像平面R3上の座標とを結ぶ線分のそれぞれが仮想カメラ2Vの光学中心CVを通過するようにして、両座標を対応付ける。
【0080】
図6(C)の例では、出力画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標N1を処理対象画像平面R3(空間モデルMDの平面領域R1)上の座標M1に対応付け、仮想カメラ2Vの出力画像平面R5上の座標N2を処理対象画像平面R3上の座標M2に対応付ける。このとき、線分M1−N1及び線分M2−N2は共に仮想カメラ2Vの光学中心CVを通過する。
【0081】
なお、仮想カメラ2Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、出力画像生成手段11は、それぞれの射影方式に応じて、仮想カメラ2Vの出力画像平面R5上の座標N1、N2を処理対象画像平面R3上の座標M1、M2に対応付けるようにする。
【0082】
具体的には、出力画像生成手段11は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1−N1及び線分M2−N2が仮想カメラ2Vの光学中心CVを通過することはない。
【0083】
このようにして、出力画像生成手段11は、出力画像平面R5上の座標と、処理対象画像平面R3上の座標とを対応付け、出力画像平面R5上の座標及び処理対象画像R3上の座標を関連付けて処理対象画像・出力画像対応マップ42に記憶し、座標対応付け手段10が記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
【0084】
なお、図6(D)は、図6(A)〜図6(C)を組み合わせた図であり、カメラ2、仮想カメラ2V、空間モデルMDの平面領域R1及び曲面領域R2、並びに、処理対象画像平面R3の相互の位置関係を示す。
【0085】
次に、図7を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの作用について説明する。
【0086】
図7(A)は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図であり、図7(B)は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度β1(β1>β)が形成される場合の図である。また、図7(A)及び図7(B)における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応するものとし、図7(A)における座標La〜Ldのそれぞれの間隔は、図7(B)における座標La〜Ldのそれぞれの間隔と等しいものとする。なお、平行線群PLは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の全ての点から処理対象画像平面R3に向かって放射状に延びるように存在するものとする。なお、この場合のZ軸を「再投影軸」と称することとする。
【0087】
図7(A)及び図7(B)で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、平行線群PLと処理対象画像平面R3との間の角度が増大するにつれて線形的に減少する(空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離とは関係なく一様に減少する。)。一方で、空間モデルMDの平面領域R1上の座標群は、図7の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。
【0088】
これら座標群の間隔の変化は、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。
【0089】
次に、図8を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの代替例について説明する。
【0090】
図8(A)は、XZ平面上に位置する補助線群ALの全てがZ軸上の始点T1から処理対象画像平面R3に向かって延びる場合の図であり、図8(B)は、補助線群ALの全てがZ軸上の始点T2(T2>T1)から処理対象画像平面R3に向かって延びる場合の図である。また、図8(A)及び図8(B)における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応するものとし(図8(A)の例では、座標Mc、Mdは、処理対象画像平面R3の領域外となるため図示されていない。)、図8(A)における座標La〜Ldのそれぞれの間隔は、図8(B)における座標La〜Ldのそれぞれの間隔と等しいものとする。なお、補助線群ALは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の任意の一点から処理対象画像平面R3に向かって放射状に延びるように存在するものとする。なお、図7と同様、この場合のZ軸を「再投影軸」と称することとする。
【0091】
図8(A)及び図8(B)で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、補助線群ALの始点と原点Oとの間の距離(高さ)が増大するにつれて非線形的に減少する(空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。)。一方で、空間モデルMDの平面領域R1上の座標群は、図8の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。
【0092】
これら座標群の間隔の変化は、平行線群PLのときと同様、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。
【0093】
このようにして、画像生成装置100は、空間モデルMDの平面領域R1に投影された画像に対応する出力画像の画像部分(例えば、路面画像である。)に影響を与えることなく、空間モデルMDの曲面領域R2に投影された画像に対応する出力画像の画像部分(例えば、水平画像である。)を線形的に或いは非線形的に拡大或いは縮小させることができるので、ショベル60の近傍の路面画像(ショベル60を真上から見たときの仮想画像)に影響を与えることなく、ショベル60の周囲に位置する物体(ショベル60から水平方向に周囲を見たときの画像における物体)を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル60の死角領域の視認性を向上させることができる。
【0094】
次に、図9を参照しながら、画像生成装置100が処理対象画像を生成する処理(以下、「処理対象画像生成処理」とする。)、及び、生成した処理対象画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。なお、図9は、処理対象画像生成処理(ステップS1〜ステップS3)及び出力画像生成処理(ステップS4〜ステップS6)の流れを示すフローチャートである。また、カメラ2(入力画像平面R4)、空間モデル(平面領域R1及び曲面領域R2)、並びに、処理対象画像平面R3の配置は予め決定されているものとする。
【0095】
最初に、制御部1は、座標対応付け手段10により、処理対象画像平面R3上の座標と空間モデルMD上の座標とを対応付ける(ステップS1)。
【0096】
具体的には、座標対応付け手段10は、平行線群PLと処理対象画像平面R3との間に形成される角度を取得し、処理対象画像平面R3上の一座標から延びる平行線群PLの一つが空間モデルMDの曲面領域R2と交差する点を算出し、算出した点に対応する曲面領域R2上の座標を、処理対象画像平面R3上のその一座標に対応する曲面領域R2上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。なお、平行線群PLと処理対象画像平面R3との間に形成される角度は、記憶部4等に予め記憶された値であってもよく、入力部3を介して操作者が動的に入力する値であってもよい。
【0097】
また、座標対応付け手段10は、処理対象画像平面R3上の一座標が空間モデルMDの平面領域R1上の一座標と一致する場合には、平面領域R1上のその一座標を、処理対象画像平面R3上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。
【0098】
その後、制御部1は、座標対応付け手段10により、上述の処理によって導き出された空間モデルMD上の一座標と入力画像平面R4上の座標とを対応付ける(ステップS2)。
【0099】
具体的には、座標対応付け手段10は、通常射影(h=ftanα)を採用するカメラ2の光学中心Cの座標を取得し、空間モデルMD上の一座標から延びる線分であり、光学中心Cを通過する線分が入力画像平面R4と交差する点を算出し、算出した点に対応する入力画像平面R4上の座標を、空間モデルMD上のその一座標に対応する入力画像平面R4上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ40に記憶する。
【0100】
その後、制御部1は、処理対象画像平面R3上の全ての座標を空間モデルMD上の座標及び入力画像平面R4上の座標に対応付けたか否かを判定し(ステップS3)、未だ全ての座標を対応付けていないと判定した場合には(ステップS3のNO)、ステップS1及びステップS2の処理を繰り返すようにする。
【0101】
一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS3のYES)、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させ、出力画像生成手段11により、処理対象画像平面R3上の座標と出力画像平面R5上の座標とを対応付ける(ステップS4)。
【0102】
具体的には、出力画像生成手段11は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成し、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面R3上の座標と出力画像平面R5上の座標との間の対応関係を処理対象画像・出力画像対応マップ42に記憶する。
【0103】
或いは、出力画像生成手段11は、仮想カメラ2Vを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面R3上の座標から出力画像平面R5上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
【0104】
或いは、出力画像生成手段11は、通常射影(h=ftanα)を採用する仮想カメラ2Vを用いて出力画像を生成する場合には、その仮想カメラ2Vの光学中心CVの座標を取得した上で、出力画像平面R5上の一座標から延びる線分であり、光学中心CVを通過する線分が処理対象画像平面R3と交差する点を算出し、算出した点に対応する処理対象画像平面R3上の座標を、出力画像平面R5上のその一座標に対応する処理対象画像平面R3上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
【0105】
その後、制御部1は、出力画像生成手段11により、入力画像・空間モデル対応マップ40、空間モデル・処理対象画像対応マップ41、及び処理対象画像・出力画像対応マップ42を参照しながら入力画像平面R4上の座標と空間モデルMD上の座標との対応関係、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応関係、及び処理対象画像平面R3上の座標と出力画像平面R5上の座標との対応関係を辿り、出力画像平面R5上の各座標に対応する入力画像平面R4上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得し、その取得した値を、対応する出力画像平面R5上の各座標の値として採用する(ステップS5)。なお、出力画像平面R5上の一座標に対して複数の入力画像平面R4上の複数の座標が対応する場合、出力画像生成手段11は、それら複数の入力画像平面R4上の複数の座標のそれぞれの値に基づく統計値(例えば、平均値、最大値、最小値、中間値等である。)を導き出し、出力画像平面R5上のその一座標の値としてその統計値を採用するようにしてもよい。
【0106】
その後、制御部1は、出力画像平面R5上の全ての座標の値を入力画像平面R4上の座標の値に対応付けたか否かを判定し(ステップS6)、未だ全ての座標の値を対応付けていないと判定した場合には(ステップS6のNO)、ステップS4及びステップS5の処理を繰り返すようにする。
【0107】
一方、制御部1は、全ての座標の値を対応付けたと判定した場合には(ステップS6のYES)、出力画像を生成して、この一連の処理を終了させる。
【0108】
なお、画像生成装置100は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップS4の"処理対象画像平面上の座標"を"空間モデル上の座標"で読み替えるものとする。
【0109】
以上の構成により、画像生成装置100は、建設機械と周辺障害物との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
【0110】
また、画像生成装置100は、処理対象画像平面R3から空間モデルMDを経て入力画像平面R4に遡るように座標の対応付けを実行することにより、処理対象画像平面R3上の各座標を入力画像平面R4上の一又は複数の座標に確実に対応させることができ、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合と比べ(この場合には、入力画像平面R4上の各座標を処理対象画像平面R3上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面R3上の座標の一部が、入力画像平面R4上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面R3上の座標の一部に補間処理等を施す必要がある。)、より良質な処理対象画像を迅速に生成することができる。
【0111】
また、画像生成装置100は、空間モデルMDの曲面領域R2に対応する画像のみを拡大或いは縮小する場合には、平行線群PLと処理対象画像平面R3との間に形成される角度を変更して空間モデル・処理対象画像対応マップ41における曲面領域R2に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ40の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
【0112】
また、画像生成装置100は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の出力画像(スケール変換画像、アフィン変換画像又は歪曲変換画像)を生成することができる。
【0113】
同様に、画像生成装置100は、出力画像の視点を変更する場合には、仮想カメラ2Vの各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の視点から見た出力画像(視点変換画像)を生成することができる。
【0114】
図10は、ショベル60に搭載された二台のカメラ2(右側方カメラ2R及び後方カメラ2B)の入力画像を用いて生成される出力画像を表示部5に表示させたときの表示例である。
【0115】
画像生成装置100は、それら二台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成して、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周辺を見た画像(処理対象画像平面R3における画像)とを同時に表示している。
【0116】
なお、出力画像は、画像生成装置100が処理対象画像を生成しない場合には、空間モデルMDに投影された画像に画像変換処理(例えば、視点変換処理である。)を施すことによって生成されるものとする。
【0117】
また、出力画像は、ショベル60が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心CTRが空間モデルMDの円筒中心軸上で、且つ、ショベル60の旋回軸PV上となるように生成されており、ショベル60の旋回動作に応じてその中心CTRを軸に回転するように表示される。この場合、空間モデルMDの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。
【0118】
なお、空間モデルMDの半径は、例えば、5メートルであり、平行線群PLが処理対象画像平面R3との間で形成する角度、又は、補助線群ALの始点高さは、ショベル60の旋回中心から掘削アタッチメントEの最大到達距離(例えば12メートルである。)だけ離れた位置に物体(例えば、作業員である。)が存在する場合にその物体が表示部5で十分大きく(例えば、7ミリメートル以上である。)表示されるように、設定され得る。
【0119】
更に、出力画像は、ショベル60のCG画像を、ショベル60の前方が表示部5の画面上方と一致し、且つ、その旋回中心が中心CTRと一致するように配置するようにしてもよい。ショベル60と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。
【0120】
次に、図11〜図16を参照しながら、画像生成装置100が入力画像間の明るさ(輝度)の差を際立たせないようにする処理について説明する。
【0121】
図11は、ショベル60に搭載された三台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
【0122】
画像生成装置100は、それら三台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成して、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周辺を見た画像(処理対象画像平面R3における画像)とを同時に表示している。
【0123】
図11において、左側方カメラ2Lの入力画像及び後方カメラ2Bの入力画像はそれぞれ、ショベル60の周囲における同じ場所を異なる角度から撮像した重複部分を含むが、それら重複部分はそれぞれ、各カメラに関する照明環境等の違いにより異なる明るさで撮像されており、その輝度が異なるものとなっている。右側方カメラ2Rの入力画像と後方カメラ2Bの入力画像との間の重複部分についても同様である。
【0124】
そのため、それら三つの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が複数の入力画像平面上の座標に対応付け可能な場合に、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、同じ場所を撮像しているにもかかわらず、左側方カメラ2Lの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界(図の一点鎖線で囲まれる領域R6参照。)、及び、右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界(図の一点鎖線で囲まれる領域R7参照。)のところでその輝度が急激に変化することとなり、その出力画像を見た運転者に不自然さを感じさせてしまうこととなる。
【0125】
そこで、画像生成装置100は、チェッカーシャドー錯視(同色錯視)による効果を利用して、入力画像間の輝度の差を際立たせないようにする。
【0126】
図12は、同色錯視を説明するための図(Edward H. Adelson、"Checker shadow illusion"、1995年、インターネット<URL: http://web.mit.edu/persci/people/adelson/checkershadow_illusion.html>)であり、図12(A)は、同色錯視をもたらすために利用されるチェッカーパタン(格子模様)を示し、図12(B)は、チェッカーパタン(格子模様)上の点P1〜点P3及び点P4〜点P6における輝度の推移を表すグラフを示す。
【0127】
図12(A)で示されるように、点P2を含む単位パタンの輝度よりも高い輝度を有する二つの単位パタン(点P1を含む単位パタン及び点P3を含む単位パタンである。)で挟まれたその点P2を含む単位パタンの輝度は、点P5を含む単位パタンの輝度よりも低い輝度を有する二つの単位パタン(点P4を含む単位パタン及び点P6を含む単位パタンである。)で挟まれたその点P5を含む単位パタンの輝度よりも低いように見える。
【0128】
しかしながら、この輝度の差は、それぞれの単位パタンが格子模様を形成していること、及び、点P4〜点P6を含む単位パタン群が物体OBJの影に入っていることを認識している観察者の錯視によるものであり、実際には、図12(B)で示されるように、点P2を含む単位パタンの輝度は、点P5を含む単位パタンの輝度に等しいものとなっている。
【0129】
このように、その観察者は、点P1、点P3、及び点P5のそれぞれを含む単位パタンが同じ輝度を有し、点P2、点P4、及び点P6のそれぞれを含む単位パタンが同じ輝度を有するものと錯覚することとなる。
【0130】
図13は、同色錯視をもたらす明暗パタンを生成する方法の一例を説明するための図であり、二つの波源(例えば、右側方カメラ2R及び後方カメラ2Bである。なお、右側方カメラ2Rが図の左側に示されているが、これは図の明瞭化のためであり、ここでは、図の右斜め上方が、ショベル60の後方に対応するものとする。)から山(実線円)及び谷(破線円)を形成しながら拡がって互いに干渉する二つの波を示す。
【0131】
また、図13において、二つの扇形領域2Ra、2Baはそれぞれ、右側方カメラ2Rの撮像範囲、及び、後方カメラ2Bの撮像範囲を示し、太い実線で表される腹線ANLは、二つの波が互いに強め合う点を連ねた線を示し、太い破線で表される節線NLは、二つの波が互いに弱め合う点を連ねた線を示す。なお、腹線ANL及び節線NLは、図13で示されるように、交互に現れることとなる。
【0132】
また、図13において、右側方カメラ2Rを波源として拡がる波の一つの谷が描く線(破線円)と、その一つの谷の次に発生する一つの山が描く線(実線円)と、後方カメラ2Bを波源として拡がる波の一つの谷が描く線(破線円)と、その一つの谷の次に発生する一つの山が描く線(実線円)とで定められる菱形状の領域のそれぞれは、単位パタン領域LTを形成するものとする。
【0133】
図13で示される複数の単位パタン領域LTが出力画像平面上に描かれたものとし、単位パタン領域LTのうちの腹線ANLが通過する(灰色で塗り潰される)単位パタン領域LT1に後方カメラ2Bの入力画像が対応付けられ、且つ、単位パタン領域LTのうちの節線NLが通過する(白色で塗り潰される)単位パタン領域LT2に右側方カメラ2Rの入力画像が対応付けられるものとすると、平均輝度がそれぞれ異なる二つの入力画像は、同色錯視をもたらす格子模様を形成することができることとなる。
【0134】
なお、単位パタン領域LTのうちの腹線ANLが通過する(灰色で塗り潰される)単位パタン領域LT1に右側方カメラ2Rの入力画像が対応付けられ、且つ、単位パタン領域LTのうちの節線NLが通過する(白色で塗り潰される)単位パタン領域LT2に後方カメラ2Bの入力画像が対応付けられる場合も同様に、平均輝度がそれぞれ異なる二つの入力画像は、同色錯視をもたらす格子模様を形成することができることとなる。
【0135】
また、図13の格子模様は、波長及び位相が等しい二つの波を用いて形成されるが、波長及び位相の一方又は双方が異なる二つの波を用いて形成されてもよい。単位パタン領域LT1、LT2のサイズや形状を柔軟に調整できるようにするためである。
【0136】
図14は、図13で示される格子模様を出力画像平面(平面領域R1)上に配置した状態を示し、ショベル60のCG画像の右後方(図の右下方向)にある、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に配置される格子模様と、ショベル60のCG画像の左後方(図の左下方向)にある、左側方カメラ2Lの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に配置される格子模様とを示す。
【0137】
図14において、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に配置される格子模様は、例えば、(灰色で塗り潰される)単位パタン領域LT1に右後方カメラ2Rの入力画像が対応付けられ、(白色で塗り潰される)単位パタン領域LT2に後方カメラ2Bの入力画像が対応付けられるものとする。
【0138】
また、左側方カメラ2Lの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に配置される格子模様は、例えば、(灰色で塗り潰される)単位パタン領域LT3に左後方カメラ2Lの入力画像が対応付けられ、(白色で塗り潰される)単位パタン領域LT4に後方カメラ2Bの入力画像が対応付けられるものとする。
【0139】
図15は、画像生成装置100が、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像平面上の各座標に、それら二つのカメラの何れか一方の入力画像平面上の座標を対応付け、同色錯視をもたらす格子模様を形成する処理(以下、「格子模様形成処理」とする。)の流れを示すフローチャートである。
【0140】
画像生成装置100の制御部1は、例えば、座標対応付け手段10により、図9の処理対象画像生成処理のステップS2において、空間モデルMDの平面領域R1上の一座標と複数の入力画像平面上の座標との対応付けが可能な場合に、空間モデルMDの平面領域R1上の一座標と二つのカメラのそれぞれに対応する二つの入力画像平面のうちの一つにおける一座標とを対応付ける際に、この格子模様形成処理を実行するものとする。
【0141】
最初に、制御部1は、二つのカメラ(例えば、右側方カメラ2R及び後方カメラ2Bである。)の撮像範囲が重複する領域に対応する、空間モデルMDの平面領域R1上の一座標を取得する(ステップS11)。
【0142】
次に、制御部1は、二つのカメラのそれぞれにおける光学中心の座標を取得する(ステップS12)。
【0143】
次に、制御部1は、ステップS11で取得した空間モデルMDにおける平面領域R1上の一座標に対応付けるカメラを選択する(ステップS13)。
【0144】
具体的には、制御部1は、右側方カメラ2Rの光学中心の座標を(Xcam1、Ycam1)とし、後方カメラ2Bの光学中心の座標を(Xcam2、Ycam2)とし、対応付けの対象である空間モデルMDの平面領域R1上の一座標を(Xtarget、Ytarget)とすると、
【0145】
【数12】
で表される条件式が真である場合、その平面領域R1上の一座標に対応付けるカメラとして右側方カメラ2Rを選択し、上述の条件式が偽である場合、その平面領域R1上の一座標に対応付けるカメラとして後方カメラ2Rを選択する。
【0146】
なお、制御部1は、上述の条件式が真である場合に、その平面領域R1上の一座標に対応付けるカメラとして後方カメラ2Bを選択し、上述の条件式が偽である場合に、その平面領域R1上の一座標に対応付けるカメラとして右側方カメラ2Rを選択するようにしてもよい。
【0147】
なお、上述の条件式は、平面領域R1上の座標(Xtarget、Ytarget)が、図14で示される単位パタン領域LT1に含まれるか、或いは、単位パタン領域LT2に含まれるかの判定式に相当する。
【0148】
また、本実施例において、制御部1は、光学中心の座標が二次元座標であり、波源から発生する波が平面波であるという前提で、平面領域R1上の一座標(二次元座標)と二つのカメラのそれぞれの光学中心の座標(平面領域R1を含む平面上に投影された二次元座標)との間の二次元距離に基づいてカメラを選択するが、光学中心の座標を(高さ情報を含む)三次元座標とし、波源から発生する波を球面波としながら、平面領域R1上の一座標(三次元座標)と二つのカメラのそれぞれの光学中心の座標(三次元座標)との間の三次元距離に基づいてカメラを選択するようにしてもよい。
【0149】
また、本実施例において、制御部1は、二つのカメラ(例えば、右側方カメラ2R及び後方カメラ2Bである。)の撮像範囲が重複する領域に対応する、空間モデルMDの平面領域R1上の一座標に対応付けるカメラを選択しているが、二つのカメラの撮像範囲が重複する領域に対応する、処理対象画像平面R3上の一座標に対応付けるカメラを選択するようにしてもよい。
【0150】
この場合、制御部1は、処理対象画像平面R3上の一座標(二次元座標)と二つのカメラのそれぞれの光学中心の座標(処理対象画像平面R3を含む平面上に投影された二次元座標)との間の二次元距離に基づいてカメラを選択するようにしてもよく、処理対象画像平面R3上の一座標(三次元座標)と二つのカメラのそれぞれの光学中心の座標(三次元座標)との間の三次元距離に基づいてカメラを選択するようにしてもよい。なお、処理対象画像平面R3は、平面領域R1を含むものであってもよい。
【0151】
その後、制御部1は、座標対応付け手段10により、選択したカメラの入力画像平面上の一座標と、空間モデルMDの平面領域R1上の一座標とを対応付け(ステップS14)、空間モデルMD上の座標、カメラ識別子、及び入力画像平面上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。
【0152】
その後、制御部1は、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルMDの平面領域R1上の全ての座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けたか否かを判定し(ステップS15)、未だ全ての座標を対応付けていないと判定した場合には(ステップS15のNO)、ステップS11〜ステップS14の処理を繰り返すようにする。
【0153】
一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS15のYES)、この格子模様形成処理を終了させる。
【0154】
なお、上述において、制御部1は、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルMDの平面領域R1上の各座標、又は、処理対象画像平面R3上の各座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けるようにするが、更に、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルMDの曲面領域R2上の各座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けるようにしてもよい。
【0155】
このように、制御部1は、上述のような条件式を用いて空間モデルMD上の各座標を二つのカメラのうちの一つの入力画像平面上の座標に容易に対応付けることができ、適切な格子模様を生成することができる。
【0156】
図16は、図11で示される出力画像と、図11の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図であり、図16(A)が図11で示される出力画像を示し、図16(B)が同色錯視をもたらす格子模様が適用された出力画像を示す。
【0157】
左側方カメラ2Lの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界を含む図16(A)の一点鎖線で囲まれた領域R6は、顕著な輝度の違いを提示しているが、左側方カメラ2Lの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域とが格子模様となって混在する図16(B)の一点鎖線で囲まれた領域R8は、その輝度の違いが目立たなくなっており、その領域R8を含む出力画像を見た運転者に不自然さを感じさせ難くしている。
【0158】
同様に、右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界を含む図16(A)の一点鎖線で囲まれた領域R7は、顕著な輝度の違いを提示しているが、右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域とが格子模様となって混在する図16(B)の一点鎖線で囲まれた領域R9は、その輝度の違いが目立たなくなっており、その領域R9を含む出力画像を見た運転者に不自然さを感じさせ難くしている。
【0159】
次に、図17〜図19を参照しながら、画像生成装置100が、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止する処理について説明する。
【0160】
図17は、ショベル60に搭載された三台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
【0161】
画像生成装置100は、それら三台のカメラ2のそれぞれの入力画像平面上の座標を空間モデルMDの平面領域R1及び曲面領域R2上の座標に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成して、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周辺を見た画像(処理対象画像平面R3における画像)とを表示している。
【0162】
図17において、右側方カメラ2Rの入力画像、及び、後方カメラ2Bの入力画像はそれぞれ、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域内に人物(右側方カメラ2Rの入力画像における二点鎖線で囲まれる領域R10、及び、後方カメラ2Bの入力画像における二点鎖線で囲まれる領域R11参照。)を捉えている。
【0163】
しかしながら、それら右側方カメラ2Rの入力画像、及び、後方カメラ2Bの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、図17で示されるように、その重複領域内の人物を消失させてしまうこととなる(出力画像内の一点鎖線で囲まれる領域R12参照。)。
【0164】
そこで、画像生成装置100は、同色錯視をもたらすために形成される格子模様を利用して、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止するものとする。
【0165】
図18は、二つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図であり、図18(A)は、図13で示される同色錯視をもたらすための格子模様を形成するための波の図を示し、図18(B)は、図18(A)の一部拡大図を示す。
【0166】
図18(A)において、破線で囲まれる投影像PRJ1は、後方カメラ2Bの入力画像における物体OBJ1の像が、路面画像を生成するための視点変換によって、その後方カメラ2Bとその物体OBJ1とを結ぶ線の延長方向に伸長されたもの(後方カメラ2Bの入力画像を用いてその出力画像部分における路面画像を生成した場合に表示される像である。)を表す。
【0167】
また、破線で囲まれる投影像PRJ2は、右後方カメラ2Rの入力画像における物体OBJ1の像が、路面画像を生成するための視点変換によって、その右側方カメラ2Rとその物体OBJ1とを結ぶ線の延長方向に伸長されたもの(右側方カメラ2Rの入力画像を用いてその出力画像部分における路面画像を生成した場合に表示される像である。)を表す。
【0168】
なお、投影像PRJ1及び投影像PRJ2は、最終的な出力画像上にそのままの状態で表示されることはなく、図18(B)で示されるように、一部が切り欠かれた状態で表示されることとなる。
【0169】
また、図18(A)において、投影像PRJ1を表す破線領域のうち、灰色で塗り潰された部分は、腹線ANLが通過する単位パタン領域LT1(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には後方カメラ2Bの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられることを示す。
【0170】
一方、投影像PRJ1を表す破線領域のうち、白色で塗り潰された部分は、節線NLが通過する単位パタン領域LT2(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には右側方カメラ2Rの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられることを示す。
【0171】
なお、投影像PRJ1を表す破線領域のうち、灰色で塗り潰された部分に対応する出力画像上の各座標に、右側方カメラ2Rの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられ、投影像PRJ1を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に、後方カメラ2Bの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられるようにしてもよい。
【0172】
この場合、投影像PRJ1は、図18(B)で示されるように、その伸長方向に直交する円(後方カメラ2Bの位置を波源とする波の山及び谷が描く円である。)の一部をその境界線として含む単位パタン領域LT2によって切り欠かれることとなるが、隣接する単位パタン領域LT1が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域LT2のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。
【0173】
また、投影像PRJ1は、物体OBJ1の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域LT1及びLT2は何れもカメラから遠ざかる程、その投影像PRJ1と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。
【0174】
また、図18(A)において、投影像PRJ2を表す破線領域のうち、黒色で塗り潰された部分は、節線NLが通過する単位パタン領域LT2(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には右側方カメラ2Rの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられることを示す。
【0175】
一方、投影像PRJ2を表す破線領域のうち、白色で塗り潰された部分は、腹線ANLが通過する単位パタン領域LT1(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には後方カメラ2Bの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられることを示す。
【0176】
なお、投影像PRJ2を表す破線領域のうち、黒色で塗り潰された部分に対応する出力画像上の各座標に後方カメラ2Bの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられ、投影像PRJ2を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に右側方カメラ2Rの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられるようにしてもよい。
【0177】
この場合、投影像PRJ2は、投影像PRJ1と同様に、図18(B)で示されるように、その伸長方向に直交する円(右側方カメラ2Rの位置を波源とする波の山及び谷が描く円である。)の一部をその境界線として含む単位パタン領域LT1によって切り欠かれることとなるが、隣接する単位パタン領域LT2が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域LT1のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。
【0178】
また、投影像PRJ2は、投影像PRJ1と同様に、物体OBJ1の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域LT1及びLT2は何れもカメラから遠ざかる程、その投影像PRJ2と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。
【0179】
図19は、図17で示される出力画像と、図17の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図であり、図19(A)が図17で示される出力画像を示し、図19(B)が同色錯視をもたらす格子模様が適用された出力画像を示す。
【0180】
右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界を含む図19(A)の一点鎖線で囲まれた領域R13は、人物が消失した状態を提示しているが、右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域とが格子模様となって混在する図19(B)の一点鎖線で囲まれた領域R14は、人物を消失させることなく、その人物を認識し易い状態で提示し、その領域R14を含む出力画像を見た運転者にその人物の存在を確実に認識させることができるようにしている。
【0181】
以上の構成により、画像生成装置100は、同色錯視をもたらすための格子模様を利用することにより、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止することができ、二つの入力画像のそれぞれの部分領域が櫛歯状に交互に配置されるように二つの入力画像を繋ぎ合わせる場合に比べ、その一部が切り欠かれることとなるその物体の投影像を、運転者がより認識し易い状態で表示することができる。
【0182】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【0183】
例えば、上述の実施例において、画像生成装置100は、空間モデルとして円筒状の空間モデルMDを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
【0184】
また、画像生成装置100は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれているが、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない他の被操作体にカメラと共に搭載され、それら他の被操作体の操作を支援する操作支援システムに組み入れられてもよい。
【符号の説明】
【0185】
1・・・制御部 2・・・カメラ 2L・・・左側方カメラ 2R・・右側方カメラ 2B・・後方カメラ 3・・・入力部 4・・・記憶部 5・・・表示部 10・・・座標対応付け手段 11・・・出力画像生成手段 40・・・入力画像・空間モデル対応マップ 41・・・空間モデル・処理対象画像対応マップ 42・・・処理対象画像・出力画像対応マップ 60・・・ショベル 61・・・下部走行体 62・・・旋回機構 63・・・上部旋回体 64・・・キャブ
【特許請求の範囲】
【請求項1】
被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置であって、
前記複数のカメラのうちの二つのそれぞれの撮像範囲が重複する領域に対応する前記複数のカメラのうちの二つのそれぞれの入力画像部分は、前記出力画像において、格子模様を形成するように配置される、
ことを特徴とする画像生成装置。
【請求項2】
前記格子模様は、第一カメラの位置を波源とする第一の波の山が描く円と、該第一の波の谷が描く円と、第二カメラの位置を波源とする第二の波の山が描く円と、該第二の波の谷が描く円とによって区切られる格子を単位パタンとし、
前記第一の波及び前記第二の波によって形成される腹線が通過する単位パタンに対応する出力画像平面上の座標を前記第一カメラの入力画像平面上の座標に関連付け、
前記第一の波及び前記第二の波によって形成される節線が通過する単位パタンに対応する出力画像平面上の座標を前記第二カメラの入力画像平面上の座標に関連付ける、
ことを特徴とする請求項1に記載の画像生成装置。
【請求項3】
被操作体の移動又は操作を支援する操作支援システムであって、
請求項1又は2に記載の画像生成装置と、
前記被操作体を移動させ或いは操作するための操作室に設置され、該画像生成装置が生成する出力画像を表示する表示部と、
を備えることを特徴とする操作支援システム。
【請求項1】
被操作体に取り付けられた複数のカメラが撮像した複数の入力画像に基づいて出力画像を生成する画像生成装置であって、
前記複数のカメラのうちの二つのそれぞれの撮像範囲が重複する領域に対応する前記複数のカメラのうちの二つのそれぞれの入力画像部分は、前記出力画像において、格子模様を形成するように配置される、
ことを特徴とする画像生成装置。
【請求項2】
前記格子模様は、第一カメラの位置を波源とする第一の波の山が描く円と、該第一の波の谷が描く円と、第二カメラの位置を波源とする第二の波の山が描く円と、該第二の波の谷が描く円とによって区切られる格子を単位パタンとし、
前記第一の波及び前記第二の波によって形成される腹線が通過する単位パタンに対応する出力画像平面上の座標を前記第一カメラの入力画像平面上の座標に関連付け、
前記第一の波及び前記第二の波によって形成される節線が通過する単位パタンに対応する出力画像平面上の座標を前記第二カメラの入力画像平面上の座標に関連付ける、
ことを特徴とする請求項1に記載の画像生成装置。
【請求項3】
被操作体の移動又は操作を支援する操作支援システムであって、
請求項1又は2に記載の画像生成装置と、
前記被操作体を移動させ或いは操作するための操作室に設置され、該画像生成装置が生成する出力画像を表示する表示部と、
を備えることを特徴とする操作支援システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図14】
【図15】
【図18】
【図10】
【図11】
【図12】
【図13】
【図16】
【図17】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図14】
【図15】
【図18】
【図10】
【図11】
【図12】
【図13】
【図16】
【図17】
【図19】
【公開番号】特開2012−109741(P2012−109741A)
【公開日】平成24年6月7日(2012.6.7)
【国際特許分類】
【出願番号】特願2010−256295(P2010−256295)
【出願日】平成22年11月16日(2010.11.16)
【出願人】(000002107)住友重機械工業株式会社 (2,241)
【Fターム(参考)】
【公開日】平成24年6月7日(2012.6.7)
【国際特許分類】
【出願日】平成22年11月16日(2010.11.16)
【出願人】(000002107)住友重機械工業株式会社 (2,241)
【Fターム(参考)】
[ Back to top ]