カメラシステム及び機械装置
【課題】クレーン機械装置の周辺視界を適切に支援する。
【解決手段】クレーン機械装置において、旋回台は走行体上に旋回自在に装着され、旋回台上にブームが起伏運動自在に装着されている。カメラは、クレーン機械装置の周辺を撮影する。ブームの長さ及びブームの起伏角度から旋回台及びブームの旋回運動によってブームの先端部が描く円の半径を求め、その半径に基づいて前記円の世界座標系上における位置を求める。この後、前記円をカメラの撮像面の座標系に投影変換し、投影変換後の円をガイドライン（２０１）としてカメラの撮影画像に重畳して表示する。ガイドラインよりもクレーン機械装置に近い画像領域は、障害物との衝突を特に注視すべき安全確認領域となる。
【解決手段】クレーン機械装置において、旋回台は走行体上に旋回自在に装着され、旋回台上にブームが起伏運動自在に装着されている。カメラは、クレーン機械装置の周辺を撮影する。ブームの長さ及びブームの起伏角度から旋回台及びブームの旋回運動によってブームの先端部が描く円の半径を求め、その半径に基づいて前記円の世界座標系上における位置を求める。この後、前記円をカメラの撮像面の座標系に投影変換し、投影変換後の円をガイドライン（２０１）としてカメラの撮影画像に重畳して表示する。ガイドラインよりもクレーン機械装置に近い画像領域は、障害物との衝突を特に注視すべき安全確認領域となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ撮影に基づく画像を提供するカメラシステムに関する。特に、クレーン機械装置等における周辺視界を支援するカメラシステムに関する。また、本発明は、そのカメラシステムを利用した機械装置に関する。
【背景技術】
【０００２】
近年の安全意識の高まりに伴って自動車などの車両にカメラを搭載することが多くなっており、カメラの撮影画像によって安全確認を支援する様々なシステムが提案されている。例えば、車幅や車両後端からの距離等を示す補助線をカメラ映像に重畳して表示する、乗用車向けのシステムが知られている（例えば、下記特許文献１〜３参照）。この種の補助線の描画位置は、固定的に定まった乗用車の形状等に基づいて決定される。これらの補助線表示は、車両の進行方向に存在する障害物との距離の把握や該障害物に接触するか否かの判断に有益である。
【０００３】
また、視点変換によってカメラの撮影画像を車両の鉛直上方から見下ろしたような鳥瞰図画像に変換し、これを表示するシステムや、複数のカメラの撮影画像に基づく鳥瞰図画像を貼り合わせて合成し、車両の全周を表示するシステムが知られている（例えば、下記特許文献４参照）。鳥瞰図画像による表示方式を採用すれば、障害物までの距離感をつかみやすくなる。
【０００４】
ところで、建築機械業界においても、ＩＳＯ（International Organization for Standardization）等の規格又は法規制によって周囲の視覚確保が求められつつある。移動式クレーン等のクレーン機械装置に安全確認用のカメラを搭載するシステムも提案されているが、この種のクレーン機械装置では、ブームの伸張及び起伏運動などによって注視すべき安全確認領域が変化すると共に乗用車にはない旋回運動なども行なわれる。このため、乗用車向けに開発されたシステムを単純に適用しても、視界支援は十分に達成できない。
【０００５】
【特許文献１】特開２００５−１８６９０６号公報
【特許文献２】特開２０００−２７２４４５号公報
【特許文献３】特開２００２−３１４９９１号公報
【特許文献４】特開２００２−１２５２２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで本発明は、クレーン機械装置等における旋回体の周辺状況の確認容易化に寄与するカメラシステムを提供することを目的とする。また本発明は、そのカメラシステムを利用した機械装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係るカメラシステムは、旋回運動が可能な旋回体の周辺を撮影するカメラユニットと、前記カメラユニットにて得られた撮影画像に基づく表示用画像を生成する画像処理装置と、を備えて、前記表示用画像を表示装置に出力するカメラシステムにおいて、前記画像処理装置は、前記旋回体の旋回による前記旋回体の可動範囲の外周位置に応じた特定画像領域が前記表示装置の表示画面上で視認可能なように前記表示用画像を生成することを特徴とする。
【０００８】
これにより、旋回体の可動範囲の外周位置に応じた特定画像領域と旋回体にとっての障害物等との位置関係を、表示画面上で確認することが可能となる。結果、注視すべき旋回体の周辺状況の確認容易化が図られる。
【０００９】
具体的には例えば、前記旋回体は、旋回運動が可能な旋回台上に起伏運動が可能なように装着された棒状の主軸部材を有して、前記旋回台の旋回に伴って旋回運動し、前記外周位置は、前記主軸部材の長さ及び前記旋回台に対する前記主軸部材の起伏角度を含む旋回体状態に応じて変化し、前記画像処理装置は、前記旋回体状態に基づいて前記表示用画像上における前記特定画像領域の位置を定める。
【００１０】
また具体的には例えば、前記画像処理装置は、前記外周位置に応じた指標を前記撮影画像に重畳することによって或いは前記外周位置に応じて前記撮影画像を加工することによって前記表示用画像を生成する。
【００１１】
これに代えて例えば、前記画像処理装置は、前記撮影画像を仮想カメラの視点から見た鳥瞰図画像に変換する鳥瞰変換手段を備え、前記外周位置に応じた指標を前記鳥瞰図画像に重畳することによって或いは前記外周位置に応じて前記鳥瞰図画像を加工することによって前記表示用画像を生成するようにしてもよい。
【００１２】
また更に例えば、前記カメラユニットは、前記旋回体の周辺を撮影する、互いに異なる視点を有した複数のカメラから形成され、前記画像処理装置は、各カメラの撮影画像を仮想カメラの視点から見た鳥瞰図画像に変換して各鳥瞰図画像を合成することにより合成鳥瞰図画像を生成する鳥瞰変換手段を備え、前記外周位置に応じた指標を前記合成鳥瞰図画像に重畳することによって或いは前記外周位置に応じて前記合成鳥瞰図画像を加工することによって前記表示用画像を生成するようにしてもよい。
【００１３】
そして例えば、前記画像処理装置は、前記旋回体の可動範囲が変化した際、その変化に基づく前記表示用画像上の前記特定画像領域の大きさ変化が抑制されるように前記表示用画像を生成するようにしてもよい。
【００１４】
これにより、旋回体の可動範囲の変化に拘らず、特に注視すべき画像領域を適切なサイズにて表示し続けることが可能となる。
【００１５】
具体的には例えば、前記画像処理装置は、前記旋回体の可動範囲が変化した際、その変化に応じて前記仮想カメラの視点の高さを変更することにより前記大きさ変化を抑制する。
【００１６】
また具体的には例えば、前記主軸部材は、クレーン機械装置又はショベルカーを含む機械装置に備えられたブームである。
【００１７】
また本発明に係る機械装置は、上記の旋回体を旋回運動させ、且つ、上記のカメラシステムが設置されたことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、クレーン機械装置等における旋回体の周辺状況の確認容易化に寄与するカメラシステムを提供することができる。
【００１９】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２１】
以下の説明において、地面は水平面に平行であるものとする。また、単に「高さ」といった場合、それは地面からの高さを意味するものとする。
【００２２】
＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１並びに図２（ａ）及び（ｂ）を参照する。図１は、第１実施形態に係る視界支援システムの全体ブロック図である。図１の視界支援システムは、カメラ１、画像処理装置２、表示装置３及び操作部４を備えている。
【００２３】
図２（ａ）は、図１の視界支援システムが搭載されるクレーン機械装置１０の外観側面図であり、図２（ｂ）は、クレーン機械装置１０を上方から見た平面図である。
【００２４】
クレーン機械装置１０は、移動式クレーンであり、本実施形態ではクローラクレーンを例示している。クレーン機械装置１０は、クローラとしての下部走行体２１（以下、走行体２１と略記する）と、上部旋回台２２（以下、旋回台２２と略記する）と、操縦席ボックス２３と、ブーム２４と、を含んで構成される。更に、ワイヤ２５及びフック２６も、クレーン機械装置１０に備え付けられている。旋回台２２と操縦席ボックス２３とブーム２４は、機体２０を形成する。尚、ブーム２４は、アームとも呼ばれることがある。
【００２５】
走行体２１は地面上を走行し、クレーン機械装置１０の全体を移動させる。但し、本実施形態及び後述の他の実施形態において、走行体２１は静止しているものとする。旋回台２２を含む機体２０は、走行体２１と旋回台２２との連結部を通り且つ鉛直線に平行な所定軸を旋回軸として旋回自在となるように走行体２１上に装着されている。ブーム２４は、旋回台２２の旋回に伴って該旋回軸の周りを旋回する。
【００２６】
旋回台２２上には、操縦席ボックス２３とブーム２４が装着されている。ブーム２４は、その長さを伸縮可能な伸縮ブームである。ブーム２４は、起伏運動が可能なように旋回台２２上に取り付けられ、旋回台２２に対するブーム２４の起伏角度（後述の角度θA）は所定角度範囲内で自在に変更可能となっている。尚、ブーム２４は、長さが固定されたブームであっても良い。
【００２７】
ブーム２４は、細長い棒状体であり、その一端は旋回台２２に固定されている。一方、ブーム２４の他端を含むブーム２４の先端部２７からは、鉛直下方向きに巻き上げ及び巻き下げ自在のワイヤ２５が吊り下げられている。ワイヤ２５の下端にはフック２６が取り付けられている。フック２６に荷（不図示）を掛けた状態でワイヤ２５を巻き上げ、旋回台２２を含む機体２０を旋回運動させることにより、荷を水平方向に運搬することができる。尚、フック２６以外のものをワイヤ２５の下端に取り付けてもよい。例えば、建造物等を破砕するための鉄球（不図示）をフック２６の代わりにワイヤ２５の下端に取り付けてもよい。
【００２８】
図２（ｂ）において、旋回台２２が旋回した際にブーム２４の先端部２７が描く仮想線を波線曲線１００にて表している。波線曲線１００は円を成す。
【００２９】
クレーン機械装置１０の操縦者が、操縦席ボックス２３内に配置された操縦用部材を操作することにより、走行体２１による走行、ブーム２４の長さの変更、旋回台２２の旋回運動、旋回台２２に対するブーム２４の起伏角度の変更、及び、ワイヤ２５の巻き上げ／巻き下げを指示することができる。
【００３０】
機体２０には、機体２０の周辺を撮影するカメラ１が設置されている。図２（ａ）及び（ｂ）に示す例では、操縦席ボックス２３の上部にカメラ１が設置されている。但し、旋回台２２又はブーム２４にカメラ１を設置するようにしても構わない。
【００３１】
カメラ１として、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。画像処理装置２、表示装置３及び操作部４は、例えば、操縦席ボックス２３内の操縦席付近に設置される。特に、クレーン機械装置１０の操縦者が表示装置３の表示画面を視認可能なように表示装置３を設置しておく。
【００３２】
カメラ１は、機体２０の周辺に位置する被写体（地面を含む）を撮影し、撮影によって得られた画像（以下、撮影画像という）を表す信号を画像処理装置２に送る。特に、先端部２７を通る鉛直線と地面との交点が、カメラ１の視野に含まれるようにカメラ１は設置される。望ましくは、フック２６をカメラ１の視野に収める。図２（ｂ）において、波線扇型領域１０１は、カメラ１の視野を表している。
【００３３】
画像処理装置２は、撮影画像から表示装置３に対する出力画像、即ち表示用画像を生成する。この表示用画像を表す映像信号は表示装置３に与えられ、表示装置３は、該表示用画像を映像として表示する。操作部４は、ユーザからの操作を受け付け、その操作内容に応じた信号を画像処理装置２に伝達する。カメラ１は、所定のフレーム周期（例えば、１／６０秒の周期）にて撮影画像を取得する。そして例えば、新たな撮影画像が得られる度に、その新たな撮影画像から表示用画像が生成されて表示装置３の表示内容が更新される。
【００３４】
図３及び図４を参照して、表示用画像の生成に関与する物理量や記号等の説明を行う。
【００３５】
図３は、その物理量を表す記号を併記した、クレーン機械装置１０の外観側面図である。ブーム２４を、直方体と捉え、ブーム２４の長手方向の中心軸１０５と所定の基準面１０６とが成す鋭角をθAにより表す。θAは、旋回台２２に対するブーム２４の起伏角度を表し、それをブーム起伏角度と呼ぶ。基準面１０６は、旋回台２２の旋回面に平行な面である。旋回台２２は、旋回面に沿って旋回運動を行う。基本的には、旋回面と水平面は平行であり、旋回面が水平面に平行である場合を考える。
【００３６】
ブーム２４の長手方向とは、ブーム２４の、旋回台２２に固定された一端と、ブーム２４の他端を含む先端部２７と、を結ぶ方向である。そして、そのブーム２４の長手方向におけるブーム２４の長さ（ブーム２４の一端と他端間の長さ）をｌにて表し、それをブーム長さと呼ぶ。
【００３７】
また、水平面とカメラ１の光軸との成す角度には鋭角と鈍角の２つの角度があるが、その２つの角度の内の鈍角をθにより表し、角度θを、水平面に対するカメラ１の傾き角度として捉える。尚、（１８０°−θ）は、一般的には見下ろし角または俯角と呼ばれている。更に、カメラ１の高さ（より詳細には、カメラ１の光学中心の高さ）をｈにて表す。
【００３８】
図４は、カメラ１の撮像面Ｓの座標系と、世界座標系との関係を示している。撮像面Ｓの座標系は、Ｘbu軸及びＹbu軸を座標軸とする二次元の座標系である。世界座標系は、Ｘw軸、Ｙw軸及びＺw軸を座標軸とする三次元の座標系である。図４には、撮像面Ｓが仮想的に示されている。
【００３９】
撮像面Ｓの座標系では、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸbu軸がとられ、撮像面Ｓの縦方向にＹbu軸がとられている。世界座標系における原点Ｏwは、カメラ１の光学中心Ｏを通る鉛直線と地面との交点に一致する。Ｘw軸、Ｙw軸及びＺw軸は互いに直交しており、Ｘw軸とＹw軸とＺw軸は原点Ｏwにて交わる。原点Ｏwを含み且つＸw軸及びＹw軸に平行な面は、地面であり、Ｚw軸方向は高さ方向に一致する。従って、原点Ｏwと光学中心Ｏとの平行移動量はｈである。
【００４０】
光学中心Ｏ及び原点Ｏwを含み且つＺw軸及びＹw軸に平行な面上に、カメラ１の光軸１１０が存在する。そして、光軸１１０と水平面との成す鈍角が、上述の傾き角度θである。
【００４１】
撮像面Ｓの座標系における各点の座標を（ｘbu，ｙbu）で表し、世界座標系における各点の座標を（ｘw，ｙw，ｚw）で表す。撮像面Ｓの座標系において、或る点に関するｘbu及びｙbuは、夫々、その点の座標のＸbu軸成分及びＹbu軸成分である。世界座標系において、或る点に関するｘw，ｙw及びｚwは、夫々、その点の座標のＸw軸成分、Ｙw軸成分及びＺw軸成分である。
【００４２】
世界座標系上における任意の点は、透視投影により撮像面Ｓの座標系上における点に投影される。この投影を表す式は下記式（１）にて表される。ここで、Ｐは３×４の行列であり、一般に透視投影行列と呼ばれる。周知の如く、行列Ｐは、カメラ１の高さｈ、傾き角度θ及び焦点距離ｆを含むカメラパラメータによって一意に定まる。このカメラパラメータは、画像処理装置２にとって既知であるものとし、画像処理装置２は、カメラパラメータに基づく行列Ｐを用い、式（１）に従って世界座標系上における任意の点を撮像面Ｓの座標系上における点に投影することができる。
【００４３】
【数１】
【００４４】
更に図５を参照する。図５において、符号１２０は、旋回台２２の旋回運動によってブーム２４の先端部２７が描く図形の、地面への投影曲線を表している。尚、図５には、図４と同じ世界座標系が示されている。投影曲線１２０は円を成し、その円の半径をｒで表すと、ｒ＝ｌ・ｃｏｓθAが成立する。投影曲線１２０が描く円の中心１２１は、ブーム２４の旋回軸上にあり、原点Ｏwと一致する場合もあるが一致しない場合もある。半径ｒは、旋回台２２を含む機体２０の旋回運動によるブーム２４の可動範囲の半径を表し、投影曲線１２０は、その可動範囲の外周を表している。
【００４５】
本実施形態では、半径ｒに応じた安全確認領域（特定画像領域）が視認可能なように、撮影画像から表示用画像を生成し、これを表示する。安全確認領域とは、障害物が存在していないかを注視すべき領域であり、本実施形態では、安全確認領域とそれ以外の領域をガイドラインによって区別して視認させる。
【００４６】
これに対応する、図１の視界支援システムの動作手順を、図６を参照して説明する。図６は、この動作手順を表すフローチャートである。ステップＳ１〜Ｓ４及びＳ６の各処理は画像処理装置２によって実施され、ステップＳ５の処理はカメラ１と画像処理装置２によって実施され、ステップＳ７の処理は表示装置３によって実施される。
【００４７】
まず、ステップＳ１において、画像処理装置２は、ブーム長さｌ及びブーム起伏角度θAを特定する。それらの特定手法として公知の任意の特定手法を利用可能である。
【００４８】
例えば、ブーム長さｌ及びブーム起伏角度θAを特開平７−６１７７７号公報に記載の手法によって自動的に求めることができる。安全装置としてクレーン機械装置１０に元々備えられているブーム起伏角度検出器（不図示）を利用して、ブーム起伏角度θAを検出することもできる。
【００４９】
また例えば、ブーム長さｌ及びブーム起伏角度θAを手動操作にて画像処理装置２に与えるようにしてもよい。この場合、現在のブーム長さｌ及びブーム起伏角度θAを表す情報を図１の操作部４を操作することによって画像処理装置２に与え、画像処理装置２は、その情報によってブーム長さｌ及びブーム起伏角度θAを特定する。尚、ブーム長さｌが予め固定的に決まっている場合は、ブーム長さｌを表す固定値を画像処理装置２に予め与えておくこともできる。
【００５０】
ステップＳ１に続くステップＳ２において、ステップＳ１にて特定されたブーム長さｌ及びブーム起伏角度θAを用い、算出式「ｒ＝ｌ・ｃｏｓθA」に従って上述の半径ｒを算出する。その後、ステップＳ３に進む。
【００５１】
半径ｒが求まれば、描画すべきガイドラインの世界座標系上における位置を求めることができる。具体的には以下のように処理する。ステップＳ３において、ステップＳ２で算出された半径ｒと、カメラ１とブーム２４との位置関係を特定する既知情報とに基づいて、旋回台２２の旋回によってブーム２４の先端部２７が描く図形の世界座標系上の座標値を求める。この図形を、便宜上、旋回外周図形と呼ぶ。この旋回外周図形は、ＺW軸方向の座標値ｚwを任意とすれば図５の投影曲線１２０を一断面とする円筒を形成し、ｚw＝０とすれば図５の投影曲線１２０を描く。尚、カメラ１とブーム２４との位置関係を特定する上記既知情報によって、図５の中心１２１のＸW軸方向の座標値及びＹW軸方向の座標値は定まる。この既知情報は、予め画像処理装置２に与えられる。
【００５２】
ステップＳ３では、最終的に、描画すべきガイドラインの世界座標系上における座標値を求める。例えば、旋回外周図形の世界座標系上における座標値そのものを、ガイドラインの世界座標系上における座標値とする。この場合において、通常は、ｚw＝０とし、投影曲線１２０を世界座標系上におけるガイドラインとする。
【００５３】
また例えば、接触事故等に対する安全性を考慮して、図７に示す如く、半径ｒよりも半径が大きい仮想円１３０を想定し、仮想円１３０の世界座標系上における座標値をガイドラインの世界座標系上における座標値としてもよい。図７において、仮想円１３０は投影曲線１２０が描かれる平面上に定義された円であり、仮想円１３０の中心は投影曲線１２０が描く円の中心１２１と一致する。尚、仮想円１３０を世界座標系上におけるガイドラインとして取り扱う場合、ステップＳ３において、仮想円１３０の世界座標系上における座標値が求まれば足るので旋回外周図形の世界座標系上における座標値を求める必要はない。
【００５４】
ステップＳ３に続くステップＳ４では、ステップＳ３で求められた世界座標系上のガイドラインを撮像面Ｓの座標系上に投影変換する。つまり、世界座標系におけるガイドライン上の各点の座標値（ｘw，ｙw，ｚw）を、上記式（１）に従って撮像面Ｓの座標系上の座標値（ｘbu，ｙbu）に変換し、この変換によって得られた各座標値（ｘbu，ｙbu）を有する点から形成される図形を撮像面Ｓの座標系上におけるガイドラインとする。式（１）に基づく変換の際、一般的には「ｚw＝０」とすればよい。
【００５５】
そして続くステップＳ５において、画像処理装置２はカメラ１の撮影画像を取り込む。カメラ１に広角レンズを用いた場合などにおいては、通常、撮影画像に歪みが生じているため、レンズ歪み補正を施す。撮像面Ｓの座標系は、カメラ１が歪みのないピンホールカメラであることを想定して定義された座標系であるため、レンズ歪み補正後の撮影画像が撮像面Ｓの座標系上におけるカメラ１の撮影画像となる。
【００５６】
その後、ステップＳ６において、ステップＳ５で得られた撮影画像（レンズ歪み補正後の撮影画像）に、ステップＳ４にて求められた各座標値（ｘbu，ｙbu）を有するガイドラインを重畳することによって表示用画像を生成する。この表示用画像は、ステップＳ７において、表示装置３の表示画面上に表示される。ステップＳ７の後、ステップＳ１に戻り、ステップＳ１〜Ｓ７の各処理が繰り返し実施される。
【００５７】
図８に、ステップＳ６及びＳ７にて生成及び表示される表示用画像の例を示す。符号２００が付された画像が表示用画像である。表示用画像２００の下側には、旋回台２２及び走行体２１の各一部が描画されており、表示用画像２００の中央付近には、ワイヤ２５の一部とフック２６が描画されている。表示用画像２００において、符号２０１が付された波線円弧が重畳されたガイドラインであり、ガイドラインの色を適切に選ぶことによって他の画像領域とガイドラインとを容易に区別して視認できるようにする。尚、後述の第２実施形態における「鳥瞰表示」との区別を図るために、図８において「通常表示」という文言を便宜上設けた。
【００５８】
旋回台２２を含む機体２０を旋回させることによってブーム２４を旋回させた時、フック２６は概ねガイドライン２０１に沿って移動することになる。ガイドライン２０１よりもクレーン機械装置１０に近い領域は、障害物が存在していないかを注視すべき安全確認領域であり、ガイドライン２０１を表示することにより安全確認領域と障害物の位置関係などを画像上で認識することが可能となる。結果、操縦者の視界が支援され安全性が促進される。また、現時点のブーム長さｌ及びブーム起伏角度θAに応じてガイドラインが動的に変化するため、最新の安全確認領域を視覚的に認識することが可能である。
【００５９】
図２（ａ）及び（ｂ）に示すようなクレーン機械装置１０では、ブーム２４が操縦席ボックス２３の側面に配置されることが多いため、操縦者はブーム２４側の側方障害物を目視で確認することが困難なことが多い。このため、安全確認領域を表示画面上で確認できることは非常に有益である。
【００６０】
尚、レンズ歪み補正後の撮影画像にガイドラインを重畳して表示する例を上述したが、レンズ歪み補正が施されていない撮影画像（以下、元画像という）にガイドラインを重畳した表示用画像を生成及び表示することも可能である。元画像に重畳されるべきガイドラインは、レンズ歪み補正後の撮影画像に対応したステップＳ４で求められるべきガイドラインに対して、レンズ歪み補正時における変換の逆変換を施すことで求めることができる。
【００６１】
また、ガイドラインを重畳表示するのではなく、ガイドラインよりもクレーン機械装置１０に近い領域（即ち、安全確認領域）の表示色を変えるなどの処理を行ってもよい。例えば、図９に示されるような表示用画像２１０を生成及び表示するようにする。表示用画像２１０では、ガイドラインよりもクレーン機械装置１０に近い領域と他の領域とが区別可能なように、前者の領域（即ち、安全確認領域）の表示色が変更されている。図９における波線領域２１１が安全確認領域である。これを実施するためには、ステップＳ６において、表示用画像２１０が得られるように、ステップＳ４にて求められたガイドラインを形成する各座標値（ｘbu，ｙbu）に基づいて、撮影画像内の安全確認領域に相当する一部領域の映像信号（輝度信号及び／又は色信号）を加工する。そして、この加工後の撮影画像を表示装置３に出力すればよい。何れにせよ、半径ｒに基づく安全確認領域とそれ以外の領域とを表示画面上で区別して視認可能なように表示用画像を生成すればよい。
【００６２】
＜＜第２実施形態＞＞
次に、本発明の第２実施形態について説明する。第２実施形態に係る視界支援システムの全体ブロック図及び視界支援システムが適用されるクレーン機械装置１０は、第１実施形態におけるそれらと同様である。第２実施形態では、視界支援システムの動作手順が第１実施形態のそれから変更されており、その変更を除いて第１及び第２実施形態は同様である。従って、動作手順に関与する説明だけ行う。第１実施形態に記載した事項は、矛盾なき限り第２実施形態にも適用される。
【００６３】
第２実施形態に係る視界支援システムの動作手順を、図１０を参照して説明する。図１０は、この動作手順を表すフローチャートである。ステップＳ１〜Ｓ３及びＳ１１〜Ｓ１３の各処理は画像処理装置２によって実施され、ステップＳ５の処理はカメラ１と画像処理装置２によって実施され、ステップＳ１４の処理は表示装置３によって実施される。
【００６４】
まず、ステップＳ１〜Ｓ３の各処理が実施された後、ステップＳ５にて撮影画像が取得される。ステップＳ１〜Ｓ３及びＳ５の各処理は、図６を参照して説明したそれらと同じである。第２実施形態では、ステップＳ１〜Ｓ３及びＳ５の各処理の後、ステップＳ１１に移行する。
【００６５】
ステップＳ１１では、ステップＳ５にて得られた撮影画像を鳥瞰図画像に変換する。但し、鳥瞰図画像の基となる撮影画像に対してレンズ歪み補正を施し、そのレンズ歪み補正後の撮影画像を鳥瞰図画像に変換するものとする。鳥瞰図画像は、実際のカメラ１の撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラ１の撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。
【００６６】
鳥瞰図画像は、互いに直交するＸau軸及びＹau軸を座標軸とする二次元の鳥瞰図座標系上に定義される。鳥瞰図座標系における各点の座標を（ｘau，ｙau）で表す。鳥瞰図座標系において、或る点に関するｘau及びｙauは、夫々、その点の座標のＸau軸成分及びＹau軸成分である。撮像面Ｓの座標系における各点の座標（ｘbu，ｙbu）を、鳥瞰図座標系における座標（ｘau，ｙau）に変換するための式は、下記式（２）によって表されることが知られている（例えば、特開２００６−２８７８９２号公報参照）。上述したように、ｆ、ｈ、θ及びＨは、夫々、カメラ１の焦点距離、カメラ１の高さ、カメラ１の傾き角度及び仮想カメラの高さ（仮想視点の高さ）である。第２実施形態では、仮想カメラの高さＨを固定値とする。
【００６７】
【数２】
【００６８】
画像処理装置２は、ステップＳ５にて得られた撮影画像上の各点の座標（ｘbu，ｙbu）を、式（２）に従って鳥瞰図画像上の座標（ｘau，ｙau）に変換することによって、鳥瞰図画像を生成する。この際、式（２）に従って座標（ｘbu，ｙbu）と座標（ｘau，ｙau）との対応関係を示す変換テーブルデータを予め作成しておき、この変換テーブルデータを用いて撮影画像を鳥瞰図画像に変換するようにしてもよい。尚、上記式（１）と後述の式（３）と仮想カメラの高さＨに基づいて撮影画像を鳥瞰図画像に変換することも可能である（但し、式（１）において、ｚw＝０とする）。
【００６９】
【数３】
【００７０】
ステップＳ１１の後、ステップＳ１２に移行する。ステップＳ１２では、ステップＳ３で求められた世界座標系上のガイドラインから鳥瞰図座標系上のガイドラインの座標値を求める。今、ＸW軸及びＹW軸を座標軸とする二次元の座標系を地面座標系と呼ぶ。地面座標系は、ｚw＝０における世界座標系である。この地面座標系上のガイドラインは、例えば、図５の投影曲線１２０を描くこととなる。地面座標系上におけるガイドラインが鳥瞰図座標系上のガイドラインとなるため、世界座標系上のガイドラインの座標値（ｘw，ｙw，ｚw）における（ｘw，ｙw）が、そのまま、鳥瞰図座標系上のガイドラインの座標値（ｘau，ｙau）とされる。
【００７１】
その後、ステップＳ１３において、ステップＳ１１で得られた鳥瞰図画像に、ステップＳ１２にて求められた各座標値（ｘau，ｙau）を有する鳥瞰図座標系上のガイドラインを重畳することによって表示用画像を生成する。生成された表示用画像は、ステップＳ１４において、表示装置３の表示画面上に表示される。ステップＳ１４の後、ステップＳ１に戻り、上述の各処理が繰り返し実施される。
【００７２】
図１１に、ステップＳ１３及びＳ１４にて生成及び表示される表示用画像の例を示す。符号２２０が付された画像が表示用画像である。表示用画像２２０の下側には、旋回台２２及び走行体２１の各一部が描画されており、表示用画像２２０の中央付近には、ワイヤ２５の一部とフック２６が描画されている。また、表示用画像２２０の左下隅及び右下隅の黒塗り領域は、カメラ１の視野外の領域に対応している。表示用画像２２０において、符号２２１が付された波線円弧が重畳されたガイドラインであり、ガイドラインの色を適切に選ぶことによって他の画像領域とガイドラインとを容易に区別して視認できるようにしておく。これにより、第１実施形態と同様の効果が得られる。
【００７３】
また、第１実施形態で述べたのと同様に、ガイドラインを重畳表示するのではなく、ガイドラインよりもクレーン機械装置１０に近い領域（即ち、安全確認領域）の表示色を変えるなどの処理を行ってもよい。例えば、図１２に示されるような表示用画像２３０を生成及び表示するようにする。表示用画像２３０では、ガイドラインよりもクレーン機械装置１０に近い領域と他の領域とが区別可能なように、前者の領域（即ち、安全確認領域）の表示色が変更されている。図１２における波線領域２３１が安全確認領域である。これを実施するためには、ステップＳ１３において、表示用画像２３０が得られるように、ステップＳ１２にて求められたガイドラインを形成する各座標値（ｘau，ｙau）に基づいて、鳥瞰図画像内の安全確認領域に相当する一部領域の映像信号（輝度信号及び／又は色信号）を加工する。そして、この加工後の鳥瞰図画像を表示装置３に出力すればよい。何れにせよ、半径ｒに基づく安全確認領域とそれ以外の領域とを表示画面上で区別して視認可能なように表示用画像を生成すればよい。
【００７４】
＜＜第３実施形態＞＞
ところで、第２実施形態のように鳥瞰図画像を表示する場合は、鳥瞰図画像のズーム調整を行うことによって、より安全性支援に寄与する映像を提供することが可能である。実空間上において高い視点から見ると安全確認領域が小さく見え、低い視点から見ると安全確認領域が大きく見えるのと同様に、図１０のステップＳ１１及びＳ１２で用いる仮想カメラの高さＨを変更すれば安全確認領域の表示サイズを自由に変更することが可能である。
【００７５】
このような変更を行う実施形態として第３実施形態を説明する。第３実施形態は、第２実施形態の一部を変更した実施形態であり、第２実施形態との相違点のみを以下に説明する。特に記述しない部分は、第２実施形態と同様である。また、第１実施形態に記載した事項は、矛盾なき限り第３実施形態にも適用される。
【００７６】
第１の撮影条件と第２の撮影条件にて撮影が行われた場合を想定する。第１の撮影条件におけるブーム起伏角度θAよりも第２の撮影条件におけるブーム起伏角度θAの方が大きいものとする。ブーム長さｌを含むその他の条件は、第１及び第２の撮影条件間で同じであるものとする。
【００７７】
図１３を参照する。図１３において、符号２５０は、第１の撮影条件下におけるカメラ１の撮影画像を表し、符号２６０は、第２の撮影条件下におけるカメラ１の撮影画像を表している。符号２５１が付された破線円弧は撮影画像２５０におけるガイドラインであり、符号２６１が付された破線円弧は撮影画像２６０におけるガイドラインである。
【００７８】
第１及び第２の撮影条件間においてブーム起伏角度θAが相違しているため、撮影画像上におけるガイドラインの大きさ、即ち、撮影画像の全体に占める安全確認領域の大きさが、撮影画像２５０及び２６０間で異なっていることが分かる。安全確認上、重量な領域は、安全確認領域内と安全確認領域近傍であるので、安全確認領域が大きく表示された方が安全性支援がより促進される。
【００７９】
このため、ブーム起伏角度θAの変化に拘らず、表示画面上の安全確認領域の大きさが概ね一定となるように、鳥瞰図画像を生成する際の仮想カメラの高さＨを変更する処理を行う。具体的には、第１の撮影条件にて撮影が行われた時には、ステップＳ１１及びＳ１２で用いる仮想カメラの高さＨをＨ1とする。図１３において、符号２５５は、Ｈ＝Ｈ1とした上で撮影画像２５０から得られた鳥瞰図画像を表し、符号２５６は、鳥瞰図画像２５５におけるガイドラインである。一方、第２の撮影条件にて撮影が行われた時には、ステップＳ１１及びＳ１２で用いる仮想カメラの高さＨをＨ2とする。図１３において、符号２６５は、Ｈ＝Ｈ2とした上で撮影画像２６０から得られた鳥瞰図画像であり、符号２６６は、鳥瞰図画像２６５におけるガイドラインである。ここで、Ｈ2＜Ｈ1である。撮影画像２５０が得られた際には鳥瞰図画像２５５にガイドライン２５６を重畳した画像を表示装置３に与えて表示させ、撮影画像２６０が得られた際には鳥瞰図画像２６５にガイドライン２６６を重畳した画像を表示装置３に与えて表示させる。
【００８０】
上述の如く、仮想カメラの高さＨを調整することによって、表示画面上の安全確認領域の大きさを概ね一定とする。今の場合、ブーム起伏角度θAが変化することによってブーム２４の可動範囲（可動範囲の外周位置）が変化した場合を想定しているため、ブーム起伏角度θAの変化に応じて仮想カメラの高さＨを動的に変更する。ブーム長さｌが変化した場合も同様に処理すればよい。つまり、まとめると、ブーム起伏角度θA及びブーム長さｌの少なくとも一方が変化することによってブーム２４の可動範囲（可動範囲の外周位置）が変化した場合、その変化に基づく表示用画像上の安全確認領域の大きさ変化が打ち消されるように仮想カメラの高さＨを動的に変更する。換言すれば、ブーム２４の可動範囲の変化に拘らず、表示用画像の全体領域に占める、安全確認領域の割合が概ね一定となるように、仮想カメラの高さＨを動的に変更する。これにより、表示画面上の安全確認領域の大きさが概ね一定となる。
【００８１】
尚、表示用画像上の安全確認領域の大きさ変化が完全に打ち消される必要はなく、また、完全に打ち消そうとしてもそれを完全にはできないこともある。従って、表示用画像上の安全確認領域の大きさ変化に対する「打ち消す」という文言は「抑制する」の意味をも含む。
【００８２】
また、仮想カメラの高さＨを変更することなく、電子ズームによって同様の表示用画像を得るようにしてもよい。つまり、仮想カメラの高さＨを固定し、撮影画像から得られた鳥瞰図画像の全体又は一部を切り出すことによって得られる画像にガイドラインを重畳した画像を、表示用画像として表示装置３に表示するようにしておく。そして、ブーム２４の可動範囲（可動範囲の外周位置）が変化した場合、その変化に基づく表示用画像上の安全確認領域の大きさ変化が打ち消されるように鳥瞰図画像の全体から切り出す画像の位置及びサイズを変更すればよい（即ち、電子ズームの倍率を変更すればよい）。
【００８３】
電子ズームに基づく手法は、第１実施形態にも適用可能である。第１実施形態に適用する場合、撮影画像の全体又は一部を切り出すことによって得られる画像にガイドラインを重畳した画像を、表示用画像として表示装置３に表示するようにしておく。そして、ブーム２４の可動範囲（可動範囲の外周位置）が変化した場合、その変化に基づく表示用画像上の安全確認領域の大きさ変化が打ち消されるように撮影画像の全体から切り出す画像の位置及びサイズを変更すればよい（即ち、電子ズームの倍率を変更すればよい）。
【００８４】
＜＜第４実施形態＞＞
次に、第４実施形態について説明する。第１〜第３実施形態に記載した事項は、矛盾無き限り、本実施形態にも適用される。この適用の際、同一名称の部位間の符号の相違（例えば、符号２と２ａの相違）は適宜無視される。図１４は、第４実施形態に係る視界支援システムの全体ブロック図である。図１４の視界支援システムは、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒと、画像処理装置２ａと、表示装置３と、操作部４を備えている。本実施形態におけるカメラ１Ｆは第１〜第３実施形態におけるカメラ１に相当する。
【００８５】
図１５（ａ）は、図１４の視界支援システムが搭載されるクレーン機械装置１０の外観側面図であり、図１５（ｂ）は、そのクレーン機械装置１０を上方から見た平面図である。図１５（ａ）及び（ｂ）に示されるクレーン機械装置１０自体は、第１実施形態に係るそれと同じものである。但し、本実施形態においては、クレーン機械装置１０の機体２０に、機体２０の周辺を撮影する４つのカメラが設置されている。具体的には、クレーン機械装置１０の操縦席ボックス２３の前部、後部、左側部及び右側部に、夫々、互いに異なる視点を有するカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒが取り付けられている（但し、図１５（ａ）では、カメラ１Ｌの図示を省略している）。尚、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの全部又は一部を、旋回台２２に取り付けるようにしてもよい。
【００８６】
カメラ１Ｆの光軸の向きが機体２０の前方斜め下向きになるように、且つ、カメラ１Ｂの光軸の向きが機体２０の後方斜め下向きになるように、且つ、カメラ１Ｌの光軸の向きが機体２０の左方斜め下向きになるように、且つ、カメラ１Ｒの光軸の向きが機体２０の右方斜め下向きになるように、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒは機体２０に設置される。
【００８７】
図１６も、図１５（ｂ）と同様の、クレーン機械装置１０を上方から見た平面図であるが、図１６には各カメラの視野が示されている。図１６において、破線扇型領域３００Ｆ、３００Ｂ、３００Ｌ及び３００Ｒは、夫々、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの視野を表している。
【００８８】
カメラ１Ｆは、機体２０の前方の所定領域内に位置する被写体（地面を含む）を撮影する。カメラ１Ｂは、機体２０の後方の所定領域内に位置する被写体（地面を含む）を撮影する。カメラ１Ｌは、機体２０の左側の所定領域内に位置する被写体（地面を含む）を撮影する。カメラ１Ｒは、機体２０の右側の所定領域内に位置する被写体（地面を含む）を撮影する。
【００８９】
カメラ１Ｆの視野の一部とカメラ１Ｒの視野の一部は、機体２０の右斜め前方にて重なり合う。カメラ１Ｆの視野の一部とカメラ１Ｌの視野の一部は、機体２０の左斜め前方にて重なり合う。カメラ１Ｂの視野の一部とカメラ１Ｒの視野の一部は、機体２０の右斜め後方にて重なり合う。カメラ１Ｂの視野の一部とカメラ１Ｌの視野の一部は、機体２０の左斜め後方にて重なり合う。
【００９０】
カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの各撮影画像を表す信号は、画像処理装置２ａに送られる。画像処理装置２ａは、各撮影画像から表示用画像を生成する。この表示用画像を表す映像信号は表示装置３に与えられ、表示装置３は、該表示用画像を映像として表示する。操作部４は、ユーザからの操作を受け付け、その操作内容に応じた信号を画像処理装置２ａに伝達する。各カメラ（１Ｆ、１Ｂ、１Ｌ及び１Ｒ）は、所定のフレーム周期（例えば、１／６０秒の周期）にて撮影画像を取得する。そして例えば、新たな撮影画像が得られる度に、その新たな撮影画像から表示用画像が生成されて表示装置３の表示内容が更新される。
【００９１】
図１４の視界支援システムの動作手順を、図１７を参照して説明する。図１７は、この動作手順を表すフローチャートである。ステップＳ１〜Ｓ３及びＳ２２〜Ｓ２５の各処理は画像処理装置２ａによって実施され、ステップＳ２１の処理は各カメラと画像処理装置２ａによって実施され、ステップＳ２６の処理は表示装置３によって実施される。
【００９２】
まず、ステップＳ１〜Ｓ３の各処理が実施された後、ステップＳ２１にてカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの各撮影画像が取得される。ステップＳ１〜Ｓ３の各処理は、図６を参照して説明したそれらと同じである。第４実施形態では、ステップＳ１〜Ｓ３及びＳ２１の各処理の後、ステップＳ２２に移行する。
【００９３】
ステップＳ２２では、ステップＳ２１にて得られた各撮影画像を鳥瞰図画像に変換する。１つの撮影画像を１つの鳥瞰図画像に変換する手法は、第２実施形態（又は第３実施形態）で述べたものと同じである。但し、鳥瞰図画像の基となる撮影画像に対してレンズ歪み補正を施し、そのレンズ歪み補正後の撮影画像を鳥瞰図画像に変換するものとする。カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒについての鳥瞰図画像を、夫々、鳥瞰図画像３１０Ｆ、３１０Ｂ、３１０Ｌ及び３１０Ｒと呼ぶ。
【００９４】
続くステップＳ２３では、鳥瞰図画像３１０Ｆを基準として、他の鳥瞰図画像３１０Ｂ、３１０Ｌ及び３１０Ｒを回転及び平行移動することにより、それら（３１０Ｂ、３１０Ｌ及び３１０Ｒ）の座標を鳥瞰図画像３１０Ｆにおける座標に変換する。この変換は、例えば、各カメラ（１Ｆ、１Ｂ、１Ｌ及び１Ｒ）間の位置関係を表す既知の位置関係情報に基づいて行われる。この変換後、各鳥瞰図画像を合成することにより、全周鳥瞰図画像を生成する。全周鳥瞰図画像が定義される座標系を、全周鳥瞰図座標系と呼ぶ。今の例の場合、全周鳥瞰図座標系はカメラ１Ｆについての鳥瞰図座標系と一致する。
【００９５】
図１８に、全周鳥瞰図座標系上に表された鳥瞰図画像３１０Ｆ、３１０Ｂ、３１０Ｌ及び３１０Ｒを示す。カメラ１Ｆと１Ｒの視野の一部が重なり合うことに対応して鳥瞰図画像３１０Ｆと３１０Ｒの一部が重なり合う。鳥瞰図画像３１０Ｆと３１０Ｌの間などにおいても同様である。全周鳥瞰図画像を画像合成によって生成する際、重なり合う部分の画像は、合成する画像間の画素値を平均化することによって生成される、或いは、定義した合成境界線を境に合成する画像を貼り合わせることによって生成される。何れにせよ、各鳥瞰図画像が接合部分において滑らかに接合されるように画像合成がなされる。
【００９６】
尚、各カメラの撮影画像の各座標と全周鳥瞰図座標系上の座標との対応関係を示すテーブルデータを予め作成しておき、このテーブルデータを用いて各撮影画像から全周鳥瞰図画像を生成するようにしてもよい。この場合、個々の鳥瞰図画像を生成する必要はない。
【００９７】
全周鳥瞰図画像が生成された後、ステップＳ２４に移行する。ステップＳ２４では、ステップＳ３で求められた世界座標系上のガイドラインの座標値から全周鳥瞰図座標系上のガイドラインの座標値を求める。全周鳥瞰図座標系はカメラ１Ｆについての鳥瞰図座標系と同じであるため、ステップＳ２４の処理内容は、第２実施形態におけるステップＳ１２（図１０参照）のそれと同じである。
【００９８】
その後、ステップＳ２５において、ステップＳ２４にて求められた各座標値を有する全周鳥瞰図座標系上のガイドラインを全周鳥瞰図画像に重畳することによって表示用画像を生成する。生成された表示用画像は、ステップＳ２６において、表示装置３の表示画面上に表示される。ステップＳ２６の後、ステップＳ１に戻り、上述の各処理が繰り返し実施される。
【００９９】
図１９に、ステップＳ２５及びＳ２６にて生成及び表示される表示用画像の例を示す。符号３３０が付された画像が表示用画像である。表示用画像３３０の中央には、クレーン機械装置１０の仮想機体が描画されている。各カメラがクレーン機械装置１０の機体２０全体を撮影できるわけではないので、描画された仮想機体は、各カメラによって実際に撮影された機体２０とは異なる（但し、仮想機体の一部は実際の撮影結果に基づく）。表示用画像３３０の中央上部には、ワイヤ２５の一部とフック２６が描画されている。尚、クレーン機械装置１０のブーム２４も表示用画像に描写されうるが、図示の簡略化上、図１９（並びに後述する図２０及び図２１）においてブーム２４の図示を省略している。
【０１００】
表示用画像３３０において、符号３３１が付された波線円が重畳されたガイドラインであり、ガイドラインの色を適切に選ぶことによって他の画像領域とガイドラインとを容易に区別して視認できるようにしておく。これにより、第１及び第２実施形態と同様の効果が得られると共に、広範囲領域が表示画面上で確認可能となる。
【０１０１】
また、第２実施形態で述べたのと同様に、ガイドラインを重畳表示するのではなく、ガイドラインよりもクレーン機械装置１０に近い領域（即ち、安全確認領域）の表示色を変えるなどの処理を行ってもよい。例えば、図２０に示されるような表示用画像３４０を生成及び表示するようにする。表示用画像３４０では、ガイドラインよりもクレーン機械装置１０に近い領域と他の領域とが区別可能なように、前者の領域（即ち、安全確認領域）の表示色が変更されている。図２０における波線領域３４１が安全確認領域である。これを実施するためには、ステップＳ２５において、表示用画像３４０が得られるように、ステップＳ２４にて求められたガイドラインの全周鳥瞰図座標系上の各座標値に基づいて、全周鳥瞰図画像内の安全確認領域に相当する一部領域の映像信号（輝度信号及び／又は色信号）を加工する。そして、この加工後の全周鳥瞰図画像を表示装置３に出力すればよい。何れにせよ、半径ｒに基づく安全確認領域とそれ以外の領域とを表示画面上で区別して視認可能なように表示用画像を生成すればよい。
【０１０２】
また、第３実施形態に記載の内容を本実施形態にも適用することができる。図２１を参照して具体例を説明する。図２１において、符号３６０、３７０及び３８０は、夫々、生成可能な表示用画像であり、破線円３６１、３７１及び３８１は、夫々、表示用画像３６０、３７０及び３８０におけるガイドラインである。基準状態にて表示用画像３６０が得られたとする。
【０１０３】
この基準状態を基準として、ブーム起伏角度θAが増加又はブーム長さｌが減少しブーム２４の可動範囲（可動範囲の外周位置）が小さくなった場合を想定する。この場合において、各カメラについての仮想カメラの高さＨを固定値としていた場合は、表示用画像は表示用画像３６０から表示用画像３７０に遷移する。即ち、表示用画像におけるガイドラインの大きさ（表示画面上の安全確認領域の大きさ）も小さくなる。一方、ブーム２４の可動範囲（可動範囲の外周位置）の縮小分に相当する分だけ各カメラについての仮想カメラの高さＨを基準状態よりも低くすれば、表示用画像は表示用画像３６０から表示用画像３８０に遷移する。即ち、表示用画像におけるガイドラインの大きさ（表示画面上の安全確認領域の大きさ）は一定に維持される。
【０１０４】
このように、ブーム起伏角度θA及びブーム長さｌの少なくとも一方が変化することによってブーム２４の可動範囲（可動範囲の外周位置）が変化した場合、その変化に基づく表示用画像上の安全確認領域の大きさ変化が打ち消されるように仮想カメラの高さＨを動的に変更してもよい。これにより、表示画面上の安全確認領域の大きさが概ね一定となる。本実施形態の如く複数のカメラを用いた合成画像を表示する場合は描画可能な領域が広いため、このような安全確認領域の表示サイズ調整が、安全確認の支援上、特に効果的である。
【０１０５】
尚、第３実施形態でも述べたように、仮想カメラの高さＨを変更することなく、電子ズームによって同様の表示用画像を得るようにしてもよい。
【０１０６】
また、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの全部又は一部を、ブーム２４に取り付けることも可能である。但し、その場合は、ブーム起伏角度θA及び／又はブーム長さｌ（図３参照）が変化することによってカメラと旋回台２２及び操縦席ボックス２３との位置関係が変化する。このため、ブーム起伏角度θA及び／又はブーム長さｌの変化に応じた上記位置関係の変化を認識可能なように視界支援システムを形成し、撮影画像から鳥瞰図画像を得るための座標変換に、その位置関係の変化を反映させる必要がある。
【０１０７】
＜＜第５実施形態＞＞
第１〜第４実施形態に係る視界支援システムが適用されるクレーン機械装置は様々な形態をとる。例えば、図２２に示されるようなクレーン機械装置１０ａにも、第１〜第４実施形態に係る視界支援システムを適用可能である。図２２は、クレーン機械装置１０ａの外観側面図である。
【０１０８】
クレーン機械装置１０ａは、走行体２１、旋回台２２、操縦席ボックス２３及びブーム２４を備え、更に、ブーム２４の先端部２７に連結ジブ３１が取り付けられている。つまり、クレーン機械装置１０ａは、図２（ａ）等に示されるクレーン機械装置１０に、連結ジブ３１が追加された構成を有し、この追加以外、クレーン機械装置１０と１０ａは基本的に同様である。但し、図２２において、カメラの図示を省略している。
【０１０９】
ブーム２４の一端は旋回台２２に固定される。ブーム２４の他端を含むブーム２４の先端部２７に棒状の連結ジブ３１が連結される。連結ジブ３１は、ブーム２４に対する起伏角度を自在に変更可能となっており、クレーン機械装置１０ａの操縦者が、操縦席ボックス２３内に配置された操縦用部材を操作することにより上記起伏角度を変更することができる。連結ジブ３１の一端はブーム２４と連結ジブ３１の連結部に固定される。連結ジブ３１の他端を含む連結ジブ３１の先端部３２から鉛直下方向きに巻き上げ及び巻き下げ自在のワイヤ２５が吊り下げられている。ワイヤ２５の下端にはフック２６が取り付けられている。
【０１１０】
旋回台２２、運転席ボックス２３、ブーム２４及び連結ジブ３１を含む機体は、走行体２１と旋回台２２との連結部を通り且つ鉛直線に平行な所定軸を旋回軸として旋回自在となるように走行体２１上に装着されている。ブーム２４及び連結ジブ３１は、旋回台２２の旋回に伴って該旋回軸の周りを旋回する。フック２６に荷（不図示）を掛けた状態でワイヤ２５を巻き上げ、旋回台２２を旋回運動させることにより、荷を水平方向に運搬することができる。
【０１１１】
図２２には、ブーム起伏角度θA等が併記されている。ブーム起伏角度θA及びブーム長さｌは、第１実施形態で述べたそれらと同じものである。連結ジブ３１を直方体と捉え、連結ジブ３１の長手方向の中心軸１１５と、旋回面と平行な基準面１０６と、が成す鋭角をθA2により表す。θA2は、ブーム２４と連結ジブ３１との連結角度を表す。ブーム２４と連結ジブ３１の連結部を支点として連結ジブ３１を回転駆動することによりθA2が変更される。
【０１１２】
連結ジブ３１の長手方向とは、ブーム２４と連結ジブ３１の連結部と連結ジブ３１の先端部３２とを結ぶ方向である。連結ジブ３１の長手方向における連結ジブ３１の長さをｌ2にて表す。尚、ブーム２４の長手方向の中心軸１０５と連結ジブ３１の長手方向の中心軸１１５は、同一平面上にある。
【０１１３】
図２２に示されるようなクレーン機械装置１０ａに第１〜第４実施形態に係る視界支援システムを適用する場合、１台又は複数台のカメラを操縦席ボックス２３（又は旋回台２２若しくはブーム２４）に取り付ける。そして、第１〜第４実施形態にて説明した手法にて表示用画像を生成及び表示すればよいのであるが、連結ジブ３１が存在するため、ガイドラインを定めるために必要な半径ｒの算出式が異なる。つまり、クレーン機械装置１０ａに第１〜第４実施形態に係る視界支援システムを適用する場合は、半径ｒを、算出式「ｒ＝ｌ・ｃｏｓθA＋ｌ2・ｃｏｓθA2」に従って算出すれば良い。
【０１１４】
尚、長さｌ2を表す情報は画像処理装置（２又は２ａ）に予め与えておくこともできるし、特開平７−６１７７７号公報に記載の手法を転用することによって連結ジブ３１の長さｌ2を自動的に求めるようにしてもよい。また、ブーム起伏角度検出器と同様の角度検出器（不図示）を利用して、連結角度θA2を検出することができる。
【０１１５】
視界支援システムを図２（ａ）等のクレーン機械装置１０に適用する場合も図２２のクレーン機械装置１０ａに適用する場合も、ブーム長さｌ及びブーム起伏角度θAを含む旋回体状態に基づいて、半径ｒが求められて安全確認領域が特定される。旋回体状態とは、文字通り、旋回体の状態を意味している。クレーン機械装置１０における旋回体は、ブーム２４を含む。クレーン機械装置１０ａにおける旋回体はブーム２４の他に連結ジブ３１を含むため、クレーン機械装置１０ａにとっての旋回体状態には、ブーム長さｌ及びブーム起伏角度θAの他に連結ジブ３１の長さｌ2及び連結角度θA2が含まれる。
【０１１６】
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１７】
［注釈１］
上述の各実施形態では、本発明に係る視界支援システムが適用されるクレーン機械装置として移動式クレーンを例示しているが、移動式クレーン以外の種類に分類されるクレーン機械装置にも当該視界支援システムを適用可能である。例えば、ジブクレーンやアンローダ等にも本発明は適用可能である。
【０１１８】
また、本発明は、クレーンに分類されない機械装置にも適用可能である。例えば、クレーン機能を備えたショベルカー（不図示）に本発明を適用することも可能である。但し、クレーン機能を備えたショベルカーは、クレーンに含まれるとも解釈される。ショベルカーは、図２２のクレーン機械装置１０ａと共通の構造を有している。但し、ショベルカーにおいては、符号２４で参照される部位はブームと呼ばれることが多いものの、符号３１で参照される部位はアームと呼ばれることが一般的である。そのアームの先端部にバケットやブレーカ等のアタッチメントが取り付けられる。
【０１１９】
［注釈２］
鳥瞰図座標系への座標変換を伴う第２実施形態（又は第３実施形態）とそれを伴わない第１実施形態を別個に説明したが、両者における表示方式を同一の視界支援システム内で切り替え可能にしておくことも可能である。例えば、図１の操作部４に対する操作によって、通常表示方式と鳥瞰表示方式を選択可能としておく。そして、通常表示方式が選択された場合は、第１実施形態に係る図８等の表示用画像を生成及び表示するようにし、鳥瞰表示方式が選択された場合は、第２実施形態（又は第３実施形態）に係る図１１等の表示用画像を生成及び表示するようにする。
【０１２０】
［注釈３］
図１の画像処理装置２又は図１４の画像処理装置２ａの機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理装置（２又は２ａ）にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１２１】
［注釈４］
例えば以下のように考えることができる。上述の各実施形態において、１台のカメラ１又は複数台のカメラ（１Ｆ、１Ｂ、１Ｌ及び１Ｒ）は、カメラユニットを形成する。このカメラユニットと画像処理装置（２又は２ａ）は、カメラシステムを形成する。また、画像処理装置（２又は２ａ）は、撮影画像を鳥瞰図画像又は全周鳥瞰図画像に変換するための鳥瞰変換手段を備える。
【図面の簡単な説明】
【０１２２】
【図１】本発明の第１実施形態に係る視界支援システムの全体ブロック図である。
【図２】図１の視界支援システムが搭載されるクレーン機械装置の外観側面図（ａ）と、そのクレーン機械装置を上方から見た平面図（ｂ）である。
【図３】表示用画像の生成に関与する記号等を併記した、図２（ａ）のクレーン機械装置の外観側面図である。
【図４】本発明の第１実施形態に係り、カメラの撮像面の座標系と世界座標系との関係を示す図である。
【図５】世界座標系と表示用画像の生成に関与する記号等との関係を示す図である。
【図６】本発明の第１実施形態に係る視界支援システムの動作手順を表すフローチャートである。
【図７】世界座標系と表示用画像の生成に関与する記号等との関係を示す図である。
【図８】本発明の第１実施形態に係る視界支援システムにて表示される画像例を示す図である。
【図９】本発明の第１実施形態に係る視界支援システムにて表示される画像例を示す図である。
【図１０】本発明の第２実施形態に係る視界支援システムの動作手順を表すフローチャートである。
【図１１】本発明の第２実施形態に係る視界支援システムにて表示される画像例を示す図である。
【図１２】本発明の第２実施形態に係る視界支援システムにて表示される画像例を示す図である。
【図１３】本発明の第３実施形態に係る視界支援システムにて得られる撮影画像及び鳥瞰図画像の例を示す図である。
【図１４】本発明の第４実施形態に係る視界支援システムの全体ブロック図である。
【図１５】図１４の視界支援システムが搭載されるクレーン機械装置の外観側面図（ａ）と、そのクレーン機械装置を上方から見た平面図（ｂ）である。
【図１６】本発明の第４実施形態に係り、各カメラの視野を併記した、クレーン機械装置を上方から見た平面図である。
【図１７】本発明の第４実施形態に係る視界支援システムの動作手順を表すフローチャートである。
【図１８】図１４の視界支援システムにて生成される、全周鳥瞰図座標系上の各鳥瞰図画像を表す図である。
【図１９】図１４の視界支援システムにて表示される画像例を示す図である。
【図２０】図１４の視界支援システムにて表示される画像例を示す図である。
【図２１】図１４の視界支援システムにて表示される画像例を示す図である。
【図２２】本発明の第５実施形態に係り、本発明の視界支援システムが適用されるクレーン機械装置の外観側面図である。
【符号の説明】
【０１２３】
１、１Ｆ、１Ｂ、１Ｒ、１Ｌ カメラ
２、２ａ 画像処理装置
３ 表示装置
４ 操作部
１０、１０ａ クレーン機械装置
２１ 下部走行体
２２ 上部旋回台
２３ 操縦席ボックス
２４ ブーム
２５ ワイヤ
２６ フック
２７ 先端部
３１ 連結ジブ
【技術分野】
【０００１】
本発明は、カメラ撮影に基づく画像を提供するカメラシステムに関する。特に、クレーン機械装置等における周辺視界を支援するカメラシステムに関する。また、本発明は、そのカメラシステムを利用した機械装置に関する。
【背景技術】
【０００２】
近年の安全意識の高まりに伴って自動車などの車両にカメラを搭載することが多くなっており、カメラの撮影画像によって安全確認を支援する様々なシステムが提案されている。例えば、車幅や車両後端からの距離等を示す補助線をカメラ映像に重畳して表示する、乗用車向けのシステムが知られている（例えば、下記特許文献１〜３参照）。この種の補助線の描画位置は、固定的に定まった乗用車の形状等に基づいて決定される。これらの補助線表示は、車両の進行方向に存在する障害物との距離の把握や該障害物に接触するか否かの判断に有益である。
【０００３】
また、視点変換によってカメラの撮影画像を車両の鉛直上方から見下ろしたような鳥瞰図画像に変換し、これを表示するシステムや、複数のカメラの撮影画像に基づく鳥瞰図画像を貼り合わせて合成し、車両の全周を表示するシステムが知られている（例えば、下記特許文献４参照）。鳥瞰図画像による表示方式を採用すれば、障害物までの距離感をつかみやすくなる。
【０００４】
ところで、建築機械業界においても、ＩＳＯ（International Organization for Standardization）等の規格又は法規制によって周囲の視覚確保が求められつつある。移動式クレーン等のクレーン機械装置に安全確認用のカメラを搭載するシステムも提案されているが、この種のクレーン機械装置では、ブームの伸張及び起伏運動などによって注視すべき安全確認領域が変化すると共に乗用車にはない旋回運動なども行なわれる。このため、乗用車向けに開発されたシステムを単純に適用しても、視界支援は十分に達成できない。
【０００５】
【特許文献１】特開２００５−１８６９０６号公報
【特許文献２】特開２０００−２７２４４５号公報
【特許文献３】特開２００２−３１４９９１号公報
【特許文献４】特開２００２−１２５２２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで本発明は、クレーン機械装置等における旋回体の周辺状況の確認容易化に寄与するカメラシステムを提供することを目的とする。また本発明は、そのカメラシステムを利用した機械装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係るカメラシステムは、旋回運動が可能な旋回体の周辺を撮影するカメラユニットと、前記カメラユニットにて得られた撮影画像に基づく表示用画像を生成する画像処理装置と、を備えて、前記表示用画像を表示装置に出力するカメラシステムにおいて、前記画像処理装置は、前記旋回体の旋回による前記旋回体の可動範囲の外周位置に応じた特定画像領域が前記表示装置の表示画面上で視認可能なように前記表示用画像を生成することを特徴とする。
【０００８】
これにより、旋回体の可動範囲の外周位置に応じた特定画像領域と旋回体にとっての障害物等との位置関係を、表示画面上で確認することが可能となる。結果、注視すべき旋回体の周辺状況の確認容易化が図られる。
【０００９】
具体的には例えば、前記旋回体は、旋回運動が可能な旋回台上に起伏運動が可能なように装着された棒状の主軸部材を有して、前記旋回台の旋回に伴って旋回運動し、前記外周位置は、前記主軸部材の長さ及び前記旋回台に対する前記主軸部材の起伏角度を含む旋回体状態に応じて変化し、前記画像処理装置は、前記旋回体状態に基づいて前記表示用画像上における前記特定画像領域の位置を定める。
【００１０】
また具体的には例えば、前記画像処理装置は、前記外周位置に応じた指標を前記撮影画像に重畳することによって或いは前記外周位置に応じて前記撮影画像を加工することによって前記表示用画像を生成する。
【００１１】
これに代えて例えば、前記画像処理装置は、前記撮影画像を仮想カメラの視点から見た鳥瞰図画像に変換する鳥瞰変換手段を備え、前記外周位置に応じた指標を前記鳥瞰図画像に重畳することによって或いは前記外周位置に応じて前記鳥瞰図画像を加工することによって前記表示用画像を生成するようにしてもよい。
【００１２】
また更に例えば、前記カメラユニットは、前記旋回体の周辺を撮影する、互いに異なる視点を有した複数のカメラから形成され、前記画像処理装置は、各カメラの撮影画像を仮想カメラの視点から見た鳥瞰図画像に変換して各鳥瞰図画像を合成することにより合成鳥瞰図画像を生成する鳥瞰変換手段を備え、前記外周位置に応じた指標を前記合成鳥瞰図画像に重畳することによって或いは前記外周位置に応じて前記合成鳥瞰図画像を加工することによって前記表示用画像を生成するようにしてもよい。
【００１３】
そして例えば、前記画像処理装置は、前記旋回体の可動範囲が変化した際、その変化に基づく前記表示用画像上の前記特定画像領域の大きさ変化が抑制されるように前記表示用画像を生成するようにしてもよい。
【００１４】
これにより、旋回体の可動範囲の変化に拘らず、特に注視すべき画像領域を適切なサイズにて表示し続けることが可能となる。
【００１５】
具体的には例えば、前記画像処理装置は、前記旋回体の可動範囲が変化した際、その変化に応じて前記仮想カメラの視点の高さを変更することにより前記大きさ変化を抑制する。
【００１６】
また具体的には例えば、前記主軸部材は、クレーン機械装置又はショベルカーを含む機械装置に備えられたブームである。
【００１７】
また本発明に係る機械装置は、上記の旋回体を旋回運動させ、且つ、上記のカメラシステムが設置されたことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、クレーン機械装置等における旋回体の周辺状況の確認容易化に寄与するカメラシステムを提供することができる。
【００１９】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２１】
以下の説明において、地面は水平面に平行であるものとする。また、単に「高さ」といった場合、それは地面からの高さを意味するものとする。
【００２２】
＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１並びに図２（ａ）及び（ｂ）を参照する。図１は、第１実施形態に係る視界支援システムの全体ブロック図である。図１の視界支援システムは、カメラ１、画像処理装置２、表示装置３及び操作部４を備えている。
【００２３】
図２（ａ）は、図１の視界支援システムが搭載されるクレーン機械装置１０の外観側面図であり、図２（ｂ）は、クレーン機械装置１０を上方から見た平面図である。
【００２４】
クレーン機械装置１０は、移動式クレーンであり、本実施形態ではクローラクレーンを例示している。クレーン機械装置１０は、クローラとしての下部走行体２１（以下、走行体２１と略記する）と、上部旋回台２２（以下、旋回台２２と略記する）と、操縦席ボックス２３と、ブーム２４と、を含んで構成される。更に、ワイヤ２５及びフック２６も、クレーン機械装置１０に備え付けられている。旋回台２２と操縦席ボックス２３とブーム２４は、機体２０を形成する。尚、ブーム２４は、アームとも呼ばれることがある。
【００２５】
走行体２１は地面上を走行し、クレーン機械装置１０の全体を移動させる。但し、本実施形態及び後述の他の実施形態において、走行体２１は静止しているものとする。旋回台２２を含む機体２０は、走行体２１と旋回台２２との連結部を通り且つ鉛直線に平行な所定軸を旋回軸として旋回自在となるように走行体２１上に装着されている。ブーム２４は、旋回台２２の旋回に伴って該旋回軸の周りを旋回する。
【００２６】
旋回台２２上には、操縦席ボックス２３とブーム２４が装着されている。ブーム２４は、その長さを伸縮可能な伸縮ブームである。ブーム２４は、起伏運動が可能なように旋回台２２上に取り付けられ、旋回台２２に対するブーム２４の起伏角度（後述の角度θA）は所定角度範囲内で自在に変更可能となっている。尚、ブーム２４は、長さが固定されたブームであっても良い。
【００２７】
ブーム２４は、細長い棒状体であり、その一端は旋回台２２に固定されている。一方、ブーム２４の他端を含むブーム２４の先端部２７からは、鉛直下方向きに巻き上げ及び巻き下げ自在のワイヤ２５が吊り下げられている。ワイヤ２５の下端にはフック２６が取り付けられている。フック２６に荷（不図示）を掛けた状態でワイヤ２５を巻き上げ、旋回台２２を含む機体２０を旋回運動させることにより、荷を水平方向に運搬することができる。尚、フック２６以外のものをワイヤ２５の下端に取り付けてもよい。例えば、建造物等を破砕するための鉄球（不図示）をフック２６の代わりにワイヤ２５の下端に取り付けてもよい。
【００２８】
図２（ｂ）において、旋回台２２が旋回した際にブーム２４の先端部２７が描く仮想線を波線曲線１００にて表している。波線曲線１００は円を成す。
【００２９】
クレーン機械装置１０の操縦者が、操縦席ボックス２３内に配置された操縦用部材を操作することにより、走行体２１による走行、ブーム２４の長さの変更、旋回台２２の旋回運動、旋回台２２に対するブーム２４の起伏角度の変更、及び、ワイヤ２５の巻き上げ／巻き下げを指示することができる。
【００３０】
機体２０には、機体２０の周辺を撮影するカメラ１が設置されている。図２（ａ）及び（ｂ）に示す例では、操縦席ボックス２３の上部にカメラ１が設置されている。但し、旋回台２２又はブーム２４にカメラ１を設置するようにしても構わない。
【００３１】
カメラ１として、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。画像処理装置２、表示装置３及び操作部４は、例えば、操縦席ボックス２３内の操縦席付近に設置される。特に、クレーン機械装置１０の操縦者が表示装置３の表示画面を視認可能なように表示装置３を設置しておく。
【００３２】
カメラ１は、機体２０の周辺に位置する被写体（地面を含む）を撮影し、撮影によって得られた画像（以下、撮影画像という）を表す信号を画像処理装置２に送る。特に、先端部２７を通る鉛直線と地面との交点が、カメラ１の視野に含まれるようにカメラ１は設置される。望ましくは、フック２６をカメラ１の視野に収める。図２（ｂ）において、波線扇型領域１０１は、カメラ１の視野を表している。
【００３３】
画像処理装置２は、撮影画像から表示装置３に対する出力画像、即ち表示用画像を生成する。この表示用画像を表す映像信号は表示装置３に与えられ、表示装置３は、該表示用画像を映像として表示する。操作部４は、ユーザからの操作を受け付け、その操作内容に応じた信号を画像処理装置２に伝達する。カメラ１は、所定のフレーム周期（例えば、１／６０秒の周期）にて撮影画像を取得する。そして例えば、新たな撮影画像が得られる度に、その新たな撮影画像から表示用画像が生成されて表示装置３の表示内容が更新される。
【００３４】
図３及び図４を参照して、表示用画像の生成に関与する物理量や記号等の説明を行う。
【００３５】
図３は、その物理量を表す記号を併記した、クレーン機械装置１０の外観側面図である。ブーム２４を、直方体と捉え、ブーム２４の長手方向の中心軸１０５と所定の基準面１０６とが成す鋭角をθAにより表す。θAは、旋回台２２に対するブーム２４の起伏角度を表し、それをブーム起伏角度と呼ぶ。基準面１０６は、旋回台２２の旋回面に平行な面である。旋回台２２は、旋回面に沿って旋回運動を行う。基本的には、旋回面と水平面は平行であり、旋回面が水平面に平行である場合を考える。
【００３６】
ブーム２４の長手方向とは、ブーム２４の、旋回台２２に固定された一端と、ブーム２４の他端を含む先端部２７と、を結ぶ方向である。そして、そのブーム２４の長手方向におけるブーム２４の長さ（ブーム２４の一端と他端間の長さ）をｌにて表し、それをブーム長さと呼ぶ。
【００３７】
また、水平面とカメラ１の光軸との成す角度には鋭角と鈍角の２つの角度があるが、その２つの角度の内の鈍角をθにより表し、角度θを、水平面に対するカメラ１の傾き角度として捉える。尚、（１８０°−θ）は、一般的には見下ろし角または俯角と呼ばれている。更に、カメラ１の高さ（より詳細には、カメラ１の光学中心の高さ）をｈにて表す。
【００３８】
図４は、カメラ１の撮像面Ｓの座標系と、世界座標系との関係を示している。撮像面Ｓの座標系は、Ｘbu軸及びＹbu軸を座標軸とする二次元の座標系である。世界座標系は、Ｘw軸、Ｙw軸及びＺw軸を座標軸とする三次元の座標系である。図４には、撮像面Ｓが仮想的に示されている。
【００３９】
撮像面Ｓの座標系では、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸbu軸がとられ、撮像面Ｓの縦方向にＹbu軸がとられている。世界座標系における原点Ｏwは、カメラ１の光学中心Ｏを通る鉛直線と地面との交点に一致する。Ｘw軸、Ｙw軸及びＺw軸は互いに直交しており、Ｘw軸とＹw軸とＺw軸は原点Ｏwにて交わる。原点Ｏwを含み且つＸw軸及びＹw軸に平行な面は、地面であり、Ｚw軸方向は高さ方向に一致する。従って、原点Ｏwと光学中心Ｏとの平行移動量はｈである。
【００４０】
光学中心Ｏ及び原点Ｏwを含み且つＺw軸及びＹw軸に平行な面上に、カメラ１の光軸１１０が存在する。そして、光軸１１０と水平面との成す鈍角が、上述の傾き角度θである。
【００４１】
撮像面Ｓの座標系における各点の座標を（ｘbu，ｙbu）で表し、世界座標系における各点の座標を（ｘw，ｙw，ｚw）で表す。撮像面Ｓの座標系において、或る点に関するｘbu及びｙbuは、夫々、その点の座標のＸbu軸成分及びＹbu軸成分である。世界座標系において、或る点に関するｘw，ｙw及びｚwは、夫々、その点の座標のＸw軸成分、Ｙw軸成分及びＺw軸成分である。
【００４２】
世界座標系上における任意の点は、透視投影により撮像面Ｓの座標系上における点に投影される。この投影を表す式は下記式（１）にて表される。ここで、Ｐは３×４の行列であり、一般に透視投影行列と呼ばれる。周知の如く、行列Ｐは、カメラ１の高さｈ、傾き角度θ及び焦点距離ｆを含むカメラパラメータによって一意に定まる。このカメラパラメータは、画像処理装置２にとって既知であるものとし、画像処理装置２は、カメラパラメータに基づく行列Ｐを用い、式（１）に従って世界座標系上における任意の点を撮像面Ｓの座標系上における点に投影することができる。
【００４３】
【数１】
【００４４】
更に図５を参照する。図５において、符号１２０は、旋回台２２の旋回運動によってブーム２４の先端部２７が描く図形の、地面への投影曲線を表している。尚、図５には、図４と同じ世界座標系が示されている。投影曲線１２０は円を成し、その円の半径をｒで表すと、ｒ＝ｌ・ｃｏｓθAが成立する。投影曲線１２０が描く円の中心１２１は、ブーム２４の旋回軸上にあり、原点Ｏwと一致する場合もあるが一致しない場合もある。半径ｒは、旋回台２２を含む機体２０の旋回運動によるブーム２４の可動範囲の半径を表し、投影曲線１２０は、その可動範囲の外周を表している。
【００４５】
本実施形態では、半径ｒに応じた安全確認領域（特定画像領域）が視認可能なように、撮影画像から表示用画像を生成し、これを表示する。安全確認領域とは、障害物が存在していないかを注視すべき領域であり、本実施形態では、安全確認領域とそれ以外の領域をガイドラインによって区別して視認させる。
【００４６】
これに対応する、図１の視界支援システムの動作手順を、図６を参照して説明する。図６は、この動作手順を表すフローチャートである。ステップＳ１〜Ｓ４及びＳ６の各処理は画像処理装置２によって実施され、ステップＳ５の処理はカメラ１と画像処理装置２によって実施され、ステップＳ７の処理は表示装置３によって実施される。
【００４７】
まず、ステップＳ１において、画像処理装置２は、ブーム長さｌ及びブーム起伏角度θAを特定する。それらの特定手法として公知の任意の特定手法を利用可能である。
【００４８】
例えば、ブーム長さｌ及びブーム起伏角度θAを特開平７−６１７７７号公報に記載の手法によって自動的に求めることができる。安全装置としてクレーン機械装置１０に元々備えられているブーム起伏角度検出器（不図示）を利用して、ブーム起伏角度θAを検出することもできる。
【００４９】
また例えば、ブーム長さｌ及びブーム起伏角度θAを手動操作にて画像処理装置２に与えるようにしてもよい。この場合、現在のブーム長さｌ及びブーム起伏角度θAを表す情報を図１の操作部４を操作することによって画像処理装置２に与え、画像処理装置２は、その情報によってブーム長さｌ及びブーム起伏角度θAを特定する。尚、ブーム長さｌが予め固定的に決まっている場合は、ブーム長さｌを表す固定値を画像処理装置２に予め与えておくこともできる。
【００５０】
ステップＳ１に続くステップＳ２において、ステップＳ１にて特定されたブーム長さｌ及びブーム起伏角度θAを用い、算出式「ｒ＝ｌ・ｃｏｓθA」に従って上述の半径ｒを算出する。その後、ステップＳ３に進む。
【００５１】
半径ｒが求まれば、描画すべきガイドラインの世界座標系上における位置を求めることができる。具体的には以下のように処理する。ステップＳ３において、ステップＳ２で算出された半径ｒと、カメラ１とブーム２４との位置関係を特定する既知情報とに基づいて、旋回台２２の旋回によってブーム２４の先端部２７が描く図形の世界座標系上の座標値を求める。この図形を、便宜上、旋回外周図形と呼ぶ。この旋回外周図形は、ＺW軸方向の座標値ｚwを任意とすれば図５の投影曲線１２０を一断面とする円筒を形成し、ｚw＝０とすれば図５の投影曲線１２０を描く。尚、カメラ１とブーム２４との位置関係を特定する上記既知情報によって、図５の中心１２１のＸW軸方向の座標値及びＹW軸方向の座標値は定まる。この既知情報は、予め画像処理装置２に与えられる。
【００５２】
ステップＳ３では、最終的に、描画すべきガイドラインの世界座標系上における座標値を求める。例えば、旋回外周図形の世界座標系上における座標値そのものを、ガイドラインの世界座標系上における座標値とする。この場合において、通常は、ｚw＝０とし、投影曲線１２０を世界座標系上におけるガイドラインとする。
【００５３】
また例えば、接触事故等に対する安全性を考慮して、図７に示す如く、半径ｒよりも半径が大きい仮想円１３０を想定し、仮想円１３０の世界座標系上における座標値をガイドラインの世界座標系上における座標値としてもよい。図７において、仮想円１３０は投影曲線１２０が描かれる平面上に定義された円であり、仮想円１３０の中心は投影曲線１２０が描く円の中心１２１と一致する。尚、仮想円１３０を世界座標系上におけるガイドラインとして取り扱う場合、ステップＳ３において、仮想円１３０の世界座標系上における座標値が求まれば足るので旋回外周図形の世界座標系上における座標値を求める必要はない。
【００５４】
ステップＳ３に続くステップＳ４では、ステップＳ３で求められた世界座標系上のガイドラインを撮像面Ｓの座標系上に投影変換する。つまり、世界座標系におけるガイドライン上の各点の座標値（ｘw，ｙw，ｚw）を、上記式（１）に従って撮像面Ｓの座標系上の座標値（ｘbu，ｙbu）に変換し、この変換によって得られた各座標値（ｘbu，ｙbu）を有する点から形成される図形を撮像面Ｓの座標系上におけるガイドラインとする。式（１）に基づく変換の際、一般的には「ｚw＝０」とすればよい。
【００５５】
そして続くステップＳ５において、画像処理装置２はカメラ１の撮影画像を取り込む。カメラ１に広角レンズを用いた場合などにおいては、通常、撮影画像に歪みが生じているため、レンズ歪み補正を施す。撮像面Ｓの座標系は、カメラ１が歪みのないピンホールカメラであることを想定して定義された座標系であるため、レンズ歪み補正後の撮影画像が撮像面Ｓの座標系上におけるカメラ１の撮影画像となる。
【００５６】
その後、ステップＳ６において、ステップＳ５で得られた撮影画像（レンズ歪み補正後の撮影画像）に、ステップＳ４にて求められた各座標値（ｘbu，ｙbu）を有するガイドラインを重畳することによって表示用画像を生成する。この表示用画像は、ステップＳ７において、表示装置３の表示画面上に表示される。ステップＳ７の後、ステップＳ１に戻り、ステップＳ１〜Ｓ７の各処理が繰り返し実施される。
【００５７】
図８に、ステップＳ６及びＳ７にて生成及び表示される表示用画像の例を示す。符号２００が付された画像が表示用画像である。表示用画像２００の下側には、旋回台２２及び走行体２１の各一部が描画されており、表示用画像２００の中央付近には、ワイヤ２５の一部とフック２６が描画されている。表示用画像２００において、符号２０１が付された波線円弧が重畳されたガイドラインであり、ガイドラインの色を適切に選ぶことによって他の画像領域とガイドラインとを容易に区別して視認できるようにする。尚、後述の第２実施形態における「鳥瞰表示」との区別を図るために、図８において「通常表示」という文言を便宜上設けた。
【００５８】
旋回台２２を含む機体２０を旋回させることによってブーム２４を旋回させた時、フック２６は概ねガイドライン２０１に沿って移動することになる。ガイドライン２０１よりもクレーン機械装置１０に近い領域は、障害物が存在していないかを注視すべき安全確認領域であり、ガイドライン２０１を表示することにより安全確認領域と障害物の位置関係などを画像上で認識することが可能となる。結果、操縦者の視界が支援され安全性が促進される。また、現時点のブーム長さｌ及びブーム起伏角度θAに応じてガイドラインが動的に変化するため、最新の安全確認領域を視覚的に認識することが可能である。
【００５９】
図２（ａ）及び（ｂ）に示すようなクレーン機械装置１０では、ブーム２４が操縦席ボックス２３の側面に配置されることが多いため、操縦者はブーム２４側の側方障害物を目視で確認することが困難なことが多い。このため、安全確認領域を表示画面上で確認できることは非常に有益である。
【００６０】
尚、レンズ歪み補正後の撮影画像にガイドラインを重畳して表示する例を上述したが、レンズ歪み補正が施されていない撮影画像（以下、元画像という）にガイドラインを重畳した表示用画像を生成及び表示することも可能である。元画像に重畳されるべきガイドラインは、レンズ歪み補正後の撮影画像に対応したステップＳ４で求められるべきガイドラインに対して、レンズ歪み補正時における変換の逆変換を施すことで求めることができる。
【００６１】
また、ガイドラインを重畳表示するのではなく、ガイドラインよりもクレーン機械装置１０に近い領域（即ち、安全確認領域）の表示色を変えるなどの処理を行ってもよい。例えば、図９に示されるような表示用画像２１０を生成及び表示するようにする。表示用画像２１０では、ガイドラインよりもクレーン機械装置１０に近い領域と他の領域とが区別可能なように、前者の領域（即ち、安全確認領域）の表示色が変更されている。図９における波線領域２１１が安全確認領域である。これを実施するためには、ステップＳ６において、表示用画像２１０が得られるように、ステップＳ４にて求められたガイドラインを形成する各座標値（ｘbu，ｙbu）に基づいて、撮影画像内の安全確認領域に相当する一部領域の映像信号（輝度信号及び／又は色信号）を加工する。そして、この加工後の撮影画像を表示装置３に出力すればよい。何れにせよ、半径ｒに基づく安全確認領域とそれ以外の領域とを表示画面上で区別して視認可能なように表示用画像を生成すればよい。
【００６２】
＜＜第２実施形態＞＞
次に、本発明の第２実施形態について説明する。第２実施形態に係る視界支援システムの全体ブロック図及び視界支援システムが適用されるクレーン機械装置１０は、第１実施形態におけるそれらと同様である。第２実施形態では、視界支援システムの動作手順が第１実施形態のそれから変更されており、その変更を除いて第１及び第２実施形態は同様である。従って、動作手順に関与する説明だけ行う。第１実施形態に記載した事項は、矛盾なき限り第２実施形態にも適用される。
【００６３】
第２実施形態に係る視界支援システムの動作手順を、図１０を参照して説明する。図１０は、この動作手順を表すフローチャートである。ステップＳ１〜Ｓ３及びＳ１１〜Ｓ１３の各処理は画像処理装置２によって実施され、ステップＳ５の処理はカメラ１と画像処理装置２によって実施され、ステップＳ１４の処理は表示装置３によって実施される。
【００６４】
まず、ステップＳ１〜Ｓ３の各処理が実施された後、ステップＳ５にて撮影画像が取得される。ステップＳ１〜Ｓ３及びＳ５の各処理は、図６を参照して説明したそれらと同じである。第２実施形態では、ステップＳ１〜Ｓ３及びＳ５の各処理の後、ステップＳ１１に移行する。
【００６５】
ステップＳ１１では、ステップＳ５にて得られた撮影画像を鳥瞰図画像に変換する。但し、鳥瞰図画像の基となる撮影画像に対してレンズ歪み補正を施し、そのレンズ歪み補正後の撮影画像を鳥瞰図画像に変換するものとする。鳥瞰図画像は、実際のカメラ１の撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラ１の撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。
【００６６】
鳥瞰図画像は、互いに直交するＸau軸及びＹau軸を座標軸とする二次元の鳥瞰図座標系上に定義される。鳥瞰図座標系における各点の座標を（ｘau，ｙau）で表す。鳥瞰図座標系において、或る点に関するｘau及びｙauは、夫々、その点の座標のＸau軸成分及びＹau軸成分である。撮像面Ｓの座標系における各点の座標（ｘbu，ｙbu）を、鳥瞰図座標系における座標（ｘau，ｙau）に変換するための式は、下記式（２）によって表されることが知られている（例えば、特開２００６−２８７８９２号公報参照）。上述したように、ｆ、ｈ、θ及びＨは、夫々、カメラ１の焦点距離、カメラ１の高さ、カメラ１の傾き角度及び仮想カメラの高さ（仮想視点の高さ）である。第２実施形態では、仮想カメラの高さＨを固定値とする。
【００６７】
【数２】
【００６８】
画像処理装置２は、ステップＳ５にて得られた撮影画像上の各点の座標（ｘbu，ｙbu）を、式（２）に従って鳥瞰図画像上の座標（ｘau，ｙau）に変換することによって、鳥瞰図画像を生成する。この際、式（２）に従って座標（ｘbu，ｙbu）と座標（ｘau，ｙau）との対応関係を示す変換テーブルデータを予め作成しておき、この変換テーブルデータを用いて撮影画像を鳥瞰図画像に変換するようにしてもよい。尚、上記式（１）と後述の式（３）と仮想カメラの高さＨに基づいて撮影画像を鳥瞰図画像に変換することも可能である（但し、式（１）において、ｚw＝０とする）。
【００６９】
【数３】
【００７０】
ステップＳ１１の後、ステップＳ１２に移行する。ステップＳ１２では、ステップＳ３で求められた世界座標系上のガイドラインから鳥瞰図座標系上のガイドラインの座標値を求める。今、ＸW軸及びＹW軸を座標軸とする二次元の座標系を地面座標系と呼ぶ。地面座標系は、ｚw＝０における世界座標系である。この地面座標系上のガイドラインは、例えば、図５の投影曲線１２０を描くこととなる。地面座標系上におけるガイドラインが鳥瞰図座標系上のガイドラインとなるため、世界座標系上のガイドラインの座標値（ｘw，ｙw，ｚw）における（ｘw，ｙw）が、そのまま、鳥瞰図座標系上のガイドラインの座標値（ｘau，ｙau）とされる。
【００７１】
その後、ステップＳ１３において、ステップＳ１１で得られた鳥瞰図画像に、ステップＳ１２にて求められた各座標値（ｘau，ｙau）を有する鳥瞰図座標系上のガイドラインを重畳することによって表示用画像を生成する。生成された表示用画像は、ステップＳ１４において、表示装置３の表示画面上に表示される。ステップＳ１４の後、ステップＳ１に戻り、上述の各処理が繰り返し実施される。
【００７２】
図１１に、ステップＳ１３及びＳ１４にて生成及び表示される表示用画像の例を示す。符号２２０が付された画像が表示用画像である。表示用画像２２０の下側には、旋回台２２及び走行体２１の各一部が描画されており、表示用画像２２０の中央付近には、ワイヤ２５の一部とフック２６が描画されている。また、表示用画像２２０の左下隅及び右下隅の黒塗り領域は、カメラ１の視野外の領域に対応している。表示用画像２２０において、符号２２１が付された波線円弧が重畳されたガイドラインであり、ガイドラインの色を適切に選ぶことによって他の画像領域とガイドラインとを容易に区別して視認できるようにしておく。これにより、第１実施形態と同様の効果が得られる。
【００７３】
また、第１実施形態で述べたのと同様に、ガイドラインを重畳表示するのではなく、ガイドラインよりもクレーン機械装置１０に近い領域（即ち、安全確認領域）の表示色を変えるなどの処理を行ってもよい。例えば、図１２に示されるような表示用画像２３０を生成及び表示するようにする。表示用画像２３０では、ガイドラインよりもクレーン機械装置１０に近い領域と他の領域とが区別可能なように、前者の領域（即ち、安全確認領域）の表示色が変更されている。図１２における波線領域２３１が安全確認領域である。これを実施するためには、ステップＳ１３において、表示用画像２３０が得られるように、ステップＳ１２にて求められたガイドラインを形成する各座標値（ｘau，ｙau）に基づいて、鳥瞰図画像内の安全確認領域に相当する一部領域の映像信号（輝度信号及び／又は色信号）を加工する。そして、この加工後の鳥瞰図画像を表示装置３に出力すればよい。何れにせよ、半径ｒに基づく安全確認領域とそれ以外の領域とを表示画面上で区別して視認可能なように表示用画像を生成すればよい。
【００７４】
＜＜第３実施形態＞＞
ところで、第２実施形態のように鳥瞰図画像を表示する場合は、鳥瞰図画像のズーム調整を行うことによって、より安全性支援に寄与する映像を提供することが可能である。実空間上において高い視点から見ると安全確認領域が小さく見え、低い視点から見ると安全確認領域が大きく見えるのと同様に、図１０のステップＳ１１及びＳ１２で用いる仮想カメラの高さＨを変更すれば安全確認領域の表示サイズを自由に変更することが可能である。
【００７５】
このような変更を行う実施形態として第３実施形態を説明する。第３実施形態は、第２実施形態の一部を変更した実施形態であり、第２実施形態との相違点のみを以下に説明する。特に記述しない部分は、第２実施形態と同様である。また、第１実施形態に記載した事項は、矛盾なき限り第３実施形態にも適用される。
【００７６】
第１の撮影条件と第２の撮影条件にて撮影が行われた場合を想定する。第１の撮影条件におけるブーム起伏角度θAよりも第２の撮影条件におけるブーム起伏角度θAの方が大きいものとする。ブーム長さｌを含むその他の条件は、第１及び第２の撮影条件間で同じであるものとする。
【００７７】
図１３を参照する。図１３において、符号２５０は、第１の撮影条件下におけるカメラ１の撮影画像を表し、符号２６０は、第２の撮影条件下におけるカメラ１の撮影画像を表している。符号２５１が付された破線円弧は撮影画像２５０におけるガイドラインであり、符号２６１が付された破線円弧は撮影画像２６０におけるガイドラインである。
【００７８】
第１及び第２の撮影条件間においてブーム起伏角度θAが相違しているため、撮影画像上におけるガイドラインの大きさ、即ち、撮影画像の全体に占める安全確認領域の大きさが、撮影画像２５０及び２６０間で異なっていることが分かる。安全確認上、重量な領域は、安全確認領域内と安全確認領域近傍であるので、安全確認領域が大きく表示された方が安全性支援がより促進される。
【００７９】
このため、ブーム起伏角度θAの変化に拘らず、表示画面上の安全確認領域の大きさが概ね一定となるように、鳥瞰図画像を生成する際の仮想カメラの高さＨを変更する処理を行う。具体的には、第１の撮影条件にて撮影が行われた時には、ステップＳ１１及びＳ１２で用いる仮想カメラの高さＨをＨ1とする。図１３において、符号２５５は、Ｈ＝Ｈ1とした上で撮影画像２５０から得られた鳥瞰図画像を表し、符号２５６は、鳥瞰図画像２５５におけるガイドラインである。一方、第２の撮影条件にて撮影が行われた時には、ステップＳ１１及びＳ１２で用いる仮想カメラの高さＨをＨ2とする。図１３において、符号２６５は、Ｈ＝Ｈ2とした上で撮影画像２６０から得られた鳥瞰図画像であり、符号２６６は、鳥瞰図画像２６５におけるガイドラインである。ここで、Ｈ2＜Ｈ1である。撮影画像２５０が得られた際には鳥瞰図画像２５５にガイドライン２５６を重畳した画像を表示装置３に与えて表示させ、撮影画像２６０が得られた際には鳥瞰図画像２６５にガイドライン２６６を重畳した画像を表示装置３に与えて表示させる。
【００８０】
上述の如く、仮想カメラの高さＨを調整することによって、表示画面上の安全確認領域の大きさを概ね一定とする。今の場合、ブーム起伏角度θAが変化することによってブーム２４の可動範囲（可動範囲の外周位置）が変化した場合を想定しているため、ブーム起伏角度θAの変化に応じて仮想カメラの高さＨを動的に変更する。ブーム長さｌが変化した場合も同様に処理すればよい。つまり、まとめると、ブーム起伏角度θA及びブーム長さｌの少なくとも一方が変化することによってブーム２４の可動範囲（可動範囲の外周位置）が変化した場合、その変化に基づく表示用画像上の安全確認領域の大きさ変化が打ち消されるように仮想カメラの高さＨを動的に変更する。換言すれば、ブーム２４の可動範囲の変化に拘らず、表示用画像の全体領域に占める、安全確認領域の割合が概ね一定となるように、仮想カメラの高さＨを動的に変更する。これにより、表示画面上の安全確認領域の大きさが概ね一定となる。
【００８１】
尚、表示用画像上の安全確認領域の大きさ変化が完全に打ち消される必要はなく、また、完全に打ち消そうとしてもそれを完全にはできないこともある。従って、表示用画像上の安全確認領域の大きさ変化に対する「打ち消す」という文言は「抑制する」の意味をも含む。
【００８２】
また、仮想カメラの高さＨを変更することなく、電子ズームによって同様の表示用画像を得るようにしてもよい。つまり、仮想カメラの高さＨを固定し、撮影画像から得られた鳥瞰図画像の全体又は一部を切り出すことによって得られる画像にガイドラインを重畳した画像を、表示用画像として表示装置３に表示するようにしておく。そして、ブーム２４の可動範囲（可動範囲の外周位置）が変化した場合、その変化に基づく表示用画像上の安全確認領域の大きさ変化が打ち消されるように鳥瞰図画像の全体から切り出す画像の位置及びサイズを変更すればよい（即ち、電子ズームの倍率を変更すればよい）。
【００８３】
電子ズームに基づく手法は、第１実施形態にも適用可能である。第１実施形態に適用する場合、撮影画像の全体又は一部を切り出すことによって得られる画像にガイドラインを重畳した画像を、表示用画像として表示装置３に表示するようにしておく。そして、ブーム２４の可動範囲（可動範囲の外周位置）が変化した場合、その変化に基づく表示用画像上の安全確認領域の大きさ変化が打ち消されるように撮影画像の全体から切り出す画像の位置及びサイズを変更すればよい（即ち、電子ズームの倍率を変更すればよい）。
【００８４】
＜＜第４実施形態＞＞
次に、第４実施形態について説明する。第１〜第３実施形態に記載した事項は、矛盾無き限り、本実施形態にも適用される。この適用の際、同一名称の部位間の符号の相違（例えば、符号２と２ａの相違）は適宜無視される。図１４は、第４実施形態に係る視界支援システムの全体ブロック図である。図１４の視界支援システムは、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒと、画像処理装置２ａと、表示装置３と、操作部４を備えている。本実施形態におけるカメラ１Ｆは第１〜第３実施形態におけるカメラ１に相当する。
【００８５】
図１５（ａ）は、図１４の視界支援システムが搭載されるクレーン機械装置１０の外観側面図であり、図１５（ｂ）は、そのクレーン機械装置１０を上方から見た平面図である。図１５（ａ）及び（ｂ）に示されるクレーン機械装置１０自体は、第１実施形態に係るそれと同じものである。但し、本実施形態においては、クレーン機械装置１０の機体２０に、機体２０の周辺を撮影する４つのカメラが設置されている。具体的には、クレーン機械装置１０の操縦席ボックス２３の前部、後部、左側部及び右側部に、夫々、互いに異なる視点を有するカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒが取り付けられている（但し、図１５（ａ）では、カメラ１Ｌの図示を省略している）。尚、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの全部又は一部を、旋回台２２に取り付けるようにしてもよい。
【００８６】
カメラ１Ｆの光軸の向きが機体２０の前方斜め下向きになるように、且つ、カメラ１Ｂの光軸の向きが機体２０の後方斜め下向きになるように、且つ、カメラ１Ｌの光軸の向きが機体２０の左方斜め下向きになるように、且つ、カメラ１Ｒの光軸の向きが機体２０の右方斜め下向きになるように、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒは機体２０に設置される。
【００８７】
図１６も、図１５（ｂ）と同様の、クレーン機械装置１０を上方から見た平面図であるが、図１６には各カメラの視野が示されている。図１６において、破線扇型領域３００Ｆ、３００Ｂ、３００Ｌ及び３００Ｒは、夫々、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの視野を表している。
【００８８】
カメラ１Ｆは、機体２０の前方の所定領域内に位置する被写体（地面を含む）を撮影する。カメラ１Ｂは、機体２０の後方の所定領域内に位置する被写体（地面を含む）を撮影する。カメラ１Ｌは、機体２０の左側の所定領域内に位置する被写体（地面を含む）を撮影する。カメラ１Ｒは、機体２０の右側の所定領域内に位置する被写体（地面を含む）を撮影する。
【００８９】
カメラ１Ｆの視野の一部とカメラ１Ｒの視野の一部は、機体２０の右斜め前方にて重なり合う。カメラ１Ｆの視野の一部とカメラ１Ｌの視野の一部は、機体２０の左斜め前方にて重なり合う。カメラ１Ｂの視野の一部とカメラ１Ｒの視野の一部は、機体２０の右斜め後方にて重なり合う。カメラ１Ｂの視野の一部とカメラ１Ｌの視野の一部は、機体２０の左斜め後方にて重なり合う。
【００９０】
カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの各撮影画像を表す信号は、画像処理装置２ａに送られる。画像処理装置２ａは、各撮影画像から表示用画像を生成する。この表示用画像を表す映像信号は表示装置３に与えられ、表示装置３は、該表示用画像を映像として表示する。操作部４は、ユーザからの操作を受け付け、その操作内容に応じた信号を画像処理装置２ａに伝達する。各カメラ（１Ｆ、１Ｂ、１Ｌ及び１Ｒ）は、所定のフレーム周期（例えば、１／６０秒の周期）にて撮影画像を取得する。そして例えば、新たな撮影画像が得られる度に、その新たな撮影画像から表示用画像が生成されて表示装置３の表示内容が更新される。
【００９１】
図１４の視界支援システムの動作手順を、図１７を参照して説明する。図１７は、この動作手順を表すフローチャートである。ステップＳ１〜Ｓ３及びＳ２２〜Ｓ２５の各処理は画像処理装置２ａによって実施され、ステップＳ２１の処理は各カメラと画像処理装置２ａによって実施され、ステップＳ２６の処理は表示装置３によって実施される。
【００９２】
まず、ステップＳ１〜Ｓ３の各処理が実施された後、ステップＳ２１にてカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの各撮影画像が取得される。ステップＳ１〜Ｓ３の各処理は、図６を参照して説明したそれらと同じである。第４実施形態では、ステップＳ１〜Ｓ３及びＳ２１の各処理の後、ステップＳ２２に移行する。
【００９３】
ステップＳ２２では、ステップＳ２１にて得られた各撮影画像を鳥瞰図画像に変換する。１つの撮影画像を１つの鳥瞰図画像に変換する手法は、第２実施形態（又は第３実施形態）で述べたものと同じである。但し、鳥瞰図画像の基となる撮影画像に対してレンズ歪み補正を施し、そのレンズ歪み補正後の撮影画像を鳥瞰図画像に変換するものとする。カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒについての鳥瞰図画像を、夫々、鳥瞰図画像３１０Ｆ、３１０Ｂ、３１０Ｌ及び３１０Ｒと呼ぶ。
【００９４】
続くステップＳ２３では、鳥瞰図画像３１０Ｆを基準として、他の鳥瞰図画像３１０Ｂ、３１０Ｌ及び３１０Ｒを回転及び平行移動することにより、それら（３１０Ｂ、３１０Ｌ及び３１０Ｒ）の座標を鳥瞰図画像３１０Ｆにおける座標に変換する。この変換は、例えば、各カメラ（１Ｆ、１Ｂ、１Ｌ及び１Ｒ）間の位置関係を表す既知の位置関係情報に基づいて行われる。この変換後、各鳥瞰図画像を合成することにより、全周鳥瞰図画像を生成する。全周鳥瞰図画像が定義される座標系を、全周鳥瞰図座標系と呼ぶ。今の例の場合、全周鳥瞰図座標系はカメラ１Ｆについての鳥瞰図座標系と一致する。
【００９５】
図１８に、全周鳥瞰図座標系上に表された鳥瞰図画像３１０Ｆ、３１０Ｂ、３１０Ｌ及び３１０Ｒを示す。カメラ１Ｆと１Ｒの視野の一部が重なり合うことに対応して鳥瞰図画像３１０Ｆと３１０Ｒの一部が重なり合う。鳥瞰図画像３１０Ｆと３１０Ｌの間などにおいても同様である。全周鳥瞰図画像を画像合成によって生成する際、重なり合う部分の画像は、合成する画像間の画素値を平均化することによって生成される、或いは、定義した合成境界線を境に合成する画像を貼り合わせることによって生成される。何れにせよ、各鳥瞰図画像が接合部分において滑らかに接合されるように画像合成がなされる。
【００９６】
尚、各カメラの撮影画像の各座標と全周鳥瞰図座標系上の座標との対応関係を示すテーブルデータを予め作成しておき、このテーブルデータを用いて各撮影画像から全周鳥瞰図画像を生成するようにしてもよい。この場合、個々の鳥瞰図画像を生成する必要はない。
【００９７】
全周鳥瞰図画像が生成された後、ステップＳ２４に移行する。ステップＳ２４では、ステップＳ３で求められた世界座標系上のガイドラインの座標値から全周鳥瞰図座標系上のガイドラインの座標値を求める。全周鳥瞰図座標系はカメラ１Ｆについての鳥瞰図座標系と同じであるため、ステップＳ２４の処理内容は、第２実施形態におけるステップＳ１２（図１０参照）のそれと同じである。
【００９８】
その後、ステップＳ２５において、ステップＳ２４にて求められた各座標値を有する全周鳥瞰図座標系上のガイドラインを全周鳥瞰図画像に重畳することによって表示用画像を生成する。生成された表示用画像は、ステップＳ２６において、表示装置３の表示画面上に表示される。ステップＳ２６の後、ステップＳ１に戻り、上述の各処理が繰り返し実施される。
【００９９】
図１９に、ステップＳ２５及びＳ２６にて生成及び表示される表示用画像の例を示す。符号３３０が付された画像が表示用画像である。表示用画像３３０の中央には、クレーン機械装置１０の仮想機体が描画されている。各カメラがクレーン機械装置１０の機体２０全体を撮影できるわけではないので、描画された仮想機体は、各カメラによって実際に撮影された機体２０とは異なる（但し、仮想機体の一部は実際の撮影結果に基づく）。表示用画像３３０の中央上部には、ワイヤ２５の一部とフック２６が描画されている。尚、クレーン機械装置１０のブーム２４も表示用画像に描写されうるが、図示の簡略化上、図１９（並びに後述する図２０及び図２１）においてブーム２４の図示を省略している。
【０１００】
表示用画像３３０において、符号３３１が付された波線円が重畳されたガイドラインであり、ガイドラインの色を適切に選ぶことによって他の画像領域とガイドラインとを容易に区別して視認できるようにしておく。これにより、第１及び第２実施形態と同様の効果が得られると共に、広範囲領域が表示画面上で確認可能となる。
【０１０１】
また、第２実施形態で述べたのと同様に、ガイドラインを重畳表示するのではなく、ガイドラインよりもクレーン機械装置１０に近い領域（即ち、安全確認領域）の表示色を変えるなどの処理を行ってもよい。例えば、図２０に示されるような表示用画像３４０を生成及び表示するようにする。表示用画像３４０では、ガイドラインよりもクレーン機械装置１０に近い領域と他の領域とが区別可能なように、前者の領域（即ち、安全確認領域）の表示色が変更されている。図２０における波線領域３４１が安全確認領域である。これを実施するためには、ステップＳ２５において、表示用画像３４０が得られるように、ステップＳ２４にて求められたガイドラインの全周鳥瞰図座標系上の各座標値に基づいて、全周鳥瞰図画像内の安全確認領域に相当する一部領域の映像信号（輝度信号及び／又は色信号）を加工する。そして、この加工後の全周鳥瞰図画像を表示装置３に出力すればよい。何れにせよ、半径ｒに基づく安全確認領域とそれ以外の領域とを表示画面上で区別して視認可能なように表示用画像を生成すればよい。
【０１０２】
また、第３実施形態に記載の内容を本実施形態にも適用することができる。図２１を参照して具体例を説明する。図２１において、符号３６０、３７０及び３８０は、夫々、生成可能な表示用画像であり、破線円３６１、３７１及び３８１は、夫々、表示用画像３６０、３７０及び３８０におけるガイドラインである。基準状態にて表示用画像３６０が得られたとする。
【０１０３】
この基準状態を基準として、ブーム起伏角度θAが増加又はブーム長さｌが減少しブーム２４の可動範囲（可動範囲の外周位置）が小さくなった場合を想定する。この場合において、各カメラについての仮想カメラの高さＨを固定値としていた場合は、表示用画像は表示用画像３６０から表示用画像３７０に遷移する。即ち、表示用画像におけるガイドラインの大きさ（表示画面上の安全確認領域の大きさ）も小さくなる。一方、ブーム２４の可動範囲（可動範囲の外周位置）の縮小分に相当する分だけ各カメラについての仮想カメラの高さＨを基準状態よりも低くすれば、表示用画像は表示用画像３６０から表示用画像３８０に遷移する。即ち、表示用画像におけるガイドラインの大きさ（表示画面上の安全確認領域の大きさ）は一定に維持される。
【０１０４】
このように、ブーム起伏角度θA及びブーム長さｌの少なくとも一方が変化することによってブーム２４の可動範囲（可動範囲の外周位置）が変化した場合、その変化に基づく表示用画像上の安全確認領域の大きさ変化が打ち消されるように仮想カメラの高さＨを動的に変更してもよい。これにより、表示画面上の安全確認領域の大きさが概ね一定となる。本実施形態の如く複数のカメラを用いた合成画像を表示する場合は描画可能な領域が広いため、このような安全確認領域の表示サイズ調整が、安全確認の支援上、特に効果的である。
【０１０５】
尚、第３実施形態でも述べたように、仮想カメラの高さＨを変更することなく、電子ズームによって同様の表示用画像を得るようにしてもよい。
【０１０６】
また、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの全部又は一部を、ブーム２４に取り付けることも可能である。但し、その場合は、ブーム起伏角度θA及び／又はブーム長さｌ（図３参照）が変化することによってカメラと旋回台２２及び操縦席ボックス２３との位置関係が変化する。このため、ブーム起伏角度θA及び／又はブーム長さｌの変化に応じた上記位置関係の変化を認識可能なように視界支援システムを形成し、撮影画像から鳥瞰図画像を得るための座標変換に、その位置関係の変化を反映させる必要がある。
【０１０７】
＜＜第５実施形態＞＞
第１〜第４実施形態に係る視界支援システムが適用されるクレーン機械装置は様々な形態をとる。例えば、図２２に示されるようなクレーン機械装置１０ａにも、第１〜第４実施形態に係る視界支援システムを適用可能である。図２２は、クレーン機械装置１０ａの外観側面図である。
【０１０８】
クレーン機械装置１０ａは、走行体２１、旋回台２２、操縦席ボックス２３及びブーム２４を備え、更に、ブーム２４の先端部２７に連結ジブ３１が取り付けられている。つまり、クレーン機械装置１０ａは、図２（ａ）等に示されるクレーン機械装置１０に、連結ジブ３１が追加された構成を有し、この追加以外、クレーン機械装置１０と１０ａは基本的に同様である。但し、図２２において、カメラの図示を省略している。
【０１０９】
ブーム２４の一端は旋回台２２に固定される。ブーム２４の他端を含むブーム２４の先端部２７に棒状の連結ジブ３１が連結される。連結ジブ３１は、ブーム２４に対する起伏角度を自在に変更可能となっており、クレーン機械装置１０ａの操縦者が、操縦席ボックス２３内に配置された操縦用部材を操作することにより上記起伏角度を変更することができる。連結ジブ３１の一端はブーム２４と連結ジブ３１の連結部に固定される。連結ジブ３１の他端を含む連結ジブ３１の先端部３２から鉛直下方向きに巻き上げ及び巻き下げ自在のワイヤ２５が吊り下げられている。ワイヤ２５の下端にはフック２６が取り付けられている。
【０１１０】
旋回台２２、運転席ボックス２３、ブーム２４及び連結ジブ３１を含む機体は、走行体２１と旋回台２２との連結部を通り且つ鉛直線に平行な所定軸を旋回軸として旋回自在となるように走行体２１上に装着されている。ブーム２４及び連結ジブ３１は、旋回台２２の旋回に伴って該旋回軸の周りを旋回する。フック２６に荷（不図示）を掛けた状態でワイヤ２５を巻き上げ、旋回台２２を旋回運動させることにより、荷を水平方向に運搬することができる。
【０１１１】
図２２には、ブーム起伏角度θA等が併記されている。ブーム起伏角度θA及びブーム長さｌは、第１実施形態で述べたそれらと同じものである。連結ジブ３１を直方体と捉え、連結ジブ３１の長手方向の中心軸１１５と、旋回面と平行な基準面１０６と、が成す鋭角をθA2により表す。θA2は、ブーム２４と連結ジブ３１との連結角度を表す。ブーム２４と連結ジブ３１の連結部を支点として連結ジブ３１を回転駆動することによりθA2が変更される。
【０１１２】
連結ジブ３１の長手方向とは、ブーム２４と連結ジブ３１の連結部と連結ジブ３１の先端部３２とを結ぶ方向である。連結ジブ３１の長手方向における連結ジブ３１の長さをｌ2にて表す。尚、ブーム２４の長手方向の中心軸１０５と連結ジブ３１の長手方向の中心軸１１５は、同一平面上にある。
【０１１３】
図２２に示されるようなクレーン機械装置１０ａに第１〜第４実施形態に係る視界支援システムを適用する場合、１台又は複数台のカメラを操縦席ボックス２３（又は旋回台２２若しくはブーム２４）に取り付ける。そして、第１〜第４実施形態にて説明した手法にて表示用画像を生成及び表示すればよいのであるが、連結ジブ３１が存在するため、ガイドラインを定めるために必要な半径ｒの算出式が異なる。つまり、クレーン機械装置１０ａに第１〜第４実施形態に係る視界支援システムを適用する場合は、半径ｒを、算出式「ｒ＝ｌ・ｃｏｓθA＋ｌ2・ｃｏｓθA2」に従って算出すれば良い。
【０１１４】
尚、長さｌ2を表す情報は画像処理装置（２又は２ａ）に予め与えておくこともできるし、特開平７−６１７７７号公報に記載の手法を転用することによって連結ジブ３１の長さｌ2を自動的に求めるようにしてもよい。また、ブーム起伏角度検出器と同様の角度検出器（不図示）を利用して、連結角度θA2を検出することができる。
【０１１５】
視界支援システムを図２（ａ）等のクレーン機械装置１０に適用する場合も図２２のクレーン機械装置１０ａに適用する場合も、ブーム長さｌ及びブーム起伏角度θAを含む旋回体状態に基づいて、半径ｒが求められて安全確認領域が特定される。旋回体状態とは、文字通り、旋回体の状態を意味している。クレーン機械装置１０における旋回体は、ブーム２４を含む。クレーン機械装置１０ａにおける旋回体はブーム２４の他に連結ジブ３１を含むため、クレーン機械装置１０ａにとっての旋回体状態には、ブーム長さｌ及びブーム起伏角度θAの他に連結ジブ３１の長さｌ2及び連結角度θA2が含まれる。
【０１１６】
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１７】
［注釈１］
上述の各実施形態では、本発明に係る視界支援システムが適用されるクレーン機械装置として移動式クレーンを例示しているが、移動式クレーン以外の種類に分類されるクレーン機械装置にも当該視界支援システムを適用可能である。例えば、ジブクレーンやアンローダ等にも本発明は適用可能である。
【０１１８】
また、本発明は、クレーンに分類されない機械装置にも適用可能である。例えば、クレーン機能を備えたショベルカー（不図示）に本発明を適用することも可能である。但し、クレーン機能を備えたショベルカーは、クレーンに含まれるとも解釈される。ショベルカーは、図２２のクレーン機械装置１０ａと共通の構造を有している。但し、ショベルカーにおいては、符号２４で参照される部位はブームと呼ばれることが多いものの、符号３１で参照される部位はアームと呼ばれることが一般的である。そのアームの先端部にバケットやブレーカ等のアタッチメントが取り付けられる。
【０１１９】
［注釈２］
鳥瞰図座標系への座標変換を伴う第２実施形態（又は第３実施形態）とそれを伴わない第１実施形態を別個に説明したが、両者における表示方式を同一の視界支援システム内で切り替え可能にしておくことも可能である。例えば、図１の操作部４に対する操作によって、通常表示方式と鳥瞰表示方式を選択可能としておく。そして、通常表示方式が選択された場合は、第１実施形態に係る図８等の表示用画像を生成及び表示するようにし、鳥瞰表示方式が選択された場合は、第２実施形態（又は第３実施形態）に係る図１１等の表示用画像を生成及び表示するようにする。
【０１２０】
［注釈３］
図１の画像処理装置２又は図１４の画像処理装置２ａの機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理装置（２又は２ａ）にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１２１】
［注釈４］
例えば以下のように考えることができる。上述の各実施形態において、１台のカメラ１又は複数台のカメラ（１Ｆ、１Ｂ、１Ｌ及び１Ｒ）は、カメラユニットを形成する。このカメラユニットと画像処理装置（２又は２ａ）は、カメラシステムを形成する。また、画像処理装置（２又は２ａ）は、撮影画像を鳥瞰図画像又は全周鳥瞰図画像に変換するための鳥瞰変換手段を備える。
【図面の簡単な説明】
【０１２２】
【図１】本発明の第１実施形態に係る視界支援システムの全体ブロック図である。
【図２】図１の視界支援システムが搭載されるクレーン機械装置の外観側面図（ａ）と、そのクレーン機械装置を上方から見た平面図（ｂ）である。
【図３】表示用画像の生成に関与する記号等を併記した、図２（ａ）のクレーン機械装置の外観側面図である。
【図４】本発明の第１実施形態に係り、カメラの撮像面の座標系と世界座標系との関係を示す図である。
【図５】世界座標系と表示用画像の生成に関与する記号等との関係を示す図である。
【図６】本発明の第１実施形態に係る視界支援システムの動作手順を表すフローチャートである。
【図７】世界座標系と表示用画像の生成に関与する記号等との関係を示す図である。
【図８】本発明の第１実施形態に係る視界支援システムにて表示される画像例を示す図である。
【図９】本発明の第１実施形態に係る視界支援システムにて表示される画像例を示す図である。
【図１０】本発明の第２実施形態に係る視界支援システムの動作手順を表すフローチャートである。
【図１１】本発明の第２実施形態に係る視界支援システムにて表示される画像例を示す図である。
【図１２】本発明の第２実施形態に係る視界支援システムにて表示される画像例を示す図である。
【図１３】本発明の第３実施形態に係る視界支援システムにて得られる撮影画像及び鳥瞰図画像の例を示す図である。
【図１４】本発明の第４実施形態に係る視界支援システムの全体ブロック図である。
【図１５】図１４の視界支援システムが搭載されるクレーン機械装置の外観側面図（ａ）と、そのクレーン機械装置を上方から見た平面図（ｂ）である。
【図１６】本発明の第４実施形態に係り、各カメラの視野を併記した、クレーン機械装置を上方から見た平面図である。
【図１７】本発明の第４実施形態に係る視界支援システムの動作手順を表すフローチャートである。
【図１８】図１４の視界支援システムにて生成される、全周鳥瞰図座標系上の各鳥瞰図画像を表す図である。
【図１９】図１４の視界支援システムにて表示される画像例を示す図である。
【図２０】図１４の視界支援システムにて表示される画像例を示す図である。
【図２１】図１４の視界支援システムにて表示される画像例を示す図である。
【図２２】本発明の第５実施形態に係り、本発明の視界支援システムが適用されるクレーン機械装置の外観側面図である。
【符号の説明】
【０１２３】
１、１Ｆ、１Ｂ、１Ｒ、１Ｌ カメラ
２、２ａ 画像処理装置
３ 表示装置
４ 操作部
１０、１０ａ クレーン機械装置
２１ 下部走行体
２２ 上部旋回台
２３ 操縦席ボックス
２４ ブーム
２５ ワイヤ
２６ フック
２７ 先端部
３１ 連結ジブ
【特許請求の範囲】
【請求項１】
旋回運動が可能な旋回体の周辺を撮影するカメラユニットと、
前記カメラユニットにて得られた撮影画像に基づく表示用画像を生成する画像処理装置と、を備えて、前記表示用画像を表示装置に出力するカメラシステムにおいて、
前記画像処理装置は、前記旋回体の旋回による前記旋回体の可動範囲の外周位置に応じた特定画像領域が前記表示装置の表示画面上で視認可能なように前記表示用画像を生成する
ことを特徴とするカメラシステム。
【請求項２】
前記旋回体は、旋回運動が可能な旋回台上に起伏運動が可能なように装着された棒状の主軸部材を有して、前記旋回台の旋回に伴って旋回運動し、
前記外周位置は、前記主軸部材の長さ及び前記旋回台に対する前記主軸部材の起伏角度を含む旋回体状態に応じて変化し、
前記画像処理装置は、前記旋回体状態に基づいて前記表示用画像上における前記特定画像領域の位置を定める
ことを特徴とする請求項１に記載のカメラシステム。
【請求項３】
前記画像処理装置は、前記外周位置に応じた指標を前記撮影画像に重畳することによって或いは前記外周位置に応じて前記撮影画像を加工することによって前記表示用画像を生成する
ことを特徴とする請求項１または請求項２に記載のカメラシステム。
【請求項４】
前記画像処理装置は、前記撮影画像を仮想カメラの視点から見た鳥瞰図画像に変換する鳥瞰変換手段を備え、前記外周位置に応じた指標を前記鳥瞰図画像に重畳することによって或いは前記外周位置に応じて前記鳥瞰図画像を加工することによって前記表示用画像を生成する
ことを特徴とする請求項１または請求項２に記載のカメラシステム。
【請求項５】
前記カメラユニットは、前記旋回体の周辺を撮影する、互いに異なる視点を有した複数のカメラから形成され、
前記画像処理装置は、各カメラの撮影画像を仮想カメラの視点から見た鳥瞰図画像に変換して各鳥瞰図画像を合成することにより合成鳥瞰図画像を生成する鳥瞰変換手段を備え、前記外周位置に応じた指標を前記合成鳥瞰図画像に重畳することによって或いは前記外周位置に応じて前記合成鳥瞰図画像を加工することによって前記表示用画像を生成する
ことを特徴とする請求項１または請求項２に記載のカメラシステム。
【請求項６】
前記画像処理装置は、前記旋回体の可動範囲が変化した際、その変化に基づく前記表示用画像上の前記特定画像領域の大きさ変化が抑制されるように前記表示用画像を生成する
ことを特徴とする請求項４または請求項５に記載のカメラシステム。
【請求項７】
前記画像処理装置は、前記旋回体の可動範囲が変化した際、その変化に応じて前記仮想カメラの視点の高さを変更することにより前記大きさ変化を抑制する
ことを特徴とする請求項６に記載のカメラシステム。
【請求項８】
前記主軸部材は、クレーン機械装置又はショベルカーを含む機械装置に備えられたブームである
ことを特徴とする請求項２に記載のカメラシステム。
【請求項９】
請求項１〜請求項８の何れかに記載されたカメラシステムが設置され且つ旋回体を旋回運動させる
ことを特徴とする機械装置。
【請求項１】
旋回運動が可能な旋回体の周辺を撮影するカメラユニットと、
前記カメラユニットにて得られた撮影画像に基づく表示用画像を生成する画像処理装置と、を備えて、前記表示用画像を表示装置に出力するカメラシステムにおいて、
前記画像処理装置は、前記旋回体の旋回による前記旋回体の可動範囲の外周位置に応じた特定画像領域が前記表示装置の表示画面上で視認可能なように前記表示用画像を生成する
ことを特徴とするカメラシステム。
【請求項２】
前記旋回体は、旋回運動が可能な旋回台上に起伏運動が可能なように装着された棒状の主軸部材を有して、前記旋回台の旋回に伴って旋回運動し、
前記外周位置は、前記主軸部材の長さ及び前記旋回台に対する前記主軸部材の起伏角度を含む旋回体状態に応じて変化し、
前記画像処理装置は、前記旋回体状態に基づいて前記表示用画像上における前記特定画像領域の位置を定める
ことを特徴とする請求項１に記載のカメラシステム。
【請求項３】
前記画像処理装置は、前記外周位置に応じた指標を前記撮影画像に重畳することによって或いは前記外周位置に応じて前記撮影画像を加工することによって前記表示用画像を生成する
ことを特徴とする請求項１または請求項２に記載のカメラシステム。
【請求項４】
前記画像処理装置は、前記撮影画像を仮想カメラの視点から見た鳥瞰図画像に変換する鳥瞰変換手段を備え、前記外周位置に応じた指標を前記鳥瞰図画像に重畳することによって或いは前記外周位置に応じて前記鳥瞰図画像を加工することによって前記表示用画像を生成する
ことを特徴とする請求項１または請求項２に記載のカメラシステム。
【請求項５】
前記カメラユニットは、前記旋回体の周辺を撮影する、互いに異なる視点を有した複数のカメラから形成され、
前記画像処理装置は、各カメラの撮影画像を仮想カメラの視点から見た鳥瞰図画像に変換して各鳥瞰図画像を合成することにより合成鳥瞰図画像を生成する鳥瞰変換手段を備え、前記外周位置に応じた指標を前記合成鳥瞰図画像に重畳することによって或いは前記外周位置に応じて前記合成鳥瞰図画像を加工することによって前記表示用画像を生成する
ことを特徴とする請求項１または請求項２に記載のカメラシステム。
【請求項６】
前記画像処理装置は、前記旋回体の可動範囲が変化した際、その変化に基づく前記表示用画像上の前記特定画像領域の大きさ変化が抑制されるように前記表示用画像を生成する
ことを特徴とする請求項４または請求項５に記載のカメラシステム。
【請求項７】
前記画像処理装置は、前記旋回体の可動範囲が変化した際、その変化に応じて前記仮想カメラの視点の高さを変更することにより前記大きさ変化を抑制する
ことを特徴とする請求項６に記載のカメラシステム。
【請求項８】
前記主軸部材は、クレーン機械装置又はショベルカーを含む機械装置に備えられたブームである
ことを特徴とする請求項２に記載のカメラシステム。
【請求項９】
請求項１〜請求項８の何れかに記載されたカメラシステムが設置され且つ旋回体を旋回運動させる
ことを特徴とする機械装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００８−３１２００４（Ｐ２００８−３１２００４Ａ）
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願番号】特願２００７−１５８７８５（Ｐ２００７−１５８７８５）
【出願日】平成１９年６月１５日（２００７．６．１５）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願日】平成１９年６月１５日（２００７．６．１５）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]