画像変換装置及び操作支援システム
【課題】視点変換処理のリアルタイム性と装置の省リソース性とを両立させる画像変換装置を提供すること。
【解決手段】カメラ（２）が取得する原画像から視点変換画像を生成する画像変換装置（１００）は、カメラ（２）の姿勢の変位を検出する姿勢変位検出部（３）と、原画像上の座標と視点変換画像上の座標とを対応付ける変換テーブル（４０）を生成する変換テーブル生成手段（１０）と、カメラ（２）の現在の姿勢に対する変位が所定条件を満たす姿勢のそれぞれに対応する変換テーブルを変換テーブル記憶部（４）に格納する変換テーブル格納手段（１２）と、その所定条件を満たさない姿勢のそれぞれに対応する変換テーブルを変換テーブル記憶部（４）から消去する変換テーブル消去手段（１３）と、カメラ（２）の姿勢の変位と変換テーブル（４０）とを用いて原画像を視点変換する視点変換手段（１４）と、を備える。
【解決手段】カメラ（２）が取得する原画像から視点変換画像を生成する画像変換装置（１００）は、カメラ（２）の姿勢の変位を検出する姿勢変位検出部（３）と、原画像上の座標と視点変換画像上の座標とを対応付ける変換テーブル（４０）を生成する変換テーブル生成手段（１０）と、カメラ（２）の現在の姿勢に対する変位が所定条件を満たす姿勢のそれぞれに対応する変換テーブルを変換テーブル記憶部（４）に格納する変換テーブル格納手段（１２）と、その所定条件を満たさない姿勢のそれぞれに対応する変換テーブルを変換テーブル記憶部（４）から消去する変換テーブル消去手段（１３）と、カメラ（２）の姿勢の変位と変換テーブル（４０）とを用いて原画像を視点変換する視点変換手段（１４）と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラが撮影した原画像を視点変換する画像変換装置に関し、特に、視点変換処理のリアルタイム性と装置の省リソース性とを両立させる画像変換装置に関する。
【背景技術】
【０００２】
従来、車載カメラが撮影した原画像に基づいて鳥瞰画像を生成する車両周辺画像処理装置が知られている（例えば、特許文献１参照。）。
【０００３】
この車両周辺画像処理装置は、その車載カメラに内蔵されたレーザ発光装置が照射するレーザ光の原画像内における路面投影点（赤色点）の位置に基づいてその車載カメラの俯角をリアルタイムに算出し、算出したその俯角と原画像上の二次元座標を鳥瞰画像上の二次元座標に変換するための変換式とを用いて鳥瞰画像をリアルタイムに生成する。
【０００４】
また、車載カメラが撮影した原画像上の座標を鳥瞰画像上の座標に変換するための変換テーブルを用いて車載カメラが撮影した原画像を鳥瞰画像に変換する車載画像処理装置も知られている（例えば、特許文献２参照。）。
【０００５】
この車載画像処理装置は、車載カメラの標準的な俯角からコンマ数度ずつ異なる角度に対応する複数の変換テーブルを予めメモリ内に用意しておき、角度センサが検出した車載カメラの現在の俯角に対応する変換テーブルをリアルタイムに選択しながら車載カメラが撮影した原画像を鳥瞰画像に変換する。
【０００６】
このようにして、車両周辺画像処理装置及び車載画像処理装置は、車両の状態により車載カメラの俯角が変化しても、乱れのない鳥瞰画像を継続的に表示できるようにしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２７４３９４号公報
【特許文献２】特開２００４−６４４４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の車両周辺画像処理装置は、車載カメラの俯角の算出、及び、原画像上の座標から鳥瞰画像上の座標への変換式による変換といった計算コストの高い処理をリアルタイムに実行するので、省スペックの装置でその処理を実行した場合には表示ラグを発生させ鳥瞰画像を滑らかに表示することができなくなるおそれがある。
【０００９】
また、特許文献２に記載の車載画像処理装置は、全ての変換テーブルを予めメモリに記憶させておくので原画像上の座標から鳥瞰画像上の座標への変換式による変換をリアルタイムに実行する必要はないものの、俯角の変動に幅広く対応するために必要な多数の変換テーブルを格納できる大容量のメモリを用意する必要があり、装置の製造コストを増大させてしまう。
【００１０】
上述の点に鑑み、本発明は、視点変換処理のリアルタイム性と装置の省リソース性とを両立させる画像変換装置及びその画像変換装置を用いた操作支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述の目的を達成するために、本発明の実施例に係る画像変換装置は、カメラが取得する原画像から視点変換画像を生成する画像変換装置であって、前記カメラの姿勢の変位を検出する姿勢変位検出部と、前記原画像上の座標と前記視点変換画像上の座標とを対応付ける変換テーブルを生成する変換テーブル生成手段と、前記変換テーブル生成手段が生成する変換テーブルであり、前記カメラの現在の姿勢に対する変位が所定条件を満たす姿勢のそれぞれに対応する変換テーブルを参照可能に変換テーブル記憶部に格納する変換テーブル格納手段と、前記カメラの現在の姿勢に対する変位が前記所定条件を満たさない姿勢のそれぞれに対応する変換テーブルを変換テーブル記憶部から消去する変換テーブル消去手段と、前記姿勢変位検出部が検出した変位と前記変換テーブル記憶部にある変換テーブル又は前記変換テーブル生成手段が生成する変換テーブルとを用いて前記原画像を視点変換する視点変換手段と、を備えることを特徴とする。これにより、本実施例に係る画像変換装置は、カメラ姿勢の変位に起因する視点変換画像の乱れを防止しながら、変換テーブルを変換テーブル記憶部に予め用意しておくことによる視点変換処理のリアルタイム性と、余分な変換テーブルを保持しない必要十分な容量の変換テーブル記憶部を採用することによる装置の省リソース性とを両立させることができる。
【００１２】
また、前記姿勢変位検出部は、前記カメラの光軸と水平面とが形成する角度の変位、前記カメラを通る垂直軸の回りの前記光軸の回転角の変位、及び、前記光軸回りの前記カメラの回転角の変位のうちの少なくとも一つを検出するものであることが好ましい。これにより、本実施例に係る画像変換装置は、様々なカメラ姿勢の変位に対応することができる。
【００１３】
また、本発明の実施例に係る画像変換装置は、前記カメラの姿勢の変位を予測する姿勢変位予測手段を備え、前記所定条件は、前記姿勢変位予測手段の予測結果に基づいて決定されることが好ましい。これにより、本実施例に係る画像変換装置は、変換テーブル記憶部に用意すべき変換テーブルを移動体の動きや路面状態の変化に応じて柔軟に決定することができる。
【００１４】
また、本発明の実施例に係る操作支援システムは、被操作体の移動又は操作を支援する操作支援システムであって、上述のような画像変換装置と、前記被操作体を移動させ或いは操作するための操作室に設置され、該画像変換装置により生成された視点変換画像を表示する表示部と、を備えることを特徴とする。これにより、本実施例に係る操作支援システムは、視点変換処理のリアルタイム性と画像変換装置の省リソース性とを両立させ、カメラ姿勢の変位に起因する視点変換画像の乱れを防止しながら、その被操作体の移動又は操作を支援することができる。
【発明の効果】
【００１５】
上述の手段により、本発明は、視点変換処理のリアルタイム性と装置の省リソース性とを両立させる画像変換装置及びその画像変換装置を用いた操作支援システムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る画像変換装置の構成例を概略的に示すブロック図である。
【図２】姿勢変位量を説明するための図である。
【図３】変換テーブル記憶部に格納される変換テーブルの推移を模式的に示す図（その１）である。
【図４】変換テーブル記憶部に格納される変換テーブルの推移を模式的に示す図（その２）である。
【図５】視点変換処理の流れを示すフローチャートである。
【図６】変換テーブル記憶部更新処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【実施例】
【００１８】
図１は、本発明に係る画像変換装置の構成例１００を概略的に示すブロック図であり、画像変換装置１００は、例えば、制御部１、カメラ２、姿勢変位検出部３、変換テーブル記憶部４、移動体状態検出部５、路面状態検出部６、及び表示部７で構成される。
【００１９】
画像変換装置１００は、例えば、建設機械に搭載される装置であり、その建設機械に取り付けられたカメラ２が取得する原画像を、原画像上の二次元座標を鳥瞰画像上の二次元座標に変換するための変換テーブルを用いて、鳥瞰画像に変換するための装置である。
【００２０】
また、画像変換装置１００は、例えば、カメラ２の光軸が形成する様々な俯角の値のそれぞれに対応し得る複数の変換テーブルのうち、次に使用される可能性の高い変換テーブル（例えば、その俯角の現在値に対する角度差が閾値未満となる角度群のそれぞれに対応する変換テーブルである。）を予め生成してメモリに格納しておき、建設機械や地面の傾きに応じてその俯角が変化したときであっても、その変化後の俯角の値に対応する変換テーブルをそのメモリから読み出して参照しながら遅滞なく原画像を鳥瞰画像に変換できるようにする。
【００２１】
次に、画像変換装置１００の各構成要素について説明する。
【００２２】
制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータであって、例えば、後述する変換テーブル生成手段１０、姿勢変位予測手段１１、変換テーブル格納手段１２、変換テーブル消去手段１３、視点変換手段１４のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。
【００２３】
カメラ２は、建設機械周辺の原画像を取得するための装置であり、例えば、キャビンにいる運転者の死角となる領域を撮影できるよう建設機械の上部旋回体の側面や後面に取り付けられる一又は複数のデジタルカメラである。なお、カメラ２は、その上部旋回体の前面に取り付けられていてもよく、広い範囲を撮影できるよう広角レンズ又は魚眼レンズが装着されていてもよい。
【００２４】
カメラ２は、制御部１からの制御信号に応じて建設機械周辺の原画像を取得し、取得した原画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて原画像を取得した場合、それらレンズを用いることによって生じる歪曲やアオリを補正した補正済みの原画像を制御部１に対して出力するようにしてもよい。
【００２５】
姿勢変位検出部３は、カメラ２の姿勢を検出するための装置であり、例えば、ジャイロセンサ、又は加速度センサのようにカメラ２の相対的な姿勢変位量を検出する装置であって、好適にはカメラ２に内蔵されている。
【００２６】
図２は、姿勢変位量を説明するための図であり、Ｘ軸は、水平面上で所定方向に延びる水平軸であり、Ｚ軸は、Ｘ軸及び水平面に直交して延びる垂直軸であり、Ｙ軸は、水平面上でＸ軸及びＺ軸に直交して延びる水平軸である。また、カメラ２は、例えば、その光軸ＯＡがＸ軸に沿って延びる状態をその基準姿勢とする。なお、図２において、原点Ｏは、固定点として示されているが、実際には、建設機械の移動、すなわちカメラ２の移動と共に移動する可動点であり、Ｘ軸、Ｙ軸、及びＺ軸を有する三次元直交座標系も原点Ｏの移動と共に移動する座標系である。また、原点Ｏは、好適には、姿勢変位検出部３の基準点（例えば、三軸加速度センサの回転中心である。）に対応する。
【００２７】
また、図２（Ａ）は、基準姿勢にあるカメラ２の光軸ＯＡに対する現在の光軸ＯＡのＹ軸回りの回転角θ（建設機械のピッチ角に相当する。）を示し、図２（Ｂ）は、基準姿勢にあるカメラ２の光軸ＯＡに対する現在の光軸ＯＡのＺ軸回りの回転角ψ（建設機械のヨー角に相当する。）を示し、図２（Ｃ）は、基準姿勢にあるカメラ２に対する現在のカメラ２の光軸ＯＡ回りの回転角φ（建設機械のロール角に相当する。）を示す。
【００２８】
姿勢変位量は、例えば、時刻Ｔ１におけるカメラ２の姿勢と時刻Ｔ２（Ｔ２＞Ｔ１）におけるカメラ２の姿勢の差を表す量であり、時刻Ｔ１及び時刻Ｔ２における回転角θ、回転角ψ、及び回転角φの値をそれぞれ、θ１、θ２、ψ１、ψ２、φ１、及びφ２とすると、回転角θの変位Δθ（＝θ２−θ１）、回転角ψの変位Δψ（＝ψ２−ψ１）、及び回転角φの変位Δφ（＝φ２−φ１）のうちの少なくとも一つで表される。
【００２９】
このように、姿勢変位量は、時刻Ｔ１におけるカメラ２の光軸ＯＡと時刻Ｔ２におけるカメラ２の光軸ＯＡとが形成する角度を水平面に投影した角度（水平投影角）及び垂直面に投影した角度（垂直投影角）、並びに、時刻Ｔ１と時刻Ｔ２との間に生じた光軸ＯＡ回りのカメラ２の回転角のうちの少なくとも一つで表される。
【００３０】
変換テーブル記憶部４は、カメラ２の姿勢のそれぞれに対応する変換テーブル４０を記憶するための装置であり、例えば、データの書き換えを高速に行うことができる揮発性の半導体メモリである。
【００３１】
変換テーブル４０は、カメラ２が取得した原画像上の二次元座標と視点変換画像上の二次元座標との間の対応関係を表す対応マップであり、原画像上の座標点と視点変換画像上の座標点とが一対一で対応するものであってもよく、一対多、多対一、又は多対多で対応するものであってもよい。
【００３２】
また、変換テーブル４０は、必ずしも、原画像上の座標点の全部を視点変換画像上の座標点の何れかに対応付ける必要はない。
【００３３】
また、変換テーブル４０は、カメラ２の現在の姿勢に対する一又は複数の姿勢変位量で表されるカメラ２の他の姿勢のそれぞれに一対一で対応し、制御部１の変換テーブル格納手段１２によって変換テーブル記憶部４に追加され、或いは、制御部１の変換テーブル消去手段１３によって変換テーブル記憶部４から消去され得る。
【００３４】
移動体状態検出部５は、移動体の状態を検出するための装置であり、例えば、建設機械に搭載される、建設機械の走行速度を検出するための速度センサ、上部旋回体の旋回角度を検出するための旋回角度センサ、上部旋回体のピッチ角若しくはロール角を検出するための傾斜センサ、又は、バケット、アーム、ブーム、若しくはクローラを操作するための操作レバーの操作量を検出するためのレバー操作量検出器等が含まれる。
【００３５】
路面状態検出部６は、建設機械の進行方向の路面状態を検出するための手段であり、例えば、ミリ波レーダ、レーザレーダ、超音波レーダ、画像センサ等であって、進行方向の路面の傾斜角や凹凸を検出する。
【００３６】
移動体状態検出部５及び路面状態検出部６は、制御部１がカメラ２の姿勢の変位を事前に予測できるように、検出結果を制御部１に対して出力する。
【００３７】
表示部７は、画像情報を表示するための装置であり、例えば、建設機械のキャビン内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する鳥瞰画像を表示する。
【００３８】
次に、制御部１が有する各種手段について説明する。
【００３９】
変換テーブル生成手段１０は、変換テーブルを生成するための手段であり、例えば、公知の透視変換技術や逆透視変換技術を用いて、カメラ２が取得した原画像における二次元座標（画素位置）のそれぞれに対応する、所望の仮想視点から見た画像である視点変換画像における二次元座標（画素位置）を算出し、それらの対応関係を対応マップにまとめることによって変換テーブルを生成する。
【００４０】
姿勢変位予測手段１１は、カメラ２の姿勢の変位を予測するための手段であり、例えば、移動体状態検出部５又は路面状態検出部６の出力に基づいて、建設機械がどの程度の速度で上り坂又は下り坂に進入するか、左右のクローラのどちらがどの程度の盛り上がりに乗り上げるか若しくは凹みにはまり込むか、或いは、バケット、アーム、若しくはブーム等のアタッチメントの操作に起因する建設機械の傾斜や反動（例えば、ジャッキアップである。）が発生しようとしているか等を判定し、カメラ２が取る次の姿勢（以下、「予測姿勢」とする。）を予測する。その予測結果に基づいて、制御部１が、次に使用される可能性の高い変換テーブルを事前に認識できるようにするためである。
【００４１】
変換テーブル格納手段１２は、変換テーブルを変換テーブル記憶部４に格納するための手段であり、例えば、カメラ２の現在の姿勢に対する姿勢変位量が所定値未満となる近傍姿勢に対応する一又は複数の変換テーブルを、カメラ２の姿勢が実際にその近傍姿勢となる前に変換テーブル生成手段１０に生成させ、それら生成させた変換テーブルを変換テーブル記憶部４に格納しておく。
【００４２】
また、変換テーブル格納手段１２は、姿勢変位予測手段１１が予測したカメラ２の予測姿勢に応じて、カメラ２の姿勢が実際にその予測姿勢となる前に、その予測姿勢に対応する一の変換テーブル、又は、その予測姿勢及びその予測姿勢の近傍姿勢に対応する複数の変換テーブルを変換テーブル生成手段１０に生成させ、それら生成させた変換テーブルを変換テーブル記憶部４に格納するようにしてもよい。
【００４３】
変換テーブル消去手段１３は、変換テーブル記憶部４に格納された変換テーブルを消去するための手段であり、例えば、変換テーブル格納手段１２によって既に変換テーブル記憶部４に格納された変換テーブルのうち、カメラ２の現在の姿勢に対する姿勢変位量が所定値以上となる姿勢に対応する一又は複数の変換テーブルを変換テーブル記憶部４から消去する。変換テーブル格納手段１２が、次に使用される可能性の高い別の変換テーブルを変換テーブル記憶部４に格納できるようにするためである。
【００４４】
また、変換テーブル消去手段１３は、変換テーブル格納手段１２によって既に変換テーブル記憶部４に格納された変換テーブルのうち、姿勢変位予測手段１１が予測したカメラ２の予測姿勢及びその予測姿勢の近傍姿勢の何れにも対応しない一又は複数の変換テーブルを変換テーブル記憶部４から消去するようにしてもよい。
【００４５】
視点変換手段１４は、カメラ２が取得した原画像から視点変換画像を生成するための手段であり、例えば、カメラ２の現在の姿勢に対応する変換テーブルを変換テーブル記憶部４から読み出して参照しながら、カメラ２が取得した原画像における各画素の属性値（例えば、輝度、色相、及び彩度である。）を、所望の仮想視点から見た画像である視点変換画像における対応する画素の属性値に割り当てることによって、視点変換画像を生成する。なお、視点変換手段１４は、必要に応じて、画素補間、画素間引き、画素合成等を行いながら、視点変換画像を生成するようにしてもよい。
【００４６】
また、視点変換手段１４は、カメラ２の現在の姿勢に対応する変換テーブルが変換テーブル記憶部４に存在しない場合には、変換テーブル生成手段１０にその現在の姿勢に対応する変換テーブルを生成させ、その生成させた変換テーブルを参照して視点変換画像を生成するようにしてもよく、或いは、変換テーブル記憶部４に格納されている変換テーブルのうちその現在の姿勢に最も近い姿勢に対応する変換テーブルを参照して視点変換画像を生成するようにしてもよい。
【００４７】
図３は、変換テーブル記憶部４に格納される変換テーブルの推移を模式的に示す図であり、カメラ２の光軸ＯＡのＹ軸回りの回転角θを姿勢変位量として採用する場合における変換テーブルの推移（格納及び消去）を模式的に示す図である（例えば、建設機械のピッチによるカメラ２の姿勢変位に起因する視点変換画像の乱れをリアルタイムに相殺できるようにするための変換テーブルの推移を示す。）。
【００４８】
図３（Ａ）は、時刻Ｔ１における変換テーブル記憶部４の状態を示し、カメラ２の現在の姿勢（回転角θ＝０）に対応する変換テーブル４０−３（細かいハッチングの矩形で表される。）、その現在の姿勢に対する一次隣接姿勢（回転角θ＝±ａ）に対応する変換テーブル４０−２、４０−４（粗いハッチングの矩形で表される。）、及び、その現在の姿勢に対する二次隣接姿勢（回転角θ＝±２ａ）に対応する変換テーブル４０−１、４０−５（粗いハッチングの矩形で表される。）が変換テーブル記憶部４に存在することを示す。なお、一次隣接姿勢は、現在の姿勢に直接隣接する隣接姿勢を意味し、二次隣接姿勢は、その一時隣接姿勢に直接隣接する隣接姿勢を意味する。三次隣接姿勢以降についても同様である。また、定数ａは、カメラ２の姿勢変位量である回転角θの単位角度であり、視点変換画像を見る者がカメラ２の姿勢の変位（回転）に起因するその視点変換画像の歪みに気付くことができる最小の変位量（回転角）に相当する。
【００４９】
また、図３（Ｂ）は、時刻Ｔ２（Ｔ２＞Ｔ１）における変換テーブル記憶部４の状態を示し、カメラ２の姿勢が時刻Ｔ１における姿勢（回転角θ＝０）から現在の姿勢（回転角θ＝＋ａ）に変位したことを示す。
【００５０】
この場合、変換テーブル消去手段１３は、その現在の姿勢（回転角θ＝＋ａ）に対する一次隣接姿勢及び二次隣接姿勢に対応する変換テーブルを、後続の姿勢変位に対処するのに必要な変換テーブルとして変換テーブル記憶部４に予め用意しておくため、余分である三次隣接姿勢の一つ（回転角θ＝−２ａ）に対応する変換テーブル４０−１（点線で囲まれた白色の矩形で表される。）を変換テーブル記憶部４から消去する。
【００５１】
一方、変換テーブル格納手段１２は、不足分である二次隣接姿勢の一つ（回転角θ＝＋３ａ）に対応する変換テーブル４０−６（太線で囲まれた粗いハッチングの矩形で表される。）を変換テーブル生成手段１０に生成させるようにする。
【００５２】
更に、図３（Ｃ）は、時刻Ｔ３（Ｔ３＞Ｔ２）における変換テーブル記憶部４の状態を示し、カメラ２の姿勢が時刻Ｔ２における姿勢（回転角θ＝＋ａ）から現在の姿勢（回転角θ＝＋２ａ）に更に変位したことを示す。
【００５３】
この場合、変換テーブル消去手段１３は、その現在の姿勢（回転角θ＝＋２ａ）に対する一次隣接姿勢及び二次隣接姿勢に対応する変換テーブルを、後続の姿勢変位に対処するのに必要な変換テーブルとして変換テーブル記憶部４に予め用意しておくため、余分である三次隣接姿勢の一つ（回転角θ＝−ａ）に対応する変換テーブル４０−２（点線で囲まれた白色の矩形で表される。）を変換テーブル記憶部４から消去する。
【００５４】
一方、変換テーブル格納手段１２は、不足分である二次隣接姿勢の一つ（回転角θ＝＋４ａ）に対応する変換テーブル４０−７（太線で囲まれた粗いハッチングの矩形で表される。）を変換テーブル生成手段１０に生成させるようにする。
【００５５】
また、図３（Ｄ）は、時刻Ｔ２−１（Ｔ２−１＞Ｔ１）における変換テーブル記憶部４の状態を示し、カメラ２の姿勢が時刻Ｔ１における姿勢（回転角θ＝０）から現在の姿勢（回転角θ＝＋２ａ）に変位したことを示す。なお、図３（Ｄ）で示す状態は、図３（Ｂ）で示す状態に比べて姿勢変位量が大きかったことを示す。
【００５６】
この場合、変換テーブル格納手段１２は、その姿勢変位量の大きさを考慮して、その現在の姿勢（回転角θ＝＋２ａ）に対する二次隣接姿勢及び四次隣接姿勢に対応する変換テーブルを、後続の姿勢変位に対処するのに必要な変換テーブルとして変換テーブル記憶部４に予め用意しておくようにする。
【００５７】
そのため、変換テーブル消去手段１３は、余分である一次隣接姿勢の一つ（回転角θ＝＋ａ）に対応する変換テーブル４０−４と三次隣接姿勢の一つ（回転角θ＝−ａ）に対応する変換テーブル４０−２とを変換テーブル記憶部４から消去する。
【００５８】
一方、変換テーブル格納手段１２は、不足分である二次隣接姿勢の一つ（回転角θ＝＋４ａ）に対応する変換テーブル４０−７と四次隣接姿勢（回転角θ＝＋６ａ）の一つに対応する変換テーブル４０−８とを変換テーブル生成手段１０に生成させるようにする。
【００５９】
このようにして、画像変換装置１００は、変換テーブル記憶部４に予め用意しておく変換テーブルの数を所定数（この場合、五つである。）に制限しながら、カメラ２の次の姿勢に対応する変換テーブルを視点変換手段１４がリアルタイムに参照できるように準備しておくことができる。
【００６０】
図４は、図３と同様、変換テーブル記憶部４に格納される変換テーブルの推移を模式的に示す図であり、カメラ２の光軸ＯＡのＹ軸回りの回転角θとカメラ２の光軸ＯＡ回りの回転角φとを姿勢変位量として採用する場合における変換テーブルの推移を模式的に示す図である（例えば、建設機械のピッチ及びロールによるカメラ２の姿勢変位に起因する視点変換画像の乱れをリアルタイムに相殺できるようにするための変換テーブルの推移を示す。なお、建設機械のヨーは、上部旋回体の旋回によって生じる通常の動きであるため、建設機械のヨーによるカメラ２の姿勢変位に起因する視点変換画像の変化は、乱れとして認識されないようにしてもよい。）。
【００６１】
図４（Ａ）は、時刻Ｔ１における変換テーブル記憶部４の状態を示し、カメラ２の現在の姿勢（回転角θ＝０、回転角φ＝０）に対応する変換テーブル４０−ｅ（細かいハッチングの矩形で表される。）、並びに、その現在の姿勢に対する一次隣接姿勢（回転角θ＝±ａ、又は、回転角φ＝±ｂ）に対応する変換テーブル４０−ａ〜４０−ｄ、及び４０−ｆ〜４０−ｉ（粗いハッチングの矩形で表される。）が変換テーブル記憶部４に存在することを示す。なお、定数ｂは、定数ａと同様、カメラ２の姿勢変位量である回転角φの単位角度である。
【００６２】
また、図４（Ｂ）は、時刻Ｔ２（Ｔ２＞Ｔ１）における変換テーブル記憶部４の状態を示し、カメラ２の姿勢が時刻Ｔ１における姿勢（回転角θ＝０、回転角φ＝０）から現在の姿勢（回転角θ＝＋ａ、回転角φ＝＋ｂ）に変位したことを示す。
【００６３】
この場合、変換テーブル消去手段１３は、その現在の姿勢（回転角θ＝＋ａ、回転角φ＝＋ｂ）に対する一次隣接姿勢に対応する変換テーブルを、後続の姿勢変位に対処するのに必要な変換テーブルとして変換テーブル記憶部４に予め用意しておくため、余分である二次隣接姿勢の五つ（回転角θ＝−ａ、回転角φ＝＋ｂ）、（回転角θ＝−ａ、回転角φ＝０）、（回転角θ＝−ａ、回転角φ＝−ｂ）、（回転角θ＝０、回転角φ＝−ｂ）、（回転角θ＝＋ａ、回転角φ＝−ｂ）のそれぞれに対応する変換テーブル４０−ａ、４０−ｄ、４０−ｇ〜４０−ｉ（点線で囲まれた白色の矩形で表される。）を変換テーブル記憶部４から消去する。
【００６４】
一方、変換テーブル格納手段１２は、不足分である一次隣接姿勢の五つ（回転角θ＝０、回転角φ＝＋２ｂ）、（回転角θ＝＋ａ、回転角φ＝＋２ｂ）、（回転角θ＝＋２ａ、回転角φ＝＋２ｂ）、（回転角θ＝＋２ａ、回転角φ＝＋ｂ）、（回転角θ＝＋２ａ、回転角φ＝０）のそれぞれに対応する変換テーブル４０−ｊ〜４０−ｎ（太線で囲まれた粗いハッチングの矩形で表される。）を変換テーブル生成手段１０に生成させるようにする。
【００６５】
このようにして、画像変換装置１００は、姿勢変位量が複数のパラメータ（この場合、回転角θ及び回転角φである。）で表される場合であっても、変換テーブル記憶部４に用意しておく変換テーブルの数を所定数（この場合、九つである。）に制限しながら、カメラ２の次の姿勢に対応する変換テーブルを視点変換手段１４がリアルタイムに参照できるように準備しておくことができる。
【００６６】
次に、図５を参照しながら、画像変換装置１００が原画像を視点変換画像に変換する処理（以下、「視点変換処理」とする。）について説明する。なお、図５は、視点変換処理の流れを示すフローチャートであり、画像変換装置１００は、カメラ２が原画像を出力する間、この視点変換処理を所定時間間隔で繰り返し実行するものとする。
【００６７】
最初に、制御部１は、カメラ２が撮影した原画像を取得し（ステップＳ１）、姿勢変位検出部３の出力に基づいて、前回の視点変換処理実行時におけるカメラ２の姿勢と今回の視点変換処理実行時におけるカメラ２の姿勢との間に差があるか否か（カメラ２の姿勢が変位したか否か）を判定する（ステップＳ２）。なお、制御部１は、所定のタイミングにおけるカメラ２の姿勢を基準姿勢としてこの視点変換処理を開始させるものとし、その所定のタイミングは、例えば、画像変換装置１００を起動した時点、或いは、仮想視点を固定するために運転者が画像変換装置１００に対して所定の入力を行った時点とする。
【００６８】
カメラ２の姿勢が変位していないと判定した場合（ステップＳ２のＮＯ）、制御部１は、視点変換手段１４により、変換テーブル記憶部４に格納された現在参照中の変換テーブルを用いてカメラ２が撮影した原画像から視点変換画像を生成する（ステップＳ３）。
【００６９】
一方、カメラ２の姿勢が変位したと判定した場合（ステップＳ２のＹＥＳ）、制御部１は、変位後の姿勢に対応する変換テーブルが変換テーブル記憶部４内に存在するか否かを判定する（ステップＳ４）。
【００７０】
変位後の姿勢に対応する変換テーブルが変換テーブル記憶部４内に存在すると判定した場合（ステップＳ４のＹＥＳ）、制御部１は、視点変換手段１４により、変換テーブル記憶部４に格納されているその変位後の姿勢に対応する変換テーブルを用いてカメラ２が撮影した画像から視点変換画像を生成する（ステップＳ８）。
【００７１】
変位後の姿勢に対応する変換テーブルが変換テーブル記憶部４内に存在しないと判定した場合（ステップＳ４のＮＯ）、制御部１は、変換テーブル記憶部４に別の変換テーブルを格納するための空きスペースが存在するか否かを判定する（ステップＳ５）。
【００７２】
空きスペースが存在すると判定した場合（ステップＳ５のＹＥＳ）、制御部１は、変換テーブル生成手段１０により、変位後の姿勢に対応する変換テーブルを生成し（ステップＳ７）、その生成した変換テーブルを用いてカメラ２が撮影した原画像から視点変換画像を生成する（ステップＳ８）。
【００７３】
その後、制御部１は、変換テーブル格納手段１２により、その生成した変換テーブルを変換テーブル記憶部４に格納する。次回以降の視点変換処理で利用できるようにするためである。なお、制御部１は、その生成した変換テーブルを変換テーブル記憶部４に格納した上で、その格納した変換テーブルを用いてカメラ２が撮影した原画像から視点変換画像を生成するようにしてもよい。
【００７４】
一方、空きスペースが存在しないと判定した場合（ステップＳ５のＮＯ）、制御部１は、変換テーブル消去手段１３により、変位後の姿勢にもその変位後の姿勢の近傍姿勢にも対応しないその変位後の姿勢とは関連のない変換テーブルを変換テーブル記憶部４から消去し（ステップＳ６）、その変位後の姿勢に対応する別の変換テーブルを格納するための空きスペースを作るようにする。
【００７５】
その後、制御部１は、変換テーブル生成手段１０により、その変位後の姿勢に対応する変換テーブルを生成し（ステップＳ７）、その生成した変換テーブルを用いてカメラ２が撮影した原画像から視点変換画像を生成して（ステップＳ８）、この視点変換処理を終了させる。
【００７６】
次に、図６を参照しながら、画像変換装置１００が変換テーブル記憶部４の内容を更新する処理（以下、「変換テーブル記憶部更新処理」とする。）について説明する。なお、図６は、変換テーブル記憶部更新処理の流れを示すフローチャートであり、画像変換装置１００は、カメラ２が原画像を出力する間、視点変換処理とは別にそのバックグランドでこの変換テーブル記憶部更新処理を所定時間間隔で繰り返し実行するものとする。
【００７７】
最初に、制御部１は、カメラ２の現在の姿勢に基づいて、後にカメラ２の姿勢が変位したときのリアルタイムの視点変換を実現するのに必要な、変換テーブル記憶部４に格納しておくべき変換テーブルを決定する（ステップＳ１０）。
【００７８】
制御部１は、例えば、カメラ２の現在の姿勢に近い近傍姿勢に対応する変換テーブルを、変換テーブル記憶部４に格納しておくべき変換テーブルとして決定する。
【００７９】
なお、制御部１は、姿勢変位予測手段１１により、移動体状態検出部５及び路面状態検出部６の少なくとも何れか一方の出力に基づいてカメラ２の姿勢が今後どのように変位するかを予測した上で、変換テーブル記憶部４に格納しておくべき変換テーブルを決定するようにしてもよい。
【００８０】
その後、制御部１は、変換テーブル記憶部４内に不要な変換テーブルが存在するか否かを判定する（ステップＳ１１）。不要な変換テーブルとは、変換テーブル記憶部４に格納しておくべきであるとされた変換テーブル以外の変換テーブルであり、例えば、カメラ２の現在の姿勢及びその近傍姿勢以外の姿勢に対応する変換テーブルである。
【００８１】
変換テーブル記憶部４内に不要な変換テーブルが存在すると判定した場合（ステップＳ１１のＹＥＳ）、制御部１は、変換テーブル消去手段１３により、その不要な変換テーブルを変換テーブル記憶部４から消去する（ステップＳ１２）。なお、制御部１は、姿勢変位予測手段１１により、移動体状態検出部５及び路面状態検出部６の少なくとも何れか一方の出力に基づいてカメラ２の姿勢が今後どのように変位するかを予測した上で、カメラ２の現在の姿勢に近い近傍姿勢に対応する変換テーブルが不要であると判定した場合には、たとえ現在の姿勢に近い近傍姿勢に対応する変換テーブルであっても、その近傍姿勢に対応する変換テーブルを消去するようにしてもよい。必要な変換テーブルを格納するための空きスペースを作り出すためである。
【００８２】
その後、制御部１は、必要であるとされた変換テーブルの全部が既に変換テーブル記憶部４内に存在するか否かを判定する（ステップＳ１３）。同じ変換テーブルが重複して生成されるのを回避するためである。
【００８３】
必要であるとされた変換テーブルの全部が既に変換テーブル記憶部４内に存在する場合（ステップＳ１３のＹＥＳ）、制御部１は、新たな変換テーブルを生成することなく、この変換テーブル記憶部更新処理を終了させる。
【００８４】
一方、必要であるとされた変換テーブルの全部又は一部が未だ変換テーブル記憶部４内に存在していない場合（ステップＳ１３のＮＯ）、制御部１は、変換テーブル生成手段１０によりその必要であるとされた変換テーブルを生成し、且つ、変換テーブル格納手段１２によりその生成した変換テーブルを変換テーブル記憶部４に格納して（ステップＳ１４）、この変換テーブル記憶部更新処理を終了させる。
【００８５】
以上の構成により、画像変換装置１００は、カメラ２の姿勢の変位に起因する視点変換画像の乱れを防止しながら、必要な変換テーブルを変換テーブル記憶部４に予め用意しておくことによる視点変換処理のリアルタイム性と、余分な変換テーブルを保持しない必要十分な容量の変換テーブル記憶部４を採用することによる装置の省リソース性とを両立させることができる。
【００８６】
また、画像変換装置１００は、必要十分な容量の変換テーブル記憶部４を採用することにより、必要以上の容量の変換テーブル記憶部４を採用する場合に比べて製造コストを低減させることができる。
【００８７】
また、画像変換装置１００は、姿勢変位検出部３としてジャイロセンサや加速度センサ等を採用しながら一の時点におけるカメラ２の姿勢と他の時点におけるカメラ２の姿勢との間の相対的な変位を取得すればよく、絶対角度センサを採用しながらカメラ２の姿勢を常に所定の基準姿勢に対する変位として取得する必要はないので、絶対角度センサに比べて安価なセンサを採用することにより製造コストを更に低減させることができる。なお、画像変換装置１００は、当然のことながら、姿勢変位検出部３として絶対角度センサを採用することも可能である。
【００８８】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【００８９】
例えば、上述の実施例において、姿勢変位量は、三次元直交座標系における回転角θ、ψ、φの組み合わせを例に取りながら説明されているが、三次元極座標系等の他の座標系における変数で表されてもよい。
【００９０】
また、上述の実施例において、画像変換装置１００は、カメラ２が撮影した原画像から鳥瞰画像を生成しているが、他の任意の仮想視点に基づく視点変換画像を生成するようにしてもよい。
【００９１】
また、上述の実施例において、画像変換装置１００は、一台のカメラ２が撮影した一つの原画像から一つの視点変換画像を生成しているが、複数台のカメラ２が撮影した複数の原画像を合成して一つの視点変換画像を生成するものであってもよく、複数の原画像を合成して複数の視点変換画像を生成するものであってもよい。
【００９２】
また、上述の実施例において、画像変換装置１００は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、視点変換画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれているが、自動車、自動二輪車若しくは船舶等のように自走はするが可動部材を有しない移動式被操作体、又は、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない固定式被操作体を含む他の被操作体にカメラと共に搭載され、カメラ姿勢の変位に起因する視点変換画像の乱れを防止しながらそれら他の被操作体の移動又は操作を支援する操作支援システムに組み入れられてもよい。
【符号の説明】
【００９３】
１ 制御部
２ カメラ
３ 姿勢変位検出部
４ 変換テーブル記憶部
５ 移動体状態検出部
６ 路面状態検出部
７ 表示部
１０ 変換テーブル生成手段
１１ 姿勢変位予測手段
１２ 変換テーブル格納手段
１３ 変換テーブル消去手段
１４ 視点変換手段
４０ 変換テーブル
１００ 画像変換装置
【技術分野】
【０００１】
本発明は、カメラが撮影した原画像を視点変換する画像変換装置に関し、特に、視点変換処理のリアルタイム性と装置の省リソース性とを両立させる画像変換装置に関する。
【背景技術】
【０００２】
従来、車載カメラが撮影した原画像に基づいて鳥瞰画像を生成する車両周辺画像処理装置が知られている（例えば、特許文献１参照。）。
【０００３】
この車両周辺画像処理装置は、その車載カメラに内蔵されたレーザ発光装置が照射するレーザ光の原画像内における路面投影点（赤色点）の位置に基づいてその車載カメラの俯角をリアルタイムに算出し、算出したその俯角と原画像上の二次元座標を鳥瞰画像上の二次元座標に変換するための変換式とを用いて鳥瞰画像をリアルタイムに生成する。
【０００４】
また、車載カメラが撮影した原画像上の座標を鳥瞰画像上の座標に変換するための変換テーブルを用いて車載カメラが撮影した原画像を鳥瞰画像に変換する車載画像処理装置も知られている（例えば、特許文献２参照。）。
【０００５】
この車載画像処理装置は、車載カメラの標準的な俯角からコンマ数度ずつ異なる角度に対応する複数の変換テーブルを予めメモリ内に用意しておき、角度センサが検出した車載カメラの現在の俯角に対応する変換テーブルをリアルタイムに選択しながら車載カメラが撮影した原画像を鳥瞰画像に変換する。
【０００６】
このようにして、車両周辺画像処理装置及び車載画像処理装置は、車両の状態により車載カメラの俯角が変化しても、乱れのない鳥瞰画像を継続的に表示できるようにしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２７４３９４号公報
【特許文献２】特開２００４−６４４４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の車両周辺画像処理装置は、車載カメラの俯角の算出、及び、原画像上の座標から鳥瞰画像上の座標への変換式による変換といった計算コストの高い処理をリアルタイムに実行するので、省スペックの装置でその処理を実行した場合には表示ラグを発生させ鳥瞰画像を滑らかに表示することができなくなるおそれがある。
【０００９】
また、特許文献２に記載の車載画像処理装置は、全ての変換テーブルを予めメモリに記憶させておくので原画像上の座標から鳥瞰画像上の座標への変換式による変換をリアルタイムに実行する必要はないものの、俯角の変動に幅広く対応するために必要な多数の変換テーブルを格納できる大容量のメモリを用意する必要があり、装置の製造コストを増大させてしまう。
【００１０】
上述の点に鑑み、本発明は、視点変換処理のリアルタイム性と装置の省リソース性とを両立させる画像変換装置及びその画像変換装置を用いた操作支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述の目的を達成するために、本発明の実施例に係る画像変換装置は、カメラが取得する原画像から視点変換画像を生成する画像変換装置であって、前記カメラの姿勢の変位を検出する姿勢変位検出部と、前記原画像上の座標と前記視点変換画像上の座標とを対応付ける変換テーブルを生成する変換テーブル生成手段と、前記変換テーブル生成手段が生成する変換テーブルであり、前記カメラの現在の姿勢に対する変位が所定条件を満たす姿勢のそれぞれに対応する変換テーブルを参照可能に変換テーブル記憶部に格納する変換テーブル格納手段と、前記カメラの現在の姿勢に対する変位が前記所定条件を満たさない姿勢のそれぞれに対応する変換テーブルを変換テーブル記憶部から消去する変換テーブル消去手段と、前記姿勢変位検出部が検出した変位と前記変換テーブル記憶部にある変換テーブル又は前記変換テーブル生成手段が生成する変換テーブルとを用いて前記原画像を視点変換する視点変換手段と、を備えることを特徴とする。これにより、本実施例に係る画像変換装置は、カメラ姿勢の変位に起因する視点変換画像の乱れを防止しながら、変換テーブルを変換テーブル記憶部に予め用意しておくことによる視点変換処理のリアルタイム性と、余分な変換テーブルを保持しない必要十分な容量の変換テーブル記憶部を採用することによる装置の省リソース性とを両立させることができる。
【００１２】
また、前記姿勢変位検出部は、前記カメラの光軸と水平面とが形成する角度の変位、前記カメラを通る垂直軸の回りの前記光軸の回転角の変位、及び、前記光軸回りの前記カメラの回転角の変位のうちの少なくとも一つを検出するものであることが好ましい。これにより、本実施例に係る画像変換装置は、様々なカメラ姿勢の変位に対応することができる。
【００１３】
また、本発明の実施例に係る画像変換装置は、前記カメラの姿勢の変位を予測する姿勢変位予測手段を備え、前記所定条件は、前記姿勢変位予測手段の予測結果に基づいて決定されることが好ましい。これにより、本実施例に係る画像変換装置は、変換テーブル記憶部に用意すべき変換テーブルを移動体の動きや路面状態の変化に応じて柔軟に決定することができる。
【００１４】
また、本発明の実施例に係る操作支援システムは、被操作体の移動又は操作を支援する操作支援システムであって、上述のような画像変換装置と、前記被操作体を移動させ或いは操作するための操作室に設置され、該画像変換装置により生成された視点変換画像を表示する表示部と、を備えることを特徴とする。これにより、本実施例に係る操作支援システムは、視点変換処理のリアルタイム性と画像変換装置の省リソース性とを両立させ、カメラ姿勢の変位に起因する視点変換画像の乱れを防止しながら、その被操作体の移動又は操作を支援することができる。
【発明の効果】
【００１５】
上述の手段により、本発明は、視点変換処理のリアルタイム性と装置の省リソース性とを両立させる画像変換装置及びその画像変換装置を用いた操作支援システムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る画像変換装置の構成例を概略的に示すブロック図である。
【図２】姿勢変位量を説明するための図である。
【図３】変換テーブル記憶部に格納される変換テーブルの推移を模式的に示す図（その１）である。
【図４】変換テーブル記憶部に格納される変換テーブルの推移を模式的に示す図（その２）である。
【図５】視点変換処理の流れを示すフローチャートである。
【図６】変換テーブル記憶部更新処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【実施例】
【００１８】
図１は、本発明に係る画像変換装置の構成例１００を概略的に示すブロック図であり、画像変換装置１００は、例えば、制御部１、カメラ２、姿勢変位検出部３、変換テーブル記憶部４、移動体状態検出部５、路面状態検出部６、及び表示部７で構成される。
【００１９】
画像変換装置１００は、例えば、建設機械に搭載される装置であり、その建設機械に取り付けられたカメラ２が取得する原画像を、原画像上の二次元座標を鳥瞰画像上の二次元座標に変換するための変換テーブルを用いて、鳥瞰画像に変換するための装置である。
【００２０】
また、画像変換装置１００は、例えば、カメラ２の光軸が形成する様々な俯角の値のそれぞれに対応し得る複数の変換テーブルのうち、次に使用される可能性の高い変換テーブル（例えば、その俯角の現在値に対する角度差が閾値未満となる角度群のそれぞれに対応する変換テーブルである。）を予め生成してメモリに格納しておき、建設機械や地面の傾きに応じてその俯角が変化したときであっても、その変化後の俯角の値に対応する変換テーブルをそのメモリから読み出して参照しながら遅滞なく原画像を鳥瞰画像に変換できるようにする。
【００２１】
次に、画像変換装置１００の各構成要素について説明する。
【００２２】
制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータであって、例えば、後述する変換テーブル生成手段１０、姿勢変位予測手段１１、変換テーブル格納手段１２、変換テーブル消去手段１３、視点変換手段１４のそれぞれに対応するプログラムをＲＯＭやＮＶＲＡＭに記憶し、一時記憶領域としてＲＡＭを利用しながら各手段に対応する処理をＣＰＵに実行させる。
【００２３】
カメラ２は、建設機械周辺の原画像を取得するための装置であり、例えば、キャビンにいる運転者の死角となる領域を撮影できるよう建設機械の上部旋回体の側面や後面に取り付けられる一又は複数のデジタルカメラである。なお、カメラ２は、その上部旋回体の前面に取り付けられていてもよく、広い範囲を撮影できるよう広角レンズ又は魚眼レンズが装着されていてもよい。
【００２４】
カメラ２は、制御部１からの制御信号に応じて建設機械周辺の原画像を取得し、取得した原画像を制御部１に対して出力する。なお、カメラ２は、魚眼レンズ又は広角レンズを用いて原画像を取得した場合、それらレンズを用いることによって生じる歪曲やアオリを補正した補正済みの原画像を制御部１に対して出力するようにしてもよい。
【００２５】
姿勢変位検出部３は、カメラ２の姿勢を検出するための装置であり、例えば、ジャイロセンサ、又は加速度センサのようにカメラ２の相対的な姿勢変位量を検出する装置であって、好適にはカメラ２に内蔵されている。
【００２６】
図２は、姿勢変位量を説明するための図であり、Ｘ軸は、水平面上で所定方向に延びる水平軸であり、Ｚ軸は、Ｘ軸及び水平面に直交して延びる垂直軸であり、Ｙ軸は、水平面上でＸ軸及びＺ軸に直交して延びる水平軸である。また、カメラ２は、例えば、その光軸ＯＡがＸ軸に沿って延びる状態をその基準姿勢とする。なお、図２において、原点Ｏは、固定点として示されているが、実際には、建設機械の移動、すなわちカメラ２の移動と共に移動する可動点であり、Ｘ軸、Ｙ軸、及びＺ軸を有する三次元直交座標系も原点Ｏの移動と共に移動する座標系である。また、原点Ｏは、好適には、姿勢変位検出部３の基準点（例えば、三軸加速度センサの回転中心である。）に対応する。
【００２７】
また、図２（Ａ）は、基準姿勢にあるカメラ２の光軸ＯＡに対する現在の光軸ＯＡのＹ軸回りの回転角θ（建設機械のピッチ角に相当する。）を示し、図２（Ｂ）は、基準姿勢にあるカメラ２の光軸ＯＡに対する現在の光軸ＯＡのＺ軸回りの回転角ψ（建設機械のヨー角に相当する。）を示し、図２（Ｃ）は、基準姿勢にあるカメラ２に対する現在のカメラ２の光軸ＯＡ回りの回転角φ（建設機械のロール角に相当する。）を示す。
【００２８】
姿勢変位量は、例えば、時刻Ｔ１におけるカメラ２の姿勢と時刻Ｔ２（Ｔ２＞Ｔ１）におけるカメラ２の姿勢の差を表す量であり、時刻Ｔ１及び時刻Ｔ２における回転角θ、回転角ψ、及び回転角φの値をそれぞれ、θ１、θ２、ψ１、ψ２、φ１、及びφ２とすると、回転角θの変位Δθ（＝θ２−θ１）、回転角ψの変位Δψ（＝ψ２−ψ１）、及び回転角φの変位Δφ（＝φ２−φ１）のうちの少なくとも一つで表される。
【００２９】
このように、姿勢変位量は、時刻Ｔ１におけるカメラ２の光軸ＯＡと時刻Ｔ２におけるカメラ２の光軸ＯＡとが形成する角度を水平面に投影した角度（水平投影角）及び垂直面に投影した角度（垂直投影角）、並びに、時刻Ｔ１と時刻Ｔ２との間に生じた光軸ＯＡ回りのカメラ２の回転角のうちの少なくとも一つで表される。
【００３０】
変換テーブル記憶部４は、カメラ２の姿勢のそれぞれに対応する変換テーブル４０を記憶するための装置であり、例えば、データの書き換えを高速に行うことができる揮発性の半導体メモリである。
【００３１】
変換テーブル４０は、カメラ２が取得した原画像上の二次元座標と視点変換画像上の二次元座標との間の対応関係を表す対応マップであり、原画像上の座標点と視点変換画像上の座標点とが一対一で対応するものであってもよく、一対多、多対一、又は多対多で対応するものであってもよい。
【００３２】
また、変換テーブル４０は、必ずしも、原画像上の座標点の全部を視点変換画像上の座標点の何れかに対応付ける必要はない。
【００３３】
また、変換テーブル４０は、カメラ２の現在の姿勢に対する一又は複数の姿勢変位量で表されるカメラ２の他の姿勢のそれぞれに一対一で対応し、制御部１の変換テーブル格納手段１２によって変換テーブル記憶部４に追加され、或いは、制御部１の変換テーブル消去手段１３によって変換テーブル記憶部４から消去され得る。
【００３４】
移動体状態検出部５は、移動体の状態を検出するための装置であり、例えば、建設機械に搭載される、建設機械の走行速度を検出するための速度センサ、上部旋回体の旋回角度を検出するための旋回角度センサ、上部旋回体のピッチ角若しくはロール角を検出するための傾斜センサ、又は、バケット、アーム、ブーム、若しくはクローラを操作するための操作レバーの操作量を検出するためのレバー操作量検出器等が含まれる。
【００３５】
路面状態検出部６は、建設機械の進行方向の路面状態を検出するための手段であり、例えば、ミリ波レーダ、レーザレーダ、超音波レーダ、画像センサ等であって、進行方向の路面の傾斜角や凹凸を検出する。
【００３６】
移動体状態検出部５及び路面状態検出部６は、制御部１がカメラ２の姿勢の変位を事前に予測できるように、検出結果を制御部１に対して出力する。
【００３７】
表示部７は、画像情報を表示するための装置であり、例えば、建設機械のキャビン内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する鳥瞰画像を表示する。
【００３８】
次に、制御部１が有する各種手段について説明する。
【００３９】
変換テーブル生成手段１０は、変換テーブルを生成するための手段であり、例えば、公知の透視変換技術や逆透視変換技術を用いて、カメラ２が取得した原画像における二次元座標（画素位置）のそれぞれに対応する、所望の仮想視点から見た画像である視点変換画像における二次元座標（画素位置）を算出し、それらの対応関係を対応マップにまとめることによって変換テーブルを生成する。
【００４０】
姿勢変位予測手段１１は、カメラ２の姿勢の変位を予測するための手段であり、例えば、移動体状態検出部５又は路面状態検出部６の出力に基づいて、建設機械がどの程度の速度で上り坂又は下り坂に進入するか、左右のクローラのどちらがどの程度の盛り上がりに乗り上げるか若しくは凹みにはまり込むか、或いは、バケット、アーム、若しくはブーム等のアタッチメントの操作に起因する建設機械の傾斜や反動（例えば、ジャッキアップである。）が発生しようとしているか等を判定し、カメラ２が取る次の姿勢（以下、「予測姿勢」とする。）を予測する。その予測結果に基づいて、制御部１が、次に使用される可能性の高い変換テーブルを事前に認識できるようにするためである。
【００４１】
変換テーブル格納手段１２は、変換テーブルを変換テーブル記憶部４に格納するための手段であり、例えば、カメラ２の現在の姿勢に対する姿勢変位量が所定値未満となる近傍姿勢に対応する一又は複数の変換テーブルを、カメラ２の姿勢が実際にその近傍姿勢となる前に変換テーブル生成手段１０に生成させ、それら生成させた変換テーブルを変換テーブル記憶部４に格納しておく。
【００４２】
また、変換テーブル格納手段１２は、姿勢変位予測手段１１が予測したカメラ２の予測姿勢に応じて、カメラ２の姿勢が実際にその予測姿勢となる前に、その予測姿勢に対応する一の変換テーブル、又は、その予測姿勢及びその予測姿勢の近傍姿勢に対応する複数の変換テーブルを変換テーブル生成手段１０に生成させ、それら生成させた変換テーブルを変換テーブル記憶部４に格納するようにしてもよい。
【００４３】
変換テーブル消去手段１３は、変換テーブル記憶部４に格納された変換テーブルを消去するための手段であり、例えば、変換テーブル格納手段１２によって既に変換テーブル記憶部４に格納された変換テーブルのうち、カメラ２の現在の姿勢に対する姿勢変位量が所定値以上となる姿勢に対応する一又は複数の変換テーブルを変換テーブル記憶部４から消去する。変換テーブル格納手段１２が、次に使用される可能性の高い別の変換テーブルを変換テーブル記憶部４に格納できるようにするためである。
【００４４】
また、変換テーブル消去手段１３は、変換テーブル格納手段１２によって既に変換テーブル記憶部４に格納された変換テーブルのうち、姿勢変位予測手段１１が予測したカメラ２の予測姿勢及びその予測姿勢の近傍姿勢の何れにも対応しない一又は複数の変換テーブルを変換テーブル記憶部４から消去するようにしてもよい。
【００４５】
視点変換手段１４は、カメラ２が取得した原画像から視点変換画像を生成するための手段であり、例えば、カメラ２の現在の姿勢に対応する変換テーブルを変換テーブル記憶部４から読み出して参照しながら、カメラ２が取得した原画像における各画素の属性値（例えば、輝度、色相、及び彩度である。）を、所望の仮想視点から見た画像である視点変換画像における対応する画素の属性値に割り当てることによって、視点変換画像を生成する。なお、視点変換手段１４は、必要に応じて、画素補間、画素間引き、画素合成等を行いながら、視点変換画像を生成するようにしてもよい。
【００４６】
また、視点変換手段１４は、カメラ２の現在の姿勢に対応する変換テーブルが変換テーブル記憶部４に存在しない場合には、変換テーブル生成手段１０にその現在の姿勢に対応する変換テーブルを生成させ、その生成させた変換テーブルを参照して視点変換画像を生成するようにしてもよく、或いは、変換テーブル記憶部４に格納されている変換テーブルのうちその現在の姿勢に最も近い姿勢に対応する変換テーブルを参照して視点変換画像を生成するようにしてもよい。
【００４７】
図３は、変換テーブル記憶部４に格納される変換テーブルの推移を模式的に示す図であり、カメラ２の光軸ＯＡのＹ軸回りの回転角θを姿勢変位量として採用する場合における変換テーブルの推移（格納及び消去）を模式的に示す図である（例えば、建設機械のピッチによるカメラ２の姿勢変位に起因する視点変換画像の乱れをリアルタイムに相殺できるようにするための変換テーブルの推移を示す。）。
【００４８】
図３（Ａ）は、時刻Ｔ１における変換テーブル記憶部４の状態を示し、カメラ２の現在の姿勢（回転角θ＝０）に対応する変換テーブル４０−３（細かいハッチングの矩形で表される。）、その現在の姿勢に対する一次隣接姿勢（回転角θ＝±ａ）に対応する変換テーブル４０−２、４０−４（粗いハッチングの矩形で表される。）、及び、その現在の姿勢に対する二次隣接姿勢（回転角θ＝±２ａ）に対応する変換テーブル４０−１、４０−５（粗いハッチングの矩形で表される。）が変換テーブル記憶部４に存在することを示す。なお、一次隣接姿勢は、現在の姿勢に直接隣接する隣接姿勢を意味し、二次隣接姿勢は、その一時隣接姿勢に直接隣接する隣接姿勢を意味する。三次隣接姿勢以降についても同様である。また、定数ａは、カメラ２の姿勢変位量である回転角θの単位角度であり、視点変換画像を見る者がカメラ２の姿勢の変位（回転）に起因するその視点変換画像の歪みに気付くことができる最小の変位量（回転角）に相当する。
【００４９】
また、図３（Ｂ）は、時刻Ｔ２（Ｔ２＞Ｔ１）における変換テーブル記憶部４の状態を示し、カメラ２の姿勢が時刻Ｔ１における姿勢（回転角θ＝０）から現在の姿勢（回転角θ＝＋ａ）に変位したことを示す。
【００５０】
この場合、変換テーブル消去手段１３は、その現在の姿勢（回転角θ＝＋ａ）に対する一次隣接姿勢及び二次隣接姿勢に対応する変換テーブルを、後続の姿勢変位に対処するのに必要な変換テーブルとして変換テーブル記憶部４に予め用意しておくため、余分である三次隣接姿勢の一つ（回転角θ＝−２ａ）に対応する変換テーブル４０−１（点線で囲まれた白色の矩形で表される。）を変換テーブル記憶部４から消去する。
【００５１】
一方、変換テーブル格納手段１２は、不足分である二次隣接姿勢の一つ（回転角θ＝＋３ａ）に対応する変換テーブル４０−６（太線で囲まれた粗いハッチングの矩形で表される。）を変換テーブル生成手段１０に生成させるようにする。
【００５２】
更に、図３（Ｃ）は、時刻Ｔ３（Ｔ３＞Ｔ２）における変換テーブル記憶部４の状態を示し、カメラ２の姿勢が時刻Ｔ２における姿勢（回転角θ＝＋ａ）から現在の姿勢（回転角θ＝＋２ａ）に更に変位したことを示す。
【００５３】
この場合、変換テーブル消去手段１３は、その現在の姿勢（回転角θ＝＋２ａ）に対する一次隣接姿勢及び二次隣接姿勢に対応する変換テーブルを、後続の姿勢変位に対処するのに必要な変換テーブルとして変換テーブル記憶部４に予め用意しておくため、余分である三次隣接姿勢の一つ（回転角θ＝−ａ）に対応する変換テーブル４０−２（点線で囲まれた白色の矩形で表される。）を変換テーブル記憶部４から消去する。
【００５４】
一方、変換テーブル格納手段１２は、不足分である二次隣接姿勢の一つ（回転角θ＝＋４ａ）に対応する変換テーブル４０−７（太線で囲まれた粗いハッチングの矩形で表される。）を変換テーブル生成手段１０に生成させるようにする。
【００５５】
また、図３（Ｄ）は、時刻Ｔ２−１（Ｔ２−１＞Ｔ１）における変換テーブル記憶部４の状態を示し、カメラ２の姿勢が時刻Ｔ１における姿勢（回転角θ＝０）から現在の姿勢（回転角θ＝＋２ａ）に変位したことを示す。なお、図３（Ｄ）で示す状態は、図３（Ｂ）で示す状態に比べて姿勢変位量が大きかったことを示す。
【００５６】
この場合、変換テーブル格納手段１２は、その姿勢変位量の大きさを考慮して、その現在の姿勢（回転角θ＝＋２ａ）に対する二次隣接姿勢及び四次隣接姿勢に対応する変換テーブルを、後続の姿勢変位に対処するのに必要な変換テーブルとして変換テーブル記憶部４に予め用意しておくようにする。
【００５７】
そのため、変換テーブル消去手段１３は、余分である一次隣接姿勢の一つ（回転角θ＝＋ａ）に対応する変換テーブル４０−４と三次隣接姿勢の一つ（回転角θ＝−ａ）に対応する変換テーブル４０−２とを変換テーブル記憶部４から消去する。
【００５８】
一方、変換テーブル格納手段１２は、不足分である二次隣接姿勢の一つ（回転角θ＝＋４ａ）に対応する変換テーブル４０−７と四次隣接姿勢（回転角θ＝＋６ａ）の一つに対応する変換テーブル４０−８とを変換テーブル生成手段１０に生成させるようにする。
【００５９】
このようにして、画像変換装置１００は、変換テーブル記憶部４に予め用意しておく変換テーブルの数を所定数（この場合、五つである。）に制限しながら、カメラ２の次の姿勢に対応する変換テーブルを視点変換手段１４がリアルタイムに参照できるように準備しておくことができる。
【００６０】
図４は、図３と同様、変換テーブル記憶部４に格納される変換テーブルの推移を模式的に示す図であり、カメラ２の光軸ＯＡのＹ軸回りの回転角θとカメラ２の光軸ＯＡ回りの回転角φとを姿勢変位量として採用する場合における変換テーブルの推移を模式的に示す図である（例えば、建設機械のピッチ及びロールによるカメラ２の姿勢変位に起因する視点変換画像の乱れをリアルタイムに相殺できるようにするための変換テーブルの推移を示す。なお、建設機械のヨーは、上部旋回体の旋回によって生じる通常の動きであるため、建設機械のヨーによるカメラ２の姿勢変位に起因する視点変換画像の変化は、乱れとして認識されないようにしてもよい。）。
【００６１】
図４（Ａ）は、時刻Ｔ１における変換テーブル記憶部４の状態を示し、カメラ２の現在の姿勢（回転角θ＝０、回転角φ＝０）に対応する変換テーブル４０−ｅ（細かいハッチングの矩形で表される。）、並びに、その現在の姿勢に対する一次隣接姿勢（回転角θ＝±ａ、又は、回転角φ＝±ｂ）に対応する変換テーブル４０−ａ〜４０−ｄ、及び４０−ｆ〜４０−ｉ（粗いハッチングの矩形で表される。）が変換テーブル記憶部４に存在することを示す。なお、定数ｂは、定数ａと同様、カメラ２の姿勢変位量である回転角φの単位角度である。
【００６２】
また、図４（Ｂ）は、時刻Ｔ２（Ｔ２＞Ｔ１）における変換テーブル記憶部４の状態を示し、カメラ２の姿勢が時刻Ｔ１における姿勢（回転角θ＝０、回転角φ＝０）から現在の姿勢（回転角θ＝＋ａ、回転角φ＝＋ｂ）に変位したことを示す。
【００６３】
この場合、変換テーブル消去手段１３は、その現在の姿勢（回転角θ＝＋ａ、回転角φ＝＋ｂ）に対する一次隣接姿勢に対応する変換テーブルを、後続の姿勢変位に対処するのに必要な変換テーブルとして変換テーブル記憶部４に予め用意しておくため、余分である二次隣接姿勢の五つ（回転角θ＝−ａ、回転角φ＝＋ｂ）、（回転角θ＝−ａ、回転角φ＝０）、（回転角θ＝−ａ、回転角φ＝−ｂ）、（回転角θ＝０、回転角φ＝−ｂ）、（回転角θ＝＋ａ、回転角φ＝−ｂ）のそれぞれに対応する変換テーブル４０−ａ、４０−ｄ、４０−ｇ〜４０−ｉ（点線で囲まれた白色の矩形で表される。）を変換テーブル記憶部４から消去する。
【００６４】
一方、変換テーブル格納手段１２は、不足分である一次隣接姿勢の五つ（回転角θ＝０、回転角φ＝＋２ｂ）、（回転角θ＝＋ａ、回転角φ＝＋２ｂ）、（回転角θ＝＋２ａ、回転角φ＝＋２ｂ）、（回転角θ＝＋２ａ、回転角φ＝＋ｂ）、（回転角θ＝＋２ａ、回転角φ＝０）のそれぞれに対応する変換テーブル４０−ｊ〜４０−ｎ（太線で囲まれた粗いハッチングの矩形で表される。）を変換テーブル生成手段１０に生成させるようにする。
【００６５】
このようにして、画像変換装置１００は、姿勢変位量が複数のパラメータ（この場合、回転角θ及び回転角φである。）で表される場合であっても、変換テーブル記憶部４に用意しておく変換テーブルの数を所定数（この場合、九つである。）に制限しながら、カメラ２の次の姿勢に対応する変換テーブルを視点変換手段１４がリアルタイムに参照できるように準備しておくことができる。
【００６６】
次に、図５を参照しながら、画像変換装置１００が原画像を視点変換画像に変換する処理（以下、「視点変換処理」とする。）について説明する。なお、図５は、視点変換処理の流れを示すフローチャートであり、画像変換装置１００は、カメラ２が原画像を出力する間、この視点変換処理を所定時間間隔で繰り返し実行するものとする。
【００６７】
最初に、制御部１は、カメラ２が撮影した原画像を取得し（ステップＳ１）、姿勢変位検出部３の出力に基づいて、前回の視点変換処理実行時におけるカメラ２の姿勢と今回の視点変換処理実行時におけるカメラ２の姿勢との間に差があるか否か（カメラ２の姿勢が変位したか否か）を判定する（ステップＳ２）。なお、制御部１は、所定のタイミングにおけるカメラ２の姿勢を基準姿勢としてこの視点変換処理を開始させるものとし、その所定のタイミングは、例えば、画像変換装置１００を起動した時点、或いは、仮想視点を固定するために運転者が画像変換装置１００に対して所定の入力を行った時点とする。
【００６８】
カメラ２の姿勢が変位していないと判定した場合（ステップＳ２のＮＯ）、制御部１は、視点変換手段１４により、変換テーブル記憶部４に格納された現在参照中の変換テーブルを用いてカメラ２が撮影した原画像から視点変換画像を生成する（ステップＳ３）。
【００６９】
一方、カメラ２の姿勢が変位したと判定した場合（ステップＳ２のＹＥＳ）、制御部１は、変位後の姿勢に対応する変換テーブルが変換テーブル記憶部４内に存在するか否かを判定する（ステップＳ４）。
【００７０】
変位後の姿勢に対応する変換テーブルが変換テーブル記憶部４内に存在すると判定した場合（ステップＳ４のＹＥＳ）、制御部１は、視点変換手段１４により、変換テーブル記憶部４に格納されているその変位後の姿勢に対応する変換テーブルを用いてカメラ２が撮影した画像から視点変換画像を生成する（ステップＳ８）。
【００７１】
変位後の姿勢に対応する変換テーブルが変換テーブル記憶部４内に存在しないと判定した場合（ステップＳ４のＮＯ）、制御部１は、変換テーブル記憶部４に別の変換テーブルを格納するための空きスペースが存在するか否かを判定する（ステップＳ５）。
【００７２】
空きスペースが存在すると判定した場合（ステップＳ５のＹＥＳ）、制御部１は、変換テーブル生成手段１０により、変位後の姿勢に対応する変換テーブルを生成し（ステップＳ７）、その生成した変換テーブルを用いてカメラ２が撮影した原画像から視点変換画像を生成する（ステップＳ８）。
【００７３】
その後、制御部１は、変換テーブル格納手段１２により、その生成した変換テーブルを変換テーブル記憶部４に格納する。次回以降の視点変換処理で利用できるようにするためである。なお、制御部１は、その生成した変換テーブルを変換テーブル記憶部４に格納した上で、その格納した変換テーブルを用いてカメラ２が撮影した原画像から視点変換画像を生成するようにしてもよい。
【００７４】
一方、空きスペースが存在しないと判定した場合（ステップＳ５のＮＯ）、制御部１は、変換テーブル消去手段１３により、変位後の姿勢にもその変位後の姿勢の近傍姿勢にも対応しないその変位後の姿勢とは関連のない変換テーブルを変換テーブル記憶部４から消去し（ステップＳ６）、その変位後の姿勢に対応する別の変換テーブルを格納するための空きスペースを作るようにする。
【００７５】
その後、制御部１は、変換テーブル生成手段１０により、その変位後の姿勢に対応する変換テーブルを生成し（ステップＳ７）、その生成した変換テーブルを用いてカメラ２が撮影した原画像から視点変換画像を生成して（ステップＳ８）、この視点変換処理を終了させる。
【００７６】
次に、図６を参照しながら、画像変換装置１００が変換テーブル記憶部４の内容を更新する処理（以下、「変換テーブル記憶部更新処理」とする。）について説明する。なお、図６は、変換テーブル記憶部更新処理の流れを示すフローチャートであり、画像変換装置１００は、カメラ２が原画像を出力する間、視点変換処理とは別にそのバックグランドでこの変換テーブル記憶部更新処理を所定時間間隔で繰り返し実行するものとする。
【００７７】
最初に、制御部１は、カメラ２の現在の姿勢に基づいて、後にカメラ２の姿勢が変位したときのリアルタイムの視点変換を実現するのに必要な、変換テーブル記憶部４に格納しておくべき変換テーブルを決定する（ステップＳ１０）。
【００７８】
制御部１は、例えば、カメラ２の現在の姿勢に近い近傍姿勢に対応する変換テーブルを、変換テーブル記憶部４に格納しておくべき変換テーブルとして決定する。
【００７９】
なお、制御部１は、姿勢変位予測手段１１により、移動体状態検出部５及び路面状態検出部６の少なくとも何れか一方の出力に基づいてカメラ２の姿勢が今後どのように変位するかを予測した上で、変換テーブル記憶部４に格納しておくべき変換テーブルを決定するようにしてもよい。
【００８０】
その後、制御部１は、変換テーブル記憶部４内に不要な変換テーブルが存在するか否かを判定する（ステップＳ１１）。不要な変換テーブルとは、変換テーブル記憶部４に格納しておくべきであるとされた変換テーブル以外の変換テーブルであり、例えば、カメラ２の現在の姿勢及びその近傍姿勢以外の姿勢に対応する変換テーブルである。
【００８１】
変換テーブル記憶部４内に不要な変換テーブルが存在すると判定した場合（ステップＳ１１のＹＥＳ）、制御部１は、変換テーブル消去手段１３により、その不要な変換テーブルを変換テーブル記憶部４から消去する（ステップＳ１２）。なお、制御部１は、姿勢変位予測手段１１により、移動体状態検出部５及び路面状態検出部６の少なくとも何れか一方の出力に基づいてカメラ２の姿勢が今後どのように変位するかを予測した上で、カメラ２の現在の姿勢に近い近傍姿勢に対応する変換テーブルが不要であると判定した場合には、たとえ現在の姿勢に近い近傍姿勢に対応する変換テーブルであっても、その近傍姿勢に対応する変換テーブルを消去するようにしてもよい。必要な変換テーブルを格納するための空きスペースを作り出すためである。
【００８２】
その後、制御部１は、必要であるとされた変換テーブルの全部が既に変換テーブル記憶部４内に存在するか否かを判定する（ステップＳ１３）。同じ変換テーブルが重複して生成されるのを回避するためである。
【００８３】
必要であるとされた変換テーブルの全部が既に変換テーブル記憶部４内に存在する場合（ステップＳ１３のＹＥＳ）、制御部１は、新たな変換テーブルを生成することなく、この変換テーブル記憶部更新処理を終了させる。
【００８４】
一方、必要であるとされた変換テーブルの全部又は一部が未だ変換テーブル記憶部４内に存在していない場合（ステップＳ１３のＮＯ）、制御部１は、変換テーブル生成手段１０によりその必要であるとされた変換テーブルを生成し、且つ、変換テーブル格納手段１２によりその生成した変換テーブルを変換テーブル記憶部４に格納して（ステップＳ１４）、この変換テーブル記憶部更新処理を終了させる。
【００８５】
以上の構成により、画像変換装置１００は、カメラ２の姿勢の変位に起因する視点変換画像の乱れを防止しながら、必要な変換テーブルを変換テーブル記憶部４に予め用意しておくことによる視点変換処理のリアルタイム性と、余分な変換テーブルを保持しない必要十分な容量の変換テーブル記憶部４を採用することによる装置の省リソース性とを両立させることができる。
【００８６】
また、画像変換装置１００は、必要十分な容量の変換テーブル記憶部４を採用することにより、必要以上の容量の変換テーブル記憶部４を採用する場合に比べて製造コストを低減させることができる。
【００８７】
また、画像変換装置１００は、姿勢変位検出部３としてジャイロセンサや加速度センサ等を採用しながら一の時点におけるカメラ２の姿勢と他の時点におけるカメラ２の姿勢との間の相対的な変位を取得すればよく、絶対角度センサを採用しながらカメラ２の姿勢を常に所定の基準姿勢に対する変位として取得する必要はないので、絶対角度センサに比べて安価なセンサを採用することにより製造コストを更に低減させることができる。なお、画像変換装置１００は、当然のことながら、姿勢変位検出部３として絶対角度センサを採用することも可能である。
【００８８】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【００８９】
例えば、上述の実施例において、姿勢変位量は、三次元直交座標系における回転角θ、ψ、φの組み合わせを例に取りながら説明されているが、三次元極座標系等の他の座標系における変数で表されてもよい。
【００９０】
また、上述の実施例において、画像変換装置１００は、カメラ２が撮影した原画像から鳥瞰画像を生成しているが、他の任意の仮想視点に基づく視点変換画像を生成するようにしてもよい。
【００９１】
また、上述の実施例において、画像変換装置１００は、一台のカメラ２が撮影した一つの原画像から一つの視点変換画像を生成しているが、複数台のカメラ２が撮影した複数の原画像を合成して一つの視点変換画像を生成するものであってもよく、複数の原画像を合成して複数の視点変換画像を生成するものであってもよい。
【００９２】
また、上述の実施例において、画像変換装置１００は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、視点変換画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれているが、自動車、自動二輪車若しくは船舶等のように自走はするが可動部材を有しない移動式被操作体、又は、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない固定式被操作体を含む他の被操作体にカメラと共に搭載され、カメラ姿勢の変位に起因する視点変換画像の乱れを防止しながらそれら他の被操作体の移動又は操作を支援する操作支援システムに組み入れられてもよい。
【符号の説明】
【００９３】
１ 制御部
２ カメラ
３ 姿勢変位検出部
４ 変換テーブル記憶部
５ 移動体状態検出部
６ 路面状態検出部
７ 表示部
１０ 変換テーブル生成手段
１１ 姿勢変位予測手段
１２ 変換テーブル格納手段
１３ 変換テーブル消去手段
１４ 視点変換手段
４０ 変換テーブル
１００ 画像変換装置
【特許請求の範囲】
【請求項１】
カメラが取得する原画像から視点変換画像を生成する画像変換装置であって、
前記カメラの姿勢の変位を検出する姿勢変位検出部と、
前記原画像上の座標と前記視点変換画像上の座標とを対応付ける変換テーブルを生成する変換テーブル生成手段と、
前記変換テーブル生成手段が生成する変換テーブルであり、前記カメラの現在の姿勢に対する変位が所定条件を満たす姿勢のそれぞれに対応する変換テーブルを参照可能に変換テーブル記憶部に格納する変換テーブル格納手段と、
前記カメラの現在の姿勢に対する変位が前記所定条件を満たさない姿勢のそれぞれに対応する変換テーブルを変換テーブル記憶部から消去する変換テーブル消去手段と、
前記姿勢変位検出部が検出した変位と、前記変換テーブル記憶部にある変換テーブル又は前記変換テーブル生成手段が生成する変換テーブルとを用いて前記原画像を視点変換する視点変換手段と、
を備えることを特徴とする画像変換装置。
【請求項２】
前記姿勢変位検出部は、前記カメラの光軸と水平面とが形成する角度の変位、前記カメラを通る垂直軸の回りの前記光軸の回転角の変位、及び、前記光軸回りの前記カメラの回転角の変位のうちの少なくとも一つを検出する、
ことを特徴とする請求項１に記載の画像変換装置。
【請求項３】
前記カメラの姿勢の変位を予測する姿勢変位予測手段を備え、
前記所定条件は、前記姿勢変位予測手段の予測結果に基づいて決定される、
ことを特徴とする請求項１に記載の画像変換装置。
【請求項４】
被操作体の移動又は操作を支援する操作支援システムであって、
請求項１乃至３の何れか一項に記載の画像変換装置と、
前記被操作体を移動させ或いは操作するための操作室に設置され、該画像変換装置により生成された視点変換画像を表示する表示部と、
を備えることを特徴とする操作支援システム。
【請求項１】
カメラが取得する原画像から視点変換画像を生成する画像変換装置であって、
前記カメラの姿勢の変位を検出する姿勢変位検出部と、
前記原画像上の座標と前記視点変換画像上の座標とを対応付ける変換テーブルを生成する変換テーブル生成手段と、
前記変換テーブル生成手段が生成する変換テーブルであり、前記カメラの現在の姿勢に対する変位が所定条件を満たす姿勢のそれぞれに対応する変換テーブルを参照可能に変換テーブル記憶部に格納する変換テーブル格納手段と、
前記カメラの現在の姿勢に対する変位が前記所定条件を満たさない姿勢のそれぞれに対応する変換テーブルを変換テーブル記憶部から消去する変換テーブル消去手段と、
前記姿勢変位検出部が検出した変位と、前記変換テーブル記憶部にある変換テーブル又は前記変換テーブル生成手段が生成する変換テーブルとを用いて前記原画像を視点変換する視点変換手段と、
を備えることを特徴とする画像変換装置。
【請求項２】
前記姿勢変位検出部は、前記カメラの光軸と水平面とが形成する角度の変位、前記カメラを通る垂直軸の回りの前記光軸の回転角の変位、及び、前記光軸回りの前記カメラの回転角の変位のうちの少なくとも一つを検出する、
ことを特徴とする請求項１に記載の画像変換装置。
【請求項３】
前記カメラの姿勢の変位を予測する姿勢変位予測手段を備え、
前記所定条件は、前記姿勢変位予測手段の予測結果に基づいて決定される、
ことを特徴とする請求項１に記載の画像変換装置。
【請求項４】
被操作体の移動又は操作を支援する操作支援システムであって、
請求項１乃至３の何れか一項に記載の画像変換装置と、
前記被操作体を移動させ或いは操作するための操作室に設置され、該画像変換装置により生成された視点変換画像を表示する表示部と、
を備えることを特徴とする操作支援システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−８１７２９（Ｐ２０１１−８１７２９Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２００９−２３５４６７（Ｐ２００９−２３５４６７）
【出願日】平成２１年１０月９日（２００９．１０．９）
【出願人】（０００００２１０７）住友重機械工業株式会社 (2,241)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願日】平成２１年１０月９日（２００９．１０．９）
【出願人】（０００００２１０７）住友重機械工業株式会社 (2,241)
【Ｆターム（参考）】
[ Back to top ]