画像生成装置
【課題】演算処理を簡単にしながら、近景の俯瞰表示と遠景のパース表示をシームレスに接合すると共に、俯瞰表示とパース表示の接合領域での急激な幾何学的変化を緩和することで、違和感を与えない滑らかなモニタ画像データを生成することができる画像生成装置を提供すること。
【解決手段】リアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する画像生成装置において、仮想立体スクリーン設定手段と仮想立体ＣＣＤ設定手段のうち、少なくとも一方の設定手段は、近景面と遠景面との接合域を曲面により滑らかにつないだ曲面化仮想立体面を設定する手段とし、曲面化仮想立体面を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する手段とした。
【解決手段】リアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する画像生成装置において、仮想立体スクリーン設定手段と仮想立体ＣＣＤ設定手段のうち、少なくとも一方の設定手段は、近景面と遠景面との接合域を曲面により滑らかにつないだ曲面化仮想立体面を設定する手段とし、曲面化仮想立体面を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する手段とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、カメラ映像データからモニタ画像データを生成する画像生成装置に関する。
【背景技術】
【０００２】
従来、運転支援装置としては、車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供することを目的とし、車両の動きに連動して、複数の撮影装置により撮像された複数のカメラ映像を１つの視点から見た俯瞰映像として表示させる１視点映像と、複数のカメラ映像を分割画面に表示した多視点映像とを切り換えるものが知られている（例えば、特許文献１参照）。
【０００３】
また、従来の画像生成装置としては、数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示するものが知られている（例えば、特許文献２参照）。
【特許文献１】特開２００５−２３６４９３号公報
【特許文献２】特許第３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載された運転支援装置にあっては、１視点映像の場合、俯瞰映像を表示させるため、近景のみの表示となり、多視点映像の場合、カメラ映像を表示させるため、遠景のみの表示となり、車両の周囲状況を的確に認識するには選択操作を要する、という問題があった。
【０００５】
さらに、１視点映像の場合も多視点映像の場合も複数のカメラ映像を用いるものであるため、合成画像や分割画像に連続性が無く、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
【０００６】
また、上記特許文献２に記載された画像生成装置にあっては、数台のカメラで撮影しているエリアの全体の様子を一枚に合成した画像にて表示しようとするものであるため、合成画像に連続性を持たせるには、複数のカメラ画像から特徴点を抽出する特徴点抽出手段と、複数個の特徴点を用いて表示画面の較正を行うキャリブレーション手段と、を設ける必要があり、モニタ画像データを生成するための演算処理が複雑になってしまう。
【０００７】
一方、特徴点抽出手段やキャリブレーション手段を用いないと、合成画像に連続性が無くなり、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
【０００８】
本発明は、上記問題に着目してなされたもので、演算処理を簡単にしながら、近景の俯瞰表示と遠景のパース表示をシームレスに接合すると共に、俯瞰表示とパース表示の接合領域での急激な幾何学的変化を緩和することで、違和感を与えない滑らかなモニタ画像データを生成することができる画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明では、実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた画像生成装置において、
前記仮想投影面として、近景用投影面と遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、近景用撮像面と遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、を設け、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、近景面と遠景面の接合域を曲面により滑らかにつないだ曲面化仮想立体面を設定する手段とし、
前記モニタ画像データ生成手段は、曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする。
【発明の効果】
【００１０】
よって、本発明の画像生成装置にあっては、仮想立体投影面と仮想立体撮像面のうち、少なくとも一方を曲面化仮想立体面とし、モニタ画像データ生成手段において、曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データが生成される。
このように、視点変換により実カメラにより取得したカメラ映像データからモニタ画像データを生成するものである。このため、複数のカメラ映像データを用いる従来技術のように、合成画像に連続性を持たせるために特徴点を抽出してキャリブレーションを行う必要が無く、連続性を持つモニタ画像データを得るための演算処理を簡単にすることができる。
さらに、仮想カメラから仮想立体投影面を見たとき、仮想立体撮像面の近景用撮像面に投影される画像は近景を上から眺めた俯瞰画像となる。また、仮想カメラから仮想立体投影面を見たとき、仮想立体撮像面の遠景用撮像面に投影される画像は遠景を眺めたパース画像となる。しかも、仮想立体投影面と仮想立体撮像面のうち、少なくとも一方は近景面と遠景面の接合域を曲面により滑らかにつないだ曲面化仮想立体面に設定されているため、俯瞰表示とパース表示の接合領域での急激な幾何学的変化が緩和される。つまり、曲面化仮想立体面を用いた視点変換により生成されるモニタ画像データは、近景の俯瞰表示と遠景のパース表示とをシームレスに接合するデータであるばかりでなく、近景の俯瞰表示と遠景のパース表示を滑らかに繋ぐように表示するデータとなる。
この結果、演算処理を簡単にしながら、近景の俯瞰表示と遠景のパース表示をシームレスに接合すると共に、俯瞰表示とパース表示の接合領域での急激な幾何学的変化を緩和することで、違和感を与えない滑らかなモニタ画像データを生成することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の画像生成装置を実現する最良の形態を、図面に示す実施例１〜実施例６に基づいて説明する。
【実施例１】
【００１２】
まず、構成を説明する。
図１は実施例１の車両のリアカメラに適用された画像生成装置を示す全体システム図である。図２は実施例１の画像生成装置において仮想立体投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
【００１３】
実施例１における画像生成装置は、リアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する装置であり、図１に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、調整操作ダイアル４と、を備えている。
【００１４】
前記リアカメラ１は、図１に示すように、車両の後部位置に取り付けられ、車両の後方景色を映し出す。このリアカメラ１の実撮像面（リアカメラＣＣＤ）に投影される画像によりカメラ映像データを取得する。
【００１５】
このリアカメラ１の被写体側（レンズ軸側）には、図１及び図２に示すように、仮想投影面として、仮想的な円筒を近景用スクリーン７１（近景用投影面）と遠景用スクリーン７２（遠景用投影面）の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ，ｄで切り出した一部円筒曲面７３と、を有する曲面化仮想立体スクリーン７（曲面化仮想立体投影面）が設定される。そして、前記近景用スクリーン７１は、図１に示すように、地面上に設定される。前記遠景用スクリーン７２は、近景用スクリーン７１のリアカメラ１から遠い側に連接すると共に所定の上向き傾斜角度αを持って設定される。これは、特許請求の範囲の仮想立体投影面設定手段に相当する。
【００１６】
また、リアカメラ１より高い位置には、図１及び図２に示すように、リアカメラ１からの水平方向距離ａ、地面からの垂直方向距離ｂ、により規定される位置に仮想カメラ８が設定される。
【００１７】
さらに、前記仮想カメラ８の仮想撮像面として、図１及び図２に示すように、仮想的な円筒を近景用ＣＣＤ９１（近景用撮像面）と遠景用ＣＣＤ９２（遠景用撮像面）の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ’，ｄ’で切り出した一部円筒曲面９３と、を有する曲面化仮想立体ＣＣＤ９（曲面化仮想立体撮像面）が設定される。そして、前記近景用ＣＣＤ９１は、前記近景用スクリーン７１に平行に設定される。前記遠景用ＣＣＤ９２は、前記近景用ＣＣＤ９１のリアカメラ１から近い側に連接すると共に所定の下向き傾斜角度βを持って設定される。なお、図２は曲面化仮想立体ＣＣＤ９を仮想カメラ８の位置を挟んで前側に移して表示したもので、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９とは相似形の設定とされる。これは、特許請求の範囲の仮想立体撮像面設定手段に相当する。
【００１８】
前記画像処理コントローラ２は、図１に示すように、デコーダ間変換部２１と、座標変換処理部２２と、ＲＯＭ２３と、ＲＡＭ２４と、エンコーダ変換部２５と、を有する。
【００１９】
前記デコーダ間変換部２１は、リアカメラ１に接合されているデコーダと、座標変換処理部２２にて想定しているデコーダと、の相違に基づき、両デコーダ間でカメラ入力座標系からデコーダ変換座標系へとデータ座標系を変換する。なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。
【００２０】
前記座標変換処理部２２は、リアカメラ１により取得した単独のカメラ映像データとして前記デコーダ間変換部２１からのデコーダ変換座標系を入力し、前記ＲＯＭ２３に予め記憶設定されているマッピングテーブルを用いる。そして、座標変換にしたがって仮想カメラ８の曲面化仮想立体ＣＣＤ９上にカメラ映像データの各画素を移し、仮想カメラ８から曲面化仮想立体スクリーン７を見たときに曲面化仮想立体ＣＣＤ９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成する（モニタ画像データ生成手段）。
【００２１】
前記ＲＯＭ２３は、曲面化仮想立体ＣＣＤ９上での一つの画素位置を指定し、曲面化仮想立体スクリーン７上で指定した一つの画素位置に対応する第１対応位置を決め、リアカメラ１の撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行って作成したマッピングテーブルを記憶設定しておくメモリである。
【００２２】
このマッピングテーブルの作成時、リアカメラ１により取得した単独のカメラ映像データの各画素位置と、曲面化仮想立体スクリーン７を介した仮想カメラ８の曲面化仮想立体ＣＣＤ９上の各画素位置と、の間で座標変換される。また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ１により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、曲面化仮想立体ＣＣＤ９の座標系としている。なお、マッピングテーブルには、仮想カメラ８の位置（ａ，ｂ）と、スクリーン傾斜角度αと、撮像面傾斜角度βと、一部円筒曲面７３，９３の半径R1,R2に応じて、複数のマッピングテーブルが記憶設定されている。そして、細かな位置設定や角度設定や半径設定に対しては、例えば、補間法を用いて対応するようにしている。
【００２３】
前記ＲＡＭ２４は、書き換え可能な情報を記憶設定しておくメモリである。
実施例１は、視点変換手法に基づき作成したマッピングテーブルを予めＲＯＭ２３に記憶設定しておき、カメラ映像データをモニタ３に映し出すモニタ画像データとするために座標変換処理を行うようにした例である。しかし、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するようなシステムとした場合、このＲＡＭ２４に、各画素等の座標変換式を記憶設定しておく。
【００２４】
前記エンコーダ変換部２５は、前記座標変換処理部２２により生成されたモニタ画像データを、例えば、運転者視点対応の左右反転処理を含んで、モニタ３に映し出す画像データに変換する。なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。
【００２５】
前記モニタ３は、車室内のインスツルメントパネル位置等に設定され、画像処理コントローラ２からの画像データに基づいて、近景の俯瞰表示と遠景のパース表示（地平線上の映像も含む）とが、連続的で滑らかに変化する合成画像を表示する。
【００２６】
前記調整操作ダイアル４としては、図１に示すように、仮想カメラ位置調整操作ダイアル４１と、角度調整操作ダイアル４２と、円筒半径調整操作ダイアル４３と、を備えている。
【００２７】
前記仮想カメラ位置調整操作ダイアル４１は、運転者等による外部からの設定操作により任意の空間位置に仮想カメラ８を設定するための仮想カメラ位置調整操作手段である。この仮想カメラ位置調整操作ダイアル４１では、リアカメラ１からの水平方向距離ａ（例えば、2m）と、地面からの垂直方向距離ｂ（例えば、3m）と、を独立に設定できるようにしている。
【００２８】
前記角度調整操作ダイアル４２は、運転者等による外部からの設定操作により、遠景用スクリーン７２の近景用スクリーン７１に対する上向き傾斜角度αと、遠景用ＣＣＤ９２の近景用ＣＣＤ９１に対する下向き傾斜角度βと、を任意に設定（例えば、初期設定角度を45°とし、30°〜90°の角度範囲を調整範囲とする。）するための角度調整操作手段である。実施例１の場合、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９とは相似形の設定であるため、傾斜角度α＝傾斜角度βであり、ダイアル操作により両傾斜角度α，βが同期して変化する。
【００２９】
前記円筒半径調整操作ダイアル４３は、運転者等による外部からの設定操作により、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を任意に設定（例えば、ダイアル４３を右方向に回せば半径が徐々に拡大し、左方向に回せば半径が徐々に縮小する。）するための円筒半径調整操作手段である。実施例１の場合、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９とは相似形の設定であるため、ダイアル操作により、円筒の半径R1,R2は相似形を保つように同期して変化する。
【００３０】
次に、作用を説明する。
【００３１】
実施例１の画像生成装置は、仮想カメラ８と、一部円筒曲面７３を有する曲面化仮想立体スクリーン７と、一部円筒曲面９３を有する曲面化仮想立体ＣＣＤ９と、を用いた視点変換手法により、モニタ画像データを生成するものである。
【００３２】
実施例１の発明ポイントは、
・仮想撮像面（ＣＣＤ）を立体化すると共に曲面化する。
・仮想投影面（スクリーン）を立体化すると共に曲面化する。
・曲面化形状（円筒半径）を制御することで見え方を制御する。
ことにある。
以下、実施例１の画像生成装置における作用として、［カメラ映像データからのモニタ映像生成作用］、［円筒半径の調整によるモニタ映像制御作用］、［円筒モデルを用いた視点変換手法］について説明する。
【００３３】
［カメラ映像データからのモニタ映像生成作用］
実施例１の画像生成装置にあっては、仮想立体スクリーンと仮想立体ＣＣＤのうち、その両方を共に曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９とし、この曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データが生成される。
【００３４】
このように、視点変換により１台のリアカメラ１により取得したカメラ映像データからモニタ画像データを生成するものである。このため、複数のカメラ映像データを用いる従来技術のように、合成画像に連続性を持たせるために特徴点を抽出してキャリブレーションを行う必要が無く、連続性を持つモニタ画像データを得るための演算処理を簡単にすることができる。
【００３５】
さらに、仮想カメラ８から曲面化仮想立体スクリーン７を見たとき、曲面化仮想立体ＣＣＤ９の近景用ＣＣＤ９１に投影される画像は近景を上から眺めた俯瞰画像となる。
また、仮想カメラ８から曲面化仮想立体スクリーン７を見たとき、曲面化仮想立体ＣＣＤ９の遠景用ＣＣＤ９２に投影される画像は遠景を眺めたパース画像となる。
【００３６】
しかも、曲面化仮想立体スクリーン７は、近景用スクリーン７１と遠景用スクリーン７２の平面交線領域を、二平面との接触線上で傾きが一致する一部円筒曲面７３により滑らかにつないでいる。また、曲面化仮想立体ＣＣＤ９は、近景用ＣＣＤ９１と遠景用ＣＣＤ９２の平面交線領域を、二平面との接触線上で傾きが一致する一部円筒曲面９３により滑らかにつないでいる。
【００３７】
このため、俯瞰表示とパース表示の接合領域での急激な幾何学的変化が緩和される。つまり、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９を用いた視点変換により生成されるモニタ画像データは、近景の俯瞰表示と遠景のパース表示とをシームレスに接合するデータであるばかりでなく、近景の俯瞰表示と遠景のパース表示を滑らかに繋ぐように表示するデータとなる。
【００３８】
ちなみに、図３は仮想立体スクリーンを近景用スクリーンと遠景用スクリーンの二平面により設定し、仮想立体ＣＣＤを近景用ＣＣＤと遠景用ＣＣＤの二平面により設定した例を示す図である。また、図４はモニタ映像の比較例であり、(a)は実カメラからの映像データをそのまま用いたモニタ映像例を示し、(b)は図３に基づいた視点変換でのモニタ映像例を示し、(c)は実施例１に基づいた視点変換でのモニタ映像例を示す。
【００３９】
図４の(a),(b)を比較すると、図４の(a)の場合、全体的に遠近感はあるものの、近景の距離感を認識できない。これに対し、図４の(b)の場合、モニタ映像の下側部分が俯瞰映像で上側部分がパース映像となっていることで、遠近感を損なうことなく、車両に近い近景の距離感を認識できる。
【００４０】
図４の(b),(c)を比較すると、図４の(b)の場合、近景の俯瞰表示と遠景のパース表示がシームレスに接合されているが、その接合部分で幾何形状が急激に変化しているため、違和感を与える。これに対し、図４の(c)の場合、俯瞰表示とパース表示の接合領域での急激な幾何学的変化が緩和され、違和感を与えない滑らかなモニタ画像となっている。
【００４１】
［円筒半径の調整によるモニタ映像制御作用］
実施例１の画像生成装置にあっては、運転者等による外部からの設定操作により、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９との相似形を保つように同期して変化させる円筒半径調整操作ダイアル４３を設けている。
【００４２】
図５は実施例１の画像生成装置において、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を、図４(b)と図４(c)の中間の大きさに設定した場合のモニタ映像例を示す図である。
【００４３】
すなわち、図４(b),(c)と図５の比較でも明らかなように、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を制御することで、モニタ映像での見え方を制御することができる。
【００４４】
例えば、図４(c)に示すように、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を大きな半径に設定した場合、俯瞰表示とパース表示の接合領域の画像を横方向に圧縮する効果がある（図４(c)の矢印は圧縮方向）。
【００４５】
一方、図５に示すように、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を小さな半径に設定した場合、俯瞰表示とパース表示の接合領域の画像を横方向に引っ張る効果がある（図５の矢印は引っ張り方向）。
【００４６】
ちなみに、図４(b)に示す場合は、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を極端に小さくした、あるいは、ゼロとしたものであり、俯瞰表示とパース表示の接合領域の画像が最も横方向に引っ張られたものとなっている。
【００４７】
このように、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９の円筒の半径R1,R2を制御することで（制御自由度は１）、使用者あるいは設計者の要求に合わせて適時、モニタ映像を調整することができる。
【００４８】
［円筒モデルを用いた視点変換手法］
実施例１の画像生成装置における相互変換処理の全体像を図６に示す。なお、図６は、カメラ：CC-445（クラリオン製）、デコーダ：PCCAP（I/Oデータ製）、を用いた場合の実施例を示している。
この一連の処理では、ピンホールカメラを前提とした変換処理を、広角カメラの特性に合わせるための歪み補正処理も含まれる。具体的には図６内の矢印で示す６つの変換、すなわち、
・デコーダ間変換、
・ｙ軸変換、
・歪み補正変換、
・ピンホールカメラ変換、
・視点変換、
・エンコーダ変換、
を順番の処理することで対応点計算を行っている。
なお、二平面モデルによる視点変換手法については、本出願人が先に出願した特願２００６−２６０４２５号の明細書の記載に譲るものとし、ここでは、円筒モデルを用いた視点変換手法について説明する。
【００４９】
１．背景および目的
二平面モデルによる視点変換手法において、二平面のつなぎ目をなめらかに処理する目的で、円筒型の仮想スクリーンを用いる手法について説明する。
【００５０】
２．円筒型スクリーンの概念
図２が円筒型スクリーンを用いた概念図である。二平面モデルのつなぎ目に円筒の一部を切り出しあてがい、平面のつなぎ目は仮想カメラから見えないようにしている。同時に仮想CCDのつなぎ目もなめらかにしている。実際にはスクリーンあるいはCCDどちらか一方をなめらかにつなぐことで、得られる画像は相当程度滑らかになるため、両方とも曲面化する必要があるかは生成された映像を見て判断をすることになる。なお、実カメラは二平面モデルと同様であり、ここには示していない。
【００５１】
数学的に円筒を取り扱う場合に、表現手法が幾つかある。本説明では、基本円筒を回転/移動して設定する手法をとっている。そのイメージを図７に示す。本説明では、ｘ軸を主軸とし、原点に設置された円筒を「基本円筒」と名付ける。この基本円筒を、
1. 原点を中心としてz軸及びy軸回転
2. 平行移動
の２段階処理により図７のように二平面のつなぎ目に合わせる。これら処理を施した円筒を「実円筒」と名付ける。したがって、本説明で扱う円筒の数学的な表記は、
・回転行列
・平行移動ベクトル
が基本となる。これに平面とのつなぎ目（或いは円筒の切り出し）位置として、
・接触角度（始点及び終点）
を付与して、切り出す円筒を定義する。詳細は３.２節で示す。
【００５２】
次節では以上の表記の具体的に示していく。なお、円筒と直線の交点を求めるなど幾つか相互作用の計算を示す場合には、基本円筒で計算している場合がほとんどであるが、実円筒と混乱しないように注意する必要がある。もし、基本円筒空間で相互作用の結果を用いる場合には実空間へ相互変換しなければならない。この相互変換は手間のようであるが、実空間で相互作用を計算する手間に比べ、基本円筒空間で処理するほうが、結果的により簡便であると判断した。特に接触角度のように非対称な形状はこのほうが扱いやすい。
【００５３】
３．具体的な手順
３.１ 基本円筒とターゲット円筒の相互変換
３.１.１ 実円筒の主軸
まず、ここでは前節で述べた回転処理及び平行移動処理について論じる。最初に示すのは実円筒の主軸である。なお、本説明では直線表現は、方向ベクトルｄを、定点ベクトルPoをとした場合、
【００５４】
【数１】
とする。
【００５５】
平面と円筒の関係を図示したのが図８である。この図８を眺めると、主軸の方向ベクトルｄは２平面の線ベクトルに直交しているハズであり、次式で簡単に求められる。
【００５６】
【数２】
ここで負符号なのは、座標系が反転しているためである。即ち、
【００５７】
【数３】
という関係がある。即ち座標系が反転している効果を符号反転で取り入れることで、外積演算を通常座標系と同じ手順で演算できる。以降で外積表現を使っている場合は、特に何もなければ式２と同様に符号反転を考慮してあり、各成分を計算する場合には、従来の演算手法をそのまま用いるものとする。一方、内積については特に注意は必要ない。
【００５８】
さて、定点ベクトルPoは主軸上のどの点でもよいため、何らかの束縛条件を付与しなければ一意に定められない。まずPoが各平面から円筒半径分の距離ｒにあるとすると、
【００５９】
【数４】
という関係がある。これを解くために式３を再構成して、
【００６０】
【数５】
として定数項rrと定義すると、
【００６１】
【数６】
という、直線を記述する束縛条件が得られる。なお、下付文字は各座標成分を表す。式７では３つの式が得られているが、直線の関係を表しているため独立なのは実質２つだけである。実際に解くときには、ｄの各成分が全て非ゼロであればどの２つの式を選んでもよい。ここからさらに点を特定したい場合には、先にも述べたように別の束縛条件を導入する必要がある。例えば「原点に最も近い点」という束縛条件を設定すると、ラグランジュの未定乗数法から、
【００６２】
【数７】
が得られる。３式あるのは、式７から選ぶ２式の組み合わせの違いであり、いずれも同じ値を与える。以上の手続きにより、実空間で２平面に接する半径ｒの実円筒の主軸について、その定数を定めることが出来る。
【００６３】
３.１.２ 基本円筒の回転行列
実円筒の主軸が定まったため、図９に示すような基本円筒の主軸を実円筒の主軸へ変換するための回転行列Ｒを求めることができる。具体的に実円筒の主軸方向が、
【００６４】
【数８】
と得られた場合、基本円筒の主軸ベクトル、
【００６５】
【数９】
をｄに変換する行列を求めることになる。ここでは、z軸回転Rz(θ)とy軸回転Ry(ψ)の組み合わせにより、
【００６６】
【数１０】
と分解することにする。このとき回転角度（θ，ψ）は図中にあるように、
θ：ｄがy軸となす角度
ψ：ｄzxがx軸となす角度（ｄzxはｄをxz平面に射影したベクトル）
となり、
【００６７】
【数１１】
で与えられ、回転行列は
【００６８】
【数１２】
に、式１２及び式１３を代入することで求められる。
【００６９】
３.１.３ 円筒の移動ベクトル
主軸の回転が決定できれば、次の問題は、基本円筒の原点を主軸線のどこに移動させるかという問題が残る。３.１.１節では、原点に最も近い位置を代表点Poとした。しかし後での便宜を考えれば、仮想カメラ位置vcに最も近い点を代表点とし、これを基本円筒空間の原点に対応させておくのが便利である。以下で例示するのはその手順である。
主軸上の任意の点ｐは前出の値と、媒介変数ｔにより、
【００７０】
【数１３】
と表される。この点が仮想カメラ位置vcに最も近くなるようにするには、
【００７１】
【数１４】
を最小化するｔを求めればよい。結果は、
【００７２】
【数１５】
となる。このｔを代入することで、vcに最も近い主軸上の一点が求められる。この点を表す位置ベクトルは、そのまま原点からの移動ベクトルToに等しい。
【００７３】
３.１.４ 基本円筒とターゲット円筒の変換まとめ
これまでに得られた式を用いて、基本円筒とターゲット円筒の変換をまとめると次式のようになる。なお、円筒のスケール、即ち半径はこの変換では変化せず維持されている。
【００７４】
【数１６】
３.２ 二平面のつなぎ目にある円筒（ターゲット円筒）の定数
本節では平面に挟まれた円筒が平面と接している角度を求める（図１０）。最初に実円筒の主軸上の任意点から各平面への垂線ベクトルを求めるが、大きさを無視すればこれらは各平面の法線ベクトルに平行で、反対向きになっているハズである。従って、各平面の法線ベクトルを式１９或いは式２０を利用して変換し、向きを反転させれば基本円筒空間内での方向ベクトルになる。このベクトルが基本円筒の有効領域切り出し条件を与える。具体的には、垂線ベクトルの方向は、
【００７５】
【数１７】
で与えられる。なおこのベクトルがy軸となす角度をここでは「接触角度」と定義する（図１０参照）。この角度は図を眺めれば。-nα’のy、z成分から容易に求められることがわかる。
【００７６】
以上で、円筒スクリーン或いは円筒CCDを用いる際の基本的な所量を決定することができる。このとき必要なのは、見てきた通り、
・二平面の法線ベクトルと代表点
・円筒の半径
である。
【００７７】
３.３ 基本円筒における各種式（基本円筒空間表現の場合）
３.３.１ 基本円筒の表現
本説明では、基本円筒は唯一、
【００７８】
【数１８】
で与えられる。更に図１０の様に、y軸方向を角度の基準としz軸の方向に向かって回る方向を正の角度とする。
【００７９】
３.３.２ 点から円筒への垂線
任意の点(x,y,z)から円筒へ降ろす垂線はyz面に平行な面に含まれ、円筒の表面、
【００８０】
【数１９】
で交わる。この点が基本円筒表面上で点(x,y,z)に最も近い点と、その点対称の点である。
【００８１】
３.３.３ 直線と円筒の交点
基本円筒空間内で直線が下記の式で与えられたとき、
【００８２】
【数２０】
円筒（式24）との交点を与える媒介変数ｔは、
【００８３】
【数２１】
で与えられる。従って、
【００８４】
【数２２】
のとき直線は基本円筒に接触し、
【００８５】
【数２３】
のときは直線と円筒は交わらない。また、もしｄが単位長さベクトルであれば、|t|はPoから交点までの長さを意味する。
【００８６】
３.３.４ 直線と円筒の最近接点
直線と円筒が交わらないとき、円筒に最も近い直線上の点は式２６において以下の媒介変数ｔで与えられる。
【００８７】
【数２４】
３.３.５ 円筒表面のuvマップ
円筒表面上の任意の点を指定するためのuvマップについて、以下に２つの手法を示す。なお、標準的なuvマップとして、図１１に示すように、x軸方向をu方向、yz平面内での円筒表面に沿った方向をv方向とする。このように設定した場合、u値は基本的にx値と同値と考えてよく、v値の値とyz値との変換が検討対象である。ただし、本来uv空間はxyz空間と独立しており、u値とx値が同値とはいっても、スケールの互換保証はないものとする。例えばuv値は無次元で、xyz値はメートル単位でもよい。
【００８８】
３.３.５.１ uv単位長さが指定されている場合
xyz空間でのuv値のスケール（基本長さ）をそれぞれ｛uo,vo｝xyzとした場合は、(uv)->(x,y,z)変換は、図１１の場合、
【００８９】
【数２５】
で与えられる。一方、円筒表面上の任意の(x,y,z)値からuv値を求める場合には、式３１を逆算して、
【００９０】
【数２６】
とする。
【００９１】
３.３.５.２ 上限下限が指定されている場合
二平面のつなぎ目補間のという目的で考えると、あらかじめ各平面で決められたuv値とスムーズにつながるように円筒表面にuvマッピングをしたい（図１２参照）。その場合は、
【００９２】
【数２７】
とすると、v値の基本長さvoは、
【００９３】
【数２８】
で与えられ、相互変換は、
【００９４】
【数２９】
となる。この場合voは式３５により自動的に定まっている。図１２をみれば、円筒表面に沿ったv方向長さ（緑線）は二平面上の長さ（赤線に沿った長さ）に比べて短くなっているのは一目瞭然で、vo値は小さくなると予想され、uvベクトルの縦横比vo/uoは１以下になる。
【００９５】
４．実施例
４.１ 立体スクリーンモデル
４.１.１ 円筒の回転と平行移動
図１３において平面１、２を具体的に、
【００９６】
【数３０】
と定義し、つなぎ目に設置する円筒の半径を、
円筒半径：ｒ
とする。また仮想カメラ位置は、
【００９７】
【数３１】
とする。このとき仮想スクリーンの円筒部について、式１９に関わる諸量は、
【００９８】
【数３２】
となる。
【００９９】
４.１.２ 円筒と平面の接触角度
３.２節の論に従い基本円筒空間内で主軸上の点から各平面への垂線ベクトルを求めると、
【０１００】
【数３３】
となり、y軸となす接触角度はy、z成分から
【０１０１】
【数３４】
である。
【０１０２】
４.２ 立体CCDモデル
４.２.１ 立体CCDの設定
ここではCCD形状を図１３のようにし、CCD面の定義を、
【０１０３】
【数３５】
とすると、二平面に挟まれた円筒の主軸ベクトルｄCCDや回転行列RCCDは立体スクリーンの場合と同じ形式で、
【０１０４】
【数３６】
とできる。
【０１０５】
一方、立体スクリーンのつなぎ目p2に相当するCCDのつなぎ目位置ベクトルは現段階で未定のため、ここでp2_CCDと定義し、具体的に求める。この位置ベクトルは本来一意に定めることが出来ないが、今回は後の便宜のため、カメラ位置vcから俯角θvc方向で、立体CCD面に正対した点（最近接点）をp2_CCDとする（図１３参照）。
これは、別の言い方をすれば、
条件１） vcを通り{CCD1,CCD2}で張られる平面上の点
条件２） 視線ベクトル（p2_CCD-Vc）がxz平面(0,-1,0)となす角度が(π/2)-θvc
ということである。さらに、単平面CCDの概念であった焦点距離は、立体CCDでは、
条件３） 焦点距離ｆはp2_CCD-Vcの長さ
と定義する。これら各条件を式化すると以下のようになる。
【０１０６】
【数３７】
以上の式から２つのCCD平面の交点p2_CCDを求めると、
【０１０７】
【数３８】
となる。この結果を用いて、次に移動ベクトルTCCDを求める。
【０１０８】
まず円筒CCDの主軸上のある定点をpCCD、円筒の半径をrCCDとすると、式６の代わりに以下の式をたてることが出来る。
【０１０９】
【数３９】
これを式８と同様に解くと、
【０１１０】
【数４０】
と得られ、移動ベクトルTCCDは、
【０１１１】
【数４１】
となる。これでモデルの詳細が決定できた。
【０１１２】
なお、以上は立体CCDの設定にある程度自由度を持たせた場合の記述である。標準的な設定では、図１４のように立体スクリーンと立体CCDをvcの正面に並べるように設定することが自然な条件と思われる。この場合、これまでに独立して設定してきた諸量に次の依存関係が成立する。
【０１１３】
【数４２】
更に、スケールを合わせてスクリーンとCCDの円筒半径を相似形に設定する場合には、円筒に関して、
【０１１４】
【数４３】
という関係も成立する。また、参考までに図中のp2'を求めると、３.１.３節の結果より、
【０１１５】
【数４４】
となる。
【０１１６】
４.２.２ 円筒CCDと平面の接触角度
４.１.２節と同じように考えて、基本円筒空間内での各CCDの垂線ベクトルは、
【０１１７】
【数４５】
となり、y軸となす接触角度は、
【０１１８】
【数４６】
である。
【０１１９】
４.２.３ CCD面上のuvマップと座標変換
４.２.３.１ 二平面上のuvマップ
二平面モデルを基本とするため、まず図１５に示す二平面モデルについて記述する。
仮想カメラCCD面内の点pvcはCCD内部座標を(u,v)として、
【０１２０】
【数４７】
と表現される。ここでベクトルu0は前節で示したdCCDと同じ方向を向いており、
【０１２１】
【数４８】
で与える。ここでpixel_sizeは、無次元のuv値を実空間の長さに変換する係数であり、長さの次元を持ち、３.３.５節での｛uo,vo｝xyzに相当する。一方CCDX面のv0方向はCCDX×dCCDで与えられ、
【０１２２】
【数４９】
である。なお、外積に負符号がついているのは式２と同じ理由である。以上で二平面上の(u,v)値が(x,y,z)値に変換される。
【０１２３】
４.２.３.２ 円筒面上のuvマップ
二平面モデルに４.２.１節で論じた円筒CCDを取り入れるには、図１６で示すv1とv2の範囲にある(u,v)値についての円筒表面上のuv変換について論じる必要がある。まず、v1及びv2を決定する前段として、二平面モデルを明確にする。図１５のＯuvは実は図１４のp2_CCDに対応した点であることから、
【０１２４】
【数５０】
となる。これを図１６のＯuvに対応させるために基本円筒空間に射影すると、式１９より、
【０１２５】
【数５１】
となり、図１６から、
【０１２６】
【数５２】
で与えられることが分かる。一方v2については、図１６でＯuvとの２点間の距離を求めて、
【０１２７】
【数５３】
となる。結果として式８１の逆符号である。従ってあるuv値を与えたときに、この(v1,v2)の範囲内にあれば対応点は円筒表面上に存在することになる。
【０１２８】
さて、円筒表面上にuv値を割り当てるやり方は全くの自由であるが、ここでは３.３.５.２節で示したように、円筒表面上のv値を等間隔に割り当てるとする。この場合、yz平面内での角度θvとv値の間に、
【０１２９】
【数５４】
という関係を設定できる。これにより基本円筒空間での点puvは式３６の代わりに、
【０１３０】
【数５５】
と表現でき、元々の実空間に射影して、
【０１３１】
【数５６】
がuv値に対応する実空間内の点になる。
【０１３２】
４.３ 立体CCDと立体スクリーンの関係
前節でuv値からPvcを求めた。このことは、画面上の任意の点uv値に対応した実空間での視線ベクトルが実空間で、
【０１３３】
【数５７】
として求められることを意味する。これらのベクトルを今度は立体スクリーンに関する式１９と式４１及び４２を用いて、基本円筒空間へ射影し、３章で示した直線と円筒の関係等を用いることで、立体スクリーン上の対応点Pscreenを求めることができる。具体的には、基本円筒空間への射影は、
【０１３４】
【数５８】
として基本空間での直線の定数を求め、３.３.２節に従って交点Pscreenを求めればよい。このとき、
【０１３５】
【数５９】
あるいは、所定の接触角度に収まらない等の場合には、戻って実空間で平面と交点を求めることになる。平面との交点を求める手法は先願の説明にあるため、ここでは割愛する。なお、基本円筒空間で求めた点は、逆変換により実空間へ戻し、実空間でのスクリーン上の点Pscreenを決定する。
【０１３６】
４.４立体スクリーンと実カメラの関係
Pscreenが求められれば、後は実カメラCCD面上との対応点を求めることになる。これは直線と平面の交点を求める問題であり、前回の説明にあるため詳細を割愛する。なお、直線は、
【０１３７】
【数６０】
で与えられ、実CCD面との交点を求める問題である。
【０１３８】
５．まとめ
本説明では、「二平面モデルのつなぎ目をなめらかにする」という課題に対して、二平面のつなぎ目に円筒型スクリーン或いは円筒型CCDを適用して、解決を図った。この説明で論じた内容は、円筒形状を用いて視点変換を行う場合の考え方と、実際に必要と思われる式群の導出である。先の出願にて論じた平面モデルに関わる内容は本説明には含まれていない。
【０１３９】
次に、効果を説明する。
実施例１の画像生成装置にあっては、下記に列挙する効果を得ることができる。
【０１４０】
(1) リアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた画像生成装置において、前記仮想投影面として、近景用スクリーン７１と遠景用スクリーン７２を有する仮想立体スクリーンを設定する仮想立体スクリーン設定手段と、前記仮想カメラ８の仮想撮像面として、近景用ＣＣＤ９１と遠景用ＣＣＤ９２を有する仮想立体ＣＣＤを設定する仮想立体ＣＣＤ設定手段と、を設け、前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、少なくとも一方の設定手段は、近景面と遠景面との接合域を曲面により滑らかにつないだ曲面化仮想立体面を設定する手段とし、前記モニタ画像データ生成手段は、曲面化仮想立体面を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、演算処理を簡単にしながら、近景の俯瞰表示と遠景のパース表示をシームレスに接合すると共に、俯瞰表示とパース表示の接合領域での急激な幾何学的変化を緩和することで、違和感を与えない滑らかなモニタ画像データを生成することができる。
【０１４１】
(2) 前記仮想立体スクリーン設定手段は、仮想的な円筒を近景用スクリーン７１と遠景用スクリーン７２の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ，ｄで切り出した一部円筒曲面７３を有する曲面化仮想立体スクリーン７を設定し、前記仮想立体ＣＣＤ設定手段は、仮想的な円筒を近景用ＣＣＤ９１と遠景用ＣＣＤ９２の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ’，ｄ’で切り出した一部円筒曲面９３を有する曲面化仮想立体ＣＣＤを設定し、前記モニタ画像データ生成手段は、相似形による曲面化仮想立体スクリーンと曲面化仮想立体ＣＣＤを用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、相似形による一部円筒曲面７３，９３を用いた簡単な視点変換手法を採用しながら、俯瞰表示とパース表示の接合領域を一定の曲率により滑らかに繋ぐモニタ画像データを生成することができる。
【０１４２】
(3) 前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段に、外部からの設定操作により、相似形による曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９の仮想的な円筒の半径R1,R2を調整制御する円筒半径調整操作ダイアル４３を設けたため、１制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。
【実施例２】
【０１４３】
実施例２は、仮想立体スクリーンと仮想立体ＣＣＤのうち、仮想立体スクリーンのみを曲面化した例である。
【０１４４】
まず、構成を説明する。
図１７は実施例２の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
【０１４５】
実施例２における画像生成装置は、リアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する装置であり、図１７に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、調整操作ダイアル４と、を備えている。
【０１４６】
前記リアカメラ１の被写体側（レンズ軸側）には、図１７に示すように、仮想投影面として、仮想的な円筒を近景用スクリーン７１（近景用投影面）と遠景用スクリーン７２（遠景用投影面）の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ，ｄで切り出した一部円筒曲面７３と、を有する曲面化仮想立体スクリーン７（曲面化仮想立体投影面）が設定される。そして、前記近景用スクリーン７１は、図１７に示すように、地面上に設定される。前記遠景用スクリーン７２は、近景用スクリーン７１のリアカメラ１から遠い側に連接すると共に所定の上向き傾斜角度αを持って設定される。
【０１４７】
前記仮想カメラ８の仮想撮像面として、図１７に示すように、前記近景用スクリーン７１に平行に設定された近景用ＣＣＤ９１（近景用撮像面）と、該近景用ＣＣＤ９１のリアカメラ１から近い側に連接すると共に所定の下向き傾斜角度βを持って設定され遠景用ＣＣＤ９２（遠景用撮像面）と、を有する仮想立体ＣＣＤ９’が設定される。すなわち、曲面化仮想立体スクリーン７と仮想立体ＣＣＤ９’とは非相似形の設定とされる。
【０１４８】
前記調整操作ダイアル４としては、図１７に示すように、仮想カメラ位置調整操作ダイアル４１と、角度調整操作ダイアル４２と、円筒半径調整操作ダイアル４４と、を備えている。
【０１４９】
前記円筒半径調整操作ダイアル４４は、運転者等による外部からの設定操作により、一部円筒曲面７３の仮想的な円筒の半径R1を任意に設定するための円筒半径調整操作手段である。実施例２の場合、曲面化仮想立体スクリーン７と仮想立体ＣＣＤ９’とは非相似形の設定であるため、ダイアル操作によりにより、曲面化仮想立体スクリーン７の円筒半径R1のみが変化する。
なお、他の構成は、実施例１と同様であるので、対応する構成に同一符号を付して説明を省略する。
【０１５０】
次に、作用を説明する。
【０１５１】
［円筒半径の調整によるモニタ映像制御作用］
実施例２の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体スクリーン７の一部円筒曲面７３の仮想的な円筒の半径R1を変化させる円筒半径調整操作ダイアル４４を設けている。
【０１５２】
図１８は実施例２の画像生成装置において一部円筒曲面７３の仮想的な円筒の半径R1を所定の値に設定した場合のモニタ映像例を示す図である。
【０１５３】
すなわち、図４(b)と図１８の比較でも明らかなように、曲面化仮想立体スクリーン７の一部円筒曲面７３の仮想的な円筒の半径R1のみを制御し、仮想立体スクリーンと仮想立体ＣＣＤの相似形を崩すことで、モニタ映像での見え方を制御することができる。
図４(b)に示す場合は、俯瞰表示とパース表示の接合領域に幾何形状が急激に変化するモニタ映像となる。
これに対し、図１８に示す場合、曲面化仮想立体スクリーン７の一部円筒曲面７３の仮想的な円筒の半径R1を与えると、俯瞰表示とパース表示の接合領域の画像を滑らかに繋ぐことができる。加えて、仮想的な円筒の半径R1を大きくすると、俯瞰表示とパース表示の接合領域の画像を横方向に引っ張る効果がある（図１８の矢印は引っ張り方向）。
【０１５４】
このように、曲面化仮想立体スクリーン７の円筒の半径R1を制御することで（制御自由度は１）、使用者あるいは設計者の要求に合わせて適時、モニタ映像を調整することができる。なお、他の作用は、実施例１と同様であるので、説明を省略する。
【０１５５】
次に、効果を説明する。
実施例２の画像生成装置にあっては、実施例１の(1)の効果に加え、下記に列挙する効果を得ることができる。
【０１５６】
(4) 前記仮想立体スクリーン設定手段は、仮想的な円筒を近景用スクリーン７１と遠景用スクリーン７２の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ，ｄで切り出した一部円筒曲面７３を有する曲面化仮想立体スクリーン７を設定し、前記仮想立体ＣＣＤ設定手段は、近景用ＣＣＤ９１と遠景用ＣＣＤ９２の二平面が直線で交わる仮想立体ＣＣＤ９’を設定し、前記モニタ画像データ生成手段は、曲面化仮想立体スクリーン７と二平面が直線で交わる仮想立体ＣＣＤ９’を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、曲面化仮想立体スクリーン７側のみで一部円筒曲面７３を用いた簡単な視点変換手法を採用しながら、俯瞰表示とパース表示の接合領域を一定の曲率により滑らかに繋ぐモニタ画像データを生成することができる。
【０１５７】
(5) 前記仮想立体スクリーン設定手段は、外部からの設定操作により、曲面化仮想立体スクリーンの仮想的な円筒の半径R1を調整制御する円筒半径調整操作ダイアル４４を設けたため、１制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。
【実施例３】
【０１５８】
実施例３は、仮想立体スクリーンと仮想立体ＣＣＤのうち、仮想立体ＣＣＤのみを曲面化した例である。
【０１５９】
まず、構成を説明する。
図１９は実施例３の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
【０１６０】
実施例３における画像生成装置は、リアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する装置であり、図１９に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、調整操作ダイアル４と、を備えている。
【０１６１】
前記リアカメラ１の被写体側（レンズ軸側）には、図１９に示すように、仮想投影面として、地面上に設定された近景用スクリーン７１（近景用投影面）と、該近景用スクリーン７１のリアカメラ１から遠い側に連接すると共に所定の上向き傾斜角度αを持って設定され遠景用スクリーン７２（遠景用投影面）と、を有する仮想立体スクリーン７’が設定される。
【０１６２】
前記仮想カメラ８の仮想撮像面として、図１９に示すように、仮想的な円筒を近景用ＣＣＤ９１（近景用撮像面）と遠景用ＣＣＤ９２（遠景用撮像面）の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ’，ｄ’で切り出した一部円筒曲面９３と、を有する曲面化仮想立体ＣＣＤ９（曲面化仮想立体撮像面）が設定される。そして、前記近景用ＣＣＤ９１は、図１９に示すように、前記近景用スクリーン７１と平行に設定される。前記遠景用ＣＣＤ９２は、近景用ＣＣＤ９１のリアカメラ１から近い側に連接すると共に所定の下向き傾斜角度βを持って設定される。すなわち、仮想立体スクリーン７’と曲面化仮想立体ＣＣＤ９とは非相似形の設定とされる。
【０１６３】
前記調整操作ダイアル４としては、図１９に示すように、仮想カメラ位置調整操作ダイアル４１と、角度調整操作ダイアル４２と、円筒半径調整操作ダイアル４５と、を備えている。
【０１６４】
前記円筒半径調整操作ダイアル４５は、運転者等による外部からの設定操作により、一部円筒曲面９３の仮想的な円筒の半径R2を任意に設定するための円筒半径調整操作手段である。実施例３の場合、仮想立体スクリーン７’と曲面化仮想立体ＣＣＤ９とは非相似形の設定であるため、ダイアル操作によりにより、曲面化仮想立体ＣＣＤ９の円筒半径R2のみが変化する。
なお、他の構成は、実施例１と同様であるので、対応する構成に同一符号を付して説明を省略する。
【０１６５】
次に、作用を説明する。
【０１６６】
［円筒半径の調整によるモニタ映像制御作用］
実施例３の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体ＣＣＤ９の一部円筒曲面９３の仮想的な円筒の半径R2を変化させる円筒半径調整操作ダイアル４５を設けている。
【０１６７】
図２０は実施例３の画像生成装置において一部円筒曲面９３の仮想的な円筒の半径R2を所定の値に設定した場合のモニタ映像例を示す図である。
【０１６８】
すなわち、図４(b)と図２０の比較でも明らかなように、曲面化仮想立体ＣＣＤ９の一部円筒曲面９３の仮想的な円筒の半径R2のみを制御し、仮想立体スクリーンと仮想立体ＣＣＤの相似形を崩すことで、モニタ映像での見え方を制御することができる。
図４(b)に示す場合は、俯瞰表示とパース表示の接合領域に幾何形状が急激に変化するモニタ映像となる。
これに対し、図２０に示す場合、曲面化仮想立体ＣＣＤ９の一部円筒曲面９３の仮想的な円筒の半径R2を与えると、俯瞰表示とパース表示の接合領域の画像を滑らかに繋ぐことができる。加えて、仮想的な円筒の半径R2を大きくすると、俯瞰表示とパース表示の接合領域の画像を横方向に圧縮する効果がある（図２０の矢印は圧縮方向）。
【０１６９】
このように、曲面化仮想立体ＣＣＤ９の円筒の半径R2を制御することで（制御自由度は１）、使用者あるいは設計者の要求に合わせて適時、モニタ映像を調整することができる。なお、他の作用は、実施例１と同様であるので、説明を省略する。
【０１７０】
次に、効果を説明する。
実施例３の画像生成装置にあっては、実施例１の(1)の効果に加え、下記に列挙する効果を得ることができる。
【０１７１】
(6) 前記仮想立体スクリーン設定手段は、近景用スクリーン７１と遠景用スクリーン７２の二平面が直線で交わる仮想立体スクリーン７’を設定し、前記仮想立体ＣＣＤ設定手段は、仮想的な円筒を近景用ＣＣＤ９１と遠景用ＣＣＤ９２の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ’，ｄ’で切り出した一部円筒曲面９３を有する曲面化仮想立体ＣＣＤ９を設定し、前記モニタ画像データ生成手段は、二平面が直線で交わる仮想立体スクリーン７’と曲面化仮想立体ＣＣＤ９を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、曲面化仮想立体ＣＣＤ９側のみで一部円筒曲面９３を用いた簡単な視点変換手法を採用しながら、俯瞰表示とパース表示の接合領域を一定の曲率により滑らかに繋ぐモニタ画像データを生成することができる。
【０１７２】
(7) 前記仮想立体ＣＣＤ設定手段は、外部からの設定操作により、曲面化仮想立体ＣＣＤ９の仮想的な円筒の半径R2を調整制御する円筒半径調整操作ダイアル４５を設けたため、１制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。特に、仮想的な円筒の半径R2を大きくすると、俯瞰表示とパース表示の接合領域の画像を横方向に圧縮するという効果があるため、最適な見え方制御を、円筒半径調整操作ダイアル４５を一方向に操作することで容易に行える。
【実施例４】
【０１７３】
実施例１〜３では円筒を二平面が交わる平面交線領域に接触させて曲面化したのに対し、実施例４は、楕円筒を二平面が交わる平面交線領域に接触させる例である。
【０１７４】
構成的には、図１（スクリーン／ＣＣＤ曲面化）、図１８（スクリーン曲面化）、図２０（ＣＣＤ曲面化）において、一部円筒曲面７３，９３を、円筒を二平面が交わる平面交線領域に接触させて形成したのに対し、楕円筒を二平面が交わる平面交線領域に接触させて形成した点でのみ異なる。
【０１７５】
そして、図示していないが、実施例１，２，３の円筒半径調整操作ダイアル４３，４４，４５に代え、曲面化仮想立体面の仮想的な楕円筒の短軸長さ／長軸長さ／回転角度を調整制御する楕円筒調整操作ダイアル（楕円筒調整操作手段）を設けている。
【０１７６】
次に、作用を説明する。
【０１７７】
［楕円筒調整によるモニタ映像制御作用］
実施例４の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９のうち、曲面化仮想立体面を設定する手段に、一部楕円筒曲面の仮想的な楕円筒の短軸長さ／長軸長さ／回転角度を調整制御する楕円筒調整操作ダイアルを設けている。
【０１７８】
図２１は実施例４の画像生成装置における二平面が交わる平面交線領域に楕円筒を接触させた一例を示す図である。図２２は実施例１〜実施例３の画像生成装置における二平面が交わる平面交線領域に円筒を接触させた一例を示す図である。
【０１７９】
すなわち、実施例１，２，３の場合、一部円筒曲面７３，９３を、円筒を二平面が交わる平面交線領域に接触させて形成しているため、図２２に示すように、平面１と平面２との接触線の相対位置関係は、一意に決まる。この接触線の相対位置関係を制御できるのが円筒半径のみであり、制御自由度は１（円筒半径）となる。
【０１８０】
これに対し、楕円筒を用いた場合には、楕円筒の扁平率及び回転によって、接触線位置を自在に制御し、その間を滑らかに接続できるという利点がある。
つまり、平面１或いは平面２の歪み領域（曲面相当領域）のうち、どちらか一方の領域だけを減らしたい場合には、楕円筒モデルにより対応することができる。例えば、平面２の歪み領域を減らす場合には、図２１のように、楕円筒を回転させて、平面１，２の公差位置から接触線までの距離を、平面１接触距離＜平面２接触距離という関係になるように設定する。
【０１８１】
この楕円筒を用いる場合、図１（スクリーン／ＣＣＤ曲面化）、図１８（スクリーン曲面化）、図２０（ＣＣＤ曲面化）においては、制御自由度は３（短軸長さ／長軸長さ／回転角度）となる。しかし、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９の一部楕円筒曲面を、それぞれ独立に設定する例によるシステムの場合（実施例２と実施例３の組み合わせ実施例）、制御自由度は６となる。
【０１８２】
次に、効果を説明する。
実施例４の画像生成装置にあっては、実施例１の(1)の効果に加え、下記に列挙する効果を得ることができる。
【０１８３】
(8) 前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、少なくとも一方の設定手段は、仮想的な楕円筒を近景用面と遠景用面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部楕円筒曲面を有する曲面化仮想立体面を設定し、前記モニタ画像データ生成手段は、一部楕円筒曲面を有する曲面化仮想立体面を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、一部楕円筒曲面を用いることで、二平面に対する歪み領域を均等に設定することも大小に設定することも可能としながら、俯瞰表示とパース表示の接合領域を曲面により滑らかに繋ぐモニタ画像データを生成することができる。
【０１８４】
(9) 前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の仮想的な楕円筒の短軸長さ／長軸長さ／回転角度を調整制御する楕円筒調整操作ダイアルを設けたため、接線位置の設定を自在とする３制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。特に、図２１に示すように、平面１の歪み領域を増やし平面２の歪み領域を減らす制御により、俯瞰表示側の歪みを緩やかに減少させ、パース表示に繋ぐことができ、最も違和感を抑えた自然な感じのモニタ映像を得ることが可能である。
【実施例５】
【０１８５】
実施例１〜４では円筒や楕円筒を二平面が交わる平面交線領域に接触させて曲面化したのに対し、実施例５は、自由曲線曲面を二平面が交わる平面交線領域に接触させる例である。
【０１８６】
構成的には、図１（スクリーン／ＣＣＤ曲面化）、図１８（スクリーン曲面化）、図２０（ＣＣＤ曲面化）において、一部円筒曲面７３，９３を、円筒を二平面が交わる平面交線領域に接触させて形成したのに対し、自由曲線（パラメトリック３次曲線）によりつないだ自由曲線曲面を二平面が交わる平面交線領域に接触させて形成した点でのみ異なる。
【０１８７】
そして、図示していないが、実施例１，２，３の円筒半径調整操作ダイアル４３，４４，４５に代え、曲面化仮想立体面の２次元平面内で自由曲線の両端の座標値／傾き／曲率を調整制御する自由曲線調整操作ダイアル（楕円筒調整操作手段）を設けている。
【０１８８】
ここで、「パラメトリック３次曲線」とは、ソフトウェアに使われている変曲点がひとつだけ表現できる自由曲線であり、現在、最もよく使われている自由曲線につぎの四つがある。
・エルミート(Hermite)曲線
・ベジェ(Bezier)曲線
・B-スプライン(B-spline)曲線
・カットマル-ロム(Catmul-Rom)曲線
これらは、一般にパラメトリック３次曲線(Parametric Cubic Curve)と呼ばれる。
【０１８９】
次に、作用を説明する。
【０１９０】
［自由曲線の調整によるモニタ映像制御作用］
実施例５の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９のうち、曲面化仮想立体面を設定する手段に、曲面化仮想立体面の２次元平面内で自由曲線の両端の座標値／傾き／曲率を調整制御する自由曲線調整操作ダイアルを設けている。
【０１９１】
図２３は実施例５の画像生成装置における二平面が交わる平面交線領域にエルミート曲線を滑らかに接続させた一例を示す図である。図２４は実施例５の画像生成装置における二平面が交わる平面交線領域にエルミート曲線を、有角を持たせて接続させた一例を示す図である。
【０１９２】
基本的に自由曲線の与え方は無限であるが、よく知られる曲線の与え方として、比較的重度が高いのは、パラメトリック３次曲線の一つであるエルミート曲線である。
この場合、図２３及び図２４に示すように、２次元平面内で自由曲線の両端の座標値／傾き／曲率を与え、その間を３次曲線で補間する。
【０１９３】
図２３に示すように、境界線が平面上に固定され、傾きが平面と一致している場合は、制御自由度は４である。従って、この自由曲線を用いて実施例１〜４と同様に、曲面を与えてやれば自由度はより向上することになる。
【０１９４】
さらに、図２４に示すように、境界線が平面上に固定され、傾きが平面と有角を持って接続される場合は、制御自由度は６である。従って、この自由曲線を用いて実施例１〜４と同様に、曲面を与えてやれば自由度は、図２３の例より向上することになる。
【０１９５】
図２３の自由曲線曲面を用いる場合、図１（スクリーン／ＣＣＤ曲面化）、図１８（スクリーン曲面化）、図２０（ＣＣＤ曲面化）においては、制御自由度は４（平面１との座標値／平面２との座標値／傾き／曲率）となる。図２４の自由曲線曲面を用いる場合、平面１との交差角度値／平面２との交差角度値が加わって制御自由度は６となる。しかし、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９の自由曲線曲面を、それぞれ独立に設定する例によるシステムの場合（実施例２と実施例３の組み合わせ実施例）、図２３の自由曲線曲面を用いると制御自由度は８、図２４の自由曲線曲面を用いると制御自由度は１２となる。
【０１９６】
次に、効果を説明する。
実施例５の画像生成装置にあっては、実施例１の(1)の効果に加え、下記に列挙する効果を得ることができる。
【０１９７】
(10) 前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、少なくとも一方の設定手段は、近景用面と遠景用面の二平面が交わる平面交線領域を自由曲線によりつないだ自由曲線曲面を有する曲面化仮想立体面を設定し、前記モニタ画像データ生成手段は、自由曲線曲面を有する曲面化仮想立体面を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、自由曲線曲面を用いることで、高い自由度により曲面化を達成しながら、俯瞰表示とパース表示の接合領域を曲面により滑らかに繋ぐモニタ画像データを生成することができる。
【０１９８】
(11) 前記自由曲線は、二平面との境界線が平面上に固定され、傾きが平面と一致しているパラメトリック３次曲線であり、前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の２次元平面内で自由曲線の両端の座標値／傾き／曲率を調整制御する自由曲線調整操作ダイアルを設けたため、４制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。
【０１９９】
(12) 前記自由曲線は、二平面との境界線が平面上に固定され、二平面とは有角を持って接合されているパラメトリック３次曲線であり、前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の２次元平面内で自由曲線の両端の交差角度値／両端の座標値／傾き／曲率を調整制御する自由曲線調整操作ダイアルを設けたため、６制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。
【実施例６】
【０２００】
実施例５は、自由曲線曲面を二平面が交わる平面交線領域に接触させる例であるのに対し、実施例６は、曲面化を拡張して平面を無くした自由曲面を用いた例である。
【０２０１】
構成的には、図１（スクリーン／ＣＣＤ曲面化）、図１８（スクリーン曲面化）、図２０（ＣＣＤ曲面化）において、一部円筒曲面７３，９３を、円筒を二平面が交わる平面交線領域に接触させて形成したのに対し、平面と曲面の境界を取り外し、曲面を拡張することで、近景用面と遠景用面を基準として全体を滑らかに接合した自由曲面によりスクリーン曲面化やＣＣＤ曲面化を達成した点でのみ異なる。
【０２０２】
そして、図示していないが、実施例１〜実施例５と同様に、曲面化仮想立体面の自由曲面の３次元曲面形状を調整制御する自由曲面調整操作レバー（自由曲面調整操作手段）を設けている。
【０２０３】
次に、作用を説明する。
【０２０４】
［自由曲面の形状調整によるモニタ映像制御作用］
実施例６の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９のうち、曲面化仮想立体面を設定する手段に、曲面化仮想立体面の自由曲面の３次元曲面形状を調整制御する自由曲面調整操作ダイアルを設けている。
【０２０５】
図２５は実施例６の画像生成装置における曲面化仮想立体スクリーンと曲面化仮想立体ＣＣＤを共に自由曲面とした一例を示す図である。
【０２０６】
基本的に自由曲面の与え方は無限であるため、図２５に示すように、曲面化仮想立体スクリーンと曲面化仮想立体ＣＣＤを共に自由曲面とした場合、制御自由度も無限となり、レバー操作により設定した任意の自由曲面を用い、所望するモニタ映像となるように映像変形をすることができる。
【０２０７】
次に、効果を説明する。
実施例６の画像生成装置にあっては、実施例１の(1)の効果に加え、下記に列挙する効果を得ることができる。
【０２０８】
(13) 前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、少なくとも一方の設定手段は、近景用面と遠景用面を基準として全体を滑らかに接合した自由曲面を有する曲面化仮想立体面を設定し、前記モニタ画像データ生成手段は、自由曲面を有する曲面化仮想立体面を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、自由曲面を用いることで、俯瞰表示領域からパース表示領域までの全体領域を曲面により滑らかに繋ぐモニタ画像データを生成することができる。
【０２０９】
(14) 前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、自由曲面の３次元形状を調整制御する自由曲面調整操作レバーを設けたため、高制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。
【０２１０】
以上、本発明の画像生成装置を実施例１〜実施例６に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【０２１１】
実施例１〜６では、リアカメラを１台のみ設置し、１台のリアカメラにより取得した単独のカメラ映像データの各画素位置を座標変換してモニタ画像データを生成する例を示した。しかし、車載カメラの台数を１台に限定するものではなく、１台の実カメラと１台または複数台の補助カメラを設置しても良い。例えば、俯瞰映像において、実カメラであるリアカメラCCDから見て死角領域（両端部分）の映像が失われることがあるが、この場合、他の車載カメラ（補助カメラ）からの映像を利用し、死角領域の映像を補完するようにしても良い。
【０２１２】
実施例２では、曲面化仮想立体スクリーン７の円筒の半径R1のみを制御する例を示し、実施例３では、曲面化仮想立体ＣＣＤ９の円筒の半径R2のみを制御する例を示した。しかし、実施例２，３の組み合わせ実施例（非相似型スクリーン／ＣＣＤによる制御）とすることもできる。この場合、曲面化仮想立体スクリーン７の円筒の半径R1と、曲面化仮想立体ＣＣＤ９の円筒の半径R2が独立に制御されることで、システムの制御自由度は２となり、図１８と図２０の中間的な画像を自在に得ることができるというように、実施例２，３より詳細な制御ができる。
【０２１３】
実施例１〜６では、モニタ表示画像として、近景の俯瞰表示画像と遠景のパース表示画像とがシームレスに接合された画像とする例を示したが、例えば、近景の俯瞰表示画像と遠景のパース表示画像との間に仕切り線を設定したモニタ表示画像としても良い。すなわち、本発明は、近景の俯瞰表示と遠景のパース表示をシームレスに、かつ、滑らかに接合するモニタ画像データを生成するものであり、モニタ画像データに基づいて作成されるモニタ表示画像についてまで接合という条件を規定するものではない。例えば、視認性やデザイン性等を考慮して予め作成された仕切り線や枠組み等を施すベース画像に、生成したモニタ画像データに基づく俯瞰画像とパース画像を組み込み、両画像の合成画像をモニタへの表示画像とするようにしても良い。
【産業上の利用可能性】
【０２１４】
実施例１〜６では、車両に搭載されるリアカメラへの適用例を示したが、車両に搭載されるサイドカメラやフロントカメラへも適用できるし、また、車両以外に、店舗等に設置される監視カメラへも適用でき、監視カメラへ適用した場合には、カメラの設置台数やモニタの設置台数を大幅に減らすことができるというメリットを持つ。
【図面の簡単な説明】
【０２１５】
【図１】実施例１の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
【図２】実施例１の画像生成装置において仮想立体投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
【図３】仮想立体スクリーンを近景用スクリーンと遠景用スクリーンの二平面により設定し、仮想立体ＣＣＤを近景用ＣＣＤと遠景用ＣＣＤの二平面により設定した例を示す図である。
【図４】モニタ映像の比較例であり、(a)は実カメラからの映像データをそのまま用いたモニタ映像例を示し、(b)は図３に基づいた視点変換でのモニタ映像例を示し、(c)は実施例１に基づいた視点変換でのモニタ映像例を示す。
【図５】実施例１の画像生成装置において一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を図４(b)と図４(c)の中間の大きさに設定した場合のモニタ映像例を示す図である。
【図６】実施例１の画像生成装置における各種座標変換の相互作用を示す図である。
【図７】円筒モデルを用いた視点変換手法の説明において円筒設定の手順を示す図である。
【図８】円筒モデルを用いた視点変換手法の説明において平面と実円筒及びその主軸を示す図である。
【図９】円筒モデルを用いた視点変換手法の説明においてターゲット円筒主軸の回転行列を示す図である。
【図１０】円筒モデルを用いた視点変換手法の説明において円筒と平面の接触角度の定義を示す図である。
【図１１】円筒モデルを用いた視点変換手法の説明において基本円筒表面のuvマップを示す図である。
【図１２】円筒モデルを用いた視点変換手法の説明においてv1及びv2があらかじめ決まっている場合を示す図である。
【図１３】円筒モデルを用いた視点変換手法の説明において全体配置の例を示す図である。
【図１４】円筒モデルを用いた視点変換手法の説明において標準的なＣＣＤ設定例を示す図である。
【図１５】円筒モデルを用いた視点変換手法の説明において２平面モデルの場合を示す図である。
【図１６】円筒モデルを用いた視点変換手法の説明において基本円筒空間内でのＣＣＤのuvマッピング例を示す図である。
【図１７】実施例２の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
【図１８】実施例２の画像生成装置において一部円筒曲面７３の仮想的な円筒の半径R1を所定の値に設定した場合のモニタ映像例を示す図である。
【図１９】実施例３の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
【図２０】実施例３の画像生成装置において一部円筒曲面９３の仮想的な円筒の半径R2を所定の値に設定した場合のモニタ映像例を示す図である。
【図２１】実施例４の画像生成装置における二平面が交わる平面交線領域に楕円筒を接触させた一例を示す図である。
【図２２】実施例１〜実施例３の画像生成装置における二平面が交わる平面交線領域に円筒を接触させた一例を示す図である。
【図２３】実施例５の画像生成装置における二平面が交わる平面交線領域にエルミート曲線を滑らかに接続させた一例を示す図である。
【図２４】実施例５の画像生成装置における二平面が交わる平面交線領域にエルミート曲線を、有角を持たせて接続させた一例を示す図である。
【図２５】実施例６の画像生成装置における曲面化仮想立体スクリーンと曲面化仮想立体ＣＣＤを共に自由曲面とした一例を示す図である。
【符号の説明】
【０２１６】
１ リアカメラ（実カメラ）
２ 画像処理コントローラ
２１ デコーダ間変換部
２２ 座標変換処理部
２３ ＲＯＭ
２４ ＲＡＭ
２５ エンコーダ変換部
３ モニタ
４ 調整操作ダイアル
４１ 仮想カメラ位置調整操作ダイアル
４２ 角度調整操作ダイアル
４３，４４，４５ 円筒半径調整操作ダイアル
７ 曲面化仮想立体スクリーン
７’ 仮想立体スクリーン
７１ 近景用スクリーン
７２ 遠景用スクリーン
７３ 一部円筒曲面
８ 仮想カメラ
９ 曲面化仮想立体ＣＣＤ
９’ 仮想立体ＣＣＤ
９１ 近景用撮像面
９２ 遠景用撮像面
９３ 一部円筒曲面
ａ，ｂ 仮想カメラ８の位置
ｃ，ｄ，ｃ’，ｄ’ 接触線
α スクリーン傾斜角度
β ＣＣＤ傾斜角度
R1,R2 仮想的な円筒の半径
【技術分野】
【０００１】
本発明は、実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、カメラ映像データからモニタ画像データを生成する画像生成装置に関する。
【背景技術】
【０００２】
従来、運転支援装置としては、車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供することを目的とし、車両の動きに連動して、複数の撮影装置により撮像された複数のカメラ映像を１つの視点から見た俯瞰映像として表示させる１視点映像と、複数のカメラ映像を分割画面に表示した多視点映像とを切り換えるものが知られている（例えば、特許文献１参照）。
【０００３】
また、従来の画像生成装置としては、数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示するものが知られている（例えば、特許文献２参照）。
【特許文献１】特開２００５−２３６４９３号公報
【特許文献２】特許第３２８６３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載された運転支援装置にあっては、１視点映像の場合、俯瞰映像を表示させるため、近景のみの表示となり、多視点映像の場合、カメラ映像を表示させるため、遠景のみの表示となり、車両の周囲状況を的確に認識するには選択操作を要する、という問題があった。
【０００５】
さらに、１視点映像の場合も多視点映像の場合も複数のカメラ映像を用いるものであるため、合成画像や分割画像に連続性が無く、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
【０００６】
また、上記特許文献２に記載された画像生成装置にあっては、数台のカメラで撮影しているエリアの全体の様子を一枚に合成した画像にて表示しようとするものであるため、合成画像に連続性を持たせるには、複数のカメラ画像から特徴点を抽出する特徴点抽出手段と、複数個の特徴点を用いて表示画面の較正を行うキャリブレーション手段と、を設ける必要があり、モニタ画像データを生成するための演算処理が複雑になってしまう。
【０００７】
一方、特徴点抽出手段やキャリブレーション手段を用いないと、合成画像に連続性が無くなり、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
【０００８】
本発明は、上記問題に着目してなされたもので、演算処理を簡単にしながら、近景の俯瞰表示と遠景のパース表示をシームレスに接合すると共に、俯瞰表示とパース表示の接合領域での急激な幾何学的変化を緩和することで、違和感を与えない滑らかなモニタ画像データを生成することができる画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明では、実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた画像生成装置において、
前記仮想投影面として、近景用投影面と遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、近景用撮像面と遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、を設け、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、近景面と遠景面の接合域を曲面により滑らかにつないだ曲面化仮想立体面を設定する手段とし、
前記モニタ画像データ生成手段は、曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする。
【発明の効果】
【００１０】
よって、本発明の画像生成装置にあっては、仮想立体投影面と仮想立体撮像面のうち、少なくとも一方を曲面化仮想立体面とし、モニタ画像データ生成手段において、曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データが生成される。
このように、視点変換により実カメラにより取得したカメラ映像データからモニタ画像データを生成するものである。このため、複数のカメラ映像データを用いる従来技術のように、合成画像に連続性を持たせるために特徴点を抽出してキャリブレーションを行う必要が無く、連続性を持つモニタ画像データを得るための演算処理を簡単にすることができる。
さらに、仮想カメラから仮想立体投影面を見たとき、仮想立体撮像面の近景用撮像面に投影される画像は近景を上から眺めた俯瞰画像となる。また、仮想カメラから仮想立体投影面を見たとき、仮想立体撮像面の遠景用撮像面に投影される画像は遠景を眺めたパース画像となる。しかも、仮想立体投影面と仮想立体撮像面のうち、少なくとも一方は近景面と遠景面の接合域を曲面により滑らかにつないだ曲面化仮想立体面に設定されているため、俯瞰表示とパース表示の接合領域での急激な幾何学的変化が緩和される。つまり、曲面化仮想立体面を用いた視点変換により生成されるモニタ画像データは、近景の俯瞰表示と遠景のパース表示とをシームレスに接合するデータであるばかりでなく、近景の俯瞰表示と遠景のパース表示を滑らかに繋ぐように表示するデータとなる。
この結果、演算処理を簡単にしながら、近景の俯瞰表示と遠景のパース表示をシームレスに接合すると共に、俯瞰表示とパース表示の接合領域での急激な幾何学的変化を緩和することで、違和感を与えない滑らかなモニタ画像データを生成することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の画像生成装置を実現する最良の形態を、図面に示す実施例１〜実施例６に基づいて説明する。
【実施例１】
【００１２】
まず、構成を説明する。
図１は実施例１の車両のリアカメラに適用された画像生成装置を示す全体システム図である。図２は実施例１の画像生成装置において仮想立体投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
【００１３】
実施例１における画像生成装置は、リアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する装置であり、図１に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、調整操作ダイアル４と、を備えている。
【００１４】
前記リアカメラ１は、図１に示すように、車両の後部位置に取り付けられ、車両の後方景色を映し出す。このリアカメラ１の実撮像面（リアカメラＣＣＤ）に投影される画像によりカメラ映像データを取得する。
【００１５】
このリアカメラ１の被写体側（レンズ軸側）には、図１及び図２に示すように、仮想投影面として、仮想的な円筒を近景用スクリーン７１（近景用投影面）と遠景用スクリーン７２（遠景用投影面）の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ，ｄで切り出した一部円筒曲面７３と、を有する曲面化仮想立体スクリーン７（曲面化仮想立体投影面）が設定される。そして、前記近景用スクリーン７１は、図１に示すように、地面上に設定される。前記遠景用スクリーン７２は、近景用スクリーン７１のリアカメラ１から遠い側に連接すると共に所定の上向き傾斜角度αを持って設定される。これは、特許請求の範囲の仮想立体投影面設定手段に相当する。
【００１６】
また、リアカメラ１より高い位置には、図１及び図２に示すように、リアカメラ１からの水平方向距離ａ、地面からの垂直方向距離ｂ、により規定される位置に仮想カメラ８が設定される。
【００１７】
さらに、前記仮想カメラ８の仮想撮像面として、図１及び図２に示すように、仮想的な円筒を近景用ＣＣＤ９１（近景用撮像面）と遠景用ＣＣＤ９２（遠景用撮像面）の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ’，ｄ’で切り出した一部円筒曲面９３と、を有する曲面化仮想立体ＣＣＤ９（曲面化仮想立体撮像面）が設定される。そして、前記近景用ＣＣＤ９１は、前記近景用スクリーン７１に平行に設定される。前記遠景用ＣＣＤ９２は、前記近景用ＣＣＤ９１のリアカメラ１から近い側に連接すると共に所定の下向き傾斜角度βを持って設定される。なお、図２は曲面化仮想立体ＣＣＤ９を仮想カメラ８の位置を挟んで前側に移して表示したもので、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９とは相似形の設定とされる。これは、特許請求の範囲の仮想立体撮像面設定手段に相当する。
【００１８】
前記画像処理コントローラ２は、図１に示すように、デコーダ間変換部２１と、座標変換処理部２２と、ＲＯＭ２３と、ＲＡＭ２４と、エンコーダ変換部２５と、を有する。
【００１９】
前記デコーダ間変換部２１は、リアカメラ１に接合されているデコーダと、座標変換処理部２２にて想定しているデコーダと、の相違に基づき、両デコーダ間でカメラ入力座標系からデコーダ変換座標系へとデータ座標系を変換する。なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。
【００２０】
前記座標変換処理部２２は、リアカメラ１により取得した単独のカメラ映像データとして前記デコーダ間変換部２１からのデコーダ変換座標系を入力し、前記ＲＯＭ２３に予め記憶設定されているマッピングテーブルを用いる。そして、座標変換にしたがって仮想カメラ８の曲面化仮想立体ＣＣＤ９上にカメラ映像データの各画素を移し、仮想カメラ８から曲面化仮想立体スクリーン７を見たときに曲面化仮想立体ＣＣＤ９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成する（モニタ画像データ生成手段）。
【００２１】
前記ＲＯＭ２３は、曲面化仮想立体ＣＣＤ９上での一つの画素位置を指定し、曲面化仮想立体スクリーン７上で指定した一つの画素位置に対応する第１対応位置を決め、リアカメラ１の撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行って作成したマッピングテーブルを記憶設定しておくメモリである。
【００２２】
このマッピングテーブルの作成時、リアカメラ１により取得した単独のカメラ映像データの各画素位置と、曲面化仮想立体スクリーン７を介した仮想カメラ８の曲面化仮想立体ＣＣＤ９上の各画素位置と、の間で座標変換される。また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ１により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、曲面化仮想立体ＣＣＤ９の座標系としている。なお、マッピングテーブルには、仮想カメラ８の位置（ａ，ｂ）と、スクリーン傾斜角度αと、撮像面傾斜角度βと、一部円筒曲面７３，９３の半径R1,R2に応じて、複数のマッピングテーブルが記憶設定されている。そして、細かな位置設定や角度設定や半径設定に対しては、例えば、補間法を用いて対応するようにしている。
【００２３】
前記ＲＡＭ２４は、書き換え可能な情報を記憶設定しておくメモリである。
実施例１は、視点変換手法に基づき作成したマッピングテーブルを予めＲＯＭ２３に記憶設定しておき、カメラ映像データをモニタ３に映し出すモニタ画像データとするために座標変換処理を行うようにした例である。しかし、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するようなシステムとした場合、このＲＡＭ２４に、各画素等の座標変換式を記憶設定しておく。
【００２４】
前記エンコーダ変換部２５は、前記座標変換処理部２２により生成されたモニタ画像データを、例えば、運転者視点対応の左右反転処理を含んで、モニタ３に映し出す画像データに変換する。なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。
【００２５】
前記モニタ３は、車室内のインスツルメントパネル位置等に設定され、画像処理コントローラ２からの画像データに基づいて、近景の俯瞰表示と遠景のパース表示（地平線上の映像も含む）とが、連続的で滑らかに変化する合成画像を表示する。
【００２６】
前記調整操作ダイアル４としては、図１に示すように、仮想カメラ位置調整操作ダイアル４１と、角度調整操作ダイアル４２と、円筒半径調整操作ダイアル４３と、を備えている。
【００２７】
前記仮想カメラ位置調整操作ダイアル４１は、運転者等による外部からの設定操作により任意の空間位置に仮想カメラ８を設定するための仮想カメラ位置調整操作手段である。この仮想カメラ位置調整操作ダイアル４１では、リアカメラ１からの水平方向距離ａ（例えば、2m）と、地面からの垂直方向距離ｂ（例えば、3m）と、を独立に設定できるようにしている。
【００２８】
前記角度調整操作ダイアル４２は、運転者等による外部からの設定操作により、遠景用スクリーン７２の近景用スクリーン７１に対する上向き傾斜角度αと、遠景用ＣＣＤ９２の近景用ＣＣＤ９１に対する下向き傾斜角度βと、を任意に設定（例えば、初期設定角度を45°とし、30°〜90°の角度範囲を調整範囲とする。）するための角度調整操作手段である。実施例１の場合、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９とは相似形の設定であるため、傾斜角度α＝傾斜角度βであり、ダイアル操作により両傾斜角度α，βが同期して変化する。
【００２９】
前記円筒半径調整操作ダイアル４３は、運転者等による外部からの設定操作により、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を任意に設定（例えば、ダイアル４３を右方向に回せば半径が徐々に拡大し、左方向に回せば半径が徐々に縮小する。）するための円筒半径調整操作手段である。実施例１の場合、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９とは相似形の設定であるため、ダイアル操作により、円筒の半径R1,R2は相似形を保つように同期して変化する。
【００３０】
次に、作用を説明する。
【００３１】
実施例１の画像生成装置は、仮想カメラ８と、一部円筒曲面７３を有する曲面化仮想立体スクリーン７と、一部円筒曲面９３を有する曲面化仮想立体ＣＣＤ９と、を用いた視点変換手法により、モニタ画像データを生成するものである。
【００３２】
実施例１の発明ポイントは、
・仮想撮像面（ＣＣＤ）を立体化すると共に曲面化する。
・仮想投影面（スクリーン）を立体化すると共に曲面化する。
・曲面化形状（円筒半径）を制御することで見え方を制御する。
ことにある。
以下、実施例１の画像生成装置における作用として、［カメラ映像データからのモニタ映像生成作用］、［円筒半径の調整によるモニタ映像制御作用］、［円筒モデルを用いた視点変換手法］について説明する。
【００３３】
［カメラ映像データからのモニタ映像生成作用］
実施例１の画像生成装置にあっては、仮想立体スクリーンと仮想立体ＣＣＤのうち、その両方を共に曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９とし、この曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データが生成される。
【００３４】
このように、視点変換により１台のリアカメラ１により取得したカメラ映像データからモニタ画像データを生成するものである。このため、複数のカメラ映像データを用いる従来技術のように、合成画像に連続性を持たせるために特徴点を抽出してキャリブレーションを行う必要が無く、連続性を持つモニタ画像データを得るための演算処理を簡単にすることができる。
【００３５】
さらに、仮想カメラ８から曲面化仮想立体スクリーン７を見たとき、曲面化仮想立体ＣＣＤ９の近景用ＣＣＤ９１に投影される画像は近景を上から眺めた俯瞰画像となる。
また、仮想カメラ８から曲面化仮想立体スクリーン７を見たとき、曲面化仮想立体ＣＣＤ９の遠景用ＣＣＤ９２に投影される画像は遠景を眺めたパース画像となる。
【００３６】
しかも、曲面化仮想立体スクリーン７は、近景用スクリーン７１と遠景用スクリーン７２の平面交線領域を、二平面との接触線上で傾きが一致する一部円筒曲面７３により滑らかにつないでいる。また、曲面化仮想立体ＣＣＤ９は、近景用ＣＣＤ９１と遠景用ＣＣＤ９２の平面交線領域を、二平面との接触線上で傾きが一致する一部円筒曲面９３により滑らかにつないでいる。
【００３７】
このため、俯瞰表示とパース表示の接合領域での急激な幾何学的変化が緩和される。つまり、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９を用いた視点変換により生成されるモニタ画像データは、近景の俯瞰表示と遠景のパース表示とをシームレスに接合するデータであるばかりでなく、近景の俯瞰表示と遠景のパース表示を滑らかに繋ぐように表示するデータとなる。
【００３８】
ちなみに、図３は仮想立体スクリーンを近景用スクリーンと遠景用スクリーンの二平面により設定し、仮想立体ＣＣＤを近景用ＣＣＤと遠景用ＣＣＤの二平面により設定した例を示す図である。また、図４はモニタ映像の比較例であり、(a)は実カメラからの映像データをそのまま用いたモニタ映像例を示し、(b)は図３に基づいた視点変換でのモニタ映像例を示し、(c)は実施例１に基づいた視点変換でのモニタ映像例を示す。
【００３９】
図４の(a),(b)を比較すると、図４の(a)の場合、全体的に遠近感はあるものの、近景の距離感を認識できない。これに対し、図４の(b)の場合、モニタ映像の下側部分が俯瞰映像で上側部分がパース映像となっていることで、遠近感を損なうことなく、車両に近い近景の距離感を認識できる。
【００４０】
図４の(b),(c)を比較すると、図４の(b)の場合、近景の俯瞰表示と遠景のパース表示がシームレスに接合されているが、その接合部分で幾何形状が急激に変化しているため、違和感を与える。これに対し、図４の(c)の場合、俯瞰表示とパース表示の接合領域での急激な幾何学的変化が緩和され、違和感を与えない滑らかなモニタ画像となっている。
【００４１】
［円筒半径の調整によるモニタ映像制御作用］
実施例１の画像生成装置にあっては、運転者等による外部からの設定操作により、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９との相似形を保つように同期して変化させる円筒半径調整操作ダイアル４３を設けている。
【００４２】
図５は実施例１の画像生成装置において、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を、図４(b)と図４(c)の中間の大きさに設定した場合のモニタ映像例を示す図である。
【００４３】
すなわち、図４(b),(c)と図５の比較でも明らかなように、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を制御することで、モニタ映像での見え方を制御することができる。
【００４４】
例えば、図４(c)に示すように、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を大きな半径に設定した場合、俯瞰表示とパース表示の接合領域の画像を横方向に圧縮する効果がある（図４(c)の矢印は圧縮方向）。
【００４５】
一方、図５に示すように、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を小さな半径に設定した場合、俯瞰表示とパース表示の接合領域の画像を横方向に引っ張る効果がある（図５の矢印は引っ張り方向）。
【００４６】
ちなみに、図４(b)に示す場合は、一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を極端に小さくした、あるいは、ゼロとしたものであり、俯瞰表示とパース表示の接合領域の画像が最も横方向に引っ張られたものとなっている。
【００４７】
このように、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９の円筒の半径R1,R2を制御することで（制御自由度は１）、使用者あるいは設計者の要求に合わせて適時、モニタ映像を調整することができる。
【００４８】
［円筒モデルを用いた視点変換手法］
実施例１の画像生成装置における相互変換処理の全体像を図６に示す。なお、図６は、カメラ：CC-445（クラリオン製）、デコーダ：PCCAP（I/Oデータ製）、を用いた場合の実施例を示している。
この一連の処理では、ピンホールカメラを前提とした変換処理を、広角カメラの特性に合わせるための歪み補正処理も含まれる。具体的には図６内の矢印で示す６つの変換、すなわち、
・デコーダ間変換、
・ｙ軸変換、
・歪み補正変換、
・ピンホールカメラ変換、
・視点変換、
・エンコーダ変換、
を順番の処理することで対応点計算を行っている。
なお、二平面モデルによる視点変換手法については、本出願人が先に出願した特願２００６−２６０４２５号の明細書の記載に譲るものとし、ここでは、円筒モデルを用いた視点変換手法について説明する。
【００４９】
１．背景および目的
二平面モデルによる視点変換手法において、二平面のつなぎ目をなめらかに処理する目的で、円筒型の仮想スクリーンを用いる手法について説明する。
【００５０】
２．円筒型スクリーンの概念
図２が円筒型スクリーンを用いた概念図である。二平面モデルのつなぎ目に円筒の一部を切り出しあてがい、平面のつなぎ目は仮想カメラから見えないようにしている。同時に仮想CCDのつなぎ目もなめらかにしている。実際にはスクリーンあるいはCCDどちらか一方をなめらかにつなぐことで、得られる画像は相当程度滑らかになるため、両方とも曲面化する必要があるかは生成された映像を見て判断をすることになる。なお、実カメラは二平面モデルと同様であり、ここには示していない。
【００５１】
数学的に円筒を取り扱う場合に、表現手法が幾つかある。本説明では、基本円筒を回転/移動して設定する手法をとっている。そのイメージを図７に示す。本説明では、ｘ軸を主軸とし、原点に設置された円筒を「基本円筒」と名付ける。この基本円筒を、
1. 原点を中心としてz軸及びy軸回転
2. 平行移動
の２段階処理により図７のように二平面のつなぎ目に合わせる。これら処理を施した円筒を「実円筒」と名付ける。したがって、本説明で扱う円筒の数学的な表記は、
・回転行列
・平行移動ベクトル
が基本となる。これに平面とのつなぎ目（或いは円筒の切り出し）位置として、
・接触角度（始点及び終点）
を付与して、切り出す円筒を定義する。詳細は３.２節で示す。
【００５２】
次節では以上の表記の具体的に示していく。なお、円筒と直線の交点を求めるなど幾つか相互作用の計算を示す場合には、基本円筒で計算している場合がほとんどであるが、実円筒と混乱しないように注意する必要がある。もし、基本円筒空間で相互作用の結果を用いる場合には実空間へ相互変換しなければならない。この相互変換は手間のようであるが、実空間で相互作用を計算する手間に比べ、基本円筒空間で処理するほうが、結果的により簡便であると判断した。特に接触角度のように非対称な形状はこのほうが扱いやすい。
【００５３】
３．具体的な手順
３.１ 基本円筒とターゲット円筒の相互変換
３.１.１ 実円筒の主軸
まず、ここでは前節で述べた回転処理及び平行移動処理について論じる。最初に示すのは実円筒の主軸である。なお、本説明では直線表現は、方向ベクトルｄを、定点ベクトルPoをとした場合、
【００５４】
【数１】
とする。
【００５５】
平面と円筒の関係を図示したのが図８である。この図８を眺めると、主軸の方向ベクトルｄは２平面の線ベクトルに直交しているハズであり、次式で簡単に求められる。
【００５６】
【数２】
ここで負符号なのは、座標系が反転しているためである。即ち、
【００５７】
【数３】
という関係がある。即ち座標系が反転している効果を符号反転で取り入れることで、外積演算を通常座標系と同じ手順で演算できる。以降で外積表現を使っている場合は、特に何もなければ式２と同様に符号反転を考慮してあり、各成分を計算する場合には、従来の演算手法をそのまま用いるものとする。一方、内積については特に注意は必要ない。
【００５８】
さて、定点ベクトルPoは主軸上のどの点でもよいため、何らかの束縛条件を付与しなければ一意に定められない。まずPoが各平面から円筒半径分の距離ｒにあるとすると、
【００５９】
【数４】
という関係がある。これを解くために式３を再構成して、
【００６０】
【数５】
として定数項rrと定義すると、
【００６１】
【数６】
という、直線を記述する束縛条件が得られる。なお、下付文字は各座標成分を表す。式７では３つの式が得られているが、直線の関係を表しているため独立なのは実質２つだけである。実際に解くときには、ｄの各成分が全て非ゼロであればどの２つの式を選んでもよい。ここからさらに点を特定したい場合には、先にも述べたように別の束縛条件を導入する必要がある。例えば「原点に最も近い点」という束縛条件を設定すると、ラグランジュの未定乗数法から、
【００６２】
【数７】
が得られる。３式あるのは、式７から選ぶ２式の組み合わせの違いであり、いずれも同じ値を与える。以上の手続きにより、実空間で２平面に接する半径ｒの実円筒の主軸について、その定数を定めることが出来る。
【００６３】
３.１.２ 基本円筒の回転行列
実円筒の主軸が定まったため、図９に示すような基本円筒の主軸を実円筒の主軸へ変換するための回転行列Ｒを求めることができる。具体的に実円筒の主軸方向が、
【００６４】
【数８】
と得られた場合、基本円筒の主軸ベクトル、
【００６５】
【数９】
をｄに変換する行列を求めることになる。ここでは、z軸回転Rz(θ)とy軸回転Ry(ψ)の組み合わせにより、
【００６６】
【数１０】
と分解することにする。このとき回転角度（θ，ψ）は図中にあるように、
θ：ｄがy軸となす角度
ψ：ｄzxがx軸となす角度（ｄzxはｄをxz平面に射影したベクトル）
となり、
【００６７】
【数１１】
で与えられ、回転行列は
【００６８】
【数１２】
に、式１２及び式１３を代入することで求められる。
【００６９】
３.１.３ 円筒の移動ベクトル
主軸の回転が決定できれば、次の問題は、基本円筒の原点を主軸線のどこに移動させるかという問題が残る。３.１.１節では、原点に最も近い位置を代表点Poとした。しかし後での便宜を考えれば、仮想カメラ位置vcに最も近い点を代表点とし、これを基本円筒空間の原点に対応させておくのが便利である。以下で例示するのはその手順である。
主軸上の任意の点ｐは前出の値と、媒介変数ｔにより、
【００７０】
【数１３】
と表される。この点が仮想カメラ位置vcに最も近くなるようにするには、
【００７１】
【数１４】
を最小化するｔを求めればよい。結果は、
【００７２】
【数１５】
となる。このｔを代入することで、vcに最も近い主軸上の一点が求められる。この点を表す位置ベクトルは、そのまま原点からの移動ベクトルToに等しい。
【００７３】
３.１.４ 基本円筒とターゲット円筒の変換まとめ
これまでに得られた式を用いて、基本円筒とターゲット円筒の変換をまとめると次式のようになる。なお、円筒のスケール、即ち半径はこの変換では変化せず維持されている。
【００７４】
【数１６】
３.２ 二平面のつなぎ目にある円筒（ターゲット円筒）の定数
本節では平面に挟まれた円筒が平面と接している角度を求める（図１０）。最初に実円筒の主軸上の任意点から各平面への垂線ベクトルを求めるが、大きさを無視すればこれらは各平面の法線ベクトルに平行で、反対向きになっているハズである。従って、各平面の法線ベクトルを式１９或いは式２０を利用して変換し、向きを反転させれば基本円筒空間内での方向ベクトルになる。このベクトルが基本円筒の有効領域切り出し条件を与える。具体的には、垂線ベクトルの方向は、
【００７５】
【数１７】
で与えられる。なおこのベクトルがy軸となす角度をここでは「接触角度」と定義する（図１０参照）。この角度は図を眺めれば。-nα’のy、z成分から容易に求められることがわかる。
【００７６】
以上で、円筒スクリーン或いは円筒CCDを用いる際の基本的な所量を決定することができる。このとき必要なのは、見てきた通り、
・二平面の法線ベクトルと代表点
・円筒の半径
である。
【００７７】
３.３ 基本円筒における各種式（基本円筒空間表現の場合）
３.３.１ 基本円筒の表現
本説明では、基本円筒は唯一、
【００７８】
【数１８】
で与えられる。更に図１０の様に、y軸方向を角度の基準としz軸の方向に向かって回る方向を正の角度とする。
【００７９】
３.３.２ 点から円筒への垂線
任意の点(x,y,z)から円筒へ降ろす垂線はyz面に平行な面に含まれ、円筒の表面、
【００８０】
【数１９】
で交わる。この点が基本円筒表面上で点(x,y,z)に最も近い点と、その点対称の点である。
【００８１】
３.３.３ 直線と円筒の交点
基本円筒空間内で直線が下記の式で与えられたとき、
【００８２】
【数２０】
円筒（式24）との交点を与える媒介変数ｔは、
【００８３】
【数２１】
で与えられる。従って、
【００８４】
【数２２】
のとき直線は基本円筒に接触し、
【００８５】
【数２３】
のときは直線と円筒は交わらない。また、もしｄが単位長さベクトルであれば、|t|はPoから交点までの長さを意味する。
【００８６】
３.３.４ 直線と円筒の最近接点
直線と円筒が交わらないとき、円筒に最も近い直線上の点は式２６において以下の媒介変数ｔで与えられる。
【００８７】
【数２４】
３.３.５ 円筒表面のuvマップ
円筒表面上の任意の点を指定するためのuvマップについて、以下に２つの手法を示す。なお、標準的なuvマップとして、図１１に示すように、x軸方向をu方向、yz平面内での円筒表面に沿った方向をv方向とする。このように設定した場合、u値は基本的にx値と同値と考えてよく、v値の値とyz値との変換が検討対象である。ただし、本来uv空間はxyz空間と独立しており、u値とx値が同値とはいっても、スケールの互換保証はないものとする。例えばuv値は無次元で、xyz値はメートル単位でもよい。
【００８８】
３.３.５.１ uv単位長さが指定されている場合
xyz空間でのuv値のスケール（基本長さ）をそれぞれ｛uo,vo｝xyzとした場合は、(uv)->(x,y,z)変換は、図１１の場合、
【００８９】
【数２５】
で与えられる。一方、円筒表面上の任意の(x,y,z)値からuv値を求める場合には、式３１を逆算して、
【００９０】
【数２６】
とする。
【００９１】
３.３.５.２ 上限下限が指定されている場合
二平面のつなぎ目補間のという目的で考えると、あらかじめ各平面で決められたuv値とスムーズにつながるように円筒表面にuvマッピングをしたい（図１２参照）。その場合は、
【００９２】
【数２７】
とすると、v値の基本長さvoは、
【００９３】
【数２８】
で与えられ、相互変換は、
【００９４】
【数２９】
となる。この場合voは式３５により自動的に定まっている。図１２をみれば、円筒表面に沿ったv方向長さ（緑線）は二平面上の長さ（赤線に沿った長さ）に比べて短くなっているのは一目瞭然で、vo値は小さくなると予想され、uvベクトルの縦横比vo/uoは１以下になる。
【００９５】
４．実施例
４.１ 立体スクリーンモデル
４.１.１ 円筒の回転と平行移動
図１３において平面１、２を具体的に、
【００９６】
【数３０】
と定義し、つなぎ目に設置する円筒の半径を、
円筒半径：ｒ
とする。また仮想カメラ位置は、
【００９７】
【数３１】
とする。このとき仮想スクリーンの円筒部について、式１９に関わる諸量は、
【００９８】
【数３２】
となる。
【００９９】
４.１.２ 円筒と平面の接触角度
３.２節の論に従い基本円筒空間内で主軸上の点から各平面への垂線ベクトルを求めると、
【０１００】
【数３３】
となり、y軸となす接触角度はy、z成分から
【０１０１】
【数３４】
である。
【０１０２】
４.２ 立体CCDモデル
４.２.１ 立体CCDの設定
ここではCCD形状を図１３のようにし、CCD面の定義を、
【０１０３】
【数３５】
とすると、二平面に挟まれた円筒の主軸ベクトルｄCCDや回転行列RCCDは立体スクリーンの場合と同じ形式で、
【０１０４】
【数３６】
とできる。
【０１０５】
一方、立体スクリーンのつなぎ目p2に相当するCCDのつなぎ目位置ベクトルは現段階で未定のため、ここでp2_CCDと定義し、具体的に求める。この位置ベクトルは本来一意に定めることが出来ないが、今回は後の便宜のため、カメラ位置vcから俯角θvc方向で、立体CCD面に正対した点（最近接点）をp2_CCDとする（図１３参照）。
これは、別の言い方をすれば、
条件１） vcを通り{CCD1,CCD2}で張られる平面上の点
条件２） 視線ベクトル（p2_CCD-Vc）がxz平面(0,-1,0)となす角度が(π/2)-θvc
ということである。さらに、単平面CCDの概念であった焦点距離は、立体CCDでは、
条件３） 焦点距離ｆはp2_CCD-Vcの長さ
と定義する。これら各条件を式化すると以下のようになる。
【０１０６】
【数３７】
以上の式から２つのCCD平面の交点p2_CCDを求めると、
【０１０７】
【数３８】
となる。この結果を用いて、次に移動ベクトルTCCDを求める。
【０１０８】
まず円筒CCDの主軸上のある定点をpCCD、円筒の半径をrCCDとすると、式６の代わりに以下の式をたてることが出来る。
【０１０９】
【数３９】
これを式８と同様に解くと、
【０１１０】
【数４０】
と得られ、移動ベクトルTCCDは、
【０１１１】
【数４１】
となる。これでモデルの詳細が決定できた。
【０１１２】
なお、以上は立体CCDの設定にある程度自由度を持たせた場合の記述である。標準的な設定では、図１４のように立体スクリーンと立体CCDをvcの正面に並べるように設定することが自然な条件と思われる。この場合、これまでに独立して設定してきた諸量に次の依存関係が成立する。
【０１１３】
【数４２】
更に、スケールを合わせてスクリーンとCCDの円筒半径を相似形に設定する場合には、円筒に関して、
【０１１４】
【数４３】
という関係も成立する。また、参考までに図中のp2'を求めると、３.１.３節の結果より、
【０１１５】
【数４４】
となる。
【０１１６】
４.２.２ 円筒CCDと平面の接触角度
４.１.２節と同じように考えて、基本円筒空間内での各CCDの垂線ベクトルは、
【０１１７】
【数４５】
となり、y軸となす接触角度は、
【０１１８】
【数４６】
である。
【０１１９】
４.２.３ CCD面上のuvマップと座標変換
４.２.３.１ 二平面上のuvマップ
二平面モデルを基本とするため、まず図１５に示す二平面モデルについて記述する。
仮想カメラCCD面内の点pvcはCCD内部座標を(u,v)として、
【０１２０】
【数４７】
と表現される。ここでベクトルu0は前節で示したdCCDと同じ方向を向いており、
【０１２１】
【数４８】
で与える。ここでpixel_sizeは、無次元のuv値を実空間の長さに変換する係数であり、長さの次元を持ち、３.３.５節での｛uo,vo｝xyzに相当する。一方CCDX面のv0方向はCCDX×dCCDで与えられ、
【０１２２】
【数４９】
である。なお、外積に負符号がついているのは式２と同じ理由である。以上で二平面上の(u,v)値が(x,y,z)値に変換される。
【０１２３】
４.２.３.２ 円筒面上のuvマップ
二平面モデルに４.２.１節で論じた円筒CCDを取り入れるには、図１６で示すv1とv2の範囲にある(u,v)値についての円筒表面上のuv変換について論じる必要がある。まず、v1及びv2を決定する前段として、二平面モデルを明確にする。図１５のＯuvは実は図１４のp2_CCDに対応した点であることから、
【０１２４】
【数５０】
となる。これを図１６のＯuvに対応させるために基本円筒空間に射影すると、式１９より、
【０１２５】
【数５１】
となり、図１６から、
【０１２６】
【数５２】
で与えられることが分かる。一方v2については、図１６でＯuvとの２点間の距離を求めて、
【０１２７】
【数５３】
となる。結果として式８１の逆符号である。従ってあるuv値を与えたときに、この(v1,v2)の範囲内にあれば対応点は円筒表面上に存在することになる。
【０１２８】
さて、円筒表面上にuv値を割り当てるやり方は全くの自由であるが、ここでは３.３.５.２節で示したように、円筒表面上のv値を等間隔に割り当てるとする。この場合、yz平面内での角度θvとv値の間に、
【０１２９】
【数５４】
という関係を設定できる。これにより基本円筒空間での点puvは式３６の代わりに、
【０１３０】
【数５５】
と表現でき、元々の実空間に射影して、
【０１３１】
【数５６】
がuv値に対応する実空間内の点になる。
【０１３２】
４.３ 立体CCDと立体スクリーンの関係
前節でuv値からPvcを求めた。このことは、画面上の任意の点uv値に対応した実空間での視線ベクトルが実空間で、
【０１３３】
【数５７】
として求められることを意味する。これらのベクトルを今度は立体スクリーンに関する式１９と式４１及び４２を用いて、基本円筒空間へ射影し、３章で示した直線と円筒の関係等を用いることで、立体スクリーン上の対応点Pscreenを求めることができる。具体的には、基本円筒空間への射影は、
【０１３４】
【数５８】
として基本空間での直線の定数を求め、３.３.２節に従って交点Pscreenを求めればよい。このとき、
【０１３５】
【数５９】
あるいは、所定の接触角度に収まらない等の場合には、戻って実空間で平面と交点を求めることになる。平面との交点を求める手法は先願の説明にあるため、ここでは割愛する。なお、基本円筒空間で求めた点は、逆変換により実空間へ戻し、実空間でのスクリーン上の点Pscreenを決定する。
【０１３６】
４.４立体スクリーンと実カメラの関係
Pscreenが求められれば、後は実カメラCCD面上との対応点を求めることになる。これは直線と平面の交点を求める問題であり、前回の説明にあるため詳細を割愛する。なお、直線は、
【０１３７】
【数６０】
で与えられ、実CCD面との交点を求める問題である。
【０１３８】
５．まとめ
本説明では、「二平面モデルのつなぎ目をなめらかにする」という課題に対して、二平面のつなぎ目に円筒型スクリーン或いは円筒型CCDを適用して、解決を図った。この説明で論じた内容は、円筒形状を用いて視点変換を行う場合の考え方と、実際に必要と思われる式群の導出である。先の出願にて論じた平面モデルに関わる内容は本説明には含まれていない。
【０１３９】
次に、効果を説明する。
実施例１の画像生成装置にあっては、下記に列挙する効果を得ることができる。
【０１４０】
(1) リアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた画像生成装置において、前記仮想投影面として、近景用スクリーン７１と遠景用スクリーン７２を有する仮想立体スクリーンを設定する仮想立体スクリーン設定手段と、前記仮想カメラ８の仮想撮像面として、近景用ＣＣＤ９１と遠景用ＣＣＤ９２を有する仮想立体ＣＣＤを設定する仮想立体ＣＣＤ設定手段と、を設け、前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、少なくとも一方の設定手段は、近景面と遠景面との接合域を曲面により滑らかにつないだ曲面化仮想立体面を設定する手段とし、前記モニタ画像データ生成手段は、曲面化仮想立体面を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、演算処理を簡単にしながら、近景の俯瞰表示と遠景のパース表示をシームレスに接合すると共に、俯瞰表示とパース表示の接合領域での急激な幾何学的変化を緩和することで、違和感を与えない滑らかなモニタ画像データを生成することができる。
【０１４１】
(2) 前記仮想立体スクリーン設定手段は、仮想的な円筒を近景用スクリーン７１と遠景用スクリーン７２の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ，ｄで切り出した一部円筒曲面７３を有する曲面化仮想立体スクリーン７を設定し、前記仮想立体ＣＣＤ設定手段は、仮想的な円筒を近景用ＣＣＤ９１と遠景用ＣＣＤ９２の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ’，ｄ’で切り出した一部円筒曲面９３を有する曲面化仮想立体ＣＣＤを設定し、前記モニタ画像データ生成手段は、相似形による曲面化仮想立体スクリーンと曲面化仮想立体ＣＣＤを用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、相似形による一部円筒曲面７３，９３を用いた簡単な視点変換手法を採用しながら、俯瞰表示とパース表示の接合領域を一定の曲率により滑らかに繋ぐモニタ画像データを生成することができる。
【０１４２】
(3) 前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段に、外部からの設定操作により、相似形による曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９の仮想的な円筒の半径R1,R2を調整制御する円筒半径調整操作ダイアル４３を設けたため、１制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。
【実施例２】
【０１４３】
実施例２は、仮想立体スクリーンと仮想立体ＣＣＤのうち、仮想立体スクリーンのみを曲面化した例である。
【０１４４】
まず、構成を説明する。
図１７は実施例２の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
【０１４５】
実施例２における画像生成装置は、リアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する装置であり、図１７に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、調整操作ダイアル４と、を備えている。
【０１４６】
前記リアカメラ１の被写体側（レンズ軸側）には、図１７に示すように、仮想投影面として、仮想的な円筒を近景用スクリーン７１（近景用投影面）と遠景用スクリーン７２（遠景用投影面）の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ，ｄで切り出した一部円筒曲面７３と、を有する曲面化仮想立体スクリーン７（曲面化仮想立体投影面）が設定される。そして、前記近景用スクリーン７１は、図１７に示すように、地面上に設定される。前記遠景用スクリーン７２は、近景用スクリーン７１のリアカメラ１から遠い側に連接すると共に所定の上向き傾斜角度αを持って設定される。
【０１４７】
前記仮想カメラ８の仮想撮像面として、図１７に示すように、前記近景用スクリーン７１に平行に設定された近景用ＣＣＤ９１（近景用撮像面）と、該近景用ＣＣＤ９１のリアカメラ１から近い側に連接すると共に所定の下向き傾斜角度βを持って設定され遠景用ＣＣＤ９２（遠景用撮像面）と、を有する仮想立体ＣＣＤ９’が設定される。すなわち、曲面化仮想立体スクリーン７と仮想立体ＣＣＤ９’とは非相似形の設定とされる。
【０１４８】
前記調整操作ダイアル４としては、図１７に示すように、仮想カメラ位置調整操作ダイアル４１と、角度調整操作ダイアル４２と、円筒半径調整操作ダイアル４４と、を備えている。
【０１４９】
前記円筒半径調整操作ダイアル４４は、運転者等による外部からの設定操作により、一部円筒曲面７３の仮想的な円筒の半径R1を任意に設定するための円筒半径調整操作手段である。実施例２の場合、曲面化仮想立体スクリーン７と仮想立体ＣＣＤ９’とは非相似形の設定であるため、ダイアル操作によりにより、曲面化仮想立体スクリーン７の円筒半径R1のみが変化する。
なお、他の構成は、実施例１と同様であるので、対応する構成に同一符号を付して説明を省略する。
【０１５０】
次に、作用を説明する。
【０１５１】
［円筒半径の調整によるモニタ映像制御作用］
実施例２の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体スクリーン７の一部円筒曲面７３の仮想的な円筒の半径R1を変化させる円筒半径調整操作ダイアル４４を設けている。
【０１５２】
図１８は実施例２の画像生成装置において一部円筒曲面７３の仮想的な円筒の半径R1を所定の値に設定した場合のモニタ映像例を示す図である。
【０１５３】
すなわち、図４(b)と図１８の比較でも明らかなように、曲面化仮想立体スクリーン７の一部円筒曲面７３の仮想的な円筒の半径R1のみを制御し、仮想立体スクリーンと仮想立体ＣＣＤの相似形を崩すことで、モニタ映像での見え方を制御することができる。
図４(b)に示す場合は、俯瞰表示とパース表示の接合領域に幾何形状が急激に変化するモニタ映像となる。
これに対し、図１８に示す場合、曲面化仮想立体スクリーン７の一部円筒曲面７３の仮想的な円筒の半径R1を与えると、俯瞰表示とパース表示の接合領域の画像を滑らかに繋ぐことができる。加えて、仮想的な円筒の半径R1を大きくすると、俯瞰表示とパース表示の接合領域の画像を横方向に引っ張る効果がある（図１８の矢印は引っ張り方向）。
【０１５４】
このように、曲面化仮想立体スクリーン７の円筒の半径R1を制御することで（制御自由度は１）、使用者あるいは設計者の要求に合わせて適時、モニタ映像を調整することができる。なお、他の作用は、実施例１と同様であるので、説明を省略する。
【０１５５】
次に、効果を説明する。
実施例２の画像生成装置にあっては、実施例１の(1)の効果に加え、下記に列挙する効果を得ることができる。
【０１５６】
(4) 前記仮想立体スクリーン設定手段は、仮想的な円筒を近景用スクリーン７１と遠景用スクリーン７２の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ，ｄで切り出した一部円筒曲面７３を有する曲面化仮想立体スクリーン７を設定し、前記仮想立体ＣＣＤ設定手段は、近景用ＣＣＤ９１と遠景用ＣＣＤ９２の二平面が直線で交わる仮想立体ＣＣＤ９’を設定し、前記モニタ画像データ生成手段は、曲面化仮想立体スクリーン７と二平面が直線で交わる仮想立体ＣＣＤ９’を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、曲面化仮想立体スクリーン７側のみで一部円筒曲面７３を用いた簡単な視点変換手法を採用しながら、俯瞰表示とパース表示の接合領域を一定の曲率により滑らかに繋ぐモニタ画像データを生成することができる。
【０１５７】
(5) 前記仮想立体スクリーン設定手段は、外部からの設定操作により、曲面化仮想立体スクリーンの仮想的な円筒の半径R1を調整制御する円筒半径調整操作ダイアル４４を設けたため、１制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。
【実施例３】
【０１５８】
実施例３は、仮想立体スクリーンと仮想立体ＣＣＤのうち、仮想立体ＣＣＤのみを曲面化した例である。
【０１５９】
まず、構成を説明する。
図１９は実施例３の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
【０１６０】
実施例３における画像生成装置は、リアカメラ１とは異なる位置に設定した仮想カメラ８と、リアカメラ１により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成する装置であり、図１９に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、調整操作ダイアル４と、を備えている。
【０１６１】
前記リアカメラ１の被写体側（レンズ軸側）には、図１９に示すように、仮想投影面として、地面上に設定された近景用スクリーン７１（近景用投影面）と、該近景用スクリーン７１のリアカメラ１から遠い側に連接すると共に所定の上向き傾斜角度αを持って設定され遠景用スクリーン７２（遠景用投影面）と、を有する仮想立体スクリーン７’が設定される。
【０１６２】
前記仮想カメラ８の仮想撮像面として、図１９に示すように、仮想的な円筒を近景用ＣＣＤ９１（近景用撮像面）と遠景用ＣＣＤ９２（遠景用撮像面）の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ’，ｄ’で切り出した一部円筒曲面９３と、を有する曲面化仮想立体ＣＣＤ９（曲面化仮想立体撮像面）が設定される。そして、前記近景用ＣＣＤ９１は、図１９に示すように、前記近景用スクリーン７１と平行に設定される。前記遠景用ＣＣＤ９２は、近景用ＣＣＤ９１のリアカメラ１から近い側に連接すると共に所定の下向き傾斜角度βを持って設定される。すなわち、仮想立体スクリーン７’と曲面化仮想立体ＣＣＤ９とは非相似形の設定とされる。
【０１６３】
前記調整操作ダイアル４としては、図１９に示すように、仮想カメラ位置調整操作ダイアル４１と、角度調整操作ダイアル４２と、円筒半径調整操作ダイアル４５と、を備えている。
【０１６４】
前記円筒半径調整操作ダイアル４５は、運転者等による外部からの設定操作により、一部円筒曲面９３の仮想的な円筒の半径R2を任意に設定するための円筒半径調整操作手段である。実施例３の場合、仮想立体スクリーン７’と曲面化仮想立体ＣＣＤ９とは非相似形の設定であるため、ダイアル操作によりにより、曲面化仮想立体ＣＣＤ９の円筒半径R2のみが変化する。
なお、他の構成は、実施例１と同様であるので、対応する構成に同一符号を付して説明を省略する。
【０１６５】
次に、作用を説明する。
【０１６６】
［円筒半径の調整によるモニタ映像制御作用］
実施例３の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体ＣＣＤ９の一部円筒曲面９３の仮想的な円筒の半径R2を変化させる円筒半径調整操作ダイアル４５を設けている。
【０１６７】
図２０は実施例３の画像生成装置において一部円筒曲面９３の仮想的な円筒の半径R2を所定の値に設定した場合のモニタ映像例を示す図である。
【０１６８】
すなわち、図４(b)と図２０の比較でも明らかなように、曲面化仮想立体ＣＣＤ９の一部円筒曲面９３の仮想的な円筒の半径R2のみを制御し、仮想立体スクリーンと仮想立体ＣＣＤの相似形を崩すことで、モニタ映像での見え方を制御することができる。
図４(b)に示す場合は、俯瞰表示とパース表示の接合領域に幾何形状が急激に変化するモニタ映像となる。
これに対し、図２０に示す場合、曲面化仮想立体ＣＣＤ９の一部円筒曲面９３の仮想的な円筒の半径R2を与えると、俯瞰表示とパース表示の接合領域の画像を滑らかに繋ぐことができる。加えて、仮想的な円筒の半径R2を大きくすると、俯瞰表示とパース表示の接合領域の画像を横方向に圧縮する効果がある（図２０の矢印は圧縮方向）。
【０１６９】
このように、曲面化仮想立体ＣＣＤ９の円筒の半径R2を制御することで（制御自由度は１）、使用者あるいは設計者の要求に合わせて適時、モニタ映像を調整することができる。なお、他の作用は、実施例１と同様であるので、説明を省略する。
【０１７０】
次に、効果を説明する。
実施例３の画像生成装置にあっては、実施例１の(1)の効果に加え、下記に列挙する効果を得ることができる。
【０１７１】
(6) 前記仮想立体スクリーン設定手段は、近景用スクリーン７１と遠景用スクリーン７２の二平面が直線で交わる仮想立体スクリーン７’を設定し、前記仮想立体ＣＣＤ設定手段は、仮想的な円筒を近景用ＣＣＤ９１と遠景用ＣＣＤ９２の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線ｃ’，ｄ’で切り出した一部円筒曲面９３を有する曲面化仮想立体ＣＣＤ９を設定し、前記モニタ画像データ生成手段は、二平面が直線で交わる仮想立体スクリーン７’と曲面化仮想立体ＣＣＤ９を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、曲面化仮想立体ＣＣＤ９側のみで一部円筒曲面９３を用いた簡単な視点変換手法を採用しながら、俯瞰表示とパース表示の接合領域を一定の曲率により滑らかに繋ぐモニタ画像データを生成することができる。
【０１７２】
(7) 前記仮想立体ＣＣＤ設定手段は、外部からの設定操作により、曲面化仮想立体ＣＣＤ９の仮想的な円筒の半径R2を調整制御する円筒半径調整操作ダイアル４５を設けたため、１制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。特に、仮想的な円筒の半径R2を大きくすると、俯瞰表示とパース表示の接合領域の画像を横方向に圧縮するという効果があるため、最適な見え方制御を、円筒半径調整操作ダイアル４５を一方向に操作することで容易に行える。
【実施例４】
【０１７３】
実施例１〜３では円筒を二平面が交わる平面交線領域に接触させて曲面化したのに対し、実施例４は、楕円筒を二平面が交わる平面交線領域に接触させる例である。
【０１７４】
構成的には、図１（スクリーン／ＣＣＤ曲面化）、図１８（スクリーン曲面化）、図２０（ＣＣＤ曲面化）において、一部円筒曲面７３，９３を、円筒を二平面が交わる平面交線領域に接触させて形成したのに対し、楕円筒を二平面が交わる平面交線領域に接触させて形成した点でのみ異なる。
【０１７５】
そして、図示していないが、実施例１，２，３の円筒半径調整操作ダイアル４３，４４，４５に代え、曲面化仮想立体面の仮想的な楕円筒の短軸長さ／長軸長さ／回転角度を調整制御する楕円筒調整操作ダイアル（楕円筒調整操作手段）を設けている。
【０１７６】
次に、作用を説明する。
【０１７７】
［楕円筒調整によるモニタ映像制御作用］
実施例４の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９のうち、曲面化仮想立体面を設定する手段に、一部楕円筒曲面の仮想的な楕円筒の短軸長さ／長軸長さ／回転角度を調整制御する楕円筒調整操作ダイアルを設けている。
【０１７８】
図２１は実施例４の画像生成装置における二平面が交わる平面交線領域に楕円筒を接触させた一例を示す図である。図２２は実施例１〜実施例３の画像生成装置における二平面が交わる平面交線領域に円筒を接触させた一例を示す図である。
【０１７９】
すなわち、実施例１，２，３の場合、一部円筒曲面７３，９３を、円筒を二平面が交わる平面交線領域に接触させて形成しているため、図２２に示すように、平面１と平面２との接触線の相対位置関係は、一意に決まる。この接触線の相対位置関係を制御できるのが円筒半径のみであり、制御自由度は１（円筒半径）となる。
【０１８０】
これに対し、楕円筒を用いた場合には、楕円筒の扁平率及び回転によって、接触線位置を自在に制御し、その間を滑らかに接続できるという利点がある。
つまり、平面１或いは平面２の歪み領域（曲面相当領域）のうち、どちらか一方の領域だけを減らしたい場合には、楕円筒モデルにより対応することができる。例えば、平面２の歪み領域を減らす場合には、図２１のように、楕円筒を回転させて、平面１，２の公差位置から接触線までの距離を、平面１接触距離＜平面２接触距離という関係になるように設定する。
【０１８１】
この楕円筒を用いる場合、図１（スクリーン／ＣＣＤ曲面化）、図１８（スクリーン曲面化）、図２０（ＣＣＤ曲面化）においては、制御自由度は３（短軸長さ／長軸長さ／回転角度）となる。しかし、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９の一部楕円筒曲面を、それぞれ独立に設定する例によるシステムの場合（実施例２と実施例３の組み合わせ実施例）、制御自由度は６となる。
【０１８２】
次に、効果を説明する。
実施例４の画像生成装置にあっては、実施例１の(1)の効果に加え、下記に列挙する効果を得ることができる。
【０１８３】
(8) 前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、少なくとも一方の設定手段は、仮想的な楕円筒を近景用面と遠景用面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部楕円筒曲面を有する曲面化仮想立体面を設定し、前記モニタ画像データ生成手段は、一部楕円筒曲面を有する曲面化仮想立体面を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、一部楕円筒曲面を用いることで、二平面に対する歪み領域を均等に設定することも大小に設定することも可能としながら、俯瞰表示とパース表示の接合領域を曲面により滑らかに繋ぐモニタ画像データを生成することができる。
【０１８４】
(9) 前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の仮想的な楕円筒の短軸長さ／長軸長さ／回転角度を調整制御する楕円筒調整操作ダイアルを設けたため、接線位置の設定を自在とする３制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。特に、図２１に示すように、平面１の歪み領域を増やし平面２の歪み領域を減らす制御により、俯瞰表示側の歪みを緩やかに減少させ、パース表示に繋ぐことができ、最も違和感を抑えた自然な感じのモニタ映像を得ることが可能である。
【実施例５】
【０１８５】
実施例１〜４では円筒や楕円筒を二平面が交わる平面交線領域に接触させて曲面化したのに対し、実施例５は、自由曲線曲面を二平面が交わる平面交線領域に接触させる例である。
【０１８６】
構成的には、図１（スクリーン／ＣＣＤ曲面化）、図１８（スクリーン曲面化）、図２０（ＣＣＤ曲面化）において、一部円筒曲面７３，９３を、円筒を二平面が交わる平面交線領域に接触させて形成したのに対し、自由曲線（パラメトリック３次曲線）によりつないだ自由曲線曲面を二平面が交わる平面交線領域に接触させて形成した点でのみ異なる。
【０１８７】
そして、図示していないが、実施例１，２，３の円筒半径調整操作ダイアル４３，４４，４５に代え、曲面化仮想立体面の２次元平面内で自由曲線の両端の座標値／傾き／曲率を調整制御する自由曲線調整操作ダイアル（楕円筒調整操作手段）を設けている。
【０１８８】
ここで、「パラメトリック３次曲線」とは、ソフトウェアに使われている変曲点がひとつだけ表現できる自由曲線であり、現在、最もよく使われている自由曲線につぎの四つがある。
・エルミート(Hermite)曲線
・ベジェ(Bezier)曲線
・B-スプライン(B-spline)曲線
・カットマル-ロム(Catmul-Rom)曲線
これらは、一般にパラメトリック３次曲線(Parametric Cubic Curve)と呼ばれる。
【０１８９】
次に、作用を説明する。
【０１９０】
［自由曲線の調整によるモニタ映像制御作用］
実施例５の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９のうち、曲面化仮想立体面を設定する手段に、曲面化仮想立体面の２次元平面内で自由曲線の両端の座標値／傾き／曲率を調整制御する自由曲線調整操作ダイアルを設けている。
【０１９１】
図２３は実施例５の画像生成装置における二平面が交わる平面交線領域にエルミート曲線を滑らかに接続させた一例を示す図である。図２４は実施例５の画像生成装置における二平面が交わる平面交線領域にエルミート曲線を、有角を持たせて接続させた一例を示す図である。
【０１９２】
基本的に自由曲線の与え方は無限であるが、よく知られる曲線の与え方として、比較的重度が高いのは、パラメトリック３次曲線の一つであるエルミート曲線である。
この場合、図２３及び図２４に示すように、２次元平面内で自由曲線の両端の座標値／傾き／曲率を与え、その間を３次曲線で補間する。
【０１９３】
図２３に示すように、境界線が平面上に固定され、傾きが平面と一致している場合は、制御自由度は４である。従って、この自由曲線を用いて実施例１〜４と同様に、曲面を与えてやれば自由度はより向上することになる。
【０１９４】
さらに、図２４に示すように、境界線が平面上に固定され、傾きが平面と有角を持って接続される場合は、制御自由度は６である。従って、この自由曲線を用いて実施例１〜４と同様に、曲面を与えてやれば自由度は、図２３の例より向上することになる。
【０１９５】
図２３の自由曲線曲面を用いる場合、図１（スクリーン／ＣＣＤ曲面化）、図１８（スクリーン曲面化）、図２０（ＣＣＤ曲面化）においては、制御自由度は４（平面１との座標値／平面２との座標値／傾き／曲率）となる。図２４の自由曲線曲面を用いる場合、平面１との交差角度値／平面２との交差角度値が加わって制御自由度は６となる。しかし、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９の自由曲線曲面を、それぞれ独立に設定する例によるシステムの場合（実施例２と実施例３の組み合わせ実施例）、図２３の自由曲線曲面を用いると制御自由度は８、図２４の自由曲線曲面を用いると制御自由度は１２となる。
【０１９６】
次に、効果を説明する。
実施例５の画像生成装置にあっては、実施例１の(1)の効果に加え、下記に列挙する効果を得ることができる。
【０１９７】
(10) 前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、少なくとも一方の設定手段は、近景用面と遠景用面の二平面が交わる平面交線領域を自由曲線によりつないだ自由曲線曲面を有する曲面化仮想立体面を設定し、前記モニタ画像データ生成手段は、自由曲線曲面を有する曲面化仮想立体面を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、自由曲線曲面を用いることで、高い自由度により曲面化を達成しながら、俯瞰表示とパース表示の接合領域を曲面により滑らかに繋ぐモニタ画像データを生成することができる。
【０１９８】
(11) 前記自由曲線は、二平面との境界線が平面上に固定され、傾きが平面と一致しているパラメトリック３次曲線であり、前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の２次元平面内で自由曲線の両端の座標値／傾き／曲率を調整制御する自由曲線調整操作ダイアルを設けたため、４制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。
【０１９９】
(12) 前記自由曲線は、二平面との境界線が平面上に固定され、二平面とは有角を持って接合されているパラメトリック３次曲線であり、前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の２次元平面内で自由曲線の両端の交差角度値／両端の座標値／傾き／曲率を調整制御する自由曲線調整操作ダイアルを設けたため、６制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。
【実施例６】
【０２００】
実施例５は、自由曲線曲面を二平面が交わる平面交線領域に接触させる例であるのに対し、実施例６は、曲面化を拡張して平面を無くした自由曲面を用いた例である。
【０２０１】
構成的には、図１（スクリーン／ＣＣＤ曲面化）、図１８（スクリーン曲面化）、図２０（ＣＣＤ曲面化）において、一部円筒曲面７３，９３を、円筒を二平面が交わる平面交線領域に接触させて形成したのに対し、平面と曲面の境界を取り外し、曲面を拡張することで、近景用面と遠景用面を基準として全体を滑らかに接合した自由曲面によりスクリーン曲面化やＣＣＤ曲面化を達成した点でのみ異なる。
【０２０２】
そして、図示していないが、実施例１〜実施例５と同様に、曲面化仮想立体面の自由曲面の３次元曲面形状を調整制御する自由曲面調整操作レバー（自由曲面調整操作手段）を設けている。
【０２０３】
次に、作用を説明する。
【０２０４】
［自由曲面の形状調整によるモニタ映像制御作用］
実施例６の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体スクリーン７と曲面化仮想立体ＣＣＤ９のうち、曲面化仮想立体面を設定する手段に、曲面化仮想立体面の自由曲面の３次元曲面形状を調整制御する自由曲面調整操作ダイアルを設けている。
【０２０５】
図２５は実施例６の画像生成装置における曲面化仮想立体スクリーンと曲面化仮想立体ＣＣＤを共に自由曲面とした一例を示す図である。
【０２０６】
基本的に自由曲面の与え方は無限であるため、図２５に示すように、曲面化仮想立体スクリーンと曲面化仮想立体ＣＣＤを共に自由曲面とした場合、制御自由度も無限となり、レバー操作により設定した任意の自由曲面を用い、所望するモニタ映像となるように映像変形をすることができる。
【０２０７】
次に、効果を説明する。
実施例６の画像生成装置にあっては、実施例１の(1)の効果に加え、下記に列挙する効果を得ることができる。
【０２０８】
(13) 前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、少なくとも一方の設定手段は、近景用面と遠景用面を基準として全体を滑らかに接合した自由曲面を有する曲面化仮想立体面を設定し、前記モニタ画像データ生成手段は、自由曲面を有する曲面化仮想立体面を用いた視点変換により、リアカメラ１のカメラ映像データからモニタ３に映し出すモニタ画像データを生成するため、自由曲面を用いることで、俯瞰表示領域からパース表示領域までの全体領域を曲面により滑らかに繋ぐモニタ画像データを生成することができる。
【０２０９】
(14) 前記仮想立体スクリーン設定手段と前記仮想立体ＣＣＤ設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、自由曲面の３次元形状を調整制御する自由曲面調整操作レバーを設けたため、高制御自由度により、使用者あるいは設計者の要求に合わせて適時、モニタ映像による車両後方風景の見え方を制御することができる。
【０２１０】
以上、本発明の画像生成装置を実施例１〜実施例６に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【０２１１】
実施例１〜６では、リアカメラを１台のみ設置し、１台のリアカメラにより取得した単独のカメラ映像データの各画素位置を座標変換してモニタ画像データを生成する例を示した。しかし、車載カメラの台数を１台に限定するものではなく、１台の実カメラと１台または複数台の補助カメラを設置しても良い。例えば、俯瞰映像において、実カメラであるリアカメラCCDから見て死角領域（両端部分）の映像が失われることがあるが、この場合、他の車載カメラ（補助カメラ）からの映像を利用し、死角領域の映像を補完するようにしても良い。
【０２１２】
実施例２では、曲面化仮想立体スクリーン７の円筒の半径R1のみを制御する例を示し、実施例３では、曲面化仮想立体ＣＣＤ９の円筒の半径R2のみを制御する例を示した。しかし、実施例２，３の組み合わせ実施例（非相似型スクリーン／ＣＣＤによる制御）とすることもできる。この場合、曲面化仮想立体スクリーン７の円筒の半径R1と、曲面化仮想立体ＣＣＤ９の円筒の半径R2が独立に制御されることで、システムの制御自由度は２となり、図１８と図２０の中間的な画像を自在に得ることができるというように、実施例２，３より詳細な制御ができる。
【０２１３】
実施例１〜６では、モニタ表示画像として、近景の俯瞰表示画像と遠景のパース表示画像とがシームレスに接合された画像とする例を示したが、例えば、近景の俯瞰表示画像と遠景のパース表示画像との間に仕切り線を設定したモニタ表示画像としても良い。すなわち、本発明は、近景の俯瞰表示と遠景のパース表示をシームレスに、かつ、滑らかに接合するモニタ画像データを生成するものであり、モニタ画像データに基づいて作成されるモニタ表示画像についてまで接合という条件を規定するものではない。例えば、視認性やデザイン性等を考慮して予め作成された仕切り線や枠組み等を施すベース画像に、生成したモニタ画像データに基づく俯瞰画像とパース画像を組み込み、両画像の合成画像をモニタへの表示画像とするようにしても良い。
【産業上の利用可能性】
【０２１４】
実施例１〜６では、車両に搭載されるリアカメラへの適用例を示したが、車両に搭載されるサイドカメラやフロントカメラへも適用できるし、また、車両以外に、店舗等に設置される監視カメラへも適用でき、監視カメラへ適用した場合には、カメラの設置台数やモニタの設置台数を大幅に減らすことができるというメリットを持つ。
【図面の簡単な説明】
【０２１５】
【図１】実施例１の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
【図２】実施例１の画像生成装置において仮想立体投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
【図３】仮想立体スクリーンを近景用スクリーンと遠景用スクリーンの二平面により設定し、仮想立体ＣＣＤを近景用ＣＣＤと遠景用ＣＣＤの二平面により設定した例を示す図である。
【図４】モニタ映像の比較例であり、(a)は実カメラからの映像データをそのまま用いたモニタ映像例を示し、(b)は図３に基づいた視点変換でのモニタ映像例を示し、(c)は実施例１に基づいた視点変換でのモニタ映像例を示す。
【図５】実施例１の画像生成装置において一部円筒曲面７３，９３の仮想的な円筒の半径R1,R2を図４(b)と図４(c)の中間の大きさに設定した場合のモニタ映像例を示す図である。
【図６】実施例１の画像生成装置における各種座標変換の相互作用を示す図である。
【図７】円筒モデルを用いた視点変換手法の説明において円筒設定の手順を示す図である。
【図８】円筒モデルを用いた視点変換手法の説明において平面と実円筒及びその主軸を示す図である。
【図９】円筒モデルを用いた視点変換手法の説明においてターゲット円筒主軸の回転行列を示す図である。
【図１０】円筒モデルを用いた視点変換手法の説明において円筒と平面の接触角度の定義を示す図である。
【図１１】円筒モデルを用いた視点変換手法の説明において基本円筒表面のuvマップを示す図である。
【図１２】円筒モデルを用いた視点変換手法の説明においてv1及びv2があらかじめ決まっている場合を示す図である。
【図１３】円筒モデルを用いた視点変換手法の説明において全体配置の例を示す図である。
【図１４】円筒モデルを用いた視点変換手法の説明において標準的なＣＣＤ設定例を示す図である。
【図１５】円筒モデルを用いた視点変換手法の説明において２平面モデルの場合を示す図である。
【図１６】円筒モデルを用いた視点変換手法の説明において基本円筒空間内でのＣＣＤのuvマッピング例を示す図である。
【図１７】実施例２の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
【図１８】実施例２の画像生成装置において一部円筒曲面７３の仮想的な円筒の半径R1を所定の値に設定した場合のモニタ映像例を示す図である。
【図１９】実施例３の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
【図２０】実施例３の画像生成装置において一部円筒曲面９３の仮想的な円筒の半径R2を所定の値に設定した場合のモニタ映像例を示す図である。
【図２１】実施例４の画像生成装置における二平面が交わる平面交線領域に楕円筒を接触させた一例を示す図である。
【図２２】実施例１〜実施例３の画像生成装置における二平面が交わる平面交線領域に円筒を接触させた一例を示す図である。
【図２３】実施例５の画像生成装置における二平面が交わる平面交線領域にエルミート曲線を滑らかに接続させた一例を示す図である。
【図２４】実施例５の画像生成装置における二平面が交わる平面交線領域にエルミート曲線を、有角を持たせて接続させた一例を示す図である。
【図２５】実施例６の画像生成装置における曲面化仮想立体スクリーンと曲面化仮想立体ＣＣＤを共に自由曲面とした一例を示す図である。
【符号の説明】
【０２１６】
１ リアカメラ（実カメラ）
２ 画像処理コントローラ
２１ デコーダ間変換部
２２ 座標変換処理部
２３ ＲＯＭ
２４ ＲＡＭ
２５ エンコーダ変換部
３ モニタ
４ 調整操作ダイアル
４１ 仮想カメラ位置調整操作ダイアル
４２ 角度調整操作ダイアル
４３，４４，４５ 円筒半径調整操作ダイアル
７ 曲面化仮想立体スクリーン
７’ 仮想立体スクリーン
７１ 近景用スクリーン
７２ 遠景用スクリーン
７３ 一部円筒曲面
８ 仮想カメラ
９ 曲面化仮想立体ＣＣＤ
９’ 仮想立体ＣＣＤ
９１ 近景用撮像面
９２ 遠景用撮像面
９３ 一部円筒曲面
ａ，ｂ 仮想カメラ８の位置
ｃ，ｄ，ｃ’，ｄ’ 接触線
α スクリーン傾斜角度
β ＣＣＤ傾斜角度
R1,R2 仮想的な円筒の半径
【特許請求の範囲】
【請求項１】
実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた画像生成装置において、
前記仮想投影面として、近景用投影面と遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、近景用撮像面と遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、を設け、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、近景面と遠景面との接合域を曲面により滑らかにつないだ曲面化仮想立体面を設定する手段とし、
前記モニタ画像データ生成手段は、曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項２】
請求項１に記載された画像生成装置において、
前記仮想立体投影面設定手段は、仮想的な円筒を近景用投影面と遠景用投影面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部円筒曲面を有する曲面化仮想立体投影面を設定し、
前記仮想立体撮像面設定手段は、仮想的な円筒を近景用撮像面と遠景用撮像面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部円筒曲面を有する曲面化仮想立体撮像面を設定し、
前記モニタ画像データ生成手段は、相似形による曲面化仮想立体投影面と曲面化仮想立体撮像面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項３】
請求項２に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段に、外部からの設定操作により、相似形による曲面化仮想立体投影面と曲面化仮想立体撮像面の仮想的な円筒の半径を調整制御する円筒半径調整操作手段を設けたことを特徴とする画像生成装置。
【請求項４】
請求項１に記載された画像生成装置において、
前記仮想立体投影面設定手段は、仮想的な円筒を近景用投影面と遠景用投影面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部円筒曲面を有する曲面化仮想立体投影面を設定し、
前記仮想立体撮像面設定手段は、近景用撮像面と遠景用撮像面の二平面が直線で交わる仮想立体撮像面を設定し、
前記モニタ画像データ生成手段は、曲面化仮想立体投影面と二平面が直線で交わる仮想立体撮像面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項５】
請求項４に記載された画像生成装置において、
前記仮想立体投影面設定手段は、外部からの設定操作により、曲面化仮想立体投影面の仮想的な円筒の半径を調整制御する円筒半径調整操作手段を設けたことを特徴とする画像生成装置。
【請求項６】
請求項１に記載された画像生成装置において、
前記仮想立体投影面設定手段は、近景用投影面と遠景用投影面の二平面が直線で交わる仮想立体投影面を設定し、
前記仮想立体撮像面設定手段は、仮想的な円筒を近景用撮像面と遠景用撮像面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部円筒曲面を有する曲面化仮想立体撮像面を設定し、
前記モニタ画像データ生成手段は、二平面が直線で交わる仮想立体投影面と曲面化仮想立体撮像面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項７】
請求項６に記載された画像生成装置において、
前記仮想立体撮像面設定手段は、外部からの設定操作により、曲面化仮想立体撮像面の仮想的な円筒の半径を調整制御する円筒半径調整操作手段を設けたことを特徴とする画像生成装置。
【請求項８】
請求項１に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、仮想的な楕円筒を近景用面と遠景用面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部楕円筒曲面を有する曲面化仮想立体面を設定し、
前記モニタ画像データ生成手段は、一部楕円筒曲面を有する曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項９】
請求項８に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の仮想的な楕円筒の短軸長さ／長軸長さ／回転角度を調整制御する楕円筒調整操作手段を設けたことを特徴とする画像生成装置。
【請求項１０】
請求項１に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、近景用面と遠景用面の二平面が交わる平面交線領域を自由曲線によりつないだ自由曲線曲面を有する曲面化仮想立体面を設定し、
前記モニタ画像データ生成手段は、自由曲線曲面を有する曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項１１】
請求項１０に記載された画像生成装置において、
前記自由曲線は、二平面との境界線が平面上に固定され、傾きが平面と一致しているパラメトリック３次曲線であり、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の２次元平面内で自由曲線の両端の座標値／傾き／曲率を調整制御する自由曲線調整操作手段を設けたことを特徴とする画像生成装置。
【請求項１２】
請求項１０に記載された画像生成装置において、
前記自由曲線は、二平面との境界線が平面上に固定され、二平面とは有角を持って接合されているパラメトリック３次曲線であり、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の２次元平面内で自由曲線の両端の交差角度値／両端の座標値／傾き／曲率を調整制御する自由曲線調整操作手段を設けたことを特徴とする画像生成装置。
【請求項１３】
請求項１に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、近景用面と遠景用面を基準として全体を滑らかに接合した自由曲面を有する曲面化仮想立体面を設定し、
前記モニタ画像データ生成手段は、自由曲面を有する曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項１４】
請求項１３に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、自由曲面の３次元形状を調整制御する自由曲面調整操作手段を設けたことを特徴とする画像生成装置。
【請求項１】
実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた画像生成装置において、
前記仮想投影面として、近景用投影面と遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、近景用撮像面と遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、を設け、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、近景面と遠景面との接合域を曲面により滑らかにつないだ曲面化仮想立体面を設定する手段とし、
前記モニタ画像データ生成手段は、曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項２】
請求項１に記載された画像生成装置において、
前記仮想立体投影面設定手段は、仮想的な円筒を近景用投影面と遠景用投影面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部円筒曲面を有する曲面化仮想立体投影面を設定し、
前記仮想立体撮像面設定手段は、仮想的な円筒を近景用撮像面と遠景用撮像面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部円筒曲面を有する曲面化仮想立体撮像面を設定し、
前記モニタ画像データ生成手段は、相似形による曲面化仮想立体投影面と曲面化仮想立体撮像面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項３】
請求項２に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段に、外部からの設定操作により、相似形による曲面化仮想立体投影面と曲面化仮想立体撮像面の仮想的な円筒の半径を調整制御する円筒半径調整操作手段を設けたことを特徴とする画像生成装置。
【請求項４】
請求項１に記載された画像生成装置において、
前記仮想立体投影面設定手段は、仮想的な円筒を近景用投影面と遠景用投影面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部円筒曲面を有する曲面化仮想立体投影面を設定し、
前記仮想立体撮像面設定手段は、近景用撮像面と遠景用撮像面の二平面が直線で交わる仮想立体撮像面を設定し、
前記モニタ画像データ生成手段は、曲面化仮想立体投影面と二平面が直線で交わる仮想立体撮像面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項５】
請求項４に記載された画像生成装置において、
前記仮想立体投影面設定手段は、外部からの設定操作により、曲面化仮想立体投影面の仮想的な円筒の半径を調整制御する円筒半径調整操作手段を設けたことを特徴とする画像生成装置。
【請求項６】
請求項１に記載された画像生成装置において、
前記仮想立体投影面設定手段は、近景用投影面と遠景用投影面の二平面が直線で交わる仮想立体投影面を設定し、
前記仮想立体撮像面設定手段は、仮想的な円筒を近景用撮像面と遠景用撮像面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部円筒曲面を有する曲面化仮想立体撮像面を設定し、
前記モニタ画像データ生成手段は、二平面が直線で交わる仮想立体投影面と曲面化仮想立体撮像面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項７】
請求項６に記載された画像生成装置において、
前記仮想立体撮像面設定手段は、外部からの設定操作により、曲面化仮想立体撮像面の仮想的な円筒の半径を調整制御する円筒半径調整操作手段を設けたことを特徴とする画像生成装置。
【請求項８】
請求項１に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、仮想的な楕円筒を近景用面と遠景用面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部楕円筒曲面を有する曲面化仮想立体面を設定し、
前記モニタ画像データ生成手段は、一部楕円筒曲面を有する曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項９】
請求項８に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の仮想的な楕円筒の短軸長さ／長軸長さ／回転角度を調整制御する楕円筒調整操作手段を設けたことを特徴とする画像生成装置。
【請求項１０】
請求項１に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、近景用面と遠景用面の二平面が交わる平面交線領域を自由曲線によりつないだ自由曲線曲面を有する曲面化仮想立体面を設定し、
前記モニタ画像データ生成手段は、自由曲線曲面を有する曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項１１】
請求項１０に記載された画像生成装置において、
前記自由曲線は、二平面との境界線が平面上に固定され、傾きが平面と一致しているパラメトリック３次曲線であり、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の２次元平面内で自由曲線の両端の座標値／傾き／曲率を調整制御する自由曲線調整操作手段を設けたことを特徴とする画像生成装置。
【請求項１２】
請求項１０に記載された画像生成装置において、
前記自由曲線は、二平面との境界線が平面上に固定され、二平面とは有角を持って接合されているパラメトリック３次曲線であり、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の２次元平面内で自由曲線の両端の交差角度値／両端の座標値／傾き／曲率を調整制御する自由曲線調整操作手段を設けたことを特徴とする画像生成装置。
【請求項１３】
請求項１に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、近景用面と遠景用面を基準として全体を滑らかに接合した自由曲面を有する曲面化仮想立体面を設定し、
前記モニタ画像データ生成手段は、自由曲面を有する曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。
【請求項１４】
請求項１３に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、自由曲面の３次元形状を調整制御する自由曲面調整操作手段を設けたことを特徴とする画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２００８−１４１６４３（Ｐ２００８−１４１６４３Ａ）
【公開日】平成２０年６月１９日（２００８．６．１９）
【国際特許分類】
【出願番号】特願２００６−３２７９３５（Ｐ２００６−３２７９３５）
【出願日】平成１８年１２月５日（２００６．１２．５）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【出願人】（５０１３４８１３９）株式会社 エイチ・シー・エックス (86)
【Ｆターム（参考）】
【公開日】平成２０年６月１９日（２００８．６．１９）
【国際特許分類】
【出願日】平成１８年１２月５日（２００６．１２．５）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【出願人】（５０１３４８１３９）株式会社 エイチ・シー・エックス (86)
【Ｆターム（参考）】
[ Back to top ]