操縦支援装置
【課題】カメラの設置場所および／または移動体の形状によっては、カメラによって捉えられたものの表示画像には現れない死角が移動体の周辺に生まれ、これによって操縦性が低下するおそれがあるため、操縦性を向上させる。
【解決手段】カメラＣ＿１〜Ｃ＿４の各々は、船体の側面に下向きの姿勢で設けられて船舶の周辺を捉える。ＣＰＵ１２ｐは、船舶の周辺を鳥瞰的に表す全周鳥瞰図画像をカメラＣ＿１〜Ｃ＿４の出力に基づいて作成する。ＣＰＵ１２ｐはまた、鳥瞰された船舶の少なくとも外延を表すグラフィック画像を全周鳥瞰図画像に透過的に多重する。ＣＰＵ１２ｐはさらに、鳥瞰された船舶の一部を表すグラフィック画像を全周鳥瞰図画像に非透過的に多重する。
【解決手段】カメラＣ＿１〜Ｃ＿４の各々は、船体の側面に下向きの姿勢で設けられて船舶の周辺を捉える。ＣＰＵ１２ｐは、船舶の周辺を鳥瞰的に表す全周鳥瞰図画像をカメラＣ＿１〜Ｃ＿４の出力に基づいて作成する。ＣＰＵ１２ｐはまた、鳥瞰された船舶の少なくとも外延を表すグラフィック画像を全周鳥瞰図画像に透過的に多重する。ＣＰＵ１２ｐはさらに、鳥瞰された船舶の一部を表すグラフィック画像を全周鳥瞰図画像に非透過的に多重する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、操縦支援装置に関し、特に、移動体の鳥瞰図画像をモニタ画面に表示して移動体の操縦を支援する、操縦支援装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、複数のカメラが車両に設置され、車両上方を視点とする画像がこれらのカメラの出力に基づいて作成される。作成された画像は、モニタ画面に表示される。車両の四隅には、４つのコーナーセンサがそれぞれ設置される。車両に近接する障害物がこれらのコーナーセンサのいずれか１つによって検知されると、障害物を検知したコーナーセンサの設置位置に対応して既定のマークがモニタ画面に表示される。これによって、運転者は、モニタ画面を通して障害物の存在を認識することができる。
【特許文献１】特開２００７−１８０６２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、背景技術では、カメラの設置場所および／または移動体の形状によっては、カメラによって捉えられたものの表示画像には現れない死角が移動体の周辺に生まれ、これによって操縦性が低下するおそれがある。
【０００４】
それゆえに、この発明の主たる目的は、操縦性を向上させることができる、操縦支援装置を提供することである。
【課題を解決するための手段】
【０００５】
この発明に従う操縦支援装置(10：実施例で相当する参照符号。以下同じ)は、移動体に下向きの姿勢で設けられて移動体の周辺を捉える撮像手段(C_1~C_4)、移動体の周辺を鳥瞰的に表す周辺画像を撮像手段の出力に基づいて作成する作成手段(S3~S5)、および鳥瞰された移動体の少なくとも外延を表す第１移動体画像を作成手段によって作成された周辺画像に透過的に多重する第１多重手段(S7, S41)を備える。
【０００６】
撮像手段は、移動体に下向きの姿勢で設けられて移動体の周辺を捉える。作成手段は、移動体の周辺を鳥瞰的に表す周辺画像を撮像手段の出力に基づいて作成する。第１多重手段は、鳥瞰された移動体の少なくとも外延を表す第１移動体画像を、作成手段によって作成された周辺画像に透過的に多重する。
【０００７】
鳥瞰された移動体の少なくとも外延を表す第１移動体画像を移動体の周辺を鳥瞰的に表す周辺画像に多重することで、移動体とその周辺との位置関係が明確となる。また、第１移動体画像を透過的に多重することで、移動体の周辺の死角が低減される。この結果、移動体の操縦性が向上する。
【０００８】
好ましくは、第１移動体画像は鳥瞰された移動体の全体を表す画像に相当する。
【０００９】
好ましくは、鳥瞰された移動体の一部を表す第２移動体画像を作成手段によって作成された周辺画像に多重する第２多重手段(S9)がさらに備えられる。
【００１０】
或る局面では、第２多重手段は非透過的に第２移動体画像を多重する。
【００１１】
他の局面では、移動体は船舶に相当し、第２移動体画像によって表される移動体の一部の大きさは移動体を喫水線で切断して得られる切断面の大きさに相当する。
【００１２】
その他の局面では、移動体の傾きおよび／または高度の変化を検出する検出手段(18, S25, S27)、および第２移動体画像によって表される移動体の一部の大きさを傾き検出手段の検出結果を参照して修正する修正手段(S31)がさらに備えられる。
【００１３】
この発明に従う操縦支援プログラムは、移動体に下向きの姿勢で設けられて移動体の周辺を捉える撮像手段(C_1~C_4)を備える操縦支援装置(10)のプロセッサ(12p)に、移動体の周辺を鳥瞰的に表す周辺画像を撮像手段の出力に基づいて作成する作成ステップ (S3~S5)、および鳥瞰された移動体の少なくとも外延を表す第１移動体画像を作成ステップによって作成された周辺画像に透過的に多重する多重ステップ(S7, S41)を実行させるための、操縦支援プログラムである。
【００１４】
この発明に従う操縦支援方法は、移動体に下向きの姿勢で設けられて移動体の周辺を捉える撮像手段(C_1~C_4)を備える操縦支援装置(10)によって実行される操縦支援方法であって、移動体の周辺を鳥瞰的に表す周辺画像を撮像手段の出力に基づいて作成する作成ステップ (S3~S5)、および鳥瞰された移動体の少なくとも外延を表す第１移動体画像を作成ステップによって作成された周辺画像に透過的に多重する多重ステップ(S7, S41)を備える。
【発明の効果】
【００１５】
この発明によれば、鳥瞰された移動体の少なくとも外延を表す第１移動体画像を移動体の周辺を鳥瞰的に表す周辺画像に多重することで、移動体とその周辺との位置関係が明確となる。また、第１移動体画像を透過的に多重することで、移動体の周辺の死角が低減される。この結果、移動体の操縦性が向上する。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００１７】
図１に示すこの実施例の操船支援装置１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１〜Ｃ＿４はそれぞれ、共通のタイミング信号に同期して被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２によって取り込まれる。
【００１８】
操船支援装置１０は、図２（Ａ）〜図２（Ｂ）および図３（Ａ）〜図３（Ｂ）に示す船舶１００に搭載される。船舶１００は、大まかには、船体１０２，船室１０４および船橋１０６によって構成される。船体１０２を高さ方向に直交するように切断して得られる断面は、高度の増大に伴って増大する広さを有する。船室１０４は船体１０２の上面ほぼ中央に箱型に形成され、船橋１０６は船室１０４の上面中央に箱形に形成される。船室１０４の広さは船体１０２の上面の広さよりも小さく、船橋１０６の広さもまた船室１０４の広さよりも小さい。
【００１９】
カメラＣ＿１は船体１０２の先端つまり船首に設置され、カメラＣ＿２は船体１０２の右舷上部の長さ方向ほぼ中央に設置される。また、カメラＣ＿３は船体１０２の背面の上部中央に設置され、カメラＣ＿４は船体１０２の左舷上部の長さ方向ほぼ中央に設置される。カメラＣ＿１の光軸は船体１０２の前方向斜め下向きに延び、カメラＣ＿２の光軸は船体１０２の右方向斜め下向きに延びる。また、カメラＣ＿３の光軸は船体１０２の後方向斜め下向きに延び、カメラＣ＿４の光軸は船体１０２の左方向斜め下向きに延びる。
【００２０】
図４を参照して、カメラＣ＿１は船体１０２の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は船体１０２の右方を捉える視野ＶＷ＿２を有し、カメラＣ＿３は船体１０２の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は船体１０２の左方を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。
【００２１】
より具体的には、視野ＶＷ＿１は、船体１０２の前部の喫水線ＤＬ（図３（Ｂ）参照）を跨いで、船体１０２の前部の外板と船体１０２の前方の水面（海面）ＷＳの両方を捉える。また、視野ＶＷ＿２は、船体１０２の右舷の喫水線ＤＬを跨いで、船体１０２の右舷の外板と船体１０２の右方の水面ＷＳの両方を捉える。さらに、視野ＶＷ＿３は、船体１０２の後部の喫水線ＤＬを跨いで、船体１０２の後部の外板と船体１０２の後方の水面ＷＳの両方を捉える。さらにまた、視野ＶＷ＿４は、船体１０２の左舷の喫水線ＤＬを跨いで、船体１０２の左舷の外板と船体１０２の左方の水面ＷＳの両方を捉える。つまり、船体１０２の喫水線ＤＬの周辺の状況は、カメラＣ＿１〜Ｃ＿４によって把握される。
【００２２】
図１に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、カメラＣ＿１から出力された被写界像Ｐ＿１に基づいて図５（Ａ）に示す鳥瞰図画像ＢＥＶ＿１を生成し、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて図５（Ｂ）に示す鳥瞰図画像ＢＥＶ＿２を生成する。ＣＰＵ１２ｐはまた、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて図５（Ｃ）に示す鳥瞰図画像ＢＥＶ＿３を生成し、カメラＣ＿４から出力された被写界像Ｐ＿４に基づいて図５（Ｄ）に示す鳥瞰図画像ＢＥＶ＿４を生成する。
【００２３】
鳥瞰図画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰図画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰図画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰図画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
【００２４】
図５（Ａ）〜図５（Ｄ）によれば、鳥瞰図画像ＢＥＶ＿１は鳥瞰図座標系Ｘ１・Ｙ１を有し、鳥瞰図画像ＢＥＶ＿２は鳥瞰図座標系Ｘ２・Ｙ２を有し、鳥瞰図画像ＢＥＶ＿３は鳥瞰図座標系Ｘ３・Ｙ３を有し、そして鳥瞰図画像ＢＥＶ＿４は鳥瞰図座標系Ｘ４・Ｙ４を有する。
【００２５】
なお、鳥瞰図ＢＥＶ＿１〜ＢＥＶ＿４は、水面ＷＳが高さ方向の原点であるとの想定の下で作成される。また、作成された鳥瞰図ＢＥＶ＿１〜ＢＥＶ＿４は、メモリ１２ｍのワークエリアＷ１に保持される。
【００２６】
ＣＰＵ１２ｐは続いて、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ４を座標変換によって互いに結合する。鳥瞰図画像ＢＥＶ＿２〜ＢＥＶ＿４は鳥瞰図画像ＢＥＶ＿１を基準として回転および／または移動し、この結果、図６に示す全周鳥瞰図画像がメモリ１２ｍのワークエリアＷ２内に得られる。
【００２７】
図６において、重複エリアＯＬ＿１２が共通視野ＶＷ＿１２を再現するエリアに相当し、重複エリアＯＬ＿２３が共通視野ＶＷ＿２３を再現するエリアに相当する。また、重複エリアＯＬ＿３４が共通視野ＶＷ＿３４を再現するエリアに相当し、そして重複エリアＯＬ＿４１が共通視野ＶＷ＿４１を再現するエリアに相当する。
【００２８】
ＣＰＵ１２ｐはその後、図７に示す操船支援画像を船橋１０６内に設定された表示装置１６のモニタ画面に表示するべく、船舶１００の上部を模したグラフィック画像ＳＴまたはＳＣをワークエリアＷ２上の全周鳥瞰図画像の中央に多重し、重複エリアＯＬ＿１２〜ＯＬ＿４１が四隅に位置する一部の画像を切り出し、そして切り出された一部の画像つまり操船支援画像を表示装置１６に向けて出力する。
【００２９】
ここで、グラフィック画像ＳＴは、鳥瞰された船舶１００の全体を表す画像に相当し、全周鳥瞰図画像に透過的（半透明）に多重される。グラフィック画像ＳＴの輪郭は、太線を用いて強調的に描かれる。一方、グラフィック画像ＳＣは、鳥瞰された船舶１００の一部を表す画像に相当し、グラフィック画像ＳＴの上から全周鳥瞰図画像に非透過的に多重される。グラフィック画像ＧＣによって表される船舶１００の一部の大きさは、船舶１００を喫水線ＤＬで切断して得られる切断面の大きさに相当する。
【００３０】
グラフィック画像ＳＴのような鳥瞰された船舶１００の外延を認識できる画像を船舶１００の周辺を鳥瞰的に表す全周鳥瞰図画像に多重することで、船舶１００とその周辺との位置関係が明確となる。また、グラフィック画像ＳＴを透過的に全周鳥瞰図画像に多重することで、船舶１００の周辺（より具体的には、喫水線ＤＬの周辺）の死角が低減される。この結果、船舶１００の操縦性が向上する。さらに、船舶１００を喫水線ＤＬで切断して得られる切断面の大きさに相当するグラフィック画像ＳＣを全周鳥瞰図画像に多重することで、見映えが向上する。
【００３１】
鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４は、次の要領で作成される。なお、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰図画像ＢＥＶ３の作成要領を説明する。
【００３２】
図８を参照して、カメラＣ＿３は、船体１０２の背面の上端中央に、後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図８に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。
【００３３】
図９は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。
【００３４】
カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ水面ＷＳに平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。
【００３５】
世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と水面ＷＳとの交点を原点Ｏｗとして、水面ＷＳと垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。
【００３６】
カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。
【００３７】
カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。
【数１】
【００３８】
ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。
【数２】
【００３９】
また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元水面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。
【数３】
【００４０】
また、図５（Ｃ）に示す鳥瞰図画像ＢＥＶ＿３の座標系である鳥瞰図座標系Ｘ３・Ｙ３が定義される。鳥瞰図座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰図座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰図画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰図座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。
【００４１】
水面ＷＳを表す二次元座標系Ｘｗ・Ｚｗから鳥瞰図座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰図座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。
【数４】
【００４２】
さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰図座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。
【数５】
【数６】
【数７】
【００４３】
撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ＿３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰図画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰図画像ＢＥＶ＿３に変換される。
【００４４】
ＣＰＵ１２ｐは、具体的には図１０に示す画像処理タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ１４（図１参照）に記憶される。
【００４５】
まずステップＳ１でカメラＣ＿１〜Ｃ＿４から被写界像Ｐ＿１〜Ｐ＿４をそれぞれ取り込む。ステップＳ３では、取り込まれた被写界像Ｐ＿１〜Ｐ＿４に基づいて鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を作成し、作成された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４をワークエリアＷ１に確保する。ステップＳ５では、ステップＳ３で作成された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を合成して全周鳥瞰図画像を作成し、作成された全周鳥瞰図画像をワークエリアＷ２に確保する。
【００４６】
ステップＳ７では、鳥瞰された船舶１００の全体を表す半透明のグラフィック画像ＳＴを、ワークエリアＷ２に確保された全周鳥瞰図画像に多重する。ステップＳ９では、鳥瞰された船舶１００の一部を表すグラフィック画像ＳＧを、ワークエリアＷ２に確保された全周鳥瞰図画像に追加的に多重する。ステップＳ１１では、グラフィック画像ＳＴおよびＳＧが多重された全周鳥瞰図画像の一部をワークエリアＷ２から切り出し、切り出された画像を操船支援画像として表示装置１６に向けて出力する。ステップＳ１１の処理が完了すると、ステップＳ１に戻る。
【００４７】
以上の説明から分かるように、カメラＣ＿１〜Ｃ＿４の各々は、船体１０２の側面に下向きの姿勢で設けられて船舶１００の周辺を捉える。ＣＰＵ１２ｐは、船舶１００の周辺を鳥瞰的に表す全周鳥瞰図画像（周辺画像）をカメラＣ＿１〜Ｃ＿４の出力に基づいて作成する(S3~S5)。ＣＰＵ１２ｐはまた、鳥瞰された船舶１００の少なくとも外延を表すグラフィック画像ＳＴを全周鳥瞰図画像に透過的に多重する(S7)。
【００４８】
鳥瞰された船舶１００の少なくとも外延を表すグラフィック画像ＳＴを船舶１００の周辺を鳥瞰的に表す全周鳥瞰図画像に多重することで、船舶１００とその周辺との位置関係が明確となる。また、グラフィック画像ＳＴを透過的に多重することで、船舶１００の周辺の死角が低減される。この結果、船舶１００の操縦性が向上する。
【００４９】
なお、この実施例では、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を作成するために参照されるカメラＣ＿１〜Ｃ＿４の姿勢情報（具体的には、図９に示すＸＹＺ軸の定義）は、船体１０２の揺れ（つまり船体１０２の傾きおよび／または高度の変化）に関係なく固定される。さらに、この実施例では、グラフィック画像ＳＣの形状も固定的である。
【００５０】
しかし、船体１０２の揺れを検知するジャイロセンサ２０を図１１に示すように追加し、カメラＣ＿１〜Ｃ＿４の姿勢情報やグラフィック画像ＳＣの形状をジャイロセンサ２０の出力に基づいて修正するようにしてもよい。
【００５１】
カメラＣ＿１〜Ｃ＿４の姿勢情報を修正することで、船体１０２の揺れに起因する鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４の間のずれを抑制することができる。また、グラフィック画像ＳＣの形状を修正することで、船体１０２の揺れに起因するグラフィック画像ＳＣの形状と喫水線ＤＬでの船体１０２の断面形状との間のずれを抑制することができる。
【００５２】
参考までに、船体１０２の姿勢が図１２（Ａ）に示す姿勢と図１２（Ｂ）に示す姿勢との間で変化した場合、グラフィック画像ＳＣは、図１２（Ａ）に示す姿勢に対応して図１３（Ａ）に示す要領で再現され、図１２（Ｂ）に示す姿勢に対応して図１３（Ｂ）に示す要領で再現される。
【００５３】
カメラＣ＿１〜Ｃ＿４の姿勢情報およびグラフィック画像ＳＣの形状を上述のように修正するために、ＣＰＵ１２ｐは、図１４に示すグラフィック画像修正タスクをさらに実行する。
【００５４】
図１４を参照して、ステップＳ２１ではジャイロセンサ２０の出力に基づいて船体１０２の傾きおよび高度を算出する。ステップＳ２３では、カメラＣ＿１〜Ｃ＿４の各々に割り当てられたＸＹＺ軸の定義を、ステップＳ２１で算出された傾きおよび高度を参照して修正する。修正されたＸＹＺ軸は図１０に示すステップＳ３の処理に反映され、これによって鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４の間のずれが抑制される。
【００５５】
ステップＳ２５では船体１０２の傾きの基準値からのずれ量を“ΔＳＷ”として算出し、ステップＳ２７では船体１０２の高度の基準値からのずれ量を“ΔＨＴ”として算出する。ステップＳ２９では、算出されたずれ量ΔＳＷおよびΔＨＴに基づいて船体１０２の揺れが大きいが否かを判別する。具体的には、ずれ量ΔＳＷが閾値ＴＨ１を上回るか或いはずれ量ΔＨＴが閾値ＴＨ２を上回るときに揺れが大きいと判断し、ずれ量ΔＳＷが閾値ＴＨ１以下でかつずれ量ΔＨＴが閾値ＴＨ２以下のときに揺れが小さいと判断する。
【００５６】
ステップＳ２９でＮＯであれば、ステップＳ３３でグラフィック画像ＳＣの形状を初期化し、ステップＳ２１に戻る。ステップＳ２９でＹＥＳであればステップＳ３１に進み、船体１０２の揺れを考慮してグラフィック画像ＳＣの形状を修正する。修正されたグラフィック画像ＳＣの形状は、揺れた船体１０２の喫水線ＤＬで船体１０２を切断して得られる断面形状に相当する。これによってグラフィック画像ＳＣの形状と喫水線ＤＬでの船体１０２の断面形状との間のずれが抑制される。ステップＳ３１の処理は、図１０に示すステップＳ９の処理に反映される。ステップＳ３１の処理が完了すると、ステップＳ２１に戻る。
【００５７】
さらに、この実施例では、鳥瞰された船舶１００の全体を表すグラフィック画像ＳＴを全周鳥瞰図画像に透過的に多重するようにしているが（図７参照）、これに代えて鳥瞰された船舶１００の外延（輪郭）を表す輪郭画像ＳＬを図１５に示す要領で全周鳥瞰図画像に多重するようにしてもよい。この場合、ＣＰＵ１２ｐは、好ましくは、図１６に示すステップＳ４１の処理（輪郭画像ＳＬを全周鳥瞰図画像に多重する処理）を図１０に示すステップＳ７の処理に代えて実行する。
【００５８】
さらに、この実施例では、船舶１００の全周を鳥瞰した全周鳥瞰図画像を表示するようにしているが、これに代えて一部の鳥瞰図画像のみを表示するようにし、表示すべき一部の鳥瞰図画像を船舶１００の移動方向，移動速度，姿勢などに基づいて更新するようにしてもよい。
【００５９】
また、この実施例では、移動体として船舶１００を想定しているが、移動体としては、航空機や大型のダンプトラックを想定するようにしてもよい。航空機を想定した場合、複数のカメラは胴体や翼の下部に斜め下向きの姿勢で設置される。鳥瞰された航空機の全体を表すグラフィック画像または輪郭画像は、複数のカメラの出力に基づく鳥瞰図画像に透過的に多重される。これによって、離着陸時の操縦性が向上する。
【００６０】
また、大型のダンプトラックを想定した場合、複数のカメラは車両本体とタイヤとの間に斜め下向きの姿勢で設置される。鳥瞰されたダンプトラックの全体を表すグラフィック画像または輪郭画像は、複数のカメラの出力に基づく鳥瞰図画像に透過的に多重される。これによって、作業時の操縦性が向上する。
【００６１】
上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。
【００６２】
実施例で述べたような撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰図画像上に投影することによって撮影画像が鳥瞰図画像に変換される。
【図面の簡単な説明】
【００６３】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】（Ａ）は船舶を前方から眺めた状態を示す図解図であり、（Ｂ）は船舶を後方から眺めた状態を示す図解図である。
【図３】（Ａ）は船舶を側方から眺めた状態を示す図解図であり、（Ｂ）は船舶を上方から眺めた状態を示す図解図である。
【図４】船舶に取り付けられた複数のカメラによって捉えられる視野の一例を示す図解図である。
【図５】（Ａ）は前カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｂ）は右カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｃ）は後カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｄ）は左カメラの出力に基づく鳥瞰図画像の一例を示す図解図である。
【図６】図５（Ａ）〜図５（Ｄ）に示す鳥瞰図画像に基づく全周鳥瞰図画像の一例を示す図解図である。
【図７】表示装置から出力される操船支援画像の一例を示す図解図である。
【図８】船舶に取り付けられたカメラの角度を示す図解図である。
【図９】カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。
【図１０】図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１１】他の実施例の構成を示すブロック図である。
【図１２】（Ａ）は標準姿勢の船舶を左方から眺めた状態の一例を示す図解図であり、（Ｂ）は前後に傾斜した船舶を左方から眺めた状態の一例を示す図解図である。
【図１３】（Ａ）は図１２（Ａ）に示す姿勢に対応して表示装置から出力される操船支援画像の一例を示す図解図であり、（Ｂ）は図１２（Ｂ）に示す姿勢に対応して表示装置から出力される操船支援画像の一例を示す図解図である。
【図１４】図１１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１５】その他の実施例の表示装置から出力される操船支援画像の一例を示す図解図である。
【図１６】その他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【符号の説明】
【００６４】
１０ …操船支援装置
Ｃ１〜Ｃ４ …カメラ
１２ …画像処理回路
１２ｐ …ＣＰＵ
１４ …フラシュメモリ
１６ …表示装置
１８ …ジャイロセンサ
１００ …船舶
【技術分野】
【０００１】
この発明は、操縦支援装置に関し、特に、移動体の鳥瞰図画像をモニタ画面に表示して移動体の操縦を支援する、操縦支援装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、複数のカメラが車両に設置され、車両上方を視点とする画像がこれらのカメラの出力に基づいて作成される。作成された画像は、モニタ画面に表示される。車両の四隅には、４つのコーナーセンサがそれぞれ設置される。車両に近接する障害物がこれらのコーナーセンサのいずれか１つによって検知されると、障害物を検知したコーナーセンサの設置位置に対応して既定のマークがモニタ画面に表示される。これによって、運転者は、モニタ画面を通して障害物の存在を認識することができる。
【特許文献１】特開２００７−１８０６２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、背景技術では、カメラの設置場所および／または移動体の形状によっては、カメラによって捉えられたものの表示画像には現れない死角が移動体の周辺に生まれ、これによって操縦性が低下するおそれがある。
【０００４】
それゆえに、この発明の主たる目的は、操縦性を向上させることができる、操縦支援装置を提供することである。
【課題を解決するための手段】
【０００５】
この発明に従う操縦支援装置(10：実施例で相当する参照符号。以下同じ)は、移動体に下向きの姿勢で設けられて移動体の周辺を捉える撮像手段(C_1~C_4)、移動体の周辺を鳥瞰的に表す周辺画像を撮像手段の出力に基づいて作成する作成手段(S3~S5)、および鳥瞰された移動体の少なくとも外延を表す第１移動体画像を作成手段によって作成された周辺画像に透過的に多重する第１多重手段(S7, S41)を備える。
【０００６】
撮像手段は、移動体に下向きの姿勢で設けられて移動体の周辺を捉える。作成手段は、移動体の周辺を鳥瞰的に表す周辺画像を撮像手段の出力に基づいて作成する。第１多重手段は、鳥瞰された移動体の少なくとも外延を表す第１移動体画像を、作成手段によって作成された周辺画像に透過的に多重する。
【０００７】
鳥瞰された移動体の少なくとも外延を表す第１移動体画像を移動体の周辺を鳥瞰的に表す周辺画像に多重することで、移動体とその周辺との位置関係が明確となる。また、第１移動体画像を透過的に多重することで、移動体の周辺の死角が低減される。この結果、移動体の操縦性が向上する。
【０００８】
好ましくは、第１移動体画像は鳥瞰された移動体の全体を表す画像に相当する。
【０００９】
好ましくは、鳥瞰された移動体の一部を表す第２移動体画像を作成手段によって作成された周辺画像に多重する第２多重手段(S9)がさらに備えられる。
【００１０】
或る局面では、第２多重手段は非透過的に第２移動体画像を多重する。
【００１１】
他の局面では、移動体は船舶に相当し、第２移動体画像によって表される移動体の一部の大きさは移動体を喫水線で切断して得られる切断面の大きさに相当する。
【００１２】
その他の局面では、移動体の傾きおよび／または高度の変化を検出する検出手段(18, S25, S27)、および第２移動体画像によって表される移動体の一部の大きさを傾き検出手段の検出結果を参照して修正する修正手段(S31)がさらに備えられる。
【００１３】
この発明に従う操縦支援プログラムは、移動体に下向きの姿勢で設けられて移動体の周辺を捉える撮像手段(C_1~C_4)を備える操縦支援装置(10)のプロセッサ(12p)に、移動体の周辺を鳥瞰的に表す周辺画像を撮像手段の出力に基づいて作成する作成ステップ (S3~S5)、および鳥瞰された移動体の少なくとも外延を表す第１移動体画像を作成ステップによって作成された周辺画像に透過的に多重する多重ステップ(S7, S41)を実行させるための、操縦支援プログラムである。
【００１４】
この発明に従う操縦支援方法は、移動体に下向きの姿勢で設けられて移動体の周辺を捉える撮像手段(C_1~C_4)を備える操縦支援装置(10)によって実行される操縦支援方法であって、移動体の周辺を鳥瞰的に表す周辺画像を撮像手段の出力に基づいて作成する作成ステップ (S3~S5)、および鳥瞰された移動体の少なくとも外延を表す第１移動体画像を作成ステップによって作成された周辺画像に透過的に多重する多重ステップ(S7, S41)を備える。
【発明の効果】
【００１５】
この発明によれば、鳥瞰された移動体の少なくとも外延を表す第１移動体画像を移動体の周辺を鳥瞰的に表す周辺画像に多重することで、移動体とその周辺との位置関係が明確となる。また、第１移動体画像を透過的に多重することで、移動体の周辺の死角が低減される。この結果、移動体の操縦性が向上する。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００１７】
図１に示すこの実施例の操船支援装置１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１〜Ｃ＿４はそれぞれ、共通のタイミング信号に同期して被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２によって取り込まれる。
【００１８】
操船支援装置１０は、図２（Ａ）〜図２（Ｂ）および図３（Ａ）〜図３（Ｂ）に示す船舶１００に搭載される。船舶１００は、大まかには、船体１０２，船室１０４および船橋１０６によって構成される。船体１０２を高さ方向に直交するように切断して得られる断面は、高度の増大に伴って増大する広さを有する。船室１０４は船体１０２の上面ほぼ中央に箱型に形成され、船橋１０６は船室１０４の上面中央に箱形に形成される。船室１０４の広さは船体１０２の上面の広さよりも小さく、船橋１０６の広さもまた船室１０４の広さよりも小さい。
【００１９】
カメラＣ＿１は船体１０２の先端つまり船首に設置され、カメラＣ＿２は船体１０２の右舷上部の長さ方向ほぼ中央に設置される。また、カメラＣ＿３は船体１０２の背面の上部中央に設置され、カメラＣ＿４は船体１０２の左舷上部の長さ方向ほぼ中央に設置される。カメラＣ＿１の光軸は船体１０２の前方向斜め下向きに延び、カメラＣ＿２の光軸は船体１０２の右方向斜め下向きに延びる。また、カメラＣ＿３の光軸は船体１０２の後方向斜め下向きに延び、カメラＣ＿４の光軸は船体１０２の左方向斜め下向きに延びる。
【００２０】
図４を参照して、カメラＣ＿１は船体１０２の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は船体１０２の右方を捉える視野ＶＷ＿２を有し、カメラＣ＿３は船体１０２の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は船体１０２の左方を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。
【００２１】
より具体的には、視野ＶＷ＿１は、船体１０２の前部の喫水線ＤＬ（図３（Ｂ）参照）を跨いで、船体１０２の前部の外板と船体１０２の前方の水面（海面）ＷＳの両方を捉える。また、視野ＶＷ＿２は、船体１０２の右舷の喫水線ＤＬを跨いで、船体１０２の右舷の外板と船体１０２の右方の水面ＷＳの両方を捉える。さらに、視野ＶＷ＿３は、船体１０２の後部の喫水線ＤＬを跨いで、船体１０２の後部の外板と船体１０２の後方の水面ＷＳの両方を捉える。さらにまた、視野ＶＷ＿４は、船体１０２の左舷の喫水線ＤＬを跨いで、船体１０２の左舷の外板と船体１０２の左方の水面ＷＳの両方を捉える。つまり、船体１０２の喫水線ＤＬの周辺の状況は、カメラＣ＿１〜Ｃ＿４によって把握される。
【００２２】
図１に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、カメラＣ＿１から出力された被写界像Ｐ＿１に基づいて図５（Ａ）に示す鳥瞰図画像ＢＥＶ＿１を生成し、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて図５（Ｂ）に示す鳥瞰図画像ＢＥＶ＿２を生成する。ＣＰＵ１２ｐはまた、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて図５（Ｃ）に示す鳥瞰図画像ＢＥＶ＿３を生成し、カメラＣ＿４から出力された被写界像Ｐ＿４に基づいて図５（Ｄ）に示す鳥瞰図画像ＢＥＶ＿４を生成する。
【００２３】
鳥瞰図画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰図画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰図画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰図画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
【００２４】
図５（Ａ）〜図５（Ｄ）によれば、鳥瞰図画像ＢＥＶ＿１は鳥瞰図座標系Ｘ１・Ｙ１を有し、鳥瞰図画像ＢＥＶ＿２は鳥瞰図座標系Ｘ２・Ｙ２を有し、鳥瞰図画像ＢＥＶ＿３は鳥瞰図座標系Ｘ３・Ｙ３を有し、そして鳥瞰図画像ＢＥＶ＿４は鳥瞰図座標系Ｘ４・Ｙ４を有する。
【００２５】
なお、鳥瞰図ＢＥＶ＿１〜ＢＥＶ＿４は、水面ＷＳが高さ方向の原点であるとの想定の下で作成される。また、作成された鳥瞰図ＢＥＶ＿１〜ＢＥＶ＿４は、メモリ１２ｍのワークエリアＷ１に保持される。
【００２６】
ＣＰＵ１２ｐは続いて、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ４を座標変換によって互いに結合する。鳥瞰図画像ＢＥＶ＿２〜ＢＥＶ＿４は鳥瞰図画像ＢＥＶ＿１を基準として回転および／または移動し、この結果、図６に示す全周鳥瞰図画像がメモリ１２ｍのワークエリアＷ２内に得られる。
【００２７】
図６において、重複エリアＯＬ＿１２が共通視野ＶＷ＿１２を再現するエリアに相当し、重複エリアＯＬ＿２３が共通視野ＶＷ＿２３を再現するエリアに相当する。また、重複エリアＯＬ＿３４が共通視野ＶＷ＿３４を再現するエリアに相当し、そして重複エリアＯＬ＿４１が共通視野ＶＷ＿４１を再現するエリアに相当する。
【００２８】
ＣＰＵ１２ｐはその後、図７に示す操船支援画像を船橋１０６内に設定された表示装置１６のモニタ画面に表示するべく、船舶１００の上部を模したグラフィック画像ＳＴまたはＳＣをワークエリアＷ２上の全周鳥瞰図画像の中央に多重し、重複エリアＯＬ＿１２〜ＯＬ＿４１が四隅に位置する一部の画像を切り出し、そして切り出された一部の画像つまり操船支援画像を表示装置１６に向けて出力する。
【００２９】
ここで、グラフィック画像ＳＴは、鳥瞰された船舶１００の全体を表す画像に相当し、全周鳥瞰図画像に透過的（半透明）に多重される。グラフィック画像ＳＴの輪郭は、太線を用いて強調的に描かれる。一方、グラフィック画像ＳＣは、鳥瞰された船舶１００の一部を表す画像に相当し、グラフィック画像ＳＴの上から全周鳥瞰図画像に非透過的に多重される。グラフィック画像ＧＣによって表される船舶１００の一部の大きさは、船舶１００を喫水線ＤＬで切断して得られる切断面の大きさに相当する。
【００３０】
グラフィック画像ＳＴのような鳥瞰された船舶１００の外延を認識できる画像を船舶１００の周辺を鳥瞰的に表す全周鳥瞰図画像に多重することで、船舶１００とその周辺との位置関係が明確となる。また、グラフィック画像ＳＴを透過的に全周鳥瞰図画像に多重することで、船舶１００の周辺（より具体的には、喫水線ＤＬの周辺）の死角が低減される。この結果、船舶１００の操縦性が向上する。さらに、船舶１００を喫水線ＤＬで切断して得られる切断面の大きさに相当するグラフィック画像ＳＣを全周鳥瞰図画像に多重することで、見映えが向上する。
【００３１】
鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４は、次の要領で作成される。なお、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰図画像ＢＥＶ３の作成要領を説明する。
【００３２】
図８を参照して、カメラＣ＿３は、船体１０２の背面の上端中央に、後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図８に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。
【００３３】
図９は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。
【００３４】
カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ水面ＷＳに平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。
【００３５】
世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と水面ＷＳとの交点を原点Ｏｗとして、水面ＷＳと垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。
【００３６】
カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。
【００３７】
カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。
【数１】
【００３８】
ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。
【数２】
【００３９】
また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元水面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。
【数３】
【００４０】
また、図５（Ｃ）に示す鳥瞰図画像ＢＥＶ＿３の座標系である鳥瞰図座標系Ｘ３・Ｙ３が定義される。鳥瞰図座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰図座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰図画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰図座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。
【００４１】
水面ＷＳを表す二次元座標系Ｘｗ・Ｚｗから鳥瞰図座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰図座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。
【数４】
【００４２】
さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰図座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。
【数５】
【数６】
【数７】
【００４３】
撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ＿３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰図画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰図画像ＢＥＶ＿３に変換される。
【００４４】
ＣＰＵ１２ｐは、具体的には図１０に示す画像処理タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ１４（図１参照）に記憶される。
【００４５】
まずステップＳ１でカメラＣ＿１〜Ｃ＿４から被写界像Ｐ＿１〜Ｐ＿４をそれぞれ取り込む。ステップＳ３では、取り込まれた被写界像Ｐ＿１〜Ｐ＿４に基づいて鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を作成し、作成された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４をワークエリアＷ１に確保する。ステップＳ５では、ステップＳ３で作成された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を合成して全周鳥瞰図画像を作成し、作成された全周鳥瞰図画像をワークエリアＷ２に確保する。
【００４６】
ステップＳ７では、鳥瞰された船舶１００の全体を表す半透明のグラフィック画像ＳＴを、ワークエリアＷ２に確保された全周鳥瞰図画像に多重する。ステップＳ９では、鳥瞰された船舶１００の一部を表すグラフィック画像ＳＧを、ワークエリアＷ２に確保された全周鳥瞰図画像に追加的に多重する。ステップＳ１１では、グラフィック画像ＳＴおよびＳＧが多重された全周鳥瞰図画像の一部をワークエリアＷ２から切り出し、切り出された画像を操船支援画像として表示装置１６に向けて出力する。ステップＳ１１の処理が完了すると、ステップＳ１に戻る。
【００４７】
以上の説明から分かるように、カメラＣ＿１〜Ｃ＿４の各々は、船体１０２の側面に下向きの姿勢で設けられて船舶１００の周辺を捉える。ＣＰＵ１２ｐは、船舶１００の周辺を鳥瞰的に表す全周鳥瞰図画像（周辺画像）をカメラＣ＿１〜Ｃ＿４の出力に基づいて作成する(S3~S5)。ＣＰＵ１２ｐはまた、鳥瞰された船舶１００の少なくとも外延を表すグラフィック画像ＳＴを全周鳥瞰図画像に透過的に多重する(S7)。
【００４８】
鳥瞰された船舶１００の少なくとも外延を表すグラフィック画像ＳＴを船舶１００の周辺を鳥瞰的に表す全周鳥瞰図画像に多重することで、船舶１００とその周辺との位置関係が明確となる。また、グラフィック画像ＳＴを透過的に多重することで、船舶１００の周辺の死角が低減される。この結果、船舶１００の操縦性が向上する。
【００４９】
なお、この実施例では、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を作成するために参照されるカメラＣ＿１〜Ｃ＿４の姿勢情報（具体的には、図９に示すＸＹＺ軸の定義）は、船体１０２の揺れ（つまり船体１０２の傾きおよび／または高度の変化）に関係なく固定される。さらに、この実施例では、グラフィック画像ＳＣの形状も固定的である。
【００５０】
しかし、船体１０２の揺れを検知するジャイロセンサ２０を図１１に示すように追加し、カメラＣ＿１〜Ｃ＿４の姿勢情報やグラフィック画像ＳＣの形状をジャイロセンサ２０の出力に基づいて修正するようにしてもよい。
【００５１】
カメラＣ＿１〜Ｃ＿４の姿勢情報を修正することで、船体１０２の揺れに起因する鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４の間のずれを抑制することができる。また、グラフィック画像ＳＣの形状を修正することで、船体１０２の揺れに起因するグラフィック画像ＳＣの形状と喫水線ＤＬでの船体１０２の断面形状との間のずれを抑制することができる。
【００５２】
参考までに、船体１０２の姿勢が図１２（Ａ）に示す姿勢と図１２（Ｂ）に示す姿勢との間で変化した場合、グラフィック画像ＳＣは、図１２（Ａ）に示す姿勢に対応して図１３（Ａ）に示す要領で再現され、図１２（Ｂ）に示す姿勢に対応して図１３（Ｂ）に示す要領で再現される。
【００５３】
カメラＣ＿１〜Ｃ＿４の姿勢情報およびグラフィック画像ＳＣの形状を上述のように修正するために、ＣＰＵ１２ｐは、図１４に示すグラフィック画像修正タスクをさらに実行する。
【００５４】
図１４を参照して、ステップＳ２１ではジャイロセンサ２０の出力に基づいて船体１０２の傾きおよび高度を算出する。ステップＳ２３では、カメラＣ＿１〜Ｃ＿４の各々に割り当てられたＸＹＺ軸の定義を、ステップＳ２１で算出された傾きおよび高度を参照して修正する。修正されたＸＹＺ軸は図１０に示すステップＳ３の処理に反映され、これによって鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４の間のずれが抑制される。
【００５５】
ステップＳ２５では船体１０２の傾きの基準値からのずれ量を“ΔＳＷ”として算出し、ステップＳ２７では船体１０２の高度の基準値からのずれ量を“ΔＨＴ”として算出する。ステップＳ２９では、算出されたずれ量ΔＳＷおよびΔＨＴに基づいて船体１０２の揺れが大きいが否かを判別する。具体的には、ずれ量ΔＳＷが閾値ＴＨ１を上回るか或いはずれ量ΔＨＴが閾値ＴＨ２を上回るときに揺れが大きいと判断し、ずれ量ΔＳＷが閾値ＴＨ１以下でかつずれ量ΔＨＴが閾値ＴＨ２以下のときに揺れが小さいと判断する。
【００５６】
ステップＳ２９でＮＯであれば、ステップＳ３３でグラフィック画像ＳＣの形状を初期化し、ステップＳ２１に戻る。ステップＳ２９でＹＥＳであればステップＳ３１に進み、船体１０２の揺れを考慮してグラフィック画像ＳＣの形状を修正する。修正されたグラフィック画像ＳＣの形状は、揺れた船体１０２の喫水線ＤＬで船体１０２を切断して得られる断面形状に相当する。これによってグラフィック画像ＳＣの形状と喫水線ＤＬでの船体１０２の断面形状との間のずれが抑制される。ステップＳ３１の処理は、図１０に示すステップＳ９の処理に反映される。ステップＳ３１の処理が完了すると、ステップＳ２１に戻る。
【００５７】
さらに、この実施例では、鳥瞰された船舶１００の全体を表すグラフィック画像ＳＴを全周鳥瞰図画像に透過的に多重するようにしているが（図７参照）、これに代えて鳥瞰された船舶１００の外延（輪郭）を表す輪郭画像ＳＬを図１５に示す要領で全周鳥瞰図画像に多重するようにしてもよい。この場合、ＣＰＵ１２ｐは、好ましくは、図１６に示すステップＳ４１の処理（輪郭画像ＳＬを全周鳥瞰図画像に多重する処理）を図１０に示すステップＳ７の処理に代えて実行する。
【００５８】
さらに、この実施例では、船舶１００の全周を鳥瞰した全周鳥瞰図画像を表示するようにしているが、これに代えて一部の鳥瞰図画像のみを表示するようにし、表示すべき一部の鳥瞰図画像を船舶１００の移動方向，移動速度，姿勢などに基づいて更新するようにしてもよい。
【００５９】
また、この実施例では、移動体として船舶１００を想定しているが、移動体としては、航空機や大型のダンプトラックを想定するようにしてもよい。航空機を想定した場合、複数のカメラは胴体や翼の下部に斜め下向きの姿勢で設置される。鳥瞰された航空機の全体を表すグラフィック画像または輪郭画像は、複数のカメラの出力に基づく鳥瞰図画像に透過的に多重される。これによって、離着陸時の操縦性が向上する。
【００６０】
また、大型のダンプトラックを想定した場合、複数のカメラは車両本体とタイヤとの間に斜め下向きの姿勢で設置される。鳥瞰されたダンプトラックの全体を表すグラフィック画像または輪郭画像は、複数のカメラの出力に基づく鳥瞰図画像に透過的に多重される。これによって、作業時の操縦性が向上する。
【００６１】
上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。
【００６２】
実施例で述べたような撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰図画像上に投影することによって撮影画像が鳥瞰図画像に変換される。
【図面の簡単な説明】
【００６３】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】（Ａ）は船舶を前方から眺めた状態を示す図解図であり、（Ｂ）は船舶を後方から眺めた状態を示す図解図である。
【図３】（Ａ）は船舶を側方から眺めた状態を示す図解図であり、（Ｂ）は船舶を上方から眺めた状態を示す図解図である。
【図４】船舶に取り付けられた複数のカメラによって捉えられる視野の一例を示す図解図である。
【図５】（Ａ）は前カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｂ）は右カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｃ）は後カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｄ）は左カメラの出力に基づく鳥瞰図画像の一例を示す図解図である。
【図６】図５（Ａ）〜図５（Ｄ）に示す鳥瞰図画像に基づく全周鳥瞰図画像の一例を示す図解図である。
【図７】表示装置から出力される操船支援画像の一例を示す図解図である。
【図８】船舶に取り付けられたカメラの角度を示す図解図である。
【図９】カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。
【図１０】図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１１】他の実施例の構成を示すブロック図である。
【図１２】（Ａ）は標準姿勢の船舶を左方から眺めた状態の一例を示す図解図であり、（Ｂ）は前後に傾斜した船舶を左方から眺めた状態の一例を示す図解図である。
【図１３】（Ａ）は図１２（Ａ）に示す姿勢に対応して表示装置から出力される操船支援画像の一例を示す図解図であり、（Ｂ）は図１２（Ｂ）に示す姿勢に対応して表示装置から出力される操船支援画像の一例を示す図解図である。
【図１４】図１１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１５】その他の実施例の表示装置から出力される操船支援画像の一例を示す図解図である。
【図１６】その他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【符号の説明】
【００６４】
１０ …操船支援装置
Ｃ１〜Ｃ４ …カメラ
１２ …画像処理回路
１２ｐ …ＣＰＵ
１４ …フラシュメモリ
１６ …表示装置
１８ …ジャイロセンサ
１００ …船舶
【特許請求の範囲】
【請求項１】
移動体に下向きの姿勢で設けられて前記移動体の周辺を捉える撮像手段、
前記移動体の周辺を鳥瞰的に表す周辺画像を前記撮像手段の出力に基づいて作成する作成手段、および
鳥瞰された前記移動体の少なくとも外延を表す第１移動体画像を前記作成手段によって作成された周辺画像に透過的に多重する第１多重手段を備える、操縦支援装置。
【請求項２】
前記第１移動体画像は鳥瞰された前記移動体の全体を表す画像に相当する、請求項１記載の操縦支援装置。
【請求項３】
鳥瞰された前記移動体の一部を表す第２移動体画像を前記作成手段によって作成された周辺画像に多重する第２多重手段をさらに備える、請求項１または２記載の操縦支援装置。
【請求項４】
前記第２多重手段は非透過的に前記第２移動体画像を多重する、請求項３記載の操縦支援装置。
【請求項５】
前記移動体は船舶に相当し、
前記第２移動体画像によって表される前記移動体の一部の大きさは前記移動体を喫水線で切断して得られる切断面の大きさに相当する、請求項３または４記載の操縦支援装置。
【請求項６】
前記移動体の傾きおよび／または高度の変化を検出する検出手段、および
前記第２移動体画像によって表される前記移動体の一部の大きさを前記傾き検出手段の検出結果を参照して修正する修正手段をさらに備える、請求項３ないし５のいずれかに記載の操縦支援装置。
【請求項１】
移動体に下向きの姿勢で設けられて前記移動体の周辺を捉える撮像手段、
前記移動体の周辺を鳥瞰的に表す周辺画像を前記撮像手段の出力に基づいて作成する作成手段、および
鳥瞰された前記移動体の少なくとも外延を表す第１移動体画像を前記作成手段によって作成された周辺画像に透過的に多重する第１多重手段を備える、操縦支援装置。
【請求項２】
前記第１移動体画像は鳥瞰された前記移動体の全体を表す画像に相当する、請求項１記載の操縦支援装置。
【請求項３】
鳥瞰された前記移動体の一部を表す第２移動体画像を前記作成手段によって作成された周辺画像に多重する第２多重手段をさらに備える、請求項１または２記載の操縦支援装置。
【請求項４】
前記第２多重手段は非透過的に前記第２移動体画像を多重する、請求項３記載の操縦支援装置。
【請求項５】
前記移動体は船舶に相当し、
前記第２移動体画像によって表される前記移動体の一部の大きさは前記移動体を喫水線で切断して得られる切断面の大きさに相当する、請求項３または４記載の操縦支援装置。
【請求項６】
前記移動体の傾きおよび／または高度の変化を検出する検出手段、および
前記第２移動体画像によって表される前記移動体の一部の大きさを前記傾き検出手段の検出結果を参照して修正する修正手段をさらに備える、請求項３ないし５のいずれかに記載の操縦支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−９３６０５（Ｐ２０１０−９３６０５Ａ）
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願番号】特願２００８−２６２４５１（Ｐ２００８−２６２４５１）
【出願日】平成２０年１０月９日（２００８．１０．９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願日】平成２０年１０月９日（２００８．１０．９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]