画像表示装置、画像表示システム、画像表示方法、及び画像表示プログラム
【課題】被写体の位置関係を容易に把握できる画像表示装置、画像表示システム、画像表示方法又は画像表示プログラムを提供する。
【解決手段】座標情報算出部は画像信号が表す被写体の座標情報を算出し、撮影画像合成部は前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成し、干渉判定部は前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定し、視点更新部は前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、前記視点を更新する。
【解決手段】座標情報算出部は画像信号が表す被写体の座標情報を算出し、撮影画像合成部は前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成し、干渉判定部は前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定し、視点更新部は前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、前記視点を更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示システム、画像表示方法、及び画像表示プログラムに関する。
【背景技術】
【０００２】
近年、車両に取付ける撮影装置（例えば、カメラ）等の周囲監視装置が開発されている。周囲監視装置には、複数の撮影装置が撮影した画像の視点方向をそれぞれ変換して合成する技術が提案されている。
例えば、特許文献１、２に記載の発明は、自車両の後方を撮影するリアカメラと、左側後方を撮影するレフトサイドカメラと、右側後方を撮影するライトサイドカメラの３つのカメラで撮影した画像信号を画像記憶部に記憶し、その画像を注視する位置である視点を自車両の真上に変換した画像信号を生成する。当該発明は、生成した画像信号と自車両の画像を表す画像信号とを合成して、俯瞰画像を表す画像信号を生成する。これにより、自車両を表す画像とともに他の被写体を表す画像を表示する俯瞰画像を生成することができ、運転者が自車両の周囲にある被写体の位置を直感的に把握できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−３５８１６号公報
【特許文献２】特開２００７−１５８４２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１、２に記載の発明では、他の被写体の画像を表す画像信号と自車両の画像を表す画像信号を合成する際、他の被写体の画像の一部が自車両の一部に覆われることがある。そのため、生成した俯瞰画像では他の被写体の位置が運転者に把握しにくいという課題があった。
本発明はこのような課題に鑑みてなされたもので、被写体の位置関係を容易に把握できる画像表示装置、画像表示システム、画像表示方法又は画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像信号が表す被写体の座標情報を算出する座標情報算出部と、前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する撮影画像合成部と、前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する干渉判定部と、前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、前記視点を更新する視点更新部とを備えることを特徴とする画像表示装置である。
【０００６】
（２）本発明のその他の態様は、前記画像表示装置において、前記座標情報算出部は、前記視点として前記視点更新部が更新した視点情報が表す視点を用いて前記座標情報を算出することを特徴とする。
【０００７】
（３）本発明のその他の態様は、前記視点から前記画像信号が表す被写体までの距離に基づいて拡大率を算出する拡大率算出部を備え、前記撮影画像合成部は、前記画像信号が表す被写体を前記拡大率算出部が算出した拡大率で拡大又は縮小するように前記合成撮影画像信号を生成することを特徴とする。
【０００８】
（４）本発明のその他の態様は、前記画像表示装置において、前記干渉判定部は、前記合成撮影画像信号が表す被写体を表示する座標と前記基準画像信号が表す被写体の画像を表示する座標が重複するか否かにより、前記合成撮影画像信号と前記基準画像信号が干渉するか否かを判断することを特徴とする。
【０００９】
（５）本発明のその他の態様は、画像を撮影する撮影装置と画像表示装置を備え、前記画像表示装置は、前記撮影装置から入力された画像信号が表す被写体の座標情報を算出する座標情報算出部と、前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する撮影画像合成部と、前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する干渉判定部と、前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、前記視点を更新する視点更新部と、を備えることを特徴とする画像表示システムである。
【００１０】
（６）本発明のその他の態様は、前記画像表示システムにおいて、前記撮影装置として複数個の撮影装置を互いに異なる位置に備え、前記撮影画像合成部は、前記複数個の撮影装置の各々から入力された画像信号に基づいて前記合成撮影画像信号を生成することを特徴とする。
【００１１】
（７）本発明のその他の態様は、画像表示装置における画像表示方法において、前記画像表示装置が、画像信号が表す被写体の座標情報を算出する過程と、前記画像表示装置が、前記算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する過程と、前記画像表示装置が、前記生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する過程と、前記画像表示装置が、前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、前記視点を更新する過程とを有することを特徴とする画像表示方法である。
【００１２】
（８）本発明のその他の態様は、画像表示装置のコンピュータに、画像信号が表す被写体の座標情報を算出する手順、前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する手順、前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する手順、前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、前記視点を更新する手順を実行させるための画像表示プログラムである。
【発明の効果】
【００１３】
本発明によれば、被写体の位置関係を容易に把握することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る画像表示システムの構成を示す概略図である。
【図２】本実施形態に係る撮影装置の構成を示す概略図である。
【図３】本実施形態に係る画像表示処理を表すフローチャートである。
【図４】本実施形態に係る撮影装置の配置の一例を示す概念図である。
【図５】本実施形態に係る撮影装置の配置の一例を示すその他の概念図である。
【図６】本実施形態に係る撮影装置の配置の一例を示すその他の概念図である。
【図７】本実施形態に係る撮像部が撮影した画像の一例を表す図である。
【図８】本実施形態に係る視点の一例を示す概念図である。
【図９】本実施形態に係る視点の一例を示すその他の概念図である。
【図１０】表示用画像信号の一例を示す概念図である。
【図１１】表示用画像信号のその他の例を表す概念図である。
【図１２】本発明の第２の実施形態に係る画像表示システムの構成を示す概略図である。
【図１３】本実施形態に係る拡大率算出部の処理を表すフローチャートである。
【図１４】本実施形態に係る撮像部が備える光学系と被写体の位置関係の一例を示す概念図である。
【図１５】表示用画像信号のその他の例を示す概念図である。
【図１６】本発明の第３の実施形態に係る画像表示システムの構成を示す概略図である。
【図１７】本発明の第４の実施形態に係る画像表示システムの構成を示す概略図である。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る画像表示システム１の構成を示す概略図である。
画像表示システム１は、撮影装置１２−１〜１２−４、画像表示装置１３を含んで構成される。以下、撮影装置１２−１〜１２−４を総括する場合や、互いに区別する必要がない場合には撮影装置１２−１等、又は撮影装置１２と呼ぶ。撮影装置１２−１等の配置については後述する。
【００１６】
撮影装置１２−１等は、撮影した画像を表す画像信号を画像表示装置１３の距離情報算出部１３１−１等に出力する。
ここで、撮影装置１２−１の構成例について説明する。撮影装置１２−２〜１２−４の構成は、例えば、撮影装置１２−１とそれぞれ同様である。
図２は、本実施形態に係る撮影装置１２−１の構成を示す概略図である。
撮影装置１２−１は、２個の撮影部１２１−１、１２２−１を備える、いわゆる２眼カメラである。撮影部１２１−１は、レンズ１２１１−１と撮像素子１２１２−１を含んで構成され、撮影部１２２−１は、レンズ１２２１−１と撮像素子１２２２−１を含んで構成される、レンズ１２１１−１、１２２２−１は、被写体からの光線を透過し、撮像素子１２１２−１、１２２２−１の表面に結像させる。撮像素子１２１２−１、１２２２−１は、表面に結像した光線を画像信号に変換し、変換した画像信号を画像表示装置１３の距離情報算出部１３１−１に出力する。
【００１７】
図１に戻り、画像表示装置１３は、距離情報算出部１３１−１〜１３１−４、カメラパラメータ記憶部１３２、３Ｄ座標算出部１３３、合成座標情報算出部１３４、撮影画像合成部１３５、基準画像記憶部１３６、干渉判定部１３７、視点更新部１３８、基準画像合成部１３９及び画像表示部１５１を含んで構成される。
【００１８】
距離情報算出部１３１−１等は、それぞれ撮像部１２１−１等、１２２−１等から入力された共通する被写体を表す画像信号間座標値の差である視差情報（視差マップ）を生成する。視差マップを生成する処理については後述する。また、視差情報は、後述するように被写体までの距離を表す情報である。距離情報算出部１３１−１等は、算出した視差情報を距離情報に変換して３Ｄ座標算出部１３３に出力する。また、距離情報算出部１３１−１等は、入力された画像信号を３Ｄ座標情報算出部１３３に出力する。
【００１９】
カメラパラメータ記憶部１３２には、撮影装置１２−１等による画像の撮影に係るパラメータ群を表すカメラパラメータ情報が予め記憶されている。カメラパラメータ情報は、例えば、撮影装置１２−１等の位置情報、光軸方向情報、焦点距離情報、基線長情報、画素ピッチ情報を含む。ここで、位置情報とは、撮影装置１２−１等が、設置される位置を表す情報である。光軸方向情報とは、レンズ１２１１−１等、レンズ１２２１−１の光軸の方向を表す情報である。焦点距離情報とは、レンズ１２１１−１等の中心部からレンズ１２１１−１等までの焦点までの距離である焦点距離を表す情報である。基線長情報とは、並列するレンズ１２１１−１等の中心部とレンズ１２１１−２等の中心部を結ぶ線分である基線の長さ、即ち、撮像部１２１−１等と撮影部１２２−１等の間隔を表す情報である。画素ピッチ情報とは、撮像素子１２１２−１等の画素間間隔を表す情報である。
【００２０】
３Ｄ座標算出部１３３は、距離情報算出部１３１−１等から入力された距離情報ならびに画像信号と、カメラパラメータ記憶部１３２から読み出したカメラパラメータ情報に基づいて、被写体毎のカメラ座標系で表した３次元座標情報を算出する。３Ｄ座標算出部１３３が３次元座標情報を算出する処理については後述する。
３Ｄ座標算出部１３３は、算出した３次元座標情報を合成座標情報算出部１３４及び撮影画像合成部１３５に出力する。３Ｄ座標算出部１３３は、距離情報算出部１３１−１等から入力された画像信号を撮影画像合成部１３５に出力する。
【００２１】
合成座標情報算出部１３４は、カメラパラメータ記憶部１３２から読み出したカメラパラメータ情報に基づき、３Ｄ座標算出部１３３から入力された３次元座標情報から、視点情報が表す視点を基準とした座標値を表す合成座標情報を算出する。合成座標情報算出部１３４が、視点更新部１３８から視点情報が入力される場合には、入力された視点情報を基準とした座標値を表す合成座標情報を算出する。
視点情報とは、被写体を視認する位置である視点を表す情報である。例えば、撮影装置１２−１等から入力された画像信号の視点は、各撮影装置の設置位置である。視点は、必ずしも撮影装置の設置位置である必要はなく、仮想的な位置であってもよい。合成座標情報算出部１３４における視点情報の初期値は、ある基準点（原点）から予め定めた位置、例えば画像表示システム１を搭載する自車両の先頭部中心をその基準点とし、その基準点から前方に１０ｍ、上方に２ｍ、離れた位置である。合成座標情報算出部１３４が合成座標情報を算出する処理については後述する。
合成座標情報算出部１３４は、算出した合成座標情報とその合成座標情報を算出するために用いた視点情報を撮影画像合成部１３５に出力する。
ここで、算出された合成座標情報が表す座標値は、撮影装置１２−１等に関わらず全ての撮影領域に共通な座標系（世界座標系）による座標値である。
【００２２】
撮影画像合成部１３５は、合成座標情報算出部１３４から入力された視点情報と合成座標情報に基づき、３Ｄ座標算出部１３３から入力された撮影装置毎の画像信号を入力された視点情報に対応する画像信号に変換する。これにより、撮影画像合成部１３５は、視点情報が示す共通の視点から視認される画像を表す視点画像信号を生成する。撮影画像合成部１３５が、視点画像信号に変換する処理については後述する。
【００２３】
撮影画像合成部１３５は、変換した撮影装置毎の視点画像信号を合成して合成撮影画像信号を生成する。複数の画像信号間で共通する被写体を表す部分の画素値を一意に定めるため、撮影画像合成部１３５は、例えばＯＲ描画処理を行って、合成撮影画像信号を生成する。ＯＲ描画処理では、対象となる複数の画像信号間で各１個の座標の画素しかない場合には、その座標の画素値をそのまま採用する。他方、その複数の画像信号間で共通する座標の画素が複数個存在する場合、複数個のうち輝度値が最大となる画素値を、その座標の画素値として選択する。
撮影画像合成部１３５は、生成した合成撮影画像信号と合成座標情報算出部１３４から入力された視点情報を干渉判定部１３７に出力する。
【００２４】
基準画像記憶部１３６には、予め定めた被写体（例えば、画像表示システム１を搭載する自車両）を表す画像信号が基準画像信号として記憶されている。基準画像記憶部１３６に、異なる視点毎の被写体を表す基準画像信号と視点情報とを対応付けて記憶させておくことは、その具体的な実施の一例である。
干渉判定部１３７は、撮影画像合成部１３５から入力された視点情報に対応する基準画像信号を基準画像記憶部１３６から読み出す。干渉判定部１３７は、撮影画像合成部１３５から入力された合成撮影画像信号と、基準画像記憶部１３６から読み出した基準画像信号とが干渉するか否かを判定する。複数の画像信号が干渉するとは、各画像信号が含む座標のうち画像信号間で共通する座標の画素値があることを指す。
干渉判定部１３７は、合成撮影画像信号と基準画像信号が干渉しないと判定した場合、入力された合成撮影画像信号と読み出した基準画像信号を基準画像合成部１３９に出力する。
干渉判定部１３７は、合成撮影画像信号と基準画像信号が干渉すると判定した場合、干渉することを示す干渉判定信号を、視点更新部１３８に出力する。
【００２５】
視点更新部１３８は、干渉判定部１３７から干渉判定信号が入力された場合、視点情報を更新し、更新した視点情報を合成座標情報算出部１３４に出力する。
視点更新部１３８は、例えば、上述の基準点を通過する水平方向又は垂直方向の座標軸との方位角が予め設定された微小量（例えば、０．１〜１度）ずつ変化するように視点情報を更新してもよい。また、視点更新部１３８は、原点からの距離が予め設定された微小量（例えば、０．０１〜０．２ｍ）ずつ増加するように視点情報を更新してもよいし、これらの任意の組み合わせであってもよい。視点更新部１３８は、このようにして被写体全体を俯瞰できる位置に視点情報を更新する。
【００２６】
基準画像合成部１３９は、干渉判定部１３７から入力された合成撮影画像信号と基準画像信号について、例えば、ＯＲ描画処理を行うことにより合成して表示用画像信号を生成する。基準画像合成部１３９は、合成した表示用画像信号を画像表示部１５１に出力する。
画像表示部１５１は、基準画像合成部１３９から入力された表示用画像信号が表す画像を表示する。画像表示部１５１は、例えばディスプレイユニットである。
【００２７】
次に、画像表示装置１３が行う画像表示処理について説明する。
図３は、本実施形態に係る画像表示処理を表すフローチャートである。
（ステップＳ１０１）距離情報算出部１３１−１等は、撮像部１２１−１等、１２２−１等から入力された画像信号に基づいて距離情報を生成し、生成した距離情報を３Ｄ座標情報算出部１３３に出力する。距離情報算出部１３１−１等は、入力された画像信号を３Ｄ座標情報算出部１３３に出力する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）３Ｄ座標算出部１３３は、距離情報算出部１３１−１等から入力された距離情報と、カメラパラメータ記憶部１３２から読み出したカメラパラメータ情報に基づいて、３次元座標情報を算出する。３Ｄ座標算出部１３３は、算出した３次元座標情報を合成座標情報算出部１３４及び撮影画像合成部１３５に出力する。３Ｄ座標算出部１３３は、距離情報算出部１３１−１等から入力された画像信号を撮影画像合成部１３５に出力する。その後、ステップＳ１０３に進む。
【００２８】
（ステップＳ１０３）合成座標情報算出部１３４は、カメラパラメータ記憶部１３２から読み出したカメラパラメータ情報に基づき、３Ｄ座標算出部１３３から入力された３次元座標情報から、視点情報が表す視点を基準とした座標値を表す合成座標情報を算出する。視点更新部１３８から視点情報が入力される場合には、合成座標情報算出部１３４は、入力された視点情報を用いて合成座標情報を算出する。合成座標情報算出部１３４は、算出した合成座標情報とその合成座標情報を算出するために用いた視点情報を撮影画像合成部１３５に出力する。その後、ステップＳ１０４に進む。
【００２９】
（ステップＳ１０４）撮影画像合成部１３５は、合成座標情報算出部１３４から入力された合成座標情報に基づき、３Ｄ座標算出部１３３から入力された撮影装置毎の画像信号を、合成座標情報算出部１３４から入力された視点情報に対応する視点画像信号に変換する。
撮影画像合成部１３５は、変換した撮影装置毎の視点画像信号を合成して合成撮影画像信号を生成する。撮影画像合成部１３５は、生成した合成撮影画像信号と変換を行う際に用いた視点情報を干渉判定部１３７に出力する。その後、ステップＳ１０５に出力する。
【００３０】
（ステップＳ１０５）干渉判定部１３７は、撮影画像合成部１３５から入力された視点情報に対応する基準画像信号を基準画像記憶部１３６から読み出す。干渉判定部１３７は、撮影画像合成部１３５から入力された合成撮影画像信号と、基準画像記憶部１３６から読み出した基準画像信号とが干渉するか否かを判定する。
干渉判定部１３７は、入力された合成撮影画像信号と、読み出した基準画像信号とが干渉すると判定した場合（ステップＳ１０５ Ｙ）、ステップＳ１０６に進む。干渉判定部１３７は、入力された合成撮影画像信号と、読み出した基準画像信号とが干渉しないと判定した場合（ステップＳ１０５ Ｎ）、入力された合成撮影画像信号と読み出した基準画像信号を基準画像合成部１３９に出力し、ステップＳ１０７に進む。
【００３１】
（ステップＳ１０６）視点更新部１３８は、視点情報を更新し、更新した視点情報を合成座標情報算出部１３４に出力する。その後、ステップＳ１０３に進む。
（ステップＳ１０７）基準画像合成部１３９は、干渉判定部１３７から入力された合成撮影画像信号と基準画像信号を合成して、表示用画像信号を生成する。基準画像合成部１３９は、合成した表示用画像信号を画像表示部１５１に出力する。その後、ステップＳ１０８に進む。
（ステップＳ１０８）画像表示部１５１は、基準画像合成部１３９から入力された表示用画像信号が表す画像を表示する。その後、処理を終了する。
【００３２】
次に、撮影装置１２−１等の配置の一例について図面を用いて説明する。
図４は、本実施形態に係る撮影装置１２−１〜１２−４の配置の一例を示す概念図である。
図４は、車両５の上面全体を示す。車両５は、画像表示システム１を搭載する自車両である。図４において、左側が車両５の前方、右側が車両５の後方、上方が車両５の右側方、下方が車両５の左側方である。
図４は、撮影装置１２−１等の設置位置を破線の四角で示す。撮像部１２１−１等の設置位置を□印で示す。撮像部１２１−１、１２２−１、１２１−３及び１２２−３に接する頂点をもつ一点鎖線で示される三角形の領域７１−１、７２−１、７１−３及び７２−３は、撮像部１２１−１、１２２−１、１２１−３及び１２２−３の視野をそれぞれ示す。撮像部１２１−２及び１２１−４に接する頂点をもつ一点鎖線で示される扇形の領域７１−２及び７２−４は、撮像部１２１−２及び１２１−４等の視野をそれぞれ示す。
撮像部１２１−２及び１２１−４に接する頂点をもつ一点鎖線で示される扇形の領域７１−２及び７２−４は、撮像部１２１−２及び１２１−４等の視野をそれぞれ示す。
このように本実施形態では、複数の撮影装置１２−１等を備え、撮影した画像信号を合成するため、広範囲にわたる周囲情報を取得することができる。
【００３３】
撮影装置１２−１が取り付けられる位置は、車両５のフロントガラス上方の中心部である。撮像部１２１−１と撮像部１２２−１は、車両５の左右方向に並列されている。撮影装置１２−２が取り付けられる位置は、車両５の左側面の中心部である。撮像部１２１−２は、撮像部１２２−２の直上となるように垂直方向に並列されている。撮影装置１２−３が取り付けられる位置は、車両５のリヤガラス上方の中心部である。撮像部１２１−３と撮像部１２２−３は、車両５の左右方向に並列されている。撮影装置１２−４が取り付けられる位置は、車両５の右側面の中心部である。撮像部１２１−４は、撮像部１２２−４の直上となるように垂直方向に並列されている。
【００３４】
撮像部１２１−１〜１２２−４の光軸の方向は、いずれも水平面に平行な方向である。但し、撮像部１２１−１、１２２−１の光軸の方向は、いずれも車両５の前方である。撮像部１２１−２、１２２−２の光軸の方向は、車両５の左側方である。撮像部１２１−３、１２２−３の光軸の方向は、車両５の後方である。撮像部１２１−４、１２２−４の光軸の方向は、車両５の右側方である。
【００３５】
図４において、撮像部１２１−１、１２２−１の水平方向の視野７１−１、７２−１は、車両５の前方を中心に運転者の視野を網羅する角度、例えば６０°である。
撮像部１２１−２の水平方向の視野７１−２は、車両５の左側方を中心として１８０°に近い十分大きい角度、例えば１６０°であり、車両５の左前方１０°から左真横を経て左後方１０°に至る。撮像部１２２−２の水平方向の視野は、撮像部１２１−２と同様である。
撮像部１２１−３、１２２−３の水平方向の視野７１−３、７２−３は、車両５の後方を中心に後進時に運転者の視野を網羅する角度、例えば６０°である。
撮像部１２１−４の水平方向の視野７１−４は、車両５の右側方を中心として１８０°に近い十分大きい角度、例えば１６０°であり、車両５の右前方１０°から右真横を経て右後方１０°に至る。撮像部１２２−４の水平方向の視野は、撮像部１２１−４と同様である。
【００３６】
図５は、本実施形態に係る撮影装置１２−１〜１２−３の配置の一例を示すその他の概念図である。
図５は、車両５の前面全体を示す。図５において、左側が車両５の右側方、左側が車両５の左側方、上方が車両５の上方、下方が車両５の下方である。
図５は、撮影装置１２−１〜１２−３が前述の位置に設置されていることを示す。
【００３７】
図６は、本実施形態に係る撮影装置１２−２の配置の一例を示すその他の概念図である。
図６は、車両５の左側面全体を示す。図６において、左側が車両５の前方、右側が車両５の後方、上方が車両５の上方、下方が車両５の下方である。
図６は、撮影装置１２−２が前述の位置に設置されていることを示す。
図６において、撮像部１２１−２の左右に広がる一点鎖線で示す三角形の領域７１−２は、撮像部１２１−２の上下方向の視野を表す。撮像部１２２−２の左右に広がる一点鎖線で示す三角形の領域７２−２は、撮像部１２２−２の上下方向の視野を表す。三角形の領域７１−２、７２−２が重なる塗りつぶし部分７１２−２は、撮像部１２１−２、１２２−２の視野が重複する領域である。従って、撮像部１２１−２、１２２−２は、この領域に位置する被写体を表す画像をともに撮影することができ、共通する被写体を表す画像が後述する距離情報の算出に用いられる。
【００３８】
続いて、距離情報算出部１３１−１等が行う処理についてより具体的に説明する。
距離情報算出部１３１−１等は、撮影装置１２−１等の撮像部１２１−１、１２２−１から各々入力された画像信号に基づいて撮像部１２１−１、１２２−１間における視差情報を画素毎に算出する。視差とは、異なる撮影装置から入力された画像信号が表す共通の被写体を表す画素位置の差分である。距離情報算出部１３１−１等は、算出した視差情報を距離情報として３Ｄ座標算出部１３３に出力する。距離情報算出部１３１−１等は、撮影装置１２−１等の撮像部１２１−１等及び１２２−１等から入力された画像信号のうち何れか一方、例えば撮像部１２１−１等からの画像信号を３Ｄ座標算出部１３３に出力する。
【００３９】
視差情報を算出するために、距離情報算出部１３１−１等は、例えばブロックマッチング（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）を行う。ブロックマッチングにおいて、距離情報算出部１３１−１等は一方の画像信号の一部である画像ブロックと他方の画像信号の一部である画像ブロックの画素値の類似性を表す評価値を算出し、最も類似することを表す評価値が算出される画像ブロックを他方の画像信号から探索する。評価値は、例えば、差分絶対和（ＳＡＤ、Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）である。距離情報算出部１３１−１等は、両画像信号が共通に表す被写体の対応する部位間の視差を算出する。
【００４０】
ここで、撮像部１２１−２、１２２−２が撮影した画像の一例について述べる。
図７は、本実施形態に係る撮像部１２１−２、１２２−２が撮影した画像の一例を表す図である。
図７（ａ）は、撮像部１２１−２が撮影した画像８１−２を表す。画像８１−２は被写体として他の車両を表す画像である。図７（ｂ）は、撮像部１２２−２が撮影した画像８２−２を表す。画像８２−２は被写体として画像８１−２が表す車両と共通する車両を表す。画像８２−２に表される車両の位置は、画像８１−２よりも垂直方向の正方向（上方）にずれている。これは、画像８２−２を撮影した撮像部１２２−２が画像８１−２を撮影した撮像部１２１−２よりも垂直方向の負方向（下方）に離れた位置に設置されているためである。
【００４１】
図７（ａ）、（ｂ）はともに、画像８１−２の画像ブロックと画像８２−２において同一の被写体である車両を表す画像ブロックを表す。画像８１−２が表す車両のナンバープレートの中央部の水平方向の座標はＨ、垂直方向の座標はＶ１である。この部位に対応する、画像８２−２の水平方向の座標はＨ、垂直方向の座標はＶ２である。画像８１−２、８２−２間の垂直方向の座標の差分Ｖ１−Ｖ２が視差である。
上述のように、視差は、撮影装置１２−２から被写体までの距離Ｚを表す。視差Ｖ１−Ｖ２と距離Ｚとの間には、例えば式（１）に示す関係がある。
【００４２】
【数１】
【００４３】
式（１）において、ｆは、撮像部１２１−２、１２２−２の焦点距離、Ｂは基線長、ｐは画素ピッチを表す。視差は、撮影装置から被写体までの距離によって異なる値をとる。視差は、例えば、被写体が無限遠にあるとき０であり、撮影装置から被写体までの距離が短くなるほど大きくなる。
【００４４】
次に、３Ｄ座標算出部１３３が３次元座標情報を算出する処理についてより具体的に説明する。
３Ｄ座標算出部１３３は、距離情報算出部１３１−１等から画像信号と、距離情報として視差情報を入力される。３Ｄ座標算出部１３３は、カメラパラメータ記憶部１３２からカメラパラメータ情報として、撮影装置１２−１等の焦点距離情報、基線長情報及び画素ピッチ情報を読み出す。
【００４５】
３Ｄ座標算出部１３３は、入力された画像信号における画素（ｉ，ｊ）の座標（ｕｉ，ｖｊ）を、例えば式（２）を用いてレンズ１２１１−１等を原点とするカメラ座標系による３次元座標情報（Ｘａ，Ｙａ，Ｚａ）に変換する。ここで、座標（ｕｉ，ｖｊ）は、レンズ１２１１−１等を原点とする画像座標系による座標情報である。
【００４６】
【数２】
【００４７】
式（２）において、Ｄ（ｉ，ｊ）は、画素（ｉ，ｊ）における視差を表す。即ち、式（２）における、水平方向の座標値Ｘａ、垂直方向の座標値Ｙａ、奥行方向の座標値Ｚａは、それぞれ撮像素子１２１２−１等における画素（ｉ，ｊ）の水平方向の座標値ｕｉ、垂直方向の座標値ｖｊ又は奥行方向の座標ｆに、それぞれ基線長Ｂを乗じた値を視差Ｄ（ｉ，ｊ）で除した値である。
なお、カメラ座標系は、各撮影装置１２−１等が設置された位置（例えば、レンズ１２１１−１等）を原点とし、撮像素子１２１２−１等に結像した画像の水平方向ならびに垂直方向、及び光軸方向の座標軸を有する３次元直交座標系である。
【００４８】
次に、合成座標情報算出部１３４が合成座標情報を算出する処理についてより具体的に説明する。
合成座標情報算出部１３４は、世界座標系の原点を上述の視点情報が表す視点と定め、その視点に対応する座標軸を定める。合成座標情報算出部１３４は、例えば、視点から上述の基準点への座標軸を奥行方向の座標を表すＺ軸と定め、視点を通過しＺ軸と垂直であって水平方向に平行な方向に向く座標軸をＸ軸と定め、視点を通過しＺ軸と垂直であってＸ軸と垂直な座標軸をＹ軸と定める。
合成座標情報算出部１３４は、入力された３次元座標情報が示すカメラ座標系における座標値（Ｘａ，Ｙａ，Ｚａ）を、例えば式（３）を用いて世界座標系における座標値（Ｘｏ，Ｙｏ，Ｚｏ）を示す合成座標情報に変換する。
【００４９】
【数３】
【００５０】
式（３）において、Ｒはカメラ座標系における座標軸を世界座標系における座標軸に回転させることを示す回転行列、Ｔは座標系間における原点の位置のずれを表す並進ベクトルである。即ち、回転行列Ｒは、上述の世界座標系の座標軸と、カメラパラメータ情報に含まれる撮影装置１２−１等の光軸方向情報によって定められ、並進ベクトルＴは、カメラパラメータ情報に含まれる撮影装置１２−１等が設置される位置、予め設定された基準点の位置及び上述の視点によって定められる。回転行列Ｒの各成分は、例えば式（４）のように表される。
【００５１】
【数４】
【００５２】
式（４）において、θｘは、世界座標系におけるｘ軸回りのカメラ座標系のｘ軸の回転角、θｙは、世界座標系におけるｙ軸回りのカメラ座標系のｙ軸の回転角、θｚは、世界座標系におけるｚ軸回りのカメラ座標系のｚ軸の回転角をそれぞれ示す。
並進ベクトルＴの各成分は、（Δｘ，Δｙ，Δｚ）と表される。Δｘは、カメラ座標系の原点から世界座標系の原点までのｘ軸方向の移動量、Δｙは、カメラ座標系の原点から世界座標系の原点までのｙ軸方向の移動量、Δｚは、カメラ座標系の原点から世界座標系の原点までのｚ軸方向の移動量をそれぞれ示す。
従って、式（４）は、カメラ座標系における座標値（Ｘａ，Ｙａ，Ｚａ）に、両座標系の座標軸の回転を表す回転行列Ｒを乗じ、さらに両座標系の原点の移動を表す並進ベクトルＴを加算して世界座標系における座標値（Ｘｏ，Ｙｏ，Ｚｏ）を算出することを表す。
【００５３】
次に、撮影画像合成部１３５が行う画像信号変換処理についてより具体的に説明する。
撮影画像合成部１３５は、合成座標情報算出部１３４から入力された合成座標情報が表す世界座標系における座標値（Ｘｏ，Ｙｏ，Ｚｏ）を、視点を原点とするカメラ座標系における座標値（ｕｏ，ｖｏ）に、例えば式（５）を用いて変換する。
【００５４】
【数５】
【００５５】
式（５）は、世界座標系における座標値のうち、水平成分Ｘｏと垂直成分Ｙｏをそれぞれ奥行成分Ｚｏと焦点距離ｆとの比Ｚｏ／ｆで規格化してカメラ座標系における座標値（ｕｏ，ｖｏ）を算出することを示す。
【００５６】
撮影画像合成部１３５は、３Ｄ座標算出部１３３から入力された撮影装置毎の画像信号の各画素（ｉ，ｊ）における画素値を、算出した座標値（ｕｏ，ｖｏ）における画素に割り当てることによって上述の視点に対応する視点画像信号を生成する。
このようにして、撮影画像合成部１３５は、撮影装置毎に異なる視点の画像信号を共通する視点情報に対応する視点画像信号に変換する。上述のように、撮影画像合成部１３５は、変換した視点画像信号を撮影装置間で合成して合成撮影画像信号を生成する。
【００５７】
次に、本実施形態に係る視点の一例について説明する。
図８は、本実施形態に係る視点の一例を示す概念図である。
図８は、視点を☆印で示し、車両５、６の上面全体を示す。図８の左側が車両５、６の前方、図８の右側が車両５、６の後方、図８の上方が車両５、６の左側方、図８の下方が車両５、６の右側方を示す。即ち、車両６が車両５の左後方にあることを示す。
図８は、視点が車両５の右前方にあり、視点を起点とする太い実線の矢印は、基準点の方向を表す矢印である。
車両５のリアガラス上方を頂点とする一点破線で示された２つの三角形の領域は、撮像部１２１−３、１２２−３の水平方向の視野７１−３、７２−３を示す。車両５の左側面中央を頂点とする一点破線で示された扇形の領域は、撮像部１２１−２、１２２−２の水平方向の視野７１−２、７２−２を示す。
【００５８】
図９は、本実施形態に係る視点の一例を示すその他の概念図である。
図９は、視点を☆印で示し、車両５と車両６の左側面全体を示す。図９の左側が車両５、６の前方、図９の右側が車両５、６の後方、図９の上方が車両５、６の上方、図９の下方が車両５、６の下方を示す。即ち、車両６が車両５の後方にあることを示す。
図９は、視点が車両５の上前方にあり、視点を起点とする太い実線の矢印は基準点の方向を表す矢印である。
【００５９】
次に、合成撮影画像信号と基準画像信号から生成した表示用画像信号の一例について説明する。次に説明する例では、基準画像信号は車両５の前面の画像を表し、合成撮影画像信号は車両６の前面の画像を表す。但し、この例では干渉判定部１３７は、基準画像信号と合成撮影画像信号が干渉するか否かを判定していない。
図１０は、表示用画像信号の一例を示す概念図である。
図１０において、画像信号が被写体として車両５、６の前面を表す。☆印は、視点を表す。視点を起点とする太い実線の矢印は、基準点の方向を表す矢印である。左右方向に延び視点を通る一点破線は、車両５の左右方向を示す。左上方から右下方に延び視点を通る一点破線は、車両５の前後方向を示す。上下に延び視点を通る一点破線は、車両５の上下方向を示す。
太い実線の矢印と左上方から右下方に延び視点を通る一点破線を結ぶ両端が矢印の円弧は、視点からの基準点の方向が水平方向よりも左下方に向かうことを表す。
図１０が示す合成撮影画像信号は、車両６の右前方の一部が車両５の一部に覆われること、つまり、基準画像信号と合成撮影画像信号が干渉していることを示す。
【００６０】
次に、合成撮影画像信号と基準画像信号から生成した表示用画像信号の他の例について説明する。基準画像信号と合成撮影画像信号が表す被写体の画像は、図１０に示す例と同様である。但し、この例では干渉判定部１３７は、基準画像信号と合成撮影画像信号が干渉すると判定し、視点更新部１３８は視点が更に上方に移動するように視点情報を更新する。
図１１は、表示用画像信号のその他の例を示す概念図である。
図１１において、☆印は、視点を表し、視点を起点とする太い実線の矢印は、基準点の方向を表す矢印である。この例では、視点が上方に移動したため、視点からの基準点の相対的な位置が図１０に示す例よりも下方を向いていることを表す。
図１１が示す表示用画像信号は、車両６の画像と車両５の画像が互いに離間していること、つまり、基準画像信号と合成撮影画像信号が干渉していないことを示す。
【００６１】
以上に説明したように、本実施形態では、撮影装置から入力された画像信号が表す被写体について当該被写体を視認する位置である視点からの座標情報を算出し、算出した座標情報に基づいて前記入力された画像信号を前記視点から前記被写体が視認される画像を表す合成撮影画像信号を生成し、生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定し、前記合成撮影画像信号と前記基準画像信号が干渉すると判断した場合、前記視点を更新する。
これにより、周囲環境を表わす合成撮影画像信号が表す被写体が他の基準画像信号が表す被写体と離間して表示されるため、利用者はいずれの被写体も俯瞰できるようになり、被写体の位置関係を容易に把握することができる。
【００６２】
（第２の実施形態）
次に、図面を参照しながら本発明の第２の実施形態について説明する。
図１２は、本実施形態に係る画像表示システム２の構成を示す概略図である。
画像表示システム２は、撮影装置１２−１〜１２−４、画像表示装置２３を含んで構成される。
画像表示装置２３は、距離情報算出部１３１−１〜１３１−４、カメラパラメータ記憶部１３２、３Ｄ座標算出部１３３、合成座標情報算出部１４４、撮影画像合成部１４５、基準画像記憶部１３６、干渉判定部１３７、視点更新部１３８、基準画像合成部１３９、拡大率算出部１４８及び画像表示部１５１を含んで構成される。
即ち、本実施形態では、画像表示装置２３が、画像表示装置１３の合成座標情報算出部１３４と撮影画像合成部１３５の代わりに、合成座標情報算出部１４４、撮影画像合成部１４５及び拡大率算出部１４８を備える点が、画像表示システム１の画像表示装置１３と異なる。画像表示装置２３のその他の構成部や各構成部の処理は、画像表示装置１３と同様である。以下、第１の実施形態と異なる点を主に説明する。
【００６３】
合成座標情報算出部１４４は、合成座標算出部１３４と同様な処理を行って合成座標情報を算出し、算出した合成座標情報を撮影画像合成部１４５に出力する。合成座標情報算出部１４４は、算出した合成座標情報が表す座標値（Ｘｏ，Ｙｏ，Ｚｏ）のうち奥行成分Ｚｏを抽出し、抽出した奥行成分Ｚｏを距離情報Ｌとして拡大率算出部１４８に出力する。この距離情報Ｌは、視点情報が表す視点から被写体の各座標までの距離を表す。
【００６４】
撮影画像合成部１４５は、撮影画像合成部１３５と同様に合成座標情報算出部１４４から入力された合成座標情報に基づき、３Ｄ座標算出部１３３から入力された撮影装置毎の画像信号を前述の視点情報に対応する画像信号に変換する。
但し、撮影画像合成部１４５は、拡大率算出部１４８から入力された拡大率情報が表す拡大率Ｍに基づいて、入力された合成座標情報が表す座標値（Ｘｏ，Ｙｏ，Ｚｏ）をカメラ座標系における座標値（ｕｏ，ｖｏ）に、例えば式（６）を用いて変換する。
【００６５】
【数６】
【００６６】
式（６）は、式（５）で求められる座標値にさらに拡大率Ｍを乗じて座標値（ｕｏ，ｖｏ）を算出することを示す。即ち、被写体を表す画像が拡大率Ｍだけ拡大又は縮小されることを示す。
【００６７】
拡大率算出部１４８は、合成座標情報算出部１４４から入力された距離情報に基づいて、上述の被写体の拡大率を算出する。拡大率算出部１４８は、算出した拡大率Ｍを表す拡大率情報を撮影画像合成部１３５に出力する。
【００６８】
ここで、拡大率算出部１４８が行う処理についてより詳細に説明する。
図１３は、本実施形態に係る拡大率算出部の処理を表すフローチャートである。
（ステップＳ２０１）拡大率算出部１４８は、カメラパラメータ記憶部１３２からカメラパラメータ情報を読み出し、読み出したカメラパラメータ情報から撮影装置毎の位置情報を抽出する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）拡大率算出部１４８は、視点更新部１３８から入力された視点情報を用いて視点から基準画像信号が表す被写体の代表点（例えば、車両５の前面中央部）までの距離Ｌ０を算出する。この代表点は、上述の基準点と同一であってもよい。その後、ステップＳ２０３に進む。
【００６９】
（ステップＳ２０３）拡大率算出部１４８は、合成座標情報算出部１４４から入力された距離情報が表す距離Ｌが長くなるほど、小さくなるように、例えば式（７）を用いて拡大率Ｍを算出する。
【００７０】
【数７】
【００７１】
式（７）において、Ｋは予め定めた比例定数である。比例定数Ｋは、０よりも大きい実数、例えば１である。Ｍ０は予め定めた基準画像信号に対する拡大率である。Ｍ０は、０よりも大きい実数、例えば１である。その後、ステップＳ２０４に進む。
【００７２】
（ステップＳ２０４）拡大率算出部１４８は、算出した拡大率Ｍを表す拡大率情報を撮影画像合成部１４５に出力する。その後、処理を終了する。
【００７３】
このようにして、本実施形態では、撮影された画像信号が表す被写体の大きさを、視点からの距離に応じて拡縮することで、利用者に対する遠近感を調節することができる。
次に、式（７）を用いて拡大率Ｍを算出する原理について説明する。
図１４は、本実施形態に係る撮像部１２１−１等が備える光学系と被写体の位置関係の一例を示す概念図である。
図１４は、左端から右側へ順に撮像素子１２１２−１、レンズ１２１１−１、被写体６１、被写体６２を示す。被写体６２、６１からレンズ１２１１−１の中心部を通り撮像素子１２１２−１に達する一点破線は、レンズ１２１１−１の光軸を示す。被写体６１、６２の上下方向の大きさは同等である。被写体６１の下端からレンズ１２１１−１の中心部を通過する実線と撮像素子１２１２−１の交点６１１は、被写体６１の下端を表す画像の位置を示す。被写体６２の下端からレンズ１２１１−１の中心部を通過する実線と撮像素子１２１２−１の交点６１２は、被写体６２の下端を表す画像の位置を示す。即ち、レンズ１２１１−１からの距離が長い被写体を表す画像ほど小さくなり、レンズ１２１１−１からの距離が短い被写体を表す画像ほど大きくなる。
【００７４】
図１４において、レンズ１２１１−１から被写体６１の画像が結像する点までの距離はＢ１、レンズ１２１１−１から被写体６２の画像が結像する点までの距離はＢ２、レンズ１２１１−１から被写体６１までの距離はＬ１、レンズ１２１１−１から被写体６２までの距離はＬ２である。これより、被写体６１についての結像倍率ｍ１は、Ｂ１／Ｌ１となり、Ｂ１＝ｍ１・Ｌ１という関係がある。被写体６１についての結像倍率ｍ２は、Ｂ２／Ｌ２となり、Ｂ２＝ｍ２・Ｌ２という関係がある。レンズ１２１１−１からの距離が一定値（約３ｍ）以上の場合、経験的に距離は概ね一定値となり、Ｂ１、Ｂ２は概ね等しくなる。また、Ｂ１、Ｂ２は、焦点距離ｆと概ね等しくなる。距離Ｌ１から距離Ｌ２へ被写体を移動させた場合の拡大率Ｍは、結像倍率の比ｍ２／ｍ１で表されるから、拡大率Ｍは距離Ｌ２とＬ１の逆数比であるＬ１／Ｌ２となる。従って、拡大率算出部１４８は、式（７）に示されるように被写体の距離Ｌに反比例するように拡大率Ｍを算出することができる。
【００７５】
なお、拡大率算出部１４８は、式（７）の代わりに式（８）を用いて拡大率Ｍを算出してもよい。
【００７６】
【数８】
【００７７】
式（８）において、Ａは予め定めたべき乗係数を示す。Ａは０よりも大きい実数（例えば、１．５）である。Ａを１よりも大きい値にすることで実際の距離の変化よりも画像の大きさの変化を著しくすることができる。Ａを１よりも小さい値にすることで実際の距離の変化よりも画像の大きさの変化を緩やかにすることができる。
【００７８】
なお、式（７）、（８）において比例定数Ｋを変更することによって、画像の大きさを変化させることができる。Ｋを大きくするほど表される画像が大きくなり、Ｋを小さくするほど表される画像が小さくなる。
このように画像の大小を変化させることにより、利用者に対して注意を喚起する度合いを調節することができる。
【００７９】
次に、本実施形態に係る画像表示装置２３が生成した表示用画像信号の一例について説明する。基準画像信号と合成撮影画像信号が表す被写体の画像は、図１０、１１に示す例と同様である。但し、この例では、車両６の画像を表す合成撮影画像信号は、拡大率算出部１４８が算出した拡大率情報に基づいて縮小されるように合成されている。
図１５は、表示用画像信号のその他の例を示す概念図である。
図１５において、☆印は、視点を表し、視点を起点とする太い実線の矢印は、基準点の方向を示す矢印である。この矢印は図１１に示す例ほど下方に向いていないことを表す。即ち、図１０に示す視点の初期値からの変化が図１１に示す視点よりも少ないことを示す。図１５が示す合成撮影画像信号は、車両６の画像と車両５の画像が互いに離間していること、つまり、基準画像信号と合成撮影画像信号が干渉していないことを示す。
【００８０】
以上に説明したように、本実施形態では、視点から、入力された画像信号が表す被写体までの距離に基づいて拡大率を算出し、画像信号が表す被写体を算出した拡大率で拡大又は縮小するように合成撮影画像信号を生成する。
これにより、視点を大きく変更しなくとも、基準画像信号と合成撮影画像信号が干渉しないように、合成撮像画像信号が表す画像を拡縮することができる。また、利用者は、合成撮影画像信号が表す被写体が視点からの距離感をもって俯瞰できるようになる。
【００８１】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図１６は、本実施形態に係る画像表示システム３の構成を示す概略図である。
画像表示システム３は、撮影装置１２−１、画像表示装置３３を含んで構成される。
即ち、本実施形態に係る画像表示システム３は、図１に示す画像表示システム１において、撮影装置１２−１及び距離情報算出部１３１−１を１個ずつ備え、撮影装置１２−２〜１２−４と距離情報算出部１３１−２〜１３１−４を省略して構成される。撮影画像合成部１３５は、変換した撮影装置毎の画像信号を合成して合成撮影画像信号を生成する処理を省略し、変換した画像信号を合成撮影画像信号として干渉判定部１３７に出力する。
本実施形態では撮影装置１２−１を１個のみ備え、撮影される視野が限定される場合でも、撮影した画像信号と基準画像信号の被写体の画像が重複しないように表示用画像信号を生成することができる。
【００８２】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
図１７は、本実施形態に係る画像表示システム４の構成を示す概略図である。
本実施形態に係る画像表示システム４は、撮影装置１２−１、画像表示装置４３を含んで構成される。
即ち、本実施形態に係る画像表示システム４は、図１２に示す画像表示システム２において、撮影装置１２−１及び距離情報算出部１３１−１を１個ずつ備え、撮影装置１２−２〜１２−４と距離情報算出部１３１−２〜１３１−４を省略して構成される。撮影画像合成部１４５は、変換した撮影装置毎の画像信号を合成して合成撮影画像信号を生成する処理を省略し、変換した画像信号を合成撮影画像信号として干渉判定部１３７に出力する。
本実施形態では撮影装置１２−１を１個のみ備え撮影される視野が限定される場合でも、撮影した画像信号と基準画像信号の被写体の画像が重複しないように表示用画像信号を生成することができる。
【００８３】
上述の第２、４の実施形態は、合成座標情報算出部１４４から入力された距離情報に基づいて、被写体の拡大率を算出する拡大率算出部１４８を備え、撮影画像合成部１４５が算出した拡大率に基づいて被写体の画像を拡大又は縮小する例を示した。これらの実施形態では、拡大率算出部１４８の代わりに合成座標情報算出部１４４から入力された距離情報に基づいて、被写体の方位角を算出する角度算出部１５８（図示せず）を備え、撮影画像合成部１４５が算出した方位角に基づいて被写体の画像の方位を変更してもよい。
【００８４】
なお、上述した実施形態において画像表示装置１３、２３、３３又は４３は、画像処理ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ、電子制御装置）部（図示せず）を備えてもよい。画像処理ＥＣＵ部は、距離情報算出部１３１−１等又は合成座標情報算出部１４４から被写体の距離情報を逐次に入力され、被写体までの距離の計時変化に基づいて被写体との相対速度や被写体が自車両に到達するまでの時間（衝突時間）を算出してもよい。画像処理ＥＣＵ部は、算出した時間が予め定めた閾値よりも小さい場合に、当該被写体に接触又は衝突する危険が高いと判断する。このとき、画像処理ＥＣＵ部は、運転者に注意を喚起する情報を示す音声や画像を提示する。又は、画像処理ＥＣＵ部は、車両の動作機構（例えば、アクセル、ブレーキ、ステアリング等）に接触又は衝突を回避するための制御信号を出力してもよい。
【００８５】
上述した実施形態について、画像表示システム１、２、３又は４は、撮影装置１２−１等、距離情報算出部１３１−１等を、各１個又は各４個備える構成について説明したが、本実施形態ではこれには限られない。本実施形態では、任意の個数の撮影装置１２−１等及び距離情報算出部１３１−１等を備えていてもよい。
【００８６】
上述した実施形態において、基準画像記憶部１３６は、予め視点情報と対応付けて基準画像信号を記憶させておき、干渉判定部１３７は入力された視点情報に対応する基準画像信号を読み出す構成について説明したが、本実施形態ではこれには限られない。本実施形態では、基準画像記憶部１３６は、予め定めた単一の視点情報に対応する基準画像情報を記憶させておき、干渉判定部１３７は、記憶された基準画像情報を座標変換して入力された視点情報に対応する基準画像信号を生成してもよい。
【００８７】
上述した実施形態について、撮影画像合成部１３５又は１４５が合成した合成撮影画像信号に対して干渉判定部１３７が干渉するか否かの判定、視点更新部１３８が視点情報の更新、拡大率算出部１４８が拡大率の算出を一括して行う構成について説明した。本実施形態ではこれには限られない。本実施形態では、合成撮影画像信号が表す被写体の画像信号毎に、これらの機能部が各々の処理を行ってもよい。そのために撮影画像合成部１３５、１４５は、合成撮影画像信号に対して、例えばエッジ抽出を行って、被写体毎に表示される領域の画像信号を識別する被写体情報を生成する。この被写体情報を用いて各構成部が、被写体毎の画像信号を識別できるようにしてもよい。
【００８８】
上述の実施形態について、距離情報算出部１３１−１等は、撮影装置１２−１等から入力された画像信号間の視差に基づいて当該画像信号が表す全ての被写体の距離情報を算出することを前提としていたが、本実施形態ではこれには限られない。本実施形態では、当該画像信号が表す被写体のうち、少なくとも一部の被写体までの距離情報を別途の距離情報取得部（例えば、測距センサ、図示せず）が取得するようにしてもよい。その場合、３Ｄ座標算出部１３３は当該距離情報取得部から入力された当該被写体の距離情報を、当該被写体を表す画像信号に係る３次元座標情報の算出に用いてもよい。
【００８９】
上述の実施形態について、視点更新部１３８は、干渉判定部１３７が判定した合成撮影画像信号と基準画像信号が干渉する領域の面積が、さらに減少するように視点情報を更新してもよい。ここで、視点更新部１３８は、今回の視点情報に基づいて算出された干渉する領域の面積が、前記の視点情報に基づいて算出された干渉する領域の面積よりも増加した場合、今回視点情報を更新する更新量の正負を、前回から今回の更新量とは逆転させる。これにより、合成撮影画像信号と基準画像信号が干渉しても、干渉する領域の面積が減少させ、各被写体の画像が離間するように視点情報を定めることができる。
【００９０】
上述の実施形態において、基準画像合成部１３９は、干渉判定部１３７から入力された合成撮影画像信号と基準画像信号のいずれか一方が、他方の画像よりも強調されるように合成して、表示用画像信号を生成するようにしてもよい。例えば、基準画像合成部１３９は、合成撮影画像信号が表す被写体の画像の輝度を予め設定した輝度値だけ増加させてもよいし、他の部分の画像の輝度を予め設定した輝度値だけ減少させてもよい。基準画像合成部１３９は、その被写体の画像の特定の色成分（例えば、赤色Ｒ）の輝度値と、他の部分の画像の当該色成分の輝度値の差分が、予め設定した値よりも大きくなるように当該色成分値を変更してもよい。これにより、運転者は周囲環境を示す合成撮影画像信号と、必ずしも周囲環境を示さない基準画像信号を容易に識別することができる。
【００９１】
なお、上述した実施形態における画像表示装置１３、２３、３３又は４３の一部、例えば、距離情報算出部１３１−１等、３Ｄ座標算出部１３３、合成座標情報算出部１３４もしくは１４４、撮影画像合成部１３５もしくは１４５、干渉判定部１３７、視点更新部１３８、基準画像合成部１３９及び拡大率算出部１４８をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像表示装置１３、２３、３３及び４３に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像表示装置１３、２３、３３及び４３の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像表示装置２の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００９２】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００９３】
１、２、３、４…画像表示システム、１２−１〜１２−４…撮影装置、
１２１−１〜１２１−４、１２２−１〜１２２−４…撮像部、
１２１１−１〜１２１１−４…レンズ、１２２２−１〜１２２２−４…撮像素子、
１３、２３、３３、４３…画像表示装置、
１３１−１〜１３１−４…距離情報算出部、１３２…カメラパラメータ記憶部、
１３３…３Ｄ座標算出部、１３４、１４４…合成座標情報算出部、
１３５、１４５…撮影画像合成部、１３６…基準画像記憶部、１３７…干渉判定部、
１３８…視点更新部、１３９…基準画像合成部、１４８…拡大率算出部、
１５１…画像表示部
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示システム、画像表示方法、及び画像表示プログラムに関する。
【背景技術】
【０００２】
近年、車両に取付ける撮影装置（例えば、カメラ）等の周囲監視装置が開発されている。周囲監視装置には、複数の撮影装置が撮影した画像の視点方向をそれぞれ変換して合成する技術が提案されている。
例えば、特許文献１、２に記載の発明は、自車両の後方を撮影するリアカメラと、左側後方を撮影するレフトサイドカメラと、右側後方を撮影するライトサイドカメラの３つのカメラで撮影した画像信号を画像記憶部に記憶し、その画像を注視する位置である視点を自車両の真上に変換した画像信号を生成する。当該発明は、生成した画像信号と自車両の画像を表す画像信号とを合成して、俯瞰画像を表す画像信号を生成する。これにより、自車両を表す画像とともに他の被写体を表す画像を表示する俯瞰画像を生成することができ、運転者が自車両の周囲にある被写体の位置を直感的に把握できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−３５８１６号公報
【特許文献２】特開２００７−１５８４２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１、２に記載の発明では、他の被写体の画像を表す画像信号と自車両の画像を表す画像信号を合成する際、他の被写体の画像の一部が自車両の一部に覆われることがある。そのため、生成した俯瞰画像では他の被写体の位置が運転者に把握しにくいという課題があった。
本発明はこのような課題に鑑みてなされたもので、被写体の位置関係を容易に把握できる画像表示装置、画像表示システム、画像表示方法又は画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像信号が表す被写体の座標情報を算出する座標情報算出部と、前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する撮影画像合成部と、前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する干渉判定部と、前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、前記視点を更新する視点更新部とを備えることを特徴とする画像表示装置である。
【０００６】
（２）本発明のその他の態様は、前記画像表示装置において、前記座標情報算出部は、前記視点として前記視点更新部が更新した視点情報が表す視点を用いて前記座標情報を算出することを特徴とする。
【０００７】
（３）本発明のその他の態様は、前記視点から前記画像信号が表す被写体までの距離に基づいて拡大率を算出する拡大率算出部を備え、前記撮影画像合成部は、前記画像信号が表す被写体を前記拡大率算出部が算出した拡大率で拡大又は縮小するように前記合成撮影画像信号を生成することを特徴とする。
【０００８】
（４）本発明のその他の態様は、前記画像表示装置において、前記干渉判定部は、前記合成撮影画像信号が表す被写体を表示する座標と前記基準画像信号が表す被写体の画像を表示する座標が重複するか否かにより、前記合成撮影画像信号と前記基準画像信号が干渉するか否かを判断することを特徴とする。
【０００９】
（５）本発明のその他の態様は、画像を撮影する撮影装置と画像表示装置を備え、前記画像表示装置は、前記撮影装置から入力された画像信号が表す被写体の座標情報を算出する座標情報算出部と、前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する撮影画像合成部と、前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する干渉判定部と、前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、前記視点を更新する視点更新部と、を備えることを特徴とする画像表示システムである。
【００１０】
（６）本発明のその他の態様は、前記画像表示システムにおいて、前記撮影装置として複数個の撮影装置を互いに異なる位置に備え、前記撮影画像合成部は、前記複数個の撮影装置の各々から入力された画像信号に基づいて前記合成撮影画像信号を生成することを特徴とする。
【００１１】
（７）本発明のその他の態様は、画像表示装置における画像表示方法において、前記画像表示装置が、画像信号が表す被写体の座標情報を算出する過程と、前記画像表示装置が、前記算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する過程と、前記画像表示装置が、前記生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する過程と、前記画像表示装置が、前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、前記視点を更新する過程とを有することを特徴とする画像表示方法である。
【００１２】
（８）本発明のその他の態様は、画像表示装置のコンピュータに、画像信号が表す被写体の座標情報を算出する手順、前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する手順、前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する手順、前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、前記視点を更新する手順を実行させるための画像表示プログラムである。
【発明の効果】
【００１３】
本発明によれば、被写体の位置関係を容易に把握することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る画像表示システムの構成を示す概略図である。
【図２】本実施形態に係る撮影装置の構成を示す概略図である。
【図３】本実施形態に係る画像表示処理を表すフローチャートである。
【図４】本実施形態に係る撮影装置の配置の一例を示す概念図である。
【図５】本実施形態に係る撮影装置の配置の一例を示すその他の概念図である。
【図６】本実施形態に係る撮影装置の配置の一例を示すその他の概念図である。
【図７】本実施形態に係る撮像部が撮影した画像の一例を表す図である。
【図８】本実施形態に係る視点の一例を示す概念図である。
【図９】本実施形態に係る視点の一例を示すその他の概念図である。
【図１０】表示用画像信号の一例を示す概念図である。
【図１１】表示用画像信号のその他の例を表す概念図である。
【図１２】本発明の第２の実施形態に係る画像表示システムの構成を示す概略図である。
【図１３】本実施形態に係る拡大率算出部の処理を表すフローチャートである。
【図１４】本実施形態に係る撮像部が備える光学系と被写体の位置関係の一例を示す概念図である。
【図１５】表示用画像信号のその他の例を示す概念図である。
【図１６】本発明の第３の実施形態に係る画像表示システムの構成を示す概略図である。
【図１７】本発明の第４の実施形態に係る画像表示システムの構成を示す概略図である。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る画像表示システム１の構成を示す概略図である。
画像表示システム１は、撮影装置１２−１〜１２−４、画像表示装置１３を含んで構成される。以下、撮影装置１２−１〜１２−４を総括する場合や、互いに区別する必要がない場合には撮影装置１２−１等、又は撮影装置１２と呼ぶ。撮影装置１２−１等の配置については後述する。
【００１６】
撮影装置１２−１等は、撮影した画像を表す画像信号を画像表示装置１３の距離情報算出部１３１−１等に出力する。
ここで、撮影装置１２−１の構成例について説明する。撮影装置１２−２〜１２−４の構成は、例えば、撮影装置１２−１とそれぞれ同様である。
図２は、本実施形態に係る撮影装置１２−１の構成を示す概略図である。
撮影装置１２−１は、２個の撮影部１２１−１、１２２−１を備える、いわゆる２眼カメラである。撮影部１２１−１は、レンズ１２１１−１と撮像素子１２１２−１を含んで構成され、撮影部１２２−１は、レンズ１２２１−１と撮像素子１２２２−１を含んで構成される、レンズ１２１１−１、１２２２−１は、被写体からの光線を透過し、撮像素子１２１２−１、１２２２−１の表面に結像させる。撮像素子１２１２−１、１２２２−１は、表面に結像した光線を画像信号に変換し、変換した画像信号を画像表示装置１３の距離情報算出部１３１−１に出力する。
【００１７】
図１に戻り、画像表示装置１３は、距離情報算出部１３１−１〜１３１−４、カメラパラメータ記憶部１３２、３Ｄ座標算出部１３３、合成座標情報算出部１３４、撮影画像合成部１３５、基準画像記憶部１３６、干渉判定部１３７、視点更新部１３８、基準画像合成部１３９及び画像表示部１５１を含んで構成される。
【００１８】
距離情報算出部１３１−１等は、それぞれ撮像部１２１−１等、１２２−１等から入力された共通する被写体を表す画像信号間座標値の差である視差情報（視差マップ）を生成する。視差マップを生成する処理については後述する。また、視差情報は、後述するように被写体までの距離を表す情報である。距離情報算出部１３１−１等は、算出した視差情報を距離情報に変換して３Ｄ座標算出部１３３に出力する。また、距離情報算出部１３１−１等は、入力された画像信号を３Ｄ座標情報算出部１３３に出力する。
【００１９】
カメラパラメータ記憶部１３２には、撮影装置１２−１等による画像の撮影に係るパラメータ群を表すカメラパラメータ情報が予め記憶されている。カメラパラメータ情報は、例えば、撮影装置１２−１等の位置情報、光軸方向情報、焦点距離情報、基線長情報、画素ピッチ情報を含む。ここで、位置情報とは、撮影装置１２−１等が、設置される位置を表す情報である。光軸方向情報とは、レンズ１２１１−１等、レンズ１２２１−１の光軸の方向を表す情報である。焦点距離情報とは、レンズ１２１１−１等の中心部からレンズ１２１１−１等までの焦点までの距離である焦点距離を表す情報である。基線長情報とは、並列するレンズ１２１１−１等の中心部とレンズ１２１１−２等の中心部を結ぶ線分である基線の長さ、即ち、撮像部１２１−１等と撮影部１２２−１等の間隔を表す情報である。画素ピッチ情報とは、撮像素子１２１２−１等の画素間間隔を表す情報である。
【００２０】
３Ｄ座標算出部１３３は、距離情報算出部１３１−１等から入力された距離情報ならびに画像信号と、カメラパラメータ記憶部１３２から読み出したカメラパラメータ情報に基づいて、被写体毎のカメラ座標系で表した３次元座標情報を算出する。３Ｄ座標算出部１３３が３次元座標情報を算出する処理については後述する。
３Ｄ座標算出部１３３は、算出した３次元座標情報を合成座標情報算出部１３４及び撮影画像合成部１３５に出力する。３Ｄ座標算出部１３３は、距離情報算出部１３１−１等から入力された画像信号を撮影画像合成部１３５に出力する。
【００２１】
合成座標情報算出部１３４は、カメラパラメータ記憶部１３２から読み出したカメラパラメータ情報に基づき、３Ｄ座標算出部１３３から入力された３次元座標情報から、視点情報が表す視点を基準とした座標値を表す合成座標情報を算出する。合成座標情報算出部１３４が、視点更新部１３８から視点情報が入力される場合には、入力された視点情報を基準とした座標値を表す合成座標情報を算出する。
視点情報とは、被写体を視認する位置である視点を表す情報である。例えば、撮影装置１２−１等から入力された画像信号の視点は、各撮影装置の設置位置である。視点は、必ずしも撮影装置の設置位置である必要はなく、仮想的な位置であってもよい。合成座標情報算出部１３４における視点情報の初期値は、ある基準点（原点）から予め定めた位置、例えば画像表示システム１を搭載する自車両の先頭部中心をその基準点とし、その基準点から前方に１０ｍ、上方に２ｍ、離れた位置である。合成座標情報算出部１３４が合成座標情報を算出する処理については後述する。
合成座標情報算出部１３４は、算出した合成座標情報とその合成座標情報を算出するために用いた視点情報を撮影画像合成部１３５に出力する。
ここで、算出された合成座標情報が表す座標値は、撮影装置１２−１等に関わらず全ての撮影領域に共通な座標系（世界座標系）による座標値である。
【００２２】
撮影画像合成部１３５は、合成座標情報算出部１３４から入力された視点情報と合成座標情報に基づき、３Ｄ座標算出部１３３から入力された撮影装置毎の画像信号を入力された視点情報に対応する画像信号に変換する。これにより、撮影画像合成部１３５は、視点情報が示す共通の視点から視認される画像を表す視点画像信号を生成する。撮影画像合成部１３５が、視点画像信号に変換する処理については後述する。
【００２３】
撮影画像合成部１３５は、変換した撮影装置毎の視点画像信号を合成して合成撮影画像信号を生成する。複数の画像信号間で共通する被写体を表す部分の画素値を一意に定めるため、撮影画像合成部１３５は、例えばＯＲ描画処理を行って、合成撮影画像信号を生成する。ＯＲ描画処理では、対象となる複数の画像信号間で各１個の座標の画素しかない場合には、その座標の画素値をそのまま採用する。他方、その複数の画像信号間で共通する座標の画素が複数個存在する場合、複数個のうち輝度値が最大となる画素値を、その座標の画素値として選択する。
撮影画像合成部１３５は、生成した合成撮影画像信号と合成座標情報算出部１３４から入力された視点情報を干渉判定部１３７に出力する。
【００２４】
基準画像記憶部１３６には、予め定めた被写体（例えば、画像表示システム１を搭載する自車両）を表す画像信号が基準画像信号として記憶されている。基準画像記憶部１３６に、異なる視点毎の被写体を表す基準画像信号と視点情報とを対応付けて記憶させておくことは、その具体的な実施の一例である。
干渉判定部１３７は、撮影画像合成部１３５から入力された視点情報に対応する基準画像信号を基準画像記憶部１３６から読み出す。干渉判定部１３７は、撮影画像合成部１３５から入力された合成撮影画像信号と、基準画像記憶部１３６から読み出した基準画像信号とが干渉するか否かを判定する。複数の画像信号が干渉するとは、各画像信号が含む座標のうち画像信号間で共通する座標の画素値があることを指す。
干渉判定部１３７は、合成撮影画像信号と基準画像信号が干渉しないと判定した場合、入力された合成撮影画像信号と読み出した基準画像信号を基準画像合成部１３９に出力する。
干渉判定部１３７は、合成撮影画像信号と基準画像信号が干渉すると判定した場合、干渉することを示す干渉判定信号を、視点更新部１３８に出力する。
【００２５】
視点更新部１３８は、干渉判定部１３７から干渉判定信号が入力された場合、視点情報を更新し、更新した視点情報を合成座標情報算出部１３４に出力する。
視点更新部１３８は、例えば、上述の基準点を通過する水平方向又は垂直方向の座標軸との方位角が予め設定された微小量（例えば、０．１〜１度）ずつ変化するように視点情報を更新してもよい。また、視点更新部１３８は、原点からの距離が予め設定された微小量（例えば、０．０１〜０．２ｍ）ずつ増加するように視点情報を更新してもよいし、これらの任意の組み合わせであってもよい。視点更新部１３８は、このようにして被写体全体を俯瞰できる位置に視点情報を更新する。
【００２６】
基準画像合成部１３９は、干渉判定部１３７から入力された合成撮影画像信号と基準画像信号について、例えば、ＯＲ描画処理を行うことにより合成して表示用画像信号を生成する。基準画像合成部１３９は、合成した表示用画像信号を画像表示部１５１に出力する。
画像表示部１５１は、基準画像合成部１３９から入力された表示用画像信号が表す画像を表示する。画像表示部１５１は、例えばディスプレイユニットである。
【００２７】
次に、画像表示装置１３が行う画像表示処理について説明する。
図３は、本実施形態に係る画像表示処理を表すフローチャートである。
（ステップＳ１０１）距離情報算出部１３１−１等は、撮像部１２１−１等、１２２−１等から入力された画像信号に基づいて距離情報を生成し、生成した距離情報を３Ｄ座標情報算出部１３３に出力する。距離情報算出部１３１−１等は、入力された画像信号を３Ｄ座標情報算出部１３３に出力する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）３Ｄ座標算出部１３３は、距離情報算出部１３１−１等から入力された距離情報と、カメラパラメータ記憶部１３２から読み出したカメラパラメータ情報に基づいて、３次元座標情報を算出する。３Ｄ座標算出部１３３は、算出した３次元座標情報を合成座標情報算出部１３４及び撮影画像合成部１３５に出力する。３Ｄ座標算出部１３３は、距離情報算出部１３１−１等から入力された画像信号を撮影画像合成部１３５に出力する。その後、ステップＳ１０３に進む。
【００２８】
（ステップＳ１０３）合成座標情報算出部１３４は、カメラパラメータ記憶部１３２から読み出したカメラパラメータ情報に基づき、３Ｄ座標算出部１３３から入力された３次元座標情報から、視点情報が表す視点を基準とした座標値を表す合成座標情報を算出する。視点更新部１３８から視点情報が入力される場合には、合成座標情報算出部１３４は、入力された視点情報を用いて合成座標情報を算出する。合成座標情報算出部１３４は、算出した合成座標情報とその合成座標情報を算出するために用いた視点情報を撮影画像合成部１３５に出力する。その後、ステップＳ１０４に進む。
【００２９】
（ステップＳ１０４）撮影画像合成部１３５は、合成座標情報算出部１３４から入力された合成座標情報に基づき、３Ｄ座標算出部１３３から入力された撮影装置毎の画像信号を、合成座標情報算出部１３４から入力された視点情報に対応する視点画像信号に変換する。
撮影画像合成部１３５は、変換した撮影装置毎の視点画像信号を合成して合成撮影画像信号を生成する。撮影画像合成部１３５は、生成した合成撮影画像信号と変換を行う際に用いた視点情報を干渉判定部１３７に出力する。その後、ステップＳ１０５に出力する。
【００３０】
（ステップＳ１０５）干渉判定部１３７は、撮影画像合成部１３５から入力された視点情報に対応する基準画像信号を基準画像記憶部１３６から読み出す。干渉判定部１３７は、撮影画像合成部１３５から入力された合成撮影画像信号と、基準画像記憶部１３６から読み出した基準画像信号とが干渉するか否かを判定する。
干渉判定部１３７は、入力された合成撮影画像信号と、読み出した基準画像信号とが干渉すると判定した場合（ステップＳ１０５ Ｙ）、ステップＳ１０６に進む。干渉判定部１３７は、入力された合成撮影画像信号と、読み出した基準画像信号とが干渉しないと判定した場合（ステップＳ１０５ Ｎ）、入力された合成撮影画像信号と読み出した基準画像信号を基準画像合成部１３９に出力し、ステップＳ１０７に進む。
【００３１】
（ステップＳ１０６）視点更新部１３８は、視点情報を更新し、更新した視点情報を合成座標情報算出部１３４に出力する。その後、ステップＳ１０３に進む。
（ステップＳ１０７）基準画像合成部１３９は、干渉判定部１３７から入力された合成撮影画像信号と基準画像信号を合成して、表示用画像信号を生成する。基準画像合成部１３９は、合成した表示用画像信号を画像表示部１５１に出力する。その後、ステップＳ１０８に進む。
（ステップＳ１０８）画像表示部１５１は、基準画像合成部１３９から入力された表示用画像信号が表す画像を表示する。その後、処理を終了する。
【００３２】
次に、撮影装置１２−１等の配置の一例について図面を用いて説明する。
図４は、本実施形態に係る撮影装置１２−１〜１２−４の配置の一例を示す概念図である。
図４は、車両５の上面全体を示す。車両５は、画像表示システム１を搭載する自車両である。図４において、左側が車両５の前方、右側が車両５の後方、上方が車両５の右側方、下方が車両５の左側方である。
図４は、撮影装置１２−１等の設置位置を破線の四角で示す。撮像部１２１−１等の設置位置を□印で示す。撮像部１２１−１、１２２−１、１２１−３及び１２２−３に接する頂点をもつ一点鎖線で示される三角形の領域７１−１、７２−１、７１−３及び７２−３は、撮像部１２１−１、１２２−１、１２１−３及び１２２−３の視野をそれぞれ示す。撮像部１２１−２及び１２１−４に接する頂点をもつ一点鎖線で示される扇形の領域７１−２及び７２−４は、撮像部１２１−２及び１２１−４等の視野をそれぞれ示す。
撮像部１２１−２及び１２１−４に接する頂点をもつ一点鎖線で示される扇形の領域７１−２及び７２−４は、撮像部１２１−２及び１２１−４等の視野をそれぞれ示す。
このように本実施形態では、複数の撮影装置１２−１等を備え、撮影した画像信号を合成するため、広範囲にわたる周囲情報を取得することができる。
【００３３】
撮影装置１２−１が取り付けられる位置は、車両５のフロントガラス上方の中心部である。撮像部１２１−１と撮像部１２２−１は、車両５の左右方向に並列されている。撮影装置１２−２が取り付けられる位置は、車両５の左側面の中心部である。撮像部１２１−２は、撮像部１２２−２の直上となるように垂直方向に並列されている。撮影装置１２−３が取り付けられる位置は、車両５のリヤガラス上方の中心部である。撮像部１２１−３と撮像部１２２−３は、車両５の左右方向に並列されている。撮影装置１２−４が取り付けられる位置は、車両５の右側面の中心部である。撮像部１２１−４は、撮像部１２２−４の直上となるように垂直方向に並列されている。
【００３４】
撮像部１２１−１〜１２２−４の光軸の方向は、いずれも水平面に平行な方向である。但し、撮像部１２１−１、１２２−１の光軸の方向は、いずれも車両５の前方である。撮像部１２１−２、１２２−２の光軸の方向は、車両５の左側方である。撮像部１２１−３、１２２−３の光軸の方向は、車両５の後方である。撮像部１２１−４、１２２−４の光軸の方向は、車両５の右側方である。
【００３５】
図４において、撮像部１２１−１、１２２−１の水平方向の視野７１−１、７２−１は、車両５の前方を中心に運転者の視野を網羅する角度、例えば６０°である。
撮像部１２１−２の水平方向の視野７１−２は、車両５の左側方を中心として１８０°に近い十分大きい角度、例えば１６０°であり、車両５の左前方１０°から左真横を経て左後方１０°に至る。撮像部１２２−２の水平方向の視野は、撮像部１２１−２と同様である。
撮像部１２１−３、１２２−３の水平方向の視野７１−３、７２−３は、車両５の後方を中心に後進時に運転者の視野を網羅する角度、例えば６０°である。
撮像部１２１−４の水平方向の視野７１−４は、車両５の右側方を中心として１８０°に近い十分大きい角度、例えば１６０°であり、車両５の右前方１０°から右真横を経て右後方１０°に至る。撮像部１２２−４の水平方向の視野は、撮像部１２１−４と同様である。
【００３６】
図５は、本実施形態に係る撮影装置１２−１〜１２−３の配置の一例を示すその他の概念図である。
図５は、車両５の前面全体を示す。図５において、左側が車両５の右側方、左側が車両５の左側方、上方が車両５の上方、下方が車両５の下方である。
図５は、撮影装置１２−１〜１２−３が前述の位置に設置されていることを示す。
【００３７】
図６は、本実施形態に係る撮影装置１２−２の配置の一例を示すその他の概念図である。
図６は、車両５の左側面全体を示す。図６において、左側が車両５の前方、右側が車両５の後方、上方が車両５の上方、下方が車両５の下方である。
図６は、撮影装置１２−２が前述の位置に設置されていることを示す。
図６において、撮像部１２１−２の左右に広がる一点鎖線で示す三角形の領域７１−２は、撮像部１２１−２の上下方向の視野を表す。撮像部１２２−２の左右に広がる一点鎖線で示す三角形の領域７２−２は、撮像部１２２−２の上下方向の視野を表す。三角形の領域７１−２、７２−２が重なる塗りつぶし部分７１２−２は、撮像部１２１−２、１２２−２の視野が重複する領域である。従って、撮像部１２１−２、１２２−２は、この領域に位置する被写体を表す画像をともに撮影することができ、共通する被写体を表す画像が後述する距離情報の算出に用いられる。
【００３８】
続いて、距離情報算出部１３１−１等が行う処理についてより具体的に説明する。
距離情報算出部１３１−１等は、撮影装置１２−１等の撮像部１２１−１、１２２−１から各々入力された画像信号に基づいて撮像部１２１−１、１２２−１間における視差情報を画素毎に算出する。視差とは、異なる撮影装置から入力された画像信号が表す共通の被写体を表す画素位置の差分である。距離情報算出部１３１−１等は、算出した視差情報を距離情報として３Ｄ座標算出部１３３に出力する。距離情報算出部１３１−１等は、撮影装置１２−１等の撮像部１２１−１等及び１２２−１等から入力された画像信号のうち何れか一方、例えば撮像部１２１−１等からの画像信号を３Ｄ座標算出部１３３に出力する。
【００３９】
視差情報を算出するために、距離情報算出部１３１−１等は、例えばブロックマッチング（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）を行う。ブロックマッチングにおいて、距離情報算出部１３１−１等は一方の画像信号の一部である画像ブロックと他方の画像信号の一部である画像ブロックの画素値の類似性を表す評価値を算出し、最も類似することを表す評価値が算出される画像ブロックを他方の画像信号から探索する。評価値は、例えば、差分絶対和（ＳＡＤ、Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）である。距離情報算出部１３１−１等は、両画像信号が共通に表す被写体の対応する部位間の視差を算出する。
【００４０】
ここで、撮像部１２１−２、１２２−２が撮影した画像の一例について述べる。
図７は、本実施形態に係る撮像部１２１−２、１２２−２が撮影した画像の一例を表す図である。
図７（ａ）は、撮像部１２１−２が撮影した画像８１−２を表す。画像８１−２は被写体として他の車両を表す画像である。図７（ｂ）は、撮像部１２２−２が撮影した画像８２−２を表す。画像８２−２は被写体として画像８１−２が表す車両と共通する車両を表す。画像８２−２に表される車両の位置は、画像８１−２よりも垂直方向の正方向（上方）にずれている。これは、画像８２−２を撮影した撮像部１２２−２が画像８１−２を撮影した撮像部１２１−２よりも垂直方向の負方向（下方）に離れた位置に設置されているためである。
【００４１】
図７（ａ）、（ｂ）はともに、画像８１−２の画像ブロックと画像８２−２において同一の被写体である車両を表す画像ブロックを表す。画像８１−２が表す車両のナンバープレートの中央部の水平方向の座標はＨ、垂直方向の座標はＶ１である。この部位に対応する、画像８２−２の水平方向の座標はＨ、垂直方向の座標はＶ２である。画像８１−２、８２−２間の垂直方向の座標の差分Ｖ１−Ｖ２が視差である。
上述のように、視差は、撮影装置１２−２から被写体までの距離Ｚを表す。視差Ｖ１−Ｖ２と距離Ｚとの間には、例えば式（１）に示す関係がある。
【００４２】
【数１】
【００４３】
式（１）において、ｆは、撮像部１２１−２、１２２−２の焦点距離、Ｂは基線長、ｐは画素ピッチを表す。視差は、撮影装置から被写体までの距離によって異なる値をとる。視差は、例えば、被写体が無限遠にあるとき０であり、撮影装置から被写体までの距離が短くなるほど大きくなる。
【００４４】
次に、３Ｄ座標算出部１３３が３次元座標情報を算出する処理についてより具体的に説明する。
３Ｄ座標算出部１３３は、距離情報算出部１３１−１等から画像信号と、距離情報として視差情報を入力される。３Ｄ座標算出部１３３は、カメラパラメータ記憶部１３２からカメラパラメータ情報として、撮影装置１２−１等の焦点距離情報、基線長情報及び画素ピッチ情報を読み出す。
【００４５】
３Ｄ座標算出部１３３は、入力された画像信号における画素（ｉ，ｊ）の座標（ｕｉ，ｖｊ）を、例えば式（２）を用いてレンズ１２１１−１等を原点とするカメラ座標系による３次元座標情報（Ｘａ，Ｙａ，Ｚａ）に変換する。ここで、座標（ｕｉ，ｖｊ）は、レンズ１２１１−１等を原点とする画像座標系による座標情報である。
【００４６】
【数２】
【００４７】
式（２）において、Ｄ（ｉ，ｊ）は、画素（ｉ，ｊ）における視差を表す。即ち、式（２）における、水平方向の座標値Ｘａ、垂直方向の座標値Ｙａ、奥行方向の座標値Ｚａは、それぞれ撮像素子１２１２−１等における画素（ｉ，ｊ）の水平方向の座標値ｕｉ、垂直方向の座標値ｖｊ又は奥行方向の座標ｆに、それぞれ基線長Ｂを乗じた値を視差Ｄ（ｉ，ｊ）で除した値である。
なお、カメラ座標系は、各撮影装置１２−１等が設置された位置（例えば、レンズ１２１１−１等）を原点とし、撮像素子１２１２−１等に結像した画像の水平方向ならびに垂直方向、及び光軸方向の座標軸を有する３次元直交座標系である。
【００４８】
次に、合成座標情報算出部１３４が合成座標情報を算出する処理についてより具体的に説明する。
合成座標情報算出部１３４は、世界座標系の原点を上述の視点情報が表す視点と定め、その視点に対応する座標軸を定める。合成座標情報算出部１３４は、例えば、視点から上述の基準点への座標軸を奥行方向の座標を表すＺ軸と定め、視点を通過しＺ軸と垂直であって水平方向に平行な方向に向く座標軸をＸ軸と定め、視点を通過しＺ軸と垂直であってＸ軸と垂直な座標軸をＹ軸と定める。
合成座標情報算出部１３４は、入力された３次元座標情報が示すカメラ座標系における座標値（Ｘａ，Ｙａ，Ｚａ）を、例えば式（３）を用いて世界座標系における座標値（Ｘｏ，Ｙｏ，Ｚｏ）を示す合成座標情報に変換する。
【００４９】
【数３】
【００５０】
式（３）において、Ｒはカメラ座標系における座標軸を世界座標系における座標軸に回転させることを示す回転行列、Ｔは座標系間における原点の位置のずれを表す並進ベクトルである。即ち、回転行列Ｒは、上述の世界座標系の座標軸と、カメラパラメータ情報に含まれる撮影装置１２−１等の光軸方向情報によって定められ、並進ベクトルＴは、カメラパラメータ情報に含まれる撮影装置１２−１等が設置される位置、予め設定された基準点の位置及び上述の視点によって定められる。回転行列Ｒの各成分は、例えば式（４）のように表される。
【００５１】
【数４】
【００５２】
式（４）において、θｘは、世界座標系におけるｘ軸回りのカメラ座標系のｘ軸の回転角、θｙは、世界座標系におけるｙ軸回りのカメラ座標系のｙ軸の回転角、θｚは、世界座標系におけるｚ軸回りのカメラ座標系のｚ軸の回転角をそれぞれ示す。
並進ベクトルＴの各成分は、（Δｘ，Δｙ，Δｚ）と表される。Δｘは、カメラ座標系の原点から世界座標系の原点までのｘ軸方向の移動量、Δｙは、カメラ座標系の原点から世界座標系の原点までのｙ軸方向の移動量、Δｚは、カメラ座標系の原点から世界座標系の原点までのｚ軸方向の移動量をそれぞれ示す。
従って、式（４）は、カメラ座標系における座標値（Ｘａ，Ｙａ，Ｚａ）に、両座標系の座標軸の回転を表す回転行列Ｒを乗じ、さらに両座標系の原点の移動を表す並進ベクトルＴを加算して世界座標系における座標値（Ｘｏ，Ｙｏ，Ｚｏ）を算出することを表す。
【００５３】
次に、撮影画像合成部１３５が行う画像信号変換処理についてより具体的に説明する。
撮影画像合成部１３５は、合成座標情報算出部１３４から入力された合成座標情報が表す世界座標系における座標値（Ｘｏ，Ｙｏ，Ｚｏ）を、視点を原点とするカメラ座標系における座標値（ｕｏ，ｖｏ）に、例えば式（５）を用いて変換する。
【００５４】
【数５】
【００５５】
式（５）は、世界座標系における座標値のうち、水平成分Ｘｏと垂直成分Ｙｏをそれぞれ奥行成分Ｚｏと焦点距離ｆとの比Ｚｏ／ｆで規格化してカメラ座標系における座標値（ｕｏ，ｖｏ）を算出することを示す。
【００５６】
撮影画像合成部１３５は、３Ｄ座標算出部１３３から入力された撮影装置毎の画像信号の各画素（ｉ，ｊ）における画素値を、算出した座標値（ｕｏ，ｖｏ）における画素に割り当てることによって上述の視点に対応する視点画像信号を生成する。
このようにして、撮影画像合成部１３５は、撮影装置毎に異なる視点の画像信号を共通する視点情報に対応する視点画像信号に変換する。上述のように、撮影画像合成部１３５は、変換した視点画像信号を撮影装置間で合成して合成撮影画像信号を生成する。
【００５７】
次に、本実施形態に係る視点の一例について説明する。
図８は、本実施形態に係る視点の一例を示す概念図である。
図８は、視点を☆印で示し、車両５、６の上面全体を示す。図８の左側が車両５、６の前方、図８の右側が車両５、６の後方、図８の上方が車両５、６の左側方、図８の下方が車両５、６の右側方を示す。即ち、車両６が車両５の左後方にあることを示す。
図８は、視点が車両５の右前方にあり、視点を起点とする太い実線の矢印は、基準点の方向を表す矢印である。
車両５のリアガラス上方を頂点とする一点破線で示された２つの三角形の領域は、撮像部１２１−３、１２２−３の水平方向の視野７１−３、７２−３を示す。車両５の左側面中央を頂点とする一点破線で示された扇形の領域は、撮像部１２１−２、１２２−２の水平方向の視野７１−２、７２−２を示す。
【００５８】
図９は、本実施形態に係る視点の一例を示すその他の概念図である。
図９は、視点を☆印で示し、車両５と車両６の左側面全体を示す。図９の左側が車両５、６の前方、図９の右側が車両５、６の後方、図９の上方が車両５、６の上方、図９の下方が車両５、６の下方を示す。即ち、車両６が車両５の後方にあることを示す。
図９は、視点が車両５の上前方にあり、視点を起点とする太い実線の矢印は基準点の方向を表す矢印である。
【００５９】
次に、合成撮影画像信号と基準画像信号から生成した表示用画像信号の一例について説明する。次に説明する例では、基準画像信号は車両５の前面の画像を表し、合成撮影画像信号は車両６の前面の画像を表す。但し、この例では干渉判定部１３７は、基準画像信号と合成撮影画像信号が干渉するか否かを判定していない。
図１０は、表示用画像信号の一例を示す概念図である。
図１０において、画像信号が被写体として車両５、６の前面を表す。☆印は、視点を表す。視点を起点とする太い実線の矢印は、基準点の方向を表す矢印である。左右方向に延び視点を通る一点破線は、車両５の左右方向を示す。左上方から右下方に延び視点を通る一点破線は、車両５の前後方向を示す。上下に延び視点を通る一点破線は、車両５の上下方向を示す。
太い実線の矢印と左上方から右下方に延び視点を通る一点破線を結ぶ両端が矢印の円弧は、視点からの基準点の方向が水平方向よりも左下方に向かうことを表す。
図１０が示す合成撮影画像信号は、車両６の右前方の一部が車両５の一部に覆われること、つまり、基準画像信号と合成撮影画像信号が干渉していることを示す。
【００６０】
次に、合成撮影画像信号と基準画像信号から生成した表示用画像信号の他の例について説明する。基準画像信号と合成撮影画像信号が表す被写体の画像は、図１０に示す例と同様である。但し、この例では干渉判定部１３７は、基準画像信号と合成撮影画像信号が干渉すると判定し、視点更新部１３８は視点が更に上方に移動するように視点情報を更新する。
図１１は、表示用画像信号のその他の例を示す概念図である。
図１１において、☆印は、視点を表し、視点を起点とする太い実線の矢印は、基準点の方向を表す矢印である。この例では、視点が上方に移動したため、視点からの基準点の相対的な位置が図１０に示す例よりも下方を向いていることを表す。
図１１が示す表示用画像信号は、車両６の画像と車両５の画像が互いに離間していること、つまり、基準画像信号と合成撮影画像信号が干渉していないことを示す。
【００６１】
以上に説明したように、本実施形態では、撮影装置から入力された画像信号が表す被写体について当該被写体を視認する位置である視点からの座標情報を算出し、算出した座標情報に基づいて前記入力された画像信号を前記視点から前記被写体が視認される画像を表す合成撮影画像信号を生成し、生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定し、前記合成撮影画像信号と前記基準画像信号が干渉すると判断した場合、前記視点を更新する。
これにより、周囲環境を表わす合成撮影画像信号が表す被写体が他の基準画像信号が表す被写体と離間して表示されるため、利用者はいずれの被写体も俯瞰できるようになり、被写体の位置関係を容易に把握することができる。
【００６２】
（第２の実施形態）
次に、図面を参照しながら本発明の第２の実施形態について説明する。
図１２は、本実施形態に係る画像表示システム２の構成を示す概略図である。
画像表示システム２は、撮影装置１２−１〜１２−４、画像表示装置２３を含んで構成される。
画像表示装置２３は、距離情報算出部１３１−１〜１３１−４、カメラパラメータ記憶部１３２、３Ｄ座標算出部１３３、合成座標情報算出部１４４、撮影画像合成部１４５、基準画像記憶部１３６、干渉判定部１３７、視点更新部１３８、基準画像合成部１３９、拡大率算出部１４８及び画像表示部１５１を含んで構成される。
即ち、本実施形態では、画像表示装置２３が、画像表示装置１３の合成座標情報算出部１３４と撮影画像合成部１３５の代わりに、合成座標情報算出部１４４、撮影画像合成部１４５及び拡大率算出部１４８を備える点が、画像表示システム１の画像表示装置１３と異なる。画像表示装置２３のその他の構成部や各構成部の処理は、画像表示装置１３と同様である。以下、第１の実施形態と異なる点を主に説明する。
【００６３】
合成座標情報算出部１４４は、合成座標算出部１３４と同様な処理を行って合成座標情報を算出し、算出した合成座標情報を撮影画像合成部１４５に出力する。合成座標情報算出部１４４は、算出した合成座標情報が表す座標値（Ｘｏ，Ｙｏ，Ｚｏ）のうち奥行成分Ｚｏを抽出し、抽出した奥行成分Ｚｏを距離情報Ｌとして拡大率算出部１４８に出力する。この距離情報Ｌは、視点情報が表す視点から被写体の各座標までの距離を表す。
【００６４】
撮影画像合成部１４５は、撮影画像合成部１３５と同様に合成座標情報算出部１４４から入力された合成座標情報に基づき、３Ｄ座標算出部１３３から入力された撮影装置毎の画像信号を前述の視点情報に対応する画像信号に変換する。
但し、撮影画像合成部１４５は、拡大率算出部１４８から入力された拡大率情報が表す拡大率Ｍに基づいて、入力された合成座標情報が表す座標値（Ｘｏ，Ｙｏ，Ｚｏ）をカメラ座標系における座標値（ｕｏ，ｖｏ）に、例えば式（６）を用いて変換する。
【００６５】
【数６】
【００６６】
式（６）は、式（５）で求められる座標値にさらに拡大率Ｍを乗じて座標値（ｕｏ，ｖｏ）を算出することを示す。即ち、被写体を表す画像が拡大率Ｍだけ拡大又は縮小されることを示す。
【００６７】
拡大率算出部１４８は、合成座標情報算出部１４４から入力された距離情報に基づいて、上述の被写体の拡大率を算出する。拡大率算出部１４８は、算出した拡大率Ｍを表す拡大率情報を撮影画像合成部１３５に出力する。
【００６８】
ここで、拡大率算出部１４８が行う処理についてより詳細に説明する。
図１３は、本実施形態に係る拡大率算出部の処理を表すフローチャートである。
（ステップＳ２０１）拡大率算出部１４８は、カメラパラメータ記憶部１３２からカメラパラメータ情報を読み出し、読み出したカメラパラメータ情報から撮影装置毎の位置情報を抽出する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）拡大率算出部１４８は、視点更新部１３８から入力された視点情報を用いて視点から基準画像信号が表す被写体の代表点（例えば、車両５の前面中央部）までの距離Ｌ０を算出する。この代表点は、上述の基準点と同一であってもよい。その後、ステップＳ２０３に進む。
【００６９】
（ステップＳ２０３）拡大率算出部１４８は、合成座標情報算出部１４４から入力された距離情報が表す距離Ｌが長くなるほど、小さくなるように、例えば式（７）を用いて拡大率Ｍを算出する。
【００７０】
【数７】
【００７１】
式（７）において、Ｋは予め定めた比例定数である。比例定数Ｋは、０よりも大きい実数、例えば１である。Ｍ０は予め定めた基準画像信号に対する拡大率である。Ｍ０は、０よりも大きい実数、例えば１である。その後、ステップＳ２０４に進む。
【００７２】
（ステップＳ２０４）拡大率算出部１４８は、算出した拡大率Ｍを表す拡大率情報を撮影画像合成部１４５に出力する。その後、処理を終了する。
【００７３】
このようにして、本実施形態では、撮影された画像信号が表す被写体の大きさを、視点からの距離に応じて拡縮することで、利用者に対する遠近感を調節することができる。
次に、式（７）を用いて拡大率Ｍを算出する原理について説明する。
図１４は、本実施形態に係る撮像部１２１−１等が備える光学系と被写体の位置関係の一例を示す概念図である。
図１４は、左端から右側へ順に撮像素子１２１２−１、レンズ１２１１−１、被写体６１、被写体６２を示す。被写体６２、６１からレンズ１２１１−１の中心部を通り撮像素子１２１２−１に達する一点破線は、レンズ１２１１−１の光軸を示す。被写体６１、６２の上下方向の大きさは同等である。被写体６１の下端からレンズ１２１１−１の中心部を通過する実線と撮像素子１２１２−１の交点６１１は、被写体６１の下端を表す画像の位置を示す。被写体６２の下端からレンズ１２１１−１の中心部を通過する実線と撮像素子１２１２−１の交点６１２は、被写体６２の下端を表す画像の位置を示す。即ち、レンズ１２１１−１からの距離が長い被写体を表す画像ほど小さくなり、レンズ１２１１−１からの距離が短い被写体を表す画像ほど大きくなる。
【００７４】
図１４において、レンズ１２１１−１から被写体６１の画像が結像する点までの距離はＢ１、レンズ１２１１−１から被写体６２の画像が結像する点までの距離はＢ２、レンズ１２１１−１から被写体６１までの距離はＬ１、レンズ１２１１−１から被写体６２までの距離はＬ２である。これより、被写体６１についての結像倍率ｍ１は、Ｂ１／Ｌ１となり、Ｂ１＝ｍ１・Ｌ１という関係がある。被写体６１についての結像倍率ｍ２は、Ｂ２／Ｌ２となり、Ｂ２＝ｍ２・Ｌ２という関係がある。レンズ１２１１−１からの距離が一定値（約３ｍ）以上の場合、経験的に距離は概ね一定値となり、Ｂ１、Ｂ２は概ね等しくなる。また、Ｂ１、Ｂ２は、焦点距離ｆと概ね等しくなる。距離Ｌ１から距離Ｌ２へ被写体を移動させた場合の拡大率Ｍは、結像倍率の比ｍ２／ｍ１で表されるから、拡大率Ｍは距離Ｌ２とＬ１の逆数比であるＬ１／Ｌ２となる。従って、拡大率算出部１４８は、式（７）に示されるように被写体の距離Ｌに反比例するように拡大率Ｍを算出することができる。
【００７５】
なお、拡大率算出部１４８は、式（７）の代わりに式（８）を用いて拡大率Ｍを算出してもよい。
【００７６】
【数８】
【００７７】
式（８）において、Ａは予め定めたべき乗係数を示す。Ａは０よりも大きい実数（例えば、１．５）である。Ａを１よりも大きい値にすることで実際の距離の変化よりも画像の大きさの変化を著しくすることができる。Ａを１よりも小さい値にすることで実際の距離の変化よりも画像の大きさの変化を緩やかにすることができる。
【００７８】
なお、式（７）、（８）において比例定数Ｋを変更することによって、画像の大きさを変化させることができる。Ｋを大きくするほど表される画像が大きくなり、Ｋを小さくするほど表される画像が小さくなる。
このように画像の大小を変化させることにより、利用者に対して注意を喚起する度合いを調節することができる。
【００７９】
次に、本実施形態に係る画像表示装置２３が生成した表示用画像信号の一例について説明する。基準画像信号と合成撮影画像信号が表す被写体の画像は、図１０、１１に示す例と同様である。但し、この例では、車両６の画像を表す合成撮影画像信号は、拡大率算出部１４８が算出した拡大率情報に基づいて縮小されるように合成されている。
図１５は、表示用画像信号のその他の例を示す概念図である。
図１５において、☆印は、視点を表し、視点を起点とする太い実線の矢印は、基準点の方向を示す矢印である。この矢印は図１１に示す例ほど下方に向いていないことを表す。即ち、図１０に示す視点の初期値からの変化が図１１に示す視点よりも少ないことを示す。図１５が示す合成撮影画像信号は、車両６の画像と車両５の画像が互いに離間していること、つまり、基準画像信号と合成撮影画像信号が干渉していないことを示す。
【００８０】
以上に説明したように、本実施形態では、視点から、入力された画像信号が表す被写体までの距離に基づいて拡大率を算出し、画像信号が表す被写体を算出した拡大率で拡大又は縮小するように合成撮影画像信号を生成する。
これにより、視点を大きく変更しなくとも、基準画像信号と合成撮影画像信号が干渉しないように、合成撮像画像信号が表す画像を拡縮することができる。また、利用者は、合成撮影画像信号が表す被写体が視点からの距離感をもって俯瞰できるようになる。
【００８１】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図１６は、本実施形態に係る画像表示システム３の構成を示す概略図である。
画像表示システム３は、撮影装置１２−１、画像表示装置３３を含んで構成される。
即ち、本実施形態に係る画像表示システム３は、図１に示す画像表示システム１において、撮影装置１２−１及び距離情報算出部１３１−１を１個ずつ備え、撮影装置１２−２〜１２−４と距離情報算出部１３１−２〜１３１−４を省略して構成される。撮影画像合成部１３５は、変換した撮影装置毎の画像信号を合成して合成撮影画像信号を生成する処理を省略し、変換した画像信号を合成撮影画像信号として干渉判定部１３７に出力する。
本実施形態では撮影装置１２−１を１個のみ備え、撮影される視野が限定される場合でも、撮影した画像信号と基準画像信号の被写体の画像が重複しないように表示用画像信号を生成することができる。
【００８２】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
図１７は、本実施形態に係る画像表示システム４の構成を示す概略図である。
本実施形態に係る画像表示システム４は、撮影装置１２−１、画像表示装置４３を含んで構成される。
即ち、本実施形態に係る画像表示システム４は、図１２に示す画像表示システム２において、撮影装置１２−１及び距離情報算出部１３１−１を１個ずつ備え、撮影装置１２−２〜１２−４と距離情報算出部１３１−２〜１３１−４を省略して構成される。撮影画像合成部１４５は、変換した撮影装置毎の画像信号を合成して合成撮影画像信号を生成する処理を省略し、変換した画像信号を合成撮影画像信号として干渉判定部１３７に出力する。
本実施形態では撮影装置１２−１を１個のみ備え撮影される視野が限定される場合でも、撮影した画像信号と基準画像信号の被写体の画像が重複しないように表示用画像信号を生成することができる。
【００８３】
上述の第２、４の実施形態は、合成座標情報算出部１４４から入力された距離情報に基づいて、被写体の拡大率を算出する拡大率算出部１４８を備え、撮影画像合成部１４５が算出した拡大率に基づいて被写体の画像を拡大又は縮小する例を示した。これらの実施形態では、拡大率算出部１４８の代わりに合成座標情報算出部１４４から入力された距離情報に基づいて、被写体の方位角を算出する角度算出部１５８（図示せず）を備え、撮影画像合成部１４５が算出した方位角に基づいて被写体の画像の方位を変更してもよい。
【００８４】
なお、上述した実施形態において画像表示装置１３、２３、３３又は４３は、画像処理ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ、電子制御装置）部（図示せず）を備えてもよい。画像処理ＥＣＵ部は、距離情報算出部１３１−１等又は合成座標情報算出部１４４から被写体の距離情報を逐次に入力され、被写体までの距離の計時変化に基づいて被写体との相対速度や被写体が自車両に到達するまでの時間（衝突時間）を算出してもよい。画像処理ＥＣＵ部は、算出した時間が予め定めた閾値よりも小さい場合に、当該被写体に接触又は衝突する危険が高いと判断する。このとき、画像処理ＥＣＵ部は、運転者に注意を喚起する情報を示す音声や画像を提示する。又は、画像処理ＥＣＵ部は、車両の動作機構（例えば、アクセル、ブレーキ、ステアリング等）に接触又は衝突を回避するための制御信号を出力してもよい。
【００８５】
上述した実施形態について、画像表示システム１、２、３又は４は、撮影装置１２−１等、距離情報算出部１３１−１等を、各１個又は各４個備える構成について説明したが、本実施形態ではこれには限られない。本実施形態では、任意の個数の撮影装置１２−１等及び距離情報算出部１３１−１等を備えていてもよい。
【００８６】
上述した実施形態において、基準画像記憶部１３６は、予め視点情報と対応付けて基準画像信号を記憶させておき、干渉判定部１３７は入力された視点情報に対応する基準画像信号を読み出す構成について説明したが、本実施形態ではこれには限られない。本実施形態では、基準画像記憶部１３６は、予め定めた単一の視点情報に対応する基準画像情報を記憶させておき、干渉判定部１３７は、記憶された基準画像情報を座標変換して入力された視点情報に対応する基準画像信号を生成してもよい。
【００８７】
上述した実施形態について、撮影画像合成部１３５又は１４５が合成した合成撮影画像信号に対して干渉判定部１３７が干渉するか否かの判定、視点更新部１３８が視点情報の更新、拡大率算出部１４８が拡大率の算出を一括して行う構成について説明した。本実施形態ではこれには限られない。本実施形態では、合成撮影画像信号が表す被写体の画像信号毎に、これらの機能部が各々の処理を行ってもよい。そのために撮影画像合成部１３５、１４５は、合成撮影画像信号に対して、例えばエッジ抽出を行って、被写体毎に表示される領域の画像信号を識別する被写体情報を生成する。この被写体情報を用いて各構成部が、被写体毎の画像信号を識別できるようにしてもよい。
【００８８】
上述の実施形態について、距離情報算出部１３１−１等は、撮影装置１２−１等から入力された画像信号間の視差に基づいて当該画像信号が表す全ての被写体の距離情報を算出することを前提としていたが、本実施形態ではこれには限られない。本実施形態では、当該画像信号が表す被写体のうち、少なくとも一部の被写体までの距離情報を別途の距離情報取得部（例えば、測距センサ、図示せず）が取得するようにしてもよい。その場合、３Ｄ座標算出部１３３は当該距離情報取得部から入力された当該被写体の距離情報を、当該被写体を表す画像信号に係る３次元座標情報の算出に用いてもよい。
【００８９】
上述の実施形態について、視点更新部１３８は、干渉判定部１３７が判定した合成撮影画像信号と基準画像信号が干渉する領域の面積が、さらに減少するように視点情報を更新してもよい。ここで、視点更新部１３８は、今回の視点情報に基づいて算出された干渉する領域の面積が、前記の視点情報に基づいて算出された干渉する領域の面積よりも増加した場合、今回視点情報を更新する更新量の正負を、前回から今回の更新量とは逆転させる。これにより、合成撮影画像信号と基準画像信号が干渉しても、干渉する領域の面積が減少させ、各被写体の画像が離間するように視点情報を定めることができる。
【００９０】
上述の実施形態において、基準画像合成部１３９は、干渉判定部１３７から入力された合成撮影画像信号と基準画像信号のいずれか一方が、他方の画像よりも強調されるように合成して、表示用画像信号を生成するようにしてもよい。例えば、基準画像合成部１３９は、合成撮影画像信号が表す被写体の画像の輝度を予め設定した輝度値だけ増加させてもよいし、他の部分の画像の輝度を予め設定した輝度値だけ減少させてもよい。基準画像合成部１３９は、その被写体の画像の特定の色成分（例えば、赤色Ｒ）の輝度値と、他の部分の画像の当該色成分の輝度値の差分が、予め設定した値よりも大きくなるように当該色成分値を変更してもよい。これにより、運転者は周囲環境を示す合成撮影画像信号と、必ずしも周囲環境を示さない基準画像信号を容易に識別することができる。
【００９１】
なお、上述した実施形態における画像表示装置１３、２３、３３又は４３の一部、例えば、距離情報算出部１３１−１等、３Ｄ座標算出部１３３、合成座標情報算出部１３４もしくは１４４、撮影画像合成部１３５もしくは１４５、干渉判定部１３７、視点更新部１３８、基準画像合成部１３９及び拡大率算出部１４８をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像表示装置１３、２３、３３及び４３に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像表示装置１３、２３、３３及び４３の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像表示装置２の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００９２】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００９３】
１、２、３、４…画像表示システム、１２−１〜１２−４…撮影装置、
１２１−１〜１２１−４、１２２−１〜１２２−４…撮像部、
１２１１−１〜１２１１−４…レンズ、１２２２−１〜１２２２−４…撮像素子、
１３、２３、３３、４３…画像表示装置、
１３１−１〜１３１−４…距離情報算出部、１３２…カメラパラメータ記憶部、
１３３…３Ｄ座標算出部、１３４、１４４…合成座標情報算出部、
１３５、１４５…撮影画像合成部、１３６…基準画像記憶部、１３７…干渉判定部、
１３８…視点更新部、１３９…基準画像合成部、１４８…拡大率算出部、
１５１…画像表示部
【特許請求の範囲】
【請求項１】
画像信号が表す被写体の座標情報を算出する座標情報算出部と、
前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する撮影画像合成部と、
前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する干渉判定部と、
前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、
前記視点を更新する視点更新部と、
を備えることを特徴とする画像表示装置。
【請求項２】
前記座標情報算出部は、前記視点として前記視点更新部が更新した視点情報が表す視点を用いて前記座標情報を算出することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記視点から前記画像信号が表す被写体までの距離に基づいて拡大率を算出する拡大率算出部を備え、
前記撮影画像合成部は、前記画像信号が表す被写体を前記拡大率算出部が算出した拡大率で拡大又は縮小するように前記合成撮影画像信号を生成すること、
を特徴とする請求項２に記載の画像表示装置。
【請求項４】
前記干渉判定部は、前記合成撮影画像信号が表す被写体を表示する座標と前記基準画像信号が表す被写体の画像を表示する座標が重複するか否かにより、前記合成撮影画像信号と前記基準画像信号が干渉するか否かを判断することを特徴とする請求項１ないし３のいずれか１項に記載の画像表示装置。
【請求項５】
画像を撮影する撮影装置と画像表示装置を備え、
前記画像表示装置は、
前記撮影装置から入力された画像信号が表す被写体の座標情報を算出する座標情報算出部と、
前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する撮影画像合成部と、
前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する干渉判定部と、
前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、
前記視点を更新する視点更新部と、
を備えることを特徴とする画像表示システム。
【請求項６】
前記撮影装置として複数個の撮影装置を互いに異なる位置に備え、
前記撮影画像合成部は、前記複数個の撮影装置の各々から入力された画像信号に基づいて前記合成撮影画像信号を生成することを特徴とする請求項５に記載の画像表示システム。
【請求項７】
画像表示装置における画像表示方法において、
前記画像表示装置が、画像信号が表す被写体の座標情報を算出する過程と、
前記画像表示装置が、前記算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する過程と、
前記画像表示装置が、前記生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する過程と、
前記画像表示装置が、前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、前記視点を更新する過程と
を有することを特徴とする画像表示方法。
【請求項８】
画像表示装置のコンピュータに、
画像信号が表す被写体の座標情報を算出する手順、
前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する手順、
前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する手順、
前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、
前記視点を更新する手順、
を実行させるための画像表示プログラム。
【請求項１】
画像信号が表す被写体の座標情報を算出する座標情報算出部と、
前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する撮影画像合成部と、
前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する干渉判定部と、
前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、
前記視点を更新する視点更新部と、
を備えることを特徴とする画像表示装置。
【請求項２】
前記座標情報算出部は、前記視点として前記視点更新部が更新した視点情報が表す視点を用いて前記座標情報を算出することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記視点から前記画像信号が表す被写体までの距離に基づいて拡大率を算出する拡大率算出部を備え、
前記撮影画像合成部は、前記画像信号が表す被写体を前記拡大率算出部が算出した拡大率で拡大又は縮小するように前記合成撮影画像信号を生成すること、
を特徴とする請求項２に記載の画像表示装置。
【請求項４】
前記干渉判定部は、前記合成撮影画像信号が表す被写体を表示する座標と前記基準画像信号が表す被写体の画像を表示する座標が重複するか否かにより、前記合成撮影画像信号と前記基準画像信号が干渉するか否かを判断することを特徴とする請求項１ないし３のいずれか１項に記載の画像表示装置。
【請求項５】
画像を撮影する撮影装置と画像表示装置を備え、
前記画像表示装置は、
前記撮影装置から入力された画像信号が表す被写体の座標情報を算出する座標情報算出部と、
前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する撮影画像合成部と、
前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する干渉判定部と、
前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、
前記視点を更新する視点更新部と、
を備えることを特徴とする画像表示システム。
【請求項６】
前記撮影装置として複数個の撮影装置を互いに異なる位置に備え、
前記撮影画像合成部は、前記複数個の撮影装置の各々から入力された画像信号に基づいて前記合成撮影画像信号を生成することを特徴とする請求項５に記載の画像表示システム。
【請求項７】
画像表示装置における画像表示方法において、
前記画像表示装置が、画像信号が表す被写体の座標情報を算出する過程と、
前記画像表示装置が、前記算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する過程と、
前記画像表示装置が、前記生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する過程と、
前記画像表示装置が、前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、前記視点を更新する過程と
を有することを特徴とする画像表示方法。
【請求項８】
画像表示装置のコンピュータに、
画像信号が表す被写体の座標情報を算出する手順、
前記座標情報算出部が算出した座標情報に基づいて前記入力された画像信号をある視点からの画像を表す合成撮影画像信号を生成する手順、
前記撮影画像合成部が生成した合成撮影画像信号と予め定めた被写体を表す基準画像信号とが干渉するか否かを判定する手順、
前記干渉判定部が前記合成撮影画像信号と前記基準画像信号が干渉すると判定した場合、
前記視点を更新する手順、
を実行させるための画像表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−７４３９３（Ｐ２０１３−７４３９３Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１０８１０（Ｐ２０１１−２１０８１０）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]