画像処理装置、画像表示システム、及び、画像処理方法
【課題】映像信号に含まれる画像に影響を与えること無く、映像信号の異常を検出することができる技術を提供する。
【解決手段】画像表示システムにおいては、画像結合回路３２の映像送信部３２ａから視点変換回路３３に映像信号が送信される。画像結合回路３２のデータ付加部３２ｂは、映像送信部３２ａが送信する映像信号のブランキング期間に対応する部分に所定の検査用データを付加する。一方で、視点変換回路３３の異常検出部３３ｂは、映像受信部３３ａが受信した映像信号に含まれる検査用データに基づいて、映像信号の異常を検出する。このため、映像信号に含まれる画像に影響を与えること無く、映像信号の異常を検出できる。
【解決手段】画像表示システムにおいては、画像結合回路３２の映像送信部３２ａから視点変換回路３３に映像信号が送信される。画像結合回路３２のデータ付加部３２ｂは、映像送信部３２ａが送信する映像信号のブランキング期間に対応する部分に所定の検査用データを付加する。一方で、視点変換回路３３の異常検出部３３ｂは、映像受信部３３ａが受信した映像信号に含まれる検査用データに基づいて、映像信号の異常を検出する。このため、映像信号に含まれる画像に影響を与えること無く、映像信号の異常を検出できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する技術に関する。
【背景技術】
【０００２】
一般に、画像処理には膨大な量の演算が必要となる。このため、画像処理装置では、それぞれが所定の画像処理を実行する複数の集積回路（ＡＳＩＣなど）を備えて、画像処理の高速化を図っていることが多い。画像処理装置においては、このような複数の集積回路などの部位同士の間で、画像を含む映像信号が送受信される。
【０００３】
なお、本明細書で説明する技術に関連する技術を開示した文献として特許文献１がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４０９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、映像信号の送受信を行う場合において、映像信号を伝達する信号線において断線や短絡などが生じていたときには、受信側の部位で受信される映像信号に異常が生じる可能性がある。その結果、映像信号に含まれる画像において、色相や彩度が変わるなどの欠陥が生じる。このような欠陥のある画像を表示装置で表示させると、画像を視認するユーザに誤解を与える可能性がある。
【０００６】
特に、車両の周辺を撮影して得られた画像を車両内の表示装置に表示するような画像表示システムの場合においては、このような欠陥のある画像が表示装置に表示されると、車両の周辺の様子をユーザが誤って判断し、ユーザが誤った運転を行う可能性がある。
【０００７】
これに対応するため、映像信号に周期的に含まれる画像の一部をカラーバー等の検査用画像に変更し、受信側の部位で受信された検査用画像の状態に基づいて映像信号の異常を検出する手法が考えられる。しかしながら、この手法を採用した場合には映像信号に周期的に含まれるべき画像の一部が欠落してしまい、動体の動きのスムーズさが失われるなど、画像を視認するユーザに違和感を与えることになる。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、映像信号に含まれる画像に影響を与えること無く、映像信号の異常を検出することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、映像信号を送信する送信手段と、前記送信手段から送信された前記映像信号を受信する受信手段と、前記受信手段で受信された前記映像信号に含まれる画像に基づく表示画像を表示装置に出力して表示させる出力手段と、前記送信手段が送信する前記映像信号のブランキング期間に対応する部分に検査用データを付加する付加手段と、前記受信手段で受信された前記映像信号に含まれる前記検査用データに基づいて、前記映像信号の異常を検出する検出手段と、を備えている。
【００１０】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記検出手段が前記異常を検出した場合は、前記表示画像に前記異常の発生を示す警告情報を含める警告手段、を備えている。
【００１１】
また、請求項３の発明は、請求項２に記載の画像処理装置において、前記送信手段は、車両の周辺を撮影するカメラで取得された画像を含む前記映像信号を送信し、前記出力手段は、前記車両に搭載された表示装置に前記表示画像を出力して表示させる。
【００１２】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記送信手段は、前記映像信号に含まれる複数の単位信号を複数の信号線を介してそれぞれ送信し、前記付加手段は、前記複数の単位信号それぞれに前記検査用データを付加する。
【００１３】
また、請求項５の発明は、請求項４に記載の画像処理装置において、前記付加手段は、前記複数の単位信号ごとに異なるタイミングで前記検査用データを付加する。
【００１４】
また、請求項６の発明は、画像を表示する画像表示システムであって、請求項１ないし５のいずれかに記載の画像処理装置と、前記画像処理装置から出力された表示画像を表示する表示装置と、を備えている。
【００１５】
また、請求項７の発明は、画像を処理する画像処理方法であって、（ａ）映像信号を送信する工程と、（ｂ）前記工程（ａ）で送信された前記映像信号を受信する工程と、（ｃ）前記工程（ｂ）で受信された前記映像信号に含まれる画像に基づく表示画像を表示装置に出力して表示させる工程と、（ｄ）前記工程（ａ）で送信する前記映像信号のブランキング期間に対応する部分に検査用データを付加する工程と、（ｅ）前記工程（ｂ）で受信された前記映像信号に含まれる前記検査用データに基づいて、前記映像信号の異常を検出する工程と、を備えている。
【発明の効果】
【００１６】
請求項１ないし７の発明によれば、映像信号のブランキング期間に対応する部分に検査用データを付加するため、映像信号に含まれる画像に影響を与えること無く、映像信号の異常を検出することができる。
【００１７】
また、特に請求項２の発明によれば、表示装置に表示される表示画像に警告情報が含まれているため、異常が発生したことを表示画像を視認するユーザに報知することができる。
【００１８】
また、特に請求項３の発明によれば、車両の周辺を示す画像を表示装置に表示させる場合に、映像信号に異常があったとしても異常の発生をユーザに報知できるため、安全性を維持することができる。
【００１９】
また、特に請求項４の発明によれば、複数の単位信号それぞれに検査用データを付加するため、複数の信号線のそれぞれの断線を検出できる。
【００２０】
また、特に請求項５の発明によれば、複数の単位信号ごとに異なるタイミングで検査用データを付加するため、信号線間の短絡を検出できる。
【図面の簡単な説明】
【００２１】
【図１】図１は、実施の形態で採用される技術の概要を説明するための図である。
【図２】図２は、水平同期信号と映像信号との関係を示す図である。
【図３】図３は、垂直同期信号と映像信号との関係を示す図である。
【図４】図４は、画像表示システムの構成を示す図である。
【図５】図５は、車載カメラが車両に配置される位置を示す図である。
【図６】図６は、画像処理部が備える機能を示す図である。
【図７】図７は、任意視点画像を生成する手法を説明するための図である。
【図８】図８は、画像結合回路の処理の流れを示す図である。
【図９】図９は、同期信号と映像信号との関係を示す図である。
【図１０】図１０は、単位信号に付与された検査用データを示す図である。
【図１１】図１１は、視点変換回路の処理の流れを示す図である。
【図１２】図１２は、警告情報が表示される様子を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２３】
＜１．技術概要＞
まず、本発明の実施の形態の具体的な構成を説明する前に、この実施の形態で採用される技術の概要を説明する。図１は、この技術の概要を説明するための図であり、画像表示システム２００の簡略構成を示している。
【００２４】
画像表示システム２００は、画像を処理する画像処理装置２０と、表示装置２１とを備えている。画像処理装置２０では表示画像が生成され、この表示画像が表示装置２１で表示される。
【００２５】
画像処理装置２０は、第１処理回路２２、第２処理回路２３及び表示画像生成部２４を備えている。第１処理回路２２と第２処理回路２３とはそれぞれ所定の画像処理を実行するＡＳＩＣなどの集積回路である。
【００２６】
画像処理装置２０で処理対象となる画像は、まず、第１処理回路２２で所定の画像処理がなされる。その後、画像は、第１処理回路２２から送信され、第２処理回路２３に受信される。そして、画像は、第２処理回路２３でも所定の画像処理がなされる。このようにして第１処理回路２２及び第２処理回路２３の双方で処理が行われた画像は、表示画像生成部２４が生成する表示画像に含められる。この表示画像は、表示画像生成部２４から表示装置２１に出力され、表示装置２１において表示される。
【００２７】
第１処理回路２２が備える映像送信部２２ａは、処理対象となる画像を周期的に含む映像信号を第２処理回路２２に送信する。そして、第２処理回路２３が備える映像受信部２３ａが、この映像信号を受信する。
【００２８】
第１処理回路２２から第２処理回路２３への映像信号の送信は、複数の信号線２９を介して行われる。映像信号に含まれる画像の各画素の値は、例えばＲＧＢで表現される。Ｒ、Ｇ及びＢのそれぞれは例えば８ビット（０〜２５５）で表現されることから、一の画素の値は２４ビット（８ビット×３）で表現される。映像信号は、この２４のビット情報に対応する２４の単位信号を含んでいる。そして、これら２４の単位信号が２４本の信号線２９を介して第１処理回路２２から第２処理回路２３にそれぞれ送信される。
【００２９】
この複数の信号線２９のいずれかにおいて、断線や短絡などの障害が生じることがある。このような障害が生じた場合、障害が生じていない信号線においては正しい単位信号が送信される一方で、障害が生じた信号線においては正しい単位信号が送信されない。このため、映像信号は第１処理回路２２から第２処理回路２３へ送信されるものの、この映像信号に含まれる画像は画素の値を示す一部のビット情報が抜け落ちた状態となる。その結果、映像信号に含まれる画像には、色相や彩度が変わるなどの欠陥が発生する。
【００３０】
このような映像信号の異常に対応するため、第１処理回路２２はデータ付加部２２ｂを備え、第２処理回路２３は異常検出部２３ｂ及び警告部２３ｃを備えている。
【００３１】
データ付加部２２ｂは、映像送信部２２ａが送信する映像信号に所定の検査用データを付加する。一方、異常検出部２３ｂは、映像受信部２３ａが受信した映像信号に含まれる検査用データに基づいて、映像信号の異常を検出する。具体的には、異常検出部２３ｂは、映像信号に含まれている検査用データが予め定められたものと一致するか否かを判定し、一致しなければ映像信号に異常があると判断する。
【００３２】
警告部２３ｃは、異常検出部２３ｂが映像信号の異常を検出した場合に、映像信号に含まれる画像に、異常の発生を示す文字などを含む警告情報を重畳する。これにより、この警告情報は表示画像に含まれた状態で、表示装置２１において表示される。その結果、表示装置２１を視認するユーザに異常の発生が報知される。
【００３３】
データ付加部２２ｂは、映像信号に含まれる画像に対してではなく、連続する画像の相互間など、映像信号のブランキング期間に対応する部分に検査用データを付加する。このブランキング期間を規定する同期信号は、映像信号とともに第１処理回路２２から第２処理回路２３へ送信される。
【００３４】
図２及び図３は、各種の同期信号と映像信号との関係を示す図である。図２は主に水平同期信号ＨＳと映像信号との関係を示し、図３は主に垂直同期信号ＶＳと映像信号との関係を示している。
【００３５】
図２に示すように、水平同期信号ＨＳは周期的に”Ｌ”となる信号であり、その周期は映像信号に含まれる画像の一の水平ラインＰＬの周期に対応している。また、ドットクロックＤＣは周期的なパルス信号であり、その周期は水平ラインＰＬの一の画素の周期に対応している。
【００３６】
図に示すように、水平同期信号ＨＳの周期である水平同期間隔ＨＷは、映像信号に水平ラインＰＬが存在する有効期間Ｈｂと、有効期間Ｈｂより前のブランキング期間Ｈａと、有効期間Ｈｂより後のブランキング期間Ｈｃとを合わせた期間となる。
【００３７】
有効期間Ｈｂは、水平イネーブル信号ＨＥが”Ｈ”の期間である。つまり、水平イネーブル信号ＨＥが”Ｌ”の期間がブランキング期間Ｈａ，Ｈｃとなる。映像信号のブランキング期間Ｈａ，Ｈｃに対応する部分は、連続する水平ラインＰＬの相互間に相当し、画像に係るデータ（水平ラインＰＬ）を含まない。
【００３８】
また、図３に示すように、垂直同期信号ＶＳは周期的に”Ｌ”となる信号であり、その周期は映像信号に含まれる一の画像Ｐの周期に対応している。
【００３９】
図に示すように、垂直同期信号ＶＳの周期である垂直同期間隔ＶＷは、映像信号に画像Ｐが存在する有効期間Ｖｂと、有効期間Ｖｂより前のブランキング期間Ｖａと、有効期間Ｖｂより後のブランキング期間Ｖｃとを合わせた期間となる。
【００４０】
有効期間Ｖｂは、垂直イネーブル信号ＶＥが”Ｈ”の期間である。つまり、垂直イネーブル信号ＶＥが”Ｌ”の期間がブランキング期間Ｖａ，Ｖｃとなる。映像信号のブランキング期間Ｖａ，Ｖｃに対応する部分は、連続する画像Ｐの相互間に相当し、画像Ｐに係るデータを含まない。
【００４１】
このように、映像信号のブランキング期間に対応する部分においては、画像Ｐに係るデータは含まれていない。データ付加部２２ｂは、このような映像信号のブランキング期間に対応する部分に検査用データＴＤを付加する（図３参照。）。これにより、映像信号における画像Ｐとは無関係な位置に検査用データを付加できる。その結果、映像信号に含まれる画像Ｐに影響を与えること無く、映像信号の異常を検出できることになる。
【００４２】
＜２．画像表示システムの構成＞
以下、上記で説明した技術を採用する画像表示システムについて具体的に説明する。図４は、本実施の形態に係る画像表示システム１００の構成を示す図である。この画像表示システム１００は、車両に搭載され、当該車両の周辺の様子を示す画像を生成して車室内に表示する機能を有している。以下、車両は自動車であるものとして説明する。
【００４３】
図４に示すように、画像表示システム１００は、ユーザに対して各種情報を表示する表示装置７と、表示装置７に表示する表示画像を生成する画像処理装置１０と、車両の周辺を撮影する撮影部５とを主に備えている。
【００４４】
表示装置７は、液晶ディスプレイなどを備えており、画像処理装置１０で生成された車両の周辺の様子を示す各種の表示画像を表示する。表示装置７は、ユーザから視認可能なように車両のインストルメントパネルなどに配置される。
【００４５】
画像処理装置１０は、例えば、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である。画像処理装置１０は、撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて、表示装置７に表示するための表示画像を生成する。画像処理装置１０は、表示装置７とは異なる車両の所定の位置に配置される。
【００４６】
撮影部５は、画像処理装置１０に電気的に接続され、画像処理装置１０からの信号に基づいて動作する。撮影部５は、複数の車載カメラ、具体的には、フロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３、及び、バックカメラ５４を備えている。各車載カメラ５１〜５４は、レンズと撮像素子とを備えており電子的に画像を取得する。これら４つの車載カメラ５１〜５４は、車両の前後左右にそれぞれ配置される。
【００４７】
図５は、車載カメラ５１〜５４が車両９に配置される位置を示す図である。図５に示すように、フロントカメラ５１は車両９の前端に設けられ、その光軸５１ａは平面視で車両９の前後方向に沿って車両９の前方に向けられている。バックカメラ５４は、車両９の後端に設けられ、その光軸５４ａは平面視で車両９の前後方向に沿って車両９の後方に向けられている。これらフロントカメラ５１やバックカメラ５４の取付位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００４８】
また、左サイドカメラ５２は左側のドアミラー９３に設けられ、その光軸５２ａは平面視で車両９の左右方向に沿って車両９の左側に向けられている。一方、右サイドカメラ５３は右側のドアミラー９３に設けられ、その光軸５３ａは平面視で車両９の左右方向に沿って車両９の右側に向けられている。
【００４９】
これらの車載カメラ５１〜５４のレンズとしては、魚眼レンズや超広角レンズなどが採用されている。このため、各車載カメラ５１〜５４が撮影可能な水平方向の角度θは１８０度以上となっており、４つの車載カメラ５１〜５４を利用することで車両９の全周囲の撮影が可能となっている。
【００５０】
図４に戻り、画像処理装置１０は、システム全体を制御する制御部１と、画像処理を実行する画像処理部３と、不揮発性メモリ４０と、信号受信部４３とを主に備えている。
【００５１】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータである。制御部１の各種の制御機能は、所定のプログラムに従ってＣＰＵが演算処理を行うことで実現される。制御部１は、例えば、画像処理に必要な各種のパラメータなどを画像処理部３に指示する。
【００５２】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、制御部１の機能を実現するプログラム（ファームウェア）や、車体サイズなどの車両９に固有の情報を示す車両データなどが記憶されている。
【００５３】
信号受信部４３は、車両９に設けられた各種の車載装置から信号を受信する。この信号受信部４３を介して、画像表示システム１００の外部のシフトセンサ８１からの信号が制御部１に入力される。信号受信部４３は、シフトセンサ８１から、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションを示す信号を受信する。
【００５４】
画像処理部３は、各種の画像処理を実行する機能を有している。画像処理部３は、撮影部５から撮影画像を取得し、撮影画像を処理して表示装置７に表示するための表示画像を生成する。
【００５５】
図６は、画像処理部３が備える機能を他の構成とともに示す図である。画像処理部３は、画像取得部３１、画像結合回路３２、視点変換回路３３、及び、表示画像生成部３４を備えている。これら画像取得部３１、画像結合回路３２、視点変換回路３３、及び、表示画像生成部３４は同一の基板上に配置される。
【００５６】
画像取得部３１は、撮影部５が備える４つの車載カメラ５１〜５４から撮影画像をそれぞれ取得する。画像取得部３１は、アナログ信号の撮影画像をデジタル信号の撮影画像に変換（Ａ／Ｄ変換）する。画像取得部３１は、４つのデジタル信号の撮影画像を画像結合回路３２に受け渡す。
【００５７】
画像結合回路３２は、ＡＳＩＣなどの集積回路であり、４つの撮影画像を結合して４つの撮影画像の全ての内容を含む一の結合画像を生成する。画像結合回路３２は、生成した結合画像を視点変換回路３３に受け渡す。
【００５８】
視点変換回路３３は、ＡＳＩＣなどの集積回路であり、画像結合回路３２で生成された結合画像を用いて任意の仮想視点からみた車両９の周辺の領域を示す任意視点画像を生成する。この任意視点画像を生成する手法については後述する。視点変換回路３３は、生成した任意視点画像を表示画像生成部３４に受け渡す。
【００５９】
表示画像生成部３４は、視点変換回路３３に生成された任意視点画像を含む、表示装置７の表示に用いる表示画像を生成する。そして、表示画像生成部３４は、生成した表示画像を表示装置７に出力する。これにより、任意視点画像を含む表示画像が表示装置７に表示される。
【００６０】
＜３．任意視点画像の生成＞
次に、任意の仮想視点からみた車両９の周辺の領域を示す任意視点画像を生成する手法について説明する。図７は、任意視点画像を生成する手法を説明するための図である。
【００６１】
まず、撮影部５のフロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３及びバックカメラ５４で同時期に撮影が行われる。これにより、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される（ステップＳ１）。これら４つの撮影画像Ｐ１〜Ｐ４には、車両９の全周囲を示す情報が含まれている。取得された４つの撮影画像Ｐ１〜Ｐ４は、画像結合回路３２に受け渡される。
【００６２】
次に、画像結合回路３２が、４つの撮影画像Ｐ１〜Ｐ４を結合する結合処理を実行する。これにより、４つの撮影画像Ｐ１〜Ｐ４を縦２×横２に配列して含む結合画像ＵＰが生成される（ステップＳ２）。この結合画像ＵＰは、画像結合回路３２から視点変換回路３３に受け渡される。
【００６３】
次に、視点変換回路３３が、結合画像ＵＰの各画素を、仮想的な三次元空間における立体曲面ＴＳに投影する（ステップＳ３）。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。結合画像ＵＰに含まれる各画素の位置と、この立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と結合画像ＵＰに含まれる各画素の値とに基づいて決定できる。
【００６４】
結合画像ＵＰの各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５４の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶された車両データに含まれている。
【００６５】
また、視点変換回路３３は、この車両データに含まれる車体の形状やサイズを利用し、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００６６】
さらに、視点変換回路３３は、立体曲面ＴＳが存在する三次元空間に対して、制御部１からの指示に基づいて仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００６７】
そして、視点変換回路３３は、設定した仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域を画像として切り出す。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。また、視点変換回路３３は、設定した仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両９の像を、切り出した画像に対して重畳する。これにより、視点変換回路３３は、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す任意視点画像ＣＰを生成する（ステップＳ４，Ｓ５）。
【００６８】
例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、視点変換回路３３は、車両９の略直上から車両９を見下ろすように車両９及び車両９の周辺の領域を示す任意視点画像ＣＰａを生成する（ステップＳ４）。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、視点変換回路３３は、車両９の左後方からその周辺全体を見渡すように車両９及び車両９の周辺の領域を示す任意視点画像ＣＰｂを生成する（ステップＳ５）。
【００６９】
画像表示システム１００では、このような画像処理部の機能を利用することで車両９の周辺の任意の仮想視点からみた任意視点画像を生成し、その任意視点画像を含む表示画像を表示装置７で表示することができる。
【００７０】
＜４．画像表示システムの動作＞
次に、画像表示システム１００の動作の概要について説明する。画像表示システム１００は、所定の周期で任意視点画像を生成し、任意視点画像を含む表示画像を表示装置７で表示する。画像表示システム１００のユーザ（代表的にはドライバ）は、この表示装置７に表示された表示画像を視認することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。
【００７１】
任意視点画像の仮想視点ＶＰは、シフトセンサ８１から受信したシフトポジションを示す信号に基づいて定められる。例えば、シフトポジションが”Ｐ（駐車）”あるいは”Ｄ（前進）”の場合は、仮想視点ＶＰが車両９の位置の略中央の直上に設定され、車両９の全体を俯瞰するような任意視点画像ＣＰが生成される。一方、シフトポジションが”Ｒ（後退）”の場合は、仮想視点ＶＰが車両９の後方に向けて設定され、車両９が後退する方向の様子を示す任意視点画像ＣＰが生成される。
【００７２】
＜５．映像信号の異常検出＞
このように任意視点画像ＣＰを生成する際には、前述したように、画像結合回路３２が結合画像ＵＰを生成し、この結合画像ＵＰを用いて視点変換回路３３が任意視点画像ＣＰを生成する。この際、画像結合回路３２は所定の周期で結合画像ＵＰを含む映像信号を送信し、視点変換回路３３がこの映像信号を受信する。
【００７３】
画像結合回路３２から視点変換回路３３への映像信号の送信は、複数の信号線３９を介して行われる。これら信号線３９のいずれかにおいて断線や短絡などの障害が生じると、映像信号に含まれる結合画像ＵＰに色相や彩度が変わるなどの欠陥が発生する。その結果、結合画像ＵＰを用いて生成される任意視点画像ＣＰ、及び、表示画像においても欠陥が生じることになる。このような欠陥のある表示画像が表示装置７に表示されると、車両９の周辺の様子をユーザが誤って判断し、ユーザが誤った運転を行う可能性がある。
【００７４】
このため、画像表示システム１００では、画像結合回路３２から視点変換回路３３への映像信号の送信における異常を検出するために、図１から図３を用いて説明した技術を採用している。
【００７５】
図６に示す画像結合回路３２及び視点変換回路３３は、図１に示す第１処理回路２２及び第２処理回路２３にそれぞれ対応する。そして、画像結合回路３２が備える映像送信部３２ａ及びデータ付加部３２ｂは、図１の第１処理回路２２が備える映像送信部２２ａ及びデータ付加部２２ｂにそれぞれ対応する。また、視点変換回路３３が備える映像受信部３３ａ、異常検出部３３ｂ及び警告部３３ｃは、図１の第２処理回路２３が備える映像受信部２３ａ、異常検出部２３ｂ及び警告部２３ｃにそれぞれ対応する。さらに、図６に示す表示画像生成部３４及び表示装置７は、図１に示す表示画像生成部２４及び表示装置２１にそれぞれ対応する。
【００７６】
図８は、画像結合回路３２の処理の流れを示す図である。画像結合回路３２は、この処理を所定の周期（表示画像の表示周期と同一周期。例えば、１／３０秒）で繰り返す。
【００７７】
まず、画像結合回路３２は、画像取得部３１から４つの撮影画像Ｐ１〜Ｐ４を受け取る（ステップＳ１１）。次に、画像結合回路３２は、４つの撮影画像Ｐ１〜Ｐ４を結合して一の結合画像ＵＰを生成する（ステップＳ１２）。
【００７８】
次に、画像結合回路３２の映像送信部３２ａが、この結合画像ＵＰを含む映像信号を視点変換回路３３に向けて送信する。この際、データ付加部３２ｂは、映像送信部３２ａが送信する映像信号のブランキング期間に対応する部分に所定の検査用データを付加する（ステップＳ１３）。
【００７９】
図９は、同期信号と映像信号との関係を示す図である。図９においては、垂直同期信号ＶＳを縦方向、水平同期信号ＨＳを横方向に示すことで、映像信号の一周期に含まれる情報全体を２次元の領域（以下、「全体領域」という。）ＳＡとして示している。この全体領域ＳＡのうち、垂直イネーブル信号ＶＥ及び水平イネーブル信号ＨＥの双方が”Ｈ”の期間に対応する領域（以下、「有効領域」という。）ＰＡに、一の結合画像ＵＰが含まれる。
【００８０】
また、全体領域ＳＡのうち、有効領域ＰＡの外側はブランキング期間に対応する領域（以下、「ブランキング領域」という。）ＢＡである。このブランキング領域ＢＡのいずれかに検査用データＴＤが付加される。すなわち、検査用データＴＤは、映像信号における結合画像ＵＰとは無関係な位置に付加される。なお、図９では、垂直イネーブル信号ＶＥ及び水平イネーブル信号ＨＥの双方が”Ｌ”の期間に対応する領域に検査用データＴＤを付加しているが、ブランキング領域ＢＡのいずれに検査用データＴＤを付加してもよい。
【００８１】
本実施の形態においても、結合画像ＵＰの各画素の値は例えば２４ビット（Ｒ：８ビット、Ｇ：８ビット、Ｂ：８ビット）で表現される。このため、映像信号は各ビット情報に対応する２４の単位信号を含んでおり、これら２４の単位信号が２４本の信号線３９を介して画像結合回路３２から視点変換回路３３に送信される。データ付加部３２ｂは、この２４の単位信号のそれぞれに検査用データＴＤを付加する。
【００８２】
図１０は、２４の単位信号のうちのＲに対応する８つの単位信号に付与された検査用データＴＤを示す図である。図に示すように、８つの単位信号Ｒ１〜Ｒ８のそれぞれには所定のタイミングで”Ｈ”となる矩形波がある。この矩形波が検査用データＴＤとなる。このように複数の単位信号それぞれに検査用データＴＤを付加することで、複数の信号線３９のいずれかのみに断線が生じていたとしても、異常を検出することができる。
【００８３】
また、図に示すように、検査用データＴＤは、単位信号Ｒ１〜Ｒ８ごとに異なるタイミングで付加されている。すなわち、ドットクロックＤＣの周期ごとに、異なる単位信号Ｒ１〜Ｒ８に検査用データＴＤが表れるようになっている。このように、複数の単位信号ごとに異なるタイミングで検査用データＴＤを付与することで、あるタイミングでは一の単位信号のみに検査用データＴＤが表れることになる。したがって、複数の信号線３９のいずれかの間で短絡が生じていたとしても、異常を検出することができる。
【００８４】
図１１は、視点変換回路３３の処理の流れを示す図である。視点変換回路３３は、この処理を所定の周期（表示画像の表示周期と同一周期。例えば、１／３０秒）で繰り返す。
【００８５】
まず、映像受信部３３ａが、画像結合回路３２から送信された映像信号を受信する（ステップＳ２１）。次に、視点変換回路３３は、映像受信部３３ａが受信した映像信号に含まれる結合画像ＵＰに基づいて任意視点画像ＣＰを生成する（ステップＳ２２）。
【００８６】
一方で、視点変換回路３３の異常検出部３３ｂは、映像受信部３３ａが受信した映像信号に含まれる検査用データＴＤに基づいて、映像信号の異常を検出する（ステップＳ２３）。具体的には、異常検出部３３ｂは、映像信号に含まれる複数の単位信号それぞれを参照し、所定のタイミングで検査用データＴＤ（矩形波）が含まれているか否かを判定する。そして、異常検出部３３ｂは、複数の単位信号のいずれかに関して検査用データＴＤが所定のタイミングで含まれていない、あるいは、所定のタイミング以外のタイミングで含まれている場合は、映像信号に異常があると判定する。
【００８７】
異常検出部３３ｂが映像信号を正常と判定した場合は（ステップＳ２３にてＮｏ）、任意視点画像ＣＰはそのまま表示画像生成部２４に受け渡される（ステップＳ２５）。
【００８８】
一方、異常検出部３３ｂが映像信号を異常と判定した場合は（ステップＳ２３にてＹｅｓ）、任意視点画像ＣＰに異常の発生を示す文字などを含む警告情報を警告部３３ｃが重畳する（ステップＳ２４）。そして、この警告情報が重畳された任意視点画像ＣＰが表示画像生成部２４に受け渡される（ステップＳ２５）。これにより、表示画像生成部２４が生成する表示画像は、警告情報が重畳された任意視点画像ＣＰを含むことになる。
【００８９】
したがって、図１２に示すように、警告情報ＤＢは表示画像ＤＰに含まれた状態で、表示装置７において表示される。その結果、表示装置７を視認するユーザに異常の発生が報知されることから、ユーザが誤った運転を行うことを防止でき、安全性を維持できる。
【００９０】
以上説明したように、画像表示システム１００においては、画像結合回路３２のデータ付加部３２ｂが、映像送信部３２ａが送信する映像信号のブランキング期間に対応する部分に所定の検査用データＴＤを付加する。一方で、視点変換回路３３の異常検出部３３ｂが、映像信号に含まれる検査用データＴＤに基づいて、映像信号の異常を検出する。このため、映像信号に含まれる結合画像ＵＰに影響を与えること無く、映像信号の異常を検出できる。したがって、表示装置７に表示される表示画像に影響が及ばないため、車両９の周辺にある動体の動きのスムーズさが失われるなどの違和感をユーザに与えることが無い。その結果、ユーザは車両９の周辺の様子を的確に判断することができる。
【００９１】
＜６．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【００９２】
上記実施の形態では、表示画像に異常の発生を示す警告情報を含めるための警告部は視点変換回路３３（第２処理回路２３）に設けられているが、表示画像生成部３４（２４）に設けられていてもよい。この場合、警告部は、視点変換回路３３（第２処理回路２３）の異常検出部３３ｂ（２３ｂ）から異常が発生したことを示す信号を受信し、この信号に応答して表示画像に直接的に警告情報を含めるようにすればよい。
【００９３】
また、上記実施の形態では、映像信号の異常を検出した場合であっても、車両９の周辺の様子を示す表示画像ＤＰが表示装置７に表示されていた。これに対して、映像信号の異常を検出した場合は、全領域が同一色（例えば、黒）の表示画像を表示装置７に表示して、車両９の周辺の様子を示さないようにしてもよい。また、映像信号の異常を検出した場合は、警告情報を表示せずに、この全領域が同一色の表示画像のみを表示装置７に表示するようにしてもよい。
【００９４】
また、上記実施の形態では、画像結合回路３２から視点変換回路３３への映像信号を送信する際に図１から図３を用いて説明した技術を採用していたが、他の部位間で映像信号を送信する際にも当該技術を採用してよい。例えば、撮影部５から画像処理部３へ映像信号を送信する場合、視点変換回路３３から表示画像生成部３４へ映像信号を送信する場合、あるいは、表示画像生成部３４から表示装置７へ映像信号を送信する場合などに当該技術を採用できる。
【００９５】
また、上記実施の形態では、車両に搭載される画像表示システム１００について具体的に説明したが、画像処理機能を有する部位間で映像信号を送受信するような画像処理装置であればどのようなものであっても、上記で説明した技術を採用することが可能である。
【符号の説明】
【００９６】
７ 表示装置
１０ 画像処理装置
３２ 画像結合回路
３２ａ 映像送信部
３２ｂ データ付加部
３３ 視点変換回路
３３ａ 映像受信部
３３ｂ 異常検出部
３３ｃ 警告部
３４ 表示画像生成部
ＴＤ 検査用データ
ＤＢ 警告情報
ＵＰ 結合画像
ＤＰ 表示画像
【技術分野】
【０００１】
本発明は、画像を処理する技術に関する。
【背景技術】
【０００２】
一般に、画像処理には膨大な量の演算が必要となる。このため、画像処理装置では、それぞれが所定の画像処理を実行する複数の集積回路（ＡＳＩＣなど）を備えて、画像処理の高速化を図っていることが多い。画像処理装置においては、このような複数の集積回路などの部位同士の間で、画像を含む映像信号が送受信される。
【０００３】
なお、本明細書で説明する技術に関連する技術を開示した文献として特許文献１がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４０９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、映像信号の送受信を行う場合において、映像信号を伝達する信号線において断線や短絡などが生じていたときには、受信側の部位で受信される映像信号に異常が生じる可能性がある。その結果、映像信号に含まれる画像において、色相や彩度が変わるなどの欠陥が生じる。このような欠陥のある画像を表示装置で表示させると、画像を視認するユーザに誤解を与える可能性がある。
【０００６】
特に、車両の周辺を撮影して得られた画像を車両内の表示装置に表示するような画像表示システムの場合においては、このような欠陥のある画像が表示装置に表示されると、車両の周辺の様子をユーザが誤って判断し、ユーザが誤った運転を行う可能性がある。
【０００７】
これに対応するため、映像信号に周期的に含まれる画像の一部をカラーバー等の検査用画像に変更し、受信側の部位で受信された検査用画像の状態に基づいて映像信号の異常を検出する手法が考えられる。しかしながら、この手法を採用した場合には映像信号に周期的に含まれるべき画像の一部が欠落してしまい、動体の動きのスムーズさが失われるなど、画像を視認するユーザに違和感を与えることになる。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、映像信号に含まれる画像に影響を与えること無く、映像信号の異常を検出することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、映像信号を送信する送信手段と、前記送信手段から送信された前記映像信号を受信する受信手段と、前記受信手段で受信された前記映像信号に含まれる画像に基づく表示画像を表示装置に出力して表示させる出力手段と、前記送信手段が送信する前記映像信号のブランキング期間に対応する部分に検査用データを付加する付加手段と、前記受信手段で受信された前記映像信号に含まれる前記検査用データに基づいて、前記映像信号の異常を検出する検出手段と、を備えている。
【００１０】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記検出手段が前記異常を検出した場合は、前記表示画像に前記異常の発生を示す警告情報を含める警告手段、を備えている。
【００１１】
また、請求項３の発明は、請求項２に記載の画像処理装置において、前記送信手段は、車両の周辺を撮影するカメラで取得された画像を含む前記映像信号を送信し、前記出力手段は、前記車両に搭載された表示装置に前記表示画像を出力して表示させる。
【００１２】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記送信手段は、前記映像信号に含まれる複数の単位信号を複数の信号線を介してそれぞれ送信し、前記付加手段は、前記複数の単位信号それぞれに前記検査用データを付加する。
【００１３】
また、請求項５の発明は、請求項４に記載の画像処理装置において、前記付加手段は、前記複数の単位信号ごとに異なるタイミングで前記検査用データを付加する。
【００１４】
また、請求項６の発明は、画像を表示する画像表示システムであって、請求項１ないし５のいずれかに記載の画像処理装置と、前記画像処理装置から出力された表示画像を表示する表示装置と、を備えている。
【００１５】
また、請求項７の発明は、画像を処理する画像処理方法であって、（ａ）映像信号を送信する工程と、（ｂ）前記工程（ａ）で送信された前記映像信号を受信する工程と、（ｃ）前記工程（ｂ）で受信された前記映像信号に含まれる画像に基づく表示画像を表示装置に出力して表示させる工程と、（ｄ）前記工程（ａ）で送信する前記映像信号のブランキング期間に対応する部分に検査用データを付加する工程と、（ｅ）前記工程（ｂ）で受信された前記映像信号に含まれる前記検査用データに基づいて、前記映像信号の異常を検出する工程と、を備えている。
【発明の効果】
【００１６】
請求項１ないし７の発明によれば、映像信号のブランキング期間に対応する部分に検査用データを付加するため、映像信号に含まれる画像に影響を与えること無く、映像信号の異常を検出することができる。
【００１７】
また、特に請求項２の発明によれば、表示装置に表示される表示画像に警告情報が含まれているため、異常が発生したことを表示画像を視認するユーザに報知することができる。
【００１８】
また、特に請求項３の発明によれば、車両の周辺を示す画像を表示装置に表示させる場合に、映像信号に異常があったとしても異常の発生をユーザに報知できるため、安全性を維持することができる。
【００１９】
また、特に請求項４の発明によれば、複数の単位信号それぞれに検査用データを付加するため、複数の信号線のそれぞれの断線を検出できる。
【００２０】
また、特に請求項５の発明によれば、複数の単位信号ごとに異なるタイミングで検査用データを付加するため、信号線間の短絡を検出できる。
【図面の簡単な説明】
【００２１】
【図１】図１は、実施の形態で採用される技術の概要を説明するための図である。
【図２】図２は、水平同期信号と映像信号との関係を示す図である。
【図３】図３は、垂直同期信号と映像信号との関係を示す図である。
【図４】図４は、画像表示システムの構成を示す図である。
【図５】図５は、車載カメラが車両に配置される位置を示す図である。
【図６】図６は、画像処理部が備える機能を示す図である。
【図７】図７は、任意視点画像を生成する手法を説明するための図である。
【図８】図８は、画像結合回路の処理の流れを示す図である。
【図９】図９は、同期信号と映像信号との関係を示す図である。
【図１０】図１０は、単位信号に付与された検査用データを示す図である。
【図１１】図１１は、視点変換回路の処理の流れを示す図である。
【図１２】図１２は、警告情報が表示される様子を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２３】
＜１．技術概要＞
まず、本発明の実施の形態の具体的な構成を説明する前に、この実施の形態で採用される技術の概要を説明する。図１は、この技術の概要を説明するための図であり、画像表示システム２００の簡略構成を示している。
【００２４】
画像表示システム２００は、画像を処理する画像処理装置２０と、表示装置２１とを備えている。画像処理装置２０では表示画像が生成され、この表示画像が表示装置２１で表示される。
【００２５】
画像処理装置２０は、第１処理回路２２、第２処理回路２３及び表示画像生成部２４を備えている。第１処理回路２２と第２処理回路２３とはそれぞれ所定の画像処理を実行するＡＳＩＣなどの集積回路である。
【００２６】
画像処理装置２０で処理対象となる画像は、まず、第１処理回路２２で所定の画像処理がなされる。その後、画像は、第１処理回路２２から送信され、第２処理回路２３に受信される。そして、画像は、第２処理回路２３でも所定の画像処理がなされる。このようにして第１処理回路２２及び第２処理回路２３の双方で処理が行われた画像は、表示画像生成部２４が生成する表示画像に含められる。この表示画像は、表示画像生成部２４から表示装置２１に出力され、表示装置２１において表示される。
【００２７】
第１処理回路２２が備える映像送信部２２ａは、処理対象となる画像を周期的に含む映像信号を第２処理回路２２に送信する。そして、第２処理回路２３が備える映像受信部２３ａが、この映像信号を受信する。
【００２８】
第１処理回路２２から第２処理回路２３への映像信号の送信は、複数の信号線２９を介して行われる。映像信号に含まれる画像の各画素の値は、例えばＲＧＢで表現される。Ｒ、Ｇ及びＢのそれぞれは例えば８ビット（０〜２５５）で表現されることから、一の画素の値は２４ビット（８ビット×３）で表現される。映像信号は、この２４のビット情報に対応する２４の単位信号を含んでいる。そして、これら２４の単位信号が２４本の信号線２９を介して第１処理回路２２から第２処理回路２３にそれぞれ送信される。
【００２９】
この複数の信号線２９のいずれかにおいて、断線や短絡などの障害が生じることがある。このような障害が生じた場合、障害が生じていない信号線においては正しい単位信号が送信される一方で、障害が生じた信号線においては正しい単位信号が送信されない。このため、映像信号は第１処理回路２２から第２処理回路２３へ送信されるものの、この映像信号に含まれる画像は画素の値を示す一部のビット情報が抜け落ちた状態となる。その結果、映像信号に含まれる画像には、色相や彩度が変わるなどの欠陥が発生する。
【００３０】
このような映像信号の異常に対応するため、第１処理回路２２はデータ付加部２２ｂを備え、第２処理回路２３は異常検出部２３ｂ及び警告部２３ｃを備えている。
【００３１】
データ付加部２２ｂは、映像送信部２２ａが送信する映像信号に所定の検査用データを付加する。一方、異常検出部２３ｂは、映像受信部２３ａが受信した映像信号に含まれる検査用データに基づいて、映像信号の異常を検出する。具体的には、異常検出部２３ｂは、映像信号に含まれている検査用データが予め定められたものと一致するか否かを判定し、一致しなければ映像信号に異常があると判断する。
【００３２】
警告部２３ｃは、異常検出部２３ｂが映像信号の異常を検出した場合に、映像信号に含まれる画像に、異常の発生を示す文字などを含む警告情報を重畳する。これにより、この警告情報は表示画像に含まれた状態で、表示装置２１において表示される。その結果、表示装置２１を視認するユーザに異常の発生が報知される。
【００３３】
データ付加部２２ｂは、映像信号に含まれる画像に対してではなく、連続する画像の相互間など、映像信号のブランキング期間に対応する部分に検査用データを付加する。このブランキング期間を規定する同期信号は、映像信号とともに第１処理回路２２から第２処理回路２３へ送信される。
【００３４】
図２及び図３は、各種の同期信号と映像信号との関係を示す図である。図２は主に水平同期信号ＨＳと映像信号との関係を示し、図３は主に垂直同期信号ＶＳと映像信号との関係を示している。
【００３５】
図２に示すように、水平同期信号ＨＳは周期的に”Ｌ”となる信号であり、その周期は映像信号に含まれる画像の一の水平ラインＰＬの周期に対応している。また、ドットクロックＤＣは周期的なパルス信号であり、その周期は水平ラインＰＬの一の画素の周期に対応している。
【００３６】
図に示すように、水平同期信号ＨＳの周期である水平同期間隔ＨＷは、映像信号に水平ラインＰＬが存在する有効期間Ｈｂと、有効期間Ｈｂより前のブランキング期間Ｈａと、有効期間Ｈｂより後のブランキング期間Ｈｃとを合わせた期間となる。
【００３７】
有効期間Ｈｂは、水平イネーブル信号ＨＥが”Ｈ”の期間である。つまり、水平イネーブル信号ＨＥが”Ｌ”の期間がブランキング期間Ｈａ，Ｈｃとなる。映像信号のブランキング期間Ｈａ，Ｈｃに対応する部分は、連続する水平ラインＰＬの相互間に相当し、画像に係るデータ（水平ラインＰＬ）を含まない。
【００３８】
また、図３に示すように、垂直同期信号ＶＳは周期的に”Ｌ”となる信号であり、その周期は映像信号に含まれる一の画像Ｐの周期に対応している。
【００３９】
図に示すように、垂直同期信号ＶＳの周期である垂直同期間隔ＶＷは、映像信号に画像Ｐが存在する有効期間Ｖｂと、有効期間Ｖｂより前のブランキング期間Ｖａと、有効期間Ｖｂより後のブランキング期間Ｖｃとを合わせた期間となる。
【００４０】
有効期間Ｖｂは、垂直イネーブル信号ＶＥが”Ｈ”の期間である。つまり、垂直イネーブル信号ＶＥが”Ｌ”の期間がブランキング期間Ｖａ，Ｖｃとなる。映像信号のブランキング期間Ｖａ，Ｖｃに対応する部分は、連続する画像Ｐの相互間に相当し、画像Ｐに係るデータを含まない。
【００４１】
このように、映像信号のブランキング期間に対応する部分においては、画像Ｐに係るデータは含まれていない。データ付加部２２ｂは、このような映像信号のブランキング期間に対応する部分に検査用データＴＤを付加する（図３参照。）。これにより、映像信号における画像Ｐとは無関係な位置に検査用データを付加できる。その結果、映像信号に含まれる画像Ｐに影響を与えること無く、映像信号の異常を検出できることになる。
【００４２】
＜２．画像表示システムの構成＞
以下、上記で説明した技術を採用する画像表示システムについて具体的に説明する。図４は、本実施の形態に係る画像表示システム１００の構成を示す図である。この画像表示システム１００は、車両に搭載され、当該車両の周辺の様子を示す画像を生成して車室内に表示する機能を有している。以下、車両は自動車であるものとして説明する。
【００４３】
図４に示すように、画像表示システム１００は、ユーザに対して各種情報を表示する表示装置７と、表示装置７に表示する表示画像を生成する画像処理装置１０と、車両の周辺を撮影する撮影部５とを主に備えている。
【００４４】
表示装置７は、液晶ディスプレイなどを備えており、画像処理装置１０で生成された車両の周辺の様子を示す各種の表示画像を表示する。表示装置７は、ユーザから視認可能なように車両のインストルメントパネルなどに配置される。
【００４５】
画像処理装置１０は、例えば、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である。画像処理装置１０は、撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて、表示装置７に表示するための表示画像を生成する。画像処理装置１０は、表示装置７とは異なる車両の所定の位置に配置される。
【００４６】
撮影部５は、画像処理装置１０に電気的に接続され、画像処理装置１０からの信号に基づいて動作する。撮影部５は、複数の車載カメラ、具体的には、フロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３、及び、バックカメラ５４を備えている。各車載カメラ５１〜５４は、レンズと撮像素子とを備えており電子的に画像を取得する。これら４つの車載カメラ５１〜５４は、車両の前後左右にそれぞれ配置される。
【００４７】
図５は、車載カメラ５１〜５４が車両９に配置される位置を示す図である。図５に示すように、フロントカメラ５１は車両９の前端に設けられ、その光軸５１ａは平面視で車両９の前後方向に沿って車両９の前方に向けられている。バックカメラ５４は、車両９の後端に設けられ、その光軸５４ａは平面視で車両９の前後方向に沿って車両９の後方に向けられている。これらフロントカメラ５１やバックカメラ５４の取付位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００４８】
また、左サイドカメラ５２は左側のドアミラー９３に設けられ、その光軸５２ａは平面視で車両９の左右方向に沿って車両９の左側に向けられている。一方、右サイドカメラ５３は右側のドアミラー９３に設けられ、その光軸５３ａは平面視で車両９の左右方向に沿って車両９の右側に向けられている。
【００４９】
これらの車載カメラ５１〜５４のレンズとしては、魚眼レンズや超広角レンズなどが採用されている。このため、各車載カメラ５１〜５４が撮影可能な水平方向の角度θは１８０度以上となっており、４つの車載カメラ５１〜５４を利用することで車両９の全周囲の撮影が可能となっている。
【００５０】
図４に戻り、画像処理装置１０は、システム全体を制御する制御部１と、画像処理を実行する画像処理部３と、不揮発性メモリ４０と、信号受信部４３とを主に備えている。
【００５１】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータである。制御部１の各種の制御機能は、所定のプログラムに従ってＣＰＵが演算処理を行うことで実現される。制御部１は、例えば、画像処理に必要な各種のパラメータなどを画像処理部３に指示する。
【００５２】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、制御部１の機能を実現するプログラム（ファームウェア）や、車体サイズなどの車両９に固有の情報を示す車両データなどが記憶されている。
【００５３】
信号受信部４３は、車両９に設けられた各種の車載装置から信号を受信する。この信号受信部４３を介して、画像表示システム１００の外部のシフトセンサ８１からの信号が制御部１に入力される。信号受信部４３は、シフトセンサ８１から、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションを示す信号を受信する。
【００５４】
画像処理部３は、各種の画像処理を実行する機能を有している。画像処理部３は、撮影部５から撮影画像を取得し、撮影画像を処理して表示装置７に表示するための表示画像を生成する。
【００５５】
図６は、画像処理部３が備える機能を他の構成とともに示す図である。画像処理部３は、画像取得部３１、画像結合回路３２、視点変換回路３３、及び、表示画像生成部３４を備えている。これら画像取得部３１、画像結合回路３２、視点変換回路３３、及び、表示画像生成部３４は同一の基板上に配置される。
【００５６】
画像取得部３１は、撮影部５が備える４つの車載カメラ５１〜５４から撮影画像をそれぞれ取得する。画像取得部３１は、アナログ信号の撮影画像をデジタル信号の撮影画像に変換（Ａ／Ｄ変換）する。画像取得部３１は、４つのデジタル信号の撮影画像を画像結合回路３２に受け渡す。
【００５７】
画像結合回路３２は、ＡＳＩＣなどの集積回路であり、４つの撮影画像を結合して４つの撮影画像の全ての内容を含む一の結合画像を生成する。画像結合回路３２は、生成した結合画像を視点変換回路３３に受け渡す。
【００５８】
視点変換回路３３は、ＡＳＩＣなどの集積回路であり、画像結合回路３２で生成された結合画像を用いて任意の仮想視点からみた車両９の周辺の領域を示す任意視点画像を生成する。この任意視点画像を生成する手法については後述する。視点変換回路３３は、生成した任意視点画像を表示画像生成部３４に受け渡す。
【００５９】
表示画像生成部３４は、視点変換回路３３に生成された任意視点画像を含む、表示装置７の表示に用いる表示画像を生成する。そして、表示画像生成部３４は、生成した表示画像を表示装置７に出力する。これにより、任意視点画像を含む表示画像が表示装置７に表示される。
【００６０】
＜３．任意視点画像の生成＞
次に、任意の仮想視点からみた車両９の周辺の領域を示す任意視点画像を生成する手法について説明する。図７は、任意視点画像を生成する手法を説明するための図である。
【００６１】
まず、撮影部５のフロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３及びバックカメラ５４で同時期に撮影が行われる。これにより、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される（ステップＳ１）。これら４つの撮影画像Ｐ１〜Ｐ４には、車両９の全周囲を示す情報が含まれている。取得された４つの撮影画像Ｐ１〜Ｐ４は、画像結合回路３２に受け渡される。
【００６２】
次に、画像結合回路３２が、４つの撮影画像Ｐ１〜Ｐ４を結合する結合処理を実行する。これにより、４つの撮影画像Ｐ１〜Ｐ４を縦２×横２に配列して含む結合画像ＵＰが生成される（ステップＳ２）。この結合画像ＵＰは、画像結合回路３２から視点変換回路３３に受け渡される。
【００６３】
次に、視点変換回路３３が、結合画像ＵＰの各画素を、仮想的な三次元空間における立体曲面ＴＳに投影する（ステップＳ３）。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。結合画像ＵＰに含まれる各画素の位置と、この立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と結合画像ＵＰに含まれる各画素の値とに基づいて決定できる。
【００６４】
結合画像ＵＰの各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５４の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶された車両データに含まれている。
【００６５】
また、視点変換回路３３は、この車両データに含まれる車体の形状やサイズを利用し、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００６６】
さらに、視点変換回路３３は、立体曲面ＴＳが存在する三次元空間に対して、制御部１からの指示に基づいて仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００６７】
そして、視点変換回路３３は、設定した仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域を画像として切り出す。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。また、視点変換回路３３は、設定した仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両９の像を、切り出した画像に対して重畳する。これにより、視点変換回路３３は、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す任意視点画像ＣＰを生成する（ステップＳ４，Ｓ５）。
【００６８】
例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、視点変換回路３３は、車両９の略直上から車両９を見下ろすように車両９及び車両９の周辺の領域を示す任意視点画像ＣＰａを生成する（ステップＳ４）。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、視点変換回路３３は、車両９の左後方からその周辺全体を見渡すように車両９及び車両９の周辺の領域を示す任意視点画像ＣＰｂを生成する（ステップＳ５）。
【００６９】
画像表示システム１００では、このような画像処理部の機能を利用することで車両９の周辺の任意の仮想視点からみた任意視点画像を生成し、その任意視点画像を含む表示画像を表示装置７で表示することができる。
【００７０】
＜４．画像表示システムの動作＞
次に、画像表示システム１００の動作の概要について説明する。画像表示システム１００は、所定の周期で任意視点画像を生成し、任意視点画像を含む表示画像を表示装置７で表示する。画像表示システム１００のユーザ（代表的にはドライバ）は、この表示装置７に表示された表示画像を視認することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。
【００７１】
任意視点画像の仮想視点ＶＰは、シフトセンサ８１から受信したシフトポジションを示す信号に基づいて定められる。例えば、シフトポジションが”Ｐ（駐車）”あるいは”Ｄ（前進）”の場合は、仮想視点ＶＰが車両９の位置の略中央の直上に設定され、車両９の全体を俯瞰するような任意視点画像ＣＰが生成される。一方、シフトポジションが”Ｒ（後退）”の場合は、仮想視点ＶＰが車両９の後方に向けて設定され、車両９が後退する方向の様子を示す任意視点画像ＣＰが生成される。
【００７２】
＜５．映像信号の異常検出＞
このように任意視点画像ＣＰを生成する際には、前述したように、画像結合回路３２が結合画像ＵＰを生成し、この結合画像ＵＰを用いて視点変換回路３３が任意視点画像ＣＰを生成する。この際、画像結合回路３２は所定の周期で結合画像ＵＰを含む映像信号を送信し、視点変換回路３３がこの映像信号を受信する。
【００７３】
画像結合回路３２から視点変換回路３３への映像信号の送信は、複数の信号線３９を介して行われる。これら信号線３９のいずれかにおいて断線や短絡などの障害が生じると、映像信号に含まれる結合画像ＵＰに色相や彩度が変わるなどの欠陥が発生する。その結果、結合画像ＵＰを用いて生成される任意視点画像ＣＰ、及び、表示画像においても欠陥が生じることになる。このような欠陥のある表示画像が表示装置７に表示されると、車両９の周辺の様子をユーザが誤って判断し、ユーザが誤った運転を行う可能性がある。
【００７４】
このため、画像表示システム１００では、画像結合回路３２から視点変換回路３３への映像信号の送信における異常を検出するために、図１から図３を用いて説明した技術を採用している。
【００７５】
図６に示す画像結合回路３２及び視点変換回路３３は、図１に示す第１処理回路２２及び第２処理回路２３にそれぞれ対応する。そして、画像結合回路３２が備える映像送信部３２ａ及びデータ付加部３２ｂは、図１の第１処理回路２２が備える映像送信部２２ａ及びデータ付加部２２ｂにそれぞれ対応する。また、視点変換回路３３が備える映像受信部３３ａ、異常検出部３３ｂ及び警告部３３ｃは、図１の第２処理回路２３が備える映像受信部２３ａ、異常検出部２３ｂ及び警告部２３ｃにそれぞれ対応する。さらに、図６に示す表示画像生成部３４及び表示装置７は、図１に示す表示画像生成部２４及び表示装置２１にそれぞれ対応する。
【００７６】
図８は、画像結合回路３２の処理の流れを示す図である。画像結合回路３２は、この処理を所定の周期（表示画像の表示周期と同一周期。例えば、１／３０秒）で繰り返す。
【００７７】
まず、画像結合回路３２は、画像取得部３１から４つの撮影画像Ｐ１〜Ｐ４を受け取る（ステップＳ１１）。次に、画像結合回路３２は、４つの撮影画像Ｐ１〜Ｐ４を結合して一の結合画像ＵＰを生成する（ステップＳ１２）。
【００７８】
次に、画像結合回路３２の映像送信部３２ａが、この結合画像ＵＰを含む映像信号を視点変換回路３３に向けて送信する。この際、データ付加部３２ｂは、映像送信部３２ａが送信する映像信号のブランキング期間に対応する部分に所定の検査用データを付加する（ステップＳ１３）。
【００７９】
図９は、同期信号と映像信号との関係を示す図である。図９においては、垂直同期信号ＶＳを縦方向、水平同期信号ＨＳを横方向に示すことで、映像信号の一周期に含まれる情報全体を２次元の領域（以下、「全体領域」という。）ＳＡとして示している。この全体領域ＳＡのうち、垂直イネーブル信号ＶＥ及び水平イネーブル信号ＨＥの双方が”Ｈ”の期間に対応する領域（以下、「有効領域」という。）ＰＡに、一の結合画像ＵＰが含まれる。
【００８０】
また、全体領域ＳＡのうち、有効領域ＰＡの外側はブランキング期間に対応する領域（以下、「ブランキング領域」という。）ＢＡである。このブランキング領域ＢＡのいずれかに検査用データＴＤが付加される。すなわち、検査用データＴＤは、映像信号における結合画像ＵＰとは無関係な位置に付加される。なお、図９では、垂直イネーブル信号ＶＥ及び水平イネーブル信号ＨＥの双方が”Ｌ”の期間に対応する領域に検査用データＴＤを付加しているが、ブランキング領域ＢＡのいずれに検査用データＴＤを付加してもよい。
【００８１】
本実施の形態においても、結合画像ＵＰの各画素の値は例えば２４ビット（Ｒ：８ビット、Ｇ：８ビット、Ｂ：８ビット）で表現される。このため、映像信号は各ビット情報に対応する２４の単位信号を含んでおり、これら２４の単位信号が２４本の信号線３９を介して画像結合回路３２から視点変換回路３３に送信される。データ付加部３２ｂは、この２４の単位信号のそれぞれに検査用データＴＤを付加する。
【００８２】
図１０は、２４の単位信号のうちのＲに対応する８つの単位信号に付与された検査用データＴＤを示す図である。図に示すように、８つの単位信号Ｒ１〜Ｒ８のそれぞれには所定のタイミングで”Ｈ”となる矩形波がある。この矩形波が検査用データＴＤとなる。このように複数の単位信号それぞれに検査用データＴＤを付加することで、複数の信号線３９のいずれかのみに断線が生じていたとしても、異常を検出することができる。
【００８３】
また、図に示すように、検査用データＴＤは、単位信号Ｒ１〜Ｒ８ごとに異なるタイミングで付加されている。すなわち、ドットクロックＤＣの周期ごとに、異なる単位信号Ｒ１〜Ｒ８に検査用データＴＤが表れるようになっている。このように、複数の単位信号ごとに異なるタイミングで検査用データＴＤを付与することで、あるタイミングでは一の単位信号のみに検査用データＴＤが表れることになる。したがって、複数の信号線３９のいずれかの間で短絡が生じていたとしても、異常を検出することができる。
【００８４】
図１１は、視点変換回路３３の処理の流れを示す図である。視点変換回路３３は、この処理を所定の周期（表示画像の表示周期と同一周期。例えば、１／３０秒）で繰り返す。
【００８５】
まず、映像受信部３３ａが、画像結合回路３２から送信された映像信号を受信する（ステップＳ２１）。次に、視点変換回路３３は、映像受信部３３ａが受信した映像信号に含まれる結合画像ＵＰに基づいて任意視点画像ＣＰを生成する（ステップＳ２２）。
【００８６】
一方で、視点変換回路３３の異常検出部３３ｂは、映像受信部３３ａが受信した映像信号に含まれる検査用データＴＤに基づいて、映像信号の異常を検出する（ステップＳ２３）。具体的には、異常検出部３３ｂは、映像信号に含まれる複数の単位信号それぞれを参照し、所定のタイミングで検査用データＴＤ（矩形波）が含まれているか否かを判定する。そして、異常検出部３３ｂは、複数の単位信号のいずれかに関して検査用データＴＤが所定のタイミングで含まれていない、あるいは、所定のタイミング以外のタイミングで含まれている場合は、映像信号に異常があると判定する。
【００８７】
異常検出部３３ｂが映像信号を正常と判定した場合は（ステップＳ２３にてＮｏ）、任意視点画像ＣＰはそのまま表示画像生成部２４に受け渡される（ステップＳ２５）。
【００８８】
一方、異常検出部３３ｂが映像信号を異常と判定した場合は（ステップＳ２３にてＹｅｓ）、任意視点画像ＣＰに異常の発生を示す文字などを含む警告情報を警告部３３ｃが重畳する（ステップＳ２４）。そして、この警告情報が重畳された任意視点画像ＣＰが表示画像生成部２４に受け渡される（ステップＳ２５）。これにより、表示画像生成部２４が生成する表示画像は、警告情報が重畳された任意視点画像ＣＰを含むことになる。
【００８９】
したがって、図１２に示すように、警告情報ＤＢは表示画像ＤＰに含まれた状態で、表示装置７において表示される。その結果、表示装置７を視認するユーザに異常の発生が報知されることから、ユーザが誤った運転を行うことを防止でき、安全性を維持できる。
【００９０】
以上説明したように、画像表示システム１００においては、画像結合回路３２のデータ付加部３２ｂが、映像送信部３２ａが送信する映像信号のブランキング期間に対応する部分に所定の検査用データＴＤを付加する。一方で、視点変換回路３３の異常検出部３３ｂが、映像信号に含まれる検査用データＴＤに基づいて、映像信号の異常を検出する。このため、映像信号に含まれる結合画像ＵＰに影響を与えること無く、映像信号の異常を検出できる。したがって、表示装置７に表示される表示画像に影響が及ばないため、車両９の周辺にある動体の動きのスムーズさが失われるなどの違和感をユーザに与えることが無い。その結果、ユーザは車両９の周辺の様子を的確に判断することができる。
【００９１】
＜６．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【００９２】
上記実施の形態では、表示画像に異常の発生を示す警告情報を含めるための警告部は視点変換回路３３（第２処理回路２３）に設けられているが、表示画像生成部３４（２４）に設けられていてもよい。この場合、警告部は、視点変換回路３３（第２処理回路２３）の異常検出部３３ｂ（２３ｂ）から異常が発生したことを示す信号を受信し、この信号に応答して表示画像に直接的に警告情報を含めるようにすればよい。
【００９３】
また、上記実施の形態では、映像信号の異常を検出した場合であっても、車両９の周辺の様子を示す表示画像ＤＰが表示装置７に表示されていた。これに対して、映像信号の異常を検出した場合は、全領域が同一色（例えば、黒）の表示画像を表示装置７に表示して、車両９の周辺の様子を示さないようにしてもよい。また、映像信号の異常を検出した場合は、警告情報を表示せずに、この全領域が同一色の表示画像のみを表示装置７に表示するようにしてもよい。
【００９４】
また、上記実施の形態では、画像結合回路３２から視点変換回路３３への映像信号を送信する際に図１から図３を用いて説明した技術を採用していたが、他の部位間で映像信号を送信する際にも当該技術を採用してよい。例えば、撮影部５から画像処理部３へ映像信号を送信する場合、視点変換回路３３から表示画像生成部３４へ映像信号を送信する場合、あるいは、表示画像生成部３４から表示装置７へ映像信号を送信する場合などに当該技術を採用できる。
【００９５】
また、上記実施の形態では、車両に搭載される画像表示システム１００について具体的に説明したが、画像処理機能を有する部位間で映像信号を送受信するような画像処理装置であればどのようなものであっても、上記で説明した技術を採用することが可能である。
【符号の説明】
【００９６】
７ 表示装置
１０ 画像処理装置
３２ 画像結合回路
３２ａ 映像送信部
３２ｂ データ付加部
３３ 視点変換回路
３３ａ 映像受信部
３３ｂ 異常検出部
３３ｃ 警告部
３４ 表示画像生成部
ＴＤ 検査用データ
ＤＢ 警告情報
ＵＰ 結合画像
ＤＰ 表示画像
【特許請求の範囲】
【請求項１】
画像を処理する画像処理装置であって、
映像信号を送信する送信手段と、
前記送信手段から送信された前記映像信号を受信する受信手段と、
前記受信手段で受信された前記映像信号に含まれる画像に基づく表示画像を表示装置に出力して表示させる出力手段と、
前記送信手段が送信する前記映像信号のブランキング期間に対応する部分に検査用データを付加する付加手段と、
前記受信手段で受信された前記映像信号に含まれる前記検査用データに基づいて、前記映像信号の異常を検出する検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記検出手段が前記異常を検出した場合は、前記表示画像に前記異常の発生を示す警告情報を含める警告手段、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記送信手段は、車両の周辺を撮影するカメラで取得された画像を含む前記映像信号を送信し、
前記出力手段は、前記車両に搭載された表示装置に前記表示画像を出力して表示させることを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記送信手段は、前記映像信号に含まれる複数の単位信号を複数の信号線を介してそれぞれ送信し、
前記付加手段は、前記複数の単位信号それぞれに前記検査用データを付加することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記付加手段は、前記複数の単位信号ごとに異なるタイミングで前記検査用データを付加することを特徴とする画像処理装置。
【請求項６】
画像を表示する画像表示システムであって、
請求項１ないし５のいずれかに記載の画像処理装置と、
前記画像処理装置から出力された表示画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項７】
画像を処理する画像処理方法であって、
（ａ）映像信号を送信する工程と、
（ｂ）前記工程（ａ）で送信された前記映像信号を受信する工程と、
（ｃ）前記工程（ｂ）で受信された前記映像信号に含まれる画像に基づく表示画像を表示装置に出力して表示させる工程と、
（ｄ）前記工程（ａ）で送信する前記映像信号のブランキング期間に対応する部分に検査用データを付加する工程と、
（ｅ）前記工程（ｂ）で受信された前記映像信号に含まれる前記検査用データに基づいて、前記映像信号の異常を検出する工程と、
を備えることを特徴とする画像処理方法。
【請求項１】
画像を処理する画像処理装置であって、
映像信号を送信する送信手段と、
前記送信手段から送信された前記映像信号を受信する受信手段と、
前記受信手段で受信された前記映像信号に含まれる画像に基づく表示画像を表示装置に出力して表示させる出力手段と、
前記送信手段が送信する前記映像信号のブランキング期間に対応する部分に検査用データを付加する付加手段と、
前記受信手段で受信された前記映像信号に含まれる前記検査用データに基づいて、前記映像信号の異常を検出する検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記検出手段が前記異常を検出した場合は、前記表示画像に前記異常の発生を示す警告情報を含める警告手段、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記送信手段は、車両の周辺を撮影するカメラで取得された画像を含む前記映像信号を送信し、
前記出力手段は、前記車両に搭載された表示装置に前記表示画像を出力して表示させることを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記送信手段は、前記映像信号に含まれる複数の単位信号を複数の信号線を介してそれぞれ送信し、
前記付加手段は、前記複数の単位信号それぞれに前記検査用データを付加することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記付加手段は、前記複数の単位信号ごとに異なるタイミングで前記検査用データを付加することを特徴とする画像処理装置。
【請求項６】
画像を表示する画像表示システムであって、
請求項１ないし５のいずれかに記載の画像処理装置と、
前記画像処理装置から出力された表示画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項７】
画像を処理する画像処理方法であって、
（ａ）映像信号を送信する工程と、
（ｂ）前記工程（ａ）で送信された前記映像信号を受信する工程と、
（ｃ）前記工程（ｂ）で受信された前記映像信号に含まれる画像に基づく表示画像を表示装置に出力して表示させる工程と、
（ｄ）前記工程（ａ）で送信する前記映像信号のブランキング期間に対応する部分に検査用データを付加する工程と、
（ｅ）前記工程（ｂ）で受信された前記映像信号に含まれる前記検査用データに基づいて、前記映像信号の異常を検出する工程と、
を備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１３８８７５（Ｐ２０１２−１３８８７５Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２９１６８５（Ｐ２０１０−２９１６８５）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]