説明

画像処理装置、画像表示システム及び画像処理方法

【課題】バンクの競合を回避しながらメモリを検査する。
【解決手段】画像表示システムでは、表示装置の表示モードに、撮影画像を表示するバックモニタモードと、撮影画像以外の非撮影画像であるナビ画像を表示するナビゲーションモードとがある。画像書込部61は、バックモニタモードとナビゲーションモードとの双方において書込バンクに撮影画像を周期的に書き込む。また、画像読出部62は、バックモニタモードのみにおいて、書込バンクとは異なる読出バンクから撮影画像を周期的に読み出す。一方、メモリ検査部63は、ナビゲーションモードのみにおいて、書込バンクとは異なる被検査バンクを検査する。したがって、メモリ検査部63は、読出バンクを考慮せずに被検査バンクを選択できるため、バンクの競合を回避しながらフレームメモリ45を検査することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を処理する技術に関する。
【背景技術】
【0002】
従来より、カメラで得られた画像を処理して、表示装置に表示する画像表示システムが知られている。このような画像表示システムの一つとして、例えば、車両の周辺を撮影するカメラで得られた画像を、車両内に設けられた表示装置に表示する車両用の画像表示システムなどがある。このような画像表示システムを利用することで、ユーザは、車両の周辺の様子を略リアルタイムで確認することが可能である。
【0003】
画像表示システムでは、カメラから得られる映像信号の同期タイミングと、表示装置に出力する映像信号の同期タイミングとが異なることがある。このため、このような画像表示システムでは、映像信号の同期タイミングを調整するために、複数の画像(フレーム)を記憶可能なメモリであるフレームメモリが一般に利用される。フレームメモリに画像が周期的に書き込まれ、このフレームメモリから所定のタイミングで画像が周期的に読み出されることにより、映像信号の同期タイミングが調整される。
【0004】
フレームメモリには、それぞれ画像を記憶可能な複数のバンクが設けられる。画像表示システムでは、画像の書き込みと画像の読み出しとがそれぞれ個別にかつ周期的になされるため、画像の書き込み対象とする書込バンクと、画像の読み出し対象とする読出バンクとが競合する(すなわち、同一となる)可能性がある。このように書込バンクと読出バンクとが競合すると、書き込み途中の不完全な画像を読み出す恐れがある。このため、画像表示システムでは、書込バンクと読出バンクとの競合を回避することが求められる。
【0005】
なお、本明細書で説明する技術に関連する技術を開示した文献として特許文献1がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−47426号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、一部のメモリセルが故障するなどフレームメモリに異常が生じた場合においては、フレームメモリに画像を正しく記憶することができなくなる。その結果、一部の領域が欠落するなどの欠陥のある画像が表示装置に表示されてしまい、表示装置を視認するユーザに誤解を与える可能性がある。特に、車両用の画像表示システムにおいてこのような欠陥のある画像が表示されると、車両の周辺の状態についてユーザが誤った判断を行い、不適切な運転を行う可能性がある。
【0008】
このため、フレームメモリに異常があるか否かを定期的に検査することが望ましい。フレームメモリの検査は、一般に、検査対象とする被検査バンクへ所定の検査データを書き込み、さらに、被検査バンクから該検査データを読み出すことによって行われる。したがって、被検査バンクは、書込バンク及び読出バンクの双方と異なるバンクである必要がある。
【0009】
しかしながら、書込バンクと読出バンクとが競合しないようにしつつ、さらに、書込バンク及び読出バンクの双方と競合しないように被検査バンクを選択することは非常に困難である。このため、このようなバンクの競合を回避しながらフレームメモリを検査できる技術が求められていた。
【0010】
本発明は、上記課題に鑑みてなされたものであり、バンクの競合を回避しながらメモリを検査できる技術を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、請求項1の発明は、表示装置に表示させる画像を処理する画像処理装置であって、カメラで得られた撮影画像を周期的に取得する取得手段と、複数のバンクを有するメモリと、前記表示装置の表示モードが、前記撮影画像を表示する第1モードと、前記撮影画像以外の非撮影画像を表示する第2モードとのいずれであるかを判定する判定手段と、前記第1及び第2モードの双方において、前記複数のバンクのうちから選択される書込バンクに、前記取得手段が取得した前記撮影画像を周期的に書き込む書込手段と、前記第1モードにおいて、前記複数のバンクのうちの前記書込バンクとは異なる読出バンクから前記撮影画像を周期的に読み出す読出手段と、前記第2モードにおいて、前記複数のバンクのうちの前記書込バンクとは異なる被検査バンクを検査する検査手段と、を備えている。
【0012】
また、請求項2の発明は、請求項1に記載の画像処理装置において、前記検査手段が前記被検査バンクの異常を検出した場合に、該異常の発生をユーザに報知する報知手段、を備えている。
【0013】
また、請求項3の発明は、請求項2に記載の画像処理装置において、前記カメラは、車両の周辺を撮影する車載カメラである。
【0014】
また、請求項4の発明は、請求項1に記載の画像処理装置において、前記メモリは、前記複数のバンクの予備となる予備バンク、をさらに有し、前記書込手段及び前記読出手段は、前記検査手段が前記被検査バンクの異常を検出した場合は、該被検査バンクに代えて前記予備バンクを利用する。
【0015】
また、請求項5の発明は、請求項4に記載の画像処理装置において、前記検査手段は、前記第1モードにおいて前記予備バンクを検査する。
【0016】
また、請求項6の発明は、画像を表示する画像表示システムであって、請求項1ないし5のいずれかに記載の画像処理装置と、前記画像処理装置で処理された撮影画像を表示する表示装置と、を備えている。
【0017】
また、請求項7の発明は、表示装置に表示させる画像を処理する画像処理方法であって、(a)カメラで得られた撮影画像を周期的に取得する工程と、(b)前記表示装置の表示モードが、前記撮影画像を表示する第1モードと、前記撮影画像以外の非撮影画像を表示する第2モードとのいずれであるかを判定する工程と、(c)前記第1及び第2モードの双方において、メモリが有する複数のバンクのうちから選択される書込バンクに、前記工程(a)で取得した前記撮影画像を周期的に書き込む工程と、(d)前記第1モードにおいて、前記複数のバンクのうちの前記書込バンクとは異なる読出バンクから前記撮影画像を周期的に読み出す工程と、(e)前記第2モードにおいて、前記複数のバンクのうちの前記書込バンクとは異なる被検査バンクを検査する工程と、を備えている。
【発明の効果】
【0018】
請求項1ないし7の発明によれば、撮影画像の読み出しがなされない第2モードにおいて被検査バンクを検査するため、バンクの競合を回避しながらメモリを検査することができる。
【0019】
また、特に請求項2の発明によれば、メモリの異常が発生した場合に、撮影画像を正常に表示できないことをユーザが認識できる。
【0020】
また、特に請求項3の発明によれば、メモリの異常が発生した場合に、車両の周辺の様子を正常に表示できないことをユーザが認識できる。
【0021】
また、特に請求項4の発明によれば、メモリの異常が発生した場合でも、予備バンクを利用することで正常な撮影画像を表示することができる。
【0022】
また、特に請求項5の発明によれば、第1モードにおいて予備バンクを検査するため、メモリを効率的に検査することができる。
【図面の簡単な説明】
【0023】
【図1】図1は、画像表示システムの概略構成を示す図である。
【図2】図2は、表示モードの遷移を示す図である。
【図3】図3は、第1の実施の形態の画像処理装置の詳細な構成を示す図である。
【図4】図4は、第1の実施の形態の画像処理装置の処理の流れを示す図である。
【図5】図5は、書込のタイミングと検査のタイミングとを示す図である。
【図6】図6は、第2の実施の形態の画像処理装置の詳細な構成を示す図である。
【図7】図7は、第2の実施の形態の画像処理装置の処理の流れを示す図である。
【発明を実施するための形態】
【0024】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0025】
<1.第1の実施の形態>
<1−1.画像表示システムの構成>
図1は、本実施の形態の画像表示システム10の概略構成を示す図である。この画像表示システム10は、自動車などの車両に搭載され、車両の後方の様子を示す画像を表示するバックモニタ機能と、車両のルートを案内するナビゲーション機能とを有している。
【0026】
画像表示システム10は、車両の後方に設けられる車載カメラ2と、車室内に設けられる表示装置3とを備えている。バックモニタ機能を有効化した場合、車載カメラ2で取得された車両の後方を示す撮影画像が表示装置3に表示される。一方、ナビゲーション機能を有効化した場合は、ルートなどの各種情報、及び、車両の周辺の地図などを示す非撮影画像であるナビ画像が表示装置3に表示される。
【0027】
画像表示システム10は、バックモニタ機能に用いる画像処理装置4と、ナビゲーション機能に用いるナビゲーション部5とを備えている。画像処理装置4は、車載カメラ2で取得された撮影画像を表示に適合するように調整し、調整した撮影画像を表示装置3に出力して表示させる。一方、ナビゲーション部5は、車両の現在位置を取得し、その現在位置の周辺の地図等を含むナビ画像を表示装置3に出力して表示させる。
【0028】
画像表示システム10は、さらに、ユーザから操作を受け付ける操作部8と、システム全体を制御するシステム制御部1とを備えている。システム制御部1は、操作部8を介してユーザの指示を受け付け、ユーザの指示に従って動作するように画像表示システム10の全体を統括的に制御する。
【0029】
また、システム制御部1は、車両に設けられるシフトセンサ9から車両のシフトポジション(”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”など)を示す信号を受信可能である。システム制御部1は、シフトポジションに応じて表示装置3の表示モードを切り替える。
【0030】
図2に示すように、表示装置3の表示モードには、ナビゲーションモードM2とバックモニタモードM1とがある。ナビゲーションモードM2においては、システム制御部1の制御によりナビゲーション機能が有効化され、地図や各種情報を示すナビ画像NPが表示装置3に表示される。一方で、バックモニタモードM1においては、システム制御部1の制御によりバックモニタ機能が有効化され、車両の後方の様子を示す撮影画像SPが表示装置3に表示される。
【0031】
システム制御部1は、シフトポジションが”R(後退)”の場合に表示装置3の表示モードをバックモニタモードM1にし、シフトポジションが”R(後退)”以外の場合に表示装置3の表示モードをナビゲーションモードM2にする。したがって、ユーザは、車両を後退させるためにシフトポジションを”R(後退)”に変更した場合に、車両の後方の様子を略リアルタイムに確認できるようになっている。
【0032】
<1−2.画像処理装置の構成>
次に、画像処理装置4の構成について説明する。図3は、画像処理装置4の詳細な構成を示す図である。画像処理装置4は、画像取得部41、メモリ制御部42、画像処理部43、画像出力部44、フレームメモリ45、及び、モード判定部49を備えている。
【0033】
画像取得部41は、車載カメラ2から撮影画像を所定の周期で取得する。画像取得部41は、車載カメラ2から取得したアナログの撮影画像を、デジタルの撮影画像に変換(A/D変換)する。これにより、画像取得部41は、デジタルの撮影画像(フレーム)を所定の周期で含む映像信号を出力する。
【0034】
メモリ制御部42は、フレームメモリ45を利用して、映像信号の同期タイミングを表示装置3の同期タイミングに適合するように調整する。
【0035】
画像処理部43は、メモリ制御部42で調整された映像信号に含まれる撮影画像に対して所定の画像処理を行い、撮影画像の明るさやコントラストを補正する。また、画像処理部43は、ユーザへ報知すべき文字情報を撮影画像に重畳することも可能である。
【0036】
画像出力部44は、画像処理部43で処理された撮影画像(フレーム)を含む映像信号を表示装置3に出力する。これにより、車両の後方の様子を示す撮影画像が表示装置3に表示される。
【0037】
モード判定部49は、システム制御部1からの信号に基づいて表示装置3の表示モードがナビゲーションモードM2とバックモニタモードM1とのいずれであるかを判定する。
【0038】
フレームメモリ45は、複数の撮影画像(フレーム)を記憶可能なメモリである。フレームメモリ45は、第1バンクB1、第2バンクB2、第3バンクB3及び第4バンクB4の4つのバンクB1〜B4を備えている。これら4つのバンクB1〜B4はそれぞれフレームメモリ45の記憶領域の一部であり、これらは互いに異なる部分に設定される。4つのバンクB1〜B4はそれぞれ、一の撮影画像(フレーム)を記憶可能な記憶容量を有している。
【0039】
メモリ制御部42は、これらの4つのバンクB1〜B4の一つを書込バンクとして選択し、この書込バンクに撮影画像を書き込む。また、メモリ制御部42は、このような撮影画像の書き込みと並行して、4つのバンクB1〜B4の他の一つを読出バンクとして選択し、この読出バンクから撮影画像を読み出すことが可能である。
【0040】
このような撮影画像の書込及び読出を行うため、メモリ制御部42は、画像書込部61、書込バンク選択部64、画像読出部62及び読出バンク選択部65を備えている。
【0041】
画像書込部61は、画像取得部41から出力された映像信号に含まれる撮影画像(フレーム)をフレームメモリ45に周期的に書き込む。画像書込部61が、撮影画像の書き込み対象とする書込バンクは、書込バンク選択部64により4つのバンクB1〜B4のうちから選択される。
【0042】
書込バンク選択部64は、画像書込部61が一の撮影画像(フレーム)を書き込むごとに、書込対象バンクを変更する。具体的には、書込バンク選択部64は、第1バンクB1、第2バンクB2、第3バンクB3、第4バンクB4の順で、書込対象バンクを選択する。また、書込バンク選択部64は、第4バンクB4の次には、第1バンクB1を書込対象バンクとして選択する。これにより、画像書込部61は、映像信号に時間的に連続して含まれる撮影画像(フレーム)を、4つのバンクB1〜B4に順次に書き込むことになる。
【0043】
画像読出部62は、フレームメモリ45に記憶された撮影画像を、フレームメモリ45から周期的に読み出す。画像読出部62が、撮影画像の読み出し対象とする読出バンクは、読出バンク選択部65により4つのバンクB1〜B4のうちから選択される。
【0044】
読出バンク選択部65は、画像読出部62が一の撮影画像(フレーム)を読み出すごとに、読出バンクを変更する。読出バンク選択部65は、読出バンクを変更する際に、4つのバンクB1〜B4のうちその時点の書込バンクとは異なるバンクを読出バンクとして選択する。
【0045】
また、メモリ制御部42は、フレームメモリ45に異常があるか否かを検査する検査機能をさらに有している。このような検査機能のため、メモリ制御部42は、メモリ検査部63及び被検査バンク選択部66を備えている。
【0046】
メモリ検査部63は、予め内容が定められた検査データTDを用いて、フレームメモリ45に異常があるか否かを検査する。具体的には、メモリ検査部63は、検査データTDを所定のレジスタから読み出し、この検査データTDをフレームメモリ45の被検査バンクに書き込む。そして、メモリ検査部63は、書き込んだ検査データを被検査バンクから読み出し、読み出した検査データが元の検査データTDと同一であるか否かに基づいてフレームメモリ45の異常を検出する。すなわち、メモリ検査部63は、読み出した検査データと元の検査データTDとが異なる場合は、フレームメモリ45が異常であると判定する。これにより、メモリ検査部63は、フレームメモリ45に正しく画像が記録されるか否かを検査することができる。
【0047】
メモリ検査部63が検査の対象とする被検査バンクは、被検査バンク選択部66により4つのバンクB1〜B4から選択される。被検査バンク選択部66は、書込バンク選択部64による書込バンクの選択と同期して、バンクB1〜B4のうち書込バンクとは異なるバンクを被検査バンクとして選択する。
【0048】
また、メモリ検査部63は、ユーザに異常の発生を報知するための異常対応部67を備えている。メモリ検査部63がフレームメモリ45の異常を検出した場合には、異常対応部67は所定の信号を画像処理部43に出力する。
【0049】
<1−3.画像処理装置の処理>
次に、画像処理装置4の処理について説明する。前述のように、表示装置3の表示モードにはナビゲーションモードM2とバックモニタモードM1とがある。画像処理装置4の処理は、バックモニタモードM1のみならず、ナビゲーションモードM2においても実行される。ただし、画像処理装置4の処理の内容は、バックモニタモードM1とナビゲーションモードM2とで異なっている。
【0050】
画像書込部61によるフレームメモリ45への撮影画像の書き込みは、ナビゲーションモードM2とバックモニタモードM1とのいずれにおいても実行される。これは、ナビゲーションモードM2からバックモニタモードM1に切り替えた場合に、切替直後から撮影画像を瞬時に表示装置3に表示するためである。これにより、車両を後退させる場合に、車載カメラ2に撮影される車両の後方の様子を、ユーザが速やかに確認することが可能となる。
【0051】
また、画像読出部62によるフレームメモリ45からの撮影画像の読み出しは、バックモニタモードM1のみにおいて実行される。一方、メモリ検査部63によるフレームメモリ45の検査は、ナビゲーションモードM2のみにおいて実行されるようになっている。
【0052】
図4は、画像処理装置4の処理の流れを示す図である。画像処理装置4では、図4に示す動作が所定の周期で繰り返し実行されることになる。
【0053】
まず、モード判定部49が、表示装置3の表示モードを判定する。モード判定部49は、システム制御部1からの信号に基づいて、表示モードがナビゲーションモードM2とバックモニタモードM1とのいずれであるかを判定する(ステップS11)。モード判定部49が判定した判定結果は、メモリ制御部42等の画像処理装置4の他の処理部に入力される。そして以降、表示モードがバックモニタモードM1の場合はステップS12〜S16の処理がなされ、表示モードがナビゲーションモードM2の場合はステップS21〜S25の処理がなされる。
【0054】
表示モードがバックモニタモードM1の場合は、まず、画像取得部41が、車載カメラ2から撮影画像を取得し、取得したアナログの撮影画像をデジタルの撮影画像に変換する(ステップS12)。
【0055】
次に、画像書込部61が、フレームメモリ45の書込バンクに撮影画像(フレーム)を書き込む。書込バンク選択部64は、画像書込部61による書き込みの開始時点で、4つのバンクB1〜B4のうちから定められた順番に従って書込バンクを選択する(ステップS13)。
【0056】
また、この撮影画像の書き込みと並行して、画像読出部62が、フレームメモリ45の読出バンクから撮影画像(フレーム)を読み出す。読出バンク選択部65は、画像読出部62による読み出しの開始時点で、4つのバンクB1〜B4のうちから読出バンクを選択する(ステップS14)。
【0057】
読出バンク選択部65は、書込バンクとは異なるバンクを読出バンクとして選択する。読出バンク選択部65は、例えば、4つのバンクB1〜B4のうち、前回の処理で書込バンクとして選択されたバンク(すなわち、撮影画像の書き込みが直近に完了したバンク)を読出バンクとして選択する。したがって、例えば、書込バンクが第1バンクB1の場合は読出バンクは第4バンクB4となり、書込バンクが第2バンクB2の場合は読出バンクは第1バンクB1となる。これにより、書込バンクと読出バンクとの競合が回避される。
【0058】
次に、画像処理部43が、画像読出部62により読み出された撮影画像に所定の画像処理を行う。これにより、表示装置3への表示に適した明るさやコントラストとなるように撮影画像が補正される(ステップS15)。そして、画像出力部44が、補正された撮影画像を表示装置3に出力する。これにより、車両の後方の様子を示す撮影画像が表示装置3に表示される(ステップS16)。
【0059】
一方、表示モードがナビゲーションモードM2の場合も、まず、画像取得部41が、車載カメラ2から撮影画像を取得し、取得したアナログの撮影画像をデジタルの撮影画像に変換する(ステップS21)。次に、画像書込部61が、フレームメモリ45の書込バンクに撮影画像(フレーム)を書き込む。書込バンク選択部64は、画像書込部61による書き込みの開始時点で、4つのバンクB1〜B4のうちから定められた順番に従って書込バンクを選択する(ステップS22)。
【0060】
また、この撮影画像の書き込みと並行して、メモリ検査部63がフレームメモリ45を検査する。被検査バンク選択部66は、メモリ検査部63による検査の開始時点で、4つのバンクB1〜B4のうちから被検査バンクを選択する(ステップS23)。
【0061】
被検査バンク選択部66は、書込バンクとは異なるバンクを被検査バンクとして選択する。被検査バンク選択部66は、例えば、4つのバンクB1〜B4のうち、最も前に書込バンクとして選択されたバンク(すなわち、最も古い撮影画像が記録されているバンク)を被検査バンクとして選択する。したがって、例えば、書込バンクが第1バンクB1の場合は被検査バンクは第2バンクB2となり、書込バンクが第2バンクB2の場合は被検査バンクは第3バンクB3となる。これにより、書込バンクと被検査バンクとの競合が回避される。
【0062】
画像書込部61による書込バンクへの書き込みと、メモリ検査部63による被検査バンクの検査とは同期して実行される。すなわち、画像書込部61が撮影画像を一のバンクに書き込む周期と、メモリ検査部63が一のバンクを検査する周期とは一致している。
【0063】
画像書込部61は、ラインバッファを有しており、撮影画像をライン単位で書込バンクに書き込む。画像書込部61が書込バンクに一のラインを書き込むと、それに合わせて、メモリ検査部63が当該一のラインに相当する被検査バンクの記憶領域を検査するようになっている。
【0064】
図5は、画像書込部61による書き込みタイミングと、メモリ検査部63による検査のタイミングとを説明するためのタイミングチャートである。図5の横方向は時間を示しており、図中のT11〜T19はそれぞれ時点を示している。
【0065】
画像書込部61は、撮影画像の一のラインをラインバッファに蓄積することを所定の周期PEで繰り返す。そして、画像書込部61は、ある一周期PEにおいて一のラインの蓄積が完了すると、次の一周期PEにおいて当該ラインを書込バンクに書き込む。例えば、画像書込部61は、時点T11〜T13でラインL1をラインバッファに蓄積すると、時点T13からそのラインL1を書込バンクに書き込む。
【0066】
撮影画像を含む映像信号のドットクロックの周波数(例えば、31.5MHz)に対して、フレームメモリ45のメモリクロックの周波数(例えば、100MHz)は約3倍となっている。画像書込部61は、メモリクロックごとに撮影画像の1ドット(画素)を書き込むことが可能である。したがって、画像書込部61は、周期PEの前の約1/3の時間で一のラインを書込バンクに書き込むことが可能である。
【0067】
このため、周期PEの後の約2/3の時間は、画像書込部61がフレームメモリ45にアクセスしない非アクセス時間となる。メモリ検査部63は、この画像書込部61の非アクセス時間に、被検査バンクの検査を実行する。
【0068】
例えば、画像書込部61が、時点T13〜T14において、書込バンクにラインL1の書き込みを実行する。このため、メモリ検査部63は、画像書込部61の非アクセス時間である時点T14〜T15において、被検査バンクにおいてラインL1に相当する記憶領域の検査を実行する。
【0069】
メモリ検査部63は、このような非アクセス時間に、一のラインに相当する記憶領域に検査データを書き込み、さらに、その検査データを読み出す。そして、書き込んだ検査データと読み出した検査データとを比較することで当該記憶領域を検査する。メモリ検査部63は、このような一のラインに相当する記憶領域ごとの検査を、画像書込部61の一のラインの書き込みに合わせて繰り返すことにより、被検査バンクの全記憶領域の検査を実行する。
【0070】
図4に戻り、このようなメモリ検査部63の検査により、フレームメモリ45の異常を検出した場合は(ステップS24にてYes)、異常対応部67は所定の信号を出力して画像処理部43に異常が発生したことを通知する(ステップS25)。画像処理部43は、この信号を受信すると、フレームメモリ45の異常の発生を示す文字情報を撮影画像に重畳する。これにより、バックモニタモードM1においては、この文字情報を含む撮影画像が表示装置3において表示され、表示装置3を視認するユーザに異常の発生が報知される。
【0071】
以上のように、画像表示システム10では、表示装置3の表示モードに、撮影画像を表示するバックモニタモードM1と、撮影画像以外の非撮影画像であるナビ画像を表示するナビゲーションモードM2とがある。画像処理装置4の画像書込部61は、バックモニタモードM1とナビゲーションモードM2との双方において、4つのバンクB1〜B4のうちから選択される書込バンクに撮影画像を周期的に書き込む。また、画像処理装置4の画像読出部62は、バックモニタモードM1のみにおいて、書込バンクとは異なる読出バンクから撮影画像を周期的に読み出す。一方、画像処理装置4のメモリ検査部63は、ナビゲーションモードM2のみにおいて、書込バンクとは異なる被検査バンクを検査する。メモリ検査部63は、撮影画像の読み出しがなされないナビゲーションモードM2において被検査バンクを検査するため、読出バンクを考慮せずに被検査バンクを選択できる。したがって、バンクの競合を容易に回避しながらフレームメモリ45を検査することができる。
【0072】
また、メモリ検査部63が被検査バンクの異常を検出した場合は、異常対応部67が所定の信号を出力して画像処理部43に出力することで、異常の発生をユーザに報知する。このため、フレームメモリ45の異常が発生した場合に、車両の周辺の様子を示す撮影画像を正常に表示できないことをユーザが認識することが可能である。したがって、欠陥のある撮影画像に基づいてユーザが誤った判断を行い、不適切な運転を行うことを防止できる。
【0073】
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態の画像表示システム10の構成及び処理は、第1の実施の形態と略同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
【0074】
図6は、第2の実施の形態の画像処理装置4の詳細な構成を示す図である。図に示すように、第2の実施の形態においては、フレームメモリ45が、4つのバンクB1〜B4の他に、これら4つのバンクB1〜B4の予備となる予備バンクB5をさらに備えている。第2の実施の形態の画像処理装置4においても、通常は4つのバンクB1〜B4が利用される。ただし、4つのバンクB1〜B4のいずれかにおいて異常が生じた場合は、画像書込部61及び画像読出部62は、その異常が生じたバンクに代えて予備バンクB5を利用する。これにより、4つのバンクB1〜B4のいずれかに異常が生じたとしても、正常な撮影画像を表示装置3に表示させることが可能となっている。
【0075】
本実施の形態の異常対応部67は、メモリ検査部63がフレームメモリ45の異常を検出した場合に、異常が発生したバンクを特定する信号を、書込バンク選択部64と読出バンク選択部65との双方に出力する。この信号を受信した書込バンク選択部64及び読出バンク選択部65は、当該異常が生じたバンクに代えて予備バンクB5を選択することになる。
【0076】
図7は、第2の実施の形態の画像処理装置4の処理の流れを示す図である。まず、モード判定部49が、表示装置3の表示モードを判定する(ステップS31)。そして以降、表示モードがバックモニタモードM1の場合はステップS32〜S37の処理がなされ、表示モードがナビゲーションモードM2の場合はステップS41〜S45の処理がなされる。
【0077】
表示モードがバックモニタモードM1の場合のステップS32〜S37の処理は、図4に示す第1の実施の形態のステップS12〜S16の処理に予備バンクB5を検査するステップS35を追加したものとなっている。
【0078】
すなわち、まず、画像取得部41が、車載カメラ2から撮影画像を取得する(ステップS32)。次に、画像書込部61が、フレームメモリ45の書込バンクに撮影画像を書き込む(ステップS33)。また、これと並行して、画像読出部62が、フレームメモリ45の読出バンクから撮影画像を読み出す(ステップS34)。
【0079】
そして、これらの撮影画像の書き込み(ステップS33)と撮影画像の読み出し(ステップS34)とに並行して、メモリ検査部63が予備バンクB5の検査を実行する。バックモニタモードM1においても、異常が生じるまでは予備バンクB5は利用されない。したがって、バンク同士の競合を問題とすることなく、予備バンクB5の検査を実行することが可能である。
【0080】
次に、画像処理部43が、画像読出部62により読み出された撮影画像に所定の画像処理を行い(ステップS36)、画像出力部23が、補正された撮影画像を表示装置3に出力することになる(ステップS37)。
【0081】
また、表示モードがバックモニタモードM1の場合のステップS41〜S45の処理は、図4に示す第1の実施の形態のステップS21〜S25の処理と略同様であるが、一部が異なっている。具体的には、フレームメモリ45の異常を検出した場合の異常対応部67の処理の内容(ステップS45)が、第1の実施の形態(ステップS25)と異なっている。
【0082】
すなわち、まず、画像取得部41が、車載カメラ2から撮影画像を取得する(ステップS41)。次に、画像書込部61が、フレームメモリ45の書込バンクに撮影画像を書き込む(ステップS42)。また、これと並行して、メモリ検査部63が、フレームメモリ45の被検査バンクを検査する(ステップS43)。
【0083】
そして、メモリ検査部63の検査により、フレームメモリ45の異常を検出した場合は(ステップS44にてYes)、異常対応部67は、書込バンク選択部64と読出バンク選択部65との双方に、異常が発生した被検査バンクを特定する信号を送信する(ステップS45)。書込バンク選択部64及び読出バンク選択部65は、この信号を受信すると、当該異常が生じたバンクに代えて予備バンクB5を選択することになる。したがって、以降の処理では、異常が生じたバンクに代えて予備バンクB5が利用されることになる。
【0084】
なお、このように予備バンクB5を利用することになった以降は、第1の実施の形態と同様の処理を実行すればよい。また、4つのバンクB1〜B4のいずれかの異常を検出する前に、ステップS35において予備バンクB5の異常を検出した場合においても、以降は、第1の実施の形態と同様の処理を実行すればよい。
【0085】
以上説明したように、第2の実施の形態の画像表示システム10においては、4つのバンクB1〜B4の他に予備バンクB5をさらに備えており、メモリ検査部63が被検査バンクの異常を検出した場合はこの被検査バンクに代えて予備バンクB5が利用される。このため、フレームメモリ45の異常が発生した場合でも、予備バンクB5を利用することで正常な撮影画像を表示装置3に表示することができる。
【0086】
また、バックモニタモードM1において予備バンクB5を検査するため、ナビゲーションモードM2以外でもフレームメモリ45の検査を行うことができ、フレームメモリ45を効率的に検査することができる。
【0087】
<3.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【0088】
上記実施の形態では、シフトポジションに応じて表示装置3の表示モードを切り替えるようにしていたが、他の条件によって表示モードを切り替えるようにしてもよい。例えば、操作部8を介したユーザの指示に応答して表示モードを切り替えるようにしてもよく、車両の速度に応じて表示モードを切り替えるようにしてもよい。
【0089】
また、上記実施の形態では、車載カメラ2は車両の後方を撮影するものであるとしていたが、車両の前方や側方を撮影するものであってもよい。また、複数の車載カメラを車両に設け、画像表示システムが、複数の車載カメラで得られる撮影画像を合成して仮想視点から見た合成画像を生成して表示するものであってもよい。
【0090】
上記実施の形態では、フレームメモリ45の異常を検出した以降においても、バックモニタモードM1では撮影画像を表示装置3に表示するようにしていた。これに対して、異常を検出した場合は、バックモニタモードM1において、全領域が同一色(例えば、黒)の非撮影画像を表示装置3に表示し、欠陥のある撮影画像を表示しないようにしてもよい。また、異常を検出した場合は、異常の発生を示す文字情報を重畳しないで、全領域が同一色の非撮影画像のみを表示装置3に表示するようにしてもよい。
【0091】
また、上記実施の形態では、車両に搭載される画像表示システム10について具体的に説明したが、特定の場所に配置される監視カメラで得られた撮影画像を表示装置に表示する画像表示システムなど、車両に搭載されない画像表示システムであっても、上記で説明した技術を好適に適用することが可能である。
【符号の説明】
【0092】
2 車載カメラ
3 表示装置
4 画像処理装置
45 フレームメモリ
49 モード判定部
61 画像書込部
62 画像読出部
63 メモリ検査部
67 異常対応部
M1 バックモニタモード
M2 ナビゲーションモード

【特許請求の範囲】
【請求項1】
表示装置に表示させる画像を処理する画像処理装置であって、
カメラで得られた撮影画像を周期的に取得する取得手段と、
複数のバンクを有するメモリと、
前記表示装置の表示モードが、前記撮影画像を表示する第1モードと、前記撮影画像以外の非撮影画像を表示する第2モードとのいずれであるかを判定する判定手段と、
前記第1及び第2モードの双方において、前記複数のバンクのうちから選択される書込バンクに、前記取得手段が取得した前記撮影画像を周期的に書き込む書込手段と、
前記第1モードにおいて、前記複数のバンクのうちの前記書込バンクとは異なる読出バンクから前記撮影画像を周期的に読み出す読出手段と、
前記第2モードにおいて、前記複数のバンクのうちの前記書込バンクとは異なる被検査バンクを検査する検査手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記検査手段が前記被検査バンクの異常を検出した場合に、該異常の発生をユーザに報知する報知手段、
を備えることを特徴とする画像処理装置。
【請求項3】
請求項2に記載の画像処理装置において、
前記カメラは、車両の周辺を撮影する車載カメラであることを特徴とする画像処理装置。
【請求項4】
請求項1に記載の画像処理装置において、
前記メモリは、前記複数のバンクの予備となる予備バンク、
をさらに有し、
前記書込手段及び前記読出手段は、前記検査手段が前記被検査バンクの異常を検出した場合は、該被検査バンクに代えて前記予備バンクを利用することを特徴とする画像処理装置。
【請求項5】
請求項4に記載の画像処理装置において、
前記検査手段は、前記第1モードにおいて前記予備バンクを検査することを特徴とする画像処理装置。
【請求項6】
画像を表示する画像表示システムであって、
請求項1ないし5のいずれかに記載の画像処理装置と、
前記画像処理装置で処理された撮影画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項7】
表示装置に表示させる画像を処理する画像処理方法であって、
(a)カメラで得られた撮影画像を周期的に取得する工程と、
(b)前記表示装置の表示モードが、前記撮影画像を表示する第1モードと、前記撮影画像以外の非撮影画像を表示する第2モードとのいずれであるかを判定する工程と、
(c)前記第1及び第2モードの双方において、メモリが有する複数のバンクのうちから選択される書込バンクに、前記工程(a)で取得した前記撮影画像を周期的に書き込む工程と、
(d)前記第1モードにおいて、前記複数のバンクのうちの前記書込バンクとは異なる読出バンクから前記撮影画像を周期的に読み出す工程と、
(e)前記第2モードにおいて、前記複数のバンクのうちの前記書込バンクとは異なる被検査バンクを検査する工程と、
を備えることを特徴とする画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2012−182763(P2012−182763A)
【公開日】平成24年9月20日(2012.9.20)
【国際特許分類】
【出願番号】特願2011−45977(P2011−45977)
【出願日】平成23年3月3日(2011.3.3)
【出願人】(000237592)富士通テン株式会社 (3,383)
【Fターム(参考)】