映像処理システム、撮影装置及び映像処理方法
【課題】 撮影装置から送信されるデータ量の削減と、高品質な生成映像の生成とを両立する映像処理システムを提供する。
【解決手段】 複数の撮影部110〜140は、生成映像データを生成するための映像データを撮影するカメラ111、121、131、141と、映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に映像データの各領域に要求される解像度に基づいて各領域ごとに算出された重要度とを記憶した部分重要度パターン記憶部115、125、135、145と、重要度を参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮する送信映像圧縮部112、122、132、142と、圧縮された映像データを車内伝送路経由で映像処理装置200に送信するネットワークI/F部113,123,133,143とを備えている。
【解決手段】 複数の撮影部110〜140は、生成映像データを生成するための映像データを撮影するカメラ111、121、131、141と、映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に映像データの各領域に要求される解像度に基づいて各領域ごとに算出された重要度とを記憶した部分重要度パターン記憶部115、125、135、145と、重要度を参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮する送信映像圧縮部112、122、132、142と、圧縮された映像データを車内伝送路経由で映像処理装置200に送信するネットワークI/F部113,123,133,143とを備えている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の撮影装置(例えば、カメラ)で周辺の映像を撮影し、撮影した映像を合成処理して表示装置に表示させる映像処理システムに関する。
【背景技術】
【0002】
近年、車両に搭載された複数台のカメラによって、運転者の死角となる車両の周辺部を映し出し、車室内に搭載された表示装置(モニタ)に表示することで運転者の安全運転を支援する装置が提案されている。
【0003】
しかしながら、より高精細な映像を表示するため、カメラの解像度を上げると、カメラの映像を処理する映像処理装置に送信するデータ量が大幅に増加する。また、車両に搭載するカメラの台数を増やしても同様のことが言える。このため、各カメラと映像処理装置とをつなぐ伝送路の帯域幅によって送信可能なデータ量が制限される場合がある。
【0004】
特許文献1及び2には、画像取込み装置又はカメラ制御装置から、画像受信装置へ送信されるデータ量を削減する技術が開示されている。特許文献1では、画像受信装置側で、生成する画像のレイアウト情報を作成して画像取込み装置に送信する。画像取込み装置は、取得したレイアウト情報に従って、取り込んだ画像データの切り出しを行い、切り出した画像を画像受信装置に送信している。また、特許文献2では、カメラ制御装置が、カメラの撮影方向とズーム倍率を検出して、カメラによって撮影された映像を所望の解像度およびフレームレートの映像に変換している。変換した映像は、カメラ制御装置から端末に送信される。端末は、各カメラ制御装置から送信された映像を合成してモニタに表示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2000−83193号公報
【特許文献2】特開平10−136345号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
右左折、車線変更、車庫入れ等、運転者の運転状況に応じて生成する生成映像のパターンを切り替えることで運転者の利便性が向上するが、生成映像のパターンに応じて、各カメラ映像の使用部分や、必要な映像の解像度が異なってくる。例えば、図1に示すようにカメラに近い側では、映像の画素当たりの地面の面積が狭いが、カメラから離れるに従って、映像の画素当たりの地面の面積が広くなってくる。従って、例えば、俯瞰映像を生成すると、カメラから遠くなるに従い、少ない画素から広い映像を生成する必要があり、映像が粗くなる。
このため、カメラ等の撮影装置から映像処理装置へのデータ量を削減しつつ、複数種類の生成映像を高精細に生成するためには、生成映像に使用される部分ごとに解像度を調整したカメラ映像を映像処理装置に送信する必要がある。
【0007】
本発明は上記事情に鑑みてなされたものであり、撮影装置から送信されるデータ量の削減と、高品質な生成映像の生成とを両立する映像処理システム、撮影装置及び映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本明細書に開示の映像処理システムは、映像データを表示可能な表示装置と、車両周辺を撮影可能な複数の撮影装置と、車内伝送路経由で前記複数の撮影装置と連携し、撮影された複数の映像データから複数種類の生成映像データを生成する映像処理装置とを備えた映像処理システムであって、前記複数の撮影装置は、それぞれ、映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に前記映像データの各領域に要求される解像度に基づいて前記各領域ごとに算出された重要度とを記憶した記憶部と、前記重要度を参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮する映像圧縮部と、前記圧縮された映像データを前記車内伝送路経由で前記映像処理装置に送信する送信部とを備え、前記映像処理装置は、前記複数の撮影装置から送信される、前記圧縮された映像データを入力する入力部と、入力した複数の圧縮された映像データに基づいて、前記表示装置に表示する映像データを生成する映像生成部と、生成した映像データを前記表示装置に送信する送信部とを備え、前記表示装置は、前記映像処理装置から送信された前記生成映像データを受信する受信部と、受信した生成映像データを表示する表示部とを備えている。
【発明の効果】
【0009】
本明細書に開示の映像処理システムによれば、撮影装置から送信されるデータ量の削減と、高品質な生成映像の生成とを両立する映像処理システムを提供することができる。
【図面の簡単な説明】
【0010】
【図1】撮影範囲と映像の解像度との関係を示す図である。
【図2】映像処理システムの構成の一例を示す図である。
【図3】第1撮影部〜第4撮影部の構成の一例を示す図である。
【図4】カメラの車両搭載位置の一例を示す図である。
【図5】部分重要度パターンデータの一例を示す図である。
【図6】圧縮率制御部のハードウェア構成の一例を示す図である。
【図7】圧縮率制御部及び送信映像圧縮部の処理を説明するための図である。
【図8】圧縮率制御部及び送信映像圧縮部の処理を説明するための図である。
【図9】映像処理装置の制御部のハードウェア構成の一例を示す図である。
【図10】10A及び10Bは、表示部に表示される表示の例を示す図である。
【図11】11A及び11Bは、表示部に表示される表示の例を示す図である。
【図12】12A及び12Bは、表示部に表示される表示の例を示す図である。
【図13】制御部による生成映像変換パターンデータと部分重要度パターンデータの生成手順を示すフローチャートである。
【図14】制御部による部分重要度パターンデータの生成手順を示すフローチャートである。
【図15】15Aは、車両を鉛直方向(Z軸方向)から見た座標系を示し、15Bは、車両を幅方向(X軸方向)から見た座標系を示す図である。
【図16】カメラの取り付け角度を説明するための図である。
【図17】生成映像構成パターンデータを説明するための図である。
【図18】18A及び18Bは生成映像変換パターンデータの一例を示す図である。
【図19】19A及び19Bは、映像データの重要度分布の補正範囲の例を説明する図である。
【図20】20A〜20Dは、カメラで撮影された映像データの重要度分布を示す図である。
【図21】第1撮影部〜第4撮影部ごとに生成された部分重要度パターンデータの一例を示す図である。
【図22】撮影部の処理手順を示すフローチャートである。
【図23】映像処理装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、添付図面を参照しながら本発明の好適な実施例を説明する。
【実施例】
【0012】
本実施例の映像処理システム1は、図2に示すように撮影装置100と、映像処理装置200と、操作部310と、表示装置320とを備えている。撮影装置100は、第1撮影部110と、第2撮影部120と、第3撮影部130と、第4撮影部140とを備えている。また、映像処理装置200は、ネットワークインターフェース部(以下、インターフェースをI/Fと略記する)210と、映像生成部220と、制御部230と、記憶部240と、送信部250とを備えている。表示装置320は、受信部321と、表示部322とを備えている。また、撮影装置100と、映像処理装置200とはLAN等のネットワーク150で接続されている。
【0013】
図3を参照しながら撮影装置100の詳細について説明する。なお、第1撮影部110〜第4撮影部140は、ほぼ同一の構成を備えているため、以下では代表して第1撮影部110について説明する。第1撮影部110は、カメラ111と、送信映像圧縮部112と、ネットワークI/F部113と、圧縮率制御部114と、部分重要度パターン記憶部115とを備えている。
【0014】
カメラ111は、車両周辺の映像を撮影し、撮影した映像データを送信映像圧縮部112に出力する。図4に第1撮影部110のカメラ111、第2撮影部120のカメラ121、第3撮影部130のカメラ131、第4撮影部140のカメラ141の車両の設置位置の一例を示す。カメラ111は、車両の前方に配置され、車両前方の映像を撮影する。カメラ121は、車両の左側方に配置され、車両左側方の映像を撮影する。カメラ131は、車両の右側方に配置され、車両右側方の映像を撮影する。カメラ141は、車両の後方に配置され、車両後方の映像を撮影する。なお、本実施例では、車両に4つのカメラを搭載しているが、カメラの数は4つに限定されるものではなく、3つでも5つや6つであってもよい。例えば、カメラのレンズを広角レンズとすることで、カメラの設置数を削減することもできる。また、カメラは、最初から車両に搭載されているものであっても連係動作可能であれば問題ない。
【0015】
送信映像圧縮部112は、圧縮率制御部114から指示された圧縮率で、カメラ111によって撮影された映像データを圧縮する。送信映像圧縮部112は、圧縮処理した映像データをネットワークI/F部113に出力する。
【0016】
部分重要度パターン記憶部115は、映像データの分割した複数の領域ごとの重要度を表す部分重要度パターンデータを記憶している。図5に部分重要度パターンデータの一例を示す。図5に示すように部分重要度パターンデータは、映像データの分割した領域の位置を示す位置座標と、当該位置座標の映像データの重要度(部分重要度)とを含む。なお、位置座標の例として、例えば、領域の左上座標と、右下座標とを用いることができる。また、重要度とは、生成映像の生成の際に要求される映像データの部分ごとの解像度を反映した情報である。詳細については後述する。
【0017】
圧縮率制御部114は、図6に示すようにCPU114A、ROM114B、RAM114C、入出力部114D等のハードウェアを備えている。CPU114Aは、ROM114Bに記録されたプログラムに従って動作する。RAM114Cには、CPU114Aが演算に使用するデータ等が格納される。入出力部114Dは、ネットワークを介して制御部230から映像処理装置200の制御部230から送信された指示信号等を入力する。また、CPU114Aから送信映像圧縮部112への圧縮率制御信号を出力する。
【0018】
圧縮率制御部114は、ネットワークI/F部113を介して映像処理装置200の制御部230から生成映像データの生成パターンの指示を受け付ける。制御部230からの指示を受け付けた圧縮率制御部114は、指示された生成パターンに該当する部分重要度パターンデータを部分重要度パターン記憶部115から読み出す。圧縮率制御部114は、読み出した部分重要度パターンデータに従って、カメラ111で撮影された映像データの圧縮率を制御する。なお、生成映像データとは、カメラ111〜141で撮影された映像データに、座標変換等の処理を行って生成される映像データである。生成映像データは、カメラ111〜141で撮影された映像データの使用部分や、座標変換を変更することで複数種類(パターン)生成される。生成映像データの詳細については後述する。
【0019】
圧縮率制御部114の処理について具体的に説明する。
映像データの部分ごとの重要度が、部分重要度パターンデータによって、例えば図7Aに示すように規定されていたとする。なお、図7Aに示す重要度1の部分は、重要度が低い映像データであることを示している。重要度2の部分は、重要度が中位程度の映像データであることを示している。重要度3の部分は、重要度が高い映像データであることを示している。また、重要度0の部分は、重要ではない映像データ、すなわち、生成映像データには使用されない映像データであることを示している。なお、部分重要度パターン記憶部115、125、135、145に記憶している部分重要度パターンデータには、重要度0の映像データの位置座標を示しておかなくてもよい。すなわち、重要度1〜3の映像データの位置座標を規定しておけば、映像データのそれ以外の部分は、すべて重要度0の映像データであると判断できるからである。
圧縮率制御部114は、図7Bに示すように重要度3に設定された重要度の高い部分の映像データに対しては、圧縮率が低くなるように映像データに割り当てる圧縮符号量を制御する。逆に、重要度1に設定された重要度の低い部分の映像データに対しては、圧縮率が高くなるように映像データに割り当てる圧縮符号量を制御する。各カメラ111〜141で撮影された映像データを圧縮して映像処理装置200に送信することで、図7Aと図7Bに示すようにネットワーク150上を送信されるデータ量を削減することができる。
【0020】
圧縮率制御部114の処理について、より具体的に説明する。まず、以下の説明で使用する伝送データ量管理単位、圧縮データ量管理単位、圧縮単位について最初に説明しておく。
伝送データ量管理単位とは、伝送路に送信するパケットデータのデータ量を調整する管理単位である。例えば、1フレーム、8フレーム等のフレームを単位に伝送データ量管理単位が設定される。例えば、伝送データ量管理単位当たりの圧縮率が固定の伝送方式の場合、伝送データ量管理単位である1フレーム当たりに使用できる圧縮符号量が一定量に固定されている伝送方式となる。
また、圧縮データ量管理単位とは、圧縮符号量の調整を行う管理単位である。例えば、圧縮率を固定とした場合、この圧縮データ量管理単位で、発生させる圧縮符号の符号量が一定となるように調整を行う。圧縮データ量管理単位は、例えば、8ライン等のラインを単位に設定される。
また、圧縮単位とは、圧縮符号の割り当てを行う単位である。パケットの受信側では、この圧縮単位でデータの復元を行う。
【0021】
伝送データ量管理単位(例えば、1フレーム。以下では、伝送データ量管理単位を1フレームとして説明する)当たりの圧縮率が固定の伝送方式であった場合について説明する。
1フレーム当たりの圧縮率が固定の場合、圧縮率制御部114は、圧縮データ量管理単位(例えば、8ライン。以下、圧縮データ量管理単位を8ラインとして説明する)毎に符号割り当て量を決定する。
まず、圧縮率制御部114は、1フレームに含まれる画素のうち、需要度が0の部分の画素を不要部分として最大圧縮(最小符号量)となるように圧縮符号を割り当てる。
次に、圧縮率制御部114は、伝送データ量管理単位の割り当て可能符号量から不要部分の画素に割り当てた圧縮符号の符号量を除いた残りの符号量を求める。そして、圧縮率制御部114は、求めた残りの圧縮符号の符号量を各圧縮データ量管理単位内の画素ごとの部分重要度の総和の比率に応じて割り当てる。すなわち、重要度1〜3の画素の重要度別の画素数総和を求め、求めた重要度別の画素数総和と、重要度(1〜3)の比率で残符号量を分割し、各画素に割り当てる圧縮符号量を決定する。
なお、各画素に割り当てる符号量を、映像内容の複雑さと映像データの重要度とに基づいて決定することもできる。例えば、圧縮率制御部114は、圧縮データ量管理単位ごとに、この管理単位の映像データの複雑さをまず求める。例えば、映像データに含まれる高周波成分量に応じて映像データの複雑さを判定することができる。ここでは、例えば、5段階で映像データの複雑さを判定するものとする。そして、圧縮率制御部114は、判定した映像データの複雑さを、映像データ自体の重要度により補正して、各画素に割り当てる圧縮符号量を決定する。例えば、映像データの複雑さが複雑であることを示す「5」であっても、映像データの重要度が低ければ、複雑さを表す評価値を低い値に補正する。逆に、映像データの複雑さが複雑ではないことを示す「1」であっても、映像データ自体の重要度が高ければ、複雑さを表す評価値を高い値に補正する。圧縮率制御部114は、補正した複雑さの評価値に基づいて、各画素に割り当てる符号量を決定する。
【0022】
また、映像データを圧縮する前に、重要度0の映像データの部分は、図8に示すように予め黒画像などの固定値に置換しておくこともできる。黒画像などの固定値に置換しておくことで、置換された部分の映像データが映像データの複雑さの判定によって高圧縮率で処理される。
【0023】
ネットワークI/F部113は、内部にバッファを備えている。ネットワークI/F部113は、送信映像圧縮部112から出力された圧縮された映像データをバッファに一旦蓄積する。ネットワークI/F部113は、蓄積した映像データを分割してパケットデータに変換し、変換したパケットデータを、送信速度を調整しながらネットワーク150を介して映像処理装置200に送信する。なお、ネットワークI/F部113からネットワーク150に出力されるパケット数は、一定時間内に一定数と規定されている。従って、送信映像圧縮部112による圧縮によって映像データのデータサイズが小さくなると、1パケットデータのデータサイズもそれに応じて小さくなる。ネットワークI/F部113で生成されたパケットデータは、ネットワーク150により伝送され、映像処理装置200に送られる。
【0024】
図2に戻って、映像処理装置200について説明する。
ネットワークI/F部210は、第1撮影部110〜第4撮影部140から送信されたパケットデータを受信する。ネットワークI/F部210もバッファを備え、受信したパケットデータを一旦蓄積する。ネットワークI/F部210は、受信したパケットデータを復号処理して映像データに戻し、映像データにブランキングデータを付加して映像生成部220に出力する。また、ネットワークI/F部210は、第1撮影部110〜第4撮影部140からパケットデータを受信すると、受信したパケットデータを映像データに戻すことなく、データ列のまま映像生成部220に出力してもよい。この場合、映像生成部220でデータ列から映像データに変換することになる。
なお、撮影装置100側で高圧縮率の圧縮符号を割り当てた重要度0の映像データは、映像処理装置200側には特定色ないしは特定のパターンデータとして受信されるが、生成映像データの生成には使用されない部分なので、生成映像データに影響を及ぼすことはない。
【0025】
映像生成部220は、第1撮影部110〜第4撮影部140から送信された映像データを座標変換して、生成映像データを生成する。記憶部240には、後述する生成映像変換パターンデータが記憶されている。映像生成部220は、制御部230から指示された生成映像データを生成するための生成映像変換パターンデータを記憶部240から取得する。映像生成部220は取得した生成映像変換パターンデータに従って、第1撮影部110〜第4撮影部140から送信された映像データを座標変換し、生成映像データを生成する。
【0026】
送信部250は、映像生成部220で生成された生成映像データを表示装置320に送信する。
【0027】
次に、制御部230について説明する。図9には、制御部230のハードウェア構成の一例を示す。制御部230は、ハードウェアとしてCPU(Central Processing Unit)231、ROM(Read Only Memory)232、RAM(Random Access Memory)233、入出力部234を備えている。
ROM232には、CPU231が制御に使用するプログラムが記録されている。CPU231は、ROM232に記録されたプログラムを読み込んで、読み込んだプログラムに従った処理を行う。また、RAM233には、CPU231が演算に使用するデータや、演算結果のデータが記憶される。入出力部234は、ユーザによって操作部310から入力された操作入力を受け付け、CPU231に出力する。また、入出力部234は、CPU231から出力される指示信号をネットワークI/F部210に出力する。ネットワークI/F部210は、入出力部234から出力された指示信号をネットワーク150を介して第1撮影部110〜第4撮影部140に送信する。
【0028】
制御部230は、部分重要度パターンデータを生成映像データのパターンごとに複数生成する。部分重要度パターンデータは、第1撮影部110〜第4撮影部140ごとに生成される。制御部230は、生成した部分重要度パターンデータをネットワーク150を介して、撮影装置100に送信する。第1撮影部110〜第4撮影部140は、制御部230から送信された、該当する部分重要度パターンデータを部分重要度パターン記憶部115、125、135、145に記憶する。なお、部分重要度パターンデータは、生成映像データのパターン毎のデータを全て部分重要度パターン記憶部に記憶させておいても良いし、生成映像データのパターンの切り替えの際に対応する部分重要度パターンデータを送信して部分重要度パターン記憶部に記憶するようにしても良い。
また、制御部230は、後述する生成映像変換パターンデータを生成し、生成した生成映像変換パターンデータを記憶部240に記憶する。この生成映像変換パターンデータも生成映像データのパターンごとに複数生成される。
【0029】
操作部310は、操作者からの操作入力を受け付ける。表示装置320は、映像処理装置200から送信された生成映像データを受信する受信部321と、受信した生成映像データを表示する表示部322とを備えている。映像処理装置200で生成された生成映像データは送信部250によって表示装置320に送信される。表示装置320は、送信部250から送信された生成映像を受信部321で受信して、表示部322に表示させる。操作者は、表示部322に表示させる生成映像のパターンを切り替える操作を操作部310から行う。表示部322に表示される生成映像の例(パターン)を図10A、図10B、図11A、図11B、図12A、図12Bに示す。
【0030】
次に、図13、図14に示すフローチャートを参照しながら制御部230が部分重要度パターンデータと、生成映像変換パターンデータとを生成する手順を説明する。
まず、事前の準備として、カメラ111、121、131、141を車両に設置し、各カメラ111、121、131、141の位置座標と取り付け角度とを算出する。位置座標と取り付け角度との算出は、作業員が機器を使用して行う。図15A、15Bに示すように車両の中心を原点として、車両の幅方向をX軸、車両の前後軸方向をY軸、鉛直方向をZ軸とする。図15Aには、車両を鉛直方向(Z軸方向)から見た座標系を示し、図15Bには、車両を幅方向(X軸方向)から見た座標系を示す。また、カメラの取付角度には、ヨー角、俯角、ロール角が含まれる。ヨー角とは、図16に示すように鉛直軸周りの回転角度をいう。また、カメラの光軸周りの回転角度をロール角といい、カメラの上下方向の傾きをピッチ角という。なお、以下では、カメラの位置座標と取り付け角度とを総称してカメラの設置条件情報と呼ぶ。カメラの設置条件情報は、操作部310から入力され、制御部230の制御に従って、記憶部240に記憶される。
【0031】
事前に記憶部240に記憶させるデータには、カメラの設置条件情報の他に、カメラ111、121、131、141の特性データと、生成映像構成パターンデータとが含まれる。特性データとは、各カメラ111、121、131、141の水平、垂直方向の画素数及び画角(各カメラ111、121、131、141の視野角)とレンズディストーションデータ(レンズの歪曲収差データ)である。また、生成映像構成パターンデータには、映像投影面の形状データと、視点ベクトルのデータと、映像の表示範囲を示すデータ等が含まれる。映像投影面の形状データは、図17に示すように、各カメラ111、121、131、141で撮影された複数の映像データから生成映像データを生成するために、複数の映像データを投影させる投影面の形状データである。また、視点ベクトルのデータとは、映像データを投影させた映像投影面をどこから見た生成映像データとするかを規定するデータである。この映像投影面の形状データと、視点ベクトルとにより各カメラ111〜141によって撮影された映像の部分ごとの倍率が変化する。また、映像の表示範囲を示すデータは、図17に示すように生成映像データとして表示させる範囲を示すデータである。
【0032】
制御部230は、記憶部240に記憶されたカメラの設置条件情報と、カメラの特性データと、生成映像構成パターンデータとを使用して生成映像変換パターンデータを生成する(ステップS1)。生成映像変換パターンデータは、各カメラ111、121、131、141の映像データを生成映像データに変換するための座標変換データである。生成映像変換パターンデータは、例えば、図18Aに示すようにポリゴン番号と、ポリゴン番号が示すポリゴンの各頂点の番号と、頂点番号が示す各頂点の座標変換前の座標値情報と、頂点番号が示す各頂点の座標変換後の生成映像データ上での座標値データとを含む。なお、ポリゴンとは、カメラの映像データから生成映像データに座標変換するときの座標変換の処理単位となる区画であり、ポリゴン番号は、各ポリゴンを識別する識別番号である。また、生成映像変換パターンデータは、図18Bに示すデータ形式であってもよい。図18Bに示す生成映像変換パターンデータは、ポリゴン番号と、ポリゴン番号が示すポリゴンの頂点番号と、頂点番号が示す頂点の座標変換前の映像データ上の座標値のデータと、映像投影面上での座標値のデータと、視点ベクトルデータとを含む。制御部230は、生成した生成映像変換パターンデータを記憶部240に記憶する(ステップS2)
【0033】
次に、制御部230は、生成映像変換パターンデータを用いて部分重要度パターンデータを生成する(ステップS3)。生成映像変換パターンデータから部分重要度パターンデータを生成する手順については、図14に示すフローチャートを参照しながら後述する。
【0034】
次に、制御部230は、生成した各部分重要度パターンデータを、対応する撮影部(第1撮影部110〜第4撮影部140)に送信する(ステップS4)。第1撮影部110〜第4撮影部140は、制御部230から送信された部分重要度パターンデータを各部分重要度パターン記憶部115、125、135、145に記憶する。
【0035】
次に、図14に示すフローチャートを参照しながら制御部230が生成映像変換パターンデータから部分重要度パターンデータを生成する手順について説明する。
まず、制御部230は、生成映像変換パターンデータを参照して、各カメラ111、121、131、141の映像データから生成映像データに使用される使用範囲を算出する。さらに、制御部230は、使用範囲の映像データの各画素の座標変換による拡大率(縮小を含む:以下、画素拡大率という)を算出する(ステップS11)。さらに、制御部230は、算出した各画素の画素拡大率に基づいて画素拡大率の分布を算出する。制御部230は、使用範囲の映像データの各画素が座標変換に伴って拡大(又は縮小される)画素拡大率を算出する。画素拡大率の算出は、X軸方向、Y軸方向でそれぞれ算出してもよいし、各画素の座標変換前と変換後の面積比で求めてもよい。
【0036】
次に、制御部230は、車両からの距離に基づいて画素拡大率を補正する範囲を求め、画素拡大率を補正する(ステップS12)。例えば、運転支援に効果のない遠方や空の部分は、運転支援のための生成映像データには必要のない部分と判定し、制御部230は対象外のデータ、又は重要度を下げる対象のデータに設定する。図19Aに示す例では、Z軸(鉛直)方向の座標値が一定値Z1よりも大きい生成映像データの画素の画素拡大率を所定値に修正したり、画素拡大率を所定値下げる補正を行う。また、図19Bに示す例では、X軸方向、Y軸方向について、自車両の近傍の一定範囲内だけが運転支援に重要な範囲と判定する。例えば、制御部230は、図19Bに示すように車両の全幅、全長(X2、Y4)に一定値を加算した範囲(X2+X3、Y4+Y5)よりも外側の画素の画素拡大率を所定値に修正したり、画素拡大率を所定値下げる補正を行う。
【0037】
次に、制御部230は、ステップS12で補正した各画素の画素拡大率に対してクラスタリング(又は正規化)等の処理を行い、画素拡大率をクラス分けする。制御部230は、クラス分けした画素拡大率に基づいて重要度分布を求める(ステップS13)。例えば、画素拡大率が5以上の画素の分布、画素拡大率が2以上5未満の画素の分布、画素拡大率が0よりも大きく2未満の画素の分布、画素拡大率が0の画素の分布をそれぞれ求める。そして、画素拡大率が5以上の画素の分布を重要度高の画素分布とする。また、画素拡大率が2以上5未満の画素の分布を重要度中の画素分布とする。また、画素拡大率が0よりも大きく2未満の画素の分布を重要度低の画素分布とする。また、画素拡大率が0の画素の分布を重要度0(生成映像に使用しない)の画素分布とする。画素拡大率の大きい画素は、生成映像データに変換したときの表示面積が広いため、重要度の高いデータであると判断できる。また、画素拡大率の低い画素は、生成映像データに変換したときの表示面積が狭いため、重要度の低いデータであると判断できる。
図20Aにカメラ111で撮影された車両前方の映像データの重要度分布を示す。同様に、図20Bに、カメラ121で撮影された車両左側方の映像データの重要度分布を示す。図20Cに、カメラ131で撮影された車両右方の映像データの重要度分布を示す。図20Dに、カメラ141で撮影された車両後方の映像データの重要度分布を示す。図21に、生成された第1撮影部110〜第4撮影部140の部分重要度パターンデータの一例を示す。
【0038】
制御部230は、以上の処理を行い、部分重要度パターンデータと、生成映像変換パターンデータとを生成する。制御部230は、各カメラの映像データごとに生成した部分重要度パターンデータを、第1撮影部110〜第4撮影部140にそれぞれ送信する。第1撮影部110〜第4撮影部140の部分重要度パターン記憶部115、125、135、145には、生成映像データのパターンごとに部分重要度パターンデータが記憶される。
【0039】
次に、図22、図23に示すフローチャートを参照しながら、映像処理システム1の動作手順を説明する。
まず、制御部230は、操作部310から生成映像の変更指示が入力されたか否かを判定する(ステップS21)。生成映像の変更指示が入力された場合には(ステップS21/YES)、制御部230は、変更指示を撮影装置100に通知する。通知を受けた第1撮影部110〜第4撮影部140は、生成映像の変更指示をメモリに記録する(ステップS22)。
【0040】
次に、カメラ111〜141で映像を撮影し、映像データを入力すると(ステップS23/YES)、圧縮率制御部114〜144は、制御部230から指示された生成映像を生成するための部分重要度パターンデータを取得する。圧縮率制御部114〜144は、取得した部分重要度パターンデータを参照して、カメラ111〜141で撮影された映像データの圧縮率を制御する(ステップS24)。この際、圧縮率制御部114〜141は、部分重要度パターンデータとして記録された重要度に応じて映像データの部分ごとの圧縮率を変更する。送信映像圧縮部112〜142で圧縮された映像データは、ネットワークI/F部113〜143にそれぞれ出力される。ネットワークI/F部113〜143は、圧縮された1フレームの映像データのデータ量に応じたサイズのパケットデータを生成し、映像処理装置200に送信する(ステップS25)。
【0041】
次に、図23に示すフローチャートを参照しながら映像処理装置200の処理手順を説明する。
映像処理装置200は、ネットワーク150を介して第1撮影部110〜第4撮影部140から送信されたパケットデータをネットワークI/F部210で受信する。ネットワークI/F部210は、パケットデータを入力すると(ステップS31/YES)、入力したパケットデータを復号して映像データに変換する(ステップS32)。ネットワークI/F部210は、復号した映像データにブランキングデータを付加して映像生成部220に出力する。映像生成部220は、ネットワークI/F部210から映像データを入力すると、記憶部240に記憶した生成映像変換パターンデータを参照して、複数の映像データから生成映像データに変換する(ステップS33)。
【0042】
このように本実施例は、部分重要度パターンデータとして記録された重要度に応じて映像データの部分ごとの圧縮率を変更し、圧縮したデータを映像処理装置200に送信している。従って、撮影装置から送信されるデータ量の削減と、高品質な生成映像の生成とを両立させることができる。
【0043】
上述した実施例は、本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【0044】
1 映像処理システム
100 撮影装置
110 第1撮影部
111、121、131、141 カメラ
112、122、132、142 送信映像圧縮部
113、123、133、143 ネットワークI/F部
114、124、134、144 圧縮率制御部
115、125、135、145 部分重要度パターン記憶部
120 第2撮影部
130 第3撮影部
140 第4撮影部
200 映像処理装置
210 ネットワークI/F部
220 映像生成部
230 制御部
240 記憶部
250 送信部
310 操作部
320 表示装置
【技術分野】
【0001】
本発明は、複数の撮影装置(例えば、カメラ)で周辺の映像を撮影し、撮影した映像を合成処理して表示装置に表示させる映像処理システムに関する。
【背景技術】
【0002】
近年、車両に搭載された複数台のカメラによって、運転者の死角となる車両の周辺部を映し出し、車室内に搭載された表示装置(モニタ)に表示することで運転者の安全運転を支援する装置が提案されている。
【0003】
しかしながら、より高精細な映像を表示するため、カメラの解像度を上げると、カメラの映像を処理する映像処理装置に送信するデータ量が大幅に増加する。また、車両に搭載するカメラの台数を増やしても同様のことが言える。このため、各カメラと映像処理装置とをつなぐ伝送路の帯域幅によって送信可能なデータ量が制限される場合がある。
【0004】
特許文献1及び2には、画像取込み装置又はカメラ制御装置から、画像受信装置へ送信されるデータ量を削減する技術が開示されている。特許文献1では、画像受信装置側で、生成する画像のレイアウト情報を作成して画像取込み装置に送信する。画像取込み装置は、取得したレイアウト情報に従って、取り込んだ画像データの切り出しを行い、切り出した画像を画像受信装置に送信している。また、特許文献2では、カメラ制御装置が、カメラの撮影方向とズーム倍率を検出して、カメラによって撮影された映像を所望の解像度およびフレームレートの映像に変換している。変換した映像は、カメラ制御装置から端末に送信される。端末は、各カメラ制御装置から送信された映像を合成してモニタに表示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2000−83193号公報
【特許文献2】特開平10−136345号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
右左折、車線変更、車庫入れ等、運転者の運転状況に応じて生成する生成映像のパターンを切り替えることで運転者の利便性が向上するが、生成映像のパターンに応じて、各カメラ映像の使用部分や、必要な映像の解像度が異なってくる。例えば、図1に示すようにカメラに近い側では、映像の画素当たりの地面の面積が狭いが、カメラから離れるに従って、映像の画素当たりの地面の面積が広くなってくる。従って、例えば、俯瞰映像を生成すると、カメラから遠くなるに従い、少ない画素から広い映像を生成する必要があり、映像が粗くなる。
このため、カメラ等の撮影装置から映像処理装置へのデータ量を削減しつつ、複数種類の生成映像を高精細に生成するためには、生成映像に使用される部分ごとに解像度を調整したカメラ映像を映像処理装置に送信する必要がある。
【0007】
本発明は上記事情に鑑みてなされたものであり、撮影装置から送信されるデータ量の削減と、高品質な生成映像の生成とを両立する映像処理システム、撮影装置及び映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本明細書に開示の映像処理システムは、映像データを表示可能な表示装置と、車両周辺を撮影可能な複数の撮影装置と、車内伝送路経由で前記複数の撮影装置と連携し、撮影された複数の映像データから複数種類の生成映像データを生成する映像処理装置とを備えた映像処理システムであって、前記複数の撮影装置は、それぞれ、映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に前記映像データの各領域に要求される解像度に基づいて前記各領域ごとに算出された重要度とを記憶した記憶部と、前記重要度を参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮する映像圧縮部と、前記圧縮された映像データを前記車内伝送路経由で前記映像処理装置に送信する送信部とを備え、前記映像処理装置は、前記複数の撮影装置から送信される、前記圧縮された映像データを入力する入力部と、入力した複数の圧縮された映像データに基づいて、前記表示装置に表示する映像データを生成する映像生成部と、生成した映像データを前記表示装置に送信する送信部とを備え、前記表示装置は、前記映像処理装置から送信された前記生成映像データを受信する受信部と、受信した生成映像データを表示する表示部とを備えている。
【発明の効果】
【0009】
本明細書に開示の映像処理システムによれば、撮影装置から送信されるデータ量の削減と、高品質な生成映像の生成とを両立する映像処理システムを提供することができる。
【図面の簡単な説明】
【0010】
【図1】撮影範囲と映像の解像度との関係を示す図である。
【図2】映像処理システムの構成の一例を示す図である。
【図3】第1撮影部〜第4撮影部の構成の一例を示す図である。
【図4】カメラの車両搭載位置の一例を示す図である。
【図5】部分重要度パターンデータの一例を示す図である。
【図6】圧縮率制御部のハードウェア構成の一例を示す図である。
【図7】圧縮率制御部及び送信映像圧縮部の処理を説明するための図である。
【図8】圧縮率制御部及び送信映像圧縮部の処理を説明するための図である。
【図9】映像処理装置の制御部のハードウェア構成の一例を示す図である。
【図10】10A及び10Bは、表示部に表示される表示の例を示す図である。
【図11】11A及び11Bは、表示部に表示される表示の例を示す図である。
【図12】12A及び12Bは、表示部に表示される表示の例を示す図である。
【図13】制御部による生成映像変換パターンデータと部分重要度パターンデータの生成手順を示すフローチャートである。
【図14】制御部による部分重要度パターンデータの生成手順を示すフローチャートである。
【図15】15Aは、車両を鉛直方向(Z軸方向)から見た座標系を示し、15Bは、車両を幅方向(X軸方向)から見た座標系を示す図である。
【図16】カメラの取り付け角度を説明するための図である。
【図17】生成映像構成パターンデータを説明するための図である。
【図18】18A及び18Bは生成映像変換パターンデータの一例を示す図である。
【図19】19A及び19Bは、映像データの重要度分布の補正範囲の例を説明する図である。
【図20】20A〜20Dは、カメラで撮影された映像データの重要度分布を示す図である。
【図21】第1撮影部〜第4撮影部ごとに生成された部分重要度パターンデータの一例を示す図である。
【図22】撮影部の処理手順を示すフローチャートである。
【図23】映像処理装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、添付図面を参照しながら本発明の好適な実施例を説明する。
【実施例】
【0012】
本実施例の映像処理システム1は、図2に示すように撮影装置100と、映像処理装置200と、操作部310と、表示装置320とを備えている。撮影装置100は、第1撮影部110と、第2撮影部120と、第3撮影部130と、第4撮影部140とを備えている。また、映像処理装置200は、ネットワークインターフェース部(以下、インターフェースをI/Fと略記する)210と、映像生成部220と、制御部230と、記憶部240と、送信部250とを備えている。表示装置320は、受信部321と、表示部322とを備えている。また、撮影装置100と、映像処理装置200とはLAN等のネットワーク150で接続されている。
【0013】
図3を参照しながら撮影装置100の詳細について説明する。なお、第1撮影部110〜第4撮影部140は、ほぼ同一の構成を備えているため、以下では代表して第1撮影部110について説明する。第1撮影部110は、カメラ111と、送信映像圧縮部112と、ネットワークI/F部113と、圧縮率制御部114と、部分重要度パターン記憶部115とを備えている。
【0014】
カメラ111は、車両周辺の映像を撮影し、撮影した映像データを送信映像圧縮部112に出力する。図4に第1撮影部110のカメラ111、第2撮影部120のカメラ121、第3撮影部130のカメラ131、第4撮影部140のカメラ141の車両の設置位置の一例を示す。カメラ111は、車両の前方に配置され、車両前方の映像を撮影する。カメラ121は、車両の左側方に配置され、車両左側方の映像を撮影する。カメラ131は、車両の右側方に配置され、車両右側方の映像を撮影する。カメラ141は、車両の後方に配置され、車両後方の映像を撮影する。なお、本実施例では、車両に4つのカメラを搭載しているが、カメラの数は4つに限定されるものではなく、3つでも5つや6つであってもよい。例えば、カメラのレンズを広角レンズとすることで、カメラの設置数を削減することもできる。また、カメラは、最初から車両に搭載されているものであっても連係動作可能であれば問題ない。
【0015】
送信映像圧縮部112は、圧縮率制御部114から指示された圧縮率で、カメラ111によって撮影された映像データを圧縮する。送信映像圧縮部112は、圧縮処理した映像データをネットワークI/F部113に出力する。
【0016】
部分重要度パターン記憶部115は、映像データの分割した複数の領域ごとの重要度を表す部分重要度パターンデータを記憶している。図5に部分重要度パターンデータの一例を示す。図5に示すように部分重要度パターンデータは、映像データの分割した領域の位置を示す位置座標と、当該位置座標の映像データの重要度(部分重要度)とを含む。なお、位置座標の例として、例えば、領域の左上座標と、右下座標とを用いることができる。また、重要度とは、生成映像の生成の際に要求される映像データの部分ごとの解像度を反映した情報である。詳細については後述する。
【0017】
圧縮率制御部114は、図6に示すようにCPU114A、ROM114B、RAM114C、入出力部114D等のハードウェアを備えている。CPU114Aは、ROM114Bに記録されたプログラムに従って動作する。RAM114Cには、CPU114Aが演算に使用するデータ等が格納される。入出力部114Dは、ネットワークを介して制御部230から映像処理装置200の制御部230から送信された指示信号等を入力する。また、CPU114Aから送信映像圧縮部112への圧縮率制御信号を出力する。
【0018】
圧縮率制御部114は、ネットワークI/F部113を介して映像処理装置200の制御部230から生成映像データの生成パターンの指示を受け付ける。制御部230からの指示を受け付けた圧縮率制御部114は、指示された生成パターンに該当する部分重要度パターンデータを部分重要度パターン記憶部115から読み出す。圧縮率制御部114は、読み出した部分重要度パターンデータに従って、カメラ111で撮影された映像データの圧縮率を制御する。なお、生成映像データとは、カメラ111〜141で撮影された映像データに、座標変換等の処理を行って生成される映像データである。生成映像データは、カメラ111〜141で撮影された映像データの使用部分や、座標変換を変更することで複数種類(パターン)生成される。生成映像データの詳細については後述する。
【0019】
圧縮率制御部114の処理について具体的に説明する。
映像データの部分ごとの重要度が、部分重要度パターンデータによって、例えば図7Aに示すように規定されていたとする。なお、図7Aに示す重要度1の部分は、重要度が低い映像データであることを示している。重要度2の部分は、重要度が中位程度の映像データであることを示している。重要度3の部分は、重要度が高い映像データであることを示している。また、重要度0の部分は、重要ではない映像データ、すなわち、生成映像データには使用されない映像データであることを示している。なお、部分重要度パターン記憶部115、125、135、145に記憶している部分重要度パターンデータには、重要度0の映像データの位置座標を示しておかなくてもよい。すなわち、重要度1〜3の映像データの位置座標を規定しておけば、映像データのそれ以外の部分は、すべて重要度0の映像データであると判断できるからである。
圧縮率制御部114は、図7Bに示すように重要度3に設定された重要度の高い部分の映像データに対しては、圧縮率が低くなるように映像データに割り当てる圧縮符号量を制御する。逆に、重要度1に設定された重要度の低い部分の映像データに対しては、圧縮率が高くなるように映像データに割り当てる圧縮符号量を制御する。各カメラ111〜141で撮影された映像データを圧縮して映像処理装置200に送信することで、図7Aと図7Bに示すようにネットワーク150上を送信されるデータ量を削減することができる。
【0020】
圧縮率制御部114の処理について、より具体的に説明する。まず、以下の説明で使用する伝送データ量管理単位、圧縮データ量管理単位、圧縮単位について最初に説明しておく。
伝送データ量管理単位とは、伝送路に送信するパケットデータのデータ量を調整する管理単位である。例えば、1フレーム、8フレーム等のフレームを単位に伝送データ量管理単位が設定される。例えば、伝送データ量管理単位当たりの圧縮率が固定の伝送方式の場合、伝送データ量管理単位である1フレーム当たりに使用できる圧縮符号量が一定量に固定されている伝送方式となる。
また、圧縮データ量管理単位とは、圧縮符号量の調整を行う管理単位である。例えば、圧縮率を固定とした場合、この圧縮データ量管理単位で、発生させる圧縮符号の符号量が一定となるように調整を行う。圧縮データ量管理単位は、例えば、8ライン等のラインを単位に設定される。
また、圧縮単位とは、圧縮符号の割り当てを行う単位である。パケットの受信側では、この圧縮単位でデータの復元を行う。
【0021】
伝送データ量管理単位(例えば、1フレーム。以下では、伝送データ量管理単位を1フレームとして説明する)当たりの圧縮率が固定の伝送方式であった場合について説明する。
1フレーム当たりの圧縮率が固定の場合、圧縮率制御部114は、圧縮データ量管理単位(例えば、8ライン。以下、圧縮データ量管理単位を8ラインとして説明する)毎に符号割り当て量を決定する。
まず、圧縮率制御部114は、1フレームに含まれる画素のうち、需要度が0の部分の画素を不要部分として最大圧縮(最小符号量)となるように圧縮符号を割り当てる。
次に、圧縮率制御部114は、伝送データ量管理単位の割り当て可能符号量から不要部分の画素に割り当てた圧縮符号の符号量を除いた残りの符号量を求める。そして、圧縮率制御部114は、求めた残りの圧縮符号の符号量を各圧縮データ量管理単位内の画素ごとの部分重要度の総和の比率に応じて割り当てる。すなわち、重要度1〜3の画素の重要度別の画素数総和を求め、求めた重要度別の画素数総和と、重要度(1〜3)の比率で残符号量を分割し、各画素に割り当てる圧縮符号量を決定する。
なお、各画素に割り当てる符号量を、映像内容の複雑さと映像データの重要度とに基づいて決定することもできる。例えば、圧縮率制御部114は、圧縮データ量管理単位ごとに、この管理単位の映像データの複雑さをまず求める。例えば、映像データに含まれる高周波成分量に応じて映像データの複雑さを判定することができる。ここでは、例えば、5段階で映像データの複雑さを判定するものとする。そして、圧縮率制御部114は、判定した映像データの複雑さを、映像データ自体の重要度により補正して、各画素に割り当てる圧縮符号量を決定する。例えば、映像データの複雑さが複雑であることを示す「5」であっても、映像データの重要度が低ければ、複雑さを表す評価値を低い値に補正する。逆に、映像データの複雑さが複雑ではないことを示す「1」であっても、映像データ自体の重要度が高ければ、複雑さを表す評価値を高い値に補正する。圧縮率制御部114は、補正した複雑さの評価値に基づいて、各画素に割り当てる符号量を決定する。
【0022】
また、映像データを圧縮する前に、重要度0の映像データの部分は、図8に示すように予め黒画像などの固定値に置換しておくこともできる。黒画像などの固定値に置換しておくことで、置換された部分の映像データが映像データの複雑さの判定によって高圧縮率で処理される。
【0023】
ネットワークI/F部113は、内部にバッファを備えている。ネットワークI/F部113は、送信映像圧縮部112から出力された圧縮された映像データをバッファに一旦蓄積する。ネットワークI/F部113は、蓄積した映像データを分割してパケットデータに変換し、変換したパケットデータを、送信速度を調整しながらネットワーク150を介して映像処理装置200に送信する。なお、ネットワークI/F部113からネットワーク150に出力されるパケット数は、一定時間内に一定数と規定されている。従って、送信映像圧縮部112による圧縮によって映像データのデータサイズが小さくなると、1パケットデータのデータサイズもそれに応じて小さくなる。ネットワークI/F部113で生成されたパケットデータは、ネットワーク150により伝送され、映像処理装置200に送られる。
【0024】
図2に戻って、映像処理装置200について説明する。
ネットワークI/F部210は、第1撮影部110〜第4撮影部140から送信されたパケットデータを受信する。ネットワークI/F部210もバッファを備え、受信したパケットデータを一旦蓄積する。ネットワークI/F部210は、受信したパケットデータを復号処理して映像データに戻し、映像データにブランキングデータを付加して映像生成部220に出力する。また、ネットワークI/F部210は、第1撮影部110〜第4撮影部140からパケットデータを受信すると、受信したパケットデータを映像データに戻すことなく、データ列のまま映像生成部220に出力してもよい。この場合、映像生成部220でデータ列から映像データに変換することになる。
なお、撮影装置100側で高圧縮率の圧縮符号を割り当てた重要度0の映像データは、映像処理装置200側には特定色ないしは特定のパターンデータとして受信されるが、生成映像データの生成には使用されない部分なので、生成映像データに影響を及ぼすことはない。
【0025】
映像生成部220は、第1撮影部110〜第4撮影部140から送信された映像データを座標変換して、生成映像データを生成する。記憶部240には、後述する生成映像変換パターンデータが記憶されている。映像生成部220は、制御部230から指示された生成映像データを生成するための生成映像変換パターンデータを記憶部240から取得する。映像生成部220は取得した生成映像変換パターンデータに従って、第1撮影部110〜第4撮影部140から送信された映像データを座標変換し、生成映像データを生成する。
【0026】
送信部250は、映像生成部220で生成された生成映像データを表示装置320に送信する。
【0027】
次に、制御部230について説明する。図9には、制御部230のハードウェア構成の一例を示す。制御部230は、ハードウェアとしてCPU(Central Processing Unit)231、ROM(Read Only Memory)232、RAM(Random Access Memory)233、入出力部234を備えている。
ROM232には、CPU231が制御に使用するプログラムが記録されている。CPU231は、ROM232に記録されたプログラムを読み込んで、読み込んだプログラムに従った処理を行う。また、RAM233には、CPU231が演算に使用するデータや、演算結果のデータが記憶される。入出力部234は、ユーザによって操作部310から入力された操作入力を受け付け、CPU231に出力する。また、入出力部234は、CPU231から出力される指示信号をネットワークI/F部210に出力する。ネットワークI/F部210は、入出力部234から出力された指示信号をネットワーク150を介して第1撮影部110〜第4撮影部140に送信する。
【0028】
制御部230は、部分重要度パターンデータを生成映像データのパターンごとに複数生成する。部分重要度パターンデータは、第1撮影部110〜第4撮影部140ごとに生成される。制御部230は、生成した部分重要度パターンデータをネットワーク150を介して、撮影装置100に送信する。第1撮影部110〜第4撮影部140は、制御部230から送信された、該当する部分重要度パターンデータを部分重要度パターン記憶部115、125、135、145に記憶する。なお、部分重要度パターンデータは、生成映像データのパターン毎のデータを全て部分重要度パターン記憶部に記憶させておいても良いし、生成映像データのパターンの切り替えの際に対応する部分重要度パターンデータを送信して部分重要度パターン記憶部に記憶するようにしても良い。
また、制御部230は、後述する生成映像変換パターンデータを生成し、生成した生成映像変換パターンデータを記憶部240に記憶する。この生成映像変換パターンデータも生成映像データのパターンごとに複数生成される。
【0029】
操作部310は、操作者からの操作入力を受け付ける。表示装置320は、映像処理装置200から送信された生成映像データを受信する受信部321と、受信した生成映像データを表示する表示部322とを備えている。映像処理装置200で生成された生成映像データは送信部250によって表示装置320に送信される。表示装置320は、送信部250から送信された生成映像を受信部321で受信して、表示部322に表示させる。操作者は、表示部322に表示させる生成映像のパターンを切り替える操作を操作部310から行う。表示部322に表示される生成映像の例(パターン)を図10A、図10B、図11A、図11B、図12A、図12Bに示す。
【0030】
次に、図13、図14に示すフローチャートを参照しながら制御部230が部分重要度パターンデータと、生成映像変換パターンデータとを生成する手順を説明する。
まず、事前の準備として、カメラ111、121、131、141を車両に設置し、各カメラ111、121、131、141の位置座標と取り付け角度とを算出する。位置座標と取り付け角度との算出は、作業員が機器を使用して行う。図15A、15Bに示すように車両の中心を原点として、車両の幅方向をX軸、車両の前後軸方向をY軸、鉛直方向をZ軸とする。図15Aには、車両を鉛直方向(Z軸方向)から見た座標系を示し、図15Bには、車両を幅方向(X軸方向)から見た座標系を示す。また、カメラの取付角度には、ヨー角、俯角、ロール角が含まれる。ヨー角とは、図16に示すように鉛直軸周りの回転角度をいう。また、カメラの光軸周りの回転角度をロール角といい、カメラの上下方向の傾きをピッチ角という。なお、以下では、カメラの位置座標と取り付け角度とを総称してカメラの設置条件情報と呼ぶ。カメラの設置条件情報は、操作部310から入力され、制御部230の制御に従って、記憶部240に記憶される。
【0031】
事前に記憶部240に記憶させるデータには、カメラの設置条件情報の他に、カメラ111、121、131、141の特性データと、生成映像構成パターンデータとが含まれる。特性データとは、各カメラ111、121、131、141の水平、垂直方向の画素数及び画角(各カメラ111、121、131、141の視野角)とレンズディストーションデータ(レンズの歪曲収差データ)である。また、生成映像構成パターンデータには、映像投影面の形状データと、視点ベクトルのデータと、映像の表示範囲を示すデータ等が含まれる。映像投影面の形状データは、図17に示すように、各カメラ111、121、131、141で撮影された複数の映像データから生成映像データを生成するために、複数の映像データを投影させる投影面の形状データである。また、視点ベクトルのデータとは、映像データを投影させた映像投影面をどこから見た生成映像データとするかを規定するデータである。この映像投影面の形状データと、視点ベクトルとにより各カメラ111〜141によって撮影された映像の部分ごとの倍率が変化する。また、映像の表示範囲を示すデータは、図17に示すように生成映像データとして表示させる範囲を示すデータである。
【0032】
制御部230は、記憶部240に記憶されたカメラの設置条件情報と、カメラの特性データと、生成映像構成パターンデータとを使用して生成映像変換パターンデータを生成する(ステップS1)。生成映像変換パターンデータは、各カメラ111、121、131、141の映像データを生成映像データに変換するための座標変換データである。生成映像変換パターンデータは、例えば、図18Aに示すようにポリゴン番号と、ポリゴン番号が示すポリゴンの各頂点の番号と、頂点番号が示す各頂点の座標変換前の座標値情報と、頂点番号が示す各頂点の座標変換後の生成映像データ上での座標値データとを含む。なお、ポリゴンとは、カメラの映像データから生成映像データに座標変換するときの座標変換の処理単位となる区画であり、ポリゴン番号は、各ポリゴンを識別する識別番号である。また、生成映像変換パターンデータは、図18Bに示すデータ形式であってもよい。図18Bに示す生成映像変換パターンデータは、ポリゴン番号と、ポリゴン番号が示すポリゴンの頂点番号と、頂点番号が示す頂点の座標変換前の映像データ上の座標値のデータと、映像投影面上での座標値のデータと、視点ベクトルデータとを含む。制御部230は、生成した生成映像変換パターンデータを記憶部240に記憶する(ステップS2)
【0033】
次に、制御部230は、生成映像変換パターンデータを用いて部分重要度パターンデータを生成する(ステップS3)。生成映像変換パターンデータから部分重要度パターンデータを生成する手順については、図14に示すフローチャートを参照しながら後述する。
【0034】
次に、制御部230は、生成した各部分重要度パターンデータを、対応する撮影部(第1撮影部110〜第4撮影部140)に送信する(ステップS4)。第1撮影部110〜第4撮影部140は、制御部230から送信された部分重要度パターンデータを各部分重要度パターン記憶部115、125、135、145に記憶する。
【0035】
次に、図14に示すフローチャートを参照しながら制御部230が生成映像変換パターンデータから部分重要度パターンデータを生成する手順について説明する。
まず、制御部230は、生成映像変換パターンデータを参照して、各カメラ111、121、131、141の映像データから生成映像データに使用される使用範囲を算出する。さらに、制御部230は、使用範囲の映像データの各画素の座標変換による拡大率(縮小を含む:以下、画素拡大率という)を算出する(ステップS11)。さらに、制御部230は、算出した各画素の画素拡大率に基づいて画素拡大率の分布を算出する。制御部230は、使用範囲の映像データの各画素が座標変換に伴って拡大(又は縮小される)画素拡大率を算出する。画素拡大率の算出は、X軸方向、Y軸方向でそれぞれ算出してもよいし、各画素の座標変換前と変換後の面積比で求めてもよい。
【0036】
次に、制御部230は、車両からの距離に基づいて画素拡大率を補正する範囲を求め、画素拡大率を補正する(ステップS12)。例えば、運転支援に効果のない遠方や空の部分は、運転支援のための生成映像データには必要のない部分と判定し、制御部230は対象外のデータ、又は重要度を下げる対象のデータに設定する。図19Aに示す例では、Z軸(鉛直)方向の座標値が一定値Z1よりも大きい生成映像データの画素の画素拡大率を所定値に修正したり、画素拡大率を所定値下げる補正を行う。また、図19Bに示す例では、X軸方向、Y軸方向について、自車両の近傍の一定範囲内だけが運転支援に重要な範囲と判定する。例えば、制御部230は、図19Bに示すように車両の全幅、全長(X2、Y4)に一定値を加算した範囲(X2+X3、Y4+Y5)よりも外側の画素の画素拡大率を所定値に修正したり、画素拡大率を所定値下げる補正を行う。
【0037】
次に、制御部230は、ステップS12で補正した各画素の画素拡大率に対してクラスタリング(又は正規化)等の処理を行い、画素拡大率をクラス分けする。制御部230は、クラス分けした画素拡大率に基づいて重要度分布を求める(ステップS13)。例えば、画素拡大率が5以上の画素の分布、画素拡大率が2以上5未満の画素の分布、画素拡大率が0よりも大きく2未満の画素の分布、画素拡大率が0の画素の分布をそれぞれ求める。そして、画素拡大率が5以上の画素の分布を重要度高の画素分布とする。また、画素拡大率が2以上5未満の画素の分布を重要度中の画素分布とする。また、画素拡大率が0よりも大きく2未満の画素の分布を重要度低の画素分布とする。また、画素拡大率が0の画素の分布を重要度0(生成映像に使用しない)の画素分布とする。画素拡大率の大きい画素は、生成映像データに変換したときの表示面積が広いため、重要度の高いデータであると判断できる。また、画素拡大率の低い画素は、生成映像データに変換したときの表示面積が狭いため、重要度の低いデータであると判断できる。
図20Aにカメラ111で撮影された車両前方の映像データの重要度分布を示す。同様に、図20Bに、カメラ121で撮影された車両左側方の映像データの重要度分布を示す。図20Cに、カメラ131で撮影された車両右方の映像データの重要度分布を示す。図20Dに、カメラ141で撮影された車両後方の映像データの重要度分布を示す。図21に、生成された第1撮影部110〜第4撮影部140の部分重要度パターンデータの一例を示す。
【0038】
制御部230は、以上の処理を行い、部分重要度パターンデータと、生成映像変換パターンデータとを生成する。制御部230は、各カメラの映像データごとに生成した部分重要度パターンデータを、第1撮影部110〜第4撮影部140にそれぞれ送信する。第1撮影部110〜第4撮影部140の部分重要度パターン記憶部115、125、135、145には、生成映像データのパターンごとに部分重要度パターンデータが記憶される。
【0039】
次に、図22、図23に示すフローチャートを参照しながら、映像処理システム1の動作手順を説明する。
まず、制御部230は、操作部310から生成映像の変更指示が入力されたか否かを判定する(ステップS21)。生成映像の変更指示が入力された場合には(ステップS21/YES)、制御部230は、変更指示を撮影装置100に通知する。通知を受けた第1撮影部110〜第4撮影部140は、生成映像の変更指示をメモリに記録する(ステップS22)。
【0040】
次に、カメラ111〜141で映像を撮影し、映像データを入力すると(ステップS23/YES)、圧縮率制御部114〜144は、制御部230から指示された生成映像を生成するための部分重要度パターンデータを取得する。圧縮率制御部114〜144は、取得した部分重要度パターンデータを参照して、カメラ111〜141で撮影された映像データの圧縮率を制御する(ステップS24)。この際、圧縮率制御部114〜141は、部分重要度パターンデータとして記録された重要度に応じて映像データの部分ごとの圧縮率を変更する。送信映像圧縮部112〜142で圧縮された映像データは、ネットワークI/F部113〜143にそれぞれ出力される。ネットワークI/F部113〜143は、圧縮された1フレームの映像データのデータ量に応じたサイズのパケットデータを生成し、映像処理装置200に送信する(ステップS25)。
【0041】
次に、図23に示すフローチャートを参照しながら映像処理装置200の処理手順を説明する。
映像処理装置200は、ネットワーク150を介して第1撮影部110〜第4撮影部140から送信されたパケットデータをネットワークI/F部210で受信する。ネットワークI/F部210は、パケットデータを入力すると(ステップS31/YES)、入力したパケットデータを復号して映像データに変換する(ステップS32)。ネットワークI/F部210は、復号した映像データにブランキングデータを付加して映像生成部220に出力する。映像生成部220は、ネットワークI/F部210から映像データを入力すると、記憶部240に記憶した生成映像変換パターンデータを参照して、複数の映像データから生成映像データに変換する(ステップS33)。
【0042】
このように本実施例は、部分重要度パターンデータとして記録された重要度に応じて映像データの部分ごとの圧縮率を変更し、圧縮したデータを映像処理装置200に送信している。従って、撮影装置から送信されるデータ量の削減と、高品質な生成映像の生成とを両立させることができる。
【0043】
上述した実施例は、本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【0044】
1 映像処理システム
100 撮影装置
110 第1撮影部
111、121、131、141 カメラ
112、122、132、142 送信映像圧縮部
113、123、133、143 ネットワークI/F部
114、124、134、144 圧縮率制御部
115、125、135、145 部分重要度パターン記憶部
120 第2撮影部
130 第3撮影部
140 第4撮影部
200 映像処理装置
210 ネットワークI/F部
220 映像生成部
230 制御部
240 記憶部
250 送信部
310 操作部
320 表示装置
【特許請求の範囲】
【請求項1】
映像データを表示可能な表示装置と、車両周辺を撮影可能な複数の撮影装置と、車内伝送路経由で前記複数の撮影装置と連携し、撮影された複数の映像データから複数種類の生成映像データを生成する映像処理装置とを備えた映像処理システムであって、
前記複数の撮影装置は、それぞれ、映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に前記映像データの各領域に要求される解像度に基づいて前記各領域ごとに算出された重要度とを記憶した記憶部と、
前記重要度を参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮する映像圧縮部と、
前記圧縮された映像データを前記車内伝送路経由で前記映像処理装置に送信する送信部とを備え、
前記映像処理装置は、
前記複数の撮影装置から送信される、前記圧縮された映像データを入力する入力部と、
入力した複数の圧縮された映像データに基づいて、前記表示装置に表示する映像データを生成する映像生成部と、
生成した映像データを前記表示装置に送信する送信部とを備え、
前記表示装置は、
前記映像処理装置から送信された前記生成映像データを受信する受信部と、
受信した生成映像データを表示する表示部とを備えた、
ことを特徴とする映像処理システム。
【請求項2】
前記記憶部に記憶した前記重要度は、生成映像データを生成する際の、映像データの処理単位となる該映像データの各画素が、前記生成映像データに変換される際の画素拡大率に基づいて算出された情報であることを特徴とする請求項1記載の映像処理システム。
【請求項3】
前記記憶部に記憶した前記重要度は、映像データの映像範囲の車両からの距離に応じて補正した情報であることを特徴とする請求項1又は2記載の映像処理システム。
【請求項4】
前記複数の撮影装置にそれぞれ設けられた前記送信部は、前記映像圧縮部によって圧縮された映像データのデータ量に応じて、前記映像データを分割して前記映像処理装置に送信するパケットデータのデータサイズを変更することを特徴とする請求項1から3のいずれか一項記載の映像処理システム。
【請求項5】
映像データを表示可能な表示装置と、車両周辺を撮影可能な撮影装置と、車内伝送路経由で撮影装置と連携し、撮影された複数の映像データから複数種類の生成映像データを生成する映像処理装置とを備える映像処理システムに使用可能な撮影装置であって、
生成映像データを生成するための映像データを撮影する撮影部と、
映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に前記映像データの各領域に要求される解像度に基づいて前記各領域ごとに算出された重要度とを記憶した記憶部と、
前記重要度を参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮する映像圧縮部と、
前記圧縮された映像データを前記車内伝送路経由で前記映像処理装置に送信する送信部とを備えた、
ことを特徴とする撮影装置。
【請求項6】
前記送信部は、前記映像圧縮部によって圧縮された映像データのデータ量に応じて、前記映像データを分割して生成するパケットデータのデータサイズを変更することを特徴とする請求項5記載の撮影装置。
【請求項7】
映像データを表示可能な表示装置と、車両周辺を撮影可能な複数の撮影装置と、車内伝送路経由で前記複数の撮影装置と連携し、撮影された複数の映像データから複数種類の生成映像データを生成する映像処理装置とを備えた映像処理システムで実行される映像処理方法であって、
前記複数の撮影装置において、
記憶部に記憶された、映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に前記映像データの各領域に要求される解像度に基づいて前記各領域ごとに算出された重要度とを参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮するステップと、
前記圧縮された映像データを前記車内伝送路経由で前記映像処理装置に送信するステップとを実行し、
前記映像処理装置において、
前記複数の撮影装置から送信される、前記圧縮された映像データを入力するステップと、
入力した複数の圧縮された映像データに基づいて、前記表示装置に表示する映像データを生成するステップと、
生成した映像データを前記表示装置に送信するステップとを実行し、
前記表示装置において、
前記映像処理装置から送信された前記生成映像データを受信するステップと、
受信した生成映像データを表示部に表示するステップとを実行することを特徴とする映像処理方法。
【請求項1】
映像データを表示可能な表示装置と、車両周辺を撮影可能な複数の撮影装置と、車内伝送路経由で前記複数の撮影装置と連携し、撮影された複数の映像データから複数種類の生成映像データを生成する映像処理装置とを備えた映像処理システムであって、
前記複数の撮影装置は、それぞれ、映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に前記映像データの各領域に要求される解像度に基づいて前記各領域ごとに算出された重要度とを記憶した記憶部と、
前記重要度を参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮する映像圧縮部と、
前記圧縮された映像データを前記車内伝送路経由で前記映像処理装置に送信する送信部とを備え、
前記映像処理装置は、
前記複数の撮影装置から送信される、前記圧縮された映像データを入力する入力部と、
入力した複数の圧縮された映像データに基づいて、前記表示装置に表示する映像データを生成する映像生成部と、
生成した映像データを前記表示装置に送信する送信部とを備え、
前記表示装置は、
前記映像処理装置から送信された前記生成映像データを受信する受信部と、
受信した生成映像データを表示する表示部とを備えた、
ことを特徴とする映像処理システム。
【請求項2】
前記記憶部に記憶した前記重要度は、生成映像データを生成する際の、映像データの処理単位となる該映像データの各画素が、前記生成映像データに変換される際の画素拡大率に基づいて算出された情報であることを特徴とする請求項1記載の映像処理システム。
【請求項3】
前記記憶部に記憶した前記重要度は、映像データの映像範囲の車両からの距離に応じて補正した情報であることを特徴とする請求項1又は2記載の映像処理システム。
【請求項4】
前記複数の撮影装置にそれぞれ設けられた前記送信部は、前記映像圧縮部によって圧縮された映像データのデータ量に応じて、前記映像データを分割して前記映像処理装置に送信するパケットデータのデータサイズを変更することを特徴とする請求項1から3のいずれか一項記載の映像処理システム。
【請求項5】
映像データを表示可能な表示装置と、車両周辺を撮影可能な撮影装置と、車内伝送路経由で撮影装置と連携し、撮影された複数の映像データから複数種類の生成映像データを生成する映像処理装置とを備える映像処理システムに使用可能な撮影装置であって、
生成映像データを生成するための映像データを撮影する撮影部と、
映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に前記映像データの各領域に要求される解像度に基づいて前記各領域ごとに算出された重要度とを記憶した記憶部と、
前記重要度を参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮する映像圧縮部と、
前記圧縮された映像データを前記車内伝送路経由で前記映像処理装置に送信する送信部とを備えた、
ことを特徴とする撮影装置。
【請求項6】
前記送信部は、前記映像圧縮部によって圧縮された映像データのデータ量に応じて、前記映像データを分割して生成するパケットデータのデータサイズを変更することを特徴とする請求項5記載の撮影装置。
【請求項7】
映像データを表示可能な表示装置と、車両周辺を撮影可能な複数の撮影装置と、車内伝送路経由で前記複数の撮影装置と連携し、撮影された複数の映像データから複数種類の生成映像データを生成する映像処理装置とを備えた映像処理システムで実行される映像処理方法であって、
前記複数の撮影装置において、
記憶部に記憶された、映像データの分割した複数の領域を識別する領域情報と、生成映像データの生成の際に前記映像データの各領域に要求される解像度に基づいて前記各領域ごとに算出された重要度とを参照して、撮影された映像データの各領域を重要度に応じた圧縮率で圧縮するステップと、
前記圧縮された映像データを前記車内伝送路経由で前記映像処理装置に送信するステップとを実行し、
前記映像処理装置において、
前記複数の撮影装置から送信される、前記圧縮された映像データを入力するステップと、
入力した複数の圧縮された映像データに基づいて、前記表示装置に表示する映像データを生成するステップと、
生成した映像データを前記表示装置に送信するステップとを実行し、
前記表示装置において、
前記映像処理装置から送信された前記生成映像データを受信するステップと、
受信した生成映像データを表示部に表示するステップとを実行することを特徴とする映像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【公開番号】特開2010−263500(P2010−263500A)
【公開日】平成22年11月18日(2010.11.18)
【国際特許分類】
【出願番号】特願2009−113931(P2009−113931)
【出願日】平成21年5月8日(2009.5.8)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
【公開日】平成22年11月18日(2010.11.18)
【国際特許分類】
【出願日】平成21年5月8日(2009.5.8)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
[ Back to top ]