画像処理システム
【課題】車載ネットワーク上に車載カメラおよび複数の画像認識部が接続された画像処理システムにおいて、画像認識部が画像認識処理をするための前処理を省くことが可能となる技術を提供する。
【解決手段】画像処理システムにおいて、車載ネットワーク上の車載カメラは画素値がＲＧＢ表色系で表される画像を撮影する。主成分算出部は撮影したフレーム画像に対して主成分分析を行い、変換行列を求める。画素値変換部は変換行列と各画素のＲＧＢ画素値から第１〜第３主成分得点を取得し、少なくとも第１主成分得点を車載ネットワークに配信する。画像認識部はコントラストが強調された第１主成分得点に基づいて画像認識を行い、必要な後続処理を実行する。
【解決手段】画像処理システムにおいて、車載ネットワーク上の車載カメラは画素値がＲＧＢ表色系で表される画像を撮影する。主成分算出部は撮影したフレーム画像に対して主成分分析を行い、変換行列を求める。画素値変換部は変換行列と各画素のＲＧＢ画素値から第１〜第３主成分得点を取得し、少なくとも第１主成分得点を車載ネットワークに配信する。画像認識部はコントラストが強調された第１主成分得点に基づいて画像認識を行い、必要な後続処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像認識部が接続された車載ネットワークにおける画像処理システムに関するものである。
【背景技術】
【０００２】
現在、車両にカメラを搭載して動画像や静止画像の撮影を行うことが行われるようになっている。車載カメラによる撮影画像には様々な用途があり、とりわけ画像認識において有用である。たとえば、撮影画像から車両や歩行者、路面状況などを検知して車両制御や運転者へのアラートを行うことで、事故防止につなげることができる。さらに画像認識以外にも、撮影画像を車内の画像表示部に表示して乗員に提供したり、記憶装置に蓄積して運転記録とすることも行われている。かかる画像認識部が車載カメラから撮影画像を受け取る場合、車載ネットワークに属する受信ノードとして画像データの配信を受けることが多い。すなわち、カメラと画像認識部は共に車載ネットワークに接続されており、撮影画像はデジタルなデータとして配信され、画像認識部はそのデータを受信して利用する。
【０００３】
ここで画像データについて考えると、動画像は複数のフレーム画像からなり、各フレーム画像はＲＧＢの画素値で表される所定数の画素で構成される。しかし配信に当たって各フレームの画素値をそのまま送出した場合、伝送データ量が多くなり過ぎるために、ネットワーク帯域の消費量が増大してしまう。そこで、特開２００４−１０４５２９号公報（特許文献１）では、画像データをＭＰＥＧ方式やＤＶ（デジタル・ビデオ）方式で圧縮し、車載ネットワークに配信する方法を紹介している。また、特開２００６−１２８７６６号公報（特許文献２）では、車載ネットワークを低コストで構築するための技術が記載されている。
【０００４】
特許文献１に記載の画像データ圧縮方法は、色空間としてはＹＵＶ表色系を用いている。ここで、Ｙ信号、Ｕ信号、Ｖ信号それぞれのパラメータの間には相関関係があることが分かっている。ところが画像認識部が処理を行う際には、各パラメータは相関関係を持たない方が処理効率が良い。そのため、画像認識の前処理として、ＹＵＶ表色系で表現された画像から無相関な信号へと変換する必要があった。この前処理にはたとえば主成分分析が用いられてきたが、計算量が増大することによる処理の遅延やＣＰＵ消費量の増大が起こっていた。特に、車載ネットワークに複数の画像認識部が接続されている場合、個々の画像認識部で前処理を行う必要があり、処理が重複していた。そこで、画像認識部での前処理を必要としない、無相関なデータを送信することが求められている。
【０００５】
一方、車載ネットワークにディスプレイ等の画像表示部を接続し、撮影画像を表示することも普通に行われている。この際にもＲＧＢ画像をそのまま画像表示部に送るのではなく、圧縮してから送信することによりネットワーク帯域が節約できる。しかし、もしも画像表示部に送るデータと画像認識部に送るデータの形式が異なっていると、送信元で別々にデータ作成して送信しなければならず、ネットワーク帯域の消費量が増大してしまう。その結果、データ送信時間の遅延等によりユーザの利便性が低下する可能性がある。特に送信データが動画像データである場合はデータ量が多いため、上記のような現象が起きる可能性が高い。そこで、画像認識部と画像表示部が共に接続されている車載ネットワークにおいて撮影画像を配信する際には、双方で共通に利用できる形式にすることが必要になっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１０４５２９号公報
【特許文献２】特開２００６−１２８７６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、車載ネットワークに車載カメラと複数の画像認識部が接続された画像処理システムにおいて、個々の画像認識部で前処理を行う必要がなくなるような技術を提供することである。また本発明のさらなる目的は、上記車載ネットワークにさらに画像表示部が接続された画像処理システムにおいて、ネットワーク帯域の消費量を抑制するための技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明にかかる画像処理システムでは、以下の構成を採用する。すなわち、車載ネットワークに撮影部と主成分分析部と画素値変換部と複数の画像認識部とが接続され、撮影画像に基づく画像認識を行う画像処理システムであって、前記撮影部は画素値がＲＧＢ表色系で表された画像を撮影し、前記主成分分析部は、前記撮影画像から変換行列を求め、前記撮影画像の各画素値を第１〜第３主成分得点に変換し、第１主成分得点を車載ネットワークに配信し、前記画像認識部は前記第１主成分得点を受信して画像認識を行うことを特徴とする画像処理システムである。
【０００９】
従来の画像処理システムでは、ＲＧＢ表色系の画素値に基づいてコントラストの強いデータを取得する前処理を個々の画像認識部において行っていたが、本発明のような構成を取ることによりその必要がなくなる。すなわち、画像認識部は主成分分析部の処理結果として配信される第１主成分得点を利用するので、前処理をせずとも画像認識に適したデータを得ることができる。これにより、複数の画像認識部が第１主成分得点を共通して利用するので、ＣＰＵ消費量の抑制や処理速度の向上が可能になる。またＣＰＵの性能を抑えることができるので、画像処理システムを構築するコストを削減することができる。
【００１０】
本発明にかかる画像処理システムにおいては、前記主成分分析部は、第２、第３主成分得点も車載ネットワークに配信し、画像処理システムが、第１〜第３主成分得点を受信して画像を再生する画像再生部と前記再生画像を表示する画像表示部をさらに備える構成を取ることができる。
【００１１】
このような構成を取ることにより、画像認識処理と、画像表示に用いるための画像を復元する処理を同じ変換行列に基づいて行うことができる。そのため、画像表示のためにＲＧＢ表色系の画像データを車載ネットワークに送出する必要がなくなり、ネットワーク帯域を節約できる。
【００１２】
本発明にかかる画像処理システムにおいては、前記撮影画像の画素値から画面の明るさを表す特徴量を算出する特徴量算出部をさらに備え、前記主成分分析部は、撮影画像から変換行列を算出するたびに、算出の元になった撮影画像の特徴量とともにメモリ部に格納し、撮影画像の特徴量とメモリ部に格納されている特徴量の差が閾値以下であれば、メモリ部に格納されている変換行列を利用して、撮影画像の各画素値を第１〜第３主成分得点に変換する構成を取ることができる。
【００１３】
このような構成を取ることにより、画面の明るさが大きく変化した時だけ主成分分析を行い、そうでない場合は以前の変換式を流用することができる。そのため計算量を削減し、ＣＰＵの負荷が軽減するので処理速度の向上、他の演算との並行処理や安価なＣＰＵへの置き換えが可能になる。特徴量としてはたとえば、撮影画像の画素値の平均値を用いる
ことができる。
【発明の効果】
【００１４】
本発明によれば、車載ネットワークに車載カメラと複数の画像認識部が接続された画像処理システムにおいて、個々の画像認識部で前処理を行う必要がなくなる。さらに、上記車載ネットワークに画像表示部が接続された画像処理システムにおいて、ネットワーク帯域の消費量を抑制することができるようになる。
【図面の簡単な説明】
【００１５】
【図１】実施形態１の車載ネットワークの構成を示すブロック図。
【図２】実施形態１の詳細な処理を示すフローチャート。
【図３】実施形態２の車載ネットワークの構成を示すブロック図。
【図４】実施形態２の詳細な処理を示すフローチャート。
【図５】実施形態３の車載ネットワークの構成を示すブロック図。
【図６】実施形態３の詳細な処理を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００１７】
＜実施形態１＞
本実施形態では、２つの画像認識部を備えた画像処理システムにおいて、車載カメラの撮影画像に基づいてそれぞれの画像認識部が画像認識を行う処理について説明する。
【００１８】
（車両における画像認識の特徴）
まず、本実施形態は車載カメラの撮影画像に対して画像認識を行うので、簡単に説明する。あわせて認識対象となる画像データの特徴についても述べる。画像認識は画像処理の一種であり、ＣＰＵ上で稼働するプログラムが、人間に代わって画像中の対象物を検出し、判断し、結果を出力するものである。特に車両においては安全性を高めるために、プログラムが行うことによる確実性、持久力、省力化という利点を持つ画像認識が広く行われている。たとえば、車載カメラで前方を撮影した画像から先行車両を検出し、車間距離を計算し、距離が近すぎると判断した場合はブレーキをかける衝突被害軽減ブレーキがある。また、撮影した画像から道路の白線や黄線を検出し、車両がレーンから外れているか、あるいはこのまま進むと外れそうかを判断し、車両の方向を修正するレーンキープアシストもある。他にも、運転者から死角となる領域から障害物を検出し、運転者に画像や音声で通知したり、道路標識などの文字情報を検出し、運転を支援する情報を提供したりする処理に用いることができる。
【００１９】
画像認識は、おおむね次のような順番で進められる。まず、画像処理システムにデジタル化された画像データが入力され、その画像データから特徴量が抽出される。続いて抽出された特徴量がパターンマッチングにより標準パターンと比較され、一致度合いにより対象物が認識される。そして認識結果をユーザ（または後続処理）が利用できる形で出力する。
【００２０】
ここで、画像データの特徴量抽出においては、対象物を認識しやすくするために、画像中の物体の輪郭や境界線の検出や、微分画像からのエッジの抽出などの処理がなされる。したがって、処理対象となる画像の色や濃度の変化がはっきりしているほど、すなわち、画像のコントラストが強いほど、特徴量を効率的に精度良く抽出することができる。そして特徴量抽出の精度が高いほど、パターンマッチングが容易になり対象物が認識しやすくなる。
【００２１】
（ＲＧＢ表色系の画素値に対する主成分分析）
次に、本実施形態はＲＧＢ表色系の画素値に対して主成分分析を行うので、簡単に説明する。ここで、ＲＧＢ各々の画素値は、互いの相関が比較的強い冗長なデータであることが分かっている。そこでＲＧＢ表色系の画素値に対して主成分分析を行い、無相関なデータに変換することが行われている。主成分分析とは複数の変数間に相関関係がある場合に、無相関な少数の変数に要約し、データの持つ情報を解釈しやすくするための手法である。
【００２２】
主成分分析は、たとえば、画素値の集合から分散共分散行列を求め、その固有値・固有ベクトルを求めることにより行われる。画素値は、３次元（ＲＧＢ）の情報なので、固有値・固有ベクトルは３組求まる。最も大きい固有値に対応する固有ベクトルが第１主成分であり、以下、固有値の大きさの順に第２主成分、第３主成分となる。
【００２３】
第１〜第３主成分（固有ベクトル）に基づいて、画素値（ｒ，ｇ，ｂ）を新たな画素値（ｚ１，ｚ２，ｚ３）に変換するための変換行列等を得ることができる。より具体的に言うと、まず、原画像の各画素の画素値から、分散共分散行列を求めたときに得られた各色成分の平均値を引き、各色成分の平均値が０となる画素集合を求める。そして固有ベクトルから行列を作成して平均値を０とした画素値に乗じることで、新たな画素値が得られる。変換により得られた新たな画素値ｚ１〜ｚ３は、それぞれ第１〜第３主成分得点と呼ばれる。
【００２４】
上記の方法で得られた第１主成分得点はデータの分散が大きく、情報量が多い。これは画像認識に適したコントラストの強い画像だと言える。また、ｚ１〜ｚ３に変換行列の逆行列を乗じる逆変換処理を施し、さらに各色成分の平均値を加えることにより、元の画素値を求め、原画像を再現することができる。
【００２５】
このように、ＲＧＢ表色系の画素値をから第１〜第３主成分得点に変換することにより、各成分間の冗長性を省いた無相関なデータを得ることができる。得られたデータの中では、第１主成分得点が最も情報量が多い。これを画像として見るとコントラストが強く、画像認識を効率的に行うことが可能なデータだと言える。
【００２６】
（構成）
図１のブロック図を用いて、本実施形態で用いる画像処理システムの構成と各ブロックの機能を説明する。図中の各ブロックはいずれも車両に搭載されている。車載ネットワーク１は車両に設置されたネットワークであり、各ブロックが接続され、互いにデータの送受信を可能にしている。車載ネットワークはデータ伝送が可能であれば構成材料や有線無線の別を問わない。たとえば、本実施形態のように複数の画像認識部に同じデータを配信する場合、標準規格であるＣＡＮを用いればマルチキャスト送信を可能にすることができる。
【００２７】
撮影部２は、動画像を撮影可能なデジタルビデオカメラである。本実施形態において、車載カメラは車両の前方を向いてダッシュボードに設置され、車両の進行方向を撮影している。画像は所定のフレームレート（たとえば秒間３０フレーム）にて撮影され、各フレーム画像は所定数（たとえば６４０×４００）の、ＲＧＢ表色系で表された画素値（たとえば０〜２５５）を持つ画素で構成されている。主成分分析部３は、変換行列算出部３ａと画素値変換部３ｂを有する。変換行列算出部は、フレーム画像の各画素のＲＧＢ画素値に基づいて座標軸を変換するための変換行列を取得する。画素値変換部はフレーム画像の各画素のＲＧＢ画素値を変換行列により変換し、第１〜第３主成分得点を取得する。そして、画像認識に用いる第１主成分得点を車載ネットワークに配信する。
【００２８】
画像認識部４ａは配信された第１主成分得点を受信し、画像認識を行う。ここでは画像から先行車両を検出し、計算により車間距離を推定する。ブレーキコントロール部５は車間距離を受け取り、先行車両との距離が接近していれば接触回避のためにブレーキ制御を行う。画像認識部４ｂも第１主成分得点を取得し、画像認識を行う。ここでは画像から白線、黄線、ガードレールなど、道路のレーンを示す対象物を検出する。ハンドルコントロール部６はレーン情報を受け取り、車両がレーンから外れているか、このまま進むと外れそうであればハンドル制御を行い進路を修正する。
【００２９】
（処理フロー）
必要に応じて図２に示したフローチャートを参照しつつ、処理の詳細を説明する。ステップＳ１０１では、車載カメラが上述のように６４０×４００画素の画像を秒間３０フレームのレートで撮影する。
【００３０】
ステップＳ１０２では、変換行列を求める元となる画素を、フレーム画像の全画素中から抽出する。これは、ＣＰＵの性能によっては、全ての画素に基づいて変換行列を求めると処理時間がかかり過ぎる場合があるからである。そこで、画像認識処理が遅延したり、ＣＰＵ使用時間が増えて他の処理に影響を及ぼしたりしないように、処理対象となる画素数を減らすのである。画素を抽出する方法として、本実施形態では縦横方向でそれぞれ１／２のダウンサンプリングを行い、画素を１個置きに選択する。これにより処理対象の画素数を１／４に間引くことができ、処理を高速化できる。画素抽出を行うかどうかや抽出する画素数の全画素数中の割合については、ＣＰＵの処理能力や画像認識に求められる精度に応じて定めることができる。画素抽出の方法としてはダウンサンプリングの他に、無作為に必要な画素数だけ画素を選ぶ方法も考えられる。
【００３１】
ステップＳ１０３では、変換行列算出部が、上記サンプリングされた画素のＲＧＢ画素値から変換行列を取得する。ステップＳ１０４では、画素値変換部が、フレーム画像の全ての画素のＲＧＢ画素値を変換行列により変換し、第１〜第３主成分得点を取得する。なお、この画素値変換処理は主成分分析よりも単純な計算であるため、全ての画素について行っても計算量はさして大きくならない。続いてステップＳ１０５で、第１主成分得点を車載ネットワーク上に配信する。
【００３２】
ステップＳ１０６では、画像認識部４ａが第１主成分得点を受信し、画像認識を行って先行車両を検出し、車間距離を推定する。ステップＳ１０７では、ブレーキコントロール部が、車間距離が所定の値よりも短いかどうかを判断する。先行車両と接近し過ぎだと判断すれば（Ｓ１０７＝Ｙ）、ステップＳ１０８に進み、ブレーキコントロール部がブレーキを制御して安全な間隔まで広げる。なお、車間距離が接近しているもののブレーキをかける程ではない場合は、運転者に音声等でアラートを行っても良い。一方Ｓ１０７＝Ｎの場合、ステップＳ１０９に進み、画像認識部５ｂが道路のレーン情報を検出する。そしてハンドルコントロール部が、車両がレーンから外れているか外れそうであると判断すれば（ステップＳ１１０＝Ｙ）、ステップＳ１１１に進んでハンドル制御を行い、進路を修正。なお、ハンドル制御に代えて運転者へのアラートにすることができるのはブレーキ制御と同様である。
【００３３】
（効果）
本実施形態によれば、画像認識に適した画像を得るための前処理を、２つの画像認識部で別々に行う必要がなくなる。その結果ＣＰＵ消費量が減少するので、画像認識部のＣＰＵの性能を抑えることにより、安価に画像処理システムを構築することが可能になる。また画像認識部での処理時間が減り、少ないタイムラグで後続処理を行うことが可能になる。これにより、安全関係の装置では特に求められる即応性の向上が実現できるようになる。また、画像認識を行うためには第１〜第３主成分得点のうち第１主成分得点を配信すれ
ば足りるので、ＲＧＢ表色系の画素値を配信する場合に比べデータ伝送量が少なく、車載ネットワークの帯域を節約することができる。また、変換行列を求める元となる画素を、フレーム画像の全画素から、例えばダウンサンプリング等により抽出すれば、主成分分析部の処理を一層高速化できるという利点を得られる。
【００３４】
＜実施形態２＞
本実施形態では、撮影画像の各フレームを比較し、画像の構成が大きく変化した（シーンチェンジが起きた）フレーム画像についてのみ主成分分析処理を行う場合について、実施形態１との相違点を中心に説明する。
【００３５】
実施形態１の処理の各ステップ中で、主成分分析は比較的計算量が大きい処理でありボトルネックになる可能性がある。そこで、計算量を抑制するために全てのフレームではなく選択したフレームについてのみ変換行列を算出し、他のフレームについては以前に算出した変換行列を流用することが考えられる。フレームを選択する方法として例えば、３フレーム毎など所定の間隔での単純な選択も考えられる。この選択方法は計算量を効率的に減らせるという点で有効である。
【００３６】
一方、画像認識の精度を可及的に保ちつつ計算量を削減するためには、本実施形態のようにシーンチェンジの有無を検出し、シーンチェンジがあったフレームで変換行列を算出し、シーンチェンジがないフレームでは以前に算出した変換行列を流用する方法が有効である。これは、動画像中の近接したフレームにおいては画像の構成が似通っている可能性が高いので、ＲＧＢ画素値も類似しており、そこから求められる変換行列も類似していると考えられることによる。本実施形態では、フレーム画像の明るさが大きく変わった場合はシーンチェンジがあったと判断することにする。
【００３７】
（構成）
図３のブロック図に本実施形態のシステム構成を示す。主成分分析部は、実施形態１に加えて、フレーム画像のＲＧＢ画素値の平均値を算出する特徴量算出部７を備えている。また、主成分分析部が特徴量および変換行列を格納するために、メモリ８が存在する。
【００３８】
（処理フロー）
図４のフローチャートを参照しつつ、本実施形態の処理の詳細を説明する。ステップＳ２０１では、車載カメラが画像を撮影する。ステップＳ２０２では、特徴量算出部がフレーム画像のＲＧＢ画素値の平均値を算出する。この計算は単純な加算と除算であるので、全てのフレーム画像に対して処理を行っても計算量は大きくならない。以下、現時刻ｔのフレームでの画素値の平均値をＰｔと表記する。
【００３９】
ステップＳ２０３では、現在のフレームのＲＧＢ画素値の平均値Ｐｔと、前もってメモリ部に格納されている値Ｐｍとの差分を取る。このＰｍという値は、以前に変換行列を求めたフレーム画像におけるＲＧＢ画素値の平均値であり、その主成分分析時に格納されたものである。
【００４０】
差分の絶対値が所定の閾値以下であれば、ステップＳ２０４に進み、前もってメモリ部に格納されている変換行列を画素値変換部で用いるように指示する。この変換行列は、以前に主成分分析を行った際に求められ、格納されたものである。一方、差分の絶対値が閾値より大きければ、ステップＳ２０５に進んで新たに変換行列を求める。そして、新たに求めた変換行列をメモリ部に格納する。閾値はシステムの処理能力と画像認識の精度のバランスを考慮して設定することができ、閾値を大きくすれば主成分分析の回数が減って処理速度が速くなり、閾値を小さくすれば主成分分析の回数が増えて画像認識の精度が上がる。
【００４１】
これ以降の処理は実施形態１と同様である。ステップＳ２０６では、画素値変換部が、Ｓ２０４またはＳ２０５で定められた変換行列とＲＧＢ画素値から第１〜第３主成分得点を求め、第１主成分得点を車載ネットワークに配信する。ステップＳ２０７では、画像認識部が第１主成分得点を受信する。ステップＳ２０８では、画像認識部が、先行車両を検出しての車間距離推定や、白線等を検出してのレーン外れの判断等の画像認識処理を行う。そしてステップＳ２０９では、画像認識の結果を用いてブレーキ制御やハンドル制御等の後続処理を行う。
【００４２】
（効果）
本実施形態の画像処理システムによれば、シーンチェンジの有無を判定した上で、新たに変換行列を求めるか、メモリに格納されている変換行列を利用するかを選択することができる。これにより、画像認識の精度への影響を可及的に抑制しつつ計算の回数を減らし、ＣＰＵ消費量を削減することが可能になる。その際、画像認識で必要とする精度やＣＰＵ等の性能、処理速度などを考慮した上で適切な閾値を選択することが可能であり、システム設計の自由度を高めることができる。主成分分析の回数を減少させれば、安価なＣＰＵによってシステムを構成してコストを抑制できる。あるいは、主成分分析にかかる時間が削減されるので、処理の遅延や他の処理への影響を抑制することができる。
【００４３】
なお、シーンチェンジ検出で利用する特徴量としては、差分の絶対値以外にも、たとえば画素値のヒストグラムや変化の割合を用いることもできる。また、ＶＩＣＳ（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：財団法人道路交通情報通信システムセンターの商標）から得た情報により、トンネル内から外に抜けるときのようにシーンチェンジがあることが分かっている場合は、平均値を求めるまでもなく新しい変換行列を求めても良い。
【００４４】
＜実施形態３＞
本実施形態では、画像認識だけではなく、元の画像を再生して利用する場合について説明する。以下、処理フローや画像処理システムの構成について、実施形態１との相違点を中心に説明する。
【００４５】
（構成）
本実施形態における画像処理システムを図５に示し、実施形態１に追加した構成要素について説明する。画像再生部９は車載ネットワークに送出された第１〜第３主成分得点を取得、逆変換処理を施してＲＧＢ表色系の画素値に戻し、原画像を再生する。画像表示部１０は再生画像を表示する液晶ディスプレイ等の表示装置である。画像記録部１１は再生した画像を保存するための記憶装置であり、ハードディスク等を用いることができる。
【００４６】
（処理フロー）
図６に示したフローチャートを参照しつつ、本実施形態の処理の概要を述べる。ステップＳ３０１では、車載カメラが画像撮影を行う。ステップＳ３０２では、変換行列算出部が、撮影されたフレーム画像から変換行列を得る。なお、この際の分散共分散行列を求める処理において、各色成分の平均値が求められている。ステップＳ３０３では、画素値変換部が座標変換を行って第１〜第３主成分得点を取得する。ステップＳ３０４では、第１〜第３主成分得点を車載ネットワークに配信する。以前の実施形態では、画像認識で用いる第１主成分得点を配信すれば足りていたが、本実施形態では画像の再生も行うので第２、第３主成分得点も配信する。さらに、画像を再生するために必要となる変換行列および各色成分の平均値も配信する。
【００４７】
続いてステップＳ３０５では、後続処理の種類を判断して処理を分岐させる。後続処理
が画像認識結果を用いる場合、ステップＳ３０６で画像認識部が第１主成分得点を受信し、ステップＳ３０７で画像認識を行う。そしてステップＳ３０８において、ブレーキ制御やハンドル制御などの後続処理を行う。
【００４８】
一方、後続処理が再生画像を使用する場合、ステップＳ３０９で画像復元部が第１〜第３主成分得点、変換行列および各色成分の平均値を受信する。ステップＳ３１０で画像再生部は、画素値変換部が行った変換の逆の処理を行い、ＲＧＢ画素値を算出する。そしてステップＳ３１１において、ディスプレイへの画像表示や記憶装置への画像保存などの後続処理を行う。
【００４９】
（効果）
本実施形態の画像処理システムによれば、車載ネットワークに送出される第１〜第３主成分得点を利用して画像認識および画像再生ができる。このように画像認識部と画像再生部が共通のデータを用いることにより、ＲＧＢ表色系の画像データを車載ネットワークに送出する必要がなくなり、ネットワークの帯域を節約することができる。また、画像認識部はコントラストが強く画像認識に適した第１主成分得点を取得できるので、画像認識部での前処理が必要ない点は実施形態１と同様である。そのため、特に複数の画像認識部を有するシステムにおいては重複処理を排除することができ、システム構築のコストを抑制することが可能になる。
【００５０】
以上の実施形態では、処理を簡明にするために主成分分析部が取得した第１〜第３主成分得点をそのまま車載ネットワークに配信している。しかし、配信前に予め第１〜第３主成分得点に符号化処理を施し、データサイズを圧縮した符号化データとすることもできる。この場合、画像認識部は第１主成分得点に基づく符号化データを受信し、復号処理を施して第１主成分得点を再現する。また画像再生部は全ての符号化データを受信し、第１〜第３主成分得点を再現する。これにより、ネットワーク上の帯域使用量を減らし、スムーズなデータ伝送が可能になる。あるいは、画像記録部にデータを蓄積する際は、復号処理を経ずに符号化データのままで蓄積し、再生時に復号して画像復元を行うようにしても良い。これにより記憶領域を削減し、多くの運転記録を保存することができるようになる。
【符号の説明】
【００５１】
１ 車載ネットワーク
２ 撮影部
３ 主成分分析部
４ 画像認識部
【技術分野】
【０００１】
本発明は、複数の画像認識部が接続された車載ネットワークにおける画像処理システムに関するものである。
【背景技術】
【０００２】
現在、車両にカメラを搭載して動画像や静止画像の撮影を行うことが行われるようになっている。車載カメラによる撮影画像には様々な用途があり、とりわけ画像認識において有用である。たとえば、撮影画像から車両や歩行者、路面状況などを検知して車両制御や運転者へのアラートを行うことで、事故防止につなげることができる。さらに画像認識以外にも、撮影画像を車内の画像表示部に表示して乗員に提供したり、記憶装置に蓄積して運転記録とすることも行われている。かかる画像認識部が車載カメラから撮影画像を受け取る場合、車載ネットワークに属する受信ノードとして画像データの配信を受けることが多い。すなわち、カメラと画像認識部は共に車載ネットワークに接続されており、撮影画像はデジタルなデータとして配信され、画像認識部はそのデータを受信して利用する。
【０００３】
ここで画像データについて考えると、動画像は複数のフレーム画像からなり、各フレーム画像はＲＧＢの画素値で表される所定数の画素で構成される。しかし配信に当たって各フレームの画素値をそのまま送出した場合、伝送データ量が多くなり過ぎるために、ネットワーク帯域の消費量が増大してしまう。そこで、特開２００４−１０４５２９号公報（特許文献１）では、画像データをＭＰＥＧ方式やＤＶ（デジタル・ビデオ）方式で圧縮し、車載ネットワークに配信する方法を紹介している。また、特開２００６−１２８７６６号公報（特許文献２）では、車載ネットワークを低コストで構築するための技術が記載されている。
【０００４】
特許文献１に記載の画像データ圧縮方法は、色空間としてはＹＵＶ表色系を用いている。ここで、Ｙ信号、Ｕ信号、Ｖ信号それぞれのパラメータの間には相関関係があることが分かっている。ところが画像認識部が処理を行う際には、各パラメータは相関関係を持たない方が処理効率が良い。そのため、画像認識の前処理として、ＹＵＶ表色系で表現された画像から無相関な信号へと変換する必要があった。この前処理にはたとえば主成分分析が用いられてきたが、計算量が増大することによる処理の遅延やＣＰＵ消費量の増大が起こっていた。特に、車載ネットワークに複数の画像認識部が接続されている場合、個々の画像認識部で前処理を行う必要があり、処理が重複していた。そこで、画像認識部での前処理を必要としない、無相関なデータを送信することが求められている。
【０００５】
一方、車載ネットワークにディスプレイ等の画像表示部を接続し、撮影画像を表示することも普通に行われている。この際にもＲＧＢ画像をそのまま画像表示部に送るのではなく、圧縮してから送信することによりネットワーク帯域が節約できる。しかし、もしも画像表示部に送るデータと画像認識部に送るデータの形式が異なっていると、送信元で別々にデータ作成して送信しなければならず、ネットワーク帯域の消費量が増大してしまう。その結果、データ送信時間の遅延等によりユーザの利便性が低下する可能性がある。特に送信データが動画像データである場合はデータ量が多いため、上記のような現象が起きる可能性が高い。そこで、画像認識部と画像表示部が共に接続されている車載ネットワークにおいて撮影画像を配信する際には、双方で共通に利用できる形式にすることが必要になっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１０４５２９号公報
【特許文献２】特開２００６−１２８７６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、車載ネットワークに車載カメラと複数の画像認識部が接続された画像処理システムにおいて、個々の画像認識部で前処理を行う必要がなくなるような技術を提供することである。また本発明のさらなる目的は、上記車載ネットワークにさらに画像表示部が接続された画像処理システムにおいて、ネットワーク帯域の消費量を抑制するための技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明にかかる画像処理システムでは、以下の構成を採用する。すなわち、車載ネットワークに撮影部と主成分分析部と画素値変換部と複数の画像認識部とが接続され、撮影画像に基づく画像認識を行う画像処理システムであって、前記撮影部は画素値がＲＧＢ表色系で表された画像を撮影し、前記主成分分析部は、前記撮影画像から変換行列を求め、前記撮影画像の各画素値を第１〜第３主成分得点に変換し、第１主成分得点を車載ネットワークに配信し、前記画像認識部は前記第１主成分得点を受信して画像認識を行うことを特徴とする画像処理システムである。
【０００９】
従来の画像処理システムでは、ＲＧＢ表色系の画素値に基づいてコントラストの強いデータを取得する前処理を個々の画像認識部において行っていたが、本発明のような構成を取ることによりその必要がなくなる。すなわち、画像認識部は主成分分析部の処理結果として配信される第１主成分得点を利用するので、前処理をせずとも画像認識に適したデータを得ることができる。これにより、複数の画像認識部が第１主成分得点を共通して利用するので、ＣＰＵ消費量の抑制や処理速度の向上が可能になる。またＣＰＵの性能を抑えることができるので、画像処理システムを構築するコストを削減することができる。
【００１０】
本発明にかかる画像処理システムにおいては、前記主成分分析部は、第２、第３主成分得点も車載ネットワークに配信し、画像処理システムが、第１〜第３主成分得点を受信して画像を再生する画像再生部と前記再生画像を表示する画像表示部をさらに備える構成を取ることができる。
【００１１】
このような構成を取ることにより、画像認識処理と、画像表示に用いるための画像を復元する処理を同じ変換行列に基づいて行うことができる。そのため、画像表示のためにＲＧＢ表色系の画像データを車載ネットワークに送出する必要がなくなり、ネットワーク帯域を節約できる。
【００１２】
本発明にかかる画像処理システムにおいては、前記撮影画像の画素値から画面の明るさを表す特徴量を算出する特徴量算出部をさらに備え、前記主成分分析部は、撮影画像から変換行列を算出するたびに、算出の元になった撮影画像の特徴量とともにメモリ部に格納し、撮影画像の特徴量とメモリ部に格納されている特徴量の差が閾値以下であれば、メモリ部に格納されている変換行列を利用して、撮影画像の各画素値を第１〜第３主成分得点に変換する構成を取ることができる。
【００１３】
このような構成を取ることにより、画面の明るさが大きく変化した時だけ主成分分析を行い、そうでない場合は以前の変換式を流用することができる。そのため計算量を削減し、ＣＰＵの負荷が軽減するので処理速度の向上、他の演算との並行処理や安価なＣＰＵへの置き換えが可能になる。特徴量としてはたとえば、撮影画像の画素値の平均値を用いる
ことができる。
【発明の効果】
【００１４】
本発明によれば、車載ネットワークに車載カメラと複数の画像認識部が接続された画像処理システムにおいて、個々の画像認識部で前処理を行う必要がなくなる。さらに、上記車載ネットワークに画像表示部が接続された画像処理システムにおいて、ネットワーク帯域の消費量を抑制することができるようになる。
【図面の簡単な説明】
【００１５】
【図１】実施形態１の車載ネットワークの構成を示すブロック図。
【図２】実施形態１の詳細な処理を示すフローチャート。
【図３】実施形態２の車載ネットワークの構成を示すブロック図。
【図４】実施形態２の詳細な処理を示すフローチャート。
【図５】実施形態３の車載ネットワークの構成を示すブロック図。
【図６】実施形態３の詳細な処理を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００１７】
＜実施形態１＞
本実施形態では、２つの画像認識部を備えた画像処理システムにおいて、車載カメラの撮影画像に基づいてそれぞれの画像認識部が画像認識を行う処理について説明する。
【００１８】
（車両における画像認識の特徴）
まず、本実施形態は車載カメラの撮影画像に対して画像認識を行うので、簡単に説明する。あわせて認識対象となる画像データの特徴についても述べる。画像認識は画像処理の一種であり、ＣＰＵ上で稼働するプログラムが、人間に代わって画像中の対象物を検出し、判断し、結果を出力するものである。特に車両においては安全性を高めるために、プログラムが行うことによる確実性、持久力、省力化という利点を持つ画像認識が広く行われている。たとえば、車載カメラで前方を撮影した画像から先行車両を検出し、車間距離を計算し、距離が近すぎると判断した場合はブレーキをかける衝突被害軽減ブレーキがある。また、撮影した画像から道路の白線や黄線を検出し、車両がレーンから外れているか、あるいはこのまま進むと外れそうかを判断し、車両の方向を修正するレーンキープアシストもある。他にも、運転者から死角となる領域から障害物を検出し、運転者に画像や音声で通知したり、道路標識などの文字情報を検出し、運転を支援する情報を提供したりする処理に用いることができる。
【００１９】
画像認識は、おおむね次のような順番で進められる。まず、画像処理システムにデジタル化された画像データが入力され、その画像データから特徴量が抽出される。続いて抽出された特徴量がパターンマッチングにより標準パターンと比較され、一致度合いにより対象物が認識される。そして認識結果をユーザ（または後続処理）が利用できる形で出力する。
【００２０】
ここで、画像データの特徴量抽出においては、対象物を認識しやすくするために、画像中の物体の輪郭や境界線の検出や、微分画像からのエッジの抽出などの処理がなされる。したがって、処理対象となる画像の色や濃度の変化がはっきりしているほど、すなわち、画像のコントラストが強いほど、特徴量を効率的に精度良く抽出することができる。そして特徴量抽出の精度が高いほど、パターンマッチングが容易になり対象物が認識しやすくなる。
【００２１】
（ＲＧＢ表色系の画素値に対する主成分分析）
次に、本実施形態はＲＧＢ表色系の画素値に対して主成分分析を行うので、簡単に説明する。ここで、ＲＧＢ各々の画素値は、互いの相関が比較的強い冗長なデータであることが分かっている。そこでＲＧＢ表色系の画素値に対して主成分分析を行い、無相関なデータに変換することが行われている。主成分分析とは複数の変数間に相関関係がある場合に、無相関な少数の変数に要約し、データの持つ情報を解釈しやすくするための手法である。
【００２２】
主成分分析は、たとえば、画素値の集合から分散共分散行列を求め、その固有値・固有ベクトルを求めることにより行われる。画素値は、３次元（ＲＧＢ）の情報なので、固有値・固有ベクトルは３組求まる。最も大きい固有値に対応する固有ベクトルが第１主成分であり、以下、固有値の大きさの順に第２主成分、第３主成分となる。
【００２３】
第１〜第３主成分（固有ベクトル）に基づいて、画素値（ｒ，ｇ，ｂ）を新たな画素値（ｚ１，ｚ２，ｚ３）に変換するための変換行列等を得ることができる。より具体的に言うと、まず、原画像の各画素の画素値から、分散共分散行列を求めたときに得られた各色成分の平均値を引き、各色成分の平均値が０となる画素集合を求める。そして固有ベクトルから行列を作成して平均値を０とした画素値に乗じることで、新たな画素値が得られる。変換により得られた新たな画素値ｚ１〜ｚ３は、それぞれ第１〜第３主成分得点と呼ばれる。
【００２４】
上記の方法で得られた第１主成分得点はデータの分散が大きく、情報量が多い。これは画像認識に適したコントラストの強い画像だと言える。また、ｚ１〜ｚ３に変換行列の逆行列を乗じる逆変換処理を施し、さらに各色成分の平均値を加えることにより、元の画素値を求め、原画像を再現することができる。
【００２５】
このように、ＲＧＢ表色系の画素値をから第１〜第３主成分得点に変換することにより、各成分間の冗長性を省いた無相関なデータを得ることができる。得られたデータの中では、第１主成分得点が最も情報量が多い。これを画像として見るとコントラストが強く、画像認識を効率的に行うことが可能なデータだと言える。
【００２６】
（構成）
図１のブロック図を用いて、本実施形態で用いる画像処理システムの構成と各ブロックの機能を説明する。図中の各ブロックはいずれも車両に搭載されている。車載ネットワーク１は車両に設置されたネットワークであり、各ブロックが接続され、互いにデータの送受信を可能にしている。車載ネットワークはデータ伝送が可能であれば構成材料や有線無線の別を問わない。たとえば、本実施形態のように複数の画像認識部に同じデータを配信する場合、標準規格であるＣＡＮを用いればマルチキャスト送信を可能にすることができる。
【００２７】
撮影部２は、動画像を撮影可能なデジタルビデオカメラである。本実施形態において、車載カメラは車両の前方を向いてダッシュボードに設置され、車両の進行方向を撮影している。画像は所定のフレームレート（たとえば秒間３０フレーム）にて撮影され、各フレーム画像は所定数（たとえば６４０×４００）の、ＲＧＢ表色系で表された画素値（たとえば０〜２５５）を持つ画素で構成されている。主成分分析部３は、変換行列算出部３ａと画素値変換部３ｂを有する。変換行列算出部は、フレーム画像の各画素のＲＧＢ画素値に基づいて座標軸を変換するための変換行列を取得する。画素値変換部はフレーム画像の各画素のＲＧＢ画素値を変換行列により変換し、第１〜第３主成分得点を取得する。そして、画像認識に用いる第１主成分得点を車載ネットワークに配信する。
【００２８】
画像認識部４ａは配信された第１主成分得点を受信し、画像認識を行う。ここでは画像から先行車両を検出し、計算により車間距離を推定する。ブレーキコントロール部５は車間距離を受け取り、先行車両との距離が接近していれば接触回避のためにブレーキ制御を行う。画像認識部４ｂも第１主成分得点を取得し、画像認識を行う。ここでは画像から白線、黄線、ガードレールなど、道路のレーンを示す対象物を検出する。ハンドルコントロール部６はレーン情報を受け取り、車両がレーンから外れているか、このまま進むと外れそうであればハンドル制御を行い進路を修正する。
【００２９】
（処理フロー）
必要に応じて図２に示したフローチャートを参照しつつ、処理の詳細を説明する。ステップＳ１０１では、車載カメラが上述のように６４０×４００画素の画像を秒間３０フレームのレートで撮影する。
【００３０】
ステップＳ１０２では、変換行列を求める元となる画素を、フレーム画像の全画素中から抽出する。これは、ＣＰＵの性能によっては、全ての画素に基づいて変換行列を求めると処理時間がかかり過ぎる場合があるからである。そこで、画像認識処理が遅延したり、ＣＰＵ使用時間が増えて他の処理に影響を及ぼしたりしないように、処理対象となる画素数を減らすのである。画素を抽出する方法として、本実施形態では縦横方向でそれぞれ１／２のダウンサンプリングを行い、画素を１個置きに選択する。これにより処理対象の画素数を１／４に間引くことができ、処理を高速化できる。画素抽出を行うかどうかや抽出する画素数の全画素数中の割合については、ＣＰＵの処理能力や画像認識に求められる精度に応じて定めることができる。画素抽出の方法としてはダウンサンプリングの他に、無作為に必要な画素数だけ画素を選ぶ方法も考えられる。
【００３１】
ステップＳ１０３では、変換行列算出部が、上記サンプリングされた画素のＲＧＢ画素値から変換行列を取得する。ステップＳ１０４では、画素値変換部が、フレーム画像の全ての画素のＲＧＢ画素値を変換行列により変換し、第１〜第３主成分得点を取得する。なお、この画素値変換処理は主成分分析よりも単純な計算であるため、全ての画素について行っても計算量はさして大きくならない。続いてステップＳ１０５で、第１主成分得点を車載ネットワーク上に配信する。
【００３２】
ステップＳ１０６では、画像認識部４ａが第１主成分得点を受信し、画像認識を行って先行車両を検出し、車間距離を推定する。ステップＳ１０７では、ブレーキコントロール部が、車間距離が所定の値よりも短いかどうかを判断する。先行車両と接近し過ぎだと判断すれば（Ｓ１０７＝Ｙ）、ステップＳ１０８に進み、ブレーキコントロール部がブレーキを制御して安全な間隔まで広げる。なお、車間距離が接近しているもののブレーキをかける程ではない場合は、運転者に音声等でアラートを行っても良い。一方Ｓ１０７＝Ｎの場合、ステップＳ１０９に進み、画像認識部５ｂが道路のレーン情報を検出する。そしてハンドルコントロール部が、車両がレーンから外れているか外れそうであると判断すれば（ステップＳ１１０＝Ｙ）、ステップＳ１１１に進んでハンドル制御を行い、進路を修正。なお、ハンドル制御に代えて運転者へのアラートにすることができるのはブレーキ制御と同様である。
【００３３】
（効果）
本実施形態によれば、画像認識に適した画像を得るための前処理を、２つの画像認識部で別々に行う必要がなくなる。その結果ＣＰＵ消費量が減少するので、画像認識部のＣＰＵの性能を抑えることにより、安価に画像処理システムを構築することが可能になる。また画像認識部での処理時間が減り、少ないタイムラグで後続処理を行うことが可能になる。これにより、安全関係の装置では特に求められる即応性の向上が実現できるようになる。また、画像認識を行うためには第１〜第３主成分得点のうち第１主成分得点を配信すれ
ば足りるので、ＲＧＢ表色系の画素値を配信する場合に比べデータ伝送量が少なく、車載ネットワークの帯域を節約することができる。また、変換行列を求める元となる画素を、フレーム画像の全画素から、例えばダウンサンプリング等により抽出すれば、主成分分析部の処理を一層高速化できるという利点を得られる。
【００３４】
＜実施形態２＞
本実施形態では、撮影画像の各フレームを比較し、画像の構成が大きく変化した（シーンチェンジが起きた）フレーム画像についてのみ主成分分析処理を行う場合について、実施形態１との相違点を中心に説明する。
【００３５】
実施形態１の処理の各ステップ中で、主成分分析は比較的計算量が大きい処理でありボトルネックになる可能性がある。そこで、計算量を抑制するために全てのフレームではなく選択したフレームについてのみ変換行列を算出し、他のフレームについては以前に算出した変換行列を流用することが考えられる。フレームを選択する方法として例えば、３フレーム毎など所定の間隔での単純な選択も考えられる。この選択方法は計算量を効率的に減らせるという点で有効である。
【００３６】
一方、画像認識の精度を可及的に保ちつつ計算量を削減するためには、本実施形態のようにシーンチェンジの有無を検出し、シーンチェンジがあったフレームで変換行列を算出し、シーンチェンジがないフレームでは以前に算出した変換行列を流用する方法が有効である。これは、動画像中の近接したフレームにおいては画像の構成が似通っている可能性が高いので、ＲＧＢ画素値も類似しており、そこから求められる変換行列も類似していると考えられることによる。本実施形態では、フレーム画像の明るさが大きく変わった場合はシーンチェンジがあったと判断することにする。
【００３７】
（構成）
図３のブロック図に本実施形態のシステム構成を示す。主成分分析部は、実施形態１に加えて、フレーム画像のＲＧＢ画素値の平均値を算出する特徴量算出部７を備えている。また、主成分分析部が特徴量および変換行列を格納するために、メモリ８が存在する。
【００３８】
（処理フロー）
図４のフローチャートを参照しつつ、本実施形態の処理の詳細を説明する。ステップＳ２０１では、車載カメラが画像を撮影する。ステップＳ２０２では、特徴量算出部がフレーム画像のＲＧＢ画素値の平均値を算出する。この計算は単純な加算と除算であるので、全てのフレーム画像に対して処理を行っても計算量は大きくならない。以下、現時刻ｔのフレームでの画素値の平均値をＰｔと表記する。
【００３９】
ステップＳ２０３では、現在のフレームのＲＧＢ画素値の平均値Ｐｔと、前もってメモリ部に格納されている値Ｐｍとの差分を取る。このＰｍという値は、以前に変換行列を求めたフレーム画像におけるＲＧＢ画素値の平均値であり、その主成分分析時に格納されたものである。
【００４０】
差分の絶対値が所定の閾値以下であれば、ステップＳ２０４に進み、前もってメモリ部に格納されている変換行列を画素値変換部で用いるように指示する。この変換行列は、以前に主成分分析を行った際に求められ、格納されたものである。一方、差分の絶対値が閾値より大きければ、ステップＳ２０５に進んで新たに変換行列を求める。そして、新たに求めた変換行列をメモリ部に格納する。閾値はシステムの処理能力と画像認識の精度のバランスを考慮して設定することができ、閾値を大きくすれば主成分分析の回数が減って処理速度が速くなり、閾値を小さくすれば主成分分析の回数が増えて画像認識の精度が上がる。
【００４１】
これ以降の処理は実施形態１と同様である。ステップＳ２０６では、画素値変換部が、Ｓ２０４またはＳ２０５で定められた変換行列とＲＧＢ画素値から第１〜第３主成分得点を求め、第１主成分得点を車載ネットワークに配信する。ステップＳ２０７では、画像認識部が第１主成分得点を受信する。ステップＳ２０８では、画像認識部が、先行車両を検出しての車間距離推定や、白線等を検出してのレーン外れの判断等の画像認識処理を行う。そしてステップＳ２０９では、画像認識の結果を用いてブレーキ制御やハンドル制御等の後続処理を行う。
【００４２】
（効果）
本実施形態の画像処理システムによれば、シーンチェンジの有無を判定した上で、新たに変換行列を求めるか、メモリに格納されている変換行列を利用するかを選択することができる。これにより、画像認識の精度への影響を可及的に抑制しつつ計算の回数を減らし、ＣＰＵ消費量を削減することが可能になる。その際、画像認識で必要とする精度やＣＰＵ等の性能、処理速度などを考慮した上で適切な閾値を選択することが可能であり、システム設計の自由度を高めることができる。主成分分析の回数を減少させれば、安価なＣＰＵによってシステムを構成してコストを抑制できる。あるいは、主成分分析にかかる時間が削減されるので、処理の遅延や他の処理への影響を抑制することができる。
【００４３】
なお、シーンチェンジ検出で利用する特徴量としては、差分の絶対値以外にも、たとえば画素値のヒストグラムや変化の割合を用いることもできる。また、ＶＩＣＳ（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：財団法人道路交通情報通信システムセンターの商標）から得た情報により、トンネル内から外に抜けるときのようにシーンチェンジがあることが分かっている場合は、平均値を求めるまでもなく新しい変換行列を求めても良い。
【００４４】
＜実施形態３＞
本実施形態では、画像認識だけではなく、元の画像を再生して利用する場合について説明する。以下、処理フローや画像処理システムの構成について、実施形態１との相違点を中心に説明する。
【００４５】
（構成）
本実施形態における画像処理システムを図５に示し、実施形態１に追加した構成要素について説明する。画像再生部９は車載ネットワークに送出された第１〜第３主成分得点を取得、逆変換処理を施してＲＧＢ表色系の画素値に戻し、原画像を再生する。画像表示部１０は再生画像を表示する液晶ディスプレイ等の表示装置である。画像記録部１１は再生した画像を保存するための記憶装置であり、ハードディスク等を用いることができる。
【００４６】
（処理フロー）
図６に示したフローチャートを参照しつつ、本実施形態の処理の概要を述べる。ステップＳ３０１では、車載カメラが画像撮影を行う。ステップＳ３０２では、変換行列算出部が、撮影されたフレーム画像から変換行列を得る。なお、この際の分散共分散行列を求める処理において、各色成分の平均値が求められている。ステップＳ３０３では、画素値変換部が座標変換を行って第１〜第３主成分得点を取得する。ステップＳ３０４では、第１〜第３主成分得点を車載ネットワークに配信する。以前の実施形態では、画像認識で用いる第１主成分得点を配信すれば足りていたが、本実施形態では画像の再生も行うので第２、第３主成分得点も配信する。さらに、画像を再生するために必要となる変換行列および各色成分の平均値も配信する。
【００４７】
続いてステップＳ３０５では、後続処理の種類を判断して処理を分岐させる。後続処理
が画像認識結果を用いる場合、ステップＳ３０６で画像認識部が第１主成分得点を受信し、ステップＳ３０７で画像認識を行う。そしてステップＳ３０８において、ブレーキ制御やハンドル制御などの後続処理を行う。
【００４８】
一方、後続処理が再生画像を使用する場合、ステップＳ３０９で画像復元部が第１〜第３主成分得点、変換行列および各色成分の平均値を受信する。ステップＳ３１０で画像再生部は、画素値変換部が行った変換の逆の処理を行い、ＲＧＢ画素値を算出する。そしてステップＳ３１１において、ディスプレイへの画像表示や記憶装置への画像保存などの後続処理を行う。
【００４９】
（効果）
本実施形態の画像処理システムによれば、車載ネットワークに送出される第１〜第３主成分得点を利用して画像認識および画像再生ができる。このように画像認識部と画像再生部が共通のデータを用いることにより、ＲＧＢ表色系の画像データを車載ネットワークに送出する必要がなくなり、ネットワークの帯域を節約することができる。また、画像認識部はコントラストが強く画像認識に適した第１主成分得点を取得できるので、画像認識部での前処理が必要ない点は実施形態１と同様である。そのため、特に複数の画像認識部を有するシステムにおいては重複処理を排除することができ、システム構築のコストを抑制することが可能になる。
【００５０】
以上の実施形態では、処理を簡明にするために主成分分析部が取得した第１〜第３主成分得点をそのまま車載ネットワークに配信している。しかし、配信前に予め第１〜第３主成分得点に符号化処理を施し、データサイズを圧縮した符号化データとすることもできる。この場合、画像認識部は第１主成分得点に基づく符号化データを受信し、復号処理を施して第１主成分得点を再現する。また画像再生部は全ての符号化データを受信し、第１〜第３主成分得点を再現する。これにより、ネットワーク上の帯域使用量を減らし、スムーズなデータ伝送が可能になる。あるいは、画像記録部にデータを蓄積する際は、復号処理を経ずに符号化データのままで蓄積し、再生時に復号して画像復元を行うようにしても良い。これにより記憶領域を削減し、多くの運転記録を保存することができるようになる。
【符号の説明】
【００５１】
１ 車載ネットワーク
２ 撮影部
３ 主成分分析部
４ 画像認識部
【特許請求の範囲】
【請求項１】
車載ネットワークに撮影部と主成分分析部と複数の画像認識部とが接続され、撮影画像に基づく画像認識を行う画像処理システムであって、
前記撮影部は画素値がＲＧＢ表色系で表された画像を撮影し、
前記主成分分析部は、前記撮影画像から変換行列を算出し、前記撮影画像の各画素値を第１〜第３主成分得点に変換し、第１主成分得点を車載ネットワークに配信し、
前記画像認識部は前記第１主成分得点を受信して画像認識を行う
ことを特徴とする画像処理システム。
【請求項２】
前記主成分分析部は、第２、第３主成分得点も車載ネットワークに配信するものであり、
第１〜第３主成分得点を受信して画像を再生する画像再生部と、
前記再生画像を表示する画像表示部をさらに備える
ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記撮影画像の画素値から画面の明るさを表す特徴量を算出する特徴量算出部と、
前記主成分分析部が撮影画像から算出した変換行列および算出の元になった撮影画像の特徴量を算出のたびに格納するためのメモリ部をさらに備え、
前記主成分分析部は、撮影画像の特徴量とメモリ部に格納済みの特徴量との差が閾値以下であれば、メモリ部に格納済みの変換行列を利用して撮影画像の各画素値を第１〜第３主成分得点に変換する
ことを特徴とする請求項１または２に記載の画像処理システム。
【請求項４】
前記特徴量は、撮影画像の画素値の平均値である
ことを特徴とする請求項３に記載の画像処理システム。
【請求項１】
車載ネットワークに撮影部と主成分分析部と複数の画像認識部とが接続され、撮影画像に基づく画像認識を行う画像処理システムであって、
前記撮影部は画素値がＲＧＢ表色系で表された画像を撮影し、
前記主成分分析部は、前記撮影画像から変換行列を算出し、前記撮影画像の各画素値を第１〜第３主成分得点に変換し、第１主成分得点を車載ネットワークに配信し、
前記画像認識部は前記第１主成分得点を受信して画像認識を行う
ことを特徴とする画像処理システム。
【請求項２】
前記主成分分析部は、第２、第３主成分得点も車載ネットワークに配信するものであり、
第１〜第３主成分得点を受信して画像を再生する画像再生部と、
前記再生画像を表示する画像表示部をさらに備える
ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記撮影画像の画素値から画面の明るさを表す特徴量を算出する特徴量算出部と、
前記主成分分析部が撮影画像から算出した変換行列および算出の元になった撮影画像の特徴量を算出のたびに格納するためのメモリ部をさらに備え、
前記主成分分析部は、撮影画像の特徴量とメモリ部に格納済みの特徴量との差が閾値以下であれば、メモリ部に格納済みの変換行列を利用して撮影画像の各画素値を第１〜第３主成分得点に変換する
ことを特徴とする請求項１または２に記載の画像処理システム。
【請求項４】
前記特徴量は、撮影画像の画素値の平均値である
ことを特徴とする請求項３に記載の画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−２１９８６５（Ｐ２０１０−２１９８６５Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６４０９８（Ｐ２００９−６４０９８）
【出願日】平成２１年３月１７日（２００９．３．１７）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１７日（２００９．３．１７）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]