画像処理システムおよび画像処理装置
【課題】画像処理システムにおいて、簡易な方法で動画像のフレーム間で注目画素が移動した方向と距離を示す動きベクトルを検出する技術を提供し、システム全体の計算コストを可及的に引き下げる。
【解決手段】ＪＰＥＧ２０００フォーマットなど、画像データの処理中に２次元ウェーブレット変換を行う画像処理システムにおいて、処理対象のフレーム画像に対して２次元ウェーブレット変換を行う。処理後に得られる現フレームのＬＬ成分、ＨＬ成分、ＬＨ成分、および前フレームのＬＬ成分に基づいてＬｕｃａｓ−Ｋａｎａｄｅ法による動きベクトル検出を実行する。
【解決手段】ＪＰＥＧ２０００フォーマットなど、画像データの処理中に２次元ウェーブレット変換を行う画像処理システムにおいて、処理対象のフレーム画像に対して２次元ウェーブレット変換を行う。処理後に得られる現フレームのＬＬ成分、ＨＬ成分、ＬＨ成分、および前フレームのＬＬ成分に基づいてＬｕｃａｓ−Ｋａｎａｄｅ法による動きベクトル検出を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の動きベクトルを検出する画像処理システムおよび画像処理装置に関する。
【背景技術】
【０００２】
動画像の画像処理において、注目画素が移動した方向と距離を示す動きベクトルを検出する場合がある。特に、車両搭載型の画像処理装置においては安全性や即応性が要求されるため、簡易に素早く動きベクトルを検出することが重要になる。例えば、車載カメラで周囲の状況を撮影して動きベクトルを検出することで、他の車両や人物を認識して車両制御に役立てることができる。特開２００８−６８６７５号公報（特許文献１）には、車両に搭載したカメラによって取得した画像から動きベクトルを検出し、周辺の物体の動きを認識する装置が記載されている。
【０００３】
動画像の動きベクトルを検出する方法としてLucas-Kanade法やブロックマッチング法が存在する。特開平１１−３３９０２１号公報（特許文献２）には、Lucas-Kanade法による動きベクトルの検出について記載されている。Lucas-Kanade法で動きベクトルを求める際には、現フレーム画像、前フレーム画像、現フレーム画像をｘ方向に微分した画像および現フレーム画像をｙ方向に微分した画像、という４枚の画像を用いる。そして注目画素の画素値特性を利用した計算を行うことで動きベクトルを検出する。このLucas-Kanade法はブロックマッチング法と比べて計算式が単純という利点があり、広く用いられている。
【０００４】
ところで、車載カメラで撮影した画像の用途は動きベクトル検出だけとは限らない。例えば、画像を車内のモニターに表示して運転者や乗員が周囲の状況を確認する、あるいは画像を電子データとして記録装置に蓄積して運転記録を保存しておく等である。それらの用に供する際に、画像データを所定の符号化方法によって圧縮しておけば、データの伝送時間が短くなる、データサイズが小さくなり記憶領域を節約できるなどの利点を得ることができる。
【０００５】
このような画像圧縮方法には多くの種類があり、従来はＪＰＥＧフォーマットが広く用いられてきた。これは、圧縮したい２次元画像を８×８画素のブロックに分割し、ブロックごとに離散コサイン変換を行って周波数領域に変換し、得られた係数をエントロピー符号化することによりデータ量を削減する方法である。しかしこの方法では、ブロックの境界に色の段差（ブロックノイズ）ができる問題や、急峻な色の変化の周囲でもやもやとしたノイズ（モスキートノイズ）が生じる問題があった。
【０００６】
そこで新たな画像圧縮方法として、ＪＰＥＧ２０００フォーマットが規格化されている。例えば特開２００６−２８７４８７号公報（特許文献３）にはＪＰＥＧ２０００フォーマットにより画像データを圧縮する際の効率的な処理方法が記載されている。さらに、ＪＰＥＧ２０００の拡張仕様であるＭｏｔｉｏｎ−ＪＰＥＧ２０００を用いることにより、動画像についても高いデータ圧縮率を実現可能である。
【０００７】
ＪＰＥＧ２０００による画像圧縮においても、まず画像データをタイル（ＪＰＥＧにおけるブロックに相当）に分割する。タイルのサイズは任意であり、サイズを大きくすればブロックノイズの問題を軽減することができる。続いてタイルごとに２次元ウェーブレット変換を行い、画像領域を周波数領域に変換する。この処理によって４つの成分ＬＬ，ＨＬ，ＬＨ，ＨＨが得られる。その後、各成分をＭＱ符号化と呼ばれる方式によって符号化し、データを生成する。そしてディスプレイに表示する際は、受け取った符号化データを
ＭＱ復号化により復号して各成分を再現し、得られた各成分に逆ウェーブレット変換を施すことで画像を生成する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−６８６７５号公報
【特許文献２】特開平１１−３３９０２１号公報
【特許文献３】特開２００６−２８７４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記のようにLucas-Kanade法は簡易な動きベクトル検出手法であるものの、処理中のステップでフレーム画像のｘ方向およびｙ方向の微分画像を求める必要がある。そのためにラプラシアンフィルタなどを用いた計算を行う必要があった。この計算量が処理全体の中で比較的大きな割合を占めるため、処理全体の実行速度の制限要因となり、かつＣＰＵ消費量を増大させていた。
【００１０】
一方、ＪＰＥＧ２０００フォーマットによる画像の符号化および復号処理は、一般に従来のＪＰＥＧ方式に比べて計算量が多く、他の処理、例えばLucas-Kanade法による動きベクトル検出と同時に実行するとＣＰＵ資源の競合を招いてしまっていた。
【００１１】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、簡易な方法で動画像から動きベクトルを検出する技術を提供し、システム全体の計算コストを可及的に引き下げることである。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明にかかる画像処理システムでは以下の構成を採用する。すなわち、動画像のフレーム画像に２次元ウェーブレット変換を行って画像を処理する画像処理システムであって、前記２次元ウェーブレット変換を実行するウェーブレット変換部と、前記ウェーブレット変換後のＬＬ成分、ＨＬ成分およびＬＨ成分を受信し、当該各成分に基づいて、フレーム間で注目画素が移動した方向と距離を示す動きベクトルを検出する動きベクトル検出部とを備えることを特徴とする画像処理システムである。
【００１３】
本発明にかかる画像処理システムにおいてはさらに、動きベクトル検出部として、注目画素移動後のフレームのＬＬ、ＨＬ、ＬＨ成分、および、注目画素移動前のフレームのＬＬ成分に基づいて、Lucas-Kanade法によって動きベクトルを検出する構成を取ることができる。
【００１４】
ここで、フレーム画像に２次元ウェーブレット変換を行った後のＨＬ成分は、縦方向のエッジが立った画像であり、ＬＨ成分は横方向のエッジが立った画像である。そこで、本発明にかかる画像処理システムの動きベクトル検出部においてｘ方向微分画像の代わりにＨＬ成分を、ｙ方向微分画像の代わりにＬＨ成分を用いることによりLucas-Kanade法を簡易に実施することができる。
【００１５】
本発明にかかる画像処理システムにおいてはさらに、ウェーブレット変換後の各成分をＪＰＥＧ２０００フォーマットの規定に従って符号化データにする符号化部を備え、動きベクトル検出部は符号化データを受信したのち各成分を復号し、動きベクトル検出に使用する構成を取ることができる。
【００１６】
このような構成を取ることにより、ＪＰＥＧ２０００フォーマットにより画像を圧縮す
る場合、そこで用いられるデータを利用して動きベクトルを検出することができ、処理効率が向上する。例えば動画像についてＭｏｔｉｏｎ−ＪＰＥＧ２０００方式を用いるのであれば同時に処理を行うことができる。
【００１７】
本発明にかかる画像処理システムにおいてはさらに、前記ウェーブレット変換の結果に基づいて画像を作成する画像作成部を備えるような構成を取ることができる。
【００１８】
これにより、同じ動画像について動きベクトル検出と画像表示を行う画像処理システムにおいて、ウェーブレット変換の結果を共通に用いることが可能になり、ＣＰＵ資源の効率的利用につながる。
【００１９】
本発明にかかる画像処理システムにおいてはさらに、動画像を撮影する撮影部を備え、前記ウェーブレット変換部、前記動きベクトル検出部および前記撮影部は車両に設置されており、前記撮影部が撮影した動画像に対して動きベクトル検出を行う構成を取ることができる。
【００２０】
これにより、車載カメラが撮影した動画像について動きベクトル検出を行う車載の画像処理システムにおいて、ウェーブレット変換の結果を利用して簡易に動きベクトル検出を行うことが可能になる。
【００２１】
本発明はまた、ウェーブレット変換の結果を受信して動きベクトル検出を行う画像処理装置としてとらえることもできる。つまり、動画像のフレーム画像に２次元ウェーブレット変換を行って画像を処理する画像処理システムに用いられる画像処理装置であって、前記ウェーブレット変換後のＬＬ成分、ＨＬ成分およびＬＨ成分を受信する受信部と、受信した各成分に基づいて、フレーム間で注目画素が移動した方向と距離を示す動きベクトルを検出する動きベクトル検出部とを備えることを特徴とする画像処理装置である。
【発明の効果】
【００２２】
本発明にかかる画像処理システムまたは画像処理装置によれば、簡易な方法で動画像から動きベクトルを検出することが可能になる。また、システム全体の計算コストを可及的に引き下げることが可能になる。
【図面の簡単な説明】
【００２３】
【図１】実施形態１の処理全体の流れを表すフローチャート。
【図２】画像処理システムの全体構成を表すブロック図。
【図３】動きベクトル検出の一連の処理を表すフローチャート。
【図４】受信データを利用する処理を表すフローチャート。
【図５】Lucas-Kanade法の処理対象となるフレーム画像。
【図６】２次元ウェーブレット変換の手順を説明する図。
【発明を実施するための形態】
【００２４】
以下に図面を参照して、本発明の好適な実施の形態を例示的に詳しく説明する。
【００２５】
＜実施形態１＞
本実施形態においては、本発明にかかる画像処理システムが車両に搭載され、車載カメラで撮影した画像から動きベクトルを検出する場合について説明を行う。
【００２６】
最初に、図１のフローチャートを参照しつつ、本実施形態の処理の流れを説明する。なお、ここでは概略を述べるに留め、個々の処理については後ほど詳述するものとする。まず、ステップＳ００１において、車載カメラが周囲の状況を撮影する。これにより、フレ
ームレートと撮影時間に応じたフレーム画像が得られる。次に、ステップＳ００２において、前ステップで得られたフレーム画像に対して２次元ウェーブレット変換を施す。これにより、周波数領域に変換された各成分が得られる。次に、ステップＳ００３において、前ステップで得られた各成分を符号化し、車載ネットワークで送受信し、動きベクトル検出部で復号する。そして、ステップＳ００４において、前ステップで得られた各成分に基づいて、Lucas-Kanade法による動きベクトル検出を行う。
【００２７】
（Lucas-Kanade法の簡単な説明）
上記のようにLucas-Kanade法による動きベクトル検出は発明の実施に重要であるため、以下で簡単に説明する。ここでは図５（ａ）（時刻（ｔ−１））と図５（ｂ）（時刻ｔ）という２つのフレームの間で、山の稜線上のある１画素ｐの移動に注目して動きベクトル検出を行う。両フレーム間では画素値は変化しないので、式（１）が成立する。
ｐ（ｘ，ｙ，ｔ）＝ｃｏｎｓｔ． ・・・（１）
この式１をｔで偏微分すると、式（２）のようになる。
【数１】
【００２８】
式（２）は、以下の式（３）のように書き換えることができる。
【数２】
【００２９】
前記の式（３）を解くことにより動きベクトルｖを求めることができるが、これは２変数の方程式であるため複数の画素で連立させる必要がある。そこで、式（３）を連立方程式とするために、同一の動きをする所定サイズの矩形ブロックの領域 ｛（ｘ１，ｙ１），…（ｘｎ，ｙｎ）｝ を考える。この領域の画素について式（３）を連立させると、以下の式（４）となる。
【数３】
となる。ここで式（４）の第１項をＱ，第２項をｖ，第３項をｒとおくと、以下の式（５）となる。
Ｑｖ＝ｒ ・・・（５）
式（５）をさらに変形すると式（６）となり、動きベクトルｖを求めることができる。
ｖ＝（ＱＴＱ）−１ＱＴｒ ・・・（６）
【００３０】
（２次元ウェーブレット変換の簡単な説明）
次に、本発明の実施で用いる２次元ウェーブレット変換の手順、および、得られるＬＬ，ＨＬ，ＬＨ，ＨＨ各成分の性質について、図６を参照しつつ簡単に述べる。２次元ウェーブレット変換はローパスフィルタ（図中「ＬＰＦ」）、ハイパスフィルタ（図中「ＨＰＦ」）および１／２ダウンサンプラ（図中「↓２」）を使用する。ＬＰＦは、注目画素に隣接する画素の画素値を利用して画像を平滑化する効果がある。いっぽうＨＰＦは、注目画素に隣接する画素との微分処理を行いエッジを強調する効果がある。本図は処理対象となる画像に水平方向および垂直方向の変換処理を施す手順を示している。
【００３１】
まず、Ｓｔｅｐ１において水平方向の処理を行う。すなわち、図の左上に示した処理前の画像に対し、まず水平方向にＬＰＦ処理とＨＰＦ処理を行う。続いて、ＬＰＦおよびＨＰＦ処理後のデータをダウンサンプラにより１／２にダウンサンプリングする。これ以降、ＨＰＦ処理とダウンサンプリングを経たデータをＨ成分、ＬＰＦ処理とダウンサンプリングを経たデータをＬ成分と呼ぶ。Ｈ成分およびＬ成分の水平方向の画素数は原画像の半分に間引かれており、垂直方向の画素数は原画像と同数である。さらにＨ成分を画像として見ると、垂直方向のエッジが強調された状態になっている。
【００３２】
次にＳｔｅｐ２において、Ｈ成分およびＬ成分に対して、今度は垂直方向にＨＰＦ処理とＬＰＦ処理を施し、ダウンサンプラにより垂直方向１／２にデータを間引く。これにより得られたデータを、以下のように呼ぶ。すなわち、Ｌ成分にＬＰＦ処理をしたものがＬＬ成分、Ｌ成分にＨＰＦ処理をしたものがＬＨ成分、Ｈ成分にＬＰＦ処理をしたものがＨＬ成分、Ｈ成分にＨＰＦ処理をしたものがＨＨ成分である。
【００３３】
図の右上に示したのは、上記の処理によって画像データが成分ごとに分離された様子を模式的に表す図であり、各成分の画素をまとめて示している。ここで、ＨＬ成分は垂直（縦）方向のエッジが強調されたｘ方向微分画像であり、ＬＨ成分は水平（横）方向のエッジが強調されたｙ方向微分画像だと言える。以上のように水平方向と垂直方向にフィルタリング処理を行うことで１回の２次元ウェーブレットが完了する。
【００３４】
（画像処理システムの構成）
図２のブロック図を用いて、本実施形態で用いる画像処理システムの構成と各ブロックの機能を説明する。システムの各ブロックは車両１に搭載される。車両に設置された各ブロックは、ブロック間でメッセージやデータを送受信するための車載ネットワーク６に接続されている。車載ネットワークの構成はデジタルデータを伝送できるものであれば有線無線の別は問わず、例えばＣＡＮのような標準規格に依ることができる。
【００３５】
カメラ２は動画像を撮影可能なデジタルビデオカメラであり、周囲の状況を撮影できる位置に設置されている。本実施形態では車両の前方に向けて固定し、対向車や障害物、通行人などを撮影、検出することを目的とする。画像取得部３は様々なソースから画像データを取得し、必要があれば画像サイズ（縦×横の画素数）を後の処理に適した形にトリミングする。本実施形態では上記のカメラが撮影した画像をソースとして用いるが、他にもフラッシュメモリなどの記録媒体を経由したり、不図示の通信装置を経由して車外から受信することができる。本実施形態のように車載カメラによる撮影画像のみが処理対象の場合は、カメラと画像取得部を一体のものとして後続処理に直接データを提供するようにしても良い。あるいは図中でまとめて示したように、画像取得部、ウェーブレット変換部、符号化部は共通のＥＣＵ上で稼働するプログラムとして構成されても良い。
【００３６】
ウェーブレット変換部４は、画像取得部が取得した画像に２次元ウェーブレット変換を行い、ＬＬ，ＬＨ，ＨＬ，ＨＨの各成分を得る。符号化部５は、ＪＰＥＧ２０００フォーマットが規定するＭＱ符号化による処理を行い、各成分を符号化データにする。作成した符号化データは車載ネットワーク６を経由して送出される。本実施形態における動きベクトル検出のためには、少なくともＬＬ，ＬＨ，ＨＬの各成分に基づく符号化データを送出する必要がある。
【００３７】
復号部７は、ＪＰＥＧ２０００フォーマットに従って圧縮された符号化データを復号し、ウェーブレット変換後の各成分を復元する。ここで、後続処理が動きベクトル検出であればＬＬ，ＬＨ，ＨＬの３つのみを復元すれば良い。また、後続処理で画像を利用する場合は必要に応じて復元する成分を決定でき、例えば完全に原画像を再現するのであればＬＬ，ＨＬ，ＨＬ，ＨＨの全てを復元すれば良い。
【００３８】
動きベクトル検出部８は現フレームのＬＬ，ＬＨ，ＨＬ成分および前フレームのＬＬ成分に基づいてLucas-Kanade法による動きベクトル検出を行う。ここで、上述したように、ＨＬ成分は垂直方向のエッジが強調されたｘ方向微分画像であり、ＬＨ成分は水平方向のエッジが強調されたｙ方向微分画像だと言える。したがってLucas-Kanade法に必要な現フレーム画像の代わりに現フレームのＬＬ成分を、前フレーム画像の代わりに前フレームのＬＬ成分を、ｘ方向微分画像の代わりにＨＬ成分を、ｙ方向微分画像の代わりにＬＨ成分を用いて動きベクトルを検出できる。画像認識部９は、検出した動きベクトルを利用して画像から動体を認識する。
【００３９】
画像復元部１０は、ＪＰＥＧ２０００フォーマットに従って圧縮された符号化データから、原画像を復元する。ディスプレイ１１は運転者やその他の乗員に画像を表示する液晶ディスプレイである。レコーダー１２は記録装置であり、画像データを蓄積することができる。なお、動きベクトル検出部、画像認識部および画像復元部は必ずしも物理的に独立している必要はなく、ＥＣＵ上で稼働するプログラムとして構成されても構わない。
【００４０】
（処理フロー）
以下にフローチャートを参照しつつ、本実施形態の動きベクトル検出処理の流れを説明する。図３において、ステップＳ１０１では、車両に固定された車載カメラが前方を撮影する。ここでは例として、１００×１００画素の画像を取得し不図示のメモリに蓄積するものとする。各画素の画素値は０〜２５５の間の値を取り得る。ステップＳ１０２では、
ウェーブレット変換部がメモリから各フレーム画像を取り出し、それぞれに対して２次元ウェーブレット変換を行う。タイルのサイズはフレームと同じく１００×１００画素（タイル数＝１）とする。その結果、ＬＬ，ＬＨ，ＨＬ，ＨＨの各成分が生成され、それぞれの画素数は５０×５０となる。
【００４１】
ステップＳ１０３では、符号化部が、ＪＰＥＧ２０００フォーマットで使用するＭＱ符号化方式により各成分をデータ圧縮する。ＪＰＥＧ２０００では圧縮効率を重視したものから可逆性を重視したものまで様々なスケーラビリティでの符号化が可能であるが、ここでは各成分については可逆な形式で処理を行うものとする。ステップＳ１０４では、符号化データを車載ネットワーク上に送信する。
【００４２】
続いて、ステップＳ１０５では、復号部が符号化データを受信し、ＭＱ復号化方式により復号する。なお本実施形態の動きベクトル検出方法ではＬＬ，ＬＨ，ＨＬの各成分のみが必要であり、ＨＨ成分は必要としない。そこで、ＨＨ成分に基づく符号化データについてはヘッダを参照して受信しないようにすれば、不要な復号処理をしないで済み、計算量を削減できる。ステップＳ１０６では、動きベクトル検出部が復号した各成分に基づいてLucas-Kanade法による動きベクトル検出を行う。ステップＳ１０７では、検出した動きベクトルに基づいて、画像認識部が車両前方の障害物、例えば車両や人物の有無を確認する。その結果として安全に関わるような障害物が発見されれば、ユーザに対して音声や画像でアラートを行ったり、緊急安全装置による回避行動を行う。
【００４３】
続いて図４のフローチャートを参照しつつ、ウェーブレット変換の結果を利用する処理について説明する。本フローは、符号化部が作成した符号化データを受信した状態から開始される。したがって、ステップＳ２０１は、図３のステップＳ１０１〜Ｓ１０５に相当する処理となっている。後続の処理で原画像を利用する場合（Ｓ２０２＝ＹＥＳ）、ステップＳ２０３に進み、画像復元部が逆ウェーブレット変換を行い元の画像データを再現する。ステップＳ２０４では、ディスプレイが画像データに基づいて画像を表示したり、画像データを記録装置に蓄積する。
【００４４】
（効果）
本実施形態によれば、ｘ方向微分画像の代わりに２次元ウェーブレット変換で得られたＨＬ成分を、ｙ方向微分画像の代わりにＬＨ成分を用いることによりLucas-Kanade法を簡易に実施することができる。したがって、画像を表示する必要が無く動きベクトル検出だけを行う時には、各成分に逆ウェーブレット変換を施して画像を再構成する必要がない。そのため低い計算コストで、素早く動きベクトルを検出することが可能になる。
【００４５】
また、ＪＰＥＧ２０００フォーマットにより画像データの処理を行うシステムにおいては、画像データを圧縮する過程で２次元ウェーブレット変換処理を施す必要があるので、その結果を利用することができるようになる。したがって動きベクトル検出と画像圧縮処理とで別個に行っていた計算をまとめることができるので、計算に費やしていたＣＰＵ資源を軽減するという効果が得られる。また、動きベクトル検出用の画像データとＪＰＥＧ２０００フォーマットで処理した画像データを別個に送受信する必要がなくなり、データ伝送量を削減するという効果が得られる。
【符号の説明】
【００４６】
２ カメラ
４ ウェーブレット変換部
５ 符号化部
６ 車載ネットワーク
８ 動きベクトル検出部
【技術分野】
【０００１】
本発明は、画像の動きベクトルを検出する画像処理システムおよび画像処理装置に関する。
【背景技術】
【０００２】
動画像の画像処理において、注目画素が移動した方向と距離を示す動きベクトルを検出する場合がある。特に、車両搭載型の画像処理装置においては安全性や即応性が要求されるため、簡易に素早く動きベクトルを検出することが重要になる。例えば、車載カメラで周囲の状況を撮影して動きベクトルを検出することで、他の車両や人物を認識して車両制御に役立てることができる。特開２００８−６８６７５号公報（特許文献１）には、車両に搭載したカメラによって取得した画像から動きベクトルを検出し、周辺の物体の動きを認識する装置が記載されている。
【０００３】
動画像の動きベクトルを検出する方法としてLucas-Kanade法やブロックマッチング法が存在する。特開平１１−３３９０２１号公報（特許文献２）には、Lucas-Kanade法による動きベクトルの検出について記載されている。Lucas-Kanade法で動きベクトルを求める際には、現フレーム画像、前フレーム画像、現フレーム画像をｘ方向に微分した画像および現フレーム画像をｙ方向に微分した画像、という４枚の画像を用いる。そして注目画素の画素値特性を利用した計算を行うことで動きベクトルを検出する。このLucas-Kanade法はブロックマッチング法と比べて計算式が単純という利点があり、広く用いられている。
【０００４】
ところで、車載カメラで撮影した画像の用途は動きベクトル検出だけとは限らない。例えば、画像を車内のモニターに表示して運転者や乗員が周囲の状況を確認する、あるいは画像を電子データとして記録装置に蓄積して運転記録を保存しておく等である。それらの用に供する際に、画像データを所定の符号化方法によって圧縮しておけば、データの伝送時間が短くなる、データサイズが小さくなり記憶領域を節約できるなどの利点を得ることができる。
【０００５】
このような画像圧縮方法には多くの種類があり、従来はＪＰＥＧフォーマットが広く用いられてきた。これは、圧縮したい２次元画像を８×８画素のブロックに分割し、ブロックごとに離散コサイン変換を行って周波数領域に変換し、得られた係数をエントロピー符号化することによりデータ量を削減する方法である。しかしこの方法では、ブロックの境界に色の段差（ブロックノイズ）ができる問題や、急峻な色の変化の周囲でもやもやとしたノイズ（モスキートノイズ）が生じる問題があった。
【０００６】
そこで新たな画像圧縮方法として、ＪＰＥＧ２０００フォーマットが規格化されている。例えば特開２００６−２８７４８７号公報（特許文献３）にはＪＰＥＧ２０００フォーマットにより画像データを圧縮する際の効率的な処理方法が記載されている。さらに、ＪＰＥＧ２０００の拡張仕様であるＭｏｔｉｏｎ−ＪＰＥＧ２０００を用いることにより、動画像についても高いデータ圧縮率を実現可能である。
【０００７】
ＪＰＥＧ２０００による画像圧縮においても、まず画像データをタイル（ＪＰＥＧにおけるブロックに相当）に分割する。タイルのサイズは任意であり、サイズを大きくすればブロックノイズの問題を軽減することができる。続いてタイルごとに２次元ウェーブレット変換を行い、画像領域を周波数領域に変換する。この処理によって４つの成分ＬＬ，ＨＬ，ＬＨ，ＨＨが得られる。その後、各成分をＭＱ符号化と呼ばれる方式によって符号化し、データを生成する。そしてディスプレイに表示する際は、受け取った符号化データを
ＭＱ復号化により復号して各成分を再現し、得られた各成分に逆ウェーブレット変換を施すことで画像を生成する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−６８６７５号公報
【特許文献２】特開平１１−３３９０２１号公報
【特許文献３】特開２００６−２８７４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記のようにLucas-Kanade法は簡易な動きベクトル検出手法であるものの、処理中のステップでフレーム画像のｘ方向およびｙ方向の微分画像を求める必要がある。そのためにラプラシアンフィルタなどを用いた計算を行う必要があった。この計算量が処理全体の中で比較的大きな割合を占めるため、処理全体の実行速度の制限要因となり、かつＣＰＵ消費量を増大させていた。
【００１０】
一方、ＪＰＥＧ２０００フォーマットによる画像の符号化および復号処理は、一般に従来のＪＰＥＧ方式に比べて計算量が多く、他の処理、例えばLucas-Kanade法による動きベクトル検出と同時に実行するとＣＰＵ資源の競合を招いてしまっていた。
【００１１】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、簡易な方法で動画像から動きベクトルを検出する技術を提供し、システム全体の計算コストを可及的に引き下げることである。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明にかかる画像処理システムでは以下の構成を採用する。すなわち、動画像のフレーム画像に２次元ウェーブレット変換を行って画像を処理する画像処理システムであって、前記２次元ウェーブレット変換を実行するウェーブレット変換部と、前記ウェーブレット変換後のＬＬ成分、ＨＬ成分およびＬＨ成分を受信し、当該各成分に基づいて、フレーム間で注目画素が移動した方向と距離を示す動きベクトルを検出する動きベクトル検出部とを備えることを特徴とする画像処理システムである。
【００１３】
本発明にかかる画像処理システムにおいてはさらに、動きベクトル検出部として、注目画素移動後のフレームのＬＬ、ＨＬ、ＬＨ成分、および、注目画素移動前のフレームのＬＬ成分に基づいて、Lucas-Kanade法によって動きベクトルを検出する構成を取ることができる。
【００１４】
ここで、フレーム画像に２次元ウェーブレット変換を行った後のＨＬ成分は、縦方向のエッジが立った画像であり、ＬＨ成分は横方向のエッジが立った画像である。そこで、本発明にかかる画像処理システムの動きベクトル検出部においてｘ方向微分画像の代わりにＨＬ成分を、ｙ方向微分画像の代わりにＬＨ成分を用いることによりLucas-Kanade法を簡易に実施することができる。
【００１５】
本発明にかかる画像処理システムにおいてはさらに、ウェーブレット変換後の各成分をＪＰＥＧ２０００フォーマットの規定に従って符号化データにする符号化部を備え、動きベクトル検出部は符号化データを受信したのち各成分を復号し、動きベクトル検出に使用する構成を取ることができる。
【００１６】
このような構成を取ることにより、ＪＰＥＧ２０００フォーマットにより画像を圧縮す
る場合、そこで用いられるデータを利用して動きベクトルを検出することができ、処理効率が向上する。例えば動画像についてＭｏｔｉｏｎ−ＪＰＥＧ２０００方式を用いるのであれば同時に処理を行うことができる。
【００１７】
本発明にかかる画像処理システムにおいてはさらに、前記ウェーブレット変換の結果に基づいて画像を作成する画像作成部を備えるような構成を取ることができる。
【００１８】
これにより、同じ動画像について動きベクトル検出と画像表示を行う画像処理システムにおいて、ウェーブレット変換の結果を共通に用いることが可能になり、ＣＰＵ資源の効率的利用につながる。
【００１９】
本発明にかかる画像処理システムにおいてはさらに、動画像を撮影する撮影部を備え、前記ウェーブレット変換部、前記動きベクトル検出部および前記撮影部は車両に設置されており、前記撮影部が撮影した動画像に対して動きベクトル検出を行う構成を取ることができる。
【００２０】
これにより、車載カメラが撮影した動画像について動きベクトル検出を行う車載の画像処理システムにおいて、ウェーブレット変換の結果を利用して簡易に動きベクトル検出を行うことが可能になる。
【００２１】
本発明はまた、ウェーブレット変換の結果を受信して動きベクトル検出を行う画像処理装置としてとらえることもできる。つまり、動画像のフレーム画像に２次元ウェーブレット変換を行って画像を処理する画像処理システムに用いられる画像処理装置であって、前記ウェーブレット変換後のＬＬ成分、ＨＬ成分およびＬＨ成分を受信する受信部と、受信した各成分に基づいて、フレーム間で注目画素が移動した方向と距離を示す動きベクトルを検出する動きベクトル検出部とを備えることを特徴とする画像処理装置である。
【発明の効果】
【００２２】
本発明にかかる画像処理システムまたは画像処理装置によれば、簡易な方法で動画像から動きベクトルを検出することが可能になる。また、システム全体の計算コストを可及的に引き下げることが可能になる。
【図面の簡単な説明】
【００２３】
【図１】実施形態１の処理全体の流れを表すフローチャート。
【図２】画像処理システムの全体構成を表すブロック図。
【図３】動きベクトル検出の一連の処理を表すフローチャート。
【図４】受信データを利用する処理を表すフローチャート。
【図５】Lucas-Kanade法の処理対象となるフレーム画像。
【図６】２次元ウェーブレット変換の手順を説明する図。
【発明を実施するための形態】
【００２４】
以下に図面を参照して、本発明の好適な実施の形態を例示的に詳しく説明する。
【００２５】
＜実施形態１＞
本実施形態においては、本発明にかかる画像処理システムが車両に搭載され、車載カメラで撮影した画像から動きベクトルを検出する場合について説明を行う。
【００２６】
最初に、図１のフローチャートを参照しつつ、本実施形態の処理の流れを説明する。なお、ここでは概略を述べるに留め、個々の処理については後ほど詳述するものとする。まず、ステップＳ００１において、車載カメラが周囲の状況を撮影する。これにより、フレ
ームレートと撮影時間に応じたフレーム画像が得られる。次に、ステップＳ００２において、前ステップで得られたフレーム画像に対して２次元ウェーブレット変換を施す。これにより、周波数領域に変換された各成分が得られる。次に、ステップＳ００３において、前ステップで得られた各成分を符号化し、車載ネットワークで送受信し、動きベクトル検出部で復号する。そして、ステップＳ００４において、前ステップで得られた各成分に基づいて、Lucas-Kanade法による動きベクトル検出を行う。
【００２７】
（Lucas-Kanade法の簡単な説明）
上記のようにLucas-Kanade法による動きベクトル検出は発明の実施に重要であるため、以下で簡単に説明する。ここでは図５（ａ）（時刻（ｔ−１））と図５（ｂ）（時刻ｔ）という２つのフレームの間で、山の稜線上のある１画素ｐの移動に注目して動きベクトル検出を行う。両フレーム間では画素値は変化しないので、式（１）が成立する。
ｐ（ｘ，ｙ，ｔ）＝ｃｏｎｓｔ． ・・・（１）
この式１をｔで偏微分すると、式（２）のようになる。
【数１】
【００２８】
式（２）は、以下の式（３）のように書き換えることができる。
【数２】
【００２９】
前記の式（３）を解くことにより動きベクトルｖを求めることができるが、これは２変数の方程式であるため複数の画素で連立させる必要がある。そこで、式（３）を連立方程式とするために、同一の動きをする所定サイズの矩形ブロックの領域 ｛（ｘ１，ｙ１），…（ｘｎ，ｙｎ）｝ を考える。この領域の画素について式（３）を連立させると、以下の式（４）となる。
【数３】
となる。ここで式（４）の第１項をＱ，第２項をｖ，第３項をｒとおくと、以下の式（５）となる。
Ｑｖ＝ｒ ・・・（５）
式（５）をさらに変形すると式（６）となり、動きベクトルｖを求めることができる。
ｖ＝（ＱＴＱ）−１ＱＴｒ ・・・（６）
【００３０】
（２次元ウェーブレット変換の簡単な説明）
次に、本発明の実施で用いる２次元ウェーブレット変換の手順、および、得られるＬＬ，ＨＬ，ＬＨ，ＨＨ各成分の性質について、図６を参照しつつ簡単に述べる。２次元ウェーブレット変換はローパスフィルタ（図中「ＬＰＦ」）、ハイパスフィルタ（図中「ＨＰＦ」）および１／２ダウンサンプラ（図中「↓２」）を使用する。ＬＰＦは、注目画素に隣接する画素の画素値を利用して画像を平滑化する効果がある。いっぽうＨＰＦは、注目画素に隣接する画素との微分処理を行いエッジを強調する効果がある。本図は処理対象となる画像に水平方向および垂直方向の変換処理を施す手順を示している。
【００３１】
まず、Ｓｔｅｐ１において水平方向の処理を行う。すなわち、図の左上に示した処理前の画像に対し、まず水平方向にＬＰＦ処理とＨＰＦ処理を行う。続いて、ＬＰＦおよびＨＰＦ処理後のデータをダウンサンプラにより１／２にダウンサンプリングする。これ以降、ＨＰＦ処理とダウンサンプリングを経たデータをＨ成分、ＬＰＦ処理とダウンサンプリングを経たデータをＬ成分と呼ぶ。Ｈ成分およびＬ成分の水平方向の画素数は原画像の半分に間引かれており、垂直方向の画素数は原画像と同数である。さらにＨ成分を画像として見ると、垂直方向のエッジが強調された状態になっている。
【００３２】
次にＳｔｅｐ２において、Ｈ成分およびＬ成分に対して、今度は垂直方向にＨＰＦ処理とＬＰＦ処理を施し、ダウンサンプラにより垂直方向１／２にデータを間引く。これにより得られたデータを、以下のように呼ぶ。すなわち、Ｌ成分にＬＰＦ処理をしたものがＬＬ成分、Ｌ成分にＨＰＦ処理をしたものがＬＨ成分、Ｈ成分にＬＰＦ処理をしたものがＨＬ成分、Ｈ成分にＨＰＦ処理をしたものがＨＨ成分である。
【００３３】
図の右上に示したのは、上記の処理によって画像データが成分ごとに分離された様子を模式的に表す図であり、各成分の画素をまとめて示している。ここで、ＨＬ成分は垂直（縦）方向のエッジが強調されたｘ方向微分画像であり、ＬＨ成分は水平（横）方向のエッジが強調されたｙ方向微分画像だと言える。以上のように水平方向と垂直方向にフィルタリング処理を行うことで１回の２次元ウェーブレットが完了する。
【００３４】
（画像処理システムの構成）
図２のブロック図を用いて、本実施形態で用いる画像処理システムの構成と各ブロックの機能を説明する。システムの各ブロックは車両１に搭載される。車両に設置された各ブロックは、ブロック間でメッセージやデータを送受信するための車載ネットワーク６に接続されている。車載ネットワークの構成はデジタルデータを伝送できるものであれば有線無線の別は問わず、例えばＣＡＮのような標準規格に依ることができる。
【００３５】
カメラ２は動画像を撮影可能なデジタルビデオカメラであり、周囲の状況を撮影できる位置に設置されている。本実施形態では車両の前方に向けて固定し、対向車や障害物、通行人などを撮影、検出することを目的とする。画像取得部３は様々なソースから画像データを取得し、必要があれば画像サイズ（縦×横の画素数）を後の処理に適した形にトリミングする。本実施形態では上記のカメラが撮影した画像をソースとして用いるが、他にもフラッシュメモリなどの記録媒体を経由したり、不図示の通信装置を経由して車外から受信することができる。本実施形態のように車載カメラによる撮影画像のみが処理対象の場合は、カメラと画像取得部を一体のものとして後続処理に直接データを提供するようにしても良い。あるいは図中でまとめて示したように、画像取得部、ウェーブレット変換部、符号化部は共通のＥＣＵ上で稼働するプログラムとして構成されても良い。
【００３６】
ウェーブレット変換部４は、画像取得部が取得した画像に２次元ウェーブレット変換を行い、ＬＬ，ＬＨ，ＨＬ，ＨＨの各成分を得る。符号化部５は、ＪＰＥＧ２０００フォーマットが規定するＭＱ符号化による処理を行い、各成分を符号化データにする。作成した符号化データは車載ネットワーク６を経由して送出される。本実施形態における動きベクトル検出のためには、少なくともＬＬ，ＬＨ，ＨＬの各成分に基づく符号化データを送出する必要がある。
【００３７】
復号部７は、ＪＰＥＧ２０００フォーマットに従って圧縮された符号化データを復号し、ウェーブレット変換後の各成分を復元する。ここで、後続処理が動きベクトル検出であればＬＬ，ＬＨ，ＨＬの３つのみを復元すれば良い。また、後続処理で画像を利用する場合は必要に応じて復元する成分を決定でき、例えば完全に原画像を再現するのであればＬＬ，ＨＬ，ＨＬ，ＨＨの全てを復元すれば良い。
【００３８】
動きベクトル検出部８は現フレームのＬＬ，ＬＨ，ＨＬ成分および前フレームのＬＬ成分に基づいてLucas-Kanade法による動きベクトル検出を行う。ここで、上述したように、ＨＬ成分は垂直方向のエッジが強調されたｘ方向微分画像であり、ＬＨ成分は水平方向のエッジが強調されたｙ方向微分画像だと言える。したがってLucas-Kanade法に必要な現フレーム画像の代わりに現フレームのＬＬ成分を、前フレーム画像の代わりに前フレームのＬＬ成分を、ｘ方向微分画像の代わりにＨＬ成分を、ｙ方向微分画像の代わりにＬＨ成分を用いて動きベクトルを検出できる。画像認識部９は、検出した動きベクトルを利用して画像から動体を認識する。
【００３９】
画像復元部１０は、ＪＰＥＧ２０００フォーマットに従って圧縮された符号化データから、原画像を復元する。ディスプレイ１１は運転者やその他の乗員に画像を表示する液晶ディスプレイである。レコーダー１２は記録装置であり、画像データを蓄積することができる。なお、動きベクトル検出部、画像認識部および画像復元部は必ずしも物理的に独立している必要はなく、ＥＣＵ上で稼働するプログラムとして構成されても構わない。
【００４０】
（処理フロー）
以下にフローチャートを参照しつつ、本実施形態の動きベクトル検出処理の流れを説明する。図３において、ステップＳ１０１では、車両に固定された車載カメラが前方を撮影する。ここでは例として、１００×１００画素の画像を取得し不図示のメモリに蓄積するものとする。各画素の画素値は０〜２５５の間の値を取り得る。ステップＳ１０２では、
ウェーブレット変換部がメモリから各フレーム画像を取り出し、それぞれに対して２次元ウェーブレット変換を行う。タイルのサイズはフレームと同じく１００×１００画素（タイル数＝１）とする。その結果、ＬＬ，ＬＨ，ＨＬ，ＨＨの各成分が生成され、それぞれの画素数は５０×５０となる。
【００４１】
ステップＳ１０３では、符号化部が、ＪＰＥＧ２０００フォーマットで使用するＭＱ符号化方式により各成分をデータ圧縮する。ＪＰＥＧ２０００では圧縮効率を重視したものから可逆性を重視したものまで様々なスケーラビリティでの符号化が可能であるが、ここでは各成分については可逆な形式で処理を行うものとする。ステップＳ１０４では、符号化データを車載ネットワーク上に送信する。
【００４２】
続いて、ステップＳ１０５では、復号部が符号化データを受信し、ＭＱ復号化方式により復号する。なお本実施形態の動きベクトル検出方法ではＬＬ，ＬＨ，ＨＬの各成分のみが必要であり、ＨＨ成分は必要としない。そこで、ＨＨ成分に基づく符号化データについてはヘッダを参照して受信しないようにすれば、不要な復号処理をしないで済み、計算量を削減できる。ステップＳ１０６では、動きベクトル検出部が復号した各成分に基づいてLucas-Kanade法による動きベクトル検出を行う。ステップＳ１０７では、検出した動きベクトルに基づいて、画像認識部が車両前方の障害物、例えば車両や人物の有無を確認する。その結果として安全に関わるような障害物が発見されれば、ユーザに対して音声や画像でアラートを行ったり、緊急安全装置による回避行動を行う。
【００４３】
続いて図４のフローチャートを参照しつつ、ウェーブレット変換の結果を利用する処理について説明する。本フローは、符号化部が作成した符号化データを受信した状態から開始される。したがって、ステップＳ２０１は、図３のステップＳ１０１〜Ｓ１０５に相当する処理となっている。後続の処理で原画像を利用する場合（Ｓ２０２＝ＹＥＳ）、ステップＳ２０３に進み、画像復元部が逆ウェーブレット変換を行い元の画像データを再現する。ステップＳ２０４では、ディスプレイが画像データに基づいて画像を表示したり、画像データを記録装置に蓄積する。
【００４４】
（効果）
本実施形態によれば、ｘ方向微分画像の代わりに２次元ウェーブレット変換で得られたＨＬ成分を、ｙ方向微分画像の代わりにＬＨ成分を用いることによりLucas-Kanade法を簡易に実施することができる。したがって、画像を表示する必要が無く動きベクトル検出だけを行う時には、各成分に逆ウェーブレット変換を施して画像を再構成する必要がない。そのため低い計算コストで、素早く動きベクトルを検出することが可能になる。
【００４５】
また、ＪＰＥＧ２０００フォーマットにより画像データの処理を行うシステムにおいては、画像データを圧縮する過程で２次元ウェーブレット変換処理を施す必要があるので、その結果を利用することができるようになる。したがって動きベクトル検出と画像圧縮処理とで別個に行っていた計算をまとめることができるので、計算に費やしていたＣＰＵ資源を軽減するという効果が得られる。また、動きベクトル検出用の画像データとＪＰＥＧ２０００フォーマットで処理した画像データを別個に送受信する必要がなくなり、データ伝送量を削減するという効果が得られる。
【符号の説明】
【００４６】
２ カメラ
４ ウェーブレット変換部
５ 符号化部
６ 車載ネットワーク
８ 動きベクトル検出部
【特許請求の範囲】
【請求項１】
動画像のフレーム画像に２次元ウェーブレット変換を行って画像を処理する画像処理システムであって、
前記２次元ウェーブレット変換を実行するウェーブレット変換部と、
前記ウェーブレット変換後のＬＬ成分、ＨＬ成分およびＬＨ成分を受信し、当該各成分に基づいて、フレーム間で注目画素が移動した方向と距離を示す動きベクトルを検出する動きベクトル検出部と
を備えることを特徴とする画像処理システム。
【請求項２】
前記動きベクトル検出部は、注目画素移動後のフレームのＬＬ、ＨＬ、ＬＨ成分、および、注目画素移動前のフレームのＬＬ成分に基づいて、Ｌｕｃａｓ−Ｋａｎａｄｅ法によって動きベクトルを検出する
ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記ウェーブレット変換後の各成分をＪＰＥＧ２０００フォーマットの規定に従って符号化データにする符号化部をさらに備え、
前記動きベクトル検出部は、前記符号化データを受信し、復号して動きベクトル検出に使用する
ことを特徴とする請求項１または２に記載の画像処理システム。
【請求項４】
前記ウェーブレット変換の結果に基づいて画像を作成する画像作成部をさらに備える
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理システム。
【請求項５】
動画像を撮影する撮影部をさらに備え、
前記ウェーブレット変換部、前記動きベクトル検出部、前記符号化部および前記撮影部は車両に設置されており、
前記撮影部が撮影した動画像に対して動きベクトル検出を行う
ことを特徴とする請求項３または４に記載の画像処理システム。
【請求項６】
動画像のフレーム画像に２次元ウェーブレット変換を行って画像を処理する画像処理システムに用いられる画像処理装置であって、
前記ウェーブレット変換後のＬＬ成分、ＨＬ成分およびＬＨ成分を受信する受信部と、
受信した各成分に基づいて、フレーム間で注目画素が移動した方向と距離を示す動きベクトルを検出する動きベクトル検出部と
を備えることを特徴とする画像処理装置。
【請求項１】
動画像のフレーム画像に２次元ウェーブレット変換を行って画像を処理する画像処理システムであって、
前記２次元ウェーブレット変換を実行するウェーブレット変換部と、
前記ウェーブレット変換後のＬＬ成分、ＨＬ成分およびＬＨ成分を受信し、当該各成分に基づいて、フレーム間で注目画素が移動した方向と距離を示す動きベクトルを検出する動きベクトル検出部と
を備えることを特徴とする画像処理システム。
【請求項２】
前記動きベクトル検出部は、注目画素移動後のフレームのＬＬ、ＨＬ、ＬＨ成分、および、注目画素移動前のフレームのＬＬ成分に基づいて、Ｌｕｃａｓ−Ｋａｎａｄｅ法によって動きベクトルを検出する
ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記ウェーブレット変換後の各成分をＪＰＥＧ２０００フォーマットの規定に従って符号化データにする符号化部をさらに備え、
前記動きベクトル検出部は、前記符号化データを受信し、復号して動きベクトル検出に使用する
ことを特徴とする請求項１または２に記載の画像処理システム。
【請求項４】
前記ウェーブレット変換の結果に基づいて画像を作成する画像作成部をさらに備える
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理システム。
【請求項５】
動画像を撮影する撮影部をさらに備え、
前記ウェーブレット変換部、前記動きベクトル検出部、前記符号化部および前記撮影部は車両に設置されており、
前記撮影部が撮影した動画像に対して動きベクトル検出を行う
ことを特徴とする請求項３または４に記載の画像処理システム。
【請求項６】
動画像のフレーム画像に２次元ウェーブレット変換を行って画像を処理する画像処理システムに用いられる画像処理装置であって、
前記ウェーブレット変換後のＬＬ成分、ＨＬ成分およびＬＨ成分を受信する受信部と、
受信した各成分に基づいて、フレーム間で注目画素が移動した方向と距離を示す動きベクトルを検出する動きベクトル検出部と
を備えることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−１８７０９４（Ｐ２０１０−１８７０９４Ａ）
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願番号】特願２００９−２８５７２（Ｐ２００９−２８５７２）
【出願日】平成２１年２月１０日（２００９．２．１０）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願日】平成２１年２月１０日（２００９．２．１０）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]