画像処理装置
【課題】画像処理を施した画像と元の撮像画像との間にズレを生じさせずに両者を重畳することができる画像処理装置を提供する。
【解決手段】識別ＩＤ埋め込み部１３が、画像に画像がカメラ３０によって撮像された時刻を示す識別ＩＤを画像に埋め込み、検知処理部１６が、検知対象物が含まれている画像に画像処理を施し、検知結果重畳処理部２４が、検知処理部１６が画像処理を施した画像と、識別ＩＤ埋め込み部１３が画像に埋め込んだ識別ＩＤに係る時刻にカメラ３０によって撮像された画像とを重畳する。これにより、画像の重畳を平均処理時間によらないで、識別ＩＤの示す時刻に一対一で対応するよう重畳することができるため、画像処理を施した画像と元の撮像画像との間にズレを生じさせずに両者を重畳することができる。
【解決手段】識別ＩＤ埋め込み部１３が、画像に画像がカメラ３０によって撮像された時刻を示す識別ＩＤを画像に埋め込み、検知処理部１６が、検知対象物が含まれている画像に画像処理を施し、検知結果重畳処理部２４が、検知処理部１６が画像処理を施した画像と、識別ＩＤ埋め込み部１３が画像に埋め込んだ識別ＩＤに係る時刻にカメラ３０によって撮像された画像とを重畳する。これにより、画像の重畳を平均処理時間によらないで、識別ＩＤの示す時刻に一対一で対応するよう重畳することができるため、画像処理を施した画像と元の撮像画像との間にズレを生じさせずに両者を重畳することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に、検知対象物が含まれている撮像した画像に画像処理を施し、元の撮像した画像と重畳する処理を行う画像処理装置に関する。
【背景技術】
【０００２】
従来、自動車の暗視装置において歩行者の検知を行うことが提案されている。例えば、特許文献１では、自車両の周囲を撮影可能な赤外線カメラと、該赤外線カメラにより捉えられた画像から自車両の走行に影響を与える検知対象物を判定する画像処理部と、画像処理部により検知対象物が検知された場合に、自車両の運転席前方に配置された表示装置に、赤外線カメラにより撮影された映像及び検知対象物を示す歩行者検知枠等の強調映像を同時に重畳して表示する表示制御部とを備えた車両周辺表示装置が提案されている。このような装置では、検知対象物を判定して検知対象物を示す強調映像を重畳する処理の平均処理時間を求め、平均処理時間分だけドライバーへの表示が遅延された撮像画像上に強調映像を重畳するという処理を行っている。
【特許文献１】特開２００４−３６４１１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のような従来の技術では、検知対象物を判定して検知対象物を示す強調映像を重畳する実際の処理時間と平均処理時間との間に差異が生じると、検知対象物を示す強調映像が実際に検知対象物を撮像した画像とは異なる撮像画像上に重畳されてしまい、表示装置の画像表示にズレや違和感が生じてしまう問題がある。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、画像処理を施した画像と元の撮像画像との間にズレを生じさせずに両者を重畳することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、周囲の画像を撮像する撮像手段と、画像が撮像手段によって撮像された時刻を示す識別ＩＤを画像に埋め込む識別ＩＤ埋め込み手段と、識別ＩＤ埋め込み手段により識別ＩＤを埋め込まれた画像に画像処理を施す処理手段と、処理手段が画像処理を施す前後の画像であって、同じ時刻に係る識別ＩＤを有している画像同士を重畳する重畳処理手段と、を備えた画像処理装置である。
【０００６】
この構成によれば、識別ＩＤ埋め込み手段が、画像が撮像手段によって撮像された時刻を示す識別ＩＤを画像に埋め込み、処理手段が、識別ＩＤ埋め込み手段により識別ＩＤを埋め込まれた画像に画像処理を施し、重畳処理手段が、処理手段が画像処理を施す前後の画像であって、同じ時刻に係る識別ＩＤを有している画像同士を重畳するため、画像の重畳を平均処理時間によらないで、識別ＩＤの示す時刻に一対一で対応するよう重畳することができるため、画像処理を施した画像と元の撮像画像との間にズレを生じさせずに両者を重畳することができる。
【０００７】
この場合、撮像手段はフレームごとに周囲の画像を撮像し、処理手段が画像を処理する時間が閾値以上の場合は、撮像手段が画像を撮像した時刻におけるフレームと、重畳処理手段が画像を重畳する時刻におけるフレームとの間にフレーム補間を行うフレーム補間手段をさらに備えることが好適である。
【０００８】
この構成によれば、処理手段が画像を処理する時間が閾値以上の場合は、フレーム補間手段が、撮像手段が画像を撮像した時刻におけるフレームと、重畳処理手段が画像を重畳する時刻におけるフレームとの間にフレーム補間を行うため、処理手段の処理時間が長引いた場合であっても、フレーム補間により表示される画像に違和感が生じないようにすることができる。
【発明の効果】
【０００９】
本発明の画像処理装置によれば、画像処理を施した画像と元の撮像画像との間にズレを生じさせずに両者を重畳することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態に係る画像処理装置について添付図面を参照して説明する。
【００１１】
図１は、本実施形態に係る対象物検知装置の構成を示すブロック図である。本実施形態の対象物検知装置は、車載用の暗視装置等においてパターンマッチングにより対象物を検知してドライバーに強調表示をするための画像処理装置である。図１に示すように、本実施形態の対象物検知装置１は、映像分配・検知処理装置１０、映像描画装置２０、カメラ(撮像手段）３０、画像キャプチャ装置３１、予備フレームメモリ４０及びモニタ５０を備えている。
【００１２】
カメラ３０は、ＣＣＤあるいはＣＭＯＳ等の半導体素子を用いた単眼カメラあるいはステレオカメラであり、１０〜１００ｍｓの周期でフレームごとに前方の画像を取得する。夜間における歩行者等の検知を重視するのであれば、カメラ３０として暗視性能に優れた近赤外線カメラ、遠赤外線カメラを適用することができる。カメラ３０により取得されたフレーム画像は、画像キャプチャ装置３１に送られて、映像分配・検知処理装置１０によって処理可能なデータ形式に変換される。
【００１３】
映像分配・検知処理装置１０は、ＥＣＵ（Electric Control Unit）等のマイクロコンピュータのハードウェアおよびソフトウェアを利用して構成され、検知実施判定部（検知実施判定手段）１１、識別ＩＤ付与部１２、識別ＩＤ埋め込み部（識別ＩＤ埋め込み手段）１３、映像分配部１４、識別ＩＤ解読部１５、検知処理部（処理手段）１６及び検知結果送信部１７を有する。
【００１４】
検知実施判定部１１は、カメラ３０が画像を撮像した時点で、検知処理部１６が検知処理を行っているか否かを判定するためのものである。例えば、カメラ３０が３３ｍｓごとの周期でフレーム画像を撮像する場合において、検知処理部１６はその処理速度の関係から検知処理を３フレーム（１００ｍｓ）ごとに行うものとすると、検知処理部１６が検視処理を行っている間は、他のフレーム画像の検知処理を行うことはできないため、検知実施判定部１１は、他のフレーム画像の検知処理を行うか否かを決定するため、検知処理部１６からの情報により、検知処理部１６が検知処理中であるか否かを判定する。
【００１５】
識別ＩＤ付与部１２は、画像がカメラ３０により撮像された時刻と検知対象物であるか否かを示す識別ＩＤを生成するためのものである。もし、検知処理部１６が検知処理中であると検知実施判定部１１が判定したときは、検知対象物ではない旨の識別ＩＤを生成し、検知処理部１６が検知処理ではないと検知実施判定部１１が判定したときは、検知対象物である旨の識別ＩＤを生成する。
【００１６】
識別ＩＤ埋め込み部１３は、識別ＩＤを画像に埋め込むためのものである。図２は、歩行者検知画像に埋め込まれた識別ＩＤを示す図である。図２の例では、歩行者検知画像１００の右上隅に、画像が撮像された時刻を示すタイムスタンプ１０１と、検知対象であるか否かを示す検知対象判別値１０２とが付与されている。
【００１７】
映像分配部１４は、画像を識別ＩＤ解読部１５と予備フレームメモリ４０とに分配するためのものである。識別ＩＤ解読部１５は、検知処理後の検知結果に識別ＩＤを格納するために画像内に格納されている識別ＩＤを読み取るためのものである。検知処理部１６は、識別ＩＤ解読部１５によって検知処理を行うことを決定された画像に対して、歩行者等の検知対象物を歩行者検知枠等で囲う、所定のシンボルを表示する等の検知処理（強調画像処理）を施すためのものである。検知結果送信部１７は、検知処理を施した画像を映像描画装置２０に送信するためのものである。
【００１８】
予備フレームメモリ４０は、映像分配・検知処理装置１０の映像分配部１４から識別ＩＤを埋め込まれた画像を取得し、所定の時間だけ蓄積するためのものである。
【００１９】
映像描画装置２０は、映像分配・検知処理装置１０と同様にＥＣＵ等のマイクロコンピュータのハードウェアおよびソフトウェアを利用して構成され、結果待ち受け部２１、重畳用画像対応付部２２、フレーム補間部（フレーム補間手段）２３、検知結果重畳処理部（重畳処理手段）２４及び画像表示部２５を有する。なお、映像分配・検知処理装置１０、映像描画装置２０及び呼びフレームメモリ４０が一体化された構成としても良い。
【００２０】
検知結果待ち受け部２１は、映像分配・検知処理装置１０の検知結果送信部１７から検知処理を施された画像を取得するためのものである。重畳用画像対応付部２２は、検知結果待ち受け部２１と予備フレームメモリ４０とから、同じ時刻のタイムスタンプ１０１を含む識別ＩＤを付与された画像同士を対応つけるためのものである。
【００２１】
フレーム補間部２３は、映像分配・検知処理装置１０の検知処理部１６が検知対象物の含まれている画像を処理する時間が所定の閾値時間以上の場合に、カメラ３０が検知対象物の含まれている画像を撮像した時刻におけるフレームと、検知結果重畳処理部２４が画像を重畳する時刻におけるフレームとの間にフレーム補間を行うためのものである。
【００２２】
検知結果重畳処理部２４は、映像分配・検知処理装置１０の検知処理部１６が検知処理を施した画像と、映像分配・検知処理装置１０の識別ＩＤ埋め込み部１３が画像に埋め込んだ識別ＩＤに係る時刻にカメラ３０によって撮像された画像とを重畳するためのものである。画像表示部２５は、検知結果重畳処理部２４が重畳した画像をモニタ５０に出力して、表示させるためのものである。
【００２３】
モニタ５０は、画像表示部２５からの歩行者検知枠等が表示された画像をユーザに対して表示するためのものである。車載用の装置の場合は、一般的には、モニタ５０には、液晶モニタやナビゲーション用モニタを適用することができる。
【００２４】
次に、図３〜７を参照して、本実施形態の対象物検知装置１の動作について説明する。図３は、本実施形態に係る画像分配スレッドを示すフロー図である。図３に示すように、画像キャプチャ装置３１がカメラ３０からの画像を取得する（Ｓ１０１）。映像分配・検知処理装置１０の検知実施判定部１１は、フラグ監視や割り込み発生の有無によって映像分配・検知処理装置１０の検知処理部１６が検知処理中であるか否かを判断する（Ｓ１０２）。
【００２５】
検知処理部１６が検知処理中である場合は、新たな画像の検知処理は不可能であるため、映像分配・検知処理装置１０の識別ＩＤ付与部１２は現在時刻を取得し、検知対象判別値＝ＯＦＦとして識別ＩＤを作成する（Ｓ１０３、Ｓ１０４）。検知処理部１６が検知処理中でない場合は、新たな画像の検知処理が可能であるため、識別ＩＤ付与部１２は現在時刻を取得し、検知対象判別値＝ＯＮとして識別ＩＤを作成する（Ｓ１０３、Ｓ１０５）。
【００２６】
映像分配・検知処理装置１０の識別ＩＤ埋め込み部１３は、図２に示すように識別ＩＤを画像の所定位置に埋め込む（Ｓ１０６）。映像分配・検知処理装置１０の映像分配部１４は、作成した画像を非同期で予備フレームメモリ４０に送信（出力し）、予備フレームメモリ４０に画像を蓄積する（Ｓ１０７）。逐次、同様の処理が繰り返される。
【００２７】
図４は、本実施形態に係る検知スレッドを示すフロー図である。図４に示すように、映像分配・検知処理装置１０の識別ＩＤ解読部１５は、検知処理後の検知結果に識別ＩＤを格納するために画像内に格納されている識別ＩＤを読み取る（Ｓ２０１）。映像分配・検知処理装置１０の検知処理部１６は、歩行者等の検知対象物について歩行者検知枠等で囲う、所定のシンボルを表示する等の検知処理を行い、対象物の検知結果データに識別ＩＤを格納する（Ｓ２０２）。映像分配・検知処理装置１０の検知結果送信部１７は、検知結果を映像描画装置２０に送信（出力）する（Ｓ２０３）。
【００２８】
図５は、本実施形態に係る検知結果待ち受けスレッドを示すフロー図である。図５に示すように、映像描画装置２０の検知結果待ち受け部２１は、映像分配・検知処理装置１０の検知結果送信部１７から対象物の検知結果の受信を待ち受ける（Ｓ３０１）。
【００２９】
もし、検知結果が到着していなければ、検知結果待ち受け部２１はステップＳ３０１を繰り返すとともに、後述のフレーム補間判断スレッドを行う（Ｓ３０２）。一方、検知結果が到着した場合は、映像描画装置２０の重畳用画像対応付部２２は、対象物の検知結果に格納されている識別ＩＤと、予備フレームメモリ４０に蓄積されている画像に格納されている識別ＩＤとの照合を行う（Ｓ３０３）。
【００３０】
映像描画装置２０の検知結果重畳処理部２４は、識別ＩＤが合致した画像に対象物検知結果を重畳する（Ｓ３０４）。映像描画装置２０の画像表示部２５は、重畳処理済あるいは未処理の画像をモニタ５０に出力する（Ｓ３０５）。この場合、後述のフレーム補間判断スレッドにおいて、フレーム挿入プロセスあるいはフレーム削除プロセスにおいて生成された情報も反映される。
【００３１】
図６は、本実施形態に係るフレーム補間判断スレッドのフレーム挿入プロセスを示すフロー図である。この場合において、検知スレッドにおける検知処理終了を待っている状態であり、検知処理中につき、予備フレームメモリ４０には現在、検知処理中の画像も含めて表示処理待ちの画像が格納されている。図６に示すように、検知結果待ち受けスレッドのステップＳ３０２において、検知結果の到着が遅れた場合、映像描画装置２０のフレーム補間部２３は、カメラ３０のフレームレートで画像出力タイミングを計る（Ｓ４０１）。もし、今の検知処理開始前にフレームの挿入を実施した場合は、フレームの削除が必要となるため、フレーム補間部２３は、後述するフレーム削除プロセスを行う（Ｓ４０２）。
【００３２】
一方、今の検知処理開始前にフレームの挿入を実施していない場合であって、１検知処理中にフレームの挿入を実施していない場合は（Ｓ４０２、Ｓ４０３）、フレーム補間部２３は、予備フレームメモリ４０に既に格納されている画像の連続２フレーム（時系列であり、仮にＦｎ−１，Ｆｎとする）を検査する（Ｓ４０４）。フレーム補間部２３は、映像表示待ちの時系列連続２フレームＦｎ−１，Ｆｎから識別ＩＤを取得して参照し、「検知対象判断値」が、時系列連続２フレームＦｎ−１，Ｆｎにおいて「ＯＦＦ」から「ＯＮ」になっているか否かを判断する（Ｓ４０５）。つまり、表示待ちのフレームに対して、現在、検知処理中のフレーム（検知対象判断値がＯＮ）の直前のフレーム（検知対象判断値がＯＦＦ）の間に新しいフレームを挿入したいために、前述のような組み合わせのフレームが、予備フレームメモリ４０内に存在するかどうかを確認する処理を行う。
【００３３】
もし、「検知対象判断値」が「ＯＦＦ」から「ＯＮ」になっていないときは、フレーム補間部２３はフレームＦｎ−１を描画対象とする旨の指令を画像表示部２５に出し、画像表示部２５はフレームＦｎ−１をモニタ５０に表示する（Ｓ４０６、Ｓ４０７、Ｓ３０５）。つまり、特にフレームの挿入は行わずに、時系列（待機順番）に従って表示を行う。
【００３４】
一方、「検知対象判断値」が「ＯＦＦ」から「ＯＮ」になっているときは、フレーム補間部２３は、フレームＦｎ−１とフレームＦｎとの間でフレーム補間処理を行い、新たなフレーム画像ＮＦｎを生成し、挿入する（Ｓ４０６）。ここで、Ｎは増減フレーム数を意味する。フレーム補間部２３は、増減フレーム数Ｎをインクリメントし（Ｓ４０９）、フレームＮＦｎを描画対象とする旨の指令を画像表示部２５に出し、画像表示部２５はフレームＮＦｎをモニタ５０に表示する（Ｓ４１０、Ｓ３０５）。
【００３５】
もし、上述のステップＳ４０３において、１検知処理中にフレームの挿入を実施している場合は、フレーム補間部２３は、「検知対象判断値」がＯＮの最新画像、つまり現在検知中の画像と、フレームＮＦｎとの間でフレーム補間処理を行い、新たなフレーム画像ＮＦｎ＋１を作成する（Ｓ４１１）。フレーム補間部２３は、増減フレーム数Ｎをインクリメントし（Ｓ４０９）、フレームＮＦｎ＋１を描画対象とする旨の指令を画像表示部２５に出し、画像表示部２５はフレームＮＦｎ＋１をモニタ５０に表示する（Ｓ４１２、Ｓ３０５）。
【００３６】
図７は、本実施形態に係るフレーム補間判断スレッドのフレーム削除プロセスを示すフロー図である。なお、本実施形態では、予備フレームメモリ４０の容量が不足しないように、フレーム削除プロセスを行うが、予備フレームメモリ４０の容量が十分に大きければ、フレーム削除プロセスを行う必要はない。図７に示すように、フレーム挿入プロセスのステップＳ４０２で、今の検知処理開始前にフレームの挿入を実施した場合は、フレーム補間部２３は、「検知対象判別値」がＯＮの最新フレームＦｄｎ（現在、検知処理中の画像フレーム）と、その一つ前のフレームＦｄｏ（既に表示処理済の検知対象画像）とを取得する（Ｓ５０１）。フレーム補間部２３は、フレームＦｄｎとフレームＦｄｏとの間で予備フレームメモリ４０に格納されている画像フレーム数Ｍを識別ＩＤのタイムスタンプから判断し、フレーム数Ｍをカウントする（Ｓ５０２）。
【００３７】
フレーム補間部２３は、増減フレーム数Ｎと、フレームＦｄｎ−フレームＦｄｏ間のフレーム数Ｍとを比較し、Ｍ＞Ｎかどうかを判定する（Ｓ５０３）。すなわち、フレーム補間部２３は、挿入総数Ｎと表示待ちフレーム数Ｍとを比較して、Ｍの方が大きければ、表示待ちフレームの中からフレームを一つ削除する。もし、Ｍ＞Ｎでない場合は、フレーム補間部２３は、フレームを削除できないので、フレーム挿入プロセスのステップＳ４０４を行う（Ｓ５０５、Ｓ４０４）。
【００３８】
一方、もし、Ｍ＞Ｎである場合は、フレーム補間部２３は、フレームＦｄｎとフレームＦｄｏとの間のフレームの中で最新のフレーム（表示タイミングが後の方）を１フレーム削除し、Ｍ＝Ｍ−１、Ｎ＝Ｎ−１とする（Ｓ５０５）。すなわち、表示待ちフレーム数を１つ減らし、挿入した履歴数Ｎを１つ減らす。Ｎを減らすのは、次の検知処理において、あと何フレーム分を削除すべきかを記憶するためである。
【００３９】
フレーム補間部２３は、フレームＦｄｏの次のフレームから順に描画対象とする旨の指令を画像表示部２５に出し、画像表示部２５はフレームＦｄｏの次のフレームから順にモニタ５０に表示する（Ｓ５０６、Ｓ３０５）。
【００４０】
本実施形態では、識別ＩＤ埋め込み部１３が、画像に画像がカメラ３０によって撮像された時刻を示す識別ＩＤを画像に埋め込み、検知処理部１６が、検知対象物が含まれている画像に画像処理を施し、検知結果重畳処理部２４が、検知処理部１６が画像処理を施す前後の画像であって同じ時刻に係る識別ＩＤを有する画像同士を重畳するため、画像の重畳を平均処理時間によらないで、識別ＩＤの示す時刻に一対一で対応するよう重畳することができるため、画像処理を施した画像と元の撮像画像との間にズレを生じさせずに両者を重畳することができる。
【００４１】
すなわち、図８に示すように、従来はカメラ映像に検知処理結果を重畳して遅延表示映像とする場合、平均検知処理時間ＰＴを想定し、メモリに蓄積した撮像画像を想定した平均検知処理時間ＰＴだけ予め遅延させて処理していた。そのため、検知対象物である歩行者２００に対して歩行者検知枠３００を表示するような場合でも、平均検知処理時間ＰＴより処理が遅れると、同期ずれを生じ、検知結果を異なる映像に重畳する場合があった。一方、本実施形態では、図９に示すように、画像の重畳を平均処理時間によらず、識別ＩＤの示す時刻に一対一で対応するよう重畳することができるため、同期ずれを生じさせず重畳処理を行うことができる。したがって、本実施形態の装置を歩行者検知に適用した場合、歩行者検知枠のズレがなくなり、ドライバーは映像上における歩行者の位置を性格に把握しやすくなる。さらに、本実施形態では識別ＩＤを直接書き込むため、同期をとるために余分なデータを送受信する必要がなくなる。その結果、状態遷移が単純になるとともに、通信データを増やす必要がなくなる。
【００４２】
また、本実施形態では、検知処理部１６が画像を処理する時間が閾値以上の場合は、フレーム補間部２３が、カメラ３０が画像を撮像した時刻におけるフレームと、検知処理部１６が画像を重畳する時刻におけるフレームとの間にフレーム補間を行うため、検知処理部１６の処理時間が長引いた場合であっても、フレーム補間により表示される画像に違和感が生じないようにすることができる。さらに、本実施形態では、違和感なくフレームの削除を行い、検知結果の描画は一致させるため、予備フレームメモリ４０の容量が不足してあふれないようにすることができる。
【００４３】
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、上記実施形態では、車載用の暗視装置において歩行者検知用に本発明を適用した場合を中心に説明したが、本発明はこれに限定されることはなく、他の用途にも適用可能である。
【図面の簡単な説明】
【００４４】
【図１】本実施形態に係る対象物検知装置の構成を示すブロック図である。
【図２】歩行者検知画像に埋め込まれた識別ＩＤを示す図である。
【図３】本実施形態に係る画像分配スレッドを示すフロー図である。
【図４】本実施形態に係る検知スレッドを示すフロー図である。
【図５】本実施形態に係る検知結果待ち受けスレッドを示すフロー図である。
【図６】本実施形態に係るフレーム補間判断スレッドのフレーム挿入プロセスを示すフロー図である。
【図７】本実施形態に係るフレーム補間判断スレッドのフレーム削除プロセスを示すフロー図である。
【図８】従来のカメラ映像と遅延表示映像との関係を示す図である。
【図９】本実施形態のカメラ映像と遅延表示映像との関係を示す図である。
【符号の説明】
【００４５】
１…対象物検知装置、１０…映像分配・検知処理装置、１１…検知実施判定部、１２…識別ＩＤ付与部、１３…識別ＩＤ埋込部、１４…映像分配部、１５…識別ＩＤ解読部、１６…検知処理部、１７…検知結果送信部、２０…映像描画装置、２１…検知結果待ち受け部、２２…重畳用画像対応付部、２３…フレーム補間部、２４…検知結果重畳処理部、２５…画像表示部、３０…カメラ、３１…画像キャプチャ装置、４０…予備フレームメモリ、５０…モニタ、１００…歩行者検知画像、１０１…タイプスタンプ、１０２…検知対象判別値、２００…歩行者、３００…歩行者検知枠。
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に、検知対象物が含まれている撮像した画像に画像処理を施し、元の撮像した画像と重畳する処理を行う画像処理装置に関する。
【背景技術】
【０００２】
従来、自動車の暗視装置において歩行者の検知を行うことが提案されている。例えば、特許文献１では、自車両の周囲を撮影可能な赤外線カメラと、該赤外線カメラにより捉えられた画像から自車両の走行に影響を与える検知対象物を判定する画像処理部と、画像処理部により検知対象物が検知された場合に、自車両の運転席前方に配置された表示装置に、赤外線カメラにより撮影された映像及び検知対象物を示す歩行者検知枠等の強調映像を同時に重畳して表示する表示制御部とを備えた車両周辺表示装置が提案されている。このような装置では、検知対象物を判定して検知対象物を示す強調映像を重畳する処理の平均処理時間を求め、平均処理時間分だけドライバーへの表示が遅延された撮像画像上に強調映像を重畳するという処理を行っている。
【特許文献１】特開２００４−３６４１１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のような従来の技術では、検知対象物を判定して検知対象物を示す強調映像を重畳する実際の処理時間と平均処理時間との間に差異が生じると、検知対象物を示す強調映像が実際に検知対象物を撮像した画像とは異なる撮像画像上に重畳されてしまい、表示装置の画像表示にズレや違和感が生じてしまう問題がある。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、画像処理を施した画像と元の撮像画像との間にズレを生じさせずに両者を重畳することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、周囲の画像を撮像する撮像手段と、画像が撮像手段によって撮像された時刻を示す識別ＩＤを画像に埋め込む識別ＩＤ埋め込み手段と、識別ＩＤ埋め込み手段により識別ＩＤを埋め込まれた画像に画像処理を施す処理手段と、処理手段が画像処理を施す前後の画像であって、同じ時刻に係る識別ＩＤを有している画像同士を重畳する重畳処理手段と、を備えた画像処理装置である。
【０００６】
この構成によれば、識別ＩＤ埋め込み手段が、画像が撮像手段によって撮像された時刻を示す識別ＩＤを画像に埋め込み、処理手段が、識別ＩＤ埋め込み手段により識別ＩＤを埋め込まれた画像に画像処理を施し、重畳処理手段が、処理手段が画像処理を施す前後の画像であって、同じ時刻に係る識別ＩＤを有している画像同士を重畳するため、画像の重畳を平均処理時間によらないで、識別ＩＤの示す時刻に一対一で対応するよう重畳することができるため、画像処理を施した画像と元の撮像画像との間にズレを生じさせずに両者を重畳することができる。
【０００７】
この場合、撮像手段はフレームごとに周囲の画像を撮像し、処理手段が画像を処理する時間が閾値以上の場合は、撮像手段が画像を撮像した時刻におけるフレームと、重畳処理手段が画像を重畳する時刻におけるフレームとの間にフレーム補間を行うフレーム補間手段をさらに備えることが好適である。
【０００８】
この構成によれば、処理手段が画像を処理する時間が閾値以上の場合は、フレーム補間手段が、撮像手段が画像を撮像した時刻におけるフレームと、重畳処理手段が画像を重畳する時刻におけるフレームとの間にフレーム補間を行うため、処理手段の処理時間が長引いた場合であっても、フレーム補間により表示される画像に違和感が生じないようにすることができる。
【発明の効果】
【０００９】
本発明の画像処理装置によれば、画像処理を施した画像と元の撮像画像との間にズレを生じさせずに両者を重畳することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態に係る画像処理装置について添付図面を参照して説明する。
【００１１】
図１は、本実施形態に係る対象物検知装置の構成を示すブロック図である。本実施形態の対象物検知装置は、車載用の暗視装置等においてパターンマッチングにより対象物を検知してドライバーに強調表示をするための画像処理装置である。図１に示すように、本実施形態の対象物検知装置１は、映像分配・検知処理装置１０、映像描画装置２０、カメラ(撮像手段）３０、画像キャプチャ装置３１、予備フレームメモリ４０及びモニタ５０を備えている。
【００１２】
カメラ３０は、ＣＣＤあるいはＣＭＯＳ等の半導体素子を用いた単眼カメラあるいはステレオカメラであり、１０〜１００ｍｓの周期でフレームごとに前方の画像を取得する。夜間における歩行者等の検知を重視するのであれば、カメラ３０として暗視性能に優れた近赤外線カメラ、遠赤外線カメラを適用することができる。カメラ３０により取得されたフレーム画像は、画像キャプチャ装置３１に送られて、映像分配・検知処理装置１０によって処理可能なデータ形式に変換される。
【００１３】
映像分配・検知処理装置１０は、ＥＣＵ（Electric Control Unit）等のマイクロコンピュータのハードウェアおよびソフトウェアを利用して構成され、検知実施判定部（検知実施判定手段）１１、識別ＩＤ付与部１２、識別ＩＤ埋め込み部（識別ＩＤ埋め込み手段）１３、映像分配部１４、識別ＩＤ解読部１５、検知処理部（処理手段）１６及び検知結果送信部１７を有する。
【００１４】
検知実施判定部１１は、カメラ３０が画像を撮像した時点で、検知処理部１６が検知処理を行っているか否かを判定するためのものである。例えば、カメラ３０が３３ｍｓごとの周期でフレーム画像を撮像する場合において、検知処理部１６はその処理速度の関係から検知処理を３フレーム（１００ｍｓ）ごとに行うものとすると、検知処理部１６が検視処理を行っている間は、他のフレーム画像の検知処理を行うことはできないため、検知実施判定部１１は、他のフレーム画像の検知処理を行うか否かを決定するため、検知処理部１６からの情報により、検知処理部１６が検知処理中であるか否かを判定する。
【００１５】
識別ＩＤ付与部１２は、画像がカメラ３０により撮像された時刻と検知対象物であるか否かを示す識別ＩＤを生成するためのものである。もし、検知処理部１６が検知処理中であると検知実施判定部１１が判定したときは、検知対象物ではない旨の識別ＩＤを生成し、検知処理部１６が検知処理ではないと検知実施判定部１１が判定したときは、検知対象物である旨の識別ＩＤを生成する。
【００１６】
識別ＩＤ埋め込み部１３は、識別ＩＤを画像に埋め込むためのものである。図２は、歩行者検知画像に埋め込まれた識別ＩＤを示す図である。図２の例では、歩行者検知画像１００の右上隅に、画像が撮像された時刻を示すタイムスタンプ１０１と、検知対象であるか否かを示す検知対象判別値１０２とが付与されている。
【００１７】
映像分配部１４は、画像を識別ＩＤ解読部１５と予備フレームメモリ４０とに分配するためのものである。識別ＩＤ解読部１５は、検知処理後の検知結果に識別ＩＤを格納するために画像内に格納されている識別ＩＤを読み取るためのものである。検知処理部１６は、識別ＩＤ解読部１５によって検知処理を行うことを決定された画像に対して、歩行者等の検知対象物を歩行者検知枠等で囲う、所定のシンボルを表示する等の検知処理（強調画像処理）を施すためのものである。検知結果送信部１７は、検知処理を施した画像を映像描画装置２０に送信するためのものである。
【００１８】
予備フレームメモリ４０は、映像分配・検知処理装置１０の映像分配部１４から識別ＩＤを埋め込まれた画像を取得し、所定の時間だけ蓄積するためのものである。
【００１９】
映像描画装置２０は、映像分配・検知処理装置１０と同様にＥＣＵ等のマイクロコンピュータのハードウェアおよびソフトウェアを利用して構成され、結果待ち受け部２１、重畳用画像対応付部２２、フレーム補間部（フレーム補間手段）２３、検知結果重畳処理部（重畳処理手段）２４及び画像表示部２５を有する。なお、映像分配・検知処理装置１０、映像描画装置２０及び呼びフレームメモリ４０が一体化された構成としても良い。
【００２０】
検知結果待ち受け部２１は、映像分配・検知処理装置１０の検知結果送信部１７から検知処理を施された画像を取得するためのものである。重畳用画像対応付部２２は、検知結果待ち受け部２１と予備フレームメモリ４０とから、同じ時刻のタイムスタンプ１０１を含む識別ＩＤを付与された画像同士を対応つけるためのものである。
【００２１】
フレーム補間部２３は、映像分配・検知処理装置１０の検知処理部１６が検知対象物の含まれている画像を処理する時間が所定の閾値時間以上の場合に、カメラ３０が検知対象物の含まれている画像を撮像した時刻におけるフレームと、検知結果重畳処理部２４が画像を重畳する時刻におけるフレームとの間にフレーム補間を行うためのものである。
【００２２】
検知結果重畳処理部２４は、映像分配・検知処理装置１０の検知処理部１６が検知処理を施した画像と、映像分配・検知処理装置１０の識別ＩＤ埋め込み部１３が画像に埋め込んだ識別ＩＤに係る時刻にカメラ３０によって撮像された画像とを重畳するためのものである。画像表示部２５は、検知結果重畳処理部２４が重畳した画像をモニタ５０に出力して、表示させるためのものである。
【００２３】
モニタ５０は、画像表示部２５からの歩行者検知枠等が表示された画像をユーザに対して表示するためのものである。車載用の装置の場合は、一般的には、モニタ５０には、液晶モニタやナビゲーション用モニタを適用することができる。
【００２４】
次に、図３〜７を参照して、本実施形態の対象物検知装置１の動作について説明する。図３は、本実施形態に係る画像分配スレッドを示すフロー図である。図３に示すように、画像キャプチャ装置３１がカメラ３０からの画像を取得する（Ｓ１０１）。映像分配・検知処理装置１０の検知実施判定部１１は、フラグ監視や割り込み発生の有無によって映像分配・検知処理装置１０の検知処理部１６が検知処理中であるか否かを判断する（Ｓ１０２）。
【００２５】
検知処理部１６が検知処理中である場合は、新たな画像の検知処理は不可能であるため、映像分配・検知処理装置１０の識別ＩＤ付与部１２は現在時刻を取得し、検知対象判別値＝ＯＦＦとして識別ＩＤを作成する（Ｓ１０３、Ｓ１０４）。検知処理部１６が検知処理中でない場合は、新たな画像の検知処理が可能であるため、識別ＩＤ付与部１２は現在時刻を取得し、検知対象判別値＝ＯＮとして識別ＩＤを作成する（Ｓ１０３、Ｓ１０５）。
【００２６】
映像分配・検知処理装置１０の識別ＩＤ埋め込み部１３は、図２に示すように識別ＩＤを画像の所定位置に埋め込む（Ｓ１０６）。映像分配・検知処理装置１０の映像分配部１４は、作成した画像を非同期で予備フレームメモリ４０に送信（出力し）、予備フレームメモリ４０に画像を蓄積する（Ｓ１０７）。逐次、同様の処理が繰り返される。
【００２７】
図４は、本実施形態に係る検知スレッドを示すフロー図である。図４に示すように、映像分配・検知処理装置１０の識別ＩＤ解読部１５は、検知処理後の検知結果に識別ＩＤを格納するために画像内に格納されている識別ＩＤを読み取る（Ｓ２０１）。映像分配・検知処理装置１０の検知処理部１６は、歩行者等の検知対象物について歩行者検知枠等で囲う、所定のシンボルを表示する等の検知処理を行い、対象物の検知結果データに識別ＩＤを格納する（Ｓ２０２）。映像分配・検知処理装置１０の検知結果送信部１７は、検知結果を映像描画装置２０に送信（出力）する（Ｓ２０３）。
【００２８】
図５は、本実施形態に係る検知結果待ち受けスレッドを示すフロー図である。図５に示すように、映像描画装置２０の検知結果待ち受け部２１は、映像分配・検知処理装置１０の検知結果送信部１７から対象物の検知結果の受信を待ち受ける（Ｓ３０１）。
【００２９】
もし、検知結果が到着していなければ、検知結果待ち受け部２１はステップＳ３０１を繰り返すとともに、後述のフレーム補間判断スレッドを行う（Ｓ３０２）。一方、検知結果が到着した場合は、映像描画装置２０の重畳用画像対応付部２２は、対象物の検知結果に格納されている識別ＩＤと、予備フレームメモリ４０に蓄積されている画像に格納されている識別ＩＤとの照合を行う（Ｓ３０３）。
【００３０】
映像描画装置２０の検知結果重畳処理部２４は、識別ＩＤが合致した画像に対象物検知結果を重畳する（Ｓ３０４）。映像描画装置２０の画像表示部２５は、重畳処理済あるいは未処理の画像をモニタ５０に出力する（Ｓ３０５）。この場合、後述のフレーム補間判断スレッドにおいて、フレーム挿入プロセスあるいはフレーム削除プロセスにおいて生成された情報も反映される。
【００３１】
図６は、本実施形態に係るフレーム補間判断スレッドのフレーム挿入プロセスを示すフロー図である。この場合において、検知スレッドにおける検知処理終了を待っている状態であり、検知処理中につき、予備フレームメモリ４０には現在、検知処理中の画像も含めて表示処理待ちの画像が格納されている。図６に示すように、検知結果待ち受けスレッドのステップＳ３０２において、検知結果の到着が遅れた場合、映像描画装置２０のフレーム補間部２３は、カメラ３０のフレームレートで画像出力タイミングを計る（Ｓ４０１）。もし、今の検知処理開始前にフレームの挿入を実施した場合は、フレームの削除が必要となるため、フレーム補間部２３は、後述するフレーム削除プロセスを行う（Ｓ４０２）。
【００３２】
一方、今の検知処理開始前にフレームの挿入を実施していない場合であって、１検知処理中にフレームの挿入を実施していない場合は（Ｓ４０２、Ｓ４０３）、フレーム補間部２３は、予備フレームメモリ４０に既に格納されている画像の連続２フレーム（時系列であり、仮にＦｎ−１，Ｆｎとする）を検査する（Ｓ４０４）。フレーム補間部２３は、映像表示待ちの時系列連続２フレームＦｎ−１，Ｆｎから識別ＩＤを取得して参照し、「検知対象判断値」が、時系列連続２フレームＦｎ−１，Ｆｎにおいて「ＯＦＦ」から「ＯＮ」になっているか否かを判断する（Ｓ４０５）。つまり、表示待ちのフレームに対して、現在、検知処理中のフレーム（検知対象判断値がＯＮ）の直前のフレーム（検知対象判断値がＯＦＦ）の間に新しいフレームを挿入したいために、前述のような組み合わせのフレームが、予備フレームメモリ４０内に存在するかどうかを確認する処理を行う。
【００３３】
もし、「検知対象判断値」が「ＯＦＦ」から「ＯＮ」になっていないときは、フレーム補間部２３はフレームＦｎ−１を描画対象とする旨の指令を画像表示部２５に出し、画像表示部２５はフレームＦｎ−１をモニタ５０に表示する（Ｓ４０６、Ｓ４０７、Ｓ３０５）。つまり、特にフレームの挿入は行わずに、時系列（待機順番）に従って表示を行う。
【００３４】
一方、「検知対象判断値」が「ＯＦＦ」から「ＯＮ」になっているときは、フレーム補間部２３は、フレームＦｎ−１とフレームＦｎとの間でフレーム補間処理を行い、新たなフレーム画像ＮＦｎを生成し、挿入する（Ｓ４０６）。ここで、Ｎは増減フレーム数を意味する。フレーム補間部２３は、増減フレーム数Ｎをインクリメントし（Ｓ４０９）、フレームＮＦｎを描画対象とする旨の指令を画像表示部２５に出し、画像表示部２５はフレームＮＦｎをモニタ５０に表示する（Ｓ４１０、Ｓ３０５）。
【００３５】
もし、上述のステップＳ４０３において、１検知処理中にフレームの挿入を実施している場合は、フレーム補間部２３は、「検知対象判断値」がＯＮの最新画像、つまり現在検知中の画像と、フレームＮＦｎとの間でフレーム補間処理を行い、新たなフレーム画像ＮＦｎ＋１を作成する（Ｓ４１１）。フレーム補間部２３は、増減フレーム数Ｎをインクリメントし（Ｓ４０９）、フレームＮＦｎ＋１を描画対象とする旨の指令を画像表示部２５に出し、画像表示部２５はフレームＮＦｎ＋１をモニタ５０に表示する（Ｓ４１２、Ｓ３０５）。
【００３６】
図７は、本実施形態に係るフレーム補間判断スレッドのフレーム削除プロセスを示すフロー図である。なお、本実施形態では、予備フレームメモリ４０の容量が不足しないように、フレーム削除プロセスを行うが、予備フレームメモリ４０の容量が十分に大きければ、フレーム削除プロセスを行う必要はない。図７に示すように、フレーム挿入プロセスのステップＳ４０２で、今の検知処理開始前にフレームの挿入を実施した場合は、フレーム補間部２３は、「検知対象判別値」がＯＮの最新フレームＦｄｎ（現在、検知処理中の画像フレーム）と、その一つ前のフレームＦｄｏ（既に表示処理済の検知対象画像）とを取得する（Ｓ５０１）。フレーム補間部２３は、フレームＦｄｎとフレームＦｄｏとの間で予備フレームメモリ４０に格納されている画像フレーム数Ｍを識別ＩＤのタイムスタンプから判断し、フレーム数Ｍをカウントする（Ｓ５０２）。
【００３７】
フレーム補間部２３は、増減フレーム数Ｎと、フレームＦｄｎ−フレームＦｄｏ間のフレーム数Ｍとを比較し、Ｍ＞Ｎかどうかを判定する（Ｓ５０３）。すなわち、フレーム補間部２３は、挿入総数Ｎと表示待ちフレーム数Ｍとを比較して、Ｍの方が大きければ、表示待ちフレームの中からフレームを一つ削除する。もし、Ｍ＞Ｎでない場合は、フレーム補間部２３は、フレームを削除できないので、フレーム挿入プロセスのステップＳ４０４を行う（Ｓ５０５、Ｓ４０４）。
【００３８】
一方、もし、Ｍ＞Ｎである場合は、フレーム補間部２３は、フレームＦｄｎとフレームＦｄｏとの間のフレームの中で最新のフレーム（表示タイミングが後の方）を１フレーム削除し、Ｍ＝Ｍ−１、Ｎ＝Ｎ−１とする（Ｓ５０５）。すなわち、表示待ちフレーム数を１つ減らし、挿入した履歴数Ｎを１つ減らす。Ｎを減らすのは、次の検知処理において、あと何フレーム分を削除すべきかを記憶するためである。
【００３９】
フレーム補間部２３は、フレームＦｄｏの次のフレームから順に描画対象とする旨の指令を画像表示部２５に出し、画像表示部２５はフレームＦｄｏの次のフレームから順にモニタ５０に表示する（Ｓ５０６、Ｓ３０５）。
【００４０】
本実施形態では、識別ＩＤ埋め込み部１３が、画像に画像がカメラ３０によって撮像された時刻を示す識別ＩＤを画像に埋め込み、検知処理部１６が、検知対象物が含まれている画像に画像処理を施し、検知結果重畳処理部２４が、検知処理部１６が画像処理を施す前後の画像であって同じ時刻に係る識別ＩＤを有する画像同士を重畳するため、画像の重畳を平均処理時間によらないで、識別ＩＤの示す時刻に一対一で対応するよう重畳することができるため、画像処理を施した画像と元の撮像画像との間にズレを生じさせずに両者を重畳することができる。
【００４１】
すなわち、図８に示すように、従来はカメラ映像に検知処理結果を重畳して遅延表示映像とする場合、平均検知処理時間ＰＴを想定し、メモリに蓄積した撮像画像を想定した平均検知処理時間ＰＴだけ予め遅延させて処理していた。そのため、検知対象物である歩行者２００に対して歩行者検知枠３００を表示するような場合でも、平均検知処理時間ＰＴより処理が遅れると、同期ずれを生じ、検知結果を異なる映像に重畳する場合があった。一方、本実施形態では、図９に示すように、画像の重畳を平均処理時間によらず、識別ＩＤの示す時刻に一対一で対応するよう重畳することができるため、同期ずれを生じさせず重畳処理を行うことができる。したがって、本実施形態の装置を歩行者検知に適用した場合、歩行者検知枠のズレがなくなり、ドライバーは映像上における歩行者の位置を性格に把握しやすくなる。さらに、本実施形態では識別ＩＤを直接書き込むため、同期をとるために余分なデータを送受信する必要がなくなる。その結果、状態遷移が単純になるとともに、通信データを増やす必要がなくなる。
【００４２】
また、本実施形態では、検知処理部１６が画像を処理する時間が閾値以上の場合は、フレーム補間部２３が、カメラ３０が画像を撮像した時刻におけるフレームと、検知処理部１６が画像を重畳する時刻におけるフレームとの間にフレーム補間を行うため、検知処理部１６の処理時間が長引いた場合であっても、フレーム補間により表示される画像に違和感が生じないようにすることができる。さらに、本実施形態では、違和感なくフレームの削除を行い、検知結果の描画は一致させるため、予備フレームメモリ４０の容量が不足してあふれないようにすることができる。
【００４３】
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、上記実施形態では、車載用の暗視装置において歩行者検知用に本発明を適用した場合を中心に説明したが、本発明はこれに限定されることはなく、他の用途にも適用可能である。
【図面の簡単な説明】
【００４４】
【図１】本実施形態に係る対象物検知装置の構成を示すブロック図である。
【図２】歩行者検知画像に埋め込まれた識別ＩＤを示す図である。
【図３】本実施形態に係る画像分配スレッドを示すフロー図である。
【図４】本実施形態に係る検知スレッドを示すフロー図である。
【図５】本実施形態に係る検知結果待ち受けスレッドを示すフロー図である。
【図６】本実施形態に係るフレーム補間判断スレッドのフレーム挿入プロセスを示すフロー図である。
【図７】本実施形態に係るフレーム補間判断スレッドのフレーム削除プロセスを示すフロー図である。
【図８】従来のカメラ映像と遅延表示映像との関係を示す図である。
【図９】本実施形態のカメラ映像と遅延表示映像との関係を示す図である。
【符号の説明】
【００４５】
１…対象物検知装置、１０…映像分配・検知処理装置、１１…検知実施判定部、１２…識別ＩＤ付与部、１３…識別ＩＤ埋込部、１４…映像分配部、１５…識別ＩＤ解読部、１６…検知処理部、１７…検知結果送信部、２０…映像描画装置、２１…検知結果待ち受け部、２２…重畳用画像対応付部、２３…フレーム補間部、２４…検知結果重畳処理部、２５…画像表示部、３０…カメラ、３１…画像キャプチャ装置、４０…予備フレームメモリ、５０…モニタ、１００…歩行者検知画像、１０１…タイプスタンプ、１０２…検知対象判別値、２００…歩行者、３００…歩行者検知枠。
【特許請求の範囲】
【請求項１】
周囲の画像を撮像する撮像手段と、
前記画像が前記撮像手段によって撮像された時刻を示す識別ＩＤを前記画像に埋め込む識別ＩＤ埋め込み手段と、
前記識別ＩＤ埋め込み手段により識別ＩＤを埋め込まれた画像に画像処理を施す処理手段と、
前記処理手段が画像処理を施す前後の画像であって、同じ時刻に係る識別ＩＤを有している画像同士を重畳する重畳処理手段と、
を備えた画像処理装置。
【請求項２】
前記撮像手段はフレームごとに周囲の画像を撮像し、
前記処理手段が前記画像を処理する時間が閾値以上の場合は、前記撮像手段が前記画像を撮像した時刻におけるフレームと、前記重畳処理手段が画像を重畳する時刻におけるフレームとの間にフレーム補間を行うフレーム補間手段をさらに備えた請求項１に記載の画像処理装置。
【請求項１】
周囲の画像を撮像する撮像手段と、
前記画像が前記撮像手段によって撮像された時刻を示す識別ＩＤを前記画像に埋め込む識別ＩＤ埋め込み手段と、
前記識別ＩＤ埋め込み手段により識別ＩＤを埋め込まれた画像に画像処理を施す処理手段と、
前記処理手段が画像処理を施す前後の画像であって、同じ時刻に係る識別ＩＤを有している画像同士を重畳する重畳処理手段と、
を備えた画像処理装置。
【請求項２】
前記撮像手段はフレームごとに周囲の画像を撮像し、
前記処理手段が前記画像を処理する時間が閾値以上の場合は、前記撮像手段が前記画像を撮像した時刻におけるフレームと、前記重畳処理手段が画像を重畳する時刻におけるフレームとの間にフレーム補間を行うフレーム補間手段をさらに備えた請求項１に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−１６７３４８（Ｐ２００８−１６７３４８Ａ）
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願番号】特願２００７−１７０（Ｐ２００７−１７０）
【出願日】平成１９年１月４日（２００７．１．４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願日】平成１９年１月４日（２００７．１．４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]