画像処理装置
【課題】画像撮像時の環境によらず安定的にフレーム間差分を抽出することを課題とする。
【解決手段】画像処理装置は、カメラにより過去に撮像された過去画像を記憶する画像管理ＤＢを備え、カメラにより入力画像が撮像された際の環境情報を取得し、入力画像が入力された場合に、当該入力画像または取得された環境情報に基づいて、フレーム間差分を実施する間隔を決定し、決定された差分間隔に対応する過去に入力された過去画像を画像管理ＤＢから取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する。
【解決手段】画像処理装置は、カメラにより過去に撮像された過去画像を記憶する画像管理ＤＢを備え、カメラにより入力画像が撮像された際の環境情報を取得し、入力画像が入力された場合に、当該入力画像または取得された環境情報に基づいて、フレーム間差分を実施する間隔を決定し、決定された差分間隔に対応する過去に入力された過去画像を画像管理ＤＢから取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する画像処理装置に関する。
【背景技術】
【０００２】
従来より、動画像から移動体を検出する手法として、フレーム間差分が多く利用されている。このフレーム間差分は、最新のフレームと直前のフレーム間で差分を取ることで、移動領域を抽出するものであり、軽量な処理で実現できるため広く用いられている。そして、フレーム間差分ベースの移動体追跡技術などでは、撮影した画像から移動体を検出する検出能力を高めるために、フレーム間差分で用いる差分間隔の適切な設定が重要であり、この差分間隔を適切に算出する様々な技術が開示されている。
【０００３】
例えば、特許文献１（特開平８−２４１４１４号公報）では、入力された入力画像において、予め定めた領域から検出対象物の速度情報を取得し、画像内の領域ごとに当該速度情報を用いて差分を取る間隔を設定する。具体的に例を挙げると、特許文献１に係る画像処理装置（動体検出装置・追跡装置）は、入力された入力画像を複数の領域に分割し、分割したそれぞれの領域から速度情報を取得する。続いて、画像処理装置は、取得した領域ごとの速度情報から、フレーム間差分を行う間隔を決定する。そして、画像処理装置は、分割した複数の領域ごとに決定した間隔を用いて、複数の領域それぞれでフレーム間差分を実施する。
【０００４】
【特許文献１】特開平８−２４１４１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の技術では、画像を撮影した環境によっては、フレーム間差分間隔を正確に決定することができず、抽出したフレーム間差分が正確でないという課題があった。
【０００６】
具体的には、例えば、日中と夜間では画像上の位置や動き量が異なって見えるなど、取得時の環境により画像が大きく変化する。また、例えば、様々な環境下で多数の移動体の正確な速度計測は一般に大変困難であり、適用できるシーンや効果は限定的である。
【０００７】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像撮像時の環境によらず安定的にフレーム間差分を抽出することが可能である画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するため、本装置は、画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する画像処理装置であって、前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得手段と、前記入力画像が入力された場合に、当該入力画像または前記環境情報取得手段により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定手段と、前記差分間隔決定手段により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手段と、を備えたことを特徴とする。
【発明の効果】
【０００９】
本装置によれば、環境によらず安定的にフレーム間差分を抽出することが可能である。
【発明を実施するための最良の形態】
【００１０】
以下に添付図面を参照して、この発明に係る画像処理装置の実施例を詳細に説明する。なお、以下では、本実施例で用いる主要な用語、本実施例に係る画像処理装置の概要および特徴、画像処理装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。
【実施例１】
【００１１】
［用語の説明］
まず最初に、本実施例で用いる主要な用語を説明する。本実施例で用いる「画像処理装置（特許請求の範囲に記載の「画像処理装置」に対応する。）」とは、画像を撮像するカメラ撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する装置のことである。また、画像を撮像して当該「画像処理装置」に入力する装置としては、上記したカメラに限定されることはなく、ビデオカメラやWebカメラなどでもよく、さらには、ＣＤなどの記憶媒体から入力されてもよい。
【００１２】
また、本実施例で用いる「画像処理装置」は、説明上、自動車などが走る道路の信号機や標識に設置された場合について説明するが、本発明はこれに限定されるものではなく、飛行機や車両のなどの移動体に備えることもでき、信号機や標識、滑走路など固定的に設置することもできる。また、本実施例では、「画像処理装置」にカーナビゲーションシステムや自動車の制御システムなどに有線または無線で接続されており、カーナビゲーションシステムや自動車の制御システムは、当該「画像処理装置」から情報（抽出された差分）を受信すると、その情報に基づいて、ナビやブレーキ制御などを行うことができる。
【００１３】
［画像処理装置の概要および特徴］
次に、実施例１に係る画像処理装置の概要および特徴を説明する。この画像処理装置は、上記したように、画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出することを概要とするものであり、特に、環境によらず安定的にフレーム間差分を抽出することが可能であるに主たる特徴がある。
【００１４】
具体的には、実施例１に係る画像処理装置は、カメラにより画像が撮像された環境として交通量、昼夜情報、信号機の状態、天候、移動体（被写体）の速度情報など様々な情報を取得する。そして、画像処理装置は、カメラにより撮像された入力画像が入力された場合に、当該入力画像または取得した環境情報に基づいて、フレーム間差分を実施する間隔を決定する。その後、画像処理装置は、決定した間隔を用いてフレーム間差分を実施し、差分（差分画像）を抽出する。
【００１５】
このように、実施例１に係る画像処理装置は、移動体の速度情報だけでなく、様々な環境情報を取得してフレーム間差分間隔を決定し、決定した間隔でフレーム間差分を実施することができる結果、上記した主たる特徴のごとく、画像撮像時の環境によらず安定的にフレーム間差分を抽出することが可能である。
【００１６】
［画像処理装置の構成］
次に、図１を用いて、画像処理装置の構成を説明する。図１は、実施例１に係る画像処理装置の構成を示すブロック図である。図１に示すように、この画像処理装置１０は、入力画像受付部１１と、外部センサ１２と、画像管理ＤＢ２０と、差分間隔ＤＢ２１と、環境判定部３０と、差分処理部３１とから構成される。
【００１７】
入力画像受付部１１は、画像を撮像する撮像部により撮像されて入力された入力画像を受け付ける。具体的に例を挙げれば、入力画像受付部１１は、カメラなどの撮影部により撮像された画像を受け付けて、接続される画像管理ＤＢ２０に格納するとともに、当該受け付けた入力画像を環境判定部３０に出力する。
【００１８】
外部センサ１２は、撮像部により入力画像が撮像された際の環境情報を取得する。具体的に例を挙げれば、外部センサ１２は、タイマ、温度センサ、視程計、雨量計、超音波などの交通量計測計などの各種センサを備え、撮像部により入力画像が撮像された際の環境情報として、時刻、日付、温度、天候、交通量などの情報を取得し、接続される環境判定部３０に取得した情報を出力する。また、外部センサ１２は、交差点の信号機などに接続されていてもよく、その場合は、信号機の点灯状態を取得して環境判定部３０に出力する。
【００１９】
例えば、外部センサ１２は、交通流計測が可能なセンサを用いて、道路上の車両の大まかな台数を把握したり、入力画像受付部１１により受け付けられた入力画像の背景差分等に対して画像処理を行って台数を予測したりする。これによって、外部センサ１２は、道路の交通量を判断し、その結果を後述する環境判定部３０に出力する。また、外部センサ１２は、タイマなどの時刻計測計から、撮像部により入力画像が撮像された際の時刻を取得し、当該時刻に基づいて「朝、昼、夜」などの環境情報を後述する環境判定部３０に出力することもできる。
【００２０】
画像管理ＤＢ２０は、撮像部により過去に撮像された過去画像を記憶する。具体的に例を挙げれば、画像管理ＤＢ２０は、入力画像受付部１１により受け付けられて、後述する差分処理部３１によりフレーム間差分処理が実施された入力画像（現時点での処理対象フレーム）を記憶する。また、画像管理ＤＢ２０は、差分処理部３１により処理された入力画像を蓄積しておき、差分処理部３１の指示操作により記憶する画像を出力する。
【００２１】
差分間隔ＤＢ２１は、外部センサ１２により取得された環境情報に対応付けて、フレーム間差分を実施する間隔を記憶する。具体的に例を挙げれば、差分間隔ＤＢ２１は、図２に示すように、『外部センサ１２により取得された環境情報を示す「環境情報」、フレーム間差分を実施する間隔を示す「フレーム間差分間隔」』として「交通量大（渋滞）、１０」や「交通量小、１」などと記憶する。また、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、図２は、差分間隔ＤＢに記憶される情報の例を示す図である。
【００２２】
環境判定部３０は、入力画像が入力された場合に、当該入力画像または外部センサ１２により取得された環境情報に基づいて、フレーム間差分を実施する間隔を決定する。上記した例で具体的に説明すると、環境判定部３０は、外部センサ１２により環境情報「交通量」が入力された場合、当該環境情報から交通量が「大（渋滞）」であるか「小（渋滞ではない）」であるかを判定する。そして、環境判定部３０は、交通量が「大（渋滞）」であると判定した場合、差分間隔ＤＢ２１から「交通量（大）」に対応する「差分間隔＝１０」を取得し、取得した差分間隔「１０」を後述する差分処理部３１に出力する。
【００２３】
また、環境判定部３０は、外部センサ１２から受け付けた環境情報だけでなく、入力画像受付部１１から受け付けた入力画像から環境情報を判定することもできる。例えば、環境判定部３０は、入力画像受付部１１から受け付けた入力画像の平均輝度を算出し、算出した値が閾値以上であれば「昼」、閾値未満であれば「夜」などを判定することもできる。
【００２４】
差分処理部３１は、環境判定部３０により決定された差分間隔に対応する過去に入力された過去画像を画像管理ＤＢ２０から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する。上記した例で具体的に説明すると、差分処理部３１は、環境判定部３０により決定された差分間隔「１」を受信した場合、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の一つ前のフレーム（時刻ｔ−１画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、差分処理部３１は、当該画像処理装置１０に接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００２５】
また、例えば、差分処理部３１は、環境判定部３０により決定された差分間隔「１０」を受信した場合、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の１０個前のフレーム（時刻ｔ−１０画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、差分処理部３１は、当該画像処理装置１０に接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００２６】
［画像処理装置による処理］
次に、図３を用いて、画像処理装置による差分抽出処理を説明する。図３は、実施例１に係る画像処理装置における差分抽出処理の流れを示すフローチャートである。
【００２７】
（差分抽出処理の流れ）
図３に示すように、画像処理装置１０は、入力画像が入力されると（ステップＳ１０１肯定）、当該入力画像を画像管理ＤＢ２０に格納するために、過去画像管理処理を実施する（ステップＳ１０２）。なお、過去画像管理処理は、後述する図５において、詳細に説明する。
【００２８】
そして、画像処理装置１０は、外部センサ１２から環境情報を取得し（ステップＳ１０３）、環境判定を行う（ステップＳ１０４）。具体的に例を挙げると、画像処理装置１０は、外部センサ１２から環境情報「交通量」を取得し、当該交通量が「大」であるか「小」であるかの環境判定を行う。なお、ここでは、画像処理装置１０は、交通量が「大」であると判定する。
【００２９】
続いて、画像処理装置１０は、判定した結果に基づいて差分間隔を差分間隔ＤＢ２１から取得し（ステップＳ１０５）、取得した差分間隔に基づいて、フレーム間差分を実施して差分を抽出し（ステップＳ１０６）、抽出した結果を接続される各種装置に出力する（ステップＳ１０７）。このように、画像処理装置１０は、入力された入力画像に対して、上記したステップＳ１０１〜ステップＳ１０７の処理を実行する。
【００３０】
具体的に例を挙げると、画像処理装置１０は、判定した結果「交通量大」に基づいて差分間隔「１０」を差分間隔ＤＢ２１から取得する。そして、画像処理装置は、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の１０個前のフレーム（時刻ｔ−１０画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、画像処理装置１０は、接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００３１】
（過去画像管理処理の流れ）
次に、図４を用いて、画像処理装置による過去画像管理処理を説明する。図４は、実施例１に係る画像処理装置における過去画像管理処理の流れを示すフローチャートである。なお、ここで説明する過去画像管理処理は、図３のステップＳ１０２に該当する処理である。
【００３２】
図４に示すように、画像処理装置１０は、入力画像が入力されると、画像管理ＤＢ２０のリスト容量を取得し（ステップＳ２０１）、空き容量があるかないかを判定する（ステップＳ２０２）。
【００３３】
そして、画像管理ＤＢ２０に空き容量がある場合（ステップＳ２０２肯定）、画像処理装置は、入力画像受付部１１により受け付けられた入力画像を画像管理ＤＢ２０に登録する（ステップＳ２０３）。
【００３４】
一方、画像管理ＤＢ２０に空き容量がない場合（ステップＳ２０２否定）、画像処理装置は、画像管理ＤＢ２０に記憶される最も過去の画像を削除して空き容量を確保した後に（ステップＳ２０４）、入力画像受付部１１により受け付けられた入力画像を画像管理ＤＢ２０に登録する（ステップＳ２０３）。
【００３５】
［実施例１による効果］
このように、実施例１によれば、カメラにより過去に撮像された過去画像を記憶し、カメラにより入力画像が撮像された際の環境情報を取得し、入力画像が入力された場合に、当該入力画像または取得された環境情報に基づいて、フレーム間差分を実施する間隔を決定し、決定された差分間隔に対応する過去に入力された過去画像を取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出するので、移動体の速度情報だけでなく、様々な環境情報を取得してフレーム間差分間隔を決定し、決定した間隔でフレーム間差分を実施することができる結果、上記した主たる特徴のごとく、画像撮像時の環境によらず安定的にフレーム間差分を抽出することが可能である。
【００３６】
また、実施例１によれば、検出対象を含めた環境情報に応じて差分を取る間隔を決定するので、どのような状況であっても、精度良く画像差分を検出することが可能になる。また、環境情報に応じて、差分をとるフレーム間隔を変更するだけなので、画像領域を分けて処理する方法と比較して、処理量が軽量で済む。
【００３７】
また、実施例１によれば、カメラにより入力画像が撮像された際の環境情報として交通量を取得し、取得された交通量が多い場合（渋滞している場合）のフレーム間差分の間隔を、交通量が少ない場合に比べて長い間隔として決定するので、カーナビゲーションシステムなど、自動車などの車両に対しても、容易に適用することが可能である。
【実施例２】
【００３８】
ところで、実施例１では、環境情報として交通量を用いて差分間隔を決定する場合について主に説明したが、本発明はこれに限定されるものではなく、他の様々な情報を用いて差分間隔を決定することができる。
【００３９】
そこで、実施例２では、図５〜図７を用いて、交通量以外の情報を用いて差分間隔を決定する場合について説明する。なお、実施例２では、撮像時間帯、撮像時の信号点灯状態、撮像時間と信号点灯状態の３つの例について説明する。
【００４０】
（撮像時間帯を用いて差分間隔を決定）
実施例２に係る画像処理装置１０は、図５に示すように、『外部センサ１２により取得された環境情報を示す「時間帯」、フレーム間差分を実施する間隔を示す「フレーム間差分間隔」』として「昼、１」や「夜、２」などと差分間隔ＤＢ２１に記憶する。また、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、図５は、実施例２に係る差分間隔ＤＢに記憶される撮像時間帯の例を示す図である。
【００４１】
このような状態において、画像処理装置は、外部センサ１２から環境情報を取得し、環境判定を行って、フレーム差分間隔を決定する。上記した例で具体的に説明すると、画像処理装置１０は、タイマなどの時刻計測計を用いて外部センサ１２により、カメラにより入力画像が撮像された際の時刻を取得する。そして、画像処理装置１０は、取得した時刻が所定の閾値（例えば、９：００〜１６：００）の間であれば「昼」と判定し、判定した「昼」に対応付けて差分間隔ＤＢ２１に記憶されるフレーム間差分間隔「１」を取得する。
【００４２】
そして、画像処理装置１０は、取得したフレーム間差分間隔「１」に基づいて、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の１つ前のフレーム（時刻ｔ−１画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、画像処理装置１０は、当該画像処理装置１０に接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００４３】
また、例えば、画像処理装置１０は、取得した時刻が所定の閾値（例えば、１６：０１〜８：５９）の間であれば「夜」と判定し、判定した「夜」に対応付けて差分間隔ＤＢ２１に記憶されるフレーム間差分間隔「２」を取得する。
【００４４】
そして、画像処理装置１０は、取得したフレーム間差分間隔「２」に基づいて、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の２つ前のフレーム（時刻ｔ−２画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、画像処理装置１０は、当該画像処理装置１０に接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００４５】
このように、画像処理装置１０は、カメラにより入力画像が撮像された際の環境情報として昼夜情報を取得し、取得された昼夜情報が夜である場合のフレーム間差分の間隔を、昼夜情報が昼である場合に比べて長い間隔として決定する、すなわち画像上で対象物を判別しにくい場合にフレーム間差分の間隔をより長くするように決定するので、交通量ではなく、撮像された時刻を用いた場合でも、安定的にフレーム間差分を抽出することが可能である。
【００４６】
（撮像時の信号点灯状態を用いて差分間隔を決定）
実施例２に係る画像処理装置１０は、図６に示すように、『外部センサ１２により取得された環境情報を示す「信号」、フレーム間差分を実施する間隔を示す「フレーム間差分間隔」』として「青、１」、「黄、２」、「赤、１０」などと差分間隔ＤＢ２１に記憶する。また、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、図６は、実施例２に係る差分間隔ＤＢに記憶される撮像時の信号点灯状態の例を示す図である。
【００４７】
このような状態において、画像処理装置は、信号機に接続される外部センサ１２から環境情報を取得し、環境判定を行って、フレーム差分間隔を決定する。上記した例で具体的に説明すると、画像処理装置１０は、接続される信号機から信号状態を受信した外部センサ１２により、カメラにより入力画像が撮像された際の信号状態を取得する。そして、画像処理装置１０は、取得した信号状態が「赤」であれば、「赤」に対応付けて差分間隔ＤＢ２１に記憶されるフレーム間差分間隔「１０」を取得する。
【００４８】
そして、画像処理装置１０は、取得したフレーム間差分間隔「１０」に基づいて、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の１０個前のフレーム（時刻ｔ−１０画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、画像処理装置１０は、当該画像処理装置１０に接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００４９】
また、例えば、画像処理装置１０は、信号状態が「青」または「黄」であっても、上記した例と同様に、フレーム間差分間隔を決定して、差分を抽出することができる。このように、画像処理装置１０は、カメラにより入力画像が撮像された際の環境情報として信号機状態を取得し、取得された信号機状態が黄色または赤色である場合のフレーム間差分の間隔を、信号機状態が青色である場合に比べて長い間隔として決定し、また、取得された信号機状態が赤色である場合のフレーム間差分の間隔を、信号機状態が黄色である場合に比べて長い間隔として決定する、すなわち画像上で対象物の移動速度が遅い場合にフレーム間差分の間隔をより長くするように決定するので、交通量ではなく、撮像時の信号機の状態を用いた場合でも、安定的にフレーム間差分を抽出することが可能である。
【００５０】
（撮像時間と信号点灯状態を用いて差分間隔を決定）
実施例２に係る画像処理装置１０は、外部センサ１２により取得された環境情報を示す「信号」と「時間帯」とに対応付けて、フレーム間差分を実施する間隔を示す「フレーム間差分間隔」を記憶する差分間隔ＤＢ２２を備える。例えば、画像処理装置１０は、図７に示すように、「青、昼、１」、「赤、夜、１５」などを差分間隔ＤＢ２２に記憶する。また、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、図７は、実施例２に係る差分間隔ＤＢに記憶される撮像時間と信号点灯状態の例を示す図である。
【００５１】
このような状態において、画像処理装置は、タイマなどの時刻計測計を備え、信号機に接続される外部センサ１２から環境情報を取得し、環境判定を行って、フレーム差分間隔を決定する。上記した例で具体的に説明すると、画像処理装置１０は、タイマなどの時刻計測計を用いて外部センサ１２により、カメラにより入力画像が撮像された際の時刻を取得する。同時に、画像処理装置１０は、接続される信号機から信号状態を受信した外部センサ１２により、カメラにより入力画像が撮像された際の信号状態を取得する。
【００５２】
そして、画像処理装置１０は、信号状態が「赤」であり、撮像された時間帯が所定の閾値（例えば、１６：０１〜８：５９）の間であれば「夜」と判定し、「赤、夜」に対応付けて差分間隔ＤＢ２２に記憶されるフレーム間差分間隔「１５」を取得する。
【００５３】
そして、画像処理装置１０は、取得した差分間隔「１５」に基づいて、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の１５個前のフレーム（時刻ｔ−１５画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、画像処理装置１０は、当該画像処理装置１０に接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００５４】
このように、画像処理装置１０は、撮像された時刻と信号機の状態との両方を用いることにより、より安定的かつより正確なフレーム間差分を抽出することが可能である。
【実施例３】
【００５５】
ところで、実施例１と２では、決定した差分間隔に対応する過去画像全体と入力画像全体とについてフレーム間差分を実施して、差分を抽出する例について説明したが、本発明はこれに限定されるものではなく、入力画像を複数の領域に分割して、分割した領域ごとに差分間隔を決定し、領域ごとにフレーム間差分を実施して差分を抽出することもできる。
【００５６】
そこで、実施例３では、図８を用いて、入力画像を複数の領域に分割して、分割した領域ごとに差分間隔を決定し、領域ごとにフレーム間差分を実施して差分を抽出する例について説明する。図８は、実施例３に係る画像処理装置の処理を説明するための図である。
【００５７】
実施例３に係る画像処理装置は、入力画像に撮像されている物体までの距離と撮像された環境の状態（例えば、信号機の状態、交通量、天候、時間帯など）に対応付けて、フレーム間差分間隔を記憶する差分間隔ＤＢを備える。例えば、画像処理装置は、「距離＝２０ｍ、信号状態＝青、交通量＝小、間隔＝３」などと記憶する差分間隔ＤＢを備える。
【００５８】
このような状態において、図８に示すように、画像処理装置は、入力された入力画像を複数の領域（（１）〜（ｎ））に分割し、分割したそれぞれの領域に撮像されている物体（例えば、自動車などの移動体や看板など）までの距離を算出する。また、画像処理装置は、これと同時に、実施例１〜２と同様の環境情報を取得する。ここで、物体までの距離を算出する手法としては、例えば、当該物体の画素値から算出したり、物体の大きさから距離を算出したりするなど様々な公知の手法を用いることができる。
【００５９】
そして、画像処理装置は、分割した入力画像の各領域ごとに、物体までの距離と環境情報とに基づいて、フレーム間差分間隔を差分間隔ＤＢから取得する。そして、画像処理装置は、分割した入力画像の各領域ごとに取得した差分間隔に基づいて、領域ごとに過去画像を取得し、それらを合成した比較画像を生成する。
【００６０】
例えば、画像処理装置は、図８に示すように、領域（１）については差分間隔「１」、領域（２）については差分間隔「２」、領域（３）については差分間隔「３」、領域（ｎ）については差分間隔「ｎ」を取得する。そして、画像処理装置は、領域（１）については「時刻ｔ−１画像」、領域（２）については「時刻ｔ−２画像」、領域（３）については「時刻ｔ−３画像」、領域（ｎ）については「時刻ｔ−ｎ画像」を取得して、これらを合成した比較画像を生成する。なお、ここでは、現在入力されている画像（フレーム）を「時刻ｔ画像」として説明している。つまり、「時刻ｔ−１画像」とは、現在の入力画像の一つ前の画像を示している。
【００６１】
その後、画像処理装置は、生成した比較画像と現在入力されている画像（フレーム）を「時刻ｔ画像」とのフレーム間差分処理を実施して、差分を抽出する。
【００６２】
このように、実施例３によれば、カメラにより入力画像を複数の領域に分割して、それぞれの領域ごとに撮像された際の環境情報を取得し、取得された複数の領域毎の環境情報に基づいて、複数の領域毎にフレーム間差分を実施する間隔を決定し、決定された複数の領域毎の差分間隔に対応する過去に入力された過去画像を取得して、複数の領域毎にフレーム間差分を実施して、差分を抽出するので、画像全体でフレーム間差分間隔を決定する場合に比べて、より環境情報を考慮したフレーム間差分間隔を決定することができる結果、どのような環境であっても、より精度の高い差分を得ることが可能である。
【実施例４】
【００６３】
ところで、実施例３では、入力画像を複数の領域に分割して、分割した領域ごとに差分間隔を決定し、領域ごとにフレーム間差分を実施して差分を抽出する例について説明したが、本発明はこれに限定されるものではなく、入力画像の各画素ごとに差分間隔を決定し、領域ごとにフレーム間差分を実施して差分を抽出することもできる。
【００６４】
そこで、実施例４では、図９を用いて、入力画像の各画素ごとに差分間隔を決定し、領域ごとにフレーム間差分を実施して差分を抽出する場合の処理の流れについて説明する。図９は、実施例４に係る画像処理装置の処理を説明するためのフローチャートである。
【００６５】
図９に示すように、実施例４に係る画像処理装置は、入力画像が入力されると、フレーム間差分の比較対象となる比較画像を生成するための領域である画像バッファを生成（確保）する（ステップＳ３０１）。
【００６６】
そして、画像処理装置は、入力画像の横軸Ｘ座標＝０、縦軸Ｙ座標＝０として、左上の画素（Ｘ＝１、Ｙ＝１）と、変数ＸとＹとを初期化する（ステップＳ３０２）。なお、入力画像の右下の画素の座標を「Ｘ＝ｎ、Ｙ＝ｎ」とする。
【００６７】
その後、画像処理装置は、入力画像の左上画素「Ｘ＝１、Ｙ＝１」から入力画像の右下画素「Ｘ＝ｎ、Ｙ＝ｎ」の全ての画素に対して、対象画素の距離を計算し（ステップＳ３０３およびステップＳ３０４）、対象画素の差分間隔を差分間隔ＤＢから取得し（ステップＳ３０５）、取得した差分間隔に対応する過去画像を画像管理ＤＢから取得し（ステップＳ３０６）、取得した過去画像から処理対象画素の位置（例えば、「Ｘ＝１、Ｙ＝１」）に対応する画素値を取得して、画像バッファの「Ｘ＝１、Ｙ＝１」に当該画素値を代入する（ステップＳ３０７）。
【００６８】
そして、画像処理装置は、入力画像の左上画素「Ｘ＝１、Ｙ＝１」から入力画像の右下画素「Ｘ＝ｎ、Ｙ＝ｎ」の全ての画素に対して、上記したステップＳ３０４〜ステップＳ３０７の処理を行うと（ステップＳ３０８肯定）、生成された画像バッファを比較画像として、入力画像と比較画像とのフレーム間差分を実施して、差分を抽出する。
【００６９】
このように、実施例４によれば、カメラにより入力画像の各画素毎に、撮像された際の環境情報を取得し、取得された各画素毎の環境情報に基づいて、各画素毎にフレーム間差分を実施する間隔を決定し決定された各画素毎の差分間隔に対応する過去に入力された過去画像を取得し、各画素毎にフレーム間差分を実施して、差分を抽出するので、画像全体でフレーム間差分間隔を決定する場合や画像を分割した領域ごとにフレーム間差分を決定する場合に比べて、より環境情報を考慮したフレーム間差分間隔を決定することができる結果、どのような環境であっても、より精度の高い差分を得ることが可能である。
【実施例５】
【００７０】
ところで、実施例１〜４では、取得した環境情報に基づいて、予め記憶する差分間隔を取得する例について説明したが、本発明はこれに限定されるものではなく、取得した環境情報に基づいて、差分間隔を算出することもできる。
【００７１】
そこで、実施例５では、図１０〜図１２を用いて、取得した環境情報に基づいて、差分間隔を算出する様々な例について説明する。
【００７２】
（交通量から差分間隔を算出する例）
まず、図１０を用いて、交通量から差分間隔を算出する例について説明する。図１０の（１）に示すように、画像処理装置は、差分間隔算出式のパラメータとして「車両の長さ＝５ｍ、車両間＝２．５ｍ、入力画像から車両を特定する範囲を示す観察範囲＝０〜１００ｍ」が予め設定されている。なお、上記した数値はあくまで例であり、これに限定されるものではない。また、図１０は、交通量から差分間隔を算出するための算出式の例を示す図である。
【００７３】
このような状態において、画像処理装置は、例えば、入力画像に５台の車両が撮像されていた場合、図１０の（２）に示す算出式を用いて、「フレーム間隔＝１００／（５／１３）＝４・・・」となり、「フレーム差分間隔＝４」と決定する。
【００７４】
また、例えば、画像処理装置は、入力画像に１２台の車両が撮像されていた場合、図１０の（２）に示す算出式を用いて、「フレーム間隔＝１００／（１２／１３）＝９・・・」となり、「フレーム差分間隔＝９」と決定する。その後の過去画像を取得してフレーム間差分を実施する処理は、実施例１と同じであるので、ここでは省略する。
【００７５】
（時間帯から差分間隔を算出する例）
次に、図１１を用いて、時間帯から差分間隔を算出する例について説明する。図１１に示すように、画像処理装置は、撮像された時間帯および月に応じて、差分間隔算出式が予め設定されている。なお、図１１は、時間帯から差分間隔を算出するための算出式の例を示す図である。
【００７６】
図１１に示された算出式は、撮像された時間帯が「７：００〜１７：００」の間かつ撮像された月が「１１月、１２月、１月」であれば、「フレーム差分間隔＝１」と決定され、撮像された時間帯が「６：００〜１８：００」の間かつ撮像された月が「４月または９月」であれば、「フレーム差分間隔＝１」と決定され、撮像された時間帯が「５：００〜１９：００」の間かつ撮像された月が「５月、６月、７月」であれば、「フレーム差分間隔＝１」と決定され、それ以外の時間帯と月の組み合わせは、「フレーム差分間隔＝２」と決定される。
【００７７】
画像処理装置は、環境情報を受け付けた場合に、当該環境情報が上記したどのパターンに含まれかにより、フレーム間差分を決定する。その後の過去画像を取得してフレーム間差分を実施する処理は、実施例１と同じであるので、ここでは省略する。なお、上記した時間帯と月とのパターンはあくまで例であり、これに限定されるものではない。
【００７８】
（天候から差分間隔を算出する例）
次に、図１２を用いて、天候から差分間隔を算出する例について説明する。図１２に示すように、画像処理装置は、撮像された天候に応じて、差分間隔算出式が予め設定されている。なお、図１２に示した数値はあくまで例であり、これに限定されるものではない。また、図１２は、天候から差分間隔を算出するための算出式の例を示す図である。
【００７９】
具体的には、画像処理装置には、図１２に示すように、「平均輝度＝フレーム（入力画像）内の画素値の合計／フレーム（入力画像）内画素の総数」と、「Ｃ１：閾値（昼・夜の明るさ判定）、Ｃ２：閾値（昼の曇り、晴れの明るさ判定）」とがパラメータとして予め設定されている。
【００８０】
このような状態において、例えば、「Ｃ１＝３０、Ｃ２＝１００」、「算出した入力画像の平均輝度＝１２０」であった場合、画像処理装置は、図１２の（２）に基づいて、Ｃ２よりも大きいため、「天候＝昼、晴れ」、「フレーム間差分間隔＝５」と決定する。また、例えば、「算出した入力画像の平均輝度＝２０」であった場合、画像処理装置は、図１２の（２）に基づいて、Ｃ１よりも小さいため、「天候＝夜」、「フレーム間差分間隔＝１」と決定し、「算出した入力画像の平均輝度＝７０」であった場合、図１２の（２）に基づいて、Ｃ１よりも大きくＣ２よりも小さいため、「天候＝昼、曇り」、「フレーム間差分間隔＝２」と決定する。その後の過去画像を取得してフレーム間差分を実施する処理は、実施例１と同じであるので、ここでは省略する。
【００８１】
（実施例５による効果）
このように、実施例５によれば、入力画像または環境情報に基づく算出式を用いて、フレーム間差分を実施する間隔を決定する、具体的には画像上で対象物の移動速度が遅い場合もしくは対象物を判別しにくい場合に、フレーム間差分の間隔をより長くするように決定するので、画像撮像時の環境の変化に柔軟に対応することができる結果、安定的にフレーム間差分を抽出することが可能である。
【実施例６】
【００８２】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）適用例、（２）環境情報、（３）移動体検出、（４）環境情報の取得契機、（５）システム構成等、（６）プログラム、にそれぞれ区分けして異なる実施例を説明する。
【００８３】
（１）適用例
例えば、実施例１〜５では、本発明を自動車などが走る道路の信号機や標識に設置された場合について説明したが、本発明はこれに限定されるものではなく、飛行機や車両のなどの移動体に備えることもでき、信号機や標識、滑走路など固定的に設置することもできる。
【００８４】
（２）環境情報
また、実施例１〜５では、環境情報として「交通量、信号機状態、天候、時刻」などを用いた場合を説明したが、本発明はこれに限定されるものではなく、視程計、雨量計などを備えた外部センサを使用することで、例えば、霧や雨などの天候の細かな情報を用いることもできる。
【００８５】
また、本画像処理装置は、外部情報である環境情報を用いることなく、カメラにより入力画像が撮像された際の環境情報として、カメラからの入力画像に含まれる物体までの距離を取得し、取得された距離が短いほど、もしくは、物体が入力画像の下方にあるほど、フレーム間差分を実施する間隔を短く決定することもできる。その結果、検出対象を含めた環境情報に応じて差分を取る間隔を決定するので、どのような状況であっても、精度良く画像差分を検出することが可能になる。
【００８６】
（３）移動体検出
また、実施例１〜５では、決定したフレーム間差分間隔に基づいて、フレーム間差分処理を実施して、差分（差分画像）を得る場合を説明したが、本発明はこれに限定されるものではなく、算出した差分から移動体を検出することもできる。その結果、車載装置など移動体に搭載されている車載制御システムなどへの適用も非常に有効である。例えば、抽出された差分画像から移動体が近い位置（差分画像には大きく撮像される）に存在する場合に、ブレーキを制御したりすることが可能である。なお、フレーム間差分間隔を長くしすぎると、画像中の移動体検出が困難になる場合があるので、上記実施例中で述べた差分間隔の求め方に限らず、実際の検出対象に応じて、差分間隔の上限値や下限値を定めたり、差分間隔の決定方法を変化させても構わない。
【００８７】
（４）環境情報の取得契機
また、実施例１〜５では、画像が入力される度に、取得した環境情報に基づいてフレーム間差分間隔を決定する場合について説明したが、本発明はこれに限定されるものではなく、取得した環境情報が変化した場合にのみ、取得した環境情報に基づいてフレーム間差分間隔を決定することもできる。その結果、環境の変化に迅速に対応することが可能である。また、画像が入力される度にフレーム間差分間隔を決定する場合に比べて、処理負荷を軽減することが可能である。
【００８８】
（５）システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、外部センサと環境判定部とを統合するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００８９】
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理（例えば、撮像処理など）の全部または一部を手動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報（例えば、図２、図５〜図７、図１０〜図１２）については、特記する場合を除いて任意に変更することができる。
【００９０】
（６）プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムを他の実施例として説明する。
【００９１】
図１３は、画像処理プログラムを実行するコンピュータシステムの例を示す図である。図１３に示すように、コンピュータシステム１００は、ＲＡＭ１０１と、ＨＤＤ１０２と、ＲＯＭ１０３と、ＣＰＵ１０４とから構成される。ここで、ＲＯＭ１０３には、上記の実施例と同様の機能を発揮するプログラム、つまり、図１３に示すように、入力画像受付プログラム１０３ａと、環境情報取得プログラム１０３ｂと、環境判定プログラム１０３ｃと、差分処理プログラム１０３ｄとがあらかじめ記憶されている。
【００９２】
そして、ＣＰＵ１０４には、これらのプログラム１０３ａ〜１０３ｄを読み出して実行することで、図１３に示すように、入力画像受付プロセス１０４ａと、環境情報取得プロセス１０４ｂと、環境判定プロセス１０４ｃと、差分処理プロセス１０４ｄとなる。なお、力画像受付プロセス１０４ａは、図１に示した、入力画像受付部１１に対応し、同様に、環境情報取得プロセス１０４ｂは、外部センサ１２に対応し、環境判定プロセス１０４ｃは、環境判定部３０に対応し、差分処理プロセス１０４ｄは、差分処理部３１に対応する。
【００９３】
また、ＨＤＤ１０２には、撮像部により過去に撮像された過去画像を記憶する画像管理テーブル１０２ａと、取得された環境情報に対応付けて、フレーム間差分を実施する間隔を記憶する差分間隔テーブル１０２ｂとが設けられる。なお、画像管理テーブル１０２ａは、図１に示した、画像管理ＤＢ２０に対応し、差分間隔テーブル１０２ｂは、差分間隔ＤＢ２１に対応する。
【００９４】
ところで、上記したプログラム１０３ａ〜１０３ｄは、必ずしもＲＯＭ１０３に記憶させておく必要はなく、例えば、コンピュータシステム１００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム１００の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらに、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータシステム１００に接続される「他のコンピュータシステム」に記憶させておき、コンピュータシステム１００がこれらからプログラムを読み出して実行するようにしてもよい。
【００９５】
以上の実施例１〜６を含む実施形態に関し、更に以下の付記を開示する。
【００９６】
（付記１）画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する画像処理装置であって、
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得手段と、
前記入力画像が入力された場合に、当該入力画像または前記環境情報取得手段により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定手段と、
前記差分間隔決定手段により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手段と、
を備えたことを特徴とする画像処理装置。
【００９７】
（付記２）前記差分抽出手段により抽出された過去入力画像と入力画像との差分から、移動体を検出する移動体検出手段をさらに備えたことを特徴とする付記１に記載の画像処理装置。
【００９８】
（付記３）前記差分間隔決定手段は、前記入力画像または環境情報に基づく算出式を用いて、前記フレーム間差分を実施する間隔を決定することを特徴とする付記１に記載の画像処理装置。
【００９９】
（付記４）前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として交通量を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された交通量が多い場合のフレーム間差分の間隔を、前記交通量が少ない場合に比べて長い間隔として決定することを特徴とする付記１に記載の画像処理装置。
【０１００】
（付記５）前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として昼夜情報を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された昼夜情報が夜である場合のフレーム間差分の間隔を、前記昼夜情報が昼である場合に比べて長い間隔として決定することを特徴とする付記１に記載の画像処理装置。
【０１０１】
（付記６）前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として信号機状態を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された信号機状態が黄色または赤色である場合のフレーム間差分の間隔を、前記信号機状態が青色である場合に比べて長い間隔として決定し、また、前記環境情報取得手段により取得された信号機状態が赤色である場合のフレーム間差分の間隔を、前記信号機状態が黄色である場合に比べて長い間隔として決定することを特徴とする付記１に記載の画像処理装置。
【０１０２】
（付記７）前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として、前記撮像部からの入力画像に含まれる物体までの距離を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された距離が短いほど、もしくは、前記物体が入力画像の下方にあるほど、前記フレーム間差分を実施する間隔を短く決定することを特徴とする付記１に記載の画像処理装置。
【０１０３】
（付記８）前記環境情報取得手段は、前記撮像部により入力画像を複数の領域に分割して、それぞれの領域ごとに撮像された際の環境情報を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された複数の領域毎の環境情報に基づいて、前記複数の領域毎にフレーム間差分を実施する間隔を決定し
前記差分抽出手段は、前記差分間隔決定手段により決定された複数の領域毎の差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、前記複数の領域毎にフレーム間差分を実施して、差分を抽出することを特徴とする付記１に記載の画像処理装置。
【０１０４】
（付記９）前記環境情報取得手段は、前記撮像部により入力画像の各画素毎に、撮像された際の環境情報を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された各画素毎の環境情報に基づいて、前記各画素毎にフレーム間差分を実施する間隔を決定し
前記差分抽出手段は、前記差分間隔決定手段により決定された各画素毎の差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、前記各画素毎にフレーム間差分を実施して、差分を抽出することを特徴とする付記１に記載の画像処理装置。
【０１０５】
（付記１０）前記差分間隔決定手段は、前記環境情報取得手段により取得された環境情報が、前回取得した環境情報から変化している場合に、当該環境情報に基づいて、前記フレーム間差分を実施する間隔を決定することを特徴とする画像処理装置。
【０１０６】
（付記１１）画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出することに適した画像処理方法であって、
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得工程と、
前記入力画像が入力された場合に、当該入力画像または前記環境情報取得工程により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定工程と、
前記差分間隔決定工程により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出工程と、
を含んだことを特徴とする画像処理方法。
【０１０７】
（付記１２）画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出することをコンピュータに実行させる画像処理プログラムであって、
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得手順と、
前記入力画像が入力された場合に、当該入力画像または前記環境情報取得手順により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定手順と、
前記差分間隔決定手順により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図面の簡単な説明】
【０１０８】
【図１】実施例１に係る画像処理装置の構成を示すブロック図である。
【図２】差分間隔ＤＢに記憶される情報の例を示す図である。
【図３】実施例１に係る画像処理装置における差分抽出処理の流れを示すフローチャートである。
【図４】実施例１に係る画像処理装置における過去画像管理処理の流れを示すフローチャートである。
【図５】実施例２に係る差分間隔ＤＢに記憶される撮像時間帯の例を示す図である。
【図６】実施例２に係る差分間隔ＤＢに記憶される撮像時の信号点灯状態の例を示す図である。
【図７】実施例２に係る差分間隔ＤＢに記憶される撮像時間と信号点灯状態の例を示す図である。
【図８】実施例３に係る画像処理装置の処理を説明するための図である。
【図９】実施例４に係る画像処理装置の処理を説明するためのフローチャートである。
【図１０】交通量から差分間隔を算出するための算出式の例を示す図である。
【図１１】時間帯から差分間隔を算出するための算出式の例を示す図である。
【図１２】天候から差分間隔を算出するための算出式の例を示す図である。
【図１３】画像処理プログラムを実行するコンピュータシステムの例を示す図である。
【符号の説明】
【０１０９】
１０ 画像処理装置
１１ 入力画像受付部
１２ 外部センサ
２０ 画像管理ＤＢ
２１ 差分間隔ＤＢ
３０ 環境判定部
３１ 差分処理部
１００ コンピュータシステム
１０１ ＲＡＭ
１０２ ＨＤＤ
１０２ａ 画像管理テーブル
１０２ｂ 差分間隔テーブル
１０３ ＲＯＭ
１０３ａ 入力画像受付プログラム
１０３ｂ 環境情報取得プログラム
１０３ｃ 環境判定プログラム
１０３ｄ 差分処理プログラム
１０４ ＣＰＵ
１０４ａ 入力画像受付プロセス
１０４ｂ 環境情報取得プロセス
１０４ｃ 環境判定プロセス
１０４ｄ 差分処理プロセス
【技術分野】
【０００１】
この発明は、画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する画像処理装置に関する。
【背景技術】
【０００２】
従来より、動画像から移動体を検出する手法として、フレーム間差分が多く利用されている。このフレーム間差分は、最新のフレームと直前のフレーム間で差分を取ることで、移動領域を抽出するものであり、軽量な処理で実現できるため広く用いられている。そして、フレーム間差分ベースの移動体追跡技術などでは、撮影した画像から移動体を検出する検出能力を高めるために、フレーム間差分で用いる差分間隔の適切な設定が重要であり、この差分間隔を適切に算出する様々な技術が開示されている。
【０００３】
例えば、特許文献１（特開平８−２４１４１４号公報）では、入力された入力画像において、予め定めた領域から検出対象物の速度情報を取得し、画像内の領域ごとに当該速度情報を用いて差分を取る間隔を設定する。具体的に例を挙げると、特許文献１に係る画像処理装置（動体検出装置・追跡装置）は、入力された入力画像を複数の領域に分割し、分割したそれぞれの領域から速度情報を取得する。続いて、画像処理装置は、取得した領域ごとの速度情報から、フレーム間差分を行う間隔を決定する。そして、画像処理装置は、分割した複数の領域ごとに決定した間隔を用いて、複数の領域それぞれでフレーム間差分を実施する。
【０００４】
【特許文献１】特開平８−２４１４１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の技術では、画像を撮影した環境によっては、フレーム間差分間隔を正確に決定することができず、抽出したフレーム間差分が正確でないという課題があった。
【０００６】
具体的には、例えば、日中と夜間では画像上の位置や動き量が異なって見えるなど、取得時の環境により画像が大きく変化する。また、例えば、様々な環境下で多数の移動体の正確な速度計測は一般に大変困難であり、適用できるシーンや効果は限定的である。
【０００７】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像撮像時の環境によらず安定的にフレーム間差分を抽出することが可能である画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するため、本装置は、画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する画像処理装置であって、前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得手段と、前記入力画像が入力された場合に、当該入力画像または前記環境情報取得手段により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定手段と、前記差分間隔決定手段により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手段と、を備えたことを特徴とする。
【発明の効果】
【０００９】
本装置によれば、環境によらず安定的にフレーム間差分を抽出することが可能である。
【発明を実施するための最良の形態】
【００１０】
以下に添付図面を参照して、この発明に係る画像処理装置の実施例を詳細に説明する。なお、以下では、本実施例で用いる主要な用語、本実施例に係る画像処理装置の概要および特徴、画像処理装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。
【実施例１】
【００１１】
［用語の説明］
まず最初に、本実施例で用いる主要な用語を説明する。本実施例で用いる「画像処理装置（特許請求の範囲に記載の「画像処理装置」に対応する。）」とは、画像を撮像するカメラ撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する装置のことである。また、画像を撮像して当該「画像処理装置」に入力する装置としては、上記したカメラに限定されることはなく、ビデオカメラやWebカメラなどでもよく、さらには、ＣＤなどの記憶媒体から入力されてもよい。
【００１２】
また、本実施例で用いる「画像処理装置」は、説明上、自動車などが走る道路の信号機や標識に設置された場合について説明するが、本発明はこれに限定されるものではなく、飛行機や車両のなどの移動体に備えることもでき、信号機や標識、滑走路など固定的に設置することもできる。また、本実施例では、「画像処理装置」にカーナビゲーションシステムや自動車の制御システムなどに有線または無線で接続されており、カーナビゲーションシステムや自動車の制御システムは、当該「画像処理装置」から情報（抽出された差分）を受信すると、その情報に基づいて、ナビやブレーキ制御などを行うことができる。
【００１３】
［画像処理装置の概要および特徴］
次に、実施例１に係る画像処理装置の概要および特徴を説明する。この画像処理装置は、上記したように、画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出することを概要とするものであり、特に、環境によらず安定的にフレーム間差分を抽出することが可能であるに主たる特徴がある。
【００１４】
具体的には、実施例１に係る画像処理装置は、カメラにより画像が撮像された環境として交通量、昼夜情報、信号機の状態、天候、移動体（被写体）の速度情報など様々な情報を取得する。そして、画像処理装置は、カメラにより撮像された入力画像が入力された場合に、当該入力画像または取得した環境情報に基づいて、フレーム間差分を実施する間隔を決定する。その後、画像処理装置は、決定した間隔を用いてフレーム間差分を実施し、差分（差分画像）を抽出する。
【００１５】
このように、実施例１に係る画像処理装置は、移動体の速度情報だけでなく、様々な環境情報を取得してフレーム間差分間隔を決定し、決定した間隔でフレーム間差分を実施することができる結果、上記した主たる特徴のごとく、画像撮像時の環境によらず安定的にフレーム間差分を抽出することが可能である。
【００１６】
［画像処理装置の構成］
次に、図１を用いて、画像処理装置の構成を説明する。図１は、実施例１に係る画像処理装置の構成を示すブロック図である。図１に示すように、この画像処理装置１０は、入力画像受付部１１と、外部センサ１２と、画像管理ＤＢ２０と、差分間隔ＤＢ２１と、環境判定部３０と、差分処理部３１とから構成される。
【００１７】
入力画像受付部１１は、画像を撮像する撮像部により撮像されて入力された入力画像を受け付ける。具体的に例を挙げれば、入力画像受付部１１は、カメラなどの撮影部により撮像された画像を受け付けて、接続される画像管理ＤＢ２０に格納するとともに、当該受け付けた入力画像を環境判定部３０に出力する。
【００１８】
外部センサ１２は、撮像部により入力画像が撮像された際の環境情報を取得する。具体的に例を挙げれば、外部センサ１２は、タイマ、温度センサ、視程計、雨量計、超音波などの交通量計測計などの各種センサを備え、撮像部により入力画像が撮像された際の環境情報として、時刻、日付、温度、天候、交通量などの情報を取得し、接続される環境判定部３０に取得した情報を出力する。また、外部センサ１２は、交差点の信号機などに接続されていてもよく、その場合は、信号機の点灯状態を取得して環境判定部３０に出力する。
【００１９】
例えば、外部センサ１２は、交通流計測が可能なセンサを用いて、道路上の車両の大まかな台数を把握したり、入力画像受付部１１により受け付けられた入力画像の背景差分等に対して画像処理を行って台数を予測したりする。これによって、外部センサ１２は、道路の交通量を判断し、その結果を後述する環境判定部３０に出力する。また、外部センサ１２は、タイマなどの時刻計測計から、撮像部により入力画像が撮像された際の時刻を取得し、当該時刻に基づいて「朝、昼、夜」などの環境情報を後述する環境判定部３０に出力することもできる。
【００２０】
画像管理ＤＢ２０は、撮像部により過去に撮像された過去画像を記憶する。具体的に例を挙げれば、画像管理ＤＢ２０は、入力画像受付部１１により受け付けられて、後述する差分処理部３１によりフレーム間差分処理が実施された入力画像（現時点での処理対象フレーム）を記憶する。また、画像管理ＤＢ２０は、差分処理部３１により処理された入力画像を蓄積しておき、差分処理部３１の指示操作により記憶する画像を出力する。
【００２１】
差分間隔ＤＢ２１は、外部センサ１２により取得された環境情報に対応付けて、フレーム間差分を実施する間隔を記憶する。具体的に例を挙げれば、差分間隔ＤＢ２１は、図２に示すように、『外部センサ１２により取得された環境情報を示す「環境情報」、フレーム間差分を実施する間隔を示す「フレーム間差分間隔」』として「交通量大（渋滞）、１０」や「交通量小、１」などと記憶する。また、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、図２は、差分間隔ＤＢに記憶される情報の例を示す図である。
【００２２】
環境判定部３０は、入力画像が入力された場合に、当該入力画像または外部センサ１２により取得された環境情報に基づいて、フレーム間差分を実施する間隔を決定する。上記した例で具体的に説明すると、環境判定部３０は、外部センサ１２により環境情報「交通量」が入力された場合、当該環境情報から交通量が「大（渋滞）」であるか「小（渋滞ではない）」であるかを判定する。そして、環境判定部３０は、交通量が「大（渋滞）」であると判定した場合、差分間隔ＤＢ２１から「交通量（大）」に対応する「差分間隔＝１０」を取得し、取得した差分間隔「１０」を後述する差分処理部３１に出力する。
【００２３】
また、環境判定部３０は、外部センサ１２から受け付けた環境情報だけでなく、入力画像受付部１１から受け付けた入力画像から環境情報を判定することもできる。例えば、環境判定部３０は、入力画像受付部１１から受け付けた入力画像の平均輝度を算出し、算出した値が閾値以上であれば「昼」、閾値未満であれば「夜」などを判定することもできる。
【００２４】
差分処理部３１は、環境判定部３０により決定された差分間隔に対応する過去に入力された過去画像を画像管理ＤＢ２０から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する。上記した例で具体的に説明すると、差分処理部３１は、環境判定部３０により決定された差分間隔「１」を受信した場合、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の一つ前のフレーム（時刻ｔ−１画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、差分処理部３１は、当該画像処理装置１０に接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００２５】
また、例えば、差分処理部３１は、環境判定部３０により決定された差分間隔「１０」を受信した場合、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の１０個前のフレーム（時刻ｔ−１０画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、差分処理部３１は、当該画像処理装置１０に接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００２６】
［画像処理装置による処理］
次に、図３を用いて、画像処理装置による差分抽出処理を説明する。図３は、実施例１に係る画像処理装置における差分抽出処理の流れを示すフローチャートである。
【００２７】
（差分抽出処理の流れ）
図３に示すように、画像処理装置１０は、入力画像が入力されると（ステップＳ１０１肯定）、当該入力画像を画像管理ＤＢ２０に格納するために、過去画像管理処理を実施する（ステップＳ１０２）。なお、過去画像管理処理は、後述する図５において、詳細に説明する。
【００２８】
そして、画像処理装置１０は、外部センサ１２から環境情報を取得し（ステップＳ１０３）、環境判定を行う（ステップＳ１０４）。具体的に例を挙げると、画像処理装置１０は、外部センサ１２から環境情報「交通量」を取得し、当該交通量が「大」であるか「小」であるかの環境判定を行う。なお、ここでは、画像処理装置１０は、交通量が「大」であると判定する。
【００２９】
続いて、画像処理装置１０は、判定した結果に基づいて差分間隔を差分間隔ＤＢ２１から取得し（ステップＳ１０５）、取得した差分間隔に基づいて、フレーム間差分を実施して差分を抽出し（ステップＳ１０６）、抽出した結果を接続される各種装置に出力する（ステップＳ１０７）。このように、画像処理装置１０は、入力された入力画像に対して、上記したステップＳ１０１〜ステップＳ１０７の処理を実行する。
【００３０】
具体的に例を挙げると、画像処理装置１０は、判定した結果「交通量大」に基づいて差分間隔「１０」を差分間隔ＤＢ２１から取得する。そして、画像処理装置は、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の１０個前のフレーム（時刻ｔ−１０画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、画像処理装置１０は、接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００３１】
（過去画像管理処理の流れ）
次に、図４を用いて、画像処理装置による過去画像管理処理を説明する。図４は、実施例１に係る画像処理装置における過去画像管理処理の流れを示すフローチャートである。なお、ここで説明する過去画像管理処理は、図３のステップＳ１０２に該当する処理である。
【００３２】
図４に示すように、画像処理装置１０は、入力画像が入力されると、画像管理ＤＢ２０のリスト容量を取得し（ステップＳ２０１）、空き容量があるかないかを判定する（ステップＳ２０２）。
【００３３】
そして、画像管理ＤＢ２０に空き容量がある場合（ステップＳ２０２肯定）、画像処理装置は、入力画像受付部１１により受け付けられた入力画像を画像管理ＤＢ２０に登録する（ステップＳ２０３）。
【００３４】
一方、画像管理ＤＢ２０に空き容量がない場合（ステップＳ２０２否定）、画像処理装置は、画像管理ＤＢ２０に記憶される最も過去の画像を削除して空き容量を確保した後に（ステップＳ２０４）、入力画像受付部１１により受け付けられた入力画像を画像管理ＤＢ２０に登録する（ステップＳ２０３）。
【００３５】
［実施例１による効果］
このように、実施例１によれば、カメラにより過去に撮像された過去画像を記憶し、カメラにより入力画像が撮像された際の環境情報を取得し、入力画像が入力された場合に、当該入力画像または取得された環境情報に基づいて、フレーム間差分を実施する間隔を決定し、決定された差分間隔に対応する過去に入力された過去画像を取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出するので、移動体の速度情報だけでなく、様々な環境情報を取得してフレーム間差分間隔を決定し、決定した間隔でフレーム間差分を実施することができる結果、上記した主たる特徴のごとく、画像撮像時の環境によらず安定的にフレーム間差分を抽出することが可能である。
【００３６】
また、実施例１によれば、検出対象を含めた環境情報に応じて差分を取る間隔を決定するので、どのような状況であっても、精度良く画像差分を検出することが可能になる。また、環境情報に応じて、差分をとるフレーム間隔を変更するだけなので、画像領域を分けて処理する方法と比較して、処理量が軽量で済む。
【００３７】
また、実施例１によれば、カメラにより入力画像が撮像された際の環境情報として交通量を取得し、取得された交通量が多い場合（渋滞している場合）のフレーム間差分の間隔を、交通量が少ない場合に比べて長い間隔として決定するので、カーナビゲーションシステムなど、自動車などの車両に対しても、容易に適用することが可能である。
【実施例２】
【００３８】
ところで、実施例１では、環境情報として交通量を用いて差分間隔を決定する場合について主に説明したが、本発明はこれに限定されるものではなく、他の様々な情報を用いて差分間隔を決定することができる。
【００３９】
そこで、実施例２では、図５〜図７を用いて、交通量以外の情報を用いて差分間隔を決定する場合について説明する。なお、実施例２では、撮像時間帯、撮像時の信号点灯状態、撮像時間と信号点灯状態の３つの例について説明する。
【００４０】
（撮像時間帯を用いて差分間隔を決定）
実施例２に係る画像処理装置１０は、図５に示すように、『外部センサ１２により取得された環境情報を示す「時間帯」、フレーム間差分を実施する間隔を示す「フレーム間差分間隔」』として「昼、１」や「夜、２」などと差分間隔ＤＢ２１に記憶する。また、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、図５は、実施例２に係る差分間隔ＤＢに記憶される撮像時間帯の例を示す図である。
【００４１】
このような状態において、画像処理装置は、外部センサ１２から環境情報を取得し、環境判定を行って、フレーム差分間隔を決定する。上記した例で具体的に説明すると、画像処理装置１０は、タイマなどの時刻計測計を用いて外部センサ１２により、カメラにより入力画像が撮像された際の時刻を取得する。そして、画像処理装置１０は、取得した時刻が所定の閾値（例えば、９：００〜１６：００）の間であれば「昼」と判定し、判定した「昼」に対応付けて差分間隔ＤＢ２１に記憶されるフレーム間差分間隔「１」を取得する。
【００４２】
そして、画像処理装置１０は、取得したフレーム間差分間隔「１」に基づいて、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の１つ前のフレーム（時刻ｔ−１画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、画像処理装置１０は、当該画像処理装置１０に接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００４３】
また、例えば、画像処理装置１０は、取得した時刻が所定の閾値（例えば、１６：０１〜８：５９）の間であれば「夜」と判定し、判定した「夜」に対応付けて差分間隔ＤＢ２１に記憶されるフレーム間差分間隔「２」を取得する。
【００４４】
そして、画像処理装置１０は、取得したフレーム間差分間隔「２」に基づいて、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の２つ前のフレーム（時刻ｔ−２画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、画像処理装置１０は、当該画像処理装置１０に接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００４５】
このように、画像処理装置１０は、カメラにより入力画像が撮像された際の環境情報として昼夜情報を取得し、取得された昼夜情報が夜である場合のフレーム間差分の間隔を、昼夜情報が昼である場合に比べて長い間隔として決定する、すなわち画像上で対象物を判別しにくい場合にフレーム間差分の間隔をより長くするように決定するので、交通量ではなく、撮像された時刻を用いた場合でも、安定的にフレーム間差分を抽出することが可能である。
【００４６】
（撮像時の信号点灯状態を用いて差分間隔を決定）
実施例２に係る画像処理装置１０は、図６に示すように、『外部センサ１２により取得された環境情報を示す「信号」、フレーム間差分を実施する間隔を示す「フレーム間差分間隔」』として「青、１」、「黄、２」、「赤、１０」などと差分間隔ＤＢ２１に記憶する。また、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、図６は、実施例２に係る差分間隔ＤＢに記憶される撮像時の信号点灯状態の例を示す図である。
【００４７】
このような状態において、画像処理装置は、信号機に接続される外部センサ１２から環境情報を取得し、環境判定を行って、フレーム差分間隔を決定する。上記した例で具体的に説明すると、画像処理装置１０は、接続される信号機から信号状態を受信した外部センサ１２により、カメラにより入力画像が撮像された際の信号状態を取得する。そして、画像処理装置１０は、取得した信号状態が「赤」であれば、「赤」に対応付けて差分間隔ＤＢ２１に記憶されるフレーム間差分間隔「１０」を取得する。
【００４８】
そして、画像処理装置１０は、取得したフレーム間差分間隔「１０」に基づいて、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の１０個前のフレーム（時刻ｔ−１０画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、画像処理装置１０は、当該画像処理装置１０に接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００４９】
また、例えば、画像処理装置１０は、信号状態が「青」または「黄」であっても、上記した例と同様に、フレーム間差分間隔を決定して、差分を抽出することができる。このように、画像処理装置１０は、カメラにより入力画像が撮像された際の環境情報として信号機状態を取得し、取得された信号機状態が黄色または赤色である場合のフレーム間差分の間隔を、信号機状態が青色である場合に比べて長い間隔として決定し、また、取得された信号機状態が赤色である場合のフレーム間差分の間隔を、信号機状態が黄色である場合に比べて長い間隔として決定する、すなわち画像上で対象物の移動速度が遅い場合にフレーム間差分の間隔をより長くするように決定するので、交通量ではなく、撮像時の信号機の状態を用いた場合でも、安定的にフレーム間差分を抽出することが可能である。
【００５０】
（撮像時間と信号点灯状態を用いて差分間隔を決定）
実施例２に係る画像処理装置１０は、外部センサ１２により取得された環境情報を示す「信号」と「時間帯」とに対応付けて、フレーム間差分を実施する間隔を示す「フレーム間差分間隔」を記憶する差分間隔ＤＢ２２を備える。例えば、画像処理装置１０は、図７に示すように、「青、昼、１」、「赤、夜、１５」などを差分間隔ＤＢ２２に記憶する。また、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、図７は、実施例２に係る差分間隔ＤＢに記憶される撮像時間と信号点灯状態の例を示す図である。
【００５１】
このような状態において、画像処理装置は、タイマなどの時刻計測計を備え、信号機に接続される外部センサ１２から環境情報を取得し、環境判定を行って、フレーム差分間隔を決定する。上記した例で具体的に説明すると、画像処理装置１０は、タイマなどの時刻計測計を用いて外部センサ１２により、カメラにより入力画像が撮像された際の時刻を取得する。同時に、画像処理装置１０は、接続される信号機から信号状態を受信した外部センサ１２により、カメラにより入力画像が撮像された際の信号状態を取得する。
【００５２】
そして、画像処理装置１０は、信号状態が「赤」であり、撮像された時間帯が所定の閾値（例えば、１６：０１〜８：５９）の間であれば「夜」と判定し、「赤、夜」に対応付けて差分間隔ＤＢ２２に記憶されるフレーム間差分間隔「１５」を取得する。
【００５３】
そして、画像処理装置１０は、取得した差分間隔「１５」に基づいて、入力画像受付部１１により受け付けられている現在フレーム（時刻ｔ画像）の１５個前のフレーム（時刻ｔ−１５画像）を画像管理ＤＢ２０から取得し、取得したフレームと入力された入力画像とからフレーム間差分を実施して、差分（差分画像）を抽出する。そして、画像処理装置１０は、当該画像処理装置１０に接続されるカーナビゲーションシステムや車両制御システムなどに、抽出した差分（差分画像）を出力する。
【００５４】
このように、画像処理装置１０は、撮像された時刻と信号機の状態との両方を用いることにより、より安定的かつより正確なフレーム間差分を抽出することが可能である。
【実施例３】
【００５５】
ところで、実施例１と２では、決定した差分間隔に対応する過去画像全体と入力画像全体とについてフレーム間差分を実施して、差分を抽出する例について説明したが、本発明はこれに限定されるものではなく、入力画像を複数の領域に分割して、分割した領域ごとに差分間隔を決定し、領域ごとにフレーム間差分を実施して差分を抽出することもできる。
【００５６】
そこで、実施例３では、図８を用いて、入力画像を複数の領域に分割して、分割した領域ごとに差分間隔を決定し、領域ごとにフレーム間差分を実施して差分を抽出する例について説明する。図８は、実施例３に係る画像処理装置の処理を説明するための図である。
【００５７】
実施例３に係る画像処理装置は、入力画像に撮像されている物体までの距離と撮像された環境の状態（例えば、信号機の状態、交通量、天候、時間帯など）に対応付けて、フレーム間差分間隔を記憶する差分間隔ＤＢを備える。例えば、画像処理装置は、「距離＝２０ｍ、信号状態＝青、交通量＝小、間隔＝３」などと記憶する差分間隔ＤＢを備える。
【００５８】
このような状態において、図８に示すように、画像処理装置は、入力された入力画像を複数の領域（（１）〜（ｎ））に分割し、分割したそれぞれの領域に撮像されている物体（例えば、自動車などの移動体や看板など）までの距離を算出する。また、画像処理装置は、これと同時に、実施例１〜２と同様の環境情報を取得する。ここで、物体までの距離を算出する手法としては、例えば、当該物体の画素値から算出したり、物体の大きさから距離を算出したりするなど様々な公知の手法を用いることができる。
【００５９】
そして、画像処理装置は、分割した入力画像の各領域ごとに、物体までの距離と環境情報とに基づいて、フレーム間差分間隔を差分間隔ＤＢから取得する。そして、画像処理装置は、分割した入力画像の各領域ごとに取得した差分間隔に基づいて、領域ごとに過去画像を取得し、それらを合成した比較画像を生成する。
【００６０】
例えば、画像処理装置は、図８に示すように、領域（１）については差分間隔「１」、領域（２）については差分間隔「２」、領域（３）については差分間隔「３」、領域（ｎ）については差分間隔「ｎ」を取得する。そして、画像処理装置は、領域（１）については「時刻ｔ−１画像」、領域（２）については「時刻ｔ−２画像」、領域（３）については「時刻ｔ−３画像」、領域（ｎ）については「時刻ｔ−ｎ画像」を取得して、これらを合成した比較画像を生成する。なお、ここでは、現在入力されている画像（フレーム）を「時刻ｔ画像」として説明している。つまり、「時刻ｔ−１画像」とは、現在の入力画像の一つ前の画像を示している。
【００６１】
その後、画像処理装置は、生成した比較画像と現在入力されている画像（フレーム）を「時刻ｔ画像」とのフレーム間差分処理を実施して、差分を抽出する。
【００６２】
このように、実施例３によれば、カメラにより入力画像を複数の領域に分割して、それぞれの領域ごとに撮像された際の環境情報を取得し、取得された複数の領域毎の環境情報に基づいて、複数の領域毎にフレーム間差分を実施する間隔を決定し、決定された複数の領域毎の差分間隔に対応する過去に入力された過去画像を取得して、複数の領域毎にフレーム間差分を実施して、差分を抽出するので、画像全体でフレーム間差分間隔を決定する場合に比べて、より環境情報を考慮したフレーム間差分間隔を決定することができる結果、どのような環境であっても、より精度の高い差分を得ることが可能である。
【実施例４】
【００６３】
ところで、実施例３では、入力画像を複数の領域に分割して、分割した領域ごとに差分間隔を決定し、領域ごとにフレーム間差分を実施して差分を抽出する例について説明したが、本発明はこれに限定されるものではなく、入力画像の各画素ごとに差分間隔を決定し、領域ごとにフレーム間差分を実施して差分を抽出することもできる。
【００６４】
そこで、実施例４では、図９を用いて、入力画像の各画素ごとに差分間隔を決定し、領域ごとにフレーム間差分を実施して差分を抽出する場合の処理の流れについて説明する。図９は、実施例４に係る画像処理装置の処理を説明するためのフローチャートである。
【００６５】
図９に示すように、実施例４に係る画像処理装置は、入力画像が入力されると、フレーム間差分の比較対象となる比較画像を生成するための領域である画像バッファを生成（確保）する（ステップＳ３０１）。
【００６６】
そして、画像処理装置は、入力画像の横軸Ｘ座標＝０、縦軸Ｙ座標＝０として、左上の画素（Ｘ＝１、Ｙ＝１）と、変数ＸとＹとを初期化する（ステップＳ３０２）。なお、入力画像の右下の画素の座標を「Ｘ＝ｎ、Ｙ＝ｎ」とする。
【００６７】
その後、画像処理装置は、入力画像の左上画素「Ｘ＝１、Ｙ＝１」から入力画像の右下画素「Ｘ＝ｎ、Ｙ＝ｎ」の全ての画素に対して、対象画素の距離を計算し（ステップＳ３０３およびステップＳ３０４）、対象画素の差分間隔を差分間隔ＤＢから取得し（ステップＳ３０５）、取得した差分間隔に対応する過去画像を画像管理ＤＢから取得し（ステップＳ３０６）、取得した過去画像から処理対象画素の位置（例えば、「Ｘ＝１、Ｙ＝１」）に対応する画素値を取得して、画像バッファの「Ｘ＝１、Ｙ＝１」に当該画素値を代入する（ステップＳ３０７）。
【００６８】
そして、画像処理装置は、入力画像の左上画素「Ｘ＝１、Ｙ＝１」から入力画像の右下画素「Ｘ＝ｎ、Ｙ＝ｎ」の全ての画素に対して、上記したステップＳ３０４〜ステップＳ３０７の処理を行うと（ステップＳ３０８肯定）、生成された画像バッファを比較画像として、入力画像と比較画像とのフレーム間差分を実施して、差分を抽出する。
【００６９】
このように、実施例４によれば、カメラにより入力画像の各画素毎に、撮像された際の環境情報を取得し、取得された各画素毎の環境情報に基づいて、各画素毎にフレーム間差分を実施する間隔を決定し決定された各画素毎の差分間隔に対応する過去に入力された過去画像を取得し、各画素毎にフレーム間差分を実施して、差分を抽出するので、画像全体でフレーム間差分間隔を決定する場合や画像を分割した領域ごとにフレーム間差分を決定する場合に比べて、より環境情報を考慮したフレーム間差分間隔を決定することができる結果、どのような環境であっても、より精度の高い差分を得ることが可能である。
【実施例５】
【００７０】
ところで、実施例１〜４では、取得した環境情報に基づいて、予め記憶する差分間隔を取得する例について説明したが、本発明はこれに限定されるものではなく、取得した環境情報に基づいて、差分間隔を算出することもできる。
【００７１】
そこで、実施例５では、図１０〜図１２を用いて、取得した環境情報に基づいて、差分間隔を算出する様々な例について説明する。
【００７２】
（交通量から差分間隔を算出する例）
まず、図１０を用いて、交通量から差分間隔を算出する例について説明する。図１０の（１）に示すように、画像処理装置は、差分間隔算出式のパラメータとして「車両の長さ＝５ｍ、車両間＝２．５ｍ、入力画像から車両を特定する範囲を示す観察範囲＝０〜１００ｍ」が予め設定されている。なお、上記した数値はあくまで例であり、これに限定されるものではない。また、図１０は、交通量から差分間隔を算出するための算出式の例を示す図である。
【００７３】
このような状態において、画像処理装置は、例えば、入力画像に５台の車両が撮像されていた場合、図１０の（２）に示す算出式を用いて、「フレーム間隔＝１００／（５／１３）＝４・・・」となり、「フレーム差分間隔＝４」と決定する。
【００７４】
また、例えば、画像処理装置は、入力画像に１２台の車両が撮像されていた場合、図１０の（２）に示す算出式を用いて、「フレーム間隔＝１００／（１２／１３）＝９・・・」となり、「フレーム差分間隔＝９」と決定する。その後の過去画像を取得してフレーム間差分を実施する処理は、実施例１と同じであるので、ここでは省略する。
【００７５】
（時間帯から差分間隔を算出する例）
次に、図１１を用いて、時間帯から差分間隔を算出する例について説明する。図１１に示すように、画像処理装置は、撮像された時間帯および月に応じて、差分間隔算出式が予め設定されている。なお、図１１は、時間帯から差分間隔を算出するための算出式の例を示す図である。
【００７６】
図１１に示された算出式は、撮像された時間帯が「７：００〜１７：００」の間かつ撮像された月が「１１月、１２月、１月」であれば、「フレーム差分間隔＝１」と決定され、撮像された時間帯が「６：００〜１８：００」の間かつ撮像された月が「４月または９月」であれば、「フレーム差分間隔＝１」と決定され、撮像された時間帯が「５：００〜１９：００」の間かつ撮像された月が「５月、６月、７月」であれば、「フレーム差分間隔＝１」と決定され、それ以外の時間帯と月の組み合わせは、「フレーム差分間隔＝２」と決定される。
【００７７】
画像処理装置は、環境情報を受け付けた場合に、当該環境情報が上記したどのパターンに含まれかにより、フレーム間差分を決定する。その後の過去画像を取得してフレーム間差分を実施する処理は、実施例１と同じであるので、ここでは省略する。なお、上記した時間帯と月とのパターンはあくまで例であり、これに限定されるものではない。
【００７８】
（天候から差分間隔を算出する例）
次に、図１２を用いて、天候から差分間隔を算出する例について説明する。図１２に示すように、画像処理装置は、撮像された天候に応じて、差分間隔算出式が予め設定されている。なお、図１２に示した数値はあくまで例であり、これに限定されるものではない。また、図１２は、天候から差分間隔を算出するための算出式の例を示す図である。
【００７９】
具体的には、画像処理装置には、図１２に示すように、「平均輝度＝フレーム（入力画像）内の画素値の合計／フレーム（入力画像）内画素の総数」と、「Ｃ１：閾値（昼・夜の明るさ判定）、Ｃ２：閾値（昼の曇り、晴れの明るさ判定）」とがパラメータとして予め設定されている。
【００８０】
このような状態において、例えば、「Ｃ１＝３０、Ｃ２＝１００」、「算出した入力画像の平均輝度＝１２０」であった場合、画像処理装置は、図１２の（２）に基づいて、Ｃ２よりも大きいため、「天候＝昼、晴れ」、「フレーム間差分間隔＝５」と決定する。また、例えば、「算出した入力画像の平均輝度＝２０」であった場合、画像処理装置は、図１２の（２）に基づいて、Ｃ１よりも小さいため、「天候＝夜」、「フレーム間差分間隔＝１」と決定し、「算出した入力画像の平均輝度＝７０」であった場合、図１２の（２）に基づいて、Ｃ１よりも大きくＣ２よりも小さいため、「天候＝昼、曇り」、「フレーム間差分間隔＝２」と決定する。その後の過去画像を取得してフレーム間差分を実施する処理は、実施例１と同じであるので、ここでは省略する。
【００８１】
（実施例５による効果）
このように、実施例５によれば、入力画像または環境情報に基づく算出式を用いて、フレーム間差分を実施する間隔を決定する、具体的には画像上で対象物の移動速度が遅い場合もしくは対象物を判別しにくい場合に、フレーム間差分の間隔をより長くするように決定するので、画像撮像時の環境の変化に柔軟に対応することができる結果、安定的にフレーム間差分を抽出することが可能である。
【実施例６】
【００８２】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）適用例、（２）環境情報、（３）移動体検出、（４）環境情報の取得契機、（５）システム構成等、（６）プログラム、にそれぞれ区分けして異なる実施例を説明する。
【００８３】
（１）適用例
例えば、実施例１〜５では、本発明を自動車などが走る道路の信号機や標識に設置された場合について説明したが、本発明はこれに限定されるものではなく、飛行機や車両のなどの移動体に備えることもでき、信号機や標識、滑走路など固定的に設置することもできる。
【００８４】
（２）環境情報
また、実施例１〜５では、環境情報として「交通量、信号機状態、天候、時刻」などを用いた場合を説明したが、本発明はこれに限定されるものではなく、視程計、雨量計などを備えた外部センサを使用することで、例えば、霧や雨などの天候の細かな情報を用いることもできる。
【００８５】
また、本画像処理装置は、外部情報である環境情報を用いることなく、カメラにより入力画像が撮像された際の環境情報として、カメラからの入力画像に含まれる物体までの距離を取得し、取得された距離が短いほど、もしくは、物体が入力画像の下方にあるほど、フレーム間差分を実施する間隔を短く決定することもできる。その結果、検出対象を含めた環境情報に応じて差分を取る間隔を決定するので、どのような状況であっても、精度良く画像差分を検出することが可能になる。
【００８６】
（３）移動体検出
また、実施例１〜５では、決定したフレーム間差分間隔に基づいて、フレーム間差分処理を実施して、差分（差分画像）を得る場合を説明したが、本発明はこれに限定されるものではなく、算出した差分から移動体を検出することもできる。その結果、車載装置など移動体に搭載されている車載制御システムなどへの適用も非常に有効である。例えば、抽出された差分画像から移動体が近い位置（差分画像には大きく撮像される）に存在する場合に、ブレーキを制御したりすることが可能である。なお、フレーム間差分間隔を長くしすぎると、画像中の移動体検出が困難になる場合があるので、上記実施例中で述べた差分間隔の求め方に限らず、実際の検出対象に応じて、差分間隔の上限値や下限値を定めたり、差分間隔の決定方法を変化させても構わない。
【００８７】
（４）環境情報の取得契機
また、実施例１〜５では、画像が入力される度に、取得した環境情報に基づいてフレーム間差分間隔を決定する場合について説明したが、本発明はこれに限定されるものではなく、取得した環境情報が変化した場合にのみ、取得した環境情報に基づいてフレーム間差分間隔を決定することもできる。その結果、環境の変化に迅速に対応することが可能である。また、画像が入力される度にフレーム間差分間隔を決定する場合に比べて、処理負荷を軽減することが可能である。
【００８８】
（５）システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、外部センサと環境判定部とを統合するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００８９】
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理（例えば、撮像処理など）の全部または一部を手動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報（例えば、図２、図５〜図７、図１０〜図１２）については、特記する場合を除いて任意に変更することができる。
【００９０】
（６）プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムを他の実施例として説明する。
【００９１】
図１３は、画像処理プログラムを実行するコンピュータシステムの例を示す図である。図１３に示すように、コンピュータシステム１００は、ＲＡＭ１０１と、ＨＤＤ１０２と、ＲＯＭ１０３と、ＣＰＵ１０４とから構成される。ここで、ＲＯＭ１０３には、上記の実施例と同様の機能を発揮するプログラム、つまり、図１３に示すように、入力画像受付プログラム１０３ａと、環境情報取得プログラム１０３ｂと、環境判定プログラム１０３ｃと、差分処理プログラム１０３ｄとがあらかじめ記憶されている。
【００９２】
そして、ＣＰＵ１０４には、これらのプログラム１０３ａ〜１０３ｄを読み出して実行することで、図１３に示すように、入力画像受付プロセス１０４ａと、環境情報取得プロセス１０４ｂと、環境判定プロセス１０４ｃと、差分処理プロセス１０４ｄとなる。なお、力画像受付プロセス１０４ａは、図１に示した、入力画像受付部１１に対応し、同様に、環境情報取得プロセス１０４ｂは、外部センサ１２に対応し、環境判定プロセス１０４ｃは、環境判定部３０に対応し、差分処理プロセス１０４ｄは、差分処理部３１に対応する。
【００９３】
また、ＨＤＤ１０２には、撮像部により過去に撮像された過去画像を記憶する画像管理テーブル１０２ａと、取得された環境情報に対応付けて、フレーム間差分を実施する間隔を記憶する差分間隔テーブル１０２ｂとが設けられる。なお、画像管理テーブル１０２ａは、図１に示した、画像管理ＤＢ２０に対応し、差分間隔テーブル１０２ｂは、差分間隔ＤＢ２１に対応する。
【００９４】
ところで、上記したプログラム１０３ａ〜１０３ｄは、必ずしもＲＯＭ１０３に記憶させておく必要はなく、例えば、コンピュータシステム１００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム１００の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらに、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータシステム１００に接続される「他のコンピュータシステム」に記憶させておき、コンピュータシステム１００がこれらからプログラムを読み出して実行するようにしてもよい。
【００９５】
以上の実施例１〜６を含む実施形態に関し、更に以下の付記を開示する。
【００９６】
（付記１）画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する画像処理装置であって、
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得手段と、
前記入力画像が入力された場合に、当該入力画像または前記環境情報取得手段により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定手段と、
前記差分間隔決定手段により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手段と、
を備えたことを特徴とする画像処理装置。
【００９７】
（付記２）前記差分抽出手段により抽出された過去入力画像と入力画像との差分から、移動体を検出する移動体検出手段をさらに備えたことを特徴とする付記１に記載の画像処理装置。
【００９８】
（付記３）前記差分間隔決定手段は、前記入力画像または環境情報に基づく算出式を用いて、前記フレーム間差分を実施する間隔を決定することを特徴とする付記１に記載の画像処理装置。
【００９９】
（付記４）前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として交通量を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された交通量が多い場合のフレーム間差分の間隔を、前記交通量が少ない場合に比べて長い間隔として決定することを特徴とする付記１に記載の画像処理装置。
【０１００】
（付記５）前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として昼夜情報を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された昼夜情報が夜である場合のフレーム間差分の間隔を、前記昼夜情報が昼である場合に比べて長い間隔として決定することを特徴とする付記１に記載の画像処理装置。
【０１０１】
（付記６）前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として信号機状態を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された信号機状態が黄色または赤色である場合のフレーム間差分の間隔を、前記信号機状態が青色である場合に比べて長い間隔として決定し、また、前記環境情報取得手段により取得された信号機状態が赤色である場合のフレーム間差分の間隔を、前記信号機状態が黄色である場合に比べて長い間隔として決定することを特徴とする付記１に記載の画像処理装置。
【０１０２】
（付記７）前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として、前記撮像部からの入力画像に含まれる物体までの距離を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された距離が短いほど、もしくは、前記物体が入力画像の下方にあるほど、前記フレーム間差分を実施する間隔を短く決定することを特徴とする付記１に記載の画像処理装置。
【０１０３】
（付記８）前記環境情報取得手段は、前記撮像部により入力画像を複数の領域に分割して、それぞれの領域ごとに撮像された際の環境情報を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された複数の領域毎の環境情報に基づいて、前記複数の領域毎にフレーム間差分を実施する間隔を決定し
前記差分抽出手段は、前記差分間隔決定手段により決定された複数の領域毎の差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、前記複数の領域毎にフレーム間差分を実施して、差分を抽出することを特徴とする付記１に記載の画像処理装置。
【０１０４】
（付記９）前記環境情報取得手段は、前記撮像部により入力画像の各画素毎に、撮像された際の環境情報を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された各画素毎の環境情報に基づいて、前記各画素毎にフレーム間差分を実施する間隔を決定し
前記差分抽出手段は、前記差分間隔決定手段により決定された各画素毎の差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、前記各画素毎にフレーム間差分を実施して、差分を抽出することを特徴とする付記１に記載の画像処理装置。
【０１０５】
（付記１０）前記差分間隔決定手段は、前記環境情報取得手段により取得された環境情報が、前回取得した環境情報から変化している場合に、当該環境情報に基づいて、前記フレーム間差分を実施する間隔を決定することを特徴とする画像処理装置。
【０１０６】
（付記１１）画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出することに適した画像処理方法であって、
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得工程と、
前記入力画像が入力された場合に、当該入力画像または前記環境情報取得工程により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定工程と、
前記差分間隔決定工程により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出工程と、
を含んだことを特徴とする画像処理方法。
【０１０７】
（付記１２）画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出することをコンピュータに実行させる画像処理プログラムであって、
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得手順と、
前記入力画像が入力された場合に、当該入力画像または前記環境情報取得手順により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定手順と、
前記差分間隔決定手順により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図面の簡単な説明】
【０１０８】
【図１】実施例１に係る画像処理装置の構成を示すブロック図である。
【図２】差分間隔ＤＢに記憶される情報の例を示す図である。
【図３】実施例１に係る画像処理装置における差分抽出処理の流れを示すフローチャートである。
【図４】実施例１に係る画像処理装置における過去画像管理処理の流れを示すフローチャートである。
【図５】実施例２に係る差分間隔ＤＢに記憶される撮像時間帯の例を示す図である。
【図６】実施例２に係る差分間隔ＤＢに記憶される撮像時の信号点灯状態の例を示す図である。
【図７】実施例２に係る差分間隔ＤＢに記憶される撮像時間と信号点灯状態の例を示す図である。
【図８】実施例３に係る画像処理装置の処理を説明するための図である。
【図９】実施例４に係る画像処理装置の処理を説明するためのフローチャートである。
【図１０】交通量から差分間隔を算出するための算出式の例を示す図である。
【図１１】時間帯から差分間隔を算出するための算出式の例を示す図である。
【図１２】天候から差分間隔を算出するための算出式の例を示す図である。
【図１３】画像処理プログラムを実行するコンピュータシステムの例を示す図である。
【符号の説明】
【０１０９】
１０ 画像処理装置
１１ 入力画像受付部
１２ 外部センサ
２０ 画像管理ＤＢ
２１ 差分間隔ＤＢ
３０ 環境判定部
３１ 差分処理部
１００ コンピュータシステム
１０１ ＲＡＭ
１０２ ＨＤＤ
１０２ａ 画像管理テーブル
１０２ｂ 差分間隔テーブル
１０３ ＲＯＭ
１０３ａ 入力画像受付プログラム
１０３ｂ 環境情報取得プログラム
１０３ｃ 環境判定プログラム
１０３ｄ 差分処理プログラム
１０４ ＣＰＵ
１０４ａ 入力画像受付プロセス
１０４ｂ 環境情報取得プロセス
１０４ｃ 環境判定プロセス
１０４ｄ 差分処理プロセス
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する画像処理装置であって、
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得手段と、
前記入力画像が入力された場合に、当該入力画像または前記環境情報取得手段により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定手段と、
前記差分間隔決定手段により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記差分間隔決定手段は、前記入力画像または環境情報に基づく算出式を用いて、前記フレーム間差分を実施する間隔を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として交通量を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された交通量が多い場合のフレーム間差分の間隔を、前記交通量が少ない場合に比べて長い間隔として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として昼夜情報を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された昼夜情報が夜である場合のフレーム間差分の間隔を、前記昼夜情報が昼である場合に比べて長い間隔として決
定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として信号機状態を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された信号機状態が黄色または赤色である場合のフレーム間差分の間隔を、前記信号機状態が青色である場合に比べて長い間隔として決定し、また、前記環境情報取得手段により取得された信号機状態が赤色である場合のフレーム間差分の間隔を、前記信号機状態が黄色である場合に比べて長い間隔として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１】
画像を撮像する撮像部により撮像されて入力された入力画像と、過去に撮像された過去画像とからフレーム間差分を実施して、差分を抽出する画像処理装置であって、
前記撮像部により過去に撮像された過去画像を記憶する画像記憶手段と、
前記撮像部により入力画像が撮像された際の環境情報を取得する環境情報取得手段と、
前記入力画像が入力された場合に、当該入力画像または前記環境情報取得手段により取得された環境情報に基づいて、前記フレーム間差分を実施する間隔を決定する差分間隔決定手段と、
前記差分間隔決定手段により決定された差分間隔に対応する過去に入力された過去画像を前記画像記憶手段から取得し、取得した過去画像と入力された入力画像とからフレーム間差分を実施して、差分を抽出する差分抽出手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記差分間隔決定手段は、前記入力画像または環境情報に基づく算出式を用いて、前記フレーム間差分を実施する間隔を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として交通量を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された交通量が多い場合のフレーム間差分の間隔を、前記交通量が少ない場合に比べて長い間隔として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として昼夜情報を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された昼夜情報が夜である場合のフレーム間差分の間隔を、前記昼夜情報が昼である場合に比べて長い間隔として決
定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記環境情報取得手段は、前記撮像部により入力画像が撮像された際の環境情報として信号機状態を取得し、
前記差分間隔決定手段は、前記環境情報取得手段により取得された信号機状態が黄色または赤色である場合のフレーム間差分の間隔を、前記信号機状態が青色である場合に比べて長い間隔として決定し、また、前記環境情報取得手段により取得された信号機状態が赤色である場合のフレーム間差分の間隔を、前記信号機状態が黄色である場合に比べて長い間隔として決定することを特徴とする請求項１に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−２１７４００（Ｐ２００９−２１７４００Ａ）
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願番号】特願２００８−５８６３０（Ｐ２００８−５８６３０）
【出願日】平成２０年３月７日（２００８．３．７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願日】平成２０年３月７日（２００８．３．７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]