画像処理装置、および画像処理プログラム
【課題】実空間上における物体の移動量を算出すること。
【解決手段】物体位置検出部１０３ａは、ステレオカメラ１０１で撮像された視差を有する２枚の画像を画像処理して、各画像内に存在する同一の物体を対応付け、各物体の実空間における位置を算出し、算出した三次元位置のフレーム間の変化に基づいて、物体の実空間での移動量を算出する。物体移動速度・方向検出部１０３ｂは、実空間における物体の移動量に基づいて、実空間における物体の移動速度、および実空間における物体の移動方向の少なくともいずれか一方を算出する。
【解決手段】物体位置検出部１０３ａは、ステレオカメラ１０１で撮像された視差を有する２枚の画像を画像処理して、各画像内に存在する同一の物体を対応付け、各物体の実空間における位置を算出し、算出した三次元位置のフレーム間の変化に基づいて、物体の実空間での移動量を算出する。物体移動速度・方向検出部１０３ｂは、実空間における物体の移動量に基づいて、実空間における物体の移動速度、および実空間における物体の移動方向の少なくともいずれか一方を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像内に存在する物体の実空間における位置等を求めるための画像処理装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
次のような被写体移動速度検知機能付きカメラが知られている。このカメラは、ユーザーがファインダ内で被写体を追いかけている間に測定した被写体距離とカメラの回動角度と測定時間とに基づいて、被写体の移動速度を算出する（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００２−７２０５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のカメラによれば、光軸方向に直交する方向の被写体の移動速度しか算出できないため、この方法で算出した移動速度に基づいて被写体の移動量を算出した場合には、光軸方向に直交する方向の被写体の移動量しか算出することができない。
【課題を解決するための手段】
【０００５】
本発明は、視差を有する少なくとも２枚の画像を所定フレームレートで取得し、取得した視差を有する少なくとも２枚の画像にそれぞれ存在する同一の物体を対応付け、物体の実空間における三次元位置を算出し、算出した三次元位置のフレーム間の変化に基づいて、物体の実空間での移動量を算出することを特徴とする。
このとき、実空間における物体の移動量に基づいて、実空間における物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方を算出することが好ましい。
そして、実空間における物体の移動速度、および実空間における物体の移動方向の少なくともいずれか一方に基づいて、接続されるデジタルカメラを操作する制御信号を生成するようにしてもよい。例えば、デジタルカメラで取得され、記録される画像ファイルに、実空間における物体の移動速度、および実空間における物体の移動方向の少なくともいずれか一方に関する情報を含めるための制御信号を生成してもよく、実空間における物体の移動速度、および実空間における物体の移動方向の少なくともいずれか一方に基づいて、デジタルカメラの画像取得時の撮影パラメータを設定するための制御信号を生成してもよい。また、実空間における物体の移動速度、および実空間における物体の移動方向の少なくともいずれか一方に基づいて、デジタルカメラの画像取得タイミングを制御するための制御信号を生成してもよく、実空間における物体の移動速度、および実空間における物体の移動方向の少なくともいずれか一方に基づいて、物体を追跡して撮影するための制御信号を生成してもよい。
【発明の効果】
【０００６】
本発明によれば、実空間における物体の移動量を算出することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置１００は、ステレオカメラ１０１と、入力装置１０２と、制御装置１０３と、モニタ１０４とを備えている。
【０００８】
ステレオカメラ１０１は、例えば図２に示すように、それぞれ所定距離以上離して配置された２つのカメラ２ａおよび２ｂを有する。この２つのカメラ２ａおよび２ｂは、左右平行に所定距離Ｂだけ離して配置されている。各カメラ２ａおよび２ｂは、例えば撮影光学系と撮影光学系を介して入射する被写体像を撮像する撮像素子とをそれぞれ有するデジタルカメラである。
【０００９】
カメラ２ａおよび２ｂは、それぞれ所定時間間隔（所定フレームレート）で視野内を撮像し、それぞれのカメラで撮像された視差を有する２枚の画像は制御装置１０３へ出力される。なお、図２は、ステレオカメラ１０１を正面から見た図を示しており、向かって左側に配置されているカメラ２ａは、ステレオカメラ１０１上で右側に配置された右カメラに相当する。また、向かって右側に配置されているカメラ２ｂは、ステレオカメラ１０１上で左側に配置された左カメラに相当する。ここで、両カメラの焦点距離はそれぞれｆであるものとする。
【００１０】
入力装置１０２は、使用者が画像処理装置１００を操作するための種々の操作ボタンを含み、使用者による当該入力装置１０２の操作信号は、制御装置１０３へ出力される。
【００１１】
制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路を含み、物体位置検出部１０３ａと、物体移動速度・方向検出部１０３ｂと、表示制御部１０３ｃとを機能的に備えている。物体位置検出部１０３ａは、ステレオカメラ１０１から入力される２枚の画像、すなわち右カメラ２ａによって撮像された右画像と、左カメラ２ｂによって撮像された左画像とに基づいて、ステレオカメラ１００の撮影範囲内に存在する物体のステレオカメラ１００からみた実空間における三次元位置を算出する。
【００１２】
ここで、ステレオカメラ１０１からみた物体の実空間における三次元位置の算出方法について説明する。物体位置検出部１０３ａは、まず、右画像と左画像の対応点を探索してステレオカメラ１０１の視差を求める。このために、図３（ａ）に示すように、右画像上の対応点探索基準位置（ｔｅｍｐＰｏｓＸ，ｔｅｍｐＰｏｓＹ）に探索基準領域３ａを設定する。そして、この探索基準領域３ａをテンプレートとして、図３（ｂ）に示すように、左画像に対してテンプレートマッチングを行う。その結果、マッチング位置として得られた左画像上の位置３ｂを、図３（ｃ）に示すように、対応点探索結果位置（ｒｓｌｔＰｏｓＸ，ｒｓｌｔＰｏｓＹ）として求める。
【００１３】
これによって、右画像上に設定した対応点探索基準位置（ｔｅｍｐＰｏｓＸ，ｔｅｍｐＰｏｓＹ）の対応点として左画像上の対応点探索結果位置（ｒｓｌｔＰｏｓＸ，ｒｓｌｔＰｏｓＹ）を探索することができる。そして、図３（ｄ）に示すように、このようにして求めた対応点のＸ座標値の差分値をステレオカメラ１０１の視差ｄとして算出する。なお、図４（ａ）〜図４（ｄ）は、図３とは異なる対応点探索基準位置（ｔｅｍｐＰｏｓＸ´，ｔｅｍｐＰｏｓＹ´）および対応点探索結果位置（ｒｓｌｔＰｏｓＸ´，ｒｓｌｔＰｏｓＹ´）に基づいて視差ｄ´を算出した場合の具体例を示している。
【００１４】
次に、算出した視差ｄ（またはｄ´）、探索した対応点探索結果位置の座標値（ｕ，ｖ）＝（ｒｓｌｔＰｏｓＸ，ｒｓｌｔＰｏｓＹ）、ステレオカメラ１０１の焦点距離ｆ、およびベースラインの長さＢに基づいて、次式（１）により、ステレオカメラ１０１からみた物体の実空間における三次元座標値（ｘ，ｙ，ｚ）を実空間における三次元位置として算出する。
【数１】
【００１５】
なお、視差ｄの算出方法については、その他の公知の手法を用いてもよい。また、本実施の形態では、上述したようにステレオカメラ１０１の２つのカメラは左右平行に配置されているが、２つのカメラが平行に配置されていない場合には、右画像および左画像に対して公知の平行化を行った後に、物体の実空間における三次元座標値（ｘ，ｙ，ｚ）を算出する必要がある。
【００１６】
物体位置検出部１０３ａは、ステレオカメラ１０１によって所定フレームレートで連続して入力される各右画像および左画像に対して上述した処理を実行し、各フレームにおける物体の実空間における三次元座標値（ｘ，ｙ，ｚ）を得る。すなわち、物体の実空間における三次元座標値（ｘ，ｙ，ｚ）の時系列データを得る。この物体の実空間における三次元座標値（ｘ，ｙ，ｚ）の時系列データは、制御装置１０３が有するメモリに記録される。
【００１７】
物体移動速度・方向検出部１０３ｂは、物体位置検出部１０３ａによって得られた物体の実空間における三次元座標値（ｘ，ｙ，ｚ）の時系列データに基づいて、実空間における物体の移動量を算出し、算出した移動量に基づいて実空間における物体の移動速度および移動方向を算出する。具体的には、物体移動速度・方向検出部１０３ｂは、特定時刻に撮影されたフレームにおける物体の実空間における三次元座標値（ｘ１，ｙ１，ｚ１）と、異なる時刻に撮影されたフレームにおける物体の実空間における三次元座標値（ｘ２，ｙ２，ｚ２）とに基づいて、フレーム間での実空間（三次元空間）における物体の移動量Ｄを算出する。
【００１８】
例えば、図５に示すように、物体位置検出部１０３ａによって時刻ｔ０〜ｔ５に取得した６フレーム分の時系列データが得られている場合には、任意の２フレーム間（例えばｔ２とｔ３に取得された２フレーム間）での実空間における物体の移動量Ｄを算出する。そして、そのフレーム間での物体の移動量Ｄとフレーム間の画像取得時刻の差（画像取得間隔）Δｔとに基づいて、次式（２）により実空間における物体の移動速度Ｖを算出する。なお、図５に示す例では、Δｔ＝ｔ３−ｔ２である。
Ｖ＝Ｄ／Δｔ ・・・（２）
【００１９】
物体移動速度・方向検出部１０３ｂはさらに、三次元空間上での物体のＸ軸方向の速度ベクトル、Ｙ軸方向の速度ベクトル、およびＺ軸方向の速度ベクトルを算出し、これらを合成した速度ベクトルのなす角θを実空間における物体の移動方向として算出する。以上の処理によって、ステレオカメラ１０１の視野内に存在する物体の実空間における三次元位置、移動量、移動速度、および移動方向を検出することができる。
【００２０】
表示制御部１０３ｃは、物体位置検出部１０３ａによって検出された物体の実空間における位置の座標値や、物体移動速度・方向検出部１０３ｂによって検出された物体の実空間における移動量、移動速度、移動方向をモニタ１０４へ出力して表示する。これによって、使用者は、ステレオカメラ１０１で撮影された画像内に存在する物体（被写体）の位置、移動量、移動速度、移動方向を把握することができる。このとき、表示制御部１０３ｃは、物体の移動速度、移動方向を数値で表示してもよいが、図形等によって表してもよい。
【００２１】
例えば、表示制御部１０３ｃは、物体の移動方向を矢印や三角形などを用いて表示してもよい。また、物体の移動速度をその速さに応じて矢印の太さや三角形の大きさを変化させてもよく、あるいは速さに応じて矢印や三角形の表示色を変化させるようにしてもよい。具体的には、移動速度が速ければ赤、遅ければ青、中間の場合には黄色などで表示するようにすればよい。このように、物体の移動速度、移動方向を図形で表示したり、移動速度に応じて表示色を変化させることによって、使用者は直感的に物体の実空間における移動速度や移動方向を把握することができるようになる。
【００２２】
図６は、本実施の形態における画像処理装置１００の処理を示すフローチャートである。図６に示す処理は、画像処理装置１００の電源がオンされると起動するプログラムとして制御装置１０３によって実行される。
【００２３】
ステップＳ１０において、制御装置１０３は、ステレオカメラ１０１を制御して、画像の撮像を開始して、ステップＳ２０へ進む。ステップＳ２０では、物体位置検出部１０３ａは、上述したように右画像上に設定した対応点探索基準位置（ｔｅｍｐＰｏｓＸ，ｔｅｍｐＰｏｓＹ）の対応点として左画像上の対応点探索結果位置（ｒｓｌｔＰｏｓＸ，ｒｓｌｔＰｏｓＹ）を探索してステレオカメラ１０１の視差ｄを算出する。そして、上述したように、式（１）を用いてステレオカメラ１０１からみた物体の実空間における三次元座標値（ｘ，ｙ，ｚ）を算出する。その後、ステップＳ３０へ進む。
【００２４】
ステップＳ３０では、物体移動速度・方向検出部１０３ｂは、上述したように、物体位置検出部１０３ａによって得られた物体の実空間における三次元座標値（ｘ，ｙ，ｚ）の時系列データに基づいて、実空間における物体のフレーム間での移動量Ｄを算出する。その後、ステップＳ４０へ進み、実空間における物体のフレーム間での移動量Ｄと、フレーム間の画像取得時刻の差Δｔとに基づいて、実空間における物体の移動速度を算出して、ステップＳ５０へ進む。
【００２５】
ステップＳ５０では、物体移動速度・方向検出部１０３ｂは、三次元空間上での物体のＸ軸方向の速度ベクトル、Ｙ軸方向の速度ベクトル、およびＺ軸方向の速度ベクトルを算出し、これらを合成した速度ベクトルのなす角θを実空間における物体の移動方向として算出して、ステップＳ６０へ進む。
【００２６】
ステップＳ６０では、表示制御部１０３ｃは、物体位置検出部１０３ａによって検出された物体の実空間における位置の座標値、および物体移動速度・方向検出部１０３ｂによって検出された物体の実空間における移動量、移動速度、移動方向をモニタ１０４へ出力して表示する。その後、ステップＳ７０へ進み、使用者によって画像処理装置１００の電源がオフされたか否かを判断する。電源がオフされていないと判断した場合には、ステップＳ２０へ戻って処理を繰り返す。一方、電源がオフされたと判断した場合には、処理を終了する。
【００２７】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）物体位置検出部１０３ａは、ステレオカメラ１０１で撮像した右画像および左画像に基づいて、ステレオカメラ１０１の視野内に存在する物体の実空間上での位置を算出するようにした。これによって、画像上で平面的に捉えた２次元空間内における物体位置だけでなく、実空間上での物体位置も検出することができる。
【００２８】
（２）さらに物体移動速度・方向検出部１０３ｂは、異なる２フレーム間の物体の実空間における三次元座標値に基づいて、フレーム間での実空間における物体の移動量Ｄを算出し、実空間上での物体の移動速度、移動方向を算出するようにした。これによって、高価なセンサなどを用いなくても画像処理によってステレオカメラ１０１からみた実空間における物体位置、移動量、移動速度、および移動方向を検出することができ、安価な構成で装置を実現することができる。
【００２９】
（３）表示制御部１０３ｃは、物体の実空間における位置の座標値、移動量、移動速度、移動方向をモニタ１０４へ出力して表示するようにした。これによって、使用者は、ステレオカメラ１０１で撮影された画像内に存在する物体の実空間における三次元位置、移動量、移動速度、移動方向を把握することができる。
【００３０】
―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、２台のカメラ２ａおよび２ｂを有するステレオカメラ１０１で撮影した視差を有する２枚の画像に基づいて、物体の実空間上における位置、移動量、移動速度、および移動方向を算出する例について説明した。しかしながら、３つ以上のカメラを備える多眼カメラによって撮像した視差を有する複数枚の画像に基づいて物体の実空間上における位置、移動量、移動速度、および移動方向を算出するようにしてもよい。このように画像を取得するカメラを増加させることによって、物体の実空間上における位置、移動速度、および移動方向の算出精度をさらに向上することができる。
【００３１】
（２）上述した実施の形態では、画像処理装置１００は単体で動作する例について説明した。しかしながら、画像処理装置１００とデジタルカメラとを接続し、制御装置１０３は、上述した実施の形態で算出したステレオカメラ１０１からみた物体の実空間上における位置、移動量、移動速度、および移動方向の少なくともいずれか１つに基づいて、デジタルカメラを操作する制御信号を生成し、デジタルカメラを制御するようにしてもよい。この場合、画像処理装置１００をデジタルカメラ内に内蔵してもよく、画像処理装置１００をデジタルカメラに取り付け可能なユニットとして提供してもよい。あるいは画像処理装置１００としてステレオカメラ１０１を搭載したパソコンを用い、当該パソコンとデジタルカメラとを有線または無線により接続するようにしてもよい。また、ステレオカメラ１０１の視野とデジタルカメラの視野は、同一かまたはいずれか一方が広くなるように設計されている。
【００３２】
以下、画像処理装置１００をデジタルカメラと接続して使用する場合に、制御装置１０３がデジタルカメラを制御する方法について説明する。なお、ここでは、デジタルカメラにユニット化した画像処理装置１００を取り付けて使用するものとする。このようにデジタルカメラにユニット化した画像処理装置１００を取り付けた場合には、上述した実施の形態で算出したステレオカメラ１０１からみた物体の実空間上における位置、移動量、移動速度、および移動方向は、デジタルカメラからみた物体の実空間上における位置と略一致するものである。したがって、画像処理装置１００で検出した物体の実空間上における位置、移動量、移動速度、および移動方向は、デジタルカメラで撮影した画像内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向とみなすことができる。
【００３３】
したがって、デジタルカメラで画像のスルー画の撮像を開始したときに、制御装置１０３はステレオカメラの視野内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向を算出し、算出結果をスルー画内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向としてデジタルカメラが備える液晶モニタに表示する。これによって、使用者はスルー画内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向を把握することができるようになる。さらに、使用者は表示された内容に基づいてデジタルカメラの撮影パラメータ、例えばシャッタースピードなどを変更することができるようになる。
【００３４】
なお、実空間上における位置、移動量、移動速度、および移動方向の算出対象とする物体は、使用者があらかじめ指定できるようにしてもよい。例えば、使用者は「デジタルカメラから所定の範囲内に存在する物体」、「デジタルカメラの視野内の所定範囲に含まれる物体」、または「最も速く（あるいは遅く）移動している物体」というように指定することができる。
【００３５】
また、その後、使用者によってレリーズボタンが押下され、デジタルカメラで画像が取得された場合には、制御装置１０３は、デジタルカメラに対して、画像内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向の少なくとも１つを画像ファイル内に含めて記憶するように制御してもよい。例えば、デジタルカメラは、Ｅｘｉｆ形式の画像ファイルを生成し、Ｅｘｉｆ情報内にこれらの情報を記録する。これによって、画像撮影後にも画像処理装置１００で算出した情報を有効に活用することができるようになる。
【００３６】
（３）画像処理装置１００をデジタルカメラと連携して使用する場合には、さらに、制御装置１０３は、画像内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向の少なくとも１つに基づいて、画像撮影時の撮影パラメータを自動的に設定するようにしてもよい。例えば、撮影対象の物体の移動速度が速いことを検出した場合には、制御装置１０３は、画像撮影時のシャッタースピードを高速にするようにデジタルカメラを制御し、物体の移動速度が遅いことを検出した場合には、画像撮影時のシャッタースピードを低速にするようにデジタルカメラを制御してもよい。これによって、使用者による撮影パラメータの設定の手間を省くことができる。
【００３７】
また、制御装置１０３は、画像内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向の少なくとも１つに基づいて、デジタルカメラの画像の取得タイミングを制御するようにしてもよい。例えば、視野内にある範囲に物体が所定の方向から所定の移動速度で進入してきた場合には、自動的にシャッターを切るように制御するようにしてもよい。これによって、容易に使用者の所望の画像を撮影することができる。
【００３８】
（４）さらに、画像処理装置１００をパンチルトズーム機構を備えるデジタルカメラと連携して使用するようにしてもよい。すなわち、制御装置１０３は、上述した算出結果に基づいて、移動している物体を視野内に収めるようにパンチルトズーム機構を制御する。これによって、移動している物体を自動的に追尾することができる。
【００３９】
（５）上述した実施の形態では、物体移動速度・方向検出部１０３ｂは、物体の実空間における移動速度と移動方向とを算出するようにしたが、これらのうちいずれか一方を算出するようにしてもよい。
【００４０】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【図面の簡単な説明】
【００４１】
【図１】画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】ステレオカメラ１０１におけるカメラの配置例を示す図である。
【図３】視差の算出方法の具体例を示す第１の図である。
【図４】視差の算出方法の具体例を示す第２の図である。
【図５】フレーム間での実空間における物体の移動量の算出例を示した図である。
【図６】画像処理装置１００の処理を示すフローチャート図である。
【符号の説明】
【００４２】
１００ 画像処理装置、１０１ ステレオカメラ、１０２ 入力装置、１０３ 制御装置、１０３ａ 物体位置検出部、１０３ｂ 物体移動速度・方向検出部、１０４ モニタ
【技術分野】
【０００１】
本発明は、撮影した画像内に存在する物体の実空間における位置等を求めるための画像処理装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
次のような被写体移動速度検知機能付きカメラが知られている。このカメラは、ユーザーがファインダ内で被写体を追いかけている間に測定した被写体距離とカメラの回動角度と測定時間とに基づいて、被写体の移動速度を算出する（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００２−７２０５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のカメラによれば、光軸方向に直交する方向の被写体の移動速度しか算出できないため、この方法で算出した移動速度に基づいて被写体の移動量を算出した場合には、光軸方向に直交する方向の被写体の移動量しか算出することができない。
【課題を解決するための手段】
【０００５】
本発明は、視差を有する少なくとも２枚の画像を所定フレームレートで取得し、取得した視差を有する少なくとも２枚の画像にそれぞれ存在する同一の物体を対応付け、物体の実空間における三次元位置を算出し、算出した三次元位置のフレーム間の変化に基づいて、物体の実空間での移動量を算出することを特徴とする。
このとき、実空間における物体の移動量に基づいて、実空間における物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方を算出することが好ましい。
そして、実空間における物体の移動速度、および実空間における物体の移動方向の少なくともいずれか一方に基づいて、接続されるデジタルカメラを操作する制御信号を生成するようにしてもよい。例えば、デジタルカメラで取得され、記録される画像ファイルに、実空間における物体の移動速度、および実空間における物体の移動方向の少なくともいずれか一方に関する情報を含めるための制御信号を生成してもよく、実空間における物体の移動速度、および実空間における物体の移動方向の少なくともいずれか一方に基づいて、デジタルカメラの画像取得時の撮影パラメータを設定するための制御信号を生成してもよい。また、実空間における物体の移動速度、および実空間における物体の移動方向の少なくともいずれか一方に基づいて、デジタルカメラの画像取得タイミングを制御するための制御信号を生成してもよく、実空間における物体の移動速度、および実空間における物体の移動方向の少なくともいずれか一方に基づいて、物体を追跡して撮影するための制御信号を生成してもよい。
【発明の効果】
【０００６】
本発明によれば、実空間における物体の移動量を算出することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置１００は、ステレオカメラ１０１と、入力装置１０２と、制御装置１０３と、モニタ１０４とを備えている。
【０００８】
ステレオカメラ１０１は、例えば図２に示すように、それぞれ所定距離以上離して配置された２つのカメラ２ａおよび２ｂを有する。この２つのカメラ２ａおよび２ｂは、左右平行に所定距離Ｂだけ離して配置されている。各カメラ２ａおよび２ｂは、例えば撮影光学系と撮影光学系を介して入射する被写体像を撮像する撮像素子とをそれぞれ有するデジタルカメラである。
【０００９】
カメラ２ａおよび２ｂは、それぞれ所定時間間隔（所定フレームレート）で視野内を撮像し、それぞれのカメラで撮像された視差を有する２枚の画像は制御装置１０３へ出力される。なお、図２は、ステレオカメラ１０１を正面から見た図を示しており、向かって左側に配置されているカメラ２ａは、ステレオカメラ１０１上で右側に配置された右カメラに相当する。また、向かって右側に配置されているカメラ２ｂは、ステレオカメラ１０１上で左側に配置された左カメラに相当する。ここで、両カメラの焦点距離はそれぞれｆであるものとする。
【００１０】
入力装置１０２は、使用者が画像処理装置１００を操作するための種々の操作ボタンを含み、使用者による当該入力装置１０２の操作信号は、制御装置１０３へ出力される。
【００１１】
制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路を含み、物体位置検出部１０３ａと、物体移動速度・方向検出部１０３ｂと、表示制御部１０３ｃとを機能的に備えている。物体位置検出部１０３ａは、ステレオカメラ１０１から入力される２枚の画像、すなわち右カメラ２ａによって撮像された右画像と、左カメラ２ｂによって撮像された左画像とに基づいて、ステレオカメラ１００の撮影範囲内に存在する物体のステレオカメラ１００からみた実空間における三次元位置を算出する。
【００１２】
ここで、ステレオカメラ１０１からみた物体の実空間における三次元位置の算出方法について説明する。物体位置検出部１０３ａは、まず、右画像と左画像の対応点を探索してステレオカメラ１０１の視差を求める。このために、図３（ａ）に示すように、右画像上の対応点探索基準位置（ｔｅｍｐＰｏｓＸ，ｔｅｍｐＰｏｓＹ）に探索基準領域３ａを設定する。そして、この探索基準領域３ａをテンプレートとして、図３（ｂ）に示すように、左画像に対してテンプレートマッチングを行う。その結果、マッチング位置として得られた左画像上の位置３ｂを、図３（ｃ）に示すように、対応点探索結果位置（ｒｓｌｔＰｏｓＸ，ｒｓｌｔＰｏｓＹ）として求める。
【００１３】
これによって、右画像上に設定した対応点探索基準位置（ｔｅｍｐＰｏｓＸ，ｔｅｍｐＰｏｓＹ）の対応点として左画像上の対応点探索結果位置（ｒｓｌｔＰｏｓＸ，ｒｓｌｔＰｏｓＹ）を探索することができる。そして、図３（ｄ）に示すように、このようにして求めた対応点のＸ座標値の差分値をステレオカメラ１０１の視差ｄとして算出する。なお、図４（ａ）〜図４（ｄ）は、図３とは異なる対応点探索基準位置（ｔｅｍｐＰｏｓＸ´，ｔｅｍｐＰｏｓＹ´）および対応点探索結果位置（ｒｓｌｔＰｏｓＸ´，ｒｓｌｔＰｏｓＹ´）に基づいて視差ｄ´を算出した場合の具体例を示している。
【００１４】
次に、算出した視差ｄ（またはｄ´）、探索した対応点探索結果位置の座標値（ｕ，ｖ）＝（ｒｓｌｔＰｏｓＸ，ｒｓｌｔＰｏｓＹ）、ステレオカメラ１０１の焦点距離ｆ、およびベースラインの長さＢに基づいて、次式（１）により、ステレオカメラ１０１からみた物体の実空間における三次元座標値（ｘ，ｙ，ｚ）を実空間における三次元位置として算出する。
【数１】
【００１５】
なお、視差ｄの算出方法については、その他の公知の手法を用いてもよい。また、本実施の形態では、上述したようにステレオカメラ１０１の２つのカメラは左右平行に配置されているが、２つのカメラが平行に配置されていない場合には、右画像および左画像に対して公知の平行化を行った後に、物体の実空間における三次元座標値（ｘ，ｙ，ｚ）を算出する必要がある。
【００１６】
物体位置検出部１０３ａは、ステレオカメラ１０１によって所定フレームレートで連続して入力される各右画像および左画像に対して上述した処理を実行し、各フレームにおける物体の実空間における三次元座標値（ｘ，ｙ，ｚ）を得る。すなわち、物体の実空間における三次元座標値（ｘ，ｙ，ｚ）の時系列データを得る。この物体の実空間における三次元座標値（ｘ，ｙ，ｚ）の時系列データは、制御装置１０３が有するメモリに記録される。
【００１７】
物体移動速度・方向検出部１０３ｂは、物体位置検出部１０３ａによって得られた物体の実空間における三次元座標値（ｘ，ｙ，ｚ）の時系列データに基づいて、実空間における物体の移動量を算出し、算出した移動量に基づいて実空間における物体の移動速度および移動方向を算出する。具体的には、物体移動速度・方向検出部１０３ｂは、特定時刻に撮影されたフレームにおける物体の実空間における三次元座標値（ｘ１，ｙ１，ｚ１）と、異なる時刻に撮影されたフレームにおける物体の実空間における三次元座標値（ｘ２，ｙ２，ｚ２）とに基づいて、フレーム間での実空間（三次元空間）における物体の移動量Ｄを算出する。
【００１８】
例えば、図５に示すように、物体位置検出部１０３ａによって時刻ｔ０〜ｔ５に取得した６フレーム分の時系列データが得られている場合には、任意の２フレーム間（例えばｔ２とｔ３に取得された２フレーム間）での実空間における物体の移動量Ｄを算出する。そして、そのフレーム間での物体の移動量Ｄとフレーム間の画像取得時刻の差（画像取得間隔）Δｔとに基づいて、次式（２）により実空間における物体の移動速度Ｖを算出する。なお、図５に示す例では、Δｔ＝ｔ３−ｔ２である。
Ｖ＝Ｄ／Δｔ ・・・（２）
【００１９】
物体移動速度・方向検出部１０３ｂはさらに、三次元空間上での物体のＸ軸方向の速度ベクトル、Ｙ軸方向の速度ベクトル、およびＺ軸方向の速度ベクトルを算出し、これらを合成した速度ベクトルのなす角θを実空間における物体の移動方向として算出する。以上の処理によって、ステレオカメラ１０１の視野内に存在する物体の実空間における三次元位置、移動量、移動速度、および移動方向を検出することができる。
【００２０】
表示制御部１０３ｃは、物体位置検出部１０３ａによって検出された物体の実空間における位置の座標値や、物体移動速度・方向検出部１０３ｂによって検出された物体の実空間における移動量、移動速度、移動方向をモニタ１０４へ出力して表示する。これによって、使用者は、ステレオカメラ１０１で撮影された画像内に存在する物体（被写体）の位置、移動量、移動速度、移動方向を把握することができる。このとき、表示制御部１０３ｃは、物体の移動速度、移動方向を数値で表示してもよいが、図形等によって表してもよい。
【００２１】
例えば、表示制御部１０３ｃは、物体の移動方向を矢印や三角形などを用いて表示してもよい。また、物体の移動速度をその速さに応じて矢印の太さや三角形の大きさを変化させてもよく、あるいは速さに応じて矢印や三角形の表示色を変化させるようにしてもよい。具体的には、移動速度が速ければ赤、遅ければ青、中間の場合には黄色などで表示するようにすればよい。このように、物体の移動速度、移動方向を図形で表示したり、移動速度に応じて表示色を変化させることによって、使用者は直感的に物体の実空間における移動速度や移動方向を把握することができるようになる。
【００２２】
図６は、本実施の形態における画像処理装置１００の処理を示すフローチャートである。図６に示す処理は、画像処理装置１００の電源がオンされると起動するプログラムとして制御装置１０３によって実行される。
【００２３】
ステップＳ１０において、制御装置１０３は、ステレオカメラ１０１を制御して、画像の撮像を開始して、ステップＳ２０へ進む。ステップＳ２０では、物体位置検出部１０３ａは、上述したように右画像上に設定した対応点探索基準位置（ｔｅｍｐＰｏｓＸ，ｔｅｍｐＰｏｓＹ）の対応点として左画像上の対応点探索結果位置（ｒｓｌｔＰｏｓＸ，ｒｓｌｔＰｏｓＹ）を探索してステレオカメラ１０１の視差ｄを算出する。そして、上述したように、式（１）を用いてステレオカメラ１０１からみた物体の実空間における三次元座標値（ｘ，ｙ，ｚ）を算出する。その後、ステップＳ３０へ進む。
【００２４】
ステップＳ３０では、物体移動速度・方向検出部１０３ｂは、上述したように、物体位置検出部１０３ａによって得られた物体の実空間における三次元座標値（ｘ，ｙ，ｚ）の時系列データに基づいて、実空間における物体のフレーム間での移動量Ｄを算出する。その後、ステップＳ４０へ進み、実空間における物体のフレーム間での移動量Ｄと、フレーム間の画像取得時刻の差Δｔとに基づいて、実空間における物体の移動速度を算出して、ステップＳ５０へ進む。
【００２５】
ステップＳ５０では、物体移動速度・方向検出部１０３ｂは、三次元空間上での物体のＸ軸方向の速度ベクトル、Ｙ軸方向の速度ベクトル、およびＺ軸方向の速度ベクトルを算出し、これらを合成した速度ベクトルのなす角θを実空間における物体の移動方向として算出して、ステップＳ６０へ進む。
【００２６】
ステップＳ６０では、表示制御部１０３ｃは、物体位置検出部１０３ａによって検出された物体の実空間における位置の座標値、および物体移動速度・方向検出部１０３ｂによって検出された物体の実空間における移動量、移動速度、移動方向をモニタ１０４へ出力して表示する。その後、ステップＳ７０へ進み、使用者によって画像処理装置１００の電源がオフされたか否かを判断する。電源がオフされていないと判断した場合には、ステップＳ２０へ戻って処理を繰り返す。一方、電源がオフされたと判断した場合には、処理を終了する。
【００２７】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）物体位置検出部１０３ａは、ステレオカメラ１０１で撮像した右画像および左画像に基づいて、ステレオカメラ１０１の視野内に存在する物体の実空間上での位置を算出するようにした。これによって、画像上で平面的に捉えた２次元空間内における物体位置だけでなく、実空間上での物体位置も検出することができる。
【００２８】
（２）さらに物体移動速度・方向検出部１０３ｂは、異なる２フレーム間の物体の実空間における三次元座標値に基づいて、フレーム間での実空間における物体の移動量Ｄを算出し、実空間上での物体の移動速度、移動方向を算出するようにした。これによって、高価なセンサなどを用いなくても画像処理によってステレオカメラ１０１からみた実空間における物体位置、移動量、移動速度、および移動方向を検出することができ、安価な構成で装置を実現することができる。
【００２９】
（３）表示制御部１０３ｃは、物体の実空間における位置の座標値、移動量、移動速度、移動方向をモニタ１０４へ出力して表示するようにした。これによって、使用者は、ステレオカメラ１０１で撮影された画像内に存在する物体の実空間における三次元位置、移動量、移動速度、移動方向を把握することができる。
【００３０】
―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、２台のカメラ２ａおよび２ｂを有するステレオカメラ１０１で撮影した視差を有する２枚の画像に基づいて、物体の実空間上における位置、移動量、移動速度、および移動方向を算出する例について説明した。しかしながら、３つ以上のカメラを備える多眼カメラによって撮像した視差を有する複数枚の画像に基づいて物体の実空間上における位置、移動量、移動速度、および移動方向を算出するようにしてもよい。このように画像を取得するカメラを増加させることによって、物体の実空間上における位置、移動速度、および移動方向の算出精度をさらに向上することができる。
【００３１】
（２）上述した実施の形態では、画像処理装置１００は単体で動作する例について説明した。しかしながら、画像処理装置１００とデジタルカメラとを接続し、制御装置１０３は、上述した実施の形態で算出したステレオカメラ１０１からみた物体の実空間上における位置、移動量、移動速度、および移動方向の少なくともいずれか１つに基づいて、デジタルカメラを操作する制御信号を生成し、デジタルカメラを制御するようにしてもよい。この場合、画像処理装置１００をデジタルカメラ内に内蔵してもよく、画像処理装置１００をデジタルカメラに取り付け可能なユニットとして提供してもよい。あるいは画像処理装置１００としてステレオカメラ１０１を搭載したパソコンを用い、当該パソコンとデジタルカメラとを有線または無線により接続するようにしてもよい。また、ステレオカメラ１０１の視野とデジタルカメラの視野は、同一かまたはいずれか一方が広くなるように設計されている。
【００３２】
以下、画像処理装置１００をデジタルカメラと接続して使用する場合に、制御装置１０３がデジタルカメラを制御する方法について説明する。なお、ここでは、デジタルカメラにユニット化した画像処理装置１００を取り付けて使用するものとする。このようにデジタルカメラにユニット化した画像処理装置１００を取り付けた場合には、上述した実施の形態で算出したステレオカメラ１０１からみた物体の実空間上における位置、移動量、移動速度、および移動方向は、デジタルカメラからみた物体の実空間上における位置と略一致するものである。したがって、画像処理装置１００で検出した物体の実空間上における位置、移動量、移動速度、および移動方向は、デジタルカメラで撮影した画像内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向とみなすことができる。
【００３３】
したがって、デジタルカメラで画像のスルー画の撮像を開始したときに、制御装置１０３はステレオカメラの視野内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向を算出し、算出結果をスルー画内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向としてデジタルカメラが備える液晶モニタに表示する。これによって、使用者はスルー画内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向を把握することができるようになる。さらに、使用者は表示された内容に基づいてデジタルカメラの撮影パラメータ、例えばシャッタースピードなどを変更することができるようになる。
【００３４】
なお、実空間上における位置、移動量、移動速度、および移動方向の算出対象とする物体は、使用者があらかじめ指定できるようにしてもよい。例えば、使用者は「デジタルカメラから所定の範囲内に存在する物体」、「デジタルカメラの視野内の所定範囲に含まれる物体」、または「最も速く（あるいは遅く）移動している物体」というように指定することができる。
【００３５】
また、その後、使用者によってレリーズボタンが押下され、デジタルカメラで画像が取得された場合には、制御装置１０３は、デジタルカメラに対して、画像内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向の少なくとも１つを画像ファイル内に含めて記憶するように制御してもよい。例えば、デジタルカメラは、Ｅｘｉｆ形式の画像ファイルを生成し、Ｅｘｉｆ情報内にこれらの情報を記録する。これによって、画像撮影後にも画像処理装置１００で算出した情報を有効に活用することができるようになる。
【００３６】
（３）画像処理装置１００をデジタルカメラと連携して使用する場合には、さらに、制御装置１０３は、画像内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向の少なくとも１つに基づいて、画像撮影時の撮影パラメータを自動的に設定するようにしてもよい。例えば、撮影対象の物体の移動速度が速いことを検出した場合には、制御装置１０３は、画像撮影時のシャッタースピードを高速にするようにデジタルカメラを制御し、物体の移動速度が遅いことを検出した場合には、画像撮影時のシャッタースピードを低速にするようにデジタルカメラを制御してもよい。これによって、使用者による撮影パラメータの設定の手間を省くことができる。
【００３７】
また、制御装置１０３は、画像内に存在する物体の実空間上における位置、移動量、移動速度、および移動方向の少なくとも１つに基づいて、デジタルカメラの画像の取得タイミングを制御するようにしてもよい。例えば、視野内にある範囲に物体が所定の方向から所定の移動速度で進入してきた場合には、自動的にシャッターを切るように制御するようにしてもよい。これによって、容易に使用者の所望の画像を撮影することができる。
【００３８】
（４）さらに、画像処理装置１００をパンチルトズーム機構を備えるデジタルカメラと連携して使用するようにしてもよい。すなわち、制御装置１０３は、上述した算出結果に基づいて、移動している物体を視野内に収めるようにパンチルトズーム機構を制御する。これによって、移動している物体を自動的に追尾することができる。
【００３９】
（５）上述した実施の形態では、物体移動速度・方向検出部１０３ｂは、物体の実空間における移動速度と移動方向とを算出するようにしたが、これらのうちいずれか一方を算出するようにしてもよい。
【００４０】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【図面の簡単な説明】
【００４１】
【図１】画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】ステレオカメラ１０１におけるカメラの配置例を示す図である。
【図３】視差の算出方法の具体例を示す第１の図である。
【図４】視差の算出方法の具体例を示す第２の図である。
【図５】フレーム間での実空間における物体の移動量の算出例を示した図である。
【図６】画像処理装置１００の処理を示すフローチャート図である。
【符号の説明】
【００４２】
１００ 画像処理装置、１０１ ステレオカメラ、１０２ 入力装置、１０３ 制御装置、１０３ａ 物体位置検出部、１０３ｂ 物体移動速度・方向検出部、１０４ モニタ
【特許請求の範囲】
【請求項１】
視差を有する少なくとも２枚の画像を所定フレームレートで取得する撮像手段と、
前記撮像手段で取得した視差を有する少なくとも２枚の画像にそれぞれ存在する同一の物体を対応付け、前記物体の実空間における三次元位置を算出する位置算出手段と、
前記位置算出手段で算出した前記三次元位置のフレーム間の変化に基づいて、前記物体の実空間での移動量を算出する移動量算出手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記移動量算出手段による算出結果に基づいて、実空間における前記物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方を算出する移動速度・方向算出手段をさらに備えることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
デジタルカメラと接続する接続手段と、
前記移動速度・移動方向算出手段で算出された実空間における前記物体の移動速度、および実空間における前記物体の移動方向のいずれか一方に基づいて、前記接続されるデジタルカメラを操作する制御信号を生成する制御信号生成手段とをさらに備えることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記制御信号生成手段は、前記デジタルカメラで取得され、記録される画像ファイルに、実空間における前記物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方に関する情報を含めるための前記制御信号を生成することを特徴とする画像処理装置。
【請求項５】
請求項３または４に記載の画像処理装置において、
前記制御信号生成手段は、実空間における前記物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方に基づいて、前記デジタルカメラの画像取得時の撮影パラメータを設定するための前記制御信号を生成することを特徴とする画像処理装置。
【請求項６】
請求項３〜５のいずれか一項に記載の画像処理装置において、
前記制御信号生成手段は、実空間における前記物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方に基づいて、前記デジタルカメラの画像取得タイミングを制御するための前記制御信号を生成することを特徴とする画像処理装置。
【請求項７】
請求項３〜６のいずれか一項に記載の画像処理装置において、
前記制御信号生成手段は、実空間における前記物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方に基づいて、前記物体を追跡して撮影するための前記制御信号を生成することを特徴とする画像処理装置。
【請求項８】
コンピュータに、
視差を有する少なくとも２枚の画像にそれぞれ存在する同一の物体を対応付け、前記物体の実空間における三次元位置を算出する位置算出手順と、
前記位置算出手順で算出した前記三次元位置のフレーム間の変化に基づいて、前記物体の実空間での移動量を算出する移動量算出手順とを実行させるための画像処理プログラム。
【請求項９】
請求項８に記載の画像処理プログラムにおいて、
コンピュータに、
前記移動量算出手順による算出結果に基づいて、実空間における前記物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方を算出する移動速度・方向算出手順をさらに実行させるための画像処理プログラム。
【請求項１】
視差を有する少なくとも２枚の画像を所定フレームレートで取得する撮像手段と、
前記撮像手段で取得した視差を有する少なくとも２枚の画像にそれぞれ存在する同一の物体を対応付け、前記物体の実空間における三次元位置を算出する位置算出手段と、
前記位置算出手段で算出した前記三次元位置のフレーム間の変化に基づいて、前記物体の実空間での移動量を算出する移動量算出手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記移動量算出手段による算出結果に基づいて、実空間における前記物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方を算出する移動速度・方向算出手段をさらに備えることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
デジタルカメラと接続する接続手段と、
前記移動速度・移動方向算出手段で算出された実空間における前記物体の移動速度、および実空間における前記物体の移動方向のいずれか一方に基づいて、前記接続されるデジタルカメラを操作する制御信号を生成する制御信号生成手段とをさらに備えることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記制御信号生成手段は、前記デジタルカメラで取得され、記録される画像ファイルに、実空間における前記物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方に関する情報を含めるための前記制御信号を生成することを特徴とする画像処理装置。
【請求項５】
請求項３または４に記載の画像処理装置において、
前記制御信号生成手段は、実空間における前記物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方に基づいて、前記デジタルカメラの画像取得時の撮影パラメータを設定するための前記制御信号を生成することを特徴とする画像処理装置。
【請求項６】
請求項３〜５のいずれか一項に記載の画像処理装置において、
前記制御信号生成手段は、実空間における前記物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方に基づいて、前記デジタルカメラの画像取得タイミングを制御するための前記制御信号を生成することを特徴とする画像処理装置。
【請求項７】
請求項３〜６のいずれか一項に記載の画像処理装置において、
前記制御信号生成手段は、実空間における前記物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方に基づいて、前記物体を追跡して撮影するための前記制御信号を生成することを特徴とする画像処理装置。
【請求項８】
コンピュータに、
視差を有する少なくとも２枚の画像にそれぞれ存在する同一の物体を対応付け、前記物体の実空間における三次元位置を算出する位置算出手順と、
前記位置算出手順で算出した前記三次元位置のフレーム間の変化に基づいて、前記物体の実空間での移動量を算出する移動量算出手順とを実行させるための画像処理プログラム。
【請求項９】
請求項８に記載の画像処理プログラムにおいて、
コンピュータに、
前記移動量算出手順による算出結果に基づいて、実空間における前記物体の移動速度、および実空間における前記物体の移動方向の少なくともいずれか一方を算出する移動速度・方向算出手順をさらに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−１５８１５（Ｐ２００８−１５８１５Ａ）
【公開日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願番号】特願２００６−１８６７３１（Ｐ２００６−１８６７３１）
【出願日】平成１８年７月６日（２００６．７．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願日】平成１８年７月６日（２００６．７．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]