画像処理装置、画像処理手順およびプログラム
【課題】フレーム画像における被写体の動きを考慮して、最適な軌跡合成画像の表示を行う。
【解決手段】入力制御部５４６は入力画像を軌跡生成部２００および被写体状態検出部３００に供給する。軌跡生成部２００は供給された入力画像について軌跡合成画像を生成する。被写体状態検出部３００は入力画像における被写体の状態を検出する。入力制御部５４６は被写体状態検出部３００において被写体が動いている状態であることが検出されている場合に入力画像を軌跡生成部２００に供給するよう制御することができる。再生速度生成部５４７は検出された被写体の状態に応じて再生速度を生成する。出力制御部５４８は再生速度生成部５４７によって生成された再生速度に従って、軌跡生成部２００によって生成された軌跡合成画像を再生表示することができる。
【解決手段】入力制御部５４６は入力画像を軌跡生成部２００および被写体状態検出部３００に供給する。軌跡生成部２００は供給された入力画像について軌跡合成画像を生成する。被写体状態検出部３００は入力画像における被写体の状態を検出する。入力制御部５４６は被写体状態検出部３００において被写体が動いている状態であることが検出されている場合に入力画像を軌跡生成部２００に供給するよう制御することができる。再生速度生成部５４７は検出された被写体の状態に応じて再生速度を生成する。出力制御部５４８は再生速度生成部５４７によって生成された再生速度に従って、軌跡生成部２００によって生成された軌跡合成画像を再生表示することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に時系列に撮像された撮像画像における軌跡を表示する画像処理装置、および、その画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
時系列に撮像された複数の撮像画像（以下、フレーム画像という。）から動被写体の軌跡を示す画像（以下、軌跡合成画像という。）を生成する方法として、映像データから複数のフレーム画像を抽出し、輝度値に応じた重みを付けて一枚の静止画像を合成する方法が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開平１０−２９０４５０号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述の従来技術では、各フレーム画像における同一位置の画素において、輝度値の平均値からの距離が輝度値の分散以上離れている画素には大きい重みを付けて、輝度値の平均値からの距離が輝度値の分散以下に収まっている画素には小さい重みを付けて合成が行われ、その結果が出力画像の同一位置の画素として出力される。
【０００４】
しかしながら、従来技術では、軌跡合成画像を生成するためには、その対象となる画像を予め選択する必要がある。選択された画像の範囲が広過ぎて被写体が動かない部分を多く含んでしまうと、生成すべき軌跡も検出されず、その生成処理が無駄になるとともに、再生の際も間延びした状態になってしまう。一方、選択された画像の範囲が狭すぎると、本来必要とされる軌跡が生成されなくなるおそれがある。軌跡を生成する範囲を正確に指定することはユーザにとって煩雑である。
【０００５】
また、軌跡合成画像の再生速度を一定とした場合、再生表示される軌跡の数は被写体の動く速度に依存する。したがって、被写体の動く速度が速いと十分な数の軌跡が表示されず、一方、被写体の動く速度が遅いと軌跡同士が密になり過ぎるおそれがある。軌跡を再生する速度を正確に指定することはユーザにとって煩雑である。
【０００６】
そこで、本発明は、フレーム画像における被写体の動きを考慮して、最適な軌跡合成画像の表示を行うことを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、時系列に入力される入力画像における被写体の状態を検出する被写体状態検出手段と、上記検出された被写体の状態に応じて上記入力画像の供給を制御する入力制御手段と、上記入力制御手段から供給された入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手段とを具備することを特徴とする画像処理装置である。これにより、被写体の状態に応じて合成対象となる入力画像の供給を制御させるという作用をもたらす。
【０００８】
また、この第１の側面において、上記出力画像は上記被写体の軌跡を示す画像とすることができる。
【０００９】
また、この第１の側面において、上記画像合成手段は、背景画像の画素値を保持する背景画像保持手段と、出力画像の画素値を保持する出力画像保持手段と、上記背景画像保持手段に保持される上記背景画像の画素値を上記入力画像の対応する画素位置の画素値によって所定の比率に基づいて更新する背景生成手段と、上記入力画像の画素値が上記背景生成手段によって更新された上記背景画像の対応する画素位置の画素値と相違する程度を示す相違度を生成する相違度生成手段と、上記出力画像の画素値について上記相違度に応じて上記入力画像の対応する画素位置の画素値を合成して新たな出力画像の画素値として上記出力画像保持手段に保持させる出力画像合成手段とを具備してもよい。これにより、時系列に入力される入力画像によって背景画像を更新し、入力画像の画素値との間の相違度に応じて出力画像の画素値を生成させるという作用をもたらす。
【００１０】
また、この第１の側面において、上記被写体状態検出手段が、上記被写体の状態として上記被写体の動きを検出し、上記入力制御手段が、上記被写体が動いている状態であれば上記入力画像を供給し、上記被写体が静止している状態であれば上記入力画像の供給を停止してもよい。これにより、被写体が動いている状態に限り入力画像を供給させるという作用をもたらす。
【００１１】
また、この第１の側面において、上記入力画像における上記合成の開始位置の指定を検出する開始検出手段をさらに具備し、上記入力制御手段が、上記入力画像の上記開始位置以降において、上記被写体が動いている状態であれば上記入力画像を供給し、上記被写体が静止している状態であれば上記入力画像の供給を停止してもよい。これにより、指定された開始位置以降において、被写体が動いている状態に限り入力画像を供給させるという作用をもたらす。この場合において、上記入力画像における上記合成の終了位置の指定を検出する終了検出手段をさらに具備し、上記入力制御手段が、上記入力画像の上記開始位置と上記終了位置との間において、上記被写体が動いている状態であれば上記入力画像を供給し、上記被写体が静止している状態であれば上記入力画像の供給を停止してもよい。これにより、指定された開始位置と終了位置との間において、被写体が動いている状態に限り入力画像を供給させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記入力画像における上記合成の終了位置の指定を検出する終了検出手段をさらに具備し、上記入力制御手段が、上記終了位置から遡って上記被写体が動いている状態から静止している状態に遷移する変化点を検索し、上記変化点を開始位置として上記入力画像の上記開始位置以降において、上記被写体が動いている状態であれば上記入力画像を供給し、上記被写体が静止している状態であれば上記入力画像の供給を停止してもよい。これにより、指定された終了位置に至るまでの間、被写体が動いている状態に限り入力画像を供給させるという作用をもたらす。
【００１３】
また、本発明の第２の側面は、時系列に入力される入力画像における被写体の状態を検出する被写体状態検出手段と、上記検出された被写体の状態に応じて再生速度を生成する再生速度生成手段と、上記入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手段と、上記再生速度に基づいて上記出力画像を再生する出力制御手段とを具備することを特徴とする画像処理装置である。これにより、被写体の状態に応じて最適な再生速度で出力画像を再生させるという作用をもたらす。
【００１４】
また、この第２の側面において、上記被写体状態検出手段は、上記被写体の状態として上記被写体の動きを検出し、上記再生速度生成手段が、上記被写体の動く速度が速いほど上記再生速度が遅くなるようにしてもよい。これにより、被写体の動く速度が速いほど再生速度を遅くして、見易い速度で再生させるという作用をもたらす。
【発明の効果】
【００１５】
本発明によれば、フレーム画像における被写体の動きを考慮して、最適な軌跡合成画像の表示を行うことができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１６】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
図１は、本発明の実施の形態における画像処理装置の一態様としての撮像装置の一構成例を示す図である。この撮像装置は、大別して光学系、信号処理系、記録系、表示系、および、制御系から構成される。
【００１８】
光学系は、被写体の光画像を集光するレンズ１１と、光画像の光量を調整する絞り１２と、集光された光画像を光電変換して電気信号に変換する撮像素子１３とから構成される。撮像素子１３は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサなどにより実現される。
【００１９】
信号処理系は、撮像素子１３からの電気信号をサンプリングするサンプリング回路２１と、サンプリング回路２１から供給されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路２２と、Ａ／Ｄ変換回路２２から入力されるデジタル信号に所定の画像処理を施す画像処理回路２３とから構成される。サンプリング回路２１は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）によって実現される。これにより、撮像素子１３で発生するノイズが軽減される。なお、画像処理回路２３により実行される処理の詳細については後述する。
【００２０】
記録系は、画像信号を記憶するメモリ３２と、画像処理回路２３によって処理された画像信号を符号化してメモリ３２に記録し、また、メモリ３２から画像信号を読み出して復号し、画像処理回路２３に供給する符号化／復号器３１とから構成される。
【００２１】
表示系は、画像処理回路２３によって処理された画像信号をアナログ化するＤ／Ａ変換回路４１と、アナログ化された画像信号を後段の表示部４３に適合する形式のビデオ信号にエンコードするビデオエンコーダ４２と、入力されるビデオ信号に対応する画像を表示する表示部４３とから構成される。表示部４３は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。
【００２２】
制御系は、撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、および、画像処理回路２３の動作タイミングを制御するタイミング生成器５１と、ユーザによるシャッタ操作やその他のコマンド入力を受け付けるための操作入力受付部５２と、周辺機器を接続するためのドライバ５３と、撮像装置全体を制御する制御部５４とから構成される。ドライバ５３には、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等が接続される。制御部５４は、これらに記憶されている制御用プログラムを、ドライバ５３を介して読み出し、読み出した制御用プログラムや操作入力受付部５２から入力されるユーザからのコマンド等に基づいて制御を行う。
【００２３】
画像処理回路２３、符号化／復号器３１、メモリ３２、タイミング生成器５１、操作入力受付部５２、および、制御部５４は、バス５９を介して相互に接続されている。
【００２４】
この撮像装置において、被写体の光学画像（入射光）は、レンズ１１および絞り１２を介して撮像素子１３に入射され、撮像素子１３によって光電変換されて電気信号となる。得られた電気信号は、サンプリング回路２１によってノイズ成分が除去され、Ａ／Ｄ変換回路２２によってデジタル化された後、画像処理回路２３が内蔵する（図示しない）画像メモリに一時格納される。
【００２５】
なお、通常の状態では、タイミング生成器５１による信号処理系に対する制御により、画像処理回路２３の内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理回路２３の内蔵する画像メモリの画像信号は、Ｄ／Ａ変換回路４１によってアナログ信号に変換され、ビデオエンコーダ４２によってビデオ信号に変換されて対応する画像が表示部４３に表示される。
【００２６】
表示部４３は、撮像装置のファインダとしての役割も担っている。ユーザが操作入力受付部５２に含まれるシャッターボタンを押下した場合、制御部５４は、タイミング生成器５１に対して、シャッターボタンが押下された直後の画像信号を保持するように、すなわち、画像処理回路２３の画像メモリに画像信号が上書きされないように、信号処理系を制御する。画像処理回路２３の画像メモリに保持された画像データは、符号化／復号器３１によって符号化されてメモリ３２に記録される。以上のような撮像装置の動作によって、１枚の画像データの取込みが完了する。
【００２７】
図２は、本発明の実施の形態における撮像装置の制御部５４の周辺の一構成例を示す図である。制御部５４は、操作入力受付部５２において受け付けられた操作入力に従って、Ａ／Ｄ変換回路２２または符号化／復号器３１から出力された入力画像を画像処理回路２３に供給し、その結果を後段のＤ／Ａ変換回路４１または符号化／復号器３１に出力するものである。この制御部５４は、入力検出部５４１と、入力制御部５４６と、再生速度生成部５４７と、出力制御部５４８とを備えている。また、操作入力受付部５２は、ユーザからの撮影操作入力を受け付ける撮影操作受付部５２１を備えている。また、画像処理回路２３は、軌跡合成画像を生成する軌跡生成部２００と、被写体の状態を検出する被写体状態検出部３００とを備えている。
【００２８】
被写体状態検出部３００は、入力制御部５４６から供給された入力画像における被写体の状態を検出するものである。この被写体状態検出部３００は、被写体の動き（方向および量）を表すベクトル（動きベクトル：Optical Flow）を算出する。この動きベクトルを求めるにあたっては、連続するフレームから画像データ中の移動物体がどの向きにどれ位の速さで移動したかを計算することになる。その代表的な方法として知られるブロックマッチングでは、あるフレームにおける画素点が次フレームのどの位置に移動したかを探索することにより動きベクトルが得られる。この場合の画素点としては、探索のし易さ等の観点から特徴点が用いられることが多い。この被写体状態検出部３００によって検出された被写体の状態は、入力制御部５４６および再生速度生成部５４７に供給される。
【００２９】
制御部５４において、入力検出部５４１は、操作入力受付部５２において受け付けられた操作入力の内容を検出するものであり、再生方向検出部５４２と、開始位置検出部５４３と、終了位置検出部５４４と、基準速度検出部５４５とを備えている。再生方向検出部５４２は、軌跡合成画像の再生方向が順方向または逆方向の何れであるかを検出するものである。開始位置検出部５４３は、軌跡合成画像の生成開始位置を検出するものである。終了位置検出部５４４は、軌跡合成画像の生成終了位置を検出するものである。基準速度検出部５４５は、軌跡合成画像を再生する際の基準となる速度（以下、「基準速度」という。）の指定を検出するものである。
【００３０】
入力制御部５４６は、Ａ／Ｄ変換回路２２または符号化／復号器３１から出力された入力画像の画像処理回路２３への供給を制御するものである。この入力制御部５４６は、開始位置検出部５４３によって検出された生成開始位置から終了位置検出部５４４によって検出された生成終了位置に至るまでの間、再生方向検出部５４２によって検出された再生方向に従って、入力画像を画像処理回路２３に供給する。このとき、入力制御部５４６は、被写体状態検出部３００によって検出された被写体の状態に応じて入力画像の供給を制御することができる。例えば、被写体が動いている状態にあることを被写体状態検出部３００が検出している間に限って、入力画像を画像処理回路２３に供給するようにしてもよい。
【００３１】
再生速度生成部５４７は、画像処理回路２３において生成された軌跡合成画像を出力する際の再生速度を生成するものである。この再生速度生成部５４７は、被写体状態検出部３００によって検出された被写体の状態に応じて再生速度を生成する。その際、再生速度生成部５４７は、基準速度検出部５４５によって検出された基準速度を基準として用いることができる。
【００３２】
出力制御部５４８は、画像処理回路２３において生成された軌跡合成画像の出力を制御するものである。この出力制御部５４８は、再生速度生成部５４７によって生成された再生速度によって軌跡合成画像を出力するよう制御する。
【００３３】
図３は、本発明の実施の形態における軌跡生成例を示す図である。ここでは、時刻ｔ−１および時刻ｔにおける物体の軌跡が示されている。ベクトルｖは、時刻ｔ−１から時刻ｔに至る際の動被写体の動きベクトルを表している。この動きベクトルは、被写体状態検出部３００によって検出される。
【００３４】
図３（ａ）における動きベクトルを基準とすると、同図（ｂ）のように、動きベクトルの大きさが大きい場合には、被写体の動きが速いということを意味する。この場合、軌跡合成画像を出力する際には、同図（ａ）の場合よりも遅くした方が、ユーザにとって見易くなると考えられる。通常の場合、軌跡合成画像はスロー再生されることが多いが、被写体の動きが速いときには、さらに遅めのスロー再生とすることが視認性を高める上で効果的である。
【００３５】
一方、同図（ｃ）のように、動きベクトルの大きさが小さい場合には、被写体の動きが遅いということを意味する。この場合、軌跡合成画像を出力する際には、同図（ａ）の場合よりも速くした方が、ユーザにとって見易くなると考えられる。したがって、被写体の動きが遅いときには、通常よりも速めのスロー再生とすることが視認性を高める上で効果的である。
【００３６】
これらを前提として、再生速度生成部５４７は、被写体の動く速度が速いほど再生速度が遅くなるように、また、被写体の動く速度が遅いほど再生速度が速くなるように、再生速度を生成する。
【００３７】
ここで、例えば、１秒当り３０フレームの再生速度を標準的な速度と想定して、再生速度Ｓｐ＝１と定めると、再生速度生成部５４７によって生成される再生速度Ｓｐは次式により求めることができる。但し、｜ｖｍ｜は被写体状態検出部３００において検出された動被写体の動きベクトルの大きさであり、｜ｖｐ｜は基準速度検出部５４５において検出された基準速度である。
Ｓｐ＝｜ｖｐ｜／（｜ｖｍ｜×３０）
【００３８】
｜ｖｐ｜および｜ｖｍ｜の単位は、ともに［ピクセル／秒］である。例えば、動被写体が画像を左から右に横切るようなシーンの場合、画像の横幅を３秒で通過するような再生速度にしたければ、ユーザは基準速度｜ｖｐ｜として「画像の横幅のピクセル数／３秒」の値を設定することになる。
【００３９】
図４は、本発明の実施の形態における撮像装置の画像処理回路２３の一構成例を示す図である。この画像処理回路２３は、フレーム選択部２２０と、背景生成部２３０と、背景画像保持部２６０と、相違度生成部２４０と、軌跡合成部２５０と、軌跡合成画像保持部２７０とを備えている。ここでは、入力画像２１０に対して、例えば図９や図１０のように動被写体の移動する途中の状態を複数枚の軌跡合成画像２９０として表示することを想定している。
【００４０】
フレーム選択部２２０は、入力画像２１０から時系列順にｐ×ｑ画素からなる画像Ｉｔをフレームとして順次選択するものである。選択されたフレームは、信号線２２８を介して、相違度生成部２４０および軌跡合成部２５０に順次供給されていく。また、選択されたフレームは、信号線２２９を介して、背景生成部２３０に供給される。なお、背景生成部２３０に対しては、画像Ｉｔだけでなく、複数の画像に基づいてフレームを背景生成部２３０に供給するようにしてもよい。例えば、画像Ｉｔを中心とした前後の画像Ｉｔ−ｉ乃至Ｉｔ＋ｉに基づいて、それらの頻度から暫定的な背景画像を求めて、その暫定的な背景画像を背景生成部２３０に供給することができる。これにより、背景生成部２３０において精度の高い背景生成を実現することが期待できる。
【００４１】
背景画像保持部２６０は、ｐ×ｑ画素からなる背景画像を保持するものである。この背景画像保持部２６０に保持された背景画像は、信号線２６９を介して背景生成部２３０に供給される。背景生成部２３０は、信号線２６９を介して背景生成部２３０から供給された背景画像Ｂｔ−１の画素値および信号線２２９を介してフレーム選択部２２０から供給されたフレームＩｔの画素値に基づいて新たな背景画像Ｂｔを生成するものである。すなわち、背景生成部２３０は、背景画像保持部２６０に保持される背景画像を新たなフレームによって更新していくことによって、背景画像保持部２６０にその時点の背景画像を保持させる。生成された背景画像は、信号線２３９を介して、相違度生成部２４０および背景画像保持部２６０に供給される。
【００４２】
相違度生成部２４０は、信号線２３９を介して背景生成部２３０から供給された背景画像の画素値と、信号線２２８を介してフレーム選択部２２０から供給されたフレームの画素値との画素位置毎の相違度を生成するものである。すなわち、相違度生成部２４０は、ｐ×ｑ組の対応する画素値同士の距離を算出して、ｐ×ｑ組分の相違度を生成する。
【００４３】
軌跡合成画像保持部２７０は、ｐ×ｑ画素からなる軌跡合成画像を保持するものである。この軌跡合成画像保持部２７０に保持された軌跡合成画像は、信号線２７９を介して軌跡合成部２５０に供給される。軌跡合成部２５０は、信号線２７９を介して軌跡合成画像保持部２７０から供給された軌跡合成画像Ｓｔ−１の画素値と、信号線２２８を介してフレーム選択部２２０から供給されたフレームＩｔの画素値とを合成して新たな軌跡合成画像Ｓｔ（２９０）を生成するものである。すなわち、軌跡合成部２５０は、軌跡合成画像保持部２７０に保持される軌跡合成画像を新たなフレームによって更新していくことによって、軌跡合成画像保持部２７０にその時点の軌跡合成画像を保持させる。
【００４４】
図５は、本発明の実施の形態における画像処理回路２３の背景生成部２３０の一構成例を示す図である。この背景生成部２３０は、背景合成比率生成部２３２と、背景画像更新部２３３とを備えている。
【００４５】
背景合成比率生成部２３２は、信号線２２９を介してフレーム選択部２２０から供給されたフレームと、信号線２６９を介して背景画像保持部２６０から供給された背景画像とから背景画像の合成比率（背景合成比率α）を生成するものである。背景合成比率αの具体的な算出方法としては、例えば、フレームＩｔの画素値と背景画像Ｂｔ−１の画素値との間の相違度が小さい場合にはフレームＩｔの画素値の寄与度が大きくなるように背景合成比率を決定し、または、時間的に近傍の相違度の分散が小さければフレームＩｔの画素値の寄与度を大きくするなど、相違度に基づいて動的に合成比率を決定する方法が考えられる。また、予め固定値として背景合成比率αを定めておいてもよい。
【００４６】
背景画像更新部２３３は、背景合成比率生成部２３２によって生成された背景合成比率αに応じて、信号線２６９を介して背景画像保持部２６０から供給された背景画像を、信号線２２９を介してフレーム選択部２２０から供給されたフレームによって更新するものである。
【００４７】
ここで、座標（ｘ，ｙ）におけるフレームＩｔの画素値をＩ（ｘ，ｙ，ｔ）、同じく背景画像Ｂｔ−１の画素値をＢ（ｘ，ｙ，ｔ−１）とすると、新たな背景画像Ｂｔの画素値Ｂ（ｘ，ｙ，ｔ）は、次式により得られる。
Ｂ（ｘ，ｙ，ｔ）＝α×Ｉ（ｘ，ｙ，ｔ）＋（１−α）×Ｂ（ｘ，ｙ，ｔ−１）
【００４８】
背景画像更新部２３３は、上式の処理を全ての画素に対して行う。
【００４９】
図６は、本発明の実施の形態における画像処理回路２３の相違度生成部２４０の一構成例を示す図である。この相違度生成部２４０は、距離算出部２４１と、距離閾値設定部２０２と、相違度算出部２４２とを備えている。
【００５０】
距離算出部２４１は、信号線２３９を介して背景生成部２３０から供給された背景値と、信号線２２８を介してフレーム選択部２２０から供給された画素値との間の距離を算出するものである。なお、この場合の距離は、例えば色空間上の距離などを意味する。
【００５１】
相違度算出部２４２は、距離算出部２４１によって算出された距離に応じて、背景値と入力画像の画素値との相違度を算出するものである。すなわち、この相違度算出部２４２は、入力画像において動被写体と背景とを区別して、両者が異なるものであることを相違度として示すものである。相違度は、例えば、動被写体に対して「１」、背景に対して「０」が付与されるように算出するものであるが、両者を完全には区別できない場合には、その中間値をとることもある。
【００５２】
相違度を算出する際、相違度算出部２４２は、画像の品質による誤差を考慮して、背景と動被写体とを区別するための距離の閾値（距離閾値）を想定する。すなわち、背景値と入力画像の画素値との間の距離が距離閾値以内であれば両者を完全には区別できないものとして扱い、距離閾値を越える場合には両者は完全に区別できるものとして扱う。その結果、例えば、背景値と入力画像の画素値との間の距離が距離閾値を越える場合には相違度として最大値の「１」が算出され、距離閾値以内の場合には距離に比例するように相違度が算出される。なお、距離閾値は、距離閾値設定部２０２に予め設定される。
【００５３】
図７は、本発明の実施の形態における画像処理回路２３の軌跡合成部２５０の一構成例を示す図である。この軌跡合成部２５０は、軌跡合成比率算出部２５１と、軌跡合成値更新部２５２とを備えている。
【００５４】
軌跡合成比率算出部２５１は、信号線２４９を介して相違度生成部２４０から供給された相違度に基づいて軌跡合成の合成比率（軌跡合成比率β）を生成するものである。軌跡合成比率βの具体的な算出方法としては、例えば、フレームＩｔの画素値と背景画像Ｂｔ−１との相違度が大きい場合には、フレームＩｔの画素値の寄与度が大きくなるような軌跡合成比率を決定することが考えられる。これにより、背景と異なる領域ほど軌跡合成値への寄与率が高くなり、よりはっきりとした動被写体の軌跡を得ることができる。
【００５５】
軌跡合成値更新部２５２は、軌跡合成比率算出部２５１によって生成された軌跡合成比率βに応じて、信号線２７９を介して軌跡合成画像保持部２７０から供給された軌跡合成画像を、信号線２２８を介してフレーム選択部２２０から供給されたフレームによって更新するものである。
【００５６】
ここで、座標（ｘ，ｙ）におけるフレームＩｔの画素値をＩ（ｘ，ｙ，ｔ）、同じく軌跡合成画像Ｓｔ−１の画素値をＳ（ｘ，ｙ，ｔ−１）とすると、新たな軌跡合成画像Ｓｔの画素値Ｓ（ｘ，ｙ，ｔ）は、次式により得られる。
Ｓ（ｘ，ｙ，ｔ）＝β×Ｉ（ｘ，ｙ，ｔ）＋（１−β）×Ｓ（ｘ，ｙ，ｔ−１）
【００５７】
軌跡合成値更新部２５２は、上式の処理を全ての画素に対して行う。
【００５８】
また、他の軌跡合成の手法として、相違度に基づいて２種類の算出規則を用いて軌跡合成比率を算出することが考えられる。すなわち、相違度が小さい背景領域における軌跡合成比率の算出規則を、相違度が大きい動被写体領域の算出規則とは別にして、相違度が小さくてもある程度の軌跡合成比率を与える。これにより、動被写体軌跡領域が古くなればなるほど背景の寄与率が高くなり、動被写体の軌跡がフェードアウトされたように見せることができる。つまり、新しい時刻の軌跡ははっきりしているが、時間が経つにつれて軌跡が背景に溶け込んでフェードアウトしていくようにすることが可能となる。
【００５９】
例えば、図８のような５枚のフレームを合成する際、軌跡をはっきり残したい場合には、軌跡合成比率βとして、相違度が大きい動被写体領域には「１」、相違度が小さい背景領域には「０」を与えれば、図９のような結果を得ることができる。一方、軌跡をフェードアウトさせたい場合には、軌跡合成比率βとして、動被写体領域には「１」、背景領域には「０．３」乃至「０．５」程度を与えれば、図１０のような結果を得ることができる。
【００６０】
図１１は、本発明の実施の形態における軌跡生成部２００による軌跡生成範囲の例を示す図である。この図では、再生方向が順方向の場合、すなわち、撮像時の時間方向と同じ方向に再生する場合の例を示している。なお、軌跡生成開始位置は開始位置検出部５４３によって検出されたものであり、軌跡生成終了位置は終了位置検出部５４４によって検出されたものである。
【００６１】
図１１（ａ）では、軌跡生成開始位置だけが指定されており、軌跡生成終了位置は指定されていない。この場合、入力制御部５４６は被写体状態検出部３００に対して、軌跡生成開始位置から入力画像の供給を順方向（図中の再生方向）に行う。被写体状態検出部３００は、被写体が動いている状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を開始する。
【００６２】
その後、被写体状態検出部３００は、被写体が静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。
【００６３】
すなわち、同図（ａ）の場合、軌跡生成開始位置以降において、被写体が動いている状態に限って入力画像を軌跡生成部２００に供給させることができる。
【００６４】
図１１（ｂ）では、軌跡生成開始位置および軌跡生成終了位置の両者が指定されている。この場合、入力制御部５４６は被写体状態検出部３００に対して、軌跡生成開始位置から入力画像の供給を順方向（図中の再生方向）に行う。被写体状態検出部３００は、被写体が動いている状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を開始する。
【００６５】
その後、被写体状態検出部３００は、被写体が静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。但し、それ以前に軌跡生成終了位置に至った場合には、その時点で入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。
【００６６】
すなわち、同図（ｂ）の場合、軌跡生成開始位置と軌跡生成終了位置との間において、被写体が動いている状態に限って入力画像を軌跡生成部２００に供給させることができる。
【００６７】
図１１（ｃ）では、軌跡生成終了位置だけが指定されており、軌跡生成開始位置は指定されていない。この場合、入力制御部５４６は被写体状態検出部３００に対して、軌跡生成終了位置から逆方向（図中の検索方向）に入力画像の供給を行う。被写体状態検出部３００は、被写体が動いている状態から静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を順方向（図中の再生方向）に開始する。
【００６８】
その後、被写体状態検出部３００は、被写体が静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。但し、それ以前に軌跡生成終了位置に至った場合には、その時点で入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。
【００６９】
すなわち、同図（ｃ）の場合、軌跡生成終了位置から遡って被写体が動いている状態から静止している状態に遷移する変化点が検索され、その変化点を開始位置として入力画像の軌跡生成開始位置以降において、被写体が動いている状態であれば入力画像を軌跡生成部２００に供給させ、被写体が静止している状態であればその供給を停止させることができる。
【００７０】
図１２は、本発明の実施の形態における軌跡生成部２００による軌跡生成範囲の他の例を示す図である。この図では、再生方向が逆方向の場合、すなわち、撮像時の時間方向と反対の方向に再生する場合の例を示している。
【００７１】
図１２（ａ）では、軌跡生成開始位置だけが指定されており、軌跡生成終了位置は指定されていない。この場合、入力制御部５４６は被写体状態検出部３００に対して、軌跡生成開始位置から入力画像の供給を逆方向（図中の再生方向）に行う。被写体状態検出部３００は、被写体が動いている状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を開始する。
【００７２】
その後、被写体状態検出部３００は、被写体が静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。
【００７３】
すなわち、同図（ａ）の場合、軌跡生成開始位置以降において、被写体が動いている状態に限って入力画像を軌跡生成部２００に供給させることができる。
【００７４】
図１２（ｂ）では、軌跡生成開始位置および軌跡生成終了位置の両者が指定されている。この場合、入力制御部５４６は被写体状態検出部３００に対して、軌跡生成開始位置から入力画像の供給を逆方向（図中の再生方向）に行う。被写体状態検出部３００は、被写体が動いている状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を開始する。
【００７５】
その後、被写体状態検出部３００は、被写体が静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。但し、それ以前に軌跡生成終了位置に至った場合には、その時点で入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。
【００７６】
すなわち、同図（ｂ）の場合、軌跡生成開始位置と軌跡生成終了位置との間において、被写体が動いている状態に限って入力画像を軌跡生成部２００に供給させることができる。
【００７７】
図１２（ｃ）では、軌跡生成終了位置だけが指定されており、軌跡生成開始位置は指定されていない。この場合、入力制御部５４６は被写体状態検出部３００に対して、軌跡生成終了位置から順方向（図中の検索方向）に入力画像の供給を行う。被写体状態検出部３００は、被写体が動いている状態から静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を逆方向（図中の再生方向）に開始する。
【００７８】
その後、被写体状態検出部３００は、被写体が静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。但し、それ以前に軌跡生成終了位置に至った場合には、その時点で入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。
【００７９】
すなわち、同図（ｃ）の場合、軌跡生成終了位置から遡って被写体が動いている状態から静止している状態に遷移する変化点が検索され、その変化点を開始位置として入力画像の軌跡生成開始位置以降において、被写体が動いている状態であれば入力画像を軌跡生成部２００に供給させ、被写体が静止している状態であればその供給を停止させることができる。
【００８０】
図１３は、本発明の実施の形態におけるユーザインターフェース（ＧＵＩ）画面の一例を示す図である。ここでは、既存のコンテンツの一部について軌跡合成画像を生成するための画面例が示されている。コンテンツは、ユーザによって撮影されたものであってもよく、また、テレビ番組などを録画したものであってもよい。コンテンツの全体の長さは時間軸６６１に示されている。再生位置６６２は、時間軸６６１における現在の再生位置を示している。
【００８１】
表示部６６３は、再生位置６６２におけるコンテンツの再生画面を表示するものである。操作ボタン６６４乃至６６６は、通常の再生操作の指示を受け取るものである。順方向再生ボタン６６５が押下されると、コンテンツが順方向に再生される。逆方向再生ボタン６６６が押下されると、コンテンツが逆方向に再生される。停止ボタン６６４が押下されると、コンテンツの再生が停止される。再生の進行に伴い、再生位置６６２が更新される。なお、再生位置６６２を操作することにより、コンテンツの再生位置を直接移動することもできる。
【００８２】
軌跡生成開始位置指定ボタン６６７は、軌跡生成開始位置の指定を受け付けるためのボタンである。この軌跡生成開始位置指定ボタン６６７が押下されると、押下時の再生位置６６２が軌跡生成開始位置として設定される。この軌跡生成開始位置は、開始位置検出部５４３によって検出される。
【００８３】
また、軌跡生成終了位置指定ボタン６６８は、軌跡生成終了位置の指定を受け付けるためのボタンである。この軌跡生成終了位置指定ボタン６６８が押下されると、押下時の再生位置６６２が軌跡生成終了位置として設定される。この軌跡生成終了位置は、終了位置検出部５４４によって検出される。
【００８４】
再生方向指定ボタン６７１は、軌跡生成の際の再生方向の指定を受け付けるためのボタンである。この再生方向指定ボタン６７１は、ラジオボタンになっており、順方向または逆方向の何れか一方のみを受け付ける。この再生方向指定ボタン６７１において指定された再生方向は、再生方向検出部５４２によって検出される。
【００８５】
動き連動編集ボタン６７２は、軌跡生成の際に開始または終了を被写体の状態と連動させるか否かを受け付けるためのボタンである。動き連動編集ボタン６７２が選択された場合には、被写体状態検出部３００によって被写体が動いている状態であることが検出されている間に限って、入力制御部５４６は軌跡生成部２００に入力画像を供給する。一方、動き連動編集ボタン６７２が選択されていない場合には、入力制御部５４６は、被写体の状態とは無関係に、軌跡生成開始位置指定ボタン６６７および軌跡生成終了位置指定ボタン６６８の指定に従って、軌跡生成部２００に入力画像を供給する。
【００８６】
軌跡再生開始ボタン６８１は、軌跡合成画像の生成開始の指示を受け付けるためのボタンである。この軌跡再生開始ボタン６８１が押下されると、入力制御部５４６は、軌跡合成画像の再生表示のための上述の動作を開始する。
【００８７】
基準速度設定部６８２は、軌跡合成画像の再生の際の、基準速度の設定を受け付けるためのものである。この基準速度設定部６８２が速い方（図中、上部）に設定されると、軌跡合成画像の再生速度は速くなる。一方、基準速度設定部６８２が遅い方（図中、下部）に設定されると、軌跡合成画像の再生速度は遅くなる。この基準速度設定部６８２によって設定された基準速度は、基準速度検出部５４５によって検出される。
【００８８】
図１４は、本発明の実施の形態における画面表示例を示す図である。ここでは、コンテンツの通常の（軌跡合成画像以外の）再生画面を通常再生画面、軌跡合成画像の再生画面を軌跡再生画面とそれぞれ呼称する。
【００８９】
図１４（ａ）では、通常再生画面６１１の中にピクチャ・イン・ピクチャの形式で軌跡再生画面６１３が表示されている。この場合、通常再生画面６１１および軌跡再生画面６１３を同期させることにより、通常再生と軌跡再生を同一タイミングで表示することができる。また、通常再生画面６１１および軌跡再生画面６１３を同期させない場合には、通常再生を行っている一方で、軌跡再生をスロー再生により表示することができる。なお、同図（ａ）の場合、通常再生画面６１１および軌跡再生画面６１３の組み合わせは逆の関係であってもよい。
【００９０】
図１４（ｂ）では、画面６２１中に通常再生画面６２２および軌跡再生画面６２３が画面分割されて表示されている。この場合においても、通常再生画面６２２および軌跡再生画面６２３は、同期して表示させてもよく、同期せずに表示させることもできる。また、通常再生画面６２２および軌跡再生画面６２３の組み合わせも逆の関係にすることができる。
【００９１】
図１４（ｃ）では、通常再生画面Ａ（６３１）の中に通常再生画面Ｂ（６３２）および軌跡再生画面６３３が表示されている。この場合、通常再生画面Ｂ（６３２）および軌跡再生画面６３３は同期されて、同一タイミングで表示する。一方、通常再生画面Ａ（６３１）は、これらとは同期せずに、通常の再生表示を行う。これにより、例えば、ユーザがある映像を見ている時にスロー再生したいと考えた場合、通常再生画面Ｂ（６３２）に通常のスロー再生を表示させ、軌跡再生画面６３３にスロー軌跡再生を表示させる一方で、通常再生画面Ａ（６３１）にはそれまでユーザが見ていた映像をそのまま表示させる、といった処理を実現することができる。
【００９２】
次に本発明の実施の形態における画像処理装置の動作について図面を参照して説明する。
【００９３】
図１５は、本発明の実施の形態における画像処理方法の処理手順の一例を示す図である。例えば軌跡再生開始ボタン６８１が押下されることにより、軌跡再生の開始が検出されると（ステップＳ９１１）、再生方向検出部５４２、開始位置検出部５４３および終了位置検出部５４４によって、再生方向、軌跡生成開始位置および軌跡生成終了位置がそれぞれ取得される（ステップＳ９１２）。なお、軌跡生成開始位置および軌跡生成終了位置は、何れか一方だけでもよい。
【００９４】
軌跡生成開始位置が取得されなかった場合には（ステップＳ９１３）、被写体状態検出部３００によって再生方向とは反対方向に被写体の状態が探索される（ステップＳ９１４）。例えば、被写体が動いている状態から静止している状態に遷移した位置を軌跡生成開始位置とする。
【００９５】
そして、軌跡合成の対象となるフレームが入力制御部５４６から供給されて（ステップＳ９１５）、軌跡生成部２００によって軌跡合成画像が生成される（ステップＳ９２０）。一方、被写体状態検出部３００によって被写体の状態が検出され（ステップＳ９３１）、これに基づいて再生速度生成部５４７によって再生速度が生成される（ステップＳ９３２）。この生成された再生速度に従って、出力制御部５４８によって軌跡合成画像が再生表示される（ステップＳ９３３）。また、必要に応じて、図１４に示されたような表示画面の合成が行われる（ステップＳ９３４）。
【００９６】
再生のための終了条件が満たされるまで、ステップＳ９１５以降の処理が繰り返される（ステップＳ９３５）。終了条件としては、例えば、被写体が静止している状態に遷移した場合、または、軌跡生成終了位置に至った場合などが考えられる。
【００９７】
図１６は、本発明の実施の形態における軌跡合成画像処理（図１５のステップＳ９２０に相当）の処理手順の一例を示す図である。
【００９８】
軌跡合成の対象として選択されたフレームによって、背景画像保持部２６０における背景画像が更新される（ステップＳ９２１）。この処理は、背景生成部２３０によって行われる。
【００９９】
次に、背景画像および入力画像から両者の相違度が生成される（ステップＳ９２２）。この処理は、相違度生成部２４０によって行われる。
【０１００】
そして、相違度に基づいて軌跡合成画像が更新される（ステップＳ９２３）。この処理は、軌跡合成部２５０によって行われる。
【０１０１】
このように、本発明の実施の形態によれば、被写体状態検出部３００において検出された被写体の状態を入力制御部５４６または出力制御部５４８に反映させることによって、最適な軌跡合成画像の表示を行うことができる。
【０１０２】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１０３】
すなわち、請求項１において、被写体状態検出手段は例えば被写体状態検出部３００に対応する。また、入力制御手段は例えば入力制御部５４６に対応する。また、画像合成手段は例えば軌跡生成部２００に対応する。
【０１０４】
また、請求項３において、背景画像保持手段は例えば背景画像保持部２６０に対応する。また、出力画像保持手段は例えば軌跡合成画像保持部２７０に対応する。また、背景生成手段は例えば背景生成部２３０に対応する。また、相違度生成手段は例えば相違度生成部２４０に対応する。また、出力画像合成手段は例えば軌跡合成部２５０に対応する。
【０１０５】
また、請求項５において、開始検出手段は例えば開始位置検出部５４３に対応する。
【０１０６】
また、請求項６および７において、終了検出手段は例えば終了位置検出部５４４に対応する。
【０１０７】
また、請求項８において、被写体状態検出手段は例えば被写体状態検出部３００に対応する。また、再生速度生成手段は例えば再生速度生成部５４７に対応する。また、出力画像合成手段は例えば軌跡合成部２５０に対応する。また、出力制御手段は例えば出力制御部５４８に対応する。
【０１０８】
また、請求項１０および１２において、入力制御手順は例えばステップＳ９１５に対応する。また、画像合成手順は例えばステップＳ９２０に対応する。また、被写体状態検出手順は例えばステップＳ９３１に対応する。また、繰り返す手順は例えばステップＳ９３５に対応する。
【０１０９】
また、請求項１１および１３において、画像合成手順は例えばステップＳ９２０に対応する。また、被写体状態検出手順は例えばステップＳ９３１に対応する。また、再生速度生成手順は例えばステップＳ９３２に対応する。また、出力制御手順は例えばステップＳ９３３に対応する。
【０１１０】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０１１１】
【図１】本発明の実施の形態における撮像装置の一構成例を示す図である。
【図２】本発明の実施の形態における撮像装置の制御部５４の周辺の一構成例を示す図である。
【図３】本発明の実施の形態における軌跡生成例を示す図である。
【図４】本発明の実施の形態における撮像装置の画像処理回路２３の一構成例を示す図である。
【図５】本発明の実施の形態における画像処理回路２３の背景生成部２３０の一構成例を示す図である。
【図６】本発明の実施の形態における画像処理回路２３の相違度生成部２４０の一構成例を示す図である。
【図７】本発明の実施の形態における画像処理回路２３の軌跡合成部２５０の一構成例を示す図である。
【図８】入力画像の一例を示す図である。
【図９】軌跡合成動画における各フレームの一例を示す図である。
【図１０】軌跡合成動画における各フレームの他の例を示す図である。
【図１１】本発明の実施の形態における軌跡生成部２００による軌跡生成範囲の例を示す図である。
【図１２】本発明の実施の形態における軌跡生成部２００による軌跡生成範囲の他の例を示す図である。
【図１３】本発明の実施の形態におけるユーザインターフェース（ＧＵＩ）画面の一例を示す図である。
【図１４】本発明の実施の形態における画面表示例を示す図である。
【図１５】本発明の実施の形態における画像処理方法の処理手順の一例を示す図である。
【図１６】本発明の実施の形態における軌跡合成画像処理の処理手順の一例を示す図である。
【符号の説明】
【０１１２】
１１ レンズ
１２ 絞り
１３ 撮像素子
２１ サンプリング回路
２２ Ａ／Ｄ変換回路
２３ 画像処理回路
３１ 符号化／復号器
３２ メモリ
４１ Ｄ／Ａ変換回路
４２ ビデオエンコーダ
４３ 表示部
５１ タイミング生成器
５２ 操作入力受付部
５３ ドライバ
５４ 制御部
５９ バス
２００ 軌跡生成部
２０２ 距離閾値設定部
２１０ 入力画像
２２０ フレーム選択部
２３０ 背景生成部
２３２ 背景合成比率生成部
２３３ 背景画像更新部
２４０ 相違度生成部
２４１ 距離算出部
２４２ 相違度算出部
２５０ 軌跡合成部
２５１ 軌跡合成比率算出部
２５２ 軌跡合成値更新部
２６０ 背景画像保持部
２７０ 軌跡合成画像保持部
２９０ 軌跡合成画像
３００ 被写体状態検出部
５２１ 撮影操作受付部
５４１ 入力検出部
５４２ 再生方向検出部
５４３ 開始位置検出部
５４４ 終了位置検出部
５４５ 基準速度検出部
５４６ 入力制御部
５４７ 再生速度生成部
５４８ 出力制御部
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に時系列に撮像された撮像画像における軌跡を表示する画像処理装置、および、その画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
時系列に撮像された複数の撮像画像（以下、フレーム画像という。）から動被写体の軌跡を示す画像（以下、軌跡合成画像という。）を生成する方法として、映像データから複数のフレーム画像を抽出し、輝度値に応じた重みを付けて一枚の静止画像を合成する方法が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開平１０−２９０４５０号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述の従来技術では、各フレーム画像における同一位置の画素において、輝度値の平均値からの距離が輝度値の分散以上離れている画素には大きい重みを付けて、輝度値の平均値からの距離が輝度値の分散以下に収まっている画素には小さい重みを付けて合成が行われ、その結果が出力画像の同一位置の画素として出力される。
【０００４】
しかしながら、従来技術では、軌跡合成画像を生成するためには、その対象となる画像を予め選択する必要がある。選択された画像の範囲が広過ぎて被写体が動かない部分を多く含んでしまうと、生成すべき軌跡も検出されず、その生成処理が無駄になるとともに、再生の際も間延びした状態になってしまう。一方、選択された画像の範囲が狭すぎると、本来必要とされる軌跡が生成されなくなるおそれがある。軌跡を生成する範囲を正確に指定することはユーザにとって煩雑である。
【０００５】
また、軌跡合成画像の再生速度を一定とした場合、再生表示される軌跡の数は被写体の動く速度に依存する。したがって、被写体の動く速度が速いと十分な数の軌跡が表示されず、一方、被写体の動く速度が遅いと軌跡同士が密になり過ぎるおそれがある。軌跡を再生する速度を正確に指定することはユーザにとって煩雑である。
【０００６】
そこで、本発明は、フレーム画像における被写体の動きを考慮して、最適な軌跡合成画像の表示を行うことを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、時系列に入力される入力画像における被写体の状態を検出する被写体状態検出手段と、上記検出された被写体の状態に応じて上記入力画像の供給を制御する入力制御手段と、上記入力制御手段から供給された入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手段とを具備することを特徴とする画像処理装置である。これにより、被写体の状態に応じて合成対象となる入力画像の供給を制御させるという作用をもたらす。
【０００８】
また、この第１の側面において、上記出力画像は上記被写体の軌跡を示す画像とすることができる。
【０００９】
また、この第１の側面において、上記画像合成手段は、背景画像の画素値を保持する背景画像保持手段と、出力画像の画素値を保持する出力画像保持手段と、上記背景画像保持手段に保持される上記背景画像の画素値を上記入力画像の対応する画素位置の画素値によって所定の比率に基づいて更新する背景生成手段と、上記入力画像の画素値が上記背景生成手段によって更新された上記背景画像の対応する画素位置の画素値と相違する程度を示す相違度を生成する相違度生成手段と、上記出力画像の画素値について上記相違度に応じて上記入力画像の対応する画素位置の画素値を合成して新たな出力画像の画素値として上記出力画像保持手段に保持させる出力画像合成手段とを具備してもよい。これにより、時系列に入力される入力画像によって背景画像を更新し、入力画像の画素値との間の相違度に応じて出力画像の画素値を生成させるという作用をもたらす。
【００１０】
また、この第１の側面において、上記被写体状態検出手段が、上記被写体の状態として上記被写体の動きを検出し、上記入力制御手段が、上記被写体が動いている状態であれば上記入力画像を供給し、上記被写体が静止している状態であれば上記入力画像の供給を停止してもよい。これにより、被写体が動いている状態に限り入力画像を供給させるという作用をもたらす。
【００１１】
また、この第１の側面において、上記入力画像における上記合成の開始位置の指定を検出する開始検出手段をさらに具備し、上記入力制御手段が、上記入力画像の上記開始位置以降において、上記被写体が動いている状態であれば上記入力画像を供給し、上記被写体が静止している状態であれば上記入力画像の供給を停止してもよい。これにより、指定された開始位置以降において、被写体が動いている状態に限り入力画像を供給させるという作用をもたらす。この場合において、上記入力画像における上記合成の終了位置の指定を検出する終了検出手段をさらに具備し、上記入力制御手段が、上記入力画像の上記開始位置と上記終了位置との間において、上記被写体が動いている状態であれば上記入力画像を供給し、上記被写体が静止している状態であれば上記入力画像の供給を停止してもよい。これにより、指定された開始位置と終了位置との間において、被写体が動いている状態に限り入力画像を供給させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記入力画像における上記合成の終了位置の指定を検出する終了検出手段をさらに具備し、上記入力制御手段が、上記終了位置から遡って上記被写体が動いている状態から静止している状態に遷移する変化点を検索し、上記変化点を開始位置として上記入力画像の上記開始位置以降において、上記被写体が動いている状態であれば上記入力画像を供給し、上記被写体が静止している状態であれば上記入力画像の供給を停止してもよい。これにより、指定された終了位置に至るまでの間、被写体が動いている状態に限り入力画像を供給させるという作用をもたらす。
【００１３】
また、本発明の第２の側面は、時系列に入力される入力画像における被写体の状態を検出する被写体状態検出手段と、上記検出された被写体の状態に応じて再生速度を生成する再生速度生成手段と、上記入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手段と、上記再生速度に基づいて上記出力画像を再生する出力制御手段とを具備することを特徴とする画像処理装置である。これにより、被写体の状態に応じて最適な再生速度で出力画像を再生させるという作用をもたらす。
【００１４】
また、この第２の側面において、上記被写体状態検出手段は、上記被写体の状態として上記被写体の動きを検出し、上記再生速度生成手段が、上記被写体の動く速度が速いほど上記再生速度が遅くなるようにしてもよい。これにより、被写体の動く速度が速いほど再生速度を遅くして、見易い速度で再生させるという作用をもたらす。
【発明の効果】
【００１５】
本発明によれば、フレーム画像における被写体の動きを考慮して、最適な軌跡合成画像の表示を行うことができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１６】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
図１は、本発明の実施の形態における画像処理装置の一態様としての撮像装置の一構成例を示す図である。この撮像装置は、大別して光学系、信号処理系、記録系、表示系、および、制御系から構成される。
【００１８】
光学系は、被写体の光画像を集光するレンズ１１と、光画像の光量を調整する絞り１２と、集光された光画像を光電変換して電気信号に変換する撮像素子１３とから構成される。撮像素子１３は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサなどにより実現される。
【００１９】
信号処理系は、撮像素子１３からの電気信号をサンプリングするサンプリング回路２１と、サンプリング回路２１から供給されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路２２と、Ａ／Ｄ変換回路２２から入力されるデジタル信号に所定の画像処理を施す画像処理回路２３とから構成される。サンプリング回路２１は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）によって実現される。これにより、撮像素子１３で発生するノイズが軽減される。なお、画像処理回路２３により実行される処理の詳細については後述する。
【００２０】
記録系は、画像信号を記憶するメモリ３２と、画像処理回路２３によって処理された画像信号を符号化してメモリ３２に記録し、また、メモリ３２から画像信号を読み出して復号し、画像処理回路２３に供給する符号化／復号器３１とから構成される。
【００２１】
表示系は、画像処理回路２３によって処理された画像信号をアナログ化するＤ／Ａ変換回路４１と、アナログ化された画像信号を後段の表示部４３に適合する形式のビデオ信号にエンコードするビデオエンコーダ４２と、入力されるビデオ信号に対応する画像を表示する表示部４３とから構成される。表示部４３は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。
【００２２】
制御系は、撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、および、画像処理回路２３の動作タイミングを制御するタイミング生成器５１と、ユーザによるシャッタ操作やその他のコマンド入力を受け付けるための操作入力受付部５２と、周辺機器を接続するためのドライバ５３と、撮像装置全体を制御する制御部５４とから構成される。ドライバ５３には、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等が接続される。制御部５４は、これらに記憶されている制御用プログラムを、ドライバ５３を介して読み出し、読み出した制御用プログラムや操作入力受付部５２から入力されるユーザからのコマンド等に基づいて制御を行う。
【００２３】
画像処理回路２３、符号化／復号器３１、メモリ３２、タイミング生成器５１、操作入力受付部５２、および、制御部５４は、バス５９を介して相互に接続されている。
【００２４】
この撮像装置において、被写体の光学画像（入射光）は、レンズ１１および絞り１２を介して撮像素子１３に入射され、撮像素子１３によって光電変換されて電気信号となる。得られた電気信号は、サンプリング回路２１によってノイズ成分が除去され、Ａ／Ｄ変換回路２２によってデジタル化された後、画像処理回路２３が内蔵する（図示しない）画像メモリに一時格納される。
【００２５】
なお、通常の状態では、タイミング生成器５１による信号処理系に対する制御により、画像処理回路２３の内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理回路２３の内蔵する画像メモリの画像信号は、Ｄ／Ａ変換回路４１によってアナログ信号に変換され、ビデオエンコーダ４２によってビデオ信号に変換されて対応する画像が表示部４３に表示される。
【００２６】
表示部４３は、撮像装置のファインダとしての役割も担っている。ユーザが操作入力受付部５２に含まれるシャッターボタンを押下した場合、制御部５４は、タイミング生成器５１に対して、シャッターボタンが押下された直後の画像信号を保持するように、すなわち、画像処理回路２３の画像メモリに画像信号が上書きされないように、信号処理系を制御する。画像処理回路２３の画像メモリに保持された画像データは、符号化／復号器３１によって符号化されてメモリ３２に記録される。以上のような撮像装置の動作によって、１枚の画像データの取込みが完了する。
【００２７】
図２は、本発明の実施の形態における撮像装置の制御部５４の周辺の一構成例を示す図である。制御部５４は、操作入力受付部５２において受け付けられた操作入力に従って、Ａ／Ｄ変換回路２２または符号化／復号器３１から出力された入力画像を画像処理回路２３に供給し、その結果を後段のＤ／Ａ変換回路４１または符号化／復号器３１に出力するものである。この制御部５４は、入力検出部５４１と、入力制御部５４６と、再生速度生成部５４７と、出力制御部５４８とを備えている。また、操作入力受付部５２は、ユーザからの撮影操作入力を受け付ける撮影操作受付部５２１を備えている。また、画像処理回路２３は、軌跡合成画像を生成する軌跡生成部２００と、被写体の状態を検出する被写体状態検出部３００とを備えている。
【００２８】
被写体状態検出部３００は、入力制御部５４６から供給された入力画像における被写体の状態を検出するものである。この被写体状態検出部３００は、被写体の動き（方向および量）を表すベクトル（動きベクトル：Optical Flow）を算出する。この動きベクトルを求めるにあたっては、連続するフレームから画像データ中の移動物体がどの向きにどれ位の速さで移動したかを計算することになる。その代表的な方法として知られるブロックマッチングでは、あるフレームにおける画素点が次フレームのどの位置に移動したかを探索することにより動きベクトルが得られる。この場合の画素点としては、探索のし易さ等の観点から特徴点が用いられることが多い。この被写体状態検出部３００によって検出された被写体の状態は、入力制御部５４６および再生速度生成部５４７に供給される。
【００２９】
制御部５４において、入力検出部５４１は、操作入力受付部５２において受け付けられた操作入力の内容を検出するものであり、再生方向検出部５４２と、開始位置検出部５４３と、終了位置検出部５４４と、基準速度検出部５４５とを備えている。再生方向検出部５４２は、軌跡合成画像の再生方向が順方向または逆方向の何れであるかを検出するものである。開始位置検出部５４３は、軌跡合成画像の生成開始位置を検出するものである。終了位置検出部５４４は、軌跡合成画像の生成終了位置を検出するものである。基準速度検出部５４５は、軌跡合成画像を再生する際の基準となる速度（以下、「基準速度」という。）の指定を検出するものである。
【００３０】
入力制御部５４６は、Ａ／Ｄ変換回路２２または符号化／復号器３１から出力された入力画像の画像処理回路２３への供給を制御するものである。この入力制御部５４６は、開始位置検出部５４３によって検出された生成開始位置から終了位置検出部５４４によって検出された生成終了位置に至るまでの間、再生方向検出部５４２によって検出された再生方向に従って、入力画像を画像処理回路２３に供給する。このとき、入力制御部５４６は、被写体状態検出部３００によって検出された被写体の状態に応じて入力画像の供給を制御することができる。例えば、被写体が動いている状態にあることを被写体状態検出部３００が検出している間に限って、入力画像を画像処理回路２３に供給するようにしてもよい。
【００３１】
再生速度生成部５４７は、画像処理回路２３において生成された軌跡合成画像を出力する際の再生速度を生成するものである。この再生速度生成部５４７は、被写体状態検出部３００によって検出された被写体の状態に応じて再生速度を生成する。その際、再生速度生成部５４７は、基準速度検出部５４５によって検出された基準速度を基準として用いることができる。
【００３２】
出力制御部５４８は、画像処理回路２３において生成された軌跡合成画像の出力を制御するものである。この出力制御部５４８は、再生速度生成部５４７によって生成された再生速度によって軌跡合成画像を出力するよう制御する。
【００３３】
図３は、本発明の実施の形態における軌跡生成例を示す図である。ここでは、時刻ｔ−１および時刻ｔにおける物体の軌跡が示されている。ベクトルｖは、時刻ｔ−１から時刻ｔに至る際の動被写体の動きベクトルを表している。この動きベクトルは、被写体状態検出部３００によって検出される。
【００３４】
図３（ａ）における動きベクトルを基準とすると、同図（ｂ）のように、動きベクトルの大きさが大きい場合には、被写体の動きが速いということを意味する。この場合、軌跡合成画像を出力する際には、同図（ａ）の場合よりも遅くした方が、ユーザにとって見易くなると考えられる。通常の場合、軌跡合成画像はスロー再生されることが多いが、被写体の動きが速いときには、さらに遅めのスロー再生とすることが視認性を高める上で効果的である。
【００３５】
一方、同図（ｃ）のように、動きベクトルの大きさが小さい場合には、被写体の動きが遅いということを意味する。この場合、軌跡合成画像を出力する際には、同図（ａ）の場合よりも速くした方が、ユーザにとって見易くなると考えられる。したがって、被写体の動きが遅いときには、通常よりも速めのスロー再生とすることが視認性を高める上で効果的である。
【００３６】
これらを前提として、再生速度生成部５４７は、被写体の動く速度が速いほど再生速度が遅くなるように、また、被写体の動く速度が遅いほど再生速度が速くなるように、再生速度を生成する。
【００３７】
ここで、例えば、１秒当り３０フレームの再生速度を標準的な速度と想定して、再生速度Ｓｐ＝１と定めると、再生速度生成部５４７によって生成される再生速度Ｓｐは次式により求めることができる。但し、｜ｖｍ｜は被写体状態検出部３００において検出された動被写体の動きベクトルの大きさであり、｜ｖｐ｜は基準速度検出部５４５において検出された基準速度である。
Ｓｐ＝｜ｖｐ｜／（｜ｖｍ｜×３０）
【００３８】
｜ｖｐ｜および｜ｖｍ｜の単位は、ともに［ピクセル／秒］である。例えば、動被写体が画像を左から右に横切るようなシーンの場合、画像の横幅を３秒で通過するような再生速度にしたければ、ユーザは基準速度｜ｖｐ｜として「画像の横幅のピクセル数／３秒」の値を設定することになる。
【００３９】
図４は、本発明の実施の形態における撮像装置の画像処理回路２３の一構成例を示す図である。この画像処理回路２３は、フレーム選択部２２０と、背景生成部２３０と、背景画像保持部２６０と、相違度生成部２４０と、軌跡合成部２５０と、軌跡合成画像保持部２７０とを備えている。ここでは、入力画像２１０に対して、例えば図９や図１０のように動被写体の移動する途中の状態を複数枚の軌跡合成画像２９０として表示することを想定している。
【００４０】
フレーム選択部２２０は、入力画像２１０から時系列順にｐ×ｑ画素からなる画像Ｉｔをフレームとして順次選択するものである。選択されたフレームは、信号線２２８を介して、相違度生成部２４０および軌跡合成部２５０に順次供給されていく。また、選択されたフレームは、信号線２２９を介して、背景生成部２３０に供給される。なお、背景生成部２３０に対しては、画像Ｉｔだけでなく、複数の画像に基づいてフレームを背景生成部２３０に供給するようにしてもよい。例えば、画像Ｉｔを中心とした前後の画像Ｉｔ−ｉ乃至Ｉｔ＋ｉに基づいて、それらの頻度から暫定的な背景画像を求めて、その暫定的な背景画像を背景生成部２３０に供給することができる。これにより、背景生成部２３０において精度の高い背景生成を実現することが期待できる。
【００４１】
背景画像保持部２６０は、ｐ×ｑ画素からなる背景画像を保持するものである。この背景画像保持部２６０に保持された背景画像は、信号線２６９を介して背景生成部２３０に供給される。背景生成部２３０は、信号線２６９を介して背景生成部２３０から供給された背景画像Ｂｔ−１の画素値および信号線２２９を介してフレーム選択部２２０から供給されたフレームＩｔの画素値に基づいて新たな背景画像Ｂｔを生成するものである。すなわち、背景生成部２３０は、背景画像保持部２６０に保持される背景画像を新たなフレームによって更新していくことによって、背景画像保持部２６０にその時点の背景画像を保持させる。生成された背景画像は、信号線２３９を介して、相違度生成部２４０および背景画像保持部２６０に供給される。
【００４２】
相違度生成部２４０は、信号線２３９を介して背景生成部２３０から供給された背景画像の画素値と、信号線２２８を介してフレーム選択部２２０から供給されたフレームの画素値との画素位置毎の相違度を生成するものである。すなわち、相違度生成部２４０は、ｐ×ｑ組の対応する画素値同士の距離を算出して、ｐ×ｑ組分の相違度を生成する。
【００４３】
軌跡合成画像保持部２７０は、ｐ×ｑ画素からなる軌跡合成画像を保持するものである。この軌跡合成画像保持部２７０に保持された軌跡合成画像は、信号線２７９を介して軌跡合成部２５０に供給される。軌跡合成部２５０は、信号線２７９を介して軌跡合成画像保持部２７０から供給された軌跡合成画像Ｓｔ−１の画素値と、信号線２２８を介してフレーム選択部２２０から供給されたフレームＩｔの画素値とを合成して新たな軌跡合成画像Ｓｔ（２９０）を生成するものである。すなわち、軌跡合成部２５０は、軌跡合成画像保持部２７０に保持される軌跡合成画像を新たなフレームによって更新していくことによって、軌跡合成画像保持部２７０にその時点の軌跡合成画像を保持させる。
【００４４】
図５は、本発明の実施の形態における画像処理回路２３の背景生成部２３０の一構成例を示す図である。この背景生成部２３０は、背景合成比率生成部２３２と、背景画像更新部２３３とを備えている。
【００４５】
背景合成比率生成部２３２は、信号線２２９を介してフレーム選択部２２０から供給されたフレームと、信号線２６９を介して背景画像保持部２６０から供給された背景画像とから背景画像の合成比率（背景合成比率α）を生成するものである。背景合成比率αの具体的な算出方法としては、例えば、フレームＩｔの画素値と背景画像Ｂｔ−１の画素値との間の相違度が小さい場合にはフレームＩｔの画素値の寄与度が大きくなるように背景合成比率を決定し、または、時間的に近傍の相違度の分散が小さければフレームＩｔの画素値の寄与度を大きくするなど、相違度に基づいて動的に合成比率を決定する方法が考えられる。また、予め固定値として背景合成比率αを定めておいてもよい。
【００４６】
背景画像更新部２３３は、背景合成比率生成部２３２によって生成された背景合成比率αに応じて、信号線２６９を介して背景画像保持部２６０から供給された背景画像を、信号線２２９を介してフレーム選択部２２０から供給されたフレームによって更新するものである。
【００４７】
ここで、座標（ｘ，ｙ）におけるフレームＩｔの画素値をＩ（ｘ，ｙ，ｔ）、同じく背景画像Ｂｔ−１の画素値をＢ（ｘ，ｙ，ｔ−１）とすると、新たな背景画像Ｂｔの画素値Ｂ（ｘ，ｙ，ｔ）は、次式により得られる。
Ｂ（ｘ，ｙ，ｔ）＝α×Ｉ（ｘ，ｙ，ｔ）＋（１−α）×Ｂ（ｘ，ｙ，ｔ−１）
【００４８】
背景画像更新部２３３は、上式の処理を全ての画素に対して行う。
【００４９】
図６は、本発明の実施の形態における画像処理回路２３の相違度生成部２４０の一構成例を示す図である。この相違度生成部２４０は、距離算出部２４１と、距離閾値設定部２０２と、相違度算出部２４２とを備えている。
【００５０】
距離算出部２４１は、信号線２３９を介して背景生成部２３０から供給された背景値と、信号線２２８を介してフレーム選択部２２０から供給された画素値との間の距離を算出するものである。なお、この場合の距離は、例えば色空間上の距離などを意味する。
【００５１】
相違度算出部２４２は、距離算出部２４１によって算出された距離に応じて、背景値と入力画像の画素値との相違度を算出するものである。すなわち、この相違度算出部２４２は、入力画像において動被写体と背景とを区別して、両者が異なるものであることを相違度として示すものである。相違度は、例えば、動被写体に対して「１」、背景に対して「０」が付与されるように算出するものであるが、両者を完全には区別できない場合には、その中間値をとることもある。
【００５２】
相違度を算出する際、相違度算出部２４２は、画像の品質による誤差を考慮して、背景と動被写体とを区別するための距離の閾値（距離閾値）を想定する。すなわち、背景値と入力画像の画素値との間の距離が距離閾値以内であれば両者を完全には区別できないものとして扱い、距離閾値を越える場合には両者は完全に区別できるものとして扱う。その結果、例えば、背景値と入力画像の画素値との間の距離が距離閾値を越える場合には相違度として最大値の「１」が算出され、距離閾値以内の場合には距離に比例するように相違度が算出される。なお、距離閾値は、距離閾値設定部２０２に予め設定される。
【００５３】
図７は、本発明の実施の形態における画像処理回路２３の軌跡合成部２５０の一構成例を示す図である。この軌跡合成部２５０は、軌跡合成比率算出部２５１と、軌跡合成値更新部２５２とを備えている。
【００５４】
軌跡合成比率算出部２５１は、信号線２４９を介して相違度生成部２４０から供給された相違度に基づいて軌跡合成の合成比率（軌跡合成比率β）を生成するものである。軌跡合成比率βの具体的な算出方法としては、例えば、フレームＩｔの画素値と背景画像Ｂｔ−１との相違度が大きい場合には、フレームＩｔの画素値の寄与度が大きくなるような軌跡合成比率を決定することが考えられる。これにより、背景と異なる領域ほど軌跡合成値への寄与率が高くなり、よりはっきりとした動被写体の軌跡を得ることができる。
【００５５】
軌跡合成値更新部２５２は、軌跡合成比率算出部２５１によって生成された軌跡合成比率βに応じて、信号線２７９を介して軌跡合成画像保持部２７０から供給された軌跡合成画像を、信号線２２８を介してフレーム選択部２２０から供給されたフレームによって更新するものである。
【００５６】
ここで、座標（ｘ，ｙ）におけるフレームＩｔの画素値をＩ（ｘ，ｙ，ｔ）、同じく軌跡合成画像Ｓｔ−１の画素値をＳ（ｘ，ｙ，ｔ−１）とすると、新たな軌跡合成画像Ｓｔの画素値Ｓ（ｘ，ｙ，ｔ）は、次式により得られる。
Ｓ（ｘ，ｙ，ｔ）＝β×Ｉ（ｘ，ｙ，ｔ）＋（１−β）×Ｓ（ｘ，ｙ，ｔ−１）
【００５７】
軌跡合成値更新部２５２は、上式の処理を全ての画素に対して行う。
【００５８】
また、他の軌跡合成の手法として、相違度に基づいて２種類の算出規則を用いて軌跡合成比率を算出することが考えられる。すなわち、相違度が小さい背景領域における軌跡合成比率の算出規則を、相違度が大きい動被写体領域の算出規則とは別にして、相違度が小さくてもある程度の軌跡合成比率を与える。これにより、動被写体軌跡領域が古くなればなるほど背景の寄与率が高くなり、動被写体の軌跡がフェードアウトされたように見せることができる。つまり、新しい時刻の軌跡ははっきりしているが、時間が経つにつれて軌跡が背景に溶け込んでフェードアウトしていくようにすることが可能となる。
【００５９】
例えば、図８のような５枚のフレームを合成する際、軌跡をはっきり残したい場合には、軌跡合成比率βとして、相違度が大きい動被写体領域には「１」、相違度が小さい背景領域には「０」を与えれば、図９のような結果を得ることができる。一方、軌跡をフェードアウトさせたい場合には、軌跡合成比率βとして、動被写体領域には「１」、背景領域には「０．３」乃至「０．５」程度を与えれば、図１０のような結果を得ることができる。
【００６０】
図１１は、本発明の実施の形態における軌跡生成部２００による軌跡生成範囲の例を示す図である。この図では、再生方向が順方向の場合、すなわち、撮像時の時間方向と同じ方向に再生する場合の例を示している。なお、軌跡生成開始位置は開始位置検出部５４３によって検出されたものであり、軌跡生成終了位置は終了位置検出部５４４によって検出されたものである。
【００６１】
図１１（ａ）では、軌跡生成開始位置だけが指定されており、軌跡生成終了位置は指定されていない。この場合、入力制御部５４６は被写体状態検出部３００に対して、軌跡生成開始位置から入力画像の供給を順方向（図中の再生方向）に行う。被写体状態検出部３００は、被写体が動いている状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を開始する。
【００６２】
その後、被写体状態検出部３００は、被写体が静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。
【００６３】
すなわち、同図（ａ）の場合、軌跡生成開始位置以降において、被写体が動いている状態に限って入力画像を軌跡生成部２００に供給させることができる。
【００６４】
図１１（ｂ）では、軌跡生成開始位置および軌跡生成終了位置の両者が指定されている。この場合、入力制御部５４６は被写体状態検出部３００に対して、軌跡生成開始位置から入力画像の供給を順方向（図中の再生方向）に行う。被写体状態検出部３００は、被写体が動いている状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を開始する。
【００６５】
その後、被写体状態検出部３００は、被写体が静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。但し、それ以前に軌跡生成終了位置に至った場合には、その時点で入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。
【００６６】
すなわち、同図（ｂ）の場合、軌跡生成開始位置と軌跡生成終了位置との間において、被写体が動いている状態に限って入力画像を軌跡生成部２００に供給させることができる。
【００６７】
図１１（ｃ）では、軌跡生成終了位置だけが指定されており、軌跡生成開始位置は指定されていない。この場合、入力制御部５４６は被写体状態検出部３００に対して、軌跡生成終了位置から逆方向（図中の検索方向）に入力画像の供給を行う。被写体状態検出部３００は、被写体が動いている状態から静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を順方向（図中の再生方向）に開始する。
【００６８】
その後、被写体状態検出部３００は、被写体が静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。但し、それ以前に軌跡生成終了位置に至った場合には、その時点で入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。
【００６９】
すなわち、同図（ｃ）の場合、軌跡生成終了位置から遡って被写体が動いている状態から静止している状態に遷移する変化点が検索され、その変化点を開始位置として入力画像の軌跡生成開始位置以降において、被写体が動いている状態であれば入力画像を軌跡生成部２００に供給させ、被写体が静止している状態であればその供給を停止させることができる。
【００７０】
図１２は、本発明の実施の形態における軌跡生成部２００による軌跡生成範囲の他の例を示す図である。この図では、再生方向が逆方向の場合、すなわち、撮像時の時間方向と反対の方向に再生する場合の例を示している。
【００７１】
図１２（ａ）では、軌跡生成開始位置だけが指定されており、軌跡生成終了位置は指定されていない。この場合、入力制御部５４６は被写体状態検出部３００に対して、軌跡生成開始位置から入力画像の供給を逆方向（図中の再生方向）に行う。被写体状態検出部３００は、被写体が動いている状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を開始する。
【００７２】
その後、被写体状態検出部３００は、被写体が静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。
【００７３】
すなわち、同図（ａ）の場合、軌跡生成開始位置以降において、被写体が動いている状態に限って入力画像を軌跡生成部２００に供給させることができる。
【００７４】
図１２（ｂ）では、軌跡生成開始位置および軌跡生成終了位置の両者が指定されている。この場合、入力制御部５４６は被写体状態検出部３００に対して、軌跡生成開始位置から入力画像の供給を逆方向（図中の再生方向）に行う。被写体状態検出部３００は、被写体が動いている状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を開始する。
【００７５】
その後、被写体状態検出部３００は、被写体が静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。但し、それ以前に軌跡生成終了位置に至った場合には、その時点で入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。
【００７６】
すなわち、同図（ｂ）の場合、軌跡生成開始位置と軌跡生成終了位置との間において、被写体が動いている状態に限って入力画像を軌跡生成部２００に供給させることができる。
【００７７】
図１２（ｃ）では、軌跡生成終了位置だけが指定されており、軌跡生成開始位置は指定されていない。この場合、入力制御部５４６は被写体状態検出部３００に対して、軌跡生成終了位置から順方向（図中の検索方向）に入力画像の供給を行う。被写体状態検出部３００は、被写体が動いている状態から静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を逆方向（図中の再生方向）に開始する。
【００７８】
その後、被写体状態検出部３００は、被写体が静止している状態に遷移したことを検出すると、その旨を入力制御部５４６に伝達する。これにより、入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。但し、それ以前に軌跡生成終了位置に至った場合には、その時点で入力制御部５４６は軌跡生成部２００に対して入力画像の供給を終了する。
【００７９】
すなわち、同図（ｃ）の場合、軌跡生成終了位置から遡って被写体が動いている状態から静止している状態に遷移する変化点が検索され、その変化点を開始位置として入力画像の軌跡生成開始位置以降において、被写体が動いている状態であれば入力画像を軌跡生成部２００に供給させ、被写体が静止している状態であればその供給を停止させることができる。
【００８０】
図１３は、本発明の実施の形態におけるユーザインターフェース（ＧＵＩ）画面の一例を示す図である。ここでは、既存のコンテンツの一部について軌跡合成画像を生成するための画面例が示されている。コンテンツは、ユーザによって撮影されたものであってもよく、また、テレビ番組などを録画したものであってもよい。コンテンツの全体の長さは時間軸６６１に示されている。再生位置６６２は、時間軸６６１における現在の再生位置を示している。
【００８１】
表示部６６３は、再生位置６６２におけるコンテンツの再生画面を表示するものである。操作ボタン６６４乃至６６６は、通常の再生操作の指示を受け取るものである。順方向再生ボタン６６５が押下されると、コンテンツが順方向に再生される。逆方向再生ボタン６６６が押下されると、コンテンツが逆方向に再生される。停止ボタン６６４が押下されると、コンテンツの再生が停止される。再生の進行に伴い、再生位置６６２が更新される。なお、再生位置６６２を操作することにより、コンテンツの再生位置を直接移動することもできる。
【００８２】
軌跡生成開始位置指定ボタン６６７は、軌跡生成開始位置の指定を受け付けるためのボタンである。この軌跡生成開始位置指定ボタン６６７が押下されると、押下時の再生位置６６２が軌跡生成開始位置として設定される。この軌跡生成開始位置は、開始位置検出部５４３によって検出される。
【００８３】
また、軌跡生成終了位置指定ボタン６６８は、軌跡生成終了位置の指定を受け付けるためのボタンである。この軌跡生成終了位置指定ボタン６６８が押下されると、押下時の再生位置６６２が軌跡生成終了位置として設定される。この軌跡生成終了位置は、終了位置検出部５４４によって検出される。
【００８４】
再生方向指定ボタン６７１は、軌跡生成の際の再生方向の指定を受け付けるためのボタンである。この再生方向指定ボタン６７１は、ラジオボタンになっており、順方向または逆方向の何れか一方のみを受け付ける。この再生方向指定ボタン６７１において指定された再生方向は、再生方向検出部５４２によって検出される。
【００８５】
動き連動編集ボタン６７２は、軌跡生成の際に開始または終了を被写体の状態と連動させるか否かを受け付けるためのボタンである。動き連動編集ボタン６７２が選択された場合には、被写体状態検出部３００によって被写体が動いている状態であることが検出されている間に限って、入力制御部５４６は軌跡生成部２００に入力画像を供給する。一方、動き連動編集ボタン６７２が選択されていない場合には、入力制御部５４６は、被写体の状態とは無関係に、軌跡生成開始位置指定ボタン６６７および軌跡生成終了位置指定ボタン６６８の指定に従って、軌跡生成部２００に入力画像を供給する。
【００８６】
軌跡再生開始ボタン６８１は、軌跡合成画像の生成開始の指示を受け付けるためのボタンである。この軌跡再生開始ボタン６８１が押下されると、入力制御部５４６は、軌跡合成画像の再生表示のための上述の動作を開始する。
【００８７】
基準速度設定部６８２は、軌跡合成画像の再生の際の、基準速度の設定を受け付けるためのものである。この基準速度設定部６８２が速い方（図中、上部）に設定されると、軌跡合成画像の再生速度は速くなる。一方、基準速度設定部６８２が遅い方（図中、下部）に設定されると、軌跡合成画像の再生速度は遅くなる。この基準速度設定部６８２によって設定された基準速度は、基準速度検出部５４５によって検出される。
【００８８】
図１４は、本発明の実施の形態における画面表示例を示す図である。ここでは、コンテンツの通常の（軌跡合成画像以外の）再生画面を通常再生画面、軌跡合成画像の再生画面を軌跡再生画面とそれぞれ呼称する。
【００８９】
図１４（ａ）では、通常再生画面６１１の中にピクチャ・イン・ピクチャの形式で軌跡再生画面６１３が表示されている。この場合、通常再生画面６１１および軌跡再生画面６１３を同期させることにより、通常再生と軌跡再生を同一タイミングで表示することができる。また、通常再生画面６１１および軌跡再生画面６１３を同期させない場合には、通常再生を行っている一方で、軌跡再生をスロー再生により表示することができる。なお、同図（ａ）の場合、通常再生画面６１１および軌跡再生画面６１３の組み合わせは逆の関係であってもよい。
【００９０】
図１４（ｂ）では、画面６２１中に通常再生画面６２２および軌跡再生画面６２３が画面分割されて表示されている。この場合においても、通常再生画面６２２および軌跡再生画面６２３は、同期して表示させてもよく、同期せずに表示させることもできる。また、通常再生画面６２２および軌跡再生画面６２３の組み合わせも逆の関係にすることができる。
【００９１】
図１４（ｃ）では、通常再生画面Ａ（６３１）の中に通常再生画面Ｂ（６３２）および軌跡再生画面６３３が表示されている。この場合、通常再生画面Ｂ（６３２）および軌跡再生画面６３３は同期されて、同一タイミングで表示する。一方、通常再生画面Ａ（６３１）は、これらとは同期せずに、通常の再生表示を行う。これにより、例えば、ユーザがある映像を見ている時にスロー再生したいと考えた場合、通常再生画面Ｂ（６３２）に通常のスロー再生を表示させ、軌跡再生画面６３３にスロー軌跡再生を表示させる一方で、通常再生画面Ａ（６３１）にはそれまでユーザが見ていた映像をそのまま表示させる、といった処理を実現することができる。
【００９２】
次に本発明の実施の形態における画像処理装置の動作について図面を参照して説明する。
【００９３】
図１５は、本発明の実施の形態における画像処理方法の処理手順の一例を示す図である。例えば軌跡再生開始ボタン６８１が押下されることにより、軌跡再生の開始が検出されると（ステップＳ９１１）、再生方向検出部５４２、開始位置検出部５４３および終了位置検出部５４４によって、再生方向、軌跡生成開始位置および軌跡生成終了位置がそれぞれ取得される（ステップＳ９１２）。なお、軌跡生成開始位置および軌跡生成終了位置は、何れか一方だけでもよい。
【００９４】
軌跡生成開始位置が取得されなかった場合には（ステップＳ９１３）、被写体状態検出部３００によって再生方向とは反対方向に被写体の状態が探索される（ステップＳ９１４）。例えば、被写体が動いている状態から静止している状態に遷移した位置を軌跡生成開始位置とする。
【００９５】
そして、軌跡合成の対象となるフレームが入力制御部５４６から供給されて（ステップＳ９１５）、軌跡生成部２００によって軌跡合成画像が生成される（ステップＳ９２０）。一方、被写体状態検出部３００によって被写体の状態が検出され（ステップＳ９３１）、これに基づいて再生速度生成部５４７によって再生速度が生成される（ステップＳ９３２）。この生成された再生速度に従って、出力制御部５４８によって軌跡合成画像が再生表示される（ステップＳ９３３）。また、必要に応じて、図１４に示されたような表示画面の合成が行われる（ステップＳ９３４）。
【００９６】
再生のための終了条件が満たされるまで、ステップＳ９１５以降の処理が繰り返される（ステップＳ９３５）。終了条件としては、例えば、被写体が静止している状態に遷移した場合、または、軌跡生成終了位置に至った場合などが考えられる。
【００９７】
図１６は、本発明の実施の形態における軌跡合成画像処理（図１５のステップＳ９２０に相当）の処理手順の一例を示す図である。
【００９８】
軌跡合成の対象として選択されたフレームによって、背景画像保持部２６０における背景画像が更新される（ステップＳ９２１）。この処理は、背景生成部２３０によって行われる。
【００９９】
次に、背景画像および入力画像から両者の相違度が生成される（ステップＳ９２２）。この処理は、相違度生成部２４０によって行われる。
【０１００】
そして、相違度に基づいて軌跡合成画像が更新される（ステップＳ９２３）。この処理は、軌跡合成部２５０によって行われる。
【０１０１】
このように、本発明の実施の形態によれば、被写体状態検出部３００において検出された被写体の状態を入力制御部５４６または出力制御部５４８に反映させることによって、最適な軌跡合成画像の表示を行うことができる。
【０１０２】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１０３】
すなわち、請求項１において、被写体状態検出手段は例えば被写体状態検出部３００に対応する。また、入力制御手段は例えば入力制御部５４６に対応する。また、画像合成手段は例えば軌跡生成部２００に対応する。
【０１０４】
また、請求項３において、背景画像保持手段は例えば背景画像保持部２６０に対応する。また、出力画像保持手段は例えば軌跡合成画像保持部２７０に対応する。また、背景生成手段は例えば背景生成部２３０に対応する。また、相違度生成手段は例えば相違度生成部２４０に対応する。また、出力画像合成手段は例えば軌跡合成部２５０に対応する。
【０１０５】
また、請求項５において、開始検出手段は例えば開始位置検出部５４３に対応する。
【０１０６】
また、請求項６および７において、終了検出手段は例えば終了位置検出部５４４に対応する。
【０１０７】
また、請求項８において、被写体状態検出手段は例えば被写体状態検出部３００に対応する。また、再生速度生成手段は例えば再生速度生成部５４７に対応する。また、出力画像合成手段は例えば軌跡合成部２５０に対応する。また、出力制御手段は例えば出力制御部５４８に対応する。
【０１０８】
また、請求項１０および１２において、入力制御手順は例えばステップＳ９１５に対応する。また、画像合成手順は例えばステップＳ９２０に対応する。また、被写体状態検出手順は例えばステップＳ９３１に対応する。また、繰り返す手順は例えばステップＳ９３５に対応する。
【０１０９】
また、請求項１１および１３において、画像合成手順は例えばステップＳ９２０に対応する。また、被写体状態検出手順は例えばステップＳ９３１に対応する。また、再生速度生成手順は例えばステップＳ９３２に対応する。また、出力制御手順は例えばステップＳ９３３に対応する。
【０１１０】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０１１１】
【図１】本発明の実施の形態における撮像装置の一構成例を示す図である。
【図２】本発明の実施の形態における撮像装置の制御部５４の周辺の一構成例を示す図である。
【図３】本発明の実施の形態における軌跡生成例を示す図である。
【図４】本発明の実施の形態における撮像装置の画像処理回路２３の一構成例を示す図である。
【図５】本発明の実施の形態における画像処理回路２３の背景生成部２３０の一構成例を示す図である。
【図６】本発明の実施の形態における画像処理回路２３の相違度生成部２４０の一構成例を示す図である。
【図７】本発明の実施の形態における画像処理回路２３の軌跡合成部２５０の一構成例を示す図である。
【図８】入力画像の一例を示す図である。
【図９】軌跡合成動画における各フレームの一例を示す図である。
【図１０】軌跡合成動画における各フレームの他の例を示す図である。
【図１１】本発明の実施の形態における軌跡生成部２００による軌跡生成範囲の例を示す図である。
【図１２】本発明の実施の形態における軌跡生成部２００による軌跡生成範囲の他の例を示す図である。
【図１３】本発明の実施の形態におけるユーザインターフェース（ＧＵＩ）画面の一例を示す図である。
【図１４】本発明の実施の形態における画面表示例を示す図である。
【図１５】本発明の実施の形態における画像処理方法の処理手順の一例を示す図である。
【図１６】本発明の実施の形態における軌跡合成画像処理の処理手順の一例を示す図である。
【符号の説明】
【０１１２】
１１ レンズ
１２ 絞り
１３ 撮像素子
２１ サンプリング回路
２２ Ａ／Ｄ変換回路
２３ 画像処理回路
３１ 符号化／復号器
３２ メモリ
４１ Ｄ／Ａ変換回路
４２ ビデオエンコーダ
４３ 表示部
５１ タイミング生成器
５２ 操作入力受付部
５３ ドライバ
５４ 制御部
５９ バス
２００ 軌跡生成部
２０２ 距離閾値設定部
２１０ 入力画像
２２０ フレーム選択部
２３０ 背景生成部
２３２ 背景合成比率生成部
２３３ 背景画像更新部
２４０ 相違度生成部
２４１ 距離算出部
２４２ 相違度算出部
２５０ 軌跡合成部
２５１ 軌跡合成比率算出部
２５２ 軌跡合成値更新部
２６０ 背景画像保持部
２７０ 軌跡合成画像保持部
２９０ 軌跡合成画像
３００ 被写体状態検出部
５２１ 撮影操作受付部
５４１ 入力検出部
５４２ 再生方向検出部
５４３ 開始位置検出部
５４４ 終了位置検出部
５４５ 基準速度検出部
５４６ 入力制御部
５４７ 再生速度生成部
５４８ 出力制御部
【特許請求の範囲】
【請求項１】
時系列に入力される入力画像における被写体の状態を検出する被写体状態検出手段と、
前記検出された被写体の状態に応じて前記入力画像の供給を制御する入力制御手段と、
前記入力制御手段から供給された入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記出力画像は前記被写体の軌跡を示す画像であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像合成手段は、
背景画像の画素値を保持する背景画像保持手段と、
出力画像の画素値を保持する出力画像保持手段と、
前記背景画像保持手段に保持される前記背景画像の画素値を前記入力画像の対応する画素位置の画素値によって所定の比率に基づいて更新する背景生成手段と、
前記入力画像の画素値が前記背景生成手段によって更新された前記背景画像の対応する画素位置の画素値と相違する程度を示す相違度を生成する相違度生成手段と、
前記出力画像の画素値について前記相違度に応じて前記入力画像の対応する画素位置の画素値を合成して新たな出力画像の画素値として前記出力画像保持手段に保持させる出力画像合成手段とを具備する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記被写体状態検出手段は、前記被写体の状態として前記被写体の動きを検出し、
前記入力制御手段は、前記被写体が動いている状態であれば前記入力画像を供給し、前記被写体が静止している状態であれば前記入力画像の供給を停止する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記入力画像における前記合成の開始位置の指定を検出する開始検出手段をさらに具備し、
前記入力制御手段は、前記入力画像の前記開始位置以降において、前記被写体が動いている状態であれば前記入力画像を供給し、前記被写体が静止している状態であれば前記入力画像の供給を停止する
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記入力画像における前記合成の終了位置の指定を検出する終了検出手段をさらに具備し、
前記入力制御手段は、前記入力画像の前記開始位置と前記終了位置との間において、前記被写体が動いている状態であれば前記入力画像を供給し、前記被写体が静止している状態であれば前記入力画像の供給を停止する
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記入力画像における前記合成の終了位置の指定を検出する終了検出手段をさらに具備し、
前記入力制御手段は、前記終了位置から遡って前記被写体が動いている状態から静止している状態に遷移する変化点を検索し、前記変化点を開始位置として前記入力画像の前記開始位置以降において、前記被写体が動いている状態であれば前記入力画像を供給し、前記被写体が静止している状態であれば前記入力画像の供給を停止する
ことを特徴とする請求項４記載の画像処理装置。
【請求項８】
時系列に入力される入力画像における被写体の状態を検出する被写体状態検出手段と、
前記検出された被写体の状態に応じて再生速度を生成する再生速度生成手段と、
前記入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手段と、
前記再生速度に基づいて前記出力画像を再生する出力制御手段と
を具備することを特徴とする画像処理装置。
【請求項９】
前記被写体状態検出手段は、前記被写体の状態として前記被写体の動きを検出し、
前記再生速度生成手段は、前記被写体の動く速度が速いほど前記再生速度が遅くなるようにする
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
時系列に入力される入力画像を供給する入力制御手順と、
前記供給された入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手順と、
前記入力画像における被写体の状態を検出する被写体状態検出手順と、
前記被写体の状態が所定の状態である限り前記入力制御手順、前記画像合成手順および前記被写体状態検出手順を繰り返す手順と
を具備することを特徴とする画像処理方法。
【請求項１１】
時系列に入力される入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手順と、
前記入力画像における被写体の状態を検出する被写体状態検出手順と、
前記検出された被写体の状態に応じて再生速度を生成する再生速度生成手順と、
前記再生速度に基づいて前記出力画像を再生する出力制御手順と
を具備することを特徴とする画像処理方法。
【請求項１２】
時系列に入力される入力画像を供給する入力制御手順と、
前記供給された入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手順と、
前記入力画像における被写体の状態を検出する被写体状態検出手順と、
前記被写体の状態が所定の状態である限り前記入力制御手順、前記画像合成手順および前記被写体状態検出手順を繰り返す手順と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
時系列に入力される入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手順と、
前記入力画像における被写体の状態を検出する被写体状態検出手順と、
前記検出された被写体の状態に応じて再生速度を生成する再生速度生成手順と、
前記再生速度に基づいて前記出力画像を再生する出力制御手順と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
時系列に入力される入力画像における被写体の状態を検出する被写体状態検出手段と、
前記検出された被写体の状態に応じて前記入力画像の供給を制御する入力制御手段と、
前記入力制御手段から供給された入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記出力画像は前記被写体の軌跡を示す画像であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像合成手段は、
背景画像の画素値を保持する背景画像保持手段と、
出力画像の画素値を保持する出力画像保持手段と、
前記背景画像保持手段に保持される前記背景画像の画素値を前記入力画像の対応する画素位置の画素値によって所定の比率に基づいて更新する背景生成手段と、
前記入力画像の画素値が前記背景生成手段によって更新された前記背景画像の対応する画素位置の画素値と相違する程度を示す相違度を生成する相違度生成手段と、
前記出力画像の画素値について前記相違度に応じて前記入力画像の対応する画素位置の画素値を合成して新たな出力画像の画素値として前記出力画像保持手段に保持させる出力画像合成手段とを具備する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記被写体状態検出手段は、前記被写体の状態として前記被写体の動きを検出し、
前記入力制御手段は、前記被写体が動いている状態であれば前記入力画像を供給し、前記被写体が静止している状態であれば前記入力画像の供給を停止する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記入力画像における前記合成の開始位置の指定を検出する開始検出手段をさらに具備し、
前記入力制御手段は、前記入力画像の前記開始位置以降において、前記被写体が動いている状態であれば前記入力画像を供給し、前記被写体が静止している状態であれば前記入力画像の供給を停止する
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記入力画像における前記合成の終了位置の指定を検出する終了検出手段をさらに具備し、
前記入力制御手段は、前記入力画像の前記開始位置と前記終了位置との間において、前記被写体が動いている状態であれば前記入力画像を供給し、前記被写体が静止している状態であれば前記入力画像の供給を停止する
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記入力画像における前記合成の終了位置の指定を検出する終了検出手段をさらに具備し、
前記入力制御手段は、前記終了位置から遡って前記被写体が動いている状態から静止している状態に遷移する変化点を検索し、前記変化点を開始位置として前記入力画像の前記開始位置以降において、前記被写体が動いている状態であれば前記入力画像を供給し、前記被写体が静止している状態であれば前記入力画像の供給を停止する
ことを特徴とする請求項４記載の画像処理装置。
【請求項８】
時系列に入力される入力画像における被写体の状態を検出する被写体状態検出手段と、
前記検出された被写体の状態に応じて再生速度を生成する再生速度生成手段と、
前記入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手段と、
前記再生速度に基づいて前記出力画像を再生する出力制御手段と
を具備することを特徴とする画像処理装置。
【請求項９】
前記被写体状態検出手段は、前記被写体の状態として前記被写体の動きを検出し、
前記再生速度生成手段は、前記被写体の動く速度が速いほど前記再生速度が遅くなるようにする
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
時系列に入力される入力画像を供給する入力制御手順と、
前記供給された入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手順と、
前記入力画像における被写体の状態を検出する被写体状態検出手順と、
前記被写体の状態が所定の状態である限り前記入力制御手順、前記画像合成手順および前記被写体状態検出手順を繰り返す手順と
を具備することを特徴とする画像処理方法。
【請求項１１】
時系列に入力される入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手順と、
前記入力画像における被写体の状態を検出する被写体状態検出手順と、
前記検出された被写体の状態に応じて再生速度を生成する再生速度生成手順と、
前記再生速度に基づいて前記出力画像を再生する出力制御手順と
を具備することを特徴とする画像処理方法。
【請求項１２】
時系列に入力される入力画像を供給する入力制御手順と、
前記供給された入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手順と、
前記入力画像における被写体の状態を検出する被写体状態検出手順と、
前記被写体の状態が所定の状態である限り前記入力制御手順、前記画像合成手順および前記被写体状態検出手順を繰り返す手順と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
時系列に入力される入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手順と、
前記入力画像における被写体の状態を検出する被写体状態検出手順と、
前記検出された被写体の状態に応じて再生速度を生成する再生速度生成手順と、
前記再生速度に基づいて前記出力画像を再生する出力制御手順と
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００８−２１１１０（Ｐ２００８−２１１１０Ａ）
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００６−１９２０３７（Ｐ２００６−１９２０３７）
【出願日】平成１８年７月１２日（２００６．７．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１８年７月１２日（２００６．７．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]