画像処理装置及び画像処理方法
【課題】映像を見たユーザが被写体の直近の行動の内容を容易に把握することを可能とすること。
【解決手段】映像を構成する入力画像を順次取得する取得部と、前記取得部により取得された１つの入力画像と当該入力画像より前に取得された入力画像との間で差分が生じている差分領域を検出する検出部と、前記差分領域を含む部分画像であって２以上の時点の入力画像の当該部分画像を合成することにより、被写体の行動を表現する行動画像を生成する行動画像生成部と、前記行動画像生成部により生成された前記行動画像を入力画像に重畳する重畳部と、を備える画像処理装置を提供する。
【解決手段】映像を構成する入力画像を順次取得する取得部と、前記取得部により取得された１つの入力画像と当該入力画像より前に取得された入力画像との間で差分が生じている差分領域を検出する検出部と、前記差分領域を含む部分画像であって２以上の時点の入力画像の当該部分画像を合成することにより、被写体の行動を表現する行動画像を生成する行動画像生成部と、前記行動画像生成部により生成された前記行動画像を入力画像に重畳する重畳部と、を備える画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
通信ネットワークの高度化に伴い、離れた場所において撮影された映像をネットワーク経由で伝送してその場所の様子を視覚的に確認することが容易となっている。こうした映像の伝送は、例えば、勤務形態の一種としてのテレワークや、要介護者の遠隔モニタリングなど、様々な分野で応用されている。例えば、離れた場所同士で互いの映像を伝送し合うことで、テレワークを行う作業者の業務への参加意識を高め、又は要介護者の孤独感を和らげるといった効果も期待される。
【０００３】
図１４は、典型的な遠隔映像伝送システムの概要を示す模式図である。図１４を参照すると、遠隔映像伝送システムは、ネットワーク１０を介して互いに接続された情報処理装置２０と情報処理装置３０とを含む。ネットワーク１０は、例えばインターネット、専用線、ＬＡＮ（Local Area Network）、又はＶＰＮ（Virtual Private Network）などの任意のネットワークであってよい。情報処理装置２０及び３０は、例えば、ＰＣ（Personal Computer）やワークステーションなどの汎用的なコンピュータであってもよく、又は映像伝送用の専用の装置であってもよい。情報処理装置２０及び３０は、それぞれ撮影装置と表示装置とに接続されており、情報処理装置２０又は３０のうちのいずれかの側の撮影装置を用いて撮影された映像が、ネットワーク１０を介して伝送され、他方の側の表示装置に表示される。
【０００４】
図１５は、図１４に例示した遠隔映像伝送システムにおいて撮影される映像の一例を示す説明図である。図１５を参照すると、時刻ｔ＝１、ｔ＝２、及びｔ＝３においてそれぞれ撮影された３枚の画像Ｆ０１、Ｆ０２、及びＦ０３が示されている。まず、時刻ｔ＝１では、デスクの周囲に位置する２人の被写体が画像Ｆ０１に映っている。その後、時刻ｔ＝２の時点では、さらに３人目の被写体が画像Ｆ０２の左側に映っている。さらに、時刻ｔ＝３の時点では、上記３人目の被写体が画像Ｆ０３の中で矢印３０の方向に移動している。その後、例えば、撮影される画像の内容は、画像Ｆ０３の状態で一定期間継続され得る。
【０００５】
このような遠隔映像伝送システムで結ばれた遠隔地同士で会話を交わす場合には、通常、ユーザは、固定電話又はＩＰ電話などを用いて通話を行う。例えば、ユーザは、図１５に示した画像Ｆ０１〜Ｆ０３を見て通話相手の在席状況を確認して電話をかけることができる。これに対し、例えば下記特許文献１では、撮影された映像からユーザが通話を希望する通話相手の在席状況を自動的に認識し、在席状況が変化した時点でユーザに視覚的又は聴覚的に報知を行うシステムが提案されている。また、下記特許文献２では、通話相手が不在の場合に通話の予約を行うことを可能にし、通話相手が席に戻ってきた時点で自動的に電話接続を行うシステムが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−２４９５４５号公報
【特許文献２】特開平３−２３６６６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１及び２に記載されたシステムでは、ユーザは、通話相手の在席又は不在という状況を知ることはできるものの、通話相手の直近の行動の内容を具体的に把握することは困難である。例えば、通話相手の手がふさがっている状況又は他のユーザと会話をしている状況などにおいては、電話をかけるのを避けることが望ましい場合がある。また、伝送されてきた映像を単純に表示しているだけでは、画面に常に注目していない限り、通話相手が不在であったとしても、直前まで在席していたのか当分の間不在なのかといった事情を知ることができない。そのため、ユーザは、どのタイミングで通話相手に電話をかけるべきかという判断をすることが難しい。
【０００８】
そこで、本発明は、映像を見たユーザが被写体の直近の行動の内容を容易に把握することのできる、新規かつ改良された画像処理装置及び画像処理方法を提供しようとするものである。
【課題を解決するための手段】
【０００９】
本発明のある実施形態によれば、映像を構成する入力画像を順次取得する取得部と、上記取得部により取得された１つの入力画像と当該入力画像より前に取得された入力画像との間で差分が生じている差分領域を検出する検出部と、上記差分領域を含む部分画像であって２以上の時点の入力画像の当該部分画像を合成することにより、被写体の行動を表現する行動画像を生成する行動画像生成部と、上記行動画像生成部により生成された上記行動画像を入力画像に重畳する重畳部と、を備える画像処理装置が提供される。
【００１０】
また、上記行動画像生成部は、複数の入力画像に連続して映っている被写体の行動について一連の複数の行動画像を生成してもよい。
【００１１】
また、上記行動画像生成部は、第１の時点の入力画像の部分画像に当該第１の時点と第２の時点の間の複数の時点の入力画像の部分画像を合成比率を変えながら順次合成することにより、上記一連の複数の行動画像を生成してもよい。
【００１２】
また、上記行動画像生成部は、第１の時点の入力画像の部分画像に第２の時点の入力画像の部分画像を合成比率を変えながら複数回合成することにより、上記一連の複数の行動画像を生成してもよい。
【００１３】
また、上記重畳部は、上記行動画像生成部により生成された１つの行動画像を、所定の期間の入力画像にわたって連続して重畳してもよい。
【００１４】
また、上記重畳部は、被写体の行動について生成された上記一連の複数の行動画像を複数回繰り返して入力画像に重畳してもよい。
【００１５】
また、上記重畳部は、上記１つの行動画像を連続して重畳するための上記所定の期間を、時間の経過に応じて変化させてもよい。
【００１６】
また、本発明の別の実施形態によれば、映像を構成する入力画像を順次取得するステップと、取得された１つの入力画像と当該入力画像より前に取得された入力画像との間で差分が生じている差分領域を検出するステップと、上記差分領域を含む部分画像であって２以上の時点の入力画像の当該部分画像を合成することにより、被写体の行動を表現する行動画像を生成するステップと、生成された上記行動画像を入力画像に重畳するステップと、を含む画像処理方法が提供される。
【発明の効果】
【００１７】
以上説明したように、本発明に係る画像処理装置及び画像処理方法によれば、映像を見たユーザが被写体の直近の行動の内容を容易に把握することが可能となる。例えば、被写体が静止する直前の映像が表示されることにより、静止に至る時間が表現されることに加えて、ユーザは、静止に至るまでの被写体の行動の方向も把握することができる。また、ユーザは、被写体が静止状態から移動していく行動も把握することができる。
【図面の簡単な説明】
【００１８】
【図１】一実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】一実施形態に係る差分検出処理について説明するための説明図である。
【図３】一実施形態に係る行動画像生成部のより具体的な構成の一例を示すブロック図である。
【図４】一実施形態に係る行動判定処理について説明するための説明図である。
【図５】行動画像生成処理の対象とする部分画像の範囲の一例を示す説明図である。
【図６】一実施形態に係る行動画像生成処理について説明するための説明図である。
【図７】一変形例に係る行動画像生成処理について説明するための説明図である。
【図８】一実施形態に係る画像重畳処理について説明するための説明図である。
【図９】一実施形態に係る画像重畳処理のハードウェア構成の一例を示すブロック図である。
【図１０】一実施形態に係る画像処理の全体の流れを示すフローチャートである。
【図１１】一実施形態に係る差分検出処理の流れを示すフローチャートである。
【図１２】一実施形態に係る行動画像生成処理の流れを示すフローチャートである。
【図１３】一実施形態に係る画像重畳処理の流れを示すフローチャートである。
【図１４】典型的な遠隔映像伝送システムの一例を示す模式図である。
【図１５】典型的な遠隔映像伝送システムにおいて撮影される映像の一例を示す説明図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
＜１．一実施形態に係る画像処理装置の構成の説明＞
まず、図１は、本発明の一実施形態に係る画像処理装置１００の論理的な構成を示すブロック図である。
【００２１】
画像処理装置１００は、例えば、図１４に示した情報処理装置２０又は３０と同様、ネットワークを介して取得した映像又は撮影装置から入力された映像を処理し、処理後の映像を出力する情報処理装置であってもよい。画像処理装置１００は、例えば、ＰＣやワークステーションなどの汎用的なコンピュータであってもよく、又は画像処理専用の装置であってもよい。図１を参照すると、画像処理装置１００は、映像取得部１１０、差分検出部１２０、記憶部１３０、行動画像生成部１４０、及び画像重畳部１５０を備える。
【００２２】
映像取得部１１０は、例えば、映像を構成する一連の入力画像を時系列で順次取得し、差分検出部１２０及び画像重畳部１５０へ出力する。映像取得部１１０は、例えば、図１４に関連して説明した任意のネットワークを介して他の装置から一連の入力画像を取得してもよい。その代わりに、映像取得部１１０は、例えば、画像処理装置１００に接続されたビデオカメラなどの撮影装置、又はハードディスクドライブなどの記憶装置から一連の入力画像を取得してもよい。
【００２３】
差分検出部１２０は、映像取得部１１０により取得される一連の入力画像のうち、注目する１つの入力画像とその入力画像より前に取得された入力画像との間で差分が生じている差分領域を検出する。そして、差分検出部１２０は、例えば、差分領域を検出した場合には、検出した差分領域を含む所定の範囲の入力画像の部分画像（以下、差分画像という）を、記憶部１３０に記憶させる。また、差分検出部１２０は、例えば、上記差分画像と同一の範囲の前の入力画像の部分画像を、差分元画像として記憶部１３０に記憶させる。さらに、差分検出部１２０は、例えば、検出した差分領域の範囲を特定するための座標データを、記憶部１３０に記憶させる。
【００２４】
図２は、本実施形態に係る差分検出部１２０による差分検出処理についてより具体的に説明するための説明図である。
【００２５】
まず、図２の上段には、時刻ｔ＝１及びｔ＝２における入力画像Ｆ１１及びＦ１２が示されている。入力画像Ｆ１１及びＦ１２を参照すると、時刻ｔ＝１からｔ＝２の間に、被写体が入力画像の左上から真ん中やや右に移動したことが分かる。差分検出部１２０は、例えば、入力画像Ｆ１１の次に入力画像Ｆ１２が入力されると、入力画像Ｆ１１と入力画像Ｆ１２との間で画素値の差分を計算する。
【００２６】
図２の中段には、差分検出部１２０による入力画像Ｆ１１と入力画像Ｆ１２との間の画素値の差分計算結果が示されている。差分計算結果を参照すると、矩形の領域Ｒ１２において、画素値の差分が生じている。このように、注目する１つの入力画像とその入力画像よりも前に取得された入力画像との間で差分が生じている領域を、本明細書では差分領域という。差分領域の形状は矩形に限定されず、例えば円形や多角形などであってもよい。差分領域の形状が矩形である場合には、例えば、左上の頂点の二次元座標、矩形の幅及び高さにより、差分領域の範囲を特定することができる。なお、画素値の差分が生じている面積が一定の大きさよりも小さい場合（例えば図２の差分計算結果におけるＺ１２など）には、当該差分について差分領域を設定しないのが好適である。それにより、例えば、画素ごとのちらつきなどを原因とする誤差の影響が排除される。
【００２７】
図２の下段には、上述した差分計算結果に応じて抽出される差分画像Ｄ１２及び差分元画像ＤＸ１２が示されている。差分画像Ｄ１２は、注目する入力画像Ｆ１２における、上記差分領域Ｒ１２に対応する範囲の部分画像である。一方、差分元画像ＤＸ１２は、注目する入力画像Ｆ１２との間で差分が計算された入力画像Ｆ１１における、上記差分領域Ｒ１２に対応する範囲の部分画像である。差分検出部１２０は、かかる差分画像Ｄ１２及び差分元画像ＤＸ１２、並びに差分領域の範囲を特定するための座標データ（例えば上述した二次元座標、矩形の幅及び高さ）を記憶部１３０に記憶させる。
【００２８】
記憶部１３０は、例えばハードディスクや半導体メモリなどの任意の記録媒体を用いて、例えば上述した差分画像、差分元画像、差分領域の範囲を特定するための座標データ、及び入力画像などを時系列で記憶する。また、記憶部１３０は、例えば画像処理装置１００による処理を記述したプログラムや当該プログラムに使用される任意のデータを記憶していてもよい。
【００２９】
行動画像生成部１４０は、差分検出部１２０により抽出された２以上の時点の差分画像若しくは差分元画像、又はそれらを含む所定の範囲の部分画像を合成することにより、被写体の行動を表現する行動画像を生成する。以下、行動画像生成部１４０が複数の入力画像に連続して映っている被写体の１まとまりの行動について一連の複数の行動画像を生成する場合について説明する。即ち、この場合、行動画像生成部１４０は、紙芝居のように被写体の行動を表現することのできる複数の行動画像を生成する。
【００３０】
図３は、本実施形態に係る行動画像生成部１４０の詳細な構成の一例を示すブロック図である。図３を参照すると、行動画像生成部１４０は、行動判定部１４２及び合成部１４４を有する。
【００３１】
行動判定部１４２は、所定の閾値を超える数の連続する入力画像において、差分検出部１２０により検出された差分領域が継続して１つの場所又はその近傍に留まっているか否かを判定する。ここで、行動判定部１４２は、後述するように、差分領域が１つの場所又はその近傍に留まっている期間の長さ（入力画像の数を尺度とする）を、滞留値という値を用いて計測する。そして、滞留値が所定の閾値を超えた場合には、行動判定部１４２は、その期間における被写体の行動を１単位の行動として認識し、後述する合成部１４４に１単位の行動を表現する一連の行動画像を生成させる。
【００３２】
図４は、本実施形態に係る行動判定部１４２による行動判定処理についてより具体的に説明するための説明図である。
【００３３】
図４を参照すると、時刻ｔ＝０、１、２、及びｎの各時点における入力画像Ｆ２０、Ｆ２１、Ｆ２２、及びＦ２ｎが示されている。また、入力画像Ｆ２０については、時刻ｔ＝１において差分検出部１２０により抽出された差分元画像ＤＸ２１の範囲を示す点線枠が示されている。また、入力画像Ｆ２１、Ｆ２２、及びＦ２ｎについては、時刻ｔ＝１、２、及びｎにおいて差分検出部１２０によりそれぞれ抽出された差分画像Ｄ２１、Ｄ２２、及びＤ２ｎの範囲を示す点線枠が示されている。
【００３４】
かかる例において、行動判定部１４２は、まず、時刻ｔ＝１〜ｎまでの各時点にて、その時点の入力画像の差分画像と、記憶部１３０に記憶されている最も古い差分元画像（以下、初回差分元画像という）との間で重複する範囲に差分が存在するか否かを調べる。図４の場合、差分元画像ＤＸ２１が初回差分元画像となる。例えば、時刻ｔ＝１においては、差分画像Ｄ２１と初回差分元画像ＤＸ２１との間に差分が存在することは自明である。このとき、行動判定部１４２は、例えば滞留値ＲＶ＝１とする。次に、時刻ｔ＝２において、差分画像Ｄ２２と初回差分元画像ＤＸ２１との間には、差分領域Ｒ２２と差分領域Ｒ２１の重複部分に差分が存在する。そこで、行動判定部１４２は、例えば滞留値ＲＶを加算（インクリメント）してＲＶ＝２とする。その後、同様の処理が繰り返された後、時刻ｔ＝ｎにおいて例えば滞留値ＲＶ（＝ｎ）が所定の閾値Ｔｈ１を超えたとする。そうした場合には、行動判定部１４２は、例えば、時刻ｔ＝１〜ｎの間に差分領域が継続して１つの場所又はその近傍に留まっていると判定することができる。そうすると、行動判定部１４２は、時刻ｔ＝１〜ｎの間の被写体の行動を１単位の行動として認識し、合成部１４４に１単位の行動を表現する一連の行動画像を生成させる。なお、上述した所定の閾値Ｔｈ１は、例えば、１単位の行動を認識させたい時間をＴ、入力画像のフレームレートをＲとすると、Ｔｈ１＝Ｔ×Ｒなどとして与えられる。
【００３５】
合成部１４４は、行動判定部１４２による判定処理により認識された被写体の１単位の行動について、２以上の時点の入力画像の部分画像を合成することにより、当該行動を表現する一連の行動画像を生成する。
【００３６】
図５は、合成部１４４による合成に用いられる部分画像の範囲の一例を示す説明図である。図５を参照すると、図４に示した初回差分元画像ＤＸ２１を含む入力画像Ｆ２０、及び差分画像Ｄ２ｎを含む入力画像Ｆ２ｎが示されている。初回差分元画像ＤＸ２１の範囲は差分領域Ｒ２１の範囲に一致する。また、差分画像Ｄ２ｎの範囲は差分領域Ｒ２ｎの範囲に一致する。この場合、合成部１４４による合成に用いられる部分画像の範囲は、例えば、差分領域Ｒ２１と差分領域Ｒ２ｎとを共に含む矩形領域ＡＲ２１とすることができる。かかる矩形領域ＡＲ２１の範囲は、例えば、上述した座標データを用いて決定され得る。
【００３７】
図６は、合成部１４４による合成処理について説明するための説明図である。図６の例では、合成部１４４は、第１の時点の入力画像の部分画像に当該第１の時点と第２の時点の間の複数の時点の入力画像の部分画像を合成比率を変えながら順次合成することにより、一連の複数の行動画像を生成する。例えば、第１の時点は時刻ｔ＝０、第２の時点は時刻ｔ＝ｎにそれぞれ対応する。また、第１の時点と第２の時点の間の複数の時点とは、時刻ｔ＝１、２、…、ｎに対応する。まず、図６の上段には、上記矩形領域ＡＲ２１の範囲の時刻ｔ＝０、１、２、及びｎにおける入力画像の部分画像Ｐ２０、Ｐ２１、Ｐ２２、及びＰ２ｎが示されている。そして、合成部１４４は、まず、部分画像Ｐ２１を部分画像Ｐ２０と合成し、最初の行動画像Ａ２１を生成する。次に、合成部１４４は、部分画像Ｐ２２を部分画像Ｐ２０と合成し、２番目の行動画像Ａ２２を生成する。その後、同様の処理が繰り返された後、合成部１４４は、部分画像Ｐ２ｎを部分画像Ｐ２０と合成し、ｎ番目の行動画像Ａ２ｎを生成する。このとき、合成部１４４は、例えば部分画像Ｐ２０に対して合成する部分画像が新しくなるに従い、新しい部分画像の部分画像Ｐ２０に対する合成比率を高くする。その結果、行動画像の中で行動する被写体の濃度が時間の経過に従って徐々に濃くなっていくような一連の行動画像が生成される。合成部１４４は、このように生成した一連の複数の行動画像Ａ２１〜Ａ２ｎを記憶部１３０に出力してもよい。
【００３８】
図７は、合成部１４４による行動画像生成処理の変形例について説明するための説明図である。図７の例では、合成部１４４は、第１の時点の入力画像の部分画像に第２の時点の入力画像の部分画像を合成比率を変えながら複数回合成することにより、一連の複数の行動画像を生成する。例えば、第１の時点は時刻ｔ＝０、第２の時点は時刻ｔ＝ｎにそれぞれ対応する。まず、図７の上段には、矩形領域ＡＲ２１の範囲の時刻ｔ＝０及びｔ＝ｎにおける入力画像の部分画像Ｐ２０及びＰ２ｎが示されている。そして、合成部１４４は、まず、第１の合成比率を用いて部分画像Ｐ２ｎを部分画像Ｐ２０と合成し、最初の行動画像Ａ３１を生成する。次に、合成部１４４は、第２の合成比率を用いて部分画像Ｐ２ｎを部分画像Ｐ２０と合成し、２番目の行動画像Ａ３２を生成する。その後、同様の処理が繰り返された後、合成部１４４は、第ｎの合成比率を用いて部分画像Ｐ２ｎを部分画像Ｐ２０と合成し、ｎ番目の行動画像Ａ３ｎを生成する。このとき、例えば、第１〜第ｎの合成比率について、後の合成比率ほど、部分画像Ｐ２ｎの部分画像Ｐ２０に対する合成比率を高くする。その結果、行動画像の中で時間の経過に従って被写体が徐々に濃く浮き上がって見えるような一連の行動画像が生成される。合成部１４４は、このように生成した一連の複数の行動画像Ａ３１〜Ａ３ｎを記憶部１３０に出力してもよい。
【００３９】
行動画像生成部１４０は、例えば図６又は図７を用いて説明した手法に従って合成部１４４により生成された一連の複数の行動画像を、記憶部１３０に記憶させる。
【００４０】
図１に戻り、本実施形態に係る画像処理装置１００の論理的な構成についての説明を継続する。
【００４１】
画像重畳部１５０は、例えば、行動画像生成部１４０により生成された行動画像を記憶部１３０から取得し、取得した行動画像を映像取得部１１０により新たに取得された入力画像に重畳する。このとき、画像重畳部１５０は、例えば、行動画像生成部１４０により生成された１つの行動画像を、所定の期間の入力画像にわたって連続して重畳してもよい。また、画像重畳部１５０は、１単位の行動について生成された一連の行動画像を、複数回繰り返して入力画像に重畳してもよい。さらに、画像重畳部１５０は、例えば、１つの行動画像を連続して重畳するための上記所定の期間を、時間の経過に応じて変化させてもよい。そして、画像重畳部１５０は、行動画像を重畳した出力画像を、例えば、画像処理装置１００に接続されている表示装置に表示させ、ネットワークを介して他の装置へ送出し、又は所定の記憶装置に記憶させる。
【００４２】
図８は、本実施形態に係る画像重畳部１５０による画像重畳処理についてより具体的に説明するための説明図である。
【００４３】
図８の上段には、図６を用いて説明した、行動画像生成部１４０により生成された一連の行動画像Ａ２１〜Ａ２ｎが示されている。また、図８の下段には、入力画像に各行動画像を重畳して生成される出力画像が示されている。
【００４４】
かかる例において、画像重畳部１５０は、例えば、時刻ｔ＝ｍ＋１から時刻ｔ＝ｍ＋ｋの期間にわたって、行動画像Ａ２１を連続して入力画像に重畳している。同様に、画像重畳部１５０は、例えば、時刻ｔ＝ｍ＋ｋ＋１から時刻ｔ＝ｍ＋２ｋ＋１の期間にわたって、行動画像Ａ２２を連続して入力画像に重畳している。このように、１つの行動画像を所定の期間の入力画像にわたって連続して重畳することにより、ユーザに表示される出力画像において被写体の行動がゆっくりとした速度で表示されるため、出力画像を見たユーザが被写体の行動を認識することが容易となる。
【００４５】
また、図８の例において、画像重畳部１５０は、一連の行動画像Ａ２１〜Ａ２ｎの入力画像への重畳を終了した後、再び行動画像Ａ２１の入力画像への重畳を開始している。このように、一連の行動画像の入力画像への重畳を複数回繰り返すことにより、ユーザが出力画像において被写体の行動を一度見逃した場合にも、その行動を認識できる余地を再びユーザに与えることができる。
【００４６】
また、図８の例において、画像重畳部１５０は、一連の行動画像のうちの１つの行動画像を連続して重畳する期間を、時間の経過に応じて変化させている。例えば、行動画像Ａ２１が連続して重畳される期間がｋであるのに対し、行動画像Ａ２２が連続して重畳される期間はｋ＋１となっている。このように、例えば、一連の行動画像のうち時間的に後の行動画像ほど、連続して入力画像に重畳する期間を長く設定してもよい。そうした場合には、ユーザは、行動画像が表示される表示速度から、被写体の行動における時間の経過を容易に把握することができる。それにより、例えば、ユーザにとって、被写体である通話相手に対して電話をかけるタイミングを図ることが容易となる。
【００４７】
ここまで、図１〜図８を用いて、本発明の一実施形態に係る画像処理装置１００の論理的な構成について説明した。次に、図９を用いて、画像処理装置１００のハードウェア構成の一例について説明する。
【００４８】
図９は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。
【００４９】
図９において、ＣＰＵ（Central Processing Unit）９０２は、画像処理装置１００の動作全般を制御する。ＲＯＭ（Read Only Memory）９０４には、一連の処理の一部又は全部を記述したプログラム又はデータが格納される。ＲＡＭ（Random Access Memory）９０６には、処理の実行時にＣＰＵ９０２により用いられるプログラムやデータなどが一時的に記憶される。
【００５０】
ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６は、バス９１０を介して相互に接続される。バス９１０にはさらに、入出力インタフェース９１２が接続される。入出力インタフェース９１２は、ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６と、表示装置９２０、撮影装置９２２、記憶装置９２４、入力装置９２６、及び通信インタフェース９２８とを接続するためのインタフェースである。
【００５１】
表示装置９２０は、例えばＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ、ＰＤＰ（Plasma Display Panel）、又はＯＬＥＤ（Organic Light Emitting Diode）などを用いて、上述した行動画像が重畳された出力画像をユーザに表示することができる。撮影装置９２２は、典型的にはビデオカメラに相当し、複数の画像により構成される映像を撮影することができる。記憶装置９２４は、例えばハードディスクドライブ又は半導体メモリなどの記録媒体を用いて、画像データ、プログラム、又はプログラムデータなどを記憶する。入力装置９２６は、例えばボタン、スイッチ、レバー、マウスやキーボードなどのユーザインタフェースを介して、ユーザからの指示や情報入力を受け付ける。通信インタフェース９２８は、他の装置との間のネットワークを介する通信処理を行う。
【００５２】
かかる画像処理装置１００において、図１に示した各処理ブロックにおける処理は、典型的にはソフトウェアを用いて実行される。一連の処理又はその一部をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、例えば、ＲＯＭ９０４又は記憶装置９２４に格納され、実行時にＲＡＭ９０６に読み込まれ、ＣＰＵ９０２により実行される。その代わりに、一連の処理又はその一部は、専用のハードウェアロジックを用いて実行されてもよい。
【００５３】
＜２．一実施形態に係る画像処理の流れの説明＞
次に、図１０〜図１３を用いて、上述した画像処理装置１００による画像処理の流れの一例について説明する。
【００５４】
まず、図１０は、本実施形態に係る画像処理装置１００による画像処理の全体の流れを示すフローチャートである。図１０は、映像を構成する一連の入力画像のうちの１つの入力画像が映像取得部１１０により取得されるごとに実行される処理を示している。
【００５５】
図１０を参照すると、映像取得部１１０により取得された入力画像について、まず、差分検出部１２０により、差分検出処理が行われる（Ｓ１０２）。かかる差分検出処理については、後に図１１を用いてより詳細に説明する。次に、行動画像生成部１４０により、行動画像生成処理が行われる（Ｓ１０４）。かかる行動画像生成処理については、後に図１２を用いてより詳細に説明する。その後、行動画像生成処理において生成された行動画像が存在しているか否かで処理は分岐する（Ｓ１０６）。ここで、行動画像が存在している場合には、画像重畳部１５０により、画像重畳処理が行われる（Ｓ１０８）。そして、入力画像に行動画像が重畳された出力画像が、画像重畳部１５０から出力される（Ｓ１１０）。かかる画像重畳処理については、後に図１３を用いてより詳細に説明する。一方、ステップＳ１０６において行動画像が存在していない場合、即ち、例えば行動画像が未だ生成されておらず又は全て削除されている場合には、画像重畳処理はスキップされ、入力画像がそのまま出力画像として出力される（Ｓ１１０）。
【００５６】
図１１は、本実施形態に係る差分検出部１２０による差分検出処理の流れを示すフローチャートである。
【００５７】
図１１を参照すると、まず、映像取得部１１０により取得された１つの入力画像が、差分検出部１２０に入力される（Ｓ２０２）。次に、差分検出部１２０は、映像取得部１１０から入力された入力画像と前に入力された入力画像との間の画素値の差分を計算する（Ｓ２０４）。次に、差分検出部１２０は、差分計算の結果として、例えば一定の大きさよりも大きい差分領域が存在するか否かを判定する（Ｓ２０６）。ここで、上記差分領域が存在している場合には、差分検出部１２０は、入力画像から抽出される差分画像、及び前の入力画像から抽出される差分元画像を記憶部１３０に出力して記憶させる（Ｓ２０８）。一方、上記差分領域が存在していない場合には、差分検出部１２０は、被写体による行動が終了しているため、記憶部１３０に記憶されている差分画像及び差分元画像を削除する（Ｓ２１０）。
【００５８】
かかる差分検出部１２０による差分検出処理により、例えば入力画像内で被写体が行動している間、差分画像及び差分元画像が順次記憶部１３０に蓄積される。
【００５９】
図１２は、本実施形態に係る行動画像生成部１４０による行動画像生成処理の流れを示すフローチャートである。
【００６０】
図１２を参照すると、まず、行動画像生成部１４０は、差分検出部１２０により抽出された差分画像と初回差分画像との間で重複する差分領域が存在するか否かを判定する（Ｓ３０２）。ここで、重複する差分領域が存在している場合には、処理はステップＳ３０４へ進む。一方、重複する差分領域が存在していない場合には、処理はステップＳ３１６へ進む。ステップＳ３１６では、例えば、記憶部１３０に記憶されている初回差分画像及び初回差分元画像が削除される（Ｓ３１６）。その後、その時点の入力画像についての行動画像生成処理は終了する。なお、初回差分画像及び初回差分元画像が削除されたときに、後述する滞留値はリセットされる。
【００６１】
ステップＳ３０２において、差分画像と初回差分画像との間で重複する差分領域が存在している場合には、行動画像生成部１４０は、差分領域が１つの場所又はその近傍に留まっている期間の長さを表す滞留値を加算する（Ｓ３０４）。次に、行動画像生成部１４０は、滞留値が所定の閾値を超えたか否かを判定する（Ｓ３０６）。ここで、滞留値が所定の閾値を超えた場合には、処理はＳ３０８へ進む。一方、滞留値が所定の閾値を超えていない場合には、その時点の入力画像についての行動画像生成処理は終了する。
【００６２】
ステップＳ３０６において、滞留値が所定の閾値を超えた場合には、行動画像生成部１４０は、記憶部１３０に記憶されている初回差分元画像以降の一連の差分画像を取得する（Ｓ３０８）。次に、行動画像生成部１４０は、例えば図６又は図７を用いて説明した手法に従い、所定の合成比率を用いて行動画像を生成する（Ｓ３１０）。このとき、行動画像の生成は、一連の全ての行動画像の生成が終了するまで繰り返される（Ｓ３１２）。また、１つの行動画像が生成されるごとに、行動画像の生成時に用いられる合成比率は変更され得る（Ｓ３１４）。そして、一連の全ての行動画像が生成されると、行動画像生成処理は終了する。
【００６３】
かかる行動画像生成部１４０による行動画像生成処理により生成された一連の行動画像は、記憶部１３０により記憶される。
【００６４】
図１３は、本実施形態に係る画像重畳部１５０による画像重畳処理の流れを示すフローチャートである。なお、ここでは、複数の入力画像に対する処理を通して、画像重畳部１５０により「注目行動画像」、「繰返し回数」、及び「連続重畳回数」という３つの変数値が保持されているものとする。このうち、「注目行動画像」とは、一連の行動画像のうちのいずれかの行動画像あって、入力画像への重畳の対象とする当該行動画像を指す識別子又はポインタを表す。また、「繰返し回数」は、画像重畳部１５０により一連の行動画像が繰返して入力画像に重畳される場合において、画像重畳処理が現在何回目の繰返し時点に位置しているかを表す変数である。また、「連続重畳回数」は、画像重畳部１５０により１つの行動画像が所定の期間の入力画像にわたって連続して重畳される場合において、１つの行動画像について現在何番目までの入力画像への重畳が終了したかを表す変数である。各変数値は、例えば、一連の入力画像のうちの最初の入力画像に対する画像重畳処理が開始される際に適宜初期化される。
【００６５】
図１３を参照すると、まず、画像重畳部１５０は、繰返し回数が所定の上限値以下であるか否かを判定する（Ｓ４０２）。所定の上限値とは、一連の行動画像を繰返し表示させる任意の所望の回数であってよい。ここで、繰返し回数が所定の上限値以下である場合には、処理はステップＳ４０４へ進む。一方、繰返し回数が所定の上限値よりも大きい場合には、一連の行動画像の表示の繰返しは既に終了している。その場合、画像重畳部１５０により記憶部１３０に記憶されている一連の行動画像が削除され（Ｓ４２２）、その時点の入力画像についての画像重畳処理は終了する。
【００６６】
ステップＳ４０２において、繰返し回数が所定の上限値以下である場合には、次に、画像重畳部１５０は、連続重畳回数が所定の上限値以下であるか否かを判定する（Ｓ４０４）。ここでの所定の上限値とは、被写体の行動を出力画像に表示させる際の所望の表示速度に応じて決定された任意の値であってよい。ここで、連続重畳回数が所定の上限値以下である場合には、処理はステップＳ４１８へ進む。一方、連続重畳回数が所定の上限値よりも大きい場合には、処理はステップＳ４０６へ進む。
【００６７】
ステップＳ４０６では、画像重畳部１５０は、次の行動画像が存在するか否かを判定する（Ｓ４０６）。ここで、次の行動画像が存在する場合には、処理はステップＳ４０８へ進む。一方、次の行動画像が存在しない場合、即ち前回の注目行動画像が一連の行動画像のうちの最後の行動画像である場合には、処理はステップＳ４１２へ進む。
【００６８】
ステップＳ４０８では、画像重畳部１５０は、注目行動画像を前回重畳した行動画像の次の行動画像に変更する（Ｓ４０８）。また、画像重畳部１５０は、連続重畳回数の上限値を加算する（Ｓ４１０）。その後、処理はステップＳ４１８へ進む。
【００６９】
一方、ステップＳ４１２では、画像重畳部１５０は、注目行動画像を一連の行動画像の最初の行動画像に戻す（Ｓ４１２）。また、画像重畳部１５０は、連続重畳回数の上限値を初期値に戻す（Ｓ４１４）。さらに、画像重畳部１５０は、繰返し回数を加算する（Ｓ４１６）。その後、処理はステップＳ４１８へ進む。
【００７０】
そして、ステップＳ４１８において、画像重畳部１５０は、その時点での注目行動画像を入力画像に重畳して出力画像を生成する（Ｓ４１８）。なお、注目行動画像を入力画像に重畳する手法は、例えばアルファブレンディングなどの任意の手法であってよい。次に、画像重畳部１５０は、連続重畳回数を加算する（Ｓ４２０）。その後、画像重畳部１５０による画像重畳処理は終了する。
【００７１】
かかる画像重畳部１５０による画像重畳処理を経て出力される出力画像は、例えば所定の表示装置によりユーザに向けて表示される。その際、出力画像の中に被写体の直近の行動を表現する行動画像が重畳されている。
【００７２】
＜３．まとめ＞
ここまで、図１〜図１３を用いて、本発明の一実施形態に係る画像重畳装置１００の構成及び当該装置による画像処理について具体的に説明した。かかる実施形態によれば、例えば、画像重畳部１５０から出力される出力画像を見たユーザは、通話相手である被写体の行動が既に終了した後であっても、被写体の直近の行動の内容を把握することができる。また、一連の行動画像により被写体の行動の過程又は時間の経過が表現されるため、ユーザによる被写体の行動の内容の把握が容易となる。
【００７３】
以上、添付図面を参照しながら本発明の好適な２つの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属す技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７４】
例えば、図１０〜図１３を用いて説明した画像処理の手順を、必ずしもフローチャートに記載された順序に沿って実行しなくてもよい。各処理ステップは、並列的に又は個別に独立して実行される処理を含んでもよい。
【００７５】
また、本明細書では、入力画像において被写体の行動が１つのみ現れる場合について主に説明した。しかしながら、本発明は、入力画像において被写体の行動が複数現れる場合にも適用可能である。入力画像において被写体の行動が複数現れる場合には、例えば、上述した行動画像生成処理及び画像重畳処理が必要な回数だけ繰り返され得る。
【符号の説明】
【００７６】
１００ 画像処理装置
１１０ 映像取得部（取得部）
１２０ 差分検出部（検出部）
１３０ 記憶部
１４０ 行動画像生成部
１４２ 行動判定部
１４４ 合成部
１５０ 画像重畳部（重畳部）
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
通信ネットワークの高度化に伴い、離れた場所において撮影された映像をネットワーク経由で伝送してその場所の様子を視覚的に確認することが容易となっている。こうした映像の伝送は、例えば、勤務形態の一種としてのテレワークや、要介護者の遠隔モニタリングなど、様々な分野で応用されている。例えば、離れた場所同士で互いの映像を伝送し合うことで、テレワークを行う作業者の業務への参加意識を高め、又は要介護者の孤独感を和らげるといった効果も期待される。
【０００３】
図１４は、典型的な遠隔映像伝送システムの概要を示す模式図である。図１４を参照すると、遠隔映像伝送システムは、ネットワーク１０を介して互いに接続された情報処理装置２０と情報処理装置３０とを含む。ネットワーク１０は、例えばインターネット、専用線、ＬＡＮ（Local Area Network）、又はＶＰＮ（Virtual Private Network）などの任意のネットワークであってよい。情報処理装置２０及び３０は、例えば、ＰＣ（Personal Computer）やワークステーションなどの汎用的なコンピュータであってもよく、又は映像伝送用の専用の装置であってもよい。情報処理装置２０及び３０は、それぞれ撮影装置と表示装置とに接続されており、情報処理装置２０又は３０のうちのいずれかの側の撮影装置を用いて撮影された映像が、ネットワーク１０を介して伝送され、他方の側の表示装置に表示される。
【０００４】
図１５は、図１４に例示した遠隔映像伝送システムにおいて撮影される映像の一例を示す説明図である。図１５を参照すると、時刻ｔ＝１、ｔ＝２、及びｔ＝３においてそれぞれ撮影された３枚の画像Ｆ０１、Ｆ０２、及びＦ０３が示されている。まず、時刻ｔ＝１では、デスクの周囲に位置する２人の被写体が画像Ｆ０１に映っている。その後、時刻ｔ＝２の時点では、さらに３人目の被写体が画像Ｆ０２の左側に映っている。さらに、時刻ｔ＝３の時点では、上記３人目の被写体が画像Ｆ０３の中で矢印３０の方向に移動している。その後、例えば、撮影される画像の内容は、画像Ｆ０３の状態で一定期間継続され得る。
【０００５】
このような遠隔映像伝送システムで結ばれた遠隔地同士で会話を交わす場合には、通常、ユーザは、固定電話又はＩＰ電話などを用いて通話を行う。例えば、ユーザは、図１５に示した画像Ｆ０１〜Ｆ０３を見て通話相手の在席状況を確認して電話をかけることができる。これに対し、例えば下記特許文献１では、撮影された映像からユーザが通話を希望する通話相手の在席状況を自動的に認識し、在席状況が変化した時点でユーザに視覚的又は聴覚的に報知を行うシステムが提案されている。また、下記特許文献２では、通話相手が不在の場合に通話の予約を行うことを可能にし、通話相手が席に戻ってきた時点で自動的に電話接続を行うシステムが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−２４９５４５号公報
【特許文献２】特開平３−２３６６６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１及び２に記載されたシステムでは、ユーザは、通話相手の在席又は不在という状況を知ることはできるものの、通話相手の直近の行動の内容を具体的に把握することは困難である。例えば、通話相手の手がふさがっている状況又は他のユーザと会話をしている状況などにおいては、電話をかけるのを避けることが望ましい場合がある。また、伝送されてきた映像を単純に表示しているだけでは、画面に常に注目していない限り、通話相手が不在であったとしても、直前まで在席していたのか当分の間不在なのかといった事情を知ることができない。そのため、ユーザは、どのタイミングで通話相手に電話をかけるべきかという判断をすることが難しい。
【０００８】
そこで、本発明は、映像を見たユーザが被写体の直近の行動の内容を容易に把握することのできる、新規かつ改良された画像処理装置及び画像処理方法を提供しようとするものである。
【課題を解決するための手段】
【０００９】
本発明のある実施形態によれば、映像を構成する入力画像を順次取得する取得部と、上記取得部により取得された１つの入力画像と当該入力画像より前に取得された入力画像との間で差分が生じている差分領域を検出する検出部と、上記差分領域を含む部分画像であって２以上の時点の入力画像の当該部分画像を合成することにより、被写体の行動を表現する行動画像を生成する行動画像生成部と、上記行動画像生成部により生成された上記行動画像を入力画像に重畳する重畳部と、を備える画像処理装置が提供される。
【００１０】
また、上記行動画像生成部は、複数の入力画像に連続して映っている被写体の行動について一連の複数の行動画像を生成してもよい。
【００１１】
また、上記行動画像生成部は、第１の時点の入力画像の部分画像に当該第１の時点と第２の時点の間の複数の時点の入力画像の部分画像を合成比率を変えながら順次合成することにより、上記一連の複数の行動画像を生成してもよい。
【００１２】
また、上記行動画像生成部は、第１の時点の入力画像の部分画像に第２の時点の入力画像の部分画像を合成比率を変えながら複数回合成することにより、上記一連の複数の行動画像を生成してもよい。
【００１３】
また、上記重畳部は、上記行動画像生成部により生成された１つの行動画像を、所定の期間の入力画像にわたって連続して重畳してもよい。
【００１４】
また、上記重畳部は、被写体の行動について生成された上記一連の複数の行動画像を複数回繰り返して入力画像に重畳してもよい。
【００１５】
また、上記重畳部は、上記１つの行動画像を連続して重畳するための上記所定の期間を、時間の経過に応じて変化させてもよい。
【００１６】
また、本発明の別の実施形態によれば、映像を構成する入力画像を順次取得するステップと、取得された１つの入力画像と当該入力画像より前に取得された入力画像との間で差分が生じている差分領域を検出するステップと、上記差分領域を含む部分画像であって２以上の時点の入力画像の当該部分画像を合成することにより、被写体の行動を表現する行動画像を生成するステップと、生成された上記行動画像を入力画像に重畳するステップと、を含む画像処理方法が提供される。
【発明の効果】
【００１７】
以上説明したように、本発明に係る画像処理装置及び画像処理方法によれば、映像を見たユーザが被写体の直近の行動の内容を容易に把握することが可能となる。例えば、被写体が静止する直前の映像が表示されることにより、静止に至る時間が表現されることに加えて、ユーザは、静止に至るまでの被写体の行動の方向も把握することができる。また、ユーザは、被写体が静止状態から移動していく行動も把握することができる。
【図面の簡単な説明】
【００１８】
【図１】一実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】一実施形態に係る差分検出処理について説明するための説明図である。
【図３】一実施形態に係る行動画像生成部のより具体的な構成の一例を示すブロック図である。
【図４】一実施形態に係る行動判定処理について説明するための説明図である。
【図５】行動画像生成処理の対象とする部分画像の範囲の一例を示す説明図である。
【図６】一実施形態に係る行動画像生成処理について説明するための説明図である。
【図７】一変形例に係る行動画像生成処理について説明するための説明図である。
【図８】一実施形態に係る画像重畳処理について説明するための説明図である。
【図９】一実施形態に係る画像重畳処理のハードウェア構成の一例を示すブロック図である。
【図１０】一実施形態に係る画像処理の全体の流れを示すフローチャートである。
【図１１】一実施形態に係る差分検出処理の流れを示すフローチャートである。
【図１２】一実施形態に係る行動画像生成処理の流れを示すフローチャートである。
【図１３】一実施形態に係る画像重畳処理の流れを示すフローチャートである。
【図１４】典型的な遠隔映像伝送システムの一例を示す模式図である。
【図１５】典型的な遠隔映像伝送システムにおいて撮影される映像の一例を示す説明図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
＜１．一実施形態に係る画像処理装置の構成の説明＞
まず、図１は、本発明の一実施形態に係る画像処理装置１００の論理的な構成を示すブロック図である。
【００２１】
画像処理装置１００は、例えば、図１４に示した情報処理装置２０又は３０と同様、ネットワークを介して取得した映像又は撮影装置から入力された映像を処理し、処理後の映像を出力する情報処理装置であってもよい。画像処理装置１００は、例えば、ＰＣやワークステーションなどの汎用的なコンピュータであってもよく、又は画像処理専用の装置であってもよい。図１を参照すると、画像処理装置１００は、映像取得部１１０、差分検出部１２０、記憶部１３０、行動画像生成部１４０、及び画像重畳部１５０を備える。
【００２２】
映像取得部１１０は、例えば、映像を構成する一連の入力画像を時系列で順次取得し、差分検出部１２０及び画像重畳部１５０へ出力する。映像取得部１１０は、例えば、図１４に関連して説明した任意のネットワークを介して他の装置から一連の入力画像を取得してもよい。その代わりに、映像取得部１１０は、例えば、画像処理装置１００に接続されたビデオカメラなどの撮影装置、又はハードディスクドライブなどの記憶装置から一連の入力画像を取得してもよい。
【００２３】
差分検出部１２０は、映像取得部１１０により取得される一連の入力画像のうち、注目する１つの入力画像とその入力画像より前に取得された入力画像との間で差分が生じている差分領域を検出する。そして、差分検出部１２０は、例えば、差分領域を検出した場合には、検出した差分領域を含む所定の範囲の入力画像の部分画像（以下、差分画像という）を、記憶部１３０に記憶させる。また、差分検出部１２０は、例えば、上記差分画像と同一の範囲の前の入力画像の部分画像を、差分元画像として記憶部１３０に記憶させる。さらに、差分検出部１２０は、例えば、検出した差分領域の範囲を特定するための座標データを、記憶部１３０に記憶させる。
【００２４】
図２は、本実施形態に係る差分検出部１２０による差分検出処理についてより具体的に説明するための説明図である。
【００２５】
まず、図２の上段には、時刻ｔ＝１及びｔ＝２における入力画像Ｆ１１及びＦ１２が示されている。入力画像Ｆ１１及びＦ１２を参照すると、時刻ｔ＝１からｔ＝２の間に、被写体が入力画像の左上から真ん中やや右に移動したことが分かる。差分検出部１２０は、例えば、入力画像Ｆ１１の次に入力画像Ｆ１２が入力されると、入力画像Ｆ１１と入力画像Ｆ１２との間で画素値の差分を計算する。
【００２６】
図２の中段には、差分検出部１２０による入力画像Ｆ１１と入力画像Ｆ１２との間の画素値の差分計算結果が示されている。差分計算結果を参照すると、矩形の領域Ｒ１２において、画素値の差分が生じている。このように、注目する１つの入力画像とその入力画像よりも前に取得された入力画像との間で差分が生じている領域を、本明細書では差分領域という。差分領域の形状は矩形に限定されず、例えば円形や多角形などであってもよい。差分領域の形状が矩形である場合には、例えば、左上の頂点の二次元座標、矩形の幅及び高さにより、差分領域の範囲を特定することができる。なお、画素値の差分が生じている面積が一定の大きさよりも小さい場合（例えば図２の差分計算結果におけるＺ１２など）には、当該差分について差分領域を設定しないのが好適である。それにより、例えば、画素ごとのちらつきなどを原因とする誤差の影響が排除される。
【００２７】
図２の下段には、上述した差分計算結果に応じて抽出される差分画像Ｄ１２及び差分元画像ＤＸ１２が示されている。差分画像Ｄ１２は、注目する入力画像Ｆ１２における、上記差分領域Ｒ１２に対応する範囲の部分画像である。一方、差分元画像ＤＸ１２は、注目する入力画像Ｆ１２との間で差分が計算された入力画像Ｆ１１における、上記差分領域Ｒ１２に対応する範囲の部分画像である。差分検出部１２０は、かかる差分画像Ｄ１２及び差分元画像ＤＸ１２、並びに差分領域の範囲を特定するための座標データ（例えば上述した二次元座標、矩形の幅及び高さ）を記憶部１３０に記憶させる。
【００２８】
記憶部１３０は、例えばハードディスクや半導体メモリなどの任意の記録媒体を用いて、例えば上述した差分画像、差分元画像、差分領域の範囲を特定するための座標データ、及び入力画像などを時系列で記憶する。また、記憶部１３０は、例えば画像処理装置１００による処理を記述したプログラムや当該プログラムに使用される任意のデータを記憶していてもよい。
【００２９】
行動画像生成部１４０は、差分検出部１２０により抽出された２以上の時点の差分画像若しくは差分元画像、又はそれらを含む所定の範囲の部分画像を合成することにより、被写体の行動を表現する行動画像を生成する。以下、行動画像生成部１４０が複数の入力画像に連続して映っている被写体の１まとまりの行動について一連の複数の行動画像を生成する場合について説明する。即ち、この場合、行動画像生成部１４０は、紙芝居のように被写体の行動を表現することのできる複数の行動画像を生成する。
【００３０】
図３は、本実施形態に係る行動画像生成部１４０の詳細な構成の一例を示すブロック図である。図３を参照すると、行動画像生成部１４０は、行動判定部１４２及び合成部１４４を有する。
【００３１】
行動判定部１４２は、所定の閾値を超える数の連続する入力画像において、差分検出部１２０により検出された差分領域が継続して１つの場所又はその近傍に留まっているか否かを判定する。ここで、行動判定部１４２は、後述するように、差分領域が１つの場所又はその近傍に留まっている期間の長さ（入力画像の数を尺度とする）を、滞留値という値を用いて計測する。そして、滞留値が所定の閾値を超えた場合には、行動判定部１４２は、その期間における被写体の行動を１単位の行動として認識し、後述する合成部１４４に１単位の行動を表現する一連の行動画像を生成させる。
【００３２】
図４は、本実施形態に係る行動判定部１４２による行動判定処理についてより具体的に説明するための説明図である。
【００３３】
図４を参照すると、時刻ｔ＝０、１、２、及びｎの各時点における入力画像Ｆ２０、Ｆ２１、Ｆ２２、及びＦ２ｎが示されている。また、入力画像Ｆ２０については、時刻ｔ＝１において差分検出部１２０により抽出された差分元画像ＤＸ２１の範囲を示す点線枠が示されている。また、入力画像Ｆ２１、Ｆ２２、及びＦ２ｎについては、時刻ｔ＝１、２、及びｎにおいて差分検出部１２０によりそれぞれ抽出された差分画像Ｄ２１、Ｄ２２、及びＤ２ｎの範囲を示す点線枠が示されている。
【００３４】
かかる例において、行動判定部１４２は、まず、時刻ｔ＝１〜ｎまでの各時点にて、その時点の入力画像の差分画像と、記憶部１３０に記憶されている最も古い差分元画像（以下、初回差分元画像という）との間で重複する範囲に差分が存在するか否かを調べる。図４の場合、差分元画像ＤＸ２１が初回差分元画像となる。例えば、時刻ｔ＝１においては、差分画像Ｄ２１と初回差分元画像ＤＸ２１との間に差分が存在することは自明である。このとき、行動判定部１４２は、例えば滞留値ＲＶ＝１とする。次に、時刻ｔ＝２において、差分画像Ｄ２２と初回差分元画像ＤＸ２１との間には、差分領域Ｒ２２と差分領域Ｒ２１の重複部分に差分が存在する。そこで、行動判定部１４２は、例えば滞留値ＲＶを加算（インクリメント）してＲＶ＝２とする。その後、同様の処理が繰り返された後、時刻ｔ＝ｎにおいて例えば滞留値ＲＶ（＝ｎ）が所定の閾値Ｔｈ１を超えたとする。そうした場合には、行動判定部１４２は、例えば、時刻ｔ＝１〜ｎの間に差分領域が継続して１つの場所又はその近傍に留まっていると判定することができる。そうすると、行動判定部１４２は、時刻ｔ＝１〜ｎの間の被写体の行動を１単位の行動として認識し、合成部１４４に１単位の行動を表現する一連の行動画像を生成させる。なお、上述した所定の閾値Ｔｈ１は、例えば、１単位の行動を認識させたい時間をＴ、入力画像のフレームレートをＲとすると、Ｔｈ１＝Ｔ×Ｒなどとして与えられる。
【００３５】
合成部１４４は、行動判定部１４２による判定処理により認識された被写体の１単位の行動について、２以上の時点の入力画像の部分画像を合成することにより、当該行動を表現する一連の行動画像を生成する。
【００３６】
図５は、合成部１４４による合成に用いられる部分画像の範囲の一例を示す説明図である。図５を参照すると、図４に示した初回差分元画像ＤＸ２１を含む入力画像Ｆ２０、及び差分画像Ｄ２ｎを含む入力画像Ｆ２ｎが示されている。初回差分元画像ＤＸ２１の範囲は差分領域Ｒ２１の範囲に一致する。また、差分画像Ｄ２ｎの範囲は差分領域Ｒ２ｎの範囲に一致する。この場合、合成部１４４による合成に用いられる部分画像の範囲は、例えば、差分領域Ｒ２１と差分領域Ｒ２ｎとを共に含む矩形領域ＡＲ２１とすることができる。かかる矩形領域ＡＲ２１の範囲は、例えば、上述した座標データを用いて決定され得る。
【００３７】
図６は、合成部１４４による合成処理について説明するための説明図である。図６の例では、合成部１４４は、第１の時点の入力画像の部分画像に当該第１の時点と第２の時点の間の複数の時点の入力画像の部分画像を合成比率を変えながら順次合成することにより、一連の複数の行動画像を生成する。例えば、第１の時点は時刻ｔ＝０、第２の時点は時刻ｔ＝ｎにそれぞれ対応する。また、第１の時点と第２の時点の間の複数の時点とは、時刻ｔ＝１、２、…、ｎに対応する。まず、図６の上段には、上記矩形領域ＡＲ２１の範囲の時刻ｔ＝０、１、２、及びｎにおける入力画像の部分画像Ｐ２０、Ｐ２１、Ｐ２２、及びＰ２ｎが示されている。そして、合成部１４４は、まず、部分画像Ｐ２１を部分画像Ｐ２０と合成し、最初の行動画像Ａ２１を生成する。次に、合成部１４４は、部分画像Ｐ２２を部分画像Ｐ２０と合成し、２番目の行動画像Ａ２２を生成する。その後、同様の処理が繰り返された後、合成部１４４は、部分画像Ｐ２ｎを部分画像Ｐ２０と合成し、ｎ番目の行動画像Ａ２ｎを生成する。このとき、合成部１４４は、例えば部分画像Ｐ２０に対して合成する部分画像が新しくなるに従い、新しい部分画像の部分画像Ｐ２０に対する合成比率を高くする。その結果、行動画像の中で行動する被写体の濃度が時間の経過に従って徐々に濃くなっていくような一連の行動画像が生成される。合成部１４４は、このように生成した一連の複数の行動画像Ａ２１〜Ａ２ｎを記憶部１３０に出力してもよい。
【００３８】
図７は、合成部１４４による行動画像生成処理の変形例について説明するための説明図である。図７の例では、合成部１４４は、第１の時点の入力画像の部分画像に第２の時点の入力画像の部分画像を合成比率を変えながら複数回合成することにより、一連の複数の行動画像を生成する。例えば、第１の時点は時刻ｔ＝０、第２の時点は時刻ｔ＝ｎにそれぞれ対応する。まず、図７の上段には、矩形領域ＡＲ２１の範囲の時刻ｔ＝０及びｔ＝ｎにおける入力画像の部分画像Ｐ２０及びＰ２ｎが示されている。そして、合成部１４４は、まず、第１の合成比率を用いて部分画像Ｐ２ｎを部分画像Ｐ２０と合成し、最初の行動画像Ａ３１を生成する。次に、合成部１４４は、第２の合成比率を用いて部分画像Ｐ２ｎを部分画像Ｐ２０と合成し、２番目の行動画像Ａ３２を生成する。その後、同様の処理が繰り返された後、合成部１４４は、第ｎの合成比率を用いて部分画像Ｐ２ｎを部分画像Ｐ２０と合成し、ｎ番目の行動画像Ａ３ｎを生成する。このとき、例えば、第１〜第ｎの合成比率について、後の合成比率ほど、部分画像Ｐ２ｎの部分画像Ｐ２０に対する合成比率を高くする。その結果、行動画像の中で時間の経過に従って被写体が徐々に濃く浮き上がって見えるような一連の行動画像が生成される。合成部１４４は、このように生成した一連の複数の行動画像Ａ３１〜Ａ３ｎを記憶部１３０に出力してもよい。
【００３９】
行動画像生成部１４０は、例えば図６又は図７を用いて説明した手法に従って合成部１４４により生成された一連の複数の行動画像を、記憶部１３０に記憶させる。
【００４０】
図１に戻り、本実施形態に係る画像処理装置１００の論理的な構成についての説明を継続する。
【００４１】
画像重畳部１５０は、例えば、行動画像生成部１４０により生成された行動画像を記憶部１３０から取得し、取得した行動画像を映像取得部１１０により新たに取得された入力画像に重畳する。このとき、画像重畳部１５０は、例えば、行動画像生成部１４０により生成された１つの行動画像を、所定の期間の入力画像にわたって連続して重畳してもよい。また、画像重畳部１５０は、１単位の行動について生成された一連の行動画像を、複数回繰り返して入力画像に重畳してもよい。さらに、画像重畳部１５０は、例えば、１つの行動画像を連続して重畳するための上記所定の期間を、時間の経過に応じて変化させてもよい。そして、画像重畳部１５０は、行動画像を重畳した出力画像を、例えば、画像処理装置１００に接続されている表示装置に表示させ、ネットワークを介して他の装置へ送出し、又は所定の記憶装置に記憶させる。
【００４２】
図８は、本実施形態に係る画像重畳部１５０による画像重畳処理についてより具体的に説明するための説明図である。
【００４３】
図８の上段には、図６を用いて説明した、行動画像生成部１４０により生成された一連の行動画像Ａ２１〜Ａ２ｎが示されている。また、図８の下段には、入力画像に各行動画像を重畳して生成される出力画像が示されている。
【００４４】
かかる例において、画像重畳部１５０は、例えば、時刻ｔ＝ｍ＋１から時刻ｔ＝ｍ＋ｋの期間にわたって、行動画像Ａ２１を連続して入力画像に重畳している。同様に、画像重畳部１５０は、例えば、時刻ｔ＝ｍ＋ｋ＋１から時刻ｔ＝ｍ＋２ｋ＋１の期間にわたって、行動画像Ａ２２を連続して入力画像に重畳している。このように、１つの行動画像を所定の期間の入力画像にわたって連続して重畳することにより、ユーザに表示される出力画像において被写体の行動がゆっくりとした速度で表示されるため、出力画像を見たユーザが被写体の行動を認識することが容易となる。
【００４５】
また、図８の例において、画像重畳部１５０は、一連の行動画像Ａ２１〜Ａ２ｎの入力画像への重畳を終了した後、再び行動画像Ａ２１の入力画像への重畳を開始している。このように、一連の行動画像の入力画像への重畳を複数回繰り返すことにより、ユーザが出力画像において被写体の行動を一度見逃した場合にも、その行動を認識できる余地を再びユーザに与えることができる。
【００４６】
また、図８の例において、画像重畳部１５０は、一連の行動画像のうちの１つの行動画像を連続して重畳する期間を、時間の経過に応じて変化させている。例えば、行動画像Ａ２１が連続して重畳される期間がｋであるのに対し、行動画像Ａ２２が連続して重畳される期間はｋ＋１となっている。このように、例えば、一連の行動画像のうち時間的に後の行動画像ほど、連続して入力画像に重畳する期間を長く設定してもよい。そうした場合には、ユーザは、行動画像が表示される表示速度から、被写体の行動における時間の経過を容易に把握することができる。それにより、例えば、ユーザにとって、被写体である通話相手に対して電話をかけるタイミングを図ることが容易となる。
【００４７】
ここまで、図１〜図８を用いて、本発明の一実施形態に係る画像処理装置１００の論理的な構成について説明した。次に、図９を用いて、画像処理装置１００のハードウェア構成の一例について説明する。
【００４８】
図９は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。
【００４９】
図９において、ＣＰＵ（Central Processing Unit）９０２は、画像処理装置１００の動作全般を制御する。ＲＯＭ（Read Only Memory）９０４には、一連の処理の一部又は全部を記述したプログラム又はデータが格納される。ＲＡＭ（Random Access Memory）９０６には、処理の実行時にＣＰＵ９０２により用いられるプログラムやデータなどが一時的に記憶される。
【００５０】
ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６は、バス９１０を介して相互に接続される。バス９１０にはさらに、入出力インタフェース９１２が接続される。入出力インタフェース９１２は、ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６と、表示装置９２０、撮影装置９２２、記憶装置９２４、入力装置９２６、及び通信インタフェース９２８とを接続するためのインタフェースである。
【００５１】
表示装置９２０は、例えばＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ、ＰＤＰ（Plasma Display Panel）、又はＯＬＥＤ（Organic Light Emitting Diode）などを用いて、上述した行動画像が重畳された出力画像をユーザに表示することができる。撮影装置９２２は、典型的にはビデオカメラに相当し、複数の画像により構成される映像を撮影することができる。記憶装置９２４は、例えばハードディスクドライブ又は半導体メモリなどの記録媒体を用いて、画像データ、プログラム、又はプログラムデータなどを記憶する。入力装置９２６は、例えばボタン、スイッチ、レバー、マウスやキーボードなどのユーザインタフェースを介して、ユーザからの指示や情報入力を受け付ける。通信インタフェース９２８は、他の装置との間のネットワークを介する通信処理を行う。
【００５２】
かかる画像処理装置１００において、図１に示した各処理ブロックにおける処理は、典型的にはソフトウェアを用いて実行される。一連の処理又はその一部をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、例えば、ＲＯＭ９０４又は記憶装置９２４に格納され、実行時にＲＡＭ９０６に読み込まれ、ＣＰＵ９０２により実行される。その代わりに、一連の処理又はその一部は、専用のハードウェアロジックを用いて実行されてもよい。
【００５３】
＜２．一実施形態に係る画像処理の流れの説明＞
次に、図１０〜図１３を用いて、上述した画像処理装置１００による画像処理の流れの一例について説明する。
【００５４】
まず、図１０は、本実施形態に係る画像処理装置１００による画像処理の全体の流れを示すフローチャートである。図１０は、映像を構成する一連の入力画像のうちの１つの入力画像が映像取得部１１０により取得されるごとに実行される処理を示している。
【００５５】
図１０を参照すると、映像取得部１１０により取得された入力画像について、まず、差分検出部１２０により、差分検出処理が行われる（Ｓ１０２）。かかる差分検出処理については、後に図１１を用いてより詳細に説明する。次に、行動画像生成部１４０により、行動画像生成処理が行われる（Ｓ１０４）。かかる行動画像生成処理については、後に図１２を用いてより詳細に説明する。その後、行動画像生成処理において生成された行動画像が存在しているか否かで処理は分岐する（Ｓ１０６）。ここで、行動画像が存在している場合には、画像重畳部１５０により、画像重畳処理が行われる（Ｓ１０８）。そして、入力画像に行動画像が重畳された出力画像が、画像重畳部１５０から出力される（Ｓ１１０）。かかる画像重畳処理については、後に図１３を用いてより詳細に説明する。一方、ステップＳ１０６において行動画像が存在していない場合、即ち、例えば行動画像が未だ生成されておらず又は全て削除されている場合には、画像重畳処理はスキップされ、入力画像がそのまま出力画像として出力される（Ｓ１１０）。
【００５６】
図１１は、本実施形態に係る差分検出部１２０による差分検出処理の流れを示すフローチャートである。
【００５７】
図１１を参照すると、まず、映像取得部１１０により取得された１つの入力画像が、差分検出部１２０に入力される（Ｓ２０２）。次に、差分検出部１２０は、映像取得部１１０から入力された入力画像と前に入力された入力画像との間の画素値の差分を計算する（Ｓ２０４）。次に、差分検出部１２０は、差分計算の結果として、例えば一定の大きさよりも大きい差分領域が存在するか否かを判定する（Ｓ２０６）。ここで、上記差分領域が存在している場合には、差分検出部１２０は、入力画像から抽出される差分画像、及び前の入力画像から抽出される差分元画像を記憶部１３０に出力して記憶させる（Ｓ２０８）。一方、上記差分領域が存在していない場合には、差分検出部１２０は、被写体による行動が終了しているため、記憶部１３０に記憶されている差分画像及び差分元画像を削除する（Ｓ２１０）。
【００５８】
かかる差分検出部１２０による差分検出処理により、例えば入力画像内で被写体が行動している間、差分画像及び差分元画像が順次記憶部１３０に蓄積される。
【００５９】
図１２は、本実施形態に係る行動画像生成部１４０による行動画像生成処理の流れを示すフローチャートである。
【００６０】
図１２を参照すると、まず、行動画像生成部１４０は、差分検出部１２０により抽出された差分画像と初回差分画像との間で重複する差分領域が存在するか否かを判定する（Ｓ３０２）。ここで、重複する差分領域が存在している場合には、処理はステップＳ３０４へ進む。一方、重複する差分領域が存在していない場合には、処理はステップＳ３１６へ進む。ステップＳ３１６では、例えば、記憶部１３０に記憶されている初回差分画像及び初回差分元画像が削除される（Ｓ３１６）。その後、その時点の入力画像についての行動画像生成処理は終了する。なお、初回差分画像及び初回差分元画像が削除されたときに、後述する滞留値はリセットされる。
【００６１】
ステップＳ３０２において、差分画像と初回差分画像との間で重複する差分領域が存在している場合には、行動画像生成部１４０は、差分領域が１つの場所又はその近傍に留まっている期間の長さを表す滞留値を加算する（Ｓ３０４）。次に、行動画像生成部１４０は、滞留値が所定の閾値を超えたか否かを判定する（Ｓ３０６）。ここで、滞留値が所定の閾値を超えた場合には、処理はＳ３０８へ進む。一方、滞留値が所定の閾値を超えていない場合には、その時点の入力画像についての行動画像生成処理は終了する。
【００６２】
ステップＳ３０６において、滞留値が所定の閾値を超えた場合には、行動画像生成部１４０は、記憶部１３０に記憶されている初回差分元画像以降の一連の差分画像を取得する（Ｓ３０８）。次に、行動画像生成部１４０は、例えば図６又は図７を用いて説明した手法に従い、所定の合成比率を用いて行動画像を生成する（Ｓ３１０）。このとき、行動画像の生成は、一連の全ての行動画像の生成が終了するまで繰り返される（Ｓ３１２）。また、１つの行動画像が生成されるごとに、行動画像の生成時に用いられる合成比率は変更され得る（Ｓ３１４）。そして、一連の全ての行動画像が生成されると、行動画像生成処理は終了する。
【００６３】
かかる行動画像生成部１４０による行動画像生成処理により生成された一連の行動画像は、記憶部１３０により記憶される。
【００６４】
図１３は、本実施形態に係る画像重畳部１５０による画像重畳処理の流れを示すフローチャートである。なお、ここでは、複数の入力画像に対する処理を通して、画像重畳部１５０により「注目行動画像」、「繰返し回数」、及び「連続重畳回数」という３つの変数値が保持されているものとする。このうち、「注目行動画像」とは、一連の行動画像のうちのいずれかの行動画像あって、入力画像への重畳の対象とする当該行動画像を指す識別子又はポインタを表す。また、「繰返し回数」は、画像重畳部１５０により一連の行動画像が繰返して入力画像に重畳される場合において、画像重畳処理が現在何回目の繰返し時点に位置しているかを表す変数である。また、「連続重畳回数」は、画像重畳部１５０により１つの行動画像が所定の期間の入力画像にわたって連続して重畳される場合において、１つの行動画像について現在何番目までの入力画像への重畳が終了したかを表す変数である。各変数値は、例えば、一連の入力画像のうちの最初の入力画像に対する画像重畳処理が開始される際に適宜初期化される。
【００６５】
図１３を参照すると、まず、画像重畳部１５０は、繰返し回数が所定の上限値以下であるか否かを判定する（Ｓ４０２）。所定の上限値とは、一連の行動画像を繰返し表示させる任意の所望の回数であってよい。ここで、繰返し回数が所定の上限値以下である場合には、処理はステップＳ４０４へ進む。一方、繰返し回数が所定の上限値よりも大きい場合には、一連の行動画像の表示の繰返しは既に終了している。その場合、画像重畳部１５０により記憶部１３０に記憶されている一連の行動画像が削除され（Ｓ４２２）、その時点の入力画像についての画像重畳処理は終了する。
【００６６】
ステップＳ４０２において、繰返し回数が所定の上限値以下である場合には、次に、画像重畳部１５０は、連続重畳回数が所定の上限値以下であるか否かを判定する（Ｓ４０４）。ここでの所定の上限値とは、被写体の行動を出力画像に表示させる際の所望の表示速度に応じて決定された任意の値であってよい。ここで、連続重畳回数が所定の上限値以下である場合には、処理はステップＳ４１８へ進む。一方、連続重畳回数が所定の上限値よりも大きい場合には、処理はステップＳ４０６へ進む。
【００６７】
ステップＳ４０６では、画像重畳部１５０は、次の行動画像が存在するか否かを判定する（Ｓ４０６）。ここで、次の行動画像が存在する場合には、処理はステップＳ４０８へ進む。一方、次の行動画像が存在しない場合、即ち前回の注目行動画像が一連の行動画像のうちの最後の行動画像である場合には、処理はステップＳ４１２へ進む。
【００６８】
ステップＳ４０８では、画像重畳部１５０は、注目行動画像を前回重畳した行動画像の次の行動画像に変更する（Ｓ４０８）。また、画像重畳部１５０は、連続重畳回数の上限値を加算する（Ｓ４１０）。その後、処理はステップＳ４１８へ進む。
【００６９】
一方、ステップＳ４１２では、画像重畳部１５０は、注目行動画像を一連の行動画像の最初の行動画像に戻す（Ｓ４１２）。また、画像重畳部１５０は、連続重畳回数の上限値を初期値に戻す（Ｓ４１４）。さらに、画像重畳部１５０は、繰返し回数を加算する（Ｓ４１６）。その後、処理はステップＳ４１８へ進む。
【００７０】
そして、ステップＳ４１８において、画像重畳部１５０は、その時点での注目行動画像を入力画像に重畳して出力画像を生成する（Ｓ４１８）。なお、注目行動画像を入力画像に重畳する手法は、例えばアルファブレンディングなどの任意の手法であってよい。次に、画像重畳部１５０は、連続重畳回数を加算する（Ｓ４２０）。その後、画像重畳部１５０による画像重畳処理は終了する。
【００７１】
かかる画像重畳部１５０による画像重畳処理を経て出力される出力画像は、例えば所定の表示装置によりユーザに向けて表示される。その際、出力画像の中に被写体の直近の行動を表現する行動画像が重畳されている。
【００７２】
＜３．まとめ＞
ここまで、図１〜図１３を用いて、本発明の一実施形態に係る画像重畳装置１００の構成及び当該装置による画像処理について具体的に説明した。かかる実施形態によれば、例えば、画像重畳部１５０から出力される出力画像を見たユーザは、通話相手である被写体の行動が既に終了した後であっても、被写体の直近の行動の内容を把握することができる。また、一連の行動画像により被写体の行動の過程又は時間の経過が表現されるため、ユーザによる被写体の行動の内容の把握が容易となる。
【００７３】
以上、添付図面を参照しながら本発明の好適な２つの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属す技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７４】
例えば、図１０〜図１３を用いて説明した画像処理の手順を、必ずしもフローチャートに記載された順序に沿って実行しなくてもよい。各処理ステップは、並列的に又は個別に独立して実行される処理を含んでもよい。
【００７５】
また、本明細書では、入力画像において被写体の行動が１つのみ現れる場合について主に説明した。しかしながら、本発明は、入力画像において被写体の行動が複数現れる場合にも適用可能である。入力画像において被写体の行動が複数現れる場合には、例えば、上述した行動画像生成処理及び画像重畳処理が必要な回数だけ繰り返され得る。
【符号の説明】
【００７６】
１００ 画像処理装置
１１０ 映像取得部（取得部）
１２０ 差分検出部（検出部）
１３０ 記憶部
１４０ 行動画像生成部
１４２ 行動判定部
１４４ 合成部
１５０ 画像重畳部（重畳部）
【特許請求の範囲】
【請求項１】
映像を構成する入力画像を順次取得する取得部と；
前記取得部により取得された１つの入力画像と当該入力画像より前に取得された入力画像との間で差分が生じている差分領域を検出する検出部と；
前記差分領域を含む部分画像であって２以上の時点の入力画像の当該部分画像を合成することにより、被写体の行動を表現する行動画像を生成する行動画像生成部と；
前記行動画像生成部により生成された前記行動画像を入力画像に重畳する重畳部と；
を備える画像処理装置。
【請求項２】
前記行動画像生成部は、複数の入力画像に連続して映っている被写体の行動について一連の複数の行動画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記行動画像生成部は、第１の時点の入力画像の部分画像に当該第１の時点と第２の時点の間の複数の時点の入力画像の部分画像を合成比率を変えながら順次合成することにより、前記一連の複数の行動画像を生成する、請求項２に記載の画像処理装置。
【請求項４】
前記行動画像生成部は、第１の時点の入力画像の部分画像に第２の時点の入力画像の部分画像を合成比率を変えながら複数回合成することにより、前記一連の複数の行動画像を生成する、請求項２に記載の画像処理装置。
【請求項５】
前記重畳部は、前記行動画像生成部により生成された１つの行動画像を、所定の期間の入力画像にわたって連続して重畳する、請求項１に記載の画像処理装置。
【請求項６】
前記重畳部は、被写体の行動について生成された前記一連の複数の行動画像を複数回繰り返して入力画像に重畳する、請求項２に記載の画像処理装置。
【請求項７】
前記重畳部は、前記１つの行動画像を連続して重畳するための前記所定の期間を、時間の経過に応じて変化させる、請求項５に記載の画像処理装置。
【請求項８】
映像を構成する入力画像を順次取得するステップと；
取得された１つの入力画像と当該入力画像より前に取得された入力画像との間で差分が生じている差分領域を検出するステップと；
前記差分領域を含む部分画像であって２以上の時点の入力画像の当該部分画像を合成することにより、被写体の行動を表現する行動画像を生成するステップと；
生成された前記行動画像を入力画像に重畳するステップと；
を含む画像処理方法。
【請求項１】
映像を構成する入力画像を順次取得する取得部と；
前記取得部により取得された１つの入力画像と当該入力画像より前に取得された入力画像との間で差分が生じている差分領域を検出する検出部と；
前記差分領域を含む部分画像であって２以上の時点の入力画像の当該部分画像を合成することにより、被写体の行動を表現する行動画像を生成する行動画像生成部と；
前記行動画像生成部により生成された前記行動画像を入力画像に重畳する重畳部と；
を備える画像処理装置。
【請求項２】
前記行動画像生成部は、複数の入力画像に連続して映っている被写体の行動について一連の複数の行動画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記行動画像生成部は、第１の時点の入力画像の部分画像に当該第１の時点と第２の時点の間の複数の時点の入力画像の部分画像を合成比率を変えながら順次合成することにより、前記一連の複数の行動画像を生成する、請求項２に記載の画像処理装置。
【請求項４】
前記行動画像生成部は、第１の時点の入力画像の部分画像に第２の時点の入力画像の部分画像を合成比率を変えながら複数回合成することにより、前記一連の複数の行動画像を生成する、請求項２に記載の画像処理装置。
【請求項５】
前記重畳部は、前記行動画像生成部により生成された１つの行動画像を、所定の期間の入力画像にわたって連続して重畳する、請求項１に記載の画像処理装置。
【請求項６】
前記重畳部は、被写体の行動について生成された前記一連の複数の行動画像を複数回繰り返して入力画像に重畳する、請求項２に記載の画像処理装置。
【請求項７】
前記重畳部は、前記１つの行動画像を連続して重畳するための前記所定の期間を、時間の経過に応じて変化させる、請求項５に記載の画像処理装置。
【請求項８】
映像を構成する入力画像を順次取得するステップと；
取得された１つの入力画像と当該入力画像より前に取得された入力画像との間で差分が生じている差分領域を検出するステップと；
前記差分領域を含む部分画像であって２以上の時点の入力画像の当該部分画像を合成することにより、被写体の行動を表現する行動画像を生成するステップと；
生成された前記行動画像を入力画像に重畳するステップと；
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−２１１３８６（Ｐ２０１０−２１１３８６Ａ）
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願番号】特願２００９−５５１６１（Ｐ２００９−５５１６１）
【出願日】平成２１年３月９日（２００９．３．９）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願日】平成２１年３月９日（２００９．３．９）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]