画像処理装置、情報処理装置及びそれらの制御方法、コンピュータプログラム並びに記憶媒体
【課題】表示レート映像で監視画像を表示しながらも、表示映像では確認することが困難な表示レート間の画像を高速レート画像として記録・表示可能とする。
【解決手段】情報処理装置と接続可能な画像処理装置であって、前記情報処理装置における画像の表示レートよりも高いレートにて被写体を撮像して複数のフレーム画像を生成する撮像手段と、前記複数のフレーム画像のうち、前記表示レートに対応する第１のフレーム画像と、該第１のフレーム画像以外の第２のフレーム画像との差分を検出する検出手段と、前記検出手段により検出された前記差分に関する属性情報を生成する属性情報生成手段と、前記第１のフレーム画像と、前記差分の検出された前記第２のフレーム画像とを画像処理する画像処理手段と、前記第１のフレーム画像を前記属性情報と共に前記情報処理装置に送信する送信手段と、少なくとも前記第２のフレーム画像を記録する記録手段とを備える。
【解決手段】情報処理装置と接続可能な画像処理装置であって、前記情報処理装置における画像の表示レートよりも高いレートにて被写体を撮像して複数のフレーム画像を生成する撮像手段と、前記複数のフレーム画像のうち、前記表示レートに対応する第１のフレーム画像と、該第１のフレーム画像以外の第２のフレーム画像との差分を検出する検出手段と、前記検出手段により検出された前記差分に関する属性情報を生成する属性情報生成手段と、前記第１のフレーム画像と、前記差分の検出された前記第２のフレーム画像とを画像処理する画像処理手段と、前記第１のフレーム画像を前記属性情報と共に前記情報処理装置に送信する送信手段と、少なくとも前記第２のフレーム画像を記録する記録手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、情報処理装置及びそれらの制御方法、コンピュータプログラム並びに記憶媒体に関する。
【背景技術】
【０００２】
人間の目には速くてわからない高速な現象を記録するカメラとして、高速度カメラ（ハイスピードカメラ）が知られている。このような高速度カメラは、高速に移動する物体を撮影することによく利用されているが、監視カメラ用途として監視画像の異常を検出するために利用することも考えられている。そこで、高速度カメラで撮影し、センサなどが出力するトリガ信号を検出した場合に高速度カメラの映像を記録することが提案されている（特許文献１参照）。
【特許文献１】特開平０９-２８４７５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、常に表示レート映像で監視画像を表示しながら、表示映像では確認することができない表示レート間の映像を高速レート映像として同時に記録・表示することは困難であった。
【０００４】
そこで、本発明は、表示レート映像で監視画像を表示しながらも、表示映像では確認することが困難な表示レート間の画像を高速レート画像として記録・表示可能とすることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するための一つの側面に対応する本発明は、情報処理装置と接続可能な画像処理装置であって、前記情報処理装置における画像の表示レートよりも高いレートにて被写体を撮像して複数のフレーム画像を生成する撮像手段と、前記複数のフレーム画像のうち、前記表示レートに対応する第１のフレーム画像と、該第１のフレーム画像以外の第２のフレーム画像との差分を検出する検出手段と、前記検出手段により検出された前記差分に関する属性情報を生成する属性情報生成手段と、前記第１のフレーム画像と、前記差分の検出された前記第２のフレーム画像とを画像処理する画像処理手段と、前記第１のフレーム画像を前記属性情報と共に前記情報処理装置に送信する送信手段と、少なくとも前記第２のフレーム画像を記録する記録手段とを備える。
【０００６】
上記課題を解決するための他の側面に対応する本発明は、上記画像処理装置と接続可能な情報処理装置であって、前記画像処理装置から、前記第１のフレーム画像を前記属性情報と共に受信する受信手段と、前記第１のフレーム画像を表示する表示手段と、前記属性情報に基づき、前記第２のフレーム画像の送信を要求する要求手段と
を備え、前記表示手段は、前記受信手段で受信した前記第２のフレーム画像を更に表示することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、表示レート映像で監視画像を表示しながらも、表示映像では確認することが困難な表示レート間の映像を高速レート映像として記録・表示することが可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を用いて発明の実施形態について詳細に説明する。
【０００９】
（第１の実施形態）
以下、本発明の第１の実施形態について詳細に説明する。図１は、本発明第１の実施形態によるネットワークカメラを想定した撮像装置のハードウェア構成の一例を示す図である。
【００１０】
図１において、画像処理装置としての撮像装置１０１は、以下の構成要素を備える。まず、撮像素子＋AFE(Analog Front End)１０２はレンズを有し、素子制御部１０３からの表示レート情報や撮像モード情報を受信し、レンズで集積された光の電気信号への変換、センサレートの設定、ノイズ処理などを行う。
【００１１】
ここで、表示レート情報とは、表示装置１１５における表示に関する情報であって、例えば、３０ｆｐｓ（frame per second）を示す情報が含まれる。また、撮像モード情報とは、撮像素子＋AFE１０２における撮像モードを表す情報である。例えば、表示レート（例えば３０ｆｐｓ）に対応したフレームレートでの撮像を行う低速レート撮像モードと、表示レートよりも高いフレームレートでの撮像を行う高速レート撮像モードとが含まれる。
【００１２】
本実施形態における撮像モードについて、図５を参照してより詳細に説明する。図５は、本実施形態に対応する撮像モードを説明するための図である。
【００１３】
本実施形態では、低速レート撮像モードと、高速モード撮像モードとの２種類の撮像モードを想定している。低速レート撮像モード５０１は、ＮＴＳＣの３０ｆｐｓのフレームレートに対応した撮像モードであって、１／３０秒間に１枚のフレーム画像が撮像される。図５では、Ａ、Ａ’、Ａ’’、Ａ’’’がそれぞれ低速レート撮像モード５０１において撮像されたフレーム画像である。このようなフレーム画像を、本実施形態では「低速レート画像」という。
【００１４】
一方、高速レート撮像モード５０２は、３０ｆｐｓよりも高速、例えば１２０ｆｐｓのフレームレートに対応した撮像モードであって、１／１２０秒間に１枚のフレーム画像が撮像される。図５では、ａ〜ｄ、ａ’〜ｄ’、ａ’’〜ｄ’’、ａ’’’〜ｄ’’’がそれぞれ高速レート撮像モード５０２において撮像されたフレーム画像である。このようなフレーム画像を、本実施形態では「高速レート画像」という。
【００１５】
素子制御部１０３は、撮像制御部１１０から受信した表示レート情報や撮像モード情報を、撮像素子＋AFE１０２に伝達する回路である。フレーム制御部１０４は、撮像素子＋AFE１０２から受信したフレーム画像を、撮像制御部１１０から受信した表示レート情報や撮像モード情報に応じてフレームメモリ１０５に転送して、記憶させる回路である。フレーム制御部１０４はまた、フレーム画像のうち表示レートに対応する画像（以下、「表示レート画像」という。）については、フレームメモリ１０５に転送するだけでなく、画像処理部１０８にも転送する。
【００１６】
なお、図５の高速レート撮像モード５０２で撮像を行っている場合、１／１２０秒間隔で撮像された高速レート画像は、順にフレームメモリ１０５に転送される。また、高速レート画像のうちａ、ａ’、ａ’’及びａ’’’のフレーム画像は、表示レート画像として画像処理部１０８に転送される。
【００１７】
フレームメモリ１０５は、フレーム制御部１０４から転送されたフレーム画像を記憶する記憶媒体である。フレーム間差分検出部１０６は、フレームメモリ１０５に記憶されている複数のフレーム画像について、フレーム間の動き量、色、輝度情報などの差分を検出して、差分情報を生成する。そして、差分が検出されたフレーム画像については、フレームメモリ１０５に記憶された該フレーム画像を画像処理部１０８へ送信する。このフレーム画像は、記録部１１３に静止画記録されることとなる。また、表示レート画像にアトリビュート情報を付加するために、アトリビュート生成部１０７に検出した差分情報や、差分検出の際に併せて取得されたフレームの動き量や、オブジェクト情報などを送信する。
【００１８】
アトリビュート生成部１０７は、フレーム間差分検出部１０６から受信した差分情報等に応じて、アトリビュート情報を生成し、ネットワーク制御部１１１に送信する回路である。ここでアトリビュート情報とは、フレーム間差分として検出された差分情報の属性を示す情報であって、例えば、動き量、動き方向、色、輝度、オブジェクト内容、オブジェクト位置などが含まれる。本実施形態では、このアトリビュート情報を参照して、低速フレーム画像のフレーム間でオブジェクトなどが検出されたか否かを確認することができる。もし、該オブジェクトの検出が確認されれば、表示装置１１５側で、高速レート画像を参照することができる。
【００１９】
画像処理部１０８は、入力されたフレーム画像を現像処理し、幾何変換やノイズ低減処理などの画像処理を行う回路である。処理後のフレーム画像は圧縮処理部１０９へ送信される。圧縮処理部１０９は、画像処理部１０８で処理されたフレーム画像に、ＭＰＥＧやＭｏｔｉｏｎＪＰＥＧ、ＪＰＥＧなどの方式に従った圧縮処理を施す回路である。処理後のフレーム画像はネットワーク制御部１１１に転送される。また、撮像制御部１１０から、表示レート情報及び撮像モード情報に基づき、記録部１１３に記録すべき高速レート画像をＪＰＥＧ方式で圧縮処理して、ネットワーク制御部１１１に転送する。
【００２０】
撮像制御部１１０は、ネットワーク制御部１１１から受信した表示装置１１５の表示レート情報や撮像モード情報を、素子制御部１０３、フレーム制御部１０４、画像処理部１０８及び画像圧縮部１０９に伝達する。撮像制御部１１０は、ＣＰＵなどの処理装置によって構成される。ネットワーク制御部１１１は、ネットワーク入出力部１１２から受信した表示装置１１５の表示レート情報や撮像モード情報を撮像制御部１１０に送信する。ネットワーク制御部１１１は、ＣＰＵなどの処理装置を有する。また、圧縮処理部１０９で圧縮されたフレーム画像をネットワーク入出力部１１２へ送信する。その際、アトリビュート生成部１０７でアトリビュート情報が生成されている場合は、当該アトリビュート情報を送信データに付加する。また、圧縮処理部１０９から得られた高速レート画像を記録部１１３に転送して、記録させる。
【００２１】
ネットワーク入出力部１１２は、ネットワーク１１４を経由して表示装置１１５と接続する回路である。また、ネットワーク１１４を経由して表示装置１１５からの映像データの転送要求や記録部１１３への記録要求を受信する。ネットワーク制御部１１１から受信した映像データはネットワーク１１４を経由して表示装置１１５へ転送される。
【００２２】
記録部１１３は、表示装置１１５からフレーム画像の記録要求があった場合は表示レート画像のグループを動画像データとして記録する不揮発性のメモリを有する。また、通常の表示レート（例えば、３０ｆｐｓ）では撮像できないオブジェクトが高速レート画像で検出された場合は、オブジェクトを含む高速レート画像を静止画として記録部１１３へ記録する。ネットワーク１１４は、例えば、インターネットやＬＡＮなどで構成される。撮像装置１０１は、ネットワーク１１４を介して表示装置１１５と接続される。
【００２３】
表示装置１１５は、情報処理装置であって、本実施の形態においてはパーソナル・コンピュータ（ＰＣ）で構成することができる。但し、ＰＣに限らず、単なるディスプレイや、携帯型の情報端末（ＰＤＡや携帯電話）等で構成されてもよい。
【００２４】
ここで、図１４を参照して、表示装置１１５のハードウェア構成の一例を説明する。図１４において、ＣＰＵ１４０１は、ＨＤ（ハードディスク）１４０３に格納されているＯＳ、アプリケーションプログラム等を実行し、ＲＡＭ１４０２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。ＲＡＭ１４０２は、ＣＰＵ１４０１の主メモリ、ワークエリア等として機能する。ＨＤ１４０３は、アプリケーションプログラム、ドライバプログラム、ＯＳ、制御プログラム、本実施形態に対応する処理を実行するための処理プログラム等を格納している。
【００２５】
ディスプレイ１４０４は、キーボード１４０９から入力したコマンドや、外部（撮像装置１０１を含む）から取得した情報等を表示するための表示手段である。ネットワークインターフェイス（以下、Ｉ／Ｆという）１４０５は、ネットワーク１１４に接続するための通信インターフェイスである。ＲＯＭ１４０６には、基本Ｉ／Ｏプログラム等のプログラムを記憶する。
【００２６】
外部記憶ドライブ１４０７は、メディア１４０８に記憶されたプログラム等を本コンピュータシステムにロードすることができる。記録媒体としてのメディア１４０８は、所定のプログラムおよび関連データを格納する。キーボード１４０９は、表示装置１１５の操作者が、指示入力を行うためのユーザインタフェースである。システムバス１４１０は、表示装置１１５内のデータの流れを司るものである。
【００２７】
本実施形態では、以上の構成において、撮像素子+AFE１０２で撮像されたフレーム画像は、フレーム制御部１０４からフレームメモリ１０５と画像処理部１０８に与えられる。ここで、フレームメモリ１０５では、フレーム間差分検出部１０６によりフレーム間差分検出が行われ、差分が検出されたフレームは画像処理部１０８へ転送される。画像処理部１０８では、フレーム制御部１０４及びフレームメモリ１０５から転送されたフレーム画像の現像などの画像処理が行われ、圧縮処理部１０９で圧縮される。圧縮処理後のフレーム画像のうち、表示レートに対応するデータは、ネットワーク入出力部１１２からネットワーク１１４を通って、表示装置１１５へ送信される。また、差分検出に係るフレーム画像は、記録部１１３に記録される。
【００２８】
ネットワーク制御部１１１では、ネットワーク入出力部１１２から受信した表示装置１１５からの撮像装置１０１に対する要求が判断され、処理情報が撮像制御部１１０に対して伝えられる。なお、これらの処理は基本的にネットワーク制御部１１１内のCPU上で動作するソフトウエアによって処理される。
【００２９】
次に、図２を参照して、撮像装置１０１に含まれるフレーム間差分検出部１０６及びアトリビュート生成部１０７の構成及び動作の一例を説明する。図２は、本実施形態に対応するフレーム間差分検出部１０６及びアトリビュート生成部１０７の構成の一例を示す図である。
【００３０】
図２において、フレーム間差分検出部１０６は、好適には、フレーム間比較部２０１とフレーム送信要求部２０２とを備えている。フレーム間比較部２０１は、動き量検出部２０３とオブジェクト認識部２０４とを含む。また、動き量検出部２０３の他に、色差検出部、輝度差検出部などを含んでいてもよい。
【００３１】
フレーム間比較部２０１は、フレームメモリ１０５に記憶されているフレーム画像中の表示レート画像と高速レート画像とを比較し、動き量を計算する。動き量検出部２０３は、例えば比較されるそれぞれのフレーム画像を所定の画素サイズ（例えば、６４画素×６４画素）のブロックに分割し、ブロック毎の比較を行って、類似するブロックを探索する。そして、ブロック間の誤差が最も小さいものに基づいて、動き量を表す動きベクトルを生成する。動きベクトルが生成され、動き量が検出された場合には、その旨をフレーム送信要求部に通知する。オブジェクト認識部２０４は、ブロック間の差分情報より、オブジェクトとして認識が可能な領域を特定したり、与えられたＬＵＴを参照してフレーム内のオブジェクトを検出したりする。これにより、フレーム画像内からオブジェクト抽出を行う。
【００３２】
また、フレーム間比較部２０１からは、動き量検出部２０３において生成された動きベクトルと、オブジェクト認識部２０４により抽出されたオブジェクトの情報が、差分情報としてアトリビュート生成部１０７へ送信される。
【００３３】
フレーム送信要求部２０２は、表示レート画像と高速レート画像との間で差分が検出された場合に、フレームメモリ１０５に記憶されている該高速レート画像を画像処理部１０８に送信する要求を、フレームメモリ１０５に対して送信する。
【００３４】
次に、アトリビュート生成部１０７は、好適には、差分情報取得部２０５、アトリビュート情報生成部２０６及びアトリビュート情報テーブル２０７を備える。
【００３５】
差分情報取得部２０５は、動きベクトル及びオブジェクトの情報といった差分情報をフレーム間比較部２０１から取得する。この差分情報は、アトリビュート情報生成部２０６に転送され、差分情報に対応するアトリビュート情報が、アトリビュート情報テーブル２０７を参照して生成される。アトリビュート情報生成部２０６で生成されたアトリビュート情報は、ネットワーク制御部１１１に転送される。
【００３６】
アトリビュート情報テーブル２０７は、差分情報に含まれる動きベクトルやオブジェクト情報から、アトリビュート情報を生成するための情報が登録されている。例えば、オブジェクトとして検出された領域が人間の「顔」を表しているか否かを判定するための「顔」のテンプレートが登録されている。従って、アトリビュート情報生成部２０６は、このテンプレートを利用して、検出されたオブジェクトが「顔」であるか否かをパターンマッチングにより判定することができる。そして、「顔」と判定できた場合には、アトリビュート情報に「顔」に関する情報を含めることができる。
【００３７】
以上の構成に基づいて、本実施形態に対応する画像処理システムは、高速レート撮影が可能なネットワークカメラである撮像装置１０１とネットワークに接続可能な表示装置１１５とで構成される。
【００３８】
次に、図３及び図４を参照して、本実施形態の画像処理システムにおける処理の流れを説明する。図３は、本実施形態に対応する表示装置１１５側の動作の一例を示すフローチャートである。図３に示す処理は、ＲＯＭ１４０６から読み出されたプログラムに基づいてＣＰＵ１４０１が実行する。また、図４は、本実施形態に対応する撮像装置１０１側の動作の一例を示すフローチャートである。
【００３９】
まず、表示装置１１５側において、ステップＳ３０１では、撮像装置１０１に対し、ＣＰＵ１４０１は、ネットワーク１１４を介してネットワーク接続の要求を行う。これに対し、撮像装置１０１は、ステップＳ４０１において表示装置１１５からの接続要求を受信すると、ステップＳ４０２において、表示装置１１５とネットワーク１１４を介して接続する。
【００４０】
次に、表示装置１１５側のＣＰＵ１４０１、ステップＳ３０２において撮像装置１０１とのネットワーク接続を確認すると、ステップＳ３０３において表示装置１１５の表示レート情報を撮像装置１０１へ送信する。撮像装置１０１側では、ステップＳ４０３において表示装置１１５の表示レート情報を受信すると、ステップＳ４０４において、ネットワーク入出力部１１２は、撮像装置１０１の撮像準備完了信号を表示装置１１５に送信する。
【００４１】
表示装置１１５は、ステップＳ３０４において撮像装置１０１の撮像準備完了信号を受信する。そして、ＣＰＵ１４０１は、ステップＳ３０５において図８ａに示すような撮像モード選択画面８０１をディスプレイ１４０４に表示させ、ステップＳ３０６においてユーザによる撮像モードの選択を受け付ける。
【００４２】
図８ａは、本実施形態における図１の構成における表示装置１１５において、撮像モード選択を行うための表示例である。図８ａにおいて、画面８０１には、撮影モード選択欄８０２が表示され、低速レート撮像モード５０１を選択するための選択ボタン８０３と高速レート撮像モード５０２を選択するための選択ボタン８０４とが表示されている。ここで、低速レート撮像モードは、表示レートと同じ撮像レートであり一般的なネットワークカメラと同様に動作する。本実施形態においては、高速レート撮像モード５０２が選択される場合を説明する。従って、図８ａの画面８０１では選択ボタン８０４の選択を受け付けることとなる。
【００４３】
ステップＳ３０６で、高速レート撮像モード５０２の選択を受け付けると、ステップＳ３０７に移行する。ステップＳ３０７では、ＣＰＵ１４０１は、撮像装置１０１に対し、受け付けた撮像モードに対応する撮像モード情報を送信する。次に、ステップＳ３０８において、ＣＰＵ１４０１は、表示部に撮像データ要求を選択するための画面をディスプレイ１４０４に表示させる。そして、ステップＳ３０９で選択を受け付ける。このときディスプレイ１４０４に表示される画面の一例は、図８ｂに示すようになる。
【００４４】
図８ｂは、撮像データ要求選択画面の一例を示す図である。画面８１１では、撮像装置１０１において撮像して得られたフレーム画像に関する要求を選択することができる。まず、フレーム画像を撮像装置１０１内の記録部１１３に記録しておく（８１２）要求が可能である。これは、撮像して得られたフレーム画像を一旦は記録部１１３に保存しておき、後で再生する場合に利用される。
【００４５】
また、ユーザは、フレーム画像を撮像装置１０１内の記録部１１３に記録しながら、表示装置１１５に表示させる（８１３）要求が可能である。この場合、ユーザは、撮像して得られたフレーム画像を記録部１１３に保存しながら、同時に表示装置１１５で撮像された内容をリアルタイムに確認することができる。更に、ユーザは、撮像装置１０１内の記録部１１３に記録された撮像データを表示装置１１５に読み出して表示させる（８１４）要求が可能である。この場合、記録部１１３に記録された撮像データを、確認等のために表示装置１１５に表示させることができる。
【００４６】
本実施形態では、表示及び記録を同時に行うモード（８１３）が選択されたものとして、説明を続ける。ステップＳ３０９で画面８１１を利用して受け付けた撮像データ要求を、ステップＳ３１０で撮像装置１０１へ送信する。
【００４７】
一方の撮像装置１０１は、ステップＳ４０５において表示装置１１５から撮像モード情報を受信し、ステップＳ４０６において、撮像データ要求を受信する。
【００４８】
以下、撮像装置１０１内において撮像データを表示装置１１５へ送信するまでの動作を、図６を併せて参照しながら説明する。図６は、本実施形態に対応する処理の流れを示すデータフロー図である。
【００４９】
撮像装置１０１は、ステップＳ４０７において、撮像素子＋AFE１０２による撮像動作を開始する。撮像素子＋AFE１０２は、フレーム制御部１０４から与えられた撮像モード情報に基づき、フレームレートを決定し、得られたフレーム画像をフレーム制御部１０４へ出力する。本実施形態では、高速レート撮像モード５０２が設定されているので、１２０ｆｐｓで撮像が行われる。図６のフロー６０１では、撮像素子＋ＡＦＥ１０２が、フレーム画像ａ〜ｄ、ａ’〜ｄ’及びａ’’〜ｄ’’を出力している。なお、図６では、簡単のためにフレーム数を簡略化して記載している。
【００５０】
このようにして得られたフレーム画像につき、フレーム制御部１０４は、撮像データ要求に基づき、表示レート画像を画像処理部１０８に転送すると共に、高速レート画像をフレームメモリ１０５に転送する。このとき、画像処理部１０８には、表示レート画像であるａ、ａ’、ａ’’及びａ’’’のみが転送される。一方、フレームメモリ１０５には、図６のフロー６０２に示すように、ａ〜ｄ、ａ’〜ｄ’及びａ’’〜ｄ’’が転送される。
【００５１】
次に、ステップＳ４０８では、フレームメモリ１０５に格納されている表示レート画像と高速レート画像とを用いて、フレーム間差分検出部１０６がフレーム間差分検出を行う。図６のフロー６０３では、表示レート画像であるａとｂ〜ｄ、ａ’とｂ’〜ｄ’、及び、ａ’’とｂ’’〜ｄ’’がそれぞれ比較される。ここで動きベクトルやオブジェクトの情報といった差分情報が生成された場合には（ステップＳ４０９において「ＹＥＳ」）、ステップＳ４１０においてアトリビュート生成部１０７にてアトリビュート情報が生成され、ステップＳ４１１に移行する。フロー６０３では、高速レート画像ｃについて表示レート画像ａとの差分情報が生成された場合を示しており、フロー６０４にてアトリビュート生成部１０７にて、アトリビュート情報が生成される。なお、差分情報が生成されたフレーム画像は、フレームメモリ１０５から画像処理部１０８に送信される。図６の場合、高速レート画像ｃについて差分情報が生成されたので、フレーム画像ｃがフレームメモリ１０５から画像処理部１０８に転送される。もし、差分情報が生成されない場合には（ステップＳ４０９において「ＮＯ」）、そのままステップＳ４１１に移行する。
【００５２】
ステップＳ４１１では、画像処理部１０８及び圧縮処理部１０９により撮像データが生成される。この撮像データは、図６のフロー６０５に示すように、表示レート画像にアトリビュート情報を添付する形（ａ’）で生成され、アトリビュート情報がない場合には、表示レート画像のみ（ａ及びａ’’）で生成される。なお、図６では、差分が検出された直後の表示レート画像にアトリビュート情報を添付しているが、これに限らず、検出に係る表示レート画像に添付しても良い。また、差分情報が生成された場合には、併せて該差分情報に関連する高速レート画像の静止画像データが生成される。図６のフロー６０６では、高速レート画像ｃについて静止画像データが生成されている。生成された撮像データと静止画像データとは、ネットワーク制御部１１１に送信される。
【００５３】
ここで、図７を参照して、アトリビュート情報が生成される場合をより具体的に説明する。
【００５４】
７０１は、表示装置１１５の表示レートに対応した撮像例を示している。ここでの表示レートは３０ｆｐｓであり、低レート撮像モード５０１における撮像レートと同一である。７１１は、１フレーム目を示しているが、フレーム７１１には、オブジェクト７２０が表示されている。このオブジェクト７２０は、表示レートにおける次フレームであるフレーム７１２では画面内に存在していない。このことは、フレーム７１１と７１２との間に、オブジェクト７２０が移動してしまったことを意味している。
【００５５】
７０２は、高レート撮像モード５０２における撮像例を示している。ここでの撮像レートは１２０ｆｐｓである。従って、表示レートなどにおける１フレーム目であるフレーム７１３と次フレームである７１７との間に、３枚のフレーム画像７１４〜７１６が撮像可能となる。この場合、１フレーム目のフレーム７１３で検出されたオブジェクト７２０は、フレーム７１４及び７１５において追尾され、オブジェクトの移動方向を把握することが可能となる。
【００５６】
７０２の場合、表示レート画像であるフレーム７１３とフレーム７１４及び７１５との差分情報を生成することができ、フレーム７１４と７１５を静止画像データとして記録部１１３に記録しておく。差分情報に基づいて生成されるアトリビュート情報は、表示レート画像であるフレーム７１３（又は７１７）に付加される。このアトリビュート情報に基づけば、記録部１１３から当該静止画像データを読み出して、表示装置１１５のディスプレイ１１４に表示させて、詳細を把握することが可能となる。
【００５７】
ここで図４の説明に戻ると、本実施形態では、撮像データ要求として表示及び記録が要求されている。そこで、まず、ステップＳ４１２では、生成された撮像データを、ネットワーク制御部１１１がネットワーク入出力部１１２及びネットワーク１１４を介して表示器１１５に送信する。即ち、図６のフロー６０７に示すように、表示レート画像に対応する撮像データ（ａ、ａ’及びａ’’）が、表示器１１５へ送信される。
【００５８】
続いて、ステップＳ４１３では、ネットワーク制御部１１１が撮像データと、静止画像データが存在する場合には当該静止画像データとを、記録部１１３に格納する。即ち、図６のフロー６０８に示すように、撮像データ（ａ、ａ’及びａ’’）と静止画像データ（ｃ）が、記録部１１３に格納される。その後、ステップＳ４０７に戻って、フレーム画像の撮像を行い、以上の処理を撮像停止命令を受けるまで繰り返す。
【００５９】
一方の表示装置１１５側では、ステップＳ３１１において撮像装置１０１から送信された撮像データを受信し、ＣＰＵ１４０１は、ステップＳ３１２において、撮像データをディスプレイ１４０４に表示させる。また、ステップＳ３１３では、ＣＰＵ１４０１は、撮像データにアトリビュート情報が添付されているか否かを判定する。もしアトリビュート情報が添付されている場合には（ステップＳ３１３において「ＹＥＳ」）、ステップＳ３１４に移行する。一方、アトリビュート情報が添付されていない場合には（ステップＳ３１３において「ＮＯ」）、ステップＳ３１１に戻って、処理を継続する。
【００６０】
ステップＳ３１４では、ＣＰＵ１４０１は、撮像データに添付されているアトリビュート情報を利用した処理を実行する。ここで実行される処理としては、例えば、以下のような処理が考えられる。まず、ディスプレイ１４０４において撮像データを再生する場合に、ＣＰＵ１４０１は、アトリビュート情報が含まれている撮像データの前後についてスロー再生を行う。さらに、ＣＰＵ１４０１は、記録部１１３に格納されている静止画像データを併せて表示させる。また、差分情報を表示させても良い。
【００６１】
上記では、撮像データ要求で記録及び表示が要求された場合を記載した。これに対し、記録のみが要求された場合には、上記の処理において撮像データのネットワーク入出力部１１２からネットワーク１１４を介して表示装置１１５への送信処理が省略される。また、表示のみが要求された場合には、上記において撮像データの生成及び記録処理を省略し、記録部１１３に既に記録されている撮像データをネットワーク入出力部１１２からネットワーク１１４を介して表示装置１１５へ送信する。
【００６２】
以上のような実施の形態において、表示レートより高速な撮像レートにおいて撮像を行い、得られた高速レート画像を用いてフレーム間比較を行い、差分情報を検出することができる。この差分情報は、撮像領域内で変化するオブジェクトの存在を示すものであって、通常の表示レートでは補足できない速度で変化する場合であっても、検出することができる。これにより、表示レート画像からでは知ることができないオブジェクトの検知及び確認が可能となる。また、差分情報からアトリビュート情報を生成し、表示レート画像に付加して提供することで、表示装置側でアトリビュートデータを利用した通知、表示、再生方法など様々なアプリケーションが利用可能となる。
【００６３】
（第２の実施形態）
第１の実施の形態では、高速レート撮像モード５０２で撮像を行い、表示装置１１５側で表示を行う場合、表示レートが撮像レートよりも低い場合に、高速レート画像をそのまま表示レート画像として用いた。即ち、表示レートが３０ｆｐｓで、撮像レートが１２０ｆｐｓの場合でも、１／１２０秒で１２０枚撮像されたフレーム画像のうちから３０枚を選択して表示レート画像として表示していた。これに対し、本実施形態では、電子シャッタ速度の設定を可能とし、設定された電子シャッタ速度に応じて、表示レート画像の生成方法を異ならせる点に特徴を有する。
【００６４】
図９を参照して、本実施形態に対応するフレーム制御部１０４の構成の一例を説明する。図９は、本実施形態におけるフレーム制御部１０４の内部構成の一例を示す図である。フレーム制御部１０４は、電子シャッタ速度判断部９０１及びフレームレート判断部９０２からなる。
【００６５】
まず、電子シャッタ速度判断部９０１は、画像処理部１０８に設定されている電子シャッタ速度情報を撮像制御部１１０及びフレームレート判断部９０２に伝達する。撮像制御部１１０は、通知された電子シャッタ速度情報に従い、画像処理部１０８や圧縮処理部１０９を制御する。
【００６６】
この電子シャッタ速度情報は、撮像レートに対応する情報であって、表示装置１１５から設定可能である。即ち、電子シャッタ速度が１／１２０秒であれば、毎秒１２０枚のフレーム画像が撮像されることとなり、フレームレートは１２０ｆｐｓとなる。一方、電子シャッタ速度が１／３０秒であれば、毎秒３０枚のフレーム画像が撮像されることとなり、フレームレートは１２０ｆｐｓとなる。
【００６７】
但し、本実施形態では、ここで設定される電子シャッタ速度にかかわらず、予め設定された所定の電子シャッタ速度で撮像素子＋ＡＦＥ１０２における撮像を行うこととする。例えば、撮像素子＋ＡＦＥ１０２は、デフォルトで１／１２０秒の電子シャッタ速度で撮像を行うことができる。このデフォルト値は、任意に設定可能であるが、少なくとも表示レートよりも高いフレームレートに対応する値に設定されるべきである。
【００６８】
次に、フレームレート判断部９０２は、撮像素子＋ＡＦＥ１０２からフレーム制御部１０４に転送されるフレーム画像に基づいてフレームレートを判断する。ここでのフレームレートは、上記予め設定された電子シャッタ速度（１／１２０秒）に対応する１２０ｆｐｓとなる。また、判定されたフレームレートと、電子シャッタ速度判断部９０１から通知された電子シャッタ速度とに基づいて、表示レート画像を生成するために画像処理部１０８に転送するフレーム画像を決定する。表示レート画像を生成するために用いられることとなったフレーム画像は、画像処理部１０８へ転送される。なお、撮像素子＋ＡＦＥ１０２から得られた全てのフレーム画像がフレームメモリ１０５に転送され、差分検出が行われることは、第１の実施形態と同様である。
【００６９】
次に、図１０を参照して、表示装置１１５から設定された電子シャッタ速度に応じて、表示レート画像を生成する処理を説明する。図１０は、本実施形態に対応する表示レート画像の生成処理を説明するための図である。
【００７０】
まず、１００１は、表示装置１１５から設定された電子シャッタ速度が、撮像素子＋ＡＦＥ１０２に予め設定された電子シャッタ速度と一致する場合を示している。この場合、表示レート画像としては、撮像素子＋ＡＦＥ１０２により得られた高速レート画像をそのまま用いることができる。従って、表示装置１１５では、高速レート画像（ａ）がそのまま表示出力される。
【００７１】
一方、１００２は、表示装置１１５から設定された電子シャッタ速度が、撮像素子＋ＡＦＥ１０２に予め設定された電子シャッタ速度と一致しない場合を示している。図１０では、表示装置１１５から設定された電子シャッタ速度が１／３０秒の場合を一例として記載している。この場合、表示装置１１５から求められている電子シャッタ速度は、撮像素子＋ＡＦＥ１０２が実際に撮像を行っている速度（１／１２０秒）の４倍である。この場合は、４枚分の高速レート画像を合成して、１枚分の表示レート画像を生成する。図１０では、ａ’〜ｄ’の画像を合成して、一枚のａ’が生成される例を示している。この合成処理は、撮像制御部１１０の制御下において画像処理部１０８において行われる。なお、このときの画像合成は、公知の画像処理技術を利用することができ、例えば単純に画素値を足しあわせても良いし、平均値をとっても良い。
【００７２】
以上のように、本実施形態では、表示装置１１５側から、表示レート画像の生成処理に関する設定が可能となる。具体的に、電子シャッタ速度を設定して、設定された電子シャッタ速度と実際に撮像を行っている電子シャッタ速度とに基づいて、高速レート撮像モードで得られた画像を処理し、表示レート画像を生成することができる。これにより、第１の実施形態における効果に追加して、表示レート画像の画質を向上させることができる。
【００７３】
（第３の実施形態）
以上に説明した第１、２の実施の形態では、表示レートよりも高速なレートで撮像を行い、得られた高速レート画像から差分情報を検出して、表示レート画像では確認することができないオブジェクト検出を行った。また、表示装置１１５側では、表示レート画像をディスプレイ１４０４に表示させながら、アトリビュート情報の有無に応じて、高速レート画像を更に表示させて、検出されたオブジェクトの詳細を確認することが可能となっている。本実施形態では、差分情報が検出された高速レート画像からオブジェクト部分を切り出して、記録・表示することを可能にする点に特徴がある。
【００７４】
以下、発明の第３の実施形態について詳細に説明する。図１１は、本発明の第３の実施形態によるネットワークカメラを想定した撮像装置のハードウェア構成の一例を示す図である。
【００７５】
図１１に示すシステムの構成は、図１に示した構成とほぼ同様であるが、切り出し処理部１１０１を更に備える点で相違する。なお、図１１と図１とで共通する構成要素には同一の参照番号を付し、ここでは、簡単のために本実施形態に特有の処理について説明し、第１の実施形態と同様の処理については適宜省略することとする。
【００７６】
図１１において、フレーム制御部１０４は、フレームメモリ１０５に出力した高速レート画像のうち、フレーム間差分検出部で差分情報が生成されたフレーム画像を、本実施形態では切り出し処理部１１０１へ転送する。また、フレーム間差分検出部１０６は、生成した差分情報をアトリビュート生成部１０７と共に、切り出し処理部１１０１へ送信する。
【００７７】
切り出し処理部１１０１は、差分情報が生成されたフレーム画像のデータをフレームメモリ１０５から、差分情報をフレーム間差分検出部１０６から受信する。切り出し処理部１１０７は、受信したフレーム画像の中で差分情報が示すオブジェクトを含む最小画像領域を切り出してオブジェクト画像を抽出し、画像処理部１１０９へ送信する。画像処理部１０８は、切り出し処理部１１０１から受信したオブジェクト画像について所定の画像処理を行って、圧縮処理部１０９へ転送する。圧縮処理部１０９では、オブジェクト画像を第１の実施形態における高速レート画像と同様に処理する。
【００７８】
次に、図１２を参照して、本実施形態に対応する表示装置１１５側での処理を説明する。図１２は、本実施形態に対応する表示装置１１５における表示処理の一例を示すフローチャートである。この処理は、第１の実施形態におけるステップＳ３１４に対応する処理として行われ、ＨＤ１４０３に格納された対応する処理プログラムをＲＡＭ１４０２に読み出し、ＣＰＵ１４０１が実行することで実現される。
【００７９】
図１２において、ステップＳ１２０１では、ＣＰＵ１４０１は、撮像データに付加されたアトリビュート情報に対応するオブジェクトの静止画像データを受信したか否かを判定する。もし、受信していない場合には（ステップＳ１２０１で「ＮＯ」）、ステップＳ１２０２に移行する。一方、既に受信している場合には（ステップＳ１２０１で「ＹＥＳ」）、ステップＳ１２０４へ移行する。
【００８０】
ステップＳ１２０２では、ＣＰＵ１４０１は、検出されたオブジェクトに対応する静止画像データの送信を撮像装置１０１に要求する。ステップＳ１２０３では、要求に応じて送信された静止画像データを撮像装置１０１から受信する。
【００８１】
ステップＳ１２０４では、ＣＰＵ１４０１は、撮像データ（表示レート画像に対応）に対し、フレームレートの異なる静止画像データを合成する。この合成処理は、具体的には以下のようにして行う。まず、静止画像データは、高速レート画像からオブジェクト領域を切り出したオブジェクト画像であるため、単体では表示画像として利用できない。そこで、背景画像として直前の撮像データを利用する。まず、ＣＰＵ１４０１は、撮像装置１０１から得られたオブジェクト画像の個数分だけ撮像データをコピーする。そして、アトリビュート情報に含まれる動きベクトルやオブジェクトの表示位置に基づき、コピーされた撮像データにおけるオブジェクト表示位置を決定する。表示位置が決定されるとオブジェクト画像をコピーされた撮像データに合成する。これにより合成処理を実行することができる。
【００８２】
ステップＳ１２０５では、ＣＰＵ１４０１は、合成処理により生成された画像データを、ディスプレイ１４０４に表示させる。なお、撮像データは例えば３０ｆｐｓでの再生のためのデータであるのに対し、静止画像データは、１２０ｆｐｓで撮像された高速レート画像から抽出されたオブジェクト画像である。一方で、ディスプレイ１４０４における表示は、３０ｆｐｓの表示レートを保って行われる。従って、合成処理により生成された画像データは、所定の撮像データの間に挿入されて表示されることとなる。よって、再生形態はスロー再生に近いものとなる。
【００８３】
このときの表示形態を図１３を参照して説明する。図１３において、１３０１はディスプレイ１４０４に表示における表示画面を表す。１３０２は、オブジェクト画像１３０３乃至１３０５が合成された撮像データ（表示レート画像）を示している。オブジェクト画像１３０３乃至１３０５は、撮像データのフレーム間に検出されたオブジェクト画像を示す。ここでは、矢印１３０６の方向にオブジェクトが移動する場合が示されている。
【００８４】
このように本実施形態によれば、差分情報を検出した高速レート画像の中からオブジェクト部分を切り出して記録・表示することが可能となる。より詳細には、表示装置１１５側においてスロー再生を行って、オブジェクトの動きを確認したり、オブジェクトのみを別画面で表示したりすることが可能となる。
【００８５】
［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００８６】
また、本発明の目的は、前述した機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムに供給し、そのシステムがプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現し、そのプログラムコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００８７】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００８８】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００８９】
【図１】本発明の第１の実施形態に対応する撮像装置１０１のハードウェア構成の一例を示す図である。
【図２】本発明の第１の実施形態に対応する撮像装置１０１内のフレーム間差分検出部１０６及びアトリビュート生成部１０７の内部構成の一例を示す図である。
【図３】本発明の第１の実施形態に対応する表示装置１１５における処理の一例を示すフローチャートである。
【図４】本発明の第１の実施形態に対応する撮像装置１０１における処理の一例を示すフローチャートである。
【図５】本発明の第１の実施形態に対応する撮像モードを説明するための図である。
【図６】本発明の第１の実施形態に対応する処理の流れを示すデータフロー図である。
【図７】本発明の第１の実施形態に対応するアトリビュート情報の生成を説明するための図である。
【図８ａ】本発明の第１の実施形態に対応する表示装置１１５において、撮像モード選択を行うための表示例を示す図である。
【図８ｂ】本発明の第１の実施形態に対応する表示装置１１５において、撮像データ要求選択を行うための表示例を示す図である。
【図９】本発明の第２の実施形態に対応するフレーム制御部１０４の内部構成の一例を示す図である。
【図１０】本発明の第２の実施形態に対応する表示レート画像の生成処理を説明するための図である。
【図１１】本発明の第３の実施形態による撮像装置１０１のハードウェア構成の一例を示す図である。
【図１２】本発明の第３の実施形態に対応する表示装置１１５における表示処理の一例を示すフローチャートである。
【図１３】本発明の第３の実施形態に対応する表示装置１１５のディスプレイ１４０４における表示形態の一例を示す図である。
【図１４】本発明の実施形態に対応する表示装置１１５のハードウェア構成の一例を示す図である。
【符号の説明】
【００９０】
１０１ 撮像装置
１０２ 撮像素子＋AFE
１０３ 素子制御部
１０４ フレーム制御部
１０５ フレームメモリ
１０６ フレーム間差分検出部
１０７ アトリビュート生成部
１０８ 画像処理部
１０９ 圧縮処理部
１１０ 撮像制御部
１１１ ネットワーク制御部
１１２ ネットワーク入出力部
１１３ 記録部
１１４ ネットワーク
１１５ 表示装置（PC）
【技術分野】
【０００１】
本発明は、画像処理装置、情報処理装置及びそれらの制御方法、コンピュータプログラム並びに記憶媒体に関する。
【背景技術】
【０００２】
人間の目には速くてわからない高速な現象を記録するカメラとして、高速度カメラ（ハイスピードカメラ）が知られている。このような高速度カメラは、高速に移動する物体を撮影することによく利用されているが、監視カメラ用途として監視画像の異常を検出するために利用することも考えられている。そこで、高速度カメラで撮影し、センサなどが出力するトリガ信号を検出した場合に高速度カメラの映像を記録することが提案されている（特許文献１参照）。
【特許文献１】特開平０９-２８４７５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、常に表示レート映像で監視画像を表示しながら、表示映像では確認することができない表示レート間の映像を高速レート映像として同時に記録・表示することは困難であった。
【０００４】
そこで、本発明は、表示レート映像で監視画像を表示しながらも、表示映像では確認することが困難な表示レート間の画像を高速レート画像として記録・表示可能とすることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するための一つの側面に対応する本発明は、情報処理装置と接続可能な画像処理装置であって、前記情報処理装置における画像の表示レートよりも高いレートにて被写体を撮像して複数のフレーム画像を生成する撮像手段と、前記複数のフレーム画像のうち、前記表示レートに対応する第１のフレーム画像と、該第１のフレーム画像以外の第２のフレーム画像との差分を検出する検出手段と、前記検出手段により検出された前記差分に関する属性情報を生成する属性情報生成手段と、前記第１のフレーム画像と、前記差分の検出された前記第２のフレーム画像とを画像処理する画像処理手段と、前記第１のフレーム画像を前記属性情報と共に前記情報処理装置に送信する送信手段と、少なくとも前記第２のフレーム画像を記録する記録手段とを備える。
【０００６】
上記課題を解決するための他の側面に対応する本発明は、上記画像処理装置と接続可能な情報処理装置であって、前記画像処理装置から、前記第１のフレーム画像を前記属性情報と共に受信する受信手段と、前記第１のフレーム画像を表示する表示手段と、前記属性情報に基づき、前記第２のフレーム画像の送信を要求する要求手段と
を備え、前記表示手段は、前記受信手段で受信した前記第２のフレーム画像を更に表示することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、表示レート映像で監視画像を表示しながらも、表示映像では確認することが困難な表示レート間の映像を高速レート映像として記録・表示することが可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を用いて発明の実施形態について詳細に説明する。
【０００９】
（第１の実施形態）
以下、本発明の第１の実施形態について詳細に説明する。図１は、本発明第１の実施形態によるネットワークカメラを想定した撮像装置のハードウェア構成の一例を示す図である。
【００１０】
図１において、画像処理装置としての撮像装置１０１は、以下の構成要素を備える。まず、撮像素子＋AFE(Analog Front End)１０２はレンズを有し、素子制御部１０３からの表示レート情報や撮像モード情報を受信し、レンズで集積された光の電気信号への変換、センサレートの設定、ノイズ処理などを行う。
【００１１】
ここで、表示レート情報とは、表示装置１１５における表示に関する情報であって、例えば、３０ｆｐｓ（frame per second）を示す情報が含まれる。また、撮像モード情報とは、撮像素子＋AFE１０２における撮像モードを表す情報である。例えば、表示レート（例えば３０ｆｐｓ）に対応したフレームレートでの撮像を行う低速レート撮像モードと、表示レートよりも高いフレームレートでの撮像を行う高速レート撮像モードとが含まれる。
【００１２】
本実施形態における撮像モードについて、図５を参照してより詳細に説明する。図５は、本実施形態に対応する撮像モードを説明するための図である。
【００１３】
本実施形態では、低速レート撮像モードと、高速モード撮像モードとの２種類の撮像モードを想定している。低速レート撮像モード５０１は、ＮＴＳＣの３０ｆｐｓのフレームレートに対応した撮像モードであって、１／３０秒間に１枚のフレーム画像が撮像される。図５では、Ａ、Ａ’、Ａ’’、Ａ’’’がそれぞれ低速レート撮像モード５０１において撮像されたフレーム画像である。このようなフレーム画像を、本実施形態では「低速レート画像」という。
【００１４】
一方、高速レート撮像モード５０２は、３０ｆｐｓよりも高速、例えば１２０ｆｐｓのフレームレートに対応した撮像モードであって、１／１２０秒間に１枚のフレーム画像が撮像される。図５では、ａ〜ｄ、ａ’〜ｄ’、ａ’’〜ｄ’’、ａ’’’〜ｄ’’’がそれぞれ高速レート撮像モード５０２において撮像されたフレーム画像である。このようなフレーム画像を、本実施形態では「高速レート画像」という。
【００１５】
素子制御部１０３は、撮像制御部１１０から受信した表示レート情報や撮像モード情報を、撮像素子＋AFE１０２に伝達する回路である。フレーム制御部１０４は、撮像素子＋AFE１０２から受信したフレーム画像を、撮像制御部１１０から受信した表示レート情報や撮像モード情報に応じてフレームメモリ１０５に転送して、記憶させる回路である。フレーム制御部１０４はまた、フレーム画像のうち表示レートに対応する画像（以下、「表示レート画像」という。）については、フレームメモリ１０５に転送するだけでなく、画像処理部１０８にも転送する。
【００１６】
なお、図５の高速レート撮像モード５０２で撮像を行っている場合、１／１２０秒間隔で撮像された高速レート画像は、順にフレームメモリ１０５に転送される。また、高速レート画像のうちａ、ａ’、ａ’’及びａ’’’のフレーム画像は、表示レート画像として画像処理部１０８に転送される。
【００１７】
フレームメモリ１０５は、フレーム制御部１０４から転送されたフレーム画像を記憶する記憶媒体である。フレーム間差分検出部１０６は、フレームメモリ１０５に記憶されている複数のフレーム画像について、フレーム間の動き量、色、輝度情報などの差分を検出して、差分情報を生成する。そして、差分が検出されたフレーム画像については、フレームメモリ１０５に記憶された該フレーム画像を画像処理部１０８へ送信する。このフレーム画像は、記録部１１３に静止画記録されることとなる。また、表示レート画像にアトリビュート情報を付加するために、アトリビュート生成部１０７に検出した差分情報や、差分検出の際に併せて取得されたフレームの動き量や、オブジェクト情報などを送信する。
【００１８】
アトリビュート生成部１０７は、フレーム間差分検出部１０６から受信した差分情報等に応じて、アトリビュート情報を生成し、ネットワーク制御部１１１に送信する回路である。ここでアトリビュート情報とは、フレーム間差分として検出された差分情報の属性を示す情報であって、例えば、動き量、動き方向、色、輝度、オブジェクト内容、オブジェクト位置などが含まれる。本実施形態では、このアトリビュート情報を参照して、低速フレーム画像のフレーム間でオブジェクトなどが検出されたか否かを確認することができる。もし、該オブジェクトの検出が確認されれば、表示装置１１５側で、高速レート画像を参照することができる。
【００１９】
画像処理部１０８は、入力されたフレーム画像を現像処理し、幾何変換やノイズ低減処理などの画像処理を行う回路である。処理後のフレーム画像は圧縮処理部１０９へ送信される。圧縮処理部１０９は、画像処理部１０８で処理されたフレーム画像に、ＭＰＥＧやＭｏｔｉｏｎＪＰＥＧ、ＪＰＥＧなどの方式に従った圧縮処理を施す回路である。処理後のフレーム画像はネットワーク制御部１１１に転送される。また、撮像制御部１１０から、表示レート情報及び撮像モード情報に基づき、記録部１１３に記録すべき高速レート画像をＪＰＥＧ方式で圧縮処理して、ネットワーク制御部１１１に転送する。
【００２０】
撮像制御部１１０は、ネットワーク制御部１１１から受信した表示装置１１５の表示レート情報や撮像モード情報を、素子制御部１０３、フレーム制御部１０４、画像処理部１０８及び画像圧縮部１０９に伝達する。撮像制御部１１０は、ＣＰＵなどの処理装置によって構成される。ネットワーク制御部１１１は、ネットワーク入出力部１１２から受信した表示装置１１５の表示レート情報や撮像モード情報を撮像制御部１１０に送信する。ネットワーク制御部１１１は、ＣＰＵなどの処理装置を有する。また、圧縮処理部１０９で圧縮されたフレーム画像をネットワーク入出力部１１２へ送信する。その際、アトリビュート生成部１０７でアトリビュート情報が生成されている場合は、当該アトリビュート情報を送信データに付加する。また、圧縮処理部１０９から得られた高速レート画像を記録部１１３に転送して、記録させる。
【００２１】
ネットワーク入出力部１１２は、ネットワーク１１４を経由して表示装置１１５と接続する回路である。また、ネットワーク１１４を経由して表示装置１１５からの映像データの転送要求や記録部１１３への記録要求を受信する。ネットワーク制御部１１１から受信した映像データはネットワーク１１４を経由して表示装置１１５へ転送される。
【００２２】
記録部１１３は、表示装置１１５からフレーム画像の記録要求があった場合は表示レート画像のグループを動画像データとして記録する不揮発性のメモリを有する。また、通常の表示レート（例えば、３０ｆｐｓ）では撮像できないオブジェクトが高速レート画像で検出された場合は、オブジェクトを含む高速レート画像を静止画として記録部１１３へ記録する。ネットワーク１１４は、例えば、インターネットやＬＡＮなどで構成される。撮像装置１０１は、ネットワーク１１４を介して表示装置１１５と接続される。
【００２３】
表示装置１１５は、情報処理装置であって、本実施の形態においてはパーソナル・コンピュータ（ＰＣ）で構成することができる。但し、ＰＣに限らず、単なるディスプレイや、携帯型の情報端末（ＰＤＡや携帯電話）等で構成されてもよい。
【００２４】
ここで、図１４を参照して、表示装置１１５のハードウェア構成の一例を説明する。図１４において、ＣＰＵ１４０１は、ＨＤ（ハードディスク）１４０３に格納されているＯＳ、アプリケーションプログラム等を実行し、ＲＡＭ１４０２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。ＲＡＭ１４０２は、ＣＰＵ１４０１の主メモリ、ワークエリア等として機能する。ＨＤ１４０３は、アプリケーションプログラム、ドライバプログラム、ＯＳ、制御プログラム、本実施形態に対応する処理を実行するための処理プログラム等を格納している。
【００２５】
ディスプレイ１４０４は、キーボード１４０９から入力したコマンドや、外部（撮像装置１０１を含む）から取得した情報等を表示するための表示手段である。ネットワークインターフェイス（以下、Ｉ／Ｆという）１４０５は、ネットワーク１１４に接続するための通信インターフェイスである。ＲＯＭ１４０６には、基本Ｉ／Ｏプログラム等のプログラムを記憶する。
【００２６】
外部記憶ドライブ１４０７は、メディア１４０８に記憶されたプログラム等を本コンピュータシステムにロードすることができる。記録媒体としてのメディア１４０８は、所定のプログラムおよび関連データを格納する。キーボード１４０９は、表示装置１１５の操作者が、指示入力を行うためのユーザインタフェースである。システムバス１４１０は、表示装置１１５内のデータの流れを司るものである。
【００２７】
本実施形態では、以上の構成において、撮像素子+AFE１０２で撮像されたフレーム画像は、フレーム制御部１０４からフレームメモリ１０５と画像処理部１０８に与えられる。ここで、フレームメモリ１０５では、フレーム間差分検出部１０６によりフレーム間差分検出が行われ、差分が検出されたフレームは画像処理部１０８へ転送される。画像処理部１０８では、フレーム制御部１０４及びフレームメモリ１０５から転送されたフレーム画像の現像などの画像処理が行われ、圧縮処理部１０９で圧縮される。圧縮処理後のフレーム画像のうち、表示レートに対応するデータは、ネットワーク入出力部１１２からネットワーク１１４を通って、表示装置１１５へ送信される。また、差分検出に係るフレーム画像は、記録部１１３に記録される。
【００２８】
ネットワーク制御部１１１では、ネットワーク入出力部１１２から受信した表示装置１１５からの撮像装置１０１に対する要求が判断され、処理情報が撮像制御部１１０に対して伝えられる。なお、これらの処理は基本的にネットワーク制御部１１１内のCPU上で動作するソフトウエアによって処理される。
【００２９】
次に、図２を参照して、撮像装置１０１に含まれるフレーム間差分検出部１０６及びアトリビュート生成部１０７の構成及び動作の一例を説明する。図２は、本実施形態に対応するフレーム間差分検出部１０６及びアトリビュート生成部１０７の構成の一例を示す図である。
【００３０】
図２において、フレーム間差分検出部１０６は、好適には、フレーム間比較部２０１とフレーム送信要求部２０２とを備えている。フレーム間比較部２０１は、動き量検出部２０３とオブジェクト認識部２０４とを含む。また、動き量検出部２０３の他に、色差検出部、輝度差検出部などを含んでいてもよい。
【００３１】
フレーム間比較部２０１は、フレームメモリ１０５に記憶されているフレーム画像中の表示レート画像と高速レート画像とを比較し、動き量を計算する。動き量検出部２０３は、例えば比較されるそれぞれのフレーム画像を所定の画素サイズ（例えば、６４画素×６４画素）のブロックに分割し、ブロック毎の比較を行って、類似するブロックを探索する。そして、ブロック間の誤差が最も小さいものに基づいて、動き量を表す動きベクトルを生成する。動きベクトルが生成され、動き量が検出された場合には、その旨をフレーム送信要求部に通知する。オブジェクト認識部２０４は、ブロック間の差分情報より、オブジェクトとして認識が可能な領域を特定したり、与えられたＬＵＴを参照してフレーム内のオブジェクトを検出したりする。これにより、フレーム画像内からオブジェクト抽出を行う。
【００３２】
また、フレーム間比較部２０１からは、動き量検出部２０３において生成された動きベクトルと、オブジェクト認識部２０４により抽出されたオブジェクトの情報が、差分情報としてアトリビュート生成部１０７へ送信される。
【００３３】
フレーム送信要求部２０２は、表示レート画像と高速レート画像との間で差分が検出された場合に、フレームメモリ１０５に記憶されている該高速レート画像を画像処理部１０８に送信する要求を、フレームメモリ１０５に対して送信する。
【００３４】
次に、アトリビュート生成部１０７は、好適には、差分情報取得部２０５、アトリビュート情報生成部２０６及びアトリビュート情報テーブル２０７を備える。
【００３５】
差分情報取得部２０５は、動きベクトル及びオブジェクトの情報といった差分情報をフレーム間比較部２０１から取得する。この差分情報は、アトリビュート情報生成部２０６に転送され、差分情報に対応するアトリビュート情報が、アトリビュート情報テーブル２０７を参照して生成される。アトリビュート情報生成部２０６で生成されたアトリビュート情報は、ネットワーク制御部１１１に転送される。
【００３６】
アトリビュート情報テーブル２０７は、差分情報に含まれる動きベクトルやオブジェクト情報から、アトリビュート情報を生成するための情報が登録されている。例えば、オブジェクトとして検出された領域が人間の「顔」を表しているか否かを判定するための「顔」のテンプレートが登録されている。従って、アトリビュート情報生成部２０６は、このテンプレートを利用して、検出されたオブジェクトが「顔」であるか否かをパターンマッチングにより判定することができる。そして、「顔」と判定できた場合には、アトリビュート情報に「顔」に関する情報を含めることができる。
【００３７】
以上の構成に基づいて、本実施形態に対応する画像処理システムは、高速レート撮影が可能なネットワークカメラである撮像装置１０１とネットワークに接続可能な表示装置１１５とで構成される。
【００３８】
次に、図３及び図４を参照して、本実施形態の画像処理システムにおける処理の流れを説明する。図３は、本実施形態に対応する表示装置１１５側の動作の一例を示すフローチャートである。図３に示す処理は、ＲＯＭ１４０６から読み出されたプログラムに基づいてＣＰＵ１４０１が実行する。また、図４は、本実施形態に対応する撮像装置１０１側の動作の一例を示すフローチャートである。
【００３９】
まず、表示装置１１５側において、ステップＳ３０１では、撮像装置１０１に対し、ＣＰＵ１４０１は、ネットワーク１１４を介してネットワーク接続の要求を行う。これに対し、撮像装置１０１は、ステップＳ４０１において表示装置１１５からの接続要求を受信すると、ステップＳ４０２において、表示装置１１５とネットワーク１１４を介して接続する。
【００４０】
次に、表示装置１１５側のＣＰＵ１４０１、ステップＳ３０２において撮像装置１０１とのネットワーク接続を確認すると、ステップＳ３０３において表示装置１１５の表示レート情報を撮像装置１０１へ送信する。撮像装置１０１側では、ステップＳ４０３において表示装置１１５の表示レート情報を受信すると、ステップＳ４０４において、ネットワーク入出力部１１２は、撮像装置１０１の撮像準備完了信号を表示装置１１５に送信する。
【００４１】
表示装置１１５は、ステップＳ３０４において撮像装置１０１の撮像準備完了信号を受信する。そして、ＣＰＵ１４０１は、ステップＳ３０５において図８ａに示すような撮像モード選択画面８０１をディスプレイ１４０４に表示させ、ステップＳ３０６においてユーザによる撮像モードの選択を受け付ける。
【００４２】
図８ａは、本実施形態における図１の構成における表示装置１１５において、撮像モード選択を行うための表示例である。図８ａにおいて、画面８０１には、撮影モード選択欄８０２が表示され、低速レート撮像モード５０１を選択するための選択ボタン８０３と高速レート撮像モード５０２を選択するための選択ボタン８０４とが表示されている。ここで、低速レート撮像モードは、表示レートと同じ撮像レートであり一般的なネットワークカメラと同様に動作する。本実施形態においては、高速レート撮像モード５０２が選択される場合を説明する。従って、図８ａの画面８０１では選択ボタン８０４の選択を受け付けることとなる。
【００４３】
ステップＳ３０６で、高速レート撮像モード５０２の選択を受け付けると、ステップＳ３０７に移行する。ステップＳ３０７では、ＣＰＵ１４０１は、撮像装置１０１に対し、受け付けた撮像モードに対応する撮像モード情報を送信する。次に、ステップＳ３０８において、ＣＰＵ１４０１は、表示部に撮像データ要求を選択するための画面をディスプレイ１４０４に表示させる。そして、ステップＳ３０９で選択を受け付ける。このときディスプレイ１４０４に表示される画面の一例は、図８ｂに示すようになる。
【００４４】
図８ｂは、撮像データ要求選択画面の一例を示す図である。画面８１１では、撮像装置１０１において撮像して得られたフレーム画像に関する要求を選択することができる。まず、フレーム画像を撮像装置１０１内の記録部１１３に記録しておく（８１２）要求が可能である。これは、撮像して得られたフレーム画像を一旦は記録部１１３に保存しておき、後で再生する場合に利用される。
【００４５】
また、ユーザは、フレーム画像を撮像装置１０１内の記録部１１３に記録しながら、表示装置１１５に表示させる（８１３）要求が可能である。この場合、ユーザは、撮像して得られたフレーム画像を記録部１１３に保存しながら、同時に表示装置１１５で撮像された内容をリアルタイムに確認することができる。更に、ユーザは、撮像装置１０１内の記録部１１３に記録された撮像データを表示装置１１５に読み出して表示させる（８１４）要求が可能である。この場合、記録部１１３に記録された撮像データを、確認等のために表示装置１１５に表示させることができる。
【００４６】
本実施形態では、表示及び記録を同時に行うモード（８１３）が選択されたものとして、説明を続ける。ステップＳ３０９で画面８１１を利用して受け付けた撮像データ要求を、ステップＳ３１０で撮像装置１０１へ送信する。
【００４７】
一方の撮像装置１０１は、ステップＳ４０５において表示装置１１５から撮像モード情報を受信し、ステップＳ４０６において、撮像データ要求を受信する。
【００４８】
以下、撮像装置１０１内において撮像データを表示装置１１５へ送信するまでの動作を、図６を併せて参照しながら説明する。図６は、本実施形態に対応する処理の流れを示すデータフロー図である。
【００４９】
撮像装置１０１は、ステップＳ４０７において、撮像素子＋AFE１０２による撮像動作を開始する。撮像素子＋AFE１０２は、フレーム制御部１０４から与えられた撮像モード情報に基づき、フレームレートを決定し、得られたフレーム画像をフレーム制御部１０４へ出力する。本実施形態では、高速レート撮像モード５０２が設定されているので、１２０ｆｐｓで撮像が行われる。図６のフロー６０１では、撮像素子＋ＡＦＥ１０２が、フレーム画像ａ〜ｄ、ａ’〜ｄ’及びａ’’〜ｄ’’を出力している。なお、図６では、簡単のためにフレーム数を簡略化して記載している。
【００５０】
このようにして得られたフレーム画像につき、フレーム制御部１０４は、撮像データ要求に基づき、表示レート画像を画像処理部１０８に転送すると共に、高速レート画像をフレームメモリ１０５に転送する。このとき、画像処理部１０８には、表示レート画像であるａ、ａ’、ａ’’及びａ’’’のみが転送される。一方、フレームメモリ１０５には、図６のフロー６０２に示すように、ａ〜ｄ、ａ’〜ｄ’及びａ’’〜ｄ’’が転送される。
【００５１】
次に、ステップＳ４０８では、フレームメモリ１０５に格納されている表示レート画像と高速レート画像とを用いて、フレーム間差分検出部１０６がフレーム間差分検出を行う。図６のフロー６０３では、表示レート画像であるａとｂ〜ｄ、ａ’とｂ’〜ｄ’、及び、ａ’’とｂ’’〜ｄ’’がそれぞれ比較される。ここで動きベクトルやオブジェクトの情報といった差分情報が生成された場合には（ステップＳ４０９において「ＹＥＳ」）、ステップＳ４１０においてアトリビュート生成部１０７にてアトリビュート情報が生成され、ステップＳ４１１に移行する。フロー６０３では、高速レート画像ｃについて表示レート画像ａとの差分情報が生成された場合を示しており、フロー６０４にてアトリビュート生成部１０７にて、アトリビュート情報が生成される。なお、差分情報が生成されたフレーム画像は、フレームメモリ１０５から画像処理部１０８に送信される。図６の場合、高速レート画像ｃについて差分情報が生成されたので、フレーム画像ｃがフレームメモリ１０５から画像処理部１０８に転送される。もし、差分情報が生成されない場合には（ステップＳ４０９において「ＮＯ」）、そのままステップＳ４１１に移行する。
【００５２】
ステップＳ４１１では、画像処理部１０８及び圧縮処理部１０９により撮像データが生成される。この撮像データは、図６のフロー６０５に示すように、表示レート画像にアトリビュート情報を添付する形（ａ’）で生成され、アトリビュート情報がない場合には、表示レート画像のみ（ａ及びａ’’）で生成される。なお、図６では、差分が検出された直後の表示レート画像にアトリビュート情報を添付しているが、これに限らず、検出に係る表示レート画像に添付しても良い。また、差分情報が生成された場合には、併せて該差分情報に関連する高速レート画像の静止画像データが生成される。図６のフロー６０６では、高速レート画像ｃについて静止画像データが生成されている。生成された撮像データと静止画像データとは、ネットワーク制御部１１１に送信される。
【００５３】
ここで、図７を参照して、アトリビュート情報が生成される場合をより具体的に説明する。
【００５４】
７０１は、表示装置１１５の表示レートに対応した撮像例を示している。ここでの表示レートは３０ｆｐｓであり、低レート撮像モード５０１における撮像レートと同一である。７１１は、１フレーム目を示しているが、フレーム７１１には、オブジェクト７２０が表示されている。このオブジェクト７２０は、表示レートにおける次フレームであるフレーム７１２では画面内に存在していない。このことは、フレーム７１１と７１２との間に、オブジェクト７２０が移動してしまったことを意味している。
【００５５】
７０２は、高レート撮像モード５０２における撮像例を示している。ここでの撮像レートは１２０ｆｐｓである。従って、表示レートなどにおける１フレーム目であるフレーム７１３と次フレームである７１７との間に、３枚のフレーム画像７１４〜７１６が撮像可能となる。この場合、１フレーム目のフレーム７１３で検出されたオブジェクト７２０は、フレーム７１４及び７１５において追尾され、オブジェクトの移動方向を把握することが可能となる。
【００５６】
７０２の場合、表示レート画像であるフレーム７１３とフレーム７１４及び７１５との差分情報を生成することができ、フレーム７１４と７１５を静止画像データとして記録部１１３に記録しておく。差分情報に基づいて生成されるアトリビュート情報は、表示レート画像であるフレーム７１３（又は７１７）に付加される。このアトリビュート情報に基づけば、記録部１１３から当該静止画像データを読み出して、表示装置１１５のディスプレイ１１４に表示させて、詳細を把握することが可能となる。
【００５７】
ここで図４の説明に戻ると、本実施形態では、撮像データ要求として表示及び記録が要求されている。そこで、まず、ステップＳ４１２では、生成された撮像データを、ネットワーク制御部１１１がネットワーク入出力部１１２及びネットワーク１１４を介して表示器１１５に送信する。即ち、図６のフロー６０７に示すように、表示レート画像に対応する撮像データ（ａ、ａ’及びａ’’）が、表示器１１５へ送信される。
【００５８】
続いて、ステップＳ４１３では、ネットワーク制御部１１１が撮像データと、静止画像データが存在する場合には当該静止画像データとを、記録部１１３に格納する。即ち、図６のフロー６０８に示すように、撮像データ（ａ、ａ’及びａ’’）と静止画像データ（ｃ）が、記録部１１３に格納される。その後、ステップＳ４０７に戻って、フレーム画像の撮像を行い、以上の処理を撮像停止命令を受けるまで繰り返す。
【００５９】
一方の表示装置１１５側では、ステップＳ３１１において撮像装置１０１から送信された撮像データを受信し、ＣＰＵ１４０１は、ステップＳ３１２において、撮像データをディスプレイ１４０４に表示させる。また、ステップＳ３１３では、ＣＰＵ１４０１は、撮像データにアトリビュート情報が添付されているか否かを判定する。もしアトリビュート情報が添付されている場合には（ステップＳ３１３において「ＹＥＳ」）、ステップＳ３１４に移行する。一方、アトリビュート情報が添付されていない場合には（ステップＳ３１３において「ＮＯ」）、ステップＳ３１１に戻って、処理を継続する。
【００６０】
ステップＳ３１４では、ＣＰＵ１４０１は、撮像データに添付されているアトリビュート情報を利用した処理を実行する。ここで実行される処理としては、例えば、以下のような処理が考えられる。まず、ディスプレイ１４０４において撮像データを再生する場合に、ＣＰＵ１４０１は、アトリビュート情報が含まれている撮像データの前後についてスロー再生を行う。さらに、ＣＰＵ１４０１は、記録部１１３に格納されている静止画像データを併せて表示させる。また、差分情報を表示させても良い。
【００６１】
上記では、撮像データ要求で記録及び表示が要求された場合を記載した。これに対し、記録のみが要求された場合には、上記の処理において撮像データのネットワーク入出力部１１２からネットワーク１１４を介して表示装置１１５への送信処理が省略される。また、表示のみが要求された場合には、上記において撮像データの生成及び記録処理を省略し、記録部１１３に既に記録されている撮像データをネットワーク入出力部１１２からネットワーク１１４を介して表示装置１１５へ送信する。
【００６２】
以上のような実施の形態において、表示レートより高速な撮像レートにおいて撮像を行い、得られた高速レート画像を用いてフレーム間比較を行い、差分情報を検出することができる。この差分情報は、撮像領域内で変化するオブジェクトの存在を示すものであって、通常の表示レートでは補足できない速度で変化する場合であっても、検出することができる。これにより、表示レート画像からでは知ることができないオブジェクトの検知及び確認が可能となる。また、差分情報からアトリビュート情報を生成し、表示レート画像に付加して提供することで、表示装置側でアトリビュートデータを利用した通知、表示、再生方法など様々なアプリケーションが利用可能となる。
【００６３】
（第２の実施形態）
第１の実施の形態では、高速レート撮像モード５０２で撮像を行い、表示装置１１５側で表示を行う場合、表示レートが撮像レートよりも低い場合に、高速レート画像をそのまま表示レート画像として用いた。即ち、表示レートが３０ｆｐｓで、撮像レートが１２０ｆｐｓの場合でも、１／１２０秒で１２０枚撮像されたフレーム画像のうちから３０枚を選択して表示レート画像として表示していた。これに対し、本実施形態では、電子シャッタ速度の設定を可能とし、設定された電子シャッタ速度に応じて、表示レート画像の生成方法を異ならせる点に特徴を有する。
【００６４】
図９を参照して、本実施形態に対応するフレーム制御部１０４の構成の一例を説明する。図９は、本実施形態におけるフレーム制御部１０４の内部構成の一例を示す図である。フレーム制御部１０４は、電子シャッタ速度判断部９０１及びフレームレート判断部９０２からなる。
【００６５】
まず、電子シャッタ速度判断部９０１は、画像処理部１０８に設定されている電子シャッタ速度情報を撮像制御部１１０及びフレームレート判断部９０２に伝達する。撮像制御部１１０は、通知された電子シャッタ速度情報に従い、画像処理部１０８や圧縮処理部１０９を制御する。
【００６６】
この電子シャッタ速度情報は、撮像レートに対応する情報であって、表示装置１１５から設定可能である。即ち、電子シャッタ速度が１／１２０秒であれば、毎秒１２０枚のフレーム画像が撮像されることとなり、フレームレートは１２０ｆｐｓとなる。一方、電子シャッタ速度が１／３０秒であれば、毎秒３０枚のフレーム画像が撮像されることとなり、フレームレートは１２０ｆｐｓとなる。
【００６７】
但し、本実施形態では、ここで設定される電子シャッタ速度にかかわらず、予め設定された所定の電子シャッタ速度で撮像素子＋ＡＦＥ１０２における撮像を行うこととする。例えば、撮像素子＋ＡＦＥ１０２は、デフォルトで１／１２０秒の電子シャッタ速度で撮像を行うことができる。このデフォルト値は、任意に設定可能であるが、少なくとも表示レートよりも高いフレームレートに対応する値に設定されるべきである。
【００６８】
次に、フレームレート判断部９０２は、撮像素子＋ＡＦＥ１０２からフレーム制御部１０４に転送されるフレーム画像に基づいてフレームレートを判断する。ここでのフレームレートは、上記予め設定された電子シャッタ速度（１／１２０秒）に対応する１２０ｆｐｓとなる。また、判定されたフレームレートと、電子シャッタ速度判断部９０１から通知された電子シャッタ速度とに基づいて、表示レート画像を生成するために画像処理部１０８に転送するフレーム画像を決定する。表示レート画像を生成するために用いられることとなったフレーム画像は、画像処理部１０８へ転送される。なお、撮像素子＋ＡＦＥ１０２から得られた全てのフレーム画像がフレームメモリ１０５に転送され、差分検出が行われることは、第１の実施形態と同様である。
【００６９】
次に、図１０を参照して、表示装置１１５から設定された電子シャッタ速度に応じて、表示レート画像を生成する処理を説明する。図１０は、本実施形態に対応する表示レート画像の生成処理を説明するための図である。
【００７０】
まず、１００１は、表示装置１１５から設定された電子シャッタ速度が、撮像素子＋ＡＦＥ１０２に予め設定された電子シャッタ速度と一致する場合を示している。この場合、表示レート画像としては、撮像素子＋ＡＦＥ１０２により得られた高速レート画像をそのまま用いることができる。従って、表示装置１１５では、高速レート画像（ａ）がそのまま表示出力される。
【００７１】
一方、１００２は、表示装置１１５から設定された電子シャッタ速度が、撮像素子＋ＡＦＥ１０２に予め設定された電子シャッタ速度と一致しない場合を示している。図１０では、表示装置１１５から設定された電子シャッタ速度が１／３０秒の場合を一例として記載している。この場合、表示装置１１５から求められている電子シャッタ速度は、撮像素子＋ＡＦＥ１０２が実際に撮像を行っている速度（１／１２０秒）の４倍である。この場合は、４枚分の高速レート画像を合成して、１枚分の表示レート画像を生成する。図１０では、ａ’〜ｄ’の画像を合成して、一枚のａ’が生成される例を示している。この合成処理は、撮像制御部１１０の制御下において画像処理部１０８において行われる。なお、このときの画像合成は、公知の画像処理技術を利用することができ、例えば単純に画素値を足しあわせても良いし、平均値をとっても良い。
【００７２】
以上のように、本実施形態では、表示装置１１５側から、表示レート画像の生成処理に関する設定が可能となる。具体的に、電子シャッタ速度を設定して、設定された電子シャッタ速度と実際に撮像を行っている電子シャッタ速度とに基づいて、高速レート撮像モードで得られた画像を処理し、表示レート画像を生成することができる。これにより、第１の実施形態における効果に追加して、表示レート画像の画質を向上させることができる。
【００７３】
（第３の実施形態）
以上に説明した第１、２の実施の形態では、表示レートよりも高速なレートで撮像を行い、得られた高速レート画像から差分情報を検出して、表示レート画像では確認することができないオブジェクト検出を行った。また、表示装置１１５側では、表示レート画像をディスプレイ１４０４に表示させながら、アトリビュート情報の有無に応じて、高速レート画像を更に表示させて、検出されたオブジェクトの詳細を確認することが可能となっている。本実施形態では、差分情報が検出された高速レート画像からオブジェクト部分を切り出して、記録・表示することを可能にする点に特徴がある。
【００７４】
以下、発明の第３の実施形態について詳細に説明する。図１１は、本発明の第３の実施形態によるネットワークカメラを想定した撮像装置のハードウェア構成の一例を示す図である。
【００７５】
図１１に示すシステムの構成は、図１に示した構成とほぼ同様であるが、切り出し処理部１１０１を更に備える点で相違する。なお、図１１と図１とで共通する構成要素には同一の参照番号を付し、ここでは、簡単のために本実施形態に特有の処理について説明し、第１の実施形態と同様の処理については適宜省略することとする。
【００７６】
図１１において、フレーム制御部１０４は、フレームメモリ１０５に出力した高速レート画像のうち、フレーム間差分検出部で差分情報が生成されたフレーム画像を、本実施形態では切り出し処理部１１０１へ転送する。また、フレーム間差分検出部１０６は、生成した差分情報をアトリビュート生成部１０７と共に、切り出し処理部１１０１へ送信する。
【００７７】
切り出し処理部１１０１は、差分情報が生成されたフレーム画像のデータをフレームメモリ１０５から、差分情報をフレーム間差分検出部１０６から受信する。切り出し処理部１１０７は、受信したフレーム画像の中で差分情報が示すオブジェクトを含む最小画像領域を切り出してオブジェクト画像を抽出し、画像処理部１１０９へ送信する。画像処理部１０８は、切り出し処理部１１０１から受信したオブジェクト画像について所定の画像処理を行って、圧縮処理部１０９へ転送する。圧縮処理部１０９では、オブジェクト画像を第１の実施形態における高速レート画像と同様に処理する。
【００７８】
次に、図１２を参照して、本実施形態に対応する表示装置１１５側での処理を説明する。図１２は、本実施形態に対応する表示装置１１５における表示処理の一例を示すフローチャートである。この処理は、第１の実施形態におけるステップＳ３１４に対応する処理として行われ、ＨＤ１４０３に格納された対応する処理プログラムをＲＡＭ１４０２に読み出し、ＣＰＵ１４０１が実行することで実現される。
【００７９】
図１２において、ステップＳ１２０１では、ＣＰＵ１４０１は、撮像データに付加されたアトリビュート情報に対応するオブジェクトの静止画像データを受信したか否かを判定する。もし、受信していない場合には（ステップＳ１２０１で「ＮＯ」）、ステップＳ１２０２に移行する。一方、既に受信している場合には（ステップＳ１２０１で「ＹＥＳ」）、ステップＳ１２０４へ移行する。
【００８０】
ステップＳ１２０２では、ＣＰＵ１４０１は、検出されたオブジェクトに対応する静止画像データの送信を撮像装置１０１に要求する。ステップＳ１２０３では、要求に応じて送信された静止画像データを撮像装置１０１から受信する。
【００８１】
ステップＳ１２０４では、ＣＰＵ１４０１は、撮像データ（表示レート画像に対応）に対し、フレームレートの異なる静止画像データを合成する。この合成処理は、具体的には以下のようにして行う。まず、静止画像データは、高速レート画像からオブジェクト領域を切り出したオブジェクト画像であるため、単体では表示画像として利用できない。そこで、背景画像として直前の撮像データを利用する。まず、ＣＰＵ１４０１は、撮像装置１０１から得られたオブジェクト画像の個数分だけ撮像データをコピーする。そして、アトリビュート情報に含まれる動きベクトルやオブジェクトの表示位置に基づき、コピーされた撮像データにおけるオブジェクト表示位置を決定する。表示位置が決定されるとオブジェクト画像をコピーされた撮像データに合成する。これにより合成処理を実行することができる。
【００８２】
ステップＳ１２０５では、ＣＰＵ１４０１は、合成処理により生成された画像データを、ディスプレイ１４０４に表示させる。なお、撮像データは例えば３０ｆｐｓでの再生のためのデータであるのに対し、静止画像データは、１２０ｆｐｓで撮像された高速レート画像から抽出されたオブジェクト画像である。一方で、ディスプレイ１４０４における表示は、３０ｆｐｓの表示レートを保って行われる。従って、合成処理により生成された画像データは、所定の撮像データの間に挿入されて表示されることとなる。よって、再生形態はスロー再生に近いものとなる。
【００８３】
このときの表示形態を図１３を参照して説明する。図１３において、１３０１はディスプレイ１４０４に表示における表示画面を表す。１３０２は、オブジェクト画像１３０３乃至１３０５が合成された撮像データ（表示レート画像）を示している。オブジェクト画像１３０３乃至１３０５は、撮像データのフレーム間に検出されたオブジェクト画像を示す。ここでは、矢印１３０６の方向にオブジェクトが移動する場合が示されている。
【００８４】
このように本実施形態によれば、差分情報を検出した高速レート画像の中からオブジェクト部分を切り出して記録・表示することが可能となる。より詳細には、表示装置１１５側においてスロー再生を行って、オブジェクトの動きを確認したり、オブジェクトのみを別画面で表示したりすることが可能となる。
【００８５】
［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００８６】
また、本発明の目的は、前述した機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムに供給し、そのシステムがプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現し、そのプログラムコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００８７】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００８８】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００８９】
【図１】本発明の第１の実施形態に対応する撮像装置１０１のハードウェア構成の一例を示す図である。
【図２】本発明の第１の実施形態に対応する撮像装置１０１内のフレーム間差分検出部１０６及びアトリビュート生成部１０７の内部構成の一例を示す図である。
【図３】本発明の第１の実施形態に対応する表示装置１１５における処理の一例を示すフローチャートである。
【図４】本発明の第１の実施形態に対応する撮像装置１０１における処理の一例を示すフローチャートである。
【図５】本発明の第１の実施形態に対応する撮像モードを説明するための図である。
【図６】本発明の第１の実施形態に対応する処理の流れを示すデータフロー図である。
【図７】本発明の第１の実施形態に対応するアトリビュート情報の生成を説明するための図である。
【図８ａ】本発明の第１の実施形態に対応する表示装置１１５において、撮像モード選択を行うための表示例を示す図である。
【図８ｂ】本発明の第１の実施形態に対応する表示装置１１５において、撮像データ要求選択を行うための表示例を示す図である。
【図９】本発明の第２の実施形態に対応するフレーム制御部１０４の内部構成の一例を示す図である。
【図１０】本発明の第２の実施形態に対応する表示レート画像の生成処理を説明するための図である。
【図１１】本発明の第３の実施形態による撮像装置１０１のハードウェア構成の一例を示す図である。
【図１２】本発明の第３の実施形態に対応する表示装置１１５における表示処理の一例を示すフローチャートである。
【図１３】本発明の第３の実施形態に対応する表示装置１１５のディスプレイ１４０４における表示形態の一例を示す図である。
【図１４】本発明の実施形態に対応する表示装置１１５のハードウェア構成の一例を示す図である。
【符号の説明】
【００９０】
１０１ 撮像装置
１０２ 撮像素子＋AFE
１０３ 素子制御部
１０４ フレーム制御部
１０５ フレームメモリ
１０６ フレーム間差分検出部
１０７ アトリビュート生成部
１０８ 画像処理部
１０９ 圧縮処理部
１１０ 撮像制御部
１１１ ネットワーク制御部
１１２ ネットワーク入出力部
１１３ 記録部
１１４ ネットワーク
１１５ 表示装置（PC）
【特許請求の範囲】
【請求項１】
情報処理装置と接続可能な画像処理装置であって、
前記情報処理装置における画像の表示レートよりも高いレートにて被写体を撮像して複数のフレーム画像を生成する撮像手段と、
前記複数のフレーム画像のうち、前記表示レートに対応する第１のフレーム画像と、該第１のフレーム画像以外の第２のフレーム画像との差分を検出する検出手段と、
前記検出手段により検出された前記差分に関する属性情報を生成する属性情報生成手段と、
前記第１のフレーム画像と、前記差分の検出された前記第２のフレーム画像とを画像処理する画像処理手段と、
前記第１のフレーム画像を前記属性情報と共に前記情報処理装置に送信する送信手段と、
少なくとも前記第２のフレーム画像を記録する記録手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記情報処理装置から、前記第２のフレーム画像の送信要求を受け付けた場合に、
前記送信手段が、前記記録手段に記録された前記第２のフレーム画像を前記情報処理装置へ送信することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像手段が、第１の電子シャッター速度で前記被写体を撮像し前記複数のフレーム画像を生成し、
前記情報処理装置から、前記撮像手段における第２の電子シャッター速度の設定を受け付けた場合に、
前記画像処理手段は、前記第１の電子シャッター速度と前記第２の電子シャッター速度とに基づき、前記複数のフレーム画像を用いて前記第１のフレーム画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記検出手段により検出された前記差分に基づき、前記第２のフレーム画像よりオブジェクト画像を抽出するオブジェクト抽出手段と、
前記画像処理手段は、前記差分の検出された前記第２のフレーム画像として前記オブジェクト画像を処理することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
請求項１乃至４のいずれかに記載の画像処理装置と接続可能な情報処理装置であって、
前記画像処理装置から、前記第１のフレーム画像を前記属性情報と共に受信する受信手段と、
前記第１のフレーム画像を表示する表示手段と、
前記属性情報に基づき、前記第２のフレーム画像の送信を要求する要求手段と
を備え、
前記表示手段は、前記受信手段で受信した前記第２のフレーム画像を更に表示することを特徴とする情報処理装置。
【請求項６】
前記第２のフレーム画像が、前記オブジェクト画像である場合に、
前記表示手段は、前記第１のフレーム画像と前記オブジェクト画像とを用いて、表示を行うことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
情報処理装置と接続可能な画像処理装置の制御方法であって、
前記情報処理装置における画像の表示レートよりも高いレートにて撮像手段により被写体を撮像して複数のフレーム画像を生成する撮像工程と、
前記複数のフレーム画像のうち、前記表示レートに対応する第１のフレーム画像と、該第１のフレーム画像以外の第２のフレーム画像との差分を検出する検出工程と、
前記検出工程において検出された前記差分に関する属性情報を生成する属性情報生成工程と、
前記第１のフレーム画像と、前記差分の検出された前記第２のフレーム画像とを画像処理する画像処理工程と、
前記第１のフレーム画像を前記属性情報と共に前記情報処理装置に送信する第１の送信工程と、
少なくとも前記第２のフレーム画像を記録手段に記録する記録工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項８】
前記情報処理装置から、前記第２のフレーム画像の送信要求を受け付ける第１の受付工程と、
前記記録手段に記録された前記第２のフレーム画像を前記情報処理装置へ送信する第２の送信工程と
を更に備えることを特徴とする請求項７に記載の画像処理装置の制御方法。
【請求項９】
前記撮像手段が、第１の電子シャッター速度で前記被写体を撮像し前記複数のフレーム画像を生成している場合に、
前記情報処理装置から、前記撮像手段における第２の電子シャッター速度の設定を受け付ける第２の受付工程と、
前記第１の電子シャッター速度と前記第２の電子シャッター速度とに基づき、前記複数のフレーム画像を用いて前記第１のフレーム画像を生成する生成工程と
を更に備えることを特徴とする請求項７又は８に記載の画像処理装置の制御方法。
【請求項１０】
前記検出工程において検出された前記差分に基づき、前記第２のフレーム画像よりオブジェクト画像を抽出するオブジェクト抽出工程を更に備え、
前記画像処理工程では、前記差分の検出された前記第２のフレーム画像として前記オブジェクト画像が処理されることを特徴とする請求項７乃至９のいずれかに記載の画像処理装置の制御方法。
【請求項１１】
請求項７乃至１０のいずれかに記載の画像処理装置と接続可能な情報処理装置の制御方法であって、
前記画像処理装置から、前記第１のフレーム画像を前記属性情報と共に受信する受信工程と、
前記第１のフレーム画像を表示手段に表示する第１の表示工程と、
前記属性情報に基づき、前記第２のフレーム画像の送信を要求する要求工程と、
前記要求に応じて受信した前記第２のフレーム画像を前記表示手段に表示する第２の表示工程と
を備えることを特徴とする情報処理装置の制御方法。
【請求項１２】
前記第２のフレーム画像が、前記オブジェクト画像である場合に、
前記第２の表示工程では、前記第１のフレーム画像と前記オブジェクト画像とを用いて、表示が行われることを特徴とする請求項１１に記載の情報処理装置の制御方法。
【請求項１３】
コンピュータを、請求項１乃至７のいずれかに記載の装置として機能させるためのコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
【請求項１】
情報処理装置と接続可能な画像処理装置であって、
前記情報処理装置における画像の表示レートよりも高いレートにて被写体を撮像して複数のフレーム画像を生成する撮像手段と、
前記複数のフレーム画像のうち、前記表示レートに対応する第１のフレーム画像と、該第１のフレーム画像以外の第２のフレーム画像との差分を検出する検出手段と、
前記検出手段により検出された前記差分に関する属性情報を生成する属性情報生成手段と、
前記第１のフレーム画像と、前記差分の検出された前記第２のフレーム画像とを画像処理する画像処理手段と、
前記第１のフレーム画像を前記属性情報と共に前記情報処理装置に送信する送信手段と、
少なくとも前記第２のフレーム画像を記録する記録手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記情報処理装置から、前記第２のフレーム画像の送信要求を受け付けた場合に、
前記送信手段が、前記記録手段に記録された前記第２のフレーム画像を前記情報処理装置へ送信することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像手段が、第１の電子シャッター速度で前記被写体を撮像し前記複数のフレーム画像を生成し、
前記情報処理装置から、前記撮像手段における第２の電子シャッター速度の設定を受け付けた場合に、
前記画像処理手段は、前記第１の電子シャッター速度と前記第２の電子シャッター速度とに基づき、前記複数のフレーム画像を用いて前記第１のフレーム画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記検出手段により検出された前記差分に基づき、前記第２のフレーム画像よりオブジェクト画像を抽出するオブジェクト抽出手段と、
前記画像処理手段は、前記差分の検出された前記第２のフレーム画像として前記オブジェクト画像を処理することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
請求項１乃至４のいずれかに記載の画像処理装置と接続可能な情報処理装置であって、
前記画像処理装置から、前記第１のフレーム画像を前記属性情報と共に受信する受信手段と、
前記第１のフレーム画像を表示する表示手段と、
前記属性情報に基づき、前記第２のフレーム画像の送信を要求する要求手段と
を備え、
前記表示手段は、前記受信手段で受信した前記第２のフレーム画像を更に表示することを特徴とする情報処理装置。
【請求項６】
前記第２のフレーム画像が、前記オブジェクト画像である場合に、
前記表示手段は、前記第１のフレーム画像と前記オブジェクト画像とを用いて、表示を行うことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
情報処理装置と接続可能な画像処理装置の制御方法であって、
前記情報処理装置における画像の表示レートよりも高いレートにて撮像手段により被写体を撮像して複数のフレーム画像を生成する撮像工程と、
前記複数のフレーム画像のうち、前記表示レートに対応する第１のフレーム画像と、該第１のフレーム画像以外の第２のフレーム画像との差分を検出する検出工程と、
前記検出工程において検出された前記差分に関する属性情報を生成する属性情報生成工程と、
前記第１のフレーム画像と、前記差分の検出された前記第２のフレーム画像とを画像処理する画像処理工程と、
前記第１のフレーム画像を前記属性情報と共に前記情報処理装置に送信する第１の送信工程と、
少なくとも前記第２のフレーム画像を記録手段に記録する記録工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項８】
前記情報処理装置から、前記第２のフレーム画像の送信要求を受け付ける第１の受付工程と、
前記記録手段に記録された前記第２のフレーム画像を前記情報処理装置へ送信する第２の送信工程と
を更に備えることを特徴とする請求項７に記載の画像処理装置の制御方法。
【請求項９】
前記撮像手段が、第１の電子シャッター速度で前記被写体を撮像し前記複数のフレーム画像を生成している場合に、
前記情報処理装置から、前記撮像手段における第２の電子シャッター速度の設定を受け付ける第２の受付工程と、
前記第１の電子シャッター速度と前記第２の電子シャッター速度とに基づき、前記複数のフレーム画像を用いて前記第１のフレーム画像を生成する生成工程と
を更に備えることを特徴とする請求項７又は８に記載の画像処理装置の制御方法。
【請求項１０】
前記検出工程において検出された前記差分に基づき、前記第２のフレーム画像よりオブジェクト画像を抽出するオブジェクト抽出工程を更に備え、
前記画像処理工程では、前記差分の検出された前記第２のフレーム画像として前記オブジェクト画像が処理されることを特徴とする請求項７乃至９のいずれかに記載の画像処理装置の制御方法。
【請求項１１】
請求項７乃至１０のいずれかに記載の画像処理装置と接続可能な情報処理装置の制御方法であって、
前記画像処理装置から、前記第１のフレーム画像を前記属性情報と共に受信する受信工程と、
前記第１のフレーム画像を表示手段に表示する第１の表示工程と、
前記属性情報に基づき、前記第２のフレーム画像の送信を要求する要求工程と、
前記要求に応じて受信した前記第２のフレーム画像を前記表示手段に表示する第２の表示工程と
を備えることを特徴とする情報処理装置の制御方法。
【請求項１２】
前記第２のフレーム画像が、前記オブジェクト画像である場合に、
前記第２の表示工程では、前記第１のフレーム画像と前記オブジェクト画像とを用いて、表示が行われることを特徴とする請求項１１に記載の情報処理装置の制御方法。
【請求項１３】
コンピュータを、請求項１乃至７のいずれかに記載の装置として機能させるためのコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８ａ】
【図８ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８ａ】
【図８ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００８−２２０８１（Ｐ２００８−２２０８１Ａ）
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００６−１８９８０９（Ｐ２００６−１８９８０９）
【出願日】平成１８年７月１０日（２００６．７．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１８年７月１０日（２００６．７．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]