説明

画像撮像システム

【課題】サスペンドモード時においても画像撮像装置としての機能を失わないようにすることができる画像撮像システムを提供する。
【解決手段】CMOSセンサ4が撮影した画像から顔を検出する顔検出LSI5が、CMOSセンサ4が撮影した画像から顔を検出した場合は、ホストコンピュータ及びDSP3に対して低消費電流モードから復帰させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子にて撮影した画像を取得するとともにサスペンドモードなどの低消費電流モードに移行可能な画像撮像装置を有する画像撮像システムに関する。
【背景技術】
【0002】
撮像素子を用いて画像を撮影する画像撮像装置としてはデジタルカメラやデジタルビデオカメラなどがあるが、近年ではパーソナルコンピュータ(PC)に画像撮像装置を備えて、パーソナルコンピュータ内のCPU(Central Processing Unit)やアプリケーションプログラムなどから制御できるように構成されている画像撮像システムもある。
【0003】
図3に従来の画像撮像システムを示す。図3に示した画像撮像システム101は、ホストコンピュータ102と、画像撮像装置110と、を備えている。
【0004】
ホストコンピュータ102は、CPUやROM/RAMなどを備え、CPU上で動作するOS(Operating System)やアプリケーションプログラムなどによってUSBインターフェースで接続された画像撮像装置110の制御を行う。
【0005】
画像撮像装置110は、DSP103と、CMOSセンサ104と、を備えている。
【0006】
DSP103は、センサインターフェース制御部1031と、データ制御部1032と、USB制御部1033と、CPU1034と、ROM/RAM1035と、PLL回路1036と、クロック制御部1037と、IO1038と、外部発振子1039と、を備えている。
【0007】
センサインターフェース制御部1031は、CMOSセンサ104から出力された画像信号に対して、CDS(Correlated Double Sampling)処理によりS/N(Signal/Noise)比を良好に保つようにサンプルホールドを行い、さらにAGC(Auto Gain Control)処理により利得を制御し、A/D変換を行ってデジタル画像データをデータ制御部1032に出力する。またCMOSセンサ104側でA/D変換機能を持っている場合は、センサインターフェース制御部1031にてCMOSセンサ104/DSP103間のインターフェース制御信号を生成し、画像データをラッチしてデータ制御部1032へ出力する。データ制御部1032は、センサインターフェース制御部1031から出力された画像データに対して画質補正処理やJPEG(Joint Photographic Experts Group)などの符号化方式に従って圧縮符号化処理を施してUSB制御部1033に出力する。USB制御部1033は、USB(Universal Serial Bus)インターフェースで接続されたホストコンピュータ102とUSB規格に沿ったデータ通信の制御を行う。
【0008】
CPU1034は、ROM/RAM1035のROM(Read Only Memory)部に記憶されている制御プログラムを読み出し実行してDSP103の全体を制御する。ROM/RAM1035は、ROM(Read Only Memory)部にCPU1034が実行するための制御プログラムや各種データが記憶され、また、RAM(Random Access Memory)部は、CPU1034動作時のワークエリアとして機能する。
【0009】
PLL回路1036は、位相同期回路(Phase-locked loop)であって、IO1038を経由して入力される外部発振子1039から出力されたクロック信号を所定の倍率で逓倍してクロック制御部1037に出力する。クロック制御部1037は、PLL回路1036から出力されるクロック信号をDSP103内へ分配している。
【0010】
CMOSセンサ104は、撮像素子として機能し、被写体を撮影して画像信号をセンサインターフェース制御部1031へ出力する。また、CMOSセンサ104は、動作のためのクロック信号をDSP103から供給されている。
【0011】
また、画像撮像装置においては、特許文献1、2に記載された撮像装置のように被写体の顔を検出する機能を備えたものも提案されている。
【発明の概要】
【発明が解決しようとする課題】
【0012】
図3に示したような画像撮像システム101において、近年は電力消費の低減が課題となっており、DSP103などは低消費電流モード(サスペンドモード)を持つことが必須である。
【0013】
図3に示した画像撮像装置110では、サスペンドモードに投入されたDSP103はPLL回路1036が出力するソースクロックを停止し、DSP103自身の消費電流を抑えるようになっている。当然その際は、画像撮像装置110としての機能を完全に失ってしまう。
【0014】
画像撮像装置110の機能復帰にあたっては、DSP103のサスペンドモードからの復帰動作が必要であり、ホストコンピュータ102もしくはアプリケーションプログラムからの復帰信号にてDSP103内部のPLL回路1036を復帰させ、クロック信号の供給を再開させる必要がある。
【0015】
つまりは、ホストコンピュータ102を動作させるための人的動作なくしては、画像撮像110自体の機能を得られず、サスペンドモード時における画像撮像装置110の必要性や用途が低減されるという問題があった。
【0016】
特許文献1、2に記載された撮像装置においても、サスペンドモード時の動作については触れられておらず、そのため、サスペンドモード時に撮像装置の前を人物が通っても顔検出は機能せず、撮像装置としての機能を失ったままである。
【0017】
本発明はかかる問題を解決することを目的としている。
【0018】
すなわち、本発明は、サスペンドモード時においても画像撮像装置としての機能を失わないようにすることができる画像撮像システムを提供することを目的としている。
【課題を解決するための手段】
【0019】
上記課題を解決するためになされた請求項1に記載された発明は、撮像素子および前記撮像素子が撮影した画像を取得するとともに内部の消費電流を低減させる低消費電流モードに設定可能な撮像制御手段を備えた画像撮像装置と、前記画像撮像装置を制御するホストコンピュータと、を有する画像撮像システムにおいて、前記画像撮像装置に、前記撮像素子が撮影した画像から顔を検出する顔検出手段を備え、前記顔検出手段が、前記撮像素子が撮影した画像から顔を検出した場合は、前記低消費電流モードであれば前記ホストコンピュータに対して顔検出を示す信号を送信し、前記ホストコンピュータが前記撮像制御手段に対して前記低消費電流モードから復帰させることを特徴とする画像撮像システムである。
【0020】
請求項2に記載された発明は、請求項1に記載された発明において、前記撮像制御手段には、入力されるクロック信号を逓倍して内部へ供給するPLL回路と、前記PLL回路が逓倍したクロック信号または前記入力されるクロック信号のいずれかを前記撮像素子に供給するクロック制御回路と、が設けられ、前記PLL回路が、前記低消費電流モード時は動作を停止して前記内部へのクロック信号の供給を停止し、前記クロック制御回路が、前記低消費電流モード時は前記入力されるクロック信号を前記撮像素子に供給することを特徴とするものである。
【0021】
請求項3に記載された発明は、請求項2に記載された発明において、前記クロック制御回路は、前記顔検出手段に前記PLL回路が逓倍したクロック信号または前記入力されるクロック信号のいずれかを供給し、前記低消費電流モード時は前記入力されるクロック信号を前記顔検出手段に供給することを特徴とするものである。
【0022】
請求項4に記載された発明は、請求項1乃至3のうちいずれか一項に記載された発明において、前記画像撮像装置が、前記顔検出手段の動作または非動作を切り替える切り替え手段を備えたことを特徴とするものである。
【0023】
請求項5に記載された発明は、請求項2乃至4のうちいずれか一項に記載された発明において、前記撮像制御手段が内部に設けられた記憶手段に記憶されているファームウェアにより動作制御されるように構成されているとともに、前記クロック制御回路の切り替えは、前記ファームウェアによって行われることを特徴とするものである。
【0024】
請求項6に記載された発明は、請求項1乃至5のうちいずれか一項に記載された発明において、前記ホストコンピュータは、前記低消費電力モードにおいて前記顔検出手段が顔を検出した際に、前記低消費電力モードから復帰後、前記撮像制御手段に前記撮像素子から1フレーム分の画像を取得させて、前記撮像制御手段から当該1フレーム分の画像を取得した後に、前記撮像制御手段を再度前記低消費電流モードへ切換えることを特徴とするものである。
【0025】
請求項7に記載された発明は、請求項1乃至6のうちいずれか一項に記載された発明において、前記撮像制御手段と前記ホストコンピュータとがUSBインターフェースにて接続されていることを特徴とするものである。
【発明の効果】
【0026】
請求項1に記載の発明によれば、撮像素子が撮影した画像から顔を検出する顔検出手段が、撮像素子が撮影した画像から顔を検出した場合は、低消費電流モードであればホストコンピュータに対して顔検出を示す信号を送信し、ホストコンピュータが撮像制御手段に対して低消費電流モードから復帰させるので、サスペンドモード時に撮像素子の動作が可能となり、通常動作時よりも低消費電流で顔検出が可能となる。また、サスペンドモード時においても、顔検出機能が使用可能となる為、画像撮像装置の前に対象物(人物・顔)が検出されると、顔検出手段が、ホストコンピュータにトリガをかけて、ホストコンピュータが撮像制御手段を復帰させるために、画像撮像システム全体が自動的に機能出来るようになる。
【0027】
請求項2に記載の発明によれば、撮像制御手段には、入力されるクロック信号を逓倍して内部へ供給するPLL回路と、PLL回路が逓倍したクロック信号または入力されるクロック信号のいずれかを撮像素子に供給するクロック制御回路と、が設けられ、PLL回路は、低消費電流モード時は動作を停止して内部へのクロック信号の供給を停止し、クロック制御回路は、低消費電流モード時は入力されるクロック信号を撮像素子に供給するので、撮像制御手段は、PLL回路を停止させてクロック信号を停止することで消費電流を低下させるとともに、撮像素子には逓倍前の低速クロックを供給して通常動作時よりも低消費電流で動作させることができる。
【0028】
請求項3に記載の発明によれば、クロック制御回路は、顔検出手段にもPLL回路が逓倍したクロック信号または入力されるクロック信号のいずれかを供給し、低消費電流モード時は入力されるクロック信号を顔検出手段に供給するので、顔検出手段が専用の発振素子を持つ必要が無く、また、低消費電流モード時には低速クロックが供給されるので通常動作時よりも低消費電流で顔検出機能を動作させることができる。
【0029】
請求項4に記載の発明によれば、顔検出手段の動作または非動作を切り替える切り替え手段を備えているので、任意に顔検出動作をONまたはOFFを切り替えることができる。また、低消費電流モード時に撮像素子や顔検出手段を完全に停止させて消費電流を最も少ない状態にすることも可能となる。
【0030】
請求項5に記載の発明によれば、撮像制御手段が内部に設けられた記憶手段に記憶されているファームウェアにより動作制御されるように構成されているとともに、クロック制御回路の切り替えは、ファームウェアが行うので、ハードウェアよりも柔軟に動作の変更をすることができる。
【0031】
請求項6に記載の発明によれば、ホストコンピュータは、低消費電力モードにおいて顔検出手段が顔を検出した際に、低消費電力モードから復帰後、撮像制御手段に撮像素子から1フレーム分の画像を取得させて、撮像制御手段から当該1フレーム分の画像を取得した後に、撮像制御手段を再度低消費電流モードへ切換えるので、低消費電流モードを保持しつつ、画像撮像装置が撮影した画像から顔が撮影された画像のみを検出してセキュリティ処理(警報や施錠など)等を行う顔検出セキュリティ用の処理をホストコンピュータ上のアプリケーションプログラムなどで行うことができる。
【0032】
請求項7に記載の発明によれば、撮像制御手段とホストコンピュータとがUSBインターフェースにて接続されているので、USB規格においてサスペンド機能が規定されていることから、その機能を用いることでハードウェア設計が容易にできる。
【図面の簡単な説明】
【0033】
【図1】本発明の一実施形態にかかる画像撮像システムのブロック図である。
【図2】本発明の他の実施形態にかかる画像撮像システムのブロック図である。
【図3】従来の画像撮像システムのブロック図である。
【発明を実施するための形態】
【0034】
以下、本発明の一実施形態を、図1および図2を参照して説明する。図1は、本発明の一実施形態にかかる画像撮像システムのブロック図である。図2は、本発明の他の実施形態にかかる画像撮像システムのブロック図である。
【0035】
図1に本発明の一実施形態にかかる画像撮像システム1を示す。図1に示した画像撮像システム1は、ホストコンピュータ2と、画像撮像装置10と、を備えている。
【0036】
ホストコンピュータ2は、CPUやROM/RAMなどを備え、CPU上で動作するOSやアプリケーションプログラムなどによってUSBインターフェースで接続された画像撮像装置10の制御を行う。
【0037】
画像撮像装置10は、DSP3と、CMOSセンサ4と、顔検出用LSI5と、を備えている。
【0038】
撮像制御手段としてのDSP3は、センサインターフェース制御部31と、データ制御部32と、USB制御部32と、CPU34と、ROM/RAM35と、PLL回路36と、クロック制御部37と、IO38と、外部発振子39と、を備えている。
【0039】
センサインターフェース制御部31は、CMOSセンサ4から出力された画像信号に対して、CDS処理によりS/N比を良好に保つようにサンプルホールドを行い、さらにAGC処理により利得を制御し、A/D変換を行ってデジタル画像データをデータ制御部32に出力する。またCMOSセンサ4側でA/D変換機能を持っている場合は、センサインターフェース制御部31にてCMOSセンサ4/DSP3間のインターフェース制御信号を生成し、画像データをラッチしてデータ制御部32へ出力する。
【0040】
データ制御部32は、センサインターフェース制御部31から出力された画像データに対して画質補正処理やJPEGなどの符号化方式に従って圧縮符号化処理を施してUSB制御部33に出力する。
【0041】
USB制御部33は、USBインターフェースで接続されたホストコンピュータ2とUSB規格に沿ったデータ通信と、その制御を行う。
【0042】
CPU34は、ROM/RAM35のROM部に記憶されている制御プログラム(ファームウェア)を読み出し実行してDSP3の全体を制御する。
【0043】
記憶手段としてのROM/RAM35は、ROM部にCPU34が実行するための制御プログラム(ファームウェア)や各種データが記憶され、また、RAM部は、CPU34動作時のワークエリアとして機能する。
【0044】
PLL回路36は、位相同期回路(Phase-locked loop)であって、DSP3の入力端子であるIO38を経由して入力される外部発振子39から出力されたクロック信号(低速クロック信号)を所定の倍率で逓倍して高速クロック信号としてクロック制御部37に出力する。PLL回路36は後述するサスペンドモード時には逓倍動作を停止する。
【0045】
クロック制御回路としてのクロック制御部37は、PLL回路36から出力される高速クロック信号をDSP3内へ分配している。また、クロック制御部37は、セレクタ36aを備え、CPU34によってPLL回路36が出力した高速クロック信号とPLL回路を介さないでIO38から直接入力される低速クロック信号とが選択されて後述するCMOSセンサ4に出力される。
【0046】
また、上述したDSP3は、ホストコンピュータ2からの制御によりサスペンドモード(低消費電流モード)に移行することが可能となっている。
【0047】
撮像素子としてのCMOSセンサ4は、はCMOS(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)を用いた固体撮像素子であって、被写体を撮影して画像信号をセンサインターフェース制御部31および顔検出LSI5へ出力する。CMOSセンサ4は、動作のためのクロック信号をDSP3から供給されている。また、CMOSセンサ4の前段には、図示しないが被写体からの光を集光するレンズなどの光学部品や焦点を合わせるための駆動機構等が設けられている。
【0048】
顔検出手段としての顔検出LSI5は、CMOSセンサ4から入力された画像信号から人物の顔を検出して、検出信号をホストコンピュータ2に出力する。顔検出は、例えば上述した特許文献2に記載されている、AdaBoost学習により多数の弱識別器をカスケード型に線形結合したものを識別器として作成し、識別器に基づいてHear−Like特徴量を計算し顔を検出する方法など、周知の方法を用いればよい。また、顔検出LSI5には、DSP3からクロック信号の供給を受けずに外部発振子5aを持ち、外部発振子5aからクロック信号が供給されている。
【0049】
上述した構成の画像撮像装置10のDSP3は、サスペンドモード時には、PLL回路36を停止しDSP3内部の各ブロックへのクロック信号の供給も停止させ、CMOSセンサ4にのみクロック信号を供給する。この時供給するソースクロックは、外部発振子39からの低速クロックが選択される。この選択は、サスペンドモード移行直前でCPU34で動作するファームウェアがレジスタ設定を行ってクロック制御部37のセレクタ36aを低速クロック側に切り替える。DSP3自身は、セレクタ36aの切り替え終了後サスペンドモードになる。
【0050】
また、顔検出用LSI5は、外部発振子5aより単独でクロック信号が供給されて動作を行いCMOSセンサ4から画像信号を取得して、DSP3がサスペンドモード時においても機能している状態にある。サスペンドモード時においては、CMOSセンサ4により取得した画像信号から顔検出用LSI5にて顔データを判別評価する。顔データが検出されると顔検出用LSI5はホストコンピュータ2へ検出信号を出力してトリガをかける。ホストコンピュータ2は搭載のアプリケーションプログラム等で、顔検出用LSI5からのトリガを確認し、USBインターフェースを介してDSP3を通常動作へ復帰させる。
【0051】
本実施形態によれば、サスペンドモード時に、CMOSセンサ4が撮影した画像から顔を検出する顔検出LSI5が、CMOSセンサ4が撮影した画像から顔を検出した場合は、ホストコンピュータ2がDSP3に対してサスペンドモードから復帰させるので、サスペンドモード時にCMOSセンサ4の動作が可能となり、通常動作時よりも低消費電流で顔検出が可能となる。また、サスペンドモード時においても、顔検出機能が使用可能となる為、画像撮像装置10の前に対象物(人物・顔)が検出されると、顔検出LSI5が、ホストコンピュータ2にトリガをかけて、ホストコンピュータ2がDSP3を復帰させるために、画像撮像システム1全体が自動的に機能出来るようになる。
【0052】
また、DSP3には、入力されるクロック信号を逓倍して内部へ供給するPLL回路36と、PLL回路36が逓倍したクロック信号または入力されるクロック信号のいずれかをCMOSセンサ4に供給するクロック制御回路と、が設けられ、PLL回路36は、サスペンドモード時は動作を停止して内部へのクロック信号の供給を停止し、クロック制御部37は、サスペンドモード時は入力されるクロック信号をCMOSセンサ4に供給するので、DSP3は、PLL回路36を停止させてクロック信号を停止することで消費電流を低下させるとともに、CMOSセンサ4には逓倍前の低速クロックを供給して通常動作時よりも低消費電流でCMOSセンサ4を動作させることができる。
【0053】
また、クロック制御部37の切り替えは、ファームウェアが行うので、ハードウェアよりも柔軟に動作の変更をすることができる。
【0054】
また、DSP3とホストコンピュータ2とがUSBインターフェースにて接続されているので、USB規格においてサスペンド機能が規定されていることから、その機能を用いることでハードウェア設計が容易にできる。
【0055】
なお、上述した構成の画像撮像システム1の具体例としては、PCと、該PCにUSBインターフェースで接続されたWebカメラまたは監視カメラとから構成されるシステムや、カメラが設けられたノード型のPCなどが挙げられる。特にバッテリ駆動されるノード型PCでは画像撮像装置(カメラ)部分の消費電流を低減することでバッテリの無駄な消費を抑えることができ好適である。
【0056】
また、上述した実施形態では、顔検出LSI5は、独自に外部発振子5aを持っていたが、図2に示したようにCMOSセンサ4と同様にDSP3からクロック信号の供給を受けても良い。このようにすることにより、顔検出LSI5が専用の外部発振子5aを持つ必要が無く、また、サスペンドモード時には低速クロックが供給されるので通常動作時よりも低消費電流で顔検出機能を動作させることができる。
【0057】
また、画像撮像装置10に顔検出LSI5の動作または非動作を切り替えるようにしてもよい。これは、例えば切り替え手段としてスイッチを設けて外部から切り替えるようにしてもよいし、DSP3が顔検出LSIに対してEnableまたはDisableを切り替える信号を出力したりクロック信号の供給を停止することなどにより実現してもよい。即ち、DSP3を切り替え手段として機能させてもよい。このようにすることにより、任意に顔検出動作をONまたはOFFを切り替えることができる。また、サスペンドモード時に撮像素子や顔検出手段を完全に停止させて消費電流を最も少ない状態にすることも可能となる。
【0058】
また、ホストコンピュータ2は、DSP3がサスペンド中に顔検出LSI5が顔を検出した際に、通常動作に復帰後、DSP3にCMOSセンサ4から1フレーム分の画像を取得させて、DSP3から当該1フレーム分の画像を取得した後に、DSP3を再度サスペンドモードへ切り替えてもよい。このようにすることにより、サスペンドモードを保持しつつ、画像撮像装置10が撮影した画像から顔が撮影された画像のみを検出してセキュリティ処理(警報や施錠など)等を行う顔検出セキュリティ用の処理をホストコンピュータ2上のアプリケーションプログラムなどで行うことができる。
【0059】
また、上述した実施形態では顔検出LSI5はLSI(Large Scale Integration)として構成したが、それに限らず、マイクロプロセッサと該マイクロプロセッサ上で動作するソフトウェアなど、DSP3と独立して動作する構成であれば良い。
【0060】
なお、本発明は上記実施形態に限定されるものではない。即ち、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。
【符号の説明】
【0061】
1 画像撮像システム
2 ホストコンピュータ
3 DSP(撮像制御手段)
4 CMOSセンサ(撮像素子)
5 顔検出用LSI(顔検出手段)
35 ROM/RAM(記憶手段)
36 PLL回路
37 クロック制御部(クロック制御回路)
【先行技術文献】
【特許文献】
【0062】
【特許文献1】特開2010−88093号公報
【特許文献2】特許第4315234号公報

【特許請求の範囲】
【請求項1】
撮像素子および前記撮像素子が撮影した画像を取得するとともに内部の消費電流を低減させる低消費電流モードに設定可能な撮像制御手段を備えた画像撮像装置と、前記画像撮像装置を制御するホストコンピュータと、を有する画像撮像システムにおいて、
前記画像撮像装置に、前記撮像素子が撮影した画像から顔を検出する顔検出手段を備え、
前記顔検出手段が、前記撮像素子が撮影した画像から顔を検出した場合は、前記低消費電流モードであれば前記ホストコンピュータに対して顔検出を示す信号を送信し、前記ホストコンピュータが前記撮像制御手段に対して前記低消費電流モードから復帰させる
ことを特徴とする画像撮像システム。
【請求項2】
前記撮像制御手段には、入力されるクロック信号を逓倍して内部へ供給するPLL回路と、前記PLL回路が逓倍したクロック信号または前記入力されるクロック信号のいずれかを前記撮像素子に供給するクロック制御回路と、が設けられ、
前記PLL回路が、前記低消費電流モード時は動作を停止して前記内部へのクロック信号の供給を停止し、
前記クロック制御回路が、前記低消費電流モード時は前記入力されるクロック信号を前記撮像素子に供給する
ことを特徴とする請求項1に記載の画像撮像システム。
【請求項3】
前記クロック制御回路は、前記顔検出手段に前記PLL回路が逓倍したクロック信号または前記入力されるクロック信号のいずれかを供給し、前記低消費電流モード時は前記入力されるクロック信号を前記顔検出手段に供給することを特徴とする請求項2に記載の画像撮像システム。
【請求項4】
前記画像撮像装置が、前記顔検出手段の動作または非動作を切り替える切り替え手段を備えたことを特徴とする請求項1乃至3のうちいずれか一項に記載の画像撮像システム。
【請求項5】
前記撮像制御手段が内部に設けられた記憶手段に記憶されているファームウェアにより動作制御されるように構成されているとともに、前記クロック制御回路の切り替えは、前記ファームウェアによって行われることを特徴とする請求項2乃至4のうちいずれか一項に記載の画像撮像システム。
【請求項6】
前記ホストコンピュータは、前記低消費電力モードにおいて前記顔検出手段が顔を検出した際に、前記低消費電力モードから復帰後、前記撮像制御手段に前記撮像素子から1フレーム分の画像を取得させて、前記撮像制御手段から当該1フレーム分の画像を取得した後に、前記撮像制御手段を再度前記低消費電流モードへ切換えることを特徴とする請求項1乃至5のうちいずれか一項に記載の画像撮像システム。
【請求項7】
前記撮像制御手段と前記ホストコンピュータとがUSBインターフェースにて接続されていることを特徴とする請求項1乃至6のうちいずれか一項に記載の画像撮像システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2012−60291(P2012−60291A)
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願番号】特願2010−199661(P2010−199661)
【出願日】平成22年9月7日(2010.9.7)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】