説明

画像判定装置

【課題】対象者のプライバシを確保するとともに、簡単な構成で対象者の状態を判別すること。
【解決手段】第1方向から画像を撮像する撮像装置(2)と、第1対象者の高さ情報および第2対象者の高さ情報を入手する入手装置(2、7、14)と、前記撮像した画像に前記第1対象者と前記第2対象者との少なくとも一方が含まれている際に、前記入手装置からの高さ情報に応じて、前記第1対象者と前記第2対象者とを識別する識別装置(14)と、を備えている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像判定装置を利用したセキュリティシステムに関する。
【背景技術】
【0002】
従来より、一人暮らしの老人をカメラで撮像して、異常の有無を判断する映像監視装置が提案されている。また、カメラで撮像される人のプライバシを保護するために撮像した映像にモザイク処理をするものが提案されている。
(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−142214号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の映像監視装置は、対象者の異常検出を常にカメラで撮影するとともに、別のモニターで監視しているので、手間がかかるという問題があった。特に、対象者が複数の場合には煩雑であった。
【課題を解決するための手段】
【0005】
一実施例を表す図面の符号に対応つけて説明すると、請求項1記載の画像判定装置は、第1方向から画像を撮像する撮像装置(2)と、第1対象者の高さ情報および第2対象者の高さ情報を入手する入手装置(2、7、14)と、撮像した画像に第1対象者と第2対象者との少なくとも一方が含まれている際に、入手装置からの高さ情報に応じて、第1対象者と第2対象者とを識別する識別装置(14)と、を備えている。
【0006】
請求項2記載の画像判定装置は、識別装置が入手装置からの高さ情報に応じて、第1対象者と第2対象者との少なくとも一方の状態を判定している。
【0007】
請求項3記載の画像判定装置は、撮像装置が第1対象者と第2対象者との頭部を撮像している。
【0008】
請求項4記載の画像判定装置は、前記第1対象者と前記第2対象者との少なくとも一方の対象者が前記撮像装置の撮像範囲から撮像範囲外に移動する際に、撮像装置による撮像を行っている。
【0009】
請求項5記載の画像判定装置は、入手装置が高さ情報として前記第1対象者と前記第2対象者とのそれぞれの身長を入手している。
【0010】
請求項6記載の画像判定装置は、入手装置が、撮像装置による第1対象者と第2対象者との撮像結果に応じて高さ情報を入手している。
【0011】
請求項7記載の画像判定装置は、撮像装置が構造物を撮像し、入手装置が撮像された構造物に基づいて、第1対象者と前記第2対象者との少なくとも一方の高さ情報を入手している。
【0012】
請求項8記載の画像判定装置は、撮像装置が第1対象者と第2対象者と同時に撮像している。
【0013】
請求項9記載の画像判定装置は、撮像装置が第1対象者と第2対象者とが同じ姿勢の際に撮像している。
【0014】
なお、本発明をわかりやすく説明するために一実施例を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものでなく、後述の実施例の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもいい。更に、その配置について特に限定のない構成要件は、実施例で開示した配置に限らず、その機能を達成できる位置に配置することができる。
【発明の効果】
【0015】
本発明によれば、対象者のプライバシを確保するとともに、簡単な構成で対象者の状態を判別することができる。
【図面の簡単な説明】
【0016】
【図1】本実施の形態の画像判別装置1のブロック図である。
【図2】本実施の形態の画像判別装置1の主要部分を示す図である。
【図3】撮像部2の構成を示す図である。
【図4】対象者の姿勢に応じた頭の大きさの変化を示す図である。
【図5】広角レンズ系が結像する像の大きさの変化を示す図であり、図5(a)は広角レンズ系の前側焦点から対象者の頭までの距離と像の大きさとを示す図であり、図5(b)は図5(a)を床からの高さに変換した図である
【図6】図5に基づいた像の大きさの変化率を示す図である。
【図7】画像判定装置をリビングに据え付ける場合のフローチャートである。
【図8】対象者がリビングの歩行領域にいる場合を示す図である。
【図9】対象者が押入れの近くにいる場合を示す図である。
【図10】対象者の位置に応じて撮像素子に撮像される対象者の頭の像の大きさの変化を示す図である。
【図11】画像判定装置の動作を表すフローチャートである。
【図12】対象者との見込み角に応じた広角レンズ系のディストーションの影響を示す図である。
【図13】対象者が机を前にして椅子に座っている状態を表している図である。
【図14】対象者が異常と判断された場合の静止画である。
【発明を実施するための形態】
【0017】
―第1の実施の形態―
本実施の形態の画像判定装置は、家やオフィスなどの部屋に設置可能なものであり、以下、リビングに設置した場合について説明を行う。
【0018】
図1は本実施の形態の画像判別装置1のブロック図であり、図2は画像判別装置1の主要部分を示す図である。図1、2に示してあるように、画像判別装置1は、撮像を行う撮像部2、他の機器との通信を行う通信部3、撮影部2が撮影を行う際のリビングの照度を測定する照度計4、この照度計4により測定した照度が低い際にリビングにいる対象者を照明するLED5(Light Emitting Diode:発光ダイオード)、対象者の有無を判別する焦電センサ6、画像判別装置1の各種設定を行う設定部7、リビングの照明器具や電化製品などと協働するためのインターフェース部8、対象者の音声を記録するマイク9、対象者に話しかけるスピーカ10を備えている。また、画像判別装置1は、撮像した画像や、対象者がリビングにいる際のリビングの特定点での位置情報を記憶している記憶媒体であるフラッシュメモリ11、水晶発振子や計時用集積回路を有しており、年,月,日,時,分,秒といったカレンダー情報を自動的に計時したり、対象者の予定を記憶したりするカレンダー部12を有している。
【0019】
また、画像判別装置1は、一次電源(本実施の形態では家庭用電源)が停電などで供給されない際のバックアップ電源としてのリチウムイオン電池に接続されている。なお、バックアップ電源としてはリチウムイオン電池に限らず、家庭用の太陽発電やリチウムイオン電池にコンデンサなどを用いてもよい。
【0020】
CPU14は、画像判別装置1全体を制御するものであり、各構成要素に電気的に接続されている。なお、前述の設定部7をリモコンとした場合でもCPU14と設定部7とが電気的に接続されていることはいうまでもない。
【0021】
(撮像部2)
撮像部2は、リビングの天井の中央部に設けられており、主として対象者の頭を撮像するものである。なお、本実施の形態において、リビングの天井の高さは2.6mとする。
【0022】
図3は撮像部2の構成を示す図である。
【0023】
図3に示すように、撮像部2は、3群構成の広角レンズ系、ローパスフィルタ、CCDまたはCMOSなどからなる撮像素子、この撮像素子を駆動制御する回路基板を有している。本実施の形態の撮像素子は、サイズが23.7mm×15.9mmで画素数が4000×3000(1200万画素)であり、1画素のサイズが5.3μmとしているが、これに限定されるものではない。
【0024】
前述の広角レンズ系は、2枚の負メニスカスレンズを有した第1群、正レンズと、接合レンズと、赤外カットフィルタとを有した第2群、2枚の接合レンズを有した第3群とを有しており、第2群と第3群との間に絞りが配置されている。本実施の形態の広角レンズ系は、系全体の焦点距離が6.188mm、最大画角が80度である。
【0025】
なお、この広角レンズ系は、3群構成に限定されるものでもなく、各群のレンズ枚数やレンズ構成並びに焦点距離や画角も適宜変更可能である。
【0026】
図5は広角レンズ系が結像する像の大きさの変化を示す図であり、図5(a)は広角レンズ系の前側焦点から対象者の頭までの距離と像の大きさとを示す図であり、図5(b)は図5(a)を床からの高さに変換した図である。
【0027】
本実施の形態の広角レンズ系は、前述のように焦点距離が6.188mmであり、対象者の頭の直径を200mmとした場合に、広角レンズ系の前側焦点から対象者の頭の位置までの距離が1000mmの場合には(対象者が立っている場合)、撮像部2の撮像素子に結像する対象者の頭の大きさは1.238mmとであり、対象者の頭の位置が300mm下がって広角レンズ系の前側焦点から対象者の頭の位置までの距離が1300mmになった場合には、撮像部2の撮像素子に結像する対象者の頭の大きさは0.952mmとなり0.286mm(23.1%)像の大きさが変化することがわかる。
【0028】
同様に、広角レンズ系の前側焦点から対象者の頭の位置までの距離が2000mmの場合には(対象者が中腰の場合)、撮像部2の撮像素子に結像する対象者の頭の大きさは0.619mmであり、そこから対象者の頭の位置が300mm下がった場合には、撮像部2の撮像素子に結像する対象者の頭の大きさは0.538mmとなり0.081mm(13.1%)像の大きさが変化し、広角レンズ系の前側焦点から対象者の頭までの距離が離れるにつれて像の大きさの変化が小さくなることがわかる。
【0029】
このように、本実施の形態の画像判定装置1によれば、対象者の頭の大きさが既知である場合に、対象者の頭の像の大きさから広角レンズ系の前側焦点から対象者までの距離がわかるので、対象者の姿勢(立っている、中腰である、倒れている)および姿勢の変化を対象者のプライバシを保った状態で判別することができる。
【0030】
図6は、図5に基づいた像の大きさの変化率を示す図であり、対象者の頭の位置が100mm変化する毎の広角レンズ系が結像する像の大きさの変化率を示している。
【0031】
広角レンズ系の前側焦点から対象者の頭の位置までの距離が1000mmから100mm遠ざかった場合の像の大きさの変化率が9.1%と大きいので、本実施の形態の画像識別装置1によれば、身長差が100mm程度あれば複数の対象者を身長差から識別することができる。
【0032】
一方、広角レンズ系の前側焦点から対象者の頭の位置までの距離が2000mmから100mm遠ざかった場合の像の大きさの変化率が4.8%と小さくなる。しかしながら、詳細は後述するものの、本実施の形態の画像判定装置1によれば、広角レンズ系の前側焦点から対象者の頭の位置までの距離が離れた場合でも対象者の姿勢の変化を検出することができる。
【0033】
なお、図5、6とも広角レンズ系の画角の低い(広角レンズ系の真下)に対象者がいる場合のグラフを示しており、対象者が広角レンズ系の周辺画角位置にいると図5、6のグラフとは異なり、対象者との見込み角に応じたディストーションの影響を受ける。このディストーションの影響については後述する。
【0034】
広角レンズ系に入射した光束はローパスフィルタを介して撮像素子に入射し、回路基板が撮像素子の出力をデジタル信号に変換し、ASICで構成される画像処理制御部にてデジタル信号に変換された画像信号に対してホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を施すとともに、JPEGなどの画像圧縮をする。JPEG圧縮された静止像がフラッシュメモリ11に記録される。また、動画を記録したい場合には、画像信号をMPEG処理してフラッシュメモリ11に記録すればよい。
【0035】
図4は、対象者の姿勢に応じた頭の大きさの変化を示す図である。図4に示してあるように、撮像部2をリビングの天井に設けて対象者の頭の位置を撮影すると、対象者が立っている場合には頭の大きさは大きく撮像され(左側)、対象者が倒れている場合には頭の大きさは小さく撮像され(右側)、撮影者が中腰の場合には、立っているときよりは小さく、倒れている場合よりは大きく頭の大きさが撮像される(中央)。本実施の形態では、対象者の状態、すなわちZ方向に応じた頭の大きさにより対象者が正常か異常かを判別するようにしている。このように、Z方向に沿った対象者の頭の大きさに着目しているので、対象者のプライバシを保護することができる。
【0036】
なお、対象者に異常が発生して床に倒れている場合などには、前述の広角レンズ系にズームレンズを追加すれば、目や口を連続して撮像することにより、パターンマッチングにより目を開いているかどうか、また、眼球が動いているかどうかを判定したり、口が動いているかどうか、口の動きから呼吸をしているかどうか判定したりすることが可能となる。
【0037】
更に、撮像素子からの信号の高周波成分を抽出して、これが最大になるレンズ位置を検出して焦点検出を行うコントラストAFが知られている。本実施の形態においても、コントラストAFを適用し、広角レンズ系の一部を調整して最適な位置に合わせるようにしても良い。
【0038】
撮像部2による撮像は、通常は30分に1回程度に設定すれば1日に48枚の静止画を撮像するだけですみ、画像判定装置1に供給する電力やフラッシュメモリ11の記録領域を節約することができる。また、カレンダー部12からの日時情報により、時間に応じて撮影間隔を変えてもいい。具体的には、日中は30分間隔とし、夜間を20分間隔としてもよい。なお、撮像素子をCMOSとし、メカシャッターを省略して、電子シャッター(ローリングシャッター)とすれば撮影時に音が発生することがなく、対象者の眠りを妨げることがない。
【0039】
また、静止画に代えて3〜5秒程度の短い動画を撮影するようにしてもよい。
【0040】
CPU14が撮影した画像から異常を検出した際には、撮像部2はCPU14の指令により、1分間に百枚程度の連続撮像を行ったり、15秒間隔で百枚程度の撮像を行ったりするようにする。なお、撮影間隔の設定は前述の設定部7を用いて行えばよい。
【0041】
撮像部2が静止画を撮像する際の撮像時間やISO感度などは照度計4が検出した照度により決定され、リビングが暗い場合には、ISO感度を上げるとともに撮像時間を長くすればよい。また、画像判定装置1が寝室に設けられており、対象者が睡眠の際にすべて消灯する場合には、LED5により対象者を照明したり、インターフェース部8が寝室の照明器具と連携して、撮影に必要な明るさを確保するように数秒(3秒程度)照明したりするようにすればよい。焦電センサ6により対象者の位置を確認し、この確認した位置に照明光を照射できるようにLED5の位置を不図示の駆動装置により調整すれば対象者を効率良く照明することができる。このLED5は天井に設けても、寝室の任意の位置に設けてもよく、また、LED以外の光源を用いてもよい。なお、寝室の照明器具で十分な場合にはLED5を省略することも可能である。また、寝室の照明器具としてLED照明を採用してもよい。
【0042】
更に、対象者を撮像する際の静止画は、対象者の異常が検出できる程度の画像が要求されているだけであり、通常鑑賞する静止画とは異なる。このため、暗い部屋での撮影の際には、広角レンズ系に配置された赤外カットフィルタを不図示の退避機構により退避させて光量を確保するようにしてもよい。
【0043】
(通信部3)
通信部3は、アンテナ、送信部、受信部などから構成されている。本実施形態において、通信部3はリビングの角部に設けることができ、指定された他の機器(対象者に肉親の携帯電話や警備会社などのパソコン)に対象者の異常の有無を通信するとともに、他の機器からの音声情報などを受信する。
通信部3は、対象者に異常がない場合には、日時情報とともに異常なしとのメッセージを指定された他の機器に送信するが、撮像した画像を送信することはない。これにより、対象者のプライバシを守ることができる。なお、後述するように、対象者に異常が発生した場合には、所定の条件で画像を送信することもできる。
(焦電センサ6)
焦電センサ6は、赤外線センサであり、人が発する赤外線を検知して、CPU14に検出結果を出力するものである。本実施の形態においては、焦電センサ6は、広角レンズ系を介して赤外線を検出するように配置されている。なお、焦電センサ6は、リビングに複数個所設けるようにしてもよい。
【0044】
CPU14は、焦電センサ6の出力から対象者がリビングに入ったことを検出したときに撮像部2に撮像の指示をし、その後、30分間隔で撮像をさせてもよい。なお、対象者が数分程度リビングから出て戻るような場合には、計時をリセットする必要はない。
【0045】
また、CPU14は、焦電センサ6の出力から対象者がリビングにいないことを検出したときには、撮像のタイミングであっても撮像を行わないように撮像部2を制御する。なお、対象者が数日間リビングに入らず(他の部屋にもいない)、カレンダー部12に記憶させた予定にも不在の連絡が入っていない場合に、CPU14は通信部3を介して指定された他の機器に対象者が不在であり、異常の可能性のあることを通知する。
(カレンダー部12)
カレンダー部12は、前述のように、年,月,日,時,分,秒といったカレンダー情報を自動的に計時したり、対象者の予定を記憶したりするものである。対象者の予定は、設定部7から入力するようにすればよく、また、マイク9に向かって日時(期間)と行き先を入力するようにすればよい。この場合、カレンダー部12に音声認識機能を設けることになるが、日時と行き先程度の簡単な音声辞書を用意するだけでよいのでシステムが大型化することはない。また、予定の入力はスピーカ10からの質問(いつ、どこへ)に対応して、マイク9へ向けて音声入力すするようにしてもよい。
【0046】
カレンダー部12は、夜になると翌日の予定をスピーカ10を介して対象者に連絡し、翌朝に改めて連絡するようにする。
【0047】
CPU14は、カレンダー部12に入力された予定に応じて、インターフェース部8を介して、目覚まし時計をセットしたり、テレビに予定を表示するようにしたりしてもよい。また、テレビを見たい旨を予定に入れておけば、テレビのスイッチが自動的に入るようにしたり、見たい番組を録画できるようにしたりしてもよい。
(キャリブレーション)
図7は、本実施の形態の画像判定装置をリビングに据え付ける場合のフローチャートである。以下、図7のフローチャートに沿って、画像判定装置の据え付けについて説明する。
【0048】
ステップ1において、対象者の異常の有無を通信する通信機器を指定する。これは、例えば肉親の携帯電話等のモバイル機器や、パソコン並びに警備会社のパソコンなどを指定することができる。また、肉親と警備会社とでプライバシレベルを設定することができる。例えば、肉親などに対してプライバシレベルを下げても問題ない場合には、異常時の画像の転送を許可したり、後述のマスク処理を解除もしくはマスク処理レベルを下げたりすることができる。一方、警備会社に対してプライバシレベルを肉親よりも高くする場合は、異常時でも画像の転送を禁止したり、後述のマスク処理によりマスクした画像の転送のみを許可したりすることができる。
【0049】
ステップ1の指定に基づき、CPU14は指定された機器と通信部3を介して対象者の異常の有無を通信することになる。
【0050】
ステップ2において、テレビ、オーディオおよび時計などの接続機器を指定する。具体的には、インターフェース部8を介して有線、無線などにより例えばテレビと接続させ、カレンダー部12に記憶された行動予定表をテレビに表示したり、カレンダー部12に予約された日時にテレビのスイッチをオンにしたり、予約された番組を録画するようにする。同様に、カレンダー部12に予約された日時にオーディオのスイッチをオンにしたり、時計のアラームをならしたりするようにする。
【0051】
ステップ3において、CPU14はリビングの代表的な位置と対象者の頭の位置との関係をフラッシュメモリ11に記憶させる。
【0052】
図8は、対象者がリビングの歩行領域(ソファーやテーブル、椅子などが設けられていないX方向ならびにY方向の領域)にいる場合を示す図である。
【0053】
CPU14は、例えば図8に示すように対象者がリビングで立っている場合の頭を撮像部2により撮像して、対象者が立っている場合のZ方向の頭の位置と大きさとを関連つけてフラッシュメモリ11に記憶する。CPU14は、この際に、リビングで対象者が立っていそうなX方向、Y方向の位置も認識する。具体的には、ソファーやテーブル、椅子などがない位置を対象者が立っていそうな位置とする。更に、対象者のZ方向の頭の大きさに加えて、対象者の頭の位置よりもやや高い位置Z1と、やや低い位置のZ2の範囲の頭の大きさを撮像した画像から類推し、この類推した頭の大きさも記憶しておいてもよい。このようにすることで、対象者が正常であるときの頭の大きさの許容範囲を設定することができる。
【0054】
図9は、対象者が押入れの近くにいる場合を示す図である。
【0055】
対象者が押入れの近くにいる場合には、立っている場合としゃがんでいる場合が考えられる。このため、CPU14は、図9に示すように、対象者がしゃがんでいる場合の頭を撮像部2により撮像して、高さZ3の位置と大きさとを関連つけてフラッシュメモリ11に記憶する。また、CPU14は、高さZ1からZ2の範囲の頭の大きさを押入れ近傍の領域での許容範囲と設定する。なお、高さZ1からZ2の許容範囲においても、対象者の頭の大きさが長時間にわたり高さZ3以下であるときには、対象者に異常が発生した可能性がある。CPU14は、このような場合に、撮像部2により連続的に頭を撮像して、パターンマッチングにより頭が動いていれば正常と判断し、頭が動いていないときにはスピーカ10による問い掛けを行うようにしている。
【0056】
図10は、対象者の位置に応じて撮像素子に撮像される対象者の頭の像の大きさの変化を示す図である。ここで、撮像素子の中心が広角レンズ系の光軸中心と一致しているものとする。
【0057】
図8に示した対象者がリビングで立っている場合でも、ドア付近に立っている場合と、撮像部2の直下で立っている場合では撮像部2に撮像される頭の大きさが変わってしまう。
【0058】
図10に示してあるように、撮像素子のP1に撮像された像から像の大きさ、撮像素子の中心からの距離L1、撮像素子の中心からの角度θ1がわかる。撮像素子の中心からの距離L1は、広角レンズ系の前側焦点と、対象者の頭との距離を表すパラメータである。また、撮像素子の中心からの角度θ1は、対象者に対する広角レンズ系の見込み角を表すパラメータである。前述したように、対象者が同じ姿勢であっても撮像素子のP1に撮像された像の大きさと、撮像素子のP2に撮像された像の大きさとは異なってしまう。このため、CPU14は、撮像素子の中心からの距離L1、L2、撮像素子の中心からの角度θ1、θ2に応じて撮像した像の大きさを補正するようにしている、言い換えると、対象者が同じ姿勢の場合に、撮像素子のP1に撮像された像の大きさと、撮像素子のP2に撮像された像の大きさとが実質的に等しくなるような補正を行う。この補正に関するパラメータについてもフラッシュメモリ11に記憶される。上述では、撮像素子に撮像される像の位置に基づいて対象者の位置を検出するようにしたが、これに代えて、対象者に向けて光を照射し、対象者で反射した光を受光することにより、撮像部2と対象者との距離を検出するようにしてもいい。
【0059】
このように、本実施の形態の画像判定装置1は、撮像部2と対象者との位置関係(対象者までの距離や対象者との見込み角)を検出可能なので、対象者がリビングのどこにいても、対象者の姿勢を精度よく検出することができる。
【0060】
なお、対象者が複数の場合は、身長や頭の大きさもことなるので、対象者毎にZ方向の頭の位置に応じた頭の大きさと、X,Y方向の位置情報をフラッシュメモリ11に記憶させる。この場合、複数の対象者の画像は撮像部2により同時に撮影してもよいし、別々に撮像してもよい。
【0061】
更に、複数の対象者の身長や頭の大きさ(例えば直径)を設定部7により入力してフラッシュメモリ11に記憶させるようにしてもよい。フラッシュメモリ11が複数の対象者の身長や頭の大きさを記憶することにより、例えば、第1の対象者がドアからリビングに入った際に撮像部2により第1の対象者の頭を撮像すれば、CPU14は、撮像した像の大きさと、フラッシュメモリ11に記憶されている身長の情報とから、リビングに入ってきたのが第1の対象者であることを認識できる。このように、複数の対象者の身長をフラッシュメモリ11に記憶することにより、頭の大きさに差がなくても、身長差を利用して複数の対象者をプライバシを保ちながら識別することができる。
【0062】
しかしながら、対象者が中腰や倒れている場合に身長差が実質的に生じないので対象者を識別できないという問題点がある。このような場合でも、特に問題になるのは一人の対象者がリビングに残されている場合である。
【0063】
CPU14は、焦電センサ6の出力を利用して、ドア付近でリビングから出ていく対象者の画像を撮像すれば、リビングから出た人を判別することができ、この結果リビングに残っている人が判別することができる。このように、本実施の形態の撮像部2は、対象者が撮像部2の撮像範囲外に移動する前に対象者を撮像するようにして、リビングに残っている人の有無のみならず、残っている人を特定することができる。
【0064】
また、対象者のテンプレート画像(例えば、撮像部2が撮像した対象者の頭の画像)をフラッシュメモリ11に記憶させて、テンプレートマッチングを行うことにより、倒れている対象者を識別するようにしてもよい。
【0065】
なお、対象者がリビングに入った際の撮像は、対象者が撮像部2の真下付近にいる際に撮像することにより、精度よく身長に基づく対象者の識別を行うことができる。
【0066】
なお、対象者の身長や頭の大きさを入力するのに代えて、リビングの構造物(例えばドア)と対象者とを撮像し、構造物の大きさ(例えばドアの高さが2mで、幅が1m)が既知であれば、構造物から対象者の身長と頭の大きさとを推定するようにしてもよい。この場合、構造物の大きさはフラッシュメモリ11に記録させておけばよく、撮像部2は各対象者が同じ姿勢(立っている状態)で撮像するのが好ましい。
【0067】
また、対象者が子供の場合には、身長が伸びたり頭の大きさが大きくなったりするので、例えば、1年ごとに基準となる静止画を撮影するようにすればよい。なお、部屋のレイアウトを変更する場合にも対象者のZ方向の頭の位置に応じた頭の大きさと、X,Y方向の位置情報との関係をアップデートするようにすればよい。
【0068】
更に、CPU14は、焦電センサ6の出力に基づいて対象者がリビングで過ごす時間や時間帯を平日、休日ごとにフラッシュメモリ11に記憶させる。
【0069】
ステップ4において、撮像した画像にマスク加工を施す。なお、対象者がマスク加工を希望しない場合には、本ステップを省略しても構わない。マスク加工は、例えば、撮像した画像の全体の解像度を下げたり、頭以外の部分にモザイクを入れたり解像度を下げたり、撮像した画像から肌色部分を検出して、肌色部分にモザイクを入れたり解像度を下げたりすればよい。
【0070】
ステップ5において、画像を撮像する時間間隔や、スピーカ10からの音声の音量などの設定確認を行う。また、CPU14はスピーカ10から音声を流すときや、マイク9から対象者の言葉を収集する際に、インターフェース部8を介してTVやオーディオの音量を下げるように制御している。
(動作のフローチャート)
図11は、本実施の形態の画像判定装置の動作を表すフローチャートであり、以下、このフローチャートに基づいて説明を続ける。
【0071】
CPU14は、焦電センサ6の出力に基づいて、対象者がリビングにいるかどうかを判断する(ステップ1)。CPU14は、対象者がリビングにいるときはステップ2へ進み、対象者がリビングにいないときはステップ1を繰り返す。
【0072】
CPU14は、カレンダー部12を制御して計時を開始する(ステップ2)。このステップ2は、後述のステップ8と関連して、対象者が正常である際の静止画の撮像間隔を設定するためのステップである、
CPU14は、静止画の撮像回数が所定回数かどうかを判断する(ステップ3)。このステップ3は、後述するように対象者の状態の判断が難しい場合に、連続的に対象者の静止画を撮像してもなお対象者の状態を判断できない場合に次の手立てを講じるためのステップである。本実施の形態では、例えば300〜500回の静止画の撮像を所定回数としており、その撮影時間を3分から5分程度に設定している。
【0073】
CPU14は、撮像部2の撮像素子の出力から対象者の位置を確認する(ステップ4)。これは、対象者の位置に応じて、広角レンズ系の収差の影響を補正するためである。以下、広角レンズ系の収差の影響について説明を行う。
【0074】
前述のように、本実施例の広角レンズ系は、画角が80度、焦点距離6.188mmで設計されているため、リビングの天井の高さを2.6mとし、対象者の身長を1.6mとすると、広角レンズ系の真下を中心に半径5.67mの円内(約100m2)が撮像部2の画像取得範囲となる。このため、通常の部屋の大きさであれば本実施例の広角レンズ系で対象者が部屋のどこにいても対象者の頭を撮像することができる。
【0075】
対象者が広角レンズ系の真下付近にいるとき(画角が低いとき)は、対象者の頭の像の大きさはf・tanθ(fは焦点距離)に比例するので、床からの頭の高さと、像の大きさ(直径)との関係は図5(b)のようになり、頭の高さが床400mmの位置から床100mmの位置まで300mm変化した場合の像の変化は68μmとなり、画素数換算で約12画素程度となる。このため、本実施の形態の画像判別装置1は、対象者が広角レンズ系の真下付近にいるときには、対象者の頭の高さが300mm変化したことを検出することができる。
【0076】
次に、対象者が中間的な画角位置(画角70度程度)にいる場合について検討する。図12は広角レンズ系の画角とディストーションとの関係を示す図である、同図に示してあるように、画角が大きくなるに連れてディストーションが大きくなり、画角70度では−50%程度のディストーションの影響を受ける。このため、広角レンズ系の前側焦点からの距離が同じであっても、対象者が広角レンズ系の真下付近にいるときの像の大きさに比べて、画角70度付近の像の大きさはほぼ半分になってしまう。しかしながら、画角70度付近において対象者の頭の高さ位置が300mm変化した場合の像の大きさの変化は、画素数換算で約6画素程度あるため、本実施の形態の画像判別装置1は、画角70度付近においても対象者の頭の高さが300mm変化したことを検出することができる。この場合に、画像判別装置1は、対象者の頭を斜め上方から検出するため、広角レンズ系からの見込み角に応じて頭の縦横比を考慮して頭の大きさを補正するようにしても良い。
【0077】
最後に対象者が最周辺画角位置(画角80度付近)にいる場合について検討する。前述の図12に示してあるように、画角80度付近では−80%程度のディストーションの影響を受け。画角中心の約20%の倍率となる。さらに、広角レンズ系の前側焦点から対象者の頭までの距離が画角中心に対象者がいるときに比べて遠くなるので、頭の高さ位置が変化した場合の像の大きさの変化が小さくなってしまう。具体的には、対象者が画角80度付近にいた場合に、頭の高さ位置が300mm変化した場合の像の大きさの変化は、画素数換算で1画素程度である。このため、本実施の形態の画像判別装置1は、画角80度付近では対象者の頭の高さが300mm変化したことを検出することが困難となってしまう。しかしながら、広角レンズ系の最周辺画角位置は、リビングにおいても部屋の隅であり、窓や扉といった大きさが既知の構成物がある。このため、本実施の形態においては、部屋の隅にある窓や扉を撮像するとともに、その高さを測定して撮像結果と対応付けておく。すなわち、対象者の頭の位置と窓や扉といった構造物の位置とを対応付けることにより、広角レンズ系の最周辺画角位置においても対象者の頭の位置の変化を検出することができる。
【0078】
なお、広角レンズ系を複数設ければ、対象者が部屋の隅にいる際の検出精度を上げることもでき、またより広いリビングにも対応することができる。
【0079】
CPU14は、ステップ3にて判断した撮影回数が300〜500回以内の場合に、ステップ5にて静止画の撮像を行い、ステップ6にて画像特徴量の算出を行う。具体的には、撮像した静止画からZ方向の頭の大きさをX,Y方向に関連付けて算出する。(具体的な算出方法を記載するかどうか)
CPU14は、対象者のX,Y方向の位置と、算出した頭の大きさとから対象者の状態を判断可能かどうか判断する(ステップ7)。
【0080】
図13は、対象者が机を前にして椅子に座っている状態を表している図である。図13のように、対象者が椅子に座っている場合には、対象者が正常な場合と、対象者に何か異常が起きて椅子にもたれ掛かったり、机に伏していたりする場合とで、頭の大きさの変化が少なく対象者が正常か異常かの判断が難しい場合がある。前述のように、画像判別装置1は、100mm程度の高さの違いを識別することは可能であるが、広角レンズ系と対象者との見込み角が大きい場合や、対象者が椅子に座っている場合には広角レンズ系との距離が大きくなるため、ステップ7を設けている。
【0081】
このような場合、CPU14は、対象者が正常かどうか判断不可能としてステップ3に戻り、前述のように数分間で数百回の静止画の撮像を行い、点線で囲ったように対象者の頭に着目して、頭が動いているかどうかを判断する。
【0082】
CPU14は、所定の撮像回数で対象者の状態を判断可能と判断した場合には、ステップ8にて対象者の状態を判断する。
【0083】
CPU14は、対象者が正常な状態と判断した場合には、ステップ9にて所定時間(例えば計時開始から15分)が経過するまで待機した後にステップ1へ戻る。なお、CPU14は、対象者が正常な場合においても設定部7にて設定された時間(例えば、8時間おきで午前7時、午後3時、午後11時)毎に異常がないことを予め指定された機器に通信している。
【0084】
また、CPU14は、対象者が異常な状態と判断した場合には、ステップ10へと進む。
【0085】
図14は、対象者が異常と判断された場合の静止画である。図14に示すように、リビングのX,Y方向が歩行領域にも関わらず、対象者の頭の高さがZ2よりも低いリビングの床面にある。このような場合、対象者の頭の大きさは、歩行領域における頭の大きさよりも著しく小さくなるので、CPU14は対象者が異常と判断する。
【0086】
CPU14は、ステップ10にて予め指定された機器に対象者が異常であることを通信する。
【0087】
CPU14は、プライバシレベルが低く設定された肉親などの携帯電話やパソコンなどから画像の要求があるかないかを判断し(ステップ11)、画像の要求がある場合にはステップ12において画像を転送した後、指定された機器からの指示を待つ(ステップ13)。なお、CPU14は、ステップ12において画像を転送する際においても正常と判断された際に撮像した静止画の転送は禁止し、異常と判断された際の画像を転送するようにしている。これにより、対象者のプライバシを確保するようにしている。
【0088】
また、CPU14は、画像の要求がない場合にはステップ13に進み、指定された機器からの指示を待つ。なお、本実施の形態の画像判定装置が画像の転送を行う際には、静止画でも動画でもどちらでも対応することができる。
【0089】
一方、CPU14は、ステップ3において所定の撮像回数を超えたと判断した場合に、ステップ14に進み、スピーカ10を用いて対象者に対して「大丈夫ですか」、「具合はいかがですか」と問いかける。この際、CPU14はインターフェース部8を介してオーディオなど音源となる機器の音量を下げる(もしくは消音する)ように制御する。
【0090】
CPU14は、マイク9を介して対象者の音声を収集し(ステップ15)、不図示の音声辞書を用いて音声分析を行う(ステップ16)。この場合、対象者が発することばは「大丈夫」、「何?」、「気分が悪い」、「助けて」などの定型的な言葉のため、音声辞書が大型化(複雑化)することはなく、会話を分析するような大掛かりな音声分析をすることはない。
【0091】
なお、スピーカ10およびマイク9のそれぞれを不図示の駆動装置(例えば、ステッピングモータ)により対象者のいる位置に向けて駆動することにより、スピーカ10による問い掛けおよびマイク9による音声収集を効率よく行うことができる。
【0092】
CPU14は、対象者から正常を表す言葉を認識した場合はステップ1へ戻り、対象者から異常を表す言葉や対象者の応答がない場合に、対象者が異常と判断してステップ10に進む(ステップ17)。
【0093】
なお、ステップ10における異常の連絡に先立って、ステップ14に記載したようにマイク9による問い掛けをしてもよい。このようにすることで、対象者が異常というだけではなく、頭が痛い、言葉を発することができないなどより具体的な状態を予め指定された機器に通信することができる。
―変形例―
上述の実施の形態においては、天井に撮像部2を設け上から対象者の頭を撮像したが、対象者を横から撮影できるようにリビングや寝室に撮像部2を設けてもよい。対象者を横から撮像することにより、目、口、鼻などの動きの判別がしやすくなる。更に、天井に設けられた撮像部2の静止画と、対象者を横から撮像した静止画との両方を用いて対象者が正常かどうか判定すれば、より精度の高い判定をすることができる。
【0094】
また、上述の実施の形態においては、焦電センサ6により対象者がリビングにいるかどうかを判定したが、撮像部2による撮像間隔を短くして、撮像結果により対象者がリビングにいるかどうか判定すれば焦電センサ6を省略することができる。
【0095】
なお、上述の実施の形態においては、リビングや寝室に本実施の形態の画像判定装置を設けたが、廊下、トイレ、浴室などに設けることは勿論のこと、オフィスや学校などにも幅広く適用することができる。

【特許請求の範囲】
【請求項1】
第1方向から画像を撮像する撮像装置と、
第1対象者の高さ情報および第2対象者の高さ情報を入手する入手装置と、
前記撮像した画像に前記第1対象者と前記第2対象者との少なくとも一方が
含まれている際に、前記入手装置からの高さ情報に応じて、前記第1対象者と前記第2 対象者とを識別する識別装置と、を備えたことを特徴とする画像判定装置。
【請求項2】
識別装置が前記入手装置からの高さ情報に応じて、前記第1対象者と前記第2対象者との少なくとも一方の状態を判定していることを特徴とする請求項1記載の画像判定装置。
【請求項3】
撮像装置が前記第1対象者と前記第2対象者との頭部を撮像していることを特徴とする請求項1または2記載の画像判定装置。
【請求項4】
前記第1対象者と前記第2対象者との少なくとも一方の対象者が前記撮像装置の撮像範囲から撮像範囲外に移動する際に、前記撮像装置による撮像を行っていることを特徴とする請求項1から3のいずれか一項に記載の画像判定装置。
【請求項5】
前記入手装置は、前記高さ情報として前記第1対象者と前記第2対象者とのそれぞれの身長を入手していることを特徴とする請求項1から4のいずれか一項に記載の画像判定装置。
【請求項6】
前記入手装置が、前記撮像装置による前記第1対象者と前記第2対象者との撮像結果に応じて前記高さ情報を入手していることを特徴とする請求項1から4のいずれか一項に記載の画像判定装置。
【請求項7】
前記撮像装置が構造物を撮像し、前記入手装置が撮像された構造物に基づいて、前記第1対象者と前記第2対象者との少なくとも一方の高さ情報を入手していることを特徴とする請求項1から4のいずれか一項に記載の画像判定装置。
【請求項8】
前記撮像装置が前記第1対象者と前記第2対象者と同時に撮像していることを特徴とする請求項1から7のいずれか一項に記載の画像判定装置。
【請求項9】
前記撮像装置が前記第1対象者と前記第2対象者とが同じ姿勢の際に撮像していることを特徴とする請求項1から7のいずれか一項に記載の画像判定装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2011−141732(P2011−141732A)
【公開日】平成23年7月21日(2011.7.21)
【国際特許分類】
【出願番号】特願2010−1903(P2010−1903)
【出願日】平成22年1月7日(2010.1.7)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】