情報処理装置、撮像制御方法、プログラム
【課題】ユーザの心理状況に応じて適切な動作設定で自動撮像を行う。
【解決手段】例えばライフログ用途としての自動撮像として、撮像装置が一定時間間隔などで自動的に撮像を行っていく際に、ユーザの脈波情報等に基づいて、撮像動作設定を行う。脈波情報によっては、ユーザの心拍数変動が心理起因によるものか運動起因によるものかを判別できる。また、ユーザのストレス状況や心理状況も推定できる。そこで、これらの判別結果に応じて、画サイズ、圧縮率、撮像時間間隔などについて適切な撮像動作設定を行うことで、ユーザにとって好適撮像条件で自動撮像を行う。
【解決手段】例えばライフログ用途としての自動撮像として、撮像装置が一定時間間隔などで自動的に撮像を行っていく際に、ユーザの脈波情報等に基づいて、撮像動作設定を行う。脈波情報によっては、ユーザの心拍数変動が心理起因によるものか運動起因によるものかを判別できる。また、ユーザのストレス状況や心理状況も推定できる。そこで、これらの判別結果に応じて、画サイズ、圧縮率、撮像時間間隔などについて適切な撮像動作設定を行うことで、ユーザにとって好適撮像条件で自動撮像を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、撮像制御方法、プログラムに関し、特に使用者のシャッタ操作によらずに自動的に撮像を行う自動撮像動作に好適な技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００２−３４０３０号公報
【特許文献２】特開２００７−６６２５１号公報
【特許文献３】特開２００５−３３１７１６号公報
【背景技術】
【０００３】
例えばライフログカメラなどとして、ユーザが装着しているカメラが自動的に定期的な画像撮像を行うことで、ユーザが日常生活で目にする光景を画像データとして記録するカメラが提案されている。このライフログカメラを使用することで、ユーザの行動履歴や思い出などを、画像データとして残すことが可能となる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところでライフログカメラとして、定期的に自動撮像を行っていく場合、ユーザが日常生活の中で目にした多様な光景が撮像されていくこととなるが、それらの光景には、後にユーザが見返して価値のあるものや無いものが含まれることになる。価値のある光景とは、ユーザが興味を持った光景、ユーザの感情が大きく変化した光景などである。
そして例えば、そのような価値の光景を撮像した撮像画像データは、通常とは異なる撮像動作設定で撮像を行うことが好適と考えることができる。
そこで本発明では、自動撮像において、ユーザの心理状況に応じた自動撮像動作ができるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、使用者の生体情報を検出する生体情報検出手段と、使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出手段で検出される生体情報の変動が、心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作制御を行う制御手段とを備える。
また撮像動作として、被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像手段をさらに備え、上記制御手段は、上記撮像動作設定に基づく撮像動作を上記撮像手段に実行させる撮像動作制御を行う。
また上記生体情報検出手段は、上記生体情報として脈波情報、又は脳波情報、又は発汗量を検出する。
【０００６】
また上記制御手段は、上記撮像動作設定として、画質設定、又は画サイズ設定、又は撮像間隔時間設定、又はフレームレート設定、又は静止画撮像／動画撮像切換設定、又はシャッタスピード設定を行う。
また上記制御手段は、上記生体情報検出手段で検出される脈波情報から求められる心拍数の変動が、心理起因の心拍数変動か、運動起因の心拍数変動かを判別し、その判別結果に応じて、上記撮像動作設定を行う。
また上記制御手段は、上記生体情報検出手段で検出される脈波情報に基づいて、使用者のストレス状況を判別し、その判別結果に応じて、上記撮像動作設定を行う。
また上記制御手段は、上記生体情報検出手段で検出される脈波情報に基づいて、使用者の心理状況を判別し、その判別結果に応じて、上記撮像動作設定を行う。
【０００７】
本発明の撮像制御方法は、被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像動作に対する撮像制御方法として、使用者の生体情報を検出する生体情報検出ステップと、使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出ステップで検出される生体情報の変動が、心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作制御を行う撮像制御ステップとを備える。
【０００８】
以上のような本発明においては、例えばライフログ用途としての自動撮像として、撮像装置が一定時間間隔などで自動的に（ユーザのシャッタ操作によらずに）撮像を行っていく際に、制御手段が、使用者（ユーザ）の生体情報（特に脈波情報）に基づいて、撮像動作設定を行う。脈波情報によっては、ユーザの心拍数変動が心理起因によるものか運動起因によるものかを判別できる。また、ユーザのストレス状況や心理状況も推定できる。そこで、これらの判別結果に応じて、適切な撮像動作設定を行うことで、ユーザにとって好適な設定の自動撮像が可能となる。
【発明の効果】
【０００９】
本発明によれば、ユーザの心理に適応した撮像動作設定が行われながら、逐次自動撮像が行われる。具体的には、例えばユーザが心理的に通常とは異なった状況となったときに、高画質の撮像や、撮像間隔時間の短縮などの設定を行うことで、重要な光景と通常の光景について異なる状態で撮像（撮像画像データの保存）を行うことができる。
これによって、例えばライフログ用途などの自動撮像として、ユーザにとって印象的な光景が高画質で撮像されるなど、好適な撮像が実現される。
また、生体情報として、特にユーザの脈波情報を用いることで、検出も比較的容易であり、装置構成的にも有利となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の撮像装置の外観例の説明図である。
【図２】実施の形態の撮像装置のブロック図である。
【図３】実施の形態の撮像装置の他の構成例のブロック図である。
【図４】実施の形態の心拍数変動についての起因判定の説明図である。
【図５】実施の形態の撮像動作設定処理例Iのフローチャートである。
【図６】実施の形態の心拍間隔によるストレス状況推定の説明図である。
【図７】実施の形態の撮像動作設定処理例IIのフローチャートである。
【図８】実施の形態の心拍数と心拍変動による心理推定の説明図である。
【図９】実施の形態の撮像動作設定処理例IIIのフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を説明する。説明は以下の順序で行う。
［１．撮像装置の外観例］
［２．撮像装置の構成例］
［３．撮像動作設定］
［４．撮像動作設定処理例Ｉ］
［５．撮像動作設定処理例II］
［６．撮像動作設定処理例III］
［７．実施の形態の効果］
【００１２】
［１．撮像装置の外観例］
実施の形態の撮像装置１としては、各種の形態が想定されるが、それらの外観例を図１（ａ）（ｂ）に例示する。
図１（ａ）は、首かけタイプの撮像装置１を示している。この撮像装置１は、例えばストラップを取り付ける部位を持ち、この部位にストラップを取り付けて図示するようにユーザの首にかけることで装着される。ユーザは、撮像装置１が備える撮像レンズ３Ｌがユーザの正面方向を被写体方向として撮像出来るように装着すればよい。
なお、図示していないが、例えば撮像装置１の背面部などに、撮像モニタ用や撮像画像の再生などに用いる表示部が設けられてもよい。
【００１３】
図１（ｂ）は、眼鏡型ディスプレイカメラとした撮像装置１を示している。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３Ｌが配置されている。
また、図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部５、５が配置される構成とされている。この表示部５には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部５がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。また表示部２が設けられない構成も考えられる。
【００１４】
これら図１（ａ）（ｂ）では、首かけタイプ或いは眼鏡型の撮像装置１を挙げたが、ユーザが撮像装置１を装着するための構造は多様に考えられる。例えばヘッドフォン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドフォン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくてもよい。
また、図１（ａ）の場合、撮像方向をユーザの正面方向としているが、装着時にユーザの後方を撮像するように撮像装置１を首にかけるように装着してもよい。
そして、図１（ｂ）の場合は、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ３Ｌが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えられる。
さらに、図１（ａ）（ｂ）において、１又は複数の撮像レンズ３Ｌについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けてもよい。
【００１５】
なお、動画や静止画撮像を行う撮像装置として、これら図１（ａ）（ｂ）に示す以外の形態も考えられることは言うまでもない。例えば、車に設置可能な撮像装置であって車内や、或いは車外を撮像することが可能な撮像装置１も本実施の形態として想定できる。例えば車室内を撮像するように取り付けられた撮像装置や、車の前方風景、後方風景等を撮像するように取り付けられた撮像装置である。
また、携帯電話機やＰＤＡ（Personal Digital Assistant）、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置１として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロフォンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしてもよい。
また、撮像レンズ３Ｌの近辺に、被写体方向への照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。
【００１６】
［２．撮像装置の構成例］
ここでは、実施の形態の撮像装置１の構成例を説明する。
図２に示すのは、撮像装置１の内部構成を示すブロック図である。
図示するようにして撮像装置１は、システムコントローラ２、撮像部３、撮像制御部４、表示部５、表示制御部６、操作入力部７、ストレージ部８、通信部９、脈波センサ１０、脈波データベース１１を有する。
【００１７】
システムコントローラ２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ２は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１２を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
特に本例の場合、システムコントローラ２は脈拍センサ１０から供給される脈波情報や脈波データベース１１に記憶されている情報に基づいて、自動撮像の際の各種の撮像動作設定処理も行う。
【００１８】
撮像部３は、撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する。
撮像部３における撮像光学系３ａでは、図１に示した撮像レンズ３Ｌや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系と、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部３ｂでは、撮像光学系３ａで得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部３ｃでは、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理などを行う。
【００１９】
これらの撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部４で処理される。
撮像制御部４は、システムコントローラ２の制御に従って、撮像画像データを各種の圧縮率で圧縮する画像圧縮処理や、画サイズ変換処理、画像フォーマット変換処理などの処理を行い、また動作状況に応じて、撮像画像データをストレージ部８，表示制御部６、通信部９などへ転送する処理を行う。
また撮像制御部４はシステムコントローラ２の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、シャッタ処理、撮像光学系３ａのズームレンズ、フォーカスレンズの駆動制御、撮像素子部３ｂのシャッタスピード制御、フレームレートの制御、撮像信号処理部３ｃの各処理のパラメータ制御や実行処理の設定なども行う。
【００２０】
撮像装置１においてユーザに対して表示を行う構成としては、表示部５、表示制御部６が設けられる。
この表示部５には、液晶ディスプレイ等の表示パネル部と、該表示パネル部を表示駆動する表示駆動部が設けられる。表示駆動部は、撮像制御部４から供給される画像データを表示パネル部に表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
【００２１】
表示制御部６は、システムコントローラ２の制御に基づいて、表示部５における画素駆動回路を駆動し所定の表示を実行させる。例えば撮像部３での撮像された画像のモニタ表示や、ストレージ部８で再生された画像の表示などが実行される。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理なども行うことができる。
【００２２】
操作入力部７は、例えばキー、ボタン、ダイヤル等の操作子を有するようにし、例えば、電源オン／オフ操作や、自動撮像に関連する操作のための操作子や、所要の入力操作のための操作子が形成される。また、自動撮像だけでなく、ユーザのシャッタ操作に応じた撮像も可能とする場合は、撮像に関するユーザ操作として例えばシャッタ操作、ズームの操作、露出の設定操作、セルフタイマ操作などに用いる操作子が形成されるようにしてもよい。
操作入力部７は、このような操作子から得られる情報をシステムコントローラ２に供給し、システムコントローラ２はこれらの情報に対応した必要な演算処理や制御を行う。
【００２３】
ストレージ部８は、撮像画像データその他の各種データの保存に用いられる。
このストレージ部８は、フラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部８は、システムコントローラ２の制御に基づいて、撮像画像データその他の各種データの記録／再生を行う。
【００２４】
通信部９は、各種の外部機器とデータ通信を行う部位として設けられる。
例えば、図示しないサーバ装置との間でのデータの送受信を行うようにしてもよい。その場合、例えば無線ＬＡＮやブルートゥースなどの方式で、ネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としてもよいし、対応する通信機能を備えたサーバ装置との間で直接無線通信を行うものでもよい。
また、通信部９は、例えばＵＳＢ（Universal Serial Bus）方式等のインターフェイスを用いてパーソナルコンピュータなどの機器と接続し、データの送受信を行うようにしてもよい。
この通信部９により、例えば撮像してストレージ部８に格納した撮像画像データを、パーソナルコンピュータその他の外部機器に転送することができる。従って、ライフログとしての定期的な撮像でストレージ部８に録り貯めた多数の撮像画像データは、この撮像装置１自体で表示部５で再生表示させることができるほか、パーソナルコンピュータ等の外部機器に転送して、それら外部機器側で再生させて表示させることもできる。
【００２５】
脈波センサ１０は、ユーザの脈波を検出し、これを脈波情報としてシステムコントローラ２に供給する。
脈波データベース１１は、脈波の波形パターンから人間の心理状態を判定するための情報が各種格納されているデータベースである。
なお、この脈波データベース１１は、ストレージ部８の記憶領域、或いはシステムコントローラ２の内部メモリなどにおいて記憶されるものであってもよい。
【００２６】
ところで、脈波センサ１０は、例えばユーザの身体で脈波を検出できる身体部位に接するようにされる。例えば耳殻近傍、手首、胸部などである。例えば図１（ｂ）のような眼鏡型の撮像装置１を考えた場合、脈波センサ１０は、ユーザの耳殻のつけ根近傍に接触して脈拍を検知できるようにすることが考えられる。即ち眼鏡のツルに相当する部分の内側に脈波センサ１０が配置されていればよい。
一方、図１（ａ）のようなタイプの場合、撮像装置１はユーザの身体の脈拍検出部位に接触できないため、脈波センサ１０を、撮像装置１の本体とは別体に構成することが考えられる。
【００２７】
脈波センサ１０を別体構成とする場合の構成例を図３に示す。図示するように、脈波センサ１０の構成部分をセンサユニット２０として撮像装置１の本体とは別体とする。
この場合、センサユニット２０において、脈波センサ１０と検出情報送信部１４を設ける。そして撮像装置１の本体側には、検出情報受信部１５を設ける。
【００２８】
検出情報受信部１５と検出情報送信部１４は、例えば無線通信或いは有線通信で互いに通信を行う。無線通信とする場合、例えばブルートゥース等の近距離無線通信方式を採用してもよいし、可視光又は非可視光などを用いた光パルス変調でデータ通信を行う光通信方式でもよい。もちろんより長距離に対応した無線通信方式を用いてもよい。
そしてこの図３の場合、脈波センサ１０で検出される脈波情報は、検出情報送信部１４から送信され、検出情報受信部１５で受信される。検出情報受信部１５は、受信した脈波情報を復調し、システムコントローラ２に供給する。
このような構成により、脈波センサ１０を、ユーザの身体における脈拍検知部位に容易に装着できるようになる。例えばセンサユニット２０をブレスレット型に構成して、ユーザが手首に装着できるようにしたり、或いはセンサユニット２０を耳殻に装着できるようなユニットとすることで、ユーザの脈波を適切に検出できる。
【００２９】
以上、図２，図３で撮像装置１の構成例を示したが、これらは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。
【００３０】
［３．撮像動作設定］
以上の構成の撮像装置１における特徴的な動作を以下、説明していく。
実施の形態の撮像装置１は、ライフログ用途に用いる場合、基本的には、ユーザのシャッタ操作に基づかない撮像動作を行う。例えば定期的に自動撮像を行って、撮像画像データをストレージ部８に保存していく。例えば５秒間隔、１０秒間隔、３０秒間隔など、所定の間隔で自動撮像を行う。なお、もちろん定期的な撮像ではなく、何らかのトリガ（ユーザのシャッタ操作以外のトリガ）に応じて不定期なタイミングで自動撮像を行ってもよい。さらに、定期的又は不定期の自動撮像実行中に、ユーザがシャッタ操作を行った場合は、その時点で通常に撮像処理を行えばよい。
【００３１】
ユーザが日常生活において撮像装置１を装着した状態で、このように例えば定期的に自動撮像を行っていくと、ユーザの行動に応じた光景が撮像されていくことになる。但し、日常行動でユーザが目にする光景は、ユーザにとって毎日同じような平凡な光景もあれば、ユーザにとって、喜び、驚き、悲しみなどの心理的な状況を感じる光景など、多様である。そしてユーザの心理的な変化が生じる光景は、ユーザにとっては、撮像画像としての価値が高いと考えることができる。
【００３２】
そこで本例では、ユーザー脈波から心理状態を推定し、ユーザーの心理状態に応じて画像サイズ、圧縮率、静止画／動画モード、撮像時間間隔などの各種撮像動作設定を切り換えて自動撮像するものである。これにより、ユーザーが興味を示した場面（普段と異なる心理状態であった場面など）を撮像装置１が推定し、普段とは異なる撮像条件で自動的に撮像することを可能とする。
【００３３】
ここで、撮像動作設定としては、画質設定、又は画サイズ設定、又は撮像間隔設定、又はシャッタスピード設定が考えられる。
画質設定とは、撮像画像データの画像品質であり、これは例えば圧縮率の高低の設定とすることができる。即ち撮像部３で得られた撮像画像データは、撮像制御部４で所定の圧縮方式で圧縮処理されてストレージ部８に転送されて記録されるが、ここで圧縮処理の際に圧縮率を高くするほど、データ容量は小さくなるが、保存される撮像画像データの品質は低下する。一方、圧縮率が低くすれば（もしくは非圧縮とすれば）データ容量は大きくなるが保存される撮像画像データの品質は高くなる。
従って、圧縮率の高低の設定として保存する画像データ品質を変化させることができるとともに、記憶容量の有効利用も図ることができる。
【００３４】
画サイズ設定とは、例えば撮像画像データの画素数と考えることができ、例えば撮像素子部３ｂでの画素数に応じた画サイズを最大とし、例えば画素間引き処理により画素数を低下させていくほど、画サイズは小さくなる。
これも、画サイズは大きいほど高品位であるが容量は大きく、一方、画サイズを小さくするほど画質は低品位となるが容量は少なくなる。
【００３５】
撮像間隔設定とは、上記のように定期的な自動撮像を行う場合の撮像間隔としての時間設定である。撮像間隔を短くすれば、多数の撮像画像データが得られ、ライフログとして好適である一方、全体として大量の記録容量を要することになる。一方、撮像間隔を長くすれば、撮像機会が少なくなるが、全体としての記録容量は節約される。
例えば撮像間隔を１０秒間隔と、３０秒間隔などで切り換える設定が考えられる。
【００３６】
シャッタスピード設定とは、撮像素子部３ｂにおけるＣＣＤセンサ又はＣＭＯＳセンサの露光時間設定である。通常、動きの速い被写体に対してはシャッタスピードを速くすることが適切である。
【００３７】
これらのような各種の撮像動作設定により、例えばユーザにとって印象的な光景は、比較的優位な設定を行うことが適切である。例えば圧縮率を低くして高画質とする設定、画サイズを大きくする設定、撮像間隔時間を短くする設定が、高画質化や保存する撮像画像データ数の点で優位な設定となる。
このために本例では、脈波センサ１０からの脈波情報に基づいて、ユーザの心理状況を推定し、ユーザにとって印象的な光景は優位な設定を行うようにするものである。
【００３８】
なお、これらの画質（圧縮率）設定、画サイズ設定、撮像間隔設定、シャッタスピード設定は、静止画撮像を行う場合を考えて例示したものであるが、撮像装置１では動画撮像を行うこともできる。従って撮像動作設定としては、静止画撮像／動画撮像の切換設定、動画撮像時のフレームレート設定なども考えられる。
例えば常時継続的に動画撮像を行う撮像装置を考えた場合、フレームレート、画サイズ、圧縮率、シャッタスピード等を、逐次、ユーザの心理状況に応じて設定変更することが考えられる。例えば、高フレームレート、低圧縮率で動画撮像を行えば、高品質な動画が保存でき、低フレームレート、高圧縮率で動画撮像を行えば、比較的低品質であるが容量を節約した動画記録ができる。
【００３９】
また動画撮像は、常時継続的に撮像を行うほか、例えば断続的に一定時間だけ動画撮像を行うような動作方式も考えられるが、そのような場合も、フレームレート、画サイズ、圧縮率、撮像間隔、シャッタスピードの設定により、保存する動画データの品質や容量を変更できる。
さらには静止画撮像に比較して、動画撮像は、保存される光景内容が多くなるという考え方からすれば、動画撮像を、静止画撮像に対する優位設定として、静止画撮像、動画撮像を切り換えることも考えられる。
【００４０】
［４．撮像動作設定処理例Ｉ］
ユーザの脈波情報に基づいて撮像動作設定を行う撮像動作設定処理例Ｉを、図４，図５で説明する。
通常、ユーザに感情の変化が生ずると、心拍数が高くなるが、心拍数は運動によっても高くなる。
ここでは、心拍数が高くなった際に、それが心理起因によるものか、運動起因によるものかを判別して、撮像動作設定を行う例を述べる。
【００４１】
図４は、心理起因と運動起因による心拍数の時間変化を示した推定モデルである。特性Ｌ１が心理起因による単位時間当たりの心拍数の変化を示し、特性Ｌ２が運動起因による単位時間当たりの心拍数の変化を示している。
運動の負荷にもよるが、運動起因により心拍数の変化は、驚きなど心理起因による心拍数の変化よりも傾きが緩やかなものになる。
このような特性から、例えば図示するように起因判定の閾値Ｄｔｈ（傾きの値）を設定するとともに、単位時間当たりの心拍数の変化を検知していくことで、心拍が上昇した際に、それが心理起因であるか否かを判定できる。
【００４２】
図５に、このような起因判定を行って、撮像動作設定を変更する処理例を示す。この図５はシステムコントローラ２が内部ＲＯＭに格納したプログラムに基づいて実行する制御処理として示している。
自動撮像の実行中、システムコントローラ２は例えば内部タイマにより所定の撮像間隔としての時間カウントを行っている。そして例えば１０秒毎などの所定時間のカウントに応じて、撮像動作を実行させる。即ち撮像制御部４に、撮像部３で得られる撮像画像データについて圧縮処理等を実行させ、ストレージ部８に転送させる。ストレージ部８に対しては、転送されてきた撮像画像データを静止画として保存する動作を実行させる。
【００４３】
システムコントローラ２が例えば一定時間間隔でこのような撮像動作を指示することで、自動撮像が実行されていくが、この自動撮像実行中、システムコントローラ２は図５の処理を常時継続しており、逐次撮像動作設定の変更処理をおこなうことになる。
【００４４】
自動撮像制御の開始に伴って、システムコントローラ２は図５の処理を開始する。まずステップＦ１０１では初期化処理を行う。ここでは、現在処理中の心拍数番号を示す変数ｎをｎ＝１とする。
次にステップＦ１０２で、タイマ用カウンタｔをｔ＝０に初期化するとともに、カウントをスタートする。
【００４５】
ステップＦ１０３では、システムコントローラ２は、脈波センサ１０から得られる脈波情報を取得する。そしてステップＦ１０４で、脈波情報から心拍数を算出する。
ステップＦ１０５で、単位時間の経過を確認する。即ちタイマ用カウンタｔによるカウント値（時間経過）が所定の単位時間Ｔに達したか否かを確認する。
ここで、時間経過が単位時間Ｔに達するまでは、ステップＦ１０３，Ｆ１０４を繰り返す。ステップＦ１０５で単位時間Ｔが経過したと判断される時点で、その単位時間Ｔにおける心拍数がカウントされることになる。
【００４６】
単位時間Ｔを経過したら、システムコントローラ２はステップＦ１０６に処理を進め、現在処理中の心拍数Ｂ(n)として、その単位時間Ｔの間にステップＦ１０４の処理で測定された心拍数の値を保持する。
ステップＦ１０７では、最初の処理（変数ｎ＝１）であるか否かを判別し、最初の処理である場合は、ステップＦ１１２で変数ｎをインクリメントしてステップＦ１０２に戻り、再び上記同様にステップＦ１０２，Ｆ１０３，Ｆ１０４、Ｆ１０５で次の単位時間Ｔ当たりの心拍数の計測を行うことになる。
【００４７】
単位時間Ｔあたりの心拍数の測定としての２回目を行った以降は、システムコントローラ２は処理をステップＦ１０７からＦ１０８に進める。
ステップＦ１０８では、前回の心拍数の測定値Ｂ(n-1)からの今回の心拍数の測定値Ｂ(n)の変化値ｄを求める。この場合、変化値ｄは、今回の心拍数の測定値Ｂ(n)と前回の心拍数の測定値Ｂ(n-1)の差分を、単位時間Ｔで除算して求める。これにより、変化値ｄは、単位時間毎の心拍数の変化の傾きを示すものとなる。
変化値ｄを算出したら、次にシステムコントローラ２はステップＦ１０９で、変化値ｄを図４に示した起因判定の閾値Ｄｔｈと比較する。図４で述べたように、心拍数が急に変化すると、それは心理起因と推定でき、心拍数の変化が緩やかであれば、運動起因と推定できる。
そこで単位時間Ｔ毎の心拍数の変化値ｄとしての傾きと、閾値Ｄｔｈとしての傾きの値を比較し、変化値ｄ＞閾値Ｄｔｈであれば、心理起因の心拍変化と推定する。一方、変化値ｄ≦閾値Ｄｔｈであれば、運動起因の心拍変化と推定する。
【００４８】
心理起因による心拍変化と推定した場合、システムコントローラ２はステップＦ１１０に進み、心理起因による心拍変化に応じた撮像動作設定を行う。この場合、大画像サイズ設定、小圧縮率設定、撮像間隔の短時間設定、スポーツモードオフという動作設定を行う。
また運動起因による心拍変化と推定した場合は、システムコントローラ２はステップＦ１１１に進み、運動起因による心拍変化に応じた撮像動作設定を行う。この場合、小画像サイズ設定、大圧縮率設定、撮像間隔の長時間設定、スポーツモードオンという動作設定を行う。
【００４９】
ステップＦ１１０又はＦ１１１の設定処理の後は、システムコントローラ２はステップＦ１１２で変数ｎをインクリメントしてステップＦ１０２に戻り、ステップＦ１０２以降、上記同様の処理を繰り返す。
自動撮像動作が終了される際には、この図５の処理もステップＦ１１３で終了と判断されて終了される。
【００５０】
この図５の処理が行われることで、自動撮像の際に、ユーザの心拍数変化の起因に応じて撮像動作設定が切り換えられ、ユーザの行動や心理状況に応じた撮像が行われる。
心理起因の心拍変化が認められた場合は、撮像制御部４は、ステップＦ１１０の設定に基づいて、撮像部３で得られる撮像画像データについて画像サイズを大きくし、また小圧縮率の圧縮処理を実行し、撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを静止画として保存するが、この場合、高画質な撮像画像データが保存されることになる。
またシステムコントローラ２は、撮像間隔を短くする。例えば撮像間隔として５秒間隔と１０秒間隔を切り換える場合、ステップＦ１１０の設定後は５秒間隔で、撮像動作を制御することになる。
また、スポーツモードオフという動作設定に応じて、撮像制御部４は、撮像部３における撮像素子部３ｂのシャッタスピードを長くする。
このような設定に基づく動作により、喜び、驚愕など、ユーザの心理状況が大きく変化したと推定された場合は、高画質で多数の撮像画像データが保存されることになる。
【００５１】
一方、心拍変化が運動起因によるものである場合は、撮像制御部４は、ステップＦ１１１の設定に基づいて、撮像部３で得られる撮像画像データについて画像サイズを小さく、また大圧縮率の圧縮処理を実行し、撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを静止画として保存するが、この場合、比較的低画質な撮像画像データが保存されることになる。
またシステムコントローラ２は、撮像間隔を長くする。例えば上記のように撮像間隔として５秒間隔と１０秒間隔を切り換える場合、ステップＦ１１０の設定後は１０秒間隔で、撮像動作を実行させることになる。
また、スポーツモードオンという動作設定に応じて、撮像制御部４は、撮像部３における撮像素子部３ｂのシャッタスピードを短くする。
このような設定に基づく動作により、心拍変化が、運動起因によるものと推定された場合は、比較的低画質で比較的少数の撮像画像データが保存されることになる。また、シャッタスピードが短くされることで、運動により被写体画像のブレが生じやすい状況に対応するものとなる。
【００５２】
なお、ユーザが平静状態、通常状態であって、心拍数変化があまりない場合は、変化値ｄ≦閾値Ｄｔｈとなるため、その場合もステップＦ１１１での設定が行われるものとなるが、心拍数の変化があまり認められない場合と、運動起因による心拍変化の場合とで異なる撮像動作設定を行うようにしてもよい。これらの状況は、心拍数変化があるか、ほとんど無いかを判定する第２の閾値を設定することで判別可能である。
そして心拍変化がほとんどない場合は、小画像サイズ、大圧縮率、長い撮像間隔とすることは同様とするが、スポーツモードはオフとするという設定が考えられる。
もちろん、画像サイズ、圧縮率、撮像間隔については、平常時、運動起因の心拍変化時、心理起因の心拍変化時のそれぞれで３段階に切り換えられるようにしてもよい。
【００５３】
［５．撮像動作設定処理例II］
次に、同じくユーザの脈波情報に基づいて撮像動作設定を行う撮像動作設定処理例IIを、図６，図７で説明する。これは、心拍間隔の揺らぎによる特にストレスを感じているか否かとしての心理状態の推定を行う例である。
【００５４】
図６に心拍間隔のゆらぎによる心理状態の推定例を示す。人間の脈波を測定すると図６（ａ）に心拍間隔を示しているが、この心拍間隔は一定ではなく、ある周期でゆらいでいることが知られている。それは自律神経系の交感神経と副交感神経の相互作用により発生する。
この心拍間隔のゆらぎの周波数解析をすると図６（ｂ）で示したように２箇所でピークが出現することが知られている。
０．３Ｈｚ前後に発生するＨＦ(高周波)と呼ばれる周期は副交感神経活動によるものであり、０．１Ｈｚ前後に発生するＬＦ(低周波)と呼ばれる周期は交感及び副交感神経活動によるものである。ここで低周波ＬＦのレベルと高周波ＨＦのレベルを検出し、そのＬＦ／ＨＦ比を求めると、これを交感神経活動の指標として使用することが可能である。
【００５５】
交感神経は心拍数を増やし血圧を上昇させることで、人間が活動する条件を作る働きをしている。一方、副交感神経は心拍数を減らし血圧を下降させることで、人間が休息する条件を作る働きをしている。一般的に人間がストレスを感じると交感神経の活動が活発になることが知られている。
するとＬＦ／ＨＦ比が大きいときは、ユーザーがストレスを感じているときであり、逆にＬＦ／ＨＦ比が小さいときは、ユーザーがあまりストレスを感じていないときと判定できる。
【００５６】
図７は、心拍間隔の揺らぎに基づいて、ユーザのストレスの度合いを判定し、これを撮像動作設定に反映させるシステムコントローラ２の処理例を示している。
なお、上述した撮像動作設定処理例Ｉの場合と同様、システムコントローラ２は、自動撮像の実行時には、内部タイマにより所定の撮像間隔としての時間カウントを行い、例えば１０秒毎などの所定時間のカウントに応じて、撮像部３，撮像制御部４，ストレージ部８による撮像動作（撮像画像データの保存）を実行させる。
システムコントローラ２は、例えば一定時間間隔で撮像動作を指示して自動撮像を実行されていくとともに、その自動撮像実行中、図７の処理を常時継続し、逐次撮像動作設定の変更処理をおこなうことになる。
【００５７】
自動撮像制御の開始に伴って、システムコントローラ２は図７の処理を開始する。まずステップＦ２０１では初期化処理を行う。
ステップＦ２０２は、システムコントローラ２は、脈波センサ１０から得られる脈波情報を取得する。そしてステップＦ２０３で、脈波情報に基づいてＬＦ／ＨＦ比を算出する。即ちこの場合、取得した脈波情報について周波数解析を行い、低周波ＬＨとしてのピークレベルと、高周波ＨＦとしてのピークレベルを求める。そしてその低周波ＬＨと高周波ＨＦの比を求め、これをＬＦ／ＨＦ比の値とする。
【００５８】
次にシステムコントローラ２はステップＦ２０４で、ＬＦ／ＨＦ比を、所定の閾値と比較し、ＬＦ／ＨＦ比が、大きいか小さいかを判定する。
ＬＦ／ＨＦ比が閾値より大きいときは、ユーザーがストレスを感じていると判定し、ステップＦ２０５に進む。この場合システムコントローラ２は、大画像サイズ設定、小圧縮率設定、撮像間隔の短時間設定という撮像動作設定を行う。
このステップＦ２０５の設定が行われた時点からは、撮像制御部４は、撮像部３で得られる撮像画像データについて画像サイズを大きくし、また小圧縮率の圧縮処理を実行し、撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを静止画として保存するが、この場合、高画質な撮像画像データが保存されることになる。またシステムコントローラ２は、撮像間隔を短くする。例えば撮像間隔として５秒間隔と１０秒間隔を切り換える場合、ステップＦ２０５の設定後は５秒間隔で、撮像動作を制御することになる。
【００５９】
またステップＦ２０４でＬＦ／ＨＦ比が閾値より小さいと判定されたときは、ユーザーがストレスを感じていないと推定し、システムコントローラ２はステップＦ２０６に進んで、小画像サイズ設定、大圧縮率設定、撮像間隔の長時間設定という撮像動作設定を行う。
このステップＦ２０６の設定が行われた時点からは、撮像制御部４は、撮像部３で得られる撮像画像データについて画像サイズを小さく、また大圧縮率の圧縮処理を実行し、撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを静止画として保存するが、この場合、比較的低画質な撮像画像データが保存されることになる。
またシステムコントローラ２は、撮像間隔を長くする。例えば上記のように撮像間隔として５秒間隔と１０秒間隔を切り換える場合、ステップＦ２０６の設定後は１０秒間隔で、撮像動作を実行させることになる。
【００６０】
ステップＦ２０５又はＦ２０６の設定処理の後は、システムコントローラ２はステップＦ２０７を介してステップＦ２０２に戻り、上記同様の処理を繰り返す。
自動撮像動作が終了される際には、この図７の処理もステップＦ２０７で終了と判断されて終了される。
【００６１】
この図７の処理が行われることで、自動撮像の際に、ユーザのストレス状況に応じて撮像動作設定が切り換えられて撮像が行われる。
例えばユーザが驚愕、心配などを感じる状況で、ストレスを受けている場面は、ライフログとして重要な場面であると考えることができる。その場合、高画質で多数の撮像画像データが保存されることになる。
一方、ユーザがストレスを感じていない状況は、平常の生活状態であるとし、その場合、比較的低高画質で比較的少数の撮像画像データが保存されることになる。これは、通常時にはストレージ部８の記録容量を節約することにもなる。
【００６２】
なお、この例ではストレスを感じている場面を、ユーザにとって重要な場面（撮像画像データの価値が高くなる場面）として撮像動作設定を行うものとしているが、ユーザによっては、ストレスを感じている状況の画像はあまり後に見返したくなく、平穏な状況での画像を見たいと思う人もいる。従って、上記とは逆に、ストレスが少ないと感じたときにステップＦ２０５の設定を行い、ストレスが多いときにはステップＦ２０６の設定を行うようにしてもよい。特には、ユーザの操作によって、どちらの場合に高画質で多数の撮像を行うかを選択できるようにしてもよい。
【００６３】
また、図７の例では、ストレスの有無という２段階の推定を行って２段階の撮像動作設定を行うようにしたが、ＬＨ／ＨＦ比の値に対してストレスのレベルを３段階以上に分けて判定し、画像サイズ、圧縮率、撮像間隔等について３段階以上に切り換えられるようにしてもよい。
【００６４】
［６．撮像動作設定処理例III］
次に、同じくユーザの脈波情報に基づいて撮像動作設定を行う撮像動作設定処理例IIIを、図８，図９で説明する。これは、心拍により心理状態の推定を行う例である。
【００６５】
図８に心拍による心理状態の推定例を示す。縦軸が心拍数、横軸が心拍変動（心拍間隔のゆらぎ）であり、一般的に心拍数が覚醒度を、また心拍変動が誘発性を表すといわれている。そしてこの図８は覚醒度と誘発性を直交軸にとったグラフに、人間の心理状態（怒り、喜び、悲しみ、リラックス）をマッピングしたものである。
この図からわかるように、心拍変動と心拍数の各レベルの相関から、怒り、喜び、悲しみ、リラックスという心理状態を推定することができる。
【００６６】
図９は、心拍変動と心拍数に基づいて、ユーザの心理状態を判定し、これを撮像動作設定に反映させるシステムコントローラ２の処理例を示している。
なお、上述した撮像動作設定処理例Ｉ,IIの場合と同様、システムコントローラ２は、自動撮像の実行時には、内部タイマにより所定の撮像間隔としての時間カウントを行い、例えば１０秒毎などの所定時間のカウントに応じて、撮像部３，撮像制御部４，ストレージ部８による撮像動作（撮像画像データの保存）を実行させる。
システムコントローラ２は、例えば一定時間間隔で撮像動作を指示して自動撮像を実行されていくとともに、その自動撮像実行中、図９の処理を常時継続し、逐次撮像動作設定の変更処理をおこなうことになる。
【００６７】
自動撮像制御の開始に伴って、システムコントローラ２は図９の処理を開始する。まずステップＦ３０１では初期化処理を行う。
ステップＦ３０２は、システムコントローラ２は、脈波センサ１０から得られる脈波情報を取得する。
そしてステップＦ３０３で、心拍数と心拍変動の値を算出する。例えばこの場合、単位時間当たりの脈波情報から心拍数を求めるとともに、前回の単位時間あたりの心拍数と今回の単位時間当たりの心拍数により、心拍変動の値を求めればよい。
【００６８】
心拍数と心拍変動の値を求めたら、システムコントローラ２は心拍数と心拍変動の値を、それぞれ所定の閾値と比較し、現在、心拍数が大きい状況であるか小さい状況であるかを判定するとともに、現在、心拍変動が大きい状況であるか小さい状況であるかを判定する。そして、これら心拍数と心拍変化の判定結果に応じて、ステップＦ３０４，Ｆ３０５，Ｆ３０６で処理を分岐する。
【００６９】
心拍数が大きく、かつ心拍変動も大きいと判定された場合、システムコントローラ２はステップＦ３０４からＦ３０７に進む。これは、ユーザの心理状態が「喜び」であると判定した場合となる。
ステップＦ３０７では、システムコントローラ２は、動画モード設定、大画像サイズ設定、小圧縮率設定という撮像動作設定を行う。
このステップＦ３０７の設定が行われた時点からは、撮像制御部４は、動画撮像モードで動作する。即ち撮像部３で得られる各フレームの撮像画像データを動画データとして処理する。またこのとき、各フレームの画像サイズを大サイズ設定で処理し、さらに小圧縮率の圧縮処理を実行して、動画としての撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを動画として保存する。この場合、高画質な動画撮像画像データが保存されることになる。
【００７０】
心拍数が大きく、かつ心拍変動が小さいと判定された場合、システムコントローラ２はステップＦ３０５からＦ３０８に進む。これは、ユーザの心理状態が「怒り」であると判定した場合となる。
ステップＦ３０８では、システムコントローラ２は、動画モード設定、小画像サイズ設定、大圧縮率設定という撮像動作設定を行う。
このステップＦ３０８の設定が行われた時点からは、撮像制御部４は、動画撮像モードで動作する。即ち撮像部３で得られる各フレームの撮像画像データを動画データとして処理する。またこのとき、各フレームの画像サイズを小サイズ設定で処理し、さらに大圧縮率の圧縮処理を実行して、動画としての撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを動画として保存する。この場合、比較的低画質な動画撮像画像データが保存されることになる。
【００７１】
心拍数が小さく、かつ心拍変動が大きいと判定された場合、システムコントローラ２はステップＦ３０６からＦ３０９に進む。これは、ユーザの心理状態が「リラックス」であると判定した場合となる。
ステップＦ３０９では、システムコントローラ２は、静止画モード設定、小画像サイズ設定、大圧縮率設定、撮像間隔の長時間設定という撮像動作設定を行う。
このステップＦ３０９の設定が行われた時点からは、撮像制御部４は静止画撮像モードで動作する。即ち撮像部３で得られる１フレームの撮像画像データを静止画データとして処理する。そしてこのとき、撮像画像データについて画像サイズを小さく、また大圧縮率の圧縮処理を実行し、撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを静止画として保存するが、この場合、比較的低画質な撮像画像データが保存されることになる。
またシステムコントローラ２は、撮像間隔を長くする。例えば撮像間隔として５秒間隔と１０秒間隔を切り換える場合、ステップＦ３０９の設定後は１０秒間隔で、静止画の撮像動作を実行させることになる。
【００７２】
心拍数が小さく、かつ心拍変動が小さいと判定された場合、システムコントローラ２はステップＦ３１０に進む。これは、ユーザの心理状態が「悲しみ」であると判定した場合となる。
ステップＦ３１０では、システムコントローラ２は、静止画モード設定、大画像サイズ設定、小圧縮率設定、撮像間隔の短時間設定という撮像動作設定を行う。
このステップＦ３１０の設定が行われた時点からは、撮像制御部４は静止画撮像モードで動作する。即ち撮像部３で得られる１フレームの撮像画像データを静止画データとして処理する。そしてこのとき、撮像画像データについて画像サイズを大きく、また小圧縮率の圧縮処理を実行し、撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを静止画として保存するが、この場合、比較的高画質な撮像画像データが保存されることになる。
またシステムコントローラ２は、撮像間隔を短くする。例えば上記のように撮像間隔として５秒間隔と１０秒間隔を切り換える場合、ステップＦ３１０の設定後は５秒間隔で、静止画の撮像動作を実行させることになる。
【００７３】
ステップＦ３０７、又はＦ３０８、又はＦ３０９、又はＦ３１０の設定処理の後は、システムコントローラ２はステップＦ３１１を介してステップＦ３０２に戻り、上記同様の処理を繰り返す。
自動撮像動作が終了される際には、この図９の処理もステップＦ３１１で終了と判断されて終了される。
【００７４】
この図９の処理が行われることで、自動撮像の際に、ユーザの心理状況として、喜び、怒り、リラックス、悲しみの判定に応じて撮像動作設定が切り換えられて撮像が行われる。
例えばユーザが喜びを感じる状況は、ライフログとして最もユーザが保存したい重要な場面であるとし、高画質の動画として撮像画像データが保存される。
またユーザが怒りを感じる状況は、ライフログとして比較的重要な場面であるとし、比較的低画質の動画として撮像画像データが保存される。
またユーザが悲しみ感じる状況は、多数の高画質の静止画として撮像画像データが保存される。
またユーザがリラックスしている状況は、通常の状態として、少数の比較的低画質の静止画として撮像画像データが保存される。
【００７５】
なお、この例によらず、ユーザの心理状況に応じた設定の例は多様に考えられる。例えば怒りを感じる状況や、悲しみを感じる状況を、最も重要な場面であるとして、より優位な設定を行うようにしてもよい。
また、ユーザが、どのような感情に対してどのような設定で撮像を行うかを、任意に選択できるようにすることも考えられる。
【００７６】
［７．実施の形態の効果］
以上説明した本実施の形態によれば、例えば定期的な間隔として自動撮像を実行する際に、ユーザの心理や行動に適応した撮像動作設定が行われながら、逐次自動撮像が行われる。例えばユーザが心理的に通常とは異なった状況となったときに、高画質の撮像や、撮像間隔時間の短縮、静止画撮像から動画撮像への切換などの設定を行うことで、ユーザにとって重要と感じられるであろう光景を、より適切に保存できる。
これによって、例えばライフログ用途などの自動撮像として、ユーザにとって印象的な光景が高画質で撮像されるなど、好適な撮像が実現される。
また、生体情報として、特にユーザの脈波情報を用いているが、脈波の検出は比較的容易であるため、装置構成的にも有利となる。
【００７７】
また、脈波によって心拍数が上昇したことが検出された際には、その心拍数変動が心理起因の心拍数変動によるものか、運動起因の心拍数変動によるものかを判別し、その判別結果に応じて撮像動作設定を行うことで、心理的な変化を的確に判定して、それに応じた適切な撮像動作設定を行うことができる。
また、脈波情報に基づいて、心拍間隔の周波数解析を行い、ユーザのストレス状況を判別することでも、ユーザのストレス状況に応じた撮像動作設定が可能となる。
また脈波情報に基づいて、心拍数と心拍変動を求め、これらからユーザの心理状況を判別することで、そのユーザの感情に適した撮像動作設定を行うことができる。
【００７８】
以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した実施の形態に限定されず、多様な変形例が考えられる。
撮像動作設定の内容、設定変更する事項、或いはその組み合わせ、切換可能な設定変更段階数などは、非常に多様に考えられる。
また実施の形態では脈波情報を検出するものとして述べたが、脈波以外に脳波や発汗量など、他の生体情報を検出して心理状態を推定し、撮像動作設定を変更することも考えられる。
【符号の説明】
【００７９】
１ 撮像装置、２ システムコントローラ、３ 撮像部、３ａ 撮像光学系、３ｂ 撮像素子部、３ｃ 撮像信号処理部、４ 撮像制御部、５ 表示部、６ 表示制御部、７ 操作入力部、８ ストレージ部、１０ 脈波センサ、１１ 脈波データベース
【技術分野】
【０００１】
本発明は、情報処理装置、撮像制御方法、プログラムに関し、特に使用者のシャッタ操作によらずに自動的に撮像を行う自動撮像動作に好適な技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００２−３４０３０号公報
【特許文献２】特開２００７−６６２５１号公報
【特許文献３】特開２００５−３３１７１６号公報
【背景技術】
【０００３】
例えばライフログカメラなどとして、ユーザが装着しているカメラが自動的に定期的な画像撮像を行うことで、ユーザが日常生活で目にする光景を画像データとして記録するカメラが提案されている。このライフログカメラを使用することで、ユーザの行動履歴や思い出などを、画像データとして残すことが可能となる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところでライフログカメラとして、定期的に自動撮像を行っていく場合、ユーザが日常生活の中で目にした多様な光景が撮像されていくこととなるが、それらの光景には、後にユーザが見返して価値のあるものや無いものが含まれることになる。価値のある光景とは、ユーザが興味を持った光景、ユーザの感情が大きく変化した光景などである。
そして例えば、そのような価値の光景を撮像した撮像画像データは、通常とは異なる撮像動作設定で撮像を行うことが好適と考えることができる。
そこで本発明では、自動撮像において、ユーザの心理状況に応じた自動撮像動作ができるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、使用者の生体情報を検出する生体情報検出手段と、使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出手段で検出される生体情報の変動が、心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作制御を行う制御手段とを備える。
また撮像動作として、被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像手段をさらに備え、上記制御手段は、上記撮像動作設定に基づく撮像動作を上記撮像手段に実行させる撮像動作制御を行う。
また上記生体情報検出手段は、上記生体情報として脈波情報、又は脳波情報、又は発汗量を検出する。
【０００６】
また上記制御手段は、上記撮像動作設定として、画質設定、又は画サイズ設定、又は撮像間隔時間設定、又はフレームレート設定、又は静止画撮像／動画撮像切換設定、又はシャッタスピード設定を行う。
また上記制御手段は、上記生体情報検出手段で検出される脈波情報から求められる心拍数の変動が、心理起因の心拍数変動か、運動起因の心拍数変動かを判別し、その判別結果に応じて、上記撮像動作設定を行う。
また上記制御手段は、上記生体情報検出手段で検出される脈波情報に基づいて、使用者のストレス状況を判別し、その判別結果に応じて、上記撮像動作設定を行う。
また上記制御手段は、上記生体情報検出手段で検出される脈波情報に基づいて、使用者の心理状況を判別し、その判別結果に応じて、上記撮像動作設定を行う。
【０００７】
本発明の撮像制御方法は、被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像動作に対する撮像制御方法として、使用者の生体情報を検出する生体情報検出ステップと、使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出ステップで検出される生体情報の変動が、心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作制御を行う撮像制御ステップとを備える。
【０００８】
以上のような本発明においては、例えばライフログ用途としての自動撮像として、撮像装置が一定時間間隔などで自動的に（ユーザのシャッタ操作によらずに）撮像を行っていく際に、制御手段が、使用者（ユーザ）の生体情報（特に脈波情報）に基づいて、撮像動作設定を行う。脈波情報によっては、ユーザの心拍数変動が心理起因によるものか運動起因によるものかを判別できる。また、ユーザのストレス状況や心理状況も推定できる。そこで、これらの判別結果に応じて、適切な撮像動作設定を行うことで、ユーザにとって好適な設定の自動撮像が可能となる。
【発明の効果】
【０００９】
本発明によれば、ユーザの心理に適応した撮像動作設定が行われながら、逐次自動撮像が行われる。具体的には、例えばユーザが心理的に通常とは異なった状況となったときに、高画質の撮像や、撮像間隔時間の短縮などの設定を行うことで、重要な光景と通常の光景について異なる状態で撮像（撮像画像データの保存）を行うことができる。
これによって、例えばライフログ用途などの自動撮像として、ユーザにとって印象的な光景が高画質で撮像されるなど、好適な撮像が実現される。
また、生体情報として、特にユーザの脈波情報を用いることで、検出も比較的容易であり、装置構成的にも有利となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の撮像装置の外観例の説明図である。
【図２】実施の形態の撮像装置のブロック図である。
【図３】実施の形態の撮像装置の他の構成例のブロック図である。
【図４】実施の形態の心拍数変動についての起因判定の説明図である。
【図５】実施の形態の撮像動作設定処理例Iのフローチャートである。
【図６】実施の形態の心拍間隔によるストレス状況推定の説明図である。
【図７】実施の形態の撮像動作設定処理例IIのフローチャートである。
【図８】実施の形態の心拍数と心拍変動による心理推定の説明図である。
【図９】実施の形態の撮像動作設定処理例IIIのフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を説明する。説明は以下の順序で行う。
［１．撮像装置の外観例］
［２．撮像装置の構成例］
［３．撮像動作設定］
［４．撮像動作設定処理例Ｉ］
［５．撮像動作設定処理例II］
［６．撮像動作設定処理例III］
［７．実施の形態の効果］
【００１２】
［１．撮像装置の外観例］
実施の形態の撮像装置１としては、各種の形態が想定されるが、それらの外観例を図１（ａ）（ｂ）に例示する。
図１（ａ）は、首かけタイプの撮像装置１を示している。この撮像装置１は、例えばストラップを取り付ける部位を持ち、この部位にストラップを取り付けて図示するようにユーザの首にかけることで装着される。ユーザは、撮像装置１が備える撮像レンズ３Ｌがユーザの正面方向を被写体方向として撮像出来るように装着すればよい。
なお、図示していないが、例えば撮像装置１の背面部などに、撮像モニタ用や撮像画像の再生などに用いる表示部が設けられてもよい。
【００１３】
図１（ｂ）は、眼鏡型ディスプレイカメラとした撮像装置１を示している。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３Ｌが配置されている。
また、図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部５、５が配置される構成とされている。この表示部５には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部５がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。また表示部２が設けられない構成も考えられる。
【００１４】
これら図１（ａ）（ｂ）では、首かけタイプ或いは眼鏡型の撮像装置１を挙げたが、ユーザが撮像装置１を装着するための構造は多様に考えられる。例えばヘッドフォン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドフォン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくてもよい。
また、図１（ａ）の場合、撮像方向をユーザの正面方向としているが、装着時にユーザの後方を撮像するように撮像装置１を首にかけるように装着してもよい。
そして、図１（ｂ）の場合は、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ３Ｌが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えられる。
さらに、図１（ａ）（ｂ）において、１又は複数の撮像レンズ３Ｌについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けてもよい。
【００１５】
なお、動画や静止画撮像を行う撮像装置として、これら図１（ａ）（ｂ）に示す以外の形態も考えられることは言うまでもない。例えば、車に設置可能な撮像装置であって車内や、或いは車外を撮像することが可能な撮像装置１も本実施の形態として想定できる。例えば車室内を撮像するように取り付けられた撮像装置や、車の前方風景、後方風景等を撮像するように取り付けられた撮像装置である。
また、携帯電話機やＰＤＡ（Personal Digital Assistant）、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置１として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロフォンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしてもよい。
また、撮像レンズ３Ｌの近辺に、被写体方向への照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。
【００１６】
［２．撮像装置の構成例］
ここでは、実施の形態の撮像装置１の構成例を説明する。
図２に示すのは、撮像装置１の内部構成を示すブロック図である。
図示するようにして撮像装置１は、システムコントローラ２、撮像部３、撮像制御部４、表示部５、表示制御部６、操作入力部７、ストレージ部８、通信部９、脈波センサ１０、脈波データベース１１を有する。
【００１７】
システムコントローラ２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ２は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１２を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
特に本例の場合、システムコントローラ２は脈拍センサ１０から供給される脈波情報や脈波データベース１１に記憶されている情報に基づいて、自動撮像の際の各種の撮像動作設定処理も行う。
【００１８】
撮像部３は、撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する。
撮像部３における撮像光学系３ａでは、図１に示した撮像レンズ３Ｌや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系と、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部３ｂでは、撮像光学系３ａで得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部３ｃでは、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理などを行う。
【００１９】
これらの撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部４で処理される。
撮像制御部４は、システムコントローラ２の制御に従って、撮像画像データを各種の圧縮率で圧縮する画像圧縮処理や、画サイズ変換処理、画像フォーマット変換処理などの処理を行い、また動作状況に応じて、撮像画像データをストレージ部８，表示制御部６、通信部９などへ転送する処理を行う。
また撮像制御部４はシステムコントローラ２の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、シャッタ処理、撮像光学系３ａのズームレンズ、フォーカスレンズの駆動制御、撮像素子部３ｂのシャッタスピード制御、フレームレートの制御、撮像信号処理部３ｃの各処理のパラメータ制御や実行処理の設定なども行う。
【００２０】
撮像装置１においてユーザに対して表示を行う構成としては、表示部５、表示制御部６が設けられる。
この表示部５には、液晶ディスプレイ等の表示パネル部と、該表示パネル部を表示駆動する表示駆動部が設けられる。表示駆動部は、撮像制御部４から供給される画像データを表示パネル部に表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
【００２１】
表示制御部６は、システムコントローラ２の制御に基づいて、表示部５における画素駆動回路を駆動し所定の表示を実行させる。例えば撮像部３での撮像された画像のモニタ表示や、ストレージ部８で再生された画像の表示などが実行される。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理なども行うことができる。
【００２２】
操作入力部７は、例えばキー、ボタン、ダイヤル等の操作子を有するようにし、例えば、電源オン／オフ操作や、自動撮像に関連する操作のための操作子や、所要の入力操作のための操作子が形成される。また、自動撮像だけでなく、ユーザのシャッタ操作に応じた撮像も可能とする場合は、撮像に関するユーザ操作として例えばシャッタ操作、ズームの操作、露出の設定操作、セルフタイマ操作などに用いる操作子が形成されるようにしてもよい。
操作入力部７は、このような操作子から得られる情報をシステムコントローラ２に供給し、システムコントローラ２はこれらの情報に対応した必要な演算処理や制御を行う。
【００２３】
ストレージ部８は、撮像画像データその他の各種データの保存に用いられる。
このストレージ部８は、フラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部８は、システムコントローラ２の制御に基づいて、撮像画像データその他の各種データの記録／再生を行う。
【００２４】
通信部９は、各種の外部機器とデータ通信を行う部位として設けられる。
例えば、図示しないサーバ装置との間でのデータの送受信を行うようにしてもよい。その場合、例えば無線ＬＡＮやブルートゥースなどの方式で、ネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としてもよいし、対応する通信機能を備えたサーバ装置との間で直接無線通信を行うものでもよい。
また、通信部９は、例えばＵＳＢ（Universal Serial Bus）方式等のインターフェイスを用いてパーソナルコンピュータなどの機器と接続し、データの送受信を行うようにしてもよい。
この通信部９により、例えば撮像してストレージ部８に格納した撮像画像データを、パーソナルコンピュータその他の外部機器に転送することができる。従って、ライフログとしての定期的な撮像でストレージ部８に録り貯めた多数の撮像画像データは、この撮像装置１自体で表示部５で再生表示させることができるほか、パーソナルコンピュータ等の外部機器に転送して、それら外部機器側で再生させて表示させることもできる。
【００２５】
脈波センサ１０は、ユーザの脈波を検出し、これを脈波情報としてシステムコントローラ２に供給する。
脈波データベース１１は、脈波の波形パターンから人間の心理状態を判定するための情報が各種格納されているデータベースである。
なお、この脈波データベース１１は、ストレージ部８の記憶領域、或いはシステムコントローラ２の内部メモリなどにおいて記憶されるものであってもよい。
【００２６】
ところで、脈波センサ１０は、例えばユーザの身体で脈波を検出できる身体部位に接するようにされる。例えば耳殻近傍、手首、胸部などである。例えば図１（ｂ）のような眼鏡型の撮像装置１を考えた場合、脈波センサ１０は、ユーザの耳殻のつけ根近傍に接触して脈拍を検知できるようにすることが考えられる。即ち眼鏡のツルに相当する部分の内側に脈波センサ１０が配置されていればよい。
一方、図１（ａ）のようなタイプの場合、撮像装置１はユーザの身体の脈拍検出部位に接触できないため、脈波センサ１０を、撮像装置１の本体とは別体に構成することが考えられる。
【００２７】
脈波センサ１０を別体構成とする場合の構成例を図３に示す。図示するように、脈波センサ１０の構成部分をセンサユニット２０として撮像装置１の本体とは別体とする。
この場合、センサユニット２０において、脈波センサ１０と検出情報送信部１４を設ける。そして撮像装置１の本体側には、検出情報受信部１５を設ける。
【００２８】
検出情報受信部１５と検出情報送信部１４は、例えば無線通信或いは有線通信で互いに通信を行う。無線通信とする場合、例えばブルートゥース等の近距離無線通信方式を採用してもよいし、可視光又は非可視光などを用いた光パルス変調でデータ通信を行う光通信方式でもよい。もちろんより長距離に対応した無線通信方式を用いてもよい。
そしてこの図３の場合、脈波センサ１０で検出される脈波情報は、検出情報送信部１４から送信され、検出情報受信部１５で受信される。検出情報受信部１５は、受信した脈波情報を復調し、システムコントローラ２に供給する。
このような構成により、脈波センサ１０を、ユーザの身体における脈拍検知部位に容易に装着できるようになる。例えばセンサユニット２０をブレスレット型に構成して、ユーザが手首に装着できるようにしたり、或いはセンサユニット２０を耳殻に装着できるようなユニットとすることで、ユーザの脈波を適切に検出できる。
【００２９】
以上、図２，図３で撮像装置１の構成例を示したが、これらは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。
【００３０】
［３．撮像動作設定］
以上の構成の撮像装置１における特徴的な動作を以下、説明していく。
実施の形態の撮像装置１は、ライフログ用途に用いる場合、基本的には、ユーザのシャッタ操作に基づかない撮像動作を行う。例えば定期的に自動撮像を行って、撮像画像データをストレージ部８に保存していく。例えば５秒間隔、１０秒間隔、３０秒間隔など、所定の間隔で自動撮像を行う。なお、もちろん定期的な撮像ではなく、何らかのトリガ（ユーザのシャッタ操作以外のトリガ）に応じて不定期なタイミングで自動撮像を行ってもよい。さらに、定期的又は不定期の自動撮像実行中に、ユーザがシャッタ操作を行った場合は、その時点で通常に撮像処理を行えばよい。
【００３１】
ユーザが日常生活において撮像装置１を装着した状態で、このように例えば定期的に自動撮像を行っていくと、ユーザの行動に応じた光景が撮像されていくことになる。但し、日常行動でユーザが目にする光景は、ユーザにとって毎日同じような平凡な光景もあれば、ユーザにとって、喜び、驚き、悲しみなどの心理的な状況を感じる光景など、多様である。そしてユーザの心理的な変化が生じる光景は、ユーザにとっては、撮像画像としての価値が高いと考えることができる。
【００３２】
そこで本例では、ユーザー脈波から心理状態を推定し、ユーザーの心理状態に応じて画像サイズ、圧縮率、静止画／動画モード、撮像時間間隔などの各種撮像動作設定を切り換えて自動撮像するものである。これにより、ユーザーが興味を示した場面（普段と異なる心理状態であった場面など）を撮像装置１が推定し、普段とは異なる撮像条件で自動的に撮像することを可能とする。
【００３３】
ここで、撮像動作設定としては、画質設定、又は画サイズ設定、又は撮像間隔設定、又はシャッタスピード設定が考えられる。
画質設定とは、撮像画像データの画像品質であり、これは例えば圧縮率の高低の設定とすることができる。即ち撮像部３で得られた撮像画像データは、撮像制御部４で所定の圧縮方式で圧縮処理されてストレージ部８に転送されて記録されるが、ここで圧縮処理の際に圧縮率を高くするほど、データ容量は小さくなるが、保存される撮像画像データの品質は低下する。一方、圧縮率が低くすれば（もしくは非圧縮とすれば）データ容量は大きくなるが保存される撮像画像データの品質は高くなる。
従って、圧縮率の高低の設定として保存する画像データ品質を変化させることができるとともに、記憶容量の有効利用も図ることができる。
【００３４】
画サイズ設定とは、例えば撮像画像データの画素数と考えることができ、例えば撮像素子部３ｂでの画素数に応じた画サイズを最大とし、例えば画素間引き処理により画素数を低下させていくほど、画サイズは小さくなる。
これも、画サイズは大きいほど高品位であるが容量は大きく、一方、画サイズを小さくするほど画質は低品位となるが容量は少なくなる。
【００３５】
撮像間隔設定とは、上記のように定期的な自動撮像を行う場合の撮像間隔としての時間設定である。撮像間隔を短くすれば、多数の撮像画像データが得られ、ライフログとして好適である一方、全体として大量の記録容量を要することになる。一方、撮像間隔を長くすれば、撮像機会が少なくなるが、全体としての記録容量は節約される。
例えば撮像間隔を１０秒間隔と、３０秒間隔などで切り換える設定が考えられる。
【００３６】
シャッタスピード設定とは、撮像素子部３ｂにおけるＣＣＤセンサ又はＣＭＯＳセンサの露光時間設定である。通常、動きの速い被写体に対してはシャッタスピードを速くすることが適切である。
【００３７】
これらのような各種の撮像動作設定により、例えばユーザにとって印象的な光景は、比較的優位な設定を行うことが適切である。例えば圧縮率を低くして高画質とする設定、画サイズを大きくする設定、撮像間隔時間を短くする設定が、高画質化や保存する撮像画像データ数の点で優位な設定となる。
このために本例では、脈波センサ１０からの脈波情報に基づいて、ユーザの心理状況を推定し、ユーザにとって印象的な光景は優位な設定を行うようにするものである。
【００３８】
なお、これらの画質（圧縮率）設定、画サイズ設定、撮像間隔設定、シャッタスピード設定は、静止画撮像を行う場合を考えて例示したものであるが、撮像装置１では動画撮像を行うこともできる。従って撮像動作設定としては、静止画撮像／動画撮像の切換設定、動画撮像時のフレームレート設定なども考えられる。
例えば常時継続的に動画撮像を行う撮像装置を考えた場合、フレームレート、画サイズ、圧縮率、シャッタスピード等を、逐次、ユーザの心理状況に応じて設定変更することが考えられる。例えば、高フレームレート、低圧縮率で動画撮像を行えば、高品質な動画が保存でき、低フレームレート、高圧縮率で動画撮像を行えば、比較的低品質であるが容量を節約した動画記録ができる。
【００３９】
また動画撮像は、常時継続的に撮像を行うほか、例えば断続的に一定時間だけ動画撮像を行うような動作方式も考えられるが、そのような場合も、フレームレート、画サイズ、圧縮率、撮像間隔、シャッタスピードの設定により、保存する動画データの品質や容量を変更できる。
さらには静止画撮像に比較して、動画撮像は、保存される光景内容が多くなるという考え方からすれば、動画撮像を、静止画撮像に対する優位設定として、静止画撮像、動画撮像を切り換えることも考えられる。
【００４０】
［４．撮像動作設定処理例Ｉ］
ユーザの脈波情報に基づいて撮像動作設定を行う撮像動作設定処理例Ｉを、図４，図５で説明する。
通常、ユーザに感情の変化が生ずると、心拍数が高くなるが、心拍数は運動によっても高くなる。
ここでは、心拍数が高くなった際に、それが心理起因によるものか、運動起因によるものかを判別して、撮像動作設定を行う例を述べる。
【００４１】
図４は、心理起因と運動起因による心拍数の時間変化を示した推定モデルである。特性Ｌ１が心理起因による単位時間当たりの心拍数の変化を示し、特性Ｌ２が運動起因による単位時間当たりの心拍数の変化を示している。
運動の負荷にもよるが、運動起因により心拍数の変化は、驚きなど心理起因による心拍数の変化よりも傾きが緩やかなものになる。
このような特性から、例えば図示するように起因判定の閾値Ｄｔｈ（傾きの値）を設定するとともに、単位時間当たりの心拍数の変化を検知していくことで、心拍が上昇した際に、それが心理起因であるか否かを判定できる。
【００４２】
図５に、このような起因判定を行って、撮像動作設定を変更する処理例を示す。この図５はシステムコントローラ２が内部ＲＯＭに格納したプログラムに基づいて実行する制御処理として示している。
自動撮像の実行中、システムコントローラ２は例えば内部タイマにより所定の撮像間隔としての時間カウントを行っている。そして例えば１０秒毎などの所定時間のカウントに応じて、撮像動作を実行させる。即ち撮像制御部４に、撮像部３で得られる撮像画像データについて圧縮処理等を実行させ、ストレージ部８に転送させる。ストレージ部８に対しては、転送されてきた撮像画像データを静止画として保存する動作を実行させる。
【００４３】
システムコントローラ２が例えば一定時間間隔でこのような撮像動作を指示することで、自動撮像が実行されていくが、この自動撮像実行中、システムコントローラ２は図５の処理を常時継続しており、逐次撮像動作設定の変更処理をおこなうことになる。
【００４４】
自動撮像制御の開始に伴って、システムコントローラ２は図５の処理を開始する。まずステップＦ１０１では初期化処理を行う。ここでは、現在処理中の心拍数番号を示す変数ｎをｎ＝１とする。
次にステップＦ１０２で、タイマ用カウンタｔをｔ＝０に初期化するとともに、カウントをスタートする。
【００４５】
ステップＦ１０３では、システムコントローラ２は、脈波センサ１０から得られる脈波情報を取得する。そしてステップＦ１０４で、脈波情報から心拍数を算出する。
ステップＦ１０５で、単位時間の経過を確認する。即ちタイマ用カウンタｔによるカウント値（時間経過）が所定の単位時間Ｔに達したか否かを確認する。
ここで、時間経過が単位時間Ｔに達するまでは、ステップＦ１０３，Ｆ１０４を繰り返す。ステップＦ１０５で単位時間Ｔが経過したと判断される時点で、その単位時間Ｔにおける心拍数がカウントされることになる。
【００４６】
単位時間Ｔを経過したら、システムコントローラ２はステップＦ１０６に処理を進め、現在処理中の心拍数Ｂ(n)として、その単位時間Ｔの間にステップＦ１０４の処理で測定された心拍数の値を保持する。
ステップＦ１０７では、最初の処理（変数ｎ＝１）であるか否かを判別し、最初の処理である場合は、ステップＦ１１２で変数ｎをインクリメントしてステップＦ１０２に戻り、再び上記同様にステップＦ１０２，Ｆ１０３，Ｆ１０４、Ｆ１０５で次の単位時間Ｔ当たりの心拍数の計測を行うことになる。
【００４７】
単位時間Ｔあたりの心拍数の測定としての２回目を行った以降は、システムコントローラ２は処理をステップＦ１０７からＦ１０８に進める。
ステップＦ１０８では、前回の心拍数の測定値Ｂ(n-1)からの今回の心拍数の測定値Ｂ(n)の変化値ｄを求める。この場合、変化値ｄは、今回の心拍数の測定値Ｂ(n)と前回の心拍数の測定値Ｂ(n-1)の差分を、単位時間Ｔで除算して求める。これにより、変化値ｄは、単位時間毎の心拍数の変化の傾きを示すものとなる。
変化値ｄを算出したら、次にシステムコントローラ２はステップＦ１０９で、変化値ｄを図４に示した起因判定の閾値Ｄｔｈと比較する。図４で述べたように、心拍数が急に変化すると、それは心理起因と推定でき、心拍数の変化が緩やかであれば、運動起因と推定できる。
そこで単位時間Ｔ毎の心拍数の変化値ｄとしての傾きと、閾値Ｄｔｈとしての傾きの値を比較し、変化値ｄ＞閾値Ｄｔｈであれば、心理起因の心拍変化と推定する。一方、変化値ｄ≦閾値Ｄｔｈであれば、運動起因の心拍変化と推定する。
【００４８】
心理起因による心拍変化と推定した場合、システムコントローラ２はステップＦ１１０に進み、心理起因による心拍変化に応じた撮像動作設定を行う。この場合、大画像サイズ設定、小圧縮率設定、撮像間隔の短時間設定、スポーツモードオフという動作設定を行う。
また運動起因による心拍変化と推定した場合は、システムコントローラ２はステップＦ１１１に進み、運動起因による心拍変化に応じた撮像動作設定を行う。この場合、小画像サイズ設定、大圧縮率設定、撮像間隔の長時間設定、スポーツモードオンという動作設定を行う。
【００４９】
ステップＦ１１０又はＦ１１１の設定処理の後は、システムコントローラ２はステップＦ１１２で変数ｎをインクリメントしてステップＦ１０２に戻り、ステップＦ１０２以降、上記同様の処理を繰り返す。
自動撮像動作が終了される際には、この図５の処理もステップＦ１１３で終了と判断されて終了される。
【００５０】
この図５の処理が行われることで、自動撮像の際に、ユーザの心拍数変化の起因に応じて撮像動作設定が切り換えられ、ユーザの行動や心理状況に応じた撮像が行われる。
心理起因の心拍変化が認められた場合は、撮像制御部４は、ステップＦ１１０の設定に基づいて、撮像部３で得られる撮像画像データについて画像サイズを大きくし、また小圧縮率の圧縮処理を実行し、撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを静止画として保存するが、この場合、高画質な撮像画像データが保存されることになる。
またシステムコントローラ２は、撮像間隔を短くする。例えば撮像間隔として５秒間隔と１０秒間隔を切り換える場合、ステップＦ１１０の設定後は５秒間隔で、撮像動作を制御することになる。
また、スポーツモードオフという動作設定に応じて、撮像制御部４は、撮像部３における撮像素子部３ｂのシャッタスピードを長くする。
このような設定に基づく動作により、喜び、驚愕など、ユーザの心理状況が大きく変化したと推定された場合は、高画質で多数の撮像画像データが保存されることになる。
【００５１】
一方、心拍変化が運動起因によるものである場合は、撮像制御部４は、ステップＦ１１１の設定に基づいて、撮像部３で得られる撮像画像データについて画像サイズを小さく、また大圧縮率の圧縮処理を実行し、撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを静止画として保存するが、この場合、比較的低画質な撮像画像データが保存されることになる。
またシステムコントローラ２は、撮像間隔を長くする。例えば上記のように撮像間隔として５秒間隔と１０秒間隔を切り換える場合、ステップＦ１１０の設定後は１０秒間隔で、撮像動作を実行させることになる。
また、スポーツモードオンという動作設定に応じて、撮像制御部４は、撮像部３における撮像素子部３ｂのシャッタスピードを短くする。
このような設定に基づく動作により、心拍変化が、運動起因によるものと推定された場合は、比較的低画質で比較的少数の撮像画像データが保存されることになる。また、シャッタスピードが短くされることで、運動により被写体画像のブレが生じやすい状況に対応するものとなる。
【００５２】
なお、ユーザが平静状態、通常状態であって、心拍数変化があまりない場合は、変化値ｄ≦閾値Ｄｔｈとなるため、その場合もステップＦ１１１での設定が行われるものとなるが、心拍数の変化があまり認められない場合と、運動起因による心拍変化の場合とで異なる撮像動作設定を行うようにしてもよい。これらの状況は、心拍数変化があるか、ほとんど無いかを判定する第２の閾値を設定することで判別可能である。
そして心拍変化がほとんどない場合は、小画像サイズ、大圧縮率、長い撮像間隔とすることは同様とするが、スポーツモードはオフとするという設定が考えられる。
もちろん、画像サイズ、圧縮率、撮像間隔については、平常時、運動起因の心拍変化時、心理起因の心拍変化時のそれぞれで３段階に切り換えられるようにしてもよい。
【００５３】
［５．撮像動作設定処理例II］
次に、同じくユーザの脈波情報に基づいて撮像動作設定を行う撮像動作設定処理例IIを、図６，図７で説明する。これは、心拍間隔の揺らぎによる特にストレスを感じているか否かとしての心理状態の推定を行う例である。
【００５４】
図６に心拍間隔のゆらぎによる心理状態の推定例を示す。人間の脈波を測定すると図６（ａ）に心拍間隔を示しているが、この心拍間隔は一定ではなく、ある周期でゆらいでいることが知られている。それは自律神経系の交感神経と副交感神経の相互作用により発生する。
この心拍間隔のゆらぎの周波数解析をすると図６（ｂ）で示したように２箇所でピークが出現することが知られている。
０．３Ｈｚ前後に発生するＨＦ(高周波)と呼ばれる周期は副交感神経活動によるものであり、０．１Ｈｚ前後に発生するＬＦ(低周波)と呼ばれる周期は交感及び副交感神経活動によるものである。ここで低周波ＬＦのレベルと高周波ＨＦのレベルを検出し、そのＬＦ／ＨＦ比を求めると、これを交感神経活動の指標として使用することが可能である。
【００５５】
交感神経は心拍数を増やし血圧を上昇させることで、人間が活動する条件を作る働きをしている。一方、副交感神経は心拍数を減らし血圧を下降させることで、人間が休息する条件を作る働きをしている。一般的に人間がストレスを感じると交感神経の活動が活発になることが知られている。
するとＬＦ／ＨＦ比が大きいときは、ユーザーがストレスを感じているときであり、逆にＬＦ／ＨＦ比が小さいときは、ユーザーがあまりストレスを感じていないときと判定できる。
【００５６】
図７は、心拍間隔の揺らぎに基づいて、ユーザのストレスの度合いを判定し、これを撮像動作設定に反映させるシステムコントローラ２の処理例を示している。
なお、上述した撮像動作設定処理例Ｉの場合と同様、システムコントローラ２は、自動撮像の実行時には、内部タイマにより所定の撮像間隔としての時間カウントを行い、例えば１０秒毎などの所定時間のカウントに応じて、撮像部３，撮像制御部４，ストレージ部８による撮像動作（撮像画像データの保存）を実行させる。
システムコントローラ２は、例えば一定時間間隔で撮像動作を指示して自動撮像を実行されていくとともに、その自動撮像実行中、図７の処理を常時継続し、逐次撮像動作設定の変更処理をおこなうことになる。
【００５７】
自動撮像制御の開始に伴って、システムコントローラ２は図７の処理を開始する。まずステップＦ２０１では初期化処理を行う。
ステップＦ２０２は、システムコントローラ２は、脈波センサ１０から得られる脈波情報を取得する。そしてステップＦ２０３で、脈波情報に基づいてＬＦ／ＨＦ比を算出する。即ちこの場合、取得した脈波情報について周波数解析を行い、低周波ＬＨとしてのピークレベルと、高周波ＨＦとしてのピークレベルを求める。そしてその低周波ＬＨと高周波ＨＦの比を求め、これをＬＦ／ＨＦ比の値とする。
【００５８】
次にシステムコントローラ２はステップＦ２０４で、ＬＦ／ＨＦ比を、所定の閾値と比較し、ＬＦ／ＨＦ比が、大きいか小さいかを判定する。
ＬＦ／ＨＦ比が閾値より大きいときは、ユーザーがストレスを感じていると判定し、ステップＦ２０５に進む。この場合システムコントローラ２は、大画像サイズ設定、小圧縮率設定、撮像間隔の短時間設定という撮像動作設定を行う。
このステップＦ２０５の設定が行われた時点からは、撮像制御部４は、撮像部３で得られる撮像画像データについて画像サイズを大きくし、また小圧縮率の圧縮処理を実行し、撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを静止画として保存するが、この場合、高画質な撮像画像データが保存されることになる。またシステムコントローラ２は、撮像間隔を短くする。例えば撮像間隔として５秒間隔と１０秒間隔を切り換える場合、ステップＦ２０５の設定後は５秒間隔で、撮像動作を制御することになる。
【００５９】
またステップＦ２０４でＬＦ／ＨＦ比が閾値より小さいと判定されたときは、ユーザーがストレスを感じていないと推定し、システムコントローラ２はステップＦ２０６に進んで、小画像サイズ設定、大圧縮率設定、撮像間隔の長時間設定という撮像動作設定を行う。
このステップＦ２０６の設定が行われた時点からは、撮像制御部４は、撮像部３で得られる撮像画像データについて画像サイズを小さく、また大圧縮率の圧縮処理を実行し、撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを静止画として保存するが、この場合、比較的低画質な撮像画像データが保存されることになる。
またシステムコントローラ２は、撮像間隔を長くする。例えば上記のように撮像間隔として５秒間隔と１０秒間隔を切り換える場合、ステップＦ２０６の設定後は１０秒間隔で、撮像動作を実行させることになる。
【００６０】
ステップＦ２０５又はＦ２０６の設定処理の後は、システムコントローラ２はステップＦ２０７を介してステップＦ２０２に戻り、上記同様の処理を繰り返す。
自動撮像動作が終了される際には、この図７の処理もステップＦ２０７で終了と判断されて終了される。
【００６１】
この図７の処理が行われることで、自動撮像の際に、ユーザのストレス状況に応じて撮像動作設定が切り換えられて撮像が行われる。
例えばユーザが驚愕、心配などを感じる状況で、ストレスを受けている場面は、ライフログとして重要な場面であると考えることができる。その場合、高画質で多数の撮像画像データが保存されることになる。
一方、ユーザがストレスを感じていない状況は、平常の生活状態であるとし、その場合、比較的低高画質で比較的少数の撮像画像データが保存されることになる。これは、通常時にはストレージ部８の記録容量を節約することにもなる。
【００６２】
なお、この例ではストレスを感じている場面を、ユーザにとって重要な場面（撮像画像データの価値が高くなる場面）として撮像動作設定を行うものとしているが、ユーザによっては、ストレスを感じている状況の画像はあまり後に見返したくなく、平穏な状況での画像を見たいと思う人もいる。従って、上記とは逆に、ストレスが少ないと感じたときにステップＦ２０５の設定を行い、ストレスが多いときにはステップＦ２０６の設定を行うようにしてもよい。特には、ユーザの操作によって、どちらの場合に高画質で多数の撮像を行うかを選択できるようにしてもよい。
【００６３】
また、図７の例では、ストレスの有無という２段階の推定を行って２段階の撮像動作設定を行うようにしたが、ＬＨ／ＨＦ比の値に対してストレスのレベルを３段階以上に分けて判定し、画像サイズ、圧縮率、撮像間隔等について３段階以上に切り換えられるようにしてもよい。
【００６４】
［６．撮像動作設定処理例III］
次に、同じくユーザの脈波情報に基づいて撮像動作設定を行う撮像動作設定処理例IIIを、図８，図９で説明する。これは、心拍により心理状態の推定を行う例である。
【００６５】
図８に心拍による心理状態の推定例を示す。縦軸が心拍数、横軸が心拍変動（心拍間隔のゆらぎ）であり、一般的に心拍数が覚醒度を、また心拍変動が誘発性を表すといわれている。そしてこの図８は覚醒度と誘発性を直交軸にとったグラフに、人間の心理状態（怒り、喜び、悲しみ、リラックス）をマッピングしたものである。
この図からわかるように、心拍変動と心拍数の各レベルの相関から、怒り、喜び、悲しみ、リラックスという心理状態を推定することができる。
【００６６】
図９は、心拍変動と心拍数に基づいて、ユーザの心理状態を判定し、これを撮像動作設定に反映させるシステムコントローラ２の処理例を示している。
なお、上述した撮像動作設定処理例Ｉ,IIの場合と同様、システムコントローラ２は、自動撮像の実行時には、内部タイマにより所定の撮像間隔としての時間カウントを行い、例えば１０秒毎などの所定時間のカウントに応じて、撮像部３，撮像制御部４，ストレージ部８による撮像動作（撮像画像データの保存）を実行させる。
システムコントローラ２は、例えば一定時間間隔で撮像動作を指示して自動撮像を実行されていくとともに、その自動撮像実行中、図９の処理を常時継続し、逐次撮像動作設定の変更処理をおこなうことになる。
【００６７】
自動撮像制御の開始に伴って、システムコントローラ２は図９の処理を開始する。まずステップＦ３０１では初期化処理を行う。
ステップＦ３０２は、システムコントローラ２は、脈波センサ１０から得られる脈波情報を取得する。
そしてステップＦ３０３で、心拍数と心拍変動の値を算出する。例えばこの場合、単位時間当たりの脈波情報から心拍数を求めるとともに、前回の単位時間あたりの心拍数と今回の単位時間当たりの心拍数により、心拍変動の値を求めればよい。
【００６８】
心拍数と心拍変動の値を求めたら、システムコントローラ２は心拍数と心拍変動の値を、それぞれ所定の閾値と比較し、現在、心拍数が大きい状況であるか小さい状況であるかを判定するとともに、現在、心拍変動が大きい状況であるか小さい状況であるかを判定する。そして、これら心拍数と心拍変化の判定結果に応じて、ステップＦ３０４，Ｆ３０５，Ｆ３０６で処理を分岐する。
【００６９】
心拍数が大きく、かつ心拍変動も大きいと判定された場合、システムコントローラ２はステップＦ３０４からＦ３０７に進む。これは、ユーザの心理状態が「喜び」であると判定した場合となる。
ステップＦ３０７では、システムコントローラ２は、動画モード設定、大画像サイズ設定、小圧縮率設定という撮像動作設定を行う。
このステップＦ３０７の設定が行われた時点からは、撮像制御部４は、動画撮像モードで動作する。即ち撮像部３で得られる各フレームの撮像画像データを動画データとして処理する。またこのとき、各フレームの画像サイズを大サイズ設定で処理し、さらに小圧縮率の圧縮処理を実行して、動画としての撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを動画として保存する。この場合、高画質な動画撮像画像データが保存されることになる。
【００７０】
心拍数が大きく、かつ心拍変動が小さいと判定された場合、システムコントローラ２はステップＦ３０５からＦ３０８に進む。これは、ユーザの心理状態が「怒り」であると判定した場合となる。
ステップＦ３０８では、システムコントローラ２は、動画モード設定、小画像サイズ設定、大圧縮率設定という撮像動作設定を行う。
このステップＦ３０８の設定が行われた時点からは、撮像制御部４は、動画撮像モードで動作する。即ち撮像部３で得られる各フレームの撮像画像データを動画データとして処理する。またこのとき、各フレームの画像サイズを小サイズ設定で処理し、さらに大圧縮率の圧縮処理を実行して、動画としての撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを動画として保存する。この場合、比較的低画質な動画撮像画像データが保存されることになる。
【００７１】
心拍数が小さく、かつ心拍変動が大きいと判定された場合、システムコントローラ２はステップＦ３０６からＦ３０９に進む。これは、ユーザの心理状態が「リラックス」であると判定した場合となる。
ステップＦ３０９では、システムコントローラ２は、静止画モード設定、小画像サイズ設定、大圧縮率設定、撮像間隔の長時間設定という撮像動作設定を行う。
このステップＦ３０９の設定が行われた時点からは、撮像制御部４は静止画撮像モードで動作する。即ち撮像部３で得られる１フレームの撮像画像データを静止画データとして処理する。そしてこのとき、撮像画像データについて画像サイズを小さく、また大圧縮率の圧縮処理を実行し、撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを静止画として保存するが、この場合、比較的低画質な撮像画像データが保存されることになる。
またシステムコントローラ２は、撮像間隔を長くする。例えば撮像間隔として５秒間隔と１０秒間隔を切り換える場合、ステップＦ３０９の設定後は１０秒間隔で、静止画の撮像動作を実行させることになる。
【００７２】
心拍数が小さく、かつ心拍変動が小さいと判定された場合、システムコントローラ２はステップＦ３１０に進む。これは、ユーザの心理状態が「悲しみ」であると判定した場合となる。
ステップＦ３１０では、システムコントローラ２は、静止画モード設定、大画像サイズ設定、小圧縮率設定、撮像間隔の短時間設定という撮像動作設定を行う。
このステップＦ３１０の設定が行われた時点からは、撮像制御部４は静止画撮像モードで動作する。即ち撮像部３で得られる１フレームの撮像画像データを静止画データとして処理する。そしてこのとき、撮像画像データについて画像サイズを大きく、また小圧縮率の圧縮処理を実行し、撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データを静止画として保存するが、この場合、比較的高画質な撮像画像データが保存されることになる。
またシステムコントローラ２は、撮像間隔を短くする。例えば上記のように撮像間隔として５秒間隔と１０秒間隔を切り換える場合、ステップＦ３１０の設定後は５秒間隔で、静止画の撮像動作を実行させることになる。
【００７３】
ステップＦ３０７、又はＦ３０８、又はＦ３０９、又はＦ３１０の設定処理の後は、システムコントローラ２はステップＦ３１１を介してステップＦ３０２に戻り、上記同様の処理を繰り返す。
自動撮像動作が終了される際には、この図９の処理もステップＦ３１１で終了と判断されて終了される。
【００７４】
この図９の処理が行われることで、自動撮像の際に、ユーザの心理状況として、喜び、怒り、リラックス、悲しみの判定に応じて撮像動作設定が切り換えられて撮像が行われる。
例えばユーザが喜びを感じる状況は、ライフログとして最もユーザが保存したい重要な場面であるとし、高画質の動画として撮像画像データが保存される。
またユーザが怒りを感じる状況は、ライフログとして比較的重要な場面であるとし、比較的低画質の動画として撮像画像データが保存される。
またユーザが悲しみ感じる状況は、多数の高画質の静止画として撮像画像データが保存される。
またユーザがリラックスしている状況は、通常の状態として、少数の比較的低画質の静止画として撮像画像データが保存される。
【００７５】
なお、この例によらず、ユーザの心理状況に応じた設定の例は多様に考えられる。例えば怒りを感じる状況や、悲しみを感じる状況を、最も重要な場面であるとして、より優位な設定を行うようにしてもよい。
また、ユーザが、どのような感情に対してどのような設定で撮像を行うかを、任意に選択できるようにすることも考えられる。
【００７６】
［７．実施の形態の効果］
以上説明した本実施の形態によれば、例えば定期的な間隔として自動撮像を実行する際に、ユーザの心理や行動に適応した撮像動作設定が行われながら、逐次自動撮像が行われる。例えばユーザが心理的に通常とは異なった状況となったときに、高画質の撮像や、撮像間隔時間の短縮、静止画撮像から動画撮像への切換などの設定を行うことで、ユーザにとって重要と感じられるであろう光景を、より適切に保存できる。
これによって、例えばライフログ用途などの自動撮像として、ユーザにとって印象的な光景が高画質で撮像されるなど、好適な撮像が実現される。
また、生体情報として、特にユーザの脈波情報を用いているが、脈波の検出は比較的容易であるため、装置構成的にも有利となる。
【００７７】
また、脈波によって心拍数が上昇したことが検出された際には、その心拍数変動が心理起因の心拍数変動によるものか、運動起因の心拍数変動によるものかを判別し、その判別結果に応じて撮像動作設定を行うことで、心理的な変化を的確に判定して、それに応じた適切な撮像動作設定を行うことができる。
また、脈波情報に基づいて、心拍間隔の周波数解析を行い、ユーザのストレス状況を判別することでも、ユーザのストレス状況に応じた撮像動作設定が可能となる。
また脈波情報に基づいて、心拍数と心拍変動を求め、これらからユーザの心理状況を判別することで、そのユーザの感情に適した撮像動作設定を行うことができる。
【００７８】
以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した実施の形態に限定されず、多様な変形例が考えられる。
撮像動作設定の内容、設定変更する事項、或いはその組み合わせ、切換可能な設定変更段階数などは、非常に多様に考えられる。
また実施の形態では脈波情報を検出するものとして述べたが、脈波以外に脳波や発汗量など、他の生体情報を検出して心理状態を推定し、撮像動作設定を変更することも考えられる。
【符号の説明】
【００７９】
１ 撮像装置、２ システムコントローラ、３ 撮像部、３ａ 撮像光学系、３ｂ 撮像素子部、３ｃ 撮像信号処理部、４ 撮像制御部、５ 表示部、６ 表示制御部、７ 操作入力部、８ ストレージ部、１０ 脈波センサ、１１ 脈波データベース
【特許請求の範囲】
【請求項１】
使用者の生体情報を検出する生体情報検出手段と、
使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出手段で検出される生体情報の変動が、心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作制御を行う制御手段と、
を備えた情報処理装置。
【請求項２】
撮像動作として、被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像手段をさらに備え、
上記制御手段は、上記撮像動作設定に基づく撮像動作を上記撮像手段に実行させる撮像動作制御を行う請求項１に記載の情報処理装置。
【請求項３】
上記生体情報検出手段は、上記生体情報として脈波情報、又は脳波情報、又は発汗量を検出する請求項１又は請求項２に記載の情報処理装置。
【請求項４】
上記制御手段は、上記生体情報検出手段で検出される脈波情報から求められる心拍数の変動が、心理起因の心拍数変動か、運動起因の心拍数変動かを判別し、その判別結果に応じて、上記撮像動作設定を行う請求項３に記載の情報処理装置。
【請求項５】
上記制御手段は、上記撮像動作設定として、画質設定、又は画サイズ設定、又は撮像間隔時間設定、又はフレームレート設定、又は静止画撮像／動画撮像切換設定、又はシャッタスピード設定を行う請求項１乃至請求項４のいずれかに記載の情報処理装置。
【請求項６】
上記制御手段は、上記生体情報検出手段で検出される脈波情報に基づいて、使用者のストレス状況を判別し、その判別結果に応じて、上記撮像動作設定を行う請求項３に記載の情報処理装置。
【請求項７】
上記制御手段は、上記生体情報検出手段で検出される脈波情報に基づいて、使用者の心理状況を判別し、その判別結果に応じて、上記撮像動作設定を行う請求項３に記載の情報処理装置。
【請求項８】
上記撮像手段は、記録媒体に撮像画像データの保存処理を行うストレージ部を備える請求項２に記載の情報処理装置。
【請求項９】
被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像動作に対する撮像制御方法として、
使用者の生体情報を検出する生体情報検出ステップと、
使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出ステップで検出される生体情報の変動が、心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作制御を行う撮像制御ステップと、
を備えた撮像制御方法。
【請求項１０】
被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像動作に対する撮像制御を行う情報処理装置に、
使用者の生体情報を検出する生体情報検出ステップと、
使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出ステップで検出される生体情報の変動が、心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作制御を行う撮像制御ステップと、
を実行させるプログラム。
【請求項１】
使用者の生体情報を検出する生体情報検出手段と、
使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出手段で検出される生体情報の変動が、心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作制御を行う制御手段と、
を備えた情報処理装置。
【請求項２】
撮像動作として、被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像手段をさらに備え、
上記制御手段は、上記撮像動作設定に基づく撮像動作を上記撮像手段に実行させる撮像動作制御を行う請求項１に記載の情報処理装置。
【請求項３】
上記生体情報検出手段は、上記生体情報として脈波情報、又は脳波情報、又は発汗量を検出する請求項１又は請求項２に記載の情報処理装置。
【請求項４】
上記制御手段は、上記生体情報検出手段で検出される脈波情報から求められる心拍数の変動が、心理起因の心拍数変動か、運動起因の心拍数変動かを判別し、その判別結果に応じて、上記撮像動作設定を行う請求項３に記載の情報処理装置。
【請求項５】
上記制御手段は、上記撮像動作設定として、画質設定、又は画サイズ設定、又は撮像間隔時間設定、又はフレームレート設定、又は静止画撮像／動画撮像切換設定、又はシャッタスピード設定を行う請求項１乃至請求項４のいずれかに記載の情報処理装置。
【請求項６】
上記制御手段は、上記生体情報検出手段で検出される脈波情報に基づいて、使用者のストレス状況を判別し、その判別結果に応じて、上記撮像動作設定を行う請求項３に記載の情報処理装置。
【請求項７】
上記制御手段は、上記生体情報検出手段で検出される脈波情報に基づいて、使用者の心理状況を判別し、その判別結果に応じて、上記撮像動作設定を行う請求項３に記載の情報処理装置。
【請求項８】
上記撮像手段は、記録媒体に撮像画像データの保存処理を行うストレージ部を備える請求項２に記載の情報処理装置。
【請求項９】
被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像動作に対する撮像制御方法として、
使用者の生体情報を検出する生体情報検出ステップと、
使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出ステップで検出される生体情報の変動が、心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作制御を行う撮像制御ステップと、
を備えた撮像制御方法。
【請求項１０】
被写体の撮像画像データを得、該撮像画像データの保存処理を行う撮像動作に対する撮像制御を行う情報処理装置に、
使用者の生体情報を検出する生体情報検出ステップと、
使用者のシャッタ操作に基づかない自動撮像処理としての撮像制御を行う際に、上記生体情報検出ステップで検出される生体情報の変動が、心理起因の変動か、運動起因の変動かを判別し、その判別結果に応じて撮像動作設定を行い、撮像動作設定に基づく撮像動作制御を行う撮像制御ステップと、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図８】
【公開番号】特開２０１２−１２０２０６（Ｐ２０１２−１２０２０６Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１２−４０７３（Ｐ２０１２−４０７３）
【出願日】平成２４年１月１２日（２０１２．１．１２）
【分割の表示】特願２００７−２１６６８７（Ｐ２００７−２１６６８７）の分割
【原出願日】平成１９年８月２３日（２００７．８．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２４年１月１２日（２０１２．１．１２）
【分割の表示】特願２００７−２１６６８７（Ｐ２００７−２１６６８７）の分割
【原出願日】平成１９年８月２３日（２００７．８．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]