撮影装置
【課題】撮影者の感情に応じて大きさが変化する手振れを好適に補正する。
【解決手段】ビデオカメラなどの撮影装置は、撮影者の生体情報検出手段と、検出された生体情報によって撮影者の感じている感動、興奮、喜び、悲しみなどの感情の種類や感情の強度を導き出す手段と、導き出された感情パラメータを基に手振れ補正を行なう感情反映手段を備える。生体情報は、脈拍、体温、発汗、血圧、脳波、呼吸、筋電位、顔の表情、声の韻律、瞬き、眼球運動、瞳孔径の大きさなどが上げられる。感情の強度は、通常時からの変化、又は、日常の平均からの変化、あるいは、多数人の平均からの偏差などから得られる情報である。
【解決手段】ビデオカメラなどの撮影装置は、撮影者の生体情報検出手段と、検出された生体情報によって撮影者の感じている感動、興奮、喜び、悲しみなどの感情の種類や感情の強度を導き出す手段と、導き出された感情パラメータを基に手振れ補正を行なう感情反映手段を備える。生体情報は、脈拍、体温、発汗、血圧、脳波、呼吸、筋電位、顔の表情、声の韻律、瞬き、眼球運動、瞳孔径の大きさなどが上げられる。感情の強度は、通常時からの変化、又は、日常の平均からの変化、あるいは、多数人の平均からの偏差などから得られる情報である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像や動画像を撮像する撮影装置に係り、特に、撮影時における手振れ補正などのカメラ・ワークの自動化・支援機能を搭載した撮影装置に関する。
【背景技術】
【０００２】
カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。
【０００３】
銀塩カメラもデジタルカメラも基本的なカメラ・ワークはほとんど同じであるが、撮影画像のデジタル化とも相俟って、カメラ・ワークに関して自動化・支援技術が進んでいる。のため、カメラ操作に未熟なユーザであっても、撮影に失敗する可能性は極めて低くなってきている。
【０００４】
例えば、オート・フォーカス機能（ＡＦ）やオート・ズーム機能、自動露光（ＡＥ）などである。デジタルカメラの場合、ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。また、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）により撮像画像に対してホワイトバランス・ゲインを掛けるなど、デジタル処理により撮影画像に画質調整を施すことによって、適正な色状態を再現することができる。
【０００５】
また、デジタル方式のカメラは、小型であり且つ軽量であることから安定性が悪く、撮像のとき（例えば、静止画撮影時にシャッター・ボタンを押下操作する際や、動画像撮影時にズーム・レバーやズーム・ボタンの操作を行なう際）に手振れが生じ易いという問題がある。このため、多くのデジタルカメラは手振れ補正機能を搭載している。
【０００６】
手振れ補正機能は、一般に、ジャイロ・センサなどにより測定された角速度の大きさに応じてその逆方向にレンズを機械的に移動させ撮像素子の受光面に結像する像を補正することで実現される。例えば、結像面内において像を移動可能にする光路制御手段と、非破壊読出し可能な撮像素子とを有し、前記撮像素子の出力を画像データとして記録するカメラにおいて、露光中に前記撮像素子の出力を複数回得ることにより像の位置変化を求め、その位置変化を抑制するように前記光路制御手段を制御して像ぶれを補正する制御手段を備え、露光中の撮像素子からの出力により像の位置変化を求め、その位置変化に基づいて像ぶれ補正を行なうカメラについて提案がなされている（例えば、特許文献１を参照のこと）。
【０００７】
通常、撮影者はビュー・ファインダ画面を見て撮影操作に集中しているため、手振れは小刻みで小さな振幅になると考えられる。ところが、撮影者が被写体に興味を懐くなどして感情に変化を生じると、撮影操作に集中できなくなり、視線をビュー・ファインダ画面から外し、被写体など目の前で発生している事象に直接に向けることになる。この結果、手振れは、大きな周期で且つ大きな振幅になると考えられる。勿論、ビュー・ファインだから視線を外さなくても、撮影者の注意はカメラ操作から目の前の事象に移っているため、手振れは必然的に大きくなるであろう。このような場合、手振れ補正のための補正ゲインを通常撮影時のままとすると、補正が不十分になることが想定される。
【０００８】
【特許文献１】特開２００３−２１８５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、撮影時における手振れ補正機能を搭載した、優れた撮影装置を提供することにある。
【００１０】
本発明のさらなる目的は、撮影者の感情に応じて大きさが変化する手振れを好適に補正することができる、優れた撮影装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、上記課題を参酌してなされたものであり、撮影者による撮影操作に応じて被写体画像を撮影する撮影装置であって、
光学系を介して受光面に結像された被写体画像を捕捉し、所定の画像処理を施して記録する撮影手段と、
当該装置を操作する前記撮影者から生体情報を検出する生体情報検出手段と、
前記生体情報検出手段により検出された生体情報に基づいて、前記撮影者の感情の種類並びに感情の強度に関する感情パラメータを導き出す感情導出手段と、
前記感情導出手段により導き出された感情パラメータに基づいて、前記撮影者による撮影操作を支援する感情反映手段と、
を具備することを特徴とする撮影装置である。
【００１２】
ここで、前記生体情報検出手段は、前記撮影者から、脈拍、体温、発汗、血圧、脳波、呼吸、筋電位、顔の表情、声の韻律、瞬き、眼球運動、瞳孔径の大きさのうち少なくとも１つを生体情報として検出する。
【００１３】
また、前記感情導出手段は、前記生体情報検出手段により検出された生体情報の、通常時からの変化、又は、日常の平均からの変化、あるいは、多数人の平均からの偏差から、感情の強度を導き出すようにすればよい。
【００１４】
撮影画像のデジタル化とも相俟って、カメラ・ワークに関して自動化・支援技術が進んでいる。本発明に係る撮影装置においても、角速度検出手段、並びに、検出された角速度の大きさに応じて所定の補正ゲインを持ってその逆方向に前記光学系を動かして手振れの補正を行なう手振れ補正手段を備えている。
【００１５】
本発明に係る撮影装置の主な特徴は、撮影操作を行なう撮影者から検出された生態情報に基づいて感情パラメータを導き出し、この感情パラメータに応じてカメラ・ワークの支援を行なうことによって、撮影者の感情を反映させたカメラ・ワークを実現することができる。
【００１６】
例えば、撮影者は通常の撮影時にはファインダ画面を見て撮影に集中していることから手振れは小さいが、撮影者の感情が高まるような事象が発生すると、撮影者の視線はファインダ画面から目の前で発生事象に移り、撮影操作に集中しなくなることから手振れが大きくなる。また、視線を移さなくても、撮影操作から目の前の事象に注意が移っていることから、手振れが大きくなる。手振れ補正の補正ゲインが通常撮影時のままであると、手振れが大きくなったときに補正が足りなくなってしまう。
【００１７】
そこで、本発明に係る撮影装置では、感情反映手段は、前記感情導出手段により導き出された感情パラメータに基づいて、前記手振れ補正手段の補正ゲインを変化させる。具体的には、感情の強度が高まると、手振れは大きな周期で且つ大きな振幅になると考えられることから、補正ゲインを大きくする。これによって、撮影者の感情の変化に応じて過不足のない好適な手振れ補正を行なうとともに、撮影者の感情を反映したカメラ・ワークを実現することができる。
【００１８】
また、一般に撮影装置では撮影者がズーム・レバーやズーム・ボタンによりズーム操作を行なうが、不慣れな撮影者の場合、この種のズーム操作をスムースに行なうことができず、手振れの原因となってしまう。他方、撮影者がズーム操作を行なうときは、撮影者が被写体に興味があり、ファインダ画面内に映る被写体に注目していることが想定される。つまり、撮影者は、被写体に対して何らかの感情を持ち、その被写体を記録したいと思っているときと言えよう。
【００１９】
そこで、本発明に係る撮影装置では、感情反映手段は、前記感情導出手段により導き出された感情パラメータに基づいて、そのときの被写体に対するズーム操作を自動で行なうようにしている。これによって、撮影者自身がズーム操作を行なわなくても撮影したい映像をとることができる。また、撮影者自身がズーム操作を行なわないことから、手振れの発生を抑えることができる。
【発明の効果】
【００２０】
本発明によれば、撮影者の感情を反映させたカメラ・ワークを実現することができる、優れた撮影装置を提供することができる。
【００２１】
また、本発明によれば、撮影者の感情に応じて大きさが変化する手振れを好適に補正することができる、優れた撮影装置を提供することができる。
【００２２】
本発明によれば、撮影者の感情の高ぶりに応じて手振れ補正ゲインを変化させることにより、感情の高ぶりに応じて変化する手振れ量を追従特性よく補正することができる。
【００２３】
また、本発明によれば、撮影者は煩わしいズーム操作を行なわなくても、撮影者の意図した通りのズーム操作を自動的に行なうことができる。また、撮影者がズーム操作をしないので、ズーム操作時に発生する手振れを防ぐことができる。
【００２４】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００２６】
図１には、本発明の一実施形態に係る撮影装置１００のハードウェア構成を模式的に示している。
【００２７】
図示の撮影装置１００は、撮像レンズ１０１と、撮像部（ＣＣＤ、ＣＭＯＳなど）１０２と、Ａ／Ｄ変換部１０３と、カメラ信号処理部１０４と、コーデック１０５と、メイン処理部１０６と、ジャイロ・センサ１０７と、手振れ補正処理部１０８と、温度センサ１０９と、発汗センサ１１０と、脈拍センサ１１１と、Ａ／Ｄ変換部１１２と、生体信号処理部１１３と、マイク１１４と、Ａ／Ｄ変換部１１５と、表示部１１６と、音再生部１１７と、記録部１１８を備えている。
【００２８】
撮像レンズ１０１、撮像部（ＣＣＤ、ＣＭＯＳなど）１０２、Ａ／Ｄ変換部１０３、カメラ信号処理部１０４、コーデック１０５、マイク１１４、Ａ／Ｄ変換部１１５、記録部１１８は、撮影装置１００としての一般的な構成要素であり、本明細書では詳細な説明を省略する。
【００２９】
ジャイロ・センサ１０７は手振れが発生したときの縦方向並びに横方向の加速度を測定する。
【００３０】
温度センサ１０９は、撮影者の体温を測定する役割を有していれば、白金測温抵抗体、サーミスタ、熱電対、赤外線放射型温度センサ、ＩＣ温度センサなど、さまざまなセンサを適用することができる。また、精度を上げるために複数のセンサを使用してもよい。
【００３１】
発汗センサ１１０は、撮影者の汗を測定する役割を有していれば、湿度センサを使用した発汗センサ、皮膚抵抗値の変化を利用した発汗センサなど、さまざまなセンサを適用することができる。また、精度を上げるために複数のセンサを使用してもよい。
【００３２】
脈拍センサ１１１は、撮影者の脈拍を測定する役割を有していれば、赤外線透過型、赤外線反射型、超音波を利用したものなど、さまざまなセンサを適用することができる。また、精度を上げるために複数のセンサを使用してもよい。
【００３３】
温度センサ１０９、発汗センサ１１０、脈拍センサ１１１で得られた測定データすなわち生体信号は、Ａ／Ｄ変換部１１２でデジタル信号に変換された後、生体信号処理部１１３に送られる。なお、図１に示した実施形態では、撮影者から検出する生体情報として、体温、発汗、脈拍のみを上げているが、本発明の要旨はこれに限定されるものではなく、血圧、脳波、呼吸、筋電位、顔の表情、声の韻律、瞬き、眼球運動（例えば、視線が表示部１１６の画面内に存在するか）、瞳孔径の大きさなど、さまざまな生体情報を扱うことができることを理解されたい。
【００３４】
生体信号処理部１１３では、上記の各センサ１０９〜１１１から得られた信号を基に、感情のモデリングを行なう（図２を参照のこと）。代表的な感情モデルとして、例えば図３に示すＷｕｎｄｔモデルや、図４に示すＰｌｕｔｃｈｉｋモデルが挙げられる。前者のＷｕｎｄｔモデルは、３つの軸を用いて３つの基本感情（快⇔不快、興奮⇔沈静、緊張⇔弛緩）を３次元でモデル化する。また、後者のＰｌｕｔｃｈｉｋモデルは、８つの感情（喜び、受容、恐れ、驚き、悲しみ、嫌悪、怒り、期待）を基本感情とし、これらの強度と組み合わせによってさまざまな混合感情を作り出し、さらに感情の強度を立体モデルの深さで表現する。Ｐｌｕｔｃｈｉｋモデルでは、憧憬の反対が憎悪、歓喜の反対が悲嘆といったように、対称の位置に対称の感情が配置され、中心に向かうほどその感情が弱いことを表している。ここでは、複雑な感情を表現でき、且つ、感情の強度も同時にモデル化できるＰｌｕｔｃｈｉｋモデルを例に説明する。但し、感情モデルは複雑な感情を表現するものでなく、撮影者が撮影時に感じる代表的な感情のみに限定してもよい。
【００３５】
モデリングされた感情に対して、センサから得られた信号と感情の対応付けの手法として、最も簡単な手法として、センサ信号に対して、ある閾値や範囲を設け、その閾値や範囲に感情を対応付ける。また、生体情報にも感情に対して反応し易い情報と反応し難い情報があるため、生体情報毎に重み付けしてその数値から感情の種類及び強度を算出してもよい。これらの方法を使えば、感情を反映した制御システムを構築することができる。
【００３６】
もっと複雑な感情をも認識したい場合には、パターン・マッチングの手法が考えられる。感情の変化に応じた生体情報はそれぞれ個体差があるものの、あるパターンに則り変化すると考えられる。例えば、驚きと期待の２つの感情について考えた場合、どちらも体温、発汗量、脈拍が上昇する。驚きの感情は突発的に起こるものとして考えることができ、体温、発汗量、脈拍は急激に上昇する。これに対して、期待の感情は突発的に起こるものでなく、ある事象に対して次の事象を予測し期待という感情が発生すると考えられる。したがって、対象者の予測に基づくため、その予測とともに体温、発汗量、脈拍が徐々に上昇していくと考えられる。このため、単に閾値や数値の範囲のみで認識できる感情の種類には限界がある。ゆえに、センサ情報を時系列データで用いて、感情を認識しなければならない。代表的なパターン・マッチングの手法として、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ(ＨＭＭ)、Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍなどが考えられる。ここでは、計測誤差などのばらつきや撮影者個体のばらつきも含めたモデリングを行なうことができるＨＭＭを用いた感情識別モデルについて説明する。
【００３７】
モデルの作成に当たり学習サンプル・データを集める必要がある。この学習サンプル・データは、撮影者個人に対するサンプル・データ、不特定多数の撮影者から得られたサンプル・データなど、いずれを用いてもよい。
【００３８】
温度センサ、発汗センサ、脈拍センサから得られたそれぞれの時系列データに対して、それぞれの時刻におけるセンサ・データを観測系列０に対応させる。この観測系列から尤度Ｐ（λ｜０）が最大となるモデルλ（π，Ａ，Ｂ）を求める。これを、それぞれの感情毎に行ない、各感情のモデルを作成する。このとき、学習サンプル・データの数は良いモデルが得られる最適の数とする。各感情のモデルを用いて、撮影中に観測されたセンサ信号から尤度を計算する。計算された尤度の最も高かった感情モデルをそのときの撮影者の感情とする。ここで、感情のＨＭＭモデルの数を基本感情の数にして、感情の強度を尤度の比から求めても、感情のＨＭＭモデルを基本感情だけでなく、混合感情においてもＨＭＭモデルを作成してもよい。このときは尤度が最大となった感情が、感情の強度を反映している。
【００３９】
手振れ補正処理部１０８では、ジャイロ・センサ１０７で得られた加速度から手振れ量を計算し補正量を決定する。決定された補正量だけ撮像レンズ１０１を動かすことにより、撮像部の受光面に被写体像が結合され、手振れを補正することができる。この手振れ補正量を決めるときに、生体信号処理部１１３からの感情の種類、強度に応じて補正ゲインを調整することで、感情に応じた手振れ補正を行なうことができる。
【００４０】
メイン処理部１０６において、被写体像の記録時には、撮影されている映像や音声を記録部１１８に保存する。再生時には、映像を表示部１１６で、音声を音再生部１１７で再生する。
【００４１】
表示部１１６は、撮影装置１００に搭載されたＬＣＤパネル、外部のＴＶ、プロジェクタなど、撮影した映像や生体情報を表示する装置である。
【００４２】
音再生部１１７は、撮影装置１００に搭載されたスピーカ、外部のスピーカなど、撮影した音声を再生する装置である。
【００４３】
記録部１１８は、ＣＤやＤＶＤ、ＭＤ、ＢＤ、ＨＤＤ、メモリスティック（登録商標）、フラッシュメモリ、ＳＤカード、磁気テープ、磁気ディスクなど映像及び生体情報を記録する装置である。
【００４４】
図５には、手振れ補正処理部１０８のブロック線図の例を示している。図示の手振れ補正処理部１０８は手振れ補正ゲインＫωのＳ５−３と、位置制御ゲインＫpのＳ５−１と積分器Ｓ５−２及びＳ５−４からなる。また、角速度フィードバック・ループと位置制御フィードバック・ループの２つの制御ループがある。
【００４５】
まず、角速度フィードバック・ループでは、ジャイロ・センサ１０７から得られた角速度ωに対して、手振れ補正ゲインＫωでフィードバックをかける。一方、位置制御フィードバック・ループではレンズの位置情報から位置制御ゲインＫpをかける。最後に、角速度フィードバックと位置制御フィードバックの２つの情報に積分器Ｓ５−２及びＳ５−４をかけることで、レンズ位置の補正量を決定する。
【００４６】
撮影者の感情に応じて撮影者の手振れ量ωが変化する。感情の強度が大きいときは、手振れ量ωが大きくなるため、通常の手振れ補正ゲインＫωでは追従特性が良くない。そこで、感情の強度が大きいほど、手振れ補正ゲインＫωを大きくすることで、感情が高まり、手振れ量が大きくなったときでも、追従特性の良い手振れ補正を行なうことができる。
【００４７】
図６には、撮影装置１００が撮影者から検出した感情パラメータに基づいて手振れ補正を行なうための処理手順をフローチャートの形式で示している。
【００４８】
まず、電源を投入してから初期化処理を行なう（ステップＳ１）。この初期化処理には、システムの初期化及びセンサの初期化が含まれる。このとき、撮影者の安静時からの変化を用いて感情を認識する場合には、撮影者が安静状態のときにその測定値によって、基準値をリセットする。
【００４９】
初期化処理が終了したら、撮影を開始し（ステップＳ２）、映像を撮像装置に取り込む。この映像を取り込むと同時に、点線で囲まれている感情の推定処理を行なう。
【００５０】
まず、体温の測定を行なう（ステップＳ３）。そして、このときの測定値と安静時の基準値（ステップＳ１においてリセットしたときの値）との差分を計算する（ステップＳ４）。
【００５１】
次いで、計算した差分に対して、体温が感情の変化に寄与する度合いを考慮し、ある係数をかけて重み付けを行なう（ステップＳ５）。この重み付けを行った後の値を感情推定の体温データとする。
【００５２】
同様に、脈拍の測定を行ない、安静時との差分を計算する（ステップＳ７）。そして、計算した差分に対して、脈拍が感情の変化に寄与する度合いを考慮し、ある係数をかけて重み付けを行なう（ステップＳ８）。
【００５３】
また、発汗量に対しても測定を行ない（ステップＳ９）、安静時との差分を計算する（ステップＳ１０）。そして、ある係数をかけて重み付けを行なう（ステップＳ１１）。
【００５４】
上述のように先行ステップＳ５、Ｓ８、Ｓ１１において得られた体温、脈拍、発汗量のデータを足し合わせる（ステップＳ１２）。
【００５５】
そして、その足し合わせたデータが喜びに設定された範囲内にある場合、そのときの撮影者の感情は喜びであるとする（ステップＳ１３）。
【００５６】
次いで、ステップＳ１２で得られた値が喜びに設定された範囲のどこに位置するかで、喜びの強度を決定する（ステップＳ１４）。
【００５７】
次いで、感情の強度に応じて手振れ補正ゲインＫωを大きくする（ステップＳ１５）。そして、Ｓ２０において、レンズを動かし手振れを補正する。
【００５８】
ステップＳ１２で求め多値が喜びの範囲でなければ、次いで、悲しみの範囲内か判定する（ステップＳ１６）。悲しみの範囲内であれば、同様に悲しみの範囲内のどこに位置するかで、悲しみの強度を決定する。
【００５９】
次いで、感情の強度に応じて手振れ補正ゲインＫωを大きくする（ステップＳ１８）。そして、ステップＳ２０において、レンズを動かし手振れを補正する。
【００６０】
また、ステップＳ１２で求めた値が喜びの範囲でも悲しみの範囲でもなければ、安静状態から変化が無く、どの感情も発生していないため、感情無しとし、通常の手振れ補正ゲインＫωのままとし、ステップＳ２０において、レンズを動かし手振れを補正する。
【００６１】
そして、映像を記録し（ステップＳ２１）、撮影を終了する（ステップＳ２２）。ここで、録画が終了であれば終了処理を行なう（ステップＳ２４）。終了でなければ再び映像の撮影（ステップＳ２）から繰り返す。
【００６２】
図７には、撮影装置１００が撮影者から検出した感情パラメータに基づいてズーム制御を行なうための処理手順をフローチャートの形式で示している。
【００６３】
まず、電源を投入してから初期化処理を行なう（ステップＳ３１）。この初期化処理には、システムの初期化及びセンサの初期化が含まれる。このとき、撮影者の安静時からの変化を用いて感情を認識する場合には、撮影者が安静状態のときにその測定値によって、基準値をリセットする。
【００６４】
初期化処理が終了したら、撮影を開始し（ステップＳ３２）、映像を撮像装置に取り込む。そして、映像の取り込みと同時に、点線で囲まれた感情の推定処理を行なう。
【００６５】
まず、体温の測定を行なう（ステップＳ３３）。そして、このときの測定値と安静時の基準値（ステップＳ３１においてリセットしたときの値）との差分を計算する（ステップＳ３４）。
【００６６】
次いで、計算した差分に対して、体温が感情の変化に寄与する度合いを考慮し、ある係数をかけて重み付けを行なう（ステップＳ３５）。この重み付けを行った後の値を感情推定の体温データとする。
【００６７】
同様に、脈拍の測定を行ない、安静時との差分を計算する（ステップＳ３７）。そして、計算した差分に対して、脈拍が感情の変化に寄与する度合いを考慮し、ある係数をかけて重み付けを行なう（ステップＳ３８）。
【００６８】
また、発汗量に対しても測定を行ない（ステップＳ３９）、安静時との差分を計算する（ステップＳ４０）。そして、ある係数をかけて重み付けを行なう（ステップＳ４１）。
【００６９】
上述のように先行ステップＳ３５、Ｓ３８、Ｓ４１において得られた体温、脈拍、発汗量のデータを足し合わせる（ステップＳ４２）。
【００７０】
そして、その足し合わせたデータが喜びに設定された範囲内にある場合、そのときの撮影者の感情は喜びであるとする（ステップＳ４３）。
【００７１】
次いで、ステップＳ４２で得られた値が喜びに設定された範囲のどこに位置するかで、喜びの強度を決定する（ステップＳ４４）。
【００７２】
ここで、感情の強度が設定した閾値を超えているかどうかをチェックする（ステップＳ４５）。感情の強度が設定した閾値を超えていた場合には（ステップＳ４５のＹｅｓ）、撮影装置で撮影されていた被写体に対して、レンズを動かし被写体が映像からはみ出ない範囲でズームする（ステップＳ４６）。被写体の認識方法は映像の真ん中で動いているものを被写体としてもよいし、映像の真ん中の物体に対して輪郭抽出してそれを被写体としてもよく、本発明の要旨は特定の手法に限定されない。
【００７３】
また、ステップＳ４２で求め多値が喜びの範囲でなければ、続いて、悲しみの範囲内か否かを判定する（ステップＳ４７）。そして、悲しみの範囲内であれば、同様に悲しみの範囲内のどこに位置するかで、悲しみの強度を決定する。
【００７４】
次いで、感情の強度が設定した閾値を超えているかどうかをチェックする（ステップＳ４９）。そして、感情の強度が設定した閾値を超えていた場合には（ステップＳ４９のＹｅｓ）、撮影装置で撮影されていた被写体に対して、レンズを動かし被写体が映像からはみ出ない範囲でズームする（ステップＳ５０）。
【００７５】
また、ステップＳ４２で求めた値が喜びの範囲でも悲しみの範囲でもなければ、安静状態から変化が無く、どの感情も発生していないため、感情無しとし、ズームは行なわない。
【００７６】
そして、映像を記録し（ステップＳ５２）、撮影を終了する（ステップＳ５３）。録画が終了であれば（ステップＳ５４）、終了処理を行なう（ステップＳ５５）。また、終了でなければ、再びステップＳ３２の映像の撮影から繰り返す。
【産業上の利用可能性】
【００７７】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７８】
本明細書では、手振れ補正やズーム操作などのカメラ・ワークの自動化・支援に撮影者の感情を反映させた実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。その他のさまざまなカメラ・ワークの自動化・支援を実現するために、本発明を同様に適用することができる。
【００７９】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【００８０】
【図１】図１は、本発明の一実施形態に係る撮影装置１００のハードウェア構成を模式的に示した図である。
【図２】図２は、生体信号処理部１１３で各センサ１０９〜１１１から得られた生体信号を基に感情のモデリングを行なう様子を示した図である。
【図３】図３は、Ｗｕｎｄｔモデルを示した図である。
【図４】図４は、Ｐｌｕｔｃｈｉｋモデルを示した図である。
【図５】図５は、手振れ補正処理部１０８のブロック線図の例を示した図である。
【図６】図６は、撮影装置１００が撮影者から検出した感情パラメータに基づいて手振れ補正を行なうための処理手順を示したフローチャートである。
【図７】図７は、撮影装置１００が撮影者から検出した感情パラメータに基づいてズーム制御を行なうための処理手順を示したフローチャートである。
【符号の説明】
【００８１】
１００…撮影装置
１０１…撮像レンズ
１０２…撮像部
１０３…Ａ／Ｄ変換部
１０４…カメラ信号処理部
１０５…コーデック
１０６…メイン処理部
１０７…ジャイロ・センサ
１０８…手振れ補正処理部
１０９…温度センサ
１１０…発汗センサ
１１１…脈拍センサ
１１２…Ａ／Ｄ変換部
１１３…生体信号処理部
１１４…マイク
１１５…Ａ／Ｄ変換部
１１６…表示部
１１７…音再生部
１１８…記録部
【技術分野】
【０００１】
本発明は、静止画像や動画像を撮像する撮影装置に係り、特に、撮影時における手振れ補正などのカメラ・ワークの自動化・支援機能を搭載した撮影装置に関する。
【背景技術】
【０００２】
カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。
【０００３】
銀塩カメラもデジタルカメラも基本的なカメラ・ワークはほとんど同じであるが、撮影画像のデジタル化とも相俟って、カメラ・ワークに関して自動化・支援技術が進んでいる。のため、カメラ操作に未熟なユーザであっても、撮影に失敗する可能性は極めて低くなってきている。
【０００４】
例えば、オート・フォーカス機能（ＡＦ）やオート・ズーム機能、自動露光（ＡＥ）などである。デジタルカメラの場合、ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。また、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）により撮像画像に対してホワイトバランス・ゲインを掛けるなど、デジタル処理により撮影画像に画質調整を施すことによって、適正な色状態を再現することができる。
【０００５】
また、デジタル方式のカメラは、小型であり且つ軽量であることから安定性が悪く、撮像のとき（例えば、静止画撮影時にシャッター・ボタンを押下操作する際や、動画像撮影時にズーム・レバーやズーム・ボタンの操作を行なう際）に手振れが生じ易いという問題がある。このため、多くのデジタルカメラは手振れ補正機能を搭載している。
【０００６】
手振れ補正機能は、一般に、ジャイロ・センサなどにより測定された角速度の大きさに応じてその逆方向にレンズを機械的に移動させ撮像素子の受光面に結像する像を補正することで実現される。例えば、結像面内において像を移動可能にする光路制御手段と、非破壊読出し可能な撮像素子とを有し、前記撮像素子の出力を画像データとして記録するカメラにおいて、露光中に前記撮像素子の出力を複数回得ることにより像の位置変化を求め、その位置変化を抑制するように前記光路制御手段を制御して像ぶれを補正する制御手段を備え、露光中の撮像素子からの出力により像の位置変化を求め、その位置変化に基づいて像ぶれ補正を行なうカメラについて提案がなされている（例えば、特許文献１を参照のこと）。
【０００７】
通常、撮影者はビュー・ファインダ画面を見て撮影操作に集中しているため、手振れは小刻みで小さな振幅になると考えられる。ところが、撮影者が被写体に興味を懐くなどして感情に変化を生じると、撮影操作に集中できなくなり、視線をビュー・ファインダ画面から外し、被写体など目の前で発生している事象に直接に向けることになる。この結果、手振れは、大きな周期で且つ大きな振幅になると考えられる。勿論、ビュー・ファインだから視線を外さなくても、撮影者の注意はカメラ操作から目の前の事象に移っているため、手振れは必然的に大きくなるであろう。このような場合、手振れ補正のための補正ゲインを通常撮影時のままとすると、補正が不十分になることが想定される。
【０００８】
【特許文献１】特開２００３−２１８５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、撮影時における手振れ補正機能を搭載した、優れた撮影装置を提供することにある。
【００１０】
本発明のさらなる目的は、撮影者の感情に応じて大きさが変化する手振れを好適に補正することができる、優れた撮影装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、上記課題を参酌してなされたものであり、撮影者による撮影操作に応じて被写体画像を撮影する撮影装置であって、
光学系を介して受光面に結像された被写体画像を捕捉し、所定の画像処理を施して記録する撮影手段と、
当該装置を操作する前記撮影者から生体情報を検出する生体情報検出手段と、
前記生体情報検出手段により検出された生体情報に基づいて、前記撮影者の感情の種類並びに感情の強度に関する感情パラメータを導き出す感情導出手段と、
前記感情導出手段により導き出された感情パラメータに基づいて、前記撮影者による撮影操作を支援する感情反映手段と、
を具備することを特徴とする撮影装置である。
【００１２】
ここで、前記生体情報検出手段は、前記撮影者から、脈拍、体温、発汗、血圧、脳波、呼吸、筋電位、顔の表情、声の韻律、瞬き、眼球運動、瞳孔径の大きさのうち少なくとも１つを生体情報として検出する。
【００１３】
また、前記感情導出手段は、前記生体情報検出手段により検出された生体情報の、通常時からの変化、又は、日常の平均からの変化、あるいは、多数人の平均からの偏差から、感情の強度を導き出すようにすればよい。
【００１４】
撮影画像のデジタル化とも相俟って、カメラ・ワークに関して自動化・支援技術が進んでいる。本発明に係る撮影装置においても、角速度検出手段、並びに、検出された角速度の大きさに応じて所定の補正ゲインを持ってその逆方向に前記光学系を動かして手振れの補正を行なう手振れ補正手段を備えている。
【００１５】
本発明に係る撮影装置の主な特徴は、撮影操作を行なう撮影者から検出された生態情報に基づいて感情パラメータを導き出し、この感情パラメータに応じてカメラ・ワークの支援を行なうことによって、撮影者の感情を反映させたカメラ・ワークを実現することができる。
【００１６】
例えば、撮影者は通常の撮影時にはファインダ画面を見て撮影に集中していることから手振れは小さいが、撮影者の感情が高まるような事象が発生すると、撮影者の視線はファインダ画面から目の前で発生事象に移り、撮影操作に集中しなくなることから手振れが大きくなる。また、視線を移さなくても、撮影操作から目の前の事象に注意が移っていることから、手振れが大きくなる。手振れ補正の補正ゲインが通常撮影時のままであると、手振れが大きくなったときに補正が足りなくなってしまう。
【００１７】
そこで、本発明に係る撮影装置では、感情反映手段は、前記感情導出手段により導き出された感情パラメータに基づいて、前記手振れ補正手段の補正ゲインを変化させる。具体的には、感情の強度が高まると、手振れは大きな周期で且つ大きな振幅になると考えられることから、補正ゲインを大きくする。これによって、撮影者の感情の変化に応じて過不足のない好適な手振れ補正を行なうとともに、撮影者の感情を反映したカメラ・ワークを実現することができる。
【００１８】
また、一般に撮影装置では撮影者がズーム・レバーやズーム・ボタンによりズーム操作を行なうが、不慣れな撮影者の場合、この種のズーム操作をスムースに行なうことができず、手振れの原因となってしまう。他方、撮影者がズーム操作を行なうときは、撮影者が被写体に興味があり、ファインダ画面内に映る被写体に注目していることが想定される。つまり、撮影者は、被写体に対して何らかの感情を持ち、その被写体を記録したいと思っているときと言えよう。
【００１９】
そこで、本発明に係る撮影装置では、感情反映手段は、前記感情導出手段により導き出された感情パラメータに基づいて、そのときの被写体に対するズーム操作を自動で行なうようにしている。これによって、撮影者自身がズーム操作を行なわなくても撮影したい映像をとることができる。また、撮影者自身がズーム操作を行なわないことから、手振れの発生を抑えることができる。
【発明の効果】
【００２０】
本発明によれば、撮影者の感情を反映させたカメラ・ワークを実現することができる、優れた撮影装置を提供することができる。
【００２１】
また、本発明によれば、撮影者の感情に応じて大きさが変化する手振れを好適に補正することができる、優れた撮影装置を提供することができる。
【００２２】
本発明によれば、撮影者の感情の高ぶりに応じて手振れ補正ゲインを変化させることにより、感情の高ぶりに応じて変化する手振れ量を追従特性よく補正することができる。
【００２３】
また、本発明によれば、撮影者は煩わしいズーム操作を行なわなくても、撮影者の意図した通りのズーム操作を自動的に行なうことができる。また、撮影者がズーム操作をしないので、ズーム操作時に発生する手振れを防ぐことができる。
【００２４】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００２６】
図１には、本発明の一実施形態に係る撮影装置１００のハードウェア構成を模式的に示している。
【００２７】
図示の撮影装置１００は、撮像レンズ１０１と、撮像部（ＣＣＤ、ＣＭＯＳなど）１０２と、Ａ／Ｄ変換部１０３と、カメラ信号処理部１０４と、コーデック１０５と、メイン処理部１０６と、ジャイロ・センサ１０７と、手振れ補正処理部１０８と、温度センサ１０９と、発汗センサ１１０と、脈拍センサ１１１と、Ａ／Ｄ変換部１１２と、生体信号処理部１１３と、マイク１１４と、Ａ／Ｄ変換部１１５と、表示部１１６と、音再生部１１７と、記録部１１８を備えている。
【００２８】
撮像レンズ１０１、撮像部（ＣＣＤ、ＣＭＯＳなど）１０２、Ａ／Ｄ変換部１０３、カメラ信号処理部１０４、コーデック１０５、マイク１１４、Ａ／Ｄ変換部１１５、記録部１１８は、撮影装置１００としての一般的な構成要素であり、本明細書では詳細な説明を省略する。
【００２９】
ジャイロ・センサ１０７は手振れが発生したときの縦方向並びに横方向の加速度を測定する。
【００３０】
温度センサ１０９は、撮影者の体温を測定する役割を有していれば、白金測温抵抗体、サーミスタ、熱電対、赤外線放射型温度センサ、ＩＣ温度センサなど、さまざまなセンサを適用することができる。また、精度を上げるために複数のセンサを使用してもよい。
【００３１】
発汗センサ１１０は、撮影者の汗を測定する役割を有していれば、湿度センサを使用した発汗センサ、皮膚抵抗値の変化を利用した発汗センサなど、さまざまなセンサを適用することができる。また、精度を上げるために複数のセンサを使用してもよい。
【００３２】
脈拍センサ１１１は、撮影者の脈拍を測定する役割を有していれば、赤外線透過型、赤外線反射型、超音波を利用したものなど、さまざまなセンサを適用することができる。また、精度を上げるために複数のセンサを使用してもよい。
【００３３】
温度センサ１０９、発汗センサ１１０、脈拍センサ１１１で得られた測定データすなわち生体信号は、Ａ／Ｄ変換部１１２でデジタル信号に変換された後、生体信号処理部１１３に送られる。なお、図１に示した実施形態では、撮影者から検出する生体情報として、体温、発汗、脈拍のみを上げているが、本発明の要旨はこれに限定されるものではなく、血圧、脳波、呼吸、筋電位、顔の表情、声の韻律、瞬き、眼球運動（例えば、視線が表示部１１６の画面内に存在するか）、瞳孔径の大きさなど、さまざまな生体情報を扱うことができることを理解されたい。
【００３４】
生体信号処理部１１３では、上記の各センサ１０９〜１１１から得られた信号を基に、感情のモデリングを行なう（図２を参照のこと）。代表的な感情モデルとして、例えば図３に示すＷｕｎｄｔモデルや、図４に示すＰｌｕｔｃｈｉｋモデルが挙げられる。前者のＷｕｎｄｔモデルは、３つの軸を用いて３つの基本感情（快⇔不快、興奮⇔沈静、緊張⇔弛緩）を３次元でモデル化する。また、後者のＰｌｕｔｃｈｉｋモデルは、８つの感情（喜び、受容、恐れ、驚き、悲しみ、嫌悪、怒り、期待）を基本感情とし、これらの強度と組み合わせによってさまざまな混合感情を作り出し、さらに感情の強度を立体モデルの深さで表現する。Ｐｌｕｔｃｈｉｋモデルでは、憧憬の反対が憎悪、歓喜の反対が悲嘆といったように、対称の位置に対称の感情が配置され、中心に向かうほどその感情が弱いことを表している。ここでは、複雑な感情を表現でき、且つ、感情の強度も同時にモデル化できるＰｌｕｔｃｈｉｋモデルを例に説明する。但し、感情モデルは複雑な感情を表現するものでなく、撮影者が撮影時に感じる代表的な感情のみに限定してもよい。
【００３５】
モデリングされた感情に対して、センサから得られた信号と感情の対応付けの手法として、最も簡単な手法として、センサ信号に対して、ある閾値や範囲を設け、その閾値や範囲に感情を対応付ける。また、生体情報にも感情に対して反応し易い情報と反応し難い情報があるため、生体情報毎に重み付けしてその数値から感情の種類及び強度を算出してもよい。これらの方法を使えば、感情を反映した制御システムを構築することができる。
【００３６】
もっと複雑な感情をも認識したい場合には、パターン・マッチングの手法が考えられる。感情の変化に応じた生体情報はそれぞれ個体差があるものの、あるパターンに則り変化すると考えられる。例えば、驚きと期待の２つの感情について考えた場合、どちらも体温、発汗量、脈拍が上昇する。驚きの感情は突発的に起こるものとして考えることができ、体温、発汗量、脈拍は急激に上昇する。これに対して、期待の感情は突発的に起こるものでなく、ある事象に対して次の事象を予測し期待という感情が発生すると考えられる。したがって、対象者の予測に基づくため、その予測とともに体温、発汗量、脈拍が徐々に上昇していくと考えられる。このため、単に閾値や数値の範囲のみで認識できる感情の種類には限界がある。ゆえに、センサ情報を時系列データで用いて、感情を認識しなければならない。代表的なパターン・マッチングの手法として、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ(ＨＭＭ)、Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍなどが考えられる。ここでは、計測誤差などのばらつきや撮影者個体のばらつきも含めたモデリングを行なうことができるＨＭＭを用いた感情識別モデルについて説明する。
【００３７】
モデルの作成に当たり学習サンプル・データを集める必要がある。この学習サンプル・データは、撮影者個人に対するサンプル・データ、不特定多数の撮影者から得られたサンプル・データなど、いずれを用いてもよい。
【００３８】
温度センサ、発汗センサ、脈拍センサから得られたそれぞれの時系列データに対して、それぞれの時刻におけるセンサ・データを観測系列０に対応させる。この観測系列から尤度Ｐ（λ｜０）が最大となるモデルλ（π，Ａ，Ｂ）を求める。これを、それぞれの感情毎に行ない、各感情のモデルを作成する。このとき、学習サンプル・データの数は良いモデルが得られる最適の数とする。各感情のモデルを用いて、撮影中に観測されたセンサ信号から尤度を計算する。計算された尤度の最も高かった感情モデルをそのときの撮影者の感情とする。ここで、感情のＨＭＭモデルの数を基本感情の数にして、感情の強度を尤度の比から求めても、感情のＨＭＭモデルを基本感情だけでなく、混合感情においてもＨＭＭモデルを作成してもよい。このときは尤度が最大となった感情が、感情の強度を反映している。
【００３９】
手振れ補正処理部１０８では、ジャイロ・センサ１０７で得られた加速度から手振れ量を計算し補正量を決定する。決定された補正量だけ撮像レンズ１０１を動かすことにより、撮像部の受光面に被写体像が結合され、手振れを補正することができる。この手振れ補正量を決めるときに、生体信号処理部１１３からの感情の種類、強度に応じて補正ゲインを調整することで、感情に応じた手振れ補正を行なうことができる。
【００４０】
メイン処理部１０６において、被写体像の記録時には、撮影されている映像や音声を記録部１１８に保存する。再生時には、映像を表示部１１６で、音声を音再生部１１７で再生する。
【００４１】
表示部１１６は、撮影装置１００に搭載されたＬＣＤパネル、外部のＴＶ、プロジェクタなど、撮影した映像や生体情報を表示する装置である。
【００４２】
音再生部１１７は、撮影装置１００に搭載されたスピーカ、外部のスピーカなど、撮影した音声を再生する装置である。
【００４３】
記録部１１８は、ＣＤやＤＶＤ、ＭＤ、ＢＤ、ＨＤＤ、メモリスティック（登録商標）、フラッシュメモリ、ＳＤカード、磁気テープ、磁気ディスクなど映像及び生体情報を記録する装置である。
【００４４】
図５には、手振れ補正処理部１０８のブロック線図の例を示している。図示の手振れ補正処理部１０８は手振れ補正ゲインＫωのＳ５−３と、位置制御ゲインＫpのＳ５−１と積分器Ｓ５−２及びＳ５−４からなる。また、角速度フィードバック・ループと位置制御フィードバック・ループの２つの制御ループがある。
【００４５】
まず、角速度フィードバック・ループでは、ジャイロ・センサ１０７から得られた角速度ωに対して、手振れ補正ゲインＫωでフィードバックをかける。一方、位置制御フィードバック・ループではレンズの位置情報から位置制御ゲインＫpをかける。最後に、角速度フィードバックと位置制御フィードバックの２つの情報に積分器Ｓ５−２及びＳ５−４をかけることで、レンズ位置の補正量を決定する。
【００４６】
撮影者の感情に応じて撮影者の手振れ量ωが変化する。感情の強度が大きいときは、手振れ量ωが大きくなるため、通常の手振れ補正ゲインＫωでは追従特性が良くない。そこで、感情の強度が大きいほど、手振れ補正ゲインＫωを大きくすることで、感情が高まり、手振れ量が大きくなったときでも、追従特性の良い手振れ補正を行なうことができる。
【００４７】
図６には、撮影装置１００が撮影者から検出した感情パラメータに基づいて手振れ補正を行なうための処理手順をフローチャートの形式で示している。
【００４８】
まず、電源を投入してから初期化処理を行なう（ステップＳ１）。この初期化処理には、システムの初期化及びセンサの初期化が含まれる。このとき、撮影者の安静時からの変化を用いて感情を認識する場合には、撮影者が安静状態のときにその測定値によって、基準値をリセットする。
【００４９】
初期化処理が終了したら、撮影を開始し（ステップＳ２）、映像を撮像装置に取り込む。この映像を取り込むと同時に、点線で囲まれている感情の推定処理を行なう。
【００５０】
まず、体温の測定を行なう（ステップＳ３）。そして、このときの測定値と安静時の基準値（ステップＳ１においてリセットしたときの値）との差分を計算する（ステップＳ４）。
【００５１】
次いで、計算した差分に対して、体温が感情の変化に寄与する度合いを考慮し、ある係数をかけて重み付けを行なう（ステップＳ５）。この重み付けを行った後の値を感情推定の体温データとする。
【００５２】
同様に、脈拍の測定を行ない、安静時との差分を計算する（ステップＳ７）。そして、計算した差分に対して、脈拍が感情の変化に寄与する度合いを考慮し、ある係数をかけて重み付けを行なう（ステップＳ８）。
【００５３】
また、発汗量に対しても測定を行ない（ステップＳ９）、安静時との差分を計算する（ステップＳ１０）。そして、ある係数をかけて重み付けを行なう（ステップＳ１１）。
【００５４】
上述のように先行ステップＳ５、Ｓ８、Ｓ１１において得られた体温、脈拍、発汗量のデータを足し合わせる（ステップＳ１２）。
【００５５】
そして、その足し合わせたデータが喜びに設定された範囲内にある場合、そのときの撮影者の感情は喜びであるとする（ステップＳ１３）。
【００５６】
次いで、ステップＳ１２で得られた値が喜びに設定された範囲のどこに位置するかで、喜びの強度を決定する（ステップＳ１４）。
【００５７】
次いで、感情の強度に応じて手振れ補正ゲインＫωを大きくする（ステップＳ１５）。そして、Ｓ２０において、レンズを動かし手振れを補正する。
【００５８】
ステップＳ１２で求め多値が喜びの範囲でなければ、次いで、悲しみの範囲内か判定する（ステップＳ１６）。悲しみの範囲内であれば、同様に悲しみの範囲内のどこに位置するかで、悲しみの強度を決定する。
【００５９】
次いで、感情の強度に応じて手振れ補正ゲインＫωを大きくする（ステップＳ１８）。そして、ステップＳ２０において、レンズを動かし手振れを補正する。
【００６０】
また、ステップＳ１２で求めた値が喜びの範囲でも悲しみの範囲でもなければ、安静状態から変化が無く、どの感情も発生していないため、感情無しとし、通常の手振れ補正ゲインＫωのままとし、ステップＳ２０において、レンズを動かし手振れを補正する。
【００６１】
そして、映像を記録し（ステップＳ２１）、撮影を終了する（ステップＳ２２）。ここで、録画が終了であれば終了処理を行なう（ステップＳ２４）。終了でなければ再び映像の撮影（ステップＳ２）から繰り返す。
【００６２】
図７には、撮影装置１００が撮影者から検出した感情パラメータに基づいてズーム制御を行なうための処理手順をフローチャートの形式で示している。
【００６３】
まず、電源を投入してから初期化処理を行なう（ステップＳ３１）。この初期化処理には、システムの初期化及びセンサの初期化が含まれる。このとき、撮影者の安静時からの変化を用いて感情を認識する場合には、撮影者が安静状態のときにその測定値によって、基準値をリセットする。
【００６４】
初期化処理が終了したら、撮影を開始し（ステップＳ３２）、映像を撮像装置に取り込む。そして、映像の取り込みと同時に、点線で囲まれた感情の推定処理を行なう。
【００６５】
まず、体温の測定を行なう（ステップＳ３３）。そして、このときの測定値と安静時の基準値（ステップＳ３１においてリセットしたときの値）との差分を計算する（ステップＳ３４）。
【００６６】
次いで、計算した差分に対して、体温が感情の変化に寄与する度合いを考慮し、ある係数をかけて重み付けを行なう（ステップＳ３５）。この重み付けを行った後の値を感情推定の体温データとする。
【００６７】
同様に、脈拍の測定を行ない、安静時との差分を計算する（ステップＳ３７）。そして、計算した差分に対して、脈拍が感情の変化に寄与する度合いを考慮し、ある係数をかけて重み付けを行なう（ステップＳ３８）。
【００６８】
また、発汗量に対しても測定を行ない（ステップＳ３９）、安静時との差分を計算する（ステップＳ４０）。そして、ある係数をかけて重み付けを行なう（ステップＳ４１）。
【００６９】
上述のように先行ステップＳ３５、Ｓ３８、Ｓ４１において得られた体温、脈拍、発汗量のデータを足し合わせる（ステップＳ４２）。
【００７０】
そして、その足し合わせたデータが喜びに設定された範囲内にある場合、そのときの撮影者の感情は喜びであるとする（ステップＳ４３）。
【００７１】
次いで、ステップＳ４２で得られた値が喜びに設定された範囲のどこに位置するかで、喜びの強度を決定する（ステップＳ４４）。
【００７２】
ここで、感情の強度が設定した閾値を超えているかどうかをチェックする（ステップＳ４５）。感情の強度が設定した閾値を超えていた場合には（ステップＳ４５のＹｅｓ）、撮影装置で撮影されていた被写体に対して、レンズを動かし被写体が映像からはみ出ない範囲でズームする（ステップＳ４６）。被写体の認識方法は映像の真ん中で動いているものを被写体としてもよいし、映像の真ん中の物体に対して輪郭抽出してそれを被写体としてもよく、本発明の要旨は特定の手法に限定されない。
【００７３】
また、ステップＳ４２で求め多値が喜びの範囲でなければ、続いて、悲しみの範囲内か否かを判定する（ステップＳ４７）。そして、悲しみの範囲内であれば、同様に悲しみの範囲内のどこに位置するかで、悲しみの強度を決定する。
【００７４】
次いで、感情の強度が設定した閾値を超えているかどうかをチェックする（ステップＳ４９）。そして、感情の強度が設定した閾値を超えていた場合には（ステップＳ４９のＹｅｓ）、撮影装置で撮影されていた被写体に対して、レンズを動かし被写体が映像からはみ出ない範囲でズームする（ステップＳ５０）。
【００７５】
また、ステップＳ４２で求めた値が喜びの範囲でも悲しみの範囲でもなければ、安静状態から変化が無く、どの感情も発生していないため、感情無しとし、ズームは行なわない。
【００７６】
そして、映像を記録し（ステップＳ５２）、撮影を終了する（ステップＳ５３）。録画が終了であれば（ステップＳ５４）、終了処理を行なう（ステップＳ５５）。また、終了でなければ、再びステップＳ３２の映像の撮影から繰り返す。
【産業上の利用可能性】
【００７７】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７８】
本明細書では、手振れ補正やズーム操作などのカメラ・ワークの自動化・支援に撮影者の感情を反映させた実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。その他のさまざまなカメラ・ワークの自動化・支援を実現するために、本発明を同様に適用することができる。
【００７９】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【００８０】
【図１】図１は、本発明の一実施形態に係る撮影装置１００のハードウェア構成を模式的に示した図である。
【図２】図２は、生体信号処理部１１３で各センサ１０９〜１１１から得られた生体信号を基に感情のモデリングを行なう様子を示した図である。
【図３】図３は、Ｗｕｎｄｔモデルを示した図である。
【図４】図４は、Ｐｌｕｔｃｈｉｋモデルを示した図である。
【図５】図５は、手振れ補正処理部１０８のブロック線図の例を示した図である。
【図６】図６は、撮影装置１００が撮影者から検出した感情パラメータに基づいて手振れ補正を行なうための処理手順を示したフローチャートである。
【図７】図７は、撮影装置１００が撮影者から検出した感情パラメータに基づいてズーム制御を行なうための処理手順を示したフローチャートである。
【符号の説明】
【００８１】
１００…撮影装置
１０１…撮像レンズ
１０２…撮像部
１０３…Ａ／Ｄ変換部
１０４…カメラ信号処理部
１０５…コーデック
１０６…メイン処理部
１０７…ジャイロ・センサ
１０８…手振れ補正処理部
１０９…温度センサ
１１０…発汗センサ
１１１…脈拍センサ
１１２…Ａ／Ｄ変換部
１１３…生体信号処理部
１１４…マイク
１１５…Ａ／Ｄ変換部
１１６…表示部
１１７…音再生部
１１８…記録部
【特許請求の範囲】
【請求項１】
撮影者による撮影操作に応じて被写体画像を撮影する撮影装置であって、
光学系を介して受光面に結像された被写体画像を捕捉し、所定の画像処理を施して記録する撮影手段と、
当該装置を操作する前記撮影者から生体情報を検出する生体情報検出手段と、
前記生体情報検出手段により検出された生体情報に基づいて、前記撮影者の感情の種類並びに感情の強度に関する感情パラメータを導き出す感情導出手段と、
前記感情導出手段により導き出された感情パラメータに基づいて、前記撮影者による撮影操作を支援する感情反映手段と、
を具備することを特徴とする撮影装置。
【請求項２】
前記生体情報検出手段は、前記撮影者から、脈拍、体温、発汗、血圧、脳波、呼吸、筋電位、顔の表情、声の韻律、瞬き、眼球運動、瞳孔径の大きさのうち少なくとも１つを生体情報として検出する、
ことを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記感情導出手段は、前記生体情報検出手段により検出された生体情報の、通常時からの変化、又は、日常の平均からの変化、あるいは、多数人の平均からの偏差から、感情の強度を導き出す、
ことを特徴とする請求項１に記載の撮影装置。
【請求項４】
前記撮影装置は、角速度検出手段、並びに、検出された角速度の大きさに応じて所定の補正ゲインを持ってその逆方向に前記光学系を動かして手振れの補正を行なう手振れ補正手段を備え、
前記感情反映手段は、前記感情導出手段により導き出された感情パラメータに基づいて、前記手振れ補正手段の補正ゲインを変化させる、
ことを特徴とする請求項１に記載の撮影装置。
【請求項５】
前記感情反映手段は、前記撮影者の感情が高まることに応じて、前記手振れ補正手段の補正ゲインを大きくする、
ことを特徴とする請求項４に記載の撮影装置。
【請求項６】
前記感情反映手段は、前記感情導出手段により導き出された感情パラメータに基づいて、前記光学系におけるズーム操作を制御する、
ことを特徴とする請求項１に記載の撮影装置。
【請求項７】
前記感情反映手段は、前記撮影者の感情が高まることに応じて、前記光学系におけるズーム操作を行なう、
ことを特徴とする請求項６に記載の撮影装置。
【請求項１】
撮影者による撮影操作に応じて被写体画像を撮影する撮影装置であって、
光学系を介して受光面に結像された被写体画像を捕捉し、所定の画像処理を施して記録する撮影手段と、
当該装置を操作する前記撮影者から生体情報を検出する生体情報検出手段と、
前記生体情報検出手段により検出された生体情報に基づいて、前記撮影者の感情の種類並びに感情の強度に関する感情パラメータを導き出す感情導出手段と、
前記感情導出手段により導き出された感情パラメータに基づいて、前記撮影者による撮影操作を支援する感情反映手段と、
を具備することを特徴とする撮影装置。
【請求項２】
前記生体情報検出手段は、前記撮影者から、脈拍、体温、発汗、血圧、脳波、呼吸、筋電位、顔の表情、声の韻律、瞬き、眼球運動、瞳孔径の大きさのうち少なくとも１つを生体情報として検出する、
ことを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記感情導出手段は、前記生体情報検出手段により検出された生体情報の、通常時からの変化、又は、日常の平均からの変化、あるいは、多数人の平均からの偏差から、感情の強度を導き出す、
ことを特徴とする請求項１に記載の撮影装置。
【請求項４】
前記撮影装置は、角速度検出手段、並びに、検出された角速度の大きさに応じて所定の補正ゲインを持ってその逆方向に前記光学系を動かして手振れの補正を行なう手振れ補正手段を備え、
前記感情反映手段は、前記感情導出手段により導き出された感情パラメータに基づいて、前記手振れ補正手段の補正ゲインを変化させる、
ことを特徴とする請求項１に記載の撮影装置。
【請求項５】
前記感情反映手段は、前記撮影者の感情が高まることに応じて、前記手振れ補正手段の補正ゲインを大きくする、
ことを特徴とする請求項４に記載の撮影装置。
【請求項６】
前記感情反映手段は、前記感情導出手段により導き出された感情パラメータに基づいて、前記光学系におけるズーム操作を制御する、
ことを特徴とする請求項１に記載の撮影装置。
【請求項７】
前記感情反映手段は、前記撮影者の感情が高まることに応じて、前記光学系におけるズーム操作を行なう、
ことを特徴とする請求項６に記載の撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−２１０９９２（Ｐ２００９−２１０９９２Ａ）
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願番号】特願２００８−５６２７５（Ｐ２００８−５６２７５）
【出願日】平成２０年３月６日（２００８．３．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願日】平成２０年３月６日（２００８．３．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]