撮影装置
【課題】撮影者の生体情報と画像データから抽出された特徴部位との関係を考慮して最適な撮影アシストを行う。
【解決手段】撮影を行う撮影部２７と、撮影者の生体情報の変化を検出する生体検出部８，１６と、前記撮影部から出力される画像データから特徴部位を抽出する抽出部４４と、前記生体検出部により検出された生体情報に基づいて前記抽出部により抽出された前記特徴部位の重要度を算出する重要度算出部４４とを備える。
【解決手段】撮影を行う撮影部２７と、撮影者の生体情報の変化を検出する生体検出部８，１６と、前記撮影部から出力される画像データから特徴部位を抽出する抽出部４４と、前記生体検出部により検出された生体情報に基づいて前記抽出部により抽出された前記特徴部位の重要度を算出する重要度算出部４４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体情報を用いた撮影装置に関するものである。
【背景技術】
【０００２】
近年、撮影者の生体状況を検出して、撮影者が楽しいときには明るい画質の撮像を行なったり、悲しいときには暗めの画質の撮像を行なったりすることが提案されている。また、画像データから特徴部位を抽出し、特定の被写体を識別して最適なオートフォーカスエリアを設定することできるカメラが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３１７６９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の撮像装置では、画像データから抽出した特徴部位の大きさに基づいてオートフォーカスエリアを設定しており、撮影者の生体情報を考慮していないことから、最適なオートフォーカスエリアの設定を行うことができない場合があった。
【０００５】
本発明の目的は、撮影者の生体情報と画像データから抽出された特徴部位との関係を考慮して最適な撮影アシストを行うことができる撮影装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の撮影装置は、撮影を行う撮影部と、撮影者の生体情報の変化を検出する生体検出部と、前記撮影部から出力される画像データから特徴部位を抽出する抽出部と、前記生体検出部により検出された生体情報に基づいて前記抽出部により抽出された前記特徴部位の重要度を算出する重要度算出部とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮影者の生体情報と画像データから抽出された特徴部位との関係を考慮して最適な撮影アシストを行うことができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態に係るカメラシステムの概要を示す図である。
【図２】実施の形態に係るカメラシステムを上から見た図である。
【図３】実施の形態に係る撮影レンズを左手により保持した状態を示す図である。
【図４】実施の形態に係る撮影レンズを左手により保持した状態を示す図である。
【図５】実施の形態に係るカメラ本体に設けられた生体情報検出部を示す図である。
【図６】実施の形態に係るカメラ本体に設けられた生体情報検出部の構成を示す図である。
【図７】実施の形態に係るカメラシステムのブロック図である。
【図８】実施の形態に係る撮影者の生体情報を用いた撮影アシスト処理を示すフローチャートである。
【図９】実施の形態に係る特徴部位の重要度の算出を説明するための図である。
【図１０】実施の形態に係る特徴部位の重要度の算出を説明するための図である。
【図１１】実施の形態に係る特徴部位の重要度の算出を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施の形態に係るカメラシステムについて説明する。図１は、実施の形態に係るカメラシステムの概要を示す図であり、カメラシステム１は、レンズ交換式の一眼レフカメラシステムである。
【００１０】
カメラシステム１は、カメラ本体２と、交換可能な撮影レンズ３とを有している。撮影レンズ３は、フォーカスレンズ、ズームレンズ及び防振レンズを含むレンズ群４や、絞り５、レンズ群４を駆動する不図示の駆動装置や、カメラシステム１の手振れを検出するための角速度センサ６を有している。ここで角速度センサ６は、２軸の振れを検出するジャイロセンサを有している。また、前述の不図示の駆動装置は、複数のモータ（例えば振動波モータやＶＣＭ）を有し、フォーカスレンズを光軸方向に駆動し、防振レンズを光軸方向とは異なる方向に駆動する。撮影レンズ３は、撮影レンズ３の全体を制御すると共に、カメラ本体２と協働するレンズＣＰＵ７を有している。
【００１１】
図２は、カメラシステム１を上から見た図であり、操作者の右手によりカメラ本体２を保持すると共に左手により撮影レンズ３を保持している状態を示す図である。撮影レンズ３は、図２に示すように、撮影者の左手の指または掌が触れる位置に撮影者の心拍数、血圧、発汗量、体温及び撮影レンズ３を保持する圧力などを検出するレンズ側生体センサ部８（図３、４及び図７参照）を有している。このレンズ側生体センサ部８は、互いに分離した複数の電極部９（基準電極９ａ、検出電極９ｂ）と、複数の発光部１０ａ〜１０ｄと複数の受光部１１ａ〜１１ｄとを有して脈波を検出する脈波検出装置１２を有している。脈波検出装置１２は、後述するように撮影者の血圧を測定するために用いられ、図２に示すようにそれぞれの発光部１０ａ〜１０ｄと受光部１１ａ〜１１ｄとが交互に配置されている。
【００１２】
また、レンズ側生体センサ部８は、撮影者の発汗量を検出する発汗センサ１３、撮影者の体温を検出する温度センサ１４、及び撮影者が撮影レンズ３を保持する圧力を検出する圧力センサ１５を備えている（図３及び図４参照）。撮影者が撮影レンズ３を保持し、ズーム操作やマニュアルフォーカス操作を行う場合などには左手の親指が他の指とは離れてしまう。このためレンズ側生体センサ部８は、ズーム操作位置とマニュアルフォーカス操作位置との少なくとも一方の位置で、かつ、左手の親指に対応する位置と、親指以外の指に対応する位置とに離間して設けられている。より具体的には、レンズ側生体センサ部８は、ズーム操作用ゴムやフォーカス操作用ゴムが設けられた位置であって、左手に接触するように、または、左手と対向するように設けられている。
【００１３】
図３及び図４は、撮影レンズ３を左手により保持した状態を示す図であり、図３は左手の甲が下側にある状態で撮影レンズ３を保持した状態を示し、図４は左手の甲が左側にある状態で撮影レンズ３を保持した状態を示している。撮影者や撮影状態（例えば、横位置撮影や縦位置撮影）により撮影レンズ３の保持の仕方は変わるので、撮影レンズ３の円周上に複数のレンズ側生体センサ部８（８Ａ〜８Ｄ）を設けている。ここで、レンズ側生体センサ部８Ｂ〜８Ｄは、レンズ側生体センサ部８Ａと同様に、複数の電極部９、脈波検出装置１２、発汗センサ１３、湿度センサ１４及び圧力センサ１５を、それぞれ有している。このように、撮影レンズ３の円周上に複数のレンズ側生体センサ部８（８Ａ〜８Ｄ）を設けることにより左手の掌からも生体情報を検出することができる。なお、前述したように、本実施の形態では、ズーム操作位置やマニュアルフォーカス操作位置に応じて複数のレンズ側生体センサ部８（８Ａ〜８Ｄ）を設けているが、撮影者や撮影状態に応じて撮影レンズ３の保持の仕方が変った場合においても生体情報を検出できる位置であれば、複数のレンズ側生体センサを上述の位置以外の位置に設けてもよい。
【００１４】
なお、左手の親指が撮影レンズ３を保持する力はあまり大きくないので、レンズ側生体センサ部８Ｂ，８Ｃにおいては、左手の親指に対応する圧力センサ１５を省略してもよい。同様に、レンズ側生体センサ部８の検出精度を高くする必要がない場合には、左手の親指に対応する位置のセンサを適宜省略することにより、撮影レンズ３の部品点数を抑えることができる。また、レンズＣＰＵ７は、脈波検出装置１２の発光部１０ａ〜１０ｄに手指がかかっているときだけ発光するように制御してもよい。
【００１５】
図２に戻って、本実施の形態においては、撮影者の右の手指が触れる位置に撮影者の心拍数、血圧、発汗量、体温及びカメラ本体２を保持する圧力などを検出するカメラ本体側生体センサ部１６を有している。図５に示すようにカメラ本体側生体センサ部１６は、複数の電極部９と同様の構成を有する複数の電極部１７と、脈波検出装置１２と同様の構成を有する脈波検出装置２０とを有している。即ち、図６（ａ）に示すように複数の電極部１７は、互いに分離した複数の基準電極１７ａ、検出電極１７ｂを有している。また図６（ｂ）に示すように脈波検出装置２０は、複数の発光部１８ａ〜１８ｄと複数の受光部１９ａ〜１９ｄとを有して脈波を検出する。また、カメラ本体側生体センサ部１６は、撮影者の発汗量を検出する発汗センサ２１、撮影者の体温を検出する温度センサ２２、及び撮影者がカメラ本体２を保持する圧力を検出する圧力センサ２３を備えている。
【００１６】
なお、図２からも明らかなように、撮影者がカメラ本体２を保持する場合は、右手の親指がカメラ本体２の背面に位置し、右手の人差し指がレリーズＳＷ２４の近傍に位置し、他の３本の指と離れてしまう。このためカメラ本体側生体センサ部１６は、右手の親指に対応してカメラ背面位置と、レリーズＳＷ２４の近傍と、他の３本の指がカメラ本体２を保持するカメラ前面位置とに離間して設けられている。なお、レリーズＳＷ２４に本体側センサ部１６を設けても構わない。ここでカメラ背面位置及びカメラ前面位置に設けられているカメラ本体側生体センサ部は、図示を省略しているがカメラ本体側生体センサ部１６と同様な構成を有する。なお、カメラ本体２においては、他の３本の指がカメラ本体２を保持するカメラ前面位置と、右手の親指に対応したカメラ背面位置との少なくとも一方がカメラ本体２を保持するための保持部ということができる。また、カメラ本体２の背面には、いくつかの操作ＳＷが設けられており、これらの操作ＳＷは右手親指で操作される。このため、本実施の形態においては、右手の親指により操作されるＳＷと、レリーズＳＷ２４の少なくとも一方がカメラ本体２を操作するための操作部である。また、カメラ本体２の上面には撮影モードを設定するための撮影モードＳＷ２５が設けられている。
【００１７】
図１に戻って、カメラ本体２は、撮影レンズ３からの光束を反射して後述のファインダー光学系２６に導く位置（反射位置）と、撮影レンズ３からの光束がＣＣＤまたはＣＭＯＳなどから構成される撮像素子２７に入射するように退避する退避位置とで可動する可動ミラー２８と、可動ミラー２８の一部が半透過領域となっており、この半透過領域を透過した光束を位相差式で焦点検出を行う焦点検出センサ２９へ反射するサブミラー３０とを有している。可動ミラー２８で反射された光束は、焦点板３１、ペンタプリズム３２を介してファインダー光学系２６へ導かれる。ファインダー光学系２６は、複数のレンズから構成されており、撮影者はファインダー光学系２６により被写界を確認することができる。一方、可動ミラー２８が退避位置にあるときには、撮影レンズ３からの光束は、ローパスフィルタ３３を介して撮像素子２７に入射する。ここで撮像素子２７の近傍には撮像基板３４が設けられている。
【００１８】
図７はカメラシステム１のブロック図であり、図１に加えて図７を参照して説明を続ける。撮像基板３４は、撮像素子２７を駆動する駆動回路３４Ａ、撮像素子２７の出力をデジタル信号に変換するＡ／Ｄ変換回路３４Ｂ及びＡＳＩＣで構成される画像処理制御回路３４Ｃなどを有している。この画像処理制御回路３４Ｃは、デジタル信号に変換された画像信号に対してホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を施すと共に、ＪＰＥＧなどの画像圧縮を行う。この画像圧縮された画像は、画像記録媒体３５に記憶されると共に、背面液晶モニタ制御回路３６の制御により、背面液晶モニタ３７に画像（ライブビュー画像）が表示される。また、背面液晶モニタ制御回路３６は、可動ミラー２８が退避位置にある場合に、ファインダー視野内に情報を表示する、図示しない表示部に画像（ライブビュー画像）を表示することも可能である。
【００１９】
また、撮像基板３４は、撮像素子２７からの信号の高周波成分を抽出して、これが最大になるフォーカスレンズ位置を検出するコントラストＡＦ回路３４Ｄを有している。コントラストＡＦ回路３４Ｄには、画像処理制御回路３６Ｃからの画像信号が入力される。コントラストＡＦ回路３４Ｄは、撮像信号からバンドパスフィルタを用いて所定の高周波成分を抽出し、ピークホールドや積分等の検波処理を行ってＡＦ評価値信号を生成しＣＰＵ４４に出力する。
【００２０】
また、前述のライブビュー画像に後述のマイク４２で収集した音声をつけて、ＭＰＥＧやＨ．２６４のなどの処理を行なうことにより動画を生成することができる。動画のフレームレートとしては例えば３０ｆｐｓを設定することができる。カレンダー部３８は、水晶発振子や計時用集積回路を有しており、年，月，日，時，分といったカレンダー情報を自動的に計時する。ＥＥＰＲＯＭ（electrically erasable programmable read only memory：電気的に消去可能かつプログラム可能なＲＯＭ）３９は、カメラの調整値、設定値を記憶しておく記憶装置であり、ＡＦ調整データ、ＡＥ調整データ等のほかに製造時の年月日時間データなどを記憶している。また、ＥＥＰＲＯＭ３９には、人間の生体情報値が記憶されている。本実施の形態においては、ＥＥＰＲＯＭ３９は生体情報値として心拍数、血圧、体温、カメラ本体２を保持する圧力（保持力)、撮影レンズ３を保持する圧力（保持力）を記憶している。なお、生体情報は、撮影者の平常時の生体情報が予め測定され記憶されたものである。また、この生体情報値は、撮影者を特定したデータとして記憶させておいてもよい。
【００２１】
カメラ本体２は、ペンタプリズム３２の近傍に被写界の輝度を測定する測光センサ４０を有すると共に、ペンタプリズム３２の上方にＧＰＳ（Global Positioning System：全地球測位システム）モジュール４１を備えており、ＧＰＳ衛星からの信号を受信して測位情報（緯度、経度、高度）を取得する。また、カメラ本体２は、撮影レンズ３が搭載されるマウント部で撮影レンズ３と干渉しない位置に被写界の音を録音するマイク４２を備えると共に、ファインダー光学系２６の近傍にスピーカ４３を備えている。なお、レリーズＳＷ２４は、２段式のスイッチであり、撮影者がレリーズＳＷ２４を半押しした際に、レンズ側生体センサ部８及びカメラ側生体センサ部１６による撮影者の生体情報の検出を開始すると共に、撮影準備動作（例えば、オートフォーカスや測光）を行い、撮影者がレリーズＳＷ２４を全押しした際に、撮影（静止画や動画）指示を行うスイッチである。
【００２２】
本体ＣＰＵ４４は、レンズＣＰＵ７と協働して、カメラシステム１の全体を制御するものであり、本実施の形態においては、レンズ側生体センサ部８及びカメラ側生体センサ部１６の出力に基づいて撮影者の生体情報を取得して、カメラシステム１の設定や操作のアシストなどの制御を行うものである。以下、レンズ側生体センサ部８及びカメラ側生体センサ部１６の撮影者の生体情報の取得について説明を行う。
【００２３】
（心拍数測定）
前述のように、撮影者が左手で撮影レンズ３を保持する位置には複数の電極部９の基準電極９ａ及び検出電極９ｂが設けられており、撮影者が右手でカメラ本体を保持する位置には複数の電極部１７の基準電極１７ａ及び検出電極１７ｂが設けられている。検出電極９ｂ，１６ｂからの検出電位は、不図示の差動増幅器で電位差が増幅されて本体ＣＰＵ４４へ出力される。本体ＣＰＵ４４は、検出電極９ｂ，１６ｂの電位差に基づいて、撮影者の心拍数を演算する。なお、例えば撮影者が撮影レンズ３を保持していない場合には、撮影者の左手が基準電極９ａ、検出電極９ｂに触れていないので、基準電極９ａと検出電極９ｂとの間がオープンとなる。レンズＣＰＵ７は、基準電極９ａと検出電極９ｂとの間がオープンの場合には、撮影者が撮影レンズ３を保持していないと判断する。同様に、本体ＣＰＵ４４は、複数の電極部の基準電極１７ａと検出電極１７ｂとの間がオープンの場合には、撮影者がカメラ本体２を保持していないと判断する。
【００２４】
（血圧測定）
脈波検出装置１２，２０は、撮影者の血圧を測定するものである。なお、脈波検出装置１２と脈波検出装置２０は同様の構成を有するため、脈波測定の詳細な説明は、脈波検出装置１２についてのみ行う。脈波検出装置１２においては、複数の発光部１０から例えば赤外線を射出し、この赤外線が指の動脈で反射され、この反射された赤外線を赤外線センサである受光部１１において受光して手の指部の脈波を検出する（末梢血管の血流量を検出する）。本体ＣＰＵ４４は脈波検出装置１２からの脈波に基づいて撮影者の血圧を演算する。レンズＣＰＵ７は、複数の電極部９の基準電極９ａと検出電極９ｂとの出力から撮影者のある指（例えば小指）が撮影レンズ３に触れていないと判断した場合に、小指に対応して配置された発光部１０の発光を禁止するようにすれば、無駄な発光を防止すると共に、被写界に迷光を射出することもない。同様に、本体ＣＰＵ４４は、複数の電極部１７の基準電極１７ａと検出電極１７ｂとの出力に基づいて、例えば撮影者の親指がカメラ本体２に触れていないときに、脈波検出装置２０の発光部１８の発光を禁止してもよい。
【００２５】
（発汗測定）
発汗は手のインピーダンスを測定することにより検出することができる。発汗センサ１３，２１は、複数の電極を有して発汗を検出するものである。なお、複数の電極の一部として基準電極９ａ、基準電極１７ａを兼用してもよい。発汗センサ１３は、レンズ側生体センサ部８Ａ〜８Ｄのそれぞれに設けられているが、感動、興奮、緊張といったような精神性発汗は、発汗量が少なく、発汗時間も短いので、指よりも発汗量が多い中手の掌側に位置するレンズ側生体センサ部８Ｂ，８Ｃだけに設けてもよい。
【００２６】
（温度測定）
温度センサ１４，２２は、熱により抵抗値が変化するサーミスタ方式を用いている。発汗には前述の精神性発汗と、体温調節のための温熱性発汗とがあり、精神性発汗と温熱性発汗とは相互干渉している。このため、本体ＣＰＵ４４は発汗センサ１３，２１の出力と、温度センサ１４，２２の出力とに基づいて撮影者の発汗が精神性発汗か温熱性発汗かを判断することができる。例えば、本体ＣＰＵ４４は、温度センサ２２により検出した温度が高く、発汗センサ２１からの発汗信号が常時検出される場合に温熱性発汗と判断することができる。また、本体ＣＰＵ４４は、発汗センサ２１からの発汗信号が不規則に出力される場合に精神性発汗と判断して、撮影者が感動、興奮、緊張といった状態であることを検出できる。なお、温度センサ１４，２２を省略した場合には、本体ＣＰＵ４４は、ＧＰＳモジュール４１の位置情報やカレンダー部３８からの日時情報などに基づいて、発汗センサ１３，２１からの発汗信号が精神性発汗か温熱性発汗かを判断してもよい。更に、レンズＣＰＵ７が発汗センサ１３の出力や温度センサ１４に基づいて、左手の汗が精神性発汗か温熱性発汗かを判断するようにしてもよい。
【００２７】
（圧力測定）
圧力センサ１５は、静電容量型のセンサであり、撮影者が撮影レンズ３を保持した際の押圧力による変形量を測定するものである。本実施の形態において圧力センサ１５は、操作ゴムの下方に設けられている。圧力センサ２３も同様の静電容量型のセンサであり、撮影者がカメラ本体２を保持した際の押圧力による変形量を測定するものである。なお、圧力センサ１５，２３として歪ゲージや、電歪素子などを用いたものを適用してもよい。
【００２８】
図８は、本体ＣＰＵ４４の制御による撮影者の生体情報の検出及び生体情報を用いた撮影アシスト処理を示すフローチャートである。なお、カメラ本体２のメインスイッチが入っている状態であり、ライブビューモードが設定されているものとして以下説明する。
【００２９】
本体ＣＰＵ４４は、撮像素子２７から出力される画像データを取得し（ステップＳ１０）、背面液晶モニタ制御回路３６の制御により背面液晶モニタ３７に画像（ライブビュー画像）を表示させる（ステップＳ１１）。そして、本体ＣＰＵ４４は、取得した画像データから被写体の特徴部位の抽出を行うことができたか否かを判断する（ステップＳ１２）。即ち、取得した画像データにおいて、被写体に含まれている人物の顔を認識する顔認識処理により人物の顔が特徴部位として抽出できたか否かの判断を行い、人物の顔が特徴部位として抽出できた場合には、撮影者の生体情報の取得を行う（ステップＳ１３）。なお、ここでは人物Ａのみが被写体に含まれており、人物Ａの顔がステップＳ１２において認識されたとして説明を行う。
【００３０】
本体ＣＰＵ４４は、レンズＣＰＵ７と連動してレンズ側生体センサ部８及びカメラ側生体センサ部１６により、人物Ａを認識した時点における、撮影者の生体情報として撮影者の心拍数、血圧、発汗状態、体温、カメラ本体２及び撮影レンズ３を保持する圧力（保持力）を検出する。ここで、撮影者の心拍数、血圧に基づく、人物Ａを認識した時点における撮影者の総合的な興奮度合いＥＳＡの算出について説明する。ＥＥＰＲＯＭ３９に記憶されている撮影者の平常時の心拍数がＣ０であり、人物Ａを認識した時点における撮影者の心拍数がＣである場合に、その差分ｄＣ（＝Ｃ−Ｃ０）と、心拍数から求められる興奮度合ＥＣが一次的な関係であるとすれば、心拍数から求められる興奮度合は、
ＥＣ＝ｋｃ×ｄＣ
により求められる。なお、ｋｃは、心拍数が興奮度にどれくらい寄与するかを予め実験などにより求め、それに基づいて定めた所定の係数である。
【００３１】
また、ＥＥＰＲＯＭ３９に記憶されている撮影者の平常時の血圧がＢ０であり、人物Ａを認識した時点における撮影者の血圧がＢである場合に、その差分ｄＢ（＝Ｂ−Ｂ０）と、血圧から求められる興奮度合ＥＢが一次的な関係であるとすれば、血圧から求められる興奮度合は、
ＥＢ＝ｋＢ×ｄＢ
により求められる。なお、ｋＢは、血圧が興奮度にどれくらい寄与するかを予め実験などにより求め、それに基づいて定めた所定の係数である。
【００３２】
従って、撮影者の総合的な興奮度合いＥＳＡは、
ＥＳＡ＝ＥＣ＋ＥＢ
により求めることができる。そしてＥＳＡを人物Ａに対する撮影者の総合的な興奮度合いとして記憶する（ステップＳ１４）。
【００３３】
なお、撮影者の総合的な興奮度合いは、心拍数及び血圧に基づいて算出されるものに限定されず、心拍数、血圧、発汗状態、体温、カメラ本体２及び撮影レンズ３を保持する圧力（保持力）の何れか、またはこれらの任意の組み合わせに基づいて算出してもよい。この場合においても、心拍数及び血圧に基づいて撮影者の総合的な興奮度合いを算出す場合と同様に、ＥＥＰＲＯＭ３９に記憶されている撮影者の平常時の生体情報と、人物Ａを認識した時点における撮影者の生体情報の差分に基づいて算出することができる。さらに、ＧＰＳモジュール４１の出力、マイク４２の出力を用いて、算出された撮影者の総合的な興奮度合いを修正するようにしてもよい。
【００３４】
次に、本体ＣＰＵ４４は、図９（ａ）に示すように、ステップＳ１２において抽出した人物の顔の領域を点線の四角形枠でエリア表示し（ステップＳ１５）、本体ＣＰＵ４４は、人物Ａの特徴部位の重要度ＩＡを算出する（ステップＳ１６）。特徴部位の重要度の算出は、撮影者の総合的な興奮度合い、特徴部位の画面中央部からの距離及び画面全体の面積に対する特徴部位の面積の割合を用いて行う。即ち、撮影者の総合的な興奮度合いＥＳＡが大きい場合に重要度が高くなるように、また図９（ｂ）に示すように、人物Ａの特徴部位の画面中央部Ｏからの距離ＬＡを算出し、ＬＡが小さい場合に重要度が高くなるように、特徴部位の面積がＳＡであり画面全体の面積がＳである場合に、ＳＡ／Ｓを算出し、ＳＡ／Ｓが大きい場合に重要度が高くなるように、人物Ａの特徴部位の重要度ＩＡを算出して記憶する。
【００３５】
次に、本体ＣＰＵ４４は、特徴部位の重要度が最も高い特徴部位を選択し、そのエリア表示を実線の四角形枠に変更する（ステップＳ１７）。ここで図９（ｂ）においては、人物Ａの顔の領域に実線の四角形枠が表示されているが、これは特徴部位が１つだけであるため人物Ａの特徴部位の重要度ＩＡが最も高いと判断されるためである。なお、重要度の最も高い特徴部位に実線の四角形枠を表示することから重要度の高い被写体の移動を容易に認識することができる。次に、レリーズＳＷ２４が半押しされた否かを判断し（ステップＳ１８）、レリーズＳＷ２４が半押しされていればステップＳ１９へ進み、レリーズＳＷ２４が半押しされていなければステップＳ１２の処理に戻り、ステップＳ１２〜ステップＳ１８の処理を繰り返す。
【００３６】
図１０（ａ）は、人物Ａの特徴部位を抽出しその重要度ＩＡを算出した後に、人物Ｂの特徴部位を抽出し、その重要度ＩＢを算出した状態を示すものである。ここで人物Ｂの特徴部位の重要度ＩＢは、人物Ａの特徴部位の重要度ＩＡの算出と同様にして行う。なお、人物Ａの特徴部位の重要度ＩＡは、距離ＬＡ、割合ＳＡ／Ｓが変化していることから再度算出される。そして、人物Ａの特徴部位の重要度ＩＡと人物Ｂの特徴部位の重要度ＩＢを比較し、重要度の高いほうの特徴部位を選択し、その人物の顔の領域に実線の四角形枠が表示され、低いほうの人物の顔の領域に点線の四角形枠が表示される。この場合には、人物Ａの特徴部位の重要度ＩＡよりも人物Ｂの特徴部位の重要度ＩＢの方が高くなったことから、人物Ｂの顔の領域に実線の四角形枠が表示され、人物Ａの顔の領域に点線の四角形枠が表示されている。
【００３７】
図１０（ｂ）は、人物Ａ，Ｂの特徴部位を抽出しその重要度ＩＡ，ＩＢを算出した後に、人物Ｃの特徴部位を抽出し、その重要度ＩＣを算出した状態を示すものである。ここで人物Ｃの特徴部位の重要度ＩＣは、人物Ａの特徴部位の重要度ＩＡの算出と同様にして行う。なお、人物Ａ，Ｂの特徴部位の重要度ＩＡ，ＩＢは、距離ＬＡ，ＬＢ、割合ＳＡ／Ｓ，ＳＢ／Ｓが変化していることから再度算出される。そして、人物Ａの特徴部位の重要度ＩＡ、人物Ｂの特徴部位の重要度ＩＢ及び人物Ｃの特徴部位の重要度ＩＣを比較し、最も重要度の高い特徴部位を選択し、その人物の顔の領域に実線の四角形枠が表示され、その他の人物の顔の領域に点線の四角形枠が表示される。この場合には、人物Ａ，Ｂの特徴部位の重要度ＩＡ，ＩＢよりも人物Ｃの特徴部位の重要度ＩＣが高くなったことから、人物Ｃの顔の領域に実線の四角形枠が表示され、人物Ａ，Ｂの顔の領域に点線の四角形枠が表示されている。
【００３８】
なお、通常は、人物の特徴部位の画面中央部Ｏからの距離が小さい場合に重要度が高くなり、画面全体の面積に対する特徴部位の面積が大きい場合に重要度が高くなるが、撮影者の総合的な興奮度合いが極めて大きい場合等には、人物の特徴部位の画面中央部Ｏからの距離が大きく、画面全体の面積に対する特徴部位の面積が小さい場合においても、特徴部位の重要度が高くなる場合がある。即ち、図１１においては、人物Ａ，Ｃの特徴部位の重要度ＩＡ，ＩＣよりも人物Ｂの特徴部位の重要度ＩＢが高いことから、人物Ｂの顔の領域に実線の四角形枠が表示され、人物Ａ，Ｃの顔の領域に点線の四角形枠が表示されている。
【００３９】
なお、重要度が最も高いと判断された特徴部位が移動した場合には、その移動量を検出し、実線のエリア表示と共にその移動量及び移動方向を示す矢印などの識別表示を行うようにしてもよい。この場合には、重要度の高い特徴部位が小さく表示されており四角形枠の識別が困難な場合であっても、その移動量及び移動方向を容易に認識することができる。
【００４０】
本体ＣＰＵ４４は、ステップＳ１８においてレリーズＳＷ２４が半押しされていると判断した場合には、撮影準備として自動焦点調整、自動露出調整を行う（ステップＳ１９）。自動焦点調整は、重要度が最も高いと判断されている特徴部位を自動焦点調整領域に設定してコントラストＡＦ回路３４Ｄを用いて自動焦点調整制御を行う。また、自動露出調整は、重要度が最も高いと判断されている特徴部位が最適な露出となるように自動露出調整を行う。
【００４１】
次に、本体ＣＰＵ４４は、レリーズＳＷ２４が全押しされているか否か判断し（ステップＳ２０）、全押しされている場合には撮影を実行する（ステップＳ２１）。この撮影は、例えば、撮影モードＳＷ２５または不図示の設定ＳＷの設定に応じて静止画または動画の撮影を行うものである。静止画撮影または動画撮影の設定は、撮影モードＳＷ２５で選択するようにしてもよく、また、動画撮影専用のスイッチを設けてもよい。次に、本体ＣＰＵ４４は、撮影された被写体の画像データをＥｘｉｆなどの所定のファイル形式で画像記憶媒体３５に記憶する（ステップＳ２２）。この場合に撮影者の生体情報、特徴部位情報及び特徴部位の重要度情報の中の少なくとも１つを画像データを記憶するファイルのヘッダー情報として記憶する。
【００４２】
本実施の形態による撮像装置においては、撮影者の生体情報と画像データから抽出された特徴部位との関係を考慮して最適な撮影アシストを行うことができる。
【００４３】
なお、上述の実施の形態に係るカメラシステム１では、可動ミラー２８を備えたレンズ交換式の一眼レフカメラシステムを例に取って説明したが、可動ミラー２８やペンタプリズム３２などを省略したミラーレスのレンズ交換式カメラにも本実施の形態に係るレンズ側生体センサ部８及びカメラ側生体センサ部１６の出力を用いた撮影アシスト機能を採用することができる。
【００４４】
また、上述の実施の形態では、レンズ側生体センサ部８及びカメラ側生体センサ部１６を用いて撮影者の両手からの生体情報を検出したが、例えば、発汗センサ１３，２１、温度センサ１４，２２、圧力センサ１５，２３は片手からの検出結果でも構わない。他のセンサにおいても検出方法に応じて片手からでも検出できるようになれば、片手からの検出結果でも構わない。
【００４５】
更に、レンズ側生体センサ部８及びカメラ側生体センサ部１６に代えて、ウエアラブル型の生体センサを用いてもよい。もしくは、レンズ側生体センサ部８及びカメラ側生体センサ部１７と、ウエアラブル型の生体センサとを協働して使用するようにしてもよい。ウエアラブル型の生体センサとしては、腕時計型の生体センサや指輪型の生体センサなどを用いることができる。この場合、近距離通信によりウエアラブル型の生体センサの出力をカメラ本体２に送信するようにすればよい。なお、腕時計型の生体センサは、例えば、特開２００５−２７０５４３号（米国特許第７５３８８９０号）に詳細が開示されている。
【００４６】
また、上述の実施の形態では、特徴領域の重要度の算出を、撮影者の総合的な興奮度合い、特徴部位の画面中央部からの距離及び画面全体の面積に対する特徴部位の面積の割合を用いて行っているが、特徴領域の重要度の算出を撮影者の総合的な興奮度合いのみに基づいて行ってもよい。また、撮影者の総合的な興奮度合い及び特徴部位の画面中央部からの距離、または撮影者の総合的な興奮度合い及び画面全体の面積に対する特徴部位の面積の割合を用いて特徴領域の重要度の算出を行ってもよい。
【００４７】
また、上述の実施の形態では、人物Ａのみが被写体に含まれており、人物Ａの顔が特徴部位として認識されたとして説明を行ったが、複数の人物が被写体に含まれており、複数の人物の顔が同時に特徴部位として認識された場合には、検出された撮影者の生体情報に基づいて算出された撮影者の総合的な興奮度合いは、顔が特徴部位として認識された複数の人物それぞれに対する総合的な興奮度合いとして用いる。
【符号の説明】
【００４８】
１…カメラシステム、２…カメラ本体、３…撮影レンズ、８（８Ａ〜８Ｄ）…レンズ側生体センサ部、１６…カメラ側生体センサ部、２６…ファインダー光学系、２７…撮像素子、２８…可動ミラー、３８…カレンダー部、４１…ＧＰＳモジュール、４２…マイク
【技術分野】
【０００１】
本発明は、生体情報を用いた撮影装置に関するものである。
【背景技術】
【０００２】
近年、撮影者の生体状況を検出して、撮影者が楽しいときには明るい画質の撮像を行なったり、悲しいときには暗めの画質の撮像を行なったりすることが提案されている。また、画像データから特徴部位を抽出し、特定の被写体を識別して最適なオートフォーカスエリアを設定することできるカメラが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３１７６９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の撮像装置では、画像データから抽出した特徴部位の大きさに基づいてオートフォーカスエリアを設定しており、撮影者の生体情報を考慮していないことから、最適なオートフォーカスエリアの設定を行うことができない場合があった。
【０００５】
本発明の目的は、撮影者の生体情報と画像データから抽出された特徴部位との関係を考慮して最適な撮影アシストを行うことができる撮影装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の撮影装置は、撮影を行う撮影部と、撮影者の生体情報の変化を検出する生体検出部と、前記撮影部から出力される画像データから特徴部位を抽出する抽出部と、前記生体検出部により検出された生体情報に基づいて前記抽出部により抽出された前記特徴部位の重要度を算出する重要度算出部とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮影者の生体情報と画像データから抽出された特徴部位との関係を考慮して最適な撮影アシストを行うことができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態に係るカメラシステムの概要を示す図である。
【図２】実施の形態に係るカメラシステムを上から見た図である。
【図３】実施の形態に係る撮影レンズを左手により保持した状態を示す図である。
【図４】実施の形態に係る撮影レンズを左手により保持した状態を示す図である。
【図５】実施の形態に係るカメラ本体に設けられた生体情報検出部を示す図である。
【図６】実施の形態に係るカメラ本体に設けられた生体情報検出部の構成を示す図である。
【図７】実施の形態に係るカメラシステムのブロック図である。
【図８】実施の形態に係る撮影者の生体情報を用いた撮影アシスト処理を示すフローチャートである。
【図９】実施の形態に係る特徴部位の重要度の算出を説明するための図である。
【図１０】実施の形態に係る特徴部位の重要度の算出を説明するための図である。
【図１１】実施の形態に係る特徴部位の重要度の算出を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施の形態に係るカメラシステムについて説明する。図１は、実施の形態に係るカメラシステムの概要を示す図であり、カメラシステム１は、レンズ交換式の一眼レフカメラシステムである。
【００１０】
カメラシステム１は、カメラ本体２と、交換可能な撮影レンズ３とを有している。撮影レンズ３は、フォーカスレンズ、ズームレンズ及び防振レンズを含むレンズ群４や、絞り５、レンズ群４を駆動する不図示の駆動装置や、カメラシステム１の手振れを検出するための角速度センサ６を有している。ここで角速度センサ６は、２軸の振れを検出するジャイロセンサを有している。また、前述の不図示の駆動装置は、複数のモータ（例えば振動波モータやＶＣＭ）を有し、フォーカスレンズを光軸方向に駆動し、防振レンズを光軸方向とは異なる方向に駆動する。撮影レンズ３は、撮影レンズ３の全体を制御すると共に、カメラ本体２と協働するレンズＣＰＵ７を有している。
【００１１】
図２は、カメラシステム１を上から見た図であり、操作者の右手によりカメラ本体２を保持すると共に左手により撮影レンズ３を保持している状態を示す図である。撮影レンズ３は、図２に示すように、撮影者の左手の指または掌が触れる位置に撮影者の心拍数、血圧、発汗量、体温及び撮影レンズ３を保持する圧力などを検出するレンズ側生体センサ部８（図３、４及び図７参照）を有している。このレンズ側生体センサ部８は、互いに分離した複数の電極部９（基準電極９ａ、検出電極９ｂ）と、複数の発光部１０ａ〜１０ｄと複数の受光部１１ａ〜１１ｄとを有して脈波を検出する脈波検出装置１２を有している。脈波検出装置１２は、後述するように撮影者の血圧を測定するために用いられ、図２に示すようにそれぞれの発光部１０ａ〜１０ｄと受光部１１ａ〜１１ｄとが交互に配置されている。
【００１２】
また、レンズ側生体センサ部８は、撮影者の発汗量を検出する発汗センサ１３、撮影者の体温を検出する温度センサ１４、及び撮影者が撮影レンズ３を保持する圧力を検出する圧力センサ１５を備えている（図３及び図４参照）。撮影者が撮影レンズ３を保持し、ズーム操作やマニュアルフォーカス操作を行う場合などには左手の親指が他の指とは離れてしまう。このためレンズ側生体センサ部８は、ズーム操作位置とマニュアルフォーカス操作位置との少なくとも一方の位置で、かつ、左手の親指に対応する位置と、親指以外の指に対応する位置とに離間して設けられている。より具体的には、レンズ側生体センサ部８は、ズーム操作用ゴムやフォーカス操作用ゴムが設けられた位置であって、左手に接触するように、または、左手と対向するように設けられている。
【００１３】
図３及び図４は、撮影レンズ３を左手により保持した状態を示す図であり、図３は左手の甲が下側にある状態で撮影レンズ３を保持した状態を示し、図４は左手の甲が左側にある状態で撮影レンズ３を保持した状態を示している。撮影者や撮影状態（例えば、横位置撮影や縦位置撮影）により撮影レンズ３の保持の仕方は変わるので、撮影レンズ３の円周上に複数のレンズ側生体センサ部８（８Ａ〜８Ｄ）を設けている。ここで、レンズ側生体センサ部８Ｂ〜８Ｄは、レンズ側生体センサ部８Ａと同様に、複数の電極部９、脈波検出装置１２、発汗センサ１３、湿度センサ１４及び圧力センサ１５を、それぞれ有している。このように、撮影レンズ３の円周上に複数のレンズ側生体センサ部８（８Ａ〜８Ｄ）を設けることにより左手の掌からも生体情報を検出することができる。なお、前述したように、本実施の形態では、ズーム操作位置やマニュアルフォーカス操作位置に応じて複数のレンズ側生体センサ部８（８Ａ〜８Ｄ）を設けているが、撮影者や撮影状態に応じて撮影レンズ３の保持の仕方が変った場合においても生体情報を検出できる位置であれば、複数のレンズ側生体センサを上述の位置以外の位置に設けてもよい。
【００１４】
なお、左手の親指が撮影レンズ３を保持する力はあまり大きくないので、レンズ側生体センサ部８Ｂ，８Ｃにおいては、左手の親指に対応する圧力センサ１５を省略してもよい。同様に、レンズ側生体センサ部８の検出精度を高くする必要がない場合には、左手の親指に対応する位置のセンサを適宜省略することにより、撮影レンズ３の部品点数を抑えることができる。また、レンズＣＰＵ７は、脈波検出装置１２の発光部１０ａ〜１０ｄに手指がかかっているときだけ発光するように制御してもよい。
【００１５】
図２に戻って、本実施の形態においては、撮影者の右の手指が触れる位置に撮影者の心拍数、血圧、発汗量、体温及びカメラ本体２を保持する圧力などを検出するカメラ本体側生体センサ部１６を有している。図５に示すようにカメラ本体側生体センサ部１６は、複数の電極部９と同様の構成を有する複数の電極部１７と、脈波検出装置１２と同様の構成を有する脈波検出装置２０とを有している。即ち、図６（ａ）に示すように複数の電極部１７は、互いに分離した複数の基準電極１７ａ、検出電極１７ｂを有している。また図６（ｂ）に示すように脈波検出装置２０は、複数の発光部１８ａ〜１８ｄと複数の受光部１９ａ〜１９ｄとを有して脈波を検出する。また、カメラ本体側生体センサ部１６は、撮影者の発汗量を検出する発汗センサ２１、撮影者の体温を検出する温度センサ２２、及び撮影者がカメラ本体２を保持する圧力を検出する圧力センサ２３を備えている。
【００１６】
なお、図２からも明らかなように、撮影者がカメラ本体２を保持する場合は、右手の親指がカメラ本体２の背面に位置し、右手の人差し指がレリーズＳＷ２４の近傍に位置し、他の３本の指と離れてしまう。このためカメラ本体側生体センサ部１６は、右手の親指に対応してカメラ背面位置と、レリーズＳＷ２４の近傍と、他の３本の指がカメラ本体２を保持するカメラ前面位置とに離間して設けられている。なお、レリーズＳＷ２４に本体側センサ部１６を設けても構わない。ここでカメラ背面位置及びカメラ前面位置に設けられているカメラ本体側生体センサ部は、図示を省略しているがカメラ本体側生体センサ部１６と同様な構成を有する。なお、カメラ本体２においては、他の３本の指がカメラ本体２を保持するカメラ前面位置と、右手の親指に対応したカメラ背面位置との少なくとも一方がカメラ本体２を保持するための保持部ということができる。また、カメラ本体２の背面には、いくつかの操作ＳＷが設けられており、これらの操作ＳＷは右手親指で操作される。このため、本実施の形態においては、右手の親指により操作されるＳＷと、レリーズＳＷ２４の少なくとも一方がカメラ本体２を操作するための操作部である。また、カメラ本体２の上面には撮影モードを設定するための撮影モードＳＷ２５が設けられている。
【００１７】
図１に戻って、カメラ本体２は、撮影レンズ３からの光束を反射して後述のファインダー光学系２６に導く位置（反射位置）と、撮影レンズ３からの光束がＣＣＤまたはＣＭＯＳなどから構成される撮像素子２７に入射するように退避する退避位置とで可動する可動ミラー２８と、可動ミラー２８の一部が半透過領域となっており、この半透過領域を透過した光束を位相差式で焦点検出を行う焦点検出センサ２９へ反射するサブミラー３０とを有している。可動ミラー２８で反射された光束は、焦点板３１、ペンタプリズム３２を介してファインダー光学系２６へ導かれる。ファインダー光学系２６は、複数のレンズから構成されており、撮影者はファインダー光学系２６により被写界を確認することができる。一方、可動ミラー２８が退避位置にあるときには、撮影レンズ３からの光束は、ローパスフィルタ３３を介して撮像素子２７に入射する。ここで撮像素子２７の近傍には撮像基板３４が設けられている。
【００１８】
図７はカメラシステム１のブロック図であり、図１に加えて図７を参照して説明を続ける。撮像基板３４は、撮像素子２７を駆動する駆動回路３４Ａ、撮像素子２７の出力をデジタル信号に変換するＡ／Ｄ変換回路３４Ｂ及びＡＳＩＣで構成される画像処理制御回路３４Ｃなどを有している。この画像処理制御回路３４Ｃは、デジタル信号に変換された画像信号に対してホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を施すと共に、ＪＰＥＧなどの画像圧縮を行う。この画像圧縮された画像は、画像記録媒体３５に記憶されると共に、背面液晶モニタ制御回路３６の制御により、背面液晶モニタ３７に画像（ライブビュー画像）が表示される。また、背面液晶モニタ制御回路３６は、可動ミラー２８が退避位置にある場合に、ファインダー視野内に情報を表示する、図示しない表示部に画像（ライブビュー画像）を表示することも可能である。
【００１９】
また、撮像基板３４は、撮像素子２７からの信号の高周波成分を抽出して、これが最大になるフォーカスレンズ位置を検出するコントラストＡＦ回路３４Ｄを有している。コントラストＡＦ回路３４Ｄには、画像処理制御回路３６Ｃからの画像信号が入力される。コントラストＡＦ回路３４Ｄは、撮像信号からバンドパスフィルタを用いて所定の高周波成分を抽出し、ピークホールドや積分等の検波処理を行ってＡＦ評価値信号を生成しＣＰＵ４４に出力する。
【００２０】
また、前述のライブビュー画像に後述のマイク４２で収集した音声をつけて、ＭＰＥＧやＨ．２６４のなどの処理を行なうことにより動画を生成することができる。動画のフレームレートとしては例えば３０ｆｐｓを設定することができる。カレンダー部３８は、水晶発振子や計時用集積回路を有しており、年，月，日，時，分といったカレンダー情報を自動的に計時する。ＥＥＰＲＯＭ（electrically erasable programmable read only memory：電気的に消去可能かつプログラム可能なＲＯＭ）３９は、カメラの調整値、設定値を記憶しておく記憶装置であり、ＡＦ調整データ、ＡＥ調整データ等のほかに製造時の年月日時間データなどを記憶している。また、ＥＥＰＲＯＭ３９には、人間の生体情報値が記憶されている。本実施の形態においては、ＥＥＰＲＯＭ３９は生体情報値として心拍数、血圧、体温、カメラ本体２を保持する圧力（保持力)、撮影レンズ３を保持する圧力（保持力）を記憶している。なお、生体情報は、撮影者の平常時の生体情報が予め測定され記憶されたものである。また、この生体情報値は、撮影者を特定したデータとして記憶させておいてもよい。
【００２１】
カメラ本体２は、ペンタプリズム３２の近傍に被写界の輝度を測定する測光センサ４０を有すると共に、ペンタプリズム３２の上方にＧＰＳ（Global Positioning System：全地球測位システム）モジュール４１を備えており、ＧＰＳ衛星からの信号を受信して測位情報（緯度、経度、高度）を取得する。また、カメラ本体２は、撮影レンズ３が搭載されるマウント部で撮影レンズ３と干渉しない位置に被写界の音を録音するマイク４２を備えると共に、ファインダー光学系２６の近傍にスピーカ４３を備えている。なお、レリーズＳＷ２４は、２段式のスイッチであり、撮影者がレリーズＳＷ２４を半押しした際に、レンズ側生体センサ部８及びカメラ側生体センサ部１６による撮影者の生体情報の検出を開始すると共に、撮影準備動作（例えば、オートフォーカスや測光）を行い、撮影者がレリーズＳＷ２４を全押しした際に、撮影（静止画や動画）指示を行うスイッチである。
【００２２】
本体ＣＰＵ４４は、レンズＣＰＵ７と協働して、カメラシステム１の全体を制御するものであり、本実施の形態においては、レンズ側生体センサ部８及びカメラ側生体センサ部１６の出力に基づいて撮影者の生体情報を取得して、カメラシステム１の設定や操作のアシストなどの制御を行うものである。以下、レンズ側生体センサ部８及びカメラ側生体センサ部１６の撮影者の生体情報の取得について説明を行う。
【００２３】
（心拍数測定）
前述のように、撮影者が左手で撮影レンズ３を保持する位置には複数の電極部９の基準電極９ａ及び検出電極９ｂが設けられており、撮影者が右手でカメラ本体を保持する位置には複数の電極部１７の基準電極１７ａ及び検出電極１７ｂが設けられている。検出電極９ｂ，１６ｂからの検出電位は、不図示の差動増幅器で電位差が増幅されて本体ＣＰＵ４４へ出力される。本体ＣＰＵ４４は、検出電極９ｂ，１６ｂの電位差に基づいて、撮影者の心拍数を演算する。なお、例えば撮影者が撮影レンズ３を保持していない場合には、撮影者の左手が基準電極９ａ、検出電極９ｂに触れていないので、基準電極９ａと検出電極９ｂとの間がオープンとなる。レンズＣＰＵ７は、基準電極９ａと検出電極９ｂとの間がオープンの場合には、撮影者が撮影レンズ３を保持していないと判断する。同様に、本体ＣＰＵ４４は、複数の電極部の基準電極１７ａと検出電極１７ｂとの間がオープンの場合には、撮影者がカメラ本体２を保持していないと判断する。
【００２４】
（血圧測定）
脈波検出装置１２，２０は、撮影者の血圧を測定するものである。なお、脈波検出装置１２と脈波検出装置２０は同様の構成を有するため、脈波測定の詳細な説明は、脈波検出装置１２についてのみ行う。脈波検出装置１２においては、複数の発光部１０から例えば赤外線を射出し、この赤外線が指の動脈で反射され、この反射された赤外線を赤外線センサである受光部１１において受光して手の指部の脈波を検出する（末梢血管の血流量を検出する）。本体ＣＰＵ４４は脈波検出装置１２からの脈波に基づいて撮影者の血圧を演算する。レンズＣＰＵ７は、複数の電極部９の基準電極９ａと検出電極９ｂとの出力から撮影者のある指（例えば小指）が撮影レンズ３に触れていないと判断した場合に、小指に対応して配置された発光部１０の発光を禁止するようにすれば、無駄な発光を防止すると共に、被写界に迷光を射出することもない。同様に、本体ＣＰＵ４４は、複数の電極部１７の基準電極１７ａと検出電極１７ｂとの出力に基づいて、例えば撮影者の親指がカメラ本体２に触れていないときに、脈波検出装置２０の発光部１８の発光を禁止してもよい。
【００２５】
（発汗測定）
発汗は手のインピーダンスを測定することにより検出することができる。発汗センサ１３，２１は、複数の電極を有して発汗を検出するものである。なお、複数の電極の一部として基準電極９ａ、基準電極１７ａを兼用してもよい。発汗センサ１３は、レンズ側生体センサ部８Ａ〜８Ｄのそれぞれに設けられているが、感動、興奮、緊張といったような精神性発汗は、発汗量が少なく、発汗時間も短いので、指よりも発汗量が多い中手の掌側に位置するレンズ側生体センサ部８Ｂ，８Ｃだけに設けてもよい。
【００２６】
（温度測定）
温度センサ１４，２２は、熱により抵抗値が変化するサーミスタ方式を用いている。発汗には前述の精神性発汗と、体温調節のための温熱性発汗とがあり、精神性発汗と温熱性発汗とは相互干渉している。このため、本体ＣＰＵ４４は発汗センサ１３，２１の出力と、温度センサ１４，２２の出力とに基づいて撮影者の発汗が精神性発汗か温熱性発汗かを判断することができる。例えば、本体ＣＰＵ４４は、温度センサ２２により検出した温度が高く、発汗センサ２１からの発汗信号が常時検出される場合に温熱性発汗と判断することができる。また、本体ＣＰＵ４４は、発汗センサ２１からの発汗信号が不規則に出力される場合に精神性発汗と判断して、撮影者が感動、興奮、緊張といった状態であることを検出できる。なお、温度センサ１４，２２を省略した場合には、本体ＣＰＵ４４は、ＧＰＳモジュール４１の位置情報やカレンダー部３８からの日時情報などに基づいて、発汗センサ１３，２１からの発汗信号が精神性発汗か温熱性発汗かを判断してもよい。更に、レンズＣＰＵ７が発汗センサ１３の出力や温度センサ１４に基づいて、左手の汗が精神性発汗か温熱性発汗かを判断するようにしてもよい。
【００２７】
（圧力測定）
圧力センサ１５は、静電容量型のセンサであり、撮影者が撮影レンズ３を保持した際の押圧力による変形量を測定するものである。本実施の形態において圧力センサ１５は、操作ゴムの下方に設けられている。圧力センサ２３も同様の静電容量型のセンサであり、撮影者がカメラ本体２を保持した際の押圧力による変形量を測定するものである。なお、圧力センサ１５，２３として歪ゲージや、電歪素子などを用いたものを適用してもよい。
【００２８】
図８は、本体ＣＰＵ４４の制御による撮影者の生体情報の検出及び生体情報を用いた撮影アシスト処理を示すフローチャートである。なお、カメラ本体２のメインスイッチが入っている状態であり、ライブビューモードが設定されているものとして以下説明する。
【００２９】
本体ＣＰＵ４４は、撮像素子２７から出力される画像データを取得し（ステップＳ１０）、背面液晶モニタ制御回路３６の制御により背面液晶モニタ３７に画像（ライブビュー画像）を表示させる（ステップＳ１１）。そして、本体ＣＰＵ４４は、取得した画像データから被写体の特徴部位の抽出を行うことができたか否かを判断する（ステップＳ１２）。即ち、取得した画像データにおいて、被写体に含まれている人物の顔を認識する顔認識処理により人物の顔が特徴部位として抽出できたか否かの判断を行い、人物の顔が特徴部位として抽出できた場合には、撮影者の生体情報の取得を行う（ステップＳ１３）。なお、ここでは人物Ａのみが被写体に含まれており、人物Ａの顔がステップＳ１２において認識されたとして説明を行う。
【００３０】
本体ＣＰＵ４４は、レンズＣＰＵ７と連動してレンズ側生体センサ部８及びカメラ側生体センサ部１６により、人物Ａを認識した時点における、撮影者の生体情報として撮影者の心拍数、血圧、発汗状態、体温、カメラ本体２及び撮影レンズ３を保持する圧力（保持力）を検出する。ここで、撮影者の心拍数、血圧に基づく、人物Ａを認識した時点における撮影者の総合的な興奮度合いＥＳＡの算出について説明する。ＥＥＰＲＯＭ３９に記憶されている撮影者の平常時の心拍数がＣ０であり、人物Ａを認識した時点における撮影者の心拍数がＣである場合に、その差分ｄＣ（＝Ｃ−Ｃ０）と、心拍数から求められる興奮度合ＥＣが一次的な関係であるとすれば、心拍数から求められる興奮度合は、
ＥＣ＝ｋｃ×ｄＣ
により求められる。なお、ｋｃは、心拍数が興奮度にどれくらい寄与するかを予め実験などにより求め、それに基づいて定めた所定の係数である。
【００３１】
また、ＥＥＰＲＯＭ３９に記憶されている撮影者の平常時の血圧がＢ０であり、人物Ａを認識した時点における撮影者の血圧がＢである場合に、その差分ｄＢ（＝Ｂ−Ｂ０）と、血圧から求められる興奮度合ＥＢが一次的な関係であるとすれば、血圧から求められる興奮度合は、
ＥＢ＝ｋＢ×ｄＢ
により求められる。なお、ｋＢは、血圧が興奮度にどれくらい寄与するかを予め実験などにより求め、それに基づいて定めた所定の係数である。
【００３２】
従って、撮影者の総合的な興奮度合いＥＳＡは、
ＥＳＡ＝ＥＣ＋ＥＢ
により求めることができる。そしてＥＳＡを人物Ａに対する撮影者の総合的な興奮度合いとして記憶する（ステップＳ１４）。
【００３３】
なお、撮影者の総合的な興奮度合いは、心拍数及び血圧に基づいて算出されるものに限定されず、心拍数、血圧、発汗状態、体温、カメラ本体２及び撮影レンズ３を保持する圧力（保持力）の何れか、またはこれらの任意の組み合わせに基づいて算出してもよい。この場合においても、心拍数及び血圧に基づいて撮影者の総合的な興奮度合いを算出す場合と同様に、ＥＥＰＲＯＭ３９に記憶されている撮影者の平常時の生体情報と、人物Ａを認識した時点における撮影者の生体情報の差分に基づいて算出することができる。さらに、ＧＰＳモジュール４１の出力、マイク４２の出力を用いて、算出された撮影者の総合的な興奮度合いを修正するようにしてもよい。
【００３４】
次に、本体ＣＰＵ４４は、図９（ａ）に示すように、ステップＳ１２において抽出した人物の顔の領域を点線の四角形枠でエリア表示し（ステップＳ１５）、本体ＣＰＵ４４は、人物Ａの特徴部位の重要度ＩＡを算出する（ステップＳ１６）。特徴部位の重要度の算出は、撮影者の総合的な興奮度合い、特徴部位の画面中央部からの距離及び画面全体の面積に対する特徴部位の面積の割合を用いて行う。即ち、撮影者の総合的な興奮度合いＥＳＡが大きい場合に重要度が高くなるように、また図９（ｂ）に示すように、人物Ａの特徴部位の画面中央部Ｏからの距離ＬＡを算出し、ＬＡが小さい場合に重要度が高くなるように、特徴部位の面積がＳＡであり画面全体の面積がＳである場合に、ＳＡ／Ｓを算出し、ＳＡ／Ｓが大きい場合に重要度が高くなるように、人物Ａの特徴部位の重要度ＩＡを算出して記憶する。
【００３５】
次に、本体ＣＰＵ４４は、特徴部位の重要度が最も高い特徴部位を選択し、そのエリア表示を実線の四角形枠に変更する（ステップＳ１７）。ここで図９（ｂ）においては、人物Ａの顔の領域に実線の四角形枠が表示されているが、これは特徴部位が１つだけであるため人物Ａの特徴部位の重要度ＩＡが最も高いと判断されるためである。なお、重要度の最も高い特徴部位に実線の四角形枠を表示することから重要度の高い被写体の移動を容易に認識することができる。次に、レリーズＳＷ２４が半押しされた否かを判断し（ステップＳ１８）、レリーズＳＷ２４が半押しされていればステップＳ１９へ進み、レリーズＳＷ２４が半押しされていなければステップＳ１２の処理に戻り、ステップＳ１２〜ステップＳ１８の処理を繰り返す。
【００３６】
図１０（ａ）は、人物Ａの特徴部位を抽出しその重要度ＩＡを算出した後に、人物Ｂの特徴部位を抽出し、その重要度ＩＢを算出した状態を示すものである。ここで人物Ｂの特徴部位の重要度ＩＢは、人物Ａの特徴部位の重要度ＩＡの算出と同様にして行う。なお、人物Ａの特徴部位の重要度ＩＡは、距離ＬＡ、割合ＳＡ／Ｓが変化していることから再度算出される。そして、人物Ａの特徴部位の重要度ＩＡと人物Ｂの特徴部位の重要度ＩＢを比較し、重要度の高いほうの特徴部位を選択し、その人物の顔の領域に実線の四角形枠が表示され、低いほうの人物の顔の領域に点線の四角形枠が表示される。この場合には、人物Ａの特徴部位の重要度ＩＡよりも人物Ｂの特徴部位の重要度ＩＢの方が高くなったことから、人物Ｂの顔の領域に実線の四角形枠が表示され、人物Ａの顔の領域に点線の四角形枠が表示されている。
【００３７】
図１０（ｂ）は、人物Ａ，Ｂの特徴部位を抽出しその重要度ＩＡ，ＩＢを算出した後に、人物Ｃの特徴部位を抽出し、その重要度ＩＣを算出した状態を示すものである。ここで人物Ｃの特徴部位の重要度ＩＣは、人物Ａの特徴部位の重要度ＩＡの算出と同様にして行う。なお、人物Ａ，Ｂの特徴部位の重要度ＩＡ，ＩＢは、距離ＬＡ，ＬＢ、割合ＳＡ／Ｓ，ＳＢ／Ｓが変化していることから再度算出される。そして、人物Ａの特徴部位の重要度ＩＡ、人物Ｂの特徴部位の重要度ＩＢ及び人物Ｃの特徴部位の重要度ＩＣを比較し、最も重要度の高い特徴部位を選択し、その人物の顔の領域に実線の四角形枠が表示され、その他の人物の顔の領域に点線の四角形枠が表示される。この場合には、人物Ａ，Ｂの特徴部位の重要度ＩＡ，ＩＢよりも人物Ｃの特徴部位の重要度ＩＣが高くなったことから、人物Ｃの顔の領域に実線の四角形枠が表示され、人物Ａ，Ｂの顔の領域に点線の四角形枠が表示されている。
【００３８】
なお、通常は、人物の特徴部位の画面中央部Ｏからの距離が小さい場合に重要度が高くなり、画面全体の面積に対する特徴部位の面積が大きい場合に重要度が高くなるが、撮影者の総合的な興奮度合いが極めて大きい場合等には、人物の特徴部位の画面中央部Ｏからの距離が大きく、画面全体の面積に対する特徴部位の面積が小さい場合においても、特徴部位の重要度が高くなる場合がある。即ち、図１１においては、人物Ａ，Ｃの特徴部位の重要度ＩＡ，ＩＣよりも人物Ｂの特徴部位の重要度ＩＢが高いことから、人物Ｂの顔の領域に実線の四角形枠が表示され、人物Ａ，Ｃの顔の領域に点線の四角形枠が表示されている。
【００３９】
なお、重要度が最も高いと判断された特徴部位が移動した場合には、その移動量を検出し、実線のエリア表示と共にその移動量及び移動方向を示す矢印などの識別表示を行うようにしてもよい。この場合には、重要度の高い特徴部位が小さく表示されており四角形枠の識別が困難な場合であっても、その移動量及び移動方向を容易に認識することができる。
【００４０】
本体ＣＰＵ４４は、ステップＳ１８においてレリーズＳＷ２４が半押しされていると判断した場合には、撮影準備として自動焦点調整、自動露出調整を行う（ステップＳ１９）。自動焦点調整は、重要度が最も高いと判断されている特徴部位を自動焦点調整領域に設定してコントラストＡＦ回路３４Ｄを用いて自動焦点調整制御を行う。また、自動露出調整は、重要度が最も高いと判断されている特徴部位が最適な露出となるように自動露出調整を行う。
【００４１】
次に、本体ＣＰＵ４４は、レリーズＳＷ２４が全押しされているか否か判断し（ステップＳ２０）、全押しされている場合には撮影を実行する（ステップＳ２１）。この撮影は、例えば、撮影モードＳＷ２５または不図示の設定ＳＷの設定に応じて静止画または動画の撮影を行うものである。静止画撮影または動画撮影の設定は、撮影モードＳＷ２５で選択するようにしてもよく、また、動画撮影専用のスイッチを設けてもよい。次に、本体ＣＰＵ４４は、撮影された被写体の画像データをＥｘｉｆなどの所定のファイル形式で画像記憶媒体３５に記憶する（ステップＳ２２）。この場合に撮影者の生体情報、特徴部位情報及び特徴部位の重要度情報の中の少なくとも１つを画像データを記憶するファイルのヘッダー情報として記憶する。
【００４２】
本実施の形態による撮像装置においては、撮影者の生体情報と画像データから抽出された特徴部位との関係を考慮して最適な撮影アシストを行うことができる。
【００４３】
なお、上述の実施の形態に係るカメラシステム１では、可動ミラー２８を備えたレンズ交換式の一眼レフカメラシステムを例に取って説明したが、可動ミラー２８やペンタプリズム３２などを省略したミラーレスのレンズ交換式カメラにも本実施の形態に係るレンズ側生体センサ部８及びカメラ側生体センサ部１６の出力を用いた撮影アシスト機能を採用することができる。
【００４４】
また、上述の実施の形態では、レンズ側生体センサ部８及びカメラ側生体センサ部１６を用いて撮影者の両手からの生体情報を検出したが、例えば、発汗センサ１３，２１、温度センサ１４，２２、圧力センサ１５，２３は片手からの検出結果でも構わない。他のセンサにおいても検出方法に応じて片手からでも検出できるようになれば、片手からの検出結果でも構わない。
【００４５】
更に、レンズ側生体センサ部８及びカメラ側生体センサ部１６に代えて、ウエアラブル型の生体センサを用いてもよい。もしくは、レンズ側生体センサ部８及びカメラ側生体センサ部１７と、ウエアラブル型の生体センサとを協働して使用するようにしてもよい。ウエアラブル型の生体センサとしては、腕時計型の生体センサや指輪型の生体センサなどを用いることができる。この場合、近距離通信によりウエアラブル型の生体センサの出力をカメラ本体２に送信するようにすればよい。なお、腕時計型の生体センサは、例えば、特開２００５−２７０５４３号（米国特許第７５３８８９０号）に詳細が開示されている。
【００４６】
また、上述の実施の形態では、特徴領域の重要度の算出を、撮影者の総合的な興奮度合い、特徴部位の画面中央部からの距離及び画面全体の面積に対する特徴部位の面積の割合を用いて行っているが、特徴領域の重要度の算出を撮影者の総合的な興奮度合いのみに基づいて行ってもよい。また、撮影者の総合的な興奮度合い及び特徴部位の画面中央部からの距離、または撮影者の総合的な興奮度合い及び画面全体の面積に対する特徴部位の面積の割合を用いて特徴領域の重要度の算出を行ってもよい。
【００４７】
また、上述の実施の形態では、人物Ａのみが被写体に含まれており、人物Ａの顔が特徴部位として認識されたとして説明を行ったが、複数の人物が被写体に含まれており、複数の人物の顔が同時に特徴部位として認識された場合には、検出された撮影者の生体情報に基づいて算出された撮影者の総合的な興奮度合いは、顔が特徴部位として認識された複数の人物それぞれに対する総合的な興奮度合いとして用いる。
【符号の説明】
【００４８】
１…カメラシステム、２…カメラ本体、３…撮影レンズ、８（８Ａ〜８Ｄ）…レンズ側生体センサ部、１６…カメラ側生体センサ部、２６…ファインダー光学系、２７…撮像素子、２８…可動ミラー、３８…カレンダー部、４１…ＧＰＳモジュール、４２…マイク
【特許請求の範囲】
【請求項１】
撮影を行う撮影部と、
撮影者の生体情報の変化を検出する生体検出部と、
前記撮影部から出力される画像データから特徴部位を抽出する抽出部と、
前記生体検出部により検出された生体情報に基づいて前記抽出部により抽出された前記特徴部位の重要度を算出する重要度算出部と、
を備えることを特徴とする撮影装置。
【請求項２】
前記特徴部位の前記画像データに基づく画像の全領域に対する面積比を算出する面積比算出部と、
前記特徴部位の前記画像データに基づく画像の中心からの距離を算出する距離算出部と、
を備え、
前記重要度算出部は、更に前記面積比算出部により算出される面積比情報と前記距離算出部により算出される距離情報の少なくとも一方を参照して重要度を算出することを特徴とする請求項１記載の撮影装置。
【請求項３】
前記撮影部から出力される画像データに基づく画像の所定の自動焦点調整領域に対して焦点調整を行う焦点調整部と、
前記重要度算出部により算出された重要度に基づいて前記特徴部位を選択する選択部と、
前記選択部により選択された前記特徴部位を前記自動焦点調整領域に設定する自動焦点調整領域設定部と、
を備えることを特徴とする請求項１または２に記載の撮影装置。
【請求項４】
前記撮影部から出力される画像データに基づく画像の所定の自動露出調整領域を基準として露出調整を行う露出調整部と、
前記重要度算出部により算出された重要度に基づいて前記特徴部位を選択する選択部と、
前記選択部により選択された前記特徴部位を前記自動露出調整領域に設定する自動露出調整領域設定部と、
を備えることを特徴とする請求項１または２に記載の撮影装置。
【請求項５】
前記撮影部から出力される画像データに基づく画像を表示する表示部と、
前記重要度算出部により算出された重要度に基づいて前記特徴部位を選択する選択部と、
前記表示部に表示されている画像上に、前記選択部により選択された前記特徴部位を識別するエリア表示を行う表示制御部と、
を備えることを特徴とする請求項１または２に記載の撮影装置。
【請求項６】
前記撮影部から出力される画像データと共に、前記生体情報、前記特徴部位情報及び前記特徴部位の重要度情報の中の少なくとも１つを記憶することを特徴とする請求項１〜５の何れか一項に記載の撮影装置。
【請求項７】
前記撮影部から継続的に画像データを取得する動画像取得部と、
前記動画像取得部により取得した画像データに基づく画像を表示する表示部と、
前記重要度算出部により算出された重要度に基づいて前記特徴部位を選択する選択部と、
前記選択部により選択された前記特徴部位が移動した移動量を検出する移動量検出部と、
前記表示部に表示されている画像上に、前記移動量検出部により検出された移動量を識別表示する表示制御部と、
を備えることを特徴とする請求項１または２に記載の撮影装置。
【請求項１】
撮影を行う撮影部と、
撮影者の生体情報の変化を検出する生体検出部と、
前記撮影部から出力される画像データから特徴部位を抽出する抽出部と、
前記生体検出部により検出された生体情報に基づいて前記抽出部により抽出された前記特徴部位の重要度を算出する重要度算出部と、
を備えることを特徴とする撮影装置。
【請求項２】
前記特徴部位の前記画像データに基づく画像の全領域に対する面積比を算出する面積比算出部と、
前記特徴部位の前記画像データに基づく画像の中心からの距離を算出する距離算出部と、
を備え、
前記重要度算出部は、更に前記面積比算出部により算出される面積比情報と前記距離算出部により算出される距離情報の少なくとも一方を参照して重要度を算出することを特徴とする請求項１記載の撮影装置。
【請求項３】
前記撮影部から出力される画像データに基づく画像の所定の自動焦点調整領域に対して焦点調整を行う焦点調整部と、
前記重要度算出部により算出された重要度に基づいて前記特徴部位を選択する選択部と、
前記選択部により選択された前記特徴部位を前記自動焦点調整領域に設定する自動焦点調整領域設定部と、
を備えることを特徴とする請求項１または２に記載の撮影装置。
【請求項４】
前記撮影部から出力される画像データに基づく画像の所定の自動露出調整領域を基準として露出調整を行う露出調整部と、
前記重要度算出部により算出された重要度に基づいて前記特徴部位を選択する選択部と、
前記選択部により選択された前記特徴部位を前記自動露出調整領域に設定する自動露出調整領域設定部と、
を備えることを特徴とする請求項１または２に記載の撮影装置。
【請求項５】
前記撮影部から出力される画像データに基づく画像を表示する表示部と、
前記重要度算出部により算出された重要度に基づいて前記特徴部位を選択する選択部と、
前記表示部に表示されている画像上に、前記選択部により選択された前記特徴部位を識別するエリア表示を行う表示制御部と、
を備えることを特徴とする請求項１または２に記載の撮影装置。
【請求項６】
前記撮影部から出力される画像データと共に、前記生体情報、前記特徴部位情報及び前記特徴部位の重要度情報の中の少なくとも１つを記憶することを特徴とする請求項１〜５の何れか一項に記載の撮影装置。
【請求項７】
前記撮影部から継続的に画像データを取得する動画像取得部と、
前記動画像取得部により取得した画像データに基づく画像を表示する表示部と、
前記重要度算出部により算出された重要度に基づいて前記特徴部位を選択する選択部と、
前記選択部により選択された前記特徴部位が移動した移動量を検出する移動量検出部と、
前記表示部に表示されている画像上に、前記移動量検出部により検出された移動量を識別表示する表示制御部と、
を備えることを特徴とする請求項１または２に記載の撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１５１４６６（Ｐ２０１１−１５１４６６Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−９０６１（Ｐ２０１０−９０６１）
【出願日】平成２２年１月１９日（２０１０．１．１９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１月１９日（２０１０．１．１９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]