撮像装置および撮像方法
【課題】撮像装置が、撮像対象者の感情やその場の雰囲気に応じて所望するシーンを撮像
する。
【解決手段】ユーザーは、撮像条件記憶領域１２３に記憶された、撮像開始の条件である
撮像条件から望むシーンに応じた撮像条件を選択する。そして、マイク１３によって収音
された音声に基づいて、感情検出部１５２は、この音声に含まれる感情を検出する。検出
された感情が、選択された撮像条件における撮像開始の条件を満たす場合、自動で撮像が
行われる。
する。
【解決手段】ユーザーは、撮像条件記憶領域１２３に記憶された、撮像開始の条件である
撮像条件から望むシーンに応じた撮像条件を選択する。そして、マイク１３によって収音
された音声に基づいて、感情検出部１５２は、この音声に含まれる感情を検出する。検出
された感情が、選択された撮像条件における撮像開始の条件を満たす場合、自動で撮像が
行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像を行う撮像装置およびその撮像方法に関するものである。
【背景技術】
【０００２】
カメラ等の撮像装置において、静止画像または動画の撮像時には、撮像者がファインダ
ー等を通して撮像対象を決定し、撮像状況を自ら確認した後に、撮像者による撮像開始の
操作を介して、撮像が行われるのが通常である。このような撮像装置においては、撮像者
に撮像の準備が出来ていない場合、貴重な撮像機会を逃すことがある。また、撮像の操作
を行う撮像者が少なくとも１人必要となるため、静止画像撮像時においては撮像者が被写
体となることが出来ない。また、楽しい雰囲気になったときに撮像したいなどの要求があ
る場合には、撮像者が周囲の状況を常に気にかけている必要がある。
【０００３】
そこで、撮像者の操作を要することなく、外部からの入力情報をトリガーとして撮像装
置が自動で撮像を行う自動撮像の技術が開発されている。例えば、特許文献１には、ユー
ザーが撮像装置に撮像対象者の顔データを予め登録しておき、セルフタイマ撮像において
、顔検出部が画像信号から抽出した被写界における人物の抽出顔データと、登録された顔
データとに基づいて、撮像対象者の検出ができたと撮像装置が判定した場合に、自動撮像
のカウントダウンが開始される技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−８１５４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような特許文献１に記載の技術では、ユーザーが撮像対象者の顔データを予め撮
像装置に登録する必要があり、撮像対象者が多数に上る場合にはその登録に相当の手間を
要する。また、顔データにおける検出を撮像のトリガーとすると、被写界に撮像対象者が
存在しているかどうかだけが撮像開始の基準となるため、その撮像対象者の気分や場の雰
囲気に関わらず撮像が行われ、撮像者あるいは撮像対象者が望まないシーンが撮像されて
しまうような事態が生じる問題がある。
本発明は、撮像装置が、撮像対象者の感情やその場の雰囲気に応じて撮像を行うことを
目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明に係る撮像装置は、撮像を行う撮像手段と、収音を行
う収音手段と、前記収音手段によって収音された音声から当該音声の発話者の感情を認識
する感情認識手段と前記撮像手段が撮像を行う条件である撮像条件として、音声の発話者
の感情に関する条件を記憶する撮像条件記憶手段と、前記感情認識手段により認識された
感情が、前記撮像条件記憶手段に記憶されている撮像条件を満たす場合に、前記撮像手段
に撮像を行わせる撮像制御手段とを有することを特徴とする。
本発明によれば、撮像装置が、撮像対象者の感情やその場の雰囲気に応じて撮像を行う
ことが可能となる。
【０００７】
本発明において、前記撮像条件記憶手段は、複数種類の感情のうち少なくともいずれか
１種類の感情と、当該感情の度合いとを、前記撮像条件として記憶し、前記感情認識手段
は、前記収音手段によって収音された音声から当該音声の発話者の感情と当該感情の度合
いとを認識する構成としてもよい。
この構成によれば、感情の種類に応じた撮像だけではなく、感情の度合いをも考慮した
撮像を行うことができる。
【０００８】
本発明において、前記撮像手段によって撮像が行われた結果を表す撮像データを、当該
撮像が行われているときに前記感情認識手段によって認識された感情と、当該感情が認識
された時刻と対応付けて記憶する撮像データ記憶手段を有する構成としてもよい。
この構成によれば、ユーザーが撮像済みの撮像データを再生する際に、感情に注目して
検索を行うことが容易となる。
【０００９】
本発明において、さらに特定の発話者の音声の特徴を記憶する音声特徴記憶手段を備え
、前記撮像条件記憶手段は、前記音声特徴記憶手段に記憶された特徴を持つ音声の発話者
の感情に関する条件を記憶し、前記撮像制御手段は、前記収音手段により収音された音声
の特徴が前記音声特徴記憶手段に記憶された特徴に合致し、且つ、当該音声から前記感情
認識手段により認識された感情が、前記撮像条件記憶手段に記憶されている撮像条件を満
たす場合に、前記撮像手段に撮像を行わせる構成としてもよい。
この構成によれば、ユーザーは特定の人物に注目して撮像機会を狙うことが可能となる
。
【００１０】
本発明において、前記撮像条件記憶手段は、或る期間において変化する感情の度合いを
相対的に評価したときの評価値を前記撮像条件として記憶し、前記感情認識手段は、前記
収音手段によって収音された音声から当該音声の発話者の感情と当該感情の度合いとを認
識し、前記撮像制御手段は、前記感情認識手段により認識された感情の度合いを時系列に
記憶する感情記憶手段を有し、前記感情記憶手段により前記或る期間内に記憶された感情
の度合いが、前記撮像条件記憶手段により記憶された前記評価値を超える場合に、前記撮
像手段に撮像を行わせる構成としてもよい。
この構成によれば、ある期間内において、撮像対象者の感情もしくは場のムードが、比
較的高まった瞬間を逃さずに撮像が行われることが可能となる。
なお、本発明は、撮像装置のほか、撮像方法として概念することが可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における撮像装置の構成を表したブロック図である。
【図２】感情・音声パターンと音声数値との関係を二次元グラフで表した図である。
【図３】撮像条件記憶領域に記憶された個々の撮像条件における具体例を表した図である。
【図４】個別設定における静止画像の撮像タイミングを表した図である。
【図５】オート設定における静止画像の撮像タイミングを表した図である。
【図６】検出感情一時記憶領域に保存される検出感情データの例を表した図である。
【図７Ａ】静止画像撮像時における処理フロー図である。
【図７Ｂ】静止画像撮像時における処理フロー図である。
【図７Ｃ】静止画像撮像時における処理フロー図である。
【図８】動画撮像時の動作例を表した図である。
【図９Ａ】動画撮像時における処理フロー図である。
【図９Ｂ】動画撮像時における処理フロー図である。
【図９Ｃ】動画撮像時における処理フロー図である。
【図１０】撮像データ記憶領域に保存される撮像データの例を表した図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態について説明する。
（１）実施形態
図１は、本発明の実施形態における撮像装置１の構成を表したブロック図である。
撮像装置１は、制御部１１、記憶部１２、マイク１３、Ａ／Ｄ変換機１４、感情認識部
１５、時間計測部１６、表示部１７、操作部１８、撮像部１９及び電源部２０を備えてお
り、これらの各部はバス２１を介して互いに接続されている。制御部１１は、ＣＰＵ（Ce
ntral Processing Unit）１１１、ＲＡＭ（Random Access Memory）１１２およびＲＯＭ
（Read Only Memory）１１３を有する。ＣＰＵ１１１は、ＲＯＭ１１３に記憶されている
制御プログラムを読み出しＲＡＭ１１２にロードして実行することにより、撮像装置１の
各部を制御し、例えば表示機能、操作機能、撮像機能、感情認識機能などの各種機能を実
現する。ＲＡＭ１１２は、ＣＰＵ１１１が処理を行う際のワークエリアとなる。
【００１３】
記憶部１２は、感情・音声対応パターン１２１及びユーザー・音声対応パターン１２２
を記憶しているほか、撮像条件記憶領域１２３、検出感情一時記憶領域１２４及び撮像デ
ータ記憶領域１２５を有する。感情・音声対応パターン１２１は、例えば喜び、怒り、悲
しみ、笑い等の複数カテゴリーの感情と、人間がこれらの各感情を感じているときに発す
る音声の特徴（これを音声パターンという）を対応付けて記憶したデータベースである。
ここで例えば喜びの感情に対応した音声パターンとは、大量にサンプリングされた、人間
が喜んでいるときに発せられた複数の音声データから、ピッチ、抑揚、音の強度等の複数
に渡る各種パラメータにおいて共通してみられる特徴を抽出し、各パラメータについて求
められた平均値に基づいて、喜びの感情に対応する一つのパターンとして予め形作られた
音声データである。ユーザー・音声対応パターン１２２は、例えば「山本太郎」や「山田
花子」などの氏名、あるいは「父」などの続柄等、特定の人物を示す名称と、予め登録さ
れた各人物の音声の特徴とを対応付けて記憶したデータベースである。このユーザー・音
声対応パターン１２２は、撮像開始前にユーザーが予め登録を行うことにより記憶される
ものである。撮像条件記憶領域１２３は、撮像装置１が撮像を開始する際のトリガーとな
る撮像条件を複数記憶している。検出感情一時記憶領域１２４は、後述する感情検出部１
５２により検出された感情を表すデータ（検出感情データという）を時系列に記憶してい
く記憶領域であり、記憶されたデータは一定のタイミングで消去される。撮像データ記憶
領域１２５は、撮像された静止画像や動画の画像データが保存される記憶領域である。
【００１４】
マイク１３は、撮像装置１の周囲の音声を収集する収音装置である。図１においてマイ
ク１３は１つしか存在していないが、複数のマイクが撮像装置１に設けられてもよい。ま
た、マイク１３の設置位置は、撮像装置１においてレンズが備えられた側である被写体側
のみに設けられてもよいし、被写体側および被写体側の裏面である撮像者側の両側におい
て複数箇所に設けられても良い。Ａ／Ｄ変換機１４は、マイク１３により収音された音を
表すアナログの音声データを、デジタルの音声データに変換するものである。
【００１５】
感情認識部１５は、音声分析部１５１、感情検出部１５２、ユーザー音声登録部１５３
およびユーザー検出部１５４を有する。この感情認識部１５は、ＡＳＩＣ（Application
Specific Integrated Circuit）などの特定用途向けの集積回路によって構成されている
が、制御部１１のＣＰＵ１１１がコンピュータプログラムを実行することによって実現さ
れるものであってもよい。音声分析部１５１は、Ａ／Ｄ変換機１４によってデジタルに変
換された音声データについて、ピッチ、抑揚、音の強度等、複数のパラメータを用いて分
析を行い、音声データを定量的に数値化するものである。以降、音声データを音声分析部
１５１によって数値化したものを、「音声数値」と呼び、この音声数値の元となる音声を
発した人物を、「音声数値の持ち主」と呼ぶ。感情検出部１５２は、音声数値を感情・音
声対応パターン１２１と照会し、この音声数値に対応する感情のカテゴリーと、そのカテ
ゴリーにおける感情の度合いを検出するものである。ここで１つの音声数値につき検出さ
れる感情のカテゴリーは、１つのカテゴリーに限ったものではなく、例えばある音声数値
が笑いと喜びに判定された場合には、喜び度６０％、笑い度５０％といったように２つの
カテゴリーの感情が検出される。以降、感情検出部１５２により、ある音声数値から検出
された感情を「検出感情」と呼び、この検出感情の元となる音声を発した人物を、「検出
感情の持ち主」と呼ぶ。ユーザー音声登録部１５３は、音声分析部１５１によって分析さ
れた音声数値と、その音声を発した人物を特定する名称とを対応付けてユーザー・音声対
応パターン１２２に記憶するものである。ユーザー検出部１５４は、音声数値をユーザー
・音声対応パターン１２２と照会し、この音声数値の持ち主を検出する。このように、音
声分析部１５１、感情検出部１５２、ユーザー音声登録部１５３およびユーザー検出部１
５４の各部が相互に作用することにより、ある音声から特定の感情が検出される。また、
音声データ、音声数値および音声パターンは、いずれも何らかの形式を取った音声に関す
るデータであるが、それぞれの差異を説明する。音声データは、収音された音声に基づい
て生成されたデータである。この音声データは、アナログ、デジタルのいずれの形態にお
いても、何らかの処理が行われておらず、音声としてそのまま再生可能なデータである。
音声数値は、ある音声データに基づいて、この音声データにおける音声の特徴が抽出され
数値化されたものである。音声パターンは、特定の感情に対応した音声の特徴が抽出され
数値化された音声数値の集合である。
【００１６】
時間計測部１６は、待機時間計測タイマー１６１、判定期間計測タイマー１６２、及び
撮像時間計測タイマー１６３を有する。待機時間計測タイマー１６１は、静止画像撮像時
に、自動で撮像が行われた時点を開始時点として時間の計測を行う。この計測時間は、上
述した撮像条件において設定された待機時間（後述）が経過したかを判定するために用い
られる。判定期間計測タイマー１６２は、撮像装置１に電源が投入された後、最初の検出
感情が検出感情一時記憶領域１２４に保存された時点を開始時点として時間の計測を行う
。この計測時間は、撮像条件において設定された判定期間（後述）が経過したかを判定す
るために用いられる。撮像時間計測タイマー１６３は、動画撮像時に、自動で動画の撮像
が開始された時点を開始時点として時間の計測を行う。この計測時間は、撮像条件におい
て設定された撮像時間（後述）が経過したかを判定するために用いられる。
【００１７】
表示部１７は、液晶等で構成された表示体を有し、この表示体に、メニューや撮像中の
画像を表示したり、撮像データ記憶領域１２５に保存された撮像データを再生表示したり
する。操作部１８は、各種の操作ボタンや操作キーを有しており、操作されたボタンやキ
ーに応じた信号を制御部１１に供給する。これらの操作ボタンや操作キーは、例えば撮像
開始、撮像停止、撮像データ再生、動画撮像と静止画像撮像の切替、ユーザーにより撮像
の指示が直接操作される手動撮像モードと撮像装置１に撮像の判断を任せる自動撮像モー
ドの切替、およびメニュー表示等をユーザーが撮像装置１に指示するために用いられる。
撮像部１９は、撮像レンズ、固体撮像素子、アナログ信号処理部、Ａ／Ｄ変換機、発光部
、受光部、および、撮像レンズと固体撮像素子の間にそれぞれ設けられた絞り機構、赤外
線カットフィルタ、光学ローパスフィルタ等を備える。この撮像部１９は、操作部１８を
介してユーザーにより撮像を開始する操作が行われるか、もしくは撮像条件記憶領域１２
３に記憶されておりユーザーにより選択された撮像条件が満たされた場合に、静止画像も
しくは動画の撮像を行う。電源部２０は、バッテリーを有し、このバッテリーから撮像装
置１への電力供給を制御する。
【００１８】
図２は、感情・音声パターンと音声数値との関係を二次元グラフで表した図である。
この図２を用いて、ある音声数値から特定の感情が検出される際の仕組みを説明する。
音声分析部１５１は、前述したように、デジタルデータに変換された音声データについて
、ピッチ、抑揚、音の強度等、複数のパラメータを用いて分析を行い、音声データを定量
的に数値化する。そのため、音声数値は複数次元のパラメータを有しているが、本実施形
態のものは、これに主成分分析を行って全体の持つ情報量を保持しつつデータの次元を下
げている。ここでは、理解を容易にするため、音声数値および各カテゴリーの感情に紐付
けられた音声パターンを２次元まで下げたものとして説明を行う。ここで、二次元グラフ
はＸ軸およびＹ軸で構成され、二次元に変換された音声数値は二次元グラフ中の（Ｘ，Ｙ
）に相当する座標が与えられる。図２中の点Ａは、ある音声数値の二次元グラフ上の座標
である。図２における音声パターン領域３１〜３４は、感情・音声対応パターン１２１に
予め記憶されている複数のカテゴリーの感情に紐付けられた各音声パターンが存在する領
域を表し、それぞれ、笑いの音声パターン領域３１、喜びの音声パターン領域３２、怒り
の音声パターン領域３３、悲しみの音声パターン領域３４である。音声パターン領域３１
〜３４は、点ではなく、図２で表されるように例えば楕円形のような、一定の範囲を持っ
た領域として二次元グラフ上に割り当てられる。これは、あるカテゴリーの感情に紐付け
られた音声パターンは、前述したように多数のサンプリングされた音声データに基づいた
複数の音声数値より作成されたものであるため、ユーザー・音声対応パターン１２２に記
憶される音声数値のように１点に集約するものではなく、その特徴を表す範囲内に、該当
する音声数値が複数存在するからである。
【００１９】
感情検出部１５２により行われる、感情のカテゴリーおよびそのカテゴリーにおける感
情の度合いの判定は、いわゆるマハラノビスの距離に基づいている。マハラノビスの距離
というのは、カテゴリーのデータ中心（一般的に言えば、母集団の重心位置）から判定対
象となるデータまでの距離であって、この距離が短いほど判定対象のデータはそのカテゴ
リーの属性に近く、そのカテゴリーに属するする度合いが高い、つまり、感情の度合いが
高いということが出来る。尚、カテゴリーのデータ中心というのは、そのカテゴリーが有
する特徴量の平均値のことである。具体的に言えば、図２において、１つの音声パターン
は、２次元に変換された複数の特徴量を持っているから、各特徴量について、それぞれカ
テゴリー内の平均をとった２次元のデータが、カテゴリーのデータ中心である。図２に示
す点４１は笑いのカテゴリーのデータ中心であり、点４２は喜びのカテゴリーのデータ中
心であり、点４３は怒りのカテゴリーのデータ中心であり、点４４は悲しみのカテゴリー
のデータ中心である。感情検出部１５２は、音声数値を表す点Ａと、各カテゴリーのデー
タ中心とを比較して、各カテゴリーの感情における感情の度合いを算出し、次に、この音
声数値に該当する感情のカテゴリーを検出する。感情の度合いは、点Ａと各カテゴリーの
データ中心との間の距離に基づき、パーセンテージで算出される。点Ａとカテゴリーのデ
ータ中心の距離が近いほど、そのカテゴリーに該当する感情の度合いが大きく、距離が遠
ざかるにつれて、算出される感情の度合いは小さくなる。
【００２０】
感情検出部１５２は、各カテゴリーのデータ中心と、二次元グラフに割り当てられた音
声数値の座標との距離に基づいて、カテゴリー毎の感情の度合いを算出するための変換式
を記憶している。例えば図２において、点Ａは上述の変換式に基づいて、怒りの感情の度
合いが「５０％」と検出される。さらに、ある音声数値が或る感情のカテゴリーに属する
かどうかの判定は、上述の変換式に基づいてカテゴリー毎に算出された感情の度合いが、
予め定められた一定の値以上を満たした場合、そのカテゴリーの感情に該当するというふ
うになされる。この予め定められた一定の値とは、例えば「５％以上」であり、ＲＯＭ１
１３に予め変数として記憶されているものである。例えば図２において、点Ａにおける音
声数値から、怒り以外の各カテゴリーの感情について算出された感情の度合いが、予め定
められた一定の値に満たなかったとすると、感情検出部１５２は、点Ａにおける音声数値
に対して「怒り度５０％」の感情のみを検出する。なお、図２において図示された感情の
カテゴリーは「笑い」、「喜び」、「悲しみ」、「怒り」の４種類であるが、これに限ら
ず、さらに「興奮」、「平常」「リラックス」等の別のカテゴリーが追加されても良い。
ただし、その場合、各カテゴリーの感情と、その感情に対応する音声パターンを対応付け
た組が、感情・音声対応パターン１２１に予め記憶されている必要がある。
【００２１】
図３は、撮像条件記憶領域１２３に記憶された個々の撮像条件における具体例を表した
図である。
撮像条件５１〜５６は、ユーザーにより各々異なる設定がされ、撮像条件記憶領域１２
３に記憶された個々の撮像条件の例である。個々の撮像条件が有する設定項目として、「
モード」設定、「感情」設定、「感情認識対象者」設定、「待機時間」設定、「判定期間
」設定、及び「撮像時間」設定がある。以下では、説明の便宜上、感情設定、感情認識対
象者設定、待機時間設定、モード設定、判定期間設定、撮像時間設定という順序でその詳
細を説明していく。
【００２２】
まず、感情設定は、ユーザーが撮像を望むシーンに対応した感情のカテゴリーと、撮像
開始の基準に用いる該当カテゴリーにおける感情の度合いを表す数値との組み合わせを設
定する設定項目である。感情設定は、後述するモード設定において個別設定あるいはオー
ト設定のどちらが選択されたかによって、その設定内容が異なる。撮像条件５１〜５４は
、モード設定において個別設定が選択された撮像条件であり、撮像条件５５，５６は、モ
ード設定においてオート設定が選択された撮像条件である。モード設定において個別設定
が選択された場合、感情設定における感情の度合いは、撮像を開始する際の閾値が設定さ
れ、検出感情における感情の度合いが、この閾値を越えた場合に撮像が行われる。例えば
ユーザーが幸せなシーンの撮像を望み、モード設定において個別設定を選択した場合、撮
像条件５１のように、「喜び度が６０％以上」というような設定となる。モード設定にお
いてオート設定が選択された場合、感情設定における感情の度合いは、一定期間における
過去の複数の検出感情において最も高い感情の度合いを持つ検出感情を１００％としたと
きに、ある瞬間の検出感情が、一定期間における過去の複数の検出感情と相対的に比較し
て、上位何％に当たるか、といった相対的な基準で設定される。例えばユーザーが楽しい
シーンの撮像を望み、モード設定においてオート設定を選択した場合、撮像条件５５のよ
うに、「笑い度が一定期間における上位５％」というような設定となる。また、感情設定
においては、複数のカテゴリーの感情を、ａｎｄ条件もしくはｏｒ条件で組み合わせて設
定することが可能である。例えば、撮像条件５３は、ユーザーが楽しいシーンの撮像を望
んだ際の設定の一例である。この撮像条件５３では、喜び度が６０％以上、又は笑い度が
５０％以上、という感情設定がされており、どちらか一方あるいは両方の条件を満たした
場合に撮像が行われる。また、撮像条件５４では、怒り度６０％以上、及び悲しさ度４０
％以上、という感情設定がされており、両方の条件を満たした場合にのみ撮像が行われる
。
【００２３】
感情認識対象者設定は、ユーザーが撮像を望む対象者を設定する設定項目である。例え
ば特定のユーザーＡを撮像したいとユーザーが思った場合、撮像条件５２のように、感情
認識対象者にユーザーＡを設定する。ここで設定できる特定の個人は、予めユーザー音声
登録部１５３を介してユーザー・音声対応パターン１２２に音声数値が登録されたユーザ
ーに限る。感情認識対象者にユーザーＡが設定された場合、ユーザー検出部１５４は、音
声分析部１５１によって音声データが分析された結果である音声数値と、ユーザー・音声
対応パターン１２２に予め記憶されたユーザーＡの音声数値の比較を行い、両者の間に一
定以上の相似が見られるかどうかの判定を行う。この判定の結果、両者の間に一定以上の
相似が見られた場合、ユーザー検出部１５４は、この音声数値の持ち主としてユーザーＡ
を検出する。ユーザー検出部１５４は、この判定の結果および検出した音声数値の持ち主
をＣＰＵ１１１に通知する。ここで、両者の間に一定以上の相似が見られないとユーザー
検出部１５４が判定した場合、ＣＰＵ１１１は、通知された判定に基づいて、音声を発し
た人物が設定された感情認識対象者と異なる、すなわち撮像条件が満たされていないと判
断し、撮像部１９に撮像の旨を指示しない。また、特定の人物に限らず、場のムードに合
わせて撮像したいと思った場合、ユーザーは、感情認識対象者として「雰囲気」という内
容を設定する。ここで雰囲気とは、実際にはマイク１３で収音される際に複数の人物によ
り音声が発せられていた場合の、この複数の音声の合成である。感情認識対象者に雰囲気
が設定された場合、合成された音声から音声分析部１５１が算出した音声数値において特
徴的な感情が検出される。
【００２４】
待機時間設定は、静止画像撮像時のみ有効となる設定項目であり、選択された撮像条件
が満たされ自動で撮像が行われた後、次にこの撮像条件を満たしても撮像を行わず待機す
る時間の間隔を設定するものである。前述したように、検出感情が撮像条件を満たす場合
には撮像が行われるが、このような撮像条件を満たす検出感情に対応するような音声は一
定時間継続して発生する可能性が高い。このような場合、検出感情が撮像条件を満たして
いる時間帯において制限なく撮像を自動的に繰り返すと、同じような撮像データが大量に
記憶されることによって、短時間で撮像データ記憶領域１２５が要領オーバーになってし
まい、その後の多様な撮像機会を逃すような事態に陥ることがある。この待機時間設定は
、そのような問題を防止するために設定される。静止画像撮像時に、例えば待機時間に１
分が設定された撮像条件５１が選択された場合、撮像条件が満たされて自動で撮像が行わ
れた後、この撮像時点から１分が経過するまでの期間は、再び撮像条件を満たすことがあ
っても、ＣＰＵ１１１は撮像部１９に対して撮像の旨を通知することはない。つまり、こ
の間、撮像装置１は撮像待機状態にある。そして、待機時間計測タイマー１６１により上
記の１分が経過すると、待機時間計測タイマー１６１は設定された待機時間が経過した旨
をＣＰＵ１１１に通知する。この通知に従って、ＣＰＵ１１１は撮像待機状態を解除し、
この解除以降において撮像条件が満たされる場合には、自動で撮像が行われる。なお、動
画撮像時には待機時間設定が無効であるが、これは、動画の場合、一度撮像が開始されれ
ば、ユーザーにより撮像停止の操作が行われるか、あるいは撮像部１９がＣＰＵ１１１よ
り撮像終了の通知を受けるまでは、撮像が継続して行われ、再度撮像開始の指示を受ける
必要がないからである。
【００２５】
モード設定は、検出感情における感情の度合いの判定方法が異なるモードを切り替える
ための設定項目である。このモード設定で設定されるモードには、個別設定とオート設定
があり、これらは、感情設定の設定内容および判定期間設定の設定の有無が異なる。
まず、個別設定は、撮像装置１が自動で撮像を開始する際の基準となる個々の設定項目
を、ユーザーの好みに応じて個別に設定する際のモードである。個別設定においては、判
定期間設定は設定不要のため、モード設定に個別設定が選択されると、判定期間設定は、
例えば「−」のように表示され、設定することが出来ないようになるか、もしくは設定を
行っても動作に影響しないようになっている。また個別設定においては、前述したように
、感情設定における感情の度合いは、撮像を開始する際の閾値が設定される。すなわち、
個別設定において撮像条件が満たされた場合、ＣＰＵ１１１は、撮像部１９に対して撮像
の旨を通知し、撮像部１９は、この通知に従ってユーザーの操作を介することなく、静止
画像もしくは動画の撮像を行う。
【００２６】
次に、オート設定は、個別設定のように撮像開始の閾値として感情の度合いの絶対値を
設定するものではなく、一定期間における相対的な感情の度合いを撮像開始のトリガーと
するモードである。このオート設定は、例えばユーザーが楽しいシーンを撮像したいと思
った時に、ある一定期間において、絶対的にそれ程盛り上がっている状況でなくとも、そ
の中から比較的盛り上がっているタイミングを狙って撮像したい場合に選択される。この
オート設定における感情のカテゴリー、感情認識対象者および待機時間における設定は、
個別設定と同じであるが、前述したように、感情の度合いにおける設定が個別設定と異な
り、さらに判定期間の設定が有効になっている。オート設定の撮像条件が選択されると、
時系列に沿って検出される検出感情が、検出感情一時記憶領域１２４に蓄積されていく。
そして、後述する判定期間に設定された時間が経過すると、ＣＰＵ１１１により、その後
最も新しく検出された検出感情と、判定期間中に検出感情一時記憶領域１２４に蓄積され
た複数の検出感情との比較が行われる。すなわち、撮像条件５５が選択された際を例にあ
げると、判定期間に設定された１分間は、撮像が行われることなく、その都度の検出感情
が検出感情一時記憶領域１２４に蓄積して記憶される。そして、判定期間に設定された１
分間が経過すると、以降の検出感情について、検出感情一時記憶領域１２４に蓄積された
複数の検出感情のうち最も高い感情の度合いを持つ検出感情を１００％としたときに、以
降の検出感情における感情の度合いが、検出感情一時記憶領域１２４に蓄積された複数の
検出感情と比較して上位５％に当たるかどうかの判定が行われる。
【００２７】
判定期間設定は、モード設定がオート設定の際に有効となる設定項目である。判定期間
設定では、撮像を行わずに音声を収音し、その音声から得られた検出感情を検出感情一時
記憶領域１２４に保存する初期期間と、この初期期間経過後に、検出感情一時記憶領域１
２４に蓄積保存された複数の検出感情における比較範囲を更新する周期とが設定される。
例えば撮像条件５６が選択された場合、撮像装置１に電源が投入された後、最初の検出感
情が検出感情一時記憶領域１２４に保存された時点を開始時点として判定期間計測タイマ
ー１６２によって時間の計測が行われる。そして、初期期間に設定された３分間が経過し
た事を判定期間計測タイマー１６２がＣＰＵ１１１に通知するまでは、撮像が行われるこ
となく、経過する時間に沿ってその都度検出された検出感情が検出感情一時記憶領域１２
４に保存される。判定期間計測タイマー１６２から、初期期間に設定された３分間が経過
したことがＣＰＵ１１１に通知されると、ＣＰＵ１１１は、３分間経過以降における検出
感情を、その前の３分間に検出感情一時記憶領域１２４に蓄積された複数の検出感情と比
較して、感情設定に設定された感情の度合いを満たすかどうかの判定を行う。ここで、初
期期間経過以降の検出感情が、感情設定に設定された感情の度合いをしばらく満たさない
状態が続き、判定期間設定に設定された周期である１分間がさらに経過すると、検出感情
一時記憶領域１２４に蓄積された複数の検出感情における比較範囲が更新される。すなわ
ち、初期期間の３分間と周期に設定された１分間を合計した４分間に、検出感情一時記憶
領域１２４に蓄積された複数の検出感情が比較範囲となる。このように比較範囲を更新す
る周期を設定する理由は、一定のタイミングで比較範囲を更新する都度、比較対象の母数
が増え、比較が行われた際の判定の精度が向上するためである。
【００２８】
撮像時間設定は、動画撮像時に、自動撮像が開始されてから動画を撮像し続ける時間を
設定する設定項目である。この撮像時間設定は、動画撮像時にのみ有効となり、静止画像
撮像時には無効となり、動作に影響を及ぼすことは無い。撮像時間計測タイマー１６３は
、自動で動画の撮像が行われた時点を開始時点として、時間の計測を行い、設定された撮
像時間が経過した際に、その旨をＣＰＵ１１１に通知する。ＣＰＵ１１１は、この通知に
従って動画の撮像を終了する。
【００２９】
上記のように、撮像条件記憶領域１２３は、ユーザーが操作部１８を用いることにより
それぞれ任意に設定された、モード設定、感情設定、感情認識対象者設定、待機時間設定
、判定期間設定及び撮像時間設定の組み合わせからなる個々の撮像条件を複数記憶してい
る。ユーザーはその時の気分や場の雰囲気に合わせて、撮像条件記憶領域１２３に記憶さ
れた撮像条件の中から、自身が所望する撮像条件を自由に選択することが可能である。ま
た、ユーザーは一度設定した撮像条件を、操作部１８を用いて変更することが可能である
。さらに、撮像条件記憶領域１２３が記憶できる撮像条件の数は、例えば図３では６個表
示されているが、これに限らず、撮像装置１が保持している記憶媒体の記憶容量に応じて
、多くしても良いし少なくしても良い。
【００３０】
図４は、個別設定における静止画像の撮像タイミングを表した図である。
ここで、撮像条件は図３における撮像条件５１が選択されているとする。つまり、感情
設定に「喜び度６０％以上」、感情認識対象者に「雰囲気」、待機時間に「１分」が設定
されている。なお、ここでは、モード設定が個別設定のため、判定期間設定は動作に影響
を及ぼさないし、また、静止画像の撮像のため、撮像時間設定は動作に影響を及ぼさない
。図４において、横軸は時間を表し、縦軸は喜び度を表している。縦軸において、図中の
上に行く程、検出感情の喜び度が高い。喜び度検出曲線６０は、各時点において検出され
た喜びの度合いを表す各点を、時系列に結んだものであり、時間の経過に伴って検出され
た喜びの度合いが変化していく模様を表している。閾値線６１は、縦軸に取られた喜び度
において、撮像条件に設定された自動で撮像が開始する際の閾値「６０％」を表している
。シャッターチャンス６２は、検出感情の感情の度合いがこの閾値を越えており、撮像条
件を満たしている時間帯であり、この時間帯に撮像がなされる。
【００３１】
図４において、撮像装置１は、「２０１０/５/１２ １８：２０：００」の時点に電源
が入れられ、マイク１３が十分に周囲の音声を収音可能な位置に設置されて、自動撮像の
セッティングが完了する。セッティングが完了すると、感情検出部１５２は、マイク１３
により収音された音声が音声分析部１５１により分析された音声数値から、定期的に感情
を検出し、ＣＰＵ１１１に通知する。図４において、喜び度検出曲線６０は、セッティン
グが完了してからしばらくの間、閾値６０％に満たない値を取っているが、「２０１０/
５/１２ １８：３０：００」の時点で、感情検出部１５２により閾値線６１を超える喜
びの度合いを持つ感情が検出される。このとき、検出感情における喜び度が閾値６０％を
超えており、さらに撮像待機状態でもないため、ＣＰＵ１１１は、撮像条件５１が満たさ
れていると判断し、撮像部１９に対して静止画像を撮像する旨を通知する。撮像部１９は
、この通知に従い自動で撮像を行う。このように、ＣＰＵ１１１が、検出感情と撮像条件
とに基づいて判定を行い、判定の結果に基づいて撮像を制御している。撮像の後、待機時
間計測タイマー１６１は、撮像時点から経過する時間の計測を開始する。ＣＰＵ１１１は
、待機時間に設定された１分が経過した旨の通知を待機時間計測タイマー１６１より受け
るまで、検出感情が設定された閾値を越えていても、撮像部１９に対して撮像の旨を通知
しない。つまり、撮像が行われると、以降の検出感情が設定された閾値を越えていても、
設定された待機時間が経過するまで、ＣＰＵ１１１は、撮像条件が満たされていないとみ
なす。そして、撮像が行われた「２０１０/５/１２ １８：３０：００」の時点から、待
機時間に設定された１分間が経過したことを待機時間計測タイマー１６１が計測すると、
待機時間計測タイマー１６１は、待機時間が終了した旨をＣＰＵ１１１に通知する。
【００３２】
この後、「２０１０/５/１２ １８：３０：００」の時点から、待機時間に設定された
１分が経過した「２０１０／５／１２ １８：３１：００」の時点で、検出感情が閾値６
０％を越えているため、再び、ＣＰＵ１１１は、撮像条件を満たしていると判断し、撮像
の旨を撮像部１９に対して通知する。撮像部１９は、この通知に従い自動で撮像を行う。
さらに、撮像が行われた「２０１０／５／１２ １８：３１：００」の時点より、待機時
間に設定された１分が経過した「２０１０／５／１２ １８：３２：００」の時点では、
検出感情が閾値６０％に満たず、撮像条件が満たされていないため、自動で撮像が行われ
ることは無い。以降、ユーザーにより自動撮像モードから手動撮像モードへの切替が行わ
れるか、ユーザーにより自動撮像停止の操作がおこなわれるか、ユーザーにより電源が切
られるか、あるいはバッテリーが尽きるまで、上述と同様の動作によって、撮像条件を満
たすタイミングにおいて自動で撮像が行われる。
なお、各時点における検出感情は、複数のカテゴリーの感情および感情の度合いを含む
場合がある。例示した図４においては、撮像条件５１の感情設定に「喜び度」が設定され
ており、検出感情に含まれる感情のカテゴリーとして喜びのみを対象に判定すればよいた
め、縦軸を喜び度に限定していたが、複数のカテゴリーの感情が設定された場合には、そ
れぞれの感情について図４と同じ手法で考えればよい。
【００３３】
次に、図５は、オート設定における静止画像の撮像タイミングを表した図である。
ここで、撮像条件は、図３における撮像条件５５が選択されているものとする。つまり
、感情設定に「笑い度が一定期間における上位５％」、感情認識対象者に「雰囲気」、待
機時間に「３０秒」、判定期間に、初期期間として「１分」、比較範囲更新の周期として
「３０秒毎」が設定されている。なお、図５においては、静止画像の撮像のため、撮像時
間設定は動作に影響を及ぼさない。図５において、横軸は時間を表し、縦軸は笑い度を表
している。笑い度検出曲線７０は、各時点において検出された笑いの度合いを表す各点を
、時系列に結んだものであり、時間の経過に伴って検出された笑いの度合いが変化してい
く模様を表している。直線７１は、図５において選択された撮像条件５５とは関係ないが
、図４における個別設定との比較を分かりやすくするために図示したものであり、６０％
の笑い度を表したものである。シャッターチャンス７２は、撮像条件を満たしている時間
帯であり、この時間帯に撮像がなされる。
【００３４】
図５において、撮像装置１は、図５で表された「２０１０/７/５ ２０：１５：１５」
の時点で電源が入れられ、マイク１３が十分に周囲の音声を収音可能な位置に設置されて
、自動撮像のセッティングが完了する。セッティングが完了すると、感情検出部１５２は
、マイク１３により収音された音声が音声分析部１５１により分析された音声数値から、
定期的に感情を検出し、ＣＰＵ１１１に通知する。図５において、「２０１０/７/５ ２
０：１５：２１」は、セッティングが完了した後に初めて感情が検出された時点である。
この時点を開始時点として、判定期間計測タイマー１６２は、経過する時間を計測する。
初めて感情が検出された「２０１０/７/５ ２０：１５：２１」の時点から、判定期間に
初期期間として設定された１分間が経過したことが判定期間計測タイマー１６２からＣＰ
Ｕ１１１に通知されるまでは、撮像が行われることなく、その都度の検出感情が時系列に
沿って、検出感情一時記憶領域１２４に蓄積して保存される。「２０１０/７/５ ２０：
１５：２１」の時点から、判定期間に初期期間として設定された１分間が経過した「２０
１０/７/５ ２０：１６：２１」の時点以降、ＣＰＵ１１１は、感情検出部１５２により
都度検出された検出感情と、１分間に検出感情一時記憶領域１２４に蓄積して保存された
複数の検出感情との比較を行う。
【００３５】
ここで、図５における点Ｃは、設定された初期期間に該当する「２０１０/７/５ ２０
：１５：２１」から「２０１０/７/５ ２０：１６：２１」の間に検出された検出感情の
うち、最も高い笑いの感情の度合いを持つ検出感情であり、図５における点Ｄは、初期期
間経過後、すなわち「２０１０/７/５ ２０：１６：２１」の時点以降に検出された検出
感情のうちの一つである。比較範囲αは、検出感情一時記憶領域１２４に蓄積して保存さ
れた複数の検出感情のうち、設定された初期期間に該当する「２０１０/７/５ ２０：１
５：２１」から「２０１０/７/５ ２０：１６：２１」の間に蓄積された、点Ｄの比較範
囲である。この比較範囲は、時間間隔を表す数値として、ＲＡＭ１１２に変数として記憶
される。「２０１０/７/５ ２０：１６：２１」の時点で、この変数として記憶される値
は、初期期間に設定された期間と同様の「１分間」である。ここで点Ｃにおける検出感情
が持つ笑いの度合いが、絶対値として３０％であった場合、ＣＰＵ１１１は、この３０％
を、比較範囲αにおける比較の基準値１００％として、点Ｄにおける検出感情が持つ笑い
の度合いが、比較範囲αにおける複数の検出感情が持つ笑いの度合いと比較して、感情設
定に設定された「上位５％」に当たるかどうかの判定を行う。ここで、点Ｄにおける検出
感情が持つ笑いの度合いは、図５に表されるように、比較範囲αにおいて「上位５％」に
当たらないため、ＣＰＵ１１１は、選択された撮像条件５５を満たさないと判断し、自動
で撮像が行われることは無い。
【００３６】
以降、感情検出部１５２が感情を検出する毎に、ＣＰＵ１１１は、検出した最新の検出
感情が持つ笑いの度合いと、検出感情一時記憶領域１２４に蓄積して保存された比較範囲
αにおける複数の検出感情が持つ笑いの度合いとを比較して、最新の検出感情が持つ笑い
の度合いが、感情設定に設定された「上位５％」に当たるかどうかの判定を行う。図５に
おいて、初期期間が経過した「２０１０/７/５ ２０：１６：２１」の時点以降しばらく
の間、検出感情は、「上位５％」に満たない笑いの度合いとなっている。次に、初期期間
が経過した「２０１０/７/５ ２０：１６：２１」の時点から、判定期間に比較範囲更新
の周期として設定された「３０秒」が経過した「２０１０/７/５ ２０：１６：５１」の
時点で、比較範囲αと比較して「上位５％」に当たる笑いの度合いを持つ感情が検出され
なかったため、ＣＰＵ１１１は、周期として設定された３０秒分、比較範囲をさらに広く
取り、比較範囲をαからβに更新する。具体的には、ＣＰＵ１１１は、比較範囲を表す変
数の値を「１分間」から「１分間３０秒」に更新する。比較範囲がβに更新された「２０
１０/７/５ ２０：１６：５１」の時点以降、感情が検出される毎に、ＣＰＵ１１１は、
その最新の検出感情が持つ笑いの度合いと、比較範囲βにおける複数の検出感情が持つ笑
いの度合いとを比較して、感情設定に設定された「上位５％」に当たるかどうかの判定を
行う。
【００３７】
この結果、「２０１０/７/５ ２０：１７：０５」の時点で、比較範囲βにおける複数
の検出感情が持つ笑いの度合いと相対的に比較して、感情設定に設定された「上位５％」
に当たる笑いの度合いを持つ検出感情が検出される。この検出感情が感情設定における条
件を満たしており、さらに撮像待機状態でもないため、ＣＰＵ１１１は、撮像条件５５が
満たされていると判断し、撮像部１９に対して静止画像を撮像する旨を通知する。撮像部
１９は、通知に従い自動で撮像を行う。撮像の後、待機時間計測タイマー１６１は、撮像
時点から経過する時間の計測を開始する。ＣＰＵ１１１は、待機時間に設定された３０秒
が経過した旨の通知を待機時間計測タイマー１６１より受けるまで、検出感情が感情設定
における条件を満たしていても、撮像部１９にたいして撮像の旨を通知しない。つまり、
撮像が行われると、以降の検出感情が感情設定における条件を満たしていても、設定され
た待機時間が経過するまで、ＣＰＵ１１１は、撮像条件が満たされていないとみなす。そ
して、撮像が行われた「２０１０／７／５ ２０：１７：０５」の時点より、待機時間に
設定された３０秒が経過した「２０１０／７／５ ２０：１７：３５」の時点では、この
時点の検出感情が持つ笑いの度合いが、比較範囲βにおける複数の検出感情が持つ笑いの
度合いと比較して、「上位５％」に当たらず、撮像条件が満たされていないため、自動で
撮像が行われることは無い。以降、ユーザーにより自動撮像モードから手動撮像モードへ
の切替が行われるか、ユーザーにより自動撮像停止の操作がおこなわれるか、ユーザーに
より電源が切られるか、あるいはバッテリーが尽きるまで、上述と同様の動作によって、
撮像条件を満たすタイミングにおいて自動で撮像が行われる。
【００３８】
図６は、検出感情一時記憶領域１２４に保存される検出感情データの例を表した図であ
る。
検出感情一時記憶領域１２４に保存される個々の検出感情データは、ＩＤ、タイムスタ
ンプおよび感情フラグからなる。ＩＤは、個々の検出感情データを一意に認識するための
ものであり、例えば任意の桁数による数字の組み合わせ等で表される。ＩＤは、検出感情
データが検出感情一時記憶領域１２４に保存される際、一意に割り当てられた値であり、
例えば６桁の数字である。タイムスタンプは、個々の検出感情データが検出感情一時記憶
領域１２４に保存された時刻である。感情フラグは、個々の検出感情データに含まれる、
感情のカテゴリーおよび、そのカテゴリーの感情の度合いを表す。
【００３９】
図６において検出感情一時記憶領域１２４に保存された検出感情データは、図５におけ
るオート設定による静止画像撮像時の複数の検出感情と対応している。例えば図６中のＩ
Ｄ「０００００１」の検出感情データは、図５において、セッティングが完了した後に初
めて検出された検出感情である。ＣＰＵ１１１は、オート設定における検出感情の比較を
行う際の比較範囲を、ＲＡＭ１１２に記憶された変数の値と、検出感情一時記憶領域１２
４に保存された検出感情データのタイムスタンプとに基づいて判断する。すなわち、ＣＰ
Ｕ１１１は、検出感情一時記憶領域１２４に保存された複数の検出感情データのうち、タ
イムスタンプに最も過去の時刻を持つ検出感情データから、この検出感情データの持つタ
イムスタンプにおける時刻に、比較範囲を表す変数に値として保持された時間を加算した
時刻以内のタイムスタンプを持つ検出感情データまでを比較範囲と判断する。図５におい
て、判定期間に設定された初期期間経過後から周期が経過しない期間に比較範囲となるの
は、「２０１０／７／５ ２０：１５：２１」から「２０１０／７／５ ２０：１６：２
１」の間における検出感情、つまり図６中のＩＤ「０００００１」からＩＤ「０００００
１３」までの検出感情データである。比較範囲における検出感情データのうち、感情設定
に設定されたカテゴリーの感情を含まないものは、比較の対象外となる。例えば、図５に
おいて初期期間の１分経過後、さらに周期である３０秒が経過した場合、比較範囲となる
のは、タイムスタンプが「２０１０／７／５ ２０：１５：２１」から「２０１０／７／
５ ２０：１６：５１」以内である検出感情データ、つまり図６中のＩＤ「０００００１
」からＩＤ「０００００２０」までの検出感情データであるが、ＩＤ「００００１４」お
よびＩＤ「００００１５」の検出感情データは、感情設定に設定された「笑い度」を含ん
でいないため、ＣＰＵ１１１は、この２つの検出感情データを比較の際に対象外とする。
【００４０】
図７Ａ、図７Ｂおよび図７Ｃは、静止画像撮像時における処理フロー図である。尚、図
７Ａ〜図７Ｃの処理フローにおいては、撮像装置１の電源は常にオンの状態かつ撮像デー
タ記憶領域１２５に充分な容量が確保されており、かつ静止画像の撮像であることが前提
であり、ユーザーにより電源がオフにされるか、バッテリーが尽きるか、撮像データ記憶
領域１２５が容量オーバーとなるか、あるいは動画撮像に切り替えられると、その段階で
処理を終了する。
まず、撮像装置１は、自動撮像モードである場合（図７ＡステップＳ１；ＹＥＳ）、マ
イク１３により周囲の音声が収音される（図７ＡステップＳ２）。手動撮像モードであっ
た場合（図７ＡステップＳ１；ＮＯ）、検出感情一時記憶領域１２４をフォーマットし（
図７ＣステップＳ１７）、自動撮像の処理を終了する。撮像装置１が、自動撮像モードで
あり（図７ＡステップＳ１；ＹＥＳ）、収音した音声を処理対象とするサンプリング周期
に該当する場合（図７ＡステップＳ３；ＹＥＳ）、収音された音声は、Ａ／Ｄ変換機１４
により、アナログの音声データからデジタルの音声データに変換される（図７Ａステップ
Ｓ４）。サンプリング周期に該当しない場合（図７ＡステップＳ３；ＮＯ）、図７Ａステ
ップＳ１の判定に戻る。デジタルに変換された音声データは、音声分析部１５１により分
析のうえ数値化がなされ、音声数値が算出される（図７ＡステップＳ５）。
【００４１】
ここで、選択された撮像条件において、感情認識対象者に雰囲気ではなく特定のユーザ
ーが設定されていた場合（図７ＡステップＳ６；ＹＥＳ）、ユーザー検出部１５４は、算
出された音声数値とユーザー・音声対応パターン１２２との照会を行い、ユーザー・音声
対応パターン１２２に予め登録された音声数値のうち、算出された音声数値と一定以上の
相似が認められる音声数値を特定し、算出された音声数値に対応するユーザーを検出する
（図７ＡステップＳ７）。算出された音声数値とユーザー・音声対応パターン１２２とを
照会した結果、算出された音声数値が、感情認識対象者に設定された特定のユーザーに該
当すると判定された場合（図７ＡステップＳ８；ＹＥＳ）、感情検出部１５２により、こ
の音声数値と感情・音声対応パターン１２１との照会が行われ、この音声数値に該当する
検出感情、すなわち該当する感情のカテゴリーおよび、そのカテゴリーにおける感情の度
合いが検出される（図７ＡステップＳ９）。算出された音声数値とユーザー・音声対応パ
ターン１２２とが照会された結果、この音声数値が、感情認識対象者に設定された特定の
ユーザーに該当しないと判定され（図７ＡステップＳ８；ＮＯ）、ユーザーにより自動撮
像を停止する操作が行われると（図７ＣステップＳ１６；ＹＥＳ）、ＣＰＵ１１１は、検
出感情一時記憶領域１２４をフォーマットし（図７ＣステップＳ１７）、自動撮像の処理
を終了する。ユーザーにより自動撮像を停止する操作が行われていない場合（図７Ｃステ
ップＳ１６；ＮＯ）、図７ＡステップＳ１の判定に戻る。選択された撮像条件において、
感情認識対象者に特定のユーザーではなく雰囲気が設定されていた場合（図７Ａステップ
Ｓ６；ＮＯ）、図７ＡステップＳ７および図７ＡステップＳ８を経ずに、感情検出部１５
２により、音声数値と感情・音声対応パターン１２１との照会が行われ、この音声数値に
該当する感情が検出される（図７ＡステップＳ９）。
【００４２】
音声数値に該当する感情が検出（図７ＡステップＳ９）された後、選択された撮像条件
においてモード設定が個別設定である場合（図７ＢステップＳ１０；ＮＯ）、ＣＰＵ１１
１により、検出感情が、選択された撮像条件の感情設定を満たしているか、すなわち、検
出感情が、設定された感情のカテゴリーに該当し、設定された閾値を越えるこのカテゴリ
ーの感情の度合いを持っているかの判定が行われる（図７ＢステップＳ１１）。検出感情
が、選択された撮像条件の感情設定における条件を満たさない場合（図７ＢステップＳ１
１；ＮＯ）、図７ＣステップＳ１６の判定に進む。検出感情が、選択された撮像条件の感
情設定における条件を満たす場合（図７ＢステップＳ１１；ＹＥＳ）、撮像装置１が撮像
待機状態かの判定が行われる（図７ＣステップＳ１２）。すなわち、これ以前に自動で撮
像が行われており、以降、ＣＰＵ１１１が、待機時間計測タイマー１６１より待機時間が
経過した旨の通知を受けていない場合（図７ＣステップＳ１２；ＹＥＳ）、図７Ｃステッ
プＳ１６の判定に進む。ＣＰＵ１１１が、待機時間計測タイマー１６１より、待機時間が
経過した旨の通知を受けている、もしくはこれ以前に撮像が行われておらず、撮像待機状
態では無い場合（図７ＣステップＳ１２；ＮＯ）、ＣＰＵ１１１は、撮像部１９に撮像の
旨を通知し、この通知に従って、撮像部１９は自動で撮像を行う（図７ＣステップＳ１３
）。
【００４３】
撮像（図７ＣステップＳ１３）が完了すると、ＣＰＵ１１１は、撮像データを撮像デー
タ記憶領域１２５に保存する（図７ＣステップＳ１４）。ＣＰＵ１１１は、待機時間計測
タイマー１６１をリセットし、待機時間計測タイマー１６１は、この時点を開始時点とし
て、経過する時間の計測を開始する（図７ＣステップＳ１５）。次に、ユーザーにより自
動撮像を停止する操作が行われていない場合（図７ＣステップＳ１６；ＮＯ）、ステップ
Ｓ１の判定に戻る。ユーザーにより自動撮像を停止する操作が行われた場合（図７Ｃステ
ップＳ１６；ＹＥＳ）、ＣＰＵ１１１は、検出感情一時記憶領域をフォーマットし（図７
ＣステップＳ１７）、自動撮像の処理を終了する。
【００４４】
図７ＢステップＳ１８〜図７ＢステップＳ２４は、モード設定がオート設定であった場
合（図７ＢステップＳ１０；ＹＥＳ）の処理フローである。ＣＰＵ１１１は、検出感情を
検出感情一時記憶領域１２４に保存する（図７ＢステップＳ１８）。ここで、保存された
検出感情が、検出感情一時記憶領域１２４に最初に保存された検出感情データであった場
合（図７ＢステップＳ１９；ＹＥＳ）、判定期間計測タイマー１６２は、この時点を開始
時点として、経過する時間の計測を開始する（図７ＢステップＳ２０）。次に、ＣＰＵ１
１１が、判定期間計測タイマー１６２より、選択された撮像条件の判定期間に設定された
初期期間が経過している旨の通知を受けているかの判定が行われる（図７ＢステップＳ２
１）。ＣＰＵ１１１により検出感情データが保存された際に、検出感情一時記憶領域１２
４に、それ以前の検出感情データが既に存在していた場合（図７ＢステップＳ１９；ＮＯ
）、判定期間計測タイマー１６２による計時は開始されているため、図７ＢステップＳ２
０を経ずに図７ＢステップＳ２１の判定が行われる。
【００４５】
ＣＰＵ１１１が、判定期間計測タイマー１６２より、選択された撮像条件の判定期間に
設定された初期期間が経過している旨の通知を受けていない場合（図７ＢステップＳ２１
；ＮＯ）、図７ＣステップＳ１６の判定に進む。ＣＰＵ１１１が、判定期間計測タイマー
１６２より、選択された撮像条件の判定期間に設定された初期期間が経過している旨の通
知を受けており（図７ＢステップＳ２１；ＹＥＳ）、さらにＣＰＵ１１１が、判定期間計
測タイマー１６２より、選択された撮像条件の判定期間に設定された周期が経過している
旨の通知を受けている場合（図７ＢステップＳ２２；ＹＥＳ）、ＣＰＵ１１１は、ＲＡＭ
１１２に記憶された比較範囲を表す変数の値を更新する（図７ＢステップＳ２３）。次に
、ＣＰＵ１１１は、検出感情と、検出感情一時記憶領域１２４に記憶された複数の検出感
情データのうち、比較範囲の検出感情データとの相対的な比較を行い、検出感情が、選択
された撮像条件に設定された感情設定における条件を満たすかどうかの判定を行う（図７
ＢステップＳ２４）。ＣＰＵ１１１が、判定期間計測タイマー１６２より、前回の撮像時
点から、選択された撮像条件の判定期間に設定された周期が経過している旨の通知を受け
ていない場合（図７ＢステップＳ２２；ＮＯ）、図７ＢステップＳ２３を経ずに図７Ｂス
テップＳ２４の判定に進む。判定の結果、検出感情が、選択された撮像条件に設定された
感情設定における条件を満たす場合（図７ＢステップＳ２４；ＹＥＳ）、図７Ｃステップ
Ｓ１２の判定に進む。判定の結果、検出感情が、選択された撮像条件に設定された感情設
定における条件を満たさない場合（図７ＢステップＳ２４；ＮＯ）、図７ＣステップＳ１
６の判定に進む。
【００４６】
このように、ユーザーにより自動撮像モードから手動撮像モードに切り替えられるか（
図７ＡステップＳ１；ＮＯ）、ユーザーにより自動撮像を停止する操作が行われるまで（
図７ＣステップＳ１６；ＹＥＳ）、撮像装置１は、図７Ａ〜図７Ｃの処理フローに従い、
収音データから感情を検出し、判定に従って撮像を行うという一連の動作を繰り返す。
【００４７】
図８は、動画撮像時の動作例を説明する図である。
図８において、横軸は時間を表している。図８において、矢印８１、８２は、撮像の開
始から終了までの期間を表したものである。撮像開始のタイミングおよびその判定方法に
ついては、個別設定およびオート設定のいずれにおいても、図４および図５における静止
画像撮像時と同様であるため、詳細な説明は省略する。
【００４８】
矢印８１は、撮像条件に、図３における撮像条件５１が選択された場合に動画が撮像さ
れる期間を表している。すなわち、撮像条件として、モード設定に「個別設定」、感情設
定に「喜び度６０％以上」、感情認識対象者に「雰囲気」、撮像時間に「１０分」が設定
されているときの撮像時間である。「２０１０／３／１０ １５：１５：００」の時点で
、感情設定に設定された「喜び度６０％以上」を満たす検出感情８５が検出される。この
検出感情における喜び度が、設定された閾値６０％を超えており、さらに撮像待機状態で
もないため、ＣＰＵ１１１は、撮像条件５１が満たされていると判断し、撮像部１９に対
して動画の撮像を開始する旨を通知する。撮像部１９は、この通知に従い、自動で動画の
撮像を開始する。動画の撮像が開始されると、撮像時間計測タイマー１６３は、撮像が開
始された時点を始点として、経過する時間の計測を開始する。撮像時間計測タイマー１６
３より、撮像時間に設定された１０分間が経過した旨がＣＰＵ１１１に通知されると、Ｃ
ＰＵ１１１は撮像部１９に撮像停止の旨を通知し、この通知に従って撮像部１９は動画の
撮像を終了する。次に、ＣＰＵ１１１は、動画撮像データを、撮像データ記憶領域１２５
に保存する。ここで、撮像時間計測タイマー１６３により計時が開始されてから、撮像時
間に設定された１０分間が経過するまでの間に、撮像条件５１の感情設定に設定された「
喜び度６０％以上」を満たす検出感情が検出されると、撮像時間の延長が行われる。すな
わち、ＣＰＵ１１１は撮像時間計測タイマー１６３をリセットし、撮像時間計測タイマー
１６３は、リセットされた時点を始点として経過する時間の計測を開始する。「２０１０
／３／１０ １５：２０：００」の時点で、「喜び度４５％」の検出感情８６が検出され
るが、これは感情設定に設定された「喜び度６０％以上」という条件を満たさないため、
撮像時間の延長が行われることはない。動画撮像開始後、撮像時間の延長が行われるよう
な検出感情が新たに検出されることが無いため、撮像時間に設定された１０分間が経過し
た「２０１０／３／１０ １５：２５：００」の時点で、撮像が終了している。
【００４９】
矢印８２は、撮像条件に、図３における撮像条件５３が選択された場合に動画が撮像さ
れる期間を表している。すなわち、撮像条件として、モード設定に「個別設定」、感情設
定に「喜び度６０％以上または笑い度５０％以上」、感情認識対象者に「雰囲気」、撮像
時間に「１０分」が設定されているときの撮像時間である。「２０１０／３／１０ １５
：４０：３０」の時点で、感情設定に設定された「喜び度６０％以上または笑い度５０％
以上」を満たす検出感情８７が検出され、動画の撮像が開始される。動画の撮像が開始さ
れると、撮像時間計測タイマー１６３は、撮像が開始された時点を始点として、経過する
時間の計測を開始する。撮像開始時点より、撮像時間に設定された１０分間が経過してい
ない「２０１０／３／１０ １５：４８：００」の時点で、「喜び度８０％」の検出感情
が検出され、これは感情設定に設定された条件を満たすため、撮像時間の延長が行われる
。すなわち、ＣＰＵ１１１は撮像時間計測タイマー１６３をリセットし、撮像時間計測タ
イマー１６３は、リセットされた「２０１０／３／１０ １５：４８：００」の時点を始
点として、経過する時間の計測を開始する。その後、感情設定に設定された条件を満たす
検出感情が新たに検出されることが無いため、「２０１０／３／１０ １５：４８：００
」の時点から、撮像時間に設定された１０分間が経過した「２０１０／３／１０ １５：
５８：００」の時点で、撮像が終了している。
【００５０】
図９Ａ、図９Ｂ、図９Ｃは、動画撮像時における処理フロー図である。尚、図９Ａ〜図
９Ｃの処理フローにおいては、撮像装置１の電源は常にオンの状態かつ撮像データ記憶領
域１２５に充分な容量が確保されており、かつ動画の撮像であることが前提であり、ユー
ザーにより電源がオフにされるか、バッテリーが尽きるか、撮像データ記憶領域１２５が
容量オーバーとなるか、あるいは静止画像の撮像に切り替えられると、その段階で処理を
終了する。また、図９ＡステップＳ１〜図９ＡステップＳ９、図９ＢステップＳ１０、図
９ＢステップＳ１１および図９ＢステップＳ１８〜図９ＢステップＳ２４については、そ
の処理内容および処理フローについて静止画像撮像時と同様のため、詳細な説明は省略す
る。
【００５１】
選択された撮像条件においてモード設定が個別設定であり（図９ＢステップＳ１０；NO
）、検出感情が選択された撮像条件の感情設定における条件を満たすか（図９Ｂステップ
Ｓ１１；ＹＥＳ）、あるいは選択された撮像条件においてモード設定がオート設定であり
（図９ＢステップＳ１０；ＹＥＳ）、検出感情が選択された撮像条件における感情設定を
満たす（図９ＢステップＳ２４；ＹＥＳ）と、撮像装置１が撮像中であるかどうかの判定
が行われる（図９ＣステップＳ３０）。撮像が開始されていない場合（図９ＣステップＳ
３０；ＮＯ）、ＣＰＵ１１１は、撮像部１９に動画の撮像を開始する旨を通知し、この通
知に従って撮像部１９は動画の撮像を自動で開始し、撮像時間計測タイマー１６３は、撮
像が開始された時点を始点として経過する時間の計測を開始する（図９ＣステップＳ３１
）。ＣＰＵ１１１は、撮像データを撮像データ記憶領域１２５に保存する（図９Ｃステッ
プＳ３２）。次に、ＣＰＵ１１１が、撮像時間計測タイマー１６３より、撮像条件に設定
された撮像時間が経過した旨の通知を受けておらず（図９ＣステップＳ３３；ＮＯ）、ユ
ーザーにより操作部１８を介して撮像停止の操作が行われていない場合（図９Ｃステップ
Ｓ３４；ＮＯ）、ステップＳ１の判定に戻る。ユーザーにより操作部１８を介して撮像停
止の操作が行われた場合（図９ＣステップＳ３４；ＹＥＳ）、ＣＰＵ１１１は、撮像部１
９に撮像停止の旨を通知し、この通知に従って撮像部１９は撮像を停止する（図９Ｃステ
ップＳ３５）。その後、ＣＰＵ１１１は、撮像データを撮像データ記憶領域１２５に保存
し（図９ＣステップＳ３６）、ＣＰＵ１１１が検出感情一時記憶領域１２４をフォーマッ
トした後に（図９ＣステップＳ３７）、撮像装置１は動画撮像の処理を終了する。ＣＰＵ
１１１が、撮像時間計測タイマー１６３より、撮像条件に設定された撮像時間が経過した
旨の通知を受けていた場合（図９ＣステップＳ３３；ＹＥＳ）、ＣＰＵ１１１は、撮像部
１９に撮像停止の旨を通知し、この通知に従って撮像部１９は撮像を停止し（図９Ｃステ
ップＳ３５）、以降図９ＣステップＳ３６および図９ＣステップＳ３７の処理が行われた
後、撮像装置１は動画撮像の処理を終了する。
【００５２】
図９ＣステップＳ３８および図９ＣステップＳ３９は、図９Ｃステップ３０において、
撮像装置１が撮像中であると判断された場合（図９ＣステップＳ３０；ＹＥＳ）の処理フ
ローである。この場合、ＣＰＵ１１１は、撮像時間計測タイマー１６３をリセットし、撮
像時間計測タイマー１６３は、リセットされた時点を開始時点として経過する時間の計測
を開始する（図９ＣステップＳ３８）。その後、ＣＰＵ１１１は、撮像データ記憶領域１
２５に保存された撮像中の動画撮像データに対して、現在の時刻を表すタイムスタンプと
、検出感情における感情のカテゴリーおよびその感情の度合いと、検出感情の持ち主であ
る感情認識対象者を付加し、撮像データ記憶領域１２５に保存された撮像中の動画撮像デ
ータを最新の状態に上書き保存する（図９ＣステップＳ３９）。
【００５３】
さて、図９ＡステップＳ１において、ユーザーにより自動撮像モードから手動撮像モー
ドに切り替えられると（図９ＡステップＳ１；ＮＯ）、それが撮像中であった場合には、
ＣＰＵ１１１は、撮像データ記憶領域１２５に保存された撮像中の動画撮像データを最新
の状態に上書き保存し（図９ＣステップＳ３６）、ＣＰＵ１１１は検出感情一時記憶領域
１２４をフォーマットした後に（図９ＣステップＳ３７）、撮像装置１は自動撮像時の処
理フローを終了する。その後、ユーザーにより自動撮像を停止する操作が行われるか、撮
像データ記憶領域１２５が容量オーバーとなるか、ユーザーにより電源がオフにされるか
、バッテリーが尽きるか、あるいは静止画像の撮像に切り替えられるまで、撮像装置１は
、動画を撮像し続ける。撮像装置１が、自動撮像モードである（図９ＡステップＳ１；Ｙ
ＥＳ）状態が続く限りにおいて、ＣＰＵ１１１が、撮像時間計測タイマー１６３より設定
された撮像時間が経過した旨の通知を受けるか（図９ＣステップＳ３３；ＹＥＳ）、ユー
ザーにより自動撮像を停止する操作が行われる（図９ＣステップＳ３４；ＹＥＳ）まで、
撮像装置１は、図９Ａ〜図９Ｃの処理フローに従い、収音データから感情を検出し、判定
に従って動画の撮像を開始する、もしくは動画の撮像を継続する、という一連の動作を繰
り返す。
【００５４】
図１０は、撮像データ記憶領域１２５に保存される撮像データの例を表した図である。
撮像データ記憶領域１２５に保存される個々の撮像データは、ＩＤ、ファイル名、タイ
ムスタンプ、感情フラグ、感情認識対象者からなる。ＩＤは、個々の撮像データを一意に
認識するためのものであり、例えば任意の桁数による英数字の組み合わせ等で表される。
ＩＤは、撮像データが撮像データ記憶領域１２５に保存される際、自動で採番された値が
割り当てられる。図１０においては、ＩＤは、８桁の数字によって一意の値を持つ。ファ
イル名は、個々の撮像データであるファイルを識別するための固有名称であり、任意の桁
数による英数字等の組み合わせである文字部分と、ファイルの種類を表す拡張子との組み
合わせによって表される。例えば図１０において、静止画像であれば「ａａａｂｂｂ１２
３．ｊｐｇ」といったファイル名であり、動画であれば「ＨＨＨＫＫＫ１２３．ｍｐｇ」
といったファイル名である。ファイル名は、撮像データが撮像データ記憶領域１２５に保
存される際、文字部分に、その初期値として自動で採番された値が割り当てられる。ここ
でファイル名は、撮像データが撮像データ記憶領域１２５に保存された後、ユーザーが操
作部１８を介して、ユーザーの好みに応じたファイル名に変更することを可能としても良
い。例えば図１０における「１００３誕生日．ｊｐｇ」のように、漢字をファイル名に使
用可能としても良いし、これに限らず、平仮名、カナ等を使用可能としても良い。タイム
スタンプは、個々の撮像データが撮像された時刻である。静止画像の場合、撮像が行われ
た時刻であり、動画の場合、撮像が開始された時刻および、その後撮像条件を満たした時
刻である。感情フラグは、個々の撮像データが撮像された際に、感情検出部１５２により
検出された感情のカテゴリーと、そのカテゴリーにおける感情の度合いを表す。感情認識
対象者は、個々の撮像データが撮像された際の、検出感情の持ち主を表す。
【００５５】
例えば図１０において、ファイル名「ａａａｂｂｂ１２３．ｊｐｇ」の撮像データは、
「２００９／１０／１６ １５：３５」に撮像された静止画像であり、撮像された際の雰
囲気が、喜び度７０％であったことを表す。また、図６において、ファイル名「ＨＨＨＫ
ＫＫ１２３．ｍｐｇ」の撮像データは、「２００９／１０／１８ １２：００」に撮像が
開始された動画であり、撮像が開始された際の雰囲気が、喜び度７０％および笑い度５０
％であったことを表し、「２００９／１０／１８ １２：１５」の時点でユーザーＢの喜
び度が７０％であったことを表す。また、ユーザーが撮像データ記憶領域１２５に保存さ
れた撮像データを再生する際、再生対象の撮像データを、撮像データ記憶領域１２５に保
存された個々の撮像データが持つ属性を用いて、検索可能としても良い。すなわち、ユー
ザーが操作部１８を介して、表示部１７が有する表示体に表示された、撮像データに対す
る検索フィールドに対して、ファイル名、日付、感情のカテゴリーおよびそのカテゴリー
の感情の度合い、あるいは感情認識対象者を、任意に組み合わせて指定することにより、
ユーザーが再生を望む撮像データを検索することを可能としても良い。
【００５６】
このように、本実施形態によれば、ユーザーは、望むシーンに応じて、自動で撮像が開
始される条件である撮像条件を設定のうえ選択し、撮像装置１が、周囲の音声から被撮像
者や場における感情を検出することにより、検出感情が選択された撮像条件を満たす場合
、自動で撮像が行われる。こうした一連の制御により、ユーザーは、自らによる操作を介
することなく、望むシーンに応じた静止画像や動画を得ることが可能となる。また、撮像
条件として特定の人物を撮像対象者に設定することが可能なため、ユーザーは、所望する
特定の人物の感情に注目して撮像機会を狙うことも可能である。また、こうした特定の人
物を狙った撮像を望むのでなければ、撮像開始前にユーザーが予め準備する内容は、撮像
条件の設定および選択のみで良いため、ユーザーが要する手間が少なくて済む。また、検
出された感情の相対評価に基づいた撮像機会を得ることも可能であるため、ユーザーは、
ある時間帯の中で比較的盛り上がったシーンについて撮像機会を逃すこともない。また、
保存された撮像データには、検出された感情が感情フラグとして、検出感情の持ち主が感
情認識対象者として付加されているため、撮像データの再生時において、感情および特定
の人物に注目した検索および頭出し再生が容易となっている。このように、本実施形態に
よれば、自動撮像の機能を有効にするためにユーザーが必要とする手間を削減し、被撮像
者の感情や、場の雰囲気に応じて、ユーザーが望むシーンを自動で撮像することが可能と
なるという効果を奏することができる。
【００５７】
（２）変形例
上記の実施形態を次のように変形してもよい。
（２−１）変形例１
上記実施形態においては、撮像条件におけるモード設定がオート設定であった場合、検
出感情一時記憶領域１２４をフォーマットするタイミングは、ユーザーにより自動撮像モ
ードから手動撮像モードに切り替えられるか、設定された撮像時間が満了する、あるいは
ユーザーにより停止の操作が行われることで、撮像が停止したタイミングである。つまり
、いずれにおいても、自動撮像の処理が停止された後であって、自動撮像の処理が進行中
にフォーマットが行われるものではなかった。検出感情一時記憶領域１２４をフォーマッ
トするタイミングはこれに限らず、自動撮像の処理が進行中の期間における、ある一定の
タイミングが訪れる毎に定期的にフォーマットが行われるようにしてもよい。すなわち、
撮像条件が満たされ自動で撮像が行われた直後に、フォーマットが行われてもよいし、撮
像条件が満たされ自動で撮像が行われた後、設定された待機時間が経過したタイミングで
フォーマットが行われてもよい。また、撮像条件が満たされ自動で撮像が行われた後、予
め定められた一定の期間が経過したタイミングでフォーマットが行われてもよい。この予
め定められた一定の期間は、ＲＯＭ１１３に書換え不可な形で記憶されていてもよいし、
撮像条件に、この予め定められた一定の期間を設定するための項目を設け、ユーザーの希
望に応じて変更可能なようにしてもよい。このように、自動撮像の処理が進行中に、一定
のタイミングで定期的に検出感情一時記憶領域１２４のフォーマットが行われることによ
って、オート設定による撮像が長時間行われた際、検出感情一時記憶領域１２４が容量オ
ーバーとなり撮像不可となることを防ぐことが可能となる。また、定期的に検出感情一時
記憶領域１２４がフォーマットされ、その都度新たな検出感情が検出感情一時記憶領域１
２４に蓄積して保存されていくことにより、オート設定における比較範囲が都度新たなも
のとなり、最初の判定期間で以降の撮像基準が決定してしまう事がなく、時間の経過に沿
ったその時々の被撮像者の感情もしくは場の雰囲気に柔軟に応じて自動で撮像が行われる
ことが可能となる。例えば、自動撮像モードで撮像装置１がセッティングされた後の初期
の時間帯に場の雰囲気が大いに盛り上がり、その後それ程の盛り上がり方が発生しなかっ
た状況においても、検出感情一時記憶領域１２４における比較範囲が新たなものとなるこ
とによって、その後の落ち着いた雰囲気の中でも比較的盛り上がった場面を自動で撮像す
ることが可能となる。
【００５８】
（２−２）変形例２
本実施形態においては、感情認識アルゴリズムとして、マハラビノスの距離に基づいた
ものを採用しているが、このアルゴリズムはこれに限ったものではない。例えば感情認識
アルゴリズムとして、例えば特開２００３−１６２２９４号公報、特開２００２−０９１
４８２公報あるいは特許第４０８５１３０号公報等に記載された、周知の技術を用いても
よい。
【００５９】
（２−３）変形例３
本実施形態における撮像装置は、撮像専用のデジタルカメラのほか、携帯電話機、携帯
型の音楽プレーヤー、ＰＤＡ（Personal Digital Assistants）、パーソナルコンピュー
タ等に搭載することが可能である。
【符号の説明】
【００６０】
１…撮像装置、１１…制御部、１１１…ＣＰＵ、１１２…ＲＡＭ、１１３…ＲＯＭ、１
２…記憶部、１２１…感情・音声対応パターン、１２２…ユーザー・音声対応パターン、
１２３…撮像条件記憶領域、１２４…検出感情一時記憶領域、１２５…撮像データ記憶領
域、１３…マイク、１４…A／D変換機、１５…感情認識部、１５１…音声分析部、１５２
…感情検出部、１５３…ユーザー音声登録部、１５４…ユーザー検出部、１６…時間計測
部、１６１…待機時間計測タイマー、１６２…判定期間計測タイマー、１６３…撮像時間
計測タイマー、１７…表示部、１８…操作部、１９…撮像部、２０…電源部、２１…バス
、３１…笑いの音声パターン領域、３２…喜びの音声パターン領域、３３…怒りの音声パ
ターン領域、３４…悲しみの音声パターン領域、４１…笑いのカテゴリーのデータ中心、
４２…喜びのカテゴリーのデータ中心、４３…怒りのカテゴリーのデータ中心、４４…悲
しみのカテゴリーのデータ中心、５１〜５６…撮像条件、６０…喜び度検出曲線、６１…
閾値線、６２，７２…シャッターチャンス、７０…笑い度検出曲線、７１…直線、８１，
８２…矢印、８５〜８８，Ｃ，Ｄ…検出感情、Ａ…音声数値、α，β…比較範囲
【技術分野】
【０００１】
本発明は、撮像を行う撮像装置およびその撮像方法に関するものである。
【背景技術】
【０００２】
カメラ等の撮像装置において、静止画像または動画の撮像時には、撮像者がファインダ
ー等を通して撮像対象を決定し、撮像状況を自ら確認した後に、撮像者による撮像開始の
操作を介して、撮像が行われるのが通常である。このような撮像装置においては、撮像者
に撮像の準備が出来ていない場合、貴重な撮像機会を逃すことがある。また、撮像の操作
を行う撮像者が少なくとも１人必要となるため、静止画像撮像時においては撮像者が被写
体となることが出来ない。また、楽しい雰囲気になったときに撮像したいなどの要求があ
る場合には、撮像者が周囲の状況を常に気にかけている必要がある。
【０００３】
そこで、撮像者の操作を要することなく、外部からの入力情報をトリガーとして撮像装
置が自動で撮像を行う自動撮像の技術が開発されている。例えば、特許文献１には、ユー
ザーが撮像装置に撮像対象者の顔データを予め登録しておき、セルフタイマ撮像において
、顔検出部が画像信号から抽出した被写界における人物の抽出顔データと、登録された顔
データとに基づいて、撮像対象者の検出ができたと撮像装置が判定した場合に、自動撮像
のカウントダウンが開始される技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−８１５４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような特許文献１に記載の技術では、ユーザーが撮像対象者の顔データを予め撮
像装置に登録する必要があり、撮像対象者が多数に上る場合にはその登録に相当の手間を
要する。また、顔データにおける検出を撮像のトリガーとすると、被写界に撮像対象者が
存在しているかどうかだけが撮像開始の基準となるため、その撮像対象者の気分や場の雰
囲気に関わらず撮像が行われ、撮像者あるいは撮像対象者が望まないシーンが撮像されて
しまうような事態が生じる問題がある。
本発明は、撮像装置が、撮像対象者の感情やその場の雰囲気に応じて撮像を行うことを
目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明に係る撮像装置は、撮像を行う撮像手段と、収音を行
う収音手段と、前記収音手段によって収音された音声から当該音声の発話者の感情を認識
する感情認識手段と前記撮像手段が撮像を行う条件である撮像条件として、音声の発話者
の感情に関する条件を記憶する撮像条件記憶手段と、前記感情認識手段により認識された
感情が、前記撮像条件記憶手段に記憶されている撮像条件を満たす場合に、前記撮像手段
に撮像を行わせる撮像制御手段とを有することを特徴とする。
本発明によれば、撮像装置が、撮像対象者の感情やその場の雰囲気に応じて撮像を行う
ことが可能となる。
【０００７】
本発明において、前記撮像条件記憶手段は、複数種類の感情のうち少なくともいずれか
１種類の感情と、当該感情の度合いとを、前記撮像条件として記憶し、前記感情認識手段
は、前記収音手段によって収音された音声から当該音声の発話者の感情と当該感情の度合
いとを認識する構成としてもよい。
この構成によれば、感情の種類に応じた撮像だけではなく、感情の度合いをも考慮した
撮像を行うことができる。
【０００８】
本発明において、前記撮像手段によって撮像が行われた結果を表す撮像データを、当該
撮像が行われているときに前記感情認識手段によって認識された感情と、当該感情が認識
された時刻と対応付けて記憶する撮像データ記憶手段を有する構成としてもよい。
この構成によれば、ユーザーが撮像済みの撮像データを再生する際に、感情に注目して
検索を行うことが容易となる。
【０００９】
本発明において、さらに特定の発話者の音声の特徴を記憶する音声特徴記憶手段を備え
、前記撮像条件記憶手段は、前記音声特徴記憶手段に記憶された特徴を持つ音声の発話者
の感情に関する条件を記憶し、前記撮像制御手段は、前記収音手段により収音された音声
の特徴が前記音声特徴記憶手段に記憶された特徴に合致し、且つ、当該音声から前記感情
認識手段により認識された感情が、前記撮像条件記憶手段に記憶されている撮像条件を満
たす場合に、前記撮像手段に撮像を行わせる構成としてもよい。
この構成によれば、ユーザーは特定の人物に注目して撮像機会を狙うことが可能となる
。
【００１０】
本発明において、前記撮像条件記憶手段は、或る期間において変化する感情の度合いを
相対的に評価したときの評価値を前記撮像条件として記憶し、前記感情認識手段は、前記
収音手段によって収音された音声から当該音声の発話者の感情と当該感情の度合いとを認
識し、前記撮像制御手段は、前記感情認識手段により認識された感情の度合いを時系列に
記憶する感情記憶手段を有し、前記感情記憶手段により前記或る期間内に記憶された感情
の度合いが、前記撮像条件記憶手段により記憶された前記評価値を超える場合に、前記撮
像手段に撮像を行わせる構成としてもよい。
この構成によれば、ある期間内において、撮像対象者の感情もしくは場のムードが、比
較的高まった瞬間を逃さずに撮像が行われることが可能となる。
なお、本発明は、撮像装置のほか、撮像方法として概念することが可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における撮像装置の構成を表したブロック図である。
【図２】感情・音声パターンと音声数値との関係を二次元グラフで表した図である。
【図３】撮像条件記憶領域に記憶された個々の撮像条件における具体例を表した図である。
【図４】個別設定における静止画像の撮像タイミングを表した図である。
【図５】オート設定における静止画像の撮像タイミングを表した図である。
【図６】検出感情一時記憶領域に保存される検出感情データの例を表した図である。
【図７Ａ】静止画像撮像時における処理フロー図である。
【図７Ｂ】静止画像撮像時における処理フロー図である。
【図７Ｃ】静止画像撮像時における処理フロー図である。
【図８】動画撮像時の動作例を表した図である。
【図９Ａ】動画撮像時における処理フロー図である。
【図９Ｂ】動画撮像時における処理フロー図である。
【図９Ｃ】動画撮像時における処理フロー図である。
【図１０】撮像データ記憶領域に保存される撮像データの例を表した図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態について説明する。
（１）実施形態
図１は、本発明の実施形態における撮像装置１の構成を表したブロック図である。
撮像装置１は、制御部１１、記憶部１２、マイク１３、Ａ／Ｄ変換機１４、感情認識部
１５、時間計測部１６、表示部１７、操作部１８、撮像部１９及び電源部２０を備えてお
り、これらの各部はバス２１を介して互いに接続されている。制御部１１は、ＣＰＵ（Ce
ntral Processing Unit）１１１、ＲＡＭ（Random Access Memory）１１２およびＲＯＭ
（Read Only Memory）１１３を有する。ＣＰＵ１１１は、ＲＯＭ１１３に記憶されている
制御プログラムを読み出しＲＡＭ１１２にロードして実行することにより、撮像装置１の
各部を制御し、例えば表示機能、操作機能、撮像機能、感情認識機能などの各種機能を実
現する。ＲＡＭ１１２は、ＣＰＵ１１１が処理を行う際のワークエリアとなる。
【００１３】
記憶部１２は、感情・音声対応パターン１２１及びユーザー・音声対応パターン１２２
を記憶しているほか、撮像条件記憶領域１２３、検出感情一時記憶領域１２４及び撮像デ
ータ記憶領域１２５を有する。感情・音声対応パターン１２１は、例えば喜び、怒り、悲
しみ、笑い等の複数カテゴリーの感情と、人間がこれらの各感情を感じているときに発す
る音声の特徴（これを音声パターンという）を対応付けて記憶したデータベースである。
ここで例えば喜びの感情に対応した音声パターンとは、大量にサンプリングされた、人間
が喜んでいるときに発せられた複数の音声データから、ピッチ、抑揚、音の強度等の複数
に渡る各種パラメータにおいて共通してみられる特徴を抽出し、各パラメータについて求
められた平均値に基づいて、喜びの感情に対応する一つのパターンとして予め形作られた
音声データである。ユーザー・音声対応パターン１２２は、例えば「山本太郎」や「山田
花子」などの氏名、あるいは「父」などの続柄等、特定の人物を示す名称と、予め登録さ
れた各人物の音声の特徴とを対応付けて記憶したデータベースである。このユーザー・音
声対応パターン１２２は、撮像開始前にユーザーが予め登録を行うことにより記憶される
ものである。撮像条件記憶領域１２３は、撮像装置１が撮像を開始する際のトリガーとな
る撮像条件を複数記憶している。検出感情一時記憶領域１２４は、後述する感情検出部１
５２により検出された感情を表すデータ（検出感情データという）を時系列に記憶してい
く記憶領域であり、記憶されたデータは一定のタイミングで消去される。撮像データ記憶
領域１２５は、撮像された静止画像や動画の画像データが保存される記憶領域である。
【００１４】
マイク１３は、撮像装置１の周囲の音声を収集する収音装置である。図１においてマイ
ク１３は１つしか存在していないが、複数のマイクが撮像装置１に設けられてもよい。ま
た、マイク１３の設置位置は、撮像装置１においてレンズが備えられた側である被写体側
のみに設けられてもよいし、被写体側および被写体側の裏面である撮像者側の両側におい
て複数箇所に設けられても良い。Ａ／Ｄ変換機１４は、マイク１３により収音された音を
表すアナログの音声データを、デジタルの音声データに変換するものである。
【００１５】
感情認識部１５は、音声分析部１５１、感情検出部１５２、ユーザー音声登録部１５３
およびユーザー検出部１５４を有する。この感情認識部１５は、ＡＳＩＣ（Application
Specific Integrated Circuit）などの特定用途向けの集積回路によって構成されている
が、制御部１１のＣＰＵ１１１がコンピュータプログラムを実行することによって実現さ
れるものであってもよい。音声分析部１５１は、Ａ／Ｄ変換機１４によってデジタルに変
換された音声データについて、ピッチ、抑揚、音の強度等、複数のパラメータを用いて分
析を行い、音声データを定量的に数値化するものである。以降、音声データを音声分析部
１５１によって数値化したものを、「音声数値」と呼び、この音声数値の元となる音声を
発した人物を、「音声数値の持ち主」と呼ぶ。感情検出部１５２は、音声数値を感情・音
声対応パターン１２１と照会し、この音声数値に対応する感情のカテゴリーと、そのカテ
ゴリーにおける感情の度合いを検出するものである。ここで１つの音声数値につき検出さ
れる感情のカテゴリーは、１つのカテゴリーに限ったものではなく、例えばある音声数値
が笑いと喜びに判定された場合には、喜び度６０％、笑い度５０％といったように２つの
カテゴリーの感情が検出される。以降、感情検出部１５２により、ある音声数値から検出
された感情を「検出感情」と呼び、この検出感情の元となる音声を発した人物を、「検出
感情の持ち主」と呼ぶ。ユーザー音声登録部１５３は、音声分析部１５１によって分析さ
れた音声数値と、その音声を発した人物を特定する名称とを対応付けてユーザー・音声対
応パターン１２２に記憶するものである。ユーザー検出部１５４は、音声数値をユーザー
・音声対応パターン１２２と照会し、この音声数値の持ち主を検出する。このように、音
声分析部１５１、感情検出部１５２、ユーザー音声登録部１５３およびユーザー検出部１
５４の各部が相互に作用することにより、ある音声から特定の感情が検出される。また、
音声データ、音声数値および音声パターンは、いずれも何らかの形式を取った音声に関す
るデータであるが、それぞれの差異を説明する。音声データは、収音された音声に基づい
て生成されたデータである。この音声データは、アナログ、デジタルのいずれの形態にお
いても、何らかの処理が行われておらず、音声としてそのまま再生可能なデータである。
音声数値は、ある音声データに基づいて、この音声データにおける音声の特徴が抽出され
数値化されたものである。音声パターンは、特定の感情に対応した音声の特徴が抽出され
数値化された音声数値の集合である。
【００１６】
時間計測部１６は、待機時間計測タイマー１６１、判定期間計測タイマー１６２、及び
撮像時間計測タイマー１６３を有する。待機時間計測タイマー１６１は、静止画像撮像時
に、自動で撮像が行われた時点を開始時点として時間の計測を行う。この計測時間は、上
述した撮像条件において設定された待機時間（後述）が経過したかを判定するために用い
られる。判定期間計測タイマー１６２は、撮像装置１に電源が投入された後、最初の検出
感情が検出感情一時記憶領域１２４に保存された時点を開始時点として時間の計測を行う
。この計測時間は、撮像条件において設定された判定期間（後述）が経過したかを判定す
るために用いられる。撮像時間計測タイマー１６３は、動画撮像時に、自動で動画の撮像
が開始された時点を開始時点として時間の計測を行う。この計測時間は、撮像条件におい
て設定された撮像時間（後述）が経過したかを判定するために用いられる。
【００１７】
表示部１７は、液晶等で構成された表示体を有し、この表示体に、メニューや撮像中の
画像を表示したり、撮像データ記憶領域１２５に保存された撮像データを再生表示したり
する。操作部１８は、各種の操作ボタンや操作キーを有しており、操作されたボタンやキ
ーに応じた信号を制御部１１に供給する。これらの操作ボタンや操作キーは、例えば撮像
開始、撮像停止、撮像データ再生、動画撮像と静止画像撮像の切替、ユーザーにより撮像
の指示が直接操作される手動撮像モードと撮像装置１に撮像の判断を任せる自動撮像モー
ドの切替、およびメニュー表示等をユーザーが撮像装置１に指示するために用いられる。
撮像部１９は、撮像レンズ、固体撮像素子、アナログ信号処理部、Ａ／Ｄ変換機、発光部
、受光部、および、撮像レンズと固体撮像素子の間にそれぞれ設けられた絞り機構、赤外
線カットフィルタ、光学ローパスフィルタ等を備える。この撮像部１９は、操作部１８を
介してユーザーにより撮像を開始する操作が行われるか、もしくは撮像条件記憶領域１２
３に記憶されておりユーザーにより選択された撮像条件が満たされた場合に、静止画像も
しくは動画の撮像を行う。電源部２０は、バッテリーを有し、このバッテリーから撮像装
置１への電力供給を制御する。
【００１８】
図２は、感情・音声パターンと音声数値との関係を二次元グラフで表した図である。
この図２を用いて、ある音声数値から特定の感情が検出される際の仕組みを説明する。
音声分析部１５１は、前述したように、デジタルデータに変換された音声データについて
、ピッチ、抑揚、音の強度等、複数のパラメータを用いて分析を行い、音声データを定量
的に数値化する。そのため、音声数値は複数次元のパラメータを有しているが、本実施形
態のものは、これに主成分分析を行って全体の持つ情報量を保持しつつデータの次元を下
げている。ここでは、理解を容易にするため、音声数値および各カテゴリーの感情に紐付
けられた音声パターンを２次元まで下げたものとして説明を行う。ここで、二次元グラフ
はＸ軸およびＹ軸で構成され、二次元に変換された音声数値は二次元グラフ中の（Ｘ，Ｙ
）に相当する座標が与えられる。図２中の点Ａは、ある音声数値の二次元グラフ上の座標
である。図２における音声パターン領域３１〜３４は、感情・音声対応パターン１２１に
予め記憶されている複数のカテゴリーの感情に紐付けられた各音声パターンが存在する領
域を表し、それぞれ、笑いの音声パターン領域３１、喜びの音声パターン領域３２、怒り
の音声パターン領域３３、悲しみの音声パターン領域３４である。音声パターン領域３１
〜３４は、点ではなく、図２で表されるように例えば楕円形のような、一定の範囲を持っ
た領域として二次元グラフ上に割り当てられる。これは、あるカテゴリーの感情に紐付け
られた音声パターンは、前述したように多数のサンプリングされた音声データに基づいた
複数の音声数値より作成されたものであるため、ユーザー・音声対応パターン１２２に記
憶される音声数値のように１点に集約するものではなく、その特徴を表す範囲内に、該当
する音声数値が複数存在するからである。
【００１９】
感情検出部１５２により行われる、感情のカテゴリーおよびそのカテゴリーにおける感
情の度合いの判定は、いわゆるマハラノビスの距離に基づいている。マハラノビスの距離
というのは、カテゴリーのデータ中心（一般的に言えば、母集団の重心位置）から判定対
象となるデータまでの距離であって、この距離が短いほど判定対象のデータはそのカテゴ
リーの属性に近く、そのカテゴリーに属するする度合いが高い、つまり、感情の度合いが
高いということが出来る。尚、カテゴリーのデータ中心というのは、そのカテゴリーが有
する特徴量の平均値のことである。具体的に言えば、図２において、１つの音声パターン
は、２次元に変換された複数の特徴量を持っているから、各特徴量について、それぞれカ
テゴリー内の平均をとった２次元のデータが、カテゴリーのデータ中心である。図２に示
す点４１は笑いのカテゴリーのデータ中心であり、点４２は喜びのカテゴリーのデータ中
心であり、点４３は怒りのカテゴリーのデータ中心であり、点４４は悲しみのカテゴリー
のデータ中心である。感情検出部１５２は、音声数値を表す点Ａと、各カテゴリーのデー
タ中心とを比較して、各カテゴリーの感情における感情の度合いを算出し、次に、この音
声数値に該当する感情のカテゴリーを検出する。感情の度合いは、点Ａと各カテゴリーの
データ中心との間の距離に基づき、パーセンテージで算出される。点Ａとカテゴリーのデ
ータ中心の距離が近いほど、そのカテゴリーに該当する感情の度合いが大きく、距離が遠
ざかるにつれて、算出される感情の度合いは小さくなる。
【００２０】
感情検出部１５２は、各カテゴリーのデータ中心と、二次元グラフに割り当てられた音
声数値の座標との距離に基づいて、カテゴリー毎の感情の度合いを算出するための変換式
を記憶している。例えば図２において、点Ａは上述の変換式に基づいて、怒りの感情の度
合いが「５０％」と検出される。さらに、ある音声数値が或る感情のカテゴリーに属する
かどうかの判定は、上述の変換式に基づいてカテゴリー毎に算出された感情の度合いが、
予め定められた一定の値以上を満たした場合、そのカテゴリーの感情に該当するというふ
うになされる。この予め定められた一定の値とは、例えば「５％以上」であり、ＲＯＭ１
１３に予め変数として記憶されているものである。例えば図２において、点Ａにおける音
声数値から、怒り以外の各カテゴリーの感情について算出された感情の度合いが、予め定
められた一定の値に満たなかったとすると、感情検出部１５２は、点Ａにおける音声数値
に対して「怒り度５０％」の感情のみを検出する。なお、図２において図示された感情の
カテゴリーは「笑い」、「喜び」、「悲しみ」、「怒り」の４種類であるが、これに限ら
ず、さらに「興奮」、「平常」「リラックス」等の別のカテゴリーが追加されても良い。
ただし、その場合、各カテゴリーの感情と、その感情に対応する音声パターンを対応付け
た組が、感情・音声対応パターン１２１に予め記憶されている必要がある。
【００２１】
図３は、撮像条件記憶領域１２３に記憶された個々の撮像条件における具体例を表した
図である。
撮像条件５１〜５６は、ユーザーにより各々異なる設定がされ、撮像条件記憶領域１２
３に記憶された個々の撮像条件の例である。個々の撮像条件が有する設定項目として、「
モード」設定、「感情」設定、「感情認識対象者」設定、「待機時間」設定、「判定期間
」設定、及び「撮像時間」設定がある。以下では、説明の便宜上、感情設定、感情認識対
象者設定、待機時間設定、モード設定、判定期間設定、撮像時間設定という順序でその詳
細を説明していく。
【００２２】
まず、感情設定は、ユーザーが撮像を望むシーンに対応した感情のカテゴリーと、撮像
開始の基準に用いる該当カテゴリーにおける感情の度合いを表す数値との組み合わせを設
定する設定項目である。感情設定は、後述するモード設定において個別設定あるいはオー
ト設定のどちらが選択されたかによって、その設定内容が異なる。撮像条件５１〜５４は
、モード設定において個別設定が選択された撮像条件であり、撮像条件５５，５６は、モ
ード設定においてオート設定が選択された撮像条件である。モード設定において個別設定
が選択された場合、感情設定における感情の度合いは、撮像を開始する際の閾値が設定さ
れ、検出感情における感情の度合いが、この閾値を越えた場合に撮像が行われる。例えば
ユーザーが幸せなシーンの撮像を望み、モード設定において個別設定を選択した場合、撮
像条件５１のように、「喜び度が６０％以上」というような設定となる。モード設定にお
いてオート設定が選択された場合、感情設定における感情の度合いは、一定期間における
過去の複数の検出感情において最も高い感情の度合いを持つ検出感情を１００％としたと
きに、ある瞬間の検出感情が、一定期間における過去の複数の検出感情と相対的に比較し
て、上位何％に当たるか、といった相対的な基準で設定される。例えばユーザーが楽しい
シーンの撮像を望み、モード設定においてオート設定を選択した場合、撮像条件５５のよ
うに、「笑い度が一定期間における上位５％」というような設定となる。また、感情設定
においては、複数のカテゴリーの感情を、ａｎｄ条件もしくはｏｒ条件で組み合わせて設
定することが可能である。例えば、撮像条件５３は、ユーザーが楽しいシーンの撮像を望
んだ際の設定の一例である。この撮像条件５３では、喜び度が６０％以上、又は笑い度が
５０％以上、という感情設定がされており、どちらか一方あるいは両方の条件を満たした
場合に撮像が行われる。また、撮像条件５４では、怒り度６０％以上、及び悲しさ度４０
％以上、という感情設定がされており、両方の条件を満たした場合にのみ撮像が行われる
。
【００２３】
感情認識対象者設定は、ユーザーが撮像を望む対象者を設定する設定項目である。例え
ば特定のユーザーＡを撮像したいとユーザーが思った場合、撮像条件５２のように、感情
認識対象者にユーザーＡを設定する。ここで設定できる特定の個人は、予めユーザー音声
登録部１５３を介してユーザー・音声対応パターン１２２に音声数値が登録されたユーザ
ーに限る。感情認識対象者にユーザーＡが設定された場合、ユーザー検出部１５４は、音
声分析部１５１によって音声データが分析された結果である音声数値と、ユーザー・音声
対応パターン１２２に予め記憶されたユーザーＡの音声数値の比較を行い、両者の間に一
定以上の相似が見られるかどうかの判定を行う。この判定の結果、両者の間に一定以上の
相似が見られた場合、ユーザー検出部１５４は、この音声数値の持ち主としてユーザーＡ
を検出する。ユーザー検出部１５４は、この判定の結果および検出した音声数値の持ち主
をＣＰＵ１１１に通知する。ここで、両者の間に一定以上の相似が見られないとユーザー
検出部１５４が判定した場合、ＣＰＵ１１１は、通知された判定に基づいて、音声を発し
た人物が設定された感情認識対象者と異なる、すなわち撮像条件が満たされていないと判
断し、撮像部１９に撮像の旨を指示しない。また、特定の人物に限らず、場のムードに合
わせて撮像したいと思った場合、ユーザーは、感情認識対象者として「雰囲気」という内
容を設定する。ここで雰囲気とは、実際にはマイク１３で収音される際に複数の人物によ
り音声が発せられていた場合の、この複数の音声の合成である。感情認識対象者に雰囲気
が設定された場合、合成された音声から音声分析部１５１が算出した音声数値において特
徴的な感情が検出される。
【００２４】
待機時間設定は、静止画像撮像時のみ有効となる設定項目であり、選択された撮像条件
が満たされ自動で撮像が行われた後、次にこの撮像条件を満たしても撮像を行わず待機す
る時間の間隔を設定するものである。前述したように、検出感情が撮像条件を満たす場合
には撮像が行われるが、このような撮像条件を満たす検出感情に対応するような音声は一
定時間継続して発生する可能性が高い。このような場合、検出感情が撮像条件を満たして
いる時間帯において制限なく撮像を自動的に繰り返すと、同じような撮像データが大量に
記憶されることによって、短時間で撮像データ記憶領域１２５が要領オーバーになってし
まい、その後の多様な撮像機会を逃すような事態に陥ることがある。この待機時間設定は
、そのような問題を防止するために設定される。静止画像撮像時に、例えば待機時間に１
分が設定された撮像条件５１が選択された場合、撮像条件が満たされて自動で撮像が行わ
れた後、この撮像時点から１分が経過するまでの期間は、再び撮像条件を満たすことがあ
っても、ＣＰＵ１１１は撮像部１９に対して撮像の旨を通知することはない。つまり、こ
の間、撮像装置１は撮像待機状態にある。そして、待機時間計測タイマー１６１により上
記の１分が経過すると、待機時間計測タイマー１６１は設定された待機時間が経過した旨
をＣＰＵ１１１に通知する。この通知に従って、ＣＰＵ１１１は撮像待機状態を解除し、
この解除以降において撮像条件が満たされる場合には、自動で撮像が行われる。なお、動
画撮像時には待機時間設定が無効であるが、これは、動画の場合、一度撮像が開始されれ
ば、ユーザーにより撮像停止の操作が行われるか、あるいは撮像部１９がＣＰＵ１１１よ
り撮像終了の通知を受けるまでは、撮像が継続して行われ、再度撮像開始の指示を受ける
必要がないからである。
【００２５】
モード設定は、検出感情における感情の度合いの判定方法が異なるモードを切り替える
ための設定項目である。このモード設定で設定されるモードには、個別設定とオート設定
があり、これらは、感情設定の設定内容および判定期間設定の設定の有無が異なる。
まず、個別設定は、撮像装置１が自動で撮像を開始する際の基準となる個々の設定項目
を、ユーザーの好みに応じて個別に設定する際のモードである。個別設定においては、判
定期間設定は設定不要のため、モード設定に個別設定が選択されると、判定期間設定は、
例えば「−」のように表示され、設定することが出来ないようになるか、もしくは設定を
行っても動作に影響しないようになっている。また個別設定においては、前述したように
、感情設定における感情の度合いは、撮像を開始する際の閾値が設定される。すなわち、
個別設定において撮像条件が満たされた場合、ＣＰＵ１１１は、撮像部１９に対して撮像
の旨を通知し、撮像部１９は、この通知に従ってユーザーの操作を介することなく、静止
画像もしくは動画の撮像を行う。
【００２６】
次に、オート設定は、個別設定のように撮像開始の閾値として感情の度合いの絶対値を
設定するものではなく、一定期間における相対的な感情の度合いを撮像開始のトリガーと
するモードである。このオート設定は、例えばユーザーが楽しいシーンを撮像したいと思
った時に、ある一定期間において、絶対的にそれ程盛り上がっている状況でなくとも、そ
の中から比較的盛り上がっているタイミングを狙って撮像したい場合に選択される。この
オート設定における感情のカテゴリー、感情認識対象者および待機時間における設定は、
個別設定と同じであるが、前述したように、感情の度合いにおける設定が個別設定と異な
り、さらに判定期間の設定が有効になっている。オート設定の撮像条件が選択されると、
時系列に沿って検出される検出感情が、検出感情一時記憶領域１２４に蓄積されていく。
そして、後述する判定期間に設定された時間が経過すると、ＣＰＵ１１１により、その後
最も新しく検出された検出感情と、判定期間中に検出感情一時記憶領域１２４に蓄積され
た複数の検出感情との比較が行われる。すなわち、撮像条件５５が選択された際を例にあ
げると、判定期間に設定された１分間は、撮像が行われることなく、その都度の検出感情
が検出感情一時記憶領域１２４に蓄積して記憶される。そして、判定期間に設定された１
分間が経過すると、以降の検出感情について、検出感情一時記憶領域１２４に蓄積された
複数の検出感情のうち最も高い感情の度合いを持つ検出感情を１００％としたときに、以
降の検出感情における感情の度合いが、検出感情一時記憶領域１２４に蓄積された複数の
検出感情と比較して上位５％に当たるかどうかの判定が行われる。
【００２７】
判定期間設定は、モード設定がオート設定の際に有効となる設定項目である。判定期間
設定では、撮像を行わずに音声を収音し、その音声から得られた検出感情を検出感情一時
記憶領域１２４に保存する初期期間と、この初期期間経過後に、検出感情一時記憶領域１
２４に蓄積保存された複数の検出感情における比較範囲を更新する周期とが設定される。
例えば撮像条件５６が選択された場合、撮像装置１に電源が投入された後、最初の検出感
情が検出感情一時記憶領域１２４に保存された時点を開始時点として判定期間計測タイマ
ー１６２によって時間の計測が行われる。そして、初期期間に設定された３分間が経過し
た事を判定期間計測タイマー１６２がＣＰＵ１１１に通知するまでは、撮像が行われるこ
となく、経過する時間に沿ってその都度検出された検出感情が検出感情一時記憶領域１２
４に保存される。判定期間計測タイマー１６２から、初期期間に設定された３分間が経過
したことがＣＰＵ１１１に通知されると、ＣＰＵ１１１は、３分間経過以降における検出
感情を、その前の３分間に検出感情一時記憶領域１２４に蓄積された複数の検出感情と比
較して、感情設定に設定された感情の度合いを満たすかどうかの判定を行う。ここで、初
期期間経過以降の検出感情が、感情設定に設定された感情の度合いをしばらく満たさない
状態が続き、判定期間設定に設定された周期である１分間がさらに経過すると、検出感情
一時記憶領域１２４に蓄積された複数の検出感情における比較範囲が更新される。すなわ
ち、初期期間の３分間と周期に設定された１分間を合計した４分間に、検出感情一時記憶
領域１２４に蓄積された複数の検出感情が比較範囲となる。このように比較範囲を更新す
る周期を設定する理由は、一定のタイミングで比較範囲を更新する都度、比較対象の母数
が増え、比較が行われた際の判定の精度が向上するためである。
【００２８】
撮像時間設定は、動画撮像時に、自動撮像が開始されてから動画を撮像し続ける時間を
設定する設定項目である。この撮像時間設定は、動画撮像時にのみ有効となり、静止画像
撮像時には無効となり、動作に影響を及ぼすことは無い。撮像時間計測タイマー１６３は
、自動で動画の撮像が行われた時点を開始時点として、時間の計測を行い、設定された撮
像時間が経過した際に、その旨をＣＰＵ１１１に通知する。ＣＰＵ１１１は、この通知に
従って動画の撮像を終了する。
【００２９】
上記のように、撮像条件記憶領域１２３は、ユーザーが操作部１８を用いることにより
それぞれ任意に設定された、モード設定、感情設定、感情認識対象者設定、待機時間設定
、判定期間設定及び撮像時間設定の組み合わせからなる個々の撮像条件を複数記憶してい
る。ユーザーはその時の気分や場の雰囲気に合わせて、撮像条件記憶領域１２３に記憶さ
れた撮像条件の中から、自身が所望する撮像条件を自由に選択することが可能である。ま
た、ユーザーは一度設定した撮像条件を、操作部１８を用いて変更することが可能である
。さらに、撮像条件記憶領域１２３が記憶できる撮像条件の数は、例えば図３では６個表
示されているが、これに限らず、撮像装置１が保持している記憶媒体の記憶容量に応じて
、多くしても良いし少なくしても良い。
【００３０】
図４は、個別設定における静止画像の撮像タイミングを表した図である。
ここで、撮像条件は図３における撮像条件５１が選択されているとする。つまり、感情
設定に「喜び度６０％以上」、感情認識対象者に「雰囲気」、待機時間に「１分」が設定
されている。なお、ここでは、モード設定が個別設定のため、判定期間設定は動作に影響
を及ぼさないし、また、静止画像の撮像のため、撮像時間設定は動作に影響を及ぼさない
。図４において、横軸は時間を表し、縦軸は喜び度を表している。縦軸において、図中の
上に行く程、検出感情の喜び度が高い。喜び度検出曲線６０は、各時点において検出され
た喜びの度合いを表す各点を、時系列に結んだものであり、時間の経過に伴って検出され
た喜びの度合いが変化していく模様を表している。閾値線６１は、縦軸に取られた喜び度
において、撮像条件に設定された自動で撮像が開始する際の閾値「６０％」を表している
。シャッターチャンス６２は、検出感情の感情の度合いがこの閾値を越えており、撮像条
件を満たしている時間帯であり、この時間帯に撮像がなされる。
【００３１】
図４において、撮像装置１は、「２０１０/５/１２ １８：２０：００」の時点に電源
が入れられ、マイク１３が十分に周囲の音声を収音可能な位置に設置されて、自動撮像の
セッティングが完了する。セッティングが完了すると、感情検出部１５２は、マイク１３
により収音された音声が音声分析部１５１により分析された音声数値から、定期的に感情
を検出し、ＣＰＵ１１１に通知する。図４において、喜び度検出曲線６０は、セッティン
グが完了してからしばらくの間、閾値６０％に満たない値を取っているが、「２０１０/
５/１２ １８：３０：００」の時点で、感情検出部１５２により閾値線６１を超える喜
びの度合いを持つ感情が検出される。このとき、検出感情における喜び度が閾値６０％を
超えており、さらに撮像待機状態でもないため、ＣＰＵ１１１は、撮像条件５１が満たさ
れていると判断し、撮像部１９に対して静止画像を撮像する旨を通知する。撮像部１９は
、この通知に従い自動で撮像を行う。このように、ＣＰＵ１１１が、検出感情と撮像条件
とに基づいて判定を行い、判定の結果に基づいて撮像を制御している。撮像の後、待機時
間計測タイマー１６１は、撮像時点から経過する時間の計測を開始する。ＣＰＵ１１１は
、待機時間に設定された１分が経過した旨の通知を待機時間計測タイマー１６１より受け
るまで、検出感情が設定された閾値を越えていても、撮像部１９に対して撮像の旨を通知
しない。つまり、撮像が行われると、以降の検出感情が設定された閾値を越えていても、
設定された待機時間が経過するまで、ＣＰＵ１１１は、撮像条件が満たされていないとみ
なす。そして、撮像が行われた「２０１０/５/１２ １８：３０：００」の時点から、待
機時間に設定された１分間が経過したことを待機時間計測タイマー１６１が計測すると、
待機時間計測タイマー１６１は、待機時間が終了した旨をＣＰＵ１１１に通知する。
【００３２】
この後、「２０１０/５/１２ １８：３０：００」の時点から、待機時間に設定された
１分が経過した「２０１０／５／１２ １８：３１：００」の時点で、検出感情が閾値６
０％を越えているため、再び、ＣＰＵ１１１は、撮像条件を満たしていると判断し、撮像
の旨を撮像部１９に対して通知する。撮像部１９は、この通知に従い自動で撮像を行う。
さらに、撮像が行われた「２０１０／５／１２ １８：３１：００」の時点より、待機時
間に設定された１分が経過した「２０１０／５／１２ １８：３２：００」の時点では、
検出感情が閾値６０％に満たず、撮像条件が満たされていないため、自動で撮像が行われ
ることは無い。以降、ユーザーにより自動撮像モードから手動撮像モードへの切替が行わ
れるか、ユーザーにより自動撮像停止の操作がおこなわれるか、ユーザーにより電源が切
られるか、あるいはバッテリーが尽きるまで、上述と同様の動作によって、撮像条件を満
たすタイミングにおいて自動で撮像が行われる。
なお、各時点における検出感情は、複数のカテゴリーの感情および感情の度合いを含む
場合がある。例示した図４においては、撮像条件５１の感情設定に「喜び度」が設定され
ており、検出感情に含まれる感情のカテゴリーとして喜びのみを対象に判定すればよいた
め、縦軸を喜び度に限定していたが、複数のカテゴリーの感情が設定された場合には、そ
れぞれの感情について図４と同じ手法で考えればよい。
【００３３】
次に、図５は、オート設定における静止画像の撮像タイミングを表した図である。
ここで、撮像条件は、図３における撮像条件５５が選択されているものとする。つまり
、感情設定に「笑い度が一定期間における上位５％」、感情認識対象者に「雰囲気」、待
機時間に「３０秒」、判定期間に、初期期間として「１分」、比較範囲更新の周期として
「３０秒毎」が設定されている。なお、図５においては、静止画像の撮像のため、撮像時
間設定は動作に影響を及ぼさない。図５において、横軸は時間を表し、縦軸は笑い度を表
している。笑い度検出曲線７０は、各時点において検出された笑いの度合いを表す各点を
、時系列に結んだものであり、時間の経過に伴って検出された笑いの度合いが変化してい
く模様を表している。直線７１は、図５において選択された撮像条件５５とは関係ないが
、図４における個別設定との比較を分かりやすくするために図示したものであり、６０％
の笑い度を表したものである。シャッターチャンス７２は、撮像条件を満たしている時間
帯であり、この時間帯に撮像がなされる。
【００３４】
図５において、撮像装置１は、図５で表された「２０１０/７/５ ２０：１５：１５」
の時点で電源が入れられ、マイク１３が十分に周囲の音声を収音可能な位置に設置されて
、自動撮像のセッティングが完了する。セッティングが完了すると、感情検出部１５２は
、マイク１３により収音された音声が音声分析部１５１により分析された音声数値から、
定期的に感情を検出し、ＣＰＵ１１１に通知する。図５において、「２０１０/７/５ ２
０：１５：２１」は、セッティングが完了した後に初めて感情が検出された時点である。
この時点を開始時点として、判定期間計測タイマー１６２は、経過する時間を計測する。
初めて感情が検出された「２０１０/７/５ ２０：１５：２１」の時点から、判定期間に
初期期間として設定された１分間が経過したことが判定期間計測タイマー１６２からＣＰ
Ｕ１１１に通知されるまでは、撮像が行われることなく、その都度の検出感情が時系列に
沿って、検出感情一時記憶領域１２４に蓄積して保存される。「２０１０/７/５ ２０：
１５：２１」の時点から、判定期間に初期期間として設定された１分間が経過した「２０
１０/７/５ ２０：１６：２１」の時点以降、ＣＰＵ１１１は、感情検出部１５２により
都度検出された検出感情と、１分間に検出感情一時記憶領域１２４に蓄積して保存された
複数の検出感情との比較を行う。
【００３５】
ここで、図５における点Ｃは、設定された初期期間に該当する「２０１０/７/５ ２０
：１５：２１」から「２０１０/７/５ ２０：１６：２１」の間に検出された検出感情の
うち、最も高い笑いの感情の度合いを持つ検出感情であり、図５における点Ｄは、初期期
間経過後、すなわち「２０１０/７/５ ２０：１６：２１」の時点以降に検出された検出
感情のうちの一つである。比較範囲αは、検出感情一時記憶領域１２４に蓄積して保存さ
れた複数の検出感情のうち、設定された初期期間に該当する「２０１０/７/５ ２０：１
５：２１」から「２０１０/７/５ ２０：１６：２１」の間に蓄積された、点Ｄの比較範
囲である。この比較範囲は、時間間隔を表す数値として、ＲＡＭ１１２に変数として記憶
される。「２０１０/７/５ ２０：１６：２１」の時点で、この変数として記憶される値
は、初期期間に設定された期間と同様の「１分間」である。ここで点Ｃにおける検出感情
が持つ笑いの度合いが、絶対値として３０％であった場合、ＣＰＵ１１１は、この３０％
を、比較範囲αにおける比較の基準値１００％として、点Ｄにおける検出感情が持つ笑い
の度合いが、比較範囲αにおける複数の検出感情が持つ笑いの度合いと比較して、感情設
定に設定された「上位５％」に当たるかどうかの判定を行う。ここで、点Ｄにおける検出
感情が持つ笑いの度合いは、図５に表されるように、比較範囲αにおいて「上位５％」に
当たらないため、ＣＰＵ１１１は、選択された撮像条件５５を満たさないと判断し、自動
で撮像が行われることは無い。
【００３６】
以降、感情検出部１５２が感情を検出する毎に、ＣＰＵ１１１は、検出した最新の検出
感情が持つ笑いの度合いと、検出感情一時記憶領域１２４に蓄積して保存された比較範囲
αにおける複数の検出感情が持つ笑いの度合いとを比較して、最新の検出感情が持つ笑い
の度合いが、感情設定に設定された「上位５％」に当たるかどうかの判定を行う。図５に
おいて、初期期間が経過した「２０１０/７/５ ２０：１６：２１」の時点以降しばらく
の間、検出感情は、「上位５％」に満たない笑いの度合いとなっている。次に、初期期間
が経過した「２０１０/７/５ ２０：１６：２１」の時点から、判定期間に比較範囲更新
の周期として設定された「３０秒」が経過した「２０１０/７/５ ２０：１６：５１」の
時点で、比較範囲αと比較して「上位５％」に当たる笑いの度合いを持つ感情が検出され
なかったため、ＣＰＵ１１１は、周期として設定された３０秒分、比較範囲をさらに広く
取り、比較範囲をαからβに更新する。具体的には、ＣＰＵ１１１は、比較範囲を表す変
数の値を「１分間」から「１分間３０秒」に更新する。比較範囲がβに更新された「２０
１０/７/５ ２０：１６：５１」の時点以降、感情が検出される毎に、ＣＰＵ１１１は、
その最新の検出感情が持つ笑いの度合いと、比較範囲βにおける複数の検出感情が持つ笑
いの度合いとを比較して、感情設定に設定された「上位５％」に当たるかどうかの判定を
行う。
【００３７】
この結果、「２０１０/７/５ ２０：１７：０５」の時点で、比較範囲βにおける複数
の検出感情が持つ笑いの度合いと相対的に比較して、感情設定に設定された「上位５％」
に当たる笑いの度合いを持つ検出感情が検出される。この検出感情が感情設定における条
件を満たしており、さらに撮像待機状態でもないため、ＣＰＵ１１１は、撮像条件５５が
満たされていると判断し、撮像部１９に対して静止画像を撮像する旨を通知する。撮像部
１９は、通知に従い自動で撮像を行う。撮像の後、待機時間計測タイマー１６１は、撮像
時点から経過する時間の計測を開始する。ＣＰＵ１１１は、待機時間に設定された３０秒
が経過した旨の通知を待機時間計測タイマー１６１より受けるまで、検出感情が感情設定
における条件を満たしていても、撮像部１９にたいして撮像の旨を通知しない。つまり、
撮像が行われると、以降の検出感情が感情設定における条件を満たしていても、設定され
た待機時間が経過するまで、ＣＰＵ１１１は、撮像条件が満たされていないとみなす。そ
して、撮像が行われた「２０１０／７／５ ２０：１７：０５」の時点より、待機時間に
設定された３０秒が経過した「２０１０／７／５ ２０：１７：３５」の時点では、この
時点の検出感情が持つ笑いの度合いが、比較範囲βにおける複数の検出感情が持つ笑いの
度合いと比較して、「上位５％」に当たらず、撮像条件が満たされていないため、自動で
撮像が行われることは無い。以降、ユーザーにより自動撮像モードから手動撮像モードへ
の切替が行われるか、ユーザーにより自動撮像停止の操作がおこなわれるか、ユーザーに
より電源が切られるか、あるいはバッテリーが尽きるまで、上述と同様の動作によって、
撮像条件を満たすタイミングにおいて自動で撮像が行われる。
【００３８】
図６は、検出感情一時記憶領域１２４に保存される検出感情データの例を表した図であ
る。
検出感情一時記憶領域１２４に保存される個々の検出感情データは、ＩＤ、タイムスタ
ンプおよび感情フラグからなる。ＩＤは、個々の検出感情データを一意に認識するための
ものであり、例えば任意の桁数による数字の組み合わせ等で表される。ＩＤは、検出感情
データが検出感情一時記憶領域１２４に保存される際、一意に割り当てられた値であり、
例えば６桁の数字である。タイムスタンプは、個々の検出感情データが検出感情一時記憶
領域１２４に保存された時刻である。感情フラグは、個々の検出感情データに含まれる、
感情のカテゴリーおよび、そのカテゴリーの感情の度合いを表す。
【００３９】
図６において検出感情一時記憶領域１２４に保存された検出感情データは、図５におけ
るオート設定による静止画像撮像時の複数の検出感情と対応している。例えば図６中のＩ
Ｄ「０００００１」の検出感情データは、図５において、セッティングが完了した後に初
めて検出された検出感情である。ＣＰＵ１１１は、オート設定における検出感情の比較を
行う際の比較範囲を、ＲＡＭ１１２に記憶された変数の値と、検出感情一時記憶領域１２
４に保存された検出感情データのタイムスタンプとに基づいて判断する。すなわち、ＣＰ
Ｕ１１１は、検出感情一時記憶領域１２４に保存された複数の検出感情データのうち、タ
イムスタンプに最も過去の時刻を持つ検出感情データから、この検出感情データの持つタ
イムスタンプにおける時刻に、比較範囲を表す変数に値として保持された時間を加算した
時刻以内のタイムスタンプを持つ検出感情データまでを比較範囲と判断する。図５におい
て、判定期間に設定された初期期間経過後から周期が経過しない期間に比較範囲となるの
は、「２０１０／７／５ ２０：１５：２１」から「２０１０／７／５ ２０：１６：２
１」の間における検出感情、つまり図６中のＩＤ「０００００１」からＩＤ「０００００
１３」までの検出感情データである。比較範囲における検出感情データのうち、感情設定
に設定されたカテゴリーの感情を含まないものは、比較の対象外となる。例えば、図５に
おいて初期期間の１分経過後、さらに周期である３０秒が経過した場合、比較範囲となる
のは、タイムスタンプが「２０１０／７／５ ２０：１５：２１」から「２０１０／７／
５ ２０：１６：５１」以内である検出感情データ、つまり図６中のＩＤ「０００００１
」からＩＤ「０００００２０」までの検出感情データであるが、ＩＤ「００００１４」お
よびＩＤ「００００１５」の検出感情データは、感情設定に設定された「笑い度」を含ん
でいないため、ＣＰＵ１１１は、この２つの検出感情データを比較の際に対象外とする。
【００４０】
図７Ａ、図７Ｂおよび図７Ｃは、静止画像撮像時における処理フロー図である。尚、図
７Ａ〜図７Ｃの処理フローにおいては、撮像装置１の電源は常にオンの状態かつ撮像デー
タ記憶領域１２５に充分な容量が確保されており、かつ静止画像の撮像であることが前提
であり、ユーザーにより電源がオフにされるか、バッテリーが尽きるか、撮像データ記憶
領域１２５が容量オーバーとなるか、あるいは動画撮像に切り替えられると、その段階で
処理を終了する。
まず、撮像装置１は、自動撮像モードである場合（図７ＡステップＳ１；ＹＥＳ）、マ
イク１３により周囲の音声が収音される（図７ＡステップＳ２）。手動撮像モードであっ
た場合（図７ＡステップＳ１；ＮＯ）、検出感情一時記憶領域１２４をフォーマットし（
図７ＣステップＳ１７）、自動撮像の処理を終了する。撮像装置１が、自動撮像モードで
あり（図７ＡステップＳ１；ＹＥＳ）、収音した音声を処理対象とするサンプリング周期
に該当する場合（図７ＡステップＳ３；ＹＥＳ）、収音された音声は、Ａ／Ｄ変換機１４
により、アナログの音声データからデジタルの音声データに変換される（図７Ａステップ
Ｓ４）。サンプリング周期に該当しない場合（図７ＡステップＳ３；ＮＯ）、図７Ａステ
ップＳ１の判定に戻る。デジタルに変換された音声データは、音声分析部１５１により分
析のうえ数値化がなされ、音声数値が算出される（図７ＡステップＳ５）。
【００４１】
ここで、選択された撮像条件において、感情認識対象者に雰囲気ではなく特定のユーザ
ーが設定されていた場合（図７ＡステップＳ６；ＹＥＳ）、ユーザー検出部１５４は、算
出された音声数値とユーザー・音声対応パターン１２２との照会を行い、ユーザー・音声
対応パターン１２２に予め登録された音声数値のうち、算出された音声数値と一定以上の
相似が認められる音声数値を特定し、算出された音声数値に対応するユーザーを検出する
（図７ＡステップＳ７）。算出された音声数値とユーザー・音声対応パターン１２２とを
照会した結果、算出された音声数値が、感情認識対象者に設定された特定のユーザーに該
当すると判定された場合（図７ＡステップＳ８；ＹＥＳ）、感情検出部１５２により、こ
の音声数値と感情・音声対応パターン１２１との照会が行われ、この音声数値に該当する
検出感情、すなわち該当する感情のカテゴリーおよび、そのカテゴリーにおける感情の度
合いが検出される（図７ＡステップＳ９）。算出された音声数値とユーザー・音声対応パ
ターン１２２とが照会された結果、この音声数値が、感情認識対象者に設定された特定の
ユーザーに該当しないと判定され（図７ＡステップＳ８；ＮＯ）、ユーザーにより自動撮
像を停止する操作が行われると（図７ＣステップＳ１６；ＹＥＳ）、ＣＰＵ１１１は、検
出感情一時記憶領域１２４をフォーマットし（図７ＣステップＳ１７）、自動撮像の処理
を終了する。ユーザーにより自動撮像を停止する操作が行われていない場合（図７Ｃステ
ップＳ１６；ＮＯ）、図７ＡステップＳ１の判定に戻る。選択された撮像条件において、
感情認識対象者に特定のユーザーではなく雰囲気が設定されていた場合（図７Ａステップ
Ｓ６；ＮＯ）、図７ＡステップＳ７および図７ＡステップＳ８を経ずに、感情検出部１５
２により、音声数値と感情・音声対応パターン１２１との照会が行われ、この音声数値に
該当する感情が検出される（図７ＡステップＳ９）。
【００４２】
音声数値に該当する感情が検出（図７ＡステップＳ９）された後、選択された撮像条件
においてモード設定が個別設定である場合（図７ＢステップＳ１０；ＮＯ）、ＣＰＵ１１
１により、検出感情が、選択された撮像条件の感情設定を満たしているか、すなわち、検
出感情が、設定された感情のカテゴリーに該当し、設定された閾値を越えるこのカテゴリ
ーの感情の度合いを持っているかの判定が行われる（図７ＢステップＳ１１）。検出感情
が、選択された撮像条件の感情設定における条件を満たさない場合（図７ＢステップＳ１
１；ＮＯ）、図７ＣステップＳ１６の判定に進む。検出感情が、選択された撮像条件の感
情設定における条件を満たす場合（図７ＢステップＳ１１；ＹＥＳ）、撮像装置１が撮像
待機状態かの判定が行われる（図７ＣステップＳ１２）。すなわち、これ以前に自動で撮
像が行われており、以降、ＣＰＵ１１１が、待機時間計測タイマー１６１より待機時間が
経過した旨の通知を受けていない場合（図７ＣステップＳ１２；ＹＥＳ）、図７Ｃステッ
プＳ１６の判定に進む。ＣＰＵ１１１が、待機時間計測タイマー１６１より、待機時間が
経過した旨の通知を受けている、もしくはこれ以前に撮像が行われておらず、撮像待機状
態では無い場合（図７ＣステップＳ１２；ＮＯ）、ＣＰＵ１１１は、撮像部１９に撮像の
旨を通知し、この通知に従って、撮像部１９は自動で撮像を行う（図７ＣステップＳ１３
）。
【００４３】
撮像（図７ＣステップＳ１３）が完了すると、ＣＰＵ１１１は、撮像データを撮像デー
タ記憶領域１２５に保存する（図７ＣステップＳ１４）。ＣＰＵ１１１は、待機時間計測
タイマー１６１をリセットし、待機時間計測タイマー１６１は、この時点を開始時点とし
て、経過する時間の計測を開始する（図７ＣステップＳ１５）。次に、ユーザーにより自
動撮像を停止する操作が行われていない場合（図７ＣステップＳ１６；ＮＯ）、ステップ
Ｓ１の判定に戻る。ユーザーにより自動撮像を停止する操作が行われた場合（図７Ｃステ
ップＳ１６；ＹＥＳ）、ＣＰＵ１１１は、検出感情一時記憶領域をフォーマットし（図７
ＣステップＳ１７）、自動撮像の処理を終了する。
【００４４】
図７ＢステップＳ１８〜図７ＢステップＳ２４は、モード設定がオート設定であった場
合（図７ＢステップＳ１０；ＹＥＳ）の処理フローである。ＣＰＵ１１１は、検出感情を
検出感情一時記憶領域１２４に保存する（図７ＢステップＳ１８）。ここで、保存された
検出感情が、検出感情一時記憶領域１２４に最初に保存された検出感情データであった場
合（図７ＢステップＳ１９；ＹＥＳ）、判定期間計測タイマー１６２は、この時点を開始
時点として、経過する時間の計測を開始する（図７ＢステップＳ２０）。次に、ＣＰＵ１
１１が、判定期間計測タイマー１６２より、選択された撮像条件の判定期間に設定された
初期期間が経過している旨の通知を受けているかの判定が行われる（図７ＢステップＳ２
１）。ＣＰＵ１１１により検出感情データが保存された際に、検出感情一時記憶領域１２
４に、それ以前の検出感情データが既に存在していた場合（図７ＢステップＳ１９；ＮＯ
）、判定期間計測タイマー１６２による計時は開始されているため、図７ＢステップＳ２
０を経ずに図７ＢステップＳ２１の判定が行われる。
【００４５】
ＣＰＵ１１１が、判定期間計測タイマー１６２より、選択された撮像条件の判定期間に
設定された初期期間が経過している旨の通知を受けていない場合（図７ＢステップＳ２１
；ＮＯ）、図７ＣステップＳ１６の判定に進む。ＣＰＵ１１１が、判定期間計測タイマー
１６２より、選択された撮像条件の判定期間に設定された初期期間が経過している旨の通
知を受けており（図７ＢステップＳ２１；ＹＥＳ）、さらにＣＰＵ１１１が、判定期間計
測タイマー１６２より、選択された撮像条件の判定期間に設定された周期が経過している
旨の通知を受けている場合（図７ＢステップＳ２２；ＹＥＳ）、ＣＰＵ１１１は、ＲＡＭ
１１２に記憶された比較範囲を表す変数の値を更新する（図７ＢステップＳ２３）。次に
、ＣＰＵ１１１は、検出感情と、検出感情一時記憶領域１２４に記憶された複数の検出感
情データのうち、比較範囲の検出感情データとの相対的な比較を行い、検出感情が、選択
された撮像条件に設定された感情設定における条件を満たすかどうかの判定を行う（図７
ＢステップＳ２４）。ＣＰＵ１１１が、判定期間計測タイマー１６２より、前回の撮像時
点から、選択された撮像条件の判定期間に設定された周期が経過している旨の通知を受け
ていない場合（図７ＢステップＳ２２；ＮＯ）、図７ＢステップＳ２３を経ずに図７Ｂス
テップＳ２４の判定に進む。判定の結果、検出感情が、選択された撮像条件に設定された
感情設定における条件を満たす場合（図７ＢステップＳ２４；ＹＥＳ）、図７Ｃステップ
Ｓ１２の判定に進む。判定の結果、検出感情が、選択された撮像条件に設定された感情設
定における条件を満たさない場合（図７ＢステップＳ２４；ＮＯ）、図７ＣステップＳ１
６の判定に進む。
【００４６】
このように、ユーザーにより自動撮像モードから手動撮像モードに切り替えられるか（
図７ＡステップＳ１；ＮＯ）、ユーザーにより自動撮像を停止する操作が行われるまで（
図７ＣステップＳ１６；ＹＥＳ）、撮像装置１は、図７Ａ〜図７Ｃの処理フローに従い、
収音データから感情を検出し、判定に従って撮像を行うという一連の動作を繰り返す。
【００４７】
図８は、動画撮像時の動作例を説明する図である。
図８において、横軸は時間を表している。図８において、矢印８１、８２は、撮像の開
始から終了までの期間を表したものである。撮像開始のタイミングおよびその判定方法に
ついては、個別設定およびオート設定のいずれにおいても、図４および図５における静止
画像撮像時と同様であるため、詳細な説明は省略する。
【００４８】
矢印８１は、撮像条件に、図３における撮像条件５１が選択された場合に動画が撮像さ
れる期間を表している。すなわち、撮像条件として、モード設定に「個別設定」、感情設
定に「喜び度６０％以上」、感情認識対象者に「雰囲気」、撮像時間に「１０分」が設定
されているときの撮像時間である。「２０１０／３／１０ １５：１５：００」の時点で
、感情設定に設定された「喜び度６０％以上」を満たす検出感情８５が検出される。この
検出感情における喜び度が、設定された閾値６０％を超えており、さらに撮像待機状態で
もないため、ＣＰＵ１１１は、撮像条件５１が満たされていると判断し、撮像部１９に対
して動画の撮像を開始する旨を通知する。撮像部１９は、この通知に従い、自動で動画の
撮像を開始する。動画の撮像が開始されると、撮像時間計測タイマー１６３は、撮像が開
始された時点を始点として、経過する時間の計測を開始する。撮像時間計測タイマー１６
３より、撮像時間に設定された１０分間が経過した旨がＣＰＵ１１１に通知されると、Ｃ
ＰＵ１１１は撮像部１９に撮像停止の旨を通知し、この通知に従って撮像部１９は動画の
撮像を終了する。次に、ＣＰＵ１１１は、動画撮像データを、撮像データ記憶領域１２５
に保存する。ここで、撮像時間計測タイマー１６３により計時が開始されてから、撮像時
間に設定された１０分間が経過するまでの間に、撮像条件５１の感情設定に設定された「
喜び度６０％以上」を満たす検出感情が検出されると、撮像時間の延長が行われる。すな
わち、ＣＰＵ１１１は撮像時間計測タイマー１６３をリセットし、撮像時間計測タイマー
１６３は、リセットされた時点を始点として経過する時間の計測を開始する。「２０１０
／３／１０ １５：２０：００」の時点で、「喜び度４５％」の検出感情８６が検出され
るが、これは感情設定に設定された「喜び度６０％以上」という条件を満たさないため、
撮像時間の延長が行われることはない。動画撮像開始後、撮像時間の延長が行われるよう
な検出感情が新たに検出されることが無いため、撮像時間に設定された１０分間が経過し
た「２０１０／３／１０ １５：２５：００」の時点で、撮像が終了している。
【００４９】
矢印８２は、撮像条件に、図３における撮像条件５３が選択された場合に動画が撮像さ
れる期間を表している。すなわち、撮像条件として、モード設定に「個別設定」、感情設
定に「喜び度６０％以上または笑い度５０％以上」、感情認識対象者に「雰囲気」、撮像
時間に「１０分」が設定されているときの撮像時間である。「２０１０／３／１０ １５
：４０：３０」の時点で、感情設定に設定された「喜び度６０％以上または笑い度５０％
以上」を満たす検出感情８７が検出され、動画の撮像が開始される。動画の撮像が開始さ
れると、撮像時間計測タイマー１６３は、撮像が開始された時点を始点として、経過する
時間の計測を開始する。撮像開始時点より、撮像時間に設定された１０分間が経過してい
ない「２０１０／３／１０ １５：４８：００」の時点で、「喜び度８０％」の検出感情
が検出され、これは感情設定に設定された条件を満たすため、撮像時間の延長が行われる
。すなわち、ＣＰＵ１１１は撮像時間計測タイマー１６３をリセットし、撮像時間計測タ
イマー１６３は、リセットされた「２０１０／３／１０ １５：４８：００」の時点を始
点として、経過する時間の計測を開始する。その後、感情設定に設定された条件を満たす
検出感情が新たに検出されることが無いため、「２０１０／３／１０ １５：４８：００
」の時点から、撮像時間に設定された１０分間が経過した「２０１０／３／１０ １５：
５８：００」の時点で、撮像が終了している。
【００５０】
図９Ａ、図９Ｂ、図９Ｃは、動画撮像時における処理フロー図である。尚、図９Ａ〜図
９Ｃの処理フローにおいては、撮像装置１の電源は常にオンの状態かつ撮像データ記憶領
域１２５に充分な容量が確保されており、かつ動画の撮像であることが前提であり、ユー
ザーにより電源がオフにされるか、バッテリーが尽きるか、撮像データ記憶領域１２５が
容量オーバーとなるか、あるいは静止画像の撮像に切り替えられると、その段階で処理を
終了する。また、図９ＡステップＳ１〜図９ＡステップＳ９、図９ＢステップＳ１０、図
９ＢステップＳ１１および図９ＢステップＳ１８〜図９ＢステップＳ２４については、そ
の処理内容および処理フローについて静止画像撮像時と同様のため、詳細な説明は省略す
る。
【００５１】
選択された撮像条件においてモード設定が個別設定であり（図９ＢステップＳ１０；NO
）、検出感情が選択された撮像条件の感情設定における条件を満たすか（図９Ｂステップ
Ｓ１１；ＹＥＳ）、あるいは選択された撮像条件においてモード設定がオート設定であり
（図９ＢステップＳ１０；ＹＥＳ）、検出感情が選択された撮像条件における感情設定を
満たす（図９ＢステップＳ２４；ＹＥＳ）と、撮像装置１が撮像中であるかどうかの判定
が行われる（図９ＣステップＳ３０）。撮像が開始されていない場合（図９ＣステップＳ
３０；ＮＯ）、ＣＰＵ１１１は、撮像部１９に動画の撮像を開始する旨を通知し、この通
知に従って撮像部１９は動画の撮像を自動で開始し、撮像時間計測タイマー１６３は、撮
像が開始された時点を始点として経過する時間の計測を開始する（図９ＣステップＳ３１
）。ＣＰＵ１１１は、撮像データを撮像データ記憶領域１２５に保存する（図９Ｃステッ
プＳ３２）。次に、ＣＰＵ１１１が、撮像時間計測タイマー１６３より、撮像条件に設定
された撮像時間が経過した旨の通知を受けておらず（図９ＣステップＳ３３；ＮＯ）、ユ
ーザーにより操作部１８を介して撮像停止の操作が行われていない場合（図９Ｃステップ
Ｓ３４；ＮＯ）、ステップＳ１の判定に戻る。ユーザーにより操作部１８を介して撮像停
止の操作が行われた場合（図９ＣステップＳ３４；ＹＥＳ）、ＣＰＵ１１１は、撮像部１
９に撮像停止の旨を通知し、この通知に従って撮像部１９は撮像を停止する（図９Ｃステ
ップＳ３５）。その後、ＣＰＵ１１１は、撮像データを撮像データ記憶領域１２５に保存
し（図９ＣステップＳ３６）、ＣＰＵ１１１が検出感情一時記憶領域１２４をフォーマッ
トした後に（図９ＣステップＳ３７）、撮像装置１は動画撮像の処理を終了する。ＣＰＵ
１１１が、撮像時間計測タイマー１６３より、撮像条件に設定された撮像時間が経過した
旨の通知を受けていた場合（図９ＣステップＳ３３；ＹＥＳ）、ＣＰＵ１１１は、撮像部
１９に撮像停止の旨を通知し、この通知に従って撮像部１９は撮像を停止し（図９Ｃステ
ップＳ３５）、以降図９ＣステップＳ３６および図９ＣステップＳ３７の処理が行われた
後、撮像装置１は動画撮像の処理を終了する。
【００５２】
図９ＣステップＳ３８および図９ＣステップＳ３９は、図９Ｃステップ３０において、
撮像装置１が撮像中であると判断された場合（図９ＣステップＳ３０；ＹＥＳ）の処理フ
ローである。この場合、ＣＰＵ１１１は、撮像時間計測タイマー１６３をリセットし、撮
像時間計測タイマー１６３は、リセットされた時点を開始時点として経過する時間の計測
を開始する（図９ＣステップＳ３８）。その後、ＣＰＵ１１１は、撮像データ記憶領域１
２５に保存された撮像中の動画撮像データに対して、現在の時刻を表すタイムスタンプと
、検出感情における感情のカテゴリーおよびその感情の度合いと、検出感情の持ち主であ
る感情認識対象者を付加し、撮像データ記憶領域１２５に保存された撮像中の動画撮像デ
ータを最新の状態に上書き保存する（図９ＣステップＳ３９）。
【００５３】
さて、図９ＡステップＳ１において、ユーザーにより自動撮像モードから手動撮像モー
ドに切り替えられると（図９ＡステップＳ１；ＮＯ）、それが撮像中であった場合には、
ＣＰＵ１１１は、撮像データ記憶領域１２５に保存された撮像中の動画撮像データを最新
の状態に上書き保存し（図９ＣステップＳ３６）、ＣＰＵ１１１は検出感情一時記憶領域
１２４をフォーマットした後に（図９ＣステップＳ３７）、撮像装置１は自動撮像時の処
理フローを終了する。その後、ユーザーにより自動撮像を停止する操作が行われるか、撮
像データ記憶領域１２５が容量オーバーとなるか、ユーザーにより電源がオフにされるか
、バッテリーが尽きるか、あるいは静止画像の撮像に切り替えられるまで、撮像装置１は
、動画を撮像し続ける。撮像装置１が、自動撮像モードである（図９ＡステップＳ１；Ｙ
ＥＳ）状態が続く限りにおいて、ＣＰＵ１１１が、撮像時間計測タイマー１６３より設定
された撮像時間が経過した旨の通知を受けるか（図９ＣステップＳ３３；ＹＥＳ）、ユー
ザーにより自動撮像を停止する操作が行われる（図９ＣステップＳ３４；ＹＥＳ）まで、
撮像装置１は、図９Ａ〜図９Ｃの処理フローに従い、収音データから感情を検出し、判定
に従って動画の撮像を開始する、もしくは動画の撮像を継続する、という一連の動作を繰
り返す。
【００５４】
図１０は、撮像データ記憶領域１２５に保存される撮像データの例を表した図である。
撮像データ記憶領域１２５に保存される個々の撮像データは、ＩＤ、ファイル名、タイ
ムスタンプ、感情フラグ、感情認識対象者からなる。ＩＤは、個々の撮像データを一意に
認識するためのものであり、例えば任意の桁数による英数字の組み合わせ等で表される。
ＩＤは、撮像データが撮像データ記憶領域１２５に保存される際、自動で採番された値が
割り当てられる。図１０においては、ＩＤは、８桁の数字によって一意の値を持つ。ファ
イル名は、個々の撮像データであるファイルを識別するための固有名称であり、任意の桁
数による英数字等の組み合わせである文字部分と、ファイルの種類を表す拡張子との組み
合わせによって表される。例えば図１０において、静止画像であれば「ａａａｂｂｂ１２
３．ｊｐｇ」といったファイル名であり、動画であれば「ＨＨＨＫＫＫ１２３．ｍｐｇ」
といったファイル名である。ファイル名は、撮像データが撮像データ記憶領域１２５に保
存される際、文字部分に、その初期値として自動で採番された値が割り当てられる。ここ
でファイル名は、撮像データが撮像データ記憶領域１２５に保存された後、ユーザーが操
作部１８を介して、ユーザーの好みに応じたファイル名に変更することを可能としても良
い。例えば図１０における「１００３誕生日．ｊｐｇ」のように、漢字をファイル名に使
用可能としても良いし、これに限らず、平仮名、カナ等を使用可能としても良い。タイム
スタンプは、個々の撮像データが撮像された時刻である。静止画像の場合、撮像が行われ
た時刻であり、動画の場合、撮像が開始された時刻および、その後撮像条件を満たした時
刻である。感情フラグは、個々の撮像データが撮像された際に、感情検出部１５２により
検出された感情のカテゴリーと、そのカテゴリーにおける感情の度合いを表す。感情認識
対象者は、個々の撮像データが撮像された際の、検出感情の持ち主を表す。
【００５５】
例えば図１０において、ファイル名「ａａａｂｂｂ１２３．ｊｐｇ」の撮像データは、
「２００９／１０／１６ １５：３５」に撮像された静止画像であり、撮像された際の雰
囲気が、喜び度７０％であったことを表す。また、図６において、ファイル名「ＨＨＨＫ
ＫＫ１２３．ｍｐｇ」の撮像データは、「２００９／１０／１８ １２：００」に撮像が
開始された動画であり、撮像が開始された際の雰囲気が、喜び度７０％および笑い度５０
％であったことを表し、「２００９／１０／１８ １２：１５」の時点でユーザーＢの喜
び度が７０％であったことを表す。また、ユーザーが撮像データ記憶領域１２５に保存さ
れた撮像データを再生する際、再生対象の撮像データを、撮像データ記憶領域１２５に保
存された個々の撮像データが持つ属性を用いて、検索可能としても良い。すなわち、ユー
ザーが操作部１８を介して、表示部１７が有する表示体に表示された、撮像データに対す
る検索フィールドに対して、ファイル名、日付、感情のカテゴリーおよびそのカテゴリー
の感情の度合い、あるいは感情認識対象者を、任意に組み合わせて指定することにより、
ユーザーが再生を望む撮像データを検索することを可能としても良い。
【００５６】
このように、本実施形態によれば、ユーザーは、望むシーンに応じて、自動で撮像が開
始される条件である撮像条件を設定のうえ選択し、撮像装置１が、周囲の音声から被撮像
者や場における感情を検出することにより、検出感情が選択された撮像条件を満たす場合
、自動で撮像が行われる。こうした一連の制御により、ユーザーは、自らによる操作を介
することなく、望むシーンに応じた静止画像や動画を得ることが可能となる。また、撮像
条件として特定の人物を撮像対象者に設定することが可能なため、ユーザーは、所望する
特定の人物の感情に注目して撮像機会を狙うことも可能である。また、こうした特定の人
物を狙った撮像を望むのでなければ、撮像開始前にユーザーが予め準備する内容は、撮像
条件の設定および選択のみで良いため、ユーザーが要する手間が少なくて済む。また、検
出された感情の相対評価に基づいた撮像機会を得ることも可能であるため、ユーザーは、
ある時間帯の中で比較的盛り上がったシーンについて撮像機会を逃すこともない。また、
保存された撮像データには、検出された感情が感情フラグとして、検出感情の持ち主が感
情認識対象者として付加されているため、撮像データの再生時において、感情および特定
の人物に注目した検索および頭出し再生が容易となっている。このように、本実施形態に
よれば、自動撮像の機能を有効にするためにユーザーが必要とする手間を削減し、被撮像
者の感情や、場の雰囲気に応じて、ユーザーが望むシーンを自動で撮像することが可能と
なるという効果を奏することができる。
【００５７】
（２）変形例
上記の実施形態を次のように変形してもよい。
（２−１）変形例１
上記実施形態においては、撮像条件におけるモード設定がオート設定であった場合、検
出感情一時記憶領域１２４をフォーマットするタイミングは、ユーザーにより自動撮像モ
ードから手動撮像モードに切り替えられるか、設定された撮像時間が満了する、あるいは
ユーザーにより停止の操作が行われることで、撮像が停止したタイミングである。つまり
、いずれにおいても、自動撮像の処理が停止された後であって、自動撮像の処理が進行中
にフォーマットが行われるものではなかった。検出感情一時記憶領域１２４をフォーマッ
トするタイミングはこれに限らず、自動撮像の処理が進行中の期間における、ある一定の
タイミングが訪れる毎に定期的にフォーマットが行われるようにしてもよい。すなわち、
撮像条件が満たされ自動で撮像が行われた直後に、フォーマットが行われてもよいし、撮
像条件が満たされ自動で撮像が行われた後、設定された待機時間が経過したタイミングで
フォーマットが行われてもよい。また、撮像条件が満たされ自動で撮像が行われた後、予
め定められた一定の期間が経過したタイミングでフォーマットが行われてもよい。この予
め定められた一定の期間は、ＲＯＭ１１３に書換え不可な形で記憶されていてもよいし、
撮像条件に、この予め定められた一定の期間を設定するための項目を設け、ユーザーの希
望に応じて変更可能なようにしてもよい。このように、自動撮像の処理が進行中に、一定
のタイミングで定期的に検出感情一時記憶領域１２４のフォーマットが行われることによ
って、オート設定による撮像が長時間行われた際、検出感情一時記憶領域１２４が容量オ
ーバーとなり撮像不可となることを防ぐことが可能となる。また、定期的に検出感情一時
記憶領域１２４がフォーマットされ、その都度新たな検出感情が検出感情一時記憶領域１
２４に蓄積して保存されていくことにより、オート設定における比較範囲が都度新たなも
のとなり、最初の判定期間で以降の撮像基準が決定してしまう事がなく、時間の経過に沿
ったその時々の被撮像者の感情もしくは場の雰囲気に柔軟に応じて自動で撮像が行われる
ことが可能となる。例えば、自動撮像モードで撮像装置１がセッティングされた後の初期
の時間帯に場の雰囲気が大いに盛り上がり、その後それ程の盛り上がり方が発生しなかっ
た状況においても、検出感情一時記憶領域１２４における比較範囲が新たなものとなるこ
とによって、その後の落ち着いた雰囲気の中でも比較的盛り上がった場面を自動で撮像す
ることが可能となる。
【００５８】
（２−２）変形例２
本実施形態においては、感情認識アルゴリズムとして、マハラビノスの距離に基づいた
ものを採用しているが、このアルゴリズムはこれに限ったものではない。例えば感情認識
アルゴリズムとして、例えば特開２００３−１６２２９４号公報、特開２００２−０９１
４８２公報あるいは特許第４０８５１３０号公報等に記載された、周知の技術を用いても
よい。
【００５９】
（２−３）変形例３
本実施形態における撮像装置は、撮像専用のデジタルカメラのほか、携帯電話機、携帯
型の音楽プレーヤー、ＰＤＡ（Personal Digital Assistants）、パーソナルコンピュー
タ等に搭載することが可能である。
【符号の説明】
【００６０】
１…撮像装置、１１…制御部、１１１…ＣＰＵ、１１２…ＲＡＭ、１１３…ＲＯＭ、１
２…記憶部、１２１…感情・音声対応パターン、１２２…ユーザー・音声対応パターン、
１２３…撮像条件記憶領域、１２４…検出感情一時記憶領域、１２５…撮像データ記憶領
域、１３…マイク、１４…A／D変換機、１５…感情認識部、１５１…音声分析部、１５２
…感情検出部、１５３…ユーザー音声登録部、１５４…ユーザー検出部、１６…時間計測
部、１６１…待機時間計測タイマー、１６２…判定期間計測タイマー、１６３…撮像時間
計測タイマー、１７…表示部、１８…操作部、１９…撮像部、２０…電源部、２１…バス
、３１…笑いの音声パターン領域、３２…喜びの音声パターン領域、３３…怒りの音声パ
ターン領域、３４…悲しみの音声パターン領域、４１…笑いのカテゴリーのデータ中心、
４２…喜びのカテゴリーのデータ中心、４３…怒りのカテゴリーのデータ中心、４４…悲
しみのカテゴリーのデータ中心、５１〜５６…撮像条件、６０…喜び度検出曲線、６１…
閾値線、６２，７２…シャッターチャンス、７０…笑い度検出曲線、７１…直線、８１，
８２…矢印、８５〜８８，Ｃ，Ｄ…検出感情、Ａ…音声数値、α，β…比較範囲
【特許請求の範囲】
【請求項１】
撮像を行う撮像手段と、
収音を行う収音手段と、
前記収音手段によって収音された音声から当該音声の発話者の感情を認識する感情認識
手段と
前記撮像手段が撮像を行う条件である撮像条件として、音声の発話者の感情に関する条
件を記憶する撮像条件記憶手段と、
前記感情認識手段により認識された感情が、前記撮像条件記憶手段に記憶されている撮
像条件を満たす場合に、前記撮像手段に撮像を行わせる撮像制御手段と
を有することを特徴とする撮像装置。
【請求項２】
前記撮像条件記憶手段は、複数種類の感情のうち少なくともいずれか１種類の感情と、
当該感情の度合いとを、前記撮像条件として記憶し、
前記感情認識手段は、前記収音手段によって収音された音声から当該音声の発話者の感
情と当該感情の度合いとを認識する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段によって撮像が行われた結果を表す撮像データを、当該撮像が行われてい
るときに前記感情認識手段によって認識された感情と、当該感情が認識された時刻と対応
付けて記憶する撮像データ記憶手段を有する
ことを特徴とする請求項１または２のいずれか１項に記載の撮像装置。
【請求項４】
特定の発話者の音声の特徴を記憶する音声特徴記憶手段を備え、
前記撮像条件記憶手段は、前記音声特徴記憶手段に記憶された特徴を持つ音声の発話者
の感情に関する条件を記憶し、
前記撮像制御手段は、前記収音手段により収音された音声の特徴が前記音声特徴記憶手
段に記憶された特徴に合致し、且つ、当該音声から前記感情認識手段により認識された感
情が、前記撮像条件記憶手段に記憶されている撮像条件を満たす場合に、前記撮像手段に
撮像を行わせる
ことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像条件記憶手段は、或る期間において変化する感情の度合いを相対的に評価した
ときの評価値を前記撮像条件として記憶し、
前記感情認識手段は、前記収音手段によって収音された音声から当該音声の発話者の感
情と当該感情の度合いとを認識し、
前記撮像制御手段は、
前記感情認識手段により認識された感情の度合いを時系列に記憶する感情記憶手段を有
し、
前記感情記憶手段により前記或る期間内に記憶された感情の度合いが、前記撮像条件記
憶手段により記憶された前記評価値を超える場合に、前記撮像手段に撮像を行わせる
ことを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
撮像を行う撮像手段と収音を行う収音手段とを備える撮像装置が行う撮像方法であって
、
前記収音手段によって収音を行うステップと、
収音された音声から当該音声の発話者の感情を認識するステップと、
認識された感情が、音声の発話者の感情に関する撮像条件として予め記憶された内容を
満たす場合に、前記撮像手段に撮像を行わせるステップと
を有することを特徴とする撮像方法。
【請求項１】
撮像を行う撮像手段と、
収音を行う収音手段と、
前記収音手段によって収音された音声から当該音声の発話者の感情を認識する感情認識
手段と
前記撮像手段が撮像を行う条件である撮像条件として、音声の発話者の感情に関する条
件を記憶する撮像条件記憶手段と、
前記感情認識手段により認識された感情が、前記撮像条件記憶手段に記憶されている撮
像条件を満たす場合に、前記撮像手段に撮像を行わせる撮像制御手段と
を有することを特徴とする撮像装置。
【請求項２】
前記撮像条件記憶手段は、複数種類の感情のうち少なくともいずれか１種類の感情と、
当該感情の度合いとを、前記撮像条件として記憶し、
前記感情認識手段は、前記収音手段によって収音された音声から当該音声の発話者の感
情と当該感情の度合いとを認識する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段によって撮像が行われた結果を表す撮像データを、当該撮像が行われてい
るときに前記感情認識手段によって認識された感情と、当該感情が認識された時刻と対応
付けて記憶する撮像データ記憶手段を有する
ことを特徴とする請求項１または２のいずれか１項に記載の撮像装置。
【請求項４】
特定の発話者の音声の特徴を記憶する音声特徴記憶手段を備え、
前記撮像条件記憶手段は、前記音声特徴記憶手段に記憶された特徴を持つ音声の発話者
の感情に関する条件を記憶し、
前記撮像制御手段は、前記収音手段により収音された音声の特徴が前記音声特徴記憶手
段に記憶された特徴に合致し、且つ、当該音声から前記感情認識手段により認識された感
情が、前記撮像条件記憶手段に記憶されている撮像条件を満たす場合に、前記撮像手段に
撮像を行わせる
ことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像条件記憶手段は、或る期間において変化する感情の度合いを相対的に評価した
ときの評価値を前記撮像条件として記憶し、
前記感情認識手段は、前記収音手段によって収音された音声から当該音声の発話者の感
情と当該感情の度合いとを認識し、
前記撮像制御手段は、
前記感情認識手段により認識された感情の度合いを時系列に記憶する感情記憶手段を有
し、
前記感情記憶手段により前記或る期間内に記憶された感情の度合いが、前記撮像条件記
憶手段により記憶された前記評価値を超える場合に、前記撮像手段に撮像を行わせる
ことを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
撮像を行う撮像手段と収音を行う収音手段とを備える撮像装置が行う撮像方法であって
、
前記収音手段によって収音を行うステップと、
収音された音声から当該音声の発話者の感情を認識するステップと、
認識された感情が、音声の発話者の感情に関する撮像条件として予め記憶された内容を
満たす場合に、前記撮像手段に撮像を行わせるステップと
を有することを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０】
【公開番号】特開２０１１−１１９９６３（Ｐ２０１１−１１９９６３Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７５２２０（Ｐ２００９−２７５２２０）
【出願日】平成２１年１２月３日（２００９．１２．３）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月３日（２００９．１２．３）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]