情報処理装置、情報処理方法、プログラム、記録媒体及び情報処理システム
【課題】被写体映像の撮影途中でマニュアル操作によって編集する場合に比べて格段に編集操作性を向上できるようにする。
【解決手段】被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するビデオカメラ１００であって、被写体の映像を撮影して映像データを出力し、かつ、当該被写体の周囲の音を集音して音声データを出力する映像＆音収録部３１と、この映像＆音収録部３１を操作する操作者の生体感情を検出して感情データを出力する生体センサ部４５と、この生体センサ部４５から出力される感情データと映像＆音収録部３１から出力される被写体の映像データ及び被写体周囲収録時の音声データとを対応付けるように編集処理等する情報処理部１５とを備えるものである。
【解決手段】被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するビデオカメラ１００であって、被写体の映像を撮影して映像データを出力し、かつ、当該被写体の周囲の音を集音して音声データを出力する映像＆音収録部３１と、この映像＆音収録部３１を操作する操作者の生体感情を検出して感情データを出力する生体センサ部４５と、この生体センサ部４５から出力される感情データと映像＆音収録部３１から出力される被写体の映像データ及び被写体周囲収録時の音声データとを対応付けるように編集処理等する情報処理部１５とを備えるものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画を撮るビデオカメラや、静止画を撮るデジタルカメラ、カメラ付きの携帯電話機、カメラ付きの携帯端末装置、これら装置から得られる映像及び音情報を再生する情報再生装置、あるいは、データを保存する記録編集再生装置を備えたシステム等に適用可能な情報処理装置、情報処理方法、プログラム、記録媒体及び情報処理システムに関する。
【０００２】
詳しくは、被写体の映像が撮影され、及び、当該被写体の周囲の音を集音して得られた情報を処理する情報処理部を備え、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて、操作者が被写体映像撮影中に手に汗握って生体感情が高まった時点等の映像及び音情報を自動抽出できようにすると共に、映像及び音情報を編集した操作者固有の映像及び音情報ファイルを容易かつ簡単に作成できるようにしたものである。
【背景技術】
【０００３】
近年、記憶メディア容量の増大化、機器の小型化及び機器間の相互通信の強化が図られ、大容量の個人映像、静止画を撮影、鑑賞できるようになってきた。例えば、ユーザ（操作者）は、運動会や旅行等のイベントにおいて、思い出の映像を撮るため、被写体や景色・風景等の映像及び、被写体周囲の音をビデオカメラを用いて収録する場合が多い。
【０００４】
ビデオカメラは、撮像部、集音部、記録部、操作部及び制御部を有して構成されている。撮像部は操作部による操作に基づいて被写体や景色・風景等の映像を撮影し、集音部は被写体周囲の音を収録し、記録部は制御部のメモリ制御を受けて、撮像部によって撮影された被写体等の動画映像及び、集音部によって集音された被写体周囲の音を記録するようになされる。
【０００５】
また、デジタルカメラや、カメラ付き携帯電話機によれば、被写体を撮影して静止画を記録部に記録するようになされる。上述のビデオカメラ、デジタルカメラ及びカメラ付き携帯電話機の記録部には、着脱可能なメモリスティック等の記録メディアが使用される場合が多い。記憶メディア容量の増大化に伴い、膨大な個人コンテンツ（静止画、動画映像）を保存できるようになった。これらの記録メディアは記録編集再生装置に装填され、編集処理に移行されて、思い出の映像及び音情報を編集し保存するようになされる。編集は、個人が後日それらのコンテンツを鑑賞するに値する状態とするための作業である。編集後の映像及び音声情報は、後日、鑑賞の用に供される場合が多い。
【０００６】
ところで、この種の記録編集再生装置に関連して、特許文献１には映像音声自動編集装置、方法及び記録媒体が開示されている。この映像音声自動編集装置によれば、被写体の映像及び音声を記録すると同時に、当該記録と同期してユーザの脳波を測定し、情報取得後、ユーザの脳波を解析して、当該ユーザの覚醒水準が高いときの映像及び音声を自動的に判別する。判別されたユーザの覚醒水準が高いときの映像及び音声を要約編集するようになされる。このように装置を構成すると、ユーザの覚醒水準の高い状態のシーンを網羅しつつ、シーン全体の流れを損なわない見やすい映像及び音声を編集できるというものである。
【０００７】
また、特許文献２には情報コンテンツの編集装置及び編集方法が開示されている。この編集装置によれば、生体情報に基づく情報を用いて感情の度合いを示す感情パラメータを作成し、この感情パラメータを数値化した感情レベルに応じて要約作成用のコマンドを作成し、このコマンドを用いて情報コンテンツデータの要約を作成するようになされる。このように装置を構成すると、生体情報から解析された感情パラメータに基づいて、映像や音声等の情報コンテンツの要約を作成できるというものである。
【０００８】
【特許文献１】特許 第３５１４２３６号公報（第４頁 図２）
【特許文献２】特開２００５−１２８８８４号公報（第３頁 図６）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、従来例に係るビデオカメラ、デジタルカメラ、カメラ付き携帯電話機及び、記録再生編集装置を取り扱う情報処理システムによれば、以下のような問題がある。
【００１０】
ｉ．ビデオカメラ、デジタルカメラ及びカメラ付き携帯電話機等によれば、記憶メディア容量の増大、機器の小型化及び機器間の相互通信の強化が図られ、大容量の個人映像の撮影、静止画の撮影、これらの映像及び静止画を鑑賞できるようになった。しかし、被写体映像及びその周辺の音情報を撮影及び収録し易くなった反面、被写体や景色・風景等の静止画、動画映像及び音声情報を成すコンテンツデータがあまりにも膨大な量となり、現状ではその編集作業に多くの時間が費やさなければならない事態に陥っている。
【００１１】
編集作業には人間が主体的となることが多く、膨大な編集時間を要したり、折角、取得したコンテンツデータを未編集のままにして、コンテンツ自体の価値が損失に繋がってしまうという問題がある。
【００１２】
ii．特許文献１に見られるような記録編集再生装置によれば、被写体の映像及び音声を記録すると同時に、当該記録と同期してユーザの脳波を測定し、情報取得後、ユーザの脳波を解析して、当該ユーザの覚醒水準が高いときの映像及び音声を自動的に判別している。このため、判別されたユーザの覚醒水準が高いときの映像及び音声を要約編集することができても、運動会や旅行等のイベントにおいて、手に汗握って生体感情が高まった時点の映像情報及び音情報を自動抽出することができていないのが現状である。
【００１３】
iii．特許文献２に見られるような編集装置によれば、生体情報に基づく情報を用いて作成した感情の度合いを示す感情パラメータを数値化した感情レベルに応じて要約作成用のコマンドを作成し、このコマンドを用いて情報コンテンツデータの要約を作成している。このため、関心を示した場面や、驚いた場面の映像及び音声を要約編集することができても、運動会や旅行等のイベントにおいて、被写体の映像及び音収録時に、手に汗握って生体感情が高まった時点の映像情報及び音情報を自動抽出することができていないのが現状である。
【００１４】
そこで、この発明はこのような従来の課題を解決したものであって、被写体映像の撮影途中でマニュアル操作によって編集する場合に比べて格段に編集操作性を向上できるようにした情報処理装置、情報処理方法、プログラム、記録媒体及び情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上述した課題は、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する装置であって、被写体の映像を撮影して映像情報を出力し、かつ、当該被写体の周囲の音を集音して音情報を出力する映像及び音収録部と、この映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を出力する情報出力部と、この情報出力部から出力される生体感情報と映像及び音収録部から出力される被写体の映像情報及び当該被写体の周囲の音情報とを対応付けるように処理する情報処理部とを備えることを特徴とする第１の情報処理装置によって解決される。
【００１６】
本発明に係る第１の情報処理装置によれば、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報を処理する場合に、映像及び音収録部は、被写体の映像を撮影して映像情報を出力し、かつ、当該被写体の周囲の音を集音して音情報を出力する。情報出力部は、映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を出力する。これを前提にして、情報出力部から出力される生体感情報と映像及び音収録部から出力される被写体の映像情報及び当該被写体の周囲の音情報とを対応付けるように処理する。
【００１７】
従って、操作者が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像情報及び音情報を自動抽出することができ、ここで自動抽出される映像情報及び音情報を編集した操作者固有の映像及び音情報ファイルを容易かつ簡単に作成できるようになる。
【００１８】
本発明に係る第２の情報処理装置は、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報であって、操作者の生体感情を検出して作成された生体感情報と、撮影集音された当該被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて編集起点情報及び編集終点情報が付加された情報を処理する装置であって、編集起点情報及び編集終点情報を付加した被写体の映像情報及び当該被写体周囲収録時の音声情報を入力する入力部と、この入力部によって入力された被写体の映像情報及び当該被写体周囲収録時の音声情報を外部からの指示に基づいて自動編集するか否かを判別する判別部と、この判別部によって編集すると判別された被写体の映像情報及び当該被写体周囲収録時の音声情報から編集起点情報及び編集終点情報を付加した区間部分の映像情報及び音声情報を抽出して繋ぎ合わせる映像及音声処理部とを備えることを特徴とするものである。
【００１９】
本発明に係る第２の情報処理装置によれば、操作者が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像情報及び音情報を自動抽出することができ、ここで自動抽出される映像情報及び音情報を編集した操作者固有の映像及び音情報ファイルを容易かつ簡単に作成できるようになる。
【００２０】
本発明に係る情報処理方法は、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する方法であって、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を作成するステップと、ここに作成された生体感情報と撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを有することを特徴とするものである。
【００２１】
本発明に係る情報処理方法によれば、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【００２２】
本発明に係るコンピュータが読み取り可能なプログラムは、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するためのプログラムであって、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を作成するステップと、ここに作成された生体感情報と撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを記述したことを特徴とするものである。
【００２３】
本発明に係るプログラムによれば、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【００２４】
本発明に係るコンピュータが読み取り可能な記録媒体は、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するためのプログラムを記述した記録媒体であって、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を作成するステップと、作成された生体感情報と撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを記述したプログラムを有することを特徴とするものである。
【００２５】
本発明に係る記録媒体によれば、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【００２６】
本発明に係る情報処理システムは、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するシステムであって、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する情報処理装置と、この情報処理装置から得られる被写体の映像情報及び当該被写体の周囲の音情報を再生する情報再生装置とを備え、情報処理装置は、被写体の映像を撮影して映像情報を出力し、かつ、当該被写体の周囲の音を集音して音情報を出力する映像及び音収録部と、映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を出力する情報出力部と、情報出力部から出力される生体感情報と映像及び音収録部から出力される被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理する情報処理部とを有することを特徴とするものである。
【００２７】
本発明に係る情報処理システムによれば、本発明に係る情報処理装置が応用されるので、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報を処理する際に、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【発明の効果】
【００２８】
本発明に係る第１の情報処理装置及び情報処理方法によれば、被写体の映像が撮影され、及び、当該被写体の周囲の音を集音して得られた情報を処理する情報処理部を備え、情報処理部は、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けるように処理するものである。
【００２９】
この構成によって、操作者が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像情報及び音情報を自動抽出することができ、ここで自動抽出される映像情報及び音情報を編集した操作者固有の映像及び音情報ファイルを容易かつ簡単に作成できるようになる。従って、被写体映像の撮影途中でマニュアル操作によって編集起点や編集終点等を指定入力する場合に比べて格段に編集操作性を向上できるようになった。
【００３０】
本発明に係る第２の情報処理装置及び情報処理方法によれば、外部からの指示に基づいて自動編集すると判別された被写体の映像情報及び当該被写体周囲収録時の音声情報から編集起点情報及び編集終点情報を付加した区間部分の映像情報及び音声情報を抽出して繋ぎ合わせるようになされる。
【００３１】
この構成によって、操作者が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像情報及び音情報を自動抽出することができ、ここで自動抽出される映像情報及び音情報を編集した操作者固有の映像及び音情報ファイルを容易かつ簡単に作成できるようになる。従って、被写体映像の撮影途中でマニュアル操作によって編集起点や編集終点等を指定入力する場合に比べて格段に編集操作性を向上できるようになった。
【００３２】
本発明に係るコンピュータが読み取り可能なプログラム及び記録媒体によれば、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を再現性良く実行できるようになる。
【００３３】
本発明に係る情報処理システムによれば、本発明に係る情報処理装置が応用されるので、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【００３４】
これにより、操作者が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像情報及び音情報をファイルにまとめた操作者固有の映像及び音情報ファイル作成システム、操作者固有の映像及び音情報ファイル視聴システム、操作者固有の映像及び音情報ファイルダウンロードシステム及び、ＣＤやＭＤ等の所定の記録媒体に記録した操作者固有の映像及び音情報ファイル配布システムを構築できるようになった。
【発明を実施するための最良の形態】
【００３５】
続いて、この発明に係る情報処理装置、情報処理方法、プログラム、記録媒体及び情報処理システムの一実施例について、図面を参照しながら説明をする。
【実施例１】
【００３６】
図１は本発明に係る第１の実施例としてのビデオカメラ１００の構成例を示す斜視図である。図１に示すビデオカメラ１００は情報処理装置の一例を構成し、被写体の映像を撮影して動画情報、及び、当該被写体の周囲の音を集音して得られる情報を処理する装置である。
【００３７】
ビデオカメラ１００は、外装を構成する本体ケース１０を有しており、本体ケース１０の前面側の上部には撮像部３４が組み込まれている。撮像部３４は撮像レンズや、図示しないレンズ駆動機構、撮像素子等を有して構成される。撮像素子は、撮像レンズの後端に設けられ、撮像レンズやレンズ駆動機構等の撮影光学系によって導かれた被写体像を撮像するように動作する。
【００３８】
本体ケース１０の後面、上面、側面には、電源スイッチ、モードスイッチ、ズームスイッチ、撮影スタート／ストップスイッチ等の種々の押しボタンスイッチ１２が設けられている。電源スイッチはビデオカメラ１００の電源をオン又はオフするスイッチである。モードスイッチは撮影時のノーマルモード又は特殊記録モードのいずれかを選択する際に操作される。ここに特殊記録モードとは、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報（動画）及び当該被写体の周囲の音情報とを対応付けて記録する動作をいう。ノーマルモードとは特殊記録モード以外の動作をいい、操作者の生体感情に関係無く撮影集音された被写体の映像情報及び当該被写体の周囲の音情報そのまま記録する動作をいう。
【００３９】
この例で、特殊記録モードを選択するモードスイッチには、情報出力部の機能の一例を構成する生体センサ部４５が設けられ、当該ビデオカメラ１００を操作する操作者の生体感情を検出して生体感情報を出力するようになされる。生体センサ部４５には例えば図２に示すような発汗（Hidrosis）センサが使用される。発汗センサは、当該モードスイッチに触れている操作者の発汗量を検知して発汗レベルを示す生体感情報を情報処理部へ出力するようになされる。もちろん、生体センサ部４５はモードスイッチを兼用する位置に設けることなく、モードスイッチに対して生体センサ部４５を別個独立に設けて、撮影集音動作中に操作者に触れさせるようにしてもよい。また、生体センサ部４５は発汗センサの他に脈拍センサや血圧センサ等を使用してもよい。生体センサ部４５の上方には、センサ用のカバー３８が設けられ、操作者３０の指先に生ずる汗の発散を防止するようになされる。カバー３８は省略してもよい。
【００４０】
図示しないズームスイッチは、被写体映像をズームアップ表示又はズームダウン表示する際に操作される。撮影スタート／ストップスイッチはスタンバイ状態の撮像部３４に対して被写体映像の記録開始を情報処理部へ指示する際に操作される。本体ケース１０の前面であって、撮像レンズの先端下方の位置には、集音部１３を成す音収録用のマイクロフォンが取り付けられる。音をステレオ再生する場合は、左右２個のマイクロフォンが取り付けられる。
【００４１】
更に、本体ケース１０の左側面には、表示部２９が図示しないヒンジ部を介して開閉回転可能に連結され、撮像部３４で撮像した被写体映像を表示するようになされる。例えば、表示部２９は撮影中の映像や再生時の映像を表示する。表示部２９には、例えば、３乃至４インチ程度のカラー液晶表示装置が使用される。
【００４２】
本体ケース１０の内部には回路基板１７が設けられる。回路基板１７には記録メディアやメディアスロット等の記憶装置３５が実装又は装着可能となされ、ノーマルモード又は特殊記録モードによって得られた被写体の映像情報及び当該被写体の周囲の音情報を記録するようになされる。回路基板１７には記憶装置３５の他に情報処理部が実装される。
【００４３】
本体ケース１０の内部には回路基板１７の他にバッテリー１４が実装され、当該回路基板１７、表示部２９、撮像部３４、記憶装置３５及び生体センサ部４５に直流電源を供給するようになされる。本体ケース１０の外部側には映像＆音声出力端子３９等が設けられ、外部機器からの映像＆音声用のコネクタや、通信ケーブル類が接続可能なようになされている。映像＆音声出力端子３９は外部機器へ映像＆音声出力する際に使用され、通信ケーブル用の端子は、外部機器と通信する際に使用される。
【００４４】
続いて、生体センサ部４５について説明する。図２は、生体センサ部４５に適用可能な発汗センサ４５’の構成例を示すブロック図である。図２に示す発汗センサ４５’は、吸気パイプ５１、吸気側のハウジング部５２、触子部５３、排気側のハウジング部５４、排気パイプ５５、コンプレッサ５６（ブロア）、絶対湿度センサ５７，５８及び差動増幅部５９を有して構成される。
【００４５】
吸気パイプ５１はハウジング５２を介在して触子部５３の吸気側に接続され、外気（空気）を触子部５３に引き込むようになされる。ハウジング５２には絶対湿度センサ５７が設けられ、ハウジング５２内に引き込まれた外気の絶対湿度を検知して吸気側の湿度検知信号Ｓ５７を差動増幅部５９に出力するようになされる。
【００４６】
触子部５３は皮膚摺触面を有しており、皮膚摺触面には小さな開孔部が２つ設けられている。触子部５３は、皮膚摺触面に触れた操作者３０の汗により触子部５３内の湿度が上昇するようになされる。触子部５３はカプセルを構成する。排気パイプ５５はハウジング５４を介在して触子部５３の排気側に接続され、触子部５３に取り込まれた空気を外部へ排気するようになされる。排気パイプ５５の終端部にはコンプレッサ５６が接続され、吸気パイプ５１から外気を引き込んで外部へ排気する。
【００４７】
ハウジング５４には絶対湿度センサ５８が設けられ、ハウジング５４内を通過する空気の絶対湿度を検知して排気側の湿度検知信号Ｓ５８を差動増幅部５９に出力するようになされる。差動増幅部５９は吸気側及び排気側の湿度検知信号Ｓ５７，Ｓ５８の差分を増幅して発汗量検知信号Ｓ４５を出力する。発汗量検知信号Ｓ４５をアナログ・デジタル変換したデータは生体感情報Ｄ４５となる。このアナログ・デジタル変換機能は生体センサ部４５内に設けても、また、情報処理部内に設けてもよい。このような構成の生体センサ部４５をモードスイッチを兼用する位置に設けると、当該モードスイッチに触れている操作者３０の発汗量を検知して生体感情報（以下感情データＤ４５という）を情報処理部へ出力できるようになる。
【００４８】
図３は、ビデオカメラ１００の制御系の構成例を示すブロック図である。図３に示すビデオカメラ１００は、図１に示した本体ケース１０内の回路基板１７に各機能ブロックを実装して構成される。なお、図１及び図２に示した各部と対応する部分は、同一符号で示している。
【００４９】
ビデオカメラ１００は、情報処理部１５、操作部１８、通信部１９、表示部２９、映像＆音収録部３１、記憶装置３５、映像＆音声出力端子３９及び生体センサ部４５を有して構成される。
【００５０】
情報処理部１５はＣＰＵ３２、メモリ部３７及び映像＆音声処理部４４を有して構成される。ＣＰＵ３２はシステムプログラムに基づいて当該ビデオカメラ全体を制御するようになされる。メモリ部３７は図示しないＲＯＭ、ＲＡＭ及びＥＥＰＲＯＭ等を有している。メモリ部３７のＲＯＭ又はＥＥＰＲＯＭには当該ビデオカメラ全体を制御するためのシステムプログラムを成すデータＰＤが格納される。図示しないＲＡＭはワークメモリとして使用される。ＣＰＵ３２は電源オンと共に、ＲＯＭ又はＥＥＰＲＯＭからシステムプログラムを成すデータＰＤを読み出してＲＡＭに展開し、当該システムを立ち上げてビデオカメラ全体を制御するようになされる。
【００５１】
メモリ部３７のＲＯＭ又はＥＥＰＲＯＭにはシステムプログラムの他に特殊記録モードを実行するためのプログラムが記述されている。この特殊記録モード用のプログラムは、コンピュータが読み取り可能なプログラムであって、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を操作者３０の生体感情に基づいて動画記録処理するためのプログラムである。その内容は、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像＆音収録部３１を操作する操作者３０の生体感情を検出して生体感情報を作成するステップと、ここに作成された生体感情報と撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを記述したものである。
【００５２】
このようなプログラムを成すデータＰＤ’をＲＯＭ又はＥＥＰＲＯＭから読み出して実行すると、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、ＣＰＵ３２は、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【００５３】
例えば、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けるように処理する。この例ではＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較する。発汗量判定閾値Ｈthは判別基準情報の一例を成している。
【００５４】
この比較結果で、例えば、生体センサ部４５が発汗量判定閾値Ｈthを越える発汗レベルＨｘの感情データＤ４５を検出したとき、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集起点情報を付加し、その後、発汗量判定閾値Ｈth以下の発汗レベルＨｘの感情データＤ４５を検出したとき、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集終点情報を付加するように映像＆音声処理部４４をポイント設定制御を実行する。
【００５５】
映像＆音声処理部４４は、例えば、ＭＰＥＧ−１規格に準拠して映像データＤ３４を圧縮処理して記憶装置３５に記録する。ＭＰＥＧ−１規格に準拠した圧縮処理によれば、映像の中の動く部分だけを検出し保存するようにデータを圧縮する。圧縮処理はＭＰＥＧ−１に限られることはなく、ハイビジョン対応のＭＰＥＧ２からＭＰＥＧ−４までの各規格や、現在標準化進行中のＭＰＥＧ−７規格であってもよい。
【００５６】
この例で、メモリ部３７は発汗量判定閾値Ｈthを記憶する。例えば、発汗量判定閾値Ｈthはトリガーパラメータとしてメモリ部３７に設けられたＲＯＭ等に予め格納される。メモリ部３７のＲＡＭは、ＣＰＵ３２のメモリ制御を受けて、感情データＤ４５を入力し、予め設定された発汗量判定閾値Ｈthと、感情データＤ４５から得られる発汗レベルＨとを比較し、Ｈth＞Ｈの判定処理や、Ｈth≦Ｈ等の判定処理を実行する。もちろん、発汗量判定閾値は一義的な定数に限られることはなく、二次関数的に変化するものであってもよい（図５参照）。
【００５７】
このようにすると、操作者３０の指の発汗量に対応して固有の映像及び音声を抽出できるようになる。編集起点情報及び編集終点情報は例えば、記録時間情報に対してタイムコードとして設定（記述）される。このタイムコードの設定によって、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出できるようになる。
【００５８】
この例でＣＰＵ３２は、編集起点情報及び編集終点情報に基づいて被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４及び音声データＤ１３を抽出して繋ぎ合わせる編集処理を実行する。このような編集処理を実行すると、操作者３０が被写体の映像を撮影して得た映像データＤ３４及び、その周辺の音を集音して得た音声データＤ１３から、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を抽出することができ、操作者固有の映像及び音声データファイルを作成できるようになる。
【００５９】
更にＣＰＵ３２に再生制御機能を持たせて、編集処理に基づいて抽出し繋ぎ合わせた被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を再生するようにしてもよい。このような再生処理を実行すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を再生することができ、操作者固有の映像データＤ３４及び音声データＤ１３を記録したメモリアルファイルを視聴できるようになる。表示部２９は、操作者固有の映像データＤ３４を入力して操作者固有の映像を表示し、スピーカー３６からは、操作者固有の音声データＤ１３を入力して操作者固有の音声を出力できるようになる。
【００６０】
更にＣＰＵ３２に記録制御機能を持たせて、編集処理に基づいて抽出し繋ぎ合わせた被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を所定の記録媒体に記録するようにしてもよい。このような動画記録処理を実行すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３をＣＤ−ＲＯＭや、ＭＤ等の記録媒体に記録することができ、操作者固有の映像データＤ３４及び音声データＤ１３を記録したメモリアルファイルを配布できるようになる。
【００６１】
操作部１８はＣＰＵ３２に接続され、図１に示した電源スイッチ、モードスイッチ、ズームスイッチ、撮影スタート／ストップスイッチ等の押しボタンスイッチ１２が押下されることで発生した操作データＤ１８をＣＰＵ３２に出力する。
【００６２】
映像＆音収録部３１は、集音部１３及び撮像部３４を有して構成される。集音部１３は映像＆音声処理部４４に接続され、被写体の周囲の音を集音して得た音声データＤ１３を出力する。集音部１３にはコンデンサ型のマイクロフォンやムービングコイル型のマイクロフォンが使用される。撮像部３４は映像＆音声処理部４４に接続され、被写体の映像を撮影して得た映像データＤ３４を出力する。撮像部３４は撮像レンズ、撮像素子、レンズ駆動機構から構成される。
【００６３】
生体センサ部４５は情報出力部の機能を一例を構成し、映像＆音収録部３１を操作する操作者３０の生体感情を検出して感情データＤ４５を出力する。例えば、生体センサ部４５には図２に示した発汗センサ４５’が使用され、映像＆音収録部３１を操作する操作者３０の発汗量を時系列に検知して感情データＤ４５をＣＰＵ３２へ出力する。
【００６４】
上述のＣＰＵ３２には記録メディアや、メディアスロット等を構成する記憶装置３５が接続され、特殊記録モード時、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けた記録情報を格納するようになされる。記憶装置３５にはハードディスク装置や、メモリカード等の不揮発性メモリが使用される。
【００６５】
上述の映像＆音声処理部４４には表示部２９が接続され、表示信号Ｓ２９に基づいて撮影中の映像や再生時の映像を表示するようになされる。映像＆音声処理部４４にはスピーカー３６が接続され、音声信号Ｓ３６に基づいて撮影中の被写体周辺の音や再生時の音声等を出力する。スピーカー３６は本体ケース１０の所定の位置に設けられる。映像＆音声処理部４４には映像＆音声出力端子３９が接続され、映像＆音声信号を外部機器へ出力するようになされる。
【００６６】
ＣＰＵ３２には通信部１９が接続され、外部機器と通信するようになされる。例えば、ＣＰＵ３２は、編集処理に基づいて抽出し繋ぎ合わせた被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を通信部１９を介して配信する。このような配信処理を実行すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を配信することができ、操作者固有の映像データＤ３４及び音声データＤ１３を記録したファイル（アルゴリズム）をインターネット等を介して他のユーザにダウンロードできるようになる。
【００６７】
図４及び図５は、ビデオカメラ１００における撮影フォーマット例（その１，２）を示すタイムチャートである。当該撮影フォーマット例は、記録時の起点及び終点の挿入例を示している。この例では操作者３０の指の発汗量に対応して固有の映像及び音声を抽出できるようにすると共に、編集起点情報及び編集終点情報を記録時間情報に対してタイムコードとして設定（記述）するようにした。
【００６８】
図４Ａ及び図５Ａは記録時間情報Ｔを示している。記録時間情報Ｔとは、スタートスイッチを押下して映像データＤ３４を取り込み、記憶装置３５に記録している時間をいう。図４Ｂ及び図５Ｂに示す動画シーンは、被写体の動きを代表する８つのシーン（ｉ）〜(viii)である。動画シーンのサンプリング頻度は１／３０秒である。すなわち、撮像部３４は１秒間に３０コマ（ＮＴＳＣ方式）の映像を取得する。この例では運動会で被写体が”かけっこ”をする映像を、操作者３０が撮影している場合である。
【００６９】
図４Ｂに示すシーン（ｉ）は出番を待っている被写体の映像である。シーン（ii）及び(iii）はいよいよ出番が回ってきて、被写体がスタートラインに移動する際の映像である。シーン（iv）はスタートラインに立った被写体の映像である。更に、図５Ｂに示すシーン（ｖ）はスターターが号砲を打った瞬間の映像である。シーン（vi）は被写体がスタートして、駆け足を始めた際の映像である。シーン（vii）は勢い余って被写体が転んだ状態の映像である。シーン（viii）は被写体が泣きながらゴールに到着した映像である。
【００７０】
図４Ｃに示す波形は被写体周囲収録時の音声信号である。被写体周囲の音声は集音部１３が収録する。この例では運動会の”かけっこをする被写体周辺の音を収録している場合である。例えば、シーン（ｉ）〜（iv）に対応する音情報は、運動会特有の行進曲や周囲のざわめき音が収録される。更に、図５Ｃに示すシーン（ｖ）に対応する音情報は、スターターが号砲を打った瞬間の”バ〜ン”等と共にシーン（vi）に対応して応援者により声援が収録される。シーン（vii）に対応する音情報は、例えば、被写体に対して”さあ〜起き上がってがんばれ”のような声援が収録される。シーン（viii）に対応する音情報は、例えば、被写体がゴールした行動に対して安堵のどよめき声が収録される。
【００７１】
図４Ｄは、当該ビデオカメラ１００を持って被写体を撮影する操作者の発汗量の経時的変化である。この例で、シーン（ｉ）〜（iv）に対応する発汗量は、ほとんど無い場合を示している。ところが、図５Ｄに示すシーン（ｖ）では、被写体がスタートラインに立った直後から、操作者の発汗量が増加をし始め、スターターが号砲を打った瞬間に例えば、そのピークを迎えている。シーン（vi）で被写体がスタートして、駆け足を始めた当たりから、徐々に発汗量も減少してくる。しかし、シーン（vii）で勢い余って被写体が転んだ状態となると、再び、操作者の発汗量が増加をし始め、被写体が立ち上がった瞬間に、例えば、そのピークを迎えている。そして、徐々に発汗量も減少してくる。この例で、シーン（viii）で被写体が泣きながらゴールに到着した時点では、操作者の発汗量は、最初と同じ状態に戻っている。
【００７２】
このような操作者の感情変化に対して発汗量が増加し、その発汗量は経過時間と共に少なくなることが知られている。このような発汗現象は精神性発汗と呼ばれる。精神性発汗は、人が感動したとき、興奮や、緊張したときに手掌や足底部等の皮膚にかくことが知られている。発汗量は温熱性発汗に比べて少なく、発汗潜伏時間も短い。汗腺はエクリン腺である。また、精神性発汗は、感動等の繰り返しにより発汗量が二次関数的に低下することも知られている（構え反応）。
【００７３】
なお、発汗と感情変化の関係を説明した学術資料「計測自動制御学会東北支部第１９７回研究集会（2001.10.13）資料番号１９７−１１」によれば、心理・気分状態の不安定な被験者の群では、安定した群に比べて手掌部発汗反応が大きく現れる。被験者に反復負荷を与えた場合に、安定した心理・気分状態では初回の発汗反応が大きく、慣れ効果による反応量の減少も大きいことが報告されている。また、構え反応とその慣れ効果には個人の心理・気分特性が影響しやすく、手掌部発汗の定量評価では構え反応の影響を考慮すべきとの報告もある。手掌部発汗は、情動変化や、情緒反応を伴う記憶の想起によって促進される。手掌部発汗は人の精神・心理過程の客観的指標となり得ると結論付けている。
【００７４】
そこで、操作者の感情変化に対する発汗量の大小を判定する際に、経過時間に対して一定値となる発汗量判定閾値Ｈthを設定しても良いが、この例では、図５Ｄに示すように経過時間に対して二次関数的に変化する発汗量判定閾値曲線が設定される。発汗量判定閾値曲線には、例えば、Ａ×（１／ｌｏｇ（ｎ））が使用される。Ａは定数であり、発汗量の時間変化に相当する単位の閾値である。操作者のある時間の発汗量をＨｘとしたとき、（１）式、すなわち、
Ｈｘ＞Ｈth＝Ａ×（１／ｌｏｇ（ｎ））・・・・（１）
を判別して操作者の感情変化に対する発汗量の大小を判定するようになされる。
【００７５】
この例で、発汗量判定閾値曲線は監視時間対閾値を関係付けたものである。監視時間は可変である。例えば、監視時間は５分、１０分、１５分・・・と自在に設定可能である。発汗量判定閾値曲線の設定要件は、生体センサ部４５によって検知された操作者の発汗量の変化率（感情変化率）と、予め設定された閾値曲線設定の基準となる基準変化率とを比較し、操作者の発汗量の変化率が基準変化率を越えた場合は、発汗量判定閾値曲線を設定するようになされる。
【００７６】
操作者の発汗量の変化率は、生体センサ部４５が操作者の何らかの発汗量を検知した時刻以降の２つのサンプル時刻に検知された発汗量間の差分値を演算することで得られる。この例で、操作者の感情変化が大きい場合は、発汗量の検知曲線の傾きが大きくなり、その感情変化が小さい場合は、発汗量の検知曲線の傾きが小さくなる。そこで、上述の差分値を求めて、操作者の発汗量の変化率が基準変化率を越えた場合に、発汗量判定閾値曲線を設定するようになされる。つまり、発汗量判定閾値曲線は、操作者の感情変化率が基準変化率を越えた時刻に設定され、その時刻から所定の監視時間だけ有効に働く特徴を有している。この監視時間が経過すると、再度、上述の処理を繰り返すようになされる。これは、再び、操作者の感情変化率が大きくなる発汗量を検知する場合が想定されるためである。
【００７７】
この例では、記録時間情報Ｔにおいて、発汗量の立ち上がり（変化率）が大きくなった時刻ｔ０に、発汗量判定閾値曲線が設定される。図５Ｄに示すシーン（ｖ）で操作者の発汗量Ｈｘが発汗量判定閾値Ｈth１を越えている。この発汗量Ｈｘが発汗量判定閾値Ｈth１を越えた時刻ｔｓがタイムコードを成すと共に動画シーンを編集する際の編集起点情報となされる。
【００７８】
更に時間が経過して、図５Ｄに示すシーン（vi）で操作者の発汗量Ｈｘが発汗量判定閾値Ｈth２を下回っている。この発汗量Ｈｘが発汗量判定閾値Ｈth１を下回った時刻ｔｅがタイムコードを成すと共に動画シーンを編集する際の編集終点情報となされる。この第１のタイムコードの時刻ｔｓと時刻ｔｅとの間の動画シーンが特殊記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる。
【００７９】
この例では、更に、時間が経過して、図５Ｄに示すシーン（vii）で操作者の発汗量Ｈｘが発汗量判定閾値Ｈth３を上回っている。この発汗量Ｈｘが発汗量判定閾値Ｈth３を越えた時刻ｔｓがタイムコードを成すと共に動画シーンを編集する際の編集起点情報となされる。更に、時間が経過して、図５Ｄに示すシーン（vii）で操作者の発汗量Ｈｘが発汗量判定閾値Ｈth４を下回っている。この発汗量Ｈｘが発汗量判定閾値Ｈth４を下回った時刻ｔｅが第２のタイムコードを成すと共に動画シーンを編集する際の編集終点情報となされる。この第２のタイムコードの時刻ｔｓと時刻ｔｅとの間の動画シーンが特殊記録モードにおける第２の抽出（摘出）シーンＳＶii（編集映像＋音情報）となる。
【００８０】
続いて、本発明に係る第１の情報処理方法について説明する。図６及び図７は、ビデオカメラ１００における情報記録例（その１，２）を示すフローチャートである。
【００８１】
この例では、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する場合を前提とする。生体センサ部４５には図２に示したような発汗センサ４５’が使用される。ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けるように処理する。
【００８２】
これらを前提にして、図６に示すフローチャートのステップＡ１でＣＰＵ３２は、モード設定入力処理を実行する。例えば、ノーマルモード又は特殊記録モードの設定に関する操作データＤ１８を入力する。このとき、ユーザは、モードスイッチを構成する押しボタンスイッチ１２を操作して、ノーマルモード又は特殊記録モードのいずれかを選択するようになされる。例えば、押しボタンスイッチ１２を操作して特殊記録モードを選択すると、操作部１８からＣＰＵ３２には特殊記録モードを示す操作データＤ１８が出力される。
【００８３】
次に、ステップＡ２でＣＰＵ３２はスタートを待機する。このとき、ユーザは撮影スタートを構成する押しボタンスイッチ１２を操作して、ＣＰＵ３２に動画記録処理開始を指示するようになされる。操作部１８はＣＰＵ３２に動画記録処理開始を指示する操作データＤ１８を出力する。
【００８４】
操作部１８からＣＰＵ３２へ動画記録処理開始が指示された場合は、ステップＡ３でノーマルモード又は特殊記録モードの設定によって制御を分岐する。上述のステップＡ１で特殊記録モードが設定されている場合は、ステップＡ４でＣＰＵ３２は、被写体の映像及びその周辺の音情報を取得するように映像＆音収録部３１を制御して記録開始処理に移行する。このとき、映像＆音収録部３１は、被写体の映像を撮影して映像データＤ３４を取得し、かつ、当該被写体の周囲の音を集音して音声データＤ１３を取得する。映像＆音声処理部４４では、例えば、ＭＰＥＧ−１規格に準拠して、映像の中の動く部分だけを検出し圧縮処理した映像データＤ３４を記憶装置３５に記録する。
【００８５】
これと並行して、ステップＡ５でＣＰＵ３２は当該ビデオカメラ１００を操作する操作者３０の生体感情を検出して感情データＤ４５を作成するように生体センサ部４５を制御する。生体センサ部４５は、この制御を受けて、モードスイッチに触れている操作者の発汗量を検知して発汗レベルを示す感情データＤ４５をＣＰＵ３２に出力する。
【００８６】
次に、ステップＡ６でＣＰＵ３２は発汗量判定閾値曲線を設定するか否かを判別する。この際の判断基準は、生体センサ部４５によって検知された操作者の発汗量の変化率（感情変化率）と、予め設定された閾値曲線設定の基準となる基準変化率とを比較することにより実行される。操作者の発汗量の変化率は、生体センサ部４５が操作者の何らかの発汗量を検知した時刻以降の２つのサンプル時刻に検知された発汗量間の差分値である。このような差分値を求めるようにしたのは、操作者の感情変化が大きい場合は、発汗量の検知曲線の傾きが大きくなり、その感情変化が小さい場合は、発汗量の検知曲線の傾きが小さくなるためである。
【００８７】
上述のステップＡ６で操作者の発汗量の変化率が基準変化率を越えた場合は、ステップＡ７でＣＰＵ３２は発汗量判定閾値曲線を設定するようになされる。このとき、メモリ部３７から式（１）に示したような発汗量判定閾値曲線を読み出してＲＡＭに展開する。これと共に、ＣＰＵ３２はタイマを起動して、監視時間のカウントを開始する。そして、ステップＡ８に移行して、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較してＨｘ＞Ｈthの判別処理を実行する。メモリ部３７では、図５に示したように、ＣＰＵ３２のメモリ制御を受けて、感情データＤ４５を入力し、予め設定された発汗量判定閾値曲線を成す発汗量判定閾値Ｈth１，Ｈth２，Ｈth３，Ｈth４・・・・と、感情データＤ４５から得られる発汗レベルＨｘとを比較する。
【００８８】
Ｈｘ＞Ｈthなる判別結果を得た場合はステップＡ９に移行して、ＣＰＵ３２はステップＡ４で同時進行の記録装置３５へ記録している被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に対して編集起点情報を付加する。このとき、図５に示したシーン（ｖ）の例によれば、生体センサ部４５が発汗量判定閾値Ｈth１を越える発汗レベルＨｘの感情データＤ４５を検出したので、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集起点情報を付加する。映像＆音声処理部４４では、ＣＰＵ３２からの編集起点情報付加制御（ポイント設定制御）によって、記録時間情報Ｔにタイムコードとして時刻ｔｓをマーク（記述）するようになる。
【００８９】
そして、図７に示すステップＡ１０に移行してＣＰＵ３２はＨｘ≦Ｈthの判別処理を実行する。Ｈｘ≦Ｈthを判別した場合はステップＡ１１に移行して、ステップＡ４で同時進行している記録装置３５へ記録している被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に対して編集終点情報を付加する。このとき、図５に示したシーン（ｖ）の例によれば、生体センサ部４５が発汗量判定閾値Ｈth２を下回る発汗レベルＨｘの感情データＤ４５を検出したので、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集終点情報を付加するように映像＆音声処理部４４をポイント設定制御を実行する。
【００９０】
映像＆音声処理部４４では、ＣＰＵ３２からの編集終点情報付加制御（ポイント設定制御）によって、記録時間情報Ｔにタイムコードとして時刻ｔｅをマーク（記述）するようになる。このタイムコードとして時刻ｔｓと時刻ｔｅの間の動画シーンが特殊記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる（図５参照）。映像＆音声処理部４４では、記録時間情報Ｔにタイムコードとして時刻ｔｓと時刻ｔｅとをマーク（記述）する。このタイムコードとして時刻ｔｓと時刻ｔｅの間の動画シーンが特殊記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる（図５参照）。
【００９１】
その後、ステップＡ１２に移行して当該発汗量判定閾値曲線における監視時間が終了したか否かを判別する。この際の判別基準はタイマのカウントアップを以て終了する。監視時間が終了していない場合は、ステップＡ８に戻ってＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較してＨｘ＞Ｈthの判別処理を実行する。
【００９２】
図４及び図５に示した例によれば、第１及び第２の抽出シーンを編集できるタイムコードｔｓ，ｔｅが付加されている。このようにすると、操作者３０の指の発汗量に対応して固有の映像及び音声を抽出できるようになる。編集起点情報及び編集終点情報は例えば、記録時間情報Ｔに対してタイムコードとして設定（記述）される。このタイムコードの設定によって、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出できるようになる。上述の監視時間が終了した場合は、ステップＡ１４に移行する。
【００９３】
なお、上述のステップＡ３でノーマルモードが設定されている場合は、ステップＡ１３に移行して、ノーマルモードを実行する。ノーマルモードでは、編集終点情報や編集終点情報等を付加することなく、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とが記録装置３５に記録される。その後、ステップＡ１４に移行する。
【００９４】
ステップＡ１４で、ＣＰＵ３２は終了判断をする。例えば、撮影のストップスイッチを構成する押しボタンスイッチ１２が操作されたか否かを判別する。あるいは、電源オフ情報を検出した否かを判別する。ストップスイッチを構成する押しボタンスイッチ１２が操作された場合、又は、電源オフ情報が検出された場合は、動画記録処理を終了する。ストップスイッチを構成する押しボタンスイッチ１２が操作されていない場合及び、電源オフ情報が検出されていない場合は、ステップＡ３に戻って上述した処理を繰り返す。これにより、生体センサ部４５から得られた感情データＤ４５と撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて記憶装置３５へ動画記録処理できるようになる。
【００９５】
このように第１の実施例に係るビデオカメラ及び情報記録方法によれば、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報を処理する場合に、映像＆音収録部３１は、被写体の映像を撮影して映像データＤ３４を出力し、かつ、当該被写体の周囲の音を集音して音声データＤ１３を出力する。生体センサ部４５は、映像＆音収録部３１を操作する操作者３０の生体感情を検出して感情データＤ４５を出力する。これを前提にして、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けるように処理する。
【００９６】
従って、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を自動抽出することができ、ここで自動抽出される映像データＤ３４’及び音声データＤ１３’を編集した操作者固有の映像及び音声データファイルを容易かつ簡単に作成できるようになる。これにより、被写体映像の撮影途中でマニュアル操作によって編集起点や編集終点等を指定入力する場合に比べて格段に編集操作性を向上できるようになった。
【００９７】
続いて、ビデオカメラ１００における情報編集例について説明する。図８は、ビデオカメラ１００における情報編集例を示すフローチャートである。この例では、情報編集処理に関してノーマルモード又は自動編集モードが備えられ、自動編集モードが選択された場合は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４’及び音声データＤ１３’を抽出して繋ぎ合わせるようになされる。自動編集モードには、短目編集モード、中程編集モード及び長目編集モードの３種類が準備される場合を例に挙げる。
【００９８】
これらを編集処理条件にして、図８に示すフローチャートのステップＢ１でＣＰＵ３２は、モード設定入力処理を実行する。例えば、ノーマルモード又は自動編集モードの設定に関する操作データＤ１８を入力する。このとき、ユーザは、モードスイッチを構成する押しボタンスイッチ１２を操作して、ノーマルモード又は自動編集モードのいずれかを選択するようになされる。例えば、押しボタンスイッチ１２を操作して自動編集モードを選択すると、操作部１８からＣＰＵ３２には自動編集モードを示す操作データＤ１８が出力される。更に、自動編集モードを選択した場合には、短目編集モード、中程編集モード又は長目編集モードの中から１つのモードを選択できるようになされている。
【００９９】
ここに、短目編集モードとは、編集起点情報及び編集終点情報を付加した複数の区間部分の中から最も短い編集起点情報及び編集終点情報を付加した１つの区間部分の映像データＤ３４’及び音声データＤ１３’を抽出する動作をいう。中程編集モードとは、短目編集モードによって抽出された区間部分の映像データＤ３４’及び音声データＤ１３’を除く、他の区間部分の映像データＤ３４’及び音声データＤ１３’を繋ぎ合わせた編集動作をいう。長目編集モードとは、短目編集モードと中程編集モードとを合わせた編集動作をいい、例えば、編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４’及び音声データＤ１３’を全部繋ぎ合わせた編集動作をいう。
【０１００】
次に、ステップＢ２でＣＰＵ３２は編集スタートを待機する。このとき、ユーザは編集スタートを構成する押しボタンスイッチ１２を操作して、ＣＰＵ３２に編集処理開始を指示するようになされる。操作部１８はＣＰＵ３２に編集処理開始を指示する操作データＤ１８を出力する。
【０１０１】
操作部１８からＣＰＵ３２へ編集処理開始が指示された場合は、ステップＢ３でノーマル編集モード又は自動編集モードの設定によって制御を分岐する。上述のステップＢ１で自動編集モードが設定されている場合は、ステップＢ４に移行してＣＰＵ３２は、更に、短目編集モード、中程編集モード又は長目編集モードの設定に基づいて制御を分岐する。
【０１０２】
上述のステップＢ１で短目編集モードが設定されている場合は、ステップＢ４からステップＢ５へ移行して、ＣＰＵ３２は、アルゴリズムIIIを演算して短目編集モードを実行する。ここで、記録時間情報Ｔからタイムコードｔｓ，ｔｅを検出し、映像データＤ３４’及び音声データＤ１３’から、当該タイムコードｔｓ，ｔｅが付加された区間部分の映像データＤ３４’及び音声データＤ１３’を抽出する演算をｆとし、アルゴリズムIIIを演算して編集される抽出シーンをｆ（ＳIII）とする。
【０１０３】
ステップＢ６でＣＰＵ３２は抽出シーンｆ（ＳIII）に係る映像データＤ３４’及び音声データＤ１３’を記憶装置３５から読み出すようになされる。記憶装置３５から読み出した抽出シーンｆ（ＳIII）に係る映像データＤ３４’及び音声データＤ１３’を再生すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を再生することができ、操作者固有の映像データＤ３４７及び音声データＤ１３’を記録したメモリアルファイルを視聴できるようになる。その後、ステップＢ１２に移行する。
【０１０４】
また、上述のステップＢ１で中程編集モードが設定されている場合は、ステップＢ４からステップＢ７へ移行して、ＣＰＵ３２は、アルゴリズムIIを演算して中程編集モードを実行する。このとき、アルゴリズムIIを演算して編集される抽出シーンをｆ（ＳIII＋ＳII）とする。
【０１０５】
ステップＢ８でＣＰＵ３２は抽出シーンｆ（ＳIII＋ＳII）に係る映像データＤ３４’及び音声データＤ１３’を記憶装置３５から読み出すようになされる。記憶装置３５から読み出した抽出シーンｆ（ＳIII＋ＳII）に係る映像データＤ３４’及び音声データＤ１３’を再生すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点と、次に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’等を再生することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを視聴できるようになる。その後、ステップＢ１２に移行する。
【０１０６】
更に、上述のステップＢ１で長目編集モードが設定されている場合は、ステップＢ４からステップＢ９へ移行して、ＣＰＵ３２は、アルゴリズムＩを演算して長目編集モードを実行する。このとき、アルゴリズムＩを演算して編集される抽出シーンをｆ（ＳIII＋ＳII＋ＳＩ）とする。その後、ステップＢ１２に移行する。
【０１０７】
ステップＢ１０でＣＰＵ３２は抽出シーンｆ（ＳIII＋ＳII＋ＳＩ）に係る映像データＤ３４’及び音声データＤ１３’を記憶装置３５から読み出すようになされる。記憶装置３５から読み出した抽出シーンｆ（ＳIII＋ＳII＋ＳＩ）に係る映像データＤ３４’及び音声データＤ１３’を再生すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点と、次に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’と、更に、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点・・・等の抽出された全ての映像データＤ３４’及び音声データＤ１３’を再生することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを視聴できるようになる。その後、ステップＢ１２に移行する。
【０１０８】
なお、上述のステップＢ３でノーマルモードが設定されている場合は、ステップＢ１１に移行して、ＣＰＵ３２はノーマルモードを実行する。ノーマルモードでは、編集終点情報や編集終点情報等の付加に関係無く、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とが記録装置３５から順次読み出される。その後、ステップＢ１２に移行する。
【０１０９】
ステップＢ１２で、ＣＰＵ３２は終了判断をする。例えば、編集のストップスイッチを構成する押しボタンスイッチ１２が操作されたか否かを判別する。あるいは、電源オフ情報を検出した否かを判別する。ストップスイッチを構成する押しボタンスイッチ１２が操作された場合、又は、電源オフ情報が検出された場合は、編集処理を終了する。ストップスイッチを構成する押しボタンスイッチ１２が操作されていない場合及び、電源オフ情報が検出されていない場合は、ステップＢ１に戻って上述した処理を繰り返すようになされる。
【０１１０】
このような編集処理を実行すると、操作者３０が被写体の映像を撮影して得た映像データＤ３４及び、その周辺の音を集音して得た音声データＤ１３から、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を飛び飛びに繋ぎ合わせることができ、操作者固有の映像及び音声データファイルを作成できるようになる。しかも、短目編集モード、中程編集モード又は長目編集モードの設定に基づいて、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４’及び音声データＤ１３’を抽出して、３段階に分けて繋ぎ合わせるような編集処理を実行できるようになった。
【０１１１】
上述の実施例で被写体の映像データＤ３４及び音声データＤ１３から抽出し取得した映像データＤ３４’及び音声データＤ１３’から適切な場面をユーザが望む時間（または頻度）だけ、更に摘出する編集アルゴリズムを上述したアルゴリズムＩ，II及びIIIに組み合わせてもよい。よりユニークな感動シーンを編集したアルバムファイルを作成できるようになる。
【実施例２】
【０１１２】
図９は、第２の実施例としてのヘッドマウント型のビデオカメラ２００の構成例を示す斜視図である。
【０１１３】
この実施例では、ヘッドマウント型のビデオカメラ２００に、発汗センサ４５’の他に脈拍センサ２７及び血圧センサ２８を備え、情報処理部１５が、脈拍センサ２７から得られる脈拍情報と血圧センサ２８から得られる血圧情報とを演算して脈波伝達時間（ＷＴＴ）を求め、この脈波伝達時間に基づいて操作者３０が被写体の映像を撮影して得た映像データＤ３４及び、その周辺の音を集音して得た音声データＤ１３から、操作者３０が被写体映像撮影中に脳裏に印象が残る程、生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を抽出できるようにした。
【０１１４】
図９に示すヘッドマウント型のビデオカメラ２００は情報処理装置の他の一例を構成し、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する装置である。ビデオカメラ２００は、メガネ形状を構成する本体フレーム２０を有している。本体フレーム２０の左側には左メガネ吊る部２４ａが、図示しないヒンジを介して開閉自在に取り付けられ、その右側には右メガネ吊る部２４ｂが図示しないヒンジを介して開閉自在に取り付けられている。左メガネ吊る部２４ａの後部はＲ状を有して操作者３０の右耳に装着可能なようになされている。同様にして、右メガネ吊る部２４ｂの後部もＲ状を有して操作者３０の左耳に装着可能なようになされている。
【０１１５】
本体フレーム２０の前面左側にはマイクロフォン１３’（集音部）が組み込まれ、被写体の周囲の音を収録するようになされる。音をステレオ再生する場合は、２個のマイクロフォンが本体フレーム２０の左右側に取り付けられる。この例で、本体フレーム２０の前面右側にはカメラ３４’（撮像部）が組み込まれている。カメラ３４’は撮像レンズや、図示しないレンズ駆動機構、撮像素子等を有して構成される。撮像素子は、撮像レンズの後端に設けられ、撮像レンズやレンズ駆動機構等の撮影光学系によって導かれた被写体像を撮影するように動作する。
【０１１６】
本体フレーム２０の上面、下面及び側面には、電源スイッチ、モードスイッチ、ズームスイッチ、撮影スタート／ストップスイッチ等の種々の押しボタンスイッチ１２が設けられている。電源スイッチはビデオカメラ２００の電源をオン又はオフするスイッチである。モードスイッチは撮影時のノーマルモード又は特殊記録モードのいずれかを選択する際に操作される。ここに特殊記録モード及びノーマルモードは、第１の実施例で説明した通りである。
【０１１７】
この例では、情報出力部の機能の一例を構成する脈拍センサ２７、血圧センサ及び発汗センサ４５’が設けられ、当該ビデオカメラ２００を操作する操作者の生体感情を検出して生体感情報を出力するようになされる。脈拍センサ２７は、例えば、左メガネ吊る部２４ａの後端に設けられ、ヘッドマウント型のビデオカメラ２００を装着した操作者３０の脈拍数を時系列に検知して脈拍情報を発生する。
【０１１８】
この例で、左メガネ吊る部２４ａの後端と右メガネ吊る部２４ｂの後端との間には配線バンド４２が渡されている。配線バンド４２のほぼ中央部位には、血圧センサ２８が設けられ、当該ビデオカメラ２００を装着した操作者３０の血圧を時系列に検知して血圧情報を発生する。発汗センサ４５’については、図２で説明しているので、その説明を省略する。発汗センサ４５’は、当該発汗センサ４５’に触れている操作者の発汗量を検知して発汗レベルを示す生体感情報を情報処理＆通信部５０へ出力する。
【０１１９】
本体フレーム２０の左メガネ吊る部２４ａには情報処理＆通信部５０が設けられ、脈拍センサ２７から得られる脈拍情報と血圧センサ２８から得られる血圧情報とを演算して脈波伝達時間を求める。ここに脈波伝達時間とは、脈拍変化が有った時刻から、この脈拍変化が血圧変化に反映する時刻に至るまでの時間をいう。
【０１２０】
更に、本体フレーム２０の前面左右には、左表示部２９ａ及び右表示部２９ｂが図示しないヒンジ部を介して開閉回転可能に連結され、カメラ３４’で撮像した被写体映像を表示するようになされる。例えば、左右表示部２９ａ，２９ｂには撮影中の映像や、再生時の映像を表示する。左右表示部２９ａ，２９ｂには、例えば、１.０乃至２．０インチ程度のカラー液晶表示装置が使用される。
【０１２１】
本体フレーム２０の右メガネ吊る部２４ｂには、バッテリー＆記憶装置４３が設けられる。バッテリー＆記憶装置４３は、図示しないバッテリー及び、記憶装置を有して構成される。バッテリーは、脈拍センサ２７、血圧センサ２８、左右表示部２９ａ，２９ｂ、カメラ３４’、記憶装置及び発汗センサ４５’及び情報処理＆通信部５０等に直流電源を供給するようになされる。記憶装置は、ノーマルモード又は特殊記録モードによって得られた被写体の映像情報及び当該被写体の周囲の音情報を記録するようになされる。
【０１２２】
本体フレーム２０の前面中央部位には外部インターフェース４１が設けられ、外部機器からの映像＆音声用のコネクタや、通信ケーブル類が接続可能なようになされている。外部インターフェース４１は外部機器へ映像＆音声出力する際に使用され、通信ケーブル用の端子は、外部機器と通信する際に使用される。
【０１２３】
上述の他に、左メガネ吊る部２４ａ及び右メガネ吊る部２４ｂには振動アクチュエータ２５が設けられ、入力確定時に振動アクチュエータ２５を駆動して触覚を提示するようになされる。更に、左メガネ吊る部２４ａ及び右メガネ吊る部２４ｂには振動アクチュエータ２５の他に１対のイヤホン３６ｂが設けられ、左右のスピーカーとして機能するようになされている。例えば、左側のイヤホン３６ｂは、左メガネ吊る部２４ａの後部Ｒ状部位から垂下するように、操作者３０の右耳穴に対峙するように配設されている。同様にして、右側のイヤホン３６ｂは、右メガネ吊る部２４ｂの後部Ｒ状部位から垂下するように、操作者３０の左耳穴に対峙するように配設されている。
【０１２４】
続いて、脈拍センサ２７について説明する。図１０は、脈拍センサ２７の構成例を示す断面図であり、図１１はその内部構成例を示すブロック図である。図１０に示す光学式の脈拍センサ２７は時計に組み込み可能なものであって、基板７１、発光ダイオード７２及びフォトトラジスタ７３、光選択フィルタ７４、ガラス７５を有して構成され、脈動による指先等の毛細血管中の血液濃度変化を利用して脈拍数を測定するようになされる。
る。
【０１２５】
基板７１上には発光ダイオード７２及びフォトダイオード７３が配置される。発光ダイオード７２及びフォトダイオード７３の上方には光選択フィルタ７４が配置される。光選択フィルタ７４には赤外光が通過可能な赤色フィルタが使用される。光選択フィルタ７４の上方にはガラス７５が配置される。この部材にはガラス７５に替えて、透明性のアクリル樹脂を使用してもよい。ガラス７５上には操作者の指３０ａが触れられるが、この例では操作者３０の耳脇こめかみ等が触れる構造を有している。
【０１２６】
脈拍センサ２７では発光ダイオード７２から出射された光が光選択フィルタ７４を通過する。光選択フィルタ７４を通過した赤外光は、操作者の耳脇のこめかみ等に反射する。こめかみ等の毛細血管（静脈）を反射した反射光は、外光と共に光選択フィルタ７４を通過して、フォトダイオード７３で受光される。このとき、外光が指先や、こめかみ等の毛細血管を通過するとき、その通過光が血液の脈動によって変化する。例えば、血液濃度が濃くなったり、薄くなったりする。この濃度変化量を電気信号に変換して検出する。この外光の光量（外光量）に応じて検出レベルを自動設定すると、広範囲な外光量に対応して操作者の脈拍を測定できるようになる。
【０１２７】
図１１に示す脈拍センサ２７の内部回路は、ＭＯＳ−Ｔｒ７６、バンド・エルミネート・フィルタ（Band Eliminate Filter：以下ＢＥＦ回路７７という）及び脈拍センサブロック７８を有して構成される。脈拍センサブロック７８は発光ダイオード７２及びフォトトランジスタ７３を有して構成される。発光ダイオード７２のアノード及びフォトトランジスタ７３のコレクタは接地（ＧＮＤ）されている。
【０１２８】
発光ダイオード７２のカソードは、電源線ＶＤＤに接続されている。フォトトランジスタ７３のエミッタはＭＯＳ−Ｔｒ７６のソース及びＢＥＦ回路７７に接続され、ＭＯＳ−Ｔｒ７６のドレインは電源線ＶＤＤに接続されている。ＭＯＳ−Ｔｒ７６にはｎ型の電界効果トランジスタが使用される。ＭＯＳ−Ｔｒ７６のゲートには負帰還回路を構成するＢＥＦ回路７７が接続され、この外光量に応じた血液の濃度変化量を成す脈拍検知信号Ｓ２７の出力レベルを自動的にゲートに負帰還して、操作者の脈拍を安定して測定できるようになされている。以下で、脈拍検知信号Ｓ２７をアナログ・デジタル変換した情報を脈拍検知データＤ２７という。アナログ・デジタル変換機能は、脈拍センサ２７の内部に設けても、ＣＰＵ３２の内部に設けてもよい。
【０１２９】
続いて、血圧センサ２８について説明する。図１２は、血圧センサ２８の構成例を示すブロック図である。図１２に示す光学式の血圧センサ２８は時計に組み込み可能なものであって、指尖脈波検出ブロックを構成する。この例で、血圧センサ２８は家庭用血圧計（オシロメトリック方式）のようなカフを用いて最高血圧及び最低血圧を測定するものまで必要としていないので、脈拍センサ２７とほぼ同様な構造の血圧センサ２８を用いることができ、脈波伝達時間を測定するために、脈拍センサ２７と血圧センサ２８とが各々離れた位置に配設することが好ましい。
【０１３０】
ビデオカメラ２００に適用可能な血圧センサ２８は、フォトセンサ８１、センサドライバ８２、サンプルホールド回路８３、スイッチト・キャパシタ・フィルタ＆ローパスフィルタ回路（ＳＣＦ＆ＬＰＦ回路８４という）、メインアンプ８５、センサコントローラ８６、４ビットＡＤコンバータ（以下ＡＤＣ回路８７という）、４ビットＤＡコンバータ（以下ＤＡＣ回路８８という）及びコンパレータ８９を有して構成され、血圧上昇点を測定して脈波到達時間を得るようになされる。
る。
【０１３１】
フォトセンサ８１は、図１１に示した脈拍センサブロック７８にほぼ等しい構成を有しているので、その説明を省略する。
【０１３２】
フォトセンサ８１にはセンサドライバ８２及びサンプルホールド回路８３が接続されている。センサドライバ８２は、所定の電圧をフォトセンサ８１に印加して駆動する。フォトセンサ８１は操作者の血圧脈動を検知して血圧脈動信号Ｓ８１を出力する。フォトセンサ８１には、サンプルホールド回路８３が接続され、血圧脈動信号Ｓ８１をサンプリングして血圧検知電圧Ｖ８３を保持し出力する。
【０１３３】
サンプルホールド回路８３にはＳＣＦ＆ＬＰＦ回路８４が接続され、血圧検知電圧Ｖ８３に含まれた高周波ノイズを除去する。ＳＣＦ＆ＬＰＦ回路８４にはメインアンプ８５が接続され、ノイズ除去後の血圧検知電圧Ｖ８３を増幅して血圧上昇点を示す信号（以下血圧信号Ｓ８５という）を出力する。センサドライバ８２、ＳＣＦ＆ＬＰＦ回路８４及びメインアンプ８５にはセンサコントローラ８６が接続され、これらのセンサドライバ８２、ＳＣＦ＆ＬＰＦ回路８４及びメインアンプ８５の入出力を制御する。
【０１３４】
メインアンプ８５にはＡＤＣ回路８７及びコンパレータ８９が接続されている。コンパレータ８９には、ＤＡＣ回路８８が接続されている。ＤＡＣ回路８８には切出しレベルを決定する４ビットの脈拍検知データＤ４５が入力される。ＤＡＣ回路８８は脈拍検知データＤ４５をデジタル・アナログ変換した脈拍検知信号Ｓ８８をコンパレータ８９に出力する。ＡＤＣ回路８７はメインアンプ８５から出力される血圧信号Ｓ８５の信号振幅を監視するようになされる。ＡＤＣ回路８７は血圧信号Ｓ８５をアナログ・デジタル変換して血圧検知データＤ８７を出力する。血圧検知データＤ８７には操作者の血圧の最大値等が含まれる。
【０１３５】
コンパレータ８９はメインアンプ８５から出力される血圧信号Ｓ８５と、ＤＡＣ回路８８から出力される脈拍検知信号Ｓ８８とを比較して脈波伝達時間（ＷＴＴ）を示す差分信号Ｙを出力する。この差分信号Ｙはアナログデジタル変換した後のデータをＹで示す。これにより、外環境ノイズから血圧信号Ｓ８５の弁別を行いながら、脈波伝達時間（ＷＴＴ）を示すデータＹを出力できるようになる。
【０１３６】
図１３Ａ及びＢは、血圧検知例、脈拍検知例及び脈波伝達時間の算出例を示すグラフ図である。
図１３Ａに示す血圧検知例において、横軸は時間であり、縦軸は血圧である。血圧とは、心臓のポンプ作用によって全身に血液が送り出されるとき、血管の壁に与える圧力をいう。図１３Ａに示す血圧検知例によれば、経過時間と共に最高血圧及び最低血圧が交互に繰り返されている。最高血圧とは、心臓が血液を送り出すために収縮したときの血圧（収縮期血圧）をいう。最低血圧とは、心臓が血液を溜めるために拡張したときの血圧（拡張期血圧）をいう。
【０１３７】
図１３Ｂに示す脈拍検知例において、横軸は時間であり、縦軸は脈拍の強さである。脈拍とは、心臓が血液を送り出す際に、動脈に生じる拍動をいう。この拍動の回数を数えると脈拍数が得られる。一定の時間内に心臓が拍動する回数を心拍数（heart rate）といい、通常は1分間の拍動の数（bpm：beats per minute）で表される。
【０１３８】
図１３Ｂに示す脈拍検知例によれば、ピークパルス（尖頭パルス）に示す部分が拍動を示している。脈拍は心電図によって表される。図中に示すＷＴＴは脈波伝達時間（pluse-Ｗave Transfer Time）であり、脈拍変化が血液の変化に反映されるまでの時間をいう。例えば、拍動のピークを検知した時刻ｔ１から血圧の上昇起点時刻ｔ２に至る時間をいう。一般に、人が感動したとき、興奮や緊張等したときに、脈波伝達時間（以下ＷＴＴという）が早くなることが知られている。
【０１３９】
そこで、第２の実施例ではＷＴＴを用いて生体感情を抽出するようにした。まず、第１の実施例と同様にして発汗量の差分（変化率）を算出する。この差分と、ある閾値とを比較し、この閾値を越える差分が検出された場合に、当該画像シーンを抽出シーンの対象とする。そして、ある時間のＷＴＴをデータＹとし、発汗量の時間変化に相当する単位の定数を閾値Ｂとしたとき、（２）式、すなわち、
Ｙ＜Ｂ ・・・・・（２）
を判別する。これにより、現在、人が感動している、興奮や緊張等しているをＣＰＵ３２で判別できるようになる。
【０１４０】
図１４は、ビデオカメラ２００の制御系の構成例を示すブロック図である。図１４に示すビデオカメラ２００は、左メガネ吊る部２４ａ、右メガネ吊る部２４ｂの内部及び、本体フレーム２０の内部に各機能ブロックを実装して構成される。なお、図９〜図１２に示した各部と対応する部分は、同一符号で示している。
【０１４１】
ビデオカメラ２００は、操作部１８、表示部２９ａ，２９ｂ、映像＆音収録部３１’、記憶装置３５、外部インターフェース４１、生体センサ部４５及び情報処理＆通信部５０を有して構成される。情報処理＆通信部５０は通信部１９、ＣＰＵ３２、メモリ部３７及び映像＆音声処理部４４を有している。
【０１４２】
ＣＰＵ３２は第１の実施例と同様にして、システムプログラムに基づいて当該ビデオカメラ全体を制御するようになされる。メモリ部３７は図示しないＲＯＭ、ＲＡＭ及びＥＥＰＲＯＭ等を有している。メモリ部３７のＲＯＭ又はＥＥＰＲＯＭには当該ビデオカメラ全体を制御するためのシステムプログラムを成すデータＰＤが格納される。図示しないＲＡＭはワークメモリとして使用される。ＣＰＵ３２は電源オンと共に、ＲＯＭ又はＥＥＰＲＯＭからシステムプログラムを成すデータＰＤを読み出してＲＡＭに展開し、当該システムを立ち上げてビデオカメラ全体を制御するようになされる。
【０１４３】
メモリ部３７のＲＯＭ又はＥＥＰＲＯＭにはシステムプログラムの他に特殊記録モードを実行するためのプログラムが記述されている。この特殊記録モード用のプログラムは、コンピュータが読み取り可能なプログラムであって、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を操作者３０の生体感情、この例では、発汗、脈拍及び血圧に基づいて動画記録処理するためのプログラムである。その内容は、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像＆音収録部３１’を操作する操作者３０の発汗や、脈拍、血圧等の生体感情を検出して生体感情報を作成するステップと、ここに作成された生体感情報と撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを記述したものである。
【０１４４】
このようなプログラムを成すデータＰＤ’をＲＯＭ又はＥＥＰＲＯＭから読み出して実行すると、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、ＣＰＵ３２は、操作者３０の生体感情を検出して生成された脈波伝達時間を示すデータＹと、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【０１４５】
この例で、ＣＰＵ３２には情報出力部の機能を一例を構成する生体センサ部４５を構成する発汗センサ４５’、脈拍センサ２７及び血圧センサ２８が接続される。ＣＰＵ３２は、発汗センサ４５’から出力される発汗検知データＤ４５’、脈拍センサ２７から出力される脈拍検知データＤ２７、血圧センサ２８から出力される血圧検知データＤ８７を入力し、これらの発汗検知データＤ４５’、脈拍検知データＤ２７及び血圧検知データＤ８７から演算される脈波伝達時間を示すデータＹと、映像＆音収録部３１’から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けるように処理する。
【０１４６】
この例で、発汗センサ４５’から出力される発汗検知データＤ４５’は、第１の実施例と同様にして発汗量の差分（変化率）を算出する。この差分と、ある閾値とを比較し、この閾値を越える差分が検出された場合に、当該画像シーンにおける抽出シーンの対象を決定するために使用される。
【０１４７】
血圧センサ２８は、映像＆音収録部３１’を操作する操作者３０の血圧を検出して血圧検知データＤ８７を出力する。例えば、血圧センサ２８には図１２に示した指尖脈波検出ブロックを実装した光学式の血圧センサが使用され、映像＆音収録部３１’を操作する操作者３０の血圧を時系列に検知し、更に、脈拍センサ２７からの脈拍検知データＤ２７を入力して脈波伝達時間を示すデータＹを演算してＣＰＵ３２へ出力するようになされる。
【０１４８】
この例ではＣＰＵ３２は、血圧センサ２８から出力される脈波伝達時間を示すデータＹと、当該データＹの判別基準となる脈波伝達時間判定用の閾値Ｂとを比較する。脈波伝達時間判定用の閾値Ｂは判別基準情報の一例を成している。この比較結果で、例えば、血圧センサ２８が脈波伝達時間判定用の閾値Ｂを下回る脈波伝達時間を示すデータＹを検出したとき、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集起点情報を付加する。その後、ＣＰＵ３２は脈波伝達時間判定用の閾値Ｂを越える脈波伝達時間を示すデータＹを検出したとき、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集終点情報を付加するように映像＆音声処理部４４をポイント設定制御を実行する。
【０１４９】
映像＆音声処理部４４は、第１の実施例と同様にして、ＭＰＥＧ−１規格に準拠して映像データＤ３４を圧縮処理して記憶装置３５に記録する。ＭＰＥＧ−１規格に準拠した圧縮処理によれば、映像の中の動く部分だけを検出し保存するようにデータを圧縮する。圧縮処理はＭＰＥＧ−１に限られることはなく、ハイビジョン対応のＭＰＥＧ２からＭＰＥＧ−４までの各規格や、現在標準化進行中のＭＰＥＧ−７規格であってもよい。
【０１５０】
この例で、メモリ部３７は脈波伝達時間判定用の閾値Ｂを記憶する。例えば、閾値Ｂはトリガーパラメータとしてメモリ部３７に設けられたＲＯＭ等に予め格納される。メモリ部３７のＲＡＭは、ＣＰＵ３２のメモリ制御を受けて、脈波伝達時間を示すデータＹを入力し、予め設定された脈波伝達時間判定用の閾値Ｂと、データＹから得られる脈波伝達時間（ＷＴＴ）とを比較し、Ｙ＜Ｂの判定処理や、Ｙ≧Ｂ等の判定処理を実行する。もちろん、閾値Ｂは一義的な定数に限られることはなく、二次関数的に変化するものであってもよい。
【０１５１】
このようにすると、操作者３０の発汗、脈拍及び血圧に対応して固有の映像及び音声を抽出できるようになる。編集起点情報及び編集終点情報は、第１の実施例と同様にして、記録時間情報に対してタイムコードとして設定（記述）される。このタイムコードの設定によって、操作者３０が被写体映像撮影中に脈拍数が増加し血圧が上昇して生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出できるようになる。
【０１５２】
ＣＰＵ３２には通信部１９が接続され、外部機器と通信するようになされる。例えば、通信部１９には無線通信装置が使用される。ＣＰＵ３２は、編集処理に基づいて抽出し繋ぎ合わせた被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を通信部１９を介してベースステーション等に無線配信する。このような無線配信処理を実行すると、操作者３０が被写体映像撮影中に脈拍数が増加し血圧が上昇して生体感情が高まった時点の映像データＤ３４及び音声データＤ１３をベースステーション等のモニタに表示したり、ベースステーションの通信部を利用して他の情報処理系へ配信することができ、第１の実施例と同様にして操作者固有の映像データＤ３４及び音声データＤ１３を記録したファイル（アルゴリズム）をインターネット等を介して他のユーザにダウンロードできるようになる。
【０１５３】
操作部１８はＣＰＵ３２に接続され、図示しない電源スイッチ、モードスイッチ、ズームスイッチ、撮影スタート／ストップスイッチ等の押しボタンスイッチ１２が押下されることで発生した操作データＤ１８をＣＰＵ３２に出力する。映像＆音収録部３１’は、マイクロフォン１３’及びカメラ３４’を有して構成される。マイクロフォン１３’は映像＆音声処理部４４に接続され、被写体の周囲の音を集音して得た音声信号Ｓinを出力する。映像＆音声処理部４４はマイクロフォン１３’から出力される音声信号Ｓinをアナログ・デジタル変換して音声データＤ１３を記憶装置３５へ出力する。マイクロフォン１３’には第１の実施例で説明したものが使用される。カメラ３４’は映像＆音声処理部４４に接続され、被写体の映像を撮影して得た映像データＤ３４を出力する。カメラ３４’は撮像レンズ、撮像素子、レンズ駆動機構から構成される。
【０１５４】
上述のＣＰＵ３２には記憶装置３５が接続され、特殊記録モード時、操作者３０の発汗、脈拍及び血圧等の生体感情を検出して生成された脈波伝達時間を示すデータＹと、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けた記録情報を格納するようになされる。記憶装置３５にはハードディスク装置や、メモリカード等の不揮発性メモリが使用される。
【０１５５】
上述の映像＆音声処理部４４には左表示部２９ａ及び右表示部２９ｂが接続され、映像表示信号Ｓ２９に基づいて撮影中の映像や再生時の映像を表示するようになされる。映像＆音声処理部４４にはイヤホン３６’が接続され、音声信号Ｓ３６に基づいて撮影中の被写体周辺の音や再生時の音声等を出力する。イヤホン３６’は左メガネ吊る部２４ａ及び右メガネ吊る部２４ｂの所定の位置に設けられる。映像＆音声処理部４４には外部インターフェース４１が接続され、映像＆音声信号等を外部機器へ出力するようになされる。
【０１５６】
図１５及び図１６は、ヘッドマウント型のビデオカメラ２００における撮影フォーマット例（その１，２）を示す動作タイミングチャートである。この例では操作者３０の頭部での発汗、脈拍及び血圧の変化に対応して固有の映像及び音声を抽出できるようにすると共に、編集起点情報及び編集終点情報を記録時間情報に対してタイムコードとして設定（記述）するようにした。
【０１５７】
図１５Ａ及び図１６Ａは記録時間情報Ｔを示している。記録時間情報Ｔとは、スタートスイッチを押下して映像データＤ３４を取り込み、記憶装置３５に記録している時間をいう。図１５Ｂ及び図１６Ｂに示す動画シーンは、第１の実施例と同様にして、被写体の動きを代表する８つのシーン（ｉ）〜(viii)である。動画シーンのサンプリング頻度は１／３０秒である。すなわち、カメラ３４’は１秒間に３０コマ（ＮＴＳＣ方式）の映像を取得する。この例では運動会で被写体が”かけっこ”をする映像を、操作者３０が撮影している場合である。
【０１５８】
図１５Ｂに示すシーン（ｉ）は第１の実施例と同様にして、出番を待っている被写体の映像である。シーン（ii）及び(iii）はいよいよ出番が回ってきて、被写体がスタートラインに移動する際の映像である。シーン（iv）はスタートラインに立った被写体の映像である。更に、図１６Ｂに示すシーン（ｖ）はスターターが号砲を打った瞬間の映像である。シーン（vi）は被写体がスタートして、駆け足を始めた際の映像である。シーン（vii）は勢い余って被写体が転んだ状態の映像である。シーン（viii）は被写体が泣きながらゴールに到着した映像である。
【０１５９】
図１５Ｃに示す波形は被写体周囲収録時の音声信号である。被写体周囲の音声はマイクロフォン１３’が収録する。この例では運動会の”かけっこをする被写体周辺の音を収録している場合である。例えば、シーン（ｉ）〜（iv）に対応する音情報は、運動会特有の行進曲や周囲のざわめき音が収録される。更に、図１６Ｃに示すシーン（ｖ）に対応する音情報は、スターターが号砲を打った瞬間の”バ〜ン”等と共にシーン（vi）に対応して応援者により声援が収録される。シーン（vii）に対応する音情報は、例えば、被写体に対して”さあ〜起き上がってがんばれ”のような声援が収録される。シーン（viii）に対応する音情報は、例えば、被写体がゴールした行動に対して安堵のどよめき声が収録される。
【０１６０】
図１５Ｄに示す波形は、血圧検知データＤ８７から得られる血圧波形であって、当該ビデオカメラ２００を持って被写体を撮影する操作者の血圧の経時的変化を示している。図１５Ｅに示す波形は、脈拍検知データＤ２７から得られる脈動波形であって、当該ビデオカメラ２００を持って被写体を撮影する操作者の脈拍の経時的変化を示している。図１５Ｅにおいて、データＹは脈波伝達時間（ＷＴＴ）であって、例えば、拍動のピークを検知した時刻ｔ１から血圧の上昇起点時刻ｔ２に至る時間である。
【０１６１】
この例で、シーン（ｉ）〜（iv）に対応する血圧は、ほとんど経時的変化が無く安定しており、また、シーン（ｉ）〜（iv）に対応する脈拍も、ほとんど経時的変化が無く安定している場合を示している。すなわち、脈波伝達時間を示すデータＹは、図１５Ｆに示すように、いずれも、脈波伝達時間判定用の閾値Ｂ以上である。
【０１６２】
ところが、図１６Ｄに示すシーン（ｖ）では、被写体がスタートラインに立った直後から、操作者の脈拍が増加すると共に血圧が増加し始め、スターターが号砲を打った瞬間に例えば、そのピークを迎えている。この際の脈波伝達時間を示すデータＹは、シーン（ｉ）〜（iv）の場合の脈波伝達時間を示すデータＹよりも短くなっている。シーン（vi）で被写体がスタートして、駆け足を始めた当たりから、徐々に脈拍及び血圧も正常時に戻ってくる。この際の脈波伝達時間を示すデータＹは、シーン（ｉ）〜（iv）の場合の脈波伝達時間を示すデータＹとほぼ等しくなっている。
【０１６３】
しかし、シーン（vii）で勢い余って被写体が転んだ状態となると、再び、操作者の脈拍及び血圧が増加し始め、被写体が立ち上がった瞬間に、例えば、そのピークを迎えている。この際の脈波伝達時間を示すデータＹは、シーン（ｉ）〜（iv）の場合の脈波伝達時間を示すデータＹよりも短くなっている。そして、徐々に脈拍及び血圧も正常時に戻ってくる。この例で、シーン（viii）で被写体が泣きながらゴールに到着した時点では、操作者の脈拍及び血圧は、最初と同じ状態に戻っている。
【０１６４】
なお、当該ビデオカメラ２００を持って被写体を撮影する操作者の発汗量の経時的変化については、図４Ｄ及び図５Ｄを参照されたい。このような操作者の感情変化に対して発汗量、脈拍及び血圧が増加し、その発汗量、脈拍及び血圧は経過時間と共に正常時へ戻ることが知られている。
【０１６５】
この例では、第１の実施例と異なり、脈波伝達時間判定用の閾値Ｂは特殊記録モードの起動と共に一義的に設定される。図１６Ｄに示すシーン（ｖ）で操作者の脈拍及び血圧変化に伴う脈波伝達時間を示すデータＹは脈波伝達時間判定用の閾値Ｂを下回っている。このデータＹが閾値Ｂを下回った時刻ｔｓがタイムコードを成すと共に動画シーンを編集する際の編集起点情報となされる。
【０１６６】
更に時間が経過して、図１６Ｄに示すシーン（vi）で操作者の脈拍及び血圧が正常時に戻ってデータＹが閾値Ｂ以上になっている。このデータＹが閾値Ｂを越えた時刻ｔｅがタイムコードを成すと共に動画シーンを編集する際の編集終点情報となされる。この第１のタイムコードの時刻ｔｓと時刻ｔｅとの間の動画シーンが第１の実施例と同様にして、特殊記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる。
【０１６７】
この例では、更に、時間が経過して、図１６Ｄに示すシーン（vii）で操作者の脈拍及び血圧が増加して、データＹが閾値Ｂを下回っている。この脈拍及び血圧変化に伴うデータＹが閾値Ｂを下回った時刻ｔｓがタイムコードを成すと共に動画シーンを編集する際の編集起点情報となされる。更に、時間が経過して、図１６Ｄに示すシーン（vii）で操作者の脈拍及び血圧が正常時に戻って、データＹが閾値Ｂ以上となっている。この脈拍及び血圧変化に伴うデータＹが閾値Ｂを越えた時刻ｔｓがタイムコードを成すと共に動画シーンを編集する際の編集終点情報となされる。この第２のタイムコードの時刻ｔｓと時刻ｔｅとの間の動画シーンが第１の実施例と同様にして特殊記録モードにおける第２の抽出（摘出）シーンＳＶii（編集映像＋音情報）となる。なお、感情変化に対して寄与するパラメータＦの寄与率を表１に示している。
【０１６８】
【表１】
【０１６９】
表１によれば、感情変化に対して寄与するパラメータＦについて、心拍数は寄与率が０．９４，血圧は同１．０６，ＷＴＴは同１．３０、体温は同０．４４，発汗量は同１．９３である。この例では発汗量＞ＷＴＴ＞血圧＞心拍数なる関係を得ている。
【０１７０】
続いて、本発明に係る第２の情報処理方法について説明する。図１７は、ビデオカメラ２００における情報記録例を示すフローチャートである。
【０１７１】
この例では、ヘッドマウント型のビデオカメラ２００で被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する場合を前提とする。生体センサ部４５には図１４に示したような発汗センサ４５’、脈拍センサ２７及び血圧センサ２８が使用される。ＣＰＵ３２は、生体センサ部４５から出力される発汗検知データＤ４５’、脈拍検知データＤ２７及び血圧検知データＤ８７に基づく脈波伝達時間を示すデータＹと映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けるように処理する。
【０１７２】
これらを前提にして、図６に示すフローチャートのステップＣ１でＣＰＵ３２は、モード設定入力処理を実行する。例えば、ノーマルモード又は特殊記録モードの設定に関する操作データＤ１８を入力する。このとき、ユーザは、モードスイッチを構成する押しボタンスイッチ１２を操作して、ノーマルモード又は特殊記録モードのいずれかを選択するようになされる。例えば、押しボタンスイッチ１２を操作して特殊記録モードを選択すると、操作部１８からＣＰＵ３２には特殊記録モードを示す操作データＤ１８が出力される。
【０１７３】
次に、ステップＣ２でＣＰＵ３２はスタートを待機する。このとき、ユーザは撮影スタートを構成する押しボタンスイッチ１２を操作して、ＣＰＵ３２に動画記録処理開始を指示するようになされる。操作部１８はＣＰＵ３２に動画記録処理開始を指示する操作データＤ１８を出力する。
【０１７４】
操作部１８からＣＰＵ３２へ動画記録処理開始が指示された場合は、ステップＣ３でノーマルモード又は特殊記録モードの設定によって制御を分岐する。上述のステップＣ１で特殊記録モードが設定されている場合は、ステップＣ４でＣＰＵ３２は、被写体の映像及びその周辺の音情報を取得するように映像＆音収録部３１’を制御して記録開始処理に移行する。このとき、映像＆音収録部３１’は、被写体の映像を撮影して映像データＤ３４を取得し、かつ、当該被写体の周囲の音を集音して音声データＤ１３を取得する。映像＆音声処理部４４では、例えば、ＭＰＥＧ−１規格に準拠して、映像の中の動く部分だけを検出し圧縮処理した映像データＤ３４を記憶装置３５に記録する。
【０１７５】
これと並行して、ステップＣ５でＣＰＵ３２は当該ビデオカメラ２００を操作する操作者３０の発汗や、脈拍、血圧等の生体感情を検出して脈波伝達時間を示すデータＹを作成するように血圧センサ部２８を制御する。血圧センサ部２８は、この制御を受けて、映像＆音収録部３１’を操作する操作者３０の血圧を検出して血圧検知データＤ８７をＣＰＵ３２に出力する。このとき、血圧センサ２８は映像＆音収録部３１’を操作する操作者３０の血圧を時系列に検知し、更に、脈拍センサ２７からの脈拍検知データＤ２７を入力して脈波伝達時間を示すデータＹを演算してＣＰＵ３２へ出力するようになされる。
【０１７６】
次に、ステップＣ６に移行して、ＣＰＵ３２は、血圧センサ２８から出力される脈波伝達時間を示すデータＹと当該データＹの判別基準となる脈波伝達時間判別用の閾値Ｂとを比較してＹ＜Ｂの判別処理を実行する。メモリ部３７ではＣＰＵ３２のメモリ制御を受けて、データＹを入力し、予め設定された閾値Ｂと、データＹから得られる脈波伝達時間（ＷＴＴ）とを比較する。
【０１７７】
Ｙ＜Ｂなる判別結果を得た場合はステップＣ７に移行して、ＣＰＵ３２はステップＣ４で同時進行の記録装置３５へ記録している被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に対して編集起点情報を付加する。このとき、図１６に示したシーン（ｖ）の例によれば、血圧センサ２８が閾値Ｂを越える脈波伝達時間を示すデータＹを検出したので、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集起点情報を付加する。映像＆音声処理部４４では、ＣＰＵ３２からの編集起点情報付加制御（ポイント設定制御）によって、記録時間情報Ｔにタイムコードとして時刻ｔｓをマーク（記述）するようになる。
【０１７８】
そして、ステップＣ８に移行してＣＰＵ３２はＹ≧Ｂの判別処理を実行する。Ｙ≧Ｂを判別した場合はステップＣ９に移行して、ステップＣ４で同時進行している記録装置３５へ記録している被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に対して編集終点情報を付加する。このとき、図１６に示したシーン（ｖ）の例によれば、血圧センサ２８が閾値Ｂ以上の脈波伝達時間を示すデータＹを検出したので、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集終点情報を付加するように映像＆音声処理部４４をポイント設定制御を実行する。
【０１７９】
映像＆音声処理部４４では、ＣＰＵ３２の編集終点情報付加制御（ポイント設定制御）によって、記録時間情報Ｔにタイムコードとして時刻ｔｅをマーク（記述）するようになる。このタイムコードとして時刻ｔｓと時刻ｔｅの間の動画シーンが特殊記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる（図１６参照）。そして、ステップＣ１１に移行する。
【０１８０】
なお、上述のステップＣ３でノーマルモードが設定されている場合は、ステップＣ１０に移行して、ノーマルモードを実行する。ノーマルモードでは、編集終点情報や編集終点情報等を付加することなく、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とが記録装置３５に記録される。その後、ステップＣ１１に移行する。
【０１８１】
ステップＣ１１で、ＣＰＵ３２は終了判断をする。例えば、撮影のストップスイッチを構成する押しボタンスイッチ１２が操作されたか否かを判別する。あるいは、電源オフ情報を検出した否かを判別する。ストップスイッチを構成する押しボタンスイッチ１２が操作された場合、又は、電源オフ情報が検出された場合は、動画記録処理を終了する。ストップスイッチを構成する押しボタンスイッチ１２が操作されていない場合及び、電源オフ情報が検出されていない場合は、ステップＣ３に戻って上述した処理を繰り返す。これにより、血圧センサ２８から得られた脈波伝達時間を示すデータＹと、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて記憶装置３５へ動画記録処理できるようになる。
【０１８２】
図１５及び図１６に示した例によれば、第１及び第２の抽出シーンを編集できるタイムコード（時刻）ｔｓ，ｔｅが付加されている。このようにすると、操作者３０の発汗、脈拍及び血圧に対応して固有の映像及び音声を抽出できるようになる。編集起点情報及び編集終点情報は例えば、記録時間情報Ｔに対してタイムコードとして設定（記述）される。
【０１８３】
このように第２の実施例に係るビデオカメラ及び情報記録方法によれば、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報を処理する場合に、映像＆音収録部３１’は、被写体の映像を撮影して映像データＤ３４を出力し、かつ、当該被写体の周囲の音を集音して音声データＤ１３を出力する。血圧センサ２８は、映像＆音収録部３１’を操作する操作者３０の生体感情を検出して脈波伝達時間を示すデータＹを出力する。これを前提にして、ＣＰＵ３２で血圧センサ２８から出力されるデータＹと映像＆音収録部３１’から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けるように処理できるようになった。
【０１８４】
従って、操作者３０が被写体映像撮影中に脈拍数が増加し血圧が上昇して生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出できるようになり、ここで自動抽出される映像データＤ３４及び音声データＤ１３を編集した操作者固有の映像及び音声データファイルを容易かつ簡単に作成できるようになった。これにより、被写体映像の撮影途中でマニュアル操作によって編集起点や編集終点等を指定入力する場合に比べて格段に編集操作性を向上できるようになった。
【０１８５】
この実施例では、脈拍センサ２７及び血圧センサ２８を用いて、生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出する場合について説明したが、これに限られることはなく、脈拍センサ２７や血圧センサ２８等に替えて脳波センサを用いて生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出するようにしても同様な効果が得られる。
【実施例３】
【０１８６】
図１８は、第３の実施例としてのデジタルカメラ３００の構成例を示す斜視図である。
図１８に示すデジタルカメラ３００は情報処理装置の一例を構成し、被写体の映像を撮影して得られる静止画情報及び感動シーンの動画情報、及び、当該被写体の周囲の音を集音して得られる情報を処理する装置である。
【０１８７】
デジタルカメラ３００は、外装を構成する本体ケース６０を有しており、本体ケース６０の前面側には撮像部３４が組み込まれている。撮像部３４は撮像レンズや、図示しないレンズ駆動機構、撮像素子等を有して構成される。撮像素子は、撮像レンズの後端に設けられ、撮像レンズやレンズ駆動機構等の撮影光学系によって導かれた被写体像を撮像するように動作する。
【０１８８】
本体ケース６０の後面、上面、側面には、電源スイッチ、モードスイッチ、ズームスイッチ、シャッタースイッチ１２ａ等の種々の押しボタンスイッチ１２が設けられている。電源スイッチはデジタルカメラ３００の電源をオン又はオフするスイッチである。モードスイッチは撮影時のノーマルモード又は特殊記録モードのいずれかを選択する際に操作される。ここに特殊動画記録モードとは、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた動画を記録する動作をいう。ノーマルモードとは特殊動画記録モード以外の動作をいい、操作者の生体感情に関係無く撮影集音された被写体の映像情報（静止画）をそのまま記録する動作をいう。
【０１８９】
この例で、特殊動画記録モードを選択するモードスイッチには、情報出力部の機能の一例を構成する生体センサ部４５が設けられ、当該デジタルカメラ３００を操作する操作者の生体感情を検出して生体感情報を出力するようになされる。生体センサ部４５には例えば図２に示したような発汗（Hidrosis）センサ４５’が使用される。この例で発汗センサ４５’は、本体ケース６０の背面右下に設けられる。この部分は当該デジタルカメラ２００を右手で把持するグリップ部分である。もちろん、グリップ部分に限られることはく、シャッタースイッチ１２ａを兼用する位置に生体センサ部４５を設けるようにしてもよい。シャッタースイッチ１２ａに触れている操作者の発汗量を検知して発汗レベルを示す生体感情報を情報処理部１５へ出力できるようなる。また、生体センサ部４５は発汗センサ４５’の他に脈拍センサ２７や血圧センサ２８等を使用してもよい。
【０１９０】
図示ないズームスイッチは、被写体映像をズームアップ表示又はズームダウン表示する際に操作される。シャッタースイッチ１２ａは表示部２９に表示されている被写体映像の静止画情報の取り込みを情報処理部１５へ指示する際にＯＮ操作される。本体ケース６０の前面であって、撮像レンズの先端下方の位置には、集音部１３を成す音収録用のマイクロフォンが取り付けられる。動画像再生時、音をステレオ再生する場合は、左右２個のマイクロフォンを取り付けるとよい。
【０１９１】
更に、本体ケース６０の背面側には、表示部２９が設けられ、撮像部３４で撮像した被写体映像を動画表示（モニタ）するようになされる。例えば、表示部２９は撮影中の映像（動画像）や、シャッターＯＮ操作時、再生時の静止画映像又は動画映像を表示する。表示部２９には、例えば、２乃至３インチ程度のカラー液晶表示装置が使用される。
【０１９２】
本体ケース６０の内部には回路基板１７が設けられる。回路基板１７には記録メディアやメディアスロット等の記憶装置３５が実装又は装着可能となされ、ノーマルモード又は特殊動画記録モードによって得られた被写体の静止画及び動画を含む映像情報及び、動画像取得時の被写体の周囲の音情報を記録するようになされる。回路基板１７には記憶装置３５の他に情報処理部１５が実装される。
【０１９３】
本体ケース６０の内部には回路基板１７の他にバッテリー１４が実装され、当該回路基板１７、表示部２９、撮像部３４、記憶装置３５及び生体センサ部４５に直流電源を供給するようになされる。本体ケース６０の外部側には外部インターフェース４１等が設けられ、外部機器からの映像＆音声用のコネクタや、通信ケーブル類が接続可能なようになされている。外部インターフェース４１は外部機器へ映像＆音声出力する際に使用され、通信ケーブル用の端子は、外部機器と通信する際に使用される。
【０１９４】
図１９は、デジタルカメラ３００の制御系の構成例を示すブロック図である。図１９に示すデジタルカメラ３００は、本体ケース６０内の回路基板１７に各機能ブロックを実装して構成される。なお、図１８に示した各部と対応する部分は、同一符号で示している。
【０１９５】
デジタルカメラ３００は、シャッタースイッチ１２ａ、情報処理部１５、操作部１８、通信部１９、表示部２９、映像＆音収録部３１、記憶装置３５、外部インターフェース４１及び生体センサ部４５を有して構成される。第１の実施例と同じ符号及び同じ名称のものは同じ機能を有するので、その説明を省略する。
【０１９６】
情報処理部１５はＣＰＵ３２、メモリ部３７及び映像＆音声処理部４４を有して構成される。ＣＰＵ３２はシステムプログラムに基づいて当該デジタルカメラ全体を制御するようになされる。メモリ部３７は図示しないＲＯＭ、ＲＡＭ及びＥＥＰＲＯＭ等を有している。メモリ部３７のＲＯＭ又はＥＥＰＲＯＭには当該デジタルカメラ全体を制御するためのシステムプログラムを成すデータＰＤが格納される。図示しないＲＡＭはワークメモリとして使用される。ＣＰＵ３２は電源オンと共に、ＲＯＭ又はＥＥＰＲＯＭからシステムプログラムを成すデータＰＤを読み出してＲＡＭに展開し、当該システムを立ち上げてデジタルカメラ全体を制御するようになされる。
【０１９７】
操作部１８はＣＰＵ３２に接続され、図１に示した電源スイッチ、モードスイッチ、ズームスイッチ、シャッタースイッチ１２ａ等の押しボタンスイッチ１２が押下されることで発生した操作データＤ１８をＣＰＵ３２に出力する。
【０１９８】
映像＆音収録部３１は第１の実施例と同様にして、集音部１３及び撮像部３４を有して構成される。集音部１３は映像＆音声処理部４４に接続され、被写体の周囲の音を集音して得た音声データＤ１３を出力する。撮像部３４は映像＆音声処理部４４に接続され、被写体の映像を撮影して得た静止画及び動画に係る映像データＤ３４を出力する。
【０１９９】
生体センサ部４５は、映像＆音収録部３１や操作部１８等、特に、シャッタースイッチ１２ａを操作する操作者３０の生体感情を検出して感情データＤ４５を出力する。例えば、生体センサ部４５には図２に示した発汗センサ４５’が使用され、映像＆音収録部３１を操作する操作者３０の発汗量を時系列に検知して感情データＤ４５をＣＰＵ３２へ出力する。
【０２００】
上述のメモリ部３７のＲＯＭ又はＥＥＰＲＯＭにはシステムプログラムの他にノーマルモード用のプログラムと特殊動画記録モード用のプログラムとが記述されている。ノーマルモード用のプログラムは、従来方式と同様にして、静止画を記録する順序を記述したものである。特殊動画記録モード用のプログラムは、コンピュータが読み取り可能なプログラムであって、被写体の静止画映像の取得処理に並行して、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を操作者３０の生体感情に基づいて動画記録処理するためのプログラムである。
【０２０１】
その内容は、被写体の静止画映像の取得時に、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像＆音収録部３１を操作する操作者３０の生体感情を検出して生体感情報を作成するステップと、ここに作成された生体感情報と撮影集音された被写体の動画映像情報及び当該被写体の周囲の音情報とを対応付けて自動抽出処理するステップとを記述したものである。
【０２０２】
このようなプログラムを成すデータＰＤ’をＲＯＭ又はＥＥＰＲＯＭから読み出して実行すると、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、ＣＰＵ３２は、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【０２０３】
例えば、ＣＰＵ３２は、シャッタースイッチ１２ａのＯＮ操作とは別個独立に、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて自動抽出処理するようになされる。この例でＣＰＵ３２は、第１の実施例と同様にして、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較する。
【０２０４】
この比較結果で、例えば、生体センサ部４５が発汗量判定閾値Ｈthを越える発汗レベルＨｘの感情データＤ４５を検出したとき、これをトリガ（編集起点）にして、ＣＰＵ３２は、シャッタースイッチ１２ａがＯＮ操作されていなくても、動画モニタ表示されている被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を抽出して切り出すように動画の記録を開始する。この例では、静止画とは独立に編集起点からの動画情報を記録するようになされる。
【０２０５】
その後、発汗量判定閾値Ｈth以下の発汗レベルＨｘの感情データＤ４５を検出したとき、これをトリガー（編集終点）にして、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３の抽出切り出しを終了するように映像＆音声処理部４４を自動抽出するように制御する。この例で、静止画とは独立に当該動画像の編集終点で記録を終了するようになされる。
【０２０６】
映像＆音声処理部４４はＣＰＵ３２の静止画記録制御を受けて、例えば、ＪＰＥＧ圧縮方式により静止画像データを圧縮して記憶装置３５に転送するようになされる。圧縮率は例えば、圧縮前の静止画像データの１／１０〜１／１００程度である。感動シーンに係る動画像は、ＣＰＵ３２の動画像抽出記録制御を受けて、第１の実施例と同様にして、ＭＰＥＧ−１規格に準拠して映像データＤ３４を圧縮処理して記憶装置３５に記録するようになされる。
【０２０７】
この例で、メモリ部３７は発汗量判定閾値Ｈthを記憶する。例えば、発汗量判定閾値Ｈthはトリガーパラメータとしてメモリ部３７に設けられたＲＯＭ等に予め格納される。メモリ部３７のＲＡＭは、ＣＰＵ３２のメモリ制御を受けて、感情データＤ４５を入力し、予め設定された発汗量判定閾値Ｈthと、感情データＤ４５から得られる発汗レベルＨｘとを比較し、Ｈth＞Ｈｘの判定処理や、Ｈth≦Ｈｘ等の判定処理を実行する。もちろん、発汗量判定閾値は一義的な定数に限られることはなく、二次関数的に変化するものであってもよい（図５参照）。
【０２０８】
このようにすると、操作者３０の指の発汗量に対応して固有の映像及び音声を抽出できるようになる。編集起点及び編集終点に係る情報は、第１の実施例と同様にして、記録時間情報に対してタイムコードとして設定（記述）してもよいが、その時点で動画像を切り出して記録装置３５に保存する形式を採っているので省略してもよい。特殊動画記録モードの設定によって、操作者３０が被写体静止画像の撮影中に、手に汗握って生体感情が高まった時点の動画シーンの映像データＤ３４及び音声データＤ１３を自動抽出できるようになる。
【０２０９】
更にＣＰＵ３２に再生制御機能を持たせて、自動抽出した被写体の動画シーンの映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を再生するようにしてもよい。このような再生処理を実行すると、操作者３０が被写体静止画映像を撮影中に手に汗握って生体感情が高まった時点の動画シーンを成す映像データＤ３４及び音声データＤ１３を再生することができ、被写体の静止画に加えて、操作者固有の映像データＤ３４及び音声データＤ１３を記録したメモリアルファイルを視聴できるようになる。表示部２９は、操作者固有の映像データＤ３４を入力して操作者固有の映像を表示し、スピーカー３６からは、感動シーン取り込み時の被写体周辺の音声データＤ１３を入力して被写体周辺固有の音声等を出力できるようになる。
【０２１０】
更にＣＰＵ３２に記録制御機能を持たせて、自動抽出した被写体の動画シーンの映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を所定の記録媒体に記録するようにしてもよい。このような記録処理を実行すると、操作者３０が被写体静止画映像を撮影中に手に汗握って生体感情が高まった時点の動画シーンを成す映像データＤ３４及び音声データＤ１３をＣＤ−ＲＯＭや、ＭＤ等の記録媒体に記録することができ、静止画に加えて、操作者固有の動画シーンを成す映像データＤ３４及び音声データＤ１３を記録したメモリアルファイルを配布できるようになる。
【０２１１】
上述のＣＰＵ３２には記録メディアや、メディアスロット等を構成する記憶装置３５が接続され、ノーマルモード時の静止画情報の他に、特殊動画記録モード時、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けた動画記録情報を格納するようになされる。記憶装置３５にはハードディスク装置や、メモリカード等の不揮発性メモリが使用される。
【０２１２】
上述の映像＆音声処理部４４には表示部２９が接続され、映像表示信号Ｓ２９に基づいて撮影中の動画映像や再生時の静止映像、感動シーンを成す動画像を表示するようになされる。映像＆音声処理部４４にはスピーカー３６が接続され、動画撮影時、音声信号Ｓ３６に基づいて撮影中の被写体周辺の音や再生時の音声等を出力する。スピーカー３６は本体ケース６０の所定の位置に設けられる。映像＆音声処理部４４には外部インターフェース４１が接続され、映像＆音声信号を外部機器へ出力するようになされる。
【０２１３】
ＣＰＵ３２には通信部１９が接続され、第１の実施例と同様にして、外部機器と通信するようになされる。例えば、ＣＰＵ３２は、自動抽出した被写体の動画像を成す映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を通信部１９を介して配信する。このような配信処理を実行すると、操作者３０が被写体静止画映像の撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を配信することができ、操作者固有の映像データＤ３４及び音声データＤ１３を記録したファイル（アルゴリズム）をインターネット等を介して他のユーザにダウンロードできるようになる。なお、デジタルカメラ３００における撮影フォーマット例については、図４及び図５を参照されたい。
【０２１４】
続いて、本発明に係る第３の情報処理方法について説明する。図２０及び図２１は、デジタルカメラ３００における記録処理例（その１，２）を示すフローチャートである。
【０２１５】
この例では、被写体の映像を撮影して得られる静止画情報及び感動シーンの動画情報、及び、当該被写体の周囲の音を集音して得られる情報を処理する場合を前提とする。生体センサ部４５には図２に示したような発汗センサが使用される。ＣＰＵ３２は、シャッタースイッチ１２ａのＯＮ操作と独立して、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び、当該被写体周囲収録時の音声データＤ１３とを対応付けて自動抽出処理する場合を例に挙げる。
【０２１６】
これらを前提にして、図２０に示すフローチャートのステップＥ１でＣＰＵ３２は、モード設定入力処理を実行する。例えば、ノーマルモード又は特殊動画記録モードの設定に関する操作データＤ１８を入力する。このとき、ユーザは、モードスイッチを構成する押しボタンスイッチ１２を操作して、ノーマルモード又は特殊動画記録モードのいずれかを選択するようになされる。例えば、該当する押しボタンスイッチ１２を操作して特殊動画記録モードを選択すると、操作部１８からＣＰＵ３２には特殊動画記録モードを示す操作データＤ１８が出力される。
【０２１７】
次に、ステップＥ２でノーマルモード又は特殊動画記録モードの設定によって制御を分岐する。上述のステップＥ１で特殊動画記録モードが設定されている場合は、ステップＥ３でＣＰＵ３２は被写体映像を動画でモニタ表示する。そして、ステップＥ４でシャッタースイッチ１２ａがＯＮ操作されたかを監視する。シャッタースイッチ１２ａがＯＮ操作されない場合は、被写体映像の動画モニタ表示を継続すると共に、ステップＥ１７に移行する。ステップＥ４でシャッタースイッチ１２ａがＯＮ操作された場合は、ステップＥ５に移行して被写体映像の静止画をモニタ表示すると共に静止画を記録装置３５に記録し保存する。このとき、撮像部３４は、被写体の映像を撮影して映像データＤ３４を取得する。映像＆音声処理部４４では、例えば、ＪＰＥＧ規格に準拠して、静止画情報を圧縮処理した映像データＤ３４を記憶装置３５に記録する。その後、ステップＥ１７に移行する。
【０２１８】
これと並行して、ステップＥ６でＣＰＵ３２は当該デジタルカメラ３００を操作する操作者３０の生体感情を検出して感情データＤ４５を作成するように生体センサ部４５を制御する。生体センサ部４５は、この制御を受けて、発汗センサ４５’に触れている操作者の発汗量を検知して発汗レベルを示す感情データＤ４５をＣＰＵ３２に出力する。
【０２１９】
次に、ステップＥ７でＣＰＵ３２は発汗量判定閾値曲線を設定するか否かを判別する。この際の判断基準は、第１の実施例と同様にして、生体センサ部４５によって検知された操作者の発汗量の変化率（感情変化率）と、予め設定された閾値曲線設定の基準となる基準変化率とを比較することにより実行される。操作者の発汗量の変化率は、生体センサ部４５が操作者の何らかの発汗量を検知した時刻以降の２つのサンプル時刻に検知された発汗量間の差分値である。このような差分値を求めるようにしたのは、第１の実施例で説明した通りである。
【０２２０】
上述のステップＥ７で操作者の発汗量の変化率が基準変化率を越えた場合は、ステップＥ８でＣＰＵ３２は発汗量判定閾値曲線を設定するようになされる。このとき、メモリ部３７から式（１）に示したような発汗量判定閾値曲線を読み出してＲＡＭに展開する。これと共に、ＣＰＵ３２はタイマを起動して、監視時間のカウントを開始する。そして、ステップＥ９に移行して、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較してＨｘ＞Ｈthの判別処理を実行する。メモリ部３７では、図１９に示したＣＰＵ３２のメモリ制御を受けて、感情データＤ４５を入力し、予め設定された発汗量判定閾値曲線を成す発汗量判定閾値Ｈth１，Ｈth２，Ｈth３，Ｈth４・・・・と、感情データＤ４５から得られる発汗レベルＨｘとを比較する。
【０２２１】
Ｈｘ＞Ｈthなる判別結果を得た場合はステップＥ１０に移行して、ＣＰＵ３２はステップＥ４のシャッタースイッチ２ａのＯＮ操作に関係なく、編集起点を示す時刻ｔｓで被写体動画像の抽出記録処理を開始する。このとき、映像＆音声処理部４４は編集起点の被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３をＭＰＥＧ規格に準拠して圧縮処理する。圧縮処理後の被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３が記憶装置３５に動画記録するようになされる（図５参照）。
【０２２２】
そして、図２１に示すステップＥ１１に移行してＣＰＵ３２はＨｘ≦Ｈthの判別処理を実行する。Ｈｘ≦Ｈthを判別した場合はステップＥ１２に移行して、ステップＥ４のシャッタースイッチ１２ａびＯＮ操作に関係なく、編集終点を示す時刻ｔｅで被写体動画像の抽出記録処理を終了する。このとき、編集終点以降の被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３は、次のＨｘ＞Ｈthなる判別結果が得られるまで、記憶装置３５に記録されることなく表示処理に止まっている。
【０２２３】
映像＆音声処理部４４では、ＣＰＵ３２からの動画像抽出記録制御によって、抽出された編集起点を示す時刻ｔｓと編集終点を示す時刻ｔｅの間の動画シーンが特殊動画記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる（図５参照）。
【０２２４】
その後、ステップＥ１３に移行して第１の実施例と同様にして、当該発汗量判定閾値曲線における監視時間が終了したか否かを判別する。この際の判別基準はタイマのカウントアップを以て終了する。監視時間が終了していない場合は、ステップＥ９に戻ってＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較してＨｘ＞Ｈthの判別処理を実行する。
【０２２５】
この動画像抽出記録制御によって、操作者３０が被写体静止画映像の撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を、シャッタースイッチ１２ａのＯＮ操作に関係なく、自動抽出できるようになる。上述の監視時間が終了した場合は、ステップＥ１７に移行する。
【０２２６】
なお、上述のステップＥ２でノーマルモードが設定されている場合は、ステップＥ１４に移行して、ノーマルモードを実行する。ノーマルモードでは、生体感情の検知処理等を実行することなく、ステップＥ１４で被写体映像をモニタ表示する。そして、ステップＥ１５でシャッタースイッチ１２ａがＯＮ操作されたかを監視する。シャッタースイッチ１２ａがＯＮ操作されない場合は、被写体映像の動画でのモニタ表示を継続すると共に、ステップＥ１７に移行する。ステップＥ１５でシャッタースイッチ１２ａがＯＮ操作された場合は、ステップＥ１６に移行して被写体映像の静止画をモニタ表示すると共に静止画を記録装置３５に記録し保存する。このとき、先のステップＥ５と同様にして、撮像部３４は、被写体の映像を撮影して映像データＤ３４を取得する。映像＆音声処理部４４では、ＪＰＥＧ規格に準拠して、静止画情報を圧縮処理した映像データＤ３４を記憶装置３５に記録する。その後、ステップＥ１７に移行する。
【０２２７】
ステップＥ１７で、ＣＰＵ３２は終了判断をする。例えば、電源スイッチを構成する押しボタンスイッチ１２が操作され、ＣＰＵ３２は電源オフ情報を検出した否かを判別する。電源スイッチを構成する押しボタンスイッチ１２が操作され、電源オフ情報が検出された場合は、静止画及び動画記録処理を終了する。電源スイッチを構成する押しボタンスイッチ１２が操作されず、電源オフ情報が検出されていない場合は、ステップＥ２に戻って上述した処理を繰り返す。これにより、シャッタースイッチ１２ａのＯＮ操作とは独立して生体センサ部４５から得られた感情データＤ４５と撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて記憶装置３５へ動画記録処理できるようになる。
【０２２８】
このように第３の実施例に係るデジタルカメラ及び情報記録方法によれば、被写体の映像を撮影して得られる静止画情報及び感動シーンの動画情報、及び、当該被写体の周囲の音を集音して得られる情報を処理する場合に、静止画取得時、撮像部３４は、シャッタースイッチ１２ａのＯＮ操作に対応して被写体の映像を撮影して得た映像データＤ３４を映像＆音声処理部４４へ出力する。生体センサ部４５は、シャッタースイッチ１２ａのＯＮ操作に無関係に映像＆音収録部３１を操作する操作者３０の生体感情を検出して感情データＤ４５を出力する。これを前提にして、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて動画像を自動抽出処理するようになされる。
【０２２９】
従って、操作者３０が被写体静止画映像の撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出することができ、ここで自動抽出された映像データＤ３４及び音声データＤ１３を編集した操作者固有の動画取得映像及び音声データファイルを容易かつ簡単に作成できるようになる。
【０２３０】
しかも、シャッタースイッチ１２ａのＯＮ操作によって撮り損なった感動シーンの静止画を、感動シーンの動画像として自動抽出することができ、後日、感動シーンの動画像からその静止画を編集できるようになる。この結果、シャッタースイッチ１２ａのＯＮ操作によって得られた静止像の他に、自動抽出された感動シーンの動画像の中から、より特徴的な感動シーンのＪＰＥＧ静止画を編集（取得）できるようになる。
【実施例４】
【０２３１】
図２２は、第４の実施例としてのカメラ付き携帯電話機４００の構成例を示す斜視図である。図２２に示す携帯電話機４００はデジタルカメラ機能モードを有すると共に、上部筐体４０ａ及び下部筐体４０ｂを有している。上部筐体４０ａと下部筐体４０ｂとはヒンジ機構１１を介在して折り畳み及び回動自在に係合されている。
【０２３２】
上部筐体４０ａの表面には、表示部２９が設けられ、デジタルカメラ機能モード実行時、被写体の映像を動画表示するようになされる。電話機能モードの実行時、表示部２９には、相手方の電話番号や、メニュー画面が表示される。上部筐体４０ａの表面の上方にはスピーカー３６ｂが設けられ、通話用のレシーバ（受話器）として使用される。スピーカー３６ｂの取り付け位置と対峙するヒンジ機構１１の取り付け位置には、生体センサ部４５が設けられ、当該携帯電話機４００を操作する操作者３０の生体感情を検出して生体感情報を出力するようになされる。
【０２３３】
上部筐体４０ａに対して、ヒンジ機構１１によって可動自在に係合された下部筐体４０ｂには、図示しない複数の押しボタンスイッチ１２から成る操作部１８が設けられる。押しボタンスイッチ１２は、「０」〜「９」数字キー、「＊」や「＃」等の記号キー、「オン」や「オフ」等のフックボタン、メニューキー等から構成される。下部筐体４０ｂの側面（図中では上部）にシャッタースイッチ１２ａが設けられる。下部筐体４０ｂの操作パネル面の下方には、図示しない通話用のマイクロフォン１３’が取り付けられ、送話器として機能するようになされる。
【０２３４】
また、下部筐体４０ｂの背面側には撮像部３４が設けられ、シャッタースイッチ１２ａのＯＮ操作によって、被写体を撮影し、例えば、静止画情報や動作情報を取得するようになされる。下部筐体４０ｂの内部には、バッテリー１４や回路基板１７等が設けられる。下部筐体４０ｂの内部下端には、図示しないモジュール型のアンテナ１６が取り付けられ、その上端内部側面には、大音響用のスピーカー３６ａが設けられ、再生等を放音するようになされる。
【０２３５】
図２３は、携帯電話機４００の制御系の構成例を示すブロック図である。図２３に示す携帯電話機４００は、下部筐体４０ｂ内の回路基板１７に各機能ブロックを実装して構成される。なお、図２２に示した各部と対応する部分は、同一符号で示している。携帯電話機４００は、情報処理部１５、アンテナ１６、操作部１８、受信部２１、送信部２２、アンテナ共用器２３、表示部２９、映像＆音収録部３１’、記憶装置３５、スピーカー３６ａ，３６ｂ、外部インターフェース４１及び生体センサ部４５を有して構成される。
【０２３６】
情報処理部１５はＣＰＵ３２、メモリ部３７及び映像＆音声処理部４４を有して構成される。ＣＰＵ３２はシステムプログラムに基づいて当該携帯電話機全体を制御するようになされる。メモリ部３７は図示しないＲＯＭ、ＲＡＭ及びＥＥＰＲＯＭ等を有している。メモリ部３７のＲＯＭ又はＥＥＰＲＯＭには当該携帯電話機全体を制御するためのシステムプログラムを成すデータＰＤが格納される。図示しないＲＡＭはワークメモリとして使用される。ＣＰＵ３２は電源オンと共に、ＲＯＭ又はＥＥＰＲＯＭからシステムプログラムを成すデータＰＤを読み出してＲＡＭに展開し、当該システムを立ち上げて携帯電話機全体を制御するようになされる。
【０２３７】
メモリ部３７のＲＯＭ又はＥＥＰＲＯＭにはシステムプログラムの他に撮影記録モード用のプログラムが記述されている。撮影記録モード用のプログラムには、静止画記録モードと特殊動画記録モードとを実行するためのプログラムが含まれている。静止画記録モード用のプログラムは、従来方式と同様にして、静止画を記録する順序を記述したものである。特殊動画記録モード用のプログラムは、コンピュータが読み取り可能なプログラムであって、被写体の静止画映像の取得処理に並行して、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を操作者３０の生体感情に基づいて動画記録処理するためのプログラムである。
【０２３８】
その内容は、被写体の静止画映像の取得時に、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像＆音収録部３１を操作する操作者３０の生体感情を検出して生体感情報を作成するステップと、ここに作成された生体感情報と撮影集音された被写体の動画映像情報及び当該被写体の周囲の音情報とを対応付けて自動抽出処理するステップとを記述したものである。
【０２３９】
この例で、デジタルカメラ機能モード選択時、このようなプログラムを成すデータＰＤ’をＲＯＭ又はＥＥＰＲＯＭから読み出して実行すると、ＣＰＵ３２は、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【０２４０】
ＣＰＵ３２には操作部１８が接続され、当該携帯電話機操作時、電源スイッチ、モードスイッチ、ズームスイッチ、シャッタースイッチ１２ａ等の押しボタンスイッチ１２が押下されることで発生した操作データＤ１８をＣＰＵ３２に出力する。
【０２４１】
ＣＰＵ３２には操作部１８の他に映像＆音収録部３１’が接続されている。映像＆音収録部３１’は、マイクロフォン１３’及び撮像部３４を有して構成される。マイクロフォン１３’は映像＆音声処理部４４に接続され、被写体の周囲の音や、操作者の話声を集音して得た音声信号Ｓinを出力する。映像＆音声処理部４４はマイクロフォン１３’から出力される音声信号Ｓinをアナログ・デジタル変換して音声データＤ１３を送信部２２や、記憶装置３５等へ出力する。マイクロフォン１３’には第１の実施例で説明した型式のマイクロフォンが使用される。撮像部３４は映像＆音声処理部４４に接続され、デジタルカメラ機能モード選択時、被写体の映像を撮影して得た映像データＤ３４を出力する。撮像部３４の内部構造は第１の実施例で述べているので割愛する。
【０２４２】
ＣＰＵ３２には映像＆音収録部３１’の他に生体センサ部４５が接続され、映像＆音収録部３１’を操作する操作者３０の生体感情を検出して感情データＤ４５を出力する。例えば、生体センサ部４５には図２に示した発汗センサ４５’が使用され、映像＆音収録部３１’を操作する操作者３０の発汗量を時系列に検知して感情データＤ４５をＣＰＵ３２へ出力する。
【０２４３】
ＣＰＵ３２は、第３の実施例で説明したデジタルカメラ機能と同様にして、シャッタースイッチ１２ａのＯＮ操作とは別個独立に、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１’から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて自動抽出処理するようになされる。この例でＣＰＵ３２は、第１の実施例と同様にして、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較する。
【０２４４】
この比較結果で、例えば、生体センサ部４５が発汗量判定閾値Ｈthを越える発汗レベルＨｘの感情データＤ４５を検出したとき、これをトリガ（編集起点）にして、ＣＰＵ３２は、シャッタースイッチ１２ａがＯＮ操作されていなくても、動画モニタ表示されている被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を抽出して切り出すように動画の記録を開始する。この例では、静止画とは独立に編集起点からの動画情報を記録するようになされる。
【０２４５】
その後、発汗量判定閾値Ｈth以下の発汗レベルＨｘの感情データＤ４５を検出したとき、これをトリガー（編集終点）にして、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３の抽出切り出しを終了するように映像＆音声処理部４４を自動抽出するように制御する。この例で、静止画とは独立に当該動画像の編集終点で記録を終了するようになされる。
【０２４６】
映像＆音声処理部４４はＣＰＵ３２の静止画記録制御を受けて、例えば、ＪＰＥＧ圧縮方式により静止画像データを圧縮して記憶装置３５に転送するようになされる。圧縮率は例えば、圧縮前の静止画像データの１／１０〜１／１００程度である。感動シーンに係る動画像は、ＣＰＵ３２の動画像抽出記録制御を受けて、第１の実施例と同様にして、ＭＰＥＧ−１規格に準拠して映像データＤ３４を圧縮処理して記憶装置３５に記録するようになされる。
【０２４７】
この例で、メモリ部３７は発汗量判定閾値Ｈthを記憶する。例えば、発汗量判定閾値Ｈthはトリガーパラメータとしてメモリ部３７に設けられたＲＯＭ等に予め格納される。メモリ部３７のＲＡＭは、ＣＰＵ３２のメモリ制御を受けて、感情データＤ４５を入力し、予め設定された発汗量判定閾値Ｈthと、感情データＤ４５から得られる発汗レベルＨｘとを比較し、Ｈth＞Ｈｘの判定処理や、Ｈth≦Ｈｘ等の判定処理を実行する。もちろん、発汗量判定閾値は一義的な定数に限られることはなく、二次関数的に変化するものであってもよい（図５参照）。
【０２４８】
このようにすると、携帯電話機４００においても、操作者３０の指の発汗量に対応して固有の映像及び音声を抽出できるようになる。編集起点及び編集終点に係る情報は、第１の実施例と同様にして、記録時間情報に対してタイムコードとして設定（記述）してもよいが、第３の実施例と同様にして、その時点で動画像を切り出して記録装置３５に保存する形式を採っているので省略してもよい。撮影記録モードの設定によって、操作者３０が被写体静止画像の撮影中に、手に汗握って生体感情が高まった時点の動画シーンの映像データＤ３４及び音声データＤ１３を自動抽出できるようになる。
【０２４９】
上述のＣＰＵ３２には記録メディアや、メディアスロット等を構成する記憶装置３５が接続され、撮影記録モード時、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けた記録情報を格納するようになされる。記憶装置３５にはハードディスク装置や、メモリカード等の不揮発性メモリが使用される。
【０２５０】
また、携帯電話機固有の構成部品として、図２３に示すアンテナ１６は、アンテナ共用器２３に接続され、着呼時、相手方からの無線電波を基地局等から受信する。アンテナ共用器２３には受信部２１が接続され、アンテナ１６から導かれる受信データを受信して映像や音声等を復調処理し、復調後の映像及び音声データＤinをＣＰＵ３２等に出力するようになされる。受信部２１には、ＣＰＵ３２を通じて映像＆音声処理部４４が接続され、デジタルの音声データＤinをデジタル／アナログ変換して音声信号Ｓoutを出力したり、デジタルの映像データをデジタル／アナログ変換して映像表示信号Ｓ２９を出力するようになされる。
【０２５１】
上述の映像＆音声処理部４４には表示部２９が接続され、映像表示信号Ｓ２９に基づいて撮影中の映像や再生時の映像を表示するようになされる。映像＆音声処理部４４には大音響用を構成するスピーカー３６ａが接続され、音声信号Ｓ３６に基づいて着信時の着信メロディや、再生時の音声等を出力するようになされる。スピーカー３６ａは例えば、下部筐体４０ｂの所定の位置に設けられる。映像＆音声処理部４４にはスピーカー３６ａの他に受話器を構成するスピーカー３６ｂが接続される。スピーカー３６ｂは、音声信号Ｓoutを入力して相手方の話声等を拡大するようになされる。スピーカー３６ｂは例えば、上部筐体４０ａの所定の位置に設けられる。
【０２５２】
この映像＆音声処理部４４にはスピーカー３６ａ，３６ｂの他に、送話器を構成するマイクロフォン１３’が接続され、操作者３０の声を集音して音声信号Ｓinを出力するようになされる。映像＆音声処理部４４は、発呼時、相手方へ送るためのアナログの音声信号Ｓinをアナログ／デジタル変換してデジタルの音声データＤoutを出力する。
【０２５３】
ＣＰＵ３２には受信部２１の他に、送信部２２が接続され、相手方へ送るための映像及び音声データＤout等を変調処理し、変調後の送信データをアンテナ共用器２３を通じアンテナ１６に供給するようになされる。アンテナ１６は、アンテナ共用器２３から供給される無線電波を基地局等に向けて輻射するようになされる。
【０２５４】
この例で、当該携帯電話機４００で自動抽出処理に基づいて得られた被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を送信部２２を介して配信することもできる。このような配信処理を実行すると、操作者３０が被写体静止画映像の撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を配信することができ、操作者固有の映像データＤ３４及び音声データＤ１３を記録したファイル（アルゴリズム）をインターネット等を介して他のユーザにダウンロードできるようになる。
【０２５５】
映像＆音声処理部４４にはマイクロフォン１３’の他に外部インターフェース４１が接続され、映像＆音声信号をパーソナルコンピュータ等の外部機器へ出力したり、当該外部機器と通信するようになる。この例でも、第１の実施例で説明したような編集制御機能や、再生制御機能、動画配信制御機能等をＣＰＵ３２に持たせてもよい。
【０２５６】
続いて、携帯電話機４００における情報処理例について説明する。図２４及び図２５は、携帯電話機４００における情報処理例（その１，２）を示すフローチャートである。
【０２５７】
この例では、撮影記録モードと他の処理モードのいずれかを選択するようになされ、撮影記録モードを選択すると、静止画撮影モードと特殊動画記録モードとを併合した記録処理が実行される場合を前提とする。他の処理モードの中には、電話発呼・着呼・応答機能や、従来方式の携帯電話機のような静止画像のみの撮影モードが含まれている場合を例に挙げる。
【０２５８】
これらを情報処理条件にして、図２４に示すフローチャートのステップＦ１でＣＰＵ３２は、モード設定入力処理を実行する。例えば、撮影記録モード又は他の処理モードの設定に関する操作データＤ１８を入力する。このとき、ユーザは、モードスイッチを構成する押しボタンスイッチ１２を操作して、撮影記録モード又は他の処理モードのいずれかを選択するようになされる。例えば、該当する押しボタンスイッチ１２を操作して撮影記録モードを選択すると、操作部１８からＣＰＵ３２には撮影記録モードを示す操作データＤ１８が出力される。
【０２５９】
次に、ステップＦ２で撮影記録モード又は他の処理モードの設定によって制御を分岐する。上述のステップＦ１で撮影記録モードが設定されている場合は、ステップＦ３でＣＰＵ３２は被写体映像を動画でモニタ表示する。そして、ステップＦ４でシャッタースイッチ１２ａがＯＮ操作されたかを監視する。シャッタースイッチ１２ａがＯＮ操作されない場合は、被写体映像の動画モニタ表示を継続すると共に、ステップＦ１５に移行する。ステップＦ４でシャッタースイッチ１２ａがＯＮ操作された場合は、ステップＦ５に移行して被写体映像の静止画をモニタ表示すると共に静止画を記録装置３５に記録し保存する。このとき、撮像部３４は、被写体の映像を撮影して映像データＤ３４を取得する。映像＆音声処理部４４では、例えば、ＪＰＥＧ規格に準拠して、静止画情報を圧縮処理した映像データＤ３４を記憶装置３５に記録する。その後、ステップＦ１５に移行する。
【０２６０】
これと並行して、ステップＦ６でＣＰＵ３２は当該デジタルカメラ３００を操作する操作者３０の生体感情を検出して感情データＤ４５を作成するように生体センサ部４５を制御する。生体センサ部４５は、この制御を受けて、発汗センサ４５’に触れている操作者の発汗量を検知して発汗レベルを示す感情データＤ４５をＣＰＵ３２に出力する。
【０２６１】
次に、ステップＦ７でＣＰＵ３２は発汗量判定閾値曲線を設定するか否かを判別する。この際の判断基準は、第１の実施例と同様にして、生体センサ部４５によって検知された操作者の発汗量の変化率（感情変化率）と、予め設定された閾値曲線設定の基準となる基準変化率とを比較することにより実行される。操作者の発汗量の変化率は、生体センサ部４５が操作者の何らかの発汗量を検知した時刻以降の２つのサンプル時刻に検知された発汗量間の差分値である。このような差分値を求めるようにしたのは、第１の実施例で説明した通りである。
【０２６２】
上述のステップＦ７で操作者の発汗量の変化率が基準変化率を越えた場合は、ステップＦ８でＣＰＵ３２は発汗量判定閾値曲線を設定するようになされる。このとき、メモリ部３７から式（１）に示したような発汗量判定閾値曲線を読み出してＲＡＭに展開する。これと共に、ＣＰＵ３２はタイマを起動して、監視時間のカウントを開始する。そして、ステップＦ９に移行して、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較してＨｘ＞Ｈthの判別処理を実行する。メモリ部３７では、図２３に示したＣＰＵ３２のメモリ制御を受けて、感情データＤ４５を入力し、予め設定された発汗量判定閾値曲線を成す発汗量判定閾値Ｈth１，Ｈth２，Ｈth３，Ｈth４・・・・と、感情データＤ４５から得られる発汗レベルＨｘとを比較する。
【０２６３】
Ｈｘ＞Ｈthなる判別結果を得た場合はステップＦ１０に移行して、ＣＰＵ３２はステップＦ４のシャッタースイッチ２ａのＯＮ操作に関係なく、編集起点を示す時刻ｔｓで被写体動画像の抽出記録処理を開始する。このとき、映像＆音声処理部４４は編集起点の被写体の映像データＤ３４及び、当該被写体周囲収録時の音声データＤ１３をＭＰＥＧ規格に準拠して圧縮処理する。圧縮処理後の被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３が記憶装置３５に動画記録するようになされる（図５参照）。
【０２６４】
そして、図２５に示すステップＦ１１に移行してＣＰＵ３２はＨｘ≦Ｈthの判別処理を実行する。Ｈｘ≦Ｈthを判別した場合はステップＦ１２に移行して、ステップＦ４のシャッタースイッチ１２ａびＯＮ操作に関係なく、編集終点を示す時刻ｔｅで被写体動画像の抽出記録処理を終了する。このとき、編集終点以降の被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３は、次のＨｘ＞Ｈthなる判別結果が得られるまで、記憶装置３５に記録されることなく表示処理に止まっている。
【０２６５】
映像＆音声処理部４４では、ＣＰＵ３２からの動画像抽出記録制御によって、抽出された編集起点を示す時刻ｔｓと編集終点を示す時刻ｔｅの間の動画シーンが撮影記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる（図５参照）。
【０２６６】
その後、ステップＦ１３に移行して第１の実施例と同様にして、当該発汗量判定閾値曲線における監視時間が終了したか否かを判別する。この際の判別基準はタイマのカウントアップを以て終了する。監視時間が終了していない場合は、ステップＦ９に戻ってＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較してＨｘ＞Ｈthの判別処理を実行する。
【０２６７】
この動画像抽出記録制御によって、操作者３０が被写体静止画映像の撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を、シャッタースイッチ１２ａのＯＮ操作に関係なく、自動抽出できるようになる。上述の監視時間が終了した場合は、ステップＦ１５に移行する。
【０２６８】
なお、上述のステップＦ２で他の処理モードが設定されている場合は、ステップＦ１４に移行して、他の処理モードを実行する。他の処理モードでは、生体感情の検知処理等を実行することなく、電話機能モードや、特殊動画撮影モードを伴わない撮影記録モードを実行する。特殊動画撮影モードを伴わない撮影記録モードとは、第３の実施例で説明したようなノーマルモードによる静止画映像の撮影モードをいう。
【０２６９】
例えば、電話機能モードが選択されて、相手方に電話をする場合は、まず、相手方の電話番号をＲＡＭに読み出して相手方の電話機を発呼する。相手方との電話回線が接続されると、送話器を構成するマイクロフォン１３’は操作者の音声を収音して映像＆音声処理部４４に出力する。
【０２７０】
映像＆音声処理部４４は、操作者の話声を集音して得た音声信号Ｓinをアナログ・デジタル（Ａ／Ｄ）変換する。Ａ／Ｄ変換後の音声データＤ１３は送信部２２に出力される。送信部２２は、相手方へ送るための音声データＤoutを変調処理し、変調後の送信データをアンテナ共用器２３を通じアンテナ１６に供給するようになされる。アンテナ１６は、アンテナ共用器２３から供給される無線電波を基地局等に向けて輻射するようになされる。
【０２７１】
また、相手方からの無線電波をアンテナ１６を介して基地局から受信する。アンテナ１６から導かれる受信データは受信部２１で復調処理され、復調後の音声データＤinをＣＰＵ３２を介して映像＆音声処理部４４に入力される。デジタルの音声データＤinは映像＆音声処理部４４でデジタル／アナログ（Ｄ／Ａ）変換される。Ｄ／Ａ変換後の音声信号Ｓoutはスピーカー３６ｂへ出力される。スピーカー３６ｂは、音声信号Ｓoutを入力して相手方の話声等を拡大する。これにより、相手方と会話できるようになる。その後、電話回線を切断（オンフック）して電話機能モードを終了する。その後、ステップＦ１５に移行する。
【０２７２】
ステップＦ１５で、ＣＰＵ３２は終了判断をする。例えば、電源スイッチを構成する押しボタンスイッチ１２が操作され、ＣＰＵ３２は電源オフ情報を検出した否かを判別する。電源スイッチを構成する押しボタンスイッチ１２が操作され、電源オフ情報が検出された場合は、電話機能モード及び撮影記録モード等を終了する。電源スイッチを構成する押しボタンスイッチ１２が操作されず、電源オフ情報が検出されていない場合は、ステップＦ２に戻って上述した処理を繰り返したり、待ち受け状態となされる。これにより、第３の実施例と同様にして、シャッタースイッチ１２ａのＯＮ操作とは独立して生体センサ部４５から得られた感情データＤ４５と撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて記憶装置３５へ動画記録処理できるようになる。
【０２７３】
このように第４の実施例に係るカメラ付き携帯電話機及びその情報処理方法によれば、デジタルカメラ機能を利用して、被写体の映像を撮影して得られる静止画情報及び感動シーンの動画情報、及び、当該被写体の周囲の音を集音して得られる情報を処理する場合に、静止画取得時、撮像部３４は、シャッタースイッチ１２ａのＯＮ操作に対応して被写体の映像を撮影して得た映像データＤ３４を映像＆音声処理部４４へ出力する。生体センサ部４５は、シャッタースイッチ１２ａのＯＮ操作に無関係に映像＆音収録部３１を操作する操作者３０の生体感情を検出して感情データＤ４５を出力する。これを前提にして、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて動画像を自動抽出処理するようになされる。
【０２７４】
従って、操作者３０が被写体静止画映像の撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を第３の実施例と同様にして、自動抽出することができ、ここで自動抽出された映像データＤ３４及び音声データＤ１３を編集した操作者固有の動画取得映像及び音声データファイルを容易かつ簡単に作成できるようになる。
【０２７５】
しかも、シャッタースイッチ１２ａのＯＮ操作によって撮り損なった感動シーンの静止画を、第３の実施例と同様にして、感動シーンの動画像として自動抽出することができ、後日、感動シーンの動画像からその静止画を編集できるようになる。この結果、シャッタースイッチ１２ａのＯＮ操作によって得られた静止像の他に、自動抽出された感動シーンの動画像の中から、より特徴的な感動シーンのＪＰＥＧ静止画を編集（取得）できるようになった。
【実施例５】
【０２７６】
図２６は、第５の実施例としての記録編集再生装置５００の構成例を示す斜視図である。この例では、ヘッドマウント型のビデオカメラ２００等から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集するようになされる。
【０２７７】
図２６に示す記録編集再生装置５００は、情報再生装置の機能の一例を構成し、編集起点及び編集終点の各々の情報に基づいて被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点及び編集終点に係るタイムコードを付加した区間部分の映像データＤ３４’及び音声データＤ１３’を自動抽出して繋ぎ合わせるように編集処理を実行するものである。記録編集再生装置５００は例えば、ヘッドマウント型のビデオカメラ２００のベースステーションを構成する。
【０２７８】
記録編集再生装置５００は矩形状の本体ケース８０を有している。本体ケース８０の前面は操作パネル８０ａとなされている。操作パネル８０ａには電源スイッチ８１、複数の操作用のスイッチ８２、リモートコントロール用の受光部（以下リモコン受光部８３という）、外部記録メディア用のスロット８６が設けられる。電源スイッチ８１は当該記録編集再生装置５００に電源を供給する際にＯＮ操作される。
【０２７９】
リモコン受光部８３は、図示しないリモートコントローラからの操作用の赤外光を受光して操作データを情報処理部８５へ出力するようになされる。操作部８２（スイッチ類）には、編集スタート・ストップスイッチ、再生スタート・ストップスイッチ、編集長さ設定スイッチ等が含まれる。編集長さ設定スイッチには、例えば、編集短目モード設定用のスイッチ、編集中程モード設定用のスイッチ、編集長目モード設定用のスイッチが準備されている。
【０２８０】
外部記録メディア用のスロット８６にはＣＤ−ＲＯＭや、ＭＤ、メモリスティック等の記録媒体が装着可能になされ、自動編集された被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３をこれらの記録媒体に書き込み可能なようになされている。これらの記録媒体から自動編集に供される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を読み出し可能となされている。
【０２８１】
本体ケース８０の背面には、映像＆音声入出力端子８９が設けられ、ヘッドマウント型のビデオカメラ２００や、映像＆音声モニタ装置等の外部機器に接続可能なようになされている。この例では映像＆音声入出力端子８９を使用して、自動編集された被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を外部機器に送信したり、外部機器から自動編集に供される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を受信したりするようになされる。
【０２８２】
本体ケース８０の内部には回路基板８７が設けられる。回路基板８７には、電源回路８４や、情報処理部８５及び無線通信部９１を構成する半導体集積回路装置（ＬＳＩ装置）、内蔵記憶装置９２、装置放熱部９３等が実装されている。無線通信部９１は、例えば、ヘッドマウント型のビデオカメラ２００と無線通信をする際に使用される。この無線通信処理には、ビデオカメラ２００で撮影している、又は、撮影を終了した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３の転送処理が含まれる。
【０２８３】
内蔵記憶装置９２には、固定ディスク装置（ＨＤＤ）が使用され、自動編集された被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を格納する際に使用される。もちろん、自動編集前の被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を格納するようにしてもよい。固定ディスク装置には磁気ディスク及び光ディスクが含まれる。
【０２８４】
情報処理部８５は、編集依頼が有った外部からの被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に関して、編集起点及び編集終点の各々の情報を抽出して自動編集処理を実行する。例えば、情報処理部８５は、編集長さ設定モードに対応して、当該編集起点及び編集終点の各々の情報に基づいて被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点及び編集終点に係るタイムコードを付加した区間部分の映像データＤ３４及び音声データＤ１３を自動抽出して繋ぎ合わせるようになされる。
【０２８５】
上述の情報処理部８５や、無線通信部９１、内蔵記憶装置９２、装置放熱部９３等には電源回路８４が接続され、これらの部品に直流電源を供給するようになされる。装置放熱部９３は例えば、ＣＰＵ冷却用のファンである。電源回路８４には所定の長さの電源コード９４が接続され、その終端部には電源プラグ９５が取り付けられている。当該記録編集再生装置５００は電源プラグ９５を商用電源（ＡＣ１００等）に接続して使用される。
【０２８６】
続いて、記録編集再生装置５００の制御系の構成例について説明する。図２７は、記録編集再生装置５００の制御系の構成例を示すブロック図である。図２７に示す記録編集再生装置５００は、図２６に示した本体ケース８０内の回路基板８７に各機能ブロックを実装して構成される。なお、図２７に示した各部と対応する部分は、同一符号で示している。
【０２８７】
記録編集再生装置５００は、アンテナ６６、リモコン受光部８３、電源回路８４、情報処理部８５、操作部８２、映像＆音声入出力端子８９、無線＆有線通信部９１、内蔵記憶装置９２及びメディアスロット用のドライバ９６を有して構成される。情報処理部８５はＣＰＵ６２、メモリ部６７及び映像＆音声処理部６４を有している。
【０２８８】
操作部８２はＣＰＵ６２に接続され、図２６に示した電源スイッチ８１、編集スタート・ストップスイッチ、再生スタート・ストップスイッチ、編集長さ設定スイッチ等の押しボタンが押下されることで発生した操作データＤ８２をＣＰＵ６２に出力する。ＣＰＵ６２には操作部８２の他にリモコン受光部８３が接続され、図示しないリモートコントローラからの操作用の赤外光を受光して操作データＤ８３をＣＰＵ６２へ出力するようになされる。
【０２８９】
ＣＰＵ６２は電源スイッチ８１がＯＮ操作されると、システムプログラムに基づいて当該記録編集再生装置全体を制御するようになされる。メモリ部６７は図示しないＲＯＭ、ＲＡＭ及びＥＥＰＲＯＭ等を有している。メモリ部６７のＲＯＭ又はＥＥＰＲＯＭには当該記録編集再生装置全体を制御するためのシステムプログラムを成すデータＰＤが格納される。図示しないＲＡＭはワークメモリとして使用される。ＣＰＵ６２は電源オンと共に、ＲＯＭ又はＥＥＰＲＯＭからシステムプログラムを成すデータＰＤを読み出してＲＡＭに展開し、当該システムを立ち上げて記録編集再生装置全体を制御するようになされる。
【０２９０】
メモリ部６７のＲＯＭ又はＥＥＰＲＯＭにはシステムプログラムの他に自動編集モードを実行するためのプログラムが記述されている。この自動編集モード用のプログラムは、コンピュータが読み取り可能なプログラムであって、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４及び音声データＤ１３を抽出して繋ぎ合わせるためのプログラムである。
【０２９１】
その内容は、編集起点情報及び編集終点情報を付加した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を入力するステップと、入力された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集するか否かを判別するステップと、自動編集すると判別された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４及び音声データＤ１３を抽出して繋ぎ合わせるステップとを記述したものである。
【０２９２】
このようなプログラムを成すデータＰＤ”をＲＯＭ又はＥＥＰＲＯＭから読み出して実行すると、ＣＰＵ６２は、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。このような編集処理を実行すると、操作者３０が被写体の映像を撮影して得た映像データＤ３４及び、その周辺の音を集音して得た音声データＤ１３から、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を抽出することができ、操作者固有の映像及び音声データファイルを作成できるようになる。
【０２９３】
ＣＰＵ６２が判別部の機能の一例を構成し、外部機器から映像＆音声入出力端子８９等を介して映像＆音声処理部６４へ入力された被写体の映像情報及び当該被写体周囲収録時の音声情報を操作部８２（外部）からの指示に基づいて自動編集するか否かを判別する。外部から自動編集指示が有った場合は、映像＆音声処理部６４へ自動編集実行の制御コマンドを出力する。外部からの自動編集指示が無い場合は、映像＆音声処理部６４へ自動編集を実行しない旨のコマンドを出力する。
【０２９４】
ＣＰＵ６２には映像＆音声処理部６４が接続され、ＣＰＵ６２の制御コマンドを受けて、記録時間情報に対してタイムコードとして設定された編集起点情報及び編集終点情報を検出し、この編集起点情報及び編集終点情報が付加された区間部分の映像データＤ３４及び音声データＤ１３を抽出して繋ぎ合わせる。映像＆音声処理部６４は、例えば、ＭＰＥＧ−１規格に準拠して映像データＤ３４’を圧縮処理して内蔵記憶装置９２に新設される編集後データ格納用のメモリ領域に記録するようになされる。新設のメモリ領域に編集データを移行するようにしたのは、データ配信や、メディア記録処理、再生処理に対して、編集後の映像データＤ３４’及び音声データＤ１３’の出力を円滑に実行するための出力準備である。
【０２９５】
映像＆音声処理部６４は編集後のデータをＭＰＥＧ−１規格に準拠した圧縮処理により実行する。この圧縮処理によれば、映像の中の動く部分だけを検出し保存するようにデータを圧縮する。圧縮処理はＭＰＥＧ−１に限られることはなく、ハイビジョン対応のＭＰＥＧ２からＭＰＥＧ−４までの各規格や、現在標準化進行中のＭＰＥＧ−７規格であってもよい。これにより、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を自動抽出できるようになり、操作者３０の指の発汗量に対応して固有の映像及び音声を編集できるようになる。
【０２９６】
上述のＣＰＵ６２には映像＆音声処理部６４を介して内蔵記憶装置９２が接続されている。内蔵記憶装置９２には、未編集の映像データＤ３４及び音声データＤ１３を格納するメモリ領域（以下未編集のデータ領域という）、編集後の映像データＤ３４’及び音声データＤ１３’を格納するメモリ領域が新設されている。新設されたメモリ領域には、メモリ部６７から読み出された抽出シーンｆ（ＳIII）や、抽出シーンｆ（ＳIII＋ＳII）、抽出シーンｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’が格納される。
【０２９７】
未編集のデータメモリ領域には、データを自動編集しない旨の指示が設定された場合に、編集終点情報や編集終点情報等の付加有無に関係無く、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とをそのまま順次格納するようになされる。内蔵記憶装置９２には光ディスクや磁気ディスク等の固定ディスク装置が使用される。
【０２９８】
上述の映像＆音声処理部６４にはメディアスロット用のドライバ９６が接続され、映像表示信号Ｓ２９に基づいて編集後の映像を記録媒体９７に書き込んだり、編集時、未編集の映像に係る映像表示信号Ｓ２９を記録媒体９７から読み出すようになされる。もちろん、編集後の音声を音声信号Ｓ３６に基づいて映像と共に記録媒体９７に書き込んだり、編集時、未編集の映像に係る音声信号Ｓ３６を記録媒体９７から読み出すようになされる。
【０２９９】
このようにすると、所定の記録媒体９７に生体感情報に基づく動画記録処理する記録制御機能をＣＰＵ６２に持たせることができる。記録媒体９７はドライバ９６に装着して使用される。記録媒体９７にはＣＤ−ＲＯＭやＭＤ等の記録メディア、メモリスティック等のメディアスロットが使用される。このような動画記録処理を実行すると、編集後の操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを配布できるようになる。ＣＤ−ＲＯＭや、ＭＤ等の記録媒体９７から、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を再生して楽しむことができる。
【０３００】
映像＆音声処理部６４には入力部の機能の一例を構成する映像＆音声入出力端子８９が接続され、編集後の映像表示信号Ｓ２９を外部機器に送信したり、編集時、未編集の映像に係る映像表示信号Ｓ２９を外部機器から受信するようになされる。この例で映像＆音声入出力端子８９は、外部機器から映像＆音声処理部６４又は内蔵記憶装置９２へ編集起点情報及び編集終点情報を付加した被写体の映像情報及び当該被写体周囲収録時の音声情報を入力するようになる。もちろん、編集後の音声信号Ｓ３６を映像表示信号Ｓ３６と共に外部機器に送信したり、編集時、未編集の映像に係る音声信号Ｓ３６を外部機器から受信するようになされる。
【０３０１】
上述のＣＰＵ６２には入力部の機能の一例を構成する無線＆有線通信部９１が接続され、外部機器と通信するようになされる。この例で無線＆有線通信部９１は、外部機器から映像＆音声処理部６４又は内蔵記憶装置９２へ編集起点情報及び編集終点情報を付加した被写体の映像情報及び当該被写体周囲収録時の音声情報を入力するようになる。無線＆有線通信部９１にはアンテナ６６が接続される。例えば、ＣＰＵ６２は、編集処理に基づいて抽出し繋ぎ合わせた被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を無線＆有線通信部９１の無線機能及びアンテナ６６を使用してヘッドマウント型のビデオカメラ２００へ送信するようになされる。
【０３０２】
更に、無線＆有線通信部９１は電話回線に接続可能となされ、電話回線を通じてインターネットに接続される。無線＆有線通信部９１はＣＰＵ６２の制御を受けて配信処理を実行する。例えば、無線＆有線通信部９１は、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を配信する。これにより、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したファイル（アルゴリズム）をインターネット等を介して他のユーザにダウンロードできるようになる。
【０３０３】
なお、ＣＰＵ６２に再生制御機能を持たせて、編集処理に基づいて抽出し繋ぎ合わせた被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を編集長さ設定モードに基づいて再生するようにしてもよい。このような再生処理を実行すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を短目、中程又は長目編集モードに基づいて再生することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を適度な長さに記録したメモリアルファイルを視聴できるようになる。
【０３０４】
また、電源回路８４は商用電源から変換された直流電源をリモコン受光部８３や、情報処理部８５、操作部８２、無線＆有線通信部９１、内蔵記憶装置９２、ドライバ９６等に供給するようになされる。
【０３０５】
続いて、記録編集再生装置５００における情報処理例について説明する。図２８は、記録編集再生装置５００における情報処理例を示すフローチャートである。この例では、情報編集処理に関して自動編集モードが備えられ、当該自動編集モードが選択された場合は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４及び音声データＤ１３を抽出して繋ぎ合わせるようになされる。自動編集モードには、短目編集モード、中程編集モード及び長目編集モードの３種類が準備される場合を例に挙げる。もちろん、記録編集再生装置５００の電源プラグ９５は、商用電源に接続されており、電源がオンされている。
【０３０６】
これらを編集処理条件にして、図２８に示すフローチャートのステップＧ１でＣＰＵ６２は入力操作指示に基づいてデータ入力処理を実行する。このとき、ユーザは操作部８２を操作して、データを入力する旨をＣＰＵ６２に指示する。この操作によって、操作部８２からＣＰＵ６２へデータを入力する旨の操作データＤ８２を出力するようになる。更に、ユーザは操作部８２を操作して、データを自動編集するか否かをＣＰＵ６２に指示する。この操作によって、操作部８２からＣＰＵ６２へデータを自動編集する又は編集しない旨の操作データＤ８２を出力するようになる。
【０３０７】
このときの入力先は第１の実施例で説明したようなビデオカメラ１００、第２の実施例で説明したようなヘッドマウント型のビデオカメラ２００、第３の実施例で説明したようなデジタルカメラ３００、第４の実施例で説明したカメラ付き携帯電話機４００である。ビデオカメラ１００、デジタルカメラ３００及び携帯電話機４００は、例えば有線形態で、編集起点情報及び編集終点情報を付加した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３が入力される。ビデオカメラ２００は、例えば無線形態で、編集起点情報及び編集終点情報を付加した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３が入力される。このときの映像データＤ３４及び音声データＤ１３はメモリ部６７のＲＡＭ等に一時記憶される。
【０３０８】
なお、この時点で操作部８２を操作して、データ自動編集後の出力形態をＣＰＵ６２に指示するようにしてもよい。例えば、操作部８２を操作して、ＣＰＵ６２にデータ自動編集後の出力先を指示する旨の操作データＤ８２を出力するようにする。出力先は、ビデオカメラ１００、デジタルカメラ３００、携帯電話機４００及び不図示の映像表示モニタは有線形態で、自動編集後の被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を出力するようになる。映像表示モニタにはパーソナルコンピュータ（以下パソコンという）が含まれる。ビデオカメラ２００は無線形態で、自動編集後の被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を出力するようになる。
【０３０９】
次に、ステップＧ２でＣＰＵ６２はデータを自動編集するか否かを判別し、この判別結果に基づいて制御を分岐する。この例で、データを自動編集する指示が設定されている場合は、ステップＧ３に移行して、ＣＰＵ６２はモード設定入力処理を実行する。例えば、操作部８２の編集長さ設定スイッチを操作して、編集長さ設定モードに関する操作データＤ８２をＣＰＵ６２に入力する。このとき、操作部８２の短目編集モードスイッチ、中程編集モードスイッチ又は長目編集モードスイッチの中から１つのスイッチを選択するようになされる。
【０３１０】
例えば、短目編集モードスイッチを選択すると、操作部８２からＣＰＵ６２には短目編集モードを示す操作データＤ８２が出力される。短目編集モードとは、編集起点情報及び編集終点情報を付加した複数の区間部分の中から最も短い編集起点情報及び編集終点情報を付加した１つの区間部分の映像データＤ３４及び音声データＤ１３を抽出する動作をいう。
【０３１１】
また、中程編集モードスイッチを選択すると、操作部８２からＣＰＵ６２には中程編集モードを示す操作データＤ８２が出力される。中程編集モードとは、短目編集モードによって抽出された区間部分の映像データＤ３４’及び音声データＤ１３’を除く、他の区間部分の映像データＤ３４’及び音声データＤ１３’を繋ぎ合わせた編集動作をいう。
【０３１２】
更に長目編集モードスイッチを選択すると、操作部８２からＣＰＵ６２には長目編集モードを示す操作データＤ８２が出力される。長目編集モードとは、短目編集モードと中程編集モードとを合わせた編集動作をいい、例えば、編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４’及び音声データＤ１３’を全部繋ぎ合わせた編集動作をいう。
【０３１３】
次に、ステップＧ４でＣＰＵ６２は編集スタートを待機する。このとき、ユーザは編集スタートを構成する操作部８２の押しボタンスイッチを操作して、ＣＰＵ６２に編集処理開始を指示するようになされる。操作部８２はＣＰＵ６２に編集処理開始を指示する操作データＤ８２を出力する。
【０３１４】
操作部８２からＣＰＵ６２へ編集処理開始が指示されると、ステップＧ５に移行してＣＰＵ６２は、更に、先に設定された短目編集モード、中程編集モード又は長目編集モードに基づいて制御を分岐する。上述のステップＧ３で短目編集モードが設定されている場合は、ステップＧ５からステップＧ６へ移行して、ＣＰＵ６２は、アルゴリズムIIIを演算して短目編集モードを実行する。このとき、記録時間情報Ｔからタイムコードｔｓ，ｔｅが付加された映像データＤ３４’及び音声データＤ１３’の区間部分を抽出する演算をｆとし、アルゴリズムIIIを演算して編集される抽出シーンをＳIIIとする。
【０３１５】
次に、ステップＧ７でＣＰＵ６２は抽出シーンｆ（ＳIII）に係る映像データＤ３４’及び音声データＤ１３’をメモリ部６７のＲＡＭから読み出す。その後、ステップＧ８に移行して、内蔵記憶装置９２で新設されたメモリ領域に、ＲＡＭから読み出した抽出シーンｆ（ＳIII）に係る映像データＤ３４’及び音声データＤ１３’を格納する。その後、ステップＧ１６に移行する。
【０３１６】
また、上述のステップＧ３で中程編集モードが設定されている場合は、ステップＧ５からステップＧ９へ移行して、ＣＰＵ６２は、アルゴリズムIIを演算して中程編集モードを実行する。このとき、アルゴリズムIIを演算して編集される抽出シーンをＳIII＋ＳIIとする。
【０３１７】
次に、ステップＧ１０でＣＰＵ６２は抽出シーンｆ（ＳIII＋ＳII）に係る映像データＤ３４’及び音声データＤ１３’をメモリ部６７のＲＡＭから読み出す。その後、ステップＧ１１に移行して、内蔵記憶装置９２で新設されたメモリ領域に、ＲＡＭから読み出した抽出シーンｆ（ＳIII＋ＳII）に係る映像データＤ３４’及び音声データＤ１３’を格納する。その後、ステップＧ１６に移行する。
【０３１８】
更に、上述のステップＧ３で長目編集モードが設定されている場合は、ステップＧ５からステップＧ１２へ移行して、ＣＰＵ６２は、アルゴリズムIを演算して長目編集モードを実行する。このとき、アルゴリズムＩを演算して編集される抽出シーンをＳIII＋ＳII＋ＳＩとする。
【０３１９】
次に、ステップＧ１３でＣＰＵ６２は抽出シーンｆ（ＳIII＋ＳII＋ＳＩ）に係る映像データＤ３４’及び音声データＤ１３’をメモリ部６７のＲＡＭから読み出す。その後、ステップＧ１４に移行して、内蔵記憶装置９２で新設されたメモリ領域に、ＲＡＭから読み出した抽出シーンｆ（ＳIII＋ＳII＋ＳＩ）に係る映像データＤ３４’及び音声データＤ１３’を格納する。その後、ステップＧ１６に移行する。
【０３２０】
なお、上述のステップＧ２でデータを自動編集しない旨の指示が設定されている場合はステップＧ１５に移行する。ステップＧ１５で、ＣＰＵ６２は未編集のデータ格納処理を実行する。このデータ格納処理では、編集終点情報や編集終点情報等の付加有無に関係無く、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とをそのまま内蔵記録装置８５の所定のメモリ領域へ順次格納される。これは編集依頼が殺到して、後日、編集処理に移行する場合が考えられるためである。その後、ステップＧ１６に移行する。
【０３２１】
ステップＧ１６で、ＣＰＵ６２は編集後の映像データＤ３４’及び音声データＤ１３’を出力する否かを判別する。このとき、ユーザは操作部８２を操作して、データを出力する旨をＣＰＵ６２に指示する。この操作によって、操作部８２は、ＣＰＵ６２へデータを出力する旨の操作データＤ８２を出力するようになる。更に、ユーザは操作部８２を操作して、短目編集モード、中程編集モード又は長目編集モードのいずれかを選択する旨をＣＰＵ６２に指示する。この操作によって、操作部８２は、ＣＰＵ６２へ短目編集モード、中程編集モード又は長目編集モードのいずれかを選択する旨の操作データＤ８２を出力するようになる。
【０３２２】
次にステップＧ１７でＣＰＵ６２は、先に設定された出力形態と、短目編集モード、中程編集モード又は長目編集モードのいずれかとに基づいてデータ出力処理を実行する。例えば、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３の入力先がビデオカメラ２００で、そのデータ編集後の出力先に関して当該ビデオカメラ２００が設定されている場合であって、短目編集モードが設定されている場合、内蔵記憶装置９２から読み出した抽出シーンｆ（ＳIII）に係る映像データＤ３４’及び音声データＤ１３’を無線＆有線通信部９１を介してビデオカメラ２００へ送信する。
【０３２３】
ビデオカメラ２００の情報処理＆通信部５０では、抽出シーンｆ（ＳIII）に係る映像データＤ３４’及び音声データＤ１３’が再生され、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’に基づく感動シーンを表示部２９ａ，２９ｂに表示することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを視聴できるようになる。出力先はビデオカメラ２００に限られることなく、映像再生表示専用のモニタであってもよい。
【０３２４】
また、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３の入力先がデジタルカメラ３００で、そのデータ編集後の出力先に関して当該デジタルカメラ３００が設定されている場合であって、中程編集モードが設定されている場合に、内蔵記憶装置９２から読み出した抽出シーンｆ（ＳIII＋ＳII）に係る映像データＤ３４’及び音声データＤ１３’をデジタルカメラ３００の情報処理部１５で再生すると、この再生によって、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点と、次に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’に基づく感動シーンを表示部２９に表示することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを視聴できるようになる。出力先はデジタルカメラ３００に限られることなく、ＴＶ受像機等の映像表示モニタであってもよい。
【０３２５】
更に、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３の入力先がビデオカメラ１００で、そのデータ編集後の出力先に関して映像表示モニタが設定されている場合であって、長目編集モードが設定されている場合、内蔵記憶装置９２から読み出した抽出シーンｆ（ＳIII＋ＳII＋ＳＩ）に係る映像データＤ３４’及び音声データＤ１３’を映像表示モニタに転送して再生する。
【０３２６】
この再生によって、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点と、次に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’と、更に、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点・・・等の抽出された全ての映像データＤ３４’及び音声データＤ１３’に基づく感動シーンをモニタ表示することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを視聴できるようになる。出力先は映像表示モニタに限られることなく、ビデオカメラ１００であってもよい。
【０３２７】
その後、ステップＧ１８で、ＣＰＵ６２は終了判断をする。例えば、操作部８２の編集ストップスイッチが操作されたか否かを判別する。あるいは、電源スイッチ８１が操作されて、電源オフ情報を検出した否かを判別する。操作部８２の編集ストップスイッチが操作された場合、又は、電源オフ情報が検出された場合は、編集処理を終了する。操作部８２の編集ストップスイッチが操作されていない場合及び、電源オフ情報が検出されていない場合は、ステップＧ１に戻って上述した処理を繰り返すようになされる。
【０３２８】
このように第５の実施例としての記録編集再生装置５００によれば、ヘッドマウント型のビデオカメラ２００等から得られる被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を自動編集して再生するようになされる。記録編集再生装置５００は、編集起点及び編集終点の各々の情報に基づいて被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点及び編集終点に係るタイムコードを付加した区間部分の映像データＤ３４’及び音声データＤ１３’を自動抽出して繋ぎ合わせるように編集処理を実行する。
【０３２９】
従って、抽出シーンｆ（ＳIII）や、ｆ（ＳIII＋ＳII）、ｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’を再生すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’に基づく感動シーンをモニタ表示することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを再現性良く視聴できるようになる。
【実施例６】
【０３３０】
図２９は第６の実施例としての編集サービスシステム＃１の構成例を示すブロック図である。図２９に示す編集サービスシステム＃１は本発明に係る情報処理システムの一例を構成し、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するシステムであって、これらの情報の編集処理を提供するシステムである。編集処理は無料でも有料でもどちらであってもよい。有料システムを構成する場合は編集処理が課金対象となり、ビジネスモデルを構成するようになる。
【０３３１】
編集サービスシステム＃１ではユーザの情報通信処理装置６０１と編集処理提供者の情報端末装置６０３とがインターネット６０２（ｗｗｗ）を介して接続するようになされる。情報通信処理装置６０１には、デスクトップ型のパソコンや、ノート型のパソコンが含まれる。
【０３３２】
情報通信処理装置６０１には映像取得機器６０４が接続され、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するようになされる。映像取得機器６０４には第１の実施例で説明したようなビデオカメラ１００、第２の実施例で説明したようなヘッドマウント型のビデオカメラ２００、第３の実施例で説明したようなデジタルカメラ３００、第４の実施例で説明したカメラ付き携帯電話機４００が含まれる。
【０３３３】
この例で情報通信処理装置６０１は、映像取得機器６０４から得られる被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を再生する機能を有しているが、第５の実施例で説明したような記録編集再生装置５００の機能を有していない場合である。
【０３３４】
当該システム＃１で編集サービスを受ける場合、情報通信処理装置６０１は、インターネット６０２を介して編集処理提供者の情報端末装置６０３に接続して、編集起点及び編集終点の各々の情報を付加した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を送信するようになされる。情報端末装置６０３は、情報通信処理装置６０１から送信されてきた被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集する機能を有している。
【０３３５】
情報端末装置６０３には第５の実施例で説明した記録編集再生装置５００が使用される。もちろん、情報端末装置６０３には、図２７で説明したような編集起点情報及び編集終点情報を付加した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を入力するステップと、入力された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集するか否かを判別するステップと、自動編集すると判別された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４’及び音声データＤ１３’を抽出して繋ぎ合わせるステップとを記述したプログラムが実装されている。
【０３３６】
これにより、編集処理提供者で自動編集した抽出シーンｆ（ＳIII）や、ｆ（ＳIII＋ＳII）、ｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’をユーザに、例えば、課金対象として返信できるようになる。
【０３３７】
続いて、編集サービスシステム＃１における情報処理例について説明する。図３０は編集サービスシステム＃１における情報処理例を示すフローチャートである。この例では、情報編集業者には情報端末装置６０３が備えられ、編集後の抽出シーンｆ（ＳIII）や、ｆ（ＳIII＋ＳII）、ｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’をダウンロード形式でユーザの情報通信処理装置６０１に提供する場合を例に挙げる。
【０３３８】
これを編集処理条件にして、ユーザは、図３０に示すステップＱ１で編集サービスを受けるために情報編集業者の情報端末装置６０３を呼び出す。このとき、情報通信処理装置６０１は情報端末装置６０３に発呼し、インターネット６０２を介して電話回線を接続する。
【０３３９】
次に、ステップＱ２でインターネット６０２上のＷｅｂ画面で申し込み内容を確認し、情報編集業者との手続を実行する。例えば、情報通信処理装置６０１には編集サービスを受けるための申し込み内容が表示され、そのＷｅｂ画面上で内容を確認した後、手続ＯＫボタンを操作する。その後、ステップＱ３で情報通信処理装置６０１は情報端末装置６０３へのデータ送信処理を実行する。データは、編集起点情報及び編集終点情報が付加された被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３である。
【０３４０】
情報編集業者側ではステップＱ４で情報端末装置６０３がデータ自動編集処理を実行する（図２８参照）。この自動編集処理によって感動シーンが抽出され、残留した映像及び音声データはそのまま廃棄するか、また、一定期間だけ、情報編集業者側で保存しておいてもよい。情報編集業者側で保存される映像及び音声データに関しては秘密保持扱いとすればよい。
【０３４１】
そして、ステップＱ５で情報端末装置６０３は情報通信処理装置６０１へ編集後の映像データＤ３４’及び音声データＤ１３’の返信処理を実行する。編集後の映像データＤ３４’及び音声データＤ１３’は、情報通信処理装置６０１の記憶装置等に格納される。その後、ユーザはステップＱ６でＷｅｂ画面上で、編集後の映像データＤ３４’及び音声データＤ１３’の確認処理を実行する。
【０３４２】
確認終了後、ステップＱ７で情報通信処理装置６０１をＯＮフックして電話回線を切断する処理を実行する。そして、ステップＱ８で情報通信処理装置６０１は終了判断する。例えば、電源スイッチが操作され、電源オフ情報を検出した否かを判別する。電源スイッチが操作され、電源オフ情報が検出された場合は、編集サービスモードを終了する。電源スイッチが操作されず、電源オフ情報が検出されていない場合は、ステップＱ１に戻って上述した処理を繰り返すようになされる。
【０３４３】
このように第６の実施例としての編集サービスシステム＃１によれば、本発明に係る情報処理装置、情報処理方法及びプログラムが応用されるので、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報を処理する際に、情報編集業者の情報端末装置６０３を呼び出すことで、当該情報端末装置６０３は、操作者３０の生体感情を検出して生成された感情データ４５等と、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けた編集処理等を実行する。
【０３４４】
従って、ユーザの情報処理装置に自動編集プログラムが無くても、編集処理提供者で自動編集した抽出シーンｆ（ＳIII）や、ｆ（ＳIII＋ＳII）、ｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’を課金対象として取得できるようになる。編集後の抽出シーンｆ（ＳIII）や、ｆ（ＳIII＋ＳII）、ｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’は、ダウンロード形式でも、記録媒体９７のような搬送形態でもどちらでもよい。なお、情報編集業者への編集依頼は、インターネットのみならず、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を記録したメモリスティク６０５や、ＣＤ−ＲＯＭ６０６等の記録媒体を店頭渡しの形式で行ってもよい。
【実施例７】
【０３４５】
図３１は第７の実施例としての編集ソフト提供システム＃２の構成例を示すブロック図である。
【０３４６】
図３１に示す編集ソフト提供システム＃２は、本発明に係る情報処理システムの他の一例を構成し、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するシステムであって、これらの情報の編集処理に必要な編集プログラムＰＤ”を記述した編集処理用のソフトウエア（以下編集ソフトという）を提供するシステムである。編集ソフトは無料でも有料でもどちらであってもよい。有料システムを構成する場合は編集ソフトが課金対象となり、ビジネスモデルを構成するようになる。
【０３４７】
編集ソフト提供システム＃２ではユーザの情報通信処理装置７０１と編集処理提供者の情報配信装置７０３とがインターネット７０２（ｗｗｗ）を介して接続するようになされる。情報通信処理装置７０１にはデスクトップ型のパソコンや、ノート型のパソコンに第５の実施例で説明したような記録編集再生機能を備えたものが使用される。もちろん、通信機能付きのパソコンと通常の記録編集再生装置とを組み合わせて使用してもよい。
【０３４８】
情報通信処理装置７０１には映像取得機器７０４が接続され、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するようになされる。映像取得機器７０４には第１の実施例で説明したようなビデオカメラ１００、第２の実施例で説明したようなヘッドマウント型のビデオカメラ２００、第３の実施例で説明したようなデジタルカメラ３００、第４の実施例で説明したカメラ付き携帯電話機４００が含まれる。
【０３４９】
この例で情報通信処理装置７０１は、映像取得機器７０４から得られる被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を再生する機能を有しており、第５の実施例で説明したような記録編集再生機能を有しているが、編集ソフトが実装されていない場合である。最初から情報通信処理装置７０１に編集ソフトを実装していないのは、オプション扱いとしたこと、及び、編集ソフトのバージョンアップに柔軟に対処できるようにしたためである。
【０３５０】
当該システム＃２で編集ソフトの提供を受ける場合、情報通信処理装置７０１は、インターネット７０２を介して編集処理提供者の情報配信装置７０３に接続して、例えば、機器登録番号や、ユーザＩＤ等の登録情報を送信するようになされる。情報配信装置７０３は、情報通信処理装置７０１から送信されてきた登録情報を検証し、検証ＯＫを得た場合に、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集するための編集ソフトを配信するようになされる。
【０３５１】
情報配信装置７０３には、デスクトップ型のパソコンや、ノート型のパソコンが使用される。情報配信装置７０３にはサーバシステムが導入され、図２７で説明したような編集起点情報及び編集終点情報を付加した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を入力するステップと、入力された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集するか否かを判別するステップと、自動編集すると判別された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４’及び音声データＤ１３’を抽出して繋ぎ合わせるステップとを記述したプログラムが実装されている。
【０３５２】
これにより、編集処理提供者は登録要求に応じて編集ソフトを配信することができ、ユーザは、手元の情報通信処理装置７０１で被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集し、編集後の抽出シーンｆ（ＳIII）や、ｆ（ＳIII＋ＳII）、ｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’をまとめた感動シーンの映像及び音声アルバムファイルを作成できるようになる。
【０３５３】
続いて、編集ソフト提供システム＃２における情報処理例について説明する。図３２は編集ソフト提供システム＃２における情報処理例を示すフローチャートである。この例では、情報編集業者には情報配信装置７０３が備えられ、当該システム＃２で編集ソフトの提供を受ける場合、情報通信処理装置７０１の機器登録番号や、ユーザＩＤ等の登録情報を送信し、検証ＯＫを得た場合に、編集ソフトを配信する場合を例に挙げる。
【０３５４】
これを編集ソフト取得条件にして、ユーザは、図３２に示すフローチャートのステップＲ１で編集ソフトを受けるために情報編集業者の情報配信装置７０３を呼び出す。このとき、情報通信処理装置７０１は情報配信装置７０３に発呼し、インターネット７０２を介して電話回線を接続する。
【０３５５】
次に、ステップＲ２でインターネット７０２上のＷｅｂ画面で登録内容を確認し、情報編集業者との登録手続を実行する。例えば、情報通信処理装置７０１には編集ソフトを受けるための登録内容が表示される。このとき、当該装置の機器登録番号や、ユーザＩＤ等の登録情報が情報通信処理装置７０１に入力される。そして、Ｗｅｂ画面上で登録内容を確認した後、手続ＯＫボタンを操作する。登録情報は情報通信処理装置７０１から情報配信装置７０３へ送信するようになされる。
【０３５６】
その後、ステップＲ３で情報配信装置７０３は、情報通信処理装置７０１から送信されてきた登録情報の検証処理をする。この際の検証処理では、例えば、情報通信処理装置７０１の販売時に控えてある機器登録番号と、登録時の機器登録番号とを比較照合する。両者の番号が一致した場合に検証ＯＫとなされる。
【０３５７】
当該検証ＯＫを得た場合に、ステップＲ４で被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集するための編集ソフトの配信処理をする。この編集ソフトは情報通信処理装置７０１内にダウンロードするようになされる。以後、ユーザ側ではデータ自動編集処理を実行できるようになる（図２８参照）。そして、ステップＲ５で情報通信処理装置７０１をＯＮフックして電話回線を切断する処理を実行する。
【０３５８】
このように第７の実施例としての編集ソフト提供システム＃２によれば、本発明に係る情報処理装置、情報処理方法及びプログラムが応用されるので、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報を処理する場合に、情報編集業者には情報配信装置７０３が備えられ、情報編集業者の情報配信装置７０３を呼び出し、情報通信処理装置７０１の機器登録番号や、ユーザＩＤ等の登録情報を送信し、検証ＯＫを得た場合に、編集ソフトを配信を受けられるようになされる。
【０３５９】
従って、機器購入時、情報通信処理装置７０１内に自動編集プログラムが無くても、後日、編集処理提供者から提供を受けること、更に、編集ソフト内容に変更が生じた場合も、簡単に更新手続きを行うことができる。当該情報通信処理装置７０１で、操作者３０の生体感情を検出して生成された感情データ４５等と、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けた編集処理等を実行できるようになる。なお、編集ソフトの配信要求はインターネット形式でも、郵送や、店頭に出向く形態でもどちらでもよい。情報編集業者からユーザへの編集ソフトは、インターネットによるダウンロードのみならず、編集ソフトウエアを記述したメモリスティク７０５や、ＣＤ−ＲＯＭ７０６等の記録媒体を店頭で渡す形式で行ってもよい。
【０３６０】
このように第１〜第７の実施例によれば、ユーザ主体の煩雑な操作を行うこと無しに、膨大な記録データの中から、ユーザが望むシーンのみを自動抽出及び自動編集することができるようになった。
【産業上の利用可能性】
【０３６１】
この発明は、動画を撮るビデオカメラや、静止画を撮るデジタルカメラ、カメラ付きの携帯電話機、カメラ付きの携帯端末装置、これら装置から得られる映像及び音情報を再生する情報再生装置、あるいは、データを保存する記録編集再生ディスク装置を備えたシステム等に適用して極めて好適である。
【図面の簡単な説明】
【０３６２】
【図１】本発明に係る第１の実施例としてのビデオカメラ１００の構成例を示す斜視図である。
【図２】生体センサ部４５に適用可能な発汗センサ４５’の構成例を示すブロック図である。
【図３】ビデオカメラ１００の制御系の構成例を示すブロック図である。
【図４】ビデオカメラ１００における撮影フォーマット例（その１）を示すタイムチャートである。
【図５】ビデオカメラ１００における撮影フォーマット例（その２）を示すタイムチャートである。
【図６】ビデオカメラ１００における記録処理例（その１）を示すフローチャートである。
【図７】ビデオカメラ１００における記録処理例（その２）を示すフローチャートである。
【図８】ビデオカメラ１００における情報編集例を示すフローチャートである。
【図９】第２の実施例としてのヘッドマウント型のビデオカメラ２００の構成例を示す斜視図である。
【図１０】脈拍センサ２７の構成例を示す断面図である。
【図１１】脈拍センサ２７の内部構成例を示すブロック図である。
【図１２】血圧センサ２８の構成例を示すブロック図である。
【図１３】（Ａ）及び（Ｂ）は、血圧検知例、脈拍検知例及び脈波伝達時間の算出例を示すグラフ図である。
【図１４】ビデオカメラ２００の制御系の構成例を示すブロック図である。
【図１５】ビデオカメラ２００における撮影フォーマット例（その１）を示す動作タイミングチャートである。
【図１６】ビデオカメラ２００における撮影フォーマット例（その２）を示す動作タイミングチャートである。
【図１７】ビデオカメラ２００における情報記録例を示すフローチャートである。
【図１８】第３の実施例としてのデジタルカメラ３００の構成例を示す斜視図である。
【図１９】デジタルカメラ３００の制御系の構成例を示すブロック図である。
【図２０】デジタルカメラ３００における記録処理例（その１）を示すフローチャートである。
【図２１】デジタルカメラ３００における記録処理例（その２）を示すフローチャートである。
【図２２】第４の実施例としてのカメラ付き携帯電話機４００の構成例を示す斜視図である。
【図２３】携帯電話機４００の制御系の構成例を示すブロック図である。
【図２４】携帯電話機４００における情報処理例（その１）を示すフローチャートである。
【図２５】携帯電話機４００における情報処理例（その２）を示すフローチャートである。
【図２６】第５の実施例としての記録編集再生装置５００の構成例を示す斜視図である。
【図２７】記録編集再生装置５００の制御系の構成例を示すブロック図である。
【図２８】記録編集再生装置５００における情報処理例を示すフローチャートである。
【図２９】第６の実施例としての編集サービスシステム＃１の構成例を示すブロック図である。
【図３０】編集サービスシステム＃１における情報処理例を示すフローチャートである。
【図３１】第７の実施例としての編集ソフト提供システム＃２の構成例を示すブロック図である。
【図３２】編集ソフト提供システム＃２における情報処理例を示すフローチャートである。
【符号の説明】
【０３６３】
＃１・・・編集サービスシステム（情報処理システム）、＃２・・・編集ソフト提供システム（情報処理システム）、１０，４０，６０，８０・・・本体ケース、１１・・・ヒンジ機構、１２・・・押しボタンスイッチ、１３・・・集音部、１３’・・・マイクロフォン（集音部）、１４・・・バッテリー、１５，８５・・・情報処理部、１６，６６・・・アンテナ、１７，８７・・・回路基板、１８，８２・・・操作部、１９・・・通信部、２０・・・本体フレーム、２１・・・受信部、２２・・・送信部、２４ａ・・・左メガネ吊る部、２４ｂ・・・右メガネ吊る部、２５・・・圧電アクチュエータ、２７・・・脈拍センサ（生体センサ部）、２８・・・血圧センサ（生体センサ部）、２９・・・表示部、３１・・・映像＆音声収録部、３２，６２・・・ＣＰＵ（情報処理部）、３３・・・電源ユニット、３４・・・撮像部、３５・・・記憶装置、３６ａ，３６ｂ・・・スピーカー、３７，６７・・・メモリ部（情報処理部）、３９・・・映像＆音声出力端子、４１・・・外部インターフェース、４３・・・バッテリー＆記憶部、４４，６４・・・映像＆音声処理部（情報処理部）、４５・・・生体センサ部（情報出力部）、４５’・・・発汗センサ（生体センサ部）、５０・・・情報処理＆通信部、８９・・・映像＆音声入出力端子、１００，２００・・・ビデオカメラ（情報処理装置）、３００・・・デジタルカメラ（情報処理装置）、４００・・・携帯電話機（情報処理装置）、５００・・・記録編集再生装置、６０１，７０１・・・情報通信処理装置、６０２，７０２・・・インターネット、６０３・・・情報端末装置、６０４・・・情報取得機器、７０３・・・情報配信装置、６０４，７０４・・・映像取得機器（情報処理装置）
【技術分野】
【０００１】
本発明は、動画を撮るビデオカメラや、静止画を撮るデジタルカメラ、カメラ付きの携帯電話機、カメラ付きの携帯端末装置、これら装置から得られる映像及び音情報を再生する情報再生装置、あるいは、データを保存する記録編集再生装置を備えたシステム等に適用可能な情報処理装置、情報処理方法、プログラム、記録媒体及び情報処理システムに関する。
【０００２】
詳しくは、被写体の映像が撮影され、及び、当該被写体の周囲の音を集音して得られた情報を処理する情報処理部を備え、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて、操作者が被写体映像撮影中に手に汗握って生体感情が高まった時点等の映像及び音情報を自動抽出できようにすると共に、映像及び音情報を編集した操作者固有の映像及び音情報ファイルを容易かつ簡単に作成できるようにしたものである。
【背景技術】
【０００３】
近年、記憶メディア容量の増大化、機器の小型化及び機器間の相互通信の強化が図られ、大容量の個人映像、静止画を撮影、鑑賞できるようになってきた。例えば、ユーザ（操作者）は、運動会や旅行等のイベントにおいて、思い出の映像を撮るため、被写体や景色・風景等の映像及び、被写体周囲の音をビデオカメラを用いて収録する場合が多い。
【０００４】
ビデオカメラは、撮像部、集音部、記録部、操作部及び制御部を有して構成されている。撮像部は操作部による操作に基づいて被写体や景色・風景等の映像を撮影し、集音部は被写体周囲の音を収録し、記録部は制御部のメモリ制御を受けて、撮像部によって撮影された被写体等の動画映像及び、集音部によって集音された被写体周囲の音を記録するようになされる。
【０００５】
また、デジタルカメラや、カメラ付き携帯電話機によれば、被写体を撮影して静止画を記録部に記録するようになされる。上述のビデオカメラ、デジタルカメラ及びカメラ付き携帯電話機の記録部には、着脱可能なメモリスティック等の記録メディアが使用される場合が多い。記憶メディア容量の増大化に伴い、膨大な個人コンテンツ（静止画、動画映像）を保存できるようになった。これらの記録メディアは記録編集再生装置に装填され、編集処理に移行されて、思い出の映像及び音情報を編集し保存するようになされる。編集は、個人が後日それらのコンテンツを鑑賞するに値する状態とするための作業である。編集後の映像及び音声情報は、後日、鑑賞の用に供される場合が多い。
【０００６】
ところで、この種の記録編集再生装置に関連して、特許文献１には映像音声自動編集装置、方法及び記録媒体が開示されている。この映像音声自動編集装置によれば、被写体の映像及び音声を記録すると同時に、当該記録と同期してユーザの脳波を測定し、情報取得後、ユーザの脳波を解析して、当該ユーザの覚醒水準が高いときの映像及び音声を自動的に判別する。判別されたユーザの覚醒水準が高いときの映像及び音声を要約編集するようになされる。このように装置を構成すると、ユーザの覚醒水準の高い状態のシーンを網羅しつつ、シーン全体の流れを損なわない見やすい映像及び音声を編集できるというものである。
【０００７】
また、特許文献２には情報コンテンツの編集装置及び編集方法が開示されている。この編集装置によれば、生体情報に基づく情報を用いて感情の度合いを示す感情パラメータを作成し、この感情パラメータを数値化した感情レベルに応じて要約作成用のコマンドを作成し、このコマンドを用いて情報コンテンツデータの要約を作成するようになされる。このように装置を構成すると、生体情報から解析された感情パラメータに基づいて、映像や音声等の情報コンテンツの要約を作成できるというものである。
【０００８】
【特許文献１】特許 第３５１４２３６号公報（第４頁 図２）
【特許文献２】特開２００５−１２８８８４号公報（第３頁 図６）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、従来例に係るビデオカメラ、デジタルカメラ、カメラ付き携帯電話機及び、記録再生編集装置を取り扱う情報処理システムによれば、以下のような問題がある。
【００１０】
ｉ．ビデオカメラ、デジタルカメラ及びカメラ付き携帯電話機等によれば、記憶メディア容量の増大、機器の小型化及び機器間の相互通信の強化が図られ、大容量の個人映像の撮影、静止画の撮影、これらの映像及び静止画を鑑賞できるようになった。しかし、被写体映像及びその周辺の音情報を撮影及び収録し易くなった反面、被写体や景色・風景等の静止画、動画映像及び音声情報を成すコンテンツデータがあまりにも膨大な量となり、現状ではその編集作業に多くの時間が費やさなければならない事態に陥っている。
【００１１】
編集作業には人間が主体的となることが多く、膨大な編集時間を要したり、折角、取得したコンテンツデータを未編集のままにして、コンテンツ自体の価値が損失に繋がってしまうという問題がある。
【００１２】
ii．特許文献１に見られるような記録編集再生装置によれば、被写体の映像及び音声を記録すると同時に、当該記録と同期してユーザの脳波を測定し、情報取得後、ユーザの脳波を解析して、当該ユーザの覚醒水準が高いときの映像及び音声を自動的に判別している。このため、判別されたユーザの覚醒水準が高いときの映像及び音声を要約編集することができても、運動会や旅行等のイベントにおいて、手に汗握って生体感情が高まった時点の映像情報及び音情報を自動抽出することができていないのが現状である。
【００１３】
iii．特許文献２に見られるような編集装置によれば、生体情報に基づく情報を用いて作成した感情の度合いを示す感情パラメータを数値化した感情レベルに応じて要約作成用のコマンドを作成し、このコマンドを用いて情報コンテンツデータの要約を作成している。このため、関心を示した場面や、驚いた場面の映像及び音声を要約編集することができても、運動会や旅行等のイベントにおいて、被写体の映像及び音収録時に、手に汗握って生体感情が高まった時点の映像情報及び音情報を自動抽出することができていないのが現状である。
【００１４】
そこで、この発明はこのような従来の課題を解決したものであって、被写体映像の撮影途中でマニュアル操作によって編集する場合に比べて格段に編集操作性を向上できるようにした情報処理装置、情報処理方法、プログラム、記録媒体及び情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上述した課題は、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する装置であって、被写体の映像を撮影して映像情報を出力し、かつ、当該被写体の周囲の音を集音して音情報を出力する映像及び音収録部と、この映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を出力する情報出力部と、この情報出力部から出力される生体感情報と映像及び音収録部から出力される被写体の映像情報及び当該被写体の周囲の音情報とを対応付けるように処理する情報処理部とを備えることを特徴とする第１の情報処理装置によって解決される。
【００１６】
本発明に係る第１の情報処理装置によれば、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報を処理する場合に、映像及び音収録部は、被写体の映像を撮影して映像情報を出力し、かつ、当該被写体の周囲の音を集音して音情報を出力する。情報出力部は、映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を出力する。これを前提にして、情報出力部から出力される生体感情報と映像及び音収録部から出力される被写体の映像情報及び当該被写体の周囲の音情報とを対応付けるように処理する。
【００１７】
従って、操作者が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像情報及び音情報を自動抽出することができ、ここで自動抽出される映像情報及び音情報を編集した操作者固有の映像及び音情報ファイルを容易かつ簡単に作成できるようになる。
【００１８】
本発明に係る第２の情報処理装置は、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報であって、操作者の生体感情を検出して作成された生体感情報と、撮影集音された当該被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて編集起点情報及び編集終点情報が付加された情報を処理する装置であって、編集起点情報及び編集終点情報を付加した被写体の映像情報及び当該被写体周囲収録時の音声情報を入力する入力部と、この入力部によって入力された被写体の映像情報及び当該被写体周囲収録時の音声情報を外部からの指示に基づいて自動編集するか否かを判別する判別部と、この判別部によって編集すると判別された被写体の映像情報及び当該被写体周囲収録時の音声情報から編集起点情報及び編集終点情報を付加した区間部分の映像情報及び音声情報を抽出して繋ぎ合わせる映像及音声処理部とを備えることを特徴とするものである。
【００１９】
本発明に係る第２の情報処理装置によれば、操作者が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像情報及び音情報を自動抽出することができ、ここで自動抽出される映像情報及び音情報を編集した操作者固有の映像及び音情報ファイルを容易かつ簡単に作成できるようになる。
【００２０】
本発明に係る情報処理方法は、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する方法であって、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を作成するステップと、ここに作成された生体感情報と撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを有することを特徴とするものである。
【００２１】
本発明に係る情報処理方法によれば、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【００２２】
本発明に係るコンピュータが読み取り可能なプログラムは、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するためのプログラムであって、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を作成するステップと、ここに作成された生体感情報と撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを記述したことを特徴とするものである。
【００２３】
本発明に係るプログラムによれば、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【００２４】
本発明に係るコンピュータが読み取り可能な記録媒体は、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するためのプログラムを記述した記録媒体であって、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を作成するステップと、作成された生体感情報と撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを記述したプログラムを有することを特徴とするものである。
【００２５】
本発明に係る記録媒体によれば、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【００２６】
本発明に係る情報処理システムは、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するシステムであって、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する情報処理装置と、この情報処理装置から得られる被写体の映像情報及び当該被写体の周囲の音情報を再生する情報再生装置とを備え、情報処理装置は、被写体の映像を撮影して映像情報を出力し、かつ、当該被写体の周囲の音を集音して音情報を出力する映像及び音収録部と、映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を出力する情報出力部と、情報出力部から出力される生体感情報と映像及び音収録部から出力される被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理する情報処理部とを有することを特徴とするものである。
【００２７】
本発明に係る情報処理システムによれば、本発明に係る情報処理装置が応用されるので、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報を処理する際に、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【発明の効果】
【００２８】
本発明に係る第１の情報処理装置及び情報処理方法によれば、被写体の映像が撮影され、及び、当該被写体の周囲の音を集音して得られた情報を処理する情報処理部を備え、情報処理部は、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けるように処理するものである。
【００２９】
この構成によって、操作者が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像情報及び音情報を自動抽出することができ、ここで自動抽出される映像情報及び音情報を編集した操作者固有の映像及び音情報ファイルを容易かつ簡単に作成できるようになる。従って、被写体映像の撮影途中でマニュアル操作によって編集起点や編集終点等を指定入力する場合に比べて格段に編集操作性を向上できるようになった。
【００３０】
本発明に係る第２の情報処理装置及び情報処理方法によれば、外部からの指示に基づいて自動編集すると判別された被写体の映像情報及び当該被写体周囲収録時の音声情報から編集起点情報及び編集終点情報を付加した区間部分の映像情報及び音声情報を抽出して繋ぎ合わせるようになされる。
【００３１】
この構成によって、操作者が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像情報及び音情報を自動抽出することができ、ここで自動抽出される映像情報及び音情報を編集した操作者固有の映像及び音情報ファイルを容易かつ簡単に作成できるようになる。従って、被写体映像の撮影途中でマニュアル操作によって編集起点や編集終点等を指定入力する場合に比べて格段に編集操作性を向上できるようになった。
【００３２】
本発明に係るコンピュータが読み取り可能なプログラム及び記録媒体によれば、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を再現性良く実行できるようになる。
【００３３】
本発明に係る情報処理システムによれば、本発明に係る情報処理装置が応用されるので、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【００３４】
これにより、操作者が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像情報及び音情報をファイルにまとめた操作者固有の映像及び音情報ファイル作成システム、操作者固有の映像及び音情報ファイル視聴システム、操作者固有の映像及び音情報ファイルダウンロードシステム及び、ＣＤやＭＤ等の所定の記録媒体に記録した操作者固有の映像及び音情報ファイル配布システムを構築できるようになった。
【発明を実施するための最良の形態】
【００３５】
続いて、この発明に係る情報処理装置、情報処理方法、プログラム、記録媒体及び情報処理システムの一実施例について、図面を参照しながら説明をする。
【実施例１】
【００３６】
図１は本発明に係る第１の実施例としてのビデオカメラ１００の構成例を示す斜視図である。図１に示すビデオカメラ１００は情報処理装置の一例を構成し、被写体の映像を撮影して動画情報、及び、当該被写体の周囲の音を集音して得られる情報を処理する装置である。
【００３７】
ビデオカメラ１００は、外装を構成する本体ケース１０を有しており、本体ケース１０の前面側の上部には撮像部３４が組み込まれている。撮像部３４は撮像レンズや、図示しないレンズ駆動機構、撮像素子等を有して構成される。撮像素子は、撮像レンズの後端に設けられ、撮像レンズやレンズ駆動機構等の撮影光学系によって導かれた被写体像を撮像するように動作する。
【００３８】
本体ケース１０の後面、上面、側面には、電源スイッチ、モードスイッチ、ズームスイッチ、撮影スタート／ストップスイッチ等の種々の押しボタンスイッチ１２が設けられている。電源スイッチはビデオカメラ１００の電源をオン又はオフするスイッチである。モードスイッチは撮影時のノーマルモード又は特殊記録モードのいずれかを選択する際に操作される。ここに特殊記録モードとは、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報（動画）及び当該被写体の周囲の音情報とを対応付けて記録する動作をいう。ノーマルモードとは特殊記録モード以外の動作をいい、操作者の生体感情に関係無く撮影集音された被写体の映像情報及び当該被写体の周囲の音情報そのまま記録する動作をいう。
【００３９】
この例で、特殊記録モードを選択するモードスイッチには、情報出力部の機能の一例を構成する生体センサ部４５が設けられ、当該ビデオカメラ１００を操作する操作者の生体感情を検出して生体感情報を出力するようになされる。生体センサ部４５には例えば図２に示すような発汗（Hidrosis）センサが使用される。発汗センサは、当該モードスイッチに触れている操作者の発汗量を検知して発汗レベルを示す生体感情報を情報処理部へ出力するようになされる。もちろん、生体センサ部４５はモードスイッチを兼用する位置に設けることなく、モードスイッチに対して生体センサ部４５を別個独立に設けて、撮影集音動作中に操作者に触れさせるようにしてもよい。また、生体センサ部４５は発汗センサの他に脈拍センサや血圧センサ等を使用してもよい。生体センサ部４５の上方には、センサ用のカバー３８が設けられ、操作者３０の指先に生ずる汗の発散を防止するようになされる。カバー３８は省略してもよい。
【００４０】
図示しないズームスイッチは、被写体映像をズームアップ表示又はズームダウン表示する際に操作される。撮影スタート／ストップスイッチはスタンバイ状態の撮像部３４に対して被写体映像の記録開始を情報処理部へ指示する際に操作される。本体ケース１０の前面であって、撮像レンズの先端下方の位置には、集音部１３を成す音収録用のマイクロフォンが取り付けられる。音をステレオ再生する場合は、左右２個のマイクロフォンが取り付けられる。
【００４１】
更に、本体ケース１０の左側面には、表示部２９が図示しないヒンジ部を介して開閉回転可能に連結され、撮像部３４で撮像した被写体映像を表示するようになされる。例えば、表示部２９は撮影中の映像や再生時の映像を表示する。表示部２９には、例えば、３乃至４インチ程度のカラー液晶表示装置が使用される。
【００４２】
本体ケース１０の内部には回路基板１７が設けられる。回路基板１７には記録メディアやメディアスロット等の記憶装置３５が実装又は装着可能となされ、ノーマルモード又は特殊記録モードによって得られた被写体の映像情報及び当該被写体の周囲の音情報を記録するようになされる。回路基板１７には記憶装置３５の他に情報処理部が実装される。
【００４３】
本体ケース１０の内部には回路基板１７の他にバッテリー１４が実装され、当該回路基板１７、表示部２９、撮像部３４、記憶装置３５及び生体センサ部４５に直流電源を供給するようになされる。本体ケース１０の外部側には映像＆音声出力端子３９等が設けられ、外部機器からの映像＆音声用のコネクタや、通信ケーブル類が接続可能なようになされている。映像＆音声出力端子３９は外部機器へ映像＆音声出力する際に使用され、通信ケーブル用の端子は、外部機器と通信する際に使用される。
【００４４】
続いて、生体センサ部４５について説明する。図２は、生体センサ部４５に適用可能な発汗センサ４５’の構成例を示すブロック図である。図２に示す発汗センサ４５’は、吸気パイプ５１、吸気側のハウジング部５２、触子部５３、排気側のハウジング部５４、排気パイプ５５、コンプレッサ５６（ブロア）、絶対湿度センサ５７，５８及び差動増幅部５９を有して構成される。
【００４５】
吸気パイプ５１はハウジング５２を介在して触子部５３の吸気側に接続され、外気（空気）を触子部５３に引き込むようになされる。ハウジング５２には絶対湿度センサ５７が設けられ、ハウジング５２内に引き込まれた外気の絶対湿度を検知して吸気側の湿度検知信号Ｓ５７を差動増幅部５９に出力するようになされる。
【００４６】
触子部５３は皮膚摺触面を有しており、皮膚摺触面には小さな開孔部が２つ設けられている。触子部５３は、皮膚摺触面に触れた操作者３０の汗により触子部５３内の湿度が上昇するようになされる。触子部５３はカプセルを構成する。排気パイプ５５はハウジング５４を介在して触子部５３の排気側に接続され、触子部５３に取り込まれた空気を外部へ排気するようになされる。排気パイプ５５の終端部にはコンプレッサ５６が接続され、吸気パイプ５１から外気を引き込んで外部へ排気する。
【００４７】
ハウジング５４には絶対湿度センサ５８が設けられ、ハウジング５４内を通過する空気の絶対湿度を検知して排気側の湿度検知信号Ｓ５８を差動増幅部５９に出力するようになされる。差動増幅部５９は吸気側及び排気側の湿度検知信号Ｓ５７，Ｓ５８の差分を増幅して発汗量検知信号Ｓ４５を出力する。発汗量検知信号Ｓ４５をアナログ・デジタル変換したデータは生体感情報Ｄ４５となる。このアナログ・デジタル変換機能は生体センサ部４５内に設けても、また、情報処理部内に設けてもよい。このような構成の生体センサ部４５をモードスイッチを兼用する位置に設けると、当該モードスイッチに触れている操作者３０の発汗量を検知して生体感情報（以下感情データＤ４５という）を情報処理部へ出力できるようになる。
【００４８】
図３は、ビデオカメラ１００の制御系の構成例を示すブロック図である。図３に示すビデオカメラ１００は、図１に示した本体ケース１０内の回路基板１７に各機能ブロックを実装して構成される。なお、図１及び図２に示した各部と対応する部分は、同一符号で示している。
【００４９】
ビデオカメラ１００は、情報処理部１５、操作部１８、通信部１９、表示部２９、映像＆音収録部３１、記憶装置３５、映像＆音声出力端子３９及び生体センサ部４５を有して構成される。
【００５０】
情報処理部１５はＣＰＵ３２、メモリ部３７及び映像＆音声処理部４４を有して構成される。ＣＰＵ３２はシステムプログラムに基づいて当該ビデオカメラ全体を制御するようになされる。メモリ部３７は図示しないＲＯＭ、ＲＡＭ及びＥＥＰＲＯＭ等を有している。メモリ部３７のＲＯＭ又はＥＥＰＲＯＭには当該ビデオカメラ全体を制御するためのシステムプログラムを成すデータＰＤが格納される。図示しないＲＡＭはワークメモリとして使用される。ＣＰＵ３２は電源オンと共に、ＲＯＭ又はＥＥＰＲＯＭからシステムプログラムを成すデータＰＤを読み出してＲＡＭに展開し、当該システムを立ち上げてビデオカメラ全体を制御するようになされる。
【００５１】
メモリ部３７のＲＯＭ又はＥＥＰＲＯＭにはシステムプログラムの他に特殊記録モードを実行するためのプログラムが記述されている。この特殊記録モード用のプログラムは、コンピュータが読み取り可能なプログラムであって、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を操作者３０の生体感情に基づいて動画記録処理するためのプログラムである。その内容は、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像＆音収録部３１を操作する操作者３０の生体感情を検出して生体感情報を作成するステップと、ここに作成された生体感情報と撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを記述したものである。
【００５２】
このようなプログラムを成すデータＰＤ’をＲＯＭ又はＥＥＰＲＯＭから読み出して実行すると、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、ＣＰＵ３２は、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【００５３】
例えば、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けるように処理する。この例ではＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較する。発汗量判定閾値Ｈthは判別基準情報の一例を成している。
【００５４】
この比較結果で、例えば、生体センサ部４５が発汗量判定閾値Ｈthを越える発汗レベルＨｘの感情データＤ４５を検出したとき、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集起点情報を付加し、その後、発汗量判定閾値Ｈth以下の発汗レベルＨｘの感情データＤ４５を検出したとき、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集終点情報を付加するように映像＆音声処理部４４をポイント設定制御を実行する。
【００５５】
映像＆音声処理部４４は、例えば、ＭＰＥＧ−１規格に準拠して映像データＤ３４を圧縮処理して記憶装置３５に記録する。ＭＰＥＧ−１規格に準拠した圧縮処理によれば、映像の中の動く部分だけを検出し保存するようにデータを圧縮する。圧縮処理はＭＰＥＧ−１に限られることはなく、ハイビジョン対応のＭＰＥＧ２からＭＰＥＧ−４までの各規格や、現在標準化進行中のＭＰＥＧ−７規格であってもよい。
【００５６】
この例で、メモリ部３７は発汗量判定閾値Ｈthを記憶する。例えば、発汗量判定閾値Ｈthはトリガーパラメータとしてメモリ部３７に設けられたＲＯＭ等に予め格納される。メモリ部３７のＲＡＭは、ＣＰＵ３２のメモリ制御を受けて、感情データＤ４５を入力し、予め設定された発汗量判定閾値Ｈthと、感情データＤ４５から得られる発汗レベルＨとを比較し、Ｈth＞Ｈの判定処理や、Ｈth≦Ｈ等の判定処理を実行する。もちろん、発汗量判定閾値は一義的な定数に限られることはなく、二次関数的に変化するものであってもよい（図５参照）。
【００５７】
このようにすると、操作者３０の指の発汗量に対応して固有の映像及び音声を抽出できるようになる。編集起点情報及び編集終点情報は例えば、記録時間情報に対してタイムコードとして設定（記述）される。このタイムコードの設定によって、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出できるようになる。
【００５８】
この例でＣＰＵ３２は、編集起点情報及び編集終点情報に基づいて被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４及び音声データＤ１３を抽出して繋ぎ合わせる編集処理を実行する。このような編集処理を実行すると、操作者３０が被写体の映像を撮影して得た映像データＤ３４及び、その周辺の音を集音して得た音声データＤ１３から、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を抽出することができ、操作者固有の映像及び音声データファイルを作成できるようになる。
【００５９】
更にＣＰＵ３２に再生制御機能を持たせて、編集処理に基づいて抽出し繋ぎ合わせた被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を再生するようにしてもよい。このような再生処理を実行すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を再生することができ、操作者固有の映像データＤ３４及び音声データＤ１３を記録したメモリアルファイルを視聴できるようになる。表示部２９は、操作者固有の映像データＤ３４を入力して操作者固有の映像を表示し、スピーカー３６からは、操作者固有の音声データＤ１３を入力して操作者固有の音声を出力できるようになる。
【００６０】
更にＣＰＵ３２に記録制御機能を持たせて、編集処理に基づいて抽出し繋ぎ合わせた被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を所定の記録媒体に記録するようにしてもよい。このような動画記録処理を実行すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３をＣＤ−ＲＯＭや、ＭＤ等の記録媒体に記録することができ、操作者固有の映像データＤ３４及び音声データＤ１３を記録したメモリアルファイルを配布できるようになる。
【００６１】
操作部１８はＣＰＵ３２に接続され、図１に示した電源スイッチ、モードスイッチ、ズームスイッチ、撮影スタート／ストップスイッチ等の押しボタンスイッチ１２が押下されることで発生した操作データＤ１８をＣＰＵ３２に出力する。
【００６２】
映像＆音収録部３１は、集音部１３及び撮像部３４を有して構成される。集音部１３は映像＆音声処理部４４に接続され、被写体の周囲の音を集音して得た音声データＤ１３を出力する。集音部１３にはコンデンサ型のマイクロフォンやムービングコイル型のマイクロフォンが使用される。撮像部３４は映像＆音声処理部４４に接続され、被写体の映像を撮影して得た映像データＤ３４を出力する。撮像部３４は撮像レンズ、撮像素子、レンズ駆動機構から構成される。
【００６３】
生体センサ部４５は情報出力部の機能を一例を構成し、映像＆音収録部３１を操作する操作者３０の生体感情を検出して感情データＤ４５を出力する。例えば、生体センサ部４５には図２に示した発汗センサ４５’が使用され、映像＆音収録部３１を操作する操作者３０の発汗量を時系列に検知して感情データＤ４５をＣＰＵ３２へ出力する。
【００６４】
上述のＣＰＵ３２には記録メディアや、メディアスロット等を構成する記憶装置３５が接続され、特殊記録モード時、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けた記録情報を格納するようになされる。記憶装置３５にはハードディスク装置や、メモリカード等の不揮発性メモリが使用される。
【００６５】
上述の映像＆音声処理部４４には表示部２９が接続され、表示信号Ｓ２９に基づいて撮影中の映像や再生時の映像を表示するようになされる。映像＆音声処理部４４にはスピーカー３６が接続され、音声信号Ｓ３６に基づいて撮影中の被写体周辺の音や再生時の音声等を出力する。スピーカー３６は本体ケース１０の所定の位置に設けられる。映像＆音声処理部４４には映像＆音声出力端子３９が接続され、映像＆音声信号を外部機器へ出力するようになされる。
【００６６】
ＣＰＵ３２には通信部１９が接続され、外部機器と通信するようになされる。例えば、ＣＰＵ３２は、編集処理に基づいて抽出し繋ぎ合わせた被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を通信部１９を介して配信する。このような配信処理を実行すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を配信することができ、操作者固有の映像データＤ３４及び音声データＤ１３を記録したファイル（アルゴリズム）をインターネット等を介して他のユーザにダウンロードできるようになる。
【００６７】
図４及び図５は、ビデオカメラ１００における撮影フォーマット例（その１，２）を示すタイムチャートである。当該撮影フォーマット例は、記録時の起点及び終点の挿入例を示している。この例では操作者３０の指の発汗量に対応して固有の映像及び音声を抽出できるようにすると共に、編集起点情報及び編集終点情報を記録時間情報に対してタイムコードとして設定（記述）するようにした。
【００６８】
図４Ａ及び図５Ａは記録時間情報Ｔを示している。記録時間情報Ｔとは、スタートスイッチを押下して映像データＤ３４を取り込み、記憶装置３５に記録している時間をいう。図４Ｂ及び図５Ｂに示す動画シーンは、被写体の動きを代表する８つのシーン（ｉ）〜(viii)である。動画シーンのサンプリング頻度は１／３０秒である。すなわち、撮像部３４は１秒間に３０コマ（ＮＴＳＣ方式）の映像を取得する。この例では運動会で被写体が”かけっこ”をする映像を、操作者３０が撮影している場合である。
【００６９】
図４Ｂに示すシーン（ｉ）は出番を待っている被写体の映像である。シーン（ii）及び(iii）はいよいよ出番が回ってきて、被写体がスタートラインに移動する際の映像である。シーン（iv）はスタートラインに立った被写体の映像である。更に、図５Ｂに示すシーン（ｖ）はスターターが号砲を打った瞬間の映像である。シーン（vi）は被写体がスタートして、駆け足を始めた際の映像である。シーン（vii）は勢い余って被写体が転んだ状態の映像である。シーン（viii）は被写体が泣きながらゴールに到着した映像である。
【００７０】
図４Ｃに示す波形は被写体周囲収録時の音声信号である。被写体周囲の音声は集音部１３が収録する。この例では運動会の”かけっこをする被写体周辺の音を収録している場合である。例えば、シーン（ｉ）〜（iv）に対応する音情報は、運動会特有の行進曲や周囲のざわめき音が収録される。更に、図５Ｃに示すシーン（ｖ）に対応する音情報は、スターターが号砲を打った瞬間の”バ〜ン”等と共にシーン（vi）に対応して応援者により声援が収録される。シーン（vii）に対応する音情報は、例えば、被写体に対して”さあ〜起き上がってがんばれ”のような声援が収録される。シーン（viii）に対応する音情報は、例えば、被写体がゴールした行動に対して安堵のどよめき声が収録される。
【００７１】
図４Ｄは、当該ビデオカメラ１００を持って被写体を撮影する操作者の発汗量の経時的変化である。この例で、シーン（ｉ）〜（iv）に対応する発汗量は、ほとんど無い場合を示している。ところが、図５Ｄに示すシーン（ｖ）では、被写体がスタートラインに立った直後から、操作者の発汗量が増加をし始め、スターターが号砲を打った瞬間に例えば、そのピークを迎えている。シーン（vi）で被写体がスタートして、駆け足を始めた当たりから、徐々に発汗量も減少してくる。しかし、シーン（vii）で勢い余って被写体が転んだ状態となると、再び、操作者の発汗量が増加をし始め、被写体が立ち上がった瞬間に、例えば、そのピークを迎えている。そして、徐々に発汗量も減少してくる。この例で、シーン（viii）で被写体が泣きながらゴールに到着した時点では、操作者の発汗量は、最初と同じ状態に戻っている。
【００７２】
このような操作者の感情変化に対して発汗量が増加し、その発汗量は経過時間と共に少なくなることが知られている。このような発汗現象は精神性発汗と呼ばれる。精神性発汗は、人が感動したとき、興奮や、緊張したときに手掌や足底部等の皮膚にかくことが知られている。発汗量は温熱性発汗に比べて少なく、発汗潜伏時間も短い。汗腺はエクリン腺である。また、精神性発汗は、感動等の繰り返しにより発汗量が二次関数的に低下することも知られている（構え反応）。
【００７３】
なお、発汗と感情変化の関係を説明した学術資料「計測自動制御学会東北支部第１９７回研究集会（2001.10.13）資料番号１９７−１１」によれば、心理・気分状態の不安定な被験者の群では、安定した群に比べて手掌部発汗反応が大きく現れる。被験者に反復負荷を与えた場合に、安定した心理・気分状態では初回の発汗反応が大きく、慣れ効果による反応量の減少も大きいことが報告されている。また、構え反応とその慣れ効果には個人の心理・気分特性が影響しやすく、手掌部発汗の定量評価では構え反応の影響を考慮すべきとの報告もある。手掌部発汗は、情動変化や、情緒反応を伴う記憶の想起によって促進される。手掌部発汗は人の精神・心理過程の客観的指標となり得ると結論付けている。
【００７４】
そこで、操作者の感情変化に対する発汗量の大小を判定する際に、経過時間に対して一定値となる発汗量判定閾値Ｈthを設定しても良いが、この例では、図５Ｄに示すように経過時間に対して二次関数的に変化する発汗量判定閾値曲線が設定される。発汗量判定閾値曲線には、例えば、Ａ×（１／ｌｏｇ（ｎ））が使用される。Ａは定数であり、発汗量の時間変化に相当する単位の閾値である。操作者のある時間の発汗量をＨｘとしたとき、（１）式、すなわち、
Ｈｘ＞Ｈth＝Ａ×（１／ｌｏｇ（ｎ））・・・・（１）
を判別して操作者の感情変化に対する発汗量の大小を判定するようになされる。
【００７５】
この例で、発汗量判定閾値曲線は監視時間対閾値を関係付けたものである。監視時間は可変である。例えば、監視時間は５分、１０分、１５分・・・と自在に設定可能である。発汗量判定閾値曲線の設定要件は、生体センサ部４５によって検知された操作者の発汗量の変化率（感情変化率）と、予め設定された閾値曲線設定の基準となる基準変化率とを比較し、操作者の発汗量の変化率が基準変化率を越えた場合は、発汗量判定閾値曲線を設定するようになされる。
【００７６】
操作者の発汗量の変化率は、生体センサ部４５が操作者の何らかの発汗量を検知した時刻以降の２つのサンプル時刻に検知された発汗量間の差分値を演算することで得られる。この例で、操作者の感情変化が大きい場合は、発汗量の検知曲線の傾きが大きくなり、その感情変化が小さい場合は、発汗量の検知曲線の傾きが小さくなる。そこで、上述の差分値を求めて、操作者の発汗量の変化率が基準変化率を越えた場合に、発汗量判定閾値曲線を設定するようになされる。つまり、発汗量判定閾値曲線は、操作者の感情変化率が基準変化率を越えた時刻に設定され、その時刻から所定の監視時間だけ有効に働く特徴を有している。この監視時間が経過すると、再度、上述の処理を繰り返すようになされる。これは、再び、操作者の感情変化率が大きくなる発汗量を検知する場合が想定されるためである。
【００７７】
この例では、記録時間情報Ｔにおいて、発汗量の立ち上がり（変化率）が大きくなった時刻ｔ０に、発汗量判定閾値曲線が設定される。図５Ｄに示すシーン（ｖ）で操作者の発汗量Ｈｘが発汗量判定閾値Ｈth１を越えている。この発汗量Ｈｘが発汗量判定閾値Ｈth１を越えた時刻ｔｓがタイムコードを成すと共に動画シーンを編集する際の編集起点情報となされる。
【００７８】
更に時間が経過して、図５Ｄに示すシーン（vi）で操作者の発汗量Ｈｘが発汗量判定閾値Ｈth２を下回っている。この発汗量Ｈｘが発汗量判定閾値Ｈth１を下回った時刻ｔｅがタイムコードを成すと共に動画シーンを編集する際の編集終点情報となされる。この第１のタイムコードの時刻ｔｓと時刻ｔｅとの間の動画シーンが特殊記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる。
【００７９】
この例では、更に、時間が経過して、図５Ｄに示すシーン（vii）で操作者の発汗量Ｈｘが発汗量判定閾値Ｈth３を上回っている。この発汗量Ｈｘが発汗量判定閾値Ｈth３を越えた時刻ｔｓがタイムコードを成すと共に動画シーンを編集する際の編集起点情報となされる。更に、時間が経過して、図５Ｄに示すシーン（vii）で操作者の発汗量Ｈｘが発汗量判定閾値Ｈth４を下回っている。この発汗量Ｈｘが発汗量判定閾値Ｈth４を下回った時刻ｔｅが第２のタイムコードを成すと共に動画シーンを編集する際の編集終点情報となされる。この第２のタイムコードの時刻ｔｓと時刻ｔｅとの間の動画シーンが特殊記録モードにおける第２の抽出（摘出）シーンＳＶii（編集映像＋音情報）となる。
【００８０】
続いて、本発明に係る第１の情報処理方法について説明する。図６及び図７は、ビデオカメラ１００における情報記録例（その１，２）を示すフローチャートである。
【００８１】
この例では、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する場合を前提とする。生体センサ部４５には図２に示したような発汗センサ４５’が使用される。ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けるように処理する。
【００８２】
これらを前提にして、図６に示すフローチャートのステップＡ１でＣＰＵ３２は、モード設定入力処理を実行する。例えば、ノーマルモード又は特殊記録モードの設定に関する操作データＤ１８を入力する。このとき、ユーザは、モードスイッチを構成する押しボタンスイッチ１２を操作して、ノーマルモード又は特殊記録モードのいずれかを選択するようになされる。例えば、押しボタンスイッチ１２を操作して特殊記録モードを選択すると、操作部１８からＣＰＵ３２には特殊記録モードを示す操作データＤ１８が出力される。
【００８３】
次に、ステップＡ２でＣＰＵ３２はスタートを待機する。このとき、ユーザは撮影スタートを構成する押しボタンスイッチ１２を操作して、ＣＰＵ３２に動画記録処理開始を指示するようになされる。操作部１８はＣＰＵ３２に動画記録処理開始を指示する操作データＤ１８を出力する。
【００８４】
操作部１８からＣＰＵ３２へ動画記録処理開始が指示された場合は、ステップＡ３でノーマルモード又は特殊記録モードの設定によって制御を分岐する。上述のステップＡ１で特殊記録モードが設定されている場合は、ステップＡ４でＣＰＵ３２は、被写体の映像及びその周辺の音情報を取得するように映像＆音収録部３１を制御して記録開始処理に移行する。このとき、映像＆音収録部３１は、被写体の映像を撮影して映像データＤ３４を取得し、かつ、当該被写体の周囲の音を集音して音声データＤ１３を取得する。映像＆音声処理部４４では、例えば、ＭＰＥＧ−１規格に準拠して、映像の中の動く部分だけを検出し圧縮処理した映像データＤ３４を記憶装置３５に記録する。
【００８５】
これと並行して、ステップＡ５でＣＰＵ３２は当該ビデオカメラ１００を操作する操作者３０の生体感情を検出して感情データＤ４５を作成するように生体センサ部４５を制御する。生体センサ部４５は、この制御を受けて、モードスイッチに触れている操作者の発汗量を検知して発汗レベルを示す感情データＤ４５をＣＰＵ３２に出力する。
【００８６】
次に、ステップＡ６でＣＰＵ３２は発汗量判定閾値曲線を設定するか否かを判別する。この際の判断基準は、生体センサ部４５によって検知された操作者の発汗量の変化率（感情変化率）と、予め設定された閾値曲線設定の基準となる基準変化率とを比較することにより実行される。操作者の発汗量の変化率は、生体センサ部４５が操作者の何らかの発汗量を検知した時刻以降の２つのサンプル時刻に検知された発汗量間の差分値である。このような差分値を求めるようにしたのは、操作者の感情変化が大きい場合は、発汗量の検知曲線の傾きが大きくなり、その感情変化が小さい場合は、発汗量の検知曲線の傾きが小さくなるためである。
【００８７】
上述のステップＡ６で操作者の発汗量の変化率が基準変化率を越えた場合は、ステップＡ７でＣＰＵ３２は発汗量判定閾値曲線を設定するようになされる。このとき、メモリ部３７から式（１）に示したような発汗量判定閾値曲線を読み出してＲＡＭに展開する。これと共に、ＣＰＵ３２はタイマを起動して、監視時間のカウントを開始する。そして、ステップＡ８に移行して、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較してＨｘ＞Ｈthの判別処理を実行する。メモリ部３７では、図５に示したように、ＣＰＵ３２のメモリ制御を受けて、感情データＤ４５を入力し、予め設定された発汗量判定閾値曲線を成す発汗量判定閾値Ｈth１，Ｈth２，Ｈth３，Ｈth４・・・・と、感情データＤ４５から得られる発汗レベルＨｘとを比較する。
【００８８】
Ｈｘ＞Ｈthなる判別結果を得た場合はステップＡ９に移行して、ＣＰＵ３２はステップＡ４で同時進行の記録装置３５へ記録している被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に対して編集起点情報を付加する。このとき、図５に示したシーン（ｖ）の例によれば、生体センサ部４５が発汗量判定閾値Ｈth１を越える発汗レベルＨｘの感情データＤ４５を検出したので、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集起点情報を付加する。映像＆音声処理部４４では、ＣＰＵ３２からの編集起点情報付加制御（ポイント設定制御）によって、記録時間情報Ｔにタイムコードとして時刻ｔｓをマーク（記述）するようになる。
【００８９】
そして、図７に示すステップＡ１０に移行してＣＰＵ３２はＨｘ≦Ｈthの判別処理を実行する。Ｈｘ≦Ｈthを判別した場合はステップＡ１１に移行して、ステップＡ４で同時進行している記録装置３５へ記録している被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に対して編集終点情報を付加する。このとき、図５に示したシーン（ｖ）の例によれば、生体センサ部４５が発汗量判定閾値Ｈth２を下回る発汗レベルＨｘの感情データＤ４５を検出したので、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集終点情報を付加するように映像＆音声処理部４４をポイント設定制御を実行する。
【００９０】
映像＆音声処理部４４では、ＣＰＵ３２からの編集終点情報付加制御（ポイント設定制御）によって、記録時間情報Ｔにタイムコードとして時刻ｔｅをマーク（記述）するようになる。このタイムコードとして時刻ｔｓと時刻ｔｅの間の動画シーンが特殊記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる（図５参照）。映像＆音声処理部４４では、記録時間情報Ｔにタイムコードとして時刻ｔｓと時刻ｔｅとをマーク（記述）する。このタイムコードとして時刻ｔｓと時刻ｔｅの間の動画シーンが特殊記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる（図５参照）。
【００９１】
その後、ステップＡ１２に移行して当該発汗量判定閾値曲線における監視時間が終了したか否かを判別する。この際の判別基準はタイマのカウントアップを以て終了する。監視時間が終了していない場合は、ステップＡ８に戻ってＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較してＨｘ＞Ｈthの判別処理を実行する。
【００９２】
図４及び図５に示した例によれば、第１及び第２の抽出シーンを編集できるタイムコードｔｓ，ｔｅが付加されている。このようにすると、操作者３０の指の発汗量に対応して固有の映像及び音声を抽出できるようになる。編集起点情報及び編集終点情報は例えば、記録時間情報Ｔに対してタイムコードとして設定（記述）される。このタイムコードの設定によって、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出できるようになる。上述の監視時間が終了した場合は、ステップＡ１４に移行する。
【００９３】
なお、上述のステップＡ３でノーマルモードが設定されている場合は、ステップＡ１３に移行して、ノーマルモードを実行する。ノーマルモードでは、編集終点情報や編集終点情報等を付加することなく、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とが記録装置３５に記録される。その後、ステップＡ１４に移行する。
【００９４】
ステップＡ１４で、ＣＰＵ３２は終了判断をする。例えば、撮影のストップスイッチを構成する押しボタンスイッチ１２が操作されたか否かを判別する。あるいは、電源オフ情報を検出した否かを判別する。ストップスイッチを構成する押しボタンスイッチ１２が操作された場合、又は、電源オフ情報が検出された場合は、動画記録処理を終了する。ストップスイッチを構成する押しボタンスイッチ１２が操作されていない場合及び、電源オフ情報が検出されていない場合は、ステップＡ３に戻って上述した処理を繰り返す。これにより、生体センサ部４５から得られた感情データＤ４５と撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて記憶装置３５へ動画記録処理できるようになる。
【００９５】
このように第１の実施例に係るビデオカメラ及び情報記録方法によれば、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報を処理する場合に、映像＆音収録部３１は、被写体の映像を撮影して映像データＤ３４を出力し、かつ、当該被写体の周囲の音を集音して音声データＤ１３を出力する。生体センサ部４５は、映像＆音収録部３１を操作する操作者３０の生体感情を検出して感情データＤ４５を出力する。これを前提にして、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けるように処理する。
【００９６】
従って、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を自動抽出することができ、ここで自動抽出される映像データＤ３４’及び音声データＤ１３’を編集した操作者固有の映像及び音声データファイルを容易かつ簡単に作成できるようになる。これにより、被写体映像の撮影途中でマニュアル操作によって編集起点や編集終点等を指定入力する場合に比べて格段に編集操作性を向上できるようになった。
【００９７】
続いて、ビデオカメラ１００における情報編集例について説明する。図８は、ビデオカメラ１００における情報編集例を示すフローチャートである。この例では、情報編集処理に関してノーマルモード又は自動編集モードが備えられ、自動編集モードが選択された場合は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４’及び音声データＤ１３’を抽出して繋ぎ合わせるようになされる。自動編集モードには、短目編集モード、中程編集モード及び長目編集モードの３種類が準備される場合を例に挙げる。
【００９８】
これらを編集処理条件にして、図８に示すフローチャートのステップＢ１でＣＰＵ３２は、モード設定入力処理を実行する。例えば、ノーマルモード又は自動編集モードの設定に関する操作データＤ１８を入力する。このとき、ユーザは、モードスイッチを構成する押しボタンスイッチ１２を操作して、ノーマルモード又は自動編集モードのいずれかを選択するようになされる。例えば、押しボタンスイッチ１２を操作して自動編集モードを選択すると、操作部１８からＣＰＵ３２には自動編集モードを示す操作データＤ１８が出力される。更に、自動編集モードを選択した場合には、短目編集モード、中程編集モード又は長目編集モードの中から１つのモードを選択できるようになされている。
【００９９】
ここに、短目編集モードとは、編集起点情報及び編集終点情報を付加した複数の区間部分の中から最も短い編集起点情報及び編集終点情報を付加した１つの区間部分の映像データＤ３４’及び音声データＤ１３’を抽出する動作をいう。中程編集モードとは、短目編集モードによって抽出された区間部分の映像データＤ３４’及び音声データＤ１３’を除く、他の区間部分の映像データＤ３４’及び音声データＤ１３’を繋ぎ合わせた編集動作をいう。長目編集モードとは、短目編集モードと中程編集モードとを合わせた編集動作をいい、例えば、編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４’及び音声データＤ１３’を全部繋ぎ合わせた編集動作をいう。
【０１００】
次に、ステップＢ２でＣＰＵ３２は編集スタートを待機する。このとき、ユーザは編集スタートを構成する押しボタンスイッチ１２を操作して、ＣＰＵ３２に編集処理開始を指示するようになされる。操作部１８はＣＰＵ３２に編集処理開始を指示する操作データＤ１８を出力する。
【０１０１】
操作部１８からＣＰＵ３２へ編集処理開始が指示された場合は、ステップＢ３でノーマル編集モード又は自動編集モードの設定によって制御を分岐する。上述のステップＢ１で自動編集モードが設定されている場合は、ステップＢ４に移行してＣＰＵ３２は、更に、短目編集モード、中程編集モード又は長目編集モードの設定に基づいて制御を分岐する。
【０１０２】
上述のステップＢ１で短目編集モードが設定されている場合は、ステップＢ４からステップＢ５へ移行して、ＣＰＵ３２は、アルゴリズムIIIを演算して短目編集モードを実行する。ここで、記録時間情報Ｔからタイムコードｔｓ，ｔｅを検出し、映像データＤ３４’及び音声データＤ１３’から、当該タイムコードｔｓ，ｔｅが付加された区間部分の映像データＤ３４’及び音声データＤ１３’を抽出する演算をｆとし、アルゴリズムIIIを演算して編集される抽出シーンをｆ（ＳIII）とする。
【０１０３】
ステップＢ６でＣＰＵ３２は抽出シーンｆ（ＳIII）に係る映像データＤ３４’及び音声データＤ１３’を記憶装置３５から読み出すようになされる。記憶装置３５から読み出した抽出シーンｆ（ＳIII）に係る映像データＤ３４’及び音声データＤ１３’を再生すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を再生することができ、操作者固有の映像データＤ３４７及び音声データＤ１３’を記録したメモリアルファイルを視聴できるようになる。その後、ステップＢ１２に移行する。
【０１０４】
また、上述のステップＢ１で中程編集モードが設定されている場合は、ステップＢ４からステップＢ７へ移行して、ＣＰＵ３２は、アルゴリズムIIを演算して中程編集モードを実行する。このとき、アルゴリズムIIを演算して編集される抽出シーンをｆ（ＳIII＋ＳII）とする。
【０１０５】
ステップＢ８でＣＰＵ３２は抽出シーンｆ（ＳIII＋ＳII）に係る映像データＤ３４’及び音声データＤ１３’を記憶装置３５から読み出すようになされる。記憶装置３５から読み出した抽出シーンｆ（ＳIII＋ＳII）に係る映像データＤ３４’及び音声データＤ１３’を再生すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点と、次に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’等を再生することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを視聴できるようになる。その後、ステップＢ１２に移行する。
【０１０６】
更に、上述のステップＢ１で長目編集モードが設定されている場合は、ステップＢ４からステップＢ９へ移行して、ＣＰＵ３２は、アルゴリズムＩを演算して長目編集モードを実行する。このとき、アルゴリズムＩを演算して編集される抽出シーンをｆ（ＳIII＋ＳII＋ＳＩ）とする。その後、ステップＢ１２に移行する。
【０１０７】
ステップＢ１０でＣＰＵ３２は抽出シーンｆ（ＳIII＋ＳII＋ＳＩ）に係る映像データＤ３４’及び音声データＤ１３’を記憶装置３５から読み出すようになされる。記憶装置３５から読み出した抽出シーンｆ（ＳIII＋ＳII＋ＳＩ）に係る映像データＤ３４’及び音声データＤ１３’を再生すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点と、次に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’と、更に、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点・・・等の抽出された全ての映像データＤ３４’及び音声データＤ１３’を再生することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを視聴できるようになる。その後、ステップＢ１２に移行する。
【０１０８】
なお、上述のステップＢ３でノーマルモードが設定されている場合は、ステップＢ１１に移行して、ＣＰＵ３２はノーマルモードを実行する。ノーマルモードでは、編集終点情報や編集終点情報等の付加に関係無く、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とが記録装置３５から順次読み出される。その後、ステップＢ１２に移行する。
【０１０９】
ステップＢ１２で、ＣＰＵ３２は終了判断をする。例えば、編集のストップスイッチを構成する押しボタンスイッチ１２が操作されたか否かを判別する。あるいは、電源オフ情報を検出した否かを判別する。ストップスイッチを構成する押しボタンスイッチ１２が操作された場合、又は、電源オフ情報が検出された場合は、編集処理を終了する。ストップスイッチを構成する押しボタンスイッチ１２が操作されていない場合及び、電源オフ情報が検出されていない場合は、ステップＢ１に戻って上述した処理を繰り返すようになされる。
【０１１０】
このような編集処理を実行すると、操作者３０が被写体の映像を撮影して得た映像データＤ３４及び、その周辺の音を集音して得た音声データＤ１３から、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を飛び飛びに繋ぎ合わせることができ、操作者固有の映像及び音声データファイルを作成できるようになる。しかも、短目編集モード、中程編集モード又は長目編集モードの設定に基づいて、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４’及び音声データＤ１３’を抽出して、３段階に分けて繋ぎ合わせるような編集処理を実行できるようになった。
【０１１１】
上述の実施例で被写体の映像データＤ３４及び音声データＤ１３から抽出し取得した映像データＤ３４’及び音声データＤ１３’から適切な場面をユーザが望む時間（または頻度）だけ、更に摘出する編集アルゴリズムを上述したアルゴリズムＩ，II及びIIIに組み合わせてもよい。よりユニークな感動シーンを編集したアルバムファイルを作成できるようになる。
【実施例２】
【０１１２】
図９は、第２の実施例としてのヘッドマウント型のビデオカメラ２００の構成例を示す斜視図である。
【０１１３】
この実施例では、ヘッドマウント型のビデオカメラ２００に、発汗センサ４５’の他に脈拍センサ２７及び血圧センサ２８を備え、情報処理部１５が、脈拍センサ２７から得られる脈拍情報と血圧センサ２８から得られる血圧情報とを演算して脈波伝達時間（ＷＴＴ）を求め、この脈波伝達時間に基づいて操作者３０が被写体の映像を撮影して得た映像データＤ３４及び、その周辺の音を集音して得た音声データＤ１３から、操作者３０が被写体映像撮影中に脳裏に印象が残る程、生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を抽出できるようにした。
【０１１４】
図９に示すヘッドマウント型のビデオカメラ２００は情報処理装置の他の一例を構成し、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する装置である。ビデオカメラ２００は、メガネ形状を構成する本体フレーム２０を有している。本体フレーム２０の左側には左メガネ吊る部２４ａが、図示しないヒンジを介して開閉自在に取り付けられ、その右側には右メガネ吊る部２４ｂが図示しないヒンジを介して開閉自在に取り付けられている。左メガネ吊る部２４ａの後部はＲ状を有して操作者３０の右耳に装着可能なようになされている。同様にして、右メガネ吊る部２４ｂの後部もＲ状を有して操作者３０の左耳に装着可能なようになされている。
【０１１５】
本体フレーム２０の前面左側にはマイクロフォン１３’（集音部）が組み込まれ、被写体の周囲の音を収録するようになされる。音をステレオ再生する場合は、２個のマイクロフォンが本体フレーム２０の左右側に取り付けられる。この例で、本体フレーム２０の前面右側にはカメラ３４’（撮像部）が組み込まれている。カメラ３４’は撮像レンズや、図示しないレンズ駆動機構、撮像素子等を有して構成される。撮像素子は、撮像レンズの後端に設けられ、撮像レンズやレンズ駆動機構等の撮影光学系によって導かれた被写体像を撮影するように動作する。
【０１１６】
本体フレーム２０の上面、下面及び側面には、電源スイッチ、モードスイッチ、ズームスイッチ、撮影スタート／ストップスイッチ等の種々の押しボタンスイッチ１２が設けられている。電源スイッチはビデオカメラ２００の電源をオン又はオフするスイッチである。モードスイッチは撮影時のノーマルモード又は特殊記録モードのいずれかを選択する際に操作される。ここに特殊記録モード及びノーマルモードは、第１の実施例で説明した通りである。
【０１１７】
この例では、情報出力部の機能の一例を構成する脈拍センサ２７、血圧センサ及び発汗センサ４５’が設けられ、当該ビデオカメラ２００を操作する操作者の生体感情を検出して生体感情報を出力するようになされる。脈拍センサ２７は、例えば、左メガネ吊る部２４ａの後端に設けられ、ヘッドマウント型のビデオカメラ２００を装着した操作者３０の脈拍数を時系列に検知して脈拍情報を発生する。
【０１１８】
この例で、左メガネ吊る部２４ａの後端と右メガネ吊る部２４ｂの後端との間には配線バンド４２が渡されている。配線バンド４２のほぼ中央部位には、血圧センサ２８が設けられ、当該ビデオカメラ２００を装着した操作者３０の血圧を時系列に検知して血圧情報を発生する。発汗センサ４５’については、図２で説明しているので、その説明を省略する。発汗センサ４５’は、当該発汗センサ４５’に触れている操作者の発汗量を検知して発汗レベルを示す生体感情報を情報処理＆通信部５０へ出力する。
【０１１９】
本体フレーム２０の左メガネ吊る部２４ａには情報処理＆通信部５０が設けられ、脈拍センサ２７から得られる脈拍情報と血圧センサ２８から得られる血圧情報とを演算して脈波伝達時間を求める。ここに脈波伝達時間とは、脈拍変化が有った時刻から、この脈拍変化が血圧変化に反映する時刻に至るまでの時間をいう。
【０１２０】
更に、本体フレーム２０の前面左右には、左表示部２９ａ及び右表示部２９ｂが図示しないヒンジ部を介して開閉回転可能に連結され、カメラ３４’で撮像した被写体映像を表示するようになされる。例えば、左右表示部２９ａ，２９ｂには撮影中の映像や、再生時の映像を表示する。左右表示部２９ａ，２９ｂには、例えば、１.０乃至２．０インチ程度のカラー液晶表示装置が使用される。
【０１２１】
本体フレーム２０の右メガネ吊る部２４ｂには、バッテリー＆記憶装置４３が設けられる。バッテリー＆記憶装置４３は、図示しないバッテリー及び、記憶装置を有して構成される。バッテリーは、脈拍センサ２７、血圧センサ２８、左右表示部２９ａ，２９ｂ、カメラ３４’、記憶装置及び発汗センサ４５’及び情報処理＆通信部５０等に直流電源を供給するようになされる。記憶装置は、ノーマルモード又は特殊記録モードによって得られた被写体の映像情報及び当該被写体の周囲の音情報を記録するようになされる。
【０１２２】
本体フレーム２０の前面中央部位には外部インターフェース４１が設けられ、外部機器からの映像＆音声用のコネクタや、通信ケーブル類が接続可能なようになされている。外部インターフェース４１は外部機器へ映像＆音声出力する際に使用され、通信ケーブル用の端子は、外部機器と通信する際に使用される。
【０１２３】
上述の他に、左メガネ吊る部２４ａ及び右メガネ吊る部２４ｂには振動アクチュエータ２５が設けられ、入力確定時に振動アクチュエータ２５を駆動して触覚を提示するようになされる。更に、左メガネ吊る部２４ａ及び右メガネ吊る部２４ｂには振動アクチュエータ２５の他に１対のイヤホン３６ｂが設けられ、左右のスピーカーとして機能するようになされている。例えば、左側のイヤホン３６ｂは、左メガネ吊る部２４ａの後部Ｒ状部位から垂下するように、操作者３０の右耳穴に対峙するように配設されている。同様にして、右側のイヤホン３６ｂは、右メガネ吊る部２４ｂの後部Ｒ状部位から垂下するように、操作者３０の左耳穴に対峙するように配設されている。
【０１２４】
続いて、脈拍センサ２７について説明する。図１０は、脈拍センサ２７の構成例を示す断面図であり、図１１はその内部構成例を示すブロック図である。図１０に示す光学式の脈拍センサ２７は時計に組み込み可能なものであって、基板７１、発光ダイオード７２及びフォトトラジスタ７３、光選択フィルタ７４、ガラス７５を有して構成され、脈動による指先等の毛細血管中の血液濃度変化を利用して脈拍数を測定するようになされる。
る。
【０１２５】
基板７１上には発光ダイオード７２及びフォトダイオード７３が配置される。発光ダイオード７２及びフォトダイオード７３の上方には光選択フィルタ７４が配置される。光選択フィルタ７４には赤外光が通過可能な赤色フィルタが使用される。光選択フィルタ７４の上方にはガラス７５が配置される。この部材にはガラス７５に替えて、透明性のアクリル樹脂を使用してもよい。ガラス７５上には操作者の指３０ａが触れられるが、この例では操作者３０の耳脇こめかみ等が触れる構造を有している。
【０１２６】
脈拍センサ２７では発光ダイオード７２から出射された光が光選択フィルタ７４を通過する。光選択フィルタ７４を通過した赤外光は、操作者の耳脇のこめかみ等に反射する。こめかみ等の毛細血管（静脈）を反射した反射光は、外光と共に光選択フィルタ７４を通過して、フォトダイオード７３で受光される。このとき、外光が指先や、こめかみ等の毛細血管を通過するとき、その通過光が血液の脈動によって変化する。例えば、血液濃度が濃くなったり、薄くなったりする。この濃度変化量を電気信号に変換して検出する。この外光の光量（外光量）に応じて検出レベルを自動設定すると、広範囲な外光量に対応して操作者の脈拍を測定できるようになる。
【０１２７】
図１１に示す脈拍センサ２７の内部回路は、ＭＯＳ−Ｔｒ７６、バンド・エルミネート・フィルタ（Band Eliminate Filter：以下ＢＥＦ回路７７という）及び脈拍センサブロック７８を有して構成される。脈拍センサブロック７８は発光ダイオード７２及びフォトトランジスタ７３を有して構成される。発光ダイオード７２のアノード及びフォトトランジスタ７３のコレクタは接地（ＧＮＤ）されている。
【０１２８】
発光ダイオード７２のカソードは、電源線ＶＤＤに接続されている。フォトトランジスタ７３のエミッタはＭＯＳ−Ｔｒ７６のソース及びＢＥＦ回路７７に接続され、ＭＯＳ−Ｔｒ７６のドレインは電源線ＶＤＤに接続されている。ＭＯＳ−Ｔｒ７６にはｎ型の電界効果トランジスタが使用される。ＭＯＳ−Ｔｒ７６のゲートには負帰還回路を構成するＢＥＦ回路７７が接続され、この外光量に応じた血液の濃度変化量を成す脈拍検知信号Ｓ２７の出力レベルを自動的にゲートに負帰還して、操作者の脈拍を安定して測定できるようになされている。以下で、脈拍検知信号Ｓ２７をアナログ・デジタル変換した情報を脈拍検知データＤ２７という。アナログ・デジタル変換機能は、脈拍センサ２７の内部に設けても、ＣＰＵ３２の内部に設けてもよい。
【０１２９】
続いて、血圧センサ２８について説明する。図１２は、血圧センサ２８の構成例を示すブロック図である。図１２に示す光学式の血圧センサ２８は時計に組み込み可能なものであって、指尖脈波検出ブロックを構成する。この例で、血圧センサ２８は家庭用血圧計（オシロメトリック方式）のようなカフを用いて最高血圧及び最低血圧を測定するものまで必要としていないので、脈拍センサ２７とほぼ同様な構造の血圧センサ２８を用いることができ、脈波伝達時間を測定するために、脈拍センサ２７と血圧センサ２８とが各々離れた位置に配設することが好ましい。
【０１３０】
ビデオカメラ２００に適用可能な血圧センサ２８は、フォトセンサ８１、センサドライバ８２、サンプルホールド回路８３、スイッチト・キャパシタ・フィルタ＆ローパスフィルタ回路（ＳＣＦ＆ＬＰＦ回路８４という）、メインアンプ８５、センサコントローラ８６、４ビットＡＤコンバータ（以下ＡＤＣ回路８７という）、４ビットＤＡコンバータ（以下ＤＡＣ回路８８という）及びコンパレータ８９を有して構成され、血圧上昇点を測定して脈波到達時間を得るようになされる。
る。
【０１３１】
フォトセンサ８１は、図１１に示した脈拍センサブロック７８にほぼ等しい構成を有しているので、その説明を省略する。
【０１３２】
フォトセンサ８１にはセンサドライバ８２及びサンプルホールド回路８３が接続されている。センサドライバ８２は、所定の電圧をフォトセンサ８１に印加して駆動する。フォトセンサ８１は操作者の血圧脈動を検知して血圧脈動信号Ｓ８１を出力する。フォトセンサ８１には、サンプルホールド回路８３が接続され、血圧脈動信号Ｓ８１をサンプリングして血圧検知電圧Ｖ８３を保持し出力する。
【０１３３】
サンプルホールド回路８３にはＳＣＦ＆ＬＰＦ回路８４が接続され、血圧検知電圧Ｖ８３に含まれた高周波ノイズを除去する。ＳＣＦ＆ＬＰＦ回路８４にはメインアンプ８５が接続され、ノイズ除去後の血圧検知電圧Ｖ８３を増幅して血圧上昇点を示す信号（以下血圧信号Ｓ８５という）を出力する。センサドライバ８２、ＳＣＦ＆ＬＰＦ回路８４及びメインアンプ８５にはセンサコントローラ８６が接続され、これらのセンサドライバ８２、ＳＣＦ＆ＬＰＦ回路８４及びメインアンプ８５の入出力を制御する。
【０１３４】
メインアンプ８５にはＡＤＣ回路８７及びコンパレータ８９が接続されている。コンパレータ８９には、ＤＡＣ回路８８が接続されている。ＤＡＣ回路８８には切出しレベルを決定する４ビットの脈拍検知データＤ４５が入力される。ＤＡＣ回路８８は脈拍検知データＤ４５をデジタル・アナログ変換した脈拍検知信号Ｓ８８をコンパレータ８９に出力する。ＡＤＣ回路８７はメインアンプ８５から出力される血圧信号Ｓ８５の信号振幅を監視するようになされる。ＡＤＣ回路８７は血圧信号Ｓ８５をアナログ・デジタル変換して血圧検知データＤ８７を出力する。血圧検知データＤ８７には操作者の血圧の最大値等が含まれる。
【０１３５】
コンパレータ８９はメインアンプ８５から出力される血圧信号Ｓ８５と、ＤＡＣ回路８８から出力される脈拍検知信号Ｓ８８とを比較して脈波伝達時間（ＷＴＴ）を示す差分信号Ｙを出力する。この差分信号Ｙはアナログデジタル変換した後のデータをＹで示す。これにより、外環境ノイズから血圧信号Ｓ８５の弁別を行いながら、脈波伝達時間（ＷＴＴ）を示すデータＹを出力できるようになる。
【０１３６】
図１３Ａ及びＢは、血圧検知例、脈拍検知例及び脈波伝達時間の算出例を示すグラフ図である。
図１３Ａに示す血圧検知例において、横軸は時間であり、縦軸は血圧である。血圧とは、心臓のポンプ作用によって全身に血液が送り出されるとき、血管の壁に与える圧力をいう。図１３Ａに示す血圧検知例によれば、経過時間と共に最高血圧及び最低血圧が交互に繰り返されている。最高血圧とは、心臓が血液を送り出すために収縮したときの血圧（収縮期血圧）をいう。最低血圧とは、心臓が血液を溜めるために拡張したときの血圧（拡張期血圧）をいう。
【０１３７】
図１３Ｂに示す脈拍検知例において、横軸は時間であり、縦軸は脈拍の強さである。脈拍とは、心臓が血液を送り出す際に、動脈に生じる拍動をいう。この拍動の回数を数えると脈拍数が得られる。一定の時間内に心臓が拍動する回数を心拍数（heart rate）といい、通常は1分間の拍動の数（bpm：beats per minute）で表される。
【０１３８】
図１３Ｂに示す脈拍検知例によれば、ピークパルス（尖頭パルス）に示す部分が拍動を示している。脈拍は心電図によって表される。図中に示すＷＴＴは脈波伝達時間（pluse-Ｗave Transfer Time）であり、脈拍変化が血液の変化に反映されるまでの時間をいう。例えば、拍動のピークを検知した時刻ｔ１から血圧の上昇起点時刻ｔ２に至る時間をいう。一般に、人が感動したとき、興奮や緊張等したときに、脈波伝達時間（以下ＷＴＴという）が早くなることが知られている。
【０１３９】
そこで、第２の実施例ではＷＴＴを用いて生体感情を抽出するようにした。まず、第１の実施例と同様にして発汗量の差分（変化率）を算出する。この差分と、ある閾値とを比較し、この閾値を越える差分が検出された場合に、当該画像シーンを抽出シーンの対象とする。そして、ある時間のＷＴＴをデータＹとし、発汗量の時間変化に相当する単位の定数を閾値Ｂとしたとき、（２）式、すなわち、
Ｙ＜Ｂ ・・・・・（２）
を判別する。これにより、現在、人が感動している、興奮や緊張等しているをＣＰＵ３２で判別できるようになる。
【０１４０】
図１４は、ビデオカメラ２００の制御系の構成例を示すブロック図である。図１４に示すビデオカメラ２００は、左メガネ吊る部２４ａ、右メガネ吊る部２４ｂの内部及び、本体フレーム２０の内部に各機能ブロックを実装して構成される。なお、図９〜図１２に示した各部と対応する部分は、同一符号で示している。
【０１４１】
ビデオカメラ２００は、操作部１８、表示部２９ａ，２９ｂ、映像＆音収録部３１’、記憶装置３５、外部インターフェース４１、生体センサ部４５及び情報処理＆通信部５０を有して構成される。情報処理＆通信部５０は通信部１９、ＣＰＵ３２、メモリ部３７及び映像＆音声処理部４４を有している。
【０１４２】
ＣＰＵ３２は第１の実施例と同様にして、システムプログラムに基づいて当該ビデオカメラ全体を制御するようになされる。メモリ部３７は図示しないＲＯＭ、ＲＡＭ及びＥＥＰＲＯＭ等を有している。メモリ部３７のＲＯＭ又はＥＥＰＲＯＭには当該ビデオカメラ全体を制御するためのシステムプログラムを成すデータＰＤが格納される。図示しないＲＡＭはワークメモリとして使用される。ＣＰＵ３２は電源オンと共に、ＲＯＭ又はＥＥＰＲＯＭからシステムプログラムを成すデータＰＤを読み出してＲＡＭに展開し、当該システムを立ち上げてビデオカメラ全体を制御するようになされる。
【０１４３】
メモリ部３７のＲＯＭ又はＥＥＰＲＯＭにはシステムプログラムの他に特殊記録モードを実行するためのプログラムが記述されている。この特殊記録モード用のプログラムは、コンピュータが読み取り可能なプログラムであって、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を操作者３０の生体感情、この例では、発汗、脈拍及び血圧に基づいて動画記録処理するためのプログラムである。その内容は、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像＆音収録部３１’を操作する操作者３０の発汗や、脈拍、血圧等の生体感情を検出して生体感情報を作成するステップと、ここに作成された生体感情報と撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを記述したものである。
【０１４４】
このようなプログラムを成すデータＰＤ’をＲＯＭ又はＥＥＰＲＯＭから読み出して実行すると、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、ＣＰＵ３２は、操作者３０の生体感情を検出して生成された脈波伝達時間を示すデータＹと、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【０１４５】
この例で、ＣＰＵ３２には情報出力部の機能を一例を構成する生体センサ部４５を構成する発汗センサ４５’、脈拍センサ２７及び血圧センサ２８が接続される。ＣＰＵ３２は、発汗センサ４５’から出力される発汗検知データＤ４５’、脈拍センサ２７から出力される脈拍検知データＤ２７、血圧センサ２８から出力される血圧検知データＤ８７を入力し、これらの発汗検知データＤ４５’、脈拍検知データＤ２７及び血圧検知データＤ８７から演算される脈波伝達時間を示すデータＹと、映像＆音収録部３１’から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けるように処理する。
【０１４６】
この例で、発汗センサ４５’から出力される発汗検知データＤ４５’は、第１の実施例と同様にして発汗量の差分（変化率）を算出する。この差分と、ある閾値とを比較し、この閾値を越える差分が検出された場合に、当該画像シーンにおける抽出シーンの対象を決定するために使用される。
【０１４７】
血圧センサ２８は、映像＆音収録部３１’を操作する操作者３０の血圧を検出して血圧検知データＤ８７を出力する。例えば、血圧センサ２８には図１２に示した指尖脈波検出ブロックを実装した光学式の血圧センサが使用され、映像＆音収録部３１’を操作する操作者３０の血圧を時系列に検知し、更に、脈拍センサ２７からの脈拍検知データＤ２７を入力して脈波伝達時間を示すデータＹを演算してＣＰＵ３２へ出力するようになされる。
【０１４８】
この例ではＣＰＵ３２は、血圧センサ２８から出力される脈波伝達時間を示すデータＹと、当該データＹの判別基準となる脈波伝達時間判定用の閾値Ｂとを比較する。脈波伝達時間判定用の閾値Ｂは判別基準情報の一例を成している。この比較結果で、例えば、血圧センサ２８が脈波伝達時間判定用の閾値Ｂを下回る脈波伝達時間を示すデータＹを検出したとき、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集起点情報を付加する。その後、ＣＰＵ３２は脈波伝達時間判定用の閾値Ｂを越える脈波伝達時間を示すデータＹを検出したとき、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集終点情報を付加するように映像＆音声処理部４４をポイント設定制御を実行する。
【０１４９】
映像＆音声処理部４４は、第１の実施例と同様にして、ＭＰＥＧ−１規格に準拠して映像データＤ３４を圧縮処理して記憶装置３５に記録する。ＭＰＥＧ−１規格に準拠した圧縮処理によれば、映像の中の動く部分だけを検出し保存するようにデータを圧縮する。圧縮処理はＭＰＥＧ−１に限られることはなく、ハイビジョン対応のＭＰＥＧ２からＭＰＥＧ−４までの各規格や、現在標準化進行中のＭＰＥＧ−７規格であってもよい。
【０１５０】
この例で、メモリ部３７は脈波伝達時間判定用の閾値Ｂを記憶する。例えば、閾値Ｂはトリガーパラメータとしてメモリ部３７に設けられたＲＯＭ等に予め格納される。メモリ部３７のＲＡＭは、ＣＰＵ３２のメモリ制御を受けて、脈波伝達時間を示すデータＹを入力し、予め設定された脈波伝達時間判定用の閾値Ｂと、データＹから得られる脈波伝達時間（ＷＴＴ）とを比較し、Ｙ＜Ｂの判定処理や、Ｙ≧Ｂ等の判定処理を実行する。もちろん、閾値Ｂは一義的な定数に限られることはなく、二次関数的に変化するものであってもよい。
【０１５１】
このようにすると、操作者３０の発汗、脈拍及び血圧に対応して固有の映像及び音声を抽出できるようになる。編集起点情報及び編集終点情報は、第１の実施例と同様にして、記録時間情報に対してタイムコードとして設定（記述）される。このタイムコードの設定によって、操作者３０が被写体映像撮影中に脈拍数が増加し血圧が上昇して生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出できるようになる。
【０１５２】
ＣＰＵ３２には通信部１９が接続され、外部機器と通信するようになされる。例えば、通信部１９には無線通信装置が使用される。ＣＰＵ３２は、編集処理に基づいて抽出し繋ぎ合わせた被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を通信部１９を介してベースステーション等に無線配信する。このような無線配信処理を実行すると、操作者３０が被写体映像撮影中に脈拍数が増加し血圧が上昇して生体感情が高まった時点の映像データＤ３４及び音声データＤ１３をベースステーション等のモニタに表示したり、ベースステーションの通信部を利用して他の情報処理系へ配信することができ、第１の実施例と同様にして操作者固有の映像データＤ３４及び音声データＤ１３を記録したファイル（アルゴリズム）をインターネット等を介して他のユーザにダウンロードできるようになる。
【０１５３】
操作部１８はＣＰＵ３２に接続され、図示しない電源スイッチ、モードスイッチ、ズームスイッチ、撮影スタート／ストップスイッチ等の押しボタンスイッチ１２が押下されることで発生した操作データＤ１８をＣＰＵ３２に出力する。映像＆音収録部３１’は、マイクロフォン１３’及びカメラ３４’を有して構成される。マイクロフォン１３’は映像＆音声処理部４４に接続され、被写体の周囲の音を集音して得た音声信号Ｓinを出力する。映像＆音声処理部４４はマイクロフォン１３’から出力される音声信号Ｓinをアナログ・デジタル変換して音声データＤ１３を記憶装置３５へ出力する。マイクロフォン１３’には第１の実施例で説明したものが使用される。カメラ３４’は映像＆音声処理部４４に接続され、被写体の映像を撮影して得た映像データＤ３４を出力する。カメラ３４’は撮像レンズ、撮像素子、レンズ駆動機構から構成される。
【０１５４】
上述のＣＰＵ３２には記憶装置３５が接続され、特殊記録モード時、操作者３０の発汗、脈拍及び血圧等の生体感情を検出して生成された脈波伝達時間を示すデータＹと、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けた記録情報を格納するようになされる。記憶装置３５にはハードディスク装置や、メモリカード等の不揮発性メモリが使用される。
【０１５５】
上述の映像＆音声処理部４４には左表示部２９ａ及び右表示部２９ｂが接続され、映像表示信号Ｓ２９に基づいて撮影中の映像や再生時の映像を表示するようになされる。映像＆音声処理部４４にはイヤホン３６’が接続され、音声信号Ｓ３６に基づいて撮影中の被写体周辺の音や再生時の音声等を出力する。イヤホン３６’は左メガネ吊る部２４ａ及び右メガネ吊る部２４ｂの所定の位置に設けられる。映像＆音声処理部４４には外部インターフェース４１が接続され、映像＆音声信号等を外部機器へ出力するようになされる。
【０１５６】
図１５及び図１６は、ヘッドマウント型のビデオカメラ２００における撮影フォーマット例（その１，２）を示す動作タイミングチャートである。この例では操作者３０の頭部での発汗、脈拍及び血圧の変化に対応して固有の映像及び音声を抽出できるようにすると共に、編集起点情報及び編集終点情報を記録時間情報に対してタイムコードとして設定（記述）するようにした。
【０１５７】
図１５Ａ及び図１６Ａは記録時間情報Ｔを示している。記録時間情報Ｔとは、スタートスイッチを押下して映像データＤ３４を取り込み、記憶装置３５に記録している時間をいう。図１５Ｂ及び図１６Ｂに示す動画シーンは、第１の実施例と同様にして、被写体の動きを代表する８つのシーン（ｉ）〜(viii)である。動画シーンのサンプリング頻度は１／３０秒である。すなわち、カメラ３４’は１秒間に３０コマ（ＮＴＳＣ方式）の映像を取得する。この例では運動会で被写体が”かけっこ”をする映像を、操作者３０が撮影している場合である。
【０１５８】
図１５Ｂに示すシーン（ｉ）は第１の実施例と同様にして、出番を待っている被写体の映像である。シーン（ii）及び(iii）はいよいよ出番が回ってきて、被写体がスタートラインに移動する際の映像である。シーン（iv）はスタートラインに立った被写体の映像である。更に、図１６Ｂに示すシーン（ｖ）はスターターが号砲を打った瞬間の映像である。シーン（vi）は被写体がスタートして、駆け足を始めた際の映像である。シーン（vii）は勢い余って被写体が転んだ状態の映像である。シーン（viii）は被写体が泣きながらゴールに到着した映像である。
【０１５９】
図１５Ｃに示す波形は被写体周囲収録時の音声信号である。被写体周囲の音声はマイクロフォン１３’が収録する。この例では運動会の”かけっこをする被写体周辺の音を収録している場合である。例えば、シーン（ｉ）〜（iv）に対応する音情報は、運動会特有の行進曲や周囲のざわめき音が収録される。更に、図１６Ｃに示すシーン（ｖ）に対応する音情報は、スターターが号砲を打った瞬間の”バ〜ン”等と共にシーン（vi）に対応して応援者により声援が収録される。シーン（vii）に対応する音情報は、例えば、被写体に対して”さあ〜起き上がってがんばれ”のような声援が収録される。シーン（viii）に対応する音情報は、例えば、被写体がゴールした行動に対して安堵のどよめき声が収録される。
【０１６０】
図１５Ｄに示す波形は、血圧検知データＤ８７から得られる血圧波形であって、当該ビデオカメラ２００を持って被写体を撮影する操作者の血圧の経時的変化を示している。図１５Ｅに示す波形は、脈拍検知データＤ２７から得られる脈動波形であって、当該ビデオカメラ２００を持って被写体を撮影する操作者の脈拍の経時的変化を示している。図１５Ｅにおいて、データＹは脈波伝達時間（ＷＴＴ）であって、例えば、拍動のピークを検知した時刻ｔ１から血圧の上昇起点時刻ｔ２に至る時間である。
【０１６１】
この例で、シーン（ｉ）〜（iv）に対応する血圧は、ほとんど経時的変化が無く安定しており、また、シーン（ｉ）〜（iv）に対応する脈拍も、ほとんど経時的変化が無く安定している場合を示している。すなわち、脈波伝達時間を示すデータＹは、図１５Ｆに示すように、いずれも、脈波伝達時間判定用の閾値Ｂ以上である。
【０１６２】
ところが、図１６Ｄに示すシーン（ｖ）では、被写体がスタートラインに立った直後から、操作者の脈拍が増加すると共に血圧が増加し始め、スターターが号砲を打った瞬間に例えば、そのピークを迎えている。この際の脈波伝達時間を示すデータＹは、シーン（ｉ）〜（iv）の場合の脈波伝達時間を示すデータＹよりも短くなっている。シーン（vi）で被写体がスタートして、駆け足を始めた当たりから、徐々に脈拍及び血圧も正常時に戻ってくる。この際の脈波伝達時間を示すデータＹは、シーン（ｉ）〜（iv）の場合の脈波伝達時間を示すデータＹとほぼ等しくなっている。
【０１６３】
しかし、シーン（vii）で勢い余って被写体が転んだ状態となると、再び、操作者の脈拍及び血圧が増加し始め、被写体が立ち上がった瞬間に、例えば、そのピークを迎えている。この際の脈波伝達時間を示すデータＹは、シーン（ｉ）〜（iv）の場合の脈波伝達時間を示すデータＹよりも短くなっている。そして、徐々に脈拍及び血圧も正常時に戻ってくる。この例で、シーン（viii）で被写体が泣きながらゴールに到着した時点では、操作者の脈拍及び血圧は、最初と同じ状態に戻っている。
【０１６４】
なお、当該ビデオカメラ２００を持って被写体を撮影する操作者の発汗量の経時的変化については、図４Ｄ及び図５Ｄを参照されたい。このような操作者の感情変化に対して発汗量、脈拍及び血圧が増加し、その発汗量、脈拍及び血圧は経過時間と共に正常時へ戻ることが知られている。
【０１６５】
この例では、第１の実施例と異なり、脈波伝達時間判定用の閾値Ｂは特殊記録モードの起動と共に一義的に設定される。図１６Ｄに示すシーン（ｖ）で操作者の脈拍及び血圧変化に伴う脈波伝達時間を示すデータＹは脈波伝達時間判定用の閾値Ｂを下回っている。このデータＹが閾値Ｂを下回った時刻ｔｓがタイムコードを成すと共に動画シーンを編集する際の編集起点情報となされる。
【０１６６】
更に時間が経過して、図１６Ｄに示すシーン（vi）で操作者の脈拍及び血圧が正常時に戻ってデータＹが閾値Ｂ以上になっている。このデータＹが閾値Ｂを越えた時刻ｔｅがタイムコードを成すと共に動画シーンを編集する際の編集終点情報となされる。この第１のタイムコードの時刻ｔｓと時刻ｔｅとの間の動画シーンが第１の実施例と同様にして、特殊記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる。
【０１６７】
この例では、更に、時間が経過して、図１６Ｄに示すシーン（vii）で操作者の脈拍及び血圧が増加して、データＹが閾値Ｂを下回っている。この脈拍及び血圧変化に伴うデータＹが閾値Ｂを下回った時刻ｔｓがタイムコードを成すと共に動画シーンを編集する際の編集起点情報となされる。更に、時間が経過して、図１６Ｄに示すシーン（vii）で操作者の脈拍及び血圧が正常時に戻って、データＹが閾値Ｂ以上となっている。この脈拍及び血圧変化に伴うデータＹが閾値Ｂを越えた時刻ｔｓがタイムコードを成すと共に動画シーンを編集する際の編集終点情報となされる。この第２のタイムコードの時刻ｔｓと時刻ｔｅとの間の動画シーンが第１の実施例と同様にして特殊記録モードにおける第２の抽出（摘出）シーンＳＶii（編集映像＋音情報）となる。なお、感情変化に対して寄与するパラメータＦの寄与率を表１に示している。
【０１６８】
【表１】
【０１６９】
表１によれば、感情変化に対して寄与するパラメータＦについて、心拍数は寄与率が０．９４，血圧は同１．０６，ＷＴＴは同１．３０、体温は同０．４４，発汗量は同１．９３である。この例では発汗量＞ＷＴＴ＞血圧＞心拍数なる関係を得ている。
【０１７０】
続いて、本発明に係る第２の情報処理方法について説明する。図１７は、ビデオカメラ２００における情報記録例を示すフローチャートである。
【０１７１】
この例では、ヘッドマウント型のビデオカメラ２００で被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する場合を前提とする。生体センサ部４５には図１４に示したような発汗センサ４５’、脈拍センサ２７及び血圧センサ２８が使用される。ＣＰＵ３２は、生体センサ部４５から出力される発汗検知データＤ４５’、脈拍検知データＤ２７及び血圧検知データＤ８７に基づく脈波伝達時間を示すデータＹと映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けるように処理する。
【０１７２】
これらを前提にして、図６に示すフローチャートのステップＣ１でＣＰＵ３２は、モード設定入力処理を実行する。例えば、ノーマルモード又は特殊記録モードの設定に関する操作データＤ１８を入力する。このとき、ユーザは、モードスイッチを構成する押しボタンスイッチ１２を操作して、ノーマルモード又は特殊記録モードのいずれかを選択するようになされる。例えば、押しボタンスイッチ１２を操作して特殊記録モードを選択すると、操作部１８からＣＰＵ３２には特殊記録モードを示す操作データＤ１８が出力される。
【０１７３】
次に、ステップＣ２でＣＰＵ３２はスタートを待機する。このとき、ユーザは撮影スタートを構成する押しボタンスイッチ１２を操作して、ＣＰＵ３２に動画記録処理開始を指示するようになされる。操作部１８はＣＰＵ３２に動画記録処理開始を指示する操作データＤ１８を出力する。
【０１７４】
操作部１８からＣＰＵ３２へ動画記録処理開始が指示された場合は、ステップＣ３でノーマルモード又は特殊記録モードの設定によって制御を分岐する。上述のステップＣ１で特殊記録モードが設定されている場合は、ステップＣ４でＣＰＵ３２は、被写体の映像及びその周辺の音情報を取得するように映像＆音収録部３１’を制御して記録開始処理に移行する。このとき、映像＆音収録部３１’は、被写体の映像を撮影して映像データＤ３４を取得し、かつ、当該被写体の周囲の音を集音して音声データＤ１３を取得する。映像＆音声処理部４４では、例えば、ＭＰＥＧ−１規格に準拠して、映像の中の動く部分だけを検出し圧縮処理した映像データＤ３４を記憶装置３５に記録する。
【０１７５】
これと並行して、ステップＣ５でＣＰＵ３２は当該ビデオカメラ２００を操作する操作者３０の発汗や、脈拍、血圧等の生体感情を検出して脈波伝達時間を示すデータＹを作成するように血圧センサ部２８を制御する。血圧センサ部２８は、この制御を受けて、映像＆音収録部３１’を操作する操作者３０の血圧を検出して血圧検知データＤ８７をＣＰＵ３２に出力する。このとき、血圧センサ２８は映像＆音収録部３１’を操作する操作者３０の血圧を時系列に検知し、更に、脈拍センサ２７からの脈拍検知データＤ２７を入力して脈波伝達時間を示すデータＹを演算してＣＰＵ３２へ出力するようになされる。
【０１７６】
次に、ステップＣ６に移行して、ＣＰＵ３２は、血圧センサ２８から出力される脈波伝達時間を示すデータＹと当該データＹの判別基準となる脈波伝達時間判別用の閾値Ｂとを比較してＹ＜Ｂの判別処理を実行する。メモリ部３７ではＣＰＵ３２のメモリ制御を受けて、データＹを入力し、予め設定された閾値Ｂと、データＹから得られる脈波伝達時間（ＷＴＴ）とを比較する。
【０１７７】
Ｙ＜Ｂなる判別結果を得た場合はステップＣ７に移行して、ＣＰＵ３２はステップＣ４で同時進行の記録装置３５へ記録している被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に対して編集起点情報を付加する。このとき、図１６に示したシーン（ｖ）の例によれば、血圧センサ２８が閾値Ｂを越える脈波伝達時間を示すデータＹを検出したので、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集起点情報を付加する。映像＆音声処理部４４では、ＣＰＵ３２からの編集起点情報付加制御（ポイント設定制御）によって、記録時間情報Ｔにタイムコードとして時刻ｔｓをマーク（記述）するようになる。
【０１７８】
そして、ステップＣ８に移行してＣＰＵ３２はＹ≧Ｂの判別処理を実行する。Ｙ≧Ｂを判別した場合はステップＣ９に移行して、ステップＣ４で同時進行している記録装置３５へ記録している被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に対して編集終点情報を付加する。このとき、図１６に示したシーン（ｖ）の例によれば、血圧センサ２８が閾値Ｂ以上の脈波伝達時間を示すデータＹを検出したので、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に編集終点情報を付加するように映像＆音声処理部４４をポイント設定制御を実行する。
【０１７９】
映像＆音声処理部４４では、ＣＰＵ３２の編集終点情報付加制御（ポイント設定制御）によって、記録時間情報Ｔにタイムコードとして時刻ｔｅをマーク（記述）するようになる。このタイムコードとして時刻ｔｓと時刻ｔｅの間の動画シーンが特殊記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる（図１６参照）。そして、ステップＣ１１に移行する。
【０１８０】
なお、上述のステップＣ３でノーマルモードが設定されている場合は、ステップＣ１０に移行して、ノーマルモードを実行する。ノーマルモードでは、編集終点情報や編集終点情報等を付加することなく、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とが記録装置３５に記録される。その後、ステップＣ１１に移行する。
【０１８１】
ステップＣ１１で、ＣＰＵ３２は終了判断をする。例えば、撮影のストップスイッチを構成する押しボタンスイッチ１２が操作されたか否かを判別する。あるいは、電源オフ情報を検出した否かを判別する。ストップスイッチを構成する押しボタンスイッチ１２が操作された場合、又は、電源オフ情報が検出された場合は、動画記録処理を終了する。ストップスイッチを構成する押しボタンスイッチ１２が操作されていない場合及び、電源オフ情報が検出されていない場合は、ステップＣ３に戻って上述した処理を繰り返す。これにより、血圧センサ２８から得られた脈波伝達時間を示すデータＹと、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて記憶装置３５へ動画記録処理できるようになる。
【０１８２】
図１５及び図１６に示した例によれば、第１及び第２の抽出シーンを編集できるタイムコード（時刻）ｔｓ，ｔｅが付加されている。このようにすると、操作者３０の発汗、脈拍及び血圧に対応して固有の映像及び音声を抽出できるようになる。編集起点情報及び編集終点情報は例えば、記録時間情報Ｔに対してタイムコードとして設定（記述）される。
【０１８３】
このように第２の実施例に係るビデオカメラ及び情報記録方法によれば、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報を処理する場合に、映像＆音収録部３１’は、被写体の映像を撮影して映像データＤ３４を出力し、かつ、当該被写体の周囲の音を集音して音声データＤ１３を出力する。血圧センサ２８は、映像＆音収録部３１’を操作する操作者３０の生体感情を検出して脈波伝達時間を示すデータＹを出力する。これを前提にして、ＣＰＵ３２で血圧センサ２８から出力されるデータＹと映像＆音収録部３１’から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けるように処理できるようになった。
【０１８４】
従って、操作者３０が被写体映像撮影中に脈拍数が増加し血圧が上昇して生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出できるようになり、ここで自動抽出される映像データＤ３４及び音声データＤ１３を編集した操作者固有の映像及び音声データファイルを容易かつ簡単に作成できるようになった。これにより、被写体映像の撮影途中でマニュアル操作によって編集起点や編集終点等を指定入力する場合に比べて格段に編集操作性を向上できるようになった。
【０１８５】
この実施例では、脈拍センサ２７及び血圧センサ２８を用いて、生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出する場合について説明したが、これに限られることはなく、脈拍センサ２７や血圧センサ２８等に替えて脳波センサを用いて生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出するようにしても同様な効果が得られる。
【実施例３】
【０１８６】
図１８は、第３の実施例としてのデジタルカメラ３００の構成例を示す斜視図である。
図１８に示すデジタルカメラ３００は情報処理装置の一例を構成し、被写体の映像を撮影して得られる静止画情報及び感動シーンの動画情報、及び、当該被写体の周囲の音を集音して得られる情報を処理する装置である。
【０１８７】
デジタルカメラ３００は、外装を構成する本体ケース６０を有しており、本体ケース６０の前面側には撮像部３４が組み込まれている。撮像部３４は撮像レンズや、図示しないレンズ駆動機構、撮像素子等を有して構成される。撮像素子は、撮像レンズの後端に設けられ、撮像レンズやレンズ駆動機構等の撮影光学系によって導かれた被写体像を撮像するように動作する。
【０１８８】
本体ケース６０の後面、上面、側面には、電源スイッチ、モードスイッチ、ズームスイッチ、シャッタースイッチ１２ａ等の種々の押しボタンスイッチ１２が設けられている。電源スイッチはデジタルカメラ３００の電源をオン又はオフするスイッチである。モードスイッチは撮影時のノーマルモード又は特殊記録モードのいずれかを選択する際に操作される。ここに特殊動画記録モードとは、操作者の生体感情を検出して生成された生体感情報と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた動画を記録する動作をいう。ノーマルモードとは特殊動画記録モード以外の動作をいい、操作者の生体感情に関係無く撮影集音された被写体の映像情報（静止画）をそのまま記録する動作をいう。
【０１８９】
この例で、特殊動画記録モードを選択するモードスイッチには、情報出力部の機能の一例を構成する生体センサ部４５が設けられ、当該デジタルカメラ３００を操作する操作者の生体感情を検出して生体感情報を出力するようになされる。生体センサ部４５には例えば図２に示したような発汗（Hidrosis）センサ４５’が使用される。この例で発汗センサ４５’は、本体ケース６０の背面右下に設けられる。この部分は当該デジタルカメラ２００を右手で把持するグリップ部分である。もちろん、グリップ部分に限られることはく、シャッタースイッチ１２ａを兼用する位置に生体センサ部４５を設けるようにしてもよい。シャッタースイッチ１２ａに触れている操作者の発汗量を検知して発汗レベルを示す生体感情報を情報処理部１５へ出力できるようなる。また、生体センサ部４５は発汗センサ４５’の他に脈拍センサ２７や血圧センサ２８等を使用してもよい。
【０１９０】
図示ないズームスイッチは、被写体映像をズームアップ表示又はズームダウン表示する際に操作される。シャッタースイッチ１２ａは表示部２９に表示されている被写体映像の静止画情報の取り込みを情報処理部１５へ指示する際にＯＮ操作される。本体ケース６０の前面であって、撮像レンズの先端下方の位置には、集音部１３を成す音収録用のマイクロフォンが取り付けられる。動画像再生時、音をステレオ再生する場合は、左右２個のマイクロフォンを取り付けるとよい。
【０１９１】
更に、本体ケース６０の背面側には、表示部２９が設けられ、撮像部３４で撮像した被写体映像を動画表示（モニタ）するようになされる。例えば、表示部２９は撮影中の映像（動画像）や、シャッターＯＮ操作時、再生時の静止画映像又は動画映像を表示する。表示部２９には、例えば、２乃至３インチ程度のカラー液晶表示装置が使用される。
【０１９２】
本体ケース６０の内部には回路基板１７が設けられる。回路基板１７には記録メディアやメディアスロット等の記憶装置３５が実装又は装着可能となされ、ノーマルモード又は特殊動画記録モードによって得られた被写体の静止画及び動画を含む映像情報及び、動画像取得時の被写体の周囲の音情報を記録するようになされる。回路基板１７には記憶装置３５の他に情報処理部１５が実装される。
【０１９３】
本体ケース６０の内部には回路基板１７の他にバッテリー１４が実装され、当該回路基板１７、表示部２９、撮像部３４、記憶装置３５及び生体センサ部４５に直流電源を供給するようになされる。本体ケース６０の外部側には外部インターフェース４１等が設けられ、外部機器からの映像＆音声用のコネクタや、通信ケーブル類が接続可能なようになされている。外部インターフェース４１は外部機器へ映像＆音声出力する際に使用され、通信ケーブル用の端子は、外部機器と通信する際に使用される。
【０１９４】
図１９は、デジタルカメラ３００の制御系の構成例を示すブロック図である。図１９に示すデジタルカメラ３００は、本体ケース６０内の回路基板１７に各機能ブロックを実装して構成される。なお、図１８に示した各部と対応する部分は、同一符号で示している。
【０１９５】
デジタルカメラ３００は、シャッタースイッチ１２ａ、情報処理部１５、操作部１８、通信部１９、表示部２９、映像＆音収録部３１、記憶装置３５、外部インターフェース４１及び生体センサ部４５を有して構成される。第１の実施例と同じ符号及び同じ名称のものは同じ機能を有するので、その説明を省略する。
【０１９６】
情報処理部１５はＣＰＵ３２、メモリ部３７及び映像＆音声処理部４４を有して構成される。ＣＰＵ３２はシステムプログラムに基づいて当該デジタルカメラ全体を制御するようになされる。メモリ部３７は図示しないＲＯＭ、ＲＡＭ及びＥＥＰＲＯＭ等を有している。メモリ部３７のＲＯＭ又はＥＥＰＲＯＭには当該デジタルカメラ全体を制御するためのシステムプログラムを成すデータＰＤが格納される。図示しないＲＡＭはワークメモリとして使用される。ＣＰＵ３２は電源オンと共に、ＲＯＭ又はＥＥＰＲＯＭからシステムプログラムを成すデータＰＤを読み出してＲＡＭに展開し、当該システムを立ち上げてデジタルカメラ全体を制御するようになされる。
【０１９７】
操作部１８はＣＰＵ３２に接続され、図１に示した電源スイッチ、モードスイッチ、ズームスイッチ、シャッタースイッチ１２ａ等の押しボタンスイッチ１２が押下されることで発生した操作データＤ１８をＣＰＵ３２に出力する。
【０１９８】
映像＆音収録部３１は第１の実施例と同様にして、集音部１３及び撮像部３４を有して構成される。集音部１３は映像＆音声処理部４４に接続され、被写体の周囲の音を集音して得た音声データＤ１３を出力する。撮像部３４は映像＆音声処理部４４に接続され、被写体の映像を撮影して得た静止画及び動画に係る映像データＤ３４を出力する。
【０１９９】
生体センサ部４５は、映像＆音収録部３１や操作部１８等、特に、シャッタースイッチ１２ａを操作する操作者３０の生体感情を検出して感情データＤ４５を出力する。例えば、生体センサ部４５には図２に示した発汗センサ４５’が使用され、映像＆音収録部３１を操作する操作者３０の発汗量を時系列に検知して感情データＤ４５をＣＰＵ３２へ出力する。
【０２００】
上述のメモリ部３７のＲＯＭ又はＥＥＰＲＯＭにはシステムプログラムの他にノーマルモード用のプログラムと特殊動画記録モード用のプログラムとが記述されている。ノーマルモード用のプログラムは、従来方式と同様にして、静止画を記録する順序を記述したものである。特殊動画記録モード用のプログラムは、コンピュータが読み取り可能なプログラムであって、被写体の静止画映像の取得処理に並行して、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を操作者３０の生体感情に基づいて動画記録処理するためのプログラムである。
【０２０１】
その内容は、被写体の静止画映像の取得時に、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像＆音収録部３１を操作する操作者３０の生体感情を検出して生体感情報を作成するステップと、ここに作成された生体感情報と撮影集音された被写体の動画映像情報及び当該被写体の周囲の音情報とを対応付けて自動抽出処理するステップとを記述したものである。
【０２０２】
このようなプログラムを成すデータＰＤ’をＲＯＭ又はＥＥＰＲＯＭから読み出して実行すると、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、ＣＰＵ３２は、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【０２０３】
例えば、ＣＰＵ３２は、シャッタースイッチ１２ａのＯＮ操作とは別個独立に、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて自動抽出処理するようになされる。この例でＣＰＵ３２は、第１の実施例と同様にして、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較する。
【０２０４】
この比較結果で、例えば、生体センサ部４５が発汗量判定閾値Ｈthを越える発汗レベルＨｘの感情データＤ４５を検出したとき、これをトリガ（編集起点）にして、ＣＰＵ３２は、シャッタースイッチ１２ａがＯＮ操作されていなくても、動画モニタ表示されている被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を抽出して切り出すように動画の記録を開始する。この例では、静止画とは独立に編集起点からの動画情報を記録するようになされる。
【０２０５】
その後、発汗量判定閾値Ｈth以下の発汗レベルＨｘの感情データＤ４５を検出したとき、これをトリガー（編集終点）にして、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３の抽出切り出しを終了するように映像＆音声処理部４４を自動抽出するように制御する。この例で、静止画とは独立に当該動画像の編集終点で記録を終了するようになされる。
【０２０６】
映像＆音声処理部４４はＣＰＵ３２の静止画記録制御を受けて、例えば、ＪＰＥＧ圧縮方式により静止画像データを圧縮して記憶装置３５に転送するようになされる。圧縮率は例えば、圧縮前の静止画像データの１／１０〜１／１００程度である。感動シーンに係る動画像は、ＣＰＵ３２の動画像抽出記録制御を受けて、第１の実施例と同様にして、ＭＰＥＧ−１規格に準拠して映像データＤ３４を圧縮処理して記憶装置３５に記録するようになされる。
【０２０７】
この例で、メモリ部３７は発汗量判定閾値Ｈthを記憶する。例えば、発汗量判定閾値Ｈthはトリガーパラメータとしてメモリ部３７に設けられたＲＯＭ等に予め格納される。メモリ部３７のＲＡＭは、ＣＰＵ３２のメモリ制御を受けて、感情データＤ４５を入力し、予め設定された発汗量判定閾値Ｈthと、感情データＤ４５から得られる発汗レベルＨｘとを比較し、Ｈth＞Ｈｘの判定処理や、Ｈth≦Ｈｘ等の判定処理を実行する。もちろん、発汗量判定閾値は一義的な定数に限られることはなく、二次関数的に変化するものであってもよい（図５参照）。
【０２０８】
このようにすると、操作者３０の指の発汗量に対応して固有の映像及び音声を抽出できるようになる。編集起点及び編集終点に係る情報は、第１の実施例と同様にして、記録時間情報に対してタイムコードとして設定（記述）してもよいが、その時点で動画像を切り出して記録装置３５に保存する形式を採っているので省略してもよい。特殊動画記録モードの設定によって、操作者３０が被写体静止画像の撮影中に、手に汗握って生体感情が高まった時点の動画シーンの映像データＤ３４及び音声データＤ１３を自動抽出できるようになる。
【０２０９】
更にＣＰＵ３２に再生制御機能を持たせて、自動抽出した被写体の動画シーンの映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を再生するようにしてもよい。このような再生処理を実行すると、操作者３０が被写体静止画映像を撮影中に手に汗握って生体感情が高まった時点の動画シーンを成す映像データＤ３４及び音声データＤ１３を再生することができ、被写体の静止画に加えて、操作者固有の映像データＤ３４及び音声データＤ１３を記録したメモリアルファイルを視聴できるようになる。表示部２９は、操作者固有の映像データＤ３４を入力して操作者固有の映像を表示し、スピーカー３６からは、感動シーン取り込み時の被写体周辺の音声データＤ１３を入力して被写体周辺固有の音声等を出力できるようになる。
【０２１０】
更にＣＰＵ３２に記録制御機能を持たせて、自動抽出した被写体の動画シーンの映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を所定の記録媒体に記録するようにしてもよい。このような記録処理を実行すると、操作者３０が被写体静止画映像を撮影中に手に汗握って生体感情が高まった時点の動画シーンを成す映像データＤ３４及び音声データＤ１３をＣＤ−ＲＯＭや、ＭＤ等の記録媒体に記録することができ、静止画に加えて、操作者固有の動画シーンを成す映像データＤ３４及び音声データＤ１３を記録したメモリアルファイルを配布できるようになる。
【０２１１】
上述のＣＰＵ３２には記録メディアや、メディアスロット等を構成する記憶装置３５が接続され、ノーマルモード時の静止画情報の他に、特殊動画記録モード時、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けた動画記録情報を格納するようになされる。記憶装置３５にはハードディスク装置や、メモリカード等の不揮発性メモリが使用される。
【０２１２】
上述の映像＆音声処理部４４には表示部２９が接続され、映像表示信号Ｓ２９に基づいて撮影中の動画映像や再生時の静止映像、感動シーンを成す動画像を表示するようになされる。映像＆音声処理部４４にはスピーカー３６が接続され、動画撮影時、音声信号Ｓ３６に基づいて撮影中の被写体周辺の音や再生時の音声等を出力する。スピーカー３６は本体ケース６０の所定の位置に設けられる。映像＆音声処理部４４には外部インターフェース４１が接続され、映像＆音声信号を外部機器へ出力するようになされる。
【０２１３】
ＣＰＵ３２には通信部１９が接続され、第１の実施例と同様にして、外部機器と通信するようになされる。例えば、ＣＰＵ３２は、自動抽出した被写体の動画像を成す映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を通信部１９を介して配信する。このような配信処理を実行すると、操作者３０が被写体静止画映像の撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を配信することができ、操作者固有の映像データＤ３４及び音声データＤ１３を記録したファイル（アルゴリズム）をインターネット等を介して他のユーザにダウンロードできるようになる。なお、デジタルカメラ３００における撮影フォーマット例については、図４及び図５を参照されたい。
【０２１４】
続いて、本発明に係る第３の情報処理方法について説明する。図２０及び図２１は、デジタルカメラ３００における記録処理例（その１，２）を示すフローチャートである。
【０２１５】
この例では、被写体の映像を撮影して得られる静止画情報及び感動シーンの動画情報、及び、当該被写体の周囲の音を集音して得られる情報を処理する場合を前提とする。生体センサ部４５には図２に示したような発汗センサが使用される。ＣＰＵ３２は、シャッタースイッチ１２ａのＯＮ操作と独立して、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び、当該被写体周囲収録時の音声データＤ１３とを対応付けて自動抽出処理する場合を例に挙げる。
【０２１６】
これらを前提にして、図２０に示すフローチャートのステップＥ１でＣＰＵ３２は、モード設定入力処理を実行する。例えば、ノーマルモード又は特殊動画記録モードの設定に関する操作データＤ１８を入力する。このとき、ユーザは、モードスイッチを構成する押しボタンスイッチ１２を操作して、ノーマルモード又は特殊動画記録モードのいずれかを選択するようになされる。例えば、該当する押しボタンスイッチ１２を操作して特殊動画記録モードを選択すると、操作部１８からＣＰＵ３２には特殊動画記録モードを示す操作データＤ１８が出力される。
【０２１７】
次に、ステップＥ２でノーマルモード又は特殊動画記録モードの設定によって制御を分岐する。上述のステップＥ１で特殊動画記録モードが設定されている場合は、ステップＥ３でＣＰＵ３２は被写体映像を動画でモニタ表示する。そして、ステップＥ４でシャッタースイッチ１２ａがＯＮ操作されたかを監視する。シャッタースイッチ１２ａがＯＮ操作されない場合は、被写体映像の動画モニタ表示を継続すると共に、ステップＥ１７に移行する。ステップＥ４でシャッタースイッチ１２ａがＯＮ操作された場合は、ステップＥ５に移行して被写体映像の静止画をモニタ表示すると共に静止画を記録装置３５に記録し保存する。このとき、撮像部３４は、被写体の映像を撮影して映像データＤ３４を取得する。映像＆音声処理部４４では、例えば、ＪＰＥＧ規格に準拠して、静止画情報を圧縮処理した映像データＤ３４を記憶装置３５に記録する。その後、ステップＥ１７に移行する。
【０２１８】
これと並行して、ステップＥ６でＣＰＵ３２は当該デジタルカメラ３００を操作する操作者３０の生体感情を検出して感情データＤ４５を作成するように生体センサ部４５を制御する。生体センサ部４５は、この制御を受けて、発汗センサ４５’に触れている操作者の発汗量を検知して発汗レベルを示す感情データＤ４５をＣＰＵ３２に出力する。
【０２１９】
次に、ステップＥ７でＣＰＵ３２は発汗量判定閾値曲線を設定するか否かを判別する。この際の判断基準は、第１の実施例と同様にして、生体センサ部４５によって検知された操作者の発汗量の変化率（感情変化率）と、予め設定された閾値曲線設定の基準となる基準変化率とを比較することにより実行される。操作者の発汗量の変化率は、生体センサ部４５が操作者の何らかの発汗量を検知した時刻以降の２つのサンプル時刻に検知された発汗量間の差分値である。このような差分値を求めるようにしたのは、第１の実施例で説明した通りである。
【０２２０】
上述のステップＥ７で操作者の発汗量の変化率が基準変化率を越えた場合は、ステップＥ８でＣＰＵ３２は発汗量判定閾値曲線を設定するようになされる。このとき、メモリ部３７から式（１）に示したような発汗量判定閾値曲線を読み出してＲＡＭに展開する。これと共に、ＣＰＵ３２はタイマを起動して、監視時間のカウントを開始する。そして、ステップＥ９に移行して、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較してＨｘ＞Ｈthの判別処理を実行する。メモリ部３７では、図１９に示したＣＰＵ３２のメモリ制御を受けて、感情データＤ４５を入力し、予め設定された発汗量判定閾値曲線を成す発汗量判定閾値Ｈth１，Ｈth２，Ｈth３，Ｈth４・・・・と、感情データＤ４５から得られる発汗レベルＨｘとを比較する。
【０２２１】
Ｈｘ＞Ｈthなる判別結果を得た場合はステップＥ１０に移行して、ＣＰＵ３２はステップＥ４のシャッタースイッチ２ａのＯＮ操作に関係なく、編集起点を示す時刻ｔｓで被写体動画像の抽出記録処理を開始する。このとき、映像＆音声処理部４４は編集起点の被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３をＭＰＥＧ規格に準拠して圧縮処理する。圧縮処理後の被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３が記憶装置３５に動画記録するようになされる（図５参照）。
【０２２２】
そして、図２１に示すステップＥ１１に移行してＣＰＵ３２はＨｘ≦Ｈthの判別処理を実行する。Ｈｘ≦Ｈthを判別した場合はステップＥ１２に移行して、ステップＥ４のシャッタースイッチ１２ａびＯＮ操作に関係なく、編集終点を示す時刻ｔｅで被写体動画像の抽出記録処理を終了する。このとき、編集終点以降の被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３は、次のＨｘ＞Ｈthなる判別結果が得られるまで、記憶装置３５に記録されることなく表示処理に止まっている。
【０２２３】
映像＆音声処理部４４では、ＣＰＵ３２からの動画像抽出記録制御によって、抽出された編集起点を示す時刻ｔｓと編集終点を示す時刻ｔｅの間の動画シーンが特殊動画記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる（図５参照）。
【０２２４】
その後、ステップＥ１３に移行して第１の実施例と同様にして、当該発汗量判定閾値曲線における監視時間が終了したか否かを判別する。この際の判別基準はタイマのカウントアップを以て終了する。監視時間が終了していない場合は、ステップＥ９に戻ってＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較してＨｘ＞Ｈthの判別処理を実行する。
【０２２５】
この動画像抽出記録制御によって、操作者３０が被写体静止画映像の撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を、シャッタースイッチ１２ａのＯＮ操作に関係なく、自動抽出できるようになる。上述の監視時間が終了した場合は、ステップＥ１７に移行する。
【０２２６】
なお、上述のステップＥ２でノーマルモードが設定されている場合は、ステップＥ１４に移行して、ノーマルモードを実行する。ノーマルモードでは、生体感情の検知処理等を実行することなく、ステップＥ１４で被写体映像をモニタ表示する。そして、ステップＥ１５でシャッタースイッチ１２ａがＯＮ操作されたかを監視する。シャッタースイッチ１２ａがＯＮ操作されない場合は、被写体映像の動画でのモニタ表示を継続すると共に、ステップＥ１７に移行する。ステップＥ１５でシャッタースイッチ１２ａがＯＮ操作された場合は、ステップＥ１６に移行して被写体映像の静止画をモニタ表示すると共に静止画を記録装置３５に記録し保存する。このとき、先のステップＥ５と同様にして、撮像部３４は、被写体の映像を撮影して映像データＤ３４を取得する。映像＆音声処理部４４では、ＪＰＥＧ規格に準拠して、静止画情報を圧縮処理した映像データＤ３４を記憶装置３５に記録する。その後、ステップＥ１７に移行する。
【０２２７】
ステップＥ１７で、ＣＰＵ３２は終了判断をする。例えば、電源スイッチを構成する押しボタンスイッチ１２が操作され、ＣＰＵ３２は電源オフ情報を検出した否かを判別する。電源スイッチを構成する押しボタンスイッチ１２が操作され、電源オフ情報が検出された場合は、静止画及び動画記録処理を終了する。電源スイッチを構成する押しボタンスイッチ１２が操作されず、電源オフ情報が検出されていない場合は、ステップＥ２に戻って上述した処理を繰り返す。これにより、シャッタースイッチ１２ａのＯＮ操作とは独立して生体センサ部４５から得られた感情データＤ４５と撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて記憶装置３５へ動画記録処理できるようになる。
【０２２８】
このように第３の実施例に係るデジタルカメラ及び情報記録方法によれば、被写体の映像を撮影して得られる静止画情報及び感動シーンの動画情報、及び、当該被写体の周囲の音を集音して得られる情報を処理する場合に、静止画取得時、撮像部３４は、シャッタースイッチ１２ａのＯＮ操作に対応して被写体の映像を撮影して得た映像データＤ３４を映像＆音声処理部４４へ出力する。生体センサ部４５は、シャッタースイッチ１２ａのＯＮ操作に無関係に映像＆音収録部３１を操作する操作者３０の生体感情を検出して感情データＤ４５を出力する。これを前提にして、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて動画像を自動抽出処理するようになされる。
【０２２９】
従って、操作者３０が被写体静止画映像の撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を自動抽出することができ、ここで自動抽出された映像データＤ３４及び音声データＤ１３を編集した操作者固有の動画取得映像及び音声データファイルを容易かつ簡単に作成できるようになる。
【０２３０】
しかも、シャッタースイッチ１２ａのＯＮ操作によって撮り損なった感動シーンの静止画を、感動シーンの動画像として自動抽出することができ、後日、感動シーンの動画像からその静止画を編集できるようになる。この結果、シャッタースイッチ１２ａのＯＮ操作によって得られた静止像の他に、自動抽出された感動シーンの動画像の中から、より特徴的な感動シーンのＪＰＥＧ静止画を編集（取得）できるようになる。
【実施例４】
【０２３１】
図２２は、第４の実施例としてのカメラ付き携帯電話機４００の構成例を示す斜視図である。図２２に示す携帯電話機４００はデジタルカメラ機能モードを有すると共に、上部筐体４０ａ及び下部筐体４０ｂを有している。上部筐体４０ａと下部筐体４０ｂとはヒンジ機構１１を介在して折り畳み及び回動自在に係合されている。
【０２３２】
上部筐体４０ａの表面には、表示部２９が設けられ、デジタルカメラ機能モード実行時、被写体の映像を動画表示するようになされる。電話機能モードの実行時、表示部２９には、相手方の電話番号や、メニュー画面が表示される。上部筐体４０ａの表面の上方にはスピーカー３６ｂが設けられ、通話用のレシーバ（受話器）として使用される。スピーカー３６ｂの取り付け位置と対峙するヒンジ機構１１の取り付け位置には、生体センサ部４５が設けられ、当該携帯電話機４００を操作する操作者３０の生体感情を検出して生体感情報を出力するようになされる。
【０２３３】
上部筐体４０ａに対して、ヒンジ機構１１によって可動自在に係合された下部筐体４０ｂには、図示しない複数の押しボタンスイッチ１２から成る操作部１８が設けられる。押しボタンスイッチ１２は、「０」〜「９」数字キー、「＊」や「＃」等の記号キー、「オン」や「オフ」等のフックボタン、メニューキー等から構成される。下部筐体４０ｂの側面（図中では上部）にシャッタースイッチ１２ａが設けられる。下部筐体４０ｂの操作パネル面の下方には、図示しない通話用のマイクロフォン１３’が取り付けられ、送話器として機能するようになされる。
【０２３４】
また、下部筐体４０ｂの背面側には撮像部３４が設けられ、シャッタースイッチ１２ａのＯＮ操作によって、被写体を撮影し、例えば、静止画情報や動作情報を取得するようになされる。下部筐体４０ｂの内部には、バッテリー１４や回路基板１７等が設けられる。下部筐体４０ｂの内部下端には、図示しないモジュール型のアンテナ１６が取り付けられ、その上端内部側面には、大音響用のスピーカー３６ａが設けられ、再生等を放音するようになされる。
【０２３５】
図２３は、携帯電話機４００の制御系の構成例を示すブロック図である。図２３に示す携帯電話機４００は、下部筐体４０ｂ内の回路基板１７に各機能ブロックを実装して構成される。なお、図２２に示した各部と対応する部分は、同一符号で示している。携帯電話機４００は、情報処理部１５、アンテナ１６、操作部１８、受信部２１、送信部２２、アンテナ共用器２３、表示部２９、映像＆音収録部３１’、記憶装置３５、スピーカー３６ａ，３６ｂ、外部インターフェース４１及び生体センサ部４５を有して構成される。
【０２３６】
情報処理部１５はＣＰＵ３２、メモリ部３７及び映像＆音声処理部４４を有して構成される。ＣＰＵ３２はシステムプログラムに基づいて当該携帯電話機全体を制御するようになされる。メモリ部３７は図示しないＲＯＭ、ＲＡＭ及びＥＥＰＲＯＭ等を有している。メモリ部３７のＲＯＭ又はＥＥＰＲＯＭには当該携帯電話機全体を制御するためのシステムプログラムを成すデータＰＤが格納される。図示しないＲＡＭはワークメモリとして使用される。ＣＰＵ３２は電源オンと共に、ＲＯＭ又はＥＥＰＲＯＭからシステムプログラムを成すデータＰＤを読み出してＲＡＭに展開し、当該システムを立ち上げて携帯電話機全体を制御するようになされる。
【０２３７】
メモリ部３７のＲＯＭ又はＥＥＰＲＯＭにはシステムプログラムの他に撮影記録モード用のプログラムが記述されている。撮影記録モード用のプログラムには、静止画記録モードと特殊動画記録モードとを実行するためのプログラムが含まれている。静止画記録モード用のプログラムは、従来方式と同様にして、静止画を記録する順序を記述したものである。特殊動画記録モード用のプログラムは、コンピュータが読み取り可能なプログラムであって、被写体の静止画映像の取得処理に並行して、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を操作者３０の生体感情に基づいて動画記録処理するためのプログラムである。
【０２３８】
その内容は、被写体の静止画映像の取得時に、被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、映像＆音収録部３１を操作する操作者３０の生体感情を検出して生体感情報を作成するステップと、ここに作成された生体感情報と撮影集音された被写体の動画映像情報及び当該被写体の周囲の音情報とを対応付けて自動抽出処理するステップとを記述したものである。
【０２３９】
この例で、デジタルカメラ機能モード選択時、このようなプログラムを成すデータＰＤ’をＲＯＭ又はＥＥＰＲＯＭから読み出して実行すると、ＣＰＵ３２は、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する際に、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。
【０２４０】
ＣＰＵ３２には操作部１８が接続され、当該携帯電話機操作時、電源スイッチ、モードスイッチ、ズームスイッチ、シャッタースイッチ１２ａ等の押しボタンスイッチ１２が押下されることで発生した操作データＤ１８をＣＰＵ３２に出力する。
【０２４１】
ＣＰＵ３２には操作部１８の他に映像＆音収録部３１’が接続されている。映像＆音収録部３１’は、マイクロフォン１３’及び撮像部３４を有して構成される。マイクロフォン１３’は映像＆音声処理部４４に接続され、被写体の周囲の音や、操作者の話声を集音して得た音声信号Ｓinを出力する。映像＆音声処理部４４はマイクロフォン１３’から出力される音声信号Ｓinをアナログ・デジタル変換して音声データＤ１３を送信部２２や、記憶装置３５等へ出力する。マイクロフォン１３’には第１の実施例で説明した型式のマイクロフォンが使用される。撮像部３４は映像＆音声処理部４４に接続され、デジタルカメラ機能モード選択時、被写体の映像を撮影して得た映像データＤ３４を出力する。撮像部３４の内部構造は第１の実施例で述べているので割愛する。
【０２４２】
ＣＰＵ３２には映像＆音収録部３１’の他に生体センサ部４５が接続され、映像＆音収録部３１’を操作する操作者３０の生体感情を検出して感情データＤ４５を出力する。例えば、生体センサ部４５には図２に示した発汗センサ４５’が使用され、映像＆音収録部３１’を操作する操作者３０の発汗量を時系列に検知して感情データＤ４５をＣＰＵ３２へ出力する。
【０２４３】
ＣＰＵ３２は、第３の実施例で説明したデジタルカメラ機能と同様にして、シャッタースイッチ１２ａのＯＮ操作とは別個独立に、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１’から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて自動抽出処理するようになされる。この例でＣＰＵ３２は、第１の実施例と同様にして、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較する。
【０２４４】
この比較結果で、例えば、生体センサ部４５が発汗量判定閾値Ｈthを越える発汗レベルＨｘの感情データＤ４５を検出したとき、これをトリガ（編集起点）にして、ＣＰＵ３２は、シャッタースイッチ１２ａがＯＮ操作されていなくても、動画モニタ表示されている被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を抽出して切り出すように動画の記録を開始する。この例では、静止画とは独立に編集起点からの動画情報を記録するようになされる。
【０２４５】
その後、発汗量判定閾値Ｈth以下の発汗レベルＨｘの感情データＤ４５を検出したとき、これをトリガー（編集終点）にして、ＣＰＵ３２は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３の抽出切り出しを終了するように映像＆音声処理部４４を自動抽出するように制御する。この例で、静止画とは独立に当該動画像の編集終点で記録を終了するようになされる。
【０２４６】
映像＆音声処理部４４はＣＰＵ３２の静止画記録制御を受けて、例えば、ＪＰＥＧ圧縮方式により静止画像データを圧縮して記憶装置３５に転送するようになされる。圧縮率は例えば、圧縮前の静止画像データの１／１０〜１／１００程度である。感動シーンに係る動画像は、ＣＰＵ３２の動画像抽出記録制御を受けて、第１の実施例と同様にして、ＭＰＥＧ−１規格に準拠して映像データＤ３４を圧縮処理して記憶装置３５に記録するようになされる。
【０２４７】
この例で、メモリ部３７は発汗量判定閾値Ｈthを記憶する。例えば、発汗量判定閾値Ｈthはトリガーパラメータとしてメモリ部３７に設けられたＲＯＭ等に予め格納される。メモリ部３７のＲＡＭは、ＣＰＵ３２のメモリ制御を受けて、感情データＤ４５を入力し、予め設定された発汗量判定閾値Ｈthと、感情データＤ４５から得られる発汗レベルＨｘとを比較し、Ｈth＞Ｈｘの判定処理や、Ｈth≦Ｈｘ等の判定処理を実行する。もちろん、発汗量判定閾値は一義的な定数に限られることはなく、二次関数的に変化するものであってもよい（図５参照）。
【０２４８】
このようにすると、携帯電話機４００においても、操作者３０の指の発汗量に対応して固有の映像及び音声を抽出できるようになる。編集起点及び編集終点に係る情報は、第１の実施例と同様にして、記録時間情報に対してタイムコードとして設定（記述）してもよいが、第３の実施例と同様にして、その時点で動画像を切り出して記録装置３５に保存する形式を採っているので省略してもよい。撮影記録モードの設定によって、操作者３０が被写体静止画像の撮影中に、手に汗握って生体感情が高まった時点の動画シーンの映像データＤ３４及び音声データＤ１３を自動抽出できるようになる。
【０２４９】
上述のＣＰＵ３２には記録メディアや、メディアスロット等を構成する記憶装置３５が接続され、撮影記録モード時、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けた記録情報を格納するようになされる。記憶装置３５にはハードディスク装置や、メモリカード等の不揮発性メモリが使用される。
【０２５０】
また、携帯電話機固有の構成部品として、図２３に示すアンテナ１６は、アンテナ共用器２３に接続され、着呼時、相手方からの無線電波を基地局等から受信する。アンテナ共用器２３には受信部２１が接続され、アンテナ１６から導かれる受信データを受信して映像や音声等を復調処理し、復調後の映像及び音声データＤinをＣＰＵ３２等に出力するようになされる。受信部２１には、ＣＰＵ３２を通じて映像＆音声処理部４４が接続され、デジタルの音声データＤinをデジタル／アナログ変換して音声信号Ｓoutを出力したり、デジタルの映像データをデジタル／アナログ変換して映像表示信号Ｓ２９を出力するようになされる。
【０２５１】
上述の映像＆音声処理部４４には表示部２９が接続され、映像表示信号Ｓ２９に基づいて撮影中の映像や再生時の映像を表示するようになされる。映像＆音声処理部４４には大音響用を構成するスピーカー３６ａが接続され、音声信号Ｓ３６に基づいて着信時の着信メロディや、再生時の音声等を出力するようになされる。スピーカー３６ａは例えば、下部筐体４０ｂの所定の位置に設けられる。映像＆音声処理部４４にはスピーカー３６ａの他に受話器を構成するスピーカー３６ｂが接続される。スピーカー３６ｂは、音声信号Ｓoutを入力して相手方の話声等を拡大するようになされる。スピーカー３６ｂは例えば、上部筐体４０ａの所定の位置に設けられる。
【０２５２】
この映像＆音声処理部４４にはスピーカー３６ａ，３６ｂの他に、送話器を構成するマイクロフォン１３’が接続され、操作者３０の声を集音して音声信号Ｓinを出力するようになされる。映像＆音声処理部４４は、発呼時、相手方へ送るためのアナログの音声信号Ｓinをアナログ／デジタル変換してデジタルの音声データＤoutを出力する。
【０２５３】
ＣＰＵ３２には受信部２１の他に、送信部２２が接続され、相手方へ送るための映像及び音声データＤout等を変調処理し、変調後の送信データをアンテナ共用器２３を通じアンテナ１６に供給するようになされる。アンテナ１６は、アンテナ共用器２３から供給される無線電波を基地局等に向けて輻射するようになされる。
【０２５４】
この例で、当該携帯電話機４００で自動抽出処理に基づいて得られた被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を送信部２２を介して配信することもできる。このような配信処理を実行すると、操作者３０が被写体静止画映像の撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を配信することができ、操作者固有の映像データＤ３４及び音声データＤ１３を記録したファイル（アルゴリズム）をインターネット等を介して他のユーザにダウンロードできるようになる。
【０２５５】
映像＆音声処理部４４にはマイクロフォン１３’の他に外部インターフェース４１が接続され、映像＆音声信号をパーソナルコンピュータ等の外部機器へ出力したり、当該外部機器と通信するようになる。この例でも、第１の実施例で説明したような編集制御機能や、再生制御機能、動画配信制御機能等をＣＰＵ３２に持たせてもよい。
【０２５６】
続いて、携帯電話機４００における情報処理例について説明する。図２４及び図２５は、携帯電話機４００における情報処理例（その１，２）を示すフローチャートである。
【０２５７】
この例では、撮影記録モードと他の処理モードのいずれかを選択するようになされ、撮影記録モードを選択すると、静止画撮影モードと特殊動画記録モードとを併合した記録処理が実行される場合を前提とする。他の処理モードの中には、電話発呼・着呼・応答機能や、従来方式の携帯電話機のような静止画像のみの撮影モードが含まれている場合を例に挙げる。
【０２５８】
これらを情報処理条件にして、図２４に示すフローチャートのステップＦ１でＣＰＵ３２は、モード設定入力処理を実行する。例えば、撮影記録モード又は他の処理モードの設定に関する操作データＤ１８を入力する。このとき、ユーザは、モードスイッチを構成する押しボタンスイッチ１２を操作して、撮影記録モード又は他の処理モードのいずれかを選択するようになされる。例えば、該当する押しボタンスイッチ１２を操作して撮影記録モードを選択すると、操作部１８からＣＰＵ３２には撮影記録モードを示す操作データＤ１８が出力される。
【０２５９】
次に、ステップＦ２で撮影記録モード又は他の処理モードの設定によって制御を分岐する。上述のステップＦ１で撮影記録モードが設定されている場合は、ステップＦ３でＣＰＵ３２は被写体映像を動画でモニタ表示する。そして、ステップＦ４でシャッタースイッチ１２ａがＯＮ操作されたかを監視する。シャッタースイッチ１２ａがＯＮ操作されない場合は、被写体映像の動画モニタ表示を継続すると共に、ステップＦ１５に移行する。ステップＦ４でシャッタースイッチ１２ａがＯＮ操作された場合は、ステップＦ５に移行して被写体映像の静止画をモニタ表示すると共に静止画を記録装置３５に記録し保存する。このとき、撮像部３４は、被写体の映像を撮影して映像データＤ３４を取得する。映像＆音声処理部４４では、例えば、ＪＰＥＧ規格に準拠して、静止画情報を圧縮処理した映像データＤ３４を記憶装置３５に記録する。その後、ステップＦ１５に移行する。
【０２６０】
これと並行して、ステップＦ６でＣＰＵ３２は当該デジタルカメラ３００を操作する操作者３０の生体感情を検出して感情データＤ４５を作成するように生体センサ部４５を制御する。生体センサ部４５は、この制御を受けて、発汗センサ４５’に触れている操作者の発汗量を検知して発汗レベルを示す感情データＤ４５をＣＰＵ３２に出力する。
【０２６１】
次に、ステップＦ７でＣＰＵ３２は発汗量判定閾値曲線を設定するか否かを判別する。この際の判断基準は、第１の実施例と同様にして、生体センサ部４５によって検知された操作者の発汗量の変化率（感情変化率）と、予め設定された閾値曲線設定の基準となる基準変化率とを比較することにより実行される。操作者の発汗量の変化率は、生体センサ部４５が操作者の何らかの発汗量を検知した時刻以降の２つのサンプル時刻に検知された発汗量間の差分値である。このような差分値を求めるようにしたのは、第１の実施例で説明した通りである。
【０２６２】
上述のステップＦ７で操作者の発汗量の変化率が基準変化率を越えた場合は、ステップＦ８でＣＰＵ３２は発汗量判定閾値曲線を設定するようになされる。このとき、メモリ部３７から式（１）に示したような発汗量判定閾値曲線を読み出してＲＡＭに展開する。これと共に、ＣＰＵ３２はタイマを起動して、監視時間のカウントを開始する。そして、ステップＦ９に移行して、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較してＨｘ＞Ｈthの判別処理を実行する。メモリ部３７では、図２３に示したＣＰＵ３２のメモリ制御を受けて、感情データＤ４５を入力し、予め設定された発汗量判定閾値曲線を成す発汗量判定閾値Ｈth１，Ｈth２，Ｈth３，Ｈth４・・・・と、感情データＤ４５から得られる発汗レベルＨｘとを比較する。
【０２６３】
Ｈｘ＞Ｈthなる判別結果を得た場合はステップＦ１０に移行して、ＣＰＵ３２はステップＦ４のシャッタースイッチ２ａのＯＮ操作に関係なく、編集起点を示す時刻ｔｓで被写体動画像の抽出記録処理を開始する。このとき、映像＆音声処理部４４は編集起点の被写体の映像データＤ３４及び、当該被写体周囲収録時の音声データＤ１３をＭＰＥＧ規格に準拠して圧縮処理する。圧縮処理後の被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３が記憶装置３５に動画記録するようになされる（図５参照）。
【０２６４】
そして、図２５に示すステップＦ１１に移行してＣＰＵ３２はＨｘ≦Ｈthの判別処理を実行する。Ｈｘ≦Ｈthを判別した場合はステップＦ１２に移行して、ステップＦ４のシャッタースイッチ１２ａびＯＮ操作に関係なく、編集終点を示す時刻ｔｅで被写体動画像の抽出記録処理を終了する。このとき、編集終点以降の被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３は、次のＨｘ＞Ｈthなる判別結果が得られるまで、記憶装置３５に記録されることなく表示処理に止まっている。
【０２６５】
映像＆音声処理部４４では、ＣＰＵ３２からの動画像抽出記録制御によって、抽出された編集起点を示す時刻ｔｓと編集終点を示す時刻ｔｅの間の動画シーンが撮影記録モードにおける第１の抽出（摘出）シーンＳｖ（編集映像＋音情報）となる（図５参照）。
【０２６６】
その後、ステップＦ１３に移行して第１の実施例と同様にして、当該発汗量判定閾値曲線における監視時間が終了したか否かを判別する。この際の判別基準はタイマのカウントアップを以て終了する。監視時間が終了していない場合は、ステップＦ９に戻ってＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と当該感情データＤ４５の判別基準となる発汗量判定閾値Ｈthとを比較してＨｘ＞Ｈthの判別処理を実行する。
【０２６７】
この動画像抽出記録制御によって、操作者３０が被写体静止画映像の撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を、シャッタースイッチ１２ａのＯＮ操作に関係なく、自動抽出できるようになる。上述の監視時間が終了した場合は、ステップＦ１５に移行する。
【０２６８】
なお、上述のステップＦ２で他の処理モードが設定されている場合は、ステップＦ１４に移行して、他の処理モードを実行する。他の処理モードでは、生体感情の検知処理等を実行することなく、電話機能モードや、特殊動画撮影モードを伴わない撮影記録モードを実行する。特殊動画撮影モードを伴わない撮影記録モードとは、第３の実施例で説明したようなノーマルモードによる静止画映像の撮影モードをいう。
【０２６９】
例えば、電話機能モードが選択されて、相手方に電話をする場合は、まず、相手方の電話番号をＲＡＭに読み出して相手方の電話機を発呼する。相手方との電話回線が接続されると、送話器を構成するマイクロフォン１３’は操作者の音声を収音して映像＆音声処理部４４に出力する。
【０２７０】
映像＆音声処理部４４は、操作者の話声を集音して得た音声信号Ｓinをアナログ・デジタル（Ａ／Ｄ）変換する。Ａ／Ｄ変換後の音声データＤ１３は送信部２２に出力される。送信部２２は、相手方へ送るための音声データＤoutを変調処理し、変調後の送信データをアンテナ共用器２３を通じアンテナ１６に供給するようになされる。アンテナ１６は、アンテナ共用器２３から供給される無線電波を基地局等に向けて輻射するようになされる。
【０２７１】
また、相手方からの無線電波をアンテナ１６を介して基地局から受信する。アンテナ１６から導かれる受信データは受信部２１で復調処理され、復調後の音声データＤinをＣＰＵ３２を介して映像＆音声処理部４４に入力される。デジタルの音声データＤinは映像＆音声処理部４４でデジタル／アナログ（Ｄ／Ａ）変換される。Ｄ／Ａ変換後の音声信号Ｓoutはスピーカー３６ｂへ出力される。スピーカー３６ｂは、音声信号Ｓoutを入力して相手方の話声等を拡大する。これにより、相手方と会話できるようになる。その後、電話回線を切断（オンフック）して電話機能モードを終了する。その後、ステップＦ１５に移行する。
【０２７２】
ステップＦ１５で、ＣＰＵ３２は終了判断をする。例えば、電源スイッチを構成する押しボタンスイッチ１２が操作され、ＣＰＵ３２は電源オフ情報を検出した否かを判別する。電源スイッチを構成する押しボタンスイッチ１２が操作され、電源オフ情報が検出された場合は、電話機能モード及び撮影記録モード等を終了する。電源スイッチを構成する押しボタンスイッチ１２が操作されず、電源オフ情報が検出されていない場合は、ステップＦ２に戻って上述した処理を繰り返したり、待ち受け状態となされる。これにより、第３の実施例と同様にして、シャッタースイッチ１２ａのＯＮ操作とは独立して生体センサ部４５から得られた感情データＤ４５と撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて記憶装置３５へ動画記録処理できるようになる。
【０２７３】
このように第４の実施例に係るカメラ付き携帯電話機及びその情報処理方法によれば、デジタルカメラ機能を利用して、被写体の映像を撮影して得られる静止画情報及び感動シーンの動画情報、及び、当該被写体の周囲の音を集音して得られる情報を処理する場合に、静止画取得時、撮像部３４は、シャッタースイッチ１２ａのＯＮ操作に対応して被写体の映像を撮影して得た映像データＤ３４を映像＆音声処理部４４へ出力する。生体センサ部４５は、シャッタースイッチ１２ａのＯＮ操作に無関係に映像＆音収録部３１を操作する操作者３０の生体感情を検出して感情データＤ４５を出力する。これを前提にして、ＣＰＵ３２は、生体センサ部４５から出力される感情データＤ４５と映像＆音収録部３１から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けて動画像を自動抽出処理するようになされる。
【０２７４】
従って、操作者３０が被写体静止画映像の撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４及び音声データＤ１３を第３の実施例と同様にして、自動抽出することができ、ここで自動抽出された映像データＤ３４及び音声データＤ１３を編集した操作者固有の動画取得映像及び音声データファイルを容易かつ簡単に作成できるようになる。
【０２７５】
しかも、シャッタースイッチ１２ａのＯＮ操作によって撮り損なった感動シーンの静止画を、第３の実施例と同様にして、感動シーンの動画像として自動抽出することができ、後日、感動シーンの動画像からその静止画を編集できるようになる。この結果、シャッタースイッチ１２ａのＯＮ操作によって得られた静止像の他に、自動抽出された感動シーンの動画像の中から、より特徴的な感動シーンのＪＰＥＧ静止画を編集（取得）できるようになった。
【実施例５】
【０２７６】
図２６は、第５の実施例としての記録編集再生装置５００の構成例を示す斜視図である。この例では、ヘッドマウント型のビデオカメラ２００等から出力される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集するようになされる。
【０２７７】
図２６に示す記録編集再生装置５００は、情報再生装置の機能の一例を構成し、編集起点及び編集終点の各々の情報に基づいて被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点及び編集終点に係るタイムコードを付加した区間部分の映像データＤ３４’及び音声データＤ１３’を自動抽出して繋ぎ合わせるように編集処理を実行するものである。記録編集再生装置５００は例えば、ヘッドマウント型のビデオカメラ２００のベースステーションを構成する。
【０２７８】
記録編集再生装置５００は矩形状の本体ケース８０を有している。本体ケース８０の前面は操作パネル８０ａとなされている。操作パネル８０ａには電源スイッチ８１、複数の操作用のスイッチ８２、リモートコントロール用の受光部（以下リモコン受光部８３という）、外部記録メディア用のスロット８６が設けられる。電源スイッチ８１は当該記録編集再生装置５００に電源を供給する際にＯＮ操作される。
【０２７９】
リモコン受光部８３は、図示しないリモートコントローラからの操作用の赤外光を受光して操作データを情報処理部８５へ出力するようになされる。操作部８２（スイッチ類）には、編集スタート・ストップスイッチ、再生スタート・ストップスイッチ、編集長さ設定スイッチ等が含まれる。編集長さ設定スイッチには、例えば、編集短目モード設定用のスイッチ、編集中程モード設定用のスイッチ、編集長目モード設定用のスイッチが準備されている。
【０２８０】
外部記録メディア用のスロット８６にはＣＤ−ＲＯＭや、ＭＤ、メモリスティック等の記録媒体が装着可能になされ、自動編集された被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３をこれらの記録媒体に書き込み可能なようになされている。これらの記録媒体から自動編集に供される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を読み出し可能となされている。
【０２８１】
本体ケース８０の背面には、映像＆音声入出力端子８９が設けられ、ヘッドマウント型のビデオカメラ２００や、映像＆音声モニタ装置等の外部機器に接続可能なようになされている。この例では映像＆音声入出力端子８９を使用して、自動編集された被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を外部機器に送信したり、外部機器から自動編集に供される被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を受信したりするようになされる。
【０２８２】
本体ケース８０の内部には回路基板８７が設けられる。回路基板８７には、電源回路８４や、情報処理部８５及び無線通信部９１を構成する半導体集積回路装置（ＬＳＩ装置）、内蔵記憶装置９２、装置放熱部９３等が実装されている。無線通信部９１は、例えば、ヘッドマウント型のビデオカメラ２００と無線通信をする際に使用される。この無線通信処理には、ビデオカメラ２００で撮影している、又は、撮影を終了した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３の転送処理が含まれる。
【０２８３】
内蔵記憶装置９２には、固定ディスク装置（ＨＤＤ）が使用され、自動編集された被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を格納する際に使用される。もちろん、自動編集前の被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を格納するようにしてもよい。固定ディスク装置には磁気ディスク及び光ディスクが含まれる。
【０２８４】
情報処理部８５は、編集依頼が有った外部からの被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３に関して、編集起点及び編集終点の各々の情報を抽出して自動編集処理を実行する。例えば、情報処理部８５は、編集長さ設定モードに対応して、当該編集起点及び編集終点の各々の情報に基づいて被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点及び編集終点に係るタイムコードを付加した区間部分の映像データＤ３４及び音声データＤ１３を自動抽出して繋ぎ合わせるようになされる。
【０２８５】
上述の情報処理部８５や、無線通信部９１、内蔵記憶装置９２、装置放熱部９３等には電源回路８４が接続され、これらの部品に直流電源を供給するようになされる。装置放熱部９３は例えば、ＣＰＵ冷却用のファンである。電源回路８４には所定の長さの電源コード９４が接続され、その終端部には電源プラグ９５が取り付けられている。当該記録編集再生装置５００は電源プラグ９５を商用電源（ＡＣ１００等）に接続して使用される。
【０２８６】
続いて、記録編集再生装置５００の制御系の構成例について説明する。図２７は、記録編集再生装置５００の制御系の構成例を示すブロック図である。図２７に示す記録編集再生装置５００は、図２６に示した本体ケース８０内の回路基板８７に各機能ブロックを実装して構成される。なお、図２７に示した各部と対応する部分は、同一符号で示している。
【０２８７】
記録編集再生装置５００は、アンテナ６６、リモコン受光部８３、電源回路８４、情報処理部８５、操作部８２、映像＆音声入出力端子８９、無線＆有線通信部９１、内蔵記憶装置９２及びメディアスロット用のドライバ９６を有して構成される。情報処理部８５はＣＰＵ６２、メモリ部６７及び映像＆音声処理部６４を有している。
【０２８８】
操作部８２はＣＰＵ６２に接続され、図２６に示した電源スイッチ８１、編集スタート・ストップスイッチ、再生スタート・ストップスイッチ、編集長さ設定スイッチ等の押しボタンが押下されることで発生した操作データＤ８２をＣＰＵ６２に出力する。ＣＰＵ６２には操作部８２の他にリモコン受光部８３が接続され、図示しないリモートコントローラからの操作用の赤外光を受光して操作データＤ８３をＣＰＵ６２へ出力するようになされる。
【０２８９】
ＣＰＵ６２は電源スイッチ８１がＯＮ操作されると、システムプログラムに基づいて当該記録編集再生装置全体を制御するようになされる。メモリ部６７は図示しないＲＯＭ、ＲＡＭ及びＥＥＰＲＯＭ等を有している。メモリ部６７のＲＯＭ又はＥＥＰＲＯＭには当該記録編集再生装置全体を制御するためのシステムプログラムを成すデータＰＤが格納される。図示しないＲＡＭはワークメモリとして使用される。ＣＰＵ６２は電源オンと共に、ＲＯＭ又はＥＥＰＲＯＭからシステムプログラムを成すデータＰＤを読み出してＲＡＭに展開し、当該システムを立ち上げて記録編集再生装置全体を制御するようになされる。
【０２９０】
メモリ部６７のＲＯＭ又はＥＥＰＲＯＭにはシステムプログラムの他に自動編集モードを実行するためのプログラムが記述されている。この自動編集モード用のプログラムは、コンピュータが読み取り可能なプログラムであって、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４及び音声データＤ１３を抽出して繋ぎ合わせるためのプログラムである。
【０２９１】
その内容は、編集起点情報及び編集終点情報を付加した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を入力するステップと、入力された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集するか否かを判別するステップと、自動編集すると判別された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４及び音声データＤ１３を抽出して繋ぎ合わせるステップとを記述したものである。
【０２９２】
このようなプログラムを成すデータＰＤ”をＲＯＭ又はＥＥＰＲＯＭから読み出して実行すると、ＣＰＵ６２は、操作者３０の生体感情を検出して生成された感情データＤ４５と、撮影集音された被写体の映像情報及び当該被写体の周囲の音情報とを対応付けた編集処理等を実行できるようになる。このような編集処理を実行すると、操作者３０が被写体の映像を撮影して得た映像データＤ３４及び、その周辺の音を集音して得た音声データＤ１３から、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を抽出することができ、操作者固有の映像及び音声データファイルを作成できるようになる。
【０２９３】
ＣＰＵ６２が判別部の機能の一例を構成し、外部機器から映像＆音声入出力端子８９等を介して映像＆音声処理部６４へ入力された被写体の映像情報及び当該被写体周囲収録時の音声情報を操作部８２（外部）からの指示に基づいて自動編集するか否かを判別する。外部から自動編集指示が有った場合は、映像＆音声処理部６４へ自動編集実行の制御コマンドを出力する。外部からの自動編集指示が無い場合は、映像＆音声処理部６４へ自動編集を実行しない旨のコマンドを出力する。
【０２９４】
ＣＰＵ６２には映像＆音声処理部６４が接続され、ＣＰＵ６２の制御コマンドを受けて、記録時間情報に対してタイムコードとして設定された編集起点情報及び編集終点情報を検出し、この編集起点情報及び編集終点情報が付加された区間部分の映像データＤ３４及び音声データＤ１３を抽出して繋ぎ合わせる。映像＆音声処理部６４は、例えば、ＭＰＥＧ−１規格に準拠して映像データＤ３４’を圧縮処理して内蔵記憶装置９２に新設される編集後データ格納用のメモリ領域に記録するようになされる。新設のメモリ領域に編集データを移行するようにしたのは、データ配信や、メディア記録処理、再生処理に対して、編集後の映像データＤ３４’及び音声データＤ１３’の出力を円滑に実行するための出力準備である。
【０２９５】
映像＆音声処理部６４は編集後のデータをＭＰＥＧ−１規格に準拠した圧縮処理により実行する。この圧縮処理によれば、映像の中の動く部分だけを検出し保存するようにデータを圧縮する。圧縮処理はＭＰＥＧ−１に限られることはなく、ハイビジョン対応のＭＰＥＧ２からＭＰＥＧ−４までの各規格や、現在標準化進行中のＭＰＥＧ−７規格であってもよい。これにより、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を自動抽出できるようになり、操作者３０の指の発汗量に対応して固有の映像及び音声を編集できるようになる。
【０２９６】
上述のＣＰＵ６２には映像＆音声処理部６４を介して内蔵記憶装置９２が接続されている。内蔵記憶装置９２には、未編集の映像データＤ３４及び音声データＤ１３を格納するメモリ領域（以下未編集のデータ領域という）、編集後の映像データＤ３４’及び音声データＤ１３’を格納するメモリ領域が新設されている。新設されたメモリ領域には、メモリ部６７から読み出された抽出シーンｆ（ＳIII）や、抽出シーンｆ（ＳIII＋ＳII）、抽出シーンｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’が格納される。
【０２９７】
未編集のデータメモリ領域には、データを自動編集しない旨の指示が設定された場合に、編集終点情報や編集終点情報等の付加有無に関係無く、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とをそのまま順次格納するようになされる。内蔵記憶装置９２には光ディスクや磁気ディスク等の固定ディスク装置が使用される。
【０２９８】
上述の映像＆音声処理部６４にはメディアスロット用のドライバ９６が接続され、映像表示信号Ｓ２９に基づいて編集後の映像を記録媒体９７に書き込んだり、編集時、未編集の映像に係る映像表示信号Ｓ２９を記録媒体９７から読み出すようになされる。もちろん、編集後の音声を音声信号Ｓ３６に基づいて映像と共に記録媒体９７に書き込んだり、編集時、未編集の映像に係る音声信号Ｓ３６を記録媒体９７から読み出すようになされる。
【０２９９】
このようにすると、所定の記録媒体９７に生体感情報に基づく動画記録処理する記録制御機能をＣＰＵ６２に持たせることができる。記録媒体９７はドライバ９６に装着して使用される。記録媒体９７にはＣＤ−ＲＯＭやＭＤ等の記録メディア、メモリスティック等のメディアスロットが使用される。このような動画記録処理を実行すると、編集後の操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを配布できるようになる。ＣＤ−ＲＯＭや、ＭＤ等の記録媒体９７から、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を再生して楽しむことができる。
【０３００】
映像＆音声処理部６４には入力部の機能の一例を構成する映像＆音声入出力端子８９が接続され、編集後の映像表示信号Ｓ２９を外部機器に送信したり、編集時、未編集の映像に係る映像表示信号Ｓ２９を外部機器から受信するようになされる。この例で映像＆音声入出力端子８９は、外部機器から映像＆音声処理部６４又は内蔵記憶装置９２へ編集起点情報及び編集終点情報を付加した被写体の映像情報及び当該被写体周囲収録時の音声情報を入力するようになる。もちろん、編集後の音声信号Ｓ３６を映像表示信号Ｓ３６と共に外部機器に送信したり、編集時、未編集の映像に係る音声信号Ｓ３６を外部機器から受信するようになされる。
【０３０１】
上述のＣＰＵ６２には入力部の機能の一例を構成する無線＆有線通信部９１が接続され、外部機器と通信するようになされる。この例で無線＆有線通信部９１は、外部機器から映像＆音声処理部６４又は内蔵記憶装置９２へ編集起点情報及び編集終点情報を付加した被写体の映像情報及び当該被写体周囲収録時の音声情報を入力するようになる。無線＆有線通信部９１にはアンテナ６６が接続される。例えば、ＣＰＵ６２は、編集処理に基づいて抽出し繋ぎ合わせた被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を無線＆有線通信部９１の無線機能及びアンテナ６６を使用してヘッドマウント型のビデオカメラ２００へ送信するようになされる。
【０３０２】
更に、無線＆有線通信部９１は電話回線に接続可能となされ、電話回線を通じてインターネットに接続される。無線＆有線通信部９１はＣＰＵ６２の制御を受けて配信処理を実行する。例えば、無線＆有線通信部９１は、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を配信する。これにより、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したファイル（アルゴリズム）をインターネット等を介して他のユーザにダウンロードできるようになる。
【０３０３】
なお、ＣＰＵ６２に再生制御機能を持たせて、編集処理に基づいて抽出し繋ぎ合わせた被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を編集長さ設定モードに基づいて再生するようにしてもよい。このような再生処理を実行すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’を短目、中程又は長目編集モードに基づいて再生することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を適度な長さに記録したメモリアルファイルを視聴できるようになる。
【０３０４】
また、電源回路８４は商用電源から変換された直流電源をリモコン受光部８３や、情報処理部８５、操作部８２、無線＆有線通信部９１、内蔵記憶装置９２、ドライバ９６等に供給するようになされる。
【０３０５】
続いて、記録編集再生装置５００における情報処理例について説明する。図２８は、記録編集再生装置５００における情報処理例を示すフローチャートである。この例では、情報編集処理に関して自動編集モードが備えられ、当該自動編集モードが選択された場合は、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４及び音声データＤ１３を抽出して繋ぎ合わせるようになされる。自動編集モードには、短目編集モード、中程編集モード及び長目編集モードの３種類が準備される場合を例に挙げる。もちろん、記録編集再生装置５００の電源プラグ９５は、商用電源に接続されており、電源がオンされている。
【０３０６】
これらを編集処理条件にして、図２８に示すフローチャートのステップＧ１でＣＰＵ６２は入力操作指示に基づいてデータ入力処理を実行する。このとき、ユーザは操作部８２を操作して、データを入力する旨をＣＰＵ６２に指示する。この操作によって、操作部８２からＣＰＵ６２へデータを入力する旨の操作データＤ８２を出力するようになる。更に、ユーザは操作部８２を操作して、データを自動編集するか否かをＣＰＵ６２に指示する。この操作によって、操作部８２からＣＰＵ６２へデータを自動編集する又は編集しない旨の操作データＤ８２を出力するようになる。
【０３０７】
このときの入力先は第１の実施例で説明したようなビデオカメラ１００、第２の実施例で説明したようなヘッドマウント型のビデオカメラ２００、第３の実施例で説明したようなデジタルカメラ３００、第４の実施例で説明したカメラ付き携帯電話機４００である。ビデオカメラ１００、デジタルカメラ３００及び携帯電話機４００は、例えば有線形態で、編集起点情報及び編集終点情報を付加した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３が入力される。ビデオカメラ２００は、例えば無線形態で、編集起点情報及び編集終点情報を付加した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３が入力される。このときの映像データＤ３４及び音声データＤ１３はメモリ部６７のＲＡＭ等に一時記憶される。
【０３０８】
なお、この時点で操作部８２を操作して、データ自動編集後の出力形態をＣＰＵ６２に指示するようにしてもよい。例えば、操作部８２を操作して、ＣＰＵ６２にデータ自動編集後の出力先を指示する旨の操作データＤ８２を出力するようにする。出力先は、ビデオカメラ１００、デジタルカメラ３００、携帯電話機４００及び不図示の映像表示モニタは有線形態で、自動編集後の被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を出力するようになる。映像表示モニタにはパーソナルコンピュータ（以下パソコンという）が含まれる。ビデオカメラ２００は無線形態で、自動編集後の被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を出力するようになる。
【０３０９】
次に、ステップＧ２でＣＰＵ６２はデータを自動編集するか否かを判別し、この判別結果に基づいて制御を分岐する。この例で、データを自動編集する指示が設定されている場合は、ステップＧ３に移行して、ＣＰＵ６２はモード設定入力処理を実行する。例えば、操作部８２の編集長さ設定スイッチを操作して、編集長さ設定モードに関する操作データＤ８２をＣＰＵ６２に入力する。このとき、操作部８２の短目編集モードスイッチ、中程編集モードスイッチ又は長目編集モードスイッチの中から１つのスイッチを選択するようになされる。
【０３１０】
例えば、短目編集モードスイッチを選択すると、操作部８２からＣＰＵ６２には短目編集モードを示す操作データＤ８２が出力される。短目編集モードとは、編集起点情報及び編集終点情報を付加した複数の区間部分の中から最も短い編集起点情報及び編集終点情報を付加した１つの区間部分の映像データＤ３４及び音声データＤ１３を抽出する動作をいう。
【０３１１】
また、中程編集モードスイッチを選択すると、操作部８２からＣＰＵ６２には中程編集モードを示す操作データＤ８２が出力される。中程編集モードとは、短目編集モードによって抽出された区間部分の映像データＤ３４’及び音声データＤ１３’を除く、他の区間部分の映像データＤ３４’及び音声データＤ１３’を繋ぎ合わせた編集動作をいう。
【０３１２】
更に長目編集モードスイッチを選択すると、操作部８２からＣＰＵ６２には長目編集モードを示す操作データＤ８２が出力される。長目編集モードとは、短目編集モードと中程編集モードとを合わせた編集動作をいい、例えば、編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４’及び音声データＤ１３’を全部繋ぎ合わせた編集動作をいう。
【０３１３】
次に、ステップＧ４でＣＰＵ６２は編集スタートを待機する。このとき、ユーザは編集スタートを構成する操作部８２の押しボタンスイッチを操作して、ＣＰＵ６２に編集処理開始を指示するようになされる。操作部８２はＣＰＵ６２に編集処理開始を指示する操作データＤ８２を出力する。
【０３１４】
操作部８２からＣＰＵ６２へ編集処理開始が指示されると、ステップＧ５に移行してＣＰＵ６２は、更に、先に設定された短目編集モード、中程編集モード又は長目編集モードに基づいて制御を分岐する。上述のステップＧ３で短目編集モードが設定されている場合は、ステップＧ５からステップＧ６へ移行して、ＣＰＵ６２は、アルゴリズムIIIを演算して短目編集モードを実行する。このとき、記録時間情報Ｔからタイムコードｔｓ，ｔｅが付加された映像データＤ３４’及び音声データＤ１３’の区間部分を抽出する演算をｆとし、アルゴリズムIIIを演算して編集される抽出シーンをＳIIIとする。
【０３１５】
次に、ステップＧ７でＣＰＵ６２は抽出シーンｆ（ＳIII）に係る映像データＤ３４’及び音声データＤ１３’をメモリ部６７のＲＡＭから読み出す。その後、ステップＧ８に移行して、内蔵記憶装置９２で新設されたメモリ領域に、ＲＡＭから読み出した抽出シーンｆ（ＳIII）に係る映像データＤ３４’及び音声データＤ１３’を格納する。その後、ステップＧ１６に移行する。
【０３１６】
また、上述のステップＧ３で中程編集モードが設定されている場合は、ステップＧ５からステップＧ９へ移行して、ＣＰＵ６２は、アルゴリズムIIを演算して中程編集モードを実行する。このとき、アルゴリズムIIを演算して編集される抽出シーンをＳIII＋ＳIIとする。
【０３１７】
次に、ステップＧ１０でＣＰＵ６２は抽出シーンｆ（ＳIII＋ＳII）に係る映像データＤ３４’及び音声データＤ１３’をメモリ部６７のＲＡＭから読み出す。その後、ステップＧ１１に移行して、内蔵記憶装置９２で新設されたメモリ領域に、ＲＡＭから読み出した抽出シーンｆ（ＳIII＋ＳII）に係る映像データＤ３４’及び音声データＤ１３’を格納する。その後、ステップＧ１６に移行する。
【０３１８】
更に、上述のステップＧ３で長目編集モードが設定されている場合は、ステップＧ５からステップＧ１２へ移行して、ＣＰＵ６２は、アルゴリズムIを演算して長目編集モードを実行する。このとき、アルゴリズムＩを演算して編集される抽出シーンをＳIII＋ＳII＋ＳＩとする。
【０３１９】
次に、ステップＧ１３でＣＰＵ６２は抽出シーンｆ（ＳIII＋ＳII＋ＳＩ）に係る映像データＤ３４’及び音声データＤ１３’をメモリ部６７のＲＡＭから読み出す。その後、ステップＧ１４に移行して、内蔵記憶装置９２で新設されたメモリ領域に、ＲＡＭから読み出した抽出シーンｆ（ＳIII＋ＳII＋ＳＩ）に係る映像データＤ３４’及び音声データＤ１３’を格納する。その後、ステップＧ１６に移行する。
【０３２０】
なお、上述のステップＧ２でデータを自動編集しない旨の指示が設定されている場合はステップＧ１５に移行する。ステップＧ１５で、ＣＰＵ６２は未編集のデータ格納処理を実行する。このデータ格納処理では、編集終点情報や編集終点情報等の付加有無に関係無く、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とをそのまま内蔵記録装置８５の所定のメモリ領域へ順次格納される。これは編集依頼が殺到して、後日、編集処理に移行する場合が考えられるためである。その後、ステップＧ１６に移行する。
【０３２１】
ステップＧ１６で、ＣＰＵ６２は編集後の映像データＤ３４’及び音声データＤ１３’を出力する否かを判別する。このとき、ユーザは操作部８２を操作して、データを出力する旨をＣＰＵ６２に指示する。この操作によって、操作部８２は、ＣＰＵ６２へデータを出力する旨の操作データＤ８２を出力するようになる。更に、ユーザは操作部８２を操作して、短目編集モード、中程編集モード又は長目編集モードのいずれかを選択する旨をＣＰＵ６２に指示する。この操作によって、操作部８２は、ＣＰＵ６２へ短目編集モード、中程編集モード又は長目編集モードのいずれかを選択する旨の操作データＤ８２を出力するようになる。
【０３２２】
次にステップＧ１７でＣＰＵ６２は、先に設定された出力形態と、短目編集モード、中程編集モード又は長目編集モードのいずれかとに基づいてデータ出力処理を実行する。例えば、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３の入力先がビデオカメラ２００で、そのデータ編集後の出力先に関して当該ビデオカメラ２００が設定されている場合であって、短目編集モードが設定されている場合、内蔵記憶装置９２から読み出した抽出シーンｆ（ＳIII）に係る映像データＤ３４’及び音声データＤ１３’を無線＆有線通信部９１を介してビデオカメラ２００へ送信する。
【０３２３】
ビデオカメラ２００の情報処理＆通信部５０では、抽出シーンｆ（ＳIII）に係る映像データＤ３４’及び音声データＤ１３’が再生され、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’に基づく感動シーンを表示部２９ａ，２９ｂに表示することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを視聴できるようになる。出力先はビデオカメラ２００に限られることなく、映像再生表示専用のモニタであってもよい。
【０３２４】
また、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３の入力先がデジタルカメラ３００で、そのデータ編集後の出力先に関して当該デジタルカメラ３００が設定されている場合であって、中程編集モードが設定されている場合に、内蔵記憶装置９２から読み出した抽出シーンｆ（ＳIII＋ＳII）に係る映像データＤ３４’及び音声データＤ１３’をデジタルカメラ３００の情報処理部１５で再生すると、この再生によって、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点と、次に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’に基づく感動シーンを表示部２９に表示することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを視聴できるようになる。出力先はデジタルカメラ３００に限られることなく、ＴＶ受像機等の映像表示モニタであってもよい。
【０３２５】
更に、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３の入力先がビデオカメラ１００で、そのデータ編集後の出力先に関して映像表示モニタが設定されている場合であって、長目編集モードが設定されている場合、内蔵記憶装置９２から読み出した抽出シーンｆ（ＳIII＋ＳII＋ＳＩ）に係る映像データＤ３４’及び音声データＤ１３’を映像表示モニタに転送して再生する。
【０３２６】
この再生によって、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点と、次に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’と、更に、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点・・・等の抽出された全ての映像データＤ３４’及び音声データＤ１３’に基づく感動シーンをモニタ表示することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを視聴できるようになる。出力先は映像表示モニタに限られることなく、ビデオカメラ１００であってもよい。
【０３２７】
その後、ステップＧ１８で、ＣＰＵ６２は終了判断をする。例えば、操作部８２の編集ストップスイッチが操作されたか否かを判別する。あるいは、電源スイッチ８１が操作されて、電源オフ情報を検出した否かを判別する。操作部８２の編集ストップスイッチが操作された場合、又は、電源オフ情報が検出された場合は、編集処理を終了する。操作部８２の編集ストップスイッチが操作されていない場合及び、電源オフ情報が検出されていない場合は、ステップＧ１に戻って上述した処理を繰り返すようになされる。
【０３２８】
このように第５の実施例としての記録編集再生装置５００によれば、ヘッドマウント型のビデオカメラ２００等から得られる被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３を自動編集して再生するようになされる。記録編集再生装置５００は、編集起点及び編集終点の各々の情報に基づいて被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から当該編集起点及び編集終点に係るタイムコードを付加した区間部分の映像データＤ３４’及び音声データＤ１３’を自動抽出して繋ぎ合わせるように編集処理を実行する。
【０３２９】
従って、抽出シーンｆ（ＳIII）や、ｆ（ＳIII＋ＳII）、ｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’を再生すると、操作者３０が被写体映像撮影中に手に汗握って生体感情が高まった時点の映像データＤ３４’及び音声データＤ１３’に基づく感動シーンをモニタ表示することができ、操作者固有の映像データＤ３４’及び音声データＤ１３’を記録したメモリアルファイルを再現性良く視聴できるようになる。
【実施例６】
【０３３０】
図２９は第６の実施例としての編集サービスシステム＃１の構成例を示すブロック図である。図２９に示す編集サービスシステム＃１は本発明に係る情報処理システムの一例を構成し、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するシステムであって、これらの情報の編集処理を提供するシステムである。編集処理は無料でも有料でもどちらであってもよい。有料システムを構成する場合は編集処理が課金対象となり、ビジネスモデルを構成するようになる。
【０３３１】
編集サービスシステム＃１ではユーザの情報通信処理装置６０１と編集処理提供者の情報端末装置６０３とがインターネット６０２（ｗｗｗ）を介して接続するようになされる。情報通信処理装置６０１には、デスクトップ型のパソコンや、ノート型のパソコンが含まれる。
【０３３２】
情報通信処理装置６０１には映像取得機器６０４が接続され、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するようになされる。映像取得機器６０４には第１の実施例で説明したようなビデオカメラ１００、第２の実施例で説明したようなヘッドマウント型のビデオカメラ２００、第３の実施例で説明したようなデジタルカメラ３００、第４の実施例で説明したカメラ付き携帯電話機４００が含まれる。
【０３３３】
この例で情報通信処理装置６０１は、映像取得機器６０４から得られる被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を再生する機能を有しているが、第５の実施例で説明したような記録編集再生装置５００の機能を有していない場合である。
【０３３４】
当該システム＃１で編集サービスを受ける場合、情報通信処理装置６０１は、インターネット６０２を介して編集処理提供者の情報端末装置６０３に接続して、編集起点及び編集終点の各々の情報を付加した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を送信するようになされる。情報端末装置６０３は、情報通信処理装置６０１から送信されてきた被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集する機能を有している。
【０３３５】
情報端末装置６０３には第５の実施例で説明した記録編集再生装置５００が使用される。もちろん、情報端末装置６０３には、図２７で説明したような編集起点情報及び編集終点情報を付加した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を入力するステップと、入力された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集するか否かを判別するステップと、自動編集すると判別された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４’及び音声データＤ１３’を抽出して繋ぎ合わせるステップとを記述したプログラムが実装されている。
【０３３６】
これにより、編集処理提供者で自動編集した抽出シーンｆ（ＳIII）や、ｆ（ＳIII＋ＳII）、ｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’をユーザに、例えば、課金対象として返信できるようになる。
【０３３７】
続いて、編集サービスシステム＃１における情報処理例について説明する。図３０は編集サービスシステム＃１における情報処理例を示すフローチャートである。この例では、情報編集業者には情報端末装置６０３が備えられ、編集後の抽出シーンｆ（ＳIII）や、ｆ（ＳIII＋ＳII）、ｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’をダウンロード形式でユーザの情報通信処理装置６０１に提供する場合を例に挙げる。
【０３３８】
これを編集処理条件にして、ユーザは、図３０に示すステップＱ１で編集サービスを受けるために情報編集業者の情報端末装置６０３を呼び出す。このとき、情報通信処理装置６０１は情報端末装置６０３に発呼し、インターネット６０２を介して電話回線を接続する。
【０３３９】
次に、ステップＱ２でインターネット６０２上のＷｅｂ画面で申し込み内容を確認し、情報編集業者との手続を実行する。例えば、情報通信処理装置６０１には編集サービスを受けるための申し込み内容が表示され、そのＷｅｂ画面上で内容を確認した後、手続ＯＫボタンを操作する。その後、ステップＱ３で情報通信処理装置６０１は情報端末装置６０３へのデータ送信処理を実行する。データは、編集起点情報及び編集終点情報が付加された被写体の映像データＤ３４’及び当該被写体周囲収録時の音声データＤ１３である。
【０３４０】
情報編集業者側ではステップＱ４で情報端末装置６０３がデータ自動編集処理を実行する（図２８参照）。この自動編集処理によって感動シーンが抽出され、残留した映像及び音声データはそのまま廃棄するか、また、一定期間だけ、情報編集業者側で保存しておいてもよい。情報編集業者側で保存される映像及び音声データに関しては秘密保持扱いとすればよい。
【０３４１】
そして、ステップＱ５で情報端末装置６０３は情報通信処理装置６０１へ編集後の映像データＤ３４’及び音声データＤ１３’の返信処理を実行する。編集後の映像データＤ３４’及び音声データＤ１３’は、情報通信処理装置６０１の記憶装置等に格納される。その後、ユーザはステップＱ６でＷｅｂ画面上で、編集後の映像データＤ３４’及び音声データＤ１３’の確認処理を実行する。
【０３４２】
確認終了後、ステップＱ７で情報通信処理装置６０１をＯＮフックして電話回線を切断する処理を実行する。そして、ステップＱ８で情報通信処理装置６０１は終了判断する。例えば、電源スイッチが操作され、電源オフ情報を検出した否かを判別する。電源スイッチが操作され、電源オフ情報が検出された場合は、編集サービスモードを終了する。電源スイッチが操作されず、電源オフ情報が検出されていない場合は、ステップＱ１に戻って上述した処理を繰り返すようになされる。
【０３４３】
このように第６の実施例としての編集サービスシステム＃１によれば、本発明に係る情報処理装置、情報処理方法及びプログラムが応用されるので、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報を処理する際に、情報編集業者の情報端末装置６０３を呼び出すことで、当該情報端末装置６０３は、操作者３０の生体感情を検出して生成された感情データ４５等と、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けた編集処理等を実行する。
【０３４４】
従って、ユーザの情報処理装置に自動編集プログラムが無くても、編集処理提供者で自動編集した抽出シーンｆ（ＳIII）や、ｆ（ＳIII＋ＳII）、ｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’を課金対象として取得できるようになる。編集後の抽出シーンｆ（ＳIII）や、ｆ（ＳIII＋ＳII）、ｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’は、ダウンロード形式でも、記録媒体９７のような搬送形態でもどちらでもよい。なお、情報編集業者への編集依頼は、インターネットのみならず、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を記録したメモリスティク６０５や、ＣＤ−ＲＯＭ６０６等の記録媒体を店頭渡しの形式で行ってもよい。
【実施例７】
【０３４５】
図３１は第７の実施例としての編集ソフト提供システム＃２の構成例を示すブロック図である。
【０３４６】
図３１に示す編集ソフト提供システム＃２は、本発明に係る情報処理システムの他の一例を構成し、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するシステムであって、これらの情報の編集処理に必要な編集プログラムＰＤ”を記述した編集処理用のソフトウエア（以下編集ソフトという）を提供するシステムである。編集ソフトは無料でも有料でもどちらであってもよい。有料システムを構成する場合は編集ソフトが課金対象となり、ビジネスモデルを構成するようになる。
【０３４７】
編集ソフト提供システム＃２ではユーザの情報通信処理装置７０１と編集処理提供者の情報配信装置７０３とがインターネット７０２（ｗｗｗ）を介して接続するようになされる。情報通信処理装置７０１にはデスクトップ型のパソコンや、ノート型のパソコンに第５の実施例で説明したような記録編集再生機能を備えたものが使用される。もちろん、通信機能付きのパソコンと通常の記録編集再生装置とを組み合わせて使用してもよい。
【０３４８】
情報通信処理装置７０１には映像取得機器７０４が接続され、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するようになされる。映像取得機器７０４には第１の実施例で説明したようなビデオカメラ１００、第２の実施例で説明したようなヘッドマウント型のビデオカメラ２００、第３の実施例で説明したようなデジタルカメラ３００、第４の実施例で説明したカメラ付き携帯電話機４００が含まれる。
【０３４９】
この例で情報通信処理装置７０１は、映像取得機器７０４から得られる被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を再生する機能を有しており、第５の実施例で説明したような記録編集再生機能を有しているが、編集ソフトが実装されていない場合である。最初から情報通信処理装置７０１に編集ソフトを実装していないのは、オプション扱いとしたこと、及び、編集ソフトのバージョンアップに柔軟に対処できるようにしたためである。
【０３５０】
当該システム＃２で編集ソフトの提供を受ける場合、情報通信処理装置７０１は、インターネット７０２を介して編集処理提供者の情報配信装置７０３に接続して、例えば、機器登録番号や、ユーザＩＤ等の登録情報を送信するようになされる。情報配信装置７０３は、情報通信処理装置７０１から送信されてきた登録情報を検証し、検証ＯＫを得た場合に、被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集するための編集ソフトを配信するようになされる。
【０３５１】
情報配信装置７０３には、デスクトップ型のパソコンや、ノート型のパソコンが使用される。情報配信装置７０３にはサーバシステムが導入され、図２７で説明したような編集起点情報及び編集終点情報を付加した被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を入力するステップと、入力された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集するか否かを判別するステップと、自動編集すると判別された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３から編集起点情報及び編集終点情報を付加した区間部分の映像データＤ３４’及び音声データＤ１３’を抽出して繋ぎ合わせるステップとを記述したプログラムが実装されている。
【０３５２】
これにより、編集処理提供者は登録要求に応じて編集ソフトを配信することができ、ユーザは、手元の情報通信処理装置７０１で被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集し、編集後の抽出シーンｆ（ＳIII）や、ｆ（ＳIII＋ＳII）、ｆ（ＳIII＋ＳII＋ＳＩ）等に係る映像データＤ３４’及び音声データＤ１３’をまとめた感動シーンの映像及び音声アルバムファイルを作成できるようになる。
【０３５３】
続いて、編集ソフト提供システム＃２における情報処理例について説明する。図３２は編集ソフト提供システム＃２における情報処理例を示すフローチャートである。この例では、情報編集業者には情報配信装置７０３が備えられ、当該システム＃２で編集ソフトの提供を受ける場合、情報通信処理装置７０１の機器登録番号や、ユーザＩＤ等の登録情報を送信し、検証ＯＫを得た場合に、編集ソフトを配信する場合を例に挙げる。
【０３５４】
これを編集ソフト取得条件にして、ユーザは、図３２に示すフローチャートのステップＲ１で編集ソフトを受けるために情報編集業者の情報配信装置７０３を呼び出す。このとき、情報通信処理装置７０１は情報配信装置７０３に発呼し、インターネット７０２を介して電話回線を接続する。
【０３５５】
次に、ステップＲ２でインターネット７０２上のＷｅｂ画面で登録内容を確認し、情報編集業者との登録手続を実行する。例えば、情報通信処理装置７０１には編集ソフトを受けるための登録内容が表示される。このとき、当該装置の機器登録番号や、ユーザＩＤ等の登録情報が情報通信処理装置７０１に入力される。そして、Ｗｅｂ画面上で登録内容を確認した後、手続ＯＫボタンを操作する。登録情報は情報通信処理装置７０１から情報配信装置７０３へ送信するようになされる。
【０３５６】
その後、ステップＲ３で情報配信装置７０３は、情報通信処理装置７０１から送信されてきた登録情報の検証処理をする。この際の検証処理では、例えば、情報通信処理装置７０１の販売時に控えてある機器登録番号と、登録時の機器登録番号とを比較照合する。両者の番号が一致した場合に検証ＯＫとなされる。
【０３５７】
当該検証ＯＫを得た場合に、ステップＲ４で被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３を自動編集するための編集ソフトの配信処理をする。この編集ソフトは情報通信処理装置７０１内にダウンロードするようになされる。以後、ユーザ側ではデータ自動編集処理を実行できるようになる（図２８参照）。そして、ステップＲ５で情報通信処理装置７０１をＯＮフックして電話回線を切断する処理を実行する。
【０３５８】
このように第７の実施例としての編集ソフト提供システム＃２によれば、本発明に係る情報処理装置、情報処理方法及びプログラムが応用されるので、被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報を処理する場合に、情報編集業者には情報配信装置７０３が備えられ、情報編集業者の情報配信装置７０３を呼び出し、情報通信処理装置７０１の機器登録番号や、ユーザＩＤ等の登録情報を送信し、検証ＯＫを得た場合に、編集ソフトを配信を受けられるようになされる。
【０３５９】
従って、機器購入時、情報通信処理装置７０１内に自動編集プログラムが無くても、後日、編集処理提供者から提供を受けること、更に、編集ソフト内容に変更が生じた場合も、簡単に更新手続きを行うことができる。当該情報通信処理装置７０１で、操作者３０の生体感情を検出して生成された感情データ４５等と、撮影集音された被写体の映像データＤ３４及び当該被写体周囲収録時の音声データＤ１３とを対応付けた編集処理等を実行できるようになる。なお、編集ソフトの配信要求はインターネット形式でも、郵送や、店頭に出向く形態でもどちらでもよい。情報編集業者からユーザへの編集ソフトは、インターネットによるダウンロードのみならず、編集ソフトウエアを記述したメモリスティク７０５や、ＣＤ−ＲＯＭ７０６等の記録媒体を店頭で渡す形式で行ってもよい。
【０３６０】
このように第１〜第７の実施例によれば、ユーザ主体の煩雑な操作を行うこと無しに、膨大な記録データの中から、ユーザが望むシーンのみを自動抽出及び自動編集することができるようになった。
【産業上の利用可能性】
【０３６１】
この発明は、動画を撮るビデオカメラや、静止画を撮るデジタルカメラ、カメラ付きの携帯電話機、カメラ付きの携帯端末装置、これら装置から得られる映像及び音情報を再生する情報再生装置、あるいは、データを保存する記録編集再生ディスク装置を備えたシステム等に適用して極めて好適である。
【図面の簡単な説明】
【０３６２】
【図１】本発明に係る第１の実施例としてのビデオカメラ１００の構成例を示す斜視図である。
【図２】生体センサ部４５に適用可能な発汗センサ４５’の構成例を示すブロック図である。
【図３】ビデオカメラ１００の制御系の構成例を示すブロック図である。
【図４】ビデオカメラ１００における撮影フォーマット例（その１）を示すタイムチャートである。
【図５】ビデオカメラ１００における撮影フォーマット例（その２）を示すタイムチャートである。
【図６】ビデオカメラ１００における記録処理例（その１）を示すフローチャートである。
【図７】ビデオカメラ１００における記録処理例（その２）を示すフローチャートである。
【図８】ビデオカメラ１００における情報編集例を示すフローチャートである。
【図９】第２の実施例としてのヘッドマウント型のビデオカメラ２００の構成例を示す斜視図である。
【図１０】脈拍センサ２７の構成例を示す断面図である。
【図１１】脈拍センサ２７の内部構成例を示すブロック図である。
【図１２】血圧センサ２８の構成例を示すブロック図である。
【図１３】（Ａ）及び（Ｂ）は、血圧検知例、脈拍検知例及び脈波伝達時間の算出例を示すグラフ図である。
【図１４】ビデオカメラ２００の制御系の構成例を示すブロック図である。
【図１５】ビデオカメラ２００における撮影フォーマット例（その１）を示す動作タイミングチャートである。
【図１６】ビデオカメラ２００における撮影フォーマット例（その２）を示す動作タイミングチャートである。
【図１７】ビデオカメラ２００における情報記録例を示すフローチャートである。
【図１８】第３の実施例としてのデジタルカメラ３００の構成例を示す斜視図である。
【図１９】デジタルカメラ３００の制御系の構成例を示すブロック図である。
【図２０】デジタルカメラ３００における記録処理例（その１）を示すフローチャートである。
【図２１】デジタルカメラ３００における記録処理例（その２）を示すフローチャートである。
【図２２】第４の実施例としてのカメラ付き携帯電話機４００の構成例を示す斜視図である。
【図２３】携帯電話機４００の制御系の構成例を示すブロック図である。
【図２４】携帯電話機４００における情報処理例（その１）を示すフローチャートである。
【図２５】携帯電話機４００における情報処理例（その２）を示すフローチャートである。
【図２６】第５の実施例としての記録編集再生装置５００の構成例を示す斜視図である。
【図２７】記録編集再生装置５００の制御系の構成例を示すブロック図である。
【図２８】記録編集再生装置５００における情報処理例を示すフローチャートである。
【図２９】第６の実施例としての編集サービスシステム＃１の構成例を示すブロック図である。
【図３０】編集サービスシステム＃１における情報処理例を示すフローチャートである。
【図３１】第７の実施例としての編集ソフト提供システム＃２の構成例を示すブロック図である。
【図３２】編集ソフト提供システム＃２における情報処理例を示すフローチャートである。
【符号の説明】
【０３６３】
＃１・・・編集サービスシステム（情報処理システム）、＃２・・・編集ソフト提供システム（情報処理システム）、１０，４０，６０，８０・・・本体ケース、１１・・・ヒンジ機構、１２・・・押しボタンスイッチ、１３・・・集音部、１３’・・・マイクロフォン（集音部）、１４・・・バッテリー、１５，８５・・・情報処理部、１６，６６・・・アンテナ、１７，８７・・・回路基板、１８，８２・・・操作部、１９・・・通信部、２０・・・本体フレーム、２１・・・受信部、２２・・・送信部、２４ａ・・・左メガネ吊る部、２４ｂ・・・右メガネ吊る部、２５・・・圧電アクチュエータ、２７・・・脈拍センサ（生体センサ部）、２８・・・血圧センサ（生体センサ部）、２９・・・表示部、３１・・・映像＆音声収録部、３２，６２・・・ＣＰＵ（情報処理部）、３３・・・電源ユニット、３４・・・撮像部、３５・・・記憶装置、３６ａ，３６ｂ・・・スピーカー、３７，６７・・・メモリ部（情報処理部）、３９・・・映像＆音声出力端子、４１・・・外部インターフェース、４３・・・バッテリー＆記憶部、４４，６４・・・映像＆音声処理部（情報処理部）、４５・・・生体センサ部（情報出力部）、４５’・・・発汗センサ（生体センサ部）、５０・・・情報処理＆通信部、８９・・・映像＆音声入出力端子、１００，２００・・・ビデオカメラ（情報処理装置）、３００・・・デジタルカメラ（情報処理装置）、４００・・・携帯電話機（情報処理装置）、５００・・・記録編集再生装置、６０１，７０１・・・情報通信処理装置、６０２，７０２・・・インターネット、６０３・・・情報端末装置、６０４・・・情報取得機器、７０３・・・情報配信装置、６０４，７０４・・・映像取得機器（情報処理装置）
【特許請求の範囲】
【請求項１】
被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する装置であって、
前記被写体の映像を撮影して映像情報を出力し、かつ、当該被写体の周囲の音を集音して音情報を出力する映像及び音収録部と、
前記映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を出力する情報出力部と、
前記情報出力部から出力される前記生体感情報と前記映像及び音収録部から出力される前記被写体の映像情報及び当該被写体の周囲の音情報とを対応付けるように処理する情報処理部とを備えることを特徴とする情報処理装置。
【請求項２】
前記情報出力部は、
前記映像及び音収録部を操作する操作者の発汗量を時系列に検知して生体感情報を前記情報処理部へ出力する発汗センサを有していることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記情報処理部は、
前記情報出力部から出力される生体感情報と当該生体感情報の判別基準となる判別基準情報とを比較し、前記判別基準情報を越える生体感情報を検出したとき、前記被写体の映像情報及び当該被写体の周囲の音情報に編集起点情報を付加し、その後、前記判別基準情報以下の生体感情報を検出したとき、前記被写体の映像情報及び当該被写体の周囲の音情報に編集終点情報を付加することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記情報処理部は、
前記編集起点情報及び編集終点情報に基づいて前記被写体の映像情報及び当該被写体の周囲の音情報から当該編集起点情報及び編集終点情報を付加した区間部分の映像及び音情報を抽出して繋ぎ合わせる編集処理を実行することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記情報処理部は、
前記編集処理に基づいて抽出し繋ぎ合わせた前記被写体の映像情報及び当該被写体の周囲の音情報を再生することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記情報処理部は、
前記編集処理に基づいて抽出し繋ぎ合わせた前記被写体の映像情報及び当該被写体の周囲の音情報を配信することを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記情報処理部は、
前記編集処理に基づいて抽出し繋ぎ合わせた前記被写体の映像情報及び当該被写体の周囲の音情報を所定の記録媒体に記録することを特徴とする請求項４に記載の情報処理装置。
【請求項８】
前記情報出力部は、
前記映像及び音収録部を操作する操作者の脈拍数を時系列に検知して脈拍情報を発生する脈拍センサと、
前記映像及び音収録部を操作する操作者の血圧を時系列に検知して血圧情報を発生する血圧センサとを有し、
前記情報処理部は、
前記脈拍センサから得られる脈拍情報と前記血圧センサから得られる血圧情報とを演算して脈波伝達時間を求めることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報であって、操作者の生体感情を検出して作成された生体感情報と、撮影集音された当該被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて編集起点情報及び編集終点情報が付加された情報を処理する装置であって、
前記編集起点情報及び編集終点情報を付加した被写体の映像情報及び当該被写体周囲収録時の音声情報を入力する入力部と、
前記入力部によって入力された前記被写体の映像情報及び当該被写体周囲収録時の音声情報を外部からの指示に基づいて自動編集するか否かを判別する判別部と、
前記判別部によって編集すると判別された前記被写体の映像情報及び当該被写体周囲収録時の音声情報から前記編集起点情報及び編集終点情報を付加した区間部分の映像情報及び音声情報を抽出して繋ぎ合わせる映像及音声処理部とを備えることを特徴とする情報処理装置。
【請求項１０】
被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する方法であって、
前記被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、
前記映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を作成するステップと、
作成された前記生体感情報と撮影集音された前記被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを有することを特徴とする情報処理方法。
【請求項１１】
前記生体感情報と当該生体感情報の判別基準となる判別基準情報とを比較するステップと、
前記判別基準情報を越える生体感情報を検出したとき、前記被写体の映像情報及び当該被写体の周囲の音情報に編集起点情報を付加するステップと、
その後、前記判別基準情報以下の生体感情報を検出したとき、前記被写体の映像情報及び当該被写体の周囲の音情報に編集終点情報を付加するステップとを有することを特徴とする請求項１０に記載の情報処理方法。
【請求項１２】
前記編集起点情報及び編集終点情報を付加した被写体の映像情報及び当該被写体周囲収録時の音声情報を入力するステップと、
入力された前記被写体の映像情報及び当該被写体周囲収録時の音声情報を自動編集するか否かを判別するステップと、
自動編集すると判別された前記被写体の映像情報及び当該被写体周囲収録時の音声情報から前記編集起点情報及び編集終点情報を付加した区間部分の映像情報及び音声情報を抽出して繋ぎ合わせるステップとを有することを特徴とする請求項１０に記載の情報処理方法。
【請求項１３】
前記被写体の映像情報及び当該被写体周囲収録時の音声情報を編集長さ設定モードに基づいて自動編集することを特徴とする請求項１２に記載の情報処理方法。
【請求項１４】
前記自動編集後の被写体の映像情報及び当該被写体周囲収録時の音声情報を編集長さ設定モードに基づいて出力処理することを特徴とする請求項１３に記載の情報処理方法。
【請求項１５】
被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するためのプログラムであって、
前記被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、
前記映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を作成するステップと、
作成された前記生体感情報と撮影集音された前記被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを記述したことを特徴とするプログラム。
【請求項１６】
被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するためのプログラムを記述した記録媒体であって、
前記被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、
前記映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を作成するステップと、
作成された前記生体感情報と撮影集音された前記被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを記述したプログラムを有することを特徴とするコンピュータが読み取り可能な記録媒体。
【請求項１７】
被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するシステムであって、
前記被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する情報処理装置と、
前記情報処理装置から得られる前記被写体の映像情報及び当該被写体の周囲の音情報を再生する情報再生装置とを備え、
前記情報処理装置は、
前記被写体の映像を撮影して映像情報を出力し、かつ、当該被写体の周囲の音を集音して音情報を出力する映像及び音収録部と、
前記映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を出力する情報出力部と、
前記情報出力部から出力される前記生体感情報と前記映像及び音収録部から出力される前記被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理する情報処理部とを有することを特徴とする情報処理システム。
【請求項１】
被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する装置であって、
前記被写体の映像を撮影して映像情報を出力し、かつ、当該被写体の周囲の音を集音して音情報を出力する映像及び音収録部と、
前記映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を出力する情報出力部と、
前記情報出力部から出力される前記生体感情報と前記映像及び音収録部から出力される前記被写体の映像情報及び当該被写体の周囲の音情報とを対応付けるように処理する情報処理部とを備えることを特徴とする情報処理装置。
【請求項２】
前記情報出力部は、
前記映像及び音収録部を操作する操作者の発汗量を時系列に検知して生体感情報を前記情報処理部へ出力する発汗センサを有していることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記情報処理部は、
前記情報出力部から出力される生体感情報と当該生体感情報の判別基準となる判別基準情報とを比較し、前記判別基準情報を越える生体感情報を検出したとき、前記被写体の映像情報及び当該被写体の周囲の音情報に編集起点情報を付加し、その後、前記判別基準情報以下の生体感情報を検出したとき、前記被写体の映像情報及び当該被写体の周囲の音情報に編集終点情報を付加することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記情報処理部は、
前記編集起点情報及び編集終点情報に基づいて前記被写体の映像情報及び当該被写体の周囲の音情報から当該編集起点情報及び編集終点情報を付加した区間部分の映像及び音情報を抽出して繋ぎ合わせる編集処理を実行することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記情報処理部は、
前記編集処理に基づいて抽出し繋ぎ合わせた前記被写体の映像情報及び当該被写体の周囲の音情報を再生することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記情報処理部は、
前記編集処理に基づいて抽出し繋ぎ合わせた前記被写体の映像情報及び当該被写体の周囲の音情報を配信することを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記情報処理部は、
前記編集処理に基づいて抽出し繋ぎ合わせた前記被写体の映像情報及び当該被写体の周囲の音情報を所定の記録媒体に記録することを特徴とする請求項４に記載の情報処理装置。
【請求項８】
前記情報出力部は、
前記映像及び音収録部を操作する操作者の脈拍数を時系列に検知して脈拍情報を発生する脈拍センサと、
前記映像及び音収録部を操作する操作者の血圧を時系列に検知して血圧情報を発生する血圧センサとを有し、
前記情報処理部は、
前記脈拍センサから得られる脈拍情報と前記血圧センサから得られる血圧情報とを演算して脈波伝達時間を求めることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られた情報であって、操作者の生体感情を検出して作成された生体感情報と、撮影集音された当該被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて編集起点情報及び編集終点情報が付加された情報を処理する装置であって、
前記編集起点情報及び編集終点情報を付加した被写体の映像情報及び当該被写体周囲収録時の音声情報を入力する入力部と、
前記入力部によって入力された前記被写体の映像情報及び当該被写体周囲収録時の音声情報を外部からの指示に基づいて自動編集するか否かを判別する判別部と、
前記判別部によって編集すると判別された前記被写体の映像情報及び当該被写体周囲収録時の音声情報から前記編集起点情報及び編集終点情報を付加した区間部分の映像情報及び音声情報を抽出して繋ぎ合わせる映像及音声処理部とを備えることを特徴とする情報処理装置。
【請求項１０】
被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する方法であって、
前記被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、
前記映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を作成するステップと、
作成された前記生体感情報と撮影集音された前記被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを有することを特徴とする情報処理方法。
【請求項１１】
前記生体感情報と当該生体感情報の判別基準となる判別基準情報とを比較するステップと、
前記判別基準情報を越える生体感情報を検出したとき、前記被写体の映像情報及び当該被写体の周囲の音情報に編集起点情報を付加するステップと、
その後、前記判別基準情報以下の生体感情報を検出したとき、前記被写体の映像情報及び当該被写体の周囲の音情報に編集終点情報を付加するステップとを有することを特徴とする請求項１０に記載の情報処理方法。
【請求項１２】
前記編集起点情報及び編集終点情報を付加した被写体の映像情報及び当該被写体周囲収録時の音声情報を入力するステップと、
入力された前記被写体の映像情報及び当該被写体周囲収録時の音声情報を自動編集するか否かを判別するステップと、
自動編集すると判別された前記被写体の映像情報及び当該被写体周囲収録時の音声情報から前記編集起点情報及び編集終点情報を付加した区間部分の映像情報及び音声情報を抽出して繋ぎ合わせるステップとを有することを特徴とする請求項１０に記載の情報処理方法。
【請求項１３】
前記被写体の映像情報及び当該被写体周囲収録時の音声情報を編集長さ設定モードに基づいて自動編集することを特徴とする請求項１２に記載の情報処理方法。
【請求項１４】
前記自動編集後の被写体の映像情報及び当該被写体周囲収録時の音声情報を編集長さ設定モードに基づいて出力処理することを特徴とする請求項１３に記載の情報処理方法。
【請求項１５】
被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するためのプログラムであって、
前記被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、
前記映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を作成するステップと、
作成された前記生体感情報と撮影集音された前記被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを記述したことを特徴とするプログラム。
【請求項１６】
被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するためのプログラムを記述した記録媒体であって、
前記被写体の映像を撮影して映像情報を取得し、かつ、当該被写体の周囲の音を集音して音情報を取得するステップと、
前記映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を作成するステップと、
作成された前記生体感情報と撮影集音された前記被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理するステップとを記述したプログラムを有することを特徴とするコンピュータが読み取り可能な記録媒体。
【請求項１７】
被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理するシステムであって、
前記被写体の映像を撮影し、及び、当該被写体の周囲の音を集音して得られる情報を処理する情報処理装置と、
前記情報処理装置から得られる前記被写体の映像情報及び当該被写体の周囲の音情報を再生する情報再生装置とを備え、
前記情報処理装置は、
前記被写体の映像を撮影して映像情報を出力し、かつ、当該被写体の周囲の音を集音して音情報を出力する映像及び音収録部と、
前記映像及び音収録部を操作する操作者の生体感情を検出して生体感情報を出力する情報出力部と、
前記情報出力部から出力される前記生体感情報と前記映像及び音収録部から出力される前記被写体の映像情報及び当該被写体の周囲の音情報とを対応付けて処理する情報処理部とを有することを特徴とする情報処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２００９−１１８４２０（Ｐ２００９−１１８４２０Ａ）
【公開日】平成２１年５月２８日（２００９．５．２８）
【国際特許分類】
【出願番号】特願２００７−２９２２９６（Ｐ２００７−２９２２９６）
【出願日】平成１９年１１月９日（２００７．１１．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年５月２８日（２００９．５．２８）
【国際特許分類】
【出願日】平成１９年１１月９日（２００７．１１．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]