記録装置
【課題】必要な区間中の音響信号又は画像信号を記録する。
【解決手段】動画像の撮影中において、記録処理部５１は、当該動画像の記録処理を行い、判定部５２は、画像信号及び音響信号に基づき記録条件の充足又は不充足を判定する。例えば、画像信号に基づいて撮像部の被写体の状態（撮影領域内における人物の有無等）を検出し、検出結果と音響信号に基づいて当該判定を行う。録音処理部５３は、記録条件が充足する区間中の音響信号を動画像とは別に記録媒体１３に記録させる。
【解決手段】動画像の撮影中において、記録処理部５１は、当該動画像の記録処理を行い、判定部５２は、画像信号及び音響信号に基づき記録条件の充足又は不充足を判定する。例えば、画像信号に基づいて撮像部の被写体の状態（撮影領域内における人物の有無等）を検出し、検出結果と音響信号に基づいて当該判定を行う。録音処理部５３は、記録条件が充足する区間中の音響信号を動画像とは別に記録媒体１３に記録させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＩＣレコーダ（digital voice recorder）、デジタルビデオカメラ等の記録装置に関する。
【背景技術】
【０００２】
音響信号又は画像信号を取得及び記録可能な記録装置において、ユーザ操作に拠ることなく、重要なシーンを自動的に判定して当該シーン中の信号を記録する同期記録機能が提案されている。ＩＣレコーダに搭載される同期記録機能では、例えば、音響信号による音の大きさを所定閾値と比較することで発言の有無を検出し、発言のあるシーンの音響信号のみを記録するといった処理が成される（例えば、下記特許文献１参照）。ユーザは同期記録機能を会議等において適用し、記録結果を会議の議事録作成などに役立てることができる。
【０００３】
尚、デジタルカメラにおいて、被写体人物の笑顔レベルが所定レベル以上であるときに自動撮影を行う方法（下記特許文献２参照）や、被写体人物がカメラから見て所定距離範囲内に入ったときに自動撮影を行う方法（下記特許文献３参照）も提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０９−０５０３６４号公報
【特許文献２】特開２０１０−２１９７３９号公報
【特許文献３】特開２０１０−１９３４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
発言のあった区間では音の大きさが大きくなるので、上記閾値を用いて記録の要否判定を行う方法は有益ではある。しかし、記録装置の周辺環境は様々であり、真に記録を行うべきか否かは、音以外の環境要因にも依存するものと考えられる。
【０００６】
そこで本発明は、記録の必要な区間を良好に検知して当該区間中の信号を記録しうる記録装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る記録装置は、収音によって音響信号を生成する収音部と、画像撮影によって画像信号を生成する撮像部と、記録媒体に対する前記音響信号又は前記画像信号の記録を制御する制御部と、を備え、前記制御部は、前記撮像部による動画像の撮影中において、前記音響信号及び前記画像信号に基づき所定の記録条件の充足又は不充足を判定し、前記記録条件が充足する区間中の前記音響信号又は前記画像信号を前記記録媒体に記録することを特徴とする。
【０００８】
音響信号及び画像信号の双方を参照することにより、様々な状況に適応した高度な記録要否判定（記録条件の充足／不充足判定）を成すことが可能となり、真に記録の必要な区間を良好に検知することが可能となる。
【０００９】
例えば、前記制御部は、前記動画像の前記記録媒体への記録中において前記区間が検出された場合、前記区間中の音響信号を前記動画像とは別に前記記録媒体に記録してもよい。
【００１０】
動画像とは別に記録条件が充足する区間中の音響信号を記録しておくことにより、ユーザは会議等の重要部分を集約した記録ファイルを後から参照することが可能となり、結果例えば、議事録の作成作業等が容易化される。
【００１１】
また例えば、前記制御部は、前記画像信号から被写体の状態を検出し、前記被写体の状態の検出結果と前記音響信号とに基づいて前記記録条件の充足又は不充足を判定してもよい。
【００１２】
具体的には例えば、前記被写体の状態は、前記撮像部の撮影領域内における人物の有無、前記撮影領域内における人物の口の動き、及び、前記撮影領域内における人物と当該記録装置との距離、の内の少なくとも一つを含んでいても良い。
【００１３】
また具体的には例えば、前記制御部は、前記音響信号による音の大きさを判定閾値と比較することで前記記録条件の充足又は不充足を判定し、前記判定閾値を前記画像信号に基づき可変設定しても良い。
【００１４】
更に具体的には例えば、前記制御部は、前記音響信号に含まれる規定帯域の信号成分による音の大きさを前記判定閾値と比較することで前記記録条件の充足又は不充足を判定し、前記規定帯域を前記画像信号に基づき可変設定しても良い。
【００１５】
また例えば、操作の入力を受ける操作部を当該記録装置に更に設けておいても良い。そして例えば、前記制御部は、更に、前記撮影部の撮影画角又は前記操作部への入力操作にも基づいて、前記記録条件の充足又は不充足を判定してもよい。
【００１６】
これにより、記録要否判定（記録条件の充足／不充足判定）の適正化が更に促進される。
【発明の効果】
【００１７】
本発明によれば、記録の必要な区間を良好に検知して当該区間中の信号を記録しうる記録装置を提供することが可能である。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る記録装置の概略全体ブロック図である。
【図２】本発明の第１実施例に係る記録装置の動作フローチャートである。
【図３】動画像の撮影区間と、対象区間との関係を説明するための図である。
【図４】動画像ファイルと音声ファイルが別々に記録媒体に記録される様子を示す図である。
【図５】本発明の第１実施例に係る記録装置の一部ブロック図である。
【図６】記録条件充足／不充足判定部のブロック図である。
【図７】指向性制御における指向角を説明するための図である。
【図８】記録条件充足／不充足判定部の第１変形ブロック図である。
【図９】記録条件充足／不充足判定部の第２変形ブロック図である。
【図１０】本発明の第２実施例に係る記録装置の動作フローチャートである。
【図１１】本発明の第２実施例に係る記録装置の一部ブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２０】
図１は、本発明の実施形態に係る記録装置１の概略構成ブロック図である。記録装置１は、画像信号及び音響信号の記録が可能な任意の電子機器であり、例えば、動画像撮影機能付きのＩＣレコーダ（digital voice recorder）、又は、ＩＣレコーダとしての機能をも有するデジタルビデオカメラである。
【００２１】
記録装置１は、符号１１〜１７によって参照される各部位を備える。撮像部１１は、固体撮像素子から成り、固体撮像素子を用いた画像撮影を行って撮影画像の画像信号を生成及び出力する。収音部１２は、１以上のマイクロホンから成り、収音によって音響信号（マイクロホンに到来した音の電気信号）を生成及び出力する。記録媒体１３は、不揮発性メモリから成り、任意の画像信号及び音響信号を記録する。尚、或る画像の記録という表現と、当該画像の画像信号の記録という表現は同義である。表示部１４は、液晶ディスプレイパネル等から成り、撮像部１１による撮影画像又は記録媒体１３の記録画像などを表示する。スピーカ部１５は、１以上のスピーカから成り、収音部１２にて生成された音響信号又は記録媒体１３に記録された音響信号を音として再生する。操作部１６は、操作ボタン、操作キー、操作レバー又はタッチパネルを有し、ユーザによる様々な操作の入力を受けて入力操作内容を主制御部１７に伝達する。主制御部１７は、操作部１６への入力操作内容を参照しつつ、記録装置１内の各部位の動作を統括的に制御する。
【００２２】
主制御部１７による制御には、記録媒体１３に対する記録制御が含まれ、記録装置１では、当該記録制御の方法に特異な方法を採用する。以下に、記録制御に関わる複数の実施例を説明する。矛盾無き限り、当該複数の実施例の内、或る実施例に記載した事項を他の実施例に適用することができる。尚、以下の説明文において、特に記述なき限り、画像信号とは撮像部１１の出力画像信号に基づく画像信号（撮像部１１の出力画像信号そのものを含む）を指し、音響信号とは収音部１２の出力音響信号に基づく音響信号（収音部１２の出力音響信号そのものを含む）を指す。
【００２３】
＜＜第１実施例＞＞
第１実施例を説明する。図２は、第１実施例に係る記録装置１の動作フローチャートである。まず、ステップＳ１１において、操作部１６に成された所定の録画開始操作等に従い、記録装置１は、撮像部１１を用いた動画像の撮影及び当該動画像の記録媒体１３への記録を開始する。ここで記録される動画像を動画像３００と呼ぶ（図３参照）。動画像３００の記録の開始及び終了時刻を、夫々、記号ｔＡ及びｔＢにて表す。続くステップＳ１２では、主制御部１７は、動画像３００の撮影及び記録区間中において所定の記録条件を満たす区間（以下、対象区間という）を検出する。図３の区間３１０は、検出された対象区間の例である。対象区間が検出されるとステップＳ１２からステップＳ１３への遷移が発生する。
【００２４】
ステップＳ１３において、主制御部１７は、対象区間中の音響信号を動画像３００とは別に記録媒体１３に記録する。具体的には、図４に示す如く、主制御部１７は、動画像３００についてのファイルである動画像ファイル３２０を記録媒体１３に記録させる一方で、音声ファイル３３０を動画像ファイル３２０とは別に記録媒体１３に記録させる。動画像ファイル３２０は、時刻ｔＡ及びｔＢ間の画像信号を少なくとも格納しており、更に、時刻ｔＡ及びｔＢ間の音響信号をも格納しうる。ここでは、時刻ｔＡ及びｔＢ間の画像信号と時刻ｔＡ及びｔＢ間の音響信号とが時間的に互いに関連付けられた上で動画像ファイル３２０に格納されているものとする。音声ファイル３３０は、対象区間３１０中の音響信号を格納した音声ファイルである。
【００２５】
ステップＳ１２及びＳ１３の処理は、動画像３００の撮影及び記録が終了するまで繰り返し実行される。従って、時刻ｔＡ及びｔＢ間に、上記記録条件を満たす区間が互いに分離して複数存在する場合には、複数の対象区間についての複数の音声ファイルが動画像ファイル３２０とは別に記録媒体１３に記録されることになる。
【００２６】
図５は、第１実施例に係る記録装置１の一部ブロック図である。動画像記録処理部５１（以下、記録処理部５１と略記することがある）、記録条件充足／不充足判定部５２（以下、判定部５２と略記することがある）及び録音処理部５３を、主制御部１７に設けておくことができる。撮像部１１からの画像信号及び／又は収音部１２からの音響信号は、記録処理部５１、判定部５２及び録音処理部５３に供給される。
【００２７】
記録処理部５１は、時刻ｔＡ及びｔＢ間の画像信号及び音響信号を所定の圧縮方式にて圧縮しつつ、動画像ファイル３２０に格納した上で記録媒体１３に記録する。判定部５２は、時刻ｔＡと時刻ｔＢとの間における各区間が所定の記録条件を充足するか否かを画像信号及び音響信号に基づいて判定し、判定結果を表す判定結果情報を録音処理部５３に送る。この判定によって、所定の記録条件を満たす区間（即ち対象区間）が検出及び特定される。録音処理部５３は、対象区間３１０中の音響信号を所定の圧縮方式にて圧縮しつつ、音声ファイル３３０に格納した上で記録媒体１３に記録する。
【００２８】
図６は、判定部５２の一例である判定部５２ａの内部ブロックである。判定部５２ａは、符号６１〜６５によって参照される各部位を備える。第１実施例では、収音部１２が、記録装置１上の互いに異なる位置に配置された２つのマイクロホンから成るものとする（後述の他の実施例においても同様）。そうすると、収音部１２からは、２チャンネル分の音響信号から成るステレオ音響信号が得られる。但し、収音部１２は、３以上のマイクロホンから形成されていても良い。
【００２９】
指向性制御部６１は、ステレオ音響信号から、任意の方向に指向軸を持ち且つ任意の指向角を有する有指向性音響信号を生成する。図７（ａ）及び（ｂ）を参照する。図７（ａ）及び（ｂ）は、上方から見た記録装置１の平面図である。上記の指向軸を、撮像部１１の光軸３５０と一致させることができる。光軸３５０は地面（水平面）と平行であるとする。撮像部１１の固体撮像素子を通る鉛直線（又は２つのマイクロホン間の中心を通る鉛直線）を回転軸として、光軸３５０を、時計回りに角度φ／２だけ回転させた軸及び反時計回りに角度φ／２だけ回転させた軸を、夫々、軸３５１及び３５２と呼ぶ。そうすると、φが指向角に相当する。図７（ｂ）に示される斜線領域３５３は、光軸３５０を内包する、軸３５２から軸３５１までの領域である。指向性制御部６１から得られる有指向性音響信号は、斜線領域３５３外の音源から記録装置１に到来した音の成分と比べて、斜線領域３５３内の音源から記録装置１に到来した音の成分に対し、高い指向性（感度）を持った音響信号である。
【００３０】
指向性制御部６１は、公知の指向性制御（例えば、特開２０１１−１５５５８０号公報に記載された指向性制御）を用いて、ステレオ音響信号から、斜線領域３５３より到来した信号成分を抽出し、抽出した信号成分を有指向性音響信号として出力することができる。指向角φに予め設定された固定値を持たせることもできるが、後述されるように、指向角φは可変値であっても良い。
【００３１】
帯域通過フィルタ６２は、指向性制御部６１からの有指向性音響信号の信号成分の内、規定された通過帯域内の信号成分のみを通過させるフィルタであり、ＩＩＲ（Infinite impulse response）フィルタ等のデジタルフィルタにて帯域通過フィルタ６２を構成できる。帯域通過フィルタ６２によって、規定帯域である通過帯域内の信号成分が抽出され、抽出された信号成分が時間平均部６３に出力される。過帯域内の信号成分の抽出は、例えば、通過帯域内の信号成分の増幅及び／又は通過帯域外の信号成分の減衰によって実現される。
【００３２】
時間平均部６３は、帯域通過フィルタ６２の出力音響信号（通過帯域内の信号成分から成る音響信号）の振幅絶対値を求め、更に単位時間（例えば１秒間）ごとに振幅絶対値の平均値ＶＯＬＡＶＥを求める。ここで求められる平均値ＶＯＬＡＶＥは、帯域通過フィルタ６２の出力音響信号による音の大きさ（換言すれば強度）の時間平均値である。
【００３３】
記録判定部６４は、単位時間ごとに求められた平均値ＶＯＬＡＶＥを判定閾値ＴＨと比較し、平均値ＶＯＬＡＶＥが判定閾値ＴＨ以上になっている区間が対象区間に含まれ且つ平均値ＶＯＬＡＶＥが判定閾値ＴＨ未満になっている区間が対象区間に含まれないように、判定結果情報を生成する。平均値ＶＯＬＡＶＥが判定閾値ＴＨ以上であるという条件が上記記録条件に相当する、と考えることができる。従って例えば、第１及び第２時刻間のみにおいて平均値ＶＯＬＡＶＥが判定閾値ＴＨ以上であるならば、第１及び第２時刻間の区間が対象区間３１０に設定され、第１時刻に音響信号の記録が開始されると共に第２時刻に音響信号の記録が停止される。
【００３４】
パラメータ設定部６５は、画像信号に基づいて撮像部１１の被写体の状態（撮像部１１の撮影範囲内における被写体の状態）を検出する画像解析部６６を有し、画像解析部６６による被写体の状態の検出結果を用いて、帯域通過フィルタ６２における通過帯域及び記録判定部６４における判定閾値ＴＨを可変設定する。画像解析部６６の検出対象（検出されるべき被写体の状態）に、撮像部１１の撮影領域内における人物の有無、撮像部１１の撮影領域内の人物の口の動き、及び、撮像部１１の撮影領域内の人物と記録装置１との距離の内、少なくとも１つを含めることができる。
【００３５】
画像解析部６６は、画像信号に基づき、公知の顔検出処理等を利用して、撮像部１１の撮影領域内における人物の有無を検出することができる。
【００３６】
そして例えば、パラメータ設定部６５は、撮像部１１の撮影領域内に人物が存在すると検出された区間においては、帯域通過フィルタ６２における通過帯域を狭帯域に限定する一方で、撮像部１１の撮影領域内に人物が存在していないと検出された区間においては、帯域通過フィルタ６２における通過帯域を狭帯域よりも広い広帯域に設定することができる。広帯域は全帯域であっても良い（通過帯域が全帯域に設定されると、指向性制御部６１からの有指向性音響信号が全て帯域通過フィルタ６２を通過する）。狭帯域は、例えば、１００Ｈｚ（ヘルツ）から１ｋＨｚ（キロヘルツ）までの帯域である。撮影領域内に人物が存在する場合、主たる音源は人物であると考えられるため、１００Ｈｚ〜１ｋＨｚなどに通過帯域を限定することで、雑音の影響を抑制しつつ、人物の発声に応じて録音の必要性を適切に判断できるようになる。
また例えば、パラメータ設定部６５は、撮像部１１の撮影領域内に人物が存在すると検出された区間においては、判定閾値ＴＨに値（ｋ１×ＴＨＣＯＮＳＴ）を設定する一方で、撮像部１１の撮影領域内に人物が存在していないと検出された区間においては、判定閾値ＴＨに値ＴＨＣＯＮＳＴを設定することができる。ＴＨＣＯＮＳＴは、予め設定された固定値である。ｋ１は、“０＜ｋ１＜１”を満たす所定値（例えば０．５）である。撮影領域内に人物が存在するときに判定閾値ＴＨを小さくしておくことで、小さな声でも音響信号の記録判定が成されやすくなる。
【００３７】
画像解析部６６は、撮像部１１の撮影領域内に人物が存在する場合、画像信号に基づく公知の動き検出方法（例えば特開２０１０−２３９３５６号公報又は特開２０００−２９５３３８号公報に記載の方法）を用いて、当該人物の口の動きの有無を検出することができる。撮像部１１において、所定のフレームレートにて順次フレーム画像の撮影が成され、時刻ｔＡ及びｔＢ間に得られたフレーム画像にて動画像３００が形成される。画像解析部６６は、複数のフレーム画像間における、口の画像部分の変化を監視することで、人物の口の動きの有無を検出することができる。
【００３８】
そして例えば、パラメータ設定部６５は、撮像部１１の撮影領域内の人物の口が動いていると検出された区間においては、判定閾値ＴＨに値（ｋ２×ＴＨＣＯＮＳＴ）を設定する一方で、撮像部１１の撮影領域内の人物の口が動いていないと検出された区間においては、判定閾値ＴＨに値ＴＨＣＯＮＳＴを設定することができる。ｋ２は、“０＜ｋ２＜１”を満たす所定値（例えば０．５）である。撮影領域内の人物の口が動いているときに判定閾値ＴＨを小さくしておくことで、小さな声でも音響信号の記録判定が成されやすくなる。
【００３９】
画像解析部６６は、撮像部１１の撮影領域内に人物が存在する場合、画像信号に基づく公知の距離検出方法を用いて、当該人物と記録装置１との距離（実空間上における距離）ＤＳＴを検出することができる。撮像部１１に加えて撮像部１１と同等の撮像部が記録装置１に設けられている場合には、撮像部１１を含む２つの撮像部の撮影画像（視差を有する２つの撮像部の撮影画像）から、三角測量の原理を用いて距離ＤＳＴを検出することができる。また例えば、特開２０１０−８１００２号公報又は特開２０１０−１１７６８０号公報に記載された方法を用いれば、単一の撮像部１１の出力画像信号から距離ＤＳＴを検出することができる。
【００４０】
そして例えば、パラメータ設定部６５は、距離ＤＳＴが減少するにつれて判定閾値ＴＨを増大させてもよい。距離ＤＳＴが短ければ判定閾値ＴＨを大きくしたとしても声の記録漏れは少ないと考えられ、また、判定閾値ＴＨの増大によって雑音の影響を抑制することができるからである。より具体的には例えば、“ＴＨ＝１／ＤＳＴ”に従って判定閾値ＴＨを設定しても良い。
【００４１】
また、図８に示す如く指向性制御部６１に撮影画角情報を供給し、撮像部１１の撮影画角θに応じて指向角φ（換言すれば、図７（ｂ）の斜線領域３５３）を可変設定するようにしても良い。この際、撮影画角θが大きいほど指向角φも大きくなるようにするとよい。例えば“φ＝ｋ３×θ”に従って指向角φを設定しても良い。ｋ３は、正の所定値（例えば１）を持つ係数である。このような可変設定により、広角撮影時には指向角φが広く設定され、高ズーム倍率撮影時には指向角φが記録装置１の正面方向を中心に狭く設定される。広角撮影時には音源となりうる注目人物が広い角度範囲に亘って分散しており、高ズーム倍率撮影時には注目人物が記録装置１の正面に位置していると考えられる。一方で、注目人物が記録装置１の正面に位置しているときにおいて、指向角φを大きく設定すると、音響信号の記録判定が側方等から到来する雑音に影響され易くなる。従って、上述のような指向角φの可変設定は、雑音の影響の抑制と注目人物の発言記録の両立に資すると考えられる。
【００４２】
また、図９に示す如くパラメータ設定部６５に入力操作情報を供給し、操作部１６に対する入力操作に応じて判定閾値ＴＨを可変設定するようにしてもよい。ユーザは、任意のタイミングにおいて、静止画像の撮影を指示するシャッタ操作及び撮影画角θの変更を指示するズーム操作を操作部１６に対して成すことができる。
シャッタ操作が入力操作として操作部１６に成されると、主制御部１７は、シャッタ操作直後に撮像部１１から得られるフレーム画像を静止画像として取得して記録媒体１３に記録する。ズーム操作が入力操作として操作部１６に成されると、主制御部１７は、撮影画角θをズーム操作にて指定された角度へと変更する。撮像部１１には、ズームレンズを含む光学系が備えられており、ズームレンズの位置調整によって撮影画角θを変更することができる。
一方で、パラメータ設定部６５は、シャッタ操作又はズーム操作が入力操作として操作部１６に成された時点から所定時間長さ（例えば１０秒）が経過するまでの区間を注目区間として定め、例えば、注目区間においては判定閾値ＴＨに値（ｋ４×ＴＨＣＯＮＳＴ）を設定する一方で、それ以外の区間においては判定閾値ＴＨに値ＴＨＣＯＮＳＴを設定することができる。ｋ４は、“０＜ｋ４＜１”を満たす所定値（例えば０．５）である。シャッタ操作又はズーム操作が成されるシーンは、ユーザにとって興味深いシーンであると考えられ、比較的小さな音でも音響信号記録を行うことがユーザの意図に沿うものと考えられる。
【００４３】
被写体の状態に応じた通過帯域及び判定閾値ＴＨの可変設定、撮影画角θに応じた指向角φの可変設定、並びに、操作部１６への入力操作に応じた判定閾値ＴＨの可変設定を、組み合わせて実施することも可能である。
【００４４】
会議等の様子を録画しておいて後から議事録を作成する場合、記録動画像から発話内容を確認するのは非常に手間がかかる（動画像ファイルを早送り再生したとしても、必要な発話区間をユーザ自身が正確に且つ素早く検知することは難しく、また手間がかかる）。また、従来のＩＣレコーダの同期記録機能（同期録音機能）を利用すれば、発話区間の音響信号のみを記録することが可能になるが、必要な発話区間のみを精度良く検出することは難しい。真に記録すべきか否かは音以外の環境要因にも依存しており、音響信号のみに頼る従来の同期記録機能（同期録音機能）では、周りの雑音にも反応して記録動作を行ってしまう、小さな声の記録漏れが起こる、といった不都合が生じうる。
【００４５】
これに対し、記録装置１によれば、音響信号だけでなく、被写体の状態等をも考慮して、信号記録を行うべきか否かを決定することができるため、様々な状況に適応した高度な記録要否判定を成すことが可能となる。結果、真に必要な区間中の信号記録が成され、議事録の作成作業等も容易となる。また、信号記録を真に必要な区間に限定することにより、必要記録容量及び電力消費の削減も図られる。また、動画像ファイルとは別に対象区間の音声ファイルを記録しておくことにより、ユーザは会議等の重要部分を集約した音声ファイルを後から参照することが可能となり、議事録の作成作業等が容易化される。
【００４６】
＜＜第２実施例＞＞
第２実施例を説明する。図１０は、第２実施例に係る記録装置１の動作フローチャートである。まず、ステップＳ２１において、撮像部１１による動画像のスルー撮影が開始される。動画像のスルー撮影とは、記録媒体１３への画像信号の記録を伴わない、動画像の撮影を指す。第２実施例において、図３の動画像３００はスルー撮影された動画像であるとする。動画像３００は、表示部１４又は記録装置１に接続された表示装置（不図示）上で表示されうる。例えば、記録装置１をテレビ会議システムに接続し、テレビ会議システムを形成する表示装置上に動画像３００を表示させるといった利用形態が考えられる。
【００４７】
ステップＳ２１に続くステップＳ２２では、主制御部１７は、動画像３００のスルー撮影中において所定の記録条件を満たす対象区間を検出する。対象区間が検出されるとステップＳ２２からステップＳ２３への遷移が発生する。ステップＳ２３において、主制御部１７は、対象区間中の音響信号又は画像信号を記録媒体１３に記録する。対象区間中の画像信号を記録する場合、対象区間中の音響信号も対象区間中の画像信号と共に記録媒体１３に記録するようにしてもよい。ステップＳ２２及びＳ２３の処理は、動画像３００のスルー撮影が終了するまで繰り返し実行される。
【００４８】
図１１は、第２実施例に係る記録装置１の一部ブロック図である。判定部５２及び記録処理部５４を主制御部１７に設けておくことができる。撮像部１１からの画像信号及び／又は収音部１２からの音響信号は、判定部５２及び記録処理部５４に供給される。スルー撮影中の画像信号及び音響信号は、例えばテレビ会議システムに供給されて、動画像３００が音響信号と共にテレビ会議システム上で再生される。
【００４９】
判定部５２を用いた記録条件の充足／不充足の判定方法及び対象区間の検出方法は、第１実施例で述べたものと同様である。記録処理部５４は、判定部５２からの判定結果情報に基づいて対象期間を認識し、対象期間中の音響信号、対象期間中の画像信号、又は、対象期間中の音響信号及び画像信号を記録媒体１３に記録する。記録の際、信号の圧縮を行っても良い。
【００５０】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【００５１】
図１の記録装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【００５２】
１ 記録装置
１１ 撮像部
１２ 収音部
１３ 記録媒体
１６ 操作部
１７ 主制御部
【技術分野】
【０００１】
本発明は、ＩＣレコーダ（digital voice recorder）、デジタルビデオカメラ等の記録装置に関する。
【背景技術】
【０００２】
音響信号又は画像信号を取得及び記録可能な記録装置において、ユーザ操作に拠ることなく、重要なシーンを自動的に判定して当該シーン中の信号を記録する同期記録機能が提案されている。ＩＣレコーダに搭載される同期記録機能では、例えば、音響信号による音の大きさを所定閾値と比較することで発言の有無を検出し、発言のあるシーンの音響信号のみを記録するといった処理が成される（例えば、下記特許文献１参照）。ユーザは同期記録機能を会議等において適用し、記録結果を会議の議事録作成などに役立てることができる。
【０００３】
尚、デジタルカメラにおいて、被写体人物の笑顔レベルが所定レベル以上であるときに自動撮影を行う方法（下記特許文献２参照）や、被写体人物がカメラから見て所定距離範囲内に入ったときに自動撮影を行う方法（下記特許文献３参照）も提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０９−０５０３６４号公報
【特許文献２】特開２０１０−２１９７３９号公報
【特許文献３】特開２０１０−１９３４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
発言のあった区間では音の大きさが大きくなるので、上記閾値を用いて記録の要否判定を行う方法は有益ではある。しかし、記録装置の周辺環境は様々であり、真に記録を行うべきか否かは、音以外の環境要因にも依存するものと考えられる。
【０００６】
そこで本発明は、記録の必要な区間を良好に検知して当該区間中の信号を記録しうる記録装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る記録装置は、収音によって音響信号を生成する収音部と、画像撮影によって画像信号を生成する撮像部と、記録媒体に対する前記音響信号又は前記画像信号の記録を制御する制御部と、を備え、前記制御部は、前記撮像部による動画像の撮影中において、前記音響信号及び前記画像信号に基づき所定の記録条件の充足又は不充足を判定し、前記記録条件が充足する区間中の前記音響信号又は前記画像信号を前記記録媒体に記録することを特徴とする。
【０００８】
音響信号及び画像信号の双方を参照することにより、様々な状況に適応した高度な記録要否判定（記録条件の充足／不充足判定）を成すことが可能となり、真に記録の必要な区間を良好に検知することが可能となる。
【０００９】
例えば、前記制御部は、前記動画像の前記記録媒体への記録中において前記区間が検出された場合、前記区間中の音響信号を前記動画像とは別に前記記録媒体に記録してもよい。
【００１０】
動画像とは別に記録条件が充足する区間中の音響信号を記録しておくことにより、ユーザは会議等の重要部分を集約した記録ファイルを後から参照することが可能となり、結果例えば、議事録の作成作業等が容易化される。
【００１１】
また例えば、前記制御部は、前記画像信号から被写体の状態を検出し、前記被写体の状態の検出結果と前記音響信号とに基づいて前記記録条件の充足又は不充足を判定してもよい。
【００１２】
具体的には例えば、前記被写体の状態は、前記撮像部の撮影領域内における人物の有無、前記撮影領域内における人物の口の動き、及び、前記撮影領域内における人物と当該記録装置との距離、の内の少なくとも一つを含んでいても良い。
【００１３】
また具体的には例えば、前記制御部は、前記音響信号による音の大きさを判定閾値と比較することで前記記録条件の充足又は不充足を判定し、前記判定閾値を前記画像信号に基づき可変設定しても良い。
【００１４】
更に具体的には例えば、前記制御部は、前記音響信号に含まれる規定帯域の信号成分による音の大きさを前記判定閾値と比較することで前記記録条件の充足又は不充足を判定し、前記規定帯域を前記画像信号に基づき可変設定しても良い。
【００１５】
また例えば、操作の入力を受ける操作部を当該記録装置に更に設けておいても良い。そして例えば、前記制御部は、更に、前記撮影部の撮影画角又は前記操作部への入力操作にも基づいて、前記記録条件の充足又は不充足を判定してもよい。
【００１６】
これにより、記録要否判定（記録条件の充足／不充足判定）の適正化が更に促進される。
【発明の効果】
【００１７】
本発明によれば、記録の必要な区間を良好に検知して当該区間中の信号を記録しうる記録装置を提供することが可能である。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る記録装置の概略全体ブロック図である。
【図２】本発明の第１実施例に係る記録装置の動作フローチャートである。
【図３】動画像の撮影区間と、対象区間との関係を説明するための図である。
【図４】動画像ファイルと音声ファイルが別々に記録媒体に記録される様子を示す図である。
【図５】本発明の第１実施例に係る記録装置の一部ブロック図である。
【図６】記録条件充足／不充足判定部のブロック図である。
【図７】指向性制御における指向角を説明するための図である。
【図８】記録条件充足／不充足判定部の第１変形ブロック図である。
【図９】記録条件充足／不充足判定部の第２変形ブロック図である。
【図１０】本発明の第２実施例に係る記録装置の動作フローチャートである。
【図１１】本発明の第２実施例に係る記録装置の一部ブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２０】
図１は、本発明の実施形態に係る記録装置１の概略構成ブロック図である。記録装置１は、画像信号及び音響信号の記録が可能な任意の電子機器であり、例えば、動画像撮影機能付きのＩＣレコーダ（digital voice recorder）、又は、ＩＣレコーダとしての機能をも有するデジタルビデオカメラである。
【００２１】
記録装置１は、符号１１〜１７によって参照される各部位を備える。撮像部１１は、固体撮像素子から成り、固体撮像素子を用いた画像撮影を行って撮影画像の画像信号を生成及び出力する。収音部１２は、１以上のマイクロホンから成り、収音によって音響信号（マイクロホンに到来した音の電気信号）を生成及び出力する。記録媒体１３は、不揮発性メモリから成り、任意の画像信号及び音響信号を記録する。尚、或る画像の記録という表現と、当該画像の画像信号の記録という表現は同義である。表示部１４は、液晶ディスプレイパネル等から成り、撮像部１１による撮影画像又は記録媒体１３の記録画像などを表示する。スピーカ部１５は、１以上のスピーカから成り、収音部１２にて生成された音響信号又は記録媒体１３に記録された音響信号を音として再生する。操作部１６は、操作ボタン、操作キー、操作レバー又はタッチパネルを有し、ユーザによる様々な操作の入力を受けて入力操作内容を主制御部１７に伝達する。主制御部１７は、操作部１６への入力操作内容を参照しつつ、記録装置１内の各部位の動作を統括的に制御する。
【００２２】
主制御部１７による制御には、記録媒体１３に対する記録制御が含まれ、記録装置１では、当該記録制御の方法に特異な方法を採用する。以下に、記録制御に関わる複数の実施例を説明する。矛盾無き限り、当該複数の実施例の内、或る実施例に記載した事項を他の実施例に適用することができる。尚、以下の説明文において、特に記述なき限り、画像信号とは撮像部１１の出力画像信号に基づく画像信号（撮像部１１の出力画像信号そのものを含む）を指し、音響信号とは収音部１２の出力音響信号に基づく音響信号（収音部１２の出力音響信号そのものを含む）を指す。
【００２３】
＜＜第１実施例＞＞
第１実施例を説明する。図２は、第１実施例に係る記録装置１の動作フローチャートである。まず、ステップＳ１１において、操作部１６に成された所定の録画開始操作等に従い、記録装置１は、撮像部１１を用いた動画像の撮影及び当該動画像の記録媒体１３への記録を開始する。ここで記録される動画像を動画像３００と呼ぶ（図３参照）。動画像３００の記録の開始及び終了時刻を、夫々、記号ｔＡ及びｔＢにて表す。続くステップＳ１２では、主制御部１７は、動画像３００の撮影及び記録区間中において所定の記録条件を満たす区間（以下、対象区間という）を検出する。図３の区間３１０は、検出された対象区間の例である。対象区間が検出されるとステップＳ１２からステップＳ１３への遷移が発生する。
【００２４】
ステップＳ１３において、主制御部１７は、対象区間中の音響信号を動画像３００とは別に記録媒体１３に記録する。具体的には、図４に示す如く、主制御部１７は、動画像３００についてのファイルである動画像ファイル３２０を記録媒体１３に記録させる一方で、音声ファイル３３０を動画像ファイル３２０とは別に記録媒体１３に記録させる。動画像ファイル３２０は、時刻ｔＡ及びｔＢ間の画像信号を少なくとも格納しており、更に、時刻ｔＡ及びｔＢ間の音響信号をも格納しうる。ここでは、時刻ｔＡ及びｔＢ間の画像信号と時刻ｔＡ及びｔＢ間の音響信号とが時間的に互いに関連付けられた上で動画像ファイル３２０に格納されているものとする。音声ファイル３３０は、対象区間３１０中の音響信号を格納した音声ファイルである。
【００２５】
ステップＳ１２及びＳ１３の処理は、動画像３００の撮影及び記録が終了するまで繰り返し実行される。従って、時刻ｔＡ及びｔＢ間に、上記記録条件を満たす区間が互いに分離して複数存在する場合には、複数の対象区間についての複数の音声ファイルが動画像ファイル３２０とは別に記録媒体１３に記録されることになる。
【００２６】
図５は、第１実施例に係る記録装置１の一部ブロック図である。動画像記録処理部５１（以下、記録処理部５１と略記することがある）、記録条件充足／不充足判定部５２（以下、判定部５２と略記することがある）及び録音処理部５３を、主制御部１７に設けておくことができる。撮像部１１からの画像信号及び／又は収音部１２からの音響信号は、記録処理部５１、判定部５２及び録音処理部５３に供給される。
【００２７】
記録処理部５１は、時刻ｔＡ及びｔＢ間の画像信号及び音響信号を所定の圧縮方式にて圧縮しつつ、動画像ファイル３２０に格納した上で記録媒体１３に記録する。判定部５２は、時刻ｔＡと時刻ｔＢとの間における各区間が所定の記録条件を充足するか否かを画像信号及び音響信号に基づいて判定し、判定結果を表す判定結果情報を録音処理部５３に送る。この判定によって、所定の記録条件を満たす区間（即ち対象区間）が検出及び特定される。録音処理部５３は、対象区間３１０中の音響信号を所定の圧縮方式にて圧縮しつつ、音声ファイル３３０に格納した上で記録媒体１３に記録する。
【００２８】
図６は、判定部５２の一例である判定部５２ａの内部ブロックである。判定部５２ａは、符号６１〜６５によって参照される各部位を備える。第１実施例では、収音部１２が、記録装置１上の互いに異なる位置に配置された２つのマイクロホンから成るものとする（後述の他の実施例においても同様）。そうすると、収音部１２からは、２チャンネル分の音響信号から成るステレオ音響信号が得られる。但し、収音部１２は、３以上のマイクロホンから形成されていても良い。
【００２９】
指向性制御部６１は、ステレオ音響信号から、任意の方向に指向軸を持ち且つ任意の指向角を有する有指向性音響信号を生成する。図７（ａ）及び（ｂ）を参照する。図７（ａ）及び（ｂ）は、上方から見た記録装置１の平面図である。上記の指向軸を、撮像部１１の光軸３５０と一致させることができる。光軸３５０は地面（水平面）と平行であるとする。撮像部１１の固体撮像素子を通る鉛直線（又は２つのマイクロホン間の中心を通る鉛直線）を回転軸として、光軸３５０を、時計回りに角度φ／２だけ回転させた軸及び反時計回りに角度φ／２だけ回転させた軸を、夫々、軸３５１及び３５２と呼ぶ。そうすると、φが指向角に相当する。図７（ｂ）に示される斜線領域３５３は、光軸３５０を内包する、軸３５２から軸３５１までの領域である。指向性制御部６１から得られる有指向性音響信号は、斜線領域３５３外の音源から記録装置１に到来した音の成分と比べて、斜線領域３５３内の音源から記録装置１に到来した音の成分に対し、高い指向性（感度）を持った音響信号である。
【００３０】
指向性制御部６１は、公知の指向性制御（例えば、特開２０１１−１５５５８０号公報に記載された指向性制御）を用いて、ステレオ音響信号から、斜線領域３５３より到来した信号成分を抽出し、抽出した信号成分を有指向性音響信号として出力することができる。指向角φに予め設定された固定値を持たせることもできるが、後述されるように、指向角φは可変値であっても良い。
【００３１】
帯域通過フィルタ６２は、指向性制御部６１からの有指向性音響信号の信号成分の内、規定された通過帯域内の信号成分のみを通過させるフィルタであり、ＩＩＲ（Infinite impulse response）フィルタ等のデジタルフィルタにて帯域通過フィルタ６２を構成できる。帯域通過フィルタ６２によって、規定帯域である通過帯域内の信号成分が抽出され、抽出された信号成分が時間平均部６３に出力される。過帯域内の信号成分の抽出は、例えば、通過帯域内の信号成分の増幅及び／又は通過帯域外の信号成分の減衰によって実現される。
【００３２】
時間平均部６３は、帯域通過フィルタ６２の出力音響信号（通過帯域内の信号成分から成る音響信号）の振幅絶対値を求め、更に単位時間（例えば１秒間）ごとに振幅絶対値の平均値ＶＯＬＡＶＥを求める。ここで求められる平均値ＶＯＬＡＶＥは、帯域通過フィルタ６２の出力音響信号による音の大きさ（換言すれば強度）の時間平均値である。
【００３３】
記録判定部６４は、単位時間ごとに求められた平均値ＶＯＬＡＶＥを判定閾値ＴＨと比較し、平均値ＶＯＬＡＶＥが判定閾値ＴＨ以上になっている区間が対象区間に含まれ且つ平均値ＶＯＬＡＶＥが判定閾値ＴＨ未満になっている区間が対象区間に含まれないように、判定結果情報を生成する。平均値ＶＯＬＡＶＥが判定閾値ＴＨ以上であるという条件が上記記録条件に相当する、と考えることができる。従って例えば、第１及び第２時刻間のみにおいて平均値ＶＯＬＡＶＥが判定閾値ＴＨ以上であるならば、第１及び第２時刻間の区間が対象区間３１０に設定され、第１時刻に音響信号の記録が開始されると共に第２時刻に音響信号の記録が停止される。
【００３４】
パラメータ設定部６５は、画像信号に基づいて撮像部１１の被写体の状態（撮像部１１の撮影範囲内における被写体の状態）を検出する画像解析部６６を有し、画像解析部６６による被写体の状態の検出結果を用いて、帯域通過フィルタ６２における通過帯域及び記録判定部６４における判定閾値ＴＨを可変設定する。画像解析部６６の検出対象（検出されるべき被写体の状態）に、撮像部１１の撮影領域内における人物の有無、撮像部１１の撮影領域内の人物の口の動き、及び、撮像部１１の撮影領域内の人物と記録装置１との距離の内、少なくとも１つを含めることができる。
【００３５】
画像解析部６６は、画像信号に基づき、公知の顔検出処理等を利用して、撮像部１１の撮影領域内における人物の有無を検出することができる。
【００３６】
そして例えば、パラメータ設定部６５は、撮像部１１の撮影領域内に人物が存在すると検出された区間においては、帯域通過フィルタ６２における通過帯域を狭帯域に限定する一方で、撮像部１１の撮影領域内に人物が存在していないと検出された区間においては、帯域通過フィルタ６２における通過帯域を狭帯域よりも広い広帯域に設定することができる。広帯域は全帯域であっても良い（通過帯域が全帯域に設定されると、指向性制御部６１からの有指向性音響信号が全て帯域通過フィルタ６２を通過する）。狭帯域は、例えば、１００Ｈｚ（ヘルツ）から１ｋＨｚ（キロヘルツ）までの帯域である。撮影領域内に人物が存在する場合、主たる音源は人物であると考えられるため、１００Ｈｚ〜１ｋＨｚなどに通過帯域を限定することで、雑音の影響を抑制しつつ、人物の発声に応じて録音の必要性を適切に判断できるようになる。
また例えば、パラメータ設定部６５は、撮像部１１の撮影領域内に人物が存在すると検出された区間においては、判定閾値ＴＨに値（ｋ１×ＴＨＣＯＮＳＴ）を設定する一方で、撮像部１１の撮影領域内に人物が存在していないと検出された区間においては、判定閾値ＴＨに値ＴＨＣＯＮＳＴを設定することができる。ＴＨＣＯＮＳＴは、予め設定された固定値である。ｋ１は、“０＜ｋ１＜１”を満たす所定値（例えば０．５）である。撮影領域内に人物が存在するときに判定閾値ＴＨを小さくしておくことで、小さな声でも音響信号の記録判定が成されやすくなる。
【００３７】
画像解析部６６は、撮像部１１の撮影領域内に人物が存在する場合、画像信号に基づく公知の動き検出方法（例えば特開２０１０−２３９３５６号公報又は特開２０００−２９５３３８号公報に記載の方法）を用いて、当該人物の口の動きの有無を検出することができる。撮像部１１において、所定のフレームレートにて順次フレーム画像の撮影が成され、時刻ｔＡ及びｔＢ間に得られたフレーム画像にて動画像３００が形成される。画像解析部６６は、複数のフレーム画像間における、口の画像部分の変化を監視することで、人物の口の動きの有無を検出することができる。
【００３８】
そして例えば、パラメータ設定部６５は、撮像部１１の撮影領域内の人物の口が動いていると検出された区間においては、判定閾値ＴＨに値（ｋ２×ＴＨＣＯＮＳＴ）を設定する一方で、撮像部１１の撮影領域内の人物の口が動いていないと検出された区間においては、判定閾値ＴＨに値ＴＨＣＯＮＳＴを設定することができる。ｋ２は、“０＜ｋ２＜１”を満たす所定値（例えば０．５）である。撮影領域内の人物の口が動いているときに判定閾値ＴＨを小さくしておくことで、小さな声でも音響信号の記録判定が成されやすくなる。
【００３９】
画像解析部６６は、撮像部１１の撮影領域内に人物が存在する場合、画像信号に基づく公知の距離検出方法を用いて、当該人物と記録装置１との距離（実空間上における距離）ＤＳＴを検出することができる。撮像部１１に加えて撮像部１１と同等の撮像部が記録装置１に設けられている場合には、撮像部１１を含む２つの撮像部の撮影画像（視差を有する２つの撮像部の撮影画像）から、三角測量の原理を用いて距離ＤＳＴを検出することができる。また例えば、特開２０１０−８１００２号公報又は特開２０１０−１１７６８０号公報に記載された方法を用いれば、単一の撮像部１１の出力画像信号から距離ＤＳＴを検出することができる。
【００４０】
そして例えば、パラメータ設定部６５は、距離ＤＳＴが減少するにつれて判定閾値ＴＨを増大させてもよい。距離ＤＳＴが短ければ判定閾値ＴＨを大きくしたとしても声の記録漏れは少ないと考えられ、また、判定閾値ＴＨの増大によって雑音の影響を抑制することができるからである。より具体的には例えば、“ＴＨ＝１／ＤＳＴ”に従って判定閾値ＴＨを設定しても良い。
【００４１】
また、図８に示す如く指向性制御部６１に撮影画角情報を供給し、撮像部１１の撮影画角θに応じて指向角φ（換言すれば、図７（ｂ）の斜線領域３５３）を可変設定するようにしても良い。この際、撮影画角θが大きいほど指向角φも大きくなるようにするとよい。例えば“φ＝ｋ３×θ”に従って指向角φを設定しても良い。ｋ３は、正の所定値（例えば１）を持つ係数である。このような可変設定により、広角撮影時には指向角φが広く設定され、高ズーム倍率撮影時には指向角φが記録装置１の正面方向を中心に狭く設定される。広角撮影時には音源となりうる注目人物が広い角度範囲に亘って分散しており、高ズーム倍率撮影時には注目人物が記録装置１の正面に位置していると考えられる。一方で、注目人物が記録装置１の正面に位置しているときにおいて、指向角φを大きく設定すると、音響信号の記録判定が側方等から到来する雑音に影響され易くなる。従って、上述のような指向角φの可変設定は、雑音の影響の抑制と注目人物の発言記録の両立に資すると考えられる。
【００４２】
また、図９に示す如くパラメータ設定部６５に入力操作情報を供給し、操作部１６に対する入力操作に応じて判定閾値ＴＨを可変設定するようにしてもよい。ユーザは、任意のタイミングにおいて、静止画像の撮影を指示するシャッタ操作及び撮影画角θの変更を指示するズーム操作を操作部１６に対して成すことができる。
シャッタ操作が入力操作として操作部１６に成されると、主制御部１７は、シャッタ操作直後に撮像部１１から得られるフレーム画像を静止画像として取得して記録媒体１３に記録する。ズーム操作が入力操作として操作部１６に成されると、主制御部１７は、撮影画角θをズーム操作にて指定された角度へと変更する。撮像部１１には、ズームレンズを含む光学系が備えられており、ズームレンズの位置調整によって撮影画角θを変更することができる。
一方で、パラメータ設定部６５は、シャッタ操作又はズーム操作が入力操作として操作部１６に成された時点から所定時間長さ（例えば１０秒）が経過するまでの区間を注目区間として定め、例えば、注目区間においては判定閾値ＴＨに値（ｋ４×ＴＨＣＯＮＳＴ）を設定する一方で、それ以外の区間においては判定閾値ＴＨに値ＴＨＣＯＮＳＴを設定することができる。ｋ４は、“０＜ｋ４＜１”を満たす所定値（例えば０．５）である。シャッタ操作又はズーム操作が成されるシーンは、ユーザにとって興味深いシーンであると考えられ、比較的小さな音でも音響信号記録を行うことがユーザの意図に沿うものと考えられる。
【００４３】
被写体の状態に応じた通過帯域及び判定閾値ＴＨの可変設定、撮影画角θに応じた指向角φの可変設定、並びに、操作部１６への入力操作に応じた判定閾値ＴＨの可変設定を、組み合わせて実施することも可能である。
【００４４】
会議等の様子を録画しておいて後から議事録を作成する場合、記録動画像から発話内容を確認するのは非常に手間がかかる（動画像ファイルを早送り再生したとしても、必要な発話区間をユーザ自身が正確に且つ素早く検知することは難しく、また手間がかかる）。また、従来のＩＣレコーダの同期記録機能（同期録音機能）を利用すれば、発話区間の音響信号のみを記録することが可能になるが、必要な発話区間のみを精度良く検出することは難しい。真に記録すべきか否かは音以外の環境要因にも依存しており、音響信号のみに頼る従来の同期記録機能（同期録音機能）では、周りの雑音にも反応して記録動作を行ってしまう、小さな声の記録漏れが起こる、といった不都合が生じうる。
【００４５】
これに対し、記録装置１によれば、音響信号だけでなく、被写体の状態等をも考慮して、信号記録を行うべきか否かを決定することができるため、様々な状況に適応した高度な記録要否判定を成すことが可能となる。結果、真に必要な区間中の信号記録が成され、議事録の作成作業等も容易となる。また、信号記録を真に必要な区間に限定することにより、必要記録容量及び電力消費の削減も図られる。また、動画像ファイルとは別に対象区間の音声ファイルを記録しておくことにより、ユーザは会議等の重要部分を集約した音声ファイルを後から参照することが可能となり、議事録の作成作業等が容易化される。
【００４６】
＜＜第２実施例＞＞
第２実施例を説明する。図１０は、第２実施例に係る記録装置１の動作フローチャートである。まず、ステップＳ２１において、撮像部１１による動画像のスルー撮影が開始される。動画像のスルー撮影とは、記録媒体１３への画像信号の記録を伴わない、動画像の撮影を指す。第２実施例において、図３の動画像３００はスルー撮影された動画像であるとする。動画像３００は、表示部１４又は記録装置１に接続された表示装置（不図示）上で表示されうる。例えば、記録装置１をテレビ会議システムに接続し、テレビ会議システムを形成する表示装置上に動画像３００を表示させるといった利用形態が考えられる。
【００４７】
ステップＳ２１に続くステップＳ２２では、主制御部１７は、動画像３００のスルー撮影中において所定の記録条件を満たす対象区間を検出する。対象区間が検出されるとステップＳ２２からステップＳ２３への遷移が発生する。ステップＳ２３において、主制御部１７は、対象区間中の音響信号又は画像信号を記録媒体１３に記録する。対象区間中の画像信号を記録する場合、対象区間中の音響信号も対象区間中の画像信号と共に記録媒体１３に記録するようにしてもよい。ステップＳ２２及びＳ２３の処理は、動画像３００のスルー撮影が終了するまで繰り返し実行される。
【００４８】
図１１は、第２実施例に係る記録装置１の一部ブロック図である。判定部５２及び記録処理部５４を主制御部１７に設けておくことができる。撮像部１１からの画像信号及び／又は収音部１２からの音響信号は、判定部５２及び記録処理部５４に供給される。スルー撮影中の画像信号及び音響信号は、例えばテレビ会議システムに供給されて、動画像３００が音響信号と共にテレビ会議システム上で再生される。
【００４９】
判定部５２を用いた記録条件の充足／不充足の判定方法及び対象区間の検出方法は、第１実施例で述べたものと同様である。記録処理部５４は、判定部５２からの判定結果情報に基づいて対象期間を認識し、対象期間中の音響信号、対象期間中の画像信号、又は、対象期間中の音響信号及び画像信号を記録媒体１３に記録する。記録の際、信号の圧縮を行っても良い。
【００５０】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【００５１】
図１の記録装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【００５２】
１ 記録装置
１１ 撮像部
１２ 収音部
１３ 記録媒体
１６ 操作部
１７ 主制御部
【特許請求の範囲】
【請求項１】
収音によって音響信号を生成する収音部と、
画像撮影によって画像信号を生成する撮像部と、
記録媒体に対する前記音響信号又は前記画像信号の記録を制御する制御部と、を備え、
前記制御部は、前記撮像部による動画像の撮影中において、前記音響信号及び前記画像信号に基づき所定の記録条件の充足又は不充足を判定し、前記記録条件が充足する区間中の前記音響信号又は前記画像信号を前記記録媒体に記録する
ことを特徴とする記録装置。
【請求項２】
前記制御部は、前記動画像の前記記録媒体への記録中において前記区間が検出された場合、前記区間中の音響信号を前記動画像とは別に前記記録媒体に記録する
ことを特徴とする請求項１に記載の記録装置。
【請求項３】
前記制御部は、前記画像信号から被写体の状態を検出し、前記被写体の状態の検出結果と前記音響信号とに基づいて前記記録条件の充足又は不充足を判定する
ことを特徴とする請求項１又は請求項２に記載の記録装置。
【請求項４】
前記被写体の状態は、前記撮像部の撮影領域内における人物の有無、前記撮影領域内における人物の口の動き、及び、前記撮影領域内における人物と当該記録装置との距離、の内の少なくとも一つを含む
ことを特徴とする請求項３に記載の記録装置。
【請求項５】
前記制御部は、前記音響信号による音の大きさを判定閾値と比較することで前記記録条件の充足又は不充足を判定し、前記判定閾値を前記画像信号に基づき可変設定する
ことを特徴とする請求項１〜請求項４の何れかに記載の記録装置。
【請求項６】
前記制御部は、前記音響信号に含まれる規定帯域の信号成分による音の大きさを前記判定閾値と比較することで前記記録条件の充足又は不充足を判定し、前記規定帯域を前記画像信号に基づき可変設定する
ことを特徴とする請求項５に記載の記録装置。
【請求項７】
操作の入力を受ける操作部を更に備え、
前記制御部は、更に、前記撮影部の撮影画角又は前記操作部への入力操作にも基づいて、前記記録条件の充足又は不充足を判定する
ことを特徴とする請求項１〜請求項６の何れかに記載の記録装置。
【請求項１】
収音によって音響信号を生成する収音部と、
画像撮影によって画像信号を生成する撮像部と、
記録媒体に対する前記音響信号又は前記画像信号の記録を制御する制御部と、を備え、
前記制御部は、前記撮像部による動画像の撮影中において、前記音響信号及び前記画像信号に基づき所定の記録条件の充足又は不充足を判定し、前記記録条件が充足する区間中の前記音響信号又は前記画像信号を前記記録媒体に記録する
ことを特徴とする記録装置。
【請求項２】
前記制御部は、前記動画像の前記記録媒体への記録中において前記区間が検出された場合、前記区間中の音響信号を前記動画像とは別に前記記録媒体に記録する
ことを特徴とする請求項１に記載の記録装置。
【請求項３】
前記制御部は、前記画像信号から被写体の状態を検出し、前記被写体の状態の検出結果と前記音響信号とに基づいて前記記録条件の充足又は不充足を判定する
ことを特徴とする請求項１又は請求項２に記載の記録装置。
【請求項４】
前記被写体の状態は、前記撮像部の撮影領域内における人物の有無、前記撮影領域内における人物の口の動き、及び、前記撮影領域内における人物と当該記録装置との距離、の内の少なくとも一つを含む
ことを特徴とする請求項３に記載の記録装置。
【請求項５】
前記制御部は、前記音響信号による音の大きさを判定閾値と比較することで前記記録条件の充足又は不充足を判定し、前記判定閾値を前記画像信号に基づき可変設定する
ことを特徴とする請求項１〜請求項４の何れかに記載の記録装置。
【請求項６】
前記制御部は、前記音響信号に含まれる規定帯域の信号成分による音の大きさを前記判定閾値と比較することで前記記録条件の充足又は不充足を判定し、前記規定帯域を前記画像信号に基づき可変設定する
ことを特徴とする請求項５に記載の記録装置。
【請求項７】
操作の入力を受ける操作部を更に備え、
前記制御部は、更に、前記撮影部の撮影画角又は前記操作部への入力操作にも基づいて、前記記録条件の充足又は不充足を判定する
ことを特徴とする請求項１〜請求項６の何れかに記載の記録装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−７０３０９（Ｐ２０１３−７０３０９Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０８６１２（Ｐ２０１１−２０８６１２）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]