録音装置
【課題】録音装置における、使用者の使用勝手の向上。
【解決手段】 本発明の録音装置は、被写体の光学像を撮像し画像信号として出力する撮像手段と、画像信号に基づいてシーンを判別するシーン判別手段と、音声を集音し録音する録音手段と、シーン判別手段によって判別されたシーンに基づいて、録音するための録音条件を設定する設定手段とを備えることを特徴とする。
この録音装置のある局面によれば、画像信号に基づいて推奨する録音シーンを判別し、該録音シーンに基づいて録音条件を設定するため、使用者は録音シーンを意識して録音条件を自ら設定する必要がないため、より簡単に好適な録音条件を設定することが出来る。
【解決手段】 本発明の録音装置は、被写体の光学像を撮像し画像信号として出力する撮像手段と、画像信号に基づいてシーンを判別するシーン判別手段と、音声を集音し録音する録音手段と、シーン判別手段によって判別されたシーンに基づいて、録音するための録音条件を設定する設定手段とを備えることを特徴とする。
この録音装置のある局面によれば、画像信号に基づいて推奨する録音シーンを判別し、該録音シーンに基づいて録音条件を設定するため、使用者は録音シーンを意識して録音条件を自ら設定する必要がないため、より簡単に好適な録音条件を設定することが出来る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、録音装置に関し、特に撮像機能を有し撮像された画像信号に基づいて好適な録音を行う録音装置に関する。
【背景技術】
【０００２】
従来、予め複数の動画シーンに対応した録音設定情報を記録しておき、音声付の動画撮影に際して使用者に所望するいずれかの録画シーンを指定させ、録画シーンに対応する録音設定情報に基づき、撮影時の録音を制御する技術が開示されている。
【特許文献１】特開２００６−２１７１１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の技術では、使用者が所望する録画シーンを設定することによって適切な録音設定情報に基づき録音を制御することが出来る。言い換えれば、録画シーンを設定しない限り、録音を適切に制御することが出来ない。従って、従来の技術では、録画を目的とせず適切な録音を目的とした場合においても、所望の録音設定情報に対応する録画シーンを選択しなければならず、使用者にとってわずらわしいものであった。
【０００４】
本発明は上記の問題を解決するもので、この発明の目的の一つは、好適な録音設定をより簡単に行うことが出来る録音装置を提供するものである。
【課題を解決するための手段】
【０００５】
本発明の録音装置は、被写体の光学像を撮像し画像信号として出力する撮像手段と、画像信号に基づいてシーンを判別するシーン判別手段と、音声を集音し録音する録音手段と、シーン判別手段によって判別されたシーンに基づいて、録音するための録音条件を設定する設定手段とを備えることを特徴とする。
【０００６】
この録音装置のある局面によれば、画像信号に基づいて推奨する録音シーンを判別し、該録音シーンに基づいて録音条件を設定するため、使用者は録音シーンを意識して録音条件を自ら設定する必要がないため、より簡単に好適な録音条件を設定することが出来る。
【０００７】
好ましくは、録音手段を制御して設定手段によって設定された録音条件で録音する録音制御手段と、設定手段によって設定された録音条件を変更する変更手段を更に備える。
【０００８】
この局面によれば、画像信号に基づいて設定された録音条件に対して変更することが出来るため、使用者が所望する録音条件により近づく。
【０００９】
好ましくは、設定手段によって設定された録音条件を報知する報知手段を更に備える。
【００１０】
この局面によれば、録音条件が報知されることにより使用者は設定された録音条件を認識することが出来るため、所望する録音条件か否かを判断することが可能となる。
【００１１】
好ましくは、シーン判別手段は、画像信号から所定の形状をした物体などを検出することにより得られる物体の数及び又は物体と物体の離れ具合を検出してシーンを判別する。
【００１２】
この局面によれば、画像信号から所定の形状をした物体などを検出することにより得られる物体の数及び又は物体と物体の離れ具合が検出出来るため、現在のシーンをより精度よく判別することが出来る。
【００１３】
好ましくは、シーン判別手段は、画像信号に基づいて人数及び又は人と人の離れ具合を検出してシーンを判別する。
【００１４】
この局面によれば、人数及び又は人と人の離れ具合が検出出来るため、現在のシーンをより精度よく判別することが出来る。
【００１５】
好ましくは、シーン判別手段は、画像信号に含まれる顔信号に基づいて人数及び又は人と人の離れ具合を検出してシーンを判別する。
【００１６】
この局面によれば、設定手段においてシーン判別手段によって判別されたシーンに基づいて設定された録音条件は、無指向性のマイクロフォン又は指向性のマイクロフォンを用いて音声を集音する条件を含む。
【００１７】
この局面によれば、録音条件が無指向性のマイクロフォン又は指向性のマイクロフォンを用いて音声を集音する条件を含むため、より好適な録音をすることが出来る。
【００１８】
本発明の音声を集音し録音する録音装置において録音するための条件を設定する方法は、被写体の光学像を撮像し画像信号として出力するステップ、画像信号に基づいてシーンを判別するステップ、判別されたシーンに基づいて、録音するための録音条件を設定するステップから成る。 本発明のプログラムは、被写体の光学像を撮像し画像信号として出力する撮像手段と音声を集音し録音する録音手段を備える電子機器のプロセッサに、被写体の光学像を撮像し画像信号として出力するステップ、画像信号に基づいてシーンを判別するステップ、判別されたシーンに基づいて、録音するための録音条件を設定するステップを実行させる。
【発明の効果】
【００１９】
本発明の録音装置によれば、好適な録音条件の設定をより簡単に行うことが出来る。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施例であるＩＣレコーダの回路構成の一部を示すブロック図である。
【図２】顔認識処理に用いる各サイズを示す概念図の一例である。
【図３】被写体Ａの撮像画像に対して顔認識処理及びパターン認識処理において検出される顔及びサイズを示す概念図の一例である。
【図４】被写体Ａの撮像画像に対して空間認識処理において検出した幅を示す概念図の一例である。
【図５】被写体Ｂの撮像画像に対して顔認識処理及びパターン認識処理において検出される顔及びサイズを示す概念図の一例である。
【図６】被写体Ｃの撮像画像に対して顔認識処理及びパターン認識処理において検出される顔及びサイズを示す概念図の一例である。
【図７】被写体Ｃの撮像画像に対して空間認識処理において検出した幅を示す概念図の一例である。
【図８】被写体Ｄの撮像画像に対して顔認識処理及びパターン認識処理において検出される顔及びサイズを示す概念図の一例である。
【図９】被写体Ｄの撮像画像に対して空間認識処理において検出した幅を示す概念図の一例である。
【図１０】ＬＣＤ２８に表示される口述シーンモードを示す画面の一例である。
【図１１】ＬＣＤ２８に表示される会議シーンモードを示す画面の一例である。
【図１２】ＬＣＤ２８に表示される講義シーンモードを示す画面の一例である。
【図１３】ＬＣＤ２８に表示される音楽シーンモードを示す画面の一例である。
【図１４】顔認識処理、空間認識処理及びパターン認識処理の結果と推奨される録音シーンとの関係を示す認識テーブルである。
【図１５】各録音シーンと録音機能のパラメータとの関係を示す録音シーンテーブルである。
【図１６】オートシーンセレクト機能における処理を実行するタスクの一例を示すフローチャートである。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の録音装置の一実施例として、ＩＣレコーダ１０に実施した形態につき、図面に沿って具体的に説明する。
【００２２】
図１は、本実施例のＩＣレコーダ１０のブロック図を示している。ＩＣレコーダ１０は、少なくとも光学レンズを含むレンズ群１６、図示しない絞り、ＣＭＯＳイメージャユニット１８、信号処理回路２０、ＣＰＵ２２、操作部２４、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２８、外部メモリカード制御回路３０、ＳＤＲＡＭ３２、外部メモリカード３４、フラッシュメモリ３６、バス３８、コーデック４０、マイク部４２、スピーカ４４、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）４６及びアンプ４８を含んで構成されている。
【００２３】
マイク部４２は、無指向性マイクロフォン４２Ｌ及び無指向性マイクロフォン４２Ｒを含む。マイク部４２で集音された音声は、アナログ音声信号として出力され、マイク部４２に接続されるコーデック４０へ入力される。コーデック４０は、入力されたアナログ音声信号に対し所定のデジタル処理を施し、デジタル音声信号を出力する。
【００２４】
バス３８は、ＣＰＵ２２とフラッシュメモリ３６に接続される。ＣＰＵ２２はフラッシュメモリ３６に格納されているプログラムを実行することにより、ＩＣレコーダ１０の各回路及び各部を制御する。ＩＣレコーダ１０は、複数の録音機能を備えており、ＣＰＵ２２は、該録音機能に対して設定されたパラメータに基づいて処理を実行する。
【００２５】
バス３８には、ＣＰＵ２２及びフラッシュメモリ３６のほか、ＣＭＯＳイメージャユニット１８、信号処理回路２０、ＬＣＤ２８、外部メモリカード制御回路３０、ＳＤＲＡＭ３２、コーデック４０及びＤＳＰ４６が接続されている。
【００２６】
さて、ＳＤＲＡＭ３２に格納されたデジタル音声信号がファイル形式としてＭＰ３形式で圧縮される場合、デジタル音声信号はＳＤＲＡＭ３２からＤＳＰ４６へ出力される。ＤＳＰ４６は、入力されたデジタル音声信号に対してＭＰ３形式で圧縮処理を施し、ＳＤＲＡＭ３２へＭＰ３音声圧縮データとして一旦格納する。そして、ＣＰＵ２２は外部メモリコントローラ３０を制御して、ＳＤＲＡＭ３２に格納されているＭＰ３音声圧縮データを音声ファイルとして外部メモリカード３４へ記録する。
【００２７】
なお、ファイル形式としてＰＣＭ方式が採用された場合は、ＳＤＲＡＭ３２に格納されているデジタル音声信号は、音声ファイルとして外部メモリカード制御回路３０の制御のもと、外部メモリカード３４へ記録される。
【００２８】
以上のように、マイク部４２で集音された音声が外部メモリカード３４へ記録される処理を“録音”と定義する。
【００２９】
外部メモリカード３４に記録された音声ファイルを再生する際には、外部メモリカード制御回路３０の制御のもと、外部メモリカード３４に記録された音声ファイルが読み出される。読み出された音声ファイルがＭＰ３圧縮音声データを含む場合は、ＤＳＰ４６へ入力され、伸張処理が施されて伸張デジタル音声信号としてコーデック４０へ出力される。コーデック４０では伸張デジタル音声信号を処理してアナログ再生信号としてアンプ４８へ出力する。アンプ４８では、アナログ再生信号に対してゲイン調整を施した後、スピーカ４４へ出力し、スピーカ４４はゲイン調整が施されたアナログ再生信号を音声として出力する。
【００３０】
以上のように、外部メモリカード３４に記録された音声ファイルがスピーカ４４から音声として出力されるまでの処理を“再生”と定義する。
【００３１】
操作部２４はＣＰＵ２２と接続されており、録音機能のパラメータを設定するための設定画面を呼び出すなどのさまざまなメニューを表示するためのメニューキー２４ａ、音声ファイルの再生処理を開始するための再生ボタン２４ｂ、音声の録音処理を開始するための録音ボタン２４ｃ、ＬＣＤ２８上に表示されるカーソルを移動させるためのカーソルキー２４ｄ、各機能の実行を決定するためのセットボタン２４ｅ、再生処理又は録音処理を停止するための停止ボタン２４ｆ及びオートシーンセレクト機能を有効化するためのオートシーンセレクトボタン２４ｇを含む。
【００３２】
ＩＣレコーダ１０に電源が投入されると、ＩＣレコーダ１０は録音スタンバイ状態に移行する。録音スタンバイ状態において、メニューキー２４ａが操作されると、録音機能のパラメータを設定する設定画面が呼び出される。使用者はカーソルキー２４ｄやセットボタン２４ｅを操作することにより、設定画面において所望する録音機能のパラメータの設定が可能である。なお、パラメータとして、各録音機能自体のオン／オフも含むものとして説明を続ける。
【００３３】
録音機能について詳細に説明する。音声を圧縮する比率を設定する“圧縮比率”機能、マイクロフォン４２Ｌ、４２Ｒのマイク感度を設定する“ＭＩＣ感度”機能、音声信号の振幅を自動調整する自動レベル制御（Automatic Level Control）を示す“ＡＬＣ” 機能、所定周波数以下の音声をカットするためのローカットフィルタを示す“ＬｏｗＣｕｔ”機能、突然の過大入力を抑制するためのピークリミッタを示す“ピークリミッタ” 機能、録音ボタン２４ｃが押下された後に指定した時間が経過すると録音を開始する機能である“セルフタイマ”機能及び無音部分の録音を一時停止するボイスアクティベートシステムを示す“ＶＡＳ” 機能がある。
【００３４】
“圧縮比率”機能のパラメータとして、ＭＰ３方式である３２ｋｂｐｓ、６４ｋｂｐｓ、１９２ｋｂｐｓ、３２０ｋｂｐｓ及びＰＣＭ方式である４８ｋＨｚ１６ｂｉｔが用意されており、それらの中から１つ選択可能である。なお、３２ｋｂｐｓとは、1秒間に３２キロビットのデータを送れるかを示すデータ通信の速度を表し、４８ｋＨｚ１６ｂｉｔとは、サンプリング周波数４８ｋＨｚ量子化ビットレート１６ｂｉｔを表している。
【００３５】
“ＭＩＣ感度”機能のパラメータとして、Ｌｏｗ又はＨｉが用意されており、それらの中から１つ選択可能である。Ｌｏｗが選択された場合はマイク感度が低く、Ｈｉが選択された場合はマイク感度が高くなる。
【００３６】
“ＡＬＣ”機能のパラメータとしてオン又はオフが選択可能である。オンが選択された場合は自動レベル制御が有効化され、オフが選択された場合は無効化される。
【００３７】
“ＬｏｗＣｕｔ”機能のパラメータとして、オン又はオフが選択可能である。オンが選択された場合はローカットフィルタが有効化され、オフが選択された場合は無効化される。
【００３８】
“ピークリミッタ”機能のパラメータとして、オン又はオフが選択可能である。オンが選択された場合はピークリミッタが有効化され、オフが選択された場合は無効化される。
【００３９】
“ＶＡＳ”機能のパラメータとして、オン又はオフが選択可能である。オンが選択された場合はボイスアクティベートシステムが有効化され、オフが選択された場合は無効化される。
【００４０】
また、ＩＣレコーダ１０は、予め複数の録音シーンを想定し録音シーンを指定することにより録音シーン夫々に対して設定されている録音機能のパラメータを自動的に有効化するシーンセレクト機能を備えている。
【００４１】
図１５は、録音シーンに対して夫々設定されている録音機能のパラメータを示した録音シーンテーブルを表わしている。録音シーンテーブルは、フラッシュメモリ３６に格納されている。シーンセレクト機能において、使用者によって口述シーンが選択された場合、圧縮比率を６４ｋｂｐｓ、ＭＩＣ感度をＬｏｗ、ＡＬＣをオン、ＬｏｗＣｕｔをオン、ピークリミッタをオフ、セルフタイマをオフ及びＶＡＳをオフになるよう設定され、図１０に示すような口述シーンを示す画面がＬＣＤ２８に表示される。
【００４２】
同様に会議シーンが選択されると、ＣＰＵ２２は録音シーンテーブルを参照して録音機能のパラメータを設定し、図１１に示すような会議シーンを示す画面をＬＣＤ２８に表示させる。講義シーンが選択されると、ＣＰＵ２２は録音シーンテーブルを参照して録音機能のパラメータを設定し、図１２に示すような講義シーンを示す画面をＬＣＤ２８に表示させる。音楽シーンが選択されると、録音シーンテーブルを参照して録音機能のパラメータを設定し、図１３に示すような音楽シーンを示す画面をＬＣＤ２８に表示させる。
【００４３】
また、録音スタンバイ状態において、録音ボタン２４ｃが押下されると、ＣＰＵ２２は、設定されたパラメータに基づいて録音を開始させ、停止ボタン２４ｆが押下されることにより録音を終了する。また、録音スタンバイ状態において、再生ボタン２４ｂが押下されると、ＣＰＵ２２は、音声ファイルの再生を開始させ、停止ボタン２４ｆが押下されることにより、再生を終了する。
【００４４】
更に、録音スタンバイ状態において、オートシーンセレクトボタン２４ｇが押下されると、ＣＰＵ２２はオートシーンセレクト機能を実行する。オートシーンセレクト機能とは、ＩＣレコーダ１０が持つ撮像機能を利用して得られた撮像画像に基づいて推奨する録音シーンを特定する機能である。そして、録音シーンテーブルが参照され、特定された録音シーンに対応する録音機能のパラメータが自動的に設定される。
【００４５】
以下に、オートシーンセレクト機能について詳細に説明する。
【００４６】
オートシーンセレクトボタン２４ｇが押下されると、ＩＣレコーダ１０において撮像が開始され、撮像画像が取得される。具体的には、被写体の光学像はＣＰＵ２２による指示によって、図示しないモータ駆動部に制御されたレンズ群１６及び絞りを通して、ＣＭＯＳイメージャユニット１８に取り込まれる。ＣＰＵ２２に接続された図示しないタイミングジェネレータによって与えられる取り込みパルスによって、ＣＭＯＳイメージャユニット１８から１フレーム分のデジタル撮像信号が出力される。
【００４７】
ＣＭＯＳイメージャユニット１８では、各画素で蓄積した電荷を増幅し、各画素から配線を使用して信号として読み出しを行い、該信号に対して、相関２重サンプリング処理、ゲイン調整、クランプ処理、Ａ／Ｄ変換処理を施す。該処理が施されたデジタル撮像信号は、画素毎にＲ、Ｇ、Ｂのいずれかの色信号を有し、ＣＰＵ２２の制御によって、バス３８を介してＳＤＲＡＭ３２に一旦格納される。
【００４８】
なお、本実施例では、イメージセンサとしてＣＭＯＳイメージャユニット１８を採用した形態で説明するが、ＣＣＤイメージャを採用しても良い。ＣＣＤイメージャを採用した場合は、相関２重サンプリング処理、ゲイン調整、クランプ処理、Ａ／Ｄ変換処理を含むＡＦＥ回路が追加される。
【００４９】
ＳＤＲＡＭ３２に一旦格納されたデジタル撮像信号は、ＣＰＵ２２の制御によって信号処理回路２０へ入力される。信号処理回路２０では、入力されたデジタル撮像信号に対して色分離処理を施し、更にＹＵＶ変換により、Ｙ、Ｕ、Ｖ信号に変換する。そして、信号処理回路２０で変換されたデジタル画像信号は、バス３８を介して、再びＳＤＲＡＭ３２へ格納される。このように、被写体の光学像がさまざまな処理を経てＳＤＲＡＭ３２に格納されるまでを撮像処理と定義する。
【００５０】
さて、撮像処理において得られた１フレーム分のデジタル画像信号に対して、ＣＰＵ２２は所定の形状をした物体を検出する処理を実行する。より具体的には、顔を検出する顔認識処理及び楽器及び人の後頭部を検出するパターン認識処理を行う。顔認識処理及びパターン認識処理では、デジタル画像信号の中から、テンプレートとして用意されている複数の顔テンプレート、複数の楽器テンプレート又は複数の後頭部テンプレートとマッチングを行う。マッチしたテンプレートがデジタル画像信号のどこに位置するかを特定することによって、顔及び又は楽器及び又は後頭部が検出される。
【００５１】
検出された顔及び又は楽器及び又は後頭部に対し、ＣＰＵ２２は夫々のサイズを認識する。サイズは６種類に分かれており、図２は画像サイズが５インチであるときに対応する６つのサイズを図示したものである。１番小さいサイズを１とし、次に２、３、４、５と続き１番大きいサイズを６とする。ここでは、サイズ１は縦１．２ｃｍ×横１ｃｍとしているが、サイズはこれに限定されない。
【００５２】
なお便宜上、図３−図９で示される撮像画像Ａ、Ｂ、Ｃ、Ｄの画像サイズを５インチとし、それに対応する６つのサイズを用いて説明する。
【００５３】
次に、検出された顔及び又は楽器及び又は後頭部が複数存在する場合には、ＣＰＵ２２は、夫々がどれくらい離れているかを示す離れ具合を検出する。離れ具合は、顔及び又は楽器及び又は後頭部の中心から互いに最も近い顔及び又は楽器及び又は後頭部の中心までの幅を測定し、夫々測定された幅の中で最大の幅を検出する。この離れ具合を検出する処理を“空間認識処理”と定義する。
【００５４】
ＣＰＵ２２は、顔検出処理、パターン検出処理及び空間認識処理に基づき、フラッシュメモリ３６に格納されている認識テーブルを参照して、推奨する録音シーンを決定する。認識テーブルは図１４に示すように録音シーンと顔認識処理、パターン認識処理及び空間認識処理の結果が対応付けられている。
【００５５】
ＣＰＵ２２は、顔認識処理の結果、顔の個数が１つでサイズが５又は６であり、パターン認識処理の結果、何も認識されなかったことが分かると、認識テーブルを参照して、推奨する録音シーンは口述シーンであると決定する。
【００５６】
顔認識処理の結果、顔の個数が２つ以上でサイズが３−６のいずれかであり、空間認識処理の結果、最大幅が０−５ｃｍのいずれかに該当し、パターン認識処理の結果、楽器が認識されなかったことが分かると、推奨する録音シーンは会議シーンであると決定する。この場合、後頭部が検出されてもされなくても推奨する録音シーンは会議シーンであると決定される。
【００５７】
顔認識処理の結果、顔の個数が１つでサイズが１又は２であり、空間認識の結果、最大幅が０−５ｃｍに該当することが分かり、パターン認識処理の結果、楽器が検出されず後頭部を検出した場合、推奨する録音シーンは講義シーンであると決定する。
【００５８】
顔認識処理の結果、顔の個数が１つ以上でサイズが１−６であり、空間認識の結果、最大幅が０〜１２ｃｍに該当することが分かり、パターン認識処理の結果、楽器が検出した場合、推奨する録音シーンは音楽シーンであると決定する。この場合、後頭部が検出されてもされなくても推奨する録音シーンは音楽シーンであると決定される。
【００５９】
なお、顔認識処理、空間認識処理及びパターン認識処理の結果、図１５に示す認識テーブルに該当しないことが分かった場合には、ＬＣＤ２８に“シーンが見つけられません”等の表示をしても良い。
【００６０】
図３は、推奨する録音シーンが会議シーンであると決定され得る撮像画像Ａを示している。ＣＰＵ２２による顔認識処理及びパターン認識処理の結果、図３に示すように、撮像画像Ａのデジタル画像信号からサイズ２の顔ｗ、ｘ、サイズ３の顔ｙ及びサイズ４の顔ｚが検出され、楽器は検出されないこととなる。空間認識処理の結果、図４に示すように、顔ｗと顔ｘ間の幅Ｋ１＝４ｃｍ、顔ｘと顔ｙ間の幅Ｋ２＝２ｃｍ及び顔ｙと顔ｚ間の幅Ｋ３＝３ｃｍが検出されると、最大幅は４ｃｍとして決定される。この検出結果からＣＰＵ２２は図１４の認識テーブルを参照して、推奨する録音シーンは会議シーンであると決定する。
【００６１】
図５は、推奨する録音シーンが口述シーンであると決定され得る撮像画像Ｂを示している。ＣＰＵ２２による顔認識処理及びパターン認識処理の結果、図５に示すように、撮像画像Ｂのデジタル画像信号からサイズ６の顔ｖが検出され、楽器は検出されないこととなる。ＣＰＵ２２はこの検出結果から図１４の認識テーブルを参照して、推奨する録音シーンは口述シーンであると決定する。
【００６２】
図６は、推奨する録音シーンが講義シーンであると決定され得る撮像画像Ｃを示している。ＣＰＵ２２による顔認識処理及びパターン認識の結果、図６に示すように、撮像画像Ｃのデジタル画像信号からサイズ１の顔ｔが検出され、後頭部ｌ、ｍ、ｎが検出される。なお、顔ｔはサイズ１よりも小さいが、ＣＰＵ２２はサイズ１−６の中で直近のサイズに割り当てる。空間認識処理の結果、図７にすように、顔ｔと後頭部ｌ間の幅Ｋ４＝４ｃｍ、後頭部ｌと後頭部ｍ間の幅Ｋ５＝２．５ｃｍ及び後頭部ｍと後頭部ｎ間の幅Ｋ６＝２ｃｍが検出され、最大幅は４ｃｍとして決定される。ＣＰＵ２２は、この検出結果から図１４の認識テーブルを参照して、推奨するシーンは講義シーンであると決定する。
【００６３】
図８は、推奨する録音シーンが音楽シーンであると決定され得る撮像画像Ｄを示している。ＣＰＵ２２による顔認識処理及びパターン認識処理の結果、図８に示すように撮像画像Ｄのデジタル画像信号からサイズ１の顔ｅ、ｆ、ｇ、ｈが検出され、後頭部ｉが検出され、楽器ｏ、ｐ、ｑ、ｒ、ｓが検出される。空間認識処理の結果、図９に示すように、顔ｈと楽器ｒ間の幅Ｋ７＝１．５ｃｍ、顔ｇと楽器ｑ間の幅Ｋ８＝１．５ｃｍ、顔ｆと楽器ｐ間の幅Ｋ９＝１．５ｃｍ及び後頭部ｉと楽器ｓ間の幅＝０ｃｍが検出され、最大幅は１．５ｃｍとして決定される。ＣＰＵ２２は、この検出結果から図１４の認識テーブルを参照して、推奨するシーンは音楽シーンであると決定する。
【００６４】
推奨される録音シーンが決定されると、ＣＰＵ２２は、ＬＣＤ２８に推奨される録音シーンに対応する録音シーンの画面を表示させる。推奨される録音シーンが口述シーンの場合には、図１０に示すような口述シーンを示す画面が表示される。推奨される録音シーンが会議シーンの場合には、図１１に示すような会議シーンを示す画面が表示される。推奨される録音シーンが講義シーンの場合には、図１２に示すような会議シーンを示す画面が表示される。推奨される録音シーンが音楽シーンの場合には、図１３に示すような音楽シーンを示す画面が表示される。
【００６５】
そして、ＣＰＵ２２は、録音シーンテーブルを参照して推奨する録音シーンに対応する録音機能のパラメータを設定する。そして、録音ボタン２４ｃが押下された場合は、ＣＰＵ２２は推奨する録音シーンに対応する録音機能のパラメータを録音条件として録音を開始する。
【００６６】
録音機能のパラメータをカスタマイズする場合には、ＬＣＤ２８に録音シーンの画面が表示されてから所定時間内に、使用者によってメニューキー２４ａが操作されることによりパラメータを変更する画面へと遷移させ、カーソルキー２４ｄやセットボタン２４ｅが操作されることによって所望のパラメータに変更することが出来る。なお、所望のパラメータの変更例としては、ＡＬＣ機能のパラメータをオンからオフに変更したり、圧縮比率機能のパラメータを６４ｋｂｐｓから１９２ｋｂｐｓに変更することが挙げられる。そして、録音ボタン２４ｃが押下されることによって、設定されたパラメータを録音条件として録音が開始される。
【００６７】
次に図１６に示すオートシーンセレクトタスクのフローチャートを参照して、上述したオートシーンセレクト機能を実現するための処理を説明する。このタスクは、フラッシュメモリ３６に格納されている夫々のプログラムに基づいてＣＰＵ２２が実行する。
【００６８】
電源が投入され、オートシーンセレクトボタン２４ｇが押下されるとオートシーンセレクトタスクが起動する。まずステップＳ１０１において、ＣＰＵ２２は１フレームの撮像処理を行う。次のステップＳ１０３では、撮像処理によって得られたデジタル画像信号に対してＣＰＵ２２は顔認識処理を実行し、次のステップＳ１０５では空間認識処理を実行する。次のステップＳ１０７ではパターン認識処理を実行する。次のステップＳ１０９では、ＣＰＵ２２は、顔認識処理、空間認識処理及びパターン認識処理の結果に基づいて、認識テーブルを参照して推奨する録音シーンを決定し、次のステップＳ１１１では、推奨する録音シーンに対応する録音機能のパラメータを設定して、推奨する録音シーンの画面をＬＣＤ２８に表示する。
【００６９】
次のステップＳ１１３では、推奨する録音シーンの画面が表示されてから所定時間内にメニューキー２４ａが操作され、カーソルキー２４ｄ及びセットボタン２４ｅの操作によりパラメータ変更の操作があったか否かを判別する。ステップＳ１１３においてＹＥＳと判別されると、ステップＳ１１５へ進みパラメータの変更を行った後、本タスクを終了する。また、ステップＳ１１３においてＮＯと判断された場合も、本タスクを終了する。
【００７０】
上述したように、本実施例によるＩＣレコーダ１０によれば、使用者はオートシーンセレクトボタン２４ｇを押下するだけで、ＩＣレコーダ１０自身で推奨する録音シーンを判別し、該録音シーンに対応する録音機能のパラメータを設定するため、より簡単にかつ好適な録音条件で録音をすることが出来る。また、撮像画像から推奨する録音シーンが判別されるため、判別の精度がより高くなる。
【００７１】
なお、本実施例のＩＣレコーダ１０では、オートシーンセレクト機能を実行するためのプログラムが予めフラッシュメモリ３６に格納されているが、ＩＣレコーダ１０と外部装置とを接続させ、使用者が無線通信や有線通信を介して外部装置が保持するプログラムを取得しても良い。
【００７２】
また、本実施例では本発明をＩＣレコーダ１０に適用させた例を説明したが、デジタルカメラ、ＰＤＡ、携帯電話及びスマートフォンでも適用可能である。携帯電話及びスマートフォンに適用される場合は、オートシーンセレクト機能を実行するためのプログラム全部または一部を、使用者がインターネット又は電話回線を介してダウンロードされても良い。
【００７３】
また、本発明がタッチパネル式のスマートフォンに適用される場合、操作部２４の各キー及びボタンの役割は、画面を軽く叩いてすぐ指を離すタップ操作や、指で画面を触れ続ける長押し操作や、画面を軽く払うよう指を動かすフリック操作や、画面に２本以上の指を接しさせ互いの指が離れる方向や近づく方向に動かすスワイプ操作などに対応させても良い。
【００７４】
また、ＳＤＲＡＭ３２に格納されたデジタル画像信号は、ＣＰＵ２２の制御によりＬＣＤ２８へ出力しても良い。ＬＣＤ２８は、図示しないＬＣＤドライバを含み、ＬＣＤドライバはＹ、Ｕ、Ｖ信号をＲＧＢ信号に変換して、ＬＣＤ２８にデジタル画像信号に基づく画像を表示させることが出来る。画像をＬＣＤ２８に表示させると消費電力が増加するため、使用者によるメニューキー２４ａ、カーソルキー２４ｄ及びセットボタン２４ｅの操作によって表示モードに設定したときのみ、表示を行ってもよい。
【００７５】
また、実施例では、モニタとしてＬＣＤ２８を採用した形態を説明したが、有機ＥＬなどの表示デバイスを採用しても良い。
【００７６】
また、顔認識処理、パターン認識処理及び空間認識処理において１フレーム分のデジタル画像信号を認識処理対象としたが、１０フレーム分を認識対象としても良い。この場合、認識精度の向上が期待される。
【００７７】
また、本実施例において顔認識処理から得られる顔のサイズの種類として６つ用意したが、顔のサイズや種類はこれに限らない。顔のサイズの種類が多ければ多いほど、推奨する録音シーンの判別精度が向上する。
【００７８】
また、本実施例においてマイク部４２に無指向性マイクロフォン４２Ｌ、４２Ｒを設けたが、更に指向性マイクロフォンを設けても良い。この場合、録音シーンに対して夫々設定されている録音機能のパラメータとして無指向性マイクロフォン４２Ｌ、４２Ｒと指向性マイクロフォンのオン／オフを追加しても良い。例えば、口述シーンに設定される録音機能のパラメータとして、無指向性マイクロフォン４２Ｌ、４２Ｒをオフ、指向性マイクロフォンをオンと設定される場合、より一層好適な録音が可能となる。
【符号の説明】
【００７９】
１０ ・・・ ＩＣレコーダ
１６ ・・・ レンズ群
１８ ・・・ ＣＭＯＳイメージャユニット
２０ ・・・ 信号処理回路
２２ ・・・ ＣＰＵ
２４ ・・・ 操作部
２８ ・・・ ＬＣＤ
３０ ・・・ 外部メモリカード制御回路
３２ ・・・ ＳＤＲＡＭ
３４ ・・・ 外部メモリカード
３６ ・・・ フラッシュメモリ
４０ ・・・ コーデック
４２ ・・・ マイク部
４６ ・・・ ＤＳＰ
【技術分野】
【０００１】
本発明は、録音装置に関し、特に撮像機能を有し撮像された画像信号に基づいて好適な録音を行う録音装置に関する。
【背景技術】
【０００２】
従来、予め複数の動画シーンに対応した録音設定情報を記録しておき、音声付の動画撮影に際して使用者に所望するいずれかの録画シーンを指定させ、録画シーンに対応する録音設定情報に基づき、撮影時の録音を制御する技術が開示されている。
【特許文献１】特開２００６−２１７１１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の技術では、使用者が所望する録画シーンを設定することによって適切な録音設定情報に基づき録音を制御することが出来る。言い換えれば、録画シーンを設定しない限り、録音を適切に制御することが出来ない。従って、従来の技術では、録画を目的とせず適切な録音を目的とした場合においても、所望の録音設定情報に対応する録画シーンを選択しなければならず、使用者にとってわずらわしいものであった。
【０００４】
本発明は上記の問題を解決するもので、この発明の目的の一つは、好適な録音設定をより簡単に行うことが出来る録音装置を提供するものである。
【課題を解決するための手段】
【０００５】
本発明の録音装置は、被写体の光学像を撮像し画像信号として出力する撮像手段と、画像信号に基づいてシーンを判別するシーン判別手段と、音声を集音し録音する録音手段と、シーン判別手段によって判別されたシーンに基づいて、録音するための録音条件を設定する設定手段とを備えることを特徴とする。
【０００６】
この録音装置のある局面によれば、画像信号に基づいて推奨する録音シーンを判別し、該録音シーンに基づいて録音条件を設定するため、使用者は録音シーンを意識して録音条件を自ら設定する必要がないため、より簡単に好適な録音条件を設定することが出来る。
【０００７】
好ましくは、録音手段を制御して設定手段によって設定された録音条件で録音する録音制御手段と、設定手段によって設定された録音条件を変更する変更手段を更に備える。
【０００８】
この局面によれば、画像信号に基づいて設定された録音条件に対して変更することが出来るため、使用者が所望する録音条件により近づく。
【０００９】
好ましくは、設定手段によって設定された録音条件を報知する報知手段を更に備える。
【００１０】
この局面によれば、録音条件が報知されることにより使用者は設定された録音条件を認識することが出来るため、所望する録音条件か否かを判断することが可能となる。
【００１１】
好ましくは、シーン判別手段は、画像信号から所定の形状をした物体などを検出することにより得られる物体の数及び又は物体と物体の離れ具合を検出してシーンを判別する。
【００１２】
この局面によれば、画像信号から所定の形状をした物体などを検出することにより得られる物体の数及び又は物体と物体の離れ具合が検出出来るため、現在のシーンをより精度よく判別することが出来る。
【００１３】
好ましくは、シーン判別手段は、画像信号に基づいて人数及び又は人と人の離れ具合を検出してシーンを判別する。
【００１４】
この局面によれば、人数及び又は人と人の離れ具合が検出出来るため、現在のシーンをより精度よく判別することが出来る。
【００１５】
好ましくは、シーン判別手段は、画像信号に含まれる顔信号に基づいて人数及び又は人と人の離れ具合を検出してシーンを判別する。
【００１６】
この局面によれば、設定手段においてシーン判別手段によって判別されたシーンに基づいて設定された録音条件は、無指向性のマイクロフォン又は指向性のマイクロフォンを用いて音声を集音する条件を含む。
【００１７】
この局面によれば、録音条件が無指向性のマイクロフォン又は指向性のマイクロフォンを用いて音声を集音する条件を含むため、より好適な録音をすることが出来る。
【００１８】
本発明の音声を集音し録音する録音装置において録音するための条件を設定する方法は、被写体の光学像を撮像し画像信号として出力するステップ、画像信号に基づいてシーンを判別するステップ、判別されたシーンに基づいて、録音するための録音条件を設定するステップから成る。 本発明のプログラムは、被写体の光学像を撮像し画像信号として出力する撮像手段と音声を集音し録音する録音手段を備える電子機器のプロセッサに、被写体の光学像を撮像し画像信号として出力するステップ、画像信号に基づいてシーンを判別するステップ、判別されたシーンに基づいて、録音するための録音条件を設定するステップを実行させる。
【発明の効果】
【００１９】
本発明の録音装置によれば、好適な録音条件の設定をより簡単に行うことが出来る。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施例であるＩＣレコーダの回路構成の一部を示すブロック図である。
【図２】顔認識処理に用いる各サイズを示す概念図の一例である。
【図３】被写体Ａの撮像画像に対して顔認識処理及びパターン認識処理において検出される顔及びサイズを示す概念図の一例である。
【図４】被写体Ａの撮像画像に対して空間認識処理において検出した幅を示す概念図の一例である。
【図５】被写体Ｂの撮像画像に対して顔認識処理及びパターン認識処理において検出される顔及びサイズを示す概念図の一例である。
【図６】被写体Ｃの撮像画像に対して顔認識処理及びパターン認識処理において検出される顔及びサイズを示す概念図の一例である。
【図７】被写体Ｃの撮像画像に対して空間認識処理において検出した幅を示す概念図の一例である。
【図８】被写体Ｄの撮像画像に対して顔認識処理及びパターン認識処理において検出される顔及びサイズを示す概念図の一例である。
【図９】被写体Ｄの撮像画像に対して空間認識処理において検出した幅を示す概念図の一例である。
【図１０】ＬＣＤ２８に表示される口述シーンモードを示す画面の一例である。
【図１１】ＬＣＤ２８に表示される会議シーンモードを示す画面の一例である。
【図１２】ＬＣＤ２８に表示される講義シーンモードを示す画面の一例である。
【図１３】ＬＣＤ２８に表示される音楽シーンモードを示す画面の一例である。
【図１４】顔認識処理、空間認識処理及びパターン認識処理の結果と推奨される録音シーンとの関係を示す認識テーブルである。
【図１５】各録音シーンと録音機能のパラメータとの関係を示す録音シーンテーブルである。
【図１６】オートシーンセレクト機能における処理を実行するタスクの一例を示すフローチャートである。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の録音装置の一実施例として、ＩＣレコーダ１０に実施した形態につき、図面に沿って具体的に説明する。
【００２２】
図１は、本実施例のＩＣレコーダ１０のブロック図を示している。ＩＣレコーダ１０は、少なくとも光学レンズを含むレンズ群１６、図示しない絞り、ＣＭＯＳイメージャユニット１８、信号処理回路２０、ＣＰＵ２２、操作部２４、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２８、外部メモリカード制御回路３０、ＳＤＲＡＭ３２、外部メモリカード３４、フラッシュメモリ３６、バス３８、コーデック４０、マイク部４２、スピーカ４４、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）４６及びアンプ４８を含んで構成されている。
【００２３】
マイク部４２は、無指向性マイクロフォン４２Ｌ及び無指向性マイクロフォン４２Ｒを含む。マイク部４２で集音された音声は、アナログ音声信号として出力され、マイク部４２に接続されるコーデック４０へ入力される。コーデック４０は、入力されたアナログ音声信号に対し所定のデジタル処理を施し、デジタル音声信号を出力する。
【００２４】
バス３８は、ＣＰＵ２２とフラッシュメモリ３６に接続される。ＣＰＵ２２はフラッシュメモリ３６に格納されているプログラムを実行することにより、ＩＣレコーダ１０の各回路及び各部を制御する。ＩＣレコーダ１０は、複数の録音機能を備えており、ＣＰＵ２２は、該録音機能に対して設定されたパラメータに基づいて処理を実行する。
【００２５】
バス３８には、ＣＰＵ２２及びフラッシュメモリ３６のほか、ＣＭＯＳイメージャユニット１８、信号処理回路２０、ＬＣＤ２８、外部メモリカード制御回路３０、ＳＤＲＡＭ３２、コーデック４０及びＤＳＰ４６が接続されている。
【００２６】
さて、ＳＤＲＡＭ３２に格納されたデジタル音声信号がファイル形式としてＭＰ３形式で圧縮される場合、デジタル音声信号はＳＤＲＡＭ３２からＤＳＰ４６へ出力される。ＤＳＰ４６は、入力されたデジタル音声信号に対してＭＰ３形式で圧縮処理を施し、ＳＤＲＡＭ３２へＭＰ３音声圧縮データとして一旦格納する。そして、ＣＰＵ２２は外部メモリコントローラ３０を制御して、ＳＤＲＡＭ３２に格納されているＭＰ３音声圧縮データを音声ファイルとして外部メモリカード３４へ記録する。
【００２７】
なお、ファイル形式としてＰＣＭ方式が採用された場合は、ＳＤＲＡＭ３２に格納されているデジタル音声信号は、音声ファイルとして外部メモリカード制御回路３０の制御のもと、外部メモリカード３４へ記録される。
【００２８】
以上のように、マイク部４２で集音された音声が外部メモリカード３４へ記録される処理を“録音”と定義する。
【００２９】
外部メモリカード３４に記録された音声ファイルを再生する際には、外部メモリカード制御回路３０の制御のもと、外部メモリカード３４に記録された音声ファイルが読み出される。読み出された音声ファイルがＭＰ３圧縮音声データを含む場合は、ＤＳＰ４６へ入力され、伸張処理が施されて伸張デジタル音声信号としてコーデック４０へ出力される。コーデック４０では伸張デジタル音声信号を処理してアナログ再生信号としてアンプ４８へ出力する。アンプ４８では、アナログ再生信号に対してゲイン調整を施した後、スピーカ４４へ出力し、スピーカ４４はゲイン調整が施されたアナログ再生信号を音声として出力する。
【００３０】
以上のように、外部メモリカード３４に記録された音声ファイルがスピーカ４４から音声として出力されるまでの処理を“再生”と定義する。
【００３１】
操作部２４はＣＰＵ２２と接続されており、録音機能のパラメータを設定するための設定画面を呼び出すなどのさまざまなメニューを表示するためのメニューキー２４ａ、音声ファイルの再生処理を開始するための再生ボタン２４ｂ、音声の録音処理を開始するための録音ボタン２４ｃ、ＬＣＤ２８上に表示されるカーソルを移動させるためのカーソルキー２４ｄ、各機能の実行を決定するためのセットボタン２４ｅ、再生処理又は録音処理を停止するための停止ボタン２４ｆ及びオートシーンセレクト機能を有効化するためのオートシーンセレクトボタン２４ｇを含む。
【００３２】
ＩＣレコーダ１０に電源が投入されると、ＩＣレコーダ１０は録音スタンバイ状態に移行する。録音スタンバイ状態において、メニューキー２４ａが操作されると、録音機能のパラメータを設定する設定画面が呼び出される。使用者はカーソルキー２４ｄやセットボタン２４ｅを操作することにより、設定画面において所望する録音機能のパラメータの設定が可能である。なお、パラメータとして、各録音機能自体のオン／オフも含むものとして説明を続ける。
【００３３】
録音機能について詳細に説明する。音声を圧縮する比率を設定する“圧縮比率”機能、マイクロフォン４２Ｌ、４２Ｒのマイク感度を設定する“ＭＩＣ感度”機能、音声信号の振幅を自動調整する自動レベル制御（Automatic Level Control）を示す“ＡＬＣ” 機能、所定周波数以下の音声をカットするためのローカットフィルタを示す“ＬｏｗＣｕｔ”機能、突然の過大入力を抑制するためのピークリミッタを示す“ピークリミッタ” 機能、録音ボタン２４ｃが押下された後に指定した時間が経過すると録音を開始する機能である“セルフタイマ”機能及び無音部分の録音を一時停止するボイスアクティベートシステムを示す“ＶＡＳ” 機能がある。
【００３４】
“圧縮比率”機能のパラメータとして、ＭＰ３方式である３２ｋｂｐｓ、６４ｋｂｐｓ、１９２ｋｂｐｓ、３２０ｋｂｐｓ及びＰＣＭ方式である４８ｋＨｚ１６ｂｉｔが用意されており、それらの中から１つ選択可能である。なお、３２ｋｂｐｓとは、1秒間に３２キロビットのデータを送れるかを示すデータ通信の速度を表し、４８ｋＨｚ１６ｂｉｔとは、サンプリング周波数４８ｋＨｚ量子化ビットレート１６ｂｉｔを表している。
【００３５】
“ＭＩＣ感度”機能のパラメータとして、Ｌｏｗ又はＨｉが用意されており、それらの中から１つ選択可能である。Ｌｏｗが選択された場合はマイク感度が低く、Ｈｉが選択された場合はマイク感度が高くなる。
【００３６】
“ＡＬＣ”機能のパラメータとしてオン又はオフが選択可能である。オンが選択された場合は自動レベル制御が有効化され、オフが選択された場合は無効化される。
【００３７】
“ＬｏｗＣｕｔ”機能のパラメータとして、オン又はオフが選択可能である。オンが選択された場合はローカットフィルタが有効化され、オフが選択された場合は無効化される。
【００３８】
“ピークリミッタ”機能のパラメータとして、オン又はオフが選択可能である。オンが選択された場合はピークリミッタが有効化され、オフが選択された場合は無効化される。
【００３９】
“ＶＡＳ”機能のパラメータとして、オン又はオフが選択可能である。オンが選択された場合はボイスアクティベートシステムが有効化され、オフが選択された場合は無効化される。
【００４０】
また、ＩＣレコーダ１０は、予め複数の録音シーンを想定し録音シーンを指定することにより録音シーン夫々に対して設定されている録音機能のパラメータを自動的に有効化するシーンセレクト機能を備えている。
【００４１】
図１５は、録音シーンに対して夫々設定されている録音機能のパラメータを示した録音シーンテーブルを表わしている。録音シーンテーブルは、フラッシュメモリ３６に格納されている。シーンセレクト機能において、使用者によって口述シーンが選択された場合、圧縮比率を６４ｋｂｐｓ、ＭＩＣ感度をＬｏｗ、ＡＬＣをオン、ＬｏｗＣｕｔをオン、ピークリミッタをオフ、セルフタイマをオフ及びＶＡＳをオフになるよう設定され、図１０に示すような口述シーンを示す画面がＬＣＤ２８に表示される。
【００４２】
同様に会議シーンが選択されると、ＣＰＵ２２は録音シーンテーブルを参照して録音機能のパラメータを設定し、図１１に示すような会議シーンを示す画面をＬＣＤ２８に表示させる。講義シーンが選択されると、ＣＰＵ２２は録音シーンテーブルを参照して録音機能のパラメータを設定し、図１２に示すような講義シーンを示す画面をＬＣＤ２８に表示させる。音楽シーンが選択されると、録音シーンテーブルを参照して録音機能のパラメータを設定し、図１３に示すような音楽シーンを示す画面をＬＣＤ２８に表示させる。
【００４３】
また、録音スタンバイ状態において、録音ボタン２４ｃが押下されると、ＣＰＵ２２は、設定されたパラメータに基づいて録音を開始させ、停止ボタン２４ｆが押下されることにより録音を終了する。また、録音スタンバイ状態において、再生ボタン２４ｂが押下されると、ＣＰＵ２２は、音声ファイルの再生を開始させ、停止ボタン２４ｆが押下されることにより、再生を終了する。
【００４４】
更に、録音スタンバイ状態において、オートシーンセレクトボタン２４ｇが押下されると、ＣＰＵ２２はオートシーンセレクト機能を実行する。オートシーンセレクト機能とは、ＩＣレコーダ１０が持つ撮像機能を利用して得られた撮像画像に基づいて推奨する録音シーンを特定する機能である。そして、録音シーンテーブルが参照され、特定された録音シーンに対応する録音機能のパラメータが自動的に設定される。
【００４５】
以下に、オートシーンセレクト機能について詳細に説明する。
【００４６】
オートシーンセレクトボタン２４ｇが押下されると、ＩＣレコーダ１０において撮像が開始され、撮像画像が取得される。具体的には、被写体の光学像はＣＰＵ２２による指示によって、図示しないモータ駆動部に制御されたレンズ群１６及び絞りを通して、ＣＭＯＳイメージャユニット１８に取り込まれる。ＣＰＵ２２に接続された図示しないタイミングジェネレータによって与えられる取り込みパルスによって、ＣＭＯＳイメージャユニット１８から１フレーム分のデジタル撮像信号が出力される。
【００４７】
ＣＭＯＳイメージャユニット１８では、各画素で蓄積した電荷を増幅し、各画素から配線を使用して信号として読み出しを行い、該信号に対して、相関２重サンプリング処理、ゲイン調整、クランプ処理、Ａ／Ｄ変換処理を施す。該処理が施されたデジタル撮像信号は、画素毎にＲ、Ｇ、Ｂのいずれかの色信号を有し、ＣＰＵ２２の制御によって、バス３８を介してＳＤＲＡＭ３２に一旦格納される。
【００４８】
なお、本実施例では、イメージセンサとしてＣＭＯＳイメージャユニット１８を採用した形態で説明するが、ＣＣＤイメージャを採用しても良い。ＣＣＤイメージャを採用した場合は、相関２重サンプリング処理、ゲイン調整、クランプ処理、Ａ／Ｄ変換処理を含むＡＦＥ回路が追加される。
【００４９】
ＳＤＲＡＭ３２に一旦格納されたデジタル撮像信号は、ＣＰＵ２２の制御によって信号処理回路２０へ入力される。信号処理回路２０では、入力されたデジタル撮像信号に対して色分離処理を施し、更にＹＵＶ変換により、Ｙ、Ｕ、Ｖ信号に変換する。そして、信号処理回路２０で変換されたデジタル画像信号は、バス３８を介して、再びＳＤＲＡＭ３２へ格納される。このように、被写体の光学像がさまざまな処理を経てＳＤＲＡＭ３２に格納されるまでを撮像処理と定義する。
【００５０】
さて、撮像処理において得られた１フレーム分のデジタル画像信号に対して、ＣＰＵ２２は所定の形状をした物体を検出する処理を実行する。より具体的には、顔を検出する顔認識処理及び楽器及び人の後頭部を検出するパターン認識処理を行う。顔認識処理及びパターン認識処理では、デジタル画像信号の中から、テンプレートとして用意されている複数の顔テンプレート、複数の楽器テンプレート又は複数の後頭部テンプレートとマッチングを行う。マッチしたテンプレートがデジタル画像信号のどこに位置するかを特定することによって、顔及び又は楽器及び又は後頭部が検出される。
【００５１】
検出された顔及び又は楽器及び又は後頭部に対し、ＣＰＵ２２は夫々のサイズを認識する。サイズは６種類に分かれており、図２は画像サイズが５インチであるときに対応する６つのサイズを図示したものである。１番小さいサイズを１とし、次に２、３、４、５と続き１番大きいサイズを６とする。ここでは、サイズ１は縦１．２ｃｍ×横１ｃｍとしているが、サイズはこれに限定されない。
【００５２】
なお便宜上、図３−図９で示される撮像画像Ａ、Ｂ、Ｃ、Ｄの画像サイズを５インチとし、それに対応する６つのサイズを用いて説明する。
【００５３】
次に、検出された顔及び又は楽器及び又は後頭部が複数存在する場合には、ＣＰＵ２２は、夫々がどれくらい離れているかを示す離れ具合を検出する。離れ具合は、顔及び又は楽器及び又は後頭部の中心から互いに最も近い顔及び又は楽器及び又は後頭部の中心までの幅を測定し、夫々測定された幅の中で最大の幅を検出する。この離れ具合を検出する処理を“空間認識処理”と定義する。
【００５４】
ＣＰＵ２２は、顔検出処理、パターン検出処理及び空間認識処理に基づき、フラッシュメモリ３６に格納されている認識テーブルを参照して、推奨する録音シーンを決定する。認識テーブルは図１４に示すように録音シーンと顔認識処理、パターン認識処理及び空間認識処理の結果が対応付けられている。
【００５５】
ＣＰＵ２２は、顔認識処理の結果、顔の個数が１つでサイズが５又は６であり、パターン認識処理の結果、何も認識されなかったことが分かると、認識テーブルを参照して、推奨する録音シーンは口述シーンであると決定する。
【００５６】
顔認識処理の結果、顔の個数が２つ以上でサイズが３−６のいずれかであり、空間認識処理の結果、最大幅が０−５ｃｍのいずれかに該当し、パターン認識処理の結果、楽器が認識されなかったことが分かると、推奨する録音シーンは会議シーンであると決定する。この場合、後頭部が検出されてもされなくても推奨する録音シーンは会議シーンであると決定される。
【００５７】
顔認識処理の結果、顔の個数が１つでサイズが１又は２であり、空間認識の結果、最大幅が０−５ｃｍに該当することが分かり、パターン認識処理の結果、楽器が検出されず後頭部を検出した場合、推奨する録音シーンは講義シーンであると決定する。
【００５８】
顔認識処理の結果、顔の個数が１つ以上でサイズが１−６であり、空間認識の結果、最大幅が０〜１２ｃｍに該当することが分かり、パターン認識処理の結果、楽器が検出した場合、推奨する録音シーンは音楽シーンであると決定する。この場合、後頭部が検出されてもされなくても推奨する録音シーンは音楽シーンであると決定される。
【００５９】
なお、顔認識処理、空間認識処理及びパターン認識処理の結果、図１５に示す認識テーブルに該当しないことが分かった場合には、ＬＣＤ２８に“シーンが見つけられません”等の表示をしても良い。
【００６０】
図３は、推奨する録音シーンが会議シーンであると決定され得る撮像画像Ａを示している。ＣＰＵ２２による顔認識処理及びパターン認識処理の結果、図３に示すように、撮像画像Ａのデジタル画像信号からサイズ２の顔ｗ、ｘ、サイズ３の顔ｙ及びサイズ４の顔ｚが検出され、楽器は検出されないこととなる。空間認識処理の結果、図４に示すように、顔ｗと顔ｘ間の幅Ｋ１＝４ｃｍ、顔ｘと顔ｙ間の幅Ｋ２＝２ｃｍ及び顔ｙと顔ｚ間の幅Ｋ３＝３ｃｍが検出されると、最大幅は４ｃｍとして決定される。この検出結果からＣＰＵ２２は図１４の認識テーブルを参照して、推奨する録音シーンは会議シーンであると決定する。
【００６１】
図５は、推奨する録音シーンが口述シーンであると決定され得る撮像画像Ｂを示している。ＣＰＵ２２による顔認識処理及びパターン認識処理の結果、図５に示すように、撮像画像Ｂのデジタル画像信号からサイズ６の顔ｖが検出され、楽器は検出されないこととなる。ＣＰＵ２２はこの検出結果から図１４の認識テーブルを参照して、推奨する録音シーンは口述シーンであると決定する。
【００６２】
図６は、推奨する録音シーンが講義シーンであると決定され得る撮像画像Ｃを示している。ＣＰＵ２２による顔認識処理及びパターン認識の結果、図６に示すように、撮像画像Ｃのデジタル画像信号からサイズ１の顔ｔが検出され、後頭部ｌ、ｍ、ｎが検出される。なお、顔ｔはサイズ１よりも小さいが、ＣＰＵ２２はサイズ１−６の中で直近のサイズに割り当てる。空間認識処理の結果、図７にすように、顔ｔと後頭部ｌ間の幅Ｋ４＝４ｃｍ、後頭部ｌと後頭部ｍ間の幅Ｋ５＝２．５ｃｍ及び後頭部ｍと後頭部ｎ間の幅Ｋ６＝２ｃｍが検出され、最大幅は４ｃｍとして決定される。ＣＰＵ２２は、この検出結果から図１４の認識テーブルを参照して、推奨するシーンは講義シーンであると決定する。
【００６３】
図８は、推奨する録音シーンが音楽シーンであると決定され得る撮像画像Ｄを示している。ＣＰＵ２２による顔認識処理及びパターン認識処理の結果、図８に示すように撮像画像Ｄのデジタル画像信号からサイズ１の顔ｅ、ｆ、ｇ、ｈが検出され、後頭部ｉが検出され、楽器ｏ、ｐ、ｑ、ｒ、ｓが検出される。空間認識処理の結果、図９に示すように、顔ｈと楽器ｒ間の幅Ｋ７＝１．５ｃｍ、顔ｇと楽器ｑ間の幅Ｋ８＝１．５ｃｍ、顔ｆと楽器ｐ間の幅Ｋ９＝１．５ｃｍ及び後頭部ｉと楽器ｓ間の幅＝０ｃｍが検出され、最大幅は１．５ｃｍとして決定される。ＣＰＵ２２は、この検出結果から図１４の認識テーブルを参照して、推奨するシーンは音楽シーンであると決定する。
【００６４】
推奨される録音シーンが決定されると、ＣＰＵ２２は、ＬＣＤ２８に推奨される録音シーンに対応する録音シーンの画面を表示させる。推奨される録音シーンが口述シーンの場合には、図１０に示すような口述シーンを示す画面が表示される。推奨される録音シーンが会議シーンの場合には、図１１に示すような会議シーンを示す画面が表示される。推奨される録音シーンが講義シーンの場合には、図１２に示すような会議シーンを示す画面が表示される。推奨される録音シーンが音楽シーンの場合には、図１３に示すような音楽シーンを示す画面が表示される。
【００６５】
そして、ＣＰＵ２２は、録音シーンテーブルを参照して推奨する録音シーンに対応する録音機能のパラメータを設定する。そして、録音ボタン２４ｃが押下された場合は、ＣＰＵ２２は推奨する録音シーンに対応する録音機能のパラメータを録音条件として録音を開始する。
【００６６】
録音機能のパラメータをカスタマイズする場合には、ＬＣＤ２８に録音シーンの画面が表示されてから所定時間内に、使用者によってメニューキー２４ａが操作されることによりパラメータを変更する画面へと遷移させ、カーソルキー２４ｄやセットボタン２４ｅが操作されることによって所望のパラメータに変更することが出来る。なお、所望のパラメータの変更例としては、ＡＬＣ機能のパラメータをオンからオフに変更したり、圧縮比率機能のパラメータを６４ｋｂｐｓから１９２ｋｂｐｓに変更することが挙げられる。そして、録音ボタン２４ｃが押下されることによって、設定されたパラメータを録音条件として録音が開始される。
【００６７】
次に図１６に示すオートシーンセレクトタスクのフローチャートを参照して、上述したオートシーンセレクト機能を実現するための処理を説明する。このタスクは、フラッシュメモリ３６に格納されている夫々のプログラムに基づいてＣＰＵ２２が実行する。
【００６８】
電源が投入され、オートシーンセレクトボタン２４ｇが押下されるとオートシーンセレクトタスクが起動する。まずステップＳ１０１において、ＣＰＵ２２は１フレームの撮像処理を行う。次のステップＳ１０３では、撮像処理によって得られたデジタル画像信号に対してＣＰＵ２２は顔認識処理を実行し、次のステップＳ１０５では空間認識処理を実行する。次のステップＳ１０７ではパターン認識処理を実行する。次のステップＳ１０９では、ＣＰＵ２２は、顔認識処理、空間認識処理及びパターン認識処理の結果に基づいて、認識テーブルを参照して推奨する録音シーンを決定し、次のステップＳ１１１では、推奨する録音シーンに対応する録音機能のパラメータを設定して、推奨する録音シーンの画面をＬＣＤ２８に表示する。
【００６９】
次のステップＳ１１３では、推奨する録音シーンの画面が表示されてから所定時間内にメニューキー２４ａが操作され、カーソルキー２４ｄ及びセットボタン２４ｅの操作によりパラメータ変更の操作があったか否かを判別する。ステップＳ１１３においてＹＥＳと判別されると、ステップＳ１１５へ進みパラメータの変更を行った後、本タスクを終了する。また、ステップＳ１１３においてＮＯと判断された場合も、本タスクを終了する。
【００７０】
上述したように、本実施例によるＩＣレコーダ１０によれば、使用者はオートシーンセレクトボタン２４ｇを押下するだけで、ＩＣレコーダ１０自身で推奨する録音シーンを判別し、該録音シーンに対応する録音機能のパラメータを設定するため、より簡単にかつ好適な録音条件で録音をすることが出来る。また、撮像画像から推奨する録音シーンが判別されるため、判別の精度がより高くなる。
【００７１】
なお、本実施例のＩＣレコーダ１０では、オートシーンセレクト機能を実行するためのプログラムが予めフラッシュメモリ３６に格納されているが、ＩＣレコーダ１０と外部装置とを接続させ、使用者が無線通信や有線通信を介して外部装置が保持するプログラムを取得しても良い。
【００７２】
また、本実施例では本発明をＩＣレコーダ１０に適用させた例を説明したが、デジタルカメラ、ＰＤＡ、携帯電話及びスマートフォンでも適用可能である。携帯電話及びスマートフォンに適用される場合は、オートシーンセレクト機能を実行するためのプログラム全部または一部を、使用者がインターネット又は電話回線を介してダウンロードされても良い。
【００７３】
また、本発明がタッチパネル式のスマートフォンに適用される場合、操作部２４の各キー及びボタンの役割は、画面を軽く叩いてすぐ指を離すタップ操作や、指で画面を触れ続ける長押し操作や、画面を軽く払うよう指を動かすフリック操作や、画面に２本以上の指を接しさせ互いの指が離れる方向や近づく方向に動かすスワイプ操作などに対応させても良い。
【００７４】
また、ＳＤＲＡＭ３２に格納されたデジタル画像信号は、ＣＰＵ２２の制御によりＬＣＤ２８へ出力しても良い。ＬＣＤ２８は、図示しないＬＣＤドライバを含み、ＬＣＤドライバはＹ、Ｕ、Ｖ信号をＲＧＢ信号に変換して、ＬＣＤ２８にデジタル画像信号に基づく画像を表示させることが出来る。画像をＬＣＤ２８に表示させると消費電力が増加するため、使用者によるメニューキー２４ａ、カーソルキー２４ｄ及びセットボタン２４ｅの操作によって表示モードに設定したときのみ、表示を行ってもよい。
【００７５】
また、実施例では、モニタとしてＬＣＤ２８を採用した形態を説明したが、有機ＥＬなどの表示デバイスを採用しても良い。
【００７６】
また、顔認識処理、パターン認識処理及び空間認識処理において１フレーム分のデジタル画像信号を認識処理対象としたが、１０フレーム分を認識対象としても良い。この場合、認識精度の向上が期待される。
【００７７】
また、本実施例において顔認識処理から得られる顔のサイズの種類として６つ用意したが、顔のサイズや種類はこれに限らない。顔のサイズの種類が多ければ多いほど、推奨する録音シーンの判別精度が向上する。
【００７８】
また、本実施例においてマイク部４２に無指向性マイクロフォン４２Ｌ、４２Ｒを設けたが、更に指向性マイクロフォンを設けても良い。この場合、録音シーンに対して夫々設定されている録音機能のパラメータとして無指向性マイクロフォン４２Ｌ、４２Ｒと指向性マイクロフォンのオン／オフを追加しても良い。例えば、口述シーンに設定される録音機能のパラメータとして、無指向性マイクロフォン４２Ｌ、４２Ｒをオフ、指向性マイクロフォンをオンと設定される場合、より一層好適な録音が可能となる。
【符号の説明】
【００７９】
１０ ・・・ ＩＣレコーダ
１６ ・・・ レンズ群
１８ ・・・ ＣＭＯＳイメージャユニット
２０ ・・・ 信号処理回路
２２ ・・・ ＣＰＵ
２４ ・・・ 操作部
２８ ・・・ ＬＣＤ
３０ ・・・ 外部メモリカード制御回路
３２ ・・・ ＳＤＲＡＭ
３４ ・・・ 外部メモリカード
３６ ・・・ フラッシュメモリ
４０ ・・・ コーデック
４２ ・・・ マイク部
４６ ・・・ ＤＳＰ
【特許請求の範囲】
【請求項１】
被写体の光学像を撮像し画像信号として出力する撮像手段と、
前記画像信号に基づいてシーンを判別するシーン判別手段と、
音声を集音し録音する録音手段と、
前記シーン判別手段によって判別されたシーンに基づいて、録音するための録音条件を設定する設定手段とを備える、録音装置。
【請求項２】
前記録音手段を制御して前記設定手段によって設定された録音条件で録音する録音制御手段と、
前記設定手段によって設定された録音条件を変更する変更手段を更に備える、請求項１記載の録音装置。
【請求項３】
前記設定手段によって設定された録音条件を報知する報知手段を更に備えることを特徴とする、請求項１又は２記載の録音装置。
【請求項４】
前記シーン判別手段は、前記画像信号から物体の数及び又は物体と物体の離れ具合を検出してシーンを判別することを特徴とする請求項１乃至３のいずれかに記載の録音装置。
【請求項５】
前記シーン判別手段は、前記画像信号に基づいて人数及び又は人と人の離れ具合を検出してシーンを判別することを特徴とする請求項１乃至４のいずれかに記載の録音装置。
【請求項６】
前記シーン判別手段は、前記画像信号に含まれる顔信号に基づいて人数及び又は人と人の離れ具合を検出してシーンを判別することを特徴とする、請求項５記載の録音装置。
【請求項７】
前記設定手段において前記シーン判別手段によって判別されたシーンに基づいて設定された録音条件は、無指向性のマイクロフォン又は指向性のマイクロフォンを用いて音声を集音する条件を含むことを特徴とする、請求項１乃至６のいずれかに記載の録音装置。
【請求項８】
音声を集音し録音する録音装置において録音するための条件を設定する方法であって、
被写体の光学像を撮像し画像信号として出力するステップ、
前記画像信号に基づいてシーンを判別するステップ、
判別されたシーンに基づいて、録音するための録音条件を設定するステップから成る方法。
【請求項９】
被写体の光学像を撮像し画像信号として出力する撮像手段と音声を集音し録音する録音手段を備える電子機器のプロセッサに、
被写体の光学像を撮像し画像信号として出力するステップ、
前記画像信号に基づいてシーンを判別するステップ、
判別されたシーンに基づいて、録音するための録音条件を設定するステップを実行させるためのプログラム。
【請求項１】
被写体の光学像を撮像し画像信号として出力する撮像手段と、
前記画像信号に基づいてシーンを判別するシーン判別手段と、
音声を集音し録音する録音手段と、
前記シーン判別手段によって判別されたシーンに基づいて、録音するための録音条件を設定する設定手段とを備える、録音装置。
【請求項２】
前記録音手段を制御して前記設定手段によって設定された録音条件で録音する録音制御手段と、
前記設定手段によって設定された録音条件を変更する変更手段を更に備える、請求項１記載の録音装置。
【請求項３】
前記設定手段によって設定された録音条件を報知する報知手段を更に備えることを特徴とする、請求項１又は２記載の録音装置。
【請求項４】
前記シーン判別手段は、前記画像信号から物体の数及び又は物体と物体の離れ具合を検出してシーンを判別することを特徴とする請求項１乃至３のいずれかに記載の録音装置。
【請求項５】
前記シーン判別手段は、前記画像信号に基づいて人数及び又は人と人の離れ具合を検出してシーンを判別することを特徴とする請求項１乃至４のいずれかに記載の録音装置。
【請求項６】
前記シーン判別手段は、前記画像信号に含まれる顔信号に基づいて人数及び又は人と人の離れ具合を検出してシーンを判別することを特徴とする、請求項５記載の録音装置。
【請求項７】
前記設定手段において前記シーン判別手段によって判別されたシーンに基づいて設定された録音条件は、無指向性のマイクロフォン又は指向性のマイクロフォンを用いて音声を集音する条件を含むことを特徴とする、請求項１乃至６のいずれかに記載の録音装置。
【請求項８】
音声を集音し録音する録音装置において録音するための条件を設定する方法であって、
被写体の光学像を撮像し画像信号として出力するステップ、
前記画像信号に基づいてシーンを判別するステップ、
判別されたシーンに基づいて、録音するための録音条件を設定するステップから成る方法。
【請求項９】
被写体の光学像を撮像し画像信号として出力する撮像手段と音声を集音し録音する録音手段を備える電子機器のプロセッサに、
被写体の光学像を撮像し画像信号として出力するステップ、
前記画像信号に基づいてシーンを判別するステップ、
判別されたシーンに基づいて、録音するための録音条件を設定するステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−３３９２（Ｐ２０１３−３３９２Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３５２６６（Ｐ２０１１−１３５２６６）
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]