電子機器、及び、録音／撮影方法
【課題】録音中に代表的な静止画像を自動的に撮影及び記録する。
【解決手段】スクリーン上の映像が撮影領域内に収まるように、撮像部を備えた録音装置を録音現場に設置し、音声信号の記録を開始する。周期的に撮像部に撮影を行わせ、得られたテンポラリ画像を一時的に保存する。撮像部の出力に基づき、撮影領域内において映像（スライドショー用の映像）が表示されているスライド領域を検出すると共に、スライドタイトルが表示されているタイトル領域を検出する。その後、タイトル領域内における文字の変化を監視し、文字の変化が認められた場合、変化の直前に得られたテンポラリ画像を対象静止画像として取得する。対象静止画像の画像信号は、文字の変化タイミングを基準とした区間の音声信号に関連付けられて記録媒体に記録される。
【解決手段】スクリーン上の映像が撮影領域内に収まるように、撮像部を備えた録音装置を録音現場に設置し、音声信号の記録を開始する。周期的に撮像部に撮影を行わせ、得られたテンポラリ画像を一時的に保存する。撮像部の出力に基づき、撮影領域内において映像（スライドショー用の映像）が表示されているスライド領域を検出すると共に、スライドタイトルが表示されているタイトル領域を検出する。その後、タイトル領域内における文字の変化を監視し、文字の変化が認められた場合、変化の直前に得られたテンポラリ画像を対象静止画像として取得する。対象静止画像の画像信号は、文字の変化タイミングを基準とした区間の音声信号に関連付けられて記録媒体に記録される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、録音機能と撮影機能を併せ持つ電子機器、及び、該電子機器に利用可能な録音／撮影方法に関する。
【背景技術】
【０００２】
近年、ＩＣレコーダとも呼ばれる録音装置にカメラが搭載されていることも多く、特に、プレゼンテーション等の発表内容の録音用途にカメラ付きＩＣレコーダが利用されることが多い。プレゼンテーション等では、一般的に、スクリーン等に投影された映像を出席者に示しながら発表がなされる。
【０００３】
プレゼンテーション等における音声信号を記録する際、カメラ付きＩＣレコーダのユーザは、音声による発表内容にマッチしたスライド等の映像を撮影するべく、適切なタイミングにシャッタ操作を成す（例えば下記特許文献１参照）。
【０００４】
他方、ＩＣレコーダには、無音区間スキップ機能が備えられていることが多い。無音区間スキップ機能では、音声信号レベルの小さな無音区間において録音が自動的に休止され、有音区間においてのみ録音が成される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２３０１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、カメラ付きＩＣレコーダのユーザは適切なタイミングにシャッタ操作を成すことで、音声による発表内容にマッチしたスライド等の映像を撮影することができる。しかしながら、手動によるシャッタ操作の実行は煩わしいこともあるし、撮り忘れなどのミスも発生しうる。また、手動によるシャッタ操作音が記録音声信号に混入することもある。プレゼンテーション等の発表の様子の全区間を動画像として記録したならば、重要な映像情報の取り忘れに関する懸念はなくなるが、その場合には、必要な記録容量が大きくなって長期間の録音及び撮影が難しくなる。
【０００７】
そこで本発明は、音声信号の記録を行う際、画像撮影に値すると推測されるタイミングを自動検出して静止画像撮影を行うことのできる電子機器及び録音／撮影方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る電子機器は、撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備え、記録媒体に対する前記音声信号の記録中に前記撮像部を用いて対象静止画像を取得及び記録可能な電子機器において、前記撮影領域内における文字の変化又は出現に応答して前記撮像部の出力に基づく前記対象静止画像を取得する主制御部を更に備えたことを特徴とする。
【０００９】
録音中に画像撮影に値するタイミング（状況の移り変わりタイミング等）をユーザ操作に拠らず自動的に判別して当該タイミングにおける映像情報を撮影及び記録することができたならば、ユーザの利便性が向上するものと思われる。プレゼンテーション等の録音現場において、文字の変化又は出現タイミングは、録音現場の状況の移り変わりを示す重要なタイミング（画像撮影に値するタイミング）であると推測される。従って、文字の変化又は出現に応答して対象静止画像を取得するようにすれば、画像撮影に値すると推測されるタイミングの映像情報を音声信号と共に記録することができ、ユーザの利便性向上が期待される。
【００１０】
具体的には例えば、前記主制御部は、前記対象静止画像を、前記撮影領域内における文字の変化又は出現のタイミングを基準とした区間の音声信号に関連付けて前記記録媒体に記録させてもよい。
【００１１】
これにより、音声信号と対象静止画像を関連付けて読み出す又は再生するといった利用が可能となる。
【００１２】
また具体的には例えば、前記撮影領域内における文字の変化又は出現を検出する検出部を当該電子機器に更に設けてもよく、前記検出部は、前記撮像部の出力に基づき前記撮影領域内において所定の画像特徴を有する閉領域を検出し、前記閉領域内において前記文字の変化又は出現を検出しても良い。
【００１３】
これにより、閉領域としてプレゼンテーション用の映像投影領域などを検出し、その領域内で文字の変化又は出現を検出することができる。プレゼンテーション用の映像投影領域などにおける文字の変化又は出現タイミングは、録音現場の状況の移り変わり（例えばスライドの変化）を示す重要なタイミングであると言える。従って、検出閉領域内において文字の変化又は出現を検出するようにすれば、画像撮影に値すると推測されるタイミングの映像情報を音声信号と共に記録することができ、ユーザの利便性向上が期待される。
【００１４】
また例えば、前記主制御部は、前記撮影領域内における文字の変化又は出現に応答して前記撮影領域内に所定物体が存在しているか否かを前記撮像部の出力に基づいて判断し、前記撮影領域内に前記所定物体が存在していると判断した場合、前記撮像部の出力に基づく、撮影時刻が互いに異なる複数の静止画像を用いて前記対象静止画像を生成しても良い。
【００１５】
これにより、境界タイミングの前後において撮影領域内に所定物体が存在していた場合においても、例えば、所定物体除去の成された対象静止画像の生成及び記録を期待することができる。
【００１６】
また例えば、前記撮像部の撮影方向を変化させる駆動部を当該電子機器に更に設けてもよい。そして例えば、前記主制御部は、前記撮影領域内における文字の変化又は出現に応答して前記駆動部を用いて前記撮影方向を変化させ、これによって前記撮影方向が互いに異なる複数の静止画像を前記撮像部から取得し、前記複数の静止画像を合成することで前記対象静止画像を生成してもよい。
【００１７】
これにより、発表者等の音源に録音装置を相応に近づけて設置しており、これに伴って、撮影の必要な領域全体を一度に撮影領域内に収めることができない状況下においても、撮影の必要な領域全体の画像を得ることが可能となる。
【００１８】
また例えば、前記対象静止画像を表示する表示部と、前記表示部に表示された前記対象静止画像を選択する操作を受ける操作部とを当該電子機器に更に設けてもよい。そして例えば、前記主制御部は、前記操作が成されたとき、前記対象静止画像に関連付けられた前記音声信号を再生する再生制御部を有していてもよい。
【００１９】
これにより、ユーザは、表示部の表示内容を参照して、視聴を望む記録区間を素早く選択することが可能となる。
【００２０】
また具体的には例えば、前記主制御部は、前記撮影領域内における文字の変化又は出現のタイミングを境界タイミングとして用い、前記境界タイミングを基準としたタイミングにおける前記撮像部の出力に基づき、前記対象静止画像を取得してもよい。
【００２１】
これにより、文字の変化又は出現に応答して対象静止画像を取得することができる。
【００２２】
本発明に係る他の電子機器は、撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備え、前記音声信号を記録可能であるとともに前記撮像部を用いて対象静止画像を取得及び記録可能な電子機器において、前記音声信号に基づき無音区間から有音区間への切り替わりに応答して前記音声信号を記録媒体に記録させる一方で、前記無音区間から前記有音区間への切り替わり又は前記有音区間から前記無音区間の次の無音区間への切り替わりに応答して前記撮像部の出力に基づく前記対象静止画像を取得する主制御部を更に備えたことを特徴とする。
【００２３】
無音区間において次々と画像撮影を行って記録する必要性は少なく、一方で、有音区間において多数の画像撮影及び記録を制限なく行うと必要な記録容量が増大する。他方、録音現場において、無音区間と有音区間との間の切り替わりタイミングは、録音現場の状況の移り変わりを示す重要なタイミング（画像撮影に値するタイミング）であると推測される。従って、上記の切り替わりに応答して対象静止画像を取得するようにすれば、画像撮影に値すると推測されるタイミングの映像情報を音声信号と共に記録することができ、ユーザの利便性向上が期待される。
【００２４】
本発明に係る録音／撮影方法は、撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備えた電子機器に用いられる方法であって、且つ、記録媒体に対する前記音声信号の記録中に前記撮像部を用いて対象静止画像を取得及び記録する録音／撮影方法において、前記撮影領域内における文字の変化又は出現に応答して前記撮像部の出力に基づく前記対象静止画像を取得することを特徴とする。
【００２５】
本発明に係る他の録音／撮影方法は、撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備えた電子機器に用いられる方法であって、且つ、前記音声信号の記録とともに前記撮像部を用いて対象静止画像を取得及び記録する録音／撮影方法において、前記音声信号に基づき無音区間から有音区間への切り替わりに応答して前記音声信号を記録媒体に記録させる一方で、前記無音区間から前記有音区間への切り替わり又は前記有音区間から前記無音区間の次の無音区間への切り替わりに応答して前記撮像部の出力に基づく前記対象静止画像を取得することを特徴とする。
【発明の効果】
【００２６】
本発明によれば、音声信号の記録を行う際、画像撮影に値すると推測されるタイミングを自動検出して静止画像撮影を行うことのできる電子機器及び録音／撮影方法を提供することが可能である。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施形態に係る録音装置の概略全体ブロック図である。
【図２】プロジェクタを用いてスクリーンに映像が投影される様子を示した図（ａ）と、スライド領域とタイトル領域との関係を示す図（ｂ）である、
【図３】本発明の第１実施形態に係る録音装置の一部ブロック図である。
【図４】時系列に並ぶ複数の静止画像を示す図である。
【図５】スライドショー用の映像作成に利用される複数のテンプレートを示す図である。
【図６】本発明の第１実施形態に係る記録動作例のフローチャートである。
【図７】本発明の第１実施形態に係り、要素区間と、境界タイミングと、テンポラリ画像との関係を示す図である。
【図８】本発明の第１実施形態に係り、境界タイミング前後のスクリーンの表示内容例を示す図である。
【図９】本発明の第１実施形態に係り、境界タイミング前後のスクリーンの表示内容例を示す図である。
【図１０】本発明の第２実施形態に係り、スクリーンの前方に発表者が位置している状況を示す図である。
【図１１】本発明の第２実施形態に係る複数の静止画像を示す図である。
【図１２】本発明の第２実施形態に係る合成結果画像を示す図である。
【図１３】本発明の第３実施形態に係る撮像部及び駆動部を示す図である。
【図１４】本発明の第３実施形態に係り、駆動区間と複数の静止画像を示す図である。
【図１５】本発明の第３実施形態に係り、駆動区間中の撮影領域を説明するための図である。
【図１６】本発明の第３実施形態に係り、複数の静止画像が合成される様子を示す図である。
【図１７】本発明の第４実施形態に係る録音装置の一部ブロック図である。
【図１８】本発明の第４実施形態に係り、無音区間と有音区間との関係を示す図である。
【図１９】本発明の第４実施形態に係り、無音区間と有音区間との関係を示す図である。
【図２０】本発明の第５実施形態に係り、音声信号の記録区間と対象静止画像との関係を示す図である。
【図２１】本発明の第５実施形態に係り、主制御部内に再生制御部が設けられている様子を示す図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、或る静止画像を記号ＩＭ［ｉ］によって表す場合、静止画像ＩＭ［ｉ］を、例えば画像ＩＭ［ｉ］と略記する場合もあり、対象静止画像取得部を符号５５によって参照する場合、対象静止画像取得部５５を取得部５５と略記する場合もある。
【００２９】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る録音装置１の概略全体ブロック図である。録音装置１は、画像の撮影及び記録機能をも備えた録音装置であって、撮像部１１と、マイク部１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、スピーカ部１８を備えている。尚、表示部１５及びスピーカ部１８は、録音装置１の外部機器（不図示）に設けられたものである、と解釈しても良い。
【００３０】
撮像部１１は、複数枚のレンズ及び絞りから成る光学系と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る固体撮像素子と、を備える。撮像部１１において、固体撮像素子は、光学系を介して入射した撮影領域内の被写体の光学像を光電変換し、該光電変換によって得られた電気信号を画像信号として主制御部１３に出力する。このように、撮像部１１は、固体撮像素子を用いて撮影領域内の被写体の撮影を行い、撮影によって得られた撮影領域内の画像信号を出力する。撮影領域とは、撮像部１１の撮影における画角内に収まる実空間上の領域を指す。撮影領域を、撮像部１１の視野と呼ぶこともできる。撮像部１１の撮影によって得られた画像である、撮像部１１の出力画像信号によって表現される二次元画像を撮影画像と呼ぶ。
【００３１】
マイク部１２は、１又は複数のマイクロホンから成る。マイク部１２は、録音装置１の周囲からマイク部１２に到来する音を１又は複数のマイクロホンを用いて収音し、収音によって得られた音声信号を主制御部１３に出力する。より具体的には、マイク部１２において、１又は複数のマイクロホンは、録音装置１の周囲からマイク部１２に到来する音を電気信号に変換し、該電気信号を音声信号として主制御部１３に出力する。尚、本明細書における用語「音声信号」を「音響信号」と読み替えても良い。
【００３２】
主制御部１３は、ＣＰＵ（Central Processing Unit）等から成り、録音装置１内の各部位の動作を統括的に制御する。また、主制御部１３は、撮像部１１の出力画像信号に対して様々な画像信号処理（デジタル化、信号増幅、ノイズ低減処理、デモザイキング処理、信号圧縮処理など）を施すことができると共にマイク部１２の出力音声信号に対して様々な音声信号処理（デジタル化、信号増幅、ノイズ低減処理、指向性制御用の処理、信号圧縮処理など）を施すことができる。
【００３３】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、録音装置１内で生成された各種情報（画像信号、音声信号を含む）を一時的に記憶する。表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮像部１１による撮影画像や記録媒体１６の記録画像などを表示する。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部１５における表示及び表示画面を指すものとする。記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、各種情報（画像信号、音声信号を含む）を記録する。操作部１７は、機械式ボタン若しくはタッチパネル、又は、それらの組み合わせから成り、ユーザからの各種操作を受け付ける。スピーカ部１８は、１又は複数のスピーカから成り、主制御部１３の制御の下、任意の音声信号を音として出力する。
【００３４】
尚、本明細書では、或る画像の画像信号のことを単に画像と言うこともある。従って、例えば、或る静止画像の生成、取得、記録、加工、変形、編集又は保存とは、その静止画像の画像信号の生成、取得、記録、加工、変形、編集又は保存を意味する。
【００３５】
本実施形態では、録音装置１を用いて、録音現場における音声信号を記録しつつ、録音現場にて示された映像を静止画像として撮影及び記録することを想定する。録音現場では、例えばスライドショー形式による映像を利用して、プレゼンテーション、会議、授業等が行われる。ここでは、スライドショー形式による映像が、図２（ａ）に示す如く、プロジェクタＰＪを用いてスクリーンＳＲに映像が投影されることを想定する。映像が投影された、スクリーンＳＲ上の領域をスライド領域と呼ぶ。図２（ａ）において、ドットで満たされた部分は、スクリーンＳＲの全体領域の内、スライド領域以外の部分（比較的暗い部分）を表している（後述の図８（ａ）等においても同様）。スライド領域は、図２（ａ）のようにスクリーンＳＲの全体領域の一部でありうるが、スクリーンＳＲの全体領域と一致していてもよい。
【００３６】
スライド領域内の特定部分には、スクリーンＳＲ上に示される映像のタイトルであるスライドタイトルが示される。図２（ａ）の例において、スライドタイトルは、「２．アイディアの概要」という文字列である。図２（ｂ）に示す如く、スライド領域の一部である、スライドタイトルが示される領域をタイトル領域と呼ぶ。
【００３７】
ユーザは、撮像部１１の撮影領域内に、スクリーンＳＲの全体が収まるように或いは少なくともスライド領域の全体が収まるように、録音装置１を録音現場に設置する。録音装置１は、ユーザの操作によらず、特徴的なタイミングにおけるスクリーンＳＲの映像を撮影及び記録する特徴的機能を有する。
【００３８】
図３に、この特徴的機能に特に関与する、録音装置１の一部ブロック図を示す。一時保存部５１を、例えば内部メモリ１４にて実現することができる。符号５２〜５６によって参照される各部位を、図１の主制御部１３に設けておくことができる。但し、特定領域検出部５２、文字検出部５３及び境界タイミング設定部５４の全部又は一部は、録音装置１内であって且つ主制御部１３外に設けられていても良い。
【００３９】
主制御部１３は、撮像部１１の撮影動作を制御することにより、任意の区間において（特に記録媒体１６への音声信号の記録区間において）撮像部１１に周期的に静止画像の撮影を行わせることができ、一時保存部５１は、撮像部１１の出力に基づく静止画像の画像信号を一時的に保存する。一時保存部５１は、複数の静止画像についての画像信号を一時的に保存することができる。一時保存部５１に保存される静止画像を特にテンポラリ画像と呼ぶ。新たに得られたテンポラリ画像が順次一時保存部５１に保存されるように、一時保存部５１に保存されたテンポラリ画像の枚数が所定の上限枚数に達した場合、撮影時刻が比較的古いテンポラリ画像は、撮影時刻がより古いものから順に一時保存部５１より削除される。
【００４０】
説明の便宜上、撮像部１１による周期的な静止画像撮影によって得られた１つ１つの静止画像を、記号ＩＭ［ｉ］にて表す（図４参照）。ｉは自然数であり、ｉ及びｊが互いに異なる自然数である場合、静止画像ＩＭ［ｉ］及びＩＭ［ｊ］は、互いに異なる撮影時刻に撮影された静止画像である。静止画像ＩＭ［ｉ＋１］は、静止画像ＩＭ［ｉ］の次に撮影部１１に撮影された静止画像である。
【００４１】
撮像部１１の出力画像信号は、一時保存部５１を介して、或いは、一時保存部５１を介することなく、特定領域検出部５２、文字検出部５３、境界タイミング設定部５４及び対象静止画像取得部５５に与えられる。
【００４２】
特定領域検出部５２は、撮像部１１の出力画像信号に基づき、撮影領域内の特定の領域を抽出及び検出する。具体的には、特定領域検出部５２は、撮像部１１の出力画像信号に基づき、撮影領域内において所定の画像特徴を有した特定閉領域を検出する。本実施形態では、スライド領域が特定閉領域として検出される。従って、所定の画像特徴はスライド領域の画像特徴に相当する。例えば、スライド領域内の輝度が比較的高いという画像特徴を利用してスライド領域を検出することができる（詳細は後述）。
【００４３】
文字検出部５３は、特定領域検出部５２によって検出されたスライド領域中に存在する文字を、撮像部１１の出力画像信号に基づいて検出する。画像信号を用いて撮影領域内に存在する文字を検出する公知の方法を、文字検出部５３は利用することができる。例えば、文字検出部５３は、テンプレートマッチング法を用いて、撮像部１１の出力画像信号から撮影領域内に存在する文字を検出することができる。
【００４４】
特定領域検出部５２は、例えば、以下に示す第１〜第３スライド領域検出方法の何れかを用いて、或いは、第１〜第３スライド領域検出方法の内の複数のスライド領域検出方法を組み合わせて用いて、スライド領域を検出することができる。
【００４５】
第１スライド領域検出方法を説明する。第１スライド領域検出方法において、特定領域検出部５２は、撮影画像の輝度レベルに基づき、撮影画像の全体画像領域を、撮影画像の中央付近に存在し且つ比較的高い輝度レベルを有する第１領域と、第１領域の外周を取り囲み且つ比較的低い輝度レベルを有する第２領域とに分割し、第１領域をスライド領域として検出する。尚、撮影画像は撮影領域内の画像を表しているため、撮影画像の一部領域をスライド領域として検出することは、撮影領域の一部領域をスライド領域として検出することと共通の意義を有する。後述のタイトル領域の検出等についても同様である。
【００４６】
第２スライド領域検出方法を説明する。スクリーンＳＲに投影される映像は、パーソナルコンピュータ上で動作するソフトウェアであって且つスライドショー用の映像作成に適したソフトウェアを用いて作成されることが多い。そして、そのようなソフトウェアには、スライドショー用の映像作成に利用するためのテンプレートが用意されている。図５（ａ）〜（ｄ）にテンプレートの例を示す。テンプレートの多くは、矩形枠の外形を有し且つ矩形枠の左上側にスライドタイトルが示される領域を有している。第２スライド領域検出方法では、上記ソフトウェアで用意されているテンプレートの映像情報をテンプレート情報として予め特定領域検出部５２に与えておき、特定領域検出部５２が撮像部１１の出力画像信号とテンプレート情報との間でマッチングをとることによりスライド領域を検出する。テンプレート情報は、例えば、上記ソフトウェアで用意されている複数のテンプレートの夫々についての、形状、色彩及び模様等を示す。
【００４７】
第３スライド領域検出方法を説明する。第３スライド領域検出方法では、特定領域検出部５２及び文字検出部５３が協働してスライド領域を検出する。この場合、文字検出部５３は、撮像部１１の出力画像信号に基づき撮影領域内に存在する文字を検出し、検出した文字の中から、スライドタイトルを形成する文字列を抽出する。
例えば、スライドタイトルを形成する文字列には、特定の記号（セクション記号“§”など）又は数値番号が含まれていることが多いため、文字検出部５３は、撮影領域内に存在する文字の中から特定の記号又は数値番号を含んだ文字列をスライドタイトルとして抽出することができる。また例えば、スライドタイトルを形成する各文字は比較的大きいため、文字検出部５３は、撮影領域内に存在する文字の中から比較的大きな文字サイズを有する文字列を抽出することでスライドタイトルを抽出しても良い。また例えば、スライドタイトルを形成する各文字の色はスライドタイトル以外の文字の色と異なることが多いため、文字検出部５３は、撮影領域内に存在する各文字の色を考慮してスライドタイトルを抽出しても良い。
特定領域検出部５２は、文字検出部５３によって抽出されたスライドタイトルを、スライド領域の左上に位置すべきスライドタイトルであると判断し、その判断内容を用いてスライド領域を検出する。具体的には例えば、特定領域検出部５２は、文字検出部５３によって抽出されたスライドタイトルを取り囲む閉領域を、公知の領域分割法などを用いて、スライド領域として撮影画像の全体画像領域から抽出及び検出することができる。この検出では、スライド領域として抽出される閉領域の左上側にスライドタイトルが存在している可能性が高いことが考慮される。
【００４８】
特定閉領域としてのスライド領域の検出後、特定領域検出部５２又は文字検出部５３は、特定閉領域内に監視対象領域を設定する。特定領域検出部５２又は文字検出部５３は、特定閉領域内における所定の位置に監視対象領域を設定することができる。例えば、特定領域検出部５２又は文字検出部５３は、監視対象領域が真のタイトル領域と一致することを目指して監視対象領域を設定する。従って例えば、特定閉領域として検出されたスライド領域の内、左上側に位置する領域が監視対象領域に設定される。より具体的には例えば、監視対象領域は、特定閉領域として検出されたスライド領域を水平及び垂直方向に４分割し、この４分割で得られた４つの分割領域の内、左上側に位置する分割領域を監視対象領域に設定する。但し、特定閉領域として検出されたスライド領域の全体を、監視対象領域に設定することも可能である。以下の説明では、特に記述なき限り、監視対象領域と真のタイトル領域とが一致していると考える。
【００４９】
文字検出部５３による文字の検出結果を、以下単に文字検出結果とも言う。文字検出結果には、検出された文字の位置、種類等を示す情報が含まれている。文字検出部５３による文字の検出は周期的に行われており、文字検出結果は順次、境界タイミング設定部５４に与えられる。
【００５０】
境界タイミング設定部５４は、順次与えられる文字検出結果に基づき境界タイミングを設定する。具体的には例えば、境界タイミング設定部５４は、順次与えられる文字検出結果に基づき、監視対象領域と一致するタイトル領域内における文字の変化を検出し、当該変化が検出されたタイミングを境界タイミングに設定する。タイトル領域内における文字の変化とは、スライドタイトルを形成する文字列の内の一部の文字の変化も含む。尚、境界タイミングの設定は、境界タイミングの検出とも言える。これに伴って、境界タイミング設定部を境界タイミング検出部と読み替えることもできる。また、タイミングを時刻と読み替えることもできる。
【００５１】
対象静止画像取得部５５は、境界タイミングを基準としたタイミングにおける撮像部１１の出力画像信号から対象静止画像を取得する。対象静止画像の取得方法の例については後述する。
【００５２】
記録制御部５６は、記録媒体１６による記録動作を制御し、任意の区間における音声信号及び任意の画像の画像信号を記録媒体１６に記録させることができる。特に、記録制御部５６は、記録媒体１６に対する音声信号の記録中において、境界タイミングを基準とした区間の音声信号と対象静止画像の画像信号とを互いに関連付けた状態で記録媒体１６に記録させることができる。
【００５３】
このような記録を実現する動作の例として、以下に、第１〜第３記録動作例を説明する。第１〜第３記録動作例の中には、上述の動作に対する変形例も含まれうる。
【００５４】
［第１記録動作例］
第１記録動作例を説明する。図６は、第１記録動作例の手順を表すフローチャートである。図６のフローチャートに沿って第１記録動作例を説明する。
【００５５】
まず、ユーザは、撮像部１１の撮影領域内にスクリーンＳＲの全体が収まるように或いは少なくともスライド領域の全体が収まるように録音装置１を録音現場に設置する。その設置後、ステップＳ１１において、録音開始指示に従い、記録制御部５６は、記録媒体１６に対する、マイク部１２の出力音声信号の記録を開始する（即ち録音を開始する）。ユーザは操作部１７に対する所定操作により、録音装置１に録音開始指示を与えることができる。一方で、ステップＳ１２において、テンポラリ画像の周期的な撮影が開始されると共に、上述した方法に従って、一時保存部５１に対するテンポラリ画像の保存が開始される。
【００５６】
続くステップＳ１３において、スライド領域と一致すべき特定閉領域の検出が成されると共にタイトル領域と一致すべき監視対象領域の設定がなされる。監視対象領域の設定後、ステップＳ１４において、境界タイミング設定部５４は、順次得られる文字検出結果に基づき、監視対象領域（タイトル領域）内における文字に変化が発生したか否かを監視する。監視対象領域（タイトル領域）内における文字に変化が発生した場合には、ステップＳ１４からステップＳ１５への遷移が発生するが、そうでない場合には、ステップＳ１４の監視処理が繰り返し実行される。境界タイミング設定部５４により、監視対象領域（タイトル領域）内における文字に変化が発生したタイミングは、境界タイミングに設定される。
【００５７】
ステップＳ１５において、取得部５５は、境界タイミングを基準としたタイミングにおける、撮像部１１の出力画像信号に基づく静止画像を対象静止画像として取得し、記録制御部５６は、その対象静止画像の画像信号を、境界タイミングを基準とした区間の音声信号に関連付けた上で記録媒体１６に記録させる。その後、ステップＳ１４に戻り、音声信号の記録が終了するまで、上述のステップＳ１４及びＳ１５の処理が繰り返し実行される。ユーザは、操作部１７に対する所定操作により、録音装置１に対して音声信号の記録終了を指示することができる。
【００５８】
画像信号と音声信号の関連付け方法として、公知の任意の方法を利用可能である。例えば、音声信号を格納する音声ファイルと対象静止画像の画像信号を格納する画像ファイルを記録媒体１６に記録する際、音声ファイルのヘッダ領域に対象静止画像の画像ファイルのファイル名を保存しておくことにより、或いは、画像ファイルのヘッダ領域に音声ファイルのファイル名を保存しておくことにより、或いは、それらの組み合わせによって、上記関連付けを実現できる。
【００５９】
図７を参照して、境界タイミングと対象静止画像との関係を説明する。図７において、タイミングＴＡ、ＴＢ及びＴＣは、夫々、第１、第２、第３番目の境界タイミングである。記録媒体１６に対する音声信号の記録が成される全区間（即ち全録音区間）の一部であって、且つ、互いに隣接する境界タイミング間の区間を、要素区間と呼ぶ。境界タイミングＴＡ及びＴＢ間の区間及び境界タイミングＴＢ及びＴＣ間の区間の夫々は、要素区間の例である。境界タイミングＴＡ及びＴＢ間の要素区間を記号ＰＡＢにて参照し、境界タイミングＴＢ及びＴＣ間の要素区間を記号ＰＢＣにて参照する。また、境界タイミングＴＢの直前に一時保存部５１に保存されたテンポラリ画像が静止画像ＩＭ［ｎ］であるとする（ｎは２以上の整数）。そうすると、境界タイミングＴＢの直後に一時保存部５１に保存されるテンポラリ画像は静止画像ＩＭ［ｎ＋１］である。
【００６０】
取得部５５は、境界タイミングの直前又は直後の撮影によって得られたテンポラリ画像を対象静止画像として取得することができ、記録制御部５６は、境界タイミングの直前又は直後の要素区間の音声信号に対して対象静止画像を関連付けた上で当該対象静止画像の画像信号を記録媒体１６に記録させることができる。
【００６１】
典型的には例えば、境界タイミングＴＢに注目した場合、
取得部５５は、テンポラリ画像ＩＭ［ｎ］を対象静止画像として取得し、記録制御部５６は、対象静止画像ＩＭ［ｎ］の画像信号と要素区間ＰＡＢの音声信号を互いに関連付けて記録媒体１６に記録させる。但し例えば、取得部５５は、テンポラリ画像ＩＭ［ｎ−ｎＡ］又はＩＭ［ｎ＋ｎＡ］を対象静止画像として取得することが可能であると共に、記録制御部５６は、対象静止画像ＩＭ［ｎ−ｎＡ］又はＩＭ［ｎ＋ｎＡ］の画像信号と要素区間ＰＡＢの音声信号を互いに関連付けて記録媒体１６に記録させることも可能である。ｎＡは自然数であって、例えば１である。
【００６２】
或いは例えば、境界タイミングＴＢに注目した場合、
取得部５５は、テンポラリ画像ＩＭ［ｎ＋１］を対象静止画像として取得し、記録制御部５６は、対象静止画像ＩＭ［ｎ＋１］の画像信号と要素区間ＰＢＣの音声信号を互いに関連付けて記録媒体１６に記録させる。但し例えば、取得部５５は、テンポラリ画像ＩＭ［ｎ＋１−ｎＡ］又はＩＭ［ｎ＋１＋ｎＡ］を対象静止画像として取得することが可能であると共に、記録制御部５６は、対象静止画像［ｎ＋１−ｎＡ］又はＩＭ［ｎ＋１＋ｎＡ］の画像信号と要素区間ＰＢＣの音声信号を互いに関連付けて記録媒体１６に記録させることも可能である。
【００６３】
境界タイミングＴＢに対応する対象静止画像の記録後、要素区間ＰＡＢ内に得られた各テンポラリ画像を一時保存部５１から削除することができる。境界タイミングＴＢに注目して対象静止画像の取得方法及び関連付け方法を説明したが、境界タイミングＴＢ以外の境界タイミングについても同様の方法が適用される。
【００６４】
尚、時系列に並ぶ複数のテンポラリ画像は動画像の一種であるとも考えることができ、各テンポラリ画像は動画像を形成するフレームであるとも考えることができる。そのような考えの下では、取得部５５は、一時保存された動画像のフレームの中から対象静止画像を抽出しているとも言える。
【００６５】
タイトル領域内における文字の変化はスライドタイトルの変化であることが予想され、スライドタイトルの変化はスクリーンＳＲの表示内容の全体の変化を伴うことが多い。図８（ａ）に、要素区間ＰＡＢにおけるスクリーンＳＲの表示内容の例を示し、図８（ｂ）に、要素区間ＰＢＣにおけるスクリーンＳＲの表示内容の例を示す。
【００６６】
［第２記録動作例］
第２記録動作例を説明する。第２記録動作例及び後述の第３記録動作例は、第１記録動作例を基礎とする記録動作例であり、第２及び第３記録動作例の説明において特に述べない事項に関しては、矛盾なき限り、第１記録動作例において説明した事項が第２及び第３記録動作例にも適用される。
【００６７】
第２記録動作例では、テンポラリ画像を比較的低い解像度にて撮影しておくことで使用メモリサイズを抑制し、一方で、境界タイミングの検出後、比較的高い解像度にて静止画像撮影を行うことで対象静止画像を取得する。即ち、境界タイミングＴＢに注目した場合、取得部５５は、境界タイミングＴＢの検出後、速やかに撮像部１１に静止画像撮影を行わせ、これによって撮像部１１から出力された画像信号に基づく高解像度静止画像ＨＲＳＬを対象静止画像として取得する。この際、高解像度静止画像ＨＲＳＬの解像度がテンポラリ画像の解像度よりも高くなるように、取得部５５は撮像部１１を制御することができる。例えば、撮像部１１の固体撮像素子の受光画素信号の一部のみを利用してテンポラリ画像を取得する一方で（即ち、所謂間引き読み出しを利用してテンポラリ画像を取得する一方で）、撮像部１１の固体撮像素子の受光画素信号の全部を利用して高解像度静止画像ＨＲＳＬを取得すると良い。
【００６８】
記録制御部５６は、高解像度静止画像ＨＲＳＬとしての対象静止画像の画像信号と要素区間ＰＢＣの音声信号を互いに関連付けて記録媒体１６に記録させる。但し、記録制御部５６は、高解像度静止画像ＨＲＳＬとしての対象静止画像の画像信号を要素区間ＰＡＢの音声信号に関連付けて記録媒体１６に記録させることも可能である。
【００６９】
［第３記録動作例］
第３記録動作例を説明する。第３記録動作例では、監視対象領域をタイトル領域に制限することなく、スライド領域の全体にまで広げる。即ち例えば、特定閉領域として検出されたスライド領域の全体を監視対象領域に設定する。そして、図６のステップＳ１４において、境界タイミング設定部５４は、順次得られる文字検出結果に基づき、監視対象領域内において何らかの文字が新たに出現したか否かを監視する。監視対象領域内において何らかの文字が新たに出現したと判断された場合には、ステップＳ１４からステップＳ１５への遷移が発生するが、そうでない場合には、ステップＳ１４の監視処理が繰り返し実行される。第３記録動作例において、境界タイミング設定部５４は、監視対象領域内において何らかの文字が新たに出現したタイミングを境界タイミングに設定する。境界タイミングの設定に伴う対象静止画像の取得方法及び関連付け方法は、第１又は第２記録動作例で述べたものと同様である。
【００７０】
図９（ａ）及び（ｂ）に、夫々、第３記録動作例にて想定される、要素区間ＰＡＢにおけるスクリーンＳＲの表示内容の例及び要素区間ＰＢＣにおけるスクリーンＳＲの表示内容の例を示す。尚、第３記録動作例を、上述の第１記録動作例と組み合わせて実施することもできる。
【００７１】
上述したように（図８（ａ）及び（ｂ）参照）、タイトル領域内の文字の変化はスライドタイトルの変化であることが予想され、スライドタイトルの変化はスクリーンＳＲの表示内容の全体の変化を伴うことが多い。故に、タイトル領域内の文字の変化タイミングは、録音現場の状況の移り変わりを示す重要なタイミングであると言える。また、図９（ａ）及び（ｂ）に示されるような文字の出現タイミングも、録音現場の状況の移り変わりを示す重要なタイミングであると言える。
【００７２】
これを考慮し、本実施形態では、文字の変化又は出現タイミングである境界タイミングを画像撮影に値するタイミングであると推測し、境界タイミングの前後の撮影画像を、境界タイミングに対応する要素区間を代表する画像（対象静止画像）として取得及び記録する。換言すれば、監視対象領域内において文字の変化又は出現を検出すると、その変化又は出現に応答して撮像部１１の出力に基づき対象静止画像を取得及び記録する。これにより、手動シャッタ操作に頼ることなく代表的な画像を取得及び記録することができ、ユーザの利便性が向上する。また、手動によるシャッタ操作音が記録音声信号に混入するおそれもなくなる。加えて、境界タイミングに対応して取得された対象静止画像の画像信号を、境界タイミングに対応する要素区間の音声信号と関連付けて記録しておくことで、再生時にそれらを関連付けて読み出す又は再生するといったことが可能となる。
【００７３】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態では、録音装置１の他の使用形態を説明する。第２実施形態及び後述の第３〜第５実施形態は、第１実施形態を基礎とする実施形態であり、第２〜第５実施形態の説明において特に述べない事項に関しては、矛盾なき限り、第１実施形態において説明した事項を第２〜第５実施形態にも適用することができる。第２〜第５実施形態に係る録音装置１の概略全体ブロック図は図１のそれと同様である。尚、以下、監視対象領域内の文字に変化が発生したタイミングを文字変化タイミングと呼び、監視対象領域内において何らかの文字が新たに出現したタイミングを文字出現タイミングと呼ぶ。
【００７４】
第２実施形態においても、ユーザは、撮像部１１の撮影領域内にスクリーンＳＲの全体が収まるように或いは少なくともスライド領域の全体が収まるように録音装置１を録音現場に設置する。そして、第１実施形態と同様、図６のステップＳ１１〜Ｓ１３の処理が実行され、その後、ステップＳ１４において、第１又は第３記録動作例と同様の方法により、文字変化タイミング又は文字出現タイミングが境界タイミングに設定される。
【００７５】
この後、ステップＳ１５において、取得部５５は、対象静止画像を取得するが、この際、以下のような動作を行う。図７を再び参照しつつ、境界タイミングＴＢに注目して、第２実施形態に係る取得部５５の動作を説明する。
【００７６】
境界タイミングＴＢが設定されると、取得部５５は、まず、テンポラリ画像ＩＭ［ｎ］を被処理画像として捉えた上で、被処理画像の画像信号に基づき被処理画像に対して不要物体検出処理を成す。不要物体検出処理は、被処理画像内に不要物体が存在するか否かを検出する処理であり、特にここでは、被処理画像におけるスライド領域内に不要物体が存在するか否かを検出する処理を含む。被処理画像は撮影領域内の撮影画像であるため、不要物体検出処理は、撮影領域内に不要物体が存在するか否かを検出する処理でもある。加えて、テンポラリ画像ＩＭ［ｉ］は、テンポラリ画像ＩＭ［ｉ］の撮影時における撮像部１１の出力画像信号に基づいている（ｉは自然数であり、ｎと一致しうる）。故に、テンポラリ画像ＩＭ［ｉ］を被処理画像として捉えた上での不要物体検出処理は、テンポラリ画像ＩＭ［ｉ］の撮影時における撮像部１１の出力画像信号に基づき、テンポラリ画像ＩＭ［ｉ］の撮影時における撮影領域内に不要物体が存在するか否かを検出する処理とも言える。
【００７７】
不要物体とは、撮像部１１と実空間上におけるスクリーンＳＲとの間に介在する物体を指し、不要物体が存在すると、撮影画像内においてスライド領域の一部又は全部が不要物体により遮蔽される。プレゼンテーションや会議における発言内容を録音する場合、プレゼンテーション等の発表者はスクリーンＳＲの前方を時として横切り、発表者が不要物体として機能することがある。図１０に、不要物体としての発表者がスクリーンＳＲの前方に位置しているときの撮影領域の様子を示す。
【００７８】
人物を不要物体に含めるべく、取得部５５は、不要物体検出処理において、被処理画像の画像信号に基づき被処理画像内に人物が存在しているか否かを判断し、被処理画像内に人物が存在していると判断した場合（特に例えば、被処理画像におけるスライド領域内に不要物体が存在していると判断した場合）、被処理画像に対して不要物体存在判定を成す一方、被処理画像内に人物が存在していない判断した場合（特に例えば、被処理画像におけるスライド領域内に不要物体が存在していないと判断した場合）、被処理画像に対して不要物体不存在判定を成す。
【００７９】
テンポラリ画像ＩＭ［ｎ］に対して不要物体不存在判定を成したとき、取得部５５は、テンポラリ画像ＩＭ［ｎ］を対象静止画像として一時保存部５１から取得する。一方、テンポラリ画像ＩＭ［ｎ］に対して不要物体存在判定を成したとき、取得部５５は、要素区間ＰＡＢにおいて撮影されたテンポラリ画像であって且つテンポラリ画像ＩＭ［ｎ］よりも過去に撮影されたテンポラリ画像を対象静止画像として一時保存部５１から取得する。例えば、テンポラリ画像ＩＭ［ｎ−１］を対象静止画像として一時保存部５１から取得する。取得部５１は、テンポラリ画像ＩＭ［ｎ−１］に対しても不要物体検出処理を成すことができ、テンポラリ画像ＩＭ［ｎ−１］に対しても不要物体存在判定が成される場合には、要素区間ＰＡＢにおいて撮影されたテンポラリ画像であって且つテンポラリ画像ＩＭ［ｎ−１］よりも更に過去に撮影されたテンポラリ画像を対象静止画像として一時保存部５１から取得する。記録制御部５６は、上記の如くして得られた、要素区間ＰＡＢ内のテンポラリ画像に基づく対象静止画像の画像信号を、要素区間ＰＡＢの音声信号に関連付けて記録媒体１６に記録することができる。
【００８０】
或いは、テンポラリ画像ＩＭ［ｎ］に対して不要物体存在判定を成したとき、取得部５５は、要素区間ＰＡＢにおいて撮影された複数のテンポラリ画像を合成することで対象静止画像を生成してもよい。例えば、テンポラリ画像ＩＭ［ｎ］及びＩＭ［ｎ−１］が夫々図１１（ａ）及び（ｂ）のテンポラリ画像３１１及び３１２であって且つテンポラリ画像３１１及び３１２の夫々に対して不要物体存在判定を成したとき、或いは、テンポラリ画像ＩＭ［ｎ］及びＩＭ［ｎ−１］が夫々図１１（ａ）及び（ｃ）のテンポラリ画像３１１及び３１３であって且つテンポラリ画像３１１に対してのみ不要物体存在判定を成したとき、取得部５５は、テンポラリ画像ＩＭ［ｎ］及びＩＭ［ｎ−１］を合成し、合成によって得られた１枚の合成結果画像を対象静止画像として生成してもよい。
【００８１】
この際、取得部５５は、不要物体の除去が成された合成結果画像（換言すれば、不要物体の画像信号を含まない合成結果画像）を生成すると良い。例えば、合成結果画像において、不要物体の画像信号が除去され、除去された部分の画像信号がスライド領域の画像信号にて補完されるように、テンポラリ画像ＩＭ［ｎ］の全体画像領域の内、不要物体が存在している画像領域内の画像信号を、テンポラリ画像ＩＭ［ｎ−１］内の対応画像領域の画像信号にて置き換え、この置き換えの成されたテンポラリ画像ＩＭ［ｎ］を合成結果画像として生成することができる。図１２の画像３２０は、図１１（ａ）及び（ｂ）のテンポラリ画像３１１及び３１２に基づく合成結果画像の例である。
【００８２】
要素区間ＰＡＢにおいて撮影された複数のテンポラリ画像に基づき合成結果画像が生成された場合、当該合成結果画像の画像信号は、記録制御部５６により、対象静止画像の画像信号として要素区間ＰＡＢの音声信号に関連付けて記録媒体１６に記録される。
【００８３】
境界タイミングＴＢ後のテンポラリ画像から要素区間ＰＢＣに対応する対象静止画像を取得する場合に対しても、上述の方法を適用できる。即ち、境界タイミングＴＢが設定されると、取得部５５は、テンポラリ画像ＩＭ［ｎ＋１］を被処理画像として捉え、テンポラリ画像ＩＭ［ｎ＋１］の画像信号に基づきテンポラリ画像ＩＭ［ｎ＋１］に対して不要物体検出処理を成す。
【００８４】
テンポラリ画像ＩＭ［ｎ＋１］に対して不要物体不存在判定を成したとき、取得部５５は、テンポラリ画像ＩＭ［ｎ＋１］を対象静止画像として一時保存部５１から取得する。テンポラリ画像ＩＭ［ｎ＋１］に対して不要物体存在判定を成したとき、取得部５５は、要素区間ＰＢＣにおいて撮影されたテンポラリ画像であって且つテンポラリ画像ＩＭ［ｎ＋１］よりも後に撮影されたテンポラリ画像を対象静止画像として一時保存部５１から取得する。例えば、テンポラリ画像ＩＭ［ｎ＋２］を対象静止画像として一時保存部５１から取得する。取得部５１は、テンポラリ画像ＩＭ［ｎ＋２］に対しても不要物体検出処理を成すことができ、テンポラリ画像ＩＭ［ｎ＋２］に対しても不要物体存在判定が成される場合には、要素区間ＰＢＣにおいて撮影されたテンポラリ画像であって且つテンポラリ画像ＩＭ［ｎ＋２］よりも更に後に撮影されたテンポラリ画像を対象静止画像として一時保存部５１から取得する。記録制御部５６は、上記の如くして得られた、要素区間ＰＢＣ内のテンポラリ画像に基づく対象静止画像の画像信号を、要素区間ＰＢＣの音声信号に関連付けて記録媒体１６に記録することができる。
【００８５】
或いは、テンポラリ画像ＩＭ［ｎ＋１］に対して不要物体存在判定を成したとき、取得部５５は、要素区間ＰＢＣにおいて撮影された複数のテンポラリ画像を合成することで対象静止画像を生成してもよい。合成の方法は上述したものと同様であり、取得部５５は、例えば、テンポラリ画像ＩＭ［ｎ＋１］及びＩＭ［ｎ＋２］を合成し、合成によって得られた１枚の合成結果画像を対象静止画像として生成してもよく、この際、不要物体の除去が成された合成結果画像（換言すれば、不要物体の画像信号を含まない合成結果画像）を生成すると良い。記録制御部５６は、要素区間ＰＢＣにおいて撮影された複数のテンポラリ画像に基づく合成結果画像の画像信号を、対象静止画像の画像信号として、要素区間ＰＢＣの音声信号に関連付けて記録媒体１６に記録することができる。
【００８６】
尚、複数のテンポラリ画像を合成することで合成結果画像を生成する画像合成部が取得部５５に設けられている、と考えても良い。上述の例では、２枚のテンポラリ画像が合成されているが、３枚以上のテンポラリ画像を合成することで合成結果画像を生成しても良い。
【００８７】
上述の如く、本実施形態に係る録音装置１は、監視対象領域内において文字の変化又は出現を検出すると、その変化又は出現に応答して不要物体検出処理を成す。そして、不要物体存在判定が成された場合には、上述の画像合成を成すことができる。従って、境界タイミングの前後において撮影領域内に不要物体が存在していた場合においても、不要物体の除去の成された対象静止画像を取得及び記録することができる。
【００８８】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第３実施形態においては、図１３に示す如く、撮像部１１の撮影方向を変化させることのできる駆動部２０が録音装置１に対して更に設けられていることを想定する。撮像部１１の撮影方向の変化は、撮像部１１の光軸方向の変化に相当する。駆動部２０は、主制御部１３による制御の下で動作する。
【００８９】
駆動部２０は、例えば、撮像部１１の光学系におけるレンズの位置を変化させることで、撮像部１１の撮影方向を変化させる。或いは、撮像部１１の光学系にバリアングルプリズム（不図示）が設けられている場合、駆動部２０は、バリアングルプリズムの屈折角を変化させることで撮像部１１の撮影方向を変化させることもできる。或いは、駆動部２０は、所定軸を回転軸として撮像部１１の全体を回転させることで撮像部１１の撮影方向を変化させてもよい。
【００９０】
プレゼンテーションや会議における発言内容を録音する場合、プレゼンテーション等の発表者の音声を明確に録音すべく、録音装置１をなるだけ発表者の近くに設置することが考えられる。このような場合、スライド領域の全体を一度に撮影領域内に収めるためには広角レンズ等の特殊レンズが必要となり、通常レンズの使用時には、スライド領域の全体を一度に撮影領域内に収めることが難しくなる。
【００９１】
そこで、第３実施形態において、ユーザは、撮像部１１の撮影領域内にスクリーンＳＲの一部のみが収まるように或いはスライド領域の一部のみが収まるように録音装置１を録音現場に設置する。この際、録音装置１の設置段階において、撮影領域内にタイトル領域の全部又は一部が含まれるように録音装置１を設置することが望ましい。録音装置１の設置が成されるときの撮像部１１の撮影方向を基準撮影方向と呼ぶ。録音装置１の設置後、第１実施形態と同様、図６のステップＳ１１〜Ｓ１３の処理が実行され、その後、ステップＳ１４において、第１又は第３記録動作例と同様の方法により、文字変化タイミング又は文字出現タイミングが境界タイミングに設定される。
【００９２】
境界タイミングが設定されると、取得部５５は、境界タイミング後の所定区間を駆動区間に設定する。駆動区間以外の任意のタイミングにおいて、撮像部１１の撮影方向は基準撮影方向に固定されているが、駆動区間内においては駆動部２０を用いて撮像部１１の撮影方向が基準撮影方向から変化せしめられる。境界タイミングに基づく駆動区間の設定後、ステップＳ１５において、第３実施形態に係る取得部５５は、以下のような動作により対象静止画像を生成する。
【００９３】
境界タイミングＴＢに注目し、図１４を参照して、駆動区間における撮影方向の変化状態及び撮影動作を説明する。図１４に示す如く、境界タイミングＴＢに対応する駆動区間には、タイミングＴＢ１〜ＴＢ４が属している。時間が経過するにつれて、タイミングＴＢ１、ＴＢ２、ＴＢ３及びＴＢ４が、この順番で訪れる。タイミングＴＢ１は、境界タイミングＴＢと同じである、或いは、境界タイミングＴＢよりも後のタイミングである。
【００９４】
図１５において、記号ＳＲ［ＴＢ１］、ＳＲ［ＴＢ２］、ＳＲ［ＴＢ３］、ＳＲ［ＴＢ４］が付された破線矩形枠内の領域は、夫々、タイミングＴＢ１、ＴＢ２、ＴＢ３、ＴＢ４における撮影領域を表している。撮影領域ＳＲ［ＴＢ１］、ＳＲ［ＴＢ２］、ＳＲ［ＴＢ３］及びＳＲ［ＴＢ４］は互いに異なる。撮影領域ＳＲ［ＴＢ１］、ＳＲ［ＴＢ２］、ＳＲ［ＴＢ３］及びＳＲ［ＴＢ４］の夫々にはスライド領域の一部が含まれており、スクリーンＳＲの全体又はスライド領域の全体は、撮影領域ＳＲ［ＴＢ１］、ＳＲ［ＴＢ２］、ＳＲ［ＴＢ３］及びＳＲ［ＴＢ４］の合成領域に内包される。録音装置１から見て、撮影領域ＳＲ［ＴＢ２］、ＳＲ［ＴＢ３］及びＳＲ［ＴＢ４］は、夫々、撮影領域ＳＲ［ＴＢ１］の右側、右下側及び下側に位置している。ｉ及びｊを互いに異なる自然数とした場合、後述のイメージモザイキングを精度良く行うために、撮影領域ＳＲ［ＴＢｉ］の一部と撮影領域ＳＲ［ＴＢｊ］の一部を互いに重複させることが好ましい。
【００９５】
駆動部２０は、タイミングＴＢ１、ＴＢ２、ＴＢ３、ＴＢ４における撮影領域が、夫々、撮影領域ＳＲ［ＴＢ１］、ＳＲ［ＴＢ２］、ＳＲ［ＴＢ３］、ＳＲ［ＴＢ４］と一致するように、駆動区間において撮像部１１の撮影方向を変化させる。
【００９６】
一方で、取得部５５は、タイミングＴＢ１、ＴＢ２、ＴＢ３、ＴＢ４の夫々において撮像部１１に静止画像撮影を行わせ、これによって４枚の静止画像３６１〜３６４を得る。静止画像３６１〜３６４は、夫々、タイミングＴＢ１〜ＴＢ４における撮像部１１の出力画像信号に基づく静止画像である。図１６に示す如く、取得部５５は、静止画像３６１〜３６４を合成することにより、対象静止画像として合成結果画像３６０を生成する。合成結果画像３６０の画角は、静止画像３６１〜３６４の夫々の画角よりも大きい。取得部５５は、静止画像３６１〜３６４の共通の被写体が重なり合うように静止画像３６１〜３６４を貼り合わせて合成することで合成結果画像３６０を生成する。このような合成は、一般にイメージモザイキングと呼ばれており、公知のイメージモザイキングの方法を、取得部５５における画像合成処理に利用することができる。
【００９７】
対象静止画像としての合成結果画像３６０の画像信号は、記録制御部５６により、要素区間ＰＢＣの音声信号に関連付けて記録媒体１６に記録される。静止画像３６４の撮影完了後、駆動部２０は、速やかに撮影方向を基準撮影方向に戻す。
【００９８】
尚、複数の静止画像を合成することで合成結果画像３６０を生成する画像合成部が取得部５５に設けられている、と考えても良い。上述の例では、４枚の静止画像が合成されているが、４枚以外であって且つ２枚以上の静止画像を合成することで、対象静止画像としての合成結果画像を生成しても良い。また、本実施形態では、録音装置１から一時保存部５１を割愛することができる。
【００９９】
上述の如く、本実施形態に係る録音装置１は、監視対象領域内において文字の変化又は出現を検出すると、その変化又は出現に応答して駆動部２０を用いて撮像部１１の撮影方向を変化させ、撮影方向が互いに異なる複数の静止画像を合成することで対象静止画像を得る。従って、スライド領域の全体を一度に撮影領域内に収めること出来ない程度に録音装置１を発表者に近づけて配置しているときにおいても、特殊レンズを必要とすることなく、スライド領域の全体を収めた対象静止画像を取得及び記録することができる。
【０１００】
＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。図１７は、第４実施形態に係る録音装置１の一部ブロック図である。第４実施形態に係る録音装置１は、一時保存部５１、取得部５５及び記録制御部５６を有し、更に、無音／有音判定部６１を備える。取得部５５、記録制御部５６及び判定部６１を、例えば、図１の主制御部１３に設けておくことができる。第４実施形態では、判定部６１が境界タイミング設定部として機能する。
【０１０１】
録音装置１には、無音区間スキップ機能が備えらており、ユーザは操作部１７に対する所定操作により、無音区間スキップ機能を有効にすることができる。無音区間スキップ機能が有効になっているとき、ユーザにより録音指示が成されていても、無音区間中においては音声信号の記録が休止される。
【０１０２】
ユーザにより録音開始指示が録音装置１に与えられた後において、又は、常に、判定部６１には、マイク部１２の出力音声信号が与えられる。判定部６１は、マイク部１２の出力音声信号に基づき、任意の区間が有音区間及び無音区間の何れに属するのかを判定する。有音区間は、マイク部１２の出力音声信号の信号レベルが比較的高い区間であり、無音区間は、マイク部１２の出力音声信号の信号レベルが比較的低い区間である。少なくとも、無音区間に属する、マイク部１２の出力音声信号の信号レベル又はパワーは、有音区間に属する、マイク部１２の出力音声信号の信号レベル又はパワーよりも低い。
【０１０３】
任意の区間を有音区間及び無音区間のどちらかに分類する方法として、任意の公知方法（例えば、特開２００９−２７８６２０号公報、特開２０１０−１１４７７７号公報又は特開２００３−２８３９９３号に記載された方法）を利用することができる。例えば、判定部６１は、マイク部１２の出力音声信号の信号レベル又はパワーが所定の閾値ＴＨ未満である区間を無音区間であると判定し、マイク部１２の出力音声信号の信号レベル又はパワーが閾値ＴＨ以上である区間を有音区間であると判定する。判定部６１の判定結果は、取得部５５及び記録制御部５６に与えられ、対象静止画像の取得及び記録制御並びに音声信号の記録制御に利用される。
【０１０４】
具体的な動作の流れを説明する。ユーザは、まず、第１実施形態で述べたような方法に従って録音装置１を設置し、更に、操作部１７を介して、無音区間スキップ機能を有効するための指示と録音開始指示を録音装置１に与える。これらの指示を受けると、判定部６１は、マイク部１２の出力音声信号に基づき現時点が有音区間及び無音区間のどちらに属しているのかを順次判定し、判定結果を、順次、取得部５５及び記録制御部５６に伝達する。記録制御部５６は、判定部６１による判定結果に基づき、無音区間中においては記録媒体１６に対する音声信号の記録を休止し、有音区間中の音声信号のみを記録媒体１６に記録させる（但し、画像信号の記録は別途成されうる）。即ち、無音区間から有音区間への切り替わりを想定した場合、記録制御部５６は、無音区間から有音区間への切り替わりタイミングより音声信号を記録媒体１６に記録させる（換言すれば、無音区間から有音区間への切り替わりに応答して音声信号を記録媒体１６に記録させる）。
【０１０５】
一方、無音区間から有音区間への切り替わりタイミングは、本実施形態において境界タイミングとして取り扱われ、取得部５５は、無音区間から有音区間への切り替わりタイミング（即ち、境界タイミング）を基準としたタイミングにおける撮像部１１の出力画像信号から対象静止画像を取得する。換言すれば、取得部５５は、無音区間から有音区間への切り替わりに応答して、撮像部１１の出力画像信号に基づき対象静止画像を取得する。
【０１０６】
対象静止画像の取得方法は、第１〜第３実施形態の何れかにて示された方法と同様である。この際、図１８に示す如く（図７も参照）、無音区間から有音区間への切り替わりタイミングを境界タイミングＴＢとみなし、且つ、境界タイミングＴＢを挟む無音区間及び有音区間が夫々区間ＰＡＢ及び区間ＰＢＣであるとみなした上で、第１〜第３実施形態の何れかにて示された方法を適用すればよい。そうすると例えば、切り替わりタイミングＴＢに対応して、取得部５５は、
テンポラリ画像ＩＭ［ｎ］若しくはＩＭ［ｎ−１］又は高解像度静止画像ＨＲＳＬを対象静止画像として取得することができる（第１実施形態参照）、或いは、
第２又は第３実施形態における合成結果画像を対象静止画像として取得することができる、或いは、
単純に切り替わりタイミングＴＢ後に撮像部１１に静止画像撮影を行わせることで対象静止画像を取得しても良い。
【０１０７】
無音区間から有音区間への切り替わりタイミングＴＢに対応して取得された対象静止画像の画像信号は、記録制御部５６により、切り替わりタイミングＴＢの直後の有音区間（図１８の例において有音区間ＰＢＣ）の音声信号に関連付けて記録媒体１６に記録される。
【０１０８】
また、有音区間から無音区間への切り替わりタイミングを境界タイミングとして取り扱うようにしてもよい。この場合、取得部５５は、有音区間から無音区間への切り替わりタイミング（即ち、境界タイミング）を基準としたタイミングにおける撮像部１１の出力画像信号から対象静止画像を取得する。換言すれば、取得部５５は、有音区間から無音区間への切り替わりに応答して、撮像部１１の出力画像信号に基づき対象静止画像を取得する。即ち例えば、図１９に示す如く、区間ＰＡＢ及び区間ＰＢＣが夫々無音区間及び有音区間であって且つ無音区間ＰＡＢの次の無音区間ＰＣＤが有音区間ＰＢＣの直後に存在し、且つ、有音区間ＰＢＣから無音区間ＰＣＤへの切り替わりタイミングが境界タイミングＴＣである場合、切り替わりタイミングＴＣに対応して、取得部５５は、
境界タイミングＴＣの直前に得られたテンポラリ画像を対象静止画像として取得することができる、或いは、
区間ＰＢＣ中の複数のテンポラリ画像を第２実施形態で述べた方法にて合成することで得た合成結果画像を対象静止画像として取得することができる。
【０１０９】
有音区間から無音区間への切り替わりタイミングＴＣに対応して取得された対象静止画像の画像信号は、記録制御部５６により、切り替わりタイミングＴＣの直前の有音区間（図１９の例において有音区間ＰＢＣ）の音声信号に関連付けて記録媒体１６に記録される。
【０１１０】
無音区間において次々と画像撮影を行って記録する必要性は少なく、一方で、有音区間において多数の画像撮影及び記録を制限なく行うと必要な記録容量が増大する。他方、録音現場において、無音区間と有音区間との間の切り替わりタイミングは、録音現場の状況の移り変わりを示す重要なタイミング（画像撮影に値するタイミング）であると推測される。従って、上記の切り替わりタイミングを基準として対象静止画像を取得するようにすれば、画像撮影に値すると推測されるタイミングの映像情報を音声信号と共に記録することができ、ユーザの利便性が向上する。また、手動によるシャッタ操作音が記録音声信号に混入するおそれもなくなる。加えて、切り替わりタイミングに対応して取得された対象静止画像の画像信号を、切り替わりタイミングに対応する有音区間の音声信号と関連付けて記録しておくことで、再生時にそれらを関連付けて読み出す又は再生するといったことが可能となる。
【０１１１】
＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。第５実施形態では、第１、第２、第３又は第４実施形態の方法によって記録媒体１６に記録された音声信号及び画像信号の再生方法を説明する。任意の音声信号の再生は、スピーカ部１８を用いて成される。
【０１１２】
図２０に示す如く、記録媒体１６に記録された音声信号の全区間を全記録区間４００と呼ぶ。全記録区間４００中に、互いに異なる記録区間４０１及び４０２が含まれており、記録区間４０１及び４０２の音声信号に対して、夫々、対象静止画像４１１及び４１２の画像信号が関連付けて記録媒体１６に記録されていることを想定する。記録区間４０１及び４０２の夫々は全記録区間４００の一部であるため、対象静止画像４１１及び４１２の画像信号は、全記録区間４００にも対応付けられている。対象静止画像４１１及び４１２の夫々は再生されうる。対象静止画像の再生は、表示部１５に対象静止画像を表示することで実現される。対象静止画像の表示は、対象静止画像そのものの表示であっても良いし、対象静止画像の縮小画像である対象静止画像のサムネイルの表示であってもよい。
【０１１３】
この想定下において、記録媒体１６の記録音声信号の再生を指示する操作が操作部１７に成された場合、主制御部１３に含まれる再生制御部２２（図２１参照）は、時系列に沿って記録音声信号を再生させる。この際、再生制御部２２は、記録区間４０１の音声信号が再生されるときにおいて同時に対象静止画像４１１を再生し（即ち、対象静止画像４１１を表示部１５にて表示させ）、記録区間４０２の音声信号が再生されるときにおいて同時に対象静止画像４１２を再生する（即ち、対象静止画像４１２を表示部１５にて表示させる）。
【０１１４】
また、記録音声信号を再生可能なモードにおいて、再生制御部２２は、全記録区間４００に対応付けられた対象静止画像４１１及び４１２をリスト表示することができる。対象静止画像４１１及び４１２のリスト表示は、例えば、対象静止画像４１１及び４１２（例えば、対象静止画像４１１及び４１２のサムネイル）を表示部１５に一覧表示することを含む。上記リスト表示が成されているときにおいて、操作部１７は、表示部１５に表示された何れかの対象静止画像を選択する選択操作を受け付ける。ユーザは、選択操作を、音声信号再生中のタイミングを含む、任意のタイミングに成すことができる。
【０１１５】
そして、ユーザが当該選択操作によって対象静止画像４１１を選択した際、再生制御部２２は、対象静止画像４１１に関連付けられた音声信号、即ち記録区間４０１の音声信号をスピーカ部１８を用いて再生する。同様に、ユーザが当該選択操作によって対象静止画像４１２を選択した際、再生制御部２２は、対象静止画像４１２に関連付けられた音声信号、即ち記録区間４０２の音声信号をスピーカ部１８を用いて再生する。
【０１１６】
このような選択操作及び選択操作に従う音声信号再生を可能にしておくことにより、ユーザは、映像情報を参照して、視聴を望む記録区間を素早く選択することが可能となる。
【０１１７】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１８】
［注釈１］
上述の各実施形態では、撮像部１１の撮影領域内にスクリーンＳＲが収められることを想定しているが、スクリーンＳＲの代わりに、表示部１５と異なる表示装置における表示画面、ホワイトボード又は黒板などが、撮影領域内に収められうる。この場合、表示部１５と異なる表示装置における表示画面の表示領域、ホワイトボード内の領域、又は、黒板内の領域を、特定閉領域として検出すればよい。
【０１１９】
［注釈２］
録音装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて録音装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【０１２０】
［注釈３］
各実施形態において具体化された録音装置１は、一般的に、ＩＣレコーダと呼ばれることもある。録音装置１を、画像撮影機能付き録音装置、音声記録装置又は音声信号記録装置と呼ぶこともできる。録音装置１は、画像の撮影機能をも備えているため、録音装置１はデジタルカメラに分類される装置であっても良く、また、録音装置１は、画像の撮影機能と録音機能を併せ持つ任意の電子機器でありうる。録音装置及びデジタルカメラも電子機器の一種である。この他、録音装置１として機能する電子機器は、携帯端末、ゲーム機器、パーソナルコンピュータ、携帯電話機、電子書籍リーダ、電子辞書などでありうる。
【符号の説明】
【０１２１】
１ 録音装置
１１ 撮像部
１２ マイク部
１３ 主制御部
１６ 記録媒体
２０ 駆動部
２２ 再生制御部
５１ 一時保存部
５２ 特定領域検出部
５３ 文字検出部
５４ 境界タイミング設定部
５５ 対象静止画像取得部
５６ 記録制御部
【技術分野】
【０００１】
本発明は、録音機能と撮影機能を併せ持つ電子機器、及び、該電子機器に利用可能な録音／撮影方法に関する。
【背景技術】
【０００２】
近年、ＩＣレコーダとも呼ばれる録音装置にカメラが搭載されていることも多く、特に、プレゼンテーション等の発表内容の録音用途にカメラ付きＩＣレコーダが利用されることが多い。プレゼンテーション等では、一般的に、スクリーン等に投影された映像を出席者に示しながら発表がなされる。
【０００３】
プレゼンテーション等における音声信号を記録する際、カメラ付きＩＣレコーダのユーザは、音声による発表内容にマッチしたスライド等の映像を撮影するべく、適切なタイミングにシャッタ操作を成す（例えば下記特許文献１参照）。
【０００４】
他方、ＩＣレコーダには、無音区間スキップ機能が備えられていることが多い。無音区間スキップ機能では、音声信号レベルの小さな無音区間において録音が自動的に休止され、有音区間においてのみ録音が成される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２３０１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、カメラ付きＩＣレコーダのユーザは適切なタイミングにシャッタ操作を成すことで、音声による発表内容にマッチしたスライド等の映像を撮影することができる。しかしながら、手動によるシャッタ操作の実行は煩わしいこともあるし、撮り忘れなどのミスも発生しうる。また、手動によるシャッタ操作音が記録音声信号に混入することもある。プレゼンテーション等の発表の様子の全区間を動画像として記録したならば、重要な映像情報の取り忘れに関する懸念はなくなるが、その場合には、必要な記録容量が大きくなって長期間の録音及び撮影が難しくなる。
【０００７】
そこで本発明は、音声信号の記録を行う際、画像撮影に値すると推測されるタイミングを自動検出して静止画像撮影を行うことのできる電子機器及び録音／撮影方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る電子機器は、撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備え、記録媒体に対する前記音声信号の記録中に前記撮像部を用いて対象静止画像を取得及び記録可能な電子機器において、前記撮影領域内における文字の変化又は出現に応答して前記撮像部の出力に基づく前記対象静止画像を取得する主制御部を更に備えたことを特徴とする。
【０００９】
録音中に画像撮影に値するタイミング（状況の移り変わりタイミング等）をユーザ操作に拠らず自動的に判別して当該タイミングにおける映像情報を撮影及び記録することができたならば、ユーザの利便性が向上するものと思われる。プレゼンテーション等の録音現場において、文字の変化又は出現タイミングは、録音現場の状況の移り変わりを示す重要なタイミング（画像撮影に値するタイミング）であると推測される。従って、文字の変化又は出現に応答して対象静止画像を取得するようにすれば、画像撮影に値すると推測されるタイミングの映像情報を音声信号と共に記録することができ、ユーザの利便性向上が期待される。
【００１０】
具体的には例えば、前記主制御部は、前記対象静止画像を、前記撮影領域内における文字の変化又は出現のタイミングを基準とした区間の音声信号に関連付けて前記記録媒体に記録させてもよい。
【００１１】
これにより、音声信号と対象静止画像を関連付けて読み出す又は再生するといった利用が可能となる。
【００１２】
また具体的には例えば、前記撮影領域内における文字の変化又は出現を検出する検出部を当該電子機器に更に設けてもよく、前記検出部は、前記撮像部の出力に基づき前記撮影領域内において所定の画像特徴を有する閉領域を検出し、前記閉領域内において前記文字の変化又は出現を検出しても良い。
【００１３】
これにより、閉領域としてプレゼンテーション用の映像投影領域などを検出し、その領域内で文字の変化又は出現を検出することができる。プレゼンテーション用の映像投影領域などにおける文字の変化又は出現タイミングは、録音現場の状況の移り変わり（例えばスライドの変化）を示す重要なタイミングであると言える。従って、検出閉領域内において文字の変化又は出現を検出するようにすれば、画像撮影に値すると推測されるタイミングの映像情報を音声信号と共に記録することができ、ユーザの利便性向上が期待される。
【００１４】
また例えば、前記主制御部は、前記撮影領域内における文字の変化又は出現に応答して前記撮影領域内に所定物体が存在しているか否かを前記撮像部の出力に基づいて判断し、前記撮影領域内に前記所定物体が存在していると判断した場合、前記撮像部の出力に基づく、撮影時刻が互いに異なる複数の静止画像を用いて前記対象静止画像を生成しても良い。
【００１５】
これにより、境界タイミングの前後において撮影領域内に所定物体が存在していた場合においても、例えば、所定物体除去の成された対象静止画像の生成及び記録を期待することができる。
【００１６】
また例えば、前記撮像部の撮影方向を変化させる駆動部を当該電子機器に更に設けてもよい。そして例えば、前記主制御部は、前記撮影領域内における文字の変化又は出現に応答して前記駆動部を用いて前記撮影方向を変化させ、これによって前記撮影方向が互いに異なる複数の静止画像を前記撮像部から取得し、前記複数の静止画像を合成することで前記対象静止画像を生成してもよい。
【００１７】
これにより、発表者等の音源に録音装置を相応に近づけて設置しており、これに伴って、撮影の必要な領域全体を一度に撮影領域内に収めることができない状況下においても、撮影の必要な領域全体の画像を得ることが可能となる。
【００１８】
また例えば、前記対象静止画像を表示する表示部と、前記表示部に表示された前記対象静止画像を選択する操作を受ける操作部とを当該電子機器に更に設けてもよい。そして例えば、前記主制御部は、前記操作が成されたとき、前記対象静止画像に関連付けられた前記音声信号を再生する再生制御部を有していてもよい。
【００１９】
これにより、ユーザは、表示部の表示内容を参照して、視聴を望む記録区間を素早く選択することが可能となる。
【００２０】
また具体的には例えば、前記主制御部は、前記撮影領域内における文字の変化又は出現のタイミングを境界タイミングとして用い、前記境界タイミングを基準としたタイミングにおける前記撮像部の出力に基づき、前記対象静止画像を取得してもよい。
【００２１】
これにより、文字の変化又は出現に応答して対象静止画像を取得することができる。
【００２２】
本発明に係る他の電子機器は、撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備え、前記音声信号を記録可能であるとともに前記撮像部を用いて対象静止画像を取得及び記録可能な電子機器において、前記音声信号に基づき無音区間から有音区間への切り替わりに応答して前記音声信号を記録媒体に記録させる一方で、前記無音区間から前記有音区間への切り替わり又は前記有音区間から前記無音区間の次の無音区間への切り替わりに応答して前記撮像部の出力に基づく前記対象静止画像を取得する主制御部を更に備えたことを特徴とする。
【００２３】
無音区間において次々と画像撮影を行って記録する必要性は少なく、一方で、有音区間において多数の画像撮影及び記録を制限なく行うと必要な記録容量が増大する。他方、録音現場において、無音区間と有音区間との間の切り替わりタイミングは、録音現場の状況の移り変わりを示す重要なタイミング（画像撮影に値するタイミング）であると推測される。従って、上記の切り替わりに応答して対象静止画像を取得するようにすれば、画像撮影に値すると推測されるタイミングの映像情報を音声信号と共に記録することができ、ユーザの利便性向上が期待される。
【００２４】
本発明に係る録音／撮影方法は、撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備えた電子機器に用いられる方法であって、且つ、記録媒体に対する前記音声信号の記録中に前記撮像部を用いて対象静止画像を取得及び記録する録音／撮影方法において、前記撮影領域内における文字の変化又は出現に応答して前記撮像部の出力に基づく前記対象静止画像を取得することを特徴とする。
【００２５】
本発明に係る他の録音／撮影方法は、撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備えた電子機器に用いられる方法であって、且つ、前記音声信号の記録とともに前記撮像部を用いて対象静止画像を取得及び記録する録音／撮影方法において、前記音声信号に基づき無音区間から有音区間への切り替わりに応答して前記音声信号を記録媒体に記録させる一方で、前記無音区間から前記有音区間への切り替わり又は前記有音区間から前記無音区間の次の無音区間への切り替わりに応答して前記撮像部の出力に基づく前記対象静止画像を取得することを特徴とする。
【発明の効果】
【００２６】
本発明によれば、音声信号の記録を行う際、画像撮影に値すると推測されるタイミングを自動検出して静止画像撮影を行うことのできる電子機器及び録音／撮影方法を提供することが可能である。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施形態に係る録音装置の概略全体ブロック図である。
【図２】プロジェクタを用いてスクリーンに映像が投影される様子を示した図（ａ）と、スライド領域とタイトル領域との関係を示す図（ｂ）である、
【図３】本発明の第１実施形態に係る録音装置の一部ブロック図である。
【図４】時系列に並ぶ複数の静止画像を示す図である。
【図５】スライドショー用の映像作成に利用される複数のテンプレートを示す図である。
【図６】本発明の第１実施形態に係る記録動作例のフローチャートである。
【図７】本発明の第１実施形態に係り、要素区間と、境界タイミングと、テンポラリ画像との関係を示す図である。
【図８】本発明の第１実施形態に係り、境界タイミング前後のスクリーンの表示内容例を示す図である。
【図９】本発明の第１実施形態に係り、境界タイミング前後のスクリーンの表示内容例を示す図である。
【図１０】本発明の第２実施形態に係り、スクリーンの前方に発表者が位置している状況を示す図である。
【図１１】本発明の第２実施形態に係る複数の静止画像を示す図である。
【図１２】本発明の第２実施形態に係る合成結果画像を示す図である。
【図１３】本発明の第３実施形態に係る撮像部及び駆動部を示す図である。
【図１４】本発明の第３実施形態に係り、駆動区間と複数の静止画像を示す図である。
【図１５】本発明の第３実施形態に係り、駆動区間中の撮影領域を説明するための図である。
【図１６】本発明の第３実施形態に係り、複数の静止画像が合成される様子を示す図である。
【図１７】本発明の第４実施形態に係る録音装置の一部ブロック図である。
【図１８】本発明の第４実施形態に係り、無音区間と有音区間との関係を示す図である。
【図１９】本発明の第４実施形態に係り、無音区間と有音区間との関係を示す図である。
【図２０】本発明の第５実施形態に係り、音声信号の記録区間と対象静止画像との関係を示す図である。
【図２１】本発明の第５実施形態に係り、主制御部内に再生制御部が設けられている様子を示す図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、或る静止画像を記号ＩＭ［ｉ］によって表す場合、静止画像ＩＭ［ｉ］を、例えば画像ＩＭ［ｉ］と略記する場合もあり、対象静止画像取得部を符号５５によって参照する場合、対象静止画像取得部５５を取得部５５と略記する場合もある。
【００２９】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る録音装置１の概略全体ブロック図である。録音装置１は、画像の撮影及び記録機能をも備えた録音装置であって、撮像部１１と、マイク部１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、スピーカ部１８を備えている。尚、表示部１５及びスピーカ部１８は、録音装置１の外部機器（不図示）に設けられたものである、と解釈しても良い。
【００３０】
撮像部１１は、複数枚のレンズ及び絞りから成る光学系と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る固体撮像素子と、を備える。撮像部１１において、固体撮像素子は、光学系を介して入射した撮影領域内の被写体の光学像を光電変換し、該光電変換によって得られた電気信号を画像信号として主制御部１３に出力する。このように、撮像部１１は、固体撮像素子を用いて撮影領域内の被写体の撮影を行い、撮影によって得られた撮影領域内の画像信号を出力する。撮影領域とは、撮像部１１の撮影における画角内に収まる実空間上の領域を指す。撮影領域を、撮像部１１の視野と呼ぶこともできる。撮像部１１の撮影によって得られた画像である、撮像部１１の出力画像信号によって表現される二次元画像を撮影画像と呼ぶ。
【００３１】
マイク部１２は、１又は複数のマイクロホンから成る。マイク部１２は、録音装置１の周囲からマイク部１２に到来する音を１又は複数のマイクロホンを用いて収音し、収音によって得られた音声信号を主制御部１３に出力する。より具体的には、マイク部１２において、１又は複数のマイクロホンは、録音装置１の周囲からマイク部１２に到来する音を電気信号に変換し、該電気信号を音声信号として主制御部１３に出力する。尚、本明細書における用語「音声信号」を「音響信号」と読み替えても良い。
【００３２】
主制御部１３は、ＣＰＵ（Central Processing Unit）等から成り、録音装置１内の各部位の動作を統括的に制御する。また、主制御部１３は、撮像部１１の出力画像信号に対して様々な画像信号処理（デジタル化、信号増幅、ノイズ低減処理、デモザイキング処理、信号圧縮処理など）を施すことができると共にマイク部１２の出力音声信号に対して様々な音声信号処理（デジタル化、信号増幅、ノイズ低減処理、指向性制御用の処理、信号圧縮処理など）を施すことができる。
【００３３】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、録音装置１内で生成された各種情報（画像信号、音声信号を含む）を一時的に記憶する。表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮像部１１による撮影画像や記録媒体１６の記録画像などを表示する。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部１５における表示及び表示画面を指すものとする。記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、各種情報（画像信号、音声信号を含む）を記録する。操作部１７は、機械式ボタン若しくはタッチパネル、又は、それらの組み合わせから成り、ユーザからの各種操作を受け付ける。スピーカ部１８は、１又は複数のスピーカから成り、主制御部１３の制御の下、任意の音声信号を音として出力する。
【００３４】
尚、本明細書では、或る画像の画像信号のことを単に画像と言うこともある。従って、例えば、或る静止画像の生成、取得、記録、加工、変形、編集又は保存とは、その静止画像の画像信号の生成、取得、記録、加工、変形、編集又は保存を意味する。
【００３５】
本実施形態では、録音装置１を用いて、録音現場における音声信号を記録しつつ、録音現場にて示された映像を静止画像として撮影及び記録することを想定する。録音現場では、例えばスライドショー形式による映像を利用して、プレゼンテーション、会議、授業等が行われる。ここでは、スライドショー形式による映像が、図２（ａ）に示す如く、プロジェクタＰＪを用いてスクリーンＳＲに映像が投影されることを想定する。映像が投影された、スクリーンＳＲ上の領域をスライド領域と呼ぶ。図２（ａ）において、ドットで満たされた部分は、スクリーンＳＲの全体領域の内、スライド領域以外の部分（比較的暗い部分）を表している（後述の図８（ａ）等においても同様）。スライド領域は、図２（ａ）のようにスクリーンＳＲの全体領域の一部でありうるが、スクリーンＳＲの全体領域と一致していてもよい。
【００３６】
スライド領域内の特定部分には、スクリーンＳＲ上に示される映像のタイトルであるスライドタイトルが示される。図２（ａ）の例において、スライドタイトルは、「２．アイディアの概要」という文字列である。図２（ｂ）に示す如く、スライド領域の一部である、スライドタイトルが示される領域をタイトル領域と呼ぶ。
【００３７】
ユーザは、撮像部１１の撮影領域内に、スクリーンＳＲの全体が収まるように或いは少なくともスライド領域の全体が収まるように、録音装置１を録音現場に設置する。録音装置１は、ユーザの操作によらず、特徴的なタイミングにおけるスクリーンＳＲの映像を撮影及び記録する特徴的機能を有する。
【００３８】
図３に、この特徴的機能に特に関与する、録音装置１の一部ブロック図を示す。一時保存部５１を、例えば内部メモリ１４にて実現することができる。符号５２〜５６によって参照される各部位を、図１の主制御部１３に設けておくことができる。但し、特定領域検出部５２、文字検出部５３及び境界タイミング設定部５４の全部又は一部は、録音装置１内であって且つ主制御部１３外に設けられていても良い。
【００３９】
主制御部１３は、撮像部１１の撮影動作を制御することにより、任意の区間において（特に記録媒体１６への音声信号の記録区間において）撮像部１１に周期的に静止画像の撮影を行わせることができ、一時保存部５１は、撮像部１１の出力に基づく静止画像の画像信号を一時的に保存する。一時保存部５１は、複数の静止画像についての画像信号を一時的に保存することができる。一時保存部５１に保存される静止画像を特にテンポラリ画像と呼ぶ。新たに得られたテンポラリ画像が順次一時保存部５１に保存されるように、一時保存部５１に保存されたテンポラリ画像の枚数が所定の上限枚数に達した場合、撮影時刻が比較的古いテンポラリ画像は、撮影時刻がより古いものから順に一時保存部５１より削除される。
【００４０】
説明の便宜上、撮像部１１による周期的な静止画像撮影によって得られた１つ１つの静止画像を、記号ＩＭ［ｉ］にて表す（図４参照）。ｉは自然数であり、ｉ及びｊが互いに異なる自然数である場合、静止画像ＩＭ［ｉ］及びＩＭ［ｊ］は、互いに異なる撮影時刻に撮影された静止画像である。静止画像ＩＭ［ｉ＋１］は、静止画像ＩＭ［ｉ］の次に撮影部１１に撮影された静止画像である。
【００４１】
撮像部１１の出力画像信号は、一時保存部５１を介して、或いは、一時保存部５１を介することなく、特定領域検出部５２、文字検出部５３、境界タイミング設定部５４及び対象静止画像取得部５５に与えられる。
【００４２】
特定領域検出部５２は、撮像部１１の出力画像信号に基づき、撮影領域内の特定の領域を抽出及び検出する。具体的には、特定領域検出部５２は、撮像部１１の出力画像信号に基づき、撮影領域内において所定の画像特徴を有した特定閉領域を検出する。本実施形態では、スライド領域が特定閉領域として検出される。従って、所定の画像特徴はスライド領域の画像特徴に相当する。例えば、スライド領域内の輝度が比較的高いという画像特徴を利用してスライド領域を検出することができる（詳細は後述）。
【００４３】
文字検出部５３は、特定領域検出部５２によって検出されたスライド領域中に存在する文字を、撮像部１１の出力画像信号に基づいて検出する。画像信号を用いて撮影領域内に存在する文字を検出する公知の方法を、文字検出部５３は利用することができる。例えば、文字検出部５３は、テンプレートマッチング法を用いて、撮像部１１の出力画像信号から撮影領域内に存在する文字を検出することができる。
【００４４】
特定領域検出部５２は、例えば、以下に示す第１〜第３スライド領域検出方法の何れかを用いて、或いは、第１〜第３スライド領域検出方法の内の複数のスライド領域検出方法を組み合わせて用いて、スライド領域を検出することができる。
【００４５】
第１スライド領域検出方法を説明する。第１スライド領域検出方法において、特定領域検出部５２は、撮影画像の輝度レベルに基づき、撮影画像の全体画像領域を、撮影画像の中央付近に存在し且つ比較的高い輝度レベルを有する第１領域と、第１領域の外周を取り囲み且つ比較的低い輝度レベルを有する第２領域とに分割し、第１領域をスライド領域として検出する。尚、撮影画像は撮影領域内の画像を表しているため、撮影画像の一部領域をスライド領域として検出することは、撮影領域の一部領域をスライド領域として検出することと共通の意義を有する。後述のタイトル領域の検出等についても同様である。
【００４６】
第２スライド領域検出方法を説明する。スクリーンＳＲに投影される映像は、パーソナルコンピュータ上で動作するソフトウェアであって且つスライドショー用の映像作成に適したソフトウェアを用いて作成されることが多い。そして、そのようなソフトウェアには、スライドショー用の映像作成に利用するためのテンプレートが用意されている。図５（ａ）〜（ｄ）にテンプレートの例を示す。テンプレートの多くは、矩形枠の外形を有し且つ矩形枠の左上側にスライドタイトルが示される領域を有している。第２スライド領域検出方法では、上記ソフトウェアで用意されているテンプレートの映像情報をテンプレート情報として予め特定領域検出部５２に与えておき、特定領域検出部５２が撮像部１１の出力画像信号とテンプレート情報との間でマッチングをとることによりスライド領域を検出する。テンプレート情報は、例えば、上記ソフトウェアで用意されている複数のテンプレートの夫々についての、形状、色彩及び模様等を示す。
【００４７】
第３スライド領域検出方法を説明する。第３スライド領域検出方法では、特定領域検出部５２及び文字検出部５３が協働してスライド領域を検出する。この場合、文字検出部５３は、撮像部１１の出力画像信号に基づき撮影領域内に存在する文字を検出し、検出した文字の中から、スライドタイトルを形成する文字列を抽出する。
例えば、スライドタイトルを形成する文字列には、特定の記号（セクション記号“§”など）又は数値番号が含まれていることが多いため、文字検出部５３は、撮影領域内に存在する文字の中から特定の記号又は数値番号を含んだ文字列をスライドタイトルとして抽出することができる。また例えば、スライドタイトルを形成する各文字は比較的大きいため、文字検出部５３は、撮影領域内に存在する文字の中から比較的大きな文字サイズを有する文字列を抽出することでスライドタイトルを抽出しても良い。また例えば、スライドタイトルを形成する各文字の色はスライドタイトル以外の文字の色と異なることが多いため、文字検出部５３は、撮影領域内に存在する各文字の色を考慮してスライドタイトルを抽出しても良い。
特定領域検出部５２は、文字検出部５３によって抽出されたスライドタイトルを、スライド領域の左上に位置すべきスライドタイトルであると判断し、その判断内容を用いてスライド領域を検出する。具体的には例えば、特定領域検出部５２は、文字検出部５３によって抽出されたスライドタイトルを取り囲む閉領域を、公知の領域分割法などを用いて、スライド領域として撮影画像の全体画像領域から抽出及び検出することができる。この検出では、スライド領域として抽出される閉領域の左上側にスライドタイトルが存在している可能性が高いことが考慮される。
【００４８】
特定閉領域としてのスライド領域の検出後、特定領域検出部５２又は文字検出部５３は、特定閉領域内に監視対象領域を設定する。特定領域検出部５２又は文字検出部５３は、特定閉領域内における所定の位置に監視対象領域を設定することができる。例えば、特定領域検出部５２又は文字検出部５３は、監視対象領域が真のタイトル領域と一致することを目指して監視対象領域を設定する。従って例えば、特定閉領域として検出されたスライド領域の内、左上側に位置する領域が監視対象領域に設定される。より具体的には例えば、監視対象領域は、特定閉領域として検出されたスライド領域を水平及び垂直方向に４分割し、この４分割で得られた４つの分割領域の内、左上側に位置する分割領域を監視対象領域に設定する。但し、特定閉領域として検出されたスライド領域の全体を、監視対象領域に設定することも可能である。以下の説明では、特に記述なき限り、監視対象領域と真のタイトル領域とが一致していると考える。
【００４９】
文字検出部５３による文字の検出結果を、以下単に文字検出結果とも言う。文字検出結果には、検出された文字の位置、種類等を示す情報が含まれている。文字検出部５３による文字の検出は周期的に行われており、文字検出結果は順次、境界タイミング設定部５４に与えられる。
【００５０】
境界タイミング設定部５４は、順次与えられる文字検出結果に基づき境界タイミングを設定する。具体的には例えば、境界タイミング設定部５４は、順次与えられる文字検出結果に基づき、監視対象領域と一致するタイトル領域内における文字の変化を検出し、当該変化が検出されたタイミングを境界タイミングに設定する。タイトル領域内における文字の変化とは、スライドタイトルを形成する文字列の内の一部の文字の変化も含む。尚、境界タイミングの設定は、境界タイミングの検出とも言える。これに伴って、境界タイミング設定部を境界タイミング検出部と読み替えることもできる。また、タイミングを時刻と読み替えることもできる。
【００５１】
対象静止画像取得部５５は、境界タイミングを基準としたタイミングにおける撮像部１１の出力画像信号から対象静止画像を取得する。対象静止画像の取得方法の例については後述する。
【００５２】
記録制御部５６は、記録媒体１６による記録動作を制御し、任意の区間における音声信号及び任意の画像の画像信号を記録媒体１６に記録させることができる。特に、記録制御部５６は、記録媒体１６に対する音声信号の記録中において、境界タイミングを基準とした区間の音声信号と対象静止画像の画像信号とを互いに関連付けた状態で記録媒体１６に記録させることができる。
【００５３】
このような記録を実現する動作の例として、以下に、第１〜第３記録動作例を説明する。第１〜第３記録動作例の中には、上述の動作に対する変形例も含まれうる。
【００５４】
［第１記録動作例］
第１記録動作例を説明する。図６は、第１記録動作例の手順を表すフローチャートである。図６のフローチャートに沿って第１記録動作例を説明する。
【００５５】
まず、ユーザは、撮像部１１の撮影領域内にスクリーンＳＲの全体が収まるように或いは少なくともスライド領域の全体が収まるように録音装置１を録音現場に設置する。その設置後、ステップＳ１１において、録音開始指示に従い、記録制御部５６は、記録媒体１６に対する、マイク部１２の出力音声信号の記録を開始する（即ち録音を開始する）。ユーザは操作部１７に対する所定操作により、録音装置１に録音開始指示を与えることができる。一方で、ステップＳ１２において、テンポラリ画像の周期的な撮影が開始されると共に、上述した方法に従って、一時保存部５１に対するテンポラリ画像の保存が開始される。
【００５６】
続くステップＳ１３において、スライド領域と一致すべき特定閉領域の検出が成されると共にタイトル領域と一致すべき監視対象領域の設定がなされる。監視対象領域の設定後、ステップＳ１４において、境界タイミング設定部５４は、順次得られる文字検出結果に基づき、監視対象領域（タイトル領域）内における文字に変化が発生したか否かを監視する。監視対象領域（タイトル領域）内における文字に変化が発生した場合には、ステップＳ１４からステップＳ１５への遷移が発生するが、そうでない場合には、ステップＳ１４の監視処理が繰り返し実行される。境界タイミング設定部５４により、監視対象領域（タイトル領域）内における文字に変化が発生したタイミングは、境界タイミングに設定される。
【００５７】
ステップＳ１５において、取得部５５は、境界タイミングを基準としたタイミングにおける、撮像部１１の出力画像信号に基づく静止画像を対象静止画像として取得し、記録制御部５６は、その対象静止画像の画像信号を、境界タイミングを基準とした区間の音声信号に関連付けた上で記録媒体１６に記録させる。その後、ステップＳ１４に戻り、音声信号の記録が終了するまで、上述のステップＳ１４及びＳ１５の処理が繰り返し実行される。ユーザは、操作部１７に対する所定操作により、録音装置１に対して音声信号の記録終了を指示することができる。
【００５８】
画像信号と音声信号の関連付け方法として、公知の任意の方法を利用可能である。例えば、音声信号を格納する音声ファイルと対象静止画像の画像信号を格納する画像ファイルを記録媒体１６に記録する際、音声ファイルのヘッダ領域に対象静止画像の画像ファイルのファイル名を保存しておくことにより、或いは、画像ファイルのヘッダ領域に音声ファイルのファイル名を保存しておくことにより、或いは、それらの組み合わせによって、上記関連付けを実現できる。
【００５９】
図７を参照して、境界タイミングと対象静止画像との関係を説明する。図７において、タイミングＴＡ、ＴＢ及びＴＣは、夫々、第１、第２、第３番目の境界タイミングである。記録媒体１６に対する音声信号の記録が成される全区間（即ち全録音区間）の一部であって、且つ、互いに隣接する境界タイミング間の区間を、要素区間と呼ぶ。境界タイミングＴＡ及びＴＢ間の区間及び境界タイミングＴＢ及びＴＣ間の区間の夫々は、要素区間の例である。境界タイミングＴＡ及びＴＢ間の要素区間を記号ＰＡＢにて参照し、境界タイミングＴＢ及びＴＣ間の要素区間を記号ＰＢＣにて参照する。また、境界タイミングＴＢの直前に一時保存部５１に保存されたテンポラリ画像が静止画像ＩＭ［ｎ］であるとする（ｎは２以上の整数）。そうすると、境界タイミングＴＢの直後に一時保存部５１に保存されるテンポラリ画像は静止画像ＩＭ［ｎ＋１］である。
【００６０】
取得部５５は、境界タイミングの直前又は直後の撮影によって得られたテンポラリ画像を対象静止画像として取得することができ、記録制御部５６は、境界タイミングの直前又は直後の要素区間の音声信号に対して対象静止画像を関連付けた上で当該対象静止画像の画像信号を記録媒体１６に記録させることができる。
【００６１】
典型的には例えば、境界タイミングＴＢに注目した場合、
取得部５５は、テンポラリ画像ＩＭ［ｎ］を対象静止画像として取得し、記録制御部５６は、対象静止画像ＩＭ［ｎ］の画像信号と要素区間ＰＡＢの音声信号を互いに関連付けて記録媒体１６に記録させる。但し例えば、取得部５５は、テンポラリ画像ＩＭ［ｎ−ｎＡ］又はＩＭ［ｎ＋ｎＡ］を対象静止画像として取得することが可能であると共に、記録制御部５６は、対象静止画像ＩＭ［ｎ−ｎＡ］又はＩＭ［ｎ＋ｎＡ］の画像信号と要素区間ＰＡＢの音声信号を互いに関連付けて記録媒体１６に記録させることも可能である。ｎＡは自然数であって、例えば１である。
【００６２】
或いは例えば、境界タイミングＴＢに注目した場合、
取得部５５は、テンポラリ画像ＩＭ［ｎ＋１］を対象静止画像として取得し、記録制御部５６は、対象静止画像ＩＭ［ｎ＋１］の画像信号と要素区間ＰＢＣの音声信号を互いに関連付けて記録媒体１６に記録させる。但し例えば、取得部５５は、テンポラリ画像ＩＭ［ｎ＋１−ｎＡ］又はＩＭ［ｎ＋１＋ｎＡ］を対象静止画像として取得することが可能であると共に、記録制御部５６は、対象静止画像［ｎ＋１−ｎＡ］又はＩＭ［ｎ＋１＋ｎＡ］の画像信号と要素区間ＰＢＣの音声信号を互いに関連付けて記録媒体１６に記録させることも可能である。
【００６３】
境界タイミングＴＢに対応する対象静止画像の記録後、要素区間ＰＡＢ内に得られた各テンポラリ画像を一時保存部５１から削除することができる。境界タイミングＴＢに注目して対象静止画像の取得方法及び関連付け方法を説明したが、境界タイミングＴＢ以外の境界タイミングについても同様の方法が適用される。
【００６４】
尚、時系列に並ぶ複数のテンポラリ画像は動画像の一種であるとも考えることができ、各テンポラリ画像は動画像を形成するフレームであるとも考えることができる。そのような考えの下では、取得部５５は、一時保存された動画像のフレームの中から対象静止画像を抽出しているとも言える。
【００６５】
タイトル領域内における文字の変化はスライドタイトルの変化であることが予想され、スライドタイトルの変化はスクリーンＳＲの表示内容の全体の変化を伴うことが多い。図８（ａ）に、要素区間ＰＡＢにおけるスクリーンＳＲの表示内容の例を示し、図８（ｂ）に、要素区間ＰＢＣにおけるスクリーンＳＲの表示内容の例を示す。
【００６６】
［第２記録動作例］
第２記録動作例を説明する。第２記録動作例及び後述の第３記録動作例は、第１記録動作例を基礎とする記録動作例であり、第２及び第３記録動作例の説明において特に述べない事項に関しては、矛盾なき限り、第１記録動作例において説明した事項が第２及び第３記録動作例にも適用される。
【００６７】
第２記録動作例では、テンポラリ画像を比較的低い解像度にて撮影しておくことで使用メモリサイズを抑制し、一方で、境界タイミングの検出後、比較的高い解像度にて静止画像撮影を行うことで対象静止画像を取得する。即ち、境界タイミングＴＢに注目した場合、取得部５５は、境界タイミングＴＢの検出後、速やかに撮像部１１に静止画像撮影を行わせ、これによって撮像部１１から出力された画像信号に基づく高解像度静止画像ＨＲＳＬを対象静止画像として取得する。この際、高解像度静止画像ＨＲＳＬの解像度がテンポラリ画像の解像度よりも高くなるように、取得部５５は撮像部１１を制御することができる。例えば、撮像部１１の固体撮像素子の受光画素信号の一部のみを利用してテンポラリ画像を取得する一方で（即ち、所謂間引き読み出しを利用してテンポラリ画像を取得する一方で）、撮像部１１の固体撮像素子の受光画素信号の全部を利用して高解像度静止画像ＨＲＳＬを取得すると良い。
【００６８】
記録制御部５６は、高解像度静止画像ＨＲＳＬとしての対象静止画像の画像信号と要素区間ＰＢＣの音声信号を互いに関連付けて記録媒体１６に記録させる。但し、記録制御部５６は、高解像度静止画像ＨＲＳＬとしての対象静止画像の画像信号を要素区間ＰＡＢの音声信号に関連付けて記録媒体１６に記録させることも可能である。
【００６９】
［第３記録動作例］
第３記録動作例を説明する。第３記録動作例では、監視対象領域をタイトル領域に制限することなく、スライド領域の全体にまで広げる。即ち例えば、特定閉領域として検出されたスライド領域の全体を監視対象領域に設定する。そして、図６のステップＳ１４において、境界タイミング設定部５４は、順次得られる文字検出結果に基づき、監視対象領域内において何らかの文字が新たに出現したか否かを監視する。監視対象領域内において何らかの文字が新たに出現したと判断された場合には、ステップＳ１４からステップＳ１５への遷移が発生するが、そうでない場合には、ステップＳ１４の監視処理が繰り返し実行される。第３記録動作例において、境界タイミング設定部５４は、監視対象領域内において何らかの文字が新たに出現したタイミングを境界タイミングに設定する。境界タイミングの設定に伴う対象静止画像の取得方法及び関連付け方法は、第１又は第２記録動作例で述べたものと同様である。
【００７０】
図９（ａ）及び（ｂ）に、夫々、第３記録動作例にて想定される、要素区間ＰＡＢにおけるスクリーンＳＲの表示内容の例及び要素区間ＰＢＣにおけるスクリーンＳＲの表示内容の例を示す。尚、第３記録動作例を、上述の第１記録動作例と組み合わせて実施することもできる。
【００７１】
上述したように（図８（ａ）及び（ｂ）参照）、タイトル領域内の文字の変化はスライドタイトルの変化であることが予想され、スライドタイトルの変化はスクリーンＳＲの表示内容の全体の変化を伴うことが多い。故に、タイトル領域内の文字の変化タイミングは、録音現場の状況の移り変わりを示す重要なタイミングであると言える。また、図９（ａ）及び（ｂ）に示されるような文字の出現タイミングも、録音現場の状況の移り変わりを示す重要なタイミングであると言える。
【００７２】
これを考慮し、本実施形態では、文字の変化又は出現タイミングである境界タイミングを画像撮影に値するタイミングであると推測し、境界タイミングの前後の撮影画像を、境界タイミングに対応する要素区間を代表する画像（対象静止画像）として取得及び記録する。換言すれば、監視対象領域内において文字の変化又は出現を検出すると、その変化又は出現に応答して撮像部１１の出力に基づき対象静止画像を取得及び記録する。これにより、手動シャッタ操作に頼ることなく代表的な画像を取得及び記録することができ、ユーザの利便性が向上する。また、手動によるシャッタ操作音が記録音声信号に混入するおそれもなくなる。加えて、境界タイミングに対応して取得された対象静止画像の画像信号を、境界タイミングに対応する要素区間の音声信号と関連付けて記録しておくことで、再生時にそれらを関連付けて読み出す又は再生するといったことが可能となる。
【００７３】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態では、録音装置１の他の使用形態を説明する。第２実施形態及び後述の第３〜第５実施形態は、第１実施形態を基礎とする実施形態であり、第２〜第５実施形態の説明において特に述べない事項に関しては、矛盾なき限り、第１実施形態において説明した事項を第２〜第５実施形態にも適用することができる。第２〜第５実施形態に係る録音装置１の概略全体ブロック図は図１のそれと同様である。尚、以下、監視対象領域内の文字に変化が発生したタイミングを文字変化タイミングと呼び、監視対象領域内において何らかの文字が新たに出現したタイミングを文字出現タイミングと呼ぶ。
【００７４】
第２実施形態においても、ユーザは、撮像部１１の撮影領域内にスクリーンＳＲの全体が収まるように或いは少なくともスライド領域の全体が収まるように録音装置１を録音現場に設置する。そして、第１実施形態と同様、図６のステップＳ１１〜Ｓ１３の処理が実行され、その後、ステップＳ１４において、第１又は第３記録動作例と同様の方法により、文字変化タイミング又は文字出現タイミングが境界タイミングに設定される。
【００７５】
この後、ステップＳ１５において、取得部５５は、対象静止画像を取得するが、この際、以下のような動作を行う。図７を再び参照しつつ、境界タイミングＴＢに注目して、第２実施形態に係る取得部５５の動作を説明する。
【００７６】
境界タイミングＴＢが設定されると、取得部５５は、まず、テンポラリ画像ＩＭ［ｎ］を被処理画像として捉えた上で、被処理画像の画像信号に基づき被処理画像に対して不要物体検出処理を成す。不要物体検出処理は、被処理画像内に不要物体が存在するか否かを検出する処理であり、特にここでは、被処理画像におけるスライド領域内に不要物体が存在するか否かを検出する処理を含む。被処理画像は撮影領域内の撮影画像であるため、不要物体検出処理は、撮影領域内に不要物体が存在するか否かを検出する処理でもある。加えて、テンポラリ画像ＩＭ［ｉ］は、テンポラリ画像ＩＭ［ｉ］の撮影時における撮像部１１の出力画像信号に基づいている（ｉは自然数であり、ｎと一致しうる）。故に、テンポラリ画像ＩＭ［ｉ］を被処理画像として捉えた上での不要物体検出処理は、テンポラリ画像ＩＭ［ｉ］の撮影時における撮像部１１の出力画像信号に基づき、テンポラリ画像ＩＭ［ｉ］の撮影時における撮影領域内に不要物体が存在するか否かを検出する処理とも言える。
【００７７】
不要物体とは、撮像部１１と実空間上におけるスクリーンＳＲとの間に介在する物体を指し、不要物体が存在すると、撮影画像内においてスライド領域の一部又は全部が不要物体により遮蔽される。プレゼンテーションや会議における発言内容を録音する場合、プレゼンテーション等の発表者はスクリーンＳＲの前方を時として横切り、発表者が不要物体として機能することがある。図１０に、不要物体としての発表者がスクリーンＳＲの前方に位置しているときの撮影領域の様子を示す。
【００７８】
人物を不要物体に含めるべく、取得部５５は、不要物体検出処理において、被処理画像の画像信号に基づき被処理画像内に人物が存在しているか否かを判断し、被処理画像内に人物が存在していると判断した場合（特に例えば、被処理画像におけるスライド領域内に不要物体が存在していると判断した場合）、被処理画像に対して不要物体存在判定を成す一方、被処理画像内に人物が存在していない判断した場合（特に例えば、被処理画像におけるスライド領域内に不要物体が存在していないと判断した場合）、被処理画像に対して不要物体不存在判定を成す。
【００７９】
テンポラリ画像ＩＭ［ｎ］に対して不要物体不存在判定を成したとき、取得部５５は、テンポラリ画像ＩＭ［ｎ］を対象静止画像として一時保存部５１から取得する。一方、テンポラリ画像ＩＭ［ｎ］に対して不要物体存在判定を成したとき、取得部５５は、要素区間ＰＡＢにおいて撮影されたテンポラリ画像であって且つテンポラリ画像ＩＭ［ｎ］よりも過去に撮影されたテンポラリ画像を対象静止画像として一時保存部５１から取得する。例えば、テンポラリ画像ＩＭ［ｎ−１］を対象静止画像として一時保存部５１から取得する。取得部５１は、テンポラリ画像ＩＭ［ｎ−１］に対しても不要物体検出処理を成すことができ、テンポラリ画像ＩＭ［ｎ−１］に対しても不要物体存在判定が成される場合には、要素区間ＰＡＢにおいて撮影されたテンポラリ画像であって且つテンポラリ画像ＩＭ［ｎ−１］よりも更に過去に撮影されたテンポラリ画像を対象静止画像として一時保存部５１から取得する。記録制御部５６は、上記の如くして得られた、要素区間ＰＡＢ内のテンポラリ画像に基づく対象静止画像の画像信号を、要素区間ＰＡＢの音声信号に関連付けて記録媒体１６に記録することができる。
【００８０】
或いは、テンポラリ画像ＩＭ［ｎ］に対して不要物体存在判定を成したとき、取得部５５は、要素区間ＰＡＢにおいて撮影された複数のテンポラリ画像を合成することで対象静止画像を生成してもよい。例えば、テンポラリ画像ＩＭ［ｎ］及びＩＭ［ｎ−１］が夫々図１１（ａ）及び（ｂ）のテンポラリ画像３１１及び３１２であって且つテンポラリ画像３１１及び３１２の夫々に対して不要物体存在判定を成したとき、或いは、テンポラリ画像ＩＭ［ｎ］及びＩＭ［ｎ−１］が夫々図１１（ａ）及び（ｃ）のテンポラリ画像３１１及び３１３であって且つテンポラリ画像３１１に対してのみ不要物体存在判定を成したとき、取得部５５は、テンポラリ画像ＩＭ［ｎ］及びＩＭ［ｎ−１］を合成し、合成によって得られた１枚の合成結果画像を対象静止画像として生成してもよい。
【００８１】
この際、取得部５５は、不要物体の除去が成された合成結果画像（換言すれば、不要物体の画像信号を含まない合成結果画像）を生成すると良い。例えば、合成結果画像において、不要物体の画像信号が除去され、除去された部分の画像信号がスライド領域の画像信号にて補完されるように、テンポラリ画像ＩＭ［ｎ］の全体画像領域の内、不要物体が存在している画像領域内の画像信号を、テンポラリ画像ＩＭ［ｎ−１］内の対応画像領域の画像信号にて置き換え、この置き換えの成されたテンポラリ画像ＩＭ［ｎ］を合成結果画像として生成することができる。図１２の画像３２０は、図１１（ａ）及び（ｂ）のテンポラリ画像３１１及び３１２に基づく合成結果画像の例である。
【００８２】
要素区間ＰＡＢにおいて撮影された複数のテンポラリ画像に基づき合成結果画像が生成された場合、当該合成結果画像の画像信号は、記録制御部５６により、対象静止画像の画像信号として要素区間ＰＡＢの音声信号に関連付けて記録媒体１６に記録される。
【００８３】
境界タイミングＴＢ後のテンポラリ画像から要素区間ＰＢＣに対応する対象静止画像を取得する場合に対しても、上述の方法を適用できる。即ち、境界タイミングＴＢが設定されると、取得部５５は、テンポラリ画像ＩＭ［ｎ＋１］を被処理画像として捉え、テンポラリ画像ＩＭ［ｎ＋１］の画像信号に基づきテンポラリ画像ＩＭ［ｎ＋１］に対して不要物体検出処理を成す。
【００８４】
テンポラリ画像ＩＭ［ｎ＋１］に対して不要物体不存在判定を成したとき、取得部５５は、テンポラリ画像ＩＭ［ｎ＋１］を対象静止画像として一時保存部５１から取得する。テンポラリ画像ＩＭ［ｎ＋１］に対して不要物体存在判定を成したとき、取得部５５は、要素区間ＰＢＣにおいて撮影されたテンポラリ画像であって且つテンポラリ画像ＩＭ［ｎ＋１］よりも後に撮影されたテンポラリ画像を対象静止画像として一時保存部５１から取得する。例えば、テンポラリ画像ＩＭ［ｎ＋２］を対象静止画像として一時保存部５１から取得する。取得部５１は、テンポラリ画像ＩＭ［ｎ＋２］に対しても不要物体検出処理を成すことができ、テンポラリ画像ＩＭ［ｎ＋２］に対しても不要物体存在判定が成される場合には、要素区間ＰＢＣにおいて撮影されたテンポラリ画像であって且つテンポラリ画像ＩＭ［ｎ＋２］よりも更に後に撮影されたテンポラリ画像を対象静止画像として一時保存部５１から取得する。記録制御部５６は、上記の如くして得られた、要素区間ＰＢＣ内のテンポラリ画像に基づく対象静止画像の画像信号を、要素区間ＰＢＣの音声信号に関連付けて記録媒体１６に記録することができる。
【００８５】
或いは、テンポラリ画像ＩＭ［ｎ＋１］に対して不要物体存在判定を成したとき、取得部５５は、要素区間ＰＢＣにおいて撮影された複数のテンポラリ画像を合成することで対象静止画像を生成してもよい。合成の方法は上述したものと同様であり、取得部５５は、例えば、テンポラリ画像ＩＭ［ｎ＋１］及びＩＭ［ｎ＋２］を合成し、合成によって得られた１枚の合成結果画像を対象静止画像として生成してもよく、この際、不要物体の除去が成された合成結果画像（換言すれば、不要物体の画像信号を含まない合成結果画像）を生成すると良い。記録制御部５６は、要素区間ＰＢＣにおいて撮影された複数のテンポラリ画像に基づく合成結果画像の画像信号を、対象静止画像の画像信号として、要素区間ＰＢＣの音声信号に関連付けて記録媒体１６に記録することができる。
【００８６】
尚、複数のテンポラリ画像を合成することで合成結果画像を生成する画像合成部が取得部５５に設けられている、と考えても良い。上述の例では、２枚のテンポラリ画像が合成されているが、３枚以上のテンポラリ画像を合成することで合成結果画像を生成しても良い。
【００８７】
上述の如く、本実施形態に係る録音装置１は、監視対象領域内において文字の変化又は出現を検出すると、その変化又は出現に応答して不要物体検出処理を成す。そして、不要物体存在判定が成された場合には、上述の画像合成を成すことができる。従って、境界タイミングの前後において撮影領域内に不要物体が存在していた場合においても、不要物体の除去の成された対象静止画像を取得及び記録することができる。
【００８８】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第３実施形態においては、図１３に示す如く、撮像部１１の撮影方向を変化させることのできる駆動部２０が録音装置１に対して更に設けられていることを想定する。撮像部１１の撮影方向の変化は、撮像部１１の光軸方向の変化に相当する。駆動部２０は、主制御部１３による制御の下で動作する。
【００８９】
駆動部２０は、例えば、撮像部１１の光学系におけるレンズの位置を変化させることで、撮像部１１の撮影方向を変化させる。或いは、撮像部１１の光学系にバリアングルプリズム（不図示）が設けられている場合、駆動部２０は、バリアングルプリズムの屈折角を変化させることで撮像部１１の撮影方向を変化させることもできる。或いは、駆動部２０は、所定軸を回転軸として撮像部１１の全体を回転させることで撮像部１１の撮影方向を変化させてもよい。
【００９０】
プレゼンテーションや会議における発言内容を録音する場合、プレゼンテーション等の発表者の音声を明確に録音すべく、録音装置１をなるだけ発表者の近くに設置することが考えられる。このような場合、スライド領域の全体を一度に撮影領域内に収めるためには広角レンズ等の特殊レンズが必要となり、通常レンズの使用時には、スライド領域の全体を一度に撮影領域内に収めることが難しくなる。
【００９１】
そこで、第３実施形態において、ユーザは、撮像部１１の撮影領域内にスクリーンＳＲの一部のみが収まるように或いはスライド領域の一部のみが収まるように録音装置１を録音現場に設置する。この際、録音装置１の設置段階において、撮影領域内にタイトル領域の全部又は一部が含まれるように録音装置１を設置することが望ましい。録音装置１の設置が成されるときの撮像部１１の撮影方向を基準撮影方向と呼ぶ。録音装置１の設置後、第１実施形態と同様、図６のステップＳ１１〜Ｓ１３の処理が実行され、その後、ステップＳ１４において、第１又は第３記録動作例と同様の方法により、文字変化タイミング又は文字出現タイミングが境界タイミングに設定される。
【００９２】
境界タイミングが設定されると、取得部５５は、境界タイミング後の所定区間を駆動区間に設定する。駆動区間以外の任意のタイミングにおいて、撮像部１１の撮影方向は基準撮影方向に固定されているが、駆動区間内においては駆動部２０を用いて撮像部１１の撮影方向が基準撮影方向から変化せしめられる。境界タイミングに基づく駆動区間の設定後、ステップＳ１５において、第３実施形態に係る取得部５５は、以下のような動作により対象静止画像を生成する。
【００９３】
境界タイミングＴＢに注目し、図１４を参照して、駆動区間における撮影方向の変化状態及び撮影動作を説明する。図１４に示す如く、境界タイミングＴＢに対応する駆動区間には、タイミングＴＢ１〜ＴＢ４が属している。時間が経過するにつれて、タイミングＴＢ１、ＴＢ２、ＴＢ３及びＴＢ４が、この順番で訪れる。タイミングＴＢ１は、境界タイミングＴＢと同じである、或いは、境界タイミングＴＢよりも後のタイミングである。
【００９４】
図１５において、記号ＳＲ［ＴＢ１］、ＳＲ［ＴＢ２］、ＳＲ［ＴＢ３］、ＳＲ［ＴＢ４］が付された破線矩形枠内の領域は、夫々、タイミングＴＢ１、ＴＢ２、ＴＢ３、ＴＢ４における撮影領域を表している。撮影領域ＳＲ［ＴＢ１］、ＳＲ［ＴＢ２］、ＳＲ［ＴＢ３］及びＳＲ［ＴＢ４］は互いに異なる。撮影領域ＳＲ［ＴＢ１］、ＳＲ［ＴＢ２］、ＳＲ［ＴＢ３］及びＳＲ［ＴＢ４］の夫々にはスライド領域の一部が含まれており、スクリーンＳＲの全体又はスライド領域の全体は、撮影領域ＳＲ［ＴＢ１］、ＳＲ［ＴＢ２］、ＳＲ［ＴＢ３］及びＳＲ［ＴＢ４］の合成領域に内包される。録音装置１から見て、撮影領域ＳＲ［ＴＢ２］、ＳＲ［ＴＢ３］及びＳＲ［ＴＢ４］は、夫々、撮影領域ＳＲ［ＴＢ１］の右側、右下側及び下側に位置している。ｉ及びｊを互いに異なる自然数とした場合、後述のイメージモザイキングを精度良く行うために、撮影領域ＳＲ［ＴＢｉ］の一部と撮影領域ＳＲ［ＴＢｊ］の一部を互いに重複させることが好ましい。
【００９５】
駆動部２０は、タイミングＴＢ１、ＴＢ２、ＴＢ３、ＴＢ４における撮影領域が、夫々、撮影領域ＳＲ［ＴＢ１］、ＳＲ［ＴＢ２］、ＳＲ［ＴＢ３］、ＳＲ［ＴＢ４］と一致するように、駆動区間において撮像部１１の撮影方向を変化させる。
【００９６】
一方で、取得部５５は、タイミングＴＢ１、ＴＢ２、ＴＢ３、ＴＢ４の夫々において撮像部１１に静止画像撮影を行わせ、これによって４枚の静止画像３６１〜３６４を得る。静止画像３６１〜３６４は、夫々、タイミングＴＢ１〜ＴＢ４における撮像部１１の出力画像信号に基づく静止画像である。図１６に示す如く、取得部５５は、静止画像３６１〜３６４を合成することにより、対象静止画像として合成結果画像３６０を生成する。合成結果画像３６０の画角は、静止画像３６１〜３６４の夫々の画角よりも大きい。取得部５５は、静止画像３６１〜３６４の共通の被写体が重なり合うように静止画像３６１〜３６４を貼り合わせて合成することで合成結果画像３６０を生成する。このような合成は、一般にイメージモザイキングと呼ばれており、公知のイメージモザイキングの方法を、取得部５５における画像合成処理に利用することができる。
【００９７】
対象静止画像としての合成結果画像３６０の画像信号は、記録制御部５６により、要素区間ＰＢＣの音声信号に関連付けて記録媒体１６に記録される。静止画像３６４の撮影完了後、駆動部２０は、速やかに撮影方向を基準撮影方向に戻す。
【００９８】
尚、複数の静止画像を合成することで合成結果画像３６０を生成する画像合成部が取得部５５に設けられている、と考えても良い。上述の例では、４枚の静止画像が合成されているが、４枚以外であって且つ２枚以上の静止画像を合成することで、対象静止画像としての合成結果画像を生成しても良い。また、本実施形態では、録音装置１から一時保存部５１を割愛することができる。
【００９９】
上述の如く、本実施形態に係る録音装置１は、監視対象領域内において文字の変化又は出現を検出すると、その変化又は出現に応答して駆動部２０を用いて撮像部１１の撮影方向を変化させ、撮影方向が互いに異なる複数の静止画像を合成することで対象静止画像を得る。従って、スライド領域の全体を一度に撮影領域内に収めること出来ない程度に録音装置１を発表者に近づけて配置しているときにおいても、特殊レンズを必要とすることなく、スライド領域の全体を収めた対象静止画像を取得及び記録することができる。
【０１００】
＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。図１７は、第４実施形態に係る録音装置１の一部ブロック図である。第４実施形態に係る録音装置１は、一時保存部５１、取得部５５及び記録制御部５６を有し、更に、無音／有音判定部６１を備える。取得部５５、記録制御部５６及び判定部６１を、例えば、図１の主制御部１３に設けておくことができる。第４実施形態では、判定部６１が境界タイミング設定部として機能する。
【０１０１】
録音装置１には、無音区間スキップ機能が備えらており、ユーザは操作部１７に対する所定操作により、無音区間スキップ機能を有効にすることができる。無音区間スキップ機能が有効になっているとき、ユーザにより録音指示が成されていても、無音区間中においては音声信号の記録が休止される。
【０１０２】
ユーザにより録音開始指示が録音装置１に与えられた後において、又は、常に、判定部６１には、マイク部１２の出力音声信号が与えられる。判定部６１は、マイク部１２の出力音声信号に基づき、任意の区間が有音区間及び無音区間の何れに属するのかを判定する。有音区間は、マイク部１２の出力音声信号の信号レベルが比較的高い区間であり、無音区間は、マイク部１２の出力音声信号の信号レベルが比較的低い区間である。少なくとも、無音区間に属する、マイク部１２の出力音声信号の信号レベル又はパワーは、有音区間に属する、マイク部１２の出力音声信号の信号レベル又はパワーよりも低い。
【０１０３】
任意の区間を有音区間及び無音区間のどちらかに分類する方法として、任意の公知方法（例えば、特開２００９−２７８６２０号公報、特開２０１０−１１４７７７号公報又は特開２００３−２８３９９３号に記載された方法）を利用することができる。例えば、判定部６１は、マイク部１２の出力音声信号の信号レベル又はパワーが所定の閾値ＴＨ未満である区間を無音区間であると判定し、マイク部１２の出力音声信号の信号レベル又はパワーが閾値ＴＨ以上である区間を有音区間であると判定する。判定部６１の判定結果は、取得部５５及び記録制御部５６に与えられ、対象静止画像の取得及び記録制御並びに音声信号の記録制御に利用される。
【０１０４】
具体的な動作の流れを説明する。ユーザは、まず、第１実施形態で述べたような方法に従って録音装置１を設置し、更に、操作部１７を介して、無音区間スキップ機能を有効するための指示と録音開始指示を録音装置１に与える。これらの指示を受けると、判定部６１は、マイク部１２の出力音声信号に基づき現時点が有音区間及び無音区間のどちらに属しているのかを順次判定し、判定結果を、順次、取得部５５及び記録制御部５６に伝達する。記録制御部５６は、判定部６１による判定結果に基づき、無音区間中においては記録媒体１６に対する音声信号の記録を休止し、有音区間中の音声信号のみを記録媒体１６に記録させる（但し、画像信号の記録は別途成されうる）。即ち、無音区間から有音区間への切り替わりを想定した場合、記録制御部５６は、無音区間から有音区間への切り替わりタイミングより音声信号を記録媒体１６に記録させる（換言すれば、無音区間から有音区間への切り替わりに応答して音声信号を記録媒体１６に記録させる）。
【０１０５】
一方、無音区間から有音区間への切り替わりタイミングは、本実施形態において境界タイミングとして取り扱われ、取得部５５は、無音区間から有音区間への切り替わりタイミング（即ち、境界タイミング）を基準としたタイミングにおける撮像部１１の出力画像信号から対象静止画像を取得する。換言すれば、取得部５５は、無音区間から有音区間への切り替わりに応答して、撮像部１１の出力画像信号に基づき対象静止画像を取得する。
【０１０６】
対象静止画像の取得方法は、第１〜第３実施形態の何れかにて示された方法と同様である。この際、図１８に示す如く（図７も参照）、無音区間から有音区間への切り替わりタイミングを境界タイミングＴＢとみなし、且つ、境界タイミングＴＢを挟む無音区間及び有音区間が夫々区間ＰＡＢ及び区間ＰＢＣであるとみなした上で、第１〜第３実施形態の何れかにて示された方法を適用すればよい。そうすると例えば、切り替わりタイミングＴＢに対応して、取得部５５は、
テンポラリ画像ＩＭ［ｎ］若しくはＩＭ［ｎ−１］又は高解像度静止画像ＨＲＳＬを対象静止画像として取得することができる（第１実施形態参照）、或いは、
第２又は第３実施形態における合成結果画像を対象静止画像として取得することができる、或いは、
単純に切り替わりタイミングＴＢ後に撮像部１１に静止画像撮影を行わせることで対象静止画像を取得しても良い。
【０１０７】
無音区間から有音区間への切り替わりタイミングＴＢに対応して取得された対象静止画像の画像信号は、記録制御部５６により、切り替わりタイミングＴＢの直後の有音区間（図１８の例において有音区間ＰＢＣ）の音声信号に関連付けて記録媒体１６に記録される。
【０１０８】
また、有音区間から無音区間への切り替わりタイミングを境界タイミングとして取り扱うようにしてもよい。この場合、取得部５５は、有音区間から無音区間への切り替わりタイミング（即ち、境界タイミング）を基準としたタイミングにおける撮像部１１の出力画像信号から対象静止画像を取得する。換言すれば、取得部５５は、有音区間から無音区間への切り替わりに応答して、撮像部１１の出力画像信号に基づき対象静止画像を取得する。即ち例えば、図１９に示す如く、区間ＰＡＢ及び区間ＰＢＣが夫々無音区間及び有音区間であって且つ無音区間ＰＡＢの次の無音区間ＰＣＤが有音区間ＰＢＣの直後に存在し、且つ、有音区間ＰＢＣから無音区間ＰＣＤへの切り替わりタイミングが境界タイミングＴＣである場合、切り替わりタイミングＴＣに対応して、取得部５５は、
境界タイミングＴＣの直前に得られたテンポラリ画像を対象静止画像として取得することができる、或いは、
区間ＰＢＣ中の複数のテンポラリ画像を第２実施形態で述べた方法にて合成することで得た合成結果画像を対象静止画像として取得することができる。
【０１０９】
有音区間から無音区間への切り替わりタイミングＴＣに対応して取得された対象静止画像の画像信号は、記録制御部５６により、切り替わりタイミングＴＣの直前の有音区間（図１９の例において有音区間ＰＢＣ）の音声信号に関連付けて記録媒体１６に記録される。
【０１１０】
無音区間において次々と画像撮影を行って記録する必要性は少なく、一方で、有音区間において多数の画像撮影及び記録を制限なく行うと必要な記録容量が増大する。他方、録音現場において、無音区間と有音区間との間の切り替わりタイミングは、録音現場の状況の移り変わりを示す重要なタイミング（画像撮影に値するタイミング）であると推測される。従って、上記の切り替わりタイミングを基準として対象静止画像を取得するようにすれば、画像撮影に値すると推測されるタイミングの映像情報を音声信号と共に記録することができ、ユーザの利便性が向上する。また、手動によるシャッタ操作音が記録音声信号に混入するおそれもなくなる。加えて、切り替わりタイミングに対応して取得された対象静止画像の画像信号を、切り替わりタイミングに対応する有音区間の音声信号と関連付けて記録しておくことで、再生時にそれらを関連付けて読み出す又は再生するといったことが可能となる。
【０１１１】
＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。第５実施形態では、第１、第２、第３又は第４実施形態の方法によって記録媒体１６に記録された音声信号及び画像信号の再生方法を説明する。任意の音声信号の再生は、スピーカ部１８を用いて成される。
【０１１２】
図２０に示す如く、記録媒体１６に記録された音声信号の全区間を全記録区間４００と呼ぶ。全記録区間４００中に、互いに異なる記録区間４０１及び４０２が含まれており、記録区間４０１及び４０２の音声信号に対して、夫々、対象静止画像４１１及び４１２の画像信号が関連付けて記録媒体１６に記録されていることを想定する。記録区間４０１及び４０２の夫々は全記録区間４００の一部であるため、対象静止画像４１１及び４１２の画像信号は、全記録区間４００にも対応付けられている。対象静止画像４１１及び４１２の夫々は再生されうる。対象静止画像の再生は、表示部１５に対象静止画像を表示することで実現される。対象静止画像の表示は、対象静止画像そのものの表示であっても良いし、対象静止画像の縮小画像である対象静止画像のサムネイルの表示であってもよい。
【０１１３】
この想定下において、記録媒体１６の記録音声信号の再生を指示する操作が操作部１７に成された場合、主制御部１３に含まれる再生制御部２２（図２１参照）は、時系列に沿って記録音声信号を再生させる。この際、再生制御部２２は、記録区間４０１の音声信号が再生されるときにおいて同時に対象静止画像４１１を再生し（即ち、対象静止画像４１１を表示部１５にて表示させ）、記録区間４０２の音声信号が再生されるときにおいて同時に対象静止画像４１２を再生する（即ち、対象静止画像４１２を表示部１５にて表示させる）。
【０１１４】
また、記録音声信号を再生可能なモードにおいて、再生制御部２２は、全記録区間４００に対応付けられた対象静止画像４１１及び４１２をリスト表示することができる。対象静止画像４１１及び４１２のリスト表示は、例えば、対象静止画像４１１及び４１２（例えば、対象静止画像４１１及び４１２のサムネイル）を表示部１５に一覧表示することを含む。上記リスト表示が成されているときにおいて、操作部１７は、表示部１５に表示された何れかの対象静止画像を選択する選択操作を受け付ける。ユーザは、選択操作を、音声信号再生中のタイミングを含む、任意のタイミングに成すことができる。
【０１１５】
そして、ユーザが当該選択操作によって対象静止画像４１１を選択した際、再生制御部２２は、対象静止画像４１１に関連付けられた音声信号、即ち記録区間４０１の音声信号をスピーカ部１８を用いて再生する。同様に、ユーザが当該選択操作によって対象静止画像４１２を選択した際、再生制御部２２は、対象静止画像４１２に関連付けられた音声信号、即ち記録区間４０２の音声信号をスピーカ部１８を用いて再生する。
【０１１６】
このような選択操作及び選択操作に従う音声信号再生を可能にしておくことにより、ユーザは、映像情報を参照して、視聴を望む記録区間を素早く選択することが可能となる。
【０１１７】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１８】
［注釈１］
上述の各実施形態では、撮像部１１の撮影領域内にスクリーンＳＲが収められることを想定しているが、スクリーンＳＲの代わりに、表示部１５と異なる表示装置における表示画面、ホワイトボード又は黒板などが、撮影領域内に収められうる。この場合、表示部１５と異なる表示装置における表示画面の表示領域、ホワイトボード内の領域、又は、黒板内の領域を、特定閉領域として検出すればよい。
【０１１９】
［注釈２］
録音装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて録音装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【０１２０】
［注釈３］
各実施形態において具体化された録音装置１は、一般的に、ＩＣレコーダと呼ばれることもある。録音装置１を、画像撮影機能付き録音装置、音声記録装置又は音声信号記録装置と呼ぶこともできる。録音装置１は、画像の撮影機能をも備えているため、録音装置１はデジタルカメラに分類される装置であっても良く、また、録音装置１は、画像の撮影機能と録音機能を併せ持つ任意の電子機器でありうる。録音装置及びデジタルカメラも電子機器の一種である。この他、録音装置１として機能する電子機器は、携帯端末、ゲーム機器、パーソナルコンピュータ、携帯電話機、電子書籍リーダ、電子辞書などでありうる。
【符号の説明】
【０１２１】
１ 録音装置
１１ 撮像部
１２ マイク部
１３ 主制御部
１６ 記録媒体
２０ 駆動部
２２ 再生制御部
５１ 一時保存部
５２ 特定領域検出部
５３ 文字検出部
５４ 境界タイミング設定部
５５ 対象静止画像取得部
５６ 記録制御部
【特許請求の範囲】
【請求項１】
撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備え、記録媒体に対する前記音声信号の記録中に前記撮像部を用いて対象静止画像を取得及び記録可能な電子機器において、
前記撮影領域内における文字の変化又は出現に応答して前記撮像部の出力に基づく前記対象静止画像を取得する主制御部を更に備えた
ことを特徴とする電子機器。
【請求項２】
前記主制御部は、前記対象静止画像を、前記撮影領域内における文字の変化又は出現のタイミングを基準とした区間の音声信号に関連付けて前記記録媒体に記録させる
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記撮影領域内における文字の変化又は出現を検出する検出部を更に備え、
前記検出部は、前記撮像部の出力に基づき前記撮影領域内において所定の画像特徴を有する閉領域を検出し、前記閉領域内において前記文字の変化又は出現を検出する
ことを特徴とする請求項１又は請求項２に記載の電子機器。
【請求項４】
前記主制御部は、前記撮影領域内における文字の変化又は出現に応答して前記撮影領域内に所定物体が存在しているか否かを前記撮像部の出力に基づいて判断し、
前記撮影領域内に前記所定物体が存在していると判断した場合、前記撮像部の出力に基づく、撮影時刻が互いに異なる複数の静止画像を用いて前記対象静止画像を生成する
ことを特徴とする請求項１〜請求項３の何れかに記載の電子機器。
【請求項５】
前記撮像部の撮影方向を変化させる駆動部を更に備え、
前記主制御部は、前記撮影領域内における文字の変化又は出現に応答して前記駆動部を用いて前記撮影方向を変化させ、これによって前記撮影方向が互いに異なる複数の静止画像を前記撮像部から取得し、前記複数の静止画像を合成することで前記対象静止画像を生成する
ことを特徴とする請求項１〜請求項３の何れかに記載の電子機器。
【請求項６】
前記対象静止画像を表示する表示部と、
前記表示部に表示された前記対象静止画像を選択する操作を受ける操作部と、を更に備え、
前記主制御部は、前記操作が成されたとき、前記対象静止画像に関連付けられた前記音声信号を再生する再生制御部を有する
ことを特徴とする請求項２に記載の電子機器。
【請求項７】
前記主制御部は、前記撮影領域内における文字の変化又は出現のタイミングを境界タイミングとして用い、前記境界タイミングを基準としたタイミングにおける前記撮像部の出力に基づき、前記対象静止画像を取得する
ことを特徴とする請求項１〜請求項６の何れかに記載の電子機器。
【請求項８】
撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備え、前記音声信号を記録可能であるとともに前記撮像部を用いて対象静止画像を取得及び記録可能な電子機器において、
前記音声信号に基づき無音区間から有音区間への切り替わりに応答して前記音声信号を記録媒体に記録させる一方で、前記無音区間から前記有音区間への切り替わり又は前記有音区間から前記無音区間の次の無音区間への切り替わりに応答して前記撮像部の出力に基づく前記対象静止画像を取得する主制御部を更に備えた
ことを特徴とする電子機器。
【請求項９】
撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備えた電子機器に用いられる方法であって、且つ、記録媒体に対する前記音声信号の記録中に前記撮像部を用いて対象静止画像を取得及び記録する録音／撮影方法において、
前記撮影領域内における文字の変化又は出現に応答して前記撮像部の出力に基づく前記対象静止画像を取得する
ことを特徴とする録音／撮影方法。
【請求項１０】
撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備えた電子機器に用いられる方法であって、且つ、前記音声信号の記録とともに前記撮像部を用いて対象静止画像を取得及び記録する録音／撮影方法において、
前記音声信号に基づき無音区間から有音区間への切り替わりに応答して前記音声信号を記録媒体に記録させる一方で、前記無音区間から前記有音区間への切り替わり又は前記有音区間から前記無音区間の次の無音区間への切り替わりに応答して前記撮像部の出力に基づく前記対象静止画像を取得する
ことを特徴とする録音／撮影方法。
【請求項１】
撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備え、記録媒体に対する前記音声信号の記録中に前記撮像部を用いて対象静止画像を取得及び記録可能な電子機器において、
前記撮影領域内における文字の変化又は出現に応答して前記撮像部の出力に基づく前記対象静止画像を取得する主制御部を更に備えた
ことを特徴とする電子機器。
【請求項２】
前記主制御部は、前記対象静止画像を、前記撮影領域内における文字の変化又は出現のタイミングを基準とした区間の音声信号に関連付けて前記記録媒体に記録させる
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記撮影領域内における文字の変化又は出現を検出する検出部を更に備え、
前記検出部は、前記撮像部の出力に基づき前記撮影領域内において所定の画像特徴を有する閉領域を検出し、前記閉領域内において前記文字の変化又は出現を検出する
ことを特徴とする請求項１又は請求項２に記載の電子機器。
【請求項４】
前記主制御部は、前記撮影領域内における文字の変化又は出現に応答して前記撮影領域内に所定物体が存在しているか否かを前記撮像部の出力に基づいて判断し、
前記撮影領域内に前記所定物体が存在していると判断した場合、前記撮像部の出力に基づく、撮影時刻が互いに異なる複数の静止画像を用いて前記対象静止画像を生成する
ことを特徴とする請求項１〜請求項３の何れかに記載の電子機器。
【請求項５】
前記撮像部の撮影方向を変化させる駆動部を更に備え、
前記主制御部は、前記撮影領域内における文字の変化又は出現に応答して前記駆動部を用いて前記撮影方向を変化させ、これによって前記撮影方向が互いに異なる複数の静止画像を前記撮像部から取得し、前記複数の静止画像を合成することで前記対象静止画像を生成する
ことを特徴とする請求項１〜請求項３の何れかに記載の電子機器。
【請求項６】
前記対象静止画像を表示する表示部と、
前記表示部に表示された前記対象静止画像を選択する操作を受ける操作部と、を更に備え、
前記主制御部は、前記操作が成されたとき、前記対象静止画像に関連付けられた前記音声信号を再生する再生制御部を有する
ことを特徴とする請求項２に記載の電子機器。
【請求項７】
前記主制御部は、前記撮影領域内における文字の変化又は出現のタイミングを境界タイミングとして用い、前記境界タイミングを基準としたタイミングにおける前記撮像部の出力に基づき、前記対象静止画像を取得する
ことを特徴とする請求項１〜請求項６の何れかに記載の電子機器。
【請求項８】
撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備え、前記音声信号を記録可能であるとともに前記撮像部を用いて対象静止画像を取得及び記録可能な電子機器において、
前記音声信号に基づき無音区間から有音区間への切り替わりに応答して前記音声信号を記録媒体に記録させる一方で、前記無音区間から前記有音区間への切り替わり又は前記有音区間から前記無音区間の次の無音区間への切り替わりに応答して前記撮像部の出力に基づく前記対象静止画像を取得する主制御部を更に備えた
ことを特徴とする電子機器。
【請求項９】
撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備えた電子機器に用いられる方法であって、且つ、記録媒体に対する前記音声信号の記録中に前記撮像部を用いて対象静止画像を取得及び記録する録音／撮影方法において、
前記撮影領域内における文字の変化又は出現に応答して前記撮像部の出力に基づく前記対象静止画像を取得する
ことを特徴とする録音／撮影方法。
【請求項１０】
撮影によって得られた撮影領域内の画像信号を出力する撮像部及び収音によって得られた音声信号を出力するマイク部を備えた電子機器に用いられる方法であって、且つ、前記音声信号の記録とともに前記撮像部を用いて対象静止画像を取得及び記録する録音／撮影方法において、
前記音声信号に基づき無音区間から有音区間への切り替わりに応答して前記音声信号を記録媒体に記録させる一方で、前記無音区間から前記有音区間への切り替わり又は前記有音区間から前記無音区間の次の無音区間への切り替わりに応答して前記撮像部の出力に基づく前記対象静止画像を取得する
ことを特徴とする録音／撮影方法。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図５】
【公開番号】特開２０１２−２１７０６３（Ｐ２０１２−２１７０６３Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−８１４８６（Ｐ２０１１−８１４８６）
【出願日】平成２３年４月１日（２０１１．４．１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年４月１日（２０１１．４．１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]