動画再生制御装置および動画再生制御方法
【課題】カメラとテレビ等の再生装置を接続した場合であっても、良好な音声再生環境となる動画再生制御装置および動画再生制御方法を提供する。
【解決手段】外部装置と接続可能であると共に、画像および音声に関するデータを記憶する記憶媒体１１３を備えた動画再生装置における動画再生制御方法であって、外部装置の音に関する装置情報に関するデータを取得し（Ｓ３）、記憶媒体１１３に記憶されたデータから再生対象とするデータを選択し、選択されたデータの再生を指示すると共に、外部装置に音声に関するデータを送信し（Ｓ７）、データの再生中に、外部装置の音に関する制御の変更操作を検出し（Ｓ１５）、変更操作の結果と、上記取得した装置情報に基づいて、外部装置に変更データを送信する（Ｓ１７〜Ｓ２７）。
【解決手段】外部装置と接続可能であると共に、画像および音声に関するデータを記憶する記憶媒体１１３を備えた動画再生装置における動画再生制御方法であって、外部装置の音に関する装置情報に関するデータを取得し（Ｓ３）、記憶媒体１１３に記憶されたデータから再生対象とするデータを選択し、選択されたデータの再生を指示すると共に、外部装置に音声に関するデータを送信し（Ｓ７）、データの再生中に、外部装置の音に関する制御の変更操作を検出し（Ｓ１５）、変更操作の結果と、上記取得した装置情報に基づいて、外部装置に変更データを送信する（Ｓ１７〜Ｓ２７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画再生制御装置および動画再生制御方法に関し、詳しくは、動画撮影時に一緒に録音した音声と共に動画を再生可能な動画再生制御装置および動画再生制御方法に関する。
【背景技術】
【０００２】
動画撮影時に画像と共に音声も併せて記録されており、この記録された画像と音声を、ＨＤＭＩ経由でテレビに接続し、画像を楽しむことができる。また、オーディオ装置においては、配置された複数のスピーカに出力する音声データの音源の音像定位を調節することも行われている。例えば、特許文献１に開示のオーディオ装置においては、表示面をユーザがタッチした位置が音像定位となるように、各スピーカに出力する音量を制御することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２７２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラで撮影した動画をテレビに接続して再生する場合、風切り音が強調されてしまうことがある。これは、カメラに内蔵されたスピーカは低域での再現性が悪く、風切り音が見立たないのに対して、テレビでの視聴環境では重低音強調スピーカが接続されていて、低域の再現性が向上するためである。
【０００５】
また、カメラで撮影した風景などの動画では、サラウンド感を強調したなり、また雑踏の中で撮影した動画では、特定の被写体から発生られる音声を強調したくなる場合がある。このように、撮影状況に応じて、種々の調節を行いたくなるが、全体のボリュームを調節するか、または特許文献１に開示されているような音像の定位を調節するしかなく、ユーザの要望にこたえることができなかった。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、カメラとテレビ等の再生装置を接続した場合であっても、良好な音声再生環境となる動画再生制御装置および動画再生制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる動画再生制御装置は、画像および音声に関するデータを記憶する記憶部と、外部装置との間で少なくとも音声に関するデータを通信すると共に、上記外部装置の音に関する装置情報および制御を変更する変更データを通信する通信部と、上記記憶部に記憶されたデータから再生対象とするデータを選択する再生選択部と、上記選択されたデータの再生を指示する再生指示部と、上記外部装置の音に関する装置情報および制御を表示する表示部と、上記データの再生中に、上記外部装置の音に関する制御の変更操作を検出する操作検出部と、を具備し、上記操作検出部によって検出された変更操作に応じて、上記通信部は上記変更データを送信する。
【０００８】
第２の発明に係わる動画再生制御装置は、上記第１の発明において、上記再生中のデータの変化するタイミングを再生前の時間に把握する特性把握部と、上記特性把握部によって把握された上記タイミングに基づいて、上記再生中のデータの変化を調整する可能性のあるタイミングとなる前に、調整するデータに関する操作の告知表示を行う表示制御部と、を更に有する。
【０００９】
第３の発明に係わる動画再生制御装置は、上記第１の発明において、上記通信部の通信動作を制御する通信制御部を更に有し、上記通信部で、少なくとも音声再生に関する上記外部装置の特性データを受信する場合は、その外部装置自身と、その外部装置に接続された他の装置の特性を１つの外部装置から受信し、または各外部装置の特性を各々の装置から受信する。
【００１０】
第４の発明に係わる動画再生制御装置は、上記第１の発明において、上記再生中に操作指示された操作内容と再生データとのタイミングとを関連付けた操作指示データを記憶する。
第５の発明に係わる動画再生制御装置は、上記第４の発明において、上記記憶した操作指示データを読み出すことを読み出す。
【００１１】
第６の発明に係わる動画再生制御装置は、上記第１の発明において、上記表示部に重畳して設けられたタッチパネルを更に有し、上記操作は、タッチパネル上の位置に応じた外部装置に対する音のパラメータを変化させるなぞり操作を検出する。
【００１２】
第７の発明に係わる動画再生制御方法は、外部装置と接続可能であると共に、画像および音声に関するデータを記憶する記憶部を備えた動画再生装置における動画再生制御方法であって、上記外部装置の音に関する装置情報に関するデータを取得し、上記記憶部に記憶されたデータから再生対象とするデータを選択し、上記選択されたデータの再生を指示すると共に、上記外部装置に音声に関するデータを送信し、上記データの再生中に、上記外部装置の音に関する制御の変更操作を検出し、上記変更操作の結果と、上記取得した装置情報に基づいて、上記外部装置に変更データを送信する。
【００１３】
第８の発明に係わる動画再生制御装置は、動画の画像および音声に関するデータを記憶する記憶部と、スピーカを備えた外部装置との間で少なくとも音声に関するデータおよび外部装置の制御に関するデータを通信する通信部と、上記記憶部に記憶された画像および音声に関するデータを再生する再生部と、上記データの再生中に、上記外部装置の音に関する制御の変更操作を検出する操作検出部と、上記操作検出部によって検出された変更操作に応じたデータを生成し、上記通信部を介して上記外部装置にデータを送信する制御部と、を有する。
【００１４】
第９の発明に係わる動画再生制御装置は、上記第８の発明において、上記通信部を介して、上記外部装置における音声再生に関する再生環境情報を取得し、上記制御部は、上記再生環境情報および上記変更操作に応じて上記データを生成する。
第１０の発明に係わる動画再生制御装置は、上記第８の発明において、上記制御部は、上記記憶部に記憶された音声に関する情報に基づいて、低周波域の音声が増加する場合には、低周波域の音声の増加に先だって、上記表示部に告知を行う。
第１１の発明に係わる動画再生制御装置は、上記第８の発明において、上記操作検出部は、上記変更操作のパターンを検出し、上記制御部は、上記変更操作のパターンに応じて上記送信するデータを変える。
第１２の発明に係わる動画再生制御装置は、上記第８の発明において、上記制御部は、上記操作検出部における変更操作に応じた変更結果を記憶し、この記憶に基づいて、次回の制御を行う。
【発明の効果】
【００１５】
第１、第７および第８の発明によれば、カメラとテレビ等の再生装置を接続した場合であっても、良好な音声再生環境となる動画再生制御装置および動画再生制御方法を提供することができる。
【００１６】
また、第２の発明によれば、予告表示を行うので、操作いつ操作がなされるかを把握しやすい。第３の発明によれば、一つの装置で複数装置の使用を把握することができ、かつ、それらの装置の制御を簡単に行うことができる。第４の発明によれば、次回の再生の際に、前回の操作内容に沿った再生を行うことができる。第５の発明によれば、複数の再生状態を再現することができる。第６の発明によれば、画面に余計な操作表示を行うことなく、直感的な操作を行うことができる。
【００１７】
さらに、第９の発明によれば、外部装置の再生環境に応じて適切な再生を行うことができる。第１０の発明によれば、事前に低周波域の音声の増加を告知するので、ユーザは意図に応じて調節することができる。第１１の発明によれば、パターンによって直感的に外部装置の音声を変更することができる。第１２の発明によれば、次回の再生の際に、前回の操作内容に基づいて再生を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係わるカメラの電気回路を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラと、テレビ、サラウンドシステムの接続関係を示すブロック図である。
【図３】本発明の一実施形態に係わるカメラと、テレビ、サラウンドシステムの接続関係の他の例を示すブロック図である。
【図４】本発明の一実施形態に係わるカメラにおいて、表示部のタッチパネルにおける操作例を示す図である。
【図５】本発明の一実施形態に係わるカメラの動作を示すフローチャートである。
【図６】本発明の一実施形態に係わるカメラの動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラにおいて、ユーザのタッチ操作毎の制御内容の関係を示す図である。
【図８】本発明の一実施形態に係わるカメラの低周波ノイズ量の測定動作を示すフローチャートである。
【図９】本発明の一実施形態に係わるカメラにおいて、ＬＦＥ補正を示すタイムチャートである。
【図１０】本発明の一実施形態に係わるカメラにおいて、操作を記憶し、次回の再生再におけるＬＦＥ補正を示すタイムチャートである。
【発明を実施するための形態】
【００１９】
以下、図面に従って本発明を適用したカメラ１００を用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラ１００は、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。
【００２０】
レリーズ釦または動画釦の操作時には、静止画または動画の画像データ、および音声データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。また、カメラをテレビやサラウンドシステム等の外部の再生装置に接続可能であり、静止画や動画および音声をテレビで再生可能である。
【００２１】
図１は、本実施形態に係わるカメラの電気回路を示すブロック図である。カメラ本体１００内のバス１１１には、撮像部１０１、画像処理部１０３、表示部１０５、操作部１０７、ＣＰＵ（Central Processing Unit）１０９、記憶媒体１１３、通信部１１５、オーディオ制御部１１９、ＲＯＭ（Read Only Memory）１２５、ＲＡＭ（Random Access Memory）１２７が接続されている。
【００２２】
撮像部１０１は、撮影レンズを通過した被写体像を受光し、この被写体像を静止画や動画の画像データに変換する。変換された画像データはバス１１１に出力される。画像処理部１０３は、撮像部１０１によって変換された画像データを取り込み、各種画像処理を施す。画像処理としては、画像データのデジタル的増幅（デジタルゲイン調整処理）、色補正、ガンマ（γ）補正、コントラスト補正、ライブビュー表示用画像生成等の各種の画像処理を行なう。画像処理を施した画像データは、バス１１１に出力される。画像処理部１０３は、後述するオーディオ制御部１１９と共に、記憶媒体１１３から読み出された画像データおよび音声データを再生する再生部としての機能を果たす。
【００２３】
表示部１０５は、カメラ本体１００の背面等に配置され、液晶モニタ、有機ＥＬ等のモニタ画面を有する。表示部１０５には、ライブビュー表示、メニュー画面表示、記録済み画像の再生表示等、各種画像の表示がなされる。メニュー画面では十字釦やＯＫ釦を操作することにより種々の設定を行うことができる。また、表示部１０５は、テレビ２００やサラウンドシステム３００（図２、図３参照）等の外部装置の音に関する装置情報および制御を表示する。
【００２４】
この表示部１０５には表示画面に重畳してタッチパネルが配置されている。ユーザの指等によってタッチされ、またなぞり操作がなされた場合には、タッチ検出部からタッチ位置となぞり操作の軌跡に関する検知信号が出力される。このタッチ検出部は、画像および音声に関するデータの再生中に、スピーカを備えた外部装置の音に関する制御の変更操作を検出する操作検出部としての機能を果たす。この操作検出部によって、タッチパネル上の位置に応じた外部装置に対する音のパラメータを変化させるなぞり操作を検出する。
【００２５】
操作部１０７は、撮影者がカメラに指示を与えるためのスイッチ、ダイヤル等の部材であり、パワースイッチ、レリーズ釦、動画釦、十字釦、ＯＫ釦、メニュー釦、再生釦、再生停止釦等の各種操作部材が配置されている
【００２６】
ＣＰＵ１０９は、ＲＯＭ１２５に記憶されているプログラムに従ってカメラ全体の制御を行う。ＣＰＵ１０９は、記憶媒体１１３に記憶されたデータから再生対象とするデータを選択する再生選択部と、選択されたデータの再生を指示する再生指示部としての機能を果たす。また、ＣＰＵ１０９は、再生中のデータの変化するタイミングを再生前の時間に把握する特性部把握部としての機能を果たし、また、把握されたタイミングに基づいて、再生中のデータの変化を調整する可能性のあるタイミングとなる前に、調整するデータに関する操作の告知表示を行う表示制御部としての機能も果たす。
【００２７】
また、ＣＰＵ１０９は、通信部１１５で音声再生に関する外部装置の特性データを受信する場合には、外部装置自身と、外部装置に接続された他の装置の特性を１つの外部装置から受信し（後述する図２参照）、または各外部装置の特性を各々の装置から受信する（後述する図３参照）通信制御部としての機能を果たす。また、ＣＰＵ１０９は、操作検出部としての機能を果たす表示部１０５によって検出された変更操作に応じたデータを生成し、上記通信部を介して上記外部装置にデータを送信する制御部としての機能を果たす。
【００２８】
記憶媒体１１３は、カメラ本体１００に着脱自在または内蔵された不揮発性の記録用の媒体であり、画像や音声に関するデータの記憶を行う。また、後述する操作履歴の記録も行う。
【００２９】
通信部１１５は、テレビ２００やサラウンドシステム３００等の外部装置との間で画像および音声に関するデータを通信する共に、外部装置の音に関する装置情報および制御を変更する変更データを通信する。
【００３０】
オーディオ制御部１１９は、信号処理部１１９ａ、Ａ／Ｄ変換部１１９ｂ、Ｄ／Ａ変換部１１９ｃを有する。Ａ／Ｄ変換部１１９ｂはアナログ音声信号をデジタル音声データに変換し、信号処理部１１９ａに出力する。
【００３１】
信号処理部１１９ａは、ＤＳＰ（デジタルシグナルプロセッサ：Digital Signal Processor）等を含み、デジタル音声データを調整し、Ｄ／Ａ変換部１１９ｃに出力する。信号処理部１１９ａは、音声の指向性を変更し、またハイパスフィルタやローパスフィルタ等によって周波数特性を変更し、またゲイン変更することにより音量の制御も行う。サラウンドシステムのように多チャンネルで構成された音声データの場合には、チャンネルごとに制御が可能である。Ｄ／Ａ変換部１１９ｃは、信号処理部１１９ａによって処理されたデジタル音声データをアナログ音声信号に変換し、この音声信号を内蔵スピーカ１２３出力する。
【００３２】
内蔵マイク１２１は、ステレオマイクであり、周囲の音声をアナログ音声信号に変換し、また内蔵スピーカ１２３は、モノラルスピーカであり、信号処理部１１９ａにおいて処理された音声データに基づいて、音声を発生する。
【００３３】
ＲＯＭ１２５は、フラッシュメモリ等、電気的に書き換え可能な不揮発性メモリである。ＲＯＭ１２５には、カメラ全体を制御するためのプログラムや、カメラの調整値等が記憶されている。ＲＡＭ１２７は、ＳＤＲＡＭ等の揮発性のメモリであり、画像データや音声データ等の一時記憶用として用いられる。
【００３４】
次に、カメラ１００、テレビ２００、サラウンドシステム３００からなる再生装置システムについて、図２を用いて説明する。テレビ２００は、音声を発生するためのステレオ式の内蔵スピーカ２０１を有する。カメラ１００とテレビ２００との間は、通信ライン４０１によって結ばれており、カメラ１００内の通信部１１５によって、カメラ１００とテレビ２００との間で双方向通信を行う。通信ライン４０１としては、ＨＤＭＩ、無線ＬＡＮ（ＤＬＮＡ）等がある。
【００３５】
サラウンドシステム３００は、サラウンドスピーカ３０１を有し、多チャンネル録音された音声データを用いて臨場感ある音声再生を行うことができる。テレビ２００とサラウンドシステム３００との間は、通信ライン４０３によって結ばれており、両者の間で双方通信を行う。通信ライン４０３としては、ＨＤＭＩ、光デジタルオーディオＩ／Ｆ等がある。
【００３６】
このように、カメラ１００とテレビ２００の間で双方向通信を行い、テレビ２００とサラウンドシステム３００の間で双方通信を行うことができる。図２に示すように、テレビ２００はサラウンドシステム３００に対して、再生環情報取得の信号を出力し、サラウンドシステム３００は再生環境情報応答を出力する。また、カメラ１００は、テレビ２００に対して、再生環境情報取得の信号を出力し、テレビ２００から再生環境情報応答を出力する。テレビ２００がサラウンドシステム３００の再生環境情報を取得している場合には、カメラ１００はサラウンドシステム３００の再生環境情報も併せて取得する。再生環境情報としては、スピーカの有無、スピーカ制御の可否、現在の音量設定値等である。また、スピーカが存在する場合には、右、左、中央、サラウンド、ＬＦＥの各スピーカ等、スピーカの種別についての情報もある。なお、ここで、ＬＦＥ（Low Frequency Effect）は、重低音強調を意味する。
【００３７】
なお、テレビ２００とサラウンドシステム３００の間が、光デジタルオーディオケーブルで接続されている場合には、テレビ２００はサウンドシステム３００から情報取得を行うことができない。この場合には、テレビ２００は、カメラ１００からの再生情報環境の問い合わせに対して、テレビ自身の内蔵スピーカ２０１の状態を応答するか、または光デジタルオーディオケーブルが接続状態になっている場合には、「サラウンド再生可能、個別の制御は不可能」等と応答する。
【００３８】
カメラ１００は、テレビ２００とサラウンドシステム３００の再生環境情報を取得すると、再生制御方法の決定を行う。すなわち、テレビ２００およびサラウンドシステム３００の内のいずれの装置で、どのような制御可能か、例えば、音量の調節がスピーカごとに可能か否かを決定する。この決定は、ＣＰＵ１０９によってなされる。
【００３９】
図２に示した例では、カメラ１００から直接、サラウンドシステム３００と通信ラインが接続されていなかった。しかし、図３に示すように、通信ライン４０５を介して、カメラ１００が、テレビ２００およびサラウンドシステム３００と、直接、接続するようにしてもよい。この場合には、カメラ１００とテレビ２００の間の通信、およびテレビ２００とサラウンドシステム３００の間の通信は、ＨＤＭＩ、無線ＬＡＮ（ＤＬＮＡ）等で双方向で行われる。
【００４０】
図３に示した通信方式を採用すると、カメラ１００から、テレビ２００およびサラウンドシステム３００との間で直接、通信を行うことができ、カメラ１００はそれぞれの再生環境情報を直接、取得することができる。
【００４１】
次に、ユーザが表示部１０５の画面をタッチすることにより行うタッチ操作について、図４を用いて説明する。本実施形態においては、表示部１０５の表示画面上で、右回りになぞり操作を行うと音量を増加させ、逆に左回りになぞり操作を行うと、音量を減少させる。また、特定の部位のタッチは、画像拡大や画像移動の指示に使用されることが多いことから、本実施形態においては、回すという操作をボリューム操作に割り当てている。なお、特定部位をタッチし、画像を拡大後、画像拡大した位置に基づいて再度操作された場合に、ズーム音量操作とみなす等、回す操作以外であってもよい。
【００４２】
図４（ａ）〜（ｃ）は、表示部１０５に、再生画像が表示されている様子を示しており、図４（ａ）は被写体５１が中央に表示され、図４（ｂ）は被写体５１に加えて被写体５３が表示され、図４（ｃ）は風切り音と共に雨５５が降っている様子を示している。特定の被写体を認識していない第１の操作１０がなされた場合には、背景音量操作とみなす。例えば、図４（ａ）（ｂ）に示す例では、被写体５１や被写体５３とは関係ない背景部分で第１の操作１０がなされており、また図４（ｃ）では、天空の背景部分で第１の操作１０がなされている。
【００４３】
また、中央付近を小さく回す、または特定の被写体（顔、ペット等）を認識した部分での第２の操作２０は、ズーム音量操作とみなす。例えば、図４（ａ）に示す例では、中央付近で第２の操作２０がなされており、図４（ｂ）では、中央付近および被写体５３上で第２の操作２０がなされ、図４（ｃ）では中央付近で第２の操作２０がなされている。また、中央付近を大きく回す第３の操作３０は、全体音量操作とみなす。例えば、図４（ａ）〜（ｃ）に示す例では、中央付近で大きく回す第３の操作３０がなされている。
【００４４】
また、風切り音などの低周波成分が多い動画を再生する場合には、ＬＥＦアイコン４１が表示部１０５に表示される。このＬＥＦアイコン４１付近を回す第４の操作４０を行うと、ＬＥＦ音量操作とみなす。ＬＥＦ音量操作を行うことにより、重低音強調スピーカの音量を調節することができる。ＬＥＦアイコン４１の表示タイミングは、好適には、低周波成分が大きくなる再生数秒前から検知して事前警告的に表示する。ただし、重低音が大げさと感じるか否かは個人差があることから、常時表示させてもよく、また表示画面上の付近をタッチしたときに表示するようにしてもよい。
【００４５】
次に、本実施形態における、再生制御の動作について、図５および図６を用いて説明する。図５および図６に示すフローチャートは、ＲＯＭ１２５に記憶されているプログラムに従ってＣＰＵ１０９によって実行される。また、ここに示すフローチャートは、主としてテレビ２００またはサラウンドシステム３００が接続されている場合における動画再生時の音量調節に関する処理について示している。
【００４６】
再生動作を開始すると、まず、通信接続を行う（Ｓ１）。ここでは、テレビ２００と通信接続を行う。なお、図３に示すように、サラウンドシステム３００と直接通信接続を行うことができる場合には、テレビ２００およびサラウンドシステム３００と通信接続を行う。
【００４７】
通信接続を行うと、次に、初期通信を行う（Ｓ３）。ここでは、図３および図４を用いて説明したように、テレビ２００およびサラウンドシステム３００からの再生環境情報を取得する。
【００４８】
初期通信を行うと、次に、現在の音量設定値を取得する（Ｓ５）。スピーカ別の音量設定は、動画コンテンツに依存する。そこで、動画再生終了後には、後述するステップＳ３１において、動画コンテンツに依存する再生環境を初期状態に戻すようにしている。このためステップＳ５において、初期状態における音量設定値を取得し、ＲＯＭ１２５またはＲＡＭ１２７に一時記憶している。
【００４９】
現在の音量設定値を取得すると、次に、再生コンテンツ選択および再生指示を行う（Ｓ７）。動画等の再生コンテンツは、操作部１０７の内の再生釦を操作することにより、表示部１０５にサムネイル表示等がなされる。ユーザが希望するサムネイルをタッチする等により、再生選択部として機能するＣＰＵ１０９によって再生コンテンツが選択され、再生指示部として機能するＣＰＵ１０９によって再生指示がなされる。テレビ２００やサラウンドシステム３００が接続されている場合には、通信部１１５を介して、画像データおよび音声データが出力される。
【００５０】
なお、テレビ２００やサラウンドシステム３００に画像データや音声データを出力すると、カメラ１００の表示部１０５に再生画像が表示されない場合がある。この場合には、ユーザは、後述する画像操作や音量操作等を、表示部１０５の表示画面上において、被写体像に対応する位置でタッチ操作等を行うものとする。
【００５１】
再生指示がなされると、次に画像操作が検出されたか否かが判定される（Ｓ９）。ここでは、例えば、表示部１０５の表示画面上をタッチすると画像拡大または画像回転の指示がなされる等、画像操作がなされたか否かを判定する。この判定の結果、画像操作が検出された場合には、操作に応じた画像操作を行う（Ｓ１１）。なお、画像の拡大操作がなされた場合には、ズーム音量操作を併せて行うようにしてもよい。
【００５２】
ステップＳ１１において画像操作を行うと、またはステップＳ９における判定の結果、画像操作の検出がなされなかった場合には、次に、低周波音測定を行う（Ｓ１３）。ここでは、音声データから低周波音のノイズ量を測定する。低周波音のノイズが所定値を超えると、ハイパスフィルタ処理を行い、またＬＦＥアイコン４１の表示を行う。この低周波音測定の詳しい動作については、図８を用いて後述する。
【００５３】
低周波音の測定を行うと、次に、音量操作が検出された可能か否かを判定する（Ｓ１５）。図４を用いて説明したように、ユーザはテレビ２００やサラウンドシステム３００の音量を調節したい場合には、表示部１０５の表示画面上で第１の操作ないし第４の操作を行う。このステップでは、これらの操作がなされたか否かを、表示部１０５のタッチ検出部からの検知信号に基づいて判定する。なお、後述するステップＳ３３において操作履歴を記録しており、この操作履歴をこのステップにおいて、記憶媒体１１３等から読み出し、参照するようにしてもよい。
【００５４】
ステップＳ１５における判定の結果、音量操作が検出された場合には、次に、スピーカ別の音量制御が可能か否の判定を行う（Ｓ１７）。ステップＳ３における初期通信において、テレビ２００やサラウンドシステム３００の再生環境に関する情報を取得しているので、この情報に従って判定する。一般に、サラウンドシステム３００が接続されている場合には、スピーカ別に音量制御可能と判定され、一方、テレビ２００のみしか接続されていない場合には、スピーカ別に音量制御が可能でないと判定される。あるいは、左右のレベル調整が可能と判定してもよい。
【００５５】
ステップＳ１７における判定の結果、スピーカ別に音量制御可能であった場合にスピーカ別に音量設定を行う（Ｓ１９）。このステップで設定を変更すると、この変更情報は通信部１１５を介して、テレビ２００やサラウンドシステム３００等の外部装置に送信される。一方、スピーカ別に音量制御が可能でなかった場合には、コンテンツに対するフィルタ設定や指向性を調節する信号処理１を行う（Ｓ２１）。信号処理１は信号処理部１１９ａにおいて行われ、この処理された音声信号は、通信部１１５を介して、外部装置に送信される。ステップＳ１９およびＳ２１における処理の詳細については、図７を用いて後述する。
【００５６】
ステップＳ１９またはＳ２１における処理を実行すると、次に、全体の音量制御が可能か否かの判定を行う（Ｓ２３）。ここでは、テレビ２００またはサラウンドシステム３００のスピーカの全体の音量制御について、ステップＳ３における初期通信で取得した情報に従って判定する。
【００５７】
ステップＳ２３における判定の結果、全体の音量制御が可能であった場合には、全体の音量設定を行う（Ｓ２５）。ステップＳ２５において設定を変更すると、この変更情報は通信部１１５を介して、テレビ２００やサラウンドシステム３００等の外部装置に送信される。一方、全体の音量制御が可能でなかった場合には、コンテンツに対するゲインを調節する信号処理２を行う（Ｓ２７）。信号処理２は信号処理部１１９ａにおいて行われ、この処理された音声信号は、通信部１１５を介して、外部装置に送信される。ステップＳ２５およびＳ２７における処理の詳細については、図７を用いて後述する。
【００５８】
ステップＳ２５またはＳ２７における処理を行うと、またはステップＳ１５における判定の結果、音量操作が検出されなかった場合には、次に、コンテンツ再生終了か否かの判定を行う（Ｓ２９）。動画コンテンツの再生中に終了する場合には、カメラの操作部１０７の再生停止釦等を操作するので、このステップでは再生停止釦等が操作されたか否かを判定する。また、動画コンテンツの最後まで再生を行った場合にも再生終了と判定される。この判定の結果、コンテンツ再生終了でなかった場合には、ステップＳ９に戻り、動画再生を続行する。
【００５９】
ステップＳ２９における判定の結果、コンテンツ再生終了であった場合には、次に、スピーカ別音量を再生前の状態に戻す（Ｓ３１）。前述したステップＳ５において、再生開始前の音量設定値を一時記憶している。このステップＳ３１では、一時記憶した音量設定値に基づいてスピーカ別音量を再生前の音量設定値を設定する。
【００６０】
続いて、操作履歴の記録を行う（Ｓ３３）。音量操作がなされるたびに操作履歴を一時的に記憶しており、このステップでは、再生中に操作指示された操作内容と再生データとのタイミングとを関連付けた操作指示データを記録する。具体的には、テレビ２００やサラウンドシステム３００等の再生デバイスの再生環境、各スピーカの相対音量、操作タイミング等を記録する。記録場所としては、同一コンテンツ内にメタデータとして記録してもよく、またデータベース内に登録するようにしてもよい。この操作履歴は、後述する図１０のように、操作履歴を考慮した処理を行う場合に使用する。なお、本実施形態においては、コンテンツ再生終了後にまとめて記録しているが、音量操作がなされるたびに記憶媒体１１３に記録するようにしてもよい。この場合には、ステップＳ２９を処理する前に記録する。
【００６１】
操作履歴の記録を行うと、次に、再生終了か否かの判定を行う（Ｓ３５）。ステップＳ２９においてコンテンツの再生が終了すると、表示部１０５にはサムネイル表示等がなされる。再生モードを終了する場合には、ユーザは再生釦を再度、操作する等再生終了操作を実行する。
【００６２】
ステップＳ３５における判定の結果、再生終了でなかった場合には、ステップ７に戻り、再生モードを続行する。一方、再生終了であった場合には、次に、切断を行う（Ｓ３７）。ここでは、通信ライン４０１、４０５等を介しての通信を終了し、動画再生時の音声再生の終了処理を行う。
【００６３】
このように、本フローにおいては、動画再生の際に、テレビ２００やサラウンドシステム３００等の外部装置と接続されている場合には、通信によって、外部装置の再生環境情報を取得している（Ｓ３）。表示部１０５において音量操作がなされた場合には（Ｓ２０）、取得した再生環境情報に応じて、音声データの調節を行うようにしている（Ｓ１５〜Ｓ２７）。このため、再生環境に応じて適切な音量の調節を行うことができる。
【００６４】
なお、本フローにおいて、いずれか１つの方法で音量を制御するようにしていた。しかし、両者を混合して行うハイブリット方式で制御するようにしてもよい。例えば、図４（ｂ）において左側の被写体５３の音量を大きくする操作がなされた場合に、左スピーカの音量を増加させる制御に加えて、信号処理で左側の音量を強調するように、他の音をフィルタリングするようにしてもよい。これは、中央の被写体から発生られる音は、左右両方のスピーカから均等に聴こえている可能性があり、左スピーカの音量を大きくするだけでは、ユーザの操作の意図を反映することができない場合もあるからである。また、信号処理をおこなうと、その分、時間的な遅延が生じ、処理量によっては映像再生との同期がずれてくる。よって、信号処理量に応じて映像再生のタイミングも適宜調整する。
【００６５】
次に、ステップＳ１９、Ｓ２１、Ｓ２６、Ｓ２７における処理について、図７を用いて説明する。それぞれのステップにおける処理は、ステップＳ１５において検出したユーザの音量操作によって異なる。
【００６６】
まず、背景音量操作、すなわち第１の操作がなされた場合について説明する。図４を用いて説明したように、背景音量操作は、特定の被写体と関係のない背景部分で行われた操作である。この場合、スピーカ別に音量設定を行うことができる場合には（Ｓ１９）、サラウンドシステム３００のサラウンドスピーカ３０１の音量を増減する。一方、スピーカ別に音量設定できない場合には（Ｓ２１）、信号処理部１１９ａが、信号処理１として、指向性を調節することによりワイド強調処理を行う。
【００６７】
また、ズーム音量操作、すなわち第２の操作は、特定の被写体の部分で行われた操作である。この場合、スピーカ別に音量設定を行うことができる場合には（Ｓ１９）、操作された場所に応じて、左・右・中央のいずれかのスピーカの音量を増減する。一方、スピーカ別に音量設定できない場合には（Ｓ２１）、信号処理部１１９ａが、信号処理１として、指向性を調節することにより指向性を持たせる処理を行う。
【００６８】
また、ＬＦＥ音量操作、すなわち第４の操作は、ＬＦＥアイコン４１で行われた操作である。この場合、スピーカ別に音量設定を行うことができる場合には（Ｓ１９）、ＬＦＥスピーカの音量を増減する。一方、スピーカ別に音量設定できない場合には（Ｓ２１）、信号処理部１１９ａがイコライザの設定を変えることにより低音強調度合いを変更する。
【００６９】
また、全体音量操作、すなわち、第２の操作は、画面の中央付近を大きく回す操作である。この場合、全体の音量調節が可能であれば（Ｓ２５）、全体音量を増減する。一方、全体の音量調節が可能でない場合には（Ｓ２７）、信号処理部１１９ａが、信号処理２として、音声データにゲインをかけて、全体音量調節を行う。
【００７０】
次に、ステップＳ１３における低周波音測定の動作について、図８に示すフローチャートを用いて説明する。低周波音のフローに入ると、まず、Ｌ−ＰＣＭ音源か否かを判定する（Ｓ４１）。ここでは、オーディオ制御部１１９によって制御され、通信部１１５を通じて外部のテレビ２００やサラウンドシステム３００に出力される音声データが、リニアＰＣＭの規格に沿っているか否かを判定する。
【００７１】
ステップＳ４１における判定の結果、Ｌ−ＰＣＭ音源でなかった場合には、Ｌ−ＰＣＭへ変換する（Ｓ４３）。ここでは、信号処理部１１９ａによって、音声データをＬ−ＰＣＭに変換する。
【００７２】
Ｌ−ＰＣＭへの変換を行うと、またはステップＳ４１における判定の結果、Ｌ−ＰＣＭ音源であった場合には、次に、ＬＦＥチャンネル有りか否かの判定を行う（Ｓ４５）。例えば、５．１ｃｈのサラウンド信号は、通常のスピーカ用に５チャンネル、超低音域用スピーカとして１チャンネル（０．１としてカウント）（ＬＦＥチャンネル）から構成される。ここでは、ＣＰＵ１０９が、サラウンド信号等の音声データのチャンネル構成に基づいて、Ｌ−ＰＣＭ音源中に重低音強調を行うためのＬＦＥチャンネルがあるか否かを判定する。
【００７３】
ステップＳ４５における判定の結果、ＬＦＥチャンネルが有る場合には、ＬＦＥチャンネルを選択する（Ｓ４７）。一方、ＬＦＥチャンネルが無かった場合には、次に、センタチャンネルまたはモノラルか否かを判定する（Ｓ４９）。ここでは、信号処理部１１９ａが、音声データのチャンネル構成に基づいて、中央用のセンタチャンネルが有るか、またはモノラル信号かを判定する。
【００７４】
ステップＳ４９における判定の結果、センタチャンネル有りまたはモノラルであった場合には、センタチャンネルまたはモノラルデータの選択を行う（Ｓ５３）。センタチャンネルが無く、モノラルでもなかった場合には、左チャンネルと右チャンネルの音声データの加算値の絶対値を２で除算した値、すなわち｜（Left ＋ Right）／２｜を算出する（Ｓ５１）。ここでは、右チャンネルと左チャンネルの平均値を求める。
【００７５】
ステップＳ５１またはＳ５３における処理を行うと、次に、低周波成分（ＬＰＦ）の抽出を行う（Ｓ５５）。ここでは、信号処理部１１９ａがローパスフィルタ処理により、低周波成分を抽出する。
【００７６】
ステップＳ４７においてＬＦＥチャンネルを選択すると、またはステップＳ５５において低周波成分を抽出すると、次に、低周波域の音の大きさを算出する（Ｓ５９）。ここでは、信号処理部１１９ａが、所定フレーム単位で低周波域のノイズ量を算出していく。例えば、サンプリング周波数が４８ＫＨｚで１０２４サンプルを１フレームとすると、
１フレーム＝１０２４÷４８Ｋ＝約２１．３ｍｓｅｃ
となる。
【００７７】
ノイズ量の算出方法としては、低周波成分を抽出し、ＲＭＳ（Root Mean Square）値を算出するやり方がある。ＲＭＳ値は下記式より求める。
【００７８】
【数１】
【００７９】
低周波域の大きさ（ノイズ量）を算出すると、元のフローに戻る。算出した低周波域の大きさが所定値より大きくなることが予測されると、ＣＰＵ１０９は、表示部１０５にＬＦＥアイコン４１を表示する。すなわち、特性把握部として機能するＣＰＵ１０９は、再生に先だって記憶媒体１１３から音声データを読み出し、ノイズ量がＬＦＥ閾値を超える期間が長期間になると予測される場合には、ＬＦＥアイコン４１を告知表示する。
【００８０】
次に、ステップＳ５９において算出された低周波域の音の大きさ（ノイズ量）に基づいて行うＬＦＥアイコン４１の表示とユーザによるＬＦＥ音量操作（第４の操作）について、図９および図１０を用いて説明する。
【００８１】
図９は、横軸に時間の経過を示し、縦軸に低周波域の音の大きさ（ノイズ量）を示すグラフである。図９に示す例では、動画の撮影時に、風雨が次第に強くなり、その後、天気が回復している。時刻ｔ１において、突発的に、ノイズ量が増加し、ＨＰＦ閾値およびＬＦＥ閾値を超えた値となる。このときには、ステップＳ１９において、信号処理部１１９ａのハイパスフィルタによってノイズ音が低減される信号処理１が実行される。
【００８２】
時刻ｔ３になると、再び、突発的にＨＰＦ閾値を超えるノイズ量となり、このときはステップＳ１９において、信号処理部１１９ａのハイパスフィルタによってノイズ音が低減される信号処理１が行われる。このように、時刻ｔ１、ｔ３において、瞬間的なノイズが発生するが、このような極短期間、発生するノイズについては、ＨＰＦによってノイズ音を低減する。
【００８３】
次に、時刻ｔ７になると、ノイズ量がＬＦＥ閾値を超える。このノイズは時刻ｔ７から時刻ｔ１１まで、長期にわたって続く、このような長期間のノイズについて、フィルタ処理を行うと、フィルタ切換えのタイミングで違和感を生ずる。そこで、本実施形態においては、長期間のノイズについては、ＬＦＥアイコン４１を表示し、ユーザに処理の判断を委ねることにしている。
【００８４】
動画再生時であることから、数フレーム先の情報を読み取ることによって、ＬＦＥアイコン４１を前倒しで表示することが可能である。図９に示す例においては、ＬＦＥ閾値を超える時刻ｔ７に先だって、時刻ｔ５においてＬＦＥアイコン４１の表示を行い、ＬＦＥ閾値より低下する時刻ｔ１１にＬＦＥアイコン４１を消去する。また、図９に示す例においては、ユーザは時刻ｔ９において、ＬＦＥ音量操作（第４の操作）を行い、３ｄＢ、音量を低下させている。なお、前述したように、動画の再生中に、ユーザが行った操作履歴は、ステップＳ３３（図６参照）において、記録される。
【００８５】
動画再生中のユーザによる操作履歴は記録されるので、次回の動画再生にあたっては、記録された操作履歴を活用して行う。図１０は、図９と同じ動画を、再度、再生する場合を示している。操作履歴はステップＳ１５において操作される際に読み出されるが、それ以外にも、ステップ１３で低周波音測定を行った際にも操作履歴を読み出す。時刻ｔ１、ｔ３において、図９の場合と同様、ＨＰＦ閾値を超えるノイズ量が生ずるので、この場合には、ＨＰＦによってノイズ量を低減させる。
【００８６】
先の動画再生の際に、ノイズ量がＨＰＦ閾値を超えた時刻ｔ６になると、テレビ２００やサラウンドシステム３００等の再生デバイスに対して、重低音強調（ＬＦＥ）として、−３ｄＢを指示し、またＬＦＥ閾値は、＋３ｄＢとする。前回の動画再生の際にユーザが風切り音を不快と感じ、ＬＦＥ操作で−３ｄＢと音量を低減したことから、今回の動画再生では、ユーザの意思を尊重して、自動的に同じような音量の調節を行っている。また、ＬＦＥ閾値を高くすることにより、アイコン４１の表示を行わなくなり、画面がアイコンで見難くなることを防止する。
【００８７】
以上説明したように、本発明の一実施形態においては、外部装置の音に関する制御の変更操作を検出し、この検出された変更操作に応じた変更データを外部装置に送信するようにしている。カメラとテレビ等の再生装置を接続した場合に、良好な音声再生環境とすることができる。また、直感的な操作を様々な組合せで簡単に行うことができる。
【００８８】
また、本発明の一実施形態においては、再生中のデータの変化するタイミングを再生前の時間で把握し、調整が必要な場合には事前に告知するようにしている（図１０参照）。このため、ユーザが操作すべき時期を事前に認識でき、操作がし易い。
【００８９】
さらに、本発明の一実施形態においては、外部装置の再生環境情報を取得し、この再生環境情報に応じて、音声に関するデータを外部装置に出力している。このため、外部装置にあった再生を行うことができる。
【００９０】
さらに、本発明の一実施形態においては、表示部における第１の操作ないし第４の操作によって、外部装置の音声の再生を制御するようにしている。このため、直感的な操作を行うことができる。
【００９１】
なお、本発明の一実施形態においては、表示部において第１の操作ないし第４の操作によるパターンによって音の制御を行っていた。しかし、このパターンはこれらに限らずの他のパターンを加えてもよく、また一部のパターンを省略してもよい。また、タッチによって入力していたが、これに限らず、十字釦とカーソルの組合せ等、他の入力方法でもかまわない。
【００９２】
また、本発明の一実施形態においては、風切り音等の低周波域の音声を事前に検知していたが（Ｓ１３）、高周波域等、他の周波数域を検知し、事前に告知するようにしてもよい。この場合、この周波数域に応じた音量調節を行えるようにしておく。
【００９３】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、再生可能な外部装置と接続可能な機器であれば、本発明を適用することができる。
【００９４】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００９５】
１０・・・第１の操作、２０・・・第２の操作、３０・・・第３の操作、４０・・・第４の操作、４１・・・ＬＦＥアイコン、５１・・・被写体、５３・・・被写体、５５・・・雨、１００・・・デジタルカメラ、１０１・・・撮像部、１０３・・・画像処理部、１０５・・・表示部、１０７・・・操作部、１０９・・・ＣＰＵ、１１１・・・バス、１１３・・・記憶媒体、１１５・・・通信部、１１９・・・オーディオ制御部、１１９ａ・・・信号処理部、１１９ｂ・・・Ａ／Ｄ変換部、１１９ｃ・・・Ｄ／Ａ変換部、１２１・・・内蔵マイク、１２３・・・内蔵スピーカ、１２５・・・ＲＯＭ、１２７・・・ＲＡＭ、２００・・・テレビ（ＴＶ）、２０１・・・内蔵スピーカ、３００・・・サラウンドシステム、３０１・・・サラウンドスピーカ、４０１・・・通信ライン、４０３・・・通信ライン、４０５・・・通信ライン
【技術分野】
【０００１】
本発明は、動画再生制御装置および動画再生制御方法に関し、詳しくは、動画撮影時に一緒に録音した音声と共に動画を再生可能な動画再生制御装置および動画再生制御方法に関する。
【背景技術】
【０００２】
動画撮影時に画像と共に音声も併せて記録されており、この記録された画像と音声を、ＨＤＭＩ経由でテレビに接続し、画像を楽しむことができる。また、オーディオ装置においては、配置された複数のスピーカに出力する音声データの音源の音像定位を調節することも行われている。例えば、特許文献１に開示のオーディオ装置においては、表示面をユーザがタッチした位置が音像定位となるように、各スピーカに出力する音量を制御することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２７２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラで撮影した動画をテレビに接続して再生する場合、風切り音が強調されてしまうことがある。これは、カメラに内蔵されたスピーカは低域での再現性が悪く、風切り音が見立たないのに対して、テレビでの視聴環境では重低音強調スピーカが接続されていて、低域の再現性が向上するためである。
【０００５】
また、カメラで撮影した風景などの動画では、サラウンド感を強調したなり、また雑踏の中で撮影した動画では、特定の被写体から発生られる音声を強調したくなる場合がある。このように、撮影状況に応じて、種々の調節を行いたくなるが、全体のボリュームを調節するか、または特許文献１に開示されているような音像の定位を調節するしかなく、ユーザの要望にこたえることができなかった。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、カメラとテレビ等の再生装置を接続した場合であっても、良好な音声再生環境となる動画再生制御装置および動画再生制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる動画再生制御装置は、画像および音声に関するデータを記憶する記憶部と、外部装置との間で少なくとも音声に関するデータを通信すると共に、上記外部装置の音に関する装置情報および制御を変更する変更データを通信する通信部と、上記記憶部に記憶されたデータから再生対象とするデータを選択する再生選択部と、上記選択されたデータの再生を指示する再生指示部と、上記外部装置の音に関する装置情報および制御を表示する表示部と、上記データの再生中に、上記外部装置の音に関する制御の変更操作を検出する操作検出部と、を具備し、上記操作検出部によって検出された変更操作に応じて、上記通信部は上記変更データを送信する。
【０００８】
第２の発明に係わる動画再生制御装置は、上記第１の発明において、上記再生中のデータの変化するタイミングを再生前の時間に把握する特性把握部と、上記特性把握部によって把握された上記タイミングに基づいて、上記再生中のデータの変化を調整する可能性のあるタイミングとなる前に、調整するデータに関する操作の告知表示を行う表示制御部と、を更に有する。
【０００９】
第３の発明に係わる動画再生制御装置は、上記第１の発明において、上記通信部の通信動作を制御する通信制御部を更に有し、上記通信部で、少なくとも音声再生に関する上記外部装置の特性データを受信する場合は、その外部装置自身と、その外部装置に接続された他の装置の特性を１つの外部装置から受信し、または各外部装置の特性を各々の装置から受信する。
【００１０】
第４の発明に係わる動画再生制御装置は、上記第１の発明において、上記再生中に操作指示された操作内容と再生データとのタイミングとを関連付けた操作指示データを記憶する。
第５の発明に係わる動画再生制御装置は、上記第４の発明において、上記記憶した操作指示データを読み出すことを読み出す。
【００１１】
第６の発明に係わる動画再生制御装置は、上記第１の発明において、上記表示部に重畳して設けられたタッチパネルを更に有し、上記操作は、タッチパネル上の位置に応じた外部装置に対する音のパラメータを変化させるなぞり操作を検出する。
【００１２】
第７の発明に係わる動画再生制御方法は、外部装置と接続可能であると共に、画像および音声に関するデータを記憶する記憶部を備えた動画再生装置における動画再生制御方法であって、上記外部装置の音に関する装置情報に関するデータを取得し、上記記憶部に記憶されたデータから再生対象とするデータを選択し、上記選択されたデータの再生を指示すると共に、上記外部装置に音声に関するデータを送信し、上記データの再生中に、上記外部装置の音に関する制御の変更操作を検出し、上記変更操作の結果と、上記取得した装置情報に基づいて、上記外部装置に変更データを送信する。
【００１３】
第８の発明に係わる動画再生制御装置は、動画の画像および音声に関するデータを記憶する記憶部と、スピーカを備えた外部装置との間で少なくとも音声に関するデータおよび外部装置の制御に関するデータを通信する通信部と、上記記憶部に記憶された画像および音声に関するデータを再生する再生部と、上記データの再生中に、上記外部装置の音に関する制御の変更操作を検出する操作検出部と、上記操作検出部によって検出された変更操作に応じたデータを生成し、上記通信部を介して上記外部装置にデータを送信する制御部と、を有する。
【００１４】
第９の発明に係わる動画再生制御装置は、上記第８の発明において、上記通信部を介して、上記外部装置における音声再生に関する再生環境情報を取得し、上記制御部は、上記再生環境情報および上記変更操作に応じて上記データを生成する。
第１０の発明に係わる動画再生制御装置は、上記第８の発明において、上記制御部は、上記記憶部に記憶された音声に関する情報に基づいて、低周波域の音声が増加する場合には、低周波域の音声の増加に先だって、上記表示部に告知を行う。
第１１の発明に係わる動画再生制御装置は、上記第８の発明において、上記操作検出部は、上記変更操作のパターンを検出し、上記制御部は、上記変更操作のパターンに応じて上記送信するデータを変える。
第１２の発明に係わる動画再生制御装置は、上記第８の発明において、上記制御部は、上記操作検出部における変更操作に応じた変更結果を記憶し、この記憶に基づいて、次回の制御を行う。
【発明の効果】
【００１５】
第１、第７および第８の発明によれば、カメラとテレビ等の再生装置を接続した場合であっても、良好な音声再生環境となる動画再生制御装置および動画再生制御方法を提供することができる。
【００１６】
また、第２の発明によれば、予告表示を行うので、操作いつ操作がなされるかを把握しやすい。第３の発明によれば、一つの装置で複数装置の使用を把握することができ、かつ、それらの装置の制御を簡単に行うことができる。第４の発明によれば、次回の再生の際に、前回の操作内容に沿った再生を行うことができる。第５の発明によれば、複数の再生状態を再現することができる。第６の発明によれば、画面に余計な操作表示を行うことなく、直感的な操作を行うことができる。
【００１７】
さらに、第９の発明によれば、外部装置の再生環境に応じて適切な再生を行うことができる。第１０の発明によれば、事前に低周波域の音声の増加を告知するので、ユーザは意図に応じて調節することができる。第１１の発明によれば、パターンによって直感的に外部装置の音声を変更することができる。第１２の発明によれば、次回の再生の際に、前回の操作内容に基づいて再生を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係わるカメラの電気回路を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラと、テレビ、サラウンドシステムの接続関係を示すブロック図である。
【図３】本発明の一実施形態に係わるカメラと、テレビ、サラウンドシステムの接続関係の他の例を示すブロック図である。
【図４】本発明の一実施形態に係わるカメラにおいて、表示部のタッチパネルにおける操作例を示す図である。
【図５】本発明の一実施形態に係わるカメラの動作を示すフローチャートである。
【図６】本発明の一実施形態に係わるカメラの動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラにおいて、ユーザのタッチ操作毎の制御内容の関係を示す図である。
【図８】本発明の一実施形態に係わるカメラの低周波ノイズ量の測定動作を示すフローチャートである。
【図９】本発明の一実施形態に係わるカメラにおいて、ＬＦＥ補正を示すタイムチャートである。
【図１０】本発明の一実施形態に係わるカメラにおいて、操作を記憶し、次回の再生再におけるＬＦＥ補正を示すタイムチャートである。
【発明を実施するための形態】
【００１９】
以下、図面に従って本発明を適用したカメラ１００を用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラ１００は、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。
【００２０】
レリーズ釦または動画釦の操作時には、静止画または動画の画像データ、および音声データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。また、カメラをテレビやサラウンドシステム等の外部の再生装置に接続可能であり、静止画や動画および音声をテレビで再生可能である。
【００２１】
図１は、本実施形態に係わるカメラの電気回路を示すブロック図である。カメラ本体１００内のバス１１１には、撮像部１０１、画像処理部１０３、表示部１０５、操作部１０７、ＣＰＵ（Central Processing Unit）１０９、記憶媒体１１３、通信部１１５、オーディオ制御部１１９、ＲＯＭ（Read Only Memory）１２５、ＲＡＭ（Random Access Memory）１２７が接続されている。
【００２２】
撮像部１０１は、撮影レンズを通過した被写体像を受光し、この被写体像を静止画や動画の画像データに変換する。変換された画像データはバス１１１に出力される。画像処理部１０３は、撮像部１０１によって変換された画像データを取り込み、各種画像処理を施す。画像処理としては、画像データのデジタル的増幅（デジタルゲイン調整処理）、色補正、ガンマ（γ）補正、コントラスト補正、ライブビュー表示用画像生成等の各種の画像処理を行なう。画像処理を施した画像データは、バス１１１に出力される。画像処理部１０３は、後述するオーディオ制御部１１９と共に、記憶媒体１１３から読み出された画像データおよび音声データを再生する再生部としての機能を果たす。
【００２３】
表示部１０５は、カメラ本体１００の背面等に配置され、液晶モニタ、有機ＥＬ等のモニタ画面を有する。表示部１０５には、ライブビュー表示、メニュー画面表示、記録済み画像の再生表示等、各種画像の表示がなされる。メニュー画面では十字釦やＯＫ釦を操作することにより種々の設定を行うことができる。また、表示部１０５は、テレビ２００やサラウンドシステム３００（図２、図３参照）等の外部装置の音に関する装置情報および制御を表示する。
【００２４】
この表示部１０５には表示画面に重畳してタッチパネルが配置されている。ユーザの指等によってタッチされ、またなぞり操作がなされた場合には、タッチ検出部からタッチ位置となぞり操作の軌跡に関する検知信号が出力される。このタッチ検出部は、画像および音声に関するデータの再生中に、スピーカを備えた外部装置の音に関する制御の変更操作を検出する操作検出部としての機能を果たす。この操作検出部によって、タッチパネル上の位置に応じた外部装置に対する音のパラメータを変化させるなぞり操作を検出する。
【００２５】
操作部１０７は、撮影者がカメラに指示を与えるためのスイッチ、ダイヤル等の部材であり、パワースイッチ、レリーズ釦、動画釦、十字釦、ＯＫ釦、メニュー釦、再生釦、再生停止釦等の各種操作部材が配置されている
【００２６】
ＣＰＵ１０９は、ＲＯＭ１２５に記憶されているプログラムに従ってカメラ全体の制御を行う。ＣＰＵ１０９は、記憶媒体１１３に記憶されたデータから再生対象とするデータを選択する再生選択部と、選択されたデータの再生を指示する再生指示部としての機能を果たす。また、ＣＰＵ１０９は、再生中のデータの変化するタイミングを再生前の時間に把握する特性部把握部としての機能を果たし、また、把握されたタイミングに基づいて、再生中のデータの変化を調整する可能性のあるタイミングとなる前に、調整するデータに関する操作の告知表示を行う表示制御部としての機能も果たす。
【００２７】
また、ＣＰＵ１０９は、通信部１１５で音声再生に関する外部装置の特性データを受信する場合には、外部装置自身と、外部装置に接続された他の装置の特性を１つの外部装置から受信し（後述する図２参照）、または各外部装置の特性を各々の装置から受信する（後述する図３参照）通信制御部としての機能を果たす。また、ＣＰＵ１０９は、操作検出部としての機能を果たす表示部１０５によって検出された変更操作に応じたデータを生成し、上記通信部を介して上記外部装置にデータを送信する制御部としての機能を果たす。
【００２８】
記憶媒体１１３は、カメラ本体１００に着脱自在または内蔵された不揮発性の記録用の媒体であり、画像や音声に関するデータの記憶を行う。また、後述する操作履歴の記録も行う。
【００２９】
通信部１１５は、テレビ２００やサラウンドシステム３００等の外部装置との間で画像および音声に関するデータを通信する共に、外部装置の音に関する装置情報および制御を変更する変更データを通信する。
【００３０】
オーディオ制御部１１９は、信号処理部１１９ａ、Ａ／Ｄ変換部１１９ｂ、Ｄ／Ａ変換部１１９ｃを有する。Ａ／Ｄ変換部１１９ｂはアナログ音声信号をデジタル音声データに変換し、信号処理部１１９ａに出力する。
【００３１】
信号処理部１１９ａは、ＤＳＰ（デジタルシグナルプロセッサ：Digital Signal Processor）等を含み、デジタル音声データを調整し、Ｄ／Ａ変換部１１９ｃに出力する。信号処理部１１９ａは、音声の指向性を変更し、またハイパスフィルタやローパスフィルタ等によって周波数特性を変更し、またゲイン変更することにより音量の制御も行う。サラウンドシステムのように多チャンネルで構成された音声データの場合には、チャンネルごとに制御が可能である。Ｄ／Ａ変換部１１９ｃは、信号処理部１１９ａによって処理されたデジタル音声データをアナログ音声信号に変換し、この音声信号を内蔵スピーカ１２３出力する。
【００３２】
内蔵マイク１２１は、ステレオマイクであり、周囲の音声をアナログ音声信号に変換し、また内蔵スピーカ１２３は、モノラルスピーカであり、信号処理部１１９ａにおいて処理された音声データに基づいて、音声を発生する。
【００３３】
ＲＯＭ１２５は、フラッシュメモリ等、電気的に書き換え可能な不揮発性メモリである。ＲＯＭ１２５には、カメラ全体を制御するためのプログラムや、カメラの調整値等が記憶されている。ＲＡＭ１２７は、ＳＤＲＡＭ等の揮発性のメモリであり、画像データや音声データ等の一時記憶用として用いられる。
【００３４】
次に、カメラ１００、テレビ２００、サラウンドシステム３００からなる再生装置システムについて、図２を用いて説明する。テレビ２００は、音声を発生するためのステレオ式の内蔵スピーカ２０１を有する。カメラ１００とテレビ２００との間は、通信ライン４０１によって結ばれており、カメラ１００内の通信部１１５によって、カメラ１００とテレビ２００との間で双方向通信を行う。通信ライン４０１としては、ＨＤＭＩ、無線ＬＡＮ（ＤＬＮＡ）等がある。
【００３５】
サラウンドシステム３００は、サラウンドスピーカ３０１を有し、多チャンネル録音された音声データを用いて臨場感ある音声再生を行うことができる。テレビ２００とサラウンドシステム３００との間は、通信ライン４０３によって結ばれており、両者の間で双方通信を行う。通信ライン４０３としては、ＨＤＭＩ、光デジタルオーディオＩ／Ｆ等がある。
【００３６】
このように、カメラ１００とテレビ２００の間で双方向通信を行い、テレビ２００とサラウンドシステム３００の間で双方通信を行うことができる。図２に示すように、テレビ２００はサラウンドシステム３００に対して、再生環情報取得の信号を出力し、サラウンドシステム３００は再生環境情報応答を出力する。また、カメラ１００は、テレビ２００に対して、再生環境情報取得の信号を出力し、テレビ２００から再生環境情報応答を出力する。テレビ２００がサラウンドシステム３００の再生環境情報を取得している場合には、カメラ１００はサラウンドシステム３００の再生環境情報も併せて取得する。再生環境情報としては、スピーカの有無、スピーカ制御の可否、現在の音量設定値等である。また、スピーカが存在する場合には、右、左、中央、サラウンド、ＬＦＥの各スピーカ等、スピーカの種別についての情報もある。なお、ここで、ＬＦＥ（Low Frequency Effect）は、重低音強調を意味する。
【００３７】
なお、テレビ２００とサラウンドシステム３００の間が、光デジタルオーディオケーブルで接続されている場合には、テレビ２００はサウンドシステム３００から情報取得を行うことができない。この場合には、テレビ２００は、カメラ１００からの再生情報環境の問い合わせに対して、テレビ自身の内蔵スピーカ２０１の状態を応答するか、または光デジタルオーディオケーブルが接続状態になっている場合には、「サラウンド再生可能、個別の制御は不可能」等と応答する。
【００３８】
カメラ１００は、テレビ２００とサラウンドシステム３００の再生環境情報を取得すると、再生制御方法の決定を行う。すなわち、テレビ２００およびサラウンドシステム３００の内のいずれの装置で、どのような制御可能か、例えば、音量の調節がスピーカごとに可能か否かを決定する。この決定は、ＣＰＵ１０９によってなされる。
【００３９】
図２に示した例では、カメラ１００から直接、サラウンドシステム３００と通信ラインが接続されていなかった。しかし、図３に示すように、通信ライン４０５を介して、カメラ１００が、テレビ２００およびサラウンドシステム３００と、直接、接続するようにしてもよい。この場合には、カメラ１００とテレビ２００の間の通信、およびテレビ２００とサラウンドシステム３００の間の通信は、ＨＤＭＩ、無線ＬＡＮ（ＤＬＮＡ）等で双方向で行われる。
【００４０】
図３に示した通信方式を採用すると、カメラ１００から、テレビ２００およびサラウンドシステム３００との間で直接、通信を行うことができ、カメラ１００はそれぞれの再生環境情報を直接、取得することができる。
【００４１】
次に、ユーザが表示部１０５の画面をタッチすることにより行うタッチ操作について、図４を用いて説明する。本実施形態においては、表示部１０５の表示画面上で、右回りになぞり操作を行うと音量を増加させ、逆に左回りになぞり操作を行うと、音量を減少させる。また、特定の部位のタッチは、画像拡大や画像移動の指示に使用されることが多いことから、本実施形態においては、回すという操作をボリューム操作に割り当てている。なお、特定部位をタッチし、画像を拡大後、画像拡大した位置に基づいて再度操作された場合に、ズーム音量操作とみなす等、回す操作以外であってもよい。
【００４２】
図４（ａ）〜（ｃ）は、表示部１０５に、再生画像が表示されている様子を示しており、図４（ａ）は被写体５１が中央に表示され、図４（ｂ）は被写体５１に加えて被写体５３が表示され、図４（ｃ）は風切り音と共に雨５５が降っている様子を示している。特定の被写体を認識していない第１の操作１０がなされた場合には、背景音量操作とみなす。例えば、図４（ａ）（ｂ）に示す例では、被写体５１や被写体５３とは関係ない背景部分で第１の操作１０がなされており、また図４（ｃ）では、天空の背景部分で第１の操作１０がなされている。
【００４３】
また、中央付近を小さく回す、または特定の被写体（顔、ペット等）を認識した部分での第２の操作２０は、ズーム音量操作とみなす。例えば、図４（ａ）に示す例では、中央付近で第２の操作２０がなされており、図４（ｂ）では、中央付近および被写体５３上で第２の操作２０がなされ、図４（ｃ）では中央付近で第２の操作２０がなされている。また、中央付近を大きく回す第３の操作３０は、全体音量操作とみなす。例えば、図４（ａ）〜（ｃ）に示す例では、中央付近で大きく回す第３の操作３０がなされている。
【００４４】
また、風切り音などの低周波成分が多い動画を再生する場合には、ＬＥＦアイコン４１が表示部１０５に表示される。このＬＥＦアイコン４１付近を回す第４の操作４０を行うと、ＬＥＦ音量操作とみなす。ＬＥＦ音量操作を行うことにより、重低音強調スピーカの音量を調節することができる。ＬＥＦアイコン４１の表示タイミングは、好適には、低周波成分が大きくなる再生数秒前から検知して事前警告的に表示する。ただし、重低音が大げさと感じるか否かは個人差があることから、常時表示させてもよく、また表示画面上の付近をタッチしたときに表示するようにしてもよい。
【００４５】
次に、本実施形態における、再生制御の動作について、図５および図６を用いて説明する。図５および図６に示すフローチャートは、ＲＯＭ１２５に記憶されているプログラムに従ってＣＰＵ１０９によって実行される。また、ここに示すフローチャートは、主としてテレビ２００またはサラウンドシステム３００が接続されている場合における動画再生時の音量調節に関する処理について示している。
【００４６】
再生動作を開始すると、まず、通信接続を行う（Ｓ１）。ここでは、テレビ２００と通信接続を行う。なお、図３に示すように、サラウンドシステム３００と直接通信接続を行うことができる場合には、テレビ２００およびサラウンドシステム３００と通信接続を行う。
【００４７】
通信接続を行うと、次に、初期通信を行う（Ｓ３）。ここでは、図３および図４を用いて説明したように、テレビ２００およびサラウンドシステム３００からの再生環境情報を取得する。
【００４８】
初期通信を行うと、次に、現在の音量設定値を取得する（Ｓ５）。スピーカ別の音量設定は、動画コンテンツに依存する。そこで、動画再生終了後には、後述するステップＳ３１において、動画コンテンツに依存する再生環境を初期状態に戻すようにしている。このためステップＳ５において、初期状態における音量設定値を取得し、ＲＯＭ１２５またはＲＡＭ１２７に一時記憶している。
【００４９】
現在の音量設定値を取得すると、次に、再生コンテンツ選択および再生指示を行う（Ｓ７）。動画等の再生コンテンツは、操作部１０７の内の再生釦を操作することにより、表示部１０５にサムネイル表示等がなされる。ユーザが希望するサムネイルをタッチする等により、再生選択部として機能するＣＰＵ１０９によって再生コンテンツが選択され、再生指示部として機能するＣＰＵ１０９によって再生指示がなされる。テレビ２００やサラウンドシステム３００が接続されている場合には、通信部１１５を介して、画像データおよび音声データが出力される。
【００５０】
なお、テレビ２００やサラウンドシステム３００に画像データや音声データを出力すると、カメラ１００の表示部１０５に再生画像が表示されない場合がある。この場合には、ユーザは、後述する画像操作や音量操作等を、表示部１０５の表示画面上において、被写体像に対応する位置でタッチ操作等を行うものとする。
【００５１】
再生指示がなされると、次に画像操作が検出されたか否かが判定される（Ｓ９）。ここでは、例えば、表示部１０５の表示画面上をタッチすると画像拡大または画像回転の指示がなされる等、画像操作がなされたか否かを判定する。この判定の結果、画像操作が検出された場合には、操作に応じた画像操作を行う（Ｓ１１）。なお、画像の拡大操作がなされた場合には、ズーム音量操作を併せて行うようにしてもよい。
【００５２】
ステップＳ１１において画像操作を行うと、またはステップＳ９における判定の結果、画像操作の検出がなされなかった場合には、次に、低周波音測定を行う（Ｓ１３）。ここでは、音声データから低周波音のノイズ量を測定する。低周波音のノイズが所定値を超えると、ハイパスフィルタ処理を行い、またＬＦＥアイコン４１の表示を行う。この低周波音測定の詳しい動作については、図８を用いて後述する。
【００５３】
低周波音の測定を行うと、次に、音量操作が検出された可能か否かを判定する（Ｓ１５）。図４を用いて説明したように、ユーザはテレビ２００やサラウンドシステム３００の音量を調節したい場合には、表示部１０５の表示画面上で第１の操作ないし第４の操作を行う。このステップでは、これらの操作がなされたか否かを、表示部１０５のタッチ検出部からの検知信号に基づいて判定する。なお、後述するステップＳ３３において操作履歴を記録しており、この操作履歴をこのステップにおいて、記憶媒体１１３等から読み出し、参照するようにしてもよい。
【００５４】
ステップＳ１５における判定の結果、音量操作が検出された場合には、次に、スピーカ別の音量制御が可能か否の判定を行う（Ｓ１７）。ステップＳ３における初期通信において、テレビ２００やサラウンドシステム３００の再生環境に関する情報を取得しているので、この情報に従って判定する。一般に、サラウンドシステム３００が接続されている場合には、スピーカ別に音量制御可能と判定され、一方、テレビ２００のみしか接続されていない場合には、スピーカ別に音量制御が可能でないと判定される。あるいは、左右のレベル調整が可能と判定してもよい。
【００５５】
ステップＳ１７における判定の結果、スピーカ別に音量制御可能であった場合にスピーカ別に音量設定を行う（Ｓ１９）。このステップで設定を変更すると、この変更情報は通信部１１５を介して、テレビ２００やサラウンドシステム３００等の外部装置に送信される。一方、スピーカ別に音量制御が可能でなかった場合には、コンテンツに対するフィルタ設定や指向性を調節する信号処理１を行う（Ｓ２１）。信号処理１は信号処理部１１９ａにおいて行われ、この処理された音声信号は、通信部１１５を介して、外部装置に送信される。ステップＳ１９およびＳ２１における処理の詳細については、図７を用いて後述する。
【００５６】
ステップＳ１９またはＳ２１における処理を実行すると、次に、全体の音量制御が可能か否かの判定を行う（Ｓ２３）。ここでは、テレビ２００またはサラウンドシステム３００のスピーカの全体の音量制御について、ステップＳ３における初期通信で取得した情報に従って判定する。
【００５７】
ステップＳ２３における判定の結果、全体の音量制御が可能であった場合には、全体の音量設定を行う（Ｓ２５）。ステップＳ２５において設定を変更すると、この変更情報は通信部１１５を介して、テレビ２００やサラウンドシステム３００等の外部装置に送信される。一方、全体の音量制御が可能でなかった場合には、コンテンツに対するゲインを調節する信号処理２を行う（Ｓ２７）。信号処理２は信号処理部１１９ａにおいて行われ、この処理された音声信号は、通信部１１５を介して、外部装置に送信される。ステップＳ２５およびＳ２７における処理の詳細については、図７を用いて後述する。
【００５８】
ステップＳ２５またはＳ２７における処理を行うと、またはステップＳ１５における判定の結果、音量操作が検出されなかった場合には、次に、コンテンツ再生終了か否かの判定を行う（Ｓ２９）。動画コンテンツの再生中に終了する場合には、カメラの操作部１０７の再生停止釦等を操作するので、このステップでは再生停止釦等が操作されたか否かを判定する。また、動画コンテンツの最後まで再生を行った場合にも再生終了と判定される。この判定の結果、コンテンツ再生終了でなかった場合には、ステップＳ９に戻り、動画再生を続行する。
【００５９】
ステップＳ２９における判定の結果、コンテンツ再生終了であった場合には、次に、スピーカ別音量を再生前の状態に戻す（Ｓ３１）。前述したステップＳ５において、再生開始前の音量設定値を一時記憶している。このステップＳ３１では、一時記憶した音量設定値に基づいてスピーカ別音量を再生前の音量設定値を設定する。
【００６０】
続いて、操作履歴の記録を行う（Ｓ３３）。音量操作がなされるたびに操作履歴を一時的に記憶しており、このステップでは、再生中に操作指示された操作内容と再生データとのタイミングとを関連付けた操作指示データを記録する。具体的には、テレビ２００やサラウンドシステム３００等の再生デバイスの再生環境、各スピーカの相対音量、操作タイミング等を記録する。記録場所としては、同一コンテンツ内にメタデータとして記録してもよく、またデータベース内に登録するようにしてもよい。この操作履歴は、後述する図１０のように、操作履歴を考慮した処理を行う場合に使用する。なお、本実施形態においては、コンテンツ再生終了後にまとめて記録しているが、音量操作がなされるたびに記憶媒体１１３に記録するようにしてもよい。この場合には、ステップＳ２９を処理する前に記録する。
【００６１】
操作履歴の記録を行うと、次に、再生終了か否かの判定を行う（Ｓ３５）。ステップＳ２９においてコンテンツの再生が終了すると、表示部１０５にはサムネイル表示等がなされる。再生モードを終了する場合には、ユーザは再生釦を再度、操作する等再生終了操作を実行する。
【００６２】
ステップＳ３５における判定の結果、再生終了でなかった場合には、ステップ７に戻り、再生モードを続行する。一方、再生終了であった場合には、次に、切断を行う（Ｓ３７）。ここでは、通信ライン４０１、４０５等を介しての通信を終了し、動画再生時の音声再生の終了処理を行う。
【００６３】
このように、本フローにおいては、動画再生の際に、テレビ２００やサラウンドシステム３００等の外部装置と接続されている場合には、通信によって、外部装置の再生環境情報を取得している（Ｓ３）。表示部１０５において音量操作がなされた場合には（Ｓ２０）、取得した再生環境情報に応じて、音声データの調節を行うようにしている（Ｓ１５〜Ｓ２７）。このため、再生環境に応じて適切な音量の調節を行うことができる。
【００６４】
なお、本フローにおいて、いずれか１つの方法で音量を制御するようにしていた。しかし、両者を混合して行うハイブリット方式で制御するようにしてもよい。例えば、図４（ｂ）において左側の被写体５３の音量を大きくする操作がなされた場合に、左スピーカの音量を増加させる制御に加えて、信号処理で左側の音量を強調するように、他の音をフィルタリングするようにしてもよい。これは、中央の被写体から発生られる音は、左右両方のスピーカから均等に聴こえている可能性があり、左スピーカの音量を大きくするだけでは、ユーザの操作の意図を反映することができない場合もあるからである。また、信号処理をおこなうと、その分、時間的な遅延が生じ、処理量によっては映像再生との同期がずれてくる。よって、信号処理量に応じて映像再生のタイミングも適宜調整する。
【００６５】
次に、ステップＳ１９、Ｓ２１、Ｓ２６、Ｓ２７における処理について、図７を用いて説明する。それぞれのステップにおける処理は、ステップＳ１５において検出したユーザの音量操作によって異なる。
【００６６】
まず、背景音量操作、すなわち第１の操作がなされた場合について説明する。図４を用いて説明したように、背景音量操作は、特定の被写体と関係のない背景部分で行われた操作である。この場合、スピーカ別に音量設定を行うことができる場合には（Ｓ１９）、サラウンドシステム３００のサラウンドスピーカ３０１の音量を増減する。一方、スピーカ別に音量設定できない場合には（Ｓ２１）、信号処理部１１９ａが、信号処理１として、指向性を調節することによりワイド強調処理を行う。
【００６７】
また、ズーム音量操作、すなわち第２の操作は、特定の被写体の部分で行われた操作である。この場合、スピーカ別に音量設定を行うことができる場合には（Ｓ１９）、操作された場所に応じて、左・右・中央のいずれかのスピーカの音量を増減する。一方、スピーカ別に音量設定できない場合には（Ｓ２１）、信号処理部１１９ａが、信号処理１として、指向性を調節することにより指向性を持たせる処理を行う。
【００６８】
また、ＬＦＥ音量操作、すなわち第４の操作は、ＬＦＥアイコン４１で行われた操作である。この場合、スピーカ別に音量設定を行うことができる場合には（Ｓ１９）、ＬＦＥスピーカの音量を増減する。一方、スピーカ別に音量設定できない場合には（Ｓ２１）、信号処理部１１９ａがイコライザの設定を変えることにより低音強調度合いを変更する。
【００６９】
また、全体音量操作、すなわち、第２の操作は、画面の中央付近を大きく回す操作である。この場合、全体の音量調節が可能であれば（Ｓ２５）、全体音量を増減する。一方、全体の音量調節が可能でない場合には（Ｓ２７）、信号処理部１１９ａが、信号処理２として、音声データにゲインをかけて、全体音量調節を行う。
【００７０】
次に、ステップＳ１３における低周波音測定の動作について、図８に示すフローチャートを用いて説明する。低周波音のフローに入ると、まず、Ｌ−ＰＣＭ音源か否かを判定する（Ｓ４１）。ここでは、オーディオ制御部１１９によって制御され、通信部１１５を通じて外部のテレビ２００やサラウンドシステム３００に出力される音声データが、リニアＰＣＭの規格に沿っているか否かを判定する。
【００７１】
ステップＳ４１における判定の結果、Ｌ−ＰＣＭ音源でなかった場合には、Ｌ−ＰＣＭへ変換する（Ｓ４３）。ここでは、信号処理部１１９ａによって、音声データをＬ−ＰＣＭに変換する。
【００７２】
Ｌ−ＰＣＭへの変換を行うと、またはステップＳ４１における判定の結果、Ｌ−ＰＣＭ音源であった場合には、次に、ＬＦＥチャンネル有りか否かの判定を行う（Ｓ４５）。例えば、５．１ｃｈのサラウンド信号は、通常のスピーカ用に５チャンネル、超低音域用スピーカとして１チャンネル（０．１としてカウント）（ＬＦＥチャンネル）から構成される。ここでは、ＣＰＵ１０９が、サラウンド信号等の音声データのチャンネル構成に基づいて、Ｌ−ＰＣＭ音源中に重低音強調を行うためのＬＦＥチャンネルがあるか否かを判定する。
【００７３】
ステップＳ４５における判定の結果、ＬＦＥチャンネルが有る場合には、ＬＦＥチャンネルを選択する（Ｓ４７）。一方、ＬＦＥチャンネルが無かった場合には、次に、センタチャンネルまたはモノラルか否かを判定する（Ｓ４９）。ここでは、信号処理部１１９ａが、音声データのチャンネル構成に基づいて、中央用のセンタチャンネルが有るか、またはモノラル信号かを判定する。
【００７４】
ステップＳ４９における判定の結果、センタチャンネル有りまたはモノラルであった場合には、センタチャンネルまたはモノラルデータの選択を行う（Ｓ５３）。センタチャンネルが無く、モノラルでもなかった場合には、左チャンネルと右チャンネルの音声データの加算値の絶対値を２で除算した値、すなわち｜（Left ＋ Right）／２｜を算出する（Ｓ５１）。ここでは、右チャンネルと左チャンネルの平均値を求める。
【００７５】
ステップＳ５１またはＳ５３における処理を行うと、次に、低周波成分（ＬＰＦ）の抽出を行う（Ｓ５５）。ここでは、信号処理部１１９ａがローパスフィルタ処理により、低周波成分を抽出する。
【００７６】
ステップＳ４７においてＬＦＥチャンネルを選択すると、またはステップＳ５５において低周波成分を抽出すると、次に、低周波域の音の大きさを算出する（Ｓ５９）。ここでは、信号処理部１１９ａが、所定フレーム単位で低周波域のノイズ量を算出していく。例えば、サンプリング周波数が４８ＫＨｚで１０２４サンプルを１フレームとすると、
１フレーム＝１０２４÷４８Ｋ＝約２１．３ｍｓｅｃ
となる。
【００７７】
ノイズ量の算出方法としては、低周波成分を抽出し、ＲＭＳ（Root Mean Square）値を算出するやり方がある。ＲＭＳ値は下記式より求める。
【００７８】
【数１】
【００７９】
低周波域の大きさ（ノイズ量）を算出すると、元のフローに戻る。算出した低周波域の大きさが所定値より大きくなることが予測されると、ＣＰＵ１０９は、表示部１０５にＬＦＥアイコン４１を表示する。すなわち、特性把握部として機能するＣＰＵ１０９は、再生に先だって記憶媒体１１３から音声データを読み出し、ノイズ量がＬＦＥ閾値を超える期間が長期間になると予測される場合には、ＬＦＥアイコン４１を告知表示する。
【００８０】
次に、ステップＳ５９において算出された低周波域の音の大きさ（ノイズ量）に基づいて行うＬＦＥアイコン４１の表示とユーザによるＬＦＥ音量操作（第４の操作）について、図９および図１０を用いて説明する。
【００８１】
図９は、横軸に時間の経過を示し、縦軸に低周波域の音の大きさ（ノイズ量）を示すグラフである。図９に示す例では、動画の撮影時に、風雨が次第に強くなり、その後、天気が回復している。時刻ｔ１において、突発的に、ノイズ量が増加し、ＨＰＦ閾値およびＬＦＥ閾値を超えた値となる。このときには、ステップＳ１９において、信号処理部１１９ａのハイパスフィルタによってノイズ音が低減される信号処理１が実行される。
【００８２】
時刻ｔ３になると、再び、突発的にＨＰＦ閾値を超えるノイズ量となり、このときはステップＳ１９において、信号処理部１１９ａのハイパスフィルタによってノイズ音が低減される信号処理１が行われる。このように、時刻ｔ１、ｔ３において、瞬間的なノイズが発生するが、このような極短期間、発生するノイズについては、ＨＰＦによってノイズ音を低減する。
【００８３】
次に、時刻ｔ７になると、ノイズ量がＬＦＥ閾値を超える。このノイズは時刻ｔ７から時刻ｔ１１まで、長期にわたって続く、このような長期間のノイズについて、フィルタ処理を行うと、フィルタ切換えのタイミングで違和感を生ずる。そこで、本実施形態においては、長期間のノイズについては、ＬＦＥアイコン４１を表示し、ユーザに処理の判断を委ねることにしている。
【００８４】
動画再生時であることから、数フレーム先の情報を読み取ることによって、ＬＦＥアイコン４１を前倒しで表示することが可能である。図９に示す例においては、ＬＦＥ閾値を超える時刻ｔ７に先だって、時刻ｔ５においてＬＦＥアイコン４１の表示を行い、ＬＦＥ閾値より低下する時刻ｔ１１にＬＦＥアイコン４１を消去する。また、図９に示す例においては、ユーザは時刻ｔ９において、ＬＦＥ音量操作（第４の操作）を行い、３ｄＢ、音量を低下させている。なお、前述したように、動画の再生中に、ユーザが行った操作履歴は、ステップＳ３３（図６参照）において、記録される。
【００８５】
動画再生中のユーザによる操作履歴は記録されるので、次回の動画再生にあたっては、記録された操作履歴を活用して行う。図１０は、図９と同じ動画を、再度、再生する場合を示している。操作履歴はステップＳ１５において操作される際に読み出されるが、それ以外にも、ステップ１３で低周波音測定を行った際にも操作履歴を読み出す。時刻ｔ１、ｔ３において、図９の場合と同様、ＨＰＦ閾値を超えるノイズ量が生ずるので、この場合には、ＨＰＦによってノイズ量を低減させる。
【００８６】
先の動画再生の際に、ノイズ量がＨＰＦ閾値を超えた時刻ｔ６になると、テレビ２００やサラウンドシステム３００等の再生デバイスに対して、重低音強調（ＬＦＥ）として、−３ｄＢを指示し、またＬＦＥ閾値は、＋３ｄＢとする。前回の動画再生の際にユーザが風切り音を不快と感じ、ＬＦＥ操作で−３ｄＢと音量を低減したことから、今回の動画再生では、ユーザの意思を尊重して、自動的に同じような音量の調節を行っている。また、ＬＦＥ閾値を高くすることにより、アイコン４１の表示を行わなくなり、画面がアイコンで見難くなることを防止する。
【００８７】
以上説明したように、本発明の一実施形態においては、外部装置の音に関する制御の変更操作を検出し、この検出された変更操作に応じた変更データを外部装置に送信するようにしている。カメラとテレビ等の再生装置を接続した場合に、良好な音声再生環境とすることができる。また、直感的な操作を様々な組合せで簡単に行うことができる。
【００８８】
また、本発明の一実施形態においては、再生中のデータの変化するタイミングを再生前の時間で把握し、調整が必要な場合には事前に告知するようにしている（図１０参照）。このため、ユーザが操作すべき時期を事前に認識でき、操作がし易い。
【００８９】
さらに、本発明の一実施形態においては、外部装置の再生環境情報を取得し、この再生環境情報に応じて、音声に関するデータを外部装置に出力している。このため、外部装置にあった再生を行うことができる。
【００９０】
さらに、本発明の一実施形態においては、表示部における第１の操作ないし第４の操作によって、外部装置の音声の再生を制御するようにしている。このため、直感的な操作を行うことができる。
【００９１】
なお、本発明の一実施形態においては、表示部において第１の操作ないし第４の操作によるパターンによって音の制御を行っていた。しかし、このパターンはこれらに限らずの他のパターンを加えてもよく、また一部のパターンを省略してもよい。また、タッチによって入力していたが、これに限らず、十字釦とカーソルの組合せ等、他の入力方法でもかまわない。
【００９２】
また、本発明の一実施形態においては、風切り音等の低周波域の音声を事前に検知していたが（Ｓ１３）、高周波域等、他の周波数域を検知し、事前に告知するようにしてもよい。この場合、この周波数域に応じた音量調節を行えるようにしておく。
【００９３】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、再生可能な外部装置と接続可能な機器であれば、本発明を適用することができる。
【００９４】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００９５】
１０・・・第１の操作、２０・・・第２の操作、３０・・・第３の操作、４０・・・第４の操作、４１・・・ＬＦＥアイコン、５１・・・被写体、５３・・・被写体、５５・・・雨、１００・・・デジタルカメラ、１０１・・・撮像部、１０３・・・画像処理部、１０５・・・表示部、１０７・・・操作部、１０９・・・ＣＰＵ、１１１・・・バス、１１３・・・記憶媒体、１１５・・・通信部、１１９・・・オーディオ制御部、１１９ａ・・・信号処理部、１１９ｂ・・・Ａ／Ｄ変換部、１１９ｃ・・・Ｄ／Ａ変換部、１２１・・・内蔵マイク、１２３・・・内蔵スピーカ、１２５・・・ＲＯＭ、１２７・・・ＲＡＭ、２００・・・テレビ（ＴＶ）、２０１・・・内蔵スピーカ、３００・・・サラウンドシステム、３０１・・・サラウンドスピーカ、４０１・・・通信ライン、４０３・・・通信ライン、４０５・・・通信ライン
【特許請求の範囲】
【請求項１】
画像および音声に関するデータを記憶する記憶部と、
外部装置との間で少なくとも音声に関するデータを通信すると共に、上記外部装置の音に関する装置情報および制御を変更する変更データを通信する通信部と、
上記記憶部に記憶されたデータから再生対象とするデータを選択する再生選択部と、
上記選択されたデータの再生を指示する再生指示部と、
上記外部装置の音に関する装置情報および制御を表示する表示部と、
上記データの再生中に、上記外部装置の音に関する制御の変更操作を検出する操作検出部と、
を具備し、上記操作検出部によって検出された変更操作に応じて、上記通信部は上記変更データを送信することを特徴とする動画再生制御装置。
【請求項２】
上記再生中のデータの変化するタイミングを再生前の時間に把握する特性把握部と、
上記特性把握部によって把握された上記タイミングに基づいて、上記再生中のデータの変化を調整する可能性のあるタイミングとなる前に、調整するデータに関する操作の告知表示を行う表示制御部と、
を更に有することを特徴とする請求項１に記載の動画再生制御装置。
【請求項３】
上記通信部の通信動作を制御する通信制御部を更に有し、
上記通信部で、少なくとも音声再生に関する上記外部装置の特性データを受信する場合は、その外部装置自身と、その外部装置に接続された他の装置の特性を１つの外部装置から受信し、または各外部装置の特性を各々の装置から受信することを特徴とする請求項１に記載の動画再生制御装置。
【請求項４】
上記再生中に操作指示された操作内容と再生データとのタイミングとを関連付けた操作指示データを記憶することを特徴とする請求項１に記載の動画再生制御装置。
【請求項５】
上記記憶した操作指示データを読み出すことを読み出すことを特徴とする請求項４に記載の動画再生制御装置。
【請求項６】
上記表示部に重畳して設けられたタッチパネルを更に有し、
上記操作は、タッチパネル上の位置に応じた外部装置に対する音のパラメータを変化させるなぞり操作を検出することを特徴とする請求項１に記載の動画再生制御装置。
【請求項７】
外部装置と接続可能であると共に、画像および音声に関するデータを記憶する記憶部を備えた動画再生装置における動画再生制御方法であって、
上記外部装置の音に関する装置情報に関するデータを取得し、
上記記憶部に記憶されたデータから再生対象とするデータを選択し、
上記選択されたデータの再生を指示すると共に、上記外部装置に音声に関するデータを送信し、
上記データの再生中に、上記外部装置の音に関する制御の変更操作を検出し、
上記変更操作の結果と、上記取得した装置情報に基づいて、上記外部装置に変更データを送信する、
ことを特徴とする動画再生制御方法。
【請求項８】
動画の画像および音声に関するデータを記憶する記憶部と、
スピーカを備えた外部装置との間で少なくとも音声に関するデータおよび外部装置の制御に関するデータを通信する通信部と、
上記記憶部に記憶された画像および音声に関するデータを再生する再生部と、
上記データの再生中に、上記外部装置の音に関する制御の変更操作を検出する操作検出部と、
上記操作検出部によって検出された変更操作に応じたデータを生成し、上記通信部を介して上記外部装置にデータを送信する制御部と、
を有することを特徴とする動画再生制御装置。
【請求項９】
上記通信部を介して、上記外部装置における音声再生に関する再生環境情報を取得し、上記制御部は、上記再生環境情報および上記変更操作に応じて上記データを生成することを特徴とする請求項８に記載の動画再生制御装置。
【請求項１０】
上記制御部は、上記記憶部に記憶された音声に関する情報に基づいて、低周波域の音声が増加する場合には、低周波域の音声の増加に先だって、上記表示部に告知を行うことを特徴とする請求項８に記載の動画再生装置。
【請求項１１】
上記操作検出部は、上記変更操作のパターンを検出し、
上記制御部は、上記変更操作のパターンに応じて上記送信するデータを変える、
ことを特徴とする請求項８に記載の動画再生制御装置。
【請求項１２】
上記制御部は、上記操作検出部における変更操作に応じた変更結果を記憶し、この記憶に基づいて、次回の制御を行うことを特徴とする請求項８に記載の動画再生制御装置。
【請求項１】
画像および音声に関するデータを記憶する記憶部と、
外部装置との間で少なくとも音声に関するデータを通信すると共に、上記外部装置の音に関する装置情報および制御を変更する変更データを通信する通信部と、
上記記憶部に記憶されたデータから再生対象とするデータを選択する再生選択部と、
上記選択されたデータの再生を指示する再生指示部と、
上記外部装置の音に関する装置情報および制御を表示する表示部と、
上記データの再生中に、上記外部装置の音に関する制御の変更操作を検出する操作検出部と、
を具備し、上記操作検出部によって検出された変更操作に応じて、上記通信部は上記変更データを送信することを特徴とする動画再生制御装置。
【請求項２】
上記再生中のデータの変化するタイミングを再生前の時間に把握する特性把握部と、
上記特性把握部によって把握された上記タイミングに基づいて、上記再生中のデータの変化を調整する可能性のあるタイミングとなる前に、調整するデータに関する操作の告知表示を行う表示制御部と、
を更に有することを特徴とする請求項１に記載の動画再生制御装置。
【請求項３】
上記通信部の通信動作を制御する通信制御部を更に有し、
上記通信部で、少なくとも音声再生に関する上記外部装置の特性データを受信する場合は、その外部装置自身と、その外部装置に接続された他の装置の特性を１つの外部装置から受信し、または各外部装置の特性を各々の装置から受信することを特徴とする請求項１に記載の動画再生制御装置。
【請求項４】
上記再生中に操作指示された操作内容と再生データとのタイミングとを関連付けた操作指示データを記憶することを特徴とする請求項１に記載の動画再生制御装置。
【請求項５】
上記記憶した操作指示データを読み出すことを読み出すことを特徴とする請求項４に記載の動画再生制御装置。
【請求項６】
上記表示部に重畳して設けられたタッチパネルを更に有し、
上記操作は、タッチパネル上の位置に応じた外部装置に対する音のパラメータを変化させるなぞり操作を検出することを特徴とする請求項１に記載の動画再生制御装置。
【請求項７】
外部装置と接続可能であると共に、画像および音声に関するデータを記憶する記憶部を備えた動画再生装置における動画再生制御方法であって、
上記外部装置の音に関する装置情報に関するデータを取得し、
上記記憶部に記憶されたデータから再生対象とするデータを選択し、
上記選択されたデータの再生を指示すると共に、上記外部装置に音声に関するデータを送信し、
上記データの再生中に、上記外部装置の音に関する制御の変更操作を検出し、
上記変更操作の結果と、上記取得した装置情報に基づいて、上記外部装置に変更データを送信する、
ことを特徴とする動画再生制御方法。
【請求項８】
動画の画像および音声に関するデータを記憶する記憶部と、
スピーカを備えた外部装置との間で少なくとも音声に関するデータおよび外部装置の制御に関するデータを通信する通信部と、
上記記憶部に記憶された画像および音声に関するデータを再生する再生部と、
上記データの再生中に、上記外部装置の音に関する制御の変更操作を検出する操作検出部と、
上記操作検出部によって検出された変更操作に応じたデータを生成し、上記通信部を介して上記外部装置にデータを送信する制御部と、
を有することを特徴とする動画再生制御装置。
【請求項９】
上記通信部を介して、上記外部装置における音声再生に関する再生環境情報を取得し、上記制御部は、上記再生環境情報および上記変更操作に応じて上記データを生成することを特徴とする請求項８に記載の動画再生制御装置。
【請求項１０】
上記制御部は、上記記憶部に記憶された音声に関する情報に基づいて、低周波域の音声が増加する場合には、低周波域の音声の増加に先だって、上記表示部に告知を行うことを特徴とする請求項８に記載の動画再生装置。
【請求項１１】
上記操作検出部は、上記変更操作のパターンを検出し、
上記制御部は、上記変更操作のパターンに応じて上記送信するデータを変える、
ことを特徴とする請求項８に記載の動画再生制御装置。
【請求項１２】
上記制御部は、上記操作検出部における変更操作に応じた変更結果を記憶し、この記憶に基づいて、次回の制御を行うことを特徴とする請求項８に記載の動画再生制御装置。
【図４】
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２２７６８４（Ｐ２０１２−２２７６８４Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９２７６４（Ｐ２０１１−９２７６４）
【出願日】平成２３年４月１９日（２０１１．４．１９）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月１９日（２０１１．４．１９）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]