画像記録装置及び方法
【課題】画像内の主要被写体領域に応じて音像定位を決定する。
【解決手段】動画撮影時、撮像された左右の視点画像データ内の主要被写体領域が検出される。情報取得部７３は、主要被写体画像の最大視差量情報を取得する。音像定位決定部７４は、主要被写体領域サイズ＜第１領域閾値の場合や、第１領域閾値＜主要被写体領域サイズ＜第２領域閾値で、且つ主要被写体画像の最大視差量情報＜視差量閾値の場合、シフト残響音割合比率を０％に決定する。第１領域閾値＜主要被写体領域サイズ＜第２領域閾値で、且つ視差量閾値＜主要被写体画像の最大視差量情報の場合、シフト残響音割合比率をマイナス５％に決定する。第２領域閾値＜主要被写体領域サイズの場合、シフト残響音割合比率をマイナス１０％に決定する。決定されたシフト残響音割合比率に応じて残響音割合がシフトされた音声データ、各視点画像データは、圧縮された後にＲＡＭ７８に記憶される。
【解決手段】動画撮影時、撮像された左右の視点画像データ内の主要被写体領域が検出される。情報取得部７３は、主要被写体画像の最大視差量情報を取得する。音像定位決定部７４は、主要被写体領域サイズ＜第１領域閾値の場合や、第１領域閾値＜主要被写体領域サイズ＜第２領域閾値で、且つ主要被写体画像の最大視差量情報＜視差量閾値の場合、シフト残響音割合比率を０％に決定する。第１領域閾値＜主要被写体領域サイズ＜第２領域閾値で、且つ視差量閾値＜主要被写体画像の最大視差量情報の場合、シフト残響音割合比率をマイナス５％に決定する。第２領域閾値＜主要被写体領域サイズの場合、シフト残響音割合比率をマイナス１０％に決定する。決定されたシフト残響音割合比率に応じて残響音割合がシフトされた音声データ、各視点画像データは、圧縮された後にＲＡＭ７８に記憶される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像記録装置及び方法に関するものである。
【背景技術】
【０００２】
動画を撮影可能で持ち運び可能なデジタルビデオカメラ（以下、ビデオカメラ）は、広く一般に普及しており、例えば、レース場での車の撮影、運動会での子供の撮影等に用いられている。ビデオカメラは、撮像レンズとマイクロフォンとを備え、撮像レンズで撮影した画像データと、マイクロフォンのトランスデューサで変換された電気信号である音声情報とが、記録メディアに一緒に記録される。
【０００３】
特許文献１記載のビデオカメラでは、動画撮影時にズーム操作が行われたときに、マイクロフォンの特性としての指向性の広がり、方向及び感度等を制御している。例えば、撮影倍率を上げて撮影範囲を狭くし、画像内の被写体のサイズを大きくするズーム操作を行ったときには、それに合わせてマイクロフォンの指向性も狭くし、ズームした被写体から発せられる音声のみを取得することにより、臨場感をアップさせている。
【０００４】
また、動画を再生して、左右のスピーカから音声が出力されたとき、聴取者は、どの辺りから音声が聞こえるか（どの辺りに音像が存在するか）を感じる。この音像が存在すると感じる位置は、左右のスピーカからの音量等に応じて変化する。例えば、左右のスピーカから同じ音量の音声が出力された場合には、左右のスピーカの真中付近に音像が存在すると感じ、左のスピーカからのみ音声が出力された場合には、左のスピーカ付近に音像が存在すると感じる。この音像が存在すると感じる位置が音像定位と称され、決められた位置（例えば、聴取者がいる位置）から左右のスピーカの真中辺りまでを結ぶ線を基準線としたときに、この基準線と、聴取者がいる位置から音像定位までを結ぶ線との角度が定位角度と称される。
【０００５】
さらに、左右のスピーカから出力され、聴取者に到達する音声は、周囲の壁等に反響して到達する反響音（残響音）と、直接到達する直接音とに分けられる。聴取者は、直接音に対する残響音の割合が大きくなると、音像定位が奥側となり音声が奥側から聞こえるように感じる。また、直接音に対する残響音の割合が小さくなると、音像定位が手前側となり音声が手前側から聞こえるように感じる。従って、出力する音声にリバーブをかけて残響音を大きくする制御や、出力する音声の音量を小さくする制御を行うと、音像定位を奥側にすることができ、これとは逆の制御を行うと、音像定位を手前側にすることができる。
【０００６】
特許文献２記載の撮像装置では、ズーム操作により、被写体が５人から３人になると、各被写体の音像の定位角度を変更して、３人の被写体の音像だけが定位された状態で記録され、被写体ではなくなった２人から発せられる音声は記録しないように制御する。これにより、再生時の動画及び音声の一体感が向上される。また、画像内の中央に写っている被写体の音像は、左右のスピーカの真中付近に定位させ、画像内の左側部分または右側部分に写っている被写体の音像は、左右のスピーカのうち被写体が写っている側のスピーカ付近に定位させている。
【０００７】
特許文献３記載の３次元空間再現システムでは、映像に立体感を与えるために、観察者の左目に映す左視点画像と、観察者の右目に映す右視点画像との視差のある２つの画像から立体用画像を作成し、この立体用画像の奥行き感に応じて音声情報の出力量を制御している。左右視点画像において鑑賞者から最も近くに見える点が、最大視差量となる点であり、左右視点画像において鑑賞者から最も遠くに見える点が、最小視差量となる点であり、最大視差量と最小視差量との差が小さい場合、画像の奥行き感が小さく感じられる。このときには、出力する音声の音量を大きくして音像定位を手前側にし、音声が手前側から聞こえるように制御することにより、臨場感をアップさせている。また、最大視差量と最小視差量との差が大きく、画像の奥行き感が大きく感じられる場合には、出力する音声の音量を小さくして音像定位を奥側にし、音声が奥側から聞こえるように制御している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平９−２４７６３７号公報
【特許文献２】特開２００７−２０１８１８号公報
【特許文献３】特開平６−１０５４００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１及び２では、ズーム操作により画像内の被写体サイズを変化させたときには、取得した音声を加工することにより、臨場感や、記録した動画と記録した音声との一体感を高くしているが、ズーム操作を行わずに、被写体が接近してきたり遠ざかったりすることにより、画像内の被写体サイズが変化したときには、取得した音声の加工が行われないため、臨場感や、記録した動画と記録した音声との一体感を高くすることができない。
【００１０】
また、特許文献３では、最大視差量と最小視差量との差に応じて、音声が手前側及び奥側のどちらから聞こえるようにするかを制御することにより、臨場感を変化させているため、最大視差量と最小視差量との差が大きく、画像の奥行き感が大きく感じられるときには、画像中の主要被写体領域に関係なく、音声が奥側から聞こえるように制御される。画像中の主要被写体領域が変化したときにも、最大視差量と最小視差量との差が同じ場合には、音声が同じ側から聞こえるため、臨場感を変化させることができない。
【００１１】
本発明は、上記課題を解決するためになされたものであり、画像内の主要被写体領域に応じて音像定位を決定して臨場感を変化させることができる画像記録装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の画像記録装置は、複数の視点から同一の被写体を撮影する複数の撮像レンズを有し、立体用動画を構成する複数の視点画像を連続して取得する視点画像取得手段と、前記複数の視点画像を取得する毎に、音声情報を取得する音声取得手段と、前記複数の視点画像を取得する毎に、前記複数の視点画像の中で主要な被写体が占める主要被写体領域を検出する検出手段と、前記複数の視点画像を取得する毎に、前記複数の視点画像中の複数の視差量情報、前記複数の撮像レンズのズーム倍率情報、及び焦点調整を行うときの前記複数の撮像レンズの調整量情報の少なくとも１つを取得する情報取得手段と、前記主要被写体領域と前記情報取得手段で取得した情報とに基づいて、前記音声取得手段で取得された音声情報の音像定位を決定する音像定位決定手段と、前記複数の視点画像と、前記音声取得手段で取得された音声情報と、前記音像定位決定手段で決定された音像定位情報とを記録する記録手段と、を備えたことを特徴とする。
【００１３】
また、前記複数の視差量情報は、前記複数の視点画像の最大視差量情報及び平均視差量情報と、前記主要被写体画像の最大視差量情報及び平均視差量情報とからなることが好ましい。
【００１４】
さらに、前記視点画像取得手段が設けられた装置本体と、前記装置本体に設けられ、前記立体用動画を表示する表示手段と、前記装置本体に設けられ、前記音声情報を出力する音声出力手段とを備えることが好ましい。
【００１５】
また、前記記録手段は、前記音声取得手段で取得された音声情報と、前記音像定位情報とを個別に記録し、前記立体用動画を再生するときには、前記音像定位情報に基づいて音像定位が決定された音声情報を出力すること、または、前記記録手段は、前記音像定位情報に基づいて音像定位が決定された音声情報を記録することが好ましい。
【００１６】
さらに、本発明の画像記録方法は、複数の視点から同一の被写体を撮影する複数の撮像レンズにより、立体用動画を構成する複数の視点画像を連続して取得する視点画像取得ステップと、前記複数の視点画像を取得する毎に、音声情報を取得する音声取得ステップと、前記複数の視点画像を取得する毎に、前記複数の視点画像の中で主要な被写体が占める主要被写体領域を検出する検出ステップと、前記複数の視点画像を取得する毎に、前記複数の視点画像中の複数の視差量情報、前記複数の撮像レンズのズーム倍率情報、及び焦点調整を行うときの前記複数の撮像レンズの調整量情報の少なくとも１つを取得する情報取得ステップと、前記主要被写体領域と前記情報取得ステップで取得した情報とに基づいて、前記音声取得ステップで取得された音声情報の音像定位を決定する音像定位決定ステップと、前記複数の視点画像と、前記音声取得ステップで取得された音声情報と、前記音像定位決定ステップで決定された音像定位情報とを記録する記録ステップと、を有することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、立体用動画を構成する複数の視点画像中の主要被写体領域に基づいて、音声取得手段で取得された音声情報の音像定位を決定し、複数の視点画像と、音声情報と、決定された音像定位情報とを記録するから、記録した視点画像及び音声情報の再生時には、主要被写体領域に応じた音像定位から音声が出力される。これにより、動画再生時の臨場感や迫力を高めることができる。さらに、複数の視点画像中の複数の視差量情報、複数の撮像レンズのズーム倍率情報、及び焦点調整を行うときの複数の撮像レンズの調整量情報の少なくとも１つの情報に基づいて、音像定位を決定するから、視点画像及び音声情報の再生時には、前記情報に応じた音像定位から音声が出力され、動画再生時の臨場感や迫力をより一層高めることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明を実施したデジタルカメラを示す正面斜視図である。
【図２】デジタルカメラを示す背面図である。
【図３】デジタルカメラ内部の電気的構成を示すブロック図である。
【図４】左撮像部及び右撮像部の電気的構成を示すブロック図である。
【図５】音像定位決定部の電気的構成を示すブロック図である。
【図６】（Ａ）は左視点画像データを表示した状態、（Ｂ）は右視点画像データを表示した状態の説明図である。
【図７】主要被写体領域が異なる４つの画像データを示す説明図である。
【図８】動画ファイルを示す説明図である。
【図９】動画撮影時の処理の流れを示すフローチャートである。
【図１０】動画撮影時の処理の流れを示すフローチャートである。
【図１１】画像データ内に複数の主要被写体領域があるときの画像データを示す説明図である。
【図１２】フォーカス駆動量に基づいてシフト残響音割合比率を決定する第２実施形態のシフト残響音割合比率決定テーブルである。
【図１３】第２実施形態の動画ファイルを示す説明図である。
【図１４】動画ファイルを示す説明図である。
【図１５】ズーム位置情報に基づいてシフト残響音割合比率を決定する第３実施形態のシフト残響音割合比率決定テーブルである。
【図１６】第３実施形態の動画ファイルの説明図である。
【発明を実施するための形態】
【００１９】
［第１実施形態］
図１に示すように、本発明を実施したデジタルカメラ１０は、カメラ本体１０ａの前面に、左レンズ鏡筒１１と右レンズ鏡筒１２とが設けられている。左レンズ鏡筒１１には、撮像レンズ１３が組み込まれ、右レンズ鏡筒１２には、撮像レンズ１４が組み込まれている。各レンズ鏡筒１１，１２は、デジタルカメラ１０が電源オフ状態にある際に、カメラ本体１０ａの内部に収納され、静止画撮影モードや動画撮影モードに移行されたときにカメラ本体１０ａの前面から突出する。撮像レンズ１３，１４は、ズームレンズ１３ａ，１４ａ、フォーカスレンズ１３ｂ，１４ｂ（図４参照）から構成されている。
【００２０】
カメラ本体１０ａの前面には、ストロボ１５と、外部の音声を左マイクロフォン６６（図３参照）に到達させるための左集音開口１６ａと、外部の音声を右マイクロフォン６７（図３参照）に到達させるための右集音開口１６ｂとが設けられている。ストロボ１５は、ＣＰＵ５０（図３参照）によって作動され、被写体に向けて光を照射する。左集音開口１６ａはカメラ本体１０ａ前面の左側端部に設けられ、右集音開口１６ｂはカメラ本体１０ａ前面の右側端部に設けられている。また、カメラ本体１０ａの上面には、電源ボタン１７、レリーズボタン１８等が設けられている。
【００２１】
デジタルカメラ１０は、静止画撮影モードと、動画撮影モードと、撮影した画像を再生表示する再生モードとが設けられている。レリーズボタン１８は、２段押しの構造とされている。静止画撮影モードでは、レリーズボタン１８を軽く押圧（半押し）すると、露出調整や焦点調整などの撮影準備動作が行われる。この状態でさらに押圧（全押し）すると、撮影動作が行われる。動画撮影モードでは、レリーズボタン１８の全押しに伴って動画撮影が開始され、全押しの解除により終了される。
【００２２】
図２に示すように、カメラ本体１０ａの背面には、画像や各種設定条件が表示されるＬＣＤ２０、各種設定、表示画像及びモードの切り換えを行うためのメニューキー２１、ＬＣＤ２０に表示する画像を拡大及び縮小ズームさせるズームボタン２２が設けられている。ズームボタン２２の操作により、ズームレンズ１３ａ，１４ａが移動され、拡大及び縮小ズームが行われる。ＬＣＤ２０の前面には、立体視用のレンチキュラーレンズ（図示せず）が取り付けられている。
【００２３】
カメラ本体１０ａの背面には、左スピーカ８１（図３参照）から出力された音声を外部に発する左スピーカ開口２３と、右スピーカ８２（図３参照）から出力された音声を外部に発する右スピーカ開口２４とが設けられている。左スピーカ開口２３はＬＣＤ２０の左側に設けられ、右スピーカ開口２４はＬＣＤ２０の右側に設けられている。
【００２４】
図３〜図５に示すように、デジタルカメラ１０には、左撮像部３１と右撮像部３２とが設けられている。左撮像部３１は、撮像レンズ１３と、撮像レンズ１３の背後に配され、撮像レンズ１３を透過した被写体光が入射するＣＣＤ３３とを備える。このＣＣＤ３３は、被写体像を光電変換して時系列の３色信号を発生し、これを相関二重サンプリング回路（ＣＤＳ）３４に送る。ＣＣＤドライバ３７には、ＣＰＵ５０によって制御されるＴＧ（タイミングジェネレータ）３８からのタイミング信号（クロック信号）が入力される。このＣＣＤドライバ３７によって、ＣＣＤ３３が作動される。ＣＣＤ３３から出力された３色信号は、ＣＤＳ３４でノイズ成分が除去され、ＣＣＤ３３の各セルの蓄積電荷量に正確に対応した３色信号に変換される。ＣＤＳ３４から出力された３色信号は、ＩＳＯ感度に応じて増幅器（ＡＭＰ）３５で増幅され、Ａ／Ｄ変換器３６で画像データに変換される。ズーム用モータ３９ａ、フォーカス用モータ３９ｂは、モータドライバ（図示せず）を介してＣＰＵ５０により駆動され、ズームレンズ１３ａ、フォーカスレンズ１３ｂを移動してズーム及び焦点調整を行う。
【００２５】
画像入力コントローラ４０は、データバス４９を介してＣＰＵ５０に接続されており、ＣＰＵ５０の命令によってＣＤＳ３４，ＡＭＰ３５，Ａ／Ｄ変換器３６を制御する。ＣＰＵ５０には、各種制御用のプログラムや設定情報などが記録されたＥＥＰＲＯＭ（図示せず）が接続されている。ＣＰＵ５０は、ＥＥＰＲＯＭ内のプログラムを読み取って、各部を制御する。
【００２６】
右撮像部３２は、左撮像部３１と同様に、撮像レンズ１４、ＣＣＤ４１、ＣＤＳ４２、ＡＭＰ４３、Ａ／Ｄ変換器４４、ＣＣＤドライバ４５、ＴＧ４６、ズーム用モータ４７ａ、フォーカス用モータ４７ｂ、画像入力コントローラ４８を備え、ＣＰＵ５０によって作動される。
【００２７】
画像入力コントローラ４０は、Ａ／Ｄ変換器３６から出力された画像デーをビデオメモリ５１、あるいはバッファメモリ５２に記録する。同様に、画像入力コントローラ４８は、Ａ／Ｄ変換器４４から出力された画像データをビデオメモリ５３、あるいはバッファメモリ５４に記録する。
【００２８】
ビデオメモリ５１，５３は、ＬＣＤ２０をビューファインダとして使用する際に、解像度の低いスルー画の画像データが一時的に記録される。このスルー画の画像データは、データバス４９を介してＬＣＤドライバ５６に送られ、スルー画がＬＣＤ２０に表示される。バッファメモリ５２は、撮像された高解像度の左視点画像データが一時的に記録され、バッファメモリ５４は、撮像された高解像度の右視点画像データが一時的に記録される。本実施形態では、動画撮影時には、１秒間に２０フレームの視点画像データがバッファメモリ５２，５４に連続して記録される。
【００２９】
再生モードで動画を再生するとき、ＬＣＤドライバ５６は、各視点画像データを一ライン毎交互にストライプ状に並べた画像（以下、立体用画像）をＬＣＤ２０に出力する。ＬＣＤ２０の前面に配されたレンチキュラーレンズによって、左視点画像データを観察者の左目に、右視点画像データを右目にそれぞれ映すことで、立体画像を表示することができる。
【００３０】
測光・測距部６１は、左撮像部３１で撮影される被写体の輝度、および被写体までの距離を検出し、この検出結果から露出量、ホワイトバランス補正量、および焦点距離を決定する。同様に、測光・測距部６２は、右撮像部３２で撮影される被写体の輝度、および被写体までの距離を検出し、この検出結果から露出量、ホワイトバランス補正量、および焦点距離を決定する。
【００３１】
測光・測距部６１，６２は、スルー画の表示中は所定のサイクルで作動している。スルー画の表示中は、測光・測距部６１，６２で決定された露出量に応じて絞り（図示せず）の絞り径が制御される。
【００３２】
測光・測距部６１，６２は、静止画撮影モードでレリーズボタン１８が半押しされたとき、及び動画撮影モードでレリーズボタン１８が全押しされたときに、輝度および距離の検出を開始し、検出結果をＣＰＵ５０に逐次送信する。ＣＰＵ５０は、測光・測距部６１、６２からの検出結果に基づいて、フォーカスレンズ１３ｂ，１４ｂを移動させて焦点調整を行う。また、ＣＰＵ５０は、測光・測距部６１、６２からの検出結果に基づいて、絞り、ＣＣＤ３３，４１、及びストロボ１５の動作を制御する。
【００３３】
左マイクロフォン６６は、音を音声データ（電気信号）に変換するトランスデューサ６６ａを備え、動画撮影時に周囲の音を集音し、集音した音を音声データに変換する。同様に、右マイクロフォン６７は、トランスデューサ６７ａを備える。各マイクロフォン６６，６７は、左右視点画像データを取得する毎に、音声データを取得する。
【００３４】
バッテリ６９は、デジタルカメラ１０内部に内蔵され、ＬＣＤ２０やＣＰＵ５０などの各部へ電力を供給する。バッテリ６９はＣＰＵ５０に接続されており、このＣＰＵ５０によって各部に供給する電力が制御される。
【００３５】
領域検出部７２は、動画撮影時に、バッファメモリ５２から図６（Ａ）に示す左視点画像データを読み出すとともに、バッファメモリ５４から図６（Ｂ）に示す右視点画像データを読み出し、各視点画像データ内の主要な被写体領域（図６及び図７における点線で囲まれた領域）を検出し、主要被写体領域サイズを検出する。領域検出部７２は、公知のパターン認識や色認識等により、主要な被写体を検出する。なお、領域検出部７２は、左右視点画像データそれぞれの主要被写体領域を検出し、そのサイズの平均値を主要被写体領域サイズとして検出する。また、領域検出部７２は、左右視点画像データを取得する毎に、主要被写体領域を検出する。
【００３６】
情報取得部７３は、主要被写体画像において鑑賞者から最も近くに見える近視点ＮＰ（図６における×印）を検出し、図６（Ａ）に示す左視点画像データの画像左端から近視点ＮＰまでの距離ＤＮＬと、図６（Ｂ）に示す右視点画像データの画像左端から近視点ＮＰまでの距離ＤＮＲとを算出する。そして、情報取得部７３は、距離ＤＮＬ−距離ＤＮＲで算出される値を、主要被写体画像の最大視差量情報として取得する。また、情報取得部７３は、左右視点画像データを取得する毎に、主要被写体画像の最大視差量情報を取得する。
【００３７】
図５に示すように、音像定位決定部７４は、制御部９１、左右マイクロフォン６６，６７で取得された音声データ（以下、生音声データと称する）を二分する乗算器９２ａ，９２ｂ、加算器９３、リバーブ回路９４を備える。加算器９３は、Ｌチャンネル用の加算器、Ｒチャンネル用の加算器が設けられている。本実施形態では、音像定位決定部７４は、聴取者が左右スピーカ８１，８２の中間で、カメラ本体１０ａの背面から所定距離（例えば、５０ｃｍ）離れている状態であるときの音像定位を決定する。
【００３８】
乗算器９２ａ，９２ｂは、制御部９１から入力される乗算係数９２ａｋ，９２ｂｋに基づいて生音声データを、第１音声データと第２音声データとに二分する。なお、乗算係数９２ａｋ，９２ｂｋの和は１である。
【００３９】
リバーブ回路９４は、乗算器９２ｂを介して入力された第２音声データから残響音データを得て、この残響音データを加算器９３に出力する。第１音声データに対する第２音声データの割合（以下、残響音割合と称する）が小さくなると、音像定位が手前側となり音声が手前側から聞こえるように感じられる。残響音割合が大きくなると、音像定位が奥側となり音声が奥側から聞こえるように感じられる。
【００４０】
制御部９１は、領域検出部７２で検出された主要被写体領域サイズと、情報取得部７３で取得した主要被写体画像の最大視差量情報とに基づいて、予め設定された基準となる基準残響音割合からシフトする残響音割合比率（以下、シフト残響音割合比率と称する）を決定する。なお、基準残響音割合情報は、予めＲＡＭ７８に記憶されている。
【００４１】
制御部９１は、予め設定された第１領域閾値、第２領域閾値、視差量閾値を用いて、主要被写体領域サイズ＜第１領域閾値、第１領域閾値≦主要被写体領域サイズ＜第２領域閾値、第２領域閾値≦主要被写体領域サイズのいずれであるかを判定するとともに、主要被写体画像の最大視差量情報＜視差量閾値、視差量閾値≦主要被写体画像の最大視差量情報のいずれであるかを判定する。制御部９１は、その判定結果に応じてシフト残響音割合比率を決定する。なお、各閾値情報は、予めＲＡＭ７８に記憶されており、その数値は、適宜変更可能である。
【００４２】
図７（Ａ）に示すように、主要被写体領域サイズ＜第１領域閾値の場合や、図７（Ｂ）に示すように、第１領域閾値≦主要被写体領域サイズ＜第２領域閾値で、且つ主要被写体画像の最大視差量情報＜視差量閾値の場合には、制御部９１は、シフト残響音割合比率を０（ゼロ）％に決定する。
【００４３】
図７（Ｃ）に示すように、第１領域閾値≦主要被写体領域サイズ＜第２領域閾値で、且つ視差量閾値≦主要被写体画像の最大視差量情報の場合には、制御部９１は、シフト残響音割合比率をマイナス５％に決定する。
【００４４】
図７（Ｄ）に示すように、第２領域閾値≦主要被写体領域サイズの場合には、制御部９１は、シフト残響音割合比率をマイナス１０％に決定する。なお、第２領域閾値≦主要被写体領域サイズの場合には、視差量閾値≦主要被写体画像の最大視差量情報となる。
【００４５】
制御部９１は、決定したシフト残響音割合比率に基づいて残響音割合を算出し、算出した残響音割合となるように、乗算器９２ａ，９２ｂで用いる乗算係数９２ａｋ，９２ｂｋを算出する。
【００４６】
また、ＲＡＭ７８には、定位角度を決定するための頭部伝達関数が予め複数記憶されている。この頭部伝達関数は、人間の頭部に似た形状を有し、その右耳および左耳に対応する部分にそれぞれマイクが取り付けられたダミーヘッドを用い、聴取者から５０ｃｍ離れているとともに、聴取者に対して水平角（定位角）で特定される音源において発生した音が、聴取者の左右の耳に伝達されたときの波形を捉え、源音波形との差分を測定し、この測定を、空間上の複数の位置の音源から発生する音について行い、測定されたデータから、音源から発生した音の波形をダミーヘッドの右耳または左耳に到達した時の波形に変換する関数として、音源の位置に応じて算出されたものである。
【００４７】
音像定位決定部７４は、乗算器９２ａを介して入力される第１音声データに、頭部伝達関数に基づいた畳み込み演算を施し、演算を施した音声データを加算器９３に出力する第１〜第５定位付器９６ａ〜９６ｅを備える。各定位付器９６ａ〜９６ｅは、頭部伝達関数に対応するＦＩＲフィルタがＬチャンネル及びＲチャンネル用に２個並列に接続した構成となっている。音声データを、定位させたい位置に応じたＦＩＲフィルタに通して加工し再生すると、聴取者には、定位させたい位置から音が聞こえてくるように感じられる。
【００４８】
各定位付器９６ａ〜９６ｅは、左右スピーカ８１，８２間を５等分したときに、第１定位付器９６ａが一番左の部分に対応し、第２定位付器９６ｂが左から２番目の部分に対応し、第３〜第５定位付器９６ｃ〜９６ｅが、真中部分、右から２番目の部分、一番右の部分にそれぞれ対応するように設定されている。各定位付器９６ａ〜９６ｅは、各部分に対応する音源の位置の頭部伝達関数をＲＡＭ７８から読み出し、この読み出した頭部伝達関数に基づいた畳み込み演算を行う。なお、定位付器の数は、適宜変更可能であり、例えば、聴取者の正面方向を０°としたときに、聴取者を中心に３０°ピッチで１２等分した各方向に対応した１２個の定位付器を設け、聴取者の左右や後方に音像を定位させてもよい。
【００４９】
制御部９１は、画像を左右方向に５等分したときに、領域検出部７２で検出された主要被写体領域の左右方向の中心部がどの部分に位置するかを検出し、各定位付器９６ａ〜９６ｅの中から、検出した部分に対応した１つを選択する。この選択された１つには、乗算器９２ａを介して第１音声データが入力される。
【００５０】
定位付器９６ａ〜９６ｅの中の選択された１つは、入力された第１音声データに畳み込み演算を施し、演算を施した音声データを加算器９３に出力する。加算器９３は、この入力された音声データと、リバーブ回路から入力された残響音データとを加算して加算音声データを得る。音声出力時には、加算音声データが、左右スピーカ８１，８２から出力される。
【００５１】
圧縮・伸長部７６は、左視点画像データ、右視点画像データ及び加算音声データを、周知のＪＰＥＧ形式で圧縮・伸長する。
【００５２】
図８に示すように、動画撮影時には動画ファイルＰＦが作成される。この動画ファイルＰＦは、画像や音声などの様々な形式のデータを1つのファイルに格納するためのＲＩＦＦチャンクヘッダ、音声付きの動画を扱うためのＡＶＩヘッダ、ストリームヘッダ、オーディオチャンク、ビデオ（Ｌ）チャンク、ビデオ（Ｒ）チャンクから構成される。オーディオチャンク、ビデオ（Ｌ）チャンク、ビデオ（Ｒ）チャンクは、それぞれ複数設けられる。動画ファイルＰＦは、メモリコントローラ７７によって駆動制御されるデータリーダによりＲＡＭ７８に記録される（図３参照）。連続して撮影した動画は、１つの動画ファイルＰＦとしてＲＡＭ７８に記録される。
【００５３】
ビデオ（Ｌ）チャンクは、動画を構成する２０フレーム（１秒）分の圧縮された左視点画像データ（左画像ストリーム）から構成される。ビデオ（Ｒ）チャンクは、２０フレーム分の圧縮された右視点画像データ（右画像ストリーム）から構成される。オーディオチャンクは、２０フレーム分の圧縮された加算音声データ（オーディオストリーム）から構成される。
【００５４】
ストリームヘッダには、各ストリームにどのような情報が書き込まれているかの情報として、画像の種類、画像の再生時間、データ量／チャンク（１チャンクあたりの再生時のデータ量）、先頭アドレス（各フレームの先頭アドレス）、ストリームＩＤ、解像度、圧縮方式、表示次元、フレーム数／チャンク、撮影情報等が記録される。
【００５５】
次に、デジタルカメラ１０の作用について、図９及び図１０のフローチャートを用いて説明を行う。動画撮影モードでレリーズボタン１８を全押しする（ステップ（以下，Ｓ）１）でＹ）と、左視点画像データがバッファメモリ５２に記録され、右視点画像データがバッファメモリ５４に記録される（Ｓ２）。
【００５６】
領域検出部７２は、バッファメモリ５２，５４から左視点画像データ及び右視点画像データを読み出し、各視点画像データ内の主要な被写体領域を検出し、主要被写体領域サイズを検出する（Ｓ３）。情報取得部７３は、主要被写体画像において鑑賞者から最も近くに見える近視点ＮＰを検出し、図６（Ａ）に示す左視点画像データの画像左端から近視点ＮＰまでの距離ＤＮＬと、図６（Ｂ）に示す右視点画像データの画像左端から近視点ＮＰまでの距離ＤＮＲとを算出し、距離ＤＮＬ−距離ＤＮＲで算出される値を、主要被写体画像の最大視差量情報として取得する（Ｓ４）。
【００５７】
制御部９１は、主要被写体領域サイズ＜第１領域閾値であるか否かを判定し（Ｓ５）、主要被写体領域サイズ＜第１領域閾値であると判定した場合（Ｓ５でＹ）には、シフト残響音割合比率を０％に決定する（Ｓ６）。
【００５８】
制御部９１は、主要被写体領域サイズ＜第１領域閾値ではないと判定した場合（Ｓ５でＮ）には、第１領域閾値≦主要被写体領域サイズ＜第２領域閾値であるか否かを判定する（Ｓ７）。第１領域閾値≦主要被写体領域サイズ＜第２領域閾値であると判定した場合（Ｓ７でＹ）には、制御部９１は、主要被写体画像の最大視差量情報＜視差量閾値であるか否かを判定する（Ｓ８）。制御部９１は、第１領域閾値≦主要被写体領域サイズ＜第２領域閾値で（Ｓ７でＹ）、且つ主要被写体画像の最大視差量情報＜視差量閾値であると判定した場合（Ｓ８でＹ）には、シフト残響音割合比率を０％に決定する（Ｓ６）。シフト残響音割合比率が０％の場合、残響音割合は基準残響音割合となる。
【００５９】
制御部９１は、第１領域閾値≦主要被写体領域サイズ＜第２領域閾値で（Ｓ７でＹ）、且つ視差量閾値≦主要被写体画像の最大視差量情報であると判定した場合（Ｓ８でＮ、Ｓ９）には、シフト残響音割合比率をマイナス５％に決定する（Ｓ１０）。この場合、残響音割合は、基準残響音割合から５％小さくなったものとなり、基準残響音割合のときよりも音像定位が手前側となる。これにより、音声出力時に音声が手前側から聞こえるようになり、臨場感がアップする。
【００６０】
制御部９１は、第２領域閾値≦主要被写体領域サイズであると判定した場合（Ｓ７でＮ、Ｓ１１）には、シフト残響音割合比率をマイナス１０％に決定する（Ｓ１２）。この場合、残響音割合は、基準残響音割合から１０％小さくなったものとなり、基準残響音割合から５％小さい残響音割合のときよりもさらに音像定位が手前側となる。これにより、音声出力時に音声がより一層手前側から聞こえるようになり、臨場感もより一層アップする。
【００６１】
制御部９１は、決定したシフト残響音割合比率に基づいて残響音割合を算出し、算出した残響音割合となるように、乗算係数９２ａｋ，９２ｂｋを算出する（Ｓ１３）。そして、制御部９１は、算出した乗算係数９２ａｋ，９２ｂｋを乗算器９２ａ，９２ｂに出力する。乗算器９２ａ，９２ｂは、入力された乗算係数９２ａｋ，９２ｂｋに基づいて、生音声データを第１音声データと第２音声データとに二分する（Ｓ１４）。
【００６２】
リバーブ回路９４は、乗算器９２ｂを介して入力された第２音声データから残響音データを得て（Ｓ１５）、この残響音データを加算器９３に出力する。
【００６３】
制御部９１は、画像を左右方向に５等分したときに、領域検出部７２で検出された主要被写体領域の左右方向の中心部がどの部分に位置するかを検出し（例えば、左から２番目の部分）、各定位付器９６ａ〜９６ｅの中から、検出部分（左から２番目の部分）に対応した１つ（第２定位付器９６ｂ）を選択する（Ｓ１６）。この選択された第２定位付器９６ｂには、乗算器９２ａを介して第１音声データが入力される。
【００６４】
第２定位付器９６ｂは、対応した頭部伝達関数をＲＡＭ７８から読み出し、この読み出した頭部伝達関数に基づいて第１音声データに畳み込み演算を施し（Ｓ１７）、演算を施した音声データを加算器９３に出力する。これにより、音声出力時には、主要被写体領域の位置に応じて定位角度が決定された音像定位から音声が出力される。
【００６５】
第２定位付器９６ｂから入力された音声データとリバーブ回路９４から入力された残響音データとは、加算器９３で加算されて加算音声データとなる。この加算音声データと、バッファメモリ５２，５４から読み出された各視点画像データとは、圧縮・伸長部７６によりＪＰＥＧ形式で圧縮された後、ＲＡＭ７８に記憶される（Ｓ１８）。
【００６６】
レリーズボタン１８が引き続き押圧されている（Ｓ１９でＹ）ときには、再度（Ｓ２）以降が行われ、レリーズボタン１８の押圧が解除される（Ｓ１９でＮ）と、動画撮影モードでの撮影が終了する。
【００６７】
再生モード時に、メニューキー２１の操作により、ＲＡＭ７８に記録された動画ファイルＰＦの１つが選択されると、選択された動画ファイルＰＦが再生される。再生時には、動画ファイルＰＦ内の各視点画像データ及び加算音声データが、圧縮・伸長部７６により伸長される。この伸長された左視点画像データと右視点画像データとに基づいて立体用画像が作成され、この立体用画像がＬＣＤ２０に表示される。立体用画像は、動画ファイルＰＦ内の視点画像データの分だけ作成され、複数の立体用画像を連続してＬＣＤ２０に表示することにより、立体用動画が再生される。
【００６８】
また、伸長された加算音声データは、ＬＣＤ２０への立体用画像の表示に合わせて、左スピーカ８１及び右スピーカ８２から出力される。この出力される加算音声データは、主要被写体領域サイズ及び最大視差量情報に基づいて音像定位を手前側、奥側のどちらにするか（以下、前後方向の音像定位）が決定されるとともに、画像中の主要被写体領域位置に基づいて定位角度が決定された音声データであるため、動画再生時の臨場感や迫力が高められる。
【００６９】
図１１に示すように、画像データ内に主要被写体領域（点線で囲まれた領域）が複数（例えば、４つ）ある場合には、情報取得部７３は、４つの主要被写体画像それぞれの最大視差量情報を取得し、４つの最大視差量情報の平均値を、最大視差量情報として取得する。
【００７０】
なお、情報取得部７３は、視点画像の最大視差量情報及び平均視差量情報、主要被写体画像の平均視差量情報などを取得してもよく、情報取得部７３で取得した情報と、領域検出部７２で検出された主要被写体領域サイズとに基づいて、音像定位決定部７４はシフト残響音割合比率を決定する。各画像の平均視差量情報を取得するときには、各画像において鑑賞者から最も遠くに見える遠視点を検出し、左視点画像データの画像左端から遠視点までの距離ＤＦＬと、右視点画像データの画像左端から遠視点までの距離ＤＦＲとを算出する。そして、距離ＤＦＬ−距離ＤＦＲで算出される値を、画像における左右視点画像間の水平方向の最小視差量情報として取得し、この最小視差量情報と最大視差量情報との平均値を、平均視差量情報として取得する。
【００７１】
また、画像の特徴点を複数抽出し、複数の特徴点それぞれにおいて視差量情報を取得し、各特徴点の視差量情報の平均値を、平均視差量情報として取得してもよい。なお、特徴点としては、画像が人である場合、鼻の頂点、目尻、目頭、眉尻、眉頭、口角部等が挙げられる。この場合、主要被写体領域を検出するときに、特徴点の抽出も行う。
【００７２】
［第２実施形態］
図１２及び図１３に示す第２実施形態では、情報取得部７３は、焦点調整を行うときのフォーカスレンズ１３ｂ，１４ｂの調整量情報としてのフォーカス駆動量（レンズ移動量）を取得する。なお、第１実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【００７３】
音像定位決定部７４は、領域検出部７２で検出された主要被写体領域サイズと、情報取得部７３で取得したフォーカス駆動量とに基づいて、シフト残響音割合比率を決定する。
【００７４】
図１２に示すように、ＲＡＭ７８には、シフト残響音割合比率決定テーブルが記録されており、音像定位決定部７４は、このシフト残響音割合比率決定テーブルを参照して、シフト残響音割合比率を決定する。例えば、主要被写体領域サイズ≧領域閾値で、且つフォーカス駆動量≧駆動閾値の場合は、シフト残響音割合比率を０％に決定し、主要被写体領域≧領域閾値で、且つフォーカス駆動量＜駆動閾値の場合は、シフト残響音割合比率をマイナス５％に決定する。
【００７５】
圧縮・伸長部７６は、周知のＭＰＥＧ形式で、２０フレーム（１秒）分の左視点画像データから基本フレーム（左画像Ｉフレーム）、差分フレームとしてのＰフレーム（左画像Ｐフレーム）及びＢフレーム（左画像Ｂフレーム）を作成する。同様に、圧縮・伸長部７６は、右画像Ｉフレーム、右画像Ｐフレーム及び右画像Ｂフレームを作成する。
【００７６】
図１３に示すように、動画ファイルＭＰＦは、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）（Ｌ）と、ＧＯＰ（Ｒ）と、２０フレーム分の圧縮された生音声データ及びシフト残響音割合比率データとから構成される。本実施形態では、生音声データとシフト残響音割合比率データとは、個別に記録される。なお、主要被写体領域に基づいて各定位付器９６ａ〜９６ｅの中からいずれを用いるかを選択しておき、この選択データを、生音声データ及びシフト残響音割合比率データとは別に記録してもよい。
【００７７】
ＧＯＰ（Ｌ）は、左画像Ｉフレーム、左画像Ｐフレーム及び左画像Ｂフレームから構成される。ＧＯＰ（Ｒ）は、右画像Ｉフレーム、右画像Ｐフレーム及び右画像Ｂフレームから構成される。
【００７８】
動画ファイルＭＰＦを再生するときには、圧縮・伸長部７６は、各フレーム及び各データをＭＰＥＧ形式で伸長する。伸長された左画像Ｉフレームは、左画像Ｐフレーム及び左画像Ｂフレームに基づいて変更される。同様に、伸長された右画像Ｉフレームは、右画像Ｐフレーム及び右画像Ｂフレームに基づいて変更される。この変更された各Ｉフレームに基づいて立体用画像が作成され、この立体用画像がＬＣＤ２０に表示される。また、伸長された生音声データは、音像定位決定部７４で、シフト残響音割合比率データに基づいて前後方向の音像定位が決定されるとともに、主要被写体領域に基づいて定位角度が決定された加算音声データとなる。この加算音声データは、ＬＣＤ２０への立体用画像の表示に合わせて、左スピーカ８１及び右スピーカ８２から出力される。
【００７９】
なお、図１４に示すように、動画ファイルＭＰＦを、ＧＯＰ（Ｌ）と、２０フレーム分のＬチャンネル用の生音声データ（Ｌ）及びシフト残響音割合比率データと、ＧＯＰ（Ｒ）と、２０フレーム分のＲチャンネル用の生音声データ（Ｒ）及びシフト残響音割合比率データとから構成してもよい。
【００８０】
［第３実施形態］
図１５及び図１６に示す第３実施形態では、情報取得部７３は、主要被写体画像の最大視差量情報と、撮像レンズ１３，１４のズーム倍率情報としてのズーム位置情報とを取得する。なお、第１実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【００８１】
本実施形態では、３５ｍｍフィルム換算で広角２８ｍｍ〜望遠３００ｍｍまでズーム可能とされている。情報取得部７３は、ズーム位置情報として、ズーム位置が広角位置、標準位置、望遠位置のいずれに相当するかを判定する。例えば、ズーム位置＜４０ｍｍのときには広角位置と判定し、４０ｍｍ≦ズーム位置≦１２０ｍｍのときには標準位置と判定し、１２０ｍｍ＜ズーム位置のときには望遠位置と判定する。
【００８２】
音像定位決定部７４は、情報取得部７３で取得した主要被写体画像の最大視差量情報とズーム位置情報とに基づいて、シフト残響音割合比率を決定する。
【００８３】
図１５に示すように、ＲＡＭ７８には、シフト残響音割合比率決定テーブルが記録されており、音像定位決定部７４は、このシフト残響音割合比率決定テーブルを参照して、シフト残響音割合比率を決定する。例えば、第１領域閾値≦主要被写体画像の最大視差量＜第２領域閾値で、且つ標準位置の場合は、シフト残響音割合比率をマイナス２％に決定し、第２閾値＜主要被写体画像の最大視差量で、且つ広角位置の場合は、シフト残響音割合比率をマイナス１０％に決定する。
【００８４】
圧縮・伸長部７６は、各データをＪＰＥＧ形式で圧縮・伸長する。図１６に示すように、この圧縮された動画ファイルＪＰＦは、ＲＩＦＦチャンクヘッダ、ＡＶＩヘッダ、ストリームヘッダ、オーディオチャンク、コントロールチャンク、ビデオ（Ｌ）チャンク、ビデオ（Ｒ）チャンクから構成される。オーディオチャンク、コントロールチャンク、ビデオ（Ｌ）チャンク、ビデオ（Ｒ）チャンクは、それぞれ複数設けられる。
【００８５】
オーディオチャンクは、２０フレーム（１秒）分の圧縮された生音声データから構成される。コントロールチャンクは、２０フレーム分の圧縮されたシフト残響音割合比率データから構成される。なお、主要被写体領域に基づいて各定位付器９６ａ〜９６ｅの中からいずれを用いるかを選択しておき、この選択データを、シフト残響音割合比率データとは別にコントロールチャンクに記録してもよい。
【００８６】
動画ファイルＪＰＦを再生するときには、圧縮・伸長部７６は、各データをＪＰＥＧ形式で伸長する。この伸長されたデータに基づいて作成された立体用画像がＬＣＤ２０に表示される。また、伸長された生音声データは、音像定位決定部７４で、シフト残響音割合比率データに基づいて前後方向の音像定位が決定されるとともに、主要被写体領域に基づいて定位角度が決定された加算音声データとなる。この加算音声データは、ＬＣＤ２０への立体用画像の表示に合わせて、左スピーカ８１及び右スピーカ８２から出力される。
【００８７】
なお、上記実施形態では、残響音割合を変えることにより、音像定位を手前側または奥側に変えているが、音量、音声データ（信号）の位相差、音圧レベル比等を変えることにより、音像定位を手前側または奥側に変えてもよい。
【００８８】
また、残響音を直接音よりも遅れて出力し、この遅れ時間を変えることにより、音像定位を手前側または奥側に変えてもよい。
【００８９】
さらに、上記実施形態では、音像定位決定部７４は、聴取者がカメラ本体１０ａの背面から５０ｃｍ離れている状態であるときの音像定位を決定しているが、その距離は適宜変更可能であり、例えば、５０ｃｍ、１ｍ、１．５ｍ等複数の距離での音像定位を決定可能にしてもよい。この場合、複数の距離それぞれに対応した頭部伝達関数を予め算出しておき、複数の距離のいずれの音像定位を決定するかを、メニューキー２１等により選択可能にし、音像定位決定部７４は、選択された距離に対応した頭部伝達関数を用いて音像定位を決定する。
【００９０】
また、上記実施形態では、左右スピーカ８１，８２から音声を出力しているが、ヘッドフォンを接続する接続端子を設け、ヘッドフォンから音声を出力してもよい。
【００９１】
さらに、上記実施形態では、デジタルカメラについて説明しているが、それぞれ個別に設けられた複数のカメラ及びスピーカ、パソコン等から構成される画像記録システムにも、本発明を利用することができ、さらには、カメラ付き携帯電話等にも、本発明を利用することができる。
【符号の説明】
【００９２】
１０ デジタルカメラ
１３，１４ 撮像レンズ
１３ａ，１４ａ ズームレンズ
１３ｂ，１４ｂ フォーカスレンズ
２０ ＬＣＤ
３１ 左撮像部
３２ 右撮像部
３９ａ，４７ａ ズーム用モータ
３９ｂ，４７ｂ フォーカス用モータ
５０ ＣＰＵ
６６ 左マイクロフォン
６７ 右マイクロフォン
７２ 領域検出部
７３ 情報取得部
７４ 音像定位決定部
７８ ＲＡＭ
８１ 左スピーカ
８２ 右スピーカ
【技術分野】
【０００１】
本発明は、画像記録装置及び方法に関するものである。
【背景技術】
【０００２】
動画を撮影可能で持ち運び可能なデジタルビデオカメラ（以下、ビデオカメラ）は、広く一般に普及しており、例えば、レース場での車の撮影、運動会での子供の撮影等に用いられている。ビデオカメラは、撮像レンズとマイクロフォンとを備え、撮像レンズで撮影した画像データと、マイクロフォンのトランスデューサで変換された電気信号である音声情報とが、記録メディアに一緒に記録される。
【０００３】
特許文献１記載のビデオカメラでは、動画撮影時にズーム操作が行われたときに、マイクロフォンの特性としての指向性の広がり、方向及び感度等を制御している。例えば、撮影倍率を上げて撮影範囲を狭くし、画像内の被写体のサイズを大きくするズーム操作を行ったときには、それに合わせてマイクロフォンの指向性も狭くし、ズームした被写体から発せられる音声のみを取得することにより、臨場感をアップさせている。
【０００４】
また、動画を再生して、左右のスピーカから音声が出力されたとき、聴取者は、どの辺りから音声が聞こえるか（どの辺りに音像が存在するか）を感じる。この音像が存在すると感じる位置は、左右のスピーカからの音量等に応じて変化する。例えば、左右のスピーカから同じ音量の音声が出力された場合には、左右のスピーカの真中付近に音像が存在すると感じ、左のスピーカからのみ音声が出力された場合には、左のスピーカ付近に音像が存在すると感じる。この音像が存在すると感じる位置が音像定位と称され、決められた位置（例えば、聴取者がいる位置）から左右のスピーカの真中辺りまでを結ぶ線を基準線としたときに、この基準線と、聴取者がいる位置から音像定位までを結ぶ線との角度が定位角度と称される。
【０００５】
さらに、左右のスピーカから出力され、聴取者に到達する音声は、周囲の壁等に反響して到達する反響音（残響音）と、直接到達する直接音とに分けられる。聴取者は、直接音に対する残響音の割合が大きくなると、音像定位が奥側となり音声が奥側から聞こえるように感じる。また、直接音に対する残響音の割合が小さくなると、音像定位が手前側となり音声が手前側から聞こえるように感じる。従って、出力する音声にリバーブをかけて残響音を大きくする制御や、出力する音声の音量を小さくする制御を行うと、音像定位を奥側にすることができ、これとは逆の制御を行うと、音像定位を手前側にすることができる。
【０００６】
特許文献２記載の撮像装置では、ズーム操作により、被写体が５人から３人になると、各被写体の音像の定位角度を変更して、３人の被写体の音像だけが定位された状態で記録され、被写体ではなくなった２人から発せられる音声は記録しないように制御する。これにより、再生時の動画及び音声の一体感が向上される。また、画像内の中央に写っている被写体の音像は、左右のスピーカの真中付近に定位させ、画像内の左側部分または右側部分に写っている被写体の音像は、左右のスピーカのうち被写体が写っている側のスピーカ付近に定位させている。
【０００７】
特許文献３記載の３次元空間再現システムでは、映像に立体感を与えるために、観察者の左目に映す左視点画像と、観察者の右目に映す右視点画像との視差のある２つの画像から立体用画像を作成し、この立体用画像の奥行き感に応じて音声情報の出力量を制御している。左右視点画像において鑑賞者から最も近くに見える点が、最大視差量となる点であり、左右視点画像において鑑賞者から最も遠くに見える点が、最小視差量となる点であり、最大視差量と最小視差量との差が小さい場合、画像の奥行き感が小さく感じられる。このときには、出力する音声の音量を大きくして音像定位を手前側にし、音声が手前側から聞こえるように制御することにより、臨場感をアップさせている。また、最大視差量と最小視差量との差が大きく、画像の奥行き感が大きく感じられる場合には、出力する音声の音量を小さくして音像定位を奥側にし、音声が奥側から聞こえるように制御している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平９−２４７６３７号公報
【特許文献２】特開２００７−２０１８１８号公報
【特許文献３】特開平６−１０５４００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１及び２では、ズーム操作により画像内の被写体サイズを変化させたときには、取得した音声を加工することにより、臨場感や、記録した動画と記録した音声との一体感を高くしているが、ズーム操作を行わずに、被写体が接近してきたり遠ざかったりすることにより、画像内の被写体サイズが変化したときには、取得した音声の加工が行われないため、臨場感や、記録した動画と記録した音声との一体感を高くすることができない。
【００１０】
また、特許文献３では、最大視差量と最小視差量との差に応じて、音声が手前側及び奥側のどちらから聞こえるようにするかを制御することにより、臨場感を変化させているため、最大視差量と最小視差量との差が大きく、画像の奥行き感が大きく感じられるときには、画像中の主要被写体領域に関係なく、音声が奥側から聞こえるように制御される。画像中の主要被写体領域が変化したときにも、最大視差量と最小視差量との差が同じ場合には、音声が同じ側から聞こえるため、臨場感を変化させることができない。
【００１１】
本発明は、上記課題を解決するためになされたものであり、画像内の主要被写体領域に応じて音像定位を決定して臨場感を変化させることができる画像記録装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の画像記録装置は、複数の視点から同一の被写体を撮影する複数の撮像レンズを有し、立体用動画を構成する複数の視点画像を連続して取得する視点画像取得手段と、前記複数の視点画像を取得する毎に、音声情報を取得する音声取得手段と、前記複数の視点画像を取得する毎に、前記複数の視点画像の中で主要な被写体が占める主要被写体領域を検出する検出手段と、前記複数の視点画像を取得する毎に、前記複数の視点画像中の複数の視差量情報、前記複数の撮像レンズのズーム倍率情報、及び焦点調整を行うときの前記複数の撮像レンズの調整量情報の少なくとも１つを取得する情報取得手段と、前記主要被写体領域と前記情報取得手段で取得した情報とに基づいて、前記音声取得手段で取得された音声情報の音像定位を決定する音像定位決定手段と、前記複数の視点画像と、前記音声取得手段で取得された音声情報と、前記音像定位決定手段で決定された音像定位情報とを記録する記録手段と、を備えたことを特徴とする。
【００１３】
また、前記複数の視差量情報は、前記複数の視点画像の最大視差量情報及び平均視差量情報と、前記主要被写体画像の最大視差量情報及び平均視差量情報とからなることが好ましい。
【００１４】
さらに、前記視点画像取得手段が設けられた装置本体と、前記装置本体に設けられ、前記立体用動画を表示する表示手段と、前記装置本体に設けられ、前記音声情報を出力する音声出力手段とを備えることが好ましい。
【００１５】
また、前記記録手段は、前記音声取得手段で取得された音声情報と、前記音像定位情報とを個別に記録し、前記立体用動画を再生するときには、前記音像定位情報に基づいて音像定位が決定された音声情報を出力すること、または、前記記録手段は、前記音像定位情報に基づいて音像定位が決定された音声情報を記録することが好ましい。
【００１６】
さらに、本発明の画像記録方法は、複数の視点から同一の被写体を撮影する複数の撮像レンズにより、立体用動画を構成する複数の視点画像を連続して取得する視点画像取得ステップと、前記複数の視点画像を取得する毎に、音声情報を取得する音声取得ステップと、前記複数の視点画像を取得する毎に、前記複数の視点画像の中で主要な被写体が占める主要被写体領域を検出する検出ステップと、前記複数の視点画像を取得する毎に、前記複数の視点画像中の複数の視差量情報、前記複数の撮像レンズのズーム倍率情報、及び焦点調整を行うときの前記複数の撮像レンズの調整量情報の少なくとも１つを取得する情報取得ステップと、前記主要被写体領域と前記情報取得ステップで取得した情報とに基づいて、前記音声取得ステップで取得された音声情報の音像定位を決定する音像定位決定ステップと、前記複数の視点画像と、前記音声取得ステップで取得された音声情報と、前記音像定位決定ステップで決定された音像定位情報とを記録する記録ステップと、を有することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、立体用動画を構成する複数の視点画像中の主要被写体領域に基づいて、音声取得手段で取得された音声情報の音像定位を決定し、複数の視点画像と、音声情報と、決定された音像定位情報とを記録するから、記録した視点画像及び音声情報の再生時には、主要被写体領域に応じた音像定位から音声が出力される。これにより、動画再生時の臨場感や迫力を高めることができる。さらに、複数の視点画像中の複数の視差量情報、複数の撮像レンズのズーム倍率情報、及び焦点調整を行うときの複数の撮像レンズの調整量情報の少なくとも１つの情報に基づいて、音像定位を決定するから、視点画像及び音声情報の再生時には、前記情報に応じた音像定位から音声が出力され、動画再生時の臨場感や迫力をより一層高めることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明を実施したデジタルカメラを示す正面斜視図である。
【図２】デジタルカメラを示す背面図である。
【図３】デジタルカメラ内部の電気的構成を示すブロック図である。
【図４】左撮像部及び右撮像部の電気的構成を示すブロック図である。
【図５】音像定位決定部の電気的構成を示すブロック図である。
【図６】（Ａ）は左視点画像データを表示した状態、（Ｂ）は右視点画像データを表示した状態の説明図である。
【図７】主要被写体領域が異なる４つの画像データを示す説明図である。
【図８】動画ファイルを示す説明図である。
【図９】動画撮影時の処理の流れを示すフローチャートである。
【図１０】動画撮影時の処理の流れを示すフローチャートである。
【図１１】画像データ内に複数の主要被写体領域があるときの画像データを示す説明図である。
【図１２】フォーカス駆動量に基づいてシフト残響音割合比率を決定する第２実施形態のシフト残響音割合比率決定テーブルである。
【図１３】第２実施形態の動画ファイルを示す説明図である。
【図１４】動画ファイルを示す説明図である。
【図１５】ズーム位置情報に基づいてシフト残響音割合比率を決定する第３実施形態のシフト残響音割合比率決定テーブルである。
【図１６】第３実施形態の動画ファイルの説明図である。
【発明を実施するための形態】
【００１９】
［第１実施形態］
図１に示すように、本発明を実施したデジタルカメラ１０は、カメラ本体１０ａの前面に、左レンズ鏡筒１１と右レンズ鏡筒１２とが設けられている。左レンズ鏡筒１１には、撮像レンズ１３が組み込まれ、右レンズ鏡筒１２には、撮像レンズ１４が組み込まれている。各レンズ鏡筒１１，１２は、デジタルカメラ１０が電源オフ状態にある際に、カメラ本体１０ａの内部に収納され、静止画撮影モードや動画撮影モードに移行されたときにカメラ本体１０ａの前面から突出する。撮像レンズ１３，１４は、ズームレンズ１３ａ，１４ａ、フォーカスレンズ１３ｂ，１４ｂ（図４参照）から構成されている。
【００２０】
カメラ本体１０ａの前面には、ストロボ１５と、外部の音声を左マイクロフォン６６（図３参照）に到達させるための左集音開口１６ａと、外部の音声を右マイクロフォン６７（図３参照）に到達させるための右集音開口１６ｂとが設けられている。ストロボ１５は、ＣＰＵ５０（図３参照）によって作動され、被写体に向けて光を照射する。左集音開口１６ａはカメラ本体１０ａ前面の左側端部に設けられ、右集音開口１６ｂはカメラ本体１０ａ前面の右側端部に設けられている。また、カメラ本体１０ａの上面には、電源ボタン１７、レリーズボタン１８等が設けられている。
【００２１】
デジタルカメラ１０は、静止画撮影モードと、動画撮影モードと、撮影した画像を再生表示する再生モードとが設けられている。レリーズボタン１８は、２段押しの構造とされている。静止画撮影モードでは、レリーズボタン１８を軽く押圧（半押し）すると、露出調整や焦点調整などの撮影準備動作が行われる。この状態でさらに押圧（全押し）すると、撮影動作が行われる。動画撮影モードでは、レリーズボタン１８の全押しに伴って動画撮影が開始され、全押しの解除により終了される。
【００２２】
図２に示すように、カメラ本体１０ａの背面には、画像や各種設定条件が表示されるＬＣＤ２０、各種設定、表示画像及びモードの切り換えを行うためのメニューキー２１、ＬＣＤ２０に表示する画像を拡大及び縮小ズームさせるズームボタン２２が設けられている。ズームボタン２２の操作により、ズームレンズ１３ａ，１４ａが移動され、拡大及び縮小ズームが行われる。ＬＣＤ２０の前面には、立体視用のレンチキュラーレンズ（図示せず）が取り付けられている。
【００２３】
カメラ本体１０ａの背面には、左スピーカ８１（図３参照）から出力された音声を外部に発する左スピーカ開口２３と、右スピーカ８２（図３参照）から出力された音声を外部に発する右スピーカ開口２４とが設けられている。左スピーカ開口２３はＬＣＤ２０の左側に設けられ、右スピーカ開口２４はＬＣＤ２０の右側に設けられている。
【００２４】
図３〜図５に示すように、デジタルカメラ１０には、左撮像部３１と右撮像部３２とが設けられている。左撮像部３１は、撮像レンズ１３と、撮像レンズ１３の背後に配され、撮像レンズ１３を透過した被写体光が入射するＣＣＤ３３とを備える。このＣＣＤ３３は、被写体像を光電変換して時系列の３色信号を発生し、これを相関二重サンプリング回路（ＣＤＳ）３４に送る。ＣＣＤドライバ３７には、ＣＰＵ５０によって制御されるＴＧ（タイミングジェネレータ）３８からのタイミング信号（クロック信号）が入力される。このＣＣＤドライバ３７によって、ＣＣＤ３３が作動される。ＣＣＤ３３から出力された３色信号は、ＣＤＳ３４でノイズ成分が除去され、ＣＣＤ３３の各セルの蓄積電荷量に正確に対応した３色信号に変換される。ＣＤＳ３４から出力された３色信号は、ＩＳＯ感度に応じて増幅器（ＡＭＰ）３５で増幅され、Ａ／Ｄ変換器３６で画像データに変換される。ズーム用モータ３９ａ、フォーカス用モータ３９ｂは、モータドライバ（図示せず）を介してＣＰＵ５０により駆動され、ズームレンズ１３ａ、フォーカスレンズ１３ｂを移動してズーム及び焦点調整を行う。
【００２５】
画像入力コントローラ４０は、データバス４９を介してＣＰＵ５０に接続されており、ＣＰＵ５０の命令によってＣＤＳ３４，ＡＭＰ３５，Ａ／Ｄ変換器３６を制御する。ＣＰＵ５０には、各種制御用のプログラムや設定情報などが記録されたＥＥＰＲＯＭ（図示せず）が接続されている。ＣＰＵ５０は、ＥＥＰＲＯＭ内のプログラムを読み取って、各部を制御する。
【００２６】
右撮像部３２は、左撮像部３１と同様に、撮像レンズ１４、ＣＣＤ４１、ＣＤＳ４２、ＡＭＰ４３、Ａ／Ｄ変換器４４、ＣＣＤドライバ４５、ＴＧ４６、ズーム用モータ４７ａ、フォーカス用モータ４７ｂ、画像入力コントローラ４８を備え、ＣＰＵ５０によって作動される。
【００２７】
画像入力コントローラ４０は、Ａ／Ｄ変換器３６から出力された画像デーをビデオメモリ５１、あるいはバッファメモリ５２に記録する。同様に、画像入力コントローラ４８は、Ａ／Ｄ変換器４４から出力された画像データをビデオメモリ５３、あるいはバッファメモリ５４に記録する。
【００２８】
ビデオメモリ５１，５３は、ＬＣＤ２０をビューファインダとして使用する際に、解像度の低いスルー画の画像データが一時的に記録される。このスルー画の画像データは、データバス４９を介してＬＣＤドライバ５６に送られ、スルー画がＬＣＤ２０に表示される。バッファメモリ５２は、撮像された高解像度の左視点画像データが一時的に記録され、バッファメモリ５４は、撮像された高解像度の右視点画像データが一時的に記録される。本実施形態では、動画撮影時には、１秒間に２０フレームの視点画像データがバッファメモリ５２，５４に連続して記録される。
【００２９】
再生モードで動画を再生するとき、ＬＣＤドライバ５６は、各視点画像データを一ライン毎交互にストライプ状に並べた画像（以下、立体用画像）をＬＣＤ２０に出力する。ＬＣＤ２０の前面に配されたレンチキュラーレンズによって、左視点画像データを観察者の左目に、右視点画像データを右目にそれぞれ映すことで、立体画像を表示することができる。
【００３０】
測光・測距部６１は、左撮像部３１で撮影される被写体の輝度、および被写体までの距離を検出し、この検出結果から露出量、ホワイトバランス補正量、および焦点距離を決定する。同様に、測光・測距部６２は、右撮像部３２で撮影される被写体の輝度、および被写体までの距離を検出し、この検出結果から露出量、ホワイトバランス補正量、および焦点距離を決定する。
【００３１】
測光・測距部６１，６２は、スルー画の表示中は所定のサイクルで作動している。スルー画の表示中は、測光・測距部６１，６２で決定された露出量に応じて絞り（図示せず）の絞り径が制御される。
【００３２】
測光・測距部６１，６２は、静止画撮影モードでレリーズボタン１８が半押しされたとき、及び動画撮影モードでレリーズボタン１８が全押しされたときに、輝度および距離の検出を開始し、検出結果をＣＰＵ５０に逐次送信する。ＣＰＵ５０は、測光・測距部６１、６２からの検出結果に基づいて、フォーカスレンズ１３ｂ，１４ｂを移動させて焦点調整を行う。また、ＣＰＵ５０は、測光・測距部６１、６２からの検出結果に基づいて、絞り、ＣＣＤ３３，４１、及びストロボ１５の動作を制御する。
【００３３】
左マイクロフォン６６は、音を音声データ（電気信号）に変換するトランスデューサ６６ａを備え、動画撮影時に周囲の音を集音し、集音した音を音声データに変換する。同様に、右マイクロフォン６７は、トランスデューサ６７ａを備える。各マイクロフォン６６，６７は、左右視点画像データを取得する毎に、音声データを取得する。
【００３４】
バッテリ６９は、デジタルカメラ１０内部に内蔵され、ＬＣＤ２０やＣＰＵ５０などの各部へ電力を供給する。バッテリ６９はＣＰＵ５０に接続されており、このＣＰＵ５０によって各部に供給する電力が制御される。
【００３５】
領域検出部７２は、動画撮影時に、バッファメモリ５２から図６（Ａ）に示す左視点画像データを読み出すとともに、バッファメモリ５４から図６（Ｂ）に示す右視点画像データを読み出し、各視点画像データ内の主要な被写体領域（図６及び図７における点線で囲まれた領域）を検出し、主要被写体領域サイズを検出する。領域検出部７２は、公知のパターン認識や色認識等により、主要な被写体を検出する。なお、領域検出部７２は、左右視点画像データそれぞれの主要被写体領域を検出し、そのサイズの平均値を主要被写体領域サイズとして検出する。また、領域検出部７２は、左右視点画像データを取得する毎に、主要被写体領域を検出する。
【００３６】
情報取得部７３は、主要被写体画像において鑑賞者から最も近くに見える近視点ＮＰ（図６における×印）を検出し、図６（Ａ）に示す左視点画像データの画像左端から近視点ＮＰまでの距離ＤＮＬと、図６（Ｂ）に示す右視点画像データの画像左端から近視点ＮＰまでの距離ＤＮＲとを算出する。そして、情報取得部７３は、距離ＤＮＬ−距離ＤＮＲで算出される値を、主要被写体画像の最大視差量情報として取得する。また、情報取得部７３は、左右視点画像データを取得する毎に、主要被写体画像の最大視差量情報を取得する。
【００３７】
図５に示すように、音像定位決定部７４は、制御部９１、左右マイクロフォン６６，６７で取得された音声データ（以下、生音声データと称する）を二分する乗算器９２ａ，９２ｂ、加算器９３、リバーブ回路９４を備える。加算器９３は、Ｌチャンネル用の加算器、Ｒチャンネル用の加算器が設けられている。本実施形態では、音像定位決定部７４は、聴取者が左右スピーカ８１，８２の中間で、カメラ本体１０ａの背面から所定距離（例えば、５０ｃｍ）離れている状態であるときの音像定位を決定する。
【００３８】
乗算器９２ａ，９２ｂは、制御部９１から入力される乗算係数９２ａｋ，９２ｂｋに基づいて生音声データを、第１音声データと第２音声データとに二分する。なお、乗算係数９２ａｋ，９２ｂｋの和は１である。
【００３９】
リバーブ回路９４は、乗算器９２ｂを介して入力された第２音声データから残響音データを得て、この残響音データを加算器９３に出力する。第１音声データに対する第２音声データの割合（以下、残響音割合と称する）が小さくなると、音像定位が手前側となり音声が手前側から聞こえるように感じられる。残響音割合が大きくなると、音像定位が奥側となり音声が奥側から聞こえるように感じられる。
【００４０】
制御部９１は、領域検出部７２で検出された主要被写体領域サイズと、情報取得部７３で取得した主要被写体画像の最大視差量情報とに基づいて、予め設定された基準となる基準残響音割合からシフトする残響音割合比率（以下、シフト残響音割合比率と称する）を決定する。なお、基準残響音割合情報は、予めＲＡＭ７８に記憶されている。
【００４１】
制御部９１は、予め設定された第１領域閾値、第２領域閾値、視差量閾値を用いて、主要被写体領域サイズ＜第１領域閾値、第１領域閾値≦主要被写体領域サイズ＜第２領域閾値、第２領域閾値≦主要被写体領域サイズのいずれであるかを判定するとともに、主要被写体画像の最大視差量情報＜視差量閾値、視差量閾値≦主要被写体画像の最大視差量情報のいずれであるかを判定する。制御部９１は、その判定結果に応じてシフト残響音割合比率を決定する。なお、各閾値情報は、予めＲＡＭ７８に記憶されており、その数値は、適宜変更可能である。
【００４２】
図７（Ａ）に示すように、主要被写体領域サイズ＜第１領域閾値の場合や、図７（Ｂ）に示すように、第１領域閾値≦主要被写体領域サイズ＜第２領域閾値で、且つ主要被写体画像の最大視差量情報＜視差量閾値の場合には、制御部９１は、シフト残響音割合比率を０（ゼロ）％に決定する。
【００４３】
図７（Ｃ）に示すように、第１領域閾値≦主要被写体領域サイズ＜第２領域閾値で、且つ視差量閾値≦主要被写体画像の最大視差量情報の場合には、制御部９１は、シフト残響音割合比率をマイナス５％に決定する。
【００４４】
図７（Ｄ）に示すように、第２領域閾値≦主要被写体領域サイズの場合には、制御部９１は、シフト残響音割合比率をマイナス１０％に決定する。なお、第２領域閾値≦主要被写体領域サイズの場合には、視差量閾値≦主要被写体画像の最大視差量情報となる。
【００４５】
制御部９１は、決定したシフト残響音割合比率に基づいて残響音割合を算出し、算出した残響音割合となるように、乗算器９２ａ，９２ｂで用いる乗算係数９２ａｋ，９２ｂｋを算出する。
【００４６】
また、ＲＡＭ７８には、定位角度を決定するための頭部伝達関数が予め複数記憶されている。この頭部伝達関数は、人間の頭部に似た形状を有し、その右耳および左耳に対応する部分にそれぞれマイクが取り付けられたダミーヘッドを用い、聴取者から５０ｃｍ離れているとともに、聴取者に対して水平角（定位角）で特定される音源において発生した音が、聴取者の左右の耳に伝達されたときの波形を捉え、源音波形との差分を測定し、この測定を、空間上の複数の位置の音源から発生する音について行い、測定されたデータから、音源から発生した音の波形をダミーヘッドの右耳または左耳に到達した時の波形に変換する関数として、音源の位置に応じて算出されたものである。
【００４７】
音像定位決定部７４は、乗算器９２ａを介して入力される第１音声データに、頭部伝達関数に基づいた畳み込み演算を施し、演算を施した音声データを加算器９３に出力する第１〜第５定位付器９６ａ〜９６ｅを備える。各定位付器９６ａ〜９６ｅは、頭部伝達関数に対応するＦＩＲフィルタがＬチャンネル及びＲチャンネル用に２個並列に接続した構成となっている。音声データを、定位させたい位置に応じたＦＩＲフィルタに通して加工し再生すると、聴取者には、定位させたい位置から音が聞こえてくるように感じられる。
【００４８】
各定位付器９６ａ〜９６ｅは、左右スピーカ８１，８２間を５等分したときに、第１定位付器９６ａが一番左の部分に対応し、第２定位付器９６ｂが左から２番目の部分に対応し、第３〜第５定位付器９６ｃ〜９６ｅが、真中部分、右から２番目の部分、一番右の部分にそれぞれ対応するように設定されている。各定位付器９６ａ〜９６ｅは、各部分に対応する音源の位置の頭部伝達関数をＲＡＭ７８から読み出し、この読み出した頭部伝達関数に基づいた畳み込み演算を行う。なお、定位付器の数は、適宜変更可能であり、例えば、聴取者の正面方向を０°としたときに、聴取者を中心に３０°ピッチで１２等分した各方向に対応した１２個の定位付器を設け、聴取者の左右や後方に音像を定位させてもよい。
【００４９】
制御部９１は、画像を左右方向に５等分したときに、領域検出部７２で検出された主要被写体領域の左右方向の中心部がどの部分に位置するかを検出し、各定位付器９６ａ〜９６ｅの中から、検出した部分に対応した１つを選択する。この選択された１つには、乗算器９２ａを介して第１音声データが入力される。
【００５０】
定位付器９６ａ〜９６ｅの中の選択された１つは、入力された第１音声データに畳み込み演算を施し、演算を施した音声データを加算器９３に出力する。加算器９３は、この入力された音声データと、リバーブ回路から入力された残響音データとを加算して加算音声データを得る。音声出力時には、加算音声データが、左右スピーカ８１，８２から出力される。
【００５１】
圧縮・伸長部７６は、左視点画像データ、右視点画像データ及び加算音声データを、周知のＪＰＥＧ形式で圧縮・伸長する。
【００５２】
図８に示すように、動画撮影時には動画ファイルＰＦが作成される。この動画ファイルＰＦは、画像や音声などの様々な形式のデータを1つのファイルに格納するためのＲＩＦＦチャンクヘッダ、音声付きの動画を扱うためのＡＶＩヘッダ、ストリームヘッダ、オーディオチャンク、ビデオ（Ｌ）チャンク、ビデオ（Ｒ）チャンクから構成される。オーディオチャンク、ビデオ（Ｌ）チャンク、ビデオ（Ｒ）チャンクは、それぞれ複数設けられる。動画ファイルＰＦは、メモリコントローラ７７によって駆動制御されるデータリーダによりＲＡＭ７８に記録される（図３参照）。連続して撮影した動画は、１つの動画ファイルＰＦとしてＲＡＭ７８に記録される。
【００５３】
ビデオ（Ｌ）チャンクは、動画を構成する２０フレーム（１秒）分の圧縮された左視点画像データ（左画像ストリーム）から構成される。ビデオ（Ｒ）チャンクは、２０フレーム分の圧縮された右視点画像データ（右画像ストリーム）から構成される。オーディオチャンクは、２０フレーム分の圧縮された加算音声データ（オーディオストリーム）から構成される。
【００５４】
ストリームヘッダには、各ストリームにどのような情報が書き込まれているかの情報として、画像の種類、画像の再生時間、データ量／チャンク（１チャンクあたりの再生時のデータ量）、先頭アドレス（各フレームの先頭アドレス）、ストリームＩＤ、解像度、圧縮方式、表示次元、フレーム数／チャンク、撮影情報等が記録される。
【００５５】
次に、デジタルカメラ１０の作用について、図９及び図１０のフローチャートを用いて説明を行う。動画撮影モードでレリーズボタン１８を全押しする（ステップ（以下，Ｓ）１）でＹ）と、左視点画像データがバッファメモリ５２に記録され、右視点画像データがバッファメモリ５４に記録される（Ｓ２）。
【００５６】
領域検出部７２は、バッファメモリ５２，５４から左視点画像データ及び右視点画像データを読み出し、各視点画像データ内の主要な被写体領域を検出し、主要被写体領域サイズを検出する（Ｓ３）。情報取得部７３は、主要被写体画像において鑑賞者から最も近くに見える近視点ＮＰを検出し、図６（Ａ）に示す左視点画像データの画像左端から近視点ＮＰまでの距離ＤＮＬと、図６（Ｂ）に示す右視点画像データの画像左端から近視点ＮＰまでの距離ＤＮＲとを算出し、距離ＤＮＬ−距離ＤＮＲで算出される値を、主要被写体画像の最大視差量情報として取得する（Ｓ４）。
【００５７】
制御部９１は、主要被写体領域サイズ＜第１領域閾値であるか否かを判定し（Ｓ５）、主要被写体領域サイズ＜第１領域閾値であると判定した場合（Ｓ５でＹ）には、シフト残響音割合比率を０％に決定する（Ｓ６）。
【００５８】
制御部９１は、主要被写体領域サイズ＜第１領域閾値ではないと判定した場合（Ｓ５でＮ）には、第１領域閾値≦主要被写体領域サイズ＜第２領域閾値であるか否かを判定する（Ｓ７）。第１領域閾値≦主要被写体領域サイズ＜第２領域閾値であると判定した場合（Ｓ７でＹ）には、制御部９１は、主要被写体画像の最大視差量情報＜視差量閾値であるか否かを判定する（Ｓ８）。制御部９１は、第１領域閾値≦主要被写体領域サイズ＜第２領域閾値で（Ｓ７でＹ）、且つ主要被写体画像の最大視差量情報＜視差量閾値であると判定した場合（Ｓ８でＹ）には、シフト残響音割合比率を０％に決定する（Ｓ６）。シフト残響音割合比率が０％の場合、残響音割合は基準残響音割合となる。
【００５９】
制御部９１は、第１領域閾値≦主要被写体領域サイズ＜第２領域閾値で（Ｓ７でＹ）、且つ視差量閾値≦主要被写体画像の最大視差量情報であると判定した場合（Ｓ８でＮ、Ｓ９）には、シフト残響音割合比率をマイナス５％に決定する（Ｓ１０）。この場合、残響音割合は、基準残響音割合から５％小さくなったものとなり、基準残響音割合のときよりも音像定位が手前側となる。これにより、音声出力時に音声が手前側から聞こえるようになり、臨場感がアップする。
【００６０】
制御部９１は、第２領域閾値≦主要被写体領域サイズであると判定した場合（Ｓ７でＮ、Ｓ１１）には、シフト残響音割合比率をマイナス１０％に決定する（Ｓ１２）。この場合、残響音割合は、基準残響音割合から１０％小さくなったものとなり、基準残響音割合から５％小さい残響音割合のときよりもさらに音像定位が手前側となる。これにより、音声出力時に音声がより一層手前側から聞こえるようになり、臨場感もより一層アップする。
【００６１】
制御部９１は、決定したシフト残響音割合比率に基づいて残響音割合を算出し、算出した残響音割合となるように、乗算係数９２ａｋ，９２ｂｋを算出する（Ｓ１３）。そして、制御部９１は、算出した乗算係数９２ａｋ，９２ｂｋを乗算器９２ａ，９２ｂに出力する。乗算器９２ａ，９２ｂは、入力された乗算係数９２ａｋ，９２ｂｋに基づいて、生音声データを第１音声データと第２音声データとに二分する（Ｓ１４）。
【００６２】
リバーブ回路９４は、乗算器９２ｂを介して入力された第２音声データから残響音データを得て（Ｓ１５）、この残響音データを加算器９３に出力する。
【００６３】
制御部９１は、画像を左右方向に５等分したときに、領域検出部７２で検出された主要被写体領域の左右方向の中心部がどの部分に位置するかを検出し（例えば、左から２番目の部分）、各定位付器９６ａ〜９６ｅの中から、検出部分（左から２番目の部分）に対応した１つ（第２定位付器９６ｂ）を選択する（Ｓ１６）。この選択された第２定位付器９６ｂには、乗算器９２ａを介して第１音声データが入力される。
【００６４】
第２定位付器９６ｂは、対応した頭部伝達関数をＲＡＭ７８から読み出し、この読み出した頭部伝達関数に基づいて第１音声データに畳み込み演算を施し（Ｓ１７）、演算を施した音声データを加算器９３に出力する。これにより、音声出力時には、主要被写体領域の位置に応じて定位角度が決定された音像定位から音声が出力される。
【００６５】
第２定位付器９６ｂから入力された音声データとリバーブ回路９４から入力された残響音データとは、加算器９３で加算されて加算音声データとなる。この加算音声データと、バッファメモリ５２，５４から読み出された各視点画像データとは、圧縮・伸長部７６によりＪＰＥＧ形式で圧縮された後、ＲＡＭ７８に記憶される（Ｓ１８）。
【００６６】
レリーズボタン１８が引き続き押圧されている（Ｓ１９でＹ）ときには、再度（Ｓ２）以降が行われ、レリーズボタン１８の押圧が解除される（Ｓ１９でＮ）と、動画撮影モードでの撮影が終了する。
【００６７】
再生モード時に、メニューキー２１の操作により、ＲＡＭ７８に記録された動画ファイルＰＦの１つが選択されると、選択された動画ファイルＰＦが再生される。再生時には、動画ファイルＰＦ内の各視点画像データ及び加算音声データが、圧縮・伸長部７６により伸長される。この伸長された左視点画像データと右視点画像データとに基づいて立体用画像が作成され、この立体用画像がＬＣＤ２０に表示される。立体用画像は、動画ファイルＰＦ内の視点画像データの分だけ作成され、複数の立体用画像を連続してＬＣＤ２０に表示することにより、立体用動画が再生される。
【００６８】
また、伸長された加算音声データは、ＬＣＤ２０への立体用画像の表示に合わせて、左スピーカ８１及び右スピーカ８２から出力される。この出力される加算音声データは、主要被写体領域サイズ及び最大視差量情報に基づいて音像定位を手前側、奥側のどちらにするか（以下、前後方向の音像定位）が決定されるとともに、画像中の主要被写体領域位置に基づいて定位角度が決定された音声データであるため、動画再生時の臨場感や迫力が高められる。
【００６９】
図１１に示すように、画像データ内に主要被写体領域（点線で囲まれた領域）が複数（例えば、４つ）ある場合には、情報取得部７３は、４つの主要被写体画像それぞれの最大視差量情報を取得し、４つの最大視差量情報の平均値を、最大視差量情報として取得する。
【００７０】
なお、情報取得部７３は、視点画像の最大視差量情報及び平均視差量情報、主要被写体画像の平均視差量情報などを取得してもよく、情報取得部７３で取得した情報と、領域検出部７２で検出された主要被写体領域サイズとに基づいて、音像定位決定部７４はシフト残響音割合比率を決定する。各画像の平均視差量情報を取得するときには、各画像において鑑賞者から最も遠くに見える遠視点を検出し、左視点画像データの画像左端から遠視点までの距離ＤＦＬと、右視点画像データの画像左端から遠視点までの距離ＤＦＲとを算出する。そして、距離ＤＦＬ−距離ＤＦＲで算出される値を、画像における左右視点画像間の水平方向の最小視差量情報として取得し、この最小視差量情報と最大視差量情報との平均値を、平均視差量情報として取得する。
【００７１】
また、画像の特徴点を複数抽出し、複数の特徴点それぞれにおいて視差量情報を取得し、各特徴点の視差量情報の平均値を、平均視差量情報として取得してもよい。なお、特徴点としては、画像が人である場合、鼻の頂点、目尻、目頭、眉尻、眉頭、口角部等が挙げられる。この場合、主要被写体領域を検出するときに、特徴点の抽出も行う。
【００７２】
［第２実施形態］
図１２及び図１３に示す第２実施形態では、情報取得部７３は、焦点調整を行うときのフォーカスレンズ１３ｂ，１４ｂの調整量情報としてのフォーカス駆動量（レンズ移動量）を取得する。なお、第１実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【００７３】
音像定位決定部７４は、領域検出部７２で検出された主要被写体領域サイズと、情報取得部７３で取得したフォーカス駆動量とに基づいて、シフト残響音割合比率を決定する。
【００７４】
図１２に示すように、ＲＡＭ７８には、シフト残響音割合比率決定テーブルが記録されており、音像定位決定部７４は、このシフト残響音割合比率決定テーブルを参照して、シフト残響音割合比率を決定する。例えば、主要被写体領域サイズ≧領域閾値で、且つフォーカス駆動量≧駆動閾値の場合は、シフト残響音割合比率を０％に決定し、主要被写体領域≧領域閾値で、且つフォーカス駆動量＜駆動閾値の場合は、シフト残響音割合比率をマイナス５％に決定する。
【００７５】
圧縮・伸長部７６は、周知のＭＰＥＧ形式で、２０フレーム（１秒）分の左視点画像データから基本フレーム（左画像Ｉフレーム）、差分フレームとしてのＰフレーム（左画像Ｐフレーム）及びＢフレーム（左画像Ｂフレーム）を作成する。同様に、圧縮・伸長部７６は、右画像Ｉフレーム、右画像Ｐフレーム及び右画像Ｂフレームを作成する。
【００７６】
図１３に示すように、動画ファイルＭＰＦは、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）（Ｌ）と、ＧＯＰ（Ｒ）と、２０フレーム分の圧縮された生音声データ及びシフト残響音割合比率データとから構成される。本実施形態では、生音声データとシフト残響音割合比率データとは、個別に記録される。なお、主要被写体領域に基づいて各定位付器９６ａ〜９６ｅの中からいずれを用いるかを選択しておき、この選択データを、生音声データ及びシフト残響音割合比率データとは別に記録してもよい。
【００７７】
ＧＯＰ（Ｌ）は、左画像Ｉフレーム、左画像Ｐフレーム及び左画像Ｂフレームから構成される。ＧＯＰ（Ｒ）は、右画像Ｉフレーム、右画像Ｐフレーム及び右画像Ｂフレームから構成される。
【００７８】
動画ファイルＭＰＦを再生するときには、圧縮・伸長部７６は、各フレーム及び各データをＭＰＥＧ形式で伸長する。伸長された左画像Ｉフレームは、左画像Ｐフレーム及び左画像Ｂフレームに基づいて変更される。同様に、伸長された右画像Ｉフレームは、右画像Ｐフレーム及び右画像Ｂフレームに基づいて変更される。この変更された各Ｉフレームに基づいて立体用画像が作成され、この立体用画像がＬＣＤ２０に表示される。また、伸長された生音声データは、音像定位決定部７４で、シフト残響音割合比率データに基づいて前後方向の音像定位が決定されるとともに、主要被写体領域に基づいて定位角度が決定された加算音声データとなる。この加算音声データは、ＬＣＤ２０への立体用画像の表示に合わせて、左スピーカ８１及び右スピーカ８２から出力される。
【００７９】
なお、図１４に示すように、動画ファイルＭＰＦを、ＧＯＰ（Ｌ）と、２０フレーム分のＬチャンネル用の生音声データ（Ｌ）及びシフト残響音割合比率データと、ＧＯＰ（Ｒ）と、２０フレーム分のＲチャンネル用の生音声データ（Ｒ）及びシフト残響音割合比率データとから構成してもよい。
【００８０】
［第３実施形態］
図１５及び図１６に示す第３実施形態では、情報取得部７３は、主要被写体画像の最大視差量情報と、撮像レンズ１３，１４のズーム倍率情報としてのズーム位置情報とを取得する。なお、第１実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【００８１】
本実施形態では、３５ｍｍフィルム換算で広角２８ｍｍ〜望遠３００ｍｍまでズーム可能とされている。情報取得部７３は、ズーム位置情報として、ズーム位置が広角位置、標準位置、望遠位置のいずれに相当するかを判定する。例えば、ズーム位置＜４０ｍｍのときには広角位置と判定し、４０ｍｍ≦ズーム位置≦１２０ｍｍのときには標準位置と判定し、１２０ｍｍ＜ズーム位置のときには望遠位置と判定する。
【００８２】
音像定位決定部７４は、情報取得部７３で取得した主要被写体画像の最大視差量情報とズーム位置情報とに基づいて、シフト残響音割合比率を決定する。
【００８３】
図１５に示すように、ＲＡＭ７８には、シフト残響音割合比率決定テーブルが記録されており、音像定位決定部７４は、このシフト残響音割合比率決定テーブルを参照して、シフト残響音割合比率を決定する。例えば、第１領域閾値≦主要被写体画像の最大視差量＜第２領域閾値で、且つ標準位置の場合は、シフト残響音割合比率をマイナス２％に決定し、第２閾値＜主要被写体画像の最大視差量で、且つ広角位置の場合は、シフト残響音割合比率をマイナス１０％に決定する。
【００８４】
圧縮・伸長部７６は、各データをＪＰＥＧ形式で圧縮・伸長する。図１６に示すように、この圧縮された動画ファイルＪＰＦは、ＲＩＦＦチャンクヘッダ、ＡＶＩヘッダ、ストリームヘッダ、オーディオチャンク、コントロールチャンク、ビデオ（Ｌ）チャンク、ビデオ（Ｒ）チャンクから構成される。オーディオチャンク、コントロールチャンク、ビデオ（Ｌ）チャンク、ビデオ（Ｒ）チャンクは、それぞれ複数設けられる。
【００８５】
オーディオチャンクは、２０フレーム（１秒）分の圧縮された生音声データから構成される。コントロールチャンクは、２０フレーム分の圧縮されたシフト残響音割合比率データから構成される。なお、主要被写体領域に基づいて各定位付器９６ａ〜９６ｅの中からいずれを用いるかを選択しておき、この選択データを、シフト残響音割合比率データとは別にコントロールチャンクに記録してもよい。
【００８６】
動画ファイルＪＰＦを再生するときには、圧縮・伸長部７６は、各データをＪＰＥＧ形式で伸長する。この伸長されたデータに基づいて作成された立体用画像がＬＣＤ２０に表示される。また、伸長された生音声データは、音像定位決定部７４で、シフト残響音割合比率データに基づいて前後方向の音像定位が決定されるとともに、主要被写体領域に基づいて定位角度が決定された加算音声データとなる。この加算音声データは、ＬＣＤ２０への立体用画像の表示に合わせて、左スピーカ８１及び右スピーカ８２から出力される。
【００８７】
なお、上記実施形態では、残響音割合を変えることにより、音像定位を手前側または奥側に変えているが、音量、音声データ（信号）の位相差、音圧レベル比等を変えることにより、音像定位を手前側または奥側に変えてもよい。
【００８８】
また、残響音を直接音よりも遅れて出力し、この遅れ時間を変えることにより、音像定位を手前側または奥側に変えてもよい。
【００８９】
さらに、上記実施形態では、音像定位決定部７４は、聴取者がカメラ本体１０ａの背面から５０ｃｍ離れている状態であるときの音像定位を決定しているが、その距離は適宜変更可能であり、例えば、５０ｃｍ、１ｍ、１．５ｍ等複数の距離での音像定位を決定可能にしてもよい。この場合、複数の距離それぞれに対応した頭部伝達関数を予め算出しておき、複数の距離のいずれの音像定位を決定するかを、メニューキー２１等により選択可能にし、音像定位決定部７４は、選択された距離に対応した頭部伝達関数を用いて音像定位を決定する。
【００９０】
また、上記実施形態では、左右スピーカ８１，８２から音声を出力しているが、ヘッドフォンを接続する接続端子を設け、ヘッドフォンから音声を出力してもよい。
【００９１】
さらに、上記実施形態では、デジタルカメラについて説明しているが、それぞれ個別に設けられた複数のカメラ及びスピーカ、パソコン等から構成される画像記録システムにも、本発明を利用することができ、さらには、カメラ付き携帯電話等にも、本発明を利用することができる。
【符号の説明】
【００９２】
１０ デジタルカメラ
１３，１４ 撮像レンズ
１３ａ，１４ａ ズームレンズ
１３ｂ，１４ｂ フォーカスレンズ
２０ ＬＣＤ
３１ 左撮像部
３２ 右撮像部
３９ａ，４７ａ ズーム用モータ
３９ｂ，４７ｂ フォーカス用モータ
５０ ＣＰＵ
６６ 左マイクロフォン
６７ 右マイクロフォン
７２ 領域検出部
７３ 情報取得部
７４ 音像定位決定部
７８ ＲＡＭ
８１ 左スピーカ
８２ 右スピーカ
【特許請求の範囲】
【請求項１】
複数の視点から同一の被写体を撮影する複数の撮像レンズを有し、立体用動画を構成する複数の視点画像を連続して取得する視点画像取得手段と、
前記複数の視点画像を取得する毎に、音声情報を取得する音声取得手段と、
前記複数の視点画像を取得する毎に、前記複数の視点画像の中で主要な被写体が占める主要被写体領域を検出する検出手段と、
前記複数の視点画像を取得する毎に、前記複数の視点画像中の複数の視差量情報、前記複数の撮像レンズのズーム倍率情報、及び焦点調整を行うときの前記複数の撮像レンズの調整量情報の少なくとも１つを取得する情報取得手段と、
前記主要被写体領域と前記情報取得手段で取得した情報とに基づいて、前記音声取得手段で取得された音声情報の音像定位を決定する音像定位決定手段と、
前記複数の視点画像と、前記音声取得手段で取得された音声情報と、前記音像定位決定手段で決定された音像定位情報とを記録する記録手段と、
を備えたことを特徴とする画像記録装置。
【請求項２】
前記複数の視差量情報は、前記複数の視点画像の最大視差量情報及び平均視差量情報と、前記主要被写体画像の最大視差量情報及び平均視差量情報とからなることを特徴とする請求項１記載の画像記録装置。
【請求項３】
前記視点画像取得手段が設けられた装置本体と、
前記装置本体に設けられ、前記立体用動画を表示する表示手段と、
前記装置本体に設けられ、前記音声情報を出力する音声出力手段とを備えることを特徴とする請求項１または２記載の画像記録装置。
【請求項４】
前記記録手段は、前記音声取得手段で取得された音声情報と、前記音像定位情報とを個別に記録し、
前記立体用動画を再生するときには、前記音像定位情報に基づいて音像定位が決定された音声情報を出力することを特徴とする請求項１ないし３いずれか１つ記載の画像記録装置。
【請求項５】
前記記録手段は、前記音像定位情報に基づいて音像定位が決定された音声情報を記録することを特徴とする請求項１ないし３いずれか１つ記載の画像記録装置。
【請求項６】
複数の視点から同一の被写体を撮影する複数の撮像レンズにより、立体用動画を構成する複数の視点画像を連続して取得する視点画像取得ステップと、
前記複数の視点画像を取得する毎に、音声情報を取得する音声取得ステップと、
前記複数の視点画像を取得する毎に、前記複数の視点画像の中で主要な被写体が占める主要被写体領域を検出する検出ステップと、
前記複数の視点画像を取得する毎に、前記複数の視点画像中の複数の視差量情報、前記複数の撮像レンズのズーム倍率情報、及び焦点調整を行うときの前記複数の撮像レンズの調整量情報の少なくとも１つを取得する情報取得ステップと、
前記主要被写体領域と前記情報取得ステップで取得した情報とに基づいて、前記音声取得ステップで取得された音声情報の音像定位を決定する音像定位決定ステップと、
前記複数の視点画像と、前記音声取得ステップで取得された音声情報と、前記音像定位決定ステップで決定された音像定位情報とを記録する記録ステップと、
を有することを特徴とする画像記録方法。
【請求項１】
複数の視点から同一の被写体を撮影する複数の撮像レンズを有し、立体用動画を構成する複数の視点画像を連続して取得する視点画像取得手段と、
前記複数の視点画像を取得する毎に、音声情報を取得する音声取得手段と、
前記複数の視点画像を取得する毎に、前記複数の視点画像の中で主要な被写体が占める主要被写体領域を検出する検出手段と、
前記複数の視点画像を取得する毎に、前記複数の視点画像中の複数の視差量情報、前記複数の撮像レンズのズーム倍率情報、及び焦点調整を行うときの前記複数の撮像レンズの調整量情報の少なくとも１つを取得する情報取得手段と、
前記主要被写体領域と前記情報取得手段で取得した情報とに基づいて、前記音声取得手段で取得された音声情報の音像定位を決定する音像定位決定手段と、
前記複数の視点画像と、前記音声取得手段で取得された音声情報と、前記音像定位決定手段で決定された音像定位情報とを記録する記録手段と、
を備えたことを特徴とする画像記録装置。
【請求項２】
前記複数の視差量情報は、前記複数の視点画像の最大視差量情報及び平均視差量情報と、前記主要被写体画像の最大視差量情報及び平均視差量情報とからなることを特徴とする請求項１記載の画像記録装置。
【請求項３】
前記視点画像取得手段が設けられた装置本体と、
前記装置本体に設けられ、前記立体用動画を表示する表示手段と、
前記装置本体に設けられ、前記音声情報を出力する音声出力手段とを備えることを特徴とする請求項１または２記載の画像記録装置。
【請求項４】
前記記録手段は、前記音声取得手段で取得された音声情報と、前記音像定位情報とを個別に記録し、
前記立体用動画を再生するときには、前記音像定位情報に基づいて音像定位が決定された音声情報を出力することを特徴とする請求項１ないし３いずれか１つ記載の画像記録装置。
【請求項５】
前記記録手段は、前記音像定位情報に基づいて音像定位が決定された音声情報を記録することを特徴とする請求項１ないし３いずれか１つ記載の画像記録装置。
【請求項６】
複数の視点から同一の被写体を撮影する複数の撮像レンズにより、立体用動画を構成する複数の視点画像を連続して取得する視点画像取得ステップと、
前記複数の視点画像を取得する毎に、音声情報を取得する音声取得ステップと、
前記複数の視点画像を取得する毎に、前記複数の視点画像の中で主要な被写体が占める主要被写体領域を検出する検出ステップと、
前記複数の視点画像を取得する毎に、前記複数の視点画像中の複数の視差量情報、前記複数の撮像レンズのズーム倍率情報、及び焦点調整を行うときの前記複数の撮像レンズの調整量情報の少なくとも１つを取得する情報取得ステップと、
前記主要被写体領域と前記情報取得ステップで取得した情報とに基づいて、前記音声取得ステップで取得された音声情報の音像定位を決定する音像定位決定ステップと、
前記複数の視点画像と、前記音声取得ステップで取得された音声情報と、前記音像定位決定ステップで決定された音像定位情報とを記録する記録ステップと、
を有することを特徴とする画像記録方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−５０００９（Ｐ２０１１−５０００９Ａ）
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願番号】特願２００９−１９８８８１（Ｐ２００９−１９８８８１）
【出願日】平成２１年８月２８日（２００９．８．２８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願日】平成２１年８月２８日（２００９．８．２８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]