光学機器
【課題】楽曲に依存しない表現の自由度を得ることができる光学機器を提供すること。
【解決手段】撮像部１１０と、撮像部による撮像が行われた時点の前後の音声を記録する音声録音部１２０と、撮像部から出力された画像データと、音声録音部から出力された音声データとを少なくとも記録するデータ記録部１６０と、所定の処理を行う処理部１５０と、画像を表示する画像表示部１７０と、音声を再生する音声再生部１８０を備え、音声録音部１２０は、毎回の撮影において、撮影記録開始から終了までの時間ｔでもって音声データを記録し、処理部１５０が行う所定の処理において、画像データの数をＮとし、データ記録部１６０に記録されている楽曲データの演奏開始から終了までの時間をＴとしたとき、時間ＴとＮ×ｔとを一致させるように、音声データ中の音に応じて、音声データの各々の時間ｔを変化させる。
【解決手段】撮像部１１０と、撮像部による撮像が行われた時点の前後の音声を記録する音声録音部１２０と、撮像部から出力された画像データと、音声録音部から出力された音声データとを少なくとも記録するデータ記録部１６０と、所定の処理を行う処理部１５０と、画像を表示する画像表示部１７０と、音声を再生する音声再生部１８０を備え、音声録音部１２０は、毎回の撮影において、撮影記録開始から終了までの時間ｔでもって音声データを記録し、処理部１５０が行う所定の処理において、画像データの数をＮとし、データ記録部１６０に記録されている楽曲データの演奏開始から終了までの時間をＴとしたとき、時間ＴとＮ×ｔとを一致させるように、音声データ中の音に応じて、音声データの各々の時間ｔを変化させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学機器、特に音楽再生と画像再生が可能な光学機器に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラが普及すると共に、デジタルカメラの高機能化が進んでいる。デジタルカメラが有する各種の機能として、音声の録音再生機能も提案されている（例えば、特許文献１、２、３参照）。そして、楽曲（例えば、ＢＧＭ：バックグラウンドミュージック）に合わせて、記録した画像を再生することができる。
【０００３】
【特許文献１】特開２００３−１５６４１号公報
【特許文献２】特開２００６−３０４２５７号公報
【特許文献３】特開２００１−３３９６８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来は、楽曲の音を基準にして画像を再生している。このため画像と音声とを再生するときの表現の自由度は、楽曲側に主として規制されてしまう。
【０００５】
本発明は、上記に鑑みてなされたものであって、画像と楽曲とを再生するとき、楽曲に依存しない表現の自由度を得ることができる光学機器を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明によれば、撮像部と、撮像部による撮像が行われた時点の前後の音声を記録する音声録音部と、撮像部から出力された画像データと、音声録音部から出力された音声データとを少なくとも記録するデータ記録部と、データ記録部に記録された画像データと音声データを用いて所定の処理を行う処理部と、処理部で処理された処理結果に基づいて、画像を表示する画像表示部と、処理部で処理された処理結果に基づいて、音声を再生する音声再生部を備え、音声録音部は、毎回の撮影において、記録開始から終了までの時間ｔでもって音声データを記録し、音声データと画像データは関連付けられており、所定の処理において、画像データの数をＮとし、データ記録部に記録されている楽曲データの演奏開始から終了までの時間をＴとしたとき、時間ＴとＮ×ｔとを一致させるように、前記音声データのうちの一部の音声データを対象にした処理を行い、音声データの各々の時間ｔを変化させることを特徴とする光学機器を提供できる。
【０００７】
また、本発明の好ましい態様によれば、一部の音声データは、所定の閾値により決まる領域の音声データであることが望ましい。
【０００８】
また、本発明の好ましい態様によれば、一部の音声データは、前半部と後半部の少なくとも一方の領域の音声データであることが望ましい。
【０００９】
また、本発明の好ましい態様によれば、一部の音声データは、２つのピークの間の領域の音声データであることが望ましい。
【００１０】
また、本発明の好ましい態様によれば、処理は、音声データの伸張、音声データの圧縮、別の音声データの追加、音声データの削除のいずれかであることが望ましい。
【発明の効果】
【００１１】
本発明にかかる光学機器は、画像と音声とを再生するとき、楽曲（例えば、ＢＧＭ）に依存しない表現の自由度を得ることができる光学機器を提供できるという効果を奏する。
【発明を実施するための最良の形態】
【００１２】
以下に、本発明にかかる光学機器の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【００１３】
まず、各実施例における光学機器について、説明する。図１の（ａ）は、光学機器の一例であるデジタルカメラ１００を示す外観を示す前方斜視図である。（ｂ）は、デジタルカメラ１００の背面図である。
【００１４】
図１の（ａ）、（ｂ）において、デジタルカメラ１００は、撮影光学系１０１、ファインダー光学系１０３、シャッターボタン１０５、フラッシュ１０６、液晶表示モニター１１１、焦点距離変更ボタン１０８、設定変更スイッチ（不図示）等を有している。ここで、１０２は撮影光学系１０１の撮影用光路、１０４はファインダー光学系１０３のファインダー用光路を示している。
【００１５】
撮影光学系１０１の沈胴時には、カバー１０７をスライドすることにより、撮影光学系１０１とファインダー光学系１０３とフラッシュ１０６は、カバー１０７で覆われる。そして、カバー１０７を開いてデジタルカメラ１００を撮影状態に設定すると、撮影光学系１０１は非沈胴状態になる。デジタルカメラ１００の上部に配置されたシャッターボタン１０５を押圧すると、それに連動して撮影光学系１０１を通して撮影が行われる。
【００１６】
撮影光学系１０１によって形成された被写体像が、ローパスフィルタとカバーガラスを介してＣＣＤの撮像面上に形成される。ＣＣＤで受光された物体像は、処理部１５０(図２）を介し、電子画像としてカメラ背面に設けられた液晶表示モニターに表示される。また、処理部１５０にはデータ記録部１６０（図２）が接続され、撮影された電子画像を記録することもできる。なお、データ記録部１６０は、処理部１５０と別体に設けてもよいし、フレキシブルディスクやメモリーカード、ＭＯ等により電子的に記録書込を行うように構成してもよい。
【００１７】
図２は、デジタルカメラ１００の主要部の内部回路の構成ブロック図である。画像撮像部１１０は、被写体の画像を静止画として撮像する。例えば、静止画の撮像には、上述のＣＣＤを用いることができる。
【００１８】
音声録音部１２０は、画像撮像部１１０による撮像が行われた時点の前後の音声を記録する。例えば、音声録音部１２０は、パーティ会場で記念撮影をしているときなどに、撮影されている人物が発している「今日は楽しかったね」等の音声を録音する。音声録音部１２０としては、マイクロフォンを用いることができる。ここで、音声録音部１２０は、毎回の撮影において、記録開始から終了までの時間ｔでもって音声データを記録する。また、音声データと、画像データは一対一で関連付けられている。
【００１９】
楽曲取得部１３０は、静止画を再生表示する際、再生する楽曲（例えば、ＢＧＭ）のデータを取得する。楽曲取得部１３０は、予めデータ記録部１６０内に記録されている楽曲リスト内からユーザが楽曲データを選択すること、またはデータ通信部１９０を介して所望の楽曲データをデジタルカメラ１００とは別体の外部サーバーからダウンロードすること等で楽曲データを取得できる。
【００２０】
データ記録部１６０は、画像撮像部１１０から出力された画像データと音声録音部１２０から出力された音声データを少なくとも記録する。
【００２１】
処理部１５０は、データ記録部１６０に記録された画像データ、音声データ及び音声データ中の音に応じて所定の処理を行う。所定の処理は、画像データの数をＮとし、データ記録部１６０に記録されている楽曲の演奏開始から終了までの時間をＴとしたとき、時間ＴとＮ×ｔとを一致させるように、前記音声データのうちの一部の音声データを対象にした処理を行い、音声データの各々の時間ｔを変化させる。この処理の具体的な手順については、後述する。
【００２２】
また、画像表示部１７０は、処理部１５０で処理された処理結果に基づいて、画像を表示する。音声再生部１８０は、処理部１５０で処理された処理結果に基づいて、音声を再生する。画像表示部１７０として、図１の（ｂ）に示す液晶モニタ部１１１を用いることができる。また、音声再生部１８０として、図１の（ｂ）に示すスピーカ１０９を用いることができる。
【００２３】
次に、図３のフローチャートに基づいて、楽曲と共に静止画像を再生する手順について説明する。ステップＳ３０１において、ユーザは、データ記録部１６０に記録されている画像データの中から、再生表示したい複数の画像データを選択、指定する。なお、全画像や日付ごとのフォルダを指定することでも、画像データを選択や指定が可能である。
【００２４】
ステップＳ３０２において、選択された複数の画像データについて、表示する順番を決める設定を行う。表示する順番としては、例えば、日付順やユーザの好みの順等がある。
【００２５】
ステップＳ３０３において、ユーザは、ＢＧＭとして用いる楽曲を指定する。楽曲の指定は、上述したように、予めデータ記録部１６０内に記録されている楽曲リスト内からユーザが楽曲を選択すること、またはデータ通信部１９０を介して所望の楽曲をデジタルカメラ１００とは別体の外部サーバーからダウンロードすること等で行うことができる。
【００２６】
ステップＳ３０４において、指定された楽曲をＢＧＭとして用いた場合の再生時間、すなわち、選択した静止画の各々について再生するための時間を設定する。この時間設定の詳細に関しても後述する。
【００２７】
ステップＳ３０５において、静止画を再生するか、否かが判断される。ステップＳ３０５の判断結果が真（Ｙｅｓ）のとき、ステップＳ３０６において、静止画を再生表示する。そして、処理を終了する。また、ステップＳ３０５の判断結果が偽（Ｎｏ）のとき、処理を終了する。
【００２８】
次に、音声データの処理について説明する。音声データの処理では、音声データのうちの一部の音声データを対象にした処理を行う。この処理の対象となる一部の音声データは、（１）所定の閾値により決まる領域の音声データ、（２）前半部と後半部の少なくとも一方の領域の音声データ、（３）２つのピークの間の領域の音声データである。
【００２９】
まず、処理の対象が、所定の閾値により決まる領域の音声データの場合について、説明する。図４（ａ）は、音声データの様子を示す図である。ここで、横軸は時間、縦軸は音量である。また、破線が所定の閾値を示している。そして、実線で示すグラフが音声データである。ここで、細線で示す部分が所定の閾値よりも小さい音量の音声データである。一方、太線で示す部分が所定の閾値よりも大きい音量の音声データである。
【００３０】
図４（ａ）に示す処理では、所定の閾値よりも小さい音量の音声データ、すなわち、細線で示す部分の音声データが削除される。これにより、音声データ全体を短くすることができる。なお、この一部の音声データを圧縮しても良い。これにより、音声データ全体を短くすることができる。
【００３１】
あるいは、この一部の音声データの領域を伸張させても良い。これにより、音声データ全体を長くすることができる。あるいは、この一部の音声データの領域に、別の音声データを追加しても良い。これにより、音声データ全体を長くすることができる。
【００３２】
なお、所定の閾値よりも大きい音量の音声データに処理を加えても良い。あるいは、２つの所定の閾値の間にある音量の音声データに処理を加えても良い。
【００３３】
次に、処理の対象が、最初の領域と最後の領域の少なくとも一方の領域の音声データの場合について、説明する。図４（ｂ）も、音声データの様子を示す図である。ここで、横軸は時間、縦軸は音量である。また、一点鎖線で示す範囲が、最初の領域（図の左側）と最後の領域（図の右側）を示している。図４（ｂ）においても、実線で示すグラフが音声データである。ここで、細線で示す部分が、音声データにおける最初の領域、及び最後の領域である。一方、太線で示す部分が、最初の領域と最後の領域の間にある音声データである。
【００３４】
図４（ｂ）に示す処理では、最初の領域と最後の領域の少なくとも一方における音声データ、すなわち、細線で示す部分の音声データが削除される。これにより、音声データ全体を短くすることができる。なお、この一部の音声データを圧縮、伸張、別の音声データの追加に関しては、前述の通りである。
【００３５】
次に、処理の対象が、２つのピークの間の領域の音声データの場合について、説明する。図４（ｃ）も、音声データの様子を示す図である。ここで、横軸は時間、縦軸は音量である。また、一点鎖線で示す範囲が、２つのピークの間の領域を示している。ピークとは、音量が大きい部分のことを指す。図４（ｃ）においても、実線で示すグラフが音声データである。ここで、細線で示す部分が、２つのピークの間の領域（ピークバレー）である。一方、太線で示す部分が、２つのピークの間の領域以外の領域にある音声データである。
【００３６】
図４（ｃ）に示す処理では、２つのピークの間の領域における音声データ、すなわち、細線で示す部分の音声データが削除される。これにより、音声データ全体を短くすることができる。なお、この一部の音声データを圧縮、伸張、別の音声データの追加に関しては、前述の通りである。
【実施例１】
【００３７】
次に、実施例１について説明する。ここでは、図５の（ａ）、（ｂ）、（ｃ）、（ｄ）を参照して、処理部１５０で行われる所定の処理について説明する。図５の（ａ）は、デジタルカメラ１００で複数の静止画を音声データと共に記録した状態を、横軸を経過時間として表した図である。ここで、便宜のため、２つの単位時間ｔｕ及びＴＵを考える。図５の（ａ）の最も下欄に並んでいる四角形のうち、実線で示す四角一つは単位時間ｔｕに対応している。また、破線で示す四角一つは単位時間ＴＵに対応している。また、実線で示す四角と破線で示す四角の大きさは同じであるが、本実施例ではｔｕ≠ＴＵである。なお、単位ユニットという考え方を採用しなくても良い。
【００３８】
本実施例では、図５の（ａ）に示すように、画像データＰＨ１を１０時ＡＡ分に撮像したとき、同時に音声データＳＤ１も記録される。音声録音部１２０は、毎回の撮影において、記録開始から終了までの時間として、５ｔｕ（＝ｔ）でもって音声データＳＤ１を記録する。他の音声データＳＤ２、ＳＤ３、ＳＤ４、ＳＤ５、ＳＤ６、ＳＤ７についても、同様に時間５ｔｕで記録されている。撮影が続行されれば、更に多くの画像データが、データ記録部１６０に記録されることになる。
【００３９】
なお、図５の（ａ）では、便宜上、各画像データについてもある幅（５ｔｕ）を持たせて示している。この表示だと、５ｔｕの間ずっと撮影され続けていることになるが、そうではなく、前述のように、取得されるのは静止画像である。すなわち、シャッターボタン１０５が押圧された直後に撮影は終了しているものとしている。一方、図５の（ｃ）や（ｄ）は、再生の様子を示す図である。よって、図示されている幅の間は、画像データの表示が行なわれていることになる。この点については、他の実施例でも同じである。もちろん、シャッターボタンが押圧された前後を音声記録時間とすることも可能である。
【００４０】
次に、楽曲と共に静止画像を再生する処理について説明する。この処理には、記録済みの画像データと音声データが用いられる。本実施例では、上記の画像データＰＨ１〜ＰＨ７、音声データＳＤ１〜ＳＤ７が用いられる。よって、本実施例では、画像データの数はＮ＝７となる。
【００４１】
ここで、各音声データの各単位ユニットには、以下の表１に示す音量の音声が記録されている。表１では、数値が大きいほど音量が大きいことを示している。
【００４２】
【表１】
【００４３】
一方、図５の（ｂ）は、ＢＧＭとして用いる楽曲（楽曲データ）の演奏開始から終了までの時間Ｔを示している。このような楽曲に対して、音声データＳＤ１〜ＳＤ７の各々を、そのまま（音声データを加工せず）画像データＰＨ１〜ＰＨ７と共に再生したとする。すなわち、単純に音声データＳＤ１〜ＳＤ７を加算すると、図５の（ｃ）に示すように、楽曲の演奏時間Ｔに対して、音声データ各々の再生時間の総和が時間Ｔｎｏだけ不足してしまう。これでは、楽曲が終了する前に、最後の画像データＰＨ７と音声データＳＤ７の再生が終了してしまうことになる。
【００４４】
そこで、本実施例では、楽曲の演奏終了時間（時刻）と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間（時刻）とを一致させるようにしている。以下、一致させる処理について説明する。
【００４５】
図５の（ｃ）から明らかなように、単純に音声データＳＤ１〜ＳＤ７を加算すると、楽曲の演奏時間Ｔに対して、音声データ各々の再生時間の総和が時間Ｔｎｏだけ不足する。これは換言すると、時間Ｔｎｏの分だけ音声データの再生時間を伸張することで、楽曲の終了時間と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間とを一致させることができるということである。
【００４６】
そこで、本実施例では、音声データのうちの一部の音声データを対象にした処理を行う。具体的には、音声データ各々の再生時間（全体：５ｔｕ）を伸張している。音声データの再生時間を伸張した結果を、図５の（ｄ）に示す。図５の（ｄ）において、斜線で示した領域が、音声データが伸張された領域である。
【００４７】
ここで、本実施例では、音声データにおける伸張部と伸張割合の関係は、以下のようになっている。
【００４８】
上記表において、処理名は簡略化されている。詳細な処理との対応は以下のようになっている。
閾値 ：所定の閾値により決まる領域の音声データを処理。
前半部・後半部：前半部と後半部の少なくとも一方の領域の音声データを処理。
ピークバレー ：２つのピークの間の領域の音声データを処理。
【００４９】
音声データＳＤ１では、処理は何も行われていない。音声データＳＤ２と音声データＳＤ３では、ピークバレー処理、すなわち、２つのピークの間の領域の音声データに対して処理が行われている。ここで、処理の対象になっている音声データは、音声データＳＤ２では４番目の音声データ、音声データＳＤ３では２番目と４番目の音声データである。
【００５０】
また、音声データＳＤ４と音声データＳＤ６では、前半部・後半部処理、すなわち、前半部と後半部の少なくとも一方の領域の音声データに対して処理が行われている。ここで、処理の対象になっている音声データは、音声データＳＤ４では５番目の音声データ、音声データＳＤ３では１番目の音声データである。
【００５１】
また、音声データＳＤ５と音声データＳＤ７では、閾値処理、すなわち、所定の閾値により決まる領域の音声データに対して処理が行われている。ここで、処理の対象になっている音声データは、音声データＳＤ５では１番目と２番目の音声データ、音声データＳＤ７では３番目の音声データである。
【００５２】
なお、音声データＳＤ５では、所定の閾値よりも大きい音量の音声データに対して処理が行われている。すなわち、音声データＳＤ５における１番目と２番目の音声データは、所定の閾値よりも大きいデータである。また、音声データＳＤ７では、所定の閾値よりも小さい音量の音声データに対して処理が行われている。音声データＳＤ７における３番目の音声データは、所定の閾値よりも小さいデータである。
【００５３】
また、音声データＳＤ２、音声データＳＤ３、音声データＳＤ４及び音声データＳＤ６において、閾値処理を行っても良い。また、音声データＳＤ５において、前半部・後半部処理を行っても良い。音声データＳＤ７において、ピークバレー処理を行っても良い。
【００５４】
なお、伸張部及び伸張割合は、上記の例に限定されない。例えば、本実施例では、画像データＰＨ１の音声データＳＤ１に対しては伸張を行なっていない。しかしながら、音声データＤＳ１についても、音声データ（再生時間）の伸張を行なっても良い。あるいは、音声データの伸張では、１単位ユニットを１．５倍あるいは２．５倍に伸張している。しかしながら、例えば１単位ユニットを２．８倍や３倍等に伸張してもよい。
【００５５】
また、本実施例では、閾値処理、前半部・後半部処理、ピークバレー処理の３つを行っている。しかしながら、必ずしも３つの処理を行う必要はない。すなわち、これらの３つの処理の少なくとも１つの処理を行っても良い。これは、他の実施例においても同じである。
【００５６】
以上のように、本実施例によれば、楽曲の終了時間と、最後の音声データ及び画像データの再生終了時間とを一致させることができる。
【実施例２】
【００５７】
次に、実施例２について説明する。ここでは、図６の（ａ）、（ｂ）、（ｃ）、（ｄ）を参照して、処理部１５０で行われる所定の処理について説明する。なお、デジタルカメラ１００の構成は、実施例１と同一である。
【００５８】
図６の（ａ）は、デジタルカメラ１００で複数の静止画を音声データと共に記録した状態を、横軸を経過時間として表した図である。この図６の（ａ）は実施例１の図５の（ａ）と同じであるので、詳細な説明は省略する。
【００５９】
一方、図６の（ｂ）は、ＢＧＭとして用いる楽曲（楽曲データ）の演奏開始から終了までの時間Ｔを示している。このような楽曲に対して、音声データＳＤ１〜ＳＤ７の各々を、そのまま（音声データを加工せず）画像データＰＨ１〜ＰＨ７と共に再生したとする。すなわち、単純に音声データＳＤ１〜ＳＤ７を加算すると、図６の（ｃ）に示すように、音声データ各々の再生時間の総和に対して、楽曲の演奏時間Ｔが時間Ｔｎｏだけ不足してしまう。これでは、楽曲が終了しても、最後の画像データＰＨ７と音声データＳＤ７の再生が行なわれてしまうことになる。
【００６０】
そこで、本実施例では、楽曲の演奏終了時間（時刻）と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間（時刻）とを一致させるようにしている。以下、一致させる処理について説明する。
【００６１】
図６の（ｃ）から明らかなように、単純に音声データＳＤ１〜ＳＤ７を加算すると、音声データ各々の再生時間の総和に対して、楽曲の演奏時間Ｔが時間Ｔｎｏだけ不足する。これは換言すると、時間Ｔｎｏの分だけ音声データの再生時間を圧縮することで、楽曲の終了時間と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間とを一致させることができるということである。
【００６２】
そこで、本実施例では、音声データのうちの一部の音声データを対象にした処理を行う。具体的には、音声データ各々の再生時間（全体：５ｔｕ）を圧縮している。音声データの再生時間を圧縮した結果を、図６の（ｄ）に示す。図６の（ｄ）において、斜線で示した領域が、音声データが圧縮された領域である。
【００６３】
ここで、本実施例では、音声データにおける圧縮部と圧縮割合の関係は、以下のようになっている。
【００６４】
ここで、音声データＳＤ３及び音声データＳＤ６において、閾値処理を行っても良い。また、音声データＳＤ４において、前半部・後半部処理を行っても良い。
【００６５】
また、音声データＳＤ２では、前半部の圧縮割合と後半部の圧縮割合は共に１／４である。しかしながら、前半部の圧縮割合と後半部の圧縮割合を異ならせても良い。このとき、音量の違いによって、前半部の圧縮割合と後半部の圧縮割合を異ならせても良い。音声データＳＤ２では、前半部の音量が後半部の音量よりも大きい。そこで、例えば、前半部の圧縮割合を、後半部の圧縮割合よりも大きくしても良い。なお、ピークバレーにおいても、バレー（谷部）の深さに応じて、圧縮割合を変えるようにしても良い。
【００６６】
なお、圧縮部及び圧縮割合は、上記の例に限定されない。例えば、本実施例では、画像データＰＨ７の音声データＳＤ７に対しては圧縮を行なっていない。しかしながら、音声データＤＳ７についても、音声データ（再生時間）の圧縮を行なっても良い。また、音声データの圧縮では、１単位ユニットを１／２あるいは１／４に圧縮している。しかしながら、例えば１単位ユニットを２／３や１／５等に圧縮してもよい。
【００６７】
以上のように、本実施例によれば、楽曲の終了時間と、最後の音声データ及び画像データの再生終了時間とを一致させることができる。
【実施例３】
【００６８】
次に、実施例３について説明する。ここでは、図７の（ａ）、（ｂ）、（ｃ）、（ｄ）を参照して、処理部１５０で行われる所定の処理について説明する。なお、デジタルカメラ１００の構成は、実施例１と同一である。
【００６９】
図７の（ａ）は、デジタルカメラ１００で複数の静止画を音声データと共に記録した状態を、横軸を経過時間として表した図である。この図７（ａ）は実施例１の図５（ａ）と同じであるので、詳細な説明は省略する。
【００７０】
一方、図７の（ｂ）は、ＢＧＭとして用いる楽曲（楽曲データ）の演奏開始から終了までの時間Ｔを示している。このような楽曲に対して、音声データＳＤ１〜ＳＤ７の各々を、そのまま（音声データを加工せず）画像データＰＨ１〜ＰＨ７と共に再生したとする。すなわち、単純に音声データＳＤ１〜ＳＤ７を加算すると、図７の（ｃ）に示すように、楽曲の演奏時間Ｔに対して、音声データ各々の再生時間の総和が時間Ｔｎｏだけ不足してしまう。これでは、楽曲が終了する前に、最後の画像データＰＨ７と音声データＳＤ７の再生が終了してしまうことになる。
【００７１】
そこで、本実施例では、楽曲の演奏終了時間（時刻）と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間（時刻）とを一致させるようにしている。以下、一致させる処理について説明する。
【００７２】
図７の（ｃ）から明らかなように、単純に音声データＳＤ１〜ＳＤ７を加算すると、楽曲の演奏時間Ｔに対して、音声データ各々の再生時間の総和が時間Ｔｎｏだけ不足する。これは換言すると、時間Ｔｎｏの分だけ音声データに別の音声データを加えることで、楽曲の終了時間と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間とを一致させることができるということである。別の音声データとは、たとえば無音（無声）データである。
【００７３】
そこで、本実施例では、音声データのうちの一部の音声データを対象にした処理を行う。具体的には、音声データ各々の再生時間（全体：５ｔｕ）に対して、別の再生時間（別の音声データ）を加えている。これは、音声データ各々に対して、別の音声データを加えたことに他ならない。音別の声データを加えた結果を、図７の（ｄ）に示す。図７の（ｄ）において、斜線で示した領域が、別の音声データを加えた領域である。なお、別の音声データは無音データであるが、必ずしも無音である必要は無い。
【００７４】
ここで、本実施例では、音声データにおける追加部と追加割合の関係は、以下のようになっている。
【００７５】
ここで、音声データＳＤ２、音声データＳＤ４においては、４番目と５番目の音声データ（単位ユニット）の間に、音声データの追加が行なわれている。音声データＳＤ３においては、１番目と２番目の音声データの間、及び４番目と５番目の音声データ（単位ユニット）の間に、音声データの追加が行なわれている。音声データＳＤ５においては、１番目と２番目の音声データの間、及び２番目と３番目の音声データ（単位ユニット）の間に、音声データの追加が行なわれている。音声データＳＤ６においては、１番目と２番目の音声データ（単位ユニット）の間に、音声データの追加が行なわれている。音声データＳＤ７においては、２番目と３番目の音声データ（単位ユニット）の間に、音声データの追加が行なわれている。
【００７６】
なお、追加部及び追加割合は、上記の例に限定されない。例えば、本実施例では、画像データＰＨ１の音声データＳＤ１に対しては、別の音声データの追加を行なっていない。しかしながら、音声データＤＳ１についても、音声データに別の音声データを加えても良い。また、音声データの追加では、１つの音声データ全体に対して１／２の音声データを追加している。しかしながら、例えば１つの音声データに対して２／３や１／５の音声データを追加してもよい。
【００７７】
以上のように、本実施例によれば、楽曲の終了時間と、最後の音声データ及び画像データの再生終了時間とを一致させることができる。
【実施例４】
【００７８】
次に、実施例４について説明する。ここでは、図８の（ａ）、（ｂ）、（ｃ）、（ｄ）を参照して、処理部１５０で行われる所定の処理について説明する。なお、デジタルカメラ１００の構成は、実施例１と同一である。
【００７９】
図８の（ａ）は、デジタルカメラ１００で複数の静止画を音声データと共に記録した状態を、横軸を経過時間として表した図である。この図８の（ａ）は実施例１の図５の（ａ）と同じであるので、詳細な説明は省略する。
【００８０】
一方、図８の（ｂ）は、ＢＧＭとして用いる楽曲（楽曲データ）の演奏開始から終了までの時間Ｔを示している。このような楽曲に対して、音声データＳＤ１〜ＳＤ７の各々を、そのまま（音声データを加工せず）画像データＰＨ１〜ＰＨ７と共に再生したとする。すなわち、単純に音声データＳＤ１〜ＳＤ７を加算すると、図８の（ｃ）に示すように、音声データ各々の再生時間の総和に対して、楽曲の演奏時間Ｔが時間Ｔｎｏだけ不足してしまう。これでは、楽曲が終了しても、最後の画像データＰＨ７と音声データＳＤ７の再生が行なわれてしまうことになる。
【００８１】
そこで本実施例では、楽曲の演奏終了時間（時刻）と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間（時刻）とを一致させるようにしている。以下、一致させる処理について説明する。
【００８２】
図８の（ｃ）から明らかなように、単純に音声データＳＤ１〜ＳＤ７を加算すると、音声データ各々の再生時間の総和に対して、楽曲の演奏時間Ｔが時間Ｔｎｏだけ不足する。これは換言すると、時間Ｔｎｏの分だけ音声データ（一部あるいは全部）を削除することで、楽曲の終了時間と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間とを一致させることができるということである。
【００８３】
そこで、本実施例では、音声データのうちの一部の音声データを対象にした処理を行う。具体的には、音声データ各々の再生時間（全体：５ｔｕ）に対して、その一部を削除している。音声データの一部を削除した結果を、図８の（ｄ）に示す。図８の（ｄ）のうち、矢印で示された領域は、単位時間１ｔｕの一部が削除されたことを示している。なお、単位時間１ｔｕ全部が削除された場合については、図８（ｃ）と比較することでそれがわかる。図８の（ｃ）において、斜線で示した領域が、音声データの一部が削除された領域である。
【００８４】
ここで、本実施例では、音声データにおける削除部と削除量の関係は、以下のようになっている。
【００８５】
なお、削除部及び削除量は、上記の例に限定されない。例えば、本実施例では、画像データＰＨ７の音声データＳＤ７に対しては削除を行なっていない。しかしながら、音声データＤＳ７についても、音声データ（再生時間）の削除を行なっても良い。また、音声データの削除では、１単位ユニットについて１／２あるいは３／４の量を削除している。しかしながら、例えば１単位ユニットに対して２／３や１／５の量を削除してもよい。
【００８６】
以上のように、本実施例によれば、楽曲の終了時間と、最後の音声データ及び画像データの再生終了時間とを一致させることができる。
【００８７】
以上説明したように、本発明によれば、楽曲データに依存した処理ではなく、音声データ中の音に依存して、音声データの伸張、圧縮、削除、あるいは音声データに対する別の音声データの追加等の処理を行う。このため、楽曲データに依存しない表現の自由度を得ることができる。
【産業上の利用可能性】
【００８８】
以上のように、本発明にかかる光学機器は、静止画像と共に音声を再生する場合に有用である。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施例１に係る光学機器であるデジタルカメラの斜視構成を示す図である。
【図２】実施例１における内部ブロックを示す図である。
【図３】実施例１における処理手順を示すフローチャートである。
【図４】実施例１における処理の内容を示す図である。
【図５】実施例１における処理の内容を示す図である。
【図６】実施例２における処理の内容を示す図である。
【図７】実施例３における処理の内容を示す図である。
【図８】実施例４における処理の内容を示す図である。
【符号の説明】
【００９０】
１００ デジタルカメラ
１０１ 撮影光学系
１０２ 撮影用光路
１０３ ファインダー光学系
１０４ ファインダー用光路
１０５ シャッターボタン
１０６ フラッシュ
１０７ カバー
１０８ 焦点距離変更ボタン
１０９ スピーカ
１１０ 画像撮像部
１１１ 液晶モニタ部
１２０ 音声録音部
１３０ 楽曲取得部
１４０ 操作部
１５０ 処理部
１６０ データ記録部
１７０ 画像表示部
１８０ 音声再生部
１９０ データ通信部
【技術分野】
【０００１】
本発明は、光学機器、特に音楽再生と画像再生が可能な光学機器に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラが普及すると共に、デジタルカメラの高機能化が進んでいる。デジタルカメラが有する各種の機能として、音声の録音再生機能も提案されている（例えば、特許文献１、２、３参照）。そして、楽曲（例えば、ＢＧＭ：バックグラウンドミュージック）に合わせて、記録した画像を再生することができる。
【０００３】
【特許文献１】特開２００３−１５６４１号公報
【特許文献２】特開２００６−３０４２５７号公報
【特許文献３】特開２００１−３３９６８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来は、楽曲の音を基準にして画像を再生している。このため画像と音声とを再生するときの表現の自由度は、楽曲側に主として規制されてしまう。
【０００５】
本発明は、上記に鑑みてなされたものであって、画像と楽曲とを再生するとき、楽曲に依存しない表現の自由度を得ることができる光学機器を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明によれば、撮像部と、撮像部による撮像が行われた時点の前後の音声を記録する音声録音部と、撮像部から出力された画像データと、音声録音部から出力された音声データとを少なくとも記録するデータ記録部と、データ記録部に記録された画像データと音声データを用いて所定の処理を行う処理部と、処理部で処理された処理結果に基づいて、画像を表示する画像表示部と、処理部で処理された処理結果に基づいて、音声を再生する音声再生部を備え、音声録音部は、毎回の撮影において、記録開始から終了までの時間ｔでもって音声データを記録し、音声データと画像データは関連付けられており、所定の処理において、画像データの数をＮとし、データ記録部に記録されている楽曲データの演奏開始から終了までの時間をＴとしたとき、時間ＴとＮ×ｔとを一致させるように、前記音声データのうちの一部の音声データを対象にした処理を行い、音声データの各々の時間ｔを変化させることを特徴とする光学機器を提供できる。
【０００７】
また、本発明の好ましい態様によれば、一部の音声データは、所定の閾値により決まる領域の音声データであることが望ましい。
【０００８】
また、本発明の好ましい態様によれば、一部の音声データは、前半部と後半部の少なくとも一方の領域の音声データであることが望ましい。
【０００９】
また、本発明の好ましい態様によれば、一部の音声データは、２つのピークの間の領域の音声データであることが望ましい。
【００１０】
また、本発明の好ましい態様によれば、処理は、音声データの伸張、音声データの圧縮、別の音声データの追加、音声データの削除のいずれかであることが望ましい。
【発明の効果】
【００１１】
本発明にかかる光学機器は、画像と音声とを再生するとき、楽曲（例えば、ＢＧＭ）に依存しない表現の自由度を得ることができる光学機器を提供できるという効果を奏する。
【発明を実施するための最良の形態】
【００１２】
以下に、本発明にかかる光学機器の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【００１３】
まず、各実施例における光学機器について、説明する。図１の（ａ）は、光学機器の一例であるデジタルカメラ１００を示す外観を示す前方斜視図である。（ｂ）は、デジタルカメラ１００の背面図である。
【００１４】
図１の（ａ）、（ｂ）において、デジタルカメラ１００は、撮影光学系１０１、ファインダー光学系１０３、シャッターボタン１０５、フラッシュ１０６、液晶表示モニター１１１、焦点距離変更ボタン１０８、設定変更スイッチ（不図示）等を有している。ここで、１０２は撮影光学系１０１の撮影用光路、１０４はファインダー光学系１０３のファインダー用光路を示している。
【００１５】
撮影光学系１０１の沈胴時には、カバー１０７をスライドすることにより、撮影光学系１０１とファインダー光学系１０３とフラッシュ１０６は、カバー１０７で覆われる。そして、カバー１０７を開いてデジタルカメラ１００を撮影状態に設定すると、撮影光学系１０１は非沈胴状態になる。デジタルカメラ１００の上部に配置されたシャッターボタン１０５を押圧すると、それに連動して撮影光学系１０１を通して撮影が行われる。
【００１６】
撮影光学系１０１によって形成された被写体像が、ローパスフィルタとカバーガラスを介してＣＣＤの撮像面上に形成される。ＣＣＤで受光された物体像は、処理部１５０(図２）を介し、電子画像としてカメラ背面に設けられた液晶表示モニターに表示される。また、処理部１５０にはデータ記録部１６０（図２）が接続され、撮影された電子画像を記録することもできる。なお、データ記録部１６０は、処理部１５０と別体に設けてもよいし、フレキシブルディスクやメモリーカード、ＭＯ等により電子的に記録書込を行うように構成してもよい。
【００１７】
図２は、デジタルカメラ１００の主要部の内部回路の構成ブロック図である。画像撮像部１１０は、被写体の画像を静止画として撮像する。例えば、静止画の撮像には、上述のＣＣＤを用いることができる。
【００１８】
音声録音部１２０は、画像撮像部１１０による撮像が行われた時点の前後の音声を記録する。例えば、音声録音部１２０は、パーティ会場で記念撮影をしているときなどに、撮影されている人物が発している「今日は楽しかったね」等の音声を録音する。音声録音部１２０としては、マイクロフォンを用いることができる。ここで、音声録音部１２０は、毎回の撮影において、記録開始から終了までの時間ｔでもって音声データを記録する。また、音声データと、画像データは一対一で関連付けられている。
【００１９】
楽曲取得部１３０は、静止画を再生表示する際、再生する楽曲（例えば、ＢＧＭ）のデータを取得する。楽曲取得部１３０は、予めデータ記録部１６０内に記録されている楽曲リスト内からユーザが楽曲データを選択すること、またはデータ通信部１９０を介して所望の楽曲データをデジタルカメラ１００とは別体の外部サーバーからダウンロードすること等で楽曲データを取得できる。
【００２０】
データ記録部１６０は、画像撮像部１１０から出力された画像データと音声録音部１２０から出力された音声データを少なくとも記録する。
【００２１】
処理部１５０は、データ記録部１６０に記録された画像データ、音声データ及び音声データ中の音に応じて所定の処理を行う。所定の処理は、画像データの数をＮとし、データ記録部１６０に記録されている楽曲の演奏開始から終了までの時間をＴとしたとき、時間ＴとＮ×ｔとを一致させるように、前記音声データのうちの一部の音声データを対象にした処理を行い、音声データの各々の時間ｔを変化させる。この処理の具体的な手順については、後述する。
【００２２】
また、画像表示部１７０は、処理部１５０で処理された処理結果に基づいて、画像を表示する。音声再生部１８０は、処理部１５０で処理された処理結果に基づいて、音声を再生する。画像表示部１７０として、図１の（ｂ）に示す液晶モニタ部１１１を用いることができる。また、音声再生部１８０として、図１の（ｂ）に示すスピーカ１０９を用いることができる。
【００２３】
次に、図３のフローチャートに基づいて、楽曲と共に静止画像を再生する手順について説明する。ステップＳ３０１において、ユーザは、データ記録部１６０に記録されている画像データの中から、再生表示したい複数の画像データを選択、指定する。なお、全画像や日付ごとのフォルダを指定することでも、画像データを選択や指定が可能である。
【００２４】
ステップＳ３０２において、選択された複数の画像データについて、表示する順番を決める設定を行う。表示する順番としては、例えば、日付順やユーザの好みの順等がある。
【００２５】
ステップＳ３０３において、ユーザは、ＢＧＭとして用いる楽曲を指定する。楽曲の指定は、上述したように、予めデータ記録部１６０内に記録されている楽曲リスト内からユーザが楽曲を選択すること、またはデータ通信部１９０を介して所望の楽曲をデジタルカメラ１００とは別体の外部サーバーからダウンロードすること等で行うことができる。
【００２６】
ステップＳ３０４において、指定された楽曲をＢＧＭとして用いた場合の再生時間、すなわち、選択した静止画の各々について再生するための時間を設定する。この時間設定の詳細に関しても後述する。
【００２７】
ステップＳ３０５において、静止画を再生するか、否かが判断される。ステップＳ３０５の判断結果が真（Ｙｅｓ）のとき、ステップＳ３０６において、静止画を再生表示する。そして、処理を終了する。また、ステップＳ３０５の判断結果が偽（Ｎｏ）のとき、処理を終了する。
【００２８】
次に、音声データの処理について説明する。音声データの処理では、音声データのうちの一部の音声データを対象にした処理を行う。この処理の対象となる一部の音声データは、（１）所定の閾値により決まる領域の音声データ、（２）前半部と後半部の少なくとも一方の領域の音声データ、（３）２つのピークの間の領域の音声データである。
【００２９】
まず、処理の対象が、所定の閾値により決まる領域の音声データの場合について、説明する。図４（ａ）は、音声データの様子を示す図である。ここで、横軸は時間、縦軸は音量である。また、破線が所定の閾値を示している。そして、実線で示すグラフが音声データである。ここで、細線で示す部分が所定の閾値よりも小さい音量の音声データである。一方、太線で示す部分が所定の閾値よりも大きい音量の音声データである。
【００３０】
図４（ａ）に示す処理では、所定の閾値よりも小さい音量の音声データ、すなわち、細線で示す部分の音声データが削除される。これにより、音声データ全体を短くすることができる。なお、この一部の音声データを圧縮しても良い。これにより、音声データ全体を短くすることができる。
【００３１】
あるいは、この一部の音声データの領域を伸張させても良い。これにより、音声データ全体を長くすることができる。あるいは、この一部の音声データの領域に、別の音声データを追加しても良い。これにより、音声データ全体を長くすることができる。
【００３２】
なお、所定の閾値よりも大きい音量の音声データに処理を加えても良い。あるいは、２つの所定の閾値の間にある音量の音声データに処理を加えても良い。
【００３３】
次に、処理の対象が、最初の領域と最後の領域の少なくとも一方の領域の音声データの場合について、説明する。図４（ｂ）も、音声データの様子を示す図である。ここで、横軸は時間、縦軸は音量である。また、一点鎖線で示す範囲が、最初の領域（図の左側）と最後の領域（図の右側）を示している。図４（ｂ）においても、実線で示すグラフが音声データである。ここで、細線で示す部分が、音声データにおける最初の領域、及び最後の領域である。一方、太線で示す部分が、最初の領域と最後の領域の間にある音声データである。
【００３４】
図４（ｂ）に示す処理では、最初の領域と最後の領域の少なくとも一方における音声データ、すなわち、細線で示す部分の音声データが削除される。これにより、音声データ全体を短くすることができる。なお、この一部の音声データを圧縮、伸張、別の音声データの追加に関しては、前述の通りである。
【００３５】
次に、処理の対象が、２つのピークの間の領域の音声データの場合について、説明する。図４（ｃ）も、音声データの様子を示す図である。ここで、横軸は時間、縦軸は音量である。また、一点鎖線で示す範囲が、２つのピークの間の領域を示している。ピークとは、音量が大きい部分のことを指す。図４（ｃ）においても、実線で示すグラフが音声データである。ここで、細線で示す部分が、２つのピークの間の領域（ピークバレー）である。一方、太線で示す部分が、２つのピークの間の領域以外の領域にある音声データである。
【００３６】
図４（ｃ）に示す処理では、２つのピークの間の領域における音声データ、すなわち、細線で示す部分の音声データが削除される。これにより、音声データ全体を短くすることができる。なお、この一部の音声データを圧縮、伸張、別の音声データの追加に関しては、前述の通りである。
【実施例１】
【００３７】
次に、実施例１について説明する。ここでは、図５の（ａ）、（ｂ）、（ｃ）、（ｄ）を参照して、処理部１５０で行われる所定の処理について説明する。図５の（ａ）は、デジタルカメラ１００で複数の静止画を音声データと共に記録した状態を、横軸を経過時間として表した図である。ここで、便宜のため、２つの単位時間ｔｕ及びＴＵを考える。図５の（ａ）の最も下欄に並んでいる四角形のうち、実線で示す四角一つは単位時間ｔｕに対応している。また、破線で示す四角一つは単位時間ＴＵに対応している。また、実線で示す四角と破線で示す四角の大きさは同じであるが、本実施例ではｔｕ≠ＴＵである。なお、単位ユニットという考え方を採用しなくても良い。
【００３８】
本実施例では、図５の（ａ）に示すように、画像データＰＨ１を１０時ＡＡ分に撮像したとき、同時に音声データＳＤ１も記録される。音声録音部１２０は、毎回の撮影において、記録開始から終了までの時間として、５ｔｕ（＝ｔ）でもって音声データＳＤ１を記録する。他の音声データＳＤ２、ＳＤ３、ＳＤ４、ＳＤ５、ＳＤ６、ＳＤ７についても、同様に時間５ｔｕで記録されている。撮影が続行されれば、更に多くの画像データが、データ記録部１６０に記録されることになる。
【００３９】
なお、図５の（ａ）では、便宜上、各画像データについてもある幅（５ｔｕ）を持たせて示している。この表示だと、５ｔｕの間ずっと撮影され続けていることになるが、そうではなく、前述のように、取得されるのは静止画像である。すなわち、シャッターボタン１０５が押圧された直後に撮影は終了しているものとしている。一方、図５の（ｃ）や（ｄ）は、再生の様子を示す図である。よって、図示されている幅の間は、画像データの表示が行なわれていることになる。この点については、他の実施例でも同じである。もちろん、シャッターボタンが押圧された前後を音声記録時間とすることも可能である。
【００４０】
次に、楽曲と共に静止画像を再生する処理について説明する。この処理には、記録済みの画像データと音声データが用いられる。本実施例では、上記の画像データＰＨ１〜ＰＨ７、音声データＳＤ１〜ＳＤ７が用いられる。よって、本実施例では、画像データの数はＮ＝７となる。
【００４１】
ここで、各音声データの各単位ユニットには、以下の表１に示す音量の音声が記録されている。表１では、数値が大きいほど音量が大きいことを示している。
【００４２】
【表１】
【００４３】
一方、図５の（ｂ）は、ＢＧＭとして用いる楽曲（楽曲データ）の演奏開始から終了までの時間Ｔを示している。このような楽曲に対して、音声データＳＤ１〜ＳＤ７の各々を、そのまま（音声データを加工せず）画像データＰＨ１〜ＰＨ７と共に再生したとする。すなわち、単純に音声データＳＤ１〜ＳＤ７を加算すると、図５の（ｃ）に示すように、楽曲の演奏時間Ｔに対して、音声データ各々の再生時間の総和が時間Ｔｎｏだけ不足してしまう。これでは、楽曲が終了する前に、最後の画像データＰＨ７と音声データＳＤ７の再生が終了してしまうことになる。
【００４４】
そこで、本実施例では、楽曲の演奏終了時間（時刻）と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間（時刻）とを一致させるようにしている。以下、一致させる処理について説明する。
【００４５】
図５の（ｃ）から明らかなように、単純に音声データＳＤ１〜ＳＤ７を加算すると、楽曲の演奏時間Ｔに対して、音声データ各々の再生時間の総和が時間Ｔｎｏだけ不足する。これは換言すると、時間Ｔｎｏの分だけ音声データの再生時間を伸張することで、楽曲の終了時間と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間とを一致させることができるということである。
【００４６】
そこで、本実施例では、音声データのうちの一部の音声データを対象にした処理を行う。具体的には、音声データ各々の再生時間（全体：５ｔｕ）を伸張している。音声データの再生時間を伸張した結果を、図５の（ｄ）に示す。図５の（ｄ）において、斜線で示した領域が、音声データが伸張された領域である。
【００４７】
ここで、本実施例では、音声データにおける伸張部と伸張割合の関係は、以下のようになっている。
【００４８】
上記表において、処理名は簡略化されている。詳細な処理との対応は以下のようになっている。
閾値 ：所定の閾値により決まる領域の音声データを処理。
前半部・後半部：前半部と後半部の少なくとも一方の領域の音声データを処理。
ピークバレー ：２つのピークの間の領域の音声データを処理。
【００４９】
音声データＳＤ１では、処理は何も行われていない。音声データＳＤ２と音声データＳＤ３では、ピークバレー処理、すなわち、２つのピークの間の領域の音声データに対して処理が行われている。ここで、処理の対象になっている音声データは、音声データＳＤ２では４番目の音声データ、音声データＳＤ３では２番目と４番目の音声データである。
【００５０】
また、音声データＳＤ４と音声データＳＤ６では、前半部・後半部処理、すなわち、前半部と後半部の少なくとも一方の領域の音声データに対して処理が行われている。ここで、処理の対象になっている音声データは、音声データＳＤ４では５番目の音声データ、音声データＳＤ３では１番目の音声データである。
【００５１】
また、音声データＳＤ５と音声データＳＤ７では、閾値処理、すなわち、所定の閾値により決まる領域の音声データに対して処理が行われている。ここで、処理の対象になっている音声データは、音声データＳＤ５では１番目と２番目の音声データ、音声データＳＤ７では３番目の音声データである。
【００５２】
なお、音声データＳＤ５では、所定の閾値よりも大きい音量の音声データに対して処理が行われている。すなわち、音声データＳＤ５における１番目と２番目の音声データは、所定の閾値よりも大きいデータである。また、音声データＳＤ７では、所定の閾値よりも小さい音量の音声データに対して処理が行われている。音声データＳＤ７における３番目の音声データは、所定の閾値よりも小さいデータである。
【００５３】
また、音声データＳＤ２、音声データＳＤ３、音声データＳＤ４及び音声データＳＤ６において、閾値処理を行っても良い。また、音声データＳＤ５において、前半部・後半部処理を行っても良い。音声データＳＤ７において、ピークバレー処理を行っても良い。
【００５４】
なお、伸張部及び伸張割合は、上記の例に限定されない。例えば、本実施例では、画像データＰＨ１の音声データＳＤ１に対しては伸張を行なっていない。しかしながら、音声データＤＳ１についても、音声データ（再生時間）の伸張を行なっても良い。あるいは、音声データの伸張では、１単位ユニットを１．５倍あるいは２．５倍に伸張している。しかしながら、例えば１単位ユニットを２．８倍や３倍等に伸張してもよい。
【００５５】
また、本実施例では、閾値処理、前半部・後半部処理、ピークバレー処理の３つを行っている。しかしながら、必ずしも３つの処理を行う必要はない。すなわち、これらの３つの処理の少なくとも１つの処理を行っても良い。これは、他の実施例においても同じである。
【００５６】
以上のように、本実施例によれば、楽曲の終了時間と、最後の音声データ及び画像データの再生終了時間とを一致させることができる。
【実施例２】
【００５７】
次に、実施例２について説明する。ここでは、図６の（ａ）、（ｂ）、（ｃ）、（ｄ）を参照して、処理部１５０で行われる所定の処理について説明する。なお、デジタルカメラ１００の構成は、実施例１と同一である。
【００５８】
図６の（ａ）は、デジタルカメラ１００で複数の静止画を音声データと共に記録した状態を、横軸を経過時間として表した図である。この図６の（ａ）は実施例１の図５の（ａ）と同じであるので、詳細な説明は省略する。
【００５９】
一方、図６の（ｂ）は、ＢＧＭとして用いる楽曲（楽曲データ）の演奏開始から終了までの時間Ｔを示している。このような楽曲に対して、音声データＳＤ１〜ＳＤ７の各々を、そのまま（音声データを加工せず）画像データＰＨ１〜ＰＨ７と共に再生したとする。すなわち、単純に音声データＳＤ１〜ＳＤ７を加算すると、図６の（ｃ）に示すように、音声データ各々の再生時間の総和に対して、楽曲の演奏時間Ｔが時間Ｔｎｏだけ不足してしまう。これでは、楽曲が終了しても、最後の画像データＰＨ７と音声データＳＤ７の再生が行なわれてしまうことになる。
【００６０】
そこで、本実施例では、楽曲の演奏終了時間（時刻）と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間（時刻）とを一致させるようにしている。以下、一致させる処理について説明する。
【００６１】
図６の（ｃ）から明らかなように、単純に音声データＳＤ１〜ＳＤ７を加算すると、音声データ各々の再生時間の総和に対して、楽曲の演奏時間Ｔが時間Ｔｎｏだけ不足する。これは換言すると、時間Ｔｎｏの分だけ音声データの再生時間を圧縮することで、楽曲の終了時間と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間とを一致させることができるということである。
【００６２】
そこで、本実施例では、音声データのうちの一部の音声データを対象にした処理を行う。具体的には、音声データ各々の再生時間（全体：５ｔｕ）を圧縮している。音声データの再生時間を圧縮した結果を、図６の（ｄ）に示す。図６の（ｄ）において、斜線で示した領域が、音声データが圧縮された領域である。
【００６３】
ここで、本実施例では、音声データにおける圧縮部と圧縮割合の関係は、以下のようになっている。
【００６４】
ここで、音声データＳＤ３及び音声データＳＤ６において、閾値処理を行っても良い。また、音声データＳＤ４において、前半部・後半部処理を行っても良い。
【００６５】
また、音声データＳＤ２では、前半部の圧縮割合と後半部の圧縮割合は共に１／４である。しかしながら、前半部の圧縮割合と後半部の圧縮割合を異ならせても良い。このとき、音量の違いによって、前半部の圧縮割合と後半部の圧縮割合を異ならせても良い。音声データＳＤ２では、前半部の音量が後半部の音量よりも大きい。そこで、例えば、前半部の圧縮割合を、後半部の圧縮割合よりも大きくしても良い。なお、ピークバレーにおいても、バレー（谷部）の深さに応じて、圧縮割合を変えるようにしても良い。
【００６６】
なお、圧縮部及び圧縮割合は、上記の例に限定されない。例えば、本実施例では、画像データＰＨ７の音声データＳＤ７に対しては圧縮を行なっていない。しかしながら、音声データＤＳ７についても、音声データ（再生時間）の圧縮を行なっても良い。また、音声データの圧縮では、１単位ユニットを１／２あるいは１／４に圧縮している。しかしながら、例えば１単位ユニットを２／３や１／５等に圧縮してもよい。
【００６７】
以上のように、本実施例によれば、楽曲の終了時間と、最後の音声データ及び画像データの再生終了時間とを一致させることができる。
【実施例３】
【００６８】
次に、実施例３について説明する。ここでは、図７の（ａ）、（ｂ）、（ｃ）、（ｄ）を参照して、処理部１５０で行われる所定の処理について説明する。なお、デジタルカメラ１００の構成は、実施例１と同一である。
【００６９】
図７の（ａ）は、デジタルカメラ１００で複数の静止画を音声データと共に記録した状態を、横軸を経過時間として表した図である。この図７（ａ）は実施例１の図５（ａ）と同じであるので、詳細な説明は省略する。
【００７０】
一方、図７の（ｂ）は、ＢＧＭとして用いる楽曲（楽曲データ）の演奏開始から終了までの時間Ｔを示している。このような楽曲に対して、音声データＳＤ１〜ＳＤ７の各々を、そのまま（音声データを加工せず）画像データＰＨ１〜ＰＨ７と共に再生したとする。すなわち、単純に音声データＳＤ１〜ＳＤ７を加算すると、図７の（ｃ）に示すように、楽曲の演奏時間Ｔに対して、音声データ各々の再生時間の総和が時間Ｔｎｏだけ不足してしまう。これでは、楽曲が終了する前に、最後の画像データＰＨ７と音声データＳＤ７の再生が終了してしまうことになる。
【００７１】
そこで、本実施例では、楽曲の演奏終了時間（時刻）と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間（時刻）とを一致させるようにしている。以下、一致させる処理について説明する。
【００７２】
図７の（ｃ）から明らかなように、単純に音声データＳＤ１〜ＳＤ７を加算すると、楽曲の演奏時間Ｔに対して、音声データ各々の再生時間の総和が時間Ｔｎｏだけ不足する。これは換言すると、時間Ｔｎｏの分だけ音声データに別の音声データを加えることで、楽曲の終了時間と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間とを一致させることができるということである。別の音声データとは、たとえば無音（無声）データである。
【００７３】
そこで、本実施例では、音声データのうちの一部の音声データを対象にした処理を行う。具体的には、音声データ各々の再生時間（全体：５ｔｕ）に対して、別の再生時間（別の音声データ）を加えている。これは、音声データ各々に対して、別の音声データを加えたことに他ならない。音別の声データを加えた結果を、図７の（ｄ）に示す。図７の（ｄ）において、斜線で示した領域が、別の音声データを加えた領域である。なお、別の音声データは無音データであるが、必ずしも無音である必要は無い。
【００７４】
ここで、本実施例では、音声データにおける追加部と追加割合の関係は、以下のようになっている。
【００７５】
ここで、音声データＳＤ２、音声データＳＤ４においては、４番目と５番目の音声データ（単位ユニット）の間に、音声データの追加が行なわれている。音声データＳＤ３においては、１番目と２番目の音声データの間、及び４番目と５番目の音声データ（単位ユニット）の間に、音声データの追加が行なわれている。音声データＳＤ５においては、１番目と２番目の音声データの間、及び２番目と３番目の音声データ（単位ユニット）の間に、音声データの追加が行なわれている。音声データＳＤ６においては、１番目と２番目の音声データ（単位ユニット）の間に、音声データの追加が行なわれている。音声データＳＤ７においては、２番目と３番目の音声データ（単位ユニット）の間に、音声データの追加が行なわれている。
【００７６】
なお、追加部及び追加割合は、上記の例に限定されない。例えば、本実施例では、画像データＰＨ１の音声データＳＤ１に対しては、別の音声データの追加を行なっていない。しかしながら、音声データＤＳ１についても、音声データに別の音声データを加えても良い。また、音声データの追加では、１つの音声データ全体に対して１／２の音声データを追加している。しかしながら、例えば１つの音声データに対して２／３や１／５の音声データを追加してもよい。
【００７７】
以上のように、本実施例によれば、楽曲の終了時間と、最後の音声データ及び画像データの再生終了時間とを一致させることができる。
【実施例４】
【００７８】
次に、実施例４について説明する。ここでは、図８の（ａ）、（ｂ）、（ｃ）、（ｄ）を参照して、処理部１５０で行われる所定の処理について説明する。なお、デジタルカメラ１００の構成は、実施例１と同一である。
【００７９】
図８の（ａ）は、デジタルカメラ１００で複数の静止画を音声データと共に記録した状態を、横軸を経過時間として表した図である。この図８の（ａ）は実施例１の図５の（ａ）と同じであるので、詳細な説明は省略する。
【００８０】
一方、図８の（ｂ）は、ＢＧＭとして用いる楽曲（楽曲データ）の演奏開始から終了までの時間Ｔを示している。このような楽曲に対して、音声データＳＤ１〜ＳＤ７の各々を、そのまま（音声データを加工せず）画像データＰＨ１〜ＰＨ７と共に再生したとする。すなわち、単純に音声データＳＤ１〜ＳＤ７を加算すると、図８の（ｃ）に示すように、音声データ各々の再生時間の総和に対して、楽曲の演奏時間Ｔが時間Ｔｎｏだけ不足してしまう。これでは、楽曲が終了しても、最後の画像データＰＨ７と音声データＳＤ７の再生が行なわれてしまうことになる。
【００８１】
そこで本実施例では、楽曲の演奏終了時間（時刻）と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間（時刻）とを一致させるようにしている。以下、一致させる処理について説明する。
【００８２】
図８の（ｃ）から明らかなように、単純に音声データＳＤ１〜ＳＤ７を加算すると、音声データ各々の再生時間の総和に対して、楽曲の演奏時間Ｔが時間Ｔｎｏだけ不足する。これは換言すると、時間Ｔｎｏの分だけ音声データ（一部あるいは全部）を削除することで、楽曲の終了時間と、最後の音声データＳＤ７及び画像データＰＨ７の再生終了時間とを一致させることができるということである。
【００８３】
そこで、本実施例では、音声データのうちの一部の音声データを対象にした処理を行う。具体的には、音声データ各々の再生時間（全体：５ｔｕ）に対して、その一部を削除している。音声データの一部を削除した結果を、図８の（ｄ）に示す。図８の（ｄ）のうち、矢印で示された領域は、単位時間１ｔｕの一部が削除されたことを示している。なお、単位時間１ｔｕ全部が削除された場合については、図８（ｃ）と比較することでそれがわかる。図８の（ｃ）において、斜線で示した領域が、音声データの一部が削除された領域である。
【００８４】
ここで、本実施例では、音声データにおける削除部と削除量の関係は、以下のようになっている。
【００８５】
なお、削除部及び削除量は、上記の例に限定されない。例えば、本実施例では、画像データＰＨ７の音声データＳＤ７に対しては削除を行なっていない。しかしながら、音声データＤＳ７についても、音声データ（再生時間）の削除を行なっても良い。また、音声データの削除では、１単位ユニットについて１／２あるいは３／４の量を削除している。しかしながら、例えば１単位ユニットに対して２／３や１／５の量を削除してもよい。
【００８６】
以上のように、本実施例によれば、楽曲の終了時間と、最後の音声データ及び画像データの再生終了時間とを一致させることができる。
【００８７】
以上説明したように、本発明によれば、楽曲データに依存した処理ではなく、音声データ中の音に依存して、音声データの伸張、圧縮、削除、あるいは音声データに対する別の音声データの追加等の処理を行う。このため、楽曲データに依存しない表現の自由度を得ることができる。
【産業上の利用可能性】
【００８８】
以上のように、本発明にかかる光学機器は、静止画像と共に音声を再生する場合に有用である。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施例１に係る光学機器であるデジタルカメラの斜視構成を示す図である。
【図２】実施例１における内部ブロックを示す図である。
【図３】実施例１における処理手順を示すフローチャートである。
【図４】実施例１における処理の内容を示す図である。
【図５】実施例１における処理の内容を示す図である。
【図６】実施例２における処理の内容を示す図である。
【図７】実施例３における処理の内容を示す図である。
【図８】実施例４における処理の内容を示す図である。
【符号の説明】
【００９０】
１００ デジタルカメラ
１０１ 撮影光学系
１０２ 撮影用光路
１０３ ファインダー光学系
１０４ ファインダー用光路
１０５ シャッターボタン
１０６ フラッシュ
１０７ カバー
１０８ 焦点距離変更ボタン
１０９ スピーカ
１１０ 画像撮像部
１１１ 液晶モニタ部
１２０ 音声録音部
１３０ 楽曲取得部
１４０ 操作部
１５０ 処理部
１６０ データ記録部
１７０ 画像表示部
１８０ 音声再生部
１９０ データ通信部
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部による撮像が行われた時点の前後の音声を記録する音声録音部と、
前記撮像部から出力された画像データと、前記音声録音部から出力された音声データとを少なくとも記録するデータ記録部と、
前記データ記録部に記録された前記画像データと前記音声データを用いて所定の処理を行う処理部と、
前記処理部で処理された処理結果に基づいて、画像を表示する画像表示部と、
前記処理部で処理された処理結果に基づいて、音声を再生する音声再生部を備え、
前記音声録音部は、毎回の撮影において、記録開始から終了までの時間ｔでもって前記音声データを記録し、
前記音声データと前記画像データは関連付けられており、
前記所定の処理において、前記画像データの数をＮとし、前記データ記録部に記録されている楽曲データの演奏開始から終了までの時間をＴとしたとき、前記時間ＴとＮ×ｔとを一致させるように前記音声データのうちの一部の音声データを対象にした処理を行い、前記音声データの各々の時間ｔを変化させることを特徴とする光学機器。
【請求項２】
前記一部の音声データは、所定の閾値により決まる領域の音声データであることを特徴とする請求項１に記載の光学機器。
【請求項３】
前記一部の音声データは、前半部と後半部の少なくとも一方の領域の音声データであることを特徴とする請求項１に記載の光学機器。
【請求項４】
前記一部の音声データは、２つのピークの間の領域の音声データであることを特徴とする請求項１に記載の光学機器。
【請求項５】
前記処理は、前記音声データの伸張、前記音声データの圧縮、別の音声データの追加、前記音声データの削除のいずれかであることを特徴とする請求項１に記載の光学機器。
【請求項１】
撮像部と、
前記撮像部による撮像が行われた時点の前後の音声を記録する音声録音部と、
前記撮像部から出力された画像データと、前記音声録音部から出力された音声データとを少なくとも記録するデータ記録部と、
前記データ記録部に記録された前記画像データと前記音声データを用いて所定の処理を行う処理部と、
前記処理部で処理された処理結果に基づいて、画像を表示する画像表示部と、
前記処理部で処理された処理結果に基づいて、音声を再生する音声再生部を備え、
前記音声録音部は、毎回の撮影において、記録開始から終了までの時間ｔでもって前記音声データを記録し、
前記音声データと前記画像データは関連付けられており、
前記所定の処理において、前記画像データの数をＮとし、前記データ記録部に記録されている楽曲データの演奏開始から終了までの時間をＴとしたとき、前記時間ＴとＮ×ｔとを一致させるように前記音声データのうちの一部の音声データを対象にした処理を行い、前記音声データの各々の時間ｔを変化させることを特徴とする光学機器。
【請求項２】
前記一部の音声データは、所定の閾値により決まる領域の音声データであることを特徴とする請求項１に記載の光学機器。
【請求項３】
前記一部の音声データは、前半部と後半部の少なくとも一方の領域の音声データであることを特徴とする請求項１に記載の光学機器。
【請求項４】
前記一部の音声データは、２つのピークの間の領域の音声データであることを特徴とする請求項１に記載の光学機器。
【請求項５】
前記処理は、前記音声データの伸張、前記音声データの圧縮、別の音声データの追加、前記音声データの削除のいずれかであることを特徴とする請求項１に記載の光学機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−１５９４２３（Ｐ２００９−１５９４２３Ａ）
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００７−３３６９２７（Ｐ２００７−３３６９２７）
【出願日】平成１９年１２月２７日（２００７．１２．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成１９年１２月２７日（２００７．１２．２７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]