撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラム
【課題】画像を音声とともに再生する際に、撮影時の雰囲気を再現し、かつ鑑賞者に違和感を感じさせない再生を行うことができる撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラムを提供する。
【解決手段】画像を撮像して該画像の電子的なデータを生成する撮像部と、音声を入力して電気信号に変換する音声入力部と、音声入力部が変換した電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理部と、撮像部が生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける制御部と、を備える。
【解決手段】画像を撮像して該画像の電子的なデータを生成する撮像部と、音声を入力して電気信号に変換する音声入力部と、音声入力部が変換した電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理部と、撮像部が生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける制御部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を取得して電子的な画像データを生成する撮像装置、画像を再生する再生装置、画像データを含むデータ構造、撮像装置の制御方法および撮像装置用プログラムに関する。
【背景技術】
【０００２】
従来、動画を撮影する機能を有するデジタルカメラにおいて、動画撮影の途中で撮影した静止画に、その前後の音声データを付加して再生する技術が開示されている（例えば、特許文献１を参照）。
【０００３】
また、動画を撮影して再生する機能を有する撮像再生装置において、通常の動画撮影モード以外のモードとして、所定時間経過後に自動的に撮影が終了するスナップムービー撮影モードを設定可能な撮像再生装置が知られている。この撮像再生装置では、スナップムービー撮影モード撮影時の音声とは別に用意された音声を出力しながらテンポよく映像を切り換えて再生することができる（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２２４６号公報
【特許文献２】特開２０１０−１４１４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１では、再生時の音声に被写体の声が入っている場合、その声が途中で途切れてしまう可能性があった。被写体の声が途中で途切れてしまう場合、再生画像の鑑賞者は途切れた音声の内容が気になり、違和感を感じたまま鑑賞を続けなければならなかった。
【０００６】
また、上述した特許文献２では、再生時と映像との間の関連性がないため、場合によっては音と映像とのミスマッチが生じてしまい、鑑賞者が違和感を感じてしまう可能性があった。
【０００７】
本発明は、上記に鑑みてなされたものであって、画像を音声とともに再生する際に、撮影時の雰囲気を再現し、かつ鑑賞者に違和感を感じさせない再生を行うことができる撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、画像を撮像して該画像の電子的なデータを生成する撮像部と、音声を入力して電気信号に変換する音声入力部と、前記音声入力部が変換した電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理部と、前記撮像部が生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける制御部と、を備えたことを特徴とする。
【０００９】
また、本発明に係る撮像装置は、上記発明において、前記音の特性は、音の強度を含むことを特徴とする。
【００１０】
また、本発明に係る撮像装置は、上記発明において、前記音の特性は、周波数を含み、前記音声処理部は、前記音声データの周波数スペクトルを算出し、前記音の特性に基づいて前記周波数スペクトルを分離することによって得られる部分周波数スペクトルから前記複数の部分音声データを生成することを特徴とする。
【００１１】
また、本発明に係る撮像装置は、上記発明において、前記音声処理部は、人の声を含む部分音声データを生成可能であることを特徴とする。
【００１２】
また、本発明に係る撮像装置は、上記発明において、前記制御部は、複数の画像を所定時間ずつ連続的に表示するスライドショーモードで画像を再生表示する場合、該画像と同期して出力する音声として、人の声を含まない部分音声データを最優先で選択することを特徴とする。
【００１３】
また、本発明に係る撮像装置は、上記発明において、前記画像データに対応する画像を表示可能な表示部と、前記音声データに対応する音声または前記部分音声データに対応する部分音声を出力可能な音声出力部と、をさらに備え、前記制御部は、前記表示部における画像の表示態様に応じた音声または部分音声を選択し、該画像の表示と同期して前記音声出力部に出力させることを特徴とする。
【００１４】
また、本発明に係る撮像装置は、上記発明において、画像の表示および音声の出力が可能な再生装置とネットワークを介して情報の送受信を行う通信部と、前記再生装置に出力させる情報として、画像データ、および該画像データに対応する画像の表示態様に応じて定められ、該画像と同期して出力する音声データを含み、前記通信部を介して前記再生装置へ送信する送信ファイルを作成する送信ファイル作成部と、をさらに備えたことを特徴とする。
【００１５】
また、本発明に係る再生装置は、画像を表示可能な表示部と、前記表示部が表示する画像に適合する音声を出力可能な音声出力部と、画像データ、および該画像データに対応する画像の表示態様に応じて定められ、該画像と同期して出力する音声を含む音声データ、を有するデータ構造の記載内容を解釈する解釈部と、前記解釈部が解釈した結果に基づいて前記表示部に画像を表示させるとともに前記音声出力部に音声を出力させる再生制御部と、を備えたことを特徴とする。
【００１６】
また、本発明に係る再生装置は、上記発明において、前記撮像装置と前記ネットワークを介して通信可能であり、前記データ構造としての前記送信ファイルを前記撮像装置から受信する通信部をさらに備えたことを特徴とする。
【００１７】
また、本発明に係るデータ構造は、画像データと、前記画像データに対応する画像の表示態様を定めるモード情報と、前記画像を前記表示態様にしたがって表示する際に前記画像と同期して出力する音声を含む音声データと、を備えたことを特徴とする。
【００１８】
また、本発明に係る撮像装置の制御方法は、画像を撮像して該画像の電子的なデータを生成する撮像ステップと、前記撮像ステップにおける画像の撮像時を含む期間の音声を入力して電気信号に変換する音声入力ステップと、前記音声入力ステップで変換された電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理ステップと、前記撮像ステップで生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける対応付けステップと、を有することを特徴とする。
【００１９】
また、本発明に係る撮像装置用プログラムは、画像を撮像して該画像の電子的なデータを生成するとともに、音声を入力して電気信号に変換する撮像装置に、前記電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理ステップと、前記画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける対応付けステップと、を実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、音声データを複数の部分音声データに分離し、表示する画像データの表示態様に適合する音声データまたは部分音声データを選択して該画像と対応付けているため、画像を再生する際に、その画像の撮影時の雰囲気を再現するとともに、鑑賞者に対して快適な状態で再生画像を鑑賞させることができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の一実施の形態に係る撮像装置および再生装置からなる通信システムの構成を示す図である。
【図２】図２は、本発明の一実施の形態に係る撮像装置の音声処理部が行う処理の概要を示す図である。
【図３】図３は、音声データの最大音圧レベルの時間変化の例を示す図である。
【図４】図４は、本発明の一実施の形態に係る撮像装置の音声処理部が行う音声の分離処理の概要を示す図である。
【図５】図５は、本発明の一実施の形態に係る撮像装置の送信ファイル作成部が生成する送信ファイルのデータ構造を模式的に示す図である。
【図６】図６は、本発明の一実施の形態に係る撮像装置が行う特徴的な処理の概要を示す模式図である。
【図７】図７は、本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。
【図８】図８は、本発明の一実施の形態に係る撮像装置が行う音声データ記録処理の概要を示すフローチャートである。
【図９】図９は、本発明の一実施の形態に係る撮像装置が行う動画撮影処理の概要を示すフローチャートである。
【図１０】図１０は、本発明の一実施の形態に係る撮像装置が行う再生処理の概要を示すフローチャートである。
【図１１】図１１は、本発明の一実施の形態に係る撮像装置が行うスライドショー表示処理の概要を示すフローチャートである。
【図１２】図１２は、スライドショー表示において、動作再生時に第２部分音声を用いて再生している状況を模式的に示す図である。
【図１３】図１３は、本発明の一実施の形態に係る再生装置が行う表示処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
【００２３】
図１は、本発明の一実施の形態に係る撮像装置および再生の構成ならびに撮像装置および再生装置からなる通信システムの構成を示す図である。同図に示す通信システム１００は、所定の視野領域の画像を撮像して画像データを生成する撮像装置１と、画像を表示する再生装置３とを備える。撮像装置１および再生装置３は、互いに他と画像データを含む情報の通信を行う機能を有する。
【００２４】
まず、撮像装置１の構成を説明する。撮像装置１は、撮像部１１と、操作入力部１２と、音声入力部１３と、表示部１４と、音声出力部１５と、通信部１６と、記憶部１７と、制御部１８とを備える。
【００２５】
撮像部１１は、所定の視野領域の画像を撮像してデジタルの画像データを生成する。撮像部１１は、一または複数のレンズによって構成され、所定の視野領域に存在する被写体からの光を集光する光学系と、光学系が集光した光の入射量を調整する絞りと、絞りを通過した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）等の撮像素子と、撮像素子から出力されるアナログ信号をデジタル信号からなる画像データに変換するＡ／Ｄ変換部とを有する。
【００２６】
操作入力部１２は、撮像装置１の操作指示を含む各種情報の入力を受け付ける。操作入力部１２は、撮像装置１の電源ボタン、静止画の撮影指示を与える静止画レリーズボタン動画の撮影指示を与える動画レリーズボタン、撮像装置１で設定可能な各種動作モードの切替を行うモード切替ボタン、画像データの再生や編集の指示を含む制御ボタンなどを有する。また、操作入力部１２は、表示部１４に積層されて設けられるタッチパネルを有する。
【００２７】
音声入力部１３は、マイクロフォンを用いて構成され、音声を入力して電気信号に変換する機能を有する。
【００２８】
表示部１４は、液晶または有機ＥＬ等を用いて構成され、画像データのほかに撮像装置１の操作情報や撮影に関する情報を適宜表示する機能を有する。
【００２９】
音声出力部１５は、スピーカを用いて構成され、音声を外部へ出力する機能を有する。
【００３０】
通信部１６は、ネットワークを介して再生装置３との間で情報の送受信を行う。このネットワークとして、無線ＬＡＮ（Local Area Network）または赤外通信などの無線通信用ネットワークを適用してもよいし、有線通信を含むネットワークを適用してもよい。
【００３１】
記憶部１７は、画像データを記憶する画像データ記憶部１７１と、音声データを記憶する音声データ記憶部１７２と、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部１７３とを有する。記憶部１７は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて構成される。なお、記憶部１７が、外部から装着されるメモリカード等の記録媒体に対して情報を記録する一方、記録媒体が記録する情報を読み出す記録媒体インタフェースとしての機能を有していてもよい。
【００３２】
画像データ記憶部１７１は、ＭＰＥＧ（Moving Picture Experts Group）等の規格に基づいて符号化された動画像データを音声データとともにコンテナに格納した動画ファイルを記憶するとともに、ＪＰＥＧ（Joint Photographic Experts Group）等の形式に基づいて符号化された静止画像データを記憶する。
【００３３】
制御部１８は、ＣＰＵ（Central Processing Unit）等を用いて構成され、制御対象である撮像装置１の各構成部位とバスラインを介して接続されている。制御部１８は、撮像部１１が生成した画像データに対して所定の画像処理を施す画像処理部１８１と、音声入力部１３から出力される電気信号に対して所定の信号処理を施す音声処理部１８２と、再生装置３へ送信する送信ファイルを作成する送信ファイル作成部１８３と、計時機能を備えたタイマー１８４とを有する。
【００３４】
音声処理部１８２は、音声信号に標本化および量子化を施してＡ／Ｄ変換を行うことによって音声データを生成し、生成した音声データにＦＦＴ（Fast Fourier Transformation）およびフィルタリングを行うことによって音を所定の周波数で分離し、分離した音声データの音圧レベルを判定し、所定の基準を満たしている分離後の音声データに逆ＦＦＴを施すことによって複数の部分音声データを生成する。
【００３５】
図２は、音声処理部１８２が行う処理の概要を説明する図である。図２において、横軸ｆが周波数を表し、縦軸Ｌが音圧レベル（ＳＰＬ）を表している。図２に示す曲線２００は、音声データの周波数スペクトル（以下、「周波数スペクトル２００」という）である。本実施の形態において、音声処理部１８２は、基準周波数ｆ0を境界として周波数スペクトル２００を２つに分離する。その後、音声処理部１８２は、２つに分離された部分周波数スペクトルにおける最大音圧レベルＬmaxと基準音圧レベルＬ0との大小を比較することによって音圧レベルのレベル判定を行う。ここで、音圧レベルＬは、基準音圧Ｐ0＝２×１０-5（Ｐａ）に対する音圧Ｐの比の値の常用対数に比例する量であり、Ｌ＝２０×ｌｏｇ10（Ｐ／Ｐ0）（ｄＢ）で定義される。
【００３６】
図２に示す場合、周波数スペクトル２００は、音声処理部１８２によって２つの部分周波数スペクトル２０１、２０２に分離される。また、音声処理部１８２による音圧レベルのレベル判定の結果、部分周波数スペクトル２０１，２０２における最大音圧レベルＬ1、Ｌ2と基準音圧レベルＬ0との大小関係は、Ｌ1＞Ｌ0、Ｌ2＜Ｌ0である。
【００３７】
例えば、図２において、基準周波数ｆ0＝６００（Ｈｚ）、基準音圧レベルＬ0＝５０（ｄＢ）とすると、部分周波数スペクトル２０１には人の声が含まれている可能性が高い。これは、人が普通に会話する声の周波数が１５０〜６００Ｈｚであり、音圧レベルが６０〜９０ｄＢであるためである。これに対して、部分周波数スペクトル２０２には、周波数が比較的高く、かつ音圧レベルが低い音が含まれている。したがって、部分周波数スペクトル２０２によって与えられる音としては、川のせせらぎ、鳥のさえずり、木の葉が触れ合う音のように、ヒーリング効果が高いとされる音が含まれている可能性が高い。このように、基準周波数ｆ0と基準音圧レベルＬ0とを適切に定めることにより、人の声を含む部分音声と、自然の背景音を含む部分音声とを明確に分離することができる。
【００３８】
図３は、音声データの最大音圧レベルＬmaxの時間変化の例を示す図である。図３において、横軸ｔが時間であり、縦軸Ｌmaxが最大音圧レベルを示している。図３に示す曲線３００は、１つの動画データに対応した音声データの最大音圧レベルの時間変化を示しており、時間Ｔが動画撮影時間を示している。また、図３において、時間Ｔ0は、動画と静止画とが混在するスライドショー表示を行う際、動画の再生時間を静止画の再生時間と略等しくするように設定した場合の再生時間を示している。この再生時間Ｔ0を設定することにより、動画と静止画が混在したスライドショーを行う際にテンポのよい再生を行うことができるようになる。
【００３９】
その一方で、図３に示す動画の場合、撮影開始直後から最大音圧レベルＬmaxが基準音圧レベルＬ0を超えており、時間Ｔ0でも依然として基準音圧レベルＬ0を超えたままである。このため、基準音圧レベルＬ0＝５０（Ｈｚ）である場合、この時点で画像が切換ると、人の声が入った状態で切換ることとなり、何か話している途中で画像が途切れてしまう可能性がある。本実施の形態においては、このような事態を回避して違和感の少ないスライドショーを実現するため、画像と同期して出力する音声に人の声が入っている場合には、人の声を出力しないで他の部分音声を出力する。
【００４０】
図４は、音声処理部１８２が行う音声の分離処理の概要を示す図である。第１部分音声は、周波数ｆが基準周波数ｆ0より小さく（ｆ＜ｆ0）、かつ最大音圧レベルＬmaxが基準音圧レベルＬ0以上（Ｌmax≧Ｌ0）である音声データに対応している。したがって、図２に示す部分周波数スペクトル２０１は、第１部分音声に相当している。
【００４１】
これに対し、第２部分音声は、周波数ｆが基準周波数ｆ0以上（ｆ≧ｆ0）であり、かつ最大音圧レベルＬmaxが基準音圧レベルＬ0より小さい（Ｌmax＜Ｌ0）音声データに対応している。したがって、図２に示す部分周波数スペクトル２０２は、第２部分音声に相当している。
【００４２】
なお、周波数ｆおよび最大音圧レベルＬmaxが上述した条件を満たさない場合、音声処理部１８２は、分離した音声データを部分音声データとして記録しない。
【００４３】
ところで、音声処理部１８２が被写体である人物の声などを明確に認識できるようにするために、画像データに含まれる顔画像を検知することができる顔検知部を撮像装置１に具備させ、顔検知部が顔画像を検知する際に判定した特徴によって、音声データを被写体の声などに適した帯域に制限するようにしてもよい。この場合、音声処理部１８２は、例えば帯域を制限するフィルタ回路である帯域制限フィルタ回路（ＢＰＦ：Band-Pass Filter）を備えることによって音声データの帯域制限を行うようにすることができる。
【００４４】
なお、音声処理部１８２は、音声データを記録し、この記録された音声データから必要な帯域に関わる部分のデータだけを抽出することにより、出力する音声を生成するようにしてもよい。
【００４５】
また、音声処理部１８２は、音声データからある帯域の音声データを増幅し、それ以外の帯域の音声データを減衰することによって音声データの帯域制限を行うようにしてもよい。
【００４６】
また、音声処理部１８２は、フィルタ特性を切り替え可能な構成を有してもよい。例えば、音声処理部１８２が、大人の声の帯域に最適化したフィルタ特性と、子供の声の帯域に最適化したフィルタ特性とを切り替え可能な構成を有してもよい。ここで、大人の声の周波数帯は１００〜８０００Ｈｚである一方、子供の声の周波数帯は１５０〜１００００Ｈｚである。このため、大人の声を鮮明に記録する際には、入力された音声データから、１００〜８０００Ｈｚの音声データだけを抽出して出力する一方、子供の声を鮮明に記録する際には、入力された音声データから、１５０〜１００００Ｈｚの音声データだけを抽出して出力するようにする。なお、性別に応じたフィルタ特性に切り替えることによって性別に応じた音声データを抽出するようにしてもよい。
【００４７】
また、音声処理部１８２は、人の声とは異なる周波数帯の音声データを抽出して出力するようにしてもよい。具体的には、音声処理部１８２が、動物の声、車、飛行機のエンジン音などを抽出して出力するようにしてもよい。
【００４８】
送信ファイル作成部１８３は、再生装置３へ送信する送信ファイルを作成する。図５は、送信ファイルのデータ構造を模式的に示す図である。同図に示す送信ファイル４００は、テキスト情報４０１と、画像データ４０２と、音声データ４０３とを有する。テキスト情報４０１には、再生装置３が解釈すべき情報として、送信ファイルの種類に関する情報、画像の表示態様を定めるモード情報、および画像とともに表示する文字情報などが含まれている。送信ファイルの種類に関する情報としては、スライドショー用のデータであることを示す情報や、スライドショー用の一連のデータのうちの最後のデータであることを示す情報などが含まれる。また、音声データ４０３は、音声データ、第１および第２部分音声データのいずれかである。
【００４９】
図６は、以上の構成を有する撮像装置１が行う特徴的な処理の概要を示す模式図である。具体的には、図６は、撮像装置１による撮影時の状況と再生時の音声出力の違いを模式的に示す図である。なお、図６に記載されている文字は、画像に対応する音の特徴を表すためのものであり、実際の画面上に文字が表示されているわけではない。図６（ａ）に示すように、撮影前後に被写体７００が「きついよ」という言葉を発している場合、音声データ記憶部１７２は、この被写体７００の言葉を第１部分音声データとして記憶する一方、背景音として「ザーザー」という音（川の流れの音）を第２部分音声データとして記憶する。撮像装置１は、上記の如く撮影して音声データを記憶した場合、画像を再生するときに、図６（ｂ）に示すように、第２部分音声のみを再生し、被写体７００が発した言葉を再生しない機能を有している。
【００５０】
次に、再生装置３の構成を説明する。再生装置３は、通信部３１と、操作入力部３２と、表示部３３と、音声出力部３４と、記憶部３５と、制御部３６とを備える。通信部は、撮像装置１との間で画像データを含む情報の送受信を行う通信インタフェースである。操作入力部３２は、再生装置３の操作指示を含む各種情報の入力を受け付ける。表示部３３は、液晶または有機ＥＬ等を用いて構成され、各種情報を表示可能である。音声出力部３４は、スピーカ等を用いて構成され、音声を出力可能である。記憶部３５は、半導体メモリ等を用いて構成され、再生装置３の動作プログラムを含む各種情報を記憶する。制御部３６は、ＣＰＵ等を用いて構成され、再生装置３の動作を統括的に制御する。
【００５１】
制御部３６は、撮像装置１から送られてくる送信ファイルに書き込まれている情報を解釈する解釈部３６１と、解釈部が解釈した結果に基づいて表示部３３に画像を表示させるとともに、音声出力部３４に音声を出力させる再生制御部３６２と、計時機能を有するタイマー３６３とを有する。
【００５２】
以上の構成を有する再生装置３は、例えばテレビ、プロジェクター、パソコン、デジタルフォトフレーム等のいずれかによって実現される。このような電子機器によって再生装置３を実現する場合には、撮像装置１から送られてきた画像データに基づく画像の表示と、それ以外の機能に基づく画像の表示とを切り換える表示切換手段を再生装置３に具備させておけばよい。
【００５３】
図７は、撮像装置１が行う処理の概要を示すフローチャートである。まず、撮像装置１の電源がオンになっていれば（ステップＳ１０１：Ｙｅｓ）、撮像装置１はステップＳ１０２へ移行する。一方、撮像装置１の電源がオンになっていなければ（ステップＳ１０１：Ｎｏ）、撮像装置１は一連の処理を終了する。
【００５４】
ステップＳ１０２において、撮像装置１が撮影モードに設定されている場合（ステップＳ１０２：Ｙｅｓ）、制御部１８は、撮像部１１および音声入力部１３に対して画像および音声の取得をそれぞれ開始させる制御を行う（ステップＳ１０３）。
【００５５】
この後、制御部１８は、撮像部１１が生成し、画像処理部１８１によって画像処理が施された画像データに対応する画像をスルー画として表示部１４に表示させる（ステップＳ１０４）。
【００５６】
続いて、静止画レリーズボタンが操作されて静止画レリーズ信号が入力された場合（ステップＳ１０５：Ｙｅｓ）、撮像装置１は静止画撮影を行う（ステップＳ１０６）。この後、制御部１８は、撮影した画像を圧縮して静止画データとして画像データ記憶部１７１へ記録する（ステップＳ１０７）。また、制御部１８は、音声データに分類等の処理を施して音声データ記憶部１７２へ記録する（ステップＳ１０８）。ステップＳ１０８の後、撮像装置１はステップＳ１０１へ戻る。
【００５７】
図８は、ステップＳ１０８の音声データ記録処理の概要を示すフローチャートである。撮像装置１は、画像撮影を行う場合にその前後の所定時間帯に取得した音声データに対して、以下に説明するステップＳ２０１〜Ｓ２０４の処理を繰り返し行う。
【００５８】
まず、制御部１８は、音声データを音声データ記憶部１７２へ記録する（ステップＳ２０１）。その後、音声処理部１８２は、音声データを基準周波数ｆ0との大小に基いて２つの部分音声データに分離する（ステップＳ２０２）。続いて、音声処理部１８２は、分離された２つの部分音声データの最大音圧レベルＬmaxを基準音圧レベルＬ0と比較することによって、各音声データの音圧レベルのレベル判定を行う（ステップＳ２０３）。
【００５９】
この後、音声処理部１８２は、レベル判定結果に応じて部分音声データを音声データ記憶部１７２へ記録する（ステップＳ２０４）。例えば、図２に示す周波数スペクトル２００を有する音声データの場合には、部分周波数スペクトル２０１に対応する第１部分音声データおよび部分周波数スペクトル２０２に対応する第２部分音声データが音声データ記憶部１７２に記録される。ここで、音声データのレベル判定結果が図４に示す条件を満たさない場合、音声処理部１８２はその音声データを音声データ記憶部１７２に記録しないで削除する。
【００６０】
撮像装置１は、全てのループが終了した場合、図７に示すメインルーチンへ戻る。
【００６１】
次に、図７のステップＳ１０５で静止画レリーズ信号が入力されなかった場合（ステップＳ１０５：Ｎｏ）を説明する。この場合において、動画レリーズボタンが押されて動画レリーズ信号が入力されたとき（ステップＳ１０９：Ｙｅｓ）、撮像装置１は動画撮影を行う（ステップＳ１１０）。一方、ステップＳ１０９において、動画レリーズ信号が入力されないとき（ステップＳ１０９：Ｎｏ）、撮像装置１はステップＳ１０１へ戻る。
【００６２】
図９は、ステップＳ１１０の動画撮影処理の概要を示すフローチャートである。まず、制御部１８は、動画データおよび音声データの記録を開始する（ステップＳ３０１）。
【００６３】
この後、制御部１８は、動画データを画像データ記憶部１７１へ記録する（ステップＳ３０２）。その後、静止画レリーズ信号が入力された場合（ステップＳ３０３：Ｙｅｓ）、制御部１８は静止画データを記録する（ステップＳ３０４）。一方、静止画レリーズ信号が入力されない場合（ステップＳ３０３：Ｎｏ）、撮像装置１は後述するステップＳ３０９へ移行する。
【００６４】
撮像装置１は、ステップＳ３０２〜Ｓ３０４の処理と並行して、音声記録処理も行う。音声記録処理に対応するステップＳ３０５〜Ｓ３０８の処理は、上述したステップＳ２０１〜Ｓ２０４の処理に順次対応している。
【００６５】
ステップＳ３０４およびＳ３０８の後、操作入力部１２によって動画撮影の終了指示が入力された場合（ステップＳ３０９：Ｙｅｓ）、制御部１８は、動画データおよび音声データの記録を終了する（ステップＳ３１０）。この後、撮像装置１は、図７に示すメインルーチンへ戻る。
【００６６】
ステップＳ３０９において、操作入力部１２によって動画撮影の終了指示が入力されない場合（ステップＳ３０９：Ｎｏ）、撮像装置１はステップＳ３０１へ戻る。
【００６７】
次に、図７のステップＳ１０２において、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０２：Ｎｏ）を説明する。この場合、撮像装置１は再生処理を行い（ステップＳ１１１）、ステップＳ１０１へ戻る。
【００６８】
図１０は、撮像装置１が行う再生処理の概要を示すフローチャートである。図１０において、制御部１８は、表示部１４に再生対象画像を所定数だけ一覧表示させる（ステップＳ４０１）。続いて、撮像装置１がスライドショーモードに設定されている場合（ステップＳ４０２：Ｙｅｓ）、制御部１８はスライドショー表示を表示部６に行わせる（ステップＳ４０３）。その後、操作入力部１２によって再生処理の終了指示が入力された場合（ステップＳ４０４：Ｙｅｓ）、撮像装置１は、図７に示すメインルーチンへ戻る。一方、操作入力部１２によって再生処理の終了指示が入力されない場合（ステップＳ４０４：Ｎｏ）、撮像装置１はステップＳ４０１へ戻る。
【００６９】
図１１は、ステップＳ４０３におけるスライドショー表示の概要を示すフローチャートである。図１１において、撮像装置１は、全ての対象画像に対し、以下に説明するステップＳ５０１〜Ｓ５１３の処理を繰り返し行う。以下に説明するスライドショー表示においては、動画と静止画の再生時間を揃えて再生するものとする。ただし、動画が静止画の再生時間より早く終了する場合は、その時点で画像を切り換えるものとする。このようなスライドショー表示を行うことにより、動画と静止画が混じっていてもテンポ感のある画像の再生を行うことができる。
【００７０】
まず、撮像装置１が再生装置３と通信を確立していない場合（ステップＳ５０１：Ｎｏ）を説明する。この場合において、再生する画像データに対応する第２部分音声データがあるとき（ステップＳ５０２：Ｙｅｓ）、制御部１８は、画像を表示部１４に所定時間再生表示させるとともに、第２部分音声を音声出力部１５に画像の表示時間と同じ時間だけ再生させ（ステップＳ５０３）、１つのループを終了する。これに対し、再生する画像データに対応する第２部分音声データがなければ（ステップＳ５０２：Ｎｏ）、制御部１８は画像を表示部１４に所定時間再生表示させるとともに、その画像に対応する音声を所定時間再生し（ステップＳ５０４）、１つのループを終了する。なお、第２部分音声データがない場合には、画像のみを再生して音声を再生しないようにしてもよい。
【００７１】
次に、撮像装置１が再生装置３と通信を確立している場合（ステップＳ５０１：Ｙｅｓ）を説明する。この場合、再生する画像データに対応する第２部分音声データがあれば（ステップＳ５０５：Ｙｅｓ）、送信ファイル作成部１８３は、互いに対応する画像データおよび第２部分音声データを含む送信ファイルを作成する（ステップＳ５０６）。ここで生成される送信ファイルは、図５に示す送信ファイル４００の音声データ４０３として、第２部分音声データを適用した構成を有する。
【００７２】
この後、通信部１６は、制御部１８の制御のもと、再生装置３へ送信ファイルをストリーミング送信する（ステップＳ５０７）。
【００７３】
通信部１６による送信ファイルの送信が完了した場合（ステップＳ５０８：Ｙｅｓ）、撮像装置１は後述するステップＳ５１１へ移行する。一方、通信部１６による送信ファイルの送信が完了していない場合（ステップＳ５０８：Ｎｏ）、通信部１６が再生装置３から画像の切換要求を受信したとき（ステップＳ５０９：Ｙｅｓ）、撮像装置１は、送信中の画像データおよび第２部分音声データの送信を中止し（ステップＳ５１０）、後述するステップＳ５１１へ移行する。ステップＳ５０９において、再生装置３から画像の切換要求を受信しないとき（ステップＳ５０９：Ｎｏ）、撮像装置１はステップＳ５０７へ戻る。
【００７４】
ステップＳ５１１では、直前に送信した送信ファイルが一連のスライドショーの最後に送信するデータである場合（ステップＳ５１１：Ｙｅｓ）、通信部１６が再生装置３へスライドショーの終了を意味する終了信号を送信する（ステップＳ５１２）。この後、撮像装置１は、１つのループ処理を終了する。一方、ステップＳ５１１において、直前に送信したデータがスライドショーの最後のデータでない場合（ステップＳ５１１：Ｎｏ）、撮像装置１は１つのループ処理を終了する。
【００７５】
ステップＳ５０５において、再生する画像データに対応する第２部分音声データがない場合（ステップＳ５０５：Ｎｏ）、送信ファイル作成部１８３は、互いに対応する画像データおよび音声データを含む送信ファイルを作成する（ステップＳ５１３）。この後、撮像装置１は、ステップＳ５０７へ移行する。
【００７６】
全ての対象画像に対するループ処理が終了した場合、撮像装置１は図１０に示す再生処理へ戻る。
【００７７】
図１２は、上述したスライドショー表示において、動作再生時に第２部分音声を用いて再生している状況を模式的に示す図である。より具体的には、図１２は、表示部１４が静止画５０１を時間Ｔ0だけ表示した後、動画フレーム５０２〜５０５で代表的に記載されている動画を第２部分音声とともに時間Ｔ0だけ表示し、その後、静止画５０６を時間Ｔ0だけ表示する状況を示している。この場合、動画再生中は、被写体６００の声は出力されない（吹き出しの中に×印を付して模式的に記載）ため、被写体６００が何か話をしていても、動画から静止画へ移行する際にその話が途切れてしまうことがない。したがって、スライドショーの鑑賞者は、違和感なく画像を鑑賞することができる。
【００７８】
図１２に示す場合、静止画５０１、５０６についても、対応する第２部分音声データが存在すれば第２部分音声を出力することになる。なお、動画と静止画が混在するスライドショー表示において静止画を表示する際には、音声を出力しないようにしてもよい。
【００７９】
次に、図１０のステップＳ４０２において、撮像装置１がスライドショーモードに設定されていない場合（ステップＳ４０２：Ｎｏ）を説明する。この場合において、操作入力部１２によって動画の再生が選択されたとき（ステップＳ４０５：Ｙｅｓ）、制御部１８は、再生装置３との通信確立の有無を判定する（ステップＳ４０６）。制御部１８が、再生装置３との通信が確立されていると判定した場合（ステップＳ４０６：Ｙｅｓ）、通信部１６は、制御部１８の制御のもと、選択された動画の動画ファイルを再生装置３へストリーミング送信する（ステップＳ４０７）。一方、ステップＳ４０６において、制御部１８が再生装置３との通信が確立されていないと判定した場合（ステップＳ４０６：Ｎｏ）、制御部１８は、選択された動画を表示部１４に再生表示させる（ステップＳ４０８）。ステップＳ４０７またはＳ４０８の後、撮像装置１はステップＳ４０４へ移行する。
【００８０】
ステップＳ４０５において、動画の再生が選択されていない場合（ステップＳ４０５：Ｎｏ）を説明する。この場合において、静止画の再生が選択されたとき（ステップＳ４０９：Ｙｅｓ）、撮像装置１は、再生装置３との通信確立の有無を判定する（ステップＳ４１０）。制御部１８が、再生装置３との通信が確立されていると判定した場合（ステップＳ４１０：Ｙｅｓ）において、再生対象の画像データに対応する第２部分音声データがあるとき（ステップＳ４１１：Ｙｅｓ）、送信ファイル作成部１８３は、対応する画像データおよび第２部分音声データを含む送信ファイルを作成する（ステップＳ４１２）。
【００８１】
ステップＳ４１２の後、通信部１６は、制御部１８の制御のもと、再生装置３へ送信ファイルをストリーミング送信する（ステップＳ４１３）。
【００８２】
その後、通信部１６による送信ファイルの送信が完了した場合（ステップＳ４１４：Ｙｅｓ）、撮像装置１はステップＳ４０４へ移行する。一方、通信部１６による送信ファイルの送信が完了していない場合（ステップＳ４１４：Ｎｏ）、通信部１６が再生装置３から終了指示を受信したとき（ステップＳ４１５：Ｙｅｓ）、撮像装置１は、その静止画データおよび第２部分音声データの送信を中止し（ステップＳ４１６）、ステップＳ４０４へ移行する。通信部１６による送信ファイルの送信が完了していない場合（ステップＳ４１４：Ｎｏ）において、通信部１６が再生装置３から終了指示を受信しないとき（ステップＳ４１５：Ｎｏ）、撮像装置１はステップＳ４１３へ戻る。
【００８３】
ステップＳ４１１において、再生対象の静止画データに対応する第２部分音声データがない場合（ステップＳ４１１：Ｎｏ）、送信ファイル作成部１８３は、対応する静止画データおよび音声データを含む送信ファイルを作成する（ステップＳ４１７）。この後、撮像装置１は、ステップＳ４１３へ移行する。なお、再生対象の静止画データに対応する第２部分音声データがない場合、送信ファイル作成部１８３は、音声データを含まずに静止画データを用いて送信ファイルを作成するようにしてもよい。
【００８４】
次に、ステップＳ４１０において、制御部１８が再生装置３との通信が確立していないと判定した場合（ステップＳ４１０：Ｎｏ）を説明する。この場合、再生対象の静止画データに対応する第１部分音声データがあるとき（ステップＳ４１８：Ｙｅｓ）、制御部１８は、静止画および第１部分音声を再生する（ステップＳ４１９）。すなわち、制御部１８は、静止画を表示部１４に表示させるとともに、その静止画に対応する第１部分音声を音声出力部１５に出力させる。その後、撮像装置１は、ステップＳ４０４へ移行する。
【００８５】
一方、ステップＳ４１８において、再生対象の静止画データに対応する第１部分音声データがないとき（ステップＳ４１８：Ｎｏ）、制御部１８は、静止画および音声を再生する（ステップＳ４２０）。すなわち、制御部１８は、静止画を表示部１４に表示させるとともに、その静止画に対応する音声を音声出力部１５に出力させる。その後、撮像装置１は、ステップＳ４０４へ移行する。なお、ステップＳ４２０において、表示部１４が静止画を表示するのみとし、対応する音声を音声出力部１５が出力しないようにしてもよい。
【００８６】
ステップＳ４０５で動画の再生が選択されず（ステップＳ４０５：Ｎｏ）、かつステップＳ４０９で静止画の再生が選択されない場合（ステップＳ４０９：Ｎｏ）、撮像装置１はステップＳ４０４へ移行する。
【００８７】
次に、再生装置が行う処理の概要を説明する。図１３は、再生装置３が行う処理の概要を示すフローチャートである。まず、再生装置３の電源がオンになっている場合（ステップＳ６０１：Ｙｅｓ）、再生装置３はステップＳ６０２へ移行する。一方、再生装置３の電源がオンになっていない場合（ステップＳ６０１：Ｎｏ）、撮像装置１は一連の処理を終了する。
【００８８】
続いて、通信部３１が撮像装置１から送信ファイルを受信した場合（ステップＳ６０２：Ｙｅｓ）、解釈部３６１は、送信ファイルのテキスト情報を参照して、表示対象のデータがスライドショーの一部をなす送信ファイルであるか否かを判定する（ステップＳ６０３）。解釈部３６１がスライドショーのデータであると判定した場合（ステップＳ６０３：Ｙｅｓ）、再生制御部３６２は、表示部３３に対して受信した画像データに対応する画像を表示させるとともに、音声出力部３４に対して受信した音声データに対応する音声を出力させることによってストリーミング再生を開始する（ステップＳ６０４）。なお、ステップＳ６０２で通信部３１が撮像装置１から送信ファイルを受信しない場合（ステップＳ６０２：Ｎｏ）、撮像装置１はステップＳ６０１へ戻る。
【００８９】
再生装置３がストリーミング再生を開始してから所定時間が経過した場合（ステップＳ６０５：Ｙｅｓ）、通信部３１は、制御部３６の制御のもと、撮像装置１に対して切換要求を送信する（ステップＳ６０６）。この後、通信部３１が撮像装置１から新たな送信ファイルを受信した場合（ステップＳ６０７：Ｙｅｓ）、再生装置３はステップＳ６０４へ戻る。再生装置３がストリーミング再生を開始してから所定時間が経過していない場合（ステップＳ６０５：Ｎｏ）、再生装置３はステップＳ６０５を繰り返す。
【００９０】
ステップＳ６０７で新たな送信ファイルを所定時間内に受信しなかった場合（ステップＳ６０７：Ｎｏ）において、スライドショー終了信号をその所定時間内に受信したとき（ステップＳ６０８：Ｙｅｓ）、再生装置３はステップＳ６０１へ戻る。これに対して、スライドショー終了信号をその所定時間内に受信しないとき（ステップＳ６０８：Ｎｏ）、制御部３６は表示部３３にエラー表示を表示させ（ステップＳ６０９）、ステップＳ６０１へ戻る。なお、再生装置３は、エラー表示の後、スライドショーを続行するか否かの選択入力をユーザに促す表示を行うようにしてもよい。この場合、再生装置３は、操作入力部１２の入力内容に応じた処理を行うようにする。
【００９１】
ステップＳ６０３において、送られてきた画像データがスライドショーのデータでない場合（ステップＳ６０３：Ｎｏ）、再生装置３は通常の再生処理を行い（ステップＳ６１０）、ステップＳ６０１へ戻る。
【００９２】
以上説明した本発明の一実施の形態によれば、音声データを複数の部分音声データに分離し、表示する画像データの表示態様に適合する音声データまたは部分音声データを選択して該画像と対応付けているため、画像を再生する際に、その画像の撮影時の雰囲気を再現するとともに、鑑賞者に対して快適な状態で再生画像を鑑賞させることができる。
【００９３】
また、本実施の形態によれば、部分音声データを生成する際に、音声データの周波数スペクトルを、周波数を含む音の特性に基づいて分離するため、例えば人の声や背景音を分離することが可能となる。したがって、再生時の状況に適した音声を出力することが可能となる。
【００９４】
また、本実施の形態によれば、人の声を含む部分音声データ（第１部分音声データ）を生成しているため、それよりも高周波数の部分音声データ（第２部分音声データ）に含まれる音は、ヒーリング効果の高い音となる。したがって、このような部分音声データを用いて画像を再生することにより、人の声やその他の雑音を排除した、ヒーリング効果の高い背景音で再生を行うことが可能となる。
【００９５】
また、本実施の形態によれば、複数の画像を所定時間ずつ連続的に表示するスライドショーモードで画像を再生表示する場合、該画像と同期して出力する音声として、人の声を含まない部分音声データを最優先で選択するため、動画が途中で切換るような場合であっても、人の声が途切れて出力させるのを極力回避することができる。
【００９６】
ここまで、本発明を実施するための一形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
【００９７】
例えば、本発明において、送信ファイル作成部が、画像データとその画像データに対応する音声データおよび部分音声データとを含む送信ファイルを作成するようにしてもよい。この場合には、再生装置に、画像に適合した音声または部分音声を判定して出力する機能を具備させればよい。
【００９８】
また、本発明において、送信ファイル作成部が作成した送信ファイルを記録媒体に記録し、この記録媒体を再生装置に差し込んで再生装置側で読み取ることができる構成としてもよい。この場合には、再生装置に記録媒体が記録する情報を読み取る記録媒体インタフェースを設けるとともに、その読み取ったデータに基づいて、再生する画像に適合した音声または部分音声を判定して出力する機能を具備させればよく、撮像装置と再生装置とが通信接続されている必要はない。
【００９９】
また、本発明において、音声データを分離する際に、音の強度の時間変化のパターンに応じて音声データを分離するようにしてもよいし、人の声の声紋の特徴を用いて音声データから人の声を含む部分音声データを分離するようにしてもよい。
【符号の説明】
【０１００】
１ 撮像装置
３ 再生装置
１１ 撮像部
１２、３２ 操作入力部
１３ 音声入力部
１４、３３ 表示部
１５、３４ 音声出力部
１６、３１ 通信部
１７、３５ 記憶部
１８、３６ 制御部
１００ 通信システム
１７１ 画像データ記憶部
１７２ 音声データ記憶部
１７３ プログラム記憶部
１８１ 画像処理部
１８２ 音声処理部
１８３ 送信ファイル作成部
１８４、３６３ タイマー
２００ 周波数スペクトル
２０１、２０２ 部分周波数スペクトル
３６１ 解釈部
３６２ 再生制御部
【技術分野】
【０００１】
本発明は、画像を取得して電子的な画像データを生成する撮像装置、画像を再生する再生装置、画像データを含むデータ構造、撮像装置の制御方法および撮像装置用プログラムに関する。
【背景技術】
【０００２】
従来、動画を撮影する機能を有するデジタルカメラにおいて、動画撮影の途中で撮影した静止画に、その前後の音声データを付加して再生する技術が開示されている（例えば、特許文献１を参照）。
【０００３】
また、動画を撮影して再生する機能を有する撮像再生装置において、通常の動画撮影モード以外のモードとして、所定時間経過後に自動的に撮影が終了するスナップムービー撮影モードを設定可能な撮像再生装置が知られている。この撮像再生装置では、スナップムービー撮影モード撮影時の音声とは別に用意された音声を出力しながらテンポよく映像を切り換えて再生することができる（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２２４６号公報
【特許文献２】特開２０１０−１４１４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１では、再生時の音声に被写体の声が入っている場合、その声が途中で途切れてしまう可能性があった。被写体の声が途中で途切れてしまう場合、再生画像の鑑賞者は途切れた音声の内容が気になり、違和感を感じたまま鑑賞を続けなければならなかった。
【０００６】
また、上述した特許文献２では、再生時と映像との間の関連性がないため、場合によっては音と映像とのミスマッチが生じてしまい、鑑賞者が違和感を感じてしまう可能性があった。
【０００７】
本発明は、上記に鑑みてなされたものであって、画像を音声とともに再生する際に、撮影時の雰囲気を再現し、かつ鑑賞者に違和感を感じさせない再生を行うことができる撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、画像を撮像して該画像の電子的なデータを生成する撮像部と、音声を入力して電気信号に変換する音声入力部と、前記音声入力部が変換した電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理部と、前記撮像部が生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける制御部と、を備えたことを特徴とする。
【０００９】
また、本発明に係る撮像装置は、上記発明において、前記音の特性は、音の強度を含むことを特徴とする。
【００１０】
また、本発明に係る撮像装置は、上記発明において、前記音の特性は、周波数を含み、前記音声処理部は、前記音声データの周波数スペクトルを算出し、前記音の特性に基づいて前記周波数スペクトルを分離することによって得られる部分周波数スペクトルから前記複数の部分音声データを生成することを特徴とする。
【００１１】
また、本発明に係る撮像装置は、上記発明において、前記音声処理部は、人の声を含む部分音声データを生成可能であることを特徴とする。
【００１２】
また、本発明に係る撮像装置は、上記発明において、前記制御部は、複数の画像を所定時間ずつ連続的に表示するスライドショーモードで画像を再生表示する場合、該画像と同期して出力する音声として、人の声を含まない部分音声データを最優先で選択することを特徴とする。
【００１３】
また、本発明に係る撮像装置は、上記発明において、前記画像データに対応する画像を表示可能な表示部と、前記音声データに対応する音声または前記部分音声データに対応する部分音声を出力可能な音声出力部と、をさらに備え、前記制御部は、前記表示部における画像の表示態様に応じた音声または部分音声を選択し、該画像の表示と同期して前記音声出力部に出力させることを特徴とする。
【００１４】
また、本発明に係る撮像装置は、上記発明において、画像の表示および音声の出力が可能な再生装置とネットワークを介して情報の送受信を行う通信部と、前記再生装置に出力させる情報として、画像データ、および該画像データに対応する画像の表示態様に応じて定められ、該画像と同期して出力する音声データを含み、前記通信部を介して前記再生装置へ送信する送信ファイルを作成する送信ファイル作成部と、をさらに備えたことを特徴とする。
【００１５】
また、本発明に係る再生装置は、画像を表示可能な表示部と、前記表示部が表示する画像に適合する音声を出力可能な音声出力部と、画像データ、および該画像データに対応する画像の表示態様に応じて定められ、該画像と同期して出力する音声を含む音声データ、を有するデータ構造の記載内容を解釈する解釈部と、前記解釈部が解釈した結果に基づいて前記表示部に画像を表示させるとともに前記音声出力部に音声を出力させる再生制御部と、を備えたことを特徴とする。
【００１６】
また、本発明に係る再生装置は、上記発明において、前記撮像装置と前記ネットワークを介して通信可能であり、前記データ構造としての前記送信ファイルを前記撮像装置から受信する通信部をさらに備えたことを特徴とする。
【００１７】
また、本発明に係るデータ構造は、画像データと、前記画像データに対応する画像の表示態様を定めるモード情報と、前記画像を前記表示態様にしたがって表示する際に前記画像と同期して出力する音声を含む音声データと、を備えたことを特徴とする。
【００１８】
また、本発明に係る撮像装置の制御方法は、画像を撮像して該画像の電子的なデータを生成する撮像ステップと、前記撮像ステップにおける画像の撮像時を含む期間の音声を入力して電気信号に変換する音声入力ステップと、前記音声入力ステップで変換された電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理ステップと、前記撮像ステップで生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける対応付けステップと、を有することを特徴とする。
【００１９】
また、本発明に係る撮像装置用プログラムは、画像を撮像して該画像の電子的なデータを生成するとともに、音声を入力して電気信号に変換する撮像装置に、前記電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理ステップと、前記画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける対応付けステップと、を実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、音声データを複数の部分音声データに分離し、表示する画像データの表示態様に適合する音声データまたは部分音声データを選択して該画像と対応付けているため、画像を再生する際に、その画像の撮影時の雰囲気を再現するとともに、鑑賞者に対して快適な状態で再生画像を鑑賞させることができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の一実施の形態に係る撮像装置および再生装置からなる通信システムの構成を示す図である。
【図２】図２は、本発明の一実施の形態に係る撮像装置の音声処理部が行う処理の概要を示す図である。
【図３】図３は、音声データの最大音圧レベルの時間変化の例を示す図である。
【図４】図４は、本発明の一実施の形態に係る撮像装置の音声処理部が行う音声の分離処理の概要を示す図である。
【図５】図５は、本発明の一実施の形態に係る撮像装置の送信ファイル作成部が生成する送信ファイルのデータ構造を模式的に示す図である。
【図６】図６は、本発明の一実施の形態に係る撮像装置が行う特徴的な処理の概要を示す模式図である。
【図７】図７は、本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。
【図８】図８は、本発明の一実施の形態に係る撮像装置が行う音声データ記録処理の概要を示すフローチャートである。
【図９】図９は、本発明の一実施の形態に係る撮像装置が行う動画撮影処理の概要を示すフローチャートである。
【図１０】図１０は、本発明の一実施の形態に係る撮像装置が行う再生処理の概要を示すフローチャートである。
【図１１】図１１は、本発明の一実施の形態に係る撮像装置が行うスライドショー表示処理の概要を示すフローチャートである。
【図１２】図１２は、スライドショー表示において、動作再生時に第２部分音声を用いて再生している状況を模式的に示す図である。
【図１３】図１３は、本発明の一実施の形態に係る再生装置が行う表示処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
【００２３】
図１は、本発明の一実施の形態に係る撮像装置および再生の構成ならびに撮像装置および再生装置からなる通信システムの構成を示す図である。同図に示す通信システム１００は、所定の視野領域の画像を撮像して画像データを生成する撮像装置１と、画像を表示する再生装置３とを備える。撮像装置１および再生装置３は、互いに他と画像データを含む情報の通信を行う機能を有する。
【００２４】
まず、撮像装置１の構成を説明する。撮像装置１は、撮像部１１と、操作入力部１２と、音声入力部１３と、表示部１４と、音声出力部１５と、通信部１６と、記憶部１７と、制御部１８とを備える。
【００２５】
撮像部１１は、所定の視野領域の画像を撮像してデジタルの画像データを生成する。撮像部１１は、一または複数のレンズによって構成され、所定の視野領域に存在する被写体からの光を集光する光学系と、光学系が集光した光の入射量を調整する絞りと、絞りを通過した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）等の撮像素子と、撮像素子から出力されるアナログ信号をデジタル信号からなる画像データに変換するＡ／Ｄ変換部とを有する。
【００２６】
操作入力部１２は、撮像装置１の操作指示を含む各種情報の入力を受け付ける。操作入力部１２は、撮像装置１の電源ボタン、静止画の撮影指示を与える静止画レリーズボタン動画の撮影指示を与える動画レリーズボタン、撮像装置１で設定可能な各種動作モードの切替を行うモード切替ボタン、画像データの再生や編集の指示を含む制御ボタンなどを有する。また、操作入力部１２は、表示部１４に積層されて設けられるタッチパネルを有する。
【００２７】
音声入力部１３は、マイクロフォンを用いて構成され、音声を入力して電気信号に変換する機能を有する。
【００２８】
表示部１４は、液晶または有機ＥＬ等を用いて構成され、画像データのほかに撮像装置１の操作情報や撮影に関する情報を適宜表示する機能を有する。
【００２９】
音声出力部１５は、スピーカを用いて構成され、音声を外部へ出力する機能を有する。
【００３０】
通信部１６は、ネットワークを介して再生装置３との間で情報の送受信を行う。このネットワークとして、無線ＬＡＮ（Local Area Network）または赤外通信などの無線通信用ネットワークを適用してもよいし、有線通信を含むネットワークを適用してもよい。
【００３１】
記憶部１７は、画像データを記憶する画像データ記憶部１７１と、音声データを記憶する音声データ記憶部１７２と、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部１７３とを有する。記憶部１７は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて構成される。なお、記憶部１７が、外部から装着されるメモリカード等の記録媒体に対して情報を記録する一方、記録媒体が記録する情報を読み出す記録媒体インタフェースとしての機能を有していてもよい。
【００３２】
画像データ記憶部１７１は、ＭＰＥＧ（Moving Picture Experts Group）等の規格に基づいて符号化された動画像データを音声データとともにコンテナに格納した動画ファイルを記憶するとともに、ＪＰＥＧ（Joint Photographic Experts Group）等の形式に基づいて符号化された静止画像データを記憶する。
【００３３】
制御部１８は、ＣＰＵ（Central Processing Unit）等を用いて構成され、制御対象である撮像装置１の各構成部位とバスラインを介して接続されている。制御部１８は、撮像部１１が生成した画像データに対して所定の画像処理を施す画像処理部１８１と、音声入力部１３から出力される電気信号に対して所定の信号処理を施す音声処理部１８２と、再生装置３へ送信する送信ファイルを作成する送信ファイル作成部１８３と、計時機能を備えたタイマー１８４とを有する。
【００３４】
音声処理部１８２は、音声信号に標本化および量子化を施してＡ／Ｄ変換を行うことによって音声データを生成し、生成した音声データにＦＦＴ（Fast Fourier Transformation）およびフィルタリングを行うことによって音を所定の周波数で分離し、分離した音声データの音圧レベルを判定し、所定の基準を満たしている分離後の音声データに逆ＦＦＴを施すことによって複数の部分音声データを生成する。
【００３５】
図２は、音声処理部１８２が行う処理の概要を説明する図である。図２において、横軸ｆが周波数を表し、縦軸Ｌが音圧レベル（ＳＰＬ）を表している。図２に示す曲線２００は、音声データの周波数スペクトル（以下、「周波数スペクトル２００」という）である。本実施の形態において、音声処理部１８２は、基準周波数ｆ0を境界として周波数スペクトル２００を２つに分離する。その後、音声処理部１８２は、２つに分離された部分周波数スペクトルにおける最大音圧レベルＬmaxと基準音圧レベルＬ0との大小を比較することによって音圧レベルのレベル判定を行う。ここで、音圧レベルＬは、基準音圧Ｐ0＝２×１０-5（Ｐａ）に対する音圧Ｐの比の値の常用対数に比例する量であり、Ｌ＝２０×ｌｏｇ10（Ｐ／Ｐ0）（ｄＢ）で定義される。
【００３６】
図２に示す場合、周波数スペクトル２００は、音声処理部１８２によって２つの部分周波数スペクトル２０１、２０２に分離される。また、音声処理部１８２による音圧レベルのレベル判定の結果、部分周波数スペクトル２０１，２０２における最大音圧レベルＬ1、Ｌ2と基準音圧レベルＬ0との大小関係は、Ｌ1＞Ｌ0、Ｌ2＜Ｌ0である。
【００３７】
例えば、図２において、基準周波数ｆ0＝６００（Ｈｚ）、基準音圧レベルＬ0＝５０（ｄＢ）とすると、部分周波数スペクトル２０１には人の声が含まれている可能性が高い。これは、人が普通に会話する声の周波数が１５０〜６００Ｈｚであり、音圧レベルが６０〜９０ｄＢであるためである。これに対して、部分周波数スペクトル２０２には、周波数が比較的高く、かつ音圧レベルが低い音が含まれている。したがって、部分周波数スペクトル２０２によって与えられる音としては、川のせせらぎ、鳥のさえずり、木の葉が触れ合う音のように、ヒーリング効果が高いとされる音が含まれている可能性が高い。このように、基準周波数ｆ0と基準音圧レベルＬ0とを適切に定めることにより、人の声を含む部分音声と、自然の背景音を含む部分音声とを明確に分離することができる。
【００３８】
図３は、音声データの最大音圧レベルＬmaxの時間変化の例を示す図である。図３において、横軸ｔが時間であり、縦軸Ｌmaxが最大音圧レベルを示している。図３に示す曲線３００は、１つの動画データに対応した音声データの最大音圧レベルの時間変化を示しており、時間Ｔが動画撮影時間を示している。また、図３において、時間Ｔ0は、動画と静止画とが混在するスライドショー表示を行う際、動画の再生時間を静止画の再生時間と略等しくするように設定した場合の再生時間を示している。この再生時間Ｔ0を設定することにより、動画と静止画が混在したスライドショーを行う際にテンポのよい再生を行うことができるようになる。
【００３９】
その一方で、図３に示す動画の場合、撮影開始直後から最大音圧レベルＬmaxが基準音圧レベルＬ0を超えており、時間Ｔ0でも依然として基準音圧レベルＬ0を超えたままである。このため、基準音圧レベルＬ0＝５０（Ｈｚ）である場合、この時点で画像が切換ると、人の声が入った状態で切換ることとなり、何か話している途中で画像が途切れてしまう可能性がある。本実施の形態においては、このような事態を回避して違和感の少ないスライドショーを実現するため、画像と同期して出力する音声に人の声が入っている場合には、人の声を出力しないで他の部分音声を出力する。
【００４０】
図４は、音声処理部１８２が行う音声の分離処理の概要を示す図である。第１部分音声は、周波数ｆが基準周波数ｆ0より小さく（ｆ＜ｆ0）、かつ最大音圧レベルＬmaxが基準音圧レベルＬ0以上（Ｌmax≧Ｌ0）である音声データに対応している。したがって、図２に示す部分周波数スペクトル２０１は、第１部分音声に相当している。
【００４１】
これに対し、第２部分音声は、周波数ｆが基準周波数ｆ0以上（ｆ≧ｆ0）であり、かつ最大音圧レベルＬmaxが基準音圧レベルＬ0より小さい（Ｌmax＜Ｌ0）音声データに対応している。したがって、図２に示す部分周波数スペクトル２０２は、第２部分音声に相当している。
【００４２】
なお、周波数ｆおよび最大音圧レベルＬmaxが上述した条件を満たさない場合、音声処理部１８２は、分離した音声データを部分音声データとして記録しない。
【００４３】
ところで、音声処理部１８２が被写体である人物の声などを明確に認識できるようにするために、画像データに含まれる顔画像を検知することができる顔検知部を撮像装置１に具備させ、顔検知部が顔画像を検知する際に判定した特徴によって、音声データを被写体の声などに適した帯域に制限するようにしてもよい。この場合、音声処理部１８２は、例えば帯域を制限するフィルタ回路である帯域制限フィルタ回路（ＢＰＦ：Band-Pass Filter）を備えることによって音声データの帯域制限を行うようにすることができる。
【００４４】
なお、音声処理部１８２は、音声データを記録し、この記録された音声データから必要な帯域に関わる部分のデータだけを抽出することにより、出力する音声を生成するようにしてもよい。
【００４５】
また、音声処理部１８２は、音声データからある帯域の音声データを増幅し、それ以外の帯域の音声データを減衰することによって音声データの帯域制限を行うようにしてもよい。
【００４６】
また、音声処理部１８２は、フィルタ特性を切り替え可能な構成を有してもよい。例えば、音声処理部１８２が、大人の声の帯域に最適化したフィルタ特性と、子供の声の帯域に最適化したフィルタ特性とを切り替え可能な構成を有してもよい。ここで、大人の声の周波数帯は１００〜８０００Ｈｚである一方、子供の声の周波数帯は１５０〜１００００Ｈｚである。このため、大人の声を鮮明に記録する際には、入力された音声データから、１００〜８０００Ｈｚの音声データだけを抽出して出力する一方、子供の声を鮮明に記録する際には、入力された音声データから、１５０〜１００００Ｈｚの音声データだけを抽出して出力するようにする。なお、性別に応じたフィルタ特性に切り替えることによって性別に応じた音声データを抽出するようにしてもよい。
【００４７】
また、音声処理部１８２は、人の声とは異なる周波数帯の音声データを抽出して出力するようにしてもよい。具体的には、音声処理部１８２が、動物の声、車、飛行機のエンジン音などを抽出して出力するようにしてもよい。
【００４８】
送信ファイル作成部１８３は、再生装置３へ送信する送信ファイルを作成する。図５は、送信ファイルのデータ構造を模式的に示す図である。同図に示す送信ファイル４００は、テキスト情報４０１と、画像データ４０２と、音声データ４０３とを有する。テキスト情報４０１には、再生装置３が解釈すべき情報として、送信ファイルの種類に関する情報、画像の表示態様を定めるモード情報、および画像とともに表示する文字情報などが含まれている。送信ファイルの種類に関する情報としては、スライドショー用のデータであることを示す情報や、スライドショー用の一連のデータのうちの最後のデータであることを示す情報などが含まれる。また、音声データ４０３は、音声データ、第１および第２部分音声データのいずれかである。
【００４９】
図６は、以上の構成を有する撮像装置１が行う特徴的な処理の概要を示す模式図である。具体的には、図６は、撮像装置１による撮影時の状況と再生時の音声出力の違いを模式的に示す図である。なお、図６に記載されている文字は、画像に対応する音の特徴を表すためのものであり、実際の画面上に文字が表示されているわけではない。図６（ａ）に示すように、撮影前後に被写体７００が「きついよ」という言葉を発している場合、音声データ記憶部１７２は、この被写体７００の言葉を第１部分音声データとして記憶する一方、背景音として「ザーザー」という音（川の流れの音）を第２部分音声データとして記憶する。撮像装置１は、上記の如く撮影して音声データを記憶した場合、画像を再生するときに、図６（ｂ）に示すように、第２部分音声のみを再生し、被写体７００が発した言葉を再生しない機能を有している。
【００５０】
次に、再生装置３の構成を説明する。再生装置３は、通信部３１と、操作入力部３２と、表示部３３と、音声出力部３４と、記憶部３５と、制御部３６とを備える。通信部は、撮像装置１との間で画像データを含む情報の送受信を行う通信インタフェースである。操作入力部３２は、再生装置３の操作指示を含む各種情報の入力を受け付ける。表示部３３は、液晶または有機ＥＬ等を用いて構成され、各種情報を表示可能である。音声出力部３４は、スピーカ等を用いて構成され、音声を出力可能である。記憶部３５は、半導体メモリ等を用いて構成され、再生装置３の動作プログラムを含む各種情報を記憶する。制御部３６は、ＣＰＵ等を用いて構成され、再生装置３の動作を統括的に制御する。
【００５１】
制御部３６は、撮像装置１から送られてくる送信ファイルに書き込まれている情報を解釈する解釈部３６１と、解釈部が解釈した結果に基づいて表示部３３に画像を表示させるとともに、音声出力部３４に音声を出力させる再生制御部３６２と、計時機能を有するタイマー３６３とを有する。
【００５２】
以上の構成を有する再生装置３は、例えばテレビ、プロジェクター、パソコン、デジタルフォトフレーム等のいずれかによって実現される。このような電子機器によって再生装置３を実現する場合には、撮像装置１から送られてきた画像データに基づく画像の表示と、それ以外の機能に基づく画像の表示とを切り換える表示切換手段を再生装置３に具備させておけばよい。
【００５３】
図７は、撮像装置１が行う処理の概要を示すフローチャートである。まず、撮像装置１の電源がオンになっていれば（ステップＳ１０１：Ｙｅｓ）、撮像装置１はステップＳ１０２へ移行する。一方、撮像装置１の電源がオンになっていなければ（ステップＳ１０１：Ｎｏ）、撮像装置１は一連の処理を終了する。
【００５４】
ステップＳ１０２において、撮像装置１が撮影モードに設定されている場合（ステップＳ１０２：Ｙｅｓ）、制御部１８は、撮像部１１および音声入力部１３に対して画像および音声の取得をそれぞれ開始させる制御を行う（ステップＳ１０３）。
【００５５】
この後、制御部１８は、撮像部１１が生成し、画像処理部１８１によって画像処理が施された画像データに対応する画像をスルー画として表示部１４に表示させる（ステップＳ１０４）。
【００５６】
続いて、静止画レリーズボタンが操作されて静止画レリーズ信号が入力された場合（ステップＳ１０５：Ｙｅｓ）、撮像装置１は静止画撮影を行う（ステップＳ１０６）。この後、制御部１８は、撮影した画像を圧縮して静止画データとして画像データ記憶部１７１へ記録する（ステップＳ１０７）。また、制御部１８は、音声データに分類等の処理を施して音声データ記憶部１７２へ記録する（ステップＳ１０８）。ステップＳ１０８の後、撮像装置１はステップＳ１０１へ戻る。
【００５７】
図８は、ステップＳ１０８の音声データ記録処理の概要を示すフローチャートである。撮像装置１は、画像撮影を行う場合にその前後の所定時間帯に取得した音声データに対して、以下に説明するステップＳ２０１〜Ｓ２０４の処理を繰り返し行う。
【００５８】
まず、制御部１８は、音声データを音声データ記憶部１７２へ記録する（ステップＳ２０１）。その後、音声処理部１８２は、音声データを基準周波数ｆ0との大小に基いて２つの部分音声データに分離する（ステップＳ２０２）。続いて、音声処理部１８２は、分離された２つの部分音声データの最大音圧レベルＬmaxを基準音圧レベルＬ0と比較することによって、各音声データの音圧レベルのレベル判定を行う（ステップＳ２０３）。
【００５９】
この後、音声処理部１８２は、レベル判定結果に応じて部分音声データを音声データ記憶部１７２へ記録する（ステップＳ２０４）。例えば、図２に示す周波数スペクトル２００を有する音声データの場合には、部分周波数スペクトル２０１に対応する第１部分音声データおよび部分周波数スペクトル２０２に対応する第２部分音声データが音声データ記憶部１７２に記録される。ここで、音声データのレベル判定結果が図４に示す条件を満たさない場合、音声処理部１８２はその音声データを音声データ記憶部１７２に記録しないで削除する。
【００６０】
撮像装置１は、全てのループが終了した場合、図７に示すメインルーチンへ戻る。
【００６１】
次に、図７のステップＳ１０５で静止画レリーズ信号が入力されなかった場合（ステップＳ１０５：Ｎｏ）を説明する。この場合において、動画レリーズボタンが押されて動画レリーズ信号が入力されたとき（ステップＳ１０９：Ｙｅｓ）、撮像装置１は動画撮影を行う（ステップＳ１１０）。一方、ステップＳ１０９において、動画レリーズ信号が入力されないとき（ステップＳ１０９：Ｎｏ）、撮像装置１はステップＳ１０１へ戻る。
【００６２】
図９は、ステップＳ１１０の動画撮影処理の概要を示すフローチャートである。まず、制御部１８は、動画データおよび音声データの記録を開始する（ステップＳ３０１）。
【００６３】
この後、制御部１８は、動画データを画像データ記憶部１７１へ記録する（ステップＳ３０２）。その後、静止画レリーズ信号が入力された場合（ステップＳ３０３：Ｙｅｓ）、制御部１８は静止画データを記録する（ステップＳ３０４）。一方、静止画レリーズ信号が入力されない場合（ステップＳ３０３：Ｎｏ）、撮像装置１は後述するステップＳ３０９へ移行する。
【００６４】
撮像装置１は、ステップＳ３０２〜Ｓ３０４の処理と並行して、音声記録処理も行う。音声記録処理に対応するステップＳ３０５〜Ｓ３０８の処理は、上述したステップＳ２０１〜Ｓ２０４の処理に順次対応している。
【００６５】
ステップＳ３０４およびＳ３０８の後、操作入力部１２によって動画撮影の終了指示が入力された場合（ステップＳ３０９：Ｙｅｓ）、制御部１８は、動画データおよび音声データの記録を終了する（ステップＳ３１０）。この後、撮像装置１は、図７に示すメインルーチンへ戻る。
【００６６】
ステップＳ３０９において、操作入力部１２によって動画撮影の終了指示が入力されない場合（ステップＳ３０９：Ｎｏ）、撮像装置１はステップＳ３０１へ戻る。
【００６７】
次に、図７のステップＳ１０２において、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０２：Ｎｏ）を説明する。この場合、撮像装置１は再生処理を行い（ステップＳ１１１）、ステップＳ１０１へ戻る。
【００６８】
図１０は、撮像装置１が行う再生処理の概要を示すフローチャートである。図１０において、制御部１８は、表示部１４に再生対象画像を所定数だけ一覧表示させる（ステップＳ４０１）。続いて、撮像装置１がスライドショーモードに設定されている場合（ステップＳ４０２：Ｙｅｓ）、制御部１８はスライドショー表示を表示部６に行わせる（ステップＳ４０３）。その後、操作入力部１２によって再生処理の終了指示が入力された場合（ステップＳ４０４：Ｙｅｓ）、撮像装置１は、図７に示すメインルーチンへ戻る。一方、操作入力部１２によって再生処理の終了指示が入力されない場合（ステップＳ４０４：Ｎｏ）、撮像装置１はステップＳ４０１へ戻る。
【００６９】
図１１は、ステップＳ４０３におけるスライドショー表示の概要を示すフローチャートである。図１１において、撮像装置１は、全ての対象画像に対し、以下に説明するステップＳ５０１〜Ｓ５１３の処理を繰り返し行う。以下に説明するスライドショー表示においては、動画と静止画の再生時間を揃えて再生するものとする。ただし、動画が静止画の再生時間より早く終了する場合は、その時点で画像を切り換えるものとする。このようなスライドショー表示を行うことにより、動画と静止画が混じっていてもテンポ感のある画像の再生を行うことができる。
【００７０】
まず、撮像装置１が再生装置３と通信を確立していない場合（ステップＳ５０１：Ｎｏ）を説明する。この場合において、再生する画像データに対応する第２部分音声データがあるとき（ステップＳ５０２：Ｙｅｓ）、制御部１８は、画像を表示部１４に所定時間再生表示させるとともに、第２部分音声を音声出力部１５に画像の表示時間と同じ時間だけ再生させ（ステップＳ５０３）、１つのループを終了する。これに対し、再生する画像データに対応する第２部分音声データがなければ（ステップＳ５０２：Ｎｏ）、制御部１８は画像を表示部１４に所定時間再生表示させるとともに、その画像に対応する音声を所定時間再生し（ステップＳ５０４）、１つのループを終了する。なお、第２部分音声データがない場合には、画像のみを再生して音声を再生しないようにしてもよい。
【００７１】
次に、撮像装置１が再生装置３と通信を確立している場合（ステップＳ５０１：Ｙｅｓ）を説明する。この場合、再生する画像データに対応する第２部分音声データがあれば（ステップＳ５０５：Ｙｅｓ）、送信ファイル作成部１８３は、互いに対応する画像データおよび第２部分音声データを含む送信ファイルを作成する（ステップＳ５０６）。ここで生成される送信ファイルは、図５に示す送信ファイル４００の音声データ４０３として、第２部分音声データを適用した構成を有する。
【００７２】
この後、通信部１６は、制御部１８の制御のもと、再生装置３へ送信ファイルをストリーミング送信する（ステップＳ５０７）。
【００７３】
通信部１６による送信ファイルの送信が完了した場合（ステップＳ５０８：Ｙｅｓ）、撮像装置１は後述するステップＳ５１１へ移行する。一方、通信部１６による送信ファイルの送信が完了していない場合（ステップＳ５０８：Ｎｏ）、通信部１６が再生装置３から画像の切換要求を受信したとき（ステップＳ５０９：Ｙｅｓ）、撮像装置１は、送信中の画像データおよび第２部分音声データの送信を中止し（ステップＳ５１０）、後述するステップＳ５１１へ移行する。ステップＳ５０９において、再生装置３から画像の切換要求を受信しないとき（ステップＳ５０９：Ｎｏ）、撮像装置１はステップＳ５０７へ戻る。
【００７４】
ステップＳ５１１では、直前に送信した送信ファイルが一連のスライドショーの最後に送信するデータである場合（ステップＳ５１１：Ｙｅｓ）、通信部１６が再生装置３へスライドショーの終了を意味する終了信号を送信する（ステップＳ５１２）。この後、撮像装置１は、１つのループ処理を終了する。一方、ステップＳ５１１において、直前に送信したデータがスライドショーの最後のデータでない場合（ステップＳ５１１：Ｎｏ）、撮像装置１は１つのループ処理を終了する。
【００７５】
ステップＳ５０５において、再生する画像データに対応する第２部分音声データがない場合（ステップＳ５０５：Ｎｏ）、送信ファイル作成部１８３は、互いに対応する画像データおよび音声データを含む送信ファイルを作成する（ステップＳ５１３）。この後、撮像装置１は、ステップＳ５０７へ移行する。
【００７６】
全ての対象画像に対するループ処理が終了した場合、撮像装置１は図１０に示す再生処理へ戻る。
【００７７】
図１２は、上述したスライドショー表示において、動作再生時に第２部分音声を用いて再生している状況を模式的に示す図である。より具体的には、図１２は、表示部１４が静止画５０１を時間Ｔ0だけ表示した後、動画フレーム５０２〜５０５で代表的に記載されている動画を第２部分音声とともに時間Ｔ0だけ表示し、その後、静止画５０６を時間Ｔ0だけ表示する状況を示している。この場合、動画再生中は、被写体６００の声は出力されない（吹き出しの中に×印を付して模式的に記載）ため、被写体６００が何か話をしていても、動画から静止画へ移行する際にその話が途切れてしまうことがない。したがって、スライドショーの鑑賞者は、違和感なく画像を鑑賞することができる。
【００７８】
図１２に示す場合、静止画５０１、５０６についても、対応する第２部分音声データが存在すれば第２部分音声を出力することになる。なお、動画と静止画が混在するスライドショー表示において静止画を表示する際には、音声を出力しないようにしてもよい。
【００７９】
次に、図１０のステップＳ４０２において、撮像装置１がスライドショーモードに設定されていない場合（ステップＳ４０２：Ｎｏ）を説明する。この場合において、操作入力部１２によって動画の再生が選択されたとき（ステップＳ４０５：Ｙｅｓ）、制御部１８は、再生装置３との通信確立の有無を判定する（ステップＳ４０６）。制御部１８が、再生装置３との通信が確立されていると判定した場合（ステップＳ４０６：Ｙｅｓ）、通信部１６は、制御部１８の制御のもと、選択された動画の動画ファイルを再生装置３へストリーミング送信する（ステップＳ４０７）。一方、ステップＳ４０６において、制御部１８が再生装置３との通信が確立されていないと判定した場合（ステップＳ４０６：Ｎｏ）、制御部１８は、選択された動画を表示部１４に再生表示させる（ステップＳ４０８）。ステップＳ４０７またはＳ４０８の後、撮像装置１はステップＳ４０４へ移行する。
【００８０】
ステップＳ４０５において、動画の再生が選択されていない場合（ステップＳ４０５：Ｎｏ）を説明する。この場合において、静止画の再生が選択されたとき（ステップＳ４０９：Ｙｅｓ）、撮像装置１は、再生装置３との通信確立の有無を判定する（ステップＳ４１０）。制御部１８が、再生装置３との通信が確立されていると判定した場合（ステップＳ４１０：Ｙｅｓ）において、再生対象の画像データに対応する第２部分音声データがあるとき（ステップＳ４１１：Ｙｅｓ）、送信ファイル作成部１８３は、対応する画像データおよび第２部分音声データを含む送信ファイルを作成する（ステップＳ４１２）。
【００８１】
ステップＳ４１２の後、通信部１６は、制御部１８の制御のもと、再生装置３へ送信ファイルをストリーミング送信する（ステップＳ４１３）。
【００８２】
その後、通信部１６による送信ファイルの送信が完了した場合（ステップＳ４１４：Ｙｅｓ）、撮像装置１はステップＳ４０４へ移行する。一方、通信部１６による送信ファイルの送信が完了していない場合（ステップＳ４１４：Ｎｏ）、通信部１６が再生装置３から終了指示を受信したとき（ステップＳ４１５：Ｙｅｓ）、撮像装置１は、その静止画データおよび第２部分音声データの送信を中止し（ステップＳ４１６）、ステップＳ４０４へ移行する。通信部１６による送信ファイルの送信が完了していない場合（ステップＳ４１４：Ｎｏ）において、通信部１６が再生装置３から終了指示を受信しないとき（ステップＳ４１５：Ｎｏ）、撮像装置１はステップＳ４１３へ戻る。
【００８３】
ステップＳ４１１において、再生対象の静止画データに対応する第２部分音声データがない場合（ステップＳ４１１：Ｎｏ）、送信ファイル作成部１８３は、対応する静止画データおよび音声データを含む送信ファイルを作成する（ステップＳ４１７）。この後、撮像装置１は、ステップＳ４１３へ移行する。なお、再生対象の静止画データに対応する第２部分音声データがない場合、送信ファイル作成部１８３は、音声データを含まずに静止画データを用いて送信ファイルを作成するようにしてもよい。
【００８４】
次に、ステップＳ４１０において、制御部１８が再生装置３との通信が確立していないと判定した場合（ステップＳ４１０：Ｎｏ）を説明する。この場合、再生対象の静止画データに対応する第１部分音声データがあるとき（ステップＳ４１８：Ｙｅｓ）、制御部１８は、静止画および第１部分音声を再生する（ステップＳ４１９）。すなわち、制御部１８は、静止画を表示部１４に表示させるとともに、その静止画に対応する第１部分音声を音声出力部１５に出力させる。その後、撮像装置１は、ステップＳ４０４へ移行する。
【００８５】
一方、ステップＳ４１８において、再生対象の静止画データに対応する第１部分音声データがないとき（ステップＳ４１８：Ｎｏ）、制御部１８は、静止画および音声を再生する（ステップＳ４２０）。すなわち、制御部１８は、静止画を表示部１４に表示させるとともに、その静止画に対応する音声を音声出力部１５に出力させる。その後、撮像装置１は、ステップＳ４０４へ移行する。なお、ステップＳ４２０において、表示部１４が静止画を表示するのみとし、対応する音声を音声出力部１５が出力しないようにしてもよい。
【００８６】
ステップＳ４０５で動画の再生が選択されず（ステップＳ４０５：Ｎｏ）、かつステップＳ４０９で静止画の再生が選択されない場合（ステップＳ４０９：Ｎｏ）、撮像装置１はステップＳ４０４へ移行する。
【００８７】
次に、再生装置が行う処理の概要を説明する。図１３は、再生装置３が行う処理の概要を示すフローチャートである。まず、再生装置３の電源がオンになっている場合（ステップＳ６０１：Ｙｅｓ）、再生装置３はステップＳ６０２へ移行する。一方、再生装置３の電源がオンになっていない場合（ステップＳ６０１：Ｎｏ）、撮像装置１は一連の処理を終了する。
【００８８】
続いて、通信部３１が撮像装置１から送信ファイルを受信した場合（ステップＳ６０２：Ｙｅｓ）、解釈部３６１は、送信ファイルのテキスト情報を参照して、表示対象のデータがスライドショーの一部をなす送信ファイルであるか否かを判定する（ステップＳ６０３）。解釈部３６１がスライドショーのデータであると判定した場合（ステップＳ６０３：Ｙｅｓ）、再生制御部３６２は、表示部３３に対して受信した画像データに対応する画像を表示させるとともに、音声出力部３４に対して受信した音声データに対応する音声を出力させることによってストリーミング再生を開始する（ステップＳ６０４）。なお、ステップＳ６０２で通信部３１が撮像装置１から送信ファイルを受信しない場合（ステップＳ６０２：Ｎｏ）、撮像装置１はステップＳ６０１へ戻る。
【００８９】
再生装置３がストリーミング再生を開始してから所定時間が経過した場合（ステップＳ６０５：Ｙｅｓ）、通信部３１は、制御部３６の制御のもと、撮像装置１に対して切換要求を送信する（ステップＳ６０６）。この後、通信部３１が撮像装置１から新たな送信ファイルを受信した場合（ステップＳ６０７：Ｙｅｓ）、再生装置３はステップＳ６０４へ戻る。再生装置３がストリーミング再生を開始してから所定時間が経過していない場合（ステップＳ６０５：Ｎｏ）、再生装置３はステップＳ６０５を繰り返す。
【００９０】
ステップＳ６０７で新たな送信ファイルを所定時間内に受信しなかった場合（ステップＳ６０７：Ｎｏ）において、スライドショー終了信号をその所定時間内に受信したとき（ステップＳ６０８：Ｙｅｓ）、再生装置３はステップＳ６０１へ戻る。これに対して、スライドショー終了信号をその所定時間内に受信しないとき（ステップＳ６０８：Ｎｏ）、制御部３６は表示部３３にエラー表示を表示させ（ステップＳ６０９）、ステップＳ６０１へ戻る。なお、再生装置３は、エラー表示の後、スライドショーを続行するか否かの選択入力をユーザに促す表示を行うようにしてもよい。この場合、再生装置３は、操作入力部１２の入力内容に応じた処理を行うようにする。
【００９１】
ステップＳ６０３において、送られてきた画像データがスライドショーのデータでない場合（ステップＳ６０３：Ｎｏ）、再生装置３は通常の再生処理を行い（ステップＳ６１０）、ステップＳ６０１へ戻る。
【００９２】
以上説明した本発明の一実施の形態によれば、音声データを複数の部分音声データに分離し、表示する画像データの表示態様に適合する音声データまたは部分音声データを選択して該画像と対応付けているため、画像を再生する際に、その画像の撮影時の雰囲気を再現するとともに、鑑賞者に対して快適な状態で再生画像を鑑賞させることができる。
【００９３】
また、本実施の形態によれば、部分音声データを生成する際に、音声データの周波数スペクトルを、周波数を含む音の特性に基づいて分離するため、例えば人の声や背景音を分離することが可能となる。したがって、再生時の状況に適した音声を出力することが可能となる。
【００９４】
また、本実施の形態によれば、人の声を含む部分音声データ（第１部分音声データ）を生成しているため、それよりも高周波数の部分音声データ（第２部分音声データ）に含まれる音は、ヒーリング効果の高い音となる。したがって、このような部分音声データを用いて画像を再生することにより、人の声やその他の雑音を排除した、ヒーリング効果の高い背景音で再生を行うことが可能となる。
【００９５】
また、本実施の形態によれば、複数の画像を所定時間ずつ連続的に表示するスライドショーモードで画像を再生表示する場合、該画像と同期して出力する音声として、人の声を含まない部分音声データを最優先で選択するため、動画が途中で切換るような場合であっても、人の声が途切れて出力させるのを極力回避することができる。
【００９６】
ここまで、本発明を実施するための一形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
【００９７】
例えば、本発明において、送信ファイル作成部が、画像データとその画像データに対応する音声データおよび部分音声データとを含む送信ファイルを作成するようにしてもよい。この場合には、再生装置に、画像に適合した音声または部分音声を判定して出力する機能を具備させればよい。
【００９８】
また、本発明において、送信ファイル作成部が作成した送信ファイルを記録媒体に記録し、この記録媒体を再生装置に差し込んで再生装置側で読み取ることができる構成としてもよい。この場合には、再生装置に記録媒体が記録する情報を読み取る記録媒体インタフェースを設けるとともに、その読み取ったデータに基づいて、再生する画像に適合した音声または部分音声を判定して出力する機能を具備させればよく、撮像装置と再生装置とが通信接続されている必要はない。
【００９９】
また、本発明において、音声データを分離する際に、音の強度の時間変化のパターンに応じて音声データを分離するようにしてもよいし、人の声の声紋の特徴を用いて音声データから人の声を含む部分音声データを分離するようにしてもよい。
【符号の説明】
【０１００】
１ 撮像装置
３ 再生装置
１１ 撮像部
１２、３２ 操作入力部
１３ 音声入力部
１４、３３ 表示部
１５、３４ 音声出力部
１６、３１ 通信部
１７、３５ 記憶部
１８、３６ 制御部
１００ 通信システム
１７１ 画像データ記憶部
１７２ 音声データ記憶部
１７３ プログラム記憶部
１８１ 画像処理部
１８２ 音声処理部
１８３ 送信ファイル作成部
１８４、３６３ タイマー
２００ 周波数スペクトル
２０１、２０２ 部分周波数スペクトル
３６１ 解釈部
３６２ 再生制御部
【特許請求の範囲】
【請求項１】
画像を撮像して該画像の電子的なデータを生成する撮像部と、
音声を入力して電気信号に変換する音声入力部と、
前記音声入力部が変換した電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理部と、
前記撮像部が生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける制御部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記音の特性は、音の強度を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記音の特性は、周波数を含み、
前記音声処理部は、
前記音声データの周波数スペクトルを算出し、前記音の特性に基づいて前記周波数スペクトルを分離することによって得られる部分周波数スペクトルから前記複数の部分音声データを生成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記音声処理部は、
人の声を含む部分音声データを生成可能であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御部は、
複数の画像を所定時間ずつ連続的に表示するスライドショーモードで画像を再生表示する場合、該画像と同期して出力する音声として、人の声を含まない部分音声データを最優先で選択することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画像データに対応する画像を表示可能な表示部と、
前記音声データに対応する音声または前記部分音声データに対応する部分音声を出力可能な音声出力部と、
をさらに備え、
前記制御部は、
前記表示部における画像の表示態様に応じた音声または部分音声を選択し、該画像の表示と同期して前記音声出力部に出力させることを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
【請求項７】
画像の表示および音声の出力が可能な再生装置とネットワークを介して情報の送受信を行う通信部と、
前記再生装置に出力させる情報として、画像データ、および該画像データに対応する画像の表示態様に応じて定められ、該画像と同期して出力する音声データを含み、前記通信部を介して前記再生装置へ送信する送信ファイルを作成する送信ファイル作成部と、
をさらに備えたことを特徴とする請求項１〜６のいずれか一項に記載の撮像装置。
【請求項８】
画像を表示可能な表示部と、
前記表示部が表示する画像に適合する音声を出力可能な音声出力部と、
画像データ、および該画像データに対応する画像の表示態様に応じて定められ、該画像と同期して出力する音声を含む音声データ、を有するデータ構造の記載内容を解釈する解釈部と、
前記解釈部が解釈した結果に基づいて前記表示部に画像を表示させるとともに前記音声出力部に音声を出力させる再生制御部と、
を備えたことを特徴とする再生装置。
【請求項９】
請求項７に記載の撮像装置と前記ネットワークを介して通信可能であり、前記データ構造としての前記送信ファイルを前記撮像装置から受信する通信部をさらに備えたことを特徴とする請求項８に記載の再生装置。
【請求項１０】
画像データと、
前記画像データに対応する画像の表示態様を定めるモード情報と、
前記画像を前記表示態様にしたがって表示する際に前記画像と同期して出力する音声を含む音声データと、
を備えたことを特徴とするデータ構造。
【請求項１１】
画像を撮像して該画像の電子的なデータを生成する撮像ステップと、
前記撮像ステップにおける画像の撮像時を含む期間の音声を入力して電気信号に変換する音声入力ステップと、
前記音声入力ステップで変換された電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理ステップと、
前記撮像ステップで生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける対応付けステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項１２】
画像を撮像して該画像の電子的なデータを生成するとともに、音声を入力して電気信号に変換する撮像装置に、
前記電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理ステップと、
前記画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける対応付けステップと、
を実行させることを特徴とする撮像装置用プログラム。
【請求項１】
画像を撮像して該画像の電子的なデータを生成する撮像部と、
音声を入力して電気信号に変換する音声入力部と、
前記音声入力部が変換した電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理部と、
前記撮像部が生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける制御部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記音の特性は、音の強度を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記音の特性は、周波数を含み、
前記音声処理部は、
前記音声データの周波数スペクトルを算出し、前記音の特性に基づいて前記周波数スペクトルを分離することによって得られる部分周波数スペクトルから前記複数の部分音声データを生成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記音声処理部は、
人の声を含む部分音声データを生成可能であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御部は、
複数の画像を所定時間ずつ連続的に表示するスライドショーモードで画像を再生表示する場合、該画像と同期して出力する音声として、人の声を含まない部分音声データを最優先で選択することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画像データに対応する画像を表示可能な表示部と、
前記音声データに対応する音声または前記部分音声データに対応する部分音声を出力可能な音声出力部と、
をさらに備え、
前記制御部は、
前記表示部における画像の表示態様に応じた音声または部分音声を選択し、該画像の表示と同期して前記音声出力部に出力させることを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
【請求項７】
画像の表示および音声の出力が可能な再生装置とネットワークを介して情報の送受信を行う通信部と、
前記再生装置に出力させる情報として、画像データ、および該画像データに対応する画像の表示態様に応じて定められ、該画像と同期して出力する音声データを含み、前記通信部を介して前記再生装置へ送信する送信ファイルを作成する送信ファイル作成部と、
をさらに備えたことを特徴とする請求項１〜６のいずれか一項に記載の撮像装置。
【請求項８】
画像を表示可能な表示部と、
前記表示部が表示する画像に適合する音声を出力可能な音声出力部と、
画像データ、および該画像データに対応する画像の表示態様に応じて定められ、該画像と同期して出力する音声を含む音声データ、を有するデータ構造の記載内容を解釈する解釈部と、
前記解釈部が解釈した結果に基づいて前記表示部に画像を表示させるとともに前記音声出力部に音声を出力させる再生制御部と、
を備えたことを特徴とする再生装置。
【請求項９】
請求項７に記載の撮像装置と前記ネットワークを介して通信可能であり、前記データ構造としての前記送信ファイルを前記撮像装置から受信する通信部をさらに備えたことを特徴とする請求項８に記載の再生装置。
【請求項１０】
画像データと、
前記画像データに対応する画像の表示態様を定めるモード情報と、
前記画像を前記表示態様にしたがって表示する際に前記画像と同期して出力する音声を含む音声データと、
を備えたことを特徴とするデータ構造。
【請求項１１】
画像を撮像して該画像の電子的なデータを生成する撮像ステップと、
前記撮像ステップにおける画像の撮像時を含む期間の音声を入力して電気信号に変換する音声入力ステップと、
前記音声入力ステップで変換された電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理ステップと、
前記撮像ステップで生成した画像データに対応する画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける対応付けステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項１２】
画像を撮像して該画像の電子的なデータを生成するとともに、音声を入力して電気信号に変換する撮像装置に、
前記電気信号に処理を施すことによって音声データを生成するとともに、該音声データを音の特性に基づいて複数の部分音声データに分離する音声処理ステップと、
前記画像を再生する際の表示態様に応じて、該画像と同期して出力する音声に対応する音声データまたは部分音声データを選択して該画像と対応付ける対応付けステップと、
を実行させることを特徴とする撮像装置用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２５３６９２（Ｐ２０１２−２５３６９２Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２６７２７（Ｐ２０１１−１２６７２７）
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]