撮像装置、撮像方法、出力装置、出力方法、及びプログラム
【課題】画像を撮像したときに流れていた音楽を、画像とともに容易に得ることができる撮像装置又は出力装置を提供すること。
【解決手段】本発明の撮像装置は、撮像部と、撮像部の周囲の音声を録音する録音部と、録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部と、複数の種類の音声を格納する音声データベースから、特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部と、音声取得部が取得した音声と撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部とを備える。特徴音抽出部は、撮像部が画像を撮像した時刻から予め設定された時間内に、録音部が録音した音声から予め定められた音声を抽出してよい。
【解決手段】本発明の撮像装置は、撮像部と、撮像部の周囲の音声を録音する録音部と、録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部と、複数の種類の音声を格納する音声データベースから、特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部と、音声取得部が取得した音声と撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部とを備える。特徴音抽出部は、撮像部が画像を撮像した時刻から予め設定された時間内に、録音部が録音した音声から予め定められた音声を抽出してよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、出力装置、及びプログラムに関する。特に本発明は、画像を撮像する撮像装置及び撮像方法、並びに画像を出力する出力装置及び出力方法、並びに当該撮像装置及び当該出力装置用のプログラムに関する。
【背景技術】
【０００２】
従来、静止画だけでなく動画もメモリカードに記録することができるデジタルスチルカメラがある。このようなデジタルスチルカメラでは、静止画や動画の撮影記録時にマイクロホンで検出した音声を画像に対応させて記録できる（例えば、特許文献１参照。）。また、デジタルスチルカメラで撮影した静止画や動画を表示しながら、画像に対応させて記録された音声を再生することができる電子フォトスタンドが知られている。
【特許文献１】特開平７−１５４７３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このようなカメラ及び電子フォトスタンドによって、例えば、撮影記録時に周囲で流れていた音楽とともに、撮影した画像を鑑賞することができる。しかし、このようなカメラでは、撮影記録時に流れていた音声しか記録できない。他にも、例えばインターネット、ＣＤ等からデジタルデータとして取得することのできる音楽データ等に比べて、マイクロホンから録音された音楽は低音質である場合が多い。このため、ユーザは再生される音楽に不満を持ってしまう場合がある。また、ユーザにとっては画像と音声の編集等の煩雑な作業をすることなく、撮影した画像と音楽とを簡単に鑑賞することができることが望ましい。また、音楽の他にも、波の音、鳥の鳴き声等、撮像時の環境音と同種の音声をより高い音質で画像とともに鑑賞することができることが望ましい。
【０００４】
そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、出力装置、出力方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態における撮像装置は、撮像部と、撮像部の周囲の音声を録音する録音部と、録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部と、複数の種類の音声を格納する音声データベースから、特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部と、音声取得部が取得した音声と撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部とを備える。
【０００６】
特徴音抽出部は、撮像部が画像を撮像した時刻から予め設定された時間内に、録音部が録音した音声から予め定められた種類の音声を抽出してよい。
【０００７】
撮像部が有する受光素子により受光した光の画像を表示する表示部と、表示部が画像を表示している状態の動作モードである撮像モード、又は表示部が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置を設定するモード設定部とをさらに備え、録音部は、モード設定部が撮像モードに設定している場合、及びモード設定部が非撮像モードに設定している場合の双方において、撮像部の周囲の音声を録音してよい。
【０００８】
特徴音抽出部は、モード設定部が撮像モードに設定している時間を含み、モード設定部が撮像モードに設定している時間より長い、予め設定された時間内に、録音部が録音した音声から予め定められた種類の音声を抽出してよい。音声データベースは、複数の音楽を格納しており、特徴音抽出部は、録音部が録音した音声から音楽を抽出し、音声取得部は、音声データベースから、特徴音抽出部が抽出した音楽と同一の音楽を取得してよい。
【０００９】
特徴音抽出部が抽出する環境音のそれぞれの種類を特定する条件を予め格納する条件格納部をさらに備え、音声データベースは、環境音の種類別に複数の環境音を格納しており、特徴音抽出部は、条件格納部が格納する条件に一致する環境音を、録音部が録音した音声から抽出し、音声取得部は、音声データベースから、特徴音抽出部が抽出した環境音と同一の種類の環境音を取得し、データ格納部は、音声取得部が取得した環境音と撮像部が撮像した画像とを同期して出力させるべく対応づけて格納してよい。
【００１０】
音声データベースは、時代別に複数の音楽を格納しており、特徴音抽出部は、録音部が録音した音声から音楽を抽出し、音声取得部は、音声データベースから、特徴音抽出部が抽出した音楽と同じ時代の音楽を取得してよい。音声データベースは、ジャンル別に複数の音楽を格納しており、音声取得部は、音声データベースから、特徴音抽出部が抽出した音楽と同じジャンルの音楽を取得してよい。
【００１１】
本発明の第２の形態における撮像方法は、画像を撮像部により撮像する撮像段階と、撮像部の周囲の音声を録音する録音段階と、録音段階において録音された音声から予め定められた種類の音声を抽出する特徴音抽出段階と、複数の種類の音声を格納する音声データベースから、特徴音抽出段階において抽出された音声と同一の種類の音声を取得する音声取得段階と、音声取得段階において取得された音声と撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納段階とを備える。
【００１２】
本発明の第３の形態によると、画像を撮像する撮像装置用のプログラムであって、撮像装置を、画像を撮像する撮像部、撮像部の周囲の音声を録音する録音部、録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部、複数の種類の音声を格納する音声データベースから、特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部、音声取得部が取得した音声と撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部として機能させる。
【００１３】
本発明の第４の形態における出力装置は、撮像装置によって撮像された画像を格納する画像格納部と、撮像装置によって録音された音声を格納する音声格納部と、音声格納部が格納する音声から予め定められた種類の音声を抽出する特徴音抽出部と、複数の種類の音声を格納する音声データベースから、特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部と、音声取得部が取得した音声と画像格納部が格納する画像とを同期して出力する出力部とを備える。
【００１４】
画像格納部は、画像に対応づけて当該画像の撮像時刻を格納しており、音声格納部は、音声に対応づけて当該音声の録音時刻を格納しており、特徴音抽出部は、画像が撮像された時刻から予め設定された許容時間内に録音された音声から予め定められた種類の音声を抽出してよい。
【００１５】
画像格納部が格納する画像の出力要求を取得する出力要求取得部と、出力要求取得部が出力要求を取得した時刻と、画像格納部が格納する画像の撮像時刻との差がより大きい場合に、許容時間をより長く設定する許容時間設定部とをさらに備えてよい。
【００１６】
本発明の第５の形態における出力方法は、撮像装置によって撮像された画像を格納する画像格納段階と、撮像装置によって録音された音声を格納する音声格納段階と、音声格納段階において格納される音声から予め定められた種類の音声を抽出する特徴音抽出段階と、複数の音楽を格納する音声データベースから、特徴音抽出段階において抽出された音声と同一の種類の音声を取得する音声取得段階と、音声取得段階において取得された音声と画像格納段階において格納される画像とを同期して出力する出力段階とを備える。
【００１７】
本発明の第６の形態によると、画像を出力する出力装置用のプログラムであって、出力装置を、画像を撮像する撮像部、撮像部の周囲の音声を録音する録音部、録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部、複数の種類の音声を格納する音声データベースから、特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部、音声取得部が取得した音声と撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部として機能させる。
【００１８】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００１９】
本発明によれば、画像を撮像したときに流れていた種類の音声を、画像とともに容易に得ることができる撮像装置及び出力装置を提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２１】
図１は、本発明の一実施形態に係る音声提供システムの一例を示す。音声提供システムは、撮像装置１００、出力装置１４０、説明音データベース１７０、音楽データベース１７２、及び環境音データベース１７４を有する。この例では、撮像装置１００は、観光地において記念写真を撮像する。撮像装置１００は、撮像装置１００が撮像した画像及び撮像したときの撮像位置を、インターネット等の通信回線１５０を通じて出力装置１４０に送信する。音楽データベース１７２は、複数の音楽を格納している。また、環境音データベース１７４は、環境音の種類別に複数の環境音を格納している。なお、本実施形態における音楽データベース１７２及び環境音データベース１７４は、この発明における音声データベースの一例である。
【００２２】
出力装置１４０は、撮像装置１００から受け取った撮像位置に関する音声データ、例えば観光地の特色を説明する音声データを説明音データベース１７０から取得して、撮像装置１００から受け取った画像とともに出力する。なお、撮像装置１００は、撮像装置１００の周囲の音声を録音しておき、出力装置１４０は、撮像装置１００で録音された音声を受け取ってもよい。そして出力装置１４０は、当該音声の中から音楽を抽出して、抽出した音楽と同じ音楽を音楽データベース１７２から取得して、画像とともに出力してもよい。また、出力装置１４０は、当該音声の中から波の音、鳥の鳴き声等の環境音を抽出して、抽出した環境音と同じ種類の環境音を環境音データベース１７４から取得して、画像とともに出力してもよい。なお、出力装置１４０は、説明音データベース１７０から取得した音声データと、音楽データベース１７２から取得した音楽又は環境音データベース１７４から取得した環境音とを同時に出力してもよい。
【００２３】
出力装置１４０は、例えば、ＨＤＴＶ、電子フォトスタンド、コンピュータ等の、画像及び音声を出力する装置であってよい。また、出力装置１４０は、音声を文字として出力してもよい。例えば、出力装置１４０は、液晶等の表示デバイスに画像を表示するときに、説明音データベース１７０から取得した音声及び／又は音楽データベース１７２から取得した音楽データに含まれる歌詞等を文字として表示デバイスに表示させてよい。なお、出力装置１４０は、画像を表示させる表示デバイスに文字を表示させてよく、画像を表示させる表示デバイスとは別の表示デバイスに文字を表示させてもよい。他にも、出力装置１４０は、プリンタ等の画像を印刷する印刷装置であってもよく、画像を印刷するとともに音声を文字として印刷してもよい。
【００２４】
撮像装置１００は、例えば、デジタルスチルカメラ、カメラ付携帯電話等であってよい。また、撮像装置１００が画像及び音声データを記録媒体に記録して、出力装置１４０は当該記録媒体から画像及び音声データを受け取ってもよい。また、撮像装置１００は、画像及び音声データを、通信回線１５０に接続されたサーバの、ユーザ１８０毎にそれぞれ設けられたディレクトリ、例えば撮像装置１００と関連付けられたディレクトリに格納してもよい。そして出力装置１４０は、ユーザ１８０毎にサーバに格納された画像及び音声データを受け取ってもよい。
【００２５】
以上説明した出力装置１４０によれば、撮像装置１００で撮像した画像を、撮像した場所に関する音声とともにユーザ１８０に提供することができる。このため、ユーザ１８０は、観光地等の特色等を思い出しながら、楽しく画像を鑑賞することができる。また、撮像装置１００で撮像したときに周囲で流れていた音楽、周囲の波の音等の環境音等を、ユーザ１８０に提供することができる。このため、ユーザ１８０は、観光地等を訪れたときに流行していた音楽を聴きながら、楽しく画像を鑑賞することができる。
【００２６】
図２は、出力装置１４０のブロック構成の一例を示す。出力装置１４０は、画像格納部２１０、画像選択部２７８、撮像領域判断部２８２、撮像期間判断部２８４、撮像位置分布算出部２８６、撮像枚数算出部２８８、出力部２２４、及び音声取得部２６２を備える。
【００２７】
画像格納部２１０は、撮像された画像と、当該画像が撮像された位置とを対応づけて格納する。例えば、撮像装置１００は、画像を撮像したときの撮像装置１００の位置における緯度及び経度情報をＧＰＳ衛星から受信する。そして、画像格納部２１０は、撮像装置１００から受け取った画像を、撮像装置１００が検出した緯度及び経度情報と対応づけて格納する。
【００２８】
画像選択部２７８は、画像格納部２１０が格納する画像から、ユーザ１８０の指示入力に基づいて複数の画像を選択する。撮像領域判断部２８２は、画像格納部２１０が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域を判断する。
【００２９】
具体的には、撮像領域判断部２８２は、画像選択部２７８が選択した複数の画像のそれぞれが撮像された複数の位置を含む撮像領域を判断する。例えば、撮像領域判断部２８２は、画像格納部２１０が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域の地理的な範囲、例えば緯度及び経度の範囲を判断してよい。
【００３０】
撮像位置分布算出部２８６は、撮像領域判断部２８２が判断した撮像領域内における、画像格納部２１０が格納する複数の画像のそれぞれが撮像された複数の位置の分布を算出する。撮像枚数算出部２８８は、撮像領域判断部２８２が判断した撮像領域に含まれる複数の部分領域毎に、画像格納部２１０が格納する複数の画像のそれぞれが撮像された撮像枚数を算出する。
【００３１】
音声取得部２６２は、撮像領域判断部２８２が判断した撮像領域の広さに応じて説明音データベース１７０が格納する音声を取得する。具体的には、音声取得部２６２は、撮像領域判断部２８２が判断した撮像領域がより狭い場合に、撮像領域判断部２８２が判断した撮像領域についてのより詳しい説明の音声を取得する。
【００３２】
より具体的には、音声取得部２６２は、撮像位置分布算出部２８６が算出した分布の偏りが予め定められた偏りより大きい部分領域についての説明の音声を取得する。また、音声取得部２６２は、撮像枚数算出部２８８が算出した撮像枚数がより多い場合に、説明音データベース１７０が格納する部分領域についての詳しさが異なる複数の説明のうちのより詳しい説明の音声を取得する。
【００３３】
出力部２２４は、画像格納部２１０が格納する複数の画像とともに、音声取得部２６２が取得した音声を出力する。具体的には、出力部２２４は、画像選択部２７８が選択した複数の画像とともに、音声取得部２６２が取得した音声を出力する。
【００３４】
画像格納部２１０は、撮像された画像に対応づけて、当該画像が撮像された時刻をさらに格納する。撮像期間判断部２８４は、画像格納部２１０が格納する複数の画像のそれぞれが撮像された複数の時刻を含む撮像期間を判断する。具体的には、撮像期間判断部２８４は、画像選択部２７８が選択した複数の画像が撮像された複数の時刻を含む撮像期間を判断する。
【００３５】
そして、音声取得部２６２は、撮像期間判断部２８４が判断した撮像期間の長さにさらに応じて説明音データベース１７０が格納する音声を取得する。具体的には、音声取得部２６２は、撮像期間判断部２８４が判断した撮像期間がより長い場合に、撮像領域判断部２８２が判断した撮像領域についてのより詳しい説明の音声を取得する。
【００３６】
図３は、説明音データベース１７０が格納するデータの一例をテーブル形式で示す。説明音データベース１７０は、領域に対応づけて、領域の位置する範囲を示す位置範囲及び領域についての音声データを格納する。位置範囲は、例えば、領域が含まれる領域の起点となる緯度及び経度、並びに、終点となる緯度及び経度を含んでよい。なお、位置範囲には、領域の位置する複数の範囲を含んでよい。音声データは、例えば、各領域についての詳しさの異なる複数の音声データ、例えば概要説明、詳細説明の音声データを含んでよい。また、音声データには、各領域に関するニュース等を含んでもよい。
【００３７】
例えば、日本についての概要説明データとは、日本全体の特色、人口、面積等を説明する音声データであってよい。また、日本についての詳細を説明する音声データとは、日本に含まれる各地域の特色、人口、面積等を説明する音声データであってよく、日本の歴史等を説明する音声データであってもよい。
【００３８】
図４は、画像が撮像された位置の分布の一例を示す。図４の例では、画像格納部２１０は、長崎、広島、京都、静岡、東京、及び北海道で撮像した、それぞれ１０枚、９枚、１０枚、７枚、８枚、及び６枚の画像を格納している。撮像領域判断部２８２は、例えば、予め定めた緯度及び経度範囲毎の部分領域に区切り、画像が撮像された位置を含む部分領域を判断する。撮像枚数算出部２８８は、部分領域のそれぞれで撮像された画像の枚数を算出する。そして、撮像位置分布算出部２８６は、画像が撮像された位置が含まれる部分領域の分布を判断する。
【００３９】
そして、音声取得部２６２は、撮像位置が広い範囲に分布しているか否かを判断する。例えば、音声取得部２６２は、長崎で撮像した画像が画像選択部２７８によって選択されたときには、撮像位置が狭い範囲に分布していると判断して、日本をより詳しく説明する音声データとして、例えば長崎を説明する音声データを説明音データベース１７０から取得する。また、長崎、広島、京都、静岡、東京、及び北海道で撮像した画像が画像選択部２７８によって選択された場合には、撮像位置がより広い範囲に分布していると判断して、撮像領域についての概要を説明する音声データとして、例えば日本を説明する音声データを説明音データベース１７０から取得する。
【００４０】
なお、撮像枚数算出部２８８によって算出される枚数がより多い場合には、音声取得部２６２は、それぞれの撮像領域についてのより詳しい説明の音声データを説明音データベース１７０から取得し、枚数がより少ない場合は、それぞれの撮像領域についてのより概要を説明する音声データを説明音データベース１７０から取得してよい。
【００４１】
また、音声取得部２６２は、選択された枚数に対する、特定の部分領域で撮像された画像の枚数の比率を計算して、当該比率が予め定めた比率よりも大きい場合に、当該特定の部分領域について説明する音声データを説明音データベース１７０から取得する。例えば、画像格納部２１０が、長崎、広島、京都、東京、及び北海道で撮像した、それぞれ６枚、７枚、３０枚、４枚、３枚の合計５０枚の画像を格納しており、半数以上の３０枚が京都で撮像された画像である場合には、音声取得部２６２は、京都を説明する音声データを説明音データベース１７０から取得する。このため、出力装置１４０は、ユーザ１８０が特に多く撮像した場所について説明する音声をユーザ１８０に提供することができる。
【００４２】
図５は、画像が撮像された時刻の分布の一例を示す。撮像期間判断部２８４は、画像が撮像された時間範囲を、部分領域毎に判断する。例えば、撮像期間判断部２８４は、長崎、広島、京都、静岡、東京、及び北海道のそれぞれを含む部分領域で撮像された時間範囲（ｔ１〜ｔ１０、ｔ１１〜ｔ１９、ｔ２０〜ｔ２９、ｔ３０〜ｔ３６、ｔ３７〜ｔ４４、及びｔ４５〜ｔ５０）を判断する。
【００４３】
そして、音声取得部２６２は、撮像期間の長さを判断する。例えば、音声取得部２６２は、長崎で撮像した画像が画像選択部２７８によって選択されたときには、長崎で撮像された期間（ｔ１〜ｔ１０）がより短いと判断して、長崎を説明する音声データを説明音データベース１７０から取得する。また、長崎、広島、京都、静岡、東京、及び北海道で撮像した画像が画像選択部２７８によって選択された場合には、撮像された期間（ｔ１〜ｔ５０）がより長いと判断して、撮像領域についての詳しい説明の音声データとして、例えば日本の詳しい説明の音声データを説明音データベース１７０から取得する。
【００４４】
そして、音声取得部２６２は、選択された画像が撮像された期間に対する、特定の部分領域で撮像された期間の比率を計算して、当該比率が予め定めた比率よりも大きい場合に、当該特定の部分領域について説明する音声データを説明音データベース１７０から取得する。例えば、画像格納部２１０が、長崎、広島、京都、東京、及び北海道で撮像した画像を格納している場合に、京都で撮像された期間（ｔ６４〜ｔ９３）が、選択された画像が撮像された期間の合計（ｔ５１〜ｔ５６、ｔ５７〜ｔ６３、ｔ６４〜ｔ９３、ｔ９４〜ｔ９７、ｔ９８〜ｔ１０の合計期間）の半分の期間以上である場合に、音声取得部２６２は京都について説明する音声データを説明音データベース１７０から取得する。このため、出力装置１４０は、ユーザ１８０が特に長く滞在して撮像した場所について説明する音声をユーザ１８０に提供することができる。
【００４５】
図６は、撮像装置６００のブロック構成の一例を示す。撮像装置６００は、図１で説明した撮像装置１００の他の例であって、特に撮像された画像とともに録音された音声から音楽、環境音等の特徴的な音声を抽出して格納する機能を有する。撮像装置６００は、モード設定部６９２、撮像部６０２、表示部６７０、データ格納部６９８、録音部６５０、特徴音抽出部６９４、条件格納部６６０、及び音声取得部６９６を備える。
【００４６】
撮像部６０２は、画像を撮像する。撮像部６０２は、具体的には、被写体からの光をＣＣＤ等の撮像デバイスで受光して、被写体を撮像する。なお、撮像部６０２は所定の時間間隔で連続的に被写体を撮像してもよい。そして、撮像部６０２は、連続的に撮像して得られる所定の個数の画像を保持してもよい。そして、撮像部６０２は、撮像部６０２が保持している画像のうち、撮像を指示された時刻に最も近いタイミングで撮像された画像を撮像画像としてもよい。
【００４７】
表示部６７０は、撮像部６０２が有する受光素子により受光した光の画像を表示する。モード設定部６９２は、表示部６７０が画像を表示している状態の動作モードである撮像モード、又は表示部６７０が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置６００を設定する。
【００４８】
録音部６５０は、撮像部６０２の周囲の音声を録音する。なお、録音部６５０は、モード設定部６９２が撮像モードに設定している場合、及びモード設定部６９２が非撮像モードに設定している場合の双方において、撮像部６０２の周囲の音声を録音する。
【００４９】
特徴音抽出部６９４は、録音部６５０が録音した音声から予め定められた種類の音声を抽出する。例えば、特徴音抽出部６９４は、録音部６５０が録音した音声から音楽を抽出する。この場合、特徴音抽出部６９４は、音声の周波数スペクトルに基づいて基本周波数を抽出して、音階を決定する。そして、特徴音抽出部６９４は、決定した音階に基づいて、リズム、テンポ、調性等の音楽の特徴量を判断して、音符データを抽出する。また、特徴音抽出部６９４は、更に、音符データに基づいて音楽のコード進行を抽出してもよい。
【００５０】
条件格納部６６０は、特徴音抽出部６９４が抽出する環境音のそれぞれの種類を特定する条件を予め格納する。具体的には、条件格納部６６０は、犬、鳥の鳴き声、虫の鳴き声、波の音等の環境音の種類毎に、それぞれの種類の環境音に特徴的な周波数スペクトルを格納する。そして、特徴音抽出部６９４は、条件格納部６６０が格納する条件に一致する環境音を、録音部６５０が録音した音声から抽出する。例えば、特徴音抽出部６９４は、条件格納部６６０が格納する周波数スペクトルに予め定められた一致度以上で一致する環境音を、録音部６５０が録音した音声から抽出する。なお、条件格納部６６０は、環境音の音声そのものを、環境音の種類毎に格納してよい。この場合、特徴音抽出部６９４は、条件格納部６６０が格納する環境音の音声と録音部６５０が録音した音声とを比較して、音声の特徴量（例えば、周波数スペクトル等）が最も一致度の高い環境音を抽出して、当該環境音の種類を決定してよい。
【００５１】
なお、特徴音抽出部６９４は、撮像部６０２が画像を撮像した時刻から予め設定された時間内に、録音部６５０が録音した音声から予め定められた種類の音声を抽出する。例えば、特徴音抽出部６９４は、撮像部６０２が画像を撮像した時刻から予め設定された時間内に、録音部６５０が録音した音声から音楽又は環境音を抽出する。具体的には、特徴音抽出部６９４は、モード設定部６９２が撮像モードに設定している時間を含み、モード設定部６９２が撮像モードに設定している時間より長い予め設定された時間内に、録音部６５０が録音した音声から予め定められた種類の音声を抽出する。より具体的には、特徴音抽出部６９４は、モード設定部６９２が撮像モードに設定している時間を含み、モード設定部６９２が撮像モードに設定している時間より長い、予め設定された時間内に、録音部６５０が録音した音声から音楽又は環境音を抽出する。
【００５２】
音楽データベース１７２は、時代別に複数の音楽を格納する。また、音楽データベース１７２は、ジャンル別に複数の音楽を格納する。具体的には、音楽データベース１７２は、音楽データに対応づけて、音楽のジャンル及び時代を格納する。また、音楽データベース１７２は、音楽データに対応づけて、音符データ、リズム、テンポ、調性、及びコード進行等の、音楽の特徴量を格納してよい。他にも、音楽データベース１７２は、音楽データに対応づけて、当該音楽に関連する人物、例えば作曲者、作詞者、編曲者、演奏者等を格納してもよい。また、音楽データベース１７２は、音楽データに対応づけて、当該音楽が発信される地域の位置を示す発信位置、発信される発信時刻、及び発信手段を格納してもよい。なお、発信手段とは、例えばラジオ、有線等であってよい。また、発信時刻とは、例えば放送局の番組データ等、音楽が放送されるべき時刻を示す情報であってよい。また、音楽データベース１７２は、音楽データに対応づけて、当該音楽が複数の地域においてヒットした程度を示す情報を、地域毎及び時代毎に格納してもよい。
【００５３】
音声取得部６９６は、複数の種類の音声を格納する音声データベースから、特徴音抽出部６９４が抽出した音声と同一の種類の音声を取得する。具体的には、音声取得部６９６は、音楽データベース１７２から、特徴音抽出部６９４が抽出した音楽と同一の音楽を取得する。具体的には、音声取得部６９６は、特徴音抽出部６９４が抽出した音符データと一致する音符データを有する音楽を音楽データベース１７２から取得する。このとき、音声取得部６９６は、撮像部６０２が画像を撮像したタイミングにおいて撮像装置６００の撮像位置及び撮像時刻を検出し、当該撮像位置を含む発信位置及び当該撮像時刻を含む発信時刻に対応づけて音楽データベース１７２に格納された音楽データの中から、特徴音抽出部６９４が抽出した音楽と同一の音楽を取得してよい。このとき、音声取得部６９６は、音楽データベース１７２に格納された音楽データのうち、撮像位置を含む地域及び撮像時刻を含む時代においてヒットした程度がより高い音楽を優先して検索し、取得してよい。また、音声取得部６９６は、音楽が発信されるべき発信手段を撮像位置に基づいて特定して、当該発信手段によって発信される音楽から順に検索してもよい。例えば、音声取得部６９６は、住宅街で録音された音楽を取得する場合には、ラジオ放送で放送されるべき音楽から順に検索し、遊園地等で録音された音楽を取得する場合には、有線放送によって放送されるべき音楽から順に検索してよい。
【００５４】
また、音声取得部６９６は、複数の音楽を格納する音楽データベース１７２から、特徴音抽出部６９４が抽出した音楽と同一の種類の音楽を取得する。具体的には、音声取得部６９６は、音楽データベース１７２から、特徴音抽出部６９４が抽出した音楽と同じ時代の音楽を取得する。また、音声取得部６９６は、音楽データベース１７２から、特徴音抽出部６９４が抽出した音楽と同じジャンルの音楽を取得する。具体的には、音声取得部６９６は、特徴音抽出部６９４が抽出したリズム、テンポ、調性、及びコード進行等の特徴量に基づいて音楽のジャンル及び／又は時代を特定して、特定したジャンル及び／又は時代の音楽を音楽データベース１７２から取得する。他にも、音声取得部６９６は、特徴音抽出部６９４が抽出した特徴量に基づいて、当該特徴量の音楽を音楽データベース１７２を検索することによって、当該音楽に関連する人物を特定して、特定した人物に対応づけられた音楽を音楽データベース１７２から取得してもよい。なお、音声取得部６９６は、音楽データベース１７２に格納された音楽データのうち、撮像位置を含む地域及び撮像時刻を含む期間においてヒットした程度が最も高い音楽を取得してよい。
【００５５】
また、音声取得部６９６は、環境音データベース１７４から、特徴音抽出部６９４が抽出した環境音と同一の種類の環境音を取得する。なお、条件格納部６６０が環境音そのものを格納している場合には、音声取得部６９６は、特徴音抽出部６９４が抽出した音声と同種の音声を条件格納部６６０から取得してもよい。
【００５６】
データ格納部６９８は、音声取得部６９６が取得した音声と撮像部６０２が撮像した画像とを同期して出力させるべく対応づけて格納する。具体的には、データ格納部６９８は、音声取得部６９６が取得した音楽と撮像部６０２が撮像した画像とを同期して出力させるべく対応づけて格納する。他にも、データ格納部６９８は、音声取得部６９６が取得した環境音と撮像部６０２が撮像した画像とを同期して出力させるべく対応づけて格納する。以上説明した撮像装置６００によれば、撮像装置６００によって撮像したときに撮像装置６００の周囲を流れていたＢＧＭと同じ音楽を、画像とともにユーザ１８０に提供することができる。また、撮像装置６００は、撮像時の周囲の環境音を画像とともにユーザ１８０に提供することができる。
【００５７】
図７は、音楽データベース１７２が格納するデータの一例をテーブル形式示す。音楽データベース１７２は、音楽データに対応づけて、時代、音楽が属するジャンル、音楽が有するリズム、音楽が有するテンポ、音楽が有する調性、音楽が有するコード進行、音楽の楽譜を示す音符データ、音楽の原盤権を保有するレコード会社、音楽を制作したレーベル、音楽がヒットしたヒット度を格納する。なお、音楽データベース１７２が格納する時代とは、音楽が作成された時代、音楽が発表された時代、音楽が流行した時代等であってよい。なお、音楽データベース１７２は、本図において例示した属性の他に、音楽をプロデュースしたプロデューサ、音楽が含まれる音楽アルバム、音楽をダウンロードする場合に課金される課金情報等、音楽に関連する様々な属性を格納してよいことは言うまでもない。
【００５８】
図８は、撮像装置６００が録音する音声と時間範囲の一例を示す。撮像装置６００は、動作モードとして、撮像モード、出力モード、及び待機モードを有する。撮像モードとは、撮像装置６００が撮像及び／又は録音することのできる動作モードであってよい。また、出力モードは、例えば、撮像装置６００が画像及び／又は音声を出力することのできる動作モードであってよい。なお、非撮像モードは、出力モード及び待機モードを含む。そして、撮像装置６００は、撮像モードに設定されている期間（ｔ１〜ｔ３）、出力モードに設定されている期間（ｔ３〜ｔ４）、及び待機モードに設定されている期間（ｔ０〜ｔ１及びｔ４〜ｔ５）における撮像装置６００の周囲の音声を録音する。
【００５９】
なお、撮像装置６００は、起動された直後には撮像装置６００は待機モードに設定される。撮像装置６００は、動作モードが待機モード又は出力モードに設定されている場合に、ユーザ１８０によって撮像動作又は録音動作に関する操作がなされた場合に撮像モードに遷移する。撮像動作に関する操作は、例えば、画像を撮像する操作、シャッタスピード、焦点距離等の、撮像条件を調整する操作等を含む。また、録音動作に関する操作は、例えば、音声を録音する操作、録音感度の調整等の、録音条件を調整する操作等を含む。また、撮像装置６００は、動作モードが待機モード又は撮像モードに設定されている場合に、ユーザ１８０によって撮像装置６００の出力動作に関する操作がなされた場合に、出力モードに遷移する。出力動作に関する操作は、例えば、画像を出力する操作、出力する画像を選択する操作、出力速度の調節等の、出力条件を調整する操作等を含む。なお、撮像装置６００は、撮像装置６００が撮像モード又は出力モードに設定されている場合に、ユーザ１８０による撮像装置６００の操作が所定の期間操作されなかったことを条件として、待機モードに遷移してよい。
【００６０】
特徴音抽出部６９４は、撮像時刻ｔ２から予め定めた時間だけ前又は後の時間範囲において、録音部６５０で録音された音声から音楽を抽出する。例えば、撮像装置６００がユーザ１８０から時刻ｔ２において撮像するよう指示された場合に、特徴音抽出部６９４は、撮像時刻ｔ２を含む撮像モードに設定されていた期間（ｔ１〜ｔ３）を含む、待機モード又は出力モードに設定されていた期間、例えば期間（ｔ０〜ｔ５）において録音された音声から音楽を抽出する。
【００６１】
なお、特徴音抽出部６９４は、撮像時刻ｔ２を含む、期間（ｔ０〜ｔ５）において録音部６５０によって録音された音声のうち、撮像時刻ｔ２の最も近い時刻で録音された音声から音楽を抽出してよい。また、特徴音抽出部６９４は、最も音量の大きい音量の音声の中から音楽を抽出してよい。
【００６２】
図９は、音楽を取得する手順の一例を示す。特徴音抽出部６９４は、録音部６５０が録音した音声から撮像した時刻を含む期間の音声を抽出する（Ｓ９１２）。そして、特徴音抽出部６９４は、Ｓ９１２で抽出した期間の音声から、音楽の特徴量を抽出する（Ｓ９１４）。音楽の特徴量とは、例えば音符データ、リズム、テンポ、調性、コード進行等であってよい。
【００６３】
そして、音声取得部６９６は、特徴音抽出部６９４が抽出した音符データと一致する音楽を音楽データベース１７２の中から検索する（Ｓ９１６）。そして、特徴音抽出部６９４は、抽出した音符データと一致する音楽が音楽データベース１７２に格納されているか否かを判断する（Ｓ９１８）。音声取得部６９６は、Ｓ９１８において、一致する音楽があると判断した場合には、音楽データベース１７２の中から一致する音楽を取得する（Ｓ９２０）。
【００６４】
音声取得部６９６は、Ｓ９１８において一致する音楽がないと判断した場合には、特徴音抽出部６９４がＳ９１４で抽出した音楽の特徴量に基づいて、Ｓ９１２で抽出した音楽と同じジャンル及び／又は年代を特定する（Ｓ９２２）。例えば、音声取得部６９６は、音楽データベース１７２に格納された音楽の中で、最も類似する特徴量を持つ音楽を最も多く含むジャンル及び／又は時代を特定する。そして、音声取得部６９６は、Ｓ９２２で特定したジャンル及び／又は年代の音楽を、音楽データベース１７２に格納された音楽の中から取得する（Ｓ９２４）。また、音声取得部６９６は、Ｓ９２２において、ジャンル、年代の他にも、類似する特徴量を持つ最も多くの音楽に対応づけて音楽データベース１７２が格納しているレコード会社又はレーベルを特定してよい。そして、音声取得部６９６は、Ｓ９２４において、Ｓ９２２において特定したレコード会社又はレーベルの音楽を、音楽データベース１７２に格納された音楽の中から取得してよい。なお、Ｓ９２４において、音声取得部６９６は、同じ種類の音楽が複数存在する場合には、音楽データベース１７２が格納するヒット度が最も高い音楽を取得してよい。
【００６５】
なお、音声取得部６９６は、Ｓ９１８で同一の音楽と判断された音楽が音楽データベース１７２から複数検索された場合は、検索された複数の音楽を音楽データベース１７２から取得してユーザ１８０に選択させてもよい。また、音声取得部６９６は、Ｓ９２４においても、音楽データベース１７２から取得した同じジャンル及び／又は年代の音楽を複数取得して、ユーザ１８０に選択させてもよい。他にも、音声取得部６９６は、検索された複数の音楽のうち音楽データベース１７２が格納するヒット度が最も高い音楽を取得してよい。また、音声取得部６９６は、複数の音楽が検索された場合には、検索された複数の音楽のうち最も多い数の音楽に対応づけて音楽データベース１７２が格納しているレコード会社又はレーベルの音楽を特定してよい。そして、音声取得部６９６は、特定したレコード会社又はレーベルの年代の音楽を、音楽データベース１７２に格納された音楽の中から取得してよい。なお、Ｓ９２０において音声取得部６９６は、Ｓ９１８で同一の音楽と判断された音楽と同じレコード会社又はレーベルの音楽を音楽データベース１７２から取得してもよい。また、音声取得部６９６は、レコード会社又はレーベルの他にも、Ｓ９１８で同一の音楽と判断された音楽と同じ属性に対応づけて音楽データベース１７２に格納されている音楽を、音楽データベース１７２から取得してもよい。
【００６６】
以上、図７から図９にかけて、音声取得部６９６が音楽データベース１７２から音楽を取得する動作について説明したが、同様の動作によって、音声取得部６９６は環境音データベース１７４から環境音を取得することができる。また、音声取得部６９６は、音楽、環境音の他にも、画像に対応づけて記録すべき予め定められた様々な種類の音声を、音声データベースから取得してよいことは言うまでもない。
【００６７】
図１０は、出力装置１０４０のブロック構成の一例を示す。出力装置１０４０は、音声提供システムが有する出力装置１４０の他の一例であってよい。なお、撮像装置１００は、撮像した画像及び撮像したときの周囲の音声の他に、周囲の音声を録音した時刻も出力装置１０４０に送信する。
【００６８】
出力装置１０４０は、画像格納部１０１０、出力部１０２４、音声取得部１０９６、特徴音抽出部１０９４、条件格納部１０６０、音声格納部１０２０、許容時間設定部１０４３、出力時刻検出部１０４４、出力要求取得部１０４８を備える。
【００６９】
画像格納部１０１０は、撮像装置１００によって撮像された画像を格納する。また、画像格納部１０１０は、画像に対応づけて当該画像が撮像された撮像時刻を格納する。
【００７０】
音声格納部１０２０は、撮像装置１００によって録音された音声を格納する。音声格納部１０２０は、音声に対応づけて当該音声の録音時刻を格納する。具体的には、音声格納部１０２０は、撮像装置１００の周囲の音声を格納する。なお、録音時刻とは、音声の録音を開始した時刻であってよく、録音を終了した時刻であってよい。
【００７１】
特徴音抽出部１０９４は、音声格納部１０２０が格納する音声から予め定められた種類の音声を抽出する。具体的には、音声取得部１０９６は、複数の種類の音声を格納する音声データベースから、特徴音抽出部１０９４が抽出した音声と同一の種類の音声を取得する。例えば、特徴音抽出部１０９４は、音声格納部１０２０が格納する音声から音楽を抽出する。そして、音声取得部１０９６は、複数の音楽を格納する音楽データベース１７２から、特徴音抽出部１０９４が抽出した音楽と同一の種類の音楽を取得する。他にも、音声取得部１０９６は、環境音データベース１７４から、特徴音抽出部１０９４が抽出した環境音と同一の種類の環境音を取得する。なお、音声取得部１０９６が音楽又は環境音等の音声を取得する具体的な動作は、図９で説明した音声取得部６９６の動作と同一であるので、説明を省略する。
【００７２】
出力要求取得部１０４８は、画像格納部１０１０が格納する画像の出力要求を取得する。許容時間設定部１０４３は、出力要求取得部１０４８が出力要求を取得した時刻と、画像格納部１０１０が格納する画像の撮像時刻との差がより大きい場合に、音声を抽出する期間である許容時間をより長く設定する。そして、特徴音抽出部１０９４は、画像が撮像された時刻から予め設定された許容時間内に録音された音声から音楽を抽出する。出力部１０２４は、音声取得部１０９６が取得した音声と画像格納部１０１０が格納する画像とを同期して出力する。具体的には、出力部１０２４は、音声取得部１０９６が取得した音楽又は環境音と、画像格納部１０１０が格納する画像とを同期して出力する。
【００７３】
本実施形態の出力装置１０４０によれば、撮像した画像を、当該画像を撮像したときに流れていた音楽、例えば撮像当時に流行していた音楽とともにユーザ１８０に提供することができる。
【００７４】
図１１は、許容時間設定部１０４３が設定する許容時間の一例を示す。例えば、ユーザ１８０から、時刻ｔ１２で撮像された画像を出力する指示を時刻ｔ１３において受け付けた場合に、許容時間設定部１０４３は、出力を指示された時刻と出力される画像が撮像された時刻との差（ｔ１３−ｔ１２）に基づいて、特徴音抽出部１０９４に音楽を抽出する音声をさせる許容範囲Δｔ５２を決定する。そして、特徴音抽出部１０９４は、音声格納部１０２０に格納されている音声のうち、時刻ｔ１２からΔｔ５２だけ前又は後の時間範囲（時刻ｔ１２―Δｔ５２〜時刻ｔ１２＋Δｔ５２）に録音された音声の中から音楽を抽出する。
【００７５】
なお、特徴音抽出部１０９４は、時刻ｔ１２から許容範囲Δｔ５２だけ前の時刻から時刻ｔ１２までの間に録音された音声の中から音声を抽出してもよいし、時刻ｔ１２から許容範囲Δｔ５２だけ後の時刻までの間に録音された音声の中から音声を抽出してもよい。
【００７６】
また、許容時間設定部１０４３は、画像格納部１０１０が格納する撮像画像が撮像された時刻と、出力する指示を受け付けた時刻との差が大きいほど、許容時間をより大きく設定する。図１１の例では、許容時間設定部１０４３は、時刻ｔ１２よりも前の時刻ｔ１１に撮像された画像を出力するよう時刻ｔ１３において指示された場合には、許容範囲Δｔ５２に比べて時間的により長い許容範囲Δｔ５１を設定する。そして、特徴音抽出部１０９４は、時刻（ｔ１１−Δｔ５１）から時刻（ｔ１１＋Δｔ５１）までの時間範囲内で録音された音声の中から音楽を抽出する。
【００７７】
なお、許容時間設定部１０４３は、撮像された時刻と出力を指示された時刻との間の時間を予め定められた数で割って得られた期間を許容時間として設定してよい。この場合、特徴音抽出部１０９４は、例えば１０日前に撮像した画像を出力するときには、撮像時刻の前後１日の間に録音された音声から音楽を抽出する。また、特徴音抽出部１０９４は、１０年前に撮像した画像を出力するときには、撮像時刻の前後１年の間に録音された音声の中から音楽を抽出する。
【００７８】
以上説明した出力装置１０４０によれば、例えば観光地を移動する車内で聴いたＦＭ放送の音楽、観光地で立ち寄った店内を流れていた有線放送の音楽等、ユーザ１８０が訪れた場所で流れていた音楽を適切に判断して、その音楽をダウンロードしてきて画像とともに再生することができる。また、出力装置１０４０は、ユーザ１８０が訪れた場所の環境音と同種の環境音をダウンロードして画像とともに再生することができる。また、出力装置１０４０は、より過去に撮像された画像を出力するときには、撮像された時刻を含むより広い時間範囲で録音された音声の中から音楽、環境音を含む音声を選択するので、ユーザ１８０は撮像当時に最も流行していた音楽を思い出しながら楽しく画像を鑑賞することができる。
【００７９】
図１２は、出力装置１４０、撮像装置６００、及び出力装置１０４０に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００８０】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００８１】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して出力装置１４０、撮像装置６００、又は出力装置１０４０と通信し、出力装置１４０、撮像装置６００、又は出力装置１０４０にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００８２】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００８３】
ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して出力装置１４０、撮像装置６００、又は出力装置１０４０に送信される。出力装置１４０、撮像装置６００、又は出力装置１０４０に送信されたプログラムは、出力装置１４０、撮像装置６００、又は出力装置１０４０においてインストールされて実行される。
【００８４】
出力装置１４０にインストールされて実行されるプログラムは、出力装置１４０を図１から図５において説明した出力装置１４０として機能させる。また、撮像装置６００にインストールされて実行されるプログラムは、撮像装置６００を、図６から図９において説明した撮像装置６００として機能させる。また、出力装置１０４０にインストールされて実行されるプログラムは、出力装置１０４０を、図１０及び図１１において説明した出力装置１０４０として機能させる。
【００８５】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【００８６】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００８７】
【図１】音声提供システムの一例を示す図である。
【図２】出力装置１４０のブロック構成の一例を示す図である。
【図３】説明音データベース１７０が格納するデータの一例をテーブル形式で示す図である。
【図４】画像が撮像された位置の分布の一例を示す図である。
【図５】画像が撮像された時刻の分布の一例を示す図である。
【図６】撮像装置６００のブロック構成の一例を示す図である。
【図７】音楽データベース１７２が格納するデータの一例をテーブル形式示す図である。
【図８】撮像装置６００が録音する音声と時間範囲の一例を示す図である。
【図９】音楽を取得する手順の一例を示す図である。
【図１０】出力装置１０４０のブロック構成の一例を示す図である。
【図１１】許容時間の一例を示す図である。
【図１２】コンピュータ１５００のハードウェア構成の一例を示す図である。
【符号の説明】
【００８８】
１００ 撮像装置
１４０ 出力装置
１５０ 通信回線
１７０ 説明音データベース
１７２ 音楽データベース
１７４ 環境音データベース
１８０ ユーザ
２１０ 画像格納部
２２４ 出力部
２６２ 音声取得部
２７８ 画像選択部
２８２ 撮像領域判断部
２８４ 撮像期間判断部
２８６ 撮像位置分布算出部
２８８ 撮像枚数算出部
６００ 撮像装置
６０２ 撮像部
６５０ 録音部
６６０ 条件格納部
６７０ 表示部
６９２ モード設定部
６９４ 特徴音抽出部
６９６ 音声取得部
６９８ データ格納部
１０１０ 画像格納部
１０２０ 音声格納部
１０２４ 出力部
１０４０ 出力装置
１０４３ 許容時間設定部
１０４８ 出力要求取得部
１０６０ 条件格納部
１０９４ 特徴音抽出部
１０９６ 音声取得部
１０４４ 出力時刻検出部
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、出力装置、及びプログラムに関する。特に本発明は、画像を撮像する撮像装置及び撮像方法、並びに画像を出力する出力装置及び出力方法、並びに当該撮像装置及び当該出力装置用のプログラムに関する。
【背景技術】
【０００２】
従来、静止画だけでなく動画もメモリカードに記録することができるデジタルスチルカメラがある。このようなデジタルスチルカメラでは、静止画や動画の撮影記録時にマイクロホンで検出した音声を画像に対応させて記録できる（例えば、特許文献１参照。）。また、デジタルスチルカメラで撮影した静止画や動画を表示しながら、画像に対応させて記録された音声を再生することができる電子フォトスタンドが知られている。
【特許文献１】特開平７−１５４７３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このようなカメラ及び電子フォトスタンドによって、例えば、撮影記録時に周囲で流れていた音楽とともに、撮影した画像を鑑賞することができる。しかし、このようなカメラでは、撮影記録時に流れていた音声しか記録できない。他にも、例えばインターネット、ＣＤ等からデジタルデータとして取得することのできる音楽データ等に比べて、マイクロホンから録音された音楽は低音質である場合が多い。このため、ユーザは再生される音楽に不満を持ってしまう場合がある。また、ユーザにとっては画像と音声の編集等の煩雑な作業をすることなく、撮影した画像と音楽とを簡単に鑑賞することができることが望ましい。また、音楽の他にも、波の音、鳥の鳴き声等、撮像時の環境音と同種の音声をより高い音質で画像とともに鑑賞することができることが望ましい。
【０００４】
そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、出力装置、出力方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態における撮像装置は、撮像部と、撮像部の周囲の音声を録音する録音部と、録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部と、複数の種類の音声を格納する音声データベースから、特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部と、音声取得部が取得した音声と撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部とを備える。
【０００６】
特徴音抽出部は、撮像部が画像を撮像した時刻から予め設定された時間内に、録音部が録音した音声から予め定められた種類の音声を抽出してよい。
【０００７】
撮像部が有する受光素子により受光した光の画像を表示する表示部と、表示部が画像を表示している状態の動作モードである撮像モード、又は表示部が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置を設定するモード設定部とをさらに備え、録音部は、モード設定部が撮像モードに設定している場合、及びモード設定部が非撮像モードに設定している場合の双方において、撮像部の周囲の音声を録音してよい。
【０００８】
特徴音抽出部は、モード設定部が撮像モードに設定している時間を含み、モード設定部が撮像モードに設定している時間より長い、予め設定された時間内に、録音部が録音した音声から予め定められた種類の音声を抽出してよい。音声データベースは、複数の音楽を格納しており、特徴音抽出部は、録音部が録音した音声から音楽を抽出し、音声取得部は、音声データベースから、特徴音抽出部が抽出した音楽と同一の音楽を取得してよい。
【０００９】
特徴音抽出部が抽出する環境音のそれぞれの種類を特定する条件を予め格納する条件格納部をさらに備え、音声データベースは、環境音の種類別に複数の環境音を格納しており、特徴音抽出部は、条件格納部が格納する条件に一致する環境音を、録音部が録音した音声から抽出し、音声取得部は、音声データベースから、特徴音抽出部が抽出した環境音と同一の種類の環境音を取得し、データ格納部は、音声取得部が取得した環境音と撮像部が撮像した画像とを同期して出力させるべく対応づけて格納してよい。
【００１０】
音声データベースは、時代別に複数の音楽を格納しており、特徴音抽出部は、録音部が録音した音声から音楽を抽出し、音声取得部は、音声データベースから、特徴音抽出部が抽出した音楽と同じ時代の音楽を取得してよい。音声データベースは、ジャンル別に複数の音楽を格納しており、音声取得部は、音声データベースから、特徴音抽出部が抽出した音楽と同じジャンルの音楽を取得してよい。
【００１１】
本発明の第２の形態における撮像方法は、画像を撮像部により撮像する撮像段階と、撮像部の周囲の音声を録音する録音段階と、録音段階において録音された音声から予め定められた種類の音声を抽出する特徴音抽出段階と、複数の種類の音声を格納する音声データベースから、特徴音抽出段階において抽出された音声と同一の種類の音声を取得する音声取得段階と、音声取得段階において取得された音声と撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納段階とを備える。
【００１２】
本発明の第３の形態によると、画像を撮像する撮像装置用のプログラムであって、撮像装置を、画像を撮像する撮像部、撮像部の周囲の音声を録音する録音部、録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部、複数の種類の音声を格納する音声データベースから、特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部、音声取得部が取得した音声と撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部として機能させる。
【００１３】
本発明の第４の形態における出力装置は、撮像装置によって撮像された画像を格納する画像格納部と、撮像装置によって録音された音声を格納する音声格納部と、音声格納部が格納する音声から予め定められた種類の音声を抽出する特徴音抽出部と、複数の種類の音声を格納する音声データベースから、特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部と、音声取得部が取得した音声と画像格納部が格納する画像とを同期して出力する出力部とを備える。
【００１４】
画像格納部は、画像に対応づけて当該画像の撮像時刻を格納しており、音声格納部は、音声に対応づけて当該音声の録音時刻を格納しており、特徴音抽出部は、画像が撮像された時刻から予め設定された許容時間内に録音された音声から予め定められた種類の音声を抽出してよい。
【００１５】
画像格納部が格納する画像の出力要求を取得する出力要求取得部と、出力要求取得部が出力要求を取得した時刻と、画像格納部が格納する画像の撮像時刻との差がより大きい場合に、許容時間をより長く設定する許容時間設定部とをさらに備えてよい。
【００１６】
本発明の第５の形態における出力方法は、撮像装置によって撮像された画像を格納する画像格納段階と、撮像装置によって録音された音声を格納する音声格納段階と、音声格納段階において格納される音声から予め定められた種類の音声を抽出する特徴音抽出段階と、複数の音楽を格納する音声データベースから、特徴音抽出段階において抽出された音声と同一の種類の音声を取得する音声取得段階と、音声取得段階において取得された音声と画像格納段階において格納される画像とを同期して出力する出力段階とを備える。
【００１７】
本発明の第６の形態によると、画像を出力する出力装置用のプログラムであって、出力装置を、画像を撮像する撮像部、撮像部の周囲の音声を録音する録音部、録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部、複数の種類の音声を格納する音声データベースから、特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部、音声取得部が取得した音声と撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部として機能させる。
【００１８】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００１９】
本発明によれば、画像を撮像したときに流れていた種類の音声を、画像とともに容易に得ることができる撮像装置及び出力装置を提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２１】
図１は、本発明の一実施形態に係る音声提供システムの一例を示す。音声提供システムは、撮像装置１００、出力装置１４０、説明音データベース１７０、音楽データベース１７２、及び環境音データベース１７４を有する。この例では、撮像装置１００は、観光地において記念写真を撮像する。撮像装置１００は、撮像装置１００が撮像した画像及び撮像したときの撮像位置を、インターネット等の通信回線１５０を通じて出力装置１４０に送信する。音楽データベース１７２は、複数の音楽を格納している。また、環境音データベース１７４は、環境音の種類別に複数の環境音を格納している。なお、本実施形態における音楽データベース１７２及び環境音データベース１７４は、この発明における音声データベースの一例である。
【００２２】
出力装置１４０は、撮像装置１００から受け取った撮像位置に関する音声データ、例えば観光地の特色を説明する音声データを説明音データベース１７０から取得して、撮像装置１００から受け取った画像とともに出力する。なお、撮像装置１００は、撮像装置１００の周囲の音声を録音しておき、出力装置１４０は、撮像装置１００で録音された音声を受け取ってもよい。そして出力装置１４０は、当該音声の中から音楽を抽出して、抽出した音楽と同じ音楽を音楽データベース１７２から取得して、画像とともに出力してもよい。また、出力装置１４０は、当該音声の中から波の音、鳥の鳴き声等の環境音を抽出して、抽出した環境音と同じ種類の環境音を環境音データベース１７４から取得して、画像とともに出力してもよい。なお、出力装置１４０は、説明音データベース１７０から取得した音声データと、音楽データベース１７２から取得した音楽又は環境音データベース１７４から取得した環境音とを同時に出力してもよい。
【００２３】
出力装置１４０は、例えば、ＨＤＴＶ、電子フォトスタンド、コンピュータ等の、画像及び音声を出力する装置であってよい。また、出力装置１４０は、音声を文字として出力してもよい。例えば、出力装置１４０は、液晶等の表示デバイスに画像を表示するときに、説明音データベース１７０から取得した音声及び／又は音楽データベース１７２から取得した音楽データに含まれる歌詞等を文字として表示デバイスに表示させてよい。なお、出力装置１４０は、画像を表示させる表示デバイスに文字を表示させてよく、画像を表示させる表示デバイスとは別の表示デバイスに文字を表示させてもよい。他にも、出力装置１４０は、プリンタ等の画像を印刷する印刷装置であってもよく、画像を印刷するとともに音声を文字として印刷してもよい。
【００２４】
撮像装置１００は、例えば、デジタルスチルカメラ、カメラ付携帯電話等であってよい。また、撮像装置１００が画像及び音声データを記録媒体に記録して、出力装置１４０は当該記録媒体から画像及び音声データを受け取ってもよい。また、撮像装置１００は、画像及び音声データを、通信回線１５０に接続されたサーバの、ユーザ１８０毎にそれぞれ設けられたディレクトリ、例えば撮像装置１００と関連付けられたディレクトリに格納してもよい。そして出力装置１４０は、ユーザ１８０毎にサーバに格納された画像及び音声データを受け取ってもよい。
【００２５】
以上説明した出力装置１４０によれば、撮像装置１００で撮像した画像を、撮像した場所に関する音声とともにユーザ１８０に提供することができる。このため、ユーザ１８０は、観光地等の特色等を思い出しながら、楽しく画像を鑑賞することができる。また、撮像装置１００で撮像したときに周囲で流れていた音楽、周囲の波の音等の環境音等を、ユーザ１８０に提供することができる。このため、ユーザ１８０は、観光地等を訪れたときに流行していた音楽を聴きながら、楽しく画像を鑑賞することができる。
【００２６】
図２は、出力装置１４０のブロック構成の一例を示す。出力装置１４０は、画像格納部２１０、画像選択部２７８、撮像領域判断部２８２、撮像期間判断部２８４、撮像位置分布算出部２８６、撮像枚数算出部２８８、出力部２２４、及び音声取得部２６２を備える。
【００２７】
画像格納部２１０は、撮像された画像と、当該画像が撮像された位置とを対応づけて格納する。例えば、撮像装置１００は、画像を撮像したときの撮像装置１００の位置における緯度及び経度情報をＧＰＳ衛星から受信する。そして、画像格納部２１０は、撮像装置１００から受け取った画像を、撮像装置１００が検出した緯度及び経度情報と対応づけて格納する。
【００２８】
画像選択部２７８は、画像格納部２１０が格納する画像から、ユーザ１８０の指示入力に基づいて複数の画像を選択する。撮像領域判断部２８２は、画像格納部２１０が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域を判断する。
【００２９】
具体的には、撮像領域判断部２８２は、画像選択部２７８が選択した複数の画像のそれぞれが撮像された複数の位置を含む撮像領域を判断する。例えば、撮像領域判断部２８２は、画像格納部２１０が格納する複数の画像のそれぞれが撮像された複数の撮像位置を含む撮像領域の地理的な範囲、例えば緯度及び経度の範囲を判断してよい。
【００３０】
撮像位置分布算出部２８６は、撮像領域判断部２８２が判断した撮像領域内における、画像格納部２１０が格納する複数の画像のそれぞれが撮像された複数の位置の分布を算出する。撮像枚数算出部２８８は、撮像領域判断部２８２が判断した撮像領域に含まれる複数の部分領域毎に、画像格納部２１０が格納する複数の画像のそれぞれが撮像された撮像枚数を算出する。
【００３１】
音声取得部２６２は、撮像領域判断部２８２が判断した撮像領域の広さに応じて説明音データベース１７０が格納する音声を取得する。具体的には、音声取得部２６２は、撮像領域判断部２８２が判断した撮像領域がより狭い場合に、撮像領域判断部２８２が判断した撮像領域についてのより詳しい説明の音声を取得する。
【００３２】
より具体的には、音声取得部２６２は、撮像位置分布算出部２８６が算出した分布の偏りが予め定められた偏りより大きい部分領域についての説明の音声を取得する。また、音声取得部２６２は、撮像枚数算出部２８８が算出した撮像枚数がより多い場合に、説明音データベース１７０が格納する部分領域についての詳しさが異なる複数の説明のうちのより詳しい説明の音声を取得する。
【００３３】
出力部２２４は、画像格納部２１０が格納する複数の画像とともに、音声取得部２６２が取得した音声を出力する。具体的には、出力部２２４は、画像選択部２７８が選択した複数の画像とともに、音声取得部２６２が取得した音声を出力する。
【００３４】
画像格納部２１０は、撮像された画像に対応づけて、当該画像が撮像された時刻をさらに格納する。撮像期間判断部２８４は、画像格納部２１０が格納する複数の画像のそれぞれが撮像された複数の時刻を含む撮像期間を判断する。具体的には、撮像期間判断部２８４は、画像選択部２７８が選択した複数の画像が撮像された複数の時刻を含む撮像期間を判断する。
【００３５】
そして、音声取得部２６２は、撮像期間判断部２８４が判断した撮像期間の長さにさらに応じて説明音データベース１７０が格納する音声を取得する。具体的には、音声取得部２６２は、撮像期間判断部２８４が判断した撮像期間がより長い場合に、撮像領域判断部２８２が判断した撮像領域についてのより詳しい説明の音声を取得する。
【００３６】
図３は、説明音データベース１７０が格納するデータの一例をテーブル形式で示す。説明音データベース１７０は、領域に対応づけて、領域の位置する範囲を示す位置範囲及び領域についての音声データを格納する。位置範囲は、例えば、領域が含まれる領域の起点となる緯度及び経度、並びに、終点となる緯度及び経度を含んでよい。なお、位置範囲には、領域の位置する複数の範囲を含んでよい。音声データは、例えば、各領域についての詳しさの異なる複数の音声データ、例えば概要説明、詳細説明の音声データを含んでよい。また、音声データには、各領域に関するニュース等を含んでもよい。
【００３７】
例えば、日本についての概要説明データとは、日本全体の特色、人口、面積等を説明する音声データであってよい。また、日本についての詳細を説明する音声データとは、日本に含まれる各地域の特色、人口、面積等を説明する音声データであってよく、日本の歴史等を説明する音声データであってもよい。
【００３８】
図４は、画像が撮像された位置の分布の一例を示す。図４の例では、画像格納部２１０は、長崎、広島、京都、静岡、東京、及び北海道で撮像した、それぞれ１０枚、９枚、１０枚、７枚、８枚、及び６枚の画像を格納している。撮像領域判断部２８２は、例えば、予め定めた緯度及び経度範囲毎の部分領域に区切り、画像が撮像された位置を含む部分領域を判断する。撮像枚数算出部２８８は、部分領域のそれぞれで撮像された画像の枚数を算出する。そして、撮像位置分布算出部２８６は、画像が撮像された位置が含まれる部分領域の分布を判断する。
【００３９】
そして、音声取得部２６２は、撮像位置が広い範囲に分布しているか否かを判断する。例えば、音声取得部２６２は、長崎で撮像した画像が画像選択部２７８によって選択されたときには、撮像位置が狭い範囲に分布していると判断して、日本をより詳しく説明する音声データとして、例えば長崎を説明する音声データを説明音データベース１７０から取得する。また、長崎、広島、京都、静岡、東京、及び北海道で撮像した画像が画像選択部２７８によって選択された場合には、撮像位置がより広い範囲に分布していると判断して、撮像領域についての概要を説明する音声データとして、例えば日本を説明する音声データを説明音データベース１７０から取得する。
【００４０】
なお、撮像枚数算出部２８８によって算出される枚数がより多い場合には、音声取得部２６２は、それぞれの撮像領域についてのより詳しい説明の音声データを説明音データベース１７０から取得し、枚数がより少ない場合は、それぞれの撮像領域についてのより概要を説明する音声データを説明音データベース１７０から取得してよい。
【００４１】
また、音声取得部２６２は、選択された枚数に対する、特定の部分領域で撮像された画像の枚数の比率を計算して、当該比率が予め定めた比率よりも大きい場合に、当該特定の部分領域について説明する音声データを説明音データベース１７０から取得する。例えば、画像格納部２１０が、長崎、広島、京都、東京、及び北海道で撮像した、それぞれ６枚、７枚、３０枚、４枚、３枚の合計５０枚の画像を格納しており、半数以上の３０枚が京都で撮像された画像である場合には、音声取得部２６２は、京都を説明する音声データを説明音データベース１７０から取得する。このため、出力装置１４０は、ユーザ１８０が特に多く撮像した場所について説明する音声をユーザ１８０に提供することができる。
【００４２】
図５は、画像が撮像された時刻の分布の一例を示す。撮像期間判断部２８４は、画像が撮像された時間範囲を、部分領域毎に判断する。例えば、撮像期間判断部２８４は、長崎、広島、京都、静岡、東京、及び北海道のそれぞれを含む部分領域で撮像された時間範囲（ｔ１〜ｔ１０、ｔ１１〜ｔ１９、ｔ２０〜ｔ２９、ｔ３０〜ｔ３６、ｔ３７〜ｔ４４、及びｔ４５〜ｔ５０）を判断する。
【００４３】
そして、音声取得部２６２は、撮像期間の長さを判断する。例えば、音声取得部２６２は、長崎で撮像した画像が画像選択部２７８によって選択されたときには、長崎で撮像された期間（ｔ１〜ｔ１０）がより短いと判断して、長崎を説明する音声データを説明音データベース１７０から取得する。また、長崎、広島、京都、静岡、東京、及び北海道で撮像した画像が画像選択部２７８によって選択された場合には、撮像された期間（ｔ１〜ｔ５０）がより長いと判断して、撮像領域についての詳しい説明の音声データとして、例えば日本の詳しい説明の音声データを説明音データベース１７０から取得する。
【００４４】
そして、音声取得部２６２は、選択された画像が撮像された期間に対する、特定の部分領域で撮像された期間の比率を計算して、当該比率が予め定めた比率よりも大きい場合に、当該特定の部分領域について説明する音声データを説明音データベース１７０から取得する。例えば、画像格納部２１０が、長崎、広島、京都、東京、及び北海道で撮像した画像を格納している場合に、京都で撮像された期間（ｔ６４〜ｔ９３）が、選択された画像が撮像された期間の合計（ｔ５１〜ｔ５６、ｔ５７〜ｔ６３、ｔ６４〜ｔ９３、ｔ９４〜ｔ９７、ｔ９８〜ｔ１０の合計期間）の半分の期間以上である場合に、音声取得部２６２は京都について説明する音声データを説明音データベース１７０から取得する。このため、出力装置１４０は、ユーザ１８０が特に長く滞在して撮像した場所について説明する音声をユーザ１８０に提供することができる。
【００４５】
図６は、撮像装置６００のブロック構成の一例を示す。撮像装置６００は、図１で説明した撮像装置１００の他の例であって、特に撮像された画像とともに録音された音声から音楽、環境音等の特徴的な音声を抽出して格納する機能を有する。撮像装置６００は、モード設定部６９２、撮像部６０２、表示部６７０、データ格納部６９８、録音部６５０、特徴音抽出部６９４、条件格納部６６０、及び音声取得部６９６を備える。
【００４６】
撮像部６０２は、画像を撮像する。撮像部６０２は、具体的には、被写体からの光をＣＣＤ等の撮像デバイスで受光して、被写体を撮像する。なお、撮像部６０２は所定の時間間隔で連続的に被写体を撮像してもよい。そして、撮像部６０２は、連続的に撮像して得られる所定の個数の画像を保持してもよい。そして、撮像部６０２は、撮像部６０２が保持している画像のうち、撮像を指示された時刻に最も近いタイミングで撮像された画像を撮像画像としてもよい。
【００４７】
表示部６７０は、撮像部６０２が有する受光素子により受光した光の画像を表示する。モード設定部６９２は、表示部６７０が画像を表示している状態の動作モードである撮像モード、又は表示部６７０が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置６００を設定する。
【００４８】
録音部６５０は、撮像部６０２の周囲の音声を録音する。なお、録音部６５０は、モード設定部６９２が撮像モードに設定している場合、及びモード設定部６９２が非撮像モードに設定している場合の双方において、撮像部６０２の周囲の音声を録音する。
【００４９】
特徴音抽出部６９４は、録音部６５０が録音した音声から予め定められた種類の音声を抽出する。例えば、特徴音抽出部６９４は、録音部６５０が録音した音声から音楽を抽出する。この場合、特徴音抽出部６９４は、音声の周波数スペクトルに基づいて基本周波数を抽出して、音階を決定する。そして、特徴音抽出部６９４は、決定した音階に基づいて、リズム、テンポ、調性等の音楽の特徴量を判断して、音符データを抽出する。また、特徴音抽出部６９４は、更に、音符データに基づいて音楽のコード進行を抽出してもよい。
【００５０】
条件格納部６６０は、特徴音抽出部６９４が抽出する環境音のそれぞれの種類を特定する条件を予め格納する。具体的には、条件格納部６６０は、犬、鳥の鳴き声、虫の鳴き声、波の音等の環境音の種類毎に、それぞれの種類の環境音に特徴的な周波数スペクトルを格納する。そして、特徴音抽出部６９４は、条件格納部６６０が格納する条件に一致する環境音を、録音部６５０が録音した音声から抽出する。例えば、特徴音抽出部６９４は、条件格納部６６０が格納する周波数スペクトルに予め定められた一致度以上で一致する環境音を、録音部６５０が録音した音声から抽出する。なお、条件格納部６６０は、環境音の音声そのものを、環境音の種類毎に格納してよい。この場合、特徴音抽出部６９４は、条件格納部６６０が格納する環境音の音声と録音部６５０が録音した音声とを比較して、音声の特徴量（例えば、周波数スペクトル等）が最も一致度の高い環境音を抽出して、当該環境音の種類を決定してよい。
【００５１】
なお、特徴音抽出部６９４は、撮像部６０２が画像を撮像した時刻から予め設定された時間内に、録音部６５０が録音した音声から予め定められた種類の音声を抽出する。例えば、特徴音抽出部６９４は、撮像部６０２が画像を撮像した時刻から予め設定された時間内に、録音部６５０が録音した音声から音楽又は環境音を抽出する。具体的には、特徴音抽出部６９４は、モード設定部６９２が撮像モードに設定している時間を含み、モード設定部６９２が撮像モードに設定している時間より長い予め設定された時間内に、録音部６５０が録音した音声から予め定められた種類の音声を抽出する。より具体的には、特徴音抽出部６９４は、モード設定部６９２が撮像モードに設定している時間を含み、モード設定部６９２が撮像モードに設定している時間より長い、予め設定された時間内に、録音部６５０が録音した音声から音楽又は環境音を抽出する。
【００５２】
音楽データベース１７２は、時代別に複数の音楽を格納する。また、音楽データベース１７２は、ジャンル別に複数の音楽を格納する。具体的には、音楽データベース１７２は、音楽データに対応づけて、音楽のジャンル及び時代を格納する。また、音楽データベース１７２は、音楽データに対応づけて、音符データ、リズム、テンポ、調性、及びコード進行等の、音楽の特徴量を格納してよい。他にも、音楽データベース１７２は、音楽データに対応づけて、当該音楽に関連する人物、例えば作曲者、作詞者、編曲者、演奏者等を格納してもよい。また、音楽データベース１７２は、音楽データに対応づけて、当該音楽が発信される地域の位置を示す発信位置、発信される発信時刻、及び発信手段を格納してもよい。なお、発信手段とは、例えばラジオ、有線等であってよい。また、発信時刻とは、例えば放送局の番組データ等、音楽が放送されるべき時刻を示す情報であってよい。また、音楽データベース１７２は、音楽データに対応づけて、当該音楽が複数の地域においてヒットした程度を示す情報を、地域毎及び時代毎に格納してもよい。
【００５３】
音声取得部６９６は、複数の種類の音声を格納する音声データベースから、特徴音抽出部６９４が抽出した音声と同一の種類の音声を取得する。具体的には、音声取得部６９６は、音楽データベース１７２から、特徴音抽出部６９４が抽出した音楽と同一の音楽を取得する。具体的には、音声取得部６９６は、特徴音抽出部６９４が抽出した音符データと一致する音符データを有する音楽を音楽データベース１７２から取得する。このとき、音声取得部６９６は、撮像部６０２が画像を撮像したタイミングにおいて撮像装置６００の撮像位置及び撮像時刻を検出し、当該撮像位置を含む発信位置及び当該撮像時刻を含む発信時刻に対応づけて音楽データベース１７２に格納された音楽データの中から、特徴音抽出部６９４が抽出した音楽と同一の音楽を取得してよい。このとき、音声取得部６９６は、音楽データベース１７２に格納された音楽データのうち、撮像位置を含む地域及び撮像時刻を含む時代においてヒットした程度がより高い音楽を優先して検索し、取得してよい。また、音声取得部６９６は、音楽が発信されるべき発信手段を撮像位置に基づいて特定して、当該発信手段によって発信される音楽から順に検索してもよい。例えば、音声取得部６９６は、住宅街で録音された音楽を取得する場合には、ラジオ放送で放送されるべき音楽から順に検索し、遊園地等で録音された音楽を取得する場合には、有線放送によって放送されるべき音楽から順に検索してよい。
【００５４】
また、音声取得部６９６は、複数の音楽を格納する音楽データベース１７２から、特徴音抽出部６９４が抽出した音楽と同一の種類の音楽を取得する。具体的には、音声取得部６９６は、音楽データベース１７２から、特徴音抽出部６９４が抽出した音楽と同じ時代の音楽を取得する。また、音声取得部６９６は、音楽データベース１７２から、特徴音抽出部６９４が抽出した音楽と同じジャンルの音楽を取得する。具体的には、音声取得部６９６は、特徴音抽出部６９４が抽出したリズム、テンポ、調性、及びコード進行等の特徴量に基づいて音楽のジャンル及び／又は時代を特定して、特定したジャンル及び／又は時代の音楽を音楽データベース１７２から取得する。他にも、音声取得部６９６は、特徴音抽出部６９４が抽出した特徴量に基づいて、当該特徴量の音楽を音楽データベース１７２を検索することによって、当該音楽に関連する人物を特定して、特定した人物に対応づけられた音楽を音楽データベース１７２から取得してもよい。なお、音声取得部６９６は、音楽データベース１７２に格納された音楽データのうち、撮像位置を含む地域及び撮像時刻を含む期間においてヒットした程度が最も高い音楽を取得してよい。
【００５５】
また、音声取得部６９６は、環境音データベース１７４から、特徴音抽出部６９４が抽出した環境音と同一の種類の環境音を取得する。なお、条件格納部６６０が環境音そのものを格納している場合には、音声取得部６９６は、特徴音抽出部６９４が抽出した音声と同種の音声を条件格納部６６０から取得してもよい。
【００５６】
データ格納部６９８は、音声取得部６９６が取得した音声と撮像部６０２が撮像した画像とを同期して出力させるべく対応づけて格納する。具体的には、データ格納部６９８は、音声取得部６９６が取得した音楽と撮像部６０２が撮像した画像とを同期して出力させるべく対応づけて格納する。他にも、データ格納部６９８は、音声取得部６９６が取得した環境音と撮像部６０２が撮像した画像とを同期して出力させるべく対応づけて格納する。以上説明した撮像装置６００によれば、撮像装置６００によって撮像したときに撮像装置６００の周囲を流れていたＢＧＭと同じ音楽を、画像とともにユーザ１８０に提供することができる。また、撮像装置６００は、撮像時の周囲の環境音を画像とともにユーザ１８０に提供することができる。
【００５７】
図７は、音楽データベース１７２が格納するデータの一例をテーブル形式示す。音楽データベース１７２は、音楽データに対応づけて、時代、音楽が属するジャンル、音楽が有するリズム、音楽が有するテンポ、音楽が有する調性、音楽が有するコード進行、音楽の楽譜を示す音符データ、音楽の原盤権を保有するレコード会社、音楽を制作したレーベル、音楽がヒットしたヒット度を格納する。なお、音楽データベース１７２が格納する時代とは、音楽が作成された時代、音楽が発表された時代、音楽が流行した時代等であってよい。なお、音楽データベース１７２は、本図において例示した属性の他に、音楽をプロデュースしたプロデューサ、音楽が含まれる音楽アルバム、音楽をダウンロードする場合に課金される課金情報等、音楽に関連する様々な属性を格納してよいことは言うまでもない。
【００５８】
図８は、撮像装置６００が録音する音声と時間範囲の一例を示す。撮像装置６００は、動作モードとして、撮像モード、出力モード、及び待機モードを有する。撮像モードとは、撮像装置６００が撮像及び／又は録音することのできる動作モードであってよい。また、出力モードは、例えば、撮像装置６００が画像及び／又は音声を出力することのできる動作モードであってよい。なお、非撮像モードは、出力モード及び待機モードを含む。そして、撮像装置６００は、撮像モードに設定されている期間（ｔ１〜ｔ３）、出力モードに設定されている期間（ｔ３〜ｔ４）、及び待機モードに設定されている期間（ｔ０〜ｔ１及びｔ４〜ｔ５）における撮像装置６００の周囲の音声を録音する。
【００５９】
なお、撮像装置６００は、起動された直後には撮像装置６００は待機モードに設定される。撮像装置６００は、動作モードが待機モード又は出力モードに設定されている場合に、ユーザ１８０によって撮像動作又は録音動作に関する操作がなされた場合に撮像モードに遷移する。撮像動作に関する操作は、例えば、画像を撮像する操作、シャッタスピード、焦点距離等の、撮像条件を調整する操作等を含む。また、録音動作に関する操作は、例えば、音声を録音する操作、録音感度の調整等の、録音条件を調整する操作等を含む。また、撮像装置６００は、動作モードが待機モード又は撮像モードに設定されている場合に、ユーザ１８０によって撮像装置６００の出力動作に関する操作がなされた場合に、出力モードに遷移する。出力動作に関する操作は、例えば、画像を出力する操作、出力する画像を選択する操作、出力速度の調節等の、出力条件を調整する操作等を含む。なお、撮像装置６００は、撮像装置６００が撮像モード又は出力モードに設定されている場合に、ユーザ１８０による撮像装置６００の操作が所定の期間操作されなかったことを条件として、待機モードに遷移してよい。
【００６０】
特徴音抽出部６９４は、撮像時刻ｔ２から予め定めた時間だけ前又は後の時間範囲において、録音部６５０で録音された音声から音楽を抽出する。例えば、撮像装置６００がユーザ１８０から時刻ｔ２において撮像するよう指示された場合に、特徴音抽出部６９４は、撮像時刻ｔ２を含む撮像モードに設定されていた期間（ｔ１〜ｔ３）を含む、待機モード又は出力モードに設定されていた期間、例えば期間（ｔ０〜ｔ５）において録音された音声から音楽を抽出する。
【００６１】
なお、特徴音抽出部６９４は、撮像時刻ｔ２を含む、期間（ｔ０〜ｔ５）において録音部６５０によって録音された音声のうち、撮像時刻ｔ２の最も近い時刻で録音された音声から音楽を抽出してよい。また、特徴音抽出部６９４は、最も音量の大きい音量の音声の中から音楽を抽出してよい。
【００６２】
図９は、音楽を取得する手順の一例を示す。特徴音抽出部６９４は、録音部６５０が録音した音声から撮像した時刻を含む期間の音声を抽出する（Ｓ９１２）。そして、特徴音抽出部６９４は、Ｓ９１２で抽出した期間の音声から、音楽の特徴量を抽出する（Ｓ９１４）。音楽の特徴量とは、例えば音符データ、リズム、テンポ、調性、コード進行等であってよい。
【００６３】
そして、音声取得部６９６は、特徴音抽出部６９４が抽出した音符データと一致する音楽を音楽データベース１７２の中から検索する（Ｓ９１６）。そして、特徴音抽出部６９４は、抽出した音符データと一致する音楽が音楽データベース１７２に格納されているか否かを判断する（Ｓ９１８）。音声取得部６９６は、Ｓ９１８において、一致する音楽があると判断した場合には、音楽データベース１７２の中から一致する音楽を取得する（Ｓ９２０）。
【００６４】
音声取得部６９６は、Ｓ９１８において一致する音楽がないと判断した場合には、特徴音抽出部６９４がＳ９１４で抽出した音楽の特徴量に基づいて、Ｓ９１２で抽出した音楽と同じジャンル及び／又は年代を特定する（Ｓ９２２）。例えば、音声取得部６９６は、音楽データベース１７２に格納された音楽の中で、最も類似する特徴量を持つ音楽を最も多く含むジャンル及び／又は時代を特定する。そして、音声取得部６９６は、Ｓ９２２で特定したジャンル及び／又は年代の音楽を、音楽データベース１７２に格納された音楽の中から取得する（Ｓ９２４）。また、音声取得部６９６は、Ｓ９２２において、ジャンル、年代の他にも、類似する特徴量を持つ最も多くの音楽に対応づけて音楽データベース１７２が格納しているレコード会社又はレーベルを特定してよい。そして、音声取得部６９６は、Ｓ９２４において、Ｓ９２２において特定したレコード会社又はレーベルの音楽を、音楽データベース１７２に格納された音楽の中から取得してよい。なお、Ｓ９２４において、音声取得部６９６は、同じ種類の音楽が複数存在する場合には、音楽データベース１７２が格納するヒット度が最も高い音楽を取得してよい。
【００６５】
なお、音声取得部６９６は、Ｓ９１８で同一の音楽と判断された音楽が音楽データベース１７２から複数検索された場合は、検索された複数の音楽を音楽データベース１７２から取得してユーザ１８０に選択させてもよい。また、音声取得部６９６は、Ｓ９２４においても、音楽データベース１７２から取得した同じジャンル及び／又は年代の音楽を複数取得して、ユーザ１８０に選択させてもよい。他にも、音声取得部６９６は、検索された複数の音楽のうち音楽データベース１７２が格納するヒット度が最も高い音楽を取得してよい。また、音声取得部６９６は、複数の音楽が検索された場合には、検索された複数の音楽のうち最も多い数の音楽に対応づけて音楽データベース１７２が格納しているレコード会社又はレーベルの音楽を特定してよい。そして、音声取得部６９６は、特定したレコード会社又はレーベルの年代の音楽を、音楽データベース１７２に格納された音楽の中から取得してよい。なお、Ｓ９２０において音声取得部６９６は、Ｓ９１８で同一の音楽と判断された音楽と同じレコード会社又はレーベルの音楽を音楽データベース１７２から取得してもよい。また、音声取得部６９６は、レコード会社又はレーベルの他にも、Ｓ９１８で同一の音楽と判断された音楽と同じ属性に対応づけて音楽データベース１７２に格納されている音楽を、音楽データベース１７２から取得してもよい。
【００６６】
以上、図７から図９にかけて、音声取得部６９６が音楽データベース１７２から音楽を取得する動作について説明したが、同様の動作によって、音声取得部６９６は環境音データベース１７４から環境音を取得することができる。また、音声取得部６９６は、音楽、環境音の他にも、画像に対応づけて記録すべき予め定められた様々な種類の音声を、音声データベースから取得してよいことは言うまでもない。
【００６７】
図１０は、出力装置１０４０のブロック構成の一例を示す。出力装置１０４０は、音声提供システムが有する出力装置１４０の他の一例であってよい。なお、撮像装置１００は、撮像した画像及び撮像したときの周囲の音声の他に、周囲の音声を録音した時刻も出力装置１０４０に送信する。
【００６８】
出力装置１０４０は、画像格納部１０１０、出力部１０２４、音声取得部１０９６、特徴音抽出部１０９４、条件格納部１０６０、音声格納部１０２０、許容時間設定部１０４３、出力時刻検出部１０４４、出力要求取得部１０４８を備える。
【００６９】
画像格納部１０１０は、撮像装置１００によって撮像された画像を格納する。また、画像格納部１０１０は、画像に対応づけて当該画像が撮像された撮像時刻を格納する。
【００７０】
音声格納部１０２０は、撮像装置１００によって録音された音声を格納する。音声格納部１０２０は、音声に対応づけて当該音声の録音時刻を格納する。具体的には、音声格納部１０２０は、撮像装置１００の周囲の音声を格納する。なお、録音時刻とは、音声の録音を開始した時刻であってよく、録音を終了した時刻であってよい。
【００７１】
特徴音抽出部１０９４は、音声格納部１０２０が格納する音声から予め定められた種類の音声を抽出する。具体的には、音声取得部１０９６は、複数の種類の音声を格納する音声データベースから、特徴音抽出部１０９４が抽出した音声と同一の種類の音声を取得する。例えば、特徴音抽出部１０９４は、音声格納部１０２０が格納する音声から音楽を抽出する。そして、音声取得部１０９６は、複数の音楽を格納する音楽データベース１７２から、特徴音抽出部１０９４が抽出した音楽と同一の種類の音楽を取得する。他にも、音声取得部１０９６は、環境音データベース１７４から、特徴音抽出部１０９４が抽出した環境音と同一の種類の環境音を取得する。なお、音声取得部１０９６が音楽又は環境音等の音声を取得する具体的な動作は、図９で説明した音声取得部６９６の動作と同一であるので、説明を省略する。
【００７２】
出力要求取得部１０４８は、画像格納部１０１０が格納する画像の出力要求を取得する。許容時間設定部１０４３は、出力要求取得部１０４８が出力要求を取得した時刻と、画像格納部１０１０が格納する画像の撮像時刻との差がより大きい場合に、音声を抽出する期間である許容時間をより長く設定する。そして、特徴音抽出部１０９４は、画像が撮像された時刻から予め設定された許容時間内に録音された音声から音楽を抽出する。出力部１０２４は、音声取得部１０９６が取得した音声と画像格納部１０１０が格納する画像とを同期して出力する。具体的には、出力部１０２４は、音声取得部１０９６が取得した音楽又は環境音と、画像格納部１０１０が格納する画像とを同期して出力する。
【００７３】
本実施形態の出力装置１０４０によれば、撮像した画像を、当該画像を撮像したときに流れていた音楽、例えば撮像当時に流行していた音楽とともにユーザ１８０に提供することができる。
【００７４】
図１１は、許容時間設定部１０４３が設定する許容時間の一例を示す。例えば、ユーザ１８０から、時刻ｔ１２で撮像された画像を出力する指示を時刻ｔ１３において受け付けた場合に、許容時間設定部１０４３は、出力を指示された時刻と出力される画像が撮像された時刻との差（ｔ１３−ｔ１２）に基づいて、特徴音抽出部１０９４に音楽を抽出する音声をさせる許容範囲Δｔ５２を決定する。そして、特徴音抽出部１０９４は、音声格納部１０２０に格納されている音声のうち、時刻ｔ１２からΔｔ５２だけ前又は後の時間範囲（時刻ｔ１２―Δｔ５２〜時刻ｔ１２＋Δｔ５２）に録音された音声の中から音楽を抽出する。
【００７５】
なお、特徴音抽出部１０９４は、時刻ｔ１２から許容範囲Δｔ５２だけ前の時刻から時刻ｔ１２までの間に録音された音声の中から音声を抽出してもよいし、時刻ｔ１２から許容範囲Δｔ５２だけ後の時刻までの間に録音された音声の中から音声を抽出してもよい。
【００７６】
また、許容時間設定部１０４３は、画像格納部１０１０が格納する撮像画像が撮像された時刻と、出力する指示を受け付けた時刻との差が大きいほど、許容時間をより大きく設定する。図１１の例では、許容時間設定部１０４３は、時刻ｔ１２よりも前の時刻ｔ１１に撮像された画像を出力するよう時刻ｔ１３において指示された場合には、許容範囲Δｔ５２に比べて時間的により長い許容範囲Δｔ５１を設定する。そして、特徴音抽出部１０９４は、時刻（ｔ１１−Δｔ５１）から時刻（ｔ１１＋Δｔ５１）までの時間範囲内で録音された音声の中から音楽を抽出する。
【００７７】
なお、許容時間設定部１０４３は、撮像された時刻と出力を指示された時刻との間の時間を予め定められた数で割って得られた期間を許容時間として設定してよい。この場合、特徴音抽出部１０９４は、例えば１０日前に撮像した画像を出力するときには、撮像時刻の前後１日の間に録音された音声から音楽を抽出する。また、特徴音抽出部１０９４は、１０年前に撮像した画像を出力するときには、撮像時刻の前後１年の間に録音された音声の中から音楽を抽出する。
【００７８】
以上説明した出力装置１０４０によれば、例えば観光地を移動する車内で聴いたＦＭ放送の音楽、観光地で立ち寄った店内を流れていた有線放送の音楽等、ユーザ１８０が訪れた場所で流れていた音楽を適切に判断して、その音楽をダウンロードしてきて画像とともに再生することができる。また、出力装置１０４０は、ユーザ１８０が訪れた場所の環境音と同種の環境音をダウンロードして画像とともに再生することができる。また、出力装置１０４０は、より過去に撮像された画像を出力するときには、撮像された時刻を含むより広い時間範囲で録音された音声の中から音楽、環境音を含む音声を選択するので、ユーザ１８０は撮像当時に最も流行していた音楽を思い出しながら楽しく画像を鑑賞することができる。
【００７９】
図１２は、出力装置１４０、撮像装置６００、及び出力装置１０４０に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００８０】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００８１】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して出力装置１４０、撮像装置６００、又は出力装置１０４０と通信し、出力装置１４０、撮像装置６００、又は出力装置１０４０にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００８２】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００８３】
ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して出力装置１４０、撮像装置６００、又は出力装置１０４０に送信される。出力装置１４０、撮像装置６００、又は出力装置１０４０に送信されたプログラムは、出力装置１４０、撮像装置６００、又は出力装置１０４０においてインストールされて実行される。
【００８４】
出力装置１４０にインストールされて実行されるプログラムは、出力装置１４０を図１から図５において説明した出力装置１４０として機能させる。また、撮像装置６００にインストールされて実行されるプログラムは、撮像装置６００を、図６から図９において説明した撮像装置６００として機能させる。また、出力装置１０４０にインストールされて実行されるプログラムは、出力装置１０４０を、図１０及び図１１において説明した出力装置１０４０として機能させる。
【００８５】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【００８６】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００８７】
【図１】音声提供システムの一例を示す図である。
【図２】出力装置１４０のブロック構成の一例を示す図である。
【図３】説明音データベース１７０が格納するデータの一例をテーブル形式で示す図である。
【図４】画像が撮像された位置の分布の一例を示す図である。
【図５】画像が撮像された時刻の分布の一例を示す図である。
【図６】撮像装置６００のブロック構成の一例を示す図である。
【図７】音楽データベース１７２が格納するデータの一例をテーブル形式示す図である。
【図８】撮像装置６００が録音する音声と時間範囲の一例を示す図である。
【図９】音楽を取得する手順の一例を示す図である。
【図１０】出力装置１０４０のブロック構成の一例を示す図である。
【図１１】許容時間の一例を示す図である。
【図１２】コンピュータ１５００のハードウェア構成の一例を示す図である。
【符号の説明】
【００８８】
１００ 撮像装置
１４０ 出力装置
１５０ 通信回線
１７０ 説明音データベース
１７２ 音楽データベース
１７４ 環境音データベース
１８０ ユーザ
２１０ 画像格納部
２２４ 出力部
２６２ 音声取得部
２７８ 画像選択部
２８２ 撮像領域判断部
２８４ 撮像期間判断部
２８６ 撮像位置分布算出部
２８８ 撮像枚数算出部
６００ 撮像装置
６０２ 撮像部
６５０ 録音部
６６０ 条件格納部
６７０ 表示部
６９２ モード設定部
６９４ 特徴音抽出部
６９６ 音声取得部
６９８ データ格納部
１０１０ 画像格納部
１０２０ 音声格納部
１０２４ 出力部
１０４０ 出力装置
１０４３ 許容時間設定部
１０４８ 出力要求取得部
１０６０ 条件格納部
１０９４ 特徴音抽出部
１０９６ 音声取得部
１０４４ 出力時刻検出部
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部の周囲の音声を録音する録音部と、
前記録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部と、
複数の種類の音声を格納する音声データベースから、前記特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部と、
前記音声取得部が取得した音声と前記撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部と
を備える撮像装置。
【請求項２】
前記特徴音抽出部は、前記撮像部が画像を撮像した時刻から予め設定された時間内に、前記録音部が録音した音声から予め定められた種類の音声を抽出する
請求項１に記載の撮像装置。
【請求項３】
前記撮像部が有する受光素子により受光した光の画像を表示する表示部と、
前記表示部が画像を表示している状態の動作モードである撮像モード、又は前記表示部が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置を設定するモード設定部と
をさらに備え、
前記録音部は、前記モード設定部が前記撮像モードに設定している場合、及び前記モード設定部が前記非撮像モードに設定している場合の双方において、前記撮像部の周囲の音声を録音する
請求項２に記載の撮像装置。
【請求項４】
前記特徴音抽出部は、前記モード設定部が前記撮像モードに設定している時間を含み、前記モード設定部が前記撮像モードに設定している時間より長い、予め設定された時間内に、前記録音部が録音した音声から予め定められた種類の音声を抽出する
請求項３に記載の撮像装置。
【請求項５】
前記音声データベースは、複数の音楽を格納しており、
前記特徴音抽出部は、前記録音部が録音した音声から音楽を抽出し、
前記音声取得部は、前記音声データベースから、前記特徴音抽出部が抽出した音楽と同一の音楽を取得する
請求項１に記載の撮像装置。
【請求項６】
前記音声データベースは、時代別に複数の音楽を格納しており、
前記特徴音抽出部は、前記録音部が録音した音声から音楽を抽出し、
前記音声取得部は、前記音声データベースから、前記特徴音抽出部が抽出した音楽と同じ時代の音楽を取得する
請求項１に記載の撮像装置。
【請求項７】
前記音声データベースは、ジャンル別に複数の音楽を格納しており、
前記特徴音抽出部は、前記録音部が録音した音声から音楽を抽出し、
前記音声取得部は、前記音声データベースから、前記特徴音抽出部が抽出した音楽と同じジャンルの音楽を取得する
請求項１に記載の撮像装置。
【請求項８】
前記特徴音抽出部が抽出する環境音のそれぞれの種類を特定する条件を予め格納する条件格納部
をさらに備え、
前記音声データベースは、環境音の種類別に複数の環境音を格納しており、
前記特徴音抽出部は、前記条件格納部が格納する条件に一致する環境音を、前記録音部が録音した音声から抽出し、
前記音声取得部は、前記音声データベースから、前記特徴音抽出部が抽出した環境音と同一の種類の環境音を取得し、
前記データ格納部は、前記音声取得部が取得した環境音と前記撮像部が撮像した画像とを同期して出力させるべく対応づけて格納する
請求項１に記載の撮像装置。
【請求項９】
画像を撮像部により撮像する撮像段階と、
前記撮像部の周囲の音声を録音する録音段階と、
前記録音段階において録音された音声から予め定められた種類の音声を抽出する特徴音抽出段階と、
複数の種類の音声を格納する音声データベースから、前記特徴音抽出段階において抽出された音声と同一の種類の音声を取得する音声取得段階と、
前記音声取得段階において取得された音声と前記撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納段階と
を備える撮像方法。
【請求項１０】
画像を撮像する撮像装置用のプログラムであって、前記撮像装置を、
画像を撮像する撮像部、
前記撮像部の周囲の音声を録音する録音部、
前記録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部、
複数の種類の音声を格納する音声データベースから、前記特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部、
前記音声取得部が取得した音声と前記撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部
として機能させるプログラム。
【請求項１１】
撮像装置によって撮像された画像を格納する画像格納部と、
前記撮像装置によって録音された音声を格納する音声格納部と、
前記音声格納部が格納する音声から予め定められた種類の音声を抽出する特徴音抽出部と、
複数の種類の音声を格納する音声データベースから、前記特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部と、
前記音声取得部が取得した音声と前記画像格納部が格納する画像とを同期して出力する出力部と
を備える出力装置。
【請求項１２】
前記画像格納部は、画像に対応づけて当該画像の撮像時刻を格納しており、
前記音声格納部は、音声に対応づけて当該音声の録音時刻を格納しており、
前記特徴音抽出部は、画像が撮像された時刻から予め設定された許容時間内に録音された音声から予め定められた種類の音声を抽出する
請求項１１に記載の出力装置。
【請求項１３】
前記画像格納部が格納する画像の出力要求を取得する出力要求取得部と、
前記出力要求取得部が出力要求を取得した時刻と、前記画像格納部が格納する画像の撮像時刻との差がより大きい場合に、前記許容時間をより長く設定する許容時間設定部と
をさらに備える請求項１２に記載の出力装置。
【請求項１４】
撮像装置によって撮像された画像を格納する画像格納段階と、
前記撮像装置によって録音された音声を格納する音声格納段階と、
前記音声格納段階において格納される音声から予め定められた種類の音声を抽出する特徴音抽出段階と、
複数の種類の音声を格納する音声データベースから、前記特徴音抽出段階において抽出された音声と同一の種類の音声を取得する音声取得段階と、
前記音声取得段階において取得された音声と前記画像格納段階において格納される画像とを同期して出力する出力段階と
を備える出力方法。
【請求項１５】
画像を出力する出力装置用のプログラムであって、前記出力装置を、
画像を撮像する撮像部、
前記撮像部の周囲の音声を録音する録音部、
前記録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部、
複数の種類の音声を格納する音声データベースから、前記特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部、
前記音声取得部が取得した音声と前記撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部
として機能させるプログラム。
【請求項１】
撮像部と、
前記撮像部の周囲の音声を録音する録音部と、
前記録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部と、
複数の種類の音声を格納する音声データベースから、前記特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部と、
前記音声取得部が取得した音声と前記撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部と
を備える撮像装置。
【請求項２】
前記特徴音抽出部は、前記撮像部が画像を撮像した時刻から予め設定された時間内に、前記録音部が録音した音声から予め定められた種類の音声を抽出する
請求項１に記載の撮像装置。
【請求項３】
前記撮像部が有する受光素子により受光した光の画像を表示する表示部と、
前記表示部が画像を表示している状態の動作モードである撮像モード、又は前記表示部が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置を設定するモード設定部と
をさらに備え、
前記録音部は、前記モード設定部が前記撮像モードに設定している場合、及び前記モード設定部が前記非撮像モードに設定している場合の双方において、前記撮像部の周囲の音声を録音する
請求項２に記載の撮像装置。
【請求項４】
前記特徴音抽出部は、前記モード設定部が前記撮像モードに設定している時間を含み、前記モード設定部が前記撮像モードに設定している時間より長い、予め設定された時間内に、前記録音部が録音した音声から予め定められた種類の音声を抽出する
請求項３に記載の撮像装置。
【請求項５】
前記音声データベースは、複数の音楽を格納しており、
前記特徴音抽出部は、前記録音部が録音した音声から音楽を抽出し、
前記音声取得部は、前記音声データベースから、前記特徴音抽出部が抽出した音楽と同一の音楽を取得する
請求項１に記載の撮像装置。
【請求項６】
前記音声データベースは、時代別に複数の音楽を格納しており、
前記特徴音抽出部は、前記録音部が録音した音声から音楽を抽出し、
前記音声取得部は、前記音声データベースから、前記特徴音抽出部が抽出した音楽と同じ時代の音楽を取得する
請求項１に記載の撮像装置。
【請求項７】
前記音声データベースは、ジャンル別に複数の音楽を格納しており、
前記特徴音抽出部は、前記録音部が録音した音声から音楽を抽出し、
前記音声取得部は、前記音声データベースから、前記特徴音抽出部が抽出した音楽と同じジャンルの音楽を取得する
請求項１に記載の撮像装置。
【請求項８】
前記特徴音抽出部が抽出する環境音のそれぞれの種類を特定する条件を予め格納する条件格納部
をさらに備え、
前記音声データベースは、環境音の種類別に複数の環境音を格納しており、
前記特徴音抽出部は、前記条件格納部が格納する条件に一致する環境音を、前記録音部が録音した音声から抽出し、
前記音声取得部は、前記音声データベースから、前記特徴音抽出部が抽出した環境音と同一の種類の環境音を取得し、
前記データ格納部は、前記音声取得部が取得した環境音と前記撮像部が撮像した画像とを同期して出力させるべく対応づけて格納する
請求項１に記載の撮像装置。
【請求項９】
画像を撮像部により撮像する撮像段階と、
前記撮像部の周囲の音声を録音する録音段階と、
前記録音段階において録音された音声から予め定められた種類の音声を抽出する特徴音抽出段階と、
複数の種類の音声を格納する音声データベースから、前記特徴音抽出段階において抽出された音声と同一の種類の音声を取得する音声取得段階と、
前記音声取得段階において取得された音声と前記撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納段階と
を備える撮像方法。
【請求項１０】
画像を撮像する撮像装置用のプログラムであって、前記撮像装置を、
画像を撮像する撮像部、
前記撮像部の周囲の音声を録音する録音部、
前記録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部、
複数の種類の音声を格納する音声データベースから、前記特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部、
前記音声取得部が取得した音声と前記撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部
として機能させるプログラム。
【請求項１１】
撮像装置によって撮像された画像を格納する画像格納部と、
前記撮像装置によって録音された音声を格納する音声格納部と、
前記音声格納部が格納する音声から予め定められた種類の音声を抽出する特徴音抽出部と、
複数の種類の音声を格納する音声データベースから、前記特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部と、
前記音声取得部が取得した音声と前記画像格納部が格納する画像とを同期して出力する出力部と
を備える出力装置。
【請求項１２】
前記画像格納部は、画像に対応づけて当該画像の撮像時刻を格納しており、
前記音声格納部は、音声に対応づけて当該音声の録音時刻を格納しており、
前記特徴音抽出部は、画像が撮像された時刻から予め設定された許容時間内に録音された音声から予め定められた種類の音声を抽出する
請求項１１に記載の出力装置。
【請求項１３】
前記画像格納部が格納する画像の出力要求を取得する出力要求取得部と、
前記出力要求取得部が出力要求を取得した時刻と、前記画像格納部が格納する画像の撮像時刻との差がより大きい場合に、前記許容時間をより長く設定する許容時間設定部と
をさらに備える請求項１２に記載の出力装置。
【請求項１４】
撮像装置によって撮像された画像を格納する画像格納段階と、
前記撮像装置によって録音された音声を格納する音声格納段階と、
前記音声格納段階において格納される音声から予め定められた種類の音声を抽出する特徴音抽出段階と、
複数の種類の音声を格納する音声データベースから、前記特徴音抽出段階において抽出された音声と同一の種類の音声を取得する音声取得段階と、
前記音声取得段階において取得された音声と前記画像格納段階において格納される画像とを同期して出力する出力段階と
を備える出力方法。
【請求項１５】
画像を出力する出力装置用のプログラムであって、前記出力装置を、
画像を撮像する撮像部、
前記撮像部の周囲の音声を録音する録音部、
前記録音部が録音した音声から予め定められた種類の音声を抽出する特徴音抽出部、
複数の種類の音声を格納する音声データベースから、前記特徴音抽出部が抽出した音声と同一の種類の音声を取得する音声取得部、
前記音声取得部が取得した音声と前記撮像部が撮像した画像とを同期して出力させるべく対応づけて格納するデータ格納部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−３０４２５７（Ｐ２００６−３０４２５７Ａ）
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願番号】特願２００５−３６１０６１（Ｐ２００５−３６１０６１）
【出願日】平成１７年１２月１４日（２００５．１２．１４）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願日】平成１７年１２月１４日（２００５．１２．１４）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
[ Back to top ]