画像編集装置、画像編集方法および画像編集プログラム
【課題】撮影者の意図を反映させた音を用いて、撮影時の背景や感情を強く共有することができる画像情報を生成することが可能な画像編集装置を提供する。
【解決手段】撮影した画像情報１１に含まれる撮像対象情報に関連付けられた音情報を該画像情報１１に付与する画像編集装置であって、撮影した画像情報１１から撮像対象情報と構図情報とを撮像対象判別手段１２により抽出し、前記撮像対象情報を基にして該撮像対象情報に関連付けられる音情報を音情報取得手段１３により取得した後、音情報編集手段１４により、撮像対象判別手段１２からの前記構図情報に基づき、音情報取得手段１３からの前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力し、撮像・音情報統合手段１５によって、前記画像情報と前記調整後音情報とを統合して画像・音統合情報１６として出力する。
【解決手段】撮影した画像情報１１に含まれる撮像対象情報に関連付けられた音情報を該画像情報１１に付与する画像編集装置であって、撮影した画像情報１１から撮像対象情報と構図情報とを撮像対象判別手段１２により抽出し、前記撮像対象情報を基にして該撮像対象情報に関連付けられる音情報を音情報取得手段１３により取得した後、音情報編集手段１４により、撮像対象判別手段１２からの前記構図情報に基づき、音情報取得手段１３からの前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力し、撮像・音情報統合手段１５によって、前記画像情報と前記調整後音情報とを統合して画像・音統合情報１６として出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像編集装置、画像編集方法および画像編集プログラムに関し、特に、画像撮影時における撮影者の背景や感情を共有することが可能な音情報を付与する画像編集装置、画像編集方法および画像編集プログラムに関する。
【背景技術】
【０００２】
近年のデジタルカメラおよびデジタルカメラ機能を有する各種電子機器（以下、「デジタルカメラ」と総称する）の普及に伴い、デジタル形式の写真（以下、単に「写真」と呼ぶ）が広く利用されている。また、印刷やデジタルフォトフレームに加え、ＳＮＳ（Social Network Service）や写真共有サイトを介して、個人が撮影した写真を多くの利用者に向けて発信する環境が整ってきている。
【０００３】
また、単に撮影したままの写真を閲覧するだけでなく、写真に加工を施すことによる、新たな写真の楽しみ方も広まりつつある。具体的には、写真の撮影対象そのものに加工を施すもの、写真に別の画像を重ねるものなどがある。前者の一例には、写真の色味を変える、周辺を暗くする、指定した領域以外をぼかす、などが挙げられる。また、後者の一例には、フレームを追加する、文字を追加する、スタンプを追加する、などが挙げられる。
【０００４】
さらに、写真情報に加え、音情報を複合的に活用することにより、写真情報に新たな楽しみ方を加えることも期待されている。視覚に加え、聴覚を介して得られた情報を伝えることによって、共感覚を呼び起こし、撮影者や撮影時にその場に居たユーザに加え、撮影時にその場に居なかったユーザとの間にも、撮影時の背景や感覚をより強く共有することができると考えられる。以上のような観点から、写真情報と音情報との複合的な活用方法について、検討がなされている。
【０００５】
写真情報と音情報とを複合的に活用する手法の一実現例として、現在市販されているデジタルカメラの多くには、マイクが付いており、撮影時から数秒間の音データを写真と関連付けて保存する機能が搭載されている。
【０００６】
また、撮影時の音を利用して、写真情報の加工に活用する手法も提案されている（例えば、特許文献１の特開２００５−２３４０７４号公報「情報処理装置および情報処理方法、記録媒体、並びにプログラム」）。該特許文献１では、環境音情報から音源を推定し、音源に関連する情報を取得する画像編集装置、方法およびプログラムが開示されている。そして、該特許文献１には、本手法をデジタルカメラに取り込んだ例が記載されている。具体的には、撮影時に環境音情報を採取し、環境音から音源を取得する。そして、音源に関連する情報として、フレームや音源の状態情報などを取得し、撮影した写真に合成を施す。このように、音情報を基にして、音情報に関連する合成写真情報を取得することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−２３４０７４号公報（第６−９頁）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
複数の人が写真を鑑賞する場合に、当該写真の撮影時の背景や感覚をより強く共有するためには、撮影者の意図を反映させた音を利用することが肝要と言える。写真には、画角、構図、フォーカス等を介して撮影時における撮影者の意図が反映されており、音にも同様に撮影者の意図が反映されていることが、撮影時の背景や感覚を共有するうえで肝要と考えられるためである。しかし、撮影時に録音された音から、撮影者の意図した音を取得することは一般的には困難である。以下、理由を説明する。
【０００９】
第１に、音は写真とは異なり、特定の音源が発する音にフォーカスすることが困難な点が挙げられる。写真の場合は、画角、構図、フォーカスなどを利用して、撮影者の意図を反映させ易い。しかし、音の場合は、音波の伝播特性や、マイク設置の制約等の問題があり、撮影者の意図の反映が困難である。
【００１０】
第２に、撮影者の意図した音が、撮影時に採取することができるとは限らない点が挙げられる。例えば、犬や猫、鳥、象などの動物を撮影するときに、動物の鳴き声も一緒に取得することができれば、より臨場感の高い写真にすることができる。しかし、撮影のタイミングに同期して動物が鳴いてくれるとは限らず、また、鳴いたタイミングで撮影者の意図した写真を撮影することができるとも限らない。また、一般に、屋外では雑踏、交通騒音、話し声、屋内では背景音楽、空調、テレビ音源といったノイズが発生している。すなわち、撮影者の意図した音を仮に採取することができたとしても、同時に、多量のノイズも採取されてしまう。
【００１１】
また、近年は、携帯電話の多くが、デジタルカメラ機能を有している。携帯電話は常に持ち歩いて利用されるため、携帯電話のデジタルカメラ機能は頻繁に用いられている。さらに、携帯電話はネットワーク接続機能を有しているので、携帯電話にて撮影された写真を、他者と容易かつ簡便に共有することができる。このため、写真の撮影時の背景や感覚を共有する方法は、携帯電話においても適用可能な方法であることが望ましい。
【００１２】
しかし、携帯電話に搭載されるカメラ機能の場合、一般に、カメラレンズはディスプレイで構図等を確認しながらの撮影を考慮した位置すなわちディスプレイ面からみて背面に設置されていることが多い。一方で、マイクは通話時に最適な位置すなわちディスプレイ面に設置されていることが多い。このため、携帯電話のマイクが、写真撮影時の録音に適しているとは言えない。
【００１３】
第３に、人間は撮影時の周囲の音について、詳細を正確に記憶しているとは限らない。むしろ、撮影時には実際に鳴っていない音であっても、撮影時の心象や意図に沿った音を付与することによって、撮影時の背景や感覚に強く訴えることができる場合も多い。
【００１４】
これは、写真における忠実色と記憶色との関係に類似している。忠実色とは、被写体の実際の色である。一方、記憶色とは、人間の心や記憶の中でイメージしている色あるいは人間にとって好ましいと感じる色である。記憶色の代表的な例としては、桜の花の色、青空の色、肌色などが挙げられる。いずれも、忠実色では、白っぽい色、くすんだ色として表現されるが、記憶色では、温かみのある色、鮮やかな色として表現される。そして、忠実色よりも記憶色のほうが、撮影者の意図した色に近く、撮影者・閲覧者にとってより好ましい色と感じられることが多い。写真撮影時の音についても、同様のことが言えると考えられる。
【００１５】
以上のように、撮影と同時に録音した音を用いる手法については、今までの技術を用いている限り、撮影者が意図した撮影時の背景や感情を強く共有することができる情報を取得することが困難であった。
【００１６】
（本発明の目的）
本発明は、かかる問題を解決すべくなされたものである。本発明の目的は、撮影者の意図を反映させた音を用いて、撮影時の背景や感情を強く共有することができる画像情報（写真）を生成することが可能な画像編集装置、画像編集方法および画像編集プログラムを提供することである。
【課題を解決するための手段】
【００１７】
前述の課題を解決するため、本発明による画像編集装置、画像編集方法および画像編集プログラムは、主に、次のような特徴的な構成を採用している。
【００１８】
（１）本発明による画像編集装置は、撮影した画像情報に含まれる撮像対象情報に関連付けられた音情報を該画像情報に付与する画像編集装置であって、前記画像情報から、前記撮像対象情報と構図情報とを抽出する撮像対象判別手段と、前記撮像対象情報を基にして、該撮像対象情報に関連付けられる音情報を取得する音情報取得手段と、前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集手段と、前記画像情報と前記調整後音情報とを統合する撮像・音情報統合手段と、を少なくとも備えることを特徴とする。
【００１９】
（２）本発明による画像編集方法は、撮影した画像情報に含まれる撮像対象情報に関連付けられた音情報を該画像情報に付与する画像編集方法であって、前記画像情報から、前記撮像対象情報と構図情報とを抽出する撮像対象判別ステップと、前記撮像対象情報を基にして、該撮像対象情報に関連付けられる前記音情報を取得する音情報取得ステップと、前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集ステップと、前記画像情報と前記調整後音情報とを統合する撮像・音情報統合ステップと、を少なくとも有することを特徴とする。
【００２０】
（３）本発明による画像編集プログラムは、コンピュータに、撮影した画像情報から、撮像対象情報と構図情報とを抽出する撮像対象判別機能と、前記撮像対象情報を基にして、該撮像対象情報に関連付けられる前記音情報を取得する音情報取得機能と、前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集機能と、前記画像情報と前記調整後音情報とを統合する撮像・音情報統合機能と、を少なくとも実行させるプログラムからなっていることを特徴とする。
【発明の効果】
【００２１】
本発明の画像編集装置、画像編集方法および画像編集プログラムによれば、以下のような効果を奏することができる。
【００２２】
すなわち、写真を撮影した撮影者の意図を反映させた音を取得し、写真の構図に基づいて適切に調整した後、写真に付与することによって、写真を鑑賞する人が、写真撮影時の背景や感情を強く共有することができる写真として生成することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施の形態における画像編集装置のブロック構成を示すブロック構成図である。
【図２】図１の画像編集装置における撮像対象判別手段の動作の一例を示すフローチャートである。
【図３】図１の画像編集装置における撮像対象判別手段の動作詳細を説明するための画像情報の一例を示す模式図である。
【図４】図１の画像編集装置における音情報取得手段の動作の一例を示すフローチャートである。
【図５】図１の画像編集装置における音情報取得手段にて参照される音情報を管理する音情報管理テーブルの一例を示すテーブルである。
【図６】図１の画像編集装置における音情報編集手段の動作の一例を示すフローチャートである。
【図７】図１の画像編集装置における撮像・音情報統合手段の動作の一例を示すフローチャートである。
【図８】本発明の第２の実施の形態における画像編集装置のブロック構成を示すブロック構成図である。
【図９】図８の画像編集装置における音情報編集手段の動作の一例を示すフローチャートである。
【図１０（ａ）】図８の画像編集装置における音情報編集手段の動作詳細を説明するための画像情報の一例を示す模式図である。
【図１０（ｂ）】図８の画像編集装置における音情報編集手段の動作詳細を説明するための画像情報の一例を示す模式図である。
【図１１】本発明の第３の実施の形態における画像編集装置のブロック構成を示すブロック構成図である。
【図１２】図１１の画像編集装置における背景音抽出手段の動作の一例を示すフローチャートである。
【図１３】図１１の画像編集装置における音情報編集手段の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明による画像編集装置、画像編集方法および画像編集プログラムの好適な実施形態について添付図を参照して説明する。なお、本発明では、画像情報に音情報を統合したものを含め「画像」ないし「画像情報」と総称する。また、以下の説明においては、本発明による画像編集装置および画像編集方法について説明するが、かかる画像編集方法をコンピュータにより実行可能な画像編集プログラムとして実施するようにしても良いし、あるいは、画像編集プログラムをコンピュータにより読み取り可能な記録媒体に記録するようにしても良いことは言うまでもない。また、以下の実施の形態にて示した図面および具体的な数値および内容を、本発明の限定的な解釈に用いてはならない。また、実施の形態の中で説明されている特徴の組み合わせの全てが本発明に必須であるとは限らないことも言うまでもない。
【００２５】
（本発明の特徴）
本発明の実施の形態の説明に先立って、本発明の特徴についてその概要をまず説明する。本発明は、撮影した画像情報に音情報を付与する画像編集装置であって、前記画像情報から、撮像対象情報と構図情報とを抽出する撮像対象判別手段と、前記撮像対象情報を基に、該撮像対象情報と関連付けられた音情報を取得する音情報取得手段と、前記構図情報に基づき、音調整パラメータを決定し、該音調整パラメータに従い前記音情報を調整した調整後音情報を生成する音情報編集手段と、前記画像情報と前記調整後音情報とを関連付けて統合する撮像・音情報統合手段と、を備えることを主要な特徴としている。
【００２６】
ここで、前記撮像対象情報とは、前記画像情報中における被写体の領域の情報を指す。また、前記構図情報とは、撮像対象および背景からなる前記画像情報中における配置に関する情報を指す。また、前記画像情報および前記音情報は、それぞれ、画像信号および音信号そのものを指す。
【００２７】
つまり、前記撮像対象判別手段は、撮影した画像情報を取得すると、該画像情報から撮像対象情報および構図情報を取得する。そして、該撮像対象情報は前記音情報取得手段に、該構図情報は前記音情報編集手段に、それぞれ渡される。
【００２８】
前記音情報取得手段は、前記撮像対象取得手段から撮像対象情報を取得すると、該撮像対象情報に関連付けられた音情報を取得する。取得した音情報は前記音情報編集手段に渡される。
【００２９】
前記音情報編集手段は、前記撮像対象取得手段から構図情報を、前記音情報取得手段から音情報をそれぞれ取得すると、該構図情報に含まれる撮像対象の位置および大きさといった音調整パラメータの情報を基に、該音情報の定位および音の大きさ（音量）を調整する。調整後の音情報は、調整後音情報として、前記撮像・音情報統合手段に渡される。
【００３０】
前記撮像・音情報統合手段は、該調整後音情報を前記音情報編集手段から取得すると、対応する画像情報と調整後音情報とを関連付けて統合する。
【００３１】
すなわち、本発明においては、撮像した画像情報に含まれる撮像対象およびその構図に撮影者の意図が反映されているものと看做して、撮像した画像情報から撮像対象情報および構図情報を抽出する。また、撮影時に録音された音情報ではなく、別途用意された、記憶色に相当する象徴的な音情報を利用する。そして、撮像対象および構図を基に音情報に調整を加え、画像情報の内容および撮影者の意図を反映させた音情報に変換し、画像情報と関連付けて統合する。
【００３２】
[第１の実施の形態]
（画像編集装置の構成）
次に、本発明を実施するための最良の形態について、第１の実施の形態として、図１を参照しながら説明する。図１は、本発明の第１の実施の形態における画像編集装置のブロック構成を示すブロック構成図である。図１に示す画像編集装置１は、撮像対象判別手段１２と、音情報取得手段１３と、音情報編集手段１４と、撮像・音情報統合手段１５と、を少なくとも含んで構成される。
【００３３】
撮像対象判別手段１２は、入力された画像情報１１から撮像対象情報および構図情報を取得し、撮像対象情報を音情報取得手段１３へ、構図情報を音情報編集手段１４へ、画像情報１１を撮像・音情報統合手段１５へ、それぞれ出力する。撮像対象情報を取得する方法としては、エッジ検出などが挙げられる。例えば、画像情報１１中のピントの合っている箇所を検出し、所定の色パターンに基づいて撮像対象の内容を検出する。また、構図情報の具体的な一例としては、写真中における撮像対象の位置、撮像対象が画面全体に占める割合といった情報が挙げられる。
【００３４】
音情報取得手段１３は、撮像対象判別手段１２から取得した撮像対象情報を基に、該撮像対象情報に関連付けられた音情報を取得する。取得した音情報は、音情報編集手段１４へ出力する。
【００３５】
音情報編集手段１４は、撮像対象判別手段１２から構図情報を、音情報取得手段１３から音情報をそれぞれ取得し、取得した音情報を調整するための音調整パラメータとして、取得した構図情報に基づいて該音情報の定位および音量を決定して、決定した定位および音量に調整した該音情報を、調整後音情報として編集する。編集後の調整後音情報は、撮像・音情報統合手段１５へ出力する。
【００３６】
撮像・音情報統合手段１５は、音情報編集手段１４から取得した編集後の調整後音情報と、撮像対象判別手段１２から取得した画像情報１１とを関連付け、画像情報と調整後音情報とを統合した画像・音統合情報１６を出力する。
【００３７】
（画像編集装置の動作）
次に、以上のような構成を有する画像編集装置１の動作について図２のフローチャートを用いて説明する。図２は、図１の画像編集装置１における撮像対象判別手段１２の動作の一例を示すフローチャートである。
【００３８】
図２のフローチャートにおいて、撮像対象判別手段１２が起動されると、画像情報１１の取得待ちの状態になる（ステップＳ１１１）。画像情報１１を取得すると（ステップＳ１１１のＹｅｓ）、取得した画像情報１１の解析を行い、画像情報１１から撮像対象の識別を行う（ステップＳ１１２）。続けて、該画像情報１１から撮像対象の構図に関する情報を識別する（ステップＳ１１３）。そして、識別結果である撮像対象情報を音情報取得手段１３に、構図情報を音情報編集手段１４に、また、画像情報１１を撮像・音情報統合手段１５に、それぞれ、出力する（ステップＳ１１４）。出力後は、ステップＳ１１１に移行して、再び画像情報１１の取得待ちの状態に戻る。
【００３９】
続いて、図３の模式図を用いて、撮像対象判別手段１２における撮像対象および構図の識別方法の具体例について説明する。図３は、図１の画像編集装置１における撮像対象判別手段１２の動作詳細を説明するための画像情報の一例を示す模式図である。撮像対象を識別する際に、まず、エッジ検出により、撮像対象の輪郭を抽出する。そして、該輪郭中における色種別、色の配置、特徴点などを用いて撮像対象の種別を判別する。特徴点としては、目・鼻・口・手足などの人間・動物に特有な点が挙げられる。
【００４０】
図３の模式図の例においては、輪郭および目などの特徴点、色情報を基にして、撮像対象が犬であることを識別する。さらに、画像中における撮像対象の輪郭の位置および大きさを測定し、構図情報を取得する。図３の模式図の例においては、撮像対象が画像の中心より右側に位置していること、また、画像中に占める撮像対象の割合が３０％と比較的大きいことを、構図情報として取得することができる。
【００４１】
次に、図１の画像編集装置１における音情報取得手段１３の動作について図４のフローチャートを用いてその一例を説明する。図４は、図１の画像編集装置１における音情報取得手段１３の動作の一例を示すフローチャートである。
【００４２】
図４のフローチャートにおいて、音情報取得手段１３が起動されると、撮像対象判別手段１２からの撮像対象情報の取得待ちの状態になる（ステップＳ１２１）。撮像対象情報を取得すると(ステップＳ１２１のＹｅｓ)、該撮像対象情報に関連付けられている音情報を取得する（ステップＳ１２２）。該音情報の具体的な一例として、あらかじめ登録された音情報を利用する他、利用者があらかじめ理想環境下において録音した利用者にとっての象徴的な音情報を利用する、あるいは、ネットワークを介して他の利用者が登録した音情報を利用する、等が挙げられる。
【００４３】
なお、図１の画像編集装置１には示していないが、画像編集装置１に利用者が音情報を登録するための手段をさらに備える構成としても良い。さらに、音情報と撮像対象情報との関連付けを利用者自身が行う構成としても良く、画像編集装置１に利用者がかくのごとき関連付けを行うための手段をさらに備える構成といても良い。また、音情報の保持および取得については、例えば、画像編集装置１があらかじめ保持しているものを取得しても良いし、あるいは、ネットワークを介して取得する構成としても良い。
【００４４】
また、撮像対象情報と音情報との関連付けに関するより具体的な一例としては、図５の音情報管理テーブルに示すように、撮像対象と対応音(音情報)とを関連付けた登録内容を参照して、取得した撮像対象情報に関連付けられた対応音を取得するようにしても良い。図５は、図１の画像編集装置１における音情報取得手段１３にて参照される音情報を管理する音情報管理テーブルの一例を示すテーブルであり、撮像画像欄１３１と対応音欄１３２とから構成され、撮像画像との関連付けがなされた音情報を対応付けてあらかじめ登録している。
【００４５】
ステップＳ１２２において、撮像対象情報に関連付けられている音情報を取得すると、取得した音情報を音情報編集手段１４に出力する（ステップＳ１２３）。出力後は、ステップＳ１２１に移行して、再び撮像対象情報の取得待ちの状態に戻る。
【００４６】
次に、図１の画像編集装置１における音情報編集手段１４の動作について図６のフローチャートを用いてその一例を説明する。図６は、図１の画像編集装置１における音情報編集手段１４の動作の一例を示すフローチャートである。
【００４７】
図６のフローチャートにおいて、音情報編集手段１４が起動されると、撮像対象判別手段１２からの構図情報および音情報取得手段１３からの音情報の取得待ちの状態になる（ステップＳ１３１）。構図情報および音情報の双方を取得すると(ステップＳ１３１のＹｅｓ)、音情報編集手段１４は、まず、取得した構図情報を用いて音調整パラメータを決定し（ステップＳ１３２）、しかる後、決定した音調整パラメータに基づいて、取得した音情報を調整する（ステップＳ１３３）。
【００４８】
音調整パラメータの具体的な一例としては、音情報の定位および大きさ(音量)が挙げられる。例えば、図３の模式図に示したように、撮像対象の犬が画像の中心より右側に位置し、かつ、画像中に占める撮像対象の割合が３０％と比較的大きいという構図情報を取得した場合には、音の定位を右側にずらし、また、音量を許容範囲の３０％に調整する。
【００４９】
取得した音情報を調整すると、音の定位・音量の調整後の音情報を、調整後音情報として撮像・音情報統合手段１５に出力する（ステップＳ１３４）。出力後は、ステップＳ１３１に移行して、再び構図情報および音情報の取得待ちの状態に戻る。
【００５０】
次に、図１の画像編集装置１における撮像・音情報統合手段１５の動作について図７のフローチャートを用いてその一例を説明する。図７は、図１の画像編集装置１における撮像・音情報統合手段１５の動作の一例を示すフローチャートである。
【００５１】
図７のフローチャートにおいて、撮像・音情報統合手段１５が起動されると、画像編集装置１に入力される画像情報１１の取得待ちの状態になる（ステップＳ１４１）。画像情報１１を取得すると(ステップＳ１４１のＹｅｓ)、撮像・音情報統合手段１５は、続いて、音情報編集手段１４からの、当該画像情報１１に対応する調整後音情報の取得待ちの状態になる（ステップＳ１４２）。
【００５２】
当該画像情報１１に対応する調整後音情報を取得すると(ステップＳ１４２のＹｅｓ)、撮像・音情報統合手段１５は、取得した画像情報と調整後音情報とを関連付け、画像情報と調整後音情報とを統合した画像・音統合情報１６として出力する（ステップＳ１４３）。出力後は、ステップＳ１４１に移行して、再び画像情報１１の取得待ちの状態に戻る。
【００５３】
以上のような構成および動作を採用することにより、画像編集装置１は、撮影者の意図を反映させた音を用いて、撮影時の背景や感覚を強く共有可能な写真を生成することができる。
【００５４】
本第１の実施の形態の図１に示した画像編集装置１は、当該画像編集装置１に入力された画像情報１１から得られた撮像対象情報および構図情報を利用して、画像情報１１に付与すべき音情報を取得している。また、付与する音情報としては、撮影時に録音された音情報ではなく、別途用意された音情報を取得して、画像情報との関連付けを行っている。
【００５５】
一般に、写真撮影においては、撮像対象と構図とを、撮影者が自由に決定し、そして、該撮影者の撮影意図を示す情報として撮影画像に反映させることができる。一方で、該撮影画像と関連付ける音情報に関しては、音の特性上、撮影時に録音された音情報を利用した場合には、撮影者の意図した音を録音することが一般的には困難である場合が多い。そこで、本第１の実施の形態においては、画像情報から得られた撮像対象情報および構図情報という、当該画像の撮影者の意図に相当する情報を取得し、取得した撮像対象情報および構図情報を基にして、別途用意された象徴的な音情報を取得および編集し、編集後の音情報を調整後音情報として画像情報に加えることによって、撮影のタイミングでは取得することが困難な、撮影者にとってより好ましい音情報を用いて、撮影時の背景や感覚を共有可能な写真として生成することができる。
【００５６】
なお、本第１の実施の形態においては、撮影画像に関連付ける音情報について、１種類の音情報のみを抽出する場合を示したが、該撮影画像に例えば複数の撮像対象が識別されたような場合には、複数の音情報を取得、調整し、付与するようにしても良い。例えば、具体的な一例として、犬と人とが撮影画像中に含まれている場合には、どちらも撮像対象と見做し、それぞれに関連する音情報を取得、調整し、付与する等が挙げられる。つまり、一つの画像中に撮像対象が複数存在する場合の理由の多くは、撮影者の意図であると考えられる。よって、複数の音情報を取得、調整して付与することにより、撮影者の意図をより適切に反映させることが可能となる。
【００５７】
またなお、撮像対象判別手段１２は、画像情報から撮像対象のみならずさらに背景情報を抽出し、音情報取得手段１３は、撮像対象に関連付けられる音情報のみならずさらに背景情報に関連付けられる音情報を取得し、音情報編集手段１４は、撮像対象に関連付けられた音情報のみならずさらに背景情報に関連付けられた音情報を調整するようにしても良い。
【００５８】
背景情報の抽出方法の具体的な一例としては、色情報の分布を利用する等が挙げられる。また、背景情報に関連付けられる音情報の一例としては、山や森であれば、木の葉が風でそよぐ音や鳥のさえずり、ビル群等の屋外であれば、雑踏などが挙げられる。背景情報に関連付けられる音情報を利用することによって、撮像対象情報と背景情報との双方の音情報を表現することができるので、撮影者の背景や感覚をより的確に表現することが可能となる。また、風景写真などの明確な撮像対象が存在しない写真においても、撮影した風景に応じた適切な音を付与することにより、撮影時の撮影者の感覚を表現することができる。
【００５９】
またなお、画像情報そのものの他に、画像に付与される撮影時情報を利用することによって、撮像対象情報あるいは背景情報を取得するようにしても良い。ここで、撮影時情報とは、撮影時の設定情報、状態情報などを指す。撮影時情報には、撮影時刻、ＧＰＳ（Global Positioning System）情報、撮影時の絞り、シャッタースピード、ＩＳＯ（International Standardization Organization）値、ホワイトバランスなどを含む。撮影時情報の具体的な一例としては、ＥＸＩＦ（Exchangable Image File Format）情報等が挙げられる。
【００６０】
ここで、撮影時情報を利用する具体的な一例としては、例えば、ＧＰＳ情報を利用した背景情報の取得が挙げられる。すなわち、ＧＰＳ情報を利用して、山、海、都心、川沿い、道路等といった、撮影時の位置における環境を推測し、推測された環境における象徴的な音情報を取得、調整して、付与することができる。
【００６１】
撮影時情報を利用することによって、画像情報のみを利用している場合と比較して、より詳細な情報を取得することができる。したがって、撮影時の状況をより的確に反映した音情報を付与することにより、撮影時の撮影者の感覚をより的確に表現することができる。
【００６２】
[第２の実施の形態]
（画像編集装置の構成）
次に、本発明を実施するための第２の実施の形態について、図８を用いて説明する。図８は、本発明の第２の実施の形態における画像編集装置のブロック構成を示すブロック構成図である。本第２の実施の形態の図８に示す画像編集装置１ａは、撮像対象判別手段１２と、音情報取得手段１３と、音情報編集手段１４ａと、撮像・音情報統合手段１５と、編集情報保持手段２１とから構成され、連続する画像情報における構図変化に基づいて音情報の調整を行う場合について説明する。
【００６３】
なお、本第２の実施の形態における図８の画像編集装置１ａは、前述のように、第１の実施の形態における図１の画像編集装置１と同一の構成および動作については、同一の番号を用いて表示しており、図１の画像編集装置１を構成する各部位に加え、編集情報保持手段２１をさらに備えている。また、図８の画像編集装置１ａの音情報編集手段１４ａについては、図１の画像編集装置１の音情報編集手段１４とは異なり、さらに、前後の画像における撮像対象および構図の類似性に基づき、音情報の調整を行う機能を有している。
【００６４】
編集情報保持手段２１は、音情報編集手段１４ａからの要求に基づき、構図情報および音調整パラメータの格納・保持および出力を行う。ここで、音調整パラメータとは、音情報の編集・調整を行うためのパラメータを指し示す情報であり、具体的な一例としては、定位情報、音量情報などが挙げられる。なお、編集情報保持手段２１の具体的な実現手段の一例としては、ＲＡＭ（Random Access Memory）などの記憶媒体が挙げられる。
【００６５】
（画像編集装置の動作）
次に、以上のような構成を有する画像編集装置１ａについて、第１の実施の形態における図１の画像編集装置１の音情報編集手段１４の動作とは異なる動作を行う音情報編集手段１４ａの動作について図９のフローチャートを用いて説明する。
【００６６】
図９は、図８の画像編集装置１ａにおける音情報編集手段１４ａの動作の一例を示すフローチャートである。なお、図１の画像編集装置１における音情報編集手段１４の動作の説明に用いた図６のフローチャートと同一の番号を付しているステップについては、第１の実施の形態の図６の場合と同一であるため、ここでの説明を省略する。
【００６７】
図９のフローチャートにおいて、音情報編集手段１４ａが起動され、撮像対象判別手段１２からの構図情報および音情報取得手段１３からの音情報を取得すると、続いて、編集情報保持手段２１に格納されている各種の構図情報および音調整パラメータのうち、画像情報１１に対して時間的に一つ前の直近に撮影した直近画像情報から抽出された構図情報である直近構図情報、および、該直近画像情報に関連付けられた音情報を調整した際に適用された音調整パラメータである直近音調整パラメータを、該編集情報保持手段２１から取得する（ステップＳ２１１）。
【００６８】
しかる後、撮像対象判別手段１２から新たに取得した構図情報と、編集情報保持手段２１から取得した直近の構図情報とを比較し、あらかじめ定めた類似条件を満たしているかどうかを確認する。該類似条件としては、例えば、両者の撮像対象情報が同一であり、かつ、構図変化情報として示される構図情報の変化の程度があらかじめ定めた閾値以下であった場合としても良い。かかる場合には、まず、新たに取得した撮像対象情報と直近画像情報の撮像対象情報とが同一であるかどうかを確認する（ステップＳ２１２）。撮像対象の確認方法の具体的な一例としては、撮像対象位置における色情報および特徴情報の類似度を算出する等が挙げられる。
【００６９】
撮像対象情報が同一と判断された場合は（ステップＳ２１２のＹｅｓ）、次に、構図の変化の程度があらかじめ定めた所定の閾値以下であるかどうかを確認する（ステップＳ２１３）。該閾値の具体的な一例としては、撮像対象の大きさおよび位置の変化の程度が、一つ前の直近構図情報と比較して、それぞれ、例えば±３０％以内であり、かつ、背景構図の変化の程度が例えば±１０％以内であること、等が挙げられる。
【００７０】
構図変化が所定の閾値以下と判断された場合には（ステップＳ２１３のＹｅｓ）、今回取得した新たな画像情報と一つ前の直近画像情報との双方の画像は、前述の類似条件を満たし、時系列的な類似性が認められることから、構図情報の変化を基にして音情報の編集を行う動作を実施する。まず、編集情報保持手段２１にて保持されている過去の構図情報すなわち直近構図情報と新たな画像情報における構図情報とを用いて、時系列での構図情報の変化を抽出する（ステップＳ２１４）。具体的な一例としては、撮像対象の位置変化および大きさの時系列的な変化を算出し、変化の方向が一方向性か、あるいは、ランダムかを判断して、構図情報の時系列変化情報として抽出する。そして、一つ前の直近音調整パラメータ、直近構図情報および今回抽出された最新の構図情報の時系列変化情報を基にして、音情報取得手段１３から取得した音情報の定位および音量を調整して（ステップＳ２１５）、ステップＳ２１６に移行する。
【００７１】
一方、ステップＳ２１２における撮像対象の同一性判定結果として、撮像対象が同一と認められなかった場合には（ステップＳ２１２のＮｏ）、あるいは、ステップＳ２１３における構図の類似性判定結果として、構図変化の程度が所定の閾値以下と認められなかった場合には（ステップＳ２１３のＮｏ）、第１の実施の形態における図６の場合と同様、音情報編集手段１４ａは、まず、撮像対象判別手段１２から取得した構図情報を用いて、音調整パラメータ（音情報の定位および音量）を決定し（ステップＳ１３２）、しかる後、決定した音調整パラメータに基づいて、音情報取得手段１３から取得した音情報の定位・音量を調整して（ステップＳ１３３）、ステップＳ２１６に移行する。
【００７２】
ステップＳ２１６においては、撮像対象判別手段１２から取得した構図情報、および、音情報取得手段１３から取得した音情報の定位および音量の調整に用いた音調整パラメータを、対応付けて編集情報保持手段２１に格納する（ステップＳ２１６）。そして、定位・音量が調整された調整後の音情報を、調整後音情報として撮像・音情報統合手段１５に出力する（ステップＳ１３４）。出力後は、ステップＳ１３１に移行して、再び構図情報および音情報の取得待ちの状態に戻る。
【００７３】
以上の音情報編集手段１４ａの動作について、図１０（ａ）及び図１０（ｂ）の模式図を用いてより詳しく説明する。図１０（ａ）及び図１０（ｂ）は、図８の画像編集装置１ａにおける音情報編集手段１４ａの動作詳細を説明するための画像情報の一例を示す模式図であり、橋および橋の上空を飛ぶヘリコプターを撮影した画像情報である。図１０（ａ）及び図１０（ｂ）においては、図１０（ａ）の画像情報１１、図１０（ｂ）の画像情報１１ａの順番に、２枚の画像を時系列的に連続して撮影した場合を示している。
【００７４】
まず、図１０（ａ）に示す画像情報１１が画像編集装置１ａに入力されると、撮像対象判別手段１２にて、音情報を生成させる対象となる撮像対象としてヘリコプターが写っており、また、構図情報として、画像情報１１中において撮像対象のヘリコプターが左上に存在していることを識別する。音情報取得手段１３は、撮像対象判別手段１２が識別した撮像対象情報に基づき、撮像対象のヘリコプターに関連付けられた音情報すなわちヘリコプター音を取得して、音情報編集手段１４ａに出力する。音情報編集手段１４ａは、撮像対象判別手段１２が識別した構図情報に基づき音調整パラメータを取得して、音情報取得手段１３から取得したヘリコプター音の音量・定位等を調整する。しかる後、音情報編集手段１４ａは、取得した構図情報と音調整パラメータとを対応付けて、編集情報保持手段２１に格納する。
【００７５】
続いて、図１０（ｂ）に示す画像情報１１ａが画像編集装置１ａに入力されてくる。図１０（ｂ）に示す画像情報１１ａについても、図１０（ａ）に示す画像情報１１の場合と同様に、撮像対象判別手段１２にて、音情報を生成させる対象となる撮像対象としてヘリコプターを識別する。さらに、撮像対象判別手段１２は、構図情報として、図１０（ｂ）の画像情報１１ａ中において、図１０（ａ）の場合よりもより大きなヘリコプター（撮像対象）が中上の位置に存在していることを識別する。
【００７６】
しかる後、音情報取得手段１３は、図１０（ａ）の画像情報１１に関する撮像対象情報が入力されたときと同様に、撮像対象判別手段１２が識別した撮像対象情報に基づいて、撮像対象のヘリコプターに関連付けられた音情報すなわちヘリコプター音を取得して、音情報編集手段１４ａに出力する。音情報編集手段１４ａは、撮像対象判別手段１２からの構図情報および音情報取得手段１３からの音情報を取得すると、まず、編集情報保持手段２１から直近の画像情報に関わる直近構図情報および直近音調整パラメータ、つまり、図１０（ａ）の画像情報１１に関わる構図情報および音調整パラメータを取得する。
【００７７】
続いて、音情報編集手段１４ａは、撮像対象判別手段１２から新たに取得した構図情報と、編集情報保持手段２１から取得した直近構図情報とを比較した結果に基づいて、撮像対象が双方ともヘリコプターであり同一であること、および、撮像対象判別手段１２から新たに取得した構図情報と、編集情報保持手段２１から取得した直近構図情報とを比較した結果に基づいて、構図情報として、背景の橋に変化がなく、また、撮像対象であるヘリコプターの位置および大きさの変化も所定の閾値の範囲内であることから、過去の直近音調整パラメータを利用する動作を行うシーケンスに遷移する。
【００７８】
すなわち、図１０（ａ）の画像情報１１に関する構図情報と比較して、図１０（ｂ）の画像情報１１ａにおいては、撮像対象のヘリコプターがより近づいている点、および、ヘリコプターの進行方向である右側方向に移動して、画像中上に位置している点を、図１０（ａ）の画像情報１１に関する構図情報からの変化として抽出する。そして、抽出された構図情報の変化情報に基づき、音調整パラメータを決定して、音情報に反映させる。具体的な一例としては、撮像対象のヘリコプターが近づいている点を明確にすべく、ヘリコプター音の開始から終了に向けて音量を大きくし、また、撮像対象のヘリコプターの定位を左上から中上へ振り向けるよう、あるいは、定位の移動をより強調するために、右上側に振り向けるよう、ヘリコプター音の鳴動時間内で変化を付ける等が挙げられる。
【００７９】
以上のように、構図情報の変化を音調整パラメータに正確に反映させても良いし、あるいは、構図情報の変化をより強調するために、構図情報における変化以上にオーバーな変化を音調整パラメータに与えるようにしても良い。
【００８０】
以上のような構成および動作を採用することにより、画像編集装置１aは、撮影した画像情報の時系列的な変化を利用して、より撮影時の臨場感を反映させた音を取得して、画像情報に関連付けて付与することができる。連続した一連の画像に同一の撮像対象が登場する場合には、連写機能を用いて撮影しているなど、時間軸での連続性を意識して撮影していると考えられる。したがって、時系列的な変化をより強調するように、連写した画像情報それぞれに関連付ける音情報の調整を行うことによって、撮影者の意図をより強く反映させた、撮影時の臨場感を再現するかのような音を取得することが可能となる。
【００８１】
なお、前記類似条件として、複数の画像情報の時間的な連続性を判断するために、画像の撮影時情報を利用しても良い。例えば、今回取得した画像情報と一つ前の直近の時刻にて取得していた直近画像情報との双方の撮影時間の差分を、撮影時情報に基づいて求め、該撮影時間の差分が、あらかじめ定めた所定の時間、例えば１秒以内であった場合には、時間的に連続した画像である可能性が高いと見做すようにしても良い。
【００８２】
またなお、本第２の実施の形態の以上の説明においては、画像編集装置１ａへの入力として時系列的に連続する静止画像を想定して説明したが、静止画像ではなく、動画情報を入力するようにしても良い。動画情報は、静止画像情報の連続体と見做すことができ、その連続性が自明である。また、デジタルカメラや携帯電話を利用しての動画撮影も頻繁に行われており、動画撮影時においても、静止画像撮影時の場合と同様の課題が発生する。よって、本第２の実施の形態として前述したような画像編集方法を動画情報に対しても適用することによって、撮影者の意図をより適切に反映させた、撮影時の臨場感を再現するような音情報を取得・調整して、動画情報に重畳することが可能である。なお、本画像編集装置１ａに入力した動画情報を画像情報１１ａに変換する手法、および取得した音情報を連結して動画情報に重畳する手法については、当業者には良く知られるところであるので、ここでの説明は省略する。
【００８３】
さらに、本画像編集装置１ａに動画情報を入力する場合には、音調整パラメータの時間的な変化を、動画情報のフレームレートに合わせるようにしても良い。これにより、動画情報の画像の時間的な変化と音の時間的な変化とを同期させることができ、より臨場感を高めることができる。
【００８４】
[第３の実施の形態]
（画像編集装置の構成）
次に、本発明を実施するための第３の実施の形態について、図１１を用いて説明する。図１１は、本発明の第３の実施の形態における画像編集装置のブロック構成を示すブロック構成図である。本第３の実施の形態の図１１に示す画像編集装置１ｂは、撮像対象判別手段１２と、音情報取得手段１３と、音情報編集手段１４ｂと、撮像・音情報統合手段１５と、背景音抽出手段３２とから構成され、撮影時に録音された音の中から、背景音情報を抽出して、撮像対象に関連付けた音情報に重畳することを可能として、より臨場感を高めた画像情報を生成する場合について説明する。先に説明したように、撮影時に録音された音情報に関しては、一般に、撮像対象を表現するためには適していないが、背景音として用いることによって、撮影環境をより強く反映させると同時に、撮像対象を指し示す音をより引き立てることが可能となる。
【００８５】
なお、本第３の実施の形態における図１１の画像編集装置１ｂは、前述のように、第１の実施の形態における図１の画像編集装置１と同一の構成および動作については、同一の番号を用いて表示しており、図１の画像編集装置１を構成する各部位に加え、背景音抽出手段３２をさらに備えている。また、図１１の画像編集装置１ｂの音情報編集手段１４ｂについては、図１の画像編集装置１の音情報編集手段１４とは異なり、音情報取得手段１３から取得した音情報に加え、背景音抽出手段３２から取得した背景音情報を用いて、音量・定位の調整を行う機能を有している。なお、以降の説明においては、第１の実施の形態における図１の画像編集装置１を基にして、背景音抽出手段３２により抽出した背景音を重畳する場合について説明するが、第２の実施の形態における図８の画像編集装置１ａを基にしても全く同様に実現可能である。
【００８６】
背景音抽出手段３２は、入力した画像情報１１の撮影時に録音した撮影時音情報３１のうち、背景音と類推される時間領域の音情報を抽出して、音情報編集手段１４ｂへ出力する。
【００８７】
（画像編集装置の動作）
次に、以上のような構成を有する画像編集装置１ｂについて、本第３の実施の形態において新たに追加した背景音抽出手段３２の動作と、第１の実施の形態における図１の画像編集装置１の音情報編集手段１４の動作とは異なる動作を行う音情報編集手段１４ｂの動作とについて、それぞれ、図１２のフローチャートと図１３のフローチャートとを用いて説明する。
【００８８】
まず、図１２は、図１１の画像編集装置１ｂにおける背景音抽出手段３２の動作の一例を示すフローチャートである。図１２のフローチャートにおいて、背景音抽出手段３２が起動されると、入力した画像情報１１の撮影時に同時に録音した撮影時音情報３１の取得待ちの状態になる（ステップＳ３１１）。撮影時音情報３１を取得すると(ステップＳ３１１のＹｅｓ)、該撮影時音情報３１のうち、背景音抽出用としてあらかじめ定めた背景音抽出条件に基づいて、背景音情報と類推される撮影時音情報を、撮影時背景音情報として抽出する。背景音の類推方法すなわち背景音情報の抽出条件の具体的な一例としては、撮影時音情報３１をあらかじめ定めた連続する所定の時間毎に分割したときに、分割した各撮影時音情報のうち、インパルス性ノイズが含まれていない時間領域における音情報を撮影時背景音情報として抽出する、あるいは、音圧の総和で前記撮影時音情報全体を並べ替えたときに上位から数えて所定の比率（より具体的には、中央値、最低値、下位５％の領域など）にある時間領域における音情報を撮影時背景音情報として抽出する、等が挙げられる。かくのごとき背景音抽出条件を適用して、撮影時音情報３１のうち、背景音と類推される時間領域の音情報を撮影時背景音情報として抽出する（ステップＳ３１２）。
【００８９】
そして、抽出された背景音と類推される時間領域の音情報を、撮影時背景音情報として、音情報編集手段１４ｂに出力する（ステップＳ３１３）。出力後は、ステップＳ３１１に移行して、再び撮影時音情報３１の取得待ちの状態に戻る。
【００９０】
次に、図１３は、図１１の画像編集装置１ｂにおける音情報編集手段１４ｂの動作の一例を示すフローチャートである。図１３のフローチャートにおいて、音情報編集手段１４ａが起動されると、撮像対象判別手段１２からの構図情報、音情報取得手段１３からの音情報および背景音抽出手段３２から撮影時背景音情報の取得待ちの状態になる（ステップＳ３１１）。
【００９１】
音情報編集手段１４ｂは、構図情報、音情報および撮影時背景音情報を取得すると(ステップＳ３１１のＹｅｓ)、まず、取得した構図情報を用いて、音情報に関する音調整パラメータおよび撮影時背景音情報に関する音調整パラメータである背景音調整パラメータを決定し、しかる後、決定した音調整パラメータに基づいて、音情報の定位および音量を調整し、また、決定した背景音調整パラメータに基づいて、撮影時背景音情報の定位および音量を調整する。そして、調整後の撮影時背景音情報すなわち調整後背景音情報に対して、調整後の音情報すなわち調整後音情報を重畳する（ステップＳ３２２）。背景音情報の調整方法すなわち背景音調整パラメータの決定方法の一例として、背景音情報の定位は画像情報の中心の位置とし、背景音情報の音量は撮像対象に関連付けられた調整後の音情報よりも小さくなるように調整する等が考えられる。
【００９２】
調整後の背景音情報に調整後の音情報を重畳すると、調整後の背景音情報に重畳した調整後の音情報を、新たな調整後音情報として撮像・音情報統合手段１５に出力する（ステップＳ１３４）。出力後は、ステップＳ３２１に移行して、再び構図情報、音情報および背景音情報の取得待ちの状態に戻る。
【００９３】
以上のような構成および動作を採用することにより、画像編集装置１ｂは、撮影時の背景音を利用して、撮影時の背景音を構図情報に基づいて適切に調整した調整後背景音情報に撮像対象に関連付けられた調整後音情報を重畳させることによって、撮影時における撮影者の状況や感覚をより強く反映させた音情報を生成することができる。
【００９４】
なお、本第３の実施の形態の以上の説明においては、背景音抽出手段３２を用いて撮影時背景音３１から画像情報に統合する背景音に関する音情報を抽出する場合について示したが、かかる場合のみに限るものではない。例えば、撮像対象取得手段１２が、入力される画像情報１１から被写体を示す撮像対象情報、該画像の構図を示す構図情報の他に、画像情報１１の背景を示す背景情報もさらに取得し、音情報取得手段１３が、抽出された前記背景情報に関連付けられた背景音情報をさらに取得し、音情報編集手段１４ｂが、背景音抽出手段３２ではなく、音情報取得手段１３から取得した背景音情報を調整するための背景音調整パラメータを決定し、決定した該背景音調整パラメータに従って該背景音情報を調整して、調整後背景音情報を生成し、しかる後に、調整した該調整後背景音情報に対して、調整後音情報をさらに重畳するように構成しても良い。あるいは、撮像対象取得手段１２にて背景情報を取得していた場合には、音情報編集手段１４ｂは背景音抽出手段３２から取得した背景音情報を破棄し、音情報取得手段１３から取得した背景音情報のみを用いて調整後背景音情報を生成するように構成しても良い。
【００９５】
本第３の実施の形態においては、撮影時に録音した音情報のうち、背景音と類推される時間領域の音情報のみを背景音情報として抽出して、定位および音量を適切に調整した後、撮像対象を表現する調整後の音情報を調整後の背景音情報に重畳している。而して、撮影者の意図と撮影時の背景情報とを音という形でも融合することができるので、撮影時の環境や撮影者の記憶により強く訴えることが可能な音情報を生成することができる。
【００９６】
以上、図１ないし図１３の図面を参照しながら、本発明における第１ないし第３の実施の形態について詳しく説明してきたが、本発明に係る画像編集装置の具体的な構成は、前述のものに限るものではなく、本発明の要旨を逸脱しない範囲内において様々な設計変更等が可能である。例えば、第１ないし第３の実施の形態において前述した画像編集装置１，１ａ，１ｂについては、すべての部位を一つの装置内に収容しているが、１ないし複数の部位を複数の装置に分割して収容するように構成しても良い。
【００９７】
例えば、音情報の取得・編集を行う部位(音情報取得手段１３、音情報編集手段１４，１４ａ，１４ｂ、編集情報保持手段２１、背景音抽出手段３２等)を１つの装置で実現して、画像情報の解析と音情報との統合を行う部位（撮像対象判別手段１２、撮像・音情報統合手段１５等）を別の装置で実現して、撮像対象情報、構図情報および音情報等を、ネットワークを介して通知し合うように構成しても良い。
【００９８】
また、前述したように、第１ないし第３の実施の形態において前述した画像編集装置１，１ａ，１ｂを構成する各部位の全部または一部の機能を、コンピュータにより実行可能なプログラム（画像編集プログラム）として実施するように構成しても良いし、さらには、各部位の全部または一部の機能を実現するためのプログラム（画像編集プログラム）として実施するようにしても良い。さらには、かくのごときプログラム（画像編集プログラム）をコンピュータにより読み取り可能な記録媒体に記録して、該記録媒体に記録されたプログラム（画像編集プログラム）をコンピュータシステムに読み込ませて、実行することにより各部位の機能を実現するように構成しても良い。ここで、「コンピュータシステム」とは、ＣＰＵ（Central Processing Unit）のみならず、ＯＳ（Operating System）や周辺機器等のハードウェアをも含むものとする。
【００９９】
なお、前記プログラム（画像編集プログラム）は、各部位が有する機能のうち、いずれか１ないし複数の部位の機能すべてではなく、いずれか１ないし複数の部位の機能の一部を実現するためのものであっても良い。さらに、かかるプログラムが実現する機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせによって実現することができるものであっても良い。
【０１００】
また、「コンピュータにより読み取り可能な記録媒体」とは、光ディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、不揮発性半導体メモリ等の可搬型の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置のことを意味している。さらに、「コンピュータにより読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間の間プログラムを保持しているものも含むものとする。
【０１０１】
（付記）
以上に、本発明に係る実施の形態について、詳細に説明したことからも明らかなように、前述の各実施の形態の一部または全部は、以下の各付記のようにも記載することができる。しかし、本発明はかかる場合に限るものではないことは言うまでもない。
【０１０２】
（付記１）
撮影した画像情報に含まれる撮像対象情報に関連付けられた音情報を該画像情報に付与する画像編集装置であって、前記画像情報から、前記撮像対象情報と構図情報とを抽出する撮像対象判別手段と、前記撮像対象情報を基にして、該撮像対象情報に関連付けられる音情報を取得する音情報取得手段と、前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集手段と、前記画像情報と前記調整後音情報とを統合する撮像・音情報統合手段と、少なくとも備える画像編集装置。
【０１０３】
（付記２）
前記音調整パラメータは、前記音情報の定位と音量とを調整するためのパラメータを少なくとも含む前記付記１に記載の画像編集装置。
【０１０４】
（付記３）
過去に撮影した画像情報のうち前記画像情報に対して時間的に一つ前の直近に撮影した直近画像情報から抽出された前記構図情報である直近構図情報と、該直近画像情報における前記撮像対象情報に関連付けられた前記音情報を調整した際の前記音調整パラメータである直近音調整パラメータとを少なくとも保持する編集情報保持手段をさらに備え、前記音情報編集手段は、最新の前記構図情報と前記直近構図情報とを比較解析し、両者の構図情報が類似していることを示す条件としてあらかじめ定めた類似条件を満たしていた場合、前記直近構図情報から最新の前記構図情報への構図変化の程度を示す構図変化情報を抽出し、前記構図情報、前記直近音調整パラメータおよび前記構図変化情報に基づいて、前記音調整パラメータを決定する前記付記１または２に記載の画像編集装置。
【０１０５】
（付記４）
前記類似条件は、前記撮像対象情報が同一であり、かつ、前記構図変化情報が示す前記構図変化の程度があらかじめ定めた所定の閾値以下である含む前記付記３に記載の画像編集装置。
【０１０６】
（付記５）
前記類似条件は、最新の前記画像情報と前記直近画像情報との撮影時刻の差分が、あらかじめ定めた所定の時間以内であることを少なくとも含む前記付記３または４に記載の画像編集装置。
【０１０７】
（付記６）
前記撮像対象判別手段が、前記画像情報から背景情報をさらに抽出し、前記音情報取得手段は、前記撮像対象判別手段によって抽出された前記背景情報に関連付けられた背景音情報をさらに取得し、前記音情報編集手段は、前記背景音情報を調整するための背景音調整パラメータを決定し、決定した該背景音調整パラメータに従って該背景音情報を調整した調整後背景音情報に、前記調整後音情報をさらに重畳する前記付記１ないし５のいずれかに記載の画像編集装置。
【０１０８】
（付記７）
前記撮像対象判別手段は、前記画像情報から前記背景情報を抽出する際に、前記画像情報の撮影時情報を用いて前記背景情報を抽出する前記付記６に記載の画像編集装置。
【０１０９】
（付記８）
前記撮影画像の撮影時に録音された撮影時音情報から、背景音抽出用としてあらかじめ定めた抽出条件に基づいて、背景音情報と類推される撮影時音情報を撮影時背景音情報として抽出する背景音抽出手段をさらに備え、 前記音情報編集手段は、前記構図情報に基づいて、前記背景音抽出手段によって抽出された前記撮影時背景音情報を調整するための前記音調整パラメータである背景音調整パラメータを決定し、決定した該背景音調整パラメータに従って該撮影時背景音情報を調整して調整後背景音情報として生成した後、生成した該調整後背景音情報に前記調整後音情報をさらに重畳する前記付記１ないし７のいずれかに記載の画像編集装置。
【０１１０】
（付記９）
前記抽出条件は、前記撮影時音情報をあらかじめ定めた所定の時間ごとに分割したときに、分割された各撮影時音情報のうち、音圧の総和で前記撮影時音情報全体を並べ替えたときに上位から数えて所定の比率にある時間領域における音情報を前記撮影時背景音情報として選定する前記付記８に記載に画像編集装置。
【０１１１】
（付記１０）
前記抽出条件は、前記撮影時音情報をあらかじめ定めた所定の時間ごとに分割したときに、分割された各撮影時音情報のうち、インパルス性ノイズが含まれていない時間領域における音情報を前記撮影時背景音情報として選定する前記付記８に記載に画像編集装置。
【０１１２】
（付記１２）
撮影した画像情報に含まれる撮像対象情報に関連付けられた音情報を該画像情報に付与する画像編集方法であって、前記画像情報から、前記撮像対象情報と構図情報とを抽出する撮像対象判別ステップと、前記撮像対象情報を基にして、該撮像対象情報に関連付けられる前記音情報を取得する音情報取得ステップと、前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集ステップと、前記画像情報と前記調整後音情報とを統合する撮像・音情報統合ステップと、を少なくとも有する画像編集方法。
【０１１３】
（付記１２）
コンピュータに、撮影した画像情報から、撮像対象情報と構図情報とを抽出する撮像対象判別機能と、前記撮像対象情報を基にして、該撮像対象情報に関連付けられる前記音情報を取得する音情報取得機能と、前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集機能と、前記画像情報と前記調整後音情報とを統合する撮像・音情報統合機能と、少なくとも実行させるプログラムからなっている画像編集プログラム。
【符号の説明】
【０１１４】
１ 画像編集装置
１ａ 画像編集装置
１１ 画像情報
１１ａ 画像情報
１２ 撮像対象判別手段
１３ 音情報取得手段
１４ 音情報編集手段
１４ａ 音情報編集手段
１４ｂ 音情報編集手段
１５ 撮像・音情報統合手段
１６ 画像・音統合情報
２１ 編集情報保持手段
３１ 撮影時取得音
３２ 背景音抽出手段
１３１ 撮像画像欄
１３２ 対応音欄
【技術分野】
【０００１】
本発明は、画像編集装置、画像編集方法および画像編集プログラムに関し、特に、画像撮影時における撮影者の背景や感情を共有することが可能な音情報を付与する画像編集装置、画像編集方法および画像編集プログラムに関する。
【背景技術】
【０００２】
近年のデジタルカメラおよびデジタルカメラ機能を有する各種電子機器（以下、「デジタルカメラ」と総称する）の普及に伴い、デジタル形式の写真（以下、単に「写真」と呼ぶ）が広く利用されている。また、印刷やデジタルフォトフレームに加え、ＳＮＳ（Social Network Service）や写真共有サイトを介して、個人が撮影した写真を多くの利用者に向けて発信する環境が整ってきている。
【０００３】
また、単に撮影したままの写真を閲覧するだけでなく、写真に加工を施すことによる、新たな写真の楽しみ方も広まりつつある。具体的には、写真の撮影対象そのものに加工を施すもの、写真に別の画像を重ねるものなどがある。前者の一例には、写真の色味を変える、周辺を暗くする、指定した領域以外をぼかす、などが挙げられる。また、後者の一例には、フレームを追加する、文字を追加する、スタンプを追加する、などが挙げられる。
【０００４】
さらに、写真情報に加え、音情報を複合的に活用することにより、写真情報に新たな楽しみ方を加えることも期待されている。視覚に加え、聴覚を介して得られた情報を伝えることによって、共感覚を呼び起こし、撮影者や撮影時にその場に居たユーザに加え、撮影時にその場に居なかったユーザとの間にも、撮影時の背景や感覚をより強く共有することができると考えられる。以上のような観点から、写真情報と音情報との複合的な活用方法について、検討がなされている。
【０００５】
写真情報と音情報とを複合的に活用する手法の一実現例として、現在市販されているデジタルカメラの多くには、マイクが付いており、撮影時から数秒間の音データを写真と関連付けて保存する機能が搭載されている。
【０００６】
また、撮影時の音を利用して、写真情報の加工に活用する手法も提案されている（例えば、特許文献１の特開２００５−２３４０７４号公報「情報処理装置および情報処理方法、記録媒体、並びにプログラム」）。該特許文献１では、環境音情報から音源を推定し、音源に関連する情報を取得する画像編集装置、方法およびプログラムが開示されている。そして、該特許文献１には、本手法をデジタルカメラに取り込んだ例が記載されている。具体的には、撮影時に環境音情報を採取し、環境音から音源を取得する。そして、音源に関連する情報として、フレームや音源の状態情報などを取得し、撮影した写真に合成を施す。このように、音情報を基にして、音情報に関連する合成写真情報を取得することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−２３４０７４号公報（第６−９頁）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
複数の人が写真を鑑賞する場合に、当該写真の撮影時の背景や感覚をより強く共有するためには、撮影者の意図を反映させた音を利用することが肝要と言える。写真には、画角、構図、フォーカス等を介して撮影時における撮影者の意図が反映されており、音にも同様に撮影者の意図が反映されていることが、撮影時の背景や感覚を共有するうえで肝要と考えられるためである。しかし、撮影時に録音された音から、撮影者の意図した音を取得することは一般的には困難である。以下、理由を説明する。
【０００９】
第１に、音は写真とは異なり、特定の音源が発する音にフォーカスすることが困難な点が挙げられる。写真の場合は、画角、構図、フォーカスなどを利用して、撮影者の意図を反映させ易い。しかし、音の場合は、音波の伝播特性や、マイク設置の制約等の問題があり、撮影者の意図の反映が困難である。
【００１０】
第２に、撮影者の意図した音が、撮影時に採取することができるとは限らない点が挙げられる。例えば、犬や猫、鳥、象などの動物を撮影するときに、動物の鳴き声も一緒に取得することができれば、より臨場感の高い写真にすることができる。しかし、撮影のタイミングに同期して動物が鳴いてくれるとは限らず、また、鳴いたタイミングで撮影者の意図した写真を撮影することができるとも限らない。また、一般に、屋外では雑踏、交通騒音、話し声、屋内では背景音楽、空調、テレビ音源といったノイズが発生している。すなわち、撮影者の意図した音を仮に採取することができたとしても、同時に、多量のノイズも採取されてしまう。
【００１１】
また、近年は、携帯電話の多くが、デジタルカメラ機能を有している。携帯電話は常に持ち歩いて利用されるため、携帯電話のデジタルカメラ機能は頻繁に用いられている。さらに、携帯電話はネットワーク接続機能を有しているので、携帯電話にて撮影された写真を、他者と容易かつ簡便に共有することができる。このため、写真の撮影時の背景や感覚を共有する方法は、携帯電話においても適用可能な方法であることが望ましい。
【００１２】
しかし、携帯電話に搭載されるカメラ機能の場合、一般に、カメラレンズはディスプレイで構図等を確認しながらの撮影を考慮した位置すなわちディスプレイ面からみて背面に設置されていることが多い。一方で、マイクは通話時に最適な位置すなわちディスプレイ面に設置されていることが多い。このため、携帯電話のマイクが、写真撮影時の録音に適しているとは言えない。
【００１３】
第３に、人間は撮影時の周囲の音について、詳細を正確に記憶しているとは限らない。むしろ、撮影時には実際に鳴っていない音であっても、撮影時の心象や意図に沿った音を付与することによって、撮影時の背景や感覚に強く訴えることができる場合も多い。
【００１４】
これは、写真における忠実色と記憶色との関係に類似している。忠実色とは、被写体の実際の色である。一方、記憶色とは、人間の心や記憶の中でイメージしている色あるいは人間にとって好ましいと感じる色である。記憶色の代表的な例としては、桜の花の色、青空の色、肌色などが挙げられる。いずれも、忠実色では、白っぽい色、くすんだ色として表現されるが、記憶色では、温かみのある色、鮮やかな色として表現される。そして、忠実色よりも記憶色のほうが、撮影者の意図した色に近く、撮影者・閲覧者にとってより好ましい色と感じられることが多い。写真撮影時の音についても、同様のことが言えると考えられる。
【００１５】
以上のように、撮影と同時に録音した音を用いる手法については、今までの技術を用いている限り、撮影者が意図した撮影時の背景や感情を強く共有することができる情報を取得することが困難であった。
【００１６】
（本発明の目的）
本発明は、かかる問題を解決すべくなされたものである。本発明の目的は、撮影者の意図を反映させた音を用いて、撮影時の背景や感情を強く共有することができる画像情報（写真）を生成することが可能な画像編集装置、画像編集方法および画像編集プログラムを提供することである。
【課題を解決するための手段】
【００１７】
前述の課題を解決するため、本発明による画像編集装置、画像編集方法および画像編集プログラムは、主に、次のような特徴的な構成を採用している。
【００１８】
（１）本発明による画像編集装置は、撮影した画像情報に含まれる撮像対象情報に関連付けられた音情報を該画像情報に付与する画像編集装置であって、前記画像情報から、前記撮像対象情報と構図情報とを抽出する撮像対象判別手段と、前記撮像対象情報を基にして、該撮像対象情報に関連付けられる音情報を取得する音情報取得手段と、前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集手段と、前記画像情報と前記調整後音情報とを統合する撮像・音情報統合手段と、を少なくとも備えることを特徴とする。
【００１９】
（２）本発明による画像編集方法は、撮影した画像情報に含まれる撮像対象情報に関連付けられた音情報を該画像情報に付与する画像編集方法であって、前記画像情報から、前記撮像対象情報と構図情報とを抽出する撮像対象判別ステップと、前記撮像対象情報を基にして、該撮像対象情報に関連付けられる前記音情報を取得する音情報取得ステップと、前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集ステップと、前記画像情報と前記調整後音情報とを統合する撮像・音情報統合ステップと、を少なくとも有することを特徴とする。
【００２０】
（３）本発明による画像編集プログラムは、コンピュータに、撮影した画像情報から、撮像対象情報と構図情報とを抽出する撮像対象判別機能と、前記撮像対象情報を基にして、該撮像対象情報に関連付けられる前記音情報を取得する音情報取得機能と、前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集機能と、前記画像情報と前記調整後音情報とを統合する撮像・音情報統合機能と、を少なくとも実行させるプログラムからなっていることを特徴とする。
【発明の効果】
【００２１】
本発明の画像編集装置、画像編集方法および画像編集プログラムによれば、以下のような効果を奏することができる。
【００２２】
すなわち、写真を撮影した撮影者の意図を反映させた音を取得し、写真の構図に基づいて適切に調整した後、写真に付与することによって、写真を鑑賞する人が、写真撮影時の背景や感情を強く共有することができる写真として生成することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施の形態における画像編集装置のブロック構成を示すブロック構成図である。
【図２】図１の画像編集装置における撮像対象判別手段の動作の一例を示すフローチャートである。
【図３】図１の画像編集装置における撮像対象判別手段の動作詳細を説明するための画像情報の一例を示す模式図である。
【図４】図１の画像編集装置における音情報取得手段の動作の一例を示すフローチャートである。
【図５】図１の画像編集装置における音情報取得手段にて参照される音情報を管理する音情報管理テーブルの一例を示すテーブルである。
【図６】図１の画像編集装置における音情報編集手段の動作の一例を示すフローチャートである。
【図７】図１の画像編集装置における撮像・音情報統合手段の動作の一例を示すフローチャートである。
【図８】本発明の第２の実施の形態における画像編集装置のブロック構成を示すブロック構成図である。
【図９】図８の画像編集装置における音情報編集手段の動作の一例を示すフローチャートである。
【図１０（ａ）】図８の画像編集装置における音情報編集手段の動作詳細を説明するための画像情報の一例を示す模式図である。
【図１０（ｂ）】図８の画像編集装置における音情報編集手段の動作詳細を説明するための画像情報の一例を示す模式図である。
【図１１】本発明の第３の実施の形態における画像編集装置のブロック構成を示すブロック構成図である。
【図１２】図１１の画像編集装置における背景音抽出手段の動作の一例を示すフローチャートである。
【図１３】図１１の画像編集装置における音情報編集手段の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明による画像編集装置、画像編集方法および画像編集プログラムの好適な実施形態について添付図を参照して説明する。なお、本発明では、画像情報に音情報を統合したものを含め「画像」ないし「画像情報」と総称する。また、以下の説明においては、本発明による画像編集装置および画像編集方法について説明するが、かかる画像編集方法をコンピュータにより実行可能な画像編集プログラムとして実施するようにしても良いし、あるいは、画像編集プログラムをコンピュータにより読み取り可能な記録媒体に記録するようにしても良いことは言うまでもない。また、以下の実施の形態にて示した図面および具体的な数値および内容を、本発明の限定的な解釈に用いてはならない。また、実施の形態の中で説明されている特徴の組み合わせの全てが本発明に必須であるとは限らないことも言うまでもない。
【００２５】
（本発明の特徴）
本発明の実施の形態の説明に先立って、本発明の特徴についてその概要をまず説明する。本発明は、撮影した画像情報に音情報を付与する画像編集装置であって、前記画像情報から、撮像対象情報と構図情報とを抽出する撮像対象判別手段と、前記撮像対象情報を基に、該撮像対象情報と関連付けられた音情報を取得する音情報取得手段と、前記構図情報に基づき、音調整パラメータを決定し、該音調整パラメータに従い前記音情報を調整した調整後音情報を生成する音情報編集手段と、前記画像情報と前記調整後音情報とを関連付けて統合する撮像・音情報統合手段と、を備えることを主要な特徴としている。
【００２６】
ここで、前記撮像対象情報とは、前記画像情報中における被写体の領域の情報を指す。また、前記構図情報とは、撮像対象および背景からなる前記画像情報中における配置に関する情報を指す。また、前記画像情報および前記音情報は、それぞれ、画像信号および音信号そのものを指す。
【００２７】
つまり、前記撮像対象判別手段は、撮影した画像情報を取得すると、該画像情報から撮像対象情報および構図情報を取得する。そして、該撮像対象情報は前記音情報取得手段に、該構図情報は前記音情報編集手段に、それぞれ渡される。
【００２８】
前記音情報取得手段は、前記撮像対象取得手段から撮像対象情報を取得すると、該撮像対象情報に関連付けられた音情報を取得する。取得した音情報は前記音情報編集手段に渡される。
【００２９】
前記音情報編集手段は、前記撮像対象取得手段から構図情報を、前記音情報取得手段から音情報をそれぞれ取得すると、該構図情報に含まれる撮像対象の位置および大きさといった音調整パラメータの情報を基に、該音情報の定位および音の大きさ（音量）を調整する。調整後の音情報は、調整後音情報として、前記撮像・音情報統合手段に渡される。
【００３０】
前記撮像・音情報統合手段は、該調整後音情報を前記音情報編集手段から取得すると、対応する画像情報と調整後音情報とを関連付けて統合する。
【００３１】
すなわち、本発明においては、撮像した画像情報に含まれる撮像対象およびその構図に撮影者の意図が反映されているものと看做して、撮像した画像情報から撮像対象情報および構図情報を抽出する。また、撮影時に録音された音情報ではなく、別途用意された、記憶色に相当する象徴的な音情報を利用する。そして、撮像対象および構図を基に音情報に調整を加え、画像情報の内容および撮影者の意図を反映させた音情報に変換し、画像情報と関連付けて統合する。
【００３２】
[第１の実施の形態]
（画像編集装置の構成）
次に、本発明を実施するための最良の形態について、第１の実施の形態として、図１を参照しながら説明する。図１は、本発明の第１の実施の形態における画像編集装置のブロック構成を示すブロック構成図である。図１に示す画像編集装置１は、撮像対象判別手段１２と、音情報取得手段１３と、音情報編集手段１４と、撮像・音情報統合手段１５と、を少なくとも含んで構成される。
【００３３】
撮像対象判別手段１２は、入力された画像情報１１から撮像対象情報および構図情報を取得し、撮像対象情報を音情報取得手段１３へ、構図情報を音情報編集手段１４へ、画像情報１１を撮像・音情報統合手段１５へ、それぞれ出力する。撮像対象情報を取得する方法としては、エッジ検出などが挙げられる。例えば、画像情報１１中のピントの合っている箇所を検出し、所定の色パターンに基づいて撮像対象の内容を検出する。また、構図情報の具体的な一例としては、写真中における撮像対象の位置、撮像対象が画面全体に占める割合といった情報が挙げられる。
【００３４】
音情報取得手段１３は、撮像対象判別手段１２から取得した撮像対象情報を基に、該撮像対象情報に関連付けられた音情報を取得する。取得した音情報は、音情報編集手段１４へ出力する。
【００３５】
音情報編集手段１４は、撮像対象判別手段１２から構図情報を、音情報取得手段１３から音情報をそれぞれ取得し、取得した音情報を調整するための音調整パラメータとして、取得した構図情報に基づいて該音情報の定位および音量を決定して、決定した定位および音量に調整した該音情報を、調整後音情報として編集する。編集後の調整後音情報は、撮像・音情報統合手段１５へ出力する。
【００３６】
撮像・音情報統合手段１５は、音情報編集手段１４から取得した編集後の調整後音情報と、撮像対象判別手段１２から取得した画像情報１１とを関連付け、画像情報と調整後音情報とを統合した画像・音統合情報１６を出力する。
【００３７】
（画像編集装置の動作）
次に、以上のような構成を有する画像編集装置１の動作について図２のフローチャートを用いて説明する。図２は、図１の画像編集装置１における撮像対象判別手段１２の動作の一例を示すフローチャートである。
【００３８】
図２のフローチャートにおいて、撮像対象判別手段１２が起動されると、画像情報１１の取得待ちの状態になる（ステップＳ１１１）。画像情報１１を取得すると（ステップＳ１１１のＹｅｓ）、取得した画像情報１１の解析を行い、画像情報１１から撮像対象の識別を行う（ステップＳ１１２）。続けて、該画像情報１１から撮像対象の構図に関する情報を識別する（ステップＳ１１３）。そして、識別結果である撮像対象情報を音情報取得手段１３に、構図情報を音情報編集手段１４に、また、画像情報１１を撮像・音情報統合手段１５に、それぞれ、出力する（ステップＳ１１４）。出力後は、ステップＳ１１１に移行して、再び画像情報１１の取得待ちの状態に戻る。
【００３９】
続いて、図３の模式図を用いて、撮像対象判別手段１２における撮像対象および構図の識別方法の具体例について説明する。図３は、図１の画像編集装置１における撮像対象判別手段１２の動作詳細を説明するための画像情報の一例を示す模式図である。撮像対象を識別する際に、まず、エッジ検出により、撮像対象の輪郭を抽出する。そして、該輪郭中における色種別、色の配置、特徴点などを用いて撮像対象の種別を判別する。特徴点としては、目・鼻・口・手足などの人間・動物に特有な点が挙げられる。
【００４０】
図３の模式図の例においては、輪郭および目などの特徴点、色情報を基にして、撮像対象が犬であることを識別する。さらに、画像中における撮像対象の輪郭の位置および大きさを測定し、構図情報を取得する。図３の模式図の例においては、撮像対象が画像の中心より右側に位置していること、また、画像中に占める撮像対象の割合が３０％と比較的大きいことを、構図情報として取得することができる。
【００４１】
次に、図１の画像編集装置１における音情報取得手段１３の動作について図４のフローチャートを用いてその一例を説明する。図４は、図１の画像編集装置１における音情報取得手段１３の動作の一例を示すフローチャートである。
【００４２】
図４のフローチャートにおいて、音情報取得手段１３が起動されると、撮像対象判別手段１２からの撮像対象情報の取得待ちの状態になる（ステップＳ１２１）。撮像対象情報を取得すると(ステップＳ１２１のＹｅｓ)、該撮像対象情報に関連付けられている音情報を取得する（ステップＳ１２２）。該音情報の具体的な一例として、あらかじめ登録された音情報を利用する他、利用者があらかじめ理想環境下において録音した利用者にとっての象徴的な音情報を利用する、あるいは、ネットワークを介して他の利用者が登録した音情報を利用する、等が挙げられる。
【００４３】
なお、図１の画像編集装置１には示していないが、画像編集装置１に利用者が音情報を登録するための手段をさらに備える構成としても良い。さらに、音情報と撮像対象情報との関連付けを利用者自身が行う構成としても良く、画像編集装置１に利用者がかくのごとき関連付けを行うための手段をさらに備える構成といても良い。また、音情報の保持および取得については、例えば、画像編集装置１があらかじめ保持しているものを取得しても良いし、あるいは、ネットワークを介して取得する構成としても良い。
【００４４】
また、撮像対象情報と音情報との関連付けに関するより具体的な一例としては、図５の音情報管理テーブルに示すように、撮像対象と対応音(音情報)とを関連付けた登録内容を参照して、取得した撮像対象情報に関連付けられた対応音を取得するようにしても良い。図５は、図１の画像編集装置１における音情報取得手段１３にて参照される音情報を管理する音情報管理テーブルの一例を示すテーブルであり、撮像画像欄１３１と対応音欄１３２とから構成され、撮像画像との関連付けがなされた音情報を対応付けてあらかじめ登録している。
【００４５】
ステップＳ１２２において、撮像対象情報に関連付けられている音情報を取得すると、取得した音情報を音情報編集手段１４に出力する（ステップＳ１２３）。出力後は、ステップＳ１２１に移行して、再び撮像対象情報の取得待ちの状態に戻る。
【００４６】
次に、図１の画像編集装置１における音情報編集手段１４の動作について図６のフローチャートを用いてその一例を説明する。図６は、図１の画像編集装置１における音情報編集手段１４の動作の一例を示すフローチャートである。
【００４７】
図６のフローチャートにおいて、音情報編集手段１４が起動されると、撮像対象判別手段１２からの構図情報および音情報取得手段１３からの音情報の取得待ちの状態になる（ステップＳ１３１）。構図情報および音情報の双方を取得すると(ステップＳ１３１のＹｅｓ)、音情報編集手段１４は、まず、取得した構図情報を用いて音調整パラメータを決定し（ステップＳ１３２）、しかる後、決定した音調整パラメータに基づいて、取得した音情報を調整する（ステップＳ１３３）。
【００４８】
音調整パラメータの具体的な一例としては、音情報の定位および大きさ(音量)が挙げられる。例えば、図３の模式図に示したように、撮像対象の犬が画像の中心より右側に位置し、かつ、画像中に占める撮像対象の割合が３０％と比較的大きいという構図情報を取得した場合には、音の定位を右側にずらし、また、音量を許容範囲の３０％に調整する。
【００４９】
取得した音情報を調整すると、音の定位・音量の調整後の音情報を、調整後音情報として撮像・音情報統合手段１５に出力する（ステップＳ１３４）。出力後は、ステップＳ１３１に移行して、再び構図情報および音情報の取得待ちの状態に戻る。
【００５０】
次に、図１の画像編集装置１における撮像・音情報統合手段１５の動作について図７のフローチャートを用いてその一例を説明する。図７は、図１の画像編集装置１における撮像・音情報統合手段１５の動作の一例を示すフローチャートである。
【００５１】
図７のフローチャートにおいて、撮像・音情報統合手段１５が起動されると、画像編集装置１に入力される画像情報１１の取得待ちの状態になる（ステップＳ１４１）。画像情報１１を取得すると(ステップＳ１４１のＹｅｓ)、撮像・音情報統合手段１５は、続いて、音情報編集手段１４からの、当該画像情報１１に対応する調整後音情報の取得待ちの状態になる（ステップＳ１４２）。
【００５２】
当該画像情報１１に対応する調整後音情報を取得すると(ステップＳ１４２のＹｅｓ)、撮像・音情報統合手段１５は、取得した画像情報と調整後音情報とを関連付け、画像情報と調整後音情報とを統合した画像・音統合情報１６として出力する（ステップＳ１４３）。出力後は、ステップＳ１４１に移行して、再び画像情報１１の取得待ちの状態に戻る。
【００５３】
以上のような構成および動作を採用することにより、画像編集装置１は、撮影者の意図を反映させた音を用いて、撮影時の背景や感覚を強く共有可能な写真を生成することができる。
【００５４】
本第１の実施の形態の図１に示した画像編集装置１は、当該画像編集装置１に入力された画像情報１１から得られた撮像対象情報および構図情報を利用して、画像情報１１に付与すべき音情報を取得している。また、付与する音情報としては、撮影時に録音された音情報ではなく、別途用意された音情報を取得して、画像情報との関連付けを行っている。
【００５５】
一般に、写真撮影においては、撮像対象と構図とを、撮影者が自由に決定し、そして、該撮影者の撮影意図を示す情報として撮影画像に反映させることができる。一方で、該撮影画像と関連付ける音情報に関しては、音の特性上、撮影時に録音された音情報を利用した場合には、撮影者の意図した音を録音することが一般的には困難である場合が多い。そこで、本第１の実施の形態においては、画像情報から得られた撮像対象情報および構図情報という、当該画像の撮影者の意図に相当する情報を取得し、取得した撮像対象情報および構図情報を基にして、別途用意された象徴的な音情報を取得および編集し、編集後の音情報を調整後音情報として画像情報に加えることによって、撮影のタイミングでは取得することが困難な、撮影者にとってより好ましい音情報を用いて、撮影時の背景や感覚を共有可能な写真として生成することができる。
【００５６】
なお、本第１の実施の形態においては、撮影画像に関連付ける音情報について、１種類の音情報のみを抽出する場合を示したが、該撮影画像に例えば複数の撮像対象が識別されたような場合には、複数の音情報を取得、調整し、付与するようにしても良い。例えば、具体的な一例として、犬と人とが撮影画像中に含まれている場合には、どちらも撮像対象と見做し、それぞれに関連する音情報を取得、調整し、付与する等が挙げられる。つまり、一つの画像中に撮像対象が複数存在する場合の理由の多くは、撮影者の意図であると考えられる。よって、複数の音情報を取得、調整して付与することにより、撮影者の意図をより適切に反映させることが可能となる。
【００５７】
またなお、撮像対象判別手段１２は、画像情報から撮像対象のみならずさらに背景情報を抽出し、音情報取得手段１３は、撮像対象に関連付けられる音情報のみならずさらに背景情報に関連付けられる音情報を取得し、音情報編集手段１４は、撮像対象に関連付けられた音情報のみならずさらに背景情報に関連付けられた音情報を調整するようにしても良い。
【００５８】
背景情報の抽出方法の具体的な一例としては、色情報の分布を利用する等が挙げられる。また、背景情報に関連付けられる音情報の一例としては、山や森であれば、木の葉が風でそよぐ音や鳥のさえずり、ビル群等の屋外であれば、雑踏などが挙げられる。背景情報に関連付けられる音情報を利用することによって、撮像対象情報と背景情報との双方の音情報を表現することができるので、撮影者の背景や感覚をより的確に表現することが可能となる。また、風景写真などの明確な撮像対象が存在しない写真においても、撮影した風景に応じた適切な音を付与することにより、撮影時の撮影者の感覚を表現することができる。
【００５９】
またなお、画像情報そのものの他に、画像に付与される撮影時情報を利用することによって、撮像対象情報あるいは背景情報を取得するようにしても良い。ここで、撮影時情報とは、撮影時の設定情報、状態情報などを指す。撮影時情報には、撮影時刻、ＧＰＳ（Global Positioning System）情報、撮影時の絞り、シャッタースピード、ＩＳＯ（International Standardization Organization）値、ホワイトバランスなどを含む。撮影時情報の具体的な一例としては、ＥＸＩＦ（Exchangable Image File Format）情報等が挙げられる。
【００６０】
ここで、撮影時情報を利用する具体的な一例としては、例えば、ＧＰＳ情報を利用した背景情報の取得が挙げられる。すなわち、ＧＰＳ情報を利用して、山、海、都心、川沿い、道路等といった、撮影時の位置における環境を推測し、推測された環境における象徴的な音情報を取得、調整して、付与することができる。
【００６１】
撮影時情報を利用することによって、画像情報のみを利用している場合と比較して、より詳細な情報を取得することができる。したがって、撮影時の状況をより的確に反映した音情報を付与することにより、撮影時の撮影者の感覚をより的確に表現することができる。
【００６２】
[第２の実施の形態]
（画像編集装置の構成）
次に、本発明を実施するための第２の実施の形態について、図８を用いて説明する。図８は、本発明の第２の実施の形態における画像編集装置のブロック構成を示すブロック構成図である。本第２の実施の形態の図８に示す画像編集装置１ａは、撮像対象判別手段１２と、音情報取得手段１３と、音情報編集手段１４ａと、撮像・音情報統合手段１５と、編集情報保持手段２１とから構成され、連続する画像情報における構図変化に基づいて音情報の調整を行う場合について説明する。
【００６３】
なお、本第２の実施の形態における図８の画像編集装置１ａは、前述のように、第１の実施の形態における図１の画像編集装置１と同一の構成および動作については、同一の番号を用いて表示しており、図１の画像編集装置１を構成する各部位に加え、編集情報保持手段２１をさらに備えている。また、図８の画像編集装置１ａの音情報編集手段１４ａについては、図１の画像編集装置１の音情報編集手段１４とは異なり、さらに、前後の画像における撮像対象および構図の類似性に基づき、音情報の調整を行う機能を有している。
【００６４】
編集情報保持手段２１は、音情報編集手段１４ａからの要求に基づき、構図情報および音調整パラメータの格納・保持および出力を行う。ここで、音調整パラメータとは、音情報の編集・調整を行うためのパラメータを指し示す情報であり、具体的な一例としては、定位情報、音量情報などが挙げられる。なお、編集情報保持手段２１の具体的な実現手段の一例としては、ＲＡＭ（Random Access Memory）などの記憶媒体が挙げられる。
【００６５】
（画像編集装置の動作）
次に、以上のような構成を有する画像編集装置１ａについて、第１の実施の形態における図１の画像編集装置１の音情報編集手段１４の動作とは異なる動作を行う音情報編集手段１４ａの動作について図９のフローチャートを用いて説明する。
【００６６】
図９は、図８の画像編集装置１ａにおける音情報編集手段１４ａの動作の一例を示すフローチャートである。なお、図１の画像編集装置１における音情報編集手段１４の動作の説明に用いた図６のフローチャートと同一の番号を付しているステップについては、第１の実施の形態の図６の場合と同一であるため、ここでの説明を省略する。
【００６７】
図９のフローチャートにおいて、音情報編集手段１４ａが起動され、撮像対象判別手段１２からの構図情報および音情報取得手段１３からの音情報を取得すると、続いて、編集情報保持手段２１に格納されている各種の構図情報および音調整パラメータのうち、画像情報１１に対して時間的に一つ前の直近に撮影した直近画像情報から抽出された構図情報である直近構図情報、および、該直近画像情報に関連付けられた音情報を調整した際に適用された音調整パラメータである直近音調整パラメータを、該編集情報保持手段２１から取得する（ステップＳ２１１）。
【００６８】
しかる後、撮像対象判別手段１２から新たに取得した構図情報と、編集情報保持手段２１から取得した直近の構図情報とを比較し、あらかじめ定めた類似条件を満たしているかどうかを確認する。該類似条件としては、例えば、両者の撮像対象情報が同一であり、かつ、構図変化情報として示される構図情報の変化の程度があらかじめ定めた閾値以下であった場合としても良い。かかる場合には、まず、新たに取得した撮像対象情報と直近画像情報の撮像対象情報とが同一であるかどうかを確認する（ステップＳ２１２）。撮像対象の確認方法の具体的な一例としては、撮像対象位置における色情報および特徴情報の類似度を算出する等が挙げられる。
【００６９】
撮像対象情報が同一と判断された場合は（ステップＳ２１２のＹｅｓ）、次に、構図の変化の程度があらかじめ定めた所定の閾値以下であるかどうかを確認する（ステップＳ２１３）。該閾値の具体的な一例としては、撮像対象の大きさおよび位置の変化の程度が、一つ前の直近構図情報と比較して、それぞれ、例えば±３０％以内であり、かつ、背景構図の変化の程度が例えば±１０％以内であること、等が挙げられる。
【００７０】
構図変化が所定の閾値以下と判断された場合には（ステップＳ２１３のＹｅｓ）、今回取得した新たな画像情報と一つ前の直近画像情報との双方の画像は、前述の類似条件を満たし、時系列的な類似性が認められることから、構図情報の変化を基にして音情報の編集を行う動作を実施する。まず、編集情報保持手段２１にて保持されている過去の構図情報すなわち直近構図情報と新たな画像情報における構図情報とを用いて、時系列での構図情報の変化を抽出する（ステップＳ２１４）。具体的な一例としては、撮像対象の位置変化および大きさの時系列的な変化を算出し、変化の方向が一方向性か、あるいは、ランダムかを判断して、構図情報の時系列変化情報として抽出する。そして、一つ前の直近音調整パラメータ、直近構図情報および今回抽出された最新の構図情報の時系列変化情報を基にして、音情報取得手段１３から取得した音情報の定位および音量を調整して（ステップＳ２１５）、ステップＳ２１６に移行する。
【００７１】
一方、ステップＳ２１２における撮像対象の同一性判定結果として、撮像対象が同一と認められなかった場合には（ステップＳ２１２のＮｏ）、あるいは、ステップＳ２１３における構図の類似性判定結果として、構図変化の程度が所定の閾値以下と認められなかった場合には（ステップＳ２１３のＮｏ）、第１の実施の形態における図６の場合と同様、音情報編集手段１４ａは、まず、撮像対象判別手段１２から取得した構図情報を用いて、音調整パラメータ（音情報の定位および音量）を決定し（ステップＳ１３２）、しかる後、決定した音調整パラメータに基づいて、音情報取得手段１３から取得した音情報の定位・音量を調整して（ステップＳ１３３）、ステップＳ２１６に移行する。
【００７２】
ステップＳ２１６においては、撮像対象判別手段１２から取得した構図情報、および、音情報取得手段１３から取得した音情報の定位および音量の調整に用いた音調整パラメータを、対応付けて編集情報保持手段２１に格納する（ステップＳ２１６）。そして、定位・音量が調整された調整後の音情報を、調整後音情報として撮像・音情報統合手段１５に出力する（ステップＳ１３４）。出力後は、ステップＳ１３１に移行して、再び構図情報および音情報の取得待ちの状態に戻る。
【００７３】
以上の音情報編集手段１４ａの動作について、図１０（ａ）及び図１０（ｂ）の模式図を用いてより詳しく説明する。図１０（ａ）及び図１０（ｂ）は、図８の画像編集装置１ａにおける音情報編集手段１４ａの動作詳細を説明するための画像情報の一例を示す模式図であり、橋および橋の上空を飛ぶヘリコプターを撮影した画像情報である。図１０（ａ）及び図１０（ｂ）においては、図１０（ａ）の画像情報１１、図１０（ｂ）の画像情報１１ａの順番に、２枚の画像を時系列的に連続して撮影した場合を示している。
【００７４】
まず、図１０（ａ）に示す画像情報１１が画像編集装置１ａに入力されると、撮像対象判別手段１２にて、音情報を生成させる対象となる撮像対象としてヘリコプターが写っており、また、構図情報として、画像情報１１中において撮像対象のヘリコプターが左上に存在していることを識別する。音情報取得手段１３は、撮像対象判別手段１２が識別した撮像対象情報に基づき、撮像対象のヘリコプターに関連付けられた音情報すなわちヘリコプター音を取得して、音情報編集手段１４ａに出力する。音情報編集手段１４ａは、撮像対象判別手段１２が識別した構図情報に基づき音調整パラメータを取得して、音情報取得手段１３から取得したヘリコプター音の音量・定位等を調整する。しかる後、音情報編集手段１４ａは、取得した構図情報と音調整パラメータとを対応付けて、編集情報保持手段２１に格納する。
【００７５】
続いて、図１０（ｂ）に示す画像情報１１ａが画像編集装置１ａに入力されてくる。図１０（ｂ）に示す画像情報１１ａについても、図１０（ａ）に示す画像情報１１の場合と同様に、撮像対象判別手段１２にて、音情報を生成させる対象となる撮像対象としてヘリコプターを識別する。さらに、撮像対象判別手段１２は、構図情報として、図１０（ｂ）の画像情報１１ａ中において、図１０（ａ）の場合よりもより大きなヘリコプター（撮像対象）が中上の位置に存在していることを識別する。
【００７６】
しかる後、音情報取得手段１３は、図１０（ａ）の画像情報１１に関する撮像対象情報が入力されたときと同様に、撮像対象判別手段１２が識別した撮像対象情報に基づいて、撮像対象のヘリコプターに関連付けられた音情報すなわちヘリコプター音を取得して、音情報編集手段１４ａに出力する。音情報編集手段１４ａは、撮像対象判別手段１２からの構図情報および音情報取得手段１３からの音情報を取得すると、まず、編集情報保持手段２１から直近の画像情報に関わる直近構図情報および直近音調整パラメータ、つまり、図１０（ａ）の画像情報１１に関わる構図情報および音調整パラメータを取得する。
【００７７】
続いて、音情報編集手段１４ａは、撮像対象判別手段１２から新たに取得した構図情報と、編集情報保持手段２１から取得した直近構図情報とを比較した結果に基づいて、撮像対象が双方ともヘリコプターであり同一であること、および、撮像対象判別手段１２から新たに取得した構図情報と、編集情報保持手段２１から取得した直近構図情報とを比較した結果に基づいて、構図情報として、背景の橋に変化がなく、また、撮像対象であるヘリコプターの位置および大きさの変化も所定の閾値の範囲内であることから、過去の直近音調整パラメータを利用する動作を行うシーケンスに遷移する。
【００７８】
すなわち、図１０（ａ）の画像情報１１に関する構図情報と比較して、図１０（ｂ）の画像情報１１ａにおいては、撮像対象のヘリコプターがより近づいている点、および、ヘリコプターの進行方向である右側方向に移動して、画像中上に位置している点を、図１０（ａ）の画像情報１１に関する構図情報からの変化として抽出する。そして、抽出された構図情報の変化情報に基づき、音調整パラメータを決定して、音情報に反映させる。具体的な一例としては、撮像対象のヘリコプターが近づいている点を明確にすべく、ヘリコプター音の開始から終了に向けて音量を大きくし、また、撮像対象のヘリコプターの定位を左上から中上へ振り向けるよう、あるいは、定位の移動をより強調するために、右上側に振り向けるよう、ヘリコプター音の鳴動時間内で変化を付ける等が挙げられる。
【００７９】
以上のように、構図情報の変化を音調整パラメータに正確に反映させても良いし、あるいは、構図情報の変化をより強調するために、構図情報における変化以上にオーバーな変化を音調整パラメータに与えるようにしても良い。
【００８０】
以上のような構成および動作を採用することにより、画像編集装置１aは、撮影した画像情報の時系列的な変化を利用して、より撮影時の臨場感を反映させた音を取得して、画像情報に関連付けて付与することができる。連続した一連の画像に同一の撮像対象が登場する場合には、連写機能を用いて撮影しているなど、時間軸での連続性を意識して撮影していると考えられる。したがって、時系列的な変化をより強調するように、連写した画像情報それぞれに関連付ける音情報の調整を行うことによって、撮影者の意図をより強く反映させた、撮影時の臨場感を再現するかのような音を取得することが可能となる。
【００８１】
なお、前記類似条件として、複数の画像情報の時間的な連続性を判断するために、画像の撮影時情報を利用しても良い。例えば、今回取得した画像情報と一つ前の直近の時刻にて取得していた直近画像情報との双方の撮影時間の差分を、撮影時情報に基づいて求め、該撮影時間の差分が、あらかじめ定めた所定の時間、例えば１秒以内であった場合には、時間的に連続した画像である可能性が高いと見做すようにしても良い。
【００８２】
またなお、本第２の実施の形態の以上の説明においては、画像編集装置１ａへの入力として時系列的に連続する静止画像を想定して説明したが、静止画像ではなく、動画情報を入力するようにしても良い。動画情報は、静止画像情報の連続体と見做すことができ、その連続性が自明である。また、デジタルカメラや携帯電話を利用しての動画撮影も頻繁に行われており、動画撮影時においても、静止画像撮影時の場合と同様の課題が発生する。よって、本第２の実施の形態として前述したような画像編集方法を動画情報に対しても適用することによって、撮影者の意図をより適切に反映させた、撮影時の臨場感を再現するような音情報を取得・調整して、動画情報に重畳することが可能である。なお、本画像編集装置１ａに入力した動画情報を画像情報１１ａに変換する手法、および取得した音情報を連結して動画情報に重畳する手法については、当業者には良く知られるところであるので、ここでの説明は省略する。
【００８３】
さらに、本画像編集装置１ａに動画情報を入力する場合には、音調整パラメータの時間的な変化を、動画情報のフレームレートに合わせるようにしても良い。これにより、動画情報の画像の時間的な変化と音の時間的な変化とを同期させることができ、より臨場感を高めることができる。
【００８４】
[第３の実施の形態]
（画像編集装置の構成）
次に、本発明を実施するための第３の実施の形態について、図１１を用いて説明する。図１１は、本発明の第３の実施の形態における画像編集装置のブロック構成を示すブロック構成図である。本第３の実施の形態の図１１に示す画像編集装置１ｂは、撮像対象判別手段１２と、音情報取得手段１３と、音情報編集手段１４ｂと、撮像・音情報統合手段１５と、背景音抽出手段３２とから構成され、撮影時に録音された音の中から、背景音情報を抽出して、撮像対象に関連付けた音情報に重畳することを可能として、より臨場感を高めた画像情報を生成する場合について説明する。先に説明したように、撮影時に録音された音情報に関しては、一般に、撮像対象を表現するためには適していないが、背景音として用いることによって、撮影環境をより強く反映させると同時に、撮像対象を指し示す音をより引き立てることが可能となる。
【００８５】
なお、本第３の実施の形態における図１１の画像編集装置１ｂは、前述のように、第１の実施の形態における図１の画像編集装置１と同一の構成および動作については、同一の番号を用いて表示しており、図１の画像編集装置１を構成する各部位に加え、背景音抽出手段３２をさらに備えている。また、図１１の画像編集装置１ｂの音情報編集手段１４ｂについては、図１の画像編集装置１の音情報編集手段１４とは異なり、音情報取得手段１３から取得した音情報に加え、背景音抽出手段３２から取得した背景音情報を用いて、音量・定位の調整を行う機能を有している。なお、以降の説明においては、第１の実施の形態における図１の画像編集装置１を基にして、背景音抽出手段３２により抽出した背景音を重畳する場合について説明するが、第２の実施の形態における図８の画像編集装置１ａを基にしても全く同様に実現可能である。
【００８６】
背景音抽出手段３２は、入力した画像情報１１の撮影時に録音した撮影時音情報３１のうち、背景音と類推される時間領域の音情報を抽出して、音情報編集手段１４ｂへ出力する。
【００８７】
（画像編集装置の動作）
次に、以上のような構成を有する画像編集装置１ｂについて、本第３の実施の形態において新たに追加した背景音抽出手段３２の動作と、第１の実施の形態における図１の画像編集装置１の音情報編集手段１４の動作とは異なる動作を行う音情報編集手段１４ｂの動作とについて、それぞれ、図１２のフローチャートと図１３のフローチャートとを用いて説明する。
【００８８】
まず、図１２は、図１１の画像編集装置１ｂにおける背景音抽出手段３２の動作の一例を示すフローチャートである。図１２のフローチャートにおいて、背景音抽出手段３２が起動されると、入力した画像情報１１の撮影時に同時に録音した撮影時音情報３１の取得待ちの状態になる（ステップＳ３１１）。撮影時音情報３１を取得すると(ステップＳ３１１のＹｅｓ)、該撮影時音情報３１のうち、背景音抽出用としてあらかじめ定めた背景音抽出条件に基づいて、背景音情報と類推される撮影時音情報を、撮影時背景音情報として抽出する。背景音の類推方法すなわち背景音情報の抽出条件の具体的な一例としては、撮影時音情報３１をあらかじめ定めた連続する所定の時間毎に分割したときに、分割した各撮影時音情報のうち、インパルス性ノイズが含まれていない時間領域における音情報を撮影時背景音情報として抽出する、あるいは、音圧の総和で前記撮影時音情報全体を並べ替えたときに上位から数えて所定の比率（より具体的には、中央値、最低値、下位５％の領域など）にある時間領域における音情報を撮影時背景音情報として抽出する、等が挙げられる。かくのごとき背景音抽出条件を適用して、撮影時音情報３１のうち、背景音と類推される時間領域の音情報を撮影時背景音情報として抽出する（ステップＳ３１２）。
【００８９】
そして、抽出された背景音と類推される時間領域の音情報を、撮影時背景音情報として、音情報編集手段１４ｂに出力する（ステップＳ３１３）。出力後は、ステップＳ３１１に移行して、再び撮影時音情報３１の取得待ちの状態に戻る。
【００９０】
次に、図１３は、図１１の画像編集装置１ｂにおける音情報編集手段１４ｂの動作の一例を示すフローチャートである。図１３のフローチャートにおいて、音情報編集手段１４ａが起動されると、撮像対象判別手段１２からの構図情報、音情報取得手段１３からの音情報および背景音抽出手段３２から撮影時背景音情報の取得待ちの状態になる（ステップＳ３１１）。
【００９１】
音情報編集手段１４ｂは、構図情報、音情報および撮影時背景音情報を取得すると(ステップＳ３１１のＹｅｓ)、まず、取得した構図情報を用いて、音情報に関する音調整パラメータおよび撮影時背景音情報に関する音調整パラメータである背景音調整パラメータを決定し、しかる後、決定した音調整パラメータに基づいて、音情報の定位および音量を調整し、また、決定した背景音調整パラメータに基づいて、撮影時背景音情報の定位および音量を調整する。そして、調整後の撮影時背景音情報すなわち調整後背景音情報に対して、調整後の音情報すなわち調整後音情報を重畳する（ステップＳ３２２）。背景音情報の調整方法すなわち背景音調整パラメータの決定方法の一例として、背景音情報の定位は画像情報の中心の位置とし、背景音情報の音量は撮像対象に関連付けられた調整後の音情報よりも小さくなるように調整する等が考えられる。
【００９２】
調整後の背景音情報に調整後の音情報を重畳すると、調整後の背景音情報に重畳した調整後の音情報を、新たな調整後音情報として撮像・音情報統合手段１５に出力する（ステップＳ１３４）。出力後は、ステップＳ３２１に移行して、再び構図情報、音情報および背景音情報の取得待ちの状態に戻る。
【００９３】
以上のような構成および動作を採用することにより、画像編集装置１ｂは、撮影時の背景音を利用して、撮影時の背景音を構図情報に基づいて適切に調整した調整後背景音情報に撮像対象に関連付けられた調整後音情報を重畳させることによって、撮影時における撮影者の状況や感覚をより強く反映させた音情報を生成することができる。
【００９４】
なお、本第３の実施の形態の以上の説明においては、背景音抽出手段３２を用いて撮影時背景音３１から画像情報に統合する背景音に関する音情報を抽出する場合について示したが、かかる場合のみに限るものではない。例えば、撮像対象取得手段１２が、入力される画像情報１１から被写体を示す撮像対象情報、該画像の構図を示す構図情報の他に、画像情報１１の背景を示す背景情報もさらに取得し、音情報取得手段１３が、抽出された前記背景情報に関連付けられた背景音情報をさらに取得し、音情報編集手段１４ｂが、背景音抽出手段３２ではなく、音情報取得手段１３から取得した背景音情報を調整するための背景音調整パラメータを決定し、決定した該背景音調整パラメータに従って該背景音情報を調整して、調整後背景音情報を生成し、しかる後に、調整した該調整後背景音情報に対して、調整後音情報をさらに重畳するように構成しても良い。あるいは、撮像対象取得手段１２にて背景情報を取得していた場合には、音情報編集手段１４ｂは背景音抽出手段３２から取得した背景音情報を破棄し、音情報取得手段１３から取得した背景音情報のみを用いて調整後背景音情報を生成するように構成しても良い。
【００９５】
本第３の実施の形態においては、撮影時に録音した音情報のうち、背景音と類推される時間領域の音情報のみを背景音情報として抽出して、定位および音量を適切に調整した後、撮像対象を表現する調整後の音情報を調整後の背景音情報に重畳している。而して、撮影者の意図と撮影時の背景情報とを音という形でも融合することができるので、撮影時の環境や撮影者の記憶により強く訴えることが可能な音情報を生成することができる。
【００９６】
以上、図１ないし図１３の図面を参照しながら、本発明における第１ないし第３の実施の形態について詳しく説明してきたが、本発明に係る画像編集装置の具体的な構成は、前述のものに限るものではなく、本発明の要旨を逸脱しない範囲内において様々な設計変更等が可能である。例えば、第１ないし第３の実施の形態において前述した画像編集装置１，１ａ，１ｂについては、すべての部位を一つの装置内に収容しているが、１ないし複数の部位を複数の装置に分割して収容するように構成しても良い。
【００９７】
例えば、音情報の取得・編集を行う部位(音情報取得手段１３、音情報編集手段１４，１４ａ，１４ｂ、編集情報保持手段２１、背景音抽出手段３２等)を１つの装置で実現して、画像情報の解析と音情報との統合を行う部位（撮像対象判別手段１２、撮像・音情報統合手段１５等）を別の装置で実現して、撮像対象情報、構図情報および音情報等を、ネットワークを介して通知し合うように構成しても良い。
【００９８】
また、前述したように、第１ないし第３の実施の形態において前述した画像編集装置１，１ａ，１ｂを構成する各部位の全部または一部の機能を、コンピュータにより実行可能なプログラム（画像編集プログラム）として実施するように構成しても良いし、さらには、各部位の全部または一部の機能を実現するためのプログラム（画像編集プログラム）として実施するようにしても良い。さらには、かくのごときプログラム（画像編集プログラム）をコンピュータにより読み取り可能な記録媒体に記録して、該記録媒体に記録されたプログラム（画像編集プログラム）をコンピュータシステムに読み込ませて、実行することにより各部位の機能を実現するように構成しても良い。ここで、「コンピュータシステム」とは、ＣＰＵ（Central Processing Unit）のみならず、ＯＳ（Operating System）や周辺機器等のハードウェアをも含むものとする。
【００９９】
なお、前記プログラム（画像編集プログラム）は、各部位が有する機能のうち、いずれか１ないし複数の部位の機能すべてではなく、いずれか１ないし複数の部位の機能の一部を実現するためのものであっても良い。さらに、かかるプログラムが実現する機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせによって実現することができるものであっても良い。
【０１００】
また、「コンピュータにより読み取り可能な記録媒体」とは、光ディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、不揮発性半導体メモリ等の可搬型の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置のことを意味している。さらに、「コンピュータにより読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間の間プログラムを保持しているものも含むものとする。
【０１０１】
（付記）
以上に、本発明に係る実施の形態について、詳細に説明したことからも明らかなように、前述の各実施の形態の一部または全部は、以下の各付記のようにも記載することができる。しかし、本発明はかかる場合に限るものではないことは言うまでもない。
【０１０２】
（付記１）
撮影した画像情報に含まれる撮像対象情報に関連付けられた音情報を該画像情報に付与する画像編集装置であって、前記画像情報から、前記撮像対象情報と構図情報とを抽出する撮像対象判別手段と、前記撮像対象情報を基にして、該撮像対象情報に関連付けられる音情報を取得する音情報取得手段と、前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集手段と、前記画像情報と前記調整後音情報とを統合する撮像・音情報統合手段と、少なくとも備える画像編集装置。
【０１０３】
（付記２）
前記音調整パラメータは、前記音情報の定位と音量とを調整するためのパラメータを少なくとも含む前記付記１に記載の画像編集装置。
【０１０４】
（付記３）
過去に撮影した画像情報のうち前記画像情報に対して時間的に一つ前の直近に撮影した直近画像情報から抽出された前記構図情報である直近構図情報と、該直近画像情報における前記撮像対象情報に関連付けられた前記音情報を調整した際の前記音調整パラメータである直近音調整パラメータとを少なくとも保持する編集情報保持手段をさらに備え、前記音情報編集手段は、最新の前記構図情報と前記直近構図情報とを比較解析し、両者の構図情報が類似していることを示す条件としてあらかじめ定めた類似条件を満たしていた場合、前記直近構図情報から最新の前記構図情報への構図変化の程度を示す構図変化情報を抽出し、前記構図情報、前記直近音調整パラメータおよび前記構図変化情報に基づいて、前記音調整パラメータを決定する前記付記１または２に記載の画像編集装置。
【０１０５】
（付記４）
前記類似条件は、前記撮像対象情報が同一であり、かつ、前記構図変化情報が示す前記構図変化の程度があらかじめ定めた所定の閾値以下である含む前記付記３に記載の画像編集装置。
【０１０６】
（付記５）
前記類似条件は、最新の前記画像情報と前記直近画像情報との撮影時刻の差分が、あらかじめ定めた所定の時間以内であることを少なくとも含む前記付記３または４に記載の画像編集装置。
【０１０７】
（付記６）
前記撮像対象判別手段が、前記画像情報から背景情報をさらに抽出し、前記音情報取得手段は、前記撮像対象判別手段によって抽出された前記背景情報に関連付けられた背景音情報をさらに取得し、前記音情報編集手段は、前記背景音情報を調整するための背景音調整パラメータを決定し、決定した該背景音調整パラメータに従って該背景音情報を調整した調整後背景音情報に、前記調整後音情報をさらに重畳する前記付記１ないし５のいずれかに記載の画像編集装置。
【０１０８】
（付記７）
前記撮像対象判別手段は、前記画像情報から前記背景情報を抽出する際に、前記画像情報の撮影時情報を用いて前記背景情報を抽出する前記付記６に記載の画像編集装置。
【０１０９】
（付記８）
前記撮影画像の撮影時に録音された撮影時音情報から、背景音抽出用としてあらかじめ定めた抽出条件に基づいて、背景音情報と類推される撮影時音情報を撮影時背景音情報として抽出する背景音抽出手段をさらに備え、 前記音情報編集手段は、前記構図情報に基づいて、前記背景音抽出手段によって抽出された前記撮影時背景音情報を調整するための前記音調整パラメータである背景音調整パラメータを決定し、決定した該背景音調整パラメータに従って該撮影時背景音情報を調整して調整後背景音情報として生成した後、生成した該調整後背景音情報に前記調整後音情報をさらに重畳する前記付記１ないし７のいずれかに記載の画像編集装置。
【０１１０】
（付記９）
前記抽出条件は、前記撮影時音情報をあらかじめ定めた所定の時間ごとに分割したときに、分割された各撮影時音情報のうち、音圧の総和で前記撮影時音情報全体を並べ替えたときに上位から数えて所定の比率にある時間領域における音情報を前記撮影時背景音情報として選定する前記付記８に記載に画像編集装置。
【０１１１】
（付記１０）
前記抽出条件は、前記撮影時音情報をあらかじめ定めた所定の時間ごとに分割したときに、分割された各撮影時音情報のうち、インパルス性ノイズが含まれていない時間領域における音情報を前記撮影時背景音情報として選定する前記付記８に記載に画像編集装置。
【０１１２】
（付記１２）
撮影した画像情報に含まれる撮像対象情報に関連付けられた音情報を該画像情報に付与する画像編集方法であって、前記画像情報から、前記撮像対象情報と構図情報とを抽出する撮像対象判別ステップと、前記撮像対象情報を基にして、該撮像対象情報に関連付けられる前記音情報を取得する音情報取得ステップと、前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集ステップと、前記画像情報と前記調整後音情報とを統合する撮像・音情報統合ステップと、を少なくとも有する画像編集方法。
【０１１３】
（付記１２）
コンピュータに、撮影した画像情報から、撮像対象情報と構図情報とを抽出する撮像対象判別機能と、前記撮像対象情報を基にして、該撮像対象情報に関連付けられる前記音情報を取得する音情報取得機能と、前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集機能と、前記画像情報と前記調整後音情報とを統合する撮像・音情報統合機能と、少なくとも実行させるプログラムからなっている画像編集プログラム。
【符号の説明】
【０１１４】
１ 画像編集装置
１ａ 画像編集装置
１１ 画像情報
１１ａ 画像情報
１２ 撮像対象判別手段
１３ 音情報取得手段
１４ 音情報編集手段
１４ａ 音情報編集手段
１４ｂ 音情報編集手段
１５ 撮像・音情報統合手段
１６ 画像・音統合情報
２１ 編集情報保持手段
３１ 撮影時取得音
３２ 背景音抽出手段
１３１ 撮像画像欄
１３２ 対応音欄
【特許請求の範囲】
【請求項１】
撮影した画像情報に含まれる撮像対象情報に関連付けられた音情報を該画像情報に付与する画像編集装置であって、
前記画像情報から、前記撮像対象情報と構図情報とを抽出する撮像対象判別手段と、
前記撮像対象情報を基にして、該撮像対象情報に関連付けられる音情報を取得する音情報取得手段と、
前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集手段と、
前記画像情報と前記調整後音情報とを統合する撮像・音情報統合手段と、
を少なくとも備えることを特徴とする画像編集装置。
【請求項２】
前記音調整パラメータは、前記音情報の定位と音量とを調整するためのパラメータを少なくとも含む
ことを特徴とする請求項１に記載の画像編集装置。
【請求項３】
過去に撮影した画像情報のうち前記画像情報に対して時間的に一つ前の直近に撮影した直近画像情報から抽出された前記構図情報である直近構図情報と、該直近画像情報における前記撮像対象情報に関連付けられた前記音情報を調整した際の前記音調整パラメータである直近音調整パラメータとを少なくとも保持する編集情報保持手段をさらに備え、
前記音情報編集手段は、最新の前記構図情報と前記直近構図情報とを比較解析し、両者の構図情報が類似していることを示す条件としてあらかじめ定めた類似条件を満たしていた場合、前記直近構図情報から最新の前記構図情報への構図変化の程度を示す構図変化情報を抽出し、前記構図情報、前記直近音調整パラメータおよび前記構図変化情報に基づいて、前記音調整パラメータを決定する
ことを特徴とする請求項１または２に記載の画像編集装置。
【請求項４】
前記類似条件は、前記撮像対象情報が同一であり、かつ、前記構図変化情報が示す前記構図変化の程度があらかじめ定めた所定の閾値以下である
ことを少なくとも含むことを特徴とする請求項３に記載の画像編集装置。
【請求項５】
前記類似条件は、最新の前記画像情報と前記直近画像情報との撮影時刻の差分が、あらかじめ定めた所定の時間以内である
ことを少なくとも含むことを特徴とする請求項３または４に記載の画像編集装置。
【請求項６】
前記撮像対象判別手段が、前記画像情報から背景情報をさらに抽出し、
前記音情報取得手段は、前記撮像対象判別手段によって抽出された前記背景情報に関連付けられた背景音情報をさらに取得し、
前記音情報編集手段は、前記背景音情報を調整するための背景音調整パラメータを決定し、決定した該背景音調整パラメータに従って該背景音情報を調整した調整後背景音情報に、前記調整後音情報をさらに重畳する
ことを特徴とする請求項１ないし５のいずれかに記載の画像編集装置。
【請求項７】
前記撮像対象判別手段は、前記画像情報から前記背景情報を抽出する際に、前記画像情報の撮影時情報を用いて前記背景情報を抽出する
ことを特徴とする請求項６に記載の画像編集装置。
【請求項８】
前記撮影画像の撮影時に録音された撮影時音情報から、背景音抽出用としてあらかじめ定めた抽出条件に基づいて、背景音情報と類推される撮影時音情報を撮影時背景音情報として抽出する背景音抽出手段をさらに備え、
前記音情報編集手段は、前記構図情報に基づいて、前記背景音抽出手段によって抽出された前記撮影時背景音情報を調整するための前記音調整パラメータである背景音調整パラメータを決定し、決定した該背景音調整パラメータに従って該撮影時背景音情報を調整して調整後背景音情報として生成した後、生成した該調整後背景音情報に前記調整後音情報をさらに重畳する
ことを特徴とする請求項１ないし７のいずれかに記載の画像編集装置。
【請求項９】
撮影した画像情報に含まれる撮像対象情報に関連付けられた音情報を該画像情報に付与する画像編集方法であって、
前記画像情報から、前記撮像対象情報と構図情報とを抽出する撮像対象判別ステップと、
前記撮像対象情報を基にして、該撮像対象情報に関連付けられる前記音情報を取得する音情報取得ステップと、
前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集ステップと、
前記画像情報と前記調整後音情報とを統合する撮像・音情報統合ステップと、
を少なくとも有することを特徴とする画像編集方法。
【請求項１０】
コンピュータに、
撮影した画像情報から、撮像対象情報と構図情報とを抽出する撮像対象判別機能と、
前記撮像対象情報を基にして、該撮像対象情報に関連付けられる前記音情報を取得する音情報取得機能と、
前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集機能と、
前記画像情報と前記調整後音情報とを統合する撮像・音情報統合機能と、
を少なくとも実行させるプログラムからなっていることを特徴とする画像編集プログラム。
【請求項１】
撮影した画像情報に含まれる撮像対象情報に関連付けられた音情報を該画像情報に付与する画像編集装置であって、
前記画像情報から、前記撮像対象情報と構図情報とを抽出する撮像対象判別手段と、
前記撮像対象情報を基にして、該撮像対象情報に関連付けられる音情報を取得する音情報取得手段と、
前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集手段と、
前記画像情報と前記調整後音情報とを統合する撮像・音情報統合手段と、
を少なくとも備えることを特徴とする画像編集装置。
【請求項２】
前記音調整パラメータは、前記音情報の定位と音量とを調整するためのパラメータを少なくとも含む
ことを特徴とする請求項１に記載の画像編集装置。
【請求項３】
過去に撮影した画像情報のうち前記画像情報に対して時間的に一つ前の直近に撮影した直近画像情報から抽出された前記構図情報である直近構図情報と、該直近画像情報における前記撮像対象情報に関連付けられた前記音情報を調整した際の前記音調整パラメータである直近音調整パラメータとを少なくとも保持する編集情報保持手段をさらに備え、
前記音情報編集手段は、最新の前記構図情報と前記直近構図情報とを比較解析し、両者の構図情報が類似していることを示す条件としてあらかじめ定めた類似条件を満たしていた場合、前記直近構図情報から最新の前記構図情報への構図変化の程度を示す構図変化情報を抽出し、前記構図情報、前記直近音調整パラメータおよび前記構図変化情報に基づいて、前記音調整パラメータを決定する
ことを特徴とする請求項１または２に記載の画像編集装置。
【請求項４】
前記類似条件は、前記撮像対象情報が同一であり、かつ、前記構図変化情報が示す前記構図変化の程度があらかじめ定めた所定の閾値以下である
ことを少なくとも含むことを特徴とする請求項３に記載の画像編集装置。
【請求項５】
前記類似条件は、最新の前記画像情報と前記直近画像情報との撮影時刻の差分が、あらかじめ定めた所定の時間以内である
ことを少なくとも含むことを特徴とする請求項３または４に記載の画像編集装置。
【請求項６】
前記撮像対象判別手段が、前記画像情報から背景情報をさらに抽出し、
前記音情報取得手段は、前記撮像対象判別手段によって抽出された前記背景情報に関連付けられた背景音情報をさらに取得し、
前記音情報編集手段は、前記背景音情報を調整するための背景音調整パラメータを決定し、決定した該背景音調整パラメータに従って該背景音情報を調整した調整後背景音情報に、前記調整後音情報をさらに重畳する
ことを特徴とする請求項１ないし５のいずれかに記載の画像編集装置。
【請求項７】
前記撮像対象判別手段は、前記画像情報から前記背景情報を抽出する際に、前記画像情報の撮影時情報を用いて前記背景情報を抽出する
ことを特徴とする請求項６に記載の画像編集装置。
【請求項８】
前記撮影画像の撮影時に録音された撮影時音情報から、背景音抽出用としてあらかじめ定めた抽出条件に基づいて、背景音情報と類推される撮影時音情報を撮影時背景音情報として抽出する背景音抽出手段をさらに備え、
前記音情報編集手段は、前記構図情報に基づいて、前記背景音抽出手段によって抽出された前記撮影時背景音情報を調整するための前記音調整パラメータである背景音調整パラメータを決定し、決定した該背景音調整パラメータに従って該撮影時背景音情報を調整して調整後背景音情報として生成した後、生成した該調整後背景音情報に前記調整後音情報をさらに重畳する
ことを特徴とする請求項１ないし７のいずれかに記載の画像編集装置。
【請求項９】
撮影した画像情報に含まれる撮像対象情報に関連付けられた音情報を該画像情報に付与する画像編集方法であって、
前記画像情報から、前記撮像対象情報と構図情報とを抽出する撮像対象判別ステップと、
前記撮像対象情報を基にして、該撮像対象情報に関連付けられる前記音情報を取得する音情報取得ステップと、
前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集ステップと、
前記画像情報と前記調整後音情報とを統合する撮像・音情報統合ステップと、
を少なくとも有することを特徴とする画像編集方法。
【請求項１０】
コンピュータに、
撮影した画像情報から、撮像対象情報と構図情報とを抽出する撮像対象判別機能と、
前記撮像対象情報を基にして、該撮像対象情報に関連付けられる前記音情報を取得する音情報取得機能と、
前記構図情報に基づき、前記音情報を調整するための音調整パラメータを決定し、決定した該音調整パラメータに従って前記音情報を調整して調整後音情報として出力する音情報編集機能と、
前記画像情報と前記調整後音情報とを統合する撮像・音情報統合機能と、
を少なくとも実行させるプログラムからなっていることを特徴とする画像編集プログラム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図３】
【図１０（ａ）】
【図１０（ｂ）】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図３】
【図１０（ａ）】
【図１０（ｂ）】
【公開番号】特開２０１３−１１４２３６（Ｐ２０１３−１１４２３６Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６３２１６（Ｐ２０１１−２６３２１６）
【出願日】平成２３年１２月１日（２０１１．１２．１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１２月１日（２０１１．１２．１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]