音声処理装置
【課題】画像を記録すると共に周囲音を録音し、画像に処理を施す場合に、鑑賞時の情緒性や娯楽性を損なうことのない音声処理装置を提供する。
【解決手段】画像を撮像する撮像素子と、音声を入力するマイク１４１と、撮像素子によって撮像して得た画像データを、複数の加工処理の中から処理したい加工処理を選択する画像アート指示部１２３Ａと、マイク１４１によって入力した音声データを、複数の音声処理の中から音声処理を選択し、この選択結果に応じて、音声処理の選択を指示する音処理選択部１５３Ａと、音処理選択部１５３Ａによって指示された音声処理によって処理された音声データを、画像データに関連付けして出力するフィルタ１５７Ａおよび合成器１５９Ａを具備する。
【解決手段】画像を撮像する撮像素子と、音声を入力するマイク１４１と、撮像素子によって撮像して得た画像データを、複数の加工処理の中から処理したい加工処理を選択する画像アート指示部１２３Ａと、マイク１４１によって入力した音声データを、複数の音声処理の中から音声処理を選択し、この選択結果に応じて、音声処理の選択を指示する音処理選択部１５３Ａと、音処理選択部１５３Ａによって指示された音声処理によって処理された音声データを、画像データに関連付けして出力するフィルタ１５７Ａおよび合成器１５９Ａを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置に関し、詳しくは、画像データの加工に応じて音声データの加工処理を行う音声処理装置に関する。
【背景技術】
【０００２】
従来の撮影においては、情緒的雰囲気を高めるために、画像フィルタ等を用いて画像処理を行い、画像に恣意的な効果（以下、アート効果と称す）を付加する場合がある。また、撮影した画像を再生する際に音楽を一緒に再生することが提案されている。例えば、特許文献１に開示の撮影装置は、撮影時に画像データに合わせて音楽データの記録を行う。また、特許文献２に開示の撮影装置は、画像に人物が含まれている場合に顔の表情を判定し、表情に応じた音楽を画像と一緒に再生を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６１９５７号公報
【特許文献２】特開２０１０−２１８１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、アート効果を付加すると共に、周囲音を併せて録音する場合がある。この場合は、周囲音は原音に忠実となるように記録していた。しかし、画像処理によってアート効果を付加しながら、周囲音は原音に忠実であると、鑑賞時の情緒性や娯楽性が下がってしまう場合がある。例えば、アート効果としてトイカメラのようなレトロな雰囲気になる画像処理を施した場合に、周囲音が綺麗な場合には、アート効果を損なってしまう。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、画像を記録すると共に周囲音を録音し、画像に処理を施す場合に、鑑賞時の情緒性や娯楽性を損なうことのない音声処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係わる音声処理装置は、画像を撮像する撮像部と、音声を入力する音声入力部と、上記撮像部によって撮像して得た画像データを、複数の加工処理の中から処理したい加工処理を選択する画像加工処理選択部と、上記音声入力部によって入力した音声データを、複数の音声処理の中から音声処理を選択する音声処理選択部と、上記画像加工処理部による選択結果に応じて、上記音声処理選択部による音声処理の選択を指示する音声処理指示部と、上記音声処理指示部によって指示された音声処理によって処理された音声データを、上記画像データに関連付けして出力する音声処理部と、を具備する。
【０００７】
第２の発明に係わる音声処理装置は、上記第１の発明において、さらに、上記指示された音声処理を表示する音声処理表示部を有する。
第３の発明に係わる音声処理装置は、上記第１の発明において、上記選択された音声処理に応じて、推奨する音声処理を決定する。
第４の発明に係わる音声処理装置は、上記第３の発明において、推奨できない音声処理を非選択とする。
【０００８】
第５の発明に係わる音声処理装置は、上記第１の発明において、さらに、入力された上記音声データに対して合成するための音データを記憶する合成音記憶部を有し、上記音声処理部は、上記合成音記憶部に記憶された合成音を、上記指示に応じて音声処理を行う。
【０００９】
第６の発明に係わる音声処理装置は、上記第１の発明において、さらに、撮影モード選択部を有し、上記音声処理部は、上記撮影モード選択部によって選択された撮影モードに応じて選択する。
【発明の効果】
【００１０】
本発明によれば、画像を記録すると共に周囲音を録音し、画像に処理を施す場合に、鑑賞時の情緒性や娯楽性を損なうことのない音声処理装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラの主として、音声処理に関連する構成を示すブロック図である。
【図３】本発明の一実施形態に係わるカメラにおいて、画像処理の際のデータ及び制御の流れを示すブロック図である。
【図４】本発明の一実施形態に係わるカメラにおいて、画像処理に加えて音声処理を行う際のデータ及び制御の流れを示すブロック図である。
【図５】本発明の一実施形態におけるカメラにおいて、画像処理に加えて音声処理を行う際のデータ及び制御の流れの他の例を示すブロック図である。
【図６】本発明の一実施形態におけるカメラにおいて、音処理の詳細を示すブロック図である。
【図７】本発明の一実施形態におけるカメラにおいて、音処理毎の処理内容を示すブロック図である。
【図８】本発明の一実施形態に係わるカメラにおいて、アート画処理と音フィルタの組合せを示す図である。
【図９】本発明の一実施形態に係わるカメラにおけるインターフェースを行うための表示画面である。
【図１０】本発明の一実施形態に係わるカメラにおけるインターフェースを行うための表示画面である。
【図１１】本発明の一実施形態に係わるカメラにおけるインターフェースを行うための表示画面である。
【図１２】本発明の一実施形態に係わるカメラにおけるインターフェースを行うための表示画面である。
【図１３】本発明の一実施形態に係わるカメラの動作を示すフローチャートである。
【図１４】本発明の一実施形態に係わるカメラの動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１３】
また、一実施形態に係わるカメラは、アート効果を施すための画像処理を複数種類、備えており撮影者が適宜選択することができる。また、撮影時に周囲音を録音することができ、このとき入力した音声に対して音声処理を施すことも可能である。この際、撮影者によって選択されたアート効果に相応しい音処理がなされる。
【００１４】
図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。
【００１５】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）９９９を有する。
【００１６】
撮影レンズ２０１は、被写体像を形成するための光学レンズであって、単焦点レンズまたはズームレンズで構成される。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１の通過した被写体光束を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。このドライバ２０５は、絞り２０３の口径の制御も行う。
【００１７】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ９９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００１８】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ９９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００１９】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のレンズシャッタまたはフォーカルプレーンシャッタが採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２０】
撮像部として機能する撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有し、さらにその３つのラインを垂直方向にも交互に配置することで構成されている。
【００２１】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１０９に出力する。
【００２２】
バス１０９は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１０９は、前述のＡ／Ｄ変換部１０７の他、画像処理部１１１、ＡＥ処理部１１３、ＡＦ処理部１１５、画像圧縮展開部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、液晶（以後、ＬＣＤという）ドライバ１３３、Ａ／Ｄ変換部１４３、音処理部１５１が接続されている。
【００２３】
バス１０９に接続された画像処理部１１１は、オプティカルブラック減算部（以下、ＯＢ減算部という）、ホワイトバランス補正部（以後、ＷＢ補正部という）、同時化処理部、ガンマ変換部、色再現処理部、カラーマトリックス演算部、エッジ強調処理部、ノイズリダクション処理部（以後、ＮＲ処理部という）、画像加工部を含み、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して種々の画像処理を施す。
【００２４】
画像処理部１１１内のＯＢ減算部は、オプティカルブラック減算処理を行う。このオプティカルブラック減算処理では、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値を減算する。
【００２５】
画像処理部１１１内のＷＢ補正部は、画像データに対して、ホワイトバランス補正を行う。ホワイトバランス補正は、さまざまな色温度の光源のもとで、白色を正確に白く映し出すように補正する。晴天、曇天、日陰、電球、蛍光灯などの光源モードをユーザが設定するか、若しくはカメラ側で自動的にホワイトバランス補正量を算出するオートホワイトバランスモードを選択するので、この設定されたモードに応じて、画像データに対してホワイトバランス補正を行う。
【００２６】
同時化処理部は、ベイヤー配列の下で取得された画像データに対して、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化処理を行う。ガンマ変換部はガンマ補正処理を行い、また色再現処理部は、画像の色味を変化させる色再現処理を行う。カラーマトリクス演算部は、画像データに対してカラーマトリックスを乗じる線形変換を行って画像データの色を補正する。エッジ強調処理部は、画像データからエッジを抽出し、画像データのエッジを強調するエッジ強調を行う
【００２７】
ＮＲ処理部は、高周波を低減するフィルタを用いたり、またコアリング処理等により、画像データのノイズを低減する処理を行う。また、画像処理部１１１内には、アート効果を施すための画像加工部を有する。画像加工部は、Ａ／Ｄ変換部１０７から出力された画像データに対して、操作部１２３を介して指示されたアート効果に応じた画像効果が生ずるよう画像処理を行う。画像処理部１１１は、必要に応じて、上述の各部を選択し各処理を行い、画像処理を施された画像データは、バス１０９を介してＳＤＲＡＭ１２７に一時記憶される。
【００２８】
ＡＥ処理部１１３は、被写体輝度を測定し、バス１０９を介してマイクロコンピュータ１２１に出力する。被写体輝度測定のために専用の測光センサを設けても良いが、本実施形態においては、撮像素子１０３の出力に基づく画像データに基づいて被写体輝度を算出する。ＡＦ処理部１１５は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１０９を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。
【００２９】
画像圧縮展開部１１７は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から画像データを読み出し、この読み出した画像データをＪＰＥＧ圧縮方式等の各種圧縮方式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ１２７に一旦記憶する。マイクロコンピュータ１２１は、ＳＤＲＡＭ１２７に一時記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、この作成したＪＰＥＧファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。
【００３０】
また、画像圧縮展開部１１７は、画像再生表示用にＪＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているＪＰＥＧファイルを読み出し、画像圧縮展開部１１７において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、ＭＰＥＧ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。
【００３１】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ９９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００３２】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦、撮影モードダイヤル等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該カメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該カメラの電源はオフとなる。
【００３３】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００３４】
動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、ＬＣＤ１３５に撮影画像を再生表示する。
【００３５】
メニュー釦は、メニュー画面をＬＣＤ１３５に表示させるための操作釦である。メニュー画面上では、カメラの各種モードの設定が可能であり、例えば、晴天、曇天、日陰、電球、蛍光灯等のホワイトバランスモードや、オートホワイトバランス、水中オートホワイトバランス等のホワイトバランスモードの設定を行うことができる。また、メニュー釦および十字釦等の操作部１２３は、撮像素子１０３によって撮像して得た画像データを、画像加工部による複数の加工処理の中から処理した加工処理を選択する画像加工処理選択部として機能する。
【００３６】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいて当該デジタルカメラの制御を行う。また、フラッシュメモリ１２５は、被写体輝度に対して適正露光となる露出制御値（ＩＳＯ感度、絞り値、シャッタ速度）の組合せを示すテーブル（露出条件決定テーブル）、ホワイトバランス補正を行うためのホワイトバランスゲインや、カラーマトリックス係数を記憶している。
【００３７】
ＳＤＲＡＭ１２７は、画像データの一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１１１や画像圧縮展開部１１７等において処理された画像データを一時記憶する。また、ＳＤＲＡＭ１２７は、マイク１４１によって収音され、Ａ／Ｄ変換部１４３から出力された音声データの一時記憶も行う。
【００３８】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、カメラ本体に脱着可能なメモリであるが、ハードディスク等、カメラ本体に内蔵のメモリであってもよい。
【００３９】
ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮展開部１１７によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、圧縮されている画像データを表示する場合には、前述したように、画像圧縮展開部１１７によって伸張処理を施した後に表示する。また、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。
【００４０】
また、ＬＣＤ１３５は、カメラ本体１００の背面のみならず、上面にコントロールパネルとしても配置されている。コントロールパネルは、撮影のために必要となる制御関連の表示を行う。このコントロールパネルにおいて、後述するように、選択された音声処理に応じて、推奨する音声処理を決定することが可能である。
【００４１】
音声を入力する音声入力部として機能するマイク１４１は、カメラ本体１００の外装に設けられており、周囲音をアナログ音声信号に変換し、Ａ／Ｄ変換部１４３に出力する。Ａ／Ｄ変換部１４３は、アナログ音声信号をアナログ―デジタル変換し、デジタル音声信号（以後、音声データという）をバス１０９に出力する。
【００４２】
音処理部１５１は、バス１０９に接続されており、音処理選択部１５３、プリセット音選択部１５５、音フィルタ処理部１５７、および音合成部１５９を有する。音フィルタ処理部１５７は、後述する音処理を行う際に、特定周波数領域を減衰させたり、強調する等、種々の処理を行う。音合成部１５９は、Ａ／Ｄ変換部１４３から出力される音声データと、フラッシュメモリ１２５に記憶されている合成用の音の合成を行う。音フィルタ処理部１５７によってフィルタ処理された音声データおよび音合成部１５９によって合成された音声データはバス１０９に出力される。音フィルタ処理部１５７および音合成部１５９は、音声処理部として機能する。
【００４３】
音処理選択部１５３は、音フィルタ１５７および音合成部１５９における音処理のいずれかを選択する。音処理選択部１５３は、音声入力部として機能するマイク１４１によって入力した音声データを、複数の音声処理の中から音声処理を選択する音声処理選択部として機能し、また音処理選択部１５３は、マイクロコンピュータ１２１による選択結果に応じて、上述の音処理選択部による音声処理の選択を指示する音声処理指示部としても機能する。プリセット音選択部１５５は、フラッシュメモリ１２５に記憶されている複数の合成用の音の中からいずれの音を合成用に選択する。
【００４４】
次に、図１に示したブロック図において、本実施形態における音処理および画処理に関する構成の詳細について、図２を用いて説明する。なお、図２においては、バス１０９を省略してある。音声入力部として機能するマイク１４１の出力はＡ／Ｄ変換部１４３に接続されており、Ａ／Ｄ変換部１４３の出力は音処理部１５１内のフィルタ１５７Ａに接続されている。
【００４５】
画像アート指示部１２３Ａは、複数種類あるアート効果のうちのいずれかを指示する。アート効果の指示は、操作部１２３によってメニュー画面を表示させ、撮影者がメニュー画面中で指示するが、これ以外の指示方法でも勿論かまわない。画像アート指示部１２３Ａによって指示されたアート効果は、画像処理部１１１と、音処理部１５１内の音処理選択部１５３Ａに出力される。
【００４６】
画像処理部１１１は、前述したように、アート効果を施すための画像加工部等を有し画像アート指示部１２３Ａによって指示されたアート効果に応じた画像処理を行う。画像処理部１１１によってアート効果等の画像処理がなされた画像データは、圧縮部１１７Ａに出力される。圧縮部１１７Ａは前述の画像圧縮展開部１１７の一部であり、画像データの圧縮処理を行う。
【００４７】
音処理部１５１は、図２に示すように、音処理選択部１５３Ａ、フィルタ１５７Ａ、アート音処理選択部１５７Ｂ、合成器１５９Ａから構成される。図１に示した音処理部１５１とは同一の機能を果たし、図１の音処理選択部１５３は、図２の音処理選択部１５３Ａに対応し、図１のプリセット音選択部１５５の機能は、図２においては、音処理選択部１５３Ａが兼ねている。図１の音フィルタ処理部１５７は、図２においては、フィルタ１５７Ａおよびアート音処理選択部１５７Ｂが対応する。また、図１の音合成部１５９は、図２においては、合成器１５９Ａが対応する。図２の合成音部１２５Ａは、図１におけるフラッシュメモリ１２５の一部であり、アート効果用の合成音を記憶しており、入力された音声データに対して合成するための音データを記憶する合成音記憶部としての機能を有する。
【００４８】
Ａ／Ｄ変換部１４３から音声データを入力し、また画像アート指示部１２３Ａから選択されたアート効果を入力する音処理選択部１５３Ａは、複数の音処理の内でいずれの音処理を施すかを選択する。すなわち、本実施形態においては、フィルタ１５７Ａによって、特定周波数領域の音声データを強調しまた逆に減衰させる音処理や、合成音部１２５Ａに記憶されている複数の合成音１〜ｎのいずれかを音声データに重畳させる音処理が可能である。音処理選択部１５３Ａは、画像アート指示部１２３Ａによって指示されたアート効果に相応しい音処理を選択し、アート音処理部１５７Ｂ、合成音部１２５Ａ、表示処理部１３３Ａに音声処理の選択を指示する。
【００４９】
アート音処理選択部１５７Ｂは、フィルタを用いたアート効果を施す場合に、複数のフィルタ処理の中から音処理選択部１５３Ａによって選択されたアート効果に応じたフィルタ特性となるようにアート音処理を選択する。合成音部１２５Ａは、フラッシュメモリ１２５内に記憶されている合成用の音のデータである。後述するように、合成音としては、古いフィルムを上映する際に発生するようなノイズ音等、種々の音が合成音１〜ｎとして記憶されている。音処理選択部１５３Ａによって選択された合成音１〜ｎのいずれかは、合成器１５９Ａに出力される。
【００５０】
フィルタ１５７Ａは、Ａ／Ｄ変換部１４３から出力された音声データに対して、アート音処理選択部１５７Ｂによって選択されたフィルタ特性に応じた音処理を施し、合成器１５９Ａに出力する。合成器１５９Ａは、フィルタによって音処理が施された音声データに対して、合成音部１２５Ａから出力された合成音１〜ｎのいずれかを合成する音処理を施し、記録処理部１３０Ａに出力する。記録処理部１３０Ａは、図１におけるメモリＩ／Ｆ１２９および記録媒体１３１に対応する。記録処理部１３０Ａは、圧縮部１１７Ａによって圧縮処理された画像データと、音処理部１５１によって処理された音声データを関連付けて記録する。
【００５１】
音処理選択部１５３Ａの出力と画像処理部１１１の出力を入力する表示処理部１３３Ａと、表示処理部１３３Ａに接続された表示部１３５Ａは、図１におけるＬＣＤドライバ１３３とＬＣＤ１３５に対応する。表示処理部１３３Ａは、画像処理部１１１によって画像処理された画像に、音処理選択部１５３Ａによって選択された音の処理を表わす表示を重畳させた画像データを生成し、表示部１３５Ａに表示する。表示部１３５Ａは、指示された音声処理を表示する音声処理表示部として機能する。
【００５２】
次に、図３ないし図５を用いて、本実施形態における画像データおよび音声データの流れと、制御の流れについて説明する。撮影者は、メニュー画面等において、操作部１２３を操作することにより、ユーザ選択情報１２３Ｂについて設定することができる。ユーザ選択情報１２３Ｂとしては、例えば図３に示すように、ＩＳＯ感度を選択するためのＩＳＯ１２３Ｂａ、ハイライト部やシャドウ部の明るさを調整するトーンコントロール１２３Ｂｂ、ホワイトバランスを設定するためのＷＢ１２３Ｂｃ、露出補正値を設定するための露出１２４Ｂｅがある。
【００５３】
また、ユーザ選択情報１２３Ｂとして、アート効果の種類を指定するためのアートフィルタ１２３Ｂｄがある。前述したように、本実施形態においては、複数のアート効果の中から選択することができる。アート効果としては、例えば、色をカラフルに強調し、ポップアート感覚な作風に仕上げるポップアート、トイカメラで撮影したような周辺光量を落としたトイフォト、ピントの芯を残したぼかしたソフトフォーカス、粒子の粗い白黒写真のようなラフモノクローム等がある。ユーザ選択情報１２３Ｂによって選択されたデータは、マイクロコンピュータ１２１に出力される。
【００５４】
図３において、画像処理部１１１、マイクロコンピュータ１２１、音処理部１５１に接続されているファイル化部１３０Ｂと、このファイル化部１３０Ｂに接続された外部記録装置１３０Ｃは、図１のメモリＩ／Ｆ１２９および記録媒体１３１に対応し、また図２の記録処理部１３０Ａに対応する。
【００５５】
撮像素子１０３から読み出され、Ａ／Ｄ変換部１０７によってデジタル化された画像データは、画像処理部１１１によって画像処理される。ＩＳＯ感度１２３Ｂａ、トーンコントロール１２３Ｂｂ、ＷＢ１２３Ｂｃ、露出補正１２３Ｂｅ等のユーザ選択情報に基づいて、マイクロコンピュータ１２１は画像処理部１１１に対して、画像処理を行うように制御する。画像処理部１１１は、画像処理を施した画像データをファイル化部１３０Ｂに出力する。
【００５６】
アート効果が選択されていない場合には、マイク１４１によって周囲音をアナログ音声信号に変換し、Ａ／Ｄ変換部１４３はアナログ音声信号をデジタル化している。このデジタル化された音声データは、音処理部１５１によって音処理を施し、音処理を施した音声データをファイル化部１３０Ｂに出力する。
【００５７】
ファイル化部１３０Ｂは、画像処理部１１１から画像データ、および音処理部１５１から音声データを入力すると、マイクロコンピュータ１２１からの制御信号に従って記録用のファイルを生成し、外部記録装置１３０Ｃに出力する。
【００５８】
ユーザ選択情報１２３Ｂとして、図４に示すように、アート効果を指定するためのアートフィルタ１２３Ｂｄが選択されると、この選択されたアート効果の情報はマイクロコンピュータ１２１に出力される。マイクロコンピュータ１２１は、画像処理部１１１に対して、選択されたアート効果に応じた画像処理を行うための制御信号を出力し、画像処理部１１１は、制御信号に従って画像処理を実行する。
【００５９】
また、マイクロコンピュータ１２１は、音処理部１５１に対しても、選択されたアート効果に応じた音処理を行うための制御信号を出力し、音処理部１５１は、制御信号に従って音処理を実行する。図２に示したブロック図では、画像アート指示部１２３Ａから、選択されたアート効果を、直接、音処理選択部１５３に送信しているが、実際には、マイクロコンピュータ１２１から制御命令として音処理部１５１内の音処理選択部１５３に出力する。音処理部１５１は、選択されたアート効果に相応しい音処理を実行する。アート効果に相応しい音処理については、図７および図８を用いて後述する。
【００６０】
また、ユーザ選択情報１２３Ｂとして、図５に示すように、撮影モード情報１２３Ｂｆが選択されると、この選択された撮影モードの情報はマイクロコンピュータ１２１に出力される。前述の操作部１２３の内の撮影モードダイヤル等によって、撮影モードが選択される。撮影モードダイヤル等の操作部１２３が撮影モード選択部としての機能を有する。
【００６１】
マイクロコンピュータ１２１は、画像処理部１１１に対して、選択された撮影モードに応じた画像処理を行うための制御信号を出力し、画像処理部１１１は、制御信号に従って画像処理を実行する。また、マイクロコンピュータ１２１は、音処理部１５１に対しても、選択された撮影モードに応じた音処理を行うための制御信号を出力し、音処理部１５１は、制御信号に従って音処理を実行する。音処理部１５１は、選択された撮影モードに相応しい音処理を実行する。
【００６２】
このように、本実施形態においては、ユーザ選択情報として、ＩＳＯ感度１２３Ｂａ、トーンコントロール１２３Ｂｂ等の情報が選択されると、マイクロコンピュータ１２１は選択された情報に基づいて画像処理部１１１を制御し、選択された情報に沿った画像処理を行うようにしている。また、アートフィルタ１２３Ｂｄによってアート効果が選択されると、マイクロコンピュータ１２１は選択されたアート効果に基づいて画像処理部１１１を制御すると共に音処理部１５１の制御を行う。このため、アート効果に相応しい音処理が行われることになる。同様に、撮影モードが選択されると、撮影モードに応じた画像データの処理を行うと共に、音声データについても撮影モードに相応しい処理がなされる。
【００６３】
次に、音処理について、図６ないし図８を用いて説明する。図６（ａ）は、アート効果を付加しない場合の音フィルタ部１５７における音声データの流れを示している。すなわち、マイク１４１によって周囲音は音声信号に変換され、Ａ／Ｄ変換部１４３によって音声データに変換される。
【００６４】
音声データは、音フィルタ部１５７内の自動レベル制御（ＡＬＣ：Auto Level Control）１５７ａによってレベル調節がなされる。また、ローパスフィルタ・ハイパスフィルタ（ＬＰＦ、ＨＰＦ）１５７ｂによって予め指定されたフィルタ特性で高周波領域や低周波領域等の周波数の音声が透過される。また、ノッチフィルタ１５７ｃによって雑音が除去される。音フィルタ１５７によって雑音が除去され、かつ特定周波数領域の音声がカットされた音声データは、ファイル化部１３０Ｂによって音声ファイルが生成される。
【００６５】
アート効果を付加する場合には、図６（ｂ）に示すように、ノッチフィルタ１５７ｃによって雑音が除去された音声データを、アート効果対応フィルタ１５７ｄに入力する。アート効果フィルタ１５７ｄは、アート音処理選択部１５７Ｂ（図２参照）によって選択されたフィルタ特性に従ってアート効果を付与するためのフィルタ特性を有している。アート効果としては、図７（ａ）に示すように、電話越しの音用フィルタ等、種々の効果を付与するものの中から選択される。なお、電話越しの音フィルタは、中域の音を抽出し、低音と高音をカットするフィルタである。
【００６６】
図６（ｂ）および図７（ａ）は、フィルタによってアート効果を付与していたが、音声データに対して合成音部１２５Ａに記憶されている合成用の音を重畳させるようにしてもよい。図７（ｂ）に示す例は、合成音部１２５Ａに記憶されている複数の合成音の中から古フィルムの「シー、パチパチ」音を重畳している。すなわち、ノッチフィルタ１５７ｃによってノイズを除去した音声データと、合成音部１２５Ａに記憶されている古フィルムの「シー、パチパチ」音を、合成器１５９Ａにおいて合成し、この合成した音声データを増幅器１５９Ｂによってレベルを１／２に落としている。増幅器１５９Ｂの出力は、ファイル化部１３０Ｂに出力される。
【００６７】
また、音声データに対して、フィルタ効果と合成音による効果の両方を付与するようにしてもよい。図７（ｃ）に示す例は、アート効果対応フィルタ１５７ｄとして電話越しの音フィルタによる効果と、古フィルムの「シー、パチパチ」音を重畳した効果の両方を音声データに与えている。
【００６８】
このように、音処理部１５１においてアート効果対応フィルタ１５７ｄや合成音１２５Ａを用いて、マイク１４１によって取得された音声信号に基づく音声データに対して種々の効果を付与することができる。
【００６９】
これらの効果は、前述したように、画像アート指示部１２３Ａによって指示されたアート効果に相応しい音処理が、音処理選択部１５３Ａによって選択される。この選択の一例を図８に示す。例えば、アート効果として、ポップが選択されるとフィルタ１５７Ａによる音フィルタ処理としてはポップが選択され、また合成音１２５Ａとしては、バブル音（泡が出てくるような音）が選択される。また、アート効果としてポップに加えてキラキラが加えられた場合、すなわち、高輝度部に対して光条を付加するような効果を付加する場合には、合成音１２５Ａとして、鐘によるキラキラ音が選択される。
【００７０】
次に、本実施形態におけるメニュー画面でのモード設定について、図９ないし図１１を用いて説明する。図９は、メニュー画面の選択手順を示す。図９（ａ）は、メニュー画面において、操作部１２３の内の十字釦を操作することにより、セットアップメニュー画面３０１を選択した状態を示す。さらに十字釦を操作することにより、カーソルを移動させ、音設定３０１ａが選択されと、図９（ｂ）に示すように、音設定画面３０３が表示される。
【００７１】
音設定画面３０３において、操作音種類、操作音量、再生音量等、種々の設定が行うことができるが、カーソルを下に移動させると、図９（ｃ）に示すように、音フィルタモード３０３ａを選択できる。音フィルタモード３０３ａが選択されると、図９（ｄ）に示すように、音フィルタモード画面３０５が表示される。
【００７２】
音フィルタモード画面３０５においては、推奨モード３０５ａ、ライブビュー（ＬＶ）コントロール３０５ｂ、スーパーコンパネ３０５ｃが表示され、十字釦を操作することにより、これらの項目を選択することができる。なお、推奨モード３０５ａは、アート効果を選択すると、自動的に推奨の音処理が選択されるモードである。また、ＬＶコントロール３０５ｂは、ＬＣＤ１３５におけるライブビュー表示の際に、音処理を選択することができるモードである。また、スーパーコンパネ３０３ｃは、アート効果を選択した際に音処理を推奨モードではなく、撮影者の意図によって予め音処理の組合せを決めておくモードである。
【００７３】
図１０は、ＬＶコントロール３０５ｂが設定された場合、ライブビュー表示画面における音処理の選択の手順を示す。ＬＶコントロールが設定されると、複数用意されている音処理の中から、撮影者の意図する音処理を選択することができる。まず、図１０（ａ）は、通常のライブビュー表示画面である。このライブビュー表示画面において、操作部１２３の内のＯＫ釦を操作すると、図１０（ｂ）に示すような設定画面に変わる。この状態でカーソル３１１ａ、３１１ｂを移動させて、図１０（ｃ）に示すようなアート効果を選択する。
【００７４】
この状態でＯＫ釦を再度操作すると、図１０（ｄ）に示すように、音処理のメニューが表示される。この画面でカーソル３１１ｃを上下釦操作により移動させ、撮影者が意図する音処理を選択することができる。図１０（ｅ）は、カーソル３１１ｃによって、音処理として「電話越し」を選択した状態であり、この状態でＯＫ釦を操作すると、音処理として「電話越し」が選択される（図１０（ｅ）参照）。
【００７５】
このように、ＬＶコントロール３０５ｂを選択すると、ライブビュー表示画面において、直感的に音処理を選択することができる。図１０に示した例では、アート効果に対して音処理を１つ選択していたが、複数選択しても勿論かまわない。図１１は、ＬＶコントロールモードにおいて、複数の音処理を選択する例を示す。
【００７６】
図１１（ａ）は、図１０（ｂ）と同じく設定画面である。この画面で上下釦を操作することにより、アート効果２を選択すると、図１１（ｂ）に示す画面に変わる。この画面で「電話越し」を選択し（図１１（ｃ）参照）、さらに上下釦を操作してカーソル３１１ｃを移動させ、「古いフィルムの音」を選択すると、図１１（ｄ）に示すように、「電話越し」および「古いフィルムの音」の２つの音処理が選択される。
【００７７】
また、推奨モードでは、予め決められたアート効果と音処理の組合せの範囲内（通常はアート効果に対して１つの音処理）で、撮影者は設定したアート効果に応じた音処理を自動的に設定することができる。しかし、予め設定した組合せ以外の音処理を組み合わせたい場合もある。その場合には、図９（ｄ）に示す画面において、スーパーコンパネ３０５ｃを選択すればよい。
【００７８】
図１２は、スーパーコンパネモードにおける、コントロールパネルの表示を示す。図１２（ａ）は、推奨設定として予め決められている組合せを示す。この組合せにおいて、縦軸に記載のファンタジックフォーカス、デイドリーム等はアート効果を示しており、また横軸に記載の無加工、エコー、電話越しの音、古いフィルムの音等は、音処理を示している。図１２（ａ）に示す推奨設定では、アート効果としてファンタジックフォーカスが選択された場合には、エコーが自動的に設定される。また、アート効果としてデイドリームが選択された場合には、音処理が施されない無加工が推奨画像として設定される。
【００７９】
図１２（ｂ）は、コントロールパネルを用いて、撮影者が設定の組合せを変更するスーパーコンパネモードにおける、コントロールパネルの表示を示す。この場合には、上下釦等を操作して、アート効果に対応して設定可能な音処理を任意に変更・追加・削除することができる。図１２（ｂ）に示す例では、ジェントルセピアを設定した場合に、推奨設定では古いフィルムの音が自動設定であったが、電話越しの音を追加している。なお、複数、音処理が選択されている場合には、上下釦等の操作部材によって、いずれかを選択する。なお、推奨できない音声処理は非選択とするようにしてもよい。
【００８０】
このように、本実施形態においては、音処理として推奨モードが設定されている場合、通常、アート効果に対応する音処理は１つ決められており、この推奨された音処理が自動的に設定される。また、ＬＶコントロールが設定されている場合には、ライブビュー表示画面を見ながら撮影者が任意に設定することができる。また、スーパーコンパネモードによって推奨設定または設定の変更をすることが可能となる。
【００８１】
次に、本実施形態における動作について、図１３および図１４に示すフローチャートを用いて説明する。これらのフローは、フラッシュメモリ１２５に記憶されているプログラム従って制御部によって実行される。図１３および図１４に示すフローは、メインルーチンの中から録音動作に関係ある部分について示す。このメインルーチンは、操作部１１７の電源釦がオンとなると実行を開始する。
【００８２】
まず、撮影を行う（Ｓ１）。ここでは、撮像素子１０３からの画像信号に基づいて、ＬＣＤ１３５にライブビュー表示を行い、レリーズ釦の半押しに応じて、測光や測距を行う。また、レリーズ釦の全押しに応じて静止画の撮影を行い、動画釦が操作されると動画撮影を開始する。
【００８３】
ステップＳ１において、静止画または動画の撮影を行うと、次に、撮影後録音するか否かの判定を行う（Ｓ３）。撮影時に録音するか、または撮影後に録音するかはメニュー画面において設定するので、このステップでは、この設定に基づいて判定する。なお、動画の撮影の場合には、ステップＳ３における判断をステップＳ１に先だって撮影前に行う。ステップＳ３における判定の結果、撮影後に録音するではなかった場合、すなわち、撮影時に録音する場合には、次に、録音を開始する（Ｓ５）。ここでは、マイク１４１によって収音し、Ａ／Ｄ変換部１４３によって音声データに変換し、ＳＤＲＡＭ１２７に音声データを一時記憶する。
【００８４】
録音を開始すると、次に、録音バッファがフルか否かの判定を行う（Ｓ７）。音声データの一時記憶用のＳＤＲＡＭ１２７におけるバッファ容量一杯であるか否かを判定する。この判定の結果、バッファ容量一杯でなければ、バッファ容量が一杯になるまで録音を続行する。
【００８５】
ステップＳ７における判定の結果、録音バッファがフルになった場合には、次に、音フィルタ選択されているか否かを判定する（Ｓ９）。前述したように、本実施形態においては、アート効果を選択すると自動的に、音処理選択部１５３（１５３Ａ）が音フィルタ処理部１５７のフィルタ１５７Ａを自動的に選択する。そこで、このステップでは、音処理選択部１５３によってフィルタが選択されているか否かを判定する。
【００８６】
ステップＳ９における判定の結果、音フィルタが選択されている場合には、次に、選択されている音フィルタが電話越しの音か否かを判定する（Ｓ１１）。これは、図７（ａ）（ｃ）を用いて説明したように、フィルタとして、電話越しの音が選択されている場合である。この判定の結果、電話越しの音が選択されていた場合には、中音バンドバスフィルタ（ＢＰＦ）を動作させる（Ｓ１３）。ここでは、フィルタ１５７Ａに高音領域と低音領域をカットし、中音領域の音を通過させる中音バンドバスフィルタを動作させる。
【００８７】
ステップＳ１３において中音バンドパスフィルタを動作させると、またはステップＳ１１における判定の結果、電話越しの音が選択されていなかった場合には、次に、音フィルタとして浮遊感が選択されているか否かを判定する（Ｓ１５）。浮遊感のある音とは、泡が浮いているような感じが生ずる音である。この判定の結果、浮遊感が選択されていた場合には、中音バンドパスフィルタ（ＢＰＦ）を動作させる。中音のバンドパスフィルタの中音領域としては、浮遊感が生ずるように、電話越しの音の場合と異なる領域とする。
【００８８】
ステップＳ１７において中音バンドパスフィルタを動作させると、またはステップＳ１５における判定の結果、浮遊感の音が選択されていなかった場合には、次に、音フィルタとして癒しの音が選択されているか否かを判定する（Ｓ１９）。癒しのある音とは、癒されるような感じが生ずる音である。この判定の結果、癒しが選択されていた場合には、ハイパスフィルタ（ＨＰＦ）を動作させる（Ｓ２１）。ここでは、音声データの内、高音領域の音を通過させる。
【００８９】
ステップＳ２１においてハイパスフィルタを動作させると、またはステップＳ１９における判定の結果、癒しが選択されていなかった場合には、次に、音フィルタとしてエコーが選択されているか否かを判定する（Ｓ２３）。エコーとは、音のパターンが繰り返され、こだましているような感じの音である。この判定の結果、エコーが選択されていた場合には、エコーを動作させる（Ｓ２５）。
【００９０】
ステップＳ２５において、エコーを動作させると、またはステップＳ２３における判定の結果、エコーが選択されていなかった場合には、次に、効果音が選択されているか否かを判定する（Ｓ３１）。ステップＳ９〜Ｓ２５は、フィルタ１５７Ａにおける特性を選択するものであったが、ここでは、図７（ｂ）（ｃ）に示したように、合成器１５９Ａにおいて合成する合成音１２５Ａが選択されているか否かの判定である。なお、合成音１２５Ａの選択は、プリセット音選択部１５５（図２においては音処理選択部１５３Ａ）によって行われる。
【００９１】
ステップＳ３１における判定の結果、効果音が選択されていた場合には、次に、選択されている効果音が古フィルムであるか否かを判定する（Ｓ２３）。この判定の結果、効果音が古フィルムである場合には、古フィルムの音を加算する（Ｓ３５）。この場合には、図７（ｂ）（ｃ）に示すように、古いフィルムを映写機で上映する際に発するような「シー、パチパチ」というような音を合成音として重畳させる。すなわち、合成音１２５Ａから古フィルムの合成音を読み出し、合成器１５９Ａにおいて音声データに重畳する。
【００９２】
ステップＳ３５において古フィルムの音を加算すると、またはステップＳ３３における判定の結果、効果音が古フィルムでなかった場合には、次に、効果音が水辺であるか否かを判定する（Ｓ３７）。この判定の結果、効果音が水辺であった場合には、水辺の音を加算する（Ｓ３９）。ここでは、合成音１２５Ａから水辺の合成音を読み出し、合成器１５９Ａにおいて音声データに重畳する。
【００９３】
ステップＳ３９において水辺の音を加算すると、またはステップＳ３７における判定の結果、効果音が水辺でなかった場合には、次に、効果音が花火であるか否を判定する（Ｓ４１）。この判定の結果、効果音が花火であった場合には、花火の音を加算する（Ｓ４３）。ここでは、合成音１２５Ａから花火の合成音を読み出し、合成器１５９Ａにおいて音声データに重畳する。
【００９４】
ステップＳ４３において花火の音を加算すると、またはステップＳ４１における判定の結果、効果音が花火でなかった場合には、次に、効果音が道路であるか否を判定する（Ｓ４５）。この判定の結果、効果音が道路であった場合には、足音および車の音を加算する（Ｓ４７）。ここでは、合成音１２５Ａから足音および車の合成音を読み出し、合成器１５９Ａにおいて音声データに重畳する。
【００９５】
ステップＳ４７において足音および車の音を加算すると、またはステップＳ４５における判定の結果、効果音が道路でなかった場合には、またはステップＳ３における判定の結果、撮影後録音する場合には、次に、ファイル化を行う（Ｓ４９）。ＳＤＲＡＭ１２７に一時記憶された音声データに対して、ステップＳ９〜Ｓ４７において音処理が施されていることから、このステップでは、音処理が行われた音声データと、撮影された静止画または動画の画像データをファイル化する。このファイル化はファイル化部１３０Ｂによって行われる。
【００９６】
ファイル化を行うと、動画撮影または静止画撮影が終了している場合には、このフローを終了する。なお、動画撮影または静止画撮影が終了していない場合には、ステップＳ１に戻り、撮影を続行する。
【００９７】
このように、本実施形態におけるフローにおいて、撮影中に録音を行う場合には、音声データに対してフィルタによって音を変えたり、また合成音を加算する等、種々の音処理を施している。また、このときの音処理は、設定されたアート効果に相応しい処理を自動的に選択して行う。なお、ステップＳ１１〜Ｓ２５における音フィルタ、およびステップＳ３３〜Ｓ４７における合成音の加算は、例示である。このフローに示した以外にも、図８に示す例等、種々の音処理を施すようにしても構わない。
【００９８】
以上説明したように、本発明の一実施形態においては、撮像部によって撮像して得た画像データを、複数の加工処理（アート効果）の中から処理したい加工処理を選択する場合に、画像加工処理の選択結果に応じて、音声処理の選択を指示するようにしている。このため、画像を記録すると共に周囲音を録音し、画像に処理を施す場合に、鑑賞時の情緒性や娯楽性を損なうことがない。
【００９９】
なお、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１００】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１０１】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・バス、１１１・・・画像処理部、１１３・・・ＡＥ処理部、１１５・・・ＡＦ処理部、１１７・・・画像圧縮展開部、１１７Ａ・・・圧縮部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２３Ａ・・・画像アート指示部、１２３Ｂ・・・ユーザ選択情報、１２３Ｂａ・・・ＩＳＯ、１２３Ｂｂ・・・トーンコントロール、１２３Ｂｃ・・・ホワイトバランス（ＷＢ）、１２３Ｂｄ・・・アートフィルタ、１２３Ｂｅ・・・露出補正、１２３Ｂｆ・・・撮影モード、１２５・・・フラッシュメモリ、１２５Ａ・・・合成音部、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３０Ａ・・・記録処理部、１３０Ｂ・・・ファイル化部、１３０Ｃ・・・外部記録装置、１３１・・・記録媒体、１３３・・・ＬＣＤドライバ、１３３Ａ・・・表示処理部、１３５・・・ＬＣＤ、１３５Ａ・・・表示部、１４１・・・マイク、１４３・・・Ａ／Ｄ変換部、１５１・・・音処理部、１５３・・・音処理選択部、１５５・・・プリセット音選択部、１５７・・・音フィルタ処理部、１５７Ａ・・・フィルタ、１５７Ｂ・・・アート音処理選択部、１５７ａ・・・自動レベル調節（ＡＬＣ）、１５７ｂ・・・ＬＰＦ・ＨＰＦ、１５７ｃ・・・ノッチフィルタ、１５７ｄ・・・アート効果対応フィルタ、１５９・・・音合成部、１５９Ａ・・・合成器、１５９Ｂ・・・増幅器、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３０１・・・セットアップメニュー画面、３０１ａ・・・音設定３０１ａ、３０３・・・音設定画面、３０３ａ・・・音フィルタモード、３０５・・・音フィルタモード画面、３０５ａ・・・推奨モード、３０５ｂ・・・ＬＶコントロール、３０５ｃ・・・スーパーコンパネ、９９９・・・Ｉ／Ｆ
【技術分野】
【０００１】
本発明は、音声処理装置に関し、詳しくは、画像データの加工に応じて音声データの加工処理を行う音声処理装置に関する。
【背景技術】
【０００２】
従来の撮影においては、情緒的雰囲気を高めるために、画像フィルタ等を用いて画像処理を行い、画像に恣意的な効果（以下、アート効果と称す）を付加する場合がある。また、撮影した画像を再生する際に音楽を一緒に再生することが提案されている。例えば、特許文献１に開示の撮影装置は、撮影時に画像データに合わせて音楽データの記録を行う。また、特許文献２に開示の撮影装置は、画像に人物が含まれている場合に顔の表情を判定し、表情に応じた音楽を画像と一緒に再生を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６１９５７号公報
【特許文献２】特開２０１０−２１８１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、アート効果を付加すると共に、周囲音を併せて録音する場合がある。この場合は、周囲音は原音に忠実となるように記録していた。しかし、画像処理によってアート効果を付加しながら、周囲音は原音に忠実であると、鑑賞時の情緒性や娯楽性が下がってしまう場合がある。例えば、アート効果としてトイカメラのようなレトロな雰囲気になる画像処理を施した場合に、周囲音が綺麗な場合には、アート効果を損なってしまう。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、画像を記録すると共に周囲音を録音し、画像に処理を施す場合に、鑑賞時の情緒性や娯楽性を損なうことのない音声処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係わる音声処理装置は、画像を撮像する撮像部と、音声を入力する音声入力部と、上記撮像部によって撮像して得た画像データを、複数の加工処理の中から処理したい加工処理を選択する画像加工処理選択部と、上記音声入力部によって入力した音声データを、複数の音声処理の中から音声処理を選択する音声処理選択部と、上記画像加工処理部による選択結果に応じて、上記音声処理選択部による音声処理の選択を指示する音声処理指示部と、上記音声処理指示部によって指示された音声処理によって処理された音声データを、上記画像データに関連付けして出力する音声処理部と、を具備する。
【０００７】
第２の発明に係わる音声処理装置は、上記第１の発明において、さらに、上記指示された音声処理を表示する音声処理表示部を有する。
第３の発明に係わる音声処理装置は、上記第１の発明において、上記選択された音声処理に応じて、推奨する音声処理を決定する。
第４の発明に係わる音声処理装置は、上記第３の発明において、推奨できない音声処理を非選択とする。
【０００８】
第５の発明に係わる音声処理装置は、上記第１の発明において、さらに、入力された上記音声データに対して合成するための音データを記憶する合成音記憶部を有し、上記音声処理部は、上記合成音記憶部に記憶された合成音を、上記指示に応じて音声処理を行う。
【０００９】
第６の発明に係わる音声処理装置は、上記第１の発明において、さらに、撮影モード選択部を有し、上記音声処理部は、上記撮影モード選択部によって選択された撮影モードに応じて選択する。
【発明の効果】
【００１０】
本発明によれば、画像を記録すると共に周囲音を録音し、画像に処理を施す場合に、鑑賞時の情緒性や娯楽性を損なうことのない音声処理装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラの主として、音声処理に関連する構成を示すブロック図である。
【図３】本発明の一実施形態に係わるカメラにおいて、画像処理の際のデータ及び制御の流れを示すブロック図である。
【図４】本発明の一実施形態に係わるカメラにおいて、画像処理に加えて音声処理を行う際のデータ及び制御の流れを示すブロック図である。
【図５】本発明の一実施形態におけるカメラにおいて、画像処理に加えて音声処理を行う際のデータ及び制御の流れの他の例を示すブロック図である。
【図６】本発明の一実施形態におけるカメラにおいて、音処理の詳細を示すブロック図である。
【図７】本発明の一実施形態におけるカメラにおいて、音処理毎の処理内容を示すブロック図である。
【図８】本発明の一実施形態に係わるカメラにおいて、アート画処理と音フィルタの組合せを示す図である。
【図９】本発明の一実施形態に係わるカメラにおけるインターフェースを行うための表示画面である。
【図１０】本発明の一実施形態に係わるカメラにおけるインターフェースを行うための表示画面である。
【図１１】本発明の一実施形態に係わるカメラにおけるインターフェースを行うための表示画面である。
【図１２】本発明の一実施形態に係わるカメラにおけるインターフェースを行うための表示画面である。
【図１３】本発明の一実施形態に係わるカメラの動作を示すフローチャートである。
【図１４】本発明の一実施形態に係わるカメラの動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１３】
また、一実施形態に係わるカメラは、アート効果を施すための画像処理を複数種類、備えており撮影者が適宜選択することができる。また、撮影時に周囲音を録音することができ、このとき入力した音声に対して音声処理を施すことも可能である。この際、撮影者によって選択されたアート効果に相応しい音処理がなされる。
【００１４】
図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。
【００１５】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）９９９を有する。
【００１６】
撮影レンズ２０１は、被写体像を形成するための光学レンズであって、単焦点レンズまたはズームレンズで構成される。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１の通過した被写体光束を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。このドライバ２０５は、絞り２０３の口径の制御も行う。
【００１７】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ９９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００１８】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ９９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００１９】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のレンズシャッタまたはフォーカルプレーンシャッタが採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２０】
撮像部として機能する撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有し、さらにその３つのラインを垂直方向にも交互に配置することで構成されている。
【００２１】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１０９に出力する。
【００２２】
バス１０９は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１０９は、前述のＡ／Ｄ変換部１０７の他、画像処理部１１１、ＡＥ処理部１１３、ＡＦ処理部１１５、画像圧縮展開部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、液晶（以後、ＬＣＤという）ドライバ１３３、Ａ／Ｄ変換部１４３、音処理部１５１が接続されている。
【００２３】
バス１０９に接続された画像処理部１１１は、オプティカルブラック減算部（以下、ＯＢ減算部という）、ホワイトバランス補正部（以後、ＷＢ補正部という）、同時化処理部、ガンマ変換部、色再現処理部、カラーマトリックス演算部、エッジ強調処理部、ノイズリダクション処理部（以後、ＮＲ処理部という）、画像加工部を含み、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して種々の画像処理を施す。
【００２４】
画像処理部１１１内のＯＢ減算部は、オプティカルブラック減算処理を行う。このオプティカルブラック減算処理では、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値を減算する。
【００２５】
画像処理部１１１内のＷＢ補正部は、画像データに対して、ホワイトバランス補正を行う。ホワイトバランス補正は、さまざまな色温度の光源のもとで、白色を正確に白く映し出すように補正する。晴天、曇天、日陰、電球、蛍光灯などの光源モードをユーザが設定するか、若しくはカメラ側で自動的にホワイトバランス補正量を算出するオートホワイトバランスモードを選択するので、この設定されたモードに応じて、画像データに対してホワイトバランス補正を行う。
【００２６】
同時化処理部は、ベイヤー配列の下で取得された画像データに対して、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化処理を行う。ガンマ変換部はガンマ補正処理を行い、また色再現処理部は、画像の色味を変化させる色再現処理を行う。カラーマトリクス演算部は、画像データに対してカラーマトリックスを乗じる線形変換を行って画像データの色を補正する。エッジ強調処理部は、画像データからエッジを抽出し、画像データのエッジを強調するエッジ強調を行う
【００２７】
ＮＲ処理部は、高周波を低減するフィルタを用いたり、またコアリング処理等により、画像データのノイズを低減する処理を行う。また、画像処理部１１１内には、アート効果を施すための画像加工部を有する。画像加工部は、Ａ／Ｄ変換部１０７から出力された画像データに対して、操作部１２３を介して指示されたアート効果に応じた画像効果が生ずるよう画像処理を行う。画像処理部１１１は、必要に応じて、上述の各部を選択し各処理を行い、画像処理を施された画像データは、バス１０９を介してＳＤＲＡＭ１２７に一時記憶される。
【００２８】
ＡＥ処理部１１３は、被写体輝度を測定し、バス１０９を介してマイクロコンピュータ１２１に出力する。被写体輝度測定のために専用の測光センサを設けても良いが、本実施形態においては、撮像素子１０３の出力に基づく画像データに基づいて被写体輝度を算出する。ＡＦ処理部１１５は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１０９を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。
【００２９】
画像圧縮展開部１１７は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から画像データを読み出し、この読み出した画像データをＪＰＥＧ圧縮方式等の各種圧縮方式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ１２７に一旦記憶する。マイクロコンピュータ１２１は、ＳＤＲＡＭ１２７に一時記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、この作成したＪＰＥＧファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。
【００３０】
また、画像圧縮展開部１１７は、画像再生表示用にＪＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているＪＰＥＧファイルを読み出し、画像圧縮展開部１１７において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、ＭＰＥＧ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。
【００３１】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ９９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００３２】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦、撮影モードダイヤル等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該カメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該カメラの電源はオフとなる。
【００３３】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００３４】
動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、ＬＣＤ１３５に撮影画像を再生表示する。
【００３５】
メニュー釦は、メニュー画面をＬＣＤ１３５に表示させるための操作釦である。メニュー画面上では、カメラの各種モードの設定が可能であり、例えば、晴天、曇天、日陰、電球、蛍光灯等のホワイトバランスモードや、オートホワイトバランス、水中オートホワイトバランス等のホワイトバランスモードの設定を行うことができる。また、メニュー釦および十字釦等の操作部１２３は、撮像素子１０３によって撮像して得た画像データを、画像加工部による複数の加工処理の中から処理した加工処理を選択する画像加工処理選択部として機能する。
【００３６】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいて当該デジタルカメラの制御を行う。また、フラッシュメモリ１２５は、被写体輝度に対して適正露光となる露出制御値（ＩＳＯ感度、絞り値、シャッタ速度）の組合せを示すテーブル（露出条件決定テーブル）、ホワイトバランス補正を行うためのホワイトバランスゲインや、カラーマトリックス係数を記憶している。
【００３７】
ＳＤＲＡＭ１２７は、画像データの一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１１１や画像圧縮展開部１１７等において処理された画像データを一時記憶する。また、ＳＤＲＡＭ１２７は、マイク１４１によって収音され、Ａ／Ｄ変換部１４３から出力された音声データの一時記憶も行う。
【００３８】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、カメラ本体に脱着可能なメモリであるが、ハードディスク等、カメラ本体に内蔵のメモリであってもよい。
【００３９】
ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮展開部１１７によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、圧縮されている画像データを表示する場合には、前述したように、画像圧縮展開部１１７によって伸張処理を施した後に表示する。また、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。
【００４０】
また、ＬＣＤ１３５は、カメラ本体１００の背面のみならず、上面にコントロールパネルとしても配置されている。コントロールパネルは、撮影のために必要となる制御関連の表示を行う。このコントロールパネルにおいて、後述するように、選択された音声処理に応じて、推奨する音声処理を決定することが可能である。
【００４１】
音声を入力する音声入力部として機能するマイク１４１は、カメラ本体１００の外装に設けられており、周囲音をアナログ音声信号に変換し、Ａ／Ｄ変換部１４３に出力する。Ａ／Ｄ変換部１４３は、アナログ音声信号をアナログ―デジタル変換し、デジタル音声信号（以後、音声データという）をバス１０９に出力する。
【００４２】
音処理部１５１は、バス１０９に接続されており、音処理選択部１５３、プリセット音選択部１５５、音フィルタ処理部１５７、および音合成部１５９を有する。音フィルタ処理部１５７は、後述する音処理を行う際に、特定周波数領域を減衰させたり、強調する等、種々の処理を行う。音合成部１５９は、Ａ／Ｄ変換部１４３から出力される音声データと、フラッシュメモリ１２５に記憶されている合成用の音の合成を行う。音フィルタ処理部１５７によってフィルタ処理された音声データおよび音合成部１５９によって合成された音声データはバス１０９に出力される。音フィルタ処理部１５７および音合成部１５９は、音声処理部として機能する。
【００４３】
音処理選択部１５３は、音フィルタ１５７および音合成部１５９における音処理のいずれかを選択する。音処理選択部１５３は、音声入力部として機能するマイク１４１によって入力した音声データを、複数の音声処理の中から音声処理を選択する音声処理選択部として機能し、また音処理選択部１５３は、マイクロコンピュータ１２１による選択結果に応じて、上述の音処理選択部による音声処理の選択を指示する音声処理指示部としても機能する。プリセット音選択部１５５は、フラッシュメモリ１２５に記憶されている複数の合成用の音の中からいずれの音を合成用に選択する。
【００４４】
次に、図１に示したブロック図において、本実施形態における音処理および画処理に関する構成の詳細について、図２を用いて説明する。なお、図２においては、バス１０９を省略してある。音声入力部として機能するマイク１４１の出力はＡ／Ｄ変換部１４３に接続されており、Ａ／Ｄ変換部１４３の出力は音処理部１５１内のフィルタ１５７Ａに接続されている。
【００４５】
画像アート指示部１２３Ａは、複数種類あるアート効果のうちのいずれかを指示する。アート効果の指示は、操作部１２３によってメニュー画面を表示させ、撮影者がメニュー画面中で指示するが、これ以外の指示方法でも勿論かまわない。画像アート指示部１２３Ａによって指示されたアート効果は、画像処理部１１１と、音処理部１５１内の音処理選択部１５３Ａに出力される。
【００４６】
画像処理部１１１は、前述したように、アート効果を施すための画像加工部等を有し画像アート指示部１２３Ａによって指示されたアート効果に応じた画像処理を行う。画像処理部１１１によってアート効果等の画像処理がなされた画像データは、圧縮部１１７Ａに出力される。圧縮部１１７Ａは前述の画像圧縮展開部１１７の一部であり、画像データの圧縮処理を行う。
【００４７】
音処理部１５１は、図２に示すように、音処理選択部１５３Ａ、フィルタ１５７Ａ、アート音処理選択部１５７Ｂ、合成器１５９Ａから構成される。図１に示した音処理部１５１とは同一の機能を果たし、図１の音処理選択部１５３は、図２の音処理選択部１５３Ａに対応し、図１のプリセット音選択部１５５の機能は、図２においては、音処理選択部１５３Ａが兼ねている。図１の音フィルタ処理部１５７は、図２においては、フィルタ１５７Ａおよびアート音処理選択部１５７Ｂが対応する。また、図１の音合成部１５９は、図２においては、合成器１５９Ａが対応する。図２の合成音部１２５Ａは、図１におけるフラッシュメモリ１２５の一部であり、アート効果用の合成音を記憶しており、入力された音声データに対して合成するための音データを記憶する合成音記憶部としての機能を有する。
【００４８】
Ａ／Ｄ変換部１４３から音声データを入力し、また画像アート指示部１２３Ａから選択されたアート効果を入力する音処理選択部１５３Ａは、複数の音処理の内でいずれの音処理を施すかを選択する。すなわち、本実施形態においては、フィルタ１５７Ａによって、特定周波数領域の音声データを強調しまた逆に減衰させる音処理や、合成音部１２５Ａに記憶されている複数の合成音１〜ｎのいずれかを音声データに重畳させる音処理が可能である。音処理選択部１５３Ａは、画像アート指示部１２３Ａによって指示されたアート効果に相応しい音処理を選択し、アート音処理部１５７Ｂ、合成音部１２５Ａ、表示処理部１３３Ａに音声処理の選択を指示する。
【００４９】
アート音処理選択部１５７Ｂは、フィルタを用いたアート効果を施す場合に、複数のフィルタ処理の中から音処理選択部１５３Ａによって選択されたアート効果に応じたフィルタ特性となるようにアート音処理を選択する。合成音部１２５Ａは、フラッシュメモリ１２５内に記憶されている合成用の音のデータである。後述するように、合成音としては、古いフィルムを上映する際に発生するようなノイズ音等、種々の音が合成音１〜ｎとして記憶されている。音処理選択部１５３Ａによって選択された合成音１〜ｎのいずれかは、合成器１５９Ａに出力される。
【００５０】
フィルタ１５７Ａは、Ａ／Ｄ変換部１４３から出力された音声データに対して、アート音処理選択部１５７Ｂによって選択されたフィルタ特性に応じた音処理を施し、合成器１５９Ａに出力する。合成器１５９Ａは、フィルタによって音処理が施された音声データに対して、合成音部１２５Ａから出力された合成音１〜ｎのいずれかを合成する音処理を施し、記録処理部１３０Ａに出力する。記録処理部１３０Ａは、図１におけるメモリＩ／Ｆ１２９および記録媒体１３１に対応する。記録処理部１３０Ａは、圧縮部１１７Ａによって圧縮処理された画像データと、音処理部１５１によって処理された音声データを関連付けて記録する。
【００５１】
音処理選択部１５３Ａの出力と画像処理部１１１の出力を入力する表示処理部１３３Ａと、表示処理部１３３Ａに接続された表示部１３５Ａは、図１におけるＬＣＤドライバ１３３とＬＣＤ１３５に対応する。表示処理部１３３Ａは、画像処理部１１１によって画像処理された画像に、音処理選択部１５３Ａによって選択された音の処理を表わす表示を重畳させた画像データを生成し、表示部１３５Ａに表示する。表示部１３５Ａは、指示された音声処理を表示する音声処理表示部として機能する。
【００５２】
次に、図３ないし図５を用いて、本実施形態における画像データおよび音声データの流れと、制御の流れについて説明する。撮影者は、メニュー画面等において、操作部１２３を操作することにより、ユーザ選択情報１２３Ｂについて設定することができる。ユーザ選択情報１２３Ｂとしては、例えば図３に示すように、ＩＳＯ感度を選択するためのＩＳＯ１２３Ｂａ、ハイライト部やシャドウ部の明るさを調整するトーンコントロール１２３Ｂｂ、ホワイトバランスを設定するためのＷＢ１２３Ｂｃ、露出補正値を設定するための露出１２４Ｂｅがある。
【００５３】
また、ユーザ選択情報１２３Ｂとして、アート効果の種類を指定するためのアートフィルタ１２３Ｂｄがある。前述したように、本実施形態においては、複数のアート効果の中から選択することができる。アート効果としては、例えば、色をカラフルに強調し、ポップアート感覚な作風に仕上げるポップアート、トイカメラで撮影したような周辺光量を落としたトイフォト、ピントの芯を残したぼかしたソフトフォーカス、粒子の粗い白黒写真のようなラフモノクローム等がある。ユーザ選択情報１２３Ｂによって選択されたデータは、マイクロコンピュータ１２１に出力される。
【００５４】
図３において、画像処理部１１１、マイクロコンピュータ１２１、音処理部１５１に接続されているファイル化部１３０Ｂと、このファイル化部１３０Ｂに接続された外部記録装置１３０Ｃは、図１のメモリＩ／Ｆ１２９および記録媒体１３１に対応し、また図２の記録処理部１３０Ａに対応する。
【００５５】
撮像素子１０３から読み出され、Ａ／Ｄ変換部１０７によってデジタル化された画像データは、画像処理部１１１によって画像処理される。ＩＳＯ感度１２３Ｂａ、トーンコントロール１２３Ｂｂ、ＷＢ１２３Ｂｃ、露出補正１２３Ｂｅ等のユーザ選択情報に基づいて、マイクロコンピュータ１２１は画像処理部１１１に対して、画像処理を行うように制御する。画像処理部１１１は、画像処理を施した画像データをファイル化部１３０Ｂに出力する。
【００５６】
アート効果が選択されていない場合には、マイク１４１によって周囲音をアナログ音声信号に変換し、Ａ／Ｄ変換部１４３はアナログ音声信号をデジタル化している。このデジタル化された音声データは、音処理部１５１によって音処理を施し、音処理を施した音声データをファイル化部１３０Ｂに出力する。
【００５７】
ファイル化部１３０Ｂは、画像処理部１１１から画像データ、および音処理部１５１から音声データを入力すると、マイクロコンピュータ１２１からの制御信号に従って記録用のファイルを生成し、外部記録装置１３０Ｃに出力する。
【００５８】
ユーザ選択情報１２３Ｂとして、図４に示すように、アート効果を指定するためのアートフィルタ１２３Ｂｄが選択されると、この選択されたアート効果の情報はマイクロコンピュータ１２１に出力される。マイクロコンピュータ１２１は、画像処理部１１１に対して、選択されたアート効果に応じた画像処理を行うための制御信号を出力し、画像処理部１１１は、制御信号に従って画像処理を実行する。
【００５９】
また、マイクロコンピュータ１２１は、音処理部１５１に対しても、選択されたアート効果に応じた音処理を行うための制御信号を出力し、音処理部１５１は、制御信号に従って音処理を実行する。図２に示したブロック図では、画像アート指示部１２３Ａから、選択されたアート効果を、直接、音処理選択部１５３に送信しているが、実際には、マイクロコンピュータ１２１から制御命令として音処理部１５１内の音処理選択部１５３に出力する。音処理部１５１は、選択されたアート効果に相応しい音処理を実行する。アート効果に相応しい音処理については、図７および図８を用いて後述する。
【００６０】
また、ユーザ選択情報１２３Ｂとして、図５に示すように、撮影モード情報１２３Ｂｆが選択されると、この選択された撮影モードの情報はマイクロコンピュータ１２１に出力される。前述の操作部１２３の内の撮影モードダイヤル等によって、撮影モードが選択される。撮影モードダイヤル等の操作部１２３が撮影モード選択部としての機能を有する。
【００６１】
マイクロコンピュータ１２１は、画像処理部１１１に対して、選択された撮影モードに応じた画像処理を行うための制御信号を出力し、画像処理部１１１は、制御信号に従って画像処理を実行する。また、マイクロコンピュータ１２１は、音処理部１５１に対しても、選択された撮影モードに応じた音処理を行うための制御信号を出力し、音処理部１５１は、制御信号に従って音処理を実行する。音処理部１５１は、選択された撮影モードに相応しい音処理を実行する。
【００６２】
このように、本実施形態においては、ユーザ選択情報として、ＩＳＯ感度１２３Ｂａ、トーンコントロール１２３Ｂｂ等の情報が選択されると、マイクロコンピュータ１２１は選択された情報に基づいて画像処理部１１１を制御し、選択された情報に沿った画像処理を行うようにしている。また、アートフィルタ１２３Ｂｄによってアート効果が選択されると、マイクロコンピュータ１２１は選択されたアート効果に基づいて画像処理部１１１を制御すると共に音処理部１５１の制御を行う。このため、アート効果に相応しい音処理が行われることになる。同様に、撮影モードが選択されると、撮影モードに応じた画像データの処理を行うと共に、音声データについても撮影モードに相応しい処理がなされる。
【００６３】
次に、音処理について、図６ないし図８を用いて説明する。図６（ａ）は、アート効果を付加しない場合の音フィルタ部１５７における音声データの流れを示している。すなわち、マイク１４１によって周囲音は音声信号に変換され、Ａ／Ｄ変換部１４３によって音声データに変換される。
【００６４】
音声データは、音フィルタ部１５７内の自動レベル制御（ＡＬＣ：Auto Level Control）１５７ａによってレベル調節がなされる。また、ローパスフィルタ・ハイパスフィルタ（ＬＰＦ、ＨＰＦ）１５７ｂによって予め指定されたフィルタ特性で高周波領域や低周波領域等の周波数の音声が透過される。また、ノッチフィルタ１５７ｃによって雑音が除去される。音フィルタ１５７によって雑音が除去され、かつ特定周波数領域の音声がカットされた音声データは、ファイル化部１３０Ｂによって音声ファイルが生成される。
【００６５】
アート効果を付加する場合には、図６（ｂ）に示すように、ノッチフィルタ１５７ｃによって雑音が除去された音声データを、アート効果対応フィルタ１５７ｄに入力する。アート効果フィルタ１５７ｄは、アート音処理選択部１５７Ｂ（図２参照）によって選択されたフィルタ特性に従ってアート効果を付与するためのフィルタ特性を有している。アート効果としては、図７（ａ）に示すように、電話越しの音用フィルタ等、種々の効果を付与するものの中から選択される。なお、電話越しの音フィルタは、中域の音を抽出し、低音と高音をカットするフィルタである。
【００６６】
図６（ｂ）および図７（ａ）は、フィルタによってアート効果を付与していたが、音声データに対して合成音部１２５Ａに記憶されている合成用の音を重畳させるようにしてもよい。図７（ｂ）に示す例は、合成音部１２５Ａに記憶されている複数の合成音の中から古フィルムの「シー、パチパチ」音を重畳している。すなわち、ノッチフィルタ１５７ｃによってノイズを除去した音声データと、合成音部１２５Ａに記憶されている古フィルムの「シー、パチパチ」音を、合成器１５９Ａにおいて合成し、この合成した音声データを増幅器１５９Ｂによってレベルを１／２に落としている。増幅器１５９Ｂの出力は、ファイル化部１３０Ｂに出力される。
【００６７】
また、音声データに対して、フィルタ効果と合成音による効果の両方を付与するようにしてもよい。図７（ｃ）に示す例は、アート効果対応フィルタ１５７ｄとして電話越しの音フィルタによる効果と、古フィルムの「シー、パチパチ」音を重畳した効果の両方を音声データに与えている。
【００６８】
このように、音処理部１５１においてアート効果対応フィルタ１５７ｄや合成音１２５Ａを用いて、マイク１４１によって取得された音声信号に基づく音声データに対して種々の効果を付与することができる。
【００６９】
これらの効果は、前述したように、画像アート指示部１２３Ａによって指示されたアート効果に相応しい音処理が、音処理選択部１５３Ａによって選択される。この選択の一例を図８に示す。例えば、アート効果として、ポップが選択されるとフィルタ１５７Ａによる音フィルタ処理としてはポップが選択され、また合成音１２５Ａとしては、バブル音（泡が出てくるような音）が選択される。また、アート効果としてポップに加えてキラキラが加えられた場合、すなわち、高輝度部に対して光条を付加するような効果を付加する場合には、合成音１２５Ａとして、鐘によるキラキラ音が選択される。
【００７０】
次に、本実施形態におけるメニュー画面でのモード設定について、図９ないし図１１を用いて説明する。図９は、メニュー画面の選択手順を示す。図９（ａ）は、メニュー画面において、操作部１２３の内の十字釦を操作することにより、セットアップメニュー画面３０１を選択した状態を示す。さらに十字釦を操作することにより、カーソルを移動させ、音設定３０１ａが選択されと、図９（ｂ）に示すように、音設定画面３０３が表示される。
【００７１】
音設定画面３０３において、操作音種類、操作音量、再生音量等、種々の設定が行うことができるが、カーソルを下に移動させると、図９（ｃ）に示すように、音フィルタモード３０３ａを選択できる。音フィルタモード３０３ａが選択されると、図９（ｄ）に示すように、音フィルタモード画面３０５が表示される。
【００７２】
音フィルタモード画面３０５においては、推奨モード３０５ａ、ライブビュー（ＬＶ）コントロール３０５ｂ、スーパーコンパネ３０５ｃが表示され、十字釦を操作することにより、これらの項目を選択することができる。なお、推奨モード３０５ａは、アート効果を選択すると、自動的に推奨の音処理が選択されるモードである。また、ＬＶコントロール３０５ｂは、ＬＣＤ１３５におけるライブビュー表示の際に、音処理を選択することができるモードである。また、スーパーコンパネ３０３ｃは、アート効果を選択した際に音処理を推奨モードではなく、撮影者の意図によって予め音処理の組合せを決めておくモードである。
【００７３】
図１０は、ＬＶコントロール３０５ｂが設定された場合、ライブビュー表示画面における音処理の選択の手順を示す。ＬＶコントロールが設定されると、複数用意されている音処理の中から、撮影者の意図する音処理を選択することができる。まず、図１０（ａ）は、通常のライブビュー表示画面である。このライブビュー表示画面において、操作部１２３の内のＯＫ釦を操作すると、図１０（ｂ）に示すような設定画面に変わる。この状態でカーソル３１１ａ、３１１ｂを移動させて、図１０（ｃ）に示すようなアート効果を選択する。
【００７４】
この状態でＯＫ釦を再度操作すると、図１０（ｄ）に示すように、音処理のメニューが表示される。この画面でカーソル３１１ｃを上下釦操作により移動させ、撮影者が意図する音処理を選択することができる。図１０（ｅ）は、カーソル３１１ｃによって、音処理として「電話越し」を選択した状態であり、この状態でＯＫ釦を操作すると、音処理として「電話越し」が選択される（図１０（ｅ）参照）。
【００７５】
このように、ＬＶコントロール３０５ｂを選択すると、ライブビュー表示画面において、直感的に音処理を選択することができる。図１０に示した例では、アート効果に対して音処理を１つ選択していたが、複数選択しても勿論かまわない。図１１は、ＬＶコントロールモードにおいて、複数の音処理を選択する例を示す。
【００７６】
図１１（ａ）は、図１０（ｂ）と同じく設定画面である。この画面で上下釦を操作することにより、アート効果２を選択すると、図１１（ｂ）に示す画面に変わる。この画面で「電話越し」を選択し（図１１（ｃ）参照）、さらに上下釦を操作してカーソル３１１ｃを移動させ、「古いフィルムの音」を選択すると、図１１（ｄ）に示すように、「電話越し」および「古いフィルムの音」の２つの音処理が選択される。
【００７７】
また、推奨モードでは、予め決められたアート効果と音処理の組合せの範囲内（通常はアート効果に対して１つの音処理）で、撮影者は設定したアート効果に応じた音処理を自動的に設定することができる。しかし、予め設定した組合せ以外の音処理を組み合わせたい場合もある。その場合には、図９（ｄ）に示す画面において、スーパーコンパネ３０５ｃを選択すればよい。
【００７８】
図１２は、スーパーコンパネモードにおける、コントロールパネルの表示を示す。図１２（ａ）は、推奨設定として予め決められている組合せを示す。この組合せにおいて、縦軸に記載のファンタジックフォーカス、デイドリーム等はアート効果を示しており、また横軸に記載の無加工、エコー、電話越しの音、古いフィルムの音等は、音処理を示している。図１２（ａ）に示す推奨設定では、アート効果としてファンタジックフォーカスが選択された場合には、エコーが自動的に設定される。また、アート効果としてデイドリームが選択された場合には、音処理が施されない無加工が推奨画像として設定される。
【００７９】
図１２（ｂ）は、コントロールパネルを用いて、撮影者が設定の組合せを変更するスーパーコンパネモードにおける、コントロールパネルの表示を示す。この場合には、上下釦等を操作して、アート効果に対応して設定可能な音処理を任意に変更・追加・削除することができる。図１２（ｂ）に示す例では、ジェントルセピアを設定した場合に、推奨設定では古いフィルムの音が自動設定であったが、電話越しの音を追加している。なお、複数、音処理が選択されている場合には、上下釦等の操作部材によって、いずれかを選択する。なお、推奨できない音声処理は非選択とするようにしてもよい。
【００８０】
このように、本実施形態においては、音処理として推奨モードが設定されている場合、通常、アート効果に対応する音処理は１つ決められており、この推奨された音処理が自動的に設定される。また、ＬＶコントロールが設定されている場合には、ライブビュー表示画面を見ながら撮影者が任意に設定することができる。また、スーパーコンパネモードによって推奨設定または設定の変更をすることが可能となる。
【００８１】
次に、本実施形態における動作について、図１３および図１４に示すフローチャートを用いて説明する。これらのフローは、フラッシュメモリ１２５に記憶されているプログラム従って制御部によって実行される。図１３および図１４に示すフローは、メインルーチンの中から録音動作に関係ある部分について示す。このメインルーチンは、操作部１１７の電源釦がオンとなると実行を開始する。
【００８２】
まず、撮影を行う（Ｓ１）。ここでは、撮像素子１０３からの画像信号に基づいて、ＬＣＤ１３５にライブビュー表示を行い、レリーズ釦の半押しに応じて、測光や測距を行う。また、レリーズ釦の全押しに応じて静止画の撮影を行い、動画釦が操作されると動画撮影を開始する。
【００８３】
ステップＳ１において、静止画または動画の撮影を行うと、次に、撮影後録音するか否かの判定を行う（Ｓ３）。撮影時に録音するか、または撮影後に録音するかはメニュー画面において設定するので、このステップでは、この設定に基づいて判定する。なお、動画の撮影の場合には、ステップＳ３における判断をステップＳ１に先だって撮影前に行う。ステップＳ３における判定の結果、撮影後に録音するではなかった場合、すなわち、撮影時に録音する場合には、次に、録音を開始する（Ｓ５）。ここでは、マイク１４１によって収音し、Ａ／Ｄ変換部１４３によって音声データに変換し、ＳＤＲＡＭ１２７に音声データを一時記憶する。
【００８４】
録音を開始すると、次に、録音バッファがフルか否かの判定を行う（Ｓ７）。音声データの一時記憶用のＳＤＲＡＭ１２７におけるバッファ容量一杯であるか否かを判定する。この判定の結果、バッファ容量一杯でなければ、バッファ容量が一杯になるまで録音を続行する。
【００８５】
ステップＳ７における判定の結果、録音バッファがフルになった場合には、次に、音フィルタ選択されているか否かを判定する（Ｓ９）。前述したように、本実施形態においては、アート効果を選択すると自動的に、音処理選択部１５３（１５３Ａ）が音フィルタ処理部１５７のフィルタ１５７Ａを自動的に選択する。そこで、このステップでは、音処理選択部１５３によってフィルタが選択されているか否かを判定する。
【００８６】
ステップＳ９における判定の結果、音フィルタが選択されている場合には、次に、選択されている音フィルタが電話越しの音か否かを判定する（Ｓ１１）。これは、図７（ａ）（ｃ）を用いて説明したように、フィルタとして、電話越しの音が選択されている場合である。この判定の結果、電話越しの音が選択されていた場合には、中音バンドバスフィルタ（ＢＰＦ）を動作させる（Ｓ１３）。ここでは、フィルタ１５７Ａに高音領域と低音領域をカットし、中音領域の音を通過させる中音バンドバスフィルタを動作させる。
【００８７】
ステップＳ１３において中音バンドパスフィルタを動作させると、またはステップＳ１１における判定の結果、電話越しの音が選択されていなかった場合には、次に、音フィルタとして浮遊感が選択されているか否かを判定する（Ｓ１５）。浮遊感のある音とは、泡が浮いているような感じが生ずる音である。この判定の結果、浮遊感が選択されていた場合には、中音バンドパスフィルタ（ＢＰＦ）を動作させる。中音のバンドパスフィルタの中音領域としては、浮遊感が生ずるように、電話越しの音の場合と異なる領域とする。
【００８８】
ステップＳ１７において中音バンドパスフィルタを動作させると、またはステップＳ１５における判定の結果、浮遊感の音が選択されていなかった場合には、次に、音フィルタとして癒しの音が選択されているか否かを判定する（Ｓ１９）。癒しのある音とは、癒されるような感じが生ずる音である。この判定の結果、癒しが選択されていた場合には、ハイパスフィルタ（ＨＰＦ）を動作させる（Ｓ２１）。ここでは、音声データの内、高音領域の音を通過させる。
【００８９】
ステップＳ２１においてハイパスフィルタを動作させると、またはステップＳ１９における判定の結果、癒しが選択されていなかった場合には、次に、音フィルタとしてエコーが選択されているか否かを判定する（Ｓ２３）。エコーとは、音のパターンが繰り返され、こだましているような感じの音である。この判定の結果、エコーが選択されていた場合には、エコーを動作させる（Ｓ２５）。
【００９０】
ステップＳ２５において、エコーを動作させると、またはステップＳ２３における判定の結果、エコーが選択されていなかった場合には、次に、効果音が選択されているか否かを判定する（Ｓ３１）。ステップＳ９〜Ｓ２５は、フィルタ１５７Ａにおける特性を選択するものであったが、ここでは、図７（ｂ）（ｃ）に示したように、合成器１５９Ａにおいて合成する合成音１２５Ａが選択されているか否かの判定である。なお、合成音１２５Ａの選択は、プリセット音選択部１５５（図２においては音処理選択部１５３Ａ）によって行われる。
【００９１】
ステップＳ３１における判定の結果、効果音が選択されていた場合には、次に、選択されている効果音が古フィルムであるか否かを判定する（Ｓ２３）。この判定の結果、効果音が古フィルムである場合には、古フィルムの音を加算する（Ｓ３５）。この場合には、図７（ｂ）（ｃ）に示すように、古いフィルムを映写機で上映する際に発するような「シー、パチパチ」というような音を合成音として重畳させる。すなわち、合成音１２５Ａから古フィルムの合成音を読み出し、合成器１５９Ａにおいて音声データに重畳する。
【００９２】
ステップＳ３５において古フィルムの音を加算すると、またはステップＳ３３における判定の結果、効果音が古フィルムでなかった場合には、次に、効果音が水辺であるか否かを判定する（Ｓ３７）。この判定の結果、効果音が水辺であった場合には、水辺の音を加算する（Ｓ３９）。ここでは、合成音１２５Ａから水辺の合成音を読み出し、合成器１５９Ａにおいて音声データに重畳する。
【００９３】
ステップＳ３９において水辺の音を加算すると、またはステップＳ３７における判定の結果、効果音が水辺でなかった場合には、次に、効果音が花火であるか否を判定する（Ｓ４１）。この判定の結果、効果音が花火であった場合には、花火の音を加算する（Ｓ４３）。ここでは、合成音１２５Ａから花火の合成音を読み出し、合成器１５９Ａにおいて音声データに重畳する。
【００９４】
ステップＳ４３において花火の音を加算すると、またはステップＳ４１における判定の結果、効果音が花火でなかった場合には、次に、効果音が道路であるか否を判定する（Ｓ４５）。この判定の結果、効果音が道路であった場合には、足音および車の音を加算する（Ｓ４７）。ここでは、合成音１２５Ａから足音および車の合成音を読み出し、合成器１５９Ａにおいて音声データに重畳する。
【００９５】
ステップＳ４７において足音および車の音を加算すると、またはステップＳ４５における判定の結果、効果音が道路でなかった場合には、またはステップＳ３における判定の結果、撮影後録音する場合には、次に、ファイル化を行う（Ｓ４９）。ＳＤＲＡＭ１２７に一時記憶された音声データに対して、ステップＳ９〜Ｓ４７において音処理が施されていることから、このステップでは、音処理が行われた音声データと、撮影された静止画または動画の画像データをファイル化する。このファイル化はファイル化部１３０Ｂによって行われる。
【００９６】
ファイル化を行うと、動画撮影または静止画撮影が終了している場合には、このフローを終了する。なお、動画撮影または静止画撮影が終了していない場合には、ステップＳ１に戻り、撮影を続行する。
【００９７】
このように、本実施形態におけるフローにおいて、撮影中に録音を行う場合には、音声データに対してフィルタによって音を変えたり、また合成音を加算する等、種々の音処理を施している。また、このときの音処理は、設定されたアート効果に相応しい処理を自動的に選択して行う。なお、ステップＳ１１〜Ｓ２５における音フィルタ、およびステップＳ３３〜Ｓ４７における合成音の加算は、例示である。このフローに示した以外にも、図８に示す例等、種々の音処理を施すようにしても構わない。
【００９８】
以上説明したように、本発明の一実施形態においては、撮像部によって撮像して得た画像データを、複数の加工処理（アート効果）の中から処理したい加工処理を選択する場合に、画像加工処理の選択結果に応じて、音声処理の選択を指示するようにしている。このため、画像を記録すると共に周囲音を録音し、画像に処理を施す場合に、鑑賞時の情緒性や娯楽性を損なうことがない。
【００９９】
なお、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１００】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１０１】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・バス、１１１・・・画像処理部、１１３・・・ＡＥ処理部、１１５・・・ＡＦ処理部、１１７・・・画像圧縮展開部、１１７Ａ・・・圧縮部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２３Ａ・・・画像アート指示部、１２３Ｂ・・・ユーザ選択情報、１２３Ｂａ・・・ＩＳＯ、１２３Ｂｂ・・・トーンコントロール、１２３Ｂｃ・・・ホワイトバランス（ＷＢ）、１２３Ｂｄ・・・アートフィルタ、１２３Ｂｅ・・・露出補正、１２３Ｂｆ・・・撮影モード、１２５・・・フラッシュメモリ、１２５Ａ・・・合成音部、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３０Ａ・・・記録処理部、１３０Ｂ・・・ファイル化部、１３０Ｃ・・・外部記録装置、１３１・・・記録媒体、１３３・・・ＬＣＤドライバ、１３３Ａ・・・表示処理部、１３５・・・ＬＣＤ、１３５Ａ・・・表示部、１４１・・・マイク、１４３・・・Ａ／Ｄ変換部、１５１・・・音処理部、１５３・・・音処理選択部、１５５・・・プリセット音選択部、１５７・・・音フィルタ処理部、１５７Ａ・・・フィルタ、１５７Ｂ・・・アート音処理選択部、１５７ａ・・・自動レベル調節（ＡＬＣ）、１５７ｂ・・・ＬＰＦ・ＨＰＦ、１５７ｃ・・・ノッチフィルタ、１５７ｄ・・・アート効果対応フィルタ、１５９・・・音合成部、１５９Ａ・・・合成器、１５９Ｂ・・・増幅器、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３０１・・・セットアップメニュー画面、３０１ａ・・・音設定３０１ａ、３０３・・・音設定画面、３０３ａ・・・音フィルタモード、３０５・・・音フィルタモード画面、３０５ａ・・・推奨モード、３０５ｂ・・・ＬＶコントロール、３０５ｃ・・・スーパーコンパネ、９９９・・・Ｉ／Ｆ
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部と、
音声を入力する音声入力部と、
上記撮像部によって撮像して得た画像データを、複数の加工処理の中から処理したい加工処理を選択する画像加工処理選択部と、
上記音声入力部によって入力した音声データを、複数の音声処理の中から音声処理を選択する音声処理選択部と、
上記画像加工処理部による選択結果に応じて、上記音声処理選択部による音声処理の選択を指示する音声処理指示部と、
上記音声処理指示部によって指示された音声処理によって処理された音声データを、上記画像データに関連付けして出力する音声処理部と、
を具備することを特徴とする音声処理装置。
【請求項２】
さらに、上記指示された音声処理を表示する音声処理表示部を有することを特徴とする請求項１に記載の音声処理装置。
【請求項３】
上記選択された音声処理に応じて、推奨する音声処理を決定することを特徴とする請求項１に記載の音声処理装置。
【請求項４】
推奨できない音声処理を非選択とすることを特徴とする請求項３に記載の音声処理装置。
【請求項５】
さらに、入力された上記音声データに対して合成するための音データを記憶する合成音記憶部を有し、上記音声処理部は、上記合成音記憶部に記憶された合成音を、上記指示に応じて音声処理を行うことを特徴とする請求項１に記載の音声処理装置。
【請求項６】
さらに、撮影モード選択部を有し、上記音声処理部は、上記撮影モード選択部によって選択された撮影モードに応じて選択することを特徴とする請求項１に記載の音声処理装置。
【請求項１】
画像を撮像する撮像部と、
音声を入力する音声入力部と、
上記撮像部によって撮像して得た画像データを、複数の加工処理の中から処理したい加工処理を選択する画像加工処理選択部と、
上記音声入力部によって入力した音声データを、複数の音声処理の中から音声処理を選択する音声処理選択部と、
上記画像加工処理部による選択結果に応じて、上記音声処理選択部による音声処理の選択を指示する音声処理指示部と、
上記音声処理指示部によって指示された音声処理によって処理された音声データを、上記画像データに関連付けして出力する音声処理部と、
を具備することを特徴とする音声処理装置。
【請求項２】
さらに、上記指示された音声処理を表示する音声処理表示部を有することを特徴とする請求項１に記載の音声処理装置。
【請求項３】
上記選択された音声処理に応じて、推奨する音声処理を決定することを特徴とする請求項１に記載の音声処理装置。
【請求項４】
推奨できない音声処理を非選択とすることを特徴とする請求項３に記載の音声処理装置。
【請求項５】
さらに、入力された上記音声データに対して合成するための音データを記憶する合成音記憶部を有し、上記音声処理部は、上記合成音記憶部に記憶された合成音を、上記指示に応じて音声処理を行うことを特徴とする請求項１に記載の音声処理装置。
【請求項６】
さらに、撮影モード選択部を有し、上記音声処理部は、上記撮影モード選択部によって選択された撮影モードに応じて選択することを特徴とする請求項１に記載の音声処理装置。
【図９】
【図１０】
【図１１】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１２】
【図１３】
【図１４】
【図１０】
【図１１】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２０５０８７（Ｐ２０１２−２０５０８７Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６７９８９（Ｐ２０１１−６７９８９）
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]