撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置
【課題】撮像中の音声信号発生源の存在の状況を一見して分かるように、ユーザに対して提示する。
【解決手段】取得される画像を表示する表示部例えばタッチパネルと、取得される音声を音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出する音声方向検出部と、音声方向検出部によって検出された音声信号発生源に対応して図形または文字例えばアイコンを生成する。検出された方向をタッチパネルの表示エリア上の位置に変換し、該位置の近傍にアイコンを表示する制御部を備える。
【解決手段】取得される画像を表示する表示部例えばタッチパネルと、取得される音声を音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出する音声方向検出部と、音声方向検出部によって検出された音声信号発生源に対応して図形または文字例えばアイコンを生成する。検出された方向をタッチパネルの表示エリア上の位置に変換し、該位置の近傍にアイコンを表示する制御部を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、例えば動画像信号と音声信号とを記録媒体に記録する撮像装置に適用される撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置に関する。
【背景技術】
【０００２】
例えば撮像装置によって動画撮像中に撮像対象の音源を表示部に表示できれば、所望の音源の音のレベルを調整し、調整後の音声を記録媒体に画像と共に記録することができる。その結果、不要な音声が除去、または音声レベルが抑圧された再生を行うことができる。特に、被写体としての人物、または物体が発生する音（主音）以外の音、または主音を阻害する音を除いて録画したい要求がある。不要な音であるか否かの判断は、撮影者によって異なるので、撮像時に周囲音を可視化して撮影者自身が周囲音に対して操作することが好ましい。
【０００３】
音声信号発生源を表示装置に表示する可視化の技術が例えば特許文献１に記載されている。特許文献１では、測定の対象の特定周波数における音が複数のマイクロホンに到達する時間の差から音源の位置（方向）を推定し、推定された音源の位置を表示する。
【０００４】
特許文献２には、デジタルカメラの動画撮像時に、複数のマイクロホンからなるマイクロホンアレーによって録音を行い、音圧レベルに対応する色を有する二次元画像を生成し、表示部に二次元画像を表示することが記載されている。さらに、音源の方向の音源を抑圧したり、強調することが特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１１１１８３号公報
【特許文献２】特許第４５３９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、画面上に音声信号発生源例えば騒音の位置を表示するものであり、基本的に１種類の周波数の音の位置を表示するものである。したがって、撮像時に存在する複数の音声信号発生源を表示する点について考慮されていない。
【０００７】
特許文献２に記載のものは、音圧レベルに応じた色を有する等高線形状の二次元画像を撮像画像（スルー画像）に重畳するものである。この方法は、音の分布状況を把握するのには適しているが、撮像中に個々の人、物体が発生している音の存在を一目で確認するのが難しい。さらに、撮像画像の範囲内の音声信号発生源のみを可視化しており、撮像画像の範囲外からの音や、マイクロホンに対して風が直接当たって発生する風切り音を表示することができない問題があった。さらに、タッチパネルによって、可視化された音声信号発生源に対してレベルの強調、抑圧等の操作を行う場合、表示エリア中のどの場所をタッチして良いのかが分かりにくい。その結果、意図する音声信号発生源の音の操作を行うことができなかったり、操作の結果を確認しにくい問題があった。
【０００８】
したがって、本開示は、これらの問題点を解決し、撮像中の音声信号発生源の存在の状況を一見して分かるように提示することができる撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するために、本開示は、取得される画像を表示する表示部と、
取得される音声を音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出する音声方向検出部と、
音声方向検出部によって検出された音声信号発生源に対応して図形または文字を生成し、検出された方向を表示部の表示エリア上の位置に変換し、該位置の近傍に図形または文字を表示する制御部とを備える撮像制御装置である。
【００１０】
本開示は、取得される画像を表示部に表示し、
取得される音声を音声方向検出部によって、音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出し、
制御部によって、音声方向検出部によって検出された音声 信号発生源に対応して図形または文字を生成し、検出された方向を表示部の表示エリア上の位置に変換し、該位置の近傍に図形または文字を表示する撮像制御方法である。
【００１１】
本開示は、コンピュータに対して、
取得される画像を表示部に表示し、
取得される音声を音声方向検出部によって、音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出し、
制御部によって、音声方向検出部によって検出された音声信号発生源に対応して図形または文字を生成し、検出された方向を表示部の表示エリア上の位置に変換し、該位置の近傍に図形または文字を表示する撮像制御方法を実行させるためのプログラムである。
【００１２】
本開示は、画像を取得する撮像部と、
音声を取得する複数のマイクロホンと、
撮像部によって取得される画像を表示する表示部と、
マイクロホンによって取得される音声を音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出する音声方向検出部と、
音声方向検出部によって検出された音声信号発生源に対応して図形または文字を生成し、検出された方向を表示部の表示エリア上の位置に変換し、該位置の近傍に図形または文字を表示する制御部と、
図形または文字を操作することによって、図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部と、
取得される画像データと音声操作部によって処理された音声データとを記録媒体に記録する記録部とを有する撮像装置である。
【００１３】
本開示は、静止画像と共に取得される所定時間の音声を音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出する音声方向検出部と、
静止画像と、音声信号発生源毎の音声信号と、音声信号発生源毎の方向の情報とを記録媒体に記録する記録部と、
記録媒体から静止画像、音声信号発生源毎の音声信号、並びに方向の情報を再生する再生部と、
再生部によって記録媒体から再生される静止画像を表示する表示部と、
再生部によって記録媒体から再生される音声信号発生源毎の音声信号に対応して図形または文字を生成し、再生された方向の情報を表示部の表示エリア上の位置に変換し、該位置の近傍に図形または文字を表示する制御部とを備える撮像制御装置である。
【００１４】
本開示は、静止画像と共に取得される所定時間の音声を音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出する音声方向検出部と、
静止画像と、音声信号発生源毎の音声信号と、音声信号発生源毎の方向の情報を表示部の表示エリア上の位置に変換した位置情報とを記録媒体に記録する記録部と、
再生部によって記録媒体から再生される静止画像を表示する表示部と、
再生部によって記録媒体から再生される音声信号発生源毎の音声信号に対応して図形または文字を生成し、再生された位置情報で指定される位置の近傍に図形または文字を表示する制御部とを備える撮像制御装置である。
【発明の効果】
【００１５】
本開示は、撮像中の音声信号発生源に対応するアイコンを撮像画像に重畳して表示するので、撮像中にどのような音が存在するかが一見して分かりやすい。したがって、撮像時に希望しない音を除去、除去または強調して画像および音声を記録することができる。さらに、音声付き静止画像を作成することができ、再生時に音声に対する操作を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本開示の第１の実施の形態の構成を示すブロック図である。
【図２】音源方向の検出の説明に使用する略線図である。
【図３】本開示の第１の実施の形態の動作説明に用いるフローチャートである。
【図４】本開示の第１の実施の形態のアイコン表示の第１の例の説明に用いる略線図である。
【図５】本開示の第１の実施の形態のアイコン表示の第２の例の説明に用いる略線図である。
【図６】本開示の第１の実施の形態の文字列表示の説明に用いる略線図である。
【図７】本開示の第１の実施の形態のアイコン表示の第３の例の説明に用いる略線図である。
【図８】本開示の第１の実施の形態におけるアイコン操作の説明に用いる略線図である。
【図９】本開示の第２の実施の形態の構成を示すブロック図である。
【図１０】本開示の第２の実施の形態におけるアイコン操作の説明に用いる略線図である。
【発明を実施するための形態】
【００１７】
以下に説明する実施の形態は、本開示の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本開示の範囲は、以下の説明において、特に限定する旨の記載がない限り、これらの実施の形態に限定されないものとする。
【００１８】
＜第１の実施の形態＞
「撮像装置全体の構成」
本開示の第１の実施の形態について説明する。図１を参照して本開示を適用できる撮像装置の一例について説明する。撮像装置は、画像処理に関係する構成として、光学ブロック１と、カメラ部２と、映像処理装置３とを備えている。
【００１９】
光学ブロック１は、レンズ、フォーカス機構、シャッター機構、絞り（アイリス）機構などを備えている。カメラ部２は、ＣＣＤ（Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor) 等の撮像素子、前処理回路、ドライバ、タイミング生成回路等を備えたものである。
【００２０】
撮像素子は、光学ブロック１からの被写体像を光電変換して前処理回路に出力する。前処理回路は、供給された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行って、Ｓ／Ｎ比を良好にし、ＡＧＣ（Automatic Gain Control）処理を行って、利得を制御し、そして、Ａ／Ｄ（Analog/Digital）変換によって、デジタル信号とされた撮像データを形成する。
【００２１】
カメラ部２からのデジタル撮像データが映像処理装置３に供給される。映像処理装置３は、撮像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto
White Balance）などのカメラ信号処理を施す。カメラ信号処理がなされた画像データが
所定の圧縮方式でデータ圧縮され、制御部４に供給される。後述するように処理された音声データを制御部４に対して供給される。
【００２２】
制御部４は、ＣＰＵ（Central Processing Unit ）４１、ＲＡＭ（Random Access Memory）等のメモリ４２、ＲＯＭ（Read Only Memory）等に格納されたプログラム４３等によって構成されたマイクロコンピュータであり、撮像装置の各部を制御する。
【００２３】
制御部４に対してデータ記録媒体としての記憶装置５が接続される。記憶装置５は、ハードディスク、メモリカード等である。制御部４において、所定のデータ構造とされた撮像データ（画像データおよび音声データ）が記憶装置５に記録される。
【００２４】
さらに、制御部４に対してタッチ操作対応液晶表示部（以下、タッチパネルと適宜称する）６が接続される。タッチパネル６には、制御部４からの表示信号が供給される。タッチパネル６は、撮像時の画像（以下、スルー画像と適宜称する）を表示し、また、記憶装置５からの再生画像を表示する。タッチパネル６の操作に対応して発生する操作信号が制御部４に供給される。後述するように、アイコン作成装置１７において作成され、アイコン表示装置１８において生成されるアイコン表示信号がタッチパネル６に供給され、タッチパネル６上に表示される。
【００２５】
撮影時においては、制御部４によって、光学ブロック１のフォーカス機構、シャッター機構、絞り機構が制御され、被写体像が取り込まれ、被写体像が撮像素子に対して提供される。さらに、光学ブロック１のレンズ装置が交換可能とされている。例えばレンズ装置の内部には、マイクロコンピュータが構成されており、レンズ装置の種類、現在の焦点距離等の情報が制御部４に対して伝送される。
【００２６】
また、記録された記録データは、ユーザーからの操作入力に応じて記憶装置５から読み出され、制御部４に供給される。制御部４では、圧縮されているデータに関して、その圧縮の解凍処理（伸張処理）を行う。解凍後の画像データが必要に応じて表示コントローラを介してタッチパネル６に供給される。これにより、再生データに応じた画像がタッチパネル６の画面に表示される。
【００２７】
上述した撮像装置によって、被写体の画像（静止画または動画）を撮影して、記憶装置５に記録することができる。さらに、記憶装置５に記録された画像データを読み出して、画像をタッチパネル６に表示し、任意に閲覧、編集することが可能である。
【００２８】
ここで、上述した撮像装置の動画撮像時の動作について概略的に説明する。カメラ部２からのデジタル撮像信号が映像処理装置３に供給される。映像処理装置３では、画像データが画質補正処理され、スルー画像の画像データとして制御部４に供給される。制御部４から出力された画像データがスルー画像としてタッチパネル６に表示される。タッチパネル６に表示されたスルー画像を見ながら画角合わせを行うことが可能となる。
【００２９】
そして、タッチパネル６上のボタン、または機械的な録画ボタンが押下されると、記録動作が開始され、映像処理装置３によって処理された記録画像データが制御部４に供給される。制御部４において、圧縮符号化等の処理がされて記録データが生成され、記録データが記憶装置５に記憶される。
【００３０】
一方、記憶装置５に記憶されたデータを再生する場合には、記録データが制御部４に供給され、制御部４において復号される。復号された画像データが制御部４からタッチパネル６に供給され、タッチパネル６に再生画像が表示される。
【００３１】
「音声信号の処理」
上述した撮像装置の音声処理について説明する。本開示の第１の実施の形態では、複数のマイクロホン（音センサ）Ｍ１，Ｍ２，・・・，Ｍｎからなるマイクロホンアレー１１が使用される。例えば水平方向で所定間隔で配置されるｎ／２個のマイクロホンと、垂直方向で所定間隔で配置されるｎ／２個のマイクロホンとが撮像装置の前方の音を集音するようになされる。マイクロホンアレー１１の各マイクロホンの出力信号がアンプＡ１〜Ａｎからなるアンプ部１２に供給される。各アンプの出力信号がデジタル化回路１３のＡ／ＤコンバータＡＤ１〜ＡＤｎにそれぞれ供給され、デジタル音声信号に変換される。
【００３２】
デジタル化回路１３からのデジタル音声信号が音源方向検出装置１４に供給される。音源方向検出装置１４は、マイクロホンアレー１１によって取得された音声信号に対応する音源方向を推定すると共に、各音源の大きさを検出する。音源方向検出方法としては、既知の方法を使用できる。すなわち、各マイクロホンによって受音される信号の時間差を検出して方向を推定する方法、行列を利用して空間周波数として求める方法等を使用できる。さらに、所定間隔で配置された二つのマイクロホンにより得られた２チャンネルの音響信号の位相差スペクトルとパワースペクトルとを求め、これらに基づいて音源毎の方向を求める方法を使用しても良い。一般的に音源方向を推定するためには、少なくとも２個のマイクロホンが必要とされる。
【００３３】
図２Ａは、複数例えば３個の音源の方向の検出に関して概略的に説明するものである。撮像装置の前方の水平面内において、音源Ｐ１が方向θx1（撮像装置の正面方向に対する角度）を有し、音源Ｐ２が方向θx2を有し、音源Ｐ３が方向−θx3を有する。さらに、撮像装置の前方の垂直面内において、音源Ｐ１が方向θy1（撮像装置の正面方向に対する角度）を有し、音源Ｐ２が方向θy2を有し、音源Ｐ３が方向−θy3を有する。
【００３４】
音源方向検出装置１４は、各音源の方向および大きさを推定し、方向および大きさの情報を制御装置４に対して出力する。制御装置４は、図２Ｂに示すように、方向の情報を表示装置としてのタッチパネル６の表示エリア（すなわち、スルー画像または再生画像の表示エリア）上の位置の情報（ｘｙ座標）に変換する。但し、変換された結果の位置の情報がタッチパネル６の表示エリアの外になる場合には、座標の代わりにその旨の情報例えば「エリア外」を示すデータを設定する。図２Ｂの例では、音源Ｐ１が（ｘ1 ，ｙ1 ）に位置し、音源Ｐ２が（ｘ2 ，ｙ2 ）に位置し、音源Ｐ３が表示エリア外に位置する例である。
【００３５】
さらに、エリア外であっても、表示エリアの上下左右のどの側に存在するかを表す情報を設定しても良い。例えば音源がエリア外の右側に存在している場合には、「エリア外右側」を示すデータを設定しても良い。このように、方向の情報をタッチパネル６の表示エリア上の位置の情報（ｘｙ座標）に変換するのは、音源の位置の近傍に音源に対応するアイコンを表示するためである。各音源の方向および大きさの情報が制御装置４のメモリに保存される。制御装置４のメモリに保存された音源の方向および大きさの検出は、撮像スタンバイ、撮像中に常に例えば所定の時間間隔でもって実行され、メモリ内の情報が更新される。
【００３６】
音源方向検出装置１４から音源分離装置１５に対してマイクロホンＭ１〜Ｍｎによって受音されたｎチャンネルのデジタル音声信号が供給される。音源分離装置１５は、音源方向検出装置１４によって推定された方向のそれぞれの音声信号を分離して出力する。音声信号の分離は、方向推定結果を利用して音声信号を分離する方法、独立成分分析を利用して音声信号を分離する方法等の既知の方法を使用することができる。音源分離装置１５のの出力には、方向を特定できない音源の音声信号も取り出される。
【００３７】
音源分離装置１５から出力される音声信号が制御部４に供給される。制御部４においては、分離された音声信号の特徴的な音データがメモリに保存される。制御部４には、代表的な音の音データが保存されている。アイコン作成装置１７において、制御部４内のメモリに保存された個々の音声信号を特徴付ける音データと、代表的な音データとの比較がなされる。相関の有無（大きさ）に基づいて分離された音声信号の種類が判定され、判定結果に対応するアイコンが分離された音声信号に対して割り当てられる。
【００３８】
一例として、図２Ｃに示すように、音源Ｐ１が人の声と判定されると、人の顔を模したアイコンが音源Ｐ１に対して割り当てられる。同様に、音源Ｐ２が波の音と判定されると、波を模したアイコンが音源Ｐ２に対して割り当てられる。さらに、風切り音のように、特徴が少ない音源の場合、音源の種類の判別が不能となるので、音源判別ができないことを示す所定のアイコンが割り当てられる。さらに、割り当てられるアイコンの大きさが音源の検出された大きさ（信号レベル）にほぼ比例したものとされる。音源の大きさは、絶対的な信号レベルに基づいて決定されるか、または同一画像中に存在する複数の音源の相対的な大きさに基づいて決定される。
【００３９】
アイコン作成装置１７において作成された音源の種類および大きさと対応するアイコンがアイコン表示装置１８に供給される。アイコン表示装置１８は、作成されたアイコンをタッチパネル６の表示領域上に表示する。この場合、音源方向から得られた位置の近傍にアイコンが表示される。ユーザは、タッチパネル６に表示されているアイコンの位置、大きさ、種類、状態等から撮像装置の周囲の音を容易に確認することができる。なお、音声除去装置１６は、アイコンの除去操作がなされた音源に対応する音声信号をミュートする構成とされ、音声信号の除去の処理後の音声信号を出力し、映像処理装置３からの映像信号と共に、制御部４に供給される。
【００４０】
なお、音声除去装置１６において、音声信号の抑圧または強調の処理を行っても良い。その場合、音声除去装置１６が制御部４からのコントロール信号でゲインが制御される可変ゲインアンプによって構成される。制御部４内の記録処理部によって、記録信号が生成され、記録信号が記憶装置５に対して記録される。
【００４１】
さらに、アイコン表示装置１８が制御部４によって制御され、アイコンの表示に関する動作モードを切り替えることが可能とされている。第１の動作モードは、オフモードである。オフモードでは、アイコンが表示されない。第２の動作モードは、全表示モードである。全表示モードでは、検出された全音源と対応するアイコンが表示される。第３の動作モードは、一部表示モードである。レベルの大きい上位の所定個数の音源のアイコンを表示するモードである。第４の動作モードは、ユーザ設定モードである。ユーザが表示するアイコンを設定するモードである。
【００４２】
図３は、音声信号処理の流れを説明するためのフローチャートである。最初のステップＳ１において、マイクロホンアレー１１によって撮像中に発生している音の集音がなされる。ステップＳ２において、集音された音声信号の音源の方向および大きさが音源方向検出装置１４によって検出される。さらに、上述したように、各音源の方向がタッチパネル６の表示エリア上の位置の情報に変換される。
【００４３】
ステップＳ３において、音源分離装置１５によって、各方向の音源（方向を特定できない音源を含む）の音声信号を分離する。分離された音声信号が制御部４のメモリに保存される（ステップＳ４）。
【００４４】
ステップＳ５において、アイコン作成装置１７によるアイコン作成処理およびアイコン表示装置１８によるアイコン表示処理がなされる。上述したように、制御部４に保存されている複数の代表的な音のデータと各方向の音源の音声信号のデータとが比較され、音声信号の種類が判定される。判定結果に応じたアイコンが割り当てられる。作成されたアイコンがタッチパネル６上の音源方向から求められた位置の近傍に表示される。
【００４５】
そして、ステップＳ６において、アイコンに対する操作がなされたか否かが判定される。アイコンに対する操作がないと判定されると、処理がステップＳ１（マイクロホンアレー１１による集音）の処理に戻り、上述したようなステップＳ２〜Ｓ５の処理がなされる。
【００４６】
一方、ステップＳ６において、アイコンに対する操作があると判定されると、ステップＳ７において、操作されたアイコンに対応する音源の音声信号の処理がなされる。音声除去装置１６によって、音声信号の除去がなされる。なお、除去に限らず、音声信号のレベルを減少させる抑圧の処理を行うようにしても良い。このように、撮像中に検出され、撮像者が不要と考える音源の音声信号が除去され、映像信号と共に記憶装置５に供給される。
【００４７】
アイコンに対する操作の例としては、タッチパネル６において、除去したい音源に対応するアイコンの位置に指先で触れて、表示エリア外の方向に指先を移動させてアイコンを移動させるものがある。さらに、アイコンを指先でつまむ操作を当該アイコンに対応する音源を除去する操作としても良い。指先でつまむ操作と連動してアイコンの大きさを縮小させ、アイコンと対応する音源のレベルをアイコンの大きさに比例して抑圧するようにしても良い。これら以外にも携帯端末、携帯電話等で使用されているドラグアンドドロップ操作を採用できる。
【００４８】
「アイコン表示の第１の例」
図４を参照してアイコン表示の第１の例について説明する。図４Ａは、撮像中の被写体の一例であり、図４Ｂは、撮像装置のタッチパネル６の表示画像である。図４Ａに示すような海辺の被写体を撮影すると、マイクロホンアレー１１によって集音される音は、人物（子供）３１の声、海３２の波の音、風により樹木３３で生じる音である。
【００４９】
これらの音の音源が方向毎に分離されると共に、その大きさが検出されて、音源の種類および大きさに対応するアイコンが形成されるので、タッチパネル６の表示エリアには、図４Ｂに示すような表示がなされる。すなわち、人物３１の近傍に人の顔を模したアイコンＩ１が表示され、海の位置に波の形のアイコンＩ２が表示される。風により樹木３３で生じる音は、音源の種類が特定できないので、不特定の音源に割り当てられるアイコンＩ３が表示される。
【００５０】
アイコンＩ１，Ｉ２，Ｉ３の大きさが各音源の大きさを表している。図４Ｂの例は、（樹木３３で生じる音（アイコンＩ３）＞海３２の波の音（アイコンＩ２）＞人物３１の声（アイコンＩ１））の大小関係がこれらのアイコンの大きさによって表されている。さらに、被写体がアイコンによって隠されることを防ぐために、画面上の音源の位置よりややずらした位置にアイコンが表示される。特に、被写体が人物の場合にそのような配慮が必要である。
【００５１】
「アイコン表示の第２の例」
図５を参照してアイコン表示の第２の例について説明する。図５Ａは、撮像中の被写体の一例であり、図５Ｂは、撮像装置のタッチパネル６の表示されるスルー画像である。図５Ａの画像は、図４Ａと同様のものである。但し、図５Ａに示すように、タッチパネル６の表示エリア（スルー画像のエリア）の外に音源が存在している。
【００５２】
つまり、スルー画像に向かってスルー画像の外側の右下側の他人３４の話声が集音されており、スルー画像に向かってスルー画像の外側の左側に接地された拡声器３５から流れる音楽が集音されている。他の音源は、図４Ａと同様である。すなわち、マイクロホンアレー１１によって集音される音は、人物（子供）３１の声、海３２の波の音、風により樹木３３で生じる音、他人３４の話し声、拡声器３５からの音楽である。
【００５３】
図５Ｂに示すように、タッチパネル６の表示エリアには、これらの音の音源が方向毎に分離されると共に、その大きさが検出されて、音源の種類および大きさに対応するアイコンが形成される。スルー画像の外側に発生する音に対しては、発生位置に対応する表示エリアの外枠の近傍にアイコンが表示される。例えば（上、下、左、右、斜め左上、斜め右上、斜め左下、斜め右下）の８個の方向が規定されている。図５の例では、他人の声が斜め右下の位置と検出され、人の顔のアイコンＩ４が表示され、浜辺の拡声器からの音楽が左側の位置と検出され、音楽のアイコンＩ５が表示される。これらのアイコンＩ１〜Ｉ５の大きさは、相対的な音の大きさと対応している。
【００５４】
スルー画像のエリアの外側の位置で発生する音を表示する場合、図６に示すように、画像エリアの下側にアイコン専用エリア３５を配し、アイコン専用エリア３６にスルー画像のエリア外の音源に対応するアイコンを表示しても良い。すなわち、アイコンＩ４’は、右側の他人３４の話声を表しており、右側から音が来ることを表す矢印が付加されており、アイコンＩ５’は、左側の拡声器３５の音楽を表しており、左側から音が来ることを表す矢印が付加されている。
【００５５】
図６におけるマイクロホンの形を有するアイコンＩ６は、マイクロホンに対する風切り音を示している。風切り音は、被写体（人物、物体）が発生しない音源であるため、方向を表す矢印が付加されていない。または、図６において、アイコンＩ６ａ、Ｉ６ｂ、Ｉ６ｃ、Ｉ６ｄで示すように、スルー画像の外枠の各辺の中央位置に風切り音を表すアイコンを表示しても良い。さらに、図示しないが、アイコン自体を点滅させたり、震えさせたりして、風切り音のような被写体（人物、物体）が発生しない音源を目立たせても良い。このように、風切り音のような被写体（人物、物体）が発生しない音源は、不要な音であることが多いので、除去の対象として目立つようにアイコンが表示される。
【００５６】
「アイコン表示の第３の例」
アイコン表示に代えて、その音を特徴付ける文字列を表示するようにしても良い。例えば図４Ａと同様の被写体（図７Ａ）を撮像する場合に、タッチパネル６のスルー画像の波３２に対応するアイコンの代わりに波の音を表す文字列Ｉ７が表示される。例えば文字列１７のサイズが音の大きさに比例したものとされる。
【００５７】
「アイコンに対する操作」
タッチパネル６の画面上に表示されている所望のアイコンに対してユーザが操作を行って、当該アイコンに対応する音の除去等の処理を行うことができる。一例として、図４Ａと同様の被写体（図８Ａ）を撮像する場合、図８Ｂに示すように、タッチパネル６の画面上にアイコンＩ１，Ｉ２，Ｉ３が表示される。
【００５８】
風切り音は、上述したように、被写体が発する音ではないので、撮像中のユーザが風切り音を除去したい場合、アイコンＩ３が指先でタッチされる。そして、アイコンＩ３にタッチしたまま指先がタッチパネル６の表示エリアの外側へ動かされて、指先がタッチパネル６から離される。この一連のドラッグアンドドロップ操作は、制御部４において検出され、この操作に対応して制御部４が音声除去装置１６に対して風切り音の信号をミュートするように指示するコントロール信号を発生する。このように、風切り音が除去されてからユーザが録音開始ボタンを押すことによって、記憶装置５には、風切り音が除去された音声信号と、被写体画像が記録される。
【００５９】
上述した本開示の第１の実施の形態は、以下のような効果を奏する。
・撮像時に集音される音の状況をアイコンの種類、アイコンの大きさ等によって可視化することによって、撮像者が音の状況を直ちに確認することができる。
・アイコンを直感的な操作によって操作して、そのアイコンに紐付けされた音のみを処理してから記録を行うことができる。したがって、不要な音が記録されることを防止することができる。
・風がマイクロホンに直接当たって発生する風切り音は、一般的に撮像者にとっては分かり難いが、風切り音の発生状況をアイコンによって撮像者に知らせることができ、風切り音を除去する等の対応が容易にできる。
・音源の位置に対してややずれた位置にアイコンを表示することによって、被写体がアイコンによって隠されることを防止することができ、被写体を動きを見ながら撮像することができる。
【００６０】
＜第２の実施の形態＞
上述した第１の実施の形態は、動画の撮像時に集音された音の状況をスルー画像に重畳してアイコンとして表示するものである。本開示の第２の実施の形態は、撮像時には、音声信号に対する処理（除去、抑圧等）を行わないで、画像と撮像時の音声信号とを記憶装置に記憶し、記憶装置から読み出された音声信号を処理するものである。なお、第１の実施の形態（音声処理付き動作撮像モード）と以下に説明する第２の実施の形態（音声付き静止画撮像モード）との両方を備え、ユーザが一方の動作モードを選択する構成も可能である。
【００６１】
図９は、本開示の第２の実施の形態の構成を示す。第１の実施の形態の構成（図１参照）と同様の構成であるが、音源分離装置１５に対して音源除去装置１６が接続されていない。撮像時のマイクロホンアレー１１によって集音され、デジタル化回路１３によってデジタル化され、音源分離装置１５によって分離された音声信号が制御部４に供給される。制御部４によって音声信号が記憶装置５に記憶される。
【００６２】
例えば１枚（１フレーム）の静止画像に対応する画像信号が光学ブロック１、カメラ部２および映像処理装置３の経路で取得され、制御部４を介して記憶装置５に記憶される。静止画像が取得される時点の前および／または後の所定時間の分離後の音声信号が制御部４に取り込まれる。この音声信号と共に、音声信号と関連する方向および大きさの情報も制御部４が取り込まれる。制御部４は、所定時間分の各方向に分離された音声信号（例えば圧縮符号化された音声信号）と、各音声信号の方向および大きさの情報と、記録画像との紐付け（リンク）のための情報とを記憶装置５に記憶する。
【００６３】
記憶装置５から所望の音声付き静止画像を選択して再生すると、再生画像がタッチパネル６に表示される。記憶装置５から読み出された音声信号からアイコン作成装置１７によって、各音源に対応するアイコンが作成され、アイコン表示装置１８によって作成されたアイコンが表示される。
【００６４】
そして、タッチパネル６に表示されているアイコンを操作することによって、音声信号に対する処理（除去等）がなされる。図示しないが、記憶装置５から再生された音声信号を再生するスピーカが設けられており、音声信号に対する処理の効果を聴くことが可能とされている。さらに、記憶装置５に記憶されている音声信号を処理後の音声信号に更新するようにしても良い。
【００６５】
図１０Ａは、撮像される静止画像の一例（上述した図５Ａに示す画像と同様の画像）を示す。図１０Ｂは、記憶装置５から再生され、タッチパネル６に表示された表示画像を示す。スルー画像に向かってスルー画像の外側の右下側の他人３４の話声が集音されており、スルー画像に向かってスルー画像の外側の左側に接地された拡声器３５から流れる音楽が集音されている。
【００６６】
したがって、図１０Ａの例では、マイクロホンアレー１１によって集音される音は、人物（子供）３１の声、海３２の波の音、風により樹木３３で生じる音、他人３４の話し声、拡声器３５からの音楽である。撮像時点の前後の所定時間のこれらの分離された音の信号と、それぞれの方向および大きさの情報とが画像と紐付けされて記憶装置５に記憶される。
【００６７】
記憶装置５から画像および該画像と関連する音声信号が読み出される。そして、記憶装置５から読み出された音声信号からアイコン作成装置１７によって、各音源に対応するアイコンが作成され、図１０Ｂに示すように、アイコン表示装置１８によって作成されたアイコンが表示される。すなわち、タッチパネル６の表示エリアには、人物３１の近傍に人の顔を模したアイコンＩ１が表示され、海の位置に波の形のアイコンＩ２が表示される。風により樹木３３で生じる音は、音源の種類が特定できないので、不特定の音源に割り当てられるアイコンＩ３が表示される。アイコンＩ１，Ｉ２，Ｉ３の大きさが各音源の大きさを表している。
【００６８】
スルー画像の外側に発生する音に対しては、発生位置に対応する表示エリアの外枠の近傍にアイコンが表示される。他人の声が斜め右下の位置と検出され、人の顔のアイコンＩ４（手によって隠れている）が表示され、浜辺の拡声器からの音楽が左側の位置と検出され、音楽のアイコンＩ５が表示される。ユーザは、例えば除去したい音に対応するアイコンを指先で触れ、タッチパネル６の表示エリアの外に指先をスライドさせてから指先をタッチパネル６の画面から離す。この操作は、制御部４によって検出され、制御部４において、その音の除去処理がなされる。したがって、除去処理の対象の音声が再生されない。さらに、記憶装置５に制御部４がアクセスして操作対象の音を記憶装置５から消去することも可能とされている。再生時の処理としては、全ての音源の音を再生して所望の音を除去する方法と異なり、全ての音源の音を再生しないで、操作されたアイコンに対応する音のみを再生する処理を行うようにしても良い。
【００６９】
上述した本開示の第２の実施の形態によれば、音声付き静止画の作成が可能となり、再生時に操作したアイコンに対応する音のみを除去したり、その音のみを再生するような処理が可能となる。さらに、記憶装置５に記憶されている音声のみを再生して所望の画像を検索することも可能となる。
【００７０】
なお、本開示は、以下のような構成も取ることができる。
（１）
取得される画像を表示する表示部と、
取得される音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記音声方向検出部によって検出された前記音声信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する制御部とを備える撮像制御装置。
（２）
前記音声信号発生源の位置が前記表示エリア外の場合、前記音声信号発生源の存在する方向とほぼ同一方向に対応する前記図形または文字を表示する（１）に記載の撮像制御装置。
（３）
前記音声信号発生源の位置が前記表示エリア外の場合、前記表示エリア内に設けられた図形または文字表示エリアに前記図形または文字を表示する（１）および（２）の何れかに記載の撮像制御装置。
（４）
前記図形または文字が対応する音声信号発生源の発生する音声の強さと種類を表す（１）、（２）および（３）の何れかに記載の撮像制御装置。
（５）
前記図形または文字を操作することによって、前記図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部を有する（１）、（２）、（３）および（４）の何れかに記載の撮像制御装置。
（６）
前記表示部がタッチパネルの構成とされ、
前記タッチパネル上で前記図形または文字を操作することによって、前記図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部を有する（５）に記載の撮像制御装置。
（７）
前記取得される画像データと前記音声操作部によって処理された音声データとを記録媒体に記録する記録部を有する（５）および（６）の何れかに記載の撮像制御装置。
（８）
取得される画像を表示部に表示し、
取得される音声を音声方向検出部によって、音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出し、
制御部によって、前記音声方向検出部によって検出された前記音声 信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する撮像制御方法。
（９）
コンピュータに対して、
取得される画像を表示部に表示し、
取得される音声を音声方向検出部によって、音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出し、
制御部によって、前記音声方向検出部によって検出された前記音声信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する撮像制御方法を実行させるためのプログラム。
（１０）
画像を取得する撮像部と、
音声を取得する複数のマイクロホンと、
前記撮像部によって取得される画像を表示する表示部と、
前記マイクロホンによって取得される音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記音声方向検出部によって検出された前記音声信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する制御部と、
前記図形または文字を操作することによって、前記図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部と、
前記取得される画像データと前記音声操作部によって処理された音声データとを記録媒体に記録する記録部とを有する撮像装置。
（１１）
静止画像と共に取得される所定時間の音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記静止画像と、前記音声信号発生源毎の音声信号と、前記音声信号発生源毎の方向の情報とを記録媒体に記録する記録部と、
前記記録媒体から前記静止画像、前記音声信号発生源毎の音声信号、並びに前記方向の情報を再生する再生部と、
前記再生部によって前記記録媒体から再生される前記静止画像を表示する表示部と、
前記再生部によって前記記録媒体から再生される前記音声信号発生源毎の音声信号に対応して図形または文字を生成し、前記再生された方向の情報を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する制御部とを備える撮像制御装置。
（１２）
静止画像と共に取得される所定時間の音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記静止画像と、前記音声信号発生源毎の音声信号と、前記音声信号発生源毎の方向の情報を前記表示部の表示エリア上の位置に変換した位置情報とを記録媒体に記録する記録部と、
前記再生部によって前記記録媒体から再生される前記静止画像を表示する表示部と、
前記再生部によって前記記録媒体から再生される前記音声信号発生源毎の音声信号に対応して図形または文字を生成し、前記再生された位置情報で指定される位置の近傍に前記図形または文字を表示する制御部とを備える撮像制御装置。
【００７１】
「変形例」
以上、本開示の実施形態について具体的に説明したが、上述の各実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。例えば、上述した実施の形態におけるアイコンの種類、形状等は、一例にすぎない。
【符号の説明】
【００７２】
２・・・カメラ部
３・・・映像処理装置
４・・・制御部
５・・・記憶装置
６・・・タッチパネル
１１・・・マイクロホンアレー
１４・・・音源方向検出装置
１５・・・音源分離装置
１６・・・音声除去装置
１７・・・アイコン作成装置
１８・・・アイコン表示装置
Ｉ１〜Ｉ６・・・アイコン
Ｉ７・・・文字列
【技術分野】
【０００１】
本開示は、例えば動画像信号と音声信号とを記録媒体に記録する撮像装置に適用される撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置に関する。
【背景技術】
【０００２】
例えば撮像装置によって動画撮像中に撮像対象の音源を表示部に表示できれば、所望の音源の音のレベルを調整し、調整後の音声を記録媒体に画像と共に記録することができる。その結果、不要な音声が除去、または音声レベルが抑圧された再生を行うことができる。特に、被写体としての人物、または物体が発生する音（主音）以外の音、または主音を阻害する音を除いて録画したい要求がある。不要な音であるか否かの判断は、撮影者によって異なるので、撮像時に周囲音を可視化して撮影者自身が周囲音に対して操作することが好ましい。
【０００３】
音声信号発生源を表示装置に表示する可視化の技術が例えば特許文献１に記載されている。特許文献１では、測定の対象の特定周波数における音が複数のマイクロホンに到達する時間の差から音源の位置（方向）を推定し、推定された音源の位置を表示する。
【０００４】
特許文献２には、デジタルカメラの動画撮像時に、複数のマイクロホンからなるマイクロホンアレーによって録音を行い、音圧レベルに対応する色を有する二次元画像を生成し、表示部に二次元画像を表示することが記載されている。さらに、音源の方向の音源を抑圧したり、強調することが特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１１１１８３号公報
【特許文献２】特許第４５３９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、画面上に音声信号発生源例えば騒音の位置を表示するものであり、基本的に１種類の周波数の音の位置を表示するものである。したがって、撮像時に存在する複数の音声信号発生源を表示する点について考慮されていない。
【０００７】
特許文献２に記載のものは、音圧レベルに応じた色を有する等高線形状の二次元画像を撮像画像（スルー画像）に重畳するものである。この方法は、音の分布状況を把握するのには適しているが、撮像中に個々の人、物体が発生している音の存在を一目で確認するのが難しい。さらに、撮像画像の範囲内の音声信号発生源のみを可視化しており、撮像画像の範囲外からの音や、マイクロホンに対して風が直接当たって発生する風切り音を表示することができない問題があった。さらに、タッチパネルによって、可視化された音声信号発生源に対してレベルの強調、抑圧等の操作を行う場合、表示エリア中のどの場所をタッチして良いのかが分かりにくい。その結果、意図する音声信号発生源の音の操作を行うことができなかったり、操作の結果を確認しにくい問題があった。
【０００８】
したがって、本開示は、これらの問題点を解決し、撮像中の音声信号発生源の存在の状況を一見して分かるように提示することができる撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するために、本開示は、取得される画像を表示する表示部と、
取得される音声を音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出する音声方向検出部と、
音声方向検出部によって検出された音声信号発生源に対応して図形または文字を生成し、検出された方向を表示部の表示エリア上の位置に変換し、該位置の近傍に図形または文字を表示する制御部とを備える撮像制御装置である。
【００１０】
本開示は、取得される画像を表示部に表示し、
取得される音声を音声方向検出部によって、音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出し、
制御部によって、音声方向検出部によって検出された音声 信号発生源に対応して図形または文字を生成し、検出された方向を表示部の表示エリア上の位置に変換し、該位置の近傍に図形または文字を表示する撮像制御方法である。
【００１１】
本開示は、コンピュータに対して、
取得される画像を表示部に表示し、
取得される音声を音声方向検出部によって、音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出し、
制御部によって、音声方向検出部によって検出された音声信号発生源に対応して図形または文字を生成し、検出された方向を表示部の表示エリア上の位置に変換し、該位置の近傍に図形または文字を表示する撮像制御方法を実行させるためのプログラムである。
【００１２】
本開示は、画像を取得する撮像部と、
音声を取得する複数のマイクロホンと、
撮像部によって取得される画像を表示する表示部と、
マイクロホンによって取得される音声を音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出する音声方向検出部と、
音声方向検出部によって検出された音声信号発生源に対応して図形または文字を生成し、検出された方向を表示部の表示エリア上の位置に変換し、該位置の近傍に図形または文字を表示する制御部と、
図形または文字を操作することによって、図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部と、
取得される画像データと音声操作部によって処理された音声データとを記録媒体に記録する記録部とを有する撮像装置である。
【００１３】
本開示は、静止画像と共に取得される所定時間の音声を音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出する音声方向検出部と、
静止画像と、音声信号発生源毎の音声信号と、音声信号発生源毎の方向の情報とを記録媒体に記録する記録部と、
記録媒体から静止画像、音声信号発生源毎の音声信号、並びに方向の情報を再生する再生部と、
再生部によって記録媒体から再生される静止画像を表示する表示部と、
再生部によって記録媒体から再生される音声信号発生源毎の音声信号に対応して図形または文字を生成し、再生された方向の情報を表示部の表示エリア上の位置に変換し、該位置の近傍に図形または文字を表示する制御部とを備える撮像制御装置である。
【００１４】
本開示は、静止画像と共に取得される所定時間の音声を音声信号発生源毎の音声信号に分離し、音声信号発生源毎の方向を検出する音声方向検出部と、
静止画像と、音声信号発生源毎の音声信号と、音声信号発生源毎の方向の情報を表示部の表示エリア上の位置に変換した位置情報とを記録媒体に記録する記録部と、
再生部によって記録媒体から再生される静止画像を表示する表示部と、
再生部によって記録媒体から再生される音声信号発生源毎の音声信号に対応して図形または文字を生成し、再生された位置情報で指定される位置の近傍に図形または文字を表示する制御部とを備える撮像制御装置である。
【発明の効果】
【００１５】
本開示は、撮像中の音声信号発生源に対応するアイコンを撮像画像に重畳して表示するので、撮像中にどのような音が存在するかが一見して分かりやすい。したがって、撮像時に希望しない音を除去、除去または強調して画像および音声を記録することができる。さらに、音声付き静止画像を作成することができ、再生時に音声に対する操作を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本開示の第１の実施の形態の構成を示すブロック図である。
【図２】音源方向の検出の説明に使用する略線図である。
【図３】本開示の第１の実施の形態の動作説明に用いるフローチャートである。
【図４】本開示の第１の実施の形態のアイコン表示の第１の例の説明に用いる略線図である。
【図５】本開示の第１の実施の形態のアイコン表示の第２の例の説明に用いる略線図である。
【図６】本開示の第１の実施の形態の文字列表示の説明に用いる略線図である。
【図７】本開示の第１の実施の形態のアイコン表示の第３の例の説明に用いる略線図である。
【図８】本開示の第１の実施の形態におけるアイコン操作の説明に用いる略線図である。
【図９】本開示の第２の実施の形態の構成を示すブロック図である。
【図１０】本開示の第２の実施の形態におけるアイコン操作の説明に用いる略線図である。
【発明を実施するための形態】
【００１７】
以下に説明する実施の形態は、本開示の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本開示の範囲は、以下の説明において、特に限定する旨の記載がない限り、これらの実施の形態に限定されないものとする。
【００１８】
＜第１の実施の形態＞
「撮像装置全体の構成」
本開示の第１の実施の形態について説明する。図１を参照して本開示を適用できる撮像装置の一例について説明する。撮像装置は、画像処理に関係する構成として、光学ブロック１と、カメラ部２と、映像処理装置３とを備えている。
【００１９】
光学ブロック１は、レンズ、フォーカス機構、シャッター機構、絞り（アイリス）機構などを備えている。カメラ部２は、ＣＣＤ（Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor) 等の撮像素子、前処理回路、ドライバ、タイミング生成回路等を備えたものである。
【００２０】
撮像素子は、光学ブロック１からの被写体像を光電変換して前処理回路に出力する。前処理回路は、供給された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行って、Ｓ／Ｎ比を良好にし、ＡＧＣ（Automatic Gain Control）処理を行って、利得を制御し、そして、Ａ／Ｄ（Analog/Digital）変換によって、デジタル信号とされた撮像データを形成する。
【００２１】
カメラ部２からのデジタル撮像データが映像処理装置３に供給される。映像処理装置３は、撮像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto
White Balance）などのカメラ信号処理を施す。カメラ信号処理がなされた画像データが
所定の圧縮方式でデータ圧縮され、制御部４に供給される。後述するように処理された音声データを制御部４に対して供給される。
【００２２】
制御部４は、ＣＰＵ（Central Processing Unit ）４１、ＲＡＭ（Random Access Memory）等のメモリ４２、ＲＯＭ（Read Only Memory）等に格納されたプログラム４３等によって構成されたマイクロコンピュータであり、撮像装置の各部を制御する。
【００２３】
制御部４に対してデータ記録媒体としての記憶装置５が接続される。記憶装置５は、ハードディスク、メモリカード等である。制御部４において、所定のデータ構造とされた撮像データ（画像データおよび音声データ）が記憶装置５に記録される。
【００２４】
さらに、制御部４に対してタッチ操作対応液晶表示部（以下、タッチパネルと適宜称する）６が接続される。タッチパネル６には、制御部４からの表示信号が供給される。タッチパネル６は、撮像時の画像（以下、スルー画像と適宜称する）を表示し、また、記憶装置５からの再生画像を表示する。タッチパネル６の操作に対応して発生する操作信号が制御部４に供給される。後述するように、アイコン作成装置１７において作成され、アイコン表示装置１８において生成されるアイコン表示信号がタッチパネル６に供給され、タッチパネル６上に表示される。
【００２５】
撮影時においては、制御部４によって、光学ブロック１のフォーカス機構、シャッター機構、絞り機構が制御され、被写体像が取り込まれ、被写体像が撮像素子に対して提供される。さらに、光学ブロック１のレンズ装置が交換可能とされている。例えばレンズ装置の内部には、マイクロコンピュータが構成されており、レンズ装置の種類、現在の焦点距離等の情報が制御部４に対して伝送される。
【００２６】
また、記録された記録データは、ユーザーからの操作入力に応じて記憶装置５から読み出され、制御部４に供給される。制御部４では、圧縮されているデータに関して、その圧縮の解凍処理（伸張処理）を行う。解凍後の画像データが必要に応じて表示コントローラを介してタッチパネル６に供給される。これにより、再生データに応じた画像がタッチパネル６の画面に表示される。
【００２７】
上述した撮像装置によって、被写体の画像（静止画または動画）を撮影して、記憶装置５に記録することができる。さらに、記憶装置５に記録された画像データを読み出して、画像をタッチパネル６に表示し、任意に閲覧、編集することが可能である。
【００２８】
ここで、上述した撮像装置の動画撮像時の動作について概略的に説明する。カメラ部２からのデジタル撮像信号が映像処理装置３に供給される。映像処理装置３では、画像データが画質補正処理され、スルー画像の画像データとして制御部４に供給される。制御部４から出力された画像データがスルー画像としてタッチパネル６に表示される。タッチパネル６に表示されたスルー画像を見ながら画角合わせを行うことが可能となる。
【００２９】
そして、タッチパネル６上のボタン、または機械的な録画ボタンが押下されると、記録動作が開始され、映像処理装置３によって処理された記録画像データが制御部４に供給される。制御部４において、圧縮符号化等の処理がされて記録データが生成され、記録データが記憶装置５に記憶される。
【００３０】
一方、記憶装置５に記憶されたデータを再生する場合には、記録データが制御部４に供給され、制御部４において復号される。復号された画像データが制御部４からタッチパネル６に供給され、タッチパネル６に再生画像が表示される。
【００３１】
「音声信号の処理」
上述した撮像装置の音声処理について説明する。本開示の第１の実施の形態では、複数のマイクロホン（音センサ）Ｍ１，Ｍ２，・・・，Ｍｎからなるマイクロホンアレー１１が使用される。例えば水平方向で所定間隔で配置されるｎ／２個のマイクロホンと、垂直方向で所定間隔で配置されるｎ／２個のマイクロホンとが撮像装置の前方の音を集音するようになされる。マイクロホンアレー１１の各マイクロホンの出力信号がアンプＡ１〜Ａｎからなるアンプ部１２に供給される。各アンプの出力信号がデジタル化回路１３のＡ／ＤコンバータＡＤ１〜ＡＤｎにそれぞれ供給され、デジタル音声信号に変換される。
【００３２】
デジタル化回路１３からのデジタル音声信号が音源方向検出装置１４に供給される。音源方向検出装置１４は、マイクロホンアレー１１によって取得された音声信号に対応する音源方向を推定すると共に、各音源の大きさを検出する。音源方向検出方法としては、既知の方法を使用できる。すなわち、各マイクロホンによって受音される信号の時間差を検出して方向を推定する方法、行列を利用して空間周波数として求める方法等を使用できる。さらに、所定間隔で配置された二つのマイクロホンにより得られた２チャンネルの音響信号の位相差スペクトルとパワースペクトルとを求め、これらに基づいて音源毎の方向を求める方法を使用しても良い。一般的に音源方向を推定するためには、少なくとも２個のマイクロホンが必要とされる。
【００３３】
図２Ａは、複数例えば３個の音源の方向の検出に関して概略的に説明するものである。撮像装置の前方の水平面内において、音源Ｐ１が方向θx1（撮像装置の正面方向に対する角度）を有し、音源Ｐ２が方向θx2を有し、音源Ｐ３が方向−θx3を有する。さらに、撮像装置の前方の垂直面内において、音源Ｐ１が方向θy1（撮像装置の正面方向に対する角度）を有し、音源Ｐ２が方向θy2を有し、音源Ｐ３が方向−θy3を有する。
【００３４】
音源方向検出装置１４は、各音源の方向および大きさを推定し、方向および大きさの情報を制御装置４に対して出力する。制御装置４は、図２Ｂに示すように、方向の情報を表示装置としてのタッチパネル６の表示エリア（すなわち、スルー画像または再生画像の表示エリア）上の位置の情報（ｘｙ座標）に変換する。但し、変換された結果の位置の情報がタッチパネル６の表示エリアの外になる場合には、座標の代わりにその旨の情報例えば「エリア外」を示すデータを設定する。図２Ｂの例では、音源Ｐ１が（ｘ1 ，ｙ1 ）に位置し、音源Ｐ２が（ｘ2 ，ｙ2 ）に位置し、音源Ｐ３が表示エリア外に位置する例である。
【００３５】
さらに、エリア外であっても、表示エリアの上下左右のどの側に存在するかを表す情報を設定しても良い。例えば音源がエリア外の右側に存在している場合には、「エリア外右側」を示すデータを設定しても良い。このように、方向の情報をタッチパネル６の表示エリア上の位置の情報（ｘｙ座標）に変換するのは、音源の位置の近傍に音源に対応するアイコンを表示するためである。各音源の方向および大きさの情報が制御装置４のメモリに保存される。制御装置４のメモリに保存された音源の方向および大きさの検出は、撮像スタンバイ、撮像中に常に例えば所定の時間間隔でもって実行され、メモリ内の情報が更新される。
【００３６】
音源方向検出装置１４から音源分離装置１５に対してマイクロホンＭ１〜Ｍｎによって受音されたｎチャンネルのデジタル音声信号が供給される。音源分離装置１５は、音源方向検出装置１４によって推定された方向のそれぞれの音声信号を分離して出力する。音声信号の分離は、方向推定結果を利用して音声信号を分離する方法、独立成分分析を利用して音声信号を分離する方法等の既知の方法を使用することができる。音源分離装置１５のの出力には、方向を特定できない音源の音声信号も取り出される。
【００３７】
音源分離装置１５から出力される音声信号が制御部４に供給される。制御部４においては、分離された音声信号の特徴的な音データがメモリに保存される。制御部４には、代表的な音の音データが保存されている。アイコン作成装置１７において、制御部４内のメモリに保存された個々の音声信号を特徴付ける音データと、代表的な音データとの比較がなされる。相関の有無（大きさ）に基づいて分離された音声信号の種類が判定され、判定結果に対応するアイコンが分離された音声信号に対して割り当てられる。
【００３８】
一例として、図２Ｃに示すように、音源Ｐ１が人の声と判定されると、人の顔を模したアイコンが音源Ｐ１に対して割り当てられる。同様に、音源Ｐ２が波の音と判定されると、波を模したアイコンが音源Ｐ２に対して割り当てられる。さらに、風切り音のように、特徴が少ない音源の場合、音源の種類の判別が不能となるので、音源判別ができないことを示す所定のアイコンが割り当てられる。さらに、割り当てられるアイコンの大きさが音源の検出された大きさ（信号レベル）にほぼ比例したものとされる。音源の大きさは、絶対的な信号レベルに基づいて決定されるか、または同一画像中に存在する複数の音源の相対的な大きさに基づいて決定される。
【００３９】
アイコン作成装置１７において作成された音源の種類および大きさと対応するアイコンがアイコン表示装置１８に供給される。アイコン表示装置１８は、作成されたアイコンをタッチパネル６の表示領域上に表示する。この場合、音源方向から得られた位置の近傍にアイコンが表示される。ユーザは、タッチパネル６に表示されているアイコンの位置、大きさ、種類、状態等から撮像装置の周囲の音を容易に確認することができる。なお、音声除去装置１６は、アイコンの除去操作がなされた音源に対応する音声信号をミュートする構成とされ、音声信号の除去の処理後の音声信号を出力し、映像処理装置３からの映像信号と共に、制御部４に供給される。
【００４０】
なお、音声除去装置１６において、音声信号の抑圧または強調の処理を行っても良い。その場合、音声除去装置１６が制御部４からのコントロール信号でゲインが制御される可変ゲインアンプによって構成される。制御部４内の記録処理部によって、記録信号が生成され、記録信号が記憶装置５に対して記録される。
【００４１】
さらに、アイコン表示装置１８が制御部４によって制御され、アイコンの表示に関する動作モードを切り替えることが可能とされている。第１の動作モードは、オフモードである。オフモードでは、アイコンが表示されない。第２の動作モードは、全表示モードである。全表示モードでは、検出された全音源と対応するアイコンが表示される。第３の動作モードは、一部表示モードである。レベルの大きい上位の所定個数の音源のアイコンを表示するモードである。第４の動作モードは、ユーザ設定モードである。ユーザが表示するアイコンを設定するモードである。
【００４２】
図３は、音声信号処理の流れを説明するためのフローチャートである。最初のステップＳ１において、マイクロホンアレー１１によって撮像中に発生している音の集音がなされる。ステップＳ２において、集音された音声信号の音源の方向および大きさが音源方向検出装置１４によって検出される。さらに、上述したように、各音源の方向がタッチパネル６の表示エリア上の位置の情報に変換される。
【００４３】
ステップＳ３において、音源分離装置１５によって、各方向の音源（方向を特定できない音源を含む）の音声信号を分離する。分離された音声信号が制御部４のメモリに保存される（ステップＳ４）。
【００４４】
ステップＳ５において、アイコン作成装置１７によるアイコン作成処理およびアイコン表示装置１８によるアイコン表示処理がなされる。上述したように、制御部４に保存されている複数の代表的な音のデータと各方向の音源の音声信号のデータとが比較され、音声信号の種類が判定される。判定結果に応じたアイコンが割り当てられる。作成されたアイコンがタッチパネル６上の音源方向から求められた位置の近傍に表示される。
【００４５】
そして、ステップＳ６において、アイコンに対する操作がなされたか否かが判定される。アイコンに対する操作がないと判定されると、処理がステップＳ１（マイクロホンアレー１１による集音）の処理に戻り、上述したようなステップＳ２〜Ｓ５の処理がなされる。
【００４６】
一方、ステップＳ６において、アイコンに対する操作があると判定されると、ステップＳ７において、操作されたアイコンに対応する音源の音声信号の処理がなされる。音声除去装置１６によって、音声信号の除去がなされる。なお、除去に限らず、音声信号のレベルを減少させる抑圧の処理を行うようにしても良い。このように、撮像中に検出され、撮像者が不要と考える音源の音声信号が除去され、映像信号と共に記憶装置５に供給される。
【００４７】
アイコンに対する操作の例としては、タッチパネル６において、除去したい音源に対応するアイコンの位置に指先で触れて、表示エリア外の方向に指先を移動させてアイコンを移動させるものがある。さらに、アイコンを指先でつまむ操作を当該アイコンに対応する音源を除去する操作としても良い。指先でつまむ操作と連動してアイコンの大きさを縮小させ、アイコンと対応する音源のレベルをアイコンの大きさに比例して抑圧するようにしても良い。これら以外にも携帯端末、携帯電話等で使用されているドラグアンドドロップ操作を採用できる。
【００４８】
「アイコン表示の第１の例」
図４を参照してアイコン表示の第１の例について説明する。図４Ａは、撮像中の被写体の一例であり、図４Ｂは、撮像装置のタッチパネル６の表示画像である。図４Ａに示すような海辺の被写体を撮影すると、マイクロホンアレー１１によって集音される音は、人物（子供）３１の声、海３２の波の音、風により樹木３３で生じる音である。
【００４９】
これらの音の音源が方向毎に分離されると共に、その大きさが検出されて、音源の種類および大きさに対応するアイコンが形成されるので、タッチパネル６の表示エリアには、図４Ｂに示すような表示がなされる。すなわち、人物３１の近傍に人の顔を模したアイコンＩ１が表示され、海の位置に波の形のアイコンＩ２が表示される。風により樹木３３で生じる音は、音源の種類が特定できないので、不特定の音源に割り当てられるアイコンＩ３が表示される。
【００５０】
アイコンＩ１，Ｉ２，Ｉ３の大きさが各音源の大きさを表している。図４Ｂの例は、（樹木３３で生じる音（アイコンＩ３）＞海３２の波の音（アイコンＩ２）＞人物３１の声（アイコンＩ１））の大小関係がこれらのアイコンの大きさによって表されている。さらに、被写体がアイコンによって隠されることを防ぐために、画面上の音源の位置よりややずらした位置にアイコンが表示される。特に、被写体が人物の場合にそのような配慮が必要である。
【００５１】
「アイコン表示の第２の例」
図５を参照してアイコン表示の第２の例について説明する。図５Ａは、撮像中の被写体の一例であり、図５Ｂは、撮像装置のタッチパネル６の表示されるスルー画像である。図５Ａの画像は、図４Ａと同様のものである。但し、図５Ａに示すように、タッチパネル６の表示エリア（スルー画像のエリア）の外に音源が存在している。
【００５２】
つまり、スルー画像に向かってスルー画像の外側の右下側の他人３４の話声が集音されており、スルー画像に向かってスルー画像の外側の左側に接地された拡声器３５から流れる音楽が集音されている。他の音源は、図４Ａと同様である。すなわち、マイクロホンアレー１１によって集音される音は、人物（子供）３１の声、海３２の波の音、風により樹木３３で生じる音、他人３４の話し声、拡声器３５からの音楽である。
【００５３】
図５Ｂに示すように、タッチパネル６の表示エリアには、これらの音の音源が方向毎に分離されると共に、その大きさが検出されて、音源の種類および大きさに対応するアイコンが形成される。スルー画像の外側に発生する音に対しては、発生位置に対応する表示エリアの外枠の近傍にアイコンが表示される。例えば（上、下、左、右、斜め左上、斜め右上、斜め左下、斜め右下）の８個の方向が規定されている。図５の例では、他人の声が斜め右下の位置と検出され、人の顔のアイコンＩ４が表示され、浜辺の拡声器からの音楽が左側の位置と検出され、音楽のアイコンＩ５が表示される。これらのアイコンＩ１〜Ｉ５の大きさは、相対的な音の大きさと対応している。
【００５４】
スルー画像のエリアの外側の位置で発生する音を表示する場合、図６に示すように、画像エリアの下側にアイコン専用エリア３５を配し、アイコン専用エリア３６にスルー画像のエリア外の音源に対応するアイコンを表示しても良い。すなわち、アイコンＩ４’は、右側の他人３４の話声を表しており、右側から音が来ることを表す矢印が付加されており、アイコンＩ５’は、左側の拡声器３５の音楽を表しており、左側から音が来ることを表す矢印が付加されている。
【００５５】
図６におけるマイクロホンの形を有するアイコンＩ６は、マイクロホンに対する風切り音を示している。風切り音は、被写体（人物、物体）が発生しない音源であるため、方向を表す矢印が付加されていない。または、図６において、アイコンＩ６ａ、Ｉ６ｂ、Ｉ６ｃ、Ｉ６ｄで示すように、スルー画像の外枠の各辺の中央位置に風切り音を表すアイコンを表示しても良い。さらに、図示しないが、アイコン自体を点滅させたり、震えさせたりして、風切り音のような被写体（人物、物体）が発生しない音源を目立たせても良い。このように、風切り音のような被写体（人物、物体）が発生しない音源は、不要な音であることが多いので、除去の対象として目立つようにアイコンが表示される。
【００５６】
「アイコン表示の第３の例」
アイコン表示に代えて、その音を特徴付ける文字列を表示するようにしても良い。例えば図４Ａと同様の被写体（図７Ａ）を撮像する場合に、タッチパネル６のスルー画像の波３２に対応するアイコンの代わりに波の音を表す文字列Ｉ７が表示される。例えば文字列１７のサイズが音の大きさに比例したものとされる。
【００５７】
「アイコンに対する操作」
タッチパネル６の画面上に表示されている所望のアイコンに対してユーザが操作を行って、当該アイコンに対応する音の除去等の処理を行うことができる。一例として、図４Ａと同様の被写体（図８Ａ）を撮像する場合、図８Ｂに示すように、タッチパネル６の画面上にアイコンＩ１，Ｉ２，Ｉ３が表示される。
【００５８】
風切り音は、上述したように、被写体が発する音ではないので、撮像中のユーザが風切り音を除去したい場合、アイコンＩ３が指先でタッチされる。そして、アイコンＩ３にタッチしたまま指先がタッチパネル６の表示エリアの外側へ動かされて、指先がタッチパネル６から離される。この一連のドラッグアンドドロップ操作は、制御部４において検出され、この操作に対応して制御部４が音声除去装置１６に対して風切り音の信号をミュートするように指示するコントロール信号を発生する。このように、風切り音が除去されてからユーザが録音開始ボタンを押すことによって、記憶装置５には、風切り音が除去された音声信号と、被写体画像が記録される。
【００５９】
上述した本開示の第１の実施の形態は、以下のような効果を奏する。
・撮像時に集音される音の状況をアイコンの種類、アイコンの大きさ等によって可視化することによって、撮像者が音の状況を直ちに確認することができる。
・アイコンを直感的な操作によって操作して、そのアイコンに紐付けされた音のみを処理してから記録を行うことができる。したがって、不要な音が記録されることを防止することができる。
・風がマイクロホンに直接当たって発生する風切り音は、一般的に撮像者にとっては分かり難いが、風切り音の発生状況をアイコンによって撮像者に知らせることができ、風切り音を除去する等の対応が容易にできる。
・音源の位置に対してややずれた位置にアイコンを表示することによって、被写体がアイコンによって隠されることを防止することができ、被写体を動きを見ながら撮像することができる。
【００６０】
＜第２の実施の形態＞
上述した第１の実施の形態は、動画の撮像時に集音された音の状況をスルー画像に重畳してアイコンとして表示するものである。本開示の第２の実施の形態は、撮像時には、音声信号に対する処理（除去、抑圧等）を行わないで、画像と撮像時の音声信号とを記憶装置に記憶し、記憶装置から読み出された音声信号を処理するものである。なお、第１の実施の形態（音声処理付き動作撮像モード）と以下に説明する第２の実施の形態（音声付き静止画撮像モード）との両方を備え、ユーザが一方の動作モードを選択する構成も可能である。
【００６１】
図９は、本開示の第２の実施の形態の構成を示す。第１の実施の形態の構成（図１参照）と同様の構成であるが、音源分離装置１５に対して音源除去装置１６が接続されていない。撮像時のマイクロホンアレー１１によって集音され、デジタル化回路１３によってデジタル化され、音源分離装置１５によって分離された音声信号が制御部４に供給される。制御部４によって音声信号が記憶装置５に記憶される。
【００６２】
例えば１枚（１フレーム）の静止画像に対応する画像信号が光学ブロック１、カメラ部２および映像処理装置３の経路で取得され、制御部４を介して記憶装置５に記憶される。静止画像が取得される時点の前および／または後の所定時間の分離後の音声信号が制御部４に取り込まれる。この音声信号と共に、音声信号と関連する方向および大きさの情報も制御部４が取り込まれる。制御部４は、所定時間分の各方向に分離された音声信号（例えば圧縮符号化された音声信号）と、各音声信号の方向および大きさの情報と、記録画像との紐付け（リンク）のための情報とを記憶装置５に記憶する。
【００６３】
記憶装置５から所望の音声付き静止画像を選択して再生すると、再生画像がタッチパネル６に表示される。記憶装置５から読み出された音声信号からアイコン作成装置１７によって、各音源に対応するアイコンが作成され、アイコン表示装置１８によって作成されたアイコンが表示される。
【００６４】
そして、タッチパネル６に表示されているアイコンを操作することによって、音声信号に対する処理（除去等）がなされる。図示しないが、記憶装置５から再生された音声信号を再生するスピーカが設けられており、音声信号に対する処理の効果を聴くことが可能とされている。さらに、記憶装置５に記憶されている音声信号を処理後の音声信号に更新するようにしても良い。
【００６５】
図１０Ａは、撮像される静止画像の一例（上述した図５Ａに示す画像と同様の画像）を示す。図１０Ｂは、記憶装置５から再生され、タッチパネル６に表示された表示画像を示す。スルー画像に向かってスルー画像の外側の右下側の他人３４の話声が集音されており、スルー画像に向かってスルー画像の外側の左側に接地された拡声器３５から流れる音楽が集音されている。
【００６６】
したがって、図１０Ａの例では、マイクロホンアレー１１によって集音される音は、人物（子供）３１の声、海３２の波の音、風により樹木３３で生じる音、他人３４の話し声、拡声器３５からの音楽である。撮像時点の前後の所定時間のこれらの分離された音の信号と、それぞれの方向および大きさの情報とが画像と紐付けされて記憶装置５に記憶される。
【００６７】
記憶装置５から画像および該画像と関連する音声信号が読み出される。そして、記憶装置５から読み出された音声信号からアイコン作成装置１７によって、各音源に対応するアイコンが作成され、図１０Ｂに示すように、アイコン表示装置１８によって作成されたアイコンが表示される。すなわち、タッチパネル６の表示エリアには、人物３１の近傍に人の顔を模したアイコンＩ１が表示され、海の位置に波の形のアイコンＩ２が表示される。風により樹木３３で生じる音は、音源の種類が特定できないので、不特定の音源に割り当てられるアイコンＩ３が表示される。アイコンＩ１，Ｉ２，Ｉ３の大きさが各音源の大きさを表している。
【００６８】
スルー画像の外側に発生する音に対しては、発生位置に対応する表示エリアの外枠の近傍にアイコンが表示される。他人の声が斜め右下の位置と検出され、人の顔のアイコンＩ４（手によって隠れている）が表示され、浜辺の拡声器からの音楽が左側の位置と検出され、音楽のアイコンＩ５が表示される。ユーザは、例えば除去したい音に対応するアイコンを指先で触れ、タッチパネル６の表示エリアの外に指先をスライドさせてから指先をタッチパネル６の画面から離す。この操作は、制御部４によって検出され、制御部４において、その音の除去処理がなされる。したがって、除去処理の対象の音声が再生されない。さらに、記憶装置５に制御部４がアクセスして操作対象の音を記憶装置５から消去することも可能とされている。再生時の処理としては、全ての音源の音を再生して所望の音を除去する方法と異なり、全ての音源の音を再生しないで、操作されたアイコンに対応する音のみを再生する処理を行うようにしても良い。
【００６９】
上述した本開示の第２の実施の形態によれば、音声付き静止画の作成が可能となり、再生時に操作したアイコンに対応する音のみを除去したり、その音のみを再生するような処理が可能となる。さらに、記憶装置５に記憶されている音声のみを再生して所望の画像を検索することも可能となる。
【００７０】
なお、本開示は、以下のような構成も取ることができる。
（１）
取得される画像を表示する表示部と、
取得される音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記音声方向検出部によって検出された前記音声信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する制御部とを備える撮像制御装置。
（２）
前記音声信号発生源の位置が前記表示エリア外の場合、前記音声信号発生源の存在する方向とほぼ同一方向に対応する前記図形または文字を表示する（１）に記載の撮像制御装置。
（３）
前記音声信号発生源の位置が前記表示エリア外の場合、前記表示エリア内に設けられた図形または文字表示エリアに前記図形または文字を表示する（１）および（２）の何れかに記載の撮像制御装置。
（４）
前記図形または文字が対応する音声信号発生源の発生する音声の強さと種類を表す（１）、（２）および（３）の何れかに記載の撮像制御装置。
（５）
前記図形または文字を操作することによって、前記図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部を有する（１）、（２）、（３）および（４）の何れかに記載の撮像制御装置。
（６）
前記表示部がタッチパネルの構成とされ、
前記タッチパネル上で前記図形または文字を操作することによって、前記図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部を有する（５）に記載の撮像制御装置。
（７）
前記取得される画像データと前記音声操作部によって処理された音声データとを記録媒体に記録する記録部を有する（５）および（６）の何れかに記載の撮像制御装置。
（８）
取得される画像を表示部に表示し、
取得される音声を音声方向検出部によって、音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出し、
制御部によって、前記音声方向検出部によって検出された前記音声 信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する撮像制御方法。
（９）
コンピュータに対して、
取得される画像を表示部に表示し、
取得される音声を音声方向検出部によって、音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出し、
制御部によって、前記音声方向検出部によって検出された前記音声信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する撮像制御方法を実行させるためのプログラム。
（１０）
画像を取得する撮像部と、
音声を取得する複数のマイクロホンと、
前記撮像部によって取得される画像を表示する表示部と、
前記マイクロホンによって取得される音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記音声方向検出部によって検出された前記音声信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する制御部と、
前記図形または文字を操作することによって、前記図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部と、
前記取得される画像データと前記音声操作部によって処理された音声データとを記録媒体に記録する記録部とを有する撮像装置。
（１１）
静止画像と共に取得される所定時間の音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記静止画像と、前記音声信号発生源毎の音声信号と、前記音声信号発生源毎の方向の情報とを記録媒体に記録する記録部と、
前記記録媒体から前記静止画像、前記音声信号発生源毎の音声信号、並びに前記方向の情報を再生する再生部と、
前記再生部によって前記記録媒体から再生される前記静止画像を表示する表示部と、
前記再生部によって前記記録媒体から再生される前記音声信号発生源毎の音声信号に対応して図形または文字を生成し、前記再生された方向の情報を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する制御部とを備える撮像制御装置。
（１２）
静止画像と共に取得される所定時間の音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記静止画像と、前記音声信号発生源毎の音声信号と、前記音声信号発生源毎の方向の情報を前記表示部の表示エリア上の位置に変換した位置情報とを記録媒体に記録する記録部と、
前記再生部によって前記記録媒体から再生される前記静止画像を表示する表示部と、
前記再生部によって前記記録媒体から再生される前記音声信号発生源毎の音声信号に対応して図形または文字を生成し、前記再生された位置情報で指定される位置の近傍に前記図形または文字を表示する制御部とを備える撮像制御装置。
【００７１】
「変形例」
以上、本開示の実施形態について具体的に説明したが、上述の各実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。例えば、上述した実施の形態におけるアイコンの種類、形状等は、一例にすぎない。
【符号の説明】
【００７２】
２・・・カメラ部
３・・・映像処理装置
４・・・制御部
５・・・記憶装置
６・・・タッチパネル
１１・・・マイクロホンアレー
１４・・・音源方向検出装置
１５・・・音源分離装置
１６・・・音声除去装置
１７・・・アイコン作成装置
１８・・・アイコン表示装置
Ｉ１〜Ｉ６・・・アイコン
Ｉ７・・・文字列
【特許請求の範囲】
【請求項１】
取得される画像を表示する表示部と、
取得される音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記音声方向検出部によって検出された前記音声信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する制御部とを備える撮像制御装置。
【請求項２】
前記音声信号発生源の位置が前記表示エリア外の場合、前記音声信号発生源の存在する方向とほぼ同一方向に対応する前記図形または文字を表示する請求項１に記載の撮像制御装置。
【請求項３】
前記音声信号発生源の位置が前記表示エリア外の場合、前記表示エリア内に設けられた図形または文字表示エリアに前記図形または文字を表示する請求項１に記載の撮像制御装置。
【請求項４】
前記図形または文字が対応する音声信号発生源の発生する音声の強さと種類を表す請求項１に記載の撮像制御装置。
【請求項５】
前記図形または文字を操作することによって、前記図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部を有する請求項１に記載の撮像制御装置。
【請求項６】
前記表示部がタッチパネルの構成とされ、
前記タッチパネル上で前記図形または文字を操作することによって、前記図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部を有する請求項５に記載の撮像制御装置。
【請求項７】
前記取得される画像データと前記音声操作部によって処理された音声データとを記録媒体に記録する記録部を有する請求項５に記載の撮像制御装置。
【請求項８】
取得される画像を表示部に表示し、
取得される音声を音声方向検出部によって、音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出し、
制御部によって、前記音声方向検出部によって検出された前記音声 信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する撮像制御方法。
【請求項９】
コンピュータに対して、
取得される画像を表示部に表示し、
取得される音声を音声方向検出部によって、音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出し、
制御部によって、前記音声方向検出部によって検出された前記音声信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する撮像制御方法を実行させるためのプログラム。
【請求項１０】
画像を取得する撮像部と、
音声を取得する複数のマイクロホンと、
前記撮像部によって取得される画像を表示する表示部と、
前記マイクロホンによって取得される音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記音声方向検出部によって検出された前記音声信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する制御部と、
前記図形または文字を操作することによって、前記図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部と、
前記取得される画像データと前記音声操作部によって処理された音声データとを記録媒体に記録する記録部とを有する撮像装置。
【請求項１１】
静止画像と共に取得される所定時間の音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記静止画像と、前記音声信号発生源毎の音声信号と、前記音声信号発生源毎の方向の情報とを記録媒体に記録する記録部と、
前記記録媒体から前記静止画像、前記音声信号発生源毎の音声信号、並びに前記方向の情報を再生する再生部と、
前記再生部によって前記記録媒体から再生される前記静止画像を表示する表示部と、
前記再生部によって前記記録媒体から再生される前記音声信号発生源毎の音声信号に対応して図形または文字を生成し、前記再生された方向の情報を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する制御部とを備える撮像制御装置。
【請求項１２】
静止画像と共に取得される所定時間の音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記静止画像と、前記音声信号発生源毎の音声信号と、前記音声信号発生源毎の方向の情報を前記表示部の表示エリア上の位置に変換した位置情報とを記録媒体に記録する記録部と、
前記再生部によって前記記録媒体から再生される前記静止画像を表示する表示部と、
前記再生部によって前記記録媒体から再生される前記音声信号発生源毎の音声信号に対応して図形または文字を生成し、前記再生された位置情報で指定される位置の近傍に前記図形または文字を表示する制御部とを備える撮像制御装置。
【請求項１】
取得される画像を表示する表示部と、
取得される音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記音声方向検出部によって検出された前記音声信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する制御部とを備える撮像制御装置。
【請求項２】
前記音声信号発生源の位置が前記表示エリア外の場合、前記音声信号発生源の存在する方向とほぼ同一方向に対応する前記図形または文字を表示する請求項１に記載の撮像制御装置。
【請求項３】
前記音声信号発生源の位置が前記表示エリア外の場合、前記表示エリア内に設けられた図形または文字表示エリアに前記図形または文字を表示する請求項１に記載の撮像制御装置。
【請求項４】
前記図形または文字が対応する音声信号発生源の発生する音声の強さと種類を表す請求項１に記載の撮像制御装置。
【請求項５】
前記図形または文字を操作することによって、前記図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部を有する請求項１に記載の撮像制御装置。
【請求項６】
前記表示部がタッチパネルの構成とされ、
前記タッチパネル上で前記図形または文字を操作することによって、前記図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部を有する請求項５に記載の撮像制御装置。
【請求項７】
前記取得される画像データと前記音声操作部によって処理された音声データとを記録媒体に記録する記録部を有する請求項５に記載の撮像制御装置。
【請求項８】
取得される画像を表示部に表示し、
取得される音声を音声方向検出部によって、音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出し、
制御部によって、前記音声方向検出部によって検出された前記音声 信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する撮像制御方法。
【請求項９】
コンピュータに対して、
取得される画像を表示部に表示し、
取得される音声を音声方向検出部によって、音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出し、
制御部によって、前記音声方向検出部によって検出された前記音声信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する撮像制御方法を実行させるためのプログラム。
【請求項１０】
画像を取得する撮像部と、
音声を取得する複数のマイクロホンと、
前記撮像部によって取得される画像を表示する表示部と、
前記マイクロホンによって取得される音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記音声方向検出部によって検出された前記音声信号発生源に対応して図形または文字を生成し、前記検出された方向を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する制御部と、
前記図形または文字を操作することによって、前記図形または文字と対応する音声信号発生源の発生する音声の除去、抑圧または強調を行う音声操作部と、
前記取得される画像データと前記音声操作部によって処理された音声データとを記録媒体に記録する記録部とを有する撮像装置。
【請求項１１】
静止画像と共に取得される所定時間の音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記静止画像と、前記音声信号発生源毎の音声信号と、前記音声信号発生源毎の方向の情報とを記録媒体に記録する記録部と、
前記記録媒体から前記静止画像、前記音声信号発生源毎の音声信号、並びに前記方向の情報を再生する再生部と、
前記再生部によって前記記録媒体から再生される前記静止画像を表示する表示部と、
前記再生部によって前記記録媒体から再生される前記音声信号発生源毎の音声信号に対応して図形または文字を生成し、前記再生された方向の情報を前記表示部の表示エリア上の位置に変換し、該位置の近傍に前記図形または文字を表示する制御部とを備える撮像制御装置。
【請求項１２】
静止画像と共に取得される所定時間の音声を音声信号発生源毎の音声信号に分離し、前記音声信号発生源毎の方向を検出する音声方向検出部と、
前記静止画像と、前記音声信号発生源毎の音声信号と、前記音声信号発生源毎の方向の情報を前記表示部の表示エリア上の位置に変換した位置情報とを記録媒体に記録する記録部と、
前記再生部によって前記記録媒体から再生される前記静止画像を表示する表示部と、
前記再生部によって前記記録媒体から再生される前記音声信号発生源毎の音声信号に対応して図形または文字を生成し、前記再生された位置情報で指定される位置の近傍に前記図形または文字を表示する制御部とを備える撮像制御装置。
【図１】
【図２】
【図３】
【図９】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図２】
【図３】
【図９】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【公開番号】特開２０１３−１０６２９８（Ｐ２０１３−１０６２９８Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２５０５８４（Ｐ２０１１−２５０５８４）
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]