画像処理装置
【課題】
複数のマイクを利用可能な環境で、マイク操作アイコンで画面が見にくくならないようにする。
【解決手段】
複数のワイヤレスマイクが通信装置（１０７）を介して利用可能であり、撮影対象となりうる人物に装着されている。ＣＰＵ（１０１）は、画面に表示可能なアイコン数の範囲内で、撮影視野内の人物に装着されたマイクか否か、録音中か否か、画面から消えたか、画面に入ったか等に従い、アイコンの表示の要否を決定する。ＣＰＵ（１０１）は、撮像部（１２０）の撮影画像に決定したアイコンを重畳した表示制御信号を表示制御部１０４に供給する。
複数のマイクを利用可能な環境で、マイク操作アイコンで画面が見にくくならないようにする。
【解決手段】
複数のワイヤレスマイクが通信装置（１０７）を介して利用可能であり、撮影対象となりうる人物に装着されている。ＣＰＵ（１０１）は、画面に表示可能なアイコン数の範囲内で、撮影視野内の人物に装着されたマイクか否か、録音中か否か、画面から消えたか、画面に入ったか等に従い、アイコンの表示の要否を決定する。ＣＰＵ（１０１）は、撮像部（１２０）の撮影画像に決定したアイコンを重畳した表示制御信号を表示制御部１０４に供給する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像表示装置に画像と当該画像に関連する音声の操作のためのアイコンとを表示させる画像処理に関する。
【背景技術】
【０００２】
従来、撮像装置のように撮像した画像を表示装置に表示することが知られている。これらの撮像装置には、マイクにより得られる周囲の音声を画像とともに記録する機能が搭載されている。音声入力手段としてわいやれるマイクも使用するようになった。
【０００３】
特許文献１には、被写体を表示する画面上にワイヤレスマイクを示すアイコンを表示し、当該アイコンを操作することにより、音声記録に使用するワイヤレスマイクを選択する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−０５４５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、ワイヤレスマイクが検出すると、無条件にアイコンを画面上に表示するようになっている。この結果、音声記録に使用するワイヤレスマイクのアイコンも、使用しないワイヤレスマイクのアイコンも、撮影中に常時表示されることになり、構図及び被写体を確認しづらくなってしまう。
【０００６】
本発明は、このような不都合を解消する画像処理装置を提示することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る表示画像処理装置は、画像信号を取得する画像取得手段と、前記画像信号に関連する複数の音声信号を取得する音声取得手段と、前記画像信号に基づく画像を表示装置に表示させる表示制御手段と、前記画像信号から特定被写体を検出する被写体検出手段と、前記音声信号を解析する音声解析手段と、前記複数の音声信号のうちの、選択した音声信号を記録する記録手段と、前記音声信号の解析結果及び記録状態並びに前記被写体検出手段の検出結果に応じて、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御する制御手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、たとえば、ワイヤレスマイク等により得られた音声信号を示すアイコンとして、必要である可能性の高いアイコンを優先して表示することができる。これにより、画面が不必要なアイコンの表示により見にくくなってしまう可能性を低減できる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る画像処理装置の一実施例の概略構成ブロック図を示す。
【図２】顔に関連付けてマイクを予め登録するＣＰＵ処理のフローチャートである。
【図３】個人認証データベースの模式図である。
【図４】表示すべき操作アイコンを表示制御するＣＰＵ処理のフローチャートである。
【図５Ａ】撮影中に表示するマイクの選択処理のフローチャートである。
【図５Ｂ】撮影中に表示するマイクの選択処理のフローチャートである。
【図６】音声解析処理の説明用模式図である。
【図７】タッチパネル上で見た動作説明図である。
【図８】図７で説明する動作状態を示すタイムチャートである。
【図９】通信品質順位例である。
【図１０】マイク毎の録音時間の順序付け例である。
【図１１】表示条件と結果の分類表である。
【図１２Ａ】再生中に表示するマイクの選択処理のフローチャートである。
【図１２Ｂ】再生中に表示するマイクの選択処理のフローチャートである。
【図１３】記録済み音声の音声解析の説明用模式図である。
【図１４】表示条件と結果の分類表である。
【図１５】タッチパネル上で見た動作説明の画面例とタイムチャートである。
【図１６】マイク毎の滞在時間の順位表の一例である。
【図１７】画面内での位置に応じて操作アイコン表示数を設定するエリア別表示数制限の概念図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１１】
図１は、本発明に係る画像処理装置の一実施例の概略構成ブロック図を示す。撮像装置１００に本発明に係る画像処理装置の一実施例が組み込まれているが、一般的な情報処理装置（例えば、パーソナルコンピュータ、携帯電話、スマートフォンなど）にも組み込み可能である。
【００１２】
内部バス１０９に、ＣＰＵ１０１、ハードディスク（ＨＤＤ）１０２、メモリ１０３、表示制御部１０４、操作部１０５、ドライブ装置１０６、通信装置１０７、映像処理部１１０、音声処理部１１１及び撮像部１２０が接続する。内部バス１０９に接続される各部は、内部バス１０９を介して互いにデータのやりとりを行うことができる。
【００１３】
ハードディスク１０２には、顔検出パターンデータ、個人認証データベース、映像音声データ、その他のデータ、及びＣＰＵ１０１が動作するための各種プログラムなどが格納される。ハードディスク１０２の代わりに、不揮発性の記録媒体であればどのようなものであっても良い。顔検出パターンデータとは、顔検出のパターンマッチングに使うデータである。顔検出については後述する。個人認証データベースとは、検出した顔に対して人物認証を行う特徴データが登録されているデータベースである。個人認証については後述する。
【００１４】
メモリ１０３は、例えばＲＡＭからなる。表示制御手段、変更手段および音声解析手段としてのＣＰＵ１０１は、例えばハードディスク１０２に格納されるプログラムに従い、メモリ１０３をワークメモリとして用いて、撮像装置１００の各部を制御する。ＣＰＵ１０１上で動作するプログラムは、ハードディスク１０２に格納されるのに限られず、例えば図示されないＲＯＭに予め記憶しておいてもよい。
【００１５】
操作部１０５は、使用者の操作を受け付け、操作に応じた制御信号を生成し、ＣＰＵ１０１に供給する。例えば、操作部１０５は、使用者の操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイス、及び、マウスやタッチパネルといったポインティングデバイスなどを有する。タッチパネルは、例えば平面的に構成された操作部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
【００１６】
ＣＰＵ１０１は、入力デバイスに対してなされた使用者の操作に応じて操作部１０５で生成され供給される制御信号に基づき、プログラムに従い、撮像装置１００の各部を制御する。これにより、ＣＰＵ１０１は、撮像装置１００に対し、使用者の操作に応じた動作を行わせることができる。
【００１７】
表示制御部１０４は、ディスプレイ１０８に画像を表示させるための表示信号を出力する。例えば、ＣＰＵ１０１は、プログラムに従い生成した表示制御信号を表示制御部１０４に供給する。表示制御部１０４は、ＣＰＵ１０１からの表示制御信号に基づき表示信号を生成してディスプレイ１０８に出力する。
【００１８】
例えば、表示制御部１０４は、ＣＰＵ１０１が生成する表示制御信号に基づき、ＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面をディスプレイ１０８に表示させる。
【００１９】
操作部１０５としてタッチパネルを用いる場合、操作部１０５とディスプレイ１０８とを一体的に構成することができる。例えば、タッチパネルを光の透過率がディスプレイ１０８の表示を妨げないように構成し、ディスプレイ１０８の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、ディスプレイ１０８上の表示座標とを対応付ける。これにより、恰も使用者がディスプレイ１０８上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。
【００２０】
操作部１０５がタッチパネルである場合、ＣＰＵ１０１は、タッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れる操作を、以下、タッチダウンと称する。タッチパネルを指やペンで触れている状態であることを、以下、タッチオンと称する。タッチパネルを指やペンで触れたまま移動することを、以下、ムーブと称する。タッチパネルへ触れていた指やペンを離したことを、以下、タッチアップと称する。タッチパネルに何も触れていない状態を、以下、タッチオフと称する。
【００２１】
これらの操作と、タッチパネル上に指やペンが触れている位置座標は、内部バス１０９を通じて、ＣＰＵ１０１に通知され、ＣＰＵ１０１は、通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。
【００２２】
ムーブについては、タッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。タッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されると、フリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。
【００２３】
ドライブ装置１０６は、ＣＤやＤＶＤといったディスク状の外部記憶媒体（不図示）を駆動する装置である。ドライブ装置１０６は、ＣＰＵ１０１の制御に基づき、装着された外部記憶媒体にデータを読み書きする。ドライブ装置１０６の代わりに、例えばメモリカードなどの不揮発性半導体メモリを接続するインターフェース又は接続装置を用いても良い。
【００２４】
通信装置１０７は、ＣＰＵ１０１の制御に基づき、ワイヤレスマイク（不図示）との通信を行い、ワイヤレスマイクが取り込んだ音声を示す音声データ（以下、マイク音声データという）をマイクＩＤ付きで受信する。ＣＰＵ１０１の制御に基づき、通信装置１０７は、受信したマイク音声データを音声処理部１１１に転送し、受信したマイクＩＤはメモリ１０３に書き込む。通信装置１０７は、通信エラー発生回数をカウントし、ＣＰＵ１０１の制御に基づき、所定時間当たりのエラー発生回数を通信品質としてメモリ１０３に書き込む。ワイヤレスマイク及び通信装置１０７は、撮像部１２０による撮影画像に関連する複数の音声信号を取得する音声取得手段として機能する。
【００２５】
撮像部１２０は画像取得手段として機能し、被写体を撮像し、画像信号を出力する。映像処理部１１０は、撮影時には、ＣＰＵ１０１の制御に基づき、撮像部１２０により得られる画像信号からなる動画信号をデジタルデータに変換し、メモリ１０３に書き込む。再生時には、映像処理部１１０は、ＣＰＵ１０１の制御に基づき、ドライブ装置１０６から動画データを再生してメモリ１０３に書き込む。
【００２６】
音声処理部１１１は、撮影時には、ＣＰＵ１０１の制御に基づき、マイク音声データをデジタルデータへ変換し、メモリ１０３へ書き込む。再生時には、音声処理部１１１は、ＣＰＵ１０１の制御に基づき、ドライブ装置１０６からマイク音声データを再生し、メモリ１０３へ書き込む。
【００２７】
撮影時および再生時に、音声処理部１１１は、ＣＰＵ１０１の制御に基づき、所定の濾過周波数特性を持つフィルタ処理を施した後で、マイク音声データの示す音声のレベルの検知を行う。音声処理部１１１は、検知した音声レベルを示すデータをメモリ１０３に書き込む。
【００２８】
撮像装置１００は、２種類の音声記録方法を利用できる。第１の方法では、音声処理部１１１は、ＣＰＵ１０１の制御に基づき、操作部１０５で任意に選択した複数マイクのマイク音声を合成し、合成音声データをメモリ１０３に書き込む。撮影時には、ＣＰＵ１０１は、メモリ１０３に書き込まれた画像データ、選択されたマイク音声データ、及びマイク毎の録音時間等の付加情報等のデジタルデータを、必要により圧縮処理して、ドライブ装置１０６に記録する。
【００２９】
第２の方法では、音声処理部１１１は、ＣＰＵ１０１の制御に基づき、受信した複数のマイク音声を別々のままメモリ１０３に書き込む。撮影時には、ＣＰＵ１０１は、メモリ１０３に書き込まれた画像データ、複数のマイク音声データ及びマイク毎の録音時間等の付加情報等のデジタルデータを、必要により圧縮処理して、ドライブ装置１０６に記録する。
【００３０】
撮影画像の圧縮記録処理と並行に、ＣＰＵ１０１は、メモリ１０３に書き込まれた画像データを最適なサイズにリサイズ処理し、操作アイコンと顔枠等を重畳した表示制御信号を生成する。表示制御部１０４は、表示制御信号に従い、撮影画像に操作アイコンと顔枠等を重畳してディスプレイ１０８に表示させる。これにより、撮影者は、リアルタイムで撮影画像と、認識された顔及びその位置とを視覚的に確認でき、操作アイコンによる操作を行える。
【００３１】
複数のマイク音声と付加情報等のデジタルデータは、撮影画像からなる動画データのメタデータに関連付けて記録される。再生時には、メタデータによって動画に同期したマイク音声データを検出でき、再生できる。
【００３２】
ワイヤレスマイクを被写体人物に関連付けている場合、再生画像データから顔検出して個人認証することにより、マイクＩＤを判別でき、判別したマイクＩＤとメタデータからどのマイク音声データを解析すべきかも判別できる。
【００３３】
再生時には、ＣＰＵ１０１は、ドライブ装置１０６から記録データ（画像、音声及び付加情報等）を読み出し、必要により伸長処理して、メモリ１０３に書き込む。すなわち、ＣＰＵは、画像信号を取得する画像取得手段として機能し、更には、画像信号に関連する複数の音声信号を取得する音声取得手段として機能する。再生時の伸長処理と並行に、ＣＰＵ１０１は、メモリ１０３に書き込まれた再生画像データを最適なサイズにリサイズ処理し、操作アイコンと顔枠等を重畳した表示制御信号を生成する。表示制御部１０４は、表示制御信号に従い、再生画像に操作アイコンと顔枠等を重畳してディスプレイ１０８に表示させる。これにより、撮影者は、再生画像を鑑賞しつつ、認識された顔及びその位置を視覚的に確認でき、操作アイコンによる操作を行える。
【００３４】
ＣＰＵ１０１は、メモリ１０３の画像データに顔検出を行い、顔検出結果をメモリ１０３に書きこむ。顔検出には、パターンマッチング等の公知の顔検出技術を適用できる。顔検出の結果は、例えば、画角内の座標及びサイズからなる。ＣＰＵ１０１は、検出した顔画像をハードディスク１０２に記憶されている個人認証データベースと照合し、結果をメモリ１０３に書きこむ。この照合には、公知の顔認証技術を用いることができる。個人認証結果は、例えば、顔認識の類似度を示すデータからなる。顔以外の指定物体等の特定被写体を検出して特徴データを抽出する技術を使用することで、顔以外の指定物体の有無を検出できる。顔に限らず、特徴のパターンマッチング等の公知の物体認証を用いることで、形状が既知の特定物体の物体認証も行うことができる。
【００３５】
本実施例の特徴的な動作を説明する。本実施例では、認識されているわいやれるマイク中、被写体検出結果と音声解析結果に基づいて決定した１又は複数のマイクに対応するマイク操作アイコンを表示する。ユーザは、表示されたマイク操作アイコンを操作して、記録に使用するマイクを選択する。
【００３６】
操作部１０５又は不図示のリモートコントローラによりユーザが撮像装置１００の電源を入れると、不図示の電源部が、撮像装置１００の各部に電源を供給する。電源を入れてから記録開始する前に、顔に関連付けてマイクを予め登録しておく。図２は、顔に関連付けてマイクを予め登録するＣＰＵ１０１の処理のフローチャートである。図３は、個人認証データベースの模式図である。図２に示すフローチャートにおける各処理は、ＣＰＵ１０１がハードディスク１０２に格納されたプログラムをメモリ１０３に展開して実行することにより実現される。
【００３７】
Ｓ２０１において、ＣＰＵ１０１は、ハードディスク１０２に記録されている以前に登録した既存マイク登録情報を初期化して、Ｓ２０２に処理を移す。
【００３８】
Ｓ２０２において、ＣＰＵ１０１は、登録したいワイヤレスマイクの送信を開始するように案内を表示する表示制御信号を表示制御部１０４に送り、Ｓ２０３に処理を移す。
【００３９】
Ｓ２０３において、ＣＰＵ１０１は、マイクＩＤを受信したかどうかを判断し、受信していれば処理をＳ２０４に移し、受信していなければＳ２０３に処理を移す。無線方式としてＢｌｕｅｔｏｏｔｈ（登録商標）を使用する場合、認証が行われるので、通信相手を特定できる。マイクＩＤは、特定したマイクに割り付ける識別情報を示す。
【００４０】
Ｓ２０４において、ＣＰＵ１０１は、受信したマイクＩＤと装着者とを対応付けるために、装着者の顔の撮影と確定を案内する表示の表示制御信号を表示制御部１０４に送り、Ｓ２０５に処理を移す。
【００４１】
Ｓ２０５において、ＣＰＵ１０１は、確定操作された撮影画像に唯一つの顔を検出したかどうかを判断し、検出していれば処理をＳ２０６に移し、検出していなければＳ２０４に処理を移す。
【００４２】
Ｓ２０６において、ＣＰＵ１０１は、検出された顔と個人認証データベースとの照合を行う個人認証処理を行い、Ｓ２０７に処理を移す。
【００４３】
Ｓ２０７において、ＣＰＵ１０１は、個人認証処理の結果、装着者の顔が既に特定個人の顔として個人認証データベースに登録済みであるかどうかを判断する。そして、登録されていれば処理をＳ２０９に移し、登録されていなければＳ２０８に処理を移す。
【００４４】
Ｓ２０６，Ｓ２０７により、ＣＰＵ１０１は、画像信号から特定被写体を検出する被写体検出手段として機能する。
【００４５】
Ｓ２０８において、ＣＰＵ１０１は、装着者の顔を新たに特定個人の顔として個人認証データベースに追加登録し、Ｓ２０９に処理を移す。
【００４６】
Ｓ２０９において、ＣＰＵ１０１は、個人認証データベースにマイク装着情報を追加し、Ｓ２１０に処理を移す。
【００４７】
図３に示す例では、特徴データＸ１である人は人物Ａであり、人物ＡはＩＤ１のマイクを装着している。特徴データＸ２である人は人物Ｂであり、人物Ｂはマイクを装着していない。このように画像中の人物の顔を個人認証することで、マイクが装着されている場合のマイクＩＤを特定できる。
【００４８】
Ｓ２１０において、ＣＰＵ１０１は、他の登録したいワイヤレスマイク送信を開始するように案内を表示させる表示制御信号を表示制御部１０４に送り、Ｓ２１１に処理を移す。
【００４９】
Ｓ２１１において、ＣＰＵ１０１は、待ち時間を計るタイマ（不図示）を開始して、Ｓ２１２に処理を移す。
【００５０】
Ｓ２１２において、ＣＰＵ１０１は、他のマイクＩＤを受信したかどうかを判断し、受信していれば処理をＳ２０４に移し、受信していなければＳ２１３に処理を移す。
【００５１】
Ｓ２１３において、ＣＰＵ１０１は、Ｓ２１１で設定したタイマがタイムアウトであるかどうかを判断し、タイムアウトであれば処理を終了し、タイムアウトでなければＳ２１２に処理を移す。
【００５２】
以上のように、顔を検出して個人認証が出来る場合に、その人物が装着しているマイクを特定するデータベースを準備できる。顔に限らず、予め登録してある特定の物体として物体認証をすることで、画像内の物体に対するマイクの装着を検出出来る。例えば、ワイヤレスマイクそのものにマイク自体を特定するための模様や文字などが付加しても良い。また、ワイヤレスマイク自体に可視光外の光を発光する発光素子を備え、それぞれのワイヤレスマイクの発光素子がワイヤレスマイクを識別するためのパターン発光を行うようにしても良い。
【００５３】
図４は、表示すべき操作アイコンを表示制御するＣＰＵ１０１の処理のフローチャートである。
【００５４】
Ｓ４０１において、ＣＰＵ１０１は、顔検出結果を読み込み、Ｓ４０２に処理を移す。
【００５５】
Ｓ４０２において、ＣＰＵ１０１は、検出結果にある顔と個人認証データベースとの照合を行う個人認証処理を行い、Ｓ４０３に処理を移す。
【００５６】
Ｓ４０３において、ＣＰＵ１０１は、検出結果にある顔に対し全て個人認証処理が終わったかどうかを判断し、終わっていれば処理をＳ４０４に移し、終わっていなければＳ４０２に処理を移す。
【００５７】
Ｓ４０４において、ＣＰＵ１０１は、マイク検出数を初期化して、Ｓ４０５に処理を移す。
【００５８】
Ｓ４０５において、ＣＰＵ１０１は、個人認証データベースを読みこみ、Ｓ４０６に処理を移す。
【００５９】
Ｓ４０６において、ＣＰＵ１０１は、検出された顔が個人認証データベースでマイク装着と登録されているかどうかを判断し、マイク装着と登録されていれば処理をＳ４０７に移し、登録されていなければＳ４０８に処理を移す。
【００６０】
Ｓ４０７において、ＣＰＵ１０１は、個人認証データベースからマイクＩＤを取得し、Ｓ４０８に処理を移す。
【００６１】
Ｓ４０８において、ＣＰＵ１０１は、個人認証済み顔全員分のマイク検出処理が終わったかどうかを判断し、終わっていれば処理をＳ４０９に移し、終わっていなければＳ４０５に処理を移す。
【００６２】
Ｓ４０９において、ＣＰＵ１０１は、表示が必要なマイクＩＤの選択処理を行い、Ｓ４１０に処理を移す。
【００６３】
Ｓ４１０において、ＣＰＵ１０１は、表示が必要であると選択されたマイクＩＤの操作アイコンを表示する表示制御信号を表示制御部１０４に送り、処理を終える。
【００６４】
図５Ａ及び図５Ｂは、図４のステップＳ４０９における、撮影中に表示が必要なマイクＩＤの選択処理の詳細なフローチャートである。
【００６５】
Ｓ５０１において、ＣＰＵ１０１は、前回以前の選択処理で表示すると選択されて、現在既に表示中のマイク操作アイコンのマイクＩＤを取得し、Ｓ５０２に処理を移す。
【００６６】
Ｓ５０２において、ＣＰＵ１０１は、今回検出した選択処理対象のマイクＩＤを取得し、Ｓ５０３に処理を移す。
【００６７】
Ｓ５０３において、ＣＰＵ１０１は、今回、選択処理対象のマイクＩＤが検出されているかどうかを判断し、いれば処理をＳ５０４に移し、いなければＳ５０８に処理を移す。
【００６８】
Ｓ５０４において、ＣＰＵ１０１は、現在既にマイク操作アイコンを表示中かどうかを判断する。表示していれば処理をＳ５１３に移し、表示していなければＳ５０５に処理を移す。
【００６９】
Ｓ５０５において、ＣＰＵ１０１は、今回検出した選択処理対象のマイクＩＤの検出個数が所定数以下かどうかを判断し、以下ならば処理をＳ５０６に移し、以下でなければＳ５１９に処理を移す。
【００７０】
Ｓ５０６において、ＣＰＵ１０１は、今回検出した選択処理対象のマイクＩＤを今後表示するマイクＩＤに全て選択し、Ｓ５０７に処理を移す。
【００７１】
Ｓ５０７において、ＣＰＵ１０１は、今回のマイク選択処理で表示すると選択したマイクＩＤを保存し、処理を終える。
【００７２】
このように、今まで操作アイコンを表示していなかった状態から新たに画角内に検出されたマイク本数が所定本数以下なら、全部の操作アイコンが、表示するように選択される。
【００７３】
Ｓ５０８において、ＣＰＵ１０１は、現在既にマイク操作アイコンを表示中のマイクＩＤがあるかどうか判断し、あれば処理をＳ５０９に移し、なければＳ５０７に処理を移す。
【００７４】
Ｓ５０９において、ＣＰＵ１０１は、現在既に表示中のマイク操作アイコンのマイクＩＤが既に録音中かどうかを判断し、既に録音中ならば処理をＳ５１０に移し、なければＳ５１１に処理を移す。ここで、録音中とは、ＣＰＵ１０１がマイク音声データを圧縮処理しているか、又は、生成された圧縮データをドライブ装置１０６に記録している最中であることを指す。ステップＳ５０９では、記録中か否かを示す記録状態に応じて、処理を分岐していることになる。
【００７５】
Ｓ５１０において、ＣＰＵ１０１は、録音中のマイクＩＤを今後も表示するマイクＩＤに選択し、Ｓ５１２に処理を移す。
【００７６】
Ｓ５１１において、ＣＰＵ１０１は、録音中にないマイクＩＤを今後表示するマイクＩＤに選択せず、Ｓ５１２に処理を移す。
【００７７】
Ｓ５１２において、ＣＰＵ１０１は、現在既に表示中のマイク操作アイコンのマイクＩＤについて全て表示するか否かの選択が完了したかどうか判断する。ＣＰＵ１０１は、完了していれば処理をＳ５０７に移し、完了していなければＳ５０９に処理を移す。
【００７８】
このように、今まで操作アイコンを表示していたが画角外へ消えたマイクのマイク音が現在も録音中なら、記録オフ操作が可能なように、今後も表示するように選択する。他方、非録音中の場合、消えただけなので、今後、表示を消すように選択する。すなわち、記録中か否かを示す記録状態に応じて、表示／非表示を選択する。
【００７９】
Ｓ５１３において、ＣＰＵ１０１は、Ｓ５０１とＳ５０２で取得したマイクＩＤの中から現在既に表示中だが今回検出されないマイクＩＤ、即ち撮影視野から消失した被写体に関連付けられたマイクＩＤを抽出し、Ｓ５１４に処理を移す。
【００８０】
Ｓ５１４において、ＣＰＵ１０１は、現在表示中で今回検出されない消失マイクＩＤは録音中かどうかを判断し、録音中ならば処理をＳ５１５に移し、なければＳ５１６に処理を移す。すなわち、記録中か否かを示す記録状態に応じて、処理を分岐する。
【００８１】
Ｓ５１５において、ＣＰＵ１０１は、録音中のマイクＩＤを今後も表示するマイクＩＤに選択し、Ｓ５１７に処理を移す。
【００８２】
Ｓ５１６において、ＣＰＵ１０１は、録音中にないマイクＩＤを今後表示するマイクＩＤに選択せず、Ｓ５１７に処理を移す。
【００８３】
Ｓ５１７において、ＣＰＵ１０１は、今後表示するように選択したマイクＩＤの個数が所定数以下かどうかを判断し、以下ならば処理をＳ５１８に移し、以下でなければＳ５２８に処理を移す。
【００８４】
Ｓ５１８において、ＣＰＵ１０１は、現在表示中で今回検出されない全消失マイクＩＤについて表示／非表示の選択が完了したかどうか判断し、完了していれば処理をＳ５１９に移し、完了していなければＳ５１４に処理を移す。
【００８５】
このように、今まで操作アイコンを表示していたが画角外へ消えた被写体に対応するマイクＩＤのマイク音声が現在録音中なら、記録オフ操作できるように、今後表示するように選択する。他方、非録音中なら、消えただけなので、今後表示を消すように選択する。すなわち、記録中か否かを示す記録状態に応じて、表示／非表示を選択する。
【００８６】
Ｓ５１９において、ＣＰＵ１０１は、検出されたマイクＩＤの音声解析を行い、Ｓ５２０に処理を移す。図６は、図５ＢのＳ５１９でＣＰＵ１０１が行う音声解析の説明用模式図を示す。
【００８７】
図６（１）は、メモリ１０３に書き込まれるマイクＩＤ１のマイク音声データのマイク入力レベル６０１の変化例を示す。縦軸は音量レベルを示し、横軸は時間を示す。音声処理部１１１は、メモリ１０３に書き込まれるマイク音声のマイク入力レベル６０１を人の声の濾過周波数特性を持つフィルタ処理を施した後、音量レベルを検知する。ＣＰＵ１０１又は音声処理部１１１は、音声信号を解析する音声解析手段として機能する。
【００８８】
図６（２）は、検知された音量レベル６０２を示す。縦軸は音量レベルを示し、横軸は時間を示す。音声処理部１１１は、音量レベル６０２を示すデータ（検知レベルデータ）をメモリ１０３に書き込む。ＣＰＵ１０１は、メモリ１０３に書き込まれた検知レベル６０２に対して、閾値超えタイマ計測処理を実行する。具体的には、ＣＰＵ１０１は、検知レベル６０２が閾値Ｔｈを超えたら計時を開始し、所定時間で計時を停止し、Ｔｈ未満になると計時値（カウント値）をクリアする。図６（３）は、閾値超えタイマ計測処理で得られるカウント値６０３の変化例を示す。縦軸はカウント値、横軸は時間をそれぞれ示す。
【００８９】
また、ＣＰＵ１０１は、メモリ１０３に書き込まれた検知レベル６０２に対し閾値未満タイマ計測処理を実行する。具体的には、ＣＰＵ１０１は、メモリ１０３に書き込まれた検知レベル６０２が閾値Ｔｈ未満になると、計時を開始し、所定時間で計測を停止し、閾値Ｔｈを超えると、計時値（カウント値）をクリアする。図６（４）は、閾値未満タイマ計測処理で得られるカウント値６０４の変化例を示す。縦軸はカウント値、横軸は時間をそれぞれ示す。
【００９０】
ＣＰＵ１０１は、閾値超えタイマカウント値６０３がＴｏｎ１を超えると録音推奨条件フラグを１とし、閾値未満タイマカウント値６０４がＴｏｆｆ１を超えると録音推奨条件フラグを０とする。図６（５）は、録音推奨条件フラグ６０５の変化例を示す。縦軸はフラグ値を示し、横軸は時間を示す。
【００９１】
Ｓ５２０において、ＣＰＵ１０１は、検出したマイクＩＤの録音推奨条件フラグが１であるかどうかを判断し、１ならば処理をＳ５２１に移し、１でなければＳ５２３に処理を移す。
【００９２】
Ｓ５２１において、ＣＰＵ１０１は、録音推奨条件フラグが１であるマイクＩＤの音声を現在録音中かどうかを判断し、録音中ならば処理をＳ５２２に移し、録音中で無ければＳ５２４に処理を移す。すなわち、記録中か否かを示す記録状態に応じて、処理を分岐する
【００９３】
Ｓ５２２において、ＣＰＵ１０１は、録音中のマイクＩＤを今後表示するマイクＩＤに選択せず、Ｓ５２６に処理を移す。
【００９４】
Ｓ５２３において、ＣＰＵ１０１は、録音推奨条件フラグが０であるマイクＩＤの音声を現在録音中かどうかを判断し、録音中ならば処理をＳ５２４に移し、録音中でなければＳ５２５に処理を移す。すなわち、記録中か否かを示す記録状態に応じて、処理を分岐する。
【００９５】
Ｓ５２４において、ＣＰＵ１０１は、録音中でないマイクＩＤを今後表示するマイクＩＤに選択し、Ｓ５２６に処理を移す。
【００９６】
Ｓ５２５において、ＣＰＵ１０１は、録音中でないマイクＩＤを今後表示するマイクＩＤに選択せず、Ｓ５２６に処理を移す。
【００９７】
ステップＳ５１９〜Ｓ５２１、Ｓ５２３により、ＣＰＵ１０１は、所定時間以上継続して所定音量レベル以上の音声が検出されたか否かを判別している。
【００９８】
Ｓ５２６において、ＣＰＵ１０１は、今後表示するように選択したマイクＩＤの個数が所定数以下かどうかを判断し、以下ならば処理をＳ５２７に移し、以下でなければＳ５２８に処理を移す。
【００９９】
Ｓ５２７において、ＣＰＵ１０１は、今回検出されたマイクＩＤの全てについて表示／非表示の選択が完了したかどうかを判断し、完了していれば処理をＳ５２８に移し、完了していなければＳ５１９に処理を移す。
【０１００】
Ｓ５２８において、ＣＰＵ１０１は、今回のマイク選択処理で表示と選択したマイクＩＤを保存し、処理を終える。
【０１０１】
このように、録音推奨条件を満たしているマイクＩＤが非録音中の場合、記録オン操作できるように操作アイコンの表示を選択する。また、録音推奨条件を満たしていないマイクＩＤが録音中の場合、記録オフ操作できるように、操作アイコンの表示を選択する。録音推奨条件を満たしているマイクＩＤが既に録音中の場合、操作の必要が無いので、操作アイコンの非表示を選択する。録音推奨条件を満たしていない非録音中のマイクＩＤも操作の必要が無いので、操作アイコンの非表示を選択する。
【０１０２】
図７は、図４、図５Ａ及び図５Ｂに示すフローチャートに示す処理に対する操作部１０５とディスプレイ１０８を兼ねるタッチパネルの動作を視覚的に説明する模式図である。図８は、図７に示す模式図の動作状態を示すタイムチャートである。図７及び図８を参照して説明する動作は、ＣＰＵ１０１がハードディスク１０２に格納されたプログラムをメモリ１０３に展開して実行し、表示制御部１０４を制御することにより実現される。
【０１０３】
図７（１）に示す表示例では、３人の人物（被写体）７０１，７０２，７０３とマイク操作アイコン７０４，７０５が表示されている。これは、撮影視野内に人物（被写体）７０３がいる状態で人物７０１，７０２が新たに入った状況である。但し、この表示以前のマイク操作アイコンは非表示であり、検出から非検出へ変化した被写体は無く、検出を継続の被写体は無く、人物７０３が非検出を継続している。
【０１０４】
例えば、ステップＳ５０５における所定数を２とすると、マイク操作アイコンの最大表示数が２個となる。従って、ステップＳ５０５において表示するマイク操作アイコンとしては、人物７０１，７０２のマイクが選択される。
【０１０５】
図７（１）に示す表示例は、Ｓ４１０において、ＣＰＵ１０１が表示制御部１０４に送った、ディスプレイ１０８上にマイク操作アイコン７０４，７０５を撮影映像に重畳して表示する表示制御信号に相当する。
【０１０６】
ＣＰＵ１０１は、人物７０１に対応するマイク操作アイコン７０４がタッチされたのを検出すると、表示制御部１０４を制御して、図７（２）に示すような画面をディスプレイ１０８に表示させる。図７（２）に示す表示例は、人物７０１のマイク非録音状態であり、ＣＰＵ１０１は、人物７０１のマイクに対するマイク操作アイコンを、録音開始操作を指示する操作アイコン７０６に変更する。
【０１０７】
ＣＰＵ１０１は、マイク操作アイコン７０６がタッチされたのを検出すると、対応するマイクからの音声の録音を開始するように音声処理部１１１を制御する。他方、ＣＰＵ１０１は、所定時間経過してもマイク操作アイコン７０６がタッチされたのを検出できなければ、図７（１）に示す表示に戻す。
【０１０８】
図７（３）に示す表示例は、図７（１）に示す状態の後で、人物７０１のマイク音声を録音していながら、人物７０１，７０２が撮影視野から外れた状態を示す。人物７０１，７０２が検出から非検出に変化し、非検出から検出へ変化した被写体は無く、検出を継続の被写体は無く、被写体７０３は非検出を継続している。人物７０１のマイクからの音声を録音中なので、人物７０１が撮影視野から外れても、Ｓ５１４において表示中のマイク操作アイコン７０４が表示用に選択される。仮に、元々非録音の人物７０３が撮影視野から消えても、人物７０３に対応するマイク操作アイコンは、Ｓ５１４で表示用には選択されない。
【０１０９】
ＣＰＵ１０１は、図７（３）に示す状態でマイク操作アイコン７０４がタッチされたのを検出すると、図７（４）に示すような画面になるように表示制御部１０４を制御する。図７（４）は、図７（３）に示すマイク操作アイコン７０４を、録音停止を指示するマイク操作アイコン７０７に切り替えたものになっている。ＣＰＵ１０１は、図７（４）のマイク操作アイコン７０７がタッチされたのを検出すると、対応するマイクからの音声の録音を終了するように音声処理部１１１を制御する。また、所定時間経過してもマイク操作アイコン７０７がタッチされたのを検出しない場合、ＣＰＵ１０１は、図７（４）に示すマイク操作アイコン７０７から図７（３）に示すマイク操作アイコン７０４に戻す。
【０１１０】
図８（Ａ）は、図７（１）〜（３）に相当するタイムチャートを示す。横軸は時間である。（１）検出状態はマイクが検出されたか、されていないかの状態を示す。（２）録音状態はマイク録音有無の状態を示す。（３）解析状態はマイク音声解析結果の状態を示す。（４）表示状態はアイコン表示有無の状態を示す。
【０１１１】
タイミングＴ１までは、（１）検出状態が（１）−１、（１）−２のように非検出、（２）録音状態は（２）−１、（２）−２のように非録音、（３）解析状態は（３）−１、（３）−２のように非解析である。よって（４）表示状態は（４）−１、（４）−２のように非表示となる。
【０１１２】
タイミングＴ１から、（１）検出状態が（１）−１、（１）−２のようにＡ ＭＩＣ検出とＣ ＭＩＣ検出となる。最大表示数の２以下なので、（４）表示状態は（４）−１、（４）−２のようにＡ ＭＩＣ操作アイコンとＣ ＭＩＣ操作アイコン共に表示され始める。
【０１１３】
タイミングＴ２において、（３）解析状態が（３）−１、（３）−２のようにＡ ＭＩＣ録音推奨とＣ ＭＩＣ録音推奨となる。しかし、以前から表示しているので、（４）表示状態は（４）−１、（４）−２のようにＡ ＭＩＣ操作アイコンとＣ ＭＩＣ操作アイコン表示で維持される。
【０１１４】
タイミングＴ３において、（３）解析状態が（３）−１のようにＡ ＭＩＣ録音推奨である。しかし、利用者操作により（２）録音状態が（２）−１のようにＡ ＭＩＣ録音にされたので、（４）−１のようにＡ ＭＩＣ操作アイコンは表示されなくなる。（３）解析状態が（３）−２のようにＣ ＭＩＣ録音推奨であるのに（２）録音状態が（２）−２のようにＣ ＭＩＣ非録音のままなので、（４）表示状態は（４）−２のようにＣ ＭＩＣ操作アイコンは表示され続ける。
【０１１５】
タイミングＴ４において、（１）検出状態が（１）−２のようにＣ ＭＩＣ非検出となる。しかし、もともと（２）録音状態が（２）−２のようにＣ ＭＩＣ非録音なので、（３）解析状態は（３）−２のように解析を止めるだけとなる。また、（４）表示状態は（４）−２のようにＣ ＭＩＣ操作アイコンは表示されなくなる。
【０１１６】
タイミングＴ５において、（１）検出状態が（１）−１のようにＡ ＭＩＣ非検出となったのに、（２）録音状態が（２）−１のようにＡ ＭＩＣ録音を継続している。これにより、（３）解析状態は（３）−２のように解析をやめる一方、（４）表示状態は（４）−１のようにＡ ＭＩＣ操作アイコンが表示し続ける。
【０１１７】
図７（５）に示す表示例では、人物（被写体）７０１，７０２，７０９，７１０の検出を継続している。また、録音推奨条件フラグが１になっているのは人物７０１，７０９である。録音推奨条件フラグが０になっているのは被写体７０２，７１０であり、録音中なのは人物７０２，７０９である。
【０１１８】
例としてマイク操作アイコンの最大表示数を２個とすると、録音推奨条件フラグ１であるのに録音していない人物７０１のマイク操作アイコンは、Ｓ５２１において表示用に選択される。録音推奨条件フラグ０であるのに録音し続けている人物７０２のマイク操作アイコンは、Ｓ５２３において表示用に選択される。録音推奨条件フラグ１であって既に録音中で状況に変化が無い人物７０９のマイク操作アイコンは、Ｓ５２１において非表示に選択される。録音推奨条件フラグ０であるが、元々非録音で状況に変化が無い人物７１０のマイク操作アイコンは、Ｓ５２３において非表示に選択される。
【０１１９】
図７（５）に示す画面は、ＣＰＵ１０１がディスプレイ１０８上に選択結果に応じてマイク操作アイコン７０４，７０５を表示するような表示制御信号を表示制御部１０４に送ることで実現される。
【０１２０】
ＣＰＵ１０１は、図７（５）に示す画面でマイク操作アイコン７０４がタッチされたのを検出すると、図７（６）に示す画面になるように表示制御部１０４を制御する。また、ＣＰＵ１０１は、図７（５）に示す画面でマイク操作アイコン７０５がタッチされたのを検出すると、図７（７）に示す画面になるように表示制御部１０４を制御する。
【０１２１】
図７（６）に示す画面は、録音推奨状態であるのに録音をしていない例である。すなわち、ＣＰＵ１０１は、ディスプレイ１０８上にマイク操作アイコン７０６を表示する表示制御信号を表示制御部１０４に送り、マイク操作アイコン７０４，７０５が録音開始を指示する操作アイコン７０６に切り替えられる。
【０１２２】
ＣＰＵ１０１は、図７（６）に示す画面でマイク操作アイコン７０６がタッチされたのを検出すると、対応するマイクからの音声の録音を開始するように音声処理部１１１を制御する。ＣＰＵ１０１は、所定時間経過しても、図７（６）に示す画面のマイク操作アイコン７０６がタッチされたのを検出できなければ、図７（５）に示す表示状態に戻す。
【０１２３】
図７（７）に示す画面は、録音非推奨状態なのに録音し続けている例である。すなわち、ＣＰＵ１０１は、ディスプレイ１０８上にマイク操作アイコン７１１を表示する表示制御信号を表示制御部１０４に送り、マイク操作アイコン７０４，７０５が録音終了を指示する操作アイコンに切り替えられる。
【０１２４】
ＣＰＵ１０１は、図７（７）に示す画面のマイク操作アイコン７１１がタッチされたのを検出すると、対応するマイクからの音声の録音を終了するように音声処理部１１１を制御する。ＣＰＵ１０１は、所定時間経過しても、マイク操作アイコン７１１がタッチされたのを検出できなければ、図７（５）に示す表示状態に戻す。
【０１２５】
図８（Ｂ）は、図７（５）に示す画面のタイミング付近に相当するタイムチャートを示す。横軸は時間である。
【０１２６】
タイミングＴ６までは、（１）検出状態として、（１）−１、（１）−２、（１）−３、（１）−４のようにＡ ＭＩＣ、Ｃ ＭＩＣ、Ｄ ＭＩＣ、Ｅ ＭＩＣと４つのマイクが検出されている。（２）録音状態として、（２）−１、（２）−３のように、Ａ ＭＩＣとＥＭＩＣは非録音、（２）−２、（２）−３のようにＣ ＭＩＣとＤ ＭＩＣは録音している。（３）解析状態として、（３）−１、（３）−３のようにＡ ＭＩＣとＤ ＭＩＣは録音推奨状態、（３）−２、（３）−４のようにＣ ＭＩＣとＥ ＭＩＣは非録音推奨状態である。従って（４）表示状態として、（４）−１、（４）−２のようにＡ ＭＩＣとＣ ＭＩＣは表示、Ｄ ＭＩＣとＥ ＭＩＣは表示していない。
【０１２７】
タイミングＴ６において、（１）検出状態は変化していない。しかし、利用者操作により、（２）録音状態が（２）−１のようにＡ ＭＩＣ録音にされて（３）解析状態は（３）−１のようにＡ ＭＩＣ録音推奨状態のままである。従って、（４）表示状態は（４）−１のようにＡ ＭＩＣ操作アイコンは表示されなくなる。
【０１２８】
タイミングＴ７において、（１）検出状態が変化していないが、利用者操作により（２）録音状態が（２）−２のようにＣ ＭＩＣ非録音とされ、（３）解析状態は（３）−２のようにＣ ＭＩＣ非録音推奨状態のままである。従って、（４）表示状態は（４）−２のようにＣ ＭＩＣ操作アイコンは表示されなくなる。
【０１２９】
図５Ａ及び図５Ｂに示すフローチャートでは、音声解析結果のみで表示アイコンを選択している。しかし、図３に示すように個人認証データベース上で優先順位を付けておき、音声解析結果と優先順位の高さを条件として絞り込むことも可能である。
【０１３０】
図９は、通信品質順位例を示す。通信装置１０７が通信エラー発生回数をカウントし、ＣＰＵ１０１の制御に基づき、図９に示すような通信品質順位表が、メモリ１０３へ書き込まれる。
【０１３１】
図５Ａ及び図５Ｂに示すフローチャートでは、音声解析結果のみで表示アイコンを選択している。しかし、図９に示すように、通信エラー発生回数により通信品質順位を付けておき、音声解析結果と通信品質順位の高さを条件として絞り込むことも可能である。
【０１３２】
図１０は、マイク毎の録音時間の順序付け例を示す。付加情報として映像と共に記録するためにマイク毎の録音時間が、ＣＰＵ１０１の制御に基づき、図１０に示すような表としてメモリ１０３に書き込まれる。
【０１３３】
図５Ａ及び図５Ｂに示すフローチャートでは、音声解析結果のみで表示アイコンを選択している。しかし、図１０に示すように、マイク毎の録音時間として順位を付けておき、音声解析結果と録音機会が少ない順を条件として絞り込むことも可能である。
【０１３４】
図１１は、図５Ａ及び図５Ｂに示すフローチャートの表示条件と結果の分類表を示す。マイク検出状態、マイク検出数、マイク録音状態、及び、音声解析結果による録音推奨／非推奨により、表示の有無が決定される。
【０１３５】
ＣＰＵ１０１は、操作アイコン表示のための上記条件に加えて、予め設定した個人毎の優先度、個人毎の記録済み時間の長短順、個人毎の音声取得品質の優劣順、及び個人毎の登場の新旧順の何れか１以上を考慮しても良い。
【０１３６】
以上のように、本実施例では、ワイヤレスマイク等により得られた音声信号を示す操作アイコンを、音声が所定時間、所定音量条件を継続するという条件を満たすときに表示するようにした。これにより、画面に不必要なアイコンが表示され被写体自体を見にくくしてしまう可能性を低減できる。本実施例の制御はまた、タッチパネル操作に限らず、ジョグキー操作でマイク操作する場合にも有効である。
【実施例２】
【０１３７】
映像再生時に、複数の記録済みの音声の中から被写体検出結果と音声解析結果に基づいて選択的に音声操作アイコンを表示し、アイコン操作により音声を選択的に再生する実施例を説明する。
【０１３８】
実施例１と同様に図３に示すような個人認証データベースを持つとする。すなわち、特徴データＸ１である人は人物Ａであり、人物ＡならばＩＤ１のマイクを装着している。特徴データＸ２である人は人物Ｂであり、人物Ｂならばマイクを装着していないことが判断できる。これにより、再生映像中に特定個人の顔があるかどうかを個人認証すれば、特定のワイヤレスマイクＩＤを持つマイクが装着されていたかどうかが判断できる。
【０１３９】
再生中に表示するべき操作アイコンを表示制御するＣＰＵ１０１における処理は、図４に示すフローチャート同様である。図１２Ａ及び図１２Ｂは、図４のＳ４０９において、ＣＰＵ１０１が行う、再生中に表示が必要なマイクＩＤの選択処理の詳細フローチャートである。
【０１４０】
Ｓ１２０１において、ＣＰＵ１０１は、前回以前の選択処理で表示と選択され、現在既に表示中のマイク操作アイコンのマイクＩＤを取得し、Ｓ１２０２に処理を移す。
【０１４１】
Ｓ１２０２において、ＣＰＵ１０１は、今回検出した選択処理対象のマイクＩＤを取得し、Ｓ１２０３に処理を移す。
【０１４２】
Ｓ１２０３において、ＣＰＵ１０１は、今回、選択処理対象のマイクＩＤが検出されているかどうかを判断し、いれば処理をＳ１２１０に移し、いなければＳ１２０４に処理を移す。
【０１４３】
Ｓ１２０４において、ＣＰＵ１０１は、現在既にマイク操作アイコンを表示中かどうか判断し、表示していれば処理をＳ１２０５に移し、なければＳ１２０９に処理を移す。
【０１４４】
Ｓ１２０５において、ＣＰＵ１０１は、現在表示中のマイク操作アイコンのマイクＩＤの音声は再生中かどうかを判断し、再生中ならば処理をＳ１２０６に移し、なければＳ１２０７に処理を移す。ここで再生中とは音声出力中を意味する。すなわち、ＣＰＵ１０１によってドライブ装置１０６から読みとられて伸長処理されてメモリ１０３に書き込んでいることを指すのではない。再生中は、伸長処理されてメモリ１０３に書き込まれている再生音声データを音声処理部１１１がＣＰＵ１０１によって他のマイク音とミキシングし、スピーカ（不図示）に出力していることを指す。他方、再生していない状態とは、ＣＰＵ１０１によってドライブ装置１０６から読みとられて伸長処理されてメモリ１０３へ書き込んでいないことを指すのではない。伸長処理されてメモリ１０３へ書き込まれている再生音声データを音声処理部１１１がＣＰＵ１０１によって他のマイク音とミキシングせず、そのマイク音声がスピーカ（不図示）に出力されていないことを指す。
【０１４５】
Ｓ１２０６において、ＣＰＵ１０１は、再生中のマイクＩＤを今後も表示するマイクＩＤに選択し、Ｓ１２０８に処理を移す。
【０１４６】
Ｓ１２０７において、ＣＰＵ１０１は、再生中にないマイクＩＤを今後表示するマイクＩＤに選択せず、Ｓ１２０８に処理を移す。
【０１４７】
Ｓ１２０８において、ＣＰＵ１０１は、現在既に表示中の全マイク操作アイコンのマイクＩＤについて表示／非表示の選択が完了したかどうかを判断する。完了していれば処理をＳ１２０９に移し、完了していなければＳ１２０５に処理を移す。
【０１４８】
Ｓ１２０９において、ＣＰＵ１０１は、今回のマイク選択処理で表示と選択したマイクＩＤを保存し、処理を終える。
【０１４９】
このように今まで操作アイコンを表示していたが画角外へ消えたマイクＩＤの音が現在再生中なら再生オフ操作できるように表示用に選択する。他方、非再生中なら、消えただけなので、非表示に選択する。
【０１５０】
Ｓ１２１０において、ＣＰＵ１０１は、現在既にマイク操作アイコンを表示中かどうか判断し、していれば処理をＳ１２１１に移し、していなければＳ１２１７に処理を移す。
【０１５１】
Ｓ１２１１において、ＣＰＵ１０１は、Ｓ１２０１，Ｓ１２０２で取得したマイクＩＤから現在既に表示中で今回検出されないマイクＩＤ、即ち被写体が消失したマイクＩＤを抽出し、Ｓ１２１２に処理を移す。
【０１５２】
Ｓ１２１２において、ＣＰＵ１０１は、現在表示中で今回検出されない消失マイクＩＤの音声が再生中かどうかを判断し、再生中ならば処理をＳ１２１３に移し、再生中でなければＳ１２１４に処理を移す。
【０１５３】
Ｓ１２１３において、ＣＰＵ１０１は、再生中のマイクＩＤを今後も表示するマイクＩＤに選択し、Ｓ１２１５に処理を移す。
【０１５４】
Ｓ１２１４において、ＣＰＵ１０１は、再生中でないマイクＩＤを今後表示するマイクＩＤに選択せず、Ｓ１２１５に処理を移す。
【０１５５】
Ｓ１２１５において、ＣＰＵ１０１は、表示と選択したマイクＩＤの個数が所定数以下かどうかを判断する。所定数以下ならば、処理をＳ１２１６へ移し、以下でなければＳ１２２６に処理を移す。
【０１５６】
Ｓ１２１６において、ＣＰＵ１０１は、現在表示中で今回検出されない全消失マイクＩＤについて表示／非表示の選択が終わったかどうか判断し、終わっていれば処理をＳ１２１７に移し、終わっていなければＳ１２１２に処理を移す。
【０１５７】
このように今まで操作アイコンを表示していたが画角外へ消えた被写体に相当するマイクＩＤの音声が現在再生中の場合、再生オフ操作できるように表示を選択する。他方、非再生中の場合、消えただけなので、非表示を選択する。
【０１５８】
Ｓ１２１７において、ＣＰＵ１０１は、検出したマイクＩＤの記録済み音声の音声解析を行い、Ｓ１２１８に処理を移す。
【０１５９】
図１３は図１２ＢのＳ１２１７においてＣＰＵ１０１が行う記録済み音声の音声解析の説明に使う模式図である。
【０１６０】
図１３（１）は、メモリ１０３に書き込まれるマイクＩＤ１のマイク再生音声データのマイク再生レベル１３０１の変化例を示す。縦軸は音量レベルを示し、横軸は時間を示す。音声処理部１１１は、メモリ１０３に書き込まれるマイク再生音声のマイク再生レベル１３０１を人の声の濾過周波数特性を持つフィルタ処理を施した後、音量レベルを検知する。ＣＰＵ１０１又は音声処理部１１１は、音声信号を解析する音声解析手段として機能する。
【０１６１】
図１３（２）は、検知された再生音量レベル１３０２を示す。縦軸は音量レベルを示し、横軸は時間を示す。音声処理部１１１は、音量レベル１３０２を示すデータ（検知レベルデータ）をメモリ１０３に書き込む。ＣＰＵ１０１は、メモリ１０３に記憶される検知レベル１３０２に対して、閾値超えタイマ計測処理を実行する。具体的には、ＣＰＵ１０１は、検知レベル１３０２が閾値Ｔｈを超えたら計時を開始し、所定時間で計時を停止し、Ｔｈ未満になると計時値（カウント値）をクリアする。図１３（３）は、閾値超えタイマ計測処理で得られるカウント値１３０３の変化例を示す。縦軸はカウント値、横軸は時間をそれぞれ示す。
【０１６２】
また、ＣＰＵ１０１は、メモリ１０３に書き込まれた検知レベル１３０２に対し閾値未満タイマ計測処理を実行する。具体的には、ＣＰＵ１０１は、メモリ１０３に書き込まれた検知レベル１３０２が閾値Ｔｈ未満になると、計時を開始し、所定時間で計測を停止し、閾値Ｔｈを超えると、計時値（カウント値）をクリアする。図１３（４）は、閾値未満タイマ計測処理で得られるカウント値１３０４の変化例を示す。縦軸はカウント値、横軸は時間をそれぞれ示す。
【０１６３】
ＣＰＵ１０１は、閾値超えタイマカウント値１３０３がＴｏｎ１を超えると録音推奨条件フラグを１とし、閾値未満タイマカウント値１３０４がＴｏｆｆ１を超えると録音推奨条件フラグを０とする。図１３（５）は、録音推奨条件フラグ１３０５の変化例を示す。縦軸はフラグ値を示し、横軸は時間を示す。
【０１６４】
Ｓ１２１８において、ＣＰＵ１０１は、検出したマイクＩＤの再生推奨条件フラグが１であるかどうかを判断し、１ならば処理をＳ１２１９に移し、１でなければＳ１２２１に処理を移す。
【０１６５】
Ｓ１２１９において、ＣＰＵ１０１は、再生推奨条件フラグが１とされた検出したマイクＩＤの音声が現在、再生中かどうかを判断し、再生中ならば処理をＳ１２２０に移し、再生中でなければＳ１２２２に処理を移す。
【０１６６】
Ｓ１２２０において、ＣＰＵ１０１は、再生中のマイクＩＤを今後の表示用に選択せず、Ｓ１２２４に処理を移す。
【０１６７】
Ｓ１２２２において、ＣＰＵ１０１は、再生中でないマイクＩＤを今後の表示用に選択し、Ｓ１２２４に処理を移す。
【０１６８】
Ｓ１２２１において、ＣＰＵ１０１は、再生推奨条件フラグが０とされた検出マイクＩＤの音声が現在、再生中かどうかを判断し、再生中ならば処理をＳ１２２２へ移し、再生中でなければＳ１２２３に処理を移す。
【０１６９】
Ｓ１２２２において、ＣＰＵ１０１は、再生中のマイクＩＤを今後の表示用に選択し、Ｓ１２２４に処理を移す。
【０１７０】
Ｓ１２２３において、ＣＰＵ１０１は、再生中でないマイクＩＤを今後の表示用に選択せず、Ｓ１２２４に処理を移す。
【０１７１】
ステップＳ１２１７〜Ｓ１２１９、Ｓ１２２１により、ＣＰＵ１０１は、所定時間以上継続して所定音量レベル以上の音声が検出されたか否かを判別している。
【０１７２】
Ｓ１２２４において、ＣＰＵ１０１は、今後の表示用に選択したマイクＩＤの個数が所定数以下かどうかを判断し、以下ならば処理をＳ１２２５に移し、以下でなければＳ１２２６に処理を移す。
【０１７３】
Ｓ１２２５において、ＣＰＵ１０１は、検出マイクＩＤの全てについて表示／非表示の選択が完了したかどうかを判断し、完了していれば処理をＳ１２２６に移し、完了していなければＳ１２１７に処理を移す。
【０１７４】
Ｓ１２２６において、ＣＰＵ１０１は、今回のマイク選択処理で表示すると選択したマイクＩＤを保存し、処理を終える。
【０１７５】
このように、再生推奨条件を満たしているマイクＩＤの音声が非再生中なら再生オン操作できるように、表示用に選択する。他方、再生推奨条件を満たしていないマイクＩＤの音声が再生中なら、再生オフ操作できるように、今後表示するように選択する。
【０１７６】
再生推奨条件を満たしているマイクＩＤの音声が既に再生中の場合、操作の必要が無いので、今後表示を消すように選択する。他方、再生推奨条件を満たしていない非再生中のマイクＩＤの音声は、操作の必要が無いので、今後表示を消すように選択する。
【０１７７】
図１４は、図１２Ａ及び図１２Ｂに示すフローチャートの表示条件と結果の分類表を示す。マイク検出状態、マイク再生状態、及び、音声解析結果による再生推奨／非推奨の条件に従い、表示の有無が決定される。
【０１７８】
図１５（Ａ）は、図４、図１２Ａ及び図１２Ｂのフローチャートを実施した時の操作部１０５とディスプレイ１０８を兼ねるタッチパネルの動作イメージ図、図１５（Ｂ）はその動作状態を示したタイムチャートである。
【０１７９】
図１５（Ａ）（１）は、ディスプレイ１０８の画面例を示す。この画面例では、人物（被写体）１５０１，１５０２，１５０９，１５１０のマイク装着の検出を継続になっている。再生推奨条件フラグが１になっているのは人物（被写体）１５０１，１５０９である。再生推奨条件フラグが０になっているのは人物（被写体）１５０２，１５１０である。再生中なのは人物（被写体）１５０２，１５０９の音声である。
【０１８０】
例としてマイク操作アイコンの最大表示数を２個とすると、再生推奨条件フラグ１であるのに音声を再生していない人物１５０１のマイク操作アイコンが、Ｓ１２１９において表示用に選択される。再生推奨条件フラグ０であるのに音声を再生し続けている人物１５０２のマイク操作アイコンは、Ｓ１２２１において表示用に選択される。再生推奨条件フラグ１であって既に再生中で状況に変化が無い人物（被写体）１５０９のマイク操作アイコンは、Ｓ１２１９において非表示に選択される。再生推奨条件フラグ０であるが、元々非再生で状況に変化が無い人物（被写体）１５１０のマイク操作アイコンは、Ｓ１２２１において非表示に選択される。
【０１８１】
図１５（Ａ）（１）では、人物１５０１のマイク操作アイコン１５０４と、人物１５０３のマイク操作アイコン１５０５が表示されている。この画面は、ＣＰＵ１０１がディスプレイ１０８上に選択結果に応じてマイク操作アイコン１５０４，１５０５を表示するような表示制御信号を表示制御部１０４に送ることで実現される。
【０１８２】
ＣＰＵ１０１は、図１５（Ａ）（１）に示す画面でマイク操作アイコン１５０４がタッチされたのを検出すると、図１５（Ａ）（２）に示す画面になるように表示制御部１０４を制御する。ＣＰＵ１０１はまた、図１５（Ａ）（１）に示す画面でマイク操作アイコン１５０５がタッチされたのを検出すると、図１５（Ａ）（３）に示す画面になるように表示制御部１０４を制御する。
【０１８３】
図１５（Ａ）（２）は、人物１５０１（人物Ａ）の音声が非再生状態の画面例を示す。ＣＰＵ１０１がディスプレイ１０８上にマイク操作アイコン１５０６を表示するような表示制御信号を表示制御部１０４に送り、マイク操作アイコン１５０４，１５０５が、再生開始を指示するマイク操作アイコン１５０６に切り替えられる。
【０１８４】
ＣＰＵ１０１は、マイク操作アイコン１５０６がタッチされたのを検出すると、対応するマイクの音声の再生を開始するように音声処理部１１１を制御する。ＣＰＵ１０１は、所定時間経過しても、マイク操作アイコン１５０６がタッチされたのを検出できなければ、図１５（Ａ）（１）に示す表示状態に戻す。
【０１８５】
図１５（Ａ）（３）は、再生推奨状態にないのに人物１５０１（人物Ａ）の音声を再生し続けているときの画面例を示す。ＣＰＵ１０１がディスプレイ１０８上にマイク操作アイコン１５１１を表示するような表示制御信号を表示制御部１０４に送り、マイク操作アイコン１５０４，１５０５が、再生終了を指示するマイク操作アイコン１５１１に切り替えられる。
【０１８６】
ＣＰＵ１０１は、マイク操作アイコン１５１１がタッチされたのを検出すると、対応する音声の再生を終了するように音声処理部１１１を制御する。ＣＰＵ１０１は、所定時間経過しても、マイク操作アイコン１５１１がタッチされたのを検出できない場合、図１５（Ａ）（１）に示す表示状態に戻す。
【０１８７】
図１５（Ｂ）は、図１５（Ａ）（１）に示す画面のタイミング付近に相当するタイムチャートを示す。横軸は時間である。
【０１８８】
タイミングＴ１までは、（１）検出状態として、（１）−１、（１）−２、（１）−３、（１）−４のようにＡ ＭＩＣ、Ｃ ＭＩＣ、Ｄ ＭＩＣ及びＥ ＭＩＣの４つのマイク音声が検出されている。なお、撮影時に全チャンネル分の音声が画像ファイルと関連付けた個別ファイルとして記録済みである。再生時には、個別に音声状態の解析と、再生のオン／オフを指示できる。
【０１８９】
（２）再生状態として、各チャンネル別に（２）−１、（２）−３のようにＡ ＭＩＣとＥ ＭＩＣは非再生であり、（２）−２、（２）−３のようにＣ ＭＩＣとＤ ＭＩＣは再生中である。
【０１９０】
（３）解析状態として、（３）−１、（３）−３のようにＡ ＭＩＣとＤ ＭＩＣは再生推奨状態であり、（３）−２、（３）−４のようにＣ ＭＩＣとＥ ＭＩＣは非再生推奨状態である。
【０１９１】
従って、（４）表示状態として、（４）−１、（４）−２のようにＡ ＭＩＣとＣ ＭＩＣのマイク操作アイコンは表示され、Ｄ ＭＩＣとＥ ＭＩＣのマイク操作アイコンは表示されない。
【０１９２】
タイミングＴ１において、（１）検出状態が変化していない。しかし、利用者操作により（２）再生状態が（２）−１のようにＡ ＭＩＣ再生に変更されて、（３）解析状態は（３）−１のようにＡ ＭＩＣ再生推奨状態のままである。これにより、（４）表示状態は（４）−１のようにＡ ＭＩＣ操作アイコンは表示されなくなる。
【０１９３】
タイミングＴ２において、（１）検出状態が変化していない。しかし、利用者操作により（２）再生状態が（２）−２のようにＣ ＭＩＣ非再生とされ、（３）解析状態は（３）−２のようにＣ ＭＩＣ非再生推奨状態のままである。これにより、（４）表示状態は（４）−２のようにＣ ＭＩＣ操作アイコンは表示されなくなる。
【０１９４】
図１６は、マイク毎の滞在時間の順位表の一例を示す。ＣＰＵ１０１は、画角内の被写体の検出時間をカウントし、図１６に示すような滞在時間の順位表をメモリ１０３に書き込む。図１２Ａ及び図１２Ｂに示すフローチャートでは、音声解析結果のみで操作アイコンを選択している。図１６に示すようにマイク毎の滞在時間として順位を付けておき、音声解析結果と滞在時間が短い順を条件としてなるべく新しい登場人物に絞り込むことも可能である。
【０１９５】
図１７は、画面内での位置に応じて操作アイコン表示数を設定するエリア別表示数制限の概念図である。図１２Ａ及び図１２Ｂに示すフローチャートでは、画面全体でマイク操作アイコン表示数を所定数に制限している。しかし、図１７に示すように、マイクが検出される画角内の位置に応じて左右エリアは１個ずつ、中央は２個といったような制限を加えることも可能である。
【０１９６】
ＣＰＵ１０１は、操作アイコン表示のための上記条件に加えて、予め設定した個人毎の優先度、個人毎の記録済み時間の長短順、個人毎の音声取得品質の優劣順、及び個人毎の登場の新旧順の何れか１以上を考慮しても良い。
【０１９７】
以上の説明から容易に理解できるように，本実施例では、音声信号が所定時間、所定音量条件を継続するという条件を満たすときに、追加と解除可能な音声信号の存在を示すアイコンを選択的に表示する。これにより、画面が不必要なアイコンの表示により見にくくなってしまう可能性を低減できる。
【０１９８】
カメラの再生操作例を説明したが、パソコンやテレビに組み込まれる再生装置に適用可能である。
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像表示装置に画像と当該画像に関連する音声の操作のためのアイコンとを表示させる画像処理に関する。
【背景技術】
【０００２】
従来、撮像装置のように撮像した画像を表示装置に表示することが知られている。これらの撮像装置には、マイクにより得られる周囲の音声を画像とともに記録する機能が搭載されている。音声入力手段としてわいやれるマイクも使用するようになった。
【０００３】
特許文献１には、被写体を表示する画面上にワイヤレスマイクを示すアイコンを表示し、当該アイコンを操作することにより、音声記録に使用するワイヤレスマイクを選択する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−０５４５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、ワイヤレスマイクが検出すると、無条件にアイコンを画面上に表示するようになっている。この結果、音声記録に使用するワイヤレスマイクのアイコンも、使用しないワイヤレスマイクのアイコンも、撮影中に常時表示されることになり、構図及び被写体を確認しづらくなってしまう。
【０００６】
本発明は、このような不都合を解消する画像処理装置を提示することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る表示画像処理装置は、画像信号を取得する画像取得手段と、前記画像信号に関連する複数の音声信号を取得する音声取得手段と、前記画像信号に基づく画像を表示装置に表示させる表示制御手段と、前記画像信号から特定被写体を検出する被写体検出手段と、前記音声信号を解析する音声解析手段と、前記複数の音声信号のうちの、選択した音声信号を記録する記録手段と、前記音声信号の解析結果及び記録状態並びに前記被写体検出手段の検出結果に応じて、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御する制御手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、たとえば、ワイヤレスマイク等により得られた音声信号を示すアイコンとして、必要である可能性の高いアイコンを優先して表示することができる。これにより、画面が不必要なアイコンの表示により見にくくなってしまう可能性を低減できる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る画像処理装置の一実施例の概略構成ブロック図を示す。
【図２】顔に関連付けてマイクを予め登録するＣＰＵ処理のフローチャートである。
【図３】個人認証データベースの模式図である。
【図４】表示すべき操作アイコンを表示制御するＣＰＵ処理のフローチャートである。
【図５Ａ】撮影中に表示するマイクの選択処理のフローチャートである。
【図５Ｂ】撮影中に表示するマイクの選択処理のフローチャートである。
【図６】音声解析処理の説明用模式図である。
【図７】タッチパネル上で見た動作説明図である。
【図８】図７で説明する動作状態を示すタイムチャートである。
【図９】通信品質順位例である。
【図１０】マイク毎の録音時間の順序付け例である。
【図１１】表示条件と結果の分類表である。
【図１２Ａ】再生中に表示するマイクの選択処理のフローチャートである。
【図１２Ｂ】再生中に表示するマイクの選択処理のフローチャートである。
【図１３】記録済み音声の音声解析の説明用模式図である。
【図１４】表示条件と結果の分類表である。
【図１５】タッチパネル上で見た動作説明の画面例とタイムチャートである。
【図１６】マイク毎の滞在時間の順位表の一例である。
【図１７】画面内での位置に応じて操作アイコン表示数を設定するエリア別表示数制限の概念図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１１】
図１は、本発明に係る画像処理装置の一実施例の概略構成ブロック図を示す。撮像装置１００に本発明に係る画像処理装置の一実施例が組み込まれているが、一般的な情報処理装置（例えば、パーソナルコンピュータ、携帯電話、スマートフォンなど）にも組み込み可能である。
【００１２】
内部バス１０９に、ＣＰＵ１０１、ハードディスク（ＨＤＤ）１０２、メモリ１０３、表示制御部１０４、操作部１０５、ドライブ装置１０６、通信装置１０７、映像処理部１１０、音声処理部１１１及び撮像部１２０が接続する。内部バス１０９に接続される各部は、内部バス１０９を介して互いにデータのやりとりを行うことができる。
【００１３】
ハードディスク１０２には、顔検出パターンデータ、個人認証データベース、映像音声データ、その他のデータ、及びＣＰＵ１０１が動作するための各種プログラムなどが格納される。ハードディスク１０２の代わりに、不揮発性の記録媒体であればどのようなものであっても良い。顔検出パターンデータとは、顔検出のパターンマッチングに使うデータである。顔検出については後述する。個人認証データベースとは、検出した顔に対して人物認証を行う特徴データが登録されているデータベースである。個人認証については後述する。
【００１４】
メモリ１０３は、例えばＲＡＭからなる。表示制御手段、変更手段および音声解析手段としてのＣＰＵ１０１は、例えばハードディスク１０２に格納されるプログラムに従い、メモリ１０３をワークメモリとして用いて、撮像装置１００の各部を制御する。ＣＰＵ１０１上で動作するプログラムは、ハードディスク１０２に格納されるのに限られず、例えば図示されないＲＯＭに予め記憶しておいてもよい。
【００１５】
操作部１０５は、使用者の操作を受け付け、操作に応じた制御信号を生成し、ＣＰＵ１０１に供給する。例えば、操作部１０５は、使用者の操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイス、及び、マウスやタッチパネルといったポインティングデバイスなどを有する。タッチパネルは、例えば平面的に構成された操作部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
【００１６】
ＣＰＵ１０１は、入力デバイスに対してなされた使用者の操作に応じて操作部１０５で生成され供給される制御信号に基づき、プログラムに従い、撮像装置１００の各部を制御する。これにより、ＣＰＵ１０１は、撮像装置１００に対し、使用者の操作に応じた動作を行わせることができる。
【００１７】
表示制御部１０４は、ディスプレイ１０８に画像を表示させるための表示信号を出力する。例えば、ＣＰＵ１０１は、プログラムに従い生成した表示制御信号を表示制御部１０４に供給する。表示制御部１０４は、ＣＰＵ１０１からの表示制御信号に基づき表示信号を生成してディスプレイ１０８に出力する。
【００１８】
例えば、表示制御部１０４は、ＣＰＵ１０１が生成する表示制御信号に基づき、ＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面をディスプレイ１０８に表示させる。
【００１９】
操作部１０５としてタッチパネルを用いる場合、操作部１０５とディスプレイ１０８とを一体的に構成することができる。例えば、タッチパネルを光の透過率がディスプレイ１０８の表示を妨げないように構成し、ディスプレイ１０８の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、ディスプレイ１０８上の表示座標とを対応付ける。これにより、恰も使用者がディスプレイ１０８上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。
【００２０】
操作部１０５がタッチパネルである場合、ＣＰＵ１０１は、タッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れる操作を、以下、タッチダウンと称する。タッチパネルを指やペンで触れている状態であることを、以下、タッチオンと称する。タッチパネルを指やペンで触れたまま移動することを、以下、ムーブと称する。タッチパネルへ触れていた指やペンを離したことを、以下、タッチアップと称する。タッチパネルに何も触れていない状態を、以下、タッチオフと称する。
【００２１】
これらの操作と、タッチパネル上に指やペンが触れている位置座標は、内部バス１０９を通じて、ＣＰＵ１０１に通知され、ＣＰＵ１０１は、通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。
【００２２】
ムーブについては、タッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。タッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されると、フリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。
【００２３】
ドライブ装置１０６は、ＣＤやＤＶＤといったディスク状の外部記憶媒体（不図示）を駆動する装置である。ドライブ装置１０６は、ＣＰＵ１０１の制御に基づき、装着された外部記憶媒体にデータを読み書きする。ドライブ装置１０６の代わりに、例えばメモリカードなどの不揮発性半導体メモリを接続するインターフェース又は接続装置を用いても良い。
【００２４】
通信装置１０７は、ＣＰＵ１０１の制御に基づき、ワイヤレスマイク（不図示）との通信を行い、ワイヤレスマイクが取り込んだ音声を示す音声データ（以下、マイク音声データという）をマイクＩＤ付きで受信する。ＣＰＵ１０１の制御に基づき、通信装置１０７は、受信したマイク音声データを音声処理部１１１に転送し、受信したマイクＩＤはメモリ１０３に書き込む。通信装置１０７は、通信エラー発生回数をカウントし、ＣＰＵ１０１の制御に基づき、所定時間当たりのエラー発生回数を通信品質としてメモリ１０３に書き込む。ワイヤレスマイク及び通信装置１０７は、撮像部１２０による撮影画像に関連する複数の音声信号を取得する音声取得手段として機能する。
【００２５】
撮像部１２０は画像取得手段として機能し、被写体を撮像し、画像信号を出力する。映像処理部１１０は、撮影時には、ＣＰＵ１０１の制御に基づき、撮像部１２０により得られる画像信号からなる動画信号をデジタルデータに変換し、メモリ１０３に書き込む。再生時には、映像処理部１１０は、ＣＰＵ１０１の制御に基づき、ドライブ装置１０６から動画データを再生してメモリ１０３に書き込む。
【００２６】
音声処理部１１１は、撮影時には、ＣＰＵ１０１の制御に基づき、マイク音声データをデジタルデータへ変換し、メモリ１０３へ書き込む。再生時には、音声処理部１１１は、ＣＰＵ１０１の制御に基づき、ドライブ装置１０６からマイク音声データを再生し、メモリ１０３へ書き込む。
【００２７】
撮影時および再生時に、音声処理部１１１は、ＣＰＵ１０１の制御に基づき、所定の濾過周波数特性を持つフィルタ処理を施した後で、マイク音声データの示す音声のレベルの検知を行う。音声処理部１１１は、検知した音声レベルを示すデータをメモリ１０３に書き込む。
【００２８】
撮像装置１００は、２種類の音声記録方法を利用できる。第１の方法では、音声処理部１１１は、ＣＰＵ１０１の制御に基づき、操作部１０５で任意に選択した複数マイクのマイク音声を合成し、合成音声データをメモリ１０３に書き込む。撮影時には、ＣＰＵ１０１は、メモリ１０３に書き込まれた画像データ、選択されたマイク音声データ、及びマイク毎の録音時間等の付加情報等のデジタルデータを、必要により圧縮処理して、ドライブ装置１０６に記録する。
【００２９】
第２の方法では、音声処理部１１１は、ＣＰＵ１０１の制御に基づき、受信した複数のマイク音声を別々のままメモリ１０３に書き込む。撮影時には、ＣＰＵ１０１は、メモリ１０３に書き込まれた画像データ、複数のマイク音声データ及びマイク毎の録音時間等の付加情報等のデジタルデータを、必要により圧縮処理して、ドライブ装置１０６に記録する。
【００３０】
撮影画像の圧縮記録処理と並行に、ＣＰＵ１０１は、メモリ１０３に書き込まれた画像データを最適なサイズにリサイズ処理し、操作アイコンと顔枠等を重畳した表示制御信号を生成する。表示制御部１０４は、表示制御信号に従い、撮影画像に操作アイコンと顔枠等を重畳してディスプレイ１０８に表示させる。これにより、撮影者は、リアルタイムで撮影画像と、認識された顔及びその位置とを視覚的に確認でき、操作アイコンによる操作を行える。
【００３１】
複数のマイク音声と付加情報等のデジタルデータは、撮影画像からなる動画データのメタデータに関連付けて記録される。再生時には、メタデータによって動画に同期したマイク音声データを検出でき、再生できる。
【００３２】
ワイヤレスマイクを被写体人物に関連付けている場合、再生画像データから顔検出して個人認証することにより、マイクＩＤを判別でき、判別したマイクＩＤとメタデータからどのマイク音声データを解析すべきかも判別できる。
【００３３】
再生時には、ＣＰＵ１０１は、ドライブ装置１０６から記録データ（画像、音声及び付加情報等）を読み出し、必要により伸長処理して、メモリ１０３に書き込む。すなわち、ＣＰＵは、画像信号を取得する画像取得手段として機能し、更には、画像信号に関連する複数の音声信号を取得する音声取得手段として機能する。再生時の伸長処理と並行に、ＣＰＵ１０１は、メモリ１０３に書き込まれた再生画像データを最適なサイズにリサイズ処理し、操作アイコンと顔枠等を重畳した表示制御信号を生成する。表示制御部１０４は、表示制御信号に従い、再生画像に操作アイコンと顔枠等を重畳してディスプレイ１０８に表示させる。これにより、撮影者は、再生画像を鑑賞しつつ、認識された顔及びその位置を視覚的に確認でき、操作アイコンによる操作を行える。
【００３４】
ＣＰＵ１０１は、メモリ１０３の画像データに顔検出を行い、顔検出結果をメモリ１０３に書きこむ。顔検出には、パターンマッチング等の公知の顔検出技術を適用できる。顔検出の結果は、例えば、画角内の座標及びサイズからなる。ＣＰＵ１０１は、検出した顔画像をハードディスク１０２に記憶されている個人認証データベースと照合し、結果をメモリ１０３に書きこむ。この照合には、公知の顔認証技術を用いることができる。個人認証結果は、例えば、顔認識の類似度を示すデータからなる。顔以外の指定物体等の特定被写体を検出して特徴データを抽出する技術を使用することで、顔以外の指定物体の有無を検出できる。顔に限らず、特徴のパターンマッチング等の公知の物体認証を用いることで、形状が既知の特定物体の物体認証も行うことができる。
【００３５】
本実施例の特徴的な動作を説明する。本実施例では、認識されているわいやれるマイク中、被写体検出結果と音声解析結果に基づいて決定した１又は複数のマイクに対応するマイク操作アイコンを表示する。ユーザは、表示されたマイク操作アイコンを操作して、記録に使用するマイクを選択する。
【００３６】
操作部１０５又は不図示のリモートコントローラによりユーザが撮像装置１００の電源を入れると、不図示の電源部が、撮像装置１００の各部に電源を供給する。電源を入れてから記録開始する前に、顔に関連付けてマイクを予め登録しておく。図２は、顔に関連付けてマイクを予め登録するＣＰＵ１０１の処理のフローチャートである。図３は、個人認証データベースの模式図である。図２に示すフローチャートにおける各処理は、ＣＰＵ１０１がハードディスク１０２に格納されたプログラムをメモリ１０３に展開して実行することにより実現される。
【００３７】
Ｓ２０１において、ＣＰＵ１０１は、ハードディスク１０２に記録されている以前に登録した既存マイク登録情報を初期化して、Ｓ２０２に処理を移す。
【００３８】
Ｓ２０２において、ＣＰＵ１０１は、登録したいワイヤレスマイクの送信を開始するように案内を表示する表示制御信号を表示制御部１０４に送り、Ｓ２０３に処理を移す。
【００３９】
Ｓ２０３において、ＣＰＵ１０１は、マイクＩＤを受信したかどうかを判断し、受信していれば処理をＳ２０４に移し、受信していなければＳ２０３に処理を移す。無線方式としてＢｌｕｅｔｏｏｔｈ（登録商標）を使用する場合、認証が行われるので、通信相手を特定できる。マイクＩＤは、特定したマイクに割り付ける識別情報を示す。
【００４０】
Ｓ２０４において、ＣＰＵ１０１は、受信したマイクＩＤと装着者とを対応付けるために、装着者の顔の撮影と確定を案内する表示の表示制御信号を表示制御部１０４に送り、Ｓ２０５に処理を移す。
【００４１】
Ｓ２０５において、ＣＰＵ１０１は、確定操作された撮影画像に唯一つの顔を検出したかどうかを判断し、検出していれば処理をＳ２０６に移し、検出していなければＳ２０４に処理を移す。
【００４２】
Ｓ２０６において、ＣＰＵ１０１は、検出された顔と個人認証データベースとの照合を行う個人認証処理を行い、Ｓ２０７に処理を移す。
【００４３】
Ｓ２０７において、ＣＰＵ１０１は、個人認証処理の結果、装着者の顔が既に特定個人の顔として個人認証データベースに登録済みであるかどうかを判断する。そして、登録されていれば処理をＳ２０９に移し、登録されていなければＳ２０８に処理を移す。
【００４４】
Ｓ２０６，Ｓ２０７により、ＣＰＵ１０１は、画像信号から特定被写体を検出する被写体検出手段として機能する。
【００４５】
Ｓ２０８において、ＣＰＵ１０１は、装着者の顔を新たに特定個人の顔として個人認証データベースに追加登録し、Ｓ２０９に処理を移す。
【００４６】
Ｓ２０９において、ＣＰＵ１０１は、個人認証データベースにマイク装着情報を追加し、Ｓ２１０に処理を移す。
【００４７】
図３に示す例では、特徴データＸ１である人は人物Ａであり、人物ＡはＩＤ１のマイクを装着している。特徴データＸ２である人は人物Ｂであり、人物Ｂはマイクを装着していない。このように画像中の人物の顔を個人認証することで、マイクが装着されている場合のマイクＩＤを特定できる。
【００４８】
Ｓ２１０において、ＣＰＵ１０１は、他の登録したいワイヤレスマイク送信を開始するように案内を表示させる表示制御信号を表示制御部１０４に送り、Ｓ２１１に処理を移す。
【００４９】
Ｓ２１１において、ＣＰＵ１０１は、待ち時間を計るタイマ（不図示）を開始して、Ｓ２１２に処理を移す。
【００５０】
Ｓ２１２において、ＣＰＵ１０１は、他のマイクＩＤを受信したかどうかを判断し、受信していれば処理をＳ２０４に移し、受信していなければＳ２１３に処理を移す。
【００５１】
Ｓ２１３において、ＣＰＵ１０１は、Ｓ２１１で設定したタイマがタイムアウトであるかどうかを判断し、タイムアウトであれば処理を終了し、タイムアウトでなければＳ２１２に処理を移す。
【００５２】
以上のように、顔を検出して個人認証が出来る場合に、その人物が装着しているマイクを特定するデータベースを準備できる。顔に限らず、予め登録してある特定の物体として物体認証をすることで、画像内の物体に対するマイクの装着を検出出来る。例えば、ワイヤレスマイクそのものにマイク自体を特定するための模様や文字などが付加しても良い。また、ワイヤレスマイク自体に可視光外の光を発光する発光素子を備え、それぞれのワイヤレスマイクの発光素子がワイヤレスマイクを識別するためのパターン発光を行うようにしても良い。
【００５３】
図４は、表示すべき操作アイコンを表示制御するＣＰＵ１０１の処理のフローチャートである。
【００５４】
Ｓ４０１において、ＣＰＵ１０１は、顔検出結果を読み込み、Ｓ４０２に処理を移す。
【００５５】
Ｓ４０２において、ＣＰＵ１０１は、検出結果にある顔と個人認証データベースとの照合を行う個人認証処理を行い、Ｓ４０３に処理を移す。
【００５６】
Ｓ４０３において、ＣＰＵ１０１は、検出結果にある顔に対し全て個人認証処理が終わったかどうかを判断し、終わっていれば処理をＳ４０４に移し、終わっていなければＳ４０２に処理を移す。
【００５７】
Ｓ４０４において、ＣＰＵ１０１は、マイク検出数を初期化して、Ｓ４０５に処理を移す。
【００５８】
Ｓ４０５において、ＣＰＵ１０１は、個人認証データベースを読みこみ、Ｓ４０６に処理を移す。
【００５９】
Ｓ４０６において、ＣＰＵ１０１は、検出された顔が個人認証データベースでマイク装着と登録されているかどうかを判断し、マイク装着と登録されていれば処理をＳ４０７に移し、登録されていなければＳ４０８に処理を移す。
【００６０】
Ｓ４０７において、ＣＰＵ１０１は、個人認証データベースからマイクＩＤを取得し、Ｓ４０８に処理を移す。
【００６１】
Ｓ４０８において、ＣＰＵ１０１は、個人認証済み顔全員分のマイク検出処理が終わったかどうかを判断し、終わっていれば処理をＳ４０９に移し、終わっていなければＳ４０５に処理を移す。
【００６２】
Ｓ４０９において、ＣＰＵ１０１は、表示が必要なマイクＩＤの選択処理を行い、Ｓ４１０に処理を移す。
【００６３】
Ｓ４１０において、ＣＰＵ１０１は、表示が必要であると選択されたマイクＩＤの操作アイコンを表示する表示制御信号を表示制御部１０４に送り、処理を終える。
【００６４】
図５Ａ及び図５Ｂは、図４のステップＳ４０９における、撮影中に表示が必要なマイクＩＤの選択処理の詳細なフローチャートである。
【００６５】
Ｓ５０１において、ＣＰＵ１０１は、前回以前の選択処理で表示すると選択されて、現在既に表示中のマイク操作アイコンのマイクＩＤを取得し、Ｓ５０２に処理を移す。
【００６６】
Ｓ５０２において、ＣＰＵ１０１は、今回検出した選択処理対象のマイクＩＤを取得し、Ｓ５０３に処理を移す。
【００６７】
Ｓ５０３において、ＣＰＵ１０１は、今回、選択処理対象のマイクＩＤが検出されているかどうかを判断し、いれば処理をＳ５０４に移し、いなければＳ５０８に処理を移す。
【００６８】
Ｓ５０４において、ＣＰＵ１０１は、現在既にマイク操作アイコンを表示中かどうかを判断する。表示していれば処理をＳ５１３に移し、表示していなければＳ５０５に処理を移す。
【００６９】
Ｓ５０５において、ＣＰＵ１０１は、今回検出した選択処理対象のマイクＩＤの検出個数が所定数以下かどうかを判断し、以下ならば処理をＳ５０６に移し、以下でなければＳ５１９に処理を移す。
【００７０】
Ｓ５０６において、ＣＰＵ１０１は、今回検出した選択処理対象のマイクＩＤを今後表示するマイクＩＤに全て選択し、Ｓ５０７に処理を移す。
【００７１】
Ｓ５０７において、ＣＰＵ１０１は、今回のマイク選択処理で表示すると選択したマイクＩＤを保存し、処理を終える。
【００７２】
このように、今まで操作アイコンを表示していなかった状態から新たに画角内に検出されたマイク本数が所定本数以下なら、全部の操作アイコンが、表示するように選択される。
【００７３】
Ｓ５０８において、ＣＰＵ１０１は、現在既にマイク操作アイコンを表示中のマイクＩＤがあるかどうか判断し、あれば処理をＳ５０９に移し、なければＳ５０７に処理を移す。
【００７４】
Ｓ５０９において、ＣＰＵ１０１は、現在既に表示中のマイク操作アイコンのマイクＩＤが既に録音中かどうかを判断し、既に録音中ならば処理をＳ５１０に移し、なければＳ５１１に処理を移す。ここで、録音中とは、ＣＰＵ１０１がマイク音声データを圧縮処理しているか、又は、生成された圧縮データをドライブ装置１０６に記録している最中であることを指す。ステップＳ５０９では、記録中か否かを示す記録状態に応じて、処理を分岐していることになる。
【００７５】
Ｓ５１０において、ＣＰＵ１０１は、録音中のマイクＩＤを今後も表示するマイクＩＤに選択し、Ｓ５１２に処理を移す。
【００７６】
Ｓ５１１において、ＣＰＵ１０１は、録音中にないマイクＩＤを今後表示するマイクＩＤに選択せず、Ｓ５１２に処理を移す。
【００７７】
Ｓ５１２において、ＣＰＵ１０１は、現在既に表示中のマイク操作アイコンのマイクＩＤについて全て表示するか否かの選択が完了したかどうか判断する。ＣＰＵ１０１は、完了していれば処理をＳ５０７に移し、完了していなければＳ５０９に処理を移す。
【００７８】
このように、今まで操作アイコンを表示していたが画角外へ消えたマイクのマイク音が現在も録音中なら、記録オフ操作が可能なように、今後も表示するように選択する。他方、非録音中の場合、消えただけなので、今後、表示を消すように選択する。すなわち、記録中か否かを示す記録状態に応じて、表示／非表示を選択する。
【００７９】
Ｓ５１３において、ＣＰＵ１０１は、Ｓ５０１とＳ５０２で取得したマイクＩＤの中から現在既に表示中だが今回検出されないマイクＩＤ、即ち撮影視野から消失した被写体に関連付けられたマイクＩＤを抽出し、Ｓ５１４に処理を移す。
【００８０】
Ｓ５１４において、ＣＰＵ１０１は、現在表示中で今回検出されない消失マイクＩＤは録音中かどうかを判断し、録音中ならば処理をＳ５１５に移し、なければＳ５１６に処理を移す。すなわち、記録中か否かを示す記録状態に応じて、処理を分岐する。
【００８１】
Ｓ５１５において、ＣＰＵ１０１は、録音中のマイクＩＤを今後も表示するマイクＩＤに選択し、Ｓ５１７に処理を移す。
【００８２】
Ｓ５１６において、ＣＰＵ１０１は、録音中にないマイクＩＤを今後表示するマイクＩＤに選択せず、Ｓ５１７に処理を移す。
【００８３】
Ｓ５１７において、ＣＰＵ１０１は、今後表示するように選択したマイクＩＤの個数が所定数以下かどうかを判断し、以下ならば処理をＳ５１８に移し、以下でなければＳ５２８に処理を移す。
【００８４】
Ｓ５１８において、ＣＰＵ１０１は、現在表示中で今回検出されない全消失マイクＩＤについて表示／非表示の選択が完了したかどうか判断し、完了していれば処理をＳ５１９に移し、完了していなければＳ５１４に処理を移す。
【００８５】
このように、今まで操作アイコンを表示していたが画角外へ消えた被写体に対応するマイクＩＤのマイク音声が現在録音中なら、記録オフ操作できるように、今後表示するように選択する。他方、非録音中なら、消えただけなので、今後表示を消すように選択する。すなわち、記録中か否かを示す記録状態に応じて、表示／非表示を選択する。
【００８６】
Ｓ５１９において、ＣＰＵ１０１は、検出されたマイクＩＤの音声解析を行い、Ｓ５２０に処理を移す。図６は、図５ＢのＳ５１９でＣＰＵ１０１が行う音声解析の説明用模式図を示す。
【００８７】
図６（１）は、メモリ１０３に書き込まれるマイクＩＤ１のマイク音声データのマイク入力レベル６０１の変化例を示す。縦軸は音量レベルを示し、横軸は時間を示す。音声処理部１１１は、メモリ１０３に書き込まれるマイク音声のマイク入力レベル６０１を人の声の濾過周波数特性を持つフィルタ処理を施した後、音量レベルを検知する。ＣＰＵ１０１又は音声処理部１１１は、音声信号を解析する音声解析手段として機能する。
【００８８】
図６（２）は、検知された音量レベル６０２を示す。縦軸は音量レベルを示し、横軸は時間を示す。音声処理部１１１は、音量レベル６０２を示すデータ（検知レベルデータ）をメモリ１０３に書き込む。ＣＰＵ１０１は、メモリ１０３に書き込まれた検知レベル６０２に対して、閾値超えタイマ計測処理を実行する。具体的には、ＣＰＵ１０１は、検知レベル６０２が閾値Ｔｈを超えたら計時を開始し、所定時間で計時を停止し、Ｔｈ未満になると計時値（カウント値）をクリアする。図６（３）は、閾値超えタイマ計測処理で得られるカウント値６０３の変化例を示す。縦軸はカウント値、横軸は時間をそれぞれ示す。
【００８９】
また、ＣＰＵ１０１は、メモリ１０３に書き込まれた検知レベル６０２に対し閾値未満タイマ計測処理を実行する。具体的には、ＣＰＵ１０１は、メモリ１０３に書き込まれた検知レベル６０２が閾値Ｔｈ未満になると、計時を開始し、所定時間で計測を停止し、閾値Ｔｈを超えると、計時値（カウント値）をクリアする。図６（４）は、閾値未満タイマ計測処理で得られるカウント値６０４の変化例を示す。縦軸はカウント値、横軸は時間をそれぞれ示す。
【００９０】
ＣＰＵ１０１は、閾値超えタイマカウント値６０３がＴｏｎ１を超えると録音推奨条件フラグを１とし、閾値未満タイマカウント値６０４がＴｏｆｆ１を超えると録音推奨条件フラグを０とする。図６（５）は、録音推奨条件フラグ６０５の変化例を示す。縦軸はフラグ値を示し、横軸は時間を示す。
【００９１】
Ｓ５２０において、ＣＰＵ１０１は、検出したマイクＩＤの録音推奨条件フラグが１であるかどうかを判断し、１ならば処理をＳ５２１に移し、１でなければＳ５２３に処理を移す。
【００９２】
Ｓ５２１において、ＣＰＵ１０１は、録音推奨条件フラグが１であるマイクＩＤの音声を現在録音中かどうかを判断し、録音中ならば処理をＳ５２２に移し、録音中で無ければＳ５２４に処理を移す。すなわち、記録中か否かを示す記録状態に応じて、処理を分岐する
【００９３】
Ｓ５２２において、ＣＰＵ１０１は、録音中のマイクＩＤを今後表示するマイクＩＤに選択せず、Ｓ５２６に処理を移す。
【００９４】
Ｓ５２３において、ＣＰＵ１０１は、録音推奨条件フラグが０であるマイクＩＤの音声を現在録音中かどうかを判断し、録音中ならば処理をＳ５２４に移し、録音中でなければＳ５２５に処理を移す。すなわち、記録中か否かを示す記録状態に応じて、処理を分岐する。
【００９５】
Ｓ５２４において、ＣＰＵ１０１は、録音中でないマイクＩＤを今後表示するマイクＩＤに選択し、Ｓ５２６に処理を移す。
【００９６】
Ｓ５２５において、ＣＰＵ１０１は、録音中でないマイクＩＤを今後表示するマイクＩＤに選択せず、Ｓ５２６に処理を移す。
【００９７】
ステップＳ５１９〜Ｓ５２１、Ｓ５２３により、ＣＰＵ１０１は、所定時間以上継続して所定音量レベル以上の音声が検出されたか否かを判別している。
【００９８】
Ｓ５２６において、ＣＰＵ１０１は、今後表示するように選択したマイクＩＤの個数が所定数以下かどうかを判断し、以下ならば処理をＳ５２７に移し、以下でなければＳ５２８に処理を移す。
【００９９】
Ｓ５２７において、ＣＰＵ１０１は、今回検出されたマイクＩＤの全てについて表示／非表示の選択が完了したかどうかを判断し、完了していれば処理をＳ５２８に移し、完了していなければＳ５１９に処理を移す。
【０１００】
Ｓ５２８において、ＣＰＵ１０１は、今回のマイク選択処理で表示と選択したマイクＩＤを保存し、処理を終える。
【０１０１】
このように、録音推奨条件を満たしているマイクＩＤが非録音中の場合、記録オン操作できるように操作アイコンの表示を選択する。また、録音推奨条件を満たしていないマイクＩＤが録音中の場合、記録オフ操作できるように、操作アイコンの表示を選択する。録音推奨条件を満たしているマイクＩＤが既に録音中の場合、操作の必要が無いので、操作アイコンの非表示を選択する。録音推奨条件を満たしていない非録音中のマイクＩＤも操作の必要が無いので、操作アイコンの非表示を選択する。
【０１０２】
図７は、図４、図５Ａ及び図５Ｂに示すフローチャートに示す処理に対する操作部１０５とディスプレイ１０８を兼ねるタッチパネルの動作を視覚的に説明する模式図である。図８は、図７に示す模式図の動作状態を示すタイムチャートである。図７及び図８を参照して説明する動作は、ＣＰＵ１０１がハードディスク１０２に格納されたプログラムをメモリ１０３に展開して実行し、表示制御部１０４を制御することにより実現される。
【０１０３】
図７（１）に示す表示例では、３人の人物（被写体）７０１，７０２，７０３とマイク操作アイコン７０４，７０５が表示されている。これは、撮影視野内に人物（被写体）７０３がいる状態で人物７０１，７０２が新たに入った状況である。但し、この表示以前のマイク操作アイコンは非表示であり、検出から非検出へ変化した被写体は無く、検出を継続の被写体は無く、人物７０３が非検出を継続している。
【０１０４】
例えば、ステップＳ５０５における所定数を２とすると、マイク操作アイコンの最大表示数が２個となる。従って、ステップＳ５０５において表示するマイク操作アイコンとしては、人物７０１，７０２のマイクが選択される。
【０１０５】
図７（１）に示す表示例は、Ｓ４１０において、ＣＰＵ１０１が表示制御部１０４に送った、ディスプレイ１０８上にマイク操作アイコン７０４，７０５を撮影映像に重畳して表示する表示制御信号に相当する。
【０１０６】
ＣＰＵ１０１は、人物７０１に対応するマイク操作アイコン７０４がタッチされたのを検出すると、表示制御部１０４を制御して、図７（２）に示すような画面をディスプレイ１０８に表示させる。図７（２）に示す表示例は、人物７０１のマイク非録音状態であり、ＣＰＵ１０１は、人物７０１のマイクに対するマイク操作アイコンを、録音開始操作を指示する操作アイコン７０６に変更する。
【０１０７】
ＣＰＵ１０１は、マイク操作アイコン７０６がタッチされたのを検出すると、対応するマイクからの音声の録音を開始するように音声処理部１１１を制御する。他方、ＣＰＵ１０１は、所定時間経過してもマイク操作アイコン７０６がタッチされたのを検出できなければ、図７（１）に示す表示に戻す。
【０１０８】
図７（３）に示す表示例は、図７（１）に示す状態の後で、人物７０１のマイク音声を録音していながら、人物７０１，７０２が撮影視野から外れた状態を示す。人物７０１，７０２が検出から非検出に変化し、非検出から検出へ変化した被写体は無く、検出を継続の被写体は無く、被写体７０３は非検出を継続している。人物７０１のマイクからの音声を録音中なので、人物７０１が撮影視野から外れても、Ｓ５１４において表示中のマイク操作アイコン７０４が表示用に選択される。仮に、元々非録音の人物７０３が撮影視野から消えても、人物７０３に対応するマイク操作アイコンは、Ｓ５１４で表示用には選択されない。
【０１０９】
ＣＰＵ１０１は、図７（３）に示す状態でマイク操作アイコン７０４がタッチされたのを検出すると、図７（４）に示すような画面になるように表示制御部１０４を制御する。図７（４）は、図７（３）に示すマイク操作アイコン７０４を、録音停止を指示するマイク操作アイコン７０７に切り替えたものになっている。ＣＰＵ１０１は、図７（４）のマイク操作アイコン７０７がタッチされたのを検出すると、対応するマイクからの音声の録音を終了するように音声処理部１１１を制御する。また、所定時間経過してもマイク操作アイコン７０７がタッチされたのを検出しない場合、ＣＰＵ１０１は、図７（４）に示すマイク操作アイコン７０７から図７（３）に示すマイク操作アイコン７０４に戻す。
【０１１０】
図８（Ａ）は、図７（１）〜（３）に相当するタイムチャートを示す。横軸は時間である。（１）検出状態はマイクが検出されたか、されていないかの状態を示す。（２）録音状態はマイク録音有無の状態を示す。（３）解析状態はマイク音声解析結果の状態を示す。（４）表示状態はアイコン表示有無の状態を示す。
【０１１１】
タイミングＴ１までは、（１）検出状態が（１）−１、（１）−２のように非検出、（２）録音状態は（２）−１、（２）−２のように非録音、（３）解析状態は（３）−１、（３）−２のように非解析である。よって（４）表示状態は（４）−１、（４）−２のように非表示となる。
【０１１２】
タイミングＴ１から、（１）検出状態が（１）−１、（１）−２のようにＡ ＭＩＣ検出とＣ ＭＩＣ検出となる。最大表示数の２以下なので、（４）表示状態は（４）−１、（４）−２のようにＡ ＭＩＣ操作アイコンとＣ ＭＩＣ操作アイコン共に表示され始める。
【０１１３】
タイミングＴ２において、（３）解析状態が（３）−１、（３）−２のようにＡ ＭＩＣ録音推奨とＣ ＭＩＣ録音推奨となる。しかし、以前から表示しているので、（４）表示状態は（４）−１、（４）−２のようにＡ ＭＩＣ操作アイコンとＣ ＭＩＣ操作アイコン表示で維持される。
【０１１４】
タイミングＴ３において、（３）解析状態が（３）−１のようにＡ ＭＩＣ録音推奨である。しかし、利用者操作により（２）録音状態が（２）−１のようにＡ ＭＩＣ録音にされたので、（４）−１のようにＡ ＭＩＣ操作アイコンは表示されなくなる。（３）解析状態が（３）−２のようにＣ ＭＩＣ録音推奨であるのに（２）録音状態が（２）−２のようにＣ ＭＩＣ非録音のままなので、（４）表示状態は（４）−２のようにＣ ＭＩＣ操作アイコンは表示され続ける。
【０１１５】
タイミングＴ４において、（１）検出状態が（１）−２のようにＣ ＭＩＣ非検出となる。しかし、もともと（２）録音状態が（２）−２のようにＣ ＭＩＣ非録音なので、（３）解析状態は（３）−２のように解析を止めるだけとなる。また、（４）表示状態は（４）−２のようにＣ ＭＩＣ操作アイコンは表示されなくなる。
【０１１６】
タイミングＴ５において、（１）検出状態が（１）−１のようにＡ ＭＩＣ非検出となったのに、（２）録音状態が（２）−１のようにＡ ＭＩＣ録音を継続している。これにより、（３）解析状態は（３）−２のように解析をやめる一方、（４）表示状態は（４）−１のようにＡ ＭＩＣ操作アイコンが表示し続ける。
【０１１７】
図７（５）に示す表示例では、人物（被写体）７０１，７０２，７０９，７１０の検出を継続している。また、録音推奨条件フラグが１になっているのは人物７０１，７０９である。録音推奨条件フラグが０になっているのは被写体７０２，７１０であり、録音中なのは人物７０２，７０９である。
【０１１８】
例としてマイク操作アイコンの最大表示数を２個とすると、録音推奨条件フラグ１であるのに録音していない人物７０１のマイク操作アイコンは、Ｓ５２１において表示用に選択される。録音推奨条件フラグ０であるのに録音し続けている人物７０２のマイク操作アイコンは、Ｓ５２３において表示用に選択される。録音推奨条件フラグ１であって既に録音中で状況に変化が無い人物７０９のマイク操作アイコンは、Ｓ５２１において非表示に選択される。録音推奨条件フラグ０であるが、元々非録音で状況に変化が無い人物７１０のマイク操作アイコンは、Ｓ５２３において非表示に選択される。
【０１１９】
図７（５）に示す画面は、ＣＰＵ１０１がディスプレイ１０８上に選択結果に応じてマイク操作アイコン７０４，７０５を表示するような表示制御信号を表示制御部１０４に送ることで実現される。
【０１２０】
ＣＰＵ１０１は、図７（５）に示す画面でマイク操作アイコン７０４がタッチされたのを検出すると、図７（６）に示す画面になるように表示制御部１０４を制御する。また、ＣＰＵ１０１は、図７（５）に示す画面でマイク操作アイコン７０５がタッチされたのを検出すると、図７（７）に示す画面になるように表示制御部１０４を制御する。
【０１２１】
図７（６）に示す画面は、録音推奨状態であるのに録音をしていない例である。すなわち、ＣＰＵ１０１は、ディスプレイ１０８上にマイク操作アイコン７０６を表示する表示制御信号を表示制御部１０４に送り、マイク操作アイコン７０４，７０５が録音開始を指示する操作アイコン７０６に切り替えられる。
【０１２２】
ＣＰＵ１０１は、図７（６）に示す画面でマイク操作アイコン７０６がタッチされたのを検出すると、対応するマイクからの音声の録音を開始するように音声処理部１１１を制御する。ＣＰＵ１０１は、所定時間経過しても、図７（６）に示す画面のマイク操作アイコン７０６がタッチされたのを検出できなければ、図７（５）に示す表示状態に戻す。
【０１２３】
図７（７）に示す画面は、録音非推奨状態なのに録音し続けている例である。すなわち、ＣＰＵ１０１は、ディスプレイ１０８上にマイク操作アイコン７１１を表示する表示制御信号を表示制御部１０４に送り、マイク操作アイコン７０４，７０５が録音終了を指示する操作アイコンに切り替えられる。
【０１２４】
ＣＰＵ１０１は、図７（７）に示す画面のマイク操作アイコン７１１がタッチされたのを検出すると、対応するマイクからの音声の録音を終了するように音声処理部１１１を制御する。ＣＰＵ１０１は、所定時間経過しても、マイク操作アイコン７１１がタッチされたのを検出できなければ、図７（５）に示す表示状態に戻す。
【０１２５】
図８（Ｂ）は、図７（５）に示す画面のタイミング付近に相当するタイムチャートを示す。横軸は時間である。
【０１２６】
タイミングＴ６までは、（１）検出状態として、（１）−１、（１）−２、（１）−３、（１）−４のようにＡ ＭＩＣ、Ｃ ＭＩＣ、Ｄ ＭＩＣ、Ｅ ＭＩＣと４つのマイクが検出されている。（２）録音状態として、（２）−１、（２）−３のように、Ａ ＭＩＣとＥＭＩＣは非録音、（２）−２、（２）−３のようにＣ ＭＩＣとＤ ＭＩＣは録音している。（３）解析状態として、（３）−１、（３）−３のようにＡ ＭＩＣとＤ ＭＩＣは録音推奨状態、（３）−２、（３）−４のようにＣ ＭＩＣとＥ ＭＩＣは非録音推奨状態である。従って（４）表示状態として、（４）−１、（４）−２のようにＡ ＭＩＣとＣ ＭＩＣは表示、Ｄ ＭＩＣとＥ ＭＩＣは表示していない。
【０１２７】
タイミングＴ６において、（１）検出状態は変化していない。しかし、利用者操作により、（２）録音状態が（２）−１のようにＡ ＭＩＣ録音にされて（３）解析状態は（３）−１のようにＡ ＭＩＣ録音推奨状態のままである。従って、（４）表示状態は（４）−１のようにＡ ＭＩＣ操作アイコンは表示されなくなる。
【０１２８】
タイミングＴ７において、（１）検出状態が変化していないが、利用者操作により（２）録音状態が（２）−２のようにＣ ＭＩＣ非録音とされ、（３）解析状態は（３）−２のようにＣ ＭＩＣ非録音推奨状態のままである。従って、（４）表示状態は（４）−２のようにＣ ＭＩＣ操作アイコンは表示されなくなる。
【０１２９】
図５Ａ及び図５Ｂに示すフローチャートでは、音声解析結果のみで表示アイコンを選択している。しかし、図３に示すように個人認証データベース上で優先順位を付けておき、音声解析結果と優先順位の高さを条件として絞り込むことも可能である。
【０１３０】
図９は、通信品質順位例を示す。通信装置１０７が通信エラー発生回数をカウントし、ＣＰＵ１０１の制御に基づき、図９に示すような通信品質順位表が、メモリ１０３へ書き込まれる。
【０１３１】
図５Ａ及び図５Ｂに示すフローチャートでは、音声解析結果のみで表示アイコンを選択している。しかし、図９に示すように、通信エラー発生回数により通信品質順位を付けておき、音声解析結果と通信品質順位の高さを条件として絞り込むことも可能である。
【０１３２】
図１０は、マイク毎の録音時間の順序付け例を示す。付加情報として映像と共に記録するためにマイク毎の録音時間が、ＣＰＵ１０１の制御に基づき、図１０に示すような表としてメモリ１０３に書き込まれる。
【０１３３】
図５Ａ及び図５Ｂに示すフローチャートでは、音声解析結果のみで表示アイコンを選択している。しかし、図１０に示すように、マイク毎の録音時間として順位を付けておき、音声解析結果と録音機会が少ない順を条件として絞り込むことも可能である。
【０１３４】
図１１は、図５Ａ及び図５Ｂに示すフローチャートの表示条件と結果の分類表を示す。マイク検出状態、マイク検出数、マイク録音状態、及び、音声解析結果による録音推奨／非推奨により、表示の有無が決定される。
【０１３５】
ＣＰＵ１０１は、操作アイコン表示のための上記条件に加えて、予め設定した個人毎の優先度、個人毎の記録済み時間の長短順、個人毎の音声取得品質の優劣順、及び個人毎の登場の新旧順の何れか１以上を考慮しても良い。
【０１３６】
以上のように、本実施例では、ワイヤレスマイク等により得られた音声信号を示す操作アイコンを、音声が所定時間、所定音量条件を継続するという条件を満たすときに表示するようにした。これにより、画面に不必要なアイコンが表示され被写体自体を見にくくしてしまう可能性を低減できる。本実施例の制御はまた、タッチパネル操作に限らず、ジョグキー操作でマイク操作する場合にも有効である。
【実施例２】
【０１３７】
映像再生時に、複数の記録済みの音声の中から被写体検出結果と音声解析結果に基づいて選択的に音声操作アイコンを表示し、アイコン操作により音声を選択的に再生する実施例を説明する。
【０１３８】
実施例１と同様に図３に示すような個人認証データベースを持つとする。すなわち、特徴データＸ１である人は人物Ａであり、人物ＡならばＩＤ１のマイクを装着している。特徴データＸ２である人は人物Ｂであり、人物Ｂならばマイクを装着していないことが判断できる。これにより、再生映像中に特定個人の顔があるかどうかを個人認証すれば、特定のワイヤレスマイクＩＤを持つマイクが装着されていたかどうかが判断できる。
【０１３９】
再生中に表示するべき操作アイコンを表示制御するＣＰＵ１０１における処理は、図４に示すフローチャート同様である。図１２Ａ及び図１２Ｂは、図４のＳ４０９において、ＣＰＵ１０１が行う、再生中に表示が必要なマイクＩＤの選択処理の詳細フローチャートである。
【０１４０】
Ｓ１２０１において、ＣＰＵ１０１は、前回以前の選択処理で表示と選択され、現在既に表示中のマイク操作アイコンのマイクＩＤを取得し、Ｓ１２０２に処理を移す。
【０１４１】
Ｓ１２０２において、ＣＰＵ１０１は、今回検出した選択処理対象のマイクＩＤを取得し、Ｓ１２０３に処理を移す。
【０１４２】
Ｓ１２０３において、ＣＰＵ１０１は、今回、選択処理対象のマイクＩＤが検出されているかどうかを判断し、いれば処理をＳ１２１０に移し、いなければＳ１２０４に処理を移す。
【０１４３】
Ｓ１２０４において、ＣＰＵ１０１は、現在既にマイク操作アイコンを表示中かどうか判断し、表示していれば処理をＳ１２０５に移し、なければＳ１２０９に処理を移す。
【０１４４】
Ｓ１２０５において、ＣＰＵ１０１は、現在表示中のマイク操作アイコンのマイクＩＤの音声は再生中かどうかを判断し、再生中ならば処理をＳ１２０６に移し、なければＳ１２０７に処理を移す。ここで再生中とは音声出力中を意味する。すなわち、ＣＰＵ１０１によってドライブ装置１０６から読みとられて伸長処理されてメモリ１０３に書き込んでいることを指すのではない。再生中は、伸長処理されてメモリ１０３に書き込まれている再生音声データを音声処理部１１１がＣＰＵ１０１によって他のマイク音とミキシングし、スピーカ（不図示）に出力していることを指す。他方、再生していない状態とは、ＣＰＵ１０１によってドライブ装置１０６から読みとられて伸長処理されてメモリ１０３へ書き込んでいないことを指すのではない。伸長処理されてメモリ１０３へ書き込まれている再生音声データを音声処理部１１１がＣＰＵ１０１によって他のマイク音とミキシングせず、そのマイク音声がスピーカ（不図示）に出力されていないことを指す。
【０１４５】
Ｓ１２０６において、ＣＰＵ１０１は、再生中のマイクＩＤを今後も表示するマイクＩＤに選択し、Ｓ１２０８に処理を移す。
【０１４６】
Ｓ１２０７において、ＣＰＵ１０１は、再生中にないマイクＩＤを今後表示するマイクＩＤに選択せず、Ｓ１２０８に処理を移す。
【０１４７】
Ｓ１２０８において、ＣＰＵ１０１は、現在既に表示中の全マイク操作アイコンのマイクＩＤについて表示／非表示の選択が完了したかどうかを判断する。完了していれば処理をＳ１２０９に移し、完了していなければＳ１２０５に処理を移す。
【０１４８】
Ｓ１２０９において、ＣＰＵ１０１は、今回のマイク選択処理で表示と選択したマイクＩＤを保存し、処理を終える。
【０１４９】
このように今まで操作アイコンを表示していたが画角外へ消えたマイクＩＤの音が現在再生中なら再生オフ操作できるように表示用に選択する。他方、非再生中なら、消えただけなので、非表示に選択する。
【０１５０】
Ｓ１２１０において、ＣＰＵ１０１は、現在既にマイク操作アイコンを表示中かどうか判断し、していれば処理をＳ１２１１に移し、していなければＳ１２１７に処理を移す。
【０１５１】
Ｓ１２１１において、ＣＰＵ１０１は、Ｓ１２０１，Ｓ１２０２で取得したマイクＩＤから現在既に表示中で今回検出されないマイクＩＤ、即ち被写体が消失したマイクＩＤを抽出し、Ｓ１２１２に処理を移す。
【０１５２】
Ｓ１２１２において、ＣＰＵ１０１は、現在表示中で今回検出されない消失マイクＩＤの音声が再生中かどうかを判断し、再生中ならば処理をＳ１２１３に移し、再生中でなければＳ１２１４に処理を移す。
【０１５３】
Ｓ１２１３において、ＣＰＵ１０１は、再生中のマイクＩＤを今後も表示するマイクＩＤに選択し、Ｓ１２１５に処理を移す。
【０１５４】
Ｓ１２１４において、ＣＰＵ１０１は、再生中でないマイクＩＤを今後表示するマイクＩＤに選択せず、Ｓ１２１５に処理を移す。
【０１５５】
Ｓ１２１５において、ＣＰＵ１０１は、表示と選択したマイクＩＤの個数が所定数以下かどうかを判断する。所定数以下ならば、処理をＳ１２１６へ移し、以下でなければＳ１２２６に処理を移す。
【０１５６】
Ｓ１２１６において、ＣＰＵ１０１は、現在表示中で今回検出されない全消失マイクＩＤについて表示／非表示の選択が終わったかどうか判断し、終わっていれば処理をＳ１２１７に移し、終わっていなければＳ１２１２に処理を移す。
【０１５７】
このように今まで操作アイコンを表示していたが画角外へ消えた被写体に相当するマイクＩＤの音声が現在再生中の場合、再生オフ操作できるように表示を選択する。他方、非再生中の場合、消えただけなので、非表示を選択する。
【０１５８】
Ｓ１２１７において、ＣＰＵ１０１は、検出したマイクＩＤの記録済み音声の音声解析を行い、Ｓ１２１８に処理を移す。
【０１５９】
図１３は図１２ＢのＳ１２１７においてＣＰＵ１０１が行う記録済み音声の音声解析の説明に使う模式図である。
【０１６０】
図１３（１）は、メモリ１０３に書き込まれるマイクＩＤ１のマイク再生音声データのマイク再生レベル１３０１の変化例を示す。縦軸は音量レベルを示し、横軸は時間を示す。音声処理部１１１は、メモリ１０３に書き込まれるマイク再生音声のマイク再生レベル１３０１を人の声の濾過周波数特性を持つフィルタ処理を施した後、音量レベルを検知する。ＣＰＵ１０１又は音声処理部１１１は、音声信号を解析する音声解析手段として機能する。
【０１６１】
図１３（２）は、検知された再生音量レベル１３０２を示す。縦軸は音量レベルを示し、横軸は時間を示す。音声処理部１１１は、音量レベル１３０２を示すデータ（検知レベルデータ）をメモリ１０３に書き込む。ＣＰＵ１０１は、メモリ１０３に記憶される検知レベル１３０２に対して、閾値超えタイマ計測処理を実行する。具体的には、ＣＰＵ１０１は、検知レベル１３０２が閾値Ｔｈを超えたら計時を開始し、所定時間で計時を停止し、Ｔｈ未満になると計時値（カウント値）をクリアする。図１３（３）は、閾値超えタイマ計測処理で得られるカウント値１３０３の変化例を示す。縦軸はカウント値、横軸は時間をそれぞれ示す。
【０１６２】
また、ＣＰＵ１０１は、メモリ１０３に書き込まれた検知レベル１３０２に対し閾値未満タイマ計測処理を実行する。具体的には、ＣＰＵ１０１は、メモリ１０３に書き込まれた検知レベル１３０２が閾値Ｔｈ未満になると、計時を開始し、所定時間で計測を停止し、閾値Ｔｈを超えると、計時値（カウント値）をクリアする。図１３（４）は、閾値未満タイマ計測処理で得られるカウント値１３０４の変化例を示す。縦軸はカウント値、横軸は時間をそれぞれ示す。
【０１６３】
ＣＰＵ１０１は、閾値超えタイマカウント値１３０３がＴｏｎ１を超えると録音推奨条件フラグを１とし、閾値未満タイマカウント値１３０４がＴｏｆｆ１を超えると録音推奨条件フラグを０とする。図１３（５）は、録音推奨条件フラグ１３０５の変化例を示す。縦軸はフラグ値を示し、横軸は時間を示す。
【０１６４】
Ｓ１２１８において、ＣＰＵ１０１は、検出したマイクＩＤの再生推奨条件フラグが１であるかどうかを判断し、１ならば処理をＳ１２１９に移し、１でなければＳ１２２１に処理を移す。
【０１６５】
Ｓ１２１９において、ＣＰＵ１０１は、再生推奨条件フラグが１とされた検出したマイクＩＤの音声が現在、再生中かどうかを判断し、再生中ならば処理をＳ１２２０に移し、再生中でなければＳ１２２２に処理を移す。
【０１６６】
Ｓ１２２０において、ＣＰＵ１０１は、再生中のマイクＩＤを今後の表示用に選択せず、Ｓ１２２４に処理を移す。
【０１６７】
Ｓ１２２２において、ＣＰＵ１０１は、再生中でないマイクＩＤを今後の表示用に選択し、Ｓ１２２４に処理を移す。
【０１６８】
Ｓ１２２１において、ＣＰＵ１０１は、再生推奨条件フラグが０とされた検出マイクＩＤの音声が現在、再生中かどうかを判断し、再生中ならば処理をＳ１２２２へ移し、再生中でなければＳ１２２３に処理を移す。
【０１６９】
Ｓ１２２２において、ＣＰＵ１０１は、再生中のマイクＩＤを今後の表示用に選択し、Ｓ１２２４に処理を移す。
【０１７０】
Ｓ１２２３において、ＣＰＵ１０１は、再生中でないマイクＩＤを今後の表示用に選択せず、Ｓ１２２４に処理を移す。
【０１７１】
ステップＳ１２１７〜Ｓ１２１９、Ｓ１２２１により、ＣＰＵ１０１は、所定時間以上継続して所定音量レベル以上の音声が検出されたか否かを判別している。
【０１７２】
Ｓ１２２４において、ＣＰＵ１０１は、今後の表示用に選択したマイクＩＤの個数が所定数以下かどうかを判断し、以下ならば処理をＳ１２２５に移し、以下でなければＳ１２２６に処理を移す。
【０１７３】
Ｓ１２２５において、ＣＰＵ１０１は、検出マイクＩＤの全てについて表示／非表示の選択が完了したかどうかを判断し、完了していれば処理をＳ１２２６に移し、完了していなければＳ１２１７に処理を移す。
【０１７４】
Ｓ１２２６において、ＣＰＵ１０１は、今回のマイク選択処理で表示すると選択したマイクＩＤを保存し、処理を終える。
【０１７５】
このように、再生推奨条件を満たしているマイクＩＤの音声が非再生中なら再生オン操作できるように、表示用に選択する。他方、再生推奨条件を満たしていないマイクＩＤの音声が再生中なら、再生オフ操作できるように、今後表示するように選択する。
【０１７６】
再生推奨条件を満たしているマイクＩＤの音声が既に再生中の場合、操作の必要が無いので、今後表示を消すように選択する。他方、再生推奨条件を満たしていない非再生中のマイクＩＤの音声は、操作の必要が無いので、今後表示を消すように選択する。
【０１７７】
図１４は、図１２Ａ及び図１２Ｂに示すフローチャートの表示条件と結果の分類表を示す。マイク検出状態、マイク再生状態、及び、音声解析結果による再生推奨／非推奨の条件に従い、表示の有無が決定される。
【０１７８】
図１５（Ａ）は、図４、図１２Ａ及び図１２Ｂのフローチャートを実施した時の操作部１０５とディスプレイ１０８を兼ねるタッチパネルの動作イメージ図、図１５（Ｂ）はその動作状態を示したタイムチャートである。
【０１７９】
図１５（Ａ）（１）は、ディスプレイ１０８の画面例を示す。この画面例では、人物（被写体）１５０１，１５０２，１５０９，１５１０のマイク装着の検出を継続になっている。再生推奨条件フラグが１になっているのは人物（被写体）１５０１，１５０９である。再生推奨条件フラグが０になっているのは人物（被写体）１５０２，１５１０である。再生中なのは人物（被写体）１５０２，１５０９の音声である。
【０１８０】
例としてマイク操作アイコンの最大表示数を２個とすると、再生推奨条件フラグ１であるのに音声を再生していない人物１５０１のマイク操作アイコンが、Ｓ１２１９において表示用に選択される。再生推奨条件フラグ０であるのに音声を再生し続けている人物１５０２のマイク操作アイコンは、Ｓ１２２１において表示用に選択される。再生推奨条件フラグ１であって既に再生中で状況に変化が無い人物（被写体）１５０９のマイク操作アイコンは、Ｓ１２１９において非表示に選択される。再生推奨条件フラグ０であるが、元々非再生で状況に変化が無い人物（被写体）１５１０のマイク操作アイコンは、Ｓ１２２１において非表示に選択される。
【０１８１】
図１５（Ａ）（１）では、人物１５０１のマイク操作アイコン１５０４と、人物１５０３のマイク操作アイコン１５０５が表示されている。この画面は、ＣＰＵ１０１がディスプレイ１０８上に選択結果に応じてマイク操作アイコン１５０４，１５０５を表示するような表示制御信号を表示制御部１０４に送ることで実現される。
【０１８２】
ＣＰＵ１０１は、図１５（Ａ）（１）に示す画面でマイク操作アイコン１５０４がタッチされたのを検出すると、図１５（Ａ）（２）に示す画面になるように表示制御部１０４を制御する。ＣＰＵ１０１はまた、図１５（Ａ）（１）に示す画面でマイク操作アイコン１５０５がタッチされたのを検出すると、図１５（Ａ）（３）に示す画面になるように表示制御部１０４を制御する。
【０１８３】
図１５（Ａ）（２）は、人物１５０１（人物Ａ）の音声が非再生状態の画面例を示す。ＣＰＵ１０１がディスプレイ１０８上にマイク操作アイコン１５０６を表示するような表示制御信号を表示制御部１０４に送り、マイク操作アイコン１５０４，１５０５が、再生開始を指示するマイク操作アイコン１５０６に切り替えられる。
【０１８４】
ＣＰＵ１０１は、マイク操作アイコン１５０６がタッチされたのを検出すると、対応するマイクの音声の再生を開始するように音声処理部１１１を制御する。ＣＰＵ１０１は、所定時間経過しても、マイク操作アイコン１５０６がタッチされたのを検出できなければ、図１５（Ａ）（１）に示す表示状態に戻す。
【０１８５】
図１５（Ａ）（３）は、再生推奨状態にないのに人物１５０１（人物Ａ）の音声を再生し続けているときの画面例を示す。ＣＰＵ１０１がディスプレイ１０８上にマイク操作アイコン１５１１を表示するような表示制御信号を表示制御部１０４に送り、マイク操作アイコン１５０４，１５０５が、再生終了を指示するマイク操作アイコン１５１１に切り替えられる。
【０１８６】
ＣＰＵ１０１は、マイク操作アイコン１５１１がタッチされたのを検出すると、対応する音声の再生を終了するように音声処理部１１１を制御する。ＣＰＵ１０１は、所定時間経過しても、マイク操作アイコン１５１１がタッチされたのを検出できない場合、図１５（Ａ）（１）に示す表示状態に戻す。
【０１８７】
図１５（Ｂ）は、図１５（Ａ）（１）に示す画面のタイミング付近に相当するタイムチャートを示す。横軸は時間である。
【０１８８】
タイミングＴ１までは、（１）検出状態として、（１）−１、（１）−２、（１）−３、（１）−４のようにＡ ＭＩＣ、Ｃ ＭＩＣ、Ｄ ＭＩＣ及びＥ ＭＩＣの４つのマイク音声が検出されている。なお、撮影時に全チャンネル分の音声が画像ファイルと関連付けた個別ファイルとして記録済みである。再生時には、個別に音声状態の解析と、再生のオン／オフを指示できる。
【０１８９】
（２）再生状態として、各チャンネル別に（２）−１、（２）−３のようにＡ ＭＩＣとＥ ＭＩＣは非再生であり、（２）−２、（２）−３のようにＣ ＭＩＣとＤ ＭＩＣは再生中である。
【０１９０】
（３）解析状態として、（３）−１、（３）−３のようにＡ ＭＩＣとＤ ＭＩＣは再生推奨状態であり、（３）−２、（３）−４のようにＣ ＭＩＣとＥ ＭＩＣは非再生推奨状態である。
【０１９１】
従って、（４）表示状態として、（４）−１、（４）−２のようにＡ ＭＩＣとＣ ＭＩＣのマイク操作アイコンは表示され、Ｄ ＭＩＣとＥ ＭＩＣのマイク操作アイコンは表示されない。
【０１９２】
タイミングＴ１において、（１）検出状態が変化していない。しかし、利用者操作により（２）再生状態が（２）−１のようにＡ ＭＩＣ再生に変更されて、（３）解析状態は（３）−１のようにＡ ＭＩＣ再生推奨状態のままである。これにより、（４）表示状態は（４）−１のようにＡ ＭＩＣ操作アイコンは表示されなくなる。
【０１９３】
タイミングＴ２において、（１）検出状態が変化していない。しかし、利用者操作により（２）再生状態が（２）−２のようにＣ ＭＩＣ非再生とされ、（３）解析状態は（３）−２のようにＣ ＭＩＣ非再生推奨状態のままである。これにより、（４）表示状態は（４）−２のようにＣ ＭＩＣ操作アイコンは表示されなくなる。
【０１９４】
図１６は、マイク毎の滞在時間の順位表の一例を示す。ＣＰＵ１０１は、画角内の被写体の検出時間をカウントし、図１６に示すような滞在時間の順位表をメモリ１０３に書き込む。図１２Ａ及び図１２Ｂに示すフローチャートでは、音声解析結果のみで操作アイコンを選択している。図１６に示すようにマイク毎の滞在時間として順位を付けておき、音声解析結果と滞在時間が短い順を条件としてなるべく新しい登場人物に絞り込むことも可能である。
【０１９５】
図１７は、画面内での位置に応じて操作アイコン表示数を設定するエリア別表示数制限の概念図である。図１２Ａ及び図１２Ｂに示すフローチャートでは、画面全体でマイク操作アイコン表示数を所定数に制限している。しかし、図１７に示すように、マイクが検出される画角内の位置に応じて左右エリアは１個ずつ、中央は２個といったような制限を加えることも可能である。
【０１９６】
ＣＰＵ１０１は、操作アイコン表示のための上記条件に加えて、予め設定した個人毎の優先度、個人毎の記録済み時間の長短順、個人毎の音声取得品質の優劣順、及び個人毎の登場の新旧順の何れか１以上を考慮しても良い。
【０１９７】
以上の説明から容易に理解できるように，本実施例では、音声信号が所定時間、所定音量条件を継続するという条件を満たすときに、追加と解除可能な音声信号の存在を示すアイコンを選択的に表示する。これにより、画面が不必要なアイコンの表示により見にくくなってしまう可能性を低減できる。
【０１９８】
カメラの再生操作例を説明したが、パソコンやテレビに組み込まれる再生装置に適用可能である。
【特許請求の範囲】
【請求項１】
画像信号を取得する画像取得手段と、
前記画像信号に関連する複数の音声信号を取得する音声取得手段と、
前記画像信号に基づく画像を表示装置に表示させる表示制御手段と、
前記画像信号から特定被写体を検出する被写体検出手段と、
前記音声信号を解析する音声解析手段と、
前記複数の音声信号のうちの、選択した音声信号を記録する記録手段と、
前記音声信号の解析結果及び記録状態並びに前記被写体検出手段の検出結果に応じて、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御する制御手段
とを備えることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記音声信号の記録状態が記録であって、前記被写体検出手段が前記特定被写体を検出しない場合に、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記被写体検出手段の検出結果が所定数以下の前記特定被写体を検出する場合に、前記音声信号の記録状態によらず、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記制御手段は、前記被写体検出手段が前記特定被写体を検出し、前記音声解析手段の解析結果が特定の条件を満たさず、且つ、前記音声信号の記録状態が記録である場合に、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記制御手段は、前記被写体検出手段が前記特定被写体を検出し、前記音声解析手段の解析結果が特定の条件を満たし、且つ、前記音声信号の記録状態が記録でない場合に、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記特定の条件は、前記音声解析手段により所定時間以上継続して所定音量レベル以上の音声が検出されたことであることを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記制御手段は、前記特定の条件、並びに、予め設定した個人毎の優先度、個人毎の記録済み時間の長短順、個人毎の音声取得品質の優劣順、及び個人毎の登場の新旧順の何れか１以上に応じて前記音声信号を示すアイコンを表示装置に表示させることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
画像信号を取得する画像取得手段と、
前記画像信号に関連する複数の音声信号を取得する音声取得手段と、
前記画像信号に基づく画像を表示装置に表示させる表示制御手段と、
前記画像信号から特定被写体を検出する被写体検出手段と、
前記音声信号を解析する音声解析手段と、
前記複数の音声信号のうちの、選択した音声信号を出力する音声出力手段と、
前記音声信号の解析結果及び音声出力の有無、並びに前記被写体検出手段の検出結果に応じて、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御する制御手段
とを備えることを特徴とする画像処理装置。
【請求項９】
前記制御手段は、前記音声信号が音声出力されていて、前記被写体検出手段が前記特定被写体を検出しない場合に、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記制御手段は、前記被写体検出手段の検出結果が所定数以下の前記特定被写体を検出する場合に、前記音声信号の音声出力の有無によらず、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記制御手段は、前記被写体検出手段が前記特定被写体を検出し、前記音声解析手段の解析結果が特定の条件を満たさず、且つ、前記音声信号が音声出力されている場合に、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項８に記載の画像処理装置。
【請求項１２】
前記制御手段は、前記被写体検出手段が前記特定被写体を検出し、前記音声解析手段の解析結果が特定の条件を満たし、且つ、前記音声信号が音声出力されていない場合に、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項８に記載の画像処理装置。
【請求項１３】
前記特定の条件は、前記音声解析手段により所定時間以上継続して、所定音量レベル以上の音声が検出されることであることを特徴とする請求項１１又は１２に記載の画像処理装置。
【請求項１４】
前記制御手段は、前記特定の条件、並びに、予め設定した個人毎の優先度、個人毎の記録済み時間の長短順、個人毎の音声取得品質の優劣順、及び個人毎の登場の新旧順の何れか１以上に応じて前記音声信号を示すアイコンを表示装置に表示させることを特徴とする請求項１３に記載の画像処理装置。
【請求項１】
画像信号を取得する画像取得手段と、
前記画像信号に関連する複数の音声信号を取得する音声取得手段と、
前記画像信号に基づく画像を表示装置に表示させる表示制御手段と、
前記画像信号から特定被写体を検出する被写体検出手段と、
前記音声信号を解析する音声解析手段と、
前記複数の音声信号のうちの、選択した音声信号を記録する記録手段と、
前記音声信号の解析結果及び記録状態並びに前記被写体検出手段の検出結果に応じて、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御する制御手段
とを備えることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記音声信号の記録状態が記録であって、前記被写体検出手段が前記特定被写体を検出しない場合に、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記被写体検出手段の検出結果が所定数以下の前記特定被写体を検出する場合に、前記音声信号の記録状態によらず、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記制御手段は、前記被写体検出手段が前記特定被写体を検出し、前記音声解析手段の解析結果が特定の条件を満たさず、且つ、前記音声信号の記録状態が記録である場合に、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記制御手段は、前記被写体検出手段が前記特定被写体を検出し、前記音声解析手段の解析結果が特定の条件を満たし、且つ、前記音声信号の記録状態が記録でない場合に、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記特定の条件は、前記音声解析手段により所定時間以上継続して所定音量レベル以上の音声が検出されたことであることを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記制御手段は、前記特定の条件、並びに、予め設定した個人毎の優先度、個人毎の記録済み時間の長短順、個人毎の音声取得品質の優劣順、及び個人毎の登場の新旧順の何れか１以上に応じて前記音声信号を示すアイコンを表示装置に表示させることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
画像信号を取得する画像取得手段と、
前記画像信号に関連する複数の音声信号を取得する音声取得手段と、
前記画像信号に基づく画像を表示装置に表示させる表示制御手段と、
前記画像信号から特定被写体を検出する被写体検出手段と、
前記音声信号を解析する音声解析手段と、
前記複数の音声信号のうちの、選択した音声信号を出力する音声出力手段と、
前記音声信号の解析結果及び音声出力の有無、並びに前記被写体検出手段の検出結果に応じて、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御する制御手段
とを備えることを特徴とする画像処理装置。
【請求項９】
前記制御手段は、前記音声信号が音声出力されていて、前記被写体検出手段が前記特定被写体を検出しない場合に、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記制御手段は、前記被写体検出手段の検出結果が所定数以下の前記特定被写体を検出する場合に、前記音声信号の音声出力の有無によらず、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記制御手段は、前記被写体検出手段が前記特定被写体を検出し、前記音声解析手段の解析結果が特定の条件を満たさず、且つ、前記音声信号が音声出力されている場合に、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項８に記載の画像処理装置。
【請求項１２】
前記制御手段は、前記被写体検出手段が前記特定被写体を検出し、前記音声解析手段の解析結果が特定の条件を満たし、且つ、前記音声信号が音声出力されていない場合に、前記音声信号を示すアイコンを表示装置に表示させるように前記表示制御手段を制御することを特徴とする請求項８に記載の画像処理装置。
【請求項１３】
前記特定の条件は、前記音声解析手段により所定時間以上継続して、所定音量レベル以上の音声が検出されることであることを特徴とする請求項１１又は１２に記載の画像処理装置。
【請求項１４】
前記制御手段は、前記特定の条件、並びに、予め設定した個人毎の優先度、個人毎の記録済み時間の長短順、個人毎の音声取得品質の優劣順、及び個人毎の登場の新旧順の何れか１以上に応じて前記音声信号を示すアイコンを表示装置に表示させることを特徴とする請求項１３に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−８５０６５（Ｐ２０１３−８５０６５Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２２７２５（Ｐ２０１１−２２２７２５）
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]