音声情報付与方法、音声情報付与装置及びコンピュータプログラム
【課題】アダプタもしくはサーバで画像情報に音声情報を付与する場合、アダプタのマイク等から入力した音声信号をアダプタもしくはサーバで音声認識し、音声信号に含まれる言葉のみでなく、個人を識別する情報等も抽出するようにする。
【解決手段】画像撮影装置に保存された画像情報を取得する（ステップＳ４００１）。次に画像情報に音声情報を付与するために、音声情報のもととなる音声信号をアダプタもしくは画像撮影装置のマイクから入力する(ステップＳ４００３)。次に、入力した音声信号をアダプタで音声認識及び話者照合する(ステップＳ４００４)。次に認識した情報を音声情報に変換する(ステップＳ４００５)。次にステップＳ４００５で作成された音声情報を取得した画像情報に付与・リンクして、音声情報付き画像情報を作成する。
【解決手段】画像撮影装置に保存された画像情報を取得する（ステップＳ４００１）。次に画像情報に音声情報を付与するために、音声情報のもととなる音声信号をアダプタもしくは画像撮影装置のマイクから入力する(ステップＳ４００３)。次に、入力した音声信号をアダプタで音声認識及び話者照合する(ステップＳ４００４)。次に認識した情報を音声情報に変換する(ステップＳ４００５)。次にステップＳ４００５で作成された音声情報を取得した画像情報に付与・リンクして、音声情報付き画像情報を作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報に音声信号を音声認識・話者照合したことで抽出された音声情報を付与する画像情報への音声情報付与方法等に関するものである。
【背景技術】
【０００２】
画像撮影装置で撮影して、画像撮影装置、アダプタ、又はサーバに保存した画像情報に、画像撮影装置に接続したアダプタを用いて、アダプタのマイク等から入力した音声信号を音声認識し、抽出した情報(音声情報)を付与することができる。画像情報に付与される音声情報はユーザが入力した音声信号を音声認識し、音声信号に含まれている言葉を抽出したものである。
【０００３】
また、あらかじめサーバに保存した画像情報に、端末装置からネットワークを介して、サーバにアクセスし、端末装置のマイク等から入力した音声信号を音声認識し、認識した音声情報を付与することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のアダプタもしくはサーバは、画像情報に音声情報を付与する場合、アダプタのマイク等から入力した音声信号に含まれる言葉のみを音声認識により抽出し、音声情報として画像情報に付与する。そのため、アダプタのマイク等から入力した音声情報に含まれていた多くの情報が音声認識により、音声信号から音声情報に変換されたことで欠落する。欠落する情報とは、個人を識別する情報や性別を識別する情報や喜怒哀楽を識別する情報等である。
【０００５】
本発明は係る実情に鑑みて、アダプタのマイク等から入力した音声信号から、個人を識別する情報や性別を識別する情報や喜怒哀楽を識別する情報等も抽出することができるようにする。
【課題を解決するための手段】
【０００６】
本発明の音声情報付与方法は、画像撮影装置と、前記画像撮影装置に接続されており、前記画像撮影装置に保存された画像情報に音声情報の付与を行うアダプタと、前記アダプタによって通信端末およびネットワークを介して音声情報付き画像情報が保存されるサーバと、前記サーバに保存されている音声情報付き画像情報に含まれている音声情報をネットワークを介して修正及び追加する端末装置とで構成される画像情報への音声情報付与システムにおける音声情報付与方法であって、画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与するステップを有することを特徴とする。
また、本発明のコンピュータプログラムは、画像撮影装置と、前記画像撮影装置に接続されており、前記画像撮影装置に保存された画像情報に音声情報の付与を行うアダプタと、前記アダプタによって通信端末およびネットワークを介して音声情報付き画像情報が保存されるサーバと、前記サーバに保存されている音声情報付き画像情報に含まれている音声情報をネットワークを介して修正及び追加する端末装置とで構成される画像情報への音声情報付与システムにおける音声情報付与方法をコンピュータに実行させるためのコンピュータプログラムであって、画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与するステップをコンピュータに実行させることを特徴とする。
また、本発明の音声情報付与装置は、画像撮影装置と、前記画像撮影装置に接続されており、前記画像撮影装置に保存された画像情報に音声情報の付与を行うアダプタと、前記アダプタによって通信端末およびネットワークを介して音声情報付き画像情報が保存されるサーバと、前記サーバに保存されている音声情報付き画像情報に含まれている音声情報をネットワークを介して修正及び追加する端末装置とで構成される画像情報への音声情報付与装置であって、画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与する手段を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、アダプタもしくはサーバで画像情報に音声情報を付与する場合、アダプタのマイク等から入力した音声信号をアダプタもしくはサーバで音声認識し、音声信号に含まれる言葉のみでなく、個人を識別する情報等も抽出することができる。これの他にも、性別を識別する情報や喜怒哀楽を識別する情報等も抽出することができる。
また、アダプタもしくはサーバは入力された音声信号から音声認識・話者照合によって抽出された音声情報をアダプタもしくはサーバにあらかじめ保存されている、特定の画像情報に付与することができる。
また、サーバに音声情報付き画像情報を保存するとき、音声情報付き画像情報に含まれている音声情報に基づいて、保存する記憶媒体の領域を決定することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を、図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の第１の実施形態を示すシステム構成図である。該システム（音声情報付与システム）において、１０１はデジタルカメラ等の画像撮影装置である。１０２は画像情報に音声情報の付与を行うアダプタである。１０３はネットワーク１０４とアダプタ１０２とをつなぐ携帯電話等の通信端末である。１０５は音声情報付き画像情報の保存、画像情報(音声情報付き画像情報)に音声情報の付与を行うサーバであり、通信端末１０３とネットワーク１０４を介して接続されている。
【０００９】
＜アダプタの説明＞
次に、本発明の実施形態に係るアダプタ１０２について詳しく説明する。図２はアダプタ１０２の電気的構成を示すブロック図である。本実施形態におけるアダプタ１０２は、通信端末１０３にインターフェース２１０１を介して接続し、インターフェース２１０１は内部バス２１１０に接続する。
【００１０】
インターフェース２１０１は異なる通信端末を接続する際に電気特性の相違を吸収して内部バス２１１０に接続する。
【００１１】
画像撮影装置１０１は画像撮影装置インターフェース２１０４を介してアダプタ１０２の内部バス２１１０に接続する。本実施形態ではアダプタ１０２と画像撮影装置１０１はＵＳＢで接続される。画像撮影装置インターフェース２１０４のＵＳＢのネゴシエーションにより画像撮影装置１０１からアダプタ１０２は、画像撮影装置ＩＤを取得できる。
【００１２】
内部バス２１１０には、全体動作を制御するマイコン２１０２と、内部の動作プログラムを記憶するとともに設定内容を記憶するＲＯＭ２１０５、プログラム実行領域及び送受信データの一時記憶をするＲＡＭ２１０６が接続される。さらに、内部バス２１１０には、マイク２１１６を通して入力された音声信号をデジタルデータに変換する音声Ｉ／Ｆ２１０８、ユーザからの操作や、ユーザへの表示を行うユーザインターフェースであるＵ／Ｉ２１０３が接続される。
【００１３】
Ｕ／Ｉ２１０３には、ユーザにアダプタ１０２の状態を通知する表示装置２１１５が備えられている。ＲＯＭ２１０５は書き換えが可能なＲＯＭであり、ソフトウェアの追加変更が可能である。
【００１４】
通信端末１０３に用意されている外部インターフェース部は、アダプタ１０２によるネットワーク１０４との間の発信、着信、切断などを、外部からインターフェース２１０１を介して制御する。そして、マイコン２１０２はインターフェース２１０１を介して通信端末１０３に対し、発信、着信、切断等の制御を行う。また通信端末１０３は自己の電話番号や電話の着信情報（ＲＩＮＧ情報、着信電話番号、通信端末１０３のステータス）をインターフェース２１０１に出力する。これによりアダプタ１０２は通信端末１０３の電話番号等の各種情報を取得することができる。
【００１５】
サーバ１０５及び通信端末１０３はともにネットワーク１０４に接続されている。通信端末１０３が無線方式の通信端末である場合は無線基地経由にてネットワーク１０４に接続される。アダプタ１０２はインターフェース２１０１を介して通信端末１０３に、サーバ１０５側の通信端末の電話番号に発呼する処理を行う。
【００１６】
通信端末１０３はネットワーク１０４に対し前述電話番号での接続を試みる。ここでの接続の確立はネットワーク１０４の方式に従う。サーバ１０５側の通信端末が通信端末１０３からの発呼を受理するとネットワーク１０４での接続が完了する。
【００１７】
ＲＯＭ２１０５は新しいソフトウェアを、インターフェース２１０１やインターフェース２１０４を介してダウンロードし、内部プログラムの書き換えをする。また、ＲＯＭ２１０５には、接続に必要な電話番号、アダプタＩＤ等も格納され、同様に変更することができる。電源２１０７はアダプタ１０２を動作させる電源である。
【００１８】
＜アダプタのソフトウェア構成図＞
図３はアダプタ１０２に実装されるソフトウェアの構成を示す図である。画像撮影装置１０１とアダプタ１０２とを接続したのち、画像情報取得部３００１は、画像撮影装置１０１で撮影され、画像撮影装置１０１に保存された画像情報を取得する。そして、アダプタ１０２の画像情報データベース３００８に保存する。
【００１９】
ここで、画像情報取得部３００１が画像撮影装置１０１から取得し、画像情報データベース３００８に保存した画像情報とは、画像データはもちろん、画像データに関する画像データのタイトル名、サイズ、階調度等を含む。なお、画像情報取得部３００１は画像データおよび画像データに関する情報すべてを保存することもできる。また、画像データおよび画像データに関する情報の１部だけを保存することもできる(画像データおよび画像データに関する情報を画像情報と呼ぶ)。
【００２０】
音声信号取得部３００２はマイク２１１６から入力された音声信号を音声デジタル信号に変換する。音声認識・話者照合部３００３は音声Ｉ／Ｆ２１０８で変換された音声デジタル信号を音声認識データベース３００４に登録されている音声に含まれる個人的な情報(以下、音声個人識別情報)や音声認識グラマーを用いて、音声認識・話者照合する。ここで、話者照合とは音声を用いた個人認証のことである。
【００２１】
また、音声認識データベース３００４に登録されている音声個人識別情報とは個人の音声信号そのものである場合もあるし、個人の音声信号に関する特徴量・パラメータである場合もある。特徴量・パラメータとは、スペクトル包括、ピッチ、パワーなどの時間・周波数的特徴量、またその時間・周波数的特徴量から抽出した統計的特徴量である。
【００２２】
音声情報作成部３００５は音声認識・話者照合部３００３で音声認識・話者照合された結果、抽出された情報を音声情報に変換する。音声認識データベース３００４に音声個人識別情報を登録するには、まず音声Ｉ／Ｆ２１０８によってマイク２１１６から入力された音声信号を音声デジタル信号に変換する。そして、その変換した音声デジタル信号を音声認識・話者照合部３００３で音声個人識別情報に変換し、音声認識データベース３００４に登録する。
【００２３】
音声情報付き画像情報作成部３００６は画像情報取得部３００１で画像情報データベース３００８に保存された画像情報、あらかじめアダプタデータベース３００７に保存されたアダプタ識別情報、音声情報作成部３００５で作成された音声情報をリンクする。そしてリンクした情報を基に、音声情報付き画像情報を作成する。
【００２４】
ここで、音声情報付き画像情報作成部３００６での画像情報、アダプタ識別情報、音声情報のリンク方法(音声情報付き画像情報の作成方法)は、アダプタ識別情報、音声情報を画像情報のヘッダ部に組み込むようにしてもよい。そして組み込んだ、これら３つの情報を１つのファイルにまとめるようにしてもよい。
【００２５】
また、画像情報、アダプタ識別情報、音声情報を別々のファイルとして保存し、これらをリンクさせることもできる。
【００２６】
送受信部３００９は、音声情報付き画像情報作成部３００６で作成された音声情報付き画像情報を通信端末１０３、ネットワーク１０４を介して、サーバ１０５に送信し、サーバ１０５に保存する。
【００２７】
このとき、送受信部３００９もしくはサーバ１０５は、送受信部３００９が通信端末１０３、ネットワーク１０４を介して、サーバ１０５に送信した音声情報付き画像情報を音声情報付き画像情報に含まれるアダプタ情報、音声情報をもとに場所を特定し保存する。
【００２８】
例えば、"吉田幸司"という音声情報が画像情報に付与されておれば、送受信部３００９もしくはサーバ１０５はユーザ"吉田幸司"が使用している記憶領域に"吉田幸司"という音声情報が付与されている画像情報を保存する。
【００２９】
＜アダプタの動作説明＞
次いで、本発明の第1の実施形態のアダプタの動作について説明する。図４は第１の実施形態のアダプタの動作を示すフローチャートである。
【００３０】
まずアダプタ１０２は画像撮影装置１０１で撮影され、画像撮影装置１０１に保存された画像情報を取得する。アダプタ１０２が取得した画像情報は画像データそのものでもよいし、特定の画像を表すシンボル(画像データのタイトル等)であってもよい(ステップＳ４００１)。
【００３１】
次に、音声情報を付与する画像情報を選択する場合、画像撮影装置の表示画面を使って選択することもできるし、アダプタの表示画面を使って選択することもできる(ステップＳ４００２)。
【００３２】
次に、画像情報に音声情報を付与するために、音声情報のもととなる音声信号をアダプタもしくは画像撮影装置のマイクから入力し、入力した音声信号を図３のアダプタの音声信号取得部３００２で音声デジタル信号に変換する(ステップＳ４００３)。
【００３３】
次に、アダプタの音声認識、話者照合部は、音声信号を認識する。ここでは、図３のアダプタの音声信号取得部で変換された音声デジタル信号と図３の音声認識データベース内の音声個人識別情報と音声認識グラマーをもとに入力された音声信号にどのような言葉が含まれていたのか等が認識される。この他にも、音声信号は誰のものであるのか、男か女かなどが認識される(ステップＳ４００４)。
【００３４】
次に、ステップＳ４００４で認識された情報は音声情報に変換される(ステップＳ４００５)。
【００３５】
次に、ステップＳ４００５で作成された音声情報はステップＳ４００１でアダプタが取得した画像情報に付与・リンクされ、音声情報付き画像情報が作成される(ステップＳ４００６)。
【００３６】
ステップＳ４００６で作成された音声情報付き画像情報は図３の画像情報データベース３００８に保存される(ステップＳ４００７)。
【００３７】
ステップＳ４００７で画像情報データベース３００８に保存された音声情報付き画像情報は図３の送受信部３００９により、通信端末１０３を介して、サーバ１０５に送信され、サーバ１０５に保存される(ステップＳ４００８)。以上で説明した処理は、本発明でいう、画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与するステップに相当する。
【００３８】
なお、サーバ１０５に音声情報付き画像情報を保存するとき、音声情報付き画像情報に含まれている音声情報に基づいて、サーバ１０５に記憶する領域を決定することもできる。
【００３９】
（第２の実施の形態）
次いで、本発明の第２の実施形態について説明する。図５は、本発明の第２の実施形態を示すシステム構成図である。第１の実施形態はアダプタ１０２での画像情報への音声情報付与方法についてであったが、第２の実施形態は端末装置１０６を使った、ネットワーク１０４を介した、サーバ１０５での画像情報への音声付与方法についてである。
【００４０】
第２の実施形態でのシステムにおいて、１０１はデジタルカメラ等の画像撮影装置である。１０２は画像情報に音声情報の付与を行うアダプタである。１０３はネットワーク１０４とアダプタ１０２とをつなぐ携帯電話等の通信端末である。１０５は音声情報付き画像情報の保存・画像情報への音声情報の付与・音声情報付き画像情報に含まれる音声情報の修正を行うサーバである。１０６はサーバ１０５に音声情報付き画像情報の保存・画像情報への音声情報の付与・音声情報付き画像情報に含まれる音声情報の修正を指示する端末装置１０６である。
【００４１】
＜サーバのソフトウェア構成図＞
次に、本発明の実施形態に係るサーバ１０５について詳しく説明する。図６はサーバに実装されるソフトウェアの構成を示す図である。
【００４２】
サーバ１０５で画像情報(音声情報付き画像情報)が保存されるとき、送受信部６００１はサーバ１０５に送られてきた情報は画像情報(音声情報付き画像情報)であると判断し、画像情報取得部６００６を介して、画像情報データベース６００８に保存する。
【００４３】
サーバ１０５に保存された画像情報(音声情報付き画像情報)への音声情報の付与は、端末装置１０６がネットワーク１０４を介して、サーバ１０５に指示することで行われる。
【００４４】
端末装置１０６がサーバ１０５にアクセスすると、サーバ１０５の送受信部６００１はサーバ１０５に送られてきた情報が画像情報でないと判断し、端末装置１０６から送られる情報を音声信号取得部６００２に送る。
【００４５】
端末装置１０６からサーバ１０５にアクセスするには、サーバ１０５が認証する必要があり、そのために端末装置１０６はサーバ１０５の音声信号取得部６００２へユーザ名、パスワード等を音声信号、バイナリデータ、テキストデータを送信する。
【００４６】
また、端末装置１０６は、サーバ１０５で音声情報付き画像情報に音声情報を付与するために、音声情報のもととなる音声信号をサーバ１０５に送信する。
【００４７】
音声信号取得部６００２は、端末装置１０６から送信された情報に含まれる音声信号を音声デジタル信号に変換する。
【００４８】
音声認識・話者照合部６００３は、音声信号取得部６００２で変換された音声デジタル信号を音声認識データベース６００７に登録されている音声個人識別情報や音声認識グラマーを用いて、音声認識・話者照合する。
【００４９】
ここで、話者照合とは音声を用いた個人認証のことであり、音声個人識別情報とは個人の音声信号そのものである場合もあるし、個人の音声信号に関する特徴量・パラメータである場合もある。特徴量・パラメータとは、スペクトル包括、ピッチ、パワーなどの時間・周波数的特徴量、またその時間・周波数的特徴量から抽出した統計的特徴量等である。
【００５０】
音声情報作成部６００４は、音声認識・話者照合部６００３で音声認識・話者照合された情報をもとに音声情報を作成する。音声認識データベース６００７に音声個人識別情報を登録するには、まず端末装置１０６によって、ネットワーク１０４を介して、サーバに入力された音声信号を音声デジタル信号に変換する。そして、音声認識・話者照合部６００３はその変換した音声デジタル信号を個人識別情報変換し、音声認識データベース６００７に登録する。
【００５１】
音声情報付き画像情報作成部６００５は、画像情報取得部６００６で画像情報データベース６００８に保存された画像情報、音声情報作成部６００４で作られた音声情報をリンクし、音声情報付き画像情報を作成する。ここで、音声情報付き画像情報作成部６００５での画像情報、音声情報のリンク方法(音声情報付き画像情報の作成方法)であるが、音声情報を画像情報のヘッダ部に組み込み、音声情報と画像情報を１つのファイルにすべてまとめることもできる。音声情報と画像情報をそれぞれの別のファイルに格納し、それをリンクさせることもできる。
【００５２】
＜動作説明＞
次いで、本発明の第２の実施形態の動作について説明する。図７は第２の実施形態の動作を示すフローチャートである。
【００５３】
まず端末装置１０６からネットワーク１０４を介して、サーバ１０５にアクセスする。そして、サーバ１０５にあらかじめ保存されている画像情報(音声情報付き画像情報)の一覧から、音声情報を付与しようとする画像情報(音声情報付き画像情報)を選択する(ステップＳ７００１)。
【００５４】
次に、画像情報に音声情報を付与するために、音声情報のもとのなる音声信号を端末装置１０６から入力し、入力した音声信号を図６のサーバの音声信号取得部で音声デジタル信号に変換する(ステップＳ７００２)。
【００５５】
図５のサーバの音声認識、話者照合部は入力された音声信号を認識する。ここでは、図５のサーバの音声信号取得部６００２で変換された音声デジタル信号と図５の音声認識データベース６００７内の音声個人識別情報と音声認識グラマーとをもとに、入力された音声信号はどのような言葉が含まれていたのか等が認識される。これの他にも、音声信号は、誰のものであるのか、男か女かなどが認識する(ステップＳ７００３)。
【００５６】
ステップＳ７００３で認識された情報は音声情報に変換される(ステップＳ７００４)。
【００５７】
ステップＳ７００４で作成された音声情報はあらかじめサーバに保存されている画像情報とリンクされる(ステップＳ７００５)。
【００５８】
ステップＳ７００５での画像情報と音声情報のリンク方法であるが、画像情報と音声情報は画像情報のヘッダ部に音声情報を組み込み、１つのファイルにまとめることもできる。また、画像情報と音声情報を別々のファイルとして保存し、それらをリンクさせることもできる。ステップＳ７００５で画像情報と音声情報をリンクしたものを音声情報付き画像情報と呼ぶ。
【００５９】
ステップＳ７００５で作成された音声情報付き画像情報は図６の画像情報データベース６００８に保存される(ステップＳ７００６)。画像情報データベース６００８に音声情報付き画像情報を保存するとき、音声情報付き画像情報に含まれている音声情報に基づいて画像情報データベース６００８の記憶媒体の領域を決定することもできる。以上で説明した処理は、本発明でいう、画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与するステップに相当する。
【００６０】
なお、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。
【００６１】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６２】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６３】
また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。
【００６４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。
【図面の簡単な説明】
【００６５】
【図１】本発明の第１の実施の形態に係るシステムの構成を示す図である。
【図２】本発明の第１の実施の形態に係るアダプタの電気的構成を示すブロック図である。
【図３】本発明の第１の実施の形態に係るアダプタに実装されるソフトウェアの構成を示す図である。
【図４】本発明の第１の実施の形態に係るシステムにおける動作を説明するフローチャートである。
【図５】本発明の第２の実施の形態に係るシステムの構成を示す図である。
【図６】本発明の第２の実施の形態に係るサーバに実装されるソフトウェアの構成を示す図である。
【図７】本発明の第２の実施の形態に係るサーバでの処理の流れを説明するフローチャートである。
【符号の説明】
【００６６】
１０１ 画像撮影装置
１０２ アダプタ
１０３ 通信端末
１０４ ネットワーク
１０５ サーバ
１０６ 端末装置
２１０１ I／Ｆ
２１０２ マイコン
２１０３ ＵＩ
２１０４ 画像撮影装置I／Ｆ
２１０５ ＲＯＭ
２１０６ ＲＡＭ
２１０７ 電源
２１０８ 音声Ｉ／Ｆ
２１１０ 内部バス
２１１５ 表示装置
２１１６ マイク
３００１ 画像情報取得部(アダプタ)
３００２ 音声信号取得部(アダプタ)
３００３ 音声認識・話者照合部(アダプタ)
３００４ 音声認識データベース(アダプタ)
３００５ 音声情報作成部(アダプタ)
３００６ 音声情報付き画像情報作成部(アダプタ)
３００７ アダプタデータベース(アダプタ)
３００８ 画像情報データベース(アダプタ)
３００９ 送受信部(アダプタ)
６００１ 送受信部(サーバ)
６００２ 音声信号取得部(サーバ)
６００３ 音声認識・話者照合部(サーバ)
６００４ 音声情報作成部(サーバ)
６００５ 音声情報付き画像情報作成部(サーバ)
６００６ 画像情報取得部(サーバ)
６００７ 音声認識データベース(サーバ)
６００８ 画像情報データベース(サーバ)
【技術分野】
【０００１】
本発明は、画像情報に音声信号を音声認識・話者照合したことで抽出された音声情報を付与する画像情報への音声情報付与方法等に関するものである。
【背景技術】
【０００２】
画像撮影装置で撮影して、画像撮影装置、アダプタ、又はサーバに保存した画像情報に、画像撮影装置に接続したアダプタを用いて、アダプタのマイク等から入力した音声信号を音声認識し、抽出した情報(音声情報)を付与することができる。画像情報に付与される音声情報はユーザが入力した音声信号を音声認識し、音声信号に含まれている言葉を抽出したものである。
【０００３】
また、あらかじめサーバに保存した画像情報に、端末装置からネットワークを介して、サーバにアクセスし、端末装置のマイク等から入力した音声信号を音声認識し、認識した音声情報を付与することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のアダプタもしくはサーバは、画像情報に音声情報を付与する場合、アダプタのマイク等から入力した音声信号に含まれる言葉のみを音声認識により抽出し、音声情報として画像情報に付与する。そのため、アダプタのマイク等から入力した音声情報に含まれていた多くの情報が音声認識により、音声信号から音声情報に変換されたことで欠落する。欠落する情報とは、個人を識別する情報や性別を識別する情報や喜怒哀楽を識別する情報等である。
【０００５】
本発明は係る実情に鑑みて、アダプタのマイク等から入力した音声信号から、個人を識別する情報や性別を識別する情報や喜怒哀楽を識別する情報等も抽出することができるようにする。
【課題を解決するための手段】
【０００６】
本発明の音声情報付与方法は、画像撮影装置と、前記画像撮影装置に接続されており、前記画像撮影装置に保存された画像情報に音声情報の付与を行うアダプタと、前記アダプタによって通信端末およびネットワークを介して音声情報付き画像情報が保存されるサーバと、前記サーバに保存されている音声情報付き画像情報に含まれている音声情報をネットワークを介して修正及び追加する端末装置とで構成される画像情報への音声情報付与システムにおける音声情報付与方法であって、画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与するステップを有することを特徴とする。
また、本発明のコンピュータプログラムは、画像撮影装置と、前記画像撮影装置に接続されており、前記画像撮影装置に保存された画像情報に音声情報の付与を行うアダプタと、前記アダプタによって通信端末およびネットワークを介して音声情報付き画像情報が保存されるサーバと、前記サーバに保存されている音声情報付き画像情報に含まれている音声情報をネットワークを介して修正及び追加する端末装置とで構成される画像情報への音声情報付与システムにおける音声情報付与方法をコンピュータに実行させるためのコンピュータプログラムであって、画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与するステップをコンピュータに実行させることを特徴とする。
また、本発明の音声情報付与装置は、画像撮影装置と、前記画像撮影装置に接続されており、前記画像撮影装置に保存された画像情報に音声情報の付与を行うアダプタと、前記アダプタによって通信端末およびネットワークを介して音声情報付き画像情報が保存されるサーバと、前記サーバに保存されている音声情報付き画像情報に含まれている音声情報をネットワークを介して修正及び追加する端末装置とで構成される画像情報への音声情報付与装置であって、画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与する手段を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、アダプタもしくはサーバで画像情報に音声情報を付与する場合、アダプタのマイク等から入力した音声信号をアダプタもしくはサーバで音声認識し、音声信号に含まれる言葉のみでなく、個人を識別する情報等も抽出することができる。これの他にも、性別を識別する情報や喜怒哀楽を識別する情報等も抽出することができる。
また、アダプタもしくはサーバは入力された音声信号から音声認識・話者照合によって抽出された音声情報をアダプタもしくはサーバにあらかじめ保存されている、特定の画像情報に付与することができる。
また、サーバに音声情報付き画像情報を保存するとき、音声情報付き画像情報に含まれている音声情報に基づいて、保存する記憶媒体の領域を決定することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を、図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の第１の実施形態を示すシステム構成図である。該システム（音声情報付与システム）において、１０１はデジタルカメラ等の画像撮影装置である。１０２は画像情報に音声情報の付与を行うアダプタである。１０３はネットワーク１０４とアダプタ１０２とをつなぐ携帯電話等の通信端末である。１０５は音声情報付き画像情報の保存、画像情報(音声情報付き画像情報)に音声情報の付与を行うサーバであり、通信端末１０３とネットワーク１０４を介して接続されている。
【０００９】
＜アダプタの説明＞
次に、本発明の実施形態に係るアダプタ１０２について詳しく説明する。図２はアダプタ１０２の電気的構成を示すブロック図である。本実施形態におけるアダプタ１０２は、通信端末１０３にインターフェース２１０１を介して接続し、インターフェース２１０１は内部バス２１１０に接続する。
【００１０】
インターフェース２１０１は異なる通信端末を接続する際に電気特性の相違を吸収して内部バス２１１０に接続する。
【００１１】
画像撮影装置１０１は画像撮影装置インターフェース２１０４を介してアダプタ１０２の内部バス２１１０に接続する。本実施形態ではアダプタ１０２と画像撮影装置１０１はＵＳＢで接続される。画像撮影装置インターフェース２１０４のＵＳＢのネゴシエーションにより画像撮影装置１０１からアダプタ１０２は、画像撮影装置ＩＤを取得できる。
【００１２】
内部バス２１１０には、全体動作を制御するマイコン２１０２と、内部の動作プログラムを記憶するとともに設定内容を記憶するＲＯＭ２１０５、プログラム実行領域及び送受信データの一時記憶をするＲＡＭ２１０６が接続される。さらに、内部バス２１１０には、マイク２１１６を通して入力された音声信号をデジタルデータに変換する音声Ｉ／Ｆ２１０８、ユーザからの操作や、ユーザへの表示を行うユーザインターフェースであるＵ／Ｉ２１０３が接続される。
【００１３】
Ｕ／Ｉ２１０３には、ユーザにアダプタ１０２の状態を通知する表示装置２１１５が備えられている。ＲＯＭ２１０５は書き換えが可能なＲＯＭであり、ソフトウェアの追加変更が可能である。
【００１４】
通信端末１０３に用意されている外部インターフェース部は、アダプタ１０２によるネットワーク１０４との間の発信、着信、切断などを、外部からインターフェース２１０１を介して制御する。そして、マイコン２１０２はインターフェース２１０１を介して通信端末１０３に対し、発信、着信、切断等の制御を行う。また通信端末１０３は自己の電話番号や電話の着信情報（ＲＩＮＧ情報、着信電話番号、通信端末１０３のステータス）をインターフェース２１０１に出力する。これによりアダプタ１０２は通信端末１０３の電話番号等の各種情報を取得することができる。
【００１５】
サーバ１０５及び通信端末１０３はともにネットワーク１０４に接続されている。通信端末１０３が無線方式の通信端末である場合は無線基地経由にてネットワーク１０４に接続される。アダプタ１０２はインターフェース２１０１を介して通信端末１０３に、サーバ１０５側の通信端末の電話番号に発呼する処理を行う。
【００１６】
通信端末１０３はネットワーク１０４に対し前述電話番号での接続を試みる。ここでの接続の確立はネットワーク１０４の方式に従う。サーバ１０５側の通信端末が通信端末１０３からの発呼を受理するとネットワーク１０４での接続が完了する。
【００１７】
ＲＯＭ２１０５は新しいソフトウェアを、インターフェース２１０１やインターフェース２１０４を介してダウンロードし、内部プログラムの書き換えをする。また、ＲＯＭ２１０５には、接続に必要な電話番号、アダプタＩＤ等も格納され、同様に変更することができる。電源２１０７はアダプタ１０２を動作させる電源である。
【００１８】
＜アダプタのソフトウェア構成図＞
図３はアダプタ１０２に実装されるソフトウェアの構成を示す図である。画像撮影装置１０１とアダプタ１０２とを接続したのち、画像情報取得部３００１は、画像撮影装置１０１で撮影され、画像撮影装置１０１に保存された画像情報を取得する。そして、アダプタ１０２の画像情報データベース３００８に保存する。
【００１９】
ここで、画像情報取得部３００１が画像撮影装置１０１から取得し、画像情報データベース３００８に保存した画像情報とは、画像データはもちろん、画像データに関する画像データのタイトル名、サイズ、階調度等を含む。なお、画像情報取得部３００１は画像データおよび画像データに関する情報すべてを保存することもできる。また、画像データおよび画像データに関する情報の１部だけを保存することもできる(画像データおよび画像データに関する情報を画像情報と呼ぶ)。
【００２０】
音声信号取得部３００２はマイク２１１６から入力された音声信号を音声デジタル信号に変換する。音声認識・話者照合部３００３は音声Ｉ／Ｆ２１０８で変換された音声デジタル信号を音声認識データベース３００４に登録されている音声に含まれる個人的な情報(以下、音声個人識別情報)や音声認識グラマーを用いて、音声認識・話者照合する。ここで、話者照合とは音声を用いた個人認証のことである。
【００２１】
また、音声認識データベース３００４に登録されている音声個人識別情報とは個人の音声信号そのものである場合もあるし、個人の音声信号に関する特徴量・パラメータである場合もある。特徴量・パラメータとは、スペクトル包括、ピッチ、パワーなどの時間・周波数的特徴量、またその時間・周波数的特徴量から抽出した統計的特徴量である。
【００２２】
音声情報作成部３００５は音声認識・話者照合部３００３で音声認識・話者照合された結果、抽出された情報を音声情報に変換する。音声認識データベース３００４に音声個人識別情報を登録するには、まず音声Ｉ／Ｆ２１０８によってマイク２１１６から入力された音声信号を音声デジタル信号に変換する。そして、その変換した音声デジタル信号を音声認識・話者照合部３００３で音声個人識別情報に変換し、音声認識データベース３００４に登録する。
【００２３】
音声情報付き画像情報作成部３００６は画像情報取得部３００１で画像情報データベース３００８に保存された画像情報、あらかじめアダプタデータベース３００７に保存されたアダプタ識別情報、音声情報作成部３００５で作成された音声情報をリンクする。そしてリンクした情報を基に、音声情報付き画像情報を作成する。
【００２４】
ここで、音声情報付き画像情報作成部３００６での画像情報、アダプタ識別情報、音声情報のリンク方法(音声情報付き画像情報の作成方法)は、アダプタ識別情報、音声情報を画像情報のヘッダ部に組み込むようにしてもよい。そして組み込んだ、これら３つの情報を１つのファイルにまとめるようにしてもよい。
【００２５】
また、画像情報、アダプタ識別情報、音声情報を別々のファイルとして保存し、これらをリンクさせることもできる。
【００２６】
送受信部３００９は、音声情報付き画像情報作成部３００６で作成された音声情報付き画像情報を通信端末１０３、ネットワーク１０４を介して、サーバ１０５に送信し、サーバ１０５に保存する。
【００２７】
このとき、送受信部３００９もしくはサーバ１０５は、送受信部３００９が通信端末１０３、ネットワーク１０４を介して、サーバ１０５に送信した音声情報付き画像情報を音声情報付き画像情報に含まれるアダプタ情報、音声情報をもとに場所を特定し保存する。
【００２８】
例えば、"吉田幸司"という音声情報が画像情報に付与されておれば、送受信部３００９もしくはサーバ１０５はユーザ"吉田幸司"が使用している記憶領域に"吉田幸司"という音声情報が付与されている画像情報を保存する。
【００２９】
＜アダプタの動作説明＞
次いで、本発明の第1の実施形態のアダプタの動作について説明する。図４は第１の実施形態のアダプタの動作を示すフローチャートである。
【００３０】
まずアダプタ１０２は画像撮影装置１０１で撮影され、画像撮影装置１０１に保存された画像情報を取得する。アダプタ１０２が取得した画像情報は画像データそのものでもよいし、特定の画像を表すシンボル(画像データのタイトル等)であってもよい(ステップＳ４００１)。
【００３１】
次に、音声情報を付与する画像情報を選択する場合、画像撮影装置の表示画面を使って選択することもできるし、アダプタの表示画面を使って選択することもできる(ステップＳ４００２)。
【００３２】
次に、画像情報に音声情報を付与するために、音声情報のもととなる音声信号をアダプタもしくは画像撮影装置のマイクから入力し、入力した音声信号を図３のアダプタの音声信号取得部３００２で音声デジタル信号に変換する(ステップＳ４００３)。
【００３３】
次に、アダプタの音声認識、話者照合部は、音声信号を認識する。ここでは、図３のアダプタの音声信号取得部で変換された音声デジタル信号と図３の音声認識データベース内の音声個人識別情報と音声認識グラマーをもとに入力された音声信号にどのような言葉が含まれていたのか等が認識される。この他にも、音声信号は誰のものであるのか、男か女かなどが認識される(ステップＳ４００４)。
【００３４】
次に、ステップＳ４００４で認識された情報は音声情報に変換される(ステップＳ４００５)。
【００３５】
次に、ステップＳ４００５で作成された音声情報はステップＳ４００１でアダプタが取得した画像情報に付与・リンクされ、音声情報付き画像情報が作成される(ステップＳ４００６)。
【００３６】
ステップＳ４００６で作成された音声情報付き画像情報は図３の画像情報データベース３００８に保存される(ステップＳ４００７)。
【００３７】
ステップＳ４００７で画像情報データベース３００８に保存された音声情報付き画像情報は図３の送受信部３００９により、通信端末１０３を介して、サーバ１０５に送信され、サーバ１０５に保存される(ステップＳ４００８)。以上で説明した処理は、本発明でいう、画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与するステップに相当する。
【００３８】
なお、サーバ１０５に音声情報付き画像情報を保存するとき、音声情報付き画像情報に含まれている音声情報に基づいて、サーバ１０５に記憶する領域を決定することもできる。
【００３９】
（第２の実施の形態）
次いで、本発明の第２の実施形態について説明する。図５は、本発明の第２の実施形態を示すシステム構成図である。第１の実施形態はアダプタ１０２での画像情報への音声情報付与方法についてであったが、第２の実施形態は端末装置１０６を使った、ネットワーク１０４を介した、サーバ１０５での画像情報への音声付与方法についてである。
【００４０】
第２の実施形態でのシステムにおいて、１０１はデジタルカメラ等の画像撮影装置である。１０２は画像情報に音声情報の付与を行うアダプタである。１０３はネットワーク１０４とアダプタ１０２とをつなぐ携帯電話等の通信端末である。１０５は音声情報付き画像情報の保存・画像情報への音声情報の付与・音声情報付き画像情報に含まれる音声情報の修正を行うサーバである。１０６はサーバ１０５に音声情報付き画像情報の保存・画像情報への音声情報の付与・音声情報付き画像情報に含まれる音声情報の修正を指示する端末装置１０６である。
【００４１】
＜サーバのソフトウェア構成図＞
次に、本発明の実施形態に係るサーバ１０５について詳しく説明する。図６はサーバに実装されるソフトウェアの構成を示す図である。
【００４２】
サーバ１０５で画像情報(音声情報付き画像情報)が保存されるとき、送受信部６００１はサーバ１０５に送られてきた情報は画像情報(音声情報付き画像情報)であると判断し、画像情報取得部６００６を介して、画像情報データベース６００８に保存する。
【００４３】
サーバ１０５に保存された画像情報(音声情報付き画像情報)への音声情報の付与は、端末装置１０６がネットワーク１０４を介して、サーバ１０５に指示することで行われる。
【００４４】
端末装置１０６がサーバ１０５にアクセスすると、サーバ１０５の送受信部６００１はサーバ１０５に送られてきた情報が画像情報でないと判断し、端末装置１０６から送られる情報を音声信号取得部６００２に送る。
【００４５】
端末装置１０６からサーバ１０５にアクセスするには、サーバ１０５が認証する必要があり、そのために端末装置１０６はサーバ１０５の音声信号取得部６００２へユーザ名、パスワード等を音声信号、バイナリデータ、テキストデータを送信する。
【００４６】
また、端末装置１０６は、サーバ１０５で音声情報付き画像情報に音声情報を付与するために、音声情報のもととなる音声信号をサーバ１０５に送信する。
【００４７】
音声信号取得部６００２は、端末装置１０６から送信された情報に含まれる音声信号を音声デジタル信号に変換する。
【００４８】
音声認識・話者照合部６００３は、音声信号取得部６００２で変換された音声デジタル信号を音声認識データベース６００７に登録されている音声個人識別情報や音声認識グラマーを用いて、音声認識・話者照合する。
【００４９】
ここで、話者照合とは音声を用いた個人認証のことであり、音声個人識別情報とは個人の音声信号そのものである場合もあるし、個人の音声信号に関する特徴量・パラメータである場合もある。特徴量・パラメータとは、スペクトル包括、ピッチ、パワーなどの時間・周波数的特徴量、またその時間・周波数的特徴量から抽出した統計的特徴量等である。
【００５０】
音声情報作成部６００４は、音声認識・話者照合部６００３で音声認識・話者照合された情報をもとに音声情報を作成する。音声認識データベース６００７に音声個人識別情報を登録するには、まず端末装置１０６によって、ネットワーク１０４を介して、サーバに入力された音声信号を音声デジタル信号に変換する。そして、音声認識・話者照合部６００３はその変換した音声デジタル信号を個人識別情報変換し、音声認識データベース６００７に登録する。
【００５１】
音声情報付き画像情報作成部６００５は、画像情報取得部６００６で画像情報データベース６００８に保存された画像情報、音声情報作成部６００４で作られた音声情報をリンクし、音声情報付き画像情報を作成する。ここで、音声情報付き画像情報作成部６００５での画像情報、音声情報のリンク方法(音声情報付き画像情報の作成方法)であるが、音声情報を画像情報のヘッダ部に組み込み、音声情報と画像情報を１つのファイルにすべてまとめることもできる。音声情報と画像情報をそれぞれの別のファイルに格納し、それをリンクさせることもできる。
【００５２】
＜動作説明＞
次いで、本発明の第２の実施形態の動作について説明する。図７は第２の実施形態の動作を示すフローチャートである。
【００５３】
まず端末装置１０６からネットワーク１０４を介して、サーバ１０５にアクセスする。そして、サーバ１０５にあらかじめ保存されている画像情報(音声情報付き画像情報)の一覧から、音声情報を付与しようとする画像情報(音声情報付き画像情報)を選択する(ステップＳ７００１)。
【００５４】
次に、画像情報に音声情報を付与するために、音声情報のもとのなる音声信号を端末装置１０６から入力し、入力した音声信号を図６のサーバの音声信号取得部で音声デジタル信号に変換する(ステップＳ７００２)。
【００５５】
図５のサーバの音声認識、話者照合部は入力された音声信号を認識する。ここでは、図５のサーバの音声信号取得部６００２で変換された音声デジタル信号と図５の音声認識データベース６００７内の音声個人識別情報と音声認識グラマーとをもとに、入力された音声信号はどのような言葉が含まれていたのか等が認識される。これの他にも、音声信号は、誰のものであるのか、男か女かなどが認識する(ステップＳ７００３)。
【００５６】
ステップＳ７００３で認識された情報は音声情報に変換される(ステップＳ７００４)。
【００５７】
ステップＳ７００４で作成された音声情報はあらかじめサーバに保存されている画像情報とリンクされる(ステップＳ７００５)。
【００５８】
ステップＳ７００５での画像情報と音声情報のリンク方法であるが、画像情報と音声情報は画像情報のヘッダ部に音声情報を組み込み、１つのファイルにまとめることもできる。また、画像情報と音声情報を別々のファイルとして保存し、それらをリンクさせることもできる。ステップＳ７００５で画像情報と音声情報をリンクしたものを音声情報付き画像情報と呼ぶ。
【００５９】
ステップＳ７００５で作成された音声情報付き画像情報は図６の画像情報データベース６００８に保存される(ステップＳ７００６)。画像情報データベース６００８に音声情報付き画像情報を保存するとき、音声情報付き画像情報に含まれている音声情報に基づいて画像情報データベース６００８の記憶媒体の領域を決定することもできる。以上で説明した処理は、本発明でいう、画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与するステップに相当する。
【００６０】
なお、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。
【００６１】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６２】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６３】
また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。
【００６４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。
【図面の簡単な説明】
【００６５】
【図１】本発明の第１の実施の形態に係るシステムの構成を示す図である。
【図２】本発明の第１の実施の形態に係るアダプタの電気的構成を示すブロック図である。
【図３】本発明の第１の実施の形態に係るアダプタに実装されるソフトウェアの構成を示す図である。
【図４】本発明の第１の実施の形態に係るシステムにおける動作を説明するフローチャートである。
【図５】本発明の第２の実施の形態に係るシステムの構成を示す図である。
【図６】本発明の第２の実施の形態に係るサーバに実装されるソフトウェアの構成を示す図である。
【図７】本発明の第２の実施の形態に係るサーバでの処理の流れを説明するフローチャートである。
【符号の説明】
【００６６】
１０１ 画像撮影装置
１０２ アダプタ
１０３ 通信端末
１０４ ネットワーク
１０５ サーバ
１０６ 端末装置
２１０１ I／Ｆ
２１０２ マイコン
２１０３ ＵＩ
２１０４ 画像撮影装置I／Ｆ
２１０５ ＲＯＭ
２１０６ ＲＡＭ
２１０７ 電源
２１０８ 音声Ｉ／Ｆ
２１１０ 内部バス
２１１５ 表示装置
２１１６ マイク
３００１ 画像情報取得部(アダプタ)
３００２ 音声信号取得部(アダプタ)
３００３ 音声認識・話者照合部(アダプタ)
３００４ 音声認識データベース(アダプタ)
３００５ 音声情報作成部(アダプタ)
３００６ 音声情報付き画像情報作成部(アダプタ)
３００７ アダプタデータベース(アダプタ)
３００８ 画像情報データベース(アダプタ)
３００９ 送受信部(アダプタ)
６００１ 送受信部(サーバ)
６００２ 音声信号取得部(サーバ)
６００３ 音声認識・話者照合部(サーバ)
６００４ 音声情報作成部(サーバ)
６００５ 音声情報付き画像情報作成部(サーバ)
６００６ 画像情報取得部(サーバ)
６００７ 音声認識データベース(サーバ)
６００８ 画像情報データベース(サーバ)
【特許請求の範囲】
【請求項１】
画像撮影装置と、前記画像撮影装置に接続されており、前記画像撮影装置に保存された画像情報に音声情報の付与を行うアダプタと、前記アダプタによって通信端末およびネットワークを介して音声情報付き画像情報が保存されるサーバと、前記サーバに保存されている音声情報付き画像情報に含まれている音声情報をネットワークを介して修正及び追加する端末装置とで構成される画像情報への音声情報付与システムにおける音声情報付与方法であって、
画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与するステップを有することを特徴とする音声情報付与方法。
【請求項２】
画像撮影装置と、前記画像撮影装置に接続されており、前記画像撮影装置に保存された画像情報に音声情報の付与を行うアダプタと、前記アダプタによって通信端末およびネットワークを介して音声情報付き画像情報が保存されるサーバと、前記サーバに保存されている音声情報付き画像情報に含まれている音声情報をネットワークを介して修正及び追加する端末装置とで構成される画像情報への音声情報付与システムにおける音声情報付与方法をコンピュータに実行させるためのコンピュータプログラムであって、
画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与するステップをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項３】
画像撮影装置と、前記画像撮影装置に接続されており、前記画像撮影装置に保存された画像情報に音声情報の付与を行うアダプタと、前記アダプタによって通信端末およびネットワークを介して音声情報付き画像情報が保存されるサーバと、前記サーバに保存されている音声情報付き画像情報に含まれている音声情報をネットワークを介して修正及び追加する端末装置とで構成される画像情報への音声情報付与装置であって、
画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与する手段を有することを特徴とする音声情報付与装置。
【請求項１】
画像撮影装置と、前記画像撮影装置に接続されており、前記画像撮影装置に保存された画像情報に音声情報の付与を行うアダプタと、前記アダプタによって通信端末およびネットワークを介して音声情報付き画像情報が保存されるサーバと、前記サーバに保存されている音声情報付き画像情報に含まれている音声情報をネットワークを介して修正及び追加する端末装置とで構成される画像情報への音声情報付与システムにおける音声情報付与方法であって、
画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与するステップを有することを特徴とする音声情報付与方法。
【請求項２】
画像撮影装置と、前記画像撮影装置に接続されており、前記画像撮影装置に保存された画像情報に音声情報の付与を行うアダプタと、前記アダプタによって通信端末およびネットワークを介して音声情報付き画像情報が保存されるサーバと、前記サーバに保存されている音声情報付き画像情報に含まれている音声情報をネットワークを介して修正及び追加する端末装置とで構成される画像情報への音声情報付与システムにおける音声情報付与方法をコンピュータに実行させるためのコンピュータプログラムであって、
画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与するステップをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項３】
画像撮影装置と、前記画像撮影装置に接続されており、前記画像撮影装置に保存された画像情報に音声情報の付与を行うアダプタと、前記アダプタによって通信端末およびネットワークを介して音声情報付き画像情報が保存されるサーバと、前記サーバに保存されている音声情報付き画像情報に含まれている音声情報をネットワークを介して修正及び追加する端末装置とで構成される画像情報への音声情報付与装置であって、
画像情報に、音声認識及び話者照合の少なくとも何れかを行うことで音声信号から抽出した音声情報を付与する手段を有することを特徴とする音声情報付与装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２４５００８（Ｐ２００８−２４５００８Ａ）
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願番号】特願２００７−８４３４４（Ｐ２００７−８４３４４）
【出願日】平成１９年３月２８日（２００７．３．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願日】平成１９年３月２８日（２００７．３．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]