表示装置、表示方法及びプログラム
【課題】画像の所望の位置に所望の画像を容易に表示する。
【解決手段】表示部８の表示領域に表示される画像を取得する画像取得部６ａと、音源から発せられた音を集音する集音部３ａと、集音部３ａにより集音された音の音源方向を特定する音源方向特定部３ｄと、音源方向特定部３ｄにより特定された音の音源方向に基づいて、当該音に関連する音関連画像の表示領域における表示位置を決定する位置決定部６ｆと、表示領域に表示される所定の画像と重なるように、音関連画像を位置決定部６ｆにより決定された表示位置に表示させる表示制御部７と、を備えている。
【解決手段】表示部８の表示領域に表示される画像を取得する画像取得部６ａと、音源から発せられた音を集音する集音部３ａと、集音部３ａにより集音された音の音源方向を特定する音源方向特定部３ｄと、音源方向特定部３ｄにより特定された音の音源方向に基づいて、当該音に関連する音関連画像の表示領域における表示位置を決定する位置決定部６ｆと、表示領域に表示される所定の画像と重なるように、音関連画像を位置決定部６ｆにより決定された表示位置に表示させる表示制御部７と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示方法及びプログラムに関する。
【背景技術】
【０００２】
従来、スタンプ画像と表示画像とを合成する写真作成装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５９１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の場合、ユーザがスタンプ画像が表示されたキーを操作したり、スタンプ画像を合成する位置を指定したりしなければならず、それらの操作が煩わしいという問題がある。
【０００５】
本発明の課題は、画像の所望の位置に所望の画像を容易に表示することができる表示装置、表示方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の表示装置は、
表示手段を備えた表示装置において、
前記表示手段の表示領域に表示される画像を取得する取得手段と、
音源から発せられた音を集音する集音手段と、
当該装置本体の位置を基準として、前記集音手段により集音された音の音源方向を特定する方向特定手段と、
この方向特定手段により特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する位置決定手段と、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を前記位置決定手段により決定された表示位置に表示させる表示制御手段と、
を備えたことを特徴としている。
【０００７】
また、本発明の表示方法は、
表示手段と、音源から発せられた音を集音する集音手段とを備える表示装置を用いた表示方法であって、
前記表示手段の表示領域に画像を表示する処理と、
前記表示装置本体の位置を基準として、前記集音手段により集音された音の音源方向を特定する処理と、
特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する処理と、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を決定された表示位置に表示させる処理と、
を行うことを特徴としている。
【０００８】
また、本発明のプログラムは、
表示手段と、音源から発せられた音を集音する集音手段とを備える表示装置のコンピュータを、
前記表示装置本体の位置を基準として、前記表示手段の表示領域に表示される画像を取得する取得手段、
前記集音手段により集音された音の音源方向を特定する方向特定手段、
この方向特定手段により特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する位置決定手段、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を前記位置決定手段により決定された表示位置に表示させる表示制御手段、
として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、画像の所望の位置に所望の画像を容易に表示することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の表示装置の概略構成を示すブロック図である。
【図２】図１の表示装置による音関連画像表示処理に係る動作の一例を示すフローチャートである。
【図３】図２の音関連画像表示処理に係る画像の一例を模式的に示す図である。
【図４】図２の音関連画像表示処理に係る画像の一例を模式的に示す図である。
【図５】図２の音関連画像表示処理に係る画像の一例を模式的に示す図である。
【図６】図２の音関連画像表示処理に係る画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の表示装置１００の概略構成を示すブロック図である。
【００１２】
本実施形態の表示装置１００は、表示部８の表示領域Ｒに表示される所定の画像と重なるように、集音部３ａにより集音された音に関連する音関連画像を表示する。その際、集音部３ａにより集音された音の音源方向を特定し、特定した音源方向に基づいて音関連画像の表示領域Ｒにおける表示位置を決定し、決定した表示位置に音関連画像を表示する。
具体的には、表示装置１００は、例えば卓上に設置されるデジタルフォトフレーム等であり、図１に示すように、中央制御部１と、操作入力部２と、音処理部３と、メモリ４と、記録媒体制御部５と、画像処理部６と、表示制御部７と、表示部８とを備えている。
【００１３】
中央制御部１は、表示装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、表示装置１００用の各種処理プログラム（図示略）や操作入力部２により入力された操作信号等に従って各種の制御動作を行う。
【００１４】
操作入力部２は、表示装置１００に対して各種指示を入力するためのものである。具体的には、文字等を入力するためのデータ入力キーや、データの選択又は指定の操作等を行うための上下左右移動キーや各種機能キー等によって構成される操作部を備えている。中央制御部１は、操作入力部２から出力され入力された操作信号に従って所定の動作を各部に実行させる。また、操作入力部２は、リモコンやタッチパネル等のその他の入力装置を備えるものとしても良い。
【００１５】
音処理部３は、集音部３ａと、録音部３ｂと、音量特定部３ｃと、音源方向特定部３ｄと、音認識部３ｅと、個体識別部３ｆと、音声情報テーブルＴ１とを具備している。
【００１６】
集音部３ａは、マイク等であり、ヒトや動物等の音源Ｓから発せられた音を集音する。
具体的には、集音部３ａは、例えば、表示装置１００を正面から見て表示部８の表示領域Ｒの右上側と左下側の２箇所に、音源Ｓから発せられた音の振動が入力される入力部ａ１、ａ１が設けられ（図３等参照）、これら入力部ａ１に入力された音の振動にＡ／Ｄ変換等を施して音データを生成する。
なお、表示装置１００が備える集音部３ａの入力部ａ１の個数や配設位置は、集音部３ａにより集音された音の音源方向を特定可能であれば、適宜任意に変更可能である。
【００１７】
録音部３ｂは、所定の録音開始タイミングで集音部３ａにより集音された音の音データの記録を開始し、所定の録音終了タイミングで当該記録を終了する。
ここで、録音開始タイミング及び録音終了タイミングは、ユーザからの指示に応じたタイミングであれば良い。
具体的には、録音部３ｂは、ユーザによる操作入力部２の録音指示キー（図示略）の所定操作に応じて中央制御部１から出力される所定の録音指示信号の入力に基づいて、録音開始タイミングや録音終了タイミングを特定する。例えば、録音部３ｂは、ユーザにより録音指示キーが所定操作（例えば、押下）されると録音開始タイミングになったと判定するとともに、当該所定操作が解除されると録音終了タイミングになったと判定しても良い。また、録音部３ｂは、ユーザにより録音指示キーが操作されると録音開始タイミングになったと判定するとともに、その録音指示キーが再度操作されると録音終了タイミングになったと判定しても良い。
【００１８】
また、録音部３ｂは、ユーザによる撮像部（図示略）に対する所定のジェスチャに応じて中央制御部１から出力される所定の録音指示信号の入力に基づいて、録音開始タイミングや録音終了タイミングを特定しても良い。即ち、例えば、録音部３ｂは、その撮像部によってユーザによる所定のジェスチャが撮像されると録音開始タイミングになったと判定するとともに、当該録音開始タイミングから所定時間経過後に録音終了タイミングになったと判定しても良い。また、録音部３ｂは、その撮像部によってユーザによる所定の録音開始指示ジェスチャが撮像されると録音開始タイミングになったと判定するとともに、その撮像部によってユーザによる所定の録音終了指示ジェスチャが撮像されると録音終了タイミングになったと判定としても良い。
【００１９】
音量特定部３ｃは、音量特定手段として、集音部３ａにより集音された音の音量を特定する。
具体的には、音量特定部３ｃは、例えば、録音開始タイミングから録音終了タイミングまでに集音部３ａにより集音されて録音部３ｂに記録された音の音データに基づいて、当該音（例えば、音声等）の音量を特定する。
なお、集音部３ａにより集音された音の音量は、公知の手法を用いて特定可能であるので、ここでは詳細な説明を省略する。
【００２０】
音源方向特定部３ｄは、方向特定手段として、集音部３ａにより集音された音の音源方向を特定する。
具体的には、音源方向特定部３ｄは、例えば、録音開始タイミングから録音終了タイミングまでに集音部３ａにより集音されて録音部３ｂに記録された音の音データに基づいて、当該音の音源Ｓ（ヒトや動物等の個体）の表示装置１００に対する位置を特定する。即ち、音源方向特定部３ｄは、例えば、音源Ｓからの音が集音部３ａの一方の入力部ａ１に到達した時間と他方の入力部ａ１に到達した時間との差に基づいて、音源Ｓ（ヒトや動物等の個体）の表示装置１００に対する位置（例えば、図３（ｂ）における表示装置１００の左側や、図４（ｂ）における右側等）を特定する。そして、音源方向特定部３ｄは、表示装置１００に対する音源Ｓの位置に向かう方向（例えば、図３（ｂ）における左方向や、図４（ｂ）における右方向等）を音源方向とする。
【００２１】
なお、音源Ｓの表示装置１００に対する位置や音源方向は、表示装置１００の表示領域Ｒが含まれる平面と略平行な二次元の空間を基準として特定しても良いし、さらに表示装置１００の表示領域Ｒに略直交する前後方向を加えた三次元の空間を基準として特定しても良い。
また、音源方向特定部３ｄは、例えば、予め規定されている複数の方向（例えば、上方向、下方向、左方向及び右方向の４つの方向等）の中から、音源Ｓの表示装置１００に対する位置に向かう方向に最も近い方向を音源方向としても良い。ここで、音源Ｓの表示装置１００に対する位置に向かう方向に最も近い方向とは、予め規定されている複数の方向の中で、各々の方向に延在する直線と音源Ｓの表示装置１００に対する位置に向かう方向に延在する直線とのなす角が最も小さくなる方向のことを言う。
【００２２】
音認識部３ｅは、音認識手段として、集音部３ａにより集音された音を認識する。
具体的には、音認識部３ｅは、例えば、録音開始タイミングから録音終了タイミングまでに集音部３ａにより集音されて録音部３ｂに記録された音（特に、音声）の音データに基づいて、当該音を認識して対応する文字で表すための文字データを生成する。
なお、集音部３ａにより集音された音は、所定の音声認識辞書を使用して認識する等の公知の手法を用いて認識可能であるので、ここでは詳細な説明を省略する。
【００２３】
また、音認識部３ｅは、集音部３ａにより集音された音の意味内容を認識しても良い。
ここで、集音部３ａにより集音された音の意味内容は、所定の意味解析辞書を使用して認識する等の公知の手法を用いて認識可能であるので、ここでは詳細な説明を省略する。
【００２４】
個体識別部３ｆは、集音部３ａにより集音された音を発した個体を識別する。
具体的には、個体識別部３ｆは、例えば、録音開始タイミングから録音終了タイミングまでに集音部３ａにより集音されて録音部３ｂに記録された音声の音データに基づいて、当該音声と一致する音声情報が音声情報テーブルＴ１に記憶されているか否かを判定する。そして、音声と一致する音声情報が音声情報テーブルＴ１に記憶されていると判定すると、個体識別部３ｆは、当該音声と一致する音声情報に対応する識別情報を音声情報テーブルＴ１から取得することによって、集音部３ａにより集音された音声を発した個体を識別する。
【００２５】
なお、音声情報テーブルＴ１は、第２記憶手段として、ヒト及び動物のうち、少なくとも一方の各個体の識別に用いられる音声情報を記憶する。
具体的には、音声情報テーブルＴ１は、例えば、ヒトや動物等の個体の音声を識別するための音声情報（例えば、音声の特徴情報）と、当該個体を識別するための識別情報（例えば、名前）とが対応付けられて記憶されている。
ここで、音声の特徴情報としては、例えば、声紋等の情報が挙げられるが、ヒトや動物等の個体の音声を識別するための情報であればこれに限定されることなく如何なる情報であってもよい。
【００２６】
メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＮＡＮＤ型フラッシュメモリなどのＲＯＭ等により構成され、中央制御部１、音処理部３、画像処理部６等によって処理されるデータ等を一時的に記憶する。
【００２７】
記録媒体制御部５は、記録媒体５１が着脱自在に構成され、装着された記録媒体５１からのデータの読み出しや記録媒体５１に対するデータの書き込みを制御する。
即ち、記録媒体制御部５は、例えば、撮像装置等の外部装置から取り外された後に取り付けられた記録媒体５１からの表示対象となる所定の画像データの読み出しを制御する。
なお、記録媒体５１は、例えば、ＳＤカードやＵＳＢメモリなどの不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限定されるものではなく、適宜任意に変更可能である。
【００２８】
画像処理部６は、画像取得部６ａと、顔検出部６ｂと、寸法決定部６ｃと、向き決定部６ｄと、音関連画像生成部６ｅと、位置決定部６ｆと、顔識別用情報テーブルＴ２とを具備している。
【００２９】
画像取得部６ａは、表示部８の表示領域Ｒに表示される画像の画像データ、即ち、表示対象となる画像を取得する。
具体的には、画像取得部６ａは、ユーザによる操作入力部２の所定操作に基づいて記録媒体５１から読み出された画像データを表示対象の画像データとして取得する。また、画像取得部６ａは、記録媒体５１に記憶された画像データの中で、ユーザによる操作入力部２の所定操作に基づいて指定された画像データを表示対象の画像データとして取得する。
【００３０】
顔検出部６ｂは、画像取得部６ａにより取得された表示対象の画像からヒトや動物等の顔を検出する。
具体的には、顔検出部６ｂは、画像取得部６ａにより取得された表示対象の画像の画像データに対して所定の顔検出処理を行って、当該画像に含まれる全ての顔の顔領域を検出する。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００３１】
寸法決定部６ｃは、寸法決定手段として、音量特定部３ｃにより特定された音量に基づいて、後述する音関連画像生成部６ｅにより生成され、表示領域Ｒに表示される音関連画像の寸法を決定する。
ここで、音関連画像とは、音認識部３ｅにより認識された音を対応する文字で表した文字画像Ｍである。
文字画像Ｍは、文字を囲む枠部分の所定位置に接続された引き出し線Ｌを具備するふきだし画像を含んでいても良い。即ち、文字画像Ｍは、音認識部３ｅにより生成された文字データに基づく画像（文字本体画像）のみからなる画像であっても良いし、音認識部３ｅにより生成された文字データに基づく画像（文字本体画像）とふきだし画像とからなる画像であっても良い。なお、文字画像Ｍにふきだし画像を含めるか否かは、ユーザからの所定指示の有無、音量特定部３ｃにより特定された音量、表示対象の画像内に顔があるか否か、音認識部３ｅによって認識された音の意味内容等に応じて選択しても良い。
【００３２】
具体的には、寸法決定部６ｃは、音量特定部３ｃにより特定された音量が大きいほど、表示領域Ｒに表示される文字画像Ｍが相対的に大きくなるよう、表示領域Ｒに表示される文字画像Ｍの寸法を決定する。即ち、寸法決定部６ｃは、例えば、音量特定部３ｃにより特定された音量が所定の第１音量閾値未満である場合、所定の「第１寸法」を文字画像Ｍの寸法として決定する。また、寸法決定部６ｃは、音量特定部３ｃにより特定された音量が第１音量閾値以上であり所定の第２音量閾値未満である場合、第１寸法よりも大きい所定の「第２寸法」を文字画像Ｍの寸法として決定する。また、寸法決定部６ｃは、音量特定部３ｃにより特定された音量が第２音量閾値以上である場合、第２寸法よりも大きい所定の「第三寸法」を文字画像Ｍの寸法として決定する。
なお、文字画像Ｍの寸法を決定するための閾値は、第１音量閾値及び第２音量閾値の２つに限定されるものではなく、適宜任意に変更可能である。
また、音量に基づいて表示領域Ｒに表示される音関連画像（文字画像Ｍ）の寸法を決定できるのであれば、寸法決定部６ｃは、例えば、音量が小さいほど、表示領域Ｒに表示される文字画像Ｍが相対的に大きくなるよう、表示領域Ｒに表示される文字画像Ｍの寸法を決定しても良い。
【００３３】
向き決定部６ｄは、文字画像Ｍがふきだし画像を含む場合に、ふきだし画像の引き出し線Ｌの向きを決定する。
具体的には、向き決定部６ｄは、向き決定手段として、音源方向特定部３ｄにより特定された音源方向に基づいて、ふきだし画像の引き出し線Ｌの向きを決定する。
ここで、向き決定部６ｄは、例えば、音源方向特定部３ｄにより特定された音源方向と略同じ方向に延在するようにふきだし画像の引き出し線Ｌの向きを決定する。即ち、向き決定部６ｄは、例えば図３（ｂ）に示すように、音源方向が左方向の場合、引き出し線Ｌの先端が表示装置１００の左側を指す向き「左向き」をふきだし画像の引き出し線Ｌの向きとして決定する。また、向き決定部６ｄは、例えば図４（ｂ）に示すように、音源方向が右方向の場合、引き出し線Ｌの先端が表示装置１００の右側を指す向き「右向き」をふきだし画像の引き出し線Ｌの向きとして決定する。
【００３４】
音関連画像生成部６ｅは、集音部３ａにより集音された音に関連する音関連画像を生成する。
具体的には、音関連画像生成部６ｅは、例えば、音認識部３ｅにより生成された文字データに基づく画像（文字本体画像）を生成し、当該生成した画像の寸法を寸法決定部６ｃにより決定された寸法に基づいて調整することによって、文字画像Ｍを生成する。
【００３５】
また、文字画像Ｍがふきだし画像を含む場合、音関連画像生成部６ｅは、例えば、音認識部３ｅにより生成された文字データに基づく画像（文字本体画像）に所定形状のふきだし画像を付加することによって、文字画像Ｍを生成する。
即ち、音関連画像生成部６ｅは、画像処理部６等に格納された所定の記録手段（図示略）に記録されているふきだし画像データを取得し、当該取得したふきだし画像データに基づくふきだし画像の枠内に、音認識部３ｅにより生成された文字データに基づく画像（文字本体画像）が配置されるようにふきだし画像のサイズを調整する。また、音関連画像生成部６ｅは、当該取得したふきだし画像データに基づくふきだし画像の引き出し線Ｌの向きを向き決定部６ｄにより決定された向きに基づいて調整する。そして、音関連画像生成部６ｅは、文字本体画像と、サイズや向きが調整されたふきだし画像とを合成して合成画像を生成し、当該生成した合成画像の寸法を寸法決定部６ｃにより決定された寸法に基づいて調整することによって、文字画像Ｍを生成する。
なお、音関連画像生成部６ｅは、音認識部３ｅにより生成された文字データに基づく画像（文字本体画像）の文字数に基づいて、所定の記録手段から取得するふきだし画像データを変更しても良い。
【００３６】
また、音認識部３ｅによって音の意味内容が認識される場合、音関連画像生成部６ｅは、当該意味内容に基づいて、所定の記録手段から取得するふきだし画像データを変更しても良い。具体的には、音関連画像生成部６ｅは、例えば、図３（ｂ）に示すように、「ヤッホー」等の叫ぶ際に使用する言葉が音声として集音部３ａにより集音された場合には、文字を囲む枠部分の形状がギザギザしたふきだし画像のふきだし画像データを取得し、図４（ｂ）に示すように、「こんにちは」等のあいさつする際に使用する言葉が音声として集音部３ａにより集音された場合には、文字を囲む枠部分の形状が略楕円形のふきだし画像のふきだし画像データを取得しても良い。これにより、表示装置１００は、集音部３ａによって集音された音の意味内容に応じて、表示部８の表示領域Ｒに表示する文字画像Ｍに含まれるふきだし画像の形状を変化させることができる。
【００３７】
位置決定部６ｆは、集音部３ａにより集音された音に関連する音関連画像（文字画像Ｍ）の表示領域Ｒにおける表示位置を決定する。
具体的には、位置決定部６ｆは、例えば、顔検出部６ｂにより顔が検出された場合、音源方向特定部３ｄにより特定された音源方向と、顔検出部６ｂにより所定の画像（表示対象の画像）から検出された顔の位置とに基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定する。
ここで、位置決定部６ｆは、例えば、顔検出部６ｂにより検出された顔の個数が１個である場合、当該顔の顔領域を、文字画像Ｍを付与する顔領域として特定する。そして、位置決定部６ｆは、当該特定した顔領域の周辺領域のうち、音源方向特定部３ｄにより特定された音源方向の逆側の領域内の所定位置の座標（例えば、当該所定位置の中心座標）を、文字画像Ｍの表示位置として決定する。即ち、位置決定部６ｆは、例えば図４（ｂ）に示すように、音源方向が右方向の場合、特定した顔領域の周辺領域のうち左側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。
【００３８】
また、位置決定部６ｆは、例えば、顔検出部６ｂにより検出された顔の個数が複数個である場合、個体識別部３ｆにより取得された識別情報（個体識別部３ｆにより識別された個体の識別情報）に対応する顔識別用情報を顔識別用情報テーブルＴ２から取得して、顔検出部６ｂにより検出された顔の中に、当該取得した顔識別用情報と一致する顔があるか否かを判定する。
そして、顔検出部６ｂにより検出された顔の中に、当該取得した顔識別用情報と一致する顔があると判定した場合、位置決定部６ｆは、顔検出部６ｂにより所定の画像（表示対象の画像）から検出され、個体識別部３ｆにより識別された個体の顔識別用情報を用いて識別される顔の位置に基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定する。即ち、位置決定部６ｆは、当該取得した顔識別用情報と一致する顔の顔領域を、文字画像Ｍを付与する顔領域として特定する。そして、位置決定部６ｆは、当該特定した顔領域の周辺領域のうち、音源方向特定部３ｄにより特定された音源方向の逆側の領域内の所定位置の座標（例えば、当該所定位置の中心座標）を、文字画像Ｍの表示位置として決定する。
一方、顔検出部６ｂにより検出された顔の中に、当該取得した顔識別用情報と一致する顔がないと判定した場合、位置決定部６ｆは、顔検出部６ｂにより検出された顔の顔領域の中で所定条件を満たす顔領域（例えば、最も寸法が大きい顔領域）を、文字画像Ｍを付与する顔領域として特定する。そして、位置決定部６ｆは、当該特定した顔領域の周辺領域のうち、音源方向特定部３ｄにより特定された音源方向の逆側の領域内の所定位置の座標（例えば、当該所定位置の中心座標）を、文字画像Ｍの表示位置として決定する。
【００３９】
この際、位置決定部６ｆは、例えば、特定した顔領域の周辺領域のうち、音源方向の逆側の領域内の所定位置として、寸法決定部６ｃにより決定された寸法等に基づいて当該特定した顔領域と文字画像Ｍとが重ならない位置を選択する。また、位置決定部６ｆは、重ならない位置がない場合には、当該特定した顔領域と文字画像Ｍとの重なる度合いが最も小さい位置を選択する。
さらに、位置決定部６ｆは、特定した顔領域の周辺領域のうち、音源方向の逆側の領域内の所定位置として、当該特定した顔領域の中心位置等にふきだし画像の引き出し線Ｌの先端が向く位置を選んでも良いし、当該特定した顔領域の中の特定領域（例えば、口元領域）の中心位置等にふきだし画像の引き出し線Ｌの先端が向く位置を選んでも良い。
【００４０】
また、位置決定部６ｆは、例えば、顔検出部６ｂにより顔が検出されなかった場合、音源方向特定部３ｄにより特定された音源方向に基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定する。
ここで、位置決定部６ｆは、表示部８の表示領域Ｒのうち、音源方向特定部３ｄにより特定された音源方向側の領域内の所定位置の座標（例えば、当該所定位置の中心座標）を、文字画像Ｍの表示位置として決定する。即ち、位置決定部６ｆは、例えば図３（ｂ）に示すように、音源方向が左方向の場合、表示領域Ｒのうち左側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。
【００４１】
顔識別用情報テーブルＴ２は、第１記憶手段として、ヒト及び動物のうち、少なくとも一方の各個体の顔を識別するための顔識別用情報を記憶する。
具体的には、顔識別用情報テーブルＴ２は、例えば、ヒトや動物等の個体の顔を識別するための顔識別用情報（例えば、顔の特徴情報）と、当該個体を識別するための識別情報（例えば、名前）とを対応付けて予め記憶している。
ここで、顔の特徴情報としては、例えば、目、鼻、口等に相当する顔パーツの情報や所定角度ごとに撮影されたヒトや動物等の顔画像が挙げられるが、ヒトや動物等の個体の顔を識別するための情報であればこれらに限定されることなく如何なる情報であってもよい。
【００４２】
表示制御部７は、画像取得部６ａにより取得された表示対象の画像の画像データに基づいて、所定の画像を表示部８の表示領域Ｒに表示させる制御を行う。
また、表示制御部７は、表示制御手段として、表示領域Ｒに表示される所定の画像（表示対象の画像）と重なるように、音関連画像（文字画像Ｍ）を位置決定部６ｆにより決定された表示位置に表示させる。具体的には、表示制御部７は、音関連画像生成部６ｅにより生成された文字画像ＭをＯＳＤ画像として、表示領域Ｒに表示されている表示対象の画像と重なるように重畳表示させる。この際、例えば、位置決定部６ｆにより文字画像Ｍの表示位置として決定された座標が、前記所定位置の中心座標である場合、表示制御部７は、当該中心座標と文字画像Ｍの中心座標とが一致するように、文字画像Ｍを表示させる。
なお、表示制御部７は、表示部８以外の表示手段と接続するための外部接続Ｉ／Ｆ等を備えていても良い。これにより、表示制御部７は、表示装置１００に接続された外部表示装置に表示対象の画像や音関連画像（文字画像Ｍ）等を表示させることが可能となる。
【００４３】
表示部８は、表示手段として、表示制御部７の制御下にて、表示対象の画像を表示領域Ｒに表示したり、当該表示対象の画像に文字画像Ｍを重畳表示する。表示部８としては、例えば、液晶表示パネルや有機ＥＬ表示パネル等が挙げられるが、これらに限られるものではない。
【００４４】
次に、表示装置１００による音関連画像表示処理について図２を参照して説明する。
図２は、音関連画像表示処理に係る動作の一例を示すフローチャートである。
【００４５】
図２に示すように、先ず、表示制御部７は、画像取得部６ａにより取得された表示対象の画像の画像データに基づいて、所定の画像を表示部８の表示領域Ｒに表示させる（ステップＳ１）。
次に、集音部３ａは、ヒトや動物等の音源Ｓから発せられた音声（音）を集音し、録音部３ｂは、集音部３ａにより集音された音声を録音する（ステップＳ２）。
【００４６】
次に、音量特定部３ｃは、ステップＳ２で集音されて録音された音声の音量を特定し、音源方向特定部３ｄは、ステップＳ２で集音されて録音された音声の音源方向を特定する（ステップＳ３）。
具体的には、音源方向特定部３ｄは、例えば、音源Ｓからの音が集音部３ａの一方の入力部ａ１に到達した時間と他方の入力部ａ１に到達した時間との差に基づいて、音源Ｓ（ヒトや動物等の個体）の表示装置１００に対する位置を特定し、その位置に向かう方向を音源方向とする。
【００４７】
次に、音認識部３ｅは、ステップＳ２で集音されて録音された音声を認識し、当該音声を対応する文字で表すための文字データを生成する（ステップＳ４）。
次に、個体識別部３ｆは、音声情報テーブルＴ１に記憶されている音声情報に基づいて、集音部３ａにより集音されて録音部３ｂにより録音された音声を発した個体（ヒトや動物等）を識別する（ステップＳ５）。
【００４８】
次に、寸法決定部６ｃは、ステップＳ３で特定された音量に基づいて、表示領域Ｒに表示される音関連画像（文字画像Ｍ）の寸法を決定する（ステップＳ６）。
具体的には、例えば、図４（ｂ）に示すように、集音されて録音された音声の音量が比較的小さい場合（例えば、第１音量閾値未満である場合）、寸法決定部６ｃは、比較的小さい寸法（例えば、第１寸法）を、表示領域Ｒに表示される文字画像Ｍの寸法として決定する。一方、例えば、図５に示すように、集音されて録音された音声の音量が比較的大きい場合（例えば、第１音量閾値以上第２音量閾値未満である場合）、寸法決定部６ｃは、比較的大きい寸法（例えば、第１寸法よりも大きい第２寸法）を、表示領域Ｒに表示される文字画像Ｍの寸法として決定する。
【００４９】
次に、向き決定部６ｄは、ステップＳ３で特定された音源方向に基づいて、文字画像Ｍに含まれるふきだし画像の引き出し線Ｌの向きを決定する（ステップＳ７）。
具体的には、例えば、図３（ｂ）に示すように、音源方向が左方向の場合、向き決定部６ｄは、引き出し線Ｌの先端が表示装置１００の左側を指す向き「左向き」をふきだし画像の引き出し線Ｌの向きとして決定する。一方、例えば、図４（ｂ）に示すように、音源方向が右方向の場合、向き決定部６ｄは、引き出し線Ｌの先端が表示装置１００の右側を指す向き「右向き」をふきだし画像の引き出し線Ｌの向きとして決定する。
【００５０】
次に、音関連画像生成部６ｅは、ステップＳ４での認識結果（具体的には、ステップＳ４で生成された文字データ）や、ステップＳ６で決定された寸法、ステップＳ７で決定された引き出し線Ｌの向き等に基づいて、ステップＳ２で集音されて録音された音声に関連する音関連画像を生成する（ステップＳ８）。
具体的には、音関連画像生成部６ｅは、画像処理部６等に格納された所定の記録手段（図示略）に記録されているふきだし画像データを取得し、当該取得したふきだし画像データに基づくふきだし画像の枠内に、ステップＳ４で生成された文字データに基づく画像（文字本体画像）が配置されるようにふきだし画像のサイズを調整する。また、音関連画像生成部６ｅは、当該取得したふきだし画像データに基づくふきだし画像の引き出し線Ｌの向きをステップＳ７で決定された向きに基づいて調整する。そして、音関連画像生成部６ｅは、文字本体画像と、サイズや向きが調整されたふきだし画像とを合成して合成画像を生成し、当該生成した合成画像の寸法をステップＳ６で決定された寸法に基づいて調整することによって、文字画像Ｍを生成する。
【００５１】
次に、顔検出部６ｂは、画像取得部６ａにより取得されて表示部８の表示領域Ｒに表示されている表示対象の画像から、ヒトや動物等の顔を検出する（ステップＳ９）。
次に、位置決定部６ｆは、ステップＳ９で顔が検出されたか否かを判定する（ステップＳ１０）。
【００５２】
ステップＳ１０にて、ステップＳ９で顔が検出されなかったと判定した場合（ステップＳ１０；ＮＯ）、即ち、表示部８の表示領域Ｒに表示されている表示対象の画像が、例えば図３（ａ）に示すような風景画等である場合、位置決定部６ｆは、ステップＳ３で特定された音源方向に基づいて、音関連画像の表示領域Ｒにおける表示位置を決定する（ステップＳ１１）。
具体的には、位置決定部６ｆは、表示部８の表示領域Ｒのうち、ステップＳ３で特定された音源方向側の領域内の所定位置の座標を、音関連画像（文字画像Ｍ）の表示位置として決定する。例えば、図３（ｂ）に示すように、音源方向が左方向の場合、位置決定部６ｆは、表示領域Ｒのうち左側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。
【００５３】
次に、表示制御部７は、表示部８の表示領域Ｒに表示されている表示対象の画像と重なるように、ステップＳ８で生成された音関連画像を、ステップＳ１１で決定された表示位置に表示させる（ステップＳ１６；図３（ｂ）参照）。
【００５４】
また、ステップＳ１０にて、ステップＳ９で顔が検出されたと判定した場合（ステップＳ１０；ＹＥＳ）、即ち、表示部８の表示領域Ｒに表示されている表示対象の画像が、例えば図４（ａ）や図６（ａ）に示すようなヒトを被写体とする画像等である場合、位置決定部６ｆは、ステップＳ９で検出された顔の個数は複数であるか否かを判定する（ステップＳ１２）。
【００５５】
ステップＳ１２にて、ステップＳ９で検出された顔の個数は複数でないと判定した場合（ステップＳ１２；ＮＯ）、即ち、表示部８の表示領域Ｒに表示されている表示対象の画像が、例えば図４（ａ）に示すような画像等である場合、位置決定部６ｆは、ステップＳ３で特定された音源方向や、ステップＳ９で検出された顔の位置に基づいて、音関連画像の表示領域Ｒにおける表示位置を決定する（ステップＳ１３）。
具体的には、位置決定部６ｆは、表示部８の表示領域ＲにおけるステップＳ９で検出された顔の顔領域を、音関連画像（文字画像Ｍ）を付与する顔領域として特定し、当該特定した顔領域の周辺領域のうち、ステップＳ３で特定された音源方向の逆側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。例えば、図４（ｂ）や図５に示すように、音源方向が右方向の場合、位置決定部６ｆは、表示領域Ｒにおける顔領域の周辺領域のうち左側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。
【００５６】
次に、表示制御部７は、表示部８の表示領域Ｒに表示されている表示対象の画像と重なるように、ステップＳ８で生成された音関連画像を、ステップＳ１３で決定された表示位置に表示させる（ステップＳ１６；図４（ｂ）や図５参照）。
【００５７】
また、ステップＳ１２にて、ステップＳ９で検出された顔の個数は複数であると判定した場合（ステップＳ１２；ＹＥＳ）、即ち、表示部８の表示領域Ｒに表示されている表示対象の画像が、例えば図６（ａ）に示すような画像等である場合、位置決定部６ｆは、顔識別用情報テーブルＴ２に記憶されている顔識別用情報に基づいて、ステップＳ９で検出された顔の中に、ステップＳ５で識別された個体（即ち、集音されて録音された音声を発した個体）の顔があるか否かを判定する（ステップＳ１４）。
【００５８】
ステップＳ１４にて、ステップＳ９で検出された顔の中に、ステップＳ５で識別された個体の顔がないと判定した場合（ステップＳ１３；ＮＯ）、位置決定部６ｆは、ステップＳ３で特定された音源方向や、ステップＳ９で検出された顔の位置に基づいて、音関連画像の表示領域Ｒにおける表示位置を決定する（ステップＳ１３）。
具体的には、位置決定部６ｆは、表示部８の表示領域ＲにおけるステップＳ９で検出された顔の顔領域の中で所定条件を満たす顔領域を、音関連画像（文字画像Ｍ）を付与する顔領域として特定し、当該特定した顔領域の周辺領域のうち、ステップＳ３で特定された音源方向の逆側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。
なお、音声情報テーブルＴ１に、集音されて録音された音声と一致する音声情報が記憶されていない場合や、顔識別用情報テーブルＴ２に、集音されて録音された音声を発した個体の顔識別用情報が記憶されていない場合にも、位置決定部６ｆは、ステップＳ１４にて、ステップＳ９で検出された顔の中に、ステップＳ５で識別された個体の顔がないと判定する。
【００５９】
次に、表示制御部７は、表示部８の表示領域Ｒに表示されている表示対象の画像と重なるように、ステップＳ８で生成された音関連画像を、ステップＳ１３で決定された表示位置に表示させる（ステップＳ１６）。
【００６０】
また、ステップＳ１４にて、ステップＳ９で検出された顔の中に、ステップＳ５で識別された個体の顔があると判定した場合（ステップＳ１４；ＮＯ）、位置決定部６ｆは、ステップＳ３で特定された音源方向や、ステップＳ９で検出されステップＳ５で識別された個体の顔の位置に基づいて、表示領域Ｒにおける音関連画像の表示位置を決定する（ステップＳ１５）。
具体的には、位置決定部６ｆは、表示部８の表示領域ＲにおけるステップＳ９で検出されステップＳ５で識別された個体の顔の顔領域を、音関連画像（文字画像Ｍ）を付与する顔領域として特定し、当該特定した顔領域の周辺領域のうち、ステップＳ３で特定された音源方向の逆側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。例えば、図６（ｂ）に示すように、音源方向が右方向の場合、位置決定部６ｆは、表示領域Ｒにおける顔領域（具体的には、集音されて録音された音声を発した個体の顔の顔領域）の周辺領域のうち左側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。
【００６１】
次に、表示制御部７は、表示部８の表示領域Ｒに表示されている表示対象の画像と重なるように、ステップＳ８で生成された音関連画像を、ステップＳ１５で決定された表示位置に表示させる（ステップＳ１６；図６（ｂ）参照）。
【００６２】
以上のように、本実施形態の表示装置１００によれば、集音部３ａにより集音された音に関連する音関連画像を表示するので、所望の画像を指定する際に、ユーザによる操作入力部２の煩わしい操作を不要とし、所望の画像に対応する音を集音部３ａに集音させるだけで、表示領域Ｒに表示される所定の画像に、当該所望の画像を重ねて表示することができる。
さらに、表示装置１００によれば、集音部３ａにより集音された音の音源方向に基づいて、当該音に関連する音関連画像の表示領域Ｒにおける表示位置を決定するので、所望の画像の表示位置として所望の位置を指定する際に、ユーザによる操作入力部２の煩わしい操作を不要とし、当該所望の位置に対応する方向からの音を集音部３ａに集音させるだけで、当該所望の位置を音関連画像の表示位置として決定することができる。つまり、ユーザが音に関連する音関連画像を表示させたい位置に応じて表示装置１００に対する音源Ｓ（例えば、ユーザ本人）の位置を変更するだけで、表示領域Ｒに表示される所定の画像内のユーザ所望の位置に、ユーザ所望の画像を重ねて表示することができる。
従って、表示装置１００は、表示部８の表示領域Ｒに表示される所定の画像のユーザ所望の位置にユーザ所望の音関連画像を容易に表示することができる。
【００６３】
また、本実施形態の表示装置１００によれば、音関連画像として、集音部３ａにより集音された音を対応する文字で表した文字画像Ｍを表示させることができる。したがって、ユーザによる操作入力部２等の操作により文字を入力する等の煩わしい操作を不要とし、ユーザ所望の文字画像Ｍに対応する音を集音部３ａに集音させるだけで、当該ユーザ所望の文字画像Ｍを表示領域Ｒに表示される所定の画像に重ねて表示することができる。
【００６４】
また、本実施形態の表示装置１００によれば、集音部３ａにより集音された音の音源方向と、表示部８の表示領域Ｒに表示される所定の画像（表示対象の画像）から検出された顔の位置とに基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定する。したがって、ユーザ所望の文字画像Ｍに対応する音をユーザ所望の位置に対応する方向から集音部３ａに集音させるだけで、当該ユーザ所望の位置と表示領域Ｒに表示される所定の画像内の顔部分とに基づいて、当該ユーザ所望の文字画像Ｍの表示位置を決定することができる。
【００６５】
また、本実施形態の表示装置１００によれば、集音部３ａにより集音された音声の音源方向と、表示部８の表示領域Ｒに表示される所定の画像（表示対象の画像）から検出された顔のうちの当該音声を発した個体の顔の位置とに基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定する。したがって、個体が発したユーザ所望の文字画像Ｍに対応する音声をユーザ所望の位置に対応する方向から集音部３ａに集音させるだけで、当該ユーザ所望の位置と表示領域Ｒに表示される所定の画像内の当該個体の顔部分とに基づいて、当該ユーザ所望の文字画像Ｍの表示位置を決定することができる。
【００６６】
また、本実施形態の表示装置１００によれば、集音部３ａにより集音された音の音源方向に基づいて、文字画像Ｍに含まれるふきだし画像の引き出し線Ｌの向きを決定する。したがって、ユーザによる操作入力部２等の操作によりふきだし線の引き出し線Ｌの向きを入力する等の煩わしい操作がなくても、ふきだし画像の引き出し線Ｌの向きとして適切な向きを決定することができる。
【００６７】
また、本実施形態の表示装置１００によれば、集音部３ａにより集音された音の音量に基づいて、表示部８の表示領域Ｒに表示される音関連画像（文字画像Ｍ）の寸法を決定することができる。したがって、ユーザによる操作入力部２等の操作によりユーザ所望の寸法を入力する等の煩わしい操作を不要とし、ユーザ所望の寸法に対応する音量の音を集音部３ａに集音させるだけで、表示領域Ｒに表示される所定の画像に、当該ユーザ所望の寸法の音関連画像（文字画像Ｍ）を重ねて表示することができる。
【００６８】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
【００６９】
例えば、表示装置１００は、音声情報テーブルＴ１及び顔識別用情報テーブルＴ２に代えて、音声情報テーブルＴ１と顔識別用情報テーブルＴ２とを一体化したテーブルを格納していても良い。即ち、表示装置１００は、ヒトや動物等の個体の音声を識別するための音声情報と、当該個体の顔を識別するための顔識別用情報と、当該個体を識別するための識別情報とを対応付けて記憶するテーブルを格納していても良い。この場合、当該テーブルが、第１記憶手段及び第２記憶手段を構成する。
【００７０】
また、画像処理部６は、音源方向特定部３ｄにより特定された音源方向、即ち、集音部３ａにより集音された音の音源方向に基づいて、当該音に関連する音関連画像自体の向きを決定しても良い。具体的には、例えば、画像処理部６は、音源方向が右方向又は左方向の場合、文字画像Ｍの文字が横に並ぶ横書きとなるように、文字画像Ｍ（音関連画像）自体の向きを決定するとともに、音源方向が上方向又は下方向の場合、文字画像Ｍの文字が縦に並ぶ縦書きとなるように、文字画像Ｍ（音関連画像）自体の向きを決定してもよい。
【００７１】
また、表示装置１００が撮像部を備えている場合、個体識別部３ｆは、音声情報に代えて、当該撮像部により撮像された画像に基づいて、集音部３ａにより集音された音声を発したヒトや動物等の個体を識別しても良い。即ち、ヒト及び動物のうち、少なくとも一方の各個体の識別に、音声情報を用いるか否かは適宜任意に変更可能である。
【００７２】
また、上記実施形態では、表示制御部７は、表示領域Ｒに表示済みの表示対象の画像に、文字画像Ｍを重ねて表示させるようにしたが、例えば、表示領域Ｒに表示される前の表示対象の画像において文字画像Ｍの表示位置を決定してから、表示対象の画像と文字画像Ｍとをともに表示領域Ｒに表示させるようにしても良い。
また、表示制御部７は、文字画像ＭをＯＳＤ画像として、表示対象の画像と重なるように重畳表示させるようにしたが、例えば、画像処理部６は、表示対象の画像と文字画像Ｍとを合成した画像を生成し、表示制御部７は、当該合成した画像を表示領域Ｒに表示させるようにしても良い。
【００７３】
また、音源Ｓは、音声を発するヒトや動物等の個体でなくてもよく、音を発する物であれば良い。
また、画像処理部６は、音源Ｓが車等の音声以外の音を発する物である場合、音源Ｓが発する音を識別するための情報や、音源Ｓの外形や音源Ｓの特徴部分の形状等を識別するための情報などに基づいて、表示対象の画像（例えば、車等を被写体とする画像）から集音部３ａにより集音された音を発した音源Ｓ（例えば、車等）領域を検出し、当該検出した音源Ｓ領域の位置に基づいて、音関連画像の表示位置を決定しても良い。
また、表示装置１００が撮像部を備えている場合、音源Ｓの外形や音源Ｓの特徴部分の形状等を識別するための情報や、当該撮像部により撮像された画像などに基づいて、表示対象の画像（例えば、車等を被写体とする画像）から集音部３ａにより集音された音を発した音源Ｓ（例えば、車等）領域を検出し、当該検出した音源Ｓ領域の位置に基づいて、音関連画像の表示位置を決定しても良い。
【００７４】
また、上記実施形態では、音関連画像を、集音部３ａにより集音された音声を対応する文字で表した文字画像Ｍとしたが、音関連画像は、例えば、集音部３ａにより集音された音声以外の音（例えば、騒音等）を対応する文字で表した文字画像Ｍであっても良い。具体的には、表示装置１００は、例えば、「プップー」という車のクラクションの音が集音部３ａにより集音された場合、音関連画像として当該音を対応する文字（「プップー」）で表した文字画像Ｍを表示しても良い。
また、音関連画像は、文字画像Ｍに限定されるものではなく、集音部３ａに集音された音に関連する画像であれば適宜任意に変更可能である。具体的には、表示装置１００は、例えば、「たいよう」という言葉が音声として集音部３ａに集音された場合、音関連画像として太陽の画像を表示しても良いし、例えば、「おはよう」という朝を連想させるような言葉が音声として集音部３ａに集音された場合、音関連画像として太陽の画像等の朝を連想させるような画像を表示しても良い。また、表示装置１００は、例えば、「プップー」という車のクラクションの音が集音部３ａにより集音された場合、音関連画像として車の画像等の「プップー」という音から連想できる物の画像を表示しても良い。
【００７５】
また、音関連画像の表示領域Ｒにおける表示位置は、上記実施形態に限定されるものではなく、少なくとも特定された音の音源方向に基づいて決定可能であれば、適宜任意に変更可能である。
また、ふきだし画像の引き出し線Ｌの向きは、上記実施形態に限定されるものではなく、特定された音源方向に基づいて決定可能であれば、適宜任意に変更可能である。また、ふきだし画像の引き出し線Ｌの向きは、音源方向以外の情報に基づいて決定しても良い。
また、表示領域Ｒに表示される音関連画像の寸法は、上記実施形態に限定されるものではなく、特定された音量に基づいて決定可能であれば、適宜任意に変更可能である。また、表示領域Ｒに表示される音関連画像の寸法は、音量以外の情報に基づいて決定しても良い。
【００７６】
また、上記実施形態では、位置決定部６ｆは、顔検出部６ｂにより検出された顔の個数が複数個である場合に、顔検出部６ｂにより所定の画像（表示対象の画像）から検出され、個体識別部３ｆにより識別された個体の顔識別用情報を用いて識別される顔の位置に基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定したが、これに限定されるものではない。位置決定部６ｆは、例えば、顔検出部６ｂにより検出された顔の個数にかかわらず、顔検出部６ｂにより所定の画像（表示対象の画像）から検出され、個体識別部３ｆにより識別された個体の顔識別用情報を用いて識別される顔の位置に基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定しても良い。この場合、顔検出部６ｂにより検出された顔の個数が１個であり、当該顔が集音されて録音された音声を発した個体の顔でないときには、位置決定部６ｆは、例えば、顔検出部６ｂにより顔が検出されなかった場合と同様、音源方向特定部３ｄにより特定された音源方向のみに基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定する。
また、位置決定部６ｆが、顔識別用画像情報を利用して集音されて録音された音声を発した個体の顔を識別するようにしたが、例えば、顔検出部６ｂが、顔の検出と同時に、顔識別用画像情報を利用して集音されて録音された音声を発した個体の顔を識別しても良い。
【００７７】
加えて、上記実施形態にあっては、取得手段、方向特定手段、位置決定手段、表示制御手段としての機能を、中央制御部１の制御下にて、画像取得部６ａ、音源方向特定部３ｄ、位置決定部６ｆ、表示制御部７が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、方向特定処理ルーチン、位置決定処理ルーチン、表示制御処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、表示手段の表示領域に表示される所定の画像を取得する取得手段として機能させるようにしても良い。また、方向特定処理ルーチンにより中央制御部１のＣＰＵを、集音手段により集音された音の音源方向を特定する方向特定手段として機能させるようにしても良い。また、位置決定処理ルーチンにより中央制御部１のＣＰＵを、方向特定手段により特定された音の音源方向に基づいて、当該音に関連する音関連画像の表示領域における表示位置を決定する位置決定手段として機能させるようにしても良い。また、表示制御処理ルーチンにより中央制御部１のＣＰＵを、表示領域に表示される所定の画像と重なるように、音関連画像を位置決定手段により決定された表示位置に表示させる表示制御手段として機能させるようにしても良い。
【００７８】
同様に、音認識手段、検出手段、識別手段、向き決定手段、音量特定手段、寸法決定手段等のその他の機能についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００７９】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型画像記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００８０】
本発明の実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
表示手段を備えた表示装置において、
前記表示手段の表示領域に表示される画像を取得する取得手段と、
音源から発せられた音を集音する集音手段と、
当該装置本体の位置を基準として、前記集音手段により集音された音の音源方向を特定する方向特定手段と、
この方向特定手段により特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する位置決定手段と、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を前記位置決定手段により決定された表示位置に表示させる表示制御手段と、
を備えたことを特徴とする表示装置。
＜請求項２＞
前記取得手段により取得された画像から顔を検出する検出手段を更に備え、
前記位置決定手段は、更に、前記検出手段により前記画像から検出された顔の位置に基づいて、前記音関連画像の前記表示領域における表示位置を決定することを特徴とする請求項１に記載の表示装置。
＜請求項３＞
ヒト及び動物のうち、少なくとも一方の各個体の顔を識別するための顔識別用情報を記憶する第１記憶手段と、
ヒト及び動物のうち、少なくとも一方の各個体の識別に用いられる音声情報を記憶する第２記憶手段と、
この第２記憶手段に記憶されている前記音声情報に基づいて、前記集音手段により集音された音声を発した個体を識別する識別手段と、を更に備え、
前記位置決定手段は、前記検出手段により前記画像から検出され、前記識別手段により識別された個体の前記顔識別用情報を用いて識別される顔の位置に基づいて、前記音関連画像の前記表示領域における表示位置を決定することを特徴とする請求項２に記載の表示装置。
＜請求項４＞
前記集音手段により集音された音を認識する音認識手段を更に備え、
前記表示制御手段は、前記音関連画像として、前記音認識手段により認識された音を対応する文字で表した文字画像を表示させることを特徴とする請求項１〜３の何れか一項に記載の表示装置。
＜請求項５＞
前記文字画像は、前記文字を囲む枠部分の所定位置に接続された引き出し線を具備するふきだし画像を含み、
前記方向特定手段により特定された音源方向に基づいて、前記ふきだし画像の引き出し線の向きを決定する向き決定手段を更に備えることを特徴とする請求項４に記載の表示装置。
＜請求項６＞
前記集音手段により集音された音の音量を特定する音量特定手段と、
前記音量特定手段により特定された音量に基づいて、前記表示領域に表示される前記音関連画像の寸法を決定する寸法決定手段と、を更に備えることを特徴とする請求項１〜５の何れか一項に記載の表示装置。
＜請求項７＞
表示手段と、音源から発せられた音を集音する集音手段とを備える表示装置を用いた表示方法であって、
前記表示手段の表示領域に画像を表示する処理と、
前記表示装置本体の位置を基準として、前記集音手段により集音された音の音源方向を特定する処理と、
特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する処理と、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を決定された表示位置に表示させる処理と、
を行うことを特徴とする表示方法。
＜請求項８＞
表示手段と、音源から発せられた音を集音する集音手段とを備える表示装置のコンピュータを、
前記表示装置本体の位置を基準として、前記表示手段の表示領域に表示される画像を取得する取得手段、
前記集音手段により集音された音の音源方向を特定する方向特定手段、
この方向特定手段により特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する位置決定手段、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を前記位置決定手段により決定された表示位置に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００８１】
１ 中央制御部
３ａ 集音部
３ｃ 音量特定部
３ｄ 音源方向特定部
３ｅ 音認識部
３ｆ 個体識別部
７ａ 画像取得部
７ｂ 顔検出部
７ｃ 寸法決定部
７ｄ 向き決定部
７ｆ 位置決定部
８ 表示制御部
９ 表示部
１００ 表示装置
Ｌ 引き出し線
Ｍ 文字画像
Ｒ 表示領域
Ｓ 音源
Ｔ１ 音声情報テーブル
Ｔ２ 顔識別用情報テーブル
【技術分野】
【０００１】
本発明は、表示装置、表示方法及びプログラムに関する。
【背景技術】
【０００２】
従来、スタンプ画像と表示画像とを合成する写真作成装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５９１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の場合、ユーザがスタンプ画像が表示されたキーを操作したり、スタンプ画像を合成する位置を指定したりしなければならず、それらの操作が煩わしいという問題がある。
【０００５】
本発明の課題は、画像の所望の位置に所望の画像を容易に表示することができる表示装置、表示方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の表示装置は、
表示手段を備えた表示装置において、
前記表示手段の表示領域に表示される画像を取得する取得手段と、
音源から発せられた音を集音する集音手段と、
当該装置本体の位置を基準として、前記集音手段により集音された音の音源方向を特定する方向特定手段と、
この方向特定手段により特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する位置決定手段と、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を前記位置決定手段により決定された表示位置に表示させる表示制御手段と、
を備えたことを特徴としている。
【０００７】
また、本発明の表示方法は、
表示手段と、音源から発せられた音を集音する集音手段とを備える表示装置を用いた表示方法であって、
前記表示手段の表示領域に画像を表示する処理と、
前記表示装置本体の位置を基準として、前記集音手段により集音された音の音源方向を特定する処理と、
特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する処理と、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を決定された表示位置に表示させる処理と、
を行うことを特徴としている。
【０００８】
また、本発明のプログラムは、
表示手段と、音源から発せられた音を集音する集音手段とを備える表示装置のコンピュータを、
前記表示装置本体の位置を基準として、前記表示手段の表示領域に表示される画像を取得する取得手段、
前記集音手段により集音された音の音源方向を特定する方向特定手段、
この方向特定手段により特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する位置決定手段、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を前記位置決定手段により決定された表示位置に表示させる表示制御手段、
として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、画像の所望の位置に所望の画像を容易に表示することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の表示装置の概略構成を示すブロック図である。
【図２】図１の表示装置による音関連画像表示処理に係る動作の一例を示すフローチャートである。
【図３】図２の音関連画像表示処理に係る画像の一例を模式的に示す図である。
【図４】図２の音関連画像表示処理に係る画像の一例を模式的に示す図である。
【図５】図２の音関連画像表示処理に係る画像の一例を模式的に示す図である。
【図６】図２の音関連画像表示処理に係る画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の表示装置１００の概略構成を示すブロック図である。
【００１２】
本実施形態の表示装置１００は、表示部８の表示領域Ｒに表示される所定の画像と重なるように、集音部３ａにより集音された音に関連する音関連画像を表示する。その際、集音部３ａにより集音された音の音源方向を特定し、特定した音源方向に基づいて音関連画像の表示領域Ｒにおける表示位置を決定し、決定した表示位置に音関連画像を表示する。
具体的には、表示装置１００は、例えば卓上に設置されるデジタルフォトフレーム等であり、図１に示すように、中央制御部１と、操作入力部２と、音処理部３と、メモリ４と、記録媒体制御部５と、画像処理部６と、表示制御部７と、表示部８とを備えている。
【００１３】
中央制御部１は、表示装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、表示装置１００用の各種処理プログラム（図示略）や操作入力部２により入力された操作信号等に従って各種の制御動作を行う。
【００１４】
操作入力部２は、表示装置１００に対して各種指示を入力するためのものである。具体的には、文字等を入力するためのデータ入力キーや、データの選択又は指定の操作等を行うための上下左右移動キーや各種機能キー等によって構成される操作部を備えている。中央制御部１は、操作入力部２から出力され入力された操作信号に従って所定の動作を各部に実行させる。また、操作入力部２は、リモコンやタッチパネル等のその他の入力装置を備えるものとしても良い。
【００１５】
音処理部３は、集音部３ａと、録音部３ｂと、音量特定部３ｃと、音源方向特定部３ｄと、音認識部３ｅと、個体識別部３ｆと、音声情報テーブルＴ１とを具備している。
【００１６】
集音部３ａは、マイク等であり、ヒトや動物等の音源Ｓから発せられた音を集音する。
具体的には、集音部３ａは、例えば、表示装置１００を正面から見て表示部８の表示領域Ｒの右上側と左下側の２箇所に、音源Ｓから発せられた音の振動が入力される入力部ａ１、ａ１が設けられ（図３等参照）、これら入力部ａ１に入力された音の振動にＡ／Ｄ変換等を施して音データを生成する。
なお、表示装置１００が備える集音部３ａの入力部ａ１の個数や配設位置は、集音部３ａにより集音された音の音源方向を特定可能であれば、適宜任意に変更可能である。
【００１７】
録音部３ｂは、所定の録音開始タイミングで集音部３ａにより集音された音の音データの記録を開始し、所定の録音終了タイミングで当該記録を終了する。
ここで、録音開始タイミング及び録音終了タイミングは、ユーザからの指示に応じたタイミングであれば良い。
具体的には、録音部３ｂは、ユーザによる操作入力部２の録音指示キー（図示略）の所定操作に応じて中央制御部１から出力される所定の録音指示信号の入力に基づいて、録音開始タイミングや録音終了タイミングを特定する。例えば、録音部３ｂは、ユーザにより録音指示キーが所定操作（例えば、押下）されると録音開始タイミングになったと判定するとともに、当該所定操作が解除されると録音終了タイミングになったと判定しても良い。また、録音部３ｂは、ユーザにより録音指示キーが操作されると録音開始タイミングになったと判定するとともに、その録音指示キーが再度操作されると録音終了タイミングになったと判定しても良い。
【００１８】
また、録音部３ｂは、ユーザによる撮像部（図示略）に対する所定のジェスチャに応じて中央制御部１から出力される所定の録音指示信号の入力に基づいて、録音開始タイミングや録音終了タイミングを特定しても良い。即ち、例えば、録音部３ｂは、その撮像部によってユーザによる所定のジェスチャが撮像されると録音開始タイミングになったと判定するとともに、当該録音開始タイミングから所定時間経過後に録音終了タイミングになったと判定しても良い。また、録音部３ｂは、その撮像部によってユーザによる所定の録音開始指示ジェスチャが撮像されると録音開始タイミングになったと判定するとともに、その撮像部によってユーザによる所定の録音終了指示ジェスチャが撮像されると録音終了タイミングになったと判定としても良い。
【００１９】
音量特定部３ｃは、音量特定手段として、集音部３ａにより集音された音の音量を特定する。
具体的には、音量特定部３ｃは、例えば、録音開始タイミングから録音終了タイミングまでに集音部３ａにより集音されて録音部３ｂに記録された音の音データに基づいて、当該音（例えば、音声等）の音量を特定する。
なお、集音部３ａにより集音された音の音量は、公知の手法を用いて特定可能であるので、ここでは詳細な説明を省略する。
【００２０】
音源方向特定部３ｄは、方向特定手段として、集音部３ａにより集音された音の音源方向を特定する。
具体的には、音源方向特定部３ｄは、例えば、録音開始タイミングから録音終了タイミングまでに集音部３ａにより集音されて録音部３ｂに記録された音の音データに基づいて、当該音の音源Ｓ（ヒトや動物等の個体）の表示装置１００に対する位置を特定する。即ち、音源方向特定部３ｄは、例えば、音源Ｓからの音が集音部３ａの一方の入力部ａ１に到達した時間と他方の入力部ａ１に到達した時間との差に基づいて、音源Ｓ（ヒトや動物等の個体）の表示装置１００に対する位置（例えば、図３（ｂ）における表示装置１００の左側や、図４（ｂ）における右側等）を特定する。そして、音源方向特定部３ｄは、表示装置１００に対する音源Ｓの位置に向かう方向（例えば、図３（ｂ）における左方向や、図４（ｂ）における右方向等）を音源方向とする。
【００２１】
なお、音源Ｓの表示装置１００に対する位置や音源方向は、表示装置１００の表示領域Ｒが含まれる平面と略平行な二次元の空間を基準として特定しても良いし、さらに表示装置１００の表示領域Ｒに略直交する前後方向を加えた三次元の空間を基準として特定しても良い。
また、音源方向特定部３ｄは、例えば、予め規定されている複数の方向（例えば、上方向、下方向、左方向及び右方向の４つの方向等）の中から、音源Ｓの表示装置１００に対する位置に向かう方向に最も近い方向を音源方向としても良い。ここで、音源Ｓの表示装置１００に対する位置に向かう方向に最も近い方向とは、予め規定されている複数の方向の中で、各々の方向に延在する直線と音源Ｓの表示装置１００に対する位置に向かう方向に延在する直線とのなす角が最も小さくなる方向のことを言う。
【００２２】
音認識部３ｅは、音認識手段として、集音部３ａにより集音された音を認識する。
具体的には、音認識部３ｅは、例えば、録音開始タイミングから録音終了タイミングまでに集音部３ａにより集音されて録音部３ｂに記録された音（特に、音声）の音データに基づいて、当該音を認識して対応する文字で表すための文字データを生成する。
なお、集音部３ａにより集音された音は、所定の音声認識辞書を使用して認識する等の公知の手法を用いて認識可能であるので、ここでは詳細な説明を省略する。
【００２３】
また、音認識部３ｅは、集音部３ａにより集音された音の意味内容を認識しても良い。
ここで、集音部３ａにより集音された音の意味内容は、所定の意味解析辞書を使用して認識する等の公知の手法を用いて認識可能であるので、ここでは詳細な説明を省略する。
【００２４】
個体識別部３ｆは、集音部３ａにより集音された音を発した個体を識別する。
具体的には、個体識別部３ｆは、例えば、録音開始タイミングから録音終了タイミングまでに集音部３ａにより集音されて録音部３ｂに記録された音声の音データに基づいて、当該音声と一致する音声情報が音声情報テーブルＴ１に記憶されているか否かを判定する。そして、音声と一致する音声情報が音声情報テーブルＴ１に記憶されていると判定すると、個体識別部３ｆは、当該音声と一致する音声情報に対応する識別情報を音声情報テーブルＴ１から取得することによって、集音部３ａにより集音された音声を発した個体を識別する。
【００２５】
なお、音声情報テーブルＴ１は、第２記憶手段として、ヒト及び動物のうち、少なくとも一方の各個体の識別に用いられる音声情報を記憶する。
具体的には、音声情報テーブルＴ１は、例えば、ヒトや動物等の個体の音声を識別するための音声情報（例えば、音声の特徴情報）と、当該個体を識別するための識別情報（例えば、名前）とが対応付けられて記憶されている。
ここで、音声の特徴情報としては、例えば、声紋等の情報が挙げられるが、ヒトや動物等の個体の音声を識別するための情報であればこれに限定されることなく如何なる情報であってもよい。
【００２６】
メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＮＡＮＤ型フラッシュメモリなどのＲＯＭ等により構成され、中央制御部１、音処理部３、画像処理部６等によって処理されるデータ等を一時的に記憶する。
【００２７】
記録媒体制御部５は、記録媒体５１が着脱自在に構成され、装着された記録媒体５１からのデータの読み出しや記録媒体５１に対するデータの書き込みを制御する。
即ち、記録媒体制御部５は、例えば、撮像装置等の外部装置から取り外された後に取り付けられた記録媒体５１からの表示対象となる所定の画像データの読み出しを制御する。
なお、記録媒体５１は、例えば、ＳＤカードやＵＳＢメモリなどの不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限定されるものではなく、適宜任意に変更可能である。
【００２８】
画像処理部６は、画像取得部６ａと、顔検出部６ｂと、寸法決定部６ｃと、向き決定部６ｄと、音関連画像生成部６ｅと、位置決定部６ｆと、顔識別用情報テーブルＴ２とを具備している。
【００２９】
画像取得部６ａは、表示部８の表示領域Ｒに表示される画像の画像データ、即ち、表示対象となる画像を取得する。
具体的には、画像取得部６ａは、ユーザによる操作入力部２の所定操作に基づいて記録媒体５１から読み出された画像データを表示対象の画像データとして取得する。また、画像取得部６ａは、記録媒体５１に記憶された画像データの中で、ユーザによる操作入力部２の所定操作に基づいて指定された画像データを表示対象の画像データとして取得する。
【００３０】
顔検出部６ｂは、画像取得部６ａにより取得された表示対象の画像からヒトや動物等の顔を検出する。
具体的には、顔検出部６ｂは、画像取得部６ａにより取得された表示対象の画像の画像データに対して所定の顔検出処理を行って、当該画像に含まれる全ての顔の顔領域を検出する。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００３１】
寸法決定部６ｃは、寸法決定手段として、音量特定部３ｃにより特定された音量に基づいて、後述する音関連画像生成部６ｅにより生成され、表示領域Ｒに表示される音関連画像の寸法を決定する。
ここで、音関連画像とは、音認識部３ｅにより認識された音を対応する文字で表した文字画像Ｍである。
文字画像Ｍは、文字を囲む枠部分の所定位置に接続された引き出し線Ｌを具備するふきだし画像を含んでいても良い。即ち、文字画像Ｍは、音認識部３ｅにより生成された文字データに基づく画像（文字本体画像）のみからなる画像であっても良いし、音認識部３ｅにより生成された文字データに基づく画像（文字本体画像）とふきだし画像とからなる画像であっても良い。なお、文字画像Ｍにふきだし画像を含めるか否かは、ユーザからの所定指示の有無、音量特定部３ｃにより特定された音量、表示対象の画像内に顔があるか否か、音認識部３ｅによって認識された音の意味内容等に応じて選択しても良い。
【００３２】
具体的には、寸法決定部６ｃは、音量特定部３ｃにより特定された音量が大きいほど、表示領域Ｒに表示される文字画像Ｍが相対的に大きくなるよう、表示領域Ｒに表示される文字画像Ｍの寸法を決定する。即ち、寸法決定部６ｃは、例えば、音量特定部３ｃにより特定された音量が所定の第１音量閾値未満である場合、所定の「第１寸法」を文字画像Ｍの寸法として決定する。また、寸法決定部６ｃは、音量特定部３ｃにより特定された音量が第１音量閾値以上であり所定の第２音量閾値未満である場合、第１寸法よりも大きい所定の「第２寸法」を文字画像Ｍの寸法として決定する。また、寸法決定部６ｃは、音量特定部３ｃにより特定された音量が第２音量閾値以上である場合、第２寸法よりも大きい所定の「第三寸法」を文字画像Ｍの寸法として決定する。
なお、文字画像Ｍの寸法を決定するための閾値は、第１音量閾値及び第２音量閾値の２つに限定されるものではなく、適宜任意に変更可能である。
また、音量に基づいて表示領域Ｒに表示される音関連画像（文字画像Ｍ）の寸法を決定できるのであれば、寸法決定部６ｃは、例えば、音量が小さいほど、表示領域Ｒに表示される文字画像Ｍが相対的に大きくなるよう、表示領域Ｒに表示される文字画像Ｍの寸法を決定しても良い。
【００３３】
向き決定部６ｄは、文字画像Ｍがふきだし画像を含む場合に、ふきだし画像の引き出し線Ｌの向きを決定する。
具体的には、向き決定部６ｄは、向き決定手段として、音源方向特定部３ｄにより特定された音源方向に基づいて、ふきだし画像の引き出し線Ｌの向きを決定する。
ここで、向き決定部６ｄは、例えば、音源方向特定部３ｄにより特定された音源方向と略同じ方向に延在するようにふきだし画像の引き出し線Ｌの向きを決定する。即ち、向き決定部６ｄは、例えば図３（ｂ）に示すように、音源方向が左方向の場合、引き出し線Ｌの先端が表示装置１００の左側を指す向き「左向き」をふきだし画像の引き出し線Ｌの向きとして決定する。また、向き決定部６ｄは、例えば図４（ｂ）に示すように、音源方向が右方向の場合、引き出し線Ｌの先端が表示装置１００の右側を指す向き「右向き」をふきだし画像の引き出し線Ｌの向きとして決定する。
【００３４】
音関連画像生成部６ｅは、集音部３ａにより集音された音に関連する音関連画像を生成する。
具体的には、音関連画像生成部６ｅは、例えば、音認識部３ｅにより生成された文字データに基づく画像（文字本体画像）を生成し、当該生成した画像の寸法を寸法決定部６ｃにより決定された寸法に基づいて調整することによって、文字画像Ｍを生成する。
【００３５】
また、文字画像Ｍがふきだし画像を含む場合、音関連画像生成部６ｅは、例えば、音認識部３ｅにより生成された文字データに基づく画像（文字本体画像）に所定形状のふきだし画像を付加することによって、文字画像Ｍを生成する。
即ち、音関連画像生成部６ｅは、画像処理部６等に格納された所定の記録手段（図示略）に記録されているふきだし画像データを取得し、当該取得したふきだし画像データに基づくふきだし画像の枠内に、音認識部３ｅにより生成された文字データに基づく画像（文字本体画像）が配置されるようにふきだし画像のサイズを調整する。また、音関連画像生成部６ｅは、当該取得したふきだし画像データに基づくふきだし画像の引き出し線Ｌの向きを向き決定部６ｄにより決定された向きに基づいて調整する。そして、音関連画像生成部６ｅは、文字本体画像と、サイズや向きが調整されたふきだし画像とを合成して合成画像を生成し、当該生成した合成画像の寸法を寸法決定部６ｃにより決定された寸法に基づいて調整することによって、文字画像Ｍを生成する。
なお、音関連画像生成部６ｅは、音認識部３ｅにより生成された文字データに基づく画像（文字本体画像）の文字数に基づいて、所定の記録手段から取得するふきだし画像データを変更しても良い。
【００３６】
また、音認識部３ｅによって音の意味内容が認識される場合、音関連画像生成部６ｅは、当該意味内容に基づいて、所定の記録手段から取得するふきだし画像データを変更しても良い。具体的には、音関連画像生成部６ｅは、例えば、図３（ｂ）に示すように、「ヤッホー」等の叫ぶ際に使用する言葉が音声として集音部３ａにより集音された場合には、文字を囲む枠部分の形状がギザギザしたふきだし画像のふきだし画像データを取得し、図４（ｂ）に示すように、「こんにちは」等のあいさつする際に使用する言葉が音声として集音部３ａにより集音された場合には、文字を囲む枠部分の形状が略楕円形のふきだし画像のふきだし画像データを取得しても良い。これにより、表示装置１００は、集音部３ａによって集音された音の意味内容に応じて、表示部８の表示領域Ｒに表示する文字画像Ｍに含まれるふきだし画像の形状を変化させることができる。
【００３７】
位置決定部６ｆは、集音部３ａにより集音された音に関連する音関連画像（文字画像Ｍ）の表示領域Ｒにおける表示位置を決定する。
具体的には、位置決定部６ｆは、例えば、顔検出部６ｂにより顔が検出された場合、音源方向特定部３ｄにより特定された音源方向と、顔検出部６ｂにより所定の画像（表示対象の画像）から検出された顔の位置とに基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定する。
ここで、位置決定部６ｆは、例えば、顔検出部６ｂにより検出された顔の個数が１個である場合、当該顔の顔領域を、文字画像Ｍを付与する顔領域として特定する。そして、位置決定部６ｆは、当該特定した顔領域の周辺領域のうち、音源方向特定部３ｄにより特定された音源方向の逆側の領域内の所定位置の座標（例えば、当該所定位置の中心座標）を、文字画像Ｍの表示位置として決定する。即ち、位置決定部６ｆは、例えば図４（ｂ）に示すように、音源方向が右方向の場合、特定した顔領域の周辺領域のうち左側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。
【００３８】
また、位置決定部６ｆは、例えば、顔検出部６ｂにより検出された顔の個数が複数個である場合、個体識別部３ｆにより取得された識別情報（個体識別部３ｆにより識別された個体の識別情報）に対応する顔識別用情報を顔識別用情報テーブルＴ２から取得して、顔検出部６ｂにより検出された顔の中に、当該取得した顔識別用情報と一致する顔があるか否かを判定する。
そして、顔検出部６ｂにより検出された顔の中に、当該取得した顔識別用情報と一致する顔があると判定した場合、位置決定部６ｆは、顔検出部６ｂにより所定の画像（表示対象の画像）から検出され、個体識別部３ｆにより識別された個体の顔識別用情報を用いて識別される顔の位置に基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定する。即ち、位置決定部６ｆは、当該取得した顔識別用情報と一致する顔の顔領域を、文字画像Ｍを付与する顔領域として特定する。そして、位置決定部６ｆは、当該特定した顔領域の周辺領域のうち、音源方向特定部３ｄにより特定された音源方向の逆側の領域内の所定位置の座標（例えば、当該所定位置の中心座標）を、文字画像Ｍの表示位置として決定する。
一方、顔検出部６ｂにより検出された顔の中に、当該取得した顔識別用情報と一致する顔がないと判定した場合、位置決定部６ｆは、顔検出部６ｂにより検出された顔の顔領域の中で所定条件を満たす顔領域（例えば、最も寸法が大きい顔領域）を、文字画像Ｍを付与する顔領域として特定する。そして、位置決定部６ｆは、当該特定した顔領域の周辺領域のうち、音源方向特定部３ｄにより特定された音源方向の逆側の領域内の所定位置の座標（例えば、当該所定位置の中心座標）を、文字画像Ｍの表示位置として決定する。
【００３９】
この際、位置決定部６ｆは、例えば、特定した顔領域の周辺領域のうち、音源方向の逆側の領域内の所定位置として、寸法決定部６ｃにより決定された寸法等に基づいて当該特定した顔領域と文字画像Ｍとが重ならない位置を選択する。また、位置決定部６ｆは、重ならない位置がない場合には、当該特定した顔領域と文字画像Ｍとの重なる度合いが最も小さい位置を選択する。
さらに、位置決定部６ｆは、特定した顔領域の周辺領域のうち、音源方向の逆側の領域内の所定位置として、当該特定した顔領域の中心位置等にふきだし画像の引き出し線Ｌの先端が向く位置を選んでも良いし、当該特定した顔領域の中の特定領域（例えば、口元領域）の中心位置等にふきだし画像の引き出し線Ｌの先端が向く位置を選んでも良い。
【００４０】
また、位置決定部６ｆは、例えば、顔検出部６ｂにより顔が検出されなかった場合、音源方向特定部３ｄにより特定された音源方向に基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定する。
ここで、位置決定部６ｆは、表示部８の表示領域Ｒのうち、音源方向特定部３ｄにより特定された音源方向側の領域内の所定位置の座標（例えば、当該所定位置の中心座標）を、文字画像Ｍの表示位置として決定する。即ち、位置決定部６ｆは、例えば図３（ｂ）に示すように、音源方向が左方向の場合、表示領域Ｒのうち左側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。
【００４１】
顔識別用情報テーブルＴ２は、第１記憶手段として、ヒト及び動物のうち、少なくとも一方の各個体の顔を識別するための顔識別用情報を記憶する。
具体的には、顔識別用情報テーブルＴ２は、例えば、ヒトや動物等の個体の顔を識別するための顔識別用情報（例えば、顔の特徴情報）と、当該個体を識別するための識別情報（例えば、名前）とを対応付けて予め記憶している。
ここで、顔の特徴情報としては、例えば、目、鼻、口等に相当する顔パーツの情報や所定角度ごとに撮影されたヒトや動物等の顔画像が挙げられるが、ヒトや動物等の個体の顔を識別するための情報であればこれらに限定されることなく如何なる情報であってもよい。
【００４２】
表示制御部７は、画像取得部６ａにより取得された表示対象の画像の画像データに基づいて、所定の画像を表示部８の表示領域Ｒに表示させる制御を行う。
また、表示制御部７は、表示制御手段として、表示領域Ｒに表示される所定の画像（表示対象の画像）と重なるように、音関連画像（文字画像Ｍ）を位置決定部６ｆにより決定された表示位置に表示させる。具体的には、表示制御部７は、音関連画像生成部６ｅにより生成された文字画像ＭをＯＳＤ画像として、表示領域Ｒに表示されている表示対象の画像と重なるように重畳表示させる。この際、例えば、位置決定部６ｆにより文字画像Ｍの表示位置として決定された座標が、前記所定位置の中心座標である場合、表示制御部７は、当該中心座標と文字画像Ｍの中心座標とが一致するように、文字画像Ｍを表示させる。
なお、表示制御部７は、表示部８以外の表示手段と接続するための外部接続Ｉ／Ｆ等を備えていても良い。これにより、表示制御部７は、表示装置１００に接続された外部表示装置に表示対象の画像や音関連画像（文字画像Ｍ）等を表示させることが可能となる。
【００４３】
表示部８は、表示手段として、表示制御部７の制御下にて、表示対象の画像を表示領域Ｒに表示したり、当該表示対象の画像に文字画像Ｍを重畳表示する。表示部８としては、例えば、液晶表示パネルや有機ＥＬ表示パネル等が挙げられるが、これらに限られるものではない。
【００４４】
次に、表示装置１００による音関連画像表示処理について図２を参照して説明する。
図２は、音関連画像表示処理に係る動作の一例を示すフローチャートである。
【００４５】
図２に示すように、先ず、表示制御部７は、画像取得部６ａにより取得された表示対象の画像の画像データに基づいて、所定の画像を表示部８の表示領域Ｒに表示させる（ステップＳ１）。
次に、集音部３ａは、ヒトや動物等の音源Ｓから発せられた音声（音）を集音し、録音部３ｂは、集音部３ａにより集音された音声を録音する（ステップＳ２）。
【００４６】
次に、音量特定部３ｃは、ステップＳ２で集音されて録音された音声の音量を特定し、音源方向特定部３ｄは、ステップＳ２で集音されて録音された音声の音源方向を特定する（ステップＳ３）。
具体的には、音源方向特定部３ｄは、例えば、音源Ｓからの音が集音部３ａの一方の入力部ａ１に到達した時間と他方の入力部ａ１に到達した時間との差に基づいて、音源Ｓ（ヒトや動物等の個体）の表示装置１００に対する位置を特定し、その位置に向かう方向を音源方向とする。
【００４７】
次に、音認識部３ｅは、ステップＳ２で集音されて録音された音声を認識し、当該音声を対応する文字で表すための文字データを生成する（ステップＳ４）。
次に、個体識別部３ｆは、音声情報テーブルＴ１に記憶されている音声情報に基づいて、集音部３ａにより集音されて録音部３ｂにより録音された音声を発した個体（ヒトや動物等）を識別する（ステップＳ５）。
【００４８】
次に、寸法決定部６ｃは、ステップＳ３で特定された音量に基づいて、表示領域Ｒに表示される音関連画像（文字画像Ｍ）の寸法を決定する（ステップＳ６）。
具体的には、例えば、図４（ｂ）に示すように、集音されて録音された音声の音量が比較的小さい場合（例えば、第１音量閾値未満である場合）、寸法決定部６ｃは、比較的小さい寸法（例えば、第１寸法）を、表示領域Ｒに表示される文字画像Ｍの寸法として決定する。一方、例えば、図５に示すように、集音されて録音された音声の音量が比較的大きい場合（例えば、第１音量閾値以上第２音量閾値未満である場合）、寸法決定部６ｃは、比較的大きい寸法（例えば、第１寸法よりも大きい第２寸法）を、表示領域Ｒに表示される文字画像Ｍの寸法として決定する。
【００４９】
次に、向き決定部６ｄは、ステップＳ３で特定された音源方向に基づいて、文字画像Ｍに含まれるふきだし画像の引き出し線Ｌの向きを決定する（ステップＳ７）。
具体的には、例えば、図３（ｂ）に示すように、音源方向が左方向の場合、向き決定部６ｄは、引き出し線Ｌの先端が表示装置１００の左側を指す向き「左向き」をふきだし画像の引き出し線Ｌの向きとして決定する。一方、例えば、図４（ｂ）に示すように、音源方向が右方向の場合、向き決定部６ｄは、引き出し線Ｌの先端が表示装置１００の右側を指す向き「右向き」をふきだし画像の引き出し線Ｌの向きとして決定する。
【００５０】
次に、音関連画像生成部６ｅは、ステップＳ４での認識結果（具体的には、ステップＳ４で生成された文字データ）や、ステップＳ６で決定された寸法、ステップＳ７で決定された引き出し線Ｌの向き等に基づいて、ステップＳ２で集音されて録音された音声に関連する音関連画像を生成する（ステップＳ８）。
具体的には、音関連画像生成部６ｅは、画像処理部６等に格納された所定の記録手段（図示略）に記録されているふきだし画像データを取得し、当該取得したふきだし画像データに基づくふきだし画像の枠内に、ステップＳ４で生成された文字データに基づく画像（文字本体画像）が配置されるようにふきだし画像のサイズを調整する。また、音関連画像生成部６ｅは、当該取得したふきだし画像データに基づくふきだし画像の引き出し線Ｌの向きをステップＳ７で決定された向きに基づいて調整する。そして、音関連画像生成部６ｅは、文字本体画像と、サイズや向きが調整されたふきだし画像とを合成して合成画像を生成し、当該生成した合成画像の寸法をステップＳ６で決定された寸法に基づいて調整することによって、文字画像Ｍを生成する。
【００５１】
次に、顔検出部６ｂは、画像取得部６ａにより取得されて表示部８の表示領域Ｒに表示されている表示対象の画像から、ヒトや動物等の顔を検出する（ステップＳ９）。
次に、位置決定部６ｆは、ステップＳ９で顔が検出されたか否かを判定する（ステップＳ１０）。
【００５２】
ステップＳ１０にて、ステップＳ９で顔が検出されなかったと判定した場合（ステップＳ１０；ＮＯ）、即ち、表示部８の表示領域Ｒに表示されている表示対象の画像が、例えば図３（ａ）に示すような風景画等である場合、位置決定部６ｆは、ステップＳ３で特定された音源方向に基づいて、音関連画像の表示領域Ｒにおける表示位置を決定する（ステップＳ１１）。
具体的には、位置決定部６ｆは、表示部８の表示領域Ｒのうち、ステップＳ３で特定された音源方向側の領域内の所定位置の座標を、音関連画像（文字画像Ｍ）の表示位置として決定する。例えば、図３（ｂ）に示すように、音源方向が左方向の場合、位置決定部６ｆは、表示領域Ｒのうち左側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。
【００５３】
次に、表示制御部７は、表示部８の表示領域Ｒに表示されている表示対象の画像と重なるように、ステップＳ８で生成された音関連画像を、ステップＳ１１で決定された表示位置に表示させる（ステップＳ１６；図３（ｂ）参照）。
【００５４】
また、ステップＳ１０にて、ステップＳ９で顔が検出されたと判定した場合（ステップＳ１０；ＹＥＳ）、即ち、表示部８の表示領域Ｒに表示されている表示対象の画像が、例えば図４（ａ）や図６（ａ）に示すようなヒトを被写体とする画像等である場合、位置決定部６ｆは、ステップＳ９で検出された顔の個数は複数であるか否かを判定する（ステップＳ１２）。
【００５５】
ステップＳ１２にて、ステップＳ９で検出された顔の個数は複数でないと判定した場合（ステップＳ１２；ＮＯ）、即ち、表示部８の表示領域Ｒに表示されている表示対象の画像が、例えば図４（ａ）に示すような画像等である場合、位置決定部６ｆは、ステップＳ３で特定された音源方向や、ステップＳ９で検出された顔の位置に基づいて、音関連画像の表示領域Ｒにおける表示位置を決定する（ステップＳ１３）。
具体的には、位置決定部６ｆは、表示部８の表示領域ＲにおけるステップＳ９で検出された顔の顔領域を、音関連画像（文字画像Ｍ）を付与する顔領域として特定し、当該特定した顔領域の周辺領域のうち、ステップＳ３で特定された音源方向の逆側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。例えば、図４（ｂ）や図５に示すように、音源方向が右方向の場合、位置決定部６ｆは、表示領域Ｒにおける顔領域の周辺領域のうち左側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。
【００５６】
次に、表示制御部７は、表示部８の表示領域Ｒに表示されている表示対象の画像と重なるように、ステップＳ８で生成された音関連画像を、ステップＳ１３で決定された表示位置に表示させる（ステップＳ１６；図４（ｂ）や図５参照）。
【００５７】
また、ステップＳ１２にて、ステップＳ９で検出された顔の個数は複数であると判定した場合（ステップＳ１２；ＹＥＳ）、即ち、表示部８の表示領域Ｒに表示されている表示対象の画像が、例えば図６（ａ）に示すような画像等である場合、位置決定部６ｆは、顔識別用情報テーブルＴ２に記憶されている顔識別用情報に基づいて、ステップＳ９で検出された顔の中に、ステップＳ５で識別された個体（即ち、集音されて録音された音声を発した個体）の顔があるか否かを判定する（ステップＳ１４）。
【００５８】
ステップＳ１４にて、ステップＳ９で検出された顔の中に、ステップＳ５で識別された個体の顔がないと判定した場合（ステップＳ１３；ＮＯ）、位置決定部６ｆは、ステップＳ３で特定された音源方向や、ステップＳ９で検出された顔の位置に基づいて、音関連画像の表示領域Ｒにおける表示位置を決定する（ステップＳ１３）。
具体的には、位置決定部６ｆは、表示部８の表示領域ＲにおけるステップＳ９で検出された顔の顔領域の中で所定条件を満たす顔領域を、音関連画像（文字画像Ｍ）を付与する顔領域として特定し、当該特定した顔領域の周辺領域のうち、ステップＳ３で特定された音源方向の逆側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。
なお、音声情報テーブルＴ１に、集音されて録音された音声と一致する音声情報が記憶されていない場合や、顔識別用情報テーブルＴ２に、集音されて録音された音声を発した個体の顔識別用情報が記憶されていない場合にも、位置決定部６ｆは、ステップＳ１４にて、ステップＳ９で検出された顔の中に、ステップＳ５で識別された個体の顔がないと判定する。
【００５９】
次に、表示制御部７は、表示部８の表示領域Ｒに表示されている表示対象の画像と重なるように、ステップＳ８で生成された音関連画像を、ステップＳ１３で決定された表示位置に表示させる（ステップＳ１６）。
【００６０】
また、ステップＳ１４にて、ステップＳ９で検出された顔の中に、ステップＳ５で識別された個体の顔があると判定した場合（ステップＳ１４；ＮＯ）、位置決定部６ｆは、ステップＳ３で特定された音源方向や、ステップＳ９で検出されステップＳ５で識別された個体の顔の位置に基づいて、表示領域Ｒにおける音関連画像の表示位置を決定する（ステップＳ１５）。
具体的には、位置決定部６ｆは、表示部８の表示領域ＲにおけるステップＳ９で検出されステップＳ５で識別された個体の顔の顔領域を、音関連画像（文字画像Ｍ）を付与する顔領域として特定し、当該特定した顔領域の周辺領域のうち、ステップＳ３で特定された音源方向の逆側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。例えば、図６（ｂ）に示すように、音源方向が右方向の場合、位置決定部６ｆは、表示領域Ｒにおける顔領域（具体的には、集音されて録音された音声を発した個体の顔の顔領域）の周辺領域のうち左側の領域内の所定位置の座標を、文字画像Ｍの表示位置として決定する。
【００６１】
次に、表示制御部７は、表示部８の表示領域Ｒに表示されている表示対象の画像と重なるように、ステップＳ８で生成された音関連画像を、ステップＳ１５で決定された表示位置に表示させる（ステップＳ１６；図６（ｂ）参照）。
【００６２】
以上のように、本実施形態の表示装置１００によれば、集音部３ａにより集音された音に関連する音関連画像を表示するので、所望の画像を指定する際に、ユーザによる操作入力部２の煩わしい操作を不要とし、所望の画像に対応する音を集音部３ａに集音させるだけで、表示領域Ｒに表示される所定の画像に、当該所望の画像を重ねて表示することができる。
さらに、表示装置１００によれば、集音部３ａにより集音された音の音源方向に基づいて、当該音に関連する音関連画像の表示領域Ｒにおける表示位置を決定するので、所望の画像の表示位置として所望の位置を指定する際に、ユーザによる操作入力部２の煩わしい操作を不要とし、当該所望の位置に対応する方向からの音を集音部３ａに集音させるだけで、当該所望の位置を音関連画像の表示位置として決定することができる。つまり、ユーザが音に関連する音関連画像を表示させたい位置に応じて表示装置１００に対する音源Ｓ（例えば、ユーザ本人）の位置を変更するだけで、表示領域Ｒに表示される所定の画像内のユーザ所望の位置に、ユーザ所望の画像を重ねて表示することができる。
従って、表示装置１００は、表示部８の表示領域Ｒに表示される所定の画像のユーザ所望の位置にユーザ所望の音関連画像を容易に表示することができる。
【００６３】
また、本実施形態の表示装置１００によれば、音関連画像として、集音部３ａにより集音された音を対応する文字で表した文字画像Ｍを表示させることができる。したがって、ユーザによる操作入力部２等の操作により文字を入力する等の煩わしい操作を不要とし、ユーザ所望の文字画像Ｍに対応する音を集音部３ａに集音させるだけで、当該ユーザ所望の文字画像Ｍを表示領域Ｒに表示される所定の画像に重ねて表示することができる。
【００６４】
また、本実施形態の表示装置１００によれば、集音部３ａにより集音された音の音源方向と、表示部８の表示領域Ｒに表示される所定の画像（表示対象の画像）から検出された顔の位置とに基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定する。したがって、ユーザ所望の文字画像Ｍに対応する音をユーザ所望の位置に対応する方向から集音部３ａに集音させるだけで、当該ユーザ所望の位置と表示領域Ｒに表示される所定の画像内の顔部分とに基づいて、当該ユーザ所望の文字画像Ｍの表示位置を決定することができる。
【００６５】
また、本実施形態の表示装置１００によれば、集音部３ａにより集音された音声の音源方向と、表示部８の表示領域Ｒに表示される所定の画像（表示対象の画像）から検出された顔のうちの当該音声を発した個体の顔の位置とに基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定する。したがって、個体が発したユーザ所望の文字画像Ｍに対応する音声をユーザ所望の位置に対応する方向から集音部３ａに集音させるだけで、当該ユーザ所望の位置と表示領域Ｒに表示される所定の画像内の当該個体の顔部分とに基づいて、当該ユーザ所望の文字画像Ｍの表示位置を決定することができる。
【００６６】
また、本実施形態の表示装置１００によれば、集音部３ａにより集音された音の音源方向に基づいて、文字画像Ｍに含まれるふきだし画像の引き出し線Ｌの向きを決定する。したがって、ユーザによる操作入力部２等の操作によりふきだし線の引き出し線Ｌの向きを入力する等の煩わしい操作がなくても、ふきだし画像の引き出し線Ｌの向きとして適切な向きを決定することができる。
【００６７】
また、本実施形態の表示装置１００によれば、集音部３ａにより集音された音の音量に基づいて、表示部８の表示領域Ｒに表示される音関連画像（文字画像Ｍ）の寸法を決定することができる。したがって、ユーザによる操作入力部２等の操作によりユーザ所望の寸法を入力する等の煩わしい操作を不要とし、ユーザ所望の寸法に対応する音量の音を集音部３ａに集音させるだけで、表示領域Ｒに表示される所定の画像に、当該ユーザ所望の寸法の音関連画像（文字画像Ｍ）を重ねて表示することができる。
【００６８】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
【００６９】
例えば、表示装置１００は、音声情報テーブルＴ１及び顔識別用情報テーブルＴ２に代えて、音声情報テーブルＴ１と顔識別用情報テーブルＴ２とを一体化したテーブルを格納していても良い。即ち、表示装置１００は、ヒトや動物等の個体の音声を識別するための音声情報と、当該個体の顔を識別するための顔識別用情報と、当該個体を識別するための識別情報とを対応付けて記憶するテーブルを格納していても良い。この場合、当該テーブルが、第１記憶手段及び第２記憶手段を構成する。
【００７０】
また、画像処理部６は、音源方向特定部３ｄにより特定された音源方向、即ち、集音部３ａにより集音された音の音源方向に基づいて、当該音に関連する音関連画像自体の向きを決定しても良い。具体的には、例えば、画像処理部６は、音源方向が右方向又は左方向の場合、文字画像Ｍの文字が横に並ぶ横書きとなるように、文字画像Ｍ（音関連画像）自体の向きを決定するとともに、音源方向が上方向又は下方向の場合、文字画像Ｍの文字が縦に並ぶ縦書きとなるように、文字画像Ｍ（音関連画像）自体の向きを決定してもよい。
【００７１】
また、表示装置１００が撮像部を備えている場合、個体識別部３ｆは、音声情報に代えて、当該撮像部により撮像された画像に基づいて、集音部３ａにより集音された音声を発したヒトや動物等の個体を識別しても良い。即ち、ヒト及び動物のうち、少なくとも一方の各個体の識別に、音声情報を用いるか否かは適宜任意に変更可能である。
【００７２】
また、上記実施形態では、表示制御部７は、表示領域Ｒに表示済みの表示対象の画像に、文字画像Ｍを重ねて表示させるようにしたが、例えば、表示領域Ｒに表示される前の表示対象の画像において文字画像Ｍの表示位置を決定してから、表示対象の画像と文字画像Ｍとをともに表示領域Ｒに表示させるようにしても良い。
また、表示制御部７は、文字画像ＭをＯＳＤ画像として、表示対象の画像と重なるように重畳表示させるようにしたが、例えば、画像処理部６は、表示対象の画像と文字画像Ｍとを合成した画像を生成し、表示制御部７は、当該合成した画像を表示領域Ｒに表示させるようにしても良い。
【００７３】
また、音源Ｓは、音声を発するヒトや動物等の個体でなくてもよく、音を発する物であれば良い。
また、画像処理部６は、音源Ｓが車等の音声以外の音を発する物である場合、音源Ｓが発する音を識別するための情報や、音源Ｓの外形や音源Ｓの特徴部分の形状等を識別するための情報などに基づいて、表示対象の画像（例えば、車等を被写体とする画像）から集音部３ａにより集音された音を発した音源Ｓ（例えば、車等）領域を検出し、当該検出した音源Ｓ領域の位置に基づいて、音関連画像の表示位置を決定しても良い。
また、表示装置１００が撮像部を備えている場合、音源Ｓの外形や音源Ｓの特徴部分の形状等を識別するための情報や、当該撮像部により撮像された画像などに基づいて、表示対象の画像（例えば、車等を被写体とする画像）から集音部３ａにより集音された音を発した音源Ｓ（例えば、車等）領域を検出し、当該検出した音源Ｓ領域の位置に基づいて、音関連画像の表示位置を決定しても良い。
【００７４】
また、上記実施形態では、音関連画像を、集音部３ａにより集音された音声を対応する文字で表した文字画像Ｍとしたが、音関連画像は、例えば、集音部３ａにより集音された音声以外の音（例えば、騒音等）を対応する文字で表した文字画像Ｍであっても良い。具体的には、表示装置１００は、例えば、「プップー」という車のクラクションの音が集音部３ａにより集音された場合、音関連画像として当該音を対応する文字（「プップー」）で表した文字画像Ｍを表示しても良い。
また、音関連画像は、文字画像Ｍに限定されるものではなく、集音部３ａに集音された音に関連する画像であれば適宜任意に変更可能である。具体的には、表示装置１００は、例えば、「たいよう」という言葉が音声として集音部３ａに集音された場合、音関連画像として太陽の画像を表示しても良いし、例えば、「おはよう」という朝を連想させるような言葉が音声として集音部３ａに集音された場合、音関連画像として太陽の画像等の朝を連想させるような画像を表示しても良い。また、表示装置１００は、例えば、「プップー」という車のクラクションの音が集音部３ａにより集音された場合、音関連画像として車の画像等の「プップー」という音から連想できる物の画像を表示しても良い。
【００７５】
また、音関連画像の表示領域Ｒにおける表示位置は、上記実施形態に限定されるものではなく、少なくとも特定された音の音源方向に基づいて決定可能であれば、適宜任意に変更可能である。
また、ふきだし画像の引き出し線Ｌの向きは、上記実施形態に限定されるものではなく、特定された音源方向に基づいて決定可能であれば、適宜任意に変更可能である。また、ふきだし画像の引き出し線Ｌの向きは、音源方向以外の情報に基づいて決定しても良い。
また、表示領域Ｒに表示される音関連画像の寸法は、上記実施形態に限定されるものではなく、特定された音量に基づいて決定可能であれば、適宜任意に変更可能である。また、表示領域Ｒに表示される音関連画像の寸法は、音量以外の情報に基づいて決定しても良い。
【００７６】
また、上記実施形態では、位置決定部６ｆは、顔検出部６ｂにより検出された顔の個数が複数個である場合に、顔検出部６ｂにより所定の画像（表示対象の画像）から検出され、個体識別部３ｆにより識別された個体の顔識別用情報を用いて識別される顔の位置に基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定したが、これに限定されるものではない。位置決定部６ｆは、例えば、顔検出部６ｂにより検出された顔の個数にかかわらず、顔検出部６ｂにより所定の画像（表示対象の画像）から検出され、個体識別部３ｆにより識別された個体の顔識別用情報を用いて識別される顔の位置に基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定しても良い。この場合、顔検出部６ｂにより検出された顔の個数が１個であり、当該顔が集音されて録音された音声を発した個体の顔でないときには、位置決定部６ｆは、例えば、顔検出部６ｂにより顔が検出されなかった場合と同様、音源方向特定部３ｄにより特定された音源方向のみに基づいて、文字画像Ｍの表示領域Ｒにおける表示位置を決定する。
また、位置決定部６ｆが、顔識別用画像情報を利用して集音されて録音された音声を発した個体の顔を識別するようにしたが、例えば、顔検出部６ｂが、顔の検出と同時に、顔識別用画像情報を利用して集音されて録音された音声を発した個体の顔を識別しても良い。
【００７７】
加えて、上記実施形態にあっては、取得手段、方向特定手段、位置決定手段、表示制御手段としての機能を、中央制御部１の制御下にて、画像取得部６ａ、音源方向特定部３ｄ、位置決定部６ｆ、表示制御部７が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、方向特定処理ルーチン、位置決定処理ルーチン、表示制御処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、表示手段の表示領域に表示される所定の画像を取得する取得手段として機能させるようにしても良い。また、方向特定処理ルーチンにより中央制御部１のＣＰＵを、集音手段により集音された音の音源方向を特定する方向特定手段として機能させるようにしても良い。また、位置決定処理ルーチンにより中央制御部１のＣＰＵを、方向特定手段により特定された音の音源方向に基づいて、当該音に関連する音関連画像の表示領域における表示位置を決定する位置決定手段として機能させるようにしても良い。また、表示制御処理ルーチンにより中央制御部１のＣＰＵを、表示領域に表示される所定の画像と重なるように、音関連画像を位置決定手段により決定された表示位置に表示させる表示制御手段として機能させるようにしても良い。
【００７８】
同様に、音認識手段、検出手段、識別手段、向き決定手段、音量特定手段、寸法決定手段等のその他の機能についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００７９】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型画像記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００８０】
本発明の実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
表示手段を備えた表示装置において、
前記表示手段の表示領域に表示される画像を取得する取得手段と、
音源から発せられた音を集音する集音手段と、
当該装置本体の位置を基準として、前記集音手段により集音された音の音源方向を特定する方向特定手段と、
この方向特定手段により特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する位置決定手段と、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を前記位置決定手段により決定された表示位置に表示させる表示制御手段と、
を備えたことを特徴とする表示装置。
＜請求項２＞
前記取得手段により取得された画像から顔を検出する検出手段を更に備え、
前記位置決定手段は、更に、前記検出手段により前記画像から検出された顔の位置に基づいて、前記音関連画像の前記表示領域における表示位置を決定することを特徴とする請求項１に記載の表示装置。
＜請求項３＞
ヒト及び動物のうち、少なくとも一方の各個体の顔を識別するための顔識別用情報を記憶する第１記憶手段と、
ヒト及び動物のうち、少なくとも一方の各個体の識別に用いられる音声情報を記憶する第２記憶手段と、
この第２記憶手段に記憶されている前記音声情報に基づいて、前記集音手段により集音された音声を発した個体を識別する識別手段と、を更に備え、
前記位置決定手段は、前記検出手段により前記画像から検出され、前記識別手段により識別された個体の前記顔識別用情報を用いて識別される顔の位置に基づいて、前記音関連画像の前記表示領域における表示位置を決定することを特徴とする請求項２に記載の表示装置。
＜請求項４＞
前記集音手段により集音された音を認識する音認識手段を更に備え、
前記表示制御手段は、前記音関連画像として、前記音認識手段により認識された音を対応する文字で表した文字画像を表示させることを特徴とする請求項１〜３の何れか一項に記載の表示装置。
＜請求項５＞
前記文字画像は、前記文字を囲む枠部分の所定位置に接続された引き出し線を具備するふきだし画像を含み、
前記方向特定手段により特定された音源方向に基づいて、前記ふきだし画像の引き出し線の向きを決定する向き決定手段を更に備えることを特徴とする請求項４に記載の表示装置。
＜請求項６＞
前記集音手段により集音された音の音量を特定する音量特定手段と、
前記音量特定手段により特定された音量に基づいて、前記表示領域に表示される前記音関連画像の寸法を決定する寸法決定手段と、を更に備えることを特徴とする請求項１〜５の何れか一項に記載の表示装置。
＜請求項７＞
表示手段と、音源から発せられた音を集音する集音手段とを備える表示装置を用いた表示方法であって、
前記表示手段の表示領域に画像を表示する処理と、
前記表示装置本体の位置を基準として、前記集音手段により集音された音の音源方向を特定する処理と、
特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する処理と、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を決定された表示位置に表示させる処理と、
を行うことを特徴とする表示方法。
＜請求項８＞
表示手段と、音源から発せられた音を集音する集音手段とを備える表示装置のコンピュータを、
前記表示装置本体の位置を基準として、前記表示手段の表示領域に表示される画像を取得する取得手段、
前記集音手段により集音された音の音源方向を特定する方向特定手段、
この方向特定手段により特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する位置決定手段、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を前記位置決定手段により決定された表示位置に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００８１】
１ 中央制御部
３ａ 集音部
３ｃ 音量特定部
３ｄ 音源方向特定部
３ｅ 音認識部
３ｆ 個体識別部
７ａ 画像取得部
７ｂ 顔検出部
７ｃ 寸法決定部
７ｄ 向き決定部
７ｆ 位置決定部
８ 表示制御部
９ 表示部
１００ 表示装置
Ｌ 引き出し線
Ｍ 文字画像
Ｒ 表示領域
Ｓ 音源
Ｔ１ 音声情報テーブル
Ｔ２ 顔識別用情報テーブル
【特許請求の範囲】
【請求項１】
表示手段を備えた表示装置において、
前記表示手段の表示領域に表示される画像を取得する取得手段と、
音源から発せられた音を集音する集音手段と、
当該装置本体の位置を基準として、前記集音手段により集音された音の音源方向を特定する方向特定手段と、
この方向特定手段により特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する位置決定手段と、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を前記位置決定手段により決定された表示位置に表示させる表示制御手段と、
を備えたことを特徴とする表示装置。
【請求項２】
前記取得手段により取得された画像から顔を検出する検出手段を更に備え、
前記位置決定手段は、更に、前記検出手段により前記画像から検出された顔の位置に基づいて、前記音関連画像の前記表示領域における表示位置を決定することを特徴とする請求項１に記載の表示装置。
【請求項３】
ヒト及び動物のうち、少なくとも一方の各個体の顔を識別するための顔識別用情報を記憶する第１記憶手段と、
ヒト及び動物のうち、少なくとも一方の各個体の識別に用いられる音声情報を記憶する第２記憶手段と、
この第２記憶手段に記憶されている前記音声情報に基づいて、前記集音手段により集音された音声を発した個体を識別する識別手段と、を更に備え、
前記位置決定手段は、前記検出手段により前記画像から検出され、前記識別手段により識別された個体の前記顔識別用情報を用いて識別される顔の位置に基づいて、前記音関連画像の前記表示領域における表示位置を決定することを特徴とする請求項２に記載の表示装置。
【請求項４】
前記集音手段により集音された音を認識する音認識手段を更に備え、
前記表示制御手段は、前記音関連画像として、前記音認識手段により認識された音を対応する文字で表した文字画像を表示させることを特徴とする請求項１〜３の何れか一項に記載の表示装置。
【請求項５】
前記文字画像は、前記文字を囲む枠部分の所定位置に接続された引き出し線を具備するふきだし画像を含み、
前記方向特定手段により特定された音源方向に基づいて、前記ふきだし画像の引き出し線の向きを決定する向き決定手段を更に備えることを特徴とする請求項４に記載の表示装置。
【請求項６】
前記集音手段により集音された音の音量を特定する音量特定手段と、
前記音量特定手段により特定された音量に基づいて、前記表示領域に表示される前記音関連画像の寸法を決定する寸法決定手段と、を更に備えることを特徴とする請求項１〜５の何れか一項に記載の表示装置。
【請求項７】
表示手段と、音源から発せられた音を集音する集音手段とを備える表示装置を用いた表示方法であって、
前記表示手段の表示領域に画像を表示する処理と、
前記表示装置本体の位置を基準として、前記集音手段により集音された音の音源方向を特定する処理と、
特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する処理と、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を決定された表示位置に表示させる処理と、
を行うことを特徴とする表示方法。
【請求項８】
表示手段と、音源から発せられた音を集音する集音手段とを備える表示装置のコンピュータを、
前記表示装置本体の位置を基準として、前記表示手段の表示領域に表示される画像を取得する取得手段、
前記集音手段により集音された音の音源方向を特定する方向特定手段、
この方向特定手段により特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する位置決定手段、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を前記位置決定手段により決定された表示位置に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
【請求項１】
表示手段を備えた表示装置において、
前記表示手段の表示領域に表示される画像を取得する取得手段と、
音源から発せられた音を集音する集音手段と、
当該装置本体の位置を基準として、前記集音手段により集音された音の音源方向を特定する方向特定手段と、
この方向特定手段により特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する位置決定手段と、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を前記位置決定手段により決定された表示位置に表示させる表示制御手段と、
を備えたことを特徴とする表示装置。
【請求項２】
前記取得手段により取得された画像から顔を検出する検出手段を更に備え、
前記位置決定手段は、更に、前記検出手段により前記画像から検出された顔の位置に基づいて、前記音関連画像の前記表示領域における表示位置を決定することを特徴とする請求項１に記載の表示装置。
【請求項３】
ヒト及び動物のうち、少なくとも一方の各個体の顔を識別するための顔識別用情報を記憶する第１記憶手段と、
ヒト及び動物のうち、少なくとも一方の各個体の識別に用いられる音声情報を記憶する第２記憶手段と、
この第２記憶手段に記憶されている前記音声情報に基づいて、前記集音手段により集音された音声を発した個体を識別する識別手段と、を更に備え、
前記位置決定手段は、前記検出手段により前記画像から検出され、前記識別手段により識別された個体の前記顔識別用情報を用いて識別される顔の位置に基づいて、前記音関連画像の前記表示領域における表示位置を決定することを特徴とする請求項２に記載の表示装置。
【請求項４】
前記集音手段により集音された音を認識する音認識手段を更に備え、
前記表示制御手段は、前記音関連画像として、前記音認識手段により認識された音を対応する文字で表した文字画像を表示させることを特徴とする請求項１〜３の何れか一項に記載の表示装置。
【請求項５】
前記文字画像は、前記文字を囲む枠部分の所定位置に接続された引き出し線を具備するふきだし画像を含み、
前記方向特定手段により特定された音源方向に基づいて、前記ふきだし画像の引き出し線の向きを決定する向き決定手段を更に備えることを特徴とする請求項４に記載の表示装置。
【請求項６】
前記集音手段により集音された音の音量を特定する音量特定手段と、
前記音量特定手段により特定された音量に基づいて、前記表示領域に表示される前記音関連画像の寸法を決定する寸法決定手段と、を更に備えることを特徴とする請求項１〜５の何れか一項に記載の表示装置。
【請求項７】
表示手段と、音源から発せられた音を集音する集音手段とを備える表示装置を用いた表示方法であって、
前記表示手段の表示領域に画像を表示する処理と、
前記表示装置本体の位置を基準として、前記集音手段により集音された音の音源方向を特定する処理と、
特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する処理と、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を決定された表示位置に表示させる処理と、
を行うことを特徴とする表示方法。
【請求項８】
表示手段と、音源から発せられた音を集音する集音手段とを備える表示装置のコンピュータを、
前記表示装置本体の位置を基準として、前記表示手段の表示領域に表示される画像を取得する取得手段、
前記集音手段により集音された音の音源方向を特定する方向特定手段、
この方向特定手段により特定された前記音の音源方向に基づいて、当該音に関連する音関連画像の前記表示領域における表示位置を決定する位置決定手段、
前記表示領域に表示される前記画像と重なるように、前記音関連画像を前記位置決定手段により決定された表示位置に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２５２５２４（Ｐ２０１２−２５２５２４Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２４７１５（Ｐ２０１１−１２４７１５）
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]