説明

通信端末

【構成】 サブカメラ24aおよびメインカメラ24bは、内側に位置する話者および外側に位置する話者にそれぞれ割り当てられる。スピーカ20aおよびスピーカ20bもまた、内側に位置する話者および外側に位置する話者にそれぞれ割り当てられる。CPU32は、マイク22aおよびマイク22bの各々によって捉えられた音声に基づいて、内側に位置する話者および外側に位置する話者の中から発話者を特定する。無線回路38は、特定された発話者に割り当てられたカメラによって撮影された画像信号を、通話相手に送信する。
【効果】3者間での快適に通話を行うことができる。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、通信端末に関し、特にたとえば、TV電話機能を有する、通信端末に関する。
【背景技術】
【0002】
従来のこの種の通信端末の一例が、特許文献1に開示されている。この従来技術は、通信状態の悪化によって低速のデータ通信速度しか得られない場合に、画像通信を停止して音声通信のみを行おうとするものである。
【特許文献1】特開2004−180107号公報[H04N 5/225, H04M 1/02, 1/21]
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかし、従来技術では、話者を撮影するカメラは1つしか設けられていない。このため、3人以上で通話を行う場合に、1つのカメラを複数人の話者で共有する必要があり、快適な通話を妨げる可能性がある。
【0004】
それゆえに、この発明の主たる目的は、TV電話機能を利用して3人以上の話者で快適に通話を行うことができる、通信端末を提供することである。
【課題を解決するための手段】
【0005】
請求項1の発明に従う通信端末は、複数の話者にそれぞれ割り当てられる複数のカメラ、複数の話者にそれぞれ割り当てられる複数のマイク、複数のマイクの各々によって捉えられた音声に基づいて複数の話者の中から発話者を特定する特定手段、および複数のカメラのうち特定手段によって特定された発話者に割り当てられたカメラによって撮影された画像を通話相手に送信する送信手段を備える。
【0006】
複数のカメラは、複数の話者にそれぞれ割り当てられる。複数のマイクもまた、複数の話者にそれぞれ割り当てられる。特定手段は、複数のマイクの各々によって捉えられた音声に基づいて、複数の話者の中から発話者を特定する。送信手段は、特定された発話者に割り当てられたカメラによって撮影された画像を、通話相手に送信する。
【0007】
これによって、複数の話者のうち今回声を発した発話者の映像が、通話相手に送信される。したがって、3人以上の話者で快適に通話を行うことができる。
【0008】
請求項2の発明に従う通信端末は、請求項1に従属し、複数のカメラはお互いに異なる解像度を有し、複数のカメラの各々によって撮影された被写界像の間の解像度のずれを抑制する抑制手段をさらに備える。これによって、相手方の通信端末に同程度の解像度の映像を送ることができる。
【0009】
請求項3の発明に従う通信端末は、請求項1または2に従属し、筐体の一方主面に設けられる第1のカメラ、および筐体の他方主面に設けられる第2のカメラを含み、複数のマイクは、筐体の一方主面に設けられる第1のマイク、および筐体の他方主面に設けられる第2のマイクを含む。これによって、判別の精度が向上し、容易に対話者を捉えることができる。
【0010】
請求項4の発明に従う通信端末は、請求項1ないし3に従属し、通話相手の画像を表示するべく筐体の一方主面に設けられる第1の表示手段、および通話相手の画像を表示するべく筐体の他方主面に設けられる第2の表示手段をさらに備える。これによって、通信端末の一方主面と異なる方角に位置する話者にも、映像を表示することができる。この結果、携帯端末の利便性が向上する。
【発明の効果】
【0011】
この発明によれば、複数の話者のうち今回声を発した発話者の映像が、通話相手に送信される。したがって、3人以上の話者で快適に通話を行うことができる。
【0012】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【0013】
図1(A)および図1(B)を参照して、この発明の一実施例である通信端末10は、上部筐体12および下部筐体14を含む。上部筐体12および下部筐体14はヒンジ機構16によって互いに連結され、開閉動作が可能である。なお、図1(A)および図(B)は開状態を示し、図2(A)および図2(B)は閉状態を示す。
【0014】
通信端末10を開いたときに露出する面つまり内面に注目すると、上部筐体12にスピーカ20a,サブカメラ24aおよびメインLCD26aが設けられ、下部筐体14にマイク22aおよびキー操作部28が設けられる。通信端末10の開閉にかかわらず露出する面つまり外面に注目すると、上部筐体12にマイク22b,メインカメラ24bおよびサブLCD26bが設けられ、下部筐体14にスピーカ20bが設けられる。
【0015】
通信端末10の内部構成を図3に示す。操作キー28によってTV電話のための発呼操作が行われると、CPU32は、信号処理回路40,無線回路38およびアンテナ18を通して発呼信号を相手方の通信端末に送信する。これに対して、相手が着呼操作を行うと、TV電話可能状態になる。TV電話可能状態になると、CPU32は、スピーカ20b,マイク22b,メインカメラ24b,サブカメラ24aおよびサブLCD26bを起動させる。なお、相手方の通信端末もTV電話機能を有する。
【0016】
TV電話可能状態となった後にマイク22aに音声が入力されると、この音声は、マイク22aによってアナログ信号である音声信号に変換される。変換された音声信号は、アンプ46によって増幅され、AD/DA変換回路42によってディジタル信号である音声データに変換される。変換された音声データは、信号処理回路40によって符号化処理を施され、さらに無線回路38によって変調処理を施される。無線回路38によって生成された変調音声データは、アンテナ18から発信される。また、マイク22bに音声が入力されると、この音声は、マイク22bによってアナログ信号である音声信号に変換される。変換された音声信号は、アンプ44によって増幅され、AD/DA変換回路42によってディジタル信号である音声データに変換される。変換された音声データは、信号処理回路40によって符号化処理を施され、さらに無線回路38によって変調処理を施される。無線回路38によって生成された変調音声データは、アンテナ18から発信される。
【0017】
一方、相手方の通信端末から送られてきた変調音声データは、アンテナ18によって受信され、無線回路38によって復調処理を施されるとともに、信号処理40によって復号処理を施される。信号処理回路40によって復号された音声データは、AD/DA変換回路42によってアナログ信号である音声信号に変換され、変換された音声信号は、アンプ46を介して、スピーカ20aおよびスピーカ20bから出力される。
【0018】
CPU32によって起動されたサブカメラ24aは、図4(A)に示す被写界像Xを撮影する。被写界像Xは、カメラ処理回路34aによってディジタル信号である動画像データに変換される。変換された動画像データは、CPU32を介してLCDドライバ36aおよび無線回路38に送られる。無線回路38は、送られてきた動画像データに変調処理を施し、変調動画像データをアンテナ18を介して相手方の通信端末に送信する。LCDドライバ36aは、送られてきた動画像データをNTSC方式に従うコンポジットビデオ信号に変換する。変換されたコンポジット信号はメインLCD26aに与えられ、この結果、被写界のリアルタイム動画像(スルー画像)が子画面に表示される。
【0019】
また、CPU32によって起動されたメインカメラ24bは、図4(B)に示す被写界像Yを撮影する。被写界像Yは、カメラ処理回路34bによってディジタル信号である動画像データに変換される。変換された動画像データは、CPU32を介してLCDドライバ36bおよび無線回路38にそれぞれ送られる。無線回路38は、送られてきた動画像データに変調処理を施し、変調動画像データをアンテナ18を介して相手方の通信端末に送信する。LCDドライバ36bは、送られてきた動画像データをNTSC方式に従うコンポジットビデオ信号に変換する。変換されたコンポジット信号はサブLCD26bに与えられ、この結果、被写界のリアルタイム動画像(スルー画像)が子画面に表示される。
【0020】
一方、相手方の通信端末から送られてきた動画像データは、アンテナ18によって受信され、無線回路38によって復調処理を施される。復調処理を施された動画像データは、LCDドライバ36aおよびLCDドライバ36bの各々によってNTSC方式に従うコンポジットビデオ信号に変換される。LCDドライバ36aによって変換されたコンポジット信号はメインLCD26aに与えられ、この結果、図4(A)に示す被写界像ZがメインLCD26aの親画面に表示される。また、LCDドライバ36bによって変換されたコンポジット信号はサブLCD26bに与えられ、この結果、図4(B)に示す被写界像ZがサブLCD26bの親画面に表示される。
【0021】
なお、高解像度のメインカメラ24bによって撮像された被写界の動画像データは、カメラ処理回路34bによって間引き処理される。カメラ処理回路34bは、間引き処理によってサブカメラ24aの解像度まで落とすことができる。この結果、メインLCD26aに表示される親画面および子画面とサブLCD26bに表示される親画面と子画面とは、映像を均一に表示することができる。さらに、相手方に送られる映像の各々も、均一に表示することができる。これによって、話者の切り換わりに伴って変わる相手方の通信端末は、相手方に負担をかけない映像を表示することができる。
【0022】
図5は、話者P1および話者P2が通信端末10を利用して、通信端末を持つ話者P3とTV電話をしている状態を示している。通信端末10の外面から話者P2が通信端末10に向かって話しかけると、話者P3の通信端末から出力される映像は、内側のサブカメラ24aから外側のメインカメラ24bに切り換わる。また、通信端末10の内面から話者P1側が通信端末10に向かって話しかけると、話者P3の通信端末から出力される映像は、外側のメインカメラ24bから内側のサブカメラ24aに切り換わる。なお、このようなカメラ切り換え動作は、後述するCPU32のTV電話タスクで詳しく説明する。
【0023】
図4(A)は、メインLCD26aに表示される映像を示している。メインLCD26aは、画面全体に表示される親画面と右下手前に表示される子画面とを有する。親画面には、相手方の通信端末によって撮像された被写界像Zが表示され、子画面には、サブカメラ24aによって撮像された被写界像Xが表示される。なお、発話者が話者P1から話者P2に切り換わっても、メインLCD26aは、相手方の通信端末のカメラおよびサブカメラ24aによって撮影された映像を表示する。つまり、これまで撮像していた映像の対象は、話者の切り換わりによって切り換わることはない。
【0024】
また、図4(B)は、サブLCD26bに表示される映像を示している。サブLCD26bもまた、画面全体に表示される親画面と右下手前に表示される子画面とを有する。親画面には、相手方の通信端末によって撮像された被写界像Zが表示され、子画面には、サブカメラ24aによって撮像された被写界像Yが表示される。なお、発話者が話者P2から話者P1に切り換わっても、サブLCD26bは、相手方の通信端末のカメラおよびサブカメラ24aによって撮影された映像をそれぞれ表示する。つまり、これまで撮像していた映像の対象は、話者の切り換わりによって切り換わることはない。
【0025】
一方、図6(A)は、発話者が話者P1のとき、相手方の通信端末の液晶モニタに表示される映像を示している。相手方の通信端末の液晶モニタもまた、画面全体に表示される親画面と右下手前に表示される子画面とを有する。親画面には、携帯端末10のサブカメラ24aによって撮像された被写界像Xが表示され、子画面には、相手方の通信端末のカメラによって撮像された被写界像Zが表示される。なお、発話者が話者P1から話者P2に切り換わった場合、親画面は、図6(A)に示す被写界像Xから図6(B)に示す被写界像Yに切り換わる。
【0026】
また、図6(B)は、発話者が話者P2のとき、相手方の通信端末の液晶モニタに表示される映像を示している。親画面には、携帯端末10のメインカメラ24bによって撮像された被写界像Yが表示され、子画面には、相手方の通信端末のカメラによって撮像された被写界像Zが表示される。なお、発話者が話者P2から話者P1に切り換わった場合、親画面は、図6(A)に示す被写界像Xから図6(B)に示す被写界像Yに切り換わる。
【0027】
このようにして相手方との間でTV電話が行われている最中に、操作キー28によってTV電話終了操作が行われると、CPU32はTV電話処理を終了する。先に相手方からTV電話終了信号を受信した場合も、CPU32はTV電話処理を終了する。
【0028】
CPU32は、図7に示すTV電話タスクを実行する。CPU32はμITRONのようなマルチタスクOSの制御の下で、図示しない複数のタスクと並列してTV電話タスクを実行する。なお、このようなタスクに対応する制御プログラムは、フラッシュメモリ30に記憶される。
【0029】
図7を参照して、ステップS1ではマイク22aに取り込まれる音声信号のレベルとマイク22bに取り込まれる音声信号のレベルとを比較する。マイク22aの音声信号のレベルがマイク22bの音声信号のレベル以上のき、ステップS3に進む。ステップS3では、相手方に送る被写界像を撮影するカメラとしてサブカメラ24aを選択する。ステップS3でサブカメラ24aへの切り換えが終了すると、ステップS7に進む。一方、マイク22bの音声信号のレベルがマイク22aの音声信号のレベルより大きいとき、ステップS5に進む。ステップS5では、相手方に送る被写界像を撮影するカメラとしてメインカメラ24bを選択する。ステップS5でメインカメラ24bへの切り換えが終了すると、ステップS7に進む。
【0030】
ステップS7では、ステップS3およびステップS5で選択されたカメラの映像を相手方にそれぞれ送信する。ステップS9では、操作キー28によって、終了操作が選択されたか否か判断する。終了操作が行わなければ、ステップS1に戻る。終了操作が実行されると、TV電話処理を終了させる。
【0031】
以上の説明から分かるように、サブカメラ24aおよびメインカメラ24bは、話者P1および話者P2にそれぞれ割り当てられる。スピーカ20aおよびスピーカ20bもまた、話者P1および話者P2にそれぞれ割り当てられる。CPU32は、マイク22aおよびマイク22bの各々によって捉えられた音声に基づいて、話者P1および話者P2の中から発話者を特定する。無線回路38は、特定された発話者に割り当てられたカメラによって撮影された画像信号を、話者P3に送信する。
【0032】
これによって、話者P1および話者P2のうち今回声を発した発話者の映像が、話者P3に送信される。したがって、3人の話者で快適に通話を行うことができる。
【0033】
なお、この実施例では、相手方の通信端末の液晶モニタが発信者側の画像を切り換えて親画面に表示し、相手方を常に子画面に表示する方法を示しているが、親画面および子画面に発信者側の話者P1および発信者側の話者P2をそれぞれ表示する方法に切り換えることも可能である。
【0034】
また、この実施例では、話者P1と話者P2がそれぞれ交互に通信端末10に話しかけることとしているが、両者が同時に話しかけた場合、CPU32は声量の大きい方を採用する方法を採ることも可能である。また、声量のみならず外音なども判断基準に用いることができる。
【0035】
さらに、この実施例では、通信端末に構成される複数のカメラは、内面と外面とに位置しているが、内面に複数個もしくは外面に複数個設ける形体を採用してもよい。
【0036】
また、この実施例では、通信端末にカメラ,スピーカ,LCDおよびマイクがそれぞれ構成されているが、通信端末に外部接続可能なそれぞれの機能を保持するサブカメラ,スピーカ,サブLCDおよびサブマイクなどを設ける方法を採用してもよい。
【0037】
さらに、この実施例では、メインLCD26aおよびサブLCD26bに映像を映し続ける仕組みであるが、キー操作28によるモード選択によって、内面のみ映像を表示する方法もしくは外面のみ映像を表示する方法を選択することも可能である。
【0038】
また、この実施例では、TV電話機能を備える通信端末を想定しているが、通信機能の有するゲーム機,パーソナルコンピュータ,PDA(Personal Digital Assistant)などもこの発明の通信端末の概念に含まれると言える。
【0039】
さらに、この実施例では、それぞれの話者に向けて複数のマイクを設けているが、それぞれの話者が話しやすい通信端末の位置にマイクを設置する方法を採用してもよい。
【0040】
また、この実施例では、通信端末10の筐体を上部筐体12および下部筐体14と明記しているが、これに限らず、通信端末は1ないし2以上の筐体からなる構造を採用してもよい。
【0041】
さらに、この実施例では、相手方に送信する映像をスピーカから聞こえる音声信号のレベルが大きい側に切り換える方法を採用しているが、これにかかわらず、相手方に送信する映像を固定する手段も有する。
【図面の簡単な説明】
【0042】
【図1】(A)はこの発明の一実施例の開状態を示す正面図であり、(B)はこの発明の一実施例の開状態を示す背面図である。
【図2】(A)はこの発明の一実施例の閉状態を示す斜視図であり、(B)はこの発明の一実施例の閉状態を示す他の斜視図である。
【図3】図1実施例の内部構成の一例を示すブロック図である。
【図4】(A)はこの発明の一実施例の動作の一部を示す図解図であり、(B)はこの発明の一実施例の動作の他の一部を示す図解図である。
【図5】図1実施例の使用状態の一例を示す図解図である。
【図6】(A)はこの発明の一実施例の動作のその他の一部を示す図解図であり、(B)はこの発明の一実施例の動作のさらにその他の一部を示す図解図である。
【図7】図1実施例の動作の一部を示すフロー図である。
【符号の説明】
【0043】
10 …通信端末
18 …アンテナ
20a,20b …スピーカ
22a,22b …マイク
24a …サブカメラ
24b …メインカメラ
26a …メインLCD
26b …サブLCD
30 …フラッシュメモリ
32 …CPU
34a,34b …カメラ処理回路
36a,36b …LCDドライバ
38 …無線回路
40 …信号処理回路

【特許請求の範囲】
【請求項1】
複数の話者にそれぞれ割り当てられる複数のカメラ、
前記複数の話者にそれぞれ割り当てられる複数のマイク、
前記複数のマイクの各々によって捉えられた音声に基づいて前記複数の話者の中から発話者を特定する特定手段、および
前記複数のカメラのうち前記特定手段によって特定された発話者に割り当てられたカメラによって撮影された画像を通話相手に送信する送信手段を備える、通信端末。
【請求項2】
前記複数のカメラはお互いに異なる解像度を有し、
前記複数のカメラの各々によって撮影された被写界像の間の解像度のずれを抑制する抑制手段をさらに備える、請求項1記載の通信端末。
【請求項3】
筐体をさらに備え、
前記複数のカメラは前記筐体の一方主面に設けられる第1のカメラ、および前記筐体の他方主面に設けられる第2のカメラを含み、
前記複数のマイクは、前記筐体の一方主面に設けられる第1のマイク、および前記筐体の他方主面に設けられる第2のマイクを含む、請求項1または2記載の通信端末。
【請求項4】
前記通話相手の画像を表示するべく前期筐体の一方主面に設けられる第1の表示手段、および
前記通話相手の画像を表示するべく前記筐体の他方主面に設けられる第2の表示手段をさらに備える、請求項1ないし3のいずれかに記載の通信端末。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2006−140596(P2006−140596A)
【公開日】平成18年6月1日(2006.6.1)
【国際特許分類】
【出願番号】特願2004−326454(P2004−326454)
【出願日】平成16年11月10日(2004.11.10)
【出願人】(000001889)三洋電機株式会社 (18,308)
【出願人】(301023711)三洋テレコミュニケーションズ株式会社 (6)
【Fターム(参考)】