携帯通信端末、通信端末、中継装置およびプログラム
【課題】 テレビ電話において、相手に常に見られているという心理的負担を解消することができる携帯電話機を提供する。
【解決手段】 携帯電話機１は、画像切替スイッチ３０６と、加速度センサ５１０−１〜５１０〜３、磁気センサ部５２０を備えており、携帯電話機１の筐体の動きは加速度センサ５１０−１〜５１０−３および磁気センサ部５２０で検知される。ユーザは通信相手の携帯電話機に表示する画像をカメラ画像とアニメーションのいずれかを選択し、また、表示されるアニメーションは主操作部３０５による設定および携帯電話機１の筐体を動かすという動作によって変更できる。アニメーション表示を取り入れたことにより、常に見られているという心理的負担が解消された。
【解決手段】 携帯電話機１は、画像切替スイッチ３０６と、加速度センサ５１０−１〜５１０〜３、磁気センサ部５２０を備えており、携帯電話機１の筐体の動きは加速度センサ５１０−１〜５１０−３および磁気センサ部５２０で検知される。ユーザは通信相手の携帯電話機に表示する画像をカメラ画像とアニメーションのいずれかを選択し、また、表示されるアニメーションは主操作部３０５による設定および携帯電話機１の筐体を動かすという動作によって変更できる。アニメーション表示を取り入れたことにより、常に見られているという心理的負担が解消された。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯通信端末および他の通信端末間で通話を行う際、前記携帯通信端末から通話者に係る画像を他の通信端末に送信する通信技術に関する。
【背景技術】
【０００２】
従来、携帯電話機は電子カメラを内蔵したものが普及し、通話と同時に通話者の映像を送信する、いわゆるテレビ電話機能を備えたものも提供されるに至っている。この種の従来の技術として、特許文献1および特許文献2に記載されるものがある。
【特許文献１】特開平１１−２５０１６号公報
【特許文献２】特表２００４−５３７２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
一般に携帯電話機は時間や場所等に比較的制約を受けずに通話できる利便性が特徴であるが、上記のテレビ電話機能を用いる場合、かかる利便性のために不都合を生じることも考えられる。すなわち、いつどこでもテレビ電話による着信の可能性があるということは、いつどこでも他者の視線にさらされる可能性があるということであり、特にテレビ電話を使い慣れてないユーザにとって心理的な負担を生じるケースもあり得る。また自宅等において、入浴前後や就寝・睡眠時などプライベートな場面にあって、コミュニケーションを優先して常にテレビ電話による通話を許容することは負担となることも考えられる。
【０００４】
この発明は、このような事情に鑑みてなされたものであり、意思の表現手段として機能する動画を通話者の映像の代替とすることが可能な携帯通信技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために請求項１記載の発明にあっては、他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末であって、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行う指示手段と、前記切替指示により選択され前記動画を規定する規定情報を取得する取得手段と、前記規定情報に基づいて動画を生成する生成手段と、前記通話者の映像の代わりに前記動画を他の通信端末に送信する送信手段とを備えたことを特徴とする携帯通信端末を提供する。
【０００６】
また請求項２記載の発明にあっては、請求項１記載の通信システムにおいて、前記生成手段は、前記動画を構成する素材として予め登録された画像情報を記憶する記憶手段と、前記規定情報に従って前記画像情報を選択編集して前記動画を得る画像処理手段とを備えたものであることを特徴とする通信システムを提供する。
【０００７】
また請求項３記載の発明にあっては、他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末であって、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行う指示手段と、前記動画を規定する規定情報を取得する取得手段と、前記切替指示により選択され前記通話者の映像の代わりに前記規定情報を他の通信端末に送信する送信手段とを備えたことを特徴とする携帯通信端末を提供する。
【０００８】
また請求項４記載の発明にあっては、請求項１ないし３記載の携帯通信端末において、前記取得手段は、携帯通信端末の筐体の動きを検出する検出手段と、前記動きを示す検出信号を蓄積して時系列情報として記憶する第２の記憶手段と、前記規定情報に対応付けられて予め設定された前記筐体の動きの時系列条件を記憶する第３の記憶手段と、前記時系列情報が前記時系列条件を満たすと当該時系列条件に対応する規定情報を選択する選択手段とを備えたことを特徴とする携帯通信端末を提供する。
【０００９】
また請求項５記載の発明にあっては、請求項４記載の携帯通信端末において、検出手段は、前記筐体の長手方向にわたって離間した位置に設置された複数の加速度センサを備えていることを特徴とする携帯通信端末を提供する。
【００１０】
また請求項６記載の発明にあっては、請求項３記載の携帯通信端末と通信する通信端末であって、
前記規定情報を受信する受信手段と、受信した規定情報に基づいて動画を生成する生成手段と、該動画を表示する表示手段とを備えたことを特徴とする通信端末を提供する。
【００１１】
また請求項７記載の発明にあっては、請求項３記載の携帯通信端末および他の通信端末間の通話を中継する中継装置であって、前記規定情報を受信する受信手段と、受信した規定情報に基づいて動画を生成する生成手段と、該動画を前記他の通信端末に送信する送信手段とを備えたことを特徴とする中継装置を提供する。
【００１２】
また請求項８記載の発明にあっては、携帯通信端末および他の通信端末間で通話を行う際、前記携帯通信端末から通話者の映像を前記他の通信端末に送信する通信システムを対象とし、前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行うステップと、前記切替指示により選択され前記動画を規定する規定情報を取得するステップと、前記規定情報に基づいて動画を生成するステップを実行させると共に、前記通話者の映像の代わりに前記動画および規定情報のいずれか一方を他の通信端末に送信するステップとを実行させることを特徴とするプログラムを提供する。
【００１３】
また請求項９記載の発明にあっては、他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末を対象とし、前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行うステップと、前記動画を規定する規定情報を取得するステップとを実行させると共に、前記規定情報を取得するステップには、前記携帯通信端末の筐体の動きを検出するステップと、前記動きを示す検出信号を蓄積して時系列情報として記憶するステップと、前記規定情報に対応付けられて予め設定された前記筐体の動きの時系列条件を記憶するステップと、前記時系列情報が前記時系列条件を満たすと当該時系列条件に対応する規定情報を選択するステップとを含むことを特徴とするプログラムを提供する。
【発明の効果】
【００１４】
この発明によれば、指示手段により切替指示を行うことによって通話先に送信する通話者の映像の代替として所定の動画を切り替えて送信することが可能となる。したがって通話者は、映像付きの通話の拒否を伴わずに、他者の視線にさらされないプライベートな空間を確保でき、通話者の心理的な負担を軽減できる利点がある。
【００１５】
また通話者の映像の代替として送信する動画を生成するにあたって、素材となる画像情報を規定情報により選択編集する形態をとれば、通話の内容等に応じて通話者が規定情報を適宜変更することにより動画の内容を変更することが可能となる。すなわち、通話者の表情変化等を伝達する映像の代替として好適な動画を生成することが可能となる利点がある。
【００１６】
また素材となる画像情報を相手先の通信端末や中継装置と共有していることを前提として、動画の代わりに上記の規定情報を送信する形態をとることができる。この場合、送信元の携帯通信端末が動画生成のための処理負荷から解放され、さらに送信量も低減する利点がある。動画生成の処理は、相手先の通信端末あるいは中継装置で行えばよい。
【００１７】
また携帯通信端末の筐体の動きを検出し、かかる動きの時系列情報が所定の時系列条件を満たすとき、当該時系列条件に対応する所定の規定情報を取得する形態をとれば、筐体の動きに連動して動画を変更することができ、キー入力等を伴わずに動画の中のキャラクタの表情変化等を実現できる利点がある。
【発明を実施するための最良の形態】
【００１８】
以下、図面を用いてこの発明の実施形態を説明する。
図1は、この発明の第１の実施形態にかかる携帯電話機（携帯通信端末）の概略を示すブロック図、図2は携帯電話機の端末ユニットを開いた状態にしたときの正面図であり、X軸およびY軸は同図中の矢印で示す方向に設定する。図１に示すように端末ユニット１−１、１−２は携帯電話機１の２つの筐体であり、蝶番部１−３は２つの端末ユニットを開閉自在に連結する部分である。アンテナ２０１は図示しない無線基地局との間の電波信号の送受信を行うためのアンテナである。ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）部２０２は、アンテナ２０１が受信する受信信号を中間周波数の受信信号に変換して変復調部２０３へ出力するものである。さらにこのＲＦ部２０２は変復調部２０３から入力する送信信号を送信周波数の信号に変調し、アンテナ２０１へ出力して送信を行うものである。
【００１９】
変復調部２０３は、ＲＦ部２０２から入力した受信信号の復調処理と、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｐｌｔｉｌｅ Ａｃｃｅｓｓ：符号分割多元接続）部２０４から入力した送信信号の変調処理とを行うものである。ＣＤＭＡ部２０４は、送信符号の符号化処理、および受信信号の復号化処理を行うものである。音声処理部２０５は、マイクロホン３０１から入力される音声信号をデジタル信号に変換してＣＤＭＡ部２０４へ出力し、また、ＣＤＭＡ部２０４からデジタル信号化された音声信号を入力してアナログ音声信号に変換し、スピーカ３０２へ出力して発音させるものである。
【００２０】
アンテナ４０１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの電波信号を受信するためのアンテナである。ＧＰＳ受信部４０２は、ＧＰＳ衛星から受信した電波信号を復調し、復調した電波信号に基づいて携帯電話機１の緯度・経度（３次元モードの場合はさらに高度等）で表される位置を算出するものである。
【００２１】
加速度センサ５１０−１〜５１０−３はＸ，Ｙ軸方向の加速度を検出するものであり、端末ユニット１−１，１−２からなる筐体の長手方向にわたって離れた位置に設置される。端末ユニット１−１の蝶番部１−３側を上部、その対向側を下部とすれば、端末ユニット１−１の下部に加速度センサ５１０−１が設置される。加速度センサ５１０−２は蝶番部１−３あるいはその近傍に設置される。加速度センサ５１０−３は、端末ユニット１−２の蝶番部１−３側を下部、その対向側を上部とすれば、端末ユニット１−２の上部に設置される。この実施形態では、加速度センサ５１０−１〜５１０−３はＸ、Ｙ軸方向の重力加速度成分を検出し、その出力の直流成分から傾きを、交流成分から振動を検出するものである。
【００２２】
磁気センサ部５２０は磁気センサ５２１−１〜５２１−３、温度センサ５２２およびセンサ制御部５２３を備えたものであり、１つのパッケージに組み込まれ１チップ化されている。磁気センサ５２１−１〜５２１−３は、互いに直交するＸ、Ｙ、Ｚ軸各々の軸方向の磁気（磁界）を検出し、磁界データとして出力するものである。温度センサ５２２は、磁気センサ５２１−１〜５２１−３の温度補償を行うために周囲温度を検出するものである。センサ制御部５２３は、磁気センサ５２１−１〜５２１−３、温度センサ５２２および加速度センサ５１０−１〜５１０−３の検出出力に対してデータ処理を行うものである。
【００２３】
主制御部６０１は、携帯電話機１の主制御を司るＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０３は、主制御部６０１のメインメモリを構成するメモリである。ＲＯＭ６０２は、主制御部６０１のプログラムおよびアニメーションを作成するための素材となる各種の情報（後述する。）を保持している。ＲＡＭ６０３は、ＣＰＵが動作中に使用するデータ等を記憶する領域をＣＰＵに提供する。
【００２４】
報知手段３０３は、スピーカ・バイブレータ・発光ダイオード等を備え、着信やメール受信等を音・振動・光等によってユーザに報知するものである。時計部３０４は、主制御部６０１が使用する計時機能部である。主操作部３０５はテンキーおよびファンクションキーを有し、ユーザの指示入力を取り込んで主制御部６０１に与えるものである。画像切替スイッチ３０６は、相手側の携帯電話機に送信する画像を、後述する電子カメラ部３０７より取り込んだ映像にするか、アニメーションにするかを切り替えるプッシュスイッチである。
【００２５】
電子カメラ部３０７はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子とレンズ等の光学系とを有し、電子カメラ機能の主要部を構成するものである。電子カメラ部３０７の光学系は、通話者自身を被写体とする映像を取り込み可能となっている。また電子カメラ部３０７は撮影した映像を一時記憶するバッファメモリ（図示せず）を有し、所定の時間間隔をもって映像を取り込んでこのバッファメモリに蓄積することにより、連続的な映像を取り込むことが可能となっている。
【００２６】
表示部３０８は、主制御部から入力する表示用の信号に基づいて画像や文字等を表示する液晶ディスプレイ（ＬＣＤ）である。タッチパネル３０９は、表示部３０８の液晶ディスプレイの表面に組み込まれ、ユーザの接触操作による入力内容を表す信号を主制御部６０１へ出力するものである。
【００２７】
次に、上述した実施形態の動作を図３ないし図７を参照して説明する。図３に示すように、携帯電話機１は音声および画像を無線基地局２に対して送信する。無線基地局２は携帯電話機１からのデータを受信し通信先の電話番号を確認すると、通信先の携帯電話機１ａと通信可能な無線基地局２ａに対してネットワーク１０を介してデータを送信する。無線基地局２ａは無線基地局２からのデータを受信し通信先の電話番号を確認すると、通信先の携帯電話機１ａにデータを送信する。携帯電話機１ａでは、受信したデータを処理して音声の再生および画像の表示を行う。一方、携帯電話機１ａから送信されたデータは、無線基地局２ａ・ネットワーク１０・無線基地局２を経由して、携帯電話機１に到達する。携帯電話機１は受信したデータを処理して音声の再生および画像の表示を行う。このように、無線基地局２、２ａおよびネットワーク１０を中継して携帯電話機間で音声および画像の送受信を繰り返すことによってテレビ電話を行う。
【００２８】
続いて、携帯電話機１における主制御部６０１の処理を図４、図５を参照して説明する。図４に示すように、携帯電話機１の電源がオンとなると、上位のプログラムが立ち上がり、主制御部６０１を始めとして携帯電話機１の各部を初期化して立ち上げる処理を実行する（ステップＳ４０１）。この初期化処理が終了すると、テレビ電話を開始するために通話ボタンが押されたかどうかを判定し（ステップＳ４０２）、通話ボタンが押されていた場合は通話処理を行う（ステップＳ４０３）。この通話処理では、ユーザにより設定された電話番号を入力し、その電話番号で発信して相手の携帯電話機１ａとの通信を確立する。通話処理が終了すると画像処理に移行し、相手の携帯電話機１ａより受信した画像の表示および自機（携帯電話機１）における画像の送信を行う（ステップＳ４０４）。音声の送受信に関しては携帯電話機間でとられている従来の方法と同様で良いため、以下では画像の送受信に関する説明を行う。
【００２９】
図５は上記の画像処理のフローチャートであり、まず初めに相手の携帯電話機１ａから受信した画像を処理し、表示部３０８の画面７０１に表示する（ステップＳ５０１）。次に、画像切替スイッチ３０６の設定を確認する（ステップＳ５０２）。この設定に基づいて、自機が相手の携帯電話機１ａに送信する画像として、通話者の映像かアニメーションのいずれかが選択される。
【００３０】
つまり、たとえば開閉の２状態をとる画像切替スイッチ３０６が、通話者の映像を表示する設定を示す状態である場合、主制御部６０１は映像モードを選択する。この映像モードでは、電子カメラ部３０７より取り込んだ映像を処理し、表示部３０８の画面７０２に表示する（ステップＳ５０３）。このとき取り込む映像は、通話者自身の映像であることが通常の使用形態として想定されている。また相手の携帯電話機１ａに対しても映像を送信し、一連の処理を終了する（ステップＳ５０４）。
【００３１】
一方、通話者の映像ではなく代替のアニメーションを表示する設定の場合、主制御部６０１はアニメーションモードを選択する。このアニメーションモードでは、通話者の映像の代わりに所定のアニメーションを相手の携帯電話機１ａに送信する。送信するアニメーションは、たとえば主制御部６０１がリアルタイムで生成することにより提供する形態をとることができる。
【００３２】
アニメーションの生成は、予めＲＯＭ６０２に記憶されたアニメーションに関する情報に基づいて行われる。このアニメーションに関する情報は、画像の素材となる素材情報と、この素材情報をどのように選択して扱うかを指示してアニメーションを規定する規定情報とからなる。素材情報としては、キャラクタの顔や体の部位にあたるキャラクタ情報や、キャラクタの服装や背景などにあたる補助的な素材情報などがある。キャラクタ情報は、予め設定された複数のキャラクタ分用意されており、キャラクタの各種の表情や動作を描いた連続的な画像として用意されている。一方、規定情報は、どのキャラクタを選択するかどの服装を選択するかといった基本的な選択指示の他、表情や動作を選択する動作選択指示も含む。
【００３３】
主制御部６０１は、通話者が予め登録した規定情報をＲＡＭ６０３から読み出す。もし不足している情報があればデフォルト情報で補完する。読み出した規定情報に基づいてアニメーション処理を実行し、所定の素材情報を合成するなどしてアニメーション、すなわちキャラクタの動きを示す動画を生成する。生成したアニメーションは、通話者の映像の代替として、相手側の携帯電話機１ａに送信される。
【００３４】
したがって通話者は、テレビ電話による着信あるいは通信要求があったとき、通話自体は行いたいが通話者の映像を送信したくない場合、画像切替スイッチ３０６を操作してアニメーションモードに設定することにより、通話者の映像の代替としてアニメーションを送信する形態をもってテレビ電話による通話を受けることが可能となる。在宅時等、プライベートな場面で予めアニメーションモードに設定するなどの使用形態をとることができる。またタイマ機能を利用して夜間は自動的にアニメーションモードになるように設定しておく形態も可能である。このアニメーションモードへの切替機能を前提とすると、プライベートな場面を他者の視線にさらす可能性があるという心理的な負担を伴うことなく、携帯電話機によるテレビ電話機能を利用できる利点がある。
【００３５】
また相手の携帯電話機１ａに送信するアニメーションは、通話者の映像の代替としての性質から、通話者の意思を表現できるものであることが望ましく、特に会話の内容に伴ってリアルタイムで感情表現等を変更できる機能を有することが望ましい。この実施形態では、前述したアニメーションの規定情報のうち、動作選択を指示する規定情報を、通話中に簡単な操作で入力可能とすることにより、かかる要請に対処している。
【００３６】
すなわち、作成したアニメーションを送信するにあたって主制御部６０１は、アニメーションの動作情報を規定するため、まず磁気センサおよび加速度センサの出力データを時系列情報として取り込み、その時系列情報をＲＡＭ６０３に保存する（ステップＳ５０５、ステップＳ５０６）。ここでＲＯＭ６０２には、予めアニメーションの動作規定に対応する筐体の動きの時系列条件が保持されている。
【００３７】
主制御部６０１は、上記の時系列情報に対し時系列条件を照合する処理を行い、時系列条件と一致する箇所が出現するかどうか検索する（ステップＳ５０７）。かかる照合処理としては、デジタルフィルタを用いたパターン認識処理等、既存の各種の手法を採用できる。一例を挙げて簡単に説明すると、たとえば加速度センサ５１０−１〜５１０−３の取付位置をそれぞれ上中下とし、上中下の各成分の大中小を前件部、対応する規定情報を後件部とする条件式を予め設定しておく。
【００３８】
条件式の例を挙げると条件式１「上のＹ軸成分の動きが大きく変動を繰り返し他がすべて小さい（端末ユニット１−１を固定して端末ユニット１−２を揺動させる）ならばお辞儀である」、条件式２「中のＸ軸成分の動きが大きく変動を繰り返し他がすべて小さい（端末ユニット１−１の下部と端末ユニット１−２の上部を動かさず長手方向を回転軸として蝶番部１−３辺りを回転させる）ならばダンスである」、条件式３「上のＸ軸成分の動きが大きく、中のＸ軸成分が中程度に、下のＸ軸成分が小さく変動を繰り返し他がすべて小さい（端末ユニット１−１の下部を中心に左右に揺動させる）ならば手を振る」等、携帯電話機１の筐体の動きから直感的に想起される動きを示す規定情報を登録する形態が好ましい。
【００３９】
また、条件式４「上のＸ軸成分の動きが中程度に速く、中のＸ軸成分が小さく速く変動を繰り返し他がすべて小さい（端末ユニット１−１の下部を中心に左右に小刻みに揺動させる）ならば微笑む」などキャラクタの動きだけでなく表情を指定する規定情報を登録することも可能である。さらに条件式３，４を組み合わせた内容の条件式５「上のＸ軸成分の動きが大と中、中のＸ軸成分が中と小の変動を繰り返し他がすべて小さい（端末ユニット１−１の下部を中心に左右に振幅が大中を繰り返すように揺動させる）ならば微笑みながら手を振る」というように動きと表情を組み合わせた規定情報を登録することも可能である。
【００４０】
加速度センサ５１０−１〜５１０−３のＸ，Ｙ軸の各検出出力は所定のデジタルフィルタを通して動きと速度についてＸ，Ｙ軸各軸の大中小の成分が弁別され、上記の条件式の前件部の成立度が評価される。そして前件部の成立度から条件式の後件部の成立度がたとえば最小最大重心法等により評価される。このようにして時系列情報を時系列条件をもって照合し、時系列条件を満たす箇所が見つかった場合は、かかる時系列条件に対応するアニメーションの規定情報を選択し、その結果をＲＡＭ６０３に記憶する（ステップＳ５０８）。次に、選択されているアニメーションの基本情報（特定のキャラクタが手を振っている等）に表情（微笑んでいる）や服装などをマスキングするなどアニメーション処理を施してアニメーションの生成を行う（ステップＳ５０９）。最後に、生成したアニメーションを相手の携帯電話機１ａに送信し、一連の処理を終了する（ステップＳ５１１）。
【００４１】
また携帯通信端末の筐体の動きを検出し、かかる動きの時系列情報が所定の時系列条件を満たすとき、当該時系列条件に対応する所定の規定情報を取得する形態をとれば、筐体の動きに連動して動画を変更することができ、キー入力等を伴わずに動画の中のキャラクタの表情変化等を実現できる利点がある。
【００４２】
なお、上記の規定情報は予め出荷時に用意された情報を使用する他、ユーザが各自で任意の時系列条件を登録し、所望の動作や表情等を対応付けておくことも可能である。この場合、時系列条件を登録する画面においては、現在の傾きや動きの度合を示す棒グラフ状のインジケータ等を表示部３０８に表示して登録時に参照できるようにする形態をとることもできる。
【００４３】
図６は携帯電話機１の表示部３０８に出力される画像の一例であり、画面に大きく表示されている画像７０１が相手の携帯電話機１ａから受信した映像であり、画面の右下に小さく表示されている画像７０２が自分の携帯電話機１で生成した動画である。図７は相手側の携帯電話機１ａの表示部に出力される画像の一例であり、画面に大きく表示されているのが自分の携帯電話機１から送信した動画、右下に表示されているのが相手の映像である。
【００４４】
画像処理（図４のステップＳ４０４）が終了すると、通話を継続するか通話を終了するかを判定する（ステップＳ４０５）。通話を終了するのであれば、主制御部６０１はテレビ電話の開始を判定する段階に戻る（ステップＳ４０５：Ｙｅｓ）。一方、通話が継続される場合は、通話処理（ステップＳ４０３）に戻り、以後ステップＳ４０３、ステップＳ４０４を繰り返し実行する。
【００４５】
次に、この発明の第２の実施形態について説明する。
図８はこの発明の第２の実施形態にかかる携帯電話機１１および無線基地局１２の概略を示すブロック図である。この実施形態では、アニメーションの基本情報・表情・動作指定に関する情報は無線基地局１２内の記憶部８０３で保持する。携帯電話機１１の記憶部は、無線基地局１２で保持している画像に対応する識別子（ＩＤ）を保持し、通話者の映像の代替となる画像を表示する設定では携帯電話機１１はこの識別子を送信部２１０より無線基地局１２に対して送信する。無線基地局１２は受信部８０１で識別子を受信し、動画生成部８０２に出力する。動画生成部８０２は受信した識別子と記憶部８０３に保持されているアニメーションの情報とから動画を生成し、送信部８０４から相手先の携帯電話機へ送信する。
【００４６】
この第２の実施形態では、キャラクタの画像情報を携帯電話機１１で保存する必要がないため、携帯電話機１１に必要とされる記憶容量が少なくてすむ。また、通話者の映像の代替となる動画を表示する設定では、無線基地局１２に対して動画と比較して情報量の少ない識別子を送信しており、ネットワーク上を流れる情報量が軽減される。
【００４７】
以上、この発明の実施形態を詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。たとえば主制御部６０１（図１参照）はＣＰＵ型のプロセッサとして説明したが、具体的にはＢＢＰ（Ｂａｓｅ Ｂａｎｄ Ｐｒｏｃｅｓｓｏｒ）あるいはＢＢＰをメインにＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）をサブとして組み合わせて構築する形態等をとることができる。
【００４８】
ＢＢＰやＤＳＰに組み込むプログラムは、コンピュータ読み取り可能な記録媒体に記録されて頒布されることができ、機能の一部を実現する形態で頒布されるものであっても良い。たとえばＯＳ（オペレーション・システム）が提供する基本機能を利用したアプリケーションソフトの形式で頒布されるものであっても良い。さらにコンピュータシステムにすでに記録されている既存システムのプログラムとの組み合わせで所定の機能を実現できるもの、いわゆる差分プログラムで頒布される形態をとることも可能である。
【００４９】
また上記のコンピュータ読み取り可能な記録媒体には、可搬型の磁気ディスクや光磁気ディスク等の記憶媒体等以外にも、ハードディスク等の記憶装置その他不揮発性の記憶装置を含む。さらにインターネットその他のネットワーク等、任意の伝送媒体を介して他のコンピュータシステムから提供される形態でも良い。この場合、「コンピュータ読み取り可能な記録媒体」には、ネットワーク上のホストやクライアントとなるコンピュータシステム内部の揮発性メモリのように、伝送媒体において一定時間プログラムを保持しているものも含む。
【００５０】
またＢＢＰやＤＳＰによるコプロセッサ方式により制御部を構築する形態に言及したが、少なくともその一部のプロセッサをＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｌｌｅｙ）により構築する形態も可能である。この場合、ＦＰＧＡに組み込む回路プログラム情報の頒布については、上記のプログラムの頒布と同様に各種の形態をとることも可能である。
【図面の簡単な説明】
【００５１】
【図１】この発明の第１の実施形態にかかる携帯電話機１の概略を示すブロック図である。
【図２】携帯電話機の端末ユニットを開いた状態にしたときの正面図である。
【図３】テレビ電話による通信経路の概略図である。
【図４】携帯電話機の主制御部の処理を示すフローチャートである。
【図５】携帯電話機で画像を送信する処理を示すフローチャートである。
【図６】テレビ電話時に、自分の携帯電話機１に表示される画面の一例である。
【図７】テレビ電話時に、相手の携帯電話機１ａに表示される画面の一例である。
【図８】この発明の第２の実施形態にかかる携帯電話機１１および無線基地局１２の概略を示すブロック図である。
【符号の説明】
【００５２】
１、１ａ…携帯電話機（携帯通信端末） １−１、１−２…端末ユニット １−３…蝶番部 ２、２ａ…無線基地局 １０…ネットワーク ２０１…アンテナ ２１０…送信部 ３０５…主操作部 ３０６…画像切替スイッチ ３０７…電子カメラ部 ３０８…表示部 ３０９…タッチパネル ５１０−１〜５１０−３…加速度センサ ５２０…磁気センサ部 ５２１−１〜５２１−３…磁気センサ ５２２…温度センサ ５２３…センサ制御部 ６０１…主制御部 ６０２…ＲＯＭ ６０３…ＲＡＭ ８０１…受信部 ８０２…動画生成部 ８０３…記憶部 ８０４…送信部
【技術分野】
【０００１】
この発明は、携帯通信端末および他の通信端末間で通話を行う際、前記携帯通信端末から通話者に係る画像を他の通信端末に送信する通信技術に関する。
【背景技術】
【０００２】
従来、携帯電話機は電子カメラを内蔵したものが普及し、通話と同時に通話者の映像を送信する、いわゆるテレビ電話機能を備えたものも提供されるに至っている。この種の従来の技術として、特許文献1および特許文献2に記載されるものがある。
【特許文献１】特開平１１−２５０１６号公報
【特許文献２】特表２００４−５３７２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
一般に携帯電話機は時間や場所等に比較的制約を受けずに通話できる利便性が特徴であるが、上記のテレビ電話機能を用いる場合、かかる利便性のために不都合を生じることも考えられる。すなわち、いつどこでもテレビ電話による着信の可能性があるということは、いつどこでも他者の視線にさらされる可能性があるということであり、特にテレビ電話を使い慣れてないユーザにとって心理的な負担を生じるケースもあり得る。また自宅等において、入浴前後や就寝・睡眠時などプライベートな場面にあって、コミュニケーションを優先して常にテレビ電話による通話を許容することは負担となることも考えられる。
【０００４】
この発明は、このような事情に鑑みてなされたものであり、意思の表現手段として機能する動画を通話者の映像の代替とすることが可能な携帯通信技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために請求項１記載の発明にあっては、他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末であって、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行う指示手段と、前記切替指示により選択され前記動画を規定する規定情報を取得する取得手段と、前記規定情報に基づいて動画を生成する生成手段と、前記通話者の映像の代わりに前記動画を他の通信端末に送信する送信手段とを備えたことを特徴とする携帯通信端末を提供する。
【０００６】
また請求項２記載の発明にあっては、請求項１記載の通信システムにおいて、前記生成手段は、前記動画を構成する素材として予め登録された画像情報を記憶する記憶手段と、前記規定情報に従って前記画像情報を選択編集して前記動画を得る画像処理手段とを備えたものであることを特徴とする通信システムを提供する。
【０００７】
また請求項３記載の発明にあっては、他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末であって、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行う指示手段と、前記動画を規定する規定情報を取得する取得手段と、前記切替指示により選択され前記通話者の映像の代わりに前記規定情報を他の通信端末に送信する送信手段とを備えたことを特徴とする携帯通信端末を提供する。
【０００８】
また請求項４記載の発明にあっては、請求項１ないし３記載の携帯通信端末において、前記取得手段は、携帯通信端末の筐体の動きを検出する検出手段と、前記動きを示す検出信号を蓄積して時系列情報として記憶する第２の記憶手段と、前記規定情報に対応付けられて予め設定された前記筐体の動きの時系列条件を記憶する第３の記憶手段と、前記時系列情報が前記時系列条件を満たすと当該時系列条件に対応する規定情報を選択する選択手段とを備えたことを特徴とする携帯通信端末を提供する。
【０００９】
また請求項５記載の発明にあっては、請求項４記載の携帯通信端末において、検出手段は、前記筐体の長手方向にわたって離間した位置に設置された複数の加速度センサを備えていることを特徴とする携帯通信端末を提供する。
【００１０】
また請求項６記載の発明にあっては、請求項３記載の携帯通信端末と通信する通信端末であって、
前記規定情報を受信する受信手段と、受信した規定情報に基づいて動画を生成する生成手段と、該動画を表示する表示手段とを備えたことを特徴とする通信端末を提供する。
【００１１】
また請求項７記載の発明にあっては、請求項３記載の携帯通信端末および他の通信端末間の通話を中継する中継装置であって、前記規定情報を受信する受信手段と、受信した規定情報に基づいて動画を生成する生成手段と、該動画を前記他の通信端末に送信する送信手段とを備えたことを特徴とする中継装置を提供する。
【００１２】
また請求項８記載の発明にあっては、携帯通信端末および他の通信端末間で通話を行う際、前記携帯通信端末から通話者の映像を前記他の通信端末に送信する通信システムを対象とし、前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行うステップと、前記切替指示により選択され前記動画を規定する規定情報を取得するステップと、前記規定情報に基づいて動画を生成するステップを実行させると共に、前記通話者の映像の代わりに前記動画および規定情報のいずれか一方を他の通信端末に送信するステップとを実行させることを特徴とするプログラムを提供する。
【００１３】
また請求項９記載の発明にあっては、他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末を対象とし、前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行うステップと、前記動画を規定する規定情報を取得するステップとを実行させると共に、前記規定情報を取得するステップには、前記携帯通信端末の筐体の動きを検出するステップと、前記動きを示す検出信号を蓄積して時系列情報として記憶するステップと、前記規定情報に対応付けられて予め設定された前記筐体の動きの時系列条件を記憶するステップと、前記時系列情報が前記時系列条件を満たすと当該時系列条件に対応する規定情報を選択するステップとを含むことを特徴とするプログラムを提供する。
【発明の効果】
【００１４】
この発明によれば、指示手段により切替指示を行うことによって通話先に送信する通話者の映像の代替として所定の動画を切り替えて送信することが可能となる。したがって通話者は、映像付きの通話の拒否を伴わずに、他者の視線にさらされないプライベートな空間を確保でき、通話者の心理的な負担を軽減できる利点がある。
【００１５】
また通話者の映像の代替として送信する動画を生成するにあたって、素材となる画像情報を規定情報により選択編集する形態をとれば、通話の内容等に応じて通話者が規定情報を適宜変更することにより動画の内容を変更することが可能となる。すなわち、通話者の表情変化等を伝達する映像の代替として好適な動画を生成することが可能となる利点がある。
【００１６】
また素材となる画像情報を相手先の通信端末や中継装置と共有していることを前提として、動画の代わりに上記の規定情報を送信する形態をとることができる。この場合、送信元の携帯通信端末が動画生成のための処理負荷から解放され、さらに送信量も低減する利点がある。動画生成の処理は、相手先の通信端末あるいは中継装置で行えばよい。
【００１７】
また携帯通信端末の筐体の動きを検出し、かかる動きの時系列情報が所定の時系列条件を満たすとき、当該時系列条件に対応する所定の規定情報を取得する形態をとれば、筐体の動きに連動して動画を変更することができ、キー入力等を伴わずに動画の中のキャラクタの表情変化等を実現できる利点がある。
【発明を実施するための最良の形態】
【００１８】
以下、図面を用いてこの発明の実施形態を説明する。
図1は、この発明の第１の実施形態にかかる携帯電話機（携帯通信端末）の概略を示すブロック図、図2は携帯電話機の端末ユニットを開いた状態にしたときの正面図であり、X軸およびY軸は同図中の矢印で示す方向に設定する。図１に示すように端末ユニット１−１、１−２は携帯電話機１の２つの筐体であり、蝶番部１−３は２つの端末ユニットを開閉自在に連結する部分である。アンテナ２０１は図示しない無線基地局との間の電波信号の送受信を行うためのアンテナである。ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）部２０２は、アンテナ２０１が受信する受信信号を中間周波数の受信信号に変換して変復調部２０３へ出力するものである。さらにこのＲＦ部２０２は変復調部２０３から入力する送信信号を送信周波数の信号に変調し、アンテナ２０１へ出力して送信を行うものである。
【００１９】
変復調部２０３は、ＲＦ部２０２から入力した受信信号の復調処理と、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｐｌｔｉｌｅ Ａｃｃｅｓｓ：符号分割多元接続）部２０４から入力した送信信号の変調処理とを行うものである。ＣＤＭＡ部２０４は、送信符号の符号化処理、および受信信号の復号化処理を行うものである。音声処理部２０５は、マイクロホン３０１から入力される音声信号をデジタル信号に変換してＣＤＭＡ部２０４へ出力し、また、ＣＤＭＡ部２０４からデジタル信号化された音声信号を入力してアナログ音声信号に変換し、スピーカ３０２へ出力して発音させるものである。
【００２０】
アンテナ４０１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの電波信号を受信するためのアンテナである。ＧＰＳ受信部４０２は、ＧＰＳ衛星から受信した電波信号を復調し、復調した電波信号に基づいて携帯電話機１の緯度・経度（３次元モードの場合はさらに高度等）で表される位置を算出するものである。
【００２１】
加速度センサ５１０−１〜５１０−３はＸ，Ｙ軸方向の加速度を検出するものであり、端末ユニット１−１，１−２からなる筐体の長手方向にわたって離れた位置に設置される。端末ユニット１−１の蝶番部１−３側を上部、その対向側を下部とすれば、端末ユニット１−１の下部に加速度センサ５１０−１が設置される。加速度センサ５１０−２は蝶番部１−３あるいはその近傍に設置される。加速度センサ５１０−３は、端末ユニット１−２の蝶番部１−３側を下部、その対向側を上部とすれば、端末ユニット１−２の上部に設置される。この実施形態では、加速度センサ５１０−１〜５１０−３はＸ、Ｙ軸方向の重力加速度成分を検出し、その出力の直流成分から傾きを、交流成分から振動を検出するものである。
【００２２】
磁気センサ部５２０は磁気センサ５２１−１〜５２１−３、温度センサ５２２およびセンサ制御部５２３を備えたものであり、１つのパッケージに組み込まれ１チップ化されている。磁気センサ５２１−１〜５２１−３は、互いに直交するＸ、Ｙ、Ｚ軸各々の軸方向の磁気（磁界）を検出し、磁界データとして出力するものである。温度センサ５２２は、磁気センサ５２１−１〜５２１−３の温度補償を行うために周囲温度を検出するものである。センサ制御部５２３は、磁気センサ５２１−１〜５２１−３、温度センサ５２２および加速度センサ５１０−１〜５１０−３の検出出力に対してデータ処理を行うものである。
【００２３】
主制御部６０１は、携帯電話機１の主制御を司るＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０３は、主制御部６０１のメインメモリを構成するメモリである。ＲＯＭ６０２は、主制御部６０１のプログラムおよびアニメーションを作成するための素材となる各種の情報（後述する。）を保持している。ＲＡＭ６０３は、ＣＰＵが動作中に使用するデータ等を記憶する領域をＣＰＵに提供する。
【００２４】
報知手段３０３は、スピーカ・バイブレータ・発光ダイオード等を備え、着信やメール受信等を音・振動・光等によってユーザに報知するものである。時計部３０４は、主制御部６０１が使用する計時機能部である。主操作部３０５はテンキーおよびファンクションキーを有し、ユーザの指示入力を取り込んで主制御部６０１に与えるものである。画像切替スイッチ３０６は、相手側の携帯電話機に送信する画像を、後述する電子カメラ部３０７より取り込んだ映像にするか、アニメーションにするかを切り替えるプッシュスイッチである。
【００２５】
電子カメラ部３０７はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子とレンズ等の光学系とを有し、電子カメラ機能の主要部を構成するものである。電子カメラ部３０７の光学系は、通話者自身を被写体とする映像を取り込み可能となっている。また電子カメラ部３０７は撮影した映像を一時記憶するバッファメモリ（図示せず）を有し、所定の時間間隔をもって映像を取り込んでこのバッファメモリに蓄積することにより、連続的な映像を取り込むことが可能となっている。
【００２６】
表示部３０８は、主制御部から入力する表示用の信号に基づいて画像や文字等を表示する液晶ディスプレイ（ＬＣＤ）である。タッチパネル３０９は、表示部３０８の液晶ディスプレイの表面に組み込まれ、ユーザの接触操作による入力内容を表す信号を主制御部６０１へ出力するものである。
【００２７】
次に、上述した実施形態の動作を図３ないし図７を参照して説明する。図３に示すように、携帯電話機１は音声および画像を無線基地局２に対して送信する。無線基地局２は携帯電話機１からのデータを受信し通信先の電話番号を確認すると、通信先の携帯電話機１ａと通信可能な無線基地局２ａに対してネットワーク１０を介してデータを送信する。無線基地局２ａは無線基地局２からのデータを受信し通信先の電話番号を確認すると、通信先の携帯電話機１ａにデータを送信する。携帯電話機１ａでは、受信したデータを処理して音声の再生および画像の表示を行う。一方、携帯電話機１ａから送信されたデータは、無線基地局２ａ・ネットワーク１０・無線基地局２を経由して、携帯電話機１に到達する。携帯電話機１は受信したデータを処理して音声の再生および画像の表示を行う。このように、無線基地局２、２ａおよびネットワーク１０を中継して携帯電話機間で音声および画像の送受信を繰り返すことによってテレビ電話を行う。
【００２８】
続いて、携帯電話機１における主制御部６０１の処理を図４、図５を参照して説明する。図４に示すように、携帯電話機１の電源がオンとなると、上位のプログラムが立ち上がり、主制御部６０１を始めとして携帯電話機１の各部を初期化して立ち上げる処理を実行する（ステップＳ４０１）。この初期化処理が終了すると、テレビ電話を開始するために通話ボタンが押されたかどうかを判定し（ステップＳ４０２）、通話ボタンが押されていた場合は通話処理を行う（ステップＳ４０３）。この通話処理では、ユーザにより設定された電話番号を入力し、その電話番号で発信して相手の携帯電話機１ａとの通信を確立する。通話処理が終了すると画像処理に移行し、相手の携帯電話機１ａより受信した画像の表示および自機（携帯電話機１）における画像の送信を行う（ステップＳ４０４）。音声の送受信に関しては携帯電話機間でとられている従来の方法と同様で良いため、以下では画像の送受信に関する説明を行う。
【００２９】
図５は上記の画像処理のフローチャートであり、まず初めに相手の携帯電話機１ａから受信した画像を処理し、表示部３０８の画面７０１に表示する（ステップＳ５０１）。次に、画像切替スイッチ３０６の設定を確認する（ステップＳ５０２）。この設定に基づいて、自機が相手の携帯電話機１ａに送信する画像として、通話者の映像かアニメーションのいずれかが選択される。
【００３０】
つまり、たとえば開閉の２状態をとる画像切替スイッチ３０６が、通話者の映像を表示する設定を示す状態である場合、主制御部６０１は映像モードを選択する。この映像モードでは、電子カメラ部３０７より取り込んだ映像を処理し、表示部３０８の画面７０２に表示する（ステップＳ５０３）。このとき取り込む映像は、通話者自身の映像であることが通常の使用形態として想定されている。また相手の携帯電話機１ａに対しても映像を送信し、一連の処理を終了する（ステップＳ５０４）。
【００３１】
一方、通話者の映像ではなく代替のアニメーションを表示する設定の場合、主制御部６０１はアニメーションモードを選択する。このアニメーションモードでは、通話者の映像の代わりに所定のアニメーションを相手の携帯電話機１ａに送信する。送信するアニメーションは、たとえば主制御部６０１がリアルタイムで生成することにより提供する形態をとることができる。
【００３２】
アニメーションの生成は、予めＲＯＭ６０２に記憶されたアニメーションに関する情報に基づいて行われる。このアニメーションに関する情報は、画像の素材となる素材情報と、この素材情報をどのように選択して扱うかを指示してアニメーションを規定する規定情報とからなる。素材情報としては、キャラクタの顔や体の部位にあたるキャラクタ情報や、キャラクタの服装や背景などにあたる補助的な素材情報などがある。キャラクタ情報は、予め設定された複数のキャラクタ分用意されており、キャラクタの各種の表情や動作を描いた連続的な画像として用意されている。一方、規定情報は、どのキャラクタを選択するかどの服装を選択するかといった基本的な選択指示の他、表情や動作を選択する動作選択指示も含む。
【００３３】
主制御部６０１は、通話者が予め登録した規定情報をＲＡＭ６０３から読み出す。もし不足している情報があればデフォルト情報で補完する。読み出した規定情報に基づいてアニメーション処理を実行し、所定の素材情報を合成するなどしてアニメーション、すなわちキャラクタの動きを示す動画を生成する。生成したアニメーションは、通話者の映像の代替として、相手側の携帯電話機１ａに送信される。
【００３４】
したがって通話者は、テレビ電話による着信あるいは通信要求があったとき、通話自体は行いたいが通話者の映像を送信したくない場合、画像切替スイッチ３０６を操作してアニメーションモードに設定することにより、通話者の映像の代替としてアニメーションを送信する形態をもってテレビ電話による通話を受けることが可能となる。在宅時等、プライベートな場面で予めアニメーションモードに設定するなどの使用形態をとることができる。またタイマ機能を利用して夜間は自動的にアニメーションモードになるように設定しておく形態も可能である。このアニメーションモードへの切替機能を前提とすると、プライベートな場面を他者の視線にさらす可能性があるという心理的な負担を伴うことなく、携帯電話機によるテレビ電話機能を利用できる利点がある。
【００３５】
また相手の携帯電話機１ａに送信するアニメーションは、通話者の映像の代替としての性質から、通話者の意思を表現できるものであることが望ましく、特に会話の内容に伴ってリアルタイムで感情表現等を変更できる機能を有することが望ましい。この実施形態では、前述したアニメーションの規定情報のうち、動作選択を指示する規定情報を、通話中に簡単な操作で入力可能とすることにより、かかる要請に対処している。
【００３６】
すなわち、作成したアニメーションを送信するにあたって主制御部６０１は、アニメーションの動作情報を規定するため、まず磁気センサおよび加速度センサの出力データを時系列情報として取り込み、その時系列情報をＲＡＭ６０３に保存する（ステップＳ５０５、ステップＳ５０６）。ここでＲＯＭ６０２には、予めアニメーションの動作規定に対応する筐体の動きの時系列条件が保持されている。
【００３７】
主制御部６０１は、上記の時系列情報に対し時系列条件を照合する処理を行い、時系列条件と一致する箇所が出現するかどうか検索する（ステップＳ５０７）。かかる照合処理としては、デジタルフィルタを用いたパターン認識処理等、既存の各種の手法を採用できる。一例を挙げて簡単に説明すると、たとえば加速度センサ５１０−１〜５１０−３の取付位置をそれぞれ上中下とし、上中下の各成分の大中小を前件部、対応する規定情報を後件部とする条件式を予め設定しておく。
【００３８】
条件式の例を挙げると条件式１「上のＹ軸成分の動きが大きく変動を繰り返し他がすべて小さい（端末ユニット１−１を固定して端末ユニット１−２を揺動させる）ならばお辞儀である」、条件式２「中のＸ軸成分の動きが大きく変動を繰り返し他がすべて小さい（端末ユニット１−１の下部と端末ユニット１−２の上部を動かさず長手方向を回転軸として蝶番部１−３辺りを回転させる）ならばダンスである」、条件式３「上のＸ軸成分の動きが大きく、中のＸ軸成分が中程度に、下のＸ軸成分が小さく変動を繰り返し他がすべて小さい（端末ユニット１−１の下部を中心に左右に揺動させる）ならば手を振る」等、携帯電話機１の筐体の動きから直感的に想起される動きを示す規定情報を登録する形態が好ましい。
【００３９】
また、条件式４「上のＸ軸成分の動きが中程度に速く、中のＸ軸成分が小さく速く変動を繰り返し他がすべて小さい（端末ユニット１−１の下部を中心に左右に小刻みに揺動させる）ならば微笑む」などキャラクタの動きだけでなく表情を指定する規定情報を登録することも可能である。さらに条件式３，４を組み合わせた内容の条件式５「上のＸ軸成分の動きが大と中、中のＸ軸成分が中と小の変動を繰り返し他がすべて小さい（端末ユニット１−１の下部を中心に左右に振幅が大中を繰り返すように揺動させる）ならば微笑みながら手を振る」というように動きと表情を組み合わせた規定情報を登録することも可能である。
【００４０】
加速度センサ５１０−１〜５１０−３のＸ，Ｙ軸の各検出出力は所定のデジタルフィルタを通して動きと速度についてＸ，Ｙ軸各軸の大中小の成分が弁別され、上記の条件式の前件部の成立度が評価される。そして前件部の成立度から条件式の後件部の成立度がたとえば最小最大重心法等により評価される。このようにして時系列情報を時系列条件をもって照合し、時系列条件を満たす箇所が見つかった場合は、かかる時系列条件に対応するアニメーションの規定情報を選択し、その結果をＲＡＭ６０３に記憶する（ステップＳ５０８）。次に、選択されているアニメーションの基本情報（特定のキャラクタが手を振っている等）に表情（微笑んでいる）や服装などをマスキングするなどアニメーション処理を施してアニメーションの生成を行う（ステップＳ５０９）。最後に、生成したアニメーションを相手の携帯電話機１ａに送信し、一連の処理を終了する（ステップＳ５１１）。
【００４１】
また携帯通信端末の筐体の動きを検出し、かかる動きの時系列情報が所定の時系列条件を満たすとき、当該時系列条件に対応する所定の規定情報を取得する形態をとれば、筐体の動きに連動して動画を変更することができ、キー入力等を伴わずに動画の中のキャラクタの表情変化等を実現できる利点がある。
【００４２】
なお、上記の規定情報は予め出荷時に用意された情報を使用する他、ユーザが各自で任意の時系列条件を登録し、所望の動作や表情等を対応付けておくことも可能である。この場合、時系列条件を登録する画面においては、現在の傾きや動きの度合を示す棒グラフ状のインジケータ等を表示部３０８に表示して登録時に参照できるようにする形態をとることもできる。
【００４３】
図６は携帯電話機１の表示部３０８に出力される画像の一例であり、画面に大きく表示されている画像７０１が相手の携帯電話機１ａから受信した映像であり、画面の右下に小さく表示されている画像７０２が自分の携帯電話機１で生成した動画である。図７は相手側の携帯電話機１ａの表示部に出力される画像の一例であり、画面に大きく表示されているのが自分の携帯電話機１から送信した動画、右下に表示されているのが相手の映像である。
【００４４】
画像処理（図４のステップＳ４０４）が終了すると、通話を継続するか通話を終了するかを判定する（ステップＳ４０５）。通話を終了するのであれば、主制御部６０１はテレビ電話の開始を判定する段階に戻る（ステップＳ４０５：Ｙｅｓ）。一方、通話が継続される場合は、通話処理（ステップＳ４０３）に戻り、以後ステップＳ４０３、ステップＳ４０４を繰り返し実行する。
【００４５】
次に、この発明の第２の実施形態について説明する。
図８はこの発明の第２の実施形態にかかる携帯電話機１１および無線基地局１２の概略を示すブロック図である。この実施形態では、アニメーションの基本情報・表情・動作指定に関する情報は無線基地局１２内の記憶部８０３で保持する。携帯電話機１１の記憶部は、無線基地局１２で保持している画像に対応する識別子（ＩＤ）を保持し、通話者の映像の代替となる画像を表示する設定では携帯電話機１１はこの識別子を送信部２１０より無線基地局１２に対して送信する。無線基地局１２は受信部８０１で識別子を受信し、動画生成部８０２に出力する。動画生成部８０２は受信した識別子と記憶部８０３に保持されているアニメーションの情報とから動画を生成し、送信部８０４から相手先の携帯電話機へ送信する。
【００４６】
この第２の実施形態では、キャラクタの画像情報を携帯電話機１１で保存する必要がないため、携帯電話機１１に必要とされる記憶容量が少なくてすむ。また、通話者の映像の代替となる動画を表示する設定では、無線基地局１２に対して動画と比較して情報量の少ない識別子を送信しており、ネットワーク上を流れる情報量が軽減される。
【００４７】
以上、この発明の実施形態を詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。たとえば主制御部６０１（図１参照）はＣＰＵ型のプロセッサとして説明したが、具体的にはＢＢＰ（Ｂａｓｅ Ｂａｎｄ Ｐｒｏｃｅｓｓｏｒ）あるいはＢＢＰをメインにＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）をサブとして組み合わせて構築する形態等をとることができる。
【００４８】
ＢＢＰやＤＳＰに組み込むプログラムは、コンピュータ読み取り可能な記録媒体に記録されて頒布されることができ、機能の一部を実現する形態で頒布されるものであっても良い。たとえばＯＳ（オペレーション・システム）が提供する基本機能を利用したアプリケーションソフトの形式で頒布されるものであっても良い。さらにコンピュータシステムにすでに記録されている既存システムのプログラムとの組み合わせで所定の機能を実現できるもの、いわゆる差分プログラムで頒布される形態をとることも可能である。
【００４９】
また上記のコンピュータ読み取り可能な記録媒体には、可搬型の磁気ディスクや光磁気ディスク等の記憶媒体等以外にも、ハードディスク等の記憶装置その他不揮発性の記憶装置を含む。さらにインターネットその他のネットワーク等、任意の伝送媒体を介して他のコンピュータシステムから提供される形態でも良い。この場合、「コンピュータ読み取り可能な記録媒体」には、ネットワーク上のホストやクライアントとなるコンピュータシステム内部の揮発性メモリのように、伝送媒体において一定時間プログラムを保持しているものも含む。
【００５０】
またＢＢＰやＤＳＰによるコプロセッサ方式により制御部を構築する形態に言及したが、少なくともその一部のプロセッサをＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｌｌｅｙ）により構築する形態も可能である。この場合、ＦＰＧＡに組み込む回路プログラム情報の頒布については、上記のプログラムの頒布と同様に各種の形態をとることも可能である。
【図面の簡単な説明】
【００５１】
【図１】この発明の第１の実施形態にかかる携帯電話機１の概略を示すブロック図である。
【図２】携帯電話機の端末ユニットを開いた状態にしたときの正面図である。
【図３】テレビ電話による通信経路の概略図である。
【図４】携帯電話機の主制御部の処理を示すフローチャートである。
【図５】携帯電話機で画像を送信する処理を示すフローチャートである。
【図６】テレビ電話時に、自分の携帯電話機１に表示される画面の一例である。
【図７】テレビ電話時に、相手の携帯電話機１ａに表示される画面の一例である。
【図８】この発明の第２の実施形態にかかる携帯電話機１１および無線基地局１２の概略を示すブロック図である。
【符号の説明】
【００５２】
１、１ａ…携帯電話機（携帯通信端末） １−１、１−２…端末ユニット １−３…蝶番部 ２、２ａ…無線基地局 １０…ネットワーク ２０１…アンテナ ２１０…送信部 ３０５…主操作部 ３０６…画像切替スイッチ ３０７…電子カメラ部 ３０８…表示部 ３０９…タッチパネル ５１０−１〜５１０−３…加速度センサ ５２０…磁気センサ部 ５２１−１〜５２１−３…磁気センサ ５２２…温度センサ ５２３…センサ制御部 ６０１…主制御部 ６０２…ＲＯＭ ６０３…ＲＡＭ ８０１…受信部 ８０２…動画生成部 ８０３…記憶部 ８０４…送信部
【特許請求の範囲】
【請求項１】
他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末であって、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行う指示手段と、前記切替指示により選択され前記動画を規定する規定情報を取得する取得手段と、前記規定情報に基づいて動画を生成する生成手段と、前記通話者の映像の代わりに前記動画を他の通信端末に送信する送信手段とを備えたことを特徴とする携帯通信端末。
【請求項２】
前記生成手段は、前記動画を構成する素材として予め登録された画像情報を記憶する記憶手段と、前記規定情報に従って前記画像情報を選択編集して前記動画を得る画像処理手段とを備えたものであることを特徴とする請求項１記載の携帯通信端末。
【請求項３】
他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末であって、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行う指示手段と、前記動画を規定する規定情報を取得する取得手段と、前記切替指示により選択され前記通話者の映像の代わりに前記規定情報を他の通信端末に送信する送信手段とを備えたことを特徴とする携帯通信端末。
【請求項４】
前記取得手段は、携帯通信端末の筐体の動きを検出する検出手段と、前記動きを示す検出信号を蓄積して時系列情報として記憶する第２の記憶手段と、前記規定情報に対応付けられて予め設定された前記筐体の動きの時系列条件を記憶する第３の記憶手段と、前記時系列情報が前記時系列条件を満たすと当該時系列条件に対応する規定情報を選択する選択手段とを備えたことを特徴とする請求項１ないし３記載の携帯通信端末。
【請求項５】
検出手段は、前記筐体の長手方向にわたって離間した位置に設置された複数の加速度センサを備えていることを特徴とする請求項４記載の携帯通信端末。
【請求項６】
請求項３記載の携帯通信端末と通信する通信端末であって、
前記規定情報を受信する受信手段と、受信した規定情報に基づいて動画を生成する生成手段と、該動画を表示する表示手段とを備えたことを特徴とする通信端末。
【請求項７】
請求項３記載の携帯通信端末および他の通信端末間の通話を中継する中継装置であって、
前記規定情報を受信する受信手段と、受信した規定情報に基づいて動画を生成する生成手段と、該動画を前記他の通信端末に送信する送信手段とを備えたことを特徴とする中継装置。
【請求項８】
携帯通信端末および他の通信端末間で通話を行う際、前記携帯通信端末から通話者の映像を前記他の通信端末に送信する通信システムを対象とし、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行うステップと、前記切替指示により選択され前記動画を規定する規定情報を取得するステップと、前記規定情報に基づいて動画を生成するステップを実行させると共に、
前記通話者の映像の代わりに前記動画および規定情報のいずれか一方を他の通信端末に送信するステップとを実行させることを特徴とするプログラム。
【請求項９】
他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末を対象とし、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行うステップと、前記動画を規定する規定情報を取得するステップとを実行させると共に、
前記規定情報を取得するステップには、前記携帯通信端末の筐体の動きを検出するステップと、前記動きを示す検出信号を蓄積して時系列情報として記憶するステップと、前記規定情報に対応付けられて予め設定された前記筐体の動きの時系列条件を記憶するステップと、前記時系列情報が前記時系列条件を満たすと当該時系列条件に対応する規定情報を選択するステップとを含むことを特徴とするプログラム。
【請求項１】
他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末であって、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行う指示手段と、前記切替指示により選択され前記動画を規定する規定情報を取得する取得手段と、前記規定情報に基づいて動画を生成する生成手段と、前記通話者の映像の代わりに前記動画を他の通信端末に送信する送信手段とを備えたことを特徴とする携帯通信端末。
【請求項２】
前記生成手段は、前記動画を構成する素材として予め登録された画像情報を記憶する記憶手段と、前記規定情報に従って前記画像情報を選択編集して前記動画を得る画像処理手段とを備えたものであることを特徴とする請求項１記載の携帯通信端末。
【請求項３】
他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末であって、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行う指示手段と、前記動画を規定する規定情報を取得する取得手段と、前記切替指示により選択され前記通話者の映像の代わりに前記規定情報を他の通信端末に送信する送信手段とを備えたことを特徴とする携帯通信端末。
【請求項４】
前記取得手段は、携帯通信端末の筐体の動きを検出する検出手段と、前記動きを示す検出信号を蓄積して時系列情報として記憶する第２の記憶手段と、前記規定情報に対応付けられて予め設定された前記筐体の動きの時系列条件を記憶する第３の記憶手段と、前記時系列情報が前記時系列条件を満たすと当該時系列条件に対応する規定情報を選択する選択手段とを備えたことを特徴とする請求項１ないし３記載の携帯通信端末。
【請求項５】
検出手段は、前記筐体の長手方向にわたって離間した位置に設置された複数の加速度センサを備えていることを特徴とする請求項４記載の携帯通信端末。
【請求項６】
請求項３記載の携帯通信端末と通信する通信端末であって、
前記規定情報を受信する受信手段と、受信した規定情報に基づいて動画を生成する生成手段と、該動画を表示する表示手段とを備えたことを特徴とする通信端末。
【請求項７】
請求項３記載の携帯通信端末および他の通信端末間の通話を中継する中継装置であって、
前記規定情報を受信する受信手段と、受信した規定情報に基づいて動画を生成する生成手段と、該動画を前記他の通信端末に送信する送信手段とを備えたことを特徴とする中継装置。
【請求項８】
携帯通信端末および他の通信端末間で通話を行う際、前記携帯通信端末から通話者の映像を前記他の通信端末に送信する通信システムを対象とし、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行うステップと、前記切替指示により選択され前記動画を規定する規定情報を取得するステップと、前記規定情報に基づいて動画を生成するステップを実行させると共に、
前記通話者の映像の代わりに前記動画および規定情報のいずれか一方を他の通信端末に送信するステップとを実行させることを特徴とするプログラム。
【請求項９】
他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末を対象とし、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行うステップと、前記動画を規定する規定情報を取得するステップとを実行させると共に、
前記規定情報を取得するステップには、前記携帯通信端末の筐体の動きを検出するステップと、前記動きを示す検出信号を蓄積して時系列情報として記憶するステップと、前記規定情報に対応付けられて予め設定された前記筐体の動きの時系列条件を記憶するステップと、前記時系列情報が前記時系列条件を満たすと当該時系列条件に対応する規定情報を選択するステップとを含むことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−２８７２９７（Ｐ２００６−２８７２９７Ａ）
【公開日】平成１８年１０月１９日（２００６．１０．１９）
【国際特許分類】
【出願番号】特願２００５−１００６９０（Ｐ２００５−１００６９０）
【出願日】平成１７年３月３１日（２００５．３．３１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１８年１０月１９日（２００６．１０．１９）
【国際特許分類】
【出願日】平成１７年３月３１日（２００５．３．３１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]