携帯端末、携帯端末の画像送信方法、テレビ通話システム、及び携帯端末の制御プログラム
【課題】 携帯端末に搭載された加速度センサがスピーカの鳴動やバイブレータの振動を検出しても、携帯端末のユーザの画像が通話相手のディスプレイに違和感なく表示されるようにすること。
【解決手段】 画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた携帯端末において、該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算し、該撮像手段により撮像された画像を、該平均値に基づいて傾斜補正し、該傾斜補正された画像を送信する。
【解決手段】 画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた携帯端末において、該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算し、該撮像手段により撮像された画像を、該平均値に基づいて傾斜補正し、該傾斜補正された画像を送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、加速度センサが搭載された携帯端末、携帯端末の画像送信方法、テレビ通話システム、及び携帯端末の制御プログラムに関する。
【背景技術】
【０００２】
特許文献１には、映像対話システムが開示されている。対話者の内の一方対話者の画像を、一方対話者側のディスプレイから離れた位置に設けられた１つの撮像装置で撮像して他方対話者に送信すると、他方対話者のディスプレイにはその一方対話者の視線が他方対話者以外を見ているように映る。一方対話者が、撮像装置でなく、撮像装置から離れているディスプレイに映る他方対話者の映像を見ているからである。そのため、両対話者は、互いに視線が合わないという違和感を覚える。
【０００３】
そこで、特許文献１は、このような違和感を解消するために、ディスプレイの両脇に２つの撮像装置を配置し、これらの撮像装置から得られた画像を合成し、あたかも両撮像装置の中央から撮像したかのような画像を生成し、合成された画像を相手方に送信する技術を開示する。
【０００４】
また、特許文献２は、撮像装置に３軸加速度センサを搭載することにより、撮像装置の向きを判断し、撮像画像平面と撮像装置の光軸が直交するように撮像画像を補正する技術を開示する。
【０００５】
これらの技術を、携帯端末に搭載することにより、画像を適切に補正してテレビ通話可能な携帯端末を製造し、テレビ通話システムを構築することが考えられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−２５１５６２号公報
【特許文献２】特開２００７−４３５４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、加速度センサが搭載された携帯端末においては、テレビ通話の他方対話者の音声や他方対話者側の周辺音が一方対話者側の携帯端末のスピーカから流れる際、スピーカの鳴動が携帯端末の回路基板に振動を与えることにより、加速度センサが作動することがある。
【０００８】
そのため、一方対話者側の携帯端末が傾斜せずに一方対話者が携帯端末に対して正対しているにも関わらず、一方対話者側の携帯端末から送信しようとする一方対話者の画像が一方対話者側の携帯端末により傾斜補正されてから送信されてしまい、他方対話者側のディスプレイに一方対話者の画像が傾斜して表示されてしまうという問題点があった。
【０００９】
また、特に携帯電話機のような携帯端末の場合においては、電話やメールの着信等を通知するバイブレータが振動する際にも同様の問題点が生じる。
【００１０】
そこで、本発明は、これらの問題を解決するために、携帯端末に搭載された加速度センサがスピーカの鳴動やバイブレータの振動を検出しても、携帯端末のユーザの画像が通話相手のディスプレイに違和感なく表示されるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明による携帯端末は、画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備え、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する平均値計算手段と、
該撮像手段により撮像された画像を、該平均値計算手段により計算された平均値に基づいて傾斜補正する画像補正手段と、
該画像補正手段により傾斜補正された画像を送信する画像送信手段と、
をさらに備える。
【００１２】
本発明による携帯端末の画像送信方法は、画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた携帯端末の画像送信方法であって、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する第１ステップと、
該撮像手段により撮像された画像を、該第１ステップにおいて計算された平均値に基づいて傾斜補正する第２ステップと、
該傾斜補正された画像を送信する第３ステップと、
を備える。
【００１３】
本発明によるテレビ通話システムは、
画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた第１携帯端末と、
画像を表示する画像表示手段を備えた第２通信端末と、
を備えたテレビ通話システムであって、
該第１携帯端末は、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する平均値計算手段と、
該撮像手段により撮像された画像を、該平均値計算手段により計算された平均値に基づいて傾斜補正する画像補正手段と、
該画像補正手段により傾斜補正された画像を該第２通信端末に送信する画像送信手段と、をさらに備え、
該第２通信端末は、
該第１携帯端末の画像送信手段から送信された画像を、該画像表示手段により表示する。
【００１４】
本発明によるプログラムは、
画像を撮像する撮像処理と、
振動を発生する振動発生処理と、
加速度を検出する加速度検出処理と、
振動発生期間中、該加速度検出処理により検出された加速度から加速度の平均値を計算する平均値計算処理と、
該撮像処理により撮像された画像を、該平均値計算処理により計算された平均値に基づいて傾斜補正する画像補正処理と、
該画像補正処理により傾斜補正された画像を送信する画像送信処理と、
をコンピュータに実行させる。
【発明の効果】
【００１５】
本発明によれば、ユーザ画像は加速度の平均値を用いて傾斜補正されてから送信されるので、ユーザ画像を通話相手のディスプレイに違和感なく表示することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、第１実施形態である携帯電話機１の回路ブロック図である。
【図２】図２は、携帯電話機１のスピーカ７、加速度センサ１３、及びバイブレータ１５の配置関係を示す図である。
【図３】図３は、携帯電話機１のアプリ情報記憶部２０の構成図である。
【図４】図４は、携帯電話機１の全体動作を示すフローチャートである。
【図５】図５は、携帯電話機１の全体動作を示すフローチャートである。
【図６】図６は、第１実施形態に係る図４の平均化処理のサブルーチンを示すフローチャートである。
【図７】図７は、加速度センサ１３が出力する加速度の模式図である。
【図８】図８は、図７の加速度センサ１３の出力加速度の補正後の模式図である。
【図９】図９は、携帯電話機１のユーザ画像が通話相手のディスプレイにどう表示されるかを示す図である。Ａは、本発明により中間値を用いて傾斜補正した場合、ＢとＣは、中間値を用いずに傾斜補正した場合を示す。
【図１０】図１０は、第２実施形態に係る図４の平均化処理のサブルーチンを示すフローチャートである。
【図１１】図１１は、第３実施形態に係る図４の平均化処理のサブルーチンを示すフローチャートである。
【図１２】図１２は、付記１の構成図である。
【発明を実施するための最良の形態】
【００１７】
＜第１実施形態＞
（１）携帯端末の構成
図１は、本発明に係る携帯端末を携帯電話機１に適用した場合の構成を示す回路ブロック図である。なお、本発明の携帯端末は、携帯電話機だけでなく、スマートフォン、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンディターミナル、デジタルカメラ、パーソナルコンピュータ等の、加速度センサが搭載可能で携帯可能な種々の形態をとることができる。
【００１８】
図１に示されているように、携帯電話機１は、中央制御部２、無線通信部（送受信部）３、アンテナ４、音声信号処理部５、マイク６、スピーカ７、表示部８、操作部９、アプリ情報記憶部１０、計時部１１、プログラム記憶部１２、加速度センサ１３、カメラ部１４、バイブレータ１５、及び電源部１６を備える。
携帯電話機１は、不図示の基地局、交換機、及び移動体通信網を介して相手側の携帯電話機に接続されて音声通話及びテレビ通話、並びにメールの送受信が可能となっている。
テレビ通話は、呼の制御にＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を用い、映像・音声の伝送にＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を用いたＳＩＰ／ＲＴＰの他、Ｈ．３２４／Ｍ等のＩＴＵ（国際電気通信連合）が策定する規格に準拠して行うことができる。
Ｈ．３２３やＨ．３２４に準拠することにより、インターネットに接続されているパーソナルコンピュータや、公衆電話網に接続されている固定電話ともテレビ通話を行うことができる。
【００１９】
中央制御部２は、不図示のＣＰＵを備え、電源部１６から電力供給を受けてプログラム記憶部１２に記憶されたプログラムに従って携帯電話機１の各部の動作を制御する。
中央制御部２は、また、不図示のＡ／Ｄ変換部を備え、加速度センサ１３からの入力を所定のサンプリング周波数でＡ／Ｄ変換して互いに直交する３軸（Ｘ軸、Ｙ軸、Ｚ軸）の加速度データを得る。この加速度データは後述する平均化処理に用いられ、平均化処理により得られる平均値に基づいて画像の傾斜補正が行われる。
【００２０】
プログラム記憶部１２には、後述する図４乃至図６に示されたフローチャートを実行させるためのプログラムや、各種のアプリケーションを実行させるためのアプリケーションプログラムが格納されている。
無線通信部３は、携帯電話機１が音声通話を行う際は、アンテナ４を介して受信された受話信号（無線信号）を復調して受話データに変換する。
【００２１】
音声信号処理部５は受話データをＤ／Ａ変換して得られるアナログ受話信号をスピーカ７に提供し、スピーカ７は提供されたアナログ受話信号に基づいて受話音声を発する。
マイク６は入力された送話音声をアナログ送話信号に変換して音声信号処理部５に提供し、音声信号処理部５は提供されたアナログ送話信号をＡ／Ｄ変換して送話データを得る。
無線通信部３は送話データを送信信号に変調し、送信信号がアンテナ４を介して送信される。
【００２２】
無線通信部３は、携帯電話機１がアンテナ４を介して送受信する電波の変調及び復調を行う。
無線通信部３は、また、携帯電話機１がテレビ電話機能を実行する際は、パケットを受信して、パケットに含まれる符号化された受信映像データ及び受信音声データを復号化し、受信映像データ及び受信音声データを中央制御部２に提供する。
受信映像データは表示部８により表示され、受信音声データは音声信号処理部５によりアナログ受信音声信号にＤ／Ａ変換されてスピーカ７により音声が発せられる。
無線通信部３は、また、カメラ部１４により撮影され中央制御部２を介して提供される送信映像データと、マイク６から入力され音声信号処理部５でＡ／Ｄ変換された送信音声データとを符号化し、パケット化して、アンテナ４より送信する。
【００２３】
表示部８は、液晶ディスプレイと液晶駆動装置を備え、電話着信時の相手電話番号、電波状態、電池残量等の情報や、電子メールやＷｅｂサイトの内容を表示する。
表示部８は、また、テレビ通話を実施する際、通話相手の映像（たとえば顔）を表示する。
【００２４】
操作部９は、携帯電話機１の操作用のキーを備え、具体的には、電源キー、数字や文字を入力する入力キー、アプリケーションの起動や終了を指示するアプリケーションキー、着信通知をスピーカ７により音を鳴らすことで通知するのかバイブレータ１６により振動で通知するのかを設定するマナーモードキー等を備える。
【００２５】
アプリ情報記憶部１０には、各種アプリケーションに関連するデータが格納されている。たとえば、図３に示されているように、アプリ情報記憶部１０は、アドレス帳機能のアドレス帳情報（氏名、電話番号、メールアドレス等）を記憶するアドレス帳情報記憶部１０Ａ、送受信メールの内容を記憶するメール情報記憶部１０Ｂ、ＷｅｂサイトのＵＲＬ情報などを記憶するＷｅｂ情報記憶部１０Ｃ等のデータ記憶領域を備える。
アプリ情報記憶部１０は、さらに、スピーカから放音するときに「１」に設定され、スピーカから放音しないときに「０」に設定されるスピーカフラグを記憶するスピーカフラグ記憶部１０Ｄと、バイブレータを振動させるときに「１」に設定され、バイブレータを振動させないときに「０」に設定されるバイブレータフラグを記憶するバイブフラグ記憶部１０Ｅとを備える。
【００２６】
計時部１１は、年月日、時分秒に関する時間情報を計時し、計時されたデータは中央制御部２に提供される。
【００２７】
加速度センサ部１３は、たとえば３軸加速度センサを備える。３軸加速度センサに限らず、３軸加速度センサと３軸地磁気センサをワンチップ化した６軸センサを備えていてもよい。
３軸の加速度から、携帯電話機１に生じる各軸方向の振動の有無及びその大きさを知ることができる。したがって、携帯電話機１に歩数計機能が搭載されている場合、歩数カウントのためのツールとして利用することができる。
また、３軸の加速度から、携帯電話機１の傾斜（姿勢）を判断できる。したがって、携帯電話機１の傾斜の向き及び程度に応じて相手の画像を回転表示することにより、テレビ通話時に携帯電話機１が傾いていても、携帯電話機１の表示部８に相手の画像（たとえば顔）を正立させることができる。
また、３軸地磁気センサにより、方位を知ることができる。上記３軸加速度センサと組み合わせた場合、３軸加速度センサにより携帯電話機１の傾斜が分かっているので、得られた地磁気データからその傾斜分を差し引いて地磁気データを補正することにより、携帯電話機１が傾いていても電子コンパスとしての携帯電話機１による方位指示を精度良く行うことができる。
【００２８】
カメラ部１４は、静止画撮影や動画撮影を用途とした撮像目的のカメラであり、レンズ及びＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の光電変換素子を備え、レンズで集光した光をＣＭＯＳセンサに結像し、ＣＭＯＳセンサは受光した光を光電変換して画像データを中央制御部２に出力する。
【００２９】
バイブレータ１６は、回転軸に偏心錘が取り付けられたモーターを備える。電話やメールの着信時にモーターが回転することにより振動が発生され、ユーザに電話やメールの着信を振動で報知する。
【００３０】
スピーカ７、加速度センサ１３、及びバイブレータ１６は、図３に示されるように同じ回路基板上１７上に近接して搭載されている。
そのため、テレビ通話時の通話相手の声や通話相手の周辺の音を報音する際にスピーカ７が回路基板１７に余剰振動を発生させ、加速度センサ１３がこの余剰振動を検出する。
同様に、テレビ通話時に電話やメールの着信があるとバイブレータ１６が振動し、加速度センサ１３がこの振動を検出する。
電源部１６は、上述した各回路部に電圧を供給して、各回路部を駆動する。
【００３１】
中央制御部２、プログラム記憶部１２、及びアプリ情報記憶部１０は、全体として、平均値計算手段及び画像補正手段の機能を実現する。
【００３２】
（２）携帯端末の動作
次に、上述した第１実施形態に係る携帯電話機１の動作について説明する。
（２−１）メインルーチン
図４及び図５は、携帯電話機１のメインルーチンの動作を説明するためのフローチャートである。以下の処理は、中央制御部２によって実行される。
まず、中央制御部２は、携帯電話機１の電源がオン操作されたか否かを判断する（ステップＳ１）。電源オンの操作がされなければこのステップに待機し、オン操作がされれば動作に必要なパラメータを初期化する初期化処理を行い（ステップＳ２）、続いて待受処理を行う（ステップＳ３）。待受処理では網側に位置登録を行った後、電話の着信などの待受状態に入る。
【００３３】
次に、中央制御部２は、テレビ通話を開始すべきか否かを判断する（ステップＳ４）。具体的には、ユーザが操作部９を操作して通話相手の電話番号を入力してオフフック操作し、通話相手と呼が成立してテレビ通話を開始できる状態の下において、データの送受信を開始すべきか否かを判断する。あるいは、通話相手から呼の確立の要求があり、これに対してユーザが操作部９を操作してオフフック操作し、通話相手と呼が成立してテレビ通話を開始できる状態の下において、データの送受信を開始すべきか否かを判断する。
【００３４】
テレビ通話を開始しないときは、待受処理（ステップＳ３）に戻る。
テレビ通話を開始するときは、テレビ通話処理が可能な状態となる。すなわち、マイク６から入力されたユーザの音声やカメラ部１４により撮影された映像が、通話相手に対して送信される。逆に、通話相手からの音声はスピーカ７から放音され、映像は表示部８に表示される。
【００３５】
テレビ通話を開始するときは、中央制御部２は、スピーカ７を鳴動させるか否かを判断する（ステップＳ６）。すなわち、通話相手からの音声をスピーカ７から放音させるか否か、あるいはテレビ通話中にメールや電話の着信がありその着信を知らせるためにスピーカ７を放音させるか否かを判断する。
スピーカ７を鳴動させるとき、スピーカフラグを１に設定し（ステップＳ７）、続いてスピーカ７を鳴動させる（ステップＳ８）。
【００３６】
スピーカ７を鳴動させた後、又はスピーカを鳴動させないとき（ステップＳ６でＮＯのとき）、バイブレータ１５を振動させるか否かを判断する（ステップＳ９）。
バイブレータ１５を振動させるとき、バイブフラグを１に設定し、続いてバイブレータ１５を振動させる（ステップＳ１１）。
バイブレータ１５を振動させた後、又はバイブレータ１５を振動させないとき（ステップＳ９でＮＯのとき）、スピーカフラグが１か否か又はバイブフラグが１か否かを判断する。
いずれのフラグも１でなければ、ステップＳ５に戻る。
いずれか一方のフラグが１のとき又はいずれのフラグも１のとき、平均化処理に移る（ステップＳ１２）。平均化処理では、第１実施形態に係る図６のサブルーチン、第２実施形態に係る図１０のサブルーチン、又は第３実施形態に係る図１１のサブルーチンがコールされる。平均化処理の詳細は後述するが、端的には加速度センサ１３の出力を平均化して平均値を得る処理を行う。
平均化処理により平均値が得られると、続いて、得られた平均値を用いて、送信画像を補正送信する（ステップＳ１３）。ここでの補正とは、送信画像の傾斜ないし回転を補正することをいう。
【００３７】
続いて、スピーカフラグが１か否かを判断する（ステップＳ１４）。スピーカフラグが１のとき、スピーカの鳴動を終了させるか否かを判断する（ステップＳ１５）。
スピーカの鳴動を終了させるときは、スピーカフラグを０にする（ステップＳ１６）。他方、スピーカの鳴動を終了させないときは、平均化処理（ステップＳ１２）に戻って、ステップＳ１３〜ステップ１５の処理及び判断を継続する。
ステップＳ１６でスピーカフラグを０としたとき、又はステップＳ１４においてスピーカフラグが１でないと判断されたとき、バイブフラグが１か否かを判断する。
バイブフラグが１でないときは、スピーカを鳴動させるか否かの判断（ステップＳ５）に戻って、ステップＳ６〜ステップ１７の処理及び判断を継続する。
他方、バイブフラグが１であるときは、バイブレータの振動を終了させるか否かを判断する（ステップＳ１８）。
【００３８】
バイブレータの振動を終了させないときは、平均化処理（ステップＳ１２）に戻って、ステップＳ１３〜ステップ１８の処理及び判断を継続する。
他方、バイブレータの振動を終了させるときは、バイブフラグを０にし（ステップＳ１９）、テレビ通話を終了するか否かを判断する（ステップＳ２０）。
テレビ通話を終了しないときは、ステップＳ５〜Ｓ２０の処理及び判断を継続する。
テレビ通話を終了するときは、続いて携帯電話機１の電源をＯＦＦするか否かを判断する。
電源をＯＦＦしないときは待受処理（ステップＳ３）に戻り、ＯＦＦするときはＯＦＦして処理を終える。
【００３９】
（２−２）サブルーチン
次に、ステップＳ１２によりコールされる平均化処理に係るサブルーチンについて、図６を参照しつつ説明する。
本実施形態に係る平均化処理においては、加速度センサ１３から不図示のＡ／Ｄ変換部に入力され、Ａ／Ｄ変換部から得られた加速度データに基づいて、加速度データの平均値を計算する。
たとえば、バイブレータ１５が振動中、加速度センサ１３のＸ軸についての出力が図７のとおりであるとする。
このとき、携帯電話機１に搭載されている通常の補正機能を実行すると、加速度の変化が大きいので、中央制御部２はカメラ部１４で撮像されたユーザ画像の傾斜を大きく補正し、相手に対して送信する。
そのため、相手の携帯端末において、図９Ｂや図９Ｃのように画像が大きく傾いてユーザ画像が表示されてしまう。
そこで、本実施形態では、Ａ／Ｄ変換部から得られた加速度データの連続する２つのピーク値から平均値を計算する（ステップＳ１２−２）。この平均値を図７との対比のために線で結んで示すと図８のとおりであり、加速度の変動が抑えられていることが分かる。
この処理を終えると、中央制御部２は処理をメインルーチンに戻す。
先のステップＳ１３においては、この平均値が送信画像の補正に用いられるので、テレビ通話相手の携帯端末においては、図９Ｂや図９Ｃのようにユーザ画像が大きく傾くことなく、図９Ａのように略正立して表示される。
【００４０】
＜第２実施形態＞
第２実施形態は、平均を算出する方法が第１実施形態と異なる。具体的には、第１実施形態では連続する２つのピーク値から平均値を求めたが、第２実施形態では一定の期間ごとに、その一定の期間における、最大値と最小値から、平均値を求める。
以下、図１０を参照しつつ説明する。
図１０は、ステップＳ１２でコールされる平均化処理のサブルーチンである。
本実施形態においては、一定の期間ごとに、その一定の期間における、最大値と最小値から、平均値が計算される（ステップＳ１２−３）。
この処理を終えると、中央制御部２は処理をメインルーチンに戻す。
本実施形態において、「一定の期間」をどう設定するかは設計レベルの事項であるが、たとえば、１（ｍｓ）とすることが考えられる。
先のステップＳ１３においては、この平均値が送信画像の補正に用いられるので、テレビ通話相手の携帯端末においては、図９Ｂや図９Ｃのようにユーザ画像が大きく傾くことなく、図９Ａのように略正立して表示される。
【００４１】
＜第３実施形態＞
第３実施形態においては、第２実施形態のように、平均値は一定の期間ごとに計算する。
しかしながら、第３実施形態においては、第２実施形態と異なり、スピーカ７が鳴動する場合とバイブレータ１５が振動する場合とで「一定の期間」の長さが異なる。
以下、図１１を参照しつつ説明する。
図１１は、ステップＳ１２でコールされる平均化処理のサブルーチンである。
中央制御部２は、スピーカフラグが１か否かを判断する（ステップＳ１２−３）。
スピーカフラグが１のとき、期間ｔ１において、最大値と最小値から平均値を計算する。
他方、スピーカフラグが１でないとき、換言すればバイブフラグが１のとき、期間ｔ２において、最大値と最小値から平均値を計算する。
期間ｔ１又はｔ２で平均値を計算した後、中央制御部２は処理をメインルーチンに戻す。
これにより、スピーカ７が鳴動しているのか、それともバイブレータ１５が振動しているのかに応じて、異なる期間を設定して平均値を求めることができる。
このようにサンプリングする期間を異ならせるのは、一般的に、携帯電話機に搭載されるバイブレータの振動は約１５０（Ｈｚ）、人の声は約３００〜８００（Ｈｚ）と、周波数に相違があるからである。
すなわち、スピーカ７の鳴動の場合にはｔ１として例えば１／５００（ｓ／Ｈｚ）＝２（ｍｓ）を、バイブレータ１５の振動の場合にはｔ２として例えば１／１５０（ｓ／Ｈｚ）≒７（ｍｓ）を設定することにより、より適切に平均値を求めて、加速度の変動幅を軽減することができる。
先のステップＳ１３においては、この平均値が送信画像の補正に用いられるので、テレビ通話相手の携帯端末においては、図９Ｂや図９Ｃのようにユーザ画像が大きく傾くことなく、図９Ａのように略正立して表示される。
【００４２】
＜付記１乃至８＞
以下、本発明の一側面について、付言する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
図１２は、付記１の構成図である。
この図に示すように、付記１に係る発明は、
画像を撮像する撮像手段２１と、振動を発生する振動発生手段２２と、加速度を検出する加速度検出手段２３と、を備えた携帯端末であって、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する平均値計算手段２４と、
該撮像手段により撮像された画像を、該平均値計算手段により計算された平均値に基づいて傾斜補正する画像補正手段２５と、
該画像補正手段により傾斜補正された画像を送信する画像送信手段２６と、
をさらに備えた携帯端末である。
（付記２）
付記２に係る発明は、
該平均値計算手段は、所定の期間における加速度の最大値と最小値から平均値を計算する付記１に記載の携帯端末である。
（付記３）
付記３に係る発明は、
該振動発生手段は、第１振動発生手段と第２振動発生手段を備え、
該平均値計算手段は、該第１振動発生手段による振動か該第２振動発生手段による振動かに応じて、該所定の期間を異ならせて平均値を計算する、
付記２に記載の携帯端末である。
（付記４）
付記４に係る発明は、
画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた携帯端末の画像送信方法であって、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する第１ステップと、
該撮像手段により撮像された画像を、該第１ステップにおいて計算された平均値に基づいて傾斜補正する第２ステップと、
該傾斜補正された画像を送信する第３ステップと、
を備えた携帯端末の画像送信方法である。
（付記５）
付記５に係る発明は、
該第１ステップにおいて、所定の期間における加速度の最大値と最小値から平均値を計算する付記４に記載の携帯端末の画像送信方法である。
（付記６）
付記６に係る発明は、
該振動発生手段は、第１振動発生手段と第２振動発生手段を備え、
該第１ステップにおいて、該第１振動発生手段による振動か該第２振動発生手段による振動かに応じて、該所定の期間を異ならせて平均値を計算する、
付記５に記載の携帯端末の画像送信方法である。
（付記７）
付記７に係る発明は、
画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた第１携帯端末と、
画像を表示する画像表示手段を備えた第２通信端末と、
を備えたテレビ通話システムであって、
第１携帯端末は、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する平均値計算手段と、
該撮像手段により撮像された画像を、該平均値計算手段により計算された平均値に基づいて傾斜補正する画像補正手段と、
該画像補正手段により傾斜補正された画像を該第２通信端末に送信する画像送信手段と、をさらに備え、
該第２通信端末は、
該第１携帯端末の画像送信手段から送信された画像を、該画像表示手段により表示する、テレビ通話システムである。
（付記８）
付記８に係る発明は、
画像を撮像する撮像処理と、
振動を発生する振動発生処理と、
加速度を検出する加速度検出処理と、
振動発生期間中、該加速度検出処理により検出された加速度から加速度の平均値を計算する平均値計算処理と、
該撮像処理により撮像された画像を、該平均値計算処理により計算された平均値に基づいて傾斜補正する画像補正処理と、
該画像補正処理により傾斜補正された画像を送信する画像送信処理と、
をコンピュータに実行させるためのプログラムである。
【符号の説明】
【００４３】
２ 中央制御部（平均値計算手段、画像補正手段）
３ 無線通信部（画像送信手段）
１０ アプリ情報記憶部（平均値計算手段、画像補正手段）
１２ プログラム記憶部（平均値計算手段、画像補正手段）
１３ 加速度センサ（加速度検出手段）
１４ カメラ部（撮像手段）
１５ バイブレータ（振動発生手段）
【技術分野】
【０００１】
本発明は、加速度センサが搭載された携帯端末、携帯端末の画像送信方法、テレビ通話システム、及び携帯端末の制御プログラムに関する。
【背景技術】
【０００２】
特許文献１には、映像対話システムが開示されている。対話者の内の一方対話者の画像を、一方対話者側のディスプレイから離れた位置に設けられた１つの撮像装置で撮像して他方対話者に送信すると、他方対話者のディスプレイにはその一方対話者の視線が他方対話者以外を見ているように映る。一方対話者が、撮像装置でなく、撮像装置から離れているディスプレイに映る他方対話者の映像を見ているからである。そのため、両対話者は、互いに視線が合わないという違和感を覚える。
【０００３】
そこで、特許文献１は、このような違和感を解消するために、ディスプレイの両脇に２つの撮像装置を配置し、これらの撮像装置から得られた画像を合成し、あたかも両撮像装置の中央から撮像したかのような画像を生成し、合成された画像を相手方に送信する技術を開示する。
【０００４】
また、特許文献２は、撮像装置に３軸加速度センサを搭載することにより、撮像装置の向きを判断し、撮像画像平面と撮像装置の光軸が直交するように撮像画像を補正する技術を開示する。
【０００５】
これらの技術を、携帯端末に搭載することにより、画像を適切に補正してテレビ通話可能な携帯端末を製造し、テレビ通話システムを構築することが考えられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−２５１５６２号公報
【特許文献２】特開２００７−４３５４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、加速度センサが搭載された携帯端末においては、テレビ通話の他方対話者の音声や他方対話者側の周辺音が一方対話者側の携帯端末のスピーカから流れる際、スピーカの鳴動が携帯端末の回路基板に振動を与えることにより、加速度センサが作動することがある。
【０００８】
そのため、一方対話者側の携帯端末が傾斜せずに一方対話者が携帯端末に対して正対しているにも関わらず、一方対話者側の携帯端末から送信しようとする一方対話者の画像が一方対話者側の携帯端末により傾斜補正されてから送信されてしまい、他方対話者側のディスプレイに一方対話者の画像が傾斜して表示されてしまうという問題点があった。
【０００９】
また、特に携帯電話機のような携帯端末の場合においては、電話やメールの着信等を通知するバイブレータが振動する際にも同様の問題点が生じる。
【００１０】
そこで、本発明は、これらの問題を解決するために、携帯端末に搭載された加速度センサがスピーカの鳴動やバイブレータの振動を検出しても、携帯端末のユーザの画像が通話相手のディスプレイに違和感なく表示されるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明による携帯端末は、画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備え、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する平均値計算手段と、
該撮像手段により撮像された画像を、該平均値計算手段により計算された平均値に基づいて傾斜補正する画像補正手段と、
該画像補正手段により傾斜補正された画像を送信する画像送信手段と、
をさらに備える。
【００１２】
本発明による携帯端末の画像送信方法は、画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた携帯端末の画像送信方法であって、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する第１ステップと、
該撮像手段により撮像された画像を、該第１ステップにおいて計算された平均値に基づいて傾斜補正する第２ステップと、
該傾斜補正された画像を送信する第３ステップと、
を備える。
【００１３】
本発明によるテレビ通話システムは、
画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた第１携帯端末と、
画像を表示する画像表示手段を備えた第２通信端末と、
を備えたテレビ通話システムであって、
該第１携帯端末は、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する平均値計算手段と、
該撮像手段により撮像された画像を、該平均値計算手段により計算された平均値に基づいて傾斜補正する画像補正手段と、
該画像補正手段により傾斜補正された画像を該第２通信端末に送信する画像送信手段と、をさらに備え、
該第２通信端末は、
該第１携帯端末の画像送信手段から送信された画像を、該画像表示手段により表示する。
【００１４】
本発明によるプログラムは、
画像を撮像する撮像処理と、
振動を発生する振動発生処理と、
加速度を検出する加速度検出処理と、
振動発生期間中、該加速度検出処理により検出された加速度から加速度の平均値を計算する平均値計算処理と、
該撮像処理により撮像された画像を、該平均値計算処理により計算された平均値に基づいて傾斜補正する画像補正処理と、
該画像補正処理により傾斜補正された画像を送信する画像送信処理と、
をコンピュータに実行させる。
【発明の効果】
【００１５】
本発明によれば、ユーザ画像は加速度の平均値を用いて傾斜補正されてから送信されるので、ユーザ画像を通話相手のディスプレイに違和感なく表示することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、第１実施形態である携帯電話機１の回路ブロック図である。
【図２】図２は、携帯電話機１のスピーカ７、加速度センサ１３、及びバイブレータ１５の配置関係を示す図である。
【図３】図３は、携帯電話機１のアプリ情報記憶部２０の構成図である。
【図４】図４は、携帯電話機１の全体動作を示すフローチャートである。
【図５】図５は、携帯電話機１の全体動作を示すフローチャートである。
【図６】図６は、第１実施形態に係る図４の平均化処理のサブルーチンを示すフローチャートである。
【図７】図７は、加速度センサ１３が出力する加速度の模式図である。
【図８】図８は、図７の加速度センサ１３の出力加速度の補正後の模式図である。
【図９】図９は、携帯電話機１のユーザ画像が通話相手のディスプレイにどう表示されるかを示す図である。Ａは、本発明により中間値を用いて傾斜補正した場合、ＢとＣは、中間値を用いずに傾斜補正した場合を示す。
【図１０】図１０は、第２実施形態に係る図４の平均化処理のサブルーチンを示すフローチャートである。
【図１１】図１１は、第３実施形態に係る図４の平均化処理のサブルーチンを示すフローチャートである。
【図１２】図１２は、付記１の構成図である。
【発明を実施するための最良の形態】
【００１７】
＜第１実施形態＞
（１）携帯端末の構成
図１は、本発明に係る携帯端末を携帯電話機１に適用した場合の構成を示す回路ブロック図である。なお、本発明の携帯端末は、携帯電話機だけでなく、スマートフォン、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンディターミナル、デジタルカメラ、パーソナルコンピュータ等の、加速度センサが搭載可能で携帯可能な種々の形態をとることができる。
【００１８】
図１に示されているように、携帯電話機１は、中央制御部２、無線通信部（送受信部）３、アンテナ４、音声信号処理部５、マイク６、スピーカ７、表示部８、操作部９、アプリ情報記憶部１０、計時部１１、プログラム記憶部１２、加速度センサ１３、カメラ部１４、バイブレータ１５、及び電源部１６を備える。
携帯電話機１は、不図示の基地局、交換機、及び移動体通信網を介して相手側の携帯電話機に接続されて音声通話及びテレビ通話、並びにメールの送受信が可能となっている。
テレビ通話は、呼の制御にＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を用い、映像・音声の伝送にＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を用いたＳＩＰ／ＲＴＰの他、Ｈ．３２４／Ｍ等のＩＴＵ（国際電気通信連合）が策定する規格に準拠して行うことができる。
Ｈ．３２３やＨ．３２４に準拠することにより、インターネットに接続されているパーソナルコンピュータや、公衆電話網に接続されている固定電話ともテレビ通話を行うことができる。
【００１９】
中央制御部２は、不図示のＣＰＵを備え、電源部１６から電力供給を受けてプログラム記憶部１２に記憶されたプログラムに従って携帯電話機１の各部の動作を制御する。
中央制御部２は、また、不図示のＡ／Ｄ変換部を備え、加速度センサ１３からの入力を所定のサンプリング周波数でＡ／Ｄ変換して互いに直交する３軸（Ｘ軸、Ｙ軸、Ｚ軸）の加速度データを得る。この加速度データは後述する平均化処理に用いられ、平均化処理により得られる平均値に基づいて画像の傾斜補正が行われる。
【００２０】
プログラム記憶部１２には、後述する図４乃至図６に示されたフローチャートを実行させるためのプログラムや、各種のアプリケーションを実行させるためのアプリケーションプログラムが格納されている。
無線通信部３は、携帯電話機１が音声通話を行う際は、アンテナ４を介して受信された受話信号（無線信号）を復調して受話データに変換する。
【００２１】
音声信号処理部５は受話データをＤ／Ａ変換して得られるアナログ受話信号をスピーカ７に提供し、スピーカ７は提供されたアナログ受話信号に基づいて受話音声を発する。
マイク６は入力された送話音声をアナログ送話信号に変換して音声信号処理部５に提供し、音声信号処理部５は提供されたアナログ送話信号をＡ／Ｄ変換して送話データを得る。
無線通信部３は送話データを送信信号に変調し、送信信号がアンテナ４を介して送信される。
【００２２】
無線通信部３は、携帯電話機１がアンテナ４を介して送受信する電波の変調及び復調を行う。
無線通信部３は、また、携帯電話機１がテレビ電話機能を実行する際は、パケットを受信して、パケットに含まれる符号化された受信映像データ及び受信音声データを復号化し、受信映像データ及び受信音声データを中央制御部２に提供する。
受信映像データは表示部８により表示され、受信音声データは音声信号処理部５によりアナログ受信音声信号にＤ／Ａ変換されてスピーカ７により音声が発せられる。
無線通信部３は、また、カメラ部１４により撮影され中央制御部２を介して提供される送信映像データと、マイク６から入力され音声信号処理部５でＡ／Ｄ変換された送信音声データとを符号化し、パケット化して、アンテナ４より送信する。
【００２３】
表示部８は、液晶ディスプレイと液晶駆動装置を備え、電話着信時の相手電話番号、電波状態、電池残量等の情報や、電子メールやＷｅｂサイトの内容を表示する。
表示部８は、また、テレビ通話を実施する際、通話相手の映像（たとえば顔）を表示する。
【００２４】
操作部９は、携帯電話機１の操作用のキーを備え、具体的には、電源キー、数字や文字を入力する入力キー、アプリケーションの起動や終了を指示するアプリケーションキー、着信通知をスピーカ７により音を鳴らすことで通知するのかバイブレータ１６により振動で通知するのかを設定するマナーモードキー等を備える。
【００２５】
アプリ情報記憶部１０には、各種アプリケーションに関連するデータが格納されている。たとえば、図３に示されているように、アプリ情報記憶部１０は、アドレス帳機能のアドレス帳情報（氏名、電話番号、メールアドレス等）を記憶するアドレス帳情報記憶部１０Ａ、送受信メールの内容を記憶するメール情報記憶部１０Ｂ、ＷｅｂサイトのＵＲＬ情報などを記憶するＷｅｂ情報記憶部１０Ｃ等のデータ記憶領域を備える。
アプリ情報記憶部１０は、さらに、スピーカから放音するときに「１」に設定され、スピーカから放音しないときに「０」に設定されるスピーカフラグを記憶するスピーカフラグ記憶部１０Ｄと、バイブレータを振動させるときに「１」に設定され、バイブレータを振動させないときに「０」に設定されるバイブレータフラグを記憶するバイブフラグ記憶部１０Ｅとを備える。
【００２６】
計時部１１は、年月日、時分秒に関する時間情報を計時し、計時されたデータは中央制御部２に提供される。
【００２７】
加速度センサ部１３は、たとえば３軸加速度センサを備える。３軸加速度センサに限らず、３軸加速度センサと３軸地磁気センサをワンチップ化した６軸センサを備えていてもよい。
３軸の加速度から、携帯電話機１に生じる各軸方向の振動の有無及びその大きさを知ることができる。したがって、携帯電話機１に歩数計機能が搭載されている場合、歩数カウントのためのツールとして利用することができる。
また、３軸の加速度から、携帯電話機１の傾斜（姿勢）を判断できる。したがって、携帯電話機１の傾斜の向き及び程度に応じて相手の画像を回転表示することにより、テレビ通話時に携帯電話機１が傾いていても、携帯電話機１の表示部８に相手の画像（たとえば顔）を正立させることができる。
また、３軸地磁気センサにより、方位を知ることができる。上記３軸加速度センサと組み合わせた場合、３軸加速度センサにより携帯電話機１の傾斜が分かっているので、得られた地磁気データからその傾斜分を差し引いて地磁気データを補正することにより、携帯電話機１が傾いていても電子コンパスとしての携帯電話機１による方位指示を精度良く行うことができる。
【００２８】
カメラ部１４は、静止画撮影や動画撮影を用途とした撮像目的のカメラであり、レンズ及びＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の光電変換素子を備え、レンズで集光した光をＣＭＯＳセンサに結像し、ＣＭＯＳセンサは受光した光を光電変換して画像データを中央制御部２に出力する。
【００２９】
バイブレータ１６は、回転軸に偏心錘が取り付けられたモーターを備える。電話やメールの着信時にモーターが回転することにより振動が発生され、ユーザに電話やメールの着信を振動で報知する。
【００３０】
スピーカ７、加速度センサ１３、及びバイブレータ１６は、図３に示されるように同じ回路基板上１７上に近接して搭載されている。
そのため、テレビ通話時の通話相手の声や通話相手の周辺の音を報音する際にスピーカ７が回路基板１７に余剰振動を発生させ、加速度センサ１３がこの余剰振動を検出する。
同様に、テレビ通話時に電話やメールの着信があるとバイブレータ１６が振動し、加速度センサ１３がこの振動を検出する。
電源部１６は、上述した各回路部に電圧を供給して、各回路部を駆動する。
【００３１】
中央制御部２、プログラム記憶部１２、及びアプリ情報記憶部１０は、全体として、平均値計算手段及び画像補正手段の機能を実現する。
【００３２】
（２）携帯端末の動作
次に、上述した第１実施形態に係る携帯電話機１の動作について説明する。
（２−１）メインルーチン
図４及び図５は、携帯電話機１のメインルーチンの動作を説明するためのフローチャートである。以下の処理は、中央制御部２によって実行される。
まず、中央制御部２は、携帯電話機１の電源がオン操作されたか否かを判断する（ステップＳ１）。電源オンの操作がされなければこのステップに待機し、オン操作がされれば動作に必要なパラメータを初期化する初期化処理を行い（ステップＳ２）、続いて待受処理を行う（ステップＳ３）。待受処理では網側に位置登録を行った後、電話の着信などの待受状態に入る。
【００３３】
次に、中央制御部２は、テレビ通話を開始すべきか否かを判断する（ステップＳ４）。具体的には、ユーザが操作部９を操作して通話相手の電話番号を入力してオフフック操作し、通話相手と呼が成立してテレビ通話を開始できる状態の下において、データの送受信を開始すべきか否かを判断する。あるいは、通話相手から呼の確立の要求があり、これに対してユーザが操作部９を操作してオフフック操作し、通話相手と呼が成立してテレビ通話を開始できる状態の下において、データの送受信を開始すべきか否かを判断する。
【００３４】
テレビ通話を開始しないときは、待受処理（ステップＳ３）に戻る。
テレビ通話を開始するときは、テレビ通話処理が可能な状態となる。すなわち、マイク６から入力されたユーザの音声やカメラ部１４により撮影された映像が、通話相手に対して送信される。逆に、通話相手からの音声はスピーカ７から放音され、映像は表示部８に表示される。
【００３５】
テレビ通話を開始するときは、中央制御部２は、スピーカ７を鳴動させるか否かを判断する（ステップＳ６）。すなわち、通話相手からの音声をスピーカ７から放音させるか否か、あるいはテレビ通話中にメールや電話の着信がありその着信を知らせるためにスピーカ７を放音させるか否かを判断する。
スピーカ７を鳴動させるとき、スピーカフラグを１に設定し（ステップＳ７）、続いてスピーカ７を鳴動させる（ステップＳ８）。
【００３６】
スピーカ７を鳴動させた後、又はスピーカを鳴動させないとき（ステップＳ６でＮＯのとき）、バイブレータ１５を振動させるか否かを判断する（ステップＳ９）。
バイブレータ１５を振動させるとき、バイブフラグを１に設定し、続いてバイブレータ１５を振動させる（ステップＳ１１）。
バイブレータ１５を振動させた後、又はバイブレータ１５を振動させないとき（ステップＳ９でＮＯのとき）、スピーカフラグが１か否か又はバイブフラグが１か否かを判断する。
いずれのフラグも１でなければ、ステップＳ５に戻る。
いずれか一方のフラグが１のとき又はいずれのフラグも１のとき、平均化処理に移る（ステップＳ１２）。平均化処理では、第１実施形態に係る図６のサブルーチン、第２実施形態に係る図１０のサブルーチン、又は第３実施形態に係る図１１のサブルーチンがコールされる。平均化処理の詳細は後述するが、端的には加速度センサ１３の出力を平均化して平均値を得る処理を行う。
平均化処理により平均値が得られると、続いて、得られた平均値を用いて、送信画像を補正送信する（ステップＳ１３）。ここでの補正とは、送信画像の傾斜ないし回転を補正することをいう。
【００３７】
続いて、スピーカフラグが１か否かを判断する（ステップＳ１４）。スピーカフラグが１のとき、スピーカの鳴動を終了させるか否かを判断する（ステップＳ１５）。
スピーカの鳴動を終了させるときは、スピーカフラグを０にする（ステップＳ１６）。他方、スピーカの鳴動を終了させないときは、平均化処理（ステップＳ１２）に戻って、ステップＳ１３〜ステップ１５の処理及び判断を継続する。
ステップＳ１６でスピーカフラグを０としたとき、又はステップＳ１４においてスピーカフラグが１でないと判断されたとき、バイブフラグが１か否かを判断する。
バイブフラグが１でないときは、スピーカを鳴動させるか否かの判断（ステップＳ５）に戻って、ステップＳ６〜ステップ１７の処理及び判断を継続する。
他方、バイブフラグが１であるときは、バイブレータの振動を終了させるか否かを判断する（ステップＳ１８）。
【００３８】
バイブレータの振動を終了させないときは、平均化処理（ステップＳ１２）に戻って、ステップＳ１３〜ステップ１８の処理及び判断を継続する。
他方、バイブレータの振動を終了させるときは、バイブフラグを０にし（ステップＳ１９）、テレビ通話を終了するか否かを判断する（ステップＳ２０）。
テレビ通話を終了しないときは、ステップＳ５〜Ｓ２０の処理及び判断を継続する。
テレビ通話を終了するときは、続いて携帯電話機１の電源をＯＦＦするか否かを判断する。
電源をＯＦＦしないときは待受処理（ステップＳ３）に戻り、ＯＦＦするときはＯＦＦして処理を終える。
【００３９】
（２−２）サブルーチン
次に、ステップＳ１２によりコールされる平均化処理に係るサブルーチンについて、図６を参照しつつ説明する。
本実施形態に係る平均化処理においては、加速度センサ１３から不図示のＡ／Ｄ変換部に入力され、Ａ／Ｄ変換部から得られた加速度データに基づいて、加速度データの平均値を計算する。
たとえば、バイブレータ１５が振動中、加速度センサ１３のＸ軸についての出力が図７のとおりであるとする。
このとき、携帯電話機１に搭載されている通常の補正機能を実行すると、加速度の変化が大きいので、中央制御部２はカメラ部１４で撮像されたユーザ画像の傾斜を大きく補正し、相手に対して送信する。
そのため、相手の携帯端末において、図９Ｂや図９Ｃのように画像が大きく傾いてユーザ画像が表示されてしまう。
そこで、本実施形態では、Ａ／Ｄ変換部から得られた加速度データの連続する２つのピーク値から平均値を計算する（ステップＳ１２−２）。この平均値を図７との対比のために線で結んで示すと図８のとおりであり、加速度の変動が抑えられていることが分かる。
この処理を終えると、中央制御部２は処理をメインルーチンに戻す。
先のステップＳ１３においては、この平均値が送信画像の補正に用いられるので、テレビ通話相手の携帯端末においては、図９Ｂや図９Ｃのようにユーザ画像が大きく傾くことなく、図９Ａのように略正立して表示される。
【００４０】
＜第２実施形態＞
第２実施形態は、平均を算出する方法が第１実施形態と異なる。具体的には、第１実施形態では連続する２つのピーク値から平均値を求めたが、第２実施形態では一定の期間ごとに、その一定の期間における、最大値と最小値から、平均値を求める。
以下、図１０を参照しつつ説明する。
図１０は、ステップＳ１２でコールされる平均化処理のサブルーチンである。
本実施形態においては、一定の期間ごとに、その一定の期間における、最大値と最小値から、平均値が計算される（ステップＳ１２−３）。
この処理を終えると、中央制御部２は処理をメインルーチンに戻す。
本実施形態において、「一定の期間」をどう設定するかは設計レベルの事項であるが、たとえば、１（ｍｓ）とすることが考えられる。
先のステップＳ１３においては、この平均値が送信画像の補正に用いられるので、テレビ通話相手の携帯端末においては、図９Ｂや図９Ｃのようにユーザ画像が大きく傾くことなく、図９Ａのように略正立して表示される。
【００４１】
＜第３実施形態＞
第３実施形態においては、第２実施形態のように、平均値は一定の期間ごとに計算する。
しかしながら、第３実施形態においては、第２実施形態と異なり、スピーカ７が鳴動する場合とバイブレータ１５が振動する場合とで「一定の期間」の長さが異なる。
以下、図１１を参照しつつ説明する。
図１１は、ステップＳ１２でコールされる平均化処理のサブルーチンである。
中央制御部２は、スピーカフラグが１か否かを判断する（ステップＳ１２−３）。
スピーカフラグが１のとき、期間ｔ１において、最大値と最小値から平均値を計算する。
他方、スピーカフラグが１でないとき、換言すればバイブフラグが１のとき、期間ｔ２において、最大値と最小値から平均値を計算する。
期間ｔ１又はｔ２で平均値を計算した後、中央制御部２は処理をメインルーチンに戻す。
これにより、スピーカ７が鳴動しているのか、それともバイブレータ１５が振動しているのかに応じて、異なる期間を設定して平均値を求めることができる。
このようにサンプリングする期間を異ならせるのは、一般的に、携帯電話機に搭載されるバイブレータの振動は約１５０（Ｈｚ）、人の声は約３００〜８００（Ｈｚ）と、周波数に相違があるからである。
すなわち、スピーカ７の鳴動の場合にはｔ１として例えば１／５００（ｓ／Ｈｚ）＝２（ｍｓ）を、バイブレータ１５の振動の場合にはｔ２として例えば１／１５０（ｓ／Ｈｚ）≒７（ｍｓ）を設定することにより、より適切に平均値を求めて、加速度の変動幅を軽減することができる。
先のステップＳ１３においては、この平均値が送信画像の補正に用いられるので、テレビ通話相手の携帯端末においては、図９Ｂや図９Ｃのようにユーザ画像が大きく傾くことなく、図９Ａのように略正立して表示される。
【００４２】
＜付記１乃至８＞
以下、本発明の一側面について、付言する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
図１２は、付記１の構成図である。
この図に示すように、付記１に係る発明は、
画像を撮像する撮像手段２１と、振動を発生する振動発生手段２２と、加速度を検出する加速度検出手段２３と、を備えた携帯端末であって、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する平均値計算手段２４と、
該撮像手段により撮像された画像を、該平均値計算手段により計算された平均値に基づいて傾斜補正する画像補正手段２５と、
該画像補正手段により傾斜補正された画像を送信する画像送信手段２６と、
をさらに備えた携帯端末である。
（付記２）
付記２に係る発明は、
該平均値計算手段は、所定の期間における加速度の最大値と最小値から平均値を計算する付記１に記載の携帯端末である。
（付記３）
付記３に係る発明は、
該振動発生手段は、第１振動発生手段と第２振動発生手段を備え、
該平均値計算手段は、該第１振動発生手段による振動か該第２振動発生手段による振動かに応じて、該所定の期間を異ならせて平均値を計算する、
付記２に記載の携帯端末である。
（付記４）
付記４に係る発明は、
画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた携帯端末の画像送信方法であって、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する第１ステップと、
該撮像手段により撮像された画像を、該第１ステップにおいて計算された平均値に基づいて傾斜補正する第２ステップと、
該傾斜補正された画像を送信する第３ステップと、
を備えた携帯端末の画像送信方法である。
（付記５）
付記５に係る発明は、
該第１ステップにおいて、所定の期間における加速度の最大値と最小値から平均値を計算する付記４に記載の携帯端末の画像送信方法である。
（付記６）
付記６に係る発明は、
該振動発生手段は、第１振動発生手段と第２振動発生手段を備え、
該第１ステップにおいて、該第１振動発生手段による振動か該第２振動発生手段による振動かに応じて、該所定の期間を異ならせて平均値を計算する、
付記５に記載の携帯端末の画像送信方法である。
（付記７）
付記７に係る発明は、
画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた第１携帯端末と、
画像を表示する画像表示手段を備えた第２通信端末と、
を備えたテレビ通話システムであって、
第１携帯端末は、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する平均値計算手段と、
該撮像手段により撮像された画像を、該平均値計算手段により計算された平均値に基づいて傾斜補正する画像補正手段と、
該画像補正手段により傾斜補正された画像を該第２通信端末に送信する画像送信手段と、をさらに備え、
該第２通信端末は、
該第１携帯端末の画像送信手段から送信された画像を、該画像表示手段により表示する、テレビ通話システムである。
（付記８）
付記８に係る発明は、
画像を撮像する撮像処理と、
振動を発生する振動発生処理と、
加速度を検出する加速度検出処理と、
振動発生期間中、該加速度検出処理により検出された加速度から加速度の平均値を計算する平均値計算処理と、
該撮像処理により撮像された画像を、該平均値計算処理により計算された平均値に基づいて傾斜補正する画像補正処理と、
該画像補正処理により傾斜補正された画像を送信する画像送信処理と、
をコンピュータに実行させるためのプログラムである。
【符号の説明】
【００４３】
２ 中央制御部（平均値計算手段、画像補正手段）
３ 無線通信部（画像送信手段）
１０ アプリ情報記憶部（平均値計算手段、画像補正手段）
１２ プログラム記憶部（平均値計算手段、画像補正手段）
１３ 加速度センサ（加速度検出手段）
１４ カメラ部（撮像手段）
１５ バイブレータ（振動発生手段）
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた携帯端末であって、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する平均値計算手段と、
該撮像手段により撮像された画像を、該平均値計算手段により計算された平均値に基づいて傾斜補正する画像補正手段と、
該画像補正手段により傾斜補正された画像を送信する画像送信手段と、
をさらに備えた携帯端末。
【請求項２】
該平均値計算手段は、所定の期間における加速度の最大値と最小値から平均値を計算する請求項１に記載の携帯端末。
【請求項３】
該振動発生手段は、第１振動発生手段と第２振動発生手段を備え、
該平均値計算手段は、該第１振動発生手段による振動か該第２振動発生手段による振動かに応じて、該所定の期間を異ならせて平均値を計算する、
請求項２に記載の携帯端末。
【請求項４】
画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた携帯端末の画像送信方法であって、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する第１ステップと、
該撮像手段により撮像された画像を、該第１ステップにおいて計算された平均値に基づいて傾斜補正する第２ステップと、
該傾斜補正された画像を送信する第３ステップと、
を備えた携帯端末の画像送信方法。
【請求項５】
該第１ステップにおいて、所定の期間における加速度の最大値と最小値から平均値を計算する請求項４に記載の携帯端末の画像送信方法。
【請求項６】
該振動発生手段は、第１振動発生手段と第２振動発生手段を備え、
該第１ステップにおいて、該第１振動発生手段による振動か該第２振動発生手段による振動かに応じて、該所定の期間を異ならせて平均値を計算する、
請求項５に記載の携帯端末の画像送信方法。
【請求項７】
画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた第１携帯端末と、
画像を表示する画像表示手段を備えた第２通信端末と、
を備えたテレビ通話システムであって、
該第１携帯端末は、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する平均値計算手段と、
該撮像手段により撮像された画像を、該平均値計算手段により計算された平均値に基づいて傾斜補正する画像補正手段と、
該画像補正手段により傾斜補正された画像を該第２通信端末に送信する画像送信手段と、をさらに備え、
該第２通信端末は、
該第１携帯端末の画像送信手段から送信された画像を、該画像表示手段により表示する、テレビ通話システム。
【請求項８】
画像を撮像する撮像処理と、
振動を発生する振動発生処理と、
加速度を検出する加速度検出処理と、
振動発生期間中、該加速度検出処理により検出された加速度から加速度の平均値を計算する平均値計算処理と、
該撮像処理により撮像された画像を、該平均値計算処理により計算された平均値に基づいて傾斜補正する画像補正処理と、
該画像補正処理により傾斜補正された画像を送信する画像送信処理と、
をコンピュータに実行させるためのプログラム。
【請求項１】
画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた携帯端末であって、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する平均値計算手段と、
該撮像手段により撮像された画像を、該平均値計算手段により計算された平均値に基づいて傾斜補正する画像補正手段と、
該画像補正手段により傾斜補正された画像を送信する画像送信手段と、
をさらに備えた携帯端末。
【請求項２】
該平均値計算手段は、所定の期間における加速度の最大値と最小値から平均値を計算する請求項１に記載の携帯端末。
【請求項３】
該振動発生手段は、第１振動発生手段と第２振動発生手段を備え、
該平均値計算手段は、該第１振動発生手段による振動か該第２振動発生手段による振動かに応じて、該所定の期間を異ならせて平均値を計算する、
請求項２に記載の携帯端末。
【請求項４】
画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた携帯端末の画像送信方法であって、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する第１ステップと、
該撮像手段により撮像された画像を、該第１ステップにおいて計算された平均値に基づいて傾斜補正する第２ステップと、
該傾斜補正された画像を送信する第３ステップと、
を備えた携帯端末の画像送信方法。
【請求項５】
該第１ステップにおいて、所定の期間における加速度の最大値と最小値から平均値を計算する請求項４に記載の携帯端末の画像送信方法。
【請求項６】
該振動発生手段は、第１振動発生手段と第２振動発生手段を備え、
該第１ステップにおいて、該第１振動発生手段による振動か該第２振動発生手段による振動かに応じて、該所定の期間を異ならせて平均値を計算する、
請求項５に記載の携帯端末の画像送信方法。
【請求項７】
画像を撮像する撮像手段と、振動を発生する振動発生手段と、加速度を検出する加速度検出手段と、を備えた第１携帯端末と、
画像を表示する画像表示手段を備えた第２通信端末と、
を備えたテレビ通話システムであって、
該第１携帯端末は、
該振動発生手段による振動が発生している期間中、該加速度検出手段により検出された加速度から加速度の平均値を計算する平均値計算手段と、
該撮像手段により撮像された画像を、該平均値計算手段により計算された平均値に基づいて傾斜補正する画像補正手段と、
該画像補正手段により傾斜補正された画像を該第２通信端末に送信する画像送信手段と、をさらに備え、
該第２通信端末は、
該第１携帯端末の画像送信手段から送信された画像を、該画像表示手段により表示する、テレビ通話システム。
【請求項８】
画像を撮像する撮像処理と、
振動を発生する振動発生処理と、
加速度を検出する加速度検出処理と、
振動発生期間中、該加速度検出処理により検出された加速度から加速度の平均値を計算する平均値計算処理と、
該撮像処理により撮像された画像を、該平均値計算処理により計算された平均値に基づいて傾斜補正する画像補正処理と、
該画像補正処理により傾斜補正された画像を送信する画像送信処理と、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−２６７７５（Ｐ２０１３−２６７７５Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５８９４６（Ｐ２０１１−１５８９４６）
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]