顔画像の補正
【課題】移動体ハンドヘルド端末を使用する写真及びビデオ会議システムのための改良された手段を提供する。
【解決手段】ハンドヘルド無線通信端末（１０）のカメラ（１７）により撮像された被写体（Ａ）の画像のオフセット補正の方法であって、第１角度でカメラを被写体に向けるステップと、被写体の前面画像を撮像するステップと、前面画像を基準画像として蓄積するステップと、第１角度よりオフセットした第２角度でカメラを被写体に向けるステップと、被写体のオフセット画像を撮像するステップと、基準画像を使用して、オフセット画像から、第１角度から撮像されたとされる調整された前面画像を生成するステップと、を備える方法。この方法は、典型的にビデオ会議通信に使用され、調整された前面画像を生成する画像処理システムを利用する。
【解決手段】ハンドヘルド無線通信端末（１０）のカメラ（１７）により撮像された被写体（Ａ）の画像のオフセット補正の方法であって、第１角度でカメラを被写体に向けるステップと、被写体の前面画像を撮像するステップと、前面画像を基準画像として蓄積するステップと、第１角度よりオフセットした第２角度でカメラを被写体に向けるステップと、被写体のオフセット画像を撮像するステップと、基準画像を使用して、オフセット画像から、第１角度から撮像されたとされる調整された前面画像を生成するステップと、を備える方法。この方法は、典型的にビデオ会議通信に使用され、調整された前面画像を生成する画像処理システムを利用する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して内蔵カメラを有するハンドヘルド無線通信端末に関し、特にその種の端末のビデオ会議通信への使用に関する。
【背景技術】
【０００２】
無線電話機業界は、過去１０年間に世界中で目覚しい発展を遂げた。基準ＡＭＰＳ（Advanced Mobile Phone System）やＮＭＴ（Nordic Mobile Telephone）で定義されるような最初のアナログシステムから、その近年における開発は、Ｄ−ＡＭＰＳ（例えば、ＥＩＡ／ＴＩＡ−ＩＳ−５４−Ｂ及びＩＳ−１３６で定められる）やＧＳＭ（グローバル・システム・フォー・モバイル・コミュニケーションズ）のようなセルラ無線ネットワークシステムデジタルソリューションとしての標準化に集中した。現在、セルラ技術は、以前の第２世代よりいくつかの利点を提供する、上記で参照したデジタルシステムである所謂第３世代３Ｇに突入している。
【０００３】
移動体電話機技術においてなされた進化の多くは、より好ましい表示、より効率のよい、長寿命なバッテリ、和音の呼び出し信号の生成の手段等、機能的な特徴に関係する。１つの非常に一般的になっている機能的な特徴の１つは、内蔵カメラである。ビデオカメラ機能を備えたカメラは、今日多くの移動体電話機で利用可能である。ＥＤＧＥ（Enhanced Data-rates for GSM）や３Ｇのような高ビットレートサービスの入り口として、ビデオ関連サービスの利用可能性は増加すると思われる。その１つとして、音声及び動画像の同時通信を伴う移動体ビデオ電話は、最近は、商業的に利用可能となってきている。
【０００４】
固定的な使用にあっては、ビデオ会議システムは、一般的にパーソナルコンピュータＰＣのような通信端末の上又は側に搭載された、又はＩＰ電話機に一体化されたカメラを含む。そのようなシステムの使用はかなり簡単であり、ユーザは、ユーザに向けられるカメラを備える端末の前に位置すればよい。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、顔と顔の送信を伴う移動体ビデオ会議は、１つの大きな欠点で問題となる。移動体ハンドヘルド端末で通信するとき、ユーザは、受信者側がユーザ、すなわち送信者側の顔が見えるように、顔の前で端末をしっかりと保持しなければならない。端末は、ユーザの使用可能な画像を得るためには、顔に対して略９０度に向けられる必要がある。課題は、ユーザの腕が疲れることであり、それにより端末が揺れるようになり、さらに端末をより下に保持するようになる。その結果、撮像された画像は、顔の上側部分よりもユーザの首、顎部分を示すことになろう。使用が難しいことの経験として、この事が、サービスの価値を低めてしまう。さらに当然のことながら、消費者は、ビデオ会議をしている場合に周囲が見えることを希望するが、しかし、移動体電話機は、それが顔の前に保持されることとなれば、視野の少なくとも１部を遮ることになる。
【課題を解決するための手段】
【０００６】
したがって本発明の一般的な目的は、移動体ハンドヘルド端末を使用する写真及びビデオ会議システムのための改良された手段を提供することである。特に、本発明の目的は、識別された従来技術の欠点を克服する、ハンドヘルド移動端末によるビデオ会議のためのより便利な方法を提供することである。
【０００７】
第１の側面によれば、この目的は、ハンドヘルド無線通信端末において、カメラで撮像した被写体の画像を調整する方法であって、
前記被写体に対する第１カメラ角度を定義するステップと、
前記第１カメラ角度からオフセットした、前記被写体に対する第２カメラ角度から前記カメラで前記被写体の画像を撮像するステップと、
前記撮像した画像に関連する画像データを蓄積するステップと、
前記画像データ、及び前記第１カメラ角度及び前記第２カメラ角度との間の角度の関係に依存して、前記被写体の角度が調整された画像を生成するステップと、を備える方法で満足される。
【０００８】
好ましくは、前記方法は、前記第１カメラ角度からの前記被写体の基準画像に関連する基準画像データを蓄積するステップを備え、前記被写体の角度が調整された画像を生成するステップは、また前記基準画像データに依存する。
【０００９】
１つの実施例においては、前記方法は、前記第１カメラ角度からの前記被写体の前記基準画像を撮像するステップを備える。
【００１０】
１つの実施例においては、前記撮像した画像は動画像であり、
角度が調整された画像を生成する前記ステップは、調整された動画像を実時間で生成するステップを含む。
【００１１】
１つの実施例においては、前記角度が調整された画像を生成する前記ステップは、
前記撮像した画像及び前記基準画像の対応する構造をデジタル的に識別するステップと、
前記対応する構造に対して、前記画像データと前記基準画像データの空間的な画像データとの間の数学的な関係から数学的な変換を確立するステップと、
前記画像データに前記数学的な変換を応用することで、前記第１カメラから撮像したとして見えるように前記撮像した画像を変換するステップを備える。
【００１２】
１つの実施例においては、前記角度が調整された画像を生成する前記ステップは、
前記撮像された画像と前記基準画像とにおいて、デジタル的にキーとなる特徴を識別するステップと、
前記撮像された画像において、前記キーとなる特徴から動きを検出するステップと、
前記撮像された画像から前記動きを取り出すステップと、
調整された画像を得るために、前記基準画像に前記キーとなる特徴の前記動きを適用するステップを備える。
【００１３】
１つの実施例においては、前記角度が調整された画像を生成する前記ステップは、
前記第１カメラ角度と前記第２カメラ角度との間の差異を補正するために前記撮像された画像を傾けるステップと、
前記傾けられた画像をズーミングしクロッピングするステップとを備える。
【００１４】
１つの実施例においては、前記第１カメラ角度は、前記被写体に対する予め定められたカメラ角度である。
【００１５】
１つの実施例においては、前記第１カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される。
【００１６】
１つの実施例においては、前記第２カメラ角度は、前記端末の角度センサにより検出される。
【００１７】
１つの実施例においては、前記第２カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される。
【００１８】
１つの実施例においては、前記方法は、前記角度が調整された画像を無線信号に符号化するステップと、
前記端末から前記無線信号を送信するステップを備える。
【００１９】
１つの実施例においては、前記方法は、前記撮像した画像の前記画像データを、前記第１カメラ角度と前記第２カメラ角度との間の前記角度関係のデータと共に無線信号に符号化するステップと、
前記端末から前記無線信号を送信するステップと、
無線信号受信デバイスで前記無線信号を受信するステップと、
前記無線信号受信デバイスに前記被写体の前記角度の調整された画像を生成するステップを備える。
【００２０】
１つの実施例においては、前記被写体は、前記端末を保持するユーザの前記顔である。 第２の側面によれば、上記の目的は、画像を撮像するカメラと、受信者へ撮像された画像を備える無線信号を生成し送信する手段とを備える移動体無線通信端末であって、
第１カメラ角度から被写体に対する角度値、及び前記第１カメラ角度からオフセットした第２カメラ角度に対する角度値を蓄積するメモリを含む画像調整機構を特徴とし、
前記画像調整機構は、さらに、前記画像の画像データ及び前記第１カメラ角度と前記第２カメラ角度との間の角度関係に基づいて、前記被写体の角度が調整された画像を生成する手段を含む、前記第２カメラ角度から前記カメラで撮像した被写体の画像を処理するように工夫された画像処理システムを備える、ことを特徴とする移動体無線通信端末で達成される。
【００２１】
１つの実施例においては、前記メモリは、前記第１カメラ角度からの前記被写体の基準画像に関連する基準画像データをさらに含み、
前記画像処理システムの手段は、前記基準画像データに基づいて、前記被写体の前記角度が調整された画像を生成するように工夫される。
【００２２】
１つの実施例においては、前記カメラは動画像を撮像するように工夫され、
前記画像処理システムは、角度が調整された前面動画像を実時間で生成する手段を備える。
【００２３】
１つの実施例においては、前記画像処理システムは、
前記撮像した画像及び前記基準画像の対応する構造をデジタル的に識別する手段と、
前記対応する構造に対して、前記画像データと前記基準画像データの空間的な画像データとの間の数学的な関係から数学的な変換を確立する手段と、
前記画像データに前記数学的な変換を応用することで、前記第１カメラから撮像したとして見えるように前記撮像した画像を変換する手段を備える。
【００２４】
１つの実施例においては、前記画像処理システムは、
前記撮像された画像と前記基準画像において、デジタル的にキーとなる特徴を識別する手段と、
前記撮像された画像において、前記キーとなる特徴から動きを検出する手段と、
前記撮像された画像から前記動きを取り出す手段と、
調整された画像を得るために、前記基準画像に前記キーとなる特徴の前記動きを適用する手段を備える。
【００２５】
１つの実施例においては、前記画像処理システムは、
前記第１カメラ角度と前記第２カメラ角度との間の差異を相殺するために前記撮像された画像を傾ける手段と、
前記傾けられた画像をズーミングしクロッピングする手段とを備える。
【００２６】
１つの実施例においては、前記第１カメラ角度は、前記被写体に対する予め定められたカメラ角度である。
【００２７】
１つの実施例においては、前記第１カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される。
【００２８】
１つの実施例においては、前記第２カメラ角度は、前記端末の角度センサにより検出される。
【００２９】
１つの実施例においては、前記第２カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される。
【００３０】
１つの実施例においては、前記画像処理システムは、
前記角度が調整された画像を無線信号に符号化する手段と、
前記端末から前記無線信号を送信する手段と、を備える。
【００３１】
１つの実施例においては、前記被写体は、前記端末を保持するユーザの前記顔である。
【発明の効果】
【００３２】
本発明によれば、移動体ハンドヘルド端末を使用する写真及びビデオ会議システムのための改良された手段を提供することができる。
【発明を実施するための最良の形態】
【００３３】
ここでの説明は、ハンドヘルド無線通信端末の分野に関連する。用語の無線通信端末、短くして端末は、無線基地局と無線通信のために工夫された全ての移動体機器を含み、この無線基地局は、また移動体端末、又は例えば固定基地局であってもよい。従って用語の無線端末は、移動体電話機、ページャ、通信機器、電子手帳、スマートフォン、ＰＤＡ（Personal Digital Assistants）、及びＤＥＣＴ端末（Digital Enhanced Cordless Telephony）を含む。さらに強調したいことは、ここでの説明及び添付した請求項で使われる場合、含まれる特徴、要素及びステップを示す用語の備える、備えているは、述べられているもの以外の他の特徴、要素及びステップを排除すると解釈されるものではない。
【００３４】
以下、例示的な実施例が添付の図面を参照して説明される。
【００３５】
図１は、典型的なビデオ会議モードにおいて、内蔵カメラを備えるハンドヘルド無線通信端末１０の使用を図示する。ユーザＡは、自分の顔の実時間で動く画像を撮像するために、自分の前に端末１０を保持する。撮像した画像は、入力音声、典型的にはユーザＡからの話声に同期して記録され、符号化される。音声及びビデオデータを搬送する無線信号は、端末１０で生成され、受信者、典型的にはビデオ会議端末の他のユーザに送信される。ユーザは、図１に図示された不快なポーズは、それ程長く維持されず、そのうち、ユーザＡは、図２に図示する位置に端末１０を下げ始めることを学習する。結果は、図１のポーズで撮像した最初の画像に対しオフセットしている画像、スナップ写真及びビデオである。図２のポーズで撮像した画像は、ユーザＡの顎部分を標的とし、一般的に前面から見た顔全体の意図された画像より魅力のないものとして知覚される。
【００３６】
この課題を克服するため、本発明は、移動体電話機のようなハンドヘルド無線通信端末に、たとえ端末のカメラが、前面ビューと比較して顔に対してオフセット角で位置していても、端末に顔の前面画像のような画像を送ることを可能とする機能を提供する。
【００３７】
図３は、クラムシェル型セルラ移動体電話機１０の実施例における無線通信端末を図示する。当然のことながら、しかし発明は、クラムシェル型端末に限定されるものではない。端末１０は、シャーシ又は箱体１５を備え、その下側部分は、ユーザ音声入力をマイクロフォン１１の形で有し、上側は、ユーザ音声出力を音声スピーカ１２の形で有する。上側及び下側部分はヒンジ１６で接続される。キーとかボタン等の組が、例えば従来の確立された技術にしたがって、ダイアルするために使用可能なデータ入力インタフェース１３を構成する。表示器１４を備えるデータ出力インタフェースがさらに含まれ、当業者には良く知られた方法で、通信情報、アドレスリスト等を表示するように工夫される。無線通信端末１０は、アンテナ及び無線送信、受信の電子回路（図示せず）をさらに含む。好ましくは、ビデオ利用機能を備えたカメラ１７は、表示器１４と同様に対向しているレンズを有する。
【００３８】
図４は、端末１０の機能的な部品を図示する。コンピュータ処理システムは、メモリ２１に蓄積された画像、特にカメラ１７により撮像された画像を処理する画像処理システム２０を含む。画像処理システム２０は、好ましくは、端末１０のコンピュータ処理システムの一部を形成する、関連するソフトウエアを有するマイクロプロセッサで制御される。
【００３９】
第１の一般的な実施例によれば、前面画像は、ビデオ会議を始めるとき、又は始める前に、図１に図示するように、最初に第１カメラ角度から撮像される。好ましくは、これは特別な撮像モードであって、このモードはキーパッド１３によって入力されてもよい。撮像された前面画像のデータは、ユーザＡの顔である被写体の基準画像のデータとしてメモリ２１に蓄積される。基準画像のデータは、全体の前面画像、又は前面画像の１部分だけを表す画像データを含んでもよい。引き続くビデオ会議中、ユーザＡの顔の動画像はカメラ１７で撮像される。画像処理システム２０は、定常的に撮像された画像を監視し、それらを基準画像と比較する。端末１０、すなわちカメラ１７は傾けられ、持ち上げられ、下げられるので、画像は、第１カメラ角度から高々９０度オフセットする第２カメラ角度から撮像され、画像処理システム２０は、基準画像を使用することでオフセット画像から調整された前面画像を自動的に生成するように工夫され、調整された前面画像が、顔の前面から直接に第１カメラ角度から撮像されたものとして見える。調整された前面画像は、その後、無線送受信器２２の信号符号化手段によって無線信号に符号化され、アンテナ２３で端末から送信される。別の方法としては、撮像したオフセット画像の調整された画像は、基準画像と共にメタデータとして送信され、調整データは、少なくとも、第１及び第２カメラ角度との間の角度関係に依存する。調整された画像は、その後、受信者の通信端末にで、又は他の機器において、受信した基準画像及び調整データで確立される。
【００４０】
第１の具体的な実施例においては、この調整された前面画像は、基準画像及び撮像した画像の対応する構造をデジタル的に識別する画像処理システムで達成される。これらの構造は、画像処理の分野では良く知られた、例えば輪郭、影、色分離等である。一度構造が識別されると、その構造に関する、基準画像と撮像された画像との間の空間的画像データの数学的関係から数学的変換が引き出される。オフセット画像は、その後、数学的変換を、撮像した画像の画像データに適用することによって、第１角度から撮像されたとして見えるように変換される。好ましくは、調整された画像は、変換を確立する画像における個々の点との間の数学的な関係を使用し、その後、撮像した画像の角度調整を実行するために、変換をオフセット画像の各画素に適用することて確立される。
【００４１】
第２の具体的な実施例においては、図５乃至７に図示するように、画像処理システムはデジタルフィルタリング機能を利用する。ユーザの基準画像５０は、図５に図示するように、最初にメモリ２１に蓄積される。図６によれば、キーとなる特徴５１、図示の例ではユーザの目及び口は、その後基準画像５０でデジタル的に識別される。キーとなる特徴のデジタル座標データ及び信号データは、メモリ２１に蓄積される。これは、自動的な処理ステップであってもよい。別の方法では、キーとなる特徴はユーザにより選択的に識別される。これは、表示器１４に基準画像を表示し、キーとなる特徴として基準画像の選択された領域を、キーパッド１３のボタン、ジョイボール或いはジョイスティックで制御されるカーソルを用いてマーキングすることで達成されてもよい。ビデオ会議を目的とする場合には、そのようなキーとなる特徴は、好ましくは、図示するようにユーザの目及び口を含む。
【００４２】
ビデオ会議の最中にカメラ１７でライブの動画像を撮像しているときは、図７に示すように、画像処理システム２０は、キーとなる特徴５１の動きを監視し、検出するように工夫されている。検出された動きは、画像処理システム２０によりライブ画像から取り出される。続いて、検出された動きは、基準画像５０のキーとなる特徴５１に適用される。それにより、ライブ画像の選択された部分の動きを、基準画像５０の対応する部分に適用することで、調整された前面画像が生成される。特に、ライブ画像が基準画像が撮像された第１角度からオフセットした角度から撮られたのであれば、結果の調整された画像は、図１に図示するように、前面から撮像されたとして認識されるだろう。
【００４３】
またこの場合には、角度オフセットに関連して選択した画像部分の回転のために数学的変換が使用されてもよい。他の具体的な実施例においては、オフセット画像における水平及び垂直方向の検出された空間的な動きに基づいて、動きを基準画像での選択されたキーとなる特徴に適用するためにモーフィング技術が、代替的に使われる。
【００４４】
好ましくない画像を避ける第２の汎用的な実施例は、オフセット角度から撮られた画像を僅かに傾けることであり、これは撮像された画像の角度調整の印象を与える。これは、図８乃至１１を参照して説明される。この処理は、手動操作であっても、自動操作であってもよく、移動体電話機が動きセンサの類を装着する場合には、いかにカメラがもとの垂直位置から変えられたかを検出するように工夫される。しかしながら、これは生成される被写体の画像であるのでこれは手動でなされるのが好ましい。
【００４５】
図８は、被写体の前で、第１の垂直カメラ角度から撮像した十字の形の被写体の画像８０を図示する。画像を撮像するカメラが落ちると、画像は、図９に図示するように、問題の第２カメラ角度の斜視に影響する。画像８０と画像９０とのカメラ角度の間の角度差を相殺するために、傾いた画像は撮像した画像９０から取り出してもよい。そのような傾いた画像１００は図１０に図示する。最後に、傾いた画像１００は、傾いた画像の境界１０１を避けるようにズーミングされクロッピングされ、そして、図１１で示すように補正された画像１１０が得られる。
【００４６】
ビデオ電話を使用するときは、ユーザの顔がカメラのビューファインダの外に動くことがよく起きる。ユーザは、相手と話しながら何か他のことをしているかも知れず、常に移動体電話カメラに集中できない。本発明の実施例によれば、この課題は、ビューファインダ画像データを使用してユーザの動きを追跡するように端末の光学追跡システムを稼動させることで克服される。追跡システムは、１つ乃至数個の追跡点候補を識別し、例えば、画像における高コントラスト変化は、有効な追跡点候補となり、出来るだけそれに追従することを試みる。追跡システムは、ズーム、パン及び回転を扱うことができる。もし、追跡システムがモータ化カメラに加えて使われるならば、ユーザの顔は、たとえ多少動いても、焦点を合わすことができる。カメラモータは、そのような実施例においては、その角度を水平及び垂直及び回転で動かすことができなければならない。
【００４７】
被写体に関連したカメラの角度の動き、すなわち第１カメラ角度と第２カメラ角度との間の動きは、手動で、たとえば端末のキーパッドで決定されてもよい。もしくは、例えば加速度計によってある角度からのカメラの傾きが検出されるように、角度サンサが組み込まれてもよい。その他としては、例えば振り子デバイス等による絶対角度センサを採用することである。１つの実施例においては、角度のプリセットは端末で選択可能である。例えば４５度のプリセットは、端末のカメラが、被写体に対し水平位置より低い４５度から狙うように保持されることを示す。画像処理システム２０は、したがって、被写体に対して水平位置から取ったとして見えるような、撮像した画像の調整された画像の生成を処理するように構成される。こうして、ビデオ会議の全体が４５度の角度で保持された端末で保持されてもよく、この角度はユーザにはより快適である。先に説明された、水平方向から撮像したものとして見えるように画像を調整する方法のいずれかが使用されてもよい。言及するまでもなくプリセット角度は、例えば＋４５度、−４５度及び０度、又は、例えば１０度のステップのようなより細かい範囲での角度のような、複数の異なるプリセット角度から選択されてもよい。図８乃至図１１を参照して説明された実施例においては、図８の基準画像は、角度プリセットを使用するこの具体的な実施例においては必ずしも必要ではない。もし、たとえば４５度のカメラ角度が端末にセットされたら、第１カメラ角度は、第２カメラ角度である撮像するカメラ角度より垂直面において４５度高いと定義される。
【００４８】
本発明の原理は、前述で動作の実施例及びモードを例として説明した。本発明の主たる利点は、移動体ビデオ会議のユーザが通信を疲れやすい位置を保って支持する必要はなく、さらに、しかも魅力ある顔の画像を提供できることにある。しかし、本発明はユーザ自身により撮像されたユーザの画像に限定されるものではないことに注意されたい。実際に、本発明は、如何なる被写体の画像を撮像するためにも使用可能であり、特に、ある角度からの被写体を画像化するのに興味があるものである。したがって本発明は、上記で説明された実施例に限定されるものと解釈されるべきものではないし、また、当然のことながら添付した請求項で定義されているように、本発明の範囲を逸脱することなく、当業者はこれらの実施例の各種の変形をすることもありうる。
【図面の簡単な説明】
【００４９】
【図１】典型的なビデオ会議モードにおけるハンドヘルド無線通信端末の使用を模式的に図示する。
【図２】図１の端末の暫く使用した後の典型的な位置を図示する図である。
【図３】本発明が使われてもよい無線通信端末の実施例を模式的に図示する図である。
【図４】図３の端末を、本発明の異なる実施例に関連する機能要素を、ブロック図の形で模式的に図示する図である。
【図５】基準画像の撮像及び蓄積を模式的に図示する図である。
【図６】基準画像のキーとなる特徴の識別と蓄積を模式的に図示する図である。
【図７】オフセット画像のキーとなる特徴の識別及び蓄積と、オフセット画像のキーとなる特徴における検出された動きの基準画像の対応するキーとなる特徴に対する適用を模式的に図示する図である。
【図８】第１角度からの被写体の撮像された画像を模式的に図示する図である。
【図９】第２のオフセット角度からの同じ被写体の撮像された画像を模式的に図示する図である。
【図１０】図９の画像の傾いた画像を模式的に図示する図である。
【図１１】図１０の傾いた画像のズーミングされ、クロッピングされた画像を模式的に図示する図である。
【技術分野】
【０００１】
本発明は、概して内蔵カメラを有するハンドヘルド無線通信端末に関し、特にその種の端末のビデオ会議通信への使用に関する。
【背景技術】
【０００２】
無線電話機業界は、過去１０年間に世界中で目覚しい発展を遂げた。基準ＡＭＰＳ（Advanced Mobile Phone System）やＮＭＴ（Nordic Mobile Telephone）で定義されるような最初のアナログシステムから、その近年における開発は、Ｄ−ＡＭＰＳ（例えば、ＥＩＡ／ＴＩＡ−ＩＳ−５４−Ｂ及びＩＳ−１３６で定められる）やＧＳＭ（グローバル・システム・フォー・モバイル・コミュニケーションズ）のようなセルラ無線ネットワークシステムデジタルソリューションとしての標準化に集中した。現在、セルラ技術は、以前の第２世代よりいくつかの利点を提供する、上記で参照したデジタルシステムである所謂第３世代３Ｇに突入している。
【０００３】
移動体電話機技術においてなされた進化の多くは、より好ましい表示、より効率のよい、長寿命なバッテリ、和音の呼び出し信号の生成の手段等、機能的な特徴に関係する。１つの非常に一般的になっている機能的な特徴の１つは、内蔵カメラである。ビデオカメラ機能を備えたカメラは、今日多くの移動体電話機で利用可能である。ＥＤＧＥ（Enhanced Data-rates for GSM）や３Ｇのような高ビットレートサービスの入り口として、ビデオ関連サービスの利用可能性は増加すると思われる。その１つとして、音声及び動画像の同時通信を伴う移動体ビデオ電話は、最近は、商業的に利用可能となってきている。
【０００４】
固定的な使用にあっては、ビデオ会議システムは、一般的にパーソナルコンピュータＰＣのような通信端末の上又は側に搭載された、又はＩＰ電話機に一体化されたカメラを含む。そのようなシステムの使用はかなり簡単であり、ユーザは、ユーザに向けられるカメラを備える端末の前に位置すればよい。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、顔と顔の送信を伴う移動体ビデオ会議は、１つの大きな欠点で問題となる。移動体ハンドヘルド端末で通信するとき、ユーザは、受信者側がユーザ、すなわち送信者側の顔が見えるように、顔の前で端末をしっかりと保持しなければならない。端末は、ユーザの使用可能な画像を得るためには、顔に対して略９０度に向けられる必要がある。課題は、ユーザの腕が疲れることであり、それにより端末が揺れるようになり、さらに端末をより下に保持するようになる。その結果、撮像された画像は、顔の上側部分よりもユーザの首、顎部分を示すことになろう。使用が難しいことの経験として、この事が、サービスの価値を低めてしまう。さらに当然のことながら、消費者は、ビデオ会議をしている場合に周囲が見えることを希望するが、しかし、移動体電話機は、それが顔の前に保持されることとなれば、視野の少なくとも１部を遮ることになる。
【課題を解決するための手段】
【０００６】
したがって本発明の一般的な目的は、移動体ハンドヘルド端末を使用する写真及びビデオ会議システムのための改良された手段を提供することである。特に、本発明の目的は、識別された従来技術の欠点を克服する、ハンドヘルド移動端末によるビデオ会議のためのより便利な方法を提供することである。
【０００７】
第１の側面によれば、この目的は、ハンドヘルド無線通信端末において、カメラで撮像した被写体の画像を調整する方法であって、
前記被写体に対する第１カメラ角度を定義するステップと、
前記第１カメラ角度からオフセットした、前記被写体に対する第２カメラ角度から前記カメラで前記被写体の画像を撮像するステップと、
前記撮像した画像に関連する画像データを蓄積するステップと、
前記画像データ、及び前記第１カメラ角度及び前記第２カメラ角度との間の角度の関係に依存して、前記被写体の角度が調整された画像を生成するステップと、を備える方法で満足される。
【０００８】
好ましくは、前記方法は、前記第１カメラ角度からの前記被写体の基準画像に関連する基準画像データを蓄積するステップを備え、前記被写体の角度が調整された画像を生成するステップは、また前記基準画像データに依存する。
【０００９】
１つの実施例においては、前記方法は、前記第１カメラ角度からの前記被写体の前記基準画像を撮像するステップを備える。
【００１０】
１つの実施例においては、前記撮像した画像は動画像であり、
角度が調整された画像を生成する前記ステップは、調整された動画像を実時間で生成するステップを含む。
【００１１】
１つの実施例においては、前記角度が調整された画像を生成する前記ステップは、
前記撮像した画像及び前記基準画像の対応する構造をデジタル的に識別するステップと、
前記対応する構造に対して、前記画像データと前記基準画像データの空間的な画像データとの間の数学的な関係から数学的な変換を確立するステップと、
前記画像データに前記数学的な変換を応用することで、前記第１カメラから撮像したとして見えるように前記撮像した画像を変換するステップを備える。
【００１２】
１つの実施例においては、前記角度が調整された画像を生成する前記ステップは、
前記撮像された画像と前記基準画像とにおいて、デジタル的にキーとなる特徴を識別するステップと、
前記撮像された画像において、前記キーとなる特徴から動きを検出するステップと、
前記撮像された画像から前記動きを取り出すステップと、
調整された画像を得るために、前記基準画像に前記キーとなる特徴の前記動きを適用するステップを備える。
【００１３】
１つの実施例においては、前記角度が調整された画像を生成する前記ステップは、
前記第１カメラ角度と前記第２カメラ角度との間の差異を補正するために前記撮像された画像を傾けるステップと、
前記傾けられた画像をズーミングしクロッピングするステップとを備える。
【００１４】
１つの実施例においては、前記第１カメラ角度は、前記被写体に対する予め定められたカメラ角度である。
【００１５】
１つの実施例においては、前記第１カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される。
【００１６】
１つの実施例においては、前記第２カメラ角度は、前記端末の角度センサにより検出される。
【００１７】
１つの実施例においては、前記第２カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される。
【００１８】
１つの実施例においては、前記方法は、前記角度が調整された画像を無線信号に符号化するステップと、
前記端末から前記無線信号を送信するステップを備える。
【００１９】
１つの実施例においては、前記方法は、前記撮像した画像の前記画像データを、前記第１カメラ角度と前記第２カメラ角度との間の前記角度関係のデータと共に無線信号に符号化するステップと、
前記端末から前記無線信号を送信するステップと、
無線信号受信デバイスで前記無線信号を受信するステップと、
前記無線信号受信デバイスに前記被写体の前記角度の調整された画像を生成するステップを備える。
【００２０】
１つの実施例においては、前記被写体は、前記端末を保持するユーザの前記顔である。 第２の側面によれば、上記の目的は、画像を撮像するカメラと、受信者へ撮像された画像を備える無線信号を生成し送信する手段とを備える移動体無線通信端末であって、
第１カメラ角度から被写体に対する角度値、及び前記第１カメラ角度からオフセットした第２カメラ角度に対する角度値を蓄積するメモリを含む画像調整機構を特徴とし、
前記画像調整機構は、さらに、前記画像の画像データ及び前記第１カメラ角度と前記第２カメラ角度との間の角度関係に基づいて、前記被写体の角度が調整された画像を生成する手段を含む、前記第２カメラ角度から前記カメラで撮像した被写体の画像を処理するように工夫された画像処理システムを備える、ことを特徴とする移動体無線通信端末で達成される。
【００２１】
１つの実施例においては、前記メモリは、前記第１カメラ角度からの前記被写体の基準画像に関連する基準画像データをさらに含み、
前記画像処理システムの手段は、前記基準画像データに基づいて、前記被写体の前記角度が調整された画像を生成するように工夫される。
【００２２】
１つの実施例においては、前記カメラは動画像を撮像するように工夫され、
前記画像処理システムは、角度が調整された前面動画像を実時間で生成する手段を備える。
【００２３】
１つの実施例においては、前記画像処理システムは、
前記撮像した画像及び前記基準画像の対応する構造をデジタル的に識別する手段と、
前記対応する構造に対して、前記画像データと前記基準画像データの空間的な画像データとの間の数学的な関係から数学的な変換を確立する手段と、
前記画像データに前記数学的な変換を応用することで、前記第１カメラから撮像したとして見えるように前記撮像した画像を変換する手段を備える。
【００２４】
１つの実施例においては、前記画像処理システムは、
前記撮像された画像と前記基準画像において、デジタル的にキーとなる特徴を識別する手段と、
前記撮像された画像において、前記キーとなる特徴から動きを検出する手段と、
前記撮像された画像から前記動きを取り出す手段と、
調整された画像を得るために、前記基準画像に前記キーとなる特徴の前記動きを適用する手段を備える。
【００２５】
１つの実施例においては、前記画像処理システムは、
前記第１カメラ角度と前記第２カメラ角度との間の差異を相殺するために前記撮像された画像を傾ける手段と、
前記傾けられた画像をズーミングしクロッピングする手段とを備える。
【００２６】
１つの実施例においては、前記第１カメラ角度は、前記被写体に対する予め定められたカメラ角度である。
【００２７】
１つの実施例においては、前記第１カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される。
【００２８】
１つの実施例においては、前記第２カメラ角度は、前記端末の角度センサにより検出される。
【００２９】
１つの実施例においては、前記第２カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される。
【００３０】
１つの実施例においては、前記画像処理システムは、
前記角度が調整された画像を無線信号に符号化する手段と、
前記端末から前記無線信号を送信する手段と、を備える。
【００３１】
１つの実施例においては、前記被写体は、前記端末を保持するユーザの前記顔である。
【発明の効果】
【００３２】
本発明によれば、移動体ハンドヘルド端末を使用する写真及びビデオ会議システムのための改良された手段を提供することができる。
【発明を実施するための最良の形態】
【００３３】
ここでの説明は、ハンドヘルド無線通信端末の分野に関連する。用語の無線通信端末、短くして端末は、無線基地局と無線通信のために工夫された全ての移動体機器を含み、この無線基地局は、また移動体端末、又は例えば固定基地局であってもよい。従って用語の無線端末は、移動体電話機、ページャ、通信機器、電子手帳、スマートフォン、ＰＤＡ（Personal Digital Assistants）、及びＤＥＣＴ端末（Digital Enhanced Cordless Telephony）を含む。さらに強調したいことは、ここでの説明及び添付した請求項で使われる場合、含まれる特徴、要素及びステップを示す用語の備える、備えているは、述べられているもの以外の他の特徴、要素及びステップを排除すると解釈されるものではない。
【００３４】
以下、例示的な実施例が添付の図面を参照して説明される。
【００３５】
図１は、典型的なビデオ会議モードにおいて、内蔵カメラを備えるハンドヘルド無線通信端末１０の使用を図示する。ユーザＡは、自分の顔の実時間で動く画像を撮像するために、自分の前に端末１０を保持する。撮像した画像は、入力音声、典型的にはユーザＡからの話声に同期して記録され、符号化される。音声及びビデオデータを搬送する無線信号は、端末１０で生成され、受信者、典型的にはビデオ会議端末の他のユーザに送信される。ユーザは、図１に図示された不快なポーズは、それ程長く維持されず、そのうち、ユーザＡは、図２に図示する位置に端末１０を下げ始めることを学習する。結果は、図１のポーズで撮像した最初の画像に対しオフセットしている画像、スナップ写真及びビデオである。図２のポーズで撮像した画像は、ユーザＡの顎部分を標的とし、一般的に前面から見た顔全体の意図された画像より魅力のないものとして知覚される。
【００３６】
この課題を克服するため、本発明は、移動体電話機のようなハンドヘルド無線通信端末に、たとえ端末のカメラが、前面ビューと比較して顔に対してオフセット角で位置していても、端末に顔の前面画像のような画像を送ることを可能とする機能を提供する。
【００３７】
図３は、クラムシェル型セルラ移動体電話機１０の実施例における無線通信端末を図示する。当然のことながら、しかし発明は、クラムシェル型端末に限定されるものではない。端末１０は、シャーシ又は箱体１５を備え、その下側部分は、ユーザ音声入力をマイクロフォン１１の形で有し、上側は、ユーザ音声出力を音声スピーカ１２の形で有する。上側及び下側部分はヒンジ１６で接続される。キーとかボタン等の組が、例えば従来の確立された技術にしたがって、ダイアルするために使用可能なデータ入力インタフェース１３を構成する。表示器１４を備えるデータ出力インタフェースがさらに含まれ、当業者には良く知られた方法で、通信情報、アドレスリスト等を表示するように工夫される。無線通信端末１０は、アンテナ及び無線送信、受信の電子回路（図示せず）をさらに含む。好ましくは、ビデオ利用機能を備えたカメラ１７は、表示器１４と同様に対向しているレンズを有する。
【００３８】
図４は、端末１０の機能的な部品を図示する。コンピュータ処理システムは、メモリ２１に蓄積された画像、特にカメラ１７により撮像された画像を処理する画像処理システム２０を含む。画像処理システム２０は、好ましくは、端末１０のコンピュータ処理システムの一部を形成する、関連するソフトウエアを有するマイクロプロセッサで制御される。
【００３９】
第１の一般的な実施例によれば、前面画像は、ビデオ会議を始めるとき、又は始める前に、図１に図示するように、最初に第１カメラ角度から撮像される。好ましくは、これは特別な撮像モードであって、このモードはキーパッド１３によって入力されてもよい。撮像された前面画像のデータは、ユーザＡの顔である被写体の基準画像のデータとしてメモリ２１に蓄積される。基準画像のデータは、全体の前面画像、又は前面画像の１部分だけを表す画像データを含んでもよい。引き続くビデオ会議中、ユーザＡの顔の動画像はカメラ１７で撮像される。画像処理システム２０は、定常的に撮像された画像を監視し、それらを基準画像と比較する。端末１０、すなわちカメラ１７は傾けられ、持ち上げられ、下げられるので、画像は、第１カメラ角度から高々９０度オフセットする第２カメラ角度から撮像され、画像処理システム２０は、基準画像を使用することでオフセット画像から調整された前面画像を自動的に生成するように工夫され、調整された前面画像が、顔の前面から直接に第１カメラ角度から撮像されたものとして見える。調整された前面画像は、その後、無線送受信器２２の信号符号化手段によって無線信号に符号化され、アンテナ２３で端末から送信される。別の方法としては、撮像したオフセット画像の調整された画像は、基準画像と共にメタデータとして送信され、調整データは、少なくとも、第１及び第２カメラ角度との間の角度関係に依存する。調整された画像は、その後、受信者の通信端末にで、又は他の機器において、受信した基準画像及び調整データで確立される。
【００４０】
第１の具体的な実施例においては、この調整された前面画像は、基準画像及び撮像した画像の対応する構造をデジタル的に識別する画像処理システムで達成される。これらの構造は、画像処理の分野では良く知られた、例えば輪郭、影、色分離等である。一度構造が識別されると、その構造に関する、基準画像と撮像された画像との間の空間的画像データの数学的関係から数学的変換が引き出される。オフセット画像は、その後、数学的変換を、撮像した画像の画像データに適用することによって、第１角度から撮像されたとして見えるように変換される。好ましくは、調整された画像は、変換を確立する画像における個々の点との間の数学的な関係を使用し、その後、撮像した画像の角度調整を実行するために、変換をオフセット画像の各画素に適用することて確立される。
【００４１】
第２の具体的な実施例においては、図５乃至７に図示するように、画像処理システムはデジタルフィルタリング機能を利用する。ユーザの基準画像５０は、図５に図示するように、最初にメモリ２１に蓄積される。図６によれば、キーとなる特徴５１、図示の例ではユーザの目及び口は、その後基準画像５０でデジタル的に識別される。キーとなる特徴のデジタル座標データ及び信号データは、メモリ２１に蓄積される。これは、自動的な処理ステップであってもよい。別の方法では、キーとなる特徴はユーザにより選択的に識別される。これは、表示器１４に基準画像を表示し、キーとなる特徴として基準画像の選択された領域を、キーパッド１３のボタン、ジョイボール或いはジョイスティックで制御されるカーソルを用いてマーキングすることで達成されてもよい。ビデオ会議を目的とする場合には、そのようなキーとなる特徴は、好ましくは、図示するようにユーザの目及び口を含む。
【００４２】
ビデオ会議の最中にカメラ１７でライブの動画像を撮像しているときは、図７に示すように、画像処理システム２０は、キーとなる特徴５１の動きを監視し、検出するように工夫されている。検出された動きは、画像処理システム２０によりライブ画像から取り出される。続いて、検出された動きは、基準画像５０のキーとなる特徴５１に適用される。それにより、ライブ画像の選択された部分の動きを、基準画像５０の対応する部分に適用することで、調整された前面画像が生成される。特に、ライブ画像が基準画像が撮像された第１角度からオフセットした角度から撮られたのであれば、結果の調整された画像は、図１に図示するように、前面から撮像されたとして認識されるだろう。
【００４３】
またこの場合には、角度オフセットに関連して選択した画像部分の回転のために数学的変換が使用されてもよい。他の具体的な実施例においては、オフセット画像における水平及び垂直方向の検出された空間的な動きに基づいて、動きを基準画像での選択されたキーとなる特徴に適用するためにモーフィング技術が、代替的に使われる。
【００４４】
好ましくない画像を避ける第２の汎用的な実施例は、オフセット角度から撮られた画像を僅かに傾けることであり、これは撮像された画像の角度調整の印象を与える。これは、図８乃至１１を参照して説明される。この処理は、手動操作であっても、自動操作であってもよく、移動体電話機が動きセンサの類を装着する場合には、いかにカメラがもとの垂直位置から変えられたかを検出するように工夫される。しかしながら、これは生成される被写体の画像であるのでこれは手動でなされるのが好ましい。
【００４５】
図８は、被写体の前で、第１の垂直カメラ角度から撮像した十字の形の被写体の画像８０を図示する。画像を撮像するカメラが落ちると、画像は、図９に図示するように、問題の第２カメラ角度の斜視に影響する。画像８０と画像９０とのカメラ角度の間の角度差を相殺するために、傾いた画像は撮像した画像９０から取り出してもよい。そのような傾いた画像１００は図１０に図示する。最後に、傾いた画像１００は、傾いた画像の境界１０１を避けるようにズーミングされクロッピングされ、そして、図１１で示すように補正された画像１１０が得られる。
【００４６】
ビデオ電話を使用するときは、ユーザの顔がカメラのビューファインダの外に動くことがよく起きる。ユーザは、相手と話しながら何か他のことをしているかも知れず、常に移動体電話カメラに集中できない。本発明の実施例によれば、この課題は、ビューファインダ画像データを使用してユーザの動きを追跡するように端末の光学追跡システムを稼動させることで克服される。追跡システムは、１つ乃至数個の追跡点候補を識別し、例えば、画像における高コントラスト変化は、有効な追跡点候補となり、出来るだけそれに追従することを試みる。追跡システムは、ズーム、パン及び回転を扱うことができる。もし、追跡システムがモータ化カメラに加えて使われるならば、ユーザの顔は、たとえ多少動いても、焦点を合わすことができる。カメラモータは、そのような実施例においては、その角度を水平及び垂直及び回転で動かすことができなければならない。
【００４７】
被写体に関連したカメラの角度の動き、すなわち第１カメラ角度と第２カメラ角度との間の動きは、手動で、たとえば端末のキーパッドで決定されてもよい。もしくは、例えば加速度計によってある角度からのカメラの傾きが検出されるように、角度サンサが組み込まれてもよい。その他としては、例えば振り子デバイス等による絶対角度センサを採用することである。１つの実施例においては、角度のプリセットは端末で選択可能である。例えば４５度のプリセットは、端末のカメラが、被写体に対し水平位置より低い４５度から狙うように保持されることを示す。画像処理システム２０は、したがって、被写体に対して水平位置から取ったとして見えるような、撮像した画像の調整された画像の生成を処理するように構成される。こうして、ビデオ会議の全体が４５度の角度で保持された端末で保持されてもよく、この角度はユーザにはより快適である。先に説明された、水平方向から撮像したものとして見えるように画像を調整する方法のいずれかが使用されてもよい。言及するまでもなくプリセット角度は、例えば＋４５度、−４５度及び０度、又は、例えば１０度のステップのようなより細かい範囲での角度のような、複数の異なるプリセット角度から選択されてもよい。図８乃至図１１を参照して説明された実施例においては、図８の基準画像は、角度プリセットを使用するこの具体的な実施例においては必ずしも必要ではない。もし、たとえば４５度のカメラ角度が端末にセットされたら、第１カメラ角度は、第２カメラ角度である撮像するカメラ角度より垂直面において４５度高いと定義される。
【００４８】
本発明の原理は、前述で動作の実施例及びモードを例として説明した。本発明の主たる利点は、移動体ビデオ会議のユーザが通信を疲れやすい位置を保って支持する必要はなく、さらに、しかも魅力ある顔の画像を提供できることにある。しかし、本発明はユーザ自身により撮像されたユーザの画像に限定されるものではないことに注意されたい。実際に、本発明は、如何なる被写体の画像を撮像するためにも使用可能であり、特に、ある角度からの被写体を画像化するのに興味があるものである。したがって本発明は、上記で説明された実施例に限定されるものと解釈されるべきものではないし、また、当然のことながら添付した請求項で定義されているように、本発明の範囲を逸脱することなく、当業者はこれらの実施例の各種の変形をすることもありうる。
【図面の簡単な説明】
【００４９】
【図１】典型的なビデオ会議モードにおけるハンドヘルド無線通信端末の使用を模式的に図示する。
【図２】図１の端末の暫く使用した後の典型的な位置を図示する図である。
【図３】本発明が使われてもよい無線通信端末の実施例を模式的に図示する図である。
【図４】図３の端末を、本発明の異なる実施例に関連する機能要素を、ブロック図の形で模式的に図示する図である。
【図５】基準画像の撮像及び蓄積を模式的に図示する図である。
【図６】基準画像のキーとなる特徴の識別と蓄積を模式的に図示する図である。
【図７】オフセット画像のキーとなる特徴の識別及び蓄積と、オフセット画像のキーとなる特徴における検出された動きの基準画像の対応するキーとなる特徴に対する適用を模式的に図示する図である。
【図８】第１角度からの被写体の撮像された画像を模式的に図示する図である。
【図９】第２のオフセット角度からの同じ被写体の撮像された画像を模式的に図示する図である。
【図１０】図９の画像の傾いた画像を模式的に図示する図である。
【図１１】図１０の傾いた画像のズーミングされ、クロッピングされた画像を模式的に図示する図である。
【特許請求の範囲】
【請求項１】
ハンドヘルド無線通信端末（１０）において、カメラ（１７）で撮像した被写体（Ａ）の画像を調整する方法であって、
前記被写体に対する第１カメラ角度を定義するステップと、
前記第１カメラ角度からオフセットした、前記被写体に対する第２カメラ角度から前記カメラで前記被写体の画像を撮像するステップと、
前記撮像した画像に関連する画像データを蓄積するステップと、
前記画像データ、及び前記第１カメラ角度及び前記第２カメラ角度との間の角度の関係に依存して、前記被写体の角度が調整された画像を生成するステップと、を備える方法。
【請求項２】
前記第１カメラ角度からの前記被写体の基準画像に関連する基準画像データを蓄積するステップを備え、
前記被写体の角度が調整された画像を生成するステップは、また前記基準画像データに依存する請求項１に記載の方法。
【請求項３】
前記第１カメラ角度からの前記被写体の前記基準画像を撮像するステップを備える請求項２に記載の方法。
【請求項４】
前記撮像した画像は動画像であり、
角度が調整された画像を生成する前記ステップは、調整された動画像を実時間で生成するステップを含む請求項１に記載の方法。
【請求項５】
前記角度が調整された画像を生成する前記ステップは、
前記撮像した画像及び前記基準画像の対応する構造をデジタル的に識別するステップと、
前記対応する構造に対して、前記画像データと前記基準画像データの空間的な画像データとの間の数学的な関係から数学的な変換を確立するステップと、
前記画像データに前記数学的な変換を応用することで、前記第１カメラから撮像したとして見えるように前記撮像した画像を変換するステップを備える請求項２に記載の方法。
【請求項６】
前記角度が調整された画像を生成する前記ステップは、
前記撮像された画像と前記基準画像とにおいて、デジタル的にキーとなる特徴を識別するステップと、
前記撮像された画像において、前記キーとなる特徴から動きを検出するステップと、
前記撮像された画像から前記動きを取り出すステップと、
調整された画像を得るために、前記基準画像に前記キーとなる特徴の前記動きを適用するステップを備える請求項２に記載の方法。
【請求項７】
前記角度が調整された画像を生成する前記ステップは、
前記第１カメラ角度と前記第２カメラ角度との間の差異を補正するために前記撮像された画像を傾けるステップと、
前記傾けられた画像をズーミングしクロッピングするステップとを備える請求項１に記載の方法。
【請求項８】
前記第１カメラ角度は、前記被写体に対する予め定められたカメラ角度である請求項１に記載の方法。
【請求項９】
前記第１カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される請求項１に記載の方法。
【請求項１０】
前記第２カメラ角度は、前記端末の角度センサにより検出される請求項１に記載の方法。
【請求項１１】
前記第２カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される請求項１に記載の方法。
【請求項１２】
前記角度が調整された画像を無線信号に符号化するステップと、
前記端末から前記無線信号を送信するステップを備える請求項１乃至１１のいずれか１項に記載の方法。
【請求項１３】
前記撮像した画像の前記画像データを、前記第１カメラ角度と前記第２カメラ角度との間の前記角度関係のデータと共に無線信号に符号化するステップと、
前記端末から前記無線信号を送信するステップと、
無線信号受信デバイスで前記無線信号を受信するステップと、
前記無線信号受信デバイスに前記被写体の前記角度の調整された画像を生成するステップを備える１乃至１１のいずれか１項に記載の方法。
【請求項１４】
前記被写体は、前記端末を保持するユーザの前記顔である請求項１乃至１３のいずれか１項に記載の方法。
【請求項１５】
画像を撮像するカメラ（１７）と、受信者へ撮像された画像を備える無線信号を生成し送信する手段（２２、２３）とを備える移動体無線通信端末（１０）であって、
第１カメラ角度から被写体（Ａ）に対する角度値、及び前記第１カメラ角度からオフセットした第２カメラ角度に対する角度値を蓄積するメモリ（２１）を含む画像調整機構を特徴とし、
前記画像調整機構は、さらに、前記画像の画像データ及び前記第１カメラ角度と前記第２カメラ角度との間の角度関係に基づいて、前記被写体の角度が調整された画像を生成する手段を含む、前記第２カメラ角度から前記カメラで撮像した被写体の画像を処理するように工夫された画像処理システム（２０）を備える、ことを特徴とする移動体無線通信端末。
【請求項１６】
前記メモリは、前記第１カメラ角度からの前記被写体の基準画像に関連する基準画像データをさらに含み、
前記画像処理システムの手段は、前記基準画像データに基づいて、前記被写体の前記角度が調整された画像を生成するように工夫される請求項１５に記載の移動体無線通信端末。
【請求項１７】
前記カメラは動画像を撮像するように工夫され、
前記画像処理システムは、角度が調整された前面動画像を実時間で生成する手段を備える請求項１５に記載の移動体無線通信端末。
【請求項１８】
前記画像処理システムは、
前記撮像した画像及び前記基準画像の対応する構造をデジタル的に識別する手段と、
前記対応する構造に対して、前記画像データと前記基準画像データの空間的な画像データとの間の数学的な関係から数学的な変換を確立する手段と、
前記画像データに前記数学的な変換を応用することで、前記第１カメラから撮像したとして見えるように前記撮像した画像を変換する手段を備える請求項１６に記載の移動体無線通信端末。
【請求項１９】
前記画像処理システムは、
前記撮像された画像と前記基準画像において、デジタル的にキーとなる特徴を識別する手段と、
前記撮像された画像において、前記キーとなる特徴から動きを検出する手段と、
前記撮像された画像から前記動きを取り出す手段と、
調整された画像を得るために、前記基準画像に前記キーとなる特徴の前記動きを適用する手段を備える請求項１６に記載の移動体無線通信端末。
【請求項２０】
前記画像処理システムは、
前記第１カメラ角度と前記第２カメラ角度との間の差異を相殺するために前記撮像された画像を傾ける手段と、
前記傾けられた画像をズーミングしクロッピングする手段とを備える請求項１５に記載の移動体無線通信端末。
【請求項２１】
前記第１カメラ角度は、前記被写体に対する予め定められたカメラ角度である請求項１５に記載の移動体無線通信端末。
【請求項２２】
前記第１カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される請求項１５に記載の移動体無線通信端末。
【請求項２３】
前記第２カメラ角度は、前記端末の角度センサにより検出される請求項１５に記載の移動体無線通信端末。
【請求項２４】
前記第２カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される請求項１５に記載の移動体無線通信端末。
【請求項２５】
前記画像処理システムは、
前記角度が調整された画像を無線信号に符号化する手段と、
前記端末から前記無線信号を送信する手段と、を備える請求項１５に記載の移動体無線通信端末。
【請求項２６】
前記被写体は、前記端末を保持するユーザの前記顔である請求項１５乃至２５のいずれか１項に記載の移動体無線通信端末。
【請求項１】
ハンドヘルド無線通信端末（１０）において、カメラ（１７）で撮像した被写体（Ａ）の画像を調整する方法であって、
前記被写体に対する第１カメラ角度を定義するステップと、
前記第１カメラ角度からオフセットした、前記被写体に対する第２カメラ角度から前記カメラで前記被写体の画像を撮像するステップと、
前記撮像した画像に関連する画像データを蓄積するステップと、
前記画像データ、及び前記第１カメラ角度及び前記第２カメラ角度との間の角度の関係に依存して、前記被写体の角度が調整された画像を生成するステップと、を備える方法。
【請求項２】
前記第１カメラ角度からの前記被写体の基準画像に関連する基準画像データを蓄積するステップを備え、
前記被写体の角度が調整された画像を生成するステップは、また前記基準画像データに依存する請求項１に記載の方法。
【請求項３】
前記第１カメラ角度からの前記被写体の前記基準画像を撮像するステップを備える請求項２に記載の方法。
【請求項４】
前記撮像した画像は動画像であり、
角度が調整された画像を生成する前記ステップは、調整された動画像を実時間で生成するステップを含む請求項１に記載の方法。
【請求項５】
前記角度が調整された画像を生成する前記ステップは、
前記撮像した画像及び前記基準画像の対応する構造をデジタル的に識別するステップと、
前記対応する構造に対して、前記画像データと前記基準画像データの空間的な画像データとの間の数学的な関係から数学的な変換を確立するステップと、
前記画像データに前記数学的な変換を応用することで、前記第１カメラから撮像したとして見えるように前記撮像した画像を変換するステップを備える請求項２に記載の方法。
【請求項６】
前記角度が調整された画像を生成する前記ステップは、
前記撮像された画像と前記基準画像とにおいて、デジタル的にキーとなる特徴を識別するステップと、
前記撮像された画像において、前記キーとなる特徴から動きを検出するステップと、
前記撮像された画像から前記動きを取り出すステップと、
調整された画像を得るために、前記基準画像に前記キーとなる特徴の前記動きを適用するステップを備える請求項２に記載の方法。
【請求項７】
前記角度が調整された画像を生成する前記ステップは、
前記第１カメラ角度と前記第２カメラ角度との間の差異を補正するために前記撮像された画像を傾けるステップと、
前記傾けられた画像をズーミングしクロッピングするステップとを備える請求項１に記載の方法。
【請求項８】
前記第１カメラ角度は、前記被写体に対する予め定められたカメラ角度である請求項１に記載の方法。
【請求項９】
前記第１カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される請求項１に記載の方法。
【請求項１０】
前記第２カメラ角度は、前記端末の角度センサにより検出される請求項１に記載の方法。
【請求項１１】
前記第２カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される請求項１に記載の方法。
【請求項１２】
前記角度が調整された画像を無線信号に符号化するステップと、
前記端末から前記無線信号を送信するステップを備える請求項１乃至１１のいずれか１項に記載の方法。
【請求項１３】
前記撮像した画像の前記画像データを、前記第１カメラ角度と前記第２カメラ角度との間の前記角度関係のデータと共に無線信号に符号化するステップと、
前記端末から前記無線信号を送信するステップと、
無線信号受信デバイスで前記無線信号を受信するステップと、
前記無線信号受信デバイスに前記被写体の前記角度の調整された画像を生成するステップを備える１乃至１１のいずれか１項に記載の方法。
【請求項１４】
前記被写体は、前記端末を保持するユーザの前記顔である請求項１乃至１３のいずれか１項に記載の方法。
【請求項１５】
画像を撮像するカメラ（１７）と、受信者へ撮像された画像を備える無線信号を生成し送信する手段（２２、２３）とを備える移動体無線通信端末（１０）であって、
第１カメラ角度から被写体（Ａ）に対する角度値、及び前記第１カメラ角度からオフセットした第２カメラ角度に対する角度値を蓄積するメモリ（２１）を含む画像調整機構を特徴とし、
前記画像調整機構は、さらに、前記画像の画像データ及び前記第１カメラ角度と前記第２カメラ角度との間の角度関係に基づいて、前記被写体の角度が調整された画像を生成する手段を含む、前記第２カメラ角度から前記カメラで撮像した被写体の画像を処理するように工夫された画像処理システム（２０）を備える、ことを特徴とする移動体無線通信端末。
【請求項１６】
前記メモリは、前記第１カメラ角度からの前記被写体の基準画像に関連する基準画像データをさらに含み、
前記画像処理システムの手段は、前記基準画像データに基づいて、前記被写体の前記角度が調整された画像を生成するように工夫される請求項１５に記載の移動体無線通信端末。
【請求項１７】
前記カメラは動画像を撮像するように工夫され、
前記画像処理システムは、角度が調整された前面動画像を実時間で生成する手段を備える請求項１５に記載の移動体無線通信端末。
【請求項１８】
前記画像処理システムは、
前記撮像した画像及び前記基準画像の対応する構造をデジタル的に識別する手段と、
前記対応する構造に対して、前記画像データと前記基準画像データの空間的な画像データとの間の数学的な関係から数学的な変換を確立する手段と、
前記画像データに前記数学的な変換を応用することで、前記第１カメラから撮像したとして見えるように前記撮像した画像を変換する手段を備える請求項１６に記載の移動体無線通信端末。
【請求項１９】
前記画像処理システムは、
前記撮像された画像と前記基準画像において、デジタル的にキーとなる特徴を識別する手段と、
前記撮像された画像において、前記キーとなる特徴から動きを検出する手段と、
前記撮像された画像から前記動きを取り出す手段と、
調整された画像を得るために、前記基準画像に前記キーとなる特徴の前記動きを適用する手段を備える請求項１６に記載の移動体無線通信端末。
【請求項２０】
前記画像処理システムは、
前記第１カメラ角度と前記第２カメラ角度との間の差異を相殺するために前記撮像された画像を傾ける手段と、
前記傾けられた画像をズーミングしクロッピングする手段とを備える請求項１５に記載の移動体無線通信端末。
【請求項２１】
前記第１カメラ角度は、前記被写体に対する予め定められたカメラ角度である請求項１５に記載の移動体無線通信端末。
【請求項２２】
前記第１カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される請求項１５に記載の移動体無線通信端末。
【請求項２３】
前記第２カメラ角度は、前記端末の角度センサにより検出される請求項１５に記載の移動体無線通信端末。
【請求項２４】
前記第２カメラ角度は、前記端末に対する入力コマンドにより、複数の選択可能なプリセット角度から選択される請求項１５に記載の移動体無線通信端末。
【請求項２５】
前記画像処理システムは、
前記角度が調整された画像を無線信号に符号化する手段と、
前記端末から前記無線信号を送信する手段と、を備える請求項１５に記載の移動体無線通信端末。
【請求項２６】
前記被写体は、前記端末を保持するユーザの前記顔である請求項１５乃至２５のいずれか１項に記載の移動体無線通信端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公表番号】特表２００８−５０４７６０（Ｐ２００８−５０４７６０Ａ）
【公表日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願番号】特願２００７−５１８５７３（Ｐ２００７−５１８５７３）
【出願日】平成１７年６月２日（２００５．６．２）
【国際出願番号】ＰＣＴ／ＥＰ２００５／０５２５３８
【国際公開番号】ＷＯ２００６／００３０６６
【国際公開日】平成１８年１月１２日（２００６．１．１２）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
【公表日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願日】平成１７年６月２日（２００５．６．２）
【国際出願番号】ＰＣＴ／ＥＰ２００５／０５２５３８
【国際公開番号】ＷＯ２００６／００３０６６
【国際公開日】平成１８年１月１２日（２００６．１．１２）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
[ Back to top ]