携帯端末
【課題】 空間的に離間した複数の撮影点で同じ対象物を被写体として撮影して撮影点間の相対位置を判定することができる携帯端末を提供する。
【解決手段】 被写体を撮影して静止画像を生成するカメラ１６と、カメラ１６の光軸の向き及び光軸を中心とする傾きを検出する姿勢検出部３２と、静止画像から特徴点を抽出する特徴点抽出部２４ａと、静止画像内の特徴点に対応する被写体上の点及び当該静止画像の撮影が行われた撮影点間の距離を測定する距離測定部２５と、第１撮影点で撮影された第１画像内の特徴点について測定された距離、第２撮影点で撮影された第２画像内の上記特徴点について測定された距離、並びに、第１撮影点及び第２撮影点でのカメラ１６の向き及び傾きの各検出結果に基づいて、第１撮影点に対する第２撮影点の相対位置を判定する位置判定部２６により構成される。
【解決手段】 被写体を撮影して静止画像を生成するカメラ１６と、カメラ１６の光軸の向き及び光軸を中心とする傾きを検出する姿勢検出部３２と、静止画像から特徴点を抽出する特徴点抽出部２４ａと、静止画像内の特徴点に対応する被写体上の点及び当該静止画像の撮影が行われた撮影点間の距離を測定する距離測定部２５と、第１撮影点で撮影された第１画像内の特徴点について測定された距離、第２撮影点で撮影された第２画像内の上記特徴点について測定された距離、並びに、第１撮影点及び第２撮影点でのカメラ１６の向き及び傾きの各検出結果に基づいて、第１撮影点に対する第２撮影点の相対位置を判定する位置判定部２６により構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末に係り、さらに詳しくは、空間的に離間した複数の撮影点で同じ対象物を被写体として撮影して撮影点間の相対位置を判定する携帯端末に関する。
【背景技術】
【０００２】
対象物の３次元形状を光学的に計測する方法として、空間的に離間した複数の撮影点で同じ対象物を被写体としてそれぞれ撮影し、各撮影点で撮影された静止画像を用いて被写体の表面形状を算出する技術が従来から知られている（例えば、特許文献１）。この方法では、静止画像上の各点について、異なる撮影点で撮影された画像間のマッチングを調べ、各撮影点の位置と、各撮影点でのカメラの向き及び傾きとからマッチングした各点の位置を特定することにより、対象物の表面形状が求められる。従って、この方法により対象物の表面形状を算出するためには、少なくとも撮影点間の位置の変化量が予め識別できなければならない。
【０００３】
そこで、特許文献１では、ＧＰＳ（Global Positioning System：全地球測位システム）衛星からの信号を受信し、その受信結果に基づいて、ＩＮＳ（Inertial Navigation System：慣性航法システム）による変位量の算出結果を補正している。しかしながら、ＧＰＳ衛星を利用した位置検出では、ＧＰＳ衛星からの信号の受信時刻を高い精度で特定することにより、電波の送受信に要する時間を求めてＧＰＳ衛星との距離が計算される。このため、数メートル程度の範囲の移動では誤差が大きすぎて位置の変化量が正確に識別できないという問題があった。また、ＧＰＳ及びＩＮＳを利用して位置検出する検出装置は、高価であり、サイズも大きいので、端末の小型化が困難であるという問題もあった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２３４７０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情に鑑みてなされたものであり、空間的に離間した複数の撮影点で同じ対象物を被写体として撮影して撮影点間の相対位置を判定することができる携帯端末を安価に提供することを目的としている。特に、第１撮影点に対する第２撮影点の相対位置を精度良く判定することができる携帯端末を提供することを目的としている。また、製造コストの増大を抑制しつつ、対象物の３次元形状を計測することができる携帯端末を提供することを目的としている。
【課題を解決するための手段】
【０００６】
第１の本発明による携帯端末は、被写体を撮影して静止画像を生成する撮像手段と、上記撮像手段の光軸の向き及び上記光軸を中心とする傾きを検出する姿勢検出手段と、上記静止画像から特徴点を抽出する特徴点抽出手段と、上記静止画像内の上記特徴点に対応する被写体上の点及び当該静止画像の撮影が行われた撮影点間の距離を測定する距離測定手段と、第１撮影点で撮影された第１画像内の上記特徴点について測定された距離、第２撮影点で撮影された第２画像内の上記特徴点について測定された距離、並びに、第１撮影点及び第２撮影点での上記撮像手段の向き及び傾きの各検出結果に基づいて、第１撮影点に対する第２撮影点の相対位置を判定する位置判定手段とを備えて構成される。
【０００７】
この携帯端末では、静止画像内の特徴点に対応する被写体上の点と当該静止画像の撮影点との間の距離を測定し、第１画像内の特徴点について測定された距離と、第２画像内で対応する特徴点について測定された距離と、第１撮影点及び第２撮影点での撮像手段の向き及び傾きとに基づいて、第１撮影点に対する第２撮影点の相対位置が判定される。この様な構成によれば、静止画像内の特徴点に対応する被写体上の点までの距離を測定して撮影点間の相対位置を判定するので、ＧＰＳ衛星を利用する位置検出に比べて、製造コストの増大を抑制しつつ、相対位置を精度良く判定することができる。
【０００８】
第２の本発明による携帯端末は、上記構成に加え、加速度を検出する加速度センサーと、上記加速度センサーの出力に基づいて、第１撮影点に対する第２撮影点の相対位置を算出する変位量算出手段と、上記位置判定手段による判定結果に基づいて、上記変位量算出手段による算出結果を補正する位置補正手段とを備えて構成される。
【０００９】
この様な構成によれば、撮影点間の相対位置の判定結果を利用して、加速度センサーの出力に基づく相対位置の算出結果を補正するので、相対位置の判定精度を向上させることができる。
【００１０】
第３の本発明による携帯端末は、上記構成に加え、上記撮像手段が、レンズを介して被写体から入射される光を受光する撮像素子と、上記レンズ及び上記撮像素子間の距離を変化させて上記静止画像のピント調整を行うフォーカシング機構とを有し、上記距離測定手段が、上記レンズの光軸方向の位置に基づいて、静止画像内の特徴点に対応する被写体上の点と当該静止画像の撮影点との間の距離を判定するように構成される。
【００１１】
この様な構成によれば、特徴点周辺の領域についてピント調整時におけるレンズの位置に基づいて、静止画像内の特徴点に対応する被写体上の点までの距離を判定するので、ＧＰＳ衛星を利用する位置検出に比べて、端末を小型化することができる。
【００１２】
第４の本発明による携帯端末は、上記構成に加え、第１画像、第２画像、第１撮影点及び第２撮影点での上記撮像手段の向き及び傾きの各検出結果、並びに、上記相対位置の判定結果に基づいて、被写体の表面形状を算出する表面形状算出手段を備えて構成される。
【００１３】
この様な構成によれば、第１画像及び第２画像と、第１撮影点及び第２撮影点での撮像手段の向き及び傾きと、相対位置の判定結果とに基づいて、被写体の表面形状を算出するので、ＧＰＳ衛星を利用して位置検出するものに比べて、製造コストの増大を抑制しつつ、対象物の３次元形状を計測することができる。
【発明の効果】
【００１４】
本発明による携帯端末によれば、静止画像内の特徴点に対応する被写体上の点までの距離を測定して撮影点間の相対位置を判定するので、ＧＰＳ衛星を利用する位置検出に比べて、製造コストの増大を抑制しつつ、第１撮影点に対する第２撮影点の相対位置を精度良く判定することができる。従って、空間的に離間した複数の撮影点で同じ対象物を被写体として撮影して撮影点間の相対位置を判定することができる携帯端末を安価に実現することができる。また、製造コストの増大を抑制しつつ、対象物の３次元形状を計測することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態による携帯端末の概略構成の一例を示した図であり、携帯端末の一例としてカメラ付きの携帯電話機１００が示されている。
【図２】図１の携帯電話機１００の要部における構成例を示したブロック図である。
【図３】図１の携帯電話機１００の動作の一例を模式的に示した説明図であり、空間的に離間した撮影点Ｃ１，Ｃ２におけるカメラ座標の一例が示されている。
【図４】図１の携帯電話機１００の動作の一例を模式的に示した説明図であり、対象物上の点Ｍと撮像面上の点ｍと光学中心Ｃとの関係が示されている。
【図５】図１の携帯電話機１００の形状計測時の動作の一例を示したフローチャートである。
【図６】図１の携帯電話機１００の形状計測時の動作の一例を示したフローチャートである。
【発明を実施するための形態】
【００１６】
図１（ａ）及び（ｂ）は、本発明の実施の形態による携帯端末の概略構成の一例を示した図であり、携帯端末の一例としてカメラ１６付きの携帯電話機１００が示されている。図１（ａ）には、携帯電話機１００を正面から見た様子が示され、図１（ｂ）には、背面から見た様子が示されている。
【００１７】
携帯電話機１００は、上下方向に長い薄型筐体１０からなる携帯可能な小型の電子機器であり、位置を異ならせながら対象物を撮影することによって対象物の３次元形状を計測することができる３次元形状の計測装置となっている。
【００１８】
薄型筐体１０の前面には、受話用レシーバ１１、ディスプレイ１２、操作キー１３及び送話用マイクロホン１４が設けられている。一方、薄型筐体１０の背面、すなわち、薄型筐体１０のディスプレイ１２が設けられている面とは反対側の面には、カメラ１６が配設されている。また、薄型筐体１０の上側面には、移動体通信用のアンテナ１５が配設されている。
【００１９】
ディスプレイ１２は、表示画面を有する表示装置であり、例えば、カメラ１６によって撮影された静止画像がファインダー画像として表示画面内に表示される。受話用レシーバ１１は、通話時に受信した音声信号を再生するための音声出力装置である。送話用マイクロホン１４は、通話時に音声を入力するための音声入力装置である。
【００２０】
カメラ１６は、被写体を撮影して静止画像を生成する撮像手段であり、レンズを介して被写体から入射される光を受光する撮像素子、レンズ及び撮像素子間の距離を変化させて静止画像のピント調整を行うフォーカシング機構などによって構成される。
【００２１】
撮像素子としては、例えば、ＣＣＤ（Charge Coupled Devices：電荷結合素子）イメージセンサーが用いられる。また、フォーカシング機構としては、例えば、レンズを光軸方向に移動させることによって、光軸方向の焦点位置を異ならせながら撮影された複数の静止画像を比較し、その比較結果に基づいてピント調整することにより、ピント合わせを自動化したパッシブ方式のＡＦ（オートフォーカス）機構が用いられる。
【００２２】
カメラ１６によって撮影された静止画像は、所定の操作キー１３、例えば、シャッター機能が割り当てられた操作キーを操作することによって、メモリ内に保存用の撮影画像として取り込まれる。
【００２３】
図２は、図１の携帯電話機１００の要部における構成例を示したブロック図である。この携帯電話機１００は、カメラ１６を構成するＣＣＤイメージセンサー１６ａ及びフォーカシング機構１６ｂの他に、キー入力部２１、撮像制御部２２、撮影画像記憶部２３、画像処理部２４、距離測定部２５、位置判定部２６、位置補正部２７、表面形状算出部２８、３軸地磁気センサー３１、姿勢検出部３２、３軸加速度センサー３３及び変位量算出部３４を備えて構成される。
【００２４】
キー入力部２１は、シャッター操作、すなわち、所定の操作キー１３の操作に基づいてキー入力信号を生成し、撮像制御部２２へ出力する。撮像制御部２２は、シャッター操作に基づいてフォーカシング機構１６ｂを制御し、ＣＣＤイメージセンサー１６ａによって生成された静止画像を撮影画像記憶部２３内に取り込む画像取得手段である。
【００２５】
画像処理部２４は、特徴点抽出部２４ａ、マッチング処理部２４ｂ及び２４ｃからなり、撮影画像記憶部２３内に保存用の撮影画像として取り込まれた静止画像について、所定の画像処理を行っている。
【００２６】
特徴点抽出部２４ａは、静止画像についてエッジ検出を行い、エッジが交差する頂角などを特徴点として当該静止画像から抽出する。撮影画像から特徴点を抽出する具体的な方法としては、ハリスコーナーディテクター（Harris corner detector）法などの公知の技術を利用すれば良い。
【００２７】
マッチング処理部２４ｂ，２４ｃは、空間的に離間した２つの撮影点でそれぞれ撮影された静止画像を比較し、第１の静止画像内の点に対応する第２の静止画像上の点を抽出する照合処理を行っている。ここでは、第１撮影点で撮影されて撮影画像記憶部２３内に取り込まれた静止画像を第１画像とし、第２撮影点で撮影されて撮影画像記憶部２３内に取り込まれた静止画像を第２画像とする。
【００２８】
マッチング処理部２４ｂでは、第１画像から抽出された１又は２以上の特徴点について、対応する特徴点が第２画像から抽出される。第１画像内の特徴点に対応する特徴点を第２画像から抽出する具体的な方法としては、例えば、第１撮影点及び第２撮影点の位置情報と、各撮影点におけるカメラ１６の姿勢情報とから第２画像上のエピポーラ拘束線を求め、第１画像上の特徴点を含む所定領域とエピポーラ拘束線上の画像領域とを比較してマッチング領域を判定する方法が用いられる。
【００２９】
距離測定部２５は、静止画像内の特徴点に対応する被写体上の点と、当該静止画像の撮影点との間の距離を測定し、その測定結果を位置判定部２６へ出力する。具体的には、フォーカシング機構１６ｂによるピント調整時のレンズの光軸方向の位置に基づいて、静止画像内の特徴点に対応する被写体上の点と撮影点との間の距離が判定される。
【００３０】
３軸加速度センサー３３は、端末に生じる加速度を検出するためのセンサーであり、互いに直交する３つの方向、例えば、Ｘ軸方向、Ｙ軸方向及びＺ軸方向について加速度をそれぞれ検出し、その検出結果を変位量算出部３４へ出力する。３軸加速度センサー３３としては、例えば、ピエゾ抵抗素子からなるピエゾ抵抗型、或いは、容量素子からなる静電容量型の半導体センサーが用いられる。
【００３１】
変位量算出部３４は、３軸加速度センサー３３の出力に基づいて第１撮影点に対する第２撮影点の相対位置を算出し、その算出結果を位置補正部２７へ出力する。この相対位置、すなわち、第１撮影点から第２撮影点までの位置の変化量は、加速度のＸ軸方向、Ｙ軸方向及びＺ軸方向の各成分をそれぞれ時間について２回積分し、或いは、時間で２重積分することによって求められる。
【００３２】
３軸地磁気センサー３１は、カメラ１６の光軸の向きと当該光軸を中心とする傾きとを検出するために、互いに直交する３つの方向について地磁気に対する傾斜角を検知する磁気センサーであり、例えば、磁気抵抗素子からなる。姿勢検出部３２は、３軸地磁気センサー３１の出力に基づいて、カメラ１６の光軸の向き及び光軸を中心とする傾きを検出し、その検出結果を位置判定部２６及び表面形状算出部２８へ出力する。
【００３３】
この姿勢検出部３２では、例えば、カメラ１６の光軸の向きとして、Ｘ軸を中心とする回転角（ピッチ角ξ）及びＹ軸を中心とする回転角（ヨー角φ）が検出され、カメラ１６の光軸を中心とする傾きとして、Ｚ軸を中心とする回転角（ロール角ζ）が検出される。
【００３４】
位置判定部２６は、第１画像内の特徴点について測定された距離と、第２画像内で対応する特徴点について測定された距離と、第１撮影点及び第２撮影点でのカメラ１６の向き及び傾きの各検出結果とに基づいて、第１撮影点に対する第２撮影点の相対位置を判定し、その判定結果を位置補正部２７へ出力する。この様な特徴点のマッチングによる相対位置の判定を第１画像から抽出した２以上の特徴点について行うことにより、相対位置の判定精度を向上させることができる。
【００３５】
位置補正部２７は、位置判定部２６による判定結果に基づいて、変位量算出部３４による算出結果を補正し、補正後の相対位置データを表面形状算出部２８へ出力する。例えば、変位量算出部３４によって算出された変位量が、被写体上の点と各撮影点との距離と、各撮影点でのカメラ１６の向き及び傾きとから推定される変位量に基づいて補正される。
【００３６】
表面形状算出部２８は、第１画像及び第２画像と、第１撮影点及び第２撮影点でのカメラ１６の向き及び傾きの各検出結果と、位置補正部２７からの相対位置データとに基づいて、被写体の表面形状を算出し、３次元位置データを出力する。被写体の表面形状を算出する方法としては、ステレオ法などの公知の技術を利用すれば良い。
【００３７】
例えば、マッチング処理部２４ｃにより、第１画像及び第２画像間で対象物上の同一箇所に対応する点がそれぞれ抽出される。表面形状算出部２８では、これらの点について、３点測量の原理を利用して対象物上の点の３次元位置を算出することを繰り返すことにより、対象物の表面形状が求められる。
【００３８】
或いは、対象物が含まれる空間をボクセルと呼ばれる小さな立方体に分割し、各ボクセルを各画像に投影した際の画素の一致度に基づいて当該ボクセルが対象物の表面に相当するか否かを判断することによって、対象物の表面形状を算出する方法も考えられる。
【００３９】
図３は、図１の携帯電話機１００の動作の一例を模式的に示した説明図であり、空間的に離間した撮影点Ｃ１，Ｃ２におけるカメラ座標の一例が示されている。カメラ座標とは、カメラ１６の位置を原点（光学中心）とし、カメラ１６の光軸方向をＺ軸方向とする直交座標系のことである。
【００４０】
対象物の３次元形状を計測する場合には、空間的に離間した撮影点Ｃ１，Ｃ２で同一の対象物を被写体としてそれぞれ撮影された静止画像が用いられる。その際、各撮影点Ｃ１，Ｃ２をカメラ１６の光学中心とするカメラ座標が用いられる。
【００４１】
図４は、図１の携帯電話機１００の動作の一例を模式的に示した説明図であり、対象物上の点Ｍと撮像面上の点ｍと光学中心Ｃとの関係が示されている。対象物上の任意の点を対象点Ｍと呼ぶと、この対象点Ｍについて、光学中心Ｃを原点とするカメラ座標における座標を（Ｘｃ，Ｙｃ，Ｚｃ）と表すと、カメラ１６の焦点距離ｆだけ離れた撮像面への投影点ｍの当該撮像面上の座標（ｘ，ｙ）は、カメラ１６の光軸の位置を原点とし、λを媒介変数として、次式（１）によって表される。
【数１】
【００４２】
さらに、最終的な画像データ上の座標（ｕ，ｖ）は、ＣＣＤイメージセンサー１６ａのスケール因子をｋｕ，ｋｖ、歪みをθとし、カメラ１６の光軸の位置を（ｕ０，ｖ０）として、次式（２）によって表される。
【数２】
【００４３】
上式（２）において、投影点ｍが撮影画像から抽出される特徴点である場合、ｕ，ｖ，ｕ０，ｖ０は、特徴点の撮影画像内における位置と、当該静止画像の撮影時におけるカメラ１６の向き及び傾きとに基づいて、算出することができる。
【００４４】
対象点Ｍの空間内における一般座標（Ｘ，Ｙ，Ｚ）は、光学中心Ｃを原点に移すようにカメラ座標を回転移動及び平行移動させることによって求められる。すなわち、座標（Ｘ，Ｙ，Ｚ）は、回転移動を表す３行３列の行列をＲとし、平行移動を表す３行１列の行列をベクトルｔとして、次式（３）によって求められる。
【数３】
【００４５】
上式（３）において、行列Ｒは、撮影点におけるカメラ１６の向き及び傾きから定められる。また、ベクトルｔは、第１撮影点を始点とし、第２撮影点を終点として、第１撮影点に対する第２撮影点の相対位置を示す変位ベクトルである。
【００４６】
上式（２）及び（３）から、次式（４）〜（７）が得られる。
【数４】
【００４７】
上式（４）を見れば、撮像面上の投影点ｍに対応する対称点Ｍは、カメラ１６の光学中心Ｃと投影点ｍを結ぶ半直線上に位置することがわかる。また、上式（４）を第１撮影点及び第２撮影点について考える場合、第１撮影点におけるカメラ座標を一般座標とみなせば、第１撮影点について上式（３）の変換を省略することができ、第２撮影点については行列Ｒに対して、姿勢検出部３２による検出結果を用いることができる。
【００４８】
具体的には、第１画像上の投影点をｍ１、第２画像上の投影点をｍ２とし、各撮影点での媒介変数をλ１，λ２として、次式（８）が成り立つ。
【数５】
【００４９】
上式（８）をベクトルｔについて解くと、次式（９）が得られる。
【数６】
【００５０】
また、媒介変数λについては、次式（１０）が成り立つ。
【数７】
【００５１】
従って、光学中心Ｃから対象点Ｍまでの距離が距離測定部２５によって求められれば、上式（１０）から、λ１，λ２がそれぞれ求められるので、上式（９）を用いてベクトルｔを算出することができる。
【００５２】
すなわち、第１画像から抽出された特徴点と、第２画像から抽出された特徴点のうち、マッチングした各特徴点について、距離測定部２５によってそれぞれ対象点Ｍまでの距離を求めれば、上式（１０）からλ１，λ２を算出することができる。
【００５３】
ここでは、空間的に離間した２つの撮影点でそれぞれ撮影された静止画像に基づいて、これらの撮影点間の相対位置を判定する場合の例について説明したが、３以上の撮影点でそれぞれ撮影された静止画像を用いて相対位置を判定することもできる。例えば、第３撮影点以降の撮影点について、直前の撮影点に対する相対位置を上述した方法で求め、その前の移動に対して、回転行列Ｒは積算し、ベクトルｔは加算して累積させることにより、第１撮影点からの変位量を算出することができる。
【００５４】
図５及び図６のステップＳ１０１〜Ｓ１１４は、図１の携帯電話機１００の形状計測時の動作の一例を示したフローチャートである。まず、撮像制御部２２は、シャッター操作が有れば、当該シャッター操作に基づいてフォーカシング機構１６ｂを制御し、ＣＣＤイメージセンサー１６ａによって生成された静止画像を第１画像として撮影画像記憶部２３内に取り込む（ステップＳ１０１，Ｓ１０２）。
【００５５】
特徴点抽出部２４ａは、撮影画像記憶部２３内に取り込まれた第１画像から特徴点を抽出する（ステップＳ１０３）。距離判定部２５は、第１画像から抽出された特徴点について、対応する被写体上の点までの距離、すなわち、光学中心Ｃと対象点Ｍとの間の距離を測定する（ステップＳ１０４）。
【００５６】
次に、撮像制御部２２は、シャッター操作が有れば、当該シャッター操作に基づいてフォーカシング機構１６ｂを制御し、ＣＣＤイメージセンサー１６ａによって生成された静止画像を第２画像として撮影画像記憶部２３内に取り込む（ステップＳ１０５，Ｓ１０６）。
【００５７】
このとき、変位量算出部３４は、３軸加速度センサー３３の出力に基づいて、第１撮影点に対する第２撮影点の相対位置、すなわち、第１撮影点から第２撮影点までの変位量を算出する（ステップＳ１０７）。
【００５８】
特徴点抽出部２４ａは、撮影画像記憶部２３内に取り込まれた第２画像から特徴点を抽出し（ステップＳ１０８）、マッチング処理部２４ｂは、第１画像から抽出された特徴点との関連付けを行う（ステップＳ１０９）。そして、距離判定部２５は、第２画像から抽出された特徴点のうち、第１画像から抽出された特徴点とマッチングする特徴点について、被写体上の点までの距離を測定する（ステップＳ１１０）。
【００５９】
位置判定部２６は、第１画像内の特徴点について測定された距離と、第２画像内で当該特徴点に対応する特徴点について測定された距離と、第１撮影点及び第２撮影点でのカメラ１６の向き及び傾きの各検出結果とに基づいて、第１撮影点に対する第２撮影点の相対位置を判定し、ベクトルｔを算出する（ステップＳ１１１）。位置補正部２７は、このベクトルｔに基づいて、変位量算出部３４によって算出された変位量を補正する（ステップＳ１１２）。
【００６０】
表面形状算出部２８は、第１画像及び第２画像と、第１撮影点及び第２撮影点でのカメラ１６の向き及び傾きの各検出結果と、位置補正部２７からの相対位置データとに基づいて、被写体の表面形状を算出し、３次元位置データを出力する（ステップＳ１１３，Ｓ１１４）。
【００６１】
本実施の形態によれば、静止画像内の特徴点に対応する被写体上の点までの距離を測定して撮影点間の相対位置を判定するので、ＧＰＳ衛星を利用する位置検出に比べて、製造コストの増大を抑制しつつ、相対位置を精度良く判定することができる。また、特徴点周辺の領域についてピント調整時におけるレンズの位置に基づいて、静止画像内の特徴点に対応する被写体上の点までの距離を判定するので、ＧＰＳ衛星を利用する位置検出に比べて、端末を小型化することができる。
【００６２】
なお、本実施の形態では、地磁気に対する傾斜角を検知することによってカメラ１６の向き及び傾きが検出される場合の例について説明したが、本発明はこれに限られるものではない。例えば、重力加速度を検知することによってカメラ１６の向き及び傾きを検出するものであっても良い。
【符号の説明】
【００６３】
１０ 薄型筐体
１１ 受話用レシーバ
１２ ディスプレイ
１３ 操作キー
１４ 送話用マイクロホン
１５ アンテナ
１６ カメラ
１６ａ ＣＣＤイメージセンサー
１６ｂ フォーカシング機構
２１ キー入力部
２２ 撮像制御部
２３ 撮影画像記憶部
２４ 画像処理部
２４ａ 特徴点抽出部
２４ｂ，２４ｃ マッチング処理部
２５ 距離測定部
２６ 位置判定部
２７ 位置補正部
２８ 表面形状算出部
３１ ３軸地磁気センサー
３２ 姿勢検出部
３３ ３軸加速度センサー
３４ 変位量算出部
１００ 携帯電話機
Ｃ 光学中心
Ｃ１，Ｃ２ 撮影点
Ｍ 対象点
ｍ 投影点
【技術分野】
【０００１】
本発明は、携帯端末に係り、さらに詳しくは、空間的に離間した複数の撮影点で同じ対象物を被写体として撮影して撮影点間の相対位置を判定する携帯端末に関する。
【背景技術】
【０００２】
対象物の３次元形状を光学的に計測する方法として、空間的に離間した複数の撮影点で同じ対象物を被写体としてそれぞれ撮影し、各撮影点で撮影された静止画像を用いて被写体の表面形状を算出する技術が従来から知られている（例えば、特許文献１）。この方法では、静止画像上の各点について、異なる撮影点で撮影された画像間のマッチングを調べ、各撮影点の位置と、各撮影点でのカメラの向き及び傾きとからマッチングした各点の位置を特定することにより、対象物の表面形状が求められる。従って、この方法により対象物の表面形状を算出するためには、少なくとも撮影点間の位置の変化量が予め識別できなければならない。
【０００３】
そこで、特許文献１では、ＧＰＳ（Global Positioning System：全地球測位システム）衛星からの信号を受信し、その受信結果に基づいて、ＩＮＳ（Inertial Navigation System：慣性航法システム）による変位量の算出結果を補正している。しかしながら、ＧＰＳ衛星を利用した位置検出では、ＧＰＳ衛星からの信号の受信時刻を高い精度で特定することにより、電波の送受信に要する時間を求めてＧＰＳ衛星との距離が計算される。このため、数メートル程度の範囲の移動では誤差が大きすぎて位置の変化量が正確に識別できないという問題があった。また、ＧＰＳ及びＩＮＳを利用して位置検出する検出装置は、高価であり、サイズも大きいので、端末の小型化が困難であるという問題もあった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２３４７０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情に鑑みてなされたものであり、空間的に離間した複数の撮影点で同じ対象物を被写体として撮影して撮影点間の相対位置を判定することができる携帯端末を安価に提供することを目的としている。特に、第１撮影点に対する第２撮影点の相対位置を精度良く判定することができる携帯端末を提供することを目的としている。また、製造コストの増大を抑制しつつ、対象物の３次元形状を計測することができる携帯端末を提供することを目的としている。
【課題を解決するための手段】
【０００６】
第１の本発明による携帯端末は、被写体を撮影して静止画像を生成する撮像手段と、上記撮像手段の光軸の向き及び上記光軸を中心とする傾きを検出する姿勢検出手段と、上記静止画像から特徴点を抽出する特徴点抽出手段と、上記静止画像内の上記特徴点に対応する被写体上の点及び当該静止画像の撮影が行われた撮影点間の距離を測定する距離測定手段と、第１撮影点で撮影された第１画像内の上記特徴点について測定された距離、第２撮影点で撮影された第２画像内の上記特徴点について測定された距離、並びに、第１撮影点及び第２撮影点での上記撮像手段の向き及び傾きの各検出結果に基づいて、第１撮影点に対する第２撮影点の相対位置を判定する位置判定手段とを備えて構成される。
【０００７】
この携帯端末では、静止画像内の特徴点に対応する被写体上の点と当該静止画像の撮影点との間の距離を測定し、第１画像内の特徴点について測定された距離と、第２画像内で対応する特徴点について測定された距離と、第１撮影点及び第２撮影点での撮像手段の向き及び傾きとに基づいて、第１撮影点に対する第２撮影点の相対位置が判定される。この様な構成によれば、静止画像内の特徴点に対応する被写体上の点までの距離を測定して撮影点間の相対位置を判定するので、ＧＰＳ衛星を利用する位置検出に比べて、製造コストの増大を抑制しつつ、相対位置を精度良く判定することができる。
【０００８】
第２の本発明による携帯端末は、上記構成に加え、加速度を検出する加速度センサーと、上記加速度センサーの出力に基づいて、第１撮影点に対する第２撮影点の相対位置を算出する変位量算出手段と、上記位置判定手段による判定結果に基づいて、上記変位量算出手段による算出結果を補正する位置補正手段とを備えて構成される。
【０００９】
この様な構成によれば、撮影点間の相対位置の判定結果を利用して、加速度センサーの出力に基づく相対位置の算出結果を補正するので、相対位置の判定精度を向上させることができる。
【００１０】
第３の本発明による携帯端末は、上記構成に加え、上記撮像手段が、レンズを介して被写体から入射される光を受光する撮像素子と、上記レンズ及び上記撮像素子間の距離を変化させて上記静止画像のピント調整を行うフォーカシング機構とを有し、上記距離測定手段が、上記レンズの光軸方向の位置に基づいて、静止画像内の特徴点に対応する被写体上の点と当該静止画像の撮影点との間の距離を判定するように構成される。
【００１１】
この様な構成によれば、特徴点周辺の領域についてピント調整時におけるレンズの位置に基づいて、静止画像内の特徴点に対応する被写体上の点までの距離を判定するので、ＧＰＳ衛星を利用する位置検出に比べて、端末を小型化することができる。
【００１２】
第４の本発明による携帯端末は、上記構成に加え、第１画像、第２画像、第１撮影点及び第２撮影点での上記撮像手段の向き及び傾きの各検出結果、並びに、上記相対位置の判定結果に基づいて、被写体の表面形状を算出する表面形状算出手段を備えて構成される。
【００１３】
この様な構成によれば、第１画像及び第２画像と、第１撮影点及び第２撮影点での撮像手段の向き及び傾きと、相対位置の判定結果とに基づいて、被写体の表面形状を算出するので、ＧＰＳ衛星を利用して位置検出するものに比べて、製造コストの増大を抑制しつつ、対象物の３次元形状を計測することができる。
【発明の効果】
【００１４】
本発明による携帯端末によれば、静止画像内の特徴点に対応する被写体上の点までの距離を測定して撮影点間の相対位置を判定するので、ＧＰＳ衛星を利用する位置検出に比べて、製造コストの増大を抑制しつつ、第１撮影点に対する第２撮影点の相対位置を精度良く判定することができる。従って、空間的に離間した複数の撮影点で同じ対象物を被写体として撮影して撮影点間の相対位置を判定することができる携帯端末を安価に実現することができる。また、製造コストの増大を抑制しつつ、対象物の３次元形状を計測することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態による携帯端末の概略構成の一例を示した図であり、携帯端末の一例としてカメラ付きの携帯電話機１００が示されている。
【図２】図１の携帯電話機１００の要部における構成例を示したブロック図である。
【図３】図１の携帯電話機１００の動作の一例を模式的に示した説明図であり、空間的に離間した撮影点Ｃ１，Ｃ２におけるカメラ座標の一例が示されている。
【図４】図１の携帯電話機１００の動作の一例を模式的に示した説明図であり、対象物上の点Ｍと撮像面上の点ｍと光学中心Ｃとの関係が示されている。
【図５】図１の携帯電話機１００の形状計測時の動作の一例を示したフローチャートである。
【図６】図１の携帯電話機１００の形状計測時の動作の一例を示したフローチャートである。
【発明を実施するための形態】
【００１６】
図１（ａ）及び（ｂ）は、本発明の実施の形態による携帯端末の概略構成の一例を示した図であり、携帯端末の一例としてカメラ１６付きの携帯電話機１００が示されている。図１（ａ）には、携帯電話機１００を正面から見た様子が示され、図１（ｂ）には、背面から見た様子が示されている。
【００１７】
携帯電話機１００は、上下方向に長い薄型筐体１０からなる携帯可能な小型の電子機器であり、位置を異ならせながら対象物を撮影することによって対象物の３次元形状を計測することができる３次元形状の計測装置となっている。
【００１８】
薄型筐体１０の前面には、受話用レシーバ１１、ディスプレイ１２、操作キー１３及び送話用マイクロホン１４が設けられている。一方、薄型筐体１０の背面、すなわち、薄型筐体１０のディスプレイ１２が設けられている面とは反対側の面には、カメラ１６が配設されている。また、薄型筐体１０の上側面には、移動体通信用のアンテナ１５が配設されている。
【００１９】
ディスプレイ１２は、表示画面を有する表示装置であり、例えば、カメラ１６によって撮影された静止画像がファインダー画像として表示画面内に表示される。受話用レシーバ１１は、通話時に受信した音声信号を再生するための音声出力装置である。送話用マイクロホン１４は、通話時に音声を入力するための音声入力装置である。
【００２０】
カメラ１６は、被写体を撮影して静止画像を生成する撮像手段であり、レンズを介して被写体から入射される光を受光する撮像素子、レンズ及び撮像素子間の距離を変化させて静止画像のピント調整を行うフォーカシング機構などによって構成される。
【００２１】
撮像素子としては、例えば、ＣＣＤ（Charge Coupled Devices：電荷結合素子）イメージセンサーが用いられる。また、フォーカシング機構としては、例えば、レンズを光軸方向に移動させることによって、光軸方向の焦点位置を異ならせながら撮影された複数の静止画像を比較し、その比較結果に基づいてピント調整することにより、ピント合わせを自動化したパッシブ方式のＡＦ（オートフォーカス）機構が用いられる。
【００２２】
カメラ１６によって撮影された静止画像は、所定の操作キー１３、例えば、シャッター機能が割り当てられた操作キーを操作することによって、メモリ内に保存用の撮影画像として取り込まれる。
【００２３】
図２は、図１の携帯電話機１００の要部における構成例を示したブロック図である。この携帯電話機１００は、カメラ１６を構成するＣＣＤイメージセンサー１６ａ及びフォーカシング機構１６ｂの他に、キー入力部２１、撮像制御部２２、撮影画像記憶部２３、画像処理部２４、距離測定部２５、位置判定部２６、位置補正部２７、表面形状算出部２８、３軸地磁気センサー３１、姿勢検出部３２、３軸加速度センサー３３及び変位量算出部３４を備えて構成される。
【００２４】
キー入力部２１は、シャッター操作、すなわち、所定の操作キー１３の操作に基づいてキー入力信号を生成し、撮像制御部２２へ出力する。撮像制御部２２は、シャッター操作に基づいてフォーカシング機構１６ｂを制御し、ＣＣＤイメージセンサー１６ａによって生成された静止画像を撮影画像記憶部２３内に取り込む画像取得手段である。
【００２５】
画像処理部２４は、特徴点抽出部２４ａ、マッチング処理部２４ｂ及び２４ｃからなり、撮影画像記憶部２３内に保存用の撮影画像として取り込まれた静止画像について、所定の画像処理を行っている。
【００２６】
特徴点抽出部２４ａは、静止画像についてエッジ検出を行い、エッジが交差する頂角などを特徴点として当該静止画像から抽出する。撮影画像から特徴点を抽出する具体的な方法としては、ハリスコーナーディテクター（Harris corner detector）法などの公知の技術を利用すれば良い。
【００２７】
マッチング処理部２４ｂ，２４ｃは、空間的に離間した２つの撮影点でそれぞれ撮影された静止画像を比較し、第１の静止画像内の点に対応する第２の静止画像上の点を抽出する照合処理を行っている。ここでは、第１撮影点で撮影されて撮影画像記憶部２３内に取り込まれた静止画像を第１画像とし、第２撮影点で撮影されて撮影画像記憶部２３内に取り込まれた静止画像を第２画像とする。
【００２８】
マッチング処理部２４ｂでは、第１画像から抽出された１又は２以上の特徴点について、対応する特徴点が第２画像から抽出される。第１画像内の特徴点に対応する特徴点を第２画像から抽出する具体的な方法としては、例えば、第１撮影点及び第２撮影点の位置情報と、各撮影点におけるカメラ１６の姿勢情報とから第２画像上のエピポーラ拘束線を求め、第１画像上の特徴点を含む所定領域とエピポーラ拘束線上の画像領域とを比較してマッチング領域を判定する方法が用いられる。
【００２９】
距離測定部２５は、静止画像内の特徴点に対応する被写体上の点と、当該静止画像の撮影点との間の距離を測定し、その測定結果を位置判定部２６へ出力する。具体的には、フォーカシング機構１６ｂによるピント調整時のレンズの光軸方向の位置に基づいて、静止画像内の特徴点に対応する被写体上の点と撮影点との間の距離が判定される。
【００３０】
３軸加速度センサー３３は、端末に生じる加速度を検出するためのセンサーであり、互いに直交する３つの方向、例えば、Ｘ軸方向、Ｙ軸方向及びＺ軸方向について加速度をそれぞれ検出し、その検出結果を変位量算出部３４へ出力する。３軸加速度センサー３３としては、例えば、ピエゾ抵抗素子からなるピエゾ抵抗型、或いは、容量素子からなる静電容量型の半導体センサーが用いられる。
【００３１】
変位量算出部３４は、３軸加速度センサー３３の出力に基づいて第１撮影点に対する第２撮影点の相対位置を算出し、その算出結果を位置補正部２７へ出力する。この相対位置、すなわち、第１撮影点から第２撮影点までの位置の変化量は、加速度のＸ軸方向、Ｙ軸方向及びＺ軸方向の各成分をそれぞれ時間について２回積分し、或いは、時間で２重積分することによって求められる。
【００３２】
３軸地磁気センサー３１は、カメラ１６の光軸の向きと当該光軸を中心とする傾きとを検出するために、互いに直交する３つの方向について地磁気に対する傾斜角を検知する磁気センサーであり、例えば、磁気抵抗素子からなる。姿勢検出部３２は、３軸地磁気センサー３１の出力に基づいて、カメラ１６の光軸の向き及び光軸を中心とする傾きを検出し、その検出結果を位置判定部２６及び表面形状算出部２８へ出力する。
【００３３】
この姿勢検出部３２では、例えば、カメラ１６の光軸の向きとして、Ｘ軸を中心とする回転角（ピッチ角ξ）及びＹ軸を中心とする回転角（ヨー角φ）が検出され、カメラ１６の光軸を中心とする傾きとして、Ｚ軸を中心とする回転角（ロール角ζ）が検出される。
【００３４】
位置判定部２６は、第１画像内の特徴点について測定された距離と、第２画像内で対応する特徴点について測定された距離と、第１撮影点及び第２撮影点でのカメラ１６の向き及び傾きの各検出結果とに基づいて、第１撮影点に対する第２撮影点の相対位置を判定し、その判定結果を位置補正部２７へ出力する。この様な特徴点のマッチングによる相対位置の判定を第１画像から抽出した２以上の特徴点について行うことにより、相対位置の判定精度を向上させることができる。
【００３５】
位置補正部２７は、位置判定部２６による判定結果に基づいて、変位量算出部３４による算出結果を補正し、補正後の相対位置データを表面形状算出部２８へ出力する。例えば、変位量算出部３４によって算出された変位量が、被写体上の点と各撮影点との距離と、各撮影点でのカメラ１６の向き及び傾きとから推定される変位量に基づいて補正される。
【００３６】
表面形状算出部２８は、第１画像及び第２画像と、第１撮影点及び第２撮影点でのカメラ１６の向き及び傾きの各検出結果と、位置補正部２７からの相対位置データとに基づいて、被写体の表面形状を算出し、３次元位置データを出力する。被写体の表面形状を算出する方法としては、ステレオ法などの公知の技術を利用すれば良い。
【００３７】
例えば、マッチング処理部２４ｃにより、第１画像及び第２画像間で対象物上の同一箇所に対応する点がそれぞれ抽出される。表面形状算出部２８では、これらの点について、３点測量の原理を利用して対象物上の点の３次元位置を算出することを繰り返すことにより、対象物の表面形状が求められる。
【００３８】
或いは、対象物が含まれる空間をボクセルと呼ばれる小さな立方体に分割し、各ボクセルを各画像に投影した際の画素の一致度に基づいて当該ボクセルが対象物の表面に相当するか否かを判断することによって、対象物の表面形状を算出する方法も考えられる。
【００３９】
図３は、図１の携帯電話機１００の動作の一例を模式的に示した説明図であり、空間的に離間した撮影点Ｃ１，Ｃ２におけるカメラ座標の一例が示されている。カメラ座標とは、カメラ１６の位置を原点（光学中心）とし、カメラ１６の光軸方向をＺ軸方向とする直交座標系のことである。
【００４０】
対象物の３次元形状を計測する場合には、空間的に離間した撮影点Ｃ１，Ｃ２で同一の対象物を被写体としてそれぞれ撮影された静止画像が用いられる。その際、各撮影点Ｃ１，Ｃ２をカメラ１６の光学中心とするカメラ座標が用いられる。
【００４１】
図４は、図１の携帯電話機１００の動作の一例を模式的に示した説明図であり、対象物上の点Ｍと撮像面上の点ｍと光学中心Ｃとの関係が示されている。対象物上の任意の点を対象点Ｍと呼ぶと、この対象点Ｍについて、光学中心Ｃを原点とするカメラ座標における座標を（Ｘｃ，Ｙｃ，Ｚｃ）と表すと、カメラ１６の焦点距離ｆだけ離れた撮像面への投影点ｍの当該撮像面上の座標（ｘ，ｙ）は、カメラ１６の光軸の位置を原点とし、λを媒介変数として、次式（１）によって表される。
【数１】
【００４２】
さらに、最終的な画像データ上の座標（ｕ，ｖ）は、ＣＣＤイメージセンサー１６ａのスケール因子をｋｕ，ｋｖ、歪みをθとし、カメラ１６の光軸の位置を（ｕ０，ｖ０）として、次式（２）によって表される。
【数２】
【００４３】
上式（２）において、投影点ｍが撮影画像から抽出される特徴点である場合、ｕ，ｖ，ｕ０，ｖ０は、特徴点の撮影画像内における位置と、当該静止画像の撮影時におけるカメラ１６の向き及び傾きとに基づいて、算出することができる。
【００４４】
対象点Ｍの空間内における一般座標（Ｘ，Ｙ，Ｚ）は、光学中心Ｃを原点に移すようにカメラ座標を回転移動及び平行移動させることによって求められる。すなわち、座標（Ｘ，Ｙ，Ｚ）は、回転移動を表す３行３列の行列をＲとし、平行移動を表す３行１列の行列をベクトルｔとして、次式（３）によって求められる。
【数３】
【００４５】
上式（３）において、行列Ｒは、撮影点におけるカメラ１６の向き及び傾きから定められる。また、ベクトルｔは、第１撮影点を始点とし、第２撮影点を終点として、第１撮影点に対する第２撮影点の相対位置を示す変位ベクトルである。
【００４６】
上式（２）及び（３）から、次式（４）〜（７）が得られる。
【数４】
【００４７】
上式（４）を見れば、撮像面上の投影点ｍに対応する対称点Ｍは、カメラ１６の光学中心Ｃと投影点ｍを結ぶ半直線上に位置することがわかる。また、上式（４）を第１撮影点及び第２撮影点について考える場合、第１撮影点におけるカメラ座標を一般座標とみなせば、第１撮影点について上式（３）の変換を省略することができ、第２撮影点については行列Ｒに対して、姿勢検出部３２による検出結果を用いることができる。
【００４８】
具体的には、第１画像上の投影点をｍ１、第２画像上の投影点をｍ２とし、各撮影点での媒介変数をλ１，λ２として、次式（８）が成り立つ。
【数５】
【００４９】
上式（８）をベクトルｔについて解くと、次式（９）が得られる。
【数６】
【００５０】
また、媒介変数λについては、次式（１０）が成り立つ。
【数７】
【００５１】
従って、光学中心Ｃから対象点Ｍまでの距離が距離測定部２５によって求められれば、上式（１０）から、λ１，λ２がそれぞれ求められるので、上式（９）を用いてベクトルｔを算出することができる。
【００５２】
すなわち、第１画像から抽出された特徴点と、第２画像から抽出された特徴点のうち、マッチングした各特徴点について、距離測定部２５によってそれぞれ対象点Ｍまでの距離を求めれば、上式（１０）からλ１，λ２を算出することができる。
【００５３】
ここでは、空間的に離間した２つの撮影点でそれぞれ撮影された静止画像に基づいて、これらの撮影点間の相対位置を判定する場合の例について説明したが、３以上の撮影点でそれぞれ撮影された静止画像を用いて相対位置を判定することもできる。例えば、第３撮影点以降の撮影点について、直前の撮影点に対する相対位置を上述した方法で求め、その前の移動に対して、回転行列Ｒは積算し、ベクトルｔは加算して累積させることにより、第１撮影点からの変位量を算出することができる。
【００５４】
図５及び図６のステップＳ１０１〜Ｓ１１４は、図１の携帯電話機１００の形状計測時の動作の一例を示したフローチャートである。まず、撮像制御部２２は、シャッター操作が有れば、当該シャッター操作に基づいてフォーカシング機構１６ｂを制御し、ＣＣＤイメージセンサー１６ａによって生成された静止画像を第１画像として撮影画像記憶部２３内に取り込む（ステップＳ１０１，Ｓ１０２）。
【００５５】
特徴点抽出部２４ａは、撮影画像記憶部２３内に取り込まれた第１画像から特徴点を抽出する（ステップＳ１０３）。距離判定部２５は、第１画像から抽出された特徴点について、対応する被写体上の点までの距離、すなわち、光学中心Ｃと対象点Ｍとの間の距離を測定する（ステップＳ１０４）。
【００５６】
次に、撮像制御部２２は、シャッター操作が有れば、当該シャッター操作に基づいてフォーカシング機構１６ｂを制御し、ＣＣＤイメージセンサー１６ａによって生成された静止画像を第２画像として撮影画像記憶部２３内に取り込む（ステップＳ１０５，Ｓ１０６）。
【００５７】
このとき、変位量算出部３４は、３軸加速度センサー３３の出力に基づいて、第１撮影点に対する第２撮影点の相対位置、すなわち、第１撮影点から第２撮影点までの変位量を算出する（ステップＳ１０７）。
【００５８】
特徴点抽出部２４ａは、撮影画像記憶部２３内に取り込まれた第２画像から特徴点を抽出し（ステップＳ１０８）、マッチング処理部２４ｂは、第１画像から抽出された特徴点との関連付けを行う（ステップＳ１０９）。そして、距離判定部２５は、第２画像から抽出された特徴点のうち、第１画像から抽出された特徴点とマッチングする特徴点について、被写体上の点までの距離を測定する（ステップＳ１１０）。
【００５９】
位置判定部２６は、第１画像内の特徴点について測定された距離と、第２画像内で当該特徴点に対応する特徴点について測定された距離と、第１撮影点及び第２撮影点でのカメラ１６の向き及び傾きの各検出結果とに基づいて、第１撮影点に対する第２撮影点の相対位置を判定し、ベクトルｔを算出する（ステップＳ１１１）。位置補正部２７は、このベクトルｔに基づいて、変位量算出部３４によって算出された変位量を補正する（ステップＳ１１２）。
【００６０】
表面形状算出部２８は、第１画像及び第２画像と、第１撮影点及び第２撮影点でのカメラ１６の向き及び傾きの各検出結果と、位置補正部２７からの相対位置データとに基づいて、被写体の表面形状を算出し、３次元位置データを出力する（ステップＳ１１３，Ｓ１１４）。
【００６１】
本実施の形態によれば、静止画像内の特徴点に対応する被写体上の点までの距離を測定して撮影点間の相対位置を判定するので、ＧＰＳ衛星を利用する位置検出に比べて、製造コストの増大を抑制しつつ、相対位置を精度良く判定することができる。また、特徴点周辺の領域についてピント調整時におけるレンズの位置に基づいて、静止画像内の特徴点に対応する被写体上の点までの距離を判定するので、ＧＰＳ衛星を利用する位置検出に比べて、端末を小型化することができる。
【００６２】
なお、本実施の形態では、地磁気に対する傾斜角を検知することによってカメラ１６の向き及び傾きが検出される場合の例について説明したが、本発明はこれに限られるものではない。例えば、重力加速度を検知することによってカメラ１６の向き及び傾きを検出するものであっても良い。
【符号の説明】
【００６３】
１０ 薄型筐体
１１ 受話用レシーバ
１２ ディスプレイ
１３ 操作キー
１４ 送話用マイクロホン
１５ アンテナ
１６ カメラ
１６ａ ＣＣＤイメージセンサー
１６ｂ フォーカシング機構
２１ キー入力部
２２ 撮像制御部
２３ 撮影画像記憶部
２４ 画像処理部
２４ａ 特徴点抽出部
２４ｂ，２４ｃ マッチング処理部
２５ 距離測定部
２６ 位置判定部
２７ 位置補正部
２８ 表面形状算出部
３１ ３軸地磁気センサー
３２ 姿勢検出部
３３ ３軸加速度センサー
３４ 変位量算出部
１００ 携帯電話機
Ｃ 光学中心
Ｃ１，Ｃ２ 撮影点
Ｍ 対象点
ｍ 投影点
【特許請求の範囲】
【請求項１】
被写体を撮影して静止画像を生成する撮像手段と、
上記撮像手段の光軸の向き及び上記光軸を中心とする傾きを検出する姿勢検出手段と、
上記静止画像から特徴点を抽出する特徴点抽出手段と、
上記静止画像内の上記特徴点に対応する被写体上の点及び当該静止画像の撮影が行われた撮影点間の距離を測定する距離測定手段と、
第１撮影点で撮影された第１画像内の上記特徴点について測定された距離、第２撮影点で撮影された第２画像内の上記特徴点について測定された距離、並びに、第１撮影点及び第２撮影点での上記撮像手段の向き及び傾きの各検出結果に基づいて、第１撮影点に対する第２撮影点の相対位置を判定する位置判定手段とを備えたことを特徴とする携帯端末。
【請求項２】
加速度を検出する加速度センサーと、
上記加速度センサーの出力に基づいて、第１撮影点に対する第２撮影点の相対位置を算出する変位量算出手段と、
上記位置判定手段による判定結果に基づいて、上記変位量算出手段による算出結果を補正する位置補正手段とを備えたことを特徴とする請求項１に記載の携帯端末。
【請求項３】
上記撮像手段が、レンズを介して被写体から入射される光を受光する撮像素子と、上記レンズ及び上記撮像素子間の距離を変化させて上記静止画像のピント調整を行うフォーカシング機構とを有し、
上記距離測定手段が、上記レンズの光軸方向の位置に基づいて、静止画像内の特徴点に対応する被写体上の点と当該静止画像の撮影点との間の距離を判定することを特徴とする請求項１又は２に記載の携帯端末。
【請求項４】
第１画像、第２画像、第１撮影点及び第２撮影点での上記撮像手段の向き及び傾きの各検出結果、並びに、上記相対位置の判定結果に基づいて、被写体の表面形状を算出する表面形状算出手段を備えたことを特徴とする請求項１から３のいずれかに記載の携帯端末。
【請求項１】
被写体を撮影して静止画像を生成する撮像手段と、
上記撮像手段の光軸の向き及び上記光軸を中心とする傾きを検出する姿勢検出手段と、
上記静止画像から特徴点を抽出する特徴点抽出手段と、
上記静止画像内の上記特徴点に対応する被写体上の点及び当該静止画像の撮影が行われた撮影点間の距離を測定する距離測定手段と、
第１撮影点で撮影された第１画像内の上記特徴点について測定された距離、第２撮影点で撮影された第２画像内の上記特徴点について測定された距離、並びに、第１撮影点及び第２撮影点での上記撮像手段の向き及び傾きの各検出結果に基づいて、第１撮影点に対する第２撮影点の相対位置を判定する位置判定手段とを備えたことを特徴とする携帯端末。
【請求項２】
加速度を検出する加速度センサーと、
上記加速度センサーの出力に基づいて、第１撮影点に対する第２撮影点の相対位置を算出する変位量算出手段と、
上記位置判定手段による判定結果に基づいて、上記変位量算出手段による算出結果を補正する位置補正手段とを備えたことを特徴とする請求項１に記載の携帯端末。
【請求項３】
上記撮像手段が、レンズを介して被写体から入射される光を受光する撮像素子と、上記レンズ及び上記撮像素子間の距離を変化させて上記静止画像のピント調整を行うフォーカシング機構とを有し、
上記距離測定手段が、上記レンズの光軸方向の位置に基づいて、静止画像内の特徴点に対応する被写体上の点と当該静止画像の撮影点との間の距離を判定することを特徴とする請求項１又は２に記載の携帯端末。
【請求項４】
第１画像、第２画像、第１撮影点及び第２撮影点での上記撮像手段の向き及び傾きの各検出結果、並びに、上記相対位置の判定結果に基づいて、被写体の表面形状を算出する表面形状算出手段を備えたことを特徴とする請求項１から３のいずれかに記載の携帯端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−５８８５４（Ｐ２０１１−５８８５４Ａ）
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願番号】特願２００９−２０６４４０（Ｐ２００９−２０６４４０）
【出願日】平成２１年９月７日（２００９．９．７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願日】平成２１年９月７日（２００９．９．７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]