個人用電子機器の３次元情報取得及び表示システム
本発明に係る個人用電子機器の３次元（３Ｄ）情報取得／表示システムは、様々な機能を有する２つのデジタルカメラを備える。２つのデジタルカメラは、３次元情報を取得し、この３次元情報は、オートステレオスコープディスプレイに表示される。また、明瞭且つ容易な使用感を得るために、２つのデジタルカメラは、ユーザに対し、正しい角度で適切な画像を投写することの補助となる目追跡装置としても機能する。また、２つのデジタルカメラは、正しい深さでのオートフォーカスを補助する機能も有する。各個人用電子機器は、取得された３次元データを保存し、送信し、表示できる。
【発明の詳細な説明】
【関連出願】
【０００１】
本出願は、２００４年３月１８日に出願された米国仮出願番号第６０／５５４，６７３号、発明の名称「個人用電子機器の３次元情報取得及び表示システム（Three-Dimensional Acquisition and Visualization System for Personal Electronic Devices）」について、米国特許法第１１９条（ｅ）項に基づく優先権を主張する。２００４年３月１８日に出願された米国仮出願番号第６０／５５４，６７３号、発明の名称「個人用電子機器の３次元情報取得及び表示システム」は、引用により本願に援用される。
【技術分野】
【０００２】
本発明は、３次元（３Ｄ）画像の分野に関する。詳しくは、本発明は、３Ｄ取得及び表示のための個人用電子機器に関連する。
【背景技術】
【０００３】
３次元表示技術は、１世紀以上に亘って研究されているが、主に、平均的なユーザにとって複雑で、高コストであるため、未だに一般的には普及していない。液晶表示装置（Liquid Crystal Display：ＬＣＤ）及びプラズマスクリーンは、伝統的な陰極線管（Cathode Ray Tube：ＣＲＴ）モニタ及びテレビジョン受像機より、３次元画像の表示に適しており、家電業界及びコンピュータ業界の両方で注目されている。３次元システムは、技術的な好奇心から進歩し、現在、娯楽、宣伝及び科学的応用のための実用的な取得及び表示システムになっている。これらの興味に後押しされて、多くのハードウェア及びソフトウェア開発企業が、協働して３Ｄ製品を開発している。
【０００４】
近年、ＮＴＴドコモグループ（NTT DoCoMo）は、初めて、３次元画像を表示できるカラー画面を搭載したシャープ株式会社製の携帯電話機、ムーバＳＨ２５１ｉＳを発表した。ユーザは、単一のデジタルカメラで２次元（２Ｄ）画像を撮影し、編集システムを用いて、この画像を３Ｄ画像に変換する。同様の機能を有する他の電話機に３次元画像を送信すると、受信者は、３次元画像を見ることができる。オートステレオスコープ方式（眼鏡不要立体画像表示方式）では、特別な眼鏡なしで、３Ｄ画像を見ることができる。しかしながら、この技術には、多くの問題がある。良好な３次元画像を見るためには、ユーザは、電話機の真正面から、目を約１ｆｔ離して画面を見る必要がある。ユーザが少しでも動くと、ユーザは、画像の焦点を失う。更に、２次元画像しか撮影できないカメラを１台使用し、この画像を３Ｄ編集器で編集しているだけなので、画像は、人工的に３次元画像に変換されている。したがって、画像の品質にも問題がある。
【０００５】
２Ｄ画像から立体画像を生成する１つの方法は、リチャーズ（Richards）に付与された米国特許番号第６，４７７，２６７号に開示されており、ここでは、元の画像において、少なくとも１つのオブジェクトを特定し、この１つ以上のオブジェクトの輪郭を描画し、各オブジェクトについて、深さ特性（depth characteristic）を定義し、これに応じて、画像の選択された領域を置換する。なお、上述のように、２次元画像を３次元画像に変換する場合、多くの問題が生じ、このうち、変換の結果として得られる３次元画像の品質の問題が特に重要である。
【０００６】
ガートナー（Gartner）他に付与された米国特許番号第６，６６４，５３１号には、１つのカメラで２次元画像を捕捉するのではなく、オブジェクトの視差を観察する２つのカメラを用いて画像の対を捕捉することができる構成が開示されている。左眼がこの立体画像の対の一方の画像を見ている間、右眼は、他方の画像を見る。人間の脳は、画像のこの対を容易に併合することができ、これにより、オブジェクトは、３次元画像に見える。
【０００７】
モンゴメリ（Montgomery）他に付与された米国特許番号第６，５１２，８９２号には、２つのカメラで３次元画像を取得する他の具体例が開示されている。ここでは、３Ｄカメラは、少なくとも２つの平行な可動検出ヘッドを備える。
【０００８】
ＮＴＴドコモグループの製品に関連して説明したように、ユーザは、３次元画像を見ている間、動くことができず、ユーザが動くと、焦点が失われる。画像がマルチ画像表示（multi-image display）として表現されることがこのような問題の理由の１つである。マルチ画像表示では、異なる画像を単一のディスプレイにインタリーブする。マルチ画像表示の最も単純な実現例は、左右の画像のシーケンスを繰り返すことである。各連続する画像の間の距離は、６５ｍｍであり、これは、観察者の目の間の平均距離に等しい。ここで、観察者が３３ｍｍ以上右又は左に移動すると、観察者には、逆の３次元画像が見える。逆の３次元画像は、不快であり、しばらくこの画像を見ていると、頭痛等の苦痛が生じることもある。
【０００９】
なお、６５ｍｍ離間された多くの画像を用いることによって、マルチ画像表示を改良できる。多くの画像を用いることにより、観察者が頭を左右に動かしても、観察者には正しい画像が見える。但し、この技術には更なる問題がある。まず、必要なカメラの数が増加する。例えば、４つの視点を設定するためには、４つのカメラが必要である。また、ここでは、複数の画像の対を繰り返しているだけなので、逆の３次元画像が見える位置が単に少なくなっているだけで、逆の３次元画像が見える位置が完全になくなるわけではない。逆の画像の問題は、繰り返される対の間にヌルフィールド又は黒フィールドを挿入することによって解決できる。黒フィールドを用いる手法は、３Ｄ画像が逆に見える問題を解決するが、この場合、画像が３Ｄ画像に見えない位置が生じる。更に、必要な黒フィールドの数は、使用されるカメラの数に反比例し、すなわち、黒フィールドの数を少なくするには、より多くのカメラを用いなくてはならない。このように、マルチ画像表示には、観察者が３次元体験を楽しむために解決しなければならない多くの問題がある。
【００１０】
現在、３次元画像を表示できる様々な表示装置がある。第１の種類の表示装置は、観察者の目に近接して保持されるレンズ、プリズム又は鏡を必要とし、この種類の表示装置は、眼鏡類を必要としない装置に比べて不便である。第２の種類の表示装置は、レンチキュラ方式（lenticular system）を採用する表示装置である。レンチキュラ方式では、高解像度の画像が望まれる場合、製品に用いられる精密要素が多くなるため、高品質の画像を表示する場合、製造が比較的困難で高価になる。更に、レンチキュラ方式で表示される画像の解像度は、通常、レンズのアレイが取り付けられるディスプレイ装置で実現できる解像度より低い。更に、レンチキュラ方式は、コンピュータディスプレイ及びテレビジョン受像機等の表示システムには適さず、したがって、広く普及していない。
【００１１】
第３の種類の３次元画像表示装置は、３Ｄ表示のためのパララックスバリアを含む。このシステムは、表示又は投写される画像に対して、様々な相対的位置に配設された不明瞭なセクションの間に分散して配置された透明なセクションからなるグリッドを有し、画像は、左の画像に由来する領域（最終的に、観察者の左眼のみに見える）と、右の画像に由来する領域（最終的に、観察者の右眼だけに見える）とが混在する画像であり、１つ以上のグリッドは、右の画像の領域を左眼から隠し、左の画像の領域を右眼から隠し、適切な画像に由来する領域を表示するディスプレイの部分は、両目で見ることができる。このようなシステムでディスプレイの約半分は、画像を全く表示しない。クラインバーガー（Kleinberger）他に付与された米国特許番号第６，２５２，７０７号には、眼鏡を使用することなく、フルカラー、平面画像、双眼立体画像を表示及び投写するシステムを含む第４の種類の表示システムが開示されている。ここでは、偏光層及び光回転手段（light rotating means）又は色フィルタの様々な組合せを用いて、左右の目に適切な左右の画像を表示する。
【００１２】
マルチ画像表示に関して説明した問題を解決するための１つの可能なオプションとして、追跡システムがある。リチャーズ（Richards）に付与された米国特許番号第６，１６３，３３６号には、追跡システムを有するオートステレオスコープディスプレイシステムが開示されている。この文献には、観察者の位置を検出し、ディスプレイ装置に対し、観察者の正しい位置に対応するように表示画像の位置を移動させる追跡システムが開示されている。
【００１３】
他の問題として、近年のデジタルカメラに用いられている、被写体の高周波成分の測定に基づき、この測定値が最大に達するまで、フォーカス設定を変更する受動オートフォーカスシステムに関連する問題がある。このような手法は、反応が遅く、失敗することも多い。ダハティー（Dougherty）に付与された米国特許番号第６，６１６，３４７号には、オートフォーカスの周知の技術として、デュアルカメラシステムが開示されているが、これらは全て、嵩張り、高コストで、重いという問題がある。更に、２つのカメラからの画像の部分を並べることは難しい。スゼリスキ（szeliski）他に付与された米国特許番号第６，６１１，２６８号には、少なくとも一方のカメラが、シーンの深さマップを推定するビデオカメラである２つのビデオカメラを用いる手法が開示されている。
【００１４】
更に、ツリス（Tullis）に付与された米国特許番号第６，５３５，２４３号に開示されいてるように、多くの無線ハンドヘルドデジタルカメラが存在するが、このような無線機器は、３Ｄ能力を欠いている。したがって、このような可能性を更に探る必要性がある。
【００１５】
また、これまで、３次元画像の投写技術も開発されているが、これらの技術は、更に進歩させる必要がある。クラインバーガー（Kleinberger）他に付与された米国特許番号第６，２５２，７０７号には、特別な眼鏡類を必要とすることなく、スクリーンに３次元画像を投写する２つのプロジェクタを含む３Ｄプロジェクタシステムが開示されている。これらのプロジェクタは、映写機、テレビジョンプロジェクタ、コンピュータ駆動投写装置、スライド映写機又はこれらに類する装置であり、したがって、これらのプロジェクタの寸法はかなり大きい。
【発明の開示】
【課題を解決するための手段】
【００１６】
本発明に係る個人用電子機器の３次元（３Ｄ）情報取得／表示システムは、様々な機能を有する２つのデジタルカメラを備える。２つのデジタルカメラは、３次元情報を取得し、この３次元情報は、オートステレオスコープディスプレイ（眼鏡不要立体画像表示装置）に表示される。また、明瞭且つ容易な使用感を得るために、２つのデジタルカメラは、ユーザに対し、正しい角度で適切な画像を投写することの補助となる目追跡装置としても機能する。また、２つのデジタルカメラは、正しい深さでのオートフォーカスを補助する機能も有する。各個人用電子機器は、取得された３次元データを保存し、送信し、表示できる。
【００１７】
一側面として、３次元情報を取得して表示する３次元情報取得／表示システムは、電子機器と、電子機器に接続され、オートフォーカスを行い、３次元情報を取得する複数のデジタルカメラと、電子機器に接続され、３次元情報を表示するディスプレイとを備える。電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであってもよい。３次元情報は、一組の画像を含んでいてもよい。デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えていてもよい。オートフォーカスは、光学的三角測量（optical triangulation）、距離測定（range finding）及び光パターンワーピング（light pattern warping）のいずれかの演算に基づいて行うことができる。３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理してもよい。３次元情報は、ローカルメモリにステレオフォーマット（立体フォーマット）で保存され、このステレオフォーマットは、上下フォーマット（above-below）、インタレースフォーマット（line-alternate）、サイドバイサイド（２画像並列）、サイバースコープ（cyberscope）、スカッシュドサイドバイサイド（squashed side-by-side）、ＪＰＳステレオスコープＪＰＥＧ（JPS stereoscopic JPEG）の１つ以上であってもよい。複数のデジタルカメラは、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡する。更に、３次元情報を表示している間、複数のデジタルカメラは、１つ以上の赤外線レーザを用いて、観察者の頭及び目の１つ以上を追跡してもよい。なお、３次元情報取得／表示システムは、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するために、１つ以上の赤外線レーザを用いなくてもよい。３次元情報は、補助器具なしで見ることができる。これに代えて、補助器具を用いて３次元情報を見るようにしてもよい。一実施の形態では、ディスプレイは、２次元情報を表示する。更に他の実施の形態では、ディスプレイは、投写型表示装置である。３次元情報取得／表示システムは、１つ以上の他の機器と通信し、３次元情報を送受信する通信インタフェースを更に備えていてもよい。通信インタフェースは、無線通信を行ってもよい。３次元情報取得／表示システムは、更に、電子機器に接続され、電子機器を制御する制御インタフェースを備えていてもよい。
【００１８】
他の側面においては、３次元情報を取得して表示する３次元情報取得／表示システムは、電子機器と、電子機器に接続され、３次元情報を取得する複数のデジタルカメラと、電子機器に接続され、３次元情報を表示するディスプレイとを備え、複数のデジタルカメラは、観察者の頭及び目の１つ以上を追跡し、観察者の頭及び又は目の１つ以上に基づいて、３次元情報を調整して表示する。電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであってもよい。３次元情報は、一組の画像を含んでいてもよい。デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えていてもよい。複数のカメラは、オートフォーカスに利用される。オートフォーカスは、光学的三角測量、距離測定及び光パターンワーピングのいずれかの演算に基づいて行われる。３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理される。３次元情報は、ローカルメモリにステレオフォーマットで保存され、このステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上である。３次元情報を表示している間、１つ以上の赤外線レーザを用いて、観察者の頭及び目の１つ以上を追跡してもよい。なお、３次元情報取得／表示システムは、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するために、１つ以上の赤外線レーザを用いなくてもよい。３次元情報は、補助器具なしで見ることができる。これに代えて、補助器具を用いて３次元情報を見るようにしてもよい。一実施の形態では、ディスプレイは、２次元情報を表示する。更に他の実施の形態では、ディスプレイは、投写型表示装置である。３次元情報取得／表示システムは、１つ以上の他の機器と通信し、３次元情報を送受信する通信インタフェースを更に備えていてもよい。通信インタフェースは、無線通信を行ってもよい。３次元情報取得／表示システムは、更に、電子機器に接続され、電子機器を制御する制御インタフェースを備えていてもよい。
【００１９】
更に他の側面においては、３次元情報を取得して表示する３次元情報取得／表示システムは、電子機器と、電子機器に接続され、オートフォーカスを行い、３次元情報を取得する複数のデジタルカメラと、３次元情報をステレオフォーマットで保存するローカルメモリと、電子機器に接続され、３次元情報を表示するオートステレオスコープディスプレイと、観察者の頭及び目の１つ以上を追跡し、観察者の頭及び又は目の１つ以上に基づいて、３次元情報を調整して表示する複数のデジタルカメラと、１つ以上の他の機器と通信し、３次元情報を送受信する通信インタフェースと、電子機器に接続され、電子機器を制御する制御インタフェースとを備える。電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであってもよい。３次元情報は、一組の画像を含んでいてもよい。デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えていてもよい。オートフォーカスは、光学的三角測量（optical triangulation）、距離測定（range finding）及び光パターンワーピング（light pattern warping）のいずれかの演算に基づいて行うことができる。３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理してもよい。ステレオフォーマットは、上下フォーマット（above-below）、インタレースフォーマット（line-alternate）、サイドバイサイド（２画像並列）、サイバースコープ（cyberscope）、スカッシュドサイドバイサイド（squashed side-by-side）、ＪＰＳステレオスコープＪＰＥＧ（JPS stereoscopic JPEG）の１つ以上であってもよい。３次元情報を表示している間、１つ以上の赤外線レーザを用いて、観察者の頭及び目の１つ以上を追跡してもよい。なお、３次元情報取得／表示システムは、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するために、１つ以上の赤外線レーザを用いなくてもよい。また、ディスプレイは、投写型表示装置であってもよい。通信インタフェースは、無線通信を行ってもよい。
【００２０】
他の側面として、３次元情報を取得して表示する３次元情報取得／表示方法は、電子機器に接続された複数のデジタルカメラを用いて、オートフォーカスを行うステップと、複数のデジタルカメラを用いて３次元情報を取得するステップと、ディスプレイを用いて３次元情報を表示するステップとを有する。電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであってもよい。３次元情報は、一組の画像を含んでいてもよい。デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えていてもよい。オートフォーカスは、光学的三角測量（optical triangulation）、距離測定（range finding）及び光パターンワーピング（light pattern warping）のいずれかの演算に基づいて行うことができる。３次元情報取得／表示方法は、更に、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって３次元情報を処理するステップを有していてもよい。更に、３次元情報取得／表示方法は、３次元情報をローカルメモリにステレオフォーマットで保存するステップを有していてもよく、このステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であってもよい。３次元情報取得／表示方法は、更に、複数のデジタルカメラを用いて、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するステップを有していてもよい。なお、３次元情報取得／表示方法は、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するために、１つ以上の赤外線レーザを用いなくてもよい。また、ディスプレイは、投写型表示装置であってもよい。３次元情報取得／表示方法は、更に、通信インタフェースを用いて、１つ以上の他の機器と通信し、３次元情報を送受信するステップを有していてもよい。通信インタフェースは、無線通信を行ってもよい。
【００２１】
更に他の実施の形態においては、３次元情報を取得して表示する３次元情報取得／表示方法は、電子機器に接続された複数のデジタルカメラを用いて、オートフォーカスを行うステップと、複数のデジタルカメラを用いて３次元情報を取得するステップと、複数のデジタルカメラを用いて、観察者の頭及び目の１つ以上を追跡するステップと、ディスプレイを用いて３次元情報を表示するステップと、観察者の頭及び又は目の１つ以上に基づいて、上記３次元情報を調整して表示するステップと、通信インタフェースを用いて、１つ以上の他の機器と通信し、３次元情報を送受信するステップとを有する。電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであってもよい。３次元情報は、一組の画像を含んでいてもよい。デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えていてもよい。オートフォーカスは、光学的三角測量（optical triangulation）、距離測定（range finding）及び光パターンワーピング（light pattern warping）のいずれかの演算に基づいて行うことができる。３次元情報取得／表示方法は、更に、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって３次元情報を処理するステップを有していてもよい。更に、３次元情報取得／表示方法は、３次元情報をローカルメモリにステレオフォーマットで保存するステップを有していてもよく、このステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であってもよい。３次元情報取得／表示方法は、更に、複数のデジタルカメラを用いて、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するステップを有していてもよい。なお、３次元情報取得／表示方法は、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するために、１つ以上の赤外線レーザを用いなくてもよい。また、ディスプレイは、投写型表示装置であってもよい。通信インタフェースは、無線通信を行ってもよい。
【発明を実施するための最良の形態】
【００２２】
３次元情報を取得して表示する３次元情報取得／表示システムの実施の形態は、以下に限定されるものではないが、ラップトップコンピュータ、ＰＤＡ、カメラ付き携帯電話機、デジタルカメラ、ビデオカメラ及び電子腕時計等の個人用電子機器において実現される。
【００２３】
図１は、一実施の形態における３次元（３Ｄ）情報取得及び表示システムの内部の構成を示している。電子機器１００は、システムに適切な機能を保証するために必要な複数のコンポーネントを備えている。一実施の形態では、電子機器は、ラップトップコンピュータ、ＰＤＡ、カメラ付き携帯電話機、デジタルカメラ、ビデオカメラ又は電子腕時計を含む多くの異なる機器の１つ以上である。第１のデジタルカメラ１０２と第２のデジタルカメラ１０４とは、実質的に互いに平行に配設され、オートフォーカス処理、３Ｄ情報の取得、及び３Ｄ表示の目追跡を実行するために利用される。第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４が画像を取得した後、プロセッサ１０６は、ハードウェア又はソフトウェアを介して、３Ｄ情報を処理する。この処理には、圧縮、フォーマッティング及び最終的なローカルメモリ１０８への格納が含まれる。送信機１１０は、他の１つ以上の電子機器に３Ｄ情報を送信する。受信機１１２は、他の電子機器から３Ｄ情報を受信する。電子機器１００は、保存された３Ｄ情報を他の機器に送信するだけではなく、保存された３Ｄ情報を表示するディスプレイ１１６を備える。ディスプレイ１１６は、３Ｄ情報を表示する際、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を用いて、観察者の目を追跡する目追跡機能を有する。また、ディスプレイ１１６は、３Ｄ情報を表示するために１つ以上の様々な適切で使用可能な３Ｄディスプレイ技術を含む。制御インタフェース１１４によって、観察者は、設定及び他の機能を含む電子機器１００の幾つかの動作を制御することができる。電源１１８は、電子機器１００に電力を供給する。電子機器１００内の３Ｄ情報取得／表示システムの構成要素の組合せにより、オートフォーカスを行い、３Ｄ情報を取得し、３Ｄ情報を表示する際に観察者の目を追跡し、他の機器に３Ｄ情報を送信し、３Ｄ情報を表示することができる。
【００２４】
図２は、３Ｄ情報取得／表示システムが実行する処理のフローチャートを示している。ステップ２０２において、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を用いて、光学的三角測量によって、所望のオブジェクトにオートフォーカスを行う。ステップ２０４において、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４は、３Ｄのオブジェクトを含む３Ｄ情報であるビデオ又は画像を取得する。３Ｄ情報を取得すると、プロセッサ１０６は、ステップ２０６において、３Ｄ情報を処理し、３Ｄ情報を圧縮して、フォーマットする。その後、ステップ２０８において、３Ｄ情報をローカルメモリ１０８に保存する。３Ｄ情報は、保存された後、ステップ２０９において、観察者に表示することができ、この場合、ステップ２１０において、目追跡を行っても行わなくてもよい。目追跡のために、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４は、観察者の目を検出し、３Ｄ情報が適切に見えるように適切な角度で観察者に表示されるようにする。また、３Ｄ情報は、ステップ２１４において、互換性がある機器に送信してもよい。この送信は、有線、無線、赤外線、高周波、セルラ及び衛星通信を含む適切な如何なる接続を介して行ってもよい。そして、互換性がある受信側の機器の観察者は、互換性がある機器の構成に応じて、３Ｄ情報を見ることができる。ステップ２１６では、互換性がある機器が目追跡に基づく３Ｄ表示に対応している場合、観察者は、上述した３Ｄ情報取得／表示システムを含む機器での表示と同様に、３Ｄ情報を見ることができる。なお、ステップ２１８は、眼鏡は不要であるが、目追跡に対応していない代替の３Ｄ表示処理を示しており、一方、ステップ２２０は、眼鏡が必要な３Ｄ表示処理を示している。また、互換性がある機器が２Ｄ表示のみにしか対応していない場合、観察者には、ステップ２２２において、２次元画像のみが表示される。互換性がある機器は、ソフトウェアを用いて、３Ｄ情報を２次元画像に変換する。また、電子機器１００は、ステップ２１２において、他の互換性がある機器から３Ｄ情報を受信することもできる。電子機器１００は、３Ｄ情報を送信する機能と同様に、表示のために、２Ｄ情報又は３Ｄ情報を受信する機能を有する。電子機器１００が受信機１１２を介して情報を受信すると、電子機器１００は、必要に応じて情報を処理し、ローカルメモリ１０８に保存し、最終的に、３Ｄ表示の目追跡を用いて、この情報を観察者に表示する。
【００２５】
図３は、３Ｄ情報取得／表示システムのオートフォーカスシステムを図式的に示している。一実施の形態では、個人用電子機器用の３Ｄ情報取得／表示システムは、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を用いて、オートフォーカスを実行する。このシステムは、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を用いて、オブジェクトの３Ｄ形状、色及び深さを測定する。第１のデジタルカメラ１０２は、第１のレンズ３０２と第１の電荷結合素子（charged-coupled device：ＣＣＤ）３０８とを備え、第２のデジタルカメラ１０４は、第２のレンズ３０４と第２のＣＣＤ３１０とを備える。周知のとおり、ＣＣＤセンサにより、ユーザは、デジタルカメラで写真を撮影することができる。デジタルカメラのメカニカルシャッタが開口すると、ＣＣＤセンサは、レンズを介して光に曝される。ＣＣＤセンサは、光を電荷に変換し、次に、電荷を信号に変換する。この信号は、デジタル化され、メモリに保存される。そして、取得された情報は、例えば、電子機器のＬＣＤ等に表示される。一実施の形態では、光学的三角測量を用いて、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４の焦点を正しい深さに合わせる。光学的三角測量は、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４から取得されたピクチャの点Ｐ３０６の画像の照合を含む。第１のデジタルカメラ１０２と第２のデジタルカメラ１０４とは、電子機器１００に並列に接続されている。深さマップは、通常、２次元アレイであり、深さ測定値を保存するために用いられる。ｘ成分及びｙ成分は、符号化され、ｚ成分は、各点に対応する深さの測定値である。ピンホールカメラの場合、深さ（ｚ）は、以下の式に基づいて算出される。
ｚ＝ｂ＊ｆ／（Ｘｌ’−Ｘｒ’）
ここで、ｆは、焦点距離であり、ｂは、２つのデジタルカメラの中心間の距離であり、Ｘｌ’は、第１の画像平面であり、Ｘｒ’は、第２の画像平面である。この計算は、電子機器１００の内部のハードウェア及びソフトウェアによって自動的に実行され、電子機器１００は、非常に正確にオートフォーカスを行う。
【００２６】
デジタルカメラが焦点を合わせると、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４が電子機器１００に接続されているため、３次元情報を容易に取得できる。ユーザが通常通り写真を撮影すると、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４は、僅かに異なる角度から、それぞれ３Ｄ情報を収集し、これにより、立体画像を生成する。更に、デジタルカメラは、非常に接近して配設されているので、従来のステレオカメラにおける問題の大部分を回避することができる。
【００２７】
３Ｄ情報の取得の変形例では、レーザがオブジェクトに反射すると、受信機が、反射したビームが戻るまでの時間を算出する適切なサイズのレーザ距離計を電子機器１００に接続して用いる。距離計は、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４が正しいデータを取得するための正しい距離におけるオートフォーカスに役に立つ。
【００２８】
３Ｄ情報の取得の他の変形例では、光のパターンをオブジェクトに投写する。このパターンは、グリッド、ストライプ又は楕円のパターンを含んでいてもよい。そして、光パターンの歪み（warp）からオブジェクトの形状を推定する（光パターンワーピング）。そして、第１のデジタルカメラ１０２の位置、第２のデジタルカメラ１０４の位置及び歪みに基づいて深さを算出する。
【００２９】
取得された３Ｄ情報は、処理され、電子機器１００のローカルメモリ１０８に保存される。この処理は、圧縮と、フォーマッティングと、解像度向上と、色強調とを含む。次に、３Ｄ情報は、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧ等を含むステレオフォーマットで保存される。
【００３０】
３Ｄ情報を見る観察者に対し、目追跡システムを用いて、３Ｄ情報の焦点を合わせ、３Ｄ表示状態を常に維持する。ここでは、目追跡システムを実現するために、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を利用する。目追跡の具体例では、観察者の目からの逆反射効果（retroreflectivity effect）を最大化するために、ＬＥＤ光源をデジタルカメラレンズの光軸にできるだけ近付け、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４のレンズを取り囲む赤外線ＬＥＤを利用する。目の反射率及び顔の反射率の間の差分により、目が白になり、顔が黒になるため、目の位置を十分に判定することができる。なお、周囲光が強すぎる場合、又は観察者が眼鏡を掛けている場合等には、問題が生じるが、これらの場合、差分解析技術を用いて、望ましくない反射又は過剰な照明の問題を解決することができる。これに代えて、デジタルカメラは、赤外線ＬＥＤを用いず、観察者の画像を分析及び比較して、観察者の目の位置を判定してもよい。第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４は、観察者の目の位置を判定した後、観察者がディスプレイ１１６を見る間、この目の位置を追跡し続ける。ディスプレイ１１６の上の画像は、観察者が３次元画像を見続けることができるように、必要に応じて回転及び／又は移動される。
【００３１】
観察者の追跡の変形例として、観察者の頭を追跡し、次に、観察者の目の位置を推定してもよい。この場合、システムは、観察者の頭の輪郭に関する情報を取得し、次に、観察者の目がどこに位置しているかを予測する。頭追跡には、様々な技術を用いることができる。画像解析は、通常、既知の背景又は一貫して、制御された周囲光を必要とする。赤外線ＬＥＤは、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４のレンズの周囲に配設され、背景及び観察者に向けて光を出射する。ここでは、複雑な光レベル制御の必要性がなく、このため、ＣＣＤカメラを用いることができる。カメラのアパーチャは、露出する背景が完全に白く見え、観察者が黒く見えるように調整される。次に、電子機器内のソフトウェアを用いて、観察者の輪郭を判定し、目の位置を推定する。これに代えて、この処理は、逆反射スクリーンを用いることなく、赤外線のストライプ及びこのストライプの歪みを用いて、観察者の頭の位置を算出してもよい。これに代えて、赤外線ＬＥＤを用いないシステムにおいて、デジタルカメラは、観察者の画像を解析及び比較して、観察者の頭及び目の位置を判定してもよい。
【００３２】
頭追跡の変形例として、音響的距離測定を行い、三角測量を用いて、観察者の頭の位置を検出してもよい。電子機器１００が備える超音波変換器を用いて、パルスを送信し、パルスからの反響を受信してもよい。この場合、パルスの送信時から反響の受信時までの遅延を測定し、三角測量によりオブジェクトまでの距離を測定できる。この処理は、何度も繰り返され、観察者の頭及び目の位置の推定を継続的に実行する。
【００３３】
他の変形例では、複数の観察者の目を追跡し、複数のプロジェクタを用いて、観察者の目に３Ｄ情報を表示し、３Ｄ情報を適切な位置に向ける。
【００３４】
電子機器が３Ｄ情報を表示する技術には、多くの異なるオプションがある。３Ｄオートステレオスコープディスプレイ又は２Ｄディスプレイとして用いられるディスプレイ１１６の一具体例では、パララックスバリア方式を利用する。パララックスバリアは、画素平面から所定の距離だけ離間したスリットのアレイを含む。ウィンドウに亘る強度分布は、詳細な画素構造の畳み込み及びウィンドウプレーンの強度を変化させるスリットのアパーチャを介する近視野回折としてモデル化される。更に、パララックスバリアは、高い精度でＬＣＤに揃える必要がある。パララックスバリアは、２Ｄ及び３Ｄの間の変換を実現するために、透明に形成してもよい。
【００３５】
変形例では、レンチキュラ要素を用いて、３Ｄ情報を表示する。レンチキュラ要素は、通常、ＬＣＤ等の２Ｄディスプレイに対して垂直に配設されたシリンドリカルレンズである。シリンドリカルレンズは、画素からの散光を方向付け、これにより、ディスプレイの正面から限定された角度からのみ画素が見えるようになる。これにより、異なる画素をそれぞれ左眼又は右眼の視野角のみから見えるようにする。レンチキュラ要素の前方には、２Ｄ／３Ｄ切換散光器が配設され、これにより、観察者は、２Ｄ表示及び３Ｄ表示を切り換えることができる。２Ｄ／３Ｄ切換散光器をオフにすると、光が散乱し、光がレンチキュラレンズに到達しなくなり、これにより、通常の２Ｄディスプレイと同様に画像が表示される。
【００３６】
他の変形例では、垂直に配設されたマイクロプリズムのアレイをパララックス要素として用いて、左右の画像を垂直に列毎にインタレースし、マイクロプリズムによって、２つのビューウィンドに向ける。
【００３７】
他の変形例では、一連の積層されたマイクロ偏光子要素を用いて、切換可能なパララックスバリアを構成する。マイクロ偏光子要素は、一般的なパララックス問題を回避するために、ＬＣＤ要素内に組み込まれる。
【００３８】
他の変形例として、例えば、色付き眼鏡、分光眼鏡又は切換眼鏡等の補助器具（viewing aid）を用いて、オートステレオスコープディスプレイではないステレオスコープディスプレイの３Ｄ情報を見るようにしてもよい。
【００３９】
他の変形例では、偏光によって左眼及び右眼の立体像を分離し、それぞれの目に適切な画像を向けるビームスプリッタを用いる。
【００４０】
図４ａ及び図４ｂは、３Ｄ情報取得／表示システムにおいて、電子機器１００から互換性がある受信機器４００に３Ｄ情報を送信する処理を図式的に示している。電子機器１００は、３Ｄ情報を表示する機能に加えて、互換性がある受信機器４００に、３Ｄ情報を無線で送信する機能を有する。更に、電子機器１００は、互換性がある受信機器４００から、同様に３Ｄ情報を受け取ることもできる。ここでは、伝送方式として、ブルートゥース（Bluetooth：商標）４０２、又は機器から機器への直接伝送のための同様の無線技術４０２を採用してもよい。他の種類の無線伝送として、電子機器１００をインターネット４１０に接続し、３Ｄ情報をサーバに供給し、互換性がある受信機器４００が、３Ｄ情報を無線でダウンロードできるようにしてもよい。上述したように、電子機器１００は、送信機１１０及び受信機１１２を備える。送信機１１０及び受信機１１２は、電子機器１００のプロセッサ１０６、ローカルメモリ１０８及びディスプレイ１１６に／からデータを転送できるように接続される。送信機１１０は、赤外線伝送機能又は無線伝送機能を有していてもよい。互換性ある受信機器４００は、同様のコンポーネントを有している必要があるが、互換性がある受信機器４００は、必ずしもオートステレオスコープに対応する機器ではなくてもよい。互換性がある受信機器４００は、オートステレオスコープ機器、ステレオスコープ機器又は単なる２Ｄ機器であってもよい。もちろん、機器に応じて、画像の特徴の全てを見るために、例えば、専用の眼鏡等の更なるハードウェアを必要とていもよい。２Ｄ機器の場合、３次元画像は、単に２次元画像として表示される。変形例として、３Ｄ情報を無線ではなく、例えば、イーサネット（登録商標）ケーブル、ＩＥＥＥ１３９４準拠ケーブル又はＵＳＢケーブル等のケーブルを介して伝送してもよい。
【００４１】
本発明の変形例では、３Ｄ情報をスクリーンに投写して表示する。この場合、電子機器１００は、ディスプレイ１１６に３Ｄ情報を表示することに加えて、３Ｄ情報をスクリーンに投写し、上述のように、専用の眼鏡を使用することによって、３Ｄ画像が見られるようになる。
【００４２】
３Ｄ情報を取得し及び立体画像を表示する上述した特徴の全てに加えて、電子機器１００は、生来的な特徴の全てを有する。例えば、電子機器１００がステレオスコープ機能を有するＰＤＡである場合、ユーザは、情報を保存し、スケジュールを設定する等、従来と同様にこのＰＤＡを使用することができる。同様に、電子機器１００がカメラ付き携帯電話機の場合、電子機器１００は、ステレオスコープ機能に加えて、電話機としても機能する。３Ｄ情報取得／表示システムは、ステレオスコープ機能を追加することによって、電子機器１００の機能を高める。
【００４３】
実際の動作では、電子機器１００は、以下に限定されるものではないが、ラップトップコンピュータ、ＰＤＡ、カメラ付き携帯電話機、デジタルカメラ、ビデオカメラ及び電子腕時計等の基本的な機器の追加的機能として、実質的にデジタルカメラと同様に使用される。ユーザは、３Ｄ写真を撮影し、３Ｄ情報を取得するために、電子機器１００の電源をオンにする。次に、ユーザは、電子機器１００の第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を所望のオブジェクトに向ける。そして、ユーザは、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４に接続された撮影ボタンを押し、写真を撮影する。写真を撮影する前に、ユーザが第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を所望のオブジェクトに向けると、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４のオートフォーカスシステムは、オブジェクトの適切な深さに自動的に焦点を合わせ、これにより、可能な限り最も明瞭な写真が撮影される。第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４は、三角測量によってオブジェクトの深さを測定し、速やか且つ明瞭にオブジェクトに焦点を合わせる。第１のデジタルカメラ１０２は、第１の角度から情報を取得し、第２のデジタルカメラ１０４は、第１の角度から僅かにオフセットした第２の角度から情報を取得する。プロセッサ１０６は、内部のソフトウェアを用いて、各カメラからの個別の情報を処理し、一組の３Ｄ情報を生成する。ユーザは、写真を撮影した後、ディスプレイ１１６に３Ｄ情報を表示させてもよく、互換性がある受信機器４００に３Ｄ情報を送信してもよく、又は３Ｄ情報をスクリーンに投写してもよい。電子機器１００上で３Ｄ情報を見る場合、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４は、ユーザの目、頭又はこれらの両方を追跡する。ユーザは、自由に動きながら、３Ｄ情報への焦点を失うことなく、ディスプレイ１１６に表示された３Ｄ情報を見ることができる。ディスプレイ１１６は、３Ｄ情報を表示するために、１つ以上の適切で利用可能な３Ｄディスプレイ技術を用いる。互換性がある受信機器４００に３Ｄ情報を送信する場合、電子機器１００は、互換性がある受信機器４００と通信するために必要な機能を有する。更に、ユーザは、以下に限定されるものではないが、例えば、一組の押しボタン、タッチスクリーン、回転ノブ等の入力装置を用いて、電子機器１００を操作して、３Ｄ情報を送信する。更に、ユーザは、３Ｄ情報を外部のスクリーンに投写してもよく、この場合、３Ｄ情報を見るために、補助器具を用いてもよい。３Ｄ情報を投写する場合、外部のスクリーン上に３Ｄ情報を明瞭に表示できるように、外部のスクリーンから適切な距離にある位置に電子機器１００を固定する。例えば、プロジェクタ用映写スクリーンから５ｆｔ離れた位置にあるテーブル上に電子機器１００を置き、観察者が分光３Ｄ眼鏡を装着して、投写された３Ｄ情報を見るようにしてもよい。
【００４４】
本発明の構成及び動作原理を明瞭に説明するために、様々な詳細を含む特定の実施例を用いて本発明を説明した。このような特定の実施例の説明及びその詳細は、特許請求の範囲を制限するものではない。添付の特許請求の範囲において定義されている本発明の主旨及び範囲から逸脱することなく、例示的に選択された実施例を変更できることは、当業者にとって明らかである。
【図面の簡単な説明】
【００４５】
【図１】３Ｄ情報取得／表示システムの実施の形態におけるコンポーネントの内部の構成を示す図である。
【図２】３Ｄ情報取得／表示システムが実行する処理のフローチャートである。
【図３】３Ｄ情報取得／表示システムのオートフォーカスシステムを図式的に示す図である。
【図４Ａ】３Ｄ情報取得／表示システムにおいて、電子機器から互換性がある受信機器に３Ｄ情報を送信する処理を図式的に示す図である。
【図４Ｂ】３Ｄ情報取得／表示システムにおいて、電子機器から、インターネットを介して、互換性がある受信機器に３Ｄ情報を送信する処理を図式的に示す図である。
【関連出願】
【０００１】
本出願は、２００４年３月１８日に出願された米国仮出願番号第６０／５５４，６７３号、発明の名称「個人用電子機器の３次元情報取得及び表示システム（Three-Dimensional Acquisition and Visualization System for Personal Electronic Devices）」について、米国特許法第１１９条（ｅ）項に基づく優先権を主張する。２００４年３月１８日に出願された米国仮出願番号第６０／５５４，６７３号、発明の名称「個人用電子機器の３次元情報取得及び表示システム」は、引用により本願に援用される。
【技術分野】
【０００２】
本発明は、３次元（３Ｄ）画像の分野に関する。詳しくは、本発明は、３Ｄ取得及び表示のための個人用電子機器に関連する。
【背景技術】
【０００３】
３次元表示技術は、１世紀以上に亘って研究されているが、主に、平均的なユーザにとって複雑で、高コストであるため、未だに一般的には普及していない。液晶表示装置（Liquid Crystal Display：ＬＣＤ）及びプラズマスクリーンは、伝統的な陰極線管（Cathode Ray Tube：ＣＲＴ）モニタ及びテレビジョン受像機より、３次元画像の表示に適しており、家電業界及びコンピュータ業界の両方で注目されている。３次元システムは、技術的な好奇心から進歩し、現在、娯楽、宣伝及び科学的応用のための実用的な取得及び表示システムになっている。これらの興味に後押しされて、多くのハードウェア及びソフトウェア開発企業が、協働して３Ｄ製品を開発している。
【０００４】
近年、ＮＴＴドコモグループ（NTT DoCoMo）は、初めて、３次元画像を表示できるカラー画面を搭載したシャープ株式会社製の携帯電話機、ムーバＳＨ２５１ｉＳを発表した。ユーザは、単一のデジタルカメラで２次元（２Ｄ）画像を撮影し、編集システムを用いて、この画像を３Ｄ画像に変換する。同様の機能を有する他の電話機に３次元画像を送信すると、受信者は、３次元画像を見ることができる。オートステレオスコープ方式（眼鏡不要立体画像表示方式）では、特別な眼鏡なしで、３Ｄ画像を見ることができる。しかしながら、この技術には、多くの問題がある。良好な３次元画像を見るためには、ユーザは、電話機の真正面から、目を約１ｆｔ離して画面を見る必要がある。ユーザが少しでも動くと、ユーザは、画像の焦点を失う。更に、２次元画像しか撮影できないカメラを１台使用し、この画像を３Ｄ編集器で編集しているだけなので、画像は、人工的に３次元画像に変換されている。したがって、画像の品質にも問題がある。
【０００５】
２Ｄ画像から立体画像を生成する１つの方法は、リチャーズ（Richards）に付与された米国特許番号第６，４７７，２６７号に開示されており、ここでは、元の画像において、少なくとも１つのオブジェクトを特定し、この１つ以上のオブジェクトの輪郭を描画し、各オブジェクトについて、深さ特性（depth characteristic）を定義し、これに応じて、画像の選択された領域を置換する。なお、上述のように、２次元画像を３次元画像に変換する場合、多くの問題が生じ、このうち、変換の結果として得られる３次元画像の品質の問題が特に重要である。
【０００６】
ガートナー（Gartner）他に付与された米国特許番号第６，６６４，５３１号には、１つのカメラで２次元画像を捕捉するのではなく、オブジェクトの視差を観察する２つのカメラを用いて画像の対を捕捉することができる構成が開示されている。左眼がこの立体画像の対の一方の画像を見ている間、右眼は、他方の画像を見る。人間の脳は、画像のこの対を容易に併合することができ、これにより、オブジェクトは、３次元画像に見える。
【０００７】
モンゴメリ（Montgomery）他に付与された米国特許番号第６，５１２，８９２号には、２つのカメラで３次元画像を取得する他の具体例が開示されている。ここでは、３Ｄカメラは、少なくとも２つの平行な可動検出ヘッドを備える。
【０００８】
ＮＴＴドコモグループの製品に関連して説明したように、ユーザは、３次元画像を見ている間、動くことができず、ユーザが動くと、焦点が失われる。画像がマルチ画像表示（multi-image display）として表現されることがこのような問題の理由の１つである。マルチ画像表示では、異なる画像を単一のディスプレイにインタリーブする。マルチ画像表示の最も単純な実現例は、左右の画像のシーケンスを繰り返すことである。各連続する画像の間の距離は、６５ｍｍであり、これは、観察者の目の間の平均距離に等しい。ここで、観察者が３３ｍｍ以上右又は左に移動すると、観察者には、逆の３次元画像が見える。逆の３次元画像は、不快であり、しばらくこの画像を見ていると、頭痛等の苦痛が生じることもある。
【０００９】
なお、６５ｍｍ離間された多くの画像を用いることによって、マルチ画像表示を改良できる。多くの画像を用いることにより、観察者が頭を左右に動かしても、観察者には正しい画像が見える。但し、この技術には更なる問題がある。まず、必要なカメラの数が増加する。例えば、４つの視点を設定するためには、４つのカメラが必要である。また、ここでは、複数の画像の対を繰り返しているだけなので、逆の３次元画像が見える位置が単に少なくなっているだけで、逆の３次元画像が見える位置が完全になくなるわけではない。逆の画像の問題は、繰り返される対の間にヌルフィールド又は黒フィールドを挿入することによって解決できる。黒フィールドを用いる手法は、３Ｄ画像が逆に見える問題を解決するが、この場合、画像が３Ｄ画像に見えない位置が生じる。更に、必要な黒フィールドの数は、使用されるカメラの数に反比例し、すなわち、黒フィールドの数を少なくするには、より多くのカメラを用いなくてはならない。このように、マルチ画像表示には、観察者が３次元体験を楽しむために解決しなければならない多くの問題がある。
【００１０】
現在、３次元画像を表示できる様々な表示装置がある。第１の種類の表示装置は、観察者の目に近接して保持されるレンズ、プリズム又は鏡を必要とし、この種類の表示装置は、眼鏡類を必要としない装置に比べて不便である。第２の種類の表示装置は、レンチキュラ方式（lenticular system）を採用する表示装置である。レンチキュラ方式では、高解像度の画像が望まれる場合、製品に用いられる精密要素が多くなるため、高品質の画像を表示する場合、製造が比較的困難で高価になる。更に、レンチキュラ方式で表示される画像の解像度は、通常、レンズのアレイが取り付けられるディスプレイ装置で実現できる解像度より低い。更に、レンチキュラ方式は、コンピュータディスプレイ及びテレビジョン受像機等の表示システムには適さず、したがって、広く普及していない。
【００１１】
第３の種類の３次元画像表示装置は、３Ｄ表示のためのパララックスバリアを含む。このシステムは、表示又は投写される画像に対して、様々な相対的位置に配設された不明瞭なセクションの間に分散して配置された透明なセクションからなるグリッドを有し、画像は、左の画像に由来する領域（最終的に、観察者の左眼のみに見える）と、右の画像に由来する領域（最終的に、観察者の右眼だけに見える）とが混在する画像であり、１つ以上のグリッドは、右の画像の領域を左眼から隠し、左の画像の領域を右眼から隠し、適切な画像に由来する領域を表示するディスプレイの部分は、両目で見ることができる。このようなシステムでディスプレイの約半分は、画像を全く表示しない。クラインバーガー（Kleinberger）他に付与された米国特許番号第６，２５２，７０７号には、眼鏡を使用することなく、フルカラー、平面画像、双眼立体画像を表示及び投写するシステムを含む第４の種類の表示システムが開示されている。ここでは、偏光層及び光回転手段（light rotating means）又は色フィルタの様々な組合せを用いて、左右の目に適切な左右の画像を表示する。
【００１２】
マルチ画像表示に関して説明した問題を解決するための１つの可能なオプションとして、追跡システムがある。リチャーズ（Richards）に付与された米国特許番号第６，１６３，３３６号には、追跡システムを有するオートステレオスコープディスプレイシステムが開示されている。この文献には、観察者の位置を検出し、ディスプレイ装置に対し、観察者の正しい位置に対応するように表示画像の位置を移動させる追跡システムが開示されている。
【００１３】
他の問題として、近年のデジタルカメラに用いられている、被写体の高周波成分の測定に基づき、この測定値が最大に達するまで、フォーカス設定を変更する受動オートフォーカスシステムに関連する問題がある。このような手法は、反応が遅く、失敗することも多い。ダハティー（Dougherty）に付与された米国特許番号第６，６１６，３４７号には、オートフォーカスの周知の技術として、デュアルカメラシステムが開示されているが、これらは全て、嵩張り、高コストで、重いという問題がある。更に、２つのカメラからの画像の部分を並べることは難しい。スゼリスキ（szeliski）他に付与された米国特許番号第６，６１１，２６８号には、少なくとも一方のカメラが、シーンの深さマップを推定するビデオカメラである２つのビデオカメラを用いる手法が開示されている。
【００１４】
更に、ツリス（Tullis）に付与された米国特許番号第６，５３５，２４３号に開示されいてるように、多くの無線ハンドヘルドデジタルカメラが存在するが、このような無線機器は、３Ｄ能力を欠いている。したがって、このような可能性を更に探る必要性がある。
【００１５】
また、これまで、３次元画像の投写技術も開発されているが、これらの技術は、更に進歩させる必要がある。クラインバーガー（Kleinberger）他に付与された米国特許番号第６，２５２，７０７号には、特別な眼鏡類を必要とすることなく、スクリーンに３次元画像を投写する２つのプロジェクタを含む３Ｄプロジェクタシステムが開示されている。これらのプロジェクタは、映写機、テレビジョンプロジェクタ、コンピュータ駆動投写装置、スライド映写機又はこれらに類する装置であり、したがって、これらのプロジェクタの寸法はかなり大きい。
【発明の開示】
【課題を解決するための手段】
【００１６】
本発明に係る個人用電子機器の３次元（３Ｄ）情報取得／表示システムは、様々な機能を有する２つのデジタルカメラを備える。２つのデジタルカメラは、３次元情報を取得し、この３次元情報は、オートステレオスコープディスプレイ（眼鏡不要立体画像表示装置）に表示される。また、明瞭且つ容易な使用感を得るために、２つのデジタルカメラは、ユーザに対し、正しい角度で適切な画像を投写することの補助となる目追跡装置としても機能する。また、２つのデジタルカメラは、正しい深さでのオートフォーカスを補助する機能も有する。各個人用電子機器は、取得された３次元データを保存し、送信し、表示できる。
【００１７】
一側面として、３次元情報を取得して表示する３次元情報取得／表示システムは、電子機器と、電子機器に接続され、オートフォーカスを行い、３次元情報を取得する複数のデジタルカメラと、電子機器に接続され、３次元情報を表示するディスプレイとを備える。電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであってもよい。３次元情報は、一組の画像を含んでいてもよい。デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えていてもよい。オートフォーカスは、光学的三角測量（optical triangulation）、距離測定（range finding）及び光パターンワーピング（light pattern warping）のいずれかの演算に基づいて行うことができる。３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理してもよい。３次元情報は、ローカルメモリにステレオフォーマット（立体フォーマット）で保存され、このステレオフォーマットは、上下フォーマット（above-below）、インタレースフォーマット（line-alternate）、サイドバイサイド（２画像並列）、サイバースコープ（cyberscope）、スカッシュドサイドバイサイド（squashed side-by-side）、ＪＰＳステレオスコープＪＰＥＧ（JPS stereoscopic JPEG）の１つ以上であってもよい。複数のデジタルカメラは、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡する。更に、３次元情報を表示している間、複数のデジタルカメラは、１つ以上の赤外線レーザを用いて、観察者の頭及び目の１つ以上を追跡してもよい。なお、３次元情報取得／表示システムは、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するために、１つ以上の赤外線レーザを用いなくてもよい。３次元情報は、補助器具なしで見ることができる。これに代えて、補助器具を用いて３次元情報を見るようにしてもよい。一実施の形態では、ディスプレイは、２次元情報を表示する。更に他の実施の形態では、ディスプレイは、投写型表示装置である。３次元情報取得／表示システムは、１つ以上の他の機器と通信し、３次元情報を送受信する通信インタフェースを更に備えていてもよい。通信インタフェースは、無線通信を行ってもよい。３次元情報取得／表示システムは、更に、電子機器に接続され、電子機器を制御する制御インタフェースを備えていてもよい。
【００１８】
他の側面においては、３次元情報を取得して表示する３次元情報取得／表示システムは、電子機器と、電子機器に接続され、３次元情報を取得する複数のデジタルカメラと、電子機器に接続され、３次元情報を表示するディスプレイとを備え、複数のデジタルカメラは、観察者の頭及び目の１つ以上を追跡し、観察者の頭及び又は目の１つ以上に基づいて、３次元情報を調整して表示する。電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであってもよい。３次元情報は、一組の画像を含んでいてもよい。デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えていてもよい。複数のカメラは、オートフォーカスに利用される。オートフォーカスは、光学的三角測量、距離測定及び光パターンワーピングのいずれかの演算に基づいて行われる。３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理される。３次元情報は、ローカルメモリにステレオフォーマットで保存され、このステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上である。３次元情報を表示している間、１つ以上の赤外線レーザを用いて、観察者の頭及び目の１つ以上を追跡してもよい。なお、３次元情報取得／表示システムは、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するために、１つ以上の赤外線レーザを用いなくてもよい。３次元情報は、補助器具なしで見ることができる。これに代えて、補助器具を用いて３次元情報を見るようにしてもよい。一実施の形態では、ディスプレイは、２次元情報を表示する。更に他の実施の形態では、ディスプレイは、投写型表示装置である。３次元情報取得／表示システムは、１つ以上の他の機器と通信し、３次元情報を送受信する通信インタフェースを更に備えていてもよい。通信インタフェースは、無線通信を行ってもよい。３次元情報取得／表示システムは、更に、電子機器に接続され、電子機器を制御する制御インタフェースを備えていてもよい。
【００１９】
更に他の側面においては、３次元情報を取得して表示する３次元情報取得／表示システムは、電子機器と、電子機器に接続され、オートフォーカスを行い、３次元情報を取得する複数のデジタルカメラと、３次元情報をステレオフォーマットで保存するローカルメモリと、電子機器に接続され、３次元情報を表示するオートステレオスコープディスプレイと、観察者の頭及び目の１つ以上を追跡し、観察者の頭及び又は目の１つ以上に基づいて、３次元情報を調整して表示する複数のデジタルカメラと、１つ以上の他の機器と通信し、３次元情報を送受信する通信インタフェースと、電子機器に接続され、電子機器を制御する制御インタフェースとを備える。電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであってもよい。３次元情報は、一組の画像を含んでいてもよい。デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えていてもよい。オートフォーカスは、光学的三角測量（optical triangulation）、距離測定（range finding）及び光パターンワーピング（light pattern warping）のいずれかの演算に基づいて行うことができる。３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理してもよい。ステレオフォーマットは、上下フォーマット（above-below）、インタレースフォーマット（line-alternate）、サイドバイサイド（２画像並列）、サイバースコープ（cyberscope）、スカッシュドサイドバイサイド（squashed side-by-side）、ＪＰＳステレオスコープＪＰＥＧ（JPS stereoscopic JPEG）の１つ以上であってもよい。３次元情報を表示している間、１つ以上の赤外線レーザを用いて、観察者の頭及び目の１つ以上を追跡してもよい。なお、３次元情報取得／表示システムは、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するために、１つ以上の赤外線レーザを用いなくてもよい。また、ディスプレイは、投写型表示装置であってもよい。通信インタフェースは、無線通信を行ってもよい。
【００２０】
他の側面として、３次元情報を取得して表示する３次元情報取得／表示方法は、電子機器に接続された複数のデジタルカメラを用いて、オートフォーカスを行うステップと、複数のデジタルカメラを用いて３次元情報を取得するステップと、ディスプレイを用いて３次元情報を表示するステップとを有する。電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであってもよい。３次元情報は、一組の画像を含んでいてもよい。デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えていてもよい。オートフォーカスは、光学的三角測量（optical triangulation）、距離測定（range finding）及び光パターンワーピング（light pattern warping）のいずれかの演算に基づいて行うことができる。３次元情報取得／表示方法は、更に、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって３次元情報を処理するステップを有していてもよい。更に、３次元情報取得／表示方法は、３次元情報をローカルメモリにステレオフォーマットで保存するステップを有していてもよく、このステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であってもよい。３次元情報取得／表示方法は、更に、複数のデジタルカメラを用いて、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するステップを有していてもよい。なお、３次元情報取得／表示方法は、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するために、１つ以上の赤外線レーザを用いなくてもよい。また、ディスプレイは、投写型表示装置であってもよい。３次元情報取得／表示方法は、更に、通信インタフェースを用いて、１つ以上の他の機器と通信し、３次元情報を送受信するステップを有していてもよい。通信インタフェースは、無線通信を行ってもよい。
【００２１】
更に他の実施の形態においては、３次元情報を取得して表示する３次元情報取得／表示方法は、電子機器に接続された複数のデジタルカメラを用いて、オートフォーカスを行うステップと、複数のデジタルカメラを用いて３次元情報を取得するステップと、複数のデジタルカメラを用いて、観察者の頭及び目の１つ以上を追跡するステップと、ディスプレイを用いて３次元情報を表示するステップと、観察者の頭及び又は目の１つ以上に基づいて、上記３次元情報を調整して表示するステップと、通信インタフェースを用いて、１つ以上の他の機器と通信し、３次元情報を送受信するステップとを有する。電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであってもよい。３次元情報は、一組の画像を含んでいてもよい。デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えていてもよい。オートフォーカスは、光学的三角測量（optical triangulation）、距離測定（range finding）及び光パターンワーピング（light pattern warping）のいずれかの演算に基づいて行うことができる。３次元情報取得／表示方法は、更に、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって３次元情報を処理するステップを有していてもよい。更に、３次元情報取得／表示方法は、３次元情報をローカルメモリにステレオフォーマットで保存するステップを有していてもよく、このステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であってもよい。３次元情報取得／表示方法は、更に、複数のデジタルカメラを用いて、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するステップを有していてもよい。なお、３次元情報取得／表示方法は、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するために、１つ以上の赤外線レーザを用いなくてもよい。また、ディスプレイは、投写型表示装置であってもよい。通信インタフェースは、無線通信を行ってもよい。
【発明を実施するための最良の形態】
【００２２】
３次元情報を取得して表示する３次元情報取得／表示システムの実施の形態は、以下に限定されるものではないが、ラップトップコンピュータ、ＰＤＡ、カメラ付き携帯電話機、デジタルカメラ、ビデオカメラ及び電子腕時計等の個人用電子機器において実現される。
【００２３】
図１は、一実施の形態における３次元（３Ｄ）情報取得及び表示システムの内部の構成を示している。電子機器１００は、システムに適切な機能を保証するために必要な複数のコンポーネントを備えている。一実施の形態では、電子機器は、ラップトップコンピュータ、ＰＤＡ、カメラ付き携帯電話機、デジタルカメラ、ビデオカメラ又は電子腕時計を含む多くの異なる機器の１つ以上である。第１のデジタルカメラ１０２と第２のデジタルカメラ１０４とは、実質的に互いに平行に配設され、オートフォーカス処理、３Ｄ情報の取得、及び３Ｄ表示の目追跡を実行するために利用される。第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４が画像を取得した後、プロセッサ１０６は、ハードウェア又はソフトウェアを介して、３Ｄ情報を処理する。この処理には、圧縮、フォーマッティング及び最終的なローカルメモリ１０８への格納が含まれる。送信機１１０は、他の１つ以上の電子機器に３Ｄ情報を送信する。受信機１１２は、他の電子機器から３Ｄ情報を受信する。電子機器１００は、保存された３Ｄ情報を他の機器に送信するだけではなく、保存された３Ｄ情報を表示するディスプレイ１１６を備える。ディスプレイ１１６は、３Ｄ情報を表示する際、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を用いて、観察者の目を追跡する目追跡機能を有する。また、ディスプレイ１１６は、３Ｄ情報を表示するために１つ以上の様々な適切で使用可能な３Ｄディスプレイ技術を含む。制御インタフェース１１４によって、観察者は、設定及び他の機能を含む電子機器１００の幾つかの動作を制御することができる。電源１１８は、電子機器１００に電力を供給する。電子機器１００内の３Ｄ情報取得／表示システムの構成要素の組合せにより、オートフォーカスを行い、３Ｄ情報を取得し、３Ｄ情報を表示する際に観察者の目を追跡し、他の機器に３Ｄ情報を送信し、３Ｄ情報を表示することができる。
【００２４】
図２は、３Ｄ情報取得／表示システムが実行する処理のフローチャートを示している。ステップ２０２において、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を用いて、光学的三角測量によって、所望のオブジェクトにオートフォーカスを行う。ステップ２０４において、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４は、３Ｄのオブジェクトを含む３Ｄ情報であるビデオ又は画像を取得する。３Ｄ情報を取得すると、プロセッサ１０６は、ステップ２０６において、３Ｄ情報を処理し、３Ｄ情報を圧縮して、フォーマットする。その後、ステップ２０８において、３Ｄ情報をローカルメモリ１０８に保存する。３Ｄ情報は、保存された後、ステップ２０９において、観察者に表示することができ、この場合、ステップ２１０において、目追跡を行っても行わなくてもよい。目追跡のために、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４は、観察者の目を検出し、３Ｄ情報が適切に見えるように適切な角度で観察者に表示されるようにする。また、３Ｄ情報は、ステップ２１４において、互換性がある機器に送信してもよい。この送信は、有線、無線、赤外線、高周波、セルラ及び衛星通信を含む適切な如何なる接続を介して行ってもよい。そして、互換性がある受信側の機器の観察者は、互換性がある機器の構成に応じて、３Ｄ情報を見ることができる。ステップ２１６では、互換性がある機器が目追跡に基づく３Ｄ表示に対応している場合、観察者は、上述した３Ｄ情報取得／表示システムを含む機器での表示と同様に、３Ｄ情報を見ることができる。なお、ステップ２１８は、眼鏡は不要であるが、目追跡に対応していない代替の３Ｄ表示処理を示しており、一方、ステップ２２０は、眼鏡が必要な３Ｄ表示処理を示している。また、互換性がある機器が２Ｄ表示のみにしか対応していない場合、観察者には、ステップ２２２において、２次元画像のみが表示される。互換性がある機器は、ソフトウェアを用いて、３Ｄ情報を２次元画像に変換する。また、電子機器１００は、ステップ２１２において、他の互換性がある機器から３Ｄ情報を受信することもできる。電子機器１００は、３Ｄ情報を送信する機能と同様に、表示のために、２Ｄ情報又は３Ｄ情報を受信する機能を有する。電子機器１００が受信機１１２を介して情報を受信すると、電子機器１００は、必要に応じて情報を処理し、ローカルメモリ１０８に保存し、最終的に、３Ｄ表示の目追跡を用いて、この情報を観察者に表示する。
【００２５】
図３は、３Ｄ情報取得／表示システムのオートフォーカスシステムを図式的に示している。一実施の形態では、個人用電子機器用の３Ｄ情報取得／表示システムは、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を用いて、オートフォーカスを実行する。このシステムは、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を用いて、オブジェクトの３Ｄ形状、色及び深さを測定する。第１のデジタルカメラ１０２は、第１のレンズ３０２と第１の電荷結合素子（charged-coupled device：ＣＣＤ）３０８とを備え、第２のデジタルカメラ１０４は、第２のレンズ３０４と第２のＣＣＤ３１０とを備える。周知のとおり、ＣＣＤセンサにより、ユーザは、デジタルカメラで写真を撮影することができる。デジタルカメラのメカニカルシャッタが開口すると、ＣＣＤセンサは、レンズを介して光に曝される。ＣＣＤセンサは、光を電荷に変換し、次に、電荷を信号に変換する。この信号は、デジタル化され、メモリに保存される。そして、取得された情報は、例えば、電子機器のＬＣＤ等に表示される。一実施の形態では、光学的三角測量を用いて、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４の焦点を正しい深さに合わせる。光学的三角測量は、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４から取得されたピクチャの点Ｐ３０６の画像の照合を含む。第１のデジタルカメラ１０２と第２のデジタルカメラ１０４とは、電子機器１００に並列に接続されている。深さマップは、通常、２次元アレイであり、深さ測定値を保存するために用いられる。ｘ成分及びｙ成分は、符号化され、ｚ成分は、各点に対応する深さの測定値である。ピンホールカメラの場合、深さ（ｚ）は、以下の式に基づいて算出される。
ｚ＝ｂ＊ｆ／（Ｘｌ’−Ｘｒ’）
ここで、ｆは、焦点距離であり、ｂは、２つのデジタルカメラの中心間の距離であり、Ｘｌ’は、第１の画像平面であり、Ｘｒ’は、第２の画像平面である。この計算は、電子機器１００の内部のハードウェア及びソフトウェアによって自動的に実行され、電子機器１００は、非常に正確にオートフォーカスを行う。
【００２６】
デジタルカメラが焦点を合わせると、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４が電子機器１００に接続されているため、３次元情報を容易に取得できる。ユーザが通常通り写真を撮影すると、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４は、僅かに異なる角度から、それぞれ３Ｄ情報を収集し、これにより、立体画像を生成する。更に、デジタルカメラは、非常に接近して配設されているので、従来のステレオカメラにおける問題の大部分を回避することができる。
【００２７】
３Ｄ情報の取得の変形例では、レーザがオブジェクトに反射すると、受信機が、反射したビームが戻るまでの時間を算出する適切なサイズのレーザ距離計を電子機器１００に接続して用いる。距離計は、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４が正しいデータを取得するための正しい距離におけるオートフォーカスに役に立つ。
【００２８】
３Ｄ情報の取得の他の変形例では、光のパターンをオブジェクトに投写する。このパターンは、グリッド、ストライプ又は楕円のパターンを含んでいてもよい。そして、光パターンの歪み（warp）からオブジェクトの形状を推定する（光パターンワーピング）。そして、第１のデジタルカメラ１０２の位置、第２のデジタルカメラ１０４の位置及び歪みに基づいて深さを算出する。
【００２９】
取得された３Ｄ情報は、処理され、電子機器１００のローカルメモリ１０８に保存される。この処理は、圧縮と、フォーマッティングと、解像度向上と、色強調とを含む。次に、３Ｄ情報は、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧ等を含むステレオフォーマットで保存される。
【００３０】
３Ｄ情報を見る観察者に対し、目追跡システムを用いて、３Ｄ情報の焦点を合わせ、３Ｄ表示状態を常に維持する。ここでは、目追跡システムを実現するために、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を利用する。目追跡の具体例では、観察者の目からの逆反射効果（retroreflectivity effect）を最大化するために、ＬＥＤ光源をデジタルカメラレンズの光軸にできるだけ近付け、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４のレンズを取り囲む赤外線ＬＥＤを利用する。目の反射率及び顔の反射率の間の差分により、目が白になり、顔が黒になるため、目の位置を十分に判定することができる。なお、周囲光が強すぎる場合、又は観察者が眼鏡を掛けている場合等には、問題が生じるが、これらの場合、差分解析技術を用いて、望ましくない反射又は過剰な照明の問題を解決することができる。これに代えて、デジタルカメラは、赤外線ＬＥＤを用いず、観察者の画像を分析及び比較して、観察者の目の位置を判定してもよい。第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４は、観察者の目の位置を判定した後、観察者がディスプレイ１１６を見る間、この目の位置を追跡し続ける。ディスプレイ１１６の上の画像は、観察者が３次元画像を見続けることができるように、必要に応じて回転及び／又は移動される。
【００３１】
観察者の追跡の変形例として、観察者の頭を追跡し、次に、観察者の目の位置を推定してもよい。この場合、システムは、観察者の頭の輪郭に関する情報を取得し、次に、観察者の目がどこに位置しているかを予測する。頭追跡には、様々な技術を用いることができる。画像解析は、通常、既知の背景又は一貫して、制御された周囲光を必要とする。赤外線ＬＥＤは、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４のレンズの周囲に配設され、背景及び観察者に向けて光を出射する。ここでは、複雑な光レベル制御の必要性がなく、このため、ＣＣＤカメラを用いることができる。カメラのアパーチャは、露出する背景が完全に白く見え、観察者が黒く見えるように調整される。次に、電子機器内のソフトウェアを用いて、観察者の輪郭を判定し、目の位置を推定する。これに代えて、この処理は、逆反射スクリーンを用いることなく、赤外線のストライプ及びこのストライプの歪みを用いて、観察者の頭の位置を算出してもよい。これに代えて、赤外線ＬＥＤを用いないシステムにおいて、デジタルカメラは、観察者の画像を解析及び比較して、観察者の頭及び目の位置を判定してもよい。
【００３２】
頭追跡の変形例として、音響的距離測定を行い、三角測量を用いて、観察者の頭の位置を検出してもよい。電子機器１００が備える超音波変換器を用いて、パルスを送信し、パルスからの反響を受信してもよい。この場合、パルスの送信時から反響の受信時までの遅延を測定し、三角測量によりオブジェクトまでの距離を測定できる。この処理は、何度も繰り返され、観察者の頭及び目の位置の推定を継続的に実行する。
【００３３】
他の変形例では、複数の観察者の目を追跡し、複数のプロジェクタを用いて、観察者の目に３Ｄ情報を表示し、３Ｄ情報を適切な位置に向ける。
【００３４】
電子機器が３Ｄ情報を表示する技術には、多くの異なるオプションがある。３Ｄオートステレオスコープディスプレイ又は２Ｄディスプレイとして用いられるディスプレイ１１６の一具体例では、パララックスバリア方式を利用する。パララックスバリアは、画素平面から所定の距離だけ離間したスリットのアレイを含む。ウィンドウに亘る強度分布は、詳細な画素構造の畳み込み及びウィンドウプレーンの強度を変化させるスリットのアパーチャを介する近視野回折としてモデル化される。更に、パララックスバリアは、高い精度でＬＣＤに揃える必要がある。パララックスバリアは、２Ｄ及び３Ｄの間の変換を実現するために、透明に形成してもよい。
【００３５】
変形例では、レンチキュラ要素を用いて、３Ｄ情報を表示する。レンチキュラ要素は、通常、ＬＣＤ等の２Ｄディスプレイに対して垂直に配設されたシリンドリカルレンズである。シリンドリカルレンズは、画素からの散光を方向付け、これにより、ディスプレイの正面から限定された角度からのみ画素が見えるようになる。これにより、異なる画素をそれぞれ左眼又は右眼の視野角のみから見えるようにする。レンチキュラ要素の前方には、２Ｄ／３Ｄ切換散光器が配設され、これにより、観察者は、２Ｄ表示及び３Ｄ表示を切り換えることができる。２Ｄ／３Ｄ切換散光器をオフにすると、光が散乱し、光がレンチキュラレンズに到達しなくなり、これにより、通常の２Ｄディスプレイと同様に画像が表示される。
【００３６】
他の変形例では、垂直に配設されたマイクロプリズムのアレイをパララックス要素として用いて、左右の画像を垂直に列毎にインタレースし、マイクロプリズムによって、２つのビューウィンドに向ける。
【００３７】
他の変形例では、一連の積層されたマイクロ偏光子要素を用いて、切換可能なパララックスバリアを構成する。マイクロ偏光子要素は、一般的なパララックス問題を回避するために、ＬＣＤ要素内に組み込まれる。
【００３８】
他の変形例として、例えば、色付き眼鏡、分光眼鏡又は切換眼鏡等の補助器具（viewing aid）を用いて、オートステレオスコープディスプレイではないステレオスコープディスプレイの３Ｄ情報を見るようにしてもよい。
【００３９】
他の変形例では、偏光によって左眼及び右眼の立体像を分離し、それぞれの目に適切な画像を向けるビームスプリッタを用いる。
【００４０】
図４ａ及び図４ｂは、３Ｄ情報取得／表示システムにおいて、電子機器１００から互換性がある受信機器４００に３Ｄ情報を送信する処理を図式的に示している。電子機器１００は、３Ｄ情報を表示する機能に加えて、互換性がある受信機器４００に、３Ｄ情報を無線で送信する機能を有する。更に、電子機器１００は、互換性がある受信機器４００から、同様に３Ｄ情報を受け取ることもできる。ここでは、伝送方式として、ブルートゥース（Bluetooth：商標）４０２、又は機器から機器への直接伝送のための同様の無線技術４０２を採用してもよい。他の種類の無線伝送として、電子機器１００をインターネット４１０に接続し、３Ｄ情報をサーバに供給し、互換性がある受信機器４００が、３Ｄ情報を無線でダウンロードできるようにしてもよい。上述したように、電子機器１００は、送信機１１０及び受信機１１２を備える。送信機１１０及び受信機１１２は、電子機器１００のプロセッサ１０６、ローカルメモリ１０８及びディスプレイ１１６に／からデータを転送できるように接続される。送信機１１０は、赤外線伝送機能又は無線伝送機能を有していてもよい。互換性ある受信機器４００は、同様のコンポーネントを有している必要があるが、互換性がある受信機器４００は、必ずしもオートステレオスコープに対応する機器ではなくてもよい。互換性がある受信機器４００は、オートステレオスコープ機器、ステレオスコープ機器又は単なる２Ｄ機器であってもよい。もちろん、機器に応じて、画像の特徴の全てを見るために、例えば、専用の眼鏡等の更なるハードウェアを必要とていもよい。２Ｄ機器の場合、３次元画像は、単に２次元画像として表示される。変形例として、３Ｄ情報を無線ではなく、例えば、イーサネット（登録商標）ケーブル、ＩＥＥＥ１３９４準拠ケーブル又はＵＳＢケーブル等のケーブルを介して伝送してもよい。
【００４１】
本発明の変形例では、３Ｄ情報をスクリーンに投写して表示する。この場合、電子機器１００は、ディスプレイ１１６に３Ｄ情報を表示することに加えて、３Ｄ情報をスクリーンに投写し、上述のように、専用の眼鏡を使用することによって、３Ｄ画像が見られるようになる。
【００４２】
３Ｄ情報を取得し及び立体画像を表示する上述した特徴の全てに加えて、電子機器１００は、生来的な特徴の全てを有する。例えば、電子機器１００がステレオスコープ機能を有するＰＤＡである場合、ユーザは、情報を保存し、スケジュールを設定する等、従来と同様にこのＰＤＡを使用することができる。同様に、電子機器１００がカメラ付き携帯電話機の場合、電子機器１００は、ステレオスコープ機能に加えて、電話機としても機能する。３Ｄ情報取得／表示システムは、ステレオスコープ機能を追加することによって、電子機器１００の機能を高める。
【００４３】
実際の動作では、電子機器１００は、以下に限定されるものではないが、ラップトップコンピュータ、ＰＤＡ、カメラ付き携帯電話機、デジタルカメラ、ビデオカメラ及び電子腕時計等の基本的な機器の追加的機能として、実質的にデジタルカメラと同様に使用される。ユーザは、３Ｄ写真を撮影し、３Ｄ情報を取得するために、電子機器１００の電源をオンにする。次に、ユーザは、電子機器１００の第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を所望のオブジェクトに向ける。そして、ユーザは、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４に接続された撮影ボタンを押し、写真を撮影する。写真を撮影する前に、ユーザが第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４を所望のオブジェクトに向けると、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４のオートフォーカスシステムは、オブジェクトの適切な深さに自動的に焦点を合わせ、これにより、可能な限り最も明瞭な写真が撮影される。第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４は、三角測量によってオブジェクトの深さを測定し、速やか且つ明瞭にオブジェクトに焦点を合わせる。第１のデジタルカメラ１０２は、第１の角度から情報を取得し、第２のデジタルカメラ１０４は、第１の角度から僅かにオフセットした第２の角度から情報を取得する。プロセッサ１０６は、内部のソフトウェアを用いて、各カメラからの個別の情報を処理し、一組の３Ｄ情報を生成する。ユーザは、写真を撮影した後、ディスプレイ１１６に３Ｄ情報を表示させてもよく、互換性がある受信機器４００に３Ｄ情報を送信してもよく、又は３Ｄ情報をスクリーンに投写してもよい。電子機器１００上で３Ｄ情報を見る場合、第１のデジタルカメラ１０２及び第２のデジタルカメラ１０４は、ユーザの目、頭又はこれらの両方を追跡する。ユーザは、自由に動きながら、３Ｄ情報への焦点を失うことなく、ディスプレイ１１６に表示された３Ｄ情報を見ることができる。ディスプレイ１１６は、３Ｄ情報を表示するために、１つ以上の適切で利用可能な３Ｄディスプレイ技術を用いる。互換性がある受信機器４００に３Ｄ情報を送信する場合、電子機器１００は、互換性がある受信機器４００と通信するために必要な機能を有する。更に、ユーザは、以下に限定されるものではないが、例えば、一組の押しボタン、タッチスクリーン、回転ノブ等の入力装置を用いて、電子機器１００を操作して、３Ｄ情報を送信する。更に、ユーザは、３Ｄ情報を外部のスクリーンに投写してもよく、この場合、３Ｄ情報を見るために、補助器具を用いてもよい。３Ｄ情報を投写する場合、外部のスクリーン上に３Ｄ情報を明瞭に表示できるように、外部のスクリーンから適切な距離にある位置に電子機器１００を固定する。例えば、プロジェクタ用映写スクリーンから５ｆｔ離れた位置にあるテーブル上に電子機器１００を置き、観察者が分光３Ｄ眼鏡を装着して、投写された３Ｄ情報を見るようにしてもよい。
【００４４】
本発明の構成及び動作原理を明瞭に説明するために、様々な詳細を含む特定の実施例を用いて本発明を説明した。このような特定の実施例の説明及びその詳細は、特許請求の範囲を制限するものではない。添付の特許請求の範囲において定義されている本発明の主旨及び範囲から逸脱することなく、例示的に選択された実施例を変更できることは、当業者にとって明らかである。
【図面の簡単な説明】
【００４５】
【図１】３Ｄ情報取得／表示システムの実施の形態におけるコンポーネントの内部の構成を示す図である。
【図２】３Ｄ情報取得／表示システムが実行する処理のフローチャートである。
【図３】３Ｄ情報取得／表示システムのオートフォーカスシステムを図式的に示す図である。
【図４Ａ】３Ｄ情報取得／表示システムにおいて、電子機器から互換性がある受信機器に３Ｄ情報を送信する処理を図式的に示す図である。
【図４Ｂ】３Ｄ情報取得／表示システムにおいて、電子機器から、インターネットを介して、互換性がある受信機器に３Ｄ情報を送信する処理を図式的に示す図である。
【特許請求の範囲】
【請求項１】
３次元情報を取得して表示する３次元情報取得／表示システムにおいて、
ａ．電子機器と、
ｂ．上記電子機器に接続され、オートフォーカスを行い、３次元情報を取得する複数のデジタルカメラと、
ｃ．上記電子機器に接続され、上記３次元情報を表示するディスプレイとを備える３次元情報取得／表示システム。
【請求項２】
上記電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項３】
上記３次元情報は、一組の画像を含むことを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項４】
上記デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項５】
上記オートフォーカスは、光学的三角測量、距離測定及び光パターンワーピングのいずれかの演算に基づいて行われることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項６】
上記３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理されることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項７】
上記３次元情報は、ローカルメモリにステレオフォーマットで保存されることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項８】
上記ステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であることを特徴とする請求項７記載の３次元情報取得／表示システム。
【請求項９】
上記複数のデジタルカメラは、上記３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡することを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項１０】
上記３次元情報を表示している間、上記複数のデジタルカメラは、１つ以上の赤外線レーザを用いて、観察者の頭及び目の１つ以上を追跡することを特徴とする請求項９記載の３次元情報取得／表示システム。
【請求項１１】
上記ディスプレイは、投写型表示装置であることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項１２】
上記ディスプレイは、２次元情報を表示することを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項１３】
上記３次元情報は、補助器具なしで見ることができることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項１４】
上記補助器具は、３次元情報を見るために必要な補助器具であることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項１５】
１つ以上の他の機器と通信し、上記３次元情報を送受信する通信インタフェースを更に備える請求項１記載の３次元情報取得／表示システム。
【請求項１６】
上記通信インタフェースは、無線通信を行うことを特徴とする請求項１５記載の３次元情報取得／表示システム。
【請求項１７】
上記電子機器に接続され、該電子機器を制御する制御インタフェースを更に備える請求項１記載の３次元情報取得／表示システム。
【請求項１８】
３次元情報を取得して表示する３次元情報取得／表示システムにおいて、
ａ．電子機器と、
ｂ．上記電子機器に接続され、３次元情報を取得する複数のデジタルカメラと、
ｃ．上記電子機器に接続され、上記３次元情報を表示するディスプレイとを備え、
上記複数のデジタルカメラは、観察者の頭及び目の１つ以上を追跡し、該観察者の頭及び又は目の１つ以上に基づいて、上記３次元情報を調整して表示する３次元情報取得／表示システム。
【請求項１９】
上記電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２０】
上記３次元情報は、一組の画像を含むことを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２１】
上記デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２２】
上記複数のカメラは、オートフォーカスに利用されることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２３】
上記オートフォーカスは、光学的三角測量、距離測定及び光パターンワーピングのいずれかの演算に基づいて行われることを特徴とする請求項２２記載の３次元情報取得／表示システム。
【請求項２４】
上記３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理されることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２５】
上記３次元情報は、ローカルメモリにステレオフォーマットで保存されることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２６】
上記ステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であることを特徴とする請求項２５記載の３次元情報取得／表示システム。
【請求項２７】
上記複数のデジタルカメラは、上記３次元情報を表示している間、１つ以上の赤外線レーザを用いて、観察者の頭及び目の１つ以上を追跡することを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２８】
上記ディスプレイは、投写型表示装置であることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２９】
上記ディスプレイは、２次元情報を表示することを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項３０】
上記３次元情報は、補助器具なしで見ることができることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項３１】
上記補助器具は、３次元情報を見るために必要な補助器具であることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項３２】
１つ以上の他の機器と通信し、上記３次元情報を送受信する通信インタフェースを更に備える請求項１８記載の３次元情報取得／表示システム。
【請求項３３】
上記通信インタフェースは、無線通信を行うことを特徴とする請求項３２記載の３次元情報取得／表示システム。
【請求項３４】
上記電子機器に接続され、該電子機器を制御する制御インタフェースを更に備える請求項１８記載の３次元情報取得／表示システム。
【請求項３５】
３次元情報を取得して表示する３次元情報取得／表示システムにおいて、
ａ．電子機器と、
ｂ．上記電子機器に接続され、オートフォーカスを行い、３次元情報を取得する複数のデジタルカメラと、
ｃ．上記３次元情報をステレオフォーマットで保存するローカルメモリと、
ｄ．電子機器に接続され、３次元情報を表示するオートステレオスコープディスプレイと、観察者の頭及び目の１つ以上を追跡し、該観察者の頭及び又は目の１つ以上に基づいて、上記３次元情報を調整して表示する複数のデジタルカメラと、
ｅ．１つ以上の他の機器と通信し、上記３次元情報を送受信する通信インタフェースと、
ｆ．上記電子機器に接続され、該電子機器を制御する制御インタフェースとを備える３次元情報取得／表示システム。
【請求項３６】
上記電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであることを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項３７】
上記３次元情報は、一組の画像を含むことを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項３８】
上記デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えることを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項３９】
上記オートフォーカスは、光学的三角測量、距離測定及び光パターンワーピングのいずれかの演算に基づいて行われることを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項４０】
上記３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理されることを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項４１】
上記ステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であることを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項４２】
上記複数のデジタルカメラは、上記３次元情報を表示している間、１つ以上の赤外線レーザを用いて、観察者の頭及び目の１つ以上を追跡することを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項４３】
上記ディスプレイは、投写型表示装置であることを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項４４】
上記通信インタフェースは、無線通信を行うことを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項４５】
３次元情報を取得して表示する３次元情報取得／表示方法において、
ａ．電子機器に接続された複数のデジタルカメラを用いて、オートフォーカスを行うステップと、
ｂ．上記複数のデジタルカメラを用いて３次元情報を取得するステップと、
ｃ．ディスプレイを用いて３次元情報を表示するステップとを有する３次元情報取得／表示方法。
【請求項４６】
上記電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであることを特徴とする請求項４５記載の３次元情報取得／表示方法。
【請求項４７】
上記３次元情報は、一組の画像を含むことを特徴とする請求項４５記載の３次元情報取得／表示方法。
【請求項４８】
上記デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えることを特徴とする請求項４５記載の３次元情報取得／表示方法。
【請求項４９】
上記オートフォーカスは、光学的三角測量、距離測定及び光パターンワーピングのいずれかの演算に基づいて行われることを特徴とする請求項４５記載の３次元情報取得／表示方法。
【請求項５０】
圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって上記３次元情報を処理するステップを更に有する請求項４５記載の３次元情報取得／表示方法。
【請求項５１】
上記３次元情報をローカルメモリにステレオフォーマットで保存するステップを更に有する請求項４５記載の３次元情報取得／表示方法。
【請求項５２】
上記ステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であることを特徴とする請求項５１記載の３次元情報取得／表示方法。
【請求項５３】
上記複数のデジタルカメラを用いて、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するステップを更に有する請求項４５記載の３次元情報取得／表示方法。
【請求項５４】
上記３次元情報を表示している間、１つ以上の赤外線レーザを有する上記複数のデジタルカメラを用いて、観察者の頭及び目の１つ以上を追跡するステップを更に有する請求項５３記載の３次元情報取得／表示方法。
【請求項５５】
上記ディスプレイは、投写型表示装置であることを特徴とする請求項４５記載の３次元情報取得／表示方法。
【請求項５６】
通信インタフェースを用いて、１つ以上の他の機器と通信し、上記３次元情報を送受信するステップを更に有する請求項４５記載の３次元情報取得／表示方法。
【請求項５７】
上記通信インタフェースは、無線通信を行うことを特徴とする請求項５６記載の３次元情報取得／表示方法。
【請求項５８】
３次元情報を取得して表示する３次元情報取得／表示方法において、
ａ．電子機器に接続された複数のデジタルカメラを用いて、オートフォーカスを行うステップと、
ｂ．上記複数のデジタルカメラを用いて３次元情報を取得するステップと、
ｃ．上記複数のデジタルカメラを用いて、観察者の頭及び目の１つ以上を追跡するステップと、
ｄ．ディスプレイを用いて３次元情報を表示するステップと、
ｅ．上記観察者の頭及び又は目の１つ以上に基づいて、上記３次元情報を調整して表示するステップと、
ｆ．通信インタフェースを用いて、１つ以上の他の機器と通信し、上記３次元情報を送受信するステップとを有する３次元情報取得／表示方法。
【請求項５９】
上記電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであることを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項６０】
上記３次元情報は、一組の画像を含むことを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項６１】
上記デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えることを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項６２】
上記オートフォーカスは、光学的三角測量、距離測定及び光パターンワーピングのいずれかの演算に基づいて行われることを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項６３】
上記３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理されることを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項６４】
上記３次元情報をステレオフォーマットでローカルメモリに保存するステップを更に有する請求項５８記載の３次元情報取得／表示方法。
【請求項６５】
上記ステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であることを特徴とする請求項６４記載の３次元情報取得／表示方法。
【請求項６６】
上記３次元情報を表示している間、１つ以上の赤外線レーザを有する上記複数のデジタルカメラを用いて、観察者の頭及び目の１つ以上を追跡するステップを更に有する請求項５８記載の３次元情報取得／表示方法。
【請求項６７】
上記ディスプレイは、投写型表示装置であることを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項６８】
上記通信インタフェースは、無線通信を行うことを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項１】
３次元情報を取得して表示する３次元情報取得／表示システムにおいて、
ａ．電子機器と、
ｂ．上記電子機器に接続され、オートフォーカスを行い、３次元情報を取得する複数のデジタルカメラと、
ｃ．上記電子機器に接続され、上記３次元情報を表示するディスプレイとを備える３次元情報取得／表示システム。
【請求項２】
上記電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項３】
上記３次元情報は、一組の画像を含むことを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項４】
上記デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項５】
上記オートフォーカスは、光学的三角測量、距離測定及び光パターンワーピングのいずれかの演算に基づいて行われることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項６】
上記３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理されることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項７】
上記３次元情報は、ローカルメモリにステレオフォーマットで保存されることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項８】
上記ステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であることを特徴とする請求項７記載の３次元情報取得／表示システム。
【請求項９】
上記複数のデジタルカメラは、上記３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡することを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項１０】
上記３次元情報を表示している間、上記複数のデジタルカメラは、１つ以上の赤外線レーザを用いて、観察者の頭及び目の１つ以上を追跡することを特徴とする請求項９記載の３次元情報取得／表示システム。
【請求項１１】
上記ディスプレイは、投写型表示装置であることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項１２】
上記ディスプレイは、２次元情報を表示することを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項１３】
上記３次元情報は、補助器具なしで見ることができることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項１４】
上記補助器具は、３次元情報を見るために必要な補助器具であることを特徴とする請求項１記載の３次元情報取得／表示システム。
【請求項１５】
１つ以上の他の機器と通信し、上記３次元情報を送受信する通信インタフェースを更に備える請求項１記載の３次元情報取得／表示システム。
【請求項１６】
上記通信インタフェースは、無線通信を行うことを特徴とする請求項１５記載の３次元情報取得／表示システム。
【請求項１７】
上記電子機器に接続され、該電子機器を制御する制御インタフェースを更に備える請求項１記載の３次元情報取得／表示システム。
【請求項１８】
３次元情報を取得して表示する３次元情報取得／表示システムにおいて、
ａ．電子機器と、
ｂ．上記電子機器に接続され、３次元情報を取得する複数のデジタルカメラと、
ｃ．上記電子機器に接続され、上記３次元情報を表示するディスプレイとを備え、
上記複数のデジタルカメラは、観察者の頭及び目の１つ以上を追跡し、該観察者の頭及び又は目の１つ以上に基づいて、上記３次元情報を調整して表示する３次元情報取得／表示システム。
【請求項１９】
上記電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２０】
上記３次元情報は、一組の画像を含むことを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２１】
上記デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２２】
上記複数のカメラは、オートフォーカスに利用されることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２３】
上記オートフォーカスは、光学的三角測量、距離測定及び光パターンワーピングのいずれかの演算に基づいて行われることを特徴とする請求項２２記載の３次元情報取得／表示システム。
【請求項２４】
上記３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理されることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２５】
上記３次元情報は、ローカルメモリにステレオフォーマットで保存されることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２６】
上記ステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であることを特徴とする請求項２５記載の３次元情報取得／表示システム。
【請求項２７】
上記複数のデジタルカメラは、上記３次元情報を表示している間、１つ以上の赤外線レーザを用いて、観察者の頭及び目の１つ以上を追跡することを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２８】
上記ディスプレイは、投写型表示装置であることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項２９】
上記ディスプレイは、２次元情報を表示することを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項３０】
上記３次元情報は、補助器具なしで見ることができることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項３１】
上記補助器具は、３次元情報を見るために必要な補助器具であることを特徴とする請求項１８記載の３次元情報取得／表示システム。
【請求項３２】
１つ以上の他の機器と通信し、上記３次元情報を送受信する通信インタフェースを更に備える請求項１８記載の３次元情報取得／表示システム。
【請求項３３】
上記通信インタフェースは、無線通信を行うことを特徴とする請求項３２記載の３次元情報取得／表示システム。
【請求項３４】
上記電子機器に接続され、該電子機器を制御する制御インタフェースを更に備える請求項１８記載の３次元情報取得／表示システム。
【請求項３５】
３次元情報を取得して表示する３次元情報取得／表示システムにおいて、
ａ．電子機器と、
ｂ．上記電子機器に接続され、オートフォーカスを行い、３次元情報を取得する複数のデジタルカメラと、
ｃ．上記３次元情報をステレオフォーマットで保存するローカルメモリと、
ｄ．電子機器に接続され、３次元情報を表示するオートステレオスコープディスプレイと、観察者の頭及び目の１つ以上を追跡し、該観察者の頭及び又は目の１つ以上に基づいて、上記３次元情報を調整して表示する複数のデジタルカメラと、
ｅ．１つ以上の他の機器と通信し、上記３次元情報を送受信する通信インタフェースと、
ｆ．上記電子機器に接続され、該電子機器を制御する制御インタフェースとを備える３次元情報取得／表示システム。
【請求項３６】
上記電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであることを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項３７】
上記３次元情報は、一組の画像を含むことを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項３８】
上記デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えることを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項３９】
上記オートフォーカスは、光学的三角測量、距離測定及び光パターンワーピングのいずれかの演算に基づいて行われることを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項４０】
上記３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理されることを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項４１】
上記ステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であることを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項４２】
上記複数のデジタルカメラは、上記３次元情報を表示している間、１つ以上の赤外線レーザを用いて、観察者の頭及び目の１つ以上を追跡することを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項４３】
上記ディスプレイは、投写型表示装置であることを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項４４】
上記通信インタフェースは、無線通信を行うことを特徴とする請求項３５記載の３次元情報取得／表示システム。
【請求項４５】
３次元情報を取得して表示する３次元情報取得／表示方法において、
ａ．電子機器に接続された複数のデジタルカメラを用いて、オートフォーカスを行うステップと、
ｂ．上記複数のデジタルカメラを用いて３次元情報を取得するステップと、
ｃ．ディスプレイを用いて３次元情報を表示するステップとを有する３次元情報取得／表示方法。
【請求項４６】
上記電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであることを特徴とする請求項４５記載の３次元情報取得／表示方法。
【請求項４７】
上記３次元情報は、一組の画像を含むことを特徴とする請求項４５記載の３次元情報取得／表示方法。
【請求項４８】
上記デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えることを特徴とする請求項４５記載の３次元情報取得／表示方法。
【請求項４９】
上記オートフォーカスは、光学的三角測量、距離測定及び光パターンワーピングのいずれかの演算に基づいて行われることを特徴とする請求項４５記載の３次元情報取得／表示方法。
【請求項５０】
圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって上記３次元情報を処理するステップを更に有する請求項４５記載の３次元情報取得／表示方法。
【請求項５１】
上記３次元情報をローカルメモリにステレオフォーマットで保存するステップを更に有する請求項４５記載の３次元情報取得／表示方法。
【請求項５２】
上記ステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であることを特徴とする請求項５１記載の３次元情報取得／表示方法。
【請求項５３】
上記複数のデジタルカメラを用いて、３次元情報を表示している間、観察者の頭及び目の１つ以上を追跡するステップを更に有する請求項４５記載の３次元情報取得／表示方法。
【請求項５４】
上記３次元情報を表示している間、１つ以上の赤外線レーザを有する上記複数のデジタルカメラを用いて、観察者の頭及び目の１つ以上を追跡するステップを更に有する請求項５３記載の３次元情報取得／表示方法。
【請求項５５】
上記ディスプレイは、投写型表示装置であることを特徴とする請求項４５記載の３次元情報取得／表示方法。
【請求項５６】
通信インタフェースを用いて、１つ以上の他の機器と通信し、上記３次元情報を送受信するステップを更に有する請求項４５記載の３次元情報取得／表示方法。
【請求項５７】
上記通信インタフェースは、無線通信を行うことを特徴とする請求項５６記載の３次元情報取得／表示方法。
【請求項５８】
３次元情報を取得して表示する３次元情報取得／表示方法において、
ａ．電子機器に接続された複数のデジタルカメラを用いて、オートフォーカスを行うステップと、
ｂ．上記複数のデジタルカメラを用いて３次元情報を取得するステップと、
ｃ．上記複数のデジタルカメラを用いて、観察者の頭及び目の１つ以上を追跡するステップと、
ｄ．ディスプレイを用いて３次元情報を表示するステップと、
ｅ．上記観察者の頭及び又は目の１つ以上に基づいて、上記３次元情報を調整して表示するステップと、
ｆ．通信インタフェースを用いて、１つ以上の他の機器と通信し、上記３次元情報を送受信するステップとを有する３次元情報取得／表示方法。
【請求項５９】
上記電子機器は、携帯情報端末装置、カメラ付き携帯電話機、ラップトップコンピュータ、デジタルカメラ、ビデオカメラ及び電子腕時計のいずれかであることを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項６０】
上記３次元情報は、一組の画像を含むことを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項６１】
上記デジタルカメラは、３次元情報を取得するための１つ以上の電荷結合素子センサを備えることを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項６２】
上記オートフォーカスは、光学的三角測量、距離測定及び光パターンワーピングのいずれかの演算に基づいて行われることを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項６３】
上記３次元情報は、圧縮、フォーマッティング、解像度向上及び色強調を含む処理によって処理されることを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項６４】
上記３次元情報をステレオフォーマットでローカルメモリに保存するステップを更に有する請求項５８記載の３次元情報取得／表示方法。
【請求項６５】
上記ステレオフォーマットは、上下フォーマット、インタレースフォーマット、サイドバイサイド（２画像並列）、サイバースコープ、スカッシュドサイドバイサイド、ＪＰＳステレオスコープＪＰＥＧの１つ以上であることを特徴とする請求項６４記載の３次元情報取得／表示方法。
【請求項６６】
上記３次元情報を表示している間、１つ以上の赤外線レーザを有する上記複数のデジタルカメラを用いて、観察者の頭及び目の１つ以上を追跡するステップを更に有する請求項５８記載の３次元情報取得／表示方法。
【請求項６７】
上記ディスプレイは、投写型表示装置であることを特徴とする請求項５８記載の３次元情報取得／表示方法。
【請求項６８】
上記通信インタフェースは、無線通信を行うことを特徴とする請求項５８記載の３次元情報取得／表示方法。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【公表番号】特表２００７−５２９９６０（Ｐ２００７−５２９９６０Ａ）
【公表日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願番号】特願２００７−５０４０３１（Ｐ２００７−５０４０３１）
【出願日】平成１７年３月１４日（２００５．３．１４）
【国際出願番号】ＰＣＴ／ＵＳ２００５／００８５８８
【国際公開番号】ＷＯ２００５／０９１６５０
【国際公開日】平成１７年９月２９日（２００５．９．２９）
【出願人】（５９３１８１６３８）ソニー エレクトロニクス インク (371)
【Ｆターム（参考）】
【公表日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願日】平成１７年３月１４日（２００５．３．１４）
【国際出願番号】ＰＣＴ／ＵＳ２００５／００８５８８
【国際公開番号】ＷＯ２００５／０９１６５０
【国際公開日】平成１７年９月２９日（２００５．９．２９）
【出願人】（５９３１８１６３８）ソニー エレクトロニクス インク (371)
【Ｆターム（参考）】
[ Back to top ]