説明

携帯用機器のカメラアプリケーション

【課題】カメラの機能を増大する。
【解決手段】少なくとも1つのカメラを備える携帯型デバイス110は、様々な機能を実行できる。ある実施形態では、異なる固定焦点距離を有する2以上のカメラレンズ130,140を使用して撮像されたデジタル画像を組み合わせて、高解像度光学ズームをエミュレートすることができ、また、デバイスに3Dアプリケーションを実行させることもできる。その他の実施形態では、カメラを備えるデバイスは、バーコード読み取り装置として機能してもよく、バーコードを、その他のデバイスへと無線的に送信してもよい及び/又はその他のデバイスに視覚的に表示させてもよい。

【発明の詳細な説明】
【背景技術】
【0001】
携帯電子機器の技術が発展し、様々な種類の機能が1つの装置に組み込まれ、これらデバイスのフォームファクターは小さくなりつつある。これら携帯電子機器は、特に、高い処理能力、仮想キーボード、携帯電話及びインターネット接続のための無線接続、及び、カメラを有する場合が多い。とりわけ、カメラは人気の付加機能であるが、これら携帯電子機器に含まれるカメラは、多くの場合、低解像度のスナップショット及び短い動画に限定されている。携帯電子機器は、小型化、軽量化及び携帯性要求されるため、より高度なカメラ機能の搭載が避けられる要因となっている。例えば、ズームレンズは重く、携帯電子機器本体よりも物理的に大きな奥行きを必要とすることから、固定焦点距離及び固定視野を有するレンズが使用されている。これらの理由から、光学ズームレンズは、小型で相対的に安価の携帯電子機器に実装することは現実的でないと考えられる。その他の分野において、バーコードアプリケーションは、一般消費者向けカメラでは利用できないが、これは、バーコードが、特定の機器用に設計されているからである。この事実が、数多くの有用なバーコードアプリケーションの実装を妨げている。
【0002】
本発明の実施形態が、以下に記載する詳細な説明、及び本発明の実施形態を例示するのに使用される添付の図面を参照して理解される。
【図面の簡単な説明】
【0003】
【図1】本発明の一実施形態に係る複数の内蔵式カメラレンズを有する多機能携帯型ユーザー機器を示した図である。
【図2A】本発明の一実施形態に係る、レンズから光学センサへと光を向けるのに使用されてもよい光路を示した図である。
【図2B】本発明の一実施形態に係る、レンズから光学センサへと光を向けるのに使用されてもよい光路を示した図である。
【図2C】本発明の一実施形態に係る、レンズから光学センサへと光を向けるのに使用されてもよい光路を示した図である。
【図2D】本発明の一実施形態に係る、レンズから光学センサへと光を向けるのに使用されてもよい光路を示した図である。
【図3】本発明の一実施形態に係る、2つのレンズを備えるカメラの動作方法を示したフローチャートである。
【図4】本発明の一実施形態に係る、内蔵式カメラを備える多機能携帯型ユーザー機器を示した図である。
【図5】本発明の一実施形態に係る、カメラシステムを示す図である。
【図6】本発明の一実施形態に係る、バーコードを読み取るカメラを示した図である。
【図7】本発明の一実施形態に係る、カメラを使用してバーコードを読み取る方法を示したフローチャートである。
【図8】本発明の一実施形態に係る、バーコードの値を使用する方法を示したフローチャートである。
【発明を実施するための形態】
【0004】
以下の説明では、数多くの特定の詳細事項が記載される。しかしながら、本発明の実施形態は、これら特定の詳細事項がなくとも実施可能であることは明らかである。また、本明細書の説明の理解を不明瞭にしてしまうのを避ける目的から、周知の回路、構造及び技術については記載していない。
【0005】
また、「一実施形態」、「ある実施形態」、「実施例」、「様々な実施形態」等の言葉は、本発明の実施形態が特定の特徴、構造及び特性を含むことを示唆するが、必ずしも全ての実施形態が、これら特定の特徴、構造及び特性を含むことを意味しない。また、ある実施形態において、他の実施形態に記載された特徴の幾つか又は全てが含まれていてもよいし、全く含まれていなくてもよい。
【0006】
また、以下に記載の説明及び特許請求の範囲において、「連結(coupled)」及び「接続(connected)」という言葉、並びにこれらの派生語が使用されることがある。この二つの言葉は、同義語として使用されているのではない。特定の実施例において、「接続(connected)」は、二つ又は二つ以上の要素が物理的に或いは電気的に直接互いに接触していることを示すのに使用され、「連結(connected)」は、二つ又は二つ以上の要素が、協動又は相互作用しているが、物理的或いは電気的に直接接しているか否かは問われない場合を示すのに使用されている。
【0007】
また、特許請求の範囲において、共通の要素に使用される序数詞「第1の」、「第2の」、「第3の」等は、特に記載がない限り、単に同類の要素の異なる例を示しているに過ぎず、当該要素の時間的な若しくは空間的な順序、又は序列等における順番を示しているわけではない。本発明の様々な実施形態が、ハードウェア、ファームウェア、ソフトウェア、及びこれらの組み合わせにより実施可能である。また、本発明は、コンピュータ可読媒体に含まれる命令として、又は、コンピュータ可読媒体に対する命令として実施可能であり、当該命令は、明細書に記載のオペレーションを実行可能にする1つ又は複数のプロセッサによって、読み出され、実行される。コンピュータ可読媒体としては、1つ又は複数のコンピュータが可読な形式で情報を蓄積するあらゆる装置が含まれる。そのようなコンピュータ可読媒体としては、これらに限定されないが、例えば、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光学式記憶媒体、フラッシュメモリ装置等の有形の記憶媒体が含まれる。
【0008】
本発明の様々な実施形態は、デバイスの新規な利用方法を可能とする少なくとも1つのカメラを備える機器における新規な構成に関する。ある実施形態では、固定焦点距離を有する2以上のカメラレンズを使用して撮像された複数のデジタル画像を、機器の新規な利用を可能とするような態様で組み合わせてもよい。その他の実施形態では、カメラを備えるデバイスは、バーコード読み取り装置として機能してもよく、バーコードを、その他のデバイスへと無線的に送信してもよい及び/又はその他のデバイスに視覚的に表示させてもよい。
【0009】
[ズームエミュレーション及びその他の機能のためのデュアルカメラ]
本発明に係る、異なる固定焦点距離及び対応する異なる視野角を有する2つの個別のカメラレンズの様々な実施形態を提供する。両方のレンズで同じ光景を撮像し、一方の画像を他方の画像の一部分の近接(接写)画像とすることにより、この2つの画像に様々な種類の処理を施すことができる。ある実施形態では、狭視野角は、フルサイズ(実物大)に広げられた時に許容されるデジタル解像度となるような広視野角内の最小領域と同じ範囲又はそれよりも僅かに大きい範囲にわたってもよい。このように構成することで、ある写真のフルサイズでの画像と、その他の写真の選択された部分との間での、正確なデジタル比較を行うことができると考えられる。
【0010】
このような簡単な動作で、2つの写真を人間の評価者に単純に提示して、評価者が主観的にどちらが好ましい写真なのかを決定することができる。別の動作では、2つの画像を処理及び結合して、1つの単純なデジタルズームで得られる解像度よりも良好な解像度を有するズームレンズの効果をエミュレートしてもよい(すなわち、最終的に拡大されて画素の数が多くなるとしても、元の写真の不要な部分をトリミングして、元の画素を数を低減する)。立体視画像情報を生成する2つのレンズの間の距離を利用して、動き検出及び安定化を可能とするべく2つの画像を比較するといったように、その他の有益な結果を得ることもできる。
【0011】
これらの機能は、2つの別の実施形態で可能となる。1つの実施形態では、各レンズが、レンズ自体に個別の画像センサを有し、必要に応じて、同時に画像を撮像する2つの個別のカメラが設けられてもよい。もう1つの実施形態では、同じ画像センサを両方のレンズに使用して、2つの画像を異なるタイミングで撮像してもよい。光学選択システムを使用して、所定の時間に、どの画像をセンサに届けるかを選択してもよい。これは様々な態様で実装することができ、これに限定されないが、例えば、1)可動反射デバイスを使用して、異なる時間に各レンズからの光路を1つの画像センサへと向ける、2)両方のレンズからの光路を同時に1つの画像センサへと向けるが、遮光デバイス(例えば、シャッター)を使用して、選択されていないレンズからの光が画像センサに到達するのを防ぐ。
【0012】
2つの画像から得られる情報を、これらに限定するわけではないが、以下に記載するような様々な態様で利用してもよい。
【0013】
1)客観的基準及び人間の主観的基準に少なくとも一部基づいて、2つの撮像画像のうちの1つを使用するべく選択する。
【0014】
2)一方のレンズからの狭視野角の画像及び他方のレンズからの広視野角の画像を、デジタル的に処理して組み合わせて、中間の視野角の画像を生成する。単純なデジタルズーム機能では実現することが難しい場合でも、狭視野角の画像から得ることができる良好な詳細部分を使用して、広視野角画像の一部を強化することができる。同様な方法で、複数の様々な中間視野角の画像を生成することができ、光学ズームレンズで得られるであろう結果を効果的にエミュレートすることができる。ある実施形態では、この処理は、カメラ内で実行される又はカメラを備える装置内で実行され、得られた中間視野角の画像が、カメラの装置のディスプレイ部分にて、ユーザーに表示されてもよい。別の実施形態では、2つの画像が別の機器にダウンロードされた後で、この別の機器で処理が行われてもよい。
【0015】
3)2つのレンズは既知の距離だけ離れて配置されているので、撮像される同じ被写体について僅かに異なる画角を有することから、立体画像情報及び効果を生成することができる。同じ大きさの視野角を有するレンズのフルサイズの画像を比較した場合と同様に、狭視野角レンズからのフルサイズの画像と、広視野角レンズからの画像の対応する部分とを比較することにより、2つの画像から直接立体視効果を生成することができきる。
【0016】
4)2つの画像を別々の時に撮像する場合には、一方の画像と他方の画像との間における光景(scene)中の動きを、2つの撮像画像の対応する部分を比較することにより、検出してもよい。直接比較を可能とするために、一方の画像の一部分を拡大しておく必要がある場合もある。動きが検出されると、この情報を様々な態様で利用することができ、これに限定するわけではないが、例えば、1)ユーザーに通知して、ユーザーがどの動作を行うかを決定できるようにする、2)1つの画像を保持して、他方を捨てる、3)両方の画像を捨てる、4)両方の画像を保持するが、処理結果が正確でないことが考えられるため、処理を取り消す、5)画像の差分を使用する、及び、異なる時間に撮像して、動きの量及び速度を計算する。
【0017】
図1は、本発明の一実施形態に係る複数の内蔵式カメラレンズを有する多機能携帯型ユーザー機器を示した図である。図示される機器110は、ディスプレイ120、第1カメラレンズ130及び第2カメラレンズ140を備える。カメラの残りの部分、及び、プロセッサ、メモリ、無線機等のハードウェア及びソフトウェア部品は、機器内に収容されており、図では見えない部分に収容されている。また、図の機器110は、特定の形状、比率及び外観を有し、2つ大きな面のうちの1つの特定の位置にカメラレンズが配置されているが、これは一例に過ぎず、本発明の実施形態は、この特定の物理的配置に限定されない。例えば、ある実施形態では、レンズを互いに近接して配置させて、2つの画像間の視差効果を低減させてもよい。別の実施形態では、レンズを機器の小さな面に(例えば、機器の縁部に沿って)配置させて、より長い直線的な光路となるようにしてもよい。また、別の実施形態では、レンズ130、140は、機器のディスプレイ120とは反対側の面に設けられていてもよく、ディスプレイが、ユーザーにとって、カメラのビューファインダとして機能するようにしてもよい。ある実施形態では、機器110の全体的な形状が、図示した例と全く異なっていてもよい。ある実施形態では、機器110は、主要な機能がカメラであって、付加的機能をほとんど有さないカメラデバイスであってもよい。その他の実施形態では、機器110は、カメラと関係がないその他多くの機能を備える多機能デバイスであってもよい。
【0018】
図2A〜2Dは、本発明の一実施形態に係る、2つのレンズから光学センサへと光を向けるのに使用されてもよい様々な光路を示した図である。本明細書で使用されている"レンズ"という言葉は、規定された位置に互いに配置されている光学的に反射性を有する1以上の部材を含み、これらの部材を通過した光は、特定の面に集光される。図示されているレンズ210は、断面図で3つの部材に分かれており、1つの両凸部材が、1つの両凹部材に取り付けられており、もう1つの両凸部材は、これら2つの部材から物理的に離間して配置されている。図示するように、レンズ220は、物理的に離間している2つの両凸部材を含む。これら部材はそれぞれ単独で1つのレンズと見なすこともできるが、これらレンズ部材は規定された物理的位置に互いに配置され、これらレンズ部材の集合は、同じ光線を通過させて、規定の面に集光させることができることから、本明細書では、部材の集合体を1つのレンズと称している。図示されているこれらレンズ部材の数、位置及び形状は、例に過ぎず、本発明の様々な実施形態を限定していると解釈されるべきではない。レンズに加えて、図示されていないその他の光学的構成要素がデバイスに含まれていてもよい。本明細書で使用される"光学的構成要素"という言葉は、光学的画像を特定の位置に集光させるべく、屈折及び/又は反射を通じて、光の方向を変更するあらゆる物体を含む。
【0019】
図2Aには、各レンズに対して設けられる個別の光学センサが示されている。レンズ210を通過した光は、第1光学センサ230上に焦点の合った画像を形成し、レンズ220を通過した光は、第2光学センサ240上に焦点の合った画像を形成する。ある実施形態では、光学センサは、複数の光センサからなる矩形のアレイで構成されてもよく、複数の光センサが集合的に、レンズによってアレイ上に結像された2次元画像を検出することができる。光学センサからの電気信号は、光センサによって収集された画像を表すデジタル値として格納されてもよい。
【0020】
図2Bには、レンズ210及びレンズ220の2つのレンズに対して、1つの光学センサ230が設けられており、反射面260(例えば、鏡又はプリズム)によって、どちらの画像を光学センサに入射させるかを選択できる。反射面260が、図示されるような位置に配置される場合、レンズ220からの光は、別の反射面250によって反射された後、反射面260によって反射されて、光学センサ230に到達する。一方、レンズ210からの光は、遮断されて光学センサ230には到達しない。反射面260が、もう一方の位置に配置されている場合には、レンズ210からの光が妨げられることなく光学センサ230に到達し、レンズ220及び反射面250からの光は、光学センサ230とは異なる方向へと反射される。
【0021】
図2Cは、1つの光学センサ230が示されており、図2Bに示したのと同様な2つのレンズに対して1つの光学センサ230が配置されているが、図2Bのように、可動反射デバイスを設ける必要がない。この実施形態では、物体270は、レンズ210からの光を光学センサ230へと反射するビーム結合器であってもよく、ビーム結合器はまた、レンズ220及び反射面250からの光を通過させて、光学センサ230へと入射させることができる。しかしながら、2つのレンズからの光が光学センサ230によって同時に検出されるのを防ぐためには、レンズ各々を遮光デバイス280、290(例えば、シャッター)と関連付ける必要があり、遮光デバイスよって、一方のレンズからの画像を遮断すると同時に、他方のレンズからの画像を検出させるようにする。レンズからの光の方向を反射器又はビーム結合器によって変更することにより、光路の大部分を、カメラの小さい"奥行き"に対して垂直な方向とし、この方向を変化させて、光を受光する角度に、光学センサ230を配置することによって、相対的に長い光路を非常に薄型のカメラに収めることができる。図は、実際の構成と比例するように描かれておらず、レンズを通過して反射面(又はビーム結合器)へと入射する光路の部分は、反射面(又はビーム結合器)から光学センサへと入射する光路の部分よりも短い場合がある。このL字型の光路を形成する技術は、本明細書に示されるレンズ及びセンサの構成の全てを含むあらゆる実現可能なレンズ及びセンサ構成で使用でき、薄型カメラに長い光路を収容することを可能とする。この技術を、ズームレンズではなく固定焦点距離のレンズと組み合わせることにより、カメラが2つのレンズを使用するか1つのレンズのみを使用するかに関わらず、非常に薄型のカメラを実現できる。
【0022】
図2Dには、2つのセンサ及び更なる光学部材が設けられている一面フロントレンズが示されている。この実施形態において、ビームスプリッタ275は、レンズ225からの光を分割する。光の一部は、光学センサ230へと向かい、光の別の部分は、内部光学部材227を通過して光学センサ240に入射する。内部レンズは、焦点距離を変更して、センサ240に到達する画像が、光学センサ230に到達する画像とは異なる視野角を有するようにする。この技術では、図2Aのレンズ210、220と同様な2つのレンズを使用する(一のセンサには広視野角を提供し、他方のセンサには狭視野角を提供する)が、2つのレンズは、光学部材を225において共有し、形成される画像は同軸となる(すなわち、両方の画像の中心が、撮像画像の同じ位置となる)。このように画像が同軸であるために、使用例によっては、視差を補償するために、記録画像の一方をデジタル的にシフトさせる必要がなくなる。
【0023】
いかなる実施形態においても、光路は、1回以上反射されるため(例えば、図2Bに示す直角方向への反射のように)、長い光路を、デバイス110の狭い奥行き内に収容することができる。ある実施形態では、反射面は、反射器及びレンズとして効果的に機能するべく、凸形状又は凹形状を有していてもよい。本明細書の記載の大部分が、2つのレンズを使用した例についての説明であるが、更なるレンズを使用してもよい。例えば、カメラの面において、第3レンズを機器の第3縁付近に配置してもよく、それにより更に狭視野角(高倍率の拡大)の画像を提供するべく、効果的なズームを構成できる。第3レンズを、他の2つのレンズの中心同士を結んだ軸とは、ずらして配置させることにより、より信頼性の高い立体画像距離及び移動の計算を行うことができる。
【0024】
図3は、本発明の一実施形態に係る、2つのレンズを備えるカメラの動作方法を示したフローチャートである。図示されるフローチャート300では、段階310において、第1レンズを使用して第1画像が撮像される。この例における第1レンズは、広視野角のレンズであり、撮像された第1画像は、デジタル形式で格納されることにより、記憶される。段階320において、(狭視野角を有する)第2レンズを使用して第2画像が撮像され、生成された第2画像が格納される。上記したように、一般的に、複数の画像が、僅かに時間をずらして(示された順番で又はその反対の順番で)撮像されるが、2つのカメラを有する本実施形態では、同時に撮像が行われてもよい。段階330に示されるように、記憶された画像は、様々な態様で処理されてもよく、図3の次に続く部分に記載されている。図示されている4つの処理のうちの1つ又は複数を記憶された2つの画像に使用してもよいし、4つの処理いずれも使用しなくてもよい。
【0025】
第1の処理において、格納されている2つの画像のうちの1つを、段階340で選択して、利用してもよい。例えば、ある風景の第1画像が、同じ風景の小さな部分的な画像である第2画像よりも、審美的に好ましいと人間が判断し、第1画像を更に編集して、この風景の美しい写真を生成してもよい。別の例では、花の接写画像である第2画像が、庭全体を写した第1画像よりも好ましいと人間が判断し、第2画像を更に処理するべく選択してもよい。ある例では、両方の画像が保存するのに望ましいと考えられて、更に利用されてもよい。
【0026】
第2の処理では、ズームレンズの効果をエミュレートしてもよい。第1画像のみを使用して、単純に第1画像の一部分を選択し、その部分を最大化することによって、単純なデジタルズームを形成できるが、元の画像の画素数によって、解像度が制限されてしまうため、デジタル的に拡大された第1画像は、十分な解像度を有さない場合がある。しかしながら、第2画像は、第1画像の一部分のより詳細な描写を提供することから、段階350において、第2画像のより詳細なテクスチャを、第1画像のデジタル的に拡大した部分の対応する箇所に適用してもよい。更に、第1画像の部分が、第2画像の視野角の外側に位置するが、同様なテクスチャを有する(例えば、野原の草、建物のレンガ等)と判断された場合には、これらの詳細なテクスチャを、このような領域に適用してもよい。このテクスチャマッピングを、自動的に実行してもよいし、ユーザーが実行してもよい。第2画像から、より詳細な情報を第1画像に適用した後、段階352において、修正した第1画像をトリミング及び拡大して、元の第1画像と第2画像との間の視野角である中間視野角を提供してもよい。
【0027】
段階350及び352が特定の順番で記載されたが、これらの段階は反対の順番で実行されてもよいし、350と352とを交互に切り替えて徐々に実行してもよい。例えば、広視野角レンズからの画像を、対象の領域(多くの場合、画像の中心付近)の画素解像度が受け入れられない程度に低くなるまで、デジタル的にズーム(コンピュータ的に拡大)してもよい。そして、狭視野角の画像を、広視野角の画像の対応部分に適用して、広視野角画像の画像詳細度を上げてもよい。そして、生成された画像を、更にデジタルズームしてもよい。
【0028】
図3に示す第3処理では、第1レンズと第2レンズとの間の離間距離を使用して、立体画像情報を導出する。この離間距離により、同じ被写体に対して、第1画像と第2画像との間で僅かに異なる画角となる。元の視野角も異なることから、処理は、段階360において、第2画像を第1画像の対応する部分と比較することから始まり、段階362において、僅かに異なる画角に基づいて、画像に示されている1以上の被写体についての立体視情報を導出する。立体視情報を導出する方法の1つは、第2画像におけるある被写体の位置を決定し、第1画像の対応する拡大部分での同じ被写体の位置を決定することである。2つのレンズの離間距離の情報と共に、2つの画像の間での被写体の移動距離を使用することにより、カメラから被写体までの距離を求めることができる。複数の物体に対するカメラからの距離を同様な態様で求めることができ、これら複数の物体の階層的マッピングを構築することもできる。例えば、カメラから所定の距離範囲よりも外側に位置する被写体をぼやけさせることにより、より狭い被写界深度をシミュレートすることができる。別の方法では、距離画像をGPS情報と組み合わせて、周囲部分の物理的な3Dモデルを生成してもよい。別の例では、2つ画像(第2画像及び第1画像の対応する拡大部分)を、立体視ビューワに配置して、画像内の被写体についてのデータを導出することなく、立体視画像を提供してもよい。
【0029】
第4の処理は、画像が異なる時間に撮像される場合にのみ適用され、2つの画像は、動き情報を導出するのに使用されてもよい。この情報は、カメラの動き(例えば、カメラの手振れ)を検出するのに使用されてもよく、又は、画像内の物体の動きを計算するのに使用されてもよい。両方の画像が同じ視野角を表すように、視野角を調整した後、段階370において、2つの画像における1以上の対応する物体の位置を比較して、これらの物体が両方の画像において同じ位置に位置しているかを判断する。同じ位置にない場合、段階372において、2つの画像間の位置の違いを比較し、段階374において、この位置の差分で間接的に示される動きの量を計算してもよい。この情報は、段階376において、様々な態様で利用されてもよい。
【0030】
画像全体が同じ方向に移動しているように見える場合には、この移動は、画像を撮像する間にカメラの動き(例えば、意図したパン(カメラを回しての撮影)又は意図しない手振れ)によって生じたものであると仮定する。この判断は、様々な態様で扱うことができ、これに限定されないが、例えば、1)ユーザーにカメラが動いたことを通知して、ユーザーはこれに対していかなる対処をするか決定する、2)画像の更なる処理を中止する及び/又は画像を廃棄する、3)動かないカメラで撮像された画像と等価となるまで、1つの画像をデジタル的に移動して元の位置に戻す。一方、2つの画像を撮像する間に被写体が移動しているが、2つの画像の大部分は移動していないと思われる場合には、被写体が移動したと仮定する。移動量を、例えば、側方移動のようなこの被写体についての様々な動きの情報に読み替えることができる。移動の方向は、容易に判断できる。被写体までの距離が求められると、移動量を計算することができ、この情報を、2つの画像が撮像された時間に基づいて移動の平均速度に変換することができる。その他の種類の有用な情報を、画像全体又は画像の一部の明らかな移動に基づいて、求めることができる。
【0031】
アプリケーションに応じて、その他の処理技術を使用してもよい。
【0032】
例えば、以下のような処理技術が挙げられる。
同軸画像アライメント処理−2つのレンズの離間距離が存在するため、撮像された2つの画像は同軸ではない、すなわち、一方の画像の中心に現れる光景の一部は、他方の画像では中心からずれた位置に存在すると考えられる。この画像間の相対的な移動は、被写体に対する距離によって変化し、ズームエミュレーションのようなアプリケーションの場合には、修正する必要がある場合も存在する。製造段階における許容誤差も、2つの画像間の側方移動及び回転移動を引き起こす場合がある。このような移動の修正は、画像処理の間に行われてもよい。
【0033】
光度計によるマッチング処理−画像センサ及び光学部品における製造誤差によって、輝度及び/又はクロミナンスに修正及び正規化が必要となる場合がある。
【0034】
アンチエイリアス処理−個々の画像のアンチエイリアス処理−2つの画像における離散画素構造によって、特に、2つの画像間の重複する領域において、この処理が必要となる場合がある。
【0035】
モーションブラー低減処理−これは、その他利用の中でも、ポストプロダクション技術として、動画に適用するのに有用である。高度にぶれたフレーム(画像が検出される間に生じた動きによる)は、ぶれたフレームの前後のフレームから動き補完及び位置補正されたクローンフレームに置き換えてもよい。一方のレンズからの画像における動きを、他方のレンズからの画像が異なる時間に撮像されて、ぶれていない場合には、同様な態様で修正することができる。その他のセンサのデータ(カメラが動いたことを示す加速度計データ等)を使用して、ぶれているフレームの候補を特定してもよい。
【0036】
ノイズ低減処理−低い光源レベルで撮像された画像から、目に見えるノイズを低減するのに、様々な積分法及び信号処理技術を採用してもよい。
【0037】
モザイク構築処理−複数の狭視野角のレンズを使用して複数の画像を撮像して、広視野角のレンズからの画像で描かれる領域を集合的にカバーする。前後関係を参照するのに広視野角の画像を用い、複数の狭視野角の画像をデジタル的に縫い合わせて、広視野角の画像の全体又は大半をカバーし、狭視野角の詳細度を有するデジタル画像を生成してもよい。
【0038】
ユーザーメモリ補助処理−広視野角の画像を使用して、関連する狭視野角の画像についての全体的なコンテキスト(前後関係)を提供してもよく、ユーザーは、どこで画像が撮像され、どのような環境下で撮像されたかといったような狭視野角の画像についての様々な情報を思い出すことができる。また、記憶された画像は、その他の態様においてもユーザーにとって便利である。
【0039】
本明細書に説明される様々な技術の多くは、ファインダ、撮影及び後処理の3つの異なるモードで使用されてもよい。ファインダモードでは、主要な被写体が画像(例えば、中程度にズームされた画像)として、カメラのディスプレイに素早く表示され、ユーザーが静止画又は動画のフレームを構成できるようにする。表示させる画像の品質としては、ディスプレイにおいて、画像の合成を行うのに十分な画質でさえあればよい。したがって、画像センサからの出力のサンプリングを低減させることができ、計算負荷を大幅に低減できる。ある実施形態では、1つのレンズからの画像のみをファインダモードで使用し、その画像はデジタル的にズームされたものであってもよい。ファインダモードでは、様々な動作を実行することができ、これに限定するわけではないが、例えば、1)ズーム設定を確認する、2)そのズームセッティングに最も適する画像(狭視野角画像又は広視野角画像)を選択する、3)好適な解像度で画像を撮像する、4)所望のズーム設定で、画像をデジタル的にズームさせる、5)ズームした画像を機器のディスプレイに表示させる。
【0040】
撮影モードでは、撮像された画像からの完全な出力が、適切なメタデータと共に格納されて、高画質の画像を生成するべく処理が行われる。この動作は、これに限定されるわけではないが、例えば、1)両方の画像を最大解像度で撮像する、2)画像と関連付けられたメタデータ(時間、GPSの値、画像が撮像された時の所望のズーム設定等)を格納する、3)撮像された画像を確認するための画像をファインダに生成する(典型的には、ファインダモードで表示された画像よりも高画質であるが、後処理で表示される画質よりは低い)。
【0041】
後処理モードでは、様々な画像処理方法を使用して、格納されている画像から、最終的な画像(写真)の画質を改善させることができる。このような後処理は、カメラ機器内で行われてもよいし、より処理能力の高い外部デバイスで実行されてもよい。後処理は、2つのレンズからの最初に記憶された元の画像について行われてもよいし、これら2つの記憶された画像の中間合成画像に対して後処理が行われてもよい。この動作には、これらに限定するわけではないが、例えば、以下のようなものが含まれる。1)ユーザーがズーム設定を変更(撮影時に選択されたズーム設定とは異なっていてもよい)できるようにし、新たなズーム設定で高画質の画像を生成する、2)画像記録、アンチエイリアス処理、画像全体に対する色バランス処理、グローバルテクスチャ処理、立体及び動き処理等のその他の画像処理を実行する、3)利用可能なディスプレイ画面に好適なレビュー表示を提供、4)生成した高画質画像を保存する、5)将来実行される可能性のある再処理に備えて、元のデータを記録保存する。後処理は、カメラデバイスで実行されてもよいし、別の処理デバイス又は双方の組み合わせによって実行されてもよい。
【0042】
[カメラベースのバーコード読み取り装置及びディスプレイ]
本発明の様々な実施形態は、バーコードの標準的なデジタル化された画像を撮像し、バーコードにエンコードされている数字を判断する携帯型ユーザー機器に関する。また、携帯型ユーザー機器は、自身のディスプレイ画面にバーコードを表示してもよく、バーコードは様々な目的で使用されてもよい。ある実施形態では、通常のレンズは、距離の離れた被写体に焦点を合わせるが、被写体(例えば、印刷されたバーコード)を接写できるように特別に設計されたカメラレンズを使用してもよい。本明細書においては、"結像距離"という言葉は、被写体の画像のピントが合う時、すなわち、画像が、光学センサの面で結像する時の、カメラレンズの前面と被写体との距離を表す言葉として使用される。
【0043】
図4は、本発明の一実施形態に係る、内蔵式カメラを備える多機能携帯型ユーザー機器を示した図である。図示する機器410は、ディスプレイ420及びカメラレンズ430を有する。カメラの残りの部分、及び、プロセッサ、メモリ、無線機等のハードウェア及びソフトウェア部品は、ユーザー機器内に収容されており、図では見えない部分に収容されている。また、図の機器410は、特定の形状、比率及び外観を有しているが、これは一例に過ぎず、本発明の実施形態は、この特定の物理的配置に限定されない。ある実施形態では、機器410は、主要な機能がカメラであって付加的機能をほとんど有さないカメラデバイスであってもよい。その他の実施形態では、機器410は、カメラと関係がないその他多くの機能を備える多機能デバイスであってもよい。例示を簡単にするため、ディスプレイ420及びカメラレンズ430は、デバイスの同じ面に示されているが、多くの実施形態において、レンズは、ディスプレイとは反対側の機器面に配置されている、又はデバイスの縁部に設けられており、ディスプレイがユーザーにとってのファインダとして機能するようになっている。ある実施形態では、機器の異なる位置に複数の異なるレンズが設けられていてもよく、複数のレンズの各々が、撮像を行う光学センサとして機能してもよい。
【0044】
図5は、本発明の一実施形態に係る、カメラシステムを示す図である。図示された実施形態のカメラシステム500は、主レンズ510を備え、一次レンズは、光学的画像を光学センサ520上に結像させる。主レンズ510は、1以上の光学的反射部材を含み、これらの反射部材が集合的に、離れた場所に位置する被写体の画像を、光学センサ520のレセプタ上に結像させる。センサ上に適切に画像を結像させることができる被写体までの距離の範囲(例えば、これは単なる例に過ぎないが、6フィートから無限縁までの範囲)が、カメラの主たる使用目的に合致するように、主レンズが選択されてもよい。光学センサ自体が、複数の光センサの矩形アレイを含んでもよく、光センサの各々が、検出される画像のたった1ピクセル分の光を検出する。ある実施形態では、それぞれがスペクトルにおける異なる色を検出する複数の光センサを集めて、集合的に、検出画像における一色の画素を形成してもよい。
【0045】
光学センサ520によって検出された画像は、デジタル化された画像として、メモリ530に格納される。ある実施形態では、メモリ530は、画像を格納する専用のメモリであり、別の実施形態では、メモリ530は、その他の目的にも使用される大きなメモリの一部であってもよい。また、別の実施形態では、光学センサは、受信された画像が十分に処理されるまでの格納要素として機能してもよく、この場合、受信された画像をメモリ530に格納する必要がなくなる。カメラシステム500の様々な構成要素の全体的な制御を提供する及びこれら構成要素の少なくとも一部から入力を受信するために、1以上のプロセッサ540を使用してもよい。ディスプレイ560は、様々な目的で使用してもよく、例えば、検出された画像を表示する又はすでに格納されている画像を表示するファインダとして機能させてもよい。無線機550は、アンテナ552を介して別のデバイスと無線通信を行うのに使用される。1つの目的は、画像又は画像から抽出された情報の送信であり、送信された別のデバイスは、情報を、より有用な情報を導出するのに使用することができる。様々なユーザー制御570を組み込んでもよく、カメラシステム500によってどの機能を実行させるかをユーザーが制御可能としてもよい。例えば、ユーザーは、いつ撮像を行うか、ディスプレイ560に何を表示させるか、別のデバイスにどの情報を送信するか等を決定してもよい。
【0046】
ある実施形態では、可動補助レンズ505を含めてもよく、カメラに近接する(例えば、一例に過ぎないが、10インチ未満の距離)被写体にも焦点が合うようにしてもよい。補助レンズは、様々な態様で、接写位置へと移動又は接写位置から退避してもよい。例えば、レンズ510の光軸に垂直な方向に補助レンズが(図に示すように)スライドして、接写を行いたい時には補助レンズがレンズ510の光路に入るようにし(すなわち、レンズ510を通過した光は補助レンズ505も通過する)、その他の時には光路の外に位置するように構成してもよい。別の実施形態では、補助レンズ505は、光軸と平行な方向に移動してもよく、この場合、画像は常に両方のレンズ505及び510を通過するが、異なる位置に配置されたレンズは、カメラから離れた異なる位置に存在する被写体の焦点を適切に合わせることができる。この補助レンズは、図ではレンズ510の前面に配置されているが、別の実施形態では、レンズ510の背面に配置されてもよい。一般的に、大型で複雑なレンズアセンブリが必要となる連続的なミクロからマクロの範囲の結像距離を実現するというよりも、補助レンズは2つの動作位置のみを有して、一方の動作位置ではカメラによる接写を可能とし、もう一方の位置では、距離的に離れた被写体の撮像を可能とする。様々な技術により、補助レンズを、この2つの位置に限定して物理的に安定及び静止させ、2つの位置以外の中間の位置では物理的に不安定なため、撮像を行わないようにする(すなわち、レンズは、安定的な位置のいずれか一方に移動しようとする)ことができる。機械的な止め具を使用して、補助レンズをこの2つの位置に制限してもよく、例えば、バネ荷重力により、補助レンズが中間の位置で安定してしまうのを防いでもよい。しかしながら、これは、あくまで一例である。また、レンズ系の光学特性として、補助レンズが第1位置又は第2位置のいずれにもない時には、画像の焦点が光学センサに合わないようにしてもよい。ある実施形態では、ユーザーは、手動で、補助レンズを2つの位置のどちらかに配置させるかを選択してもよい。
【0047】
別の実施形態では、レンズ510の結像距離を修正するのではなく、補助レンズ505が単独で完全に別のレンズとして、レンズ510と相互作用することなく接写を可能としてもよい。ある場合には、このような接写レンズは、それ自体に光学センサを備えてもよく、この場合、実質的に接写のための別のカメラを提供していることになる。また、別の実施形態では、補助レンズ505を省略して、レンズ510を単純に(図の矢印で示すように)光学センサ520からの異なる距離に移動させて、カメラに近い被写体でも正しく焦点が合うようにしてもよい。上記したように、レンズ510を2つの位置では物理的に安定化させ、その他の中間の位置では物理的に不安定な状態にする機械的な止め具又はその他の物理的な抑制物によって、接写位置及び通常撮像位置が規定されてもよい。
【0048】
図6は、本発明の一実施形態に係るバーコードを読み取るカメラを示した図である。ストライプ型のバーコードが示されているが、その他の種類のバーコードを使用してもよい。図7は、本発明の一実施形態に係る、カメラを使用してバーコードを読み取る方法を示したフローチャートである。以下の説明は、図6及び図7のフローチャート700の両方に適用される。
【0049】
デバイス410(カメラシステム500の構成要素を含んでいてもよい)は、最初に、段階710において、バーコードの画像を撮像するのに適切なモードにされる。モードに設定することにより、機器に対して様々な影響がある。これらに限定するわけではないが、例えば、1)補助レンズが、接写を行う位置に配置される、又は、接写に使用される別のカメラが起動される、2)バーコードをデコードするソフトウェアが起動される、及び、3)バーコード画像に焦点を合わせるのを補助する機能が起動される。段階720において、光学センサがバーコードのラベルを検出したと判断されるまで、ユーザーは、カメラをバーコードラベル610の正面に配置する。ある実施形態では、ユーザーは、この検出の判断を、ファインダに映された画像に基づいて行ってもよい。その他の実施形態では、画像中のラベル全体の存在が、自動的に検出されてもよい。
【0050】
段階730、740において、カメラは、バーコードラベルに焦点を合わせてもよい。ある実施形態では、カメラの自動焦点合わせ機能と関連していてもよい。別の実施形態では、ユーザーは、段階740に記したように、画像の焦点が合うまで、ラベルからのカメラの距離を変えてもよい。必要であれば、段階720、730及び740は、インタラクティブに及び並行して実行されてもよい。接写の性質として、カメラの視野角が狭くなることから、ユーザーは、カメラをバーコードから正確な距離に配置することが重要となる場合がある。カメラを正確な位置に配置させるには、様々な方法がある。これらに限定するわけではないが、例えば、次のような方法がある。
【0051】
1)カメラにディスプレイがファインダとして使用される場合には、ユーザーはカメラを前後に動かして、ファインダに表示される画像の焦点を合わせてもよい。すなわち、ディスプレイに表示されている画像の焦点が合っていない場合には、光学センサにおける画像も焦点が合っていない。
【0052】
2)バーコードラベルを含む表面に、カメラの正面から、単純な可視画像を投射してもよい。バーコードが正しい距離に配置されると、この可視画像がそのことを示してもよい。例えば、一実施形態では、可視光の狭い光線を2つ、集光角で投射させてもよい。反射された発光点がラベル中心の1点に集束する場合に、カメラが正しい位置に配置されて、画像も中心に配置される。これに替えて、2つの複雑な画像をバーコードラベルに投射して、カメラが正しい距離に配置されると、この2つの画像が完全に重なり合うようにしてもよい。別の実施形態では、カメラが、ラベルから適切な距離に配置された時のみ、投射された画像がラベル表面で焦点を結ぶようにしてもよい。ある実施形態では、ホログラフィックの光学要素を使用して、カメラの適切な位置を判断してもよい。
【0053】
3)カメラの正面から、音のパルス(可聴又は超音波)を発生させてもよい。反射された音波をカメラが受信するまでどのくらいかかるかによって、バーコードラベルまでの距離を特定することができる。
【0054】
バーコード画像の焦点を合わせるのに、どの焦点合わせ技術が使用されるにせよ、ある実施形態では、ユーザーに距離が正しいことを知らせる表示を行ってもよい(例えば、ピーッという音、LEDの点灯、ディスプレイに視覚的表示等)。
【0055】
カメラが正しい位置に配置されると、バーコードがカメラの視野角内に配置され、ユーザーは、段階750において撮像することができ、その画像に更に処理を行うべく、画像をメモリに格納する。必要であれば、撮像のために、バーコードをカメラからの光で照明してもよい。照明は、カメラに内蔵されているフラッシュユニット又はその他の光源によって行われてもよい。ある例では、この光源は、カメラの正しい結像距離を判断する時にも使用されてもよい。ある実施形態では、カメラは、印刷されたバーコードではなく、画面に表示されたバーコードの画像を記憶してもよい。画面に表示されたバーコードの場合は、異なる照明条件を考慮する必要があり、ディスプレイは自発光であることから、カメラから更なる照明が必要となる場合がある。また、ディスプレイが平滑で反射性を有する画面である場合は、実現可能な焦点合わせ方法が異なる場合がある。
【0056】
撮像が終わり画像が格納されると、格納された画像は、段階760において分析されてバーコードの値にデコードされ(例えば、バーコードにエンコードされていた数の列)、段階770においてこの値がメモリに格納される。バーコードのデコーディングの複雑さは、使用されるバーコードの種類に依存する。例えば、単純なストライプ形式のバーコードの場合、バーコードの各線の幅の画素数及び隣接するバーコードの線の間の距離の画素数を測定するには、1ラスタのスキャンした線を解析するだけでよい。これらの相対的な値を、エンコードされた数のシーケンスへと変換してもよい。バーコードに、認識されたバーコードの大きさが異なる場合に、差分を補償する較正フィールドが提供されている場合には、画像の回転によって生じる明確な距離補償については、補償する必要がなく、ユーザーは、撮像時には、バーコードとカメラとの間の相対的な方向の関係を気にする必要がない。しかしながら、方向が重要になる場合には、焦点合わせ補助機能によって、撮像する前に、カメラがバーコードに対して正しい方向に向けられているかを示す視覚的表示を行ってもよい。
【0057】
別の実施形態では、その他の、更に複雑な技術を使用してもよい。例えば、バーコードの中には、エンコードされた数字の列が印刷されており人間が読むことができる場合もあり、この場合には、バーコード解析は、バーコードの記号論に加えて又は記号論の解析というよりも、これら数字列のデコーディングに注目してもよい。
【0058】
バーコードが読み取られデコードされると、様々な動作を実行することができる。1つの動作として、情報が将来必要になる時又はそのような状況となるまで、格納されたコードをそのまま保持しておいてもよい。別の動作としては、バーコードによって特定された対象物についての更なる情報を検索してもよい。例えば、カメラデバイスは、段階780において、デコードしたバーコードの情報を送信してもよく、デコードした情報には、これに限定されないが、例えば、次のような情報が含まれていてもよい。1)バーコードと関連付けられた対象物の説明、2)対象物の値段、3)対象物か幾つ存在するか、4)対象物と同じものがどこに存在しているか、4)製造情報、5)対象物のサイズ及び/又は重さ、6)対象物の使用期限、7)その他。ある動作では、段階790において、この情報をカメラデバイスへと送信して、格納及び/又はユーザーに表示してもよい。
【0059】
デバイス410を使用して実装できるバーコードのその他の利用方法について記載する。図8は、本発明の一実施形態に係る、バーコードの値を使用する方法を示したフローチャートである。例えば、フローチャート800に示すように、段階810において、様々なバーコードの値をデバイス410に入力して、段階820において、別の時に表示又は比較を行うために格納してもよい。様々な実施形態において、これらの情報は、無線通信を介して受信されてもよいし、キーボード又はその他の手入力デバイスを介して入力されてもよいし、バーコードを撮像することによって入力されてもよいし、デバイスと接続可能な一時的な信号ケーブルを介して受信されてもよい。
【0060】
段階830において、上記のようにして受信されたバーコードは、これらに限定されないが、例えば、次のような利用のために、後に表示される。1)バーコードが、割引券として使用可能なクーポンを表す、2)バーコードが、公共イベントの入場券を表す、3)バーコードが、オンラインで購入した商品を表し、購入者は、近くの店で商品を受け取る、4)その他。バーコードは、様々な態様でユーザーにより提示されてもよく、これに限定されるわけではないが、例えば、以下のような態様が考えられる。1)バーコードは、ユーザーのデバイスからベンダーのデバイスへと無線で送信され、ベンダーのデータベースでコードの有効性が検証される、2)バーコードの写真がユーザーデバイスに表示され、ベンダーのデバイス(ユーザーのデバイスと同様なものであってもよい)がバーコードの写真を読み取り及びデコードする。バーコードの表示は、デバイスの主ディスプレイで行われるが、別の実施形態では、副ディスプレイに表示されてもよい。バーコードのデータがどのように伝送されるかに関わらず、ベンダーのデバイスは、自身のデータベースを介してコードの有効性を検証してもよい。
【0061】
段階840において、ユーザーは、デバイスを使用してその他のバーコードを読み取ってもよく、段階850において、格納されているバーコードと比較してもよい。例えば、1つ前の段落に記載されたベンダーは、次のような態様で動作してもよい。ユーザーは、自身が探している商品のバーコードを格納し、棚に陳列されている箱のバーコードを読み取って、探している商品がその箱の中に含まれているかを検証してもよい。現実的なアプリケーションとして、本明細書に記載したような様々なバーコードの利用が考えられ、ユーザーは、特別な商業用のバーコード機器を購入する必要がない。
【0062】
上記の説明は、例示することを目的としており、限定することを意図していない。当業者であれば、様々な変形例が考えうる。これら変形例についても、本発明の様々な実施形態に含まれることを意図しており、本発明は、添付の特許請求の範囲によってのみ、その範囲が制限される。

【特許請求の範囲】
【請求項1】
カメラを備える装置であって、
前記カメラは、
レンズと、
前記レンズからの光学画像を検出する光学センサと、
デバイスと前記光学センサとの間の光路の一部が、前記レンズと前記デバイスとの間の前記光路の一部に対して略垂直となるように、前記レンズと前記光学センサとの間の光路の方向を変える前記デバイスと
を有する装置。
【請求項2】
前記デバイスは、反射器である請求項1に記載の装置。
【請求項3】
前記デバイスは、ビーム結合器である請求項1に記載の装置。

【図1】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図2C】
image rotate

【図2D】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−108515(P2012−108515A)
【公開日】平成24年6月7日(2012.6.7)
【国際特許分類】
【外国語出願】
【出願番号】特願2011−253917(P2011−253917)
【出願日】平成23年11月21日(2011.11.21)
【分割の表示】特願2012−511802(P2012−511802)の分割
【原出願日】平成21年12月30日(2009.12.30)
【出願人】(591003943)インテル・コーポレーション (1,101)
【Fターム(参考)】