深さ映像獲得装置および方法
深さ映像獲得装置が提供される。第１光照射部は第１照射光を照射し、第２光照射部は第２照射光を照射し、受光部は、前記第１照射光による第１反射光および前記第２照射光による第２反射光を受光する。一方、処理部は、前記受光部の第１画素から提供される電荷量に基づいて前記第１画素に対応する深さ値を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
最近、３Ｄ情報（３−ｄｉｍｅｎｓｉｏｎａｌ ｉｎｆｏｒｍａｔｉｏｎ）の応用分野が拡大している。一般的に３Ｄ情報は、形状（ｇｅｏｍｅｔｒｙ）情報とカラー（ｃｏｌｏｒ）情報に構成される。
【背景技術】
【０００２】
形状情報は、深さ（ｄｅｐｔｈ）映像を用いて獲得することができる。また、前記深さ映像を取得する方法として、深さカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）のようなハードウェア装備を介して直接的に取得する方法と、コンピュータビジョン（ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ）技術と呼ばれるソフトウェア的な映像処理によって間接的に取得する方法がある。
【０００３】
一方、知られた深さカメラの深さ映像獲得方法には、照射された光が対象体に反射して戻ってくる時間（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔと、ＴＯＦ）を測定することが広く用いられている。
【０００４】
前記ＴＯＦを測定する方式には、ＳＰＡＤのように光に極めて敏感な素子を用いて反射光が受光部に達する瞬間を検出し、これを用いてＴＯＦを測定する直接（ｄｉｒｅｃｔ）方式と、フォトダイオードを用いて変調されたパルス光が反射してくる場合、位相差を電荷量として検出して算出する間接（ｉｎｄｉｒｅｃｔ）方式がある。
【０００５】
前記間接方式において、パルス幅が大きい光を用いる場合は最大の測定距離が増加するが、深さ映像の精密度は低くなり、パルス幅が小さい光を用いる場合は深さ映像の精密度は高まるが、最大の測定距離が短くなる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明に係る一部の実施形態は、最大の測定距離を拡張しつつ深さ映像の精密度を高める深さ映像獲得装置を提供することにある。
【０００７】
本発明の他の実施形態は、深さ映像の精密度の犠牲なしで最大の測定距離を拡張する深さ映像獲得方法を提供することにある。
【課題を解決するための手段】
【０００８】
前記の目的を達成するために、本発明の一側面によれば、第１照射光を照射する第１光照射部と、第２照射光を照射する第２光照射部と、前記第１照射光による第１反射光および前記第２照射光による第２反射光を受光する受光部と、前記受光部の第１画素から提供される電荷量に基づいて、前記第１画素に対応する深さ値を算出する処理部とを含む深さ映像獲得装置が提供される。
【０００９】
本発明の他の一側面によれば、前記第１照射光のパルス幅と前記第２照射光のパルス幅とは互いに異なる。
【００１０】
本発明の他の一側面によれば、前記第１光照射部および前記第２光照射部は、前記受光部を中心に互いに対称して配置される。
【００１１】
本発明の他の一側面によれば、前記深さ映像獲得装置は、前記第１光照射部、前記第２光照射部、および前記受光部のうち少なくとも１つの駆動を制御する制御部をさらに含む。
【００１２】
本発明の他の一側面によれば、前記制御部は、第１モードにおいて、前記第１照射光と同位相である第１制御信号を前記受光部に提供することによって前記受光部を駆動し、第２モードにおいて、前記第１照射光と第１位相差を有する第２制御信号を前記受光部に提供することによって前記受光部を駆動する。
【００１３】
本発明の他の一側面によれば、前記深さ映像獲得装置の前記処理部は、前記第１電荷量および前記第２電荷量に基づいて第１ＴＯＦ値を算出し、前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅よりも小さいか同一である場合、前記第１ＴＯＦ値に基づいて前記第１画素に対応する深さ値を算出し、前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅のうち少なくとも１つよりも大きい場合、前記第１電荷量および前記第２電荷量に基づいて第２ＴＯＦ値を算出し、前記第２ＴＯＦ値に基づいて前記受光部の第１画素に対応する深さ値を算出する。
【００１４】
本発明の他の一側面によれば、第１照射光および第２照射光を照射するステップと、前記第１照射光および前記第２照射光によって発生した電荷量を測定するステップとを含む深さ映像獲得方法が提供される。
【００１５】
本発明の他の一側面によれば、前記第１照射光のパルス幅と前記第２照射光のパルス幅とは互いに異なる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る深さ映像獲得装置を示す。
【図２】本発明の一実施形態に係る第１ＴＯＦにおける照射光および反射光を示す。
【図３】本発明の一実施形態に係る第２ＴＯＦにおける照射光および反射光を示す。
【図４】本発明の一実施形態に係る第１ＴＯＦにおいて、第１制御信号による反射光測定を示す。
【図５】本発明の一実施形態に係る第２ＴＯＦにおいて、第１制御信号による反射光測定を示す。
【図６】本発明の一実施形態に係るＴＯＦによる第１電荷量の変化を示す。
【図７】本発明の一実施形態に係る第１ＴＯＦにおいて、第２制御信号による反射光測定を示す。
【図８】本発明の一実施形態に係る第２ＴＯＦにおいて、第２制御信号による反射光測定を示す。
【図９】本発明の一実施形態に係るＴＯＦによる第２電荷量の変化を示す。
【図１０】本発明の一実施形態に係る深さ映像獲得装置の光照射部および受光部を示す。
【図１１】本発明の一実施形態に係る入力深さ映像獲得方法を示す。
【発明を実施するための形態】
【００１７】
以下、添付図面および添付図面に記載された内容を参照して本発明の実施形態を詳細に説明するが、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。
【００１８】
図１は、本発明の一実施形態に係る深さ映像獲得装置を示す。第１光照射部１１０において第１照射光１１２が照射される。前記第１照射光は第１パルス幅を有する。第２光照射部１２０において第２照射光１２２が照射される。前記第２照射光は第２パルス幅を有する。本発明の一実施形態によれば、前記第１照射光のパルス幅と前記第２照射光のパルス幅とは互いに異なる。前記第１受光部および／または前記第２受光部は赤外線ＬＥＤであってもよい。
【００１９】
受光部１３０は、第１照射光１１２に対する第１反射光（図示せず）および第２照射光１２２に対する第２反射光（図示せず）を受光する。本発明の一実施形態によれば、受光部１３０は複数の画素に構成される。前記各画素は光が受光される場合、光の量および／または持続時間に比例する電荷量を放出する。
【００２０】
処理部１４０は、受光部１３０の各画素から提供される電荷量に基づいて前記各画素に対応する深さ値を算出する。
【００２１】
制御部１５０は、第１光照射部１１０に前記第１照射光のパルス幅および／または位相を調整する制御信号１１１を提供する。また、制御部１５０は、第２光照射部１２０に第２照射光のパルス幅および／または位相を調整する制御信号１２１を提供する。また、制御部１５０は、受光部１３０に制御信号１３１を提供する。受光部１３０は、制御信号１３１によって駆動されるが、本発明の一実施形態によれば、制御信号１３１が高いレベル（ｈｉｇｈ ｌｅｖｅｌ）である場合に、受光部１３０が光を受光して電荷量を放出する。したがって、制御信号１３１は、電子シャッター（ｅｌｅｃｔｒｏｎｉｃ ｓｈｕｔｔｅｒ）機能を有する。
【００２２】
図２は、本発明の一実施形態に係る第１ＴＯＦにおける照射光および反射光を示す。第１光照射部１１０から照射された第１照射光２１０のパルス幅２０１は、第２光照射部１２０から照射された第２照射光２２０のパルス幅よりも大きい。制御信号２００は、第１照射光２１０と同位相（ｉｎ ｐｈａｓｅ）であり、パルス幅が同一である。制御信号２００が高いレベルである場合、受光部１３０が作動して第１照射光２１０に対する第１反射光２１１および第２照射光２２０に対する第２反射光２２１を受光する。
【００２３】
受光部１３０は、受光する光の量に比例する電荷量を放出する。受光部１３０が受光する第１反射光２１１は、第１照射光２１０と第１ＴＯＦ２３０との位相差を有する。したがって、制御信号２００によって駆動される間、受光部１３０が前記第１反射光２１１を受光して放出する電荷量は領域２１２の広さに比例する。一方、領域２１３の広さに比例する電荷量は、制御信号２００によって駆動される間に前記受光部１３０によって検出されない。
【００２４】
また、受光部１３０が受光する第２反射光２２１は、第２照射光２２０と第１ＴＯＦ２３０との位相差を有する。したがって、前記制御信号２００によって駆動される間、受光部１３０が第２反射光２２１を受光して放出する電荷量は領域２２２の広さに比例する。一方、領域２２３の広さに比例する電荷量は、制御信号２００によって駆動される間に受光部１３０によって検出されない。
【００２５】
図３は、本発明の一実施形態に係る第２ＴＯＦにおける照射光および反射光を示す。
【００２６】
第１照射光３１０は図２の第１照射光２１０に対応し、第１照射光のパルス幅２０１を有する。また、第２照射光３２０は第２照射光２２０に対応し、第２照射光のパルス幅２０２を有する。制御信号３００は制御信号２００に対応する。
【００２７】
受光部１３０が受光する第１反射光３１１は、第１照射光３１０と第２ＴＯＦ３３０との位相差を有する。したがって、制御信号３００によって駆動される間、受光部１３０が第１反射光３１１を受光して放出する電荷量は領域３１２の広さに比例する。一方、領域３１３の広さに比例する電荷量は、制御信号３００によって駆動される間に受光部１３０によって検出されない。
【００２８】
しかし、第２ＴＯＦ３３０は、第２照射光のパルス幅２０２よりも大きい。したがって、第１反射光３１１とは異なり、第２反射光３２１の領域３２２の広さに比例する電荷量は制御信号３００によって駆動される間に受光部１３０によって検出されない。
【００２９】
図４は、本発明の一実施形態に係る第１ＴＯＦにおいて、第１制御信号による反射光測定を示す。
【００３０】
本発明の一実施形態によれば、第１照射光４１０は、第２照射光に比べて２倍のパルス幅を有する。制御部１５０が第１モードに提供する第１制御信号４００は、第１照射光４１０とパルス幅とが同一であり、同位相である。第１ＴＯＦ４３０は、第２照射光４２０のパルス幅よりも小さい。第１制御信号４００によって駆動される受光部１３０が放出する電荷量は、次の式（１）〜式（３）によって求められる。
【００３１】
ＱＡ＝ａ＊（２ＴＯＴ−ＴＯＦ） （但し、ＴＯＦ＜＝ＴＯＴ） （１）
式（１）において、ＱＡは第１制御信号４００によって駆動される間、受光部１３０が第１反射光４１１を受光して放出する電荷量であり、領域４１２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数であり、第１照射光および第２照射光の強度が同じであると仮定し、反射率、量子効率（ｑｕａｎｔｕｍ ｅｆｆｉｃｉｅｎｃｙ）などを含む。一方、ＴＯＴは第２照射光４２０のパルス幅であり、２ＴＯＴは第１照射光４１０のパルス幅である。
【００３２】
ＱＢ＝ａ＊（ＴＯＴ−ＴＯＦ） （但し、ＴＯＦ＜＝ＴＯＴ） （２）
式（２）において、ＱＢは第１制御信号４００によって駆動される間、受光部１３０が第２反射光４２１を受光して放出する電荷量であり、領域４２２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数である。
【００３３】
Ｑ１＝ＱＡ＋ＱＢ
＝ａ＊（３ＴＯＴ−２ＴＯＦ） （但し、ＴＯＦ＜＝ＴＯＴ） （３）
式（３）において、Ｑ１は第１制御信号４００によって駆動される間、受光部１３０が放出する電荷量であり、領域４１２および領域４２２の広さの和に比例する。
【００３４】
図５は、本発明の一実施形態に係る第２ＴＯＦにおいて、第１制御信号による反射光測定を示す。
【００３５】
第１照射光５１０は、図４の第１照射光４１０に対応して、第２照射光５２０に比べて２倍のパルス幅を有する。第１制御信号４００は、第１照射光５１０とパルス幅が同一であり、同位相である。本実施形態において、第２ＴＯＦ５３０は第２照射光５２０のパルス幅よりも大きい。第１制御信号４００によって駆動される間に受光部１３０が放出する電荷量は次の式（４）〜式（６）によって求められる。
【００３６】
ＱＡ＝ａ＊（２ＴＯＴ−ＴＯＦ） （但し、ＴＯＦ＞ＴＯＴ） （４）
式（４）において、ＱＡは第１制御信号４００によって駆動される間、受光部１３０が第１反射光５１１を受光して放出する電荷量であり、領域５１２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数である。一方、ＴＯＴは第２照射光５２０のパルス幅であり、２ＴＯＴは第１照射光５１０のパルス幅である。
【００３７】
ＱＢ＝０ （但し、ＴＯＦ＞ＴＯＴ） （５）
第２反射光５２１は第１制御信号４００によって駆動される間、受光部１３０で検出されない。したがって、式（５）においてＱＢは０である。
【００３８】
Ｑ１＝ＱＡ＋ＱＢ
＝ａ＊（２ＴＯＴ−ＴＯＦ） （但し、ＴＯＦ＞ＴＯＴ） （６）
式（６）において、Ｑ１は第１制御信号４００によって駆動される間、受光部１３０が放出する電荷量であり、式（４）のＱＡと同一である。本実施形態から分かるように、第２照射光５２０のパルス幅よりも大きいＴＯＦでは、第２反射光は第１制御信号４００によって駆動される間に受光部１３０で検出されない。
【００３９】
図６は、本発明の一実施形態に係るＴＯＦによる第１電荷量の変化を示す。ｘ軸はＴＯＦ値に対応し、ｙ軸は第１制御信号４００によって駆動される間、受光部１３０で検出される電荷量に対応する。一方、グラフの中で６１０はＱＡ値の変化、６２０はＱＢ値の変化、また、６３０は第１電荷量Ｑ１値の変化に対応する。
【００４０】
一般的に前記間接方式において、物体の反射度に関係なく、深さ映像を獲得するために前記第１制御信号とは異なる第２制御信号による反射光を測定してもよい。これは前記数の比例定数ａに現れる。
【００４１】
図７は、本発明の一実施形態に係る第１ＴＯＦにおいて、第２制御信号による反射光測定を示す。本発明の一実施形態によれば、第１照射光７１０は、図４に示す第１照射光４１０に対応する。したがって、第２照射光７２０に比べて２倍のパルス幅を有する。また、制御部１５０が第２モードに提供する第２制御信号７００は第１照射光７１０とパルス幅が同一であり、１８０度の反対位相（ｏｕｔ ｐｈａｓｅ）である。第１ＴＯＦ４３０は、第２照射光７２０のパルス幅よりも小さい。第２制御信号７００によって駆動される受光部１３０が放出する電荷量は、次の式（７）〜式（９）によって求められる。
【００４２】
ＱＡ＝ａ＊ＴＯＦ （但し、ＴＯＦ＜＝ＴＯＴ） （７）
式（７）において、ＱＡは第２制御信号７００によって駆動される間、受光部１３０が第１反射光７１１を受光して放出する電荷量であり、領域７１２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数である。一方、ＴＯＴは第２照射光７２０のパルス幅である。
【００４３】
ＱＢ＝ａ＊ＴＯＦ （但し、ＴＯＦ＜＝ＴＯＴ） （８）
式（８）において、ＱＢは第２制御信号７００によって駆動される間、受光部１３０が第２反射光７２１を受光して放出する電荷量であり、領域７２２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数である。
【００４４】
Ｑ２＝ＱＡ＋ＱＢ
＝ａ＊２ＴＯＦ （但し、ＴＯＦ＜＝ＴＯＴ） （９）
式（９）において、Ｑ２は第２制御信号７００によって駆動される間、受光部１３０が放出する電荷量であり、領域７１２および領域７２２の広さの和に比例する。
【００４５】
図８は、本発明の一実施形態に係る第２ＴＯＦにおいて、第２制御信号による反射光測定を示す。
【００４６】
第１照射光８１０は、図７に示す第１照射光７１０に対応し、第２照射光８２０に比べて２倍のパルス幅を有する。第２制御信号７００は、第１照射光８１０とパルス幅が同一であり、１８０度の反対位相である。本実施形態において第２ＴＯＦ５３０は、第２照射光８２０のパルス幅よりも大きい。第２制御信号７００によって駆動される間に受光部１３０が放出する電荷量は、次の式（１０）〜式（１２）によって求められる。
【００４７】
ＱＡ＝ａ＊ＴＯＦ （但し、ＴＯＦ＞ＴＯＴ） （１０）
式（１０）において、ＱＡは第２制御信号７００によって駆動される間、受光部１３０が第１反射光８１１を受光して放出する電荷量であり、領域８１２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数である。一方、ＴＯＴは第２照射光８２０のパルス幅である。
【００４８】
ＱＢ＝ａ＊ＴＯＴ （但し、ＴＯＦ＞ＴＯＴ） （１１）
式（１１）において、ＱＢは第２制御信号７００によって駆動される間、受光部１３０が第２反射光８２１を受光して放出する電荷量であり、領域８２２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数である。式（５）とは異なってＱＢは０ではない。
【００４９】
Ｑ２＝ＱＡ＋ＱＢ
＝ａ＊ＴＯＦ＋ａＴＯＴ （但し、ＴＯＦ＞ＴＯＴ） （１２）
式（１２）において、Ｑ２は第２制御信号７００によって駆動される間、受光部１３０が放出する電荷量であり、領域８１２および領域８２２の広さの和に比例する。
【００５０】
図９は、本発明の一実施形態に係るＴＯＦによる第２電荷量の変化を示す。ｘ軸はＴＯＦ値に対応し、ｙ軸は第２制御信号７００によって駆動される間、受光部１３０で検出される電荷量に対応する。一方、グラフの中で９１０はＱＡ値の変化、９２０はＱＢ値の変化、また、９３０は第２電荷量Ｑ２値の変化に対応する。
【００５１】
本発明の一実施形態によって式（３）と式（９）とを組み合わせれば、ＴＯＦ＜＝ＴＯＴである場合、第１電荷量Ｑ１、第２電荷量Ｑ２、およびＴＯＦ値の関係は次の式（１３）によって求められる。
【００５２】
ＴＯＦ＝１．５＊ＴＯＴ＊Ｑ２／（Ｑ１＋Ｑ２） （但し、ＴＯＦ＜＝ＴＯＴ） （１３）
本発明の更なる実施形態によって式（６）と式（１２）とを組み合わせれば、ＴＯＦ＞ＴＯＴである場合、第１電荷量Ｑ１、第２電荷量Ｑ２、およびＴＯＦ値の関係は次の式（１４）によって求められる。
【００５３】
ＴＯＦ＝ＴＯＴ＊（２Ｑ２−Ｑ１）／（Ｑ１＋Ｑ２） （但し、ＴＯＦ＞ＴＯＴ） （１４）
また、深さ値の深さ（Ｄｅｐｔｈ）は、
Ｄｅｐｔｈ＝ｃ＊ＴＯＦ／２ （但し、ｃは光速）である。 （１５）
本発明の更なる実施形態によれば、図４〜図９で示す第１照射光、第２照射光、および制御信号は、他の波形、例えば正弦波または三角波である。また、第１照射光と第２照射光のパルス幅も多様であってもよい。ただし、このような応用例では、前記数が変更されるべきであり、これは本技術分野における通常の知識を有する者であれば、容易に導き出すことができる。
【００５４】
また、図４〜図９の実施形態では、第１制御信号は第１照射光と位相であり、第２制御信号は第１照射光と１８０度の位相差を有すると提示したが、本発明は、これに限定されない。例えば、第１制御信号は第１照射光と同位相であり、第２制御信号は第１照射光と９０度の位相差を有するよう調整してもよい。この場合、前記数は当業者の技術レベルで容易に変更され得る。
【００５５】
図１０は、本発明の一実施形態に係る深さ映像獲得装置の光照射部および受光部を示す。第１光照射部１０１０および第２光照射部１０２０は各々赤外線ＬＥＤであってもよい。一方、ＬＥＤ１つが供給できる光の強度が制限的であることから、図１０に示すように複数のＬＥＤを導入してもよく、この場合に第１光照射部のＬＥＤ１０１０と第２光照射部のＬＥＤ１０２０は、受光部１０３０を基準にして互いに対称して配置される。
【００５６】
第１光照射部１０１０および第２光照射部１０２０から照射される光のパルス幅を調整してもよい。また、照射される光の強度は前記ＬＥＤの数を調整して多様に変更してもよい。この場合、前記数は当業者の技術レベルで容易に変更され得る。
【００５７】
本発明の更なる実施形態によれば、第１光照射部１０１０、第２光照射部１０２０の他に第３光照射部など（図示せず）を導入し、３つ以上の互いに異なるパルス幅を有する光照射部を導入する。この場合、前記数を変更することによって受光部が放出する電荷量、ＴＯＦおよび深さ値を求めてもよい。
【００５８】
図１１は、本発明の一実施形態に係る入力深さ映像獲得方法を示す。
【００５９】
ステップ１１１０において、第１照射光および第２照射光が照射される。本発明の一実施形態によれば、前記第１照射光および前記第２照射光は矩形波であり、前記第１照射光は前記第２照射光に比べて２倍のパルス幅を有する。
【００６０】
ただし、応用例によっては、上記のように前記第１照射光、前記第２照射光の波形、パルス幅を多様に変更してもよい。
【００６１】
ステップ１１２０において、第１制御信号によって駆動される間、受光部１３０の第１画素から放出される第１電荷量Ｑ１が測定される。前記第１制御信号は前記第１照射光とパルス幅が同一であり、同位相である。
【００６２】
ステップ１１３０において、第２制御信号によって駆動される間、受光部１３０の第１画素から放出される第２電荷量Ｑ２が測定される。前記第２制御信号は、第１制御信号と１８０度の位相差を有する。ただし、本発明の他の実施形態では前記位相差は変更され得る。一方、前記第１電荷量および／または前記第２電荷量は処理部によって測定してもよく、他の応用例では受光部の第１画素で測定され、Ｑ１、Ｑ２値が処理部に提供されてもよい。
【００６３】
ステップ１１４０において、ＴＯＦ＜＝ＴＯＴという仮定の下で、式（１３）によって第１ＴＯＦが算出される。したがって、第１ＴＯＦ＝１．５＊ＴＯＴ＊Ｑ２／（Ｑ１＋Ｑ２）である。ここで、ＴＯＴは第２照射光のパルス幅である。
【００６４】
ステップ１１５０において、前記仮定が妥当であるかを判断する。すなわち、ステップ１１４０で算出された前記第１ＴＯＦ値が、前記第１照射光および前記第２照射光のパルス幅よりも小さいか否かを判断する。
【００６５】
もし、ステップ１１５０における判断結果がＹＥＳである場合、ステップ１１６０で最終のＴＯＦ値が前記第１ＴＯＦ値に決定される。
【００６６】
また、ステップ１１９０において、第１画素の深さ値が式（１５）によって決定される。
【００６７】
しかし、ステップ１１５０における判断結果がＮＯである場合には、前記仮定は誤ったものである。したがって、ＴＯＦ＞ＴＯＴの場合である。したがって、ステップ１１７０において、式（１４）によって第２ＴＯＦが算出される。したがって、第２ＴＯＦ＝ＴＯＴ＊（２Ｑ２−Ｑ１）／（Ｑ１＋Ｑ２）である。
【００６８】
この場合、ステップ１１８０において最終のＴＯＦ値が前記第２ＴＯＦ値に決定される。
【００６９】
また、ステップ１１９０において第１画素の深さ値が算出される。前記ステップを受光部１３０の複数の画素に対して繰り返せば、複数の画素に構成された深さ映像が獲得される。
【００７０】
本発明に係る映像処理方法は、多様なコンピュータ手段によって実現することのできるプログラム命令形態によって具現され、コンピュータ読み出し可能媒体に記録することができる。前記コンピュータ読み出し可能媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は本発明のために特別に設計して構成されたものであるか、コンピュータソフトウェアの当業者に公知されて使用可能になものであってもよい。コンピュータ読み出し可能記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなくインタープリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上記のハードウェア装置は、本発明の一実施形態の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。
【００７１】
上述したように、本発明では具体的な構成要素などの特定事項と限定される実施形態および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供したものに過ぎず、本発明は、前記の実施形態に限定されず、本発明が属する分野で通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。したがって、本発明の思想は説明した実施形態に限定して決定されてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等または等価的変形のある全てのものは本発明の思想の範疇に属するといえる。
【技術分野】
【０００１】
最近、３Ｄ情報（３−ｄｉｍｅｎｓｉｏｎａｌ ｉｎｆｏｒｍａｔｉｏｎ）の応用分野が拡大している。一般的に３Ｄ情報は、形状（ｇｅｏｍｅｔｒｙ）情報とカラー（ｃｏｌｏｒ）情報に構成される。
【背景技術】
【０００２】
形状情報は、深さ（ｄｅｐｔｈ）映像を用いて獲得することができる。また、前記深さ映像を取得する方法として、深さカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）のようなハードウェア装備を介して直接的に取得する方法と、コンピュータビジョン（ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ）技術と呼ばれるソフトウェア的な映像処理によって間接的に取得する方法がある。
【０００３】
一方、知られた深さカメラの深さ映像獲得方法には、照射された光が対象体に反射して戻ってくる時間（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔと、ＴＯＦ）を測定することが広く用いられている。
【０００４】
前記ＴＯＦを測定する方式には、ＳＰＡＤのように光に極めて敏感な素子を用いて反射光が受光部に達する瞬間を検出し、これを用いてＴＯＦを測定する直接（ｄｉｒｅｃｔ）方式と、フォトダイオードを用いて変調されたパルス光が反射してくる場合、位相差を電荷量として検出して算出する間接（ｉｎｄｉｒｅｃｔ）方式がある。
【０００５】
前記間接方式において、パルス幅が大きい光を用いる場合は最大の測定距離が増加するが、深さ映像の精密度は低くなり、パルス幅が小さい光を用いる場合は深さ映像の精密度は高まるが、最大の測定距離が短くなる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明に係る一部の実施形態は、最大の測定距離を拡張しつつ深さ映像の精密度を高める深さ映像獲得装置を提供することにある。
【０００７】
本発明の他の実施形態は、深さ映像の精密度の犠牲なしで最大の測定距離を拡張する深さ映像獲得方法を提供することにある。
【課題を解決するための手段】
【０００８】
前記の目的を達成するために、本発明の一側面によれば、第１照射光を照射する第１光照射部と、第２照射光を照射する第２光照射部と、前記第１照射光による第１反射光および前記第２照射光による第２反射光を受光する受光部と、前記受光部の第１画素から提供される電荷量に基づいて、前記第１画素に対応する深さ値を算出する処理部とを含む深さ映像獲得装置が提供される。
【０００９】
本発明の他の一側面によれば、前記第１照射光のパルス幅と前記第２照射光のパルス幅とは互いに異なる。
【００１０】
本発明の他の一側面によれば、前記第１光照射部および前記第２光照射部は、前記受光部を中心に互いに対称して配置される。
【００１１】
本発明の他の一側面によれば、前記深さ映像獲得装置は、前記第１光照射部、前記第２光照射部、および前記受光部のうち少なくとも１つの駆動を制御する制御部をさらに含む。
【００１２】
本発明の他の一側面によれば、前記制御部は、第１モードにおいて、前記第１照射光と同位相である第１制御信号を前記受光部に提供することによって前記受光部を駆動し、第２モードにおいて、前記第１照射光と第１位相差を有する第２制御信号を前記受光部に提供することによって前記受光部を駆動する。
【００１３】
本発明の他の一側面によれば、前記深さ映像獲得装置の前記処理部は、前記第１電荷量および前記第２電荷量に基づいて第１ＴＯＦ値を算出し、前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅よりも小さいか同一である場合、前記第１ＴＯＦ値に基づいて前記第１画素に対応する深さ値を算出し、前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅のうち少なくとも１つよりも大きい場合、前記第１電荷量および前記第２電荷量に基づいて第２ＴＯＦ値を算出し、前記第２ＴＯＦ値に基づいて前記受光部の第１画素に対応する深さ値を算出する。
【００１４】
本発明の他の一側面によれば、第１照射光および第２照射光を照射するステップと、前記第１照射光および前記第２照射光によって発生した電荷量を測定するステップとを含む深さ映像獲得方法が提供される。
【００１５】
本発明の他の一側面によれば、前記第１照射光のパルス幅と前記第２照射光のパルス幅とは互いに異なる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る深さ映像獲得装置を示す。
【図２】本発明の一実施形態に係る第１ＴＯＦにおける照射光および反射光を示す。
【図３】本発明の一実施形態に係る第２ＴＯＦにおける照射光および反射光を示す。
【図４】本発明の一実施形態に係る第１ＴＯＦにおいて、第１制御信号による反射光測定を示す。
【図５】本発明の一実施形態に係る第２ＴＯＦにおいて、第１制御信号による反射光測定を示す。
【図６】本発明の一実施形態に係るＴＯＦによる第１電荷量の変化を示す。
【図７】本発明の一実施形態に係る第１ＴＯＦにおいて、第２制御信号による反射光測定を示す。
【図８】本発明の一実施形態に係る第２ＴＯＦにおいて、第２制御信号による反射光測定を示す。
【図９】本発明の一実施形態に係るＴＯＦによる第２電荷量の変化を示す。
【図１０】本発明の一実施形態に係る深さ映像獲得装置の光照射部および受光部を示す。
【図１１】本発明の一実施形態に係る入力深さ映像獲得方法を示す。
【発明を実施するための形態】
【００１７】
以下、添付図面および添付図面に記載された内容を参照して本発明の実施形態を詳細に説明するが、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。
【００１８】
図１は、本発明の一実施形態に係る深さ映像獲得装置を示す。第１光照射部１１０において第１照射光１１２が照射される。前記第１照射光は第１パルス幅を有する。第２光照射部１２０において第２照射光１２２が照射される。前記第２照射光は第２パルス幅を有する。本発明の一実施形態によれば、前記第１照射光のパルス幅と前記第２照射光のパルス幅とは互いに異なる。前記第１受光部および／または前記第２受光部は赤外線ＬＥＤであってもよい。
【００１９】
受光部１３０は、第１照射光１１２に対する第１反射光（図示せず）および第２照射光１２２に対する第２反射光（図示せず）を受光する。本発明の一実施形態によれば、受光部１３０は複数の画素に構成される。前記各画素は光が受光される場合、光の量および／または持続時間に比例する電荷量を放出する。
【００２０】
処理部１４０は、受光部１３０の各画素から提供される電荷量に基づいて前記各画素に対応する深さ値を算出する。
【００２１】
制御部１５０は、第１光照射部１１０に前記第１照射光のパルス幅および／または位相を調整する制御信号１１１を提供する。また、制御部１５０は、第２光照射部１２０に第２照射光のパルス幅および／または位相を調整する制御信号１２１を提供する。また、制御部１５０は、受光部１３０に制御信号１３１を提供する。受光部１３０は、制御信号１３１によって駆動されるが、本発明の一実施形態によれば、制御信号１３１が高いレベル（ｈｉｇｈ ｌｅｖｅｌ）である場合に、受光部１３０が光を受光して電荷量を放出する。したがって、制御信号１３１は、電子シャッター（ｅｌｅｃｔｒｏｎｉｃ ｓｈｕｔｔｅｒ）機能を有する。
【００２２】
図２は、本発明の一実施形態に係る第１ＴＯＦにおける照射光および反射光を示す。第１光照射部１１０から照射された第１照射光２１０のパルス幅２０１は、第２光照射部１２０から照射された第２照射光２２０のパルス幅よりも大きい。制御信号２００は、第１照射光２１０と同位相（ｉｎ ｐｈａｓｅ）であり、パルス幅が同一である。制御信号２００が高いレベルである場合、受光部１３０が作動して第１照射光２１０に対する第１反射光２１１および第２照射光２２０に対する第２反射光２２１を受光する。
【００２３】
受光部１３０は、受光する光の量に比例する電荷量を放出する。受光部１３０が受光する第１反射光２１１は、第１照射光２１０と第１ＴＯＦ２３０との位相差を有する。したがって、制御信号２００によって駆動される間、受光部１３０が前記第１反射光２１１を受光して放出する電荷量は領域２１２の広さに比例する。一方、領域２１３の広さに比例する電荷量は、制御信号２００によって駆動される間に前記受光部１３０によって検出されない。
【００２４】
また、受光部１３０が受光する第２反射光２２１は、第２照射光２２０と第１ＴＯＦ２３０との位相差を有する。したがって、前記制御信号２００によって駆動される間、受光部１３０が第２反射光２２１を受光して放出する電荷量は領域２２２の広さに比例する。一方、領域２２３の広さに比例する電荷量は、制御信号２００によって駆動される間に受光部１３０によって検出されない。
【００２５】
図３は、本発明の一実施形態に係る第２ＴＯＦにおける照射光および反射光を示す。
【００２６】
第１照射光３１０は図２の第１照射光２１０に対応し、第１照射光のパルス幅２０１を有する。また、第２照射光３２０は第２照射光２２０に対応し、第２照射光のパルス幅２０２を有する。制御信号３００は制御信号２００に対応する。
【００２７】
受光部１３０が受光する第１反射光３１１は、第１照射光３１０と第２ＴＯＦ３３０との位相差を有する。したがって、制御信号３００によって駆動される間、受光部１３０が第１反射光３１１を受光して放出する電荷量は領域３１２の広さに比例する。一方、領域３１３の広さに比例する電荷量は、制御信号３００によって駆動される間に受光部１３０によって検出されない。
【００２８】
しかし、第２ＴＯＦ３３０は、第２照射光のパルス幅２０２よりも大きい。したがって、第１反射光３１１とは異なり、第２反射光３２１の領域３２２の広さに比例する電荷量は制御信号３００によって駆動される間に受光部１３０によって検出されない。
【００２９】
図４は、本発明の一実施形態に係る第１ＴＯＦにおいて、第１制御信号による反射光測定を示す。
【００３０】
本発明の一実施形態によれば、第１照射光４１０は、第２照射光に比べて２倍のパルス幅を有する。制御部１５０が第１モードに提供する第１制御信号４００は、第１照射光４１０とパルス幅とが同一であり、同位相である。第１ＴＯＦ４３０は、第２照射光４２０のパルス幅よりも小さい。第１制御信号４００によって駆動される受光部１３０が放出する電荷量は、次の式（１）〜式（３）によって求められる。
【００３１】
ＱＡ＝ａ＊（２ＴＯＴ−ＴＯＦ） （但し、ＴＯＦ＜＝ＴＯＴ） （１）
式（１）において、ＱＡは第１制御信号４００によって駆動される間、受光部１３０が第１反射光４１１を受光して放出する電荷量であり、領域４１２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数であり、第１照射光および第２照射光の強度が同じであると仮定し、反射率、量子効率（ｑｕａｎｔｕｍ ｅｆｆｉｃｉｅｎｃｙ）などを含む。一方、ＴＯＴは第２照射光４２０のパルス幅であり、２ＴＯＴは第１照射光４１０のパルス幅である。
【００３２】
ＱＢ＝ａ＊（ＴＯＴ−ＴＯＦ） （但し、ＴＯＦ＜＝ＴＯＴ） （２）
式（２）において、ＱＢは第１制御信号４００によって駆動される間、受光部１３０が第２反射光４２１を受光して放出する電荷量であり、領域４２２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数である。
【００３３】
Ｑ１＝ＱＡ＋ＱＢ
＝ａ＊（３ＴＯＴ−２ＴＯＦ） （但し、ＴＯＦ＜＝ＴＯＴ） （３）
式（３）において、Ｑ１は第１制御信号４００によって駆動される間、受光部１３０が放出する電荷量であり、領域４１２および領域４２２の広さの和に比例する。
【００３４】
図５は、本発明の一実施形態に係る第２ＴＯＦにおいて、第１制御信号による反射光測定を示す。
【００３５】
第１照射光５１０は、図４の第１照射光４１０に対応して、第２照射光５２０に比べて２倍のパルス幅を有する。第１制御信号４００は、第１照射光５１０とパルス幅が同一であり、同位相である。本実施形態において、第２ＴＯＦ５３０は第２照射光５２０のパルス幅よりも大きい。第１制御信号４００によって駆動される間に受光部１３０が放出する電荷量は次の式（４）〜式（６）によって求められる。
【００３６】
ＱＡ＝ａ＊（２ＴＯＴ−ＴＯＦ） （但し、ＴＯＦ＞ＴＯＴ） （４）
式（４）において、ＱＡは第１制御信号４００によって駆動される間、受光部１３０が第１反射光５１１を受光して放出する電荷量であり、領域５１２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数である。一方、ＴＯＴは第２照射光５２０のパルス幅であり、２ＴＯＴは第１照射光５１０のパルス幅である。
【００３７】
ＱＢ＝０ （但し、ＴＯＦ＞ＴＯＴ） （５）
第２反射光５２１は第１制御信号４００によって駆動される間、受光部１３０で検出されない。したがって、式（５）においてＱＢは０である。
【００３８】
Ｑ１＝ＱＡ＋ＱＢ
＝ａ＊（２ＴＯＴ−ＴＯＦ） （但し、ＴＯＦ＞ＴＯＴ） （６）
式（６）において、Ｑ１は第１制御信号４００によって駆動される間、受光部１３０が放出する電荷量であり、式（４）のＱＡと同一である。本実施形態から分かるように、第２照射光５２０のパルス幅よりも大きいＴＯＦでは、第２反射光は第１制御信号４００によって駆動される間に受光部１３０で検出されない。
【００３９】
図６は、本発明の一実施形態に係るＴＯＦによる第１電荷量の変化を示す。ｘ軸はＴＯＦ値に対応し、ｙ軸は第１制御信号４００によって駆動される間、受光部１３０で検出される電荷量に対応する。一方、グラフの中で６１０はＱＡ値の変化、６２０はＱＢ値の変化、また、６３０は第１電荷量Ｑ１値の変化に対応する。
【００４０】
一般的に前記間接方式において、物体の反射度に関係なく、深さ映像を獲得するために前記第１制御信号とは異なる第２制御信号による反射光を測定してもよい。これは前記数の比例定数ａに現れる。
【００４１】
図７は、本発明の一実施形態に係る第１ＴＯＦにおいて、第２制御信号による反射光測定を示す。本発明の一実施形態によれば、第１照射光７１０は、図４に示す第１照射光４１０に対応する。したがって、第２照射光７２０に比べて２倍のパルス幅を有する。また、制御部１５０が第２モードに提供する第２制御信号７００は第１照射光７１０とパルス幅が同一であり、１８０度の反対位相（ｏｕｔ ｐｈａｓｅ）である。第１ＴＯＦ４３０は、第２照射光７２０のパルス幅よりも小さい。第２制御信号７００によって駆動される受光部１３０が放出する電荷量は、次の式（７）〜式（９）によって求められる。
【００４２】
ＱＡ＝ａ＊ＴＯＦ （但し、ＴＯＦ＜＝ＴＯＴ） （７）
式（７）において、ＱＡは第２制御信号７００によって駆動される間、受光部１３０が第１反射光７１１を受光して放出する電荷量であり、領域７１２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数である。一方、ＴＯＴは第２照射光７２０のパルス幅である。
【００４３】
ＱＢ＝ａ＊ＴＯＦ （但し、ＴＯＦ＜＝ＴＯＴ） （８）
式（８）において、ＱＢは第２制御信号７００によって駆動される間、受光部１３０が第２反射光７２１を受光して放出する電荷量であり、領域７２２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数である。
【００４４】
Ｑ２＝ＱＡ＋ＱＢ
＝ａ＊２ＴＯＦ （但し、ＴＯＦ＜＝ＴＯＴ） （９）
式（９）において、Ｑ２は第２制御信号７００によって駆動される間、受光部１３０が放出する電荷量であり、領域７１２および領域７２２の広さの和に比例する。
【００４５】
図８は、本発明の一実施形態に係る第２ＴＯＦにおいて、第２制御信号による反射光測定を示す。
【００４６】
第１照射光８１０は、図７に示す第１照射光７１０に対応し、第２照射光８２０に比べて２倍のパルス幅を有する。第２制御信号７００は、第１照射光８１０とパルス幅が同一であり、１８０度の反対位相である。本実施形態において第２ＴＯＦ５３０は、第２照射光８２０のパルス幅よりも大きい。第２制御信号７００によって駆動される間に受光部１３０が放出する電荷量は、次の式（１０）〜式（１２）によって求められる。
【００４７】
ＱＡ＝ａ＊ＴＯＦ （但し、ＴＯＦ＞ＴＯＴ） （１０）
式（１０）において、ＱＡは第２制御信号７００によって駆動される間、受光部１３０が第１反射光８１１を受光して放出する電荷量であり、領域８１２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数である。一方、ＴＯＴは第２照射光８２０のパルス幅である。
【００４８】
ＱＢ＝ａ＊ＴＯＴ （但し、ＴＯＦ＞ＴＯＴ） （１１）
式（１１）において、ＱＢは第２制御信号７００によって駆動される間、受光部１３０が第２反射光８２１を受光して放出する電荷量であり、領域８２２の広さに比例する。また、ａは本発明の一実施形態に係る比例定数である。式（５）とは異なってＱＢは０ではない。
【００４９】
Ｑ２＝ＱＡ＋ＱＢ
＝ａ＊ＴＯＦ＋ａＴＯＴ （但し、ＴＯＦ＞ＴＯＴ） （１２）
式（１２）において、Ｑ２は第２制御信号７００によって駆動される間、受光部１３０が放出する電荷量であり、領域８１２および領域８２２の広さの和に比例する。
【００５０】
図９は、本発明の一実施形態に係るＴＯＦによる第２電荷量の変化を示す。ｘ軸はＴＯＦ値に対応し、ｙ軸は第２制御信号７００によって駆動される間、受光部１３０で検出される電荷量に対応する。一方、グラフの中で９１０はＱＡ値の変化、９２０はＱＢ値の変化、また、９３０は第２電荷量Ｑ２値の変化に対応する。
【００５１】
本発明の一実施形態によって式（３）と式（９）とを組み合わせれば、ＴＯＦ＜＝ＴＯＴである場合、第１電荷量Ｑ１、第２電荷量Ｑ２、およびＴＯＦ値の関係は次の式（１３）によって求められる。
【００５２】
ＴＯＦ＝１．５＊ＴＯＴ＊Ｑ２／（Ｑ１＋Ｑ２） （但し、ＴＯＦ＜＝ＴＯＴ） （１３）
本発明の更なる実施形態によって式（６）と式（１２）とを組み合わせれば、ＴＯＦ＞ＴＯＴである場合、第１電荷量Ｑ１、第２電荷量Ｑ２、およびＴＯＦ値の関係は次の式（１４）によって求められる。
【００５３】
ＴＯＦ＝ＴＯＴ＊（２Ｑ２−Ｑ１）／（Ｑ１＋Ｑ２） （但し、ＴＯＦ＞ＴＯＴ） （１４）
また、深さ値の深さ（Ｄｅｐｔｈ）は、
Ｄｅｐｔｈ＝ｃ＊ＴＯＦ／２ （但し、ｃは光速）である。 （１５）
本発明の更なる実施形態によれば、図４〜図９で示す第１照射光、第２照射光、および制御信号は、他の波形、例えば正弦波または三角波である。また、第１照射光と第２照射光のパルス幅も多様であってもよい。ただし、このような応用例では、前記数が変更されるべきであり、これは本技術分野における通常の知識を有する者であれば、容易に導き出すことができる。
【００５４】
また、図４〜図９の実施形態では、第１制御信号は第１照射光と位相であり、第２制御信号は第１照射光と１８０度の位相差を有すると提示したが、本発明は、これに限定されない。例えば、第１制御信号は第１照射光と同位相であり、第２制御信号は第１照射光と９０度の位相差を有するよう調整してもよい。この場合、前記数は当業者の技術レベルで容易に変更され得る。
【００５５】
図１０は、本発明の一実施形態に係る深さ映像獲得装置の光照射部および受光部を示す。第１光照射部１０１０および第２光照射部１０２０は各々赤外線ＬＥＤであってもよい。一方、ＬＥＤ１つが供給できる光の強度が制限的であることから、図１０に示すように複数のＬＥＤを導入してもよく、この場合に第１光照射部のＬＥＤ１０１０と第２光照射部のＬＥＤ１０２０は、受光部１０３０を基準にして互いに対称して配置される。
【００５６】
第１光照射部１０１０および第２光照射部１０２０から照射される光のパルス幅を調整してもよい。また、照射される光の強度は前記ＬＥＤの数を調整して多様に変更してもよい。この場合、前記数は当業者の技術レベルで容易に変更され得る。
【００５７】
本発明の更なる実施形態によれば、第１光照射部１０１０、第２光照射部１０２０の他に第３光照射部など（図示せず）を導入し、３つ以上の互いに異なるパルス幅を有する光照射部を導入する。この場合、前記数を変更することによって受光部が放出する電荷量、ＴＯＦおよび深さ値を求めてもよい。
【００５８】
図１１は、本発明の一実施形態に係る入力深さ映像獲得方法を示す。
【００５９】
ステップ１１１０において、第１照射光および第２照射光が照射される。本発明の一実施形態によれば、前記第１照射光および前記第２照射光は矩形波であり、前記第１照射光は前記第２照射光に比べて２倍のパルス幅を有する。
【００６０】
ただし、応用例によっては、上記のように前記第１照射光、前記第２照射光の波形、パルス幅を多様に変更してもよい。
【００６１】
ステップ１１２０において、第１制御信号によって駆動される間、受光部１３０の第１画素から放出される第１電荷量Ｑ１が測定される。前記第１制御信号は前記第１照射光とパルス幅が同一であり、同位相である。
【００６２】
ステップ１１３０において、第２制御信号によって駆動される間、受光部１３０の第１画素から放出される第２電荷量Ｑ２が測定される。前記第２制御信号は、第１制御信号と１８０度の位相差を有する。ただし、本発明の他の実施形態では前記位相差は変更され得る。一方、前記第１電荷量および／または前記第２電荷量は処理部によって測定してもよく、他の応用例では受光部の第１画素で測定され、Ｑ１、Ｑ２値が処理部に提供されてもよい。
【００６３】
ステップ１１４０において、ＴＯＦ＜＝ＴＯＴという仮定の下で、式（１３）によって第１ＴＯＦが算出される。したがって、第１ＴＯＦ＝１．５＊ＴＯＴ＊Ｑ２／（Ｑ１＋Ｑ２）である。ここで、ＴＯＴは第２照射光のパルス幅である。
【００６４】
ステップ１１５０において、前記仮定が妥当であるかを判断する。すなわち、ステップ１１４０で算出された前記第１ＴＯＦ値が、前記第１照射光および前記第２照射光のパルス幅よりも小さいか否かを判断する。
【００６５】
もし、ステップ１１５０における判断結果がＹＥＳである場合、ステップ１１６０で最終のＴＯＦ値が前記第１ＴＯＦ値に決定される。
【００６６】
また、ステップ１１９０において、第１画素の深さ値が式（１５）によって決定される。
【００６７】
しかし、ステップ１１５０における判断結果がＮＯである場合には、前記仮定は誤ったものである。したがって、ＴＯＦ＞ＴＯＴの場合である。したがって、ステップ１１７０において、式（１４）によって第２ＴＯＦが算出される。したがって、第２ＴＯＦ＝ＴＯＴ＊（２Ｑ２−Ｑ１）／（Ｑ１＋Ｑ２）である。
【００６８】
この場合、ステップ１１８０において最終のＴＯＦ値が前記第２ＴＯＦ値に決定される。
【００６９】
また、ステップ１１９０において第１画素の深さ値が算出される。前記ステップを受光部１３０の複数の画素に対して繰り返せば、複数の画素に構成された深さ映像が獲得される。
【００７０】
本発明に係る映像処理方法は、多様なコンピュータ手段によって実現することのできるプログラム命令形態によって具現され、コンピュータ読み出し可能媒体に記録することができる。前記コンピュータ読み出し可能媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は本発明のために特別に設計して構成されたものであるか、コンピュータソフトウェアの当業者に公知されて使用可能になものであってもよい。コンピュータ読み出し可能記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなくインタープリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上記のハードウェア装置は、本発明の一実施形態の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。
【００７１】
上述したように、本発明では具体的な構成要素などの特定事項と限定される実施形態および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供したものに過ぎず、本発明は、前記の実施形態に限定されず、本発明が属する分野で通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。したがって、本発明の思想は説明した実施形態に限定して決定されてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等または等価的変形のある全てのものは本発明の思想の範疇に属するといえる。
【特許請求の範囲】
【請求項１】
第１照射光を照射する第１光照射部と、
第２照射光を照射する第２光照射部と、
前記第１照射光による第１反射光および前記第２照射光による第２反射光を受光する受光部と、
前記受光部の第１画素から提供される電荷量に基づいて、前記第１画素に対応する深さ値を算出する処理部と、
を含む深さ映像獲得装置。
【請求項２】
前記第１光照射部および前記第２光照射部は、赤外線発光ダイオードを含む請求項１に記載の深さ映像獲得装置。
【請求項３】
前記受光部は、受光した光の量に比例して電荷を放出する複数のピクセルを含む請求項１に記載の深さ映像獲得装置。
【請求項４】
前記第１照射光のパルス幅と前記第２照射光のパルス幅とが互いに異なる請求項１に記載の深さ映像獲得装置。
【請求項５】
前記第１光照射部および前記第２光照射部は、前記受光部を中心に互いに対称して配置される請求項１に記載の深さ映像獲得装置。
【請求項６】
前記第１光照射部、前記第２光照射部、および前記受光部のうち少なくとも１つの駆動を制御する制御部をさらに含む請求項１に記載の深さ映像獲得装置。
【請求項７】
前記制御部は、
第１モードにおいて、前記第１照射光と同位相である第１制御信号を前記受光部に提供することによって前記受光部を駆動し、
第２モードにおいて、前記第１照射光と第１位相差を有する第２制御信号を前記受光部に提供することによって前記受光部を駆動する請求項６に記載の深さ映像獲得装置。
【請求項８】
前記第１制御信号と前記第２制御信号は１８０度の位相差を有する請求項７に記載の深さ映像獲得装置。
【請求項９】
前記処理部は、前記第１モードにおいて前記受光部の第１画素から提供される第１電荷量、および前記第２モードにおいて前記第１画素から提供される第２電荷量に基づいて、前記受光部の第１画素に対応する深さ値を算出する請求項７に記載の深さ映像獲得装置。
【請求項１０】
前記処理部は、
前記第１電荷量および前記第２電荷量に基づいて第１ＴＯＦ値を算出し、
前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅よりも小さいか同一である場合、前記第１ＴＯＦ値に基づいて前記第１画素に対応する深さ値を算出し、
前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅のうち少なくとも１つよりも大きい場合、前記第１電荷量および前記第２電荷量に基づいて第２ＴＯＦ値を算出し、前記第２ＴＯＦ値に基づいて前記受光部の第１画素に対応する深さ値を算出する請求項９に記載の深さ映像獲得装置。
【請求項１１】
前記受光部の第１画素に対応する深さ値＝ｃ＊（ＴＯＦｖａｌｕｅ）／２の式を満足し、ＴＯＦは、前記第１ＴＯＦまたは前記第２ＴＯＦのうちいずれか１つであり、ｃは光の速度の定数である請求項１０に記載の深さ映像獲得装置。
【請求項１２】
前記第２照射光のパルス幅は、前記第１照射光のパルス幅の２倍である請求項１に記載の深さ映像獲得装置。
【請求項１３】
第１照射光および第２照射光を照射するステップと、
前記第１照射光による反射光によって発生した電荷量および前記第２照射光の反射光によって発生した電荷量を測定するステップと、
を含む深さ映像獲得方法。
【請求項１４】
前記第１照射光のパルス幅と前記第２照射光のパルス幅とが互いに異なる請求項１３に記載の深さ映像獲得方法。
【請求項１５】
前記電荷量を測定するステップは、
前記第１照射光と同位相である第１制御信号に基づいて第１電荷量を測定するステップと、
前記第１照射光と第１位相差を有する第２制御信号に基づいて第２電荷量を測定するステップと、
を含む請求項１３に記載の深さ映像獲得方法。
【請求項１６】
前記第１位相差は１８０度である請求項１５に記載の深さ映像獲得方法。
【請求項１７】
前記第２制御信号は、前記第１制御信号と１８０度の位相差を有する請求項１５に記載の深さ映像獲得方法。
【請求項１８】
前記第１電荷量および前記第２電荷量に基づいて第１画素に対応する深さ値を算出するステップをさらに含む請求項１５に記載の深さ映像獲得方法。
【請求項１９】
前記第１画素に対応する深さ値を算出するステップは、
前記第１電荷量および第２電荷量に基づいて第１ＴＯＦ値を算出するステップと、
前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅よりも小さいか同一である場合、前記第１ＴＯＦ値に基づいて前記第１画素に対応する深さ値を算出するステップと、
前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅のうち少なくとも１つよりも大きい場合、前記第１電荷量および前記第２電荷量に基づいて第２ＴＯＦ値を算出し、前記第２ＴＯＦ値に基づいて前記第１画素に対応する深さ値を算出するステップと、
を含む請求項１８に記載の深さ映像獲得方法。
【請求項２０】
第１照射光および第２照射光を照射するステップと、
前記第１照射光および前記第２照射光の反射光によって発生した電荷量を測定するステップと、
を含む深さ映像獲得方法を行うプログラムを含むコンピュータで読み出し可能な記録媒体。
【請求項２１】
前記第１照射光のパルス幅と前記第２照射光のパルス幅とが互いに異なる請求項２０に記載の深さ映像獲得方法を行うプログラムを含むコンピュータで読み出し可能な記録媒体。
【請求項２２】
前記電荷量を測定するステップは、
前記第１照射光と同位相である第１制御信号に基づいて第１電荷量を測定するステップと、
前記第１照射光と第１位相差を有する第２制御信号に基づいて第２電荷量を測定するステップと、
を含む請求項２０に記載の深さ映像獲得方法を行うプログラムを含むコンピュータで読み出し可能な記録媒体。
【請求項２３】
前記第１電荷量および前記第２電荷量に基づいて第１画素に対応する深さ値を算出するステップをさらに含む請求項２２に記載の深さ映像獲得方法を行うプログラムを含むコンピュータで読み出し可能な記録媒体。
【請求項２４】
前記第１ＴＯＦが前記第１照射光のパルス幅および前記第２照射光のパルス幅と同一であるか、それよりも小さい場合、前記第１画素に対応する深さ値＝ｃ＊（１．５＊ＴＯＴ＊Ｑ２／（Ｑ１＋Ｑ２））／２であり、
前記第１ＴＯＦが前記第１照射光のパルス幅および前記第２照射光のパルス幅のうちいずれか１つよりも大きい場合、前記第１画素に対応する深さ値＝ｃ＊（ＴＯＴ＊（２Ｑ２−Ｑ１／（Ｑ１＋Ｑ２））／２であり、
ｃは光の速度の定数であり、ＴＯＴは前記第２照射光のパルス幅であり、Ｑ１は前記第１電荷量であり、Ｑ２は前記第２電荷量である請求項２３に記載の深さ映像獲得方法を行うプログラムを含むコンピュータで読み出し可能な記録媒体。
【請求項２５】
前記第１画素に対応する深さ値を算出するステップは、
前記第１電荷量および第２電荷量に基づいて第１ＴＯＦ値を算出するステップと、
前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅よりも小さいか同一である場合、前記第１ＴＯＦ値に基づいて前記第１画素に対応する深さ値を算出するステップと、
前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅のうち少なくとも１つよりも大きい場合、前記第１電荷量および前記第２電荷量に基づいて第２ＴＯＦ値を算出するステップと、
前記第２ＴＯＦ値に基づいて前記第１画素に対応する深さ値を算出するステップと、
を含む請求項２３に記載の深さ映像獲得方法を行うプログラムを含むコンピュータで読み出し可能な記録媒体。
【請求項１】
第１照射光を照射する第１光照射部と、
第２照射光を照射する第２光照射部と、
前記第１照射光による第１反射光および前記第２照射光による第２反射光を受光する受光部と、
前記受光部の第１画素から提供される電荷量に基づいて、前記第１画素に対応する深さ値を算出する処理部と、
を含む深さ映像獲得装置。
【請求項２】
前記第１光照射部および前記第２光照射部は、赤外線発光ダイオードを含む請求項１に記載の深さ映像獲得装置。
【請求項３】
前記受光部は、受光した光の量に比例して電荷を放出する複数のピクセルを含む請求項１に記載の深さ映像獲得装置。
【請求項４】
前記第１照射光のパルス幅と前記第２照射光のパルス幅とが互いに異なる請求項１に記載の深さ映像獲得装置。
【請求項５】
前記第１光照射部および前記第２光照射部は、前記受光部を中心に互いに対称して配置される請求項１に記載の深さ映像獲得装置。
【請求項６】
前記第１光照射部、前記第２光照射部、および前記受光部のうち少なくとも１つの駆動を制御する制御部をさらに含む請求項１に記載の深さ映像獲得装置。
【請求項７】
前記制御部は、
第１モードにおいて、前記第１照射光と同位相である第１制御信号を前記受光部に提供することによって前記受光部を駆動し、
第２モードにおいて、前記第１照射光と第１位相差を有する第２制御信号を前記受光部に提供することによって前記受光部を駆動する請求項６に記載の深さ映像獲得装置。
【請求項８】
前記第１制御信号と前記第２制御信号は１８０度の位相差を有する請求項７に記載の深さ映像獲得装置。
【請求項９】
前記処理部は、前記第１モードにおいて前記受光部の第１画素から提供される第１電荷量、および前記第２モードにおいて前記第１画素から提供される第２電荷量に基づいて、前記受光部の第１画素に対応する深さ値を算出する請求項７に記載の深さ映像獲得装置。
【請求項１０】
前記処理部は、
前記第１電荷量および前記第２電荷量に基づいて第１ＴＯＦ値を算出し、
前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅よりも小さいか同一である場合、前記第１ＴＯＦ値に基づいて前記第１画素に対応する深さ値を算出し、
前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅のうち少なくとも１つよりも大きい場合、前記第１電荷量および前記第２電荷量に基づいて第２ＴＯＦ値を算出し、前記第２ＴＯＦ値に基づいて前記受光部の第１画素に対応する深さ値を算出する請求項９に記載の深さ映像獲得装置。
【請求項１１】
前記受光部の第１画素に対応する深さ値＝ｃ＊（ＴＯＦｖａｌｕｅ）／２の式を満足し、ＴＯＦは、前記第１ＴＯＦまたは前記第２ＴＯＦのうちいずれか１つであり、ｃは光の速度の定数である請求項１０に記載の深さ映像獲得装置。
【請求項１２】
前記第２照射光のパルス幅は、前記第１照射光のパルス幅の２倍である請求項１に記載の深さ映像獲得装置。
【請求項１３】
第１照射光および第２照射光を照射するステップと、
前記第１照射光による反射光によって発生した電荷量および前記第２照射光の反射光によって発生した電荷量を測定するステップと、
を含む深さ映像獲得方法。
【請求項１４】
前記第１照射光のパルス幅と前記第２照射光のパルス幅とが互いに異なる請求項１３に記載の深さ映像獲得方法。
【請求項１５】
前記電荷量を測定するステップは、
前記第１照射光と同位相である第１制御信号に基づいて第１電荷量を測定するステップと、
前記第１照射光と第１位相差を有する第２制御信号に基づいて第２電荷量を測定するステップと、
を含む請求項１３に記載の深さ映像獲得方法。
【請求項１６】
前記第１位相差は１８０度である請求項１５に記載の深さ映像獲得方法。
【請求項１７】
前記第２制御信号は、前記第１制御信号と１８０度の位相差を有する請求項１５に記載の深さ映像獲得方法。
【請求項１８】
前記第１電荷量および前記第２電荷量に基づいて第１画素に対応する深さ値を算出するステップをさらに含む請求項１５に記載の深さ映像獲得方法。
【請求項１９】
前記第１画素に対応する深さ値を算出するステップは、
前記第１電荷量および第２電荷量に基づいて第１ＴＯＦ値を算出するステップと、
前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅よりも小さいか同一である場合、前記第１ＴＯＦ値に基づいて前記第１画素に対応する深さ値を算出するステップと、
前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅のうち少なくとも１つよりも大きい場合、前記第１電荷量および前記第２電荷量に基づいて第２ＴＯＦ値を算出し、前記第２ＴＯＦ値に基づいて前記第１画素に対応する深さ値を算出するステップと、
を含む請求項１８に記載の深さ映像獲得方法。
【請求項２０】
第１照射光および第２照射光を照射するステップと、
前記第１照射光および前記第２照射光の反射光によって発生した電荷量を測定するステップと、
を含む深さ映像獲得方法を行うプログラムを含むコンピュータで読み出し可能な記録媒体。
【請求項２１】
前記第１照射光のパルス幅と前記第２照射光のパルス幅とが互いに異なる請求項２０に記載の深さ映像獲得方法を行うプログラムを含むコンピュータで読み出し可能な記録媒体。
【請求項２２】
前記電荷量を測定するステップは、
前記第１照射光と同位相である第１制御信号に基づいて第１電荷量を測定するステップと、
前記第１照射光と第１位相差を有する第２制御信号に基づいて第２電荷量を測定するステップと、
を含む請求項２０に記載の深さ映像獲得方法を行うプログラムを含むコンピュータで読み出し可能な記録媒体。
【請求項２３】
前記第１電荷量および前記第２電荷量に基づいて第１画素に対応する深さ値を算出するステップをさらに含む請求項２２に記載の深さ映像獲得方法を行うプログラムを含むコンピュータで読み出し可能な記録媒体。
【請求項２４】
前記第１ＴＯＦが前記第１照射光のパルス幅および前記第２照射光のパルス幅と同一であるか、それよりも小さい場合、前記第１画素に対応する深さ値＝ｃ＊（１．５＊ＴＯＴ＊Ｑ２／（Ｑ１＋Ｑ２））／２であり、
前記第１ＴＯＦが前記第１照射光のパルス幅および前記第２照射光のパルス幅のうちいずれか１つよりも大きい場合、前記第１画素に対応する深さ値＝ｃ＊（ＴＯＴ＊（２Ｑ２−Ｑ１／（Ｑ１＋Ｑ２））／２であり、
ｃは光の速度の定数であり、ＴＯＴは前記第２照射光のパルス幅であり、Ｑ１は前記第１電荷量であり、Ｑ２は前記第２電荷量である請求項２３に記載の深さ映像獲得方法を行うプログラムを含むコンピュータで読み出し可能な記録媒体。
【請求項２５】
前記第１画素に対応する深さ値を算出するステップは、
前記第１電荷量および第２電荷量に基づいて第１ＴＯＦ値を算出するステップと、
前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅よりも小さいか同一である場合、前記第１ＴＯＦ値に基づいて前記第１画素に対応する深さ値を算出するステップと、
前記第１ＴＯＦ値が前記第１照射光のパルス幅および前記第２照射光のパルス幅のうち少なくとも１つよりも大きい場合、前記第１電荷量および前記第２電荷量に基づいて第２ＴＯＦ値を算出するステップと、
前記第２ＴＯＦ値に基づいて前記第１画素に対応する深さ値を算出するステップと、
を含む請求項２３に記載の深さ映像獲得方法を行うプログラムを含むコンピュータで読み出し可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公表番号】特表２０１２−５０１４３５（Ｐ２０１２−５０１４３５Ａ）
【公表日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１１−５２４８８５（Ｐ２０１１−５２４８８５）
【出願日】平成２１年５月２９日（２００９．５．２９）
【国際出願番号】ＰＣＴ／ＫＲ２００９／００２８７０
【国際公開番号】ＷＯ２０１０／０２４５１６
【国際公開日】平成２２年３月４日（２０１０．３．４）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
【公表日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２１年５月２９日（２００９．５．２９）
【国際出願番号】ＰＣＴ／ＫＲ２００９／００２８７０
【国際公開番号】ＷＯ２０１０／０２４５１６
【国際公開日】平成２２年３月４日（２０１０．３．４）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
[ Back to top ]