説明

カメラモジュール及びその画像補正方法

【課題】2次元映像または3次元立体映像を獲得するために、2つのカメラで撮影された映像が一致するように補正できるカメラモジュールを提供する。
【解決手段】OIS(Optical Image Stabilization)部を備えているメインカメラ及びサブカメラのそれぞれで映像を撮影する段階と、メインカメラで撮影された映像から特定物体の第1映像を抽出し、サブカメラで撮影された映像から特定物体の第2映像を抽出する段階と、メインカメラのOIS部を駆動させて、第1映像が第2映像に一致するように補正する段階と、を含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラモジュール及びその画像補正方法に関するものである。
【背景技術】
【0002】
一般に、2つのカメラで被写体を撮像する技術が、3次元立体映像を獲得するために用いられている。
【0003】
ここで、3次元立体映像とは、3次元空間に存在するかのように見える映像のことをいう。立体映像を提供するために、実際に3次元映像を再現する方法も試みられているが、左右の目にそれぞれ左右方向から見たのと同じ映像を提供して両目に視差を与え、それらを合成して一つの立体映像として見えるようにする方法が広く用いられている。
【0004】
そして、左右両方向の映像を分離して左右のそれぞれの目に見えるようにする方法には、偏光メガネ、色フィルターメガネまたはスクリーンなどが用いられる。
【0005】
また、3次元効果を極大化した映像とするためには、両カメラ間の相対的な位置が重要であり、両カメラが定められた位置に置かれていないと、チルト及び回転などの影響により3次元効果が低下することがある。
【0006】
今のところ、工程の精度の問題から、両カメラを全くチルト及び回転の影響を受けない範囲に配置することは困難である。
【0007】
このような2つのカメラの一例として、「3次元駆動方式の両眼式カメラ装置」が開示されている(例えば特許文献1)が、それにおける種々の問題点を解決するための技術開発及び研究は未だ進行中である。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】大韓民国特許公開第2007-0074996号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明は、2つのカメラで撮影された映像を、OIS(Optical Image Stabilization)部を駆動して一致させることに関する。
【課題を解決するための手段】
【0010】
本発明は、OIS(Optical Image Stabilization)部を備えており、被写体を撮影するメインカメラと、前記メインカメラから離隔しており、前記被写体を撮影するサブカメラと、を含む、カメラモジュールを提供する。
【0011】
そして、本発明の一実施例は、前記2次元映像または3次元立体映像を獲得するために、前記メインカメラ及び前記サブカメラの駆動を制御する制御部をさらに含むことができる。
【0012】
また、前記メインカメラ及び前記サブカメラで撮影された映像において、前記被写体の位置が不一致する場合に、制御信号を出力するイメージ信号処理部と、前記イメージ信号処理部から出力された制御信号を受信して、前記メインカメラ及び前記サブカメラで撮影された映像が一致するように、前記OIS部を駆動するOIS駆動部と、をさらに含むことができる。
【0013】
前記OIS部は、前記メインカメラをチルト及び回転させて、前記メインカメラ及び前記サブカメラで撮影された映像を一致させることができる。
【0014】
また、前記OIS部は、前記メインカメラと前記サブカメラとが離隔している距離だけ、前記メインカメラ及び前記サブカメラで撮影された映像がシフトしたことを考慮して、前記メインカメラ及び前記サブカメラで撮影された映像を一致させることができる。
【0015】
本発明は、OIS(Optical Image Stabilization)部を備えているメインカメラ及びサブカメラのそれぞれで映像を撮影する段階と、前記メインカメラで撮影された映像から特定物体の第1映像を抽出し、前記サブカメラで撮影された映像から前記特定物体の第2映像を抽出する段階と、前記メインカメラのOIS部を駆動して、前記第1映像が第2映像に一致するように補正する段階と、を含むカメラモジュールの画像補正方法を提供する。
【0016】
そして、本発明の一実施例において、前記OIS部は、前記メインカメラをチルト及び回転させて、前記第1映像を第2映像に一致させることができる。
【0017】
また、前記メインカメラ及び前記サブカメラは互いに離隔しており、前記第1映像が第2映像に一致するように補正する段階は、前記メインカメラと前記サブカメラとが離隔している距離だけ、前記第1映像及び第2映像がシフトしたことを考慮して、前記第1映像が第2映像に一致するように補正する段階でよい。
【0018】
本発明は、OIS(Optical Image Stabilization)部を備えているメインカメラ及びサブカメラのそれぞれで被写体の映像を撮影する段階と、前記メインカメラのOIS部を駆動して、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とが一致するように補正する段階と、を含むカメラモジュールの画像補正方法を提供する。
【0019】
そして、本発明の一実施例は、OIS部を備えているメインカメラ及びサブカメラのそれぞれで被写体の映像を撮影する段階と、前記メインカメラのOIS部を駆動して、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とが一致するように補正する段階との間に、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とが一致するか否かを判断する段階をさらに含み、前記メインカメラのOIS部を駆動して、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とが一致するように補正する段階は、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とが一致しない場合に行うことができる。
【0020】
また、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とを一致させることは、前記サブカメラ及び前記メインカメラで撮影された映像の被写体の位置を、映像フレームの水平軸、垂直軸及び両軸のいずれか一方を基準に一致させることでよい。
【0021】
また、前記サブカメラ及び前記メインカメラで撮影された映像の被写体の位置を、前記映像フレームの水平軸、垂直軸及び両軸のいずれか一方を基準に一致させることは、前記サブカメラ及び前記メインカメラで撮影された映像の被写体が位置する映像フレームの水平軸及び垂直軸上における位置を測定し、この測定された値で前記OIS部を駆動して、前記サブカメラ及び前記メインカメラで撮影された映像の被写体の位置を、前記映像フレームの水平軸、垂直軸及び両軸のいずれか一方を基準に一致させることでよい。
【0022】
また、前記OIS部は、前記メインカメラをチルト及び回転させて、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とを一致させることができる。
【0023】
また、前記メインカメラと前記サブカメラとは離隔しているとよい。
【0024】
また、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とが一致するように補正する段階は、前記メインカメラと前記サブカメラとが離隔している距離だけ、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とがシフトしたことを考慮して、前記メインカメラ及び前記サブカメラで撮影された映像の被写体の位置を一致させることができる。
【発明の効果】
【0025】
本発明は、2つのカメラを備えているカメラモジュールにおいて、いずれか一方のカメラにOIS(Optical Image Stabilization)部を設けることで、両カメラで撮影された映像が一致しない場合に、OIS部を駆動させて、2カメラで撮影された映像が一致するように補正することができる。
【図面の簡単な説明】
【0026】
【図1】本発明の第1実施例に係るカメラモジュールの画像補正方法を示すフローチャートである。
【図2】本発明の第1実施例に係るカメラモジュールの画像補正方法を説明するための写真である。
【図3】本発明の第2実施例に係るカメラモジュールの画像補正方法を示すフローチャートである。
【図4】本発明の第3実施例に係るカメラモジュールの画像補正方法を示すフローチャートである。
【図5A】本発明の第2及び第3実施例に係るカメラモジュールの画像補正方法において、メインカメラ及びサブカメラで撮影された映像を示す概念図である。
【図5B】本発明の第2及び第3実施例に係るカメラモジュールの画像補正方法において、メインカメラ及びサブカメラで撮影された映像を示す概念図である。
【図6】本発明一実施例に係るカメラモジュールの構成ブロック図である。
【発明を実施するための形態】
【0027】
以下、添付の図面を参照して本発明の実施例について説明する。
【0028】
ただし、図面における構成要素の大きさや形状などは、説明の明瞭性及び便宜性のために、誇張して示されることがある。また、本発明の構成及び作用を考慮して特別に定義された用語は、使用者、運用者の意図または慣例によって変更されてもよい。それら用語の定義は、本明細書全般にわたる内容に基づいてなされるべきである。
【0029】
図1は、本発明の第1実施例に係るカメラモジュールの画像補正方法を示すフローチャートであり、図2は、本発明の第1実施例に係るカメラモジュールの画像補正方法を説明するための写真である。
【0030】
OIS(Optical Image Stabilization)部を備えているメインカメラ及びサブカメラのそれぞれで映像を撮影する(S100段階)。
【0031】
メインカメラで撮影した映像から特定物体の第1映像を抽出し、サブカメラで撮影した映像から同特定物体の第2映像を抽出する(S110段階)。
【0032】
メインカメラのOIS部を駆動して、第1映像が第2映像に一致するように補正する(S120段階)。
【0033】
すなわち、OIS部を備えているメインカメラにより図2Aのような映像が獲得され、メインカメラにより獲得された映像と一致しない図2Bのような映像がサブカメラにより獲得された場合、上記S110段階で、メインカメラで撮影された映像から特定物体の第1映像Aを抽出し、サブカメラで撮影された映像から特定物体の第2映像Bを抽出する。
【0034】
この時、本発明は、メインカメラ及びサブカメラで撮影された映像を、1:1マッチングするのではなく、両カメラの物理的に約束された距離だけ離れている両カメラの両眼視差だけ移動したことを考慮して一致させる。
【0035】
すなわち、両カメラの離隔した距離だけ、両カメラで撮影された映像がシフト(Shift)したことを考慮して、第1映像を第2映像に一致させる。
【0036】
その後、メインカメラのOIS部を駆動して、第1映像が第2映像に一致するように補正する。
【0037】
この時、OIS部は、メインカメラをチルト(Tilt)及び回転(Rotation)させて第1映像を第2映像に一致させる。
【0038】
図3は、本発明の第2実施例に係るカメラモジュールの画像補正方法を示すフローチャートであり、図4は、本発明の第3実施例に係るカメラモジュールの画像補正方法を示すフローチャートである。
【0039】
本発明の第2実施例に係るカメラモジュールの画像補正方法は、図3に示すように、OIS部を備えているメインカメラ及びサブカメラのそれぞれで被写体の映像を撮影する(S200段階)。
【0040】
続いて、メインカメラのOIS部を駆動して、メインカメラで撮影された映像の被写体の位置とサブカメラで撮影された映像の被写体の位置とが一致するように補正する(S210段階)。
【0041】
すなわち、第2実施例に係るカメラモジュールの画像補正方法は、メインカメラ及びサブカメラで撮影して獲得した映像フレームの水平軸、垂直軸及び両軸のいずれか一軸を基準に、これら被写体の位置を一致させる。これについては、図5A及び図5Bで詳細に後述する。
【0042】
そして、本発明の第3実施例に係るカメラモジュールの画像補正方法は、図4に示すように、OIS部を備えているメインカメラ及びサブカメラのそれぞれで被写体の映像を撮影する(S300段階)。
【0043】
その後、メインカメラで撮影された映像の被写体の位置とサブカメラで撮影された映像の被写体の位置とが一致するか否か判断する(S310段階)。
【0044】
メインカメラで撮影された映像の被写体の位置とサブカメラで撮影された映像の被写体の位置とが一致しないと、メインカメラのOIS部を駆動して、メインカメラで撮影された映像の被写体の位置とサブカメラで撮影された映像の被写体の位置とが一致するように補正する(S320段階)。
【0045】
この第3実施例に係るカメラモジュールの画像補正方法は、第2実施例に係るカメラモジュールの画像補正方法におけるS200段階とS210段階との間に、メインカメラで撮影された映像の被写体の位置とサブカメラで撮影された映像の被写体の位置とが一致するか否かを判断する段階をさらに含む。
【0046】
さらにいうと、メインカメラで撮影された映像の被写体の位置とサブカメラで撮影された映像の被写体の位置とが一致するか否かを、「S310段階」で判断し、メインカメラで撮影された映像の被写体の位置とサブカメラで撮影された映像の被写体の位置とが一致しない場合に限ってOIS部を動作させる。
【0047】
そのため、メインカメラで撮影された映像の被写体の位置とサブカメラで撮影された映像の被写体の位置とが一致する場合にはOIS部を動作させずに済む。
【0048】
図5A及び図5Bは、本発明の第2及び第3実施例に係るカメラモジュールの画像補正方法において、メインカメラ及びサブカメラで撮影された映像を示す概念図である。
前述した第2及び第3実施例に係るカメラモジュールの画像補正方法は、OIS部を動作させて、メインカメラで撮影された映像の被写体の位置とサブカメラで撮影された映像の被写体の位置とを一致させ、両カメラの相対的な位置の不一致を補正する方法である。
【0049】
すなわち、図5Aはサブカメラで撮影された映像であり、図5Bはメインカメラで撮影された映像であるとすれば、サブカメラで撮影された映像とメインカメラで撮影された映像の被写体は、映像フレーム610,620の内部に位置する。
【0050】
この時、映像フレームの水平軸H及び垂直軸Vを基準に、被写体の位置データを獲得することができる。
【0051】
したがって、サブカメラ及びメインカメラで撮影された映像の被写体が位置する、映像フレーム610,620の水平軸H及び垂直軸V上における位置を測定し、この測定された値でOIS部を駆動して、メインカメラをチルト及び回転させることで、サブカメラ及びメインカメラで撮影された映像の被写体の位置を、映像フレームの水平軸H、垂直軸V及び両軸のいずれか一方を基準に一致させる。
【0052】
ここで、サブカメラで撮影された映像はそのままにしておき、メインカメラで撮影された映像において被写体の位置をOIS部の駆動により調整することで、両カメラの相対的な位置の不一致を補正する。
【0053】
図6は、本発明一実施例に係るカメラモジュールの構成ブロック図である。
【0054】
本発明の一実施例に係るカメラモジュールは、OIS(Optical Image Stabilization)部を備えており、被写体を撮影するメインカメラ100と、メインカメラ100から離隔して配置されており、被写体を撮影するサブカメラ200と、メインカメラ100及びサブカメラ200で撮影された映像において被写体の位置が不一致する場合に、制御信号を出力するイメージ信号処理部300と、イメージ信号処理部300から出力された制御信号によってOIS部を駆動するOIS駆動部500と、を含む。
【0055】
被写体の位置は、メインカメラ100及びサブカメラ200で撮影された映像のフレームの水平軸、垂直軸及び両軸のいずれか一方を基準に計算される。
【0056】
したがって、メインカメラ100及びサブカメラ200で撮影された映像は、イメージ信号処理部300に入力され、メインカメラ100及びサブカメラ200で撮影された映像のフレームにおいて被写体の位置が不一致しているか否かを判断し、両被写体の位置が不一致している場合に、OIS駆動部500が制御信号を出力する。
続いて、OIS駆動部500は、制御信号によってOIS部を駆動してメインカメラ100をチルト及び回転させ、メインカメラ100で撮影された映像を補正することで、メインカメラ100及びサブカメラ200で撮影された映像を一致させることができる。
【0057】
また、本発明一実施例に係るカメラモジュールは、メインカメラ100とサブカメラ200とが離隔して配置されているため、3次元立体映像も獲得可能である。
【0058】
ここで、メインカメラ100で撮影された映像は右眼映像となり、サブカメラ200で撮影された映像は左眼映像となる。
【0059】
また、本発明の一実施例に係るカメラモジュールは、サブカメラ200は駆動せず、メインカメラ100のみを駆動することで2次元映像を獲得すると同時に、メインカメラ100におけるOIS部により映像の揺れを補正してもよい。
【0060】
すなわち、本発明の一実施例に係るカメラモジュールは、2次元映像または3次元立体映像を獲得するために、メインカメラ100とサブカメラ200の駆動を制御する制御部がさらに含んでもよい。
【0061】
以上では本発明に係る実施例が説明されてきたが、それらは例示的なものに過ぎず、当該技術の分野における通常の知識を有する者には、それら実施例からの種々の変形及び均等な範囲における実施例が可能であるということが理解できるであろう。したがって、本発明の真の技術的保護範囲は、添付した特許請求の範囲により定められるべきである。
【産業上の利用可能性】
【0062】
本発明は、2つのカメラで撮影された映像が一致していない場合に、OIS部を駆動して、両カメラで撮影された映像が一致するように補正できるカメラモジュールを提供する。

【特許請求の範囲】
【請求項1】
OIS(Optical Image Stabilization)部を備えており、被写体を撮影するメインカメラと、
前記メインカメラから離隔しており、前記被写体を撮影するサブカメラと、
を含む、カメラモジュール。
【請求項2】
前記2次元映像または3次元立体映像を獲得するために、前記メインカメラ及び前記サブカメラの駆動を制御する制御部をさらに含む、請求項1に記載のカメラモジュール。
【請求項3】
前記メインカメラ及び前記サブカメラで撮影された映像において、前記被写体の位置が不一致する場合に、制御信号を出力するイメージ信号処理部と、
前記イメージ信号処理部から出力された制御信号を受信して、前記メインカメラ及び前記サブカメラで撮影された映像が一致するように、前記OIS部を駆動するOIS駆動部と、
をさらに含む、請求項1に記載のカメラモジュール。
【請求項4】
前記OIS部は、
前記メインカメラをチルト及び回転させて、前記メインカメラ及び前記サブカメラで撮影された映像を一致させる、請求項1に記載のカメラモジュール。
【請求項5】
前記OIS部は、
前記メインカメラと前記サブカメラとが離隔している距離だけ、前記メインカメラ及び前記サブカメラで撮影された映像がシフトしたことを考慮して、前記メインカメラ及び前記サブカメラで撮影された映像を一致させる、請求項1に記載のカメラモジュール。
【請求項6】
OIS(Optical Image Stabilization)部を備えているメインカメラ及びサブカメラのそれぞれで映像を撮影する段階と、
前記メインカメラで撮影された映像から特定物体の第1映像を抽出し、前記サブカメラで撮影された映像から前記特定物体の第2映像を抽出する段階と、
前記メインカメラのOIS部を駆動して、前記第1映像が第2映像に一致するように補正する段階と、
を含む、カメラモジュールの画像補正方法。
【請求項7】
前記OIS部は、
前記メインカメラをチルト及び回転させて、前記第1映像を第2映像に一致させる、請求項6に記載のカメラモジュールの画像補正方法。
【請求項8】
前記メインカメラ及び前記サブカメラは互いに離隔しており、
前記第1映像が第2映像に一致するように補正する段階は、
前記メインカメラと前記サブカメラとが離隔している距離だけ、前記第1映像及び第2映像がシフトしたことを考慮して、前記第1映像が第2映像に一致するように補正する段階である、請求項6に記載のカメラモジュールの画像補正方法。
【請求項9】
OIS(Optical Image Stabilization)部を備えているメインカメラ及びサブカメラのそれぞれで被写体の映像を撮影する段階と、
前記メインカメラのOIS部を駆動して、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とが一致するように補正する段階と、
を含む、カメラモジュールの画像補正方法。
【請求項10】
OIS部を備えているメインカメラ及びサブカメラのそれぞれで被写体の映像を撮影する段階と、前記メインカメラのOIS部を駆動して、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とが一致するように補正する段階との間に、
前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とが一致するか否かを判断する段階をさらに含み、
前記メインカメラのOIS部を駆動して、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とが一致するように補正する段階は、
前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とが一致しない場合に行う、請求項9に記載のカメラモジュールの画像補正方法。
【請求項11】
前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とを一致させることは、
前記サブカメラ及び前記メインカメラで撮影された映像の被写体の位置を、映像フレームの水平軸、垂直軸及び両軸のいずれか一方を基準に一致させることである、請求項10に記載のカメラモジュールの画像補正方法。
【請求項12】
前記サブカメラ及び前記メインカメラで撮影された映像の被写体の位置を、前記映像フレームの水平軸、垂直軸及び両軸のいずれか一方を基準に一致させることは、
前記サブカメラ及び前記メインカメラで撮影された映像の被写体が位置する映像フレームの水平軸及び垂直軸上における位置を測定し、この測定された値で前記OIS部を駆動して、前記サブカメラ及び前記メインカメラで撮影された映像の被写体の位置を、前記映像フレームの水平軸、垂直軸及び両軸のいずれか一方を基準に一致させることである、請求項11に記載のカメラモジュールの画像補正方法。
【請求項13】
前記OIS部は、
前記メインカメラをチルト及び回転させて、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とを一致させる、請求項9に記載のカメラモジュールの画像補正方法。
【請求項14】
前記メインカメラと前記サブカメラとは離隔している、請求項9に記載のカメラモジュールの画像補正方法。
【請求項15】
前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とが一致するように補正する段階は、
前記メインカメラと前記サブカメラとが離隔している距離だけ、前記メインカメラで撮影された映像の被写体の位置と前記サブカメラで撮影された映像の被写体の位置とがシフトしたことを考慮して、前記メインカメラ及び前記サブカメラで撮影された映像の被写体の位置を一致させる、請求項14に記載のカメラモジュールの画像補正方法。

【図1】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図6】
image rotate


【公開番号】特開2013−97376(P2013−97376A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2012−179675(P2012−179675)
【出願日】平成24年8月14日(2012.8.14)
【出願人】(510039426)エルジー イノテック カンパニー リミテッド (279)
【Fターム(参考)】