説明

画像処理装置及びカメラモジュール

【課題】立体視画像について、通常の平面視画像と同等のフレームレートであっても不自然さの抑制を可能とする画像処理装置及びカメラモジュールを提供すること。
【解決手段】実施形態によれば、画像処理装置であるISP7は、第1のサブカメラモジュールI/F17、第2のサブカメラモジュールI/F18、画像取り込み部20及びタイミング調整部19を有する。画像取り込み部20は、第1のサブカメラモジュールI/F17へ入力された第1の画像と、第2のサブカメラモジュールI/F18へ入力された第2の画像と、を取り込む。タイミング調整部19は、画像取り込み部20へ取り込まれる第1の画像のフレームタイミング及び第2の画像のフレームタイミングを調整する。タイミング調整部19は、第1の画像のフレームタイミングに対して第2の画像のフレームタイミングを遅延させる調整を可能とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置及びカメラモジュールに関する。
【背景技術】
【0002】
従来、3D立体視画像を撮影するカメラモジュールとして、例えば、撮像光学系とイメージセンサとを備える2つのサブカメラモジュールにより、左目用画像と右目用画像とを分担して撮影するものが知られている。動画を撮影する場合、カメラモジュールは、左目用画像のフレームと右目用画像のフレームとを同期させることで、互いに視差を持たせた左目用画像と右目用画像とを並行して表示させるための画像データを得る。
【0003】
3D立体視画像の一般的な表示方式であるアクティブシャッター方式のように、左目用画像と右目用画像とを交互に再生する場合に、比較的遅いフレームレートでは、表示に若干の遅れを感じさせることがある。従来の技術では、このような表示の遅れによる画像の不自然さを低減させるには、通常の平面視画像の表示よりも高いフレームレートが必要となるという課題を抱えている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平6−133339号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の一つの実施形態は、立体視画像について、通常の平面視画像と同等のフレームレートであっても不自然さの抑制を可能とする画像処理装置及びカメラモジュールを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一つの実施形態によれば、画像処理装置は、画像取り込み部及びタイミング調整部を有する。画像取り込み部は、第1のサブカメラモジュールにより撮影された第1の画像と、第2のサブカメラモジュールにより撮影された第2の画像と、を取り込む。タイミング調整部は、画像取り込み部へ取り込まれる第1の画像のフレームタイミング及び第2の画像のフレームタイミングを調整する。タイミング調整部は、第1の画像のフレームタイミングに対して第2の画像のフレームタイミングを遅延させる調整を可能とする。
【図面の簡単な説明】
【0007】
【図1】第1の実施形態にかかるカメラモジュールの概略構成を示すブロック図。
【図2】図1に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図。
【図3】ISPの信号処理部による信号処理の手順を説明するフローチャート。
【図4】アクティブシャッター方式を採用する3D立体視画像の表示について説明する図。
【図5】視差バリア方式を採用する3D立体視画像の表示について説明する図。
【図6】第1の画像のフレームタイミングと第2の画像のフレームタイミングとを一致させる調整について説明する図。
【図7】第1の画像のフレームタイミングに対して第2の画像のフレームタイミングを遅延させる調整について説明する図。
【図8】タイミング調整部によるフレームタイミングの調整について説明するブロック図。
【図9】タイミング調整部によりフレームタイミングを調整する手順を示すフローチャート。
【図10】第2の実施形態にかかる画像表示装置であるISPの構成を示すブロック図。
【発明を実施するための形態】
【0008】
以下に添付図面を参照して、実施形態にかかる画像処理装置及びカメラモジュールを詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【0009】
(第1の実施形態)
図1は、第1の実施形態にかかるカメラモジュールの概略構成を示すブロック図である。図2は、図1に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図である。
【0010】
デジタルカメラ1は、カメラモジュール2、記憶部3及び表示部4を有する。カメラモジュール2は、被写体像を撮像する。記憶部3は、カメラモジュール2により撮影された画像を格納する。表示部4は、カメラモジュール2により撮影された画像を表示する。表示部4は、例えば、液晶ディスプレイである。
【0011】
カメラモジュール2は、被写体像の撮像により、記憶部3及び表示部4へ画像信号を出力する。記憶部3は、ユーザの操作等に応じて、表示部4へ画像信号を出力する。表示部4は、カメラモジュール2あるいは記憶部3から入力される画像信号に応じて、画像を表示する。
【0012】
カメラモジュール2は、第1のサブカメラモジュール5、第2のサブカメラモジュール6及びイメージシグナルプロセッサ(image signal processor;ISP)7を有する。第1のサブカメラモジュール5は、第1の画像、例えば、左目用画像を撮影する。第2のサブカメラモジュール6は、第2の画像、例えば、右目用画像を撮影する。ISP7は、第1のサブカメラモジュール5で撮影された第1の画像及び第2のサブカメラモジュール6で撮影された第2の画像について、画像処理を実施する画像処理装置として機能する。
【0013】
第1のサブカメラモジュール5は、撮像光学系11、イメージセンサ12及び撮像回路13を有する。撮像光学系11は、被写体からの光をイメージセンサ12へ取り込み、イメージセンサ12にて被写体像を結像させる。イメージセンサ12は、撮像光学系11により取り込まれた光を信号電荷に変換する。イメージセンサ12は、被写体像を撮像する撮像部として機能する。
【0014】
撮像回路13は、イメージセンサ12を駆動し、かつイメージセンサ12からの画像信号の処理を実施する。撮像回路13は、R(赤)、G(緑)、B(青)の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。
【0015】
第2のサブカメラモジュール6は、撮像光学系14、イメージセンサ15及び撮像回路16を有する。撮像光学系14は、被写体からの光をイメージセンサ15へ取り込み、イメージセンサ15にて被写体像を結像させる。イメージセンサ15は、撮像光学系14により取り込まれた光を信号電荷に変換する。イメージセンサ15は、被写体像を撮像する撮像部として機能する。
【0016】
撮像回路16は、イメージセンサ15を駆動し、かつイメージセンサ15からの画像信号の処理を実施する。撮像回路16は、R(赤)、G(緑)、B(青)の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。
【0017】
ISP7は、第1のサブカメラモジュールI/F(インタフェース)17、第2のサブカメラモジュールI/F(インタフェース)18、タイミング調整部19、画像取り込み部20、信号処理部21及びドライバI/F(インタフェース)22を有する。
【0018】
第1のサブカメラモジュールI/F17は、第1のサブカメラモジュール5からの第1の画像の入力を受け付ける。第2のサブカメラモジュールI/F18は、第2のサブカメラモジュール6からの第2の画像の入力を受け付ける。第1のサブカメラモジュールI/F17及び第2のサブカメラモジュールI/F18は、例えば、LVDS(low voltage differential signaling)による伝送方式を採用する。画像取り込み部20は、第1のサブカメラモジュールI/F17へ入力された第1の画像と、第2のサブカメラモジュールI/F18へ入力された第2の画像と、を取り込む。
【0019】
タイミング調整部19は、画像取り込み部20へ取り込まれる第1の画像のフレームタイミングと第2の画像のフレームタイミングとを調整する。信号処理部21は、画像取り込み部20へ取り込まれた第1の画像及び第2の画像について、信号処理を実施する。ドライバI/F22は、信号処理部21での信号処理を経た画像信号を、不図示の表示ドライバへ出力する。表示ドライバは、カメラモジュール2によって撮像された画像を表示する。
【0020】
図3は、ISPの信号処理部による信号処理の手順を説明するフローチャートである。信号処理部21(図1参照)は、第1の画像及び第2の画像について、シェーディング補正を実施する(ステップS1)。信号処理部21は、シェーディング補正により、撮像光学系11、14(図1参照)の中央部と周辺部との光量差による輝度ムラを補正する。
【0021】
信号処理部21は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション(ステップS2)及び解像度復元処理(ステップS3)を実施する。次に、信号処理部21は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理(デモザイキング)を施す(ステップS4)。デモザイキングでは、撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理部21は、デモザイキングによりカラーのビットマップ画像を合成する。
【0022】
信号処理部21は、カラー画像に対して、ホワイトバランスの自動調整(automatic white balance control;AWB)を実施する(ステップS5)。さらに、信号処理部21は、色再現性を得るためのリニアカラーマトリクス処理(ステップS6)、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正(ステップS7)を実施する。なお、本実施形態で説明するISP7における信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。
【0023】
表示ドライブは、カメラモジュール2から伝送される画像信号に応じて、いずれの表示方式によって3D立体視画像を表示するものであっても良い。図4は、アクティブシャッター方式を採用する3D立体視画像の表示について説明する図である。アクティブシャッター方式を採用する場合、表示ドライブ30は、左目用の第1の画像31と右目用の第2の画像32とを高速に切り換えて表示する。表示ドライブ30は、例えば、第1の画像31と第2の画像32とを、水平方向のラインごとに交互に表示する。
【0024】
観察者が使用するメガネ34は、左目用液晶シャッター35及び右目用液晶シャッター36を有する。表示ドライブ30の赤外線同期エミッタ33は、表示ドライブ30における第1の画像31の表示と第2の画像32の表示との切り換えに同期して、赤外線信号を発信する。メガネ34は、赤外線同期エミッタ33からの赤外線信号に応じて、左目用液晶シャッター35及び右目用液晶シャッター36における光の透過及び遮蔽を順次切り換える。
【0025】
表示ドライブ30における第1の画像31の表示に同期して、左目用液晶シャッター35で光を透過させ、かつ右目用液晶シャッター36で光を遮蔽することで、観察者は、左目にて第1の画像31を観察する。また、表示ドライブ30における第2の画像32の表示に同期して、左目用液晶シャッター35では光を遮蔽し、右目用液晶シャッター36で光を透過させることで、観察者は、右目にて第2の画像32を観察する。観察者は、第1の画像31及び第2の画像32の視差によって、立体感を得ることができる。
【0026】
図5は、視差バリア方式を採用する3D立体視画像の表示について説明する図である。視差バリア方式を採用する場合、表示ドライブ40に対して観察者側に、光の進行方向を制御するための視差バリア43を設ける。表示ドライブ40は、例えば、第1の画像41と第2の画像42とを、垂直方向の列ごとに交互に表示する。
【0027】
視差バリア43は、表示ドライブ40のうち第1の画像41を表示する列から左目へ向かう光を通過させるとともに、第2の画像42を表示する列から左目へ向かう光を遮蔽する。また、視差バリア43は、表示ドライブ40のうち第1の画像41を表示する列から右目へ向かう光を遮蔽させるとともに、第2の画像42を表示する列から右目へ向かう光を通過させる。観察者は、左目によって第1の画像41を観察し、右目によって第2の画像42を観察する。観察者は、第1の画像41及び第2の画像42の視差によって、立体感を得ることができる。
【0028】
図6及び図7は、タイミング調整部による第1の画像及び第2の画像のフレームタイミングの調整について説明する図である。タイミング調整部19は、図6に示すように、第1の画像のフレームタイミングF1と第2の画像のフレームタイミングF2とを一致させる調整と、図7に示すように、第1の画像のフレームタイミングF1に対して第2の画像のフレームタイミングF2を遅延させる調整との切り換えを可能とする。
【0029】
フレームタイミングF2をフレームタイミングF1に一致させる調整と、フレームタイミングF2をフレームタイミングF1から遅延させる調整とのいずれを適用するかは、例えばユーザによって選択される。カメラモジュール2は、タイミング調整部19におけるタイミング調整を切り換えるための操作を受け付けるスイッチやGUI(graphical user interface)等を設けても良い。
【0030】
カメラモジュール2は、第1の画像のフレーム同士の中間に当たるタイミングで第2の画像のフレームを取り込む。第1の画像のフレームタイミングF1に対して第2の画像のフレームタイミングF2を遅延させる期間Tは、例えば、1フレーム期間の半分に相当する半フレーム期間とする。
【0031】
例えば、第1のサブカメラモジュール5及び第2のサブカメラモジュール6のそれぞれが60Hzで被写体像を取得したとすると、カメラモジュール2は、第1の画像及び第2の画像を交互に取り込むことで、120Hz相当のタイミングで順次画像を取り込むこととなる。これにより、カメラモジュール2は、通常の平面視画像と同等のフレームレートであっても、比較的動きが滑らかで不自然さが抑制された画像を得ることができる。
【0032】
なお、第1の画像のフレームタイミングF1に対して第2の画像のフレームタイミングF2を遅延させる期間Tは、少なくとも1フレーム期間より短い期間であれば良く、半フレーム期間とする場合に限られないものとする。
【0033】
図8は、タイミング調整部によるフレームタイミングの調整について説明するブロック図である。タイミング調整部19は、水平同期信号Hと、垂直同期信号V1、V2を生成する。垂直同期信号V2は、垂直同期信号V1に対して期間Tだけ遅延させたタイミングを示すように生成される。
【0034】
図9は、タイミング調整部によりフレームタイミングを調整する手順を示すフローチャートである。ステップS1において、第1のサブカメラモジュール5は、第1の画像を取得する。第2のサブカメラモジュール6は、第2の画像を取得する。第1のサブカメラモジュール5は、取得した第1の画像を第1のサブカメラモジュールI/F17へ出力する。第2のサブカメラモジュール6は、取得した第2の画像を第2のサブカメラモジュールI/F18へ出力する。
【0035】
ステップS2では、タイミング調整部19は、フレームタイミングF1に対して期間TだけフレームタイミングF2を遅延させる調整が選択されているか否かを判断する。フレームタイミングF1に対してフレームタイミングF2を遅延させる調整が選択されている場合(ステップS2、Yes)、タイミング調整部19は、半フレーム期間である期間T分、フレームタイミングF2を遅延させる調整を実施する(ステップS3)。
【0036】
タイミング調整部19は、第1のサブカメラモジュールI/F17へ入力された第1の画像に対して、水平同期信号H及び垂直同期信号V1を適用する。また、タイミング調整部19は、第2のサブカメラモジュールI/F18へ入力された第2の画像に対して、水平同期信号H及び垂直同期信号V2を適用する。
【0037】
フレームタイミングF1に対してフレームタイミングF2を遅延させる調整が選択されていない場合(ステップS2、No)、タイミング調整部19は、フレームタイミングF1に対してフレームタイミングF2を一致させる調整を実施する(ステップS4)。タイミング調整部19は、第1のサブカメラモジュールI/F17へ入力された第1の画像、第2のサブカメラモジュールI/F18へ入力された第2の画像の双方に対して、水平同期信号H及び垂直同期信号V1を適用する。このように、タイミング調整部19は、第2のサブカメラモジュールI/F18へ入力された第2の画像に適用する垂直同期信号を、タイミング調整の選択に応じて変更可能とする。
【0038】
画像取り込み部20は、タイミング調整部19によるフレームタイミングの調整を経た第1の画像を第1のサブカメラモジュールI/F17から取り込む。また、画像取り込み部20は、タイミング調整部19によるフレームタイミングの調整を経た第2の画像を第2のサブカメラモジュールI/F18から取り込む。ISP7は、画像取り込み部20へ取り込まれてから信号処理部21による信号処理を経た画像信号を、ドライバI/F22から出力する(ステップS5)。
【0039】
このように、カメラモジュール2は、タイミング調整部19によるフレームタイミングの調整を適用することで、通常の平面視画像と同等のフレームレートであっても、比較的動きが滑らかで不自然さが抑制された画像を得ることが可能となる。なお、カメラモジュール2は、垂直同期信号を変更することでフレームタイミングを調整する他、例えば、第1のサブカメラモジュール5及び第2のサブカメラモジュール6における電子シャッター(electronic shutter;ES)の制御によりフレームタイミングを調整することとしても良い。
【0040】
タイミング調整部19においてフレームタイミングF2を遅延させるタイミング調整を実施するか否かは、ユーザによって選択される場合に限られない。タイミング調整部19は、例えば、ISP7へ入力される画像信号に応じて、タイミング調整の設定を切り換えることとしても良い。例えば、タイミング調整部19は、立体視画像の表示のための画像信号がISP7へ入力された場合に、フレームタイミングF2をフレームタイミングF1から遅延させる調整を実施する。また、タイミング調整部19は、平面視画像の表示のための画像信号がISP7へ入力された場合に、フレームタイミングF2をフレームタイミングF1に一致させる調整を実施する。
【0041】
(第2の実施形態)
図10は、第2の実施形態にかかる画像表示装置であるISPの構成を示すブロック図である。第1の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。ISP50は、第1の実施形態のISP7(図1参照)に設けられた各構成に加えて、第1のフレームメモリ51及び第2のフレームメモリ52を有する。
【0042】
第1のフレームメモリ51は、第1のサブカメラモジュールI/F17へ入力された第1の画像を一時格納する。第2のフレームメモリ52は、第2のサブカメラモジュールI/F18へ入力された第2の画像を一時格納する。
【0043】
フレームタイミングF1に対してフレームタイミングF2を遅延させる調整が選択されている場合、タイミング調整部19は、第1のフレームメモリ51へ格納された第1の画像に対して、水平同期信号H及び垂直同期信号V1を適用する。また、タイミング調整部19は、第2のフレームメモリ52へ格納された第2の画像に対して、水平同期信号H及び垂直同期信号V2を適用する。
【0044】
フレームタイミングF1に対してフレームタイミングF2を一致させる調整が選択されている場合、タイミング調整部19は、第1のフレームメモリ51へ格納された第1の画像、第2のフレームメモリ52へ格納された第2の画像の双方に対して、水平同期信号H及び垂直同期信号V1を適用する。このように、タイミング調整部19は、第2のフレームメモリへ格納された第2の画像に適用する垂直同期信号を、タイミング調整の選択に応じて変更可能とする。
【0045】
画像取り込み部20は、タイミング調整部19によるフレームタイミングの調整を経た第1の画像を第1のフレームメモリ51から取り込む。また、画像取り込み部20は、タイミング調整部19によるフレームタイミングの調整を経た第2の画像を第2のフレームメモリ52から取り込む。
【0046】
本実施形態においても、カメラモジュール2は、タイミング調整部19によるフレームタイミングの調整を適用することで、通常の平面視画像と同等のフレームレートであっても、比較的動きが滑らかで不自然さが抑制された画像を得ることが可能となる。第1及び第2の実施形態にかかるカメラモジュール2は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等に適用しても良い。
【0047】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0048】
2 カメラモジュール、5 第1のサブカメラモジュール、6 第2のサブカメラモジュール、7 ISP、17 第1のサブカメラモジュールI/F、18 第2のサブカメラモジュールI/F、19 タイミング調整部、20 画像取り込み部、21 信号処理部、51 第1のフレームメモリ、52 第2のフレームメモリ。

【特許請求の範囲】
【請求項1】
第1のサブカメラモジュールにより撮影された第1の画像と、第2のサブカメラモジュールにより撮影された第2の画像と、を取り込む画像取り込み部と、
前記画像取り込み部へ取り込まれる前記第1の画像のフレームタイミング及び前記第2の画像のフレームタイミングを調整するタイミング調整部と、を有し、
前記タイミング調整部は、前記第1の画像のフレームタイミングに対して前記第2の画像のフレームタイミングを遅延させる調整を可能とすることを特徴とする画像処理装置。
【請求項2】
前記タイミング調整部は、前記第1の画像のフレームタイミングに対して前記第2の画像のフレームタイミングを遅延させる調整と、前記第1の画像のフレームタイミング及び前記第2の画像のフレームタイミングを一致させる調整と、を切り換え可能であることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第1のサブカメラモジュールからの前記第1の画像の入力を受け付ける第1のサブカメラモジュールインタフェースと、
前記第2のサブカメラモジュールからの前記第2の画像の入力を受け付ける第2のサブカメラモジュールインタフェースと、を有し、
前記タイミング調整部は、前記第2のサブカメラモジュールインタフェースへ入力された前記第2の画像に適用する垂直同期信号を変更可能とすることを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記第1のサブカメラモジュールから入力された前記第1の画像を一時格納する第1のフレームメモリと、
前記第2のサブカメラモジュールから入力された前記第2の画像を一時格納する第2のフレームメモリと、をさらに有し、
前記タイミング調整部は、前記第2のフレームメモリへ格納された前記第2の画像に適用する垂直同期信号を変更可能とすることを特徴とする請求項1又は2に記載の画像処理装置。
【請求項5】
第1の画像を撮影する第1のサブカメラモジュールと、
第2の画像を撮影する第2のサブカメラモジュールと、
前記第1のサブカメラモジュールで撮影された前記第1の画像及び前記第2のサブカメラモジュールで撮影された前記第2の画像について、画像処理を実施する画像処理装置と、を有し、
前記画像処理装置は、
前記第1のサブカメラモジュールから入力された前記第1の画像と、前記第2のサブカメラモジュールから入力された前記第2の画像と、を取り込む画像取り込み部と、
前記画像取り込み部へ取り込まれる前記第1の画像のフレームタイミング及び前記第2の画像のフレームタイミングを調整するタイミング調整部と、を有し、
前記タイミング調整部は、前記第1の画像のフレームタイミングに対して前記第2の画像のフレームタイミングを遅延させる調整を可能とすることを特徴とするカメラモジュール。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−204859(P2012−204859A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−64555(P2011−64555)
【出願日】平成23年3月23日(2011.3.23)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】