説明

撮像装置

【課題】撮像画像のフリッカ縞を低減させること。
【解決手段】ライン露光順次読み出し方式の2つの撮像手段110a、bと、各撮像手段110a、bの動作を制御する制御手段120と、各撮像手段110a、bによって撮像された画像を処理する画像処理手段130とを備え、制御手段120は、ユーザによる撮像指示操作に応じて、タイミングをズラして撮像するよう各撮像手段110a、bの動作を制御し、画像処理手段130は、一方の撮像手段110aによって撮像された第1の画像と、他方の撮像手段110bによって第1の画像とは異なるタイミングに撮像された第2の画像とを合成処理する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。特に、本発明は、画像のフリッカ縞を低減させる撮像装置に関する。
【背景技術】
【0002】
蛍光灯等の照明下で、デジカメや携帯電話のカメラを使用した場合、個々のデバイスの能力にもよるが、一定量の明るさ以上になると、蛍光灯の周波数成分による明暗の繰り返しによって画像に明暗の縞が発生する(以降フリッカと記載)。
【0003】
このようなフリッカの成分を撮像画像信号から除去するための手法としては、主に、シャッタスピードとフリッカレベルとの関連性に基づいて補正するシャッタ補正方式と、フリッカ波形を検出してその逆波形を補正ゲインとして画像信号に適用するゲイン補正方式とが知られている。これらのうち、ゲイン補正方式によるフリッカ低減方法としては、画像信号の信号レベルの変化を周波数解析してフリッカ周波数のスペクトルを検出し、このスペクトルの振幅値に基づいて画像信号の信号レベルを補正する方法がある(例えば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−222228号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、明暗を繰り返している周波数成分が50(Hz)の蛍光灯下においては、CMOSカメラのシャッタ速度が1/100(s)以上の場合、CMOSカメラの特性の原理上、フリッカの成分を除去することができない。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明の第1の形態によると、撮像画像のフリッカ縞を低減する撮像装置であって、ライン露光順次読み出し方式の2つの撮像手段と、各撮像手段の動作を制御する制御手段と、各撮像手段によって撮像された画像を処理する画像処理手段とを備え、制御手段は、ユーザによる撮像指示操作に応じて、タイミングをズラして撮像するよう各撮像手段の動作を制御し、画像処理手段は、一方の撮像手段によって撮像された第1の画像と、他方の撮像手段によって第1の画像とは異なるタイミングに撮像された第2の画像とを合成処理する。
【0007】
なおまた、上記のように発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
【発明の効果】
【0008】
以上の説明から明らかなように、この発明においては、例えば、強い照度の蛍光灯の環境下において、CMOSカメラのシャッタ速度が1/100(s)よりも速くなってフリッカを除去することができない場合であっても、2つのカメラを利用し、フリッカ発生状態の環境下にて各カメラの取り込みタイミングをずらして撮影した2枚を重ね合わせて合成することで、静止画撮影画像に対し、高輝度環境下でもフリッカの縞を低減することができる。
【図面の簡単な説明】
【0009】
【図1】携帯電話100のブロック構成の一例を示す図である。
【図2】一連の動作のフロー図である。
【図3】撮影される画像のイメージを示す図である。
【図4】合成後の画像のイメージを示す図である。
【図5】タイムチャートを示す図である。
【発明を実施するための形態】
【0010】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は、特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0011】
図1は、携帯電話100のブロック構成の一例を示す。携帯電話100は、撮像画像のフリッカ縞を低減させる機能を有している。なおまた、携帯電話100は、この発明における「撮像装置」の一例であってよい。
【0012】
携帯電話100は、カメラモジュール110aと、カメラモジュール110bと、カメラの撮影データや動作、画質を調整するDSP130と、CPU120と、液晶画面140とを有する。なおまた、カメラモジュール110a、bは、この発明における「撮像手段」の一例であってよい。また、CPU120は、この発明における「制御手段」の一例であってよい。また、DSP130は、この発明における「画像処理手段」の一例であってよい。
【0013】
実施例は3Dカメラを目的とし、携帯電話100に2個のCMOSカメラを搭載した状態を前提とする。通常2つのカメラは3Dカメラとしての機能を果たすが、本実施例の処理は3D撮影ではなく、2Dで撮影した場合とする。
【0014】
図2は一連の動作のフロー図を示す。ユーザのカメラ起動操作により、図1のカメラモジュール110aとカメラモジュール110bを、CPU120がDSP130を通して同時に起動させる(S101)。
【0015】
このとき2Dモードの場合は2つのカメラは起動タイミングを同期させて立ち上がっているが、両方ではなく、どちらか一方のカメラのみのプレビュー画面が液晶画面140に出力される(S102)。メインとなるカメラを設定しておくことで、基本は片方のみのカメラが起動しプレビュー画面が出力される。
【0016】
撮影環境が例えば50Hzで明るい環境や被写体であった場合、カメラ起動後、自動的にDSP130がフリッカを検出し(S103)、一旦はDSP機能にてシャッタ値をコントロールし低減を試みるが、被写体が高輝度であり、シャッタ値が1/100(s)以上であり除去できない場合、自動低減操作は中断される。
【0017】
一定時間フリッカが検出されるも(S104)、除去できないと判断された場合(S105)、静止画撮影のフリッカを低減させるため、カメラモジュール110bのデータ取り込みタイミングを調整する設定をONにする(S106)。
【0018】
その後、カメラモジュール110a、カメラモジュール110bにて撮影を行う(S107)。その後2枚の画像を合成する設定に入る。カメラモジュール110bの出力画像はDSPに取り込まれるが、プレビュー画面としては出力されず、裏で動作している状況となる。ユーザ操作で静止画を撮影する際(S107)、カメラモジュール110bはカメラモジュール110aのカメラのタイミングを基準として読み出しタイミングをずらし撮影される。
【0019】
カメラモジュール110aとカメラモジュール110bの2枚の画像をカメラDSP内部で取り込み、画像合成を行う(S108)。補正処置としてはカメラモジュール110aとカメラモジュール110bのカメラの画像の被写体ズレによる合成と、フリッカの明暗の位置が異なるため、合成することでの明るさを補正する。
【0020】
このようにして合成された画像は、携帯電話100のメモリ等に保存される(S109)。そして、液晶画面140には、カメラモジュール110aのプレビューの表示が再開される(S110)。
【0021】
図3、4にイメージ図を記載する。撮影される画像のイメージを図3に示す。図3(a)は、カメラモジュール110aで撮影されるフリッカ発生時の撮影画像を示す。図3(b)は、カメラ110bで撮影される静止画画像を示す。このように、起動時の動作時としては、図3(a)がカメラモジュール110aのプレビュー画像で図3(b)がカメラモジュール110bのプレビュー画像であり、フリッカが発生している位置は同じとなる。
【0022】
また、カメラモジュール110aで撮影された画像を図3(c)とし、取り込みタイミングをずらしたカメラモジュール110bで撮影された画像を図3(d)とする。このように、取り込みタイミングをずらして取り込むことでフリッカの発生する位置がカメラモジュール110aと比較しカメラモジュール110bの縞は明暗が逆となる。被写体の位置はカメラの実装位置が異なるため、例えば人の左右の目で見たのと同じ様に多少ずれて見えている。
【0023】
図4(a)は、図3(d)と図3(c)の画像を合成させた画像を示しており、明暗が合成されることで全体が暗くなった画像となる。図4(b)は、図4(a)の画像を補正し最終的に得られる画像を示す。上記のようにして撮影されたカメラモジュール110aとカメラモジュール110bの画像の2枚を重ね合わせた場合、図4(a)の様に被写体がズレ、全体が暗い画像となる。合成した画像(図4(a))自体は、元の明るさの半分となり、被写体も2重に重なって見えているため、合成後に手振れ補正同等の処理でズレ補正と明るさ補正を行うことで元の明るさに戻し、最終的に1枚の画像(図4(b))が作りだされる。カメラモジュール110bの取り込みタイミングの調整は、カメラモジュール110aの動作フレームの半周期分ズラせるよう、撮影時のカメラモジュール110aのフレームを読み出して、撮影時直前に都度計算を行い反映させる。また、画像から特徴的な形状(例えば長方形)を抽出し、そのズレが最少となるようにする。特徴的な形状はカメラモジュール110aからのシャッタ前のプレビュー画像からや、シャッタ後のカメラモジュール110aとカメラモジュール110bとの合成画像からフリッカ縞の帯に沿って均等にズラした場合に、複数の特徴的な形状部分のズレが最少となるような方法でもよい。左右視差があるが、左右のカメラ光軸間に対して十分に距離があり、距離の異なる複数の被写体を含まない場合に特に有効である。
【0024】
図5に簡単なタイムチャートを記載する。まずカメラモジュール110a、カメラモジュール110bが同時に起動する(T1、T2)。起動後カメラモジュール110aとカメラモジュール110b両方から同期したタイミング信号が発生する(T3、T4)。カメラ110aとカメラモジュール110bが起動した後、カメラの出力画像が液晶より出力される(T5)。カメラモジュール110aが起動後、入力される画像からフリッカの検出動作を行い、フリッカ検出有無と検出結果を出力する(T6)。ここでフリッカ除去不可と判断された状態で、ユーザ操作でカメラ撮影が行われた場合(T7)、カメラモジュール110bはカメラモジュール110aからタイミングを変えて取り込み動作を行う(T8、T9)。その後2つの画像をDSPにて合成処理を行う。
【0025】
このように、携帯電話100においては、CMOSカメラにて蛍光灯の強い照度の環境で、カメラのシャッタ速度が1/100(s)よりも速くなってフリッカが除去できない場合でも、カメラモジュール110aとカメラモジュール110bの2つのカメラを利用しフリッカ発生状態の環境下にてカメラモジュール110bの取り込みタイミングをずらして撮影した2枚を重ね合わせて合成することで、静止画撮影画像に対し、高輝度環境下でもフリッカの縞を低減することができる。
【0026】
他の実施例の動作としては、2つのカメラで被写体を撮影する際、取り込みタイミングではなく、2つのカメラのシャッタ速度や露光時間を変えた状態で撮影することで、同じ被写体でも異なる画像が撮影できる。例えば、夜景などのシーンで人物を撮影する際、片方は長時間露光にして明るい画像を撮影し、もう片方はシャッタを速くして手ブレのない写真が撮影できる。このようにして、両方の撮影画像が同時に確認画面として液晶に表示され、ユーザによる保存選択が可能となる。カメラモジュール110bはカメラモジュール110aとは逆の動作になるような設定としておくことで、ズームや明るさ、シャッタ速度など常に2種類の条件で撮影することができる。また、言うまでもなく、同じ条件で撮影することもできる。
【0027】
1つのカメラでも設定を変更させれば異なった条件での撮影は可能であるが、同時に撮影することは困難である。これに対し、携帯電話100によれば、1度の撮影において別の条件で撮影することで、より良いシーンの撮影が可能となる。また、両方で撮影することで、手ブレなどで撮影に失敗するリスクも低減することができる。
【0028】
なおまた、撮像装置として携帯電話100の実施形態について説明したが、ハンディカムやデジカメでもCMOSセンサを2つ搭載した装置であれば適用することができる。
【0029】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【0030】
100 携帯電話
110 カメラモジュール
120 CPU
130 DSP
140 液晶画面

【特許請求の範囲】
【請求項1】
撮像画像のフリッカ縞を低減させる撮像装置であって、
ライン露光順次読み出し方式の2つの撮像手段と、
前記各撮像手段の動作を制御する制御手段と、
前記各撮像手段によって撮像された画像を処理する画像処理手段と
を備え、
前記制御手段は、ユーザによる撮像指示操作に応じて、タイミングをズラして撮像するよう前記各撮像手段の動作を制御し、
前記画像処理手段は、一方の前記撮像手段によって撮像された第1の画像と、他方の前記撮像手段によって前記第1の画像とは異なるタイミングに撮像された第2の画像とを合成処理する
ことを特徴とする撮像装置。
【請求項2】
前記制御手段は、前記各撮像手段の動作フレームの半周期分のタイミングをズラして撮像するよう前記各撮像手段の動作を制御する
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記画像処理手段は、前記第1の画像と前記第2の画像とを、フリッカ縞の帯に沿ってズラした場合に、前記被写体の特徴的な形状部分のズレが最少となるように合成する
ことを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
前記画像処理手段は、前記第1の画像と前記第2の画像の合成画像の明るさ補正を行う
ことを特徴とする請求項1から3のいずれか一項に記載の撮像装置。
【請求項5】
前記画像処理手段は、前記撮像手段による撮像前に、一方の前記撮像手段によるプレビュー画像のフリッカ縞を検出し、当該フリッカ縞を除去することができるか否かを判定し、
一方の前記撮像手段によるプレビュー画像のフリッカ縞を除去することができないと前記画像処理手段が判定した場合に、前記制御手段は、ユーザによる撮像指示操作に応じて、タイミングをズラして撮像するよう前記各撮像手段の動作を制御する
ことを特徴とする請求項1から4のいずれか一項に記載の撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−70221(P2012−70221A)
【公開日】平成24年4月5日(2012.4.5)
【国際特許分類】
【出願番号】特願2010−213355(P2010−213355)
【出願日】平成22年9月24日(2010.9.24)
【出願人】(390010179)埼玉日本電気株式会社 (1,228)
【Fターム(参考)】