説明

撮像装置、撮像方法及びプログラム

【課題】被写体により好適な画質で画像を撮像する撮像装置、撮像方法及びプログラムを提供する。
【解決手段】撮像部は複数の画素を有し、画素信号を間引いて出力する間引きモードと、一部の領域の画素の画素信号を切り出して出力する切り出しモードとを切り換え可能である。周波数変換部は画素信号により生成される画像データを空間周波数成分に変換する。調整部は空間周波数成分に周波数f1以上の成分が含まれる場合、間引きモードと切り出しモードとの切換倍率を2.0倍に調整し、空間周波数成分に周波数f1以上の成分が含まれない場合、切換倍率を2.0倍より高い3.0倍に調整する。切換部は入力された拡大倍率が調整された切換倍率未満である場合、撮像部を間引きモードに切り換え、拡大倍率が調整された切換倍率以上である場合、撮像部を切り出しモードに切り換える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は拡大画像の撮像が可能な撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【0002】
拡大倍率に応じて撮像素子における画素信号の切り出し範囲を変える撮像装置が開示されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−330329号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
当然のことながら、撮像装置で撮像される拡大画像も高画質であることが要求される。画像の画質は解像度、シグナル対ノイズ比(以下、単に「S/N比」とする)、撮像感度等によって左右される。そして、これらが画質に与える影響は被写体によって異なる。例えば、被写体が風景である場合には、高解像度であることが要求されることが多いが、被写体が人物の顔である場合には、高解像度よりもむしろ高S/N比が要求されることが多い。
【0005】
ところが、上記特許文献1に開示された撮像装置のように、被写体の種類に関わらず拡大倍率に応じて撮像素子における画素信号の切り出し範囲を変えるだけでは、被写体の違いに応じて画質を調整するのが困難である。
【0006】
本発明はこのような実情に鑑みてなされたものであり、被写体により好適な画質で画像を撮像することができる撮像装置、撮像方法及びプログラムを提供する。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の第1の観点に係る撮像装置は、
ユーザの操作入力により指定された拡大倍率を入力する操作入力部と、
所定の2次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第1のモードと、前記2次元領域の一部の領域の画素の画素信号を切り出して出力する第2のモードとを切り換え可能な撮像部と、
前記撮像部から出力された画素信号により生成される画像データを空間周波数成分に変換する周波数変換部と、
前記周波数変換部で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第1のモードと前記第2のモードとの切換倍率を第1の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第1の倍率より高い第2の倍率に調整する調整部と、
前記操作入力部によって入力された拡大倍率が前記調整部によって調整された前記切換倍率未満である場合、前記撮像部を前記第1のモードに切り換え、前記拡大倍率が前記調整部によって調整された前記切換倍率以上である場合、前記撮像部を前記第2のモードに切り換える切換部と、
を備える。
【0008】
また、本発明の第2の観点に係る撮像方法は、
所定の2次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第1のモードと、前記2次元領域の一部の領域の画素の画素信号を切り出して出力する第2のモードとを切り換え可能な撮像部を備える撮像装置における撮像方法であって、
ユーザの操作入力により指定された拡大倍率を入力する操作入力工程と、
前記撮像部から出力された前記画素信号により生成される画像データを空間周波数成分に変換する周波数変換工程と、
前記周波数変換工程で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第1のモードと前記第2のモードとの切換倍率を第1の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第1の倍率より高い第2の倍率に調整する調整工程と、
前記操作入力工程によって入力された拡大倍率が前記調整工程によって調整された前記切換倍率未満である場合、前記撮像装置を前記第1のモードに切り換え、前記拡大倍率が前記調整工程によって調整された前記切換倍率以上である場合、前記撮像装置を前記第2のモードに切り換える切換工程と、
を備える。
【0009】
また、本発明の第3の観点に係るプログラムは、
ユーザの操作入力により指定された拡大倍率を入力する操作入力部と、所定の2次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第1のモードと、前記2次元領域の一部の領域の画素の画素信号を切り出して出力する第2のモードとを切り換え可能な撮像部を備える撮像装置を制御するコンピュータを、
前記撮像部から出力された前記画素信号により生成される画像データを空間周波数成分に変換する周波数変換部、
前記周波数変換部で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第1のモードと前記第2のモードとの切換倍率を第1の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第1の倍率より高い第2の倍率に調整する調整部、
前記操作入力部によって入力された拡大倍率が前記調整部によって調整された前記切換倍率未満である場合、前記撮像部を前記第1のモードに切り換え、前記拡大倍率が前記調整部によって調整された前記切換倍率以上である場合、前記撮像部を前記第2のモードに切り換える切換部、
として機能させる。
【発明の効果】
【0010】
本発明によれば、画像データが高周波成分を含み、高解像度が要求されるものである場合には、複数の画素各々の画素信号を間引いて出力する第1のモードから2次元領域の一部の領域の画素の画素信号を切り出して出力する第2のモードに撮像部を切り換える切換倍率が第1の倍率に調整される。また、画像データが高周波成分を含まず、高S/N比が要求されるものである場合には、その切換倍率が第1の倍率よりも高い第2の倍率に調整される。これにより、画像データに含まれる周波数成分に応じた画素信号の取り出しが可能となるので、被写体により好適な画質で画像を撮像することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態に係る携帯端末の構成を示すブロック図である。
【図2】図2(A)は撮像素子の画素を模式的に示す図である。図2(B)は撮像素子の画素に積層された色フィルタを模式的に示す図である。
【図3】図3(A)は緑色フィルタを通過した光に基づいて出力される画素信号の加算を示す図である。図3(B)は青色フィルタを通過した光に基づいて出力される画素信号の加算を示す図である。図3(C)は赤色フィルタを通過した光に基づいて出力される画素信号の加算を示す図である。
【図4】画素信号の切り出しによる拡大画像を示す図である。
【図5】図5(A)は人物の顔が撮像された画像の一例を示す図である。図5(B)は風景が撮像された画像の一例を示す図である。
【図6】図6(A)は図5(A)の画像の空間周波数のスペクトル強度を示す図である。図6(B)は図5(B)の画像の空間周波数のスペクトル強度を示す図である。
【図7】図7(A)は周波数f1以上の成分が含まれない画像の切換倍率の一例を示す図である。図7(B)は周波数f1以上の成分が含まれる画像の切換倍率の一例を示す図である。
【図8】画像拡大処理のフローチャートである。
【図9】図9(A)は図5(A)の画像が1.0倍で出力された画像の一例を示す図である。図9(B)は図5(A)の画像が1.5倍に拡大された画像の一例を示す図である。図9(C)は図5(A)の画像が2.0倍に拡大された画像の一例を示す図である。図9(D)は図5(A)の画像が3.0倍に拡大された画像の一例を示す図である。
【図10】図10(A)は図5(B)の画像が1.0倍で出力された画像の一例を示す図である。図10(B)は図5(B)の画像が1.5倍に拡大された画像の一例を示す図である。図10(C)は図5(B)の画像が2.0倍に拡大された画像の一例を示す図である。図10(D)は図5(B)の画像が3.0倍に拡大された画像の一例を示す図である。
【発明を実施するための形態】
【0012】
本発明の実施形態について図面を参照しながら詳細に説明する。
【0013】
撮像装置としてのカメラ付き携帯端末100(以下、単に「携帯端末100」とする)は通話機能、電子メール送受信機能、Webサイト閲覧機能等の他に、画像を撮像できる端末である。
【0014】
図1に示すように、携帯端末100はスピーカ1と、マイクロフォン2(以下、単にマイク2とする)と、操作入力部3と、通信部4と、信号処理部5と、記憶部6と、撮像部7と、制御部8と、LCD(Liquid Crystal Display)コントローラ9と、表示装置10とを備える。
【0015】
スピーカ1は通話音声、着信音等を出力する。また、マイク2はユーザの通話音声を携帯端末100に入力する。
【0016】
操作入力部3はキーボタン、シャッターボタン、ジョグダイヤル、タッチパネル等(いずれも不図示)を備える。操作入力部3はユーザによって入力された操作に対応する操作入力信号を携帯端末100に入力する。
【0017】
より具体的には、ユーザによって拡大倍率が入力されると、操作入力部3はユーザの操作入力により指定された拡大倍率を入力する。また、操作入力部3は、例えば、携帯端末100の電源オンオフ、撮像の指示、動画の再生指示、電話番号の入力、電子メールの本文作成、画像の呼び出しや再生等に対応する操作入力信号を入力する。
【0018】
通信部4は通信アンテナ41と無線回路42とを備える。通信アンテナ41は電波を受信する。さらに、通信アンテナ41は受信された電波を電気信号に変換して無線回路42に入力する。また、通信アンテナ41は無線回路42から出力された電気信号を電波に変換して発信する。
【0019】
無線回路42は通信アンテナ41から出力された電気信号を復調して信号処理部5に出力する。また、無線回路42は入力された信号を変調して電気信号に変換する。さらに、無線回路42は変換された電気信号を通信アンテナ41に出力する。
【0020】
通信部4は、例えば、CDMA(Code Division Multiple Access)、EV−DO(Evolution Data Only)、無線LAN(Local Area Network)等の通信方式による他の通信端末装置や情報処理装置との通信が可能である。
【0021】
信号処理部5は符号復号処理回路51とD/A変換器52とを備える。符号復号処理回路51は無線回路42から出力された信号を復号化する。この復号化処理によって通話音声に係るデジタル音声信号、電子メールとして受信された文字データや受信された電子メールに添付された画像データが生成される。
【0022】
また、符号復号処理回路51は音声通話に係るデジタル音声信号、電子メールとして送信される文字データ、送信される電子メールに添付される画像データ等を符号化する。この符号化処理によって生成された信号は無線回路42に出力される。
【0023】
D/A変換器52は符号復号処理回路51によって生成されたデジタル音声信号をアナログ音声信号に変換する。変換されたアナログ音声信号はスピーカ1を介して出力される。
【0024】
また、D/A変換器52はマイク2を介して入力されたアナログ音声信号をデジタル音声信号に変換する。さらに、D/A変換器52は変換されたデジタル音声信号を符号復号処理回路51に出力する。
【0025】
記憶部6は、例えば、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリを備える。記憶部6は各種プログラム、データベース、電話帳データ、楽曲データ、画像データ等を格納する。
【0026】
撮像部7は光学系(不図示)と、所定の2次元領域(受光面)に配列された複数の画素を有するイメージセンサ71とを備える。
【0027】
光学系はシャッタ、レンズ、フォーカスレンズ、及び絞り等(いずれも不図示)を備える。光学系を通過した光がイメージセンサ71の受光面に入射することにより、被写体像がイメージセンサ71の受光面に結像される。
【0028】
イメージセンサ71は、例えばCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子(不図示)である。イメージセンサ71は画素信号を出力する回路を有し、被写体像が光電変換された電荷を画素信号として出力する。本実施形態におけるイメージセンサ71には、横4000ドット×縦3000ドットの画素が配列された12メガピクセルの撮像素子が用いられる。
【0029】
図2(A)には撮像素子の一部である横5ドット×縦3ドットの15画素が示されている。カラー画像の撮像が可能な撮像素子の1画素には、色信号形成のために必要な複数の色フィルタが積層された基本ユニットが用いられる。基本ユニットは、図2(B)に示すように、2つの緑色フィルタ(G)と各1つずつの赤色フィルタ(R)、青色フィルタ(B)から構成される。イメージセンサ71は色フィルタを通過して受光面に入射した光に基づいて色信号を形成する。
【0030】
また、撮像部7は画素信号を間引いて出力する第1のモードとしての間引きモードと、一部の領域の画素の画素信号を切り出して出力する第2のモードとしての切り出しモードとを切り換え可能である。
【0031】
ここで、間引きモードと切り出しモードについて詳細に説明する。
【0032】
間引きモードにおいては、イメージセンサ71は隣接する画素の画素信号を加算することで画素信号を間引いて出力する。例えば、イメージセンサ71は、図3(A)に示すように、隣接する画素から4つの緑色フィルタ(G)を通過した光に基づいて出力される画素信号を加算して、1つの緑色フィルタ(G)を通過した光に基づく画素信号として出力する。イメージセンサ71は、図3(B)及び図3(C)に示すように、赤色フィルタ(R)及び青色フィルタ(B)についてもそれぞれ隣接する画素から4つの同色フィルタを通過した光に基づいて出力される隣接する画素の画素信号を加算して、1つの色フィルタを通過した光に基づく画素信号として出力する。
【0033】
このように加算されて出力される画素信号から生成される画像は、全ての画素から出力される画素信号から生成される画像とその画角が同じで、水平方向、垂直方向それぞれ1/2の画素数で構成される。
【0034】
一方、切り出しモードにおいては、イメージセンサ71はユーザによって設定された画像領域に対応する一部の領域の画素の画素信号を切り出して出力する。このように切り出されて出力された画素信号から生成される画像は、図4に示すように、全ての画素から出力された画素信号によって生成される画像の画角よりその画角が小さく、水平方向、垂直方向それぞれ1/2の画素数で構成される。このため、こうして生成される画像は全ての画素から出力された画素信号によって生成される画像が2.0倍に拡大された画像となる。
【0035】
制御部8はISP(Image Signal Processor)81と、CPU(Central Processing Unit)82とを備える。
【0036】
ISP81はイメージセンサ71により出力された画素信号をデジタル画像信号に変換して、階調補正、白バランス調整等の処理後、所定の画像サイズへのリサイズ処理を行い、画像データを出力する。
【0037】
CPU82は周波数変換部83と、調整部84と、切換部85とを備える。CPU82が記憶部6に格納された各種プログラムを実行することにより、周波数変換部83、調整部84、切換部85の機能等を実現して、制御部8は携帯端末100の各部を統括的に制御するとともに、画像の撮像、電子メールの本文作成や送受信、動画の再生等、各処理を実行する。
【0038】
周波数変換部83は撮像部7で撮像された画像データを空間周波数成分に変換する。
【0039】
より詳細には、周波数変換部83は画像データとしてISP81から出力されたデジタル画像信号をフーリエ変換することによって、空間周波数のスペクトル強度を求める。
【0040】
周波数変換部83によって変換された空間周波数成分は、撮像された被写体に応じて異なることが知られている。
【0041】
例えば図5(A)に示すような人物の顔が撮像されたデジタル画像信号の空間周波数のスペクトル強度を求めると、図6(A)に示すように、低周波数側にスペクトルが集中して分布する傾向がある。
【0042】
このような高周波成分が少ない被写体を高画質で撮像する場合、解像度が高いことよりも撮像感度やS/N比が高いことが要求される。
【0043】
一方、例えば図5(B)に示すような風景が撮像されたデジタル画像信号の空間周波数のスペクトル強度を求めると、図6(B)に示すように、高周波数側にもスペクトルが分布する。
【0044】
このような高周波成分が多い被写体を高画質で撮像する場合、撮像感度やS/N比が高いことよりも解像度が高いことが要求される。
【0045】
調整部84は、例えば図6(B)に示すように、周波数変換部83で求められた空間周波数成分に周波数f1以上の成分が含まれている場合、間引きモードと切り出しモードとの切換倍率を第1の倍率として2.0倍に調整し、例えば図6(A)に示すように、空間周波数成分に周波数f1以上の成分が含まれていない場合、切換倍率を第2の倍率として3.0倍に調整する。
【0046】
切換部85は操作入力部3によって入力された拡大倍率が調整部84によって調整された切換倍率未満である場合、撮像部7を間引きモードに切り換え、拡大倍率が調整部84によって調整された切換倍率以上である場合、撮像部7を切り出しモードに切り換える。
【0047】
調整部84による切換倍率の調整と切換部85によるモードの切り換えについて図7を参照して説明する。デジタル画像信号が変換された空間周波数において周波数f1以上の成分が含まれない場合、図7(A)に示すように、ユーザによって設定される拡大倍率が3.0未満までは、画素信号は加算されて出力される。拡大倍率が3.0以上のときは、画素信号は切り出されて出力される。
【0048】
一方、デジタル画像信号が変換された空間周波数において周波数f1以上の成分が含まれる場合、図7(B)に示すように、ユーザによって設定される拡大倍率が2.0未満までは、画素信号は加算されて出力される。拡大倍率が2.0以上では、画素信号は切り出されて出力される。
【0049】
LCDコントローラ9は1画面または2画面程度の画像を記憶するVRAM(Video Random Access Memory)91を備え、VRAM91が制御部8から間欠的または部分的に出力された画像を記憶し、60Hz程度の周波数で連続的に表示装置10に出力する。
【0050】
制御部8からLCDコントローラ9への画像の出力は差動シリアルバスを介して行われる。
【0051】
表示装置10はVGA(Video Graphics Array、横640ドット×縦480ドット)液晶ディスプレイである。表示装置10はLCDコントローラ9から出力される画像を表示する。
【0052】
LCDコントローラ9から表示装置10への出力はCMOSのパラレルバスを介して行われる。
【0053】
次に、図8を参照して、本実施形態における携帯端末100の画像拡大処理のフローを説明する。
【0054】
周波数変換部83は、ユーザによって操作入力部3を介して画像の拡大倍率が入力されるまで待つ(ステップS1;No)。ユーザによって操作入力部3を介して画像の拡大倍率が入力されると(ステップS1;Yes)、周波数変換部83は撮像部7で撮像された画像データをフーリエ変換することにより空間周波数成分に変換する(ステップS2)。
【0055】
次に、周波数変換部83で変換された空間周波数成分に周波数f1以上の成分が含まれている場合(ステップS3;Yes)、調整部84は切換倍率を2.0倍に調整する(ステップS4)。
【0056】
一方、空間周波数成分に周波数f1以上の高周波成分が含まれていない場合(ステップS3;No)、調整部84は切換倍率を3.0倍に調整する(ステップS5)。
【0057】
次に、切換部85は操作入力部3によって入力された拡大倍率が調整された切換倍率未満である場合(ステップS6;Yes)、撮像部7を間引きモードに切り換える(ステップS7)。
【0058】
一方、拡大倍率が調整された切換倍率未満でない場合(ステップS6;No)、切換部85は撮像部7を切り出しモードに切り換える(ステップS8)。
【0059】
撮像部7は各モードに応じて画素信号を出力する(ステップS9)。
【0060】
さらに、制御部8は出力された画素信号から生成される画像を拡大して表示する(ステップS10)。
【0061】
上記画像拡大処理のフローにおいて画像が拡大表示されると(ステップS10)、携帯端末100はステップS1に戻る。携帯端末100は上記の処理を例えば100ms周期で繰り返すことによりユーザから入力される画像拡大の操作に対応できる。
【0062】
以下では、例えば高周波成分が含まれない画像として図5(A)、高周波成分が含まれる画像として図5(B)を用いて、より具体的に上述の画像拡大処理について説明する。
【0063】
まず、図9(A)乃至(D)を参照して、図5(A)に示すような周波数f1以上の成分が含まれない画像の拡大処理を説明する。
【0064】
携帯端末100の拡大倍率の初期設定は1.0倍である。拡大倍率が1.0倍の場合、制御部8は隣接する画素の画素信号を加算することにより画素信号を間引いて出力する。これにより、制御部8は、図9(A)に示すように、イメージセンサ71の横4000ドット×縦3000ドットから水平方向、垂直方向それぞれ1/2となる横2000ドット×縦1500ドットの画素信号を出力する。そして、制御部8は出力された横2000ドット×縦1500ドットの画素信号から生成される画像を1.0倍で表示する。
【0065】
ユーザによって操作入力部3を介して拡大倍率1.5倍が入力されると(ステップS1;Yes)、周波数変換部83は撮像部7で撮像された画像データをフーリエ変換することにより空間周波数成分に変換する(ステップS2)。
【0066】
周波数変換部83で変換された空間周波数成分に周波数f1以上の成分が含まれていないため(ステップS3;No)、調整部84は切換倍率を3.0倍に調整する(ステップS5)。
【0067】
入力された拡大倍率1.5倍は切換倍率3.0倍未満なので(ステップS6;Yes)、切換部85は撮像部7を間引きモードに切り換える(ステップS7)。
【0068】
制御部8は隣接する画素の画素信号を加算することにより画素信号を間引いて出力する。これにより、制御部8は、図9(B)に示すように、水平方向、垂直方向それぞれ1/2となる横2000ドット×縦1500ドットの画素信号を出力する(ステップS9)。
【0069】
制御部8は出力された横2000ドット×縦1500ドットの画素信号で生成される画像の横1333ドット×縦1000ドットの部分を切り出して1.5倍に拡大して表示する(ステップS10)。
【0070】
ユーザによって操作入力部3を介して拡大倍率2.0倍が入力されると(ステップS1;Yes)、上記と同様に切換倍率が3.0倍に調整され、画素の出力が間引きモードに切り換えられる(ステップS2乃至S7)。
【0071】
制御部8は隣接する画素の画素信号を加算することにより画素信号を間引いて出力する。これにより、制御部8は、図9(C)に示すように、水平方向、垂直方向それぞれ1/2となる横2000ドット×縦1500ドットの画素信号を出力する(ステップS9)。
【0072】
制御部8は出力された横2000ドット×縦1500ドットの画素信号で生成される画像の横1000ドット×縦750ドットの部分を切り出して2.0倍に拡大して表示する(ステップS10)。
【0073】
ユーザによって操作入力部3を介して拡大倍率3.0倍が入力されると(ステップS1;Yes)、上記と同様に切換倍率が3.0倍に調整される(ステップS2乃至S5)。
【0074】
入力された拡大倍率2.0倍は切換倍率3.0倍未満ではないので(ステップS6;No)、切換部85は撮像部7を切り出しモードに切り換える(ステップS8)。
【0075】
制御部8は一部の領域の画素の画素信号を切り出して出力する。これにより、制御部8は、図9(D)に示すように、水平方向、垂直方向それぞれ1/2となる横2000ドット×縦1500ドットの画素信号を出力する(ステップS9)。
【0076】
制御部8は出力された横2000ドット×縦1500ドットの画素信号で生成される画像の横1333ドット×縦1000ドットの部分を切り出して1.5倍に拡大して表示する(ステップS10)。こうすることで、結果的に3.0倍に拡大された画像が得られるが、拡大は1.5倍なので、ぼやけやシャギーの発生等、解像度の低下を抑えることができる。
【0077】
続いて、図10(A)乃至(D)を参照して、図5(B)に示すような周波数f1以上の成分が含まれる画像の拡大処理を説明する。
【0078】
初期設定である拡大倍率1.0倍の場合、制御部8は隣接する画素の画素信号を加算することにより画素信号を間引いて出力する。これにより、制御部8は、図10(A)に示すように、水平方向、垂直方向それぞれ1/2となる横2000ドット×縦1500ドットの画素信号から生成される画像を1.0倍で表示する。
【0079】
ユーザによって操作入力部3を介して拡大倍率1.5倍が入力されると(ステップS1;Yes)、撮像部7で撮像された画像データをフーリエ変換することにより空間周波数成分に変換する(ステップS2)。
【0080】
周波数変換部83で変換された空間周波数成分に周波数f1以上の成分が含まれるため(ステップS3;Yes)、調整部84は切換倍率を2.0倍に調整する(ステップS5)。
【0081】
入力された拡大倍率1.5倍は切換倍率2.0倍未満なので(ステップS6;Yes)、切換部85は撮像部7を間引きモードに切り換える(ステップS7)。
【0082】
制御部8は隣接する画素の画素信号を加算することにより画素信号を間引いて出力する。これにより、制御部8は、図10(B)に示すように、水平方向、垂直方向それぞれ1/2となる横2000ドット×縦1500ドットの画素信号を出力する(ステップS9)。
【0083】
制御部8は出力された横2000ドット×縦1500ドットの画素信号で生成される画像の横1333ドット×縦1000ドットの部分を切り出して1.5倍に拡大して表示する(ステップS10)。
【0084】
ユーザによって操作入力部3を介して拡大倍率2.0倍が入力されると(ステップS1;Yes)、上記と同様に切換倍率が2.0倍に調整される(ステップS2乃至S5)。
【0085】
入力された拡大倍率2.0倍は切換倍率2.0倍未満ではないので(ステップS6;No)、切換部85は撮像部7を切り出しモードに切り換える(ステップS8)。
【0086】
制御部8は一部の領域の画素の画素信号を切り出して出力する。これにより、制御部8は、図10(C)に示すように、水平方向、垂直方向それぞれ1/2となる横2000ドット×縦1500ドットの画素信号を出力する(ステップS9)。
【0087】
制御部8は出力された横2000ドット×縦1500ドットの画素信号で生成される画像を1.0倍で表示する(ステップS10)。
【0088】
ユーザによって操作入力部3を介して拡大倍率3.0倍が入力されると(ステップS1;Yes)、上記と同様に切換倍率が2.0倍に調整され、画素の出力が切り出しモードに切り換えられる(ステップS2乃至S7)。
【0089】
制御部8は一部の領域の画素の画素信号を切り出して出力する。これにより、制御部8は、図10(D)に示すように、水平方向、垂直方向それぞれ1/2となる横2000ドット×縦1500ドットの画素信号を出力する(ステップS9)。
【0090】
制御部8は出力された横2000ドット×縦1500ドットの画素信号で生成される画像の横1333ドット×縦1000ドットの部分を切り出して1.5倍に拡大して表示する(ステップS10)。
【0091】
なお、制御部8は出力された画素信号から生成される画像を出力する前に、表示装置10で画像が表示されるように画像のサイズを変換してもよい。
【0092】
以上説明したように、本実施形態によれば、画像データが高周波成分を含み、高解像度が要求されるものである場合には、複数の画素各々の画素信号を間引いて出力する間引きモードから2次元領域の一部の領域の画素の画素信号を切り出して出力する切り出しモードに撮像部7を切り換える切換倍率が2.0倍に調整される。また、画像データが高周波成分を含まず、高S/N比が要求されるものである場合には、その切換倍率が2.0倍よりも高い3.0倍に調整される。これにより、画像データに含まれる周波数成分に応じた画素信号の取り出しが可能となるので、被写体により好適な画質で画像を撮像することができる。
【0093】
また、本実施形態では間引きモードにおいて画素信号を加算して出力するようにした。こうすることで、解像度よりも撮像感度やS/N比のほうが画質の向上に要求される人物の顔のように高周波成分が含まれない画像の画質を向上させることができ、被写体に応じてさらに好適な画像を撮像することができる。
【0094】
また、本実施形態によれば、周波数変換部83は撮像された画像データの空間周波数成分への変換にフーリエ変換を用いる。フーリエ変換は画像データの空間周波数への変換によく用いられるため、その計算処理が最適化されている。このため、フーリエ変換を用いることにより、周波数変換部83は空間周波数成分を精度良く効率的に求めることができる。
【0095】
なお、間引きモードにおいて、撮像部7は4つの同色フィルタを通過した光に基づいて出力される画素信号を加算するが、これに限られるものでなく、2つの同色フィルタ、3つの同色フィルタを通過した光に基づいて出力される画素信号を加算してもよい。また、撮像部7は異なる画素信号の加算の方法を組み合わせて画素信号を加算してもよい。
【0096】
また、撮像部7は画素信号を必ずしも加算する必要はなく、単に間引くだけであっても良い。
【0097】
なお、間引きモード及び切り出しモードの切り換えが頻繁に発生すると画質に影響を与える可能性があるため、一度間引きモード及び切り出しモードを切り換えた場合は、その後拡大倍率がわずかに変更されたとしても間引きモード及び切り出しモードの切り換えを行わず、拡大倍率が所定の幅以上で変更された場合に、間引きモード及び切り出しモードの切り換えを行うようにしてもよい。
【0098】
また、周波数変換部83はバンドパスフィルタ処理、直交変換処理、連続ウェーブレット変換等により空間周波数を得ることとしてもよい。
【0099】
なお、周波数f1はレンズの光学性能や撮像素子の画素数などに応じて携帯端末100のメーカーが決定してもよいし、ユーザインタフェースを介してユーザが決定するようにしてもよい。
【0100】
なお、本実施形態のように、フルハイビジョン(横1920ドット×縦1080ドット)を遙かに上回る高精細化された12メガピクセルのイメージセンサ71を用いて画像を撮像した場合、各画素から出力される画素信号は増大する。特にこのようなイメージセンサ71を用いて動画を撮像した場合、上述の画素信号の加算等の画素信号の間引くことによって、画素数が水平方向、垂直方向それぞれ1/2となるため、1フレーム分の画素信号を出力するのに必要な時間は1/4となる。このように出力される画素数を抑えることで動画撮像時のフレームレートの確保、画像データを処理する処理回路や画像データを記憶するメモリの負担軽減等のメリットがある。
【0101】
なお、携帯端末100は少なくとも画像を撮像できればよく、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)、PC(Personal Computer)等であってもよい。
【0102】
なお、表示装置10は、QVGA(Quarter Video Graphics Array、横320ドット×縦240ドット)、WVGA(Wide Video Graphics Array、横800ドット×縦480ドット)、FWVGA(Full Wide Video Graphics Array、横854ドット×縦480ドット)等の各種デバイスでもよい。また、表示装置10は自発光型の有機EL(Electro-Luminescence)ディスプレイでもよい。
【0103】
なお、制御部8からLCDコントローラ9への画像の出力は、信号線数の削減やノイズに対する配慮から差動シリアルバスを介して行われるようにしたが、CMOSのパラレルバスを介して行われるようにしてもよい。
【0104】
なお、LCDコントローラ9から表示装置10への出力は、CMOSのパラレルバスを介して行われるようにしたが、差動シリアルバスを介して行われるようにしてもよい。
【0105】
なお、上記実施形態において、実行されるプログラムは、フレキシブルディスク、CD−ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical disk)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行する携帯端末100を構成することとしてもよい。
【0106】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。
【0107】
また、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。
【0108】
なお、本発明は、上記実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で実施形態及び図面に変更を加えることができるのはもちろんである。
【0109】
(付記1)ユーザの操作入力により指定された拡大倍率を入力する操作入力部と、
所定の2次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第1のモードと、前記2次元領域の一部の領域の画素の画素信号を切り出して出力する第2のモードとを切り換え可能な撮像部と、
前記撮像部から出力された画素信号により生成される画像データを空間周波数成分に変換する周波数変換部と、
前記周波数変換部で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第1のモードと前記第2のモードとの切換倍率を第1の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第1の倍率より高い第2の倍率に調整する調整部と、
前記操作入力部によって入力された拡大倍率が前記調整部によって調整された前記切換倍率未満である場合、前記撮像部を前記第1のモードに切り換え、前記拡大倍率が前記調整部によって調整された前記切換倍率以上である場合、前記撮像部を前記第2のモードに切り換える切換部と、
を備える撮像装置。
【0110】
(付記2)前記第1のモードでは、
隣接する画素の画素信号を加算して出力する、
ことを特徴とする付記1に記載の撮像装置。
【0111】
(付記3)前記周波数変換部は、
フーリエ変換により前記画像データを空間周波数成分に変換する、
ことを特徴とする付記1又は2に記載の撮像装置。
【0112】
(付記4)所定の2次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第1のモードと、前記2次元領域の一部の領域の画素の画素信号を切り出して出力する第2のモードとを切り換え可能な撮像部を備える撮像装置における撮像方法であって、
ユーザの操作入力により指定された拡大倍率を入力する操作入力工程と、
前記撮像部から出力された前記画素信号により生成される画像データを空間周波数成分に変換する周波数変換工程と、
前記周波数変換工程で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第1のモードと前記第2のモードとの切換倍率を第1の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第1の倍率より高い第2の倍率に調整する調整工程と、
前記操作入力工程によって入力された拡大倍率が前記調整工程によって調整された前記切換倍率未満である場合、前記撮像装置を前記第1のモードに切り換え、前記拡大倍率が前記調整工程によって調整された前記切換倍率以上である場合、前記撮像装置を前記第2のモードに切り換える切換工程と、
を備える撮像方法。
【0113】
(付記5)ユーザの操作入力により指定された拡大倍率を入力する操作入力部と、所定の2次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第1のモードと、前記2次元領域の一部の領域の画素の画素信号を切り出して出力する第2のモードとを切り換え可能な撮像部を備える撮像装置を制御するコンピュータを、
前記撮像部から出力された前記画素信号により生成される画像データを空間周波数成分に変換する周波数変換部、
前記周波数変換部で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第1のモードと前記第2のモードとの切換倍率を第1の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第1の倍率より高い第2の倍率に調整する調整部、
前記操作入力部によって入力された拡大倍率が前記調整部によって調整された前記切換倍率未満である場合、前記撮像部を前記第1のモードに切り換え、前記拡大倍率が前記調整部によって調整された前記切換倍率以上である場合、前記撮像部を前記第2のモードに切り換える切換部、
として機能させるプログラム。
【符号の説明】
【0114】
1 スピーカ
2 マイクロフォン
3 操作入力部
4 通信部
5 信号処理部
6 記憶部
7 撮像部
8 制御部
9 LCDコントローラ
10 表示装置
41 通信アンテナ
42 無線回路
51 符号復号処理回路
52 D/A変換器
71 イメージセンサ
81 ISP
82 CPU
83 周波数変換部
84 調整部
85 切換部
91 VRAM
100 携帯端末

【特許請求の範囲】
【請求項1】
ユーザの操作入力により指定された拡大倍率を入力する操作入力部と、
所定の2次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第1のモードと、前記2次元領域の一部の領域の画素の画素信号を切り出して出力する第2のモードとを切り換え可能な撮像部と、
前記撮像部から出力された画素信号により生成される画像データを空間周波数成分に変換する周波数変換部と、
前記周波数変換部で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第1のモードと前記第2のモードとの切換倍率を第1の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第1の倍率より高い第2の倍率に調整する調整部と、
前記操作入力部によって入力された拡大倍率が前記調整部によって調整された前記切換倍率未満である場合、前記撮像部を前記第1のモードに切り換え、前記拡大倍率が前記調整部によって調整された前記切換倍率以上である場合、前記撮像部を前記第2のモードに切り換える切換部と、
を備える撮像装置。
【請求項2】
前記第1のモードでは、
隣接する画素の画素信号を加算して出力する、
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記周波数変換部は、
フーリエ変換により前記画像データを空間周波数成分に変換する、
ことを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
所定の2次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第1のモードと、前記2次元領域の一部の領域の画素の画素信号を切り出して出力する第2のモードとを切り換え可能な撮像部を備える撮像装置における撮像方法であって、
ユーザの操作入力により指定された拡大倍率を入力する操作入力工程と、
前記撮像部から出力された前記画素信号により生成される画像データを空間周波数成分に変換する周波数変換工程と、
前記周波数変換工程で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第1のモードと前記第2のモードとの切換倍率を第1の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第1の倍率より高い第2の倍率に調整する調整工程と、
前記操作入力工程によって入力された拡大倍率が前記調整工程によって調整された前記切換倍率未満である場合、前記撮像装置を前記第1のモードに切り換え、前記拡大倍率が前記調整工程によって調整された前記切換倍率以上である場合、前記撮像装置を前記第2のモードに切り換える切換工程と、
を備える撮像方法。
【請求項5】
ユーザの操作入力により指定された拡大倍率を入力する操作入力部と、所定の2次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第1のモードと、前記2次元領域の一部の領域の画素の画素信号を切り出して出力する第2のモードとを切り換え可能な撮像部を備える撮像装置を制御するコンピュータを、
前記撮像部から出力された前記画素信号により生成される画像データを空間周波数成分に変換する周波数変換部、
前記周波数変換部で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第1のモードと前記第2のモードとの切換倍率を第1の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第1の倍率より高い第2の倍率に調整する調整部、
前記操作入力部によって入力された拡大倍率が前記調整部によって調整された前記切換倍率未満である場合、前記撮像部を前記第1のモードに切り換え、前記拡大倍率が前記調整部によって調整された前記切換倍率以上である場合、前記撮像部を前記第2のモードに切り換える切換部、
として機能させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−134681(P2012−134681A)
【公開日】平成24年7月12日(2012.7.12)
【国際特許分類】
【出願番号】特願2010−283842(P2010−283842)
【出願日】平成22年12月20日(2010.12.20)
【出願人】(310006855)NECカシオモバイルコミュニケーションズ株式会社 (1,081)
【Fターム(参考)】