画像生成装置
【課題】 表示装置の階調変換特性が異なる場合であっても、各表示装置の階調変換特性に適応した画像表現が可能な画像を生成する。
【解決手段】 被写体像が撮像されることにより取得された画像の色情報に基づいた第１の画像信号と、画像の取得範囲内の複数の領域毎の輝度情報に基づいた第２の画像信号とを生成する信号生成部（２２）と、第１の画像信号と第２の画像信号とを合成し、合成された画像信号を表示装置に出力する信号合成部（２４）と、を備えたことを特徴とする。
【解決手段】 被写体像が撮像されることにより取得された画像の色情報に基づいた第１の画像信号と、画像の取得範囲内の複数の領域毎の輝度情報に基づいた第２の画像信号とを生成する信号生成部（２２）と、第１の画像信号と第２の画像信号とを合成し、合成された画像信号を表示装置に出力する信号合成部（２４）と、を備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に表示する画像を生成する画像生成装置に関する。
【背景技術】
【０００２】
近年、液晶とＬＥＤ光源の双方を制御することで、従来のコントラストよりも高コントラストの画像表現を行うことが可能な高ダイナミックレンジ（ＨＤＲ）表示装置が提供されている。例えばＨＤＲ表示装置に表示させる画像（ＨＤＲ画像）は、例えばＣＧ技術を用いて生成される、又は複数枚の露出の異なる同一画角の画像を合成することで生成される。また、最近では、ＨＤＲ画像を生成することができる撮像装置が提案されている（特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述したＨＤＲ画像は、ＨＤＲ表示装置に適応した画像であることから、ＨＤＲ表示装置における階調表現特性よりも劣る、言い換えれば低ダイナミックレンジ（ＬＤＲ）表示装置に表示させる場合には、ＬＤＲ表示装置に適応した画像に変換する必要がある。同様にして、ＬＤＲ表示装置に適応した画像をＨＤＲ表示装置で表示する場合にも、該画像をＨＤＲ表示装置に適応した画像に変換する必要がある。ＬＤＲ表示装置に適応した画像をＨＤＲ表示装置に適応した画像に変換する場合には、ＨＤＲ表示装置に表示される明るさが本来の明るさとは異なってしまう。
【０００４】
本発明は、表示装置の階調変換特性が異なる場合であっても、各表示装置の階調変換特性に適応した画像表現が可能な画像を生成する画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、本発明の画像生成装置は、被写体像が撮像されることにより取得された画像の色情報に基づいた第１の画像信号と、前記画像の取得範囲内の複数の領域毎の輝度情報に基づいた第２の画像信号とを生成する信号生成部と、前記第１の画像信号と、前記第２の画像信号とを合成し、合成された画像信号を表示装置に出力する信号合成部と、を備えたことを特徴とする。
【０００６】
また、前記信号生成部において前記第２の画像信号を生成する際の前記複数の領域を設定する設定部を、さらに備えたことが好ましい。
【０００７】
また、被写体像を撮像して画像を取得する画像取得部をさらに備え、前記信号生成部は、前記画像取得部によって取得された画像を用いて、前記第２画像信号を生成することが好ましい。
【０００８】
また、前記複数の領域毎の輝度を検出する輝度検出部を備え、前記信号生成部は、前記輝度検出部によって検出された輝度に基づいて、前記第２の画像信号を生成することが好ましい。
【０００９】
また、前記表示装置は、該表示装置における階調表現特性に基づいて、前記合成された画像信号のうち、前記第１の画像信号を用いた画像表示、又は前記第１の画像信号と前記第２の画像信号とをそれぞれ用いた画像表示を実行することが好ましい。
【発明の効果】
【００１０】
本発明によれば、画像を表示装置に表示させる際に、表示装置の階調表現特性に合わせて画像を変換しなくとも、表示装置の階調表現特性に適応した画像を表示させることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】デジタルカメラの構成の一例を示す図である。
【図２】ベイヤー配列を示す図である。
【図３】画像の取得から、画像の表示までの流れを示すフローチャートである。
【図４】輝度取得部を備えたデジタルカメラの構成の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、画像生成装置の一例としてデジタルカメラを例に取り上げているが、これに限定される必要はなく、カメラ機能を備えた携帯電話機やＰＤＡ（Personal Digital Assistant）等の電子機器であってもよい。
【００１３】
図１は、本発明の画像生成装置の一例であるデジタルカメラの構成を示す。図１においては、取得された画像に対してＷＢ処理、ガンマ補正、色補正などの処理を行う機能については省略している。
【００１４】
デジタルカメラ１０は、画像取得部２１、信号生成部２２、設定部２３及び信号合成部２４を備えている。画像取得部２１は、被写体についての画像を取得する。なお、画像としては、静止画像の他に、動画像が含まれる。画像取得部２１は、例えばＣＣＤイメージセンサや、ＣＭＯＳイメージセンサなどの撮像素子を有している。図２に示すように、この撮像素子の受光面には、赤色（Ｒ）、緑色（Ｒ）、青色（Ｂ）のフィルタが周知のベイヤー配列にて配設されている。これにより、撮像素子により静止画像を撮影したときに得られる画像信号（画像データ）は、各画素がＲ、Ｇ、Ｂのいずれかの色成分の色情報、つまり各画素の画素データが単一色成分からなる画像信号となる。なお、画像取得部２１は、取得した画像信号に対して、相関二重サンプリング処理、画像信号の利得の増幅処理及びＡ／Ｄ変換処理を施した後、信号生成部２２に出力する。なお、この画像取得部として、撮像素子を有する構成としているが、この他に、画像取得部２１は、デジタルカメラに装着されたメモリカード等の記憶媒体に記憶された画像データを取得する形態であってもよい。
【００１５】
図１に戻って、信号生成部２２は、画像取得部２１から出力された画像信号を用いて、デジタルカメラ１０に接続された表示装置４０に表示させる際に用いる各種信号を生成する。なお、各種信号とは、各画素の画素データがＲＧＢの各色成分からなるカラー画像信号（以下、ＲＧＢカラー画像信号）の他に、輝度（Ｙ）成分を示す画像信号（以下、Ｙ画像信号）が挙げられる。
【００１６】
この信号生成部２２は、ＲＧＢ信号生成部３１、Ｙ信号生成部３２の機能を有している。上述したように、画像取得部２１により取得された画像信号は、各画素が単一色成分の画素データからなる画像信号であることから、ＲＧＢ信号生成部３１は入力される画像信号に対して復調処理を施すことで、ＲＧＢカラー画像信号を生成する。このＲＧＢカラー画像信号はＹ信号生成部３２及び信号合成部２４に出力される。
【００１７】
Ｙ信号生成部３２は、ＲＧＢ信号生成部３１によって生成されたＲＧＢカラー画像信号を用いて、Ｙ画像信号を生成する。まず、Ｙ信号生成部３２は、入力されるＲＧＢカラー画像信号を用いて、各画素における輝度値を求める。なお、輝度値をＹとした場合、輝度値（Ｙ）は、以下の（１）式にて求められる。
【００１８】
Ｙ＝０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂ・・・（１）
上述した撮像素子の受光面に配列される各色成分のフィルタの配列状態によっては、Ｇ色が５０％以上を占めている場合もあることから、このような場合には、信号生成部２２に入力される画像信号と、線形補間を利用した以下の（２）式とを用いて各画素の輝度値を求めてもよい。
【００１９】
ＹG＝Ｇ ｏr ＹR／ＹB＝｛（Ｇ2n,2m-1−G2n+2,2m-1）／２＋（Ｇ2n-1,2m−G2n-1,2m+2）／２｝／２（ｎ＝１・・・Ｎ、ｍ＝１・・・Ｍ）
なお、ＹR／ＹBを求める際に、対応するＧ色成分がない場合には、鏡像処理により体操するＧ色成分を求め、求めたＧ色成分を用いればよい。
【００２０】
各画素の輝度値が求められると、Ｙ信号生成部３２は、画像の取得範囲を複数分割した後、分割することで得られる各領域（以下、分割領域）に対する輝度値を求める。画像の取得範囲を複数分割するとは、取得される画像の取得範囲を仮想的に分割することの他に、撮像素子における受光面を仮想的に複数分割することが挙げられる。また、各分割領域の輝度値としては、例えば分割領域毎に含まれる画素の平均輝度値が挙げられる。Ｙ信号生成部３２は、求めた平均輝度値と分割領域に含まれる各画素とを対応付けることで信号生成部２２に入力された画像信号に対応するＹ画像信号を生成する。
【００２１】
設定部２３は、上述した画像を複数分割することで得られる分割領域のサイズ（領域に含まれる画素数）や画像の分割数を設定する。これら設定は、ユーザの入力操作に基づいて、或いはデジタルカメラ１０に接続される表示装置４０に基づいて実行される。なお、「デジタルカメラ１０に接続される表示装置４０に基づいて」とは、例えば表示装置４０として、後述するＨＤＲ表示装置４０ａがデジタルカメラ１０に接続される場合がある。このような場合には、ＨＤＲ表示装置４０ａがデジタルカメラ１０に接続されると、ＨＤＲ表示装置４０ａからデジタルカメラ１０に対して、ＨＤＲ表示装置４０ａである旨の情報や、バックライトとして機能する複数のＬＥＤ光源の個数や、１個のＬＥＤ光源によって照明される液晶パネルの照明範囲などの情報が出力されるので、設定部２３は出力された情報に基づいて、分割領域のサイズや画像の分割数を設定する。
【００２２】
信号合成部２４は、ＲＧＢ信号生成部３１から出力されるＲＧＢカラー画像信号に対してトーンマッピング処理を施す。例えば撮像素子から出力される画像信号は、１０ビットや１２ビットからなる。一方、一般に用いられている表示装置４０で表示できる画像信号は８ビットである。そこで、信号合成部２４は、ＲＧＢカラー画像信号に対してトーンマッピング処理を施すことで、８ビットのＲＧＢカラー画像信号に変換する。この信号合成部２４にはＹ信号生成部３２からのＹ画像信号が入力されるので、信号合成部２４は、ＲＧＢカラー画像信号にＹ画像信号を合成する。これにより、表示用に用いられる画像信号（以下、表示用画像信号）が生成され、表示装置４０に出力される。
【００２３】
上述したデジタルカメラ１０には、ケーブル等を介して表示装置４０が接続される。この表示装置４０としては、高ダイナミックレンジ（ＨＤＲ）表示装置４０ａ又は低ダイナミックレンジ（ＬＤＲ）表示装置４０ｂが挙げられる。例えばＨＤＲ表示装置４０ａは、例えばマトリクスアレイ状に並べた複数のＬＥＤ光源をバックライトとし、これらＬＥＤ光源を液晶パネルに表示する画像情報の輝度レベルに対応して個別に８ビット駆動させ、また、液晶パネルを８ビット駆動させることで、６５５３６階調の階調表現特性にて画像表示が実行される。このＨＤＲ表示装置４０が接続されている場合には、表示用画像信号のうち、ＲＧＢカラー画像信号が液晶パネルでの表示制御に用いられ、Ｙ画像信号がバックライトとして機能する複数のＬＥＤ光源の駆動制御に用いられる。
【００２４】
一方、ＬＤＲ表示装置４０ｂとしては、例えば一定量の光を発するバックライトを備えた液晶表示装置（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）などの表示装置が挙げられる。このＬＤＲ表示装置４０ｂにおいては、表示用画像信号のうち、ＲＧＢカラー画像信号を用いて画像が表示される。この場合、ＲＧＢカラー画像信号が８ビットであれば、２５６階調の階調表現特性にて画像表示が実行される。
【００２５】
以下、画像を取得する処理から画像を表示するまでの流れについて、図３のフローチャートに基づいて説明する。ステップＳ１０１は、画像を取得する処理である。このステップＳ１０１の処理は、画像取得部２１により実行される。このステップＳ１０１の処理が実行されることで、画像取得部２１により、各画素がＲ、Ｇ、Ｂのいずれかの色成分の色情報を示す画像信号が取得される。
【００２６】
ステップＳ１０２は、ＲＧＢカラー画像信号を生成する処理である。このステップＳ１０２の処理は、ＲＧＢ信号生成部３１により実行される。信号生成部２２に入力される画像信号は、各画素がＲ、Ｇ、Ｂのいずれかの色成分の色情報を示す画像信号であることから、ＲＧＢ画像信号生成部３１は、この画像信号に対して復調処理を行うことで、ＲＧＢカラー画像信号を生成する。
【００２７】
ステップＳ１０３は、Ｙ画像信号を生成する処理である。ステップＳ１０３の処理は、Ｙ信号生成部３２により実行される。ステップＳ１０２の処理により生成されたＲＧＢカラー画像信号は、Ｙ信号生成部３２に入力される。Ｙ信号生成部３２は、ＲＧＢカラー画像信号から画像を構成する同一画素における輝度値を画素毎に求める。設定部２３によって、画像を複数分割する際に生成される分割領域の大きさや画像の分割数が予め設定されている。Ｙ信号生成部３２は、設定された分割領域の大きさや画像の分割数に基づいて、入力されるＲ，Ｇ，Ｂ信号の各信号を用いて、それぞれの分割領域に含まれる画素の平均輝度値を求める。各分割領域に含まれる画素の平均輝度値を求めた後、Ｙ信号生成部３２は、分割領域に含まれる画素の輝度値を、求めた平均輝度値となるように置換し、各画素の画素データが輝度値からなるＹ画像信号を生成する。
【００２８】
ステップＳ１０４は、生成された信号を合成する処理である。このステップＳ１０４の処理は、信号合成部２４で実行される。ＲＧＢ信号生成部３１は、ステップＳ１０２の処理を実行したときに生成されたＲＧＢカラー画像信号を信号合成部２４に出力する。また、Ｙ信号生成部３２は、ステップＳ１０３の処理を実行したときに生成されたＹ画像信号を信号合成部２４に出力する。信号合成部２４は、ＲＧＢカラー画像信号が入力されると、これら信号に対してトーンマッピング処理を施す。これにより、例えば１２ビットの画像信号が８ビットの画像信号に変換される。そして、信号合成部２４は、変換されたＲＧＢカラー画像信号と、Ｙ画像信号とを合成することで、表示用画像信号を生成する。
【００２９】
ステップＳ１０５は、合成された画像を表示する処理である。この処理は、デジタルカメラ１０に表示装置４０が接続されている場合に実行される。このステップＳ１０５の処理が実行されると、表示用画像信号は信号合成部２４からデジタルカメラ１０に接続された表示装置４０に出力される。表示装置４０は、信号合成部２４から出力された表示用画像信号に基づいた画像を表示する。
【００３０】
例えばデジタルカメラ１０に接続された表示装置４０がＨＤＲ表示装置４０ａである場合には、表示用画像信号のうち、ＲＧＢカラー画像信号を用いて液晶パネルを駆動制御し、Ｙ画像信号を用いてバックライトとして機能する複数のＬＥＤ光源を個別駆動する。例えばＲＧＢカラー画像信号が８ビット、Ｙ画像信号が８ビットであれば、６５５３６階調の階調表現特性にて画像が表示される。
【００３１】
一方、デジタルカメラ１０に接続された表示装置４０がＬＤＲ表示装置４０ｂである場合には、表示用画像信号のうち、Ｙ画像信号を除く信号、つまりＲＧＢカラー画像信号を用いて画像が表示される。この場合、ＲＧＢカラー画像信号が８ビットであれば、２５６階調の階調表現特性にて画像が表示される。なお、表示用画像信号は、デジタルカメラ１０に装着される記憶媒体、或いはデジタルカメラ１０と接続された電子機器に装着される記憶媒体等に記憶される。
【００３２】
このように、ＲＧＢカラー画像信号の他に、Ｙ画像信号を有する画像信号を生成し、表示装置に出力することで、表示装置は、その階調表現特性に適応した画像を表示することが可能となる。また、上述した処理を行うことで、表示装置の階調表現特性に適応した画像に変換すること無しに表示させることが可能となる。
【００３３】
本実施形態では、各画素の画素データが輝度値からなるＹ画像信号を生成し、ＲＧＢカラー画像信号と合成することで表示用画像信号を生成しているが、分割領域毎の輝度値と該分割領域の位置とを対応付けた輝度情報を、ＲＧＢカラー画像信号の付帯情報として付帯し、この輝度情報が付帯されたＲＧＢカラー画像信号を表示用画像信号として出力することも可能である。
【００３４】
本実施形態では、各画素が単一色成分の画素データからなる画像信号から、ＲＧＢカラー画像信号を生成しているが、これに限定する必要はなく、例えば３個の撮像素子を用いて、Ｒ、Ｇ、Ｂの各色成分の画像信号（Ｒ信号、Ｂ信号及びＧ信号）をそれぞれ取得する場合には、これら信号をそのまま用いて、Ｙ画像信号を生成することも可能である。
【００３５】
本実施形態では、デジタルカメラ１０に接続されている表示装置４０の種類に関係なく、ＲＧＢカラー画像信号と、Ｙ画像信号とを合成した表示用画像信号を出力する形態としているが、これに限定する必要はなく、デジタルカメラ１０に接続される表示装置４０の種類に応じて、出力される表示用画像信号を変更することも可能である。つまり、デジタルカメラ１０に接続された表示装置４０がＨＤＲ表示装置４０ａであれば、信号合成部２４は、ＲＧＢカラー画像信号とＹ画像信号とを合成した表示用画像信号を生成して、該表示用画像信号を出力し、ＬＤＲ表示装置４０ｂが接続されている場合には、Ｙ画像信号をＲＧＢカラー画像信号に合成せずに、ＲＧＢカラー画像信号表示用画像信号として出力すればよい。
【００３６】
本実施形態では、ＲＧＢカラー画像信号と、Ｙ画像信号とを合成した表示用画像信号を表示装置に出力している形態としているが、デジタルカメラと表示装置とを接続するケーブルの種類によっては、これらＲＧＢカラー画像信号とＹ画像信号とを個別に出力することも可能である。また、この他に、ＲＧＢカラー画像信号を、Ｒ画像信号、Ｇ画像信号、Ｂ画像信号に分解し、それぞれの画像信号を個別に出力することも可能である。
【００３７】
本実施形態では、ＲＧＢ信号生成部３１にて生成されたＲＧＢカラー画像信号を信号合成部２４に出力しているが、例えば、カラー画像信号に対して輝度補正処理や色補正処理を行う場合には、カラー画像信号における色空間をＲＧＢ色空間からＹＣｂＣｒ色空間に変換する必要がある。このような色空間がＹＣｂＣｒ色空間からなるカラー画像信号が信号合成部２４に入力された場合には、まず、色空間をＹＣｂＣｒ色空間からＲＧＢ色空間に変換する処理（ＲＧＢ標準フォーマット処理）を施した後に、色空間が変換されたカラー画像信号とＹ画像信号とを合成することで表示用画像信号を生成すればよい。
【００３８】
本実施形態では、取得される画像を用いて各分割領域における輝度値を求めているが、これに限定する必要はなく、画像取得時の輝度値を検出する機能を有していてもよい。図４は、輝度取得部の機能を有するデジタルカメラの一例を示す。以下、本実施形態と同一の機能となる箇所においては同一の符号を付して説明し、本実施形態と重複する部位に関してはその詳細を省略する。このデジタルカメラ１０においては、輝度取得部４５を備えている。
【００３９】
輝度取得部４５は、画像取得部２１において取得される画像と同一範囲内の輝度を取得する。この輝度取得部４５としては、例えば撮像素子が用いられる。この撮像素子は、画像取得部２１に用いられる撮像素子における画素数よりも低い画素数の撮像素子が用いられる。つまり、画像取得部２１にて用いられる撮像素子の画素数を２００〜３００万画素とした場合、この輝度取得部４５に用いられる撮像素子は、１万画素程度の画素数からなる。この輝度取得部４５によって、画像取得部２１によって取得される画像と、同一範囲（画角）における輝度情報を得ることができる。Ｙ信号生成部３２は、輝度取得部４５から出力される輝度情報を用いてＹ画像信号を生成する。なお、このＹ画像信号を生成する際には、画像を複数分割したときに得られる分割領域毎の輝度値を求め、分割領域毎の画素の画素データを求めた輝度値とすればよい。なお、分割領域毎の輝度値とは、各分割領域に含まれる画素の平均輝度値が挙げられる。このＹ信号生成部３２によって生成されたＹ画像信号は信号合成部２４に出力され、ＲＧＢ信号生成部３１から出力されるＲＧＢカラー画像信号と合成される。この場合も、本実施形態と同一の効果を得ることが可能となる。
【００４０】
本実施形態では、画像生成装置としてデジタルカメラを取り上げて説明しているが、画像生成装置としては、デジタルカメラの他に、図１に示す機能や、図３に示すフローチャートの流れを実行することが可能なコンピュータであってもよい。この場合、画像取得部の機能としては、例えばメモリカードの記憶媒体やデジタルカメラ等などの電子機器と電気的に接続可能にし、画像取得部は、これら記憶媒体に記憶された画像やデジタルカメラで取得された画像を取り込むことができるような形態であればよい。また、図１に示す機能や、図３に示すフローチャートの機能をコンピュータにて実行することが可能なプログラムであってもよい。このようなプログラムの場合には、メモリカードや光学ディスクや磁気ディスクなどのコンピュータに読み取り可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００４１】
１０…デジタルカメラ、２１…画像取得部、２２…信号生成部、２３…設定部、２４…信号合成部、３１…ＲＧＢ信号生成部、３２…Ｙ信号生成部、４０…表示装置、４５…輝度取得部
【先行技術文献】
【特許文献】
【００４２】
【特許文献１】特開２００８−６７３７２号公報
【技術分野】
【０００１】
本発明は、表示装置に表示する画像を生成する画像生成装置に関する。
【背景技術】
【０００２】
近年、液晶とＬＥＤ光源の双方を制御することで、従来のコントラストよりも高コントラストの画像表現を行うことが可能な高ダイナミックレンジ（ＨＤＲ）表示装置が提供されている。例えばＨＤＲ表示装置に表示させる画像（ＨＤＲ画像）は、例えばＣＧ技術を用いて生成される、又は複数枚の露出の異なる同一画角の画像を合成することで生成される。また、最近では、ＨＤＲ画像を生成することができる撮像装置が提案されている（特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述したＨＤＲ画像は、ＨＤＲ表示装置に適応した画像であることから、ＨＤＲ表示装置における階調表現特性よりも劣る、言い換えれば低ダイナミックレンジ（ＬＤＲ）表示装置に表示させる場合には、ＬＤＲ表示装置に適応した画像に変換する必要がある。同様にして、ＬＤＲ表示装置に適応した画像をＨＤＲ表示装置で表示する場合にも、該画像をＨＤＲ表示装置に適応した画像に変換する必要がある。ＬＤＲ表示装置に適応した画像をＨＤＲ表示装置に適応した画像に変換する場合には、ＨＤＲ表示装置に表示される明るさが本来の明るさとは異なってしまう。
【０００４】
本発明は、表示装置の階調変換特性が異なる場合であっても、各表示装置の階調変換特性に適応した画像表現が可能な画像を生成する画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、本発明の画像生成装置は、被写体像が撮像されることにより取得された画像の色情報に基づいた第１の画像信号と、前記画像の取得範囲内の複数の領域毎の輝度情報に基づいた第２の画像信号とを生成する信号生成部と、前記第１の画像信号と、前記第２の画像信号とを合成し、合成された画像信号を表示装置に出力する信号合成部と、を備えたことを特徴とする。
【０００６】
また、前記信号生成部において前記第２の画像信号を生成する際の前記複数の領域を設定する設定部を、さらに備えたことが好ましい。
【０００７】
また、被写体像を撮像して画像を取得する画像取得部をさらに備え、前記信号生成部は、前記画像取得部によって取得された画像を用いて、前記第２画像信号を生成することが好ましい。
【０００８】
また、前記複数の領域毎の輝度を検出する輝度検出部を備え、前記信号生成部は、前記輝度検出部によって検出された輝度に基づいて、前記第２の画像信号を生成することが好ましい。
【０００９】
また、前記表示装置は、該表示装置における階調表現特性に基づいて、前記合成された画像信号のうち、前記第１の画像信号を用いた画像表示、又は前記第１の画像信号と前記第２の画像信号とをそれぞれ用いた画像表示を実行することが好ましい。
【発明の効果】
【００１０】
本発明によれば、画像を表示装置に表示させる際に、表示装置の階調表現特性に合わせて画像を変換しなくとも、表示装置の階調表現特性に適応した画像を表示させることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】デジタルカメラの構成の一例を示す図である。
【図２】ベイヤー配列を示す図である。
【図３】画像の取得から、画像の表示までの流れを示すフローチャートである。
【図４】輝度取得部を備えたデジタルカメラの構成の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、画像生成装置の一例としてデジタルカメラを例に取り上げているが、これに限定される必要はなく、カメラ機能を備えた携帯電話機やＰＤＡ（Personal Digital Assistant）等の電子機器であってもよい。
【００１３】
図１は、本発明の画像生成装置の一例であるデジタルカメラの構成を示す。図１においては、取得された画像に対してＷＢ処理、ガンマ補正、色補正などの処理を行う機能については省略している。
【００１４】
デジタルカメラ１０は、画像取得部２１、信号生成部２２、設定部２３及び信号合成部２４を備えている。画像取得部２１は、被写体についての画像を取得する。なお、画像としては、静止画像の他に、動画像が含まれる。画像取得部２１は、例えばＣＣＤイメージセンサや、ＣＭＯＳイメージセンサなどの撮像素子を有している。図２に示すように、この撮像素子の受光面には、赤色（Ｒ）、緑色（Ｒ）、青色（Ｂ）のフィルタが周知のベイヤー配列にて配設されている。これにより、撮像素子により静止画像を撮影したときに得られる画像信号（画像データ）は、各画素がＲ、Ｇ、Ｂのいずれかの色成分の色情報、つまり各画素の画素データが単一色成分からなる画像信号となる。なお、画像取得部２１は、取得した画像信号に対して、相関二重サンプリング処理、画像信号の利得の増幅処理及びＡ／Ｄ変換処理を施した後、信号生成部２２に出力する。なお、この画像取得部として、撮像素子を有する構成としているが、この他に、画像取得部２１は、デジタルカメラに装着されたメモリカード等の記憶媒体に記憶された画像データを取得する形態であってもよい。
【００１５】
図１に戻って、信号生成部２２は、画像取得部２１から出力された画像信号を用いて、デジタルカメラ１０に接続された表示装置４０に表示させる際に用いる各種信号を生成する。なお、各種信号とは、各画素の画素データがＲＧＢの各色成分からなるカラー画像信号（以下、ＲＧＢカラー画像信号）の他に、輝度（Ｙ）成分を示す画像信号（以下、Ｙ画像信号）が挙げられる。
【００１６】
この信号生成部２２は、ＲＧＢ信号生成部３１、Ｙ信号生成部３２の機能を有している。上述したように、画像取得部２１により取得された画像信号は、各画素が単一色成分の画素データからなる画像信号であることから、ＲＧＢ信号生成部３１は入力される画像信号に対して復調処理を施すことで、ＲＧＢカラー画像信号を生成する。このＲＧＢカラー画像信号はＹ信号生成部３２及び信号合成部２４に出力される。
【００１７】
Ｙ信号生成部３２は、ＲＧＢ信号生成部３１によって生成されたＲＧＢカラー画像信号を用いて、Ｙ画像信号を生成する。まず、Ｙ信号生成部３２は、入力されるＲＧＢカラー画像信号を用いて、各画素における輝度値を求める。なお、輝度値をＹとした場合、輝度値（Ｙ）は、以下の（１）式にて求められる。
【００１８】
Ｙ＝０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂ・・・（１）
上述した撮像素子の受光面に配列される各色成分のフィルタの配列状態によっては、Ｇ色が５０％以上を占めている場合もあることから、このような場合には、信号生成部２２に入力される画像信号と、線形補間を利用した以下の（２）式とを用いて各画素の輝度値を求めてもよい。
【００１９】
ＹG＝Ｇ ｏr ＹR／ＹB＝｛（Ｇ2n,2m-1−G2n+2,2m-1）／２＋（Ｇ2n-1,2m−G2n-1,2m+2）／２｝／２（ｎ＝１・・・Ｎ、ｍ＝１・・・Ｍ）
なお、ＹR／ＹBを求める際に、対応するＧ色成分がない場合には、鏡像処理により体操するＧ色成分を求め、求めたＧ色成分を用いればよい。
【００２０】
各画素の輝度値が求められると、Ｙ信号生成部３２は、画像の取得範囲を複数分割した後、分割することで得られる各領域（以下、分割領域）に対する輝度値を求める。画像の取得範囲を複数分割するとは、取得される画像の取得範囲を仮想的に分割することの他に、撮像素子における受光面を仮想的に複数分割することが挙げられる。また、各分割領域の輝度値としては、例えば分割領域毎に含まれる画素の平均輝度値が挙げられる。Ｙ信号生成部３２は、求めた平均輝度値と分割領域に含まれる各画素とを対応付けることで信号生成部２２に入力された画像信号に対応するＹ画像信号を生成する。
【００２１】
設定部２３は、上述した画像を複数分割することで得られる分割領域のサイズ（領域に含まれる画素数）や画像の分割数を設定する。これら設定は、ユーザの入力操作に基づいて、或いはデジタルカメラ１０に接続される表示装置４０に基づいて実行される。なお、「デジタルカメラ１０に接続される表示装置４０に基づいて」とは、例えば表示装置４０として、後述するＨＤＲ表示装置４０ａがデジタルカメラ１０に接続される場合がある。このような場合には、ＨＤＲ表示装置４０ａがデジタルカメラ１０に接続されると、ＨＤＲ表示装置４０ａからデジタルカメラ１０に対して、ＨＤＲ表示装置４０ａである旨の情報や、バックライトとして機能する複数のＬＥＤ光源の個数や、１個のＬＥＤ光源によって照明される液晶パネルの照明範囲などの情報が出力されるので、設定部２３は出力された情報に基づいて、分割領域のサイズや画像の分割数を設定する。
【００２２】
信号合成部２４は、ＲＧＢ信号生成部３１から出力されるＲＧＢカラー画像信号に対してトーンマッピング処理を施す。例えば撮像素子から出力される画像信号は、１０ビットや１２ビットからなる。一方、一般に用いられている表示装置４０で表示できる画像信号は８ビットである。そこで、信号合成部２４は、ＲＧＢカラー画像信号に対してトーンマッピング処理を施すことで、８ビットのＲＧＢカラー画像信号に変換する。この信号合成部２４にはＹ信号生成部３２からのＹ画像信号が入力されるので、信号合成部２４は、ＲＧＢカラー画像信号にＹ画像信号を合成する。これにより、表示用に用いられる画像信号（以下、表示用画像信号）が生成され、表示装置４０に出力される。
【００２３】
上述したデジタルカメラ１０には、ケーブル等を介して表示装置４０が接続される。この表示装置４０としては、高ダイナミックレンジ（ＨＤＲ）表示装置４０ａ又は低ダイナミックレンジ（ＬＤＲ）表示装置４０ｂが挙げられる。例えばＨＤＲ表示装置４０ａは、例えばマトリクスアレイ状に並べた複数のＬＥＤ光源をバックライトとし、これらＬＥＤ光源を液晶パネルに表示する画像情報の輝度レベルに対応して個別に８ビット駆動させ、また、液晶パネルを８ビット駆動させることで、６５５３６階調の階調表現特性にて画像表示が実行される。このＨＤＲ表示装置４０が接続されている場合には、表示用画像信号のうち、ＲＧＢカラー画像信号が液晶パネルでの表示制御に用いられ、Ｙ画像信号がバックライトとして機能する複数のＬＥＤ光源の駆動制御に用いられる。
【００２４】
一方、ＬＤＲ表示装置４０ｂとしては、例えば一定量の光を発するバックライトを備えた液晶表示装置（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）などの表示装置が挙げられる。このＬＤＲ表示装置４０ｂにおいては、表示用画像信号のうち、ＲＧＢカラー画像信号を用いて画像が表示される。この場合、ＲＧＢカラー画像信号が８ビットであれば、２５６階調の階調表現特性にて画像表示が実行される。
【００２５】
以下、画像を取得する処理から画像を表示するまでの流れについて、図３のフローチャートに基づいて説明する。ステップＳ１０１は、画像を取得する処理である。このステップＳ１０１の処理は、画像取得部２１により実行される。このステップＳ１０１の処理が実行されることで、画像取得部２１により、各画素がＲ、Ｇ、Ｂのいずれかの色成分の色情報を示す画像信号が取得される。
【００２６】
ステップＳ１０２は、ＲＧＢカラー画像信号を生成する処理である。このステップＳ１０２の処理は、ＲＧＢ信号生成部３１により実行される。信号生成部２２に入力される画像信号は、各画素がＲ、Ｇ、Ｂのいずれかの色成分の色情報を示す画像信号であることから、ＲＧＢ画像信号生成部３１は、この画像信号に対して復調処理を行うことで、ＲＧＢカラー画像信号を生成する。
【００２７】
ステップＳ１０３は、Ｙ画像信号を生成する処理である。ステップＳ１０３の処理は、Ｙ信号生成部３２により実行される。ステップＳ１０２の処理により生成されたＲＧＢカラー画像信号は、Ｙ信号生成部３２に入力される。Ｙ信号生成部３２は、ＲＧＢカラー画像信号から画像を構成する同一画素における輝度値を画素毎に求める。設定部２３によって、画像を複数分割する際に生成される分割領域の大きさや画像の分割数が予め設定されている。Ｙ信号生成部３２は、設定された分割領域の大きさや画像の分割数に基づいて、入力されるＲ，Ｇ，Ｂ信号の各信号を用いて、それぞれの分割領域に含まれる画素の平均輝度値を求める。各分割領域に含まれる画素の平均輝度値を求めた後、Ｙ信号生成部３２は、分割領域に含まれる画素の輝度値を、求めた平均輝度値となるように置換し、各画素の画素データが輝度値からなるＹ画像信号を生成する。
【００２８】
ステップＳ１０４は、生成された信号を合成する処理である。このステップＳ１０４の処理は、信号合成部２４で実行される。ＲＧＢ信号生成部３１は、ステップＳ１０２の処理を実行したときに生成されたＲＧＢカラー画像信号を信号合成部２４に出力する。また、Ｙ信号生成部３２は、ステップＳ１０３の処理を実行したときに生成されたＹ画像信号を信号合成部２４に出力する。信号合成部２４は、ＲＧＢカラー画像信号が入力されると、これら信号に対してトーンマッピング処理を施す。これにより、例えば１２ビットの画像信号が８ビットの画像信号に変換される。そして、信号合成部２４は、変換されたＲＧＢカラー画像信号と、Ｙ画像信号とを合成することで、表示用画像信号を生成する。
【００２９】
ステップＳ１０５は、合成された画像を表示する処理である。この処理は、デジタルカメラ１０に表示装置４０が接続されている場合に実行される。このステップＳ１０５の処理が実行されると、表示用画像信号は信号合成部２４からデジタルカメラ１０に接続された表示装置４０に出力される。表示装置４０は、信号合成部２４から出力された表示用画像信号に基づいた画像を表示する。
【００３０】
例えばデジタルカメラ１０に接続された表示装置４０がＨＤＲ表示装置４０ａである場合には、表示用画像信号のうち、ＲＧＢカラー画像信号を用いて液晶パネルを駆動制御し、Ｙ画像信号を用いてバックライトとして機能する複数のＬＥＤ光源を個別駆動する。例えばＲＧＢカラー画像信号が８ビット、Ｙ画像信号が８ビットであれば、６５５３６階調の階調表現特性にて画像が表示される。
【００３１】
一方、デジタルカメラ１０に接続された表示装置４０がＬＤＲ表示装置４０ｂである場合には、表示用画像信号のうち、Ｙ画像信号を除く信号、つまりＲＧＢカラー画像信号を用いて画像が表示される。この場合、ＲＧＢカラー画像信号が８ビットであれば、２５６階調の階調表現特性にて画像が表示される。なお、表示用画像信号は、デジタルカメラ１０に装着される記憶媒体、或いはデジタルカメラ１０と接続された電子機器に装着される記憶媒体等に記憶される。
【００３２】
このように、ＲＧＢカラー画像信号の他に、Ｙ画像信号を有する画像信号を生成し、表示装置に出力することで、表示装置は、その階調表現特性に適応した画像を表示することが可能となる。また、上述した処理を行うことで、表示装置の階調表現特性に適応した画像に変換すること無しに表示させることが可能となる。
【００３３】
本実施形態では、各画素の画素データが輝度値からなるＹ画像信号を生成し、ＲＧＢカラー画像信号と合成することで表示用画像信号を生成しているが、分割領域毎の輝度値と該分割領域の位置とを対応付けた輝度情報を、ＲＧＢカラー画像信号の付帯情報として付帯し、この輝度情報が付帯されたＲＧＢカラー画像信号を表示用画像信号として出力することも可能である。
【００３４】
本実施形態では、各画素が単一色成分の画素データからなる画像信号から、ＲＧＢカラー画像信号を生成しているが、これに限定する必要はなく、例えば３個の撮像素子を用いて、Ｒ、Ｇ、Ｂの各色成分の画像信号（Ｒ信号、Ｂ信号及びＧ信号）をそれぞれ取得する場合には、これら信号をそのまま用いて、Ｙ画像信号を生成することも可能である。
【００３５】
本実施形態では、デジタルカメラ１０に接続されている表示装置４０の種類に関係なく、ＲＧＢカラー画像信号と、Ｙ画像信号とを合成した表示用画像信号を出力する形態としているが、これに限定する必要はなく、デジタルカメラ１０に接続される表示装置４０の種類に応じて、出力される表示用画像信号を変更することも可能である。つまり、デジタルカメラ１０に接続された表示装置４０がＨＤＲ表示装置４０ａであれば、信号合成部２４は、ＲＧＢカラー画像信号とＹ画像信号とを合成した表示用画像信号を生成して、該表示用画像信号を出力し、ＬＤＲ表示装置４０ｂが接続されている場合には、Ｙ画像信号をＲＧＢカラー画像信号に合成せずに、ＲＧＢカラー画像信号表示用画像信号として出力すればよい。
【００３６】
本実施形態では、ＲＧＢカラー画像信号と、Ｙ画像信号とを合成した表示用画像信号を表示装置に出力している形態としているが、デジタルカメラと表示装置とを接続するケーブルの種類によっては、これらＲＧＢカラー画像信号とＹ画像信号とを個別に出力することも可能である。また、この他に、ＲＧＢカラー画像信号を、Ｒ画像信号、Ｇ画像信号、Ｂ画像信号に分解し、それぞれの画像信号を個別に出力することも可能である。
【００３７】
本実施形態では、ＲＧＢ信号生成部３１にて生成されたＲＧＢカラー画像信号を信号合成部２４に出力しているが、例えば、カラー画像信号に対して輝度補正処理や色補正処理を行う場合には、カラー画像信号における色空間をＲＧＢ色空間からＹＣｂＣｒ色空間に変換する必要がある。このような色空間がＹＣｂＣｒ色空間からなるカラー画像信号が信号合成部２４に入力された場合には、まず、色空間をＹＣｂＣｒ色空間からＲＧＢ色空間に変換する処理（ＲＧＢ標準フォーマット処理）を施した後に、色空間が変換されたカラー画像信号とＹ画像信号とを合成することで表示用画像信号を生成すればよい。
【００３８】
本実施形態では、取得される画像を用いて各分割領域における輝度値を求めているが、これに限定する必要はなく、画像取得時の輝度値を検出する機能を有していてもよい。図４は、輝度取得部の機能を有するデジタルカメラの一例を示す。以下、本実施形態と同一の機能となる箇所においては同一の符号を付して説明し、本実施形態と重複する部位に関してはその詳細を省略する。このデジタルカメラ１０においては、輝度取得部４５を備えている。
【００３９】
輝度取得部４５は、画像取得部２１において取得される画像と同一範囲内の輝度を取得する。この輝度取得部４５としては、例えば撮像素子が用いられる。この撮像素子は、画像取得部２１に用いられる撮像素子における画素数よりも低い画素数の撮像素子が用いられる。つまり、画像取得部２１にて用いられる撮像素子の画素数を２００〜３００万画素とした場合、この輝度取得部４５に用いられる撮像素子は、１万画素程度の画素数からなる。この輝度取得部４５によって、画像取得部２１によって取得される画像と、同一範囲（画角）における輝度情報を得ることができる。Ｙ信号生成部３２は、輝度取得部４５から出力される輝度情報を用いてＹ画像信号を生成する。なお、このＹ画像信号を生成する際には、画像を複数分割したときに得られる分割領域毎の輝度値を求め、分割領域毎の画素の画素データを求めた輝度値とすればよい。なお、分割領域毎の輝度値とは、各分割領域に含まれる画素の平均輝度値が挙げられる。このＹ信号生成部３２によって生成されたＹ画像信号は信号合成部２４に出力され、ＲＧＢ信号生成部３１から出力されるＲＧＢカラー画像信号と合成される。この場合も、本実施形態と同一の効果を得ることが可能となる。
【００４０】
本実施形態では、画像生成装置としてデジタルカメラを取り上げて説明しているが、画像生成装置としては、デジタルカメラの他に、図１に示す機能や、図３に示すフローチャートの流れを実行することが可能なコンピュータであってもよい。この場合、画像取得部の機能としては、例えばメモリカードの記憶媒体やデジタルカメラ等などの電子機器と電気的に接続可能にし、画像取得部は、これら記憶媒体に記憶された画像やデジタルカメラで取得された画像を取り込むことができるような形態であればよい。また、図１に示す機能や、図３に示すフローチャートの機能をコンピュータにて実行することが可能なプログラムであってもよい。このようなプログラムの場合には、メモリカードや光学ディスクや磁気ディスクなどのコンピュータに読み取り可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００４１】
１０…デジタルカメラ、２１…画像取得部、２２…信号生成部、２３…設定部、２４…信号合成部、３１…ＲＧＢ信号生成部、３２…Ｙ信号生成部、４０…表示装置、４５…輝度取得部
【先行技術文献】
【特許文献】
【００４２】
【特許文献１】特開２００８−６７３７２号公報
【特許請求の範囲】
【請求項１】
被写体像が撮像されることにより取得された画像の色情報に基づいた第１の画像信号と、前記画像の取得範囲内の複数の領域毎の輝度情報に基づいた第２の画像信号とを生成する信号生成部と、
前記第１の画像信号と、前記第２の画像信号とを合成し、合成された画像信号を表示装置に出力する信号合成部と、
を備えたことを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記信号生成部において前記第２の画像信号を生成する際の前記複数の領域を設定する設定部を、さらに備えたことを特徴とする画像生成装置。
【請求項３】
請求項１又は請求項２に記載の画像生成装置において、
被写体像を撮像して画像を取得する画像取得部をさらに備え、
前記信号生成部は、前記画像取得部によって取得された画像を用いて、前記第２画像信号を生成することを特徴とする画像生成装置。
【請求項４】
請求項１又は請求項２に記載の画像生成装置において、
前記複数の領域毎の輝度を検出する輝度検出部を備え、
前記信号生成部は、前記輝度検出部によって検出された輝度に基づいて、前記第２の画像信号を生成することを特徴とする画像生成装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像生成装置において、
前記表示装置は、該表示装置における階調表現特性に基づいて、前記合成された画像信号のうち、前記第１の画像信号を用いた画像表示、又は前記第１の画像信号と前記第２の画像信号とをそれぞれ用いた画像表示を実行することを特徴とする画像生成装置。
【請求項１】
被写体像が撮像されることにより取得された画像の色情報に基づいた第１の画像信号と、前記画像の取得範囲内の複数の領域毎の輝度情報に基づいた第２の画像信号とを生成する信号生成部と、
前記第１の画像信号と、前記第２の画像信号とを合成し、合成された画像信号を表示装置に出力する信号合成部と、
を備えたことを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記信号生成部において前記第２の画像信号を生成する際の前記複数の領域を設定する設定部を、さらに備えたことを特徴とする画像生成装置。
【請求項３】
請求項１又は請求項２に記載の画像生成装置において、
被写体像を撮像して画像を取得する画像取得部をさらに備え、
前記信号生成部は、前記画像取得部によって取得された画像を用いて、前記第２画像信号を生成することを特徴とする画像生成装置。
【請求項４】
請求項１又は請求項２に記載の画像生成装置において、
前記複数の領域毎の輝度を検出する輝度検出部を備え、
前記信号生成部は、前記輝度検出部によって検出された輝度に基づいて、前記第２の画像信号を生成することを特徴とする画像生成装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像生成装置において、
前記表示装置は、該表示装置における階調表現特性に基づいて、前記合成された画像信号のうち、前記第１の画像信号を用いた画像表示、又は前記第１の画像信号と前記第２の画像信号とをそれぞれ用いた画像表示を実行することを特徴とする画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−１８７３００（Ｐ２０１０−１８７３００Ａ）
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願番号】特願２００９−３１２７２（Ｐ２００９−３１２７２）
【出願日】平成２１年２月１３日（２００９．２．１３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願日】平成２１年２月１３日（２００９．２．１３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]