説明

撮像装置、およびプログラム

【課題】データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とする撮像装置、およびプログラムを提供する。
【解決手段】被写体を撮像してRAW画像を生成する撮像部と、RAW画像から少なくとも1以上の特徴部分を含む特徴画像を抽出する特徴抽出部と、RAW画像に対する処理を規定する第1シーン情報に基づいてRAW画像に対する画像処理を行い、特徴画像に対する処理を規定する第2シーン情報に基づいて特徴画像に対する画像処理を行う画像処理部と、RAW処理画像と特徴処理画像とに対して離散コサイン変換処理と量子化処理とを行う量子化部と、RAW処理画像が処理された画像データと特徴処理画像が処理された特徴画像データとの差分を示す差分データを特徴画像データごとに生成する差分データ生成部と、画像データを非可逆圧縮する画像圧縮部とを備える撮像装置が提供される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、およびプログラムに関する。
【背景技術】
【0002】
デジタルスチルカメラなどの撮像装置の中には、撮像により得たRAW画像に対する処理がそれぞれ規定される複数のシーンモードを記憶し、撮像が行われた場合には、ユーザにより設定された(または予め設定された)シーンモードに応じた画像処理を行うことによって、設定されたシーンモードに応じた画像データを生成することが可能なものがある。
【0003】
このような中、複数のシーンモードに応じた画像データを生成する技術が開発されている。一のシーンモードに応じた画像データと、当該画像データおよび他のシーンモードに応じた画像データの差分に対応する差分データとを記録し、画像データと差分データとを用いることによって、差分データに対応するシーンモードに応じた画像データを生成する技術としては、例えば、特許文献1、特許文献2が挙げられる。また、RAW画像データを記録し、RAW画像データに対してシーンモードに応じたパラメータによる画像処理を行うことによって、シーンモードに応じた画像データを生成する技術としては、例えば、特許文献3、特許文献4が挙げられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−60153号公報
【特許文献2】特開2008−85882号公報
【特許文献3】特開2007−33038号公報
【特許文献4】特開2004−264945号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
画像データと差分データとを用いることによって差分データに対応するシーンモードに応じた画像データを生成する従来の技術(以下、「従来の技術1」とよぶ場合がある。)では、中間データにおける差分を差分データとして記録する。よって、従来の技術1を用いる場合には、画像データと上記差分データとを用いることによって、当該画像データとは異なる画像データを生成することは可能である。しかしながら、従来の技術1では、画像全体における差分を差分データとして記録するので、差分データのデータサイズ(データ容量)は大きくなってしまう。また、従来の技術1では、中間データにおける差分を差分データとして記録するので、画像データと差分データとにより得られる新たな画像データが例えばJPEG(Joint Photographic Experts Group)などの非可逆圧縮された画像データである場合、当該新たな画像データが示す画像は、差分をとらずに画像処理を行って非可逆圧縮された画像データが示す画像(同一のシーンモードに対応する画像)とは異なる画像となってしまう。
【0006】
また、RAW画像データに対してシーンモードに応じたパラメータによる画像処理を行うことによってシーンモードに応じた画像データを生成する従来の技術(以下、「従来の技術2」とよぶ場合がある。)は、RAW画像データに対してシーンモードに応じたパラメータによる処理を行うので、シーンモードに応じた画像データを生成することが可能である。しかしながら、RAW画像データは非常にデータサイズが大きいので、従来の技術2を用いる場合には、当該RAW画像データを記憶する記録媒体における記憶可能な容量を圧迫してしまう。また、RAW画像データに対する画像処理にはある程度の時間を要するところ、従来の技術2はRAW画像データそのものを用いなければシーンモードに応じた画像データを生成することはできない。よって、従来の技術2を用いる場合には、画像処理に時間がかかってしまう。
【0007】
したがって、従来の技術1、従来の技術2を用いたとしても、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することは、望むべくもない。
【0008】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とする、新規かつ改良された撮像装置、およびプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の第1の観点によれば、被写体を撮像してRAW画像を生成する撮像部と、上記RAW画像から少なくとも1以上の特徴部分を含む特徴画像を抽出する特徴抽出部と、上記RAW画像に対する処理を規定する第1シーン情報に基づいて、上記RAW画像に対する上記第1シーン情報に応じた画像処理を行い、上記特徴画像に対する処理を規定する、上記特徴抽出部が抽出した上記特徴画像ごとの第2シーン情報に基づいて、上記特徴画像に対する上記第2シーン情報に応じた画像処理を行う画像処理部と、上記RAW画像が画像処理されたRAW処理画像と、上記特徴画像が画像処理された特徴処理画像とに対して、離散コサイン変換処理と量子化処理とを行う量子化部と、上記量子化部においてRAW処理画像が処理された画像データと上記量子化部において特徴処理画像が処理された特徴画像データとの差分を示す差分データを、上記特徴画像データごとに生成する差分データ生成部と、上記画像データを非可逆圧縮する画像圧縮部とを備える撮像装置が提供される。
【0010】
かかる構成では、RAW画像に対して一のシーンモード(第1のシーンモード)に対応する画像処理を行った画像データを非可逆圧縮すると共に、RAW画像と当該RAW画像から他のシーンモード(第2のシーンモード)に対応して抽出された特徴画像との差分データを生成する。つまり、かかる構成では、記録媒体に記録される画像データを、非可逆圧縮されたRAW画像よりもデータサイズが小さな画像データとすることが可能となり、かつ、記録媒体に記録される差分データを、第1のシーンモードに対応する画像処理が行われた画像データと第2のシーンモードに対応する画像処理が行われた画像データとが相違する部分のみを示すデータとする(すなわち、差分データのデータサイズを、画像全体の差分をとる場合よりも小さくする)ことが可能となる。さらに、かかる構成により生成された差分データは、RAW画像と特徴画像との差分に基づくデータであるので、非可逆圧縮された上記画像データに差分データを加算して得られる画像データが示す画像は、RAW画像に対して差分データの生成に用いられた特徴画像に対応するシーンモードに応じた画像処理を直接的に行った画像データが示す画像と同一の画像となる。つまり、かかる構成により生成された非可逆圧縮された画像データおよび差分データ(データサイズを縮小された画像データおよび差分データ)を用いることによって、各シーンモードごとに直接的に画像処理された画像データが示す画像と同様の画像を得ることが可能となる。
【0011】
また、上記特徴抽出部は、上記画像圧縮部における非可逆圧縮の最小処理単位で上記特徴画像を抽出してもよい。
【0012】
また、上記画像データが非可逆圧縮された圧縮画像データと上記差分データとを加算し、上記RAW画像に対して上記差分データの生成に用いられた上記特徴画像データに対応する上記第2シーン情報に応じた画像処理が行われた画像データを生成する画像復元部をさらに備えてもよい。
【0013】
また、上記画像処理部は、入力される画像に対して、相異なる処理を順次にかつ選択的に行う複数の処理部と、入力される上記画像が上記RAW画像の場合には、上記第1シーン情報に基づいて、複数の上記処理部のうちの特定の処理部に上記第1シーン情報に応じた処理を行わせ、入力される上記画像が上記特徴画像の場合には、上記第2シーン情報に基づいて、複数の上記処理部のうちの特定の処理部に上記特徴画像に対応する上記第2シーン情報に応じた処理を行わせる処理管理部とを備えてもよい。
【0014】
また、ユーザ操作に基づいて、上記第1シーン情報、または、上記第1シーン情報および少なくとも1以上の上記第2シーン情報を設定する設定部をさらに備えてもよい。
【0015】
また、上記目的を達成するために、本発明の第2の観点によれば、被写体を撮像してRAW画像を生成する撮像部と、上記RAW画像から少なくとも1以上の特徴部分を含む特徴画像を抽出する特徴抽出部と、上記RAW画像に対する処理を規定する第1シーン情報に基づいて、上記RAW画像に対する上記第1シーン情報に応じた画像処理を行い、上記特徴画像に対する処理を規定する、上記特徴抽出部が抽出した上記特徴画像ごとの第2シーン情報に基づいて、上記特徴画像に対する上記第2シーン情報に応じた画像処理を行う画像処理部と、上記RAW画像が画像処理されたRAW処理画像と、上記特徴画像が画像処理された特徴処理画像とに対して、離散コサイン変換処理と量子化処理とを行う量子化部と、上記量子化部においてRAW処理画像が処理された画像データと上記量子化部において特徴処理画像が処理された特徴画像データとの差分を示す差分データを、上記特徴画像データごとに生成する差分データ生成部と、上記画像データを非可逆圧縮する画像圧縮部とを備える撮像装置が非可逆圧縮した画像データと、上記撮像装置が生成した差分データとに基づいて、画像データを生成するプログラムであって、コンピュータを、上記画像データが非可逆圧縮された圧縮画像データと上記差分データとを加算し、上記RAW画像に対して上記差分データの生成に用いられた上記特徴画像データに対応する上記第2シーン情報に応じた画像処理が行われた画像データを生成する手段として機能させるためのプログラムが提供される。
【0016】
かかるプログラムでは、上記構成の撮像装置により非可逆圧縮された上記画像データに、上記構成の撮像装置において生成されたRAW画像と特徴画像との差分に基づく差分データを加算するので、当該加算により得られる画像データが示す画像は、RAW画像に対して差分データの生成に用いられた特徴画像に対応するシーンモードに応じた画像処理を直接的に行った画像データが示す画像と同一の画像となる。よって、かかるプログラムを用いることによって、上記構成の撮像装置により生成された非可逆圧縮された画像データおよび差分データ(データサイズを縮小された画像データおよび差分データ)を用いて、各シーンモードごとに直接的に画像処理された画像データが示す画像と同様の画像を得ることが可能となる。
【発明の効果】
【0017】
本発明によれば、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とすることができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態に係る撮像装置におけるシーン情報設定処理の一例を示す流れ図である。
【図2】本発明の実施形態に係る撮像装置におけるデータ生成処理の一例を示す流れ図である。
【図3】本発明の実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図4】本発明の実施形態に係る撮像装置が備える画像処理部の構成の一例を示すブロック図である。
【発明を実施するための形態】
【0019】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0020】
(本発明の実施形態に係る撮像装置における処理)
[本発明の実施形態に係る撮像装置における処理の概要]
上述したように、従来の技術1、従来の技術2を用いたとしても、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することはできない。そこで、本発明の実施形態に係る撮像装置(以下、「撮像装置100」という。)は、RAW画像(画像処理前の画像)からシーンモードに対応する特徴部分を含む特徴画像を抽出し、RAW画像と特徴画像との差分に基づく差分データを生成する。例えば、特徴画像の抽出に係るシーンモードが被写体が人物である場合に適した画像処理を示す“ポートレート”である場合には、撮像装置100は、RAW画像の中の被写体の顔部分の画像を特徴画像として抽出する。よって、撮像装置100は、従来の技術1のように画像全体における差分を差分データとしないので、差分データのデータサイズを、従来の技術1に係る差分データよりもより小さくすることができる。
【0021】
ここで、本発明の実施形態に係るシーンモードとは、撮像処理装置100が行う画像処理を抽象化して示すものである。撮像装置100を用いるユーザは、画像処理の内容が示されたとしても、当該画像処理の内容を必ずしも理解できるとは限らない。そこで、撮像装置100は、画像処理を抽象化して示すシーンモードをユーザに対して示すことによって、例えばユーザによるシーンモードの選択を補助する。また、本発明の実施形態に係るシーンモードとしては、例えば、上記“ポートレート”や、被写体が風景である場合に適した画像処理を示す“風景”、被写体が子供である場合に適した画像処理を示す“子供”、被写体によらない汎用的な画像処理を示す“オート”などが挙げられる。なお、撮像装置100は、例えば、“スノー”、“ビーチ”、“マクロ”、“夕日”、“夜明け”、“バックライト”、“花火”など、被写体や撮像する環境などに応じた様々なシーンモードを設定することが可能である。
【0022】
撮像装置100は、撮像用に設定されたシーンモード(以下、「第1のシーンモード」という。)に対応する、RAW画像に対する処理を規定する第1シーン情報を用いて、撮像により得られたRAW画像を処理する。また、撮像装置100は、第1のシーンモード以外に設定された他のシーンモード(以下、「第2のシーンモード」という。)に対応する、特徴画像に対する処理を規定する第2シーン情報を用いて、特徴画像を処理する。なお、例えばユーザにより第2のシーンモードが複数設定された場合には、撮像装置100は、設定された複数の第2のシーンモードそれぞれに対応する複数の第2シーン情報を用いて、設定された複数の第2のシーンモードそれぞれに対応する複数の特徴画像をそれぞれ処理する。以下では、画像に対する処理を規定する情報を、総称して「シーン情報」とよぶ場合がある。
【0023】
また、本発明の実施形態に係るシーン情報には、例えば、実行する画像処理の種別と、画像処理ごとのパラメータと、特徴画像の抽出のための特徴部分を示す情報とが含まれる。表1は、本発明の実施形態に係る特徴画像の抽出のための特徴部分を示す情報の一例を示している。
【0024】
【表1】

【0025】
また、撮像装置100は、RAW画像に対して撮像用に設定されたシーンモードに応じた画像処理を行った後、画像データを非可逆圧縮する。よって、撮像装置100は、従来の技術2のようにRAW画像データそのものを記録媒体(例えば、後述する記憶部)に記憶させないので、記憶媒体に記憶させる画像データのデータサイズを、従来の技術2を用いる場合よりもより小さくすることができる。つまり、撮像装置100を用いる場合には、従来の技術2にように、画像データを記憶する記録媒体における記憶可能な容量を過度に圧迫することはない。
【0026】
また、撮像装置100は、非可逆圧縮した画像データ(以下、「圧縮画像データ」とよぶ場合がある。)と、RAW画像と特徴画像との差分に基づく差分データとを加算することによって、差分データの生成に用いられた特徴画像に対応するシーンモードに応じた画像処理が行われた画像データ(以下、「復元画像データ」とよぶ場合がある。)を生成する。ここで、差分データは、RAW画像と特徴画像との差分に基づくデータであるので、圧縮画像データに差分データを加算して得られる復元画像データが示す画像は、RAW画像に対して差分データの生成に用いられた特徴画像に対応するシーンモードに応じた画像処理を直接的に行った画像データが示す画像と同一の画像となる。よって、撮像装置100を用いる場合には、従来の技術2を用いる場合のように、差分データを用いた結果得られる画像が差分データを用いずに画像処理した結果得られる画像と異なることはない
【0027】
さらに、撮像装置100は、圧縮画像データと差分データに基づいて復元画像データを生成するので、RAW画像データに対して画像処理を行う従来の技術1よりも、より短時間に復元画像データを生成することが可能である。
【0028】
本発明の実施形態に係る撮像装置100は、上記のような処理を行うことによって、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とすることができる。
【0029】
[本発明の実施形態に係る撮像装置における処理の具体例]
次に、撮像装置100における処理について、より具体的に説明する。撮像装置100は、例えば以下の(1)の処理〜(3)の処理を行うことによって、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とする
【0030】
(1)シーン情報設定処理
撮像装置100は、撮像用のシーンモードである第1のシーンモードに対応する第1シーン情報の設定と、その他のシーンモードである第2のシーンモードに対応する第2シーン情報の設定とを行う。ここで、撮像装置100は、例えば撮像装置100が備える操作部(後述する)から伝達されるユーザ操作に応じた操作信号基づいて、(1)の処理を行う。図1は、本発明の実施形態に係る撮像装置100におけるシーン情報設定処理の一例を示す流れ図である。
【0031】
撮像装置100は、撮像用のシーンモード(第1のシーンモード)を設定する(S100。第1シーン情報設定処理)。撮像装置100は、ステップS100において、例えば、予め記憶された複数のシーン情報の中からユーザにより設定されたシーンモードに対応するシーン情報を選択し、選択されたシーン情報を第1シーン情報として設定する。また、撮像装置100は、第1シーン情報が未設定の場合には、設定されたシーンモードに対応するシーン情報を第1シーン情報として新規設定し、第1シーン情報が既設定されている場合には、設定されたシーンモードに対応するシーン情報を更新設定する。
【0032】
ステップS100において第1のシーンモードが設定されると、撮像装置100は、他のシーンモードを設定するか否かを判定する(S102)。撮像装置100は、例えばユーザ操作に基づく操作信号が、他のシーンモードの設定を行うことを示す場合に、他のシーンモードを設定すると判定する。
【0033】
ステップS102において他のシーンモードを設定すると判定されない場合には、撮像装置100は、(1)の処理(シーン情報設定処理)を終了する。
【0034】
また、ステップS102において他のシーンモードを設定すると判定された場合には、撮像装置100は、ユーザにより選択されたシーンモード(第2のシーンモード)を設定する(S104。第2シーン情報設定処理)。撮像装置100は、ステップS104において、例えば、予め記憶された複数のシーン情報の中からユーザにより設定されたシーンモードに対応するシーン情報を選択し、選択されたシーン情報を第2シーン情報として設定する。また、撮像装置100は、第2シーン情報が未設定であるか既設定であるかによらず、設定されたシーンモードに対応するシーン情報を第2シーン情報として新規設定する。なお、撮像装置100は、ステップS104において、ユーザ操作に基づいて、既設定の第2シーン情報を削除する(第2のシーンモードの解除に相当)ことも可能である。
【0035】
ステップS104において第2のシーンモードが設定されると、撮像装置100は、ステップS102からの処理を繰り返す。
【0036】
撮像装置100は、例えば図1に示す処理を行うことによって、第1シーン情報、または、第1シーン情報および第2シーン情報を設定する。
【0037】
(2)データ生成処理
撮像装置100は、撮像が場合に、画像データ、または画像データおよび差分データを生成する。図2は、本発明の実施形態に係る撮像装置100におけるデータ生成処理の一例を示す流れ図である。
【0038】
撮像装置100は、撮像を行うか否かを判定する(S200)。撮像装置100は、例えば、シャッターボタンの押下(ユーザ操作の一例)に基づく操作信号を検出した場合に、撮像を行うと判定する。ステップS200において撮像を行うと判定されない場合には、撮像装置100は、撮像を行うと判定されるまで処理を進めない。
【0039】
また、ステップS200において撮像を行うと判定された場合には、撮像装置100は、撮像部(後述する)において撮像を行ってRAW画像を生成し、設定されている第1シーン情報に基づいてRAW画像を処理する(S202)。
【0040】
撮像装置100は、第2シーン情報が設定されているか否かを判定する(S204)。なお、図2では、撮像装置100がステップS202の処理の後にステップS204の処理を行うことを示しているが、撮像装置100は、ステップS202の処理とステップS204の処理とを独立に行ってもよい。つまり、撮像装置100は、ステップS202の処理とステップS204の処理とを同期して行うこともできる。
【0041】
ステップS204において第2シーン情報が設定されていると判定されない場合には、撮像装置100は、ステップS202において第1シーン情報に基づいて処理されたRAW画像(以下、「RAW処理画像」という。)に対して、DCT(Discrete Cosine Transformation。離散コサイン変換)処理と量子化処理を行う(S216)。そして、撮像装置100は、後述するステップS218の処理を行う。
【0042】
また、ステップS204において第2シーン情報が設定されていると判定された場合には、撮像装置100は、設定されている第2シーン情報に基づいて、RAW画像から第2シーン情報に対応する特徴部分を含む特徴画像を抽出する(S206)。また、撮像装置100は、例えば、RAW画像における位置を示すメタ情報を、抽出した特徴画像に付加する。
【0043】
ここで、撮像装置100は、後述するステップS216における非可逆圧縮の最小処理単位(MCU。Minimum Coded Unit)で特徴画像を抽出する。上記により、撮像装置100は、後述するステップS216において非可逆圧縮された画像データ(圧縮画像データ)と、後述するステップS212において生成する差分データとを用いた復元画像データの生成を簡易化することができる。なお、非可逆圧縮の最小処理単位で特徴画像を抽出する場合、撮像装置100は、例えば所定の範囲内にある複数の特徴画像を1つの特徴画像群として後述する処理を行ってもよい。
【0044】
また、撮像装置100は、ステップS206の処理を、設定されている第2シーン情報ごとに行う。つまり、例えば図1に示すシーン情報設定処理において複数の第2シーン情報が設定された場合には、設定された複数の第2シーン情報に応じた特徴画像がそれぞれ抽出されることとなる。
【0045】
ステップS206において特徴画像が抽出されると、撮像装置100は、抽出された特徴画像それぞれに対応する第2シーン情報に基づいて特徴画像を処理する(S208)。
【0046】
撮像装置100は、ステップS202において処理されたRAW処理画像と、ステップS208において第2シーン情報に基づいて処理された特徴画像(以下、「特徴処理画像」という。)に対して、DCT処理と量子化処理を行う(S210)。
【0047】
ステップS210においてDCT処理および量子化処理が行われると、撮像装置100は、ステップS210においてRAW処理画像が処理された画像データとステップS210において特徴処理画像が処理された特徴画像データとの差分を示す差分データを、特徴画像データごとに生成する(S212)。ここで、撮像装置100は、例えば画像データから特徴画像データを減算することによって、差分データを生成する。
【0048】
ステップS212において差分データが生成されると、撮像装置100は、生成した差分データを記録する(S214)。ここで、撮像装置100は、撮像装置100が備える記憶部(後述する)や外部記録媒体などの記録媒体に記録する。なお、撮像装置100は、例えば、第1のシーンモードに対応する画像データ(後述するステップS218において記録される圧縮画像データ)が記録される、撮像装置100のメーカー固有の記録領域に差分データを記録してもよいし、当該画像データとは別ファイルとして差分データを記録してもよい。
【0049】
また、撮像装置100は、差分データに対して可逆圧縮処理を行って、圧縮された差分データを記録してもよい。上記により、撮像装置100は、差分データのデータサイズの更なる縮小を図ることができる。撮像装置100は、例えばハフマンエンコード処理を行い、差分データの圧縮を行う。
【0050】
ステップS212の処理、または、ステップS216の処理が行われると、撮像装置100は、画像データを非可逆圧縮して記録する(S218)。ここで、撮像装置100は、画像データを、例えば、JPEG形式やJPEG2000形式で非可逆圧縮して、撮像装置100が備える記憶部(後述する)や外部記録媒体などの記録媒体に記録する。
【0051】
撮像装置100は、例えば図2に示す処理を行うことによって、図1に示すシーン情報設定処理において設定された第1シーン情報、または、当該第1シーン情報および図1に示すシーン情報設定処理において設定された第2シーン情報に基づいて、圧縮画像データと差分データとをそれぞれ生成し、記録媒体に記録する。
【0052】
(3)復元処理
撮像装置100は、ユーザ操作に基づく第2のシーンモードに対応する画像の復元命令を検出すると、(2)の処理(データ生成処理)において生成された圧縮画像データと、当該第2のシーンモードに対応する差分データとを加算することによって、当該差分データに対応する第2のシーンモードに応じた復元画像データを生成する。
【0053】
より具体的には、撮像装置100は、上記復元命令を検出すると、上記復元命令に対応する圧縮画像データと差分データとを記録媒体から読み出す。ここで、差分データがハフマンエンコード処理にて圧縮されている場合には、撮像装置100は、ハフマンデコード処理を行い差分データを復元する。そして、撮像装置100は、差分データが対応する圧縮画像データの最小処理単位部分に差分データを加算して復元画像データを生成する。また、撮像装置100は、復元画像データに対してハフマンコーディングを行うことによって、JPEG画像(復元画像データが示す画像の一例)を生成する。
【0054】
撮像装置100は、例えば上記(1)の処理(シーン情報設定処理)〜(3)の処理(復元処理)を行う。ここで、撮像装置100は、上記(1)の処理(シーン情報設定処理)によって、第1シーン情報と第2シーン情報とをそれぞれ設定する。また、撮像装置100は、(2)の処理(データ生成処理)において、RAW画像から第2のシーンモードに対応する特徴画像を抽出し、RAW画像と特徴画像との差分に基づく差分データを生成する。また、撮像装置100は、(2)の処理(データ生成処理)において、RAW画像に対して第1のシーンモードに応じた画像処理を行った後、画像データを非可逆圧縮する。また、撮像装置100は、(3)の処理(復元処理)において、圧縮画像データと差分データとを加算することによって、復元画像データを生成する。
【0055】
したがって、撮像装置100は、例えば上記(1)の処理(シーン情報設定処理)〜(3)の処理(復元処理)を行うことによって、上述した撮像装置100における処理の概要に示す効果を奏することができる。
【0056】
(本発明の実施形態に係る撮像装置)
次に、上述した(1)の処理(シーン情報設定処理)〜(3)の処理(復元処理)を行うことが可能な、撮像装置100の構成の一例について説明する。図3は、本発明の実施形態に係る撮像装置100の構成の一例を示すブロック図である。
【0057】
撮像装置100は、設定部102と、記憶部104と、撮像部106と、特徴抽出部108と、画像処理部110と、量子化処理部112と、圧縮処理部114と、画像復元部116とを備える。
【0058】
また、撮像装置100は、例えば、CPU(Central Processing Unit)や各種処理回路で構成されて撮像装置100全体を制御する制御部(図示せず)や、制御部(図示せず)が使用するプログラムや演算パラメータなどの制御用データが記録されたROM(Read Only Memory。図示せず)、制御部(図示せず)により実行されるプログラムなどを一次記憶するRAM(Random Access Memory。図示せず)、ユーザが操作可能な操作部(図示せず)、表示部(図示せず)、外部装置と通信を行うための通信部(図示せず)などを備えてもよい。
【0059】
操作部(図示せず)としては、例えば、キーボード(keyboard)やマウス(mouse)などの操作入力デバイスや、ボタン、方向キー、あるいは、これらの組み合わせなどが挙げられる。なお、操作部(図示せず)は、例えば、リモート・コントローラ(remote controller)などの外部装置からの入力を受信する機能を有していてもよい。また、表示部(図示せず)は、撮像装置100が備える表示手段であり、様々な表示画面を表示する。表示部(図示せず)の表示される画面としては、例えば、記憶部104に記憶された画像データが示す画像(動画像または静止画像。以下同様とする。)や上記(3)の処理により復元された復元データが示す画像などが表示された画面などが挙げられる。表示部(図示せず)としては、例えば、液晶ディスプレイや有機ELディスプレイなどが挙げられる。通信部(図示せず)は、撮像装置100が備える通信手段であり、ネットワークを介して(あるいは直接的に)外部装置と有線/無線で通信を行う役目を果たす。通信部(図示せず)としては、例えば、LAN(Local Area Network)端子および送受信回路や、IEEE802.15.1ポートおよび送受信回路などが挙げられる。
【0060】
設定部102は、上記(1)の処理(シーン情報設定処理)を主導的に行う役目を果たす。より具体的には、設定部102は、例えば操作部(図示せず)から伝達されるユーザ操作に応じた操作信号に基づいて、図1に示す処理を行い、第1シーン情報、または、第1シーン情報および第2シーン情報を記憶部104に設定する。なお、撮像装置100では、例えば制御部(図示せず)が設定部102の役目を果たしてもよい。
【0061】
記憶部104は、撮像装置100が備える記憶手段である。記憶部104としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memoryなどの不揮発性メモリ(nonvolatile memory)が挙げられる。
【0062】
また、記憶部104は、例えば、シーン情報や、圧縮画像データ、圧縮画像データに対応する差分データ、アプリケーションなど、様々なデータを記憶する。ここで、図3では、第1シーン情報150と、第2シーン情報A152と、第2シーン情報B154と、第1シーン情報150に対応する圧縮画像データ156と、第2シーン情報152Aに対応する差分データA158と、第2シーン情報B154に対応する差分データB160とが記憶部104に記憶されている例を示している。
【0063】
撮像部106は、例えばシャッターやCCD(Charge Coupled Device)などの撮像素子などで構成され、操作部(図示せず)から伝達されるユーザ操作に応じた操作信号に基づいて撮像を行う。そして、撮像部106は、撮像の結果得られたRAW画像を特徴抽出部108へ出力する。
【0064】
特徴抽出部108、画像処理部110、量子化処理部112、および圧縮処理部114は、上記(2)の処理(データ生成処理)を主導的に行う役目を果たす。ここで、撮像装置100は、例えば、特徴抽出部108、画像処理部110、量子化処理部112、および圧縮処理部114それぞれを、各処理を行う処理回路として備えるが、これらの処理回路を集積回路(すなわち1つの処理回路)として備えてもよい。
【0065】
特徴抽出部108は、記憶部104に記憶されてる第2シーン情報に基づいて、RAW画像から特徴画像を抽出する。そして、特徴抽出部108は、RAW画像と特徴画像とを画像処理部110へ出力する。なお、記憶部104に第2シーン情報が記憶されていない場合(すなわち、第2のシーンモードが設定されていない場合)には、特徴抽出部108は、特徴画像の抽出に係る処理を行わない。また、撮像装置100が、撮像部106から出力されるRAW画像が画像処理部110へと直接的に入力される構成である場合には、特徴抽出部108は、特徴画像を画像処理部110へ出力する。
【0066】
画像処理部110は、入力される画像(RAW画像、1または2以上の特徴画像)に対して、相異なる処理を順次にかつ選択的に行い、処理画像(RAW処理画像、特徴処理画像)を出力する。より具体的には、画像処理部110は、第1シーン情報に基づいてRAW画像に対する第1シーン情報に応じた画像処理を行う。また、画像処理部110は、特徴画像が入力された場合には、記憶部104に記憶された特徴画像に対応する第2シーン情報に基づいて、特徴画像に対する第2シーン情報に応じた画像処理を行う。
【0067】
図4は、本発明の実施形態に係る撮像装置100が備える画像処理部110の構成の一例を示すブロック図である画像処理部110は、ノイズ低減処理部130と、ホワイトバランス処理部132と、色補間処理部134と、ガンマ処理部136と、色処理部138と、輪郭強調処理部140とを処理部として備える。また、画像処理部110は、各処理部を制御し、各処理部に選択的に処理を行わせる処理管理部142を備える。
【0068】
ノイズ低減処理部130は、例えば、ローパス・フィルタ(Low-Pass Filter)やバンドパス・フィルタ(Band-Pass Filter)などのフィルタを用いたフィルタ処理によって、画像に含まれるノイズを低減する。ホワイトバランス処理部132は、例えば、画像に対してRGB(Red Green Blue)の各色ごとに予め設定されたゲインをかけ、各画素(pixel)の画素値を増幅する。色補間処理部134は、例えばベイヤー配列からすべての画素のRGBを作り出す。ガンマ処理部136は、例えば、画像を非線形変換し、視覚的なリニアリティ(linearity)を確保する。色処理部138は、例えば画像の色調を補正する。輪郭強調処理部140は、例えば、画像からエッジ部分を検出し、検出されたエッジ部分の輝度を高めることにより画像の濃淡を強調する。
【0069】
処理管理部110は、入力される画像がRAW画像の場合には、第1シーン情報に基づいて、各処理部に処理を選択的に行わせる。処理管理部110が、入力されたRAW画像に対して第1シーン情報に基づく処理を各処理部に選択的に行わせることによって、画像処理部110から出力されるRAW処理画像は、RAW画像に対して設定された第1のシーンモードに応じた画像処理が行われた画像となる。
【0070】
また、処理管理部110は、入力される画像が特徴画像の場合には、当該特徴画像と対応する第2シーン情報に基づいて、各処理部に処理を選択的に行わせる。処理管理部110が、入力された特徴画像に対して、対応する第2シーン情報に基づく処理を各処理部に選択的に行わせることによって、画像処理部110から出力される特徴処理画像は、特徴画像に対して設定された第2のシーンモードに応じた画像処理が行われた画像となる。表2は、特徴画像に対して各処理部が行われた場合の特徴画像の抽出内容の一例を示している。なお、表2では、ノイズ低減を「NR」と示し、ホワイトバランスを「WB」と示している。
【0071】
【表2】

【0072】
画像処理部110は、例えば図4の構成によって、入力される画像に対して、相異なる処理を順次にかつ選択的に行い、処理画像を出力する。なお、撮像装置100は、例えば図4に示す複数の処理部を、入力されうる画像(RAW画像および特徴画像)の数に対応する数備える構成であってもよい。
【0073】
再度図3を参照して本発明の実施形態に係る撮像装置100の構成の一例について説明する。量子化処理部112は、入力される処理画像それぞれに対してDCT処理と量子化処理とを行う。
【0074】
圧縮処理部114は、差分データの生成と画像データの圧縮とを行って、記憶部104に圧縮画像データと差分データとを記録する。また、圧縮処理部114は、さらに、生成した差分データを圧縮してもよい。
【0075】
より具体的には、圧縮部114は、差分データ生成部118と、第1圧縮処理部120(画像圧縮部)と、第2圧縮処理部122とで構成される。ここで、図4では、圧縮処理部114が、差分データを圧縮する第2圧縮処理部122を備える構成を示しているが、第2圧縮処理部122を備えていない構成であってもよい。
【0076】
差分データ生成部118は、量子化部112から出力されるRAW処理画像が処理された画像データと特徴処理画像が処理された特徴画像データとに基づいて、特徴画像データごとの差分データを生成する。そして、差分データ生成部118は、画像データを第1圧縮処理部120へ出力し、生成した1または2以上の差分データを第2圧縮処理部122へ出力する。なお、図4では示していないが、差分データ118は、SDRAM(Synchronous Dynamic Random Access Memory)などの揮発性メモリ(Volatile Memory)を備え、量子化部112から出力される画像データと1または2以上の特徴画像データとを記憶した後に差分データを生成してもよい。
【0077】
第1圧縮処理部120は、入力された画像データを非可逆圧縮して、非可逆圧縮された圧縮画像データを記憶部104に記録する。また、第2圧縮処理部122は、入力された差分データそれぞれをハフマン圧縮(可逆圧縮の一例)して、圧縮された差分データを記憶部104に記録する。
【0078】
撮像装置100は、特徴抽出部108、画像処理部110、量子化処理部112、および圧縮処理部114を備えることによって、上記(2)の処理(データ生成処理)を行う。
【0079】
画像復元部116は、上記(3)の処理(復元処理)を主導的に行う役目を果たす。より具体的には、画像復元部116は、例えば、操作部(図示せず)から伝達されるユーザ操作に応じた操作信号に基づいて復元命令を検出すると、当該復元命令に対応する圧縮画像データと差分データとを記憶部104から読み出す。また、画像復元部116は、ハフマンデコード処理を行い差分データを復元し、当該差分データが対応する画像データの最小処理単位部分に差分データを加算して復元画像データを生成する。そして、画像復元部116は、復元画像データに対してハフマンコーディングを行うことによって、JPEG画像(復元画像データが示す画像の一例)を生成する。なお、画像復元部116は、生成した復元画像データが示す画像を表示部(図示せず)に表示させてもよいし、生成した復元画像データを記憶部104に記録してもよい。
【0080】
また、画像復元部116は、操作部(図示せず)から伝達されるユーザ操作に応じた操作信号に基づいて、記憶部104に記憶された圧縮画像データが示す画像を、表示部(図示せず)に表示させる。
【0081】
撮像装置100は、画像復元部116を備えることによって、設定された第1のシーンモードに対応する圧縮画像データが示す画像だけでなく、設定された第2のシーンモードに対応する画像を、例えばユーザ操作に基づいてユーザに提供する。なお、撮像装置100は、圧縮画像データが示す画像や画像復元部116が生成した復元画像データが示す画像を表示部(図示せず)に表示させる、表示制御部(図示せず)をさらに備えてもよい。また、撮像装置100では、制御部(図示せず)が画像復元部116としての役目を果たすこともできる。
【0082】
また、撮像装置100は、例えば制御部(図示せず)が、コンピュータを画像復元部116と対応する画像復元手段として機能させるためのプログラムを実行することによって、(3)の処理(復元処理)を行うこともできる。
【0083】
撮像装置100は、例えば図3に示す構成によって、上述した(1)の処理(シーン情報設定処理)〜(3)の処理(復元処理)を行う。したがって、撮像装置100は、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とすることができる。
【0084】
以上のように、本発明の実施形態に係る撮像装置100は、RAW画像から第2のシーンモードに対応する特徴画像を抽出し、RAW画像と特徴画像との差分に基づく差分データを生成する((2)の処理(データ生成処理))。よって、撮像装置100は、従来の技術1のように画像全体における差分を差分データとしないので、差分データに対する画像処理を従来の技術1を用いる場合より短縮することができ、また、差分データのデータサイズを、従来の技術1に係る差分データよりもより小さくすることができる。また、撮像装置100は、従来の技術1を用いる場合のように特徴部抽出のための現像処理が必要ないので、従来の技術1を用いる場合よりもさらに処理時間を短縮可能である。
【0085】
また、撮像装置100は、RAW画像に対して第1のシーンモードに応じた画像処理を行った後、画像データを非可逆圧縮する((2)の処理(データ生成処理))。ここで、差分データは、RAW画像と特徴画像との差分に基づくデータである。よって、撮像装置100が生成した圧縮画像データに差分データを加算して得られる復元画像データが示す画像は、RAW画像に対して差分データの生成に用いられた特徴画像に対応するシーンモードに応じた画像処理を直接的に行った画像データが示す画像と同一の画像となる。つまり、撮像装置100を用いる場合には、従来の技術2を用いる場合のように差分データを用いた結果得られる画像が差分データを用いずに画像処理した結果得られる画像と異なることはない。
【0086】
また、撮像装置100は、RAW画像に対して撮像用に設定された第1のシーンモードに応じた画像処理を行った後、画像データを非可逆圧縮する。よって、撮像装置100は、従来の技術2のようにRAW画像データそのものを記憶部104に記憶させないので、記憶部104に記憶させる画像データのデータサイズを、従来の技術2を用いる場合よりもより小さくすることができる。つまり、撮像装置100を用いる場合には、従来の技術2にように、記憶部104における記憶可能な容量を過度に圧迫することはない。
【0087】
さらに、撮像装置100は、圧縮画像データと差分データとを加算することによって、復元画像データを生成する((3)の処理(復元処理))。よって、撮像装置100は、従来の技術1を用いる場合のように差分データを復元する差異にIDCT(Inverse Discrete Cosine Transform。逆離散コサイン変換)処理を行う必要はないため、従来の技術1を用いる場合よりもより短時間で復元画像データを生成することができる。また、撮像装置100は、従来の技術2を用いる場合のようにRAW画像データに対して画像処理を行って復元画像データを生成しないので、従来の技術2を用いる場合よりもより短時間で復元画像データを生成することができる。
【0088】
したがって、撮像装置100は、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とすることができる。
【0089】
[撮像装置100の変形例]
撮像装置100は、撮像部106を備えず、外部装置としての撮像部から送信されるRAW画像を処理する構成をとってもよい。上記の場合、本発明の実施形態の変形例に係る撮像装置は、画像処理装置としての役目を果たすこととなる。上記の場合であっても、本発明の実施形態の変形例に係る撮像装置(画像処理装置)は、上述した(1)の処理(シーン情報設定処理)〜(3)の処理(復元処理)を行うことが可能であるので、本発明の実施形態に係る撮像装置100と同様の効果を奏することができる。
【0090】
以上、本発明の実施形態として撮像装置を挙げて説明したが、上述した本発明の実施形態は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、携帯電話などの携帯型通信装置、PC(Personal Computer)やサーバ(Server)などのコンピュータ、携帯型ゲーム機など、様々な機器に適用することができる。
【0091】
(本発明の実施形態に係るプログラム)
コンピュータに、上記(2)の処理(データ生成処理)を実行させるためのプログラムによって、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とすることができる。
【0092】
また、コンピュータを、本発明の実施形態に係る撮像装置の画像復元部と対応する画像復元手段として機能させるためのプログラム(コンピュータに上記(3)の処理(復元処理)を実行させるためのプログラム)によって、本発明の実施形態に係る圧縮画像データと差分データとに基づいて、差分データに対応するシーンモードに応じた復元画像データを生成することができる。
【0093】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0094】
例えば、上記では、コンピュータに上記(2)の処理(データ生成処理)を実行させるためのプログラム(コンピュータプログラム)と、コンピュータを本発明の実施形態に係る撮像装置の画像復元部と対応する画像復元手段として機能させるためのプログラム(コンピュータプログラム)とがそれぞれ提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記憶媒体も併せて提供することができる。
【0095】
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的
【符号の説明】
【0096】
100 撮像装置
102 設定部
104 記憶部
106 撮像部
108 特徴抽出部
110 画像処理部
112 量子化処理部
114 圧縮処理部
116 復元部
118 差分データ生成部
120 第1圧縮処理部
122 第2圧縮処理部
130 ノイズ低減処理部
132 ホワイトバランス処理部
134 色補間処理部
136 ガンマ処理部
138 色処理部
140 輪郭強調処理部


【特許請求の範囲】
【請求項1】
被写体を撮像してRAW画像を生成する撮像部と、
前記RAW画像から少なくとも1以上の特徴部分を含む特徴画像を抽出する特徴抽出部と、
前記RAW画像に対する処理を規定する第1シーン情報に基づいて、前記RAW画像に対する前記第1シーン情報に応じた画像処理を行い、前記特徴画像に対する処理を規定する、前記特徴抽出部が抽出した前記特徴画像ごとの第2シーン情報に基づいて、前記特徴画像に対する前記第2シーン情報に応じた画像処理を行う画像処理部と、
前記RAW画像が画像処理されたRAW処理画像と、前記特徴画像が画像処理された特徴処理画像とに対して、離散コサイン変換処理と量子化処理とを行う量子化部と、
前記量子化部においてRAW処理画像が処理された画像データと前記量子化部において特徴処理画像が処理された特徴画像データとの差分を示す差分データを、前記特徴画像データごとに生成する差分データ生成部と、
前記画像データを非可逆圧縮する画像圧縮部と、
を備えることを特徴とする、撮像装置。
【請求項2】
前記特徴抽出部は、前記画像圧縮部における非可逆圧縮の最小処理単位で前記特徴画像を抽出することを特徴とする、請求項1に記載の撮像装置。
【請求項3】
前記画像データが非可逆圧縮された圧縮画像データと前記差分データとを加算し、前記RAW画像に対して前記差分データの生成に用いられた前記特徴画像データに対応する前記第2シーン情報に応じた画像処理が行われた画像データを生成する、画像復元部をさらに備えることを特徴とする、請求項2に記載の撮像装置。
【請求項4】
前記画像処理部は、
入力される画像に対して、相異なる処理を順次にかつ選択的に行う複数の処理部と、
入力される前記画像が前記RAW画像の場合には、前記第1シーン情報に基づいて、複数の前記処理部のうちの特定の処理部に前記第1シーン情報に応じた処理を行わせ、入力される前記画像が前記特徴画像の場合には、前記第2シーン情報に基づいて、複数の前記処理部のうちの特定の処理部に前記特徴画像に対応する前記第2シーン情報に応じた処理を行わせる処理管理部と、
を備えることを特徴とする、請求項1〜3のいずれか1項に記載の撮像装置。
【請求項5】
ユーザ操作に基づいて、前記第1シーン情報、または、前記第1シーン情報および少なくとも1以上の前記第2シーン情報を設定する設定部をさらに備えることを特徴とする、請求項1〜3のいずれか1項に記載の撮像装置。
【請求項6】
被写体を撮像してRAW画像を生成する撮像部と、
前記RAW画像から少なくとも1以上の特徴部分を含む特徴画像を抽出する特徴抽出部と、
前記RAW画像に対する処理を規定する第1シーン情報に基づいて、前記RAW画像に対する前記第1シーン情報に応じた画像処理を行い、前記特徴画像に対する処理を規定する、前記特徴抽出部が抽出した前記特徴画像ごとの第2シーン情報に基づいて、前記特徴画像に対する前記第2シーン情報に応じた画像処理を行う画像処理部と、
前記RAW画像が画像処理されたRAW処理画像と、前記特徴画像が画像処理された特徴処理画像とに対して、離散コサイン変換処理と量子化処理とを行う量子化部と、
前記量子化部においてRAW処理画像が処理された画像データと前記量子化部において特徴処理画像が処理された特徴画像データとの差分を示す差分データを、前記特徴画像データごとに生成する差分データ生成部と、
前記画像データを非可逆圧縮する画像圧縮部と、
を備える撮像装置が非可逆圧縮した画像データと、前記撮像装置が生成した差分データとに基づいて、画像データを生成するプログラムであって、
コンピュータを、
前記画像データが非可逆圧縮された圧縮画像データと前記差分データとを加算し、前記RAW画像に対して前記差分データの生成に用いられた前記特徴画像データに対応する前記第2シーン情報に応じた画像処理が行われた画像データを生成する手段、
として機能させるためのプログラム。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2011−139126(P2011−139126A)
【公開日】平成23年7月14日(2011.7.14)
【国際特許分類】
【出願番号】特願2009−295937(P2009−295937)
【出願日】平成21年12月25日(2009.12.25)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】416,Maetan−dong,Yeongtong−gu,Suwon−si,Gyeonggi−do,Republic of Korea
【Fターム(参考)】