画像符号化装置および画像処理システム
【課題】光学的に歪みのある光学系を用いて撮像した画像を圧縮符号化する際の画質の劣化を抑えることができる画像符号化装置および画像処理システムを提供する。
【解決手段】歪み量出力部31は、画像信号に対応した画像の光学的な歪み量を出力する。圧縮符号化部34は、各々異なる圧縮符号化特性を備え、画像信号を圧縮符号化データに変換する複数の圧縮演算部を有しており、複数の圧縮演算部の内から、歪み量に対応した圧縮演算部を選択する。
【解決手段】歪み量出力部31は、画像信号に対応した画像の光学的な歪み量を出力する。圧縮符号化部34は、各々異なる圧縮符号化特性を備え、画像信号を圧縮符号化データに変換する複数の圧縮演算部を有しており、複数の圧縮演算部の内から、歪み量に対応した圧縮演算部を選択する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを圧縮符号化する画像符号化装置に関し、またこの画像符号化装置を備えると共に、圧縮符号化された画像データを復号化する画像復号化装置を備えた画像処理システムに関する。本発明は特に、デジタルカメラや携帯電話用撮像モジュール、監視カメラなどの電子画像の撮像装置において、撮像した映像を伝送,蓄積する際に用いて好適な画像符号化装置および画像処理システムに関する。
【背景技術】
【0002】
デジタルカメラや携帯電話用撮像モジュール、監視カメラなどの電子画像の撮像装置において、光学的なズームレンズを使用せずに画角を変更する電子ズームが一般的に用いられている。このような電子ズームでは、機械的な機構を用いずに簡易に画角の変更を実現することが可能であるが、画像の一部を切り出し、切り出した部分の拡大を行うため、画質は劣化する。画質の劣化を軽減する方式として、光学像の周辺部を圧縮する歪みを持つ光学系で画像を撮像し、その画像に対して切り出しと補正を行うことにより、高画質の電子ズームを実現する方式が、特許文献1に提案されている。
【0003】
また、デジタルカメラや、携帯電話用撮像モジュール、監視カメラでは、撮影した画像を内部記録装置に記録したり、無線や有線のネットワークなどの伝送路を介して伝送を行い、伝送した画像を記録または表示装置に表示したりする。上記の記録装置や伝送路には蓄積できる記録量や、所定の時間内で伝送できる伝送量に上限があるため、画像に対して圧縮符号化を行い、データサイズを小さくした上で記録または伝送を行うことが通常行われる。
【0004】
前記のように光学的に歪みのある光学系を用いて撮像した画像を圧縮して伝送するシステムとしては、例えば特許文献2に提案されているものがある。この例は、歪みに応じたブロックサイズに画像を分割し、優先順位をつけて部分画像を伝送することにより、伝送する画像のサイズを小さくし、撮像から画像表示までのリアルタイム性の確保や高フレームレートを実現するものである。
【特許文献1】特開平10−233950号公報
【特許文献2】特許第3550046号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記の従来技術においては、画像の圧縮について言及はあるものの、画像の圧縮と光学特性との関係については特に言及されていない。一般的に、圧縮率を高くすると画像1フレームのデータ量は減るが、画質が劣化し、これに対し、圧縮率を低くすると画質の劣化は抑えられるが、画像1フレームのデータ量はそれほど減らないというトレードオフ的な関係のあることが知られている。したがって、以上の点を考慮することにより、画質の劣化を抑えた画像の圧縮伝送が期待できる。
【0006】
本発明は、この観点に着目し、光学的に歪みのある光学系を用いて撮像した画像を圧縮符号化する際の画質の劣化を抑えることができる画像符号化装置および画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、上記の課題を解決するためになされたもので、入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、各々異なる圧縮符号化特性を備え、前記画像信号を圧縮符号化データに変換する複数の圧縮演算手段と、前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する選択手段とを有する画像符号化装置である。
【0008】
また、本発明の画像符号化装置は、前記画像信号を、前記歪み量に応じて複数のブロックに分割して出力するブロック分割手段をさらに有し、前記歪み量判定手段は、前記ブロックに対応した画像の光学的な歪み量を判定し、前記圧縮演算手段は、前記ブロックを単位として圧縮符号化データに変換することを特徴とする。
【0009】
また、本発明の画像符号化装置は、前記ブロックに対する前記圧縮演算手段の選択結果を保持する選択結果保持手段と、現ブロックに対する前記歪み量判定手段の前記判定結果と、前記現ブロックに隣接する前記ブロックに係る、前記選択結果保持手段から入力される前記選択結果とに基づき、前記現ブロックを前記圧縮符号化データに変換する前記圧縮演算手段を選択するための信号を生成する選択信号生成手段とをさらに有することを特徴とする。
【0010】
また、本発明の画像符号化装置において、前記選択手段は、前記画像信号の種類に応じたフラグ信号を出力するフラグ出力手段と、単一の圧縮符号化特性により前記画像信号を前記圧縮符号化データに変換する通常圧縮演算手段と、前記フラグ信号に基づいて、前記通常圧縮演算手段と前記複数の圧縮演算手段の内のいずれかを選択して前記画像信号を入力するセレクタ手段とを有することを特徴とする。
【0011】
また、本発明は、入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、各々異なる圧縮符号化特性を備え、前記画像信号を第1の圧縮符号化データに変換する複数の圧縮演算手段と、前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する圧縮符号化選択手段と、単一の圧縮符号化特性により前記画像信号を第2の圧縮符号化データに変換する通常圧縮演算手段とを有する画像符号化装置と、前記複数の圧縮演算手段の圧縮符号化特性に対応した各々異なる伸張特性を備え、前記第1の圧縮符号化データを第1の伸張画像データに変換する複数の伸張演算手段と、前記複数の伸張演算手段の内から、前記圧縮演算手段の圧縮符号化特性に対応した伸張特性を有する前記伸張演算手段を選択する伸張選択手段と、前記第2の圧縮符号化データを第2の伸張画像データに変換する通常伸張演算手段と、前記第2の伸張画像データの内、所定領域の画像に対応した部分を、前記所定領域の画像に対応した前記第1の伸張画像データに置き換えて第3の伸張画像データを生成する画像置換手段と、外部から入力されるモード信号に基づき、前記第2の伸張画像データまたは前記第3の伸張画像データを選択して出力するセレクタ手段とを有する画像復号化装置とを有する画像処理システムである。
【0012】
また、本発明は、入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、各々異なる圧縮符号化特性を備え、前記画像信号を圧縮符号化データに変換する複数の圧縮演算手段と、前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する圧縮符号化選択手段とを有する画像符号化装置と、前記複数の圧縮演算手段の圧縮符号化特性に対応した各々異なる伸張特性を備え、前記圧縮符号化データを伸張画像データに変換する複数の伸張演算手段と、前記複数の伸張演算手段の内から、前記圧縮演算手段の圧縮符号化特性に対応した伸張特性を有する前記伸張演算手段を選択する伸張選択手段と、複数の前記伸張画像データを連結する画像連結手段とを有する画像復号化装置とを有する画像処理システムである。
【発明の効果】
【0013】
本発明によれば、光学的な歪みを有する光学系の歪み量に対応した圧縮演算手段を選択して画像信号の圧縮符号化を行うので、画質が必要以上に劣化することなく、また、データ量が著しく大きくなることなく圧縮符号化をすることが可能となり、光学的に歪みのある光学系を用いて撮像した画像を圧縮符号化する際の画質の劣化を抑えることができるという効果が得られる。
【発明を実施するための最良の形態】
【0014】
以下、図面を参照し、本発明の実施形態を説明する。まず本発明の第1の実施形態を説明する。図2は、本発明の画像符号化装置を用いた録画再生システム(画像処理システム)の構成を示している。本実施形態による録画再生システムは以下の構成を備えている。光学系1は、従来例(例えば特許文献1)で開示されている、高画質に電子ズームを行うための歪み光学部1aを含んでいる。イメージャ2(撮像素子)は、光学系1により結像された像を電気的な画像信号に変換する。本発明の画像符号化装置の一実施形態である符号化部3は、イメージャ2から出力された画像信号に各種画像処理を行い、圧縮符号化して圧縮符号データを生成する。記録部4は、圧縮符号データを格納する記録媒体を備えている。復号化部5は、記録部4より圧縮符号データを読み出して復号化し、各種画像処理を行う。画像表示部6は、復号化された画像データに基づいて画像を表示する。
【0015】
ここで、歪み光学部に関して、および歪み光学部を含む光学系を用いた電子ズームに関して、図3〜図5を参照して説明する。画像周辺を光学的に圧縮するための歪み光学部としては、先行例(例えば特許文献1)に開示されている共軸光学系を含め、いくつかの構成が考えられるが、ここではシリンドリカルレンズを使用する例で説明する。本実施形態の歪み光学部1aは、図3のようにシリンドリカルレンズを2つ(シリンドリカルレンズ1a1および1a2)使用する。図4が、この歪み光学部1aを含む光学系1により撮像した画像である。被写体像の一例として示した図4(a)では、等間隔に被写体が並んでいる様子が示されている。図4(b)は、歪み光学部1aを含む光学系1を通してこの被写体を撮像したものである。シリンドリカルレンズ1a1,1a2により、図4(a)に示される被写体像の周辺部が圧縮されて結像される。
【0016】
図5が、イメージャ2により取り込んだ画像の一部を切り出し、電子ズームを行う様子を示したものである。図5(a)は、本実施形態の歪み光学部1aを含む光学系1により撮像した画像であり、図5(c)は、図5(a)から得られる電子ズーム画像の例である。図5(b)は、歪みの少ない通常の光学系で撮像した画像であり、図5(d)は、図5(b)から得られる電子ズーム画像の例である。このように、同じ画角の電子ズーム画像を得る場合に、撮像画像上の面積は、歪み光学系を使用したものの方が通常の光学系を使用したものよりも大きいことがわかる。
【0017】
一般に使用されているイメージャではセンサの画素が等間隔に並んでいるため、また結像画像上の面積の大きさはそのまま画素数に比例するため、図5(b)のズーム対象範囲よりも図5(a)のズーム対象範囲の方が画素数が多い。すなわち、図5(a)のズーム対象範囲からの方が、高画質な電子ズーム画像が得られる。
【0018】
なお、上記の電子ズームは、復号化後に行ってもよいし圧縮符号化前に行ってもよい。復号化時に電子ズームを行えば、復号化時に任意の倍率の画像を得ることができる。また、符号化時に電子ズームの処理を行い、電子ズーム後の画像を圧縮符号化し格納すれば、記録するデータサイズの縮小が可能となる。本実施形態では符号化時と復号化時の両方で電子ズームを選択して行うことが可能となっており、操作時に撮影者は任意に両者の選択を行うことが可能となっている。
【0019】
次に、本実施形態による録画再生システムの概略動作を説明する。イメージャ2により電子画像化された画像信号は符号化部3に入力される。図1は符号化部3の構成を示している。以下、図1を参照して符号化部3の概略動作を説明する。符号化部3に入力された画像信号に対して、撮像画像処理部32によって、フィルタリング,ホワイトバランス処理,ガンマ補正等の画像処理が施される。また、歪み量出力部31(歪み量判定手段)は、入力される画像信号に対応した画像の光学的な歪み量をブロック分割部33(ブロック分割手段)へ出力する。
【0020】
撮像画像処理部32によって処理された画像データ(撮像画像処理画像データ)は、ブロック分割部33により、後述するように所定のブロックに分割される。このブロックの分割は、歪み量出力部31から入力された歪み量に基づいて行われる。分割された画像データ(ブロック化画像)は、圧縮符号化部34によって圧縮符号化され、圧縮符号データとして、図2の記録部4に出力される。後述するように、圧縮符号化部34は複数の圧縮演算部を備えており、各圧縮演算部の圧縮符号化特性(圧縮特性)は互いに異なっている。画像データを圧縮符号化する圧縮演算部として、歪み量に基づいて決定されたブロックに対応したものが複数の圧縮演算部の中から選択される。なお、符号化部3の各部の詳細動作については後述する。
【0021】
画像の圧縮符号化手法としては、静止画像ではJPEGやJPEG2000、動画ではMPEG等の非可逆圧縮手法が一般に用いられる。これらの手法では、画像情報を周波数成分等に分解し、視覚的に影響の少ない情報から順次削除することにより、高能率の圧縮符号化が行われる。情報の削除によりデータ量を減らすため、過度に圧縮すると、画像は劣化してしまう。なお、本発明は、その実施にあたり非可逆圧縮手法には依存しない。
【0022】
符号化部3より出力された圧縮符号データは、本実施形態ではメモリカード等の記録部4に記録される。以上が画像を撮像し、記録するまでの動作である。
【0023】
以下、記録した画像を表示する動作を説明する。図2の記録部4に記録された圧縮符号データは復号化部5に入力される。図6は復号化部5の構成を示している。この図を参照して復号化部5の概略動作を説明する。入力された圧縮符号データは伸張部51により、伸張画像データに伸張される。表示画像処理部53は、伸張画像データに対して、表示のためのフィルタリングや拡大縮小の画像処理を行うと共に、復号化後に電子ズームを行う場合には電子ズーム処理を併せて行い、表示画像データを生成する。
【0024】
次に、撮像時の符号化部3の詳細な動作を説明する。図2のイメージャ2から出力された画像信号は符号化部3の撮像画像処理部32(図1)に入力され、各種画像処理が施されると共に、必要に応じて電子ズーム処理が施される。図7に撮像画像処理部32の構成を示す。この図を参照して撮像画像処理部32の動作を説明する。入力された画像信号に対し、ガンマ補正部321とホワイトバランス処理部322により、各種画像処理(ガンマ補正およびホワイトバランス補正)が施される。
【0025】
ホワイトバランス処理後の画像は、画像切り出し部323と切替部325に入力される。画像切り出し部323は、図示しない画角指定部からの画角設定信号により指定された画像の切り出しサイズに基づいて画像の切り出しを行う。歪み補正部324は、切り出された画像に対して歪みを補正し、ズーム画像を生成する。この電子ズーム後の画像は切替部325に入力される。
【0026】
前述のように本実施形態では記録時と再生時に電子ズーム処理を選択して行う構成となっている。電子ズーム処理を記録時に行うか、再生時に行うかを切り替えるズームモード切替信号が切替部325に入力され、ズームモード切替信号が、再生時にズームを行うモード(再生時ズームモード)を示す場合には、切替部325はホワイトバランス処理後の画像をそのまま撮像画像処理画像データとして出力する。また、ズームモード切替信号が、録画時にズームを行うモード(録画時ズームモード)を示す場合には、切替部325は電子ズーム後の画像を撮像画像処理画像データとして出力する。
【0027】
撮像画像処理部32から出力された撮像画像処理画像データはブロック分割部33に入力され、所定のブロックに分割される。ブロックの分割例を図8および図9に示す。図8は、再生時ズームモードにおいて、歪を有したまま撮像画像を圧縮符号化する場合の撮像画像に対するブロック分割の例を示したものである。図8(a)に示すように、撮像画像では中央部は単位面積あたりの被写体の情報が少なく、周辺部に行くに従い多くなっている。本実施形態において、再生時ズームモードで記録を行う場合には、図8(b)のように3つのブロックへの分割を行い、情報量の多いブロック1は圧縮率を低く、すなわち符号化による情報量の削減を抑え、情報量の少ないブロック3は圧縮率を高くし、それぞれ最適な圧縮率を選択している。
【0028】
図9(a)は、録画時ズームモードにおいて、歪み補正を行った後の画像を圧縮符号化する場合である。この場合、画像の中央部では元々歪みが少ないため画像の拡大率は小さいが、周辺に行くに従い拡大率が大きくなり、画像は、少ない画素から拡大された画像となる。すなわち、中央部は情報量が多いが、周辺部は、少ない画素数から画像を作っているため情報量は少ない。
【0029】
本実施形態では図9(b)に示すように、情報量の少ないブロック1の圧縮率を高くし、情報量の多い中央部のブロック3は圧縮率を低くし、画像の劣化を抑えている。なお、圧縮率の制御について、本実施形態では圧縮方式としてJPEGを用いるものとして説明する。JPEGでは圧縮符号化時にどの周波数情報までを削除するのかをスケーリングファクタのパラメータとして設定し、圧縮率をコントロールすることが可能である。本実施形態では、ブロック1,ブロック2,ブロック3でそれぞれ異なるスケーリングファクタを設定するものとする。ブロック分割部33は前述のように、歪み量出力部31から出力された各部の歪み量に基づいてブロックの分割を行う。
【0030】
歪み量出力部31の構成を図10に示す。この図を参照して歪み量出力部31の動作を説明する。歪み量出力部31では、入力される画像データに同期したイメージャ2からの水平および垂直のタイミング信号に基づいて、座標演算部311が撮像画像全体中での入力画像データの座標の演算を行う。歪み情報蓄積部313には光学系の歪み情報(撮像画像上の座標と歪み光学部1aの歪み量とが対応付けられた情報)があらかじめ格納されている。歪み量演算部312は、座標演算部311が出力する座標と、歪み情報蓄積部313が出力する歪み情報に基づいて歪み量を演算して出力する。ブロック分割部33は、この歪み量に基づき、ブロックへの分割を行う。
【0031】
図11にブロック分割部33の構成を示す。この図を参照してブロック分割部33の動作を説明する。歪み量出力部31から出力された歪み量はブロック決定部331に入力される。ブロック決定部331は歪み量を所定の閾値と比較し、歪み量がどの範囲にあるのかを比較し、ブロックの判定を行って、判定結果に基づいたブロック決定信号をブロック化データ格納制御部332へ出力する。また、撮像画像処理部32から出力された撮像画像処理画像データはブロック化データ格納制御部332に入力される。ブロック化データ格納制御部332は、ブロック決定信号に基づいて、処理画像データをいずれのブロックとして格納するかの切り替えを行い、各ブロックをブロック1格納部333a,ブロック2格納部333b,ブロック3格納部333cのいずれかに格納する。
【0032】
本実施形態におけるブロックの分割方法を図12に示す。図12(a)が元の処理画像全体である。前述のように歪み量がそれぞれ所定の範囲の値となる領域を領域1,2,3とする。それぞれの領域1,2,3は歪み量により(b)ブロック1,(c)ブロック2,(d)ブロック3に分けられ、それぞれのブロックの格納部(ブロック1格納部333a,ブロック2格納部333b,ブロック3格納部333c)に蓄積される。図11のブロック化データ出力制御部334は、それぞれのブロック単位でブロック情報(データがどのブロックに属しているのかを示す情報)とブロック化画像を出力する。このブロック化画像は、図1の圧縮符号化部34に入力される。
【0033】
圧縮符号化部34の構成を図13に示す。前述のように本実施形態ではブロック1,2,3で異なる圧縮演算を行うことで高画質の圧縮画像を得ている。しかし、伸張時には高速に画像を表示する場合があり、それぞれのブロックで異なる圧縮演算を行うことは処理速度の低下につながり、操作上のレスポンスなどの観点より望ましくない。そこで、本実施形態ではブロック1の圧縮符号演算を用いて画像全体の圧縮を行って通常圧縮符号データを生成し、上記の高速画像表示の場合にはこのデータのみで表示を行う。
【0034】
本実施形態ではブロック2および3は、前述のようにブロック1の圧縮符号演算で圧縮符号化を行い、また、並行してそれぞれ最適な圧縮演算でも圧縮符号化を行う。再生時に高画質な画像を得る場合にはブロック2および3の領域では、通常圧縮符号データからの伸張画像ではなく、選択圧縮符号データからの伸張画像が出力される。
【0035】
以下、図13および図14を参照して圧縮符号化部34の動作を説明する。圧縮符号化部34に入力されたブロック情報は選択圧縮演算制御部341および選択圧縮演算部345に選択信号として入力される。また、ブロック化画像信号は選択圧縮演算部345と通常圧縮演算部344(通常圧縮演算手段)に入力される。選択圧縮演算制御部341は、入力されたブロック情報に基づき、選択圧縮演算部345の動作を制御する選択圧縮演算制御信号を生成し、出力する。通常圧縮演算部344は、ブロックに関わらず全画像データを単一の圧縮特性(本実施形態ではブロック1の圧縮特性)により圧縮し、通常圧縮符号データとして出力する。
【0036】
選択圧縮演算部345はセレクタ(1)342a、セレクタ(2)342b、圧縮演算部(2)343a(圧縮演算手段)、および圧縮演算部(3)343b(圧縮演算手段)を備え、選択圧縮演算制御信号により制御される。具体的には、入力されるブロック化画像信号がブロック2およびブロック3の場合、選択圧縮演算制御信号が有効となり、選択圧縮演算部345の動作が許可される。同時にブロック情報がセレクタ(1)342aおよびセレクタ(2)342bに入力され、あらかじめ設定されている圧縮演算部(2)343aまたは圧縮演算部(3)343bが選択され、圧縮符号化が行われる。
【0037】
ここで、ブロック2に係るブロック化画像信号は圧縮演算部(2)343aによって、ブロック3に係るブロック化画像信号は圧縮演算部(3)343bによって、それぞれ圧縮符号化される。すなわち、入力された画像信号がブロック2の画像信号の場合、セレクタ(1)342aによって画像信号は圧縮演算部(2)343aへ出力され、圧縮符号化される。セレクタ(2)342bは、画像信号の入力元を圧縮演算部(2)343aとし、入力されたデータを選択圧縮符号データとして出力する。また、入力された画像信号がブロック3の画像信号の場合、セレクタ(1)342aによって画像信号は圧縮演算部(3)343bへ出力され、圧縮符号化される。セレクタ(2)342bは、画像信号の入力元を圧縮演算部(3)343bとし、入力されたデータを選択圧縮符号データとして出力する。
【0038】
なお、ブロック1が入力されている場合には、選択圧縮演算制御信号が無効となり、選択圧縮演算部345の動作は停止する。以上により、ブロック毎に最適な圧縮演算部が選択され、それぞれ圧縮符号化される。上述したように、選択圧縮演算制御部341、セレクタ(1)342a、およびセレクタ(2)342bによって、複数の圧縮演算部の内から、歪み量の判定結果に対応した圧縮演算部が選択される。すなわち、これらの構成が本発明の選択手段および圧縮符号化選択手段の一実施形態である。
【0039】
次に、伸張時の復号化部5の詳細な動作を説明する。復号化部5の構成は図6の通りである。ブロック情報、および圧縮符号化部34により圧縮符号化された圧縮符号データ(通常圧縮符号データおよび選択圧縮符号データ)はブロック情報と共に記録部4に一旦格納された後、記録部4より読み出され、復号化部5の伸張部51に入力される。伸張部51の構成を図15に示す。この図を参照して伸張部51の動作を説明する。
【0040】
前述したように、圧縮符号データは選択圧縮符号データと通常圧縮符号データから構成される。通常圧縮符号データは全画像データを圧縮したものであり、通常伸張演算部514(通常伸張演算手段)に入力される。選択圧縮符号データは、前述のように一部のブロック(ブロック2,ブロック3)を異なる圧縮演算部(2)343a,圧縮演算部(3)343bで圧縮したものである。選択圧縮符号データは、セレクタ(1)512a、セレクタ(2)512b、伸張演算部(2)513a、および伸張演算部(3)513bを備えた選択伸張演算部517に入力される。
【0041】
選択伸張演算制御部511は、ブロック情報に基づき選択伸張演算部517全体および画像置換部515を制御するものである。具体的には選択伸張演算制御部511は、ブロック情報に基づいた選択伸張演算制御信号によってセレクタ(1)512aおよびセレクタ(2)512bを各々制御し、圧縮符号化時に選択した圧縮演算に対応する伸張演算を選択する。また、選択圧縮符号データが入力されない期間は無効となり,選択伸張演算制御部511は選択伸張演算部517の動作を停止させる。
【0042】
選択圧縮符号データが入力される場合の動作は以下のようになる。すなわち、入力された選択圧縮符号データがブロック2のデータの場合、セレクタ(1)512aによってデータは伸張演算部(2)513aへ出力され、伸張される。セレクタ(2)512bは、データの入力元を伸張演算部(2)513aとし、入力されたデータを出力する。また、入力された選択圧縮符号データがブロック3のデータの場合、セレクタ(1)512aによってデータは伸張演算部(3)513bへ出力され、伸張される。セレクタ(2)512bは、データの入力元を伸張演算部(3)513bとし、入力されたデータを出力する。
【0043】
こうして伸張された画像は、画像置換部515(画像置換手段)を備えたブロック連結部518に入力される。ブロック連結部518の出力にはさらに、伸張モード切替信号により、簡易的な通常伸張モードと高画質の選択伸張モードを切り替えるためのセレクタ(3)516(セレクタ手段)が接続されている。図16(a)に示すように、通常伸張モードの場合には通常圧縮符号データのみの画像全体が伸張され、伸張画像データとして出力される。選択伸張モード時には図16(b)のようにブロック1については、通常圧縮符号データを伸張した通常伸張画像が出力される。ブロック1以外のブロック2およびブロック3の領域は、画像置換部515により、選択伸張演算部517で伸張された画像に置き換えられ、伸張画像データとして出力される。
【0044】
上述したように、選択伸張演算制御部511、セレクタ(1)512a、およびセレクタ(2)512bによって、複数の伸張演算部の内から、圧縮符号化時に圧縮符号化を行った圧縮演算部の圧縮符号化特性(圧縮特性)に対応した伸張特性を有する伸張演算部が選択される。すなわち、これらの構成が本発明の伸張選択手段の一実施形態である。伸張部51から出力された伸張画像データは、図6に示すように、表示画像処理部53に入力され、各種処理が施される。
【0045】
図17に表示画像処理部53の構成を示す。この図を参照して表示画像処理部53の動作を説明する。伸張画像データは画像切り出し部531および切替部533に入力される。外部から設定されるズームモード切替信号が、録画時にズームを行うモード(録画時ズームモード)を示す場合には、すでに電子ズームおよび歪み補正が行われているため、切替部533は伸張画像データをそのまま表示画像データとして出力する。
【0046】
一方、ズームモード切替信号が、再生時にズームを行うモード(再生時ズームモード)を示す場合には、撮影時の所定の画角、またはユーザが設定する画角を示す画角設定信号が画像切り出し部531に入力され、画像切り出し部531によって画像の切り出しが行われる。続いて、切り出された画像に対して歪み補正部532により光学的歪みの補正と拡大処理が行われた画像が切替部533により選択され、表示画像データとして出力される。
【0047】
上述したように、本実施形態によれば、光学的な歪みを有する光学系の歪み量に対応した圧縮演算部を選択して画像信号の圧縮符号化を行うので、画質が必要以上に劣化することなく、また、データ量が著しく大きくなることなく圧縮符号化をすることが可能となり、光学的に歪みのある光学系を用いて撮像した画像を圧縮符号化する際の画質の劣化を抑えることができる。
【0048】
また、圧縮演算の選択等の複雑な処理をブロック単位で行うことにより、画像信号の圧縮符号化を簡易かつ高速に実現することができる。このように、光学的な歪みを持つ画像をブロックに分割し、ブロック毎に最適な圧縮符号化演算を行うことにより、データサイズと画質を最適化した圧縮伸張を行うことができる。
【0049】
また、本実施形態による録画再生システムでは、圧縮符号データの伸張時に、選択圧縮符号データを復号化した第1の伸張画像データと、通常圧縮符号データを復号化した第2の伸張画像データとを生成し、第2の伸張画像データの内、所定領域(本実施形態ではブロック2および3)の画像に対応した部分を、それに対応した第1の伸張画像データに置き換えて第3の伸張画像データを生成する。第2の伸張画像データは、第3の伸張画像データに画質は劣るが、処理時間はより短い簡易な画像を提供することができ、第3の伸張画像データは高画質な画像を提供することができる。本実施形態によれば、これらの伸張画像データを必要に応じて出力させることが可能な画像処理システムを提供することができる。
【0050】
次に、第1の実施形態の変形例を以下に説明する。上述した第1の実施形態では、高画質な選択圧縮符号化と簡易的な(高速表示可能な)通常圧縮符号化を並行して行い、伸張時にそのどちらかの画像を選択している。具体的には、図15に示すように、選択圧縮符号データと通常圧縮符号データを入力し、伸張モード切替信号でセレクタ(3)516によりどちらの伸張画像を用いるかを選択している。しかしながら、高速な画像表示を行わないようにし、記録部4に蓄積する圧縮符号化データをさらに削減することを可能とするシステムとしてもよい。本変形例は、このようなシステムに係るものである。
【0051】
この場合、図27に示すように、通常圧縮演算部344に対し、ブロック1の領域のみの圧縮演算を行い、ブロック2,3の領域については圧縮演算および圧縮符号化データの出力を行わせないことを指示する選択圧縮演算制御信号を選択圧縮演算制御部341より入力させるように構成する。この際のタイミングチャートは図28のようになる。
【0052】
一方、伸張部51は、セレクタ(3)516が常に画像置換部515からの出力を選択するようにし、高画質な画像のみを伸張画像として出力するように構成する。ここで、画像置換部515は、選択伸張演算部517および通常伸張演算部514からの出力を連結する画像連結手段として機能する。
【0053】
以上により、記録部4に蓄積する圧縮符号化データをさらに削減することが可能となる。なお、本変形例において、通常圧縮演算部344を、セレクタ(1)342aとセレクタ(2)342bとによるブロック化画像信号の入力および出力の選択対象として構成してもよい。この場合、通常圧縮符号化データは選択圧縮符号化データの1つとなる。
【0054】
また、本変形例において、通常伸張演算部514を、セレクタ(1)512aとセレクタ(2)512bとによる入力および出力の選択対象とし、かつ通常圧縮符号データをセレクタ(1)512aによる選択対象として構成してもよい。また、本変形例において、セレクタ(3)516を削除し、画像置換部515の出力を直接、画像表示部6に対する伸張画像データとして出力するように構成してもよい。
【0055】
次に、本発明の第2の実施形態を説明する。図18は、本発明の画像符号化装置を用いた遠隔監視システム(画像処理システム)の概略構成を示している。本実施形態による遠隔監視システムは以下の構成を備えている。歪み光学部11aを有する光学系11およびイメージャ12は、第1の実施形態で説明したものと同様であるため、説明を省略する。符号化部13は、イメージャ12から出力された画像信号に各種画像処理を行い、圧縮符号化して圧縮符号データを生成する。伝送路14は、圧縮符号データを伝送する有線または無線の通信路である。復号化部15は、伝送された圧縮符号データを復号化し、各種画像処理を行う。画像記録/表示部16は、復号化された画像データに基づいた画像表示と画像データの記録を行う。符号化部13および復号化部15の概略動作は第1の実施形態と同様である。
【0056】
以下、本実施形態の動作の詳細を説明する。図19に符号化部13の構成を示す。この図を参照して符号化部13の動作を説明する。本実施形態では、画像信号は輝度信号と色差信号から構成される。画像信号は、撮像画像処理部132に入力され、第1の実施形態と同様の各種画像処理と電子ズームおよび歪み補正処理が行われる。この処理後の撮像画像処理画像データはブロック分割部134に入力される。第2の実施形態のブロック分割部134は、第1の実施形態のブロック分割部33と異なり、あらかじめ定められたサイズに撮像画像処理画像データを分割する。
【0057】
図20にブロック分割の例を示す。例えば図20(a)のような入力画像について説明する。第1の実施形態と同様に、歪み量により撮像画像を領域1,2,3に分ける例を説明する。図20(b)のように、歪み量により領域1に分類されるのはブロック1〜7,12,13,18,19,24,25,30〜36である。また、領域2に分類されるのはブロック8〜11,14,17,20,23,26〜29であり、領域3に分類されるのはブロック15,16,21,22である。このように本実施形態では、画像は所定サイズの多数のブロック(ブロック1〜36)に分割される。第1の実施形態では領域毎にブロック化を行ったが、本実施形態では固定長のブロックに分けた後、それぞれのブロックの持つ歪み量により圧縮演算の制御を行う。
【0058】
図21にブロック分割部134のブロック図を示す。この図を参照してブロック分割部134の動作を説明する。本実施形態では前述のように固定サイズのブロック化を行うため、イメージャ12からのタイミング信号によりブロック情報の切替を行う。実際にはブロック位置演算部1341が、入力される画像信号に対応するブロック位置をタイミング信号に基づいて演算し、画像信号の属するブロックを示すブロック情報を生成してブロック情報付加部1342へ出力する。ブロック情報付加部1342はブロック毎に画像信号にブロック情報を付加し、ブロック分割画像データとして出力する。
【0059】
図19の歪み量出力部131は、各ブロック単位でその座標の歪み量を出力するものである。基本的な動作は第1の実施形態と同様である。出力された歪み量は圧縮選択信号出力部133に入力される。圧縮選択信号出力部133は、この歪み量に基づいて、各ブロック毎に最適な圧縮演算を選択し、選択結果を示す圧縮選択信号を圧縮符号化部135へ出力する。
【0060】
図22に圧縮選択信号出力部133の構成を示す。この図を参照して圧縮選択信号出力部133の動作を説明する。圧縮選択信号出力部133は、隣接ブロック圧縮選択信号蓄積部1331(選択結果保持手段)、比較演算部1332(選択信号生成手段)、および歪み量閾値蓄積部1333から構成される。各ブロックの持つ歪み量は比較演算部1332に入力される。また、歪み量閾値蓄積部1333には、歪み量に基づいて圧縮演算部(後述する図25の圧縮演算部)を選択するための閾値があらかじめ格納されている。隣接ブロック圧縮選択信号蓄積部1331は、圧縮選択信号出力部133に入力される現ブロックと隣接する前ブロックの圧縮選択信号を蓄積するためのものである。これは、隣接ブロックと圧縮演算の特性が大きく変わると、その部分がノイズとなるので、それを防止するためのものである。
【0061】
図23に比較演算部1332の構成を示す。この図を参照して比較演算部1332の動作を説明する。歪み量比較部1334には、歪み量出力部131から歪み量が入力されると共に、歪み量閾値蓄積部1333から複数の閾値が入力される。歪み量比較部1334は、歪み量を複数の閾値と比較し、歪み量の値がいずれの範囲にあるのかを算出し、歪み量範囲情報として圧縮演算候補選択部1335へ出力する。圧縮演算候補選択部1335は、歪み量範囲情報に基づいて、現ブロックに対応する圧縮演算候補の選択を行い、選択結果を示す信号を圧縮演算選択部1336へ出力する。圧縮演算選択部1336は、候補の中から、隣接ブロック圧縮選択信号が示す前ブロックの圧縮演算と特性が近く(現ブロックの圧縮演算候補が前ブロックの圧縮演算の所定の範囲内となるように)、かつ、歪み量から最適となる圧縮演算の選択を行い、圧縮選択信号として出力する。
【0062】
以下、図24を参照して圧縮演算選択部1336の動作を説明する。ここで、歪み量1のブロックmと歪み量2のブロックm+1,n,n+1があるものとする。ブロックmでは圧縮演算1が選択されている。ここで、歪み量2に対する圧縮演算候補として圧縮演算2と圧縮演算3と圧縮演算4が選択されるとする。また、圧縮演算2は圧縮演算1に最も特性が近く、圧縮演算4は圧縮演算1から最も特性が離れているものとする。また、歪み量に対しては、圧縮演算3が最適なものであるとする。
【0063】
ここで、ブロックm+1とブロックnでは、最適な圧縮演算は圧縮演算3であるが、隣接するブロックmの圧縮演算1とは圧縮特性が離れてしまうため、圧縮演算1に特性の近い圧縮演算2が選択される。ブロックn+1では、隣接ブロック(ブロックm+1,n)の圧縮演算は圧縮演算2であり、圧縮演算2は最適な圧縮演算3に近いため、圧縮演算3が選択される。以上によればブロックmとm+1とn+1の圧縮特性は近く、また、ブロックnとm+1とn+1の特性が近いため、圧縮特性の違いによるノイズは目立ちにくくなる。圧縮演算選択部1336は上記のようにして各ブロックの圧縮演算を選択する。
【0064】
上述した圧縮選択信号出力部133によって生成された圧縮選択信号は圧縮符号化部135に入力される。図25に圧縮符号化部135の構成を示す。この図を参照して圧縮符号化部135の動作を説明する。前述のように本実施形態では、輝度信号と色差信号より画像信号が構成される。一般に解像度に影響するのは輝度信号であり、通常のJPEG圧縮においても、輝度信号と色差信号は異なる圧縮特性にて圧縮される。本実施形態では、圧縮符号化部135における処理を簡易化するため、解像度に関わる輝度信号(Y)に対しては選択圧縮により最適な圧縮を行い、色差信号(Cb,Cr)に対しては通常の固定圧縮演算にて圧縮符号化を行う。
【0065】
輝度信号フラグ出力部1351(フラグ出力手段)は、圧縮符号化部135に入力されている画像信号が輝度信号かどうかを示すフラグ(画像信号の種類に応じたフラグ)を出力するものである。すなわち、フラグが色差信号を示す場合には固定圧縮演算部1355により圧縮を行うようにセレクタ(1)1352aとセレクタ(2)1352bを切り替える。また、フラグが輝度信号を示す場合には、選択圧縮演算部1356により圧縮を行うようにセレクタ(1)1352aとセレクタ(2)1352bを切り替える。
【0066】
選択圧縮演算部1356には前述の圧縮選択信号が入力される。選択圧縮演算部1356では、セレクタ(3)1353aとセレクタ(4)1353bにより、圧縮演算部(1)1354a,圧縮演算部(2)1354b、・・・圧縮演算部(n)1354cの中から各ブロックに適した圧縮演算部が選択される。セレクタ(2)1352bからは、輝度信号および色差信号のそれぞれの圧縮符号データが出力される。なお、圧縮選択信号は圧縮符号データと共に伝送路14を伝送し、復号化部15において後述の伸張選択信号として用いられる。
【0067】
次に、図18の復号化部15の詳細な動作を説明する。図26に復号化部15の構成を示す。符号化部13と同様に、輝度信号フラグ出力部151は、入力された圧縮符号データが輝度信号かどうかを示すフラグを出力する。フラグが色差信号を示す場合には、固定伸張演算部155により圧縮を行うようにセレクタ(1)152aとセレクタ(2)152bを切り替える。この場合、圧縮符号データは固定伸張演算部155に入力され、固定伸張演算部155により伸張される。
【0068】
一方、フラグが輝度信号を示す場合には、選択伸張演算部156により伸張を行うようにセレクタ(1)152aとセレクタ(2)152bを切り替える。この場合、圧縮符号データは選択伸張演算部156に入力される。輝度信号を圧縮符号化したデータに関しては、同時に伝送される伸張選択信号に基づいて、圧縮演算に対応した伸張演算が選択される。選択伸張演算部156では、セレクタ(3)153aとセレクタ(4)153bにより、伸張演算部(1)154a,伸張演算部(2)154b、・・・伸張演算部(n)154cの中から各ブロックに適した伸張演算部が選択される。セレクタ(2)152bからは伸張された画像データが出力される。
【0069】
上記のようにして伸張された画像データに対してさらに各種画像処理が施され、画像記録/表示部16において画像の表示や記録が行われる。本実施形態では画像信号を輝度信号と色差信号で入力するものとしたが、例えば全て色信号R,G,Bで構成される信号でも同様の処理が可能である。この場合、解像度に大きく影響するのはG信号であるため、G信号を選択圧縮演算で圧縮符号化し、R,Bは固定圧縮演算で圧縮符号化を行う。
【0070】
上述したように、本実施形態によれば、第1の実施形態で説明した効果以外に以下の効果を得ることができる。すなわち、図22を参照して説明したように、現ブロックに隣接するブロックにおける圧縮演算の選択結果に基づき、現ブロックの圧縮演算を選択するので、圧縮符号化の特性の相違を抑え、ブロック間での画質の差が小さい高画質な圧縮/伸張画像を得ることができる。
【0071】
また、フラグ信号により、画像信号の種別、例えば輝度信号と色差信号の区別を行い、画質への影響が少ないとされる色差信号では通常圧縮演算部を選択して圧縮符号化を行い、画質に影響する輝度信号では選択圧縮演算部を選択して圧縮符号化を行うことにより、複雑な処理を必要最低限のデータに対して行うことができる。
【0072】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記の実施形態では、歪みによる領域の分割数を3とし、中心から周辺に向けて分割する例を用いて説明したが、各種の分割数や分割方法を適用することが可能である。また、歪み光学系としてシリンドリカルレンズを用いた例を用いて説明したが、共軸系の光学系でも同様の構成が可能である。さらに、符号化部と復号化部を一対一に対応する例を用いて説明しているが、一対多の構成でも可能であり、例えば、同じ筐体内の復号化部で伸張をする場合や、外部のコンピュータでソフトウエアにより伸張する例でも適用可能である。
【図面の簡単な説明】
【0073】
【図1】本発明の第1の実施形態による画像符号化装置(符号化部)の構成を示すブロック図である。
【図2】本発明の第1の実施形態による録画再生システムの構成を示すブロック図である。
【図3】本発明の第1の実施形態による録画再生システムが備える歪み光学部の構成を示す構成図である。
【図4】本発明の第1の実施形態による録画再生システムが備える歪み光学部を有する光学系による撮像例を示す参考図である。
【図5】本発明の第1の実施形態による録画再生システムで行われる電子ズームの例を示す参考図である。
【図6】本発明の第1の実施形態による録画再生システムが備える復号化部の構成を示すブロック図である。
【図7】本発明の第1の実施形態による符号化部が備える撮像画像処理部の構成を示すブロック図である。
【図8】本発明の第1の実施形態におけるブロック分割例を示す参考図である。
【図9】本発明の第1の実施形態におけるブロック分割例を示す参考図である。
【図10】本発明の第1の実施形態による符号化部が備える歪み量出力部の構成を示すブロック図である。
【図11】本発明の第1の実施形態による符号化部が備えるブロック分割部の構成を示すブロック図である。
【図12】本発明の第1の実施形態におけるブロック分割方法を説明するための参考図である。
【図13】本発明の第1の実施形態による符号化部が備える圧縮符号化部の構成を示すブロック図である。
【図14】本発明の第1の実施形態による符号化部が備える圧縮符号化部の動作を示すタイミングチャートである。
【図15】本発明の第1の実施形態による復号化部が備える伸張部の構成を示すブロック図である。
【図16】本発明の第1の実施形態における伸張方法を説明するための参考図である。
【図17】本発明の第1の実施形態による復号化部が備える表示画像処理部の構成を示すブロック図である。
【図18】本発明の第2の実施形態による遠隔監視システムの構成を示すブロック図である。
【図19】本発明の第2の実施形態による画像符号化装置(符号化部)の構成を示すブロック図である。
【図20】本発明の第2の実施形態におけるブロック分割例を示す参考図である。
【図21】本発明の第2の実施形態による符号化部が備えるブロック分割部の構成を示すブロック図である。
【図22】本発明の第2の実施形態による符号化部が備える圧縮選択信号出力部の構成を示すブロック図である。
【図23】本発明の第2の実施形態による符号化部が備える比較演算部の構成を示すブロック図である。
【図24】本発明の第2の実施形態における圧縮演算の選択方法を説明するための参考図である
【図25】本発明の第2の実施形態による符号化部が備える圧縮符号化部の構成を示すブロック図である。
【図26】本発明の第2の実施形態による復号化部の構成を示すブロック図である。
【図27】本発明の第1の実施形態の変形例による符号化部が備える圧縮符号化部の構成を示すブロック図である。
【図28】本発明の第1の実施形態の変形例による符号化部が備える圧縮符号化部の動作を示すタイミングチャートである。
【符号の説明】
【0074】
1,11・・・光学系、1a,11a・・・歪み光学部、2,12・・・イメージャ、3,13・・・符号化部、4・・・記録部、5,15・・・復号化部、6・・・画像表示部、14・・・伝送路、16・・・画像記録/表示部
【技術分野】
【0001】
本発明は、画像データを圧縮符号化する画像符号化装置に関し、またこの画像符号化装置を備えると共に、圧縮符号化された画像データを復号化する画像復号化装置を備えた画像処理システムに関する。本発明は特に、デジタルカメラや携帯電話用撮像モジュール、監視カメラなどの電子画像の撮像装置において、撮像した映像を伝送,蓄積する際に用いて好適な画像符号化装置および画像処理システムに関する。
【背景技術】
【0002】
デジタルカメラや携帯電話用撮像モジュール、監視カメラなどの電子画像の撮像装置において、光学的なズームレンズを使用せずに画角を変更する電子ズームが一般的に用いられている。このような電子ズームでは、機械的な機構を用いずに簡易に画角の変更を実現することが可能であるが、画像の一部を切り出し、切り出した部分の拡大を行うため、画質は劣化する。画質の劣化を軽減する方式として、光学像の周辺部を圧縮する歪みを持つ光学系で画像を撮像し、その画像に対して切り出しと補正を行うことにより、高画質の電子ズームを実現する方式が、特許文献1に提案されている。
【0003】
また、デジタルカメラや、携帯電話用撮像モジュール、監視カメラでは、撮影した画像を内部記録装置に記録したり、無線や有線のネットワークなどの伝送路を介して伝送を行い、伝送した画像を記録または表示装置に表示したりする。上記の記録装置や伝送路には蓄積できる記録量や、所定の時間内で伝送できる伝送量に上限があるため、画像に対して圧縮符号化を行い、データサイズを小さくした上で記録または伝送を行うことが通常行われる。
【0004】
前記のように光学的に歪みのある光学系を用いて撮像した画像を圧縮して伝送するシステムとしては、例えば特許文献2に提案されているものがある。この例は、歪みに応じたブロックサイズに画像を分割し、優先順位をつけて部分画像を伝送することにより、伝送する画像のサイズを小さくし、撮像から画像表示までのリアルタイム性の確保や高フレームレートを実現するものである。
【特許文献1】特開平10−233950号公報
【特許文献2】特許第3550046号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記の従来技術においては、画像の圧縮について言及はあるものの、画像の圧縮と光学特性との関係については特に言及されていない。一般的に、圧縮率を高くすると画像1フレームのデータ量は減るが、画質が劣化し、これに対し、圧縮率を低くすると画質の劣化は抑えられるが、画像1フレームのデータ量はそれほど減らないというトレードオフ的な関係のあることが知られている。したがって、以上の点を考慮することにより、画質の劣化を抑えた画像の圧縮伝送が期待できる。
【0006】
本発明は、この観点に着目し、光学的に歪みのある光学系を用いて撮像した画像を圧縮符号化する際の画質の劣化を抑えることができる画像符号化装置および画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、上記の課題を解決するためになされたもので、入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、各々異なる圧縮符号化特性を備え、前記画像信号を圧縮符号化データに変換する複数の圧縮演算手段と、前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する選択手段とを有する画像符号化装置である。
【0008】
また、本発明の画像符号化装置は、前記画像信号を、前記歪み量に応じて複数のブロックに分割して出力するブロック分割手段をさらに有し、前記歪み量判定手段は、前記ブロックに対応した画像の光学的な歪み量を判定し、前記圧縮演算手段は、前記ブロックを単位として圧縮符号化データに変換することを特徴とする。
【0009】
また、本発明の画像符号化装置は、前記ブロックに対する前記圧縮演算手段の選択結果を保持する選択結果保持手段と、現ブロックに対する前記歪み量判定手段の前記判定結果と、前記現ブロックに隣接する前記ブロックに係る、前記選択結果保持手段から入力される前記選択結果とに基づき、前記現ブロックを前記圧縮符号化データに変換する前記圧縮演算手段を選択するための信号を生成する選択信号生成手段とをさらに有することを特徴とする。
【0010】
また、本発明の画像符号化装置において、前記選択手段は、前記画像信号の種類に応じたフラグ信号を出力するフラグ出力手段と、単一の圧縮符号化特性により前記画像信号を前記圧縮符号化データに変換する通常圧縮演算手段と、前記フラグ信号に基づいて、前記通常圧縮演算手段と前記複数の圧縮演算手段の内のいずれかを選択して前記画像信号を入力するセレクタ手段とを有することを特徴とする。
【0011】
また、本発明は、入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、各々異なる圧縮符号化特性を備え、前記画像信号を第1の圧縮符号化データに変換する複数の圧縮演算手段と、前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する圧縮符号化選択手段と、単一の圧縮符号化特性により前記画像信号を第2の圧縮符号化データに変換する通常圧縮演算手段とを有する画像符号化装置と、前記複数の圧縮演算手段の圧縮符号化特性に対応した各々異なる伸張特性を備え、前記第1の圧縮符号化データを第1の伸張画像データに変換する複数の伸張演算手段と、前記複数の伸張演算手段の内から、前記圧縮演算手段の圧縮符号化特性に対応した伸張特性を有する前記伸張演算手段を選択する伸張選択手段と、前記第2の圧縮符号化データを第2の伸張画像データに変換する通常伸張演算手段と、前記第2の伸張画像データの内、所定領域の画像に対応した部分を、前記所定領域の画像に対応した前記第1の伸張画像データに置き換えて第3の伸張画像データを生成する画像置換手段と、外部から入力されるモード信号に基づき、前記第2の伸張画像データまたは前記第3の伸張画像データを選択して出力するセレクタ手段とを有する画像復号化装置とを有する画像処理システムである。
【0012】
また、本発明は、入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、各々異なる圧縮符号化特性を備え、前記画像信号を圧縮符号化データに変換する複数の圧縮演算手段と、前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する圧縮符号化選択手段とを有する画像符号化装置と、前記複数の圧縮演算手段の圧縮符号化特性に対応した各々異なる伸張特性を備え、前記圧縮符号化データを伸張画像データに変換する複数の伸張演算手段と、前記複数の伸張演算手段の内から、前記圧縮演算手段の圧縮符号化特性に対応した伸張特性を有する前記伸張演算手段を選択する伸張選択手段と、複数の前記伸張画像データを連結する画像連結手段とを有する画像復号化装置とを有する画像処理システムである。
【発明の効果】
【0013】
本発明によれば、光学的な歪みを有する光学系の歪み量に対応した圧縮演算手段を選択して画像信号の圧縮符号化を行うので、画質が必要以上に劣化することなく、また、データ量が著しく大きくなることなく圧縮符号化をすることが可能となり、光学的に歪みのある光学系を用いて撮像した画像を圧縮符号化する際の画質の劣化を抑えることができるという効果が得られる。
【発明を実施するための最良の形態】
【0014】
以下、図面を参照し、本発明の実施形態を説明する。まず本発明の第1の実施形態を説明する。図2は、本発明の画像符号化装置を用いた録画再生システム(画像処理システム)の構成を示している。本実施形態による録画再生システムは以下の構成を備えている。光学系1は、従来例(例えば特許文献1)で開示されている、高画質に電子ズームを行うための歪み光学部1aを含んでいる。イメージャ2(撮像素子)は、光学系1により結像された像を電気的な画像信号に変換する。本発明の画像符号化装置の一実施形態である符号化部3は、イメージャ2から出力された画像信号に各種画像処理を行い、圧縮符号化して圧縮符号データを生成する。記録部4は、圧縮符号データを格納する記録媒体を備えている。復号化部5は、記録部4より圧縮符号データを読み出して復号化し、各種画像処理を行う。画像表示部6は、復号化された画像データに基づいて画像を表示する。
【0015】
ここで、歪み光学部に関して、および歪み光学部を含む光学系を用いた電子ズームに関して、図3〜図5を参照して説明する。画像周辺を光学的に圧縮するための歪み光学部としては、先行例(例えば特許文献1)に開示されている共軸光学系を含め、いくつかの構成が考えられるが、ここではシリンドリカルレンズを使用する例で説明する。本実施形態の歪み光学部1aは、図3のようにシリンドリカルレンズを2つ(シリンドリカルレンズ1a1および1a2)使用する。図4が、この歪み光学部1aを含む光学系1により撮像した画像である。被写体像の一例として示した図4(a)では、等間隔に被写体が並んでいる様子が示されている。図4(b)は、歪み光学部1aを含む光学系1を通してこの被写体を撮像したものである。シリンドリカルレンズ1a1,1a2により、図4(a)に示される被写体像の周辺部が圧縮されて結像される。
【0016】
図5が、イメージャ2により取り込んだ画像の一部を切り出し、電子ズームを行う様子を示したものである。図5(a)は、本実施形態の歪み光学部1aを含む光学系1により撮像した画像であり、図5(c)は、図5(a)から得られる電子ズーム画像の例である。図5(b)は、歪みの少ない通常の光学系で撮像した画像であり、図5(d)は、図5(b)から得られる電子ズーム画像の例である。このように、同じ画角の電子ズーム画像を得る場合に、撮像画像上の面積は、歪み光学系を使用したものの方が通常の光学系を使用したものよりも大きいことがわかる。
【0017】
一般に使用されているイメージャではセンサの画素が等間隔に並んでいるため、また結像画像上の面積の大きさはそのまま画素数に比例するため、図5(b)のズーム対象範囲よりも図5(a)のズーム対象範囲の方が画素数が多い。すなわち、図5(a)のズーム対象範囲からの方が、高画質な電子ズーム画像が得られる。
【0018】
なお、上記の電子ズームは、復号化後に行ってもよいし圧縮符号化前に行ってもよい。復号化時に電子ズームを行えば、復号化時に任意の倍率の画像を得ることができる。また、符号化時に電子ズームの処理を行い、電子ズーム後の画像を圧縮符号化し格納すれば、記録するデータサイズの縮小が可能となる。本実施形態では符号化時と復号化時の両方で電子ズームを選択して行うことが可能となっており、操作時に撮影者は任意に両者の選択を行うことが可能となっている。
【0019】
次に、本実施形態による録画再生システムの概略動作を説明する。イメージャ2により電子画像化された画像信号は符号化部3に入力される。図1は符号化部3の構成を示している。以下、図1を参照して符号化部3の概略動作を説明する。符号化部3に入力された画像信号に対して、撮像画像処理部32によって、フィルタリング,ホワイトバランス処理,ガンマ補正等の画像処理が施される。また、歪み量出力部31(歪み量判定手段)は、入力される画像信号に対応した画像の光学的な歪み量をブロック分割部33(ブロック分割手段)へ出力する。
【0020】
撮像画像処理部32によって処理された画像データ(撮像画像処理画像データ)は、ブロック分割部33により、後述するように所定のブロックに分割される。このブロックの分割は、歪み量出力部31から入力された歪み量に基づいて行われる。分割された画像データ(ブロック化画像)は、圧縮符号化部34によって圧縮符号化され、圧縮符号データとして、図2の記録部4に出力される。後述するように、圧縮符号化部34は複数の圧縮演算部を備えており、各圧縮演算部の圧縮符号化特性(圧縮特性)は互いに異なっている。画像データを圧縮符号化する圧縮演算部として、歪み量に基づいて決定されたブロックに対応したものが複数の圧縮演算部の中から選択される。なお、符号化部3の各部の詳細動作については後述する。
【0021】
画像の圧縮符号化手法としては、静止画像ではJPEGやJPEG2000、動画ではMPEG等の非可逆圧縮手法が一般に用いられる。これらの手法では、画像情報を周波数成分等に分解し、視覚的に影響の少ない情報から順次削除することにより、高能率の圧縮符号化が行われる。情報の削除によりデータ量を減らすため、過度に圧縮すると、画像は劣化してしまう。なお、本発明は、その実施にあたり非可逆圧縮手法には依存しない。
【0022】
符号化部3より出力された圧縮符号データは、本実施形態ではメモリカード等の記録部4に記録される。以上が画像を撮像し、記録するまでの動作である。
【0023】
以下、記録した画像を表示する動作を説明する。図2の記録部4に記録された圧縮符号データは復号化部5に入力される。図6は復号化部5の構成を示している。この図を参照して復号化部5の概略動作を説明する。入力された圧縮符号データは伸張部51により、伸張画像データに伸張される。表示画像処理部53は、伸張画像データに対して、表示のためのフィルタリングや拡大縮小の画像処理を行うと共に、復号化後に電子ズームを行う場合には電子ズーム処理を併せて行い、表示画像データを生成する。
【0024】
次に、撮像時の符号化部3の詳細な動作を説明する。図2のイメージャ2から出力された画像信号は符号化部3の撮像画像処理部32(図1)に入力され、各種画像処理が施されると共に、必要に応じて電子ズーム処理が施される。図7に撮像画像処理部32の構成を示す。この図を参照して撮像画像処理部32の動作を説明する。入力された画像信号に対し、ガンマ補正部321とホワイトバランス処理部322により、各種画像処理(ガンマ補正およびホワイトバランス補正)が施される。
【0025】
ホワイトバランス処理後の画像は、画像切り出し部323と切替部325に入力される。画像切り出し部323は、図示しない画角指定部からの画角設定信号により指定された画像の切り出しサイズに基づいて画像の切り出しを行う。歪み補正部324は、切り出された画像に対して歪みを補正し、ズーム画像を生成する。この電子ズーム後の画像は切替部325に入力される。
【0026】
前述のように本実施形態では記録時と再生時に電子ズーム処理を選択して行う構成となっている。電子ズーム処理を記録時に行うか、再生時に行うかを切り替えるズームモード切替信号が切替部325に入力され、ズームモード切替信号が、再生時にズームを行うモード(再生時ズームモード)を示す場合には、切替部325はホワイトバランス処理後の画像をそのまま撮像画像処理画像データとして出力する。また、ズームモード切替信号が、録画時にズームを行うモード(録画時ズームモード)を示す場合には、切替部325は電子ズーム後の画像を撮像画像処理画像データとして出力する。
【0027】
撮像画像処理部32から出力された撮像画像処理画像データはブロック分割部33に入力され、所定のブロックに分割される。ブロックの分割例を図8および図9に示す。図8は、再生時ズームモードにおいて、歪を有したまま撮像画像を圧縮符号化する場合の撮像画像に対するブロック分割の例を示したものである。図8(a)に示すように、撮像画像では中央部は単位面積あたりの被写体の情報が少なく、周辺部に行くに従い多くなっている。本実施形態において、再生時ズームモードで記録を行う場合には、図8(b)のように3つのブロックへの分割を行い、情報量の多いブロック1は圧縮率を低く、すなわち符号化による情報量の削減を抑え、情報量の少ないブロック3は圧縮率を高くし、それぞれ最適な圧縮率を選択している。
【0028】
図9(a)は、録画時ズームモードにおいて、歪み補正を行った後の画像を圧縮符号化する場合である。この場合、画像の中央部では元々歪みが少ないため画像の拡大率は小さいが、周辺に行くに従い拡大率が大きくなり、画像は、少ない画素から拡大された画像となる。すなわち、中央部は情報量が多いが、周辺部は、少ない画素数から画像を作っているため情報量は少ない。
【0029】
本実施形態では図9(b)に示すように、情報量の少ないブロック1の圧縮率を高くし、情報量の多い中央部のブロック3は圧縮率を低くし、画像の劣化を抑えている。なお、圧縮率の制御について、本実施形態では圧縮方式としてJPEGを用いるものとして説明する。JPEGでは圧縮符号化時にどの周波数情報までを削除するのかをスケーリングファクタのパラメータとして設定し、圧縮率をコントロールすることが可能である。本実施形態では、ブロック1,ブロック2,ブロック3でそれぞれ異なるスケーリングファクタを設定するものとする。ブロック分割部33は前述のように、歪み量出力部31から出力された各部の歪み量に基づいてブロックの分割を行う。
【0030】
歪み量出力部31の構成を図10に示す。この図を参照して歪み量出力部31の動作を説明する。歪み量出力部31では、入力される画像データに同期したイメージャ2からの水平および垂直のタイミング信号に基づいて、座標演算部311が撮像画像全体中での入力画像データの座標の演算を行う。歪み情報蓄積部313には光学系の歪み情報(撮像画像上の座標と歪み光学部1aの歪み量とが対応付けられた情報)があらかじめ格納されている。歪み量演算部312は、座標演算部311が出力する座標と、歪み情報蓄積部313が出力する歪み情報に基づいて歪み量を演算して出力する。ブロック分割部33は、この歪み量に基づき、ブロックへの分割を行う。
【0031】
図11にブロック分割部33の構成を示す。この図を参照してブロック分割部33の動作を説明する。歪み量出力部31から出力された歪み量はブロック決定部331に入力される。ブロック決定部331は歪み量を所定の閾値と比較し、歪み量がどの範囲にあるのかを比較し、ブロックの判定を行って、判定結果に基づいたブロック決定信号をブロック化データ格納制御部332へ出力する。また、撮像画像処理部32から出力された撮像画像処理画像データはブロック化データ格納制御部332に入力される。ブロック化データ格納制御部332は、ブロック決定信号に基づいて、処理画像データをいずれのブロックとして格納するかの切り替えを行い、各ブロックをブロック1格納部333a,ブロック2格納部333b,ブロック3格納部333cのいずれかに格納する。
【0032】
本実施形態におけるブロックの分割方法を図12に示す。図12(a)が元の処理画像全体である。前述のように歪み量がそれぞれ所定の範囲の値となる領域を領域1,2,3とする。それぞれの領域1,2,3は歪み量により(b)ブロック1,(c)ブロック2,(d)ブロック3に分けられ、それぞれのブロックの格納部(ブロック1格納部333a,ブロック2格納部333b,ブロック3格納部333c)に蓄積される。図11のブロック化データ出力制御部334は、それぞれのブロック単位でブロック情報(データがどのブロックに属しているのかを示す情報)とブロック化画像を出力する。このブロック化画像は、図1の圧縮符号化部34に入力される。
【0033】
圧縮符号化部34の構成を図13に示す。前述のように本実施形態ではブロック1,2,3で異なる圧縮演算を行うことで高画質の圧縮画像を得ている。しかし、伸張時には高速に画像を表示する場合があり、それぞれのブロックで異なる圧縮演算を行うことは処理速度の低下につながり、操作上のレスポンスなどの観点より望ましくない。そこで、本実施形態ではブロック1の圧縮符号演算を用いて画像全体の圧縮を行って通常圧縮符号データを生成し、上記の高速画像表示の場合にはこのデータのみで表示を行う。
【0034】
本実施形態ではブロック2および3は、前述のようにブロック1の圧縮符号演算で圧縮符号化を行い、また、並行してそれぞれ最適な圧縮演算でも圧縮符号化を行う。再生時に高画質な画像を得る場合にはブロック2および3の領域では、通常圧縮符号データからの伸張画像ではなく、選択圧縮符号データからの伸張画像が出力される。
【0035】
以下、図13および図14を参照して圧縮符号化部34の動作を説明する。圧縮符号化部34に入力されたブロック情報は選択圧縮演算制御部341および選択圧縮演算部345に選択信号として入力される。また、ブロック化画像信号は選択圧縮演算部345と通常圧縮演算部344(通常圧縮演算手段)に入力される。選択圧縮演算制御部341は、入力されたブロック情報に基づき、選択圧縮演算部345の動作を制御する選択圧縮演算制御信号を生成し、出力する。通常圧縮演算部344は、ブロックに関わらず全画像データを単一の圧縮特性(本実施形態ではブロック1の圧縮特性)により圧縮し、通常圧縮符号データとして出力する。
【0036】
選択圧縮演算部345はセレクタ(1)342a、セレクタ(2)342b、圧縮演算部(2)343a(圧縮演算手段)、および圧縮演算部(3)343b(圧縮演算手段)を備え、選択圧縮演算制御信号により制御される。具体的には、入力されるブロック化画像信号がブロック2およびブロック3の場合、選択圧縮演算制御信号が有効となり、選択圧縮演算部345の動作が許可される。同時にブロック情報がセレクタ(1)342aおよびセレクタ(2)342bに入力され、あらかじめ設定されている圧縮演算部(2)343aまたは圧縮演算部(3)343bが選択され、圧縮符号化が行われる。
【0037】
ここで、ブロック2に係るブロック化画像信号は圧縮演算部(2)343aによって、ブロック3に係るブロック化画像信号は圧縮演算部(3)343bによって、それぞれ圧縮符号化される。すなわち、入力された画像信号がブロック2の画像信号の場合、セレクタ(1)342aによって画像信号は圧縮演算部(2)343aへ出力され、圧縮符号化される。セレクタ(2)342bは、画像信号の入力元を圧縮演算部(2)343aとし、入力されたデータを選択圧縮符号データとして出力する。また、入力された画像信号がブロック3の画像信号の場合、セレクタ(1)342aによって画像信号は圧縮演算部(3)343bへ出力され、圧縮符号化される。セレクタ(2)342bは、画像信号の入力元を圧縮演算部(3)343bとし、入力されたデータを選択圧縮符号データとして出力する。
【0038】
なお、ブロック1が入力されている場合には、選択圧縮演算制御信号が無効となり、選択圧縮演算部345の動作は停止する。以上により、ブロック毎に最適な圧縮演算部が選択され、それぞれ圧縮符号化される。上述したように、選択圧縮演算制御部341、セレクタ(1)342a、およびセレクタ(2)342bによって、複数の圧縮演算部の内から、歪み量の判定結果に対応した圧縮演算部が選択される。すなわち、これらの構成が本発明の選択手段および圧縮符号化選択手段の一実施形態である。
【0039】
次に、伸張時の復号化部5の詳細な動作を説明する。復号化部5の構成は図6の通りである。ブロック情報、および圧縮符号化部34により圧縮符号化された圧縮符号データ(通常圧縮符号データおよび選択圧縮符号データ)はブロック情報と共に記録部4に一旦格納された後、記録部4より読み出され、復号化部5の伸張部51に入力される。伸張部51の構成を図15に示す。この図を参照して伸張部51の動作を説明する。
【0040】
前述したように、圧縮符号データは選択圧縮符号データと通常圧縮符号データから構成される。通常圧縮符号データは全画像データを圧縮したものであり、通常伸張演算部514(通常伸張演算手段)に入力される。選択圧縮符号データは、前述のように一部のブロック(ブロック2,ブロック3)を異なる圧縮演算部(2)343a,圧縮演算部(3)343bで圧縮したものである。選択圧縮符号データは、セレクタ(1)512a、セレクタ(2)512b、伸張演算部(2)513a、および伸張演算部(3)513bを備えた選択伸張演算部517に入力される。
【0041】
選択伸張演算制御部511は、ブロック情報に基づき選択伸張演算部517全体および画像置換部515を制御するものである。具体的には選択伸張演算制御部511は、ブロック情報に基づいた選択伸張演算制御信号によってセレクタ(1)512aおよびセレクタ(2)512bを各々制御し、圧縮符号化時に選択した圧縮演算に対応する伸張演算を選択する。また、選択圧縮符号データが入力されない期間は無効となり,選択伸張演算制御部511は選択伸張演算部517の動作を停止させる。
【0042】
選択圧縮符号データが入力される場合の動作は以下のようになる。すなわち、入力された選択圧縮符号データがブロック2のデータの場合、セレクタ(1)512aによってデータは伸張演算部(2)513aへ出力され、伸張される。セレクタ(2)512bは、データの入力元を伸張演算部(2)513aとし、入力されたデータを出力する。また、入力された選択圧縮符号データがブロック3のデータの場合、セレクタ(1)512aによってデータは伸張演算部(3)513bへ出力され、伸張される。セレクタ(2)512bは、データの入力元を伸張演算部(3)513bとし、入力されたデータを出力する。
【0043】
こうして伸張された画像は、画像置換部515(画像置換手段)を備えたブロック連結部518に入力される。ブロック連結部518の出力にはさらに、伸張モード切替信号により、簡易的な通常伸張モードと高画質の選択伸張モードを切り替えるためのセレクタ(3)516(セレクタ手段)が接続されている。図16(a)に示すように、通常伸張モードの場合には通常圧縮符号データのみの画像全体が伸張され、伸張画像データとして出力される。選択伸張モード時には図16(b)のようにブロック1については、通常圧縮符号データを伸張した通常伸張画像が出力される。ブロック1以外のブロック2およびブロック3の領域は、画像置換部515により、選択伸張演算部517で伸張された画像に置き換えられ、伸張画像データとして出力される。
【0044】
上述したように、選択伸張演算制御部511、セレクタ(1)512a、およびセレクタ(2)512bによって、複数の伸張演算部の内から、圧縮符号化時に圧縮符号化を行った圧縮演算部の圧縮符号化特性(圧縮特性)に対応した伸張特性を有する伸張演算部が選択される。すなわち、これらの構成が本発明の伸張選択手段の一実施形態である。伸張部51から出力された伸張画像データは、図6に示すように、表示画像処理部53に入力され、各種処理が施される。
【0045】
図17に表示画像処理部53の構成を示す。この図を参照して表示画像処理部53の動作を説明する。伸張画像データは画像切り出し部531および切替部533に入力される。外部から設定されるズームモード切替信号が、録画時にズームを行うモード(録画時ズームモード)を示す場合には、すでに電子ズームおよび歪み補正が行われているため、切替部533は伸張画像データをそのまま表示画像データとして出力する。
【0046】
一方、ズームモード切替信号が、再生時にズームを行うモード(再生時ズームモード)を示す場合には、撮影時の所定の画角、またはユーザが設定する画角を示す画角設定信号が画像切り出し部531に入力され、画像切り出し部531によって画像の切り出しが行われる。続いて、切り出された画像に対して歪み補正部532により光学的歪みの補正と拡大処理が行われた画像が切替部533により選択され、表示画像データとして出力される。
【0047】
上述したように、本実施形態によれば、光学的な歪みを有する光学系の歪み量に対応した圧縮演算部を選択して画像信号の圧縮符号化を行うので、画質が必要以上に劣化することなく、また、データ量が著しく大きくなることなく圧縮符号化をすることが可能となり、光学的に歪みのある光学系を用いて撮像した画像を圧縮符号化する際の画質の劣化を抑えることができる。
【0048】
また、圧縮演算の選択等の複雑な処理をブロック単位で行うことにより、画像信号の圧縮符号化を簡易かつ高速に実現することができる。このように、光学的な歪みを持つ画像をブロックに分割し、ブロック毎に最適な圧縮符号化演算を行うことにより、データサイズと画質を最適化した圧縮伸張を行うことができる。
【0049】
また、本実施形態による録画再生システムでは、圧縮符号データの伸張時に、選択圧縮符号データを復号化した第1の伸張画像データと、通常圧縮符号データを復号化した第2の伸張画像データとを生成し、第2の伸張画像データの内、所定領域(本実施形態ではブロック2および3)の画像に対応した部分を、それに対応した第1の伸張画像データに置き換えて第3の伸張画像データを生成する。第2の伸張画像データは、第3の伸張画像データに画質は劣るが、処理時間はより短い簡易な画像を提供することができ、第3の伸張画像データは高画質な画像を提供することができる。本実施形態によれば、これらの伸張画像データを必要に応じて出力させることが可能な画像処理システムを提供することができる。
【0050】
次に、第1の実施形態の変形例を以下に説明する。上述した第1の実施形態では、高画質な選択圧縮符号化と簡易的な(高速表示可能な)通常圧縮符号化を並行して行い、伸張時にそのどちらかの画像を選択している。具体的には、図15に示すように、選択圧縮符号データと通常圧縮符号データを入力し、伸張モード切替信号でセレクタ(3)516によりどちらの伸張画像を用いるかを選択している。しかしながら、高速な画像表示を行わないようにし、記録部4に蓄積する圧縮符号化データをさらに削減することを可能とするシステムとしてもよい。本変形例は、このようなシステムに係るものである。
【0051】
この場合、図27に示すように、通常圧縮演算部344に対し、ブロック1の領域のみの圧縮演算を行い、ブロック2,3の領域については圧縮演算および圧縮符号化データの出力を行わせないことを指示する選択圧縮演算制御信号を選択圧縮演算制御部341より入力させるように構成する。この際のタイミングチャートは図28のようになる。
【0052】
一方、伸張部51は、セレクタ(3)516が常に画像置換部515からの出力を選択するようにし、高画質な画像のみを伸張画像として出力するように構成する。ここで、画像置換部515は、選択伸張演算部517および通常伸張演算部514からの出力を連結する画像連結手段として機能する。
【0053】
以上により、記録部4に蓄積する圧縮符号化データをさらに削減することが可能となる。なお、本変形例において、通常圧縮演算部344を、セレクタ(1)342aとセレクタ(2)342bとによるブロック化画像信号の入力および出力の選択対象として構成してもよい。この場合、通常圧縮符号化データは選択圧縮符号化データの1つとなる。
【0054】
また、本変形例において、通常伸張演算部514を、セレクタ(1)512aとセレクタ(2)512bとによる入力および出力の選択対象とし、かつ通常圧縮符号データをセレクタ(1)512aによる選択対象として構成してもよい。また、本変形例において、セレクタ(3)516を削除し、画像置換部515の出力を直接、画像表示部6に対する伸張画像データとして出力するように構成してもよい。
【0055】
次に、本発明の第2の実施形態を説明する。図18は、本発明の画像符号化装置を用いた遠隔監視システム(画像処理システム)の概略構成を示している。本実施形態による遠隔監視システムは以下の構成を備えている。歪み光学部11aを有する光学系11およびイメージャ12は、第1の実施形態で説明したものと同様であるため、説明を省略する。符号化部13は、イメージャ12から出力された画像信号に各種画像処理を行い、圧縮符号化して圧縮符号データを生成する。伝送路14は、圧縮符号データを伝送する有線または無線の通信路である。復号化部15は、伝送された圧縮符号データを復号化し、各種画像処理を行う。画像記録/表示部16は、復号化された画像データに基づいた画像表示と画像データの記録を行う。符号化部13および復号化部15の概略動作は第1の実施形態と同様である。
【0056】
以下、本実施形態の動作の詳細を説明する。図19に符号化部13の構成を示す。この図を参照して符号化部13の動作を説明する。本実施形態では、画像信号は輝度信号と色差信号から構成される。画像信号は、撮像画像処理部132に入力され、第1の実施形態と同様の各種画像処理と電子ズームおよび歪み補正処理が行われる。この処理後の撮像画像処理画像データはブロック分割部134に入力される。第2の実施形態のブロック分割部134は、第1の実施形態のブロック分割部33と異なり、あらかじめ定められたサイズに撮像画像処理画像データを分割する。
【0057】
図20にブロック分割の例を示す。例えば図20(a)のような入力画像について説明する。第1の実施形態と同様に、歪み量により撮像画像を領域1,2,3に分ける例を説明する。図20(b)のように、歪み量により領域1に分類されるのはブロック1〜7,12,13,18,19,24,25,30〜36である。また、領域2に分類されるのはブロック8〜11,14,17,20,23,26〜29であり、領域3に分類されるのはブロック15,16,21,22である。このように本実施形態では、画像は所定サイズの多数のブロック(ブロック1〜36)に分割される。第1の実施形態では領域毎にブロック化を行ったが、本実施形態では固定長のブロックに分けた後、それぞれのブロックの持つ歪み量により圧縮演算の制御を行う。
【0058】
図21にブロック分割部134のブロック図を示す。この図を参照してブロック分割部134の動作を説明する。本実施形態では前述のように固定サイズのブロック化を行うため、イメージャ12からのタイミング信号によりブロック情報の切替を行う。実際にはブロック位置演算部1341が、入力される画像信号に対応するブロック位置をタイミング信号に基づいて演算し、画像信号の属するブロックを示すブロック情報を生成してブロック情報付加部1342へ出力する。ブロック情報付加部1342はブロック毎に画像信号にブロック情報を付加し、ブロック分割画像データとして出力する。
【0059】
図19の歪み量出力部131は、各ブロック単位でその座標の歪み量を出力するものである。基本的な動作は第1の実施形態と同様である。出力された歪み量は圧縮選択信号出力部133に入力される。圧縮選択信号出力部133は、この歪み量に基づいて、各ブロック毎に最適な圧縮演算を選択し、選択結果を示す圧縮選択信号を圧縮符号化部135へ出力する。
【0060】
図22に圧縮選択信号出力部133の構成を示す。この図を参照して圧縮選択信号出力部133の動作を説明する。圧縮選択信号出力部133は、隣接ブロック圧縮選択信号蓄積部1331(選択結果保持手段)、比較演算部1332(選択信号生成手段)、および歪み量閾値蓄積部1333から構成される。各ブロックの持つ歪み量は比較演算部1332に入力される。また、歪み量閾値蓄積部1333には、歪み量に基づいて圧縮演算部(後述する図25の圧縮演算部)を選択するための閾値があらかじめ格納されている。隣接ブロック圧縮選択信号蓄積部1331は、圧縮選択信号出力部133に入力される現ブロックと隣接する前ブロックの圧縮選択信号を蓄積するためのものである。これは、隣接ブロックと圧縮演算の特性が大きく変わると、その部分がノイズとなるので、それを防止するためのものである。
【0061】
図23に比較演算部1332の構成を示す。この図を参照して比較演算部1332の動作を説明する。歪み量比較部1334には、歪み量出力部131から歪み量が入力されると共に、歪み量閾値蓄積部1333から複数の閾値が入力される。歪み量比較部1334は、歪み量を複数の閾値と比較し、歪み量の値がいずれの範囲にあるのかを算出し、歪み量範囲情報として圧縮演算候補選択部1335へ出力する。圧縮演算候補選択部1335は、歪み量範囲情報に基づいて、現ブロックに対応する圧縮演算候補の選択を行い、選択結果を示す信号を圧縮演算選択部1336へ出力する。圧縮演算選択部1336は、候補の中から、隣接ブロック圧縮選択信号が示す前ブロックの圧縮演算と特性が近く(現ブロックの圧縮演算候補が前ブロックの圧縮演算の所定の範囲内となるように)、かつ、歪み量から最適となる圧縮演算の選択を行い、圧縮選択信号として出力する。
【0062】
以下、図24を参照して圧縮演算選択部1336の動作を説明する。ここで、歪み量1のブロックmと歪み量2のブロックm+1,n,n+1があるものとする。ブロックmでは圧縮演算1が選択されている。ここで、歪み量2に対する圧縮演算候補として圧縮演算2と圧縮演算3と圧縮演算4が選択されるとする。また、圧縮演算2は圧縮演算1に最も特性が近く、圧縮演算4は圧縮演算1から最も特性が離れているものとする。また、歪み量に対しては、圧縮演算3が最適なものであるとする。
【0063】
ここで、ブロックm+1とブロックnでは、最適な圧縮演算は圧縮演算3であるが、隣接するブロックmの圧縮演算1とは圧縮特性が離れてしまうため、圧縮演算1に特性の近い圧縮演算2が選択される。ブロックn+1では、隣接ブロック(ブロックm+1,n)の圧縮演算は圧縮演算2であり、圧縮演算2は最適な圧縮演算3に近いため、圧縮演算3が選択される。以上によればブロックmとm+1とn+1の圧縮特性は近く、また、ブロックnとm+1とn+1の特性が近いため、圧縮特性の違いによるノイズは目立ちにくくなる。圧縮演算選択部1336は上記のようにして各ブロックの圧縮演算を選択する。
【0064】
上述した圧縮選択信号出力部133によって生成された圧縮選択信号は圧縮符号化部135に入力される。図25に圧縮符号化部135の構成を示す。この図を参照して圧縮符号化部135の動作を説明する。前述のように本実施形態では、輝度信号と色差信号より画像信号が構成される。一般に解像度に影響するのは輝度信号であり、通常のJPEG圧縮においても、輝度信号と色差信号は異なる圧縮特性にて圧縮される。本実施形態では、圧縮符号化部135における処理を簡易化するため、解像度に関わる輝度信号(Y)に対しては選択圧縮により最適な圧縮を行い、色差信号(Cb,Cr)に対しては通常の固定圧縮演算にて圧縮符号化を行う。
【0065】
輝度信号フラグ出力部1351(フラグ出力手段)は、圧縮符号化部135に入力されている画像信号が輝度信号かどうかを示すフラグ(画像信号の種類に応じたフラグ)を出力するものである。すなわち、フラグが色差信号を示す場合には固定圧縮演算部1355により圧縮を行うようにセレクタ(1)1352aとセレクタ(2)1352bを切り替える。また、フラグが輝度信号を示す場合には、選択圧縮演算部1356により圧縮を行うようにセレクタ(1)1352aとセレクタ(2)1352bを切り替える。
【0066】
選択圧縮演算部1356には前述の圧縮選択信号が入力される。選択圧縮演算部1356では、セレクタ(3)1353aとセレクタ(4)1353bにより、圧縮演算部(1)1354a,圧縮演算部(2)1354b、・・・圧縮演算部(n)1354cの中から各ブロックに適した圧縮演算部が選択される。セレクタ(2)1352bからは、輝度信号および色差信号のそれぞれの圧縮符号データが出力される。なお、圧縮選択信号は圧縮符号データと共に伝送路14を伝送し、復号化部15において後述の伸張選択信号として用いられる。
【0067】
次に、図18の復号化部15の詳細な動作を説明する。図26に復号化部15の構成を示す。符号化部13と同様に、輝度信号フラグ出力部151は、入力された圧縮符号データが輝度信号かどうかを示すフラグを出力する。フラグが色差信号を示す場合には、固定伸張演算部155により圧縮を行うようにセレクタ(1)152aとセレクタ(2)152bを切り替える。この場合、圧縮符号データは固定伸張演算部155に入力され、固定伸張演算部155により伸張される。
【0068】
一方、フラグが輝度信号を示す場合には、選択伸張演算部156により伸張を行うようにセレクタ(1)152aとセレクタ(2)152bを切り替える。この場合、圧縮符号データは選択伸張演算部156に入力される。輝度信号を圧縮符号化したデータに関しては、同時に伝送される伸張選択信号に基づいて、圧縮演算に対応した伸張演算が選択される。選択伸張演算部156では、セレクタ(3)153aとセレクタ(4)153bにより、伸張演算部(1)154a,伸張演算部(2)154b、・・・伸張演算部(n)154cの中から各ブロックに適した伸張演算部が選択される。セレクタ(2)152bからは伸張された画像データが出力される。
【0069】
上記のようにして伸張された画像データに対してさらに各種画像処理が施され、画像記録/表示部16において画像の表示や記録が行われる。本実施形態では画像信号を輝度信号と色差信号で入力するものとしたが、例えば全て色信号R,G,Bで構成される信号でも同様の処理が可能である。この場合、解像度に大きく影響するのはG信号であるため、G信号を選択圧縮演算で圧縮符号化し、R,Bは固定圧縮演算で圧縮符号化を行う。
【0070】
上述したように、本実施形態によれば、第1の実施形態で説明した効果以外に以下の効果を得ることができる。すなわち、図22を参照して説明したように、現ブロックに隣接するブロックにおける圧縮演算の選択結果に基づき、現ブロックの圧縮演算を選択するので、圧縮符号化の特性の相違を抑え、ブロック間での画質の差が小さい高画質な圧縮/伸張画像を得ることができる。
【0071】
また、フラグ信号により、画像信号の種別、例えば輝度信号と色差信号の区別を行い、画質への影響が少ないとされる色差信号では通常圧縮演算部を選択して圧縮符号化を行い、画質に影響する輝度信号では選択圧縮演算部を選択して圧縮符号化を行うことにより、複雑な処理を必要最低限のデータに対して行うことができる。
【0072】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記の実施形態では、歪みによる領域の分割数を3とし、中心から周辺に向けて分割する例を用いて説明したが、各種の分割数や分割方法を適用することが可能である。また、歪み光学系としてシリンドリカルレンズを用いた例を用いて説明したが、共軸系の光学系でも同様の構成が可能である。さらに、符号化部と復号化部を一対一に対応する例を用いて説明しているが、一対多の構成でも可能であり、例えば、同じ筐体内の復号化部で伸張をする場合や、外部のコンピュータでソフトウエアにより伸張する例でも適用可能である。
【図面の簡単な説明】
【0073】
【図1】本発明の第1の実施形態による画像符号化装置(符号化部)の構成を示すブロック図である。
【図2】本発明の第1の実施形態による録画再生システムの構成を示すブロック図である。
【図3】本発明の第1の実施形態による録画再生システムが備える歪み光学部の構成を示す構成図である。
【図4】本発明の第1の実施形態による録画再生システムが備える歪み光学部を有する光学系による撮像例を示す参考図である。
【図5】本発明の第1の実施形態による録画再生システムで行われる電子ズームの例を示す参考図である。
【図6】本発明の第1の実施形態による録画再生システムが備える復号化部の構成を示すブロック図である。
【図7】本発明の第1の実施形態による符号化部が備える撮像画像処理部の構成を示すブロック図である。
【図8】本発明の第1の実施形態におけるブロック分割例を示す参考図である。
【図9】本発明の第1の実施形態におけるブロック分割例を示す参考図である。
【図10】本発明の第1の実施形態による符号化部が備える歪み量出力部の構成を示すブロック図である。
【図11】本発明の第1の実施形態による符号化部が備えるブロック分割部の構成を示すブロック図である。
【図12】本発明の第1の実施形態におけるブロック分割方法を説明するための参考図である。
【図13】本発明の第1の実施形態による符号化部が備える圧縮符号化部の構成を示すブロック図である。
【図14】本発明の第1の実施形態による符号化部が備える圧縮符号化部の動作を示すタイミングチャートである。
【図15】本発明の第1の実施形態による復号化部が備える伸張部の構成を示すブロック図である。
【図16】本発明の第1の実施形態における伸張方法を説明するための参考図である。
【図17】本発明の第1の実施形態による復号化部が備える表示画像処理部の構成を示すブロック図である。
【図18】本発明の第2の実施形態による遠隔監視システムの構成を示すブロック図である。
【図19】本発明の第2の実施形態による画像符号化装置(符号化部)の構成を示すブロック図である。
【図20】本発明の第2の実施形態におけるブロック分割例を示す参考図である。
【図21】本発明の第2の実施形態による符号化部が備えるブロック分割部の構成を示すブロック図である。
【図22】本発明の第2の実施形態による符号化部が備える圧縮選択信号出力部の構成を示すブロック図である。
【図23】本発明の第2の実施形態による符号化部が備える比較演算部の構成を示すブロック図である。
【図24】本発明の第2の実施形態における圧縮演算の選択方法を説明するための参考図である
【図25】本発明の第2の実施形態による符号化部が備える圧縮符号化部の構成を示すブロック図である。
【図26】本発明の第2の実施形態による復号化部の構成を示すブロック図である。
【図27】本発明の第1の実施形態の変形例による符号化部が備える圧縮符号化部の構成を示すブロック図である。
【図28】本発明の第1の実施形態の変形例による符号化部が備える圧縮符号化部の動作を示すタイミングチャートである。
【符号の説明】
【0074】
1,11・・・光学系、1a,11a・・・歪み光学部、2,12・・・イメージャ、3,13・・・符号化部、4・・・記録部、5,15・・・復号化部、6・・・画像表示部、14・・・伝送路、16・・・画像記録/表示部
【特許請求の範囲】
【請求項1】
入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、
各々異なる圧縮符号化特性を備え、前記画像信号を圧縮符号化データに変換する複数の圧縮演算手段と、
前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する選択手段と、
を有する画像符号化装置。
【請求項2】
前記画像信号を、前記歪み量に応じて複数のブロックに分割して出力するブロック分割手段をさらに有し、
前記歪み量判定手段は、前記ブロックに対応した画像の光学的な歪み量を判定し、
前記圧縮演算手段は、前記ブロックを単位として圧縮符号化データに変換する
ことを特徴とする請求項1に記載の画像符号化装置。
【請求項3】
前記ブロックに対する前記圧縮演算手段の選択結果を保持する選択結果保持手段と、
現ブロックに対する前記歪み量判定手段の前記判定結果と、前記現ブロックに隣接する前記ブロックに係る、前記選択結果保持手段から入力される前記選択結果とに基づき、前記現ブロックを前記圧縮符号化データに変換する前記圧縮演算手段を選択するための信号を生成する選択信号生成手段と、
をさらに有することを特徴とする請求項2に記載の画像符号化装置。
【請求項4】
前記選択手段は、
前記画像信号の種類に応じたフラグ信号を出力するフラグ出力手段と、
単一の圧縮符号化特性により前記画像信号を前記圧縮符号化データに変換する通常圧縮演算手段と、
前記フラグ信号に基づいて、前記通常圧縮演算手段と前記複数の圧縮演算手段の内のいずれかを選択して前記画像信号を入力するセレクタ手段と、
を有することを特徴とする請求項1〜請求項3のいずれかの項に記載の画像符号化装置。
【請求項5】
入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、
各々異なる圧縮符号化特性を備え、前記画像信号を第1の圧縮符号化データに変換する複数の圧縮演算手段と、
前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する圧縮符号化選択手段と、
単一の圧縮符号化特性により前記画像信号を第2の圧縮符号化データに変換する通常圧縮演算手段と、
を有する画像符号化装置と、
前記複数の圧縮演算手段の圧縮符号化特性に対応した各々異なる伸張特性を備え、前記第1の圧縮符号化データを第1の伸張画像データに変換する複数の伸張演算手段と、
前記複数の伸張演算手段の内から、前記圧縮演算手段の圧縮符号化特性に対応した伸張特性を有する前記伸張演算手段を選択する伸張選択手段と、
前記第2の圧縮符号化データを第2の伸張画像データに変換する通常伸張演算手段と、
前記第2の伸張画像データの内、所定領域の画像に対応した部分を、前記所定領域の画像に対応した前記第1の伸張画像データに置き換えて第3の伸張画像データを生成する画像置換手段と、
外部から入力されるモード信号に基づき、前記第2の伸張画像データまたは前記第3の伸張画像データを選択して出力するセレクタ手段と、
を有する画像復号化装置と、
を有する画像処理システム。
【請求項6】
入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、
各々異なる圧縮符号化特性を備え、前記画像信号を圧縮符号化データに変換する複数の圧縮演算手段と、
前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する圧縮符号化選択手段と、
を有する画像符号化装置と、
前記複数の圧縮演算手段の圧縮符号化特性に対応した各々異なる伸張特性を備え、前記圧縮符号化データを伸張画像データに変換する複数の伸張演算手段と、
前記複数の伸張演算手段の内から、前記圧縮演算手段の圧縮符号化特性に対応した伸張特性を有する前記伸張演算手段を選択する伸張選択手段と、
複数の前記伸張画像データを連結する画像連結手段と、
を有する画像復号化装置と、
を有する画像処理システム。
【請求項1】
入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、
各々異なる圧縮符号化特性を備え、前記画像信号を圧縮符号化データに変換する複数の圧縮演算手段と、
前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する選択手段と、
を有する画像符号化装置。
【請求項2】
前記画像信号を、前記歪み量に応じて複数のブロックに分割して出力するブロック分割手段をさらに有し、
前記歪み量判定手段は、前記ブロックに対応した画像の光学的な歪み量を判定し、
前記圧縮演算手段は、前記ブロックを単位として圧縮符号化データに変換する
ことを特徴とする請求項1に記載の画像符号化装置。
【請求項3】
前記ブロックに対する前記圧縮演算手段の選択結果を保持する選択結果保持手段と、
現ブロックに対する前記歪み量判定手段の前記判定結果と、前記現ブロックに隣接する前記ブロックに係る、前記選択結果保持手段から入力される前記選択結果とに基づき、前記現ブロックを前記圧縮符号化データに変換する前記圧縮演算手段を選択するための信号を生成する選択信号生成手段と、
をさらに有することを特徴とする請求項2に記載の画像符号化装置。
【請求項4】
前記選択手段は、
前記画像信号の種類に応じたフラグ信号を出力するフラグ出力手段と、
単一の圧縮符号化特性により前記画像信号を前記圧縮符号化データに変換する通常圧縮演算手段と、
前記フラグ信号に基づいて、前記通常圧縮演算手段と前記複数の圧縮演算手段の内のいずれかを選択して前記画像信号を入力するセレクタ手段と、
を有することを特徴とする請求項1〜請求項3のいずれかの項に記載の画像符号化装置。
【請求項5】
入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、
各々異なる圧縮符号化特性を備え、前記画像信号を第1の圧縮符号化データに変換する複数の圧縮演算手段と、
前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する圧縮符号化選択手段と、
単一の圧縮符号化特性により前記画像信号を第2の圧縮符号化データに変換する通常圧縮演算手段と、
を有する画像符号化装置と、
前記複数の圧縮演算手段の圧縮符号化特性に対応した各々異なる伸張特性を備え、前記第1の圧縮符号化データを第1の伸張画像データに変換する複数の伸張演算手段と、
前記複数の伸張演算手段の内から、前記圧縮演算手段の圧縮符号化特性に対応した伸張特性を有する前記伸張演算手段を選択する伸張選択手段と、
前記第2の圧縮符号化データを第2の伸張画像データに変換する通常伸張演算手段と、
前記第2の伸張画像データの内、所定領域の画像に対応した部分を、前記所定領域の画像に対応した前記第1の伸張画像データに置き換えて第3の伸張画像データを生成する画像置換手段と、
外部から入力されるモード信号に基づき、前記第2の伸張画像データまたは前記第3の伸張画像データを選択して出力するセレクタ手段と、
を有する画像復号化装置と、
を有する画像処理システム。
【請求項6】
入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、
各々異なる圧縮符号化特性を備え、前記画像信号を圧縮符号化データに変換する複数の圧縮演算手段と、
前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する圧縮符号化選択手段と、
を有する画像符号化装置と、
前記複数の圧縮演算手段の圧縮符号化特性に対応した各々異なる伸張特性を備え、前記圧縮符号化データを伸張画像データに変換する複数の伸張演算手段と、
前記複数の伸張演算手段の内から、前記圧縮演算手段の圧縮符号化特性に対応した伸張特性を有する前記伸張演算手段を選択する伸張選択手段と、
複数の前記伸張画像データを連結する画像連結手段と、
を有する画像復号化装置と、
を有する画像処理システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【公開番号】特開2007−129403(P2007−129403A)
【公開日】平成19年5月24日(2007.5.24)
【国際特許分類】
【出願番号】特願2005−319258(P2005−319258)
【出願日】平成17年11月2日(2005.11.2)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成19年5月24日(2007.5.24)
【国際特許分類】
【出願日】平成17年11月2日(2005.11.2)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]