撮像装置、画像生成システム、サーバおよび電子機器
【課題】視点分離素子を用いて取得した撮像データにおいてその実質的な性質を損なうことなく、効率的なデータ転送を実現することが可能な撮像装置を提供する。
【解決手段】撮像装置は、撮像レンズと、撮像レンズの通過光線を互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を含むと共に、各画素において視点分離素子の通過光線を受光し、その受光量に基づく撮像データを得る撮像素子と、撮像データに対し可逆的圧縮を施すデータ圧縮部とを備える。撮像レンズの通過光線が、視点分離素子によって複数の視点からの光線に分離され、撮像素子の各画素において受光されることにより、その受光量に基づく撮像データが得られる。撮像データに対して可逆的圧縮を施すことにより、視点分離素子を用いて取得した上記撮像データにおいて、その実質的な性質を損なうことなく、データ量を削減する。
【解決手段】撮像装置は、撮像レンズと、撮像レンズの通過光線を互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を含むと共に、各画素において視点分離素子の通過光線を受光し、その受光量に基づく撮像データを得る撮像素子と、撮像データに対し可逆的圧縮を施すデータ圧縮部とを備える。撮像レンズの通過光線が、視点分離素子によって複数の視点からの光線に分離され、撮像素子の各画素において受光されることにより、その受光量に基づく撮像データが得られる。撮像データに対して可逆的圧縮を施すことにより、視点分離素子を用いて取得した上記撮像データにおいて、その実質的な性質を損なうことなく、データ量を削減する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、多視点撮像データを取得する撮像装置に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている。また、撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズとイメージセンサとの間に、レンズアレイを配置したものである。被写体からの入射光線は、レンズアレイにおいて各視点の光線に分離された後、イメージセンサで受光される。イメージセンサから得られる画素データを用いて、同時刻に多視点の画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０２１６８３号公報
【非特許文献】
【０００４】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような撮像装置では、レンズアレイの１つのレンズを通過した光線は、イメージセンサ上のｍ×ｎ（ｍ，ｎは１以上の整数、但しｍ＝ｎ＝１を除く）の画素において受光される。各レンズに対応する画素数（ｍ×ｎ個）分の視点画像を得ることができる。
【０００６】
上記特許文献１および非特許文献１では、このような視点画像の生成処理（画像演算処理）を撮像装置内で行っている。例えばこれらの画像処理が外部の電子機器において行われる場合、イメージセンサから出力された撮像データ（ＲＡＷ画像データ）を電子機器へ転送する、あるいは、外部メモリーに記憶させる必要がある。従って、そのような撮像データのデータ量を削減し、効率的なデータ転送を実現することが望まれている。
【０００７】
本開示はかかる問題点に鑑みてなされたもので、その目的は、多視点撮像データの性質を損なうことなく、効率的なデータ転送を実現することが可能な撮像装置を提供することにある。また、本開示の他の目的は、そのような撮像データを転送して、撮像装置外部の画像処理部において多視点画像を生成することが可能な画像生成システムを提供することにある。
【課題を解決するための手段】
【０００８】
本開示の撮像装置は、撮像レンズと、撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を含むと共に、各画素において視点分離素子の通過光線を受光し、その受光量に基づく多視点の撮像データを出力する撮像素子と、撮像データに対し可逆的圧縮を施すデータ圧縮部とを備えたものである。
【０００９】
本開示の撮像装置では、撮像レンズの通過光線は、視点分離素子によって複数の視点からの光線に分離され、撮像素子の各画素において受光されることにより、その受光量に基づく多視点の撮像データが得られる。この撮像データに対してデータ圧縮部が可逆的圧縮を施すことにより、視点分離素子を用いて取得した撮像データにおいて、その性質が損なわれることなく、データ量が削減する。
【００１０】
本開示の画像生成システムは、上記本開示の撮像装置と、撮像装置からの出力データを通信回線を介して取得し、取得した出力データに基づいて画像処理を行う画像処理部とを備えたものである。
【００１１】
本開示の画像生成システムでは、上記本開示の撮像装置から、出力データ（可逆的圧縮された撮像データ）が、通信回線を介して画像処理部側へ転送された後、圧縮前と実質的に同一の撮像データに展開（解凍）される。画像処理部では、この展開後の撮像データに対し所定の画像処理を施す。
【００１２】
本開示のサーバは、可逆的圧縮が施された多視点撮像データを受信し、受信した多視点撮像データを展開し、展開された多視点撮像データに基づいて画像処理を行うものである。
【００１３】
本開示の電子機器は、可逆的圧縮が施された多視点撮像データを受信し、受信した多視点撮像データを展開し、展開された多視点撮像データに基づいて画像処理を行うものである。
【発明の効果】
【００１４】
本開示の撮像装置によれば、撮像レンズの通過光線を、視点分離素子によって複数の視点からの光線に分離し、撮像素子の各画素において受光することにより、その受光量に基づく多視点の撮像データを得ることができる。この撮像データに対して可逆的圧縮を施すことにより、多視点の撮像データのデータ量を、その性質を損なうことなく削減することができる。これにより、転送時間を短縮化したり、データ蓄積に必要な記憶容量を削減することができる。よって、多視点撮像データの性質を損なうことなく、効率的なデータ転送を実現することが可能となる。
【００１５】
本開示の画像生成システムによれば、上記本開示の撮像装置を備えることにより、可逆的圧縮が施された撮像データを、通信回線を介して画像処理部側へ転送した後、圧縮前と実質的に同一の撮像データに展開することができる。画像処理部では、その展開後の撮像データを用いて様々な画像処理を行うことができる。よって、視点分離素子を用いて取得した撮像データを転送して、撮像装置外部の画像処理部において多視点画像を生成することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本開示の一の実施の形態に係る撮像装置の全体構成を表す図である。
【図２】イメージセンサとレンズアレイとの配置関係について表す模式図である。
【図３】各画素へのカラーフィルタ割り当て（色配列）について表す模式図である。
【図４】図１に示したデータ圧縮部と画像処理部との関係を表す機能ブロック図である。
【図５】視点分離について説明するための模式図である。
【図６】イメージセンサにより取得される撮像データ（ＲＡＷ画像データ）を表す模式図である。
【図７】（Ａ）〜（Ｉ）は、図６に示した撮像データに基づいて生成される各視点画像を説明するための模式図である。
【図８】（Ａ）〜（Ｉ）は、視点画像の一例を表す模式図である。
【図９】データ処理部における圧縮処理動作を表すフローチャートである。
【図１０】イメージセンサにより取得される撮像データ（ＲＡＷ画像データ）における色配列について表す模式図である。
【図１１】（Ａ）〜（Ｉ）は、各視点画像の画素データ群における色配列を表す模式図である。
【図１２】色配列の単位領域のパターンについて表す模式図である。
【図１３】（Ａ）〜（Ｉ）は、各視点画像データにおける色配列に基づく並べ替え処理動作を説明するための模式図である。
【図１４】視点画像データ間の圧縮処理について説明するための模式図である。
【図１５】視点画像データ間の圧縮処理について説明するための模式図である。
【図１６】視点画像データ間の圧縮処理について説明するための模式図である。
【図１７】視点画像データ間の圧縮処理について説明するための模式図である。
【図１８】（Ａ），（Ｂ）は、ブロック領域間の圧縮処理について説明するための模式図である。
【図１９】基準ブロック領域間の圧縮処理について説明するための模式図である。
【図２０】（Ａ），（Ｂ）は、基準ブロック領域間の圧縮処理について説明するための模式図である。
【図２１】行基準ブロック領域間の圧縮処理について説明するための模式図である。
【図２２】（Ａ），（Ｂ）は、行基準ブロック領域間の圧縮処理について説明するための模式図である。
【図２３】適用例に係る画像生成システムの概略構成を表す模式図である。
【図２４】適用例に係る他の画像生成システムの概略構成を表す模式図である。
【発明を実施するための形態】
【００１７】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。
１．実施の形態（レンズアレイを用いて撮影した撮像データに対し可逆的圧縮を施す撮像装置の例）
２．適用例（画像生成システムの例）
【００１８】
＜実施の形態＞
［全体構成］
図１は、本開示の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、いわゆる単眼方式のライトフィールドカメラであり、例えば被写体２を撮像して、複数の視点成分を含む多視点撮像データ（ＲＡＷ画像データ）を出力するものである。この撮像装置１は、撮像レンズ１１、レンズアレイ１２、イメージセンサ１３、データ圧縮部１４、イメージセンサ駆動部１５および制御部１６を備える。尚、以下では、光軸Ｚ１に沿った方向をＺとし、光軸Ｚ１に直交する面内において、水平方向（横方向）をＸ、垂直方向（縦方向）をＹとする。
【００１９】
撮像レンズ１１は、被写体２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。この撮像レンズ１１の光入射側（または光出射側）には、開口絞り１０が配設されている。
【００２０】
レンズアレイ１２は、撮像レンズ１１の結像面（焦点面）に配置されることにより、入射光線を、互いに異なる視点からの光線として、画素単位で分離するための視点分離素子である。レンズアレイ１２では、複数のマイクロレンズ１２ａがＸ方向（行方向）およびＹ方向（列方向）に沿って２次元配置されている。このようなレンズアレイ１２では、各マイクロレンズ１２ａに割り当てられた画素数（（イメージセンサ１３の全画素数）／（レンズアレイ１２のレンズ数））分の視点分離が可能である。換言すると、１つのマイクロレンズ１２ａに割り当てられた画素（後述のマトリクス領域Ｍ）の範囲内で画素単位での視点分離が可能である。尚、「視点分離」とは、換言すると、撮像レンズ１１の通過光線が撮像レンズ１１のどの領域を通過してきたものであるかをその方向性を含めて、イメージセンサの画素単位で記録しておくことである。このレンズアレイ１２の結像面には、イメージセンサ１３が配設されている。
【００２１】
イメージセンサ１３は、例えばマトリクス状に配列した複数の画素センサ（以下、単に画素とする）を有し、レンズアレイ１２を通過した光線を受光して多視点撮像データ（撮像データＤ０）を取得するものである。撮像データＤ０は、いわゆるＲＡＷ画像信号であり、イメージセンサ１３上の各画素が受光した光強度を示す電気信号（画素データ）の集合である。このイメージセンサ１３は、複数の画素がマトリクス状に（Ｘ方向およびＹ方向に沿って）配置したものであり、例えばＣＣＤ（Charge Coupled Device：電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの固体撮像素子により構成されている。このイメージセンサ１３の光入射側（レンズアレイ１２の側）には、所定の色配列（後述）を有するカラーフィルタが設けられている。
【００２２】
図２は、これらのレンズアレイ１２（マイクロレンズ１２ａ）とイメージセンサ１３との配置例を表したものである。このように、１つのマイクロレンズ１２ａに対し、イメージセンサ１３上の複数の画素（ｍ×ｎの画素）が割り当てられ、１つのマイクロレンズ１２ａを通過した光線がｍ×ｎの画素において受光されるようになっている。この例では、１つのマイクロレンズ１２ａに対し、３×３の画素Ｐ（マトリクス領域Ｍ）が割り当てられており、これにより、各マイクロレンズ１２ａの通過光線は、マトリクス領域Ｍ内において画素Ｐ単位で視点分離されつつ受光される。
【００２３】
図３は、イメージセンサ１３上に設けられたカラーフィルタの色配列について模式的に表したものである。このように、イメージセンサ１３上には、画素毎に例えばＲ（Red），Ｇ（Green），Ｂ（Blue）のいずれかのフィルタが設けられており、各画素では、Ｒ，Ｇ，Ｂのいずれかの色の画素データが得られるようになっている。この例では、Ｒ，Ｇ，Ｂを、Ｒ：Ｇ：Ｂ＝１：２：１の割合で配列させた、いわゆるベイヤー配列を有するカラーフィルタを用いている。この場合、例えば２×２のＲ，Ｇ，Ｂの色配列を単位配列Ｕとして、Ｒ，Ｇ，Ｂのいずれかの色が各画素へ割り当てられる。
【００２４】
データ圧縮部１４は、イメージセンサ１３から出力される撮像データＤ０に対し、可逆的圧縮を施す演算処理部である。このデータ圧縮部１４は、ＲＡＷ画像データである撮像データＤ０、即ち、画像処理（デモザイク処理、シェーディング処理、ノイズリダクション処理等）前の撮像データを構成する画素データ群に対し、所定のアルゴリズムを用いて圧縮処理を施す。具体的には、詳細は後述するが、撮像データＤ０を構成する画素データ群を、視点画像に対応するデータ配列（説明上「視点画像データ」と称する）に並べ替えを行い、各視点画像データ間で差分値をとり、画素データを差分値で置き換えていく。また、この視点画像データ間の差分値演算を続けていくと、基準となる視点画像データ（基準視点画像データ）が最後に１面だけ残るが、これについては、更にその基準視点画像データ内で、差分値演算を行い、最終的に数画素分の画素データのみを残して、他の画素データについては全て差分値に置き換えることができる。
【００２５】
このような圧縮処理は、可逆性を有し、展開（解凍）時には、最終的に差分値演算の基準値として残った数画素分の画素データに基づいて、上記処理を逆の順序で行う（差分値を順次加算していく）ことにより、圧縮前の撮像データ（撮像データＤ０）と同一の撮像データ（Ｄ２）を復元することができる。図４に示したように、本実施の形態では、撮像装置１内に画像処理部を有さず（画像処理を行わず）、撮像装置１の外部に設けられた画像処理部１１２において画像処理が行われる。例えば、詳細は後述するが、撮像装置１からの出力データＤoutは、有線または無線の通信回線や外部メモリー１１０等を介して、圧縮解凍部１１１および画像処理部１１２を備えた他の電子機器やサーバ等に転送される。データ転送後、圧縮解凍部１１１においてデータが展開されることにより、ＲＡＷ画像データである撮像データＤ２が画像処理部１１２へ出力され、画像処理部１１２において所定の画像処理が施される。これにより、例えば多視点の画像が、処理画像データＤ３として得られる。尚、「可逆的圧縮」では、圧縮前後のデータが完全同一となる、いわゆる完全可逆圧縮（完全ロスレス圧縮）はもちろん、圧縮前後のデータが完全一致ではない場合も含むものである。即ち、本開示の「可逆的圧縮」は、圧縮前後の撮像データが上記のように「実質的同一」となる圧縮を示し、生成した多視点画像において、人間の眼で目視できない程度の軽微なデータの損失や相違が生じ得る圧縮をも含んでいる。
【００２６】
尚、データ圧縮部１４では、上記のような圧縮後の撮像データを符号化することにより、出力データＤoutを生成する。符号化手法としては、特に限定されないが、例えば２進符号化あるいはハフマン符号化等が挙げられる。
【００２７】
イメージセンサ駆動部１５は、イメージセンサ１３を駆動してその露光や読み出しの制御を行うものである。
【００２８】
制御部１６は、データ圧縮部１４およびイメージセンサ駆動部１５の各動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。
【００２９】
［作用、効果］
（撮像データの取得）
撮像装置１では、撮像レンズ１１の結像面にレンズアレイ１２が設けられ、このレンズアレイ１２の結像面にイメージセンサ１３が設けられることにより、イメージセンサ１３の各画素には、被写体２からの光線が、その強度分布に加え進行方向（視点）についての情報が保持された光線ベクトルとして記録される。即ち、レンズアレイ１２を通過した光線は、視点毎に分離され、イメージセンサ１３の異なる画素において受光される。
【００３０】
例えば、図５に示したように、撮像レンズ１１を通過してマイクロレンズ１２ａへ入射した光線のうち、互いに異なる視点における光線（光束）Ｌ１，Ｌ２，Ｌ３は、それぞれ互いに異なる３つの画素において受光される。このように、マイクロレンズ１２ａに割り当てられたマトリクス領域Ｍでは、互いに異なる視点の光線が、画素毎に受光される。イメージセンサ１３では、イメージセンサ駆動部１５による駆動動作に応じて、例えばライン順次に読み出しが行われ、撮像データＤ０が取得される。
【００３１】
図６は、イメージセンサ１３から得られた撮像データＤ０（ＲＡＷ画像信号）を模式的に表したものである。本実施の形態のように、１つのマイクロレンズ１２ａに３×３のマトリクス領域Ｍが割り当てられている場合、イメージセンサ１３では、上述のようにマトリクス領域Ｍ毎に、計９つの視点の光線がそれぞれ互いに異なる画素（画素センサ）において受光される。このため、撮像データＤ０は、イメージセンサ１３の画素配列に対応した画素データ群よりなり、マトリクス領域Ｍに対応した、３×３の配列の画素データ（図４中のＭａ）が２次元配置されたものである。尚、図６の撮像データＤ０では、説明上、マトリクス領域Ｍａ内の各画素データに「１」〜「９」の数字を付している。
【００３２】
（撮像データと用いた画像処理）
本実施の形態では、図４に示したように、撮像装置１の外部に設けられた画像処理部１１２が、上記のような撮像データＤ０に基づいて、複数（ここでは９つ）の視点画像を生成する。具体的には、各マトリクス領域Ｍａ間で互いに同一位置にある画素データ（図６において同一の数字が付された画素データ）を抽出して合成する（各画素データを並べ替える）ことにより、９つの視点画像を生成することができる（図７（Ａ）〜（Ｉ））。尚、画像処理部１１２は、上記視点画像に対し、他の画像処理、例えばデモザイク処理等のカラー補間処理、ホワイトバランス調整処理、ガンマ補正処理、ノイズリダクション処理等を必要に応じて施す。
【００３３】
ここで、図８（Ａ）〜（Ｉ）に、図７（Ａ）〜（Ｉ）のデータ配列に対応する視点画像の一例（視点画像Ｒ１〜Ｒ９）を示す。被写体２の画像としては、奥行き方向において互いに異なる位置に配置された３つの被写体「人」，「山」，「花」の画像Ｒａ，Ｒｂ，Ｒｃを示している。視点画像Ｒ１〜Ｒ９は、上記３つの被写体のうち「人」に撮像レンズ１１の焦点が合うようにして撮影されたものであり、「人」よりも奥にある「山」の画像Ｒｂと、「人」よりも手前にある「花」の画像Ｒｃとについてはデフォーカスした画像となっている。単眼方式の撮像装置１では、フォーカスした「人」の画像Ｒａは、視点が変わってもシフトしないが、デフォーカスした画像Ｒｂ，Ｒｃは、視点毎に互いに異なる位置にシフトする。尚、図８（Ａ）〜（Ｉ）では、各視点画像間の位置シフト（画像Ｒｂ，Ｒｃの位置シフト）を誇張して示している。
【００３４】
これらの９つの視点画像Ｒ１〜Ｒ９は、互いに視差を有する多視点画像として様々な用途に利用可能であるが、これらの視点画像Ｒ１〜Ｒ９のうち、例えば左視点および右視点に対応する２つの視点画像を利用して、立体映像表示を行うことができる。例えば、図８（Ｄ）に示した視点画像Ｒ４を左視点画像、図８（Ｆ）に示した視点画像Ｒ６を右視点画像として用いることができる。このような左右２枚の視点画像を、所定の立体表示システムを用いて表示することにより、「山」は「人」よりも奥まって、「花」は「人」よりも手前に飛び出して、それぞれ観察される。
【００３５】
（データ圧縮処理動作）
本実施の形態では、上述のように、上記画像処理が撮像装置１の外部の画像処理部１１２において行われる。即ち、イメージセンサ１３から出力された撮像データＤ０は、通信回線を介して画像処理部１１２側へ転送される。撮像装置１では、データ圧縮部１４が、撮像データＤ０を可逆的圧縮し、これを符号化することにより転送用の出力データＤoutを生成する。以下、このデータ圧縮部１４の詳細な圧縮処理動作（出力データＤout生成動作）について説明する。図９には、本実施の形態のデータ圧縮処理の処理フローについて示す。
【００３６】
（第１の圧縮処理（視点画像データ間の差分処理））
ここで、上記のような撮像データＤ０において、各画素データは、イメージセンサ１３上に設けられたカラーフィルタ（図示せず）の色配列に対応したカラーの信号として記録される。図１０に、撮像データＤ０における各画素データの色配列について模式的に示す。このように、撮像データＤ０として、カラーフィルタの色配列（ここでは、ベイヤー配列）に応じて、Ｒ，Ｇ，Ｂのいずれかの色の画素データを含む画素データ群が得られる。例えば、撮像データＤ０として、２×２の単位配列Ｕで配列したＲ，Ｇ，Ｂのいずれかの色のデータが画素毎に得られる。
【００３７】
データ圧縮部１４は、まず、上記色配列を有する撮像データＤ０に基づいて（ＲＡＷ画像データの形式のまま）、上述したような各視点画像に対応する視点画像データを生成する（各視点画像のデータ配列となるように、撮像データＤ０の並べ替えを行う）（図９のステップＳ１）。これにより、例えば図１１（Ａ）〜（Ｉ）に示したような９つの視点画像データＲ１〜Ｒ９を生成する。尚、各視点画像データでは、図１０に示した単位配列Ｕを有する撮像データＤ０から各視点画像データを生成した場合の各画素データの色配列を示している。
【００３８】
このように、撮像データＤ０に基づいて視点画像データＲ１〜Ｒ９を生成すると、各視点画像データにおける色の単位配列は、図１２（Ａ）〜（Ｄ）に別途示したように、計４種類の単位配列Ｕ１〜Ｕ４のいずれかに基づくものとなる。具体的には、図１１（Ａ）に示したように、視点画像データＲ１は、撮像データＤ０のうち、各マトリクス領域Ｍａの画素データ「１」（左上の画素データ）同士から成り、色配列は単位領域Ｕ１（単位領域Ｕと同じ）に基づくものとなる。同様に、図１１（Ｂ）に示した視点画像データＲ２では、画素データ「２」（中央上の画素データ）同士から成り、色配列は単位領域Ｕ２に基づく。同様に、図１１（Ｃ）に示した視点画像データＲ３では、画素データ「３」（右上の画素データ）同士から成り、色配列は単位領域Ｕ１に基づく。同様に、図１１（Ｄ）に示した視点画像データＲ４では、画素データ「４」（左中央の画素データ）同士から成り、色配列は単位領域Ｕ３に基づく。同様に、図１１（Ｅ）に示した視点画像データＲ５では、画素データ「５」（中央の画素データ）同士から成り、色配列は単位領域Ｕ４に基づく。同様に、図１１（Ｆ）に示した視点画像データＲ６では、画素データ「６」（右中央の画素データ）同士から成り、色配列は単位領域Ｕ３に基づく。同様に、図１１（Ｇ）に示した視点画像データＲ７では、画素データ「７」（左下の画素データ）同士から成り、色配列は単位領域Ｕ１に基づく。同様に、図１１（Ｈ）に示した視点画像データＲ８では、画素データ「８」（右上の画素データ）同士から成り、色配列は単位領域Ｕ２に基づく。同様に、図１１（Ｉ）に示した視点画像データＲ９では、画素データ「９」（右下の画素データ）同士から成り、色配列は単位領域Ｕ１に基づく。
【００３９】
データ圧縮部１４は、続いて、上記視点画像データＲ１〜Ｒ９において、各色配列が同一（単位配列が同一）となるように、画素データの並べ替えを行う（図９のステップＳ２）。具体的には、視点画像データＲ１〜Ｒ９のうちの１つの視点画像データを基準視点画像データとして、この基準視点画像データと同一の単位配列に基づく色配列となるように、各画素データを並べ替える。例えば、ここでは、図１３（Ａ）〜（Ｉ）に示したように、視点画像データＲ１を基準視点画像データとして、その他の視点画像データＲ２〜Ｒ９の色配列が、視点画像データＲ１と同じ単位配列（Ｕ１）に基づくものとなるように、画素データを並べ替える。この並べ替えは、例えば、単位配列Ｕ２〜Ｕ４に対応する２×２の画素領域毎に、これら４画素間で画素データの配置を入れ替えることにより行う。尚、図１１（Ｃ），（Ｇ），（Ｉ）に示した視点画像データＲ３，Ｒ７，Ｒ９では、もともとも単位配列Ｕ１に基づく色配列を有しているため、並べ替えの必要はない。これにより、全ての視点画像データＲ１〜Ｒ９の色配列が単位配列Ｕ１に基づくものとなる。
【００４０】
この後、データ処理部１４は、互いに同一の色配列を有する視点画像データＲ１〜Ｒ９間で差分値を算出し、この差分値を画素データと置き換える演算処理を行う（図９のステップＳ３）。図１４〜図１７に、この差分演算処理について模式的に示す。図１４に示したように、各視点画像データＲ１〜Ｒ９の色配列が同一となっている状態で、視点画像データＲ９から基準視点画像データである視点画像データＲ１に向かって順次処理を行う。尚、ここでは、視点画像データＲ１〜Ｒ９において、各画素データはＸＹ平面内に配置され、各視点画像データＲ１〜Ｒ９が、このＸＹ平面に直交するＺ軸方向に沿って配列するものと仮定して説明する。
【００４１】
具体的には、データ処理部１４は、第Ｎ面の視点画像データＲNと第（Ｎ−１）面の視点画像データＲ(N-1)との間で、画素データ同士の差分値（第１の差分値）を算出し、算出した差分値を第Ｎ面の視点画像データＲNにおける各画素データと置き換えていく。例えば、図１５に示したように、まず、視点画像データＲ９，Ｒ８間で、互いに同一座標にある画素データ同士の差分値を算出し、この差分値を視点画像データＲ９における画素データと置き換える。詳細には、例えば視点画像データＲ９の座標（ｘ，ｙ）＝（１，１）に配置された画素データ（Ｇの画素データ）と、視点画像データＲ８における同座標に配置された画素データ（Ｇの画素データ）との差分値ａ(11)を、上記視点画像データＲ９の座標（１，１）の画素データと置き換える。このようにして、視点画像データＲ９の全ての画素データについて差分値ａ(12)，ａ(13)，…を算出し、画素データとの置き換えを行う。同様に、図１６に示したように、視点画像データＲ８についても、視点画像データＲ７（図１６には図示せず）との間で互いに同一座標にある画素データ同士の差分値ｂ(11)，ｂ(12)，ｂ(13)，…を算出し、算出した差分値をその画素データと置き換えていく。
【００４２】
このような差分値算出および置き換えの処理を、視点画像データＲ９から視点画像データＲ２まで順次行う。これにより、図１７に示したように、基準視点画像データとしての視点画像データＲ１以外の（Ｎ−１）個の視点画像データ（ここでは、８つの視点画像データＲ２〜Ｒ９）における各画素データを差分値に置き換える、即ちデータ圧縮することができる。
【００４３】
尚、上記説明では、視点画像データＲ９から順次１つ前の視点画像データとの間で差分値を算出するようにしたが、差分値のとりかたはこれに限定されず、例えば、基準視点画像データ（視点画像データＲ１）と、その他の視点画像データＲ２〜Ｒ９とのそれぞれの間で差分値を順次算出し、画素データと置き換えるようにしてもよい。
【００４４】
（第２の圧縮処理（ブロック領域間の差分処理））
続いて、データ処理部１４は、上記のような視点画像データＲ２〜Ｒ９の圧縮処理後、基準視点画像データとして残った視点画像データＲ１に対し、以下に説明するような圧縮処理（第２の圧縮処理）を施す。即ち、視点画像データＲ１を構成する画素データ群において、２以上の画素データからなるブロック領域間で、互いに同一位置にある画素データ同士の差分値（第２の差分値）を算出し、この差分値を各画素データと置き換える（図９のステップＳ４）。図１８（Ａ），（Ｂ）に、この差分演算処理について模式的に示す。
【００４５】
具体的には、視点画像データＲ１の画素データ群を、それぞれがｐ×ｑ（ｐ，ｑは２以上の整数）の画素データからなるブロック領域に分割し、全ブロック領域のうちの選択的な複数のブロック領域を基準ブロック領域として、基準ブロック領域と他のブロック領域、例えば基準ブロック領域に隣接するブロック領域との間において、差分値を算出する。ここでは、図１８（Ａ）に示したように、ｐ＝ｑ＝２として、画素データ群を２×２のブロック領域に分割し、これらの全ブロック領域のうち行方向および列方向に沿って１つおきに配置されたブロック領域を基準ブロック領域（Ｕ１１，Ｕ１２，…，Ｕ２１，Ｕ２２，…）とする。これらの基準ブロック領域Ｕ１１等と、これに隣接するブロック領域との間で、互いに同一位置に配置された画素データ同士の差分値を算出する。
【００４６】
詳細には、基準ブロック領域Ｕ１１とこれに行方向において隣接するブロック領域Ｕ１１２とに着目した場合、画素データＲ１３，Ｒ１１の差分値ｒ(13)を画素データＲ１３と置き換える。同様に、画素データＲ１４，Ｒ１２の差分値ｒ(14)を画素データＲ１４と置き換え、画素データＲ２３，Ｒ２１の差分値ｒ(23)を画素データＲ２３と置き換え、画素データＲ２４，Ｒ２２の差分値ｒ(24)を画素データＲ２４と置き換える。このような処理を全ての基準ブロック領域Ｕ１１等以外の全ブロック領域について順次行うことにより、図１８（Ｂ）に示したように、基準ブロック領域Ｕ１１等以外のブロック領域における画素データを差分値ｒ(13)，ｒ(14)，ｒ(17)，ｒ(18)，…に置き換えることができる。
【００４７】
（第３の圧縮処理（基準ブロック領域間の差分処理））
図１９は、上記のような視点画像データＲ１内におけるブロック差分処理後、残った基準ブロック領域Ｕ１１等を模式的に表したものである。データ処理部１４は、このような基準ブロック領域Ｕ１１等に対し、以下に説明するような圧縮処理（第３の圧縮処理）を施す。即ち、行方向（Ｘ方向）に沿って配列した基準ブロック領域間において、互いに同一位置にある画素データ同士の差分値（第３の差分値）を算出し、この差分値を各画素データと置き換える（図９のステップＳ５）。図２０（Ａ），（Ｂ）に、この差分演算処理について模式的に示す。尚、図１９および図２０では、視点画像データＲ１内において、既に圧縮済みの（差分値に置き換わっている）画素データの図示を省略している。
【００４８】
具体的には、図１９に示したように、行方向に沿って左端から順に第ｎ番目（ｎは２以上の整数）まで配列した複数の基準ブロック領域において、第ｎ番目の基準ブロック領域と第（ｎ−１）番目の基準ブロック領域との間で差分値を算出し、算出した第３の差分値を第ｎ番目の基準ブロック領域における各画素データと置き換える。この処理を行毎に行う。
【００４９】
詳細には、まず、基準ブロック領域Ｕ１n，Ｕ１(n-1)間で、互いに同一位置にある画素データ同士の差分値を算出し、この差分値を基準ブロック領域Ｕ１nにおける画素データと置き換える。詳細には、例えば基準ブロック領域Ｕ１nの左上に配置された画素データＲ１cと、基準ブロック領域Ｕ１(n-1)における同位置に配置された画素データＲ１aとの差分値ｒ(1c)を、上記基準ブロック領域Ｕ１nの画素データＲ１cと置き換える。このようにして、図２０（Ａ）に示したように、基準ブロック領域Ｕ１n内の全ての画素データについて差分値ｒ(1c)，ｒ(1d)，ｒ(2c)，ｒ(2d)を算出し、各画素データとの置き換えを行う。この処理を、基準ブロック領域Ｕ１nから基準ブロック領域Ｕ１２まで順次行い、かつこれらの処理を他の行についても同様に行う。これにより、図２０（Ｂ）に示したように、左端に配置された基準ブロック領域Ｕ１１，Ｕ２１，…以外の基準ブロック領域における各画素データを差分値に置き換えることができる。
【００５０】
（第４の圧縮処理（行基準ブロック領域間の差分処理））
図２１は、上記のような基準ブロック領域間の差分処理後、残った左端の基準ブロック領域（以下、説明上「行基準ブロック領域」という）Ｕ１１，Ｕ２１，…を模式的に表したものである。データ処理部１４は、このような行基準ブロック領域Ｕ１１等に対し、以下に説明するような圧縮処理（第４の圧縮処理）を施す。即ち、列方向（Ｙ方向）に沿って配列した行基準ブロック領域間において、互いに同一位置にある画素データ同士の差分値（第４の差分値）を算出し、この差分値を各画素データと置き換える（図９のステップＳ６）。図２２（Ａ），（Ｂ）に、この差分演算処理について模式的に示す。尚、図２１および図２２では、視点画像データＲ１内において、既に圧縮済みの（差分値に置き換わっている）画素データの図示を省略している。
【００５１】
具体的には、図２１に示したように、列方向に沿って上端から順に第ｍ番目（ｍは２以上の整数）まで配列した複数の行基準ブロック領域Ｕ１１，Ｕ２１，…，Ｕ(m-1)１，Ｕm１において、第ｍ番目の行基準ブロック領域と第（ｍ−１）番目の行基準ブロック領域との間で差分値を算出し、算出した差分値を第ｍ番目の行基準ブロック領域における各画素データと置き換える。
【００５２】
詳細には、まず、行基準ブロック領域Ｕ(m-1)１，Ｕm１間で、互いに同一位置にある画素データ同士の差分値を算出し、この差分値を基準ブロック領域Ｕm１における画素データと置き換える。詳細には、例えば行基準ブロック領域Ｕm１の左上に配置された画素データＲc１と、行基準ブロック領域Ｕ(m-1)１における同位置に配置された画素データＲa１との差分値ｒ(c1)を、上記行基準ブロック領域Ｕm１の画素データＲc１と置き換える。このようにして、図２２（Ａ）に示したように、行基準ブロック領域Ｕm１内の全ての画素データについて差分値ｒ(c1)，ｒ(d1)，ｒ(c2)，ｒ(d2)を算出し、各画素データとの置き換えを行う。この処理を、行基準ブロック領域Ｕm１から行基準ブロック領域Ｕ２１まで順次行う。これにより、図２２（Ｂ）に示したように、上端に配置された行基準ブロック領域Ｕ１１以外の行基準ブロック領域における各画素データを差分値に置き換えることができる。
【００５３】
データ圧縮部１４は、上記のようにして、ＲＡＷ画像データである撮像データＤ０、即ち、画像処理（デモザイク処理、シェーディング処理、ノイズリダクション処理等）前の画素データ群に対し圧縮処理（可逆的圧縮処理）を施す。この圧縮処理は、可逆性を有し、展開（解凍）時には、最終的に差分値演算の基準値として残った数画素分の画素データ（行基準ブロック領域Ｕ１１）に基づいて、上記処理を逆の順序で行う（差分値を順次加算していく）ことにより、圧縮前の撮像データ（撮像データＤ０）と実質同一の撮像データ（Ｄ２）を復元することができる。図４に示したように、本実施の形態では、撮像装置１内に画像処理部を有さず（画像処理を行わず）、撮像装置１の外部に設けられた画像処理部１１２において画像処理が行われる。
【００５４】
尚、データ圧縮部１４では、上記のような圧縮後の撮像データ（数画素分の画素データと他の画素データに対応する差分値）を、符号化する（図９のステップＳ７）ことにより、出力データＤoutを生成する。符号化手法（符号割り当て手法）としては、特に限定されないが、例えば２進符号化あるいはハフマン符号化等が挙げられる。符号化されたデータは、外部転送用の出力データＤoutとして、データ圧縮部１４から出力される。
【００５５】
以上のように本実施の形態では、撮像レンズ１１の通過光線を、レンズアレイ１２によって複数の視点からの光線に分離しつつ、イメージセンサ１３の各画素において受光し、受光量に基づく画素データを取得する。データ圧縮部１４が、イメージセンサ１３から出力された撮像データＤ０に対し可逆的圧縮（特に第１の圧縮処理）を施すことにより、レンズアレイ１２を用いて取得した撮像データの性質を損なうことなく、そのデータ量を削減することができる。これにより、ＲＡＷ画像データである撮像データを外部の画像処理部へ転送する場合に、その転送時間を短縮化したり、データ蓄積に必要な記憶容量を削減することができる。よって、多視点撮像データの性質を損なうことなく、効率的なデータ転送を実現することが可能となる。
【００５６】
尚、上記実施の形態では、第１の圧縮処理において、各視点画像データを、色配列に応じた並べ替え処理の後、差分値を算出するようにしたが、必ずしも並べ替えを行わなくともよい。即ち、撮像データに基づいて視点画像データを生成した後、色配列が互いに異なる状態で差分処理を行ってもよい。但し、色によって画素値に差が生じ易いので、まずは差分処理の前に画素データを並べ替えて色配列を揃えた方が、得られる差分値をより小さくすることができ、データ量を削減し易いため望ましい。また、イメージセンサ上にカラーフィルタを設けない場合（モノクロ撮影の場合）にも上記色配列に応じた並べ替え処理は行わなくてよい。
【００５７】
＜適用例＞
図２３は、上記実施の形態の撮像装置１から出力に基づいて視点画像を生成する画像生成システムの一例を模式的に表したものである。このように、撮像装置１は、例えば、複数のインターフェース（センサーインターフェース１２１，ＵＳＢインターフェース１２０，記憶部１２４とのインターフェース１２２、ネットワークインターフェース（外部インターフェース）１２３）を有している。撮像装置１は、ネットワークインターフェース１２３を介して、ネットワーク上のサーバ１２５あるいは電子機器１２６と通信可能となっている。サーバ１２５は、画像処理部１１２を備えており、所定のソフトウェア等を用いて様々な画像処理（デモザイク処理、視点画像生成処理等）を施すことができる。これにより、撮像装置１からサーバ１２５へ、圧縮後の撮像データＤ２（ＲＡＷ画像データ）を転送する（アップロードする）ことができる。また、サーバ１２５では、取得した撮像データＤ２を展開後、その展開後のＲＡＷ画像データに対して画像処理を施すことで、様々な画像を生成可能である。例えば、展開した撮像データＤ２に基づいて、上述したように、各マトリクス領域Ｍ内で互いに同一位置にある画素データを抽出し、これらを合成する処理を行うと共に、デモザイク処理や他の画像処理を行うことにより、複数の視点画像を生成する。このようにして生成した視点画像（処理画像）Ｄ３は、例えばＰＣやネットＴＶ等の電子機器１２６に取り込む（ダウンロードする）ことも可能である。
【００５８】
このように、撮像装置１に外部ネットワーク接続用のインターフェースを設け、これを用いて外部のサーバ１２５（画像処理部）に撮像データをＲＡＷ画像の状態で転送することで、様々なソフトウェアを使用した画像処理が可能となる。このようなネットワークシステムにより、ユーザの好みに合った画像生成が可能となり、またカメラ内に画像処理部を設ける必要がなくなるため、カメラコストを削減することができる。また、転送用のデータとして、上述したようなデータ圧縮部１４による可逆的圧縮後のデータ（撮像データＤ２）が用いられることで、効率的なデータ転送が実現できる。尚、転送後、サーバ１２５において撮像データＤ２が展開されるが、展開後の撮像データは、上述したように圧縮前の撮像データＤ０と実質的に同一であるため、処理画像において、データ圧縮に起因する画質劣化を招くことはない。
【００５９】
図２４は、上記のような多視点画像生成システムにおいて、課金サーバを設けた例である。このように、撮像装置１、サーバ１２５および電子機器１２６同士を繋ぐアクセスポイントＡＰを設け、このアクセスポイントＡＰを介して、撮像装置１から撮像データを暗号化してサーバへアップすると共に、サーバ１２５からの処理画像の取得に際しては認証および課金を行うことも可能である。
【００６０】
尚、上記適用例では、サーバ１２５が画像処理部を備えた場合を例示したが、これに限定されず、電子機器１２６が画像処理部を備えていてもよい。また、サーバ１２５は、撮像データＤ２を、上記のように撮像装置１から直接的に取得してもよいし、電子機器１２６を介して間接的に取得するようにしてもよい。逆に、電子機器１２６が画像処理部を備える場合には、撮像データＤ２を撮像装置１から直接的に取得してもよいし、サーバ１２５を介して間接的に取得するようにしてもよい。
【００６１】
以上、実施の形態および変形例を挙げたが、本開示内容は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、１つのマイクロレンズに割り当てられる画素（マトリクス領域Ｍ）が３×３＝９個である場合を例に挙げて説明したが、マトリクス領域Ｍは、これに限定されず、任意のｍ×ｎ（ｍ，ｎは１以上の整数。但し、ｍ＝ｎ＝１を除く。）の画素から構成することができ、ｍ，ｎが互いに異なっていてもよい。
【００６２】
また、上記実施の形態等では、視点分離素子としてレンズアレイを例示したが、光線の視点成分を分離可能な素子であれば、レンズアレイに限定されない。例えば、撮像レンズと、イメージセンサとの間に、ＸＹ平面において複数領域に分割され、各領域において開閉を切り替えることが可能な液晶シャッターを視点分離素子として配置した構成であってもよい。あるいは、ＸＹ平面に複数の孔が形成された、いわゆるピンホールを利用した視点分離素子を用いてもよい。
【００６３】
更に、上記実施の形態等では、データ圧縮部が、マトリクス領域Ｍに配置された全画素数分（上記説明では９つ）の視点画像データを生成して、これら全ての視点画像データについて圧縮処理を行ったが、必ずしも全ての視点画像データを生成、圧縮しなくともよい。例えば、後段の画像処理において、視点画像として左右２枚の視点画像のみが必要とされる場合等には、それらの２枚分の視点画像データのみを転送できればよいため、一部の画素データを用いて必要な視点画像データを生成し、生成した視点画像データに対してのみ、上記一連の圧縮処理（第１〜第４の圧縮処理）を施せばよい。
【００６４】
尚、本開示は以下のような構成を取ることも可能である。
（１）撮像レンズと、前記撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を含むと共に、各画素において前記視点分離素子の通過光線を受光し、その受光量に基づく多視点の撮像データを出力する撮像素子と、前記撮像データに対し可逆的圧縮を施すデータ圧縮部とを備えた撮像装置。
（２）前記撮像データは、複数の画素データを含む画素データ群からなり、前記データ圧縮部は、前記画素データ群に基づいて、それぞれが視点画像に対応するＮ個（Ｎは１以上の整数）の視点画像データを生成し、Ｎ個の視点画像データ間で互いに同一座標にある画素データ同士の第１の差分値を算出し、前記第１の差分値を当該画素データと置き換える第１の圧縮処理を行う上記(1)に記載の撮像装置。
（３）前記撮像素子は、各画素データとして、２以上の色のうちのいずれかの色の画素データを取得し、前記データ圧縮部は、前記第１の圧縮処理において、前記Ｎ個の視点画像データのうちの１の視点画像データを基準視点画像データとし、前記基準視点画像データを構成する画素データ群と同一の色配列となるように、他の視点画像データを構成する画素データ群の並べ替えを行い、前記画素データ群の並べ替えの後、前記第１の差分値を算出する上記(2)に記載の撮像装置。
（４）前記データ圧縮部は、前記第１の圧縮処理において、前記基準視点画像データを第１面の視点画像データとして、第Ｎ面の視点画像データと第（Ｎ−１）面の視点画像データとの間で前記第１の差分値を算出し、算出した第１の差分値を前記第Ｎ面の視点画像データにおける各画素データと置き換える処理を、第Ｎ面から第２面の視点画像データについて順次行うことにより、前記基準視点画像データ以外の（Ｎ−１）個の視点画像データの各画素データを前記第１の差分値に置き換える上記(3)に記載の撮像装置。
（５）前記データ圧縮部は、前記第１の圧縮処理において、前記基準視点画像データと、その他の（Ｎ−１）個の視点画像データのそれぞれとの間で前記第１の差分値を順次算出し、算出した第１の差分値を前記（Ｎ−１）個の視点画像データにおける各画素データと順次置き換える上記(3)に記載の撮像装置。
（６）前記データ圧縮部は、前記第１の圧縮処理の後、前記基準視点画像データを構成する画素データ群に対し、２以上の画素データからなるブロック領域間で、互いに同一位置にある画素データ同士の第２の差分値を算出し、前記第２の差分値を当該画素データと置き換える第２の圧縮処理を行う上記(3)〜(5)のいずれかに記載の撮像装置。
（７）前記データ圧縮部は、前記第２の圧縮処理において、前記基準視点画像データの画素データ群を、それぞれがｐ×ｑ（ｐ，ｑは２以上の整数）の画素データからなるブロック領域に分割し、全ブロック領域のうちの選択的な複数のブロック領域を基準ブロック領域として、前記基準ブロック領域とこれに隣接するブロック領域との間において、前記第２の差分値を順次算出し、算出した第２の差分値と、前記基準ブロック領域以外のブロック領域における各画素データを置き換える上記(6)に記載の撮像装置。
（８）前記データ圧縮部は、前記第２の圧縮処理の後、前記複数の基準ブロック領域のうち、互いに同一の行方向に沿って配列した基準ブロック領域間で互いに同一位置にある画素データ同士の第３の差分値を算出し、前記第３の差分値を当該画素データと置き換える第３の圧縮処理を行う上記(6)または(7)に記載の撮像装置。
（９）前記データ圧縮部は、前記第３の圧縮処理において、前記行方向に沿って一方の端部側から順に第ｎ番目（ｎは２以上の整数）まで配列した複数の基準ブロック領域において、第ｎ番目の基準ブロック領域と第（ｎ−１）番目の基準ブロック領域との間で前記第３の差分値を算出し、算出した第３の差分値を第ｎ番目の基準ブロック領域における各画素データと置き換える処理を、第ｎ番目から第２番目の基準ブロック領域について、行毎に順次行うことにより、第１番目の基準ブロック領域（行基準ブロック領域）以外の基準ブロック領域の各画素データを前記第３の差分値に置き換える上記(8)に記載の撮像装置。
（１０）前記データ圧縮部は、前記第３の圧縮処理の後、各行の端部において列方向に沿って配置された前記行基準ブロック領域同士の間で互いに同一位置にある画素データ同士の第４の差分値を算出し、前記第４の差分値を当該画素データと置き換える第４の圧縮処理を行う上記(9)に記載の撮像装置。
（１１）前記データ圧縮部は、前記第４の圧縮処理において、前記列方向に沿って一方の端部側から順に第ｍ番目（ｍは２以上の整数）まで配列した複数の行基準ブロック領域において、第ｍ番目の行基準ブロック領域と第（ｍ−１）番目の行基準ブロック領域との間で前記第４の差分値を算出し、算出した第４の差分値を第ｍ番目の行基準ブロック領域における各画素データと置き換える処理を、第ｍ番目から第２番目の行基準ブロック領域について順次行うことにより、前記第１番目の行基準ブロック領域以外の行基準ブロック領域の各画素データを前記第４の差分値に置き換える上記(10)に記載の撮像装置。
（１２）前記撮像素子から得られる画素データ群の色配列は、ベイヤー配列である上記(3)〜(11)のいずれかに記載の撮像装置。
（１３）前記データ圧縮部は、圧縮後の撮像データを符号化して出力データを生成する上記(1)〜(12)のいずれかに記載の撮像装置。
（１４）撮像装置と、前記撮像装置からの出力データを通信回線を介して取得し、取得した出力データに基づいて画像処理を行う画像処理部とを備え、前記撮像装置は、撮像レンズと、前記撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を含むと共に、各画素において前記視点分離素子の通過光線を受光し、その受光量に基づく多視点の撮像データを出力する撮像素子と、前記撮像素子から得られた撮像データに対し可逆的圧縮を施すことにより、前記出力データを生成するデータ圧縮部と、を有する画像生成システム。
（１５）前記画像処理部は、ネットワーク上のサーバまたは電子機器内に設けられ、前記出力データを展開後、前記画像処理を行う上記(14)に記載の画像生成システム。
（１６）前記画像処理部は、前記出力データを展開後、展開後のデータから選択的な画素データを抽出して並べ替えを行うことにより、複数の視点画像を生成する上記(14)または(15)に記載の画像生成システム。
（１７）可逆的圧縮が施された多視点撮像データを受信し、受信した多視点撮像データを展開し、展開された多視点撮像データに基づいて画像処理を行うサーバ。
（１８）可逆的圧縮が施された多視点撮像データを受信し、受信した多視点撮像データを展開し、展開された多視点撮像データに基づいて画像処理を行う電子機器。
【符号の説明】
【００６５】
１…撮像装置、１１…撮像レンズ、１２…レンズアレイ、１２ａ…マイクロレンズ、１３…イメージセンサ、１４…データ圧縮部、１５…イメージセンサ駆動部、１６…制御部、２…被写体、Ｄ０〜Ｄ２…撮像データ、Ｄout…出力データ、Ｍ，Ｍａ…マトリクス領域、Ｒ１〜Ｒ９…視点画像（視点画像データ）。
【技術分野】
【０００１】
本開示は、多視点撮像データを取得する撮像装置に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている。また、撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズとイメージセンサとの間に、レンズアレイを配置したものである。被写体からの入射光線は、レンズアレイにおいて各視点の光線に分離された後、イメージセンサで受光される。イメージセンサから得られる画素データを用いて、同時刻に多視点の画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０２１６８３号公報
【非特許文献】
【０００４】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような撮像装置では、レンズアレイの１つのレンズを通過した光線は、イメージセンサ上のｍ×ｎ（ｍ，ｎは１以上の整数、但しｍ＝ｎ＝１を除く）の画素において受光される。各レンズに対応する画素数（ｍ×ｎ個）分の視点画像を得ることができる。
【０００６】
上記特許文献１および非特許文献１では、このような視点画像の生成処理（画像演算処理）を撮像装置内で行っている。例えばこれらの画像処理が外部の電子機器において行われる場合、イメージセンサから出力された撮像データ（ＲＡＷ画像データ）を電子機器へ転送する、あるいは、外部メモリーに記憶させる必要がある。従って、そのような撮像データのデータ量を削減し、効率的なデータ転送を実現することが望まれている。
【０００７】
本開示はかかる問題点に鑑みてなされたもので、その目的は、多視点撮像データの性質を損なうことなく、効率的なデータ転送を実現することが可能な撮像装置を提供することにある。また、本開示の他の目的は、そのような撮像データを転送して、撮像装置外部の画像処理部において多視点画像を生成することが可能な画像生成システムを提供することにある。
【課題を解決するための手段】
【０００８】
本開示の撮像装置は、撮像レンズと、撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を含むと共に、各画素において視点分離素子の通過光線を受光し、その受光量に基づく多視点の撮像データを出力する撮像素子と、撮像データに対し可逆的圧縮を施すデータ圧縮部とを備えたものである。
【０００９】
本開示の撮像装置では、撮像レンズの通過光線は、視点分離素子によって複数の視点からの光線に分離され、撮像素子の各画素において受光されることにより、その受光量に基づく多視点の撮像データが得られる。この撮像データに対してデータ圧縮部が可逆的圧縮を施すことにより、視点分離素子を用いて取得した撮像データにおいて、その性質が損なわれることなく、データ量が削減する。
【００１０】
本開示の画像生成システムは、上記本開示の撮像装置と、撮像装置からの出力データを通信回線を介して取得し、取得した出力データに基づいて画像処理を行う画像処理部とを備えたものである。
【００１１】
本開示の画像生成システムでは、上記本開示の撮像装置から、出力データ（可逆的圧縮された撮像データ）が、通信回線を介して画像処理部側へ転送された後、圧縮前と実質的に同一の撮像データに展開（解凍）される。画像処理部では、この展開後の撮像データに対し所定の画像処理を施す。
【００１２】
本開示のサーバは、可逆的圧縮が施された多視点撮像データを受信し、受信した多視点撮像データを展開し、展開された多視点撮像データに基づいて画像処理を行うものである。
【００１３】
本開示の電子機器は、可逆的圧縮が施された多視点撮像データを受信し、受信した多視点撮像データを展開し、展開された多視点撮像データに基づいて画像処理を行うものである。
【発明の効果】
【００１４】
本開示の撮像装置によれば、撮像レンズの通過光線を、視点分離素子によって複数の視点からの光線に分離し、撮像素子の各画素において受光することにより、その受光量に基づく多視点の撮像データを得ることができる。この撮像データに対して可逆的圧縮を施すことにより、多視点の撮像データのデータ量を、その性質を損なうことなく削減することができる。これにより、転送時間を短縮化したり、データ蓄積に必要な記憶容量を削減することができる。よって、多視点撮像データの性質を損なうことなく、効率的なデータ転送を実現することが可能となる。
【００１５】
本開示の画像生成システムによれば、上記本開示の撮像装置を備えることにより、可逆的圧縮が施された撮像データを、通信回線を介して画像処理部側へ転送した後、圧縮前と実質的に同一の撮像データに展開することができる。画像処理部では、その展開後の撮像データを用いて様々な画像処理を行うことができる。よって、視点分離素子を用いて取得した撮像データを転送して、撮像装置外部の画像処理部において多視点画像を生成することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本開示の一の実施の形態に係る撮像装置の全体構成を表す図である。
【図２】イメージセンサとレンズアレイとの配置関係について表す模式図である。
【図３】各画素へのカラーフィルタ割り当て（色配列）について表す模式図である。
【図４】図１に示したデータ圧縮部と画像処理部との関係を表す機能ブロック図である。
【図５】視点分離について説明するための模式図である。
【図６】イメージセンサにより取得される撮像データ（ＲＡＷ画像データ）を表す模式図である。
【図７】（Ａ）〜（Ｉ）は、図６に示した撮像データに基づいて生成される各視点画像を説明するための模式図である。
【図８】（Ａ）〜（Ｉ）は、視点画像の一例を表す模式図である。
【図９】データ処理部における圧縮処理動作を表すフローチャートである。
【図１０】イメージセンサにより取得される撮像データ（ＲＡＷ画像データ）における色配列について表す模式図である。
【図１１】（Ａ）〜（Ｉ）は、各視点画像の画素データ群における色配列を表す模式図である。
【図１２】色配列の単位領域のパターンについて表す模式図である。
【図１３】（Ａ）〜（Ｉ）は、各視点画像データにおける色配列に基づく並べ替え処理動作を説明するための模式図である。
【図１４】視点画像データ間の圧縮処理について説明するための模式図である。
【図１５】視点画像データ間の圧縮処理について説明するための模式図である。
【図１６】視点画像データ間の圧縮処理について説明するための模式図である。
【図１７】視点画像データ間の圧縮処理について説明するための模式図である。
【図１８】（Ａ），（Ｂ）は、ブロック領域間の圧縮処理について説明するための模式図である。
【図１９】基準ブロック領域間の圧縮処理について説明するための模式図である。
【図２０】（Ａ），（Ｂ）は、基準ブロック領域間の圧縮処理について説明するための模式図である。
【図２１】行基準ブロック領域間の圧縮処理について説明するための模式図である。
【図２２】（Ａ），（Ｂ）は、行基準ブロック領域間の圧縮処理について説明するための模式図である。
【図２３】適用例に係る画像生成システムの概略構成を表す模式図である。
【図２４】適用例に係る他の画像生成システムの概略構成を表す模式図である。
【発明を実施するための形態】
【００１７】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。
１．実施の形態（レンズアレイを用いて撮影した撮像データに対し可逆的圧縮を施す撮像装置の例）
２．適用例（画像生成システムの例）
【００１８】
＜実施の形態＞
［全体構成］
図１は、本開示の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、いわゆる単眼方式のライトフィールドカメラであり、例えば被写体２を撮像して、複数の視点成分を含む多視点撮像データ（ＲＡＷ画像データ）を出力するものである。この撮像装置１は、撮像レンズ１１、レンズアレイ１２、イメージセンサ１３、データ圧縮部１４、イメージセンサ駆動部１５および制御部１６を備える。尚、以下では、光軸Ｚ１に沿った方向をＺとし、光軸Ｚ１に直交する面内において、水平方向（横方向）をＸ、垂直方向（縦方向）をＹとする。
【００１９】
撮像レンズ１１は、被写体２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。この撮像レンズ１１の光入射側（または光出射側）には、開口絞り１０が配設されている。
【００２０】
レンズアレイ１２は、撮像レンズ１１の結像面（焦点面）に配置されることにより、入射光線を、互いに異なる視点からの光線として、画素単位で分離するための視点分離素子である。レンズアレイ１２では、複数のマイクロレンズ１２ａがＸ方向（行方向）およびＹ方向（列方向）に沿って２次元配置されている。このようなレンズアレイ１２では、各マイクロレンズ１２ａに割り当てられた画素数（（イメージセンサ１３の全画素数）／（レンズアレイ１２のレンズ数））分の視点分離が可能である。換言すると、１つのマイクロレンズ１２ａに割り当てられた画素（後述のマトリクス領域Ｍ）の範囲内で画素単位での視点分離が可能である。尚、「視点分離」とは、換言すると、撮像レンズ１１の通過光線が撮像レンズ１１のどの領域を通過してきたものであるかをその方向性を含めて、イメージセンサの画素単位で記録しておくことである。このレンズアレイ１２の結像面には、イメージセンサ１３が配設されている。
【００２１】
イメージセンサ１３は、例えばマトリクス状に配列した複数の画素センサ（以下、単に画素とする）を有し、レンズアレイ１２を通過した光線を受光して多視点撮像データ（撮像データＤ０）を取得するものである。撮像データＤ０は、いわゆるＲＡＷ画像信号であり、イメージセンサ１３上の各画素が受光した光強度を示す電気信号（画素データ）の集合である。このイメージセンサ１３は、複数の画素がマトリクス状に（Ｘ方向およびＹ方向に沿って）配置したものであり、例えばＣＣＤ（Charge Coupled Device：電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの固体撮像素子により構成されている。このイメージセンサ１３の光入射側（レンズアレイ１２の側）には、所定の色配列（後述）を有するカラーフィルタが設けられている。
【００２２】
図２は、これらのレンズアレイ１２（マイクロレンズ１２ａ）とイメージセンサ１３との配置例を表したものである。このように、１つのマイクロレンズ１２ａに対し、イメージセンサ１３上の複数の画素（ｍ×ｎの画素）が割り当てられ、１つのマイクロレンズ１２ａを通過した光線がｍ×ｎの画素において受光されるようになっている。この例では、１つのマイクロレンズ１２ａに対し、３×３の画素Ｐ（マトリクス領域Ｍ）が割り当てられており、これにより、各マイクロレンズ１２ａの通過光線は、マトリクス領域Ｍ内において画素Ｐ単位で視点分離されつつ受光される。
【００２３】
図３は、イメージセンサ１３上に設けられたカラーフィルタの色配列について模式的に表したものである。このように、イメージセンサ１３上には、画素毎に例えばＲ（Red），Ｇ（Green），Ｂ（Blue）のいずれかのフィルタが設けられており、各画素では、Ｒ，Ｇ，Ｂのいずれかの色の画素データが得られるようになっている。この例では、Ｒ，Ｇ，Ｂを、Ｒ：Ｇ：Ｂ＝１：２：１の割合で配列させた、いわゆるベイヤー配列を有するカラーフィルタを用いている。この場合、例えば２×２のＲ，Ｇ，Ｂの色配列を単位配列Ｕとして、Ｒ，Ｇ，Ｂのいずれかの色が各画素へ割り当てられる。
【００２４】
データ圧縮部１４は、イメージセンサ１３から出力される撮像データＤ０に対し、可逆的圧縮を施す演算処理部である。このデータ圧縮部１４は、ＲＡＷ画像データである撮像データＤ０、即ち、画像処理（デモザイク処理、シェーディング処理、ノイズリダクション処理等）前の撮像データを構成する画素データ群に対し、所定のアルゴリズムを用いて圧縮処理を施す。具体的には、詳細は後述するが、撮像データＤ０を構成する画素データ群を、視点画像に対応するデータ配列（説明上「視点画像データ」と称する）に並べ替えを行い、各視点画像データ間で差分値をとり、画素データを差分値で置き換えていく。また、この視点画像データ間の差分値演算を続けていくと、基準となる視点画像データ（基準視点画像データ）が最後に１面だけ残るが、これについては、更にその基準視点画像データ内で、差分値演算を行い、最終的に数画素分の画素データのみを残して、他の画素データについては全て差分値に置き換えることができる。
【００２５】
このような圧縮処理は、可逆性を有し、展開（解凍）時には、最終的に差分値演算の基準値として残った数画素分の画素データに基づいて、上記処理を逆の順序で行う（差分値を順次加算していく）ことにより、圧縮前の撮像データ（撮像データＤ０）と同一の撮像データ（Ｄ２）を復元することができる。図４に示したように、本実施の形態では、撮像装置１内に画像処理部を有さず（画像処理を行わず）、撮像装置１の外部に設けられた画像処理部１１２において画像処理が行われる。例えば、詳細は後述するが、撮像装置１からの出力データＤoutは、有線または無線の通信回線や外部メモリー１１０等を介して、圧縮解凍部１１１および画像処理部１１２を備えた他の電子機器やサーバ等に転送される。データ転送後、圧縮解凍部１１１においてデータが展開されることにより、ＲＡＷ画像データである撮像データＤ２が画像処理部１１２へ出力され、画像処理部１１２において所定の画像処理が施される。これにより、例えば多視点の画像が、処理画像データＤ３として得られる。尚、「可逆的圧縮」では、圧縮前後のデータが完全同一となる、いわゆる完全可逆圧縮（完全ロスレス圧縮）はもちろん、圧縮前後のデータが完全一致ではない場合も含むものである。即ち、本開示の「可逆的圧縮」は、圧縮前後の撮像データが上記のように「実質的同一」となる圧縮を示し、生成した多視点画像において、人間の眼で目視できない程度の軽微なデータの損失や相違が生じ得る圧縮をも含んでいる。
【００２６】
尚、データ圧縮部１４では、上記のような圧縮後の撮像データを符号化することにより、出力データＤoutを生成する。符号化手法としては、特に限定されないが、例えば２進符号化あるいはハフマン符号化等が挙げられる。
【００２７】
イメージセンサ駆動部１５は、イメージセンサ１３を駆動してその露光や読み出しの制御を行うものである。
【００２８】
制御部１６は、データ圧縮部１４およびイメージセンサ駆動部１５の各動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。
【００２９】
［作用、効果］
（撮像データの取得）
撮像装置１では、撮像レンズ１１の結像面にレンズアレイ１２が設けられ、このレンズアレイ１２の結像面にイメージセンサ１３が設けられることにより、イメージセンサ１３の各画素には、被写体２からの光線が、その強度分布に加え進行方向（視点）についての情報が保持された光線ベクトルとして記録される。即ち、レンズアレイ１２を通過した光線は、視点毎に分離され、イメージセンサ１３の異なる画素において受光される。
【００３０】
例えば、図５に示したように、撮像レンズ１１を通過してマイクロレンズ１２ａへ入射した光線のうち、互いに異なる視点における光線（光束）Ｌ１，Ｌ２，Ｌ３は、それぞれ互いに異なる３つの画素において受光される。このように、マイクロレンズ１２ａに割り当てられたマトリクス領域Ｍでは、互いに異なる視点の光線が、画素毎に受光される。イメージセンサ１３では、イメージセンサ駆動部１５による駆動動作に応じて、例えばライン順次に読み出しが行われ、撮像データＤ０が取得される。
【００３１】
図６は、イメージセンサ１３から得られた撮像データＤ０（ＲＡＷ画像信号）を模式的に表したものである。本実施の形態のように、１つのマイクロレンズ１２ａに３×３のマトリクス領域Ｍが割り当てられている場合、イメージセンサ１３では、上述のようにマトリクス領域Ｍ毎に、計９つの視点の光線がそれぞれ互いに異なる画素（画素センサ）において受光される。このため、撮像データＤ０は、イメージセンサ１３の画素配列に対応した画素データ群よりなり、マトリクス領域Ｍに対応した、３×３の配列の画素データ（図４中のＭａ）が２次元配置されたものである。尚、図６の撮像データＤ０では、説明上、マトリクス領域Ｍａ内の各画素データに「１」〜「９」の数字を付している。
【００３２】
（撮像データと用いた画像処理）
本実施の形態では、図４に示したように、撮像装置１の外部に設けられた画像処理部１１２が、上記のような撮像データＤ０に基づいて、複数（ここでは９つ）の視点画像を生成する。具体的には、各マトリクス領域Ｍａ間で互いに同一位置にある画素データ（図６において同一の数字が付された画素データ）を抽出して合成する（各画素データを並べ替える）ことにより、９つの視点画像を生成することができる（図７（Ａ）〜（Ｉ））。尚、画像処理部１１２は、上記視点画像に対し、他の画像処理、例えばデモザイク処理等のカラー補間処理、ホワイトバランス調整処理、ガンマ補正処理、ノイズリダクション処理等を必要に応じて施す。
【００３３】
ここで、図８（Ａ）〜（Ｉ）に、図７（Ａ）〜（Ｉ）のデータ配列に対応する視点画像の一例（視点画像Ｒ１〜Ｒ９）を示す。被写体２の画像としては、奥行き方向において互いに異なる位置に配置された３つの被写体「人」，「山」，「花」の画像Ｒａ，Ｒｂ，Ｒｃを示している。視点画像Ｒ１〜Ｒ９は、上記３つの被写体のうち「人」に撮像レンズ１１の焦点が合うようにして撮影されたものであり、「人」よりも奥にある「山」の画像Ｒｂと、「人」よりも手前にある「花」の画像Ｒｃとについてはデフォーカスした画像となっている。単眼方式の撮像装置１では、フォーカスした「人」の画像Ｒａは、視点が変わってもシフトしないが、デフォーカスした画像Ｒｂ，Ｒｃは、視点毎に互いに異なる位置にシフトする。尚、図８（Ａ）〜（Ｉ）では、各視点画像間の位置シフト（画像Ｒｂ，Ｒｃの位置シフト）を誇張して示している。
【００３４】
これらの９つの視点画像Ｒ１〜Ｒ９は、互いに視差を有する多視点画像として様々な用途に利用可能であるが、これらの視点画像Ｒ１〜Ｒ９のうち、例えば左視点および右視点に対応する２つの視点画像を利用して、立体映像表示を行うことができる。例えば、図８（Ｄ）に示した視点画像Ｒ４を左視点画像、図８（Ｆ）に示した視点画像Ｒ６を右視点画像として用いることができる。このような左右２枚の視点画像を、所定の立体表示システムを用いて表示することにより、「山」は「人」よりも奥まって、「花」は「人」よりも手前に飛び出して、それぞれ観察される。
【００３５】
（データ圧縮処理動作）
本実施の形態では、上述のように、上記画像処理が撮像装置１の外部の画像処理部１１２において行われる。即ち、イメージセンサ１３から出力された撮像データＤ０は、通信回線を介して画像処理部１１２側へ転送される。撮像装置１では、データ圧縮部１４が、撮像データＤ０を可逆的圧縮し、これを符号化することにより転送用の出力データＤoutを生成する。以下、このデータ圧縮部１４の詳細な圧縮処理動作（出力データＤout生成動作）について説明する。図９には、本実施の形態のデータ圧縮処理の処理フローについて示す。
【００３６】
（第１の圧縮処理（視点画像データ間の差分処理））
ここで、上記のような撮像データＤ０において、各画素データは、イメージセンサ１３上に設けられたカラーフィルタ（図示せず）の色配列に対応したカラーの信号として記録される。図１０に、撮像データＤ０における各画素データの色配列について模式的に示す。このように、撮像データＤ０として、カラーフィルタの色配列（ここでは、ベイヤー配列）に応じて、Ｒ，Ｇ，Ｂのいずれかの色の画素データを含む画素データ群が得られる。例えば、撮像データＤ０として、２×２の単位配列Ｕで配列したＲ，Ｇ，Ｂのいずれかの色のデータが画素毎に得られる。
【００３７】
データ圧縮部１４は、まず、上記色配列を有する撮像データＤ０に基づいて（ＲＡＷ画像データの形式のまま）、上述したような各視点画像に対応する視点画像データを生成する（各視点画像のデータ配列となるように、撮像データＤ０の並べ替えを行う）（図９のステップＳ１）。これにより、例えば図１１（Ａ）〜（Ｉ）に示したような９つの視点画像データＲ１〜Ｒ９を生成する。尚、各視点画像データでは、図１０に示した単位配列Ｕを有する撮像データＤ０から各視点画像データを生成した場合の各画素データの色配列を示している。
【００３８】
このように、撮像データＤ０に基づいて視点画像データＲ１〜Ｒ９を生成すると、各視点画像データにおける色の単位配列は、図１２（Ａ）〜（Ｄ）に別途示したように、計４種類の単位配列Ｕ１〜Ｕ４のいずれかに基づくものとなる。具体的には、図１１（Ａ）に示したように、視点画像データＲ１は、撮像データＤ０のうち、各マトリクス領域Ｍａの画素データ「１」（左上の画素データ）同士から成り、色配列は単位領域Ｕ１（単位領域Ｕと同じ）に基づくものとなる。同様に、図１１（Ｂ）に示した視点画像データＲ２では、画素データ「２」（中央上の画素データ）同士から成り、色配列は単位領域Ｕ２に基づく。同様に、図１１（Ｃ）に示した視点画像データＲ３では、画素データ「３」（右上の画素データ）同士から成り、色配列は単位領域Ｕ１に基づく。同様に、図１１（Ｄ）に示した視点画像データＲ４では、画素データ「４」（左中央の画素データ）同士から成り、色配列は単位領域Ｕ３に基づく。同様に、図１１（Ｅ）に示した視点画像データＲ５では、画素データ「５」（中央の画素データ）同士から成り、色配列は単位領域Ｕ４に基づく。同様に、図１１（Ｆ）に示した視点画像データＲ６では、画素データ「６」（右中央の画素データ）同士から成り、色配列は単位領域Ｕ３に基づく。同様に、図１１（Ｇ）に示した視点画像データＲ７では、画素データ「７」（左下の画素データ）同士から成り、色配列は単位領域Ｕ１に基づく。同様に、図１１（Ｈ）に示した視点画像データＲ８では、画素データ「８」（右上の画素データ）同士から成り、色配列は単位領域Ｕ２に基づく。同様に、図１１（Ｉ）に示した視点画像データＲ９では、画素データ「９」（右下の画素データ）同士から成り、色配列は単位領域Ｕ１に基づく。
【００３９】
データ圧縮部１４は、続いて、上記視点画像データＲ１〜Ｒ９において、各色配列が同一（単位配列が同一）となるように、画素データの並べ替えを行う（図９のステップＳ２）。具体的には、視点画像データＲ１〜Ｒ９のうちの１つの視点画像データを基準視点画像データとして、この基準視点画像データと同一の単位配列に基づく色配列となるように、各画素データを並べ替える。例えば、ここでは、図１３（Ａ）〜（Ｉ）に示したように、視点画像データＲ１を基準視点画像データとして、その他の視点画像データＲ２〜Ｒ９の色配列が、視点画像データＲ１と同じ単位配列（Ｕ１）に基づくものとなるように、画素データを並べ替える。この並べ替えは、例えば、単位配列Ｕ２〜Ｕ４に対応する２×２の画素領域毎に、これら４画素間で画素データの配置を入れ替えることにより行う。尚、図１１（Ｃ），（Ｇ），（Ｉ）に示した視点画像データＲ３，Ｒ７，Ｒ９では、もともとも単位配列Ｕ１に基づく色配列を有しているため、並べ替えの必要はない。これにより、全ての視点画像データＲ１〜Ｒ９の色配列が単位配列Ｕ１に基づくものとなる。
【００４０】
この後、データ処理部１４は、互いに同一の色配列を有する視点画像データＲ１〜Ｒ９間で差分値を算出し、この差分値を画素データと置き換える演算処理を行う（図９のステップＳ３）。図１４〜図１７に、この差分演算処理について模式的に示す。図１４に示したように、各視点画像データＲ１〜Ｒ９の色配列が同一となっている状態で、視点画像データＲ９から基準視点画像データである視点画像データＲ１に向かって順次処理を行う。尚、ここでは、視点画像データＲ１〜Ｒ９において、各画素データはＸＹ平面内に配置され、各視点画像データＲ１〜Ｒ９が、このＸＹ平面に直交するＺ軸方向に沿って配列するものと仮定して説明する。
【００４１】
具体的には、データ処理部１４は、第Ｎ面の視点画像データＲNと第（Ｎ−１）面の視点画像データＲ(N-1)との間で、画素データ同士の差分値（第１の差分値）を算出し、算出した差分値を第Ｎ面の視点画像データＲNにおける各画素データと置き換えていく。例えば、図１５に示したように、まず、視点画像データＲ９，Ｒ８間で、互いに同一座標にある画素データ同士の差分値を算出し、この差分値を視点画像データＲ９における画素データと置き換える。詳細には、例えば視点画像データＲ９の座標（ｘ，ｙ）＝（１，１）に配置された画素データ（Ｇの画素データ）と、視点画像データＲ８における同座標に配置された画素データ（Ｇの画素データ）との差分値ａ(11)を、上記視点画像データＲ９の座標（１，１）の画素データと置き換える。このようにして、視点画像データＲ９の全ての画素データについて差分値ａ(12)，ａ(13)，…を算出し、画素データとの置き換えを行う。同様に、図１６に示したように、視点画像データＲ８についても、視点画像データＲ７（図１６には図示せず）との間で互いに同一座標にある画素データ同士の差分値ｂ(11)，ｂ(12)，ｂ(13)，…を算出し、算出した差分値をその画素データと置き換えていく。
【００４２】
このような差分値算出および置き換えの処理を、視点画像データＲ９から視点画像データＲ２まで順次行う。これにより、図１７に示したように、基準視点画像データとしての視点画像データＲ１以外の（Ｎ−１）個の視点画像データ（ここでは、８つの視点画像データＲ２〜Ｒ９）における各画素データを差分値に置き換える、即ちデータ圧縮することができる。
【００４３】
尚、上記説明では、視点画像データＲ９から順次１つ前の視点画像データとの間で差分値を算出するようにしたが、差分値のとりかたはこれに限定されず、例えば、基準視点画像データ（視点画像データＲ１）と、その他の視点画像データＲ２〜Ｒ９とのそれぞれの間で差分値を順次算出し、画素データと置き換えるようにしてもよい。
【００４４】
（第２の圧縮処理（ブロック領域間の差分処理））
続いて、データ処理部１４は、上記のような視点画像データＲ２〜Ｒ９の圧縮処理後、基準視点画像データとして残った視点画像データＲ１に対し、以下に説明するような圧縮処理（第２の圧縮処理）を施す。即ち、視点画像データＲ１を構成する画素データ群において、２以上の画素データからなるブロック領域間で、互いに同一位置にある画素データ同士の差分値（第２の差分値）を算出し、この差分値を各画素データと置き換える（図９のステップＳ４）。図１８（Ａ），（Ｂ）に、この差分演算処理について模式的に示す。
【００４５】
具体的には、視点画像データＲ１の画素データ群を、それぞれがｐ×ｑ（ｐ，ｑは２以上の整数）の画素データからなるブロック領域に分割し、全ブロック領域のうちの選択的な複数のブロック領域を基準ブロック領域として、基準ブロック領域と他のブロック領域、例えば基準ブロック領域に隣接するブロック領域との間において、差分値を算出する。ここでは、図１８（Ａ）に示したように、ｐ＝ｑ＝２として、画素データ群を２×２のブロック領域に分割し、これらの全ブロック領域のうち行方向および列方向に沿って１つおきに配置されたブロック領域を基準ブロック領域（Ｕ１１，Ｕ１２，…，Ｕ２１，Ｕ２２，…）とする。これらの基準ブロック領域Ｕ１１等と、これに隣接するブロック領域との間で、互いに同一位置に配置された画素データ同士の差分値を算出する。
【００４６】
詳細には、基準ブロック領域Ｕ１１とこれに行方向において隣接するブロック領域Ｕ１１２とに着目した場合、画素データＲ１３，Ｒ１１の差分値ｒ(13)を画素データＲ１３と置き換える。同様に、画素データＲ１４，Ｒ１２の差分値ｒ(14)を画素データＲ１４と置き換え、画素データＲ２３，Ｒ２１の差分値ｒ(23)を画素データＲ２３と置き換え、画素データＲ２４，Ｒ２２の差分値ｒ(24)を画素データＲ２４と置き換える。このような処理を全ての基準ブロック領域Ｕ１１等以外の全ブロック領域について順次行うことにより、図１８（Ｂ）に示したように、基準ブロック領域Ｕ１１等以外のブロック領域における画素データを差分値ｒ(13)，ｒ(14)，ｒ(17)，ｒ(18)，…に置き換えることができる。
【００４７】
（第３の圧縮処理（基準ブロック領域間の差分処理））
図１９は、上記のような視点画像データＲ１内におけるブロック差分処理後、残った基準ブロック領域Ｕ１１等を模式的に表したものである。データ処理部１４は、このような基準ブロック領域Ｕ１１等に対し、以下に説明するような圧縮処理（第３の圧縮処理）を施す。即ち、行方向（Ｘ方向）に沿って配列した基準ブロック領域間において、互いに同一位置にある画素データ同士の差分値（第３の差分値）を算出し、この差分値を各画素データと置き換える（図９のステップＳ５）。図２０（Ａ），（Ｂ）に、この差分演算処理について模式的に示す。尚、図１９および図２０では、視点画像データＲ１内において、既に圧縮済みの（差分値に置き換わっている）画素データの図示を省略している。
【００４８】
具体的には、図１９に示したように、行方向に沿って左端から順に第ｎ番目（ｎは２以上の整数）まで配列した複数の基準ブロック領域において、第ｎ番目の基準ブロック領域と第（ｎ−１）番目の基準ブロック領域との間で差分値を算出し、算出した第３の差分値を第ｎ番目の基準ブロック領域における各画素データと置き換える。この処理を行毎に行う。
【００４９】
詳細には、まず、基準ブロック領域Ｕ１n，Ｕ１(n-1)間で、互いに同一位置にある画素データ同士の差分値を算出し、この差分値を基準ブロック領域Ｕ１nにおける画素データと置き換える。詳細には、例えば基準ブロック領域Ｕ１nの左上に配置された画素データＲ１cと、基準ブロック領域Ｕ１(n-1)における同位置に配置された画素データＲ１aとの差分値ｒ(1c)を、上記基準ブロック領域Ｕ１nの画素データＲ１cと置き換える。このようにして、図２０（Ａ）に示したように、基準ブロック領域Ｕ１n内の全ての画素データについて差分値ｒ(1c)，ｒ(1d)，ｒ(2c)，ｒ(2d)を算出し、各画素データとの置き換えを行う。この処理を、基準ブロック領域Ｕ１nから基準ブロック領域Ｕ１２まで順次行い、かつこれらの処理を他の行についても同様に行う。これにより、図２０（Ｂ）に示したように、左端に配置された基準ブロック領域Ｕ１１，Ｕ２１，…以外の基準ブロック領域における各画素データを差分値に置き換えることができる。
【００５０】
（第４の圧縮処理（行基準ブロック領域間の差分処理））
図２１は、上記のような基準ブロック領域間の差分処理後、残った左端の基準ブロック領域（以下、説明上「行基準ブロック領域」という）Ｕ１１，Ｕ２１，…を模式的に表したものである。データ処理部１４は、このような行基準ブロック領域Ｕ１１等に対し、以下に説明するような圧縮処理（第４の圧縮処理）を施す。即ち、列方向（Ｙ方向）に沿って配列した行基準ブロック領域間において、互いに同一位置にある画素データ同士の差分値（第４の差分値）を算出し、この差分値を各画素データと置き換える（図９のステップＳ６）。図２２（Ａ），（Ｂ）に、この差分演算処理について模式的に示す。尚、図２１および図２２では、視点画像データＲ１内において、既に圧縮済みの（差分値に置き換わっている）画素データの図示を省略している。
【００５１】
具体的には、図２１に示したように、列方向に沿って上端から順に第ｍ番目（ｍは２以上の整数）まで配列した複数の行基準ブロック領域Ｕ１１，Ｕ２１，…，Ｕ(m-1)１，Ｕm１において、第ｍ番目の行基準ブロック領域と第（ｍ−１）番目の行基準ブロック領域との間で差分値を算出し、算出した差分値を第ｍ番目の行基準ブロック領域における各画素データと置き換える。
【００５２】
詳細には、まず、行基準ブロック領域Ｕ(m-1)１，Ｕm１間で、互いに同一位置にある画素データ同士の差分値を算出し、この差分値を基準ブロック領域Ｕm１における画素データと置き換える。詳細には、例えば行基準ブロック領域Ｕm１の左上に配置された画素データＲc１と、行基準ブロック領域Ｕ(m-1)１における同位置に配置された画素データＲa１との差分値ｒ(c1)を、上記行基準ブロック領域Ｕm１の画素データＲc１と置き換える。このようにして、図２２（Ａ）に示したように、行基準ブロック領域Ｕm１内の全ての画素データについて差分値ｒ(c1)，ｒ(d1)，ｒ(c2)，ｒ(d2)を算出し、各画素データとの置き換えを行う。この処理を、行基準ブロック領域Ｕm１から行基準ブロック領域Ｕ２１まで順次行う。これにより、図２２（Ｂ）に示したように、上端に配置された行基準ブロック領域Ｕ１１以外の行基準ブロック領域における各画素データを差分値に置き換えることができる。
【００５３】
データ圧縮部１４は、上記のようにして、ＲＡＷ画像データである撮像データＤ０、即ち、画像処理（デモザイク処理、シェーディング処理、ノイズリダクション処理等）前の画素データ群に対し圧縮処理（可逆的圧縮処理）を施す。この圧縮処理は、可逆性を有し、展開（解凍）時には、最終的に差分値演算の基準値として残った数画素分の画素データ（行基準ブロック領域Ｕ１１）に基づいて、上記処理を逆の順序で行う（差分値を順次加算していく）ことにより、圧縮前の撮像データ（撮像データＤ０）と実質同一の撮像データ（Ｄ２）を復元することができる。図４に示したように、本実施の形態では、撮像装置１内に画像処理部を有さず（画像処理を行わず）、撮像装置１の外部に設けられた画像処理部１１２において画像処理が行われる。
【００５４】
尚、データ圧縮部１４では、上記のような圧縮後の撮像データ（数画素分の画素データと他の画素データに対応する差分値）を、符号化する（図９のステップＳ７）ことにより、出力データＤoutを生成する。符号化手法（符号割り当て手法）としては、特に限定されないが、例えば２進符号化あるいはハフマン符号化等が挙げられる。符号化されたデータは、外部転送用の出力データＤoutとして、データ圧縮部１４から出力される。
【００５５】
以上のように本実施の形態では、撮像レンズ１１の通過光線を、レンズアレイ１２によって複数の視点からの光線に分離しつつ、イメージセンサ１３の各画素において受光し、受光量に基づく画素データを取得する。データ圧縮部１４が、イメージセンサ１３から出力された撮像データＤ０に対し可逆的圧縮（特に第１の圧縮処理）を施すことにより、レンズアレイ１２を用いて取得した撮像データの性質を損なうことなく、そのデータ量を削減することができる。これにより、ＲＡＷ画像データである撮像データを外部の画像処理部へ転送する場合に、その転送時間を短縮化したり、データ蓄積に必要な記憶容量を削減することができる。よって、多視点撮像データの性質を損なうことなく、効率的なデータ転送を実現することが可能となる。
【００５６】
尚、上記実施の形態では、第１の圧縮処理において、各視点画像データを、色配列に応じた並べ替え処理の後、差分値を算出するようにしたが、必ずしも並べ替えを行わなくともよい。即ち、撮像データに基づいて視点画像データを生成した後、色配列が互いに異なる状態で差分処理を行ってもよい。但し、色によって画素値に差が生じ易いので、まずは差分処理の前に画素データを並べ替えて色配列を揃えた方が、得られる差分値をより小さくすることができ、データ量を削減し易いため望ましい。また、イメージセンサ上にカラーフィルタを設けない場合（モノクロ撮影の場合）にも上記色配列に応じた並べ替え処理は行わなくてよい。
【００５７】
＜適用例＞
図２３は、上記実施の形態の撮像装置１から出力に基づいて視点画像を生成する画像生成システムの一例を模式的に表したものである。このように、撮像装置１は、例えば、複数のインターフェース（センサーインターフェース１２１，ＵＳＢインターフェース１２０，記憶部１２４とのインターフェース１２２、ネットワークインターフェース（外部インターフェース）１２３）を有している。撮像装置１は、ネットワークインターフェース１２３を介して、ネットワーク上のサーバ１２５あるいは電子機器１２６と通信可能となっている。サーバ１２５は、画像処理部１１２を備えており、所定のソフトウェア等を用いて様々な画像処理（デモザイク処理、視点画像生成処理等）を施すことができる。これにより、撮像装置１からサーバ１２５へ、圧縮後の撮像データＤ２（ＲＡＷ画像データ）を転送する（アップロードする）ことができる。また、サーバ１２５では、取得した撮像データＤ２を展開後、その展開後のＲＡＷ画像データに対して画像処理を施すことで、様々な画像を生成可能である。例えば、展開した撮像データＤ２に基づいて、上述したように、各マトリクス領域Ｍ内で互いに同一位置にある画素データを抽出し、これらを合成する処理を行うと共に、デモザイク処理や他の画像処理を行うことにより、複数の視点画像を生成する。このようにして生成した視点画像（処理画像）Ｄ３は、例えばＰＣやネットＴＶ等の電子機器１２６に取り込む（ダウンロードする）ことも可能である。
【００５８】
このように、撮像装置１に外部ネットワーク接続用のインターフェースを設け、これを用いて外部のサーバ１２５（画像処理部）に撮像データをＲＡＷ画像の状態で転送することで、様々なソフトウェアを使用した画像処理が可能となる。このようなネットワークシステムにより、ユーザの好みに合った画像生成が可能となり、またカメラ内に画像処理部を設ける必要がなくなるため、カメラコストを削減することができる。また、転送用のデータとして、上述したようなデータ圧縮部１４による可逆的圧縮後のデータ（撮像データＤ２）が用いられることで、効率的なデータ転送が実現できる。尚、転送後、サーバ１２５において撮像データＤ２が展開されるが、展開後の撮像データは、上述したように圧縮前の撮像データＤ０と実質的に同一であるため、処理画像において、データ圧縮に起因する画質劣化を招くことはない。
【００５９】
図２４は、上記のような多視点画像生成システムにおいて、課金サーバを設けた例である。このように、撮像装置１、サーバ１２５および電子機器１２６同士を繋ぐアクセスポイントＡＰを設け、このアクセスポイントＡＰを介して、撮像装置１から撮像データを暗号化してサーバへアップすると共に、サーバ１２５からの処理画像の取得に際しては認証および課金を行うことも可能である。
【００６０】
尚、上記適用例では、サーバ１２５が画像処理部を備えた場合を例示したが、これに限定されず、電子機器１２６が画像処理部を備えていてもよい。また、サーバ１２５は、撮像データＤ２を、上記のように撮像装置１から直接的に取得してもよいし、電子機器１２６を介して間接的に取得するようにしてもよい。逆に、電子機器１２６が画像処理部を備える場合には、撮像データＤ２を撮像装置１から直接的に取得してもよいし、サーバ１２５を介して間接的に取得するようにしてもよい。
【００６１】
以上、実施の形態および変形例を挙げたが、本開示内容は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、１つのマイクロレンズに割り当てられる画素（マトリクス領域Ｍ）が３×３＝９個である場合を例に挙げて説明したが、マトリクス領域Ｍは、これに限定されず、任意のｍ×ｎ（ｍ，ｎは１以上の整数。但し、ｍ＝ｎ＝１を除く。）の画素から構成することができ、ｍ，ｎが互いに異なっていてもよい。
【００６２】
また、上記実施の形態等では、視点分離素子としてレンズアレイを例示したが、光線の視点成分を分離可能な素子であれば、レンズアレイに限定されない。例えば、撮像レンズと、イメージセンサとの間に、ＸＹ平面において複数領域に分割され、各領域において開閉を切り替えることが可能な液晶シャッターを視点分離素子として配置した構成であってもよい。あるいは、ＸＹ平面に複数の孔が形成された、いわゆるピンホールを利用した視点分離素子を用いてもよい。
【００６３】
更に、上記実施の形態等では、データ圧縮部が、マトリクス領域Ｍに配置された全画素数分（上記説明では９つ）の視点画像データを生成して、これら全ての視点画像データについて圧縮処理を行ったが、必ずしも全ての視点画像データを生成、圧縮しなくともよい。例えば、後段の画像処理において、視点画像として左右２枚の視点画像のみが必要とされる場合等には、それらの２枚分の視点画像データのみを転送できればよいため、一部の画素データを用いて必要な視点画像データを生成し、生成した視点画像データに対してのみ、上記一連の圧縮処理（第１〜第４の圧縮処理）を施せばよい。
【００６４】
尚、本開示は以下のような構成を取ることも可能である。
（１）撮像レンズと、前記撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を含むと共に、各画素において前記視点分離素子の通過光線を受光し、その受光量に基づく多視点の撮像データを出力する撮像素子と、前記撮像データに対し可逆的圧縮を施すデータ圧縮部とを備えた撮像装置。
（２）前記撮像データは、複数の画素データを含む画素データ群からなり、前記データ圧縮部は、前記画素データ群に基づいて、それぞれが視点画像に対応するＮ個（Ｎは１以上の整数）の視点画像データを生成し、Ｎ個の視点画像データ間で互いに同一座標にある画素データ同士の第１の差分値を算出し、前記第１の差分値を当該画素データと置き換える第１の圧縮処理を行う上記(1)に記載の撮像装置。
（３）前記撮像素子は、各画素データとして、２以上の色のうちのいずれかの色の画素データを取得し、前記データ圧縮部は、前記第１の圧縮処理において、前記Ｎ個の視点画像データのうちの１の視点画像データを基準視点画像データとし、前記基準視点画像データを構成する画素データ群と同一の色配列となるように、他の視点画像データを構成する画素データ群の並べ替えを行い、前記画素データ群の並べ替えの後、前記第１の差分値を算出する上記(2)に記載の撮像装置。
（４）前記データ圧縮部は、前記第１の圧縮処理において、前記基準視点画像データを第１面の視点画像データとして、第Ｎ面の視点画像データと第（Ｎ−１）面の視点画像データとの間で前記第１の差分値を算出し、算出した第１の差分値を前記第Ｎ面の視点画像データにおける各画素データと置き換える処理を、第Ｎ面から第２面の視点画像データについて順次行うことにより、前記基準視点画像データ以外の（Ｎ−１）個の視点画像データの各画素データを前記第１の差分値に置き換える上記(3)に記載の撮像装置。
（５）前記データ圧縮部は、前記第１の圧縮処理において、前記基準視点画像データと、その他の（Ｎ−１）個の視点画像データのそれぞれとの間で前記第１の差分値を順次算出し、算出した第１の差分値を前記（Ｎ−１）個の視点画像データにおける各画素データと順次置き換える上記(3)に記載の撮像装置。
（６）前記データ圧縮部は、前記第１の圧縮処理の後、前記基準視点画像データを構成する画素データ群に対し、２以上の画素データからなるブロック領域間で、互いに同一位置にある画素データ同士の第２の差分値を算出し、前記第２の差分値を当該画素データと置き換える第２の圧縮処理を行う上記(3)〜(5)のいずれかに記載の撮像装置。
（７）前記データ圧縮部は、前記第２の圧縮処理において、前記基準視点画像データの画素データ群を、それぞれがｐ×ｑ（ｐ，ｑは２以上の整数）の画素データからなるブロック領域に分割し、全ブロック領域のうちの選択的な複数のブロック領域を基準ブロック領域として、前記基準ブロック領域とこれに隣接するブロック領域との間において、前記第２の差分値を順次算出し、算出した第２の差分値と、前記基準ブロック領域以外のブロック領域における各画素データを置き換える上記(6)に記載の撮像装置。
（８）前記データ圧縮部は、前記第２の圧縮処理の後、前記複数の基準ブロック領域のうち、互いに同一の行方向に沿って配列した基準ブロック領域間で互いに同一位置にある画素データ同士の第３の差分値を算出し、前記第３の差分値を当該画素データと置き換える第３の圧縮処理を行う上記(6)または(7)に記載の撮像装置。
（９）前記データ圧縮部は、前記第３の圧縮処理において、前記行方向に沿って一方の端部側から順に第ｎ番目（ｎは２以上の整数）まで配列した複数の基準ブロック領域において、第ｎ番目の基準ブロック領域と第（ｎ−１）番目の基準ブロック領域との間で前記第３の差分値を算出し、算出した第３の差分値を第ｎ番目の基準ブロック領域における各画素データと置き換える処理を、第ｎ番目から第２番目の基準ブロック領域について、行毎に順次行うことにより、第１番目の基準ブロック領域（行基準ブロック領域）以外の基準ブロック領域の各画素データを前記第３の差分値に置き換える上記(8)に記載の撮像装置。
（１０）前記データ圧縮部は、前記第３の圧縮処理の後、各行の端部において列方向に沿って配置された前記行基準ブロック領域同士の間で互いに同一位置にある画素データ同士の第４の差分値を算出し、前記第４の差分値を当該画素データと置き換える第４の圧縮処理を行う上記(9)に記載の撮像装置。
（１１）前記データ圧縮部は、前記第４の圧縮処理において、前記列方向に沿って一方の端部側から順に第ｍ番目（ｍは２以上の整数）まで配列した複数の行基準ブロック領域において、第ｍ番目の行基準ブロック領域と第（ｍ−１）番目の行基準ブロック領域との間で前記第４の差分値を算出し、算出した第４の差分値を第ｍ番目の行基準ブロック領域における各画素データと置き換える処理を、第ｍ番目から第２番目の行基準ブロック領域について順次行うことにより、前記第１番目の行基準ブロック領域以外の行基準ブロック領域の各画素データを前記第４の差分値に置き換える上記(10)に記載の撮像装置。
（１２）前記撮像素子から得られる画素データ群の色配列は、ベイヤー配列である上記(3)〜(11)のいずれかに記載の撮像装置。
（１３）前記データ圧縮部は、圧縮後の撮像データを符号化して出力データを生成する上記(1)〜(12)のいずれかに記載の撮像装置。
（１４）撮像装置と、前記撮像装置からの出力データを通信回線を介して取得し、取得した出力データに基づいて画像処理を行う画像処理部とを備え、前記撮像装置は、撮像レンズと、前記撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を含むと共に、各画素において前記視点分離素子の通過光線を受光し、その受光量に基づく多視点の撮像データを出力する撮像素子と、前記撮像素子から得られた撮像データに対し可逆的圧縮を施すことにより、前記出力データを生成するデータ圧縮部と、を有する画像生成システム。
（１５）前記画像処理部は、ネットワーク上のサーバまたは電子機器内に設けられ、前記出力データを展開後、前記画像処理を行う上記(14)に記載の画像生成システム。
（１６）前記画像処理部は、前記出力データを展開後、展開後のデータから選択的な画素データを抽出して並べ替えを行うことにより、複数の視点画像を生成する上記(14)または(15)に記載の画像生成システム。
（１７）可逆的圧縮が施された多視点撮像データを受信し、受信した多視点撮像データを展開し、展開された多視点撮像データに基づいて画像処理を行うサーバ。
（１８）可逆的圧縮が施された多視点撮像データを受信し、受信した多視点撮像データを展開し、展開された多視点撮像データに基づいて画像処理を行う電子機器。
【符号の説明】
【００６５】
１…撮像装置、１１…撮像レンズ、１２…レンズアレイ、１２ａ…マイクロレンズ、１３…イメージセンサ、１４…データ圧縮部、１５…イメージセンサ駆動部、１６…制御部、２…被写体、Ｄ０〜Ｄ２…撮像データ、Ｄout…出力データ、Ｍ，Ｍａ…マトリクス領域、Ｒ１〜Ｒ９…視点画像（視点画像データ）。
【特許請求の範囲】
【請求項１】
撮像レンズと、
前記撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、
複数の画素を含むと共に、各画素において前記視点分離素子の通過光線を受光し、その受光量に基づく多視点の撮像データを出力する撮像素子と、
前記撮像データに対し可逆的圧縮を施すデータ圧縮部と
を備えた撮像装置。
【請求項２】
前記撮像データは、複数の画素データを含む画素データ群からなり、
前記データ圧縮部は、
前記画素データ群に基づいて、それぞれが視点画像に対応するＮ個（Ｎは１以上の整数）の視点画像データを生成し、
Ｎ個の視点画像データ間で互いに同一座標にある画素データ同士の第１の差分値を算出し、前記第１の差分値を当該画素データと置き換える第１の圧縮処理を行う
請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、各画素データとして、２以上の色のうちのいずれかの色の画素データを取得し、
前記データ圧縮部は、前記第１の圧縮処理において、
前記Ｎ個の視点画像データのうちの１の視点画像データを基準視点画像データとし、前記基準視点画像データを構成する画素データ群と同一の色配列となるように、他の視点画像データを構成する画素データ群の並べ替えを行い、
前記画素データ群の並べ替えの後、前記第１の差分値を算出する
請求項２に記載の撮像装置。
【請求項４】
前記データ圧縮部は、前記第１の圧縮処理において、
前記基準視点画像データを第１面の視点画像データとして、第Ｎ面の視点画像データと第（Ｎ−１）面の視点画像データとの間で前記第１の差分値を算出し、算出した第１の差分値を前記第Ｎ面の視点画像データにおける各画素データと置き換える処理を、第Ｎ面から第２面の視点画像データについて順次行うことにより、前記基準視点画像データ以外の（Ｎ−１）個の視点画像データの各画素データを前記第１の差分値に置き換える
請求項３に記載の撮像装置。
【請求項５】
前記データ圧縮部は、前記第１の圧縮処理において、
前記基準視点画像データと、その他の（Ｎ−１）個の視点画像データのそれぞれとの間で前記第１の差分値を順次算出し、
算出した第１の差分値を前記（Ｎ−１）個の視点画像データにおける各画素データと順次置き換える
請求項３に記載の撮像装置。
【請求項６】
前記データ圧縮部は、前記第１の圧縮処理の後、
前記基準視点画像データを構成する画素データ群に対し、２以上の画素データからなるブロック領域間で、互いに同一位置にある画素データ同士の第２の差分値を算出し、前記第２の差分値を当該画素データと置き換える第２の圧縮処理を行う
請求項３に記載の撮像装置。
【請求項７】
前記データ圧縮部は、前記第２の圧縮処理において、
前記基準視点画像データの画素データ群を、それぞれがｐ×ｑ（ｐ，ｑは２以上の整数）の画素データからなるブロック領域に分割し、
全ブロック領域のうちの選択的な複数のブロック領域を基準ブロック領域として、前記基準ブロック領域とこれに隣接するブロック領域との間において、前記第２の差分値を順次算出し、
算出した第２の差分値と、前記基準ブロック領域以外のブロック領域における各画素データを置き換える
請求項６に記載の撮像装置。
【請求項８】
前記データ圧縮部は、前記第２の圧縮処理の後、
前記複数の基準ブロック領域のうち、互いに同一の行方向に沿って配列した基準ブロック領域間で互いに同一位置にある画素データ同士の第３の差分値を算出し、前記第３の差分値を当該画素データと置き換える第３の圧縮処理を行う
請求項６に記載の撮像装置。
【請求項９】
前記データ圧縮部は、前記第３の圧縮処理において、
前記行方向に沿って一方の端部側から順に第ｎ番目（ｎは２以上の整数）まで配列した複数の基準ブロック領域において、第ｎ番目の基準ブロック領域と第（ｎ−１）番目の基準ブロック領域との間で前記第３の差分値を算出し、算出した第３の差分値を第ｎ番目の基準ブロック領域における各画素データと置き換える処理を、第ｎ番目から第２番目の基準ブロック領域について、行毎に順次行うことにより、第１番目の基準ブロック領域（行基準ブロック領域）以外の基準ブロック領域の各画素データを前記第３の差分値に置き換える
請求項８に記載の撮像装置。
【請求項１０】
前記データ圧縮部は、前記第３の圧縮処理の後、
各行の端部において列方向に沿って配置された前記行基準ブロック領域同士の間で互いに同一位置にある画素データ同士の第４の差分値を算出し、前記第４の差分値を当該画素データと置き換える第４の圧縮処理を行う
請求項９に記載の撮像装置。
【請求項１１】
前記データ圧縮部は、前記第４の圧縮処理において、
前記列方向に沿って一方の端部側から順に第ｍ番目（ｍは２以上の整数）まで配列した複数の行基準ブロック領域において、第ｍ番目の行基準ブロック領域と第（ｍ−１）番目の行基準ブロック領域との間で前記第４の差分値を算出し、算出した第４の差分値を第ｍ番目の行基準ブロック領域における各画素データと置き換える処理を、第ｍ番目から第２番目の行基準ブロック領域について順次行うことにより、前記第１番目の行基準ブロック領域以外の行基準ブロック領域の各画素データを前記第４の差分値に置き換える
請求項１０に記載の撮像装置。
【請求項１２】
前記撮像素子から得られる画素データ群の色配列は、ベイヤー配列である
請求項３に記載の撮像装置。
【請求項１３】
前記データ圧縮部は、圧縮後の撮像データを符号化して出力データを生成する
請求項１に記載の撮像装置。
【請求項１４】
撮像装置と、前記撮像装置からの出力データを通信回線を介して取得し、取得した出力データに基づいて画像処理を行う画像処理部とを備え、
前記撮像装置は、
撮像レンズと、
前記撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、
複数の画素を含むと共に、各画素において前記視点分離素子の通過光線を受光し、その受光量に基づく多視点の撮像データを出力する撮像素子と、
前記撮像素子から得られた撮像データに対し可逆的圧縮を施すことにより、前記出力データを生成するデータ圧縮部と
を有する画像生成システム。
【請求項１５】
前記画像処理部は、ネットワーク上のサーバまたは電子機器内に設けられ、前記出力データを展開後、展開されたデータに基づいて前記画像処理を行う
請求項１４に記載の画像生成システム。
【請求項１６】
前記画像処理部は、展開されたデータから選択的な画素データを抽出して並べ替えを行うことにより、複数の視点画像を生成する
請求項１５に記載の画像生成システム。
【請求項１７】
可逆的圧縮が施された多視点撮像データを受信し、
受信した多視点撮像データを展開し、
展開された多視点撮像データに基づいて画像処理を行う
サーバ。
【請求項１８】
可逆的圧縮が施された多視点撮像データを受信し、
受信した多視点撮像データを展開し、
展開された多視点撮像データに基づいて画像処理を行う
電子機器。
【請求項１】
撮像レンズと、
前記撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、
複数の画素を含むと共に、各画素において前記視点分離素子の通過光線を受光し、その受光量に基づく多視点の撮像データを出力する撮像素子と、
前記撮像データに対し可逆的圧縮を施すデータ圧縮部と
を備えた撮像装置。
【請求項２】
前記撮像データは、複数の画素データを含む画素データ群からなり、
前記データ圧縮部は、
前記画素データ群に基づいて、それぞれが視点画像に対応するＮ個（Ｎは１以上の整数）の視点画像データを生成し、
Ｎ個の視点画像データ間で互いに同一座標にある画素データ同士の第１の差分値を算出し、前記第１の差分値を当該画素データと置き換える第１の圧縮処理を行う
請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、各画素データとして、２以上の色のうちのいずれかの色の画素データを取得し、
前記データ圧縮部は、前記第１の圧縮処理において、
前記Ｎ個の視点画像データのうちの１の視点画像データを基準視点画像データとし、前記基準視点画像データを構成する画素データ群と同一の色配列となるように、他の視点画像データを構成する画素データ群の並べ替えを行い、
前記画素データ群の並べ替えの後、前記第１の差分値を算出する
請求項２に記載の撮像装置。
【請求項４】
前記データ圧縮部は、前記第１の圧縮処理において、
前記基準視点画像データを第１面の視点画像データとして、第Ｎ面の視点画像データと第（Ｎ−１）面の視点画像データとの間で前記第１の差分値を算出し、算出した第１の差分値を前記第Ｎ面の視点画像データにおける各画素データと置き換える処理を、第Ｎ面から第２面の視点画像データについて順次行うことにより、前記基準視点画像データ以外の（Ｎ−１）個の視点画像データの各画素データを前記第１の差分値に置き換える
請求項３に記載の撮像装置。
【請求項５】
前記データ圧縮部は、前記第１の圧縮処理において、
前記基準視点画像データと、その他の（Ｎ−１）個の視点画像データのそれぞれとの間で前記第１の差分値を順次算出し、
算出した第１の差分値を前記（Ｎ−１）個の視点画像データにおける各画素データと順次置き換える
請求項３に記載の撮像装置。
【請求項６】
前記データ圧縮部は、前記第１の圧縮処理の後、
前記基準視点画像データを構成する画素データ群に対し、２以上の画素データからなるブロック領域間で、互いに同一位置にある画素データ同士の第２の差分値を算出し、前記第２の差分値を当該画素データと置き換える第２の圧縮処理を行う
請求項３に記載の撮像装置。
【請求項７】
前記データ圧縮部は、前記第２の圧縮処理において、
前記基準視点画像データの画素データ群を、それぞれがｐ×ｑ（ｐ，ｑは２以上の整数）の画素データからなるブロック領域に分割し、
全ブロック領域のうちの選択的な複数のブロック領域を基準ブロック領域として、前記基準ブロック領域とこれに隣接するブロック領域との間において、前記第２の差分値を順次算出し、
算出した第２の差分値と、前記基準ブロック領域以外のブロック領域における各画素データを置き換える
請求項６に記載の撮像装置。
【請求項８】
前記データ圧縮部は、前記第２の圧縮処理の後、
前記複数の基準ブロック領域のうち、互いに同一の行方向に沿って配列した基準ブロック領域間で互いに同一位置にある画素データ同士の第３の差分値を算出し、前記第３の差分値を当該画素データと置き換える第３の圧縮処理を行う
請求項６に記載の撮像装置。
【請求項９】
前記データ圧縮部は、前記第３の圧縮処理において、
前記行方向に沿って一方の端部側から順に第ｎ番目（ｎは２以上の整数）まで配列した複数の基準ブロック領域において、第ｎ番目の基準ブロック領域と第（ｎ−１）番目の基準ブロック領域との間で前記第３の差分値を算出し、算出した第３の差分値を第ｎ番目の基準ブロック領域における各画素データと置き換える処理を、第ｎ番目から第２番目の基準ブロック領域について、行毎に順次行うことにより、第１番目の基準ブロック領域（行基準ブロック領域）以外の基準ブロック領域の各画素データを前記第３の差分値に置き換える
請求項８に記載の撮像装置。
【請求項１０】
前記データ圧縮部は、前記第３の圧縮処理の後、
各行の端部において列方向に沿って配置された前記行基準ブロック領域同士の間で互いに同一位置にある画素データ同士の第４の差分値を算出し、前記第４の差分値を当該画素データと置き換える第４の圧縮処理を行う
請求項９に記載の撮像装置。
【請求項１１】
前記データ圧縮部は、前記第４の圧縮処理において、
前記列方向に沿って一方の端部側から順に第ｍ番目（ｍは２以上の整数）まで配列した複数の行基準ブロック領域において、第ｍ番目の行基準ブロック領域と第（ｍ−１）番目の行基準ブロック領域との間で前記第４の差分値を算出し、算出した第４の差分値を第ｍ番目の行基準ブロック領域における各画素データと置き換える処理を、第ｍ番目から第２番目の行基準ブロック領域について順次行うことにより、前記第１番目の行基準ブロック領域以外の行基準ブロック領域の各画素データを前記第４の差分値に置き換える
請求項１０に記載の撮像装置。
【請求項１２】
前記撮像素子から得られる画素データ群の色配列は、ベイヤー配列である
請求項３に記載の撮像装置。
【請求項１３】
前記データ圧縮部は、圧縮後の撮像データを符号化して出力データを生成する
請求項１に記載の撮像装置。
【請求項１４】
撮像装置と、前記撮像装置からの出力データを通信回線を介して取得し、取得した出力データに基づいて画像処理を行う画像処理部とを備え、
前記撮像装置は、
撮像レンズと、
前記撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、
複数の画素を含むと共に、各画素において前記視点分離素子の通過光線を受光し、その受光量に基づく多視点の撮像データを出力する撮像素子と、
前記撮像素子から得られた撮像データに対し可逆的圧縮を施すことにより、前記出力データを生成するデータ圧縮部と
を有する画像生成システム。
【請求項１５】
前記画像処理部は、ネットワーク上のサーバまたは電子機器内に設けられ、前記出力データを展開後、展開されたデータに基づいて前記画像処理を行う
請求項１４に記載の画像生成システム。
【請求項１６】
前記画像処理部は、展開されたデータから選択的な画素データを抽出して並べ替えを行うことにより、複数の視点画像を生成する
請求項１５に記載の画像生成システム。
【請求項１７】
可逆的圧縮が施された多視点撮像データを受信し、
受信した多視点撮像データを展開し、
展開された多視点撮像データに基づいて画像処理を行う
サーバ。
【請求項１８】
可逆的圧縮が施された多視点撮像データを受信し、
受信した多視点撮像データを展開し、
展開された多視点撮像データに基づいて画像処理を行う
電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１３−９００５９（Ｐ２０１３−９００５９Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２７１７５（Ｐ２０１１−２２７１７５）
【出願日】平成２３年１０月１４日（２０１１．１０．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１４日（２０１１．１０．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]