画像処理装置および画像処理方法
【課題】奥行き位置を変えて撮像された複数枚の画像が持つ３次元情報を有効活用し、十分な立体感を持つ画像の表示を可能とする。
【解決手段】奥行き方向の位置を変えて撮像された複数枚の画像を処理して左眼画像および右眼画像を生成する。複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成する。さらに、各画像群に対して画素位置毎に画素の加算平均処理を行って、左眼画像および右眼画像を生成する。
【解決手段】奥行き方向の位置を変えて撮像された複数枚の画像を処理して左眼画像および右眼画像を生成する。複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成する。さらに、各画像群に対して画素位置毎に画素の加算平均処理を行って、左眼画像および右眼画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関する。特に、この発明は、奥行き方向の位置を変えて撮像された複数の画像を処理して立体画像表示用の左眼画像および右眼画像を生成する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
例えば、特許文献１には、両眼視差を利用した立体画像表示についての記載がある。図８は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
【０００３】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
【０００４】
従来、例えば、蛍光顕微鏡を用いて、人間の細胞などの生体を、奥行き方向の位置を変えて撮像することが行われている。蛍光顕微鏡は、手前にある物体に遮られることなく、各奥行き位置の画像を撮像できる。
【０００５】
蛍光顕微鏡は、観察したい細胞などに蛍光体を付着させ、レーザー光などを照射して励起させ、励起状態から基底状態に戻るときに放射される光を観察する顕微鏡である。詳細説明は省略するが、蛍光顕微鏡としては、共焦点顕微鏡、２光子励起顕微鏡などが知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、上述したように奥行き（深さ）方向の位置を変えて撮像した複数枚の画像を画素毎に加算平均の処理を行って１枚の２次元画像を生成して評価することが多かった。図９は、２０枚の画像に対して加算平均の処理を行って、１枚の２次元画像を生成する例を示している。「＃１」−「＃２０」は撮像画像を示し、「＃１−＃２０」は生成された２次元画像を示している。この場合、複数枚の画像は奥行き位置を変えて撮像されたものであって３次元の情報を持つが、縮退して２次元の状態で評価するものであり、３次元の情報が有効活用されていない。
【０００８】
なお、従来、立体感を出すために、視点を変化させて動かすこと、あるいは、上下関係を強調する影をつけること、等を行っている。しかし、視点を変化させて動かす場合には、ユーザがどこから見るかを操作する必要があり、評価に集中できないという不都合がある。また、上下関係を強調する影をつけるものにあっては、立体感としては不十分である。
【０００９】
本技術の目的は、奥行き位置を変えて撮像された複数枚の画像が持つ３次元情報を有効活用し、十分な立体感を持つ画像の表示を可能とする、ことにある。
【課題を解決するための手段】
【００１０】
本技術の概念は、
奥行き方向の位置を変えて撮像された複数枚の画像を処理して左眼画像および右眼画像を生成する画像生成部を備え、
上記画像生成部は、
上記複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成し、
上記各画像群に対して画素位置毎に画素の加算平均処理を行って、上記左眼画像および上記右眼画像を生成する
画像処理装置にある。
【００１１】
本技術において、画像生成部により、奥行き方向の位置を変えて撮像された複数枚の画像が処理されて左眼画像および右眼画像が生成される。例えば、複数枚の画像は、蛍光顕微鏡画像である。画像生成部では、複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理が行われて、視差が付与された左眼画像群および右眼画像群が生成される。そして、さらに、各画像群に対して画素位置毎に画素の加算平均処理が行われて、左眼画像および右眼画像が生成される。このように生成された左眼画像および右眼画像により、両眼視差を利用した立体画像表示が可能となる。
【００１２】
この場合、例えば、画像生成部は、複数枚の画像に対し、基準位置の画像を中心として、この基準位置より前側の画像を奥行き位置に応じて水平方向の一の方向に順次ずらすと共に、この基準位置より奥側の画像を奥行き位置に応じて水平方向の他の方向にずらす処理を行って左眼画像群を構成する複数枚の画像を生成し、この複数枚の画像に対し画素位置毎に画素の加算平均の処理を行って上記左眼画像を生成し、複数枚の画像に対し、基準位置の画像を中心として、この基準位置より前側の画像を奥行き位置に応じて水平方向の他の方向に順次ずらすと共に、この基準位置より奥側の画像を奥行き位置に応じて水平方向の一の方向にずらす処理を行って右眼画像群を構成する複数枚の画像を生成し、この複数枚の画像に対し画素位置毎に画素の加算平均の処理を行って右眼画像を生成する、ようにされる。
【００１３】
このように本技術においては、奥行き方向の位置を変えて撮像された複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理が行われて、視差が付与された左眼画像群および右眼画像群が生成される。また、本技術においては、各画像群に対して画素位置毎に画素の加算平均処理が行われて左眼画像および右眼画像が生成される。そのため、奥行き位置を変えて撮像された複数枚の画像が持つ３次元情報が有効活用され、十分な立体感を持つ画像の表示が可能となる。
【００１４】
本技術において、例えば、画像の奥行き位置とずらし量との関係は非線形に設定されてもよい。視差と奥行きの関係は非線形である。そのため、画像の奥行き位置とずらし量との関係が非線形に設定されることで、厳密に奥行きを再現することが可能となる。
【００１５】
また、本技術において、例えば、画像生成部は、各画像群に対して加算平均の処理を行う際に陰面処理を行う、ようにされてもよい。各奥行き位置の画像にその手前にある物体が写り込む場合、この陰面処理を施すことで、各画像が持つ誤った３次元情報を用いることなく、左眼画像および右眼画像を生成することが可能となる。
【００１６】
また、本技術において、例えば、画像生成部で生成された各画像の少なくともコントラスト調整を行う画質調整部をさらに備える、ようにされてもよい。この場合、例えば、画像生成部で生成された各画像のダイナミックレンジを広げることで、暗い画像を明るく調整し見やすくすることが可能となる。
【発明の効果】
【００１７】
本技術によれば、奥行き位置を変えて撮像された複数枚の画像が持つ３次元情報を有効活用し、十分な立体感を持つ画像の表示が可能になる。
【図面の簡単な説明】
【００１８】
【図１】本技術の第１の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】画像生成部における画像のずら処理および加算平均処理を説明するための図である。
【図３】実空間の撮像画像における水平サイズ、垂直サイズおよび奥行きの広がりと、３Ｄモニター表示上における水平サイズ、垂直サイズおよび奥行きの一例を示す図である。
【図４】画像の奥行き位置とずらし量との関係（線形、非線形）を説明するための図である。
【図５】本技術の第２の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図６】画像生成部における陰面処理を説明するための図である。
【図７】最も前側の画像（＃１の画像）にのみ有効領域がある場合の陰面処理を説明するための図である。
【図８】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。
【図９】従来の奥行き（深さ）方向の位置を変えて撮像した複数枚の画像を画素毎に加算平均の処理を行って１枚の２次元画像を生成する処理を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例
【００２０】
＜１．第１の実施の形態＞
［画像処理装置の構成］
図１は、本技術の第１の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、画像生成部１０１と、シフト量決定部１０２と、画質調整部１０３を有している。この画像処理装置１００は、奥行き位置を変えて撮像された複数枚（Ｎ枚）の画像（蛍光顕微鏡画像）に基づいて、ステレオ立体画像を表示するための左眼画像および右眼画像を生成する。
【００２１】
画像生成部１０１は、複数枚の画像（画像データ）に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成する。そして、画像生成部１０１は、各画像群に対して画素位置毎に画素の加算平均処理を行って、左眼画像ＳＬおよび右眼画像ＳＲを生成する。
【００２２】
図２は、画像生成部１０１の処理例を示している。この処理例では、奥行き方向に等間隔をもって順次位置を変えて撮像された＃１〜＃８の８枚の画像を取り扱う例であり、＃４の画像を基準位置の画像としている。
【００２３】
画像生成部１０１は、８枚の画像に対し、基準位置の画像（＃４の画像）を中心として、奥行き位置に応じた水平方向へのずらし処理を行って、左眼画像群を構成する複数枚の画像を生成する。すなわち、画像生成部１０１は、基準位置の画像より前側の画像（＃３〜＃１の画像）を奥行き位置に応じて水平方向の一の方向に順次ずらすと共に、基準位置の画像より奥側の画像（＃５〜＃８の画像）を奥行き位置に応じて水平方向の他の方向にずらす。
【００２４】
この場合、画像生成部１０１は、基準位置の画像（＃４の画像）より前側の画像を、順次、水平方向に、“＋ｄ′”だけずらしていく。これにより、基準位置の画像（＃４の画像）に対して、最も手前の画像（＃１）の画像は、水平方向に“＋３ｄ′”だけずれた状態となる。また、この場合、画像生成部１０１は、基準位置の画像（＃４の画像）より奥側の画像を、順次、水平方向に、“−ｄ′”だけずらしていく。これにより、基準位置の画像（＃４の画像）に対して、最も奥の画像（＃８）の画像は、水平方向に“−４ｄ′”だけずれた状態となる。ここで、「ｄ′」は、後述するように、シフト量決定部１０２において、撮像条件および表示条件に基づいて決定されるシフト量を示している。
【００２５】
そして、画像生成部１０１は、ずらし処理が行われた左眼画像群を構成する複数枚の画像（＃１〜＃８の画像）に対して、画素位置毎に画素（画素データ）の加算平均処理を行って、左眼画像ＳＬ（＃１−＃８）を生成する。この場合、ずらし処理が行われていることから、画素位置によって、加算平均処理の対象となる画素の個数は１個〜８個のいずれかとなる。
【００２６】
また、画像生成部１０１は、８枚の画像に対し、基準位置の画像（＃４の画像）を中心として、奥行き位置に応じた水平方向へのずらし処理を行って、右眼画像群を構成する複数枚の画像を生成する。すなわち、画像生成部１０１は、基準位置の画像より前側の画像（＃３〜＃１の画像）を奥行き位置に応じて水平方向の他の方向に順次ずらすと共に、基準位置の画像より奥側の画像（＃５〜＃８の画像）を奥行き位置に応じて水平方向の一の方向にずらす。このずらし処理は、上述の左眼画像群を構成する複数枚の画像を生成する場合とは逆の方向への対称的なずらしを行う処理となる。
【００２７】
この場合、画像生成部１０１は、基準位置の画像（＃４の画像）より前側の画像を、順次、水平方向に、“−ｄ′”だけずらしていく。これにより、基準位置の画像（＃４の画像）に対して、最も手前の画像（＃１）の画像は、水平方向に“−３ｄ′”だけずれた状態となる。また、この場合、画像生成部１０１は、基準位置の画像（＃４の画像）より奥側の画像を、順次、水平方向に、“＋ｄ′”だけずらしていく。これにより、基準位置の画像（＃４の画像）に対して、最も奥の画像（＃８）の画像は、水平方向に“＋４ｄ′”だけずれた状態となる。
【００２８】
そして、画像生成部１０１は、ずらし処理が行われた右眼画像群を構成する複数枚の画像（＃１〜＃８の画像）に対して、画素位置毎に画素（画素データ）の加算平均処理を行って、右眼画像ＳＲ（＃１−＃８）を生成する。この場合、ずらし処理が行われていることから、画素位置によって、加算平均処理の対象となる画素の個数は１個〜８個のいずれかとなる。
【００２９】
図１に戻って、シフト量決定部１０２は、撮像条件および表示条件に基づいて、シフト量ｄを決定する。以下、シフト量決定部１０２におけるシフト量ｄ′の決定方法の詳細を説明する。なお、図３は、実空間の撮像画像における水平サイズ、垂直サイズおよび奥行きの広がりと、３Ｄモニター表示上における水平サイズ、垂直サイズおよび奥行きの一例を示している。
【００３０】
撮像画像のドットピッチをｄｐs[m]とすると、撮像画像上での奥行きの広がりは、Ｚs[pixel]＝Ｚs[m]/ｄｐsである。一方で、立体表示時に再現される奥行きＬd[m]は、Ｌd＝Ｌs・ｄe/(ｄe＋ｄ)となる。ここで、Ｌsは視聴距離、ｄeは両眼間隔、ｄは視差（手前側が正となる定義）を表す。撮像画像を表示したときの画角に合わせて、ステレオ画像を作成するためには、Ｚsと同等となるｄを設定すればよい。
【００３１】
ここで、一番手前の対象画像の視差をｄmax、最奥の対象画像の視差をｄminとすると、以下の（１）式が成り立つ。
【数１】
【００３２】
なお、ｄｐdは、表示ディスプレイのドットピッチを表している。（１）式から、ｄmaxとｄminの差であるΔｄは以下の（２）式で表され、Δｄをピクセル値で表すと、（３）式となる。
【数２】
【数３】
【００３３】
この（３）式から、シフト量ｄ′［pixel］は、（４）式で表される。ここで、Ｎは、撮像画像の枚数を示している。
【数４】
【００３４】
なお、（５）式は、（４）式に（３）式を代入し、さらに、スケーリングパラメータｓ（通常は１）を加えたものである。
【数５】
【００３５】
なお、全てのパラメータが得られない場合、予め次のように設定してもよい。
（１）ディスプレイは４６Ｖサイズの１９２０×１０８０のパネルで、ドットピッチｄｐdは０．０５３［ｍ］
（２）視聴距離Ｌsは３Ｈ（ディスプレイの高さの３倍）
（３）両眼間隔ｄeは６．５ｃｍ
【００３６】
また、ｄ′は、適宜、定数倍してもよい。この場合、スケーリングパラメータｓを調整する。また、Δｄが、快適な視差レンジを超える場合、ｄ′を縮小して、快適な視差範囲に収める。この場合、スケーリングパラメータｓを調整する。詳細説明は省略するが、快適な視差範囲は、想定視聴距離、画面サイズなどから求めることができる。例えば、４６Ｖ型ＴＶで快適に視聴できる範囲は、視聴距離１．７ｍでは、奥行きが０．５ｍ（手前）〜１．５ｍ（奥）であり、視差に置き換えると−５６画素（手前）〜５５画素（奥）である。
【００３７】
なお、上述では画像の奥行き位置とずらし量との関係を、図４（ａ）に示すように、線形に設定したものである。そのため、奥行き方向に等間隔をもって順次位置を変えて撮像された＃１〜＃８の８枚の画像に対してシフト量ｄ′だけ順次ずらす処理を行っている。この場合、各画像に付与する視差はΔｄを等分したものとなる。
【００３８】
しかし、画像の奥行き位置とずらし量との関係を、図４（ｂ）に示すように、非線形に設定してもよい。この場合、各画像に付与する視差はΔｄを非線形に分けたものとされる。本来、視差と奥行きの関係は非線形であるため、このように画像の奥行き位置とずらし量との関係が非線形に設定されることで、厳密に奥行きを再現可能となる。
【００３９】
図１に戻って、画質調整部１０３は、画像生成部１０１で生成された左眼画像ＳＬおよび右眼画像ＳＲに対して、コントラスト調整などの画質調整を行って、画質調整された左眼画像ＳＬ′および右眼画像ＳＲ′を出力する。この場合、例えば、画像生成部１０１で生成された各画像のダイナミックレンジを広げることで、暗い画像を明るく調整し、見やすくすることが可能となる。
【００４０】
図１に示す画像処理装置１００の動作を説明する。奥行き位置を変えて撮像された複数枚の画像（画像データ）は画像生成部１０１に供給される。また、シフト量決定部１０２に、撮像画像のドットピッチ、撮像画像の奥行きの広がり等の撮像条件、および視聴距離、両眼間隔等の表示条件を示すパラメータが供給される。そして、シフト量決定部１０２では、例えば、（５）式に基づいて、シフト量ｄ′が決定される。このシフト量ｄ′は、画像生成部１０１における各画像のずらし処理に用いられる。
【００４１】
画像生成部１０１では、複数枚（Ｎ枚）の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理が行われて、視差が付与された左眼画像群および右眼画像群が生成される。そして、画像生成部１０１では、各画像群に対して画素位置毎に画素の加算平均処理が行われて、左眼画像ＳＬおよび右眼画像ＳＲが生成される（図２参照）。
【００４２】
画像生成部１０１で生成された左眼画像ＳＬおよび右眼画像ＳＲは画質調整部１０３に供給される。画質調整部１０３では、左眼画像ＳＬおよび右眼画像ＳＲに対して、コントラスト調整などの画質調整が行われる。例えば、画像生成部１０１で生成された各画像のダイナミックレンジが広げられ、暗い画像が明るく調整される。そして、画質調整部１０３から画質調整された左眼画像ＳＬ′および右眼画像ＳＲ′が出力される。
【００４３】
上述したように、図１に示す画像処理装置１００において、画像生成部１０１では、奥行き方向の位置を変えて撮像された複数枚の画像に基づいて、視差が付与された左眼画像ＳＬおよび右眼画像ＳＲが生成される。すなわち、画像生成部１０１では、奥行き方向の位置を変えて撮像された複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理が行われ、視差が付与された左眼画像群および右眼画像群が生成される。
【００４４】
そして、この画像生成部１０１では、各画像群に対して画素位置毎に画素の加算平均処理が行われて左眼画像ＳＬおよび右眼画像ＳＲが生成される。そのため、奥行き位置を変えて撮像された複数枚の画像が持つ３次元情報が有効活用されて、視差が付与された左眼画像ＳＬおよび右眼画像ＳＲが生成されるものであり、十分な立体感を持つ画像の表示が可能となる。
【００４５】
また、図１に示す画像処理装置１００において、画像生成部１０１で生成された左眼画像ＳＬおよび右眼画像ＳＲは画質調整部１０３に供給され、コントラスト調整などの画質調整が行われる。そのため、例えば、画像生成部１０１で生成された各画像ＳＬ，ＳＲのダイナミックレンジが広げられ、暗い画像が明るく調整され、立体画像を見やすくすることができる。
【００４６】
＜第２の実施の形態＞
［画像処理装置の構成例］
図５は、本技術の第２の実施の形態としての画像処理装置１００Ａの構成例を示している。この画像処理装置１００Ａは、画像生成部１０１Ａと、シフト量決定部１０２と、画質調整部１０３を有している。この図５において、図１と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。
【００４７】
この画像処理装置１００Ａは、図１に示す画像処理装置１００と同様に、奥行き位置を変えて撮像された複数枚の画像に基づいて、ステレオ立体画像を表示するための左眼画像および右眼画像を生成する。ただし、この画像処理装置１００Ａでは、画像生成部１０１Ａで陰面処理が行われることから、複数枚（Ｎ枚）の画像として、例えば、蛍光顕微鏡画像でない、各奥行き位置の画像にその手前にある物体が写り込んでいるような画像の処理が可能となる。
【００４８】
画像生成部１０１Ａは、複数枚（Ｎ枚）の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成する。そして、画像生成部１０１は、各画像群に対して画素位置毎に画素の加算平均処理を行って、左眼画像ＳＬおよび右眼画像ＳＲを生成する。この処理は、図１に示す画像処理装置１００における画像生成部１０１の処理と同じである。
【００４９】
画像生成部１０１Ａは、画像生成部１０１とは異なり、有効領域の情報に基づいて、各画像群に対して加算平均の処理を行う際に、陰面処理を行う。ここで、有効領域は、各画像の撮像位置に実際に存在する物体の領域を示す。例えば、有効領域の情報は、ユーザにより手動で与えられる。また、例えば、有効領域の情報は、例えば、画像生成部１０１Ａにおいて、空間周波数が高い部分、あるいは低い部分を抽出して有効領域としてもよい。なお、図５においては、有効領域情報が画像生成部１０１Ａの外部から与えられるように示している。
【００５０】
陰面処理について説明する。図６（ａ）は、陰面処理を行わない場合を示している。この場合には、各画素位置においては、蓄積重みは、「１／画像数」とされる。例えば、８枚の画像が重なる画素位置においては、その蓄積重みは１／８とされる。これに対して、図６（ｂ）は、陰面処理を行う場合を示している。この場合、有効領域がない各画素位置においては、蓄積重みは、「１／画像数」とされる。しかし、有効領域内の蓄積重みは１とされ、手前側の画像の有効領域の陰面に当たる部分で、奥側の画像の蓄積重みは０とされる。なお、陰面処理は、この図６（ｂ）に示す方法に限定されるものではない。
【００５１】
図７は、最も前側の画像（＃１の画像）にのみ有効領域がある場合の陰面処理を示している。なお、図７には、図面の簡単化のために、左眼画像ＳＬの処理についてだけ示している。この場合、＃１の画像の有効領域内の各画素位置においては、この＃１の画像の画素がそのまま左眼画像ＳＬ（＃１−＃８）の画素とされる。そして、＃１の画像の有効領域外の各画素位置においては、各画像の画素が加算平均されて左眼画像ＳＬ（＃１−＃８）の画素とされる。
【００５２】
図５に示す画像処理装置１００Ａのその他は、図１に示す画像処理装置１００の構成と同様であり、同様の動作をする。
【００５３】
図５に示す画像処理装置１００Ａにおいては、図１に示す画像処理装置１００と同様の効果を得ることができる。さらに、図５に示す画像処理装置１００Ａにおいては、画像生成部１０１Ａにおいて、左眼画像群および右眼画像群に対して画素位置毎に画素の加算平均処理を行って左眼画像ＳＬおよび右眼画像ＳＲを生成する際に、陰面処理が行われる（図６（ｂ）参照）。そのため、複数枚（Ｎ枚）の画像として、例えば、蛍光顕微鏡画像でない、各奥行き位置の画像にその手前にある物体が写り込んでいるような画像の処理が可能となる。つまり、この陰面処理を施すことで、各画像が持つ誤った３次元情報を用いることなく左眼画像ＳＬおよび右眼画像ＳＲを生成することが可能となる。
【００５４】
＜３．変形例＞
なお、上述実施の形態においては、奥行き位置を変えて撮像された複数枚の画像が蛍光顕微鏡などの顕微鏡画像であるものを示した。しかし、本技術は、その他の奥行き位置を変えて撮像された複数枚の画像を処理して、ステレオ立体画像用の左眼画像および右眼画像を生成する際にも、同様に適用できる。
【００５５】
また、本技術は、以下のような構成も取ることができる。
（１）奥行き方向の位置を変えて撮像された複数枚の画像を処理して左眼画像および右眼画像を生成する画像生成部を備え、
上記画像生成部は、
上記複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成し、
上記各画像群に対して画素位置毎に画素の加算平均処理を行って、上記左眼画像および上記右眼画像を生成する
画像処理装置。
（２）上記画像生成部は、
上記複数枚の画像に対し、上記基準位置の画像を中心として、該基準位置より前側の画像を奥行き位置に応じて水平方向の一の方向に順次ずらすと共に、該基準位置より奥側の画像を奥行き位置に応じて水平方向の他の方向にずらす処理を行って左眼画像群を構成する複数枚の画像を生成し、該複数枚の画像に対し画素位置毎に画素の加算平均の処理を行って上記左眼画像を生成し、
上記複数枚の画像に対し、上記基準位置の画像を中心として、該基準位置より前側の画像を奥行き位置に応じて水平方向の上記他の方向に順次ずらすと共に、該基準位置より奥側の画像を奥行き位置に応じて水平方向の上記一の方向にずらす処理を行って右眼画像群を構成する複数枚の画像を生成し、該複数枚の画像に対し画素位置毎に画素の加算平均の処理を行って上記右眼画像を生成する
前記（１）に記載の画像処理装置。
（３）上記画像の奥行き位置とずらし量との関係は非線形に設定される
前記（１）または（２）に記載の画像処理装置。
（４）上記画像生成部は、
上記各画像群に対して上記加算平均の処理を行う際に陰面処理を行う
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）上記画像生成部で生成された上記各画像の少なくともコントラスト調整を行う画質調整部をさらに備える
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）上記奥行き方向の位置を変えて撮像された複数枚の画像は、蛍光顕微鏡画像である
前記（１）から（５）のいずれかに記載の画像処理装置。
【符号の説明】
【００５６】
１００，１００Ａ・・・画像処理装置
１０１，１０１Ａ・・・画像生成部
１０２・・・シフト量決定部
１０３・・・画質調整部
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関する。特に、この発明は、奥行き方向の位置を変えて撮像された複数の画像を処理して立体画像表示用の左眼画像および右眼画像を生成する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
例えば、特許文献１には、両眼視差を利用した立体画像表示についての記載がある。図８は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
【０００３】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
【０００４】
従来、例えば、蛍光顕微鏡を用いて、人間の細胞などの生体を、奥行き方向の位置を変えて撮像することが行われている。蛍光顕微鏡は、手前にある物体に遮られることなく、各奥行き位置の画像を撮像できる。
【０００５】
蛍光顕微鏡は、観察したい細胞などに蛍光体を付着させ、レーザー光などを照射して励起させ、励起状態から基底状態に戻るときに放射される光を観察する顕微鏡である。詳細説明は省略するが、蛍光顕微鏡としては、共焦点顕微鏡、２光子励起顕微鏡などが知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、上述したように奥行き（深さ）方向の位置を変えて撮像した複数枚の画像を画素毎に加算平均の処理を行って１枚の２次元画像を生成して評価することが多かった。図９は、２０枚の画像に対して加算平均の処理を行って、１枚の２次元画像を生成する例を示している。「＃１」−「＃２０」は撮像画像を示し、「＃１−＃２０」は生成された２次元画像を示している。この場合、複数枚の画像は奥行き位置を変えて撮像されたものであって３次元の情報を持つが、縮退して２次元の状態で評価するものであり、３次元の情報が有効活用されていない。
【０００８】
なお、従来、立体感を出すために、視点を変化させて動かすこと、あるいは、上下関係を強調する影をつけること、等を行っている。しかし、視点を変化させて動かす場合には、ユーザがどこから見るかを操作する必要があり、評価に集中できないという不都合がある。また、上下関係を強調する影をつけるものにあっては、立体感としては不十分である。
【０００９】
本技術の目的は、奥行き位置を変えて撮像された複数枚の画像が持つ３次元情報を有効活用し、十分な立体感を持つ画像の表示を可能とする、ことにある。
【課題を解決するための手段】
【００１０】
本技術の概念は、
奥行き方向の位置を変えて撮像された複数枚の画像を処理して左眼画像および右眼画像を生成する画像生成部を備え、
上記画像生成部は、
上記複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成し、
上記各画像群に対して画素位置毎に画素の加算平均処理を行って、上記左眼画像および上記右眼画像を生成する
画像処理装置にある。
【００１１】
本技術において、画像生成部により、奥行き方向の位置を変えて撮像された複数枚の画像が処理されて左眼画像および右眼画像が生成される。例えば、複数枚の画像は、蛍光顕微鏡画像である。画像生成部では、複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理が行われて、視差が付与された左眼画像群および右眼画像群が生成される。そして、さらに、各画像群に対して画素位置毎に画素の加算平均処理が行われて、左眼画像および右眼画像が生成される。このように生成された左眼画像および右眼画像により、両眼視差を利用した立体画像表示が可能となる。
【００１２】
この場合、例えば、画像生成部は、複数枚の画像に対し、基準位置の画像を中心として、この基準位置より前側の画像を奥行き位置に応じて水平方向の一の方向に順次ずらすと共に、この基準位置より奥側の画像を奥行き位置に応じて水平方向の他の方向にずらす処理を行って左眼画像群を構成する複数枚の画像を生成し、この複数枚の画像に対し画素位置毎に画素の加算平均の処理を行って上記左眼画像を生成し、複数枚の画像に対し、基準位置の画像を中心として、この基準位置より前側の画像を奥行き位置に応じて水平方向の他の方向に順次ずらすと共に、この基準位置より奥側の画像を奥行き位置に応じて水平方向の一の方向にずらす処理を行って右眼画像群を構成する複数枚の画像を生成し、この複数枚の画像に対し画素位置毎に画素の加算平均の処理を行って右眼画像を生成する、ようにされる。
【００１３】
このように本技術においては、奥行き方向の位置を変えて撮像された複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理が行われて、視差が付与された左眼画像群および右眼画像群が生成される。また、本技術においては、各画像群に対して画素位置毎に画素の加算平均処理が行われて左眼画像および右眼画像が生成される。そのため、奥行き位置を変えて撮像された複数枚の画像が持つ３次元情報が有効活用され、十分な立体感を持つ画像の表示が可能となる。
【００１４】
本技術において、例えば、画像の奥行き位置とずらし量との関係は非線形に設定されてもよい。視差と奥行きの関係は非線形である。そのため、画像の奥行き位置とずらし量との関係が非線形に設定されることで、厳密に奥行きを再現することが可能となる。
【００１５】
また、本技術において、例えば、画像生成部は、各画像群に対して加算平均の処理を行う際に陰面処理を行う、ようにされてもよい。各奥行き位置の画像にその手前にある物体が写り込む場合、この陰面処理を施すことで、各画像が持つ誤った３次元情報を用いることなく、左眼画像および右眼画像を生成することが可能となる。
【００１６】
また、本技術において、例えば、画像生成部で生成された各画像の少なくともコントラスト調整を行う画質調整部をさらに備える、ようにされてもよい。この場合、例えば、画像生成部で生成された各画像のダイナミックレンジを広げることで、暗い画像を明るく調整し見やすくすることが可能となる。
【発明の効果】
【００１７】
本技術によれば、奥行き位置を変えて撮像された複数枚の画像が持つ３次元情報を有効活用し、十分な立体感を持つ画像の表示が可能になる。
【図面の簡単な説明】
【００１８】
【図１】本技術の第１の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】画像生成部における画像のずら処理および加算平均処理を説明するための図である。
【図３】実空間の撮像画像における水平サイズ、垂直サイズおよび奥行きの広がりと、３Ｄモニター表示上における水平サイズ、垂直サイズおよび奥行きの一例を示す図である。
【図４】画像の奥行き位置とずらし量との関係（線形、非線形）を説明するための図である。
【図５】本技術の第２の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図６】画像生成部における陰面処理を説明するための図である。
【図７】最も前側の画像（＃１の画像）にのみ有効領域がある場合の陰面処理を説明するための図である。
【図８】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。
【図９】従来の奥行き（深さ）方向の位置を変えて撮像した複数枚の画像を画素毎に加算平均の処理を行って１枚の２次元画像を生成する処理を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例
【００２０】
＜１．第１の実施の形態＞
［画像処理装置の構成］
図１は、本技術の第１の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、画像生成部１０１と、シフト量決定部１０２と、画質調整部１０３を有している。この画像処理装置１００は、奥行き位置を変えて撮像された複数枚（Ｎ枚）の画像（蛍光顕微鏡画像）に基づいて、ステレオ立体画像を表示するための左眼画像および右眼画像を生成する。
【００２１】
画像生成部１０１は、複数枚の画像（画像データ）に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成する。そして、画像生成部１０１は、各画像群に対して画素位置毎に画素の加算平均処理を行って、左眼画像ＳＬおよび右眼画像ＳＲを生成する。
【００２２】
図２は、画像生成部１０１の処理例を示している。この処理例では、奥行き方向に等間隔をもって順次位置を変えて撮像された＃１〜＃８の８枚の画像を取り扱う例であり、＃４の画像を基準位置の画像としている。
【００２３】
画像生成部１０１は、８枚の画像に対し、基準位置の画像（＃４の画像）を中心として、奥行き位置に応じた水平方向へのずらし処理を行って、左眼画像群を構成する複数枚の画像を生成する。すなわち、画像生成部１０１は、基準位置の画像より前側の画像（＃３〜＃１の画像）を奥行き位置に応じて水平方向の一の方向に順次ずらすと共に、基準位置の画像より奥側の画像（＃５〜＃８の画像）を奥行き位置に応じて水平方向の他の方向にずらす。
【００２４】
この場合、画像生成部１０１は、基準位置の画像（＃４の画像）より前側の画像を、順次、水平方向に、“＋ｄ′”だけずらしていく。これにより、基準位置の画像（＃４の画像）に対して、最も手前の画像（＃１）の画像は、水平方向に“＋３ｄ′”だけずれた状態となる。また、この場合、画像生成部１０１は、基準位置の画像（＃４の画像）より奥側の画像を、順次、水平方向に、“−ｄ′”だけずらしていく。これにより、基準位置の画像（＃４の画像）に対して、最も奥の画像（＃８）の画像は、水平方向に“−４ｄ′”だけずれた状態となる。ここで、「ｄ′」は、後述するように、シフト量決定部１０２において、撮像条件および表示条件に基づいて決定されるシフト量を示している。
【００２５】
そして、画像生成部１０１は、ずらし処理が行われた左眼画像群を構成する複数枚の画像（＃１〜＃８の画像）に対して、画素位置毎に画素（画素データ）の加算平均処理を行って、左眼画像ＳＬ（＃１−＃８）を生成する。この場合、ずらし処理が行われていることから、画素位置によって、加算平均処理の対象となる画素の個数は１個〜８個のいずれかとなる。
【００２６】
また、画像生成部１０１は、８枚の画像に対し、基準位置の画像（＃４の画像）を中心として、奥行き位置に応じた水平方向へのずらし処理を行って、右眼画像群を構成する複数枚の画像を生成する。すなわち、画像生成部１０１は、基準位置の画像より前側の画像（＃３〜＃１の画像）を奥行き位置に応じて水平方向の他の方向に順次ずらすと共に、基準位置の画像より奥側の画像（＃５〜＃８の画像）を奥行き位置に応じて水平方向の一の方向にずらす。このずらし処理は、上述の左眼画像群を構成する複数枚の画像を生成する場合とは逆の方向への対称的なずらしを行う処理となる。
【００２７】
この場合、画像生成部１０１は、基準位置の画像（＃４の画像）より前側の画像を、順次、水平方向に、“−ｄ′”だけずらしていく。これにより、基準位置の画像（＃４の画像）に対して、最も手前の画像（＃１）の画像は、水平方向に“−３ｄ′”だけずれた状態となる。また、この場合、画像生成部１０１は、基準位置の画像（＃４の画像）より奥側の画像を、順次、水平方向に、“＋ｄ′”だけずらしていく。これにより、基準位置の画像（＃４の画像）に対して、最も奥の画像（＃８）の画像は、水平方向に“＋４ｄ′”だけずれた状態となる。
【００２８】
そして、画像生成部１０１は、ずらし処理が行われた右眼画像群を構成する複数枚の画像（＃１〜＃８の画像）に対して、画素位置毎に画素（画素データ）の加算平均処理を行って、右眼画像ＳＲ（＃１−＃８）を生成する。この場合、ずらし処理が行われていることから、画素位置によって、加算平均処理の対象となる画素の個数は１個〜８個のいずれかとなる。
【００２９】
図１に戻って、シフト量決定部１０２は、撮像条件および表示条件に基づいて、シフト量ｄを決定する。以下、シフト量決定部１０２におけるシフト量ｄ′の決定方法の詳細を説明する。なお、図３は、実空間の撮像画像における水平サイズ、垂直サイズおよび奥行きの広がりと、３Ｄモニター表示上における水平サイズ、垂直サイズおよび奥行きの一例を示している。
【００３０】
撮像画像のドットピッチをｄｐs[m]とすると、撮像画像上での奥行きの広がりは、Ｚs[pixel]＝Ｚs[m]/ｄｐsである。一方で、立体表示時に再現される奥行きＬd[m]は、Ｌd＝Ｌs・ｄe/(ｄe＋ｄ)となる。ここで、Ｌsは視聴距離、ｄeは両眼間隔、ｄは視差（手前側が正となる定義）を表す。撮像画像を表示したときの画角に合わせて、ステレオ画像を作成するためには、Ｚsと同等となるｄを設定すればよい。
【００３１】
ここで、一番手前の対象画像の視差をｄmax、最奥の対象画像の視差をｄminとすると、以下の（１）式が成り立つ。
【数１】
【００３２】
なお、ｄｐdは、表示ディスプレイのドットピッチを表している。（１）式から、ｄmaxとｄminの差であるΔｄは以下の（２）式で表され、Δｄをピクセル値で表すと、（３）式となる。
【数２】
【数３】
【００３３】
この（３）式から、シフト量ｄ′［pixel］は、（４）式で表される。ここで、Ｎは、撮像画像の枚数を示している。
【数４】
【００３４】
なお、（５）式は、（４）式に（３）式を代入し、さらに、スケーリングパラメータｓ（通常は１）を加えたものである。
【数５】
【００３５】
なお、全てのパラメータが得られない場合、予め次のように設定してもよい。
（１）ディスプレイは４６Ｖサイズの１９２０×１０８０のパネルで、ドットピッチｄｐdは０．０５３［ｍ］
（２）視聴距離Ｌsは３Ｈ（ディスプレイの高さの３倍）
（３）両眼間隔ｄeは６．５ｃｍ
【００３６】
また、ｄ′は、適宜、定数倍してもよい。この場合、スケーリングパラメータｓを調整する。また、Δｄが、快適な視差レンジを超える場合、ｄ′を縮小して、快適な視差範囲に収める。この場合、スケーリングパラメータｓを調整する。詳細説明は省略するが、快適な視差範囲は、想定視聴距離、画面サイズなどから求めることができる。例えば、４６Ｖ型ＴＶで快適に視聴できる範囲は、視聴距離１．７ｍでは、奥行きが０．５ｍ（手前）〜１．５ｍ（奥）であり、視差に置き換えると−５６画素（手前）〜５５画素（奥）である。
【００３７】
なお、上述では画像の奥行き位置とずらし量との関係を、図４（ａ）に示すように、線形に設定したものである。そのため、奥行き方向に等間隔をもって順次位置を変えて撮像された＃１〜＃８の８枚の画像に対してシフト量ｄ′だけ順次ずらす処理を行っている。この場合、各画像に付与する視差はΔｄを等分したものとなる。
【００３８】
しかし、画像の奥行き位置とずらし量との関係を、図４（ｂ）に示すように、非線形に設定してもよい。この場合、各画像に付与する視差はΔｄを非線形に分けたものとされる。本来、視差と奥行きの関係は非線形であるため、このように画像の奥行き位置とずらし量との関係が非線形に設定されることで、厳密に奥行きを再現可能となる。
【００３９】
図１に戻って、画質調整部１０３は、画像生成部１０１で生成された左眼画像ＳＬおよび右眼画像ＳＲに対して、コントラスト調整などの画質調整を行って、画質調整された左眼画像ＳＬ′および右眼画像ＳＲ′を出力する。この場合、例えば、画像生成部１０１で生成された各画像のダイナミックレンジを広げることで、暗い画像を明るく調整し、見やすくすることが可能となる。
【００４０】
図１に示す画像処理装置１００の動作を説明する。奥行き位置を変えて撮像された複数枚の画像（画像データ）は画像生成部１０１に供給される。また、シフト量決定部１０２に、撮像画像のドットピッチ、撮像画像の奥行きの広がり等の撮像条件、および視聴距離、両眼間隔等の表示条件を示すパラメータが供給される。そして、シフト量決定部１０２では、例えば、（５）式に基づいて、シフト量ｄ′が決定される。このシフト量ｄ′は、画像生成部１０１における各画像のずらし処理に用いられる。
【００４１】
画像生成部１０１では、複数枚（Ｎ枚）の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理が行われて、視差が付与された左眼画像群および右眼画像群が生成される。そして、画像生成部１０１では、各画像群に対して画素位置毎に画素の加算平均処理が行われて、左眼画像ＳＬおよび右眼画像ＳＲが生成される（図２参照）。
【００４２】
画像生成部１０１で生成された左眼画像ＳＬおよび右眼画像ＳＲは画質調整部１０３に供給される。画質調整部１０３では、左眼画像ＳＬおよび右眼画像ＳＲに対して、コントラスト調整などの画質調整が行われる。例えば、画像生成部１０１で生成された各画像のダイナミックレンジが広げられ、暗い画像が明るく調整される。そして、画質調整部１０３から画質調整された左眼画像ＳＬ′および右眼画像ＳＲ′が出力される。
【００４３】
上述したように、図１に示す画像処理装置１００において、画像生成部１０１では、奥行き方向の位置を変えて撮像された複数枚の画像に基づいて、視差が付与された左眼画像ＳＬおよび右眼画像ＳＲが生成される。すなわち、画像生成部１０１では、奥行き方向の位置を変えて撮像された複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理が行われ、視差が付与された左眼画像群および右眼画像群が生成される。
【００４４】
そして、この画像生成部１０１では、各画像群に対して画素位置毎に画素の加算平均処理が行われて左眼画像ＳＬおよび右眼画像ＳＲが生成される。そのため、奥行き位置を変えて撮像された複数枚の画像が持つ３次元情報が有効活用されて、視差が付与された左眼画像ＳＬおよび右眼画像ＳＲが生成されるものであり、十分な立体感を持つ画像の表示が可能となる。
【００４５】
また、図１に示す画像処理装置１００において、画像生成部１０１で生成された左眼画像ＳＬおよび右眼画像ＳＲは画質調整部１０３に供給され、コントラスト調整などの画質調整が行われる。そのため、例えば、画像生成部１０１で生成された各画像ＳＬ，ＳＲのダイナミックレンジが広げられ、暗い画像が明るく調整され、立体画像を見やすくすることができる。
【００４６】
＜第２の実施の形態＞
［画像処理装置の構成例］
図５は、本技術の第２の実施の形態としての画像処理装置１００Ａの構成例を示している。この画像処理装置１００Ａは、画像生成部１０１Ａと、シフト量決定部１０２と、画質調整部１０３を有している。この図５において、図１と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。
【００４７】
この画像処理装置１００Ａは、図１に示す画像処理装置１００と同様に、奥行き位置を変えて撮像された複数枚の画像に基づいて、ステレオ立体画像を表示するための左眼画像および右眼画像を生成する。ただし、この画像処理装置１００Ａでは、画像生成部１０１Ａで陰面処理が行われることから、複数枚（Ｎ枚）の画像として、例えば、蛍光顕微鏡画像でない、各奥行き位置の画像にその手前にある物体が写り込んでいるような画像の処理が可能となる。
【００４８】
画像生成部１０１Ａは、複数枚（Ｎ枚）の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成する。そして、画像生成部１０１は、各画像群に対して画素位置毎に画素の加算平均処理を行って、左眼画像ＳＬおよび右眼画像ＳＲを生成する。この処理は、図１に示す画像処理装置１００における画像生成部１０１の処理と同じである。
【００４９】
画像生成部１０１Ａは、画像生成部１０１とは異なり、有効領域の情報に基づいて、各画像群に対して加算平均の処理を行う際に、陰面処理を行う。ここで、有効領域は、各画像の撮像位置に実際に存在する物体の領域を示す。例えば、有効領域の情報は、ユーザにより手動で与えられる。また、例えば、有効領域の情報は、例えば、画像生成部１０１Ａにおいて、空間周波数が高い部分、あるいは低い部分を抽出して有効領域としてもよい。なお、図５においては、有効領域情報が画像生成部１０１Ａの外部から与えられるように示している。
【００５０】
陰面処理について説明する。図６（ａ）は、陰面処理を行わない場合を示している。この場合には、各画素位置においては、蓄積重みは、「１／画像数」とされる。例えば、８枚の画像が重なる画素位置においては、その蓄積重みは１／８とされる。これに対して、図６（ｂ）は、陰面処理を行う場合を示している。この場合、有効領域がない各画素位置においては、蓄積重みは、「１／画像数」とされる。しかし、有効領域内の蓄積重みは１とされ、手前側の画像の有効領域の陰面に当たる部分で、奥側の画像の蓄積重みは０とされる。なお、陰面処理は、この図６（ｂ）に示す方法に限定されるものではない。
【００５１】
図７は、最も前側の画像（＃１の画像）にのみ有効領域がある場合の陰面処理を示している。なお、図７には、図面の簡単化のために、左眼画像ＳＬの処理についてだけ示している。この場合、＃１の画像の有効領域内の各画素位置においては、この＃１の画像の画素がそのまま左眼画像ＳＬ（＃１−＃８）の画素とされる。そして、＃１の画像の有効領域外の各画素位置においては、各画像の画素が加算平均されて左眼画像ＳＬ（＃１−＃８）の画素とされる。
【００５２】
図５に示す画像処理装置１００Ａのその他は、図１に示す画像処理装置１００の構成と同様であり、同様の動作をする。
【００５３】
図５に示す画像処理装置１００Ａにおいては、図１に示す画像処理装置１００と同様の効果を得ることができる。さらに、図５に示す画像処理装置１００Ａにおいては、画像生成部１０１Ａにおいて、左眼画像群および右眼画像群に対して画素位置毎に画素の加算平均処理を行って左眼画像ＳＬおよび右眼画像ＳＲを生成する際に、陰面処理が行われる（図６（ｂ）参照）。そのため、複数枚（Ｎ枚）の画像として、例えば、蛍光顕微鏡画像でない、各奥行き位置の画像にその手前にある物体が写り込んでいるような画像の処理が可能となる。つまり、この陰面処理を施すことで、各画像が持つ誤った３次元情報を用いることなく左眼画像ＳＬおよび右眼画像ＳＲを生成することが可能となる。
【００５４】
＜３．変形例＞
なお、上述実施の形態においては、奥行き位置を変えて撮像された複数枚の画像が蛍光顕微鏡などの顕微鏡画像であるものを示した。しかし、本技術は、その他の奥行き位置を変えて撮像された複数枚の画像を処理して、ステレオ立体画像用の左眼画像および右眼画像を生成する際にも、同様に適用できる。
【００５５】
また、本技術は、以下のような構成も取ることができる。
（１）奥行き方向の位置を変えて撮像された複数枚の画像を処理して左眼画像および右眼画像を生成する画像生成部を備え、
上記画像生成部は、
上記複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成し、
上記各画像群に対して画素位置毎に画素の加算平均処理を行って、上記左眼画像および上記右眼画像を生成する
画像処理装置。
（２）上記画像生成部は、
上記複数枚の画像に対し、上記基準位置の画像を中心として、該基準位置より前側の画像を奥行き位置に応じて水平方向の一の方向に順次ずらすと共に、該基準位置より奥側の画像を奥行き位置に応じて水平方向の他の方向にずらす処理を行って左眼画像群を構成する複数枚の画像を生成し、該複数枚の画像に対し画素位置毎に画素の加算平均の処理を行って上記左眼画像を生成し、
上記複数枚の画像に対し、上記基準位置の画像を中心として、該基準位置より前側の画像を奥行き位置に応じて水平方向の上記他の方向に順次ずらすと共に、該基準位置より奥側の画像を奥行き位置に応じて水平方向の上記一の方向にずらす処理を行って右眼画像群を構成する複数枚の画像を生成し、該複数枚の画像に対し画素位置毎に画素の加算平均の処理を行って上記右眼画像を生成する
前記（１）に記載の画像処理装置。
（３）上記画像の奥行き位置とずらし量との関係は非線形に設定される
前記（１）または（２）に記載の画像処理装置。
（４）上記画像生成部は、
上記各画像群に対して上記加算平均の処理を行う際に陰面処理を行う
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）上記画像生成部で生成された上記各画像の少なくともコントラスト調整を行う画質調整部をさらに備える
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）上記奥行き方向の位置を変えて撮像された複数枚の画像は、蛍光顕微鏡画像である
前記（１）から（５）のいずれかに記載の画像処理装置。
【符号の説明】
【００５６】
１００，１００Ａ・・・画像処理装置
１０１，１０１Ａ・・・画像生成部
１０２・・・シフト量決定部
１０３・・・画質調整部
【特許請求の範囲】
【請求項１】
奥行き方向の位置を変えて撮像された複数枚の画像を処理して左眼画像および右眼画像を生成する画像生成部を備え、
上記画像生成部は、
上記複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成し、
上記各画像群に対して画素位置毎に画素の加算平均処理を行って、上記左眼画像および上記右眼画像を生成する
画像処理装置。
【請求項２】
上記画像生成部は、
上記複数枚の画像に対し、上記基準位置の画像を中心として、該基準位置より前側の画像を奥行き位置に応じて水平方向の一の方向に順次ずらすと共に、該基準位置より奥側の画像を奥行き位置に応じて水平方向の他の方向にずらす処理を行って左眼画像群を構成する複数枚の画像を生成し、該複数枚の画像に対し画素位置毎に画素の加算平均の処理を行って上記左眼画像を生成し、
上記複数枚の画像に対し、上記基準位置の画像を中心として、該基準位置より前側の画像を奥行き位置に応じて水平方向の上記他の方向に順次ずらすと共に、該基準位置より奥側の画像を奥行き位置に応じて水平方向の上記一の方向にずらす処理を行って右眼画像群を構成する複数枚の画像を生成し、該複数枚の画像に対し画素位置毎に画素の加算平均の処理を行って上記右眼画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
上記画像の奥行き位置とずらし量との関係は非線形に設定される
請求項１に記載の画像処理装置。
【請求項４】
上記画像生成部は、
上記各画像群に対して上記加算平均の処理を行う際に陰面処理を行う
請求項１に記載の画像処理装置。
【請求項５】
上記画像生成部で生成された上記各画像の少なくともコントラスト調整を行う画質調整部をさらに備える
請求項１に記載の画像処理装置。
【請求項６】
上記奥行き方向の位置を変えて撮像された複数枚の画像は、蛍光顕微鏡画像である
請求項１に記載の画像処理装置。
【請求項７】
奥行き方向の位置を変えて撮像された複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成する第１のステップと、
上記第１のステップで生成された上記各画像群に対して画素位置毎に画素の加算平均処理を行って、上記左眼画像および上記右眼画像を生成する第２のステップと
を有する画像処理方法。
【請求項１】
奥行き方向の位置を変えて撮像された複数枚の画像を処理して左眼画像および右眼画像を生成する画像生成部を備え、
上記画像生成部は、
上記複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成し、
上記各画像群に対して画素位置毎に画素の加算平均処理を行って、上記左眼画像および上記右眼画像を生成する
画像処理装置。
【請求項２】
上記画像生成部は、
上記複数枚の画像に対し、上記基準位置の画像を中心として、該基準位置より前側の画像を奥行き位置に応じて水平方向の一の方向に順次ずらすと共に、該基準位置より奥側の画像を奥行き位置に応じて水平方向の他の方向にずらす処理を行って左眼画像群を構成する複数枚の画像を生成し、該複数枚の画像に対し画素位置毎に画素の加算平均の処理を行って上記左眼画像を生成し、
上記複数枚の画像に対し、上記基準位置の画像を中心として、該基準位置より前側の画像を奥行き位置に応じて水平方向の上記他の方向に順次ずらすと共に、該基準位置より奥側の画像を奥行き位置に応じて水平方向の上記一の方向にずらす処理を行って右眼画像群を構成する複数枚の画像を生成し、該複数枚の画像に対し画素位置毎に画素の加算平均の処理を行って上記右眼画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
上記画像の奥行き位置とずらし量との関係は非線形に設定される
請求項１に記載の画像処理装置。
【請求項４】
上記画像生成部は、
上記各画像群に対して上記加算平均の処理を行う際に陰面処理を行う
請求項１に記載の画像処理装置。
【請求項５】
上記画像生成部で生成された上記各画像の少なくともコントラスト調整を行う画質調整部をさらに備える
請求項１に記載の画像処理装置。
【請求項６】
上記奥行き方向の位置を変えて撮像された複数枚の画像は、蛍光顕微鏡画像である
請求項１に記載の画像処理装置。
【請求項７】
奥行き方向の位置を変えて撮像された複数枚の画像に対し、基準位置の画像を中心とし、奥行き位置に応じて、互いに逆方向にずらす処理を行って、視差が付与された左眼画像群および右眼画像群を生成する第１のステップと、
上記第１のステップで生成された上記各画像群に対して画素位置毎に画素の加算平均処理を行って、上記左眼画像および上記右眼画像を生成する第２のステップと
を有する画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図６】
【公開番号】特開２０１２−２０５１６９（Ｐ２０１２−２０５１６９Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６９３１１（Ｐ２０１１−６９３１１）
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]