説明

画像処理装置、画像処理方法及び画像処理プログラム

【課題】データ量を削減することができる画像処理装置、画像処理方法及び画像処理プログラムを提供すること。
【解決手段】画像処理装置は、算出部と、補正部とを具備する。前記算出部は、第1のぼやけ画像と、第2のぼやけ画像とに基づき、前記観察領域に含まれるターゲットが染色されて得られる輝点の、前記試料内での前記光軸方向での深さを算出する。前記第1のぼやけ画像は、顕微鏡の対物レンズ及び試料を、前記対物レンズの光軸方向に沿って相対的に移動させて得られる、前記試料の少なくとも一部の観察領域の画像である。前記第2のぼやけ画像は、前記対物レンズ及び前記試料を、前記光軸方向の成分を含み前記光軸方向とは異なる方向に沿って相対的に移動させて得られる前記観察領域の画像である。前記補正部は、前記算出された前記輝点の深さの情報に基づき、前記第1のぼやけ画像を補正する。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は、顕微鏡を用いて得られる画像を処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
病理診断等の分野において、生物組織の観察に用いられる手法として蛍光染色法がある。蛍光染色法は、予めサンプルに染色剤による染色を施し、それに励起光を照射して励起された染色剤から放射される蛍光を、蛍光顕微鏡を用いて観察する方法である。適切な染色剤を選択することにより、染色剤が化学的特異性を有する特定の組織(例えば細胞内小器官等)を観察することが可能である。染色剤として一種類が用いられる場合もあるが、化学的特異性及び蛍光色が異なる複数種の染色剤を用いることで複数の組織を異なる蛍光色で観察することが可能となる。
【0003】
例えば細胞核に含まれるDNAやRNA等の高分子が特定の染色剤によって染色され、これらが、蛍光顕微鏡により取得される画像(蛍光画像)内では、輝点として蛍光を発する。このような輝点の状態(数、位置、大きさ等)が、主に、病理学上の分析対象とされる。
【0004】
例えば、特許文献1に記載の「微生物計量装置」は、サンプルから放射される蛍光を分光する分光フィルタを備え、モノクロイメージャを用いて所定の色毎に蛍光画像を取得するものである。蛍光画像に含まれる輝点は分光フィルタの透過波長に限定されるため、複数の染色剤を用いた場合であっても色毎に輝点を計数することが可能とされている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−37250号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来までの、顕微鏡を用いた情報処理システムでは、扱われるデータ量が膨大であった。
【0007】
以上のような事情に鑑み、本技術の目的は、データ量を削減することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本技術に係る画像処理装置は、算出部と、補正部とを具備する。
前記算出部は、第1のぼやけ画像と、第2のぼやけ画像とに基づき、前記観察領域に含まれるターゲットが染色されて得られる輝点の、前記試料内での前記光軸方向での深さを算出する。前記第1のぼやけ画像は、顕微鏡の対物レンズ及び試料を、前記対物レンズの光軸方向に沿って相対的に移動させて得られる、前記試料の少なくとも一部の観察領域の画像である。前記第2のぼやけ画像は、前記対物レンズ及び前記試料を、前記光軸方向の成分を含み前記光軸方向とは異なる方向に沿って相対的に移動させて得られる前記観察領域の画像である。
前記補正部は、前記算出された前記輝点の深さの情報に基づき、前記第1のぼやけ画像を補正する。
【0009】
深さ算出部は、第1及び第2のぼやけ画像に基づき、試料の観察領域内の輝点の深さを算出するので、データ量を削減することができる。
【0010】
顕微鏡で得られる画像内の輝点のぼやけ度は、その輝点が位置する、試料内の光軸方向の深さ、つまり焦点深度に応じて変わるが、補正部は、試料内での算出された輝点の深さの情報に基づき、第1のぼやけ画像を補正する。これにより、輝点の輝度の定量化を図ることができる。
【0011】
前記補正部は、前記光軸方向の単位深さごとに設定された深さ補正パラメータを用いて、前記輝点の輝度を補正してもよい。補正部は、深さ補正パラメータを用いることにより、容易に輝度の補正演算を実行することができる。
【0012】
前記画像処理装置は、前記輝点の光が有する波長領域を算出する波長算出部をさらに具備してもよい。その場合、前記補正部は、さらに、前記深さ補正パラメータ及び前記算出された波長領域の情報に基づき、前記輝点の輝度を補正する。これにより、輝点の色(波長)によって対物レンズの焦点深度が異なることを補償することができる。
【0013】
例えば、前記補正部は、前記第1のぼやけ画像の面内において、前記輝点の輝度のピーク値の位置からの距離に応じて設定されたシェーピング補正パラメータを用いて、前記輝点の輝度を補正してもよい。これにより、第1のぼやけ画像内の輝点のぼやけを補正することができる。
【0014】
前記画像処理装置は、前記補正部により補正された前記輝点の輝度情報と、前記深さ算出部により算出された前記輝点の深さの情報とに基づき、前記ターゲットを含む前記観察領域の3次元画像を生成する3次元画像生成部をさらに具備してもよい。これにより、観察領域の3次元表示が可能となる。
【0015】
前記画像処理装置は、前記第1のぼやけ画像内の、前記ターゲットを含む他のターゲットのぼやけ画像を補正する他の補正部をさらに具備してもよい。他のターゲットは、前記光軸方向で前記ターゲットの厚さより厚く、かつ、前記対物レンズ及び試料の前記光軸方向の相対的な移動範囲のすべてにわたって、前記試料内に連続して存在する。
【0016】
本技術に係る画像処理方法は、第1のぼやけ画像と、2のぼやけ画像とに基づき、前記観察領域に含まれるターゲットが染色されて得られる輝点の、前記試料内での前記光軸方向での深さを算出することを含む。
【0017】
前記第1のぼやけ画像は、顕微鏡の対物レンズ及び試料を、前記対物レンズの光軸方向に沿って相対的に移動させて得られる、前記試料の少なくとも一部の観察領域の画像である。前記第2のぼやけ画像は、前記対物レンズ及び前記試料を、前記光軸方向の成分を含み前記光軸方向とは異なる方向に沿って相対的に移動させて得られる前記観察領域の画像である。
そして、前記算出された前記輝点の深さの情報に基づき、前記第1のぼやけ画像が補正される。
【0018】
本技術に係る画像処理プログラムは、上記の画像処理方法の各要素をコンピュータに実行させる。
【発明の効果】
【0019】
以上、本技術によれば、データ量を削減することができる。
【図面の簡単な説明】
【0020】
【図1】図1は、本技術の一実施形態に係る画像処理システムを示す図である。
【図2】図2は、ステージに載置される試料をステージの側面方向から示す図である。
【図3】図3は、画像処理装置の構成を示すブロック図である。
【図4】図4は、各染色剤による発光スペクトルの一例を示す図である。
【図5】図5は、エミッションフィルタの透過スペクトルの一例を示す図である。
【図6】図6は、各色の発光スペクトルごとのRGBの輝度値のデータである。
【図7】図7は、画像処理装置の処理を示すフローチャートである。
【図8】図8は、Z方向への焦点のスキャンの様子を示す図である。
【図9】図9は、焦点がZ方向へ移動されながら露光処理が行われることで取得された試料の画像(第1の画像)を示す図である。
【図10】図10は、Z方向及びX方向への焦点のスキャンの様子を示した図である。
【図11】図11は、焦点がZ方向及びX方向へスキャンされながら露光処理が行われることで取得された試料の画像(第2の画像)を示す図である。
【図12】図12は、第1及び第2の画像とが合成された合成画像を示す図である。
【図13】図13は、図12の合成画像を用いたターゲットの深さ位置の算出処理を示す図である。
【図14】図14は、単位深さごとに輝点の輝度が異なることを説明するための図である。
【図15】図15Aは、輝度補正係数及びシェーピング補正係数を含む補正プロファイル(図15B)を用いて、黒点で示したグラフの各マーカの輝点のぼやけが補正された結果を示す図である。
【図16】図16は、合焦点画像のリストデータの一例を示す。
【図17】図17は、3次元画像データの生成方法を説明するための図である。
【図18】図18は、他の実施形態に係るターゲットのぼやけ画像の補正処理を示すフローチャートである。
【図19】図19は、図18に示した補正処理を説明するための図である。
【発明を実施するための形態】
【0021】
以下、図面を参照しながら、本技術の実施形態を説明する。
【0022】
[画像処理システムの構成]
図1は、本技術の一実施形態に係る画像処理システムを示す図である。同図に示すように、本実施形態における画像処理システム1は、顕微鏡(蛍光顕微鏡)10と、当該顕微鏡10に接続された画像処理装置20とを有する。
【0023】
顕微鏡10は、ステージ11、光学系12、明視野撮影用照明灯13、光源14及び撮像素子30を有する。
【0024】
ステージ11は、例えば組織切片、細胞、染色体等の生体高分子等の試料(サンプル)SPLを載置可能な載置面を有し、当該載置面に対してその平行方向及び垂直方向(XYZ軸方向)へ移動可能とされている。
【0025】
図2は、上記ステージ11に載置される試料SPLをステージ11の側面方向から示した図である。
【0026】
同図に示すように、試料SPLは、Z方向に約4〜8μmの厚さ(深さ)を有し、スライドガラスSG及びカバーガラスCGに挟まれて所定の固定手法により固定され、必要に応じて、試料SPL内の観察の対象物が染色される。染色剤は、同一の光源14から照射される励起光によって、異なる蛍光を発する複数の染色剤から選択される。図4は、各染色剤による発光スペクトルの一例である。蛍光染色は、例えば試料SPL中の特定のターゲットをマーキングするために行われる。蛍光染色されたターゲットは、同図では、蛍光マーカM(M1、M2)として表され、当該蛍光マーカMは、顕微鏡で取得された像では、輝点として表れる。
【0027】
図1に戻り、光学系12は、ステージ11の上方に設けられ、対物レンズ12A、結像レンズ12B、ダイクロイックミラー12C、エミッションフィルタ12D及び励起フィルタ12Eを有する。
【0028】
対物レンズ12A及び結像レンズ12Bは、上記明視野撮影用照明灯13により得られた試料SPLの像を所定の倍率に拡大し、当該拡大像を撮像素子30の撮像面に結像させる。この拡大像が、試料内の少なくとも一部の領域の画像であり、顕微鏡10による観察領域の画像である。なお、明視野撮影用照明灯13を用いて資料SPLの像の観察を行う場合には、ダイクロイックミラー12C、エミッションフィルタ12Dを光路より除くことにより、より忠実な色情報を持った画像観察を行うことができる。
【0029】
励起フィルタ12Eは、光源14から出射された光のうち、蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー12Cは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ12Aへ導く。対物レンズ12Aは、当該励起光を試料SPLへ集光する。
【0030】
スライドガラスSGに固定された試料SPLに蛍光染色が施されている場合、上記励起光により蛍光色素が発光する。この発光により得られた光(発色光)は、対物レンズ12Aを介してダイクロイックミラー12Cを透過し、エミッションフィルタ12Dを介して結像レンズ12Bへ到達する。
【0031】
エミッションフィルタ12Dは、上記対物レンズ12Aによって拡大された発色光以外の光(外光)を吸収する。エミッションフィルタ12Dによって外光が喪失された発色光の像は、上述のとおり、結像レンズ12Bにより拡大され、撮像素子30上に結像される。
【0032】
図5は、エミッションフィルタ12Dの透過スペクトルの一例である。図4に示した、蛍光染色による各色の発光スペクトルは、このエミッションフィルタ12Dによりフィルタリングされ、後述する撮像素子30のRGB(Red、Green、Blue)カラーフィルタにより、さらにフィルタリングされる。
【0033】
図6は、そうして生成された各色の発光スペクトルごとのRGBの輝度値のデータ、すなわち蛍光色素が発光する光が撮像素子30のRGBカラーフィルタによりそれぞれ吸収されカラー信号を形成した場合のRGBの輝度値の比率を示すデータである。RGB輝度値データは、この画像処理装置20(またはこれにインストールされるソフトウェア)の工場出荷時に、予め記憶されている。しかし、画像処理装置20は、RGB輝度値のデータを作成するプログラムを有していてもよい。
【0034】
明視野撮影用照明灯13は、ステージ11の下方に設けられ、ステージ11に設けられた開口(図示せず)を介して、上記載置面に載置された試料SPLへ照明光を照射する。
【0035】
撮像素子30としては、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等が用いられる。撮像素子30は、上記のようにRGBカラーフィルタを有する素子であり、入射光をカラー画像として出力するカラーイメージャである。撮像素子30は、顕微鏡10と一体的に設けられていてもよいし、顕微鏡10に接続可能な撮像装置(デジタルカメラ等)内に設けられていてもよい。
【0036】
画像処理装置20は、例えばPC(Personal Computer)により構成され、撮像素子30により生成された試料SPLの像を、例えばJPEG(Joint Photographic Experts Group)等の所定形式のデジタル画像データ(バーチャルスライド)として保存する。
【0037】
[画像処理装置の構成]
図3は、上記画像処理装置20の構成を示したブロック図である。
【0038】
同図に示すように画像処理装置20は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、操作入力部24、インターフェイス部25、表示部26及び記憶部27を有し、これら各ブロックがバス28を介して接続されている。
【0039】
ROM22は、各種の処理を実行するためのファームウェア等の複数のプログラムやデータを固定的に記憶する。RAM23は、CPU21の作業用領域として用いられ、OS(Operating System)、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【0040】
記憶部27は、例えばHDD(Hard Disk Drive)や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部27には、OSや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部27には、顕微鏡10から取り込まれた画像データや、当該画像データを処理して試料SPLにおけるターゲットの輝点の深さ(Z軸方向(対物レンズ12Aの光軸方向)での高さ)を算出するための画像処理アプリケーションも記憶される。
【0041】
インターフェイス部25は、当該画像処理装置20を、上記顕微鏡10のステージ11、光源14及び撮像素子30とそれぞれ接続し、所定の通信規格により顕微鏡10との間で信号をやり取りする。
【0042】
CPU21は、ROM22や記憶部27に格納された複数のプログラムのうち、操作入力部24から与えられる命令に対応するプログラムをRAM23に展開し、当該展開されたプログラムにしたがって、表示部26及び記憶部27を適宜制御する。特に本実施形態においては、CPU21は、上記画像処理アプリケーションにより、上記試料SPLにおけるターゲットの深さの算出処理を実行する。この際、CPU21は、上記インターフェイス部25を介して、ステージ11、光源14及び撮像素子30を適宜制御する。
【0043】
CPU21の代わりとして、FPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスにより実現されてもよい。
【0044】
操作入力部24は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。
【0045】
表示部26は、画像処理装置20に一体的に設けられていてもよいし、画像処理装置20に外部接続されていてもよい。
【0046】
[画像処理システムの動作]
以上のように構成された顕微鏡の動作及び画像処理装置20の処理について説明する。図7は、画像処理装置20の処理を示すフローチャートである。画像処理装置20の処理は、記憶デバイス(ROM22や記憶部27等)に記憶されたソフトウェアプログラムと、CPU21等のハードウェア資源との協働により実現される。以下では、便宜的に、処理の主体をCPU(CPU21)として説明する。
【0047】
蛍光染色された例えば図2に示したような試料SPLが、ユーザにより顕微鏡10のステージ11に載置される。CPUは、その試料SPL内の輝点として現れる蛍光マーカMの色を検出し(ステップ101)、その波長を特定する(ステップ102)。この場合、CPUは、波長算出部として機能する。
【0048】
ステップ101及び102では、実際には、CPUは、撮像素子30で得られる画素値(輝度値)のデータを取得し、図6に示したテーブルを参照することにより、その画素値がどの蛍光色(波長領域)に属するかを求めることができる。この場合、CPUは、蛍光色の各波長領域をそれぞれ代表する1つの波長を選択してもよい。
【0049】
CPUは、図6に示したテーブルを用いずに、その画素値に基づき所定のアルゴリズムによる演算によって、波長を算出してもよい。
【0050】
一方、CPUは、蛍光マーカM1、M2の光軸方向(Z軸方向)の深さを算出する(ステップ103)。この場合、主にCPUは深さ算出部として機能する。以下、この深さの算出方法について説明する。
【0051】
<輝点の深さの算出>
試料SPLがステージ11に載置された後、CPUは、ステージ11の垂直方向(Z軸方向)における初期位置を設定する。
【0052】
図8に示すように、当該初期位置DP(Default Position)は、対物レンズ12Aの焦点面FPの位置が、深さ方向において、試料SPLが存在する範囲の外(上方または下方)となるように、すなわち、撮像素子30の露光工程において、焦点の移動範囲(スキャン範囲)が試料SPLの全ての面に亘るような位置に設定される。
【0053】
続いてCPUは、図8に矢印で示すように、ステージ11(すなわち焦点)を、上記初期位置DPから垂直方向(Z軸方向)へ所定速度で等速移動させながら撮像素子30を露光させることで、試料SPLを撮影する。ここでCPUは、スキャン範囲が試料SPLの全ての面に亘るような位置を当該移動の終了位置EP(End Point)として設定する。すなわち、初期位置DPから終了位置EPまでの範囲に試料SPLが全て収まるように(試料SPLの厚さよりもスキャン範囲が長くなるように)初期位置DP及び終了位置EPが設定される。
【0054】
図9は、上記のように焦点がスキャンされながら露光処理が行われることで取得された試料SPLの画像(第1のぼやけ画像)を示した図である。同図に示すように、第1のぼやけ画像60においては、上記蛍光マーカM1が輝点Aの像として表れ、上記蛍光マーカM2が輝点Bの像として表れる。
【0055】
ここで、第1のぼやけ画像60は、試料SPLのZ軸方向への焦点のスキャンを伴いながら露光され撮影された画像であるため、蛍光マーカM1及びM2に焦点が合っている焦点面FPにおける像とそうでない像とが重なった画像となる。したがって輝点A及びBの像は、周囲が多少ぼやけた画像となるが、それらの位置は明確に把握可能な程度に表れる。
【0056】
CPUは、上記第1のぼやけ画像60を撮像素子30から上記インターフェイス部25を介して取得し、RAM23に一旦保存する。
【0057】
続いてCPUは、ステージ11のZ軸方向の位置を上記初期位置DPに戻す。
【0058】
図10は、次に行われるZ及びX軸方向への焦点のスキャンの様子を示した図である。
【0059】
CPUは、図10に示すように、ステージ11(焦点)を、上記初期位置DPから上記終了位置EPまで、Z軸方向へ上記第1の速度(Vz)で等速移動させるとともにX軸方向へ第2の速度(Vx)で等速移動させながら、撮像素子30を露光させることで、試料SPLを撮影する。すなわち、今回は、ステージ11は、光軸方向の成分を含み光軸方向とは異なる方向に沿って移動する。
【0060】
図11は、上記のように焦点がZ軸方向及びX軸方向へスキャンされながら露光処理が行われることで取得された試料SPLの画像(第2のぼやけ画像)を示した図である。同図に示すように、第2のぼやけ画像80においては、試料SPLにおける焦点位置の変化毎の像の軌跡が1枚の画像中に表れる。すなわち、蛍光マーカM1及びM2を表す輝点A及び輝点Bの像はそれぞれ、上記X軸方向への焦点のスキャンに伴い、ぼやけた大きな状態から、焦点が合いはっきりとした小さな状態へと変化していき、その後またぼやけた状態へと変化するように表れる。
【0061】
CPUは、上記第2のぼやけ画像80を撮像素子30から上記インターフェイス部25を介して取得し、RAM23に一旦保存する。
【0062】
続いてCPUは、上記第1のぼやけ画像60と、第2のぼやけ画像80とを合成して合成画像を生成する。
【0063】
図12は、上記合成画像を示した図である。同図に示すように、合成画像90においては、上記取得された第1のぼやけ画像60に表れた輝点A及び輝点B(輝点A1及び輝点B1)の像と、上記取得された第2のぼやけ画像80に表れた輝点A及び輝点B(輝点A2及び輝点B2)の像とが1枚の画像内で、それぞれ同一直線上に表れている。
【0064】
続いてCPUは、上記合成画像90から、上記第1のぼやけ画像60における輝点A1及びB1の各位置座標(A1:(XA1,YA)、B1:(XB1,YB))と、上記第2のぼやけ画像80における輝点A2及びB2の各位置座標(A2:(XA2,YA)、B2:(XB2,YB))を検出する。ここで、各輝点の検出は、CPUが、例えば、所定閾値以上の輝度値(蛍光強度)を有する複数の画素のまとまりを抽出し、そのうち最も輝度が高い画素の位置を検出することで行われる。ターゲットに応じて異なる色の蛍光染色が施されている場合には、CPUは、当該異なる色毎に輝度を検出する。
【0065】
続いてCPUは、上記検出した第1及び第2のぼやけ画像におけるそれぞれの輝点間の距離D:(DA, DB)を算出する。すなわち、図12において、CPUは、輝点A1:(XA1,YA)と輝点A2:(XA2,YA)との間の距離DA:(XA1-XA2)、及び、輝点B1:(XB1,YB)と輝点B2:(XB2,YB)との間の距離DB:(XB1-XB2)とをそれぞれ算出する。
【0066】
そして、CPUは、上記距離Dと、上記Z軸方向への焦点の移動速度である上記第1の速度Vzと、X軸方向への焦点のスキャン速度である上記第2の速度Vxとを基に、上記各蛍光マーカMの試料SPL中における深さhを算出する。
【0067】
図13は、図12の合成画像90を用いた蛍光マーカMの高さの算出処理を示した図である。ここで、ステージ11が移動し始めてから輝点Aに焦点が合うまでの時間tAは、tA=hA/Vzにより算出される(hAは試料SPLにおける輝点Aの高さ)。
【0068】
そして、上記距離DA及び距離DBは、以下の式によっても表される。
DA=tA・Vx=Vx・hA/Vz=hA・Vx/Vz
DB=hB・Vx/Vz
【0069】
これを変形すると、輝点A及びBの各深さhA及びhBは、以下の式により算出できることになる。
hA=DA・Vz/Vx
hB=DB・Vz/Vx
【0070】
CPUは、当該各式に基づいて輝点A及びBの各深さhA及びhBを算出し、当該算出により得られる情報を輝点毎に例えば表示部26へ出力する。各輝点の深さが算出されることで、例えば輝点Aにより表される蛍光マーカM1と、輝点Bにより表される蛍光マーカM2とが同一組織(細胞)内に存在するのか否かが判別可能となる。また、当該蛍光マーカM1と蛍光マーカM2との3次元距離も検出可能となる。上記画像処理システムのオペレータは、当該算出結果を、例えば各種の病理診断材料や新薬研究等に利用することができる。
【0071】
ここで、上記第2の速度Vxは、上記第1の速度Vzよりも大きく設定される。これは、合成画像90において、第2のぼやけ画像80由来の輝点Aの像及び輝点Bの像からそれぞれ焦点が合った位置の座標(A2及びB2)を特定する際に、ぼやけた像の重複範囲が大きいと、各像の分離が困難になり、上記座標(A2及びB2)の特定が容易ではなくなるからである。
【0072】
また、図13に示すように、輝点A及びBの各深さhA及びhBは、焦点の初期位置DPから輝点までの距離として算出される。したがって、試料SPL内のみを基準にした正確な高さを算出するには、当該初期位置DPから、スライドガラスSGと試料SPLとの境界線までの距離に相当する長さを、上記算出された各深さhA及びhBから減じればよい。
【0073】
なお、CPUは、得られた各画素の輝度値が、予め設定された閾値を超えるか否かによって、第1のぼやけ画像60内のぼやけた輝点の画像を構成する画素群を特定することができる。つまり、これによりCPUは、第1のぼやけ画像60内のこの画素群の画像が1つのぼやけた輝点の画像である、と認識することができる。
【0074】
以上のステップ101〜103の処理の順序はこの順序に限られず、例えばステップ103がステップ101または102より先に実行されてもよい。
【0075】
<ぼやけ画像の補正>
図7を参照して、CPUは、算出された輝点ごとの深さの情報に基づき、Z軸方向の焦点のスキャンにより得られた第1のぼやけ画像60のぼやけを補正する(ステップ104〜108)。この場合、主にCPUは補正部として機能する。
【0076】
CPUは、単位深さごとの深さ補正係数(深さ補正パラメータ)を算出する(ステップ104)。一例としては、深さ方向の中心位置が0、それより±1μmの深さ方向で離れた位置では+1、それより±2μmの深さ方向で離れた位置では+2、・・・などというように、深さ補正係数が予め単位深さごとに所定の値に設定される。単位深さは1μmに限られない。
【0077】
図14は、単位深さごとに輝点の輝度が異なることを説明するための図である。
【0078】
図14に示すように、例えば焦点のスキャン範囲が5μmである場合において、そのスキャン範囲の中心位置にマーカ(蛍光マーカ)3が存在し、その中心位置から±1μmずつ深さ方向に離れた位置にあるマーカ1、2、4、5が存在するとする。この場合、図15Aに示すように、CPUは、マーカ1〜5の輝点について各画素の輝度分布(黒点を結ぶ示すグラフ)を得ることができる。ここで、マーカ1〜5の発光色はすべて同じであるとする。図15Aにおいて、横軸は第1のぼやけ画像のX位置(またはY位置)(画素位置)であり、縦軸は輝度(輝度ピーク値を200とした規格値)である。
【0079】
図15Aの黒点のグラフに示すように、マーカ2、3、4の輝点が最も高い輝度ピーク値を有し、このマーカ3のスキャン範囲内での存在位置である中心位置から離れるにしたがって、それらのマーカの輝点の輝度ピーク値は低くなっていく。なお、この例では、マーカ2の輝度ピーク値と、マーカ3及び4の輝度ピーク値とが同じであるが、マーカ2の輝度ピーク値の方がマーカ3及び4のそれよりも高い場合もある。
【0080】
このように第1のぼやけ画像60において、輝点が存在する深さの違いにより、その輝度値が異なるのは、次のような理由による。
【0081】
焦点がスキャンされている間、つまり撮像素子30が露光されている間、マーカ1〜5のうち、焦点が合っている(合焦点)及びそれに近い状態にある合計時間が最長であるマーカは、中央位置にあるマーカ3である。その合計時間が長いほど、輝点の輝度ピーク値は高くなる。中央位置から離れるほど、合焦点及びそれに近い状態にある合計時間が短いので、その輝度ピーク値は低くなる。したがって、スキャンにより得られた第1のぼやけ画像60の輝度分布は、図15Aの黒点のグラフのようになる。
【0082】
なお、図15Aに示した例では、2次元的に輝度分布を得ているが、実際には撮像素子30はX-Yの2次元で配列された画素を持つので、CPUは3次元の輝度分布を得ることができる。理解を容易にするため、図15Aのように輝度分布を2次元(ここではX-Z)で表している。
【0083】
このように、輝点が存在する深さの違いによって輝度ピーク値が異なるので、CPUはこの輝度ピーク値を定量化するため、上記のように深さ補正係数を生成する。
【0084】
深さ補正係数はこのように予め設定されている場合に限られない。例えばCPUは、第1のぼやけ画像60内で、複数の輝点の輝度ピーク値のうち、最も高い輝度ピーク値と、最も低い輝度ピーク値との差を算出し、その差に基づく、単位深さごとの深さ補正係数を算出してもよい。
【0085】
続いてCPUは、輝度補正係数を算出する(ステップ105)。
【0086】
CPUは、ステップ102及び104でそれぞれ得られた輝点の波長(波長係数)及び深さ補正係数、また、対物レンズ12AのNA(Numerical Aperture)に基づき、第1のぼやけ画像60内の輝点A1及びA2の各輝度を補正するための輝度補正係数(輝度補正パラメータ)を算出する。輝度補正係数の算出には、算出された波長のデータが用いられる。
【0087】
輝点の波長のデータを用いる理由は、輝点の波長によって対物レンズ12Aの焦点深度が異なり、それにより輝点のぼやけ度、すなわち輝度が異なるからである。焦点深度dは、d=λ/NA2である。λは波長である。例えば同じ深さに波長の異なる2つの輝点が存在する仮定した場合、それらの輝点のうち一方に焦点が合っていても、他方には焦点が合わずにぼやけるので、その分輝度が異なる。したがって、CPUは波長に依存する波長係数を選択する。
【0088】
一例として、光の全波長領域のうち500〜550nmの中心の波長の波長係数を0とする場合に、その中心波長領域から、単位波長領域分(例えば50nm)離れるごとに所定の値増える、といったように波長係数が設定される。波長係数は、単位波長ごとに予め所定の値に設定されていればよい。
【0089】
そして、CPUは、深さ補正係数及び波長係数に基づいて、輝度補正係数を算出する。例えば、CPUは、深さ補正係数に波長係数を乗算したり、深さ補正パラメータ及び波長補正のためのパラメータを用いて所定のアルゴリズムにより演算したりすることにより、第1のぼやけ画像60の輝点A1及びA2の輝度値を定量化するための輝度補正係数を算出する。すなわち、CPUは、実質的に同じ深さに存在する同じ波長領域を有する輝点の輝度ピーク値が実質的に一致するように、輝度補正係数を算出する。
【0090】
続いてCPUは、シェーピング補正係数(シェーピング補正パラメータ)を算出する(ステップ106)。
【0091】
シェーピング補正係数は、第1のぼやけ画像60の面内において、輝点の輝度ピーク値が存在する位置からの距離に応じて設定される。すなわち、輝点の輝度のピーク値が存在する位置(以下、ピーク位置という。)は、第1のぼやけ画像60内で、ぼやけが発生している輝点の中心位置と実質的に一致する。
【0092】
シェーピング補正係数は、ピーク位置からの距離に応じて、予め設定されていてもよい。その場合、単位深さごとにシェーピング補正係数が設定されていてもよい。また、その場合、実質的に同じ深さに存在する同じ波長領域を有する輝点の輝度分布が実質的に一致するような、シェーピング補正係数が設定される。
【0093】
あるいは、第1のぼやけ画像60内の1つの輝点のうち、ピーク位置からの距離が遠いほど、輝度が小さくなるので、CPUは、そのピーク位置から輝度の変化率に応じてシェーピング補正係数を算出してもよい。
【0094】
なお、ステップ107において、ピーク位置の算出方法としては、第1のぼやけ画像60内の画素内で、予め設定された閾値を超えた輝度値を持つ画素のうち、最大輝度値を持つ画素が、ピーク位置として抽出されればよい。上記閾値は、第1のぼやけ画像60内で、最大輝度値と最小輝度値との差を算出し、その差に基づいて算出されてもよい。
【0095】
続いてCPUは、上記算出された輝度補正係数及びシェーピング補正係数を用いて、第1のぼやけ画像60の輝点A1及びA2のぼやけを補正する(ステップ107)。これにより、輝点A1及びA2の合焦点画像が得られる。例えばCPUは、繰り返し減算による画像フィッティングを行うことにより、合焦点画像を得ることができる。
【0096】
図15Aは、輝度補正係数及びシェーピング補正係数を含む補正プロファイル(図15B)を用いて、黒点で示したグラフのマーカ1〜5の輝点のぼやけが補正された結果を示す図である。図15Bにおいて、横軸は図15Aに対応する、第1のぼやけ画像のX位置(またはY位置)(画素位置)であり、縦軸は補正係数である。
【0097】
図15Aに示すように、黒点で示されたぼやけ画像の輝度分布が、図15Bに示した補正係数(輝度補正係数及びシェーピング補正係数)で加工(ここでは乗算)されることにより、図15Aにおいて白点で示された合焦点画像(ぼやけが抑制された画像)が生成される。
【0098】
続いてCPUは、第1のぼやけ画像60内のぼやけた輝点A1及びA2の画像を、上記ぼやけ補正により得られた輝点A1及びA2の合焦点画像に部分的に置き換える(ステップ108)。これにより第1のぼやけ画像60に対応する、ぼやけが補正された、つまり合焦点時の輝点A1及びA2を含む画像が生成される。
【0099】
以上のように、本実施形態では、第1のぼやけ画像60及び第2のぼやけ画像80に基づき、試料の観察領域内の輝点の深さが算出されるので、データ量を削減することができる。具体的には、光軸方向にステージ11をステップ送りで移動させながら、そのステップ送りごとに画像を何枚も撮影して記憶しておく形態に比べ、本実施形態では、第1のぼやけ画像60及び第2のぼやけ画像80の2つの画像を記憶しておくだけで、輝点の深さを算出できる。これにより、データ量を削減することができる。
【0100】
顕微鏡10で得られる蛍光画像内の輝点のぼやけ度は、その輝点が位置する、試料内の光軸方向の深さ、つまり焦点深度に応じて変わるが、本実施形態では、試料内での算出された輝点の深さの情報に基づき、第1のぼやけ画像60が補正される。これにより、輝点の輝度の定量化を図ることができる。
【0101】
本実施形態では、CPUは、深さ補正係数を用いて輝度を補正することにより、容易に輝度の補正演算を実行することができる。
【0102】
本実施形態において、輝度補正係数及びシェーピング補正係数がそれぞれ予め設定されている場合、図15Bに示したような、単位深さごと(及び波長領域ごと)の補正プロファイルが予め記憶デバイスに記憶される。そして、CPUは、算出した輝点の波長及び深さに基づき、ルックアップテーブル方式で適宜これらの補正プロファイルから1つの補正プロファイルを選択して、第1のぼやけ画像60内の輝点のぼやけを補正すればよい。
【0103】
[合焦点画像のリストデータ]
図16は、上記ステップ108で生成された合焦点画像のリストデータの一例を示す。
・この例では、2つの輝点(輝点ナンバー1,2)のリストを示す。
・輝点のX,Y位置は、輝点中心(輝点のうち最大輝度の)画素位置を示す。
・補正前後の色(RGB輝度値)は、輝点の輝度ピーク値を示す。
・蛍光マーカ分類とは、上記ステップ101での色検出の結果、その色であることが、最も可能性の高いと考えられる蛍光マーカの種類である。
・蛍光強度とは、すなわち、中心位置の深さに存在する輝点の輝度(標準輝度)を1.00とした場合に、その中心位置から離れた深さに存在する輝点の輝度は、その標準輝度の何倍か、を示す。したがって、この例では、2つの輝点の補正後のRGB輝度値が、補正前のRGB輝度値の1.2倍、0.9倍になっている。
【0104】
[3次元画像データの作成方法]
CPUは、上記の第1のぼやけ画像60の補正後に、3次元画像を生成することも可能である。この場合、主にCPUは3次元画像生成部として機能する。
【0105】
図17は、3次元画像データの生成方法を説明するための図である。CPUは、上記したようにステップ107及び108で第1のぼやけ画像60の輝点のぼやけを補正することにより、合焦点画像61を得る。なお、上記の説明では、観察領域内には2つの輝点A1及びA2が存在していたが、ここでの説明では、深さが-3μm、0μm(スキャン範囲の中心位置)、+2μmの3つの輝点A〜Cが観察領域内に存在するものとする。
【0106】
CPUは、左及び右目用の画像の生成のため、合焦点画像61をコピーし、左目用画像62及び右目用画像63を生成する。
【0107】
基準の輝点A(深さ0μm)と比較して、対物レンズ12Aに遠い輝点B(-3μm)については、次のように補正される。すなわち、CPUは、輝点Bの合焦点画像を、その基準からの深さ(-3μm)に応じて、左目用画像については左にシフトさせ、右目用画像については右にシフトさせる。
【0108】
一方、基準の輝点Aと比較して、対物レンズ12Aに近い輝点C(+2μm)については、次のように補正される。すなわち、CPUは、輝点Cの合焦点画像を、その基準からの深さ(+2μm)に応じて、左目用画像については右にシフトさせ、右目用画像については左にシフトさせる。
【0109】
輝点B、Cの合焦点画像のシフト量については、次のように設定することができる。例えば、単位深さ(例えば1μm)当りの横方向へのシフト量を10ピクセルなどとすると、輝点Bの合焦点画像のシフト量は30ピクセル、輝点Cの合焦点画像のシフト量は20ピクセルというように設定することができる。なお、輝点Aの位置は、そのままである。
【0110】
[他の実施形態に係る、ターゲットのぼやけ画像の補正]
図18は、他の実施形態に係るターゲットのぼやけ画像の補正処理を示すフローチャートである。
【0111】
上記実施形態では、蛍光染色された場合、比較的高い輝度を発生する、例えばDNAやRNA等の高分子がターゲットであった。本実施形態では、蛍光染色された場合に、ステージ11のスキャン範囲のすべてにわたって、試料SPL内に連続して存在するターゲットのぼやけ画像の補正を説明する。ここでのターゲットは、典型的には、そのDNAやRNA等の高分子のターゲットを含む「細胞核」である。すなわち、典型的には、この場合の染色は対比染色を意味する。
【0112】
図19は、この補正処理を説明するための図である。
【0113】
一般に、細胞核CLの光軸方向の厚さは、あるいは、上記DNAやRNA等の高分子のターゲットTの光軸方向の厚さに比べ、十分に厚い。したがって、細胞核CLに対比染色が行われることにより、顕微鏡10は、ステージ11を光軸方向でスキャンさせた場合に、そのスキャン範囲のすべてにわたって、その細胞核CLの周囲60aの輝度よりも高い輝度で、その細胞核CLの画像を得ることができる。
【0114】
しかしながら、DNAやRNA等の高分子のターゲットTを観察する時の倍率(高倍率)で、その細胞核CLが観察される場合、スキャン範囲内では対物レンズ12Aの焦点がその細胞核CLに合わない。したがって、図19の上図に示すように、例えば第1のぼやけ画像60内で得られる細胞核CLの画像は、その細胞核CLの周囲60aの輝度より高い一様(近似的に一様)な輝度で、うっすらとぼやけた状態で取得される。しかし、この細胞核CLの染色として現れる一様な輝度は、DNAやRNA等の高分子のターゲットTの輝点の輝度より低くなる。
【0115】
CPUは、例えば第1のぼやけ画像60に基づき、このような細胞核CLが存在する領域を検出する。この場合、CPUは他の補正部として機能する。
【0116】
図18に示すように、CPUは、対比染色された蛍光色を検出する(ステップ201)。この処理は、上記ステップ101(図7参照)と同様の処理である。
【0117】
続いてCPUは、細胞核CLとその周囲60aとの境界を検出する(ステップ202)。この領域検出は、エッジ検出技術が用いられてもよい。エッジ検出では、第1のぼやけ画像60内で、細胞核CLの一様な輝度を持つ画素位置から、徐々にその輝度が低く変化する、あるいは別の輝度へ変化するような画素領域(その輝度変化率が閾値以上の画素領域)が検出される。
【0118】
続いてCPUは、その画素領域をシェーピング処理により補正する(ステップ203)。シェーピング処理により、その画素領域に対応する画像が、その細胞核CLの輪郭が強調された画像61に置き換えられる。
【0119】
シェーピング処理は、上記ステップ106(図7参照)におけるシェーピング補正係数を用いてステップ107のぼやけ補正処理を行う方法と同様の方法が用いられる。この場合、細胞核CLの輝度値の基準位置は、第1のぼやけ画像60内において、細胞核CL全体の輝度値のうちのピーク値を有する画素位置であってもよいし、上記閾値以上の輝度変化率を有する画素領域内の輝度ピーク値であってもよい。
【0120】
これにより、細胞核レベルのサイズを有するターゲットの場合、そのターゲットの深さ情報によらずに、そのぼやけ画像を補正することができる。
【0121】
[その他の実施形態]
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態が実現される。
【0122】
画像処理装置20は、第2の画像80の取得に際し、ステージ11をX(Y)方向に移動させることで焦点を移動させた。しかし、画像処理装置20は、撮像素子30をX(Y)方向に移動させる機構を設けて、当該機構を用いて、ステージ11ではなく撮像素子30の移動により焦点を移動させてもよい。あるいはこれらの両方が移動してもよい。
【0123】
上記実施形態においては、蛍光顕微鏡が用いられたが、蛍光顕微鏡以外の顕微鏡が用いられてもよい。この場合、ターゲットは蛍光染色されていなくともよく、何らかのマーキング手法でマーキングされ、輝点として観察可能であればよい。
【0124】
上記実施形態においては、顕微鏡及び画像処理装置をそれぞれ別体としたが、これらは1つの装置として一体的に設けられていてもよい。
【0125】
撮像素子は、3色のRGBカラーフィルタに限られず、4色、あるいは5色以上のカラーフィルタを備えていてもよい。
【0126】
上記実施形態では、深さhA及びhBが算出されたが、距離DA及びDBが深さhA及びhBにそれぞれ比例する値であるので、これらのステップ104以降の処理を行う上では、距離DA及びDBが規格化された深さとして取り扱われるようにしてもよい。
【0127】
以上説明した各形態の特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。
本技術は以下のような構成もとることができる。
(1)顕微鏡の対物レンズ及び試料を、前記対物レンズの光軸方向に沿って相対的に移動させて得られる、前記試料の少なくとも一部の観察領域の第1のぼやけ画像と、前記対物レンズ及び前記試料を、前記光軸方向の成分を含み前記光軸方向とは異なる方向に沿って相対的に移動させて得られる前記観察領域の第2のぼやけ画像とに基づき、前記観察領域に含まれるターゲットが染色されて得られる輝点の、前記試料内での前記光軸方向での深さを算出する深さ算出部と、
前記算出された前記輝点の深さの情報に基づき、前記第1のぼやけ画像を補正する補正部と
を具備する画像処理装置。
(2)請求項1に記載の画像処理装置であって、
前記補正部は、前記光軸方向の単位深さごとに設定された深さ補正係数を用いて、前記輝点の輝度を補正する
画像処理装置。
(3)(2)に記載の画像処理装置であって、
前記輝点の光が有する波長領域を算出する波長算出部をさらに具備し、
前記補正部は、さらに、前記深さ補正係数及び前記算出された波長領域の情報に基づき、前記輝点の輝度を補正する
画像処理装置。
(4)(1)から(3)のうちいずれか1つに記載の画像処理装置であって、
前記補正部は、前記第1のぼやけ画像の面内において、前記輝点の輝度のピーク値の位置からの距離に応じて設定されたシェーピング補正係数を用いて、前記輝点の輝度を補正する
画像処理装置。
(5)(1)から(4)のうちいずれか1つに記載の画像処理装置であって、
前記補正部により補正された前記輝点の輝度情報と、前記深さ算出部により算出された前記輝点の深さの情報とに基づき、前記ターゲットを含む前記観察領域の3次元画像を生成する3次元画像生成部をさらに具備する画像処理装置。
(6)(1)から(5)のうちいずれか1つに記載の画像処理装置であって、
前記ターゲットを含み、前記光軸方向で前記ターゲットの厚さより厚く、かつ、前記対物レンズ及び試料の前記光軸方向の相対的な移動範囲のすべてにわたって、前記試料内に連続して存在する、前記第1のぼやけ画像内のターゲットのぼやけ画像を補正する他の補正部をさらに具備する画像処理装置。
(7)顕微鏡の対物レンズ及び試料を、前記対物レンズの光軸方向に沿って相対的に移動させて得られる、前記試料の少なくとも一部の観察領域の第1のぼやけ画像と、前記対物レンズ及び前記試料を、前記光軸方向の成分を含み前記光軸方向とは異なる方向に沿って相対的に移動させて得られる前記観察領域の第2のぼやけ画像とに基づき、前記観察領域に含まれるターゲットが染色されて得られる輝点の、前記試料内での前記光軸方向での深さを算出し、
前記算出された前記輝点の深さの情報に基づき、前記第1のぼやけ画像を補正する
画像処理方法。
(8)顕微鏡の対物レンズ及び試料を、前記対物レンズの光軸方向に沿って相対的に移動させて得られる、前記試料の少なくとも一部の観察領域の第1のぼやけ画像と、前記対物レンズ及び前記試料を、前記光軸方向の成分を含み前記光軸方向とは異なる方向に沿って相対的に移動させて得られる前記観察領域の第2のぼやけ画像とに基づき、前記観察領域に含まれるターゲットが染色されて得られる輝点の、前記試料内での前記光軸方向での深さを算出し、
前記算出された前記輝点の深さの情報に基づき、前記第1のぼやけ画像を補正する
ことを画像処理装置に実行させる画像処理プログラム。
【符号の説明】
【0128】
A1、A2…輝点
T、CL…ターゲット
10…顕微鏡
12A…対物レンズ
20…画像処理装置
21…CPU
60…第1のぼやけ画像
80…第2のぼやけ画像

【特許請求の範囲】
【請求項1】
顕微鏡の対物レンズ及び試料を、前記対物レンズの光軸方向に沿って相対的に移動させて得られる、前記試料の少なくとも一部の観察領域の第1のぼやけ画像と、前記対物レンズ及び前記試料を、前記光軸方向の成分を含み前記光軸方向とは異なる方向に沿って相対的に移動させて得られる前記観察領域の第2のぼやけ画像とに基づき、前記観察領域に含まれるターゲットが染色されて得られる輝点の、前記試料内での前記光軸方向での深さを算出する深さ算出部と、
前記算出された前記輝点の深さの情報に基づき、前記第1のぼやけ画像を補正する補正部と
を具備する画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記補正部は、前記光軸方向の単位深さごとに設定された深さ補正パラメータを用いて、前記輝点の輝度を補正する
画像処理装置。
【請求項3】
請求項2に記載の画像処理装置であって、
前記輝点の光が有する波長領域を算出する波長算出部をさらに具備し、
前記補正部は、さらに、前記深さ補正パラメータ及び前記算出された波長領域の情報に基づき、前記輝点の輝度を補正する
画像処理装置。
【請求項4】
請求項1に記載の画像処理装置であって、
前記補正部は、前記第1のぼやけ画像の面内において、前記輝点の輝度のピーク値の位置からの距離に応じて設定されたシェーピング補正パラメータを用いて、前記輝点の輝度を補正する
画像処理装置。
【請求項5】
請求項1に記載の画像処理装置であって、
前記補正部により補正された前記輝点の輝度情報と、前記深さ算出部により算出された前記輝点の深さの情報とに基づき、前記ターゲットを含む前記観察領域の3次元画像を生成する3次元画像生成部をさらに具備する画像処理装置。
【請求項6】
請求項1に記載の画像処理装置であって、
前記ターゲットを含み、前記光軸方向で前記ターゲットの厚さより厚く、かつ、前記対物レンズ及び試料の前記光軸方向の相対的な移動範囲のすべてにわたって、前記試料内に連続して存在する、前記第1のぼやけ画像内のターゲットのぼやけ画像を補正する他の補正部をさらに具備する画像処理装置。
【請求項7】
顕微鏡の対物レンズ及び試料を、前記対物レンズの光軸方向に沿って相対的に移動させて得られる、前記試料の少なくとも一部の観察領域の第1のぼやけ画像と、前記対物レンズ及び前記試料を、前記光軸方向の成分を含み前記光軸方向とは異なる方向に沿って相対的に移動させて得られる前記観察領域の第2のぼやけ画像とに基づき、前記観察領域に含まれるターゲットが染色されて得られる輝点の、前記試料内での前記光軸方向での深さを算出し、
前記算出された前記輝点の深さの情報に基づき、前記第1のぼやけ画像を補正する
画像処理方法。
【請求項8】
顕微鏡の対物レンズ及び試料を、前記対物レンズの光軸方向に沿って相対的に移動させて得られる、前記試料の少なくとも一部の観察領域の第1のぼやけ画像と、前記対物レンズ及び前記試料を、前記光軸方向の成分を含み前記光軸方向とは異なる方向に沿って相対的に移動させて得られる前記観察領域の第2のぼやけ画像とに基づき、前記観察領域に含まれるターゲットが染色されて得られる輝点の、前記試料内での前記光軸方向での深さを算出し、
前記算出された前記輝点の深さの情報に基づき、前記第1のぼやけ画像を補正する
ことをコンピュータに実行させる画像処理プログラム。

【図1】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図9】
image rotate

【図11】
image rotate

【図12】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図2】
image rotate

【図8】
image rotate

【図10】
image rotate

【図13】
image rotate

【図19】
image rotate


【公開番号】特開2012−237693(P2012−237693A)
【公開日】平成24年12月6日(2012.12.6)
【国際特許分類】
【出願番号】特願2011−107851(P2011−107851)
【出願日】平成23年5月13日(2011.5.13)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】