情報処理装置、情報処理方法、及びそのプログラム
【課題】フォーカス位置が異なる複数のフォーカス面画像を高い圧縮率で圧縮符号化することができ、また、短い処理時間で復号することができる情報処理装置、情報処理方法、及びそのプログラムを提供する。
【解決手段】
複数のフォーカス面画像Ｉ（ｚ）のＭＢ５の内、最もフォーカスの合致した代表ＭＢ６が選択され、全焦点画像Ｉall_focusedが生成される。この全焦点画像Ｉall_focusedの代表ＭＢ６ごとに、フォーカス面画像Ｉ（ｚ）の位置座標ｚに応じたボケ補償フィルタＰＳＦが畳み込まれ、ボケ補償予測画像９が高い精度で生成される。ボケ補償予測画像９とフォーカス面画像Ｉ（ｚ）との差分画像１０が生成されることで、フォーカス面画像Ｉ（ｚ）が高い圧縮率で圧縮符号化される。また、ボケ補償予測画像９と差分画像１０とが加算されることで、任意のフォーカス面画像Ｉ（ｚ）を短い処理時間で復号することができる。
【解決手段】
複数のフォーカス面画像Ｉ（ｚ）のＭＢ５の内、最もフォーカスの合致した代表ＭＢ６が選択され、全焦点画像Ｉall_focusedが生成される。この全焦点画像Ｉall_focusedの代表ＭＢ６ごとに、フォーカス面画像Ｉ（ｚ）の位置座標ｚに応じたボケ補償フィルタＰＳＦが畳み込まれ、ボケ補償予測画像９が高い精度で生成される。ボケ補償予測画像９とフォーカス面画像Ｉ（ｚ）との差分画像１０が生成されることで、フォーカス面画像Ｉ（ｚ）が高い圧縮率で圧縮符号化される。また、ボケ補償予測画像９と差分画像１０とが加算されることで、任意のフォーカス面画像Ｉ（ｚ）を短い処理時間で復号することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの圧縮符号化又は復号を可能とする情報処理装置、情報処理方法、及びそのプログラムに関する。
【背景技術】
【０００２】
近年、光学顕微鏡により得られた画像をデジタル方式で撮影し、デジタル画像として保存又は表示するシステムが知られている。このようなシステムでは、実際の顕微鏡と同等以上の操作性により、撮影されたデジタル画像を観察可能であることが望まれる。
【０００３】
例えば、被写界深度の狭い顕微鏡光学系で厚みのある試料が観察されるときには、微動焦点ねじを回してフォーカスの位置を変化させる操作が必要となる。上記したシステムでこの操作を実現するためには、同じ試料を複数のフォーカス位置で撮影することで得られる複数のフォーカス面画像が必要となる。従って、１つの試料を観察するために膨大な量の画像データが必要となるので、上記システムでは、画像データを効率よく圧縮することが求められる。
【０００４】
例えば特許文献１では、複数のフォーカス面画像に対して隣接し合うフレーム間の差分をとるフレーム間符号化を用いた圧縮方法が示されている。また、基準となるフォーカス面画像にボケ補償予測が行われることで作成される予測画像を用いた圧縮方法についても触れられている。例えばあるフォーカス面画像を圧縮したい場合、そのフォーカス面と基準となるフォーカス面との距離等に応じたボケ補償予測が基準フォーカス面画像に行われる。そして作成された予測画像と圧縮したいフォーカス面画像との差分データが符号化される（特許文献１の段落［００３０］、［００３３］等参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１１９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載のフレーム間符号化方式では、任意のフォーカス位置のフォーカス画面像を復号するためには、隣接するフォーカス画面像を復号しなければならない。従って、復号処理にかかる時間が長くなり実用性に欠く。また、上記したボケ補償予測は、ボケていく方向にしか画像予測が行えないので、１枚の基準フォーカス面画像からボケ補償予測を行う場合、高精度の予測画像を作成することが難しくなる。この結果、予測画像と圧縮したいフォーカス面画像との差分データが大きくなり圧縮率が低下してしまう。
【０００７】
以上のような事情に鑑み、本発明の目的は、フォーカス位置が異なる複数のフォーカス面画像を高い圧縮率で圧縮符号化することができ、また、短い処理時間で復号することができる情報処理装置、情報処理方法、及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、記憶手段と、予測画像生成手段とを具備する。
前記記憶手段は、異なる複数のフォーカス位置で観察対象物が撮影されることで得られる複数のフォーカス面画像から、前記フォーカス面画像を形成する複数の分割領域の画像のうち最もフォーカスの合致した画像である代表分割画像を、前記分割領域に応じて前記フォーカス面画像ごとに選択することで生成された全焦点画像と、前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置の情報とを記憶する。
前記予測画像生成手段は、前記記憶手段により記憶された前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置情報に基づいて、前記代表分割画像ごとに前記フォーカス面画像の前記フォーカス位置情報に応じた、ボケ関数を用いたボケ補償予測を行うことで、前記フォーカス面画像に対応するボケ補償予測画像を生成する。
【０００９】
この情報処理装置では、全焦点画像を形成する最もフォーカスの合致した画像である代表分割画像ごとにボケ補償予測が行われるので、各フォーカス面画像に対応したボケ補償予測画像を高い精度で生成することができる。従って、例えばフォーカス面画像とボケ補償予測画像との差分画像を生成することで、フォーカス位置が異なる複数のフォーカス面画像を高い圧縮率で圧縮符号化することができる。
【００１０】
前記情報処理装置は、全焦点画像生成手段と、差分画像生成手段とをさらに具備してもよい。
前記全焦点画像生成手段は、前記分割領域画像の輝度情報に基づいて前記代表分割画像を選択することで、前記全焦点画像を生成する。
前記差分画像生成手段は、前記フォーカス面画像と、前記予測画像生成手段により生成された前記フォーカス面画像に対応する前記ボケ補償予測画像との差分画像を生成する。
【００１１】
上記したように、各フォーカス面画像に対応したボケ補償予測画像が高い精度で生成されるので、フォーカス面画像とボケ補償予測画像との差分画像のデータ量を少なくすることができる。これによりフォーカス位置が異なる複数のフォーカス面画像を高い圧縮率で圧縮符号化することができる。
【００１２】
前記全焦点画像生成手段は、前記分割領域画像のコントラストに基づいて前記代表分割画像を選択することで、前記全焦点画像を生成してもよい。
【００１３】
前記予測画像生成手段は、前記代表分割画像ごとに前記ボケ補償予測を行い、かつ、前記全焦点画像に含まれる隣接する複数の前記代表分割画像の境界領域に、境界領域用ボケ補償予測を行ってもよい。
隣接し合う代表分割画像の境界領域に、境界領域用ボケ補償予測が行われることで、例えば代表分割画像の境界での不連続に起因する折り返し等の問題を防止することができる。
【００１４】
前記記憶手段は、前記フォーカス面画像と、前記予測画像生成手段により生成された前記フォーカス面画像に対応する前記ボケ補償予測画像との差分画像を記憶してもよい。この場合、前記情報処理装置は、前記記憶手段に記憶された前記差分画像と、前記予測画像生成手段により生成された前記フォーカス面画像に対応する前記ボケ補償予測画像との加算画像を生成する加算画像生成手段をさらに具備してもよい。
【００１５】
この情報処理装置では、記憶された差分画像と各フォーカス面画像に対応するボケ補償予測画像との加算画像が生成されることで、各フォーカス面画像が復号される。従って、任意のフォーカス面画像を復号するために、他のフォーカス面画像を復号する必要がない。これにより、フォーカス位置が異なる複数のフォーカス面画像を短い処理時間で復号することができる。
【００１６】
本発明の一形態に係る情報処理方法は、情報処理装置により実行される以下の方法である。
すなわち、情報処理装置は、異なる複数のフォーカス位置で観察対象物が撮影されることで得られる複数のフォーカス面画像から、前記フォーカス面画像を形成する複数の分割領域の画像のうち最もフォーカスの合致した画像である代表分割画像を、前記分割領域に応じて前記フォーカス面画像ごとに選択することで生成された全焦点画像と、前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置の情報とを記憶する。
前記記憶された前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置情報に基づいて、前記代表分割画像ごとに前記フォーカス面画像の前記フォーカス位置情報に応じた、ボケ関数を用いたボケ補償予測が行われることで、前記フォーカス面画像に対応するボケ補償予測画像が生成される。
【００１７】
本発明の一形態に係るプログラムは、上記情報処理方法を情報処理装置に実行させる。前記プログラムが記録媒体に記録されていてもよい。
【発明の効果】
【００１８】
以上のように、本発明によれば、フォーカス位置が異なる複数のフォーカス面画像を高い圧縮率で圧縮符号化することができ、また、短い処理時間で復号することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。
【図２】図１に示すＰＣにより圧縮符号化される、複数のフォーカス面画像を説明するための図である。
【図３】図１に示すＰＣにより圧縮符号化される、複数のフォーカス面画像を説明するための図である。
【図４】図２に示す複数のフォーカス面画像の圧縮符号化に用いられる全焦点画像について説明するための図である。
【図５】図４に示す全焦点画像を生成するためのＰＣの処理を示すフローチャートである。
【図６】図２に示す複数のフォーカス面画像の圧縮符号化の概要を説明するための図である。
【図７】図２に示す複数のフォーカス面画像を圧縮符号化するためのＰＣの処理を示すフローチャートである。
【図８】図２に示す複数のフォーカス面画像の圧縮符号化を説明するための図である。
【図９】本発明の第２の実施形態に係るＰＣの、圧縮符号化された各フォーカス面画像を復号するための処理を示すフローチャートである。
【図１０】本発明の第３の実施形態に係る、代表ＭＢに対するボケ補償フィルタの畳み込みについて説明するための図である。
【図１１】本発明の第４の実施形態に係る、複数のフォーカス面画像の圧縮符号化の概要を説明するための図である。
【図１２】本発明のその他の実施形態に係る情報処理システムの構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２１】
＜第１の実施形態＞
[情報処理装置の構成]
図１は、本発明の第１の実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。
【００２２】
ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。
【００２３】
入出力インターフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。
【００２４】
表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。
【００２５】
入力部１０７は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。
【００２６】
記憶部１０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。
【００２７】
ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。
【００２８】
通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。
【００２９】
［圧縮符号化される画像］
図２及び図３は、本実施形態のＰＣ１００により圧縮符号化される、複数のフォーカス面画像を説明するための図である。
【００３０】
例えば光学顕微鏡の機能を有する図示しないスキャナ装置等により、２枚のスライドガラス１ａ及び１ｂの間に保持された観察対象物２が撮影される。図２に示すように光学顕微鏡のフォーカスが合致する範囲である被写界深度Ｆは、観察対象物２の厚みｔよりも小さい。そこで観察対象物２は、光学顕微鏡のフォーカス方向である観察対象物２の厚み方向（図２に示すＺ方向）で、異なる複数のフォーカス位置において撮影される。これにより、フォーカスの合致した領域がそれぞれ異なる複数のフォーカス面画像３が生成される。これら複数のフォーカス面画像３が適宜出力されることで、光学顕微鏡の微動焦点ねじを回してフォーカスの位置を変化させる操作と同様な操作が実現可能となる。
【００３１】
図２では、７枚のフォーカス面画像３ａ〜３ｇが図示されているが、フォーカス面画像３の数は適宜設定可能であり、例えば数十枚程度、もしくはそれ以上の数のフォーカス面画像３が生成されてもよい。なお、上記のようなフォーカス面画像３を生成する処理は「バーチャルスライド化」と呼ばれる。
【００３２】
また、図３に示すように、各フォーカス面画像３ａ〜３ｇについて画像ピラミッド構造４ａ〜４ｇが生成される。これら画像ピラミッド構造４ａ〜４ｇは、各フォーカス面画像３ａ〜３ｇについて、異なる複数の解像度により生成された画像群である。図３に示す横軸のＺ軸はフォーカス方向軸を示しており、縦軸のＭ軸は画像の倍率（解像度）方向軸を示している。
【００３３】
画像ピラミッド構造４ａ〜４ｇの最下（Ｍ＝０）には、最も大きいサイズのフォーカス面画像３ａ〜３ｇが配置され、最上（Ｍ＝３）には最も小さいサイズのフォーカス面画像３’ａ〜３’ｇが配置される。最も大きいサイズのフォーカス面画像３ａ〜３ｇの解像度は、例えば５０×５０（Kpixel：キロピクセル）、あるいは４０×６０（Kpixel）である。最も小さいサイズのフォーカス面画像３’ａ〜３’ｇは、例えば２５６×２５６（pixel）、あるいは、２５６×５１２（pixel）である。
【００３４】
Ｍ＝１，２，３の低倍率のフォーカス面画像は、Ｍ＝０の高倍率のフォーカス面画像３ａ〜３ｇが、例えばLanczos等のフィルタにより縮小されることで生成される。縮小率としては、例えば１／２、１／４、１／８、あるいは、それ以上の縮小率が選択される。複数の画像ピラミッド構造４ａ〜４ｇにより、光学顕微鏡により得られる像の倍率を変更する操作と同様な操作が実現可能となる。
【００３５】
［情報処理装置の動作］
本実施形態の情報処理装置である、ＰＣ１００の動作を説明する。以下のＰＣ１００の処理は、記憶部１０８またはＲＯＭ１０２等に記憶されたソフトウェアと、ＰＣ１００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ１０１が記憶部１０８またはＲＯＭ１０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ１０３にロードして実行することにより、以下の処理が実現される。
【００３６】
［全焦点画像］
まず、図２に示す複数のフォーカス面画像３の圧縮符号化に用いられる全焦点画像について説明する。図４はその全焦点画像を説明するための図である。
【００３７】
図４に示すように、ＣＰＵ１０１により、フォーカス面画像３ａ〜３ｇのフォーカス位置情報としての、Ｚ方向における位置座標ｚ（０〜６）が定められる。図４に示すＺ方向は、図２示す観察対象物２の厚み方向に対応しており、例えば位置座標ｚが０であるフォーカス面画像３ａは、観察対象物２の図２で見て最上部側にフォーカス位置が定められて撮影された画像である。以下、フォーカス面画像３ａ〜３ｇを、位置座標ｚを用いてフォーカス面画像Ｉ（ｚ）と記載する。
【００３８】
また図４に示すように、ＣＰＵ１０１により、各フォーカス面画像Ｉ（ｚ）はそれぞれ複数の分割領域の画像であるＭＢ（マクロブロック）５に分割される。ＭＢ５のサイズは、典型的には１６×１６（pixel）であるが、例えば８×８（pixel）でもよく、適宜設定可能である。各ＭＢ５には、２次元上の位置情報として番号ｍｂが付せられる。例えば図４に示すように、各フォーカス面画像Ｉ（ｚ）上のＭＢ５であって、それぞれ同一の番号ｍｂ（例えばｍｂ＝１０）を有するＭＢ５は、各フォーカス面画像Ｉ（ｚ）上の同一の位置にそれぞれ配置されるＭＢ５となる。
【００３９】
ＣＰＵ１０１により、全ての番号ｍｂに対して、各フォーカス面画像Ｉ（ｚ）がそれぞれ有するＭＢ５の中から、最もフォーカスが合致している代表分割画像として代表ＭＢ６が選択される。これら代表ＭＢ６が貼り合わされて図４に示す全焦点画像Ｉall_focusedが生成される。代表ＭＢ６の選択方法としては、例えばＭＢ５の各ピクセルの輝度値からＭＢ５のコントラストが算出され、最もコントラストが大きいＭＢ５が代表ＭＢ６として選択される。あるいは、各ＭＢ５における最大輝度値または平均輝度値が最も大きいＭＢ５が代表ＭＢ６として選択されてもよい。その他、ＭＢ５の輝度情報に基づく各種のフォーカス検出方法を採用可能である。
【００４０】
図５は全焦点画像Ｉall_focusedを生成するためのＰＣ１００の処理を示すフローチャートである。まず、図５に示されている記号を以下に説明する。
ＭＢ＿ｎｕｍ…各フォーカス面画像Ｉ（ｚ）のＭＢ５の数
Ｚ＿ｎｕｍ…フォーカス面画像Ｉ（ｚ）の数
Ｉ（ｚ，ｍｂ）…フォーカス面画像Ｉ（ｚ）上の番号ｍｂのＭＢ５
ｚ0（ｍｂ）…番号ｍｂの代表ＭＢ６を含むフォーカス面画像Ｉ（ｚ）の位置座標ｚ
Ｉall_focused（ｍｂ）…全焦点画像Ｉall_focusedの番号ｍｂの代表ＭＢ６
Ｅｎｃ（Ｉall_focused（ｍｂ））…符号化後の番号ｍｂの全焦点画像Ｉall_focusedの代表ＭＢ６
Ｅｎｃ（Ｉall_focused）…符号化後の全焦点画像Ｉall_focused
【００４１】
図５に示すステップ１０１ａ及び１０１ｂは、番号ｍｂ＝１のＭＢ５から始めて、ＭＢ＿ｎｕｍの数の全てにわたり、ステップ１０１ａ及び１０１ｂの間に記載されているステップが繰り返し行われることを意味する。ステップ１０２ａ及び１０２ｂも同様に、位置座標ｚ＝１のフォーカス面画像Ｉ（１）から始めて、Ｚ＿ｎｕｍの数の全てにわたり、ステップ１０２ａ及び１０２ｂの間に記載されているステップが繰り返し行われることを意味する。
【００４２】
ＣＰＵ１０１により、まず、フォーカス面画像Ｉ（１）の番号ｍｂ＝１のＭＢ５である（Ｉ（１，１））が出力される（ステップ１０１ａ及び１０２ａ）。そしてＩ（０，１）のＭＢ５よりもフォーカスが合致しているか判断される（ステップ１０３）。Ｉ（１，１）がＩ（０，１）よりもフォーカスが合致していると判断された場合（ステップ１０３のＹｅｓ）、ｚ0（１）＝１及びＩall_focused（１）＝Ｉ（１，１）として設定される（ステップ１０４）。Ｉ（１，１）がＩ（０，１）よりもフォーカスが合致していないと判断された場合（ステップ１０３のＮｏ）、ステップ１０２ａに戻って、次はフォーカス面画像Ｉ（２）の番号ｍｂ＝１のＭＢ５である（Ｉ（２，１））がＩ（０，１）と比較される（ステップ１０２ｂ）。
【００４３】
このようにして、番号ｍｂ＝１の代表ＭＢ６が選択され、代表ＭＢ６を含むフォーカス面画像の位置座標ｚ0（１）と、全焦点画像の番号ｍｂ＝１の代表ＭＢ６がＩall_focused（１）として定められる。なお、ステップ１０３において、全てＮｏと判断された場合は、フォーカス面画像Ｉ（０）の番号ｍｂ＝１のＭＢ５であるＩ（０，１）が代表ＭＢ６となり、位置座標ｚ0（１）＝０となる。
【００４４】
ステップ１０５にて、Ｉall_focused（１）が符号化され、Ｅｎｃ（Ｉall_focused（１））が生成される。ステップ１０１ａに戻り、番号ｍｂ＝２のＭＢ５についてステップ１０２ａ及び１０２ｂの間のステップが行われ、Ｉall_focused（２）としての代表ＭＢ６と、その代表ＭＢ６を有するフォーカス面画像Ｉ（ｚ）の位置座標ｚ0（２）が設定される。そしてＩall_focused（２）が符号化される。以上全ての番号ｍｂについて、代表ＭＢ６であるＩall_focused（ｍｂ）と、その代表ＭＢ６を有するフォーカス面画像Ｉ（ｚ）の位置座標ｚ0（ｍｂ）が算出され、各Ｉall_focused（ｍｂ）が符号化される。
【００４５】
ステップ１０６にて、符号化された全焦点画像Ｅｎｃ（Ｉall_focused）が生成され、各番号ｍｂの代表ＭＢ６についての位置座標ｚ0（ｍｂ）と共に、記憶部１０８等に記憶される。
【００４６】
なお、記録容量を節約するため、全焦点画像Iall_focusedの画素値については，ＪＰＥＧ（Joint Photographic Experts Group）や、ＭＰＥＧ（Moving Picture Experts Group）等の、既知の圧縮手法により符号化されてもよい。また、位置座標ｚ0（ｍｂ）については、可逆符号化などが用いられて圧縮されてもよい。
【００４７】
なお、ＰＣ１００とは別のＰＣ等で、符号化された全焦点画像Ｅｎｃ（Ｉall_focused）が生成され、その全焦点画像Ｅｎｃ（Ｉall_focused）がＰＣ１００の記憶部１０８等に記憶されてもよい。
【００４８】
［フォーカス面画像の圧縮符号化］
図６は、本実施形態に係るフォーカス面画像Ｉ（ｚ）（ｚ＝０〜６）の圧縮符号化の概要を説明するための図である。図６に示すように、全焦点画像Ｉall_focusedの代表ＭＢ６ごとに、各代表ＭＢ６に応じたボケ補償フィルタ（ＰＳＦａ、ＰＳＦｂ、ＰＳＦｃ）が畳み込まれる。そして、各フォーカス面画像Ｉ（ｚ）にそれぞれ対応する図示しないボケ補償予測画像が生成される。フォーカス面画像Ｉ（ｚ）と、対応するボケ補償予測画像との差分が算出され、その差分画像１０ａ〜１０ｇが記憶部１０８等に記憶される。これにより、各フォーカス面画像Ｉ（ｚ）が圧縮符号化される。以下に詳しく説明する。
【００４９】
図７は各フォーカス面画像Ｉ（ｚ）を圧縮符号化するためのＰＣ１００の処理を示すフローチャートである。図８は、その圧縮符号化を説明するための図である。
【００５０】
まず、ＣＰＵ１０１により、図５に示すステップ１０６にて符号化され、記憶部１０８等に記憶された全焦点画像Ｅｎｃ（Ｉall_focused）の番号ｍｂの代表ＭＢ６であるＥｎｃ（Ｉall_focused（ｍｂ））が復号される（ステップ２０２）。復号化されたＥｎｃ（Ｉall_focused（ｍｂ））をＩ’all_focused（ｍｂ）と記載する。
【００５１】
復号化されたＩ’all_focused（ｍｂ）と、記憶部１０８等に記憶されたその番号ｍｂの代表ＭＢ６についての位置座標ｚ0（ｍｂ）が出力される（ステップ２０３）。そしてＩ’all_focused（ｍｂ）に、位置座標ｚ0（ｍｂ）に基づいたボケ補償予測が行われる（ステップ２０４）。
【００５２】
図７のステップ２０４’に示すように、ボケ補償予測は、符号化するフォーカス面画像Ｉ（ｚ）の位置座標ｚと、代表ＭＢ６の位置座標ｚ0（ｍｂ）とのＺ座標変位｜ｚ−ｚ0(mb)｜に応じたボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(mb)｜）が、Ｉ’all_focused（ｍｂ）に畳み込まれることで行われる。これにより、ボケ補償予測ＭＢ７としてＩpred(ｚ，ｍｂ)が出力される（ステップ２０５）。
【００５３】
ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(mb)｜）について詳しく説明する。ボケ補償予測は、予め測定しておいた光学パラメータと、上記Ｚ座標変位｜ｚ−ｚ0(mb)｜で決まる許容錯乱円半径Ｒ（ｚ）を用いて、以下の点広がり関数（Point Spread Function：ＰＳＦ）で表わされる。
【００５４】
【数１】
【００５５】
ここで、Ｚ_pitchは、フォーカス方向（図８に示すＺ方向）における撮影間隔であり、隣り合うフォーカス面画像Ｉ（ｚ）の間隔である。その大きさは、例えば数μｍ程度ある。また、α、βは光学系と撮像素子との関係から定まる係数である。
【００５６】
このR（ｚ，ｍｂ）を用いて、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(mb)｜）は、ＰＳＦ（ｘ，ｙ，ｚ，ｍｂ）として以下の式で表わされる。
【００５７】
【数２】
【００５８】
π…円周率
（ｘ，ｙ）…フィルタの座標
（ｘ0，ｙ0）…フィルタの中心座標
【００５９】
上記したように、このボケ補償フィルタＰＳＦ（ｘ，ｙ，ｚ，ｍｂ）がＩ’all_focused（ｍｂ）に畳み込まれることで、ボケ補償予測ＭＢ７であるＩpred(ｚ，ｍｂ)が出力される。これを式に表わすと、以下のようになる。
【００６０】
【数３】
【００６１】
ＣＰＵ１０１により、出力されたボケ補償予測ＭＢ７であるＩpred（ｚ，ｍｂ）と、圧縮したいフォーカス面画像Ｉ（ｚ）のＭＢ５であるＩ（ｚ，ｍｂ）との差分が算出される。これにより、差分ＭＢ８としてΔ（ｚ，ｍｂ）が算出され、記憶部１０８等に記憶される（ステップ２０６）。これを式に表わすと以下のようになる。
【００６２】
【数４】
【００６３】
このように，差分ＭＢ８としてΔ（ｚ，ｍｂ）が記録されることで、圧縮前のフォーカス面画像Ｉ（ｚ）のＭＢ５であるＩ（ｚ，ｍｂ）のデータと比べて大幅にデータ量を削減することができる。このΔ（ｚ，ｍｂ）に対しては、周波数変換および可逆圧縮技術等の様々な符号化方式を適用することによってさらなる高圧縮が可能となる（ステップ２０７）。ステップ２０７では、符号化後のΔ（ｚ，ｍｂ）をＥｎｃ（Δ（ｚ，ｍｂ））と記載する。
【００６４】
ステップ２０１ｂからステップ２０１ａに戻り、全ての番号ｍｂについてボケ補償予測ＭＢ７であるＩpred(ｚ，ｍｂ)が出力され、圧縮したいフォーカス面画像Ｉ（ｚ）に対応するボケ補償予測画像９としてＩpred(ｚ)が生成される。また、全ての番号ｍｂについて差分ＭＢ８としてΔ（ｚ，ｍｂ）が生成され、圧縮したいフォーカス面画像Ｉ（ｚ）に対応する差分画像１０としてΔ（ｚ）が生成される。ステップ２０８では、符号化されたＥｎｃ（Δ（ｚ））が出力されている。
【００６５】
上記で説明したボケ補償フィルタは、ボケていく方向にしか予測画像を生成することができない。従って、例えばあるフォーカス面画像Ｉ（ｚ’）を基準として、このフォーカス面画像Ｉ（ｚ’）全体にボケ補償フィルタが畳み込まれ、ボケ補償予測画像が生成されたとする。この場合、圧縮したい他のフォーカス面画像Ｉ（ｚ）に、最もフォーカスが合致した領域（代表ＭＢ６に相当）があっても、生成されたボケ補償予測画像ではその最もフォーカスが合致した領域を表現することができない。この結果、圧縮したいフォーカス面画像Ｉ（ｚ）と、ボケ補償予測画像との差分データが大きくなり、圧縮率が低下してしまう。
【００６６】
しかしながら、本実施形態の情報処理装置であるＰＣ１００では、復号された全焦点画像Ｉ’all_focusedを形成する最もフォーカスの合致した画像である代表ＭＢ６ごとにボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(mb)｜）が畳み込まれる。これにより、代表ＭＢ６ごとにボケ補償予測ＭＢ７が出力される。従って、各フォーカス面画像Ｉ（ｚ）に対応したボケ補償予測画像９を高い精度で生成することができる。この結果、フォーカス面画像Ｉ（ｚ）とボケ補償予測画像９との差分画像１０のデータ量を大幅に削減することができる。これにより、フォーカス位置が異なる複数のフォーカス面画像Ｉ（ｚ）を高い圧縮率で圧縮符号化することができる。
【００６７】
＜第２の実施形態＞
本発明の第２の実施形態に係る情報処理装置としてＰＣを例に挙げて説明する。これ以降の説明では、第１の実施形態で説明したＰＣ１００の構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【００６８】
本実施形態に係るＰＣは、第１の実施形態で圧縮符号化された複数のフォーカス面画像Ｉ（ｚ）を復号するものである。本実施形態のＰＣの記憶部等には、図５に示すステップ１０６で生成された、符号化された全焦点画像Ｅｎｃ（Ｉall_focused）が記憶されている。またＰＣの記憶部等には、全焦点画像Ｅｎｃ（Ｉall_focused）の各番号ｍｂの代表ＭＢの位置座標ｚ0（ｍｂ）が記憶されている。さらに、記憶部等には、図７に示すステップ２０８にて生成された、圧縮された各フォーカス面画像Ｉ（ｚ）に対応する符号化された差分画像Ｅｎｃ（Δ（ｚ））が記憶されている。
【００６９】
［フォーカス面画像の復号］
図９は各フォーカス面画像Ｉ（ｚ）を復号するための本実施形態に係るＰＣの処理を示すフローチャートである。
【００７０】
本実施形態のＰＣが有するＣＰＵにより、図７に示すステップ２０２から２０５までの動作と同様の処理が行われる（ステップ３０２−３０５）。すなわち、復号化された番号ｍｂの代表ＭＢであるＩ’all_focused（ｍｂ）ごとに、位置座標ｚ0（ｍｂ）に基づいたボケ補償予測が行われ、ボケ補償予測ＭＢであるＩpred(ｚ，ｍｂ)が出力される。
【００７１】
次に、記憶部等に記憶されている符号化された差分画像Ｅｎｃ（Δ（ｚ））の、符号化された差分ＭＢであるＥｎｃ（Δ（ｚ，ｍｂ））が復号され、復号後の差分ＭＢとしてΔ’（ｚ，ｍｂ）が生成される（ステップ３０６）。
【００７２】
ステップ３０５で生成されたボケ補償予測ＭＢであるＩpred(ｚ，ｍｂ)と、上記の差分ＭＢであるΔ’（ｚ，ｍｂ）との加算ＭＢとして、Ｉ’（ｚ，ｍｂ）が生成される（ステップ３０７）。この加算ＭＢであるＩ’（ｚ，ｍｂ）は、フォーカス面画像Ｉ（ｚ）の番号ｍｂのＭＢが復号されたものである。これを式に表わすと以下のようになる。
【００７３】
【数５】
【００７４】
ステップ３０１ｂからステップ３０１ａに戻り、全ての番号ｍｂに対して上記の処理が行われ、フォーカス面画像Ｉ’（ｚ）が、フォーカス面画像Ｉ（ｚ）の復号画像として出力される（ステップ３０８）。上記の処理が各位置座標ｚにおいて行われることで、複数のフォーカス面画像Ｉ（ｚ）が復号される。
【００７５】
以上、本実施形態に係る情報処理装置（ＰＣ）では、復号された差分画像Δ（ｚ）と、ボケ補償予測画像Ｉpred(ｚ)とがＭＢごとに加算され、加算画像であるフォーカス面画像Ｉ’（ｚ）が、フォーカス面画像Ｉ（ｚ）の復号画像として生成される。従って、任意のフォーカス面画像Ｉ（ｚ）を復号するためには、復号された全焦点画像Ｉ’all_focusedを参照すればよく、他のフォーカス面画像Ｉ（ｚ）を復号する必要がない。これにより、フォーカス位置が異なる複数のフォーカス面画像Ｉ（ｚ）を短い処理時間で復号することができる。この結果、光学顕微鏡の微動焦点ねじを回すという操作と同様な操作を、容易に操作性よく実現することができる。
【００７６】
なお、第１の実施形態で説明したＰＣ１００により、本実施形態で説明したような、複数のフォーカス面画像Ｉ（ｚ）の復号が行われてもよい。
【００７７】
＜第３の実施形態＞
図１０は、本発明の第３の実施形態に係る、代表ＭＢに対するボケ補償フィルタの畳み込みについて説明するための図である。
【００７８】
図１０に示すように、復号された全焦点画像Ｉ’all_focusedの代表ＭＢ３０６であるＩ’all_focused（Ａ）にボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ａ)｜）が畳み込まれる。この際、Ｉ’all_focused（Ａ）と、これに隣接し合う他の代表ＭＢ３０６であるＩ’all_focused（Ｂ）、Ｉ’all_focused（Ｃ）、及びＩ’all_focused（Ｄ）との境界に位置する境界領域Ｗにも、Ｉ’all_focused（Ａ）に応じたボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ａ)｜）が畳み込まれる。すなわち、Ｉ’all_focused（Ｂ）、Ｉ’all_focused（Ｃ）、及びＩ’all_focused（Ｄ）においては、境界領域Ｗに含まれない領域には、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ｂ)｜）、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ｃ)｜）、及びボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ｄ)｜）がそれぞれ畳み込まれる。そして、境界領域Ｗに含まれる領域には、上記したように、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ａ)｜）が畳み込まれる。そして、ボケ補償予測ＭＢであるＩpred(ｚ，Ａ)、Ｉpred(ｚ，Ｂ)、Ｉpred(ｚ，Ｃ)、及びＩpred(ｚ，Ｄ)がそれぞれ生成される。
【００７９】
以上のように、代表ＭＢ３０６ごとに各ボケ補償フィルタが畳み込まれ、かつ、隣接し合う代表ＭＢ３０６の境界領域Ｗに、上記ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ａ)｜）が畳み込まれる。これにより、代表ＭＢごとにボケ補償予測が行われることで発生する可能性がある、ＭＢ境界での不連続に起因する、折り返しやエイリアシング等の問題を防ぐことが可能である。
【００８０】
本実施形態では、境界領域用ボケ補償予測として、境界領域Ｗにボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ａ)｜）が畳み込まれた。しかしながら、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ａ)｜）ではなく、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ｂ)｜）、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ｃ)｜）、又はボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ｄ)｜）のいずれかが境界領域Ｗに畳み込まれてもよい。あるいは、各代表ＭＢ３０６に畳み込まれるボケ補償フィルタとは異なるボケ補償フィルタが適宜設定され、境界領域Ｗに畳み込まれてもよい。
【００８１】
＜第４の実施形態＞
図１１は、本発明の第４の実施形態に係る、複数のフォーカス面画像Ｉ（ｚ）の圧縮符号化及び復号の概要を説明するための図である。
【００８２】
本実施形態では、Ｍ＝１の解像度を有する縮小全焦点画像Ｉ"all_focusedがＰＣの記憶部等に記憶されている。そして、この縮小全焦点画像Ｉ"all_focusedが参照されることで、Ｍ＝０の解像度を有する複数のフォーカス面画像Ｉ（ｚ）が圧縮符号化され、また復号される。
【００８３】
縮小全焦点画像Ｉ"all_focusedは、図４に示す全焦点画像Ｉall_focusedが縮小されることで生成される。あるいは、図３に示す画像ピラミッド構造４ａ〜４ｇにそれぞれ含まれる、Ｍ＝１の解像度を有する縮小フォーカス面画像Ｉ"（ｚ）から、縮小全焦点画像Ｉ"all_focusedが生成されてもよい。
【００８４】
縮小全焦点画像Ｉ"all_focusedの、縮小代表ＭＢ６"ごとに、例えばLanczos等の拡大フィルタ及びボケ補償フィルタＰＳＦが畳み込まれることで、Ｍ＝０の解像度を有するボケ補償予測画像が生成される。Ｍ＝０の解像度を有する各フォーカス面画像Ｉ（ｚ）とボケ補償予測画像との差分が算出され、Ｍ＝０の解像度を有する差分画像１０ａ〜１０ｇが生成される。
【００８５】
フォーカス面画像Ｉ（ｚ）の復号の際には、縮小全焦点画像Ｉ"all_focusedから、上記したようにＭ＝０の解像度を有するボケ補償予測画像が生成される。そしてボケ補償予測画像と、Ｍ＝０の解像度を有する差分画像１０ａ〜１０ｇとが加算されることで、Ｍ＝０の解像度を有する複数のフォーカス面画像Ｉ（ｚ）が復号される。
【００８６】
このように、解像度が小さい縮小全焦点画像Ｉ"all_focusedが用いられることで、これを保持するメモリサイズを少なくすることができる。また縮小全焦点画像Ｉ"all_focusedが符号化されて記憶部等に記憶される場合、縮小全焦点画像Ｉ"all_focusedを復号するときのＣＰＵの処理量を低減させることができる。なお、縮小全焦点画像Ｉ"all_focusedの解像度は、Ｍ＝１の解像度に限られず、適宜設定されてよい。
【００８７】
上記した各実施形態に係る情報処理装置は、例えば、医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステム等に用いられる。しかしながら、この分野に限られず他の分野においても適用可能である。
【００８８】
＜その他の実施形態＞
本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態がある。
【００８９】
上記した各実施形態では、情報処理装置としてＰＣを一例に挙げて説明した。しかしながら、本実施形態に係る情報処理装置として光学顕微鏡の機能を有するスキャナ装置等が用いられ、このスキャナ装置等により複数のフォーカス面画像が圧縮符号化され、また復号されてもよい。
【００９０】
また、図１２に示すように、本発明の実施形態として用いられるスキャナ装置５００により圧縮符号化された複数のフォーカス面画像が、ＰＣ２００とは別のコンピュータやサーバ６００に記憶されてもよい。そしてユーザが端末装置として使用するＰＣ２００が、それら別のコンピュータやサーバ６００にアクセスしてその圧縮符号化された複数のフォーカス面画像を受信してもよい。圧縮符号化された複数のフォーカス面画像は、ＰＣ２００により復号される。この場合、端末装置としてのＰＣ２００とサーバ６００等とがＬＡＮまたはＷＡＮ等のネットワーク７００を介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。
【符号の説明】
【００９１】
Ｉall_focused…全焦点画像
ＰＳＦ…ボケ補償フィルタ
Ｗ…境界領域
ｚ…位置座標
ｚ0（ｍｂ）…番号ｍｂの代表ＭＢを含むフォーカス面画像の位置座標
２…観察対象物
３（３ａ〜３ｇ）、Ｉ（ｚ）…フォーカス面画像
５…ＭＢ（マクロブロック）
６、３０６…代表ＭＢ
９…ボケ補償予測画像
１０…差分画像
１００、２００…ＰＣ
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０８…記憶部
１１１…記録媒体
５００…スキャナ装置
６００…サーバ
【技術分野】
【０００１】
本発明は、画像データの圧縮符号化又は復号を可能とする情報処理装置、情報処理方法、及びそのプログラムに関する。
【背景技術】
【０００２】
近年、光学顕微鏡により得られた画像をデジタル方式で撮影し、デジタル画像として保存又は表示するシステムが知られている。このようなシステムでは、実際の顕微鏡と同等以上の操作性により、撮影されたデジタル画像を観察可能であることが望まれる。
【０００３】
例えば、被写界深度の狭い顕微鏡光学系で厚みのある試料が観察されるときには、微動焦点ねじを回してフォーカスの位置を変化させる操作が必要となる。上記したシステムでこの操作を実現するためには、同じ試料を複数のフォーカス位置で撮影することで得られる複数のフォーカス面画像が必要となる。従って、１つの試料を観察するために膨大な量の画像データが必要となるので、上記システムでは、画像データを効率よく圧縮することが求められる。
【０００４】
例えば特許文献１では、複数のフォーカス面画像に対して隣接し合うフレーム間の差分をとるフレーム間符号化を用いた圧縮方法が示されている。また、基準となるフォーカス面画像にボケ補償予測が行われることで作成される予測画像を用いた圧縮方法についても触れられている。例えばあるフォーカス面画像を圧縮したい場合、そのフォーカス面と基準となるフォーカス面との距離等に応じたボケ補償予測が基準フォーカス面画像に行われる。そして作成された予測画像と圧縮したいフォーカス面画像との差分データが符号化される（特許文献１の段落［００３０］、［００３３］等参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１１９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載のフレーム間符号化方式では、任意のフォーカス位置のフォーカス画面像を復号するためには、隣接するフォーカス画面像を復号しなければならない。従って、復号処理にかかる時間が長くなり実用性に欠く。また、上記したボケ補償予測は、ボケていく方向にしか画像予測が行えないので、１枚の基準フォーカス面画像からボケ補償予測を行う場合、高精度の予測画像を作成することが難しくなる。この結果、予測画像と圧縮したいフォーカス面画像との差分データが大きくなり圧縮率が低下してしまう。
【０００７】
以上のような事情に鑑み、本発明の目的は、フォーカス位置が異なる複数のフォーカス面画像を高い圧縮率で圧縮符号化することができ、また、短い処理時間で復号することができる情報処理装置、情報処理方法、及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、記憶手段と、予測画像生成手段とを具備する。
前記記憶手段は、異なる複数のフォーカス位置で観察対象物が撮影されることで得られる複数のフォーカス面画像から、前記フォーカス面画像を形成する複数の分割領域の画像のうち最もフォーカスの合致した画像である代表分割画像を、前記分割領域に応じて前記フォーカス面画像ごとに選択することで生成された全焦点画像と、前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置の情報とを記憶する。
前記予測画像生成手段は、前記記憶手段により記憶された前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置情報に基づいて、前記代表分割画像ごとに前記フォーカス面画像の前記フォーカス位置情報に応じた、ボケ関数を用いたボケ補償予測を行うことで、前記フォーカス面画像に対応するボケ補償予測画像を生成する。
【０００９】
この情報処理装置では、全焦点画像を形成する最もフォーカスの合致した画像である代表分割画像ごとにボケ補償予測が行われるので、各フォーカス面画像に対応したボケ補償予測画像を高い精度で生成することができる。従って、例えばフォーカス面画像とボケ補償予測画像との差分画像を生成することで、フォーカス位置が異なる複数のフォーカス面画像を高い圧縮率で圧縮符号化することができる。
【００１０】
前記情報処理装置は、全焦点画像生成手段と、差分画像生成手段とをさらに具備してもよい。
前記全焦点画像生成手段は、前記分割領域画像の輝度情報に基づいて前記代表分割画像を選択することで、前記全焦点画像を生成する。
前記差分画像生成手段は、前記フォーカス面画像と、前記予測画像生成手段により生成された前記フォーカス面画像に対応する前記ボケ補償予測画像との差分画像を生成する。
【００１１】
上記したように、各フォーカス面画像に対応したボケ補償予測画像が高い精度で生成されるので、フォーカス面画像とボケ補償予測画像との差分画像のデータ量を少なくすることができる。これによりフォーカス位置が異なる複数のフォーカス面画像を高い圧縮率で圧縮符号化することができる。
【００１２】
前記全焦点画像生成手段は、前記分割領域画像のコントラストに基づいて前記代表分割画像を選択することで、前記全焦点画像を生成してもよい。
【００１３】
前記予測画像生成手段は、前記代表分割画像ごとに前記ボケ補償予測を行い、かつ、前記全焦点画像に含まれる隣接する複数の前記代表分割画像の境界領域に、境界領域用ボケ補償予測を行ってもよい。
隣接し合う代表分割画像の境界領域に、境界領域用ボケ補償予測が行われることで、例えば代表分割画像の境界での不連続に起因する折り返し等の問題を防止することができる。
【００１４】
前記記憶手段は、前記フォーカス面画像と、前記予測画像生成手段により生成された前記フォーカス面画像に対応する前記ボケ補償予測画像との差分画像を記憶してもよい。この場合、前記情報処理装置は、前記記憶手段に記憶された前記差分画像と、前記予測画像生成手段により生成された前記フォーカス面画像に対応する前記ボケ補償予測画像との加算画像を生成する加算画像生成手段をさらに具備してもよい。
【００１５】
この情報処理装置では、記憶された差分画像と各フォーカス面画像に対応するボケ補償予測画像との加算画像が生成されることで、各フォーカス面画像が復号される。従って、任意のフォーカス面画像を復号するために、他のフォーカス面画像を復号する必要がない。これにより、フォーカス位置が異なる複数のフォーカス面画像を短い処理時間で復号することができる。
【００１６】
本発明の一形態に係る情報処理方法は、情報処理装置により実行される以下の方法である。
すなわち、情報処理装置は、異なる複数のフォーカス位置で観察対象物が撮影されることで得られる複数のフォーカス面画像から、前記フォーカス面画像を形成する複数の分割領域の画像のうち最もフォーカスの合致した画像である代表分割画像を、前記分割領域に応じて前記フォーカス面画像ごとに選択することで生成された全焦点画像と、前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置の情報とを記憶する。
前記記憶された前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置情報に基づいて、前記代表分割画像ごとに前記フォーカス面画像の前記フォーカス位置情報に応じた、ボケ関数を用いたボケ補償予測が行われることで、前記フォーカス面画像に対応するボケ補償予測画像が生成される。
【００１７】
本発明の一形態に係るプログラムは、上記情報処理方法を情報処理装置に実行させる。前記プログラムが記録媒体に記録されていてもよい。
【発明の効果】
【００１８】
以上のように、本発明によれば、フォーカス位置が異なる複数のフォーカス面画像を高い圧縮率で圧縮符号化することができ、また、短い処理時間で復号することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。
【図２】図１に示すＰＣにより圧縮符号化される、複数のフォーカス面画像を説明するための図である。
【図３】図１に示すＰＣにより圧縮符号化される、複数のフォーカス面画像を説明するための図である。
【図４】図２に示す複数のフォーカス面画像の圧縮符号化に用いられる全焦点画像について説明するための図である。
【図５】図４に示す全焦点画像を生成するためのＰＣの処理を示すフローチャートである。
【図６】図２に示す複数のフォーカス面画像の圧縮符号化の概要を説明するための図である。
【図７】図２に示す複数のフォーカス面画像を圧縮符号化するためのＰＣの処理を示すフローチャートである。
【図８】図２に示す複数のフォーカス面画像の圧縮符号化を説明するための図である。
【図９】本発明の第２の実施形態に係るＰＣの、圧縮符号化された各フォーカス面画像を復号するための処理を示すフローチャートである。
【図１０】本発明の第３の実施形態に係る、代表ＭＢに対するボケ補償フィルタの畳み込みについて説明するための図である。
【図１１】本発明の第４の実施形態に係る、複数のフォーカス面画像の圧縮符号化の概要を説明するための図である。
【図１２】本発明のその他の実施形態に係る情報処理システムの構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２１】
＜第１の実施形態＞
[情報処理装置の構成]
図１は、本発明の第１の実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。
【００２２】
ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。
【００２３】
入出力インターフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。
【００２４】
表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。
【００２５】
入力部１０７は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。
【００２６】
記憶部１０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。
【００２７】
ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。
【００２８】
通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。
【００２９】
［圧縮符号化される画像］
図２及び図３は、本実施形態のＰＣ１００により圧縮符号化される、複数のフォーカス面画像を説明するための図である。
【００３０】
例えば光学顕微鏡の機能を有する図示しないスキャナ装置等により、２枚のスライドガラス１ａ及び１ｂの間に保持された観察対象物２が撮影される。図２に示すように光学顕微鏡のフォーカスが合致する範囲である被写界深度Ｆは、観察対象物２の厚みｔよりも小さい。そこで観察対象物２は、光学顕微鏡のフォーカス方向である観察対象物２の厚み方向（図２に示すＺ方向）で、異なる複数のフォーカス位置において撮影される。これにより、フォーカスの合致した領域がそれぞれ異なる複数のフォーカス面画像３が生成される。これら複数のフォーカス面画像３が適宜出力されることで、光学顕微鏡の微動焦点ねじを回してフォーカスの位置を変化させる操作と同様な操作が実現可能となる。
【００３１】
図２では、７枚のフォーカス面画像３ａ〜３ｇが図示されているが、フォーカス面画像３の数は適宜設定可能であり、例えば数十枚程度、もしくはそれ以上の数のフォーカス面画像３が生成されてもよい。なお、上記のようなフォーカス面画像３を生成する処理は「バーチャルスライド化」と呼ばれる。
【００３２】
また、図３に示すように、各フォーカス面画像３ａ〜３ｇについて画像ピラミッド構造４ａ〜４ｇが生成される。これら画像ピラミッド構造４ａ〜４ｇは、各フォーカス面画像３ａ〜３ｇについて、異なる複数の解像度により生成された画像群である。図３に示す横軸のＺ軸はフォーカス方向軸を示しており、縦軸のＭ軸は画像の倍率（解像度）方向軸を示している。
【００３３】
画像ピラミッド構造４ａ〜４ｇの最下（Ｍ＝０）には、最も大きいサイズのフォーカス面画像３ａ〜３ｇが配置され、最上（Ｍ＝３）には最も小さいサイズのフォーカス面画像３’ａ〜３’ｇが配置される。最も大きいサイズのフォーカス面画像３ａ〜３ｇの解像度は、例えば５０×５０（Kpixel：キロピクセル）、あるいは４０×６０（Kpixel）である。最も小さいサイズのフォーカス面画像３’ａ〜３’ｇは、例えば２５６×２５６（pixel）、あるいは、２５６×５１２（pixel）である。
【００３４】
Ｍ＝１，２，３の低倍率のフォーカス面画像は、Ｍ＝０の高倍率のフォーカス面画像３ａ〜３ｇが、例えばLanczos等のフィルタにより縮小されることで生成される。縮小率としては、例えば１／２、１／４、１／８、あるいは、それ以上の縮小率が選択される。複数の画像ピラミッド構造４ａ〜４ｇにより、光学顕微鏡により得られる像の倍率を変更する操作と同様な操作が実現可能となる。
【００３５】
［情報処理装置の動作］
本実施形態の情報処理装置である、ＰＣ１００の動作を説明する。以下のＰＣ１００の処理は、記憶部１０８またはＲＯＭ１０２等に記憶されたソフトウェアと、ＰＣ１００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ１０１が記憶部１０８またはＲＯＭ１０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ１０３にロードして実行することにより、以下の処理が実現される。
【００３６】
［全焦点画像］
まず、図２に示す複数のフォーカス面画像３の圧縮符号化に用いられる全焦点画像について説明する。図４はその全焦点画像を説明するための図である。
【００３７】
図４に示すように、ＣＰＵ１０１により、フォーカス面画像３ａ〜３ｇのフォーカス位置情報としての、Ｚ方向における位置座標ｚ（０〜６）が定められる。図４に示すＺ方向は、図２示す観察対象物２の厚み方向に対応しており、例えば位置座標ｚが０であるフォーカス面画像３ａは、観察対象物２の図２で見て最上部側にフォーカス位置が定められて撮影された画像である。以下、フォーカス面画像３ａ〜３ｇを、位置座標ｚを用いてフォーカス面画像Ｉ（ｚ）と記載する。
【００３８】
また図４に示すように、ＣＰＵ１０１により、各フォーカス面画像Ｉ（ｚ）はそれぞれ複数の分割領域の画像であるＭＢ（マクロブロック）５に分割される。ＭＢ５のサイズは、典型的には１６×１６（pixel）であるが、例えば８×８（pixel）でもよく、適宜設定可能である。各ＭＢ５には、２次元上の位置情報として番号ｍｂが付せられる。例えば図４に示すように、各フォーカス面画像Ｉ（ｚ）上のＭＢ５であって、それぞれ同一の番号ｍｂ（例えばｍｂ＝１０）を有するＭＢ５は、各フォーカス面画像Ｉ（ｚ）上の同一の位置にそれぞれ配置されるＭＢ５となる。
【００３９】
ＣＰＵ１０１により、全ての番号ｍｂに対して、各フォーカス面画像Ｉ（ｚ）がそれぞれ有するＭＢ５の中から、最もフォーカスが合致している代表分割画像として代表ＭＢ６が選択される。これら代表ＭＢ６が貼り合わされて図４に示す全焦点画像Ｉall_focusedが生成される。代表ＭＢ６の選択方法としては、例えばＭＢ５の各ピクセルの輝度値からＭＢ５のコントラストが算出され、最もコントラストが大きいＭＢ５が代表ＭＢ６として選択される。あるいは、各ＭＢ５における最大輝度値または平均輝度値が最も大きいＭＢ５が代表ＭＢ６として選択されてもよい。その他、ＭＢ５の輝度情報に基づく各種のフォーカス検出方法を採用可能である。
【００４０】
図５は全焦点画像Ｉall_focusedを生成するためのＰＣ１００の処理を示すフローチャートである。まず、図５に示されている記号を以下に説明する。
ＭＢ＿ｎｕｍ…各フォーカス面画像Ｉ（ｚ）のＭＢ５の数
Ｚ＿ｎｕｍ…フォーカス面画像Ｉ（ｚ）の数
Ｉ（ｚ，ｍｂ）…フォーカス面画像Ｉ（ｚ）上の番号ｍｂのＭＢ５
ｚ0（ｍｂ）…番号ｍｂの代表ＭＢ６を含むフォーカス面画像Ｉ（ｚ）の位置座標ｚ
Ｉall_focused（ｍｂ）…全焦点画像Ｉall_focusedの番号ｍｂの代表ＭＢ６
Ｅｎｃ（Ｉall_focused（ｍｂ））…符号化後の番号ｍｂの全焦点画像Ｉall_focusedの代表ＭＢ６
Ｅｎｃ（Ｉall_focused）…符号化後の全焦点画像Ｉall_focused
【００４１】
図５に示すステップ１０１ａ及び１０１ｂは、番号ｍｂ＝１のＭＢ５から始めて、ＭＢ＿ｎｕｍの数の全てにわたり、ステップ１０１ａ及び１０１ｂの間に記載されているステップが繰り返し行われることを意味する。ステップ１０２ａ及び１０２ｂも同様に、位置座標ｚ＝１のフォーカス面画像Ｉ（１）から始めて、Ｚ＿ｎｕｍの数の全てにわたり、ステップ１０２ａ及び１０２ｂの間に記載されているステップが繰り返し行われることを意味する。
【００４２】
ＣＰＵ１０１により、まず、フォーカス面画像Ｉ（１）の番号ｍｂ＝１のＭＢ５である（Ｉ（１，１））が出力される（ステップ１０１ａ及び１０２ａ）。そしてＩ（０，１）のＭＢ５よりもフォーカスが合致しているか判断される（ステップ１０３）。Ｉ（１，１）がＩ（０，１）よりもフォーカスが合致していると判断された場合（ステップ１０３のＹｅｓ）、ｚ0（１）＝１及びＩall_focused（１）＝Ｉ（１，１）として設定される（ステップ１０４）。Ｉ（１，１）がＩ（０，１）よりもフォーカスが合致していないと判断された場合（ステップ１０３のＮｏ）、ステップ１０２ａに戻って、次はフォーカス面画像Ｉ（２）の番号ｍｂ＝１のＭＢ５である（Ｉ（２，１））がＩ（０，１）と比較される（ステップ１０２ｂ）。
【００４３】
このようにして、番号ｍｂ＝１の代表ＭＢ６が選択され、代表ＭＢ６を含むフォーカス面画像の位置座標ｚ0（１）と、全焦点画像の番号ｍｂ＝１の代表ＭＢ６がＩall_focused（１）として定められる。なお、ステップ１０３において、全てＮｏと判断された場合は、フォーカス面画像Ｉ（０）の番号ｍｂ＝１のＭＢ５であるＩ（０，１）が代表ＭＢ６となり、位置座標ｚ0（１）＝０となる。
【００４４】
ステップ１０５にて、Ｉall_focused（１）が符号化され、Ｅｎｃ（Ｉall_focused（１））が生成される。ステップ１０１ａに戻り、番号ｍｂ＝２のＭＢ５についてステップ１０２ａ及び１０２ｂの間のステップが行われ、Ｉall_focused（２）としての代表ＭＢ６と、その代表ＭＢ６を有するフォーカス面画像Ｉ（ｚ）の位置座標ｚ0（２）が設定される。そしてＩall_focused（２）が符号化される。以上全ての番号ｍｂについて、代表ＭＢ６であるＩall_focused（ｍｂ）と、その代表ＭＢ６を有するフォーカス面画像Ｉ（ｚ）の位置座標ｚ0（ｍｂ）が算出され、各Ｉall_focused（ｍｂ）が符号化される。
【００４５】
ステップ１０６にて、符号化された全焦点画像Ｅｎｃ（Ｉall_focused）が生成され、各番号ｍｂの代表ＭＢ６についての位置座標ｚ0（ｍｂ）と共に、記憶部１０８等に記憶される。
【００４６】
なお、記録容量を節約するため、全焦点画像Iall_focusedの画素値については，ＪＰＥＧ（Joint Photographic Experts Group）や、ＭＰＥＧ（Moving Picture Experts Group）等の、既知の圧縮手法により符号化されてもよい。また、位置座標ｚ0（ｍｂ）については、可逆符号化などが用いられて圧縮されてもよい。
【００４７】
なお、ＰＣ１００とは別のＰＣ等で、符号化された全焦点画像Ｅｎｃ（Ｉall_focused）が生成され、その全焦点画像Ｅｎｃ（Ｉall_focused）がＰＣ１００の記憶部１０８等に記憶されてもよい。
【００４８】
［フォーカス面画像の圧縮符号化］
図６は、本実施形態に係るフォーカス面画像Ｉ（ｚ）（ｚ＝０〜６）の圧縮符号化の概要を説明するための図である。図６に示すように、全焦点画像Ｉall_focusedの代表ＭＢ６ごとに、各代表ＭＢ６に応じたボケ補償フィルタ（ＰＳＦａ、ＰＳＦｂ、ＰＳＦｃ）が畳み込まれる。そして、各フォーカス面画像Ｉ（ｚ）にそれぞれ対応する図示しないボケ補償予測画像が生成される。フォーカス面画像Ｉ（ｚ）と、対応するボケ補償予測画像との差分が算出され、その差分画像１０ａ〜１０ｇが記憶部１０８等に記憶される。これにより、各フォーカス面画像Ｉ（ｚ）が圧縮符号化される。以下に詳しく説明する。
【００４９】
図７は各フォーカス面画像Ｉ（ｚ）を圧縮符号化するためのＰＣ１００の処理を示すフローチャートである。図８は、その圧縮符号化を説明するための図である。
【００５０】
まず、ＣＰＵ１０１により、図５に示すステップ１０６にて符号化され、記憶部１０８等に記憶された全焦点画像Ｅｎｃ（Ｉall_focused）の番号ｍｂの代表ＭＢ６であるＥｎｃ（Ｉall_focused（ｍｂ））が復号される（ステップ２０２）。復号化されたＥｎｃ（Ｉall_focused（ｍｂ））をＩ’all_focused（ｍｂ）と記載する。
【００５１】
復号化されたＩ’all_focused（ｍｂ）と、記憶部１０８等に記憶されたその番号ｍｂの代表ＭＢ６についての位置座標ｚ0（ｍｂ）が出力される（ステップ２０３）。そしてＩ’all_focused（ｍｂ）に、位置座標ｚ0（ｍｂ）に基づいたボケ補償予測が行われる（ステップ２０４）。
【００５２】
図７のステップ２０４’に示すように、ボケ補償予測は、符号化するフォーカス面画像Ｉ（ｚ）の位置座標ｚと、代表ＭＢ６の位置座標ｚ0（ｍｂ）とのＺ座標変位｜ｚ−ｚ0(mb)｜に応じたボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(mb)｜）が、Ｉ’all_focused（ｍｂ）に畳み込まれることで行われる。これにより、ボケ補償予測ＭＢ７としてＩpred(ｚ，ｍｂ)が出力される（ステップ２０５）。
【００５３】
ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(mb)｜）について詳しく説明する。ボケ補償予測は、予め測定しておいた光学パラメータと、上記Ｚ座標変位｜ｚ−ｚ0(mb)｜で決まる許容錯乱円半径Ｒ（ｚ）を用いて、以下の点広がり関数（Point Spread Function：ＰＳＦ）で表わされる。
【００５４】
【数１】
【００５５】
ここで、Ｚ_pitchは、フォーカス方向（図８に示すＺ方向）における撮影間隔であり、隣り合うフォーカス面画像Ｉ（ｚ）の間隔である。その大きさは、例えば数μｍ程度ある。また、α、βは光学系と撮像素子との関係から定まる係数である。
【００５６】
このR（ｚ，ｍｂ）を用いて、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(mb)｜）は、ＰＳＦ（ｘ，ｙ，ｚ，ｍｂ）として以下の式で表わされる。
【００５７】
【数２】
【００５８】
π…円周率
（ｘ，ｙ）…フィルタの座標
（ｘ0，ｙ0）…フィルタの中心座標
【００５９】
上記したように、このボケ補償フィルタＰＳＦ（ｘ，ｙ，ｚ，ｍｂ）がＩ’all_focused（ｍｂ）に畳み込まれることで、ボケ補償予測ＭＢ７であるＩpred(ｚ，ｍｂ)が出力される。これを式に表わすと、以下のようになる。
【００６０】
【数３】
【００６１】
ＣＰＵ１０１により、出力されたボケ補償予測ＭＢ７であるＩpred（ｚ，ｍｂ）と、圧縮したいフォーカス面画像Ｉ（ｚ）のＭＢ５であるＩ（ｚ，ｍｂ）との差分が算出される。これにより、差分ＭＢ８としてΔ（ｚ，ｍｂ）が算出され、記憶部１０８等に記憶される（ステップ２０６）。これを式に表わすと以下のようになる。
【００６２】
【数４】
【００６３】
このように，差分ＭＢ８としてΔ（ｚ，ｍｂ）が記録されることで、圧縮前のフォーカス面画像Ｉ（ｚ）のＭＢ５であるＩ（ｚ，ｍｂ）のデータと比べて大幅にデータ量を削減することができる。このΔ（ｚ，ｍｂ）に対しては、周波数変換および可逆圧縮技術等の様々な符号化方式を適用することによってさらなる高圧縮が可能となる（ステップ２０７）。ステップ２０７では、符号化後のΔ（ｚ，ｍｂ）をＥｎｃ（Δ（ｚ，ｍｂ））と記載する。
【００６４】
ステップ２０１ｂからステップ２０１ａに戻り、全ての番号ｍｂについてボケ補償予測ＭＢ７であるＩpred(ｚ，ｍｂ)が出力され、圧縮したいフォーカス面画像Ｉ（ｚ）に対応するボケ補償予測画像９としてＩpred(ｚ)が生成される。また、全ての番号ｍｂについて差分ＭＢ８としてΔ（ｚ，ｍｂ）が生成され、圧縮したいフォーカス面画像Ｉ（ｚ）に対応する差分画像１０としてΔ（ｚ）が生成される。ステップ２０８では、符号化されたＥｎｃ（Δ（ｚ））が出力されている。
【００６５】
上記で説明したボケ補償フィルタは、ボケていく方向にしか予測画像を生成することができない。従って、例えばあるフォーカス面画像Ｉ（ｚ’）を基準として、このフォーカス面画像Ｉ（ｚ’）全体にボケ補償フィルタが畳み込まれ、ボケ補償予測画像が生成されたとする。この場合、圧縮したい他のフォーカス面画像Ｉ（ｚ）に、最もフォーカスが合致した領域（代表ＭＢ６に相当）があっても、生成されたボケ補償予測画像ではその最もフォーカスが合致した領域を表現することができない。この結果、圧縮したいフォーカス面画像Ｉ（ｚ）と、ボケ補償予測画像との差分データが大きくなり、圧縮率が低下してしまう。
【００６６】
しかしながら、本実施形態の情報処理装置であるＰＣ１００では、復号された全焦点画像Ｉ’all_focusedを形成する最もフォーカスの合致した画像である代表ＭＢ６ごとにボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(mb)｜）が畳み込まれる。これにより、代表ＭＢ６ごとにボケ補償予測ＭＢ７が出力される。従って、各フォーカス面画像Ｉ（ｚ）に対応したボケ補償予測画像９を高い精度で生成することができる。この結果、フォーカス面画像Ｉ（ｚ）とボケ補償予測画像９との差分画像１０のデータ量を大幅に削減することができる。これにより、フォーカス位置が異なる複数のフォーカス面画像Ｉ（ｚ）を高い圧縮率で圧縮符号化することができる。
【００６７】
＜第２の実施形態＞
本発明の第２の実施形態に係る情報処理装置としてＰＣを例に挙げて説明する。これ以降の説明では、第１の実施形態で説明したＰＣ１００の構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【００６８】
本実施形態に係るＰＣは、第１の実施形態で圧縮符号化された複数のフォーカス面画像Ｉ（ｚ）を復号するものである。本実施形態のＰＣの記憶部等には、図５に示すステップ１０６で生成された、符号化された全焦点画像Ｅｎｃ（Ｉall_focused）が記憶されている。またＰＣの記憶部等には、全焦点画像Ｅｎｃ（Ｉall_focused）の各番号ｍｂの代表ＭＢの位置座標ｚ0（ｍｂ）が記憶されている。さらに、記憶部等には、図７に示すステップ２０８にて生成された、圧縮された各フォーカス面画像Ｉ（ｚ）に対応する符号化された差分画像Ｅｎｃ（Δ（ｚ））が記憶されている。
【００６９】
［フォーカス面画像の復号］
図９は各フォーカス面画像Ｉ（ｚ）を復号するための本実施形態に係るＰＣの処理を示すフローチャートである。
【００７０】
本実施形態のＰＣが有するＣＰＵにより、図７に示すステップ２０２から２０５までの動作と同様の処理が行われる（ステップ３０２−３０５）。すなわち、復号化された番号ｍｂの代表ＭＢであるＩ’all_focused（ｍｂ）ごとに、位置座標ｚ0（ｍｂ）に基づいたボケ補償予測が行われ、ボケ補償予測ＭＢであるＩpred(ｚ，ｍｂ)が出力される。
【００７１】
次に、記憶部等に記憶されている符号化された差分画像Ｅｎｃ（Δ（ｚ））の、符号化された差分ＭＢであるＥｎｃ（Δ（ｚ，ｍｂ））が復号され、復号後の差分ＭＢとしてΔ’（ｚ，ｍｂ）が生成される（ステップ３０６）。
【００７２】
ステップ３０５で生成されたボケ補償予測ＭＢであるＩpred(ｚ，ｍｂ)と、上記の差分ＭＢであるΔ’（ｚ，ｍｂ）との加算ＭＢとして、Ｉ’（ｚ，ｍｂ）が生成される（ステップ３０７）。この加算ＭＢであるＩ’（ｚ，ｍｂ）は、フォーカス面画像Ｉ（ｚ）の番号ｍｂのＭＢが復号されたものである。これを式に表わすと以下のようになる。
【００７３】
【数５】
【００７４】
ステップ３０１ｂからステップ３０１ａに戻り、全ての番号ｍｂに対して上記の処理が行われ、フォーカス面画像Ｉ’（ｚ）が、フォーカス面画像Ｉ（ｚ）の復号画像として出力される（ステップ３０８）。上記の処理が各位置座標ｚにおいて行われることで、複数のフォーカス面画像Ｉ（ｚ）が復号される。
【００７５】
以上、本実施形態に係る情報処理装置（ＰＣ）では、復号された差分画像Δ（ｚ）と、ボケ補償予測画像Ｉpred(ｚ)とがＭＢごとに加算され、加算画像であるフォーカス面画像Ｉ’（ｚ）が、フォーカス面画像Ｉ（ｚ）の復号画像として生成される。従って、任意のフォーカス面画像Ｉ（ｚ）を復号するためには、復号された全焦点画像Ｉ’all_focusedを参照すればよく、他のフォーカス面画像Ｉ（ｚ）を復号する必要がない。これにより、フォーカス位置が異なる複数のフォーカス面画像Ｉ（ｚ）を短い処理時間で復号することができる。この結果、光学顕微鏡の微動焦点ねじを回すという操作と同様な操作を、容易に操作性よく実現することができる。
【００７６】
なお、第１の実施形態で説明したＰＣ１００により、本実施形態で説明したような、複数のフォーカス面画像Ｉ（ｚ）の復号が行われてもよい。
【００７７】
＜第３の実施形態＞
図１０は、本発明の第３の実施形態に係る、代表ＭＢに対するボケ補償フィルタの畳み込みについて説明するための図である。
【００７８】
図１０に示すように、復号された全焦点画像Ｉ’all_focusedの代表ＭＢ３０６であるＩ’all_focused（Ａ）にボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ａ)｜）が畳み込まれる。この際、Ｉ’all_focused（Ａ）と、これに隣接し合う他の代表ＭＢ３０６であるＩ’all_focused（Ｂ）、Ｉ’all_focused（Ｃ）、及びＩ’all_focused（Ｄ）との境界に位置する境界領域Ｗにも、Ｉ’all_focused（Ａ）に応じたボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ａ)｜）が畳み込まれる。すなわち、Ｉ’all_focused（Ｂ）、Ｉ’all_focused（Ｃ）、及びＩ’all_focused（Ｄ）においては、境界領域Ｗに含まれない領域には、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ｂ)｜）、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ｃ)｜）、及びボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ｄ)｜）がそれぞれ畳み込まれる。そして、境界領域Ｗに含まれる領域には、上記したように、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ａ)｜）が畳み込まれる。そして、ボケ補償予測ＭＢであるＩpred(ｚ，Ａ)、Ｉpred(ｚ，Ｂ)、Ｉpred(ｚ，Ｃ)、及びＩpred(ｚ，Ｄ)がそれぞれ生成される。
【００７９】
以上のように、代表ＭＢ３０６ごとに各ボケ補償フィルタが畳み込まれ、かつ、隣接し合う代表ＭＢ３０６の境界領域Ｗに、上記ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ａ)｜）が畳み込まれる。これにより、代表ＭＢごとにボケ補償予測が行われることで発生する可能性がある、ＭＢ境界での不連続に起因する、折り返しやエイリアシング等の問題を防ぐことが可能である。
【００８０】
本実施形態では、境界領域用ボケ補償予測として、境界領域Ｗにボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ａ)｜）が畳み込まれた。しかしながら、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ａ)｜）ではなく、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ｂ)｜）、ボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ｃ)｜）、又はボケ補償フィルタＰＳＦ（｜ｚ−ｚ0(Ｄ)｜）のいずれかが境界領域Ｗに畳み込まれてもよい。あるいは、各代表ＭＢ３０６に畳み込まれるボケ補償フィルタとは異なるボケ補償フィルタが適宜設定され、境界領域Ｗに畳み込まれてもよい。
【００８１】
＜第４の実施形態＞
図１１は、本発明の第４の実施形態に係る、複数のフォーカス面画像Ｉ（ｚ）の圧縮符号化及び復号の概要を説明するための図である。
【００８２】
本実施形態では、Ｍ＝１の解像度を有する縮小全焦点画像Ｉ"all_focusedがＰＣの記憶部等に記憶されている。そして、この縮小全焦点画像Ｉ"all_focusedが参照されることで、Ｍ＝０の解像度を有する複数のフォーカス面画像Ｉ（ｚ）が圧縮符号化され、また復号される。
【００８３】
縮小全焦点画像Ｉ"all_focusedは、図４に示す全焦点画像Ｉall_focusedが縮小されることで生成される。あるいは、図３に示す画像ピラミッド構造４ａ〜４ｇにそれぞれ含まれる、Ｍ＝１の解像度を有する縮小フォーカス面画像Ｉ"（ｚ）から、縮小全焦点画像Ｉ"all_focusedが生成されてもよい。
【００８４】
縮小全焦点画像Ｉ"all_focusedの、縮小代表ＭＢ６"ごとに、例えばLanczos等の拡大フィルタ及びボケ補償フィルタＰＳＦが畳み込まれることで、Ｍ＝０の解像度を有するボケ補償予測画像が生成される。Ｍ＝０の解像度を有する各フォーカス面画像Ｉ（ｚ）とボケ補償予測画像との差分が算出され、Ｍ＝０の解像度を有する差分画像１０ａ〜１０ｇが生成される。
【００８５】
フォーカス面画像Ｉ（ｚ）の復号の際には、縮小全焦点画像Ｉ"all_focusedから、上記したようにＭ＝０の解像度を有するボケ補償予測画像が生成される。そしてボケ補償予測画像と、Ｍ＝０の解像度を有する差分画像１０ａ〜１０ｇとが加算されることで、Ｍ＝０の解像度を有する複数のフォーカス面画像Ｉ（ｚ）が復号される。
【００８６】
このように、解像度が小さい縮小全焦点画像Ｉ"all_focusedが用いられることで、これを保持するメモリサイズを少なくすることができる。また縮小全焦点画像Ｉ"all_focusedが符号化されて記憶部等に記憶される場合、縮小全焦点画像Ｉ"all_focusedを復号するときのＣＰＵの処理量を低減させることができる。なお、縮小全焦点画像Ｉ"all_focusedの解像度は、Ｍ＝１の解像度に限られず、適宜設定されてよい。
【００８７】
上記した各実施形態に係る情報処理装置は、例えば、医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステム等に用いられる。しかしながら、この分野に限られず他の分野においても適用可能である。
【００８８】
＜その他の実施形態＞
本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態がある。
【００８９】
上記した各実施形態では、情報処理装置としてＰＣを一例に挙げて説明した。しかしながら、本実施形態に係る情報処理装置として光学顕微鏡の機能を有するスキャナ装置等が用いられ、このスキャナ装置等により複数のフォーカス面画像が圧縮符号化され、また復号されてもよい。
【００９０】
また、図１２に示すように、本発明の実施形態として用いられるスキャナ装置５００により圧縮符号化された複数のフォーカス面画像が、ＰＣ２００とは別のコンピュータやサーバ６００に記憶されてもよい。そしてユーザが端末装置として使用するＰＣ２００が、それら別のコンピュータやサーバ６００にアクセスしてその圧縮符号化された複数のフォーカス面画像を受信してもよい。圧縮符号化された複数のフォーカス面画像は、ＰＣ２００により復号される。この場合、端末装置としてのＰＣ２００とサーバ６００等とがＬＡＮまたはＷＡＮ等のネットワーク７００を介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。
【符号の説明】
【００９１】
Ｉall_focused…全焦点画像
ＰＳＦ…ボケ補償フィルタ
Ｗ…境界領域
ｚ…位置座標
ｚ0（ｍｂ）…番号ｍｂの代表ＭＢを含むフォーカス面画像の位置座標
２…観察対象物
３（３ａ〜３ｇ）、Ｉ（ｚ）…フォーカス面画像
５…ＭＢ（マクロブロック）
６、３０６…代表ＭＢ
９…ボケ補償予測画像
１０…差分画像
１００、２００…ＰＣ
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０８…記憶部
１１１…記録媒体
５００…スキャナ装置
６００…サーバ
【特許請求の範囲】
【請求項１】
異なる複数のフォーカス位置で観察対象物が撮影されることで得られる複数のフォーカス面画像から、前記フォーカス面画像を形成する複数の分割領域の画像のうち最もフォーカスの合致した画像である代表分割画像を、前記分割領域に応じて前記フォーカス面画像ごとに選択することで生成された全焦点画像と、前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置の情報とを記憶する記憶手段と、
前記記憶手段により記憶された前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置情報に基づいて、前記代表分割画像ごとに前記フォーカス面画像の前記フォーカス位置情報に応じた、ボケ関数を用いたボケ補償予測を行うことで、前記フォーカス面画像に対応するボケ補償予測画像を生成する予測画像生成手段と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記分割領域画像の輝度情報に基づいて前記代表分割画像を選択することで、前記全焦点画像を生成する全焦点画像生成手段と、
前記フォーカス面画像と、前記予測画像生成手段により生成された前記フォーカス面画像に対応する前記ボケ補償予測画像との差分画像を生成する差分画像生成手段と
をさらに具備する情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記全焦点画像生成手段は、前記分割領域画像のコントラストに基づいて前記代表分割画像を選択することで、前記全焦点画像を生成する情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記予測画像生成手段は、前記代表分割画像ごとに前記ボケ補償予測を行い、かつ、前記全焦点画像に含まれる隣接する複数の前記代表分割画像の境界領域に、境界領域用ボケ補償予測を行う情報処理装置。
【請求項５】
請求項１から４のうちいずれか１項に記載の情報処理装置であって、
前記記憶手段は、前記フォーカス面画像と、前記予測画像生成手段により生成された前記フォーカス面画像に対応する前記ボケ補償予測画像との差分画像を記憶し、
前記情報処理装置は、前記記憶手段に記憶された前記差分画像と、前記予測画像生成手段により生成された前記フォーカス面画像に対応する前記ボケ補償予測画像との加算画像を生成する加算画像生成手段をさらに具備する
情報処理装置。
【請求項６】
異なる複数のフォーカス位置で観察対象物が撮影されることで得られる複数のフォーカス面画像から、前記フォーカス面画像を形成する複数の分割領域の画像のうち最もフォーカスの合致した画像である代表分割画像を、前記分割領域に応じて前記フォーカス面画像ごとに選択することで生成された全焦点画像と、前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置の情報とを記憶し、
前記記憶された前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置情報に基づいて、前記代表分割画像ごとに前記フォーカス面画像の前記フォーカス位置情報に応じた、ボケ関数を用いたボケ補償予測を行うことで、前記フォーカス面画像に対応するボケ補償予測画像を生成する
ことを情報処理装置が実行する情報処理方法。
【請求項７】
異なる複数のフォーカス位置で観察対象物が撮影されることで得られる複数のフォーカス面画像から、前記フォーカス面画像を形成する複数の分割領域の画像のうち最もフォーカスの合致した画像である代表分割画像を、前記分割領域に応じて前記フォーカス面画像ごとに選択することで生成された全焦点画像と、前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置の情報とを記憶し、
前記記憶された前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置情報に基づいて、前記代表分割画像ごとに前記フォーカス面画像の前記フォーカス位置情報に応じた、ボケ関数を用いたボケ補償予測を行うことで、前記フォーカス面画像に対応するボケ補償予測画像を生成する
ことを情報処理装置に実行させるプログラム。
【請求項１】
異なる複数のフォーカス位置で観察対象物が撮影されることで得られる複数のフォーカス面画像から、前記フォーカス面画像を形成する複数の分割領域の画像のうち最もフォーカスの合致した画像である代表分割画像を、前記分割領域に応じて前記フォーカス面画像ごとに選択することで生成された全焦点画像と、前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置の情報とを記憶する記憶手段と、
前記記憶手段により記憶された前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置情報に基づいて、前記代表分割画像ごとに前記フォーカス面画像の前記フォーカス位置情報に応じた、ボケ関数を用いたボケ補償予測を行うことで、前記フォーカス面画像に対応するボケ補償予測画像を生成する予測画像生成手段と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記分割領域画像の輝度情報に基づいて前記代表分割画像を選択することで、前記全焦点画像を生成する全焦点画像生成手段と、
前記フォーカス面画像と、前記予測画像生成手段により生成された前記フォーカス面画像に対応する前記ボケ補償予測画像との差分画像を生成する差分画像生成手段と
をさらに具備する情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記全焦点画像生成手段は、前記分割領域画像のコントラストに基づいて前記代表分割画像を選択することで、前記全焦点画像を生成する情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記予測画像生成手段は、前記代表分割画像ごとに前記ボケ補償予測を行い、かつ、前記全焦点画像に含まれる隣接する複数の前記代表分割画像の境界領域に、境界領域用ボケ補償予測を行う情報処理装置。
【請求項５】
請求項１から４のうちいずれか１項に記載の情報処理装置であって、
前記記憶手段は、前記フォーカス面画像と、前記予測画像生成手段により生成された前記フォーカス面画像に対応する前記ボケ補償予測画像との差分画像を記憶し、
前記情報処理装置は、前記記憶手段に記憶された前記差分画像と、前記予測画像生成手段により生成された前記フォーカス面画像に対応する前記ボケ補償予測画像との加算画像を生成する加算画像生成手段をさらに具備する
情報処理装置。
【請求項６】
異なる複数のフォーカス位置で観察対象物が撮影されることで得られる複数のフォーカス面画像から、前記フォーカス面画像を形成する複数の分割領域の画像のうち最もフォーカスの合致した画像である代表分割画像を、前記分割領域に応じて前記フォーカス面画像ごとに選択することで生成された全焦点画像と、前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置の情報とを記憶し、
前記記憶された前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置情報に基づいて、前記代表分割画像ごとに前記フォーカス面画像の前記フォーカス位置情報に応じた、ボケ関数を用いたボケ補償予測を行うことで、前記フォーカス面画像に対応するボケ補償予測画像を生成する
ことを情報処理装置が実行する情報処理方法。
【請求項７】
異なる複数のフォーカス位置で観察対象物が撮影されることで得られる複数のフォーカス面画像から、前記フォーカス面画像を形成する複数の分割領域の画像のうち最もフォーカスの合致した画像である代表分割画像を、前記分割領域に応じて前記フォーカス面画像ごとに選択することで生成された全焦点画像と、前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置の情報とを記憶し、
前記記憶された前記代表分割画像を含む前記フォーカス面画像の前記フォーカス位置情報に基づいて、前記代表分割画像ごとに前記フォーカス面画像の前記フォーカス位置情報に応じた、ボケ関数を用いたボケ補償予測を行うことで、前記フォーカス面画像に対応するボケ補償予測画像を生成する
ことを情報処理装置に実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１５０４００（Ｐ２０１１−１５０４００Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−８９８９（Ｐ２０１０−８９８９）
【出願日】平成２２年１月１９日（２０１０．１．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１月１９日（２０１０．１．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]