画像処理装置、画像処理方法、およびプログラム
【課題】従来、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができなかった。
【解決手段】１以上の三次元の物体の画像データであり、位置情報と色情報と深さ情報とを有する複数のボクセル情報から構成される三次元画像と、１以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する複数のピクセル情報から構成される深さ情報付き二次元画像を格納しており、深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、処理後深さ情報付き二次元画像と三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、拡張像を出力する出力部とを具備する画像処理装置により、必要な画像を得ることができる。
【解決手段】１以上の三次元の物体の画像データであり、位置情報と色情報と深さ情報とを有する複数のボクセル情報から構成される三次元画像と、１以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する複数のピクセル情報から構成される深さ情報付き二次元画像を格納しており、深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、処理後深さ情報付き二次元画像と三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、拡張像を出力する出力部とを具備する画像処理装置により、必要な画像を得ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元画像と三次元画像とを重ね合わせる画像処理装置等に関するものである。
【背景技術】
【０００２】
従来、内視鏡による二次元画像を用いて、外科手術、診断、または医師の手術教育がなされていた。
【０００３】
また、三次元物体の変形を、色情報を伴ってリアルタイムでシミュレートできる情報処理装置があった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４３３７９８７号公報（第１頁、第１図等）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の装置においては、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができなかった。そのため、例えば、医師が執刀する際に必要な支援情報の提示が困難であった。
【課題を解決するための手段】
【０００６】
本第一の発明の画像処理装置は、１以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像を格納し得る三次元画像格納部と、１以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像を格納し得る深さ情報付き二次元画像格納部と、深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、処理後深さ情報付き二次元画像と、三次元画像に対して第二の画像処理を施した処理後三次元画像または三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、拡張像を出力する出力部とを具備する画像処理装置である。
【０００７】
かかる構成により、画像が有する点の深さ情報を用いて、二次元画像と三次元画像とを効果的に重ね合わせた画像を得ることができる。
【０００８】
また、本第二の発明の画像処理装置は、第一の発明に対して、１以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納し得る二次元画像格納部と、三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、深さ情報取得部が平面上の位置情報ごとに取得した２以上の各深さ情報を、二次元画像が有する複数の各ピクセル情報であり、平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する２以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部とをさらに具備し、深さ情報付き二次元画像格納部の深さ情報付き二次元画像は、深さ情報付き二次元画像取得部が取得した深さ情報付き二次元画像である画像処理装置である。
【０００９】
かかる構成により、深さ情報を有する二次元画像である深さ情報付き二次元画像を自動的に取得できる。
【００１０】
また、本第三の発明の画像処理装置は、第一または第二の発明に対して、深さ情報付き二次元画像処理部は、深さ情報付き二次元画像が有する複数のピクセル情報に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する画像処理装置である。
【００１１】
かかる構成により、重ね合わせる二次元の画像の色や不透明度を、深さ情報を用いて制御することにより、適切な画像を得ることができる。
【００１２】
また、本第四の発明の画像処理装置は、第一から第三いずれかの発明に対して、三次元画像が有する複数のボクセル情報に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部をさらに具備する画像処理装置である。
【００１３】
かかる構成により、重ね合わせる三次元の画像の色や不透明度を、深さ情報を用いて制御することにより、適切な画像を得ることができる。
【００１４】
また、本第五の発明の画像処理装置は、第四の発明に対して、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの１以上の点に対する指示を受け付ける受付部と、指示に対応する１以上の点に対応するボクセル情報が有する色情報を用いて、連続する２以上のボクセル情報を決定する指示ボクセル情報決定部をさらに具備し、三次元画像処理部は、指示ボクセル情報決定部が決定した２以上のボクセル情報、または２以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する画像処理装置である。
【００１５】
かかる構成により、指示した物体を効果的に表示し得る適切な画像を得ることができる。
【発明の効果】
【００１６】
本発明による画像処理装置によれば、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態１における画像処理装置のブロック図
【図２】同画像処理装置の動作について説明するフローチャート
【図３】同深さ情報取得処理の動作について説明するフローチャート
【図４】同拡張像生成処理の動作について説明するフローチャート
【図５】同深さ情報付き二次元画像処理の動作について説明するフローチャート
【図６】同三次元画像処理の動作について説明するフローチャート
【図７】同三次元画像処理の動作について説明するフローチャート
【図８】同指示ボクセル情報決定処理の動作について説明するフローチャート
【図９】同連続ボクセル情報取得処理の動作について説明するフローチャート
【図１０】同二次元画像を示す図
【図１１】同三次元画像を示す図
【図１２】同生成した拡張像を示す図
【図１３】同生成した拡張像を示す図
【図１４】同連続領域指示を説明する図
【図１５】同処理後三次元画像を示す図
【図１６】同内視鏡で人間の体内を撮影した二次元画像を示す図
【図１７】同人間の体内の三次元画像を示す図
【図１８】同人間の体内の拡張像を示す図
【図１９】同画像処理装置の他のブロック図
【図２０】同コンピュータシステムの概観図
【図２１】同コンピュータシステムのブロック図
【発明を実施するための形態】
【００１８】
以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００１９】
（実施の形態１）
本実施の形態において、深さ情報を用いて、二次元の画像を画像処理し、画像処理した二次元の画像と三次元画像等とを重ね合わせる画像処理装置について説明する。
【００２０】
図１は、本実施の形態における画像処理装置１のブロック図である。画像処理装置１は、二次元画像格納部１０１、三次元画像格納部１０２、深さ情報付き二次元画像格納部１０３、受付部１０４、深さ情報取得部１０５、深さ情報付き二次元画像取得部１０６、深さ情報付き二次元画像蓄積部１０７、深さ情報付き二次元画像処理部１０８、指示ボクセル情報決定部１０９、三次元画像処理部１１０、拡張像生成部１１１、および出力部１１２を具備する。
【００２１】
二次元画像格納部１０１は、複数のピクセル情報から構成される二次元画像を格納し得る。ピクセル情報は、位置を示す情報である位置情報と色についての情報である色情報とを有する点の情報である。また、ここでの位置情報は、平面上での位置情報（例えば、（ｘ，ｙ））である。また、ピクセル情報は、位置情報と色情報と不透明度を示す不透明度情報（α値，ブレンディングパラメータとも言う。）を有しても良い。なお、不透明度情報は、透明度を示す透明度情報と捉えても良い。また、二次元画像は、１以上の三次元の物体を撮影した画像であり、後述する三次元画像と位置合わせがされている画像である。なお、「二次元画像と三次元画像とが位置合わせをされている」とは、カメラによって撮影された二次元画像と、ＣＴ等で撮影された三次元画像をレンダリングすることで生成される投影像とが位置合わせがされていることである。また、二次元画像は、１以上の三次元の物体を撮影した画像である。また、投影像は当該物体の三次元画像をレンダリングすることで生成される。そして、二次元画像に位置合わせされた投影像は、例えば、カメラの位置、アングル、視野角等のカメラパラメータを、三次元の物体を撮影する際のカメラの状態と同一に設定してレンダリングすることで生成される。
【００２２】
二次元画像格納部１０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。二次元画像格納部１０１に二次元画像が記憶される過程は問わない。例えば、記録媒体を介して二次元画像が二次元画像格納部１０１で記憶されるようになってもよく、通信回線等を介して送信された二次元画像が二次元画像格納部１０１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された二次元画像が二次元画像格納部１０１で記憶されるようになってもよい。
【００２３】
三次元画像格納部１０２は、複数のボクセル情報から構成される三次元画像を格納し得る。ボクセル情報は、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である。また、三次元画像は、１以上の三次元の物体の画像データである。
【００２４】
また、三次元画像は、例えば、１以上の３次元の物体のボリュームテクスチャである３Ｄボクセル情報である。３Ｄボクセル情報は、例えば、（ｘ，ｙ，ｚ，ｃｏｌ）で構成される点の情報である。（ｘ，ｙ，ｚ，ｃｏｌ）の（ｘ，ｙ，ｚ）は、座標情報である。「ｃｏｌ」は、色情報である。３Ｄボクセル情報は、例えば、（ｘ，ｙ，ｚ，ｃｏｌ，α値）で構成される点の情報であっても良い。３Ｄボクセル情報は、ここでは、点の間隔がなく、詰まっている点の情報でることが好適であるが、離散的な点の情報でも良い。３Ｄボクセル情報は、例えば、ＣＴやＭＲＩやＰＥＴなどの医用機器により取得される二次元画像の集合である。３Ｄボクセル情報は、例えば、ＣＴやＭＲＩなどで、人体の脳や、身体の中を撮影した二次元画像の集合である。また、（ｘ，ｙ，ｚ）の「ｚ」は、深さ情報でも良い。なお、位置情報が（ｘ，ｙ）である場合、深さ情報（ｄ）を含めた（ｘ，ｙ，ｄ）が三次元空間内の位置を示す。
【００２５】
また、三次元画像は、１以上の三次元の物体のボリュームテクスチャである３Ｄボクセル情報を複数の平面で切り出した結果の二次元の画像データに基づいて構成される情報であるスライス情報であり、位置情報と色情報と深さ情報とを有する複数の点の情報から構成される複数のスライス情報を有するスライス情報群であっても良い。
スライス情報群は、３Ｄボクセル情報から、視線（視線ベクトル）に対して垂直で、かつ間隔を一定にして切り出された複数のスライス情報である。視線とは、例えば、スライス情報群を出力するディスプレイに対して垂直な線（当該ディスプレイを見る者の視線）である。スライス情報は、平面を構成する点の情報の集合であり、点間の間隔がなく、詰まっている。
【００２６】
三次元画像格納部１０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。三次元画像格納部１０２に三次元画像が記憶される過程は問わない。
【００２７】
深さ情報付き二次元画像格納部１０３は、深さ情報付き二次元画像を格納し得る。深さ情報付き二次元画像は、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される画像である。また、深さ情報付き二次元画像は、１以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像である。ここで、位置合わせがされている画像とは、カメラの位置、アングル、視野角等のカメラパラメータが、三次元画像のカメラパラメータと同一である画像である。
【００２８】
深さ情報付き二次元画像格納部１０３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。深さ情報付き二次元画像格納部１０３に深さ情報付き二次元画像が記憶される過程は問わない。
【００２９】
受付部１０４は、指示を受け付ける。指示とは、例えば、深さ情報付き二次元画像取得指示、拡張像取得指示、連続領域指示等である、深さ情報付き二次元画像取得指示とは、二次元画像のピクセル情報に深さ情報を付加した深さ情報付き二次元画像を取得する指示である。拡張像取得指示とは、拡張像を取得する指示である。また、連続領域指示とは、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの１以上の点に対する指示であり、当該１以上の点が含まれるオブジェクト（連続領域）を他のオブジェクトと異なる態様（例えば、色情報または／および不透明度情報が異なる）で出力する指示である。ここで、受け付けとは、マウス、タッチパネル、キーボードなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。指示の入力手段は、マウスやメニュー画面によるもの等、何でも良い。受付部１０４は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００３０】
深さ情報取得部１０５は、三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する。ここで、平面とは、通常、カメラの位置や視線ベクトルに対して垂直の平面である。平面上の同一の位置情報を有する複数の点とは、例えば、（ｘ，ｙ）が同一で、深さ情報またはｚが異なる複数の点である。また、基準位置とは、通常、三次元画像を取得するカメラや視線の位置である。
【００３１】
深さ情報付き二次元画像取得部１０６は、二次元画像が有する複数の各ピクセル情報に深さ情報を付加し、深さ情報付き二次元画像を取得する。さらに具体的には、深さ情報付き二次元画像取得部１０６は、深さ情報取得部１０５が平面上の位置情報ごとに取得した２以上の各深さ情報を、二次元画像が有する複数の各ピクセル情報であり、平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する２以上のピクセル情報からなる深さ情報付き二次元画像を取得する。つまり、深さ情報付き二次元画像は、二次元画像が有する複数の各ピクセル情報に深さ情報が付加された画像である。
【００３２】
深さ情報付き二次元画像蓄積部１０７は、深さ情報付き二次元画像取得部１０６が取得した深さ情報付き二次元画像を深さ情報付き二次元画像格納部１０３に蓄積する。
【００３３】
深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像に対して、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。深さ情報付き二次元画像処理部１０８は、通常、深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。
【００３４】
深さ情報付き二次元画像処理部１０８は、例えば、深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。ここで、少なくとも２以上の異なる色情報を設定するとは、元々、一の色情報が設定されている場合、一部のピクセル情報に対して、他の色情報を設定する処理でも良い。また、少なくとも２以上の異なる不透明度情報を設定するとは、元々、一の不透明度情報が設定されている場合、一部のピクセル情報に対して、他の不透明度情報を設定する処理でも良い。第一の画像処理は、処理の結果として、２種類以上の異なる色情報または／および異なる不透明度情報を有するようになれば良い。なお、上記の「異なる色情報または／および異なる不透明度情報」とは、異なる色情報、異なる不透明度情報、異なる色情報および異なる不透明度情報のうちのいずれかであることである。
【００３５】
また、第一の画像処理は、ピクセル情報が有する深さ情報の違いに応じて、輪郭を強調したり、カラーマップによって部分領域の色情報を変更したり、ピクセル単位でＲＧＢＡ値（色情報と不透明度情報）を変更する等の任意の画像処理で良い。
【００３６】
指示ボクセル情報決定部１０９は、指示に対応する１以上の点に対応するボクセル情報が有する色情報を用いて、連続する２以上のボクセル情報を決定する。連続する２以上のボクセル情報とは、隣接するボクセル情報が有する色情報と同一または閾値以内の差の色情報を有する２以上のボクセル情報である。
【００３７】
三次元画像処理部１１０は、三次元画像に対して、第二の画像処理を行い、処理後三次元画像を取得する。三次元画像処理部１１０は、例えば、三次元画像に対して、三次元画像に含まれるボクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する。
【００３８】
三次元画像処理部１１０は、例えば、指示ボクセル情報決定部１０９が決定した２以上のボクセル情報、または２以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する。
【００３９】
拡張像生成部１１１は、処理後深さ情報付き二次元画像と、三次元画像とを重ね合わせた拡張像を生成する。また、拡張像生成部１１１は、処理後深さ情報付き二次元画像と、三次元画像に対して第二の画像処理を施した処理後三次元画像とを重ね合わせた拡張像を生成しても良い。つまり、拡張像生成部１１１は、二次元画像内で選択され画像処理された領域（処理後深さ情報付き二次元画像）と、三次元画像の投影像（の一部あるいは全体）を任意にブレンドして拡張像を生成する。
【００４０】
出力部１１２は、拡張像生成部１１１が生成した拡張像を出力する。出力部１１２は、二次元画像格納部１０１の二次元画像や、三次元画像格納部１０２の三次元画像や、深さ情報付き二次元画像格納部１０３の深さ情報付き二次元画像などを出力しても良い。
【００４１】
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【００４２】
出力部１１２は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１１２は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００４３】
深さ情報取得部１０５、深さ情報付き二次元画像取得部１０６、深さ情報付き二次元画像蓄積部１０７、深さ情報付き二次元画像処理部１０８、指示ボクセル情報決定部１０９、三次元画像処理部１１０、および拡張像生成部１１１は、通常、ＭＰＵやメモリ等から実現され得る。深さ情報取得部１０５等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４４】
次に、画像処理装置１の動作について、図２のフローチャートを用いて説明する。
【００４５】
（ステップＳ２０１）受付部１０４は、深さ情報付き二次元画像取得指示を受け付けたか否かを判断する。深さ情報付き二次元画像取得指示を受け付ければステップＳ２０２に行き、深さ情報付き二次元画像取得指示を受け付けなければステップＳ２０８に行く。
【００４６】
（ステップＳ２０２）深さ情報取得部１０５は、カウンタｉに１を代入する。
【００４７】
（ステップＳ２０３）深さ情報取得部１０５は、二次元画像格納部１０１の二次元画像の中に、ｉ番目の点（ピクセル情報）が存在するか否かを判断する。ｉ番目の点が存在すればステップＳ２０４に行き、存在しなければステップＳ２０７に行く。
【００４８】
（ステップＳ２０４）深さ情報取得部１０５は、二次元画像の中のｉ番目のピクセル情報の深さ情報を取得する。かかる処理は、深さ情報取得処理と言う。深さ情報取得処理について、図３のフローチャートを用いて説明する。
【００４９】
（ステップＳ２０５）深さ情報付き二次元画像取得部１０６は、ステップＳ２０４で取得された深さ情報を、二次元画像の中のｉ番目のピクセル情報に設定する。なお、ここで、深さ情報付き二次元画像取得部１０６は、二次元画像格納部１０１の二次元画像の中に深さ情報を書き込む必要はなく、二次元画像格納部１０１の二次元画像を複写した画像の中に深さ情報を書き込むことは好適である。
【００５０】
（ステップＳ２０６）深さ情報取得部１０５は、カウンタｉを１、インクリメントする。ステップＳ２０３に戻る。
【００５１】
（ステップＳ２０７）深さ情報付き二次元画像蓄積部１０７は、取得された深さ情報付き二次元画像を深さ情報付き二次元画像格納部１０３に蓄積する。ステップＳ２０１に戻る。
【００５２】
（ステップＳ２０８）受付部１０４は、拡張像取得指示を受け付けたか否かを判断する。拡張像取得指示を受け付ければステップＳ２０９に行き、拡張像取得指示を受け付けなければステップＳ２１１に行く。
【００５３】
（ステップＳ２０９）拡張像生成部１１１等は、拡張像生成処理を行う。拡張像生成処理について、図４のフローチャートを用いて説明する。
【００５４】
（ステップＳ２１０）出力部１１２は、ステップＳ２０９で生成された拡張像を出力する。ステップＳ２０１に戻る。
【００５５】
（ステップＳ２１１）受付部１０４は、連続領域指示を受け付けたか否かを判断する。連続領域指示を受け付ければステップＳ２１２に行き、連続領域指示を受け付けなければステップＳ２０１に戻る。
【００５６】
（ステップＳ２１２）指示ボクセル情報決定部１０９は、指示ボクセル情報決定処理を行う。指示ボクセル情報決定処理について、図８のフローチャートを用いて説明する。ステップＳ２０９に行く。
【００５７】
なお、図２のフローチャートにおいて、ステップＳ２０２からステップＳ２０７までの処理により深さ情報付き二次元画像が生成される。
【００５８】
また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００５９】
次に、ステップＳ２０４の深さ情報取得処理について、図３のフローチャートを用いて説明する。
【００６０】
（ステップＳ３０１）深さ情報取得部１０５は、カウンタｊに１を代入する。
【００６１】
（ステップＳ３０２）深さ情報取得部１０５は、三次元画像格納部１０２の三次元画像において、ｉ番目の点と同位置（平面上の同位置）にあるｊ番目の点（ボクセル情報）が存在するか否かを判断する。ｊ番目の点が存在すればステップＳ３０３に行き、ｊ番目の点が存在しなければステップＳ３０７に行く。なお、ここで、深さ情報取得部１０５は、ｊ番目の点を手前から選択する。なお、手前の点とは、「深さ情報が浅い点」や「ｚの値が小さい点（ｚの値が小さいほど、手前にある場合）」や「ｚの値が大きい点（ｚの値が大きいほど、手前にある場合）」と言っても良い。
【００６２】
（ステップＳ３０３）深さ情報取得部１０５は、ｊ番目の点の色情報を取得する。
【００６３】
（ステップＳ３０４）深さ情報取得部１０５は、ステップＳ３０３で取得した色情報が「透明」を示す情報であるか否かを判断する。「透明」であればステップＳ３０６に行き、「透明」でなければステップＳ３０５に行く。
【００６４】
（ステップＳ３０５）深さ情報取得部１０５は、ｊ番目のボクセル情報が有する深さ情報を取得する。上位処理にリターンする。
【００６５】
（ステップＳ３０６）深さ情報取得部１０５は、カウンタｊを１、インクリメントする。ステップＳ３０２に戻る。
【００６６】
（ステップＳ３０７）深さ情報取得部１０５は、深さ情報にＮＵＬＬを代入する。上位処理にリターンする。なお、本ステップは無くても良い。
【００６７】
次に、ステップＳ２０９の拡張像生成処理について、図４のフローチャートを用いて説明する。
【００６８】
（ステップＳ４０１）深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像に対して、処理を行う。かかる深さ情報付き二次元画像処理について、図５のフローチャートを用いて説明する。
【００６９】
（ステップＳ４０２）三次元画像処理部１１０は、三次元画像に対する処理が必要か否かを判断する。なお、三次元画像処理部１１０は、例えば、ユーザから三次元画像処理の指示の入力があったか否かにより、三次元画像に対する処理が必要か否かを判断する。また、三次元画像処理部１１０は、例えば、ユーザから入力された指示中に、三次元画像の処理に対応する条件が含まれるか否かにより、三次元画像に対する処理が必要か否かを判断しても良い。三次元画像に対する処理が必要であればステップＳ４０３に行き、三次元画像に対する処理が必要でなければステップＳ４０５に行く。
【００７０】
（ステップＳ４０３）三次元画像処理部１１０は、三次元画像処理を行う。三次元画像処理について、図６、図７のフローチャートを用いて説明する。
【００７１】
（ステップＳ４０４）拡張像生成部１１１は、処理後深さ情報付き二次元画像と処理後三次元画像とを重ね合わせ、拡張像を生成する。上位処理にリターンする。
【００７２】
（ステップＳ４０５）拡張像生成部１１１は、三次元画像格納部１０２から三次元画像を読み出す。
【００７３】
（ステップＳ４０６）拡張像生成部１１１は、処理後深さ情報付き二次元画像とステップＳ４０５で読み出した三次元画像とを重ね合わせ、拡張像を生成する。上位処理にリターンする。
【００７４】
次に、ステップＳ４０１の深さ情報付き二次元画像処理について、図５のフローチャートを用いて説明する。
【００７５】
（ステップＳ５０１）深さ情報付き二次元画像処理部１０８は、指示に含まれる１以上の条件を取得する。なお、この条件とは、深さ情報付き二次元画像に対する画像処理を示す情報である。条件とは、例えば、色情報または／および不透明度情報を設定する深さ情報の範囲と、設定する色情報または／および不透明度情報とを有する。
【００７６】
（ステップＳ５０２）深さ情報付き二次元画像処理部１０８は、カウンタｉに１を代入する。
【００７７】
（ステップＳ５０３）深さ情報付き二次元画像処理部１０８は、ｉ番目の条件が存在するか否かを判断する。ｉ番目の条件が存在すればステップＳ５０４に行き、ｉ番目の条件が存在しなければ上位処理にリターンする。
【００７８】
（ステップＳ５０４）深さ情報付き二次元画像処理部１０８は、ｉ番目の条件に含まれる深さ情報の範囲と、設定する色情報または／および不透明度情報とを取得する。
【００７９】
（ステップＳ５０５）深さ情報付き二次元画像処理部１０８は、カウンタｊに１を代入する。
【００８０】
（ステップＳ５０６）深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像格納部１０３の深さ情報付き二次元画像に含まれるｊ番目のピクセル情報が存在するか否かを判断する。ｊ番目のピクセル情報が存在すればステップＳ５０７に行き、存在しなければステップＳ５１１に行く。
【００８１】
（ステップＳ５０７）深さ情報付き二次元画像処理部１０８は、ｊ番目のピクセル情報が有する深さ情報を取得する。
【００８２】
（ステップＳ５０８）深さ情報付き二次元画像処理部１０８は、ステップＳ５０７で取得した深さ情報が、ｉ番目の条件に含まれる深さ情報の範囲内であるか否かを判断する。範囲内であればステップＳ５０９に行き、範囲内でなければステップＳ５１０に行く。
【００８３】
（ステップＳ５０９）深さ情報付き二次元画像処理部１０８は、ｊ番目のピクセル情報に、ｉ番目の条件に含まれる色情報または／および不透明度情報を設定する。
【００８４】
（ステップＳ５１０）深さ情報付き二次元画像処理部１０８は、カウンタｊを１、インクリメントする。ステップＳ５０６に戻る。
【００８５】
（ステップＳ５１１）深さ情報付き二次元画像処理部１０８は、カウンタｉを１、インクリメントする。ステップＳ５０３に戻る。
【００８６】
次に、ステップＳ４０３の三次元画像処理の第一の例について、図６のフローチャートを用いて説明する。なお、図６のフローチャートにおいて、図５のフローチャートと同一のステップについて、説明を省略する。三次元画像処理の第一の例は、所定の色情報または／および不透明度情報を設定する深さ情報の範囲が定まっている場合の例である。
【００８７】
（ステップＳ６０１）三次元画像処理部１１０は、三次元画像格納部１０２の三次元画像の中に、ｊ番目のボクセル情報が存在するか否かを判断する。ｊ番目のボクセル情報が存在すればステップＳ６０２に行き、存在しなければステップＳ５１１に行く。
【００８８】
（ステップＳ６０２）三次元画像処理部１１０は、ｊ番目のボクセル情報が有する深さ情報を取得する。
【００８９】
（ステップＳ６０３）三次元画像処理部１１０は、三次元画像の中のｊ番目のボクセル情報に、ｉ番目の条件に含まれる色情報または／および不透明度情報を設定する。
【００９０】
次に、ステップＳ４０３の三次元画像処理の第二の例について、図７のフローチャートを用いて説明する。三次元画像処理の第二の例は、所定の色情報または／および不透明度情報を設定するボクセル情報群が定まっている場合の例である。
【００９１】
（ステップＳ７０１）三次元画像処理部１１０は、設定する色情報または／および不透明度情報を取得する。
【００９２】
（ステップＳ７０２）三次元画像処理部１１０は、カウンタｉに１を代入する。
【００９３】
（ステップＳ７０３）三次元画像処理部１１０は、色情報または／および不透明度情報の設定対象のｉ番目のボクセル情報が存在するか否かを判断する。ｉ番目のボクセル情報が存在すればステップＳ７０４に行き、存在しなければ上位処理にリターンする。
【００９４】
（ステップＳ７０４）三次元画像処理部１１０は、設定対象のｉ番目のボクセル情報に、ステップＳ７０１で取得した色情報または／および不透明度情報を設定する。
【００９５】
（ステップＳ７０５）三次元画像処理部１１０は、カウンタｉを１、インクリメントする。ステップＳ７０３に戻る。
【００９６】
次に、ステップＳ２１２の指示ボクセル情報決定処理について、図８のフローチャートを用いて説明する。
【００９７】
（ステップＳ８０１）指示ボクセル情報決定部１０９は、指示された点の座標値（通常、（ｘ，ｙ））を取得する。
【００９８】
（ステップＳ８０２）指示ボクセル情報決定部１０９は、ステップＳ８０１で取得した座標値と同一の平面座標値（例えば、（ｘ，ｙ））を有するすべてのボクセル情報を、三次元画像格納部１０２の三次元画像から取得する。
【００９９】
（ステップＳ８０３）指示ボクセル情報決定部１０９は、ステップＳ８０２で取得したボクセル情報の中で、透明ではなく、最も手前のボクセル情報を取得する。このボクセル情報を基準ボクセル情報と言うこととする。なお、最も手前のボクセル情報とは、例えば、ｚ座標値の値が最も小さいボクセル情報である。
【０１００】
（ステップＳ８０４）指示ボクセル情報決定部１０９は、ステップＳ８０３で取得した基準ボクセル情報を、指示ボクセル情報として決定する。なお、かかる決定する処理とは、例えば、指示ボクセル情報を格納するバッファに、基準ボクセル情報を書き込む処理である。
【０１０１】
（ステップＳ８０５）指示ボクセル情報決定部１０９は、基準ボクセル情報を基準として、連続するボクセル情報を取得する処理を行う。かかる処理を連続ボクセル情報取得処理という。連続ボクセル情報取得処理について、図９のフローチャートを用いて説明する。上位処理にリターンする。
【０１０２】
次に、ステップＳ８０５の連続ボクセル情報取得処理について、図９のフローチャートを用いて説明する。図９のフローチャートにおいて、図８のフローチャートと同一のステップについて、説明を省略する。
【０１０３】
（ステップＳ９０１）指示ボクセル情報決定部１０９は、基準ボクセル情報の色情報を取得する。
【０１０４】
（ステップＳ９０２）指示ボクセル情報決定部１０９は、基準ボクセル情報に隣接するすべてのボクセル情報を、三次元画像格納部１０２の三次元画像から取得する。
【０１０５】
（ステップＳ９０３）指示ボクセル情報決定部１０９は、カウンタｉに１を代入する。
【０１０６】
（ステップＳ９０４）指示ボクセル情報決定部１０９は、ステップＳ９０２で取得したボクセル情報の中で、ｉ番目のボクセル情報が存在するか否かを判断する。ｉ番目のピクセル情報が存在すればステップＳ９０５に行き、存在しなければ上位処理にリターンする。
【０１０７】
（ステップＳ９０５）指示ボクセル情報決定部１０９は、ｉ番目のボクセル情報が有する色情報を取得する。
【０１０８】
（ステップＳ９０６）指示ボクセル情報決定部１０９は、ステップＳ９０１で取得した基準ボクセル情報の色情報と、ステップＳ９０５で取得したｉ番目のボクセル情報の色情報とを比較し、２つの色情報の差異が閾値以内であるか否かを判断する。閾値以内であればステップＳ９０７に行き、閾値以内でなければステップＳ９０９に行く。なお、ここでは、２つの色情報の差異が閾値以内である場合は、２つの点は、同一のオブジェクト内の点である、と考えるとする。
【０１０９】
（ステップＳ９０７）指示ボクセル情報決定部１０９は、ｉ番目のボクセル情報を、指示ボクセル情報として決定する。
【０１１０】
（ステップＳ９０８）指示ボクセル情報決定部１０９は、ｉ番目のボクセル情報を、基準ボクセル情報とする。ステップＳ８０５に行く。
【０１１１】
（ステップＳ９０９）指示ボクセル情報決定部１０９は、カウンタｉを１、インクリメントする。ステップＳ９０４に戻る。
【０１１２】
以下、本実施の形態における画像処理装置１の具体的な動作について説明する。以下、３つの具体例について説明する。
【０１１３】
（具体例１）
今、基準点に対して、手前から円柱、球、および立方体の３つの物体が並べられている、とする。そして、基準点に配置されたカメラを用いて３つの物体が撮影され、取得された実映像Ｉｃａｍ（二次元画像）が、二次元画像格納部１０１に格納されている、とする（図１０参照）。
【０１１４】
また、上記の３つの物体に対してＣＴまたはＭＲＩを用いて取得された三次元画像Ｉｖｏｌが三次元画像格納部１０２に格納されている、とする（図１１参照）。
【０１１５】
なお、二次元画像格納部１０１の二次元画像と、三次元画像格納部１０２の三次元画像とは、位置合わせがされているものとする。
【０１１６】
かかる場合、ユーザが深さ情報付き二次元画像取得指示を入力した、とする。すると、受付部１０４は、深さ情報付き二次元画像取得指示を受け付ける。
【０１１７】
次に、深さ情報取得部１０５は、二次元画像格納部１０１の二次元画像Ｉｃａｍの中の各ピクセル情報に対して、以下のような処理を行う。つまり、深さ情報取得部１０５は、Ｉｃａｍのピクセル情報ごとに、ピクセル情報が有する平面座標（ｘ，ｙ）と同一の平面座標（ｘ，ｙ）を有する複数のボクセル情報の中で、基準点に近い（ここでは、ｚの値が小さい）順に、三次元画像Ｉｖｏｌからボクセル情報を選択していく。そして、深さ情報取得部１０５は、選択したボクセル情報に含まれる色情報が、「透明」を示す情報であるか否かを判断する。そして、深さ情報取得部１０５は、ピクセル情報ごとに、色情報が「透明」を示す情報でないボクセル情報であり、最初に見つけたボクセル情報を、対象ボクセル情報に決定する。なお、対象ボクセル情報は、色情報が「透明」を示す情報でないボクセル情報の中で、最も基準点に近いボクセル情報である。そして、深さ情報取得部１０５は、ピクセル情報ごとに、対象ボクセル情報が有する深さ情報を取得し、各ピクセル情報に付加する。以上の処理により、Ｉｃａｍに深さ情報が付加された深さ情報付き二次元画像を生成できた。なお、深さ情報付き二次元画像蓄積部１０７は、生成された深さ情報付き二次元画像を深さ情報付き二次元画像格納部１０３に蓄積する、とする。
【０１１８】
次に、ユーザが第一の拡張像取得指示を入力した、とする。すると、受付部１０４は、第一の拡張像取得指示を受け付ける。なお、ここでの第一の拡張像取得指示は、深さ情報付き二次元画像において、円柱までの深さ情報を有するピクセル情報を半透明にし、かつ、球を輪郭のみにする処理を施した処理後深さ情報付き二次元画像Ｉ'ｃａｍに、三次元画像Ｉｖｏｌの投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。つまり、第一の拡張像取得指示は、条件１「ｄ０＜＝ｄ＜＝ｄ１：α値＝０．５」および条件２「ｄ２＜＝ｄ＜＝ｄ３："輪郭のみ出力"」を有する。
【０１１９】
ここで、「ｄ」は深さ情報の変数、「ｄ０」は、円柱を構成するピクセル情報の深さ情報の中で、最も値が小さい深さ情報である。また、「ｄ１」は、円柱を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。「ｄ２」は、球を構成するピクセル情報の深さ情報の中で、最も値が小さい深さ情報である。「ｄ３」は、球を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。また、「輪郭のみ出力」する処理は、深さ情報「ｄ２＜＝ｄ＜＝ｄ３」を有するピクセル情報の中で、輪郭を構成するピクセル情報以外のピクセル情報のα値を０に設定する処理である。
【０１２０】
次に、深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像格納部１０３の深さ情報付き二次元画像の各ピクセルに対して、深さ情報が条件「ｄ０＜＝ｄ＜＝ｄ１」を満たすか否かを判断する。そして、条件「ｄ０＜＝ｄ＜＝ｄ１」を満たす深さ情報を有するピクセル情報のα値を「０．５」に書き換える。次に、深さ情報付き二次元画像処理部１０８は、上記の「輪郭のみ出力」する処理を行う。そして、深さ情報付き二次元画像処理部１０８は、処理後深さ情報付き二次元画像Ｉ'ｃａｍを得る。
【０１２１】
次に、拡張像生成部１１１は、三次元画像格納部１０２から三次元画像Ｉｖｏｌを読み出す。そして、拡張像生成部１１１は、処理後深さ情報付き二次元画像と読み出したＩｖｏｌとを重ね合わせ、拡張像Ｉａｕｇを生成する。生成した拡張像Ｉａｕｇを、図１２に示す。そして、出力部１１２は、拡張像Ｉａｕｇを出力する。
【０１２２】
（具体例２）
具体例２において、具体例１と同様に、二次元画像格納部１０１に実映像Ｉｃａｍ（二次元画像）が格納され、三次元画像格納部１０２に三次元画像Ｉｖｏｌが格納されている。そして、Ｉｃａｍに深さ情報が付加された深さ情報付き二次元画像が深さ情報付き二次元画像格納部１０３に格納されている。
【０１２３】
かかる場合、ユーザが第二の拡張像取得指示を入力した、とする。すると、受付部１０４は、第二の拡張像取得指示を受け付ける。なお、ここでの第二の拡張像取得指示は、深さ情報付き二次元画像において、球までの深さ情報を有するピクセル情報を透明にした処理後深さ情報付き二次元画像Ｉ'ｃａｍに、三次元画像Ｉｖｏｌの投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。つまり、第二の拡張像取得指示は、条件「０＜＝ｄ＜＝ｄ３，α値＝０」を有する。ここで、「ｄ３」は、球を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。
【０１２４】
次に、深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像格納部１０３の深さ情報付き二次元画像の各ピクセルに対して、深さ情報が条件「０＜＝ｄ＜＝ｄ３」を満たすか否かを判断する。そして、条件「０＜＝ｄ＜＝ｄ１」を満たす深さ情報を有するピクセル情報のα値を「０」に書き換える。そして、深さ情報付き二次元画像処理部１０８は、処理後深さ情報付き二次元画像Ｉ'ｃａｍを得る。
【０１２５】
次に、拡張像生成部１１１は、三次元画像格納部１０２から三次元画像Ｉｖｏｌを読み出す。拡張像生成部１１１は、処理後深さ情報付き二次元画像と読み出したＩｖｏｌとを重ね合わせ、拡張像Ｉａｕｇを生成する。生成した拡張像Ｉａｕｇを、図１３に示す。そして、出力部１１２は、拡張像Ｉａｕｇを出力する。
【０１２６】
上記の具体例１、２において、拡張像Ｉａｕｇを生成する場合に、ＩｃａｍにとＩｖｏｌの用い方が異なる例を示した。しかし、ＩｃａｍにとＩｖｏｌを、どの程度用いるかは、ピクセル情報またはボクセル情報が有するα値を変更することにより、自由に決定され得る。
【０１２７】
（具体例３）
具体例３において、具体例１と同様に、二次元画像格納部１０１に二次元画像Ｉｃａｍが格納され、三次元画像格納部１０２に三次元画像Ｉｖｏｌが格納されている。そして、Ｉｃａｍに深さ情報が付加された深さ情報付き二次元画像が深さ情報付き二次元画像格納部１０３に格納されている。
【０１２８】
そして、今、ユーザの指示により、出力部１１２が二次元画像Ｉｃａｍを出力した、とする。次に、ユーザは、図１４に示すように、出力されているＩｃａｍの中の球の箇所に入力手段（例えば、マウス）のポインタを持って行き、指示した、とする。すると、受付部１０４は、連続領域指示を受け付ける。ここで、連続領域指示は、球全体を指示したこととなる。
【０１２９】
次に、指示ボクセル情報決定部１０９は、指示された点の座標値（ｘ１，ｙ１）を取得する。
【０１３０】
次に、指示ボクセル情報決定部１０９は、取得した座標値（ｘ１，ｙ１）と同一の平面座標（ｘ１，ｙ１）を有するすべてのボクセル情報を、三次元画像Ｉｖｏｌから取得する。
【０１３１】
次に、指示ボクセル情報決定部１０９は、取得したすべてのボクセル情報の中で、透明ではなく、最も手前のボクセル情報である基準ボクセル情報を取得する。
【０１３２】
次に、指示ボクセル情報決定部１０９は、基準ボクセル情報の色情報（ｃｏｌ１）を取得する。
【０１３３】
次に、指示ボクセル情報決定部１０９は、基準ボクセル情報に隣接するすべてのボクセル情報をＩｖｏｌから取得する。
【０１３４】
次に、指示ボクセル情報決定部１０９は、基準ボクセル情報の色情報（ｃｏｌ１）と、隣接する各ボクセル情報の色情報（ｃｏｌ２）とを比較し、２つの色情報の差異が閾値以内であるか否か（｜ｃｏｌ１−ｃｏｌ２｜＜Ｘ（Ｘは予め決められている））を判断する。そして、条件「｜ｃｏｌ１−ｃｏｌ２｜＜Ｘ」を満たすボクセル情報を、指示ボクセル情報として決定する。
【０１３５】
次に、各指示ボクセル情報を基準ボクセル情報として、上記の処理を再帰的に繰り返す。そして、指示ボクセル情報決定部１０９は、球を構成するすべてのボクセル情報を得る。
【０１３６】
次に、三次元画像処理部１１０は、例えば、指示ボクセル情報決定部１０９が得たすべてのボクセル情報のα値を１にし、それ以外のボクセル情報のα値を０に設定する。そして、三次元画像処理部１１０は、図１５に示す処理後三次元画像Ｉ'ｖｏｌを得る。なお、図１５のＩ'ｖｏｌの破線は、実際は見えない。
【０１３７】
次に、具体例１、２と同様に、拡張像生成部１１１は、処理後三次元画像Ｉ'ｖｏｌと、深さ情報付き二次元画像または処理後深さ情報付き二次元画像とを重ね合わせ、拡張像Ｉａｕｇを生成する。なお、処理後深さ情報付き二次元画像は、どのような処理を行っていても良い。
【０１３８】
（具体例４）
今、二次元画像格納部１０１には、内視鏡で人間の体内を撮影した二次元画像（図１６）が格納されている。そして、この二次元画像と位置合わせをされた三次元画像（図１７）が三次元画像格納部１０２に格納されている。なお、三次元画像は、人間に対してＭＲＩを用いて取得された画像である。また、三次元画像には、ユーザにより入力された切削予定箇所１７０１が存在している。また、深さ情報付き二次元画像格納部１０３には、二次元画像（図１６）に深さ情報が付与された深さ情報付き二次元画像が格納されている、とする。
【０１３９】
かかる状況において、ユーザが第三の拡張像取得指示を入力した、とする。すると、受付部１０４は、第三の拡張像取得指示を受け付ける。なお、ここでの第三の拡張像取得指示は、深さ情報付き二次元画像のα値をα１（定数）、三次元画像のα値をα２（定数）に設定し、処理後深さ情報付き二次元画像Ｉ'ｃａｍ（α値「α１」の深さ情報付き二次元画像）に、処理後三次元画像Ｉ'ｖｏｌ（α値「α２」の三次元画像）の投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。
【０１４０】
次に、深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像のすべてのピクセル情報のα値をα１に設定し、処理後深さ情報付き二次元画像Ｉ'ｃａｍを得る。また、三次元画像処理部１１０は、三次元画像のすべてのボクセル情報のα値をα２に設定し、処理後三次元画像Ｉ'ｖｏｌを得る。
【０１４１】
次に、拡張像生成部１１１は、Ｉ'ｃａｍとＩ'ｖｏｌとを重ね合わせ、拡張像Ｉａｕｇを生成する。そして、出力部１１２は、拡張像Ｉａｕｇを出力する。かかるＩａｕｇの出力例は、図１８である。
【０１４２】
以上、本実施の形態によれば、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる。
【０１４３】
また、本実施の形態によれば、画像が有する点の深さ情報を用いて、二次元画像と三次元画像とを効果的に重ね合わせた画像を得ることができる。
【０１４４】
また、本実施の形態における画像処理装置１を手術支援システムに用いれば、例えば、内視鏡映像への切削予定箇所や周辺の血管・神経などの肉眼で直接見えない情報の重ね合わせが可能となり、効果的な手術支援が行える。
【０１４５】
なお、本実施の形態によれば、画像処理装置１は、二次元画像格納部１０１、三次元画像格納部１０２、深さ情報付き二次元画像格納部１０３、受付部１０４、深さ情報取得部１０５、深さ情報付き二次元画像取得部１０６、深さ情報付き二次元画像蓄積部１０７、深さ情報付き二次元画像処理部１０８、指示ボクセル情報決定部１０９、三次元画像処理部１１０、拡張像生成部１１１、および出力部１１２を具備した。しかし、画像処理装置１は、上記構成のうちの一部の構成を省略しても良い。例えば、図１９に示すように、画像処理装置１は、三次元画像格納部１０２、深さ情報付き二次元画像格納部１０３、受付部１０４、深さ情報付き二次元画像処理部１０８、拡張像生成部１１１、および出力部１１２だけでも良い。
【０１４６】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、１以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成され深さ情報付き二次元画像とを格納しており、前記記憶媒体を具備したコンピュータを、前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、前記拡張像を出力する出力部として機能させるためのプログラム、である。
【０１４７】
また、上記プログラムにおいて、前記記憶媒体に、さらに、前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納しており、前記三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、前記深さ情報取得部が平面上の位置情報ごとに取得した２以上の各深さ情報を、前記二次元画像が有する複数の各ピクセル情報であり、前記平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する２以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部として、コンピュータを、さらに機能させるプログラムであることは好適である。
【０１４８】
また、上記プログラムにおいて、前記深さ情報付き二次元画像処理部は、前記深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
【０１４９】
また、上記プログラムにおいて、前記三次元画像に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部として、コンピュータを、さらに機能させるプログラムであることは好適である。
【０１５０】
また、上記プログラムにおいて、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの１以上の点に対する指示を受け付ける受付部と、前記指示に対応する１以上の点に対応するボクセル情報が有する色情報を用いて、連続する２以上のボクセル情報を決定する指示ボクセル情報決定部として、コンピュータを、さらに機能させるプログラムであって、前記三次元画像処理部は、前記指示ボクセル情報決定部が決定した２以上のボクセル情報、または当該２以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得するものとしてコンピュータを機能させるプログラムであることは好適である。
【０１５１】
また、図２０は、本明細書で述べたプログラムを実行して、上述した実施の形態の画像処理装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図２０は、このコンピュータシステム３４０の概観図であり、図２１は、コンピュータシステム３４０のブロック図である。
【０１５２】
図２０において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
【０１５３】
図２１において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１５４】
コンピュータシステム３４０に、上述した実施の形態の画像処理装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
【０１５５】
プログラムは、コンピュータ３４１に、上述した実施の形態の画像処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
【０１５６】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１５７】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１５８】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１５９】
以上のように、本発明にかかる画像処理装置は、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる、という効果を有し、手術支援システム等として有用である。
【符号の説明】
【０１６０】
１ 画像処理装置
１０１ 二次元画像格納部
１０２ 三次元画像格納部
１０３ 深さ情報付き二次元画像格納部
１０４ 受付部
１０５ 情報取得部
１０６ 深さ情報付き二次元画像取得部
１０７ 深さ情報付き二次元画像蓄積部
１０８ 深さ情報付き二次元画像処理部
１０９ 指示ボクセル情報決定部
１１０ 三次元画像処理部
１１１ 拡張像生成部
１１２ 出力部
【技術分野】
【０００１】
本発明は、二次元画像と三次元画像とを重ね合わせる画像処理装置等に関するものである。
【背景技術】
【０００２】
従来、内視鏡による二次元画像を用いて、外科手術、診断、または医師の手術教育がなされていた。
【０００３】
また、三次元物体の変形を、色情報を伴ってリアルタイムでシミュレートできる情報処理装置があった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４３３７９８７号公報（第１頁、第１図等）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の装置においては、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができなかった。そのため、例えば、医師が執刀する際に必要な支援情報の提示が困難であった。
【課題を解決するための手段】
【０００６】
本第一の発明の画像処理装置は、１以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像を格納し得る三次元画像格納部と、１以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像を格納し得る深さ情報付き二次元画像格納部と、深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、処理後深さ情報付き二次元画像と、三次元画像に対して第二の画像処理を施した処理後三次元画像または三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、拡張像を出力する出力部とを具備する画像処理装置である。
【０００７】
かかる構成により、画像が有する点の深さ情報を用いて、二次元画像と三次元画像とを効果的に重ね合わせた画像を得ることができる。
【０００８】
また、本第二の発明の画像処理装置は、第一の発明に対して、１以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納し得る二次元画像格納部と、三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、深さ情報取得部が平面上の位置情報ごとに取得した２以上の各深さ情報を、二次元画像が有する複数の各ピクセル情報であり、平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する２以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部とをさらに具備し、深さ情報付き二次元画像格納部の深さ情報付き二次元画像は、深さ情報付き二次元画像取得部が取得した深さ情報付き二次元画像である画像処理装置である。
【０００９】
かかる構成により、深さ情報を有する二次元画像である深さ情報付き二次元画像を自動的に取得できる。
【００１０】
また、本第三の発明の画像処理装置は、第一または第二の発明に対して、深さ情報付き二次元画像処理部は、深さ情報付き二次元画像が有する複数のピクセル情報に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する画像処理装置である。
【００１１】
かかる構成により、重ね合わせる二次元の画像の色や不透明度を、深さ情報を用いて制御することにより、適切な画像を得ることができる。
【００１２】
また、本第四の発明の画像処理装置は、第一から第三いずれかの発明に対して、三次元画像が有する複数のボクセル情報に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部をさらに具備する画像処理装置である。
【００１３】
かかる構成により、重ね合わせる三次元の画像の色や不透明度を、深さ情報を用いて制御することにより、適切な画像を得ることができる。
【００１４】
また、本第五の発明の画像処理装置は、第四の発明に対して、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの１以上の点に対する指示を受け付ける受付部と、指示に対応する１以上の点に対応するボクセル情報が有する色情報を用いて、連続する２以上のボクセル情報を決定する指示ボクセル情報決定部をさらに具備し、三次元画像処理部は、指示ボクセル情報決定部が決定した２以上のボクセル情報、または２以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する画像処理装置である。
【００１５】
かかる構成により、指示した物体を効果的に表示し得る適切な画像を得ることができる。
【発明の効果】
【００１６】
本発明による画像処理装置によれば、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態１における画像処理装置のブロック図
【図２】同画像処理装置の動作について説明するフローチャート
【図３】同深さ情報取得処理の動作について説明するフローチャート
【図４】同拡張像生成処理の動作について説明するフローチャート
【図５】同深さ情報付き二次元画像処理の動作について説明するフローチャート
【図６】同三次元画像処理の動作について説明するフローチャート
【図７】同三次元画像処理の動作について説明するフローチャート
【図８】同指示ボクセル情報決定処理の動作について説明するフローチャート
【図９】同連続ボクセル情報取得処理の動作について説明するフローチャート
【図１０】同二次元画像を示す図
【図１１】同三次元画像を示す図
【図１２】同生成した拡張像を示す図
【図１３】同生成した拡張像を示す図
【図１４】同連続領域指示を説明する図
【図１５】同処理後三次元画像を示す図
【図１６】同内視鏡で人間の体内を撮影した二次元画像を示す図
【図１７】同人間の体内の三次元画像を示す図
【図１８】同人間の体内の拡張像を示す図
【図１９】同画像処理装置の他のブロック図
【図２０】同コンピュータシステムの概観図
【図２１】同コンピュータシステムのブロック図
【発明を実施するための形態】
【００１８】
以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００１９】
（実施の形態１）
本実施の形態において、深さ情報を用いて、二次元の画像を画像処理し、画像処理した二次元の画像と三次元画像等とを重ね合わせる画像処理装置について説明する。
【００２０】
図１は、本実施の形態における画像処理装置１のブロック図である。画像処理装置１は、二次元画像格納部１０１、三次元画像格納部１０２、深さ情報付き二次元画像格納部１０３、受付部１０４、深さ情報取得部１０５、深さ情報付き二次元画像取得部１０６、深さ情報付き二次元画像蓄積部１０７、深さ情報付き二次元画像処理部１０８、指示ボクセル情報決定部１０９、三次元画像処理部１１０、拡張像生成部１１１、および出力部１１２を具備する。
【００２１】
二次元画像格納部１０１は、複数のピクセル情報から構成される二次元画像を格納し得る。ピクセル情報は、位置を示す情報である位置情報と色についての情報である色情報とを有する点の情報である。また、ここでの位置情報は、平面上での位置情報（例えば、（ｘ，ｙ））である。また、ピクセル情報は、位置情報と色情報と不透明度を示す不透明度情報（α値，ブレンディングパラメータとも言う。）を有しても良い。なお、不透明度情報は、透明度を示す透明度情報と捉えても良い。また、二次元画像は、１以上の三次元の物体を撮影した画像であり、後述する三次元画像と位置合わせがされている画像である。なお、「二次元画像と三次元画像とが位置合わせをされている」とは、カメラによって撮影された二次元画像と、ＣＴ等で撮影された三次元画像をレンダリングすることで生成される投影像とが位置合わせがされていることである。また、二次元画像は、１以上の三次元の物体を撮影した画像である。また、投影像は当該物体の三次元画像をレンダリングすることで生成される。そして、二次元画像に位置合わせされた投影像は、例えば、カメラの位置、アングル、視野角等のカメラパラメータを、三次元の物体を撮影する際のカメラの状態と同一に設定してレンダリングすることで生成される。
【００２２】
二次元画像格納部１０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。二次元画像格納部１０１に二次元画像が記憶される過程は問わない。例えば、記録媒体を介して二次元画像が二次元画像格納部１０１で記憶されるようになってもよく、通信回線等を介して送信された二次元画像が二次元画像格納部１０１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された二次元画像が二次元画像格納部１０１で記憶されるようになってもよい。
【００２３】
三次元画像格納部１０２は、複数のボクセル情報から構成される三次元画像を格納し得る。ボクセル情報は、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である。また、三次元画像は、１以上の三次元の物体の画像データである。
【００２４】
また、三次元画像は、例えば、１以上の３次元の物体のボリュームテクスチャである３Ｄボクセル情報である。３Ｄボクセル情報は、例えば、（ｘ，ｙ，ｚ，ｃｏｌ）で構成される点の情報である。（ｘ，ｙ，ｚ，ｃｏｌ）の（ｘ，ｙ，ｚ）は、座標情報である。「ｃｏｌ」は、色情報である。３Ｄボクセル情報は、例えば、（ｘ，ｙ，ｚ，ｃｏｌ，α値）で構成される点の情報であっても良い。３Ｄボクセル情報は、ここでは、点の間隔がなく、詰まっている点の情報でることが好適であるが、離散的な点の情報でも良い。３Ｄボクセル情報は、例えば、ＣＴやＭＲＩやＰＥＴなどの医用機器により取得される二次元画像の集合である。３Ｄボクセル情報は、例えば、ＣＴやＭＲＩなどで、人体の脳や、身体の中を撮影した二次元画像の集合である。また、（ｘ，ｙ，ｚ）の「ｚ」は、深さ情報でも良い。なお、位置情報が（ｘ，ｙ）である場合、深さ情報（ｄ）を含めた（ｘ，ｙ，ｄ）が三次元空間内の位置を示す。
【００２５】
また、三次元画像は、１以上の三次元の物体のボリュームテクスチャである３Ｄボクセル情報を複数の平面で切り出した結果の二次元の画像データに基づいて構成される情報であるスライス情報であり、位置情報と色情報と深さ情報とを有する複数の点の情報から構成される複数のスライス情報を有するスライス情報群であっても良い。
スライス情報群は、３Ｄボクセル情報から、視線（視線ベクトル）に対して垂直で、かつ間隔を一定にして切り出された複数のスライス情報である。視線とは、例えば、スライス情報群を出力するディスプレイに対して垂直な線（当該ディスプレイを見る者の視線）である。スライス情報は、平面を構成する点の情報の集合であり、点間の間隔がなく、詰まっている。
【００２６】
三次元画像格納部１０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。三次元画像格納部１０２に三次元画像が記憶される過程は問わない。
【００２７】
深さ情報付き二次元画像格納部１０３は、深さ情報付き二次元画像を格納し得る。深さ情報付き二次元画像は、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される画像である。また、深さ情報付き二次元画像は、１以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像である。ここで、位置合わせがされている画像とは、カメラの位置、アングル、視野角等のカメラパラメータが、三次元画像のカメラパラメータと同一である画像である。
【００２８】
深さ情報付き二次元画像格納部１０３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。深さ情報付き二次元画像格納部１０３に深さ情報付き二次元画像が記憶される過程は問わない。
【００２９】
受付部１０４は、指示を受け付ける。指示とは、例えば、深さ情報付き二次元画像取得指示、拡張像取得指示、連続領域指示等である、深さ情報付き二次元画像取得指示とは、二次元画像のピクセル情報に深さ情報を付加した深さ情報付き二次元画像を取得する指示である。拡張像取得指示とは、拡張像を取得する指示である。また、連続領域指示とは、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの１以上の点に対する指示であり、当該１以上の点が含まれるオブジェクト（連続領域）を他のオブジェクトと異なる態様（例えば、色情報または／および不透明度情報が異なる）で出力する指示である。ここで、受け付けとは、マウス、タッチパネル、キーボードなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。指示の入力手段は、マウスやメニュー画面によるもの等、何でも良い。受付部１０４は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００３０】
深さ情報取得部１０５は、三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する。ここで、平面とは、通常、カメラの位置や視線ベクトルに対して垂直の平面である。平面上の同一の位置情報を有する複数の点とは、例えば、（ｘ，ｙ）が同一で、深さ情報またはｚが異なる複数の点である。また、基準位置とは、通常、三次元画像を取得するカメラや視線の位置である。
【００３１】
深さ情報付き二次元画像取得部１０６は、二次元画像が有する複数の各ピクセル情報に深さ情報を付加し、深さ情報付き二次元画像を取得する。さらに具体的には、深さ情報付き二次元画像取得部１０６は、深さ情報取得部１０５が平面上の位置情報ごとに取得した２以上の各深さ情報を、二次元画像が有する複数の各ピクセル情報であり、平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する２以上のピクセル情報からなる深さ情報付き二次元画像を取得する。つまり、深さ情報付き二次元画像は、二次元画像が有する複数の各ピクセル情報に深さ情報が付加された画像である。
【００３２】
深さ情報付き二次元画像蓄積部１０７は、深さ情報付き二次元画像取得部１０６が取得した深さ情報付き二次元画像を深さ情報付き二次元画像格納部１０３に蓄積する。
【００３３】
深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像に対して、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。深さ情報付き二次元画像処理部１０８は、通常、深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。
【００３４】
深さ情報付き二次元画像処理部１０８は、例えば、深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。ここで、少なくとも２以上の異なる色情報を設定するとは、元々、一の色情報が設定されている場合、一部のピクセル情報に対して、他の色情報を設定する処理でも良い。また、少なくとも２以上の異なる不透明度情報を設定するとは、元々、一の不透明度情報が設定されている場合、一部のピクセル情報に対して、他の不透明度情報を設定する処理でも良い。第一の画像処理は、処理の結果として、２種類以上の異なる色情報または／および異なる不透明度情報を有するようになれば良い。なお、上記の「異なる色情報または／および異なる不透明度情報」とは、異なる色情報、異なる不透明度情報、異なる色情報および異なる不透明度情報のうちのいずれかであることである。
【００３５】
また、第一の画像処理は、ピクセル情報が有する深さ情報の違いに応じて、輪郭を強調したり、カラーマップによって部分領域の色情報を変更したり、ピクセル単位でＲＧＢＡ値（色情報と不透明度情報）を変更する等の任意の画像処理で良い。
【００３６】
指示ボクセル情報決定部１０９は、指示に対応する１以上の点に対応するボクセル情報が有する色情報を用いて、連続する２以上のボクセル情報を決定する。連続する２以上のボクセル情報とは、隣接するボクセル情報が有する色情報と同一または閾値以内の差の色情報を有する２以上のボクセル情報である。
【００３７】
三次元画像処理部１１０は、三次元画像に対して、第二の画像処理を行い、処理後三次元画像を取得する。三次元画像処理部１１０は、例えば、三次元画像に対して、三次元画像に含まれるボクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する。
【００３８】
三次元画像処理部１１０は、例えば、指示ボクセル情報決定部１０９が決定した２以上のボクセル情報、または２以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する。
【００３９】
拡張像生成部１１１は、処理後深さ情報付き二次元画像と、三次元画像とを重ね合わせた拡張像を生成する。また、拡張像生成部１１１は、処理後深さ情報付き二次元画像と、三次元画像に対して第二の画像処理を施した処理後三次元画像とを重ね合わせた拡張像を生成しても良い。つまり、拡張像生成部１１１は、二次元画像内で選択され画像処理された領域（処理後深さ情報付き二次元画像）と、三次元画像の投影像（の一部あるいは全体）を任意にブレンドして拡張像を生成する。
【００４０】
出力部１１２は、拡張像生成部１１１が生成した拡張像を出力する。出力部１１２は、二次元画像格納部１０１の二次元画像や、三次元画像格納部１０２の三次元画像や、深さ情報付き二次元画像格納部１０３の深さ情報付き二次元画像などを出力しても良い。
【００４１】
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【００４２】
出力部１１２は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１１２は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００４３】
深さ情報取得部１０５、深さ情報付き二次元画像取得部１０６、深さ情報付き二次元画像蓄積部１０７、深さ情報付き二次元画像処理部１０８、指示ボクセル情報決定部１０９、三次元画像処理部１１０、および拡張像生成部１１１は、通常、ＭＰＵやメモリ等から実現され得る。深さ情報取得部１０５等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４４】
次に、画像処理装置１の動作について、図２のフローチャートを用いて説明する。
【００４５】
（ステップＳ２０１）受付部１０４は、深さ情報付き二次元画像取得指示を受け付けたか否かを判断する。深さ情報付き二次元画像取得指示を受け付ければステップＳ２０２に行き、深さ情報付き二次元画像取得指示を受け付けなければステップＳ２０８に行く。
【００４６】
（ステップＳ２０２）深さ情報取得部１０５は、カウンタｉに１を代入する。
【００４７】
（ステップＳ２０３）深さ情報取得部１０５は、二次元画像格納部１０１の二次元画像の中に、ｉ番目の点（ピクセル情報）が存在するか否かを判断する。ｉ番目の点が存在すればステップＳ２０４に行き、存在しなければステップＳ２０７に行く。
【００４８】
（ステップＳ２０４）深さ情報取得部１０５は、二次元画像の中のｉ番目のピクセル情報の深さ情報を取得する。かかる処理は、深さ情報取得処理と言う。深さ情報取得処理について、図３のフローチャートを用いて説明する。
【００４９】
（ステップＳ２０５）深さ情報付き二次元画像取得部１０６は、ステップＳ２０４で取得された深さ情報を、二次元画像の中のｉ番目のピクセル情報に設定する。なお、ここで、深さ情報付き二次元画像取得部１０６は、二次元画像格納部１０１の二次元画像の中に深さ情報を書き込む必要はなく、二次元画像格納部１０１の二次元画像を複写した画像の中に深さ情報を書き込むことは好適である。
【００５０】
（ステップＳ２０６）深さ情報取得部１０５は、カウンタｉを１、インクリメントする。ステップＳ２０３に戻る。
【００５１】
（ステップＳ２０７）深さ情報付き二次元画像蓄積部１０７は、取得された深さ情報付き二次元画像を深さ情報付き二次元画像格納部１０３に蓄積する。ステップＳ２０１に戻る。
【００５２】
（ステップＳ２０８）受付部１０４は、拡張像取得指示を受け付けたか否かを判断する。拡張像取得指示を受け付ければステップＳ２０９に行き、拡張像取得指示を受け付けなければステップＳ２１１に行く。
【００５３】
（ステップＳ２０９）拡張像生成部１１１等は、拡張像生成処理を行う。拡張像生成処理について、図４のフローチャートを用いて説明する。
【００５４】
（ステップＳ２１０）出力部１１２は、ステップＳ２０９で生成された拡張像を出力する。ステップＳ２０１に戻る。
【００５５】
（ステップＳ２１１）受付部１０４は、連続領域指示を受け付けたか否かを判断する。連続領域指示を受け付ければステップＳ２１２に行き、連続領域指示を受け付けなければステップＳ２０１に戻る。
【００５６】
（ステップＳ２１２）指示ボクセル情報決定部１０９は、指示ボクセル情報決定処理を行う。指示ボクセル情報決定処理について、図８のフローチャートを用いて説明する。ステップＳ２０９に行く。
【００５７】
なお、図２のフローチャートにおいて、ステップＳ２０２からステップＳ２０７までの処理により深さ情報付き二次元画像が生成される。
【００５８】
また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００５９】
次に、ステップＳ２０４の深さ情報取得処理について、図３のフローチャートを用いて説明する。
【００６０】
（ステップＳ３０１）深さ情報取得部１０５は、カウンタｊに１を代入する。
【００６１】
（ステップＳ３０２）深さ情報取得部１０５は、三次元画像格納部１０２の三次元画像において、ｉ番目の点と同位置（平面上の同位置）にあるｊ番目の点（ボクセル情報）が存在するか否かを判断する。ｊ番目の点が存在すればステップＳ３０３に行き、ｊ番目の点が存在しなければステップＳ３０７に行く。なお、ここで、深さ情報取得部１０５は、ｊ番目の点を手前から選択する。なお、手前の点とは、「深さ情報が浅い点」や「ｚの値が小さい点（ｚの値が小さいほど、手前にある場合）」や「ｚの値が大きい点（ｚの値が大きいほど、手前にある場合）」と言っても良い。
【００６２】
（ステップＳ３０３）深さ情報取得部１０５は、ｊ番目の点の色情報を取得する。
【００６３】
（ステップＳ３０４）深さ情報取得部１０５は、ステップＳ３０３で取得した色情報が「透明」を示す情報であるか否かを判断する。「透明」であればステップＳ３０６に行き、「透明」でなければステップＳ３０５に行く。
【００６４】
（ステップＳ３０５）深さ情報取得部１０５は、ｊ番目のボクセル情報が有する深さ情報を取得する。上位処理にリターンする。
【００６５】
（ステップＳ３０６）深さ情報取得部１０５は、カウンタｊを１、インクリメントする。ステップＳ３０２に戻る。
【００６６】
（ステップＳ３０７）深さ情報取得部１０５は、深さ情報にＮＵＬＬを代入する。上位処理にリターンする。なお、本ステップは無くても良い。
【００６７】
次に、ステップＳ２０９の拡張像生成処理について、図４のフローチャートを用いて説明する。
【００６８】
（ステップＳ４０１）深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像に対して、処理を行う。かかる深さ情報付き二次元画像処理について、図５のフローチャートを用いて説明する。
【００６９】
（ステップＳ４０２）三次元画像処理部１１０は、三次元画像に対する処理が必要か否かを判断する。なお、三次元画像処理部１１０は、例えば、ユーザから三次元画像処理の指示の入力があったか否かにより、三次元画像に対する処理が必要か否かを判断する。また、三次元画像処理部１１０は、例えば、ユーザから入力された指示中に、三次元画像の処理に対応する条件が含まれるか否かにより、三次元画像に対する処理が必要か否かを判断しても良い。三次元画像に対する処理が必要であればステップＳ４０３に行き、三次元画像に対する処理が必要でなければステップＳ４０５に行く。
【００７０】
（ステップＳ４０３）三次元画像処理部１１０は、三次元画像処理を行う。三次元画像処理について、図６、図７のフローチャートを用いて説明する。
【００７１】
（ステップＳ４０４）拡張像生成部１１１は、処理後深さ情報付き二次元画像と処理後三次元画像とを重ね合わせ、拡張像を生成する。上位処理にリターンする。
【００７２】
（ステップＳ４０５）拡張像生成部１１１は、三次元画像格納部１０２から三次元画像を読み出す。
【００７３】
（ステップＳ４０６）拡張像生成部１１１は、処理後深さ情報付き二次元画像とステップＳ４０５で読み出した三次元画像とを重ね合わせ、拡張像を生成する。上位処理にリターンする。
【００７４】
次に、ステップＳ４０１の深さ情報付き二次元画像処理について、図５のフローチャートを用いて説明する。
【００７５】
（ステップＳ５０１）深さ情報付き二次元画像処理部１０８は、指示に含まれる１以上の条件を取得する。なお、この条件とは、深さ情報付き二次元画像に対する画像処理を示す情報である。条件とは、例えば、色情報または／および不透明度情報を設定する深さ情報の範囲と、設定する色情報または／および不透明度情報とを有する。
【００７６】
（ステップＳ５０２）深さ情報付き二次元画像処理部１０８は、カウンタｉに１を代入する。
【００７７】
（ステップＳ５０３）深さ情報付き二次元画像処理部１０８は、ｉ番目の条件が存在するか否かを判断する。ｉ番目の条件が存在すればステップＳ５０４に行き、ｉ番目の条件が存在しなければ上位処理にリターンする。
【００７８】
（ステップＳ５０４）深さ情報付き二次元画像処理部１０８は、ｉ番目の条件に含まれる深さ情報の範囲と、設定する色情報または／および不透明度情報とを取得する。
【００７９】
（ステップＳ５０５）深さ情報付き二次元画像処理部１０８は、カウンタｊに１を代入する。
【００８０】
（ステップＳ５０６）深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像格納部１０３の深さ情報付き二次元画像に含まれるｊ番目のピクセル情報が存在するか否かを判断する。ｊ番目のピクセル情報が存在すればステップＳ５０７に行き、存在しなければステップＳ５１１に行く。
【００８１】
（ステップＳ５０７）深さ情報付き二次元画像処理部１０８は、ｊ番目のピクセル情報が有する深さ情報を取得する。
【００８２】
（ステップＳ５０８）深さ情報付き二次元画像処理部１０８は、ステップＳ５０７で取得した深さ情報が、ｉ番目の条件に含まれる深さ情報の範囲内であるか否かを判断する。範囲内であればステップＳ５０９に行き、範囲内でなければステップＳ５１０に行く。
【００８３】
（ステップＳ５０９）深さ情報付き二次元画像処理部１０８は、ｊ番目のピクセル情報に、ｉ番目の条件に含まれる色情報または／および不透明度情報を設定する。
【００８４】
（ステップＳ５１０）深さ情報付き二次元画像処理部１０８は、カウンタｊを１、インクリメントする。ステップＳ５０６に戻る。
【００８５】
（ステップＳ５１１）深さ情報付き二次元画像処理部１０８は、カウンタｉを１、インクリメントする。ステップＳ５０３に戻る。
【００８６】
次に、ステップＳ４０３の三次元画像処理の第一の例について、図６のフローチャートを用いて説明する。なお、図６のフローチャートにおいて、図５のフローチャートと同一のステップについて、説明を省略する。三次元画像処理の第一の例は、所定の色情報または／および不透明度情報を設定する深さ情報の範囲が定まっている場合の例である。
【００８７】
（ステップＳ６０１）三次元画像処理部１１０は、三次元画像格納部１０２の三次元画像の中に、ｊ番目のボクセル情報が存在するか否かを判断する。ｊ番目のボクセル情報が存在すればステップＳ６０２に行き、存在しなければステップＳ５１１に行く。
【００８８】
（ステップＳ６０２）三次元画像処理部１１０は、ｊ番目のボクセル情報が有する深さ情報を取得する。
【００８９】
（ステップＳ６０３）三次元画像処理部１１０は、三次元画像の中のｊ番目のボクセル情報に、ｉ番目の条件に含まれる色情報または／および不透明度情報を設定する。
【００９０】
次に、ステップＳ４０３の三次元画像処理の第二の例について、図７のフローチャートを用いて説明する。三次元画像処理の第二の例は、所定の色情報または／および不透明度情報を設定するボクセル情報群が定まっている場合の例である。
【００９１】
（ステップＳ７０１）三次元画像処理部１１０は、設定する色情報または／および不透明度情報を取得する。
【００９２】
（ステップＳ７０２）三次元画像処理部１１０は、カウンタｉに１を代入する。
【００９３】
（ステップＳ７０３）三次元画像処理部１１０は、色情報または／および不透明度情報の設定対象のｉ番目のボクセル情報が存在するか否かを判断する。ｉ番目のボクセル情報が存在すればステップＳ７０４に行き、存在しなければ上位処理にリターンする。
【００９４】
（ステップＳ７０４）三次元画像処理部１１０は、設定対象のｉ番目のボクセル情報に、ステップＳ７０１で取得した色情報または／および不透明度情報を設定する。
【００９５】
（ステップＳ７０５）三次元画像処理部１１０は、カウンタｉを１、インクリメントする。ステップＳ７０３に戻る。
【００９６】
次に、ステップＳ２１２の指示ボクセル情報決定処理について、図８のフローチャートを用いて説明する。
【００９７】
（ステップＳ８０１）指示ボクセル情報決定部１０９は、指示された点の座標値（通常、（ｘ，ｙ））を取得する。
【００９８】
（ステップＳ８０２）指示ボクセル情報決定部１０９は、ステップＳ８０１で取得した座標値と同一の平面座標値（例えば、（ｘ，ｙ））を有するすべてのボクセル情報を、三次元画像格納部１０２の三次元画像から取得する。
【００９９】
（ステップＳ８０３）指示ボクセル情報決定部１０９は、ステップＳ８０２で取得したボクセル情報の中で、透明ではなく、最も手前のボクセル情報を取得する。このボクセル情報を基準ボクセル情報と言うこととする。なお、最も手前のボクセル情報とは、例えば、ｚ座標値の値が最も小さいボクセル情報である。
【０１００】
（ステップＳ８０４）指示ボクセル情報決定部１０９は、ステップＳ８０３で取得した基準ボクセル情報を、指示ボクセル情報として決定する。なお、かかる決定する処理とは、例えば、指示ボクセル情報を格納するバッファに、基準ボクセル情報を書き込む処理である。
【０１０１】
（ステップＳ８０５）指示ボクセル情報決定部１０９は、基準ボクセル情報を基準として、連続するボクセル情報を取得する処理を行う。かかる処理を連続ボクセル情報取得処理という。連続ボクセル情報取得処理について、図９のフローチャートを用いて説明する。上位処理にリターンする。
【０１０２】
次に、ステップＳ８０５の連続ボクセル情報取得処理について、図９のフローチャートを用いて説明する。図９のフローチャートにおいて、図８のフローチャートと同一のステップについて、説明を省略する。
【０１０３】
（ステップＳ９０１）指示ボクセル情報決定部１０９は、基準ボクセル情報の色情報を取得する。
【０１０４】
（ステップＳ９０２）指示ボクセル情報決定部１０９は、基準ボクセル情報に隣接するすべてのボクセル情報を、三次元画像格納部１０２の三次元画像から取得する。
【０１０５】
（ステップＳ９０３）指示ボクセル情報決定部１０９は、カウンタｉに１を代入する。
【０１０６】
（ステップＳ９０４）指示ボクセル情報決定部１０９は、ステップＳ９０２で取得したボクセル情報の中で、ｉ番目のボクセル情報が存在するか否かを判断する。ｉ番目のピクセル情報が存在すればステップＳ９０５に行き、存在しなければ上位処理にリターンする。
【０１０７】
（ステップＳ９０５）指示ボクセル情報決定部１０９は、ｉ番目のボクセル情報が有する色情報を取得する。
【０１０８】
（ステップＳ９０６）指示ボクセル情報決定部１０９は、ステップＳ９０１で取得した基準ボクセル情報の色情報と、ステップＳ９０５で取得したｉ番目のボクセル情報の色情報とを比較し、２つの色情報の差異が閾値以内であるか否かを判断する。閾値以内であればステップＳ９０７に行き、閾値以内でなければステップＳ９０９に行く。なお、ここでは、２つの色情報の差異が閾値以内である場合は、２つの点は、同一のオブジェクト内の点である、と考えるとする。
【０１０９】
（ステップＳ９０７）指示ボクセル情報決定部１０９は、ｉ番目のボクセル情報を、指示ボクセル情報として決定する。
【０１１０】
（ステップＳ９０８）指示ボクセル情報決定部１０９は、ｉ番目のボクセル情報を、基準ボクセル情報とする。ステップＳ８０５に行く。
【０１１１】
（ステップＳ９０９）指示ボクセル情報決定部１０９は、カウンタｉを１、インクリメントする。ステップＳ９０４に戻る。
【０１１２】
以下、本実施の形態における画像処理装置１の具体的な動作について説明する。以下、３つの具体例について説明する。
【０１１３】
（具体例１）
今、基準点に対して、手前から円柱、球、および立方体の３つの物体が並べられている、とする。そして、基準点に配置されたカメラを用いて３つの物体が撮影され、取得された実映像Ｉｃａｍ（二次元画像）が、二次元画像格納部１０１に格納されている、とする（図１０参照）。
【０１１４】
また、上記の３つの物体に対してＣＴまたはＭＲＩを用いて取得された三次元画像Ｉｖｏｌが三次元画像格納部１０２に格納されている、とする（図１１参照）。
【０１１５】
なお、二次元画像格納部１０１の二次元画像と、三次元画像格納部１０２の三次元画像とは、位置合わせがされているものとする。
【０１１６】
かかる場合、ユーザが深さ情報付き二次元画像取得指示を入力した、とする。すると、受付部１０４は、深さ情報付き二次元画像取得指示を受け付ける。
【０１１７】
次に、深さ情報取得部１０５は、二次元画像格納部１０１の二次元画像Ｉｃａｍの中の各ピクセル情報に対して、以下のような処理を行う。つまり、深さ情報取得部１０５は、Ｉｃａｍのピクセル情報ごとに、ピクセル情報が有する平面座標（ｘ，ｙ）と同一の平面座標（ｘ，ｙ）を有する複数のボクセル情報の中で、基準点に近い（ここでは、ｚの値が小さい）順に、三次元画像Ｉｖｏｌからボクセル情報を選択していく。そして、深さ情報取得部１０５は、選択したボクセル情報に含まれる色情報が、「透明」を示す情報であるか否かを判断する。そして、深さ情報取得部１０５は、ピクセル情報ごとに、色情報が「透明」を示す情報でないボクセル情報であり、最初に見つけたボクセル情報を、対象ボクセル情報に決定する。なお、対象ボクセル情報は、色情報が「透明」を示す情報でないボクセル情報の中で、最も基準点に近いボクセル情報である。そして、深さ情報取得部１０５は、ピクセル情報ごとに、対象ボクセル情報が有する深さ情報を取得し、各ピクセル情報に付加する。以上の処理により、Ｉｃａｍに深さ情報が付加された深さ情報付き二次元画像を生成できた。なお、深さ情報付き二次元画像蓄積部１０７は、生成された深さ情報付き二次元画像を深さ情報付き二次元画像格納部１０３に蓄積する、とする。
【０１１８】
次に、ユーザが第一の拡張像取得指示を入力した、とする。すると、受付部１０４は、第一の拡張像取得指示を受け付ける。なお、ここでの第一の拡張像取得指示は、深さ情報付き二次元画像において、円柱までの深さ情報を有するピクセル情報を半透明にし、かつ、球を輪郭のみにする処理を施した処理後深さ情報付き二次元画像Ｉ'ｃａｍに、三次元画像Ｉｖｏｌの投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。つまり、第一の拡張像取得指示は、条件１「ｄ０＜＝ｄ＜＝ｄ１：α値＝０．５」および条件２「ｄ２＜＝ｄ＜＝ｄ３："輪郭のみ出力"」を有する。
【０１１９】
ここで、「ｄ」は深さ情報の変数、「ｄ０」は、円柱を構成するピクセル情報の深さ情報の中で、最も値が小さい深さ情報である。また、「ｄ１」は、円柱を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。「ｄ２」は、球を構成するピクセル情報の深さ情報の中で、最も値が小さい深さ情報である。「ｄ３」は、球を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。また、「輪郭のみ出力」する処理は、深さ情報「ｄ２＜＝ｄ＜＝ｄ３」を有するピクセル情報の中で、輪郭を構成するピクセル情報以外のピクセル情報のα値を０に設定する処理である。
【０１２０】
次に、深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像格納部１０３の深さ情報付き二次元画像の各ピクセルに対して、深さ情報が条件「ｄ０＜＝ｄ＜＝ｄ１」を満たすか否かを判断する。そして、条件「ｄ０＜＝ｄ＜＝ｄ１」を満たす深さ情報を有するピクセル情報のα値を「０．５」に書き換える。次に、深さ情報付き二次元画像処理部１０８は、上記の「輪郭のみ出力」する処理を行う。そして、深さ情報付き二次元画像処理部１０８は、処理後深さ情報付き二次元画像Ｉ'ｃａｍを得る。
【０１２１】
次に、拡張像生成部１１１は、三次元画像格納部１０２から三次元画像Ｉｖｏｌを読み出す。そして、拡張像生成部１１１は、処理後深さ情報付き二次元画像と読み出したＩｖｏｌとを重ね合わせ、拡張像Ｉａｕｇを生成する。生成した拡張像Ｉａｕｇを、図１２に示す。そして、出力部１１２は、拡張像Ｉａｕｇを出力する。
【０１２２】
（具体例２）
具体例２において、具体例１と同様に、二次元画像格納部１０１に実映像Ｉｃａｍ（二次元画像）が格納され、三次元画像格納部１０２に三次元画像Ｉｖｏｌが格納されている。そして、Ｉｃａｍに深さ情報が付加された深さ情報付き二次元画像が深さ情報付き二次元画像格納部１０３に格納されている。
【０１２３】
かかる場合、ユーザが第二の拡張像取得指示を入力した、とする。すると、受付部１０４は、第二の拡張像取得指示を受け付ける。なお、ここでの第二の拡張像取得指示は、深さ情報付き二次元画像において、球までの深さ情報を有するピクセル情報を透明にした処理後深さ情報付き二次元画像Ｉ'ｃａｍに、三次元画像Ｉｖｏｌの投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。つまり、第二の拡張像取得指示は、条件「０＜＝ｄ＜＝ｄ３，α値＝０」を有する。ここで、「ｄ３」は、球を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。
【０１２４】
次に、深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像格納部１０３の深さ情報付き二次元画像の各ピクセルに対して、深さ情報が条件「０＜＝ｄ＜＝ｄ３」を満たすか否かを判断する。そして、条件「０＜＝ｄ＜＝ｄ１」を満たす深さ情報を有するピクセル情報のα値を「０」に書き換える。そして、深さ情報付き二次元画像処理部１０８は、処理後深さ情報付き二次元画像Ｉ'ｃａｍを得る。
【０１２５】
次に、拡張像生成部１１１は、三次元画像格納部１０２から三次元画像Ｉｖｏｌを読み出す。拡張像生成部１１１は、処理後深さ情報付き二次元画像と読み出したＩｖｏｌとを重ね合わせ、拡張像Ｉａｕｇを生成する。生成した拡張像Ｉａｕｇを、図１３に示す。そして、出力部１１２は、拡張像Ｉａｕｇを出力する。
【０１２６】
上記の具体例１、２において、拡張像Ｉａｕｇを生成する場合に、ＩｃａｍにとＩｖｏｌの用い方が異なる例を示した。しかし、ＩｃａｍにとＩｖｏｌを、どの程度用いるかは、ピクセル情報またはボクセル情報が有するα値を変更することにより、自由に決定され得る。
【０１２７】
（具体例３）
具体例３において、具体例１と同様に、二次元画像格納部１０１に二次元画像Ｉｃａｍが格納され、三次元画像格納部１０２に三次元画像Ｉｖｏｌが格納されている。そして、Ｉｃａｍに深さ情報が付加された深さ情報付き二次元画像が深さ情報付き二次元画像格納部１０３に格納されている。
【０１２８】
そして、今、ユーザの指示により、出力部１１２が二次元画像Ｉｃａｍを出力した、とする。次に、ユーザは、図１４に示すように、出力されているＩｃａｍの中の球の箇所に入力手段（例えば、マウス）のポインタを持って行き、指示した、とする。すると、受付部１０４は、連続領域指示を受け付ける。ここで、連続領域指示は、球全体を指示したこととなる。
【０１２９】
次に、指示ボクセル情報決定部１０９は、指示された点の座標値（ｘ１，ｙ１）を取得する。
【０１３０】
次に、指示ボクセル情報決定部１０９は、取得した座標値（ｘ１，ｙ１）と同一の平面座標（ｘ１，ｙ１）を有するすべてのボクセル情報を、三次元画像Ｉｖｏｌから取得する。
【０１３１】
次に、指示ボクセル情報決定部１０９は、取得したすべてのボクセル情報の中で、透明ではなく、最も手前のボクセル情報である基準ボクセル情報を取得する。
【０１３２】
次に、指示ボクセル情報決定部１０９は、基準ボクセル情報の色情報（ｃｏｌ１）を取得する。
【０１３３】
次に、指示ボクセル情報決定部１０９は、基準ボクセル情報に隣接するすべてのボクセル情報をＩｖｏｌから取得する。
【０１３４】
次に、指示ボクセル情報決定部１０９は、基準ボクセル情報の色情報（ｃｏｌ１）と、隣接する各ボクセル情報の色情報（ｃｏｌ２）とを比較し、２つの色情報の差異が閾値以内であるか否か（｜ｃｏｌ１−ｃｏｌ２｜＜Ｘ（Ｘは予め決められている））を判断する。そして、条件「｜ｃｏｌ１−ｃｏｌ２｜＜Ｘ」を満たすボクセル情報を、指示ボクセル情報として決定する。
【０１３５】
次に、各指示ボクセル情報を基準ボクセル情報として、上記の処理を再帰的に繰り返す。そして、指示ボクセル情報決定部１０９は、球を構成するすべてのボクセル情報を得る。
【０１３６】
次に、三次元画像処理部１１０は、例えば、指示ボクセル情報決定部１０９が得たすべてのボクセル情報のα値を１にし、それ以外のボクセル情報のα値を０に設定する。そして、三次元画像処理部１１０は、図１５に示す処理後三次元画像Ｉ'ｖｏｌを得る。なお、図１５のＩ'ｖｏｌの破線は、実際は見えない。
【０１３７】
次に、具体例１、２と同様に、拡張像生成部１１１は、処理後三次元画像Ｉ'ｖｏｌと、深さ情報付き二次元画像または処理後深さ情報付き二次元画像とを重ね合わせ、拡張像Ｉａｕｇを生成する。なお、処理後深さ情報付き二次元画像は、どのような処理を行っていても良い。
【０１３８】
（具体例４）
今、二次元画像格納部１０１には、内視鏡で人間の体内を撮影した二次元画像（図１６）が格納されている。そして、この二次元画像と位置合わせをされた三次元画像（図１７）が三次元画像格納部１０２に格納されている。なお、三次元画像は、人間に対してＭＲＩを用いて取得された画像である。また、三次元画像には、ユーザにより入力された切削予定箇所１７０１が存在している。また、深さ情報付き二次元画像格納部１０３には、二次元画像（図１６）に深さ情報が付与された深さ情報付き二次元画像が格納されている、とする。
【０１３９】
かかる状況において、ユーザが第三の拡張像取得指示を入力した、とする。すると、受付部１０４は、第三の拡張像取得指示を受け付ける。なお、ここでの第三の拡張像取得指示は、深さ情報付き二次元画像のα値をα１（定数）、三次元画像のα値をα２（定数）に設定し、処理後深さ情報付き二次元画像Ｉ'ｃａｍ（α値「α１」の深さ情報付き二次元画像）に、処理後三次元画像Ｉ'ｖｏｌ（α値「α２」の三次元画像）の投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。
【０１４０】
次に、深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像のすべてのピクセル情報のα値をα１に設定し、処理後深さ情報付き二次元画像Ｉ'ｃａｍを得る。また、三次元画像処理部１１０は、三次元画像のすべてのボクセル情報のα値をα２に設定し、処理後三次元画像Ｉ'ｖｏｌを得る。
【０１４１】
次に、拡張像生成部１１１は、Ｉ'ｃａｍとＩ'ｖｏｌとを重ね合わせ、拡張像Ｉａｕｇを生成する。そして、出力部１１２は、拡張像Ｉａｕｇを出力する。かかるＩａｕｇの出力例は、図１８である。
【０１４２】
以上、本実施の形態によれば、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる。
【０１４３】
また、本実施の形態によれば、画像が有する点の深さ情報を用いて、二次元画像と三次元画像とを効果的に重ね合わせた画像を得ることができる。
【０１４４】
また、本実施の形態における画像処理装置１を手術支援システムに用いれば、例えば、内視鏡映像への切削予定箇所や周辺の血管・神経などの肉眼で直接見えない情報の重ね合わせが可能となり、効果的な手術支援が行える。
【０１４５】
なお、本実施の形態によれば、画像処理装置１は、二次元画像格納部１０１、三次元画像格納部１０２、深さ情報付き二次元画像格納部１０３、受付部１０４、深さ情報取得部１０５、深さ情報付き二次元画像取得部１０６、深さ情報付き二次元画像蓄積部１０７、深さ情報付き二次元画像処理部１０８、指示ボクセル情報決定部１０９、三次元画像処理部１１０、拡張像生成部１１１、および出力部１１２を具備した。しかし、画像処理装置１は、上記構成のうちの一部の構成を省略しても良い。例えば、図１９に示すように、画像処理装置１は、三次元画像格納部１０２、深さ情報付き二次元画像格納部１０３、受付部１０４、深さ情報付き二次元画像処理部１０８、拡張像生成部１１１、および出力部１１２だけでも良い。
【０１４６】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、１以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成され深さ情報付き二次元画像とを格納しており、前記記憶媒体を具備したコンピュータを、前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、前記拡張像を出力する出力部として機能させるためのプログラム、である。
【０１４７】
また、上記プログラムにおいて、前記記憶媒体に、さらに、前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納しており、前記三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、前記深さ情報取得部が平面上の位置情報ごとに取得した２以上の各深さ情報を、前記二次元画像が有する複数の各ピクセル情報であり、前記平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する２以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部として、コンピュータを、さらに機能させるプログラムであることは好適である。
【０１４８】
また、上記プログラムにおいて、前記深さ情報付き二次元画像処理部は、前記深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
【０１４９】
また、上記プログラムにおいて、前記三次元画像に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部として、コンピュータを、さらに機能させるプログラムであることは好適である。
【０１５０】
また、上記プログラムにおいて、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの１以上の点に対する指示を受け付ける受付部と、前記指示に対応する１以上の点に対応するボクセル情報が有する色情報を用いて、連続する２以上のボクセル情報を決定する指示ボクセル情報決定部として、コンピュータを、さらに機能させるプログラムであって、前記三次元画像処理部は、前記指示ボクセル情報決定部が決定した２以上のボクセル情報、または当該２以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得するものとしてコンピュータを機能させるプログラムであることは好適である。
【０１５１】
また、図２０は、本明細書で述べたプログラムを実行して、上述した実施の形態の画像処理装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図２０は、このコンピュータシステム３４０の概観図であり、図２１は、コンピュータシステム３４０のブロック図である。
【０１５２】
図２０において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
【０１５３】
図２１において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１５４】
コンピュータシステム３４０に、上述した実施の形態の画像処理装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
【０１５５】
プログラムは、コンピュータ３４１に、上述した実施の形態の画像処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
【０１５６】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１５７】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１５８】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１５９】
以上のように、本発明にかかる画像処理装置は、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる、という効果を有し、手術支援システム等として有用である。
【符号の説明】
【０１６０】
１ 画像処理装置
１０１ 二次元画像格納部
１０２ 三次元画像格納部
１０３ 深さ情報付き二次元画像格納部
１０４ 受付部
１０５ 情報取得部
１０６ 深さ情報付き二次元画像取得部
１０７ 深さ情報付き二次元画像蓄積部
１０８ 深さ情報付き二次元画像処理部
１０９ 指示ボクセル情報決定部
１１０ 三次元画像処理部
１１１ 拡張像生成部
１１２ 出力部
【特許請求の範囲】
【請求項１】
１以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像を格納し得る三次元画像格納部と、
前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像を格納し得る深さ情報付き二次元画像格納部と、
前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、
前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、
前記拡張像を出力する出力部とを具備する画像処理装置。
【請求項２】
前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納し得る二次元画像格納部と、
前記三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、
前記深さ情報取得部が平面上の位置情報ごとに取得した２以上の各深さ情報を、前記二次元画像が有する複数の各ピクセル情報であり、前記平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する２以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部とをさらに具備し、
前記深さ情報付き二次元画像格納部の深さ情報付き二次元画像は、前記深さ情報付き二次元画像取得部が取得した深さ情報付き二次元画像である請求項１記載の画像処理装置。
【請求項３】
前記深さ情報付き二次元画像処理部は、
前記深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する請求項１または請求項２記載の画像処理装置。
【請求項４】
前記三次元画像に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部をさらに具備する請求項１から請求項３いずれか記載の画像処理装置。
【請求項５】
出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの１以上の点に対する指示を受け付ける受付部と、
前記指示に対応する１以上の点に対応するボクセル情報が有する色情報を用いて、連続する２以上のボクセル情報を決定する指示ボクセル情報決定部をさらに具備し、
前記三次元画像処理部は、
前記指示ボクセル情報決定部が決定した２以上のボクセル情報、または当該２以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する請求項４記載の画像処理装置。
【請求項６】
前記三次元画像は、
１以上の３次元の物体のボリュームテクスチャである３Ｄボクセル情報である請求項１から請求項５いずれか記載の画像処理装置。
【請求項７】
前記三次元画像は、
１以上の三次元の物体のボリュームテクスチャである３Ｄボクセル情報を複数の平面で切り出した結果の二次元の画像データに基づいて構成される情報であるスライス情報であり、位置情報と色情報と深さ情報とを有する複数の点の情報から構成される複数のスライス情報を有するスライス情報群からなる請求項１から請求項５いずれか記載の画像処理装置。
【請求項８】
記憶媒体に、
１以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、
前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像とを格納しており、
深さ情報付き二次元画像処理部、拡張像生成部、および出力部により実現され得る画像処理方法であって、
前記深さ情報付き二次元画像処理部が、前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理ステップと、
前記拡張像生成部が、前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成ステップと、
前記出力部が、前記拡張像を出力する出力ステップとを具備する画像処理方法。
【請求項９】
記憶媒体に、
１以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、
前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像とを格納しており、
前記記憶媒体を具備したコンピュータを、
前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、
前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、
前記拡張像を出力する出力部として機能させるためのプログラム。
【請求項１】
１以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像を格納し得る三次元画像格納部と、
前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像を格納し得る深さ情報付き二次元画像格納部と、
前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、
前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、
前記拡張像を出力する出力部とを具備する画像処理装置。
【請求項２】
前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納し得る二次元画像格納部と、
前記三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、
前記深さ情報取得部が平面上の位置情報ごとに取得した２以上の各深さ情報を、前記二次元画像が有する複数の各ピクセル情報であり、前記平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する２以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部とをさらに具備し、
前記深さ情報付き二次元画像格納部の深さ情報付き二次元画像は、前記深さ情報付き二次元画像取得部が取得した深さ情報付き二次元画像である請求項１記載の画像処理装置。
【請求項３】
前記深さ情報付き二次元画像処理部は、
前記深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する請求項１または請求項２記載の画像処理装置。
【請求項４】
前記三次元画像に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部をさらに具備する請求項１から請求項３いずれか記載の画像処理装置。
【請求項５】
出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの１以上の点に対する指示を受け付ける受付部と、
前記指示に対応する１以上の点に対応するボクセル情報が有する色情報を用いて、連続する２以上のボクセル情報を決定する指示ボクセル情報決定部をさらに具備し、
前記三次元画像処理部は、
前記指示ボクセル情報決定部が決定した２以上のボクセル情報、または当該２以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する請求項４記載の画像処理装置。
【請求項６】
前記三次元画像は、
１以上の３次元の物体のボリュームテクスチャである３Ｄボクセル情報である請求項１から請求項５いずれか記載の画像処理装置。
【請求項７】
前記三次元画像は、
１以上の三次元の物体のボリュームテクスチャである３Ｄボクセル情報を複数の平面で切り出した結果の二次元の画像データに基づいて構成される情報であるスライス情報であり、位置情報と色情報と深さ情報とを有する複数の点の情報から構成される複数のスライス情報を有するスライス情報群からなる請求項１から請求項５いずれか記載の画像処理装置。
【請求項８】
記憶媒体に、
１以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、
前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像とを格納しており、
深さ情報付き二次元画像処理部、拡張像生成部、および出力部により実現され得る画像処理方法であって、
前記深さ情報付き二次元画像処理部が、前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理ステップと、
前記拡張像生成部が、前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成ステップと、
前記出力部が、前記拡張像を出力する出力ステップとを具備する画像処理方法。
【請求項９】
記憶媒体に、
１以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、
前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像とを格納しており、
前記記憶媒体を具備したコンピュータを、
前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、
前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、
前記拡張像を出力する出力部として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１９】
【図２０】
【図２１】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１９】
【図２０】
【図２１】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−４５２８４（Ｐ２０１３−４５２８４Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８２６１５（Ｐ２０１１−１８２６１５）
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【Ｆターム（参考）】
[ Back to top ]