説明

3次元画像処理装置

【課題】立体視に係る2つの視差成分画像に含まれる立体視対象物が立体視困難な関係にあると、立体視容易な関係となるよう視差成分画像を修正することができる3次元画像処理装置を提供する。
【解決手段】本発明の一実施形態に係る医用画像処理装置10は、複数の視点画像を生成するとともに、複数の視点画像のそれぞれを視差成分画像として異なる方向に射出する3Dディスプレイ22に対して複数の視点画像を出力する医用画像処理装置10であって、視点画像に含まれる複数の対象物のうち、所定の距離以内にある複数の対象物どうしの特徴量が同一または類似であると、これらの特徴量が互いに異なるよう視点画像を調整する視点画像生成部32と、3Dディスプレイ22に、視点画像生成部32により対象物の特徴量を調整された複数の視点画像を出力する多視点画像出力部36と、を備えたものである。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、3次元画像処理装置に関する。
【背景技術】
【0002】
X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置、X線診断装置などの医用画像診断装置(モダリティ)には、被検体(患者)の撮像により得られた投影データにもとづいてボリュームデータ(3次元画像データ)を生成可能なものがある。
【0003】
ボリュームデータは、ボリュームレンダリングすることにより2次元画像(以下、VR画像という)を生成するために用いることができる。このVR画像は、表示装置に表示されてユーザに提示される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011−36496号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、最近、ユーザに立体像を認識させることができる3Dディスプレイが市場に出回り始めている。この種の3Dディスプレイは、複数の視差成分画像をそれぞれ異なる方向に射出するようになっている。ユーザは、視差成分画像の集合として立体画像を認識することができる。したがって、ボリュームデータを異なるレンダリング視点でボリュームレンダリングしたVR画像を生成し、この複数の視点のVR画像を視差成分画像として3Dディスプレイに与えることにより、ボリュームデータに対応する立体像を3Dディスプレイに表示させることができる。
【0006】
しかし、ユーザの左目が知覚する視差成分画像(左目視差成分画像)および右目が知覚する視差成分画像(右目視差成分画像)のそれぞれに含まれる各立体視対象物どうしの関係によっては、ユーザは、各立体視対象物どうしが同一の対象物であることを認識することが難しく、立体視対象物の立体視が困難な場合がある。
【課題を解決するための手段】
【0007】
本発明の一実施形態に係る3次元画像処理装置は、上述した課題を解決するために、複数の視点に対応する複数の視点画像を異なる方向に射出する3Dディスプレイ用の視点画像を生成する3次元画像処理装置であって、ボリュームデータを記憶する手段と、ボリュームデータにもとづいて視差画像を生成するものであり、かつ、視差画像中に補助画像が合成された複数の視点画像を生成する視差画像生成手段を備え、視差画像生成手段は、近接する補助画像の画像的な特徴が同一または類似である場合、これらの特徴が互いに異なるように補助画像を変更する変更手段と、を備えたものである。
【図面の簡単な説明】
【0008】
【図1】本発明の第1実施形態に係る医用画像処理装置の一構成例を示すブロック図。
【図2】互いに同一または類似の立体視対象物が所定の距離以内に並べて表示されることにより、ユーザが立体視対象物の立体視が困難となる場合の一例を示す説明図。
【図3】第1実施形態に係る制御部のCPUによる機能実現部の構成例を示す概略的なブロック図。
【図4】視差画像生成部により生成される視点画像の一例を示す説明図。
【図5】裸眼3Dディスプレイの内部構成の一例を示すブロック図。
【図6】図1に示す制御部のCPUにより、互いに同一または類似の立体視対象物が所定の距離以内にあるとこれらの立体視対象物の特徴量を調整する際の手順を示すフローチャート。
【図7】所定の距離以内に特徴量が同一または類似の立体対象物があるかを判定する際の様子の一例についてワイヤーフレームを用いて示す説明図。
【図8】(a)は視点画像のうちワイヤーフレームの画像のみを示す説明図、(b)は視点画像調整部によりワイヤーフレームの立体視対象物のうち所定の距離以内にあるとともに互いに同一または類似の複数の立体視対象物の特徴量を調整した様子を示す説明図、(c)は特徴量調整後の左目視点画像および右目視点画像のうちワイヤーフレーム46のみを重ねて示す説明図。
【図9】(a)はスケールの画像について図8(a)に相当する図、(b)はスケールの画像について図8(b)に相当する図、(c)はスケールの画像について図8(c)に相当する図。
【図10】(a)はアノーテーションの画像について図8(a)に相当する図、(b)はアノーテーションの画像について図8(b)に相当する図、(c)はアノーテーションの画像について図8(c)に相当する図。
【図11】(a)は位置決めROIのスライスの画像について図8(a)に相当する図、(b)は位置決めROIのスライスの画像について図8(b)に相当する図、(c)は位置決めROIのスライスの画像について図8(c)に相当する図。
【図12】視点画像調整部による特徴量調整後の左目視点画像および右目視点画像を重ねて示す説明図。
【図13】両眼視差が大きすぎる対象物が表示されることにより、ユーザが立体視対象物の対応付けが難しくなり立体視が困難となる場合の一例を示す説明図。
【図14】第2実施形態に係る制御部のCPUによる機能実現部の構成例を示す概略的なブロック図。
【図15】所定の視差より大きいと判定された対象物の画像の両眼視差が所定の視差より小さくなるよう調整される様子の一例を示す説明図。
【図16】図14に示す制御部のCPUにより、左右視点画像に含まれる対象物の両眼視差が所定の視差より大きいと、この両眼視差が所定の視差より小さくなるよう左右視点画像を調整する際の手順を示すフローチャート。
【発明を実施するための形態】
【0009】
本発明に係る3次元画像処理装置の実施の形態について、添付図面を参照して説明する。
【0010】
(第1の実施形態)
図1は、本発明の第1実施形態に係る医用画像処理装置10の一構成例を示すブロック図である。なお、本実施形態では、互いに同一または類似の立体視対象物が所定の距離以内に並べて表示されることにより、左目視差成分画像および右目視差成分画像のそれぞれに含まれる同一の立体視対象物どうしが同一の立体視対象物として認識することが難しいためにユーザが立体視対象物の立体視が困難な場合について説明する。
【0011】
3次元画像処理装置としての医用画像処理装置10は、図1に示すように、入力部11、記憶部12、ネットワーク接続部13および制御部14を有する。
【0012】
入力部11は、少なくともポインティングデバイスを含み、たとえばマウス、トラックボール、キーボード、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を制御部14に出力する。
【0013】
記憶部12は、モダリティ20から出力される医療用のボリュームデータ(3次元画像データ)を記憶する。モダリティ20は、たとえばX線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置、X線診断装置などの医用画像診断装置であって、被検体(患者)の撮像により得られた投影データにもとづいてボリュームデータ(3次元画像データ)を生成可能な装置により構成することができる。
【0014】
ネットワーク接続部13は、ネットワーク21の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部13は、この各種プロトコルに従って医用画像処理装置10とモダリティ20などの他の装置とを接続する。ここでネットワーク21とは、電気通信技術を利用した情報通信網全般を意味し、病院基幹LAN(Local Area Network)などの無線/有線LANやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【0015】
医用画像処理装置10は、ネットワーク21を介して接続されたモダリティ20からボリュームデータを受けてもよい。ネットワーク21を介して受信したボリュームデータもまた、記憶部12に記憶される。
【0016】
制御部14は、CPU、RAMおよびROMをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って医用画像処理装置10の処理動作を制御する。
【0017】
図2は、互いに同一または類似の立体視対象物が所定の距離以内に並べて表示されることにより、ユーザが立体視対象物の立体視が困難となる場合の一例を示す説明図である。
【0018】
左目視差成分画像と右目視差成分画像は、両眼間の距離程度互いに離れた視点で立体視対象物(図2のa、b参照)をそれぞれ撮影した画像に相当する。
【0019】
図2に示すように、互いに同一または類似の立体視対象物aおよびbが所定の距離以内に並べて表示されると、左目視差成分画像と右目視差成分画像を同時に認識したユーザは、視認した立体視対象物のうちどの対象物とどの対象物とが対応するのかを識別することが難しい。このため、互いに同一または類似の立体視対象物が所定の距離以内に並べて表示されると、ユーザは、立体視対象物を正しく立体視できず、誤って認識してしまう場合がある。
【0020】
そこで、制御部14のCPUは、ROMをはじめとする記憶媒体に記憶された3次元画像処理プログラムおよびこのプログラムの実行のために必要なデータをRAMへロードし、このプログラムに従って、互いに同一または類似の立体視対象物が所定の距離以内にあるとこれらの立体視対象物の特徴量を調整する処理を実行する。
【0021】
制御部14のRAMは、CPUが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。また、制御部14のROMをはじめとする記憶媒体は、医用画像処理装置10の起動プログラム、3次元画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【0022】
なお、ROMをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、CPUにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部はネットワーク21を介してダウンロードされるように構成してもよい。
【0023】
制御部14は、複数の視点からみたVR画像や補助画像(複数の視点画像、多視点画像)を生成し、裸眼3Dディスプレイ22に出力する。また、制御部14は、裸眼3Dディスプレイ22を見るユーザの位置を示す情報(以下、ユーザ位置情報という)を位置センサ23から取得するよう構成されてもよい。なお、制御部14がユーザ位置情報を利用しない場合は、位置センサ23は不要である。
【0024】
図3は、第1実施形態に係る制御部14のCPUによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、CPUを用いることなく回路などのハードウエアロジックによって構成してもよい。
【0025】
図3に示すように、制御部14のCPUは、3次元画像処理プログラムによって、視点レンダリング画像生成部31、視点画像生成部32、距離判定部33、特徴量判定部34、視点画像調整部35、および多視点画像出力部36として機能する。この各部31〜36は、RAMの所要のワークエリアをデータの一時的な格納場所として利用する。また、図4は、視差画像生成部32により生成される視点画像の一例を示す説明図である。なお、以下の説明では、画面の正面左下を座標原点とし、原点から水平方向右側をX軸正方向、垂直方向上側をY軸正方向、手前側をZ軸正方向としてXYZ軸を定義する。
【0026】
視点レンダリング画像生成部31は、記憶部12に記憶されたボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより、各視点のVR画像(視点レンダリング画像。以下、視点VR画像という)41を生成する。
【0027】
視点画像生成部32は、複数の視点VR画像41に対して複数の視点からみた補助画像45を重畳して視点画像を複数生成する。以下の説明では、図4に示すように、視点画像生成部32が、補助画像45としてワイヤーフレーム46、スケール47、狭窄や梗塞位置を示すアノーテーション48、撮影スライスやタギング面を示す位置決めROIのスライス49の各画像を生成する場合の例について説明する。
【0028】
補助画像45は、視点VR画像41と同様に、複数の視点から見た画像を生成されて立体視の対象となる。一方、補助画像45は、図4に示すように、簡単な線や矢印によって構成されることが多い。このため、補助画像45に含まれる立体視対象物は、互いに同一または類似である場合が多い。
【0029】
距離判定部33は、視点画像に含まれる複数の対象物のうち、所定の距離d0以内にある複数の対象物を抽出する。
【0030】
特徴量判定部34は、距離判定部33に抽出された所定の距離d0以内にある複数の対象物どうしの特徴量が同一または類似であるか否かを判定する。特徴量としては、複数の対象物の画像の種類(直線であるか矢印であるかなど)、画像の向き(同一方向に伸びる直線であるかなど)、画像の色相(何色であるか)、画像の輝度などが用いられる。
【0031】
視点画像調整部35は、視点画像に含まれる複数の対象物のうち、所定の距離以内にある複数の対象物どうしの特徴量が同一または類似であると、これらの特徴量が互いに異なるよう視点画像を調整する。また、この特徴量を調整した視点画像と左右視差成分画像の関係にある視点画像についても、同様に特徴量を調整する。
【0032】
多視点画像出力部36は、視点画像生成部32により生成された視点画像および視点画像調整部35によって特徴量を調整された視点画像を、これらの複数の視点画像のそれぞれを視差成分画像として異なる方向に射出する裸眼3Dディスプレイ22に対して出力する。
【0033】
ここで、裸眼3Dディスプレイ22の構成および作用について簡単に説明する。
【0034】
図5は、裸眼3Dディスプレイ22の内部構成の一例を示すブロック図である。
【0035】
裸眼3Dディスプレイ22は、多視点画像取得部51、要素画像生成部52、画像表示部53および光線制御素子54を有する。
【0036】
多視点画像取得部51は、多視点画像出力部36から複数の視点画像を取得する。要素画像生成部52は、この複数の視点画像を要素画像に変換する。たとえば、多視点画像出力部36が9つの視点の視点画像を出力する場合、9つの撮影番号に相当する9視差方向を示す視差番号(−4、−3、・・・、0、・・・3、4)で視差成分画像が特定される。すなわち、要素画像生成部52は、多視点画像の各視点画像と視差番号とを関連付けることにより各視点画像を視差成分画像としてあつかい、視差成分画像を集めて要素画像を生成する。
【0037】
画像表示部53は、たとえば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイなどの表示出力装置により構成される。たとえば9種の視差成分画像をあつかう場合、画像表示部53の各画素は9つの絵素で構成され、画素ごとに要素画像が表示される。また、画素が出力する光線のうち、同一の視差番号をもつ視差成分画像に対応する光線は、複数の画素から互いに平行に射出される。
【0038】
光線制御素子54は、複数の射出瞳により構成される。光線制御素子54としては、2次元II(インテグラル・イメージング)方式では、マトリックス状に射出瞳としてのセグメントレンズが配列されたレンズ・アレイや、射出瞳としてのピン・ホールがアレイ状に配列されたピンホール・アレイを用いることができる。また、光線制御素子54は、1次元II方式では、垂直方向に延出され、水平方向に配列されたシリンドリカル・レンズからなるレンチュキュラー・シートや、垂直方向に延出され、水平方向に配列されたスリットを有するスリット・プレートにより構成される。光線制御素子54としてレンズ・アレイ、レンチュキュラー・シートおよびスリット・プレートのいずれを用いても、光学的には、各レンズまたはスリットは、光学的開口部の射出瞳として機能する。
【0039】
要素画像生成部52により生成された要素画像は、画像表示部53の各画素に表示され、要素画像が射出瞳を介して視域に投影されることによって、立体画像が視域の内部でユーザにより観察される。
【0040】
なお、本実施形態では表示装置として裸眼で立体視可能な裸眼3Dディスプレイ22を用いる場合の例について示したが、専用の眼鏡を用いて立体視させる3Dディスプレイを用いてもよい。専用の眼鏡を用いて立体視させる3Dディスプレイは、一般に、観察者の観察時の左目および右目の位置に集光点を設け、この両眼に相当する位置に設けた集光点にそれぞれ左目視差成分画像および右目視差成分画像を集光させるようになっている。この場合、医用画像処理装置10は、左目視差成分画像および右目視差成分画像に対応する左目視点画像および右目視点画像を生成して3Dディスプレイに出力すればよい。
【0041】
また、多視点画像取得部51および要素画像生成部52は、CPUにより所定のプログラムが実行されて実現される機能実現部であってもよいし、CPUを用いることなく回路などのハードウエアロジックによって構成してもよい。また、ソフトウエアとハードウエアを適宜組み合わせて各機能を実現してもよい。
【0042】
また、図1では裸眼3Dディスプレイ22が医用画像処理装置10の構成外に設けられ場合の例について示したが、裸眼3Dディスプレイ22を医用画像処理装置10の一構成要素としても構わない。また、医用画像処理装置10は、モダリティ20に組み込まれてもよい。
【0043】
次に、本実施形態に係る3次元画像処理装置10の動作の一例について説明する。
【0044】
図6は、図1に示す制御部14のCPUにより、互いに同一または類似の立体視対象物が所定の距離以内にあるとこれらの立体視対象物の特徴量を調整する際の手順を示すフローチャートである。図6において、Sに数字を付した符号は、フローチャートの各ステップを示す。
【0045】
この手順は、視点画像生成部32により、視点VR画像41に対して補助画像45が重畳されて図4に示す視点画像が生成された時点でスタートとなる。
【0046】
また、図7は、所定の距離以内に特徴量が同一または類似の立体対象物があるかを判定する際の様子の一例についてワイヤーフレーム46を用いて示す説明図である。
【0047】
まず、ステップS1において、距離判定部33は、図7に示すように、視点画像に含まれる対象物上に注目点Pを設定する。
【0048】
次に、ステップS2において、距離判定部33は、この注目点Pを中心に判定領域50を設定する。判定領域50の範囲は、あらかじめ記憶部12に記憶された設定値を用いてもよいし、ユーザにより入力部11を介して設定されてもよい。図7には、判定領域50が、1辺の長さが所定の距離d0の2倍(2d0)の正方形である場合の例について示した。なお、判定領域50の形状は正方形に限られず、たとえば半径d0の円などであってもよい。
【0049】
次に、ステップS3において、距離判定部33は、判定領域50内で注目点Pを含む立体視対象物(以下、対象物Obj(P)という)を抽出する。図7に示す例では、ワイヤーフレーム46を構成する直線画像群のうち、注目点Pを含むY軸方向にのびる直線が対象物Obj(P)として抽出される。判定領域50内を検索することにより、対象物Obj(P)から所定の距離d0以内にある他の対象物を抽出することができる。
【0050】
次に、ステップS4において、特徴量判定部34は、対象物Obj(P)の特徴量を取得する。たとえば、本ステップにおいて、特徴量判定部34により対象物Obj(P)がY軸方向にのびる直線であること、色相が青色であること、およびその輝度分布が取得される。
【0051】
次に、ステップS5において、距離判定部33は、判定領域50内に他の立体視対象物があるか否かを判定する。他の立体視対象物がある場合はステップS6に進む。一方、他の立体視対象物がない場合はステップS9に進む。
【0052】
次に、ステップS6において、距離判定部は、判定領域50内にある他の立体視対象物(以下、他の対象物Obj(X)という)を抽出する。図7に示す例では、対象物Obj(P)から距離dの位置に隣接する直線が他の対象物Obj(X)として抽出される。
【0053】
次に、ステップS7において、特徴量判定部34は、他の対象物Obj(X)の特徴量を取得し、対象物Obj(P)と他の対象物Obj(X)の特徴量が同一または類似か否かを判定する。同一または類似である場合はステップS8に進む。一方、類似でない場合は、ステップS5に戻る。
【0054】
この判定には、あらかじめ定めた特徴量の類似度の閾値を用いるとよい。類似度の閾値としては、両直線のなす角の閾値や、色相の範囲の閾値や、輝度差の閾値などが挙げられる。特徴量判定部34は、対象物Obj(P)と他の対象物Obj(X)の特徴量の差が、これらの類似度の閾値以下であるか否かを判定することにより、対象物Obj(P)と他の対象物Obj(X)の特徴量が同一または類似であるか否かを判定することができる。
【0055】
特徴量判定部34により対象物Obj(P)と他の対象物Obj(X)の特徴量が同一または類似であると判定されると(ステップ7のYES)、視点画像調整部35は、対象物Obj(P)と他の対象物Obj(X)の特徴量が互いに異なるよう視点画像を調整する。
【0056】
なお、補助画像45を構成する各画像46〜49は一般に、それぞれ所定の色相で表示するよう設定されている。このため、色相を変更すると、他の補助画像45と区別することが難しくなったり、何を示す補助画像45であるかを判別することが難しくなったりしてしまうおそれがある。したがって、特徴量判定部34は、対象物Obj(P)と他の対象物Obj(X)の特徴量を調整する際、色相は変更せず、明度および彩度の少なくとも一方が互いに異なるように調整するとよい。また、対象物Obj(P)と他の対象物Obj(X)が線である場合は、線種が互いに異なるように調整してもよい。
【0057】
次に、ステップS9において、距離判定部33は、視点画像内の全ての立体視対象物について抽出を行ったか否かを判定する。抽出していない立体視対象物がある場合は、ステップS1に戻る。一方、全ての立体視対象物の抽出が終了した場合は、ステップS10に進む。
【0058】
次に、ステップS10において、視点画像調整部35は、ステップS8で特徴量を調整した視点画像と左右視差成分画像の関係にある視点画像についても、同様に特徴量を調整する。
【0059】
以上の手順により、互いに同一または類似の立体視対象物が所定の距離以内にあるとこれらの立体視対象物の特徴量を調整することができる。
【0060】
図8(a)は視点画像のうちワイヤーフレーム46の画像のみを示す説明図であり、(b)は視点画像調整部35によりワイヤーフレーム46の立体視対象物のうち所定の距離以内にあるとともに互いに同一または類似の複数の立体視対象物の特徴量を調整した様子を示す説明図である。
【0061】
図8(b)に示すように、所定の距離以内にあるとともに互いに同一または類似の複数の立体視対象物については、互いの特徴量が異なるように調整しておく。
【0062】
図8(c)は、特徴量調整後の左目視点画像および右目視点画像のうちワイヤーフレーム46のみを重ねて示す説明図である。
【0063】
また、スケール47について図8(a)〜(c)に相当する図面を図9(a)〜(c)に、アノーテーション8については図10(a)〜(c)に、位置決めROIのスライス49については図11(a)〜(c)に、それぞれ示した。
【0064】
また、図12は、視点画像調整部35による特徴量調整後の左目視点画像および右目視点画像を重ねて示す説明図である。
【0065】
図8〜図12に示すように、本実施形態に係る医用画像処理装置10によれば、元の視点画像が視差の対応点を取りにくい画像であっても、所定の距離以内にあるとともに互いに同一または類似の複数の立体視対象物について互いの特徴量が異なるように視点画像を調整することにより、ユーザは容易に同一の立体対象物を確かに同一であると認識することができ、この立体対象物を容易に立体視することができる。
【0066】
なお、特徴量を調整する際は、所定の距離内にある複数の対象物間で特徴量が互いに異なるようにすればよく、対象物Obj(P)と対象物Obj(X)の両方の特徴量を変更してもよいし、いずれか一方のみの特徴量を変更してもよい。
【0067】
(第2の実施形態)
次に、本発明に係る3次元画像処理装置の第2実施形態について説明する。
【0068】
本実施形態では、左目視差成分画像および右目視差成分画像に、両眼視差が大きすぎるために極端に手前に飛び出しすぎる立体視対象物などが含まれることにより、ユーザが立体視対象物の対応付けが難しくなり立体視が困難となってしまう場合について説明する。なお、第1実施形態に係る医用画像処理装置10と同じ構成には同一符号を付して説明を省略する。
【0069】
図13は、両眼視差が大きすぎる対象物が表示されることにより、ユーザが立体視対象物の対応付けが難しくなり立体視が困難となる場合の一例を示す説明図である。このような場合としては、たとえばX軸方向に長軸を持つ横長の対象物をXZ平面内で90度回転させることにより、対象物がZ軸方向に飛び出すことになる場合などが考えられる。
【0070】
一般に、左右視点画像は、最適な距離Lにユーザがいる場合を仮定して生成される。しかし、図13に示すように、左視点画像(左目視差成分画像)の対象物60lと右視点画像(右目視差成分画像)の対象物60rの両眼視差(視差角θ)が大きい場合、ユーザは対象物が自らの近くに見えすぎて左右で見える面が違いすぎ、ぼやけて見えてしまう場合がある。
【0071】
そこで、本実施形態に係る制御部14AのCPUは、ROMをはじめとする記憶媒体に記憶された3次元画像処理プログラムおよびこのプログラムの実行のために必要なデータをRAMへロードし、このプログラムに従って、左右視点画像に含まれる対象物の両眼視差が所定の視差より大きいと、この両眼視差が所定の視差より小さくなるよう左右視点画像を調整する処理を実行する。
【0072】
図14は、第2実施形態に係る制御部14AのCPUによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、CPUを用いることなく回路などのハードウエアロジックによって構成してもよい。
【0073】
図14に示すように、制御部14AのCPUは、3次元画像処理プログラムによって、視点画像生成部71、視差判定部72、視点画像調整部73および多視点画像出力部74として機能する。この各部71〜74は、RAMの所要のワークエリアを、データの一時的な格納場所として利用する。
【0074】
視点画像生成部71は、記憶部12に記憶されたボリュームデータにもとづいて、少なくとも左右両眼の位置を視点とするボリュームレンダリングを行うことにより左視点画像および右視点画像の2つの視点画像を生成する。
【0075】
視差判定部72は、2つの視点画像に含まれる対象物のうち、2つの視点画像間で最も両眼視差が大きい対象物60lおよび60rの両眼視差が所定の視差より大きいか否かを判定する。なお、医用画像処理装置10が位置センサ23からユーザ位置情報が取得可能に構成される場合は、視差判定部72は、ユーザ位置情報にもとづいてユーザの距離Lを求め、この距離Lを用いて対象物60lおよび60rの両眼視差をユーザ位置情報を算出してもよい。
【0076】
図15は、所定の視差より大きいと判定された対象物60lおよび60rの画像の両眼視差が所定の視差より小さくなるよう調整される様子の一例を示す説明図である。
【0077】
視点画像調整部73は、視差判定部72により所定の視差より大きいと判定された対象物60lおよび60rの画像の両眼視差が所定の視差より小さくなるよう、2つの視点画像を調整する。たとえば、両眼視差が大きすぎて手前に飛び出すぎる場合は、図15に示すように奥行き方向に対象物を移動することにより両眼視差が所定の視差より小さくなるように、左視点画像および右視点画像を調整する。
【0078】
多視点画像出力部74は、視点画像生成部71により生成された視点画像および視点画像調整部73によって両眼視差を調整された視点画像を、これらの複数の視点画像のそれぞれを視差成分画像として異なる方向に射出する裸眼3Dディスプレイ22に対して出力する。
【0079】
次に、第2実施形態に係る3次元画像処理装置10の動作の一例について説明する。
【0080】
図16は、図14に示す制御部14AのCPUにより、左右視点画像に含まれる対象物の両眼視差が所定の視差より大きいと、この両眼視差が所定の視差より小さくなるよう左右視点画像を調整する際の手順を示すフローチャートである。図16において、Sに数字を付した符号は、フローチャートの各ステップを示す。
【0081】
この手順は、視点画像生成部61により、左視点画像および右視点画像が生成された時点でスタートとなる。
【0082】
まず、ステップS21において、視差判定部72は、2つの視点画像に含まれる対象物のうち、2つの視点画像間で最も両眼視差が大きい対象物60lおよび60rの両眼視差として視差角θを取得する(図13参照)。
【0083】
次に、ステップS22において、視差判定部72は、視差角θが対象物60lおよび60rの視差角θが所定の視差としての閾値より大きいか否かを判定する。視差角θが閾値以下である場合は一連の手順は終了となる。一方、視差角θが閾値より大きい場合は、視点画像調整部73は、対象物60lおよび60rの視差角が閾値以下となるよう、2つの視点画像を調整し(ステップS23)、一連の手順は終了となる。
【0084】
以上の手順により、左右視点画像に含まれる対象物の両眼視差が所定の視差より大きいと、この両眼視差が所定の視差より小さくなるよう左右視点画像を調整することができる。
【0085】
本実施形態に係る医用画像処理装置10によれば、元の視点画像が両眼視差の大きい画像を含んでいても、左右視点画像に含まれる対象物の両眼視差が所定の視差より大きいと、この両眼視差が所定の視差より小さくなるよう左右視点画像を調整することにより、ユーザは立体対象物を容易に立体視することができる。
【0086】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0087】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【0088】
10 医用画像処理装置
11 入力部
12 記憶部
14、14A 制御部
22 裸眼3Dディスプレイ
31 視点レンダリング画像生成部
32 視点画像生成部
33 距離判定部
34 特徴量判定部
35 視点画像調整部
36 多視点画像出力部
41 視点レンダリング画像
45 補助画像
71 視点画像生成部
72 視差判定部
73 視点画像調整部
74 多視点画像出力部

【特許請求の範囲】
【請求項1】
複数の視点に対応する複数の視点画像を異なる方向に射出する3Dディスプレイ用の視点画像を生成する3次元画像処理装置であって、
ボリュームデータを記憶する手段と、
前記ボリュームデータにもとづいて視差画像を生成するものであり、かつ、視差画像中に補助画像が合成された前記複数の視点画像を生成する視差画像生成手段を備え、
前記視差画像生成手段は、近接する前記補助画像の画像的な特徴が同一または類似である場合、これらの特徴が互いに異なるように補助画像を変更する変更手段と、
を備えた3次元画像処理装置。
【請求項2】
複数の視点画像を生成するとともに、前記複数の視点画像を異なる方向に射出する3Dディスプレイに対して出力する3次元画像処理装置であって、
前記視点画像に含まれる複数の対象物のうち、所定の距離以内にある複数の対象物どうしの特徴量が同一または類似であると、これらの特徴量が互いに異なるよう前記視点画像を調整する視点画像調整部と、
前記3Dディスプレイに、前記視点画像調整部により前記対象物の特徴量を調整された複数の前記視点画像を出力する多視点画像出力部と、
を備えた3次元画像処理装置。
【請求項3】
ボリュームデータにもとづいて複数の視点でボリュームレンダリングを行うことにより複数の視点レンダリング画像を生成する視点レンダリング画像生成部と、
前記複数の視点レンダリング画像に対して前記複数の視点からみた補助画像を重畳して前記視点画像を複数生成する視点画像生成部と、
をさらに備えた、
請求項2記載の3次元画像処理装置。
【請求項4】
前記視点画像調整部は、
前記視点画像に含まれる前記複数の対象物のうち、前記所定の距離以内にある複数の対象物どうしの輝度の差が所定の輝度差以下であると、前記所定の距離以内にある複数の対象物どうしの明度および彩度の少なくとも一方が互いに異なるよう前記視点画像を調整する、
請求項2または3に記載の3次元画像処理装置。
【請求項5】
前記視点画像に含まれる複数の対象物のうち、前記所定の距離以内にある複数の対象物を抽出する距離判定部と、
前記距離判定部に抽出された前記所定の距離以内にある複数の対象物どうしの特徴量が同一または類似であるか否かを判定する特徴量判定部と、
をさらに備えた、
請求項2ないし4のいずれか1項に記載の3次元画像処理装置。
【請求項6】
前記所定の距離以内にある複数の対象物は、
それぞれ線により構成され、
前記視点画像調整部は、
前記所定の距離以内にある複数の線どうしの輝度の差が所定の輝度差以下であると、前記所定の距離以内にある複数の線どうしの線種が互いに異なるよう前記視点画像を調整する、
請求項2ないし5のいずれか1項に記載の3次元画像処理装置。
【請求項7】
前記視点画像調整部は、
左目用の視点画像と右目用の視点画像のいずれか一方について、この一方の視点画像に含まれる複数の対象物のうち、前記所定の距離以内にある複数の対象物どうしの特徴量が同一または類似であると、これらの特徴量を互いに異なるように前記一方の視点画像を調整するとともに、前記左目用の視点画像と前記右目用の視点画像の他方について、前記一方の視点画像の前記特徴量を調整した対象物に対応する対象物の特徴量を同様に調整する、
請求項2ないし6のいずれか1項に記載の3次元画像処理装置。
【請求項8】
複数の視点画像を生成するとともに、前記複数の視点画像のそれぞれを視差成分画像として異なる方向に射出する3Dディスプレイに対して前記複数の視点画像を出力する3次元画像処理装置であって、
両眼の位置を視点とする2つの視点画像に含まれる対象物のうち、前記2つの視点画像間で最も両眼視差が大きい対象物の前記両眼視差が所定の視差より大きいと、前記最も両眼視差が大きい対象物の前記両眼視差が前記所定の視差より小さくなるよう前記2つの視点画像を調整する視点画像調整部と、
前記3Dディスプレイに、前記視点画像調整部により調整された前記2つの視点画像を出力する多視点画像出力部と、
を備えた3次元画像処理装置。
【請求項9】
ボリュームデータにもとづいて前記両眼の位置を視点とするボリュームレンダリングを行うことにより前記2つの視点画像を生成する視点画像生成部、
をさらに備えた、
請求項8記載の3次元画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2013−9864(P2013−9864A)
【公開日】平成25年1月17日(2013.1.17)
【国際特許分類】
【出願番号】特願2011−144833(P2011−144833)
【出願日】平成23年6月29日(2011.6.29)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】