表示制御装置、表示制御方法、及び表示制御プログラム
【課題】利便性の高い表示制御技術を提供する。
【解決手段】表示制御部１００は、ユーザの画像を取得して表示装置に表示するユーザ画像表示部１１２と、所定の軸に対して垂直な複数の層における対象物の断層画像を取得し、所定の層の断層画像の一部の表示領域をユーザの画像に重畳させて表示装置に表示する断層画像表示部１１４と、ユーザの画像と断層画像の位置関係を調整する位置調整部１１６と、入力装置を介して受け付けたユーザによる指示入力に応じて表示領域の位置を変更する表示領域制御部１１８と、入力装置を介して受け付けたユーザによる指示入力に応じて表示する断層画像の層を変更する深度制御部１２０とを備える。
【解決手段】表示制御部１００は、ユーザの画像を取得して表示装置に表示するユーザ画像表示部１１２と、所定の軸に対して垂直な複数の層における対象物の断層画像を取得し、所定の層の断層画像の一部の表示領域をユーザの画像に重畳させて表示装置に表示する断層画像表示部１１４と、ユーザの画像と断層画像の位置関係を調整する位置調整部１１６と、入力装置を介して受け付けたユーザによる指示入力に応じて表示領域の位置を変更する表示領域制御部１１８と、入力装置を介して受け付けたユーザによる指示入力に応じて表示する断層画像の層を変更する深度制御部１２０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御技術に関し、とくに、対象物の断層画像の表示を制御する表示制御装置、表示制御方法、及び表示制御プログラムに関する。
【背景技術】
【０００２】
コンピュータ断層撮影などの技術が発達し、人体の内部の断層画像を精確かつ比較的安価に撮影することができるようになっている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
近年、国民の健康に対する関心が高まっており、医療従事者ではない一般のユーザであっても、人体の断層画像を容易かつ手軽に見ることが可能な技術が求められている。
【０００４】
本発明はこうした状況に鑑みてなされたものであり、その目的は、より利便性の高い表示制御技術を提供することにある。
【課題を解決するための手段】
【０００５】
本発明のある態様は、表示制御プログラムに関する。この表示制御プログラムは、コンピュータを、ユーザの画像を取得して表示装置に表示するユーザ画像表示部、所定の軸に対して垂直な複数の層における対象物の断層画像を取得し、所定の層の断層画像の一部の表示領域を前記ユーザの画像に重畳させて前記表示装置に表示する断層画像表示部、前記ユーザの画像と前記断層画像の位置関係を調整する位置調整部、入力装置を介して受け付けたユーザによる指示入力に応じて前記表示領域の位置を変更する表示領域制御部、入力装置を介して受け付けたユーザによる指示入力に応じて前記層を変更する深度制御部、として機能させる。
【０００６】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００７】
本発明によれば、より利便性の高い表示制御技術を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例にかかる画像処理システムの使用環境を示す図である。
【図２】入力デバイスの外観構成を示す図である。
【図３】入力デバイスの内部構成を示す図である。
【図４】画像処理装置の構成を示す図である。
【図５】表示制御部により表示装置に表示される画面の例を示す図である。
【図６】表示制御部の構成を示す図である。
【図７】位置調整部がユーザの画像の位置を調整する様子を説明するための図である。
【図８】位置調整部がユーザの画像の位置を調整する様子を説明するための図である。
【図９】ユーザの画像と断層画像とが重ね合わせて表示される様子を模式的に示す図である。
【図１０】画面生成部により生成された画面の例を示す図である。
【図１１】画面生成部により生成された画面の例を示す図である。
【図１２】画面生成部により生成された画面の例を示す図である。
【発明を実施するための形態】
【０００９】
実施の形態に係る表示制御装置は、人体の断層画像を取得し、ユーザが所持する入力デバイスの位置に応じて、ユーザの画像に断層画像を重畳させて表示する。表示制御装置は、現在の入力デバイスの位置に対応する一部の領域の断層画像のみを表示し、入力デバイスの上下左右の移動に応じて、断層画像を表示する領域を上下左右に移動させる。また、入力デバイスの前後の移動に応じて、複数の層の断層画像の間で表示する層を変更する。ユーザは、入力デバイスを移動させることにより、所望の位置における所望の深さの断層画像を見ることができる。
【００１０】
図１は、本発明の実施例にかかる画像処理システム１の使用環境を示す。画像処理システム１は、画像処理ソフトウェアを実行する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２と、入力デバイス２０と、入力デバイス２０を撮像する撮像装置１４を備える。
【００１１】
入力デバイス２０は、ユーザが操作指示を行うための操作入力装置であり、画像処理装置１０は、入力デバイス２０における操作指示をもとに画像処理アプリケーションを実行して、画像処理アプリケーションの処理結果を示す画像信号を生成する処理装置である。
【００１２】
入力デバイス２０は、ユーザによる操作指示を画像処理装置１０に伝送する機能をもち、本実施例では画像処理装置１０との間で無線通信可能な無線コントローラとして構成される。入力デバイス２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルを用いて無線接続を確立してもよい。なお入力デバイス２０は、無線コントローラに限らず、画像処理装置１０とケーブルを介して接続される有線コントローラであってもよい。
【００１３】
入力デバイス２０はバッテリにより駆動され、画像処理を進行させる操作指示を行うための複数のボタンを有して構成される。ユーザが入力デバイス２０のボタンを操作すると、その操作指示が無線により画像処理装置１０に送信される。画像処理装置１０は、入力デバイス２０から操作指示を受信し、操作指示に応じて画像処理を実行して、画像信号を生成する。生成された画像信号は、表示装置１２より出力される。
【００１４】
撮像装置１４は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。たとえば、撮像装置１４の撮像速度は３０枚／秒として、表示装置１２のフレームレートと一致させてもよい。撮像装置１４は、ＵＳＢ（Universal Serial Bus）あるいはその他のインタフェースを介して画像処理装置１０と接続する。
【００１５】
表示装置１２は画像を出力するディスプレイであって、画像処理装置１０において生成された画像信号を受けて、表示画面を表示する。表示装置１２は、ディスプレイおよびスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。表示装置１２は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。
【００１６】
本実施例の画像処理システム１において、入力デバイス２０は発光体を有する。画像処理中、発光体は所定色で発光し、撮像装置１４により撮像される。撮像装置１４は入力デバイス２０を撮像し、フレーム画像を生成して画像処理装置１０に供給する。画像処理装置１０はフレーム画像を取得して、フレーム画像における発光体の画像の位置および大きさから、実空間における発光体の位置情報を導出する。画像処理装置１０は、位置情報を画像処理の操作指示として取り扱い、画像処理に反映させる。本実施例の画像処理装置１０は、入力デバイス２０のボタンなどの操作入力だけでなく、取得した発光体画像の位置情報も用いて画像処理アプリケーションを実行する機能をもつ。
【００１７】
入力デバイス２０の発光体は、複数色で発光可能に構成される。発光体は、画像処理装置１０からの発光指示により、発光色を変更できる。
【００１８】
また入力デバイス２０は加速度センサおよびジャイロセンサを有する。センサの検出値は、所定周期で画像処理装置１０に送信され、画像処理装置１０は、センサの検出値を取得して、実空間における入力デバイス２０の姿勢情報を取得する。画像処理装置１０は、姿勢情報を画像処理の操作指示として取り扱い、画像処理に反映させる。このように本実施例の画像処理装置１０は、取得した入力デバイス２０の姿勢情報も用いて画像処理アプリケーションを実行する機能をもつ。
【００１９】
図２は、入力デバイス２０の外観構成を示す。図２（ａ）は、入力デバイス２０の上面構成を示し、図２（ｂ）は、入力デバイス２０の下面構成を示す。入力デバイス２０は、発光体２２およびハンドル２４を有する。発光体２２は、その外側を光透過性を有する樹脂で球体に形成され、内側に発光ダイオードや電球などの発光素子を有する。内側の発光素子が発光すると、外側の球体全体が光る。ハンドル２４の上面には、操作ボタン３０、３２、３４、３６、３８が設けられ、下面には操作ボタン４０が設けられる。ユーザはハンドル２４の端部を手で把持した状態で、操作ボタン３０、３２、３４、３６、３８を親指で操作し、操作ボタン４０を人差し指で操作する。操作ボタン３０、３２、３４、３６、３８は、押下式に構成され、ユーザは押下することで操作する。操作ボタン４０は、アナログ量を入力できるものであってよい。
【００２０】
ユーザは表示装置１２に表示される画面を見ながら画像処理のための操作指示を行う。撮像装置１４は、画像処理アプリケーションの実行中に発光体２２を撮像する必要があるため、その撮像範囲が表示装置１２と同じ方向を向くように配置されることが好ましい。一般にユーザは表示装置１２の正面に位置することが多いため、撮像装置１４は、その光軸の方向が表示装置１２の正面方向と一致するように配置される。具体的に、撮像装置１４は、表示装置１２の近傍において、表示装置１２の表示画面をユーザが視認可能な位置を撮像範囲に含むように配置されることが好ましい。これにより、撮像装置１４は、入力デバイス２０を撮像できる。
【００２１】
図３は、入力デバイス２０の内部構成を示す。入力デバイス２０は、無線通信モジュール４８、処理部５０、発光部６２および操作ボタン３０、３２、３４、３６、３８、４０を備える。無線通信モジュール４８は、画像処理装置１０の無線通信モジュールとの間でデータを送受信する機能をもつ。処理部５０は、入力デバイス２０における所期の処理を実行する。
【００２２】
処理部５０は、メイン制御部５２、入力受付部５４、３軸加速度センサ５６、３軸ジャイロセンサ５８および発光制御部６０を有する。メイン制御部５２は、無線通信モジュール４８との間で必要なデータの送受を行う。
【００２３】
入力受付部５４は、操作ボタン３０、３２、３４、３６、３８、４０からの入力情報を受け付け、メイン制御部５２に送る。３軸加速度センサ５６は、ＸＹＺの３軸方向の加速度成分を検出する。３軸ジャイロセンサ５８は、ＸＺ平面、ＺＹ平面、ＹＸ平面における角速度を検出する。なお、ここでは、入力デバイス２０の幅方向をＸ軸、高さ方向をＹ軸、長手方向をＺ軸と設定する。３軸加速度センサ５６および３軸ジャイロセンサ５８は、入力デバイス２０のハンドル２４内に配置され、ハンドル２４内の中心近傍に配置されることが好ましい。無線通信モジュール４８は、操作ボタンからの入力情報とともに、３軸加速度センサ５６による検出値情報、および３軸ジャイロセンサ５８による検出値情報を、所定の周期で画像処理装置１０の無線通信モジュールに送信する。この送信周期は、たとえば１１．２５ｍ秒に設定される。
【００２４】
発光制御部６０は、発光部６２の発光を制御する。発光部６２は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃを有し、複数色の発光を可能とする。発光制御部６０は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を調整して、発光部６２を所望の色に発光させる。
【００２５】
無線通信モジュール４８は画像処理装置１０から発光指示を受け取ると、メイン制御部５２に供給し、メイン制御部５２は、発光制御部６０に発光指示を供給する。発光制御部６０は、発光部６２が発光指示により指定された色で発光するように、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を制御する。たとえば発光制御部６０は、各ＬＥＤをＰＷＭ（パルス幅変調）制御で点灯制御してもよい。
【００２６】
図４は、画像処理装置１０の構成を示す。画像処理装置１０は、フレーム画像取得部８０、画像処理部８２、デバイス情報導出部８４、無線通信モジュール８６、入力受付部８８、出力部９０および表示制御部１００を備える。本実施例における画像処理装置１０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、画像処理装置１０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。なおハードウェアの構成上、画像処理装置１０は複数のＣＰＵを有してもよい。
【００２７】
無線通信モジュール８６は、入力デバイス２０の無線通信モジュール４８との間で無線通信を確立する。これにより入力デバイス２０は、操作ボタンの状態情報、３軸加速度センサ５６および３軸ジャイロセンサ５８の検出値情報を、画像処理装置１０に所定の周期で送信できるようになる。
【００２８】
無線通信モジュール８６は、入力デバイス２０から送信される操作ボタンの状態情報、およびセンサ検出値情報を受信し、入力受付部８８に供給する。入力受付部８８は、ボタン状態情報およびセンサ検出値情報を分離し、表示制御部１００に引き渡す。表示制御部１００は、ボタン状態情報およびセンサ検出値情報を、画像処理の操作指示として受け取る。表示制御部１００は、センサ検出値情報を、入力デバイス２０の姿勢情報として取り扱う。
【００２９】
フレーム画像取得部８０はＵＳＢインタフェースとして構成され、撮像装置１４から所定の撮像速度（たとえば３０フレーム／秒）でフレーム画像を取得する。画像処理部８２は、フレーム画像から発光体画像を抽出する。画像処理部８２は、フレーム画像中の発光体画像の位置、および大きさを特定する。入力デバイス２０の発光体２２が、たとえばユーザ環境内で使われそうにない色で点灯することで、画像処理部８２は、フレーム画像から高精度に発光体画像を抽出できる。画像処理部８２は、フレーム画像データを所定の閾値を用いて２値化処理し、２値化された画像を生成してもよい。この２値化処理により、所定の閾値より大きい輝度を保持する画素の画素値が“１”に符号化され、所定の閾値以下の輝度を保持する画素の画素値が“０”に符号化される。この所定の閾値を超える輝度で発光体２２を点灯させることで、画像処理部８２は、２値化された画像から、発光体画像の位置および大きさを特定できる。たとえば画像処理部８２は、フレーム画像における発光体画像の重心座標と、発光体画像の半径を特定する。
【００３０】
デバイス情報導出部８４は、画像処理部８２で特定された発光体画像の位置および大きさから、撮像装置１４からみた入力デバイス２０の位置情報を導出する。デバイス情報導出部８４は、発光体画像の重心座標からカメラ座標における位置座標を導出し、また発光体画像の半径から、撮像装置１４からの距離情報を導出する。この位置座標および距離情報は、入力デバイス２０の位置情報を構成する。デバイス情報導出部８４は、フレーム画像ごとに入力デバイス２０の位置情報を導出し、表示制御部１００に引き渡す。表示制御部１００は、入力デバイス２０の位置情報を、画像処理の操作指示として受け取る。
【００３１】
表示制御部１００は、入力デバイス２０の位置情報および姿勢情報と、ボタン状態情報とから、人体の断層画像を表示するアプリケーションを進行させて、アプリケーションの処理結果を示す画像信号を生成する。画像信号は出力部９０から表示装置１２に送られ、表示画像として出力される。
【００３２】
図５は、表示制御部１００により表示装置１２に表示される画面の例を示す。画面には、ユーザの画像２００と、人体の断層画像２０４の一部とが重畳表示されている。ユーザは、入力デバイス２０を上下左右に移動させることにより、断層画像２０４の一部を表示した表示領域２０２を上下左右に移動させることができる。また、入力デバイス２０を前後に移動させることにより、複数の断層画像の間で表示させる層を変更することができる。すなわち、人体の正面に近い手前側の断層画像を見たり、背面に近い奧側の断層画像を見たりすることができる。
【００３３】
図６は、表示制御部１００の構成を示す。表示制御部１００は、操作指示受付部１０２、制御部１１０、断層画像保持部１５０、データ保持部１５２、及び画面生成部１５４を備える。
【００３４】
操作指示受付部１０２は、デバイス情報導出部８４から入力デバイス２０の位置情報を、入力受付部８８から入力デバイス２０の姿勢情報およびボタン状態情報を、それぞれ操作指示として受け付ける。制御部１１０は、操作指示受付部１０２が受け付けた操作指示にもとづいてプログラムを実行し、アプリケーションを進行させる。断層画像保持部１５０は、所定の軸に対して垂直な複数の層における人体の断層画像の画像データを、表面からの深度に対応づけて保持する。データ保持部１５２は、アプリケーションの進行に必要な各種データを保持する。画面生成部１５４は、ユーザの画像と断層画像とを重ね合わせ、更に各種情報などを付加して表示画面を生成する。
【００３５】
制御部１１０は、ユーザ画像表示部１１２、断層画像表示部１１４、位置調整部１１６、表示領域制御部１１８、及び深度制御部１２０を含む。
【００３６】
ユーザ画像表示部１１２は、ユーザの画像を取得して表示装置１２に表示する。ユーザ画像表示部１１２は、撮像装置１４により撮像されてデータ保持部１５２に格納されていたユーザの静止画像をデータ保持部１５２から読み出して表示装置１２に表示してもよいし、予めデータ保持部１５２に格納されていたユーザの静止画像を読み出して表示装置１２に表示してもよい。また、後述するように、撮像装置１４により撮像されたユーザの動画像をリアルタイムに取得して表示装置１２に表示してもよい。
【００３７】
位置調整部１１６は、ユーザの画像と断層画像の位置関係を調整する。ユーザ画像表示部１１２が、撮像装置１４により撮像されたユーザの静止画像を表示する場合、位置調整部１１６は、撮像装置１４がユーザの静止画像を撮像してから断層画像表示部１１４が断層画像を表示するまでの間に、静止画像中のユーザと断層画像の被写体とが重なるようにユーザの画像と断層画像の位置関係を調整する。位置調整部１１６は、撮像装置１４によりユーザを撮像する際に、断層画像が表示される位置に合わせて、ユーザの体が入るべき枠を画面の所定位置に表示し、その枠に体が入るようにユーザに位置を調整させてからユーザを撮像してもよい。位置調整部１１６は、撮像装置１４により撮像された静止画像におけるユーザの体を、エッジ検出技術や顔認識技術などを利用して検出し、検出したユーザの体が断層画像における被写体の体と重なるように位置関係を調整してもよい。これらの場合、いったん位置関係を調整すると、以降、ユーザの画像と断層画像の位置関係を調整する必要はない。後述するように、ユーザ画像表示部１１２が、撮像装置１４により撮像されたユーザの動画像をリアルタイムに取得して表示する場合は、位置調整部１１６は、断層画像の表示中に所定のタイミングで逐次ユーザの体を検出し、ユーザの体の位置に断層画像が重なるように、位置関係を調整する。
【００３８】
図７及び図８は、位置調整部１１６がユーザの画像の位置を調整する様子を説明するための図である。位置調整部１１６は、図７に示すように、ユーザの画像を撮像装置１４により撮像する前に、ユーザの体が入るべき枠２１０を画面に表示する。ユーザは、図８に示すように、枠２１０に自分の体２１２が入るように位置を調整してから、入力デバイス２０のボタンの入力により自身の画像を撮像する。
【００３９】
表示領域制御部１１８は、入力デバイス２０を介して受け付けたユーザによる指示入力に応じて、断層画像の表示領域の位置を変更する。表示領域制御部１１８は、入力デバイス２０の位置情報をデバイス情報導出部８４から取得し、入力デバイス２０の上下左右の移動にともなって、表示領域を上下左右に移動させる。表示領域制御部１１８は、撮像装置１４により撮像された画像における入力デバイス２０の発光体２２の位置に対応する断層画像の位置に表示領域を移動させてもよい。この場合、断層画像全体の表示領域から入力デバイス２０の発光体２２が外れたときは、断層画像の端部に表示領域を設定してもよい。表示領域制御部１１８は、キャリブレーション時又はユーザの画像の撮像時の入力デバイス２０の位置を基準位置として、基準位置からの相対移動量に応じて表示領域の位置を決定してもよい。表示領域制御部１１８は、入力デバイス２０の３軸加速度センサ５６又は３軸ジャイロセンサ５８から取得したセンサ値に基づいて、入力デバイス２０の上下左右方向の位置を算出してもよい。
【００４０】
深度制御部１２０は、入力デバイス２０を介して受け付けたユーザによる指示入力に応じて、複数の層の断層画像のうち、表示装置１２に表示する層の深度を変更する。深度制御部１２０は、入力デバイス２０と撮像装置１４との間の距離情報をデバイス情報導出部８４から取得し、入力デバイス２０の前後の移動にともなって、断層画像の表示層を変更する。深度制御部１２０は、キャリブレーション時又はユーザの画像の撮像時の入力デバイス２０の位置を基準位置として、基準位置からの相対移動量に応じて表示層の深度を決定してもよい。深度制御部１２０は、入力デバイス２０の３軸加速度センサ５６又は３軸ジャイロセンサ５８から取得したセンサ値に基づいて、入力デバイス２０の前後方向の位置を算出してもよい。
【００４１】
断層画像表示部１１４は、深度制御部１２０から通知された深度に対応する層の断層画像を断層画像保持部１５０から読み出し、表示領域制御部１１８から通知された位置の表示領域を、ユーザの画像に重畳させて表示する。断層画像表示部１１４は、ユーザ画像表示部１１２により表示されるユーザの画像におけるユーザの体の形状をエッジ検出技術などにより検出し、ユーザの体の形状に合わせて、断層画像を拡大又は縮小してもよい。
【００４２】
図９は、ユーザの画像と断層画像とが重ね合わせて表示される様子を模式的に示す。図７に示すように、ユーザ画像表示部１１２により最前面に表示されるユーザの画像２２０と、断層画像表示部１１４により２層目以降に表示される複数の断層画像２２２及び２２４とが、深度制御部１２０により制御される深度に合わせてクロスフェードにより切り替えられる。
【００４３】
図１０は、画面生成部により生成された画面の例を示す。図５に示した画面から、ユーザが入力デバイス２０を上下左右方向に移動させると、表示領域制御部１１８は、表示領域２０２を上下左右に移動させる。これにより、ユーザは、所望の位置の断層画像を容易に表示させることができる。
【００４４】
図１１は、画面生成部により生成された画面の例を示す。図１０に示した画面から、ユーザが入力デバイス２０を前後方向に移動させると、深度制御部１２０は、表示させる断層画像２０４の深度を変更する。これにより、ユーザは、所望の深度の断層画像を容易に表示させることができる。
【００４５】
ユーザ画像表示部は、撮像装置１４により撮像されたユーザの静止画像に代えて、撮像装置１４により撮像されたユーザの動画像をリアルタイムに表示してもよい。この場合、位置調整部１１６は、断層画像の表示中に所定のタイミングで逐次ユーザの体を検出し、ユーザの体の位置に断層画像が重なるように、位置関係を調整する。表示領域制御部１１８は、入力デバイス２０の位置及びユーザの位置に基づいて表示領域の位置を決定してもよい。例えば、入力デバイス２０の上下左右方向の移動量からユーザの上下左右方向の移動量を減じることにより、ユーザから見た入力デバイス２０の上下左右方向の相対移動量に応じて表示領域を上下左右に移動させてもよい。また、表示画面中の入力デバイス２０の発光体２２の表示位置を表示領域の位置としてもよい。これらの場合、ユーザは、入力デバイス２０を移動させずに自らが移動するなど、入力デバイス２０と自らの相対位置を変えることによっても、表示領域を移動させることができる。深度制御部１２０は、入力デバイス２０の位置及びユーザの位置に基づいて表示する断層画像の深度を決定してもよい。例えば、入力デバイス２０の前後方向の移動量からユーザの前後方向の移動量を減じることにより、ユーザから見た入力デバイス２０の前後方向の相対移動量に応じて表示層を変更してもよい。また、ユーザが撮像装置１４に近づくと深い層を表示し、遠ざかると浅い層を表示してもよい。
【００４６】
図１２は、画面生成部により生成された画面の例を示す。撮像装置１４により撮像されたユーザの動画像を表示中に、ユーザが移動したことにより体の位置が変更された場合、位置調整部１１６は、ユーザの体の移動に合わせて断層画像２０４の位置を調整する。これにより、ユーザの体と断層画像とがずれて表示されることを防ぐことができる。図１２に示した例では、入力デバイス２０の発光体の位置に表示領域２０２が設定されている。ユーザは、入力デバイス２０を移動させることによっても、自身が移動することによっても、断層画像２０４の表示領域２０２の位置を変更することができる。
【００４７】
画像処理システム１は、ユーザの体の断層画像を撮像する断層画像撮像装置を更に備えてもよい。この場合、断層画像撮像装置により撮像されたユーザの体の断層画像が断層画像保持部に格納される。撮像装置１４及び断層画像撮像装置が、それぞれ、ユーザの静止画像及びユーザの体の断層画像を撮像するときに、所定の位置に位置合わせ用のマーカを記録してもよい。位置調整部１１６は、位置合わせ用のマーカを参照してユーザの画像と断層画像の表示位置を調整してもよい。撮像装置１４により撮像されたユーザの動画像を表示する場合も同様である。
【００４８】
画像処理システム１は、断層画像保持部に代えて、人体の内部の三次元形状データを格納した形状データ保持部を備えてもよい。形状データ保持部は、人体の内部をモデリングしたモデリングデータを保持してもよいし、コンピュータ断層撮影などにより取得された三次元ボクセルデータを保持してもよい。この場合、断層画像表示部は、三次元形状データを形状データ保持部から読み出してレンダリングすることにより、人体の断層画像を生成して表示する。深度制御部は、入力デバイス２０の前後方向の移動に応じて、レンダリングする対象となる形状データの範囲を制御する。断層画像表示部は、深度制御部から通知された深度よりも手前に存在するオブジェクトをレンダリングせず、その深度における断面をレンダリングする。
【００４９】
断層画像保持部に複数の方向の断層画像のセットが格納されている場合、断層画像表示部は、ユーザの体の方向を検出し、検出された方向に応じて、表示する断層画像のセットを決定してもよい。例えば、人体の前後方向に垂直な断面の断層画像のセットだけでなく、左右方向に垂直な断面の断層画像のセットが断層画像保持部に格納されている場合、断層画像表示部は、ユーザの体をエッジ検出技術などにより検出し、正面を向いているときの体の幅との比を算出するなどして、ユーザが所定の角度以上体を横向きに回転させたことを検出したときに、前後方向に垂直な断面の断層画像のセットから、左右方向に垂直な断面の断層画像のセットに切り替えてもよい。複数の角度の断面の断層画像のセットが断層画像保持部に格納されている場合は、ユーザの体の回転角に応じて、断層画像のセットを切り替えてもよい。断層画像表示部が、三次元形状データをレンダリングすることにより断層画像を生成して表示する場合は、ユーザの体の回転角に応じて、レンダリングする際のカメラの視点位置及び視線方向を変更してもよい。
【００５０】
断層画像表示部は、表示領域の中心付近はより深い層の断層画像を表示し、表示領域の端付近はより浅い層の断層画像を表示してもよい。また、表示領域の端付近の断層画像にぼかしなどの表示効果を加えてから表示してもよい。これにより、入力デバイス２０を内視鏡カメラのように用いて、人体の内部を覗いているような感覚をユーザに与えることができる。
【００５１】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００５２】
１０ 画像処理装置、１２ 表示装置、１４ 撮像装置、１６ スピーカ、２０ 入力デバイス、１００ 表示制御部、１０２ 操作指示受付部、１１０ 制御部、１１２ ユーザ画像表示部、１１４ 断層画像表示部、１１６ 位置調整部、１１８ 表示領域制御部、１２０ 深度制御部、１５０ 断層画像保持部、１５２ データ保持部、１５４ 画面生成部。
【技術分野】
【０００１】
本発明は、表示制御技術に関し、とくに、対象物の断層画像の表示を制御する表示制御装置、表示制御方法、及び表示制御プログラムに関する。
【背景技術】
【０００２】
コンピュータ断層撮影などの技術が発達し、人体の内部の断層画像を精確かつ比較的安価に撮影することができるようになっている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
近年、国民の健康に対する関心が高まっており、医療従事者ではない一般のユーザであっても、人体の断層画像を容易かつ手軽に見ることが可能な技術が求められている。
【０００４】
本発明はこうした状況に鑑みてなされたものであり、その目的は、より利便性の高い表示制御技術を提供することにある。
【課題を解決するための手段】
【０００５】
本発明のある態様は、表示制御プログラムに関する。この表示制御プログラムは、コンピュータを、ユーザの画像を取得して表示装置に表示するユーザ画像表示部、所定の軸に対して垂直な複数の層における対象物の断層画像を取得し、所定の層の断層画像の一部の表示領域を前記ユーザの画像に重畳させて前記表示装置に表示する断層画像表示部、前記ユーザの画像と前記断層画像の位置関係を調整する位置調整部、入力装置を介して受け付けたユーザによる指示入力に応じて前記表示領域の位置を変更する表示領域制御部、入力装置を介して受け付けたユーザによる指示入力に応じて前記層を変更する深度制御部、として機能させる。
【０００６】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００７】
本発明によれば、より利便性の高い表示制御技術を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例にかかる画像処理システムの使用環境を示す図である。
【図２】入力デバイスの外観構成を示す図である。
【図３】入力デバイスの内部構成を示す図である。
【図４】画像処理装置の構成を示す図である。
【図５】表示制御部により表示装置に表示される画面の例を示す図である。
【図６】表示制御部の構成を示す図である。
【図７】位置調整部がユーザの画像の位置を調整する様子を説明するための図である。
【図８】位置調整部がユーザの画像の位置を調整する様子を説明するための図である。
【図９】ユーザの画像と断層画像とが重ね合わせて表示される様子を模式的に示す図である。
【図１０】画面生成部により生成された画面の例を示す図である。
【図１１】画面生成部により生成された画面の例を示す図である。
【図１２】画面生成部により生成された画面の例を示す図である。
【発明を実施するための形態】
【０００９】
実施の形態に係る表示制御装置は、人体の断層画像を取得し、ユーザが所持する入力デバイスの位置に応じて、ユーザの画像に断層画像を重畳させて表示する。表示制御装置は、現在の入力デバイスの位置に対応する一部の領域の断層画像のみを表示し、入力デバイスの上下左右の移動に応じて、断層画像を表示する領域を上下左右に移動させる。また、入力デバイスの前後の移動に応じて、複数の層の断層画像の間で表示する層を変更する。ユーザは、入力デバイスを移動させることにより、所望の位置における所望の深さの断層画像を見ることができる。
【００１０】
図１は、本発明の実施例にかかる画像処理システム１の使用環境を示す。画像処理システム１は、画像処理ソフトウェアを実行する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２と、入力デバイス２０と、入力デバイス２０を撮像する撮像装置１４を備える。
【００１１】
入力デバイス２０は、ユーザが操作指示を行うための操作入力装置であり、画像処理装置１０は、入力デバイス２０における操作指示をもとに画像処理アプリケーションを実行して、画像処理アプリケーションの処理結果を示す画像信号を生成する処理装置である。
【００１２】
入力デバイス２０は、ユーザによる操作指示を画像処理装置１０に伝送する機能をもち、本実施例では画像処理装置１０との間で無線通信可能な無線コントローラとして構成される。入力デバイス２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルを用いて無線接続を確立してもよい。なお入力デバイス２０は、無線コントローラに限らず、画像処理装置１０とケーブルを介して接続される有線コントローラであってもよい。
【００１３】
入力デバイス２０はバッテリにより駆動され、画像処理を進行させる操作指示を行うための複数のボタンを有して構成される。ユーザが入力デバイス２０のボタンを操作すると、その操作指示が無線により画像処理装置１０に送信される。画像処理装置１０は、入力デバイス２０から操作指示を受信し、操作指示に応じて画像処理を実行して、画像信号を生成する。生成された画像信号は、表示装置１２より出力される。
【００１４】
撮像装置１４は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。たとえば、撮像装置１４の撮像速度は３０枚／秒として、表示装置１２のフレームレートと一致させてもよい。撮像装置１４は、ＵＳＢ（Universal Serial Bus）あるいはその他のインタフェースを介して画像処理装置１０と接続する。
【００１５】
表示装置１２は画像を出力するディスプレイであって、画像処理装置１０において生成された画像信号を受けて、表示画面を表示する。表示装置１２は、ディスプレイおよびスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。表示装置１２は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。
【００１６】
本実施例の画像処理システム１において、入力デバイス２０は発光体を有する。画像処理中、発光体は所定色で発光し、撮像装置１４により撮像される。撮像装置１４は入力デバイス２０を撮像し、フレーム画像を生成して画像処理装置１０に供給する。画像処理装置１０はフレーム画像を取得して、フレーム画像における発光体の画像の位置および大きさから、実空間における発光体の位置情報を導出する。画像処理装置１０は、位置情報を画像処理の操作指示として取り扱い、画像処理に反映させる。本実施例の画像処理装置１０は、入力デバイス２０のボタンなどの操作入力だけでなく、取得した発光体画像の位置情報も用いて画像処理アプリケーションを実行する機能をもつ。
【００１７】
入力デバイス２０の発光体は、複数色で発光可能に構成される。発光体は、画像処理装置１０からの発光指示により、発光色を変更できる。
【００１８】
また入力デバイス２０は加速度センサおよびジャイロセンサを有する。センサの検出値は、所定周期で画像処理装置１０に送信され、画像処理装置１０は、センサの検出値を取得して、実空間における入力デバイス２０の姿勢情報を取得する。画像処理装置１０は、姿勢情報を画像処理の操作指示として取り扱い、画像処理に反映させる。このように本実施例の画像処理装置１０は、取得した入力デバイス２０の姿勢情報も用いて画像処理アプリケーションを実行する機能をもつ。
【００１９】
図２は、入力デバイス２０の外観構成を示す。図２（ａ）は、入力デバイス２０の上面構成を示し、図２（ｂ）は、入力デバイス２０の下面構成を示す。入力デバイス２０は、発光体２２およびハンドル２４を有する。発光体２２は、その外側を光透過性を有する樹脂で球体に形成され、内側に発光ダイオードや電球などの発光素子を有する。内側の発光素子が発光すると、外側の球体全体が光る。ハンドル２４の上面には、操作ボタン３０、３２、３４、３６、３８が設けられ、下面には操作ボタン４０が設けられる。ユーザはハンドル２４の端部を手で把持した状態で、操作ボタン３０、３２、３４、３６、３８を親指で操作し、操作ボタン４０を人差し指で操作する。操作ボタン３０、３２、３４、３６、３８は、押下式に構成され、ユーザは押下することで操作する。操作ボタン４０は、アナログ量を入力できるものであってよい。
【００２０】
ユーザは表示装置１２に表示される画面を見ながら画像処理のための操作指示を行う。撮像装置１４は、画像処理アプリケーションの実行中に発光体２２を撮像する必要があるため、その撮像範囲が表示装置１２と同じ方向を向くように配置されることが好ましい。一般にユーザは表示装置１２の正面に位置することが多いため、撮像装置１４は、その光軸の方向が表示装置１２の正面方向と一致するように配置される。具体的に、撮像装置１４は、表示装置１２の近傍において、表示装置１２の表示画面をユーザが視認可能な位置を撮像範囲に含むように配置されることが好ましい。これにより、撮像装置１４は、入力デバイス２０を撮像できる。
【００２１】
図３は、入力デバイス２０の内部構成を示す。入力デバイス２０は、無線通信モジュール４８、処理部５０、発光部６２および操作ボタン３０、３２、３４、３６、３８、４０を備える。無線通信モジュール４８は、画像処理装置１０の無線通信モジュールとの間でデータを送受信する機能をもつ。処理部５０は、入力デバイス２０における所期の処理を実行する。
【００２２】
処理部５０は、メイン制御部５２、入力受付部５４、３軸加速度センサ５６、３軸ジャイロセンサ５８および発光制御部６０を有する。メイン制御部５２は、無線通信モジュール４８との間で必要なデータの送受を行う。
【００２３】
入力受付部５４は、操作ボタン３０、３２、３４、３６、３８、４０からの入力情報を受け付け、メイン制御部５２に送る。３軸加速度センサ５６は、ＸＹＺの３軸方向の加速度成分を検出する。３軸ジャイロセンサ５８は、ＸＺ平面、ＺＹ平面、ＹＸ平面における角速度を検出する。なお、ここでは、入力デバイス２０の幅方向をＸ軸、高さ方向をＹ軸、長手方向をＺ軸と設定する。３軸加速度センサ５６および３軸ジャイロセンサ５８は、入力デバイス２０のハンドル２４内に配置され、ハンドル２４内の中心近傍に配置されることが好ましい。無線通信モジュール４８は、操作ボタンからの入力情報とともに、３軸加速度センサ５６による検出値情報、および３軸ジャイロセンサ５８による検出値情報を、所定の周期で画像処理装置１０の無線通信モジュールに送信する。この送信周期は、たとえば１１．２５ｍ秒に設定される。
【００２４】
発光制御部６０は、発光部６２の発光を制御する。発光部６２は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃを有し、複数色の発光を可能とする。発光制御部６０は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を調整して、発光部６２を所望の色に発光させる。
【００２５】
無線通信モジュール４８は画像処理装置１０から発光指示を受け取ると、メイン制御部５２に供給し、メイン制御部５２は、発光制御部６０に発光指示を供給する。発光制御部６０は、発光部６２が発光指示により指定された色で発光するように、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を制御する。たとえば発光制御部６０は、各ＬＥＤをＰＷＭ（パルス幅変調）制御で点灯制御してもよい。
【００２６】
図４は、画像処理装置１０の構成を示す。画像処理装置１０は、フレーム画像取得部８０、画像処理部８２、デバイス情報導出部８４、無線通信モジュール８６、入力受付部８８、出力部９０および表示制御部１００を備える。本実施例における画像処理装置１０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、画像処理装置１０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。なおハードウェアの構成上、画像処理装置１０は複数のＣＰＵを有してもよい。
【００２７】
無線通信モジュール８６は、入力デバイス２０の無線通信モジュール４８との間で無線通信を確立する。これにより入力デバイス２０は、操作ボタンの状態情報、３軸加速度センサ５６および３軸ジャイロセンサ５８の検出値情報を、画像処理装置１０に所定の周期で送信できるようになる。
【００２８】
無線通信モジュール８６は、入力デバイス２０から送信される操作ボタンの状態情報、およびセンサ検出値情報を受信し、入力受付部８８に供給する。入力受付部８８は、ボタン状態情報およびセンサ検出値情報を分離し、表示制御部１００に引き渡す。表示制御部１００は、ボタン状態情報およびセンサ検出値情報を、画像処理の操作指示として受け取る。表示制御部１００は、センサ検出値情報を、入力デバイス２０の姿勢情報として取り扱う。
【００２９】
フレーム画像取得部８０はＵＳＢインタフェースとして構成され、撮像装置１４から所定の撮像速度（たとえば３０フレーム／秒）でフレーム画像を取得する。画像処理部８２は、フレーム画像から発光体画像を抽出する。画像処理部８２は、フレーム画像中の発光体画像の位置、および大きさを特定する。入力デバイス２０の発光体２２が、たとえばユーザ環境内で使われそうにない色で点灯することで、画像処理部８２は、フレーム画像から高精度に発光体画像を抽出できる。画像処理部８２は、フレーム画像データを所定の閾値を用いて２値化処理し、２値化された画像を生成してもよい。この２値化処理により、所定の閾値より大きい輝度を保持する画素の画素値が“１”に符号化され、所定の閾値以下の輝度を保持する画素の画素値が“０”に符号化される。この所定の閾値を超える輝度で発光体２２を点灯させることで、画像処理部８２は、２値化された画像から、発光体画像の位置および大きさを特定できる。たとえば画像処理部８２は、フレーム画像における発光体画像の重心座標と、発光体画像の半径を特定する。
【００３０】
デバイス情報導出部８４は、画像処理部８２で特定された発光体画像の位置および大きさから、撮像装置１４からみた入力デバイス２０の位置情報を導出する。デバイス情報導出部８４は、発光体画像の重心座標からカメラ座標における位置座標を導出し、また発光体画像の半径から、撮像装置１４からの距離情報を導出する。この位置座標および距離情報は、入力デバイス２０の位置情報を構成する。デバイス情報導出部８４は、フレーム画像ごとに入力デバイス２０の位置情報を導出し、表示制御部１００に引き渡す。表示制御部１００は、入力デバイス２０の位置情報を、画像処理の操作指示として受け取る。
【００３１】
表示制御部１００は、入力デバイス２０の位置情報および姿勢情報と、ボタン状態情報とから、人体の断層画像を表示するアプリケーションを進行させて、アプリケーションの処理結果を示す画像信号を生成する。画像信号は出力部９０から表示装置１２に送られ、表示画像として出力される。
【００３２】
図５は、表示制御部１００により表示装置１２に表示される画面の例を示す。画面には、ユーザの画像２００と、人体の断層画像２０４の一部とが重畳表示されている。ユーザは、入力デバイス２０を上下左右に移動させることにより、断層画像２０４の一部を表示した表示領域２０２を上下左右に移動させることができる。また、入力デバイス２０を前後に移動させることにより、複数の断層画像の間で表示させる層を変更することができる。すなわち、人体の正面に近い手前側の断層画像を見たり、背面に近い奧側の断層画像を見たりすることができる。
【００３３】
図６は、表示制御部１００の構成を示す。表示制御部１００は、操作指示受付部１０２、制御部１１０、断層画像保持部１５０、データ保持部１５２、及び画面生成部１５４を備える。
【００３４】
操作指示受付部１０２は、デバイス情報導出部８４から入力デバイス２０の位置情報を、入力受付部８８から入力デバイス２０の姿勢情報およびボタン状態情報を、それぞれ操作指示として受け付ける。制御部１１０は、操作指示受付部１０２が受け付けた操作指示にもとづいてプログラムを実行し、アプリケーションを進行させる。断層画像保持部１５０は、所定の軸に対して垂直な複数の層における人体の断層画像の画像データを、表面からの深度に対応づけて保持する。データ保持部１５２は、アプリケーションの進行に必要な各種データを保持する。画面生成部１５４は、ユーザの画像と断層画像とを重ね合わせ、更に各種情報などを付加して表示画面を生成する。
【００３５】
制御部１１０は、ユーザ画像表示部１１２、断層画像表示部１１４、位置調整部１１６、表示領域制御部１１８、及び深度制御部１２０を含む。
【００３６】
ユーザ画像表示部１１２は、ユーザの画像を取得して表示装置１２に表示する。ユーザ画像表示部１１２は、撮像装置１４により撮像されてデータ保持部１５２に格納されていたユーザの静止画像をデータ保持部１５２から読み出して表示装置１２に表示してもよいし、予めデータ保持部１５２に格納されていたユーザの静止画像を読み出して表示装置１２に表示してもよい。また、後述するように、撮像装置１４により撮像されたユーザの動画像をリアルタイムに取得して表示装置１２に表示してもよい。
【００３７】
位置調整部１１６は、ユーザの画像と断層画像の位置関係を調整する。ユーザ画像表示部１１２が、撮像装置１４により撮像されたユーザの静止画像を表示する場合、位置調整部１１６は、撮像装置１４がユーザの静止画像を撮像してから断層画像表示部１１４が断層画像を表示するまでの間に、静止画像中のユーザと断層画像の被写体とが重なるようにユーザの画像と断層画像の位置関係を調整する。位置調整部１１６は、撮像装置１４によりユーザを撮像する際に、断層画像が表示される位置に合わせて、ユーザの体が入るべき枠を画面の所定位置に表示し、その枠に体が入るようにユーザに位置を調整させてからユーザを撮像してもよい。位置調整部１１６は、撮像装置１４により撮像された静止画像におけるユーザの体を、エッジ検出技術や顔認識技術などを利用して検出し、検出したユーザの体が断層画像における被写体の体と重なるように位置関係を調整してもよい。これらの場合、いったん位置関係を調整すると、以降、ユーザの画像と断層画像の位置関係を調整する必要はない。後述するように、ユーザ画像表示部１１２が、撮像装置１４により撮像されたユーザの動画像をリアルタイムに取得して表示する場合は、位置調整部１１６は、断層画像の表示中に所定のタイミングで逐次ユーザの体を検出し、ユーザの体の位置に断層画像が重なるように、位置関係を調整する。
【００３８】
図７及び図８は、位置調整部１１６がユーザの画像の位置を調整する様子を説明するための図である。位置調整部１１６は、図７に示すように、ユーザの画像を撮像装置１４により撮像する前に、ユーザの体が入るべき枠２１０を画面に表示する。ユーザは、図８に示すように、枠２１０に自分の体２１２が入るように位置を調整してから、入力デバイス２０のボタンの入力により自身の画像を撮像する。
【００３９】
表示領域制御部１１８は、入力デバイス２０を介して受け付けたユーザによる指示入力に応じて、断層画像の表示領域の位置を変更する。表示領域制御部１１８は、入力デバイス２０の位置情報をデバイス情報導出部８４から取得し、入力デバイス２０の上下左右の移動にともなって、表示領域を上下左右に移動させる。表示領域制御部１１８は、撮像装置１４により撮像された画像における入力デバイス２０の発光体２２の位置に対応する断層画像の位置に表示領域を移動させてもよい。この場合、断層画像全体の表示領域から入力デバイス２０の発光体２２が外れたときは、断層画像の端部に表示領域を設定してもよい。表示領域制御部１１８は、キャリブレーション時又はユーザの画像の撮像時の入力デバイス２０の位置を基準位置として、基準位置からの相対移動量に応じて表示領域の位置を決定してもよい。表示領域制御部１１８は、入力デバイス２０の３軸加速度センサ５６又は３軸ジャイロセンサ５８から取得したセンサ値に基づいて、入力デバイス２０の上下左右方向の位置を算出してもよい。
【００４０】
深度制御部１２０は、入力デバイス２０を介して受け付けたユーザによる指示入力に応じて、複数の層の断層画像のうち、表示装置１２に表示する層の深度を変更する。深度制御部１２０は、入力デバイス２０と撮像装置１４との間の距離情報をデバイス情報導出部８４から取得し、入力デバイス２０の前後の移動にともなって、断層画像の表示層を変更する。深度制御部１２０は、キャリブレーション時又はユーザの画像の撮像時の入力デバイス２０の位置を基準位置として、基準位置からの相対移動量に応じて表示層の深度を決定してもよい。深度制御部１２０は、入力デバイス２０の３軸加速度センサ５６又は３軸ジャイロセンサ５８から取得したセンサ値に基づいて、入力デバイス２０の前後方向の位置を算出してもよい。
【００４１】
断層画像表示部１１４は、深度制御部１２０から通知された深度に対応する層の断層画像を断層画像保持部１５０から読み出し、表示領域制御部１１８から通知された位置の表示領域を、ユーザの画像に重畳させて表示する。断層画像表示部１１４は、ユーザ画像表示部１１２により表示されるユーザの画像におけるユーザの体の形状をエッジ検出技術などにより検出し、ユーザの体の形状に合わせて、断層画像を拡大又は縮小してもよい。
【００４２】
図９は、ユーザの画像と断層画像とが重ね合わせて表示される様子を模式的に示す。図７に示すように、ユーザ画像表示部１１２により最前面に表示されるユーザの画像２２０と、断層画像表示部１１４により２層目以降に表示される複数の断層画像２２２及び２２４とが、深度制御部１２０により制御される深度に合わせてクロスフェードにより切り替えられる。
【００４３】
図１０は、画面生成部により生成された画面の例を示す。図５に示した画面から、ユーザが入力デバイス２０を上下左右方向に移動させると、表示領域制御部１１８は、表示領域２０２を上下左右に移動させる。これにより、ユーザは、所望の位置の断層画像を容易に表示させることができる。
【００４４】
図１１は、画面生成部により生成された画面の例を示す。図１０に示した画面から、ユーザが入力デバイス２０を前後方向に移動させると、深度制御部１２０は、表示させる断層画像２０４の深度を変更する。これにより、ユーザは、所望の深度の断層画像を容易に表示させることができる。
【００４５】
ユーザ画像表示部は、撮像装置１４により撮像されたユーザの静止画像に代えて、撮像装置１４により撮像されたユーザの動画像をリアルタイムに表示してもよい。この場合、位置調整部１１６は、断層画像の表示中に所定のタイミングで逐次ユーザの体を検出し、ユーザの体の位置に断層画像が重なるように、位置関係を調整する。表示領域制御部１１８は、入力デバイス２０の位置及びユーザの位置に基づいて表示領域の位置を決定してもよい。例えば、入力デバイス２０の上下左右方向の移動量からユーザの上下左右方向の移動量を減じることにより、ユーザから見た入力デバイス２０の上下左右方向の相対移動量に応じて表示領域を上下左右に移動させてもよい。また、表示画面中の入力デバイス２０の発光体２２の表示位置を表示領域の位置としてもよい。これらの場合、ユーザは、入力デバイス２０を移動させずに自らが移動するなど、入力デバイス２０と自らの相対位置を変えることによっても、表示領域を移動させることができる。深度制御部１２０は、入力デバイス２０の位置及びユーザの位置に基づいて表示する断層画像の深度を決定してもよい。例えば、入力デバイス２０の前後方向の移動量からユーザの前後方向の移動量を減じることにより、ユーザから見た入力デバイス２０の前後方向の相対移動量に応じて表示層を変更してもよい。また、ユーザが撮像装置１４に近づくと深い層を表示し、遠ざかると浅い層を表示してもよい。
【００４６】
図１２は、画面生成部により生成された画面の例を示す。撮像装置１４により撮像されたユーザの動画像を表示中に、ユーザが移動したことにより体の位置が変更された場合、位置調整部１１６は、ユーザの体の移動に合わせて断層画像２０４の位置を調整する。これにより、ユーザの体と断層画像とがずれて表示されることを防ぐことができる。図１２に示した例では、入力デバイス２０の発光体の位置に表示領域２０２が設定されている。ユーザは、入力デバイス２０を移動させることによっても、自身が移動することによっても、断層画像２０４の表示領域２０２の位置を変更することができる。
【００４７】
画像処理システム１は、ユーザの体の断層画像を撮像する断層画像撮像装置を更に備えてもよい。この場合、断層画像撮像装置により撮像されたユーザの体の断層画像が断層画像保持部に格納される。撮像装置１４及び断層画像撮像装置が、それぞれ、ユーザの静止画像及びユーザの体の断層画像を撮像するときに、所定の位置に位置合わせ用のマーカを記録してもよい。位置調整部１１６は、位置合わせ用のマーカを参照してユーザの画像と断層画像の表示位置を調整してもよい。撮像装置１４により撮像されたユーザの動画像を表示する場合も同様である。
【００４８】
画像処理システム１は、断層画像保持部に代えて、人体の内部の三次元形状データを格納した形状データ保持部を備えてもよい。形状データ保持部は、人体の内部をモデリングしたモデリングデータを保持してもよいし、コンピュータ断層撮影などにより取得された三次元ボクセルデータを保持してもよい。この場合、断層画像表示部は、三次元形状データを形状データ保持部から読み出してレンダリングすることにより、人体の断層画像を生成して表示する。深度制御部は、入力デバイス２０の前後方向の移動に応じて、レンダリングする対象となる形状データの範囲を制御する。断層画像表示部は、深度制御部から通知された深度よりも手前に存在するオブジェクトをレンダリングせず、その深度における断面をレンダリングする。
【００４９】
断層画像保持部に複数の方向の断層画像のセットが格納されている場合、断層画像表示部は、ユーザの体の方向を検出し、検出された方向に応じて、表示する断層画像のセットを決定してもよい。例えば、人体の前後方向に垂直な断面の断層画像のセットだけでなく、左右方向に垂直な断面の断層画像のセットが断層画像保持部に格納されている場合、断層画像表示部は、ユーザの体をエッジ検出技術などにより検出し、正面を向いているときの体の幅との比を算出するなどして、ユーザが所定の角度以上体を横向きに回転させたことを検出したときに、前後方向に垂直な断面の断層画像のセットから、左右方向に垂直な断面の断層画像のセットに切り替えてもよい。複数の角度の断面の断層画像のセットが断層画像保持部に格納されている場合は、ユーザの体の回転角に応じて、断層画像のセットを切り替えてもよい。断層画像表示部が、三次元形状データをレンダリングすることにより断層画像を生成して表示する場合は、ユーザの体の回転角に応じて、レンダリングする際のカメラの視点位置及び視線方向を変更してもよい。
【００５０】
断層画像表示部は、表示領域の中心付近はより深い層の断層画像を表示し、表示領域の端付近はより浅い層の断層画像を表示してもよい。また、表示領域の端付近の断層画像にぼかしなどの表示効果を加えてから表示してもよい。これにより、入力デバイス２０を内視鏡カメラのように用いて、人体の内部を覗いているような感覚をユーザに与えることができる。
【００５１】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００５２】
１０ 画像処理装置、１２ 表示装置、１４ 撮像装置、１６ スピーカ、２０ 入力デバイス、１００ 表示制御部、１０２ 操作指示受付部、１１０ 制御部、１１２ ユーザ画像表示部、１１４ 断層画像表示部、１１６ 位置調整部、１１８ 表示領域制御部、１２０ 深度制御部、１５０ 断層画像保持部、１５２ データ保持部、１５４ 画面生成部。
【特許請求の範囲】
【請求項１】
コンピュータを、
ユーザの画像を取得して表示装置に表示するユーザ画像表示部、
所定の軸に対して垂直な複数の層における対象物の断層画像を取得し、所定の層の断層画像の一部の表示領域を前記ユーザの画像に重畳させて前記表示装置に表示する断層画像表示部、
前記ユーザの画像と前記断層画像の位置関係を調整する位置調整部、
入力装置を介して受け付けたユーザによる指示入力に応じて前記表示領域の位置を変更する表示領域制御部、
入力装置を介して受け付けたユーザによる指示入力に応じて前記層を変更する深度制御部、
として機能させるための表示制御プログラム。
【請求項２】
前記ユーザ画像表示部は、撮像装置により撮像された前記ユーザの動画像をリアルタイムに取得して前記表示装置に表示し、
前記位置調整部は、前記断層画像の表示中に、前記動画像中の前記ユーザの位置を認識し、前記動画像中のユーザの位置と前記断層画像の被写体とが重なるように前記ユーザの画像と前記断層画像の位置関係を調整することを特徴とする請求項１に記載の表示制御プログラム。
【請求項３】
前記ユーザ画像表示部は、撮像装置により撮像された前記ユーザの静止画像を取得して前記表示装置に表示し、
前記位置調整部は、前記撮像装置が前記ユーザの静止画像を撮像してから前記断層画像を表示するまでの間に、前記静止画像中の前記ユーザと前記断層画像の被写体とが重なるように前記ユーザの画像と前記断層画像の位置関係を調整することを特徴とする請求項１又は２に記載の表示制御プログラム。
【請求項４】
前記断層画像表示部は、前記ユーザの断層画像を撮像する断層画像撮像装置により撮像された前記ユーザの断層画像を取得することを特徴とする請求項１から３のいずれかに記載の表示制御プログラム。
【請求項５】
前記断層画像表示部は、人体の内部の三次元形状データを記憶装置から読み出してレンダリングすることにより人体の断層画像を生成して表示することを特徴とする請求項１から３のいずれかに記載の表示制御プログラム。
【請求項６】
ユーザの画像を取得して表示装置に表示するユーザ画像表示部と、
所定の軸に対して垂直な複数の層における対象物の断層画像を取得し、所定の層の断層画像の一部の表示領域を前記ユーザの画像に重畳させて前記表示装置に表示する断層画像表示部と、
前記ユーザの画像と前記断層画像の位置関係を調整する位置調整部と、
入力装置を介して受け付けたユーザによる指示入力に応じて前記表示領域の位置を変更する表示領域制御部と、
入力装置を介して受け付けたユーザによる指示入力に応じて前記層を変更する深度制御部と、
を備えることを特徴とする表示制御装置。
【請求項７】
ユーザ画像表示部が、ユーザの画像を取得して表示装置に表示するステップと、
断層画像表示部が、所定の軸に対して垂直な複数の層における対象物の断層画像を取得し、所定の層の断層画像の一部の表示領域を前記ユーザの画像に重畳させて前記表示装置に表示するステップと、
位置調整部が、前記ユーザの画像と前記断層画像の位置関係を調整するステップと、
表示領域制御部が、入力装置を介して受け付けたユーザによる指示入力に応じて前記表示領域の位置を変更するステップと、
深度制御部が、入力装置を介して受け付けたユーザによる指示入力に応じて前記層を変更するステップと、
を備えることを特徴とする表示制御方法。
【請求項８】
請求項１から５のいずれかに記載の表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
コンピュータを、
ユーザの画像を取得して表示装置に表示するユーザ画像表示部、
所定の軸に対して垂直な複数の層における対象物の断層画像を取得し、所定の層の断層画像の一部の表示領域を前記ユーザの画像に重畳させて前記表示装置に表示する断層画像表示部、
前記ユーザの画像と前記断層画像の位置関係を調整する位置調整部、
入力装置を介して受け付けたユーザによる指示入力に応じて前記表示領域の位置を変更する表示領域制御部、
入力装置を介して受け付けたユーザによる指示入力に応じて前記層を変更する深度制御部、
として機能させるための表示制御プログラム。
【請求項２】
前記ユーザ画像表示部は、撮像装置により撮像された前記ユーザの動画像をリアルタイムに取得して前記表示装置に表示し、
前記位置調整部は、前記断層画像の表示中に、前記動画像中の前記ユーザの位置を認識し、前記動画像中のユーザの位置と前記断層画像の被写体とが重なるように前記ユーザの画像と前記断層画像の位置関係を調整することを特徴とする請求項１に記載の表示制御プログラム。
【請求項３】
前記ユーザ画像表示部は、撮像装置により撮像された前記ユーザの静止画像を取得して前記表示装置に表示し、
前記位置調整部は、前記撮像装置が前記ユーザの静止画像を撮像してから前記断層画像を表示するまでの間に、前記静止画像中の前記ユーザと前記断層画像の被写体とが重なるように前記ユーザの画像と前記断層画像の位置関係を調整することを特徴とする請求項１又は２に記載の表示制御プログラム。
【請求項４】
前記断層画像表示部は、前記ユーザの断層画像を撮像する断層画像撮像装置により撮像された前記ユーザの断層画像を取得することを特徴とする請求項１から３のいずれかに記載の表示制御プログラム。
【請求項５】
前記断層画像表示部は、人体の内部の三次元形状データを記憶装置から読み出してレンダリングすることにより人体の断層画像を生成して表示することを特徴とする請求項１から３のいずれかに記載の表示制御プログラム。
【請求項６】
ユーザの画像を取得して表示装置に表示するユーザ画像表示部と、
所定の軸に対して垂直な複数の層における対象物の断層画像を取得し、所定の層の断層画像の一部の表示領域を前記ユーザの画像に重畳させて前記表示装置に表示する断層画像表示部と、
前記ユーザの画像と前記断層画像の位置関係を調整する位置調整部と、
入力装置を介して受け付けたユーザによる指示入力に応じて前記表示領域の位置を変更する表示領域制御部と、
入力装置を介して受け付けたユーザによる指示入力に応じて前記層を変更する深度制御部と、
を備えることを特徴とする表示制御装置。
【請求項７】
ユーザ画像表示部が、ユーザの画像を取得して表示装置に表示するステップと、
断層画像表示部が、所定の軸に対して垂直な複数の層における対象物の断層画像を取得し、所定の層の断層画像の一部の表示領域を前記ユーザの画像に重畳させて前記表示装置に表示するステップと、
位置調整部が、前記ユーザの画像と前記断層画像の位置関係を調整するステップと、
表示領域制御部が、入力装置を介して受け付けたユーザによる指示入力に応じて前記表示領域の位置を変更するステップと、
深度制御部が、入力装置を介して受け付けたユーザによる指示入力に応じて前記層を変更するステップと、
を備えることを特徴とする表示制御方法。
【請求項８】
請求項１から５のいずれかに記載の表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−１８２（Ｐ２０１３−１８２Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３１５５７（Ｐ２０１１−１３１５５７）
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]