立体感提示装置および方法ならびにぼけ画像生成処理装置，方法およびプログラム
【課題】片眼でも立体感を得ることができる立体感提示装置を提供する。
【解決手段】間隔をおいて配置された２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段53と，生成された距離画像データを用いて，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段55を備える。生成されたぼけ画像データに基づいて対象の焦点ぼけ画像を表示装置に表示する。
【解決手段】間隔をおいて配置された２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段53と，生成された距離画像データを用いて，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段55を備える。生成されたぼけ画像データに基づいて対象の焦点ぼけ画像を表示装置に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は立体感提示装置および方法，ならびにぼけ画像生成処理装置，方法およびプログラムに関する。
【背景技術】
【０００２】
疾患や外傷などによって片眼の視機能が消失または著しく低下した患者は，立体視などの両眼視機能を失うため，対象物の立体感を得ることが難しい。このことは，対象物の把持や裁縫などの手元の作業を困難にし，重篤な生活の質の低下を来たす。両眼の視機能が良好な健常者は，両眼の視角差を利用して対象を立体的に把握することが可能であるが，片眼では視角差がないため，対象までの距離を知ることが難しく，立体感を得ることが困難となるのである。
【０００３】
近年，対象の立体的表示の技術が進み，その成果の一部は立体テレビなどにおいて結実している。立体テレビの多くは立体メガネの使用が必要である。立体メガネを用いないで３次元表示が可能なＤＦＤ（Depth-Fused 3-D ）方式の３次元表示装置も提案されている（たとえば，特許文献１）。
【０００４】
これは観察方向に間隔をおいて複数の表示面を配置し，各表示面上に対象物の２次元像を生成してそれらの輝度またはぼかし度合いを独立に変化させて３次元立体像を表示しようとするものである。
【０００５】
他方，画像の焦点ぼけが画像上における距離や対象物の大きさに与える影響についての研究も行なわれている（たとえば非特許文献１）。しかしながらこれは点フィルタや線フィルタを用いて画像に部分的に焦点ぼけを与えてミニチュア・スケール・モデルに見えるかどうかを確認している程度のものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２２１１２８
【非特許文献】
【０００７】
【非特許文献１】Robert T. Held, Emily A. Cooper, James F. O’Brien, and Martin S. Banks. “Using Blur to Affect Perceived Distance and Size”. ACM Transactions on Graphics, 29(2):19:1-16, March 2010.
【０００８】
しかしながら，上記の文献に記載のものは片眼で立体感を得るようにすることを目的とするものではなく，そのように工夫されたものでもない。
【発明の開示】
【０００９】
この発明は，片眼でも（当然ながら両眼でも）立体感を得ることができる立体感提示装置および方法を提供するものである。
【００１０】
この発明はまた，上記立体感提示のためのぼけ画像生成処理装置，方法およびコンピュータ・プログラムを提供するものである。
【００１１】
この発明による立体感提示装置は，間隔をおいて配置され，対象を同時に撮影してステレオ画像データを出力する左右２台のカメラ，上記２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段，上記距離画像生成手段により生成された距離画像データを用いて，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段，および上記ぼけ画像生成手段によって生成されたぼけ画像データに基づいて対象の画像を表示する表示装置を備えているものである。
【００１２】
距離に応じた焦点ぼけを与えるとは，特定の距離の位置を基準として（最も焦点ぼけの小さい位置として），その位置から離れるにしたがって（遠方に，または近い方に）ぼけの程度を大きくしていくものである。したがって，ぼけ画像データに基づいて表示装置に表示される対象の焦点ぼけ画像をみると，そのぼけの程度により遠近を認識することができる。すなわち，片眼でも立体感を得ることが可能となる。
【００１３】
好ましくは，焦点ぼけの程度および焦点ぼけの変化の程度の少なくとも一方を設定する焦点ぼけ量調整手段を備える。これにより，最も見やすい焦点ぼけの程度，変化の程度を調整することができる。
【００１４】
一実施態様では，上記距離画像データが表わす最小距離に対して最小の焦点ぼけを与え，距離の増大に伴って焦点ぼけの程度を大きくする。これにより，最も近くでは焦点ぼけが殆どなく鮮明な画像となり，遠方にいくほど焦点ぼけが大きくなって，距離が分りやすい。
【００１５】
他の実施態様では焦点ぼけが最も小さい鮮明な画像が得られる距離（これを仮想焦点距離という）を任意に設定できるようにする（仮想焦点距離設定手段を設ける）。そして，設定された仮想焦点距離に相当する距離画像データに対して最小の焦点ぼけを与え，距離画像データが表わす距離と上記仮想焦点距離との差が大きくなるほど焦点ぼけの程度を大きくする。最も鮮明に対象部分を見たい距離のところに仮想焦点距離を設定すれば，その距離の位置でのみ画像が鮮明となるから，特定の距離の位置で作業をするような場合に好適である。
【００１６】
上記の場合，ぼけ生成基準切替手段を備えると一層好ましい。この切替手段により，仮想焦点距離設定手段をイネーブルとしたときには（選択したときには），仮想焦点距離設定手段によって設定された仮想焦点距離の位置で鮮明な（焦点ぼけの最も小さい）画像が得られ，そこから遠方，近方に離れるにしたがい焦点ぼけ量が増大する。上記切替手段により仮想焦点距離設定手段をディスエーブルとしたときには（選択しないときには），他の適当な距離において（たとえば上記の最小距離において）焦点ぼけが最も小さくなるようする。
【００１７】
好ましい実施態様では，上記表示装置の表示面とは反対側の面に上記２つのカメラが設けられる。
【００１８】
上記表示装置をヘッドマウント・タイプのディスプレイ装置により実現することができる。この場合に，上記２台のカメラを上記ディスプレイ装置の外面に，それを装着したときに両眼に相当する箇所に外方を向けて設けるとよい。
【００１９】
この発明はさらに立体感提示方法を提供している。この方法は，間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し，上記距離画像生成手段により生成された距離画像データを用いて，ぼけ画像生成手段により，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成し，そして上記ぼけ画像生成手段によって生成されたぼけ画像データに基づいて対象の画像を表示装置に表示するものである。
【００２０】
この発明はさらにぼけ画像生成処理装置を提供している。この装置は，間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段，および上記距離画像生成手段により生成された距離画像データを用いて，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段を備えているものである。
【００２１】
一実施態様では，上記距離画像生成手段は，所与のステレオ画像データを縮小して縮小画像データを得，この縮小画像データに基づいて縮小距離画像データを生成し，この縮小距離画像データを拡大することにより上記距離画像データを得るものである。これにより，ぼけ画像生成処理の高速化を図ることができる。
【００２２】
この発明は，ぼけ画像生成処理方法も提供している。この方法は，間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し，そして上記距離画像生成手段により生成された距離画像データを用いて，ぼけ画像生成手段により上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するものである。
【００２３】
この発明はさらに，ぼけ画像データを生成するコンピュータ・プログラムを提供している。このプログラムは，間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し，そして上記距離画像生成手段により生成された距離画像データを用いて，ぼけ画像生成手段により上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するようにコンピュータを制御するものである。
【図面の簡単な説明】
【００２４】
【図１】一実施態様における立体感提示装置の電気的構成を示すブロック図である。
【図２】ヘッドマウント・タイプのカメラ・ディスプレイ・ユニットの概略構成を斜視的に表わす。
【図３】ヘッドマウント・タイプのカメラ・ディスプレイ・ユニットの概略構成を側面からみて表わす。
【図４】カメラ・ディスプレイ・ユニットの他の例の概略構成を示す。
【図５】画像処理装置の処理を機能的に示すブロック図である。
【図６】実際のステレオ画像（右）の一例を示す。
【図７】距離画像の一例を示す。
【図８】焦点ぼけ画像の一例を示す。
【実施例】
【００２５】
図１は一実施例における立体感提示装置の電気的構成を示している。
【００２６】
左右各一台ずつ計２台のカメラ（ステレオカメラ）21，22が設けられている。これらのカメラ21，22は，好ましくは水平方向に適当な間隔を離して，その前方に存在する共通の対象（物）を同時に撮影するように配置されている。同時に撮影するとは，後述するようにカメラから対象までの距離が測定できるように，対象が移動していないとみなすことのできる時間間隔の範囲内において両カメラ21，22が対象を撮影するものであればよい。したがって，対象が静止している場合には，カメラ21と22が対象を撮影する時間がかなり離れていても許容されうる。この場合に，１台のカメラをまずカメラ21の位置に置いて撮影し，次に同じカメラをカメラ22の位置に移動させて撮影し，２つの異なる位置で左右の画像データを得るようにすることが可能である（これも２台のカメラが設けられているということにする）。カメラ21，22は焦点距離が可変のものでも固定のものでもよい。
【００２７】
表示装置（ディスプレイ・ユニット。以下，単に「ディスプレイ」という）は符号31と32で示されるように，左右用に２台図示されているが，１台でもよい。
【００２８】
好ましくはこれらのカメラ21，22とディスプレイ31，32とは一つのユニットを構成する。これをカメラ・ディスプレイ・ユニット10という。もちろん，カメラ21，22とディスプレイ31，32とを分離して別々の場所に配置してもよい。カメラ・ディスプレイ・ユニット10は，立体感提示装置の利用態様に応じた形態で実現されるが，その具体例については後述する。カメラ・ディスプレイ・ユニット10には，後述する各種パラメータを設定または調整するためスイッチまたはダイヤル11，12，13（調整手段または設定手段）が設けられている。
【００２９】
立体感提示装置はさらに画像処理装置40を含む。画像処理装置40は一般的には端末装置またはコンピュータ・システムで実現される。画像処理の高速化のために，好ましくはＧＰＵ（Graphics Processing Unit）50が画像処理装置40に設けられる。上述のスイッチまたはダイヤル11，12，13を画像処理装置40に設けてもよい。
【００３０】
カメラ21，22が対象を撮像することにより得られる画像データは画像処理装置40に入力する。ディスプレイ31（および32）に画像を表示するための画像データは画像処理装置40から出力され，ディスプレイ31（および32）に与えられる。各種スイッチまたはダイヤル11〜13からの信号（またはデータ）は画像処理装置40に与えられる。
【００３１】
図２および図３，カメラ・ディスプレイ・ユニットをヘッドマウント・タイプ（または，めがねタイプ）の構成としたものである。このカメラ・ディスプレイ・ユニット10Ａは，装着したときに装着者の両眼の前方を覆う形状のフレーム14を有している。カメラ・ディスプレイ・ユニット10Ａの構造についての説明の便宜上，装着者を基準として，前，後方向を定める。フレーム14から後方に耳掛け部分15が延びている。フレーム14の前面には，装着者の丁度両眼に相当する位置に２台のカメラ21，22（たとえば，解像度800×600，焦点距離30cm）が前方を撮影するように取付けられている。フレーム14の内側（後面）には，装着者の丁度両眼に相当する位置に（両眼で見ることができるように），ディスプレイ31，32（たとえば，解像度800×600）が設けられている。一方の耳掛け15の外面には，ぼけ生成基準切替スイッチ11，固定焦点位置調整ダイヤル12および焦点ぼけ量の調整ダイヤル13が設けられている。フレームの内側の中央には鼻掛け（図示略）が設けられるなど，このユニット10Ａを人間の頭部に装着するのに適した構造になっているのはいうまでもない。図２〜図４において，画像処理装置40と接続するための電気信号コード（ケーブル）は図示が省略されている。
【００３２】
図４はカメラ・ディスプレイ・ユニットの他の例を示すものである。このカメラ・ディスプレイ・ユニット10Ｂでは，１つのモニタ・ディスプレイ31がサポート19により支持されている。ディスプレイ31の表示面とは反対側の面には，２つのカメラ21，22が水平方向に適当な間隔（たとえば人間の両眼の平均的な間隔）を置いて設けられている。上述したヘッドマウント・タイプのユニット10Ａのみならず，このタイプのユニット10Ｂにおいても，人間は，カメラ21，22の撮像可能範囲内に対象物Ｓを位置させ（手で持って），ディスプレイ31の表示を見ながら対象物Ｓに対して何らかの作業を行うことが可能である。
【００３３】
図５は画像処理装置による画像処理を機能ブロック図によって示すものである。この画像処理はコンピュータによって実行されるので，図５がそのプログラムを表わしているということもできる。
【００３４】
同時的に撮像した対象を表わす画像データ（Ｒ，Ｇ，Ｂデータ）が右，左のカメラ21，22から画像処理装置40に入力する（右，左の入力画像データをImgR_scr，ImgL_scrで表わす）。
【００３５】
右，左のカメラ21，22から出力される画像データは一つの対象を撮像することにより得られるものであるから，これらの画像データによって表わされる右，左の画像には互いに対応する点が存在する。これらの対応点を利用した三角計測法に基づいて，後述するように，カメラ21，22（カメラ21，22が位置する平面）から対象までの距離（２台のカメラのレンズ中心を結ぶ直線と対象（の各点）との距離）が算出される（距離画像の生成）。この距離算出のために対応点の検索を容易にするために，入力する画像データに対してステレオ平行化（エピポーラ線の水平化）処理を実行する（ステレオ平行化処理後の右，左の画像データをImgR_u3，ImgL_u3で表わす）（ブロック（手段）41，42（またはステップ41，42））。ステレオ平行化自体は既知の技術であり，画像の回転，並進等により実行される。
【００３６】
次に，ステレオ平行化処理後の画像データをグレースケール化する（グレースケール化後の右，左の画像データをそれぞれImgR_u1，ImgL_u1で表わす）（ブロック（手段）またはステップ43，44）。グレースケール化はＲ，Ｇ，Ｂ画像データから輝度データを算出することによって行ってもよいし，輝度に近いＧデータをそのまま用いてもよい。
【００３７】
ＧＰＵ50によって処理できるように，グレースケール化された画像データを浮動小数点画像データ（これをImgR_f1，ImgL_f1で表わす）に変換する（ブロック（手段）またはステップ45，46）。ステレオ平行化処理後の右の画像データについては４チャンネル浮動小数点画像データ（Ｒ，Ｇ，Ｂ，Α（アルファ））（これをImgR_f4 で表わす）に変換する（ブロック（手段）またはステップ47）。右の画像データに代えて左の画像データを用いてもよい。
【００３８】
ＧＰＵ50における処理の高速化のために，グレースケールの浮動小数点画像データを間引き，平均化等の手法により縮小する（右，左の生成された縮小画像データをそれぞれImgR_f1_s，ImgL_f1_sで表わす）（ブロック（手段）またはステップ51，52）。たとえば，カメラ21，22から出力される解像度800×600の画像データを１／４（400×300）に縮小する。640×480画素の場合には，たとえば320×240の画素に縮小する。
【００３９】
これらの右，左の縮小画像データを用いて三角計測法の原理により，対象を構成する各点について距離を求め，この距離データにより構成される距離画像データを生成する（ブロック（手段）またはステップ53）（距離画像データをDiff_f1_s で表わす）。この後，縮小距離画像データを補間，その他の方法により元のサイズに拡大する（ブロック（手段）またはステップ54）（拡大された距離画像データをDiff_f1で表わす）。
【００４０】
右の浮動小数点画像データに対して，上のようにして算出された距離画像データを用いて焦点ぼけの処理を実行し，焦点ぼけ画像を生成する（ブロック（手段）またはステップ55）（得られた焦点ぼけ画像データをImgR_f4_blurで表わす）。
【００４１】
焦点ぼけ画像生成処理の一例を以下に示す。
【００４２】
まず，ぼけ量を決定する変数（パラメータ）σを下式(1) により調整する（σはＺの関数）。
【００４３】
【数１】
ここでＺは，物体までの距離（mm），
（距離画像データDiff_f1によって与えられる）
Ｆは，仮想焦点距離（mm）（カメラの焦点距離とは無関係），
α，β，γは，ぼけの変化の程度を決定する係数，
δは，変数σを０にしないための微小な定数（Ｚ＝Ｆのときに，δ＝０ならば σ＝０となってしまう）である。
一例としては，α＝7.5，β＝0.8，γ＝1.0，δ＝0.01である。
【００４４】
画像上のある位置ｘのぼけ画像データＩσ(x)（上記のImgR_f4_blur）は次の式(2)にしたがって算出される。ただし，ｘは座標位置を表わす２次元ベクトルであり，Ｉσ(x) は上記σを用いて得られる位置ｘにおける４チャンネル画像データである。
【００４５】
【数２】
ここで，Ｉ(xp)は位置xpでの画素値，
ｄ(x,xp)はxとxpとのユークリッド距離，
Ｎ(x)はxの近傍の画素の集合を表わす（たとえば，着目点xから距離20画素 以内の画素の集合）。
【００４６】
式(2) から分るように，変数σは正規分布の分散を模したものといえるから，焦点ぼけ画像のぼけの変化の度合（滑らかさ）を表わしている。
【００４７】
式(1) において，α，γはσのリニアな変化の度合いを示し，βは指数関数的な（急激な）変化の度合いを示している。
【００４８】
焦点ぼけ量の調整ダイヤル13は，上記の係数α，βの値を調整するものである（γ，δを固定）。γ，δを調整するダイヤルを設けてもよい。
【００４９】
式(1)からＺ＝Ｆの位置において変数σが最小となり，式(2)から焦点ぼけ量が最小となることが分る。そして，仮想焦点距離Ｆの位置から離れるにしたがって焦点ぼけの程度が大きくなる。仮想焦点位置調整ダイヤル12はこの仮想焦点距離Ｆを調整する（変える）ものである。すなわち，操作者はダイヤル12によってぼけを最小とする距離（画像を鮮明にする位置）を任意に設定することができる。
【００５０】
ぼけ生成基準切替スイッチ11は，仮想焦点位置調整ダイヤル12によって調整された仮想焦点距離を用いるのか（固定），対象のカメラに最も近い部分に仮想焦点距離を設定するのか（最近傍）（Ｆ＝minＺ ）を選択するものである。仮想焦点距離を最近傍に設定すると，最も手前の画像が鮮明になり，遠ざかるにしたがって焦点ぼけの程度が強くなっていく焦点ぼけ画像がえられる。もっとも，カメラ21，22から出力される原画像は全体にわたってほぼ鮮明であることが前提である。
【００５１】
上記の焦点ぼけ画像生成処理は４チャネル（Ｒ，Ｇ，Ｂ，Α）のすべての画像データについて行なわれる。
【００５２】
生成された焦点ぼけ画像データは最終的に，表示のために４チャネル８ビット画像データに変換され（ImgR_u4 ），ディスプレイ31，32に与えられる。ディスプレイ31，32には生成された焦点ぼけ画像が表示される。片眼の利用者の場合には，ディスプレイ31，32のうちのいずれか一方に表示すれば足りる。図４に示すカメラ・ディスプレイ・ユニット10Ｂにおいては１つのディスプレイ31上に焦点ぼけ画像が表示される。
【００５３】
図６，図７，図８は実際に得られた画像例を示している。図６，図８はカラー画像であるが，図面上ではグレー画像となっている。
【００５４】
図６は右のカメラ21から得られた画像データImgR_scrにより表わされる原画像，図７は図６に示す画像を含む左右の原画像データに基づいて作成された距離画像（データDiff_f1 により表わされる），図８は生成された焦点ぼけ画像（ImgR_u4 により表わされる）をそれぞれ表わしている。図８において，仮想焦点距離は対象のほぼ中心（縦方向の中央）付近に設定されているので，その前後において焦点ぼけが生じ，中央から手前に近づくにつれて，および中央から遠ざかるにつれて焦点ぼけの程度が大きくなっていることが分る。このようにして，焦点ぼけ画像を見ることにより，対象の各部分の遠近が理解できる（画像の三次元表示）。したがって，片眼であっても立体感をもって対象を視認することが可能となる。
【００５５】
図６から図８の画像は640×480のステレオ画像から生成したものであり，用いたＣＰＵはIntel Core2Quad 2.83GHz，ＣＰＵはNVidia GeForce GTS 250 搭載モデルである。上記ステレオ画像からぼけ画像を生成するために要した時間は，１フレームあたり平均122.6ms （標準偏差1.75ms）であった。
【００５６】
疾患や外傷などによって片眼の視機能が消失または著しく低下した患者は，立体視などの両眼視機能を失うため，標的物の立体感を得ることができない。片眼では視角差がないため，標的物までの距離を知ることはできず，立体感を得ることができない。この発明は，上述したように片眼が失明した患者に対して立体感を提示する装置を実現する。この装置は，手元の作業が必要となるときに利用することができる。たとえば，手元の細かい作業をする仕事にある人が疾患や外傷によって片眼の視機能が失われたような場合には，この装置を作業補助器具として用いることで社会復帰できることが期待できる。これは老眼を持つ者が手元の作業に老眼鏡を使うのと似ている。病院やリハビリセンターなどでは，両眼への復帰過程患者へのリハビリ補助器具などへ利用可能である。
【００５７】
立体表示技術としては，両眼が使えれば３Ｄ（３次元）ディスプレイとして近年確立されてきているものの，片眼が不自由な方についてはこれらの３Ｄディスプレイは適用できないので，この発明による装置が大変有望な技術となる。
【００５８】
この発明のさらなる応用例として，３Ｄ動画の２Ｄ化（２次元化）がある。３Ｄ動画は，両眼への動画を独立に保存されており，ゴーグルなどを通してそれぞれの眼に対する動画を再生することで，立体情報提供を可能にするものである。３Ｄディスプレイが一般的となり，民生用にも３Ｄ動画が提供されるようになってきた。しかし，現存するディスプレイの多くでは２Ｄ動画しか表示できず，３Ｄ動画を２Ｄ動画として再生する要求はこれからもなくなることはないと考える。この発明を適用することにより，３Ｄ動画から立体感を持ち合わせた２Ｄ動画を生成することができる。
【００５９】
この発明は，２チャンネルの両眼画像を１チャンネルに変換する技術であると捉えることもできる。立体情報を１枚の画像で表現することで，立体感を保ったまま，映像の遠隔転送のときのデータ転送量が半分になる。このことは，帯域が小さいネットワークを利用するときや，解像度の大きな画像を転送するときに優位となる。また，物体ごとの距離を表現する情報可視化の効果も得られる。すなわち，立体情報の説明のためにこの画像を提示することで，読者にわかりやすい資料となる。
【００６０】
また，電子顕微鏡や天体望遠鏡などを通して見る世界は，通常，人間の眼では立体感を感じることができないが，この発明により提供される技術は距離データから立体感を表現するものであるので，このような世界に立体感を付加して提示することを可能とする。本発明はこのように両眼が正常な者に対する各種の応用も可能である。
【符号の説明】
【００６１】
10，10Ａ，10Ｂ カメラ・ディスプレイ・ユニット
11 ぼけ生成基準切替スイッチ
12 仮想焦点位置調整ダイヤル
13 焦点ぼけ量調整ダイヤル
21，22 カメラ（ステレオカメラ）
31，32 ディスプレイ
40 画像処理装置
50 ＧＰＵ
51，52 縮小画像生成処理（手段）
53 距離画像生成処理（手段）
54 画像拡大処理（手段）
55 焦点ぼけ画像生成処理（手段）
【技術分野】
【０００１】
この発明は立体感提示装置および方法，ならびにぼけ画像生成処理装置，方法およびプログラムに関する。
【背景技術】
【０００２】
疾患や外傷などによって片眼の視機能が消失または著しく低下した患者は，立体視などの両眼視機能を失うため，対象物の立体感を得ることが難しい。このことは，対象物の把持や裁縫などの手元の作業を困難にし，重篤な生活の質の低下を来たす。両眼の視機能が良好な健常者は，両眼の視角差を利用して対象を立体的に把握することが可能であるが，片眼では視角差がないため，対象までの距離を知ることが難しく，立体感を得ることが困難となるのである。
【０００３】
近年，対象の立体的表示の技術が進み，その成果の一部は立体テレビなどにおいて結実している。立体テレビの多くは立体メガネの使用が必要である。立体メガネを用いないで３次元表示が可能なＤＦＤ（Depth-Fused 3-D ）方式の３次元表示装置も提案されている（たとえば，特許文献１）。
【０００４】
これは観察方向に間隔をおいて複数の表示面を配置し，各表示面上に対象物の２次元像を生成してそれらの輝度またはぼかし度合いを独立に変化させて３次元立体像を表示しようとするものである。
【０００５】
他方，画像の焦点ぼけが画像上における距離や対象物の大きさに与える影響についての研究も行なわれている（たとえば非特許文献１）。しかしながらこれは点フィルタや線フィルタを用いて画像に部分的に焦点ぼけを与えてミニチュア・スケール・モデルに見えるかどうかを確認している程度のものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２２１１２８
【非特許文献】
【０００７】
【非特許文献１】Robert T. Held, Emily A. Cooper, James F. O’Brien, and Martin S. Banks. “Using Blur to Affect Perceived Distance and Size”. ACM Transactions on Graphics, 29(2):19:1-16, March 2010.
【０００８】
しかしながら，上記の文献に記載のものは片眼で立体感を得るようにすることを目的とするものではなく，そのように工夫されたものでもない。
【発明の開示】
【０００９】
この発明は，片眼でも（当然ながら両眼でも）立体感を得ることができる立体感提示装置および方法を提供するものである。
【００１０】
この発明はまた，上記立体感提示のためのぼけ画像生成処理装置，方法およびコンピュータ・プログラムを提供するものである。
【００１１】
この発明による立体感提示装置は，間隔をおいて配置され，対象を同時に撮影してステレオ画像データを出力する左右２台のカメラ，上記２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段，上記距離画像生成手段により生成された距離画像データを用いて，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段，および上記ぼけ画像生成手段によって生成されたぼけ画像データに基づいて対象の画像を表示する表示装置を備えているものである。
【００１２】
距離に応じた焦点ぼけを与えるとは，特定の距離の位置を基準として（最も焦点ぼけの小さい位置として），その位置から離れるにしたがって（遠方に，または近い方に）ぼけの程度を大きくしていくものである。したがって，ぼけ画像データに基づいて表示装置に表示される対象の焦点ぼけ画像をみると，そのぼけの程度により遠近を認識することができる。すなわち，片眼でも立体感を得ることが可能となる。
【００１３】
好ましくは，焦点ぼけの程度および焦点ぼけの変化の程度の少なくとも一方を設定する焦点ぼけ量調整手段を備える。これにより，最も見やすい焦点ぼけの程度，変化の程度を調整することができる。
【００１４】
一実施態様では，上記距離画像データが表わす最小距離に対して最小の焦点ぼけを与え，距離の増大に伴って焦点ぼけの程度を大きくする。これにより，最も近くでは焦点ぼけが殆どなく鮮明な画像となり，遠方にいくほど焦点ぼけが大きくなって，距離が分りやすい。
【００１５】
他の実施態様では焦点ぼけが最も小さい鮮明な画像が得られる距離（これを仮想焦点距離という）を任意に設定できるようにする（仮想焦点距離設定手段を設ける）。そして，設定された仮想焦点距離に相当する距離画像データに対して最小の焦点ぼけを与え，距離画像データが表わす距離と上記仮想焦点距離との差が大きくなるほど焦点ぼけの程度を大きくする。最も鮮明に対象部分を見たい距離のところに仮想焦点距離を設定すれば，その距離の位置でのみ画像が鮮明となるから，特定の距離の位置で作業をするような場合に好適である。
【００１６】
上記の場合，ぼけ生成基準切替手段を備えると一層好ましい。この切替手段により，仮想焦点距離設定手段をイネーブルとしたときには（選択したときには），仮想焦点距離設定手段によって設定された仮想焦点距離の位置で鮮明な（焦点ぼけの最も小さい）画像が得られ，そこから遠方，近方に離れるにしたがい焦点ぼけ量が増大する。上記切替手段により仮想焦点距離設定手段をディスエーブルとしたときには（選択しないときには），他の適当な距離において（たとえば上記の最小距離において）焦点ぼけが最も小さくなるようする。
【００１７】
好ましい実施態様では，上記表示装置の表示面とは反対側の面に上記２つのカメラが設けられる。
【００１８】
上記表示装置をヘッドマウント・タイプのディスプレイ装置により実現することができる。この場合に，上記２台のカメラを上記ディスプレイ装置の外面に，それを装着したときに両眼に相当する箇所に外方を向けて設けるとよい。
【００１９】
この発明はさらに立体感提示方法を提供している。この方法は，間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し，上記距離画像生成手段により生成された距離画像データを用いて，ぼけ画像生成手段により，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成し，そして上記ぼけ画像生成手段によって生成されたぼけ画像データに基づいて対象の画像を表示装置に表示するものである。
【００２０】
この発明はさらにぼけ画像生成処理装置を提供している。この装置は，間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段，および上記距離画像生成手段により生成された距離画像データを用いて，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段を備えているものである。
【００２１】
一実施態様では，上記距離画像生成手段は，所与のステレオ画像データを縮小して縮小画像データを得，この縮小画像データに基づいて縮小距離画像データを生成し，この縮小距離画像データを拡大することにより上記距離画像データを得るものである。これにより，ぼけ画像生成処理の高速化を図ることができる。
【００２２】
この発明は，ぼけ画像生成処理方法も提供している。この方法は，間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し，そして上記距離画像生成手段により生成された距離画像データを用いて，ぼけ画像生成手段により上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するものである。
【００２３】
この発明はさらに，ぼけ画像データを生成するコンピュータ・プログラムを提供している。このプログラムは，間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し，そして上記距離画像生成手段により生成された距離画像データを用いて，ぼけ画像生成手段により上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するようにコンピュータを制御するものである。
【図面の簡単な説明】
【００２４】
【図１】一実施態様における立体感提示装置の電気的構成を示すブロック図である。
【図２】ヘッドマウント・タイプのカメラ・ディスプレイ・ユニットの概略構成を斜視的に表わす。
【図３】ヘッドマウント・タイプのカメラ・ディスプレイ・ユニットの概略構成を側面からみて表わす。
【図４】カメラ・ディスプレイ・ユニットの他の例の概略構成を示す。
【図５】画像処理装置の処理を機能的に示すブロック図である。
【図６】実際のステレオ画像（右）の一例を示す。
【図７】距離画像の一例を示す。
【図８】焦点ぼけ画像の一例を示す。
【実施例】
【００２５】
図１は一実施例における立体感提示装置の電気的構成を示している。
【００２６】
左右各一台ずつ計２台のカメラ（ステレオカメラ）21，22が設けられている。これらのカメラ21，22は，好ましくは水平方向に適当な間隔を離して，その前方に存在する共通の対象（物）を同時に撮影するように配置されている。同時に撮影するとは，後述するようにカメラから対象までの距離が測定できるように，対象が移動していないとみなすことのできる時間間隔の範囲内において両カメラ21，22が対象を撮影するものであればよい。したがって，対象が静止している場合には，カメラ21と22が対象を撮影する時間がかなり離れていても許容されうる。この場合に，１台のカメラをまずカメラ21の位置に置いて撮影し，次に同じカメラをカメラ22の位置に移動させて撮影し，２つの異なる位置で左右の画像データを得るようにすることが可能である（これも２台のカメラが設けられているということにする）。カメラ21，22は焦点距離が可変のものでも固定のものでもよい。
【００２７】
表示装置（ディスプレイ・ユニット。以下，単に「ディスプレイ」という）は符号31と32で示されるように，左右用に２台図示されているが，１台でもよい。
【００２８】
好ましくはこれらのカメラ21，22とディスプレイ31，32とは一つのユニットを構成する。これをカメラ・ディスプレイ・ユニット10という。もちろん，カメラ21，22とディスプレイ31，32とを分離して別々の場所に配置してもよい。カメラ・ディスプレイ・ユニット10は，立体感提示装置の利用態様に応じた形態で実現されるが，その具体例については後述する。カメラ・ディスプレイ・ユニット10には，後述する各種パラメータを設定または調整するためスイッチまたはダイヤル11，12，13（調整手段または設定手段）が設けられている。
【００２９】
立体感提示装置はさらに画像処理装置40を含む。画像処理装置40は一般的には端末装置またはコンピュータ・システムで実現される。画像処理の高速化のために，好ましくはＧＰＵ（Graphics Processing Unit）50が画像処理装置40に設けられる。上述のスイッチまたはダイヤル11，12，13を画像処理装置40に設けてもよい。
【００３０】
カメラ21，22が対象を撮像することにより得られる画像データは画像処理装置40に入力する。ディスプレイ31（および32）に画像を表示するための画像データは画像処理装置40から出力され，ディスプレイ31（および32）に与えられる。各種スイッチまたはダイヤル11〜13からの信号（またはデータ）は画像処理装置40に与えられる。
【００３１】
図２および図３，カメラ・ディスプレイ・ユニットをヘッドマウント・タイプ（または，めがねタイプ）の構成としたものである。このカメラ・ディスプレイ・ユニット10Ａは，装着したときに装着者の両眼の前方を覆う形状のフレーム14を有している。カメラ・ディスプレイ・ユニット10Ａの構造についての説明の便宜上，装着者を基準として，前，後方向を定める。フレーム14から後方に耳掛け部分15が延びている。フレーム14の前面には，装着者の丁度両眼に相当する位置に２台のカメラ21，22（たとえば，解像度800×600，焦点距離30cm）が前方を撮影するように取付けられている。フレーム14の内側（後面）には，装着者の丁度両眼に相当する位置に（両眼で見ることができるように），ディスプレイ31，32（たとえば，解像度800×600）が設けられている。一方の耳掛け15の外面には，ぼけ生成基準切替スイッチ11，固定焦点位置調整ダイヤル12および焦点ぼけ量の調整ダイヤル13が設けられている。フレームの内側の中央には鼻掛け（図示略）が設けられるなど，このユニット10Ａを人間の頭部に装着するのに適した構造になっているのはいうまでもない。図２〜図４において，画像処理装置40と接続するための電気信号コード（ケーブル）は図示が省略されている。
【００３２】
図４はカメラ・ディスプレイ・ユニットの他の例を示すものである。このカメラ・ディスプレイ・ユニット10Ｂでは，１つのモニタ・ディスプレイ31がサポート19により支持されている。ディスプレイ31の表示面とは反対側の面には，２つのカメラ21，22が水平方向に適当な間隔（たとえば人間の両眼の平均的な間隔）を置いて設けられている。上述したヘッドマウント・タイプのユニット10Ａのみならず，このタイプのユニット10Ｂにおいても，人間は，カメラ21，22の撮像可能範囲内に対象物Ｓを位置させ（手で持って），ディスプレイ31の表示を見ながら対象物Ｓに対して何らかの作業を行うことが可能である。
【００３３】
図５は画像処理装置による画像処理を機能ブロック図によって示すものである。この画像処理はコンピュータによって実行されるので，図５がそのプログラムを表わしているということもできる。
【００３４】
同時的に撮像した対象を表わす画像データ（Ｒ，Ｇ，Ｂデータ）が右，左のカメラ21，22から画像処理装置40に入力する（右，左の入力画像データをImgR_scr，ImgL_scrで表わす）。
【００３５】
右，左のカメラ21，22から出力される画像データは一つの対象を撮像することにより得られるものであるから，これらの画像データによって表わされる右，左の画像には互いに対応する点が存在する。これらの対応点を利用した三角計測法に基づいて，後述するように，カメラ21，22（カメラ21，22が位置する平面）から対象までの距離（２台のカメラのレンズ中心を結ぶ直線と対象（の各点）との距離）が算出される（距離画像の生成）。この距離算出のために対応点の検索を容易にするために，入力する画像データに対してステレオ平行化（エピポーラ線の水平化）処理を実行する（ステレオ平行化処理後の右，左の画像データをImgR_u3，ImgL_u3で表わす）（ブロック（手段）41，42（またはステップ41，42））。ステレオ平行化自体は既知の技術であり，画像の回転，並進等により実行される。
【００３６】
次に，ステレオ平行化処理後の画像データをグレースケール化する（グレースケール化後の右，左の画像データをそれぞれImgR_u1，ImgL_u1で表わす）（ブロック（手段）またはステップ43，44）。グレースケール化はＲ，Ｇ，Ｂ画像データから輝度データを算出することによって行ってもよいし，輝度に近いＧデータをそのまま用いてもよい。
【００３７】
ＧＰＵ50によって処理できるように，グレースケール化された画像データを浮動小数点画像データ（これをImgR_f1，ImgL_f1で表わす）に変換する（ブロック（手段）またはステップ45，46）。ステレオ平行化処理後の右の画像データについては４チャンネル浮動小数点画像データ（Ｒ，Ｇ，Ｂ，Α（アルファ））（これをImgR_f4 で表わす）に変換する（ブロック（手段）またはステップ47）。右の画像データに代えて左の画像データを用いてもよい。
【００３８】
ＧＰＵ50における処理の高速化のために，グレースケールの浮動小数点画像データを間引き，平均化等の手法により縮小する（右，左の生成された縮小画像データをそれぞれImgR_f1_s，ImgL_f1_sで表わす）（ブロック（手段）またはステップ51，52）。たとえば，カメラ21，22から出力される解像度800×600の画像データを１／４（400×300）に縮小する。640×480画素の場合には，たとえば320×240の画素に縮小する。
【００３９】
これらの右，左の縮小画像データを用いて三角計測法の原理により，対象を構成する各点について距離を求め，この距離データにより構成される距離画像データを生成する（ブロック（手段）またはステップ53）（距離画像データをDiff_f1_s で表わす）。この後，縮小距離画像データを補間，その他の方法により元のサイズに拡大する（ブロック（手段）またはステップ54）（拡大された距離画像データをDiff_f1で表わす）。
【００４０】
右の浮動小数点画像データに対して，上のようにして算出された距離画像データを用いて焦点ぼけの処理を実行し，焦点ぼけ画像を生成する（ブロック（手段）またはステップ55）（得られた焦点ぼけ画像データをImgR_f4_blurで表わす）。
【００４１】
焦点ぼけ画像生成処理の一例を以下に示す。
【００４２】
まず，ぼけ量を決定する変数（パラメータ）σを下式(1) により調整する（σはＺの関数）。
【００４３】
【数１】
ここでＺは，物体までの距離（mm），
（距離画像データDiff_f1によって与えられる）
Ｆは，仮想焦点距離（mm）（カメラの焦点距離とは無関係），
α，β，γは，ぼけの変化の程度を決定する係数，
δは，変数σを０にしないための微小な定数（Ｚ＝Ｆのときに，δ＝０ならば σ＝０となってしまう）である。
一例としては，α＝7.5，β＝0.8，γ＝1.0，δ＝0.01である。
【００４４】
画像上のある位置ｘのぼけ画像データＩσ(x)（上記のImgR_f4_blur）は次の式(2)にしたがって算出される。ただし，ｘは座標位置を表わす２次元ベクトルであり，Ｉσ(x) は上記σを用いて得られる位置ｘにおける４チャンネル画像データである。
【００４５】
【数２】
ここで，Ｉ(xp)は位置xpでの画素値，
ｄ(x,xp)はxとxpとのユークリッド距離，
Ｎ(x)はxの近傍の画素の集合を表わす（たとえば，着目点xから距離20画素 以内の画素の集合）。
【００４６】
式(2) から分るように，変数σは正規分布の分散を模したものといえるから，焦点ぼけ画像のぼけの変化の度合（滑らかさ）を表わしている。
【００４７】
式(1) において，α，γはσのリニアな変化の度合いを示し，βは指数関数的な（急激な）変化の度合いを示している。
【００４８】
焦点ぼけ量の調整ダイヤル13は，上記の係数α，βの値を調整するものである（γ，δを固定）。γ，δを調整するダイヤルを設けてもよい。
【００４９】
式(1)からＺ＝Ｆの位置において変数σが最小となり，式(2)から焦点ぼけ量が最小となることが分る。そして，仮想焦点距離Ｆの位置から離れるにしたがって焦点ぼけの程度が大きくなる。仮想焦点位置調整ダイヤル12はこの仮想焦点距離Ｆを調整する（変える）ものである。すなわち，操作者はダイヤル12によってぼけを最小とする距離（画像を鮮明にする位置）を任意に設定することができる。
【００５０】
ぼけ生成基準切替スイッチ11は，仮想焦点位置調整ダイヤル12によって調整された仮想焦点距離を用いるのか（固定），対象のカメラに最も近い部分に仮想焦点距離を設定するのか（最近傍）（Ｆ＝minＺ ）を選択するものである。仮想焦点距離を最近傍に設定すると，最も手前の画像が鮮明になり，遠ざかるにしたがって焦点ぼけの程度が強くなっていく焦点ぼけ画像がえられる。もっとも，カメラ21，22から出力される原画像は全体にわたってほぼ鮮明であることが前提である。
【００５１】
上記の焦点ぼけ画像生成処理は４チャネル（Ｒ，Ｇ，Ｂ，Α）のすべての画像データについて行なわれる。
【００５２】
生成された焦点ぼけ画像データは最終的に，表示のために４チャネル８ビット画像データに変換され（ImgR_u4 ），ディスプレイ31，32に与えられる。ディスプレイ31，32には生成された焦点ぼけ画像が表示される。片眼の利用者の場合には，ディスプレイ31，32のうちのいずれか一方に表示すれば足りる。図４に示すカメラ・ディスプレイ・ユニット10Ｂにおいては１つのディスプレイ31上に焦点ぼけ画像が表示される。
【００５３】
図６，図７，図８は実際に得られた画像例を示している。図６，図８はカラー画像であるが，図面上ではグレー画像となっている。
【００５４】
図６は右のカメラ21から得られた画像データImgR_scrにより表わされる原画像，図７は図６に示す画像を含む左右の原画像データに基づいて作成された距離画像（データDiff_f1 により表わされる），図８は生成された焦点ぼけ画像（ImgR_u4 により表わされる）をそれぞれ表わしている。図８において，仮想焦点距離は対象のほぼ中心（縦方向の中央）付近に設定されているので，その前後において焦点ぼけが生じ，中央から手前に近づくにつれて，および中央から遠ざかるにつれて焦点ぼけの程度が大きくなっていることが分る。このようにして，焦点ぼけ画像を見ることにより，対象の各部分の遠近が理解できる（画像の三次元表示）。したがって，片眼であっても立体感をもって対象を視認することが可能となる。
【００５５】
図６から図８の画像は640×480のステレオ画像から生成したものであり，用いたＣＰＵはIntel Core2Quad 2.83GHz，ＣＰＵはNVidia GeForce GTS 250 搭載モデルである。上記ステレオ画像からぼけ画像を生成するために要した時間は，１フレームあたり平均122.6ms （標準偏差1.75ms）であった。
【００５６】
疾患や外傷などによって片眼の視機能が消失または著しく低下した患者は，立体視などの両眼視機能を失うため，標的物の立体感を得ることができない。片眼では視角差がないため，標的物までの距離を知ることはできず，立体感を得ることができない。この発明は，上述したように片眼が失明した患者に対して立体感を提示する装置を実現する。この装置は，手元の作業が必要となるときに利用することができる。たとえば，手元の細かい作業をする仕事にある人が疾患や外傷によって片眼の視機能が失われたような場合には，この装置を作業補助器具として用いることで社会復帰できることが期待できる。これは老眼を持つ者が手元の作業に老眼鏡を使うのと似ている。病院やリハビリセンターなどでは，両眼への復帰過程患者へのリハビリ補助器具などへ利用可能である。
【００５７】
立体表示技術としては，両眼が使えれば３Ｄ（３次元）ディスプレイとして近年確立されてきているものの，片眼が不自由な方についてはこれらの３Ｄディスプレイは適用できないので，この発明による装置が大変有望な技術となる。
【００５８】
この発明のさらなる応用例として，３Ｄ動画の２Ｄ化（２次元化）がある。３Ｄ動画は，両眼への動画を独立に保存されており，ゴーグルなどを通してそれぞれの眼に対する動画を再生することで，立体情報提供を可能にするものである。３Ｄディスプレイが一般的となり，民生用にも３Ｄ動画が提供されるようになってきた。しかし，現存するディスプレイの多くでは２Ｄ動画しか表示できず，３Ｄ動画を２Ｄ動画として再生する要求はこれからもなくなることはないと考える。この発明を適用することにより，３Ｄ動画から立体感を持ち合わせた２Ｄ動画を生成することができる。
【００５９】
この発明は，２チャンネルの両眼画像を１チャンネルに変換する技術であると捉えることもできる。立体情報を１枚の画像で表現することで，立体感を保ったまま，映像の遠隔転送のときのデータ転送量が半分になる。このことは，帯域が小さいネットワークを利用するときや，解像度の大きな画像を転送するときに優位となる。また，物体ごとの距離を表現する情報可視化の効果も得られる。すなわち，立体情報の説明のためにこの画像を提示することで，読者にわかりやすい資料となる。
【００６０】
また，電子顕微鏡や天体望遠鏡などを通して見る世界は，通常，人間の眼では立体感を感じることができないが，この発明により提供される技術は距離データから立体感を表現するものであるので，このような世界に立体感を付加して提示することを可能とする。本発明はこのように両眼が正常な者に対する各種の応用も可能である。
【符号の説明】
【００６１】
10，10Ａ，10Ｂ カメラ・ディスプレイ・ユニット
11 ぼけ生成基準切替スイッチ
12 仮想焦点位置調整ダイヤル
13 焦点ぼけ量調整ダイヤル
21，22 カメラ（ステレオカメラ）
31，32 ディスプレイ
40 画像処理装置
50 ＧＰＵ
51，52 縮小画像生成処理（手段）
53 距離画像生成処理（手段）
54 画像拡大処理（手段）
55 焦点ぼけ画像生成処理（手段）
【特許請求の範囲】
【請求項１】
間隔をおいて配置され，対象を同時に撮影してステレオ画像データを出力する左右２台のカメラ，
上記２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段，
上記距離画像生成手段により生成された距離画像データを用いて，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段，および
上記ぼけ画像生成手段によって生成されたぼけ画像データに基づいて対象の画像を表示する表示装置，
を備えた立体感提示装置。
【請求項２】
焦点ぼけの程度および焦点ぼけの変化の程度の少なくとも一方を設定する焦点ぼけ量調整手段を備える，請求項１に記載の立体感提示装置。
【請求項３】
上記ぼけ画像生成手段は，上記距離画像データが表わす最小距離に対して最小の焦点ぼけを与え，距離の増大に伴って焦点ぼけの程度を大きくするものである，請求項１に記載の立体感提示装置。
【請求項４】
上記ぼけ画像生成手段は，設定された仮想焦点距離に相当する距離画像データに対して最小の焦点ぼけを与え，距離画像データが表わす距離と上記仮想焦点距離との差が大きくなるほど焦点ぼけの程度を大きくするものである，請求項１に記載の立体感提示装置。
【請求項５】
上記仮想焦点距離を設定する仮想焦点距離調整手段を備える，請求項４に記載の立体感提示装置。
【請求項６】
上記仮想焦点距離調整手段をイネーブルにする切替手段を備える，請求項５に記載の立体感提示装置。
【請求項７】
上記表示装置の表示面とは反対側の面に上記２つのカメラが設けられている，請求項１から６のいずれか一項に記載の立体感提示装置。
【請求項８】
上記表示装置がヘッドマウント・タイプのディスプレイ装置であり，上記２台のカメラが上記ディスプレイ装置を装着したときに両眼に相当する箇所に外方を向けて設けられている，請求項１から７のいずれか一項に記載の立体感提示装置。
【請求項９】
間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し，
上記距離画像生成手段により生成された距離画像データを用いて，ぼけ画像生成手段により，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成し，そして
上記ぼけ画像生成手段によって生成されたぼけ画像データに基づいて対象の画像を表示装置に表示する，
立体感提示方法。
【請求項１０】
間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段，および
上記距離画像生成手段により生成された距離画像データを用いて，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段，
を備えたぼけ画像生成処理装置。
【請求項１１】
上記距離画像生成手段は，所与のステレオ画像データを縮小して縮小画像データを得，この縮小画像データに基づいて縮小距離画像データを生成し，この縮小距離画像データを拡大することにより上記距離画像データを得るものである，請求項10に記載のぼけ画像生成処理装置。
【請求項１２】
間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し，そして
上記距離画像生成手段により生成された距離画像データを用いて，ぼけ画像生成手段により上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成する，
ぼけ画像生成処理方法。
【請求項１３】
間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し，そして
上記距離画像生成手段により生成された距離画像データを用いて，ぼけ画像生成手段により上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するようにコンピュータを制御する，
コンピュータ・プログラム。
【請求項１】
間隔をおいて配置され，対象を同時に撮影してステレオ画像データを出力する左右２台のカメラ，
上記２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段，
上記距離画像生成手段により生成された距離画像データを用いて，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段，および
上記ぼけ画像生成手段によって生成されたぼけ画像データに基づいて対象の画像を表示する表示装置，
を備えた立体感提示装置。
【請求項２】
焦点ぼけの程度および焦点ぼけの変化の程度の少なくとも一方を設定する焦点ぼけ量調整手段を備える，請求項１に記載の立体感提示装置。
【請求項３】
上記ぼけ画像生成手段は，上記距離画像データが表わす最小距離に対して最小の焦点ぼけを与え，距離の増大に伴って焦点ぼけの程度を大きくするものである，請求項１に記載の立体感提示装置。
【請求項４】
上記ぼけ画像生成手段は，設定された仮想焦点距離に相当する距離画像データに対して最小の焦点ぼけを与え，距離画像データが表わす距離と上記仮想焦点距離との差が大きくなるほど焦点ぼけの程度を大きくするものである，請求項１に記載の立体感提示装置。
【請求項５】
上記仮想焦点距離を設定する仮想焦点距離調整手段を備える，請求項４に記載の立体感提示装置。
【請求項６】
上記仮想焦点距離調整手段をイネーブルにする切替手段を備える，請求項５に記載の立体感提示装置。
【請求項７】
上記表示装置の表示面とは反対側の面に上記２つのカメラが設けられている，請求項１から６のいずれか一項に記載の立体感提示装置。
【請求項８】
上記表示装置がヘッドマウント・タイプのディスプレイ装置であり，上記２台のカメラが上記ディスプレイ装置を装着したときに両眼に相当する箇所に外方を向けて設けられている，請求項１から７のいずれか一項に記載の立体感提示装置。
【請求項９】
間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し，
上記距離画像生成手段により生成された距離画像データを用いて，ぼけ画像生成手段により，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成し，そして
上記ぼけ画像生成手段によって生成されたぼけ画像データに基づいて対象の画像を表示装置に表示する，
立体感提示方法。
【請求項１０】
間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像データを生成する距離画像生成手段，および
上記距離画像生成手段により生成された距離画像データを用いて，上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するぼけ画像生成手段，
を備えたぼけ画像生成処理装置。
【請求項１１】
上記距離画像生成手段は，所与のステレオ画像データを縮小して縮小画像データを得，この縮小画像データに基づいて縮小距離画像データを生成し，この縮小距離画像データを拡大することにより上記距離画像データを得るものである，請求項10に記載のぼけ画像生成処理装置。
【請求項１２】
間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し，そして
上記距離画像生成手段により生成された距離画像データを用いて，ぼけ画像生成手段により上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成する，
ぼけ画像生成処理方法。
【請求項１３】
間隔をおいて配置され，対象を同時に撮影する左右２台のカメラから出力されるステレオ画像データを構成する左右の画像データに基づいて距離画像生成手段により距離画像データを生成し，そして
上記距離画像生成手段により生成された距離画像データを用いて，ぼけ画像生成手段により上記の左または右の画像データに，距離に応じた焦点ぼけを与えてぼけ画像データを生成するようにコンピュータを制御する，
コンピュータ・プログラム。
【図１】
【図４】
【図５】
【図２】
【図３】
【図６】
【図７】
【図８】
【図４】
【図５】
【図２】
【図３】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−４７８７５（Ｐ２０１３−４７８７５Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１１−１８５７００（Ｐ２０１１−１８５７００）
【出願日】平成２３年８月２９日（２０１１．８．２９）
【出願人】（３０４０２３９９４）国立大学法人山梨大学 (223)
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２３年８月２９日（２０１１．８．２９）
【出願人】（３０４０２３９９４）国立大学法人山梨大学 (223)
【Ｆターム（参考）】
[ Back to top ]