説明

画像処理装置、画像処理方法

【課題】 表示解像度以上の解像感を視認させる為の技術を提供すること。
【解決手段】 ビデオ処理部1715は、入力画像から画素をサンプリングする間隔に縮小率の逆数を設定し、入力画像から水平方向及び垂直方向にこの間隔で画素をサンプリングして、サンプリングされた画素群から成る第1の画像を生成する。ビデオ処理部1715は、上記のサンプリング位置から水平方向に(α+β)画素数(α:整数、0<β<1)ずれたサンプリング位置における画素の画素値をこの画素の周囲画素から算出し、画素値を算出した画素から成る第2の画像を生成する。そしてビデオ処理部1715は、第1の画像と第2の画像とを順次に出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、より高い解像度の画像を視認させるための技術に関するものである。
【背景技術】
【0002】
従来、画像の解像度を向上させてディスプレイに表示し、人に視認させる手法として、超解像技術が従来技術として知られている(特許文献1)。この技術は、同一対象物に対してわずかに異なる方向からの撮影画像を用いて超解像処理を行った画像をディスプレイに表示するものであった。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−265125号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術は高解像度処理を行った画像を表示するものであり、ディスプレイの解像度以上の解像感を表現することは出来ないという課題があった。
【0005】
本発明は以上の問題に鑑みてなされたものであり、表示解像度以上の解像感を視認させる為の技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、入力画像を取得する手段と、0<s<1を満たす前記入力画像の縮小率sを決定する手段と、前記入力画像から画素をサンプリングする間隔に前記縮小率sの逆数を設定し、前記入力画像から水平方向及び垂直方向に前記間隔で画素をサンプリングして、サンプリングされた画素群から成る第1の画像を生成する第1の生成手段と、αを整数、βを0<β<1としたときに、前記第1の生成手段によるそれぞれのサンプリング位置から水平方向に(α+β)画素数ずれたサンプリング位置における画素の画素値を該画素の周囲画素から算出し、該画素値を算出した画素から成る第2の画像を生成する第2の生成手段と、前記第1の画像と前記第2の画像とを順次に出力する出力手段とを備えることを特徴とする。
【発明の効果】
【0007】
本発明の構成によれば、表示解像度以上の解像感を視認させることができる。
【図面の簡単な説明】
【0008】
【図1】システムの構成例を示す図。
【図2】メイン処理装置105が行う処理のフローチャート。
【図3】ステップS103における処理の詳細を示すフローチャート。
【図4】同期信号とシャッター式めがね103とディスプレイパネル101の関係を示す図。
【図5A】表示解像度以上の解像感を視認させるための仕組みを示す図。
【図5B】表示解像度以上の解像感を視認させるための仕組みを示す図。
【図5C】表示解像度以上の解像感を視認させるための仕組みを示す図。
【図5D】表示解像度以上の解像感を視認させるための仕組みを示す図。
【図6】図5Dに示す如く合成されて知覚される仕組みを説明する図。
【図7】メイン処理装置105の構成例を示すブロック図。
【発明を実施するための形態】
【0009】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。
【0010】
先ず、本実施形態に係るシステムの構成例を図1に示す。図1に示す如く、本実施形態に係るシステムは、ディスプレイパネル101、同期信号発信器102、シャッター式めがね103、入力装置104、メイン処理装置105、により構成されている。
【0011】
メイン処理装置105のより詳細な構成を、図7のブロック図を用いて説明する。ユーザは入力装置104を用いて様々な指示を入力することができ、ユーザが入力装置104を用いて指示入力操作を行うと、入力装置104はこの指示入力操作によって入力された指示内容を示す指示信号をメイン処理装置105に対して発信する。この指示信号は操作I/F1726を介して制御部199に通知され、制御部199は、この受け取った指示信号に従ってメイン処理装置105の動作制御を行う。
【0012】
制御部199は、自身が管理する不図示のメモリに格納されたコンピュータプログラムやデータを用いてメイン処理装置105を構成する各部の動作制御を行うと共に、メイン処理装置105が行うものとして後述する各処理を実行する。
【0013】
オーディオ・ビデオ入出力I/F1724は、外部装置1718から送信された音声信号及び動画像信号を受信し、音声信号はオーディオ処理部1713に送出され、動画像信号はビデオ処理部1715に送出される。
【0014】
I/F部1723は、オーディオ・ビデオ入出力I/F1724及び操作I/F1726により構成されている。しかし、I/F部1723にはこれ以外のI/F部を設けても良い。例えば、音声信号や動画像信号が記録された記憶媒体から情報を読み出すためのI/F部をI/F部1723内に設けても良い。
【0015】
オーディオ処理部1713は、受信した音声信号に対して適当な処理を施してからオーディオ駆動部1716に送出する。オーディオ駆動部1716は、オーディオ処理部1713から受けた音声信号をスピーカ1735に送出する。
【0016】
ビデオ処理部1715は、受信した動画像信号に対してA/D変換処理や適当な画像処理を施すことで各フレームの画像を得、制御部199による制御の元、各フレームの画像を順次ビデオ駆動部1717に送出する。更にビデオ処理部1715は、ビデオ駆動部1717に1枚の画像を送出する毎に同期信号発信器102に対してタイミング信号を送出する。
【0017】
同期信号発信器102は、タイミング信号を受信する毎に同期信号を発生させ、発生させた同期信号をシャッター式めがね103に対して送出する。即ち同期信号発信器102は、ビデオ処理部1715が画像をビデオ駆動部1717に送出する毎に同期信号を発生させ、発生させた同期信号をシャッター式めがね103に対して送出する。然るに、ビデオ処理部1715が画像をビデオ駆動部1717に送出する毎に同期信号を発生させてシャッター式めがね103に送出することができるのであれば、そのための構成には様々な構成を適用することができる。
【0018】
ビデオ駆動部1717は、ビデオ処理部1715から受けた画像を順次ディスプレイパネル101に送出する。なお、送出先についてはこれに限るものではなく、図7に示すように、プロジェクション装置1737,1738等に対して送出しても良い。
【0019】
シャッター式めがね103は、液晶シャッターめがねであり、めがねレンズの変わりに液晶シャッターが搭載されている。シャッター式めがね103は、右目用の画像を表示するための表示領域(第1の表示領域)と、左目用の画像を表示するための表示領域(第2の表示領域)と、を有する。そして、同期信号発信器102から同期信号を受信する毎に、左目用の表示領域と、右目用の表示領域と、を交互に開閉する。同期信号はビデオ処理部1715が画像を送出する毎に発生するので、シャッター式めがね103は、ビデオ処理部1715が画像を送出する毎に左目用の表示領域と、右目用の表示領域と、を交互に開閉することになる。例えばあるフレームで左目用の表示領域が開状態(可視状態)で右目用の表示領域が閉状態(不可視状態)となっている場合、次のフレームでは左目用の表示領域が閉状態で右目用の表示領域が開状態となる。
【0020】
次に、メイン処理装置105が行う処理について、同処理のフローチャートを示す図2を用いて説明する。なお、図2のフローチャートに従った処理は制御部199による制御の元、制御部199やビデオ処理部1715等によりなされるものである。
【0021】
シャッター式めがね103を装着したユーザは、「より高い解像度で画像を観察するモード」、「通常の解像度で画像を観察するモード」の何れか(ユーザ入力Mode)を、入力装置104を操作して選択することができる。ユーザが入力装置104を操作して何れかのモードを選択し、選択したモードの送信指示を入力装置104を用いて入力すると、入力装置104は、選択したモードを示す信号をメイン処理装置105に対して送信する。この送信された信号は操作I/F1726を介して制御部199に通知される。然るにステップS101では制御部199は、この選択したモードを示す信号を受信する。
【0022】
更にステップS101においてビデオ処理部1715は、オーディオ・ビデオ入出力I/F1724を介して受信した動画像信号に対してA/D変換処理や適当な画像処理を施すことで各フレームの画像を順次取得する。以下では、あるフレームFの画像Imageinを取得した場合に、この画像Imageinに対して行われる処理について説明する。
【0023】
ステップS102で制御部199は、ステップS101で受信した信号(選択したモードを示す信号)の値が1(「より高い解像度で画像を観察するモード」を示す値)であるか、0(「通常の解像度で画像を観察するモード」を示す値)であるかを判断する。この判断の結果、1であれば処理はステップS103に進み、0であれば処理はステップS106に進む。
【0024】
ステップS106では制御部199は、ビデオ処理部1715に対してFフレーム目の画像として画像Imageinを出力するよう指示する。これによりビデオ処理部1715は画像ImageinをFフレーム目の画像としてビデオ駆動部1717に送出し、ビデオ駆動部1717はこの画像ImageinをFフレーム目の画像としてディスプレイパネル101に対して送出する。
【0025】
一方、ステップS103では制御部199は、画像Imageinから2枚の出力画像Imageout1(第1の画像)とImageout2(第2の画像)とを生成するよう、ビデオ処理部1715を制御する。ステップS103における処理の詳細については後述する。
【0026】
ステップS104では制御部199は、作成した2枚の画像のうち一方を、Fフレーム目の表示期間のうち前半期間で表示する画像として出力するようビデオ処理部1715に対して指示する。また制御部199は、他方を、Fフレーム目の表示期間のうち後半期間で表示する画像として出力するようビデオ処理部1715に対して指示する。ここでは説明上、画像Imageout1を、Fフレーム目の表示期間のうち前半期間で表示する画像として出力するようビデオ処理部1715に対して指示する。また、画像Imageout2を、Fフレーム目の表示期間のうち後半期間で表示する画像として出力するようビデオ処理部1715に対して指示する。
【0027】
これにより、ビデオ処理部1715は、Fフレーム目の表示期間内で、画像Imageout1、画像Imageout2をこの順でビデオ駆動部1717に送出する。更にビデオ処理部1715は、画像を送出する毎に同期信号発信器102にタイミング信号を送出するので、同期信号発信器102には、画像Imageout1の送出時、画像Imageout2の送出時、のそれぞれのタイミングが通知されることになる。
【0028】
然るにステップS105では制御部199は同期信号発信器102を制御して、タイミングの通知を受ける毎に同期信号を生成させ、生成させた同期信号をシャッター式めがね103に送信させる。
【0029】
同期信号とシャッター式めがね103とディスプレイパネル101との関係について、図4を用いて説明する。図4において横軸は時間を示しており、1フレーム分の表示期間のうち前半期間と後半期間とを示している。上記の通り、同期信号発信器102は、画像Imageout1(若しくはImageout2)の送出タイミング毎に同期信号を発生する。然るに、この同期信号を受けたシャッター式めがね103は、画像Imageout1(若しくはImageout2)の送出タイミング毎に左右の表示領域の開閉を行うことになる。図4(b)、(c)に示す如く、シャッター式めがね103の左(Left)及び右(Right)は送出タイミング毎に開閉を繰り返し、更に左右は交互に開状態(閉状態)となる。
【0030】
更に、図4(d)に示す如く、シャッター式めがね103において左が開状態となっているときにはディスプレイパネル101には左目用の画像Left(画像Imageout1、Imageout2のうち一方)が表示されている。また、図4(d)に示す如く、シャッター式めがね103において右が開状態となっているときにはディスプレイパネル101には右目用の画像Right(画像Imageout1、Imageout2のうち他方)が表示されている。シャッター式めがね103の左右の開閉順、ディスプレイパネル101に表示する右目用の画像、左目用の画像の表示順はこのように予め定められているものとする。
【0031】
このような動作により、例えば、120Hzで駆動するディスプレイパネル101において左目用の画像を60Hz、右目用の画像を60Hzで表示する。これにより、右目用と左目用の画像を片目ずつ独立して見ることが出来る。
【0032】
次に、ステップS103における処理の詳細について、図3のフローチャートを用いて説明する。ステップS121ではビデオ処理部1715は、画像Imageinの垂直解像度(垂直方向の画素数)Hin、水平解像度(水平方向の解像度)Win、を取得する。解像度の取得方法については特に限定するものではなく、画像Imageinの水平方向、垂直方向のそれぞれの画素数をカウントすることで取得しても良いし、動画像信号中のヘッダ情報に記されている解像度情報から取得しても良い。
【0033】
ステップS121では更にビデオ処理部1715は、ディスプレイパネル101の垂直解像度Hout、水平解像度Wout、を取得する。この解像度の取得方法についても特に限定するものではなく、例えば、ディスプレイパネル101のプロパティ情報を予めメイン処理装置105内のメモリに登録しておき、このプロパティ情報から取得しても良い。また、Hout、Woutをディスプレイパネル101の解像度とすることに限定するものではなく、ディスプレイパネル101の表示画面において、画像Imageinを表示するための領域の垂直解像度、水平解像度としても良い。何れにせよ、Hin>Hout、Win>Woutなる関係が維持されるのであれば良い。
【0034】
次にステップS122ではビデオ処理部1715は、画像Imageinの垂直方向の縮小率s1の逆数sh=Hin/Hout、水平方向の縮小率s2の逆数sw=Win/Woutを計算する。なお、上記の通り、Hout、WoutはHin>Hout、Win>Woutなる関係が維持されるのであれば如何なる画像のサイズを表しても良いので、ステップS122では、適当なsh、swを決定しても良い。
【0035】
ステップS123でビデオ処理部1715は、ステップS122で計算したsh(sw)をサンプリング間隔とし、このサンプリング間隔で画像Imageinから画素をサンプリングすることで、画像Imageout1、画像Imageout2を生成する。
【0036】
ここで、先ず、画像Imageout1を生成する方法(第1の生成)について説明する。画像Imageout1中の画素位置(x、y)における画素値をImageout1[x、y]とすると、以下の式に従ってImageout1[x、y]を求める。
【0037】
Imageout1[x、y]=f(Imagein、x×sw、y×sh)
f(Imagein、p、q)は、画像Imagein中の画素位置(p、q)における画素値を抽出する関数である。しかるに、この式により、画像Imagein中の画素位置(p、q)における画素値をImageout1[x、y]に設定することになる。
【0038】
従って、0≦x≦Wout−1、0≦y≦Hout−1を満たす全てのx、yについてこの式に従ってImageout1[x、y]を求めることで、画像Imageout1を生成することができる。
【0039】
次に、画像Imageout2を生成する方法(第2の生成)について説明する。画像Imageout2中の画素位置(x、y)における画素値をImageout2[x、y]とすると、以下の式に従ってImageout2[x、y]を求める。
【0040】
Imageout2[x、y]=f(Imagein、(x+α+β)×sw、y×sh)
ここで、αは整数、βは0<β<1を満たす数、である。βの項が存在する以上、画素位置((x+α+β)×sw、y×sh)は画素間の位置となり、この位置に画素は存在しない。然るにこの場合、関数fは、画素位置((x+α+β)×sw、y×sh)の周囲の画素の画素値からバイリニア補間、若しくはバイキュービック補間等の補間技術を用いて画素位置((x+α+β)×sw、y×sh)における画素値を算出する。
【0041】
従って、0≦x≦Wout−1、0≦y≦Hout−1を満たす全てのx、yについてこの式に従ってImageout2[x、y]を求めることで、画像Imageout2を生成することができる。このようにして生成される画像Imageout2は、次のようなものである。即ち、画像Imageout1を生成するためのそれぞれのサンプリング位置から水平方向に(α+β)画素数ずれたサンプリング位置における画素の画素値を周囲画素から算出し、画素値を算出した画素群から成る画像である。
【0042】
図3のフローチャートに従った処理の本質は、出力する2枚の画像の水平方向のサンプリング位相が小数画素精度だけずれているように生成することにある。然るに、この本質が維持される範囲内で2枚の出力画像を生成するのであれば、上記の方法に限定するものではない。
【0043】
なお、ディスプレイを視認して右目と左目で画像を補間させることが効果につながるため、右目と左目が水平状態で視認されることを想定し、垂直方向の位相ずらしは行わない。よって、垂直方向はサンプリング位相が一致した縮小処理となる。
【0044】
次に、サンプリング位相が小数精度ずれた2枚の画像をユーザの左右の眼に提示することにより、このユーザに表示解像度以上の解像感を視認させるための仕組みについて、図5A〜5Dを用いて説明する。
【0045】
図5A〜5Dにおいて横軸は入力画像の水平方向の画素位置を示しており、縦軸は画素値を示している。また、図5A〜5Dにおいて黒丸は、各サンプリング位置における画素の画素値を示している。
【0046】
ある入力画像から図5Aに示すサンプリング間隔で画素をサンプリングすると仮定する。ここで、この入力画像の解像度の半分の解像度の画像を生成する場合、サンプリング間隔は図5Bに示す如く、図5Aの2倍となる。このサンプリング間隔(周期)が表示における解像限界とする。
【0047】
本実施形態では、左目用の画像を図5Bに示す如くサンプリングして生成する場合、右目用の画像は図5Cに示す如く、図5Bに示したサンプリング位置から(α+β)だけずれた位置から画素をサンプリングして生成する。β=0.5が最も効果があり推奨されるが、小数精度であれば0.3や0.75などでも効果は見込まれる。また、0.5画素でも1.5画素、3.5画素でも同様の効果があるため、αを整数値として用いている。以下では一例としてα=0、β=0.5で説明する。
【0048】
図5Bに示す如くサンプリングして生成した画像を左眼に提供し、図5Cに示す如くサンプリングして生成した画像を右眼に提供した場合、図5Dに示す如く、左眼で見る画素と右眼で見る画素とが0.5画素だけずれて画像の波形を形成する。これにより、表示における解像度以上の解像感を表現する。更に、人にはなぜ図5Dに示す如く合成されて知覚されるのかを、図6を用いて説明する。
【0049】
図6(a)は、画像Imageout2を左目で視認する状況を示す図である。図中の数値は入力画像波形におけるサンプリング位置座標を示している。β=0.5の例であり、座標1.5,…,5.5でサンプリングされた画素値が表示されている。
【0050】
図6(b)は、画像Imageout1を右目で視認する状況を示す図である。座標1.0,…,5.0でサンプリングされた画素値が表示されている。1フレーム毎に図6(a)の画像と図6(b)の画像とが交互にシャッター式めがね103に提供される。
【0051】
図6(c)は、両目で画像Imageout1と画像Imageout2とを視認する状況を示す図である。人は左目と右目とに類似した像が見えると、それらが結像するように、つまり像が重なるように両目の焦点距離と輻輳角を調節する。よって、実際にはディスプレイ面に画像が表示されているが、左目の像と右目の像が重なるように、つまり2枚の画像のサンプリング位置座標が順に並ぶように焦点を合わせる。すると、図6(c)のように、ディスプレイの奥で像は結像して認識される。結像した画像では図5(d)のように、左目の画素と右目の画素が0.5画素ずれて画像の波形を形成し、解像感が高く認識される。
【0052】
本実施形態では、ディスプレイパネル101の解像度よりも高い解像度の画像が入力された場合に、これを縮小して表示する場合に使用される。その際に、本実施形態の手法により2枚の画像を生成し、左目と右目とに対して提示することによって、1枚の縮小画像を表示するよりも解像度を高く視認させることが出来る。
【0053】
なお、本実施形態では、1枚の入力画像から2枚の画像を生成したが、3次元コンピュータグラフィックスデータを入力とすることも出来る。つまり、3次元コンピュータグラフィックスデータからディスプレイ解像度以上の解像度の画像を1枚生成し、この生成した画像を入力画像として2枚の縮小画像を生成することで、高解像度のコンピュータグラフィックス画像を表示することが可能である。3次元コンピュータグラフィックスデータから1枚の画像を生成する際には、一般的に用いられるスキャンライン法やレイトレーシング法、ラジオシティ法などを用いる。
【0054】
以上の説明により、本実施形態によれば、表示解像度以上の解像感を視認させることができる。
【0055】
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項1】
入力画像を取得する手段と、
0<s<1を満たす前記入力画像の縮小率sを決定する手段と、
前記入力画像から画素をサンプリングする間隔に前記縮小率sの逆数を設定し、前記入力画像から水平方向及び垂直方向に前記間隔で画素をサンプリングして、サンプリングされた画素群から成る第1の画像を生成する第1の生成手段と、
αを整数、βを0<β<1としたときに、前記第1の生成手段によるそれぞれのサンプリング位置から水平方向に(α+β)画素数ずれたサンプリング位置における画素の画素値を該画素の周囲画素から算出し、該画素値を算出した画素から成る第2の画像を生成する第2の生成手段と、
前記第1の画像と前記第2の画像とを順次に出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項2】
前記出力手段は、前記第1の画像を表示するための第1の表示領域及び前記第2の画像を表示するための第2の表示領域を有しており、且つ前記第1の表示領域と前記第2の表示領域を交互に可視に制御が可能な表示装置に対して、前記第1の画像と前記第2の画像とを交互に出力し、
前記表示装置は前記出力手段から前記第1の画像を受け取った場合には前記第1の表示領域を可視状態にし前記第2の表示領域を不可視状態にしてから該第1の画像を前記第1の表示領域に表示し、
前記表示装置は前記出力手段から前記第2の画像を受け取った場合には前記第2の表示領域を可視状態にし前記第1の表示領域を不可視状態にしてから該第2の画像を前記第2の表示領域に表示する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第2の生成手段は、前記第1の生成手段によるサンプリング位置から水平方向に(α+β)画素数ずれたサンプリング位置における画素の画素値を該画素の周囲画素からバイリニア補間、若しくはバイキュービック補間を用いて算出することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、入力画像を取得する工程と、
前記画像処理装置の決定手段が、0<s<1を満たす前記入力画像の縮小率sを決定する工程と、
前記画像処理装置の第1の生成手段が、前記入力画像から画素をサンプリングする間隔に前記縮小率sの逆数を設定し、前記入力画像から水平方向及び垂直方向に前記間隔で画素をサンプリングして、サンプリングされた画素群から成る第1の画像を生成する第1の生成工程と、
前記画像処理装置の第2の生成手段が、αを整数、βを0<β<1としたときに、前記第1の生成工程によるそれぞれのサンプリング位置から水平方向に(α+β)画素数ずれたサンプリング位置における画素の画素値を該画素の周囲画素から算出し、該画素値を算出した画素から成る第2の画像を生成する第2の生成工程と、
前記画像処理装置の出力手段が、前記第1の画像と前記第2の画像とを順次に出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項5】
コンピュータを、請求項1乃至3の何れか1項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図5C】
image rotate

【図5D】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2012−128279(P2012−128279A)
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【出願番号】特願2010−281009(P2010−281009)
【出願日】平成22年12月16日(2010.12.16)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】