ステレオ映像信号制御方法、制御装置及び制御プログラム
【課題】複数の観察者が視聴した場合でも、各個人が眼精疲労をあまり感じることのない高臨場なステレオ映像を表示する。
【解決手段】視差変化量測定部１０３は、視差量測定部１０２から入力された代表視差量のフレーム間における視差の時間変化量である視差変化量を求める。出力制御部１０４は、入力映像フレームレート、表示映像フレームレート及びフレーム更新期間倍率と、文字検出部１０１からの文字の有無情報、視差変化量測定部１０３からの視差変化量とに応じてフレーム更新期間ＦＴを決定する。フレーム補間部１０６は、出力制御部１０４からのフレーム更新期間ＦＴに従って右目用映像信号と左目用映像信号の各フレームをそれぞれ出力する。フレーム補間部１０６は、フレーム更新期間ＦＴの間に表示時刻があれば、右目用映像信号と左目用映像信号それぞれの補間フレームを生成して出力する。
【解決手段】視差変化量測定部１０３は、視差量測定部１０２から入力された代表視差量のフレーム間における視差の時間変化量である視差変化量を求める。出力制御部１０４は、入力映像フレームレート、表示映像フレームレート及びフレーム更新期間倍率と、文字検出部１０１からの文字の有無情報、視差変化量測定部１０３からの視差変化量とに応じてフレーム更新期間ＦＴを決定する。フレーム補間部１０６は、出力制御部１０４からのフレーム更新期間ＦＴに従って右目用映像信号と左目用映像信号の各フレームをそれぞれ出力する。フレーム補間部１０６は、フレーム更新期間ＦＴの間に表示時刻があれば、右目用映像信号と左目用映像信号それぞれの補間フレームを生成して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はステレオ映像信号制御方法、制御装置及び制御プログラムに係り、特に入力映像のフレームレートよりも高い表示映像フレームレートを持つような表示装置により立体映像であるステレオ映像を表示させるステレオ映像信号制御方法、制御装置及び制御プログラムに関する。
【背景技術】
【０００２】
従来から両眼視差を利用した様々なステレオ映像表示方式が提案されている。代表的な方式として、観察者が液晶シャッター眼鏡あるいは偏光眼鏡をかけて立体映像（ステレオ映像）を観察する両眼視差を利用したステレオ映像方式がある。液晶シャッターを用いるステレオ映像方式では、左目用の映像と右目用の映像とをモニタ上に時分割で表示し、液晶シャッター眼鏡をかけた観察者が、左目用の映像を左目で、右目用の映像を右目で見ることにより立体映像を観察する。また、偏光眼鏡を用いるステレオ映像方式では、左目用の視差映像と右目用の視差映像とを空間分割でモニタ上に表示し、偏光眼鏡をかけた観察者が左目用の視差映像を左目で、右目用の視差映像を右目で見ることにより立体映像を観察する。
【０００３】
このような両眼視差を利用したステレオ映像方式の視聴において、観察者が眼精疲労や不快感を生じることが知られている。眼精疲労や不快感を生じる主原因の一つに輻輳と調整の不整合がある。輻輳と調整の不整合について簡単に説明する。人間は両眼の視線を立体像に集中させる（輻輳距離）。一方で、人間の目の水晶体はモニタ上の像にピントを調整する（調整距離）。自然界の状態では輻輳距離と調整距離は一致しているが、両眼視差を利用したモニタでは輻輳距離と調整距離が一致しない。この不整合のために、眼精疲労や不快感が生じることが知られている。また、この輻輳と調整の不整合が長時間連続する場合や急激に変化する場合に眼精疲労や不快感が強くなることが知られている。
【０００４】
このような輻輳と調整の不整合を軽減させるための発明が従来よりなされている。
【０００５】
特許文献１記載の発明では、右目用映像と奥行き情報とから左目用映像を生成するとき、奥行き情報が大きく変化する瞬間をシーンチェンジとして検出し、大きく変化する奥行き情報を緩やかに変換し、輻輳と調整の不整合を軽減している。
【０００６】
特許文献２記載の発明では、視差を検出し、検出した視差量に応じて疲労度を評価し、評価した疲労度に応じて平面映像とステレオ映像とを切り替えることで、輻輳と調整の不整合を軽減している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−４０４２０号公報
【特許文献２】特開平１１−３５５８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１記載の発明では、左目用映像を右目用映像から生成するため、本来左目用映像と右目用映像からなるステレオ映像に適用した場合には、本来のステレオ映像とは異なる奥行き感となり、本来のステレオ映像の持つ高臨場なステレオ映像を実現することができない。また、左目用映像を右目用映像から作成する処理が必要となる。
【０００９】
また、特許文献２記載の発明では、ヘッドマウントディスプレイなど個人で視聴するような環境であれば問題ないが、リビングルームなどで１台のディスプレイを多人数で視聴するような環境の場合に、各個人の疲労度の相違によって、本来視聴可能な高臨場のステレオ映像を見ることができない人が発生する。
【００１０】
本発明は以上の点に鑑みなされたもので、複数の観察者が視聴した場合でも、各個人が眼精疲労をあまり感じることのない高臨場なステレオ映像を表示し得るステレオ映像信号制御方法、制御装置及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、第１の発明のステレオ映像信号制御方法は、入力されるステレオ映像信号の備える右目用映像信号と左目用映像信号との間の視差量を、フレーム毎に測定する第１のステップと、第１のステップで測定された視差量のフレーム間における視差の時間変化量である視差変化量を測定する第２のステップと、第２のステップにより測定された視差変化量が大きいほど、入力されるステレオ映像信号の備える右目用映像信号及び左目用映像信号のフレーム更新期間が、入力時の定常状態のフレーム更新期間よりも長く設定された最大値までの範囲内で長くなり、視差変化量が小さいほど、右目用映像信号及び左目用映像信号のフレーム更新期間が、定常状態のフレーム更新期間よりも短い最小値として設定された所定の表示フレーム期間までの範囲内で短くなるように、フレーム更新期間を決定する第３のステップと、入力されるステレオ映像信号の備える右目用映像信号及び左目用映像信号のフレーム更新期間が、第３のステップで決定したフレーム更新期間となるように、右目用映像信号及び左目用映像信号に対する調整時間をフレーム単位で制御し、そのフレーム更新期間が制御された右目用映像信号及び左目用映像信号における所定の表示フレーム期間よりも長いフレーム更新期間に、右目用映像信号及び左目用映像信号のそれぞれに対して生成した補間フレームを挿入して、ステレオ映像信号を所定の表示フレーム期間の信号とする第４のステップとを含むことを特徴とする。
【００１２】
また、上記目的を達成するため、第１の発明のステレオ映像信号制御方法は、入力される右目用映像信号及び左目用映像信号の予め設定した画面領域の映像情報に文字情報を含むか否かを検出する第５のステップを更に含み、第４のステップは、第５のステップにより文字情報を含むことが検出された右目用映像信号及び左目用映像信号に対しては、フレーム更新期間が定常状態のフレーム更新期間となるように調整時間を制御し、第５のステップにより文字情報を含まないことが検出された右目用映像信号及び左目用映像信号に対しては、予め設定された最小値から最大値の範囲内で視差変化量に応じてフレーム更新期間を設定するように、調整時間をフレーム単位で制御することを特徴とする。
【００１３】
また、上記の目的を達成するため、第３の発明のステレオ映像信号制御方法は、上記第４のステップは、フレーム更新期間の設定対象であるフレームにおいて、視差変化量に応じて設定されたフレーム更新期間と、その設定されたフレーム更新期間が得られるように右目用映像信号及び左目用映像信号に与えられる調整時間と、定常状態のフレーム更新期間とから、設定対象であるフレームの次のフレームにおける、全フレーム更新期間が定常状態である場合に対する遅延時間を算出し、次のフレームの遅延時間が予め設定された最大遅延時間よりも長く、かつ、設定されたフレーム更新期間が定常状態のフレーム更新期間よりも長いときは、設定されたフレーム更新期間を、定常状態のフレーム更新期間に訂正することを特徴とする。
【００１４】
また、上記の目的を達成するため、第４の発明のステレオ映像信号制御装置は、入力されるステレオ映像信号の備える右目用映像信号と左目用映像信号との間の視差量を、フレーム毎に測定する視差量測定手段と、視差量測定手段から入力される視差量のフレーム間における視差の時間変化量である視差変化量を測定する視差変化量測定手段と、入力される右目用映像信号及び左目用映像信号のそれぞれに対して生成した補間フレームを、入力される右目用映像信号及び左目用映像信号のそれぞれに挿入し、フレーム期間を所定の表示フレーム期間としたステレオ映像信号を出力するフレーム補間手段と、視差変化量測定手段により測定された視差変化量が大きいほど、入力されるステレオ映像信号の備える右目用映像信号及び左目用映像信号のフレーム更新期間が、入力時の定常状態のフレーム更新期間よりも長く設定された最大値までの範囲内で長くなり、視差変化量が小さいほど、右目用映像信号及び左目用映像信号のフレーム更新期間が、定常状態のフレーム更新期間よりも短い最小値として設定された所定の表示フレーム期間までの範囲内で短くなるように、フレーム補間手段による右目用映像信号及び左目用映像信号に対する調整時間をフレーム単位で制御し、そのフレーム更新期間が制御された右目用映像信号及び左目用映像信号における所定の表示フレーム期間よりも長いフレーム更新期間に補間フレームを挿入させて、ステレオ映像信号が所定の表示フレーム期間の信号として出力されるように、フレーム補間手段を制御する出力制御手段とを有することを特徴とする。
【００１５】
また、上記の目的を達成するため、第５の発明のステレオ映像信号制御装置は、入力される右目用映像信号及び左目用映像信号の予め設定した画面領域の映像情報に文字情報を含むか否かを検出する文字検出手段を更に有し、出力制御手段は、文字検出手段により文字情報を含むことが検出された右目用映像信号及び左目用映像信号に対しては、フレーム更新期間が定常状態のフレーム更新期間となるように、フレーム補間手段による調整時間を制御し、文字検出手段により文字情報を含まないことが検出された右目用映像信号及び左目用映像信号に対しては、予め設定された最小値から最大値の範囲内で視差変化量に応じてフレーム更新期間を設定するように、フレーム補間手段による調整時間をフレーム単位で制御することを特徴とする。
【００１６】
また、上記の目的を達成するため、第６の発明のステレオ映像信号制御装置は、上記出力制御手段は、フレーム更新期間の設定対象であるフレームにおいて、視差変化量に応じて設定されたフレーム更新期間と、その設定されたフレーム更新期間が得られるようにフレーム補間手段において右目用映像信号及び左目用映像信号に与えられる調整時間と、定常状態のフレーム更新期間とから、設定対象であるフレームの次のフレームにおける、全フレーム更新期間が定常状態である場合に対する遅延時間を算出し、次のフレームの遅延時間が予め設定された最大遅延時間よりも長く、かつ、設定されたフレーム更新期間が定常状態のフレーム更新期間よりも長いときは、設定されたフレーム更新期間を、定常状態のフレーム更新期間に訂正することを特徴とする。
【００１７】
更に、上記の目的を達成するため、本発明のステレオ映像信号制御プログラムは、第１の発明のステレオ映像信号制御方法における各ステップをコンピュータにより実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、ステレオ映像信号の視差変化量が大きいフレームではフレーム更新期間を定常状態よりも長くし、視差変化量が小さいフレームではフレーム更新期間を定常状態よりも短くすることで、ステレオ映像の視聴の際の視差変化量を平均化でき、観察者の眼精疲労や不快感を低減させることができる。
【００１９】
また、本発明によれば、リビングルームなどで１台のディスプレイを多人数で視聴するような環境の場合でも、観察者全員に高臨場のステレオ映像を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明のステレオ映像信号制御装置の第１の実施の形態のブロック図である。
【図２】図１に示す本発明装置の動作説明用フローチャートである。
【図３】図１のフレーム補間部の動作の一例を説明する図である。
【図４】図１のフレーム補間部の動作の他の例を説明する図である。
【図５】定常状態の入力映像フレームと表示映像フレームとの関係の一例を説明するタイミングチャートである。
【図６】図１に示す本発明装置のフレーム更新期間ＦＴの決定方法の一例を説明するフローチャートである。
【図７】フレーム更新期間ＦＴに関する関数の一例を示す図である。
【図８】図１に示す本発明装置のフレーム更新期間ＦＴの決定例を示す図である。
【図９】図１に示す本発明装置による入力映像フレームと表示映像フレームとの関係を説明するタイミングチャートである。
【図１０】本発明のステレオ映像信号制御装置の第２の実施の形態のブロック図である。
【図１１】図１０に示す本発明装置のフレーム更新期間ＦＴの決定方法の一例を説明するフローチャートである。
【図１２】図１０に示す本発明装置の入力映像フレームと表示映像フレームとの関係を説明するタイミングチャートである。
【図１３】図１０に示す本発明装置のフレーム更新期間ＦＴの決定例を示す図である。
【発明を実施するための形態】
【００２１】
次に、本発明の実施の形態について図面と共に説明する。
【００２２】
（第１の実施の形態）
図１は本発明になるステレオ映像信号制御装置の第１の実施の形態のブロック図を示す。同図に示すように、第１の実施の形態のステレオ映像信号制御装置１００は、文字検出部１０１、視差量測定部１０２、視差変化量測定部１０３、出力制御部１０４、フレームメモリ１０５及びフレーム補間部１０６から構成される。
【００２３】
ステレオ映像信号制御装置１００には右目用映像信号と左目用映像信号がそれぞれフレーム単位で入力される。例えば、右目用映像信号と左目用映像信号がインタレース信号である場合には事前にプログレッシブ化されていることを前提とする。映像表示部１５０は、フレーム補間部１０６から出力される左目用映像信号と右目用映像信号とをそれぞれ公知の両眼視差を利用したステレオ映像方式で表示する。
【００２４】
次に、本実施の形態のステレオ映像信号制御装置１００の動作について図２のフローチャート等を併せ参照して説明する。
【００２５】
右目用映像信号は、文字検出部１０１、視差量測定部１０２及びフレームメモリ１０５に供給される。一方、左目用映像信号は、視差量測定部１０２及びフレームメモリ１０５に供給され、文字検出部１０１には供給されない。なお、右目用映像信号と左目用映像信号の供給先を逆にしてもよい。
【００２６】
文字検出部１０１は、入力された右目用映像信号の予め設定した所定領域の輝度レベルについてブロック単位でヒストグラムを求めるなどして、フレーム内の文字の有無を検出する（ステップＳ１１）。文字検出部１０１は、上記のヒストグラムが或る特定ブロックで周辺ブロックに比べて所定の閾値より大きいとき、文字が有ると検出する。文字検出部１０１は、フレーム内の所定領域から検出した文字の有無情報Ｌを出力制御部１０４に供給する。なお、上記の所定領域は、一般的に字幕などの文字が頻繁に表示される領域であるが、画面全体の領域であってもよい。
【００２７】
視差量測定部１０２は、入力された右目用映像信号と左目用映像信号との間の視差量を測定する（ステップＳ１２）。視差量測定部１０２は、右目用映像信号及び左目用映像信号の一画面領域をそれぞれ矩形の複数のブロックに分割したときの各ブロックのうち、両映像信号の対応するブロック同士毎に求めた視差量について、フレーム全体の平均値、フレーム内の最大値、１つ又は複数の注目点の視差量の最大値などのうち、予め定めた値を代表視差量Ｐとする視差量測定を行う。視差量測定部１０２は、測定した代表視差量Ｐを視差変化量測定部１０３に供給する。
【００２８】
ここで、視差量の測定方法の一例について更に説明する。周知の通り、ステレオ映像における視差は、右目用映像信号と左目用映像信号との間における水平方向のずれ量として観測できる。従って、視差の測定は、対象画素ブロックの水平位置と同じ水平線（エピポーラライン）上を、例えば水平方向４画素、垂直方向４画素のブロック単位でブロックマッチングにより測定する。
【００２９】
視差変化量測定部１０３は、視差量測定部１０２から入力された代表視差量Ｐのフレーム間における視差の時間変化量である視差変化量λを求める（ステップＳ１３）。ここで、視差変化量測定部１０３は、時刻iの視差変化量λ（ｉ）を、時刻ｉの代表視差量Ｐ（ｉ）と時刻ｉ−１の代表視差量Ｐ（ｉ−１）とから次式のように算出する。
【００３０】
λ(i)＝P(i) − P(i-1) （１）
視差変化量測定部１０３は、求めた視差変化量λを出力制御部１０４に供給する。
【００３１】
出力制御部１０４は、端子１１０より映像表示部１５０の表示映像フレームレートＰＦＲ、入力映像信号の入力映像フレームレートＩＦＲ、及びフレーム更新期間倍率βが設定される。出力制御部１０４は、これらの入力映像フレームレートＩＦＲ、表示映像フレームレートＰＦＲ、及びフレーム更新期間倍率βと、文字検出部１０１から入力された文字の有無情報Ｌ、視差変化量測定部１０３から入力された視差変化量λとに応じてフレーム更新期間ＦＴを決定する（ステップＳ１４）。ここで、フレーム更新期間ＦＴは、ステレオ映像信号制御装置１００に入力された右目用映像信号及び左目用映像信号がそれぞれ元々有するフレームにおける、ステレオ映像信号制御装置１００から映像表示部１５０へ出力されるときのそれぞれの信号でのフレーム間隔を示す。出力制御部１０４は、フレーム補間部１０６にフレーム更新期間ＦＴを供給する。なお、出力制御部１０４の詳細な動作については後述する。
【００３２】
フレームメモリ１０５は、入力される右目用映像信号と左目用映像信号とをそれぞれ１フレーム分一時的に記憶し、フレーム補間部１０６に空きがあれば１フレーム分の右目用映像と左目用映像信号とをフレーム補間部１０６に供給する。フレームメモリ１０５は、フレーム補間部１０６に空きがなければ、フレーム補間部１０６に空きができるまで右目用映像信号と左目用映像信号とをフレーム単位で保持し、フレーム補間部１０６に空きができれば時間的に古いフレームの右目用映像信号及び左目用映像信号からフレーム補間部１０６に供給する。
【００３３】
フレーム補間部１０６は、フレームメモリ１０５から入力された右目用映像信号と左目用映像信号の各フレームを最大でそれぞれ２フレーム分記憶し、出力制御部１０４からのフレーム更新期間ＦＴに従って右目用映像信号と左目用映像信号の各フレームをそれぞれ出力する。フレーム補間部１０６内の出力後の右目用映像信号と左目用映像信号の各フレームは、フレーム更新期間ＦＴの経過後に削除される。また、フレーム補間部１０６は、フレーム更新期間ＦＴの間に表示時刻があれば、右目用映像信号と左目用映像信号それぞれの補間フレームを生成して出力する（ステップＳ１５）。これにより、フレーム補間部１０６は、右目用映像信号及び左目用映像信号からなるステレオ映像信号、又はそれらの補間フレームからなるステレオ映像信号を所定の表示フレーム期間（所定の表示フレームレート）でフレーム単位に出力する。
【００３４】
ここで、フレーム補間部１０６による補間フレーム生成方法の一例について図３及び図４を用いて説明する。図３は、内挿的な補間方法を説明する図である。フレーム補間部１０６は、内挿的な補間方法で補間フレームを生成する場合は、まず、入力映像フレームＦ（ｋ）を例えば、水平方向４画素、垂直方向４画素のブロック単位に分割し、参照フレームを入力映像フレームＦ（ｋ−１）としてそれぞれのブロックについて一般的なブロックマッチング方法によって、図３（ａ）に示すような動きベクトルＭＶＦ（ｋ）を求める。
【００３５】
いま、入力映像フレームＦ（ｋ−１）とＦ（ｋ）のフレーム期間が「４」、入力映像フレームＦ（ｋ−１）と補間フレームＧ（ｋ）のフレーム期間が「１」であるとすると、フレーム補間部１０６は、補間フレームＧ（ｋ）の動きベクトルＭＶＧ（ｋ）を次式で求め、動き補償予測により補間フレームＧ（ｋ）を生成する。
【００３６】
ＭＶＧ(ｋ)＝ＭＶＦ(ｋ)×１／４ （２）
図３（ｂ）は、補間フレームＧ（ｋ）の動きベクトルＭＶＧ（ｋ）と動きベクトルＭＶＦ（ｋ）との関係を示す。
【００３７】
フレーム補間部１０６は、補間フレームＧ（ｋ＋１）、Ｇ（ｋ＋２）の各々の動きベクトルＭＶＧ（ｋ＋１）、ＭＶＧ（ｋ＋２）も同様に次式で求める。
【００３８】
ＭＶＧ(ｋ＋１)＝ＭＶＦ(ｋ)×２／４ （３）
ＭＶＧ(ｋ＋２)＝ＭＶＦ(ｋ)×３／４ （４）
図４は、外挿的な補間方法を説明する図である。フレーム補間部１０６は、外挿的な補間方法で補間フレームを生成する場合は、まず、入力映像フレームＦ（ｋ）を例えば、水平方向４画素、垂直方向４画素のブロック単位に分割し、参照フレームを入力映像フレームＦ（ｋ−１）としてそれぞれのブロックについて一般的なブロックマッチング方法によって、図４（ａ）に示すような動きベクトルＭＶＦ（ｋ）を求める。
【００３９】
いま、入力映像フレームＦ（ｋ−１）とＦ（ｋ）のフレーム期間が「１」、入力映像フレームＦ（ｋ−１）と補間フレームＧ（ｋ）のフレーム期間が「２」であるとすると、フレーム補間部１０６は、補間フレームＧ（ｋ）の動きベクトルＭＶＧ（ｋ）を次式で求め、動き補償予測により補間フレームＧ（ｋ）を生成する。
【００４０】
ＭＶＧ(ｋ)＝ＭＶＦ(ｋ)×２ （５）
図４（ｂ）は、補間フレームＧ（ｋ）の動きベクトルＭＶＧ（ｋ）と動きベクトルＭＶＦ（ｋ）との関係を示す。
【００４１】
フレーム補間部１０６は、補間フレームＧ（ｋ＋１）、Ｇ（ｋ＋２）の各々の動きベクトルＭＶＧ（ｋ＋１）、ＭＶＧ（ｋ＋２）も同様に次式で求める。
【００４２】
ＭＶＧ(ｋ＋１)＝ＭＶＦ(ｋ)×３ （６）
ＭＶＧ(ｋ＋２)＝ＭＶＦ(ｋ)×４ （７）
以下、本実施の形態では特に断らない限り、内挿的な補間方法を用いた場合について説明する。なお、フレーム補間部１０６の出力制御の詳細な動作については後述する。
【００４３】
映像表示部１５０は、フレーム補間部１０６から入力された右目用映像信号と左目用映像信号の各フレームをそれぞれ公知の両眼視差を利用したステレオ映像方式で表示する（ステップＳ１６）。
【００４４】
次に、本実施の形態の各部について詳細に説明する。
【００４５】
最初に、表示映像フレームレートＰＦＲと入力映像フレームレートＩＦＲの関係について説明する。表示映像フレームレートＰＦＲは、映像表示部１５０の表示映像フレームレートである。入力映像フレームレートＩＦＲは、ステレオ映像信号制御装置１００に入力されるプログレッシブ化されたステレオ映像信号（右目用映像信号及び左目用映像信号）のフレームレートである。この入力映像フレームレートＩＦＲは、ステレオ映像信号制御装置１００に入力される右目用映像信号及び左目用映像信号の元々の定常状態のフレーム更新期間に対応したレートである。
【００４６】
表示映像フレームレートＰＦＲと入力映像フレームレートＩＦＲとの比を倍速率αとすると、次式の関係が成り立つ。
【００４７】
α＝ＰＦＲ／ＩＦＲ （ＰＦＲ≧ＩＦＲ） （８）
本実施の形態では、入力映像フレームレートＩＦＲを６０（フレーム／秒）、表示映像フレームレートＰＦＲを１２０（フレーム／秒）とする。従って、本実施の形態の倍速率αは（８）式から「２」となる。ただし、表示映像フレームレートＰＦＲと入力映像フレームレートＩＦＲは、上記の例に限定されるものではない。
【００４８】
次に、視差変化量が変化しない定常状態の場合の入力映像フレームと表示映像フレームとの関係について図５を用いて説明する。図５（ａ）は表示映像フレームレートＰＦＲの表示フレーム間隔、図５（ｂ）は入力映像フレームレートＩＦＲの入力映像フレーム、図５（ｃ）は表示映像フレームレートＰＦＲの表示映像フレームの様子を模式的に示している。なお、図５は右目用映像信号の様子を示しているが、左目用映像信号についても同様である。
【００４９】
図５（ｂ）に示す入力映像フレームは、時刻ｔ(ｉ)でフレームＦ(ｊ)が入力され、時刻ｔ(ｉ+２)でフレームＦ(ｊ＋１)が入力され、以下、時刻ｔ(ｉ＋ｎ)でフレームＦ(ｊ＋ｎ／２)が入力される様子を示している（ｎ＝０，１，２，３，・・・）。
【００５０】
図５（ｃ）に示す表示映像フレームは、時刻ｔ(ｉ＋１)でフレームＦ(ｊ)が表示され、時刻ｔ(ｉ＋２)で補間フレームＧ(ｊ)が表示され、時刻ｔ(ｉ+３)でフレームＦ(ｊ＋１)が表示され、時刻ｔ(ｉ+４)で補間フレームＧ(ｊ＋１)が表示され、以下順次表示されるフレームの様子を示している。
【００５１】
ここで、補間フレームＧ(ｊ)はフレームＦ(ｊ)とフレームＦ(ｊ＋１)とから内挿的に補間され、補間フレームＧ(ｊ＋１)は同様にフレームＦ(ｊ＋１)とフレームＦ(ｊ＋２)とから補間されるとする。なお、補間フレームを作成するため遅延が生じ、フレームＦ(ｊ)を表示する時刻は図５（ｃ）に示すように、時刻ｔ(ｉ＋１)となる。
【００５２】
なお、外挿的に補間フレームを生成する場合には遅延をなくすことも可能である。
【００５３】
次に、出力制御部１０４の前記ステップＳ１４によるフレーム更新期間ＦＴの決定動作について詳細に説明する。
【００５４】
最初に、出力制御部１０４は、フレーム更新期間ＦＴの最小値ＦＴminと最大値ＦＴmaxとを、倍速率α及びフレーム更新期間倍率βから次式により求める。
【００５５】
ＦＴmin＝１ （９）
ＦＴmax＝α×β (10)
フレーム更新期間ＦＴは、ＦＴminとＦＴmaxとの間の整数値をとるものとする。本実施の形態では（８）式からα＝２、図５（ｃ）からβ＝２であるため、(10)式からＦＴmax＝４となる。
【００５６】
なお、フレーム更新期間倍率βは、フレーム更新期間の最大値ＦＴmaxを調整するためのパラメータである。このフレーム更新期間倍率βを大きくすることでフレーム更新期間の最大値ＦＴmaxを大きくして、フレームの表示速度をよりゆっくりと見易く調整できる。
【００５７】
次に、出力制御部１０４は、フレーム単位で文字の有無情報Ｌ及び視差変化量λからフレーム更新期間ＦＴを決定し、決定したフレーム更新期間ＦＴをフレーム補間部１０６に供給する。
【００５８】
フレーム更新期間ＦＴの決定方法について、図６に示すフローチャートを用いて説明する。出力制御部１０４は、最初に、文字の有無情報ＬがＹＥＳ（文字が有）であるかどうか検査する（ステップＳ２１）。
【００５９】
文字の有無情報ＬがＹＥＳである場合は、フレーム更新期間ＦＴを倍速率αと同じ値に設定する（ステップＳ２２）。これによって、テロップが流れるような入力映像フレームに対しては、そのフレーム表示期間を定常状態とすることができる。
【００６０】
文字の有無情報ＬがＮＯ（文字が無）である場合は、出力制御部１０４は、フレーム更新期間ＦＴを次式により求める（ステップＳ２３）。
【００６１】
ＦＴ＝ｆ（λ） (11)
ここで、(11)式においてｆ（λ）は暫定フレーム期間で、図７に示すように視差変化量λに比例してＦＴmin（ここでは、１）からＦＴmax（ここでは、４）まで自然数単位で変化し、かつ、ＦＴ＝α（ここでは、２）が最も選択され易い特性を持つ関数である。
【００６２】
次に、フレーム補間部１０６の動作について図８、図９を用いて詳細に説明する。図８は、フレーム更新期間ＦＴの決定例を示す図、図９は、本実施の形態のステレオ映像信号制御装置１００による入力映像フレームと表示映像フレームとの関係を説明するタイミングチャートを示す。
【００６３】
例えば、出力制御部１０４によってＦ(０)からＦ(７)までの各入力映像フレームのフレーム更新期間ＦＴが図８のように決定したとする。このとき、フレーム補間部１０６は、図９（ｃ）に模式的に示すように映像フレームが表示されるように、入力映像フレームを出力する。すなわち、フレーム補間部１０６は、最初に図９（ｂ）に模式的に示す時刻ｔ０の入力映像フレームＦ(０)を、同図（ｃ）に模式的に示すように時刻ｔ１で出力する。続いて、フレーム補間部１０６は、同図（ｂ）に模式的に示す時刻ｔ２の入力映像フレームＦ(１)を、Ｆ(０)のフレーム更新期間ＦＴが「４」であるため同図（ｃ）に模式的に示すように、Ｆ（０）の出力時刻ｔ１の４フレーム後の時刻ｔ５で出力する。上記の時刻ｔ１と時刻ｔ５との間の時刻ｔ２、ｔ３、ｔ４については、フレーム補間部１０６は、図９（ｃ）に模式的に示すように、補間フレームＧ(０)、Ｇ(１)、Ｇ(２)を生成して出力する。
【００６４】
続く入力映像フレームＦ(２)は図８に示したようにＦ(１)のフレーム更新期間ＦＴが「３」であるため、フレーム補間部１０６は、図９（ｃ）に模式的に示すように、入力映像フレームＦ（２）を、直前の映像フレームＦ(１)の出力時刻ｔ５の３フレーム後の時刻ｔ８で出力する。上記の時刻ｔ５と時刻ｔ８との間の時刻ｔ６、ｔ７については、フレーム補間部１０６は、図９（ｃ）に模式的に示すように、補間フレームＧ(３)、Ｇ(４)を生成して出力する。フレーム補間部１０６は、以下同様の動作を行う。映像表示部１５０は、図９（ｃ）に模式的に示したタイミングで同期して入力される右目映像信号と左目映像信号の各映像フレームを表示する。従って、フレーム補間部１０６が入力映像フレーム又は補間フレームを映像表示部１５０へ出力する時刻は、表示時刻に等しい。
【００６５】
以上のように、本実施の形態のステレオ映像信号制御装置１００によれば、視差変化量λが倍速率αより大きい入力映像フレームに対してはフレーム更新期間ＦＴを定常状態（表示映像フレームレートＰＦＲで表示する状態）よりも長くし、視差変化量λが倍速率αより小さい入力映像フレームに対してはフレーム更新期間ＦＴを定常状態よりも短くすることで、視差変化量を平均化でき、その結果、眼精疲労や不快感を低減させることができる。
【００６６】
また、本実施の形態のステレオ映像信号制御装置１００によれば、本来の入力映像の表示時刻からの遅延時間によって、補間フレームの数を制御することで本来のステレオ映像の持つ高臨場感と眼精疲労や不快感の低減を両立することができる。また、奥行き感を調整する必要がないため、本来のステレオ映像の持つ奥行き感を損なうことがなく、また、奥行き感を調整するための余計な装置が必要ない。
【００６７】
更に、本実施の形態のステレオ映像信号制御装置１００によれば、ヘッドマウントディスプレイなど個人で視聴するような環境に限定されず、リビングルームなどで１台のディスプレイを多人数で視聴するような環境でも、観察者全員に高臨場のステレオ映像を提供することができる。
【００６８】
（第２の実施の形態）
次に、本発明の第２の実施の形態について図面と共に説明する。
【００６９】
図１０は、本発明になるステレオ映像信号制御装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図１０において、第２の実施の形態のステレオ映像信号制御装置２００は、文字検出部１０１、視差量測定部１０２、視差変化量測定部１０３、フレームメモリ1０５、出力制御部２０１、フレーム更新期間訂正部２０２及びフレーム補間部１０６から構成される。本実施の形態のステレオ映像信号制御装置２００は、第１の実施の形態のステレオ映像信号制御装置１００の構成に加えてフレーム更新期間訂正部２０２を設けると共に、出力制御部２０１がフレーム更新期間訂正部２０２に対してフレーム更新期間ＦＴを供給し、また、フレーム更新期間訂正部２０２からの訂正されたフレーム更新期間ＦＴが入力される構成に特徴がある。
【００７０】
フレーム更新期間訂正部２０２は、端子１２０より最大遅延時間ＬＴmaxが設定される。フレーム更新期間訂正部２０２は、出力制御部２０１から入力されたフレーム更新期間ＦＴを、必要に応じて訂正して出力制御部２０１に供給する。
【００７１】
次に、フレーム更新期間訂正部２０２によるフレーム更新期間ＦＴの訂正方法について、図１１のフローチャートを併せ参照して詳細に説明する。図１１において、ステップＳ３１、Ｓ３２、Ｓ３３の出力制御部２０１の処理動作は、図６に示した第１の実施の形態のステップＳ２１、Ｓ２２、Ｓ２３の出力制御部１０４の処理動作と同じであるため、その説明は省略する。
【００７２】
フレーム更新期間訂正部２０２は、ステップＳ３２又はＳ３３により決定されたフレーム更新期間ＦＴが出力制御部２０１から入力されると、そのフレーム更新期間ＦＴと定常状態のフレーム更新期間ＦＴＯとから次式によって次フレームの遅延時間ＮＬＴを算出する（ステップＳ３４）。なお、次式において、ＬＴは入力映像フレームの遅延時間であり、初期値は「０」である。また、定常状態のフレーム更新期間ＦＴＯは、倍速率αに等しい。
【００７３】
ＮＬＴ＝ＬＴ＋（ＦＴ−ＦＴＯ） (12)
次に、フレーム更新期間訂正部２０２は、算出した次フレームの遅延時間ＮＬＴが端子１２０から入力された最大遅延時間ＬＴmaxよりも長いかどうか比較する（ステップＳ３５）。次フレームの遅延時間ＮＬＴが最大遅延時間ＬＴmaxよりも長いときは、フレーム更新期間訂正部２０２は、フレーム更新期間ＦＴが倍速率αよりも大きいかどうか比較する（ステップ３６）。そして、フレーム更新期間訂正部２０２は、フレーム更新期間ＦＴが倍速率αよりも大きければ、フレーム更新期間ＦＴを倍速率αと同じ値に訂正する（ステップＳ３７）。
【００７４】
その他の場合、すなわち、次フレームの遅延時間ＮＬＴが最大遅延時間ＬＴmax以下である場合（ステップＳ３５のＮＯ）、又はフレーム更新期間ＦＴが倍速率α以下である場合（ステップＳ３６のＮＯ）は、フレーム更新期間訂正部２０２は、フレーム更新期間ＦＴの訂正はしない。最後に、フレーム更新期間訂正部２０２は、フレーム更新期間ＦＴと定常状態のフレーム更新期間ＦＴＯとから次式により遅延時間ＬＴを算出する（ステップＳ３８）。
【００７５】
ＬＴ＝ＬＴ＋（ＦＴ−ＦＴＯ） (13)
このようにして、フレーム更新期間訂正部２０２において算出された遅延時間ＬＴは、図１０の出力制御部２０１に供給される。
【００７６】
次に、フレーム更新期間ＦＴの訂正の具体例について図１２及び図１３を併せ参照して詳細に説明する。図１２は、フレーム更新期間ＦＴの訂正動作を説明するタイミングチャートで、同図（ａ）は表示フレーム間隔、同図（ｂ）は入力映像フレーム、同図（ｃ）は定常状態の表示映像フレーム、同図（ｄ）は第１の実施の形態（実施形態１）による表示映像フレーム、同図（ｅ）は本実施の形態による表示映像フレームを模式的に示す。また、図１３は、遅延時間ＬＴ、訂正前のフレーム更新期間ＦＴ、次フレームの遅延時間ＮＬＴ、訂正後のフレーム更新期間ＦＴの入力映像フレーム単位の値の変化を示す。
【００７７】
まず、第１の実施の形態における表示映像フレームの遅延時間について説明する。図１に示した出力制御部１０４が、図１３の訂正前のフレーム更新期間ＦＴに示すように各入力映像フレームのフレーム更新期間ＦＴを決定したものとする。第１の実施の形態においては、出力制御部１０４が決定したフレーム更新期間ＦＴをそのまま利用するため、各表示映像フレームは、図１２（ｄ）に示すようになる。
【００７８】
従って、このときの定常状態の表示映像フレームに対する表示映像フレームの遅延時間ＬＴは、図１２（ｃ）、（ｄ）に示すように、表示映像フレームＦ（０）の遅延時間ＬＴ（０）は０フレーム、表示映像フレームＦ（１）の遅延時間ＬＴ（１）は２フレーム、表示映像フレームＦ（２）の遅延時間ＬＴ（２）は４フレーム、表示映像フレームＦ（３）の遅延時間ＬＴ（３）は６フレーム、表示映像フレームＦ（４）の遅延時間ＬＴ（４）は７フレームとなる。
【００７９】
次に、本実施の形態における表示映像フレームの遅延時間について説明する。図１０に示した出力制御部２０１が、上記と同様に図１３の訂正前のフレーム更新期間ＦＴに示すように各入力映像フレームのフレーム更新期間ＦＴを決定したものとする。
【００８０】
本実施の形態のステレオ映像信号制御装置２００は、前述したように、決定したフレーム更新期間ＦＴをそのまま用いるのではなく、（１２）式によりＦＴを用いて次フレームの更新期間ＮＬＴを算出し、その次フレームの更新期間ＮＬＴと最大遅延時間ＬＴmaxとを比較し、ＮＬＴがＬＴmaxより長く、かつ、ＦＴがαよりも大きければフレーム更新期間ＦＴを倍速率αと同じ値に訂正する。このため、最大遅延時間ＬＴmaxを４フレームとし、倍速率αを第１の実施の形態と同様に「２」とした場合、フレーム更新期間ＦＴは図１３に「訂正後ＦＴ」で示すように、次フレームの更新期間ＮＬＴが最大遅延時間ＬＴmaxを超える表示映像フレームＦ（２）、Ｆ（３）において「２フレーム」に訂正される。
【００８１】
従って、本実施の形態のステレオ映像信号制御装置２００によれば、各表示映像フレームは、図１２（ｅ）に示すようになる。このときの定常状態の表示映像フレームに対する表示映像フレームの遅延時間ＬＴは、図１２（ｃ）、（ｅ）に示すように、表示映像フレームＦ（０）の遅延時間ＬＴ（０）は０フレーム、表示映像フレームＦ（１）の遅延時間ＬＴ（１）は２フレーム、表示映像フレームＦ（２）の遅延時間ＬＴ（２）は４フレーム、表示映像フレームＦ（３）の遅延時間ＬＴ（３）は４フレーム、表示映像フレームＦ（４）の遅延時間ＬＴ（４）は４フレームとなる。
【００８２】
このように、本実施の形態によれば、最大遅延時間ＬＴmaxを設定することで、視差変化量が大きなシーンが連続する場合、第１の実施の形態ではＬＴ（３）、ＬＴ（４）が６フレーム、７フレームというように表示遅延が発生していたのに対し、ＬＴ（３）、ＬＴ（４）がそれぞれ最大遅延時間ＬＴmaxの４フレームに制限され、表示遅延が無制限に大きくなるのを防ぐことができる。また、本実施の形態も第１の実施の形態と同様の効果が得られる。すなわち、本実施の形態もフレーム更新期間ＦＴを視差変化量に応じて制御することで視差変化量を平均化するようにしているため、眼精疲労や不快感を低減させることができ、また、１台のディスプレイを多人数で視聴するような環境でも、観察者全員に高臨場のステレオ映像を提供することができる。
【００８３】
なお、本発明は以上の実施の形態に限定されるものではなく、以上の実施の形態の構成及び動作をコンピュータにより実行させるステレオ映像表示プログラムも包含するものである。このステレオ映像表示プログラムは、記録媒体からコンピュータに読み込むようにしてもよいし、ネットワークを介して配信されてコンピュータに取り込むようにしてもよく、更にはファームウェアとしてコンピュータに組み込まれるようにしてもよい。
【符号の説明】
【００８４】
１００、２００ ステレオ映像信号制御装置
１０１ 文字検出部
１０２ 視差量測定部
１０３ 視差変化量測定部
１０４、２０１ 出力制御部
１０５ フレームメモリ
１０６ フレーム補間部
１１０、１２０ 端子
１５０ 映像表示部
２０２ フレーム更新期間訂正部
【技術分野】
【０００１】
本発明はステレオ映像信号制御方法、制御装置及び制御プログラムに係り、特に入力映像のフレームレートよりも高い表示映像フレームレートを持つような表示装置により立体映像であるステレオ映像を表示させるステレオ映像信号制御方法、制御装置及び制御プログラムに関する。
【背景技術】
【０００２】
従来から両眼視差を利用した様々なステレオ映像表示方式が提案されている。代表的な方式として、観察者が液晶シャッター眼鏡あるいは偏光眼鏡をかけて立体映像（ステレオ映像）を観察する両眼視差を利用したステレオ映像方式がある。液晶シャッターを用いるステレオ映像方式では、左目用の映像と右目用の映像とをモニタ上に時分割で表示し、液晶シャッター眼鏡をかけた観察者が、左目用の映像を左目で、右目用の映像を右目で見ることにより立体映像を観察する。また、偏光眼鏡を用いるステレオ映像方式では、左目用の視差映像と右目用の視差映像とを空間分割でモニタ上に表示し、偏光眼鏡をかけた観察者が左目用の視差映像を左目で、右目用の視差映像を右目で見ることにより立体映像を観察する。
【０００３】
このような両眼視差を利用したステレオ映像方式の視聴において、観察者が眼精疲労や不快感を生じることが知られている。眼精疲労や不快感を生じる主原因の一つに輻輳と調整の不整合がある。輻輳と調整の不整合について簡単に説明する。人間は両眼の視線を立体像に集中させる（輻輳距離）。一方で、人間の目の水晶体はモニタ上の像にピントを調整する（調整距離）。自然界の状態では輻輳距離と調整距離は一致しているが、両眼視差を利用したモニタでは輻輳距離と調整距離が一致しない。この不整合のために、眼精疲労や不快感が生じることが知られている。また、この輻輳と調整の不整合が長時間連続する場合や急激に変化する場合に眼精疲労や不快感が強くなることが知られている。
【０００４】
このような輻輳と調整の不整合を軽減させるための発明が従来よりなされている。
【０００５】
特許文献１記載の発明では、右目用映像と奥行き情報とから左目用映像を生成するとき、奥行き情報が大きく変化する瞬間をシーンチェンジとして検出し、大きく変化する奥行き情報を緩やかに変換し、輻輳と調整の不整合を軽減している。
【０００６】
特許文献２記載の発明では、視差を検出し、検出した視差量に応じて疲労度を評価し、評価した疲労度に応じて平面映像とステレオ映像とを切り替えることで、輻輳と調整の不整合を軽減している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−４０４２０号公報
【特許文献２】特開平１１−３５５８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１記載の発明では、左目用映像を右目用映像から生成するため、本来左目用映像と右目用映像からなるステレオ映像に適用した場合には、本来のステレオ映像とは異なる奥行き感となり、本来のステレオ映像の持つ高臨場なステレオ映像を実現することができない。また、左目用映像を右目用映像から作成する処理が必要となる。
【０００９】
また、特許文献２記載の発明では、ヘッドマウントディスプレイなど個人で視聴するような環境であれば問題ないが、リビングルームなどで１台のディスプレイを多人数で視聴するような環境の場合に、各個人の疲労度の相違によって、本来視聴可能な高臨場のステレオ映像を見ることができない人が発生する。
【００１０】
本発明は以上の点に鑑みなされたもので、複数の観察者が視聴した場合でも、各個人が眼精疲労をあまり感じることのない高臨場なステレオ映像を表示し得るステレオ映像信号制御方法、制御装置及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、第１の発明のステレオ映像信号制御方法は、入力されるステレオ映像信号の備える右目用映像信号と左目用映像信号との間の視差量を、フレーム毎に測定する第１のステップと、第１のステップで測定された視差量のフレーム間における視差の時間変化量である視差変化量を測定する第２のステップと、第２のステップにより測定された視差変化量が大きいほど、入力されるステレオ映像信号の備える右目用映像信号及び左目用映像信号のフレーム更新期間が、入力時の定常状態のフレーム更新期間よりも長く設定された最大値までの範囲内で長くなり、視差変化量が小さいほど、右目用映像信号及び左目用映像信号のフレーム更新期間が、定常状態のフレーム更新期間よりも短い最小値として設定された所定の表示フレーム期間までの範囲内で短くなるように、フレーム更新期間を決定する第３のステップと、入力されるステレオ映像信号の備える右目用映像信号及び左目用映像信号のフレーム更新期間が、第３のステップで決定したフレーム更新期間となるように、右目用映像信号及び左目用映像信号に対する調整時間をフレーム単位で制御し、そのフレーム更新期間が制御された右目用映像信号及び左目用映像信号における所定の表示フレーム期間よりも長いフレーム更新期間に、右目用映像信号及び左目用映像信号のそれぞれに対して生成した補間フレームを挿入して、ステレオ映像信号を所定の表示フレーム期間の信号とする第４のステップとを含むことを特徴とする。
【００１２】
また、上記目的を達成するため、第１の発明のステレオ映像信号制御方法は、入力される右目用映像信号及び左目用映像信号の予め設定した画面領域の映像情報に文字情報を含むか否かを検出する第５のステップを更に含み、第４のステップは、第５のステップにより文字情報を含むことが検出された右目用映像信号及び左目用映像信号に対しては、フレーム更新期間が定常状態のフレーム更新期間となるように調整時間を制御し、第５のステップにより文字情報を含まないことが検出された右目用映像信号及び左目用映像信号に対しては、予め設定された最小値から最大値の範囲内で視差変化量に応じてフレーム更新期間を設定するように、調整時間をフレーム単位で制御することを特徴とする。
【００１３】
また、上記の目的を達成するため、第３の発明のステレオ映像信号制御方法は、上記第４のステップは、フレーム更新期間の設定対象であるフレームにおいて、視差変化量に応じて設定されたフレーム更新期間と、その設定されたフレーム更新期間が得られるように右目用映像信号及び左目用映像信号に与えられる調整時間と、定常状態のフレーム更新期間とから、設定対象であるフレームの次のフレームにおける、全フレーム更新期間が定常状態である場合に対する遅延時間を算出し、次のフレームの遅延時間が予め設定された最大遅延時間よりも長く、かつ、設定されたフレーム更新期間が定常状態のフレーム更新期間よりも長いときは、設定されたフレーム更新期間を、定常状態のフレーム更新期間に訂正することを特徴とする。
【００１４】
また、上記の目的を達成するため、第４の発明のステレオ映像信号制御装置は、入力されるステレオ映像信号の備える右目用映像信号と左目用映像信号との間の視差量を、フレーム毎に測定する視差量測定手段と、視差量測定手段から入力される視差量のフレーム間における視差の時間変化量である視差変化量を測定する視差変化量測定手段と、入力される右目用映像信号及び左目用映像信号のそれぞれに対して生成した補間フレームを、入力される右目用映像信号及び左目用映像信号のそれぞれに挿入し、フレーム期間を所定の表示フレーム期間としたステレオ映像信号を出力するフレーム補間手段と、視差変化量測定手段により測定された視差変化量が大きいほど、入力されるステレオ映像信号の備える右目用映像信号及び左目用映像信号のフレーム更新期間が、入力時の定常状態のフレーム更新期間よりも長く設定された最大値までの範囲内で長くなり、視差変化量が小さいほど、右目用映像信号及び左目用映像信号のフレーム更新期間が、定常状態のフレーム更新期間よりも短い最小値として設定された所定の表示フレーム期間までの範囲内で短くなるように、フレーム補間手段による右目用映像信号及び左目用映像信号に対する調整時間をフレーム単位で制御し、そのフレーム更新期間が制御された右目用映像信号及び左目用映像信号における所定の表示フレーム期間よりも長いフレーム更新期間に補間フレームを挿入させて、ステレオ映像信号が所定の表示フレーム期間の信号として出力されるように、フレーム補間手段を制御する出力制御手段とを有することを特徴とする。
【００１５】
また、上記の目的を達成するため、第５の発明のステレオ映像信号制御装置は、入力される右目用映像信号及び左目用映像信号の予め設定した画面領域の映像情報に文字情報を含むか否かを検出する文字検出手段を更に有し、出力制御手段は、文字検出手段により文字情報を含むことが検出された右目用映像信号及び左目用映像信号に対しては、フレーム更新期間が定常状態のフレーム更新期間となるように、フレーム補間手段による調整時間を制御し、文字検出手段により文字情報を含まないことが検出された右目用映像信号及び左目用映像信号に対しては、予め設定された最小値から最大値の範囲内で視差変化量に応じてフレーム更新期間を設定するように、フレーム補間手段による調整時間をフレーム単位で制御することを特徴とする。
【００１６】
また、上記の目的を達成するため、第６の発明のステレオ映像信号制御装置は、上記出力制御手段は、フレーム更新期間の設定対象であるフレームにおいて、視差変化量に応じて設定されたフレーム更新期間と、その設定されたフレーム更新期間が得られるようにフレーム補間手段において右目用映像信号及び左目用映像信号に与えられる調整時間と、定常状態のフレーム更新期間とから、設定対象であるフレームの次のフレームにおける、全フレーム更新期間が定常状態である場合に対する遅延時間を算出し、次のフレームの遅延時間が予め設定された最大遅延時間よりも長く、かつ、設定されたフレーム更新期間が定常状態のフレーム更新期間よりも長いときは、設定されたフレーム更新期間を、定常状態のフレーム更新期間に訂正することを特徴とする。
【００１７】
更に、上記の目的を達成するため、本発明のステレオ映像信号制御プログラムは、第１の発明のステレオ映像信号制御方法における各ステップをコンピュータにより実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、ステレオ映像信号の視差変化量が大きいフレームではフレーム更新期間を定常状態よりも長くし、視差変化量が小さいフレームではフレーム更新期間を定常状態よりも短くすることで、ステレオ映像の視聴の際の視差変化量を平均化でき、観察者の眼精疲労や不快感を低減させることができる。
【００１９】
また、本発明によれば、リビングルームなどで１台のディスプレイを多人数で視聴するような環境の場合でも、観察者全員に高臨場のステレオ映像を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明のステレオ映像信号制御装置の第１の実施の形態のブロック図である。
【図２】図１に示す本発明装置の動作説明用フローチャートである。
【図３】図１のフレーム補間部の動作の一例を説明する図である。
【図４】図１のフレーム補間部の動作の他の例を説明する図である。
【図５】定常状態の入力映像フレームと表示映像フレームとの関係の一例を説明するタイミングチャートである。
【図６】図１に示す本発明装置のフレーム更新期間ＦＴの決定方法の一例を説明するフローチャートである。
【図７】フレーム更新期間ＦＴに関する関数の一例を示す図である。
【図８】図１に示す本発明装置のフレーム更新期間ＦＴの決定例を示す図である。
【図９】図１に示す本発明装置による入力映像フレームと表示映像フレームとの関係を説明するタイミングチャートである。
【図１０】本発明のステレオ映像信号制御装置の第２の実施の形態のブロック図である。
【図１１】図１０に示す本発明装置のフレーム更新期間ＦＴの決定方法の一例を説明するフローチャートである。
【図１２】図１０に示す本発明装置の入力映像フレームと表示映像フレームとの関係を説明するタイミングチャートである。
【図１３】図１０に示す本発明装置のフレーム更新期間ＦＴの決定例を示す図である。
【発明を実施するための形態】
【００２１】
次に、本発明の実施の形態について図面と共に説明する。
【００２２】
（第１の実施の形態）
図１は本発明になるステレオ映像信号制御装置の第１の実施の形態のブロック図を示す。同図に示すように、第１の実施の形態のステレオ映像信号制御装置１００は、文字検出部１０１、視差量測定部１０２、視差変化量測定部１０３、出力制御部１０４、フレームメモリ１０５及びフレーム補間部１０６から構成される。
【００２３】
ステレオ映像信号制御装置１００には右目用映像信号と左目用映像信号がそれぞれフレーム単位で入力される。例えば、右目用映像信号と左目用映像信号がインタレース信号である場合には事前にプログレッシブ化されていることを前提とする。映像表示部１５０は、フレーム補間部１０６から出力される左目用映像信号と右目用映像信号とをそれぞれ公知の両眼視差を利用したステレオ映像方式で表示する。
【００２４】
次に、本実施の形態のステレオ映像信号制御装置１００の動作について図２のフローチャート等を併せ参照して説明する。
【００２５】
右目用映像信号は、文字検出部１０１、視差量測定部１０２及びフレームメモリ１０５に供給される。一方、左目用映像信号は、視差量測定部１０２及びフレームメモリ１０５に供給され、文字検出部１０１には供給されない。なお、右目用映像信号と左目用映像信号の供給先を逆にしてもよい。
【００２６】
文字検出部１０１は、入力された右目用映像信号の予め設定した所定領域の輝度レベルについてブロック単位でヒストグラムを求めるなどして、フレーム内の文字の有無を検出する（ステップＳ１１）。文字検出部１０１は、上記のヒストグラムが或る特定ブロックで周辺ブロックに比べて所定の閾値より大きいとき、文字が有ると検出する。文字検出部１０１は、フレーム内の所定領域から検出した文字の有無情報Ｌを出力制御部１０４に供給する。なお、上記の所定領域は、一般的に字幕などの文字が頻繁に表示される領域であるが、画面全体の領域であってもよい。
【００２７】
視差量測定部１０２は、入力された右目用映像信号と左目用映像信号との間の視差量を測定する（ステップＳ１２）。視差量測定部１０２は、右目用映像信号及び左目用映像信号の一画面領域をそれぞれ矩形の複数のブロックに分割したときの各ブロックのうち、両映像信号の対応するブロック同士毎に求めた視差量について、フレーム全体の平均値、フレーム内の最大値、１つ又は複数の注目点の視差量の最大値などのうち、予め定めた値を代表視差量Ｐとする視差量測定を行う。視差量測定部１０２は、測定した代表視差量Ｐを視差変化量測定部１０３に供給する。
【００２８】
ここで、視差量の測定方法の一例について更に説明する。周知の通り、ステレオ映像における視差は、右目用映像信号と左目用映像信号との間における水平方向のずれ量として観測できる。従って、視差の測定は、対象画素ブロックの水平位置と同じ水平線（エピポーラライン）上を、例えば水平方向４画素、垂直方向４画素のブロック単位でブロックマッチングにより測定する。
【００２９】
視差変化量測定部１０３は、視差量測定部１０２から入力された代表視差量Ｐのフレーム間における視差の時間変化量である視差変化量λを求める（ステップＳ１３）。ここで、視差変化量測定部１０３は、時刻iの視差変化量λ（ｉ）を、時刻ｉの代表視差量Ｐ（ｉ）と時刻ｉ−１の代表視差量Ｐ（ｉ−１）とから次式のように算出する。
【００３０】
λ(i)＝P(i) − P(i-1) （１）
視差変化量測定部１０３は、求めた視差変化量λを出力制御部１０４に供給する。
【００３１】
出力制御部１０４は、端子１１０より映像表示部１５０の表示映像フレームレートＰＦＲ、入力映像信号の入力映像フレームレートＩＦＲ、及びフレーム更新期間倍率βが設定される。出力制御部１０４は、これらの入力映像フレームレートＩＦＲ、表示映像フレームレートＰＦＲ、及びフレーム更新期間倍率βと、文字検出部１０１から入力された文字の有無情報Ｌ、視差変化量測定部１０３から入力された視差変化量λとに応じてフレーム更新期間ＦＴを決定する（ステップＳ１４）。ここで、フレーム更新期間ＦＴは、ステレオ映像信号制御装置１００に入力された右目用映像信号及び左目用映像信号がそれぞれ元々有するフレームにおける、ステレオ映像信号制御装置１００から映像表示部１５０へ出力されるときのそれぞれの信号でのフレーム間隔を示す。出力制御部１０４は、フレーム補間部１０６にフレーム更新期間ＦＴを供給する。なお、出力制御部１０４の詳細な動作については後述する。
【００３２】
フレームメモリ１０５は、入力される右目用映像信号と左目用映像信号とをそれぞれ１フレーム分一時的に記憶し、フレーム補間部１０６に空きがあれば１フレーム分の右目用映像と左目用映像信号とをフレーム補間部１０６に供給する。フレームメモリ１０５は、フレーム補間部１０６に空きがなければ、フレーム補間部１０６に空きができるまで右目用映像信号と左目用映像信号とをフレーム単位で保持し、フレーム補間部１０６に空きができれば時間的に古いフレームの右目用映像信号及び左目用映像信号からフレーム補間部１０６に供給する。
【００３３】
フレーム補間部１０６は、フレームメモリ１０５から入力された右目用映像信号と左目用映像信号の各フレームを最大でそれぞれ２フレーム分記憶し、出力制御部１０４からのフレーム更新期間ＦＴに従って右目用映像信号と左目用映像信号の各フレームをそれぞれ出力する。フレーム補間部１０６内の出力後の右目用映像信号と左目用映像信号の各フレームは、フレーム更新期間ＦＴの経過後に削除される。また、フレーム補間部１０６は、フレーム更新期間ＦＴの間に表示時刻があれば、右目用映像信号と左目用映像信号それぞれの補間フレームを生成して出力する（ステップＳ１５）。これにより、フレーム補間部１０６は、右目用映像信号及び左目用映像信号からなるステレオ映像信号、又はそれらの補間フレームからなるステレオ映像信号を所定の表示フレーム期間（所定の表示フレームレート）でフレーム単位に出力する。
【００３４】
ここで、フレーム補間部１０６による補間フレーム生成方法の一例について図３及び図４を用いて説明する。図３は、内挿的な補間方法を説明する図である。フレーム補間部１０６は、内挿的な補間方法で補間フレームを生成する場合は、まず、入力映像フレームＦ（ｋ）を例えば、水平方向４画素、垂直方向４画素のブロック単位に分割し、参照フレームを入力映像フレームＦ（ｋ−１）としてそれぞれのブロックについて一般的なブロックマッチング方法によって、図３（ａ）に示すような動きベクトルＭＶＦ（ｋ）を求める。
【００３５】
いま、入力映像フレームＦ（ｋ−１）とＦ（ｋ）のフレーム期間が「４」、入力映像フレームＦ（ｋ−１）と補間フレームＧ（ｋ）のフレーム期間が「１」であるとすると、フレーム補間部１０６は、補間フレームＧ（ｋ）の動きベクトルＭＶＧ（ｋ）を次式で求め、動き補償予測により補間フレームＧ（ｋ）を生成する。
【００３６】
ＭＶＧ(ｋ)＝ＭＶＦ(ｋ)×１／４ （２）
図３（ｂ）は、補間フレームＧ（ｋ）の動きベクトルＭＶＧ（ｋ）と動きベクトルＭＶＦ（ｋ）との関係を示す。
【００３７】
フレーム補間部１０６は、補間フレームＧ（ｋ＋１）、Ｇ（ｋ＋２）の各々の動きベクトルＭＶＧ（ｋ＋１）、ＭＶＧ（ｋ＋２）も同様に次式で求める。
【００３８】
ＭＶＧ(ｋ＋１)＝ＭＶＦ(ｋ)×２／４ （３）
ＭＶＧ(ｋ＋２)＝ＭＶＦ(ｋ)×３／４ （４）
図４は、外挿的な補間方法を説明する図である。フレーム補間部１０６は、外挿的な補間方法で補間フレームを生成する場合は、まず、入力映像フレームＦ（ｋ）を例えば、水平方向４画素、垂直方向４画素のブロック単位に分割し、参照フレームを入力映像フレームＦ（ｋ−１）としてそれぞれのブロックについて一般的なブロックマッチング方法によって、図４（ａ）に示すような動きベクトルＭＶＦ（ｋ）を求める。
【００３９】
いま、入力映像フレームＦ（ｋ−１）とＦ（ｋ）のフレーム期間が「１」、入力映像フレームＦ（ｋ−１）と補間フレームＧ（ｋ）のフレーム期間が「２」であるとすると、フレーム補間部１０６は、補間フレームＧ（ｋ）の動きベクトルＭＶＧ（ｋ）を次式で求め、動き補償予測により補間フレームＧ（ｋ）を生成する。
【００４０】
ＭＶＧ(ｋ)＝ＭＶＦ(ｋ)×２ （５）
図４（ｂ）は、補間フレームＧ（ｋ）の動きベクトルＭＶＧ（ｋ）と動きベクトルＭＶＦ（ｋ）との関係を示す。
【００４１】
フレーム補間部１０６は、補間フレームＧ（ｋ＋１）、Ｇ（ｋ＋２）の各々の動きベクトルＭＶＧ（ｋ＋１）、ＭＶＧ（ｋ＋２）も同様に次式で求める。
【００４２】
ＭＶＧ(ｋ＋１)＝ＭＶＦ(ｋ)×３ （６）
ＭＶＧ(ｋ＋２)＝ＭＶＦ(ｋ)×４ （７）
以下、本実施の形態では特に断らない限り、内挿的な補間方法を用いた場合について説明する。なお、フレーム補間部１０６の出力制御の詳細な動作については後述する。
【００４３】
映像表示部１５０は、フレーム補間部１０６から入力された右目用映像信号と左目用映像信号の各フレームをそれぞれ公知の両眼視差を利用したステレオ映像方式で表示する（ステップＳ１６）。
【００４４】
次に、本実施の形態の各部について詳細に説明する。
【００４５】
最初に、表示映像フレームレートＰＦＲと入力映像フレームレートＩＦＲの関係について説明する。表示映像フレームレートＰＦＲは、映像表示部１５０の表示映像フレームレートである。入力映像フレームレートＩＦＲは、ステレオ映像信号制御装置１００に入力されるプログレッシブ化されたステレオ映像信号（右目用映像信号及び左目用映像信号）のフレームレートである。この入力映像フレームレートＩＦＲは、ステレオ映像信号制御装置１００に入力される右目用映像信号及び左目用映像信号の元々の定常状態のフレーム更新期間に対応したレートである。
【００４６】
表示映像フレームレートＰＦＲと入力映像フレームレートＩＦＲとの比を倍速率αとすると、次式の関係が成り立つ。
【００４７】
α＝ＰＦＲ／ＩＦＲ （ＰＦＲ≧ＩＦＲ） （８）
本実施の形態では、入力映像フレームレートＩＦＲを６０（フレーム／秒）、表示映像フレームレートＰＦＲを１２０（フレーム／秒）とする。従って、本実施の形態の倍速率αは（８）式から「２」となる。ただし、表示映像フレームレートＰＦＲと入力映像フレームレートＩＦＲは、上記の例に限定されるものではない。
【００４８】
次に、視差変化量が変化しない定常状態の場合の入力映像フレームと表示映像フレームとの関係について図５を用いて説明する。図５（ａ）は表示映像フレームレートＰＦＲの表示フレーム間隔、図５（ｂ）は入力映像フレームレートＩＦＲの入力映像フレーム、図５（ｃ）は表示映像フレームレートＰＦＲの表示映像フレームの様子を模式的に示している。なお、図５は右目用映像信号の様子を示しているが、左目用映像信号についても同様である。
【００４９】
図５（ｂ）に示す入力映像フレームは、時刻ｔ(ｉ)でフレームＦ(ｊ)が入力され、時刻ｔ(ｉ+２)でフレームＦ(ｊ＋１)が入力され、以下、時刻ｔ(ｉ＋ｎ)でフレームＦ(ｊ＋ｎ／２)が入力される様子を示している（ｎ＝０，１，２，３，・・・）。
【００５０】
図５（ｃ）に示す表示映像フレームは、時刻ｔ(ｉ＋１)でフレームＦ(ｊ)が表示され、時刻ｔ(ｉ＋２)で補間フレームＧ(ｊ)が表示され、時刻ｔ(ｉ+３)でフレームＦ(ｊ＋１)が表示され、時刻ｔ(ｉ+４)で補間フレームＧ(ｊ＋１)が表示され、以下順次表示されるフレームの様子を示している。
【００５１】
ここで、補間フレームＧ(ｊ)はフレームＦ(ｊ)とフレームＦ(ｊ＋１)とから内挿的に補間され、補間フレームＧ(ｊ＋１)は同様にフレームＦ(ｊ＋１)とフレームＦ(ｊ＋２)とから補間されるとする。なお、補間フレームを作成するため遅延が生じ、フレームＦ(ｊ)を表示する時刻は図５（ｃ）に示すように、時刻ｔ(ｉ＋１)となる。
【００５２】
なお、外挿的に補間フレームを生成する場合には遅延をなくすことも可能である。
【００５３】
次に、出力制御部１０４の前記ステップＳ１４によるフレーム更新期間ＦＴの決定動作について詳細に説明する。
【００５４】
最初に、出力制御部１０４は、フレーム更新期間ＦＴの最小値ＦＴminと最大値ＦＴmaxとを、倍速率α及びフレーム更新期間倍率βから次式により求める。
【００５５】
ＦＴmin＝１ （９）
ＦＴmax＝α×β (10)
フレーム更新期間ＦＴは、ＦＴminとＦＴmaxとの間の整数値をとるものとする。本実施の形態では（８）式からα＝２、図５（ｃ）からβ＝２であるため、(10)式からＦＴmax＝４となる。
【００５６】
なお、フレーム更新期間倍率βは、フレーム更新期間の最大値ＦＴmaxを調整するためのパラメータである。このフレーム更新期間倍率βを大きくすることでフレーム更新期間の最大値ＦＴmaxを大きくして、フレームの表示速度をよりゆっくりと見易く調整できる。
【００５７】
次に、出力制御部１０４は、フレーム単位で文字の有無情報Ｌ及び視差変化量λからフレーム更新期間ＦＴを決定し、決定したフレーム更新期間ＦＴをフレーム補間部１０６に供給する。
【００５８】
フレーム更新期間ＦＴの決定方法について、図６に示すフローチャートを用いて説明する。出力制御部１０４は、最初に、文字の有無情報ＬがＹＥＳ（文字が有）であるかどうか検査する（ステップＳ２１）。
【００５９】
文字の有無情報ＬがＹＥＳである場合は、フレーム更新期間ＦＴを倍速率αと同じ値に設定する（ステップＳ２２）。これによって、テロップが流れるような入力映像フレームに対しては、そのフレーム表示期間を定常状態とすることができる。
【００６０】
文字の有無情報ＬがＮＯ（文字が無）である場合は、出力制御部１０４は、フレーム更新期間ＦＴを次式により求める（ステップＳ２３）。
【００６１】
ＦＴ＝ｆ（λ） (11)
ここで、(11)式においてｆ（λ）は暫定フレーム期間で、図７に示すように視差変化量λに比例してＦＴmin（ここでは、１）からＦＴmax（ここでは、４）まで自然数単位で変化し、かつ、ＦＴ＝α（ここでは、２）が最も選択され易い特性を持つ関数である。
【００６２】
次に、フレーム補間部１０６の動作について図８、図９を用いて詳細に説明する。図８は、フレーム更新期間ＦＴの決定例を示す図、図９は、本実施の形態のステレオ映像信号制御装置１００による入力映像フレームと表示映像フレームとの関係を説明するタイミングチャートを示す。
【００６３】
例えば、出力制御部１０４によってＦ(０)からＦ(７)までの各入力映像フレームのフレーム更新期間ＦＴが図８のように決定したとする。このとき、フレーム補間部１０６は、図９（ｃ）に模式的に示すように映像フレームが表示されるように、入力映像フレームを出力する。すなわち、フレーム補間部１０６は、最初に図９（ｂ）に模式的に示す時刻ｔ０の入力映像フレームＦ(０)を、同図（ｃ）に模式的に示すように時刻ｔ１で出力する。続いて、フレーム補間部１０６は、同図（ｂ）に模式的に示す時刻ｔ２の入力映像フレームＦ(１)を、Ｆ(０)のフレーム更新期間ＦＴが「４」であるため同図（ｃ）に模式的に示すように、Ｆ（０）の出力時刻ｔ１の４フレーム後の時刻ｔ５で出力する。上記の時刻ｔ１と時刻ｔ５との間の時刻ｔ２、ｔ３、ｔ４については、フレーム補間部１０６は、図９（ｃ）に模式的に示すように、補間フレームＧ(０)、Ｇ(１)、Ｇ(２)を生成して出力する。
【００６４】
続く入力映像フレームＦ(２)は図８に示したようにＦ(１)のフレーム更新期間ＦＴが「３」であるため、フレーム補間部１０６は、図９（ｃ）に模式的に示すように、入力映像フレームＦ（２）を、直前の映像フレームＦ(１)の出力時刻ｔ５の３フレーム後の時刻ｔ８で出力する。上記の時刻ｔ５と時刻ｔ８との間の時刻ｔ６、ｔ７については、フレーム補間部１０６は、図９（ｃ）に模式的に示すように、補間フレームＧ(３)、Ｇ(４)を生成して出力する。フレーム補間部１０６は、以下同様の動作を行う。映像表示部１５０は、図９（ｃ）に模式的に示したタイミングで同期して入力される右目映像信号と左目映像信号の各映像フレームを表示する。従って、フレーム補間部１０６が入力映像フレーム又は補間フレームを映像表示部１５０へ出力する時刻は、表示時刻に等しい。
【００６５】
以上のように、本実施の形態のステレオ映像信号制御装置１００によれば、視差変化量λが倍速率αより大きい入力映像フレームに対してはフレーム更新期間ＦＴを定常状態（表示映像フレームレートＰＦＲで表示する状態）よりも長くし、視差変化量λが倍速率αより小さい入力映像フレームに対してはフレーム更新期間ＦＴを定常状態よりも短くすることで、視差変化量を平均化でき、その結果、眼精疲労や不快感を低減させることができる。
【００６６】
また、本実施の形態のステレオ映像信号制御装置１００によれば、本来の入力映像の表示時刻からの遅延時間によって、補間フレームの数を制御することで本来のステレオ映像の持つ高臨場感と眼精疲労や不快感の低減を両立することができる。また、奥行き感を調整する必要がないため、本来のステレオ映像の持つ奥行き感を損なうことがなく、また、奥行き感を調整するための余計な装置が必要ない。
【００６７】
更に、本実施の形態のステレオ映像信号制御装置１００によれば、ヘッドマウントディスプレイなど個人で視聴するような環境に限定されず、リビングルームなどで１台のディスプレイを多人数で視聴するような環境でも、観察者全員に高臨場のステレオ映像を提供することができる。
【００６８】
（第２の実施の形態）
次に、本発明の第２の実施の形態について図面と共に説明する。
【００６９】
図１０は、本発明になるステレオ映像信号制御装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図１０において、第２の実施の形態のステレオ映像信号制御装置２００は、文字検出部１０１、視差量測定部１０２、視差変化量測定部１０３、フレームメモリ1０５、出力制御部２０１、フレーム更新期間訂正部２０２及びフレーム補間部１０６から構成される。本実施の形態のステレオ映像信号制御装置２００は、第１の実施の形態のステレオ映像信号制御装置１００の構成に加えてフレーム更新期間訂正部２０２を設けると共に、出力制御部２０１がフレーム更新期間訂正部２０２に対してフレーム更新期間ＦＴを供給し、また、フレーム更新期間訂正部２０２からの訂正されたフレーム更新期間ＦＴが入力される構成に特徴がある。
【００７０】
フレーム更新期間訂正部２０２は、端子１２０より最大遅延時間ＬＴmaxが設定される。フレーム更新期間訂正部２０２は、出力制御部２０１から入力されたフレーム更新期間ＦＴを、必要に応じて訂正して出力制御部２０１に供給する。
【００７１】
次に、フレーム更新期間訂正部２０２によるフレーム更新期間ＦＴの訂正方法について、図１１のフローチャートを併せ参照して詳細に説明する。図１１において、ステップＳ３１、Ｓ３２、Ｓ３３の出力制御部２０１の処理動作は、図６に示した第１の実施の形態のステップＳ２１、Ｓ２２、Ｓ２３の出力制御部１０４の処理動作と同じであるため、その説明は省略する。
【００７２】
フレーム更新期間訂正部２０２は、ステップＳ３２又はＳ３３により決定されたフレーム更新期間ＦＴが出力制御部２０１から入力されると、そのフレーム更新期間ＦＴと定常状態のフレーム更新期間ＦＴＯとから次式によって次フレームの遅延時間ＮＬＴを算出する（ステップＳ３４）。なお、次式において、ＬＴは入力映像フレームの遅延時間であり、初期値は「０」である。また、定常状態のフレーム更新期間ＦＴＯは、倍速率αに等しい。
【００７３】
ＮＬＴ＝ＬＴ＋（ＦＴ−ＦＴＯ） (12)
次に、フレーム更新期間訂正部２０２は、算出した次フレームの遅延時間ＮＬＴが端子１２０から入力された最大遅延時間ＬＴmaxよりも長いかどうか比較する（ステップＳ３５）。次フレームの遅延時間ＮＬＴが最大遅延時間ＬＴmaxよりも長いときは、フレーム更新期間訂正部２０２は、フレーム更新期間ＦＴが倍速率αよりも大きいかどうか比較する（ステップ３６）。そして、フレーム更新期間訂正部２０２は、フレーム更新期間ＦＴが倍速率αよりも大きければ、フレーム更新期間ＦＴを倍速率αと同じ値に訂正する（ステップＳ３７）。
【００７４】
その他の場合、すなわち、次フレームの遅延時間ＮＬＴが最大遅延時間ＬＴmax以下である場合（ステップＳ３５のＮＯ）、又はフレーム更新期間ＦＴが倍速率α以下である場合（ステップＳ３６のＮＯ）は、フレーム更新期間訂正部２０２は、フレーム更新期間ＦＴの訂正はしない。最後に、フレーム更新期間訂正部２０２は、フレーム更新期間ＦＴと定常状態のフレーム更新期間ＦＴＯとから次式により遅延時間ＬＴを算出する（ステップＳ３８）。
【００７５】
ＬＴ＝ＬＴ＋（ＦＴ−ＦＴＯ） (13)
このようにして、フレーム更新期間訂正部２０２において算出された遅延時間ＬＴは、図１０の出力制御部２０１に供給される。
【００７６】
次に、フレーム更新期間ＦＴの訂正の具体例について図１２及び図１３を併せ参照して詳細に説明する。図１２は、フレーム更新期間ＦＴの訂正動作を説明するタイミングチャートで、同図（ａ）は表示フレーム間隔、同図（ｂ）は入力映像フレーム、同図（ｃ）は定常状態の表示映像フレーム、同図（ｄ）は第１の実施の形態（実施形態１）による表示映像フレーム、同図（ｅ）は本実施の形態による表示映像フレームを模式的に示す。また、図１３は、遅延時間ＬＴ、訂正前のフレーム更新期間ＦＴ、次フレームの遅延時間ＮＬＴ、訂正後のフレーム更新期間ＦＴの入力映像フレーム単位の値の変化を示す。
【００７７】
まず、第１の実施の形態における表示映像フレームの遅延時間について説明する。図１に示した出力制御部１０４が、図１３の訂正前のフレーム更新期間ＦＴに示すように各入力映像フレームのフレーム更新期間ＦＴを決定したものとする。第１の実施の形態においては、出力制御部１０４が決定したフレーム更新期間ＦＴをそのまま利用するため、各表示映像フレームは、図１２（ｄ）に示すようになる。
【００７８】
従って、このときの定常状態の表示映像フレームに対する表示映像フレームの遅延時間ＬＴは、図１２（ｃ）、（ｄ）に示すように、表示映像フレームＦ（０）の遅延時間ＬＴ（０）は０フレーム、表示映像フレームＦ（１）の遅延時間ＬＴ（１）は２フレーム、表示映像フレームＦ（２）の遅延時間ＬＴ（２）は４フレーム、表示映像フレームＦ（３）の遅延時間ＬＴ（３）は６フレーム、表示映像フレームＦ（４）の遅延時間ＬＴ（４）は７フレームとなる。
【００７９】
次に、本実施の形態における表示映像フレームの遅延時間について説明する。図１０に示した出力制御部２０１が、上記と同様に図１３の訂正前のフレーム更新期間ＦＴに示すように各入力映像フレームのフレーム更新期間ＦＴを決定したものとする。
【００８０】
本実施の形態のステレオ映像信号制御装置２００は、前述したように、決定したフレーム更新期間ＦＴをそのまま用いるのではなく、（１２）式によりＦＴを用いて次フレームの更新期間ＮＬＴを算出し、その次フレームの更新期間ＮＬＴと最大遅延時間ＬＴmaxとを比較し、ＮＬＴがＬＴmaxより長く、かつ、ＦＴがαよりも大きければフレーム更新期間ＦＴを倍速率αと同じ値に訂正する。このため、最大遅延時間ＬＴmaxを４フレームとし、倍速率αを第１の実施の形態と同様に「２」とした場合、フレーム更新期間ＦＴは図１３に「訂正後ＦＴ」で示すように、次フレームの更新期間ＮＬＴが最大遅延時間ＬＴmaxを超える表示映像フレームＦ（２）、Ｆ（３）において「２フレーム」に訂正される。
【００８１】
従って、本実施の形態のステレオ映像信号制御装置２００によれば、各表示映像フレームは、図１２（ｅ）に示すようになる。このときの定常状態の表示映像フレームに対する表示映像フレームの遅延時間ＬＴは、図１２（ｃ）、（ｅ）に示すように、表示映像フレームＦ（０）の遅延時間ＬＴ（０）は０フレーム、表示映像フレームＦ（１）の遅延時間ＬＴ（１）は２フレーム、表示映像フレームＦ（２）の遅延時間ＬＴ（２）は４フレーム、表示映像フレームＦ（３）の遅延時間ＬＴ（３）は４フレーム、表示映像フレームＦ（４）の遅延時間ＬＴ（４）は４フレームとなる。
【００８２】
このように、本実施の形態によれば、最大遅延時間ＬＴmaxを設定することで、視差変化量が大きなシーンが連続する場合、第１の実施の形態ではＬＴ（３）、ＬＴ（４）が６フレーム、７フレームというように表示遅延が発生していたのに対し、ＬＴ（３）、ＬＴ（４）がそれぞれ最大遅延時間ＬＴmaxの４フレームに制限され、表示遅延が無制限に大きくなるのを防ぐことができる。また、本実施の形態も第１の実施の形態と同様の効果が得られる。すなわち、本実施の形態もフレーム更新期間ＦＴを視差変化量に応じて制御することで視差変化量を平均化するようにしているため、眼精疲労や不快感を低減させることができ、また、１台のディスプレイを多人数で視聴するような環境でも、観察者全員に高臨場のステレオ映像を提供することができる。
【００８３】
なお、本発明は以上の実施の形態に限定されるものではなく、以上の実施の形態の構成及び動作をコンピュータにより実行させるステレオ映像表示プログラムも包含するものである。このステレオ映像表示プログラムは、記録媒体からコンピュータに読み込むようにしてもよいし、ネットワークを介して配信されてコンピュータに取り込むようにしてもよく、更にはファームウェアとしてコンピュータに組み込まれるようにしてもよい。
【符号の説明】
【００８４】
１００、２００ ステレオ映像信号制御装置
１０１ 文字検出部
１０２ 視差量測定部
１０３ 視差変化量測定部
１０４、２０１ 出力制御部
１０５ フレームメモリ
１０６ フレーム補間部
１１０、１２０ 端子
１５０ 映像表示部
２０２ フレーム更新期間訂正部
【特許請求の範囲】
【請求項１】
入力されるステレオ映像信号の備える右目用映像信号と左目用映像信号との間の視差量を、フレーム毎に測定する第１のステップと、
前記第１のステップで測定された前記視差量のフレーム間における視差の時間変化量である視差変化量を測定する第２のステップと、
前記第２のステップにより測定された前記視差変化量が大きいほど、入力される前記ステレオ映像信号の備える前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、入力時の定常状態のフレーム更新期間よりも長く設定された最大値までの範囲内で長くなり、前記視差変化量が小さいほど、前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、前記定常状態のフレーム更新期間よりも短い最小値として設定された前記所定の表示フレーム期間までの範囲内で短くなるように、フレーム更新期間を決定する第３のステップと、
入力される前記ステレオ映像信号の備える前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、前記第３のステップで決定したフレーム更新期間となるように、前記右目用映像信号及び前記左目用映像信号に対する調整時間をフレーム単位で制御し、そのフレーム更新期間が制御された前記右目用映像信号及び前記左目用映像信号における前記所定の表示フレーム期間よりも長いフレーム更新期間に、前記右目用映像信号及び前記左目用映像信号のそれぞれに対して生成した補間フレームを挿入して、前記ステレオ映像信号を前記所定の表示フレーム期間の信号とする第４のステップと
を含むことを特徴とするステレオ映像信号制御方法。
【請求項２】
入力される前記右目用映像信号及び前記左目用映像信号の予め設定した画面領域の映像情報に文字情報を含むか否かを検出する第５のステップを更に含み、
前記第４のステップは、前記第５のステップにより文字情報を含むことが検出された前記右目用映像信号及び前記左目用映像信号に対しては、前記フレーム更新期間が前記定常状態のフレーム更新期間となるように前記調整時間を制御し、前記第５のステップにより文字情報を含まないことが検出された前記右目用映像信号及び前記左目用映像信号に対しては、前記予め設定された最小値から最大値の範囲内で前記視差変化量に応じて前記フレーム更新期間を設定するように、前記調整時間をフレーム単位で制御することを特徴とする請求項１記載のステレオ映像信号制御方法。
【請求項３】
前記第４のステップは、前記フレーム更新期間の設定対象であるフレームにおいて、前記視差変化量に応じて設定された前記フレーム更新期間と、その設定されたフレーム更新期間が得られるように前記右目用映像信号及び前記左目用映像信号に与えられる前記調整時間と、前記定常状態のフレーム更新期間とから、前記設定対象であるフレームの次のフレームにおける、全フレーム更新期間が前記定常状態である場合に対する遅延時間を算出し、前記次のフレームの遅延時間が予め設定された最大遅延時間よりも長く、かつ、前記設定されたフレーム更新期間が前記定常状態のフレーム更新期間よりも長いときは、前記設定されたフレーム更新期間を、前記定常状態のフレーム更新期間に訂正することを特徴とする請求項１又は２記載のステレオ映像信号制御方法。
レオ映像信号制御方法。
【請求項４】
入力されるステレオ映像信号の備える右目用映像信号と左目用映像信号との間の視差量を、フレーム毎に測定する視差量測定手段と、
前記視差量測定手段から入力される前記視差量のフレーム間における視差の時間変化量である視差変化量を測定する視差変化量測定手段と、
入力される前記右目用映像信号及び前記左目用映像信号のそれぞれに対して生成した補間フレームを、入力される前記右目用映像信号及び前記左目用映像信号のそれぞれに挿入し、フレーム期間を所定の表示フレーム期間としたステレオ映像信号を出力するフレーム補間手段と、
前記視差変化量測定手段により測定された前記視差変化量が大きいほど、入力される前記ステレオ映像信号の備える前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、入力時の定常状態のフレーム更新期間よりも長く設定された最大値までの範囲内で長くなり、前記視差変化量が小さいほど、前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、前記定常状態のフレーム更新期間よりも短い最小値として設定された前記所定の表示フレーム期間までの範囲内で短くなるように、前記フレーム補間手段による前記右目用映像信号及び前記左目用映像信号に対する調整時間をフレーム単位で制御し、そのフレーム更新期間が制御された前記右目用映像信号及び前記左目用映像信号における前記所定の表示フレーム期間よりも長いフレーム更新期間に前記補間フレームを挿入させて、前記ステレオ映像信号が前記所定の表示フレーム期間の信号として出力されるように、前記フレーム補間手段を制御する出力制御手段と
を有することを特徴とするステレオ映像信号制御装置。
【請求項５】
入力される前記右目用映像信号及び前記左目用映像信号の予め設定した画面領域の映像情報に文字情報を含むか否かを検出する文字検出手段を更に有し、
前記出力制御手段は、前記文字検出手段により文字情報を含むことが検出された前記右目用映像信号及び前記左目用映像信号に対しては、前記フレーム更新期間が前記定常状態のフレーム更新期間となるように、前記フレーム補間手段による前記調整時間を制御し、前記文字検出手段により文字情報を含まないことが検出された前記右目用映像信号及び前記左目用映像信号に対しては、前記予め設定された最小値から最大値の範囲内で前記視差変化量に応じて前記フレーム更新期間を設定するように、前記フレーム補間手段による前記調整時間をフレーム単位で制御することを特徴とする請求項４記載のステレオ映像信号制御装置。
【請求項６】
前記出力制御手段は、前記フレーム更新期間の設定対象であるフレームにおいて、前記視差変化量に応じて設定された前記フレーム更新期間と、その設定されたフレーム更新期間が得られるように前記フレーム補間手段において前記右目用映像信号及び前記左目用映像信号に与えられる調整時間と、前記定常状態のフレーム更新期間とから、前記設定対象であるフレームの次のフレームにおける、全フレーム更新期間が前記定常状態である場合に対する遅延時間を算出し、前記次のフレームの遅延時間が予め設定された最大遅延時間よりも長く、かつ、前記設定されたフレーム更新期間が前記定常状態のフレーム更新期間よりも長いときは、前記設定されたフレーム更新期間を、前記定常状態のフレーム更新期間に訂正することを特徴とする請求項４又は５記載のステレオ映像信号制御装置。
【請求項７】
コンピュータに、
入力されるステレオ映像信号の備える右目用映像信号と左目用映像信号との間の視差量を、フレーム毎に測定する第１のステップと、
前記第１のステップで測定された前記視差量のフレーム間における視差の時間変化量である視差変化量を測定する第２のステップと、
前記第２のステップにより測定された前記視差変化量が大きいほど、入力される前記ステレオ映像信号の備える前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、入力時の定常状態のフレーム更新期間よりも長く設定された最大値までの範囲内で長くなり、前記視差変化量が小さいほど、前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、前記定常状態のフレーム更新期間よりも短い最小値として設定された前記所定の表示フレーム期間までの範囲内で短くなるように、フレーム更新期間を決定する第３のステップと、
入力される前記ステレオ映像信号の備える前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、前記第３のステップで決定したフレーム更新期間となるように、前記右目用映像信号及び前記左目用映像信号に対する調整時間をフレーム単位で制御し、そのフレーム更新期間が制御された前記右目用映像信号及び前記左目用映像信号における前記所定の表示フレーム期間よりも長いフレーム更新期間に、前記右目用映像信号及び前記左目用映像信号のそれぞれに対して生成した補間フレームを挿入して、前記ステレオ映像信号を前記所定の表示フレーム期間の信号とする第４のステップと
を実行させることを特徴とするステレオ映像信号制御プログラム。
【請求項１】
入力されるステレオ映像信号の備える右目用映像信号と左目用映像信号との間の視差量を、フレーム毎に測定する第１のステップと、
前記第１のステップで測定された前記視差量のフレーム間における視差の時間変化量である視差変化量を測定する第２のステップと、
前記第２のステップにより測定された前記視差変化量が大きいほど、入力される前記ステレオ映像信号の備える前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、入力時の定常状態のフレーム更新期間よりも長く設定された最大値までの範囲内で長くなり、前記視差変化量が小さいほど、前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、前記定常状態のフレーム更新期間よりも短い最小値として設定された前記所定の表示フレーム期間までの範囲内で短くなるように、フレーム更新期間を決定する第３のステップと、
入力される前記ステレオ映像信号の備える前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、前記第３のステップで決定したフレーム更新期間となるように、前記右目用映像信号及び前記左目用映像信号に対する調整時間をフレーム単位で制御し、そのフレーム更新期間が制御された前記右目用映像信号及び前記左目用映像信号における前記所定の表示フレーム期間よりも長いフレーム更新期間に、前記右目用映像信号及び前記左目用映像信号のそれぞれに対して生成した補間フレームを挿入して、前記ステレオ映像信号を前記所定の表示フレーム期間の信号とする第４のステップと
を含むことを特徴とするステレオ映像信号制御方法。
【請求項２】
入力される前記右目用映像信号及び前記左目用映像信号の予め設定した画面領域の映像情報に文字情報を含むか否かを検出する第５のステップを更に含み、
前記第４のステップは、前記第５のステップにより文字情報を含むことが検出された前記右目用映像信号及び前記左目用映像信号に対しては、前記フレーム更新期間が前記定常状態のフレーム更新期間となるように前記調整時間を制御し、前記第５のステップにより文字情報を含まないことが検出された前記右目用映像信号及び前記左目用映像信号に対しては、前記予め設定された最小値から最大値の範囲内で前記視差変化量に応じて前記フレーム更新期間を設定するように、前記調整時間をフレーム単位で制御することを特徴とする請求項１記載のステレオ映像信号制御方法。
【請求項３】
前記第４のステップは、前記フレーム更新期間の設定対象であるフレームにおいて、前記視差変化量に応じて設定された前記フレーム更新期間と、その設定されたフレーム更新期間が得られるように前記右目用映像信号及び前記左目用映像信号に与えられる前記調整時間と、前記定常状態のフレーム更新期間とから、前記設定対象であるフレームの次のフレームにおける、全フレーム更新期間が前記定常状態である場合に対する遅延時間を算出し、前記次のフレームの遅延時間が予め設定された最大遅延時間よりも長く、かつ、前記設定されたフレーム更新期間が前記定常状態のフレーム更新期間よりも長いときは、前記設定されたフレーム更新期間を、前記定常状態のフレーム更新期間に訂正することを特徴とする請求項１又は２記載のステレオ映像信号制御方法。
レオ映像信号制御方法。
【請求項４】
入力されるステレオ映像信号の備える右目用映像信号と左目用映像信号との間の視差量を、フレーム毎に測定する視差量測定手段と、
前記視差量測定手段から入力される前記視差量のフレーム間における視差の時間変化量である視差変化量を測定する視差変化量測定手段と、
入力される前記右目用映像信号及び前記左目用映像信号のそれぞれに対して生成した補間フレームを、入力される前記右目用映像信号及び前記左目用映像信号のそれぞれに挿入し、フレーム期間を所定の表示フレーム期間としたステレオ映像信号を出力するフレーム補間手段と、
前記視差変化量測定手段により測定された前記視差変化量が大きいほど、入力される前記ステレオ映像信号の備える前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、入力時の定常状態のフレーム更新期間よりも長く設定された最大値までの範囲内で長くなり、前記視差変化量が小さいほど、前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、前記定常状態のフレーム更新期間よりも短い最小値として設定された前記所定の表示フレーム期間までの範囲内で短くなるように、前記フレーム補間手段による前記右目用映像信号及び前記左目用映像信号に対する調整時間をフレーム単位で制御し、そのフレーム更新期間が制御された前記右目用映像信号及び前記左目用映像信号における前記所定の表示フレーム期間よりも長いフレーム更新期間に前記補間フレームを挿入させて、前記ステレオ映像信号が前記所定の表示フレーム期間の信号として出力されるように、前記フレーム補間手段を制御する出力制御手段と
を有することを特徴とするステレオ映像信号制御装置。
【請求項５】
入力される前記右目用映像信号及び前記左目用映像信号の予め設定した画面領域の映像情報に文字情報を含むか否かを検出する文字検出手段を更に有し、
前記出力制御手段は、前記文字検出手段により文字情報を含むことが検出された前記右目用映像信号及び前記左目用映像信号に対しては、前記フレーム更新期間が前記定常状態のフレーム更新期間となるように、前記フレーム補間手段による前記調整時間を制御し、前記文字検出手段により文字情報を含まないことが検出された前記右目用映像信号及び前記左目用映像信号に対しては、前記予め設定された最小値から最大値の範囲内で前記視差変化量に応じて前記フレーム更新期間を設定するように、前記フレーム補間手段による前記調整時間をフレーム単位で制御することを特徴とする請求項４記載のステレオ映像信号制御装置。
【請求項６】
前記出力制御手段は、前記フレーム更新期間の設定対象であるフレームにおいて、前記視差変化量に応じて設定された前記フレーム更新期間と、その設定されたフレーム更新期間が得られるように前記フレーム補間手段において前記右目用映像信号及び前記左目用映像信号に与えられる調整時間と、前記定常状態のフレーム更新期間とから、前記設定対象であるフレームの次のフレームにおける、全フレーム更新期間が前記定常状態である場合に対する遅延時間を算出し、前記次のフレームの遅延時間が予め設定された最大遅延時間よりも長く、かつ、前記設定されたフレーム更新期間が前記定常状態のフレーム更新期間よりも長いときは、前記設定されたフレーム更新期間を、前記定常状態のフレーム更新期間に訂正することを特徴とする請求項４又は５記載のステレオ映像信号制御装置。
【請求項７】
コンピュータに、
入力されるステレオ映像信号の備える右目用映像信号と左目用映像信号との間の視差量を、フレーム毎に測定する第１のステップと、
前記第１のステップで測定された前記視差量のフレーム間における視差の時間変化量である視差変化量を測定する第２のステップと、
前記第２のステップにより測定された前記視差変化量が大きいほど、入力される前記ステレオ映像信号の備える前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、入力時の定常状態のフレーム更新期間よりも長く設定された最大値までの範囲内で長くなり、前記視差変化量が小さいほど、前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、前記定常状態のフレーム更新期間よりも短い最小値として設定された前記所定の表示フレーム期間までの範囲内で短くなるように、フレーム更新期間を決定する第３のステップと、
入力される前記ステレオ映像信号の備える前記右目用映像信号及び前記左目用映像信号のフレーム更新期間が、前記第３のステップで決定したフレーム更新期間となるように、前記右目用映像信号及び前記左目用映像信号に対する調整時間をフレーム単位で制御し、そのフレーム更新期間が制御された前記右目用映像信号及び前記左目用映像信号における前記所定の表示フレーム期間よりも長いフレーム更新期間に、前記右目用映像信号及び前記左目用映像信号のそれぞれに対して生成した補間フレームを挿入して、前記ステレオ映像信号を前記所定の表示フレーム期間の信号とする第４のステップと
を実行させることを特徴とするステレオ映像信号制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１７６５２３（Ｐ２０１１−１７６５２３Ａ）
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願番号】特願２０１０−３８２２２（Ｐ２０１０−３８２２２）
【出願日】平成２２年２月２４日（２０１０．２．２４）
【出願人】（３０８０３６４０２）ＪＶＣ・ケンウッド・ホールディングス株式会社 (1,152)
【Ｆターム（参考）】
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願日】平成２２年２月２４日（２０１０．２．２４）
【出願人】（３０８０３６４０２）ＪＶＣ・ケンウッド・ホールディングス株式会社 (1,152)
【Ｆターム（参考）】
[ Back to top ]