画像変換装置及びこれを含む立体画像表示装置
【課題】重畳する物体を分離して、それら物体間の配置順序を明確にすることにより、奥行き情報を有するイメージの品質を改善する。
【解決手段】本発明の一実施形態に係る画像変換装置は、２次元画像をダウンスケールして１つ以上のダウンスケール画像を生成するダウンスケール部と、ダウンスケール画像から特徴情報を抽出して特徴マップを生成し、特徴マップは複数のオブジェクトを含む特徴マップ生成部と、複数のオブジェクトを分割するオブジェクト分割部と、複数のオブジェクトの奥行き順序を決めて、複数のオブジェクトのうちの浅い奥行きを有するオブジェクトに第１加重値を付与するオブジェクト順序決定部と、特徴マップの視覚的関心度に基づいてローレベル関心マップを生成する視覚的関心計算部とを含む。
【解決手段】本発明の一実施形態に係る画像変換装置は、２次元画像をダウンスケールして１つ以上のダウンスケール画像を生成するダウンスケール部と、ダウンスケール画像から特徴情報を抽出して特徴マップを生成し、特徴マップは複数のオブジェクトを含む特徴マップ生成部と、複数のオブジェクトを分割するオブジェクト分割部と、複数のオブジェクトの奥行き順序を決めて、複数のオブジェクトのうちの浅い奥行きを有するオブジェクトに第１加重値を付与するオブジェクト順序決定部と、特徴マップの視覚的関心度に基づいてローレベル関心マップを生成する視覚的関心計算部とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換装置及びこれを含む立体画像表示装置に関する。
【背景技術】
【０００２】
一般に、３次元画像表示技術においては、近距離で立体感を認識する最も大きい要因である両眼視差（ｂｉｎｏｃｕｌａｒ ｐａｒａｌｌａｘ）を利用して物体の立体感を表現する。即ち、左眼と右眼にはそれぞれ互いに異なる２次元画像が映され、左眼に映される画像（以下、“左眼画像（ｌｅｆｔ ｅｙｅ ｉｍａｇｅ）”という）と、右眼に映される画像（以下、“右眼画像（ｒｉｇｈｔ ｅｙｅ ｉｍａｇｅ）”という）が脳に伝達されると、左眼画像と右眼画像は脳で融合されて奥行き感（ｄｅｐｔｈ ｐｅｒｃｅｐｔｉｏｎ）を有する３次元画像として認識される。
【０００３】
立体画像表示装置は、両眼視差を利用するもので、シャッタ眼鏡（ｓｈｕｔｔｅｒ ｇｌａｓｓｅｓ）、偏光眼鏡（ｐｏｌａｒｉｚｅｄ ｇｌａｓｓｅｓ）等の眼鏡を利用する眼鏡式（ｓｔｅｒｅｏｓｃｏｐｉｃ）方法と、眼鏡を利用しないで、表示装置にレンチキュラーレンズ（ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓ）、パララックスバリア（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ）等を配置する非眼鏡式（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ）方法がある。
【０００４】
一般に、３次元画像を提供するためには、種々の時点の２次元画像（ｍｕｌｔｉ ｖｉｅｗ ２Ｄ ｉｍａｇｅ）が必要であったが、このような方式は過去に製作された単一時点の２次元画像（ｓｉｎｇｌｅ−ｖｉｅｗ ２Ｄ ｉｍａｇｅ）を活用できなかった。
【０００５】
したがって、２次元画像の３次元画像への変換は、過去に製作されたコンテンツを次世代ディスプレイ装置に積極的に活用するための作業である。２次元画像を３次元画像に変換するためには、奥行き情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、視差を生成して、左眼画像と右眼画像を生成したが、奥行き情報を生成する過程で技術的に難しい点が多かった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上記問題点に鑑みてなされたものであって、本発明による一実施形態は、重畳する物体を分離して、その物体間の配置順序を明確にすることにより、奥行き情報を有するイメージの品質を改善することを目的とする。
【０００７】
また、本発明による一実施形態は、データ演算量を減らし、メモリ資源（ｍｅｍｏｒｙ ｒｅｓｏｕｒｃｅ）を節約することを目的とする。
【０００８】
上記課題以外にも、具体的に言及されない他の課題を達成するのに用いることができる。
【課題を解決するための手段】
【０００９】
上記目的を達成するためになされた本発明による画像変換装置は、２次元画像をダウンスケールして１つ以上のダウンスケール画像を生成するダウンスケール部と、前記ダウンスケール画像から特徴情報を抽出して特徴マップを生成し、前記特徴マップは複数のオブジェクトを含む特徴マップ生成部と、前記複数のオブジェクトを分割するオブジェクト分割部と、前記複数のオブジェクトの奥行き順序を決めて、前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトに第１加重値を付与するオブジェクト順序決定部と、前記特徴マップの視覚的関心度に基づいてローレベル関心マップを生成する視覚的関心計算部とを有することを特徴とする。前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトのブロックセイリエンシに前記第１加重値を付与することができる。
【００１０】
前記オブジェクト順序決定部は、前記複数のオブジェクトの境界を抽出する境界抽出部と、前記境界周辺でのブロック積率またはブロックセイリエンシに基づいて前記複数のオブジェクトの奥行き順序を判断するブロック比較部と、前記第１加重値を付与する加重部とを含むことができる。
【００１１】
前記オブジェクト順序決定部は、前記境界の個数をカウントする境界個数部をさらに含むことができる。
【００１２】
前記ブロック比較部は、前記境界の個数が偶数であるかまたは奇数であるかに基づいて、前記複数のオブジェクトのうちの重畳するオブジェクトを判別することができる。
【００１３】
前記複数のオブジェクトのうちの深い奥行きを有するオブジェクトは、第２加重値が付与されるか、または加えられなくてもよく、前記第２加重値は前記第１加重値より小さいことができる。前記深い奥行きを有するオブジェクトのブロックセイリエンシに前記第２加重値を付与することができる。
【００１４】
前記ローレベル関心マップは複数存在することができ、前記複数のローレベル関心マップを結合するイメージ結合部をさらに含むことができ、前記結合された複数のローレベル関心マップから視覚的関心マップが生成されることができる。
【００１５】
前記画像変換装置は、前記結合された複数のローレベル関心マップをフィルタリングするイメージフィルタリング部をさらに含むことができる。
【００１６】
前記特徴マップは中央領域と周辺領域を含むことができ、前記視覚的関心度は、前記中央領域のヒストグラムと前記周辺領域のヒストグラムとの差に基づいて決定される。
【００１７】
前記特徴マップは中央領域と周辺領域を含むことができ、前記周辺領域と前記中央領域は１つ以上の単位ブロックを含むことができ、前記視覚的関心度は、ブロック積率、ブロックセイリエンシまたはこれら全てに基づいて決定される。
【００１８】
前記画像変換装置は、前記ローレベル関心マップをフィルタリングするイメージフィルタリング部をさらに含むことができる。
【００１９】
前記画像変換装置は、前記視覚的関心マップと前記２次元画像に基づいて視差情報を生成する視差情報生成部と、前記視差情報と前記２次元画像に基づいて３次元画像を生成する３次元画像レンダリング部とをさらに含むことができる。
【００２０】
また、上記目的を達成するためになされた本発明による画像変換方法は、２次元画像をダウンスケールして１つ以上のダウンスケール画像を生成する段階と、前記ダウンスケール画像から特徴情報を抽出して特徴マップを生成する段階と、前記特徴マップは複数のオブジェクトを含み、前記複数のオブジェクトを分割する段階と、前記複数のオブジェクトの奥行き順序を決める段階と、前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトに第１加重値を付与する段階と、前記特徴マップの視覚的関心度に基づいてローレベル関心マップを生成する段階と、を有することを特徴とする。
【００２１】
前記画像変換方法は前記複数のオブジェクトの境界を抽出する段階をさらに含むことができ、前記境界周辺でのブロック積率またはブロックセイリエンシに基づいて前記複数のオブジェクトの奥行き順序を判断することができる。
【００２２】
前記画像変換方法は前記境界の個数をカウントする段階をさらに含むことができる。
【００２３】
前記画像変換方法は、前記境界の個数が偶数であるかまたは奇数であるかに基づいて、前記複数のオブジェクトのうちの重畳するオブジェクトを判別する段階をさらに含むことができる。
【００２４】
前記複数のオブジェクトのうちの深い奥行きを有するオブジェクトは、第２加重値が付与されるか、または加えられなくてもよく、前記第２加重値は前記第１加重値より小さいことができる。
【００２５】
前記画像変換方法は、前記ローレベル関心マップは複数存在し、前記複数のローレベル関心マップを結合する段階をさらに含むことができ、前記結合された複数のローレベル関心マップから視覚的関心マップが生成されることができる。
【００２６】
前記画像変換方法は、前記結合された複数のローレベル関心マップをフィルタリングする段階をさらに含むことができる。
【００２７】
前記ダウンスケール画像は、前記２次元画像が横方向、縦方向、または横方向及び縦方向にダウンスケールされることができる。
【００２８】
前記ダウンスケール画像は複数存在することができ、前記複数のダウンスケール画像は１つのフレームで処理できる。
【００２９】
前記画像変換方法は、前記視覚的関心マップと前記２次元画像に基づいて視差情報を生成する段階と、前記視差情報と前記２次元画像に基づいて３次元画像を生成する段階とをさらに含むことができる。
【００３０】
また、上記目的を達成するためになされた本発明による立体画像装置は、複数の画素を含む表示パネルと、２次元画像を３次元画像に変換する画像変換装置とを有することを特徴とする。
【００３１】
前記画像変換装置は、２次元画像をダウンスケールして１つ以上のダウンスケール画像を生成するダウンスケール部と、前記ダウンスケール画像から特徴情報を抽出して特徴マップを生成し、前記特徴マップは複数のオブジェクトを含む特徴マップ生成部と、前記複数のオブジェクトを分割するオブジェクト分割部と、前記複数のオブジェクトの奥行き順序を決めて、前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトに第１加重値を付与するオブジェクト順序決定部と、前記特徴マップの視覚的関心度に基づいてローレベル関心マップを生成する視覚的関心計算部とを含むことができる。
【発明の効果】
【００３２】
本発明による一実施形態は、重畳するオブジェクトを分離でき、それらオブジェクト間の配置順序を明確にすることができ、奥行き情報を有するイメージの品質を改善でき、データ演算量を減らせ、メモリ資源を節約できる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施形態に係る画像変換装置を概略的に示すブロック図である。
【図２】本発明の一実施形態に係る視覚的関心計算部を概略的に示すブロック図である。
【図３】本発明の一実施形態に係るオブジェクト順序決定部を概略的に示すブロック図である。
【図４】本発明の一実施形態に係るダウンスケール部によって処理されたイメージを示す図面である。
【図５】本発明の一実施形態に係る領域設定部の処理方法を示す図面である。
【図６】本発明の一実施形態に係るローレベル関心計算方法を示す図面である。
【図７】本発明の一実施形態に係るオブジェクト順序決定方法を示す処理方法を示す図面である。
【図８】本発明の一実施形態に係るオブジェクト順序決定方法を示す処理方法を示す図面である。
【発明を実施するための形態】
【００３４】
添付した図面を参照して、本発明の実施形態について本発明が属する技術分野における通常の知識を有する者が容易に実施できるように詳細に説明する。本発明は種々の異なる形態に実現でき、ここで説明する実施形態に限られない。図面において、本発明を明確に説明するために説明上不必要な部分は省略し、明細書の全体にわたって同一または類似する構成要素に対しては同一の図面符号を付けた。また、広く知られている公知技術の場合、その具体的な説明は省略する。
【００３５】
以下、本発明の実施形態に係る立体画像表示装置について、図１乃至図８を参照して詳細に説明する。
【００３６】
ここで、立体画像表示装置は、シャッターガラス、偏光眼鏡などの眼鏡を利用する眼鏡式立体画像表示装置、レンチキュラーレンズ、パララックスバリアなどを利用する非眼鏡式立体画像表示装置などを全て含むことができる。立体画像表示装置は複数の画素を含む表示パネルを含む。
【００３７】
図１は、本発明の一実施形態に係る画像変換装置を概略的に示すブロック図である。
【００３８】
ここで、画像変換装置は、立体画像表示装置に組み込む（ｅｍｂｅｄｄｅｄ）ことができる。その他にも、画像変換装置は、地上波放送チューナー、衛星放送受信端末器、ケーブルテレビ受信コンバータ、ＶＣＲ、ＤＶＤプレーヤ、ＨＤＴＶ放送受信機、プルレイディスクプレーヤ、ゲームコンソールなど多様な画像受信及び再生装備に組み込むことができる。
【００３９】
図１を参照すると、画像変換装置は、ダウンスケール部（ｄｏｗｎｓｃａｌｉｎｇ ｕｎｉｔ）１０、特徴マップ生成部（ｆｅａｔｕｒｅ ｍａｐ ｇｅｎｅｒａｔｉｎｇ ｕｎｉｔ）２０、視覚的関心計算部（ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｃａｌｃｕｌａｔｉｎｇ ｕｎｉｔ）３０、画像結合部（ｉｍａｇｅ ｃｏｍｂｉｎａｔｉｏ ｎｕｎｉｔ）４０、画像拡張部（ｉｍａｇｅ ｅｘｐａｎｓｉｏｎ ｕｎｉｔ）５０、画像フィルタリング部（ｉｍａｇｅ ｆｉｌｔｅｒｉｎｇ ｕｎｉｔ）６０、視差情報生成部（ｐａｒａｌｌａｘ ｉｎｆｏｒｍａｔｉｏｎ ｇｅｎｅｒａｔｉｎｇ ｕｎｉｔ）７０、３次元画像レンダリング部（３Ｄ ｉｍａｇｅ ｒｅｎｄｅｒｉｎｇ ｕｎｉｔ）８０、オブジェクト分割部（ｏｂｊｅｃｔ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｎｉｔ）９０、及びオブジェクト順序決定部（ｏｂｊｅｃｔ ｏｒｄｅｒ ｄｅｔｅｒｍｉｎａｔｉｏ ｎｕｎｉｔ）１００を含む。画像変換装置はメモリを含むか、または外部メモリに連結できる。画像変換装置はメモリを利用して後述する多様な種類の演算を遂行する。
画像変換装置は、２次元画像（２Ｄｉｍａｇｅ）を３次元画像（３Ｄｉｍａｇｅ）に変換する。ここで、２次元画像とは、単一時点を有する典型的な２次元画像を意味し、３次元画像とは、ステレオ時点（ｓｔｅｒｅｏ−ｖｉｅｗ）等の多重時点（ｍｕｌｔｉ−ｖｉｅｗ）を有する２次元画像を意味する。例えば、３次元画像は、左眼画像、右眼画像またはこれら全てを意味し、左眼画像と右眼画像それぞれは２次元平面上に表示される画像である。また、左眼画像と右眼画像は同時に２次元平面上に出力でき（後に偏光フィルタまたはカラーフィルタなどのフィルタを利用して左眼画像と右眼画像が分離できる）、左眼画像と右眼画像が順次に２次元平面上に出力されることも可能である。
【００４０】
画像変換装置に入力された２次元画像は、奥行き情報を有する視覚的関心マップ（ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｍａｐ）に変換され、視覚的関心マップと入力された２次元画像に基づいて視差情報生成部７０が視差情報（ｐａｒａｌｌａｘ ｉｎｆｏｒｍａｔｉｏｎ）を生成する。ここで、視差情報は、イメージの各画素別に、または複数の画素を含む画素グループ別に生成されうる。３次元画像レンダリング部８０は、原本２次元画像と視差情報に基づいて３次元画像を生成する。例えば、３次元画像レンダリング部８０は、入力された２次元画像と視差情報に基づいて左眼画像と右眼画像を生成する。
【００４１】
視覚的関心度（ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ）は、人間の脳と認知システムが一般に画像の特定領域に視覚を集中させるということを意味し、これは多様な分野で立証されている。視覚的関心度は、生理学（ｐｈｙｓｉｏｌｏｇｙ）、心理学（ｐｓｙｃｈｏｌｏｇｙ）、神経系学（ｎｅｕｒａｌ ｓｙｓｔｅｍｓ）、コンピュータビジョン（ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ）等の分野で長期にわたって研究が行われている主題である。同時に、視覚的関心度はコンピュータビジョンの関連分野である物体認識、追跡、発見などの分野で特に高い関心を集めている。
【００４２】
視覚的関心マップとは、２次元画像に対する視覚的関心度を計算することによって生成されるイメージであり、２次元画像におけるオブジェクト（ｏｂｊｅｃｔ）の重要度に関する情報を含むことができる。例えば、視覚的に興味深い領域を観察者に近く配置し、視覚的に興味深くない領域を観察者から遠く配置することができる。即ち、視覚的に興味深い領域は観察者に近く配置するために、明るく（即ち、グレー値を大きく）示すことができ、視覚的に興味深くない領域を観察者から遠く配置するために、暗く（即ち、グレー値を小さく）示すことができる。オブジェクトと背景を含んでいるイメージにおいて、オブジェクトは明るく示し、背景は暗く示すことができ、これにより、オブジェクトが背景から突出しているように示せる。原本２次元画像と視覚的関心マップの大きさは、それぞれ９６０×１０８０とすることができる。
【００４３】
以下、２次元画像から視覚的関心マップを生成する過程について詳細に説明する。
【００４４】
図１を参照すると、ダウンスケール部１０は、２次元画像をダウンスケールして１つ以上のダウンスケール画像を生成する。例えば、２次元画像を横にｍ回、縦にｎ回ダウンスケールして、長方形画像のピラミッド（ｒｅｃｔａｎｇｕｌａｒ ｐｙｒａｍｉｄ）を生成することができる。ダウンスケール部１０は横ダウンスケール部及び縦ダウンスケール部を含むことができる。横ダウンスケール部は２次元画像を横方向にダウンスケールして、１つ以上のダウンスケール画像を生成でき、縦ダウンスケール部は２次元画像を縦方向にダウンスケールして、１つ以上のダウンスケール画像を生成することができる。
【００４５】
図４を参照すると、横方向に２回、縦方向に２回それぞれダウンスケールした長方形画像のピラミッドが示されている。即ち、原本２次元画像２１０は、縦に２回ダウンスケールされて２つのダウンスケール画像（２１３、２１４）が生成できる。３個の画像（２１０、２１３、２１４）は、それぞれ横に２回ダウンスケールされて６個のダウンスケール画像（２１１、２１２、２１５、２１６、２１７、２１８）が生成できる。結局、９個の画像から構成された長方形画像のピラミッドが生成できる。例えば、３個の画像（２１０、２１３、２１４）の縦解像度はそれぞれ５４０、２７０、１３５であり得、３個の画像（２１０、２１１、２１２）の横解像度はそれぞれ９６０、４８０、２４０であり得る。複数のダウンスケールされた長方形画像が１つのフレームで処理されるので、速い画像処理が可能である。
【００４６】
図１及び図６を参照すると、特徴マップ生成部２０は、２次元画像及び１つ以上のダウンスケール画像から特徴情報（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を抽出して、１つ以上の特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を生成することができる。ここで、特徴情報は、輝度（ｌｕｍｉｎａｎｃｅ）、色（ｃｏｌｏｒ）、テクスチャー（ｔｅｘｔｕｒｅ）、モーション（ｍｏｔｉｏｎ）、方向性（ｏｒｉｅｎｔａｔｉｏｎ）等であり得る。例えば、長方形画像のピラミッドにおいて、各画素別にまたは任意の画素グループ別に輝度情報を抽出してイメージを生成することができ、生成されたイメージは１つの特徴マップとなり得る。
【００４７】
視覚的関心計算部３０は、１つ以上の特徴マップを利用してローレベル関心計算（ｌｏｗ−ｌｅｖｅｌ ａｔｔｅｎｔｉｏｎ ｃｏｍｐｕｔａｔｉｏｎ）を行い、ローレベル関心計算の結果に基づいてローレベル関心マップを生成することができる。例えば、視覚的関心計算部３０は、ローレベル関心計算を行うために、中央領域のヒストグラムと周辺領域のヒストグラムとの差を利用することができる。
【００４８】
図２を参照すると、視覚的関心計算部３０は、領域設定部（ａｒｅａ ｓｅｔｕｐ ｕｎｉｔ）３１、ヒストグラム計算部（ｈｉｓｔｏｇｒａｍ ｃａｌｃｕｌａｔｉｎｇ ｕｎｉｔ）３２、及び関心マップ生成部（ａｔｔｅｎｔｉｏｎ ｍａｐ ｇｅｎｅｒａｔｉｎｇ ｕｎｉｔ）３３を含む。
領域設定部３１は、１つ以上の特徴マップに対して中央領域及び周辺領域を設定でき、周辺領域は中央領域を囲むことができる。領域設定部３１は、単位ブロック設定部（ｕｎｉｔ−ｂｌｏｃｋ ｓｅｔｕｐ ｕｎｉｔ）、中央領域設定部（ｃｅｎｔｅｒ−ａｒｅａ ｓｅｔｕｐ ｕｎｉｔ）、及び周辺領域設定部（ｓｕｒｒｏｕｎｄｉｎｇ−ａｒｅａ ｓｅｔｕｐ ｕｎｉｔ）を含む。
【００４９】
単位ブロック設定部は、正四角形または長方形の単位ブロックを設定することができる。例えば、単位ブロックは、８（ｐｉｘｅｌｓ）×８（ｐｉｘｅｌｓ）の大きさを有することができる。ここで、中央領域と周辺領域の可能な組み合わせの数は、２次元画像の大きさにより幾何級数的に増加できるので、中央領域と周辺領域の可能な組み合わせの数を減らすために単位ブロックを用いることができる。そのために、データ演算量が減少できる。
【００５０】
中央領域設定部は中央領域を単位ブロックの大きさに設定し、周辺領域設定部は周辺領域を単位ブロックを複数個合算した大きさに設定することができる。図５を参照すると、任意の大きさの単位ブロックが設定されて、中央領域と周辺領域が単位ブロックの組み合わせだけで構成できる。例えば、２次元画像はダウンスケールされて多様なスケールの画像が生成でき、中央領域は１つの単位ブロックに対応できる。この時、周辺領域は、中央領域に対応するブロックを含むｋ個の隣接ブロック（ｎｅｉｇｈｂｏｒｈｏｏｄ ｂｌｏｃｋ）に設定できる。例えば、図５を参照すると、中央領域を１つのＢ０ブロック３１０に設定し、周辺領域はＢ１ブロック３１１、Ｂ２ブロック３１２、Ｂ３ブロック３１３、Ｂ４ブロック３１４に設定できる。したがって、Ｂ０ブロック３１０のヒストグラムとＢ１ブロック乃至Ｂ４ブロック（３１１、３１２、３１３、３１４）のヒストグラムとの差を求めることができる。
【００５１】
ヒストグラム計算部３２は、中央領域の特徴情報ヒストグラムと周辺領域の特徴情報ヒストグラムとの差を計算できる。ここで、ヒストグラムは、インテンシティヒストグラム（ｉｎｔｅｎｓｉｔｙ ｈｉｓｔｏｇｒａｍ）、カラーヒストグラム（ｃｏｌｏｒ ｈｉｓｔｏｇｒａｍ）等とすることができる。。
【００５２】
図５を参照して、ヒストグラムの差を計算する過程を詳細に説明する。
【００５３】
中央−周辺ヒストグラム（ｃｅｎｔｅｒ−ｓｕｒｒｏｕｎｄ ｈｉｓｔｏｇｒａｍ）を使用するために、特徴マップ４１０の任意のピクセルを基準として２つのタイプの隣接領域（ｎｅｉｇｈｂｏｒ ａｒｅａ）を定義できる。即ち、基準となるピクセルによって中央領域（ｃｅｎｔｅｒ ａｒｅａ）４１１、周辺領域（ｓｕｒｒｏｕｎｄｉｎｇ ａｒｅａ）４１２を定義できる。周辺領域４１２は中央領域４１１を含むことができ、周辺領域４１２の面積は中央領域４１１の面積より大きいことがありうる。
【００５４】
したがって、上記中央領域及び上記周辺領域のヒストグラムを抽出し、多様なヒストグラム差の測定（ｈｉｓｔｏｇｒａｍ ｄｉｓｔａｎｃｅ ｍｅａｓｕｒｅ）方法を用いて、中央領域及び周辺領域の特徴値の差４２１を求めることができる。したがって、中央領域及び周辺領域の特徴の差値によるローレベル関心マップ４２０を生成することができる。
【００５５】
ヒストグラム差を計算するために多様な方法が用いられる。例えば、カイ二乗（ｃｈｉｓｑｕａｒｅ、χ２）を用いることができる。即ち、中央領域をＲとし、周辺をＲｓとすれば、Ｒｉを輝度（Ｌｕｍｉｎａｎｃｅ）、色（Ｃｏｌｏｒ）、テクスチャー（Ｔｅｘｔｕｒｅ）等を用いることができるヒストグラムのｉ番目ビン（Ｂｉｎ）とする時、中央−周辺ヒストグラムは、中央領域ヒストグラムと周辺領域ヒストグラムのカイ二乗差と実質的に同一であり、次式１のように表すことができる。
【００５６】
【数１】
【００５７】
関心マップ生成部３３は、特徴情報ヒストグラムの差を利用してローレベル関心マップを生成することができる。
【００５８】
一方、１つ以上の特徴マップを利用してローレベル関心計算を行うために、中央−周辺ヒストグラムの全部を利用しないで、ヒストグラムの積率（ｍｏｍｅｎｔ）を用いることができる。ここで、積率は、ヒストグラムに対する平均（ｍｅａｎ）、分散（ｖａｒｉａｎｃｅ）、標準偏差（ｓｔａｎｄａｒｄ ｄｅｖｉａｔｉｏｎ）、及び非対称度（ｓｋｅｗｎｅｓｓ）のうちの少なくとも１つを含むことができる。例えば、１つの単位ブロックに含まれている複数の画素の輝度値に対して平均、分散、標準偏差、及び非対称度を計算することができる。ヒストグラムの積率を用いることにより、メモリ資源を節約することができる。
【００５９】
例えば、ｉ番目ブロックのｊ番目ピクセルの値がＰｉｊであれば、ｉ番目ブロックの積率は、次式２のように表すことができる。
【００６０】
【数２】
【００６１】
ここで、Ｅｉは平均を、σｉは分散を、ｓｉは非対称度をそれぞれ意味する。
また、この場合、特定ブロックのセイリエンシ（ｓａｌｉｅｎｃｙ）は、次式３のように定義できる。
【００６２】
【数３】
【００６３】
ここで、パラメターｗは、積率間の相対的重要度を調節する加重値であり、基本設定値は１であり得る。また、Ｂ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４は図４に示したブロックであり得る。例えば、Ｂ０乃至Ｂ４に対するブロック積率を計算した後、Ｂ０乃至Ｂ４に対するブロック積率を利用して１つのブロックセイリエンシを求めることができる。
【００６４】
図１を参照すると、特徴情報ヒストグラムの差を利用して、ローレベル関心マップを生成する過程で、オブジェクト分割部９０とオブジェクト順序決定部１００の実行結果が追加的に用いられうる。または、ローレベル関心マップを生成した後、オブジェクト分割部９０とオブジェクト順序決定部１００の実行結果がローレベル関心マップに反映されうる。オブジェクト分割部９０によって重畳したオブジェクトが分割され、オブジェクト順序決定部１００によって分割されたオブジェクトと背景の奥行き順序が決定される。
【００６５】
オブジェクト分割部９０は、１つのイメージに複数のオブジェクト、背景などが含まれているイメージで重畳するオブジェクトを分割する。図８に示したように、オブジェクト分割部９０によって重畳したオブジェクトが２つに分割できる。重畳したオブジェクトが分割されない状態で、イメージフィルタリングが遂行される場合、重畳したオブジェクトが１つのオブジェクトと認識されてフィルタリングでき、そのためにオブジェクト間の奥行き順序を定めることが困難になることがある。
【００６６】
オブジェクトを分割する方法としては、分割アルゴリズム（ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）が利用でき、分割アルゴリズムとしてウォーターシェッド（ｗａｔｅｒｓｈｅｄ）アルゴリズムなどがある。
【００６７】
オブジェクト順序決定部１００は横方向または縦方向にスキャニング（ｓｃａｎｎｉｎｇ）をしながらオブジェクトと背景の奥行き順序を決定することができる。ここで、背景は省略可能である。即ち、オブジェクトのうちのどれが観察者に近く配置されているのか（奥行きが浅いのか）、どれが観察者から遠く配置されているのか（奥行きが深いのか）を決定することができる。ここで、背景は、一般にオブジェクトより観察者から遠く配置されていることができる。図３に示したように、オブジェクト順序決定部１００は、境界抽出部（ｅｄｇｅ ｅｘｔｒａｃｔｉｏｎ ｕｎｉｔ）１１０、境界計数部（ｅｄｇｅ ｃｏｕｎｔｉｎｇ ｕｎｉｔ）１２０、ブロック比較部１３０、及び加重部（ｗｅｉｇｈｔｉｎｇｕｎｉｔ）を含むことができる。
【００６８】
境界抽出部１１０は、イメージに含まれているオブジェクトの外郭線を抽出することができる。例えば、オブジェクトの外郭線を抽出するために、ハイパスフィルタ（ｈｉｇｈ ｐａｓｓ ｆｉｌｔｅｒ）等を用いることができる。図７のイメージまたは図８のイメージをハイパスフィルタによってフィルタリングすれば、左側円の外郭線と右側円の外郭線が抽出される。
【００６９】
例えば、左側円と右側円の外郭線のグレー値は２５５であり得、円の内部領域と外部領域のグレー値は全て０であり得る。
【００７０】
境界計数部１２０は、横方向または縦方向にスキャニングしながら、外郭線（または境界）の個数を数えることができる。図７を参照すると、境界計数部１２０が水平方向にスキャニングする時、境界計数部１２０はグレー値を有する外郭線を３回カウントすることができる。図８を参照すると、境界係数部１２０が水平方向にスキャニングする時、境界計数部１２０は２５５のグレー値を有する外郭線を４回カウントすることができる。境界計数部１２０は省略可能である。
【００７１】
ブロック比較部１３０は、境界周辺におけるブロックのブロック積率（ｂｌｏｃｋ ｍｏｍｅｎｔ）またはブロックセイリエンシ（ｂｌｏｃｋ ｓａｌｉｅｎｃｙ）に基づいて、オブジェクトと背景の奥行き順序を決定することができる。または、ブロック比較部１３０は、追加的に境界の個数が偶数であるかまたは奇数であるかに基づいて、オブジェクトが重畳しているか否かを判別することができる。
【００７２】
加重部１４０は、オブジェクトと背景の奥行き順序が決定された後、観察者にさらに近く配置されているオブジェクトであるほど、加重値を大きく付与することができる。例えば、特徴情報が輝度である場合、観察者に近く配置されているオブジェクトのブロックセイリエンシに大きいグレー値を加えることができ、観察者から遠く配置されているオブジェクトのブロックセイリエンシに小さいグレー値を加えるか、または加えないことができる。したがって、観察者に近く配置されているオブジェクトと、観察者から遠く離れているオブジェクトの区分を明確にすることができるので、奥行き情報を有するイメージの品質が改善できる。さらに、オブジェクト間の奥行き順序を明確にしたので、イメージフィルタリングが行われてもオブジェクト間の奥行き順序がさかさまになれない。オブジェクトが重畳しているか否かに基づいて加重値を付与するか否かを決定することができる。即ち、オブジェクトが重畳する場合には観察者にさらに近く配置されているオブジェクトに加重値を大きく付与でき、オブジェクトが重畳していない場合にはいずれのオブジェクトにも加重値を付与しないようにできる。または、オブジェクトが重畳しているか否かに無関係に、観察者にさらに近く配置されているオブジェクトに常にさらに大きい加重値を付与できる。加重値は実験によって適切に決定できる。
【００７３】
例えば、図７及び図８に示したように、特徴情報が輝度であり、イメージが２個のオブジェクトを含んでいる場合について詳細に説明する。
【００７４】
境界の個数が奇数の場合、図７に示したように、２個のオブジェクトは重畳することができ、２個のオブジェクトのうちのブロック積率またはブロックセイリエンシがさらに大きいオブジェクトを一層明るくすることができ、観察者にさらに近く配置することができる。したがって、ブロックセイリエンシがさらに大きいオブジェクトのブロックセイリエンシに、さらに大きい加重値を付与することができる。図７の場合、第５ブロックＢ５のセイリエンシが第４ブロックＢ４のセイリエンシよりさらに大きいので、第５ブロックＢ５が含まれているオブジェクトが、第４ブロックＢ４が含まれているオブジェクトより観察者にさらに近く配置されており、そのために第５ブロックＢ５のセイリエンシにさらに大きい加重値を付与することができる。
【００７５】
また、境界の個数が偶数である場合、図８に示したように、２個のオブジェクトは重畳しないようにできる。この場合、２個のオブジェクトのブロックセイリエンシに加重値を付与しない。または、離れている２個のオブジェクト間の奥行き感をさらに明確にするために、２個のオブジェクトのうちのより大きいブロックセイリエンシを有するオブジェクトのブロックセイリエンシに加重値を付与することもできる。図８の場合、境界の個数が４個であるので、２個のオブジェクトに加重値を付与しないようにできる。または、第３ブロックＢ３のセイリエンシが第１ブロックＢ１のセイリエンシよりさらに大きいので、第３ブロックＢ３のセイリエンシにさらに大きい加重値を付与することも可能である。
【００７６】
その他にも、境界の個数をカウントしない場合、境界周辺で境界を基準として左側ブロックのセイリエンシと右側ブロックのセイリエンシとを比較した後、右側ブロックのセイリエンシが大きい場合、右側ブロックのセイリエンシに大きい加重値を付与することができ、左側ブロックのセイリエンシには加重値を付与しないか、または小さい加重値を付与することができる。右側ブロックのセイリエンシが小さい場合、左側ブロックのセイリエンシと右側ブロックのセイリエンシに加重値を付与しないようにできる。
【００７７】
図７を参照すると、横方向にスキャニングする時、第４ブロックＢ４及び第５ブロックＢ５のブロック積率またはブロックセイリエンシを比較して、左側円と右側円の奥行き順序を決定することができる。横方向に配置されている境界のうち、中央の境界より左側に位置する第４ブロックＢ４の積率またはセイリエンシ、そして中央の境界より右側に位置する第５ブロックＢ５の積率またはセイリエンシを比較することができる。例えば、積率が平均である場合、グレー値に対する平均が計算できる。各ブロック（Ｂ４、Ｂ５）の積率は当該ブロックの中に含まれている画素のグレー値に対する平均である。各ブロック（Ｂ４、Ｂ５）のセイリエンシは、任意のブロック（Ｂ４、Ｂ５）の積率と、任意のブロック（Ｂ４、Ｂ５）の上下左右に位置する４個のブロックの積率に基づいて計算することができる。例えば、第４ブロックＢ４のセイリエンシは１５０、第５ブロックＢ５のセイリエンシは３００であり得る。“第４ブロックＢ４のセイリエンシ＜第５ブロックＢ５のセイリエンシ”であるので、さらに大きい値を有する第５ブロックＢ５のセイリエンシに加重値３０を付与することができ、第４ブロックＢ４のセイリエンシに加重値を付与しないか、または加重値５を付与することができる。または、ブロック積率値の比較に基づいてブロックセイリエンシに加重値を付与することができる。さらに、第４ブロックＢ４が位置する左側円全体に同一の加重値を同時に付与することができ、第５ブロックＢ５が位置する右側円全体に同一の加重値を同時に付与することができる。
【００７８】
図８を参照すると、横方向にスキャニングする時、第１ブロック乃至第３ブロック（Ｂ１、Ｂ２、Ｂ３）のブロック積率またはブロックセイリエンシを比較して、左側円、右側円、及び背景の奥行き順序を決定することができる。横方向に配置されている境界のうち、中央の２個の境界間の第２ブロックＢ２の積率またはセイリエンシ、中央の２個の境界のうちの左側の境界より左側に位置する第１ブロックＢ１の積率またはセイリエンシ、そして、中央の２個の境界のうちの右側の境界より右側に位置する第３ブロックＢ３の積率またはセイリエンシを比較することができる。例えば、積率が平均である場合、グレー値に対する平均が計算できる。各ブロック（Ｂ１、Ｂ２、Ｂ３）の積率は当該ブロックの中に含まれている画素のグレー値に対する平均である。各ブロック（Ｂ１、Ｂ２、Ｂ３）のセイリエンシは、任意のブロック（Ｂ１、Ｂ２、Ｂ３）の積率と、任意のブロック（Ｂ１、Ｂ２、Ｂ３）の上下左右に位置する４個のブロックの積率に基づいて計算できる。例えば、第１ブロックＢ１のセイリエンシは１５０、第２ブロックＢ２のセイリエンシは５０、第３ブロックＢ３のセイリエンシは３００であり得る。“第２ブロックＢ２のセイリエンシ＜第１ブロックＢ１のセイリエンシ＜第３ブロックＢ３のセイリエンシ”であるので、第３ブロックＢ３のセイリエンシに３０の加重値を付与することができ、第１ブロックＢ１のセイリエンシに５の加重値を付与することができ、第２ブロックＢ２のセイリエンシには加重値を付与しないようにできる。または、ブロック積率値の比較に基づいてブロックセイリエンシに加重値を付与することができる。さらに、第３ブロックＢ３が位置する右側円全体に同一の加重値を同時に付与することができ、第１ブロックＢ１が位置する左側円全体に同一の加重値を同時に付与することができる。
【００７９】
１つ以上のダウンスケール画像別に生成されたローレベル関心マップは、選択的にイメージフィルタリング部６０によって処理できる。例えば、フィルタリングする方法は、正規化曲線（ｎｏｒｍａｌｉｚａｔｉｏｎ ｃｕｒｖｅ）を利用する方法、シグモイド曲線（ｓｉｇｍｏｉｄ ｃｕｒｖｅ）を利用する方法、バイラテラルフィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）を利用する方法などがあり、１つ以上の方法を順次に利用することができる。具体的に、バイラテラルフィルタは１０×１０デシメーション（ｄｅｃｉｍａｔｉｏｎ）を行った後、５×５×５ローパスフィルタ（ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）を用いてフィルタリングした後、１０×１０補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行うことができる。
【００８０】
ローレベル関心マップは、イメージ拡張部５０によってアップスケールされることができる。例えば、アップスケール時にはバイキュービック補間（ｂｉ−ｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）等を使用することができる。ここで、イメージをアップスケールする過程で、各画素別イメージデータに加重値を付与することができる。ここで、各画素別イメージデータは背景イメージに該当できる。即ち、ローレベル関心マップで下部に位置するイメージデータに加重値を付与しないか、または次第に減少する加重値をローレベル関心マップで下部に位置するイメージデータに加えることができる。
【００８１】
例えば、イメージの大きさが９６０×５４０の場合、縦解像度（ｌｉｎｅ ｎｕｍｂｅｒ）が０から５１５に近づくほど、イメージデータによって付与される加重値は次第に増加できる。次に、縦解像度が５１５から５４０に近づくほど、イメージデータによって付与される加重値は次第に減少できる。上下に隣接した２つのイメージそれぞれに上述する方式で加重値が付与される時、２つのイメージが境界付近は暗いグレー値を有することができる。これにより、上下に隣接した２つのイメージがフィルタリングされても、各イメージは上部で暗いグレー値を有することができ、各イメージの上部から下部まで下方に次第に明るくなるグレー値を有することができる。したがって、グレー値のわい曲が防止でき、イメージの品質が改善できる。
【００８２】
もし、各イメージの上部から下部方向に付与される加重値が次第に増加すれば、２つの隣接したイメージがフィルタリングされる時、加重値が合わせられた２つの隣接したイメージの境界付近は、暗いグレー値と明るいグレー値とをそれぞれ有するため、グレー値のわい曲が発生し得る。例えば、長方形画像のピラミッドに加重値が付与される時、上下に隣接した２つのイメージのうちの上のイメージの下部は明るいグレー値を有し、上下に隣接した２つのイメージのうちの下のイメージの上部は暗いグレー値を有する。ここで、上のイメージと下のイメージは長方形画像のピラミッドで上下方向に互いに隣接した２つのイメージである。次に、加重値が合わせられた長方形画像のイメージをフィルタリングした結果、下のイメージの上部は予想された暗いグレー値よりさらに明るいグレー値を有する。これはフィルタリングされる時、２つのイメージの境界付近は互いに影響を与えるためである。即ち、フィルタリングされる時、上のイメージで加重値によって明るいグレー値を有する上部が、下のイメージで加重値によって暗いグレー値を有する下部に影響を与えるためである。
【００８３】
長方形画像のピラミッドの上下方向に互いに隣接した２つのイメージにおいて、上部イメージの下段の明るいグレー値が、下部イメージの上段の暗いグレー値に影響を与えるため、フィルタリングの結果、下部イメージの上段は暗いグレー値を有することができず、明るいグレー値を有することができる。したがって、フィルタリングによってイメージのグレー値がわい曲され得る。
【００８４】
イメージ結合部４０は、イメージ拡張部５０によって拡張された同一の大きさの１つ以上のイメージを互いに結合する。例えば、１つ以上のイメージを互いに重畳した後に合わせることができる。
【００８５】
次に、結合されたイメージは、イメージフィルタリング部６０によってフィルタリングできる。イメージフィルタリング部６０は、上述したように、１つ以上のフィルタリング方法が順次に遂行できる。
【００８６】
また、結合されたイメージはイメージ拡張部５０によって拡張される。例えば、結合されたイメージの大きさが９６０×５４０である場合、イメージ拡張部５０によって９６０×１０８０の大きさを有するイメージに拡張できる。
【００８７】
以上、本発明の実施形態について詳細に説明したが、本発明の権利範囲はこれに限定されるものではない。本発明の基本概念を利用した当業者の種々の変形及び改良形態も本発明の権利範囲に属するものである。
【符号の説明】
【００８８】
１０ ダウンスケール部
２０ 特徴マップ生成部
３０ 視覚的関心計算部
４０ 画像結合部
５０ 画像拡張部
６０ 画像フィルタリング部
７０ 視差情報生成部
８０ ３次元画像レンダリング部
９０ オブジェクト分割部
１００ オブジェクト順序決定部
【技術分野】
【０００１】
本発明は、画像変換装置及びこれを含む立体画像表示装置に関する。
【背景技術】
【０００２】
一般に、３次元画像表示技術においては、近距離で立体感を認識する最も大きい要因である両眼視差（ｂｉｎｏｃｕｌａｒ ｐａｒａｌｌａｘ）を利用して物体の立体感を表現する。即ち、左眼と右眼にはそれぞれ互いに異なる２次元画像が映され、左眼に映される画像（以下、“左眼画像（ｌｅｆｔ ｅｙｅ ｉｍａｇｅ）”という）と、右眼に映される画像（以下、“右眼画像（ｒｉｇｈｔ ｅｙｅ ｉｍａｇｅ）”という）が脳に伝達されると、左眼画像と右眼画像は脳で融合されて奥行き感（ｄｅｐｔｈ ｐｅｒｃｅｐｔｉｏｎ）を有する３次元画像として認識される。
【０００３】
立体画像表示装置は、両眼視差を利用するもので、シャッタ眼鏡（ｓｈｕｔｔｅｒ ｇｌａｓｓｅｓ）、偏光眼鏡（ｐｏｌａｒｉｚｅｄ ｇｌａｓｓｅｓ）等の眼鏡を利用する眼鏡式（ｓｔｅｒｅｏｓｃｏｐｉｃ）方法と、眼鏡を利用しないで、表示装置にレンチキュラーレンズ（ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓ）、パララックスバリア（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ）等を配置する非眼鏡式（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ）方法がある。
【０００４】
一般に、３次元画像を提供するためには、種々の時点の２次元画像（ｍｕｌｔｉ ｖｉｅｗ ２Ｄ ｉｍａｇｅ）が必要であったが、このような方式は過去に製作された単一時点の２次元画像（ｓｉｎｇｌｅ−ｖｉｅｗ ２Ｄ ｉｍａｇｅ）を活用できなかった。
【０００５】
したがって、２次元画像の３次元画像への変換は、過去に製作されたコンテンツを次世代ディスプレイ装置に積極的に活用するための作業である。２次元画像を３次元画像に変換するためには、奥行き情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）を生成し、視差を生成して、左眼画像と右眼画像を生成したが、奥行き情報を生成する過程で技術的に難しい点が多かった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上記問題点に鑑みてなされたものであって、本発明による一実施形態は、重畳する物体を分離して、その物体間の配置順序を明確にすることにより、奥行き情報を有するイメージの品質を改善することを目的とする。
【０００７】
また、本発明による一実施形態は、データ演算量を減らし、メモリ資源（ｍｅｍｏｒｙ ｒｅｓｏｕｒｃｅ）を節約することを目的とする。
【０００８】
上記課題以外にも、具体的に言及されない他の課題を達成するのに用いることができる。
【課題を解決するための手段】
【０００９】
上記目的を達成するためになされた本発明による画像変換装置は、２次元画像をダウンスケールして１つ以上のダウンスケール画像を生成するダウンスケール部と、前記ダウンスケール画像から特徴情報を抽出して特徴マップを生成し、前記特徴マップは複数のオブジェクトを含む特徴マップ生成部と、前記複数のオブジェクトを分割するオブジェクト分割部と、前記複数のオブジェクトの奥行き順序を決めて、前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトに第１加重値を付与するオブジェクト順序決定部と、前記特徴マップの視覚的関心度に基づいてローレベル関心マップを生成する視覚的関心計算部とを有することを特徴とする。前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトのブロックセイリエンシに前記第１加重値を付与することができる。
【００１０】
前記オブジェクト順序決定部は、前記複数のオブジェクトの境界を抽出する境界抽出部と、前記境界周辺でのブロック積率またはブロックセイリエンシに基づいて前記複数のオブジェクトの奥行き順序を判断するブロック比較部と、前記第１加重値を付与する加重部とを含むことができる。
【００１１】
前記オブジェクト順序決定部は、前記境界の個数をカウントする境界個数部をさらに含むことができる。
【００１２】
前記ブロック比較部は、前記境界の個数が偶数であるかまたは奇数であるかに基づいて、前記複数のオブジェクトのうちの重畳するオブジェクトを判別することができる。
【００１３】
前記複数のオブジェクトのうちの深い奥行きを有するオブジェクトは、第２加重値が付与されるか、または加えられなくてもよく、前記第２加重値は前記第１加重値より小さいことができる。前記深い奥行きを有するオブジェクトのブロックセイリエンシに前記第２加重値を付与することができる。
【００１４】
前記ローレベル関心マップは複数存在することができ、前記複数のローレベル関心マップを結合するイメージ結合部をさらに含むことができ、前記結合された複数のローレベル関心マップから視覚的関心マップが生成されることができる。
【００１５】
前記画像変換装置は、前記結合された複数のローレベル関心マップをフィルタリングするイメージフィルタリング部をさらに含むことができる。
【００１６】
前記特徴マップは中央領域と周辺領域を含むことができ、前記視覚的関心度は、前記中央領域のヒストグラムと前記周辺領域のヒストグラムとの差に基づいて決定される。
【００１７】
前記特徴マップは中央領域と周辺領域を含むことができ、前記周辺領域と前記中央領域は１つ以上の単位ブロックを含むことができ、前記視覚的関心度は、ブロック積率、ブロックセイリエンシまたはこれら全てに基づいて決定される。
【００１８】
前記画像変換装置は、前記ローレベル関心マップをフィルタリングするイメージフィルタリング部をさらに含むことができる。
【００１９】
前記画像変換装置は、前記視覚的関心マップと前記２次元画像に基づいて視差情報を生成する視差情報生成部と、前記視差情報と前記２次元画像に基づいて３次元画像を生成する３次元画像レンダリング部とをさらに含むことができる。
【００２０】
また、上記目的を達成するためになされた本発明による画像変換方法は、２次元画像をダウンスケールして１つ以上のダウンスケール画像を生成する段階と、前記ダウンスケール画像から特徴情報を抽出して特徴マップを生成する段階と、前記特徴マップは複数のオブジェクトを含み、前記複数のオブジェクトを分割する段階と、前記複数のオブジェクトの奥行き順序を決める段階と、前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトに第１加重値を付与する段階と、前記特徴マップの視覚的関心度に基づいてローレベル関心マップを生成する段階と、を有することを特徴とする。
【００２１】
前記画像変換方法は前記複数のオブジェクトの境界を抽出する段階をさらに含むことができ、前記境界周辺でのブロック積率またはブロックセイリエンシに基づいて前記複数のオブジェクトの奥行き順序を判断することができる。
【００２２】
前記画像変換方法は前記境界の個数をカウントする段階をさらに含むことができる。
【００２３】
前記画像変換方法は、前記境界の個数が偶数であるかまたは奇数であるかに基づいて、前記複数のオブジェクトのうちの重畳するオブジェクトを判別する段階をさらに含むことができる。
【００２４】
前記複数のオブジェクトのうちの深い奥行きを有するオブジェクトは、第２加重値が付与されるか、または加えられなくてもよく、前記第２加重値は前記第１加重値より小さいことができる。
【００２５】
前記画像変換方法は、前記ローレベル関心マップは複数存在し、前記複数のローレベル関心マップを結合する段階をさらに含むことができ、前記結合された複数のローレベル関心マップから視覚的関心マップが生成されることができる。
【００２６】
前記画像変換方法は、前記結合された複数のローレベル関心マップをフィルタリングする段階をさらに含むことができる。
【００２７】
前記ダウンスケール画像は、前記２次元画像が横方向、縦方向、または横方向及び縦方向にダウンスケールされることができる。
【００２８】
前記ダウンスケール画像は複数存在することができ、前記複数のダウンスケール画像は１つのフレームで処理できる。
【００２９】
前記画像変換方法は、前記視覚的関心マップと前記２次元画像に基づいて視差情報を生成する段階と、前記視差情報と前記２次元画像に基づいて３次元画像を生成する段階とをさらに含むことができる。
【００３０】
また、上記目的を達成するためになされた本発明による立体画像装置は、複数の画素を含む表示パネルと、２次元画像を３次元画像に変換する画像変換装置とを有することを特徴とする。
【００３１】
前記画像変換装置は、２次元画像をダウンスケールして１つ以上のダウンスケール画像を生成するダウンスケール部と、前記ダウンスケール画像から特徴情報を抽出して特徴マップを生成し、前記特徴マップは複数のオブジェクトを含む特徴マップ生成部と、前記複数のオブジェクトを分割するオブジェクト分割部と、前記複数のオブジェクトの奥行き順序を決めて、前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトに第１加重値を付与するオブジェクト順序決定部と、前記特徴マップの視覚的関心度に基づいてローレベル関心マップを生成する視覚的関心計算部とを含むことができる。
【発明の効果】
【００３２】
本発明による一実施形態は、重畳するオブジェクトを分離でき、それらオブジェクト間の配置順序を明確にすることができ、奥行き情報を有するイメージの品質を改善でき、データ演算量を減らせ、メモリ資源を節約できる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施形態に係る画像変換装置を概略的に示すブロック図である。
【図２】本発明の一実施形態に係る視覚的関心計算部を概略的に示すブロック図である。
【図３】本発明の一実施形態に係るオブジェクト順序決定部を概略的に示すブロック図である。
【図４】本発明の一実施形態に係るダウンスケール部によって処理されたイメージを示す図面である。
【図５】本発明の一実施形態に係る領域設定部の処理方法を示す図面である。
【図６】本発明の一実施形態に係るローレベル関心計算方法を示す図面である。
【図７】本発明の一実施形態に係るオブジェクト順序決定方法を示す処理方法を示す図面である。
【図８】本発明の一実施形態に係るオブジェクト順序決定方法を示す処理方法を示す図面である。
【発明を実施するための形態】
【００３４】
添付した図面を参照して、本発明の実施形態について本発明が属する技術分野における通常の知識を有する者が容易に実施できるように詳細に説明する。本発明は種々の異なる形態に実現でき、ここで説明する実施形態に限られない。図面において、本発明を明確に説明するために説明上不必要な部分は省略し、明細書の全体にわたって同一または類似する構成要素に対しては同一の図面符号を付けた。また、広く知られている公知技術の場合、その具体的な説明は省略する。
【００３５】
以下、本発明の実施形態に係る立体画像表示装置について、図１乃至図８を参照して詳細に説明する。
【００３６】
ここで、立体画像表示装置は、シャッターガラス、偏光眼鏡などの眼鏡を利用する眼鏡式立体画像表示装置、レンチキュラーレンズ、パララックスバリアなどを利用する非眼鏡式立体画像表示装置などを全て含むことができる。立体画像表示装置は複数の画素を含む表示パネルを含む。
【００３７】
図１は、本発明の一実施形態に係る画像変換装置を概略的に示すブロック図である。
【００３８】
ここで、画像変換装置は、立体画像表示装置に組み込む（ｅｍｂｅｄｄｅｄ）ことができる。その他にも、画像変換装置は、地上波放送チューナー、衛星放送受信端末器、ケーブルテレビ受信コンバータ、ＶＣＲ、ＤＶＤプレーヤ、ＨＤＴＶ放送受信機、プルレイディスクプレーヤ、ゲームコンソールなど多様な画像受信及び再生装備に組み込むことができる。
【００３９】
図１を参照すると、画像変換装置は、ダウンスケール部（ｄｏｗｎｓｃａｌｉｎｇ ｕｎｉｔ）１０、特徴マップ生成部（ｆｅａｔｕｒｅ ｍａｐ ｇｅｎｅｒａｔｉｎｇ ｕｎｉｔ）２０、視覚的関心計算部（ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｃａｌｃｕｌａｔｉｎｇ ｕｎｉｔ）３０、画像結合部（ｉｍａｇｅ ｃｏｍｂｉｎａｔｉｏ ｎｕｎｉｔ）４０、画像拡張部（ｉｍａｇｅ ｅｘｐａｎｓｉｏｎ ｕｎｉｔ）５０、画像フィルタリング部（ｉｍａｇｅ ｆｉｌｔｅｒｉｎｇ ｕｎｉｔ）６０、視差情報生成部（ｐａｒａｌｌａｘ ｉｎｆｏｒｍａｔｉｏｎ ｇｅｎｅｒａｔｉｎｇ ｕｎｉｔ）７０、３次元画像レンダリング部（３Ｄ ｉｍａｇｅ ｒｅｎｄｅｒｉｎｇ ｕｎｉｔ）８０、オブジェクト分割部（ｏｂｊｅｃｔ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｎｉｔ）９０、及びオブジェクト順序決定部（ｏｂｊｅｃｔ ｏｒｄｅｒ ｄｅｔｅｒｍｉｎａｔｉｏ ｎｕｎｉｔ）１００を含む。画像変換装置はメモリを含むか、または外部メモリに連結できる。画像変換装置はメモリを利用して後述する多様な種類の演算を遂行する。
画像変換装置は、２次元画像（２Ｄｉｍａｇｅ）を３次元画像（３Ｄｉｍａｇｅ）に変換する。ここで、２次元画像とは、単一時点を有する典型的な２次元画像を意味し、３次元画像とは、ステレオ時点（ｓｔｅｒｅｏ−ｖｉｅｗ）等の多重時点（ｍｕｌｔｉ−ｖｉｅｗ）を有する２次元画像を意味する。例えば、３次元画像は、左眼画像、右眼画像またはこれら全てを意味し、左眼画像と右眼画像それぞれは２次元平面上に表示される画像である。また、左眼画像と右眼画像は同時に２次元平面上に出力でき（後に偏光フィルタまたはカラーフィルタなどのフィルタを利用して左眼画像と右眼画像が分離できる）、左眼画像と右眼画像が順次に２次元平面上に出力されることも可能である。
【００４０】
画像変換装置に入力された２次元画像は、奥行き情報を有する視覚的関心マップ（ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｍａｐ）に変換され、視覚的関心マップと入力された２次元画像に基づいて視差情報生成部７０が視差情報（ｐａｒａｌｌａｘ ｉｎｆｏｒｍａｔｉｏｎ）を生成する。ここで、視差情報は、イメージの各画素別に、または複数の画素を含む画素グループ別に生成されうる。３次元画像レンダリング部８０は、原本２次元画像と視差情報に基づいて３次元画像を生成する。例えば、３次元画像レンダリング部８０は、入力された２次元画像と視差情報に基づいて左眼画像と右眼画像を生成する。
【００４１】
視覚的関心度（ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ）は、人間の脳と認知システムが一般に画像の特定領域に視覚を集中させるということを意味し、これは多様な分野で立証されている。視覚的関心度は、生理学（ｐｈｙｓｉｏｌｏｇｙ）、心理学（ｐｓｙｃｈｏｌｏｇｙ）、神経系学（ｎｅｕｒａｌ ｓｙｓｔｅｍｓ）、コンピュータビジョン（ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ）等の分野で長期にわたって研究が行われている主題である。同時に、視覚的関心度はコンピュータビジョンの関連分野である物体認識、追跡、発見などの分野で特に高い関心を集めている。
【００４２】
視覚的関心マップとは、２次元画像に対する視覚的関心度を計算することによって生成されるイメージであり、２次元画像におけるオブジェクト（ｏｂｊｅｃｔ）の重要度に関する情報を含むことができる。例えば、視覚的に興味深い領域を観察者に近く配置し、視覚的に興味深くない領域を観察者から遠く配置することができる。即ち、視覚的に興味深い領域は観察者に近く配置するために、明るく（即ち、グレー値を大きく）示すことができ、視覚的に興味深くない領域を観察者から遠く配置するために、暗く（即ち、グレー値を小さく）示すことができる。オブジェクトと背景を含んでいるイメージにおいて、オブジェクトは明るく示し、背景は暗く示すことができ、これにより、オブジェクトが背景から突出しているように示せる。原本２次元画像と視覚的関心マップの大きさは、それぞれ９６０×１０８０とすることができる。
【００４３】
以下、２次元画像から視覚的関心マップを生成する過程について詳細に説明する。
【００４４】
図１を参照すると、ダウンスケール部１０は、２次元画像をダウンスケールして１つ以上のダウンスケール画像を生成する。例えば、２次元画像を横にｍ回、縦にｎ回ダウンスケールして、長方形画像のピラミッド（ｒｅｃｔａｎｇｕｌａｒ ｐｙｒａｍｉｄ）を生成することができる。ダウンスケール部１０は横ダウンスケール部及び縦ダウンスケール部を含むことができる。横ダウンスケール部は２次元画像を横方向にダウンスケールして、１つ以上のダウンスケール画像を生成でき、縦ダウンスケール部は２次元画像を縦方向にダウンスケールして、１つ以上のダウンスケール画像を生成することができる。
【００４５】
図４を参照すると、横方向に２回、縦方向に２回それぞれダウンスケールした長方形画像のピラミッドが示されている。即ち、原本２次元画像２１０は、縦に２回ダウンスケールされて２つのダウンスケール画像（２１３、２１４）が生成できる。３個の画像（２１０、２１３、２１４）は、それぞれ横に２回ダウンスケールされて６個のダウンスケール画像（２１１、２１２、２１５、２１６、２１７、２１８）が生成できる。結局、９個の画像から構成された長方形画像のピラミッドが生成できる。例えば、３個の画像（２１０、２１３、２１４）の縦解像度はそれぞれ５４０、２７０、１３５であり得、３個の画像（２１０、２１１、２１２）の横解像度はそれぞれ９６０、４８０、２４０であり得る。複数のダウンスケールされた長方形画像が１つのフレームで処理されるので、速い画像処理が可能である。
【００４６】
図１及び図６を参照すると、特徴マップ生成部２０は、２次元画像及び１つ以上のダウンスケール画像から特徴情報（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を抽出して、１つ以上の特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を生成することができる。ここで、特徴情報は、輝度（ｌｕｍｉｎａｎｃｅ）、色（ｃｏｌｏｒ）、テクスチャー（ｔｅｘｔｕｒｅ）、モーション（ｍｏｔｉｏｎ）、方向性（ｏｒｉｅｎｔａｔｉｏｎ）等であり得る。例えば、長方形画像のピラミッドにおいて、各画素別にまたは任意の画素グループ別に輝度情報を抽出してイメージを生成することができ、生成されたイメージは１つの特徴マップとなり得る。
【００４７】
視覚的関心計算部３０は、１つ以上の特徴マップを利用してローレベル関心計算（ｌｏｗ−ｌｅｖｅｌ ａｔｔｅｎｔｉｏｎ ｃｏｍｐｕｔａｔｉｏｎ）を行い、ローレベル関心計算の結果に基づいてローレベル関心マップを生成することができる。例えば、視覚的関心計算部３０は、ローレベル関心計算を行うために、中央領域のヒストグラムと周辺領域のヒストグラムとの差を利用することができる。
【００４８】
図２を参照すると、視覚的関心計算部３０は、領域設定部（ａｒｅａ ｓｅｔｕｐ ｕｎｉｔ）３１、ヒストグラム計算部（ｈｉｓｔｏｇｒａｍ ｃａｌｃｕｌａｔｉｎｇ ｕｎｉｔ）３２、及び関心マップ生成部（ａｔｔｅｎｔｉｏｎ ｍａｐ ｇｅｎｅｒａｔｉｎｇ ｕｎｉｔ）３３を含む。
領域設定部３１は、１つ以上の特徴マップに対して中央領域及び周辺領域を設定でき、周辺領域は中央領域を囲むことができる。領域設定部３１は、単位ブロック設定部（ｕｎｉｔ−ｂｌｏｃｋ ｓｅｔｕｐ ｕｎｉｔ）、中央領域設定部（ｃｅｎｔｅｒ−ａｒｅａ ｓｅｔｕｐ ｕｎｉｔ）、及び周辺領域設定部（ｓｕｒｒｏｕｎｄｉｎｇ−ａｒｅａ ｓｅｔｕｐ ｕｎｉｔ）を含む。
【００４９】
単位ブロック設定部は、正四角形または長方形の単位ブロックを設定することができる。例えば、単位ブロックは、８（ｐｉｘｅｌｓ）×８（ｐｉｘｅｌｓ）の大きさを有することができる。ここで、中央領域と周辺領域の可能な組み合わせの数は、２次元画像の大きさにより幾何級数的に増加できるので、中央領域と周辺領域の可能な組み合わせの数を減らすために単位ブロックを用いることができる。そのために、データ演算量が減少できる。
【００５０】
中央領域設定部は中央領域を単位ブロックの大きさに設定し、周辺領域設定部は周辺領域を単位ブロックを複数個合算した大きさに設定することができる。図５を参照すると、任意の大きさの単位ブロックが設定されて、中央領域と周辺領域が単位ブロックの組み合わせだけで構成できる。例えば、２次元画像はダウンスケールされて多様なスケールの画像が生成でき、中央領域は１つの単位ブロックに対応できる。この時、周辺領域は、中央領域に対応するブロックを含むｋ個の隣接ブロック（ｎｅｉｇｈｂｏｒｈｏｏｄ ｂｌｏｃｋ）に設定できる。例えば、図５を参照すると、中央領域を１つのＢ０ブロック３１０に設定し、周辺領域はＢ１ブロック３１１、Ｂ２ブロック３１２、Ｂ３ブロック３１３、Ｂ４ブロック３１４に設定できる。したがって、Ｂ０ブロック３１０のヒストグラムとＢ１ブロック乃至Ｂ４ブロック（３１１、３１２、３１３、３１４）のヒストグラムとの差を求めることができる。
【００５１】
ヒストグラム計算部３２は、中央領域の特徴情報ヒストグラムと周辺領域の特徴情報ヒストグラムとの差を計算できる。ここで、ヒストグラムは、インテンシティヒストグラム（ｉｎｔｅｎｓｉｔｙ ｈｉｓｔｏｇｒａｍ）、カラーヒストグラム（ｃｏｌｏｒ ｈｉｓｔｏｇｒａｍ）等とすることができる。。
【００５２】
図５を参照して、ヒストグラムの差を計算する過程を詳細に説明する。
【００５３】
中央−周辺ヒストグラム（ｃｅｎｔｅｒ−ｓｕｒｒｏｕｎｄ ｈｉｓｔｏｇｒａｍ）を使用するために、特徴マップ４１０の任意のピクセルを基準として２つのタイプの隣接領域（ｎｅｉｇｈｂｏｒ ａｒｅａ）を定義できる。即ち、基準となるピクセルによって中央領域（ｃｅｎｔｅｒ ａｒｅａ）４１１、周辺領域（ｓｕｒｒｏｕｎｄｉｎｇ ａｒｅａ）４１２を定義できる。周辺領域４１２は中央領域４１１を含むことができ、周辺領域４１２の面積は中央領域４１１の面積より大きいことがありうる。
【００５４】
したがって、上記中央領域及び上記周辺領域のヒストグラムを抽出し、多様なヒストグラム差の測定（ｈｉｓｔｏｇｒａｍ ｄｉｓｔａｎｃｅ ｍｅａｓｕｒｅ）方法を用いて、中央領域及び周辺領域の特徴値の差４２１を求めることができる。したがって、中央領域及び周辺領域の特徴の差値によるローレベル関心マップ４２０を生成することができる。
【００５５】
ヒストグラム差を計算するために多様な方法が用いられる。例えば、カイ二乗（ｃｈｉｓｑｕａｒｅ、χ２）を用いることができる。即ち、中央領域をＲとし、周辺をＲｓとすれば、Ｒｉを輝度（Ｌｕｍｉｎａｎｃｅ）、色（Ｃｏｌｏｒ）、テクスチャー（Ｔｅｘｔｕｒｅ）等を用いることができるヒストグラムのｉ番目ビン（Ｂｉｎ）とする時、中央−周辺ヒストグラムは、中央領域ヒストグラムと周辺領域ヒストグラムのカイ二乗差と実質的に同一であり、次式１のように表すことができる。
【００５６】
【数１】
【００５７】
関心マップ生成部３３は、特徴情報ヒストグラムの差を利用してローレベル関心マップを生成することができる。
【００５８】
一方、１つ以上の特徴マップを利用してローレベル関心計算を行うために、中央−周辺ヒストグラムの全部を利用しないで、ヒストグラムの積率（ｍｏｍｅｎｔ）を用いることができる。ここで、積率は、ヒストグラムに対する平均（ｍｅａｎ）、分散（ｖａｒｉａｎｃｅ）、標準偏差（ｓｔａｎｄａｒｄ ｄｅｖｉａｔｉｏｎ）、及び非対称度（ｓｋｅｗｎｅｓｓ）のうちの少なくとも１つを含むことができる。例えば、１つの単位ブロックに含まれている複数の画素の輝度値に対して平均、分散、標準偏差、及び非対称度を計算することができる。ヒストグラムの積率を用いることにより、メモリ資源を節約することができる。
【００５９】
例えば、ｉ番目ブロックのｊ番目ピクセルの値がＰｉｊであれば、ｉ番目ブロックの積率は、次式２のように表すことができる。
【００６０】
【数２】
【００６１】
ここで、Ｅｉは平均を、σｉは分散を、ｓｉは非対称度をそれぞれ意味する。
また、この場合、特定ブロックのセイリエンシ（ｓａｌｉｅｎｃｙ）は、次式３のように定義できる。
【００６２】
【数３】
【００６３】
ここで、パラメターｗは、積率間の相対的重要度を調節する加重値であり、基本設定値は１であり得る。また、Ｂ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４は図４に示したブロックであり得る。例えば、Ｂ０乃至Ｂ４に対するブロック積率を計算した後、Ｂ０乃至Ｂ４に対するブロック積率を利用して１つのブロックセイリエンシを求めることができる。
【００６４】
図１を参照すると、特徴情報ヒストグラムの差を利用して、ローレベル関心マップを生成する過程で、オブジェクト分割部９０とオブジェクト順序決定部１００の実行結果が追加的に用いられうる。または、ローレベル関心マップを生成した後、オブジェクト分割部９０とオブジェクト順序決定部１００の実行結果がローレベル関心マップに反映されうる。オブジェクト分割部９０によって重畳したオブジェクトが分割され、オブジェクト順序決定部１００によって分割されたオブジェクトと背景の奥行き順序が決定される。
【００６５】
オブジェクト分割部９０は、１つのイメージに複数のオブジェクト、背景などが含まれているイメージで重畳するオブジェクトを分割する。図８に示したように、オブジェクト分割部９０によって重畳したオブジェクトが２つに分割できる。重畳したオブジェクトが分割されない状態で、イメージフィルタリングが遂行される場合、重畳したオブジェクトが１つのオブジェクトと認識されてフィルタリングでき、そのためにオブジェクト間の奥行き順序を定めることが困難になることがある。
【００６６】
オブジェクトを分割する方法としては、分割アルゴリズム（ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）が利用でき、分割アルゴリズムとしてウォーターシェッド（ｗａｔｅｒｓｈｅｄ）アルゴリズムなどがある。
【００６７】
オブジェクト順序決定部１００は横方向または縦方向にスキャニング（ｓｃａｎｎｉｎｇ）をしながらオブジェクトと背景の奥行き順序を決定することができる。ここで、背景は省略可能である。即ち、オブジェクトのうちのどれが観察者に近く配置されているのか（奥行きが浅いのか）、どれが観察者から遠く配置されているのか（奥行きが深いのか）を決定することができる。ここで、背景は、一般にオブジェクトより観察者から遠く配置されていることができる。図３に示したように、オブジェクト順序決定部１００は、境界抽出部（ｅｄｇｅ ｅｘｔｒａｃｔｉｏｎ ｕｎｉｔ）１１０、境界計数部（ｅｄｇｅ ｃｏｕｎｔｉｎｇ ｕｎｉｔ）１２０、ブロック比較部１３０、及び加重部（ｗｅｉｇｈｔｉｎｇｕｎｉｔ）を含むことができる。
【００６８】
境界抽出部１１０は、イメージに含まれているオブジェクトの外郭線を抽出することができる。例えば、オブジェクトの外郭線を抽出するために、ハイパスフィルタ（ｈｉｇｈ ｐａｓｓ ｆｉｌｔｅｒ）等を用いることができる。図７のイメージまたは図８のイメージをハイパスフィルタによってフィルタリングすれば、左側円の外郭線と右側円の外郭線が抽出される。
【００６９】
例えば、左側円と右側円の外郭線のグレー値は２５５であり得、円の内部領域と外部領域のグレー値は全て０であり得る。
【００７０】
境界計数部１２０は、横方向または縦方向にスキャニングしながら、外郭線（または境界）の個数を数えることができる。図７を参照すると、境界計数部１２０が水平方向にスキャニングする時、境界計数部１２０はグレー値を有する外郭線を３回カウントすることができる。図８を参照すると、境界係数部１２０が水平方向にスキャニングする時、境界計数部１２０は２５５のグレー値を有する外郭線を４回カウントすることができる。境界計数部１２０は省略可能である。
【００７１】
ブロック比較部１３０は、境界周辺におけるブロックのブロック積率（ｂｌｏｃｋ ｍｏｍｅｎｔ）またはブロックセイリエンシ（ｂｌｏｃｋ ｓａｌｉｅｎｃｙ）に基づいて、オブジェクトと背景の奥行き順序を決定することができる。または、ブロック比較部１３０は、追加的に境界の個数が偶数であるかまたは奇数であるかに基づいて、オブジェクトが重畳しているか否かを判別することができる。
【００７２】
加重部１４０は、オブジェクトと背景の奥行き順序が決定された後、観察者にさらに近く配置されているオブジェクトであるほど、加重値を大きく付与することができる。例えば、特徴情報が輝度である場合、観察者に近く配置されているオブジェクトのブロックセイリエンシに大きいグレー値を加えることができ、観察者から遠く配置されているオブジェクトのブロックセイリエンシに小さいグレー値を加えるか、または加えないことができる。したがって、観察者に近く配置されているオブジェクトと、観察者から遠く離れているオブジェクトの区分を明確にすることができるので、奥行き情報を有するイメージの品質が改善できる。さらに、オブジェクト間の奥行き順序を明確にしたので、イメージフィルタリングが行われてもオブジェクト間の奥行き順序がさかさまになれない。オブジェクトが重畳しているか否かに基づいて加重値を付与するか否かを決定することができる。即ち、オブジェクトが重畳する場合には観察者にさらに近く配置されているオブジェクトに加重値を大きく付与でき、オブジェクトが重畳していない場合にはいずれのオブジェクトにも加重値を付与しないようにできる。または、オブジェクトが重畳しているか否かに無関係に、観察者にさらに近く配置されているオブジェクトに常にさらに大きい加重値を付与できる。加重値は実験によって適切に決定できる。
【００７３】
例えば、図７及び図８に示したように、特徴情報が輝度であり、イメージが２個のオブジェクトを含んでいる場合について詳細に説明する。
【００７４】
境界の個数が奇数の場合、図７に示したように、２個のオブジェクトは重畳することができ、２個のオブジェクトのうちのブロック積率またはブロックセイリエンシがさらに大きいオブジェクトを一層明るくすることができ、観察者にさらに近く配置することができる。したがって、ブロックセイリエンシがさらに大きいオブジェクトのブロックセイリエンシに、さらに大きい加重値を付与することができる。図７の場合、第５ブロックＢ５のセイリエンシが第４ブロックＢ４のセイリエンシよりさらに大きいので、第５ブロックＢ５が含まれているオブジェクトが、第４ブロックＢ４が含まれているオブジェクトより観察者にさらに近く配置されており、そのために第５ブロックＢ５のセイリエンシにさらに大きい加重値を付与することができる。
【００７５】
また、境界の個数が偶数である場合、図８に示したように、２個のオブジェクトは重畳しないようにできる。この場合、２個のオブジェクトのブロックセイリエンシに加重値を付与しない。または、離れている２個のオブジェクト間の奥行き感をさらに明確にするために、２個のオブジェクトのうちのより大きいブロックセイリエンシを有するオブジェクトのブロックセイリエンシに加重値を付与することもできる。図８の場合、境界の個数が４個であるので、２個のオブジェクトに加重値を付与しないようにできる。または、第３ブロックＢ３のセイリエンシが第１ブロックＢ１のセイリエンシよりさらに大きいので、第３ブロックＢ３のセイリエンシにさらに大きい加重値を付与することも可能である。
【００７６】
その他にも、境界の個数をカウントしない場合、境界周辺で境界を基準として左側ブロックのセイリエンシと右側ブロックのセイリエンシとを比較した後、右側ブロックのセイリエンシが大きい場合、右側ブロックのセイリエンシに大きい加重値を付与することができ、左側ブロックのセイリエンシには加重値を付与しないか、または小さい加重値を付与することができる。右側ブロックのセイリエンシが小さい場合、左側ブロックのセイリエンシと右側ブロックのセイリエンシに加重値を付与しないようにできる。
【００７７】
図７を参照すると、横方向にスキャニングする時、第４ブロックＢ４及び第５ブロックＢ５のブロック積率またはブロックセイリエンシを比較して、左側円と右側円の奥行き順序を決定することができる。横方向に配置されている境界のうち、中央の境界より左側に位置する第４ブロックＢ４の積率またはセイリエンシ、そして中央の境界より右側に位置する第５ブロックＢ５の積率またはセイリエンシを比較することができる。例えば、積率が平均である場合、グレー値に対する平均が計算できる。各ブロック（Ｂ４、Ｂ５）の積率は当該ブロックの中に含まれている画素のグレー値に対する平均である。各ブロック（Ｂ４、Ｂ５）のセイリエンシは、任意のブロック（Ｂ４、Ｂ５）の積率と、任意のブロック（Ｂ４、Ｂ５）の上下左右に位置する４個のブロックの積率に基づいて計算することができる。例えば、第４ブロックＢ４のセイリエンシは１５０、第５ブロックＢ５のセイリエンシは３００であり得る。“第４ブロックＢ４のセイリエンシ＜第５ブロックＢ５のセイリエンシ”であるので、さらに大きい値を有する第５ブロックＢ５のセイリエンシに加重値３０を付与することができ、第４ブロックＢ４のセイリエンシに加重値を付与しないか、または加重値５を付与することができる。または、ブロック積率値の比較に基づいてブロックセイリエンシに加重値を付与することができる。さらに、第４ブロックＢ４が位置する左側円全体に同一の加重値を同時に付与することができ、第５ブロックＢ５が位置する右側円全体に同一の加重値を同時に付与することができる。
【００７８】
図８を参照すると、横方向にスキャニングする時、第１ブロック乃至第３ブロック（Ｂ１、Ｂ２、Ｂ３）のブロック積率またはブロックセイリエンシを比較して、左側円、右側円、及び背景の奥行き順序を決定することができる。横方向に配置されている境界のうち、中央の２個の境界間の第２ブロックＢ２の積率またはセイリエンシ、中央の２個の境界のうちの左側の境界より左側に位置する第１ブロックＢ１の積率またはセイリエンシ、そして、中央の２個の境界のうちの右側の境界より右側に位置する第３ブロックＢ３の積率またはセイリエンシを比較することができる。例えば、積率が平均である場合、グレー値に対する平均が計算できる。各ブロック（Ｂ１、Ｂ２、Ｂ３）の積率は当該ブロックの中に含まれている画素のグレー値に対する平均である。各ブロック（Ｂ１、Ｂ２、Ｂ３）のセイリエンシは、任意のブロック（Ｂ１、Ｂ２、Ｂ３）の積率と、任意のブロック（Ｂ１、Ｂ２、Ｂ３）の上下左右に位置する４個のブロックの積率に基づいて計算できる。例えば、第１ブロックＢ１のセイリエンシは１５０、第２ブロックＢ２のセイリエンシは５０、第３ブロックＢ３のセイリエンシは３００であり得る。“第２ブロックＢ２のセイリエンシ＜第１ブロックＢ１のセイリエンシ＜第３ブロックＢ３のセイリエンシ”であるので、第３ブロックＢ３のセイリエンシに３０の加重値を付与することができ、第１ブロックＢ１のセイリエンシに５の加重値を付与することができ、第２ブロックＢ２のセイリエンシには加重値を付与しないようにできる。または、ブロック積率値の比較に基づいてブロックセイリエンシに加重値を付与することができる。さらに、第３ブロックＢ３が位置する右側円全体に同一の加重値を同時に付与することができ、第１ブロックＢ１が位置する左側円全体に同一の加重値を同時に付与することができる。
【００７９】
１つ以上のダウンスケール画像別に生成されたローレベル関心マップは、選択的にイメージフィルタリング部６０によって処理できる。例えば、フィルタリングする方法は、正規化曲線（ｎｏｒｍａｌｉｚａｔｉｏｎ ｃｕｒｖｅ）を利用する方法、シグモイド曲線（ｓｉｇｍｏｉｄ ｃｕｒｖｅ）を利用する方法、バイラテラルフィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）を利用する方法などがあり、１つ以上の方法を順次に利用することができる。具体的に、バイラテラルフィルタは１０×１０デシメーション（ｄｅｃｉｍａｔｉｏｎ）を行った後、５×５×５ローパスフィルタ（ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）を用いてフィルタリングした後、１０×１０補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行うことができる。
【００８０】
ローレベル関心マップは、イメージ拡張部５０によってアップスケールされることができる。例えば、アップスケール時にはバイキュービック補間（ｂｉ−ｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）等を使用することができる。ここで、イメージをアップスケールする過程で、各画素別イメージデータに加重値を付与することができる。ここで、各画素別イメージデータは背景イメージに該当できる。即ち、ローレベル関心マップで下部に位置するイメージデータに加重値を付与しないか、または次第に減少する加重値をローレベル関心マップで下部に位置するイメージデータに加えることができる。
【００８１】
例えば、イメージの大きさが９６０×５４０の場合、縦解像度（ｌｉｎｅ ｎｕｍｂｅｒ）が０から５１５に近づくほど、イメージデータによって付与される加重値は次第に増加できる。次に、縦解像度が５１５から５４０に近づくほど、イメージデータによって付与される加重値は次第に減少できる。上下に隣接した２つのイメージそれぞれに上述する方式で加重値が付与される時、２つのイメージが境界付近は暗いグレー値を有することができる。これにより、上下に隣接した２つのイメージがフィルタリングされても、各イメージは上部で暗いグレー値を有することができ、各イメージの上部から下部まで下方に次第に明るくなるグレー値を有することができる。したがって、グレー値のわい曲が防止でき、イメージの品質が改善できる。
【００８２】
もし、各イメージの上部から下部方向に付与される加重値が次第に増加すれば、２つの隣接したイメージがフィルタリングされる時、加重値が合わせられた２つの隣接したイメージの境界付近は、暗いグレー値と明るいグレー値とをそれぞれ有するため、グレー値のわい曲が発生し得る。例えば、長方形画像のピラミッドに加重値が付与される時、上下に隣接した２つのイメージのうちの上のイメージの下部は明るいグレー値を有し、上下に隣接した２つのイメージのうちの下のイメージの上部は暗いグレー値を有する。ここで、上のイメージと下のイメージは長方形画像のピラミッドで上下方向に互いに隣接した２つのイメージである。次に、加重値が合わせられた長方形画像のイメージをフィルタリングした結果、下のイメージの上部は予想された暗いグレー値よりさらに明るいグレー値を有する。これはフィルタリングされる時、２つのイメージの境界付近は互いに影響を与えるためである。即ち、フィルタリングされる時、上のイメージで加重値によって明るいグレー値を有する上部が、下のイメージで加重値によって暗いグレー値を有する下部に影響を与えるためである。
【００８３】
長方形画像のピラミッドの上下方向に互いに隣接した２つのイメージにおいて、上部イメージの下段の明るいグレー値が、下部イメージの上段の暗いグレー値に影響を与えるため、フィルタリングの結果、下部イメージの上段は暗いグレー値を有することができず、明るいグレー値を有することができる。したがって、フィルタリングによってイメージのグレー値がわい曲され得る。
【００８４】
イメージ結合部４０は、イメージ拡張部５０によって拡張された同一の大きさの１つ以上のイメージを互いに結合する。例えば、１つ以上のイメージを互いに重畳した後に合わせることができる。
【００８５】
次に、結合されたイメージは、イメージフィルタリング部６０によってフィルタリングできる。イメージフィルタリング部６０は、上述したように、１つ以上のフィルタリング方法が順次に遂行できる。
【００８６】
また、結合されたイメージはイメージ拡張部５０によって拡張される。例えば、結合されたイメージの大きさが９６０×５４０である場合、イメージ拡張部５０によって９６０×１０８０の大きさを有するイメージに拡張できる。
【００８７】
以上、本発明の実施形態について詳細に説明したが、本発明の権利範囲はこれに限定されるものではない。本発明の基本概念を利用した当業者の種々の変形及び改良形態も本発明の権利範囲に属するものである。
【符号の説明】
【００８８】
１０ ダウンスケール部
２０ 特徴マップ生成部
３０ 視覚的関心計算部
４０ 画像結合部
５０ 画像拡張部
６０ 画像フィルタリング部
７０ 視差情報生成部
８０ ３次元画像レンダリング部
９０ オブジェクト分割部
１００ オブジェクト順序決定部
【特許請求の範囲】
【請求項１】
２次元画像をダウンスケールして、１つ以上のダウンスケール画像を生成するダウンスケール部と、
前記ダウンスケール画像から特徴情報を抽出して特徴マップを生成し、前記特徴マップは複数のオブジェクトを含む特徴マップ生成部と、
前記複数のオブジェクトを分割するオブジェクト分割部と、
前記複数のオブジェクトの奥行き順序を決めて、前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトに第１加重値を付与するオブジェクト順序決定部と、
前記特徴マップの視覚的関心度に基づいて、ローレベル関心マップを生成する視覚的関心計算部と
を有することを特徴とする画像変換装置。
【請求項２】
前記オブジェクト順序決定部、
前記複数のオブジェクトの境界を抽出する境界抽出部と、
前記境界周辺でのブロック積率またはブロックセイリエンシに基づいて、前記複数のオブジェクトの奥行き順序を判断するブロック比較部と、
前記第１加重値を付与する加重部と、を含むことを特徴とする、請求項１に記載の画像変換装置。
【請求項３】
前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトのブロックセイリエンシに前記第１加重値を付与することを特徴とする、請求項２に記載の画像変換装置。
【請求項４】
前記オブジェクト順序決定部は、前記境界の個数をカウントする境界個数部をさらに含むことを特徴とする、請求項２に記載の画像変換装置。
【請求項５】
前記ブロック比較部は、前記境界の個数が偶数であるかまたは奇数であるがに基づいて、前記複数のオブジェクトのうちの重畳するオブジェクトを判別することを特徴とする、請求項４に記載の画像変換装置。
【請求項６】
前記複数のオブジェクトのうちの深い奥行きを有するオブジェクトは第２加重値が加えられ、前記第２加重値は前記第１加重値より小さいことを特徴とする、請求項２に記載の画像変換装置。
【請求項７】
前記深い奥行きを有するオブジェクトのブロックセイリエンシに前記第２加重値を付与することを特徴とする、請求項６に記載の画像変換装置。
【請求項８】
前記ローレベル関心マップは複数存在し、前記複数のローレベル関心マップを結合するイメージ結合部をさらに含み、前記結合された複数のローレベル関心マップから視覚的関心マップが生成されることを特徴とする、請求項１に記載の画像変換装置。
【請求項９】
前記結合された複数のローレベル関心マップをフィルタリングするイメージフィルタリング部をさらに含むことを特徴とする、請求項８に記載の画像変換装置。
【請求項１０】
前記特徴マップは中央領域と周辺領域を含み、前記視覚的関心度は、前記中央領域のヒストグラムと前記周辺領域のヒストグレムとの差に基づいて決定されることを特徴とする、請求項９に記載の画像変換装置。
【請求項１１】
前記特徴マップは中央領域と周辺領域を含み、前記周辺領域と前記中央領域は１つ以上の単位ブロックを含み、前記視覚的関心度は、ブロック積率、ブロックセイリエンシ、またはこれら全てに基づいて決定されることを特徴とする、請求項９に記載の画像変換装置。
【請求項１２】
前記ローレベル関心マップをフィルタリングするイメージフィルタリング部をさらに含むことを特徴とする、請求項１に記載の画像変換装置。
【請求項１３】
前記視覚的関心マップと前記２次元画像に基づいて視差情報を生成する視差情報生成部と、
前記視差情報と前記２次元画像に基づいて３次元画像を生成する３次元画像レンダリング部とをさらに含むことを特徴とする、請求項１に記載の画像変換装置。
【請求項１４】
複数の画素を含む表示パネルと、
２次元画像を３次元画像に変換する画像変換装置とを含み、
前記画像変換装置は、
２次元画像をダウンスケールして１つ以上のダウンスケール画像を生成するダウンスケール部と、
前記ダウンスケール画像から特徴情報を抽出して特徴マップを生成し、前記特徴マップは複数のオブジェクトを含む特徴マップ生成部と、
前記複数のオブジェクトを分割するオブジェクト分割部と、
前記複数のオブジェクトの奥行き順序を決めて、前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトに第１加重値を付与するオブジェクト順序決定部と、
前記特徴マップの視覚的関心度に基づいてローレベル関心マップを生成する視覚的関心計算部と
を有することを特徴とする立体画像表示装置。
【請求項１】
２次元画像をダウンスケールして、１つ以上のダウンスケール画像を生成するダウンスケール部と、
前記ダウンスケール画像から特徴情報を抽出して特徴マップを生成し、前記特徴マップは複数のオブジェクトを含む特徴マップ生成部と、
前記複数のオブジェクトを分割するオブジェクト分割部と、
前記複数のオブジェクトの奥行き順序を決めて、前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトに第１加重値を付与するオブジェクト順序決定部と、
前記特徴マップの視覚的関心度に基づいて、ローレベル関心マップを生成する視覚的関心計算部と
を有することを特徴とする画像変換装置。
【請求項２】
前記オブジェクト順序決定部、
前記複数のオブジェクトの境界を抽出する境界抽出部と、
前記境界周辺でのブロック積率またはブロックセイリエンシに基づいて、前記複数のオブジェクトの奥行き順序を判断するブロック比較部と、
前記第１加重値を付与する加重部と、を含むことを特徴とする、請求項１に記載の画像変換装置。
【請求項３】
前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトのブロックセイリエンシに前記第１加重値を付与することを特徴とする、請求項２に記載の画像変換装置。
【請求項４】
前記オブジェクト順序決定部は、前記境界の個数をカウントする境界個数部をさらに含むことを特徴とする、請求項２に記載の画像変換装置。
【請求項５】
前記ブロック比較部は、前記境界の個数が偶数であるかまたは奇数であるがに基づいて、前記複数のオブジェクトのうちの重畳するオブジェクトを判別することを特徴とする、請求項４に記載の画像変換装置。
【請求項６】
前記複数のオブジェクトのうちの深い奥行きを有するオブジェクトは第２加重値が加えられ、前記第２加重値は前記第１加重値より小さいことを特徴とする、請求項２に記載の画像変換装置。
【請求項７】
前記深い奥行きを有するオブジェクトのブロックセイリエンシに前記第２加重値を付与することを特徴とする、請求項６に記載の画像変換装置。
【請求項８】
前記ローレベル関心マップは複数存在し、前記複数のローレベル関心マップを結合するイメージ結合部をさらに含み、前記結合された複数のローレベル関心マップから視覚的関心マップが生成されることを特徴とする、請求項１に記載の画像変換装置。
【請求項９】
前記結合された複数のローレベル関心マップをフィルタリングするイメージフィルタリング部をさらに含むことを特徴とする、請求項８に記載の画像変換装置。
【請求項１０】
前記特徴マップは中央領域と周辺領域を含み、前記視覚的関心度は、前記中央領域のヒストグラムと前記周辺領域のヒストグレムとの差に基づいて決定されることを特徴とする、請求項９に記載の画像変換装置。
【請求項１１】
前記特徴マップは中央領域と周辺領域を含み、前記周辺領域と前記中央領域は１つ以上の単位ブロックを含み、前記視覚的関心度は、ブロック積率、ブロックセイリエンシ、またはこれら全てに基づいて決定されることを特徴とする、請求項９に記載の画像変換装置。
【請求項１２】
前記ローレベル関心マップをフィルタリングするイメージフィルタリング部をさらに含むことを特徴とする、請求項１に記載の画像変換装置。
【請求項１３】
前記視覚的関心マップと前記２次元画像に基づいて視差情報を生成する視差情報生成部と、
前記視差情報と前記２次元画像に基づいて３次元画像を生成する３次元画像レンダリング部とをさらに含むことを特徴とする、請求項１に記載の画像変換装置。
【請求項１４】
複数の画素を含む表示パネルと、
２次元画像を３次元画像に変換する画像変換装置とを含み、
前記画像変換装置は、
２次元画像をダウンスケールして１つ以上のダウンスケール画像を生成するダウンスケール部と、
前記ダウンスケール画像から特徴情報を抽出して特徴マップを生成し、前記特徴マップは複数のオブジェクトを含む特徴マップ生成部と、
前記複数のオブジェクトを分割するオブジェクト分割部と、
前記複数のオブジェクトの奥行き順序を決めて、前記複数のオブジェクトのうちの浅い奥行きを有するオブジェクトに第１加重値を付与するオブジェクト順序決定部と、
前記特徴マップの視覚的関心度に基づいてローレベル関心マップを生成する視覚的関心計算部と
を有することを特徴とする立体画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２２３５６６（Ｐ２０１１−２２３５６６Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１１−６４０８４（Ｐ２０１１−６４０８４）
【出願日】平成２３年３月２３日（２０１１．３．２３）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２３年３月２３日（２０１１．３．２３）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]