画像処理装置及びその制御方法、及びプログラム
【課題】画像に含まれる複数の部分領域の位置関係を維持したマルチ表示画像を生成する。
【解決手段】画像と、当該画像に含まれる予め定められた複数の部分領域の位置及び解像度の情報とを受信し、受信された画像に含まれる複数の部分領域のうち、２以上の部分領域を選択する。そして当該選択された２以上の部分領域それぞれに含まれる画像を受信された画像から切り出す。さらに当該２以上の部分領域の水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、切り出された２以上の部分領域の画像を配置したマルチ表示画像を生成する。
【解決手段】画像と、当該画像に含まれる予め定められた複数の部分領域の位置及び解像度の情報とを受信し、受信された画像に含まれる複数の部分領域のうち、２以上の部分領域を選択する。そして当該選択された２以上の部分領域それぞれに含まれる画像を受信された画像から切り出す。さらに当該２以上の部分領域の水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、切り出された２以上の部分領域の画像を配置したマルチ表示画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を並列に配置して表示する技術に関する。
【背景技術】
【０００２】
テレビ受像機等の映像表示装置に表示する画像は、近年のデジタル放送の開始に伴い、高解像度（画素数が多い）になってきている。例えば、次世代放送の高度衛星デジタル放送規格では、７６８０pix×４３２０pixの解像度の映像が検討されている。
【０００３】
このように高解像度の画像では、表現される画像の細部まで精細に表現することができる。例えば視聴者が画像の一部の領域を拡大して表示した場合、全体の画像の空間解像度が高いほど当該領域の空間解像度も高く、視聴者に対して画像が粗いという印象を与えることなく、拡大画像を提示することが可能である。
【０００４】
近年では、さまざまな表示解像度を有する表示装置に対応するため、配信する映像に加え、当該映像の重要と予め定められた部分領域の情報をメタ情報として映像に多重化する方法も検討されている。この場合、表示装置は受信した映像を、例えば当該表示装置の表示解像度に合致する解像度の部分領域をメタ情報から取得し、当該領域を切り出して表示することができる。
【０００５】
特許文献１には、画像における複数の部分領域を設定して切り出し、当該切り出した画像を等しい大きさに変倍した画像を並べたマルチ表示画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２５０２２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では切り出す複数の部分領域の位置関係を考慮せずにマルチ表示画像を生成するため、次のような問題が生じることがある。例えば、画像において左右に位置する２人の人物が向きあっている場合に、当該２人の人物の顔の領域をそれぞれ切り出してマルチ表示画像を生成すると、２人の人物が向き合っていないマルチ表示画像が生成されることがある。複数の部分領域をマルチ表示する場合に、このような位置関係が反映されていないマルチ表示画像が表示されると、視聴者に違和感を与えることがあった。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、画像に含まれる複数の部分領域の位置関係を維持したマルチ表示画像を生成することを目的とする。
【課題を解決するための手段】
【０００９】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
複数の画像を、水平方向及び垂直方向の少なくともいずれかの方向に並べて配置したマルチ表示画像を生成する画像処理装置であって、画像と、当該画像に含まれる予め定められた複数の部分領域の位置及び解像度の情報とを受信する受信手段と、受信手段により受信された画像に含まれる複数の部分領域のうち、２以上の部分領域を選択する選択手段と、選択手段により選択された２以上の部分領域それぞれに含まれる画像を、当該部分領域の位置及び解像度の情報に基づいて受信された画像から切り出す切り出し手段と、２以上の部分領域の水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、切り出し手段により切り出された２以上の部分領域の画像を配置したマルチ表示画像を生成する生成手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
このような構成により本発明によれば、画像に含まれる複数の部分領域の位置関係を維持したマルチ表示画像を生成することを可能とする。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るテレビ受像機の機能構成を示したブロック図
【図２】実施形態に係るコンポーネント記述子を説明するための図
【図３】実施形態に係るコンポーネント種別を説明するための図
【図４】実施形態に係る受信したフレームの画像の構成例
【図５】実施形態１に係る表示画像生成処理のフローチャート
【図６】実施形態に係る受信した画像の全体及び部分領域を示した図
【図７】実施形態に係るマルチ表示画像の構成例
【図８】実施形態に係る動的に変化する部分領域とマルチ表示画像の例を示した図
【図９】変形例１に係るマルチ表示画像上における部分領域の配置を説明するための図
【図１０】変形例２に係る表示画像生成処理のフローチャート
【図１１】実施形態２に係る表示画像生成処理のフローチャート
【図１２】実施形態２に係るマルチ表示画像の構成例
【図１３】実施形態に係る、部分領域に重複領域が存在する場合の表示画像の構成例
【図１４】実施形態に係る、部分領域に重複領域が存在する場合の表示画像の別の構成例
【発明を実施するための形態】
【００１２】
（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、複数の画像を、水平方向及び垂直方向の少なくともいずれかの方向に並べて配置したマルチ表示画像を生成可能なテレビ受像機に、本発明を適用した例を説明する。しかし、本発明は、複数の画像を、水平方向及び垂直方向の少なくともいずれかの方向に並べて配置したマルチ表示画像を生成することが可能な任意の機器に適用可能である。また、本明細書において、「部分領域」とは、画像または映像を構成する画像における一部の領域を示すものとして以下に説明する。
【００１３】
図１は、本発明の実施形態に係るテレビ受像機１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、テレビ受像機１００が備える各ブロックの動作を制御する。制御部１０１は、例えばＲＯＭ１０２に記憶されているテレビ受像機１００が備える各ブロックの動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、テレビ受像機１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等が記憶されている。ＲＡＭ１０３は、揮発性メモリであり、動作プログラムの展開領域としてや、テレビ受像機１００が備える各ブロックの動作により出力された中間データを格納する領域として用いられる。
【００１４】
なお、本実施形態ではテレビ受像機１００が備える各ブロックの動作を当該ブロックの動作プログラムにより制御するものとして説明するが、本発明の実施はこれに限らず、各ブロックは当該動作プログラムと同様の処理を行う回路で構成されてもよい。
【００１５】
放送受信部１０４は、不図示のアンテナを介して受信した複数の映像が多重化された放送信号に対して復調、誤り訂正処理等を実行し、得られたＭＰＥＧ２−ＴＳ（Transport Stream）信号を信号分離部１０５に出力する。
【００１６】
信号分離部１０５は、入力されたＭＰＥＧ２−ＴＳ信号から制御部１０１により指示されたチャンネルの映像信号を分離する。そして信号分離部１０５は、分離して得られた映像信号を映像データ及びメタデータを分離し、それぞれのデータを画像復号部１０６及びメタデータ解析部１０７に出力する。なお、ＭＰＥＧ−ＴＳ信号には上述した映像データ及びメタデータに加え、音声データ等が含まれるが、本発明の実施において必須の構成ではないため、本明細書では当該データの分離を行う構成は省略するものとする。
【００１７】
画像復号部１０６は、入力された映像データを復号し、映像の１フレームにかかる画像を出力する。出力された画像は、例えばＲＡＭ１０３に一時的に格納され、画像全体を表示する場合は後述する表示部１１０に入力され、部分領域を切り出して表示する場合は後述する領域切り出し部１０８に入力される。
【００１８】
メタデータ解析部１０７は、入力されたメタデータを解析し、画像復号部１０６で復号された画像全体の解像度、及び当該画像に含まれる予め定められた複数の部分領域の位置及び解像度の情報を取得する。当該情報は、例えば電波産業会（ＡＲＩＢ：Association of Radio Industries and Businesses）のＳＴＤ−Ｂ１０で規定されるＰＳＩ／ＳＩ（Program Specific Information/Specific Information）テーブルに記述されるＥＩＴ（Event Information Table）、もしくはＰＭＴ（Program Map Table）内のコンポーネント記述子から取得する。
【００１９】
図２は、コンポーネント記述子の構造例である。コンポーネント記述子のうち、コンポーネント種別（component_type）は８ビットのフィールドであり、それぞれの識別子について図３に示すような画像の解像度、アスペクト比、及び部分領域を有するか否かの情報が予め定義されているものとする。例えばコンポーネント種別が０ｘＥ２の場合、解像度が２１６０ｐ及びアスペクト比が１６：９であり、部分領域を有する放送番組の画像であることがわかる。なお、図３のコンポーネント種別の情報は例示を目的としたものであり、コンポーネント種別の情報は映像データによって異なる、あるいはＡＲＩＢにより策定された規格と同一のものであってもよいことは理解されよう。
【００２０】
また部分領域を有する放送番組については、コンポーネント記述（text_char）により当該部分領域の位置及び解像度の情報が記述される。１つの矩形の部分領域については、左下画素の座標（ｘ１，ｙ１）及び右上画素の座標（ｘ２，ｙ２）の情報を用いて領域が定義され、当該定義された領域の座標をもってコンポーネント記述子が構成される。具体的には、例えば左下画素の座標が（１９２１，２１６１）、右上画素の座標が（３８４０，３２４０）である場合、部分領域の幅は１９２０、高さは１０８０である。このとき、左下画素の座標、幅、及び高さのそれぞれを２Ｂｙｔｅで表現すると左下画素の座標は（０ｘ０７８１，０ｘ０８７１）、幅は０ｘ０７８０，高さは０ｘ０４３８となる。このときコンポーネント記述子は当該２Ｂｙｔｅで表現された値を連続させた
text_char = 0781087107800438
の８Ｂｙｔｅで定義するものとする。このように放送番組の画像において部分領域が定義されている場合は、コンポーネント記述を読み出すことにより当該部分領域の位置及び解像度の情報を取得することができる。なお、コンポーネント記述子は上記したものに限らず、例えば左下画素の座標と右上画素の座標とを２Ｂｙｔｅで表現した値を連続させたものでもよい。
【００２１】
なお、図２の例では放送番組の画像においてＮ個の部分領域が定義されている場合に、コンポーネント記述子から順にそれぞれの部分領域の位置及び解像度の情報を取得できるように記載されている。
【００２２】
領域切り出し部１０８は、制御部１０１から切り出す矩形領域の左上画素の座標及び右上画素の座標が入力され、画像復号部１０６により復号された画像から、制御部１０１により指示された領域の画像を切り出して出力する。
【００２３】
合成部１０９は、領域切り出し部１０８により放送番組の画像から切り出された２以上の領域の画像を、水平方向及び垂直方向の少なくともいずれかの方向に並べて配置したマルチ表示画像を生成して出力する。合成部１０９には、マルチ表示画像に配置される２以上の領域の画像の位置の情報が制御部１０１により入力され、合成部１０９は当該情報に従って画像を配置してマルチ表示画像を生成する。
【００２４】
また合成部１０９は、後述する表示部１１０に画像を表示する際に、当該表示部１１０の表示解像度に合わせて表示画像の解像度変換処理も行う。合成部１０９は、入力された表示画像に対して、制御部１０１により指示された拡大（縮小）率に従い、当該表示画像の解像度を変倍する解像度変換処理を実行する。
【００２５】
表示部１１０は、ＬＣＤ等の表示装置であり、入力された画像を表示する。なお、表示部１１０の表示解像度の情報は、例えば予めＲＯＭ１０２に記憶されているものとする。また表示部１１０の座標系は図４に示すように左下の画素が（１，１）となるように構成されるものとして説明するが、本発明の実施はこれに限らない。
【００２６】
操作入力部１１１は、テレビ受像機１００が備えるユーザからの操作入力を受け付けるブロックであり、ユーザの操作により発生した信号を解析し、操作された内容を制御部１０１に伝送する。操作入力部１１１は、電源ボタンや音量ボタン等の物理的なユーザインタフェースに限らず、赤外線受光部等の信号を受信するインタフェースも備え、例えばリモートコントローラをユーザが操作することによりなされた指示入力も受け付けるものとする。
【００２７】
（表示画像生成処理）
このような構成をもつ本実施形態のテレビ受像機１００の表示画像生成処理について、図５のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本表示画像生成処理は、例えばテレビ受像機１００が起動され、受信している放送信号から信号分離部１０５により設定されているチャンネルの映像データ及びメタデータが分離された際に開始されるものとして説明する。
【００２８】
Ｓ５０１で、制御部１０１は、信号分離部１０５により分離された映像データを画像復号部１０６に入力し、それぞれのフレームの画像を復号させる。また制御部１０１は、信号分離部１０５により分離されたメタデータをメタデータ解析部１０７に入力し、受信しているチャンネルの放送番組に設定されている情報を解析させる。
【００２９】
Ｓ５０２で、制御部１０１は、ユーザによる表示設定の変更指示がなされたか否かを判断する。具体的には制御部１０１は、操作入力部１１１がユーザによる表示設定の変更指示を受信したか否かにより、表示設定の変更の有無を判断する。表示設定とは、復号されたフレームの画像を表示部１１０に表示する際に、画像全体または１つの部分領域を表示するか、または複数の部分領域をマルチ表示するかの設定であり、当該設定の情報は例えばＲＯＭ１０２に記憶されているものとする。制御部１０１は、ユーザによる表示設定の変更指示がなされた場合は処理をＳ５０３に移し、なされてない場合は処理をＳ５０６に移す。
【００３０】
Ｓ５０３で、制御部１０１は、Ｓ５０１でメタデータ解析部１０７に解析させた、受信しているチャンネルの放送番組に設定されている、部分領域の位置及び解像度の情報において、当該放送番組が部分領域を有するか否かを判断する。なお、本実施形態では以下の処理で選択する部分領域について、予め定められた部分領域の情報が映像データと共に放送信号より取得できるものとして説明するが、本発明の実施はこれに限らない。画像内の部分領域は、例えばユーザがリモートコントローラを用いて操作することにより設定可能であってもよい。即ち、部分領域の位置及び解像度の情報は、「予め設定されている」及び「受信後に設定可能」の少なくともいずれかで設定された情報であってよい。制御部１０１は、受信しているチャンネルの放送番組が部分領域の情報を有する場合は処理をＳ５０４に移し、部分領域の情報がない場合は処理をＳ５０６に移す。
【００３１】
Ｓ５０４で、制御部１０１は、受信しているチャンネルの放送番組に設定されている部分領域から、ユーザに表示させたい領域を選択させる。具体的には制御部１０１は、表示部１１０に、部分領域の位置及び解像度の情報に基づいて、複数の部分領域を選択可能に表示する。表示部１１０への表示は、例えば画像全体に対して部分領域を示す枠を重畳した画像であってもよいし、複数の部分領域を列挙したリストのＧＵＩであってもよい。
【００３２】
Ｓ５０５で、制御部１０１は、ユーザによる部分領域の選択完了の指示がなされたか否かを判断する。具体的には制御部１０１は、操作入力部１１１がユーザによる部分領域の選択完了の指示を受信したか否かにより、部分領域の選択が完了したか否かを判断する。制御部１０１は、表示する部分領域の選択が完了した場合は処理をＳ５０６に移し、完了していない場合は処理をＳ５０４に戻す。
【００３３】
Ｓ５０６で、制御部１０１は、ユーザにより選択された部分領域の数により処理を分岐する。制御部１０１で、選択された部分領域がない、即ち選択がキャンセルされた、または選択可能な部分領域が存在しなかった場合は処理をＳ５０７に移す。また制御部１０１は、選択された部分領域が１である場合は処理をＳ５０８に移し、選択された部分領域が２以上である場合は処理をＳ５０９に移す。
【００３４】
Ｓ５０７で、制御部１０１は、ＲＯＭ１０２に記憶されている表示設定の情報に従い、表示部１１０に表示する画像を決定し、当該画像を表示部１１０に伝送して表示させる。具体的には制御部１０１は、表示設定が画像全体を表示する設定であった場合、受信しているチャンネルの映像データから、現在表示させるフレームの画像を表示部１１０に表示させる。このとき、フレームの画像全体の解像度が表示部１１０の表示解像度に合致しない場合、制御部１０１は当該フレームの画像をＲＡＭ１０３から読み出して合成部１０９に入力し、表示部１１０の表示解像度に合わせて当該画像を変倍させる。そして制御部１０１は、得られた表示解像度に合致する解像度の画像を表示部１１０に伝送して表示させる。
【００３５】
例えば図４のようにフレームの画像が７６８０pix×４３２０pixであり、表示部１１０の表示解像度が１９２０pix×１０８０pixである場合、フレームの画像は合成部１０９に入力される。そして当該フレームの画像は、合成部１０９において図６（ａ）のような水平方向及び垂直方向がともに１／４倍の解像度を有する、１９２０pix×１０８０pixに縮小される。
【００３６】
なお、本明細書では表示する領域の解像度に対して表示する画像の解像度が合致する状態とは、表示する画像の解像度が、
１）水平方向あるいは垂直方向の少なくとも一方において、表示する領域の解像度と等しい
２）水平方向及び垂直方向の両方において、表示する領域の解像度を超えない
の２つの条件をともに満たす状態であると定義する。即ち、表示する領域の解像度がｗｐ×ｈｐ、表示する画像の解像度がｗ×ｈである場合、２つの解像度のアスペクト比を比較し、
（１）
である場合は、水平方向の解像度が表示する領域の解像度と等しくなるように変倍し、
（２）
である場合は、垂直方向の解像度が表示する領域の解像度と等しくなるように変倍する。
【００３７】
しかしながら、本発明の実施はこれに限らず、表示する画像の大きさに関する任意の条件を定義してよく、当該条件をみたすように合成部１０９にて表示する画像を変倍すればよい。
【００３８】
また、表示設定が部分領域を表示する、または複数の部分領域をマルチ表示する設定であった場合、制御部１０１はＳ５０２において既に選択されていた部分領域の情報を領域切り出し部１０８に入力して、フレームの画像から当該部分領域の画像を切り出させる。そして制御部１０１は、当該表示設定に従って切り出された部分領域の画像を合成部１０９において解像度変換を行い、必要であれば合成処理を適用して表示部１１０に出力させ、表示させればよい。
【００３９】
選択された部分領域が１、即ち１つの部分領域のみを表示すると設定された場合、Ｓ５０８で制御部１０１は、当該選択された部分領域の位置及び解像度の情報と、ＲＡＭ１０３より読み出された現在表示させるフレームの画像とを領域切り出し部１０８に入力する。なお、このとき制御部１０１はＲＯＭ１０２に記憶されている表示設定の情報を、部分領域を表示する設定に変更する。そして制御部１０１は、領域切り出し部１０８に当該選択された１つの部分領域の画像を切り出させ、得られた画像を表示部１１０に表示させる。このとき、画像全体を表示する場合と同様に、部分領域の画像の解像度が表示部１１０の表示解像度に合致しない場合は、制御部１０１は当該部分領域の画像を合成部１０９に入力し、表示部１１０の表示解像度に合わせて当該部分領域の画像を変倍させる。
【００４０】
例えば図６（ｂ）のように部分領域の画像の解像度が１９２０pix×１０８０pixである場合は、上述した表示部１１０の表示解像度と合致している状態であると判断され、領域切り出し部１０８で切り出された部分領域の画像は表示部１１０に入力される。また、部分領域の解像度が図６（ｅ）のように４８０pix×２７０pixである場合は、表示部１１０の表示解像度と合致していないと判断され、領域切り出し部１０８で切り出された部分領域の画像は合成部１０９に入力される。そして当該部分領域の画像は、合成部１０９において水平方向及び垂直方向がともに４倍の解像度を有する、１９２０pix×１０８０pixに拡大される。なお、選択された１つ部分領域と全体画像をマルチ画面表示してもよい。この際には部分領域の画像の表示位置と全体画像の表示位置との関係は特に問わない。
【００４１】
選択された部分領域が２以上、即ち２以上の部分領域をマルチ表示すると設定された場合、Ｓ５０９で制御部１０１はＲＯＭ１０２に記憶されている表示設定の情報を、複数の部分領域をマルチ表示する設定に変更し、次のように処理する。制御部１０１は、当該選択された２以上の部分領域それぞれの位置及び解像度の情報と、ＲＡＭ１０３より読み出された現在表示させるフレームの画像とを領域切り出し部１０８に入力する。そして１０１は、領域切り出し部１０８に当該選択された２以上の部分領域それぞれに含まれる画像を切り出させ、得られた２以上の部分領域の画像を合成部１０９に入力する。
【００４２】
Ｓ５１０で、制御部１０１は、表示部１１０に表示するマルチ表示画像における、２以上の部分領域の画像の配置を決定する。本実施形態では、表示部１１０の表示解像度と同一の解像度を有するマルチ表示画像を、水平方向において、選択されている部分領域の数の領域に等分割して得られた領域を、２以上の部分領域それぞれの画像を配置する領域として決定する。そして２以上の部分領域それぞれの画像を、当該部分領域の水平位置の位置関係を維持するように、決定した領域に割り当てる。
【００４３】
例えばユーザにより図６（ｂ）及び（ｃ）の２つの部分領域がマルチ表示する部分領域として決定された場合、それぞれの部分領域の画像を配置するマルチ表示画像上の領域の解像度は次のようになる。即ち、表示解像度と同一の解像度を有する２つの部分領域を、各部分領域の表示領域の面積が同等になるように水平方向に並べて表示するためには、水平方向の表示解像度が１０８０であるので、各部分領域の解像度を９６０pix×５４０pixとする。
【００４４】
また、選択された部分領域それぞれの位置及び解像度の情報を参照すると、図６（ｂ）の部分領域がフレームの画像上で左、図６（ｃ）の部分領域がフレームの画像上で右に存在していると判定される。部分領域の位置の判定は、例えば領域の中心点の座標を用いて制御部１０１が判定すればよく、上述の例では水平方向において図６（ｂ）は２８８１、図６（ｃ）は４９９３の座標を有するため、水平位置の位置関係を把握することができる。
【００４５】
制御部１０１は、このように選択された２以上の部分領域の水平位置の位置関係を維持するように、マルチ表示画像上の領域を割り当てる。即ち、図７（ａ）のように水平方向に２分割することにより定義された部分領域の画像を配置する領域において、水平方向の座標が小さい図６（ｂ）の部分領域の画像は左、水平方向の座標が大きい図６（ｃ）の部分領域の画像は右に配置することが決定される。
【００４６】
なお、本実施形態では選択された２以上の部分領域の画像を、それぞれの部分領域の水平位置の位置関係を維持するように配置するものとして説明するが、本発明の実施はこれに限らない。即ち、本発明は部分領域の位置関係を維持したマルチ表示画像を生成するものであり、選択された部分領域それぞれの水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、当該部分領域の画像が配置されたマルチ表示画像が生成されればよい。
【００４７】
また、部分領域の画像は、図７（ｂ）のように垂直位置の位置関係を維持するように配置してもよい。また３または４つの部分領域が選択された場合は、図７（ｃ）のような水平方向に２分割、垂直方向に２分割された領域に、水平位置及び垂直位置の位置関係を維持するように部分領域の画像を配置してもよい。例えば図６（ｂ）、（ｃ）、及び（ｄ）の部分領域が選択された場合は、それぞれの領域の中心点の座標を比較し、同一の水平座標を有する図６（ｂ）及び（ｄ）の部分領域は左側に配置される。また、当該２つの部分領域より大きい水平座標を有する図６（ｃ）の部分領域は右側に配置される。さらに、図６（ｂ）及び（ｄ）の部分領域を中心点の垂直座標より、図６（ｂ）の部分領域が左上、図６（ｄ）の部分領域が左下となるように配置される。また図６（ｃ）の部分領域は中心点の垂直座標の差が小さい、図６（ｄ）の部分領域に合わせて右下の領域に配置されればよい。
【００４８】
Ｓ５１１で、制御部１０１は、合成部１０９にＳ５１０でそれぞれの部分領域の画像に割り当てられた領域の解像度に合致するように、選択された２以上の部分領域それぞれの画像に対して解像度変換処理を適用させて、マルチ表示画像を生成させる。例えば図６（ｂ）及び（ｃ）の部分領域の解像度はともに１９２０pix×１０８０pixであるため、当該部分領域の画像を配置する領域であるマルチ表示画像を水平方向に２分割した領域の解像度９６０pix×１０８０pixに合致するように変倍する。即ち、部分領域それぞれの画像は、マルチ表示画像上において同一の表示面積を有し、かつ水平方向に並列して表示するために、水平方向及び垂直方向ともに１／２倍の解像度を有する９６０pix×５４０pixに解像度変換されて配置される。なお、このとき選択された２以上の部分領域を配置する垂直方向の座標は同一座標、例えばマルチ表示画像の垂直方向の中心座標を有するように配置するものとする。
【００４９】
Ｓ５１２で、制御部１０１は、合成部１０９に生成させたマルチ表示画像を表示部１１０に入力して表示させ、本表示画像生成処理を完了する。なお、本表示画像生成処理はテレビ受像機１００が起動されている間、繰り返し実行されればよい。
【００５０】
以上説明したように、本実施形態の画像処理装置は、画像に含まれる複数の部分領域の位置関係を維持したマルチ表示画像を生成することができる。具体的には画像処理装置は、画像と、当該画像に含まれる予め定められた複数の部分領域の位置及び解像度の情報とを受信し、受信された画像に含まれる複数の部分領域のうち、２以上の部分領域を選択する。そして当該選択された２以上の部分領域それぞれに含まれる画像を受信された画像から切り出す。さらに当該２以上の部分領域の水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、切り出された２以上の部分領域の画像を配置したマルチ表示画像を生成する。
【００５１】
このようにすることで、ユーザに対して違和感を与えない配置のマルチ表示画像を生成して提示することができる。例えば動いている被写体に対して、連続的に移動する部分領域が定義されている場合であっても、２つの部分領域の位置関係に応じて、表示位置を動的に変化させたマルチ表示画像を生成することができる。図８の例では、時間経過により人物像に定義されている部分領域８０１が８０３まで移動した場合の、それぞれの時間でのマルチ表示画像８０２及び８０４を示している。図からも明らかなように、本発明によれば部分領域の位置関係が時系列で変更になった場合であっても、当該部分領域の位置関係を維持したマルチ表示画像を生成することが可能である。
【００５２】
（変形例１）
上述した実施形態１では、水平方向に選択された部分領域の数に等分割した領域に、当該部分領域の画像を配置する際、垂直方向の座標が同一座標を有するように配置するものとして説明したが、本発明の実施はこれに限らない。本変形例では、フレームの画像において選択された２以上の部分領域それぞれの中心点間を結ぶベクトルの方向を考慮して当該部分領域の画像を配置することで、当該部分領域の位置関係をユーザがより把握しやすいマルチ表示画像の生成方法について説明する。
【００５３】
なお、本変形例では簡単のため、図９（ａ）に示す中心座標（ｘｃ１，ｙｃ１）及び（ｘｃ２，ｙｃ２）を有し、解像度がｗ１×ｈ１及びｗ２×ｈ２の２つの部分領域Ａ１及びＡ２が選択された場合について説明する。また生成されるマルチ表示画像は、当該２つの部分領域Ａ１及びＡ２の画像を変倍した画像が、マルチ表示画像を水平方向に２等分割された領域に配置されるものとして説明する。
【００５４】
図９（ａ）の場合、フレームの画像において当該２つの部分領域の中心点間を結ぶ線分が水平な線分と成す角度θ１２は
であり、生成されるマルチ表示画像において２つの部分領域の画像の中心点間を結ぶ線分が水平な線分とθ１２を成すように配置されるものとする。
【００５５】
生成されるマルチ表示画像において、２つの部分領域の中心点間を結ぶ線分が水平な線分と成す角度として表現可能な角度θの範囲は、当該２つの部分領域のアスペクト比及びマルチ表示画像の解像度により異なる。具体的には、生成されるマルチ表示画像の解像度がｗｐ×ｈｐである場合、部分領域Ａ１の画像は、当該画像が配置される領域に合致する解像度に変倍される際に、
ｃａｓｅ１：
（水平方向の解像度が等しくなるように変倍）
ｃａｓｅ２：
（垂直方向の解像度が等しくなるように変倍）
の２つの条件により倍率の算出方法が決定される。また同様に部分領域Ａ２の画像は、当該画像が配置される領域に合致する解像度に変倍される際に、
ｃａｓｅ３：
（水平方向の解像度が等しくなるように変倍）
ｃａｓｅ４：
（垂直方向の解像度が等しくなるように変倍）
の２つの条件により倍率の算出方法が決定される。このときマルチ表示画像において、２つの部分領域の中心点間を結ぶ線分が水平な線分となす角度として表現可能な最大角度θｍａｘは、
１）ｃａｓｅ１かつｃａｓｅ３の場合（図９（ｂ））
２）ｃａｓｅ１かつｃａｓｅ４の場合（図９（ｃ））
３）ｃａｓｅ２かつｃａｓｅ３の場合（図９（ｄ））
であるため、表現可能な角度θの範囲は
となる。なお、ｃａｓｅ２かつｃａｓｅ４の場合は変倍された２つの部分領域それぞれの画像の中心点は、同一の垂直座標を有するため０度以外の角度を示さない。
【００５６】
例えば上述した条件１（ｃａｓｅ１かつｃａｓｅ３）の場合、変倍された部分領域Ａ１の画像は中心座標が
となるように配置され、変倍された部分領域Ａ２の画像は中心座標が
となるように配置される。なお、θ１２がθｍａｘを超える場合は、生成されるマルチ表示画像において２つの部分領域の画像の中心点間を結ぶ線分が水平な成分と成す角度は例えばθｍａｘとすればよい。
【００５７】
このようにすることで、ユーザが部分領域の位置関係を容易に把握でき、さらにユーザに対して違和感を与えないように部分領域が配置されたマルチ表示画像を生成して提示することができる。
【００５８】
（変形例２）
上述した実施形態１及び変形例１では、選択された部分領域に含まれる画像のみを配置してマルチ表示画像を生成する方法について説明した。しかしながら上述の構成では変倍された部分領域の画像の解像度が、当該部分領域の画像が配置される領域の解像度と必ずしも等しくないため、マルチ表示画像にはフレームの画像に係る画像が表示されない領域が存在することになる。本変形例２では、フレームの画像に係る画像が表示されない領域のないマルチ表示画像を生成する方法について説明する。
【００５９】
（表示画像生成処理）
以下、本変形例のテレビ受像機１００の表示画像生成処理について、図１０のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本表示画像生成処理は、例えばテレビ受像機１００が起動され、受信している放送信号から信号分離部１０５により設定されているチャンネルの映像データ及びメタデータが分離された際に開始されるものとして説明する。また、本表示画像生成処理において、上述した実施形態１の表示画像生成処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、本変形例に特徴的なステップの説明に留める。
【００６０】
選択された部分領域が２以上、即ち２以上の部分領域をマルチ表示すると設定された場合、Ｓ１００１で制御部１０１はＲＯＭ１０２に記憶されている表示設定の情報を、複数の部分領域をマルチ表示する設定に変更し、次のように処理する。制御部１０１は、当該選択された２以上の部分領域それぞれの位置及び解像度の情報をＲＡＭ１０３に格納する。
【００６１】
Ｓ１００２で、制御部１０１は、Ｓ５１０で決定されたそれぞれの部分領域の画像に割り当てられた領域に表示する、当該部分領域の画像を含むフレームの画像を領域切り出し部１０８に切り出させて出力させる。具体的には制御部１０１はまず、Ｓ１００１でＲＡＭ１０３に格納された、選択された２以上の部分領域それぞれの位置及び解像度の情報を読み出す。そして、制御部１０１はまずＳ５１０でそれぞれの部分領域の画像に割り当てられた領域の解像度に合致するように、選択された２以上の部分領域それぞれの画像に対する解像度変換処理の倍率を算出する。
【００６２】
次いで制御部１０１は、２以上の部分領域それぞれについて、算出された倍率で変倍された際に、それぞれの部分領域の画像に割り当てられた領域の解像度となる画像の解像度を算出する。例えば実施形態１で説明したように、図６（ｂ）の１９２０pix×１０８０pixの解像度を有する部分領域の画像を、当該画像を配置する領域の解像度９６０pix×１０８０pixに合致させるための倍率は、水平方向及び垂直方向ともに１／２である。このとき、変倍後に画像を配置する領域の解像度となる画像の解像度は、当該画像を配置する領域の解像度に算出された倍率の逆数を乗じた、１９２０pix×２１６０pixとなる。
【００６３】
そして制御部１０１は、当該算出された変倍後に画像を配置する領域の解像度となる画像の解像度の情報、ＲＡＭ１０３に記憶されている選択された２以上の部分領域の位置及び解像度の情報及び現在表示させるフレームの画像を領域切り出し部１０８に入力する。制御部１０１は領域切り出し部１０８に、選択された２以上の部分領域それぞれを含む、算出された変倍後に画像を配置する領域の解像度となる画像の解像度の画像を切り出させる。
【００６４】
例えば実施形態１のように選択された部分領域の画像の中心点の垂直座標が、生成されるマルチ表示画像の中心点の垂直座標と同じになるように部分領域の画像が配置される場合、図６（ｂ）及び（ｃ）の部分領域のそれぞれを含む切り出し領域は次のようになる。図６（ｂ）の部分領域を含む切り出し領域は、中心座標が（２８８１，２７０１）であるから、
左下画素の座標は
右上画素の座標は
となる。また、図６（ｃ）の部分領域を含む切り出し領域は、中心座標が（４９９３，１５１３）であるから、
左下画素の座標は
右上画素の座標は
となる。
【００６５】
このようにすることで、ユーザに対して違和感を与えないように部分領域が配置され、フレームの画像に係る画像が表示されない領域のないマルチ表示画像を生成して提示することができる。
【００６６】
（実施形態２）
上述した実施形態１、変形例１及び２では、選択された部分領域の数以上に、水平方向及び垂直方向の少なくともいずれかの方向においてマルチ表示画像を等分割して得られる領域を、当該部分領域の画像を配置する領域として決定する方法について説明した。即ち、選択された部分領域のアスペクト比が全て同一である場合、当分割された領域に合致するような解像度に当該部分領域を変倍して得られる画像は、全て同一の解像度を有することになる。つまり、例えばアスペクト比は同一であるが解像度の異なる図６（ｃ）及び（ｅ）の部分領域が選択された場合、当該部分領域の画像は同一の解像度に変換されて表示される。
【００６７】
本実施形態では、選択された部分領域それぞれの解像度比を反映することで、選択された部分領域の位置関係に加え、さらに大小関係をユーザが把握可能なマルチ表示画像を生成する方法について説明する。なお、本実施形態の説明では簡単のため、図６（ｃ）及び（ｅ）の部分領域が選択され、当該部分領域を水平方向に並べて配置したマルチ表示画像を生成する例について説明する。また、本実施形態のテレビ受像機１００の構成は上述した実施形態１、変形例１及び２と同様の構成であるものとして、説明を省略する。
【００６８】
（表示画像生成処理）
以下、本実施形態のテレビ受像機１００の表示画像生成処理について、図１１のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本表示画像生成処理は、例えばテレビ受像機１００が起動され、受信している放送信号から信号分離部１０５により設定されているチャンネルの映像データ及びメタデータが分離された際に開始されるものとして説明する。また、本表示画像生成処理において、上述した実施形態１の表示画像生成処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、本実施形態に特徴的なステップの説明に留める。
【００６９】
選択された部分領域が２以上、即ち２以上の部分領域をマルチ表示すると設定された場合、Ｓ５０９で制御部１０１は、領域切り出し部１０８に当該選択された２以上の部分領域それぞれに含まれる画像を切り出させた後、処理をＳ１１０１に移す。
【００７０】
Ｓ１１０１で、制御部１０１は、表示部１１０に表示するマルチ表示画像における、２以上の部分領域の画像の配置を決定する。本実施形態では、表示部１１０の表示解像度と同一の解像度を有するマルチ表示画像を、水平方向において、選択されている部分領域の水平方向の解像度比となるように分割して得られた領域を、２以上の部分領域それぞれの画像を配置する領域として決定する。そして２以上の部分領域それぞれの画像を、当該部分領域の水平位置の位置関係を維持するように、決定した領域に割り当てる。
【００７１】
例えばユーザにより図６（ｃ）及び（ｅ）の２つの部分領域がマルチ表示する部分領域として決定された場合、それぞれの部分領域の画像を配置するマルチ表示画像上の領域の解像度は次のようになる。図６（ｃ）の部分領域の解像度は１９２０pix×１０８０pix、図６（ｅ）の部分領域の解像度は４８０pix×２７０pixであるため、当該２つの領域の水平方向の解像度比は４：１となる。なお、当該２つの領域の中心座標から、水平方向の位置関係は図６（ｅ）の部分領域がフレームの画像上で左、図６（ｃ）の部分領域がフレームの画像上で右に存在していると判定される。このため、それぞれの部分領域の画像に割り当てられる領域は、生成されるマルチ表示画像の水平方向の画素数を１：４に分けた、３８４pix×１０８０pix、１５３６pix×１０８０pixの領域となる。
【００７２】
なお、本実施形態では選択された２以上の部分領域の画像を、それぞれの部分領域の水平位置の位置関係を維持するように配置するものとして説明するが、本発明の実施はこれに限らない。即ち、本発明は部分領域の位置関係を維持したマルチ表示画像を生成するものであり、選択された部分領域それぞれの水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、当該部分領域の画像が配置されたマルチ表示画像が生成されればよい。
【００７３】
Ｓ１１０２で、制御部１０１は、合成部１０９にＳ１１０１でそれぞれの部分領域の画像に割り当てられた領域の解像度に合致するように、選択された全ての部分領域の画像に対して、同一の倍率で変倍する解像度変換処理を適用させ、マルチ表示画像を生成させる。即ち、選択された全ての部分領域の画像に対して同一の倍率で変倍することにより、選択された部分領域の解像度比を維持した、図１２に示すようなマルチ表示画像を生成することができる。
【００７４】
例えば図６（ｃ）及び（ｅ）の部分領域の画像の水平方向及び垂直方向の両方を変倍する倍率は、図６（ｅ）の部分領域の画像の解像度４８０pix×２７０pixと、当該画像が配置される領域の解像度３８４pix×１０８０pixから、
３８４／４８０＝４／５倍
となる。即ち、合成部１０９において解像度変換が適用された後、図６（ｃ）の部分領域の画像の解像度は１５３６pix×８６４pix、図６（ｅ）の部分領域の画像の解像度は３８４pix×２１６pixとなる。
【００７５】
なお、当該解像度変換がなされた図６（ｃ）及び（ｅ）の部分領域それぞれの画像の配置位置は、部分領域それぞれの画像の中心の垂直座標が生成されるマルチ表示画像の中心の垂直座標と同一となるように配置される場合、次にようになる。即ち、当該２つの部分領域それぞれの画像の生成されるマルチ表示画像上の配置位置は、左下画素の座標及び右下画素の座標を用いて、
・図６（ｃ）の部分領域の画像
・図６（ｅ）の部分領域の画像
で表される。
【００７６】
このようにすることで、ユーザが部分領域の大小関係を容易に把握でき、さらにユーザに対して違和感を与えないように部分領域が配置されたマルチ表示画像を生成して提示することができる。
【００７７】
なお、上述した実施形態及び変形例では２以上の部分領域が選択された際に、マルチ表示画像を生成して表示させるものとして説明した。しかしながら、例えば図６（ｂ）及び（ｄ）の部分領域が選択された場合等、選択された部分領域のうち、少なくとも２つの部分領域に重複する領域が存在する場合は、当該重複する部分領域を有する全ての部分領域を１つの部分領域として判定してもよい。
【００７８】
具体的には、例えば図６（ｂ）及び（ｄ）の部分領域がユーザにより選択された場合、２つの部分領域には、左下画素の座標が（１９２１，２１６１）で右上画素の座標が（３８４０，２５９２）の重複する矩形領域が存在する。このような場合、制御部１０１は、当該重複する矩形領域を有する全ての部分領域を包含する領域を、領域切り出し部１０８に切り出させる１つの部分領域として決定する。即ち、図６（ｂ）及び（ｄ）の部分領域が選択された場合は、当該２つの部分領域の両方を包含する矩形領域、即ち左下画素の座標が（１９２１，１５１３）で右上画素の座標が（３８４０，３２４０）で示される矩形領域を１つの部分領域となる。このとき、表示部１１０にはマルチ表示画像ではなく、図１３に示すような、１つの部分領域が表示されればよい。
【００７９】
なお、図８に示したように部分領域が移動する場合も、図１４（ａ）のような２つの部分領域が重複する領域が生じることがある。このような場合、上述したように重複する部分領域を有する全ての部分領域を１つの部分領域として判定する方法を用いると、部分領域の数によってはマルチ表示画像ではない表示画像に切り替わるため、ユーザの混乱を招くことが考えられる。このため、図１４（ｂ）に示すように選択されていた部分領域１４０１及び１４０２に含まれる画像のみで表示する画像を生成してもよい。具体的には、切り出された部分領域１４０１及び１４０２の画像を、当該画像の位置関係を保持したまま重複させて合成する。そして、得られた合成画像を水平方向及び垂直方向のいずれかの方向の画素数が表示領域の画素数に一致し、かつ水平及び垂直方向の両方において表示領域の画素数を超えない画素数を有するように拡大する。
【００８０】
以上、実施形態１及び２、及び変形例１及び２を用いて、それぞれ本発明を実施するための形態について説明したが、それぞれの実施形態及び変形例で説明した構成は、発明の実施に合わせて組み合わせ可能であることは容易に理解されよう。即ち、本発明の画像処理装置は、受信された画像に対して２以上の部分領域が選択された場合に、当該２以上の部分領域の水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、当該２以上の部分領域の画像を配置したマルチ表示画像を生成する。このとき、選択された２以上の部分領域の画像を配置する場合に、次の手法を任意に組み合わせることができる。
（１）当該２以上の部分領域それぞれの中心点間を結ぶベクトルの方向を維持するように配置
（２）水平方向あるいは垂直方向の少なくとも一方において配置する領域の解像度と等しい解像度を有し、かつ、水平方向及び垂直方向の両方において配置する領域を超えない解像度を有するように、部分領域の画像を変倍して配置
（３）当該２以上の部分領域の数以上となるように、水平方向及び垂直方向の少なくともいずれかの方向において、マルチ表示画像を等分割して得られる領域に配置
（４）当該２以上の部分領域の数以上となるように、水平方向及び垂直方向の少なくともいずれかの方向において、当該２以上の部分領域それぞれの当該方向の解像度比となるようにマルチ表示画像を分割して得られる領域に配置
（５）当該２以上の部分領域を含み、配置する領域の解像度となるように切り出した画像を配置
（６）当該２以上の部分領域に重複する領域が存在する場合は、当該重複する領域を有する全ての部分領域を包含する領域の画像を、１つの部分領域の画像として切り出して配置
このようにすることで、画像に含まれる複数の部分領域の位置関係を維持したマルチ表示画像を生成することができる。
【００８１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、複数の画像を並列に配置して表示する技術に関する。
【背景技術】
【０００２】
テレビ受像機等の映像表示装置に表示する画像は、近年のデジタル放送の開始に伴い、高解像度（画素数が多い）になってきている。例えば、次世代放送の高度衛星デジタル放送規格では、７６８０pix×４３２０pixの解像度の映像が検討されている。
【０００３】
このように高解像度の画像では、表現される画像の細部まで精細に表現することができる。例えば視聴者が画像の一部の領域を拡大して表示した場合、全体の画像の空間解像度が高いほど当該領域の空間解像度も高く、視聴者に対して画像が粗いという印象を与えることなく、拡大画像を提示することが可能である。
【０００４】
近年では、さまざまな表示解像度を有する表示装置に対応するため、配信する映像に加え、当該映像の重要と予め定められた部分領域の情報をメタ情報として映像に多重化する方法も検討されている。この場合、表示装置は受信した映像を、例えば当該表示装置の表示解像度に合致する解像度の部分領域をメタ情報から取得し、当該領域を切り出して表示することができる。
【０００５】
特許文献１には、画像における複数の部分領域を設定して切り出し、当該切り出した画像を等しい大きさに変倍した画像を並べたマルチ表示画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２５０２２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では切り出す複数の部分領域の位置関係を考慮せずにマルチ表示画像を生成するため、次のような問題が生じることがある。例えば、画像において左右に位置する２人の人物が向きあっている場合に、当該２人の人物の顔の領域をそれぞれ切り出してマルチ表示画像を生成すると、２人の人物が向き合っていないマルチ表示画像が生成されることがある。複数の部分領域をマルチ表示する場合に、このような位置関係が反映されていないマルチ表示画像が表示されると、視聴者に違和感を与えることがあった。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、画像に含まれる複数の部分領域の位置関係を維持したマルチ表示画像を生成することを目的とする。
【課題を解決するための手段】
【０００９】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
複数の画像を、水平方向及び垂直方向の少なくともいずれかの方向に並べて配置したマルチ表示画像を生成する画像処理装置であって、画像と、当該画像に含まれる予め定められた複数の部分領域の位置及び解像度の情報とを受信する受信手段と、受信手段により受信された画像に含まれる複数の部分領域のうち、２以上の部分領域を選択する選択手段と、選択手段により選択された２以上の部分領域それぞれに含まれる画像を、当該部分領域の位置及び解像度の情報に基づいて受信された画像から切り出す切り出し手段と、２以上の部分領域の水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、切り出し手段により切り出された２以上の部分領域の画像を配置したマルチ表示画像を生成する生成手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
このような構成により本発明によれば、画像に含まれる複数の部分領域の位置関係を維持したマルチ表示画像を生成することを可能とする。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るテレビ受像機の機能構成を示したブロック図
【図２】実施形態に係るコンポーネント記述子を説明するための図
【図３】実施形態に係るコンポーネント種別を説明するための図
【図４】実施形態に係る受信したフレームの画像の構成例
【図５】実施形態１に係る表示画像生成処理のフローチャート
【図６】実施形態に係る受信した画像の全体及び部分領域を示した図
【図７】実施形態に係るマルチ表示画像の構成例
【図８】実施形態に係る動的に変化する部分領域とマルチ表示画像の例を示した図
【図９】変形例１に係るマルチ表示画像上における部分領域の配置を説明するための図
【図１０】変形例２に係る表示画像生成処理のフローチャート
【図１１】実施形態２に係る表示画像生成処理のフローチャート
【図１２】実施形態２に係るマルチ表示画像の構成例
【図１３】実施形態に係る、部分領域に重複領域が存在する場合の表示画像の構成例
【図１４】実施形態に係る、部分領域に重複領域が存在する場合の表示画像の別の構成例
【発明を実施するための形態】
【００１２】
（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、複数の画像を、水平方向及び垂直方向の少なくともいずれかの方向に並べて配置したマルチ表示画像を生成可能なテレビ受像機に、本発明を適用した例を説明する。しかし、本発明は、複数の画像を、水平方向及び垂直方向の少なくともいずれかの方向に並べて配置したマルチ表示画像を生成することが可能な任意の機器に適用可能である。また、本明細書において、「部分領域」とは、画像または映像を構成する画像における一部の領域を示すものとして以下に説明する。
【００１３】
図１は、本発明の実施形態に係るテレビ受像機１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、テレビ受像機１００が備える各ブロックの動作を制御する。制御部１０１は、例えばＲＯＭ１０２に記憶されているテレビ受像機１００が備える各ブロックの動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、テレビ受像機１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等が記憶されている。ＲＡＭ１０３は、揮発性メモリであり、動作プログラムの展開領域としてや、テレビ受像機１００が備える各ブロックの動作により出力された中間データを格納する領域として用いられる。
【００１４】
なお、本実施形態ではテレビ受像機１００が備える各ブロックの動作を当該ブロックの動作プログラムにより制御するものとして説明するが、本発明の実施はこれに限らず、各ブロックは当該動作プログラムと同様の処理を行う回路で構成されてもよい。
【００１５】
放送受信部１０４は、不図示のアンテナを介して受信した複数の映像が多重化された放送信号に対して復調、誤り訂正処理等を実行し、得られたＭＰＥＧ２−ＴＳ（Transport Stream）信号を信号分離部１０５に出力する。
【００１６】
信号分離部１０５は、入力されたＭＰＥＧ２−ＴＳ信号から制御部１０１により指示されたチャンネルの映像信号を分離する。そして信号分離部１０５は、分離して得られた映像信号を映像データ及びメタデータを分離し、それぞれのデータを画像復号部１０６及びメタデータ解析部１０７に出力する。なお、ＭＰＥＧ−ＴＳ信号には上述した映像データ及びメタデータに加え、音声データ等が含まれるが、本発明の実施において必須の構成ではないため、本明細書では当該データの分離を行う構成は省略するものとする。
【００１７】
画像復号部１０６は、入力された映像データを復号し、映像の１フレームにかかる画像を出力する。出力された画像は、例えばＲＡＭ１０３に一時的に格納され、画像全体を表示する場合は後述する表示部１１０に入力され、部分領域を切り出して表示する場合は後述する領域切り出し部１０８に入力される。
【００１８】
メタデータ解析部１０７は、入力されたメタデータを解析し、画像復号部１０６で復号された画像全体の解像度、及び当該画像に含まれる予め定められた複数の部分領域の位置及び解像度の情報を取得する。当該情報は、例えば電波産業会（ＡＲＩＢ：Association of Radio Industries and Businesses）のＳＴＤ−Ｂ１０で規定されるＰＳＩ／ＳＩ（Program Specific Information/Specific Information）テーブルに記述されるＥＩＴ（Event Information Table）、もしくはＰＭＴ（Program Map Table）内のコンポーネント記述子から取得する。
【００１９】
図２は、コンポーネント記述子の構造例である。コンポーネント記述子のうち、コンポーネント種別（component_type）は８ビットのフィールドであり、それぞれの識別子について図３に示すような画像の解像度、アスペクト比、及び部分領域を有するか否かの情報が予め定義されているものとする。例えばコンポーネント種別が０ｘＥ２の場合、解像度が２１６０ｐ及びアスペクト比が１６：９であり、部分領域を有する放送番組の画像であることがわかる。なお、図３のコンポーネント種別の情報は例示を目的としたものであり、コンポーネント種別の情報は映像データによって異なる、あるいはＡＲＩＢにより策定された規格と同一のものであってもよいことは理解されよう。
【００２０】
また部分領域を有する放送番組については、コンポーネント記述（text_char）により当該部分領域の位置及び解像度の情報が記述される。１つの矩形の部分領域については、左下画素の座標（ｘ１，ｙ１）及び右上画素の座標（ｘ２，ｙ２）の情報を用いて領域が定義され、当該定義された領域の座標をもってコンポーネント記述子が構成される。具体的には、例えば左下画素の座標が（１９２１，２１６１）、右上画素の座標が（３８４０，３２４０）である場合、部分領域の幅は１９２０、高さは１０８０である。このとき、左下画素の座標、幅、及び高さのそれぞれを２Ｂｙｔｅで表現すると左下画素の座標は（０ｘ０７８１，０ｘ０８７１）、幅は０ｘ０７８０，高さは０ｘ０４３８となる。このときコンポーネント記述子は当該２Ｂｙｔｅで表現された値を連続させた
text_char = 0781087107800438
の８Ｂｙｔｅで定義するものとする。このように放送番組の画像において部分領域が定義されている場合は、コンポーネント記述を読み出すことにより当該部分領域の位置及び解像度の情報を取得することができる。なお、コンポーネント記述子は上記したものに限らず、例えば左下画素の座標と右上画素の座標とを２Ｂｙｔｅで表現した値を連続させたものでもよい。
【００２１】
なお、図２の例では放送番組の画像においてＮ個の部分領域が定義されている場合に、コンポーネント記述子から順にそれぞれの部分領域の位置及び解像度の情報を取得できるように記載されている。
【００２２】
領域切り出し部１０８は、制御部１０１から切り出す矩形領域の左上画素の座標及び右上画素の座標が入力され、画像復号部１０６により復号された画像から、制御部１０１により指示された領域の画像を切り出して出力する。
【００２３】
合成部１０９は、領域切り出し部１０８により放送番組の画像から切り出された２以上の領域の画像を、水平方向及び垂直方向の少なくともいずれかの方向に並べて配置したマルチ表示画像を生成して出力する。合成部１０９には、マルチ表示画像に配置される２以上の領域の画像の位置の情報が制御部１０１により入力され、合成部１０９は当該情報に従って画像を配置してマルチ表示画像を生成する。
【００２４】
また合成部１０９は、後述する表示部１１０に画像を表示する際に、当該表示部１１０の表示解像度に合わせて表示画像の解像度変換処理も行う。合成部１０９は、入力された表示画像に対して、制御部１０１により指示された拡大（縮小）率に従い、当該表示画像の解像度を変倍する解像度変換処理を実行する。
【００２５】
表示部１１０は、ＬＣＤ等の表示装置であり、入力された画像を表示する。なお、表示部１１０の表示解像度の情報は、例えば予めＲＯＭ１０２に記憶されているものとする。また表示部１１０の座標系は図４に示すように左下の画素が（１，１）となるように構成されるものとして説明するが、本発明の実施はこれに限らない。
【００２６】
操作入力部１１１は、テレビ受像機１００が備えるユーザからの操作入力を受け付けるブロックであり、ユーザの操作により発生した信号を解析し、操作された内容を制御部１０１に伝送する。操作入力部１１１は、電源ボタンや音量ボタン等の物理的なユーザインタフェースに限らず、赤外線受光部等の信号を受信するインタフェースも備え、例えばリモートコントローラをユーザが操作することによりなされた指示入力も受け付けるものとする。
【００２７】
（表示画像生成処理）
このような構成をもつ本実施形態のテレビ受像機１００の表示画像生成処理について、図５のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本表示画像生成処理は、例えばテレビ受像機１００が起動され、受信している放送信号から信号分離部１０５により設定されているチャンネルの映像データ及びメタデータが分離された際に開始されるものとして説明する。
【００２８】
Ｓ５０１で、制御部１０１は、信号分離部１０５により分離された映像データを画像復号部１０６に入力し、それぞれのフレームの画像を復号させる。また制御部１０１は、信号分離部１０５により分離されたメタデータをメタデータ解析部１０７に入力し、受信しているチャンネルの放送番組に設定されている情報を解析させる。
【００２９】
Ｓ５０２で、制御部１０１は、ユーザによる表示設定の変更指示がなされたか否かを判断する。具体的には制御部１０１は、操作入力部１１１がユーザによる表示設定の変更指示を受信したか否かにより、表示設定の変更の有無を判断する。表示設定とは、復号されたフレームの画像を表示部１１０に表示する際に、画像全体または１つの部分領域を表示するか、または複数の部分領域をマルチ表示するかの設定であり、当該設定の情報は例えばＲＯＭ１０２に記憶されているものとする。制御部１０１は、ユーザによる表示設定の変更指示がなされた場合は処理をＳ５０３に移し、なされてない場合は処理をＳ５０６に移す。
【００３０】
Ｓ５０３で、制御部１０１は、Ｓ５０１でメタデータ解析部１０７に解析させた、受信しているチャンネルの放送番組に設定されている、部分領域の位置及び解像度の情報において、当該放送番組が部分領域を有するか否かを判断する。なお、本実施形態では以下の処理で選択する部分領域について、予め定められた部分領域の情報が映像データと共に放送信号より取得できるものとして説明するが、本発明の実施はこれに限らない。画像内の部分領域は、例えばユーザがリモートコントローラを用いて操作することにより設定可能であってもよい。即ち、部分領域の位置及び解像度の情報は、「予め設定されている」及び「受信後に設定可能」の少なくともいずれかで設定された情報であってよい。制御部１０１は、受信しているチャンネルの放送番組が部分領域の情報を有する場合は処理をＳ５０４に移し、部分領域の情報がない場合は処理をＳ５０６に移す。
【００３１】
Ｓ５０４で、制御部１０１は、受信しているチャンネルの放送番組に設定されている部分領域から、ユーザに表示させたい領域を選択させる。具体的には制御部１０１は、表示部１１０に、部分領域の位置及び解像度の情報に基づいて、複数の部分領域を選択可能に表示する。表示部１１０への表示は、例えば画像全体に対して部分領域を示す枠を重畳した画像であってもよいし、複数の部分領域を列挙したリストのＧＵＩであってもよい。
【００３２】
Ｓ５０５で、制御部１０１は、ユーザによる部分領域の選択完了の指示がなされたか否かを判断する。具体的には制御部１０１は、操作入力部１１１がユーザによる部分領域の選択完了の指示を受信したか否かにより、部分領域の選択が完了したか否かを判断する。制御部１０１は、表示する部分領域の選択が完了した場合は処理をＳ５０６に移し、完了していない場合は処理をＳ５０４に戻す。
【００３３】
Ｓ５０６で、制御部１０１は、ユーザにより選択された部分領域の数により処理を分岐する。制御部１０１で、選択された部分領域がない、即ち選択がキャンセルされた、または選択可能な部分領域が存在しなかった場合は処理をＳ５０７に移す。また制御部１０１は、選択された部分領域が１である場合は処理をＳ５０８に移し、選択された部分領域が２以上である場合は処理をＳ５０９に移す。
【００３４】
Ｓ５０７で、制御部１０１は、ＲＯＭ１０２に記憶されている表示設定の情報に従い、表示部１１０に表示する画像を決定し、当該画像を表示部１１０に伝送して表示させる。具体的には制御部１０１は、表示設定が画像全体を表示する設定であった場合、受信しているチャンネルの映像データから、現在表示させるフレームの画像を表示部１１０に表示させる。このとき、フレームの画像全体の解像度が表示部１１０の表示解像度に合致しない場合、制御部１０１は当該フレームの画像をＲＡＭ１０３から読み出して合成部１０９に入力し、表示部１１０の表示解像度に合わせて当該画像を変倍させる。そして制御部１０１は、得られた表示解像度に合致する解像度の画像を表示部１１０に伝送して表示させる。
【００３５】
例えば図４のようにフレームの画像が７６８０pix×４３２０pixであり、表示部１１０の表示解像度が１９２０pix×１０８０pixである場合、フレームの画像は合成部１０９に入力される。そして当該フレームの画像は、合成部１０９において図６（ａ）のような水平方向及び垂直方向がともに１／４倍の解像度を有する、１９２０pix×１０８０pixに縮小される。
【００３６】
なお、本明細書では表示する領域の解像度に対して表示する画像の解像度が合致する状態とは、表示する画像の解像度が、
１）水平方向あるいは垂直方向の少なくとも一方において、表示する領域の解像度と等しい
２）水平方向及び垂直方向の両方において、表示する領域の解像度を超えない
の２つの条件をともに満たす状態であると定義する。即ち、表示する領域の解像度がｗｐ×ｈｐ、表示する画像の解像度がｗ×ｈである場合、２つの解像度のアスペクト比を比較し、
（１）
である場合は、水平方向の解像度が表示する領域の解像度と等しくなるように変倍し、
（２）
である場合は、垂直方向の解像度が表示する領域の解像度と等しくなるように変倍する。
【００３７】
しかしながら、本発明の実施はこれに限らず、表示する画像の大きさに関する任意の条件を定義してよく、当該条件をみたすように合成部１０９にて表示する画像を変倍すればよい。
【００３８】
また、表示設定が部分領域を表示する、または複数の部分領域をマルチ表示する設定であった場合、制御部１０１はＳ５０２において既に選択されていた部分領域の情報を領域切り出し部１０８に入力して、フレームの画像から当該部分領域の画像を切り出させる。そして制御部１０１は、当該表示設定に従って切り出された部分領域の画像を合成部１０９において解像度変換を行い、必要であれば合成処理を適用して表示部１１０に出力させ、表示させればよい。
【００３９】
選択された部分領域が１、即ち１つの部分領域のみを表示すると設定された場合、Ｓ５０８で制御部１０１は、当該選択された部分領域の位置及び解像度の情報と、ＲＡＭ１０３より読み出された現在表示させるフレームの画像とを領域切り出し部１０８に入力する。なお、このとき制御部１０１はＲＯＭ１０２に記憶されている表示設定の情報を、部分領域を表示する設定に変更する。そして制御部１０１は、領域切り出し部１０８に当該選択された１つの部分領域の画像を切り出させ、得られた画像を表示部１１０に表示させる。このとき、画像全体を表示する場合と同様に、部分領域の画像の解像度が表示部１１０の表示解像度に合致しない場合は、制御部１０１は当該部分領域の画像を合成部１０９に入力し、表示部１１０の表示解像度に合わせて当該部分領域の画像を変倍させる。
【００４０】
例えば図６（ｂ）のように部分領域の画像の解像度が１９２０pix×１０８０pixである場合は、上述した表示部１１０の表示解像度と合致している状態であると判断され、領域切り出し部１０８で切り出された部分領域の画像は表示部１１０に入力される。また、部分領域の解像度が図６（ｅ）のように４８０pix×２７０pixである場合は、表示部１１０の表示解像度と合致していないと判断され、領域切り出し部１０８で切り出された部分領域の画像は合成部１０９に入力される。そして当該部分領域の画像は、合成部１０９において水平方向及び垂直方向がともに４倍の解像度を有する、１９２０pix×１０８０pixに拡大される。なお、選択された１つ部分領域と全体画像をマルチ画面表示してもよい。この際には部分領域の画像の表示位置と全体画像の表示位置との関係は特に問わない。
【００４１】
選択された部分領域が２以上、即ち２以上の部分領域をマルチ表示すると設定された場合、Ｓ５０９で制御部１０１はＲＯＭ１０２に記憶されている表示設定の情報を、複数の部分領域をマルチ表示する設定に変更し、次のように処理する。制御部１０１は、当該選択された２以上の部分領域それぞれの位置及び解像度の情報と、ＲＡＭ１０３より読み出された現在表示させるフレームの画像とを領域切り出し部１０８に入力する。そして１０１は、領域切り出し部１０８に当該選択された２以上の部分領域それぞれに含まれる画像を切り出させ、得られた２以上の部分領域の画像を合成部１０９に入力する。
【００４２】
Ｓ５１０で、制御部１０１は、表示部１１０に表示するマルチ表示画像における、２以上の部分領域の画像の配置を決定する。本実施形態では、表示部１１０の表示解像度と同一の解像度を有するマルチ表示画像を、水平方向において、選択されている部分領域の数の領域に等分割して得られた領域を、２以上の部分領域それぞれの画像を配置する領域として決定する。そして２以上の部分領域それぞれの画像を、当該部分領域の水平位置の位置関係を維持するように、決定した領域に割り当てる。
【００４３】
例えばユーザにより図６（ｂ）及び（ｃ）の２つの部分領域がマルチ表示する部分領域として決定された場合、それぞれの部分領域の画像を配置するマルチ表示画像上の領域の解像度は次のようになる。即ち、表示解像度と同一の解像度を有する２つの部分領域を、各部分領域の表示領域の面積が同等になるように水平方向に並べて表示するためには、水平方向の表示解像度が１０８０であるので、各部分領域の解像度を９６０pix×５４０pixとする。
【００４４】
また、選択された部分領域それぞれの位置及び解像度の情報を参照すると、図６（ｂ）の部分領域がフレームの画像上で左、図６（ｃ）の部分領域がフレームの画像上で右に存在していると判定される。部分領域の位置の判定は、例えば領域の中心点の座標を用いて制御部１０１が判定すればよく、上述の例では水平方向において図６（ｂ）は２８８１、図６（ｃ）は４９９３の座標を有するため、水平位置の位置関係を把握することができる。
【００４５】
制御部１０１は、このように選択された２以上の部分領域の水平位置の位置関係を維持するように、マルチ表示画像上の領域を割り当てる。即ち、図７（ａ）のように水平方向に２分割することにより定義された部分領域の画像を配置する領域において、水平方向の座標が小さい図６（ｂ）の部分領域の画像は左、水平方向の座標が大きい図６（ｃ）の部分領域の画像は右に配置することが決定される。
【００４６】
なお、本実施形態では選択された２以上の部分領域の画像を、それぞれの部分領域の水平位置の位置関係を維持するように配置するものとして説明するが、本発明の実施はこれに限らない。即ち、本発明は部分領域の位置関係を維持したマルチ表示画像を生成するものであり、選択された部分領域それぞれの水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、当該部分領域の画像が配置されたマルチ表示画像が生成されればよい。
【００４７】
また、部分領域の画像は、図７（ｂ）のように垂直位置の位置関係を維持するように配置してもよい。また３または４つの部分領域が選択された場合は、図７（ｃ）のような水平方向に２分割、垂直方向に２分割された領域に、水平位置及び垂直位置の位置関係を維持するように部分領域の画像を配置してもよい。例えば図６（ｂ）、（ｃ）、及び（ｄ）の部分領域が選択された場合は、それぞれの領域の中心点の座標を比較し、同一の水平座標を有する図６（ｂ）及び（ｄ）の部分領域は左側に配置される。また、当該２つの部分領域より大きい水平座標を有する図６（ｃ）の部分領域は右側に配置される。さらに、図６（ｂ）及び（ｄ）の部分領域を中心点の垂直座標より、図６（ｂ）の部分領域が左上、図６（ｄ）の部分領域が左下となるように配置される。また図６（ｃ）の部分領域は中心点の垂直座標の差が小さい、図６（ｄ）の部分領域に合わせて右下の領域に配置されればよい。
【００４８】
Ｓ５１１で、制御部１０１は、合成部１０９にＳ５１０でそれぞれの部分領域の画像に割り当てられた領域の解像度に合致するように、選択された２以上の部分領域それぞれの画像に対して解像度変換処理を適用させて、マルチ表示画像を生成させる。例えば図６（ｂ）及び（ｃ）の部分領域の解像度はともに１９２０pix×１０８０pixであるため、当該部分領域の画像を配置する領域であるマルチ表示画像を水平方向に２分割した領域の解像度９６０pix×１０８０pixに合致するように変倍する。即ち、部分領域それぞれの画像は、マルチ表示画像上において同一の表示面積を有し、かつ水平方向に並列して表示するために、水平方向及び垂直方向ともに１／２倍の解像度を有する９６０pix×５４０pixに解像度変換されて配置される。なお、このとき選択された２以上の部分領域を配置する垂直方向の座標は同一座標、例えばマルチ表示画像の垂直方向の中心座標を有するように配置するものとする。
【００４９】
Ｓ５１２で、制御部１０１は、合成部１０９に生成させたマルチ表示画像を表示部１１０に入力して表示させ、本表示画像生成処理を完了する。なお、本表示画像生成処理はテレビ受像機１００が起動されている間、繰り返し実行されればよい。
【００５０】
以上説明したように、本実施形態の画像処理装置は、画像に含まれる複数の部分領域の位置関係を維持したマルチ表示画像を生成することができる。具体的には画像処理装置は、画像と、当該画像に含まれる予め定められた複数の部分領域の位置及び解像度の情報とを受信し、受信された画像に含まれる複数の部分領域のうち、２以上の部分領域を選択する。そして当該選択された２以上の部分領域それぞれに含まれる画像を受信された画像から切り出す。さらに当該２以上の部分領域の水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、切り出された２以上の部分領域の画像を配置したマルチ表示画像を生成する。
【００５１】
このようにすることで、ユーザに対して違和感を与えない配置のマルチ表示画像を生成して提示することができる。例えば動いている被写体に対して、連続的に移動する部分領域が定義されている場合であっても、２つの部分領域の位置関係に応じて、表示位置を動的に変化させたマルチ表示画像を生成することができる。図８の例では、時間経過により人物像に定義されている部分領域８０１が８０３まで移動した場合の、それぞれの時間でのマルチ表示画像８０２及び８０４を示している。図からも明らかなように、本発明によれば部分領域の位置関係が時系列で変更になった場合であっても、当該部分領域の位置関係を維持したマルチ表示画像を生成することが可能である。
【００５２】
（変形例１）
上述した実施形態１では、水平方向に選択された部分領域の数に等分割した領域に、当該部分領域の画像を配置する際、垂直方向の座標が同一座標を有するように配置するものとして説明したが、本発明の実施はこれに限らない。本変形例では、フレームの画像において選択された２以上の部分領域それぞれの中心点間を結ぶベクトルの方向を考慮して当該部分領域の画像を配置することで、当該部分領域の位置関係をユーザがより把握しやすいマルチ表示画像の生成方法について説明する。
【００５３】
なお、本変形例では簡単のため、図９（ａ）に示す中心座標（ｘｃ１，ｙｃ１）及び（ｘｃ２，ｙｃ２）を有し、解像度がｗ１×ｈ１及びｗ２×ｈ２の２つの部分領域Ａ１及びＡ２が選択された場合について説明する。また生成されるマルチ表示画像は、当該２つの部分領域Ａ１及びＡ２の画像を変倍した画像が、マルチ表示画像を水平方向に２等分割された領域に配置されるものとして説明する。
【００５４】
図９（ａ）の場合、フレームの画像において当該２つの部分領域の中心点間を結ぶ線分が水平な線分と成す角度θ１２は
であり、生成されるマルチ表示画像において２つの部分領域の画像の中心点間を結ぶ線分が水平な線分とθ１２を成すように配置されるものとする。
【００５５】
生成されるマルチ表示画像において、２つの部分領域の中心点間を結ぶ線分が水平な線分と成す角度として表現可能な角度θの範囲は、当該２つの部分領域のアスペクト比及びマルチ表示画像の解像度により異なる。具体的には、生成されるマルチ表示画像の解像度がｗｐ×ｈｐである場合、部分領域Ａ１の画像は、当該画像が配置される領域に合致する解像度に変倍される際に、
ｃａｓｅ１：
（水平方向の解像度が等しくなるように変倍）
ｃａｓｅ２：
（垂直方向の解像度が等しくなるように変倍）
の２つの条件により倍率の算出方法が決定される。また同様に部分領域Ａ２の画像は、当該画像が配置される領域に合致する解像度に変倍される際に、
ｃａｓｅ３：
（水平方向の解像度が等しくなるように変倍）
ｃａｓｅ４：
（垂直方向の解像度が等しくなるように変倍）
の２つの条件により倍率の算出方法が決定される。このときマルチ表示画像において、２つの部分領域の中心点間を結ぶ線分が水平な線分となす角度として表現可能な最大角度θｍａｘは、
１）ｃａｓｅ１かつｃａｓｅ３の場合（図９（ｂ））
２）ｃａｓｅ１かつｃａｓｅ４の場合（図９（ｃ））
３）ｃａｓｅ２かつｃａｓｅ３の場合（図９（ｄ））
であるため、表現可能な角度θの範囲は
となる。なお、ｃａｓｅ２かつｃａｓｅ４の場合は変倍された２つの部分領域それぞれの画像の中心点は、同一の垂直座標を有するため０度以外の角度を示さない。
【００５６】
例えば上述した条件１（ｃａｓｅ１かつｃａｓｅ３）の場合、変倍された部分領域Ａ１の画像は中心座標が
となるように配置され、変倍された部分領域Ａ２の画像は中心座標が
となるように配置される。なお、θ１２がθｍａｘを超える場合は、生成されるマルチ表示画像において２つの部分領域の画像の中心点間を結ぶ線分が水平な成分と成す角度は例えばθｍａｘとすればよい。
【００５７】
このようにすることで、ユーザが部分領域の位置関係を容易に把握でき、さらにユーザに対して違和感を与えないように部分領域が配置されたマルチ表示画像を生成して提示することができる。
【００５８】
（変形例２）
上述した実施形態１及び変形例１では、選択された部分領域に含まれる画像のみを配置してマルチ表示画像を生成する方法について説明した。しかしながら上述の構成では変倍された部分領域の画像の解像度が、当該部分領域の画像が配置される領域の解像度と必ずしも等しくないため、マルチ表示画像にはフレームの画像に係る画像が表示されない領域が存在することになる。本変形例２では、フレームの画像に係る画像が表示されない領域のないマルチ表示画像を生成する方法について説明する。
【００５９】
（表示画像生成処理）
以下、本変形例のテレビ受像機１００の表示画像生成処理について、図１０のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本表示画像生成処理は、例えばテレビ受像機１００が起動され、受信している放送信号から信号分離部１０５により設定されているチャンネルの映像データ及びメタデータが分離された際に開始されるものとして説明する。また、本表示画像生成処理において、上述した実施形態１の表示画像生成処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、本変形例に特徴的なステップの説明に留める。
【００６０】
選択された部分領域が２以上、即ち２以上の部分領域をマルチ表示すると設定された場合、Ｓ１００１で制御部１０１はＲＯＭ１０２に記憶されている表示設定の情報を、複数の部分領域をマルチ表示する設定に変更し、次のように処理する。制御部１０１は、当該選択された２以上の部分領域それぞれの位置及び解像度の情報をＲＡＭ１０３に格納する。
【００６１】
Ｓ１００２で、制御部１０１は、Ｓ５１０で決定されたそれぞれの部分領域の画像に割り当てられた領域に表示する、当該部分領域の画像を含むフレームの画像を領域切り出し部１０８に切り出させて出力させる。具体的には制御部１０１はまず、Ｓ１００１でＲＡＭ１０３に格納された、選択された２以上の部分領域それぞれの位置及び解像度の情報を読み出す。そして、制御部１０１はまずＳ５１０でそれぞれの部分領域の画像に割り当てられた領域の解像度に合致するように、選択された２以上の部分領域それぞれの画像に対する解像度変換処理の倍率を算出する。
【００６２】
次いで制御部１０１は、２以上の部分領域それぞれについて、算出された倍率で変倍された際に、それぞれの部分領域の画像に割り当てられた領域の解像度となる画像の解像度を算出する。例えば実施形態１で説明したように、図６（ｂ）の１９２０pix×１０８０pixの解像度を有する部分領域の画像を、当該画像を配置する領域の解像度９６０pix×１０８０pixに合致させるための倍率は、水平方向及び垂直方向ともに１／２である。このとき、変倍後に画像を配置する領域の解像度となる画像の解像度は、当該画像を配置する領域の解像度に算出された倍率の逆数を乗じた、１９２０pix×２１６０pixとなる。
【００６３】
そして制御部１０１は、当該算出された変倍後に画像を配置する領域の解像度となる画像の解像度の情報、ＲＡＭ１０３に記憶されている選択された２以上の部分領域の位置及び解像度の情報及び現在表示させるフレームの画像を領域切り出し部１０８に入力する。制御部１０１は領域切り出し部１０８に、選択された２以上の部分領域それぞれを含む、算出された変倍後に画像を配置する領域の解像度となる画像の解像度の画像を切り出させる。
【００６４】
例えば実施形態１のように選択された部分領域の画像の中心点の垂直座標が、生成されるマルチ表示画像の中心点の垂直座標と同じになるように部分領域の画像が配置される場合、図６（ｂ）及び（ｃ）の部分領域のそれぞれを含む切り出し領域は次のようになる。図６（ｂ）の部分領域を含む切り出し領域は、中心座標が（２８８１，２７０１）であるから、
左下画素の座標は
右上画素の座標は
となる。また、図６（ｃ）の部分領域を含む切り出し領域は、中心座標が（４９９３，１５１３）であるから、
左下画素の座標は
右上画素の座標は
となる。
【００６５】
このようにすることで、ユーザに対して違和感を与えないように部分領域が配置され、フレームの画像に係る画像が表示されない領域のないマルチ表示画像を生成して提示することができる。
【００６６】
（実施形態２）
上述した実施形態１、変形例１及び２では、選択された部分領域の数以上に、水平方向及び垂直方向の少なくともいずれかの方向においてマルチ表示画像を等分割して得られる領域を、当該部分領域の画像を配置する領域として決定する方法について説明した。即ち、選択された部分領域のアスペクト比が全て同一である場合、当分割された領域に合致するような解像度に当該部分領域を変倍して得られる画像は、全て同一の解像度を有することになる。つまり、例えばアスペクト比は同一であるが解像度の異なる図６（ｃ）及び（ｅ）の部分領域が選択された場合、当該部分領域の画像は同一の解像度に変換されて表示される。
【００６７】
本実施形態では、選択された部分領域それぞれの解像度比を反映することで、選択された部分領域の位置関係に加え、さらに大小関係をユーザが把握可能なマルチ表示画像を生成する方法について説明する。なお、本実施形態の説明では簡単のため、図６（ｃ）及び（ｅ）の部分領域が選択され、当該部分領域を水平方向に並べて配置したマルチ表示画像を生成する例について説明する。また、本実施形態のテレビ受像機１００の構成は上述した実施形態１、変形例１及び２と同様の構成であるものとして、説明を省略する。
【００６８】
（表示画像生成処理）
以下、本実施形態のテレビ受像機１００の表示画像生成処理について、図１１のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本表示画像生成処理は、例えばテレビ受像機１００が起動され、受信している放送信号から信号分離部１０５により設定されているチャンネルの映像データ及びメタデータが分離された際に開始されるものとして説明する。また、本表示画像生成処理において、上述した実施形態１の表示画像生成処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、本実施形態に特徴的なステップの説明に留める。
【００６９】
選択された部分領域が２以上、即ち２以上の部分領域をマルチ表示すると設定された場合、Ｓ５０９で制御部１０１は、領域切り出し部１０８に当該選択された２以上の部分領域それぞれに含まれる画像を切り出させた後、処理をＳ１１０１に移す。
【００７０】
Ｓ１１０１で、制御部１０１は、表示部１１０に表示するマルチ表示画像における、２以上の部分領域の画像の配置を決定する。本実施形態では、表示部１１０の表示解像度と同一の解像度を有するマルチ表示画像を、水平方向において、選択されている部分領域の水平方向の解像度比となるように分割して得られた領域を、２以上の部分領域それぞれの画像を配置する領域として決定する。そして２以上の部分領域それぞれの画像を、当該部分領域の水平位置の位置関係を維持するように、決定した領域に割り当てる。
【００７１】
例えばユーザにより図６（ｃ）及び（ｅ）の２つの部分領域がマルチ表示する部分領域として決定された場合、それぞれの部分領域の画像を配置するマルチ表示画像上の領域の解像度は次のようになる。図６（ｃ）の部分領域の解像度は１９２０pix×１０８０pix、図６（ｅ）の部分領域の解像度は４８０pix×２７０pixであるため、当該２つの領域の水平方向の解像度比は４：１となる。なお、当該２つの領域の中心座標から、水平方向の位置関係は図６（ｅ）の部分領域がフレームの画像上で左、図６（ｃ）の部分領域がフレームの画像上で右に存在していると判定される。このため、それぞれの部分領域の画像に割り当てられる領域は、生成されるマルチ表示画像の水平方向の画素数を１：４に分けた、３８４pix×１０８０pix、１５３６pix×１０８０pixの領域となる。
【００７２】
なお、本実施形態では選択された２以上の部分領域の画像を、それぞれの部分領域の水平位置の位置関係を維持するように配置するものとして説明するが、本発明の実施はこれに限らない。即ち、本発明は部分領域の位置関係を維持したマルチ表示画像を生成するものであり、選択された部分領域それぞれの水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、当該部分領域の画像が配置されたマルチ表示画像が生成されればよい。
【００７３】
Ｓ１１０２で、制御部１０１は、合成部１０９にＳ１１０１でそれぞれの部分領域の画像に割り当てられた領域の解像度に合致するように、選択された全ての部分領域の画像に対して、同一の倍率で変倍する解像度変換処理を適用させ、マルチ表示画像を生成させる。即ち、選択された全ての部分領域の画像に対して同一の倍率で変倍することにより、選択された部分領域の解像度比を維持した、図１２に示すようなマルチ表示画像を生成することができる。
【００７４】
例えば図６（ｃ）及び（ｅ）の部分領域の画像の水平方向及び垂直方向の両方を変倍する倍率は、図６（ｅ）の部分領域の画像の解像度４８０pix×２７０pixと、当該画像が配置される領域の解像度３８４pix×１０８０pixから、
３８４／４８０＝４／５倍
となる。即ち、合成部１０９において解像度変換が適用された後、図６（ｃ）の部分領域の画像の解像度は１５３６pix×８６４pix、図６（ｅ）の部分領域の画像の解像度は３８４pix×２１６pixとなる。
【００７５】
なお、当該解像度変換がなされた図６（ｃ）及び（ｅ）の部分領域それぞれの画像の配置位置は、部分領域それぞれの画像の中心の垂直座標が生成されるマルチ表示画像の中心の垂直座標と同一となるように配置される場合、次にようになる。即ち、当該２つの部分領域それぞれの画像の生成されるマルチ表示画像上の配置位置は、左下画素の座標及び右下画素の座標を用いて、
・図６（ｃ）の部分領域の画像
・図６（ｅ）の部分領域の画像
で表される。
【００７６】
このようにすることで、ユーザが部分領域の大小関係を容易に把握でき、さらにユーザに対して違和感を与えないように部分領域が配置されたマルチ表示画像を生成して提示することができる。
【００７７】
なお、上述した実施形態及び変形例では２以上の部分領域が選択された際に、マルチ表示画像を生成して表示させるものとして説明した。しかしながら、例えば図６（ｂ）及び（ｄ）の部分領域が選択された場合等、選択された部分領域のうち、少なくとも２つの部分領域に重複する領域が存在する場合は、当該重複する部分領域を有する全ての部分領域を１つの部分領域として判定してもよい。
【００７８】
具体的には、例えば図６（ｂ）及び（ｄ）の部分領域がユーザにより選択された場合、２つの部分領域には、左下画素の座標が（１９２１，２１６１）で右上画素の座標が（３８４０，２５９２）の重複する矩形領域が存在する。このような場合、制御部１０１は、当該重複する矩形領域を有する全ての部分領域を包含する領域を、領域切り出し部１０８に切り出させる１つの部分領域として決定する。即ち、図６（ｂ）及び（ｄ）の部分領域が選択された場合は、当該２つの部分領域の両方を包含する矩形領域、即ち左下画素の座標が（１９２１，１５１３）で右上画素の座標が（３８４０，３２４０）で示される矩形領域を１つの部分領域となる。このとき、表示部１１０にはマルチ表示画像ではなく、図１３に示すような、１つの部分領域が表示されればよい。
【００７９】
なお、図８に示したように部分領域が移動する場合も、図１４（ａ）のような２つの部分領域が重複する領域が生じることがある。このような場合、上述したように重複する部分領域を有する全ての部分領域を１つの部分領域として判定する方法を用いると、部分領域の数によってはマルチ表示画像ではない表示画像に切り替わるため、ユーザの混乱を招くことが考えられる。このため、図１４（ｂ）に示すように選択されていた部分領域１４０１及び１４０２に含まれる画像のみで表示する画像を生成してもよい。具体的には、切り出された部分領域１４０１及び１４０２の画像を、当該画像の位置関係を保持したまま重複させて合成する。そして、得られた合成画像を水平方向及び垂直方向のいずれかの方向の画素数が表示領域の画素数に一致し、かつ水平及び垂直方向の両方において表示領域の画素数を超えない画素数を有するように拡大する。
【００８０】
以上、実施形態１及び２、及び変形例１及び２を用いて、それぞれ本発明を実施するための形態について説明したが、それぞれの実施形態及び変形例で説明した構成は、発明の実施に合わせて組み合わせ可能であることは容易に理解されよう。即ち、本発明の画像処理装置は、受信された画像に対して２以上の部分領域が選択された場合に、当該２以上の部分領域の水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、当該２以上の部分領域の画像を配置したマルチ表示画像を生成する。このとき、選択された２以上の部分領域の画像を配置する場合に、次の手法を任意に組み合わせることができる。
（１）当該２以上の部分領域それぞれの中心点間を結ぶベクトルの方向を維持するように配置
（２）水平方向あるいは垂直方向の少なくとも一方において配置する領域の解像度と等しい解像度を有し、かつ、水平方向及び垂直方向の両方において配置する領域を超えない解像度を有するように、部分領域の画像を変倍して配置
（３）当該２以上の部分領域の数以上となるように、水平方向及び垂直方向の少なくともいずれかの方向において、マルチ表示画像を等分割して得られる領域に配置
（４）当該２以上の部分領域の数以上となるように、水平方向及び垂直方向の少なくともいずれかの方向において、当該２以上の部分領域それぞれの当該方向の解像度比となるようにマルチ表示画像を分割して得られる領域に配置
（５）当該２以上の部分領域を含み、配置する領域の解像度となるように切り出した画像を配置
（６）当該２以上の部分領域に重複する領域が存在する場合は、当該重複する領域を有する全ての部分領域を包含する領域の画像を、１つの部分領域の画像として切り出して配置
このようにすることで、画像に含まれる複数の部分領域の位置関係を維持したマルチ表示画像を生成することができる。
【００８１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
複数の画像を、水平方向及び垂直方向の少なくともいずれかの方向に並べて配置したマルチ表示画像を生成する画像処理装置であって、
画像と、当該画像に含まれる予め定められた複数の部分領域の位置及び解像度の情報とを受信する受信手段と、
前記受信手段により受信された画像に含まれる複数の部分領域のうち、２以上の部分領域を選択する選択手段と、
前記選択手段により選択された２以上の部分領域それぞれに含まれる画像を、当該部分領域の位置及び解像度の情報に基づいて前記受信された画像から切り出す切り出し手段と、
前記２以上の部分領域の水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、前記切り出し手段により切り出された前記２以上の部分領域の画像を配置した前記マルチ表示画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記２以上の部分領域それぞれの中心点間を結ぶベクトルの方向を維持するように、前記２以上の部分領域の画像を配置することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記切り出し手段は、前記選択手段により選択された２以上の部分領域に重複する領域が存在する場合は、当該重複する領域を有する全ての部分領域を包含する領域を、１つの部分領域として切り出すことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記２以上の部分領域の位置関係を、当該２以上の部分領域それぞれの中心座標により判断することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記２以上の部分領域それぞれの画像を配置する前記マルチ表示画像上の領域を決定する決定手段と、
前記２以上の部分領域それぞれの画像を、前記決定手段により決定された領域の解像度に応じて変倍する変倍手段と、
をさらに備え、
前記決定手段は、少なくとも前記２以上の部分領域の数以上となるように、水平方向及び垂直方向の少なくともいずれかの方向において、前記マルチ表示画像を等分割して得られる領域を、前記２以上の部分領域それぞれの画像を配置するマルチ表示画像上の領域として決定し、
前記変倍手段は、水平方向あるいは垂直方向の少なくとも一方において前記等分割して得られる領域の解像度と等しい解像度を有し、かつ、水平方向及び垂直方向の両方において前記等分割して得られる領域を超えない解像度を有するように、前記２以上の部分領域それぞれの画像を変倍することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記２以上の部分領域それぞれの画像を配置する前記マルチ表示画像上の領域を決定する決定手段と、
前記２以上の部分領域それぞれの画像を、前記決定手段により決定された領域の解像度に応じて変倍する変倍手段と、
をさらに備え、
前記決定手段は、少なくとも前記２以上の部分領域の数以上となるように、水平方向及び垂直方向の少なくともいずれかの方向において、前記２以上の部分領域それぞれの当該方向の解像度比となるように前記マルチ表示画像を分割して得られる領域を、前記２以上の部分領域それぞれの画像を配置するマルチ表示画像上の領域として決定し、
前記変倍手段は、水平方向あるいは垂直方向の少なくとも一方において前記分割して得られる領域の解像度と等しい解像度を有し、かつ、垂直方向及び水平方向の両方において前記分割して得られる領域を超えない解像度を有するように、前記２以上の部分領域の画像の全てを同一の倍率で変倍することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
前記切り出し手段は、前記変倍手段により変倍された前記２以上の部分領域それぞれの画像が前記決定手段により決定された領域の解像度とならない場合に、当該部分領域を含み、かつ、変倍後に前記決定された領域の解像度となるように、前記受信された画像から画像を切り出すことを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
複数の画像を、水平方向及び垂直方向の少なくともいずれかの方向に並べて配置したマルチ表示画像を生成する画像処理装置の制御方法であって、
受信手段が、画像と、当該画像に含まれる予め定められた複数の部分領域の位置及び解像度の情報とを受信する受信工程と、
選択手段が、前記受信工程において受信された画像に含まれる複数の部分領域のうち、２以上の部分領域を選択する選択工程と、
切り出し手段が、前記選択工程において選択された２以上の部分領域それぞれに含まれる画像を、当該部分領域の位置及び解像度の情報に基づいて前記受信された画像から切り出す切り出し工程と、
生成手段が、前記２以上の部分領域の水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、前記切り出し工程において切り出された前記２以上の部分領域の画像を配置した前記マルチ表示画像を生成する生成工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
複数の画像を、水平方向及び垂直方向の少なくともいずれかの方向に並べて配置したマルチ表示画像を生成する画像処理装置であって、
画像と、当該画像に含まれる予め定められた複数の部分領域の位置及び解像度の情報とを受信する受信手段と、
前記受信手段により受信された画像に含まれる複数の部分領域のうち、２以上の部分領域を選択する選択手段と、
前記選択手段により選択された２以上の部分領域それぞれに含まれる画像を、当該部分領域の位置及び解像度の情報に基づいて前記受信された画像から切り出す切り出し手段と、
前記２以上の部分領域の水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、前記切り出し手段により切り出された前記２以上の部分領域の画像を配置した前記マルチ表示画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記２以上の部分領域それぞれの中心点間を結ぶベクトルの方向を維持するように、前記２以上の部分領域の画像を配置することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記切り出し手段は、前記選択手段により選択された２以上の部分領域に重複する領域が存在する場合は、当該重複する領域を有する全ての部分領域を包含する領域を、１つの部分領域として切り出すことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記２以上の部分領域の位置関係を、当該２以上の部分領域それぞれの中心座標により判断することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記２以上の部分領域それぞれの画像を配置する前記マルチ表示画像上の領域を決定する決定手段と、
前記２以上の部分領域それぞれの画像を、前記決定手段により決定された領域の解像度に応じて変倍する変倍手段と、
をさらに備え、
前記決定手段は、少なくとも前記２以上の部分領域の数以上となるように、水平方向及び垂直方向の少なくともいずれかの方向において、前記マルチ表示画像を等分割して得られる領域を、前記２以上の部分領域それぞれの画像を配置するマルチ表示画像上の領域として決定し、
前記変倍手段は、水平方向あるいは垂直方向の少なくとも一方において前記等分割して得られる領域の解像度と等しい解像度を有し、かつ、水平方向及び垂直方向の両方において前記等分割して得られる領域を超えない解像度を有するように、前記２以上の部分領域それぞれの画像を変倍することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記２以上の部分領域それぞれの画像を配置する前記マルチ表示画像上の領域を決定する決定手段と、
前記２以上の部分領域それぞれの画像を、前記決定手段により決定された領域の解像度に応じて変倍する変倍手段と、
をさらに備え、
前記決定手段は、少なくとも前記２以上の部分領域の数以上となるように、水平方向及び垂直方向の少なくともいずれかの方向において、前記２以上の部分領域それぞれの当該方向の解像度比となるように前記マルチ表示画像を分割して得られる領域を、前記２以上の部分領域それぞれの画像を配置するマルチ表示画像上の領域として決定し、
前記変倍手段は、水平方向あるいは垂直方向の少なくとも一方において前記分割して得られる領域の解像度と等しい解像度を有し、かつ、垂直方向及び水平方向の両方において前記分割して得られる領域を超えない解像度を有するように、前記２以上の部分領域の画像の全てを同一の倍率で変倍することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
前記切り出し手段は、前記変倍手段により変倍された前記２以上の部分領域それぞれの画像が前記決定手段により決定された領域の解像度とならない場合に、当該部分領域を含み、かつ、変倍後に前記決定された領域の解像度となるように、前記受信された画像から画像を切り出すことを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
複数の画像を、水平方向及び垂直方向の少なくともいずれかの方向に並べて配置したマルチ表示画像を生成する画像処理装置の制御方法であって、
受信手段が、画像と、当該画像に含まれる予め定められた複数の部分領域の位置及び解像度の情報とを受信する受信工程と、
選択手段が、前記受信工程において受信された画像に含まれる複数の部分領域のうち、２以上の部分領域を選択する選択工程と、
切り出し手段が、前記選択工程において選択された２以上の部分領域それぞれに含まれる画像を、当該部分領域の位置及び解像度の情報に基づいて前記受信された画像から切り出す切り出し工程と、
生成手段が、前記２以上の部分領域の水平位置及び垂直位置の少なくともいずれかの位置関係を維持するように、前記切り出し工程において切り出された前記２以上の部分領域の画像を配置した前記マルチ表示画像を生成する生成工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１５６８９４（Ｐ２０１２−１５６８９４Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１５７０３（Ｐ２０１１−１５７０３）
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]