情報表示装置、方法及びプログラム
【課題】 アルバムを作成する際、時系列順に写真を並べるだけでは、実世界での被写体の位置姿勢を反映できず、違和感を与えることがある。動きのある被写体を連続で撮影したコンテンツをレイアウトする際に、被写体の進行方向と本の開く方向が異なっていると、時系列順に並べてしまうと見辛いものになる。
【解決手段】 撮像装置が測定したコンテンツ属性情報を基にコンテンツ中の被写体の撮像装置に対する位置姿勢を推定し、コンテンツの配置位置を決定することで、鑑賞者に与える、各コンテンツ中の被写体の位置姿勢の矛盾や違和感を減少させる。
【解決手段】 撮像装置が測定したコンテンツ属性情報を基にコンテンツ中の被写体の撮像装置に対する位置姿勢を推定し、コンテンツの配置位置を決定することで、鑑賞者に与える、各コンテンツ中の被写体の位置姿勢の矛盾や違和感を減少させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書内にコンテンツのレイアウトを行う情報表示装置、方法及びプログラムに関するものである。
【背景技術】
【０００２】
電子データ上の文書に対して、位置情報などのコンテンツに付随したメタデータ情報を考慮してレイアウトを自動で行う技術が知られている。
【０００３】
具体的な例として、まず、静止画像もしくは動画像を、撮影時に取得された撮影位置・方位・角度を基に、３次元の立体データ上の対応する点に表示させるものが知られている（特許文献１）。また別の例として、写真に記録されたＧＰＳ情報を基に、ＧＰＳデータに対応する座標情報が記録されている台紙データ上の所定のポイントに写真をレイアウトするものが知られている（特許文献２）。また写真が連続して撮られているかといった情報を使用している場合もある。これは写真をレイアウトした結果、設定したページ総数を越えてしまう等してレイアウトの変更が必要な場合、写真をグルーピングし、それらのレイアウトを固定したまま、他の写真のレイアウト修正を行うものである（特許文献３）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１２２６３８号公報
【特許文献２】特開２００２−３２９１９１号公報
【特許文献３】特開２０１０−１４７５８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の手法では、紙のアルバムなど２次元平面に配置する場合に、そのまま適用することができない。特許文献２に記載の手法の場合には、２次元平面への配置に適用することはできるが、台紙データに座標情報が記録されていないと、使用することができない。加えて、同一もしくは近接した点で取得されたコンテンツ同士は、重なって配置されるため見辛くなってしまう。また、撮像者が移動せずに撮影した場合は、写真に付与されるＧＰＳから得られた位置情報は、変化がない。撮影時刻を用いてレイアウトを行うだけでは、実世界の被写体の位置姿勢を反映できないことからくる、閲覧者の閲覧時の違和感はなくならない。
【０００６】
電子データ上の対応する座標にコンテンツを配置する手法や、サービスが知られているが、こちらにも重なって配置されると見辛くなるという問題がある。また特許文献３に記載の手法では、写真が連続して撮影されたかどうかを考慮することができるが、それらの写真の位置関係を考慮してレイアウトしてはいない。被写体間の実世界における撮像装置に対する位置姿勢とは違った配置になってしまい、鑑賞者に違和感を与えてしまう可能性がある。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、カメラ付属のセンサが記録する、実世界の位置に関する撮像装置自身が測定した情報を抽出する。その情報を比較し、レイアウト対象となっているコンテンツに含まれる、被写体などの対象物の、実世界における相対的な位置姿勢の推定を行う。そしてその結果を基に、コンテンツの配置位置の決定を可能とする。これにより、コンテンツが保持している情報から、紙のアルバムなど２次元の平面に、実世界における撮像装置に対する被写体の相対的な配置をアルバム上に直感的に認識しやすく表示することができる。本発明は、鑑賞者に、各コンテンツ中の被写体間の位置姿勢の矛盾や、自然に視線を運べないことによる違和感等を与えることを減らす情報表示装置及びその方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る被写体を撮像装置が撮像した複数のコンテンツを所定の領域に表示する情報表示装置は、以下の構成を備える。即ち、前記撮像装置が測定したコンテンツ属性情報を取得する取得手段と、前記コンテンツ属性情報から前記撮像された被写体の前記撮像装置に対する位置姿勢の判定を行う位置姿勢判定手段と、前記位置姿勢判定手段による判定結果に基づいて前記所定の領域内でのコンテンツの配置位置を決定するコンテンツ配置位置決定手段。
【発明の効果】
【０００９】
本発明によれば、撮像装置が測定したコンテンツ属性情報を基に複数のコンテンツ中の被写体の実世界における撮像装置に対する位置姿勢を判定し、コンテンツの配置位置を決定することにより、実世界の被写体の位置姿勢を直感的に分かりやすく認識することができる。また、鑑賞者に各コンテンツ中の被写体の位置姿勢の矛盾や、自然に視線を運べないことからくる違和感等を与えることを減らせる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態で想定する現実世界と、その場面を撮影した写真およびレイアウトの一例を示した図である。
【図２】第１の実施形態のレイアウト処理装置のハードウェア構成を示すブロック図である。
【図３】第１の実施形態のレイアウト処理装置の機能構成を示すブロック図である。
【図４】第１の実施形態の処理フローチャートである。
【図５】第１の実施形態のコンテンツの属性情報比較の処理の詳細を示した処理フローチャートである。
【図６】第１の実施形態で用いるコンテンツ群の一例を示した図である。
【図７】第２の実施形態の適用例と適用結果の一例を示した図である。
【図８】第３の実施形態で想定する現実世界、適用例および適用結果の一例を示した図である。
【図９】第４の実施形態で想定する現実世界と、その場面を撮影した写真、適用例および適用結果の一例を示した図である。
【図１０】第５の実施形態の適用結果の一例を示した図である。
【図１１】第６の実施形態で想定する現実世界と、その場面を撮影した写真、適用例および適用結果の一例を示した図である。
【図１２】第７の実施形態で想定する現実世界と、その場面を撮影した写真および適用結果の一例を示した図である。
【図１３】第８の実施形態で想定する現実世界と、その場面を撮影した写真および適用結果の一例を示した図である。
【図１４】第９の実施形態で想定する現実世界と、その場面を撮影した写真および適用結果の一例を示した図である。
【発明を実施するための形態】
【００１１】
＜実施形態１＞
まず、第１の実施形態について説明する。本実施形態では、図１（ａ）の実世界１０１で示すような右から左へ動いている被写体を連続で撮影した、図１（ｂ）に示す写真１０２〜１０５のレイアウトについて考える。ここで撮影された順序を写真１０２、写真１０３、写真１０４、写真１０５であるとした場合に、レイアウトした例が図１（ｃ）のレイアウト１０６、１０７である。まず左開きのアルバムに時系列順に並べると、レイアウト１０６のように左から右に順番に写真が並んだレイアウトになる。このような形になってしまうと、実際に走っていた方向とは逆向きに写真が並んでしまい、鑑賞者に違和感等を与えてしまう。そこで本実施形態では、各写真間の位置関係を撮像装置が測定した情報を用いて推測、判定し、レイアウト１０７のようにレイアウトを行う。このレイアウトであれば、走っていた方向と同じ向きに写真が並び、見やすいものとなったといえる。
【００１２】
次に、実施形態１のレイアウト処理装置の構成を図２に示す。このレイアウト処理は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、入力装置２０２、出力装置２０３、記憶装置２０４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０５、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０６、ＢＵＳ２０７からなる。これらの働きについて説明する。まずＣＰＵ２０１は、各種データ処理のための論理演算、判断等を行い、またＢＵＳ２０７で接続されている各構成要素の制御を行う。次に入力装置２０２は、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、カーソル移動を指示するカーソル移動キー等のような、各種の機能キーを備えたキーボードが接続されている。また、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）上で画面の制御可能位置を指し示し、機能の選択指示などを行うポインティング機器、例えばマウスやスティックポインタ等が接続されている。出力装置２０３は、液晶パネル等の各種表示装置である。記憶装置２０４には、入出力データや処理プログラム等、各種情報が格納される。これらのデータ及びプログラムを格納する記憶媒体としては、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等を用いることができる。ＲＡＭ２０５は、各構成要素からの各種データを一時的に記憶する際に用いられる。ＲＯＭ２０６は、本実施形態で実行される処理プログラム等の制御プログラムを記憶する。これら全ての構成要素はＢＵＳ２０７で接続されている。
【００１３】
また、実施形態１のレイアウト処理装置の機能構成を図３に示す。本レイアウト処理装置は、コンテンツ属性情報取得部３０１、コンテンツ属性情報比較部３０２、位置姿勢推定部３０３、コンテンツ配置位置決定部３０４、からなる。本実施形態で、コンテンツとは写真を意味する。位置姿勢推定部３０３は、位置姿勢判定部と同義である。
【００１４】
これらの働きについて、全体の流れを示した図４と合わせて説明する。まず、コンテンツの属性情報取得ステップＳ４０１においてコンテンツ属性情報取得部３０１を用い、記憶装置２０４から読み出されたコンテンツ属性のデータを取得し、ＲＡＭ２０５に設定する。なお、この際取得されるデータは今後のステップで使用されるデータが含まれていればよく、それ以外のデータについては含まれていてもいなくても構わない。
【００１５】
次に、レイアウトするコンテンツの選択ステップＳ４０２において、レイアウト対象とするコンテンツの選択を行う。ここで選択方法としては、先程取得した属性情報などを用いて自動で選択する形でも、手動で選択する形でもよい。
自動で選択する場合に使用する属性情報と選択方法としては、例えば、撮影場所を用いて位置が所定の距離以内のものを選んだり、撮影時刻を用いて時刻が所定の間隔以内のものを選んだりする方法が挙げられる。また顔の位置や形状の類似した物体の位置を基に、コンテンツの構図が似通ったものを選択するという方法もひとつの例である。
手動で選択する場合には、使用するコンテンツを単純にクリックなどで選択する以外にも、スイッチボタンなどを用意しておき、それを用いて選択を行うといった手段も考えられる。なお、手動で使用コンテンツを選択する場合には、コンテンツ属性情報の取得はこの後でも構わない。
【００１６】
次に、コンテンツの属性情報比較ステップＳ４０３においてコンテンツ属性情報比較部３０２を使用して、取得された情報の比較を行い、本実施形態による被写体の相対位置推定を行うかどうか、行う場合どのデータを用いるかを決定する。比較後には、実世界における撮像装置に対する被写体の位置姿勢推定ステップＳ４０４において位置姿勢推定部３０３を用い、各コンテンツ中の被写体間の現実世界における撮像装置に対する位置姿勢を推定する。
そして、この推定された位置姿勢を基に、コンテンツ配置位置決定ステップＳ４０５においてコンテンツ配置位置決定部３０４を用い、各コンテンツのアルバム上でのレイアウト位置を決定する。
【００１７】
最後に、コンテンツ配置ステップＳ４０６において、ステップＳ４０５において決定した位置に各コンテンツをレイアウトする。ここまでの各種処理はＣＰＵ２０１で行われる。これにより、レイアウト１０７のような各コンテンツ中の被写体間の現実世界での位置姿勢を再現したレイアウトをアルバム上に行うことができる。
【００１８】
コンテンツの属性情報比較ステップＳ４０３については、図５を用いてその詳細を説明する。まずステップＳ５０１において、対象としているコンテンツが同一の位置かつ時点で撮影されたものかどうかを確認する。これは、本実施形態の目的が特定の場所から観察された、つまり撮影者が撮影した際に見た現実世界の相対位置姿勢の再現だからである。この確認には、まず位置は、例えばＧＰＳによって付与された緯度経度情報を利用したり、もしくは手動で入力された場所の情報を使用したりすればよい。ただし、センサの計測誤差を考慮に入れる必要があると考えられるので、所定の誤差までは同一の位置とみなす。また時刻の場合には、撮影時に付与される時刻や手動で入力された時刻を使用し、撮影時刻の差が所定の範囲内であれば、同一時点で撮影されたとすればよい。なお、同一位置もしくは時点で撮影されたものではないと判断された場合には、本実施形態の適用は行わず、時系列順に配置する等、他のルールに従って各コンテンツのレイアウトを行うこととする。
【００１９】
次に、各コンテンツの取得情報比較ステップＳ５０２を行い、実際にレイアウトを決定するために使用する情報の選定を行う。これは、ステップＳ５０３における位置姿勢を推定できる情報があるかの判断で決定する。この判断を行う処理の具体例としては、コンテンツ間で値に差があるか、あるいは値が０ではない情報が存在するかといったものが挙げられる。このような処理を行う理由は以下のとおりである。まず前者は、位置に関連する情報の値に差があれば、それは異なる位置を撮影していることを示していると判断することができるためである。また後者は、情報の種類によっては異なる位置を撮影していても同じ値を示すことがある（例：カメラの角速度）ため、その状態でも位置の違いを検出できるための対策である。異なる位置を撮影していれば、例え値が同一であってもその値は０ではないと考えられるため、このようなルールを用いる。
【００２０】
上記のステップにより、位置関係を推定できる情報があるという条件を満たしていればレイアウト決定のための使用情報の選定をステップＳ５０４で行う。ただし、ステップＳ５０３の条件を満たさない場合には、ステップＳ５０２と同じく本実施形態の適用は行わない。また、場合によっては２つ以上の情報を使用する可能性もある。そして、この推定情報を基に被写体の実世界上での位置姿勢を推定する。これは、使用情報が位置を示すものであるため、その値の大小、正負等を見ることにより可能である。この推定された位置姿勢情報をコンテンツ配置決定部に渡すことにより、アルバム上のレイアウトを決定することができる。ここで、具体例として図６にある写真６０１〜６０４をレイアウトする場合を考える。これらの写真には、図に示すように撮影時の時刻、緯度経度、カメラの角速度（右方向が正とする）が属性として付随されている。なおこれらの情報は、緯度経度ならばＧＰＳ、角速度ならジャイロスコープなどのセンサを用いて自動的に付与してもよいし、撮影後に手動で付与してもよい。これらの属性情報が付随している写真に対して、まずステップＳ４０１において属性情報、つまり撮影時刻、緯度経度、角速度を取得する。
【００２１】
次に、レイアウトする写真を選択する。今回は撮影時刻が所定の間隔内であるとして、写真６０１〜６０４全てを選択する。この選択された写真について、取得された情報をステップＳ４０３で比較する。この処理の詳細を見ていくと、まずステップＳ５０１において緯度経度情報が比較される。今回使用する４枚の写真のうち、写真６０４以外の３枚は全て緯度経度が同じ値である。また写真６０４についても０．０２秒程度のズレでしかないため、誤差であると考え、この結果４枚とも同一の場所から撮影されたと判断する（みなす）。次にステップＳ５０２において、他の情報の比較、ここでは角速度の比較を行う。その結果、４枚の角速度に差がある、つまりコンテンツ間で差があるため、先述の通りステップＳ５０３では位置関係を推定できる情報が存在すると判断され、ステップＳ５０４へと向かう。なおここで４枚の角速度に差がなかった場合には、角速度が０でなければ、値が０ではない情報があるとし、ステップＳ５０３では位置関係を推定できる情報が存在すると判断され、Ｓ５０４へと向かう。つまり角速度は一定でも構わないということである。使用情報の選定ステップＳ５０４では、差のあった角速度を使用することを決定し、ステップＳ４０３を終了する。次に実世界における撮像装置に対する被写体の位置姿勢推定ステップＳ４０４では、ステップＳ５０４で使用することを決定した角速度と、各写真の撮影時刻を用いて、相対位置の推定を行う。はじめに、角速度は４枚とも負の値をとっていることから、各写真において被写体は左方向へ移動していると推測される。また、撮影時刻から４枚は６０４，６０３，６０２，６０１の順で撮影されたことがわかるため、被写体は撮影者から見て６０４のときに一番右に存在し、そこから６０３、６０２、６０１の順に左へ移動していたと推測される。この推測結果を基に、コンテンツ配置位置決定ステップＳ４０５において、ページの右から左に向かって６０４、６０３、６０２、６０１の順にレイアウトすることを決定し、コンテンツ配置ステップＳ４０６で実際にレイアウトする。その結果、レイアウト１０７のようなレイアウトが生成される。
【００２２】
この例では角速度を用いて進行方向の変化を検出しているが、他のセンサ情報を用いてもかまわない。例えば、電子コンパスを用いて撮影方位を検出し、その情報を用いて、もしくは角速度と電子コンパスを用いた撮影方位を併用して進行方向の変化を検出することもできる。
【００２３】
以上により、鑑賞者に各コンテンツ中の被写体間の位置姿勢の矛盾や、自然に視線を運べないことからくる違和感等を与えることを減らすことができる。
【００２４】
＜実施形態２＞
次に第２の実施形態について説明する。第１の実施形態では動いている被写体の写真のレイアウトについて考えたが、ここでは他のページとの関係性を考慮した例について説明する。例えば、図７のようにアルバムのページが見開きページ７０１、７０２と続いているアルバムについて考える。このアルバム中で見開きページ７０２の右ページに実施形態１で示したような右から左へ見るように並べるレイアウトが存在し、残りのページは全て左から右へ見るようにレイアウトされていたとする。この場合、見開きページ７０２の右ページの見え方が異なっているため、このページに差し掛かったとき鑑賞者に戸惑いを与えてしまい、かえって見辛くなる可能性がある。
【００２５】
このような問題を防ぐため、コンテンツ配置位置決定部３０４にコンテンツ配置部を追加し、これらを用いて写真の配置を工夫してレイアウトした者が意図した順番に写真を自然に見ることができるようにする。例えばページ７０３のように、走っている方向に向かって写真を上から下に斜めに配置したり、写真群の近傍に見る順番を示唆した矢印などを置いたりすることにより、この順に視線を誘導することができ、違和感なく写真を見ることができる。この際、矢印の向きや斜めにする方向は位置姿勢推定部３０３によって推定された被写体の移動方向を基に決定される。この場合には、被写体の移動方向は実施形態１と同様に推定することができるので、矢印の向きはこのことから左向きに決定できる。また、左向きに上から下へと写真を斜めに配置する。同時に、向きを決めた矢印を写真に沿うように斜めに配置する。このようにして、ページ７０３に示すレイアウトが生成される。言うまでもなく、斜めに配置することや矢印に限らず、視線を意図通りに誘導できる工夫であれば方法は問わない。
【００２６】
以上により、各コンテンツを鑑賞する者に対して、他のページと配置ルールが異なっていることや、自然に視線を運べないことからくる違和感等を与えることがなくなる。
【００２７】
＜実施形態３＞
次に第３の実施形態について説明する。ここでは第１、第２の実施形態と同じく、動いている被写体の写真のレイアウトを例にする。特に写真の数が非常に多い例について説明する。例えば、図８（ａ）の実世界８０１に示した、約１００ｍに渡って動いている被写体を撮影した場合を考える。第１、２の実施形態と同様にこの被写体を連続して撮影すると、その撮影枚数は膨大なものになってしまう。図８（ｂ）は実際にレイアウトした一例であるが、レイアウト８０２のように１列に並べようとすると途中でページの端に到達してしまう可能性がある。
【００２８】
そこでコンテンツ配置位置決定部３０４にコンテンツ配置部を追加し、これらを用い、１列もしくは１行にコンテンツが収まりきらない場合は、複数列もしくは行に渡ってコンテンツを配置する。例えば実世界８０１の場合には、レイアウト８０３と８０４とに示すように、まず右から左に並べていき、１列に入りきらなくなったらその下の列に同じく右から左に続けて並べていくレイアウトにする。その際の並べ方として、レイアウト８０３のように見開きの２ページのうち、片方のページのみに上から下へと順番に並べていく方法や、レイアウト８０４のように見開きの２ページを使用して順番に並べていく方法が考えられる。これにより、違和感なく写真を見ることができる。言うまでもなく、列方向だけではなく、例えば上から下に動くものを大量に撮影した場合には、行方向に同様に並べることもできる。また、斜め方向に動いているものならば、斜め方向に並べることも可能である。
【００２９】
以上により、鑑賞者に被写体間の位置姿勢の矛盾や、自然に視線を運べないことからくる違和感等を与えることなく大量の写真を配置することができるようになる。
【００３０】
＜実施形態４＞
次に第４の実施形態について説明する。ここでは、第１〜第３の実施形態と同じく動いている被写体の写真のレイアウトを例にする。特に、被写体の進行方向が途中で変化する例について説明する。例えば図９（ａ）の実世界９０１のように、最初は右から左に走り、途中で進行方向を逆にした人物を撮影し、図９（ｂ）に示す画像９０２〜９０６のような画像群が得られたとする。この画像群をレイアウトした一例が図９（ｃ）である。ここでもし、第１〜３の実施形態と同じく同一方向に画像を並べ続けるとレイアウト９０７のようなレイアウトとなり、鑑賞者に違和感を与えてしまう。
【００３１】
そこで、位置姿勢推定部３０３を用いて各画像における進行方向を推定して進行方向の変化を検出し、コンテンツ配置位置決定部３０４を用い進行方向の変化に応じた画像の配置位置を決定しその位置へとレイアウトする。例えば実世界９０１を撮影した画像９０２〜９０６をレイアウトする際には、レイアウト９０８のようになる。これは、まず実世界における撮像装置に対する被写体の相対位置姿勢推定ステップＳ４０４において、位置姿勢推定部３０３を用いて画像９０６と画像９０５に写っている被写体は角速度を基に右から左へ移動していると推定できる。同様に、画像９０２〜９０４に写っている被写体は角速度を基に、同じく左から右へ移動していると推定できる。
【００３２】
次にコンテンツ配置位置決定ステップＳ４０５においてコンテンツ配置位置決定部３０４を用い、進行方向が変わる画像９０４から列をずらしながら左から右へと画像を並べるように決定する。そしてコンテンツ配置ステップＳ４０６においてステップＳ４０５で決定したとおりに画像９０２〜９０６をレイアウトし、レイアウト９０８が完成する。以上により、鑑賞者に被写体の進行方向を示しつつ違和感等を与えることがなくなる。
【００３３】
＜実施形態５＞
次に、第５の実施形態について説明する。ここでは第１〜第４の実施形態と同じく動いている被写体の写真のレイアウトを例にする。特に、各コンテンツに対してその動きを強調する特殊効果をつける例について説明する。
【００３４】
例えば第４の実施形態と同じく、実世界９０１のシーンを撮影した画像９０２〜９０６の画像群をレイアウトすることを考える。レイアウトされる位置はレイアウト９０８と同じになるが、ここではコンテンツ配置位置決定部３０４にコンテンツ配置部を追加し、クロッピングを行う。これは、各画像に対してコンテンツ属性情報取得部３０１で得られた角速度及び位置姿勢推定部３０３で推定された進行方向を基に、進行方向と角速度に応じて行う。例えば、左方向に他のタイミングよりも比較的早く進んでいる画像に対しては、左方向に大きく傾けて、右方向に比較的遅く進んでいる画像に対しては右方向に小さく傾けてクロッピングする。これにより生成されるレイアウトが図１０のレイアウト１００１である。このような特殊効果を付加することにより、第２の実施形態のように視線を誘導することもできる。また強調する効果としてはクロッピングに限ることはない。例えば画像にブレを与える、効果線をつけるといったような方法も考えられる。
【００３５】
以上により、鑑賞者に被写体の進行方向などを示唆し、視線を誘導しやすくすることができるようになる。
【００３６】
＜実施形態６＞
次に、第６の実施形態について説明する。ここでは図１１（ａ）の実世界１１０１に示すような、被写体が水平方向に離れた位置にいる場面を撮影した場合について説明する。実世界１１０１の運動会で行われる騎馬戦の場面を撮影する場合、中央部は被写体がない場合が多い。従って、カメラを動かしながら双方の騎馬を連続で撮影し、それらを使ってパノラマ写真を生成すると、被写体が写っていない意味のない領域が大半になるため、適当ではない。そこで、図１１（ｂ）に示す別々に撮った２枚の写真をレイアウトすることを考える。
【００３７】
実際にレイアウトを行った一例が図１１（ｃ）である。撮影された２枚の画像１１０２と画像１１０３の撮影時刻から、時系列順に並べるとレイアウト１１０４ように現実世界とは逆の配置になり、さらにお互いが向き合わず背中合わせになってしまい、大きな違和感を与えてしまう。そこでここでは、電子コンパスによって記録された撮影方位の情報を利用することとする。
【００３８】
具体的な処理の流れは、図４に示すものと同じである。まずステップＳ４０１で、コンテンツ属性情報取得部３０１を用い、コンテンツの属性情報である撮影方位と撮影時間を取得する。ステップＳ４０２ではこの２つのコンテンツが共に選択され、ステップＳ４０３でその中身が比較される。ここでは撮影方位に差があるため、撮影方位を情報として使うことが決定される。次にステップＳ４０４で実世界における相対位置姿勢を推定するが、これは画像１１０２が南東、画像１１０３が東を向いていることから、まず撮影者はその中間の東南東を正面としていると判断する。その判断を基に画像１１０２は撮影者から見て左、画像１１０３は右にあると推定する。この結果を基にステップＳ４０５では画像１１０２をページの左、画像１１０３をページの右に配置することを決定する。そして、ステップＳ４０６で実際にレイアウトを行いレイアウト１１０５が生成される。この場合は、撮影者が観察した現実世界と同じ配置、つまり現実世界に対して自然な配置となり、鑑賞者に違和感を与えることがない。
【００３９】
ここでは被写体が離れた位置にあるものを対象としたが、例えば１つの被写体を水平方向に分割して撮影した場合にも適用は可能である。また、位置関係を推定するため電子コンパスの情報を利用しているが、水平方向の位置関係が推測できれば他の情報を用いても構わない。
【００４０】
以上により、撮影者が体験したままの被写体の位置関係を再現することができ、鑑賞者にレイアウトに関する違和感等を与えることがなくなる。
【００４１】
＜実施形態７＞
次に、第７の実施形態について説明する。ここでは図１２（ａ）の実世界１２０１に示すような、被写体を垂直に分割して撮影した場合について説明する。図１２（ｂ）が撮影された画像であり、図１２（ｃ）がそれらをレイアウトした一例である。第６の実施形態と同じく写真１２０２と１２０３とを撮影された時刻から時系列順に並べるとレイアウト１２０４ように現実世界とは逆の配置になってしまう。これは被写体の実際の位置姿勢を知らない者でも明らかに現実世界とは違うことがわかり、違和感を与えてしまうという問題が発生する。この場合、撮影者から見て被写体が存在する方角はほとんど変わらないので、電子コンパスを用いた実世界での位置判断を行うことは困難である。そこで、加速度センサを用いて撮影時のカメラと基準面との角度を取得し、レイアウト決定のための情報として利用する。
【００４２】
具体的な処理の流れは図４に示すものと同じである。まずステップＳ４０１でコンテンツ属性情報取得部３０１を用いコンテンツの属性情報である撮影時のあおり角度と撮影時間を取得する。ステップＳ４０２ではこの２つのコンテンツが共に選択され、ステップＳ４０３でその中身が比較される。ここではあおり角度に差があるため、あおり角度を情報として使うことが決定される。次にステップＳ４０４で実世界における撮像装置に対する相対位置姿勢を推定するが、これは画像１２０２と画像１２０３のあおり角度から画像１２０２は上、画像１２０３は下にあると判断する。この結果を基にステップＳ４０５では画像１２０２をページの上、画像１２０３をページの下に配置することを決定し、ステップＳ４０６で実際にレイアウトを行いレイアウト１２０５が生成される。この場合は撮影者が観察した現実世界と同じ配置、つまり現実世界に対して自然な配置となり、鑑賞者に違和感を与えることがない。
【００４３】
ここでは被写体を分割して撮影した場合を対象としたが、垂直方向に離れた位置にあるものを対象とした場合にも適用は可能である。また、位置関係を推定するため加速度センサから得られる情報を利用しているが、垂直方向の位置関係が推測できれば、例えばジャイロスコープなど他の情報を用いても構わない。
【００４４】
以上により、撮影者が体験したままの被写体の位置姿勢を再現することができ、鑑賞者にレイアウトに関する違和感等を与えることがなくなる。
【００４５】
＜実施形態８＞
次に、第８の実施形態について説明する。ここでは図１３（ａ）の実世界１３０１に示すような、被写体が向かい合っている場合について説明する。図１３（ｂ）が撮影された画像であり、図１３（ｃ）がそれらをレイアウトした一例である。
【００４６】
第６の実施形態と同じく、２つの被写体を撮影した写真１３０２、１３０３を配置しようとすると、その撮影方位が１８０度異なっているために、どこが撮影者にとっての正面であるかを推定することができない。従って、写真１３０２と１３０３のどちらを右に、どちらを左に配置すればいいかを決定する事ができなくなる。そこでこの問題を解決するために、２枚だけでなく３枚以上の写真を使用することを考える。３枚以上あれば、撮影者は写真が多くあるほうを向いていたと推定することができる。
【００４７】
この場合には、写真１３０２、１３０３以外にその間にある看板を撮った写真１３０４を使用する。具体的な処理方法は第６の実施形態とほぼ同じであるが、ステップＳ４０４において位置姿勢推定部３０３を用いて３枚の写真の撮影方位を比較することにより、撮影者は北を向いていたと推定することができる。従って、これを基にコンテンツ配置位置決定部３０４を用いてレイアウト１３０５のように正確な位置関係を推定し、この関係を保ったレイアウトを行うことが可能となる。また、写真１３０４はあくまで位置関係を推定するために使用した写真であると考え、写真１３０４をレイアウトしないということも可能である。
ここでは向かい合っている２枚の写真を配置する場合を対象とする。しかし、使用する枚数が多いほど推定精度は向上すると考えられるので、必ずしも向かい合っていなくても適用は可能である。
【００４８】
以上により、撮影者が体験したままの被写体の位置姿勢をより精度よく再現することができ、鑑賞者にレイアウトに関する違和感等を与えることがなくなる。
【００４９】
＜実施形態９＞
次に、第９の実施形態について説明する。ここでは図１４（ａ）の実世界１４０１に示すような、動いている被写体を正面から撮影した場合について説明する。図１４（ｂ）に示す写真１４０２〜１４０５が撮影された画像であり、図１４（ｃ）のレイアウト１４０６がそれらをレイアウトした一例である。この場合、被写体は撮影者から見て奥行き方向に移動している。この場合、電子コンパスや加速度センサでは相対的な位置関係の推定が困難である。そこで、コンテンツ毎の焦点距離をレイアウト決定のための情報として利用する。具体的な処理の流れは図４に示すものと同じである。
【００５０】
まずステップＳ４０１で、コンテンツ属性情報取得部３０１を用い、コンテンツの属性情報である焦点距離と撮影時間を取得する。ステップＳ４０２ではこの２つのコンテンツが共に選択され、ステップＳ４０３でその中身が比較される。ここでは焦点距離に差があるため、焦点距離を情報として使うことが決定される。次にステップＳ４０４で実世界における撮像装置に対する相対位置姿勢を推定するが、これは焦点距離が小さいものほど撮影者から被写体までの距離が近いと考える。つまり図１４（ｂ）の場合、写真１４０５から写真１４０２に向けて被写体が近づいてきていると推定される。この結果を基にステップＳ４０５でレイアウト位置を決定する。ここで実世界では、被写体が撮影者に近いほど撮影者には被写体が大きく見えるので、レイアウトでもこの大きさの関係を再現する。つまり、被写体が遠くにいると推定されたコンテンツほどサイズを小さく、近くにいると推定されたコンテンツほどサイズを大きくする。同時に、ページの上方に、遠くにいると推定されたコンテンツを配置し、ページの下方に、近くにいると推定されたコンテンツを配置するように決定する。そしてステップＳ４０６でこの通りにレイアウトを行いレイアウト１４０６が生成される。
【００５１】
ここでは紙のアルバムなど、２次元平面をレイアウトの対象としているが、３次元ディスプレイなど３次元の表示装置にも、相対的な位置関係を再現する形でレイアウトすることが可能である。また、位置関係を推定するため焦点距離を利用しているが、奥行き方向の位置関係が推測できれば、他の情報を用いても構わない。例えばステレオカメラを利用した場合や、単眼カメラを２台以上利用した場合、カメラから被写体までの距離情報を得ることができるため、この情報を利用しても本実施形態を行うことができる。
【００５２】
＜その他の実施形態＞
その他の実施形態として、以下のものがあげられる。
第１〜第９の実施形態では、基本的に１つのセンサの情報を基に相対位置推定を行う例について説明した。しかし２つ以上のセンサ情報を組み合わせて相対位置推定を行っても構わない。一例として、地上にいる人間と空を飛んでいる鳥が被写体となっている場合を考える。この場合、２つの被写体の位置関係は斜めになっている。従って電子コンパスや加速度センサだけではその相対的な位置関係を推定することはできない。しかし、電子コンパスと加速度センサの両方の情報を用いれば、地上にいる人間との相対位置関係を推定し、レイアウトで再現することが可能である。つまり、上下方向にも左右方向にも相対的な位置関係を推定することができるということになる。
【００５３】
以上により、撮影者が体験したままの被写体の位置姿勢を再現することができ、鑑賞者にレイアウトに関する違和感等を与えることがなくなる。
【００５４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、文書内にコンテンツのレイアウトを行う情報表示装置、方法及びプログラムに関するものである。
【背景技術】
【０００２】
電子データ上の文書に対して、位置情報などのコンテンツに付随したメタデータ情報を考慮してレイアウトを自動で行う技術が知られている。
【０００３】
具体的な例として、まず、静止画像もしくは動画像を、撮影時に取得された撮影位置・方位・角度を基に、３次元の立体データ上の対応する点に表示させるものが知られている（特許文献１）。また別の例として、写真に記録されたＧＰＳ情報を基に、ＧＰＳデータに対応する座標情報が記録されている台紙データ上の所定のポイントに写真をレイアウトするものが知られている（特許文献２）。また写真が連続して撮られているかといった情報を使用している場合もある。これは写真をレイアウトした結果、設定したページ総数を越えてしまう等してレイアウトの変更が必要な場合、写真をグルーピングし、それらのレイアウトを固定したまま、他の写真のレイアウト修正を行うものである（特許文献３）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１２２６３８号公報
【特許文献２】特開２００２−３２９１９１号公報
【特許文献３】特開２０１０−１４７５８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の手法では、紙のアルバムなど２次元平面に配置する場合に、そのまま適用することができない。特許文献２に記載の手法の場合には、２次元平面への配置に適用することはできるが、台紙データに座標情報が記録されていないと、使用することができない。加えて、同一もしくは近接した点で取得されたコンテンツ同士は、重なって配置されるため見辛くなってしまう。また、撮像者が移動せずに撮影した場合は、写真に付与されるＧＰＳから得られた位置情報は、変化がない。撮影時刻を用いてレイアウトを行うだけでは、実世界の被写体の位置姿勢を反映できないことからくる、閲覧者の閲覧時の違和感はなくならない。
【０００６】
電子データ上の対応する座標にコンテンツを配置する手法や、サービスが知られているが、こちらにも重なって配置されると見辛くなるという問題がある。また特許文献３に記載の手法では、写真が連続して撮影されたかどうかを考慮することができるが、それらの写真の位置関係を考慮してレイアウトしてはいない。被写体間の実世界における撮像装置に対する位置姿勢とは違った配置になってしまい、鑑賞者に違和感を与えてしまう可能性がある。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、カメラ付属のセンサが記録する、実世界の位置に関する撮像装置自身が測定した情報を抽出する。その情報を比較し、レイアウト対象となっているコンテンツに含まれる、被写体などの対象物の、実世界における相対的な位置姿勢の推定を行う。そしてその結果を基に、コンテンツの配置位置の決定を可能とする。これにより、コンテンツが保持している情報から、紙のアルバムなど２次元の平面に、実世界における撮像装置に対する被写体の相対的な配置をアルバム上に直感的に認識しやすく表示することができる。本発明は、鑑賞者に、各コンテンツ中の被写体間の位置姿勢の矛盾や、自然に視線を運べないことによる違和感等を与えることを減らす情報表示装置及びその方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る被写体を撮像装置が撮像した複数のコンテンツを所定の領域に表示する情報表示装置は、以下の構成を備える。即ち、前記撮像装置が測定したコンテンツ属性情報を取得する取得手段と、前記コンテンツ属性情報から前記撮像された被写体の前記撮像装置に対する位置姿勢の判定を行う位置姿勢判定手段と、前記位置姿勢判定手段による判定結果に基づいて前記所定の領域内でのコンテンツの配置位置を決定するコンテンツ配置位置決定手段。
【発明の効果】
【０００９】
本発明によれば、撮像装置が測定したコンテンツ属性情報を基に複数のコンテンツ中の被写体の実世界における撮像装置に対する位置姿勢を判定し、コンテンツの配置位置を決定することにより、実世界の被写体の位置姿勢を直感的に分かりやすく認識することができる。また、鑑賞者に各コンテンツ中の被写体の位置姿勢の矛盾や、自然に視線を運べないことからくる違和感等を与えることを減らせる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態で想定する現実世界と、その場面を撮影した写真およびレイアウトの一例を示した図である。
【図２】第１の実施形態のレイアウト処理装置のハードウェア構成を示すブロック図である。
【図３】第１の実施形態のレイアウト処理装置の機能構成を示すブロック図である。
【図４】第１の実施形態の処理フローチャートである。
【図５】第１の実施形態のコンテンツの属性情報比較の処理の詳細を示した処理フローチャートである。
【図６】第１の実施形態で用いるコンテンツ群の一例を示した図である。
【図７】第２の実施形態の適用例と適用結果の一例を示した図である。
【図８】第３の実施形態で想定する現実世界、適用例および適用結果の一例を示した図である。
【図９】第４の実施形態で想定する現実世界と、その場面を撮影した写真、適用例および適用結果の一例を示した図である。
【図１０】第５の実施形態の適用結果の一例を示した図である。
【図１１】第６の実施形態で想定する現実世界と、その場面を撮影した写真、適用例および適用結果の一例を示した図である。
【図１２】第７の実施形態で想定する現実世界と、その場面を撮影した写真および適用結果の一例を示した図である。
【図１３】第８の実施形態で想定する現実世界と、その場面を撮影した写真および適用結果の一例を示した図である。
【図１４】第９の実施形態で想定する現実世界と、その場面を撮影した写真および適用結果の一例を示した図である。
【発明を実施するための形態】
【００１１】
＜実施形態１＞
まず、第１の実施形態について説明する。本実施形態では、図１（ａ）の実世界１０１で示すような右から左へ動いている被写体を連続で撮影した、図１（ｂ）に示す写真１０２〜１０５のレイアウトについて考える。ここで撮影された順序を写真１０２、写真１０３、写真１０４、写真１０５であるとした場合に、レイアウトした例が図１（ｃ）のレイアウト１０６、１０７である。まず左開きのアルバムに時系列順に並べると、レイアウト１０６のように左から右に順番に写真が並んだレイアウトになる。このような形になってしまうと、実際に走っていた方向とは逆向きに写真が並んでしまい、鑑賞者に違和感等を与えてしまう。そこで本実施形態では、各写真間の位置関係を撮像装置が測定した情報を用いて推測、判定し、レイアウト１０７のようにレイアウトを行う。このレイアウトであれば、走っていた方向と同じ向きに写真が並び、見やすいものとなったといえる。
【００１２】
次に、実施形態１のレイアウト処理装置の構成を図２に示す。このレイアウト処理は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、入力装置２０２、出力装置２０３、記憶装置２０４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０５、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０６、ＢＵＳ２０７からなる。これらの働きについて説明する。まずＣＰＵ２０１は、各種データ処理のための論理演算、判断等を行い、またＢＵＳ２０７で接続されている各構成要素の制御を行う。次に入力装置２０２は、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、カーソル移動を指示するカーソル移動キー等のような、各種の機能キーを備えたキーボードが接続されている。また、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）上で画面の制御可能位置を指し示し、機能の選択指示などを行うポインティング機器、例えばマウスやスティックポインタ等が接続されている。出力装置２０３は、液晶パネル等の各種表示装置である。記憶装置２０４には、入出力データや処理プログラム等、各種情報が格納される。これらのデータ及びプログラムを格納する記憶媒体としては、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等を用いることができる。ＲＡＭ２０５は、各構成要素からの各種データを一時的に記憶する際に用いられる。ＲＯＭ２０６は、本実施形態で実行される処理プログラム等の制御プログラムを記憶する。これら全ての構成要素はＢＵＳ２０７で接続されている。
【００１３】
また、実施形態１のレイアウト処理装置の機能構成を図３に示す。本レイアウト処理装置は、コンテンツ属性情報取得部３０１、コンテンツ属性情報比較部３０２、位置姿勢推定部３０３、コンテンツ配置位置決定部３０４、からなる。本実施形態で、コンテンツとは写真を意味する。位置姿勢推定部３０３は、位置姿勢判定部と同義である。
【００１４】
これらの働きについて、全体の流れを示した図４と合わせて説明する。まず、コンテンツの属性情報取得ステップＳ４０１においてコンテンツ属性情報取得部３０１を用い、記憶装置２０４から読み出されたコンテンツ属性のデータを取得し、ＲＡＭ２０５に設定する。なお、この際取得されるデータは今後のステップで使用されるデータが含まれていればよく、それ以外のデータについては含まれていてもいなくても構わない。
【００１５】
次に、レイアウトするコンテンツの選択ステップＳ４０２において、レイアウト対象とするコンテンツの選択を行う。ここで選択方法としては、先程取得した属性情報などを用いて自動で選択する形でも、手動で選択する形でもよい。
自動で選択する場合に使用する属性情報と選択方法としては、例えば、撮影場所を用いて位置が所定の距離以内のものを選んだり、撮影時刻を用いて時刻が所定の間隔以内のものを選んだりする方法が挙げられる。また顔の位置や形状の類似した物体の位置を基に、コンテンツの構図が似通ったものを選択するという方法もひとつの例である。
手動で選択する場合には、使用するコンテンツを単純にクリックなどで選択する以外にも、スイッチボタンなどを用意しておき、それを用いて選択を行うといった手段も考えられる。なお、手動で使用コンテンツを選択する場合には、コンテンツ属性情報の取得はこの後でも構わない。
【００１６】
次に、コンテンツの属性情報比較ステップＳ４０３においてコンテンツ属性情報比較部３０２を使用して、取得された情報の比較を行い、本実施形態による被写体の相対位置推定を行うかどうか、行う場合どのデータを用いるかを決定する。比較後には、実世界における撮像装置に対する被写体の位置姿勢推定ステップＳ４０４において位置姿勢推定部３０３を用い、各コンテンツ中の被写体間の現実世界における撮像装置に対する位置姿勢を推定する。
そして、この推定された位置姿勢を基に、コンテンツ配置位置決定ステップＳ４０５においてコンテンツ配置位置決定部３０４を用い、各コンテンツのアルバム上でのレイアウト位置を決定する。
【００１７】
最後に、コンテンツ配置ステップＳ４０６において、ステップＳ４０５において決定した位置に各コンテンツをレイアウトする。ここまでの各種処理はＣＰＵ２０１で行われる。これにより、レイアウト１０７のような各コンテンツ中の被写体間の現実世界での位置姿勢を再現したレイアウトをアルバム上に行うことができる。
【００１８】
コンテンツの属性情報比較ステップＳ４０３については、図５を用いてその詳細を説明する。まずステップＳ５０１において、対象としているコンテンツが同一の位置かつ時点で撮影されたものかどうかを確認する。これは、本実施形態の目的が特定の場所から観察された、つまり撮影者が撮影した際に見た現実世界の相対位置姿勢の再現だからである。この確認には、まず位置は、例えばＧＰＳによって付与された緯度経度情報を利用したり、もしくは手動で入力された場所の情報を使用したりすればよい。ただし、センサの計測誤差を考慮に入れる必要があると考えられるので、所定の誤差までは同一の位置とみなす。また時刻の場合には、撮影時に付与される時刻や手動で入力された時刻を使用し、撮影時刻の差が所定の範囲内であれば、同一時点で撮影されたとすればよい。なお、同一位置もしくは時点で撮影されたものではないと判断された場合には、本実施形態の適用は行わず、時系列順に配置する等、他のルールに従って各コンテンツのレイアウトを行うこととする。
【００１９】
次に、各コンテンツの取得情報比較ステップＳ５０２を行い、実際にレイアウトを決定するために使用する情報の選定を行う。これは、ステップＳ５０３における位置姿勢を推定できる情報があるかの判断で決定する。この判断を行う処理の具体例としては、コンテンツ間で値に差があるか、あるいは値が０ではない情報が存在するかといったものが挙げられる。このような処理を行う理由は以下のとおりである。まず前者は、位置に関連する情報の値に差があれば、それは異なる位置を撮影していることを示していると判断することができるためである。また後者は、情報の種類によっては異なる位置を撮影していても同じ値を示すことがある（例：カメラの角速度）ため、その状態でも位置の違いを検出できるための対策である。異なる位置を撮影していれば、例え値が同一であってもその値は０ではないと考えられるため、このようなルールを用いる。
【００２０】
上記のステップにより、位置関係を推定できる情報があるという条件を満たしていればレイアウト決定のための使用情報の選定をステップＳ５０４で行う。ただし、ステップＳ５０３の条件を満たさない場合には、ステップＳ５０２と同じく本実施形態の適用は行わない。また、場合によっては２つ以上の情報を使用する可能性もある。そして、この推定情報を基に被写体の実世界上での位置姿勢を推定する。これは、使用情報が位置を示すものであるため、その値の大小、正負等を見ることにより可能である。この推定された位置姿勢情報をコンテンツ配置決定部に渡すことにより、アルバム上のレイアウトを決定することができる。ここで、具体例として図６にある写真６０１〜６０４をレイアウトする場合を考える。これらの写真には、図に示すように撮影時の時刻、緯度経度、カメラの角速度（右方向が正とする）が属性として付随されている。なおこれらの情報は、緯度経度ならばＧＰＳ、角速度ならジャイロスコープなどのセンサを用いて自動的に付与してもよいし、撮影後に手動で付与してもよい。これらの属性情報が付随している写真に対して、まずステップＳ４０１において属性情報、つまり撮影時刻、緯度経度、角速度を取得する。
【００２１】
次に、レイアウトする写真を選択する。今回は撮影時刻が所定の間隔内であるとして、写真６０１〜６０４全てを選択する。この選択された写真について、取得された情報をステップＳ４０３で比較する。この処理の詳細を見ていくと、まずステップＳ５０１において緯度経度情報が比較される。今回使用する４枚の写真のうち、写真６０４以外の３枚は全て緯度経度が同じ値である。また写真６０４についても０．０２秒程度のズレでしかないため、誤差であると考え、この結果４枚とも同一の場所から撮影されたと判断する（みなす）。次にステップＳ５０２において、他の情報の比較、ここでは角速度の比較を行う。その結果、４枚の角速度に差がある、つまりコンテンツ間で差があるため、先述の通りステップＳ５０３では位置関係を推定できる情報が存在すると判断され、ステップＳ５０４へと向かう。なおここで４枚の角速度に差がなかった場合には、角速度が０でなければ、値が０ではない情報があるとし、ステップＳ５０３では位置関係を推定できる情報が存在すると判断され、Ｓ５０４へと向かう。つまり角速度は一定でも構わないということである。使用情報の選定ステップＳ５０４では、差のあった角速度を使用することを決定し、ステップＳ４０３を終了する。次に実世界における撮像装置に対する被写体の位置姿勢推定ステップＳ４０４では、ステップＳ５０４で使用することを決定した角速度と、各写真の撮影時刻を用いて、相対位置の推定を行う。はじめに、角速度は４枚とも負の値をとっていることから、各写真において被写体は左方向へ移動していると推測される。また、撮影時刻から４枚は６０４，６０３，６０２，６０１の順で撮影されたことがわかるため、被写体は撮影者から見て６０４のときに一番右に存在し、そこから６０３、６０２、６０１の順に左へ移動していたと推測される。この推測結果を基に、コンテンツ配置位置決定ステップＳ４０５において、ページの右から左に向かって６０４、６０３、６０２、６０１の順にレイアウトすることを決定し、コンテンツ配置ステップＳ４０６で実際にレイアウトする。その結果、レイアウト１０７のようなレイアウトが生成される。
【００２２】
この例では角速度を用いて進行方向の変化を検出しているが、他のセンサ情報を用いてもかまわない。例えば、電子コンパスを用いて撮影方位を検出し、その情報を用いて、もしくは角速度と電子コンパスを用いた撮影方位を併用して進行方向の変化を検出することもできる。
【００２３】
以上により、鑑賞者に各コンテンツ中の被写体間の位置姿勢の矛盾や、自然に視線を運べないことからくる違和感等を与えることを減らすことができる。
【００２４】
＜実施形態２＞
次に第２の実施形態について説明する。第１の実施形態では動いている被写体の写真のレイアウトについて考えたが、ここでは他のページとの関係性を考慮した例について説明する。例えば、図７のようにアルバムのページが見開きページ７０１、７０２と続いているアルバムについて考える。このアルバム中で見開きページ７０２の右ページに実施形態１で示したような右から左へ見るように並べるレイアウトが存在し、残りのページは全て左から右へ見るようにレイアウトされていたとする。この場合、見開きページ７０２の右ページの見え方が異なっているため、このページに差し掛かったとき鑑賞者に戸惑いを与えてしまい、かえって見辛くなる可能性がある。
【００２５】
このような問題を防ぐため、コンテンツ配置位置決定部３０４にコンテンツ配置部を追加し、これらを用いて写真の配置を工夫してレイアウトした者が意図した順番に写真を自然に見ることができるようにする。例えばページ７０３のように、走っている方向に向かって写真を上から下に斜めに配置したり、写真群の近傍に見る順番を示唆した矢印などを置いたりすることにより、この順に視線を誘導することができ、違和感なく写真を見ることができる。この際、矢印の向きや斜めにする方向は位置姿勢推定部３０３によって推定された被写体の移動方向を基に決定される。この場合には、被写体の移動方向は実施形態１と同様に推定することができるので、矢印の向きはこのことから左向きに決定できる。また、左向きに上から下へと写真を斜めに配置する。同時に、向きを決めた矢印を写真に沿うように斜めに配置する。このようにして、ページ７０３に示すレイアウトが生成される。言うまでもなく、斜めに配置することや矢印に限らず、視線を意図通りに誘導できる工夫であれば方法は問わない。
【００２６】
以上により、各コンテンツを鑑賞する者に対して、他のページと配置ルールが異なっていることや、自然に視線を運べないことからくる違和感等を与えることがなくなる。
【００２７】
＜実施形態３＞
次に第３の実施形態について説明する。ここでは第１、第２の実施形態と同じく、動いている被写体の写真のレイアウトを例にする。特に写真の数が非常に多い例について説明する。例えば、図８（ａ）の実世界８０１に示した、約１００ｍに渡って動いている被写体を撮影した場合を考える。第１、２の実施形態と同様にこの被写体を連続して撮影すると、その撮影枚数は膨大なものになってしまう。図８（ｂ）は実際にレイアウトした一例であるが、レイアウト８０２のように１列に並べようとすると途中でページの端に到達してしまう可能性がある。
【００２８】
そこでコンテンツ配置位置決定部３０４にコンテンツ配置部を追加し、これらを用い、１列もしくは１行にコンテンツが収まりきらない場合は、複数列もしくは行に渡ってコンテンツを配置する。例えば実世界８０１の場合には、レイアウト８０３と８０４とに示すように、まず右から左に並べていき、１列に入りきらなくなったらその下の列に同じく右から左に続けて並べていくレイアウトにする。その際の並べ方として、レイアウト８０３のように見開きの２ページのうち、片方のページのみに上から下へと順番に並べていく方法や、レイアウト８０４のように見開きの２ページを使用して順番に並べていく方法が考えられる。これにより、違和感なく写真を見ることができる。言うまでもなく、列方向だけではなく、例えば上から下に動くものを大量に撮影した場合には、行方向に同様に並べることもできる。また、斜め方向に動いているものならば、斜め方向に並べることも可能である。
【００２９】
以上により、鑑賞者に被写体間の位置姿勢の矛盾や、自然に視線を運べないことからくる違和感等を与えることなく大量の写真を配置することができるようになる。
【００３０】
＜実施形態４＞
次に第４の実施形態について説明する。ここでは、第１〜第３の実施形態と同じく動いている被写体の写真のレイアウトを例にする。特に、被写体の進行方向が途中で変化する例について説明する。例えば図９（ａ）の実世界９０１のように、最初は右から左に走り、途中で進行方向を逆にした人物を撮影し、図９（ｂ）に示す画像９０２〜９０６のような画像群が得られたとする。この画像群をレイアウトした一例が図９（ｃ）である。ここでもし、第１〜３の実施形態と同じく同一方向に画像を並べ続けるとレイアウト９０７のようなレイアウトとなり、鑑賞者に違和感を与えてしまう。
【００３１】
そこで、位置姿勢推定部３０３を用いて各画像における進行方向を推定して進行方向の変化を検出し、コンテンツ配置位置決定部３０４を用い進行方向の変化に応じた画像の配置位置を決定しその位置へとレイアウトする。例えば実世界９０１を撮影した画像９０２〜９０６をレイアウトする際には、レイアウト９０８のようになる。これは、まず実世界における撮像装置に対する被写体の相対位置姿勢推定ステップＳ４０４において、位置姿勢推定部３０３を用いて画像９０６と画像９０５に写っている被写体は角速度を基に右から左へ移動していると推定できる。同様に、画像９０２〜９０４に写っている被写体は角速度を基に、同じく左から右へ移動していると推定できる。
【００３２】
次にコンテンツ配置位置決定ステップＳ４０５においてコンテンツ配置位置決定部３０４を用い、進行方向が変わる画像９０４から列をずらしながら左から右へと画像を並べるように決定する。そしてコンテンツ配置ステップＳ４０６においてステップＳ４０５で決定したとおりに画像９０２〜９０６をレイアウトし、レイアウト９０８が完成する。以上により、鑑賞者に被写体の進行方向を示しつつ違和感等を与えることがなくなる。
【００３３】
＜実施形態５＞
次に、第５の実施形態について説明する。ここでは第１〜第４の実施形態と同じく動いている被写体の写真のレイアウトを例にする。特に、各コンテンツに対してその動きを強調する特殊効果をつける例について説明する。
【００３４】
例えば第４の実施形態と同じく、実世界９０１のシーンを撮影した画像９０２〜９０６の画像群をレイアウトすることを考える。レイアウトされる位置はレイアウト９０８と同じになるが、ここではコンテンツ配置位置決定部３０４にコンテンツ配置部を追加し、クロッピングを行う。これは、各画像に対してコンテンツ属性情報取得部３０１で得られた角速度及び位置姿勢推定部３０３で推定された進行方向を基に、進行方向と角速度に応じて行う。例えば、左方向に他のタイミングよりも比較的早く進んでいる画像に対しては、左方向に大きく傾けて、右方向に比較的遅く進んでいる画像に対しては右方向に小さく傾けてクロッピングする。これにより生成されるレイアウトが図１０のレイアウト１００１である。このような特殊効果を付加することにより、第２の実施形態のように視線を誘導することもできる。また強調する効果としてはクロッピングに限ることはない。例えば画像にブレを与える、効果線をつけるといったような方法も考えられる。
【００３５】
以上により、鑑賞者に被写体の進行方向などを示唆し、視線を誘導しやすくすることができるようになる。
【００３６】
＜実施形態６＞
次に、第６の実施形態について説明する。ここでは図１１（ａ）の実世界１１０１に示すような、被写体が水平方向に離れた位置にいる場面を撮影した場合について説明する。実世界１１０１の運動会で行われる騎馬戦の場面を撮影する場合、中央部は被写体がない場合が多い。従って、カメラを動かしながら双方の騎馬を連続で撮影し、それらを使ってパノラマ写真を生成すると、被写体が写っていない意味のない領域が大半になるため、適当ではない。そこで、図１１（ｂ）に示す別々に撮った２枚の写真をレイアウトすることを考える。
【００３７】
実際にレイアウトを行った一例が図１１（ｃ）である。撮影された２枚の画像１１０２と画像１１０３の撮影時刻から、時系列順に並べるとレイアウト１１０４ように現実世界とは逆の配置になり、さらにお互いが向き合わず背中合わせになってしまい、大きな違和感を与えてしまう。そこでここでは、電子コンパスによって記録された撮影方位の情報を利用することとする。
【００３８】
具体的な処理の流れは、図４に示すものと同じである。まずステップＳ４０１で、コンテンツ属性情報取得部３０１を用い、コンテンツの属性情報である撮影方位と撮影時間を取得する。ステップＳ４０２ではこの２つのコンテンツが共に選択され、ステップＳ４０３でその中身が比較される。ここでは撮影方位に差があるため、撮影方位を情報として使うことが決定される。次にステップＳ４０４で実世界における相対位置姿勢を推定するが、これは画像１１０２が南東、画像１１０３が東を向いていることから、まず撮影者はその中間の東南東を正面としていると判断する。その判断を基に画像１１０２は撮影者から見て左、画像１１０３は右にあると推定する。この結果を基にステップＳ４０５では画像１１０２をページの左、画像１１０３をページの右に配置することを決定する。そして、ステップＳ４０６で実際にレイアウトを行いレイアウト１１０５が生成される。この場合は、撮影者が観察した現実世界と同じ配置、つまり現実世界に対して自然な配置となり、鑑賞者に違和感を与えることがない。
【００３９】
ここでは被写体が離れた位置にあるものを対象としたが、例えば１つの被写体を水平方向に分割して撮影した場合にも適用は可能である。また、位置関係を推定するため電子コンパスの情報を利用しているが、水平方向の位置関係が推測できれば他の情報を用いても構わない。
【００４０】
以上により、撮影者が体験したままの被写体の位置関係を再現することができ、鑑賞者にレイアウトに関する違和感等を与えることがなくなる。
【００４１】
＜実施形態７＞
次に、第７の実施形態について説明する。ここでは図１２（ａ）の実世界１２０１に示すような、被写体を垂直に分割して撮影した場合について説明する。図１２（ｂ）が撮影された画像であり、図１２（ｃ）がそれらをレイアウトした一例である。第６の実施形態と同じく写真１２０２と１２０３とを撮影された時刻から時系列順に並べるとレイアウト１２０４ように現実世界とは逆の配置になってしまう。これは被写体の実際の位置姿勢を知らない者でも明らかに現実世界とは違うことがわかり、違和感を与えてしまうという問題が発生する。この場合、撮影者から見て被写体が存在する方角はほとんど変わらないので、電子コンパスを用いた実世界での位置判断を行うことは困難である。そこで、加速度センサを用いて撮影時のカメラと基準面との角度を取得し、レイアウト決定のための情報として利用する。
【００４２】
具体的な処理の流れは図４に示すものと同じである。まずステップＳ４０１でコンテンツ属性情報取得部３０１を用いコンテンツの属性情報である撮影時のあおり角度と撮影時間を取得する。ステップＳ４０２ではこの２つのコンテンツが共に選択され、ステップＳ４０３でその中身が比較される。ここではあおり角度に差があるため、あおり角度を情報として使うことが決定される。次にステップＳ４０４で実世界における撮像装置に対する相対位置姿勢を推定するが、これは画像１２０２と画像１２０３のあおり角度から画像１２０２は上、画像１２０３は下にあると判断する。この結果を基にステップＳ４０５では画像１２０２をページの上、画像１２０３をページの下に配置することを決定し、ステップＳ４０６で実際にレイアウトを行いレイアウト１２０５が生成される。この場合は撮影者が観察した現実世界と同じ配置、つまり現実世界に対して自然な配置となり、鑑賞者に違和感を与えることがない。
【００４３】
ここでは被写体を分割して撮影した場合を対象としたが、垂直方向に離れた位置にあるものを対象とした場合にも適用は可能である。また、位置関係を推定するため加速度センサから得られる情報を利用しているが、垂直方向の位置関係が推測できれば、例えばジャイロスコープなど他の情報を用いても構わない。
【００４４】
以上により、撮影者が体験したままの被写体の位置姿勢を再現することができ、鑑賞者にレイアウトに関する違和感等を与えることがなくなる。
【００４５】
＜実施形態８＞
次に、第８の実施形態について説明する。ここでは図１３（ａ）の実世界１３０１に示すような、被写体が向かい合っている場合について説明する。図１３（ｂ）が撮影された画像であり、図１３（ｃ）がそれらをレイアウトした一例である。
【００４６】
第６の実施形態と同じく、２つの被写体を撮影した写真１３０２、１３０３を配置しようとすると、その撮影方位が１８０度異なっているために、どこが撮影者にとっての正面であるかを推定することができない。従って、写真１３０２と１３０３のどちらを右に、どちらを左に配置すればいいかを決定する事ができなくなる。そこでこの問題を解決するために、２枚だけでなく３枚以上の写真を使用することを考える。３枚以上あれば、撮影者は写真が多くあるほうを向いていたと推定することができる。
【００４７】
この場合には、写真１３０２、１３０３以外にその間にある看板を撮った写真１３０４を使用する。具体的な処理方法は第６の実施形態とほぼ同じであるが、ステップＳ４０４において位置姿勢推定部３０３を用いて３枚の写真の撮影方位を比較することにより、撮影者は北を向いていたと推定することができる。従って、これを基にコンテンツ配置位置決定部３０４を用いてレイアウト１３０５のように正確な位置関係を推定し、この関係を保ったレイアウトを行うことが可能となる。また、写真１３０４はあくまで位置関係を推定するために使用した写真であると考え、写真１３０４をレイアウトしないということも可能である。
ここでは向かい合っている２枚の写真を配置する場合を対象とする。しかし、使用する枚数が多いほど推定精度は向上すると考えられるので、必ずしも向かい合っていなくても適用は可能である。
【００４８】
以上により、撮影者が体験したままの被写体の位置姿勢をより精度よく再現することができ、鑑賞者にレイアウトに関する違和感等を与えることがなくなる。
【００４９】
＜実施形態９＞
次に、第９の実施形態について説明する。ここでは図１４（ａ）の実世界１４０１に示すような、動いている被写体を正面から撮影した場合について説明する。図１４（ｂ）に示す写真１４０２〜１４０５が撮影された画像であり、図１４（ｃ）のレイアウト１４０６がそれらをレイアウトした一例である。この場合、被写体は撮影者から見て奥行き方向に移動している。この場合、電子コンパスや加速度センサでは相対的な位置関係の推定が困難である。そこで、コンテンツ毎の焦点距離をレイアウト決定のための情報として利用する。具体的な処理の流れは図４に示すものと同じである。
【００５０】
まずステップＳ４０１で、コンテンツ属性情報取得部３０１を用い、コンテンツの属性情報である焦点距離と撮影時間を取得する。ステップＳ４０２ではこの２つのコンテンツが共に選択され、ステップＳ４０３でその中身が比較される。ここでは焦点距離に差があるため、焦点距離を情報として使うことが決定される。次にステップＳ４０４で実世界における撮像装置に対する相対位置姿勢を推定するが、これは焦点距離が小さいものほど撮影者から被写体までの距離が近いと考える。つまり図１４（ｂ）の場合、写真１４０５から写真１４０２に向けて被写体が近づいてきていると推定される。この結果を基にステップＳ４０５でレイアウト位置を決定する。ここで実世界では、被写体が撮影者に近いほど撮影者には被写体が大きく見えるので、レイアウトでもこの大きさの関係を再現する。つまり、被写体が遠くにいると推定されたコンテンツほどサイズを小さく、近くにいると推定されたコンテンツほどサイズを大きくする。同時に、ページの上方に、遠くにいると推定されたコンテンツを配置し、ページの下方に、近くにいると推定されたコンテンツを配置するように決定する。そしてステップＳ４０６でこの通りにレイアウトを行いレイアウト１４０６が生成される。
【００５１】
ここでは紙のアルバムなど、２次元平面をレイアウトの対象としているが、３次元ディスプレイなど３次元の表示装置にも、相対的な位置関係を再現する形でレイアウトすることが可能である。また、位置関係を推定するため焦点距離を利用しているが、奥行き方向の位置関係が推測できれば、他の情報を用いても構わない。例えばステレオカメラを利用した場合や、単眼カメラを２台以上利用した場合、カメラから被写体までの距離情報を得ることができるため、この情報を利用しても本実施形態を行うことができる。
【００５２】
＜その他の実施形態＞
その他の実施形態として、以下のものがあげられる。
第１〜第９の実施形態では、基本的に１つのセンサの情報を基に相対位置推定を行う例について説明した。しかし２つ以上のセンサ情報を組み合わせて相対位置推定を行っても構わない。一例として、地上にいる人間と空を飛んでいる鳥が被写体となっている場合を考える。この場合、２つの被写体の位置関係は斜めになっている。従って電子コンパスや加速度センサだけではその相対的な位置関係を推定することはできない。しかし、電子コンパスと加速度センサの両方の情報を用いれば、地上にいる人間との相対位置関係を推定し、レイアウトで再現することが可能である。つまり、上下方向にも左右方向にも相対的な位置関係を推定することができるということになる。
【００５３】
以上により、撮影者が体験したままの被写体の位置姿勢を再現することができ、鑑賞者にレイアウトに関する違和感等を与えることがなくなる。
【００５４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
被写体を撮像装置が撮像した複数のコンテンツを所定の領域に表示する装置であって、
前記撮像装置が測定したコンテンツ属性情報を取得する取得手段と、
前記コンテンツ属性情報から前記撮像された被写体の前記撮像装置に対する位置姿勢の判定を行う位置姿勢判定手段と、
前記位置姿勢判定手段による判定結果に基づいて前記所定の領域内でのコンテンツの配置位置を決定するコンテンツ配置位置決定手段と、
を備えることを特徴とする情報表示装置。
【請求項２】
前記取得手段で得られる情報は、前記撮像装置に対する被写体の位置姿勢を表す情報であることを特徴とする、請求項１に記載の情報表示装置。
【請求項３】
前記コンテンツ属性情報は、角速度、あおり角度、方位、焦点距離のうち少なくとも1つであることを特徴とする請求項１に記載の情報表示装置。
【請求項４】
前記コンテンツ配置位置決定手段では、閲覧者にコンテンツを閲覧する順番を示唆する情報を付加することを特徴とする、請求項１に記載の情報表示装置。
【請求項５】
前記取得手段によって得られた情報に基づいた特殊効果をコンテンツに付加する特殊効果付加手段を更に備えることを特徴とする、請求項１に記載の情報表示装置。
【請求項６】
被写体を撮像装置が撮像した、複数のコンテンツを所定の領域に表示する方法であって、
前記撮像装置が測定したコンテンツ属性情報を取得する取得工程と、
前記コンテンツ属性情報から前記撮像された被写体の前記撮像装置に対する位置姿勢の判定を行う位置姿勢判定工程と、
前記位置姿勢判定工程の判定結果に基づいて前記所定の領域内でのコンテンツの配置位置を決定するコンテンツ配置位置決定工程と、
を備えることを特徴とする情報表示方法。
【請求項７】
被写体を撮像装置が撮像した、複数のコンテンツを所定の領域に表示する方法をコンピュータに実行させるプログラムであって、
前記撮像装置が測定したコンテンツ属性情報を取得する取得手順と、
前記コンテンツ属性情報から前記撮像された被写体の前記撮像装置に対する位置姿勢の判定を行う位置姿勢判定手順と、
前記位置姿勢判定手順の判定結果に基づいて前記所定の領域内でのコンテンツの配置位置を決定するコンテンツ配置位置決定手順と、をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
被写体を撮像装置が撮像した複数のコンテンツを所定の領域に表示する装置であって、
前記撮像装置が測定したコンテンツ属性情報を取得する取得手段と、
前記コンテンツ属性情報から前記撮像された被写体の前記撮像装置に対する位置姿勢の判定を行う位置姿勢判定手段と、
前記位置姿勢判定手段による判定結果に基づいて前記所定の領域内でのコンテンツの配置位置を決定するコンテンツ配置位置決定手段と、
を備えることを特徴とする情報表示装置。
【請求項２】
前記取得手段で得られる情報は、前記撮像装置に対する被写体の位置姿勢を表す情報であることを特徴とする、請求項１に記載の情報表示装置。
【請求項３】
前記コンテンツ属性情報は、角速度、あおり角度、方位、焦点距離のうち少なくとも1つであることを特徴とする請求項１に記載の情報表示装置。
【請求項４】
前記コンテンツ配置位置決定手段では、閲覧者にコンテンツを閲覧する順番を示唆する情報を付加することを特徴とする、請求項１に記載の情報表示装置。
【請求項５】
前記取得手段によって得られた情報に基づいた特殊効果をコンテンツに付加する特殊効果付加手段を更に備えることを特徴とする、請求項１に記載の情報表示装置。
【請求項６】
被写体を撮像装置が撮像した、複数のコンテンツを所定の領域に表示する方法であって、
前記撮像装置が測定したコンテンツ属性情報を取得する取得工程と、
前記コンテンツ属性情報から前記撮像された被写体の前記撮像装置に対する位置姿勢の判定を行う位置姿勢判定工程と、
前記位置姿勢判定工程の判定結果に基づいて前記所定の領域内でのコンテンツの配置位置を決定するコンテンツ配置位置決定工程と、
を備えることを特徴とする情報表示方法。
【請求項７】
被写体を撮像装置が撮像した、複数のコンテンツを所定の領域に表示する方法をコンピュータに実行させるプログラムであって、
前記撮像装置が測定したコンテンツ属性情報を取得する取得手順と、
前記コンテンツ属性情報から前記撮像された被写体の前記撮像装置に対する位置姿勢の判定を行う位置姿勢判定手順と、
前記位置姿勢判定手順の判定結果に基づいて前記所定の領域内でのコンテンツの配置位置を決定するコンテンツ配置位置決定手順と、をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１８１６８１（Ｐ２０１２−１８１６８１Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１１−４４２０４（Ｐ２０１１−４４２０４）
【出願日】平成２３年３月１日（２０１１．３．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２３年３月１日（２０１１．３．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]