表示制御装置、およびその制御方法、プログラム、記憶媒体
【課題】通常の映像表示と撮影のための映像の表示を適切なタイミングで切り替えることを可能とし、画面を観察するユーザに与える違和感等を減少させることを目的とする。
【解決手段】表示画面上に画像を表示させる表示制御装置は、ユーザに観察させるための観察用の映像を表示画面に表示させる。表示制御装置は、撮像装置と通信する通信部を介して撮像装置からの撮影準備信号を受信したことに応じて、表示画面における表示を、観察用の表示映像から撮像装置によって撮影されるべく予め用意された撮影用の映像に切り替える。
【解決手段】表示画面上に画像を表示させる表示制御装置は、ユーザに観察させるための観察用の映像を表示画面に表示させる。表示制御装置は、撮像装置と通信する通信部を介して撮像装置からの撮影準備信号を受信したことに応じて、表示画面における表示を、観察用の表示映像から撮像装置によって撮影されるべく予め用意された撮影用の映像に切り替える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、外部機器からの制御信号によって画像表示制御を変更する表示制御装置、方法、プログラム、記憶媒体に関するものである。
【背景技術】
【0002】
デジタルカメラなどの撮像装置によって撮影された画像を、プロジェクタ、LCD、プラズマディスプレイなどの大型ディスプレイ、ならびに電子ペーパーなどの所望の位置に配置する種々の方法が提案されている。
【0003】
例えば、特許文献1においては、あらかじめ所定の位置に表示された複数のマークと、撮像装置本体から照射されるビームの点を撮影することにより、当該ビームがポインティングしている座標を特定する装置が提案されている。特許文献1に記載された装置は、所定平面上の所定の位置に表示された複数のマークと照射されたビームの点を撮像し、その撮像された画像からマークとビームの点を抽出することでビームによって指示された位置を特定する。
【0004】
また、パーソナルコンピュータにおいては、画像を編集するソフトを用いて、バックグラウンドシートの上に、写真やイラストなどの画像を自由にレイアウトすることが一般的に行われている。グラフィックユーザインターフェース、いわゆるGUIにて、画像を含む図形の配置を行う操作においては、マウスやペン入力機器のようなポインティング機器を使用することにより、表示画面上にて直接図形等を指定して操作することが可能である。
【0005】
特許文献2は、このようなポインティング操作にマウスやペン入力機器を用いず、撮像装置を用いることによりポインティング操作を実現することを提案している。この提案によると、表示画面に、ある一定のフレーム毎にマーカを入れ、マーカ画像のみを隣り合ったフレームの差分画像処理により抽出し、そのマーカに基づいて指示位置の位置を検出し位置の検出を行っている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2001−325069号公報
【特許文献2】特開平7−121293号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記従来技術によるポインティング方法では、画面上に常にマーカの画像を表示する(特許文献1)か、マーカ映像と通常の表示映像との交互表示を常に行う(特許文献2)必要がある。マーカの表示はポインティング位置の演算するために利用されるものであり、ユーザが観察しようとする対象ではない。従って、そのようなマーカの画像が常に表示された画面は、ユーザに違和感を与える。また、マーカが表示されている場所は通常の表示には利用できないことになる。これに対して、通常の映像(マーカのない映像)とマーカ映像を交互に表示する場合、マーカの表示位置も通常の映像表示に利用できる。しかしながら、ユーザが通常の映像を観察しようとする場合に、ユーザに画面のちらつき感を与えてしまう可能性がある。
【0008】
また、最近では、ユーザが視認可能な広告情報とともに関連するURLを示すコードイメージ(例えばQRコード)をディスプレイ上に表示する場合がある。QRコードはユーザが見ても何の意味も成さないので、QRコードのスペースは視認可能な情報の掲載にとってみれば、使用することのできない無駄なスペースとなってしまう。
【0009】
本発明は、上記の課題に鑑みてなされたものであり、通常の映像表示と撮影のための映像の表示を適切なタイミングで切り替えることを可能とし、画面を観察するユーザに与える違和感等を減少させることを目的とする。
【課題を解決するための手段】
【0010】
上記の目的を達成するための本発明の一態様による表示制御装置は以下の構成を備える。すなわち、
表示装置の表示画面に画像を表示させる表示制御装置であって、
ユーザに観察させるための観察用の映像を前記表示画面に表示させる表示手段と、
通信可能に接続された撮像装置と通信する通信手段と、
前記通信手段を介して前記撮像装置から撮影準備信号を受信したことに応じて、前記表示画面における表示を、前記観察用の映像から前記撮像装置によって撮影されるべく予め用意された撮影用の映像に切り替える制御手段とを備える。
【発明の効果】
【0011】
本発明によれば、撮影画像の解析において解析の対象となる画像を適切なタイミングで映像に含ませることができ、画面を観察するユーザに与える違和感を減少させることができる。
【図面の簡単な説明】
【0012】
【図1】表示システムの構成例を示す図。
【図2】(a)は撮像装置の構成例を示すブロック図、(b)はパーソナルコンピュータの構成例を示すブロック図。
【図3】撮像装置が表示装置上に表示されたマーカを取得する処理を示すフローチャート。
【図4】画像表示装置が撮像装置の撮影した範囲の座標を検出する処理を示すフローチャート。
【図5】画像表示装置が撮像装置の撮影した範囲の座標を検出する処理を示すフローチャート。
【図6】マーカ映像の撮影から表示装置上の座標点を検知するまでの流れを示す図。
【図7】算出された座標点内に存在する画像を強調表示する処理を表した図。
【図8】選択された画像の表示を移動する処理を表した図。
【図9】選択された画像の表示を削除する処理を表した図。
【図10】表示装置のマーカ表示期間を伸ばす処理を示す図。
【図11】表示装置のマーカ表示間隔を短縮する処理を示す図。
【図12】表示装置のマーカ表示期間を伸ばし、かつマーカ表示間隔を短縮する処理を示す図。
【発明を実施するための形態】
【0013】
以下、添付の図面を参照して、本発明の好適な実施形態を説明する。
【0014】
(第1実施形態)
まず、本発明の実施形態に係る撮像装置、表示装置及び制御装置について説明する。
図1は、実施形態に係わる表示システムの構成例を示す図である。本表示システムにおいては、ディスプレイ101における画面上の所望の位置を指示するための入力手段として撮像装置が用いられる。本実施形態ではそのような撮像装置としてデジタルカメラ100が用いられる。ディスプレイ101は、パーソナルコンピュータ102の制御により、その表示画面上に映像を表示する。ディスプレイ101としては、例えばプロジェクタのスクリーン、LCD、プラズマディスプレイなどを用いることができる。
【0015】
ディスプレイ101への表示を制御する表示制御装置としては、種々の情報処理装置が利用可能であり、本実施形態ではパーソナルコンピュータ102が用いられている。パーソナルコンピュータ102は、インストールされたプログラム(アプリケーション)を実行することにより、ディスプレイ101に対する表示制御や、後述のフローチャートに示された処理を含む各種処理を実行する。デジタルカメラ100とパーソナルコンピュータ102は、データ信号接続103により通信可能に接続されている。データ信号接続103としては、USBやRS−232Cなどの有線ケーブルによる接続、または、BluetoothやワイヤレスLANなどの無線形式での接続を用いることができる。ディスプレイ101とパーソナルコンピュータ102は、映像信号接続104で示すように、アナログRGBやDVIなどの映像信号を通信するために、有線ケーブルやワイヤレスLANなどの無線形式で接続されている。
【0016】
また、ディスプレイ101上には、パーソナルコンピュータ102の制御下でマーカ映像105が表示される。操作者がレリーズスイッチ106を操作することによりデジタルカメラ100でディスプレイ101に表示されているマーカ映像105を撮影すると、得られた撮影画像はデータ信号接続103を介してパーソナルコンピュータ102に送信される。本実施形態では、マーカ映像105を数字や文字で表しているが、任意の記号、数字、文字、または幾何学的模様であっても何ら構わない。ただし、それぞれの座標点で固有のものであり、局所的な画像により座標点が容易に検出できるものであるとする。
【0017】
図2(a)は撮像装置としてのデジタルカメラ100のブロック図である。撮像素子201は、撮影レンズ200を介して形成される光学像を電気信号に変換する。A/D変換器202は撮像素子201のアナログ信号出力をディジタル信号に変換する。レンズ制御部203は撮影レンズ200のフォーカシングならびにズーミングを制御する。撮像素子制御部204は、システム制御回路207の制御下で撮像素子201やA/D変換器202にクロック信号や制御信号を供給する。画像処理回路205は、A/D変換器202からのデータ或いはシステム制御回路207からの画像データに対して所定の画素補間処理や色変換処理を行う。メモリ206は撮影した画像を格納するメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、画像処理回路205やシステム制御回路207の作業領域としても使用することが可能である。システム制御回路207はデジタルカメラ100全体を制御する。システム制御回路207には、動作用の定数、変数、プログラム等を記憶するメモリ(不図示)が含まれる。スイッチ208はデジタルカメラ100に備え付けられているスイッチ全般を表しており、例えば以下を含むものとする。電源オン/オフを制御する電源スイッチ、撮像装置のモード(通常撮影モード、画像選択モード、再生モード等)を切り替えるモードダイアルスイッチ、撮影レンズ200を駆動し、ズーミングを行うズームスイッチ、撮影を行うシャッタースイッチ等である。送受信部209は、USBやRS−232Cなどの有線ケーブルによる通信を行うための接続コネクタならびに制御回路、ワイヤレスLANなどの無線通信を行うためのトランスミッターならびに制御回路を有する。送受信部209により、メモリ206に保存された撮影画像を通信相手に送信したり、また通信相手の動作状況等を示す情報を受信し、システム制御回路207に伝えたりすることができる。表示部210は、液晶パネル107等のディスプレイ、ならびに液晶パネル背面より光を照射するバックライトより構成される。
【0018】
図2(b)は表示制御装置としてのパーソナルコンピュータ102のブロック図である。
図1において、内部バス250に対してCPU251、不揮発性メモリ252、メモリ253、映像出力部254、入力部255、ドライブ装置256および通信I/F257が接続される。内部バス250に接続される各部は、内部バス250を介して互いにデータのやりとりを行うことができるようにされている。不揮発性メモリ252は、画像データやその他のデータ、CPU251が動作するための各種プログラムなどが格納される。メモリ253は、例えばRAMからなり、CPU251のワークメモリとして使用可能である。CPU251は、例えば不揮発性メモリ252に格納されるプログラムに従い、メモリ253をワークメモリとして用いて、このパーソナルコンピュータ102の各部を制御する。
【0019】
入力部255は、ユーザ操作を受け付け、操作に応じた制御信号を生成し、CPU251に供給する。例えば、入力部255は、ユーザ操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイスなどを有する。なお、タッチパネルは、例えば平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。CPU251は、入力デバイスに対してなされたユーザ操作に応じて入力部255で生成され供給される制御信号に基づき、プログラムに従いこのパーソナルコンピュータ102の各部を制御する。これにより、パーソナルコンピュータ102に対し、ユーザ操作に応じた動作を行わせることができる。
【0020】
映像出力部254は、ディスプレイ101等の表示手段に対して映像を表示させるための表示信号を出力する。例えば、映像出力部254に対して、CPU251がプログラムに従い生成した表示制御信号と、表示制御信号に基づいて生成された表示信号(映像信号)を供給する。映像出力部は、表示制御信号に基づき表示信号(映像信号)をディスプレイ101に対して出力する。例えば、映像出力部254は、CPU251が生成する表示制御信号に基づき、GUI(Graphical User Interface)を構成するGUI画面をディスプレイ101に対して出力して表示させる。また、映像出力部254は、CPU251が生成する表示制御信号に基づき、後述する通常の観察用の表示映像やマーカ映像105をディスプレイ101に対して出力して表示させる。
【0021】
ディスプレイ101はパーソナルコンピュータ102の一部を構成するディスプレイであっても、外付けの外部表示手段であってもよく、前述のとおり、プロジェクタのスクリーン、LCD、プラズマディスプレイなどを用いることができる。ディスプレイ101は前述のとおり映像信号接続104を介してパーソナルコンピュータ102の映像出力部254と接続される。
【0022】
ドライブ装置256は、CDやDVDといった外部記憶媒体258が装着可能とされ、CPU251の制御に基づき、装着された外部記憶媒体258からのデータの読み出しや、当該外部記憶媒体258に対するデータの書き込みを行う。なお、ドライブ装置256が装着可能な外部記憶媒体258は、CDやDVDといったディスク記録媒体に限られず、例えばメモリカードなどの不揮発性の半導体メモリをドライブ装置256に装着するものとしてもよい。通信インターフェイス(I/F)257は、CPU251の制御に基づき、LANやインターネットといったネットワーク120や、デジタルカメラ100(より具体的には送受信部209)に対する通信(有線、無線は問わない)を行う。
後述するデジタルカメラ100からの押下完了信号(撮影準備信号)、撮影画像、座標取得処理中断通知の受信、デジタルカメラへの表示完了信号、座標取得の成否情報の送信はこのこの通信I/F257を介して行う。
【0023】
次に、デジタルカメラ100の動作を図3に示すフローチャートに基づいて説明する。図3のフローチャートは、システム制御回路207が、デジタルカメラ100に含まれる不図示のメモリに記憶されたプログラムをメモリ206に展開して実行することによって実現する。
まず、ステップS301にてデジタルカメラ100のシステム制御回路207は、マーカを取り込むための適切なモードに移行しているかどうかの確認を行う。本実施形態において、デジタルカメラ100は“電子アルバムモード”を備える。電子アルバムモードに移行した状態のデジタルカメラ100によりディスプレイ101上に表示されたマーカ映像105を撮影すると、撮影されたマーカ画像に所定の処理が行われ、デジタルカメラが表示装置上のどの範囲を撮影したかを検出することが可能になる。
【0024】
次に、ステップS302において、システム制御回路207はレリーズスイッチ106の1段目が押下されたかどうかを検出する。図1に示されるように、レリーズスイッチ106は、デジタルカメラ100に撮像動作を開始させるためのスイッチである。本実施形態においては、このレリーズスイッチ106は2段階のスイッチとなっており、撮影者がレリーズスイッチ106を軽く押下すると1段目のスイッチがオンし、強く押し込むと2段目のスイッチがオンする仕組みとなっている。一般に1段目のスイッチがオンすることによりデジタルカメラ100はオートフォーカス動作等の撮影準備を開始する。そして、2段目のスイッチがオンすると、撮影が開始される。
【0025】
システム制御回路207は、ステップS302においてレリーズスイッチ106の1段目が押されたことを検出すると、処理をステップS303に進める。ステップS303において、システム制御回路207は、送受信部209を用いてパーソナルコンピュータ102に対してレリーズスイッチ106の1段目の押下完了信号を撮影準備信号として送信する。この場合、撮影準備信号は、オートフォーカスの開始に対応したものとなる。パーソナルコンピュータ102はこの1段目の押下信号を受信すると、ディスプレイ101上にマーカ映像105と通常の表示映像との交互表示を開始し、デジタルカメラ100にマーカ表示完了信号を送信する。表示制御装置であるパーソナルコンピュータ102の動作フローに関しては後ほど詳述する。
【0026】
ステップS304において、送受信部209を介してパーソナルコンピュータ102からマーカ表示完了信号を受信すると、処理はステップS305に移行する。ここで、レリーズスイッチ106の2段目のスイッチが押されると、処理はステップS306に移行し、システム制御回路207は撮像素子201による撮影を実行する。ここでは、パーソナルコンピュータ102の制御によりマーカ映像105と通常の表示映像が交互に表示されているディスプレイ101の表示画面の撮影が行われるものとする。撮影完了後、システム制御回路207は、ステップS307において、撮影画像をパーソナルコンピュータ102に送信する。パーソナルコンピュータ102では、デジタルカメラ100から送信された撮影画像に含まれるマーカ映像105の画像に基づいて、座標取得が行われる。
【0027】
次に、ステップS308に移行し、システム制御回路207は、送受信部209を介してパーソナルコンピュータ102からの座標取得の成否情報を入手する。パーソナルコンピュータ102から座標取得失敗の情報を受け取った場合には、処理はステップS309に移行する。他方、パーソナルコンピュータ102から座標取得成功の情報を受け取った場合には本フローチャートのシーケンスを終了する。
【0028】
座標取得失敗の情報を受け、処理がステップS309に移行した場合には、システム制御回路207は、デジタルカメラ100の液晶パネル107を用いて座標取得処理に失敗したことを撮影者に通知する。次に、S310において、システム制御回路207は、レリーズスイッチ106の2段目が押されているかの検知を再度行う。レリーズスイッチ106が押されている場合にはステップS306に移行し、システム制御回路207は、再度、座標取得処理のために撮影を実行する。レリーズスイッチ106が押されていない場合には、システム制御回路207は撮影者がマーカ映像105の取得作業を中断したと判断し、ステップS311において、液晶パネル107により座標取得処理が中断されたことを撮影者に通知する。これによって、レリーズスイッチ106の2段目のスイッチが押され続けている間は連続的に撮影が行われ、座標取得成功の情報を受け取るまで連続的に撮影された画像を連続的に送信し続けることとなる。なお、S307で送信する画像は1枚としてもよいし、複数枚毎としてもよい。1枚の場合は、1枚の画像を撮影するたびに撮影画像を表示制御装置に送信して座標取得の成否情報を待つ構成となる。また、複数枚毎の場合は、複数回の撮影をしてある程度の枚数の撮影画像が溜まってからまとめて複数の画像を表示制御装置に送信し、座標取得の成否情報を待つ構成となる。なお、座標取得の成功の情報を取得するまでは、座標取得の成否情報の取得の有無に関わらず撮影を続け、撮影画像を送信し続ける構成としてもよい。このようにすれば、無線等で通信が途切れ途切れになる場合でも対応可能である。
【0029】
次に、本発明に係わる画像表示制御装置としてのパーソナルコンピュータの動作をフローチャートに基づいて説明する。図4は本実施形態に係る表示制御装置(パーソナルコンピュータ102)が撮像装置(デジタルカメラ100)の撮影した範囲の座標を検出する処理を示すフローチャートである。なお、パーソナルコンピュータはディスプレイ101の表示画面上に、ユーザに観察させるための観察用の映像を表示させているものとする。図4の処理は、パーソナルコンピュータ102のCPU251が、不揮発性メモリ252に記憶されたプログラムをメモリ253に展開して実行することにより実現する。
【0030】
ステップS401にて、デジタルカメラ100から、レリーズスイッチ106の1段目が押下されていることを示す押下完了信号(撮影準備信号)を受信した場合、処理はステップS402に移行する。ステップS402において、パーソナルコンピュータ102は、表示装置であるディスプレイ101によるマーカ映像105の表示を開始する。マーカ映像105は、デジタルカメラ100によって撮影されることを目的して予め用意された撮影用の映像である。ここで、パーソナルコンピュータ102は、通常の観察用の映像のみをディスプレイ101に表示していた状態から、マーカ映像105(即ち、撮影用の映像)と観察用の映像とを交互にディスプレイ101に表示する状態へ、表示を切り替える。例えば、観察用の表示映像を表示する間に、撮影用の映像であるマーカ映像105を所定の表示間隔(たとえば1秒)で所定の表示期間(たとえば1/30秒)だけ表示する。マーカ映像105と観察用の表示映像との交互表示を開始したならば、パーソナルコンピュータ102は、ステップS403においてデジタルカメラ100にマーカ映像105の表示完了信号を送信する。
【0031】
マーカ映像105は、例えば図1に示すように、ディスプレイ101の左上から順番に01、02、03・・・というように規則的にマーカ文字を表示したものである。各マーカ文字はディスプレイ101上の座標と関連して配置されており、例えば“01”のマーカ文字の中心はディスプレイ101の座標(20、20)を示し、“02”のマーカ文字の中心は(40、20)を示すようになっている。このようにマーカ文字が規則的に配置されたマーカ映像をディスプレイ101上に表示することで、マーカ文字の表示位置からディスプレイ101の座標を検知することが可能になる。
【0032】
図3のフローチャートの説明で前述したように、デジタルカメラ100はマーカ映像105を表示するディスプレイ101を撮影し、その撮影画像をパーソナルコンピュータ102に送信する。撮影画像の送信には図1示す、USBやRS−232Cなどの有線ケーブル接続、または、ワイヤレスLANなどの無線接続によるデータ信号接続103を用いて行う。パーソナルコンピュータ102は、デジタルカメラ100により得られた撮影画像を上述のような通信を介して取得する。パーソナルコンピュータ102は、デジタルカメラ100より撮影画像を受信すると、処理をステップS404からステップS405に移行させる。
【0033】
ステップS405、S406において、パーソナルコンピュータ102は受信した撮影画像に含まれているマーカ画像からディスプレイ101のどの部分が撮影されているかを検出する。まず、受信した撮影画像からマーカ画像を抽出する。続いて、マーカが図からディスプレイ101のどの部分が撮影されているかを検出する。撮影されたマーカ画像からディスプレイの部分を特定する方法としては種々の方法が考えられる。例えば、上述のように、マーカ画像が01,02…のような数字や文字であり、且つ、ディスプレイ101上における表示位置(座標)が既知であれば、周知の文字認識処理を適用してマーカ画像を特定し、その座標を決定することができる。或いは、ディスプレイ101の全域に表示しているマーカ映像と撮影画像について周知のマッチング処理を行うことにより、撮影画像がマーカ映像のどの部分であるかを特定することができる。また、回転等に対しても、文字認識処理における周知の回転判定処理等を適用すれば容易に検出できる。本実施形態では、ステップS405においてパーソナルコンピュータ102は両者の画像を比較(マッチング)することで、デジタルカメラ100が撮影した部分を特定し、ステップS406においてその範囲の座標を検出する(ステップS406)。座標の検出に成功した場合、処理はステップS407からステップS409に移行する。他方、座標検知に失敗した場合には処理はステップS407からステップS408に移行する。なお、ステップS405でマーカ画像が抽出できなかった場合は座標検知失敗と同等であり、S407を経てS408へ進む。
【0034】
座標の検出に失敗した場合、すなわち、ステップS408に移行した場合には、パーソナルコンピュータ102は、デジタルカメラ100に座標検出に失敗したことを知らせる情報を送信する。その後、ステップS404に移行し、デジタルカメラ100からの撮影画像受信待ちの状態に移行する。一方、ステップS409に移行した場合には、パーソナルコンピュータ102は、座標検出に成功したことを知らせる情報をデジタルカメラ100に送信する。そして、ステップS410において、パーソナルコンピュータ102は、ディスプレイ101へのマーカ映像の表示を停止する。即ち、撮影用の映像であるマーカ映像と観察用の映像との交互表示を停止し、通常の表示映像のみの表示に戻る。なお、デジタルカメラ100より座標取得処理中断通知(S311)を受信した場合には、パーソナルコンピュータ102は、直ちにディスプレイ101へのマーカ映像の表示を停止し(S410)、図4に示した処理を終了する。
【0035】
以上、説明した制御により、デジタルカメラ100がディスプレイ101上に表示したマーカ映像を撮影することでデジタルカメラ100がディスプレイ101上のどの領域を撮影しているかを検出することが可能となる。即ち、観察者でもあるユーザがディスプレイ101上の所望の位置を撮影することにより、ディスプレイ101上における当該所望の位置を指示することができる。また、ユーザがデジタルカメラ100を回転させて撮影を行った場合には、撮影画像の回転量からその角度を検出できるので、所望の角度を指定することも可能である。従って、パーソナルコンピュータ102は、これらの検出値(座標値や回転量)を利用して、デジタルカメラ100に格納されている画像等をディスプレイ101上の所望の位置に所望の回転量で表示させたり、表示中の所望の画像を選択して移動/削除を指示したりすることが可能となる。
【0036】
図6はマーカ映像105の撮影から、ディスプレイ上の座標点を検知するまでの流れを説明する図である。撮影者は、デジタルカメラ100に備わる液晶パネル107で撮影位置を確認しながら、マーカ映像105の表示が行われているディスプレイ101の所望の位置を撮影する。上述したように、マーカ映像105の表示は撮影準備信号を受信してから観察用の映像の表示と交互に行われるので、観察用の映像において表示される所望の画像を指示することも容易に行える。パーソナルコンピュータ102はデジタルカメラ100が撮影した画像と、ディスプレイ101に表示している映像とから、画像認識により、座標点ならびに撮影領域、回転量の算出を行う。
【0037】
図7は、ディスプレイ101の表示例であり、算出された座標点(撮影領域)内に存在する画像を強調表示する処理を説明する図である。図7の(a)において点線で囲われた領域701は、デジタルカメラ100の操作者がディスプレイ101上の一領域に焦点を合わせ、撮影しようとしている撮影範囲である。この状態でデジタルカメラ100が撮影を実行し、その撮影画像がパーソナルコンピュータ102に送信されると、パーソナルコンピュータ102は、当該撮影画像に含まれるマーカ画像から領域701の座標を検出する。パーソナルコンピュータ102は、検出された領域701内(デジタルカメラ100の撮影範囲内)に存在する映像を検出し、検出された映像の強調表示を行う。本実施形態においては、図7の(b)に示されるように、画像の枠を太枠に変更することで映像の強調表示を行っている。上記手順によって、操作者はディスプレイ101に表示中の映像から所望の画像をデジタルカメラ100による撮影操作により指定(選択)することができる。
【0038】
図8は、選択された画像の表示位置を移動する処理を表した図である。図8の(a)において点線で囲われた領域801は、デジタルカメラ100の操作者がディスプレイ101上の一領域に焦点を合わせている撮影範囲である。この状態でデジタルカメラ100による撮影が行われると、上述したように、領域801内の画像が選択される。続いて、デジタルカメラ100の撮影範囲をディスプレイ101上の、画像を移動したい領域802に合わせて撮影が行われると移動先の領域802が決定される(図8の(b))。移動先が決定されると図8の(c)に示すように領域801の指定により選択された画像を移動先として指定された領域802に移動する移動処理が行われる。なお、操作者が領域801を選択した後、移動先を決定するまでの間、ディスプレイ101には、選択された領域801に対応する領域枠を1フレーム毎に表示する。なお、領域枠の表示間隔は1フレーム間隔に限定されるものではなく、1フレーム以上、1フレーム単位の任意のタイミングで表示装置上に表示可能である。また、移動先の領域802が決定され、選択された画像を移動する際には、図8の(b)に示すように、領域枠の移動軌跡を表示するようにしても良い。
【0039】
図9は選択された映像の表示を削除する処理を表した図である。図9の(a)において点線で囲われた領域901は、デジタルカメラ100を持つ撮影者がディスプレイ101上の一領域に焦点を合わせている選択範囲に対応する。この状態でデジタルカメラ100による撮影が行われると、パーソナルコンピュータ102は、図7において説明したように、領域901を認識し、その内部に存在する画像を選択された画像とする。その後、操作者がデジタルカメラ100の操作スイッチ208のうちの一つである削除ボタンを押すと、図9の(b)に示すように選択された画像の表示が削除される。なお、このときデータの実体を削除するようにしても良い。また、このとき、デジタルカメラ100は削除ボタンが押下されたことをパーソナルコンピュータ102に送受信部209を介して通知する。
【0040】
(第2実施形態)
図3と、図4で説明した第1実施形態の処理では、デジタルカメラ100によるマーカ撮影処理が失敗した場合(パーソナルコンピュータ102による座標検出に失敗した場合)には、再度マーカ映像の撮影を試みる方法をとっている。本手順による処理は簡易であり、プログラムの作成も容易であるが、撮影環境によっては、何度撮影を繰り返してもマーカ撮影処理が成功しない場合も考えられる。こういった場合には、デジタルカメラ100によるマーカ撮影処理が失敗した場合には、次回撮影時にマーカ取り込みの成功率が向上するように、マーカ映像の表示状態を変更させる。より具体的には、座標の検出に失敗した場合に、マーカ映像の単位時間あたりの表示期間を増加させることにより、デジタルカメラ100がマーカ映像の撮影に成功する可能性を高める。
【0041】
図5は第2実施形態に係るパーソナルコンピュータ102による座標検出処理を示すフローチャートである。図5の処理は、パーソナルコンピュータ102のCPU251が、不揮発性メモリ252に記憶されたプログラムをメモリ253に展開して実行することにより実現する。図5において図4と同じ処理には同一のステップ番号を付してある。第2実施形態では、パーソナルコンピュータ102は、座標検出に失敗したことを知らせる情報をデジタルカメラ100に送信(ステップS408)した後、ディスプレイ101におけるマーカ表示状態を変更する(ステップS501)。マーカ映像の単位時間あたりの表示期間を増加させるためのマーカ表示状態の変更方法としては種々の方法が考えられるが、それらのうちのいくつかの具体例について、以下、説明する。
【0042】
〈マーカ映像の表示期間の変更〉
図10は、実施形態に係るディスプレイ101におけるマーカ映像が連続して表示される期間を伸ばす処理を示す図である。この例においては、ディスプレイ101が1秒間に30コマの画像を表示可能なディスプレイであると仮定して説明を行う。図10において、最初の撮影時には、マーカの表示は1/30秒間、1秒間隔で行われている。1001は、最初の撮影におけるマーカ表示状態であり、マーカ映像の連続して表示される期間が1/30秒間、表示間隔が1秒の場合のディスプレイ101における表示コマを時系列で表したものである。ディスプレイ101上にマーカ映像を長時間表示すると、ディスプレイ101上に表示されている観察用の表示映像が見にくくなってしまうため、初期状態ではできるだけマーカ表示時間が短くなるように設定している。
【0043】
デジタルカメラ100による最初の撮影で座標の検出に失敗した場合には、図5のステップS501にて、マーカ表示状態を変更する。図10においては、マーカ映像の表示期間を伸ばすことで、次回の撮影時の座標検出確率を高める制御を行っている。1002は、2回目の撮影におけるマーカ映像の表示状態であり、マーカ映像の表示期間を2/30秒間、表示間隔を1秒に変更した場合のディスプレイ101の表示コマを時系列で表したものである。
【0044】
マーカ映像の表示期間が2/30秒間でも座標検出に失敗する場合には、その連続して表示される期間を2/30秒間から3/30秒間に延長する。1003は、3回目の撮影におけるマーカ表示状態であり、マーカ映像の表示期間を3/30秒間、表示間隔1秒に変更した場合のディスプレイの表示コマを時系列で表したものである。
【0045】
マーカ映像の表示期間を3/30秒間に伸ばしても座標検出が失敗する場合には、表示期間を4/30秒間、5/30秒間 ・・・ というように、マーカ映像の表示コマ数を順次に増やしていくことで、撮影時の検出確率を高めるように制御を行う。ここで、マーカ映像の表示期間の変更量は、1/30秒間→2/30秒間→3/30秒間のように一定である必要は無く、例えば1/30秒間→2/30秒間→4/30秒間というように変更しても良い。
【0046】
〈マーカ映像の表示間隔の変更〉
図11は、ディスプレイ101におけるマーカ映像の表示間隔を短縮する処理を示す図である。1001は、最初の撮影におけるマーカ映像の表示状態であり、マーカ映像の表示期間が1/30秒間、表示間隔が1秒の場合のディスプレイの表示コマを時系列で表したものである。
【0047】
最初の撮影で、座標の検出に失敗した場合には、図5のステップS501にて、ディスプレイ101のマーカ表示状態を図11に示すように変更する。図11においては、マーカ映像の表示間隔を短縮することで、次回撮影時の座標検出確率を高める制御を行っている。1102は、2回目の撮影におけるマーカ表示状態であり、マーカ映像の表示期間を1/30秒間、表示間隔を1/2秒に変更した場合のディスプレイの表示コマを時系列で表したものである。
【0048】
マーカ映像の表示間隔が1/2秒でも座標検出に失敗する場合には、マーカ映像の表示間隔を1/2秒から1/3秒に短縮する。1103は、3回目の撮影におけるマーカ映像の表示状態であり、マーカ映像の表示期間を1/30秒間、表示間隔を1/3秒に変更した場合のディスプレイ101の表示コマを時系列で表したものである。マーカ映像の表示間隔を1/3秒に短縮しても座標検出が失敗する場合には、更にマーカ映像の表示間隔を1/4秒、1/5秒というように暫時短縮することで、撮影時の座標検出確率を高めるように制御を行う。
【0049】
〈マーカ映像の表示期間と表示間隔の変更〉
図12は、ディスプレイ101におけるマーカ表示期間を伸ばし、かつマーカ表示間隔を短縮する処理を示す図である。1001は、最初の撮影におけるマーカ表示状態であり、マーカ映像の表示期間が1/30秒間、表示間隔が1秒の場合のディスプレイの表示コマを時系列で表したものである。
【0050】
最初の撮影で、座標の検出に失敗した場合には、図5のステップS501にて、ディスプレイ101におけるマーカ表示状態を変更する。図12においては、マーカ映像の表示期間と表示間隔の両方を変更することで、次回撮影時の座標検出確率を高める制御を行っている。1202は、2回目の撮影におけるマーカ表示状態であり、マーカ映像の表示期間を2/30秒間、表示間隔を1/2秒に変更した場合のディスプレイの表示コマを時系列で図示したものである。
【0051】
マーカ映像の表示間隔と表示期間を1202に示すように変更しても座標検出が失敗する場合には、1203に示すように、マーカ映像の表示期間を2/30秒から3/30秒に変更し、表示間隔を1/2秒から1/3秒に変更する。このようにして、単位時間当たりのマーカ映像105の表示期間を暫時増加させることで、撮影時の座標検出確率を高める。
【0052】
以上のように、上記実施形態によれば、座標の検出のための解析対象となるマーカ映像の表示を、撮影装置からの撮影準備信号の受信に応じて開始させるので、観察用の表示映像を観察しようとするユーザに与える違和感を減少させることができる。また、上記実施形態によれば、表示制御装置において座標を演算するので、撮像装置側の負荷は少ない。すなわち、撮像装置はレリーズスイッチの1段目がオンしたことを示す信号と撮影画像を表示制御装置に送信する機能を有していれば十分であり、撮像装置に特殊な機能を追加する必要がなくなる。
【0053】
なお、上記第1実施形態では、マーカ映像と観察用の映像とを交互に表示するが、撮影準備信号の受信に応じてマーカ映像のみを表示するようにすることもできる。この場合、確実にマーカ映像を撮影できるが、レリーズスイッチ106の1段目がオンすると観察用の映像を観察することができなくなる。
【0054】
また、例えば特許文献2に記載された構成、即ちデジタルカメラ100の側で座標検出を行う構成に本発明を適用することもできる。この場合、デジタルカメラ100のシステム制御回路207は、ステップS306で撮影を実行すると、その撮影画像に基づいて指示位置を示す座標を取得する。デジタルカメラ100は、座標の取得に成功したか失敗したかをパーソナルコンピュータ102に通知する。パーソナルコンピュータ102は、座標の取得に成功した旨の信号をデジタルカメラ100から受信すると、撮影準備信号に応じて開始したマーカ画像の表示を終了する。
【0055】
(第3実施形態)
第1、第2実施形態では、デジタルカメラ100により所望の位置(或いは範囲)を指示可能とする構成を説明したが、本発明はこれらの構成への適用に限られるものではない。撮影準備信号に応じて、観察目的の映像から処理目的にあわせた映像に変更する構成は、例えば、バーコードやQRコードのコード画像を含む映像に適用することができる。この場合、撮像装置としてカメラ機能およびコード読み取り機能を持つ携帯電話を用いて、通常のカメラ動作で撮影を行なう場合には通常の映像表示を行い、コード読み取りを行なう場合にのみQRコード等を含む撮影用の映像表示をするようにできる。但し、携帯電話は、コード読み取り機能が動作中である旨を示す信号を出力する機能を持つものとする。このような、コード読み取り機能が動作中である旨を示す信号も、本願の撮影準備信号の範疇である。パーソナルコンピュータ102は、コード読み取り機能が動作中である旨の信号の受信に応じて、例えばQRコード等のコード画像の表示を開始する。
【0056】
また、撮影時に不要な情報を非表示にするように構成することもできる。例えば、QRコードを常時表示し、コード読み取り機能による撮影ではなくカメラによる撮影を行なう場合には、コード画像を非表示とする。
【0057】
以上、本発明の実施形態について具体的な説明を行ったが、本発明は上述の実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。
【0058】
例えば、上記実施形態においては、撮像装置が1台である場合の動作を示したが、パーソナルコンピュータ102に複数の撮像装置を接続できるようにしてもよい。この場合、それぞれの撮像装置が同時にディスプレイ101の表示画面を撮影し、撮影範囲の座標を取得することが可能となり、それぞれの撮像装置が同時にディスプレイ101上の映像を操作することが可能となる。
【0059】
また、上記第1、第2実施形態においては、画像の選択、選択画像の移動、削除といった後処理を施すことを例示したが、本発明の主旨からすれば、これら処理に限定されるものではないことは明らかである。例えば、画像の拡大/縮小、複製、回転、置換など他の様々な処理を実施することも可能である。
【0060】
また、上記第1、第2実施形態では、デジタルカメラ100で撮影された撮影画像の全体を用いて座標検出を行なっているが、撮影画像の一部を用いて座標検出を行うようにしてもよい。例えば、撮像画像のうち、デジタルカメラ100のフォーカスフレーム内の画像を用いて座標検出を行うようにしても良い。
【0061】
なお、システム制御回路207の制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
【0062】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0063】
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、撮像機能を有するパーソナルコンピュータやPDA、携帯電話といった機器を用いることも可能である。
【0064】
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【0001】
本発明は、外部機器からの制御信号によって画像表示制御を変更する表示制御装置、方法、プログラム、記憶媒体に関するものである。
【背景技術】
【0002】
デジタルカメラなどの撮像装置によって撮影された画像を、プロジェクタ、LCD、プラズマディスプレイなどの大型ディスプレイ、ならびに電子ペーパーなどの所望の位置に配置する種々の方法が提案されている。
【0003】
例えば、特許文献1においては、あらかじめ所定の位置に表示された複数のマークと、撮像装置本体から照射されるビームの点を撮影することにより、当該ビームがポインティングしている座標を特定する装置が提案されている。特許文献1に記載された装置は、所定平面上の所定の位置に表示された複数のマークと照射されたビームの点を撮像し、その撮像された画像からマークとビームの点を抽出することでビームによって指示された位置を特定する。
【0004】
また、パーソナルコンピュータにおいては、画像を編集するソフトを用いて、バックグラウンドシートの上に、写真やイラストなどの画像を自由にレイアウトすることが一般的に行われている。グラフィックユーザインターフェース、いわゆるGUIにて、画像を含む図形の配置を行う操作においては、マウスやペン入力機器のようなポインティング機器を使用することにより、表示画面上にて直接図形等を指定して操作することが可能である。
【0005】
特許文献2は、このようなポインティング操作にマウスやペン入力機器を用いず、撮像装置を用いることによりポインティング操作を実現することを提案している。この提案によると、表示画面に、ある一定のフレーム毎にマーカを入れ、マーカ画像のみを隣り合ったフレームの差分画像処理により抽出し、そのマーカに基づいて指示位置の位置を検出し位置の検出を行っている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2001−325069号公報
【特許文献2】特開平7−121293号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記従来技術によるポインティング方法では、画面上に常にマーカの画像を表示する(特許文献1)か、マーカ映像と通常の表示映像との交互表示を常に行う(特許文献2)必要がある。マーカの表示はポインティング位置の演算するために利用されるものであり、ユーザが観察しようとする対象ではない。従って、そのようなマーカの画像が常に表示された画面は、ユーザに違和感を与える。また、マーカが表示されている場所は通常の表示には利用できないことになる。これに対して、通常の映像(マーカのない映像)とマーカ映像を交互に表示する場合、マーカの表示位置も通常の映像表示に利用できる。しかしながら、ユーザが通常の映像を観察しようとする場合に、ユーザに画面のちらつき感を与えてしまう可能性がある。
【0008】
また、最近では、ユーザが視認可能な広告情報とともに関連するURLを示すコードイメージ(例えばQRコード)をディスプレイ上に表示する場合がある。QRコードはユーザが見ても何の意味も成さないので、QRコードのスペースは視認可能な情報の掲載にとってみれば、使用することのできない無駄なスペースとなってしまう。
【0009】
本発明は、上記の課題に鑑みてなされたものであり、通常の映像表示と撮影のための映像の表示を適切なタイミングで切り替えることを可能とし、画面を観察するユーザに与える違和感等を減少させることを目的とする。
【課題を解決するための手段】
【0010】
上記の目的を達成するための本発明の一態様による表示制御装置は以下の構成を備える。すなわち、
表示装置の表示画面に画像を表示させる表示制御装置であって、
ユーザに観察させるための観察用の映像を前記表示画面に表示させる表示手段と、
通信可能に接続された撮像装置と通信する通信手段と、
前記通信手段を介して前記撮像装置から撮影準備信号を受信したことに応じて、前記表示画面における表示を、前記観察用の映像から前記撮像装置によって撮影されるべく予め用意された撮影用の映像に切り替える制御手段とを備える。
【発明の効果】
【0011】
本発明によれば、撮影画像の解析において解析の対象となる画像を適切なタイミングで映像に含ませることができ、画面を観察するユーザに与える違和感を減少させることができる。
【図面の簡単な説明】
【0012】
【図1】表示システムの構成例を示す図。
【図2】(a)は撮像装置の構成例を示すブロック図、(b)はパーソナルコンピュータの構成例を示すブロック図。
【図3】撮像装置が表示装置上に表示されたマーカを取得する処理を示すフローチャート。
【図4】画像表示装置が撮像装置の撮影した範囲の座標を検出する処理を示すフローチャート。
【図5】画像表示装置が撮像装置の撮影した範囲の座標を検出する処理を示すフローチャート。
【図6】マーカ映像の撮影から表示装置上の座標点を検知するまでの流れを示す図。
【図7】算出された座標点内に存在する画像を強調表示する処理を表した図。
【図8】選択された画像の表示を移動する処理を表した図。
【図9】選択された画像の表示を削除する処理を表した図。
【図10】表示装置のマーカ表示期間を伸ばす処理を示す図。
【図11】表示装置のマーカ表示間隔を短縮する処理を示す図。
【図12】表示装置のマーカ表示期間を伸ばし、かつマーカ表示間隔を短縮する処理を示す図。
【発明を実施するための形態】
【0013】
以下、添付の図面を参照して、本発明の好適な実施形態を説明する。
【0014】
(第1実施形態)
まず、本発明の実施形態に係る撮像装置、表示装置及び制御装置について説明する。
図1は、実施形態に係わる表示システムの構成例を示す図である。本表示システムにおいては、ディスプレイ101における画面上の所望の位置を指示するための入力手段として撮像装置が用いられる。本実施形態ではそのような撮像装置としてデジタルカメラ100が用いられる。ディスプレイ101は、パーソナルコンピュータ102の制御により、その表示画面上に映像を表示する。ディスプレイ101としては、例えばプロジェクタのスクリーン、LCD、プラズマディスプレイなどを用いることができる。
【0015】
ディスプレイ101への表示を制御する表示制御装置としては、種々の情報処理装置が利用可能であり、本実施形態ではパーソナルコンピュータ102が用いられている。パーソナルコンピュータ102は、インストールされたプログラム(アプリケーション)を実行することにより、ディスプレイ101に対する表示制御や、後述のフローチャートに示された処理を含む各種処理を実行する。デジタルカメラ100とパーソナルコンピュータ102は、データ信号接続103により通信可能に接続されている。データ信号接続103としては、USBやRS−232Cなどの有線ケーブルによる接続、または、BluetoothやワイヤレスLANなどの無線形式での接続を用いることができる。ディスプレイ101とパーソナルコンピュータ102は、映像信号接続104で示すように、アナログRGBやDVIなどの映像信号を通信するために、有線ケーブルやワイヤレスLANなどの無線形式で接続されている。
【0016】
また、ディスプレイ101上には、パーソナルコンピュータ102の制御下でマーカ映像105が表示される。操作者がレリーズスイッチ106を操作することによりデジタルカメラ100でディスプレイ101に表示されているマーカ映像105を撮影すると、得られた撮影画像はデータ信号接続103を介してパーソナルコンピュータ102に送信される。本実施形態では、マーカ映像105を数字や文字で表しているが、任意の記号、数字、文字、または幾何学的模様であっても何ら構わない。ただし、それぞれの座標点で固有のものであり、局所的な画像により座標点が容易に検出できるものであるとする。
【0017】
図2(a)は撮像装置としてのデジタルカメラ100のブロック図である。撮像素子201は、撮影レンズ200を介して形成される光学像を電気信号に変換する。A/D変換器202は撮像素子201のアナログ信号出力をディジタル信号に変換する。レンズ制御部203は撮影レンズ200のフォーカシングならびにズーミングを制御する。撮像素子制御部204は、システム制御回路207の制御下で撮像素子201やA/D変換器202にクロック信号や制御信号を供給する。画像処理回路205は、A/D変換器202からのデータ或いはシステム制御回路207からの画像データに対して所定の画素補間処理や色変換処理を行う。メモリ206は撮影した画像を格納するメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、画像処理回路205やシステム制御回路207の作業領域としても使用することが可能である。システム制御回路207はデジタルカメラ100全体を制御する。システム制御回路207には、動作用の定数、変数、プログラム等を記憶するメモリ(不図示)が含まれる。スイッチ208はデジタルカメラ100に備え付けられているスイッチ全般を表しており、例えば以下を含むものとする。電源オン/オフを制御する電源スイッチ、撮像装置のモード(通常撮影モード、画像選択モード、再生モード等)を切り替えるモードダイアルスイッチ、撮影レンズ200を駆動し、ズーミングを行うズームスイッチ、撮影を行うシャッタースイッチ等である。送受信部209は、USBやRS−232Cなどの有線ケーブルによる通信を行うための接続コネクタならびに制御回路、ワイヤレスLANなどの無線通信を行うためのトランスミッターならびに制御回路を有する。送受信部209により、メモリ206に保存された撮影画像を通信相手に送信したり、また通信相手の動作状況等を示す情報を受信し、システム制御回路207に伝えたりすることができる。表示部210は、液晶パネル107等のディスプレイ、ならびに液晶パネル背面より光を照射するバックライトより構成される。
【0018】
図2(b)は表示制御装置としてのパーソナルコンピュータ102のブロック図である。
図1において、内部バス250に対してCPU251、不揮発性メモリ252、メモリ253、映像出力部254、入力部255、ドライブ装置256および通信I/F257が接続される。内部バス250に接続される各部は、内部バス250を介して互いにデータのやりとりを行うことができるようにされている。不揮発性メモリ252は、画像データやその他のデータ、CPU251が動作するための各種プログラムなどが格納される。メモリ253は、例えばRAMからなり、CPU251のワークメモリとして使用可能である。CPU251は、例えば不揮発性メモリ252に格納されるプログラムに従い、メモリ253をワークメモリとして用いて、このパーソナルコンピュータ102の各部を制御する。
【0019】
入力部255は、ユーザ操作を受け付け、操作に応じた制御信号を生成し、CPU251に供給する。例えば、入力部255は、ユーザ操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイスなどを有する。なお、タッチパネルは、例えば平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。CPU251は、入力デバイスに対してなされたユーザ操作に応じて入力部255で生成され供給される制御信号に基づき、プログラムに従いこのパーソナルコンピュータ102の各部を制御する。これにより、パーソナルコンピュータ102に対し、ユーザ操作に応じた動作を行わせることができる。
【0020】
映像出力部254は、ディスプレイ101等の表示手段に対して映像を表示させるための表示信号を出力する。例えば、映像出力部254に対して、CPU251がプログラムに従い生成した表示制御信号と、表示制御信号に基づいて生成された表示信号(映像信号)を供給する。映像出力部は、表示制御信号に基づき表示信号(映像信号)をディスプレイ101に対して出力する。例えば、映像出力部254は、CPU251が生成する表示制御信号に基づき、GUI(Graphical User Interface)を構成するGUI画面をディスプレイ101に対して出力して表示させる。また、映像出力部254は、CPU251が生成する表示制御信号に基づき、後述する通常の観察用の表示映像やマーカ映像105をディスプレイ101に対して出力して表示させる。
【0021】
ディスプレイ101はパーソナルコンピュータ102の一部を構成するディスプレイであっても、外付けの外部表示手段であってもよく、前述のとおり、プロジェクタのスクリーン、LCD、プラズマディスプレイなどを用いることができる。ディスプレイ101は前述のとおり映像信号接続104を介してパーソナルコンピュータ102の映像出力部254と接続される。
【0022】
ドライブ装置256は、CDやDVDといった外部記憶媒体258が装着可能とされ、CPU251の制御に基づき、装着された外部記憶媒体258からのデータの読み出しや、当該外部記憶媒体258に対するデータの書き込みを行う。なお、ドライブ装置256が装着可能な外部記憶媒体258は、CDやDVDといったディスク記録媒体に限られず、例えばメモリカードなどの不揮発性の半導体メモリをドライブ装置256に装着するものとしてもよい。通信インターフェイス(I/F)257は、CPU251の制御に基づき、LANやインターネットといったネットワーク120や、デジタルカメラ100(より具体的には送受信部209)に対する通信(有線、無線は問わない)を行う。
後述するデジタルカメラ100からの押下完了信号(撮影準備信号)、撮影画像、座標取得処理中断通知の受信、デジタルカメラへの表示完了信号、座標取得の成否情報の送信はこのこの通信I/F257を介して行う。
【0023】
次に、デジタルカメラ100の動作を図3に示すフローチャートに基づいて説明する。図3のフローチャートは、システム制御回路207が、デジタルカメラ100に含まれる不図示のメモリに記憶されたプログラムをメモリ206に展開して実行することによって実現する。
まず、ステップS301にてデジタルカメラ100のシステム制御回路207は、マーカを取り込むための適切なモードに移行しているかどうかの確認を行う。本実施形態において、デジタルカメラ100は“電子アルバムモード”を備える。電子アルバムモードに移行した状態のデジタルカメラ100によりディスプレイ101上に表示されたマーカ映像105を撮影すると、撮影されたマーカ画像に所定の処理が行われ、デジタルカメラが表示装置上のどの範囲を撮影したかを検出することが可能になる。
【0024】
次に、ステップS302において、システム制御回路207はレリーズスイッチ106の1段目が押下されたかどうかを検出する。図1に示されるように、レリーズスイッチ106は、デジタルカメラ100に撮像動作を開始させるためのスイッチである。本実施形態においては、このレリーズスイッチ106は2段階のスイッチとなっており、撮影者がレリーズスイッチ106を軽く押下すると1段目のスイッチがオンし、強く押し込むと2段目のスイッチがオンする仕組みとなっている。一般に1段目のスイッチがオンすることによりデジタルカメラ100はオートフォーカス動作等の撮影準備を開始する。そして、2段目のスイッチがオンすると、撮影が開始される。
【0025】
システム制御回路207は、ステップS302においてレリーズスイッチ106の1段目が押されたことを検出すると、処理をステップS303に進める。ステップS303において、システム制御回路207は、送受信部209を用いてパーソナルコンピュータ102に対してレリーズスイッチ106の1段目の押下完了信号を撮影準備信号として送信する。この場合、撮影準備信号は、オートフォーカスの開始に対応したものとなる。パーソナルコンピュータ102はこの1段目の押下信号を受信すると、ディスプレイ101上にマーカ映像105と通常の表示映像との交互表示を開始し、デジタルカメラ100にマーカ表示完了信号を送信する。表示制御装置であるパーソナルコンピュータ102の動作フローに関しては後ほど詳述する。
【0026】
ステップS304において、送受信部209を介してパーソナルコンピュータ102からマーカ表示完了信号を受信すると、処理はステップS305に移行する。ここで、レリーズスイッチ106の2段目のスイッチが押されると、処理はステップS306に移行し、システム制御回路207は撮像素子201による撮影を実行する。ここでは、パーソナルコンピュータ102の制御によりマーカ映像105と通常の表示映像が交互に表示されているディスプレイ101の表示画面の撮影が行われるものとする。撮影完了後、システム制御回路207は、ステップS307において、撮影画像をパーソナルコンピュータ102に送信する。パーソナルコンピュータ102では、デジタルカメラ100から送信された撮影画像に含まれるマーカ映像105の画像に基づいて、座標取得が行われる。
【0027】
次に、ステップS308に移行し、システム制御回路207は、送受信部209を介してパーソナルコンピュータ102からの座標取得の成否情報を入手する。パーソナルコンピュータ102から座標取得失敗の情報を受け取った場合には、処理はステップS309に移行する。他方、パーソナルコンピュータ102から座標取得成功の情報を受け取った場合には本フローチャートのシーケンスを終了する。
【0028】
座標取得失敗の情報を受け、処理がステップS309に移行した場合には、システム制御回路207は、デジタルカメラ100の液晶パネル107を用いて座標取得処理に失敗したことを撮影者に通知する。次に、S310において、システム制御回路207は、レリーズスイッチ106の2段目が押されているかの検知を再度行う。レリーズスイッチ106が押されている場合にはステップS306に移行し、システム制御回路207は、再度、座標取得処理のために撮影を実行する。レリーズスイッチ106が押されていない場合には、システム制御回路207は撮影者がマーカ映像105の取得作業を中断したと判断し、ステップS311において、液晶パネル107により座標取得処理が中断されたことを撮影者に通知する。これによって、レリーズスイッチ106の2段目のスイッチが押され続けている間は連続的に撮影が行われ、座標取得成功の情報を受け取るまで連続的に撮影された画像を連続的に送信し続けることとなる。なお、S307で送信する画像は1枚としてもよいし、複数枚毎としてもよい。1枚の場合は、1枚の画像を撮影するたびに撮影画像を表示制御装置に送信して座標取得の成否情報を待つ構成となる。また、複数枚毎の場合は、複数回の撮影をしてある程度の枚数の撮影画像が溜まってからまとめて複数の画像を表示制御装置に送信し、座標取得の成否情報を待つ構成となる。なお、座標取得の成功の情報を取得するまでは、座標取得の成否情報の取得の有無に関わらず撮影を続け、撮影画像を送信し続ける構成としてもよい。このようにすれば、無線等で通信が途切れ途切れになる場合でも対応可能である。
【0029】
次に、本発明に係わる画像表示制御装置としてのパーソナルコンピュータの動作をフローチャートに基づいて説明する。図4は本実施形態に係る表示制御装置(パーソナルコンピュータ102)が撮像装置(デジタルカメラ100)の撮影した範囲の座標を検出する処理を示すフローチャートである。なお、パーソナルコンピュータはディスプレイ101の表示画面上に、ユーザに観察させるための観察用の映像を表示させているものとする。図4の処理は、パーソナルコンピュータ102のCPU251が、不揮発性メモリ252に記憶されたプログラムをメモリ253に展開して実行することにより実現する。
【0030】
ステップS401にて、デジタルカメラ100から、レリーズスイッチ106の1段目が押下されていることを示す押下完了信号(撮影準備信号)を受信した場合、処理はステップS402に移行する。ステップS402において、パーソナルコンピュータ102は、表示装置であるディスプレイ101によるマーカ映像105の表示を開始する。マーカ映像105は、デジタルカメラ100によって撮影されることを目的して予め用意された撮影用の映像である。ここで、パーソナルコンピュータ102は、通常の観察用の映像のみをディスプレイ101に表示していた状態から、マーカ映像105(即ち、撮影用の映像)と観察用の映像とを交互にディスプレイ101に表示する状態へ、表示を切り替える。例えば、観察用の表示映像を表示する間に、撮影用の映像であるマーカ映像105を所定の表示間隔(たとえば1秒)で所定の表示期間(たとえば1/30秒)だけ表示する。マーカ映像105と観察用の表示映像との交互表示を開始したならば、パーソナルコンピュータ102は、ステップS403においてデジタルカメラ100にマーカ映像105の表示完了信号を送信する。
【0031】
マーカ映像105は、例えば図1に示すように、ディスプレイ101の左上から順番に01、02、03・・・というように規則的にマーカ文字を表示したものである。各マーカ文字はディスプレイ101上の座標と関連して配置されており、例えば“01”のマーカ文字の中心はディスプレイ101の座標(20、20)を示し、“02”のマーカ文字の中心は(40、20)を示すようになっている。このようにマーカ文字が規則的に配置されたマーカ映像をディスプレイ101上に表示することで、マーカ文字の表示位置からディスプレイ101の座標を検知することが可能になる。
【0032】
図3のフローチャートの説明で前述したように、デジタルカメラ100はマーカ映像105を表示するディスプレイ101を撮影し、その撮影画像をパーソナルコンピュータ102に送信する。撮影画像の送信には図1示す、USBやRS−232Cなどの有線ケーブル接続、または、ワイヤレスLANなどの無線接続によるデータ信号接続103を用いて行う。パーソナルコンピュータ102は、デジタルカメラ100により得られた撮影画像を上述のような通信を介して取得する。パーソナルコンピュータ102は、デジタルカメラ100より撮影画像を受信すると、処理をステップS404からステップS405に移行させる。
【0033】
ステップS405、S406において、パーソナルコンピュータ102は受信した撮影画像に含まれているマーカ画像からディスプレイ101のどの部分が撮影されているかを検出する。まず、受信した撮影画像からマーカ画像を抽出する。続いて、マーカが図からディスプレイ101のどの部分が撮影されているかを検出する。撮影されたマーカ画像からディスプレイの部分を特定する方法としては種々の方法が考えられる。例えば、上述のように、マーカ画像が01,02…のような数字や文字であり、且つ、ディスプレイ101上における表示位置(座標)が既知であれば、周知の文字認識処理を適用してマーカ画像を特定し、その座標を決定することができる。或いは、ディスプレイ101の全域に表示しているマーカ映像と撮影画像について周知のマッチング処理を行うことにより、撮影画像がマーカ映像のどの部分であるかを特定することができる。また、回転等に対しても、文字認識処理における周知の回転判定処理等を適用すれば容易に検出できる。本実施形態では、ステップS405においてパーソナルコンピュータ102は両者の画像を比較(マッチング)することで、デジタルカメラ100が撮影した部分を特定し、ステップS406においてその範囲の座標を検出する(ステップS406)。座標の検出に成功した場合、処理はステップS407からステップS409に移行する。他方、座標検知に失敗した場合には処理はステップS407からステップS408に移行する。なお、ステップS405でマーカ画像が抽出できなかった場合は座標検知失敗と同等であり、S407を経てS408へ進む。
【0034】
座標の検出に失敗した場合、すなわち、ステップS408に移行した場合には、パーソナルコンピュータ102は、デジタルカメラ100に座標検出に失敗したことを知らせる情報を送信する。その後、ステップS404に移行し、デジタルカメラ100からの撮影画像受信待ちの状態に移行する。一方、ステップS409に移行した場合には、パーソナルコンピュータ102は、座標検出に成功したことを知らせる情報をデジタルカメラ100に送信する。そして、ステップS410において、パーソナルコンピュータ102は、ディスプレイ101へのマーカ映像の表示を停止する。即ち、撮影用の映像であるマーカ映像と観察用の映像との交互表示を停止し、通常の表示映像のみの表示に戻る。なお、デジタルカメラ100より座標取得処理中断通知(S311)を受信した場合には、パーソナルコンピュータ102は、直ちにディスプレイ101へのマーカ映像の表示を停止し(S410)、図4に示した処理を終了する。
【0035】
以上、説明した制御により、デジタルカメラ100がディスプレイ101上に表示したマーカ映像を撮影することでデジタルカメラ100がディスプレイ101上のどの領域を撮影しているかを検出することが可能となる。即ち、観察者でもあるユーザがディスプレイ101上の所望の位置を撮影することにより、ディスプレイ101上における当該所望の位置を指示することができる。また、ユーザがデジタルカメラ100を回転させて撮影を行った場合には、撮影画像の回転量からその角度を検出できるので、所望の角度を指定することも可能である。従って、パーソナルコンピュータ102は、これらの検出値(座標値や回転量)を利用して、デジタルカメラ100に格納されている画像等をディスプレイ101上の所望の位置に所望の回転量で表示させたり、表示中の所望の画像を選択して移動/削除を指示したりすることが可能となる。
【0036】
図6はマーカ映像105の撮影から、ディスプレイ上の座標点を検知するまでの流れを説明する図である。撮影者は、デジタルカメラ100に備わる液晶パネル107で撮影位置を確認しながら、マーカ映像105の表示が行われているディスプレイ101の所望の位置を撮影する。上述したように、マーカ映像105の表示は撮影準備信号を受信してから観察用の映像の表示と交互に行われるので、観察用の映像において表示される所望の画像を指示することも容易に行える。パーソナルコンピュータ102はデジタルカメラ100が撮影した画像と、ディスプレイ101に表示している映像とから、画像認識により、座標点ならびに撮影領域、回転量の算出を行う。
【0037】
図7は、ディスプレイ101の表示例であり、算出された座標点(撮影領域)内に存在する画像を強調表示する処理を説明する図である。図7の(a)において点線で囲われた領域701は、デジタルカメラ100の操作者がディスプレイ101上の一領域に焦点を合わせ、撮影しようとしている撮影範囲である。この状態でデジタルカメラ100が撮影を実行し、その撮影画像がパーソナルコンピュータ102に送信されると、パーソナルコンピュータ102は、当該撮影画像に含まれるマーカ画像から領域701の座標を検出する。パーソナルコンピュータ102は、検出された領域701内(デジタルカメラ100の撮影範囲内)に存在する映像を検出し、検出された映像の強調表示を行う。本実施形態においては、図7の(b)に示されるように、画像の枠を太枠に変更することで映像の強調表示を行っている。上記手順によって、操作者はディスプレイ101に表示中の映像から所望の画像をデジタルカメラ100による撮影操作により指定(選択)することができる。
【0038】
図8は、選択された画像の表示位置を移動する処理を表した図である。図8の(a)において点線で囲われた領域801は、デジタルカメラ100の操作者がディスプレイ101上の一領域に焦点を合わせている撮影範囲である。この状態でデジタルカメラ100による撮影が行われると、上述したように、領域801内の画像が選択される。続いて、デジタルカメラ100の撮影範囲をディスプレイ101上の、画像を移動したい領域802に合わせて撮影が行われると移動先の領域802が決定される(図8の(b))。移動先が決定されると図8の(c)に示すように領域801の指定により選択された画像を移動先として指定された領域802に移動する移動処理が行われる。なお、操作者が領域801を選択した後、移動先を決定するまでの間、ディスプレイ101には、選択された領域801に対応する領域枠を1フレーム毎に表示する。なお、領域枠の表示間隔は1フレーム間隔に限定されるものではなく、1フレーム以上、1フレーム単位の任意のタイミングで表示装置上に表示可能である。また、移動先の領域802が決定され、選択された画像を移動する際には、図8の(b)に示すように、領域枠の移動軌跡を表示するようにしても良い。
【0039】
図9は選択された映像の表示を削除する処理を表した図である。図9の(a)において点線で囲われた領域901は、デジタルカメラ100を持つ撮影者がディスプレイ101上の一領域に焦点を合わせている選択範囲に対応する。この状態でデジタルカメラ100による撮影が行われると、パーソナルコンピュータ102は、図7において説明したように、領域901を認識し、その内部に存在する画像を選択された画像とする。その後、操作者がデジタルカメラ100の操作スイッチ208のうちの一つである削除ボタンを押すと、図9の(b)に示すように選択された画像の表示が削除される。なお、このときデータの実体を削除するようにしても良い。また、このとき、デジタルカメラ100は削除ボタンが押下されたことをパーソナルコンピュータ102に送受信部209を介して通知する。
【0040】
(第2実施形態)
図3と、図4で説明した第1実施形態の処理では、デジタルカメラ100によるマーカ撮影処理が失敗した場合(パーソナルコンピュータ102による座標検出に失敗した場合)には、再度マーカ映像の撮影を試みる方法をとっている。本手順による処理は簡易であり、プログラムの作成も容易であるが、撮影環境によっては、何度撮影を繰り返してもマーカ撮影処理が成功しない場合も考えられる。こういった場合には、デジタルカメラ100によるマーカ撮影処理が失敗した場合には、次回撮影時にマーカ取り込みの成功率が向上するように、マーカ映像の表示状態を変更させる。より具体的には、座標の検出に失敗した場合に、マーカ映像の単位時間あたりの表示期間を増加させることにより、デジタルカメラ100がマーカ映像の撮影に成功する可能性を高める。
【0041】
図5は第2実施形態に係るパーソナルコンピュータ102による座標検出処理を示すフローチャートである。図5の処理は、パーソナルコンピュータ102のCPU251が、不揮発性メモリ252に記憶されたプログラムをメモリ253に展開して実行することにより実現する。図5において図4と同じ処理には同一のステップ番号を付してある。第2実施形態では、パーソナルコンピュータ102は、座標検出に失敗したことを知らせる情報をデジタルカメラ100に送信(ステップS408)した後、ディスプレイ101におけるマーカ表示状態を変更する(ステップS501)。マーカ映像の単位時間あたりの表示期間を増加させるためのマーカ表示状態の変更方法としては種々の方法が考えられるが、それらのうちのいくつかの具体例について、以下、説明する。
【0042】
〈マーカ映像の表示期間の変更〉
図10は、実施形態に係るディスプレイ101におけるマーカ映像が連続して表示される期間を伸ばす処理を示す図である。この例においては、ディスプレイ101が1秒間に30コマの画像を表示可能なディスプレイであると仮定して説明を行う。図10において、最初の撮影時には、マーカの表示は1/30秒間、1秒間隔で行われている。1001は、最初の撮影におけるマーカ表示状態であり、マーカ映像の連続して表示される期間が1/30秒間、表示間隔が1秒の場合のディスプレイ101における表示コマを時系列で表したものである。ディスプレイ101上にマーカ映像を長時間表示すると、ディスプレイ101上に表示されている観察用の表示映像が見にくくなってしまうため、初期状態ではできるだけマーカ表示時間が短くなるように設定している。
【0043】
デジタルカメラ100による最初の撮影で座標の検出に失敗した場合には、図5のステップS501にて、マーカ表示状態を変更する。図10においては、マーカ映像の表示期間を伸ばすことで、次回の撮影時の座標検出確率を高める制御を行っている。1002は、2回目の撮影におけるマーカ映像の表示状態であり、マーカ映像の表示期間を2/30秒間、表示間隔を1秒に変更した場合のディスプレイ101の表示コマを時系列で表したものである。
【0044】
マーカ映像の表示期間が2/30秒間でも座標検出に失敗する場合には、その連続して表示される期間を2/30秒間から3/30秒間に延長する。1003は、3回目の撮影におけるマーカ表示状態であり、マーカ映像の表示期間を3/30秒間、表示間隔1秒に変更した場合のディスプレイの表示コマを時系列で表したものである。
【0045】
マーカ映像の表示期間を3/30秒間に伸ばしても座標検出が失敗する場合には、表示期間を4/30秒間、5/30秒間 ・・・ というように、マーカ映像の表示コマ数を順次に増やしていくことで、撮影時の検出確率を高めるように制御を行う。ここで、マーカ映像の表示期間の変更量は、1/30秒間→2/30秒間→3/30秒間のように一定である必要は無く、例えば1/30秒間→2/30秒間→4/30秒間というように変更しても良い。
【0046】
〈マーカ映像の表示間隔の変更〉
図11は、ディスプレイ101におけるマーカ映像の表示間隔を短縮する処理を示す図である。1001は、最初の撮影におけるマーカ映像の表示状態であり、マーカ映像の表示期間が1/30秒間、表示間隔が1秒の場合のディスプレイの表示コマを時系列で表したものである。
【0047】
最初の撮影で、座標の検出に失敗した場合には、図5のステップS501にて、ディスプレイ101のマーカ表示状態を図11に示すように変更する。図11においては、マーカ映像の表示間隔を短縮することで、次回撮影時の座標検出確率を高める制御を行っている。1102は、2回目の撮影におけるマーカ表示状態であり、マーカ映像の表示期間を1/30秒間、表示間隔を1/2秒に変更した場合のディスプレイの表示コマを時系列で表したものである。
【0048】
マーカ映像の表示間隔が1/2秒でも座標検出に失敗する場合には、マーカ映像の表示間隔を1/2秒から1/3秒に短縮する。1103は、3回目の撮影におけるマーカ映像の表示状態であり、マーカ映像の表示期間を1/30秒間、表示間隔を1/3秒に変更した場合のディスプレイ101の表示コマを時系列で表したものである。マーカ映像の表示間隔を1/3秒に短縮しても座標検出が失敗する場合には、更にマーカ映像の表示間隔を1/4秒、1/5秒というように暫時短縮することで、撮影時の座標検出確率を高めるように制御を行う。
【0049】
〈マーカ映像の表示期間と表示間隔の変更〉
図12は、ディスプレイ101におけるマーカ表示期間を伸ばし、かつマーカ表示間隔を短縮する処理を示す図である。1001は、最初の撮影におけるマーカ表示状態であり、マーカ映像の表示期間が1/30秒間、表示間隔が1秒の場合のディスプレイの表示コマを時系列で表したものである。
【0050】
最初の撮影で、座標の検出に失敗した場合には、図5のステップS501にて、ディスプレイ101におけるマーカ表示状態を変更する。図12においては、マーカ映像の表示期間と表示間隔の両方を変更することで、次回撮影時の座標検出確率を高める制御を行っている。1202は、2回目の撮影におけるマーカ表示状態であり、マーカ映像の表示期間を2/30秒間、表示間隔を1/2秒に変更した場合のディスプレイの表示コマを時系列で図示したものである。
【0051】
マーカ映像の表示間隔と表示期間を1202に示すように変更しても座標検出が失敗する場合には、1203に示すように、マーカ映像の表示期間を2/30秒から3/30秒に変更し、表示間隔を1/2秒から1/3秒に変更する。このようにして、単位時間当たりのマーカ映像105の表示期間を暫時増加させることで、撮影時の座標検出確率を高める。
【0052】
以上のように、上記実施形態によれば、座標の検出のための解析対象となるマーカ映像の表示を、撮影装置からの撮影準備信号の受信に応じて開始させるので、観察用の表示映像を観察しようとするユーザに与える違和感を減少させることができる。また、上記実施形態によれば、表示制御装置において座標を演算するので、撮像装置側の負荷は少ない。すなわち、撮像装置はレリーズスイッチの1段目がオンしたことを示す信号と撮影画像を表示制御装置に送信する機能を有していれば十分であり、撮像装置に特殊な機能を追加する必要がなくなる。
【0053】
なお、上記第1実施形態では、マーカ映像と観察用の映像とを交互に表示するが、撮影準備信号の受信に応じてマーカ映像のみを表示するようにすることもできる。この場合、確実にマーカ映像を撮影できるが、レリーズスイッチ106の1段目がオンすると観察用の映像を観察することができなくなる。
【0054】
また、例えば特許文献2に記載された構成、即ちデジタルカメラ100の側で座標検出を行う構成に本発明を適用することもできる。この場合、デジタルカメラ100のシステム制御回路207は、ステップS306で撮影を実行すると、その撮影画像に基づいて指示位置を示す座標を取得する。デジタルカメラ100は、座標の取得に成功したか失敗したかをパーソナルコンピュータ102に通知する。パーソナルコンピュータ102は、座標の取得に成功した旨の信号をデジタルカメラ100から受信すると、撮影準備信号に応じて開始したマーカ画像の表示を終了する。
【0055】
(第3実施形態)
第1、第2実施形態では、デジタルカメラ100により所望の位置(或いは範囲)を指示可能とする構成を説明したが、本発明はこれらの構成への適用に限られるものではない。撮影準備信号に応じて、観察目的の映像から処理目的にあわせた映像に変更する構成は、例えば、バーコードやQRコードのコード画像を含む映像に適用することができる。この場合、撮像装置としてカメラ機能およびコード読み取り機能を持つ携帯電話を用いて、通常のカメラ動作で撮影を行なう場合には通常の映像表示を行い、コード読み取りを行なう場合にのみQRコード等を含む撮影用の映像表示をするようにできる。但し、携帯電話は、コード読み取り機能が動作中である旨を示す信号を出力する機能を持つものとする。このような、コード読み取り機能が動作中である旨を示す信号も、本願の撮影準備信号の範疇である。パーソナルコンピュータ102は、コード読み取り機能が動作中である旨の信号の受信に応じて、例えばQRコード等のコード画像の表示を開始する。
【0056】
また、撮影時に不要な情報を非表示にするように構成することもできる。例えば、QRコードを常時表示し、コード読み取り機能による撮影ではなくカメラによる撮影を行なう場合には、コード画像を非表示とする。
【0057】
以上、本発明の実施形態について具体的な説明を行ったが、本発明は上述の実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。
【0058】
例えば、上記実施形態においては、撮像装置が1台である場合の動作を示したが、パーソナルコンピュータ102に複数の撮像装置を接続できるようにしてもよい。この場合、それぞれの撮像装置が同時にディスプレイ101の表示画面を撮影し、撮影範囲の座標を取得することが可能となり、それぞれの撮像装置が同時にディスプレイ101上の映像を操作することが可能となる。
【0059】
また、上記第1、第2実施形態においては、画像の選択、選択画像の移動、削除といった後処理を施すことを例示したが、本発明の主旨からすれば、これら処理に限定されるものではないことは明らかである。例えば、画像の拡大/縮小、複製、回転、置換など他の様々な処理を実施することも可能である。
【0060】
また、上記第1、第2実施形態では、デジタルカメラ100で撮影された撮影画像の全体を用いて座標検出を行なっているが、撮影画像の一部を用いて座標検出を行うようにしてもよい。例えば、撮像画像のうち、デジタルカメラ100のフォーカスフレーム内の画像を用いて座標検出を行うようにしても良い。
【0061】
なお、システム制御回路207の制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
【0062】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0063】
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、撮像機能を有するパーソナルコンピュータやPDA、携帯電話といった機器を用いることも可能である。
【0064】
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項1】
表示装置の表示画面に画像を表示させる表示制御装置であって、
ユーザに観察させるための観察用の映像を前記表示画面に表示させる表示手段と、
通信可能に接続された撮像装置と通信する通信手段と、
前記通信手段を介して前記撮像装置から撮影準備信号を受信したことに応じて、前記表示画面における表示を、前記観察用の映像から前記撮像装置によって撮影されるべく予め用意された撮影用の映像に切り替える制御手段とを備えることを特徴とする表示制御装置。
【請求項2】
前記撮影用の映像は複数のマーカが配置されたマーカ映像であり、
前記制御手段は、前記撮影準備信号を受信したことに応じて、前記マーカ映像と前記観察用の映像とを前記表示画面に交互に表示することを開始することを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記撮像装置により撮影して得られた撮影画像を前記通信手段を介して取得する取得手段と、
前記撮影画像に含まれている前記マーカの画像に基づいて、前記表示画面における前記撮影画像の位置を検出する検出手段とを更に備え、
前記制御手段は、前記検出手段により前記位置の検出に成功した場合に、前記制御手段による前記マーカ映像の表示を停止することを特徴とする請求項2に記載の表示制御装置。
【請求項4】
前記制御手段は、前記検出手段による前記位置の検出に失敗した場合、前記観察用の映像と前記マーカ映像の交互の表示において、前記マーカ映像の単位時間あたりの表示期間を増加させることを特徴とする請求項3に記載の表示制御装置。
【請求項5】
前記制御手段は、前記マーカ映像の単位時間あたりの表示期間を増加させる場合に、前記交互の表示において前記マーカ映像を連続して表示する期間を延長することを特徴とする請求項4に記載の表示制御装置。
【請求項6】
前記制御手段は、前記マーカ映像の単位時間あたりの表示期間を増加させる場合に、前記交互の表示において前記マーカ映像を表示する間隔を短縮することを特徴とする請求項4に記載の表示制御装置。
【請求項7】
前記制御手段は、前記マーカ映像の単位時間あたりの表示期間を増加させる場合に、前記交互の表示において前記マーカ映像を連続して表示する期間を延長するとともに前記マーカ映像を表示する間隔を短縮することを特徴とする請求項4に記載の表示制御装置。
【請求項8】
前記制御手段は、前記撮影準備信号の受信に応じて、コンピュータによる情報の読み取りが可能なコード画像を含む映像を、前記撮影用の映像として前記表示画面に表示することを特徴とする請求項1に記載の表示制御装置。
【請求項9】
表示装置の表示画面に画像を表示させる表示制御装置の表示制御方法であって、
表示手段が、ユーザに観察させるための観察用の映像を前記表示画面に表示させる表示工程と、
制御手段が、通信手段を介して通信可能に接続された撮像装置から撮影準備信号を受信したことに応じて、前記表示画面における表示を、前記観察用の映像から前記撮像装置によって撮影されるべく予め用意された撮影用の映像に切り替える制御工程とを有することを特徴とする表示制御装置の制御方法。
【請求項10】
請求項9に記載の表示制御装置の制御方法の各工程をコンピュータに実行させるプログラム。
【請求項11】
請求項9に記載の表示制御装置の制御方法の各工程をコンピュータに実行させるプログラムを格納した、コンピュータにより読み取りが可能な記憶媒体。
【請求項1】
表示装置の表示画面に画像を表示させる表示制御装置であって、
ユーザに観察させるための観察用の映像を前記表示画面に表示させる表示手段と、
通信可能に接続された撮像装置と通信する通信手段と、
前記通信手段を介して前記撮像装置から撮影準備信号を受信したことに応じて、前記表示画面における表示を、前記観察用の映像から前記撮像装置によって撮影されるべく予め用意された撮影用の映像に切り替える制御手段とを備えることを特徴とする表示制御装置。
【請求項2】
前記撮影用の映像は複数のマーカが配置されたマーカ映像であり、
前記制御手段は、前記撮影準備信号を受信したことに応じて、前記マーカ映像と前記観察用の映像とを前記表示画面に交互に表示することを開始することを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記撮像装置により撮影して得られた撮影画像を前記通信手段を介して取得する取得手段と、
前記撮影画像に含まれている前記マーカの画像に基づいて、前記表示画面における前記撮影画像の位置を検出する検出手段とを更に備え、
前記制御手段は、前記検出手段により前記位置の検出に成功した場合に、前記制御手段による前記マーカ映像の表示を停止することを特徴とする請求項2に記載の表示制御装置。
【請求項4】
前記制御手段は、前記検出手段による前記位置の検出に失敗した場合、前記観察用の映像と前記マーカ映像の交互の表示において、前記マーカ映像の単位時間あたりの表示期間を増加させることを特徴とする請求項3に記載の表示制御装置。
【請求項5】
前記制御手段は、前記マーカ映像の単位時間あたりの表示期間を増加させる場合に、前記交互の表示において前記マーカ映像を連続して表示する期間を延長することを特徴とする請求項4に記載の表示制御装置。
【請求項6】
前記制御手段は、前記マーカ映像の単位時間あたりの表示期間を増加させる場合に、前記交互の表示において前記マーカ映像を表示する間隔を短縮することを特徴とする請求項4に記載の表示制御装置。
【請求項7】
前記制御手段は、前記マーカ映像の単位時間あたりの表示期間を増加させる場合に、前記交互の表示において前記マーカ映像を連続して表示する期間を延長するとともに前記マーカ映像を表示する間隔を短縮することを特徴とする請求項4に記載の表示制御装置。
【請求項8】
前記制御手段は、前記撮影準備信号の受信に応じて、コンピュータによる情報の読み取りが可能なコード画像を含む映像を、前記撮影用の映像として前記表示画面に表示することを特徴とする請求項1に記載の表示制御装置。
【請求項9】
表示装置の表示画面に画像を表示させる表示制御装置の表示制御方法であって、
表示手段が、ユーザに観察させるための観察用の映像を前記表示画面に表示させる表示工程と、
制御手段が、通信手段を介して通信可能に接続された撮像装置から撮影準備信号を受信したことに応じて、前記表示画面における表示を、前記観察用の映像から前記撮像装置によって撮影されるべく予め用意された撮影用の映像に切り替える制御工程とを有することを特徴とする表示制御装置の制御方法。
【請求項10】
請求項9に記載の表示制御装置の制御方法の各工程をコンピュータに実行させるプログラム。
【請求項11】
請求項9に記載の表示制御装置の制御方法の各工程をコンピュータに実行させるプログラムを格納した、コンピュータにより読み取りが可能な記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−186547(P2011−186547A)
【公開日】平成23年9月22日(2011.9.22)
【国際特許分類】
【出願番号】特願2010−48256(P2010−48256)
【出願日】平成22年3月4日(2010.3.4)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
2.Bluetooth
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成23年9月22日(2011.9.22)
【国際特許分類】
【出願日】平成22年3月4日(2010.3.4)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
2.Bluetooth
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]