画像処理装置、画像処理方法、画像処理システム
【課題】撮像画像の付加価値の向上
【解決手段】ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、入換領域内の全部又は一部の画素データを、挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、を備える。
【解決手段】ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、入換領域内の全部又は一部の画素データを、挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像データについての画像処理を行う画像処理装置、画像処理方法、及び画像処理システムに関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００２−１５２２３号公報
【特許文献２】特開２００３−２４２４１０号公報
【背景技術】
【０００３】
従来、コンピュータゲームの看板やスポーツスタジアムのテレビジョン放映時の看板などにおいて広告内容を変えるシステムが知られている。
また上記特許文献１、２には広告の形態や種類を変更する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで近年、デジタルスチルカメラやビデオカメラの普及に伴い、一般ユーザが多様な画像撮像を楽しむ環境が整っている。またパーソナルコンピュータ等を用いて、一般ユーザが自分で撮像した画像（いわゆる写真画像や動画）等を編集することも実行できるようになっており、撮像画像に対するユーザの感覚も変化している。
このような状況においては、より多様な画像処理を実現し、例えばユーザが撮像画像から広告その他の情報を受け取ったり、或いは意識的に画像内に情報を挿入できるようにすることで、ユーザの利便性を高めたり、画像を用いた楽しみを広げることができると考えられる。
【０００５】
そこで本発明では、撮像画像を加工し、ユーザへの情報提供を行ったり、ユーザの楽しみを広げたり、利便性を高めるなどして、撮像画像の付加価値を高めることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
【０００７】
また上記撮像画像取得手段は、外部通信機器と通信を行う通信部を有し、上記通信部での外部通信機器と通信により、上記撮像画像データを受信して取得する。なお、外部通信機器とは、サーバ装置やサーバ装置以外の各種電子機器であって通信機能を備えた機器のことを示す。
また上記撮像画像取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記撮像画像データを取得する。
また外部通信機器と通信を行う通信部を有し、上記挿入画像記憶手段は、外部通信機器から送信され上記通信部で受信した挿入画像データを記憶する。
【０００８】
また上記入換画像生成手段で生成された入換画像データ、及び／又は、上記入換領域設定手段で設定された入換領域の情報について保存処理を行う保存処理手段を、さらに備える。
上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記入換画像データ、及び／又は上記入換領域の情報を、上記記録媒体に記録する。
また上記保存処理手段は、外部通信機器と通信を行う通信部を有し、上記保存処理として、上記入換画像データ、及び／又は上記入換領域の情報を、外部通信機器に送信する。
【０００９】
また上記入換画像生成手段で生成された上記入換画像データについての出力処理を行う画像出力手段を、さらに備える。
上記画像出力手段は、表示部を有し、上記出力処理として、上記表示部において上記入換画像データについての表示出力を行う。
また上記画像出力手段は、外部通信機器と通信を行う通信部を有し、上記出力処理として、上記通信部により上記入換画像データについての外部通信機器への送信出力を行う。
また上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記入換画像データを記録する。
【００１０】
また上記入換領域設定手段は、上記撮像画像データに対する画像解析処理により、上記撮像画像データ内で所定の画像を検出し、検出した画像に基づいて上記入換領域を設定する。
また上記挿入画像データは、広告画像、又はメッセージ文字画像、又は翻訳文字画像である。
【００１１】
本発明の画像処理方法は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像された撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、演算処理手段とを有する画像処理装置が実行する画像処理方法として、上記演算処理手段が、上記撮像画像取得手段が取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定し、上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成し、上記入換画像データについて出力処理を行い、ユーザーの頭部に装着され、上記出力処理で出力された上記入換画像データについて表示出力を行い、上記入換領域の設定において、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
【００１２】
本発明の画像処理システムは、画像処理装置と、サーバ装置とが通信可能とされた画像処理システムである。そして上記画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、上記サーバ装置から送信されてきた挿入画像データを受信する受信手段と、上記受信手段で受信した挿入画像データを記憶する挿入画像記憶手段と、上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。上記サーバ装置は、挿入画像データを上記画像処理装置に送信する送信手段を備える。
【００１３】
また本発明の画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、上記撮像画像データと、上記入換領域設定手段で設定した入換領域の情報とについて保存処理を行う保存処理手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、入換領域の情報とについて保存処理を行う保存処理手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
さらに本発明の画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段により撮像された撮像画像データと、該撮像画像データにおける被写体画像の画像解析処理に基づいて該被写体画像内で設定された入換領域の情報を対応させて記録再生する記録再生手段と、挿入画像データを記憶する挿入画像記憶手段と、上記記録再生手段から撮像画像データと入換領域の情報を取得し、取得した撮像画像データについて上記入換領域の情報で示される入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
【００１４】
即ち以上の本発明では、撮像画像データの画像内で、入換領域を設定する。例えば画像内容を加工しても、画像内容として大きな支障のない画素領域を入換領域とする。例えば画像内で看板が写されている領域、空が写されている領域、文字を含む領域などである。
そしてそのような入換領域内の全部又は一部の画素データを、挿入画像データに置き換える処理を行って入換画像データを生成する。挿入画像データとは、例えば広告、メッセージ、翻訳などの文字や図形その他を含む画像データである。
このようにすると、入換画像データにより、多様な情報提供、ユーザによるメッセージ表現、或いは利便性の向上などが可能となる。
【発明の効果】
【００１５】
本発明によれば、撮像画像データに対して、画像上で違和感がないような画像加工が行われ、広告、メッセージ、翻訳文字などの各種情報が提示された入換画像データが生成される。
これによって画像内容を大きく損なうことなく、撮像画像の付加価値を高めることができるという効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態の撮像装置の外観例の説明図である。
【図２】実施の形態の撮像装置のブロック図である。
【図３】実施の形態のシステム動作形態の説明図である。
【図４】実施の形態のサーバ装置のブロック図である。
【図５】実施の形態の入換画像の説明図である。
【図６】実施の形態の入換画像の説明図である。
【図７】実施の形態の入換画像の説明図である。
【図８】実施の形態の入換画像の説明図である。
【図９】実施の形態の入換画像の説明図である。
【図１０】実施の形態の挿入画像データの提供動作の説明図である。
【図１１】実施の形態の挿入画像データの提供動作の説明図である。
【図１２】実施の形態の画像保存形式の説明図である。
【図１３】実施の形態の画像保存形式の説明図である。
【図１４】実施の形態の画像解析／入換部の処理例Ｉのフローチャートである。
【図１５】実施の形態の画像解析／入換部の処理例IIの入換領域設定処理のフローチャートである。
【図１６】実施の形態の画像解析／入換部の処理例IIの画像入換処理のフローチャートである。
【図１７】実施の形態の撮像装置の動作手順例のフローチャートである。
【図１８】実施の形態の撮像装置の動作手順例のフローチャートである。
【図１９】実施の形態の撮像装置の動作手順例のフローチャートである。
【図２０】本発明の構成要素の説明図である。
【発明を実施するための形態】
【００１７】
以下、本発明の画像処理装置、画像処理方法、画像処理システムの実施の形態を説明する。ここでは画像処理装置の例として撮像装置を挙げて説明する。なお後に変形例、拡張例として述べるが本発明の画像処理装置は、撮像装置以外の機器でも実現できる。
説明は次の順序で行う。
［１．撮像装置の外観例］
［２．撮像装置、システム構成、サーバ装置］
［３．生成画像例］
［４．入換領域、挿入画像データ］
［５．挿入画像データの取得］
［６．画像保存形式例］
［７．画像解析／入換部の処理例Ｉ］
［８．画像解析／入換部の処理例II］
［９．動作手順例］
［１０．実施の形態の効果、及び変形例、拡張例］
【００１８】
［１．撮像装置の外観例］
実施の形態の撮像装置１としては、各種の形態が想定されるが、それらの外観例を図１（ａ）（ｂ）（ｃ）（ｄ）に例示する。
図１（ａ）は、眼鏡型ディスプレイカメラとした撮像装置１を示している。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部２ａ、２ａが配置される構成とされている。この表示パネル部２ａには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部２ａがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示パネル部２ａは、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。
【００１９】
図１（ｂ）は、同じくユーザが頭部に装着する撮像装置１を示しているが、図１（ａ）のような表示パネル部２ａを備えない構成である。例えば耳殻に掛けられるような装着ユニットによりユーザ頭部に装着される。そしてこの状態でユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
【００２０】
これら図１（ａ）（ｂ）では、眼鏡型或いは頭部装着型の装着ユニットによりユーザの頭部に装着される撮像装置１を挙げたが、撮像装置１をユーザが装着するための構造は多様に考えられる。例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。
また、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ３ａが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えらえる。
さらには、１又は複数の撮像レンズ３ａについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けても良い。
【００２１】
図１（ｃ）は一般にデジタルスチルカメラとして知られているような形態の撮像装置１を示している。
また図１（ｄ）は一般にビデオカメラとして知られているような形態の撮像装置１を示している。
これら図１（ｃ）（ｄ）のようにユーザが所持して使用する撮像装置１も、本発明の実施の形態の一態様となる。そして図では撮像レンズ３ａしか示していないが、撮像モニタ用のパネル表示部やビューファインダなどの表示デバイスも設けられている。
【００２２】
なお、静止画撮像や動画撮像を行う撮像装置として、これら図１（ａ）（ｂ）（ｃ）（ｄ）に示す以外の形態も考えられることは言うまでもない。例えば携帯電話機やＰＤＡ（Personal Digital Assistant）、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置１として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロホンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしても良い。
また撮像レンズ３ａの近辺に、被写体方向への照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。
【００２３】
［２．撮像装置、システム構成、サーバ装置］
撮像装置１の構成例を図２で説明する。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ１０は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１３を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
【００２４】
撮像部３は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部３における撮像光学系では、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。
【００２５】
これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部６で処理される。
撮像制御部６は、システムコントローラ１０の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、変換した撮像画像データを、動作状況に応じて画像解析／入換部１２，ストレージ部１４，通信部１５，表示制御部７へ供給する処理を行う。
また撮像制御部６はシステムコントローラ１０の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う。
【００２６】
画像解析／入換部１２は、この撮像装置１が取得した撮像画像データについて、画像解析や画像合成の処理を行う。
例えば撮像部３で得られる撮像画像データに対して画像解析よりを行って、画像内における入換領域を検出する処理を行う。
また検出された入換領域の画素データを、挿入画像データに入れ換える画像入換処理（画像合成）を行い、入換画像データを生成する。
これらの処理の詳細や、入換領域、挿入画像データ、入換画像データ等については後述する。
【００２７】
画像解析／入換部１２が処理の対象とする撮像画像データとは、例えば上記のように撮像部３で撮像された撮像画像データ（静止画データや動画データ）であるが、他の場合もある。
即ち撮像装置１が取得できる撮像画像データとしては、外部の撮像装置で撮像された撮像画像データもあり得る。例えば外部の撮像装置で撮像された撮像画像データが、その撮像装置やサーバ装置等から送信され、通信部１５で受信される場合がある。
また外部の撮像装置で撮像された撮像画像データが可搬性記録媒体に記録され、その可搬性記録媒体をストレージ部１４（ストレージ部１４が可搬性記録媒体に対する再生機能を備えている場合）で再生することで取得する場合もある。
このため、例えば通信部１５で受信した撮像画像データや、可搬性記録媒体から再生して読み出した撮像画像データを、画像解析／入換部１２での処理対象とすることもできる。
【００２８】
この画像解析／入換部１２は、マイクロコンピュータやビデオプロセッサとしてのＤＳＰ（Digital Signal Processor）などで構成できる。また、この図２ではマイクロコンピュータによるシステムコントローラ１０と別ブロックで示しているが、システムコントローラ１０内で起動されるソフトウエアにより画像解析／入換部１２としての動作が実現されても良い。
【００２９】
撮像装置１においてユーザに対して表示を行う構成としては、表示部２、表示制御部７が設けられる。
この表示部２は、上述した液晶パネル等による表示パネル部２ａと、表示パネル部２ａを表示駆動する表示駆動部が設けられる。
表示駆動部は、撮像制御部６から供給される画像データを、例えば液晶ディスプレイとされる表示パネル部２ａにおいて表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部２ａにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
【００３０】
表示制御部７は、システムコントローラ１０の制御に基づいて、表示部２における画素駆動回路を駆動し、表示パネル部２ａに所定の表示を実行させる。
即ち、撮像部３での撮像モニタとしての表示や、ストレージ部１４に取り込まれた撮像画像データの再生表示、さらには通信部１５で受信したデータの表示、各種キャラクタの表示などを、表示パネル部２ａにおいて実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。
また表示制御部７は、システムコントローラ１０の指示に基づいて表示駆動部を制御し、表示パネル部２ａの各画素の透過率を制御して、スルー状態（透明又は半透明の状態）とすることもできる。
【００３１】
ストレージ部１４は、各種データの保存に用いられる。例えば撮像画像データや、後述する入換画像データの保存に用いられる。
このストレージ部１４は、ＲＡＭ或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部１４は、システムコントローラ１０の制御に基づいて、撮像画像データや入換画像データを記録し、保存する。
またシステムコントローラ１０の制御に基づいて、記録したデータを読み出し、システムコントローラ１０や表示制御部７などに供給する。
【００３２】
通信部１５は外部通信機器との間でのデータの送受信を行う。この通信部１５は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部通信機器との間で直接無線通信を行うものでもよい。
また、必ずしも無線通信ではなく、外部通信機器との間の有線接続により外部通信機器と通信を行うものでもよい。
通信を行う外部通信機器としては、後述するサーバ装置７０や、表示装置、ストレージ装置などの外部機器８０が想定される。
【００３３】
また撮像装置１には位置検出部１７が設けられる。
位置検出部１７は例えばＧＰＳ受信部とされる。ＧＰＳ受信部は、ＧＰＳ（Global Positioning System）の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ１０に出力する。
なお、位置検出部１７としては、ＷｉＦｉ（Wireless Fidelity）や携帯電話会社が提供する位置情報サービスを利用するものとしてもよいし、それらやＧＰＳを組み合わせて利用しても良い。
【００３４】
挿入画像記憶部１８は、画像解析／入換部１２が用いる挿入画像データを記憶する。挿入画像データについては後述するが、例えば広告、メッセージなどの文字や図形等の画像である。
挿入画像記憶部１８は、予め各種の挿入画像データが記憶されていても良いし、サーバ装置７０等から送信されて通信部１５で受信した挿入画像データを記憶するようにしてもよい。
この挿入画像記憶部１８は、ＲＡＭ、フラッシュメモリなどの固体メモリ、ＨＤＤ等を用いて構成できるし、可搬性記録媒体に対する記録再生ドライブとして構成されてもよい。また、この図２ではストレージ部１４とは別に示しているが、ストレージ部１４において用いる記録媒体の一部の領域を挿入画像記憶部１８として使用するようにしても良い。
【００３５】
翻訳処理部１９は、例えば画像解析／入換部１２が解析処理によって検出した文字（撮像画像内の文字）についての翻訳処理を行う。そして翻訳結果の文字データを挿入画像データとして画像解析／入換部１２に供給する。
なお、翻訳処理部１９は、システムコントローラ１０における翻訳ソフトウエアにより実現しても良い。
【００３６】
この撮像装置１では、ユーザの操作のために操作入力部１１が設けられる。
操作入力部１１は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、電源オン／オフ操作、撮像系の操作（例えばシャッタ操作、ズーム等の操作や、信号処理の指示操作）、表示関連操作（例えば表示内容の選択や表示調整操作）などに用いる操作子が形成されればよい。
【００３７】
また、操作子としてタッチパッドやタッチパネルを設けても良い。例えば表示部２においてタッチパネルを配し、表示画面上にユーザがタッチすることで操作入力が行われるようにする。
また、画面上でカーソル等のポインタを移動させる操作子として、上記タッチパネルや十字キー、ジョグダイヤル等を備えるようにしてもよい。或いは、加速度センサ、角速度センサ等を内蔵したリモートコントローラにより、ユーザがリモートコントローラを手に持って動かすことで、画面上のカーソル等が移動するような操作が実行可能としても良い。
例えば図１（ｃ）（ｄ）のような撮像装置を考えた場合、操作キー、ダイヤル、タッチパネル等により各種の操作を行うことが好適である。
【００３８】
一方、図１（ａ）（ｂ）のような頭部に装着する撮像装置の場合、操作キー、ダイヤル、タッチパネル等を設けてもよいし、リモートコントローラを使用する形態も想定されるが、多数の操作子等の配置が難しいことを考慮すれば、ユーザの挙動を検知して操作入力とみなす構成を採ることも好適となる。
【００３９】
ユーザの挙動を検知する構成とする場合は、加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが撮像装置１を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ１０がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部（眼鏡のツルに相当する部分）を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ１０がユーザの操作として認識することができる。
また、撮像装置１の左右の側部（眼鏡のツルに相当する部分）等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。
【００４０】
さらには、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して、操作入力と認識するようにしても良い。生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化、眼の状態などである。
そしてシステムコントローラ１０は生体センサの検出情報を、ユーザの操作入力として認識する。例えばユーザの意識的な挙動として目の動き（視線方向の変化やまばたき）が考えられるが、ユーザが３回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが撮像装置１を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ１０がその検出に応じて電源オン／オフなどを行うようにしてもよい。
なお生体センサは、例えば眼鏡型の撮像装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、撮像装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
また眼の状態や動き、瞳孔などの状態の検出のためには、ユーザの眼部を撮像するカメラを用いることが考えられる。
【００４１】
操作入力部２０は、このように操作子、加速度センサ、角速度センサ、振動センサ、圧力センサ、生体センサ等として得られる情報をシステムコントローラ１０に供給し、システムコントローラ１０はこれらの情報によりユーザの操作を検知する。
なお、ユーザの挙動を検出するための構成としては、さらにユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
【００４２】
以上、撮像装置１の構成を示したが、これは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。
【００４３】
本例の撮像装置においては、画像解析／入換部１２の動作に大きな特徴を有する。即ち取得した撮像画像データに対して画像解析を行って、入換領域を設定する。そして入換領域の画素データを、挿入画像データに入れ換えて入換画像データを生成する。
この入換画像データは、撮像された画像の一部の内容が、他の内容に入れ換えられたものとなる。
撮像画像データの一部の内容を、例えば広告、メッセージ、翻訳などの文字や図形等の入換画像データに置き換えて生成される入換画像データは、撮像画像の内容に付加価値を加えるような内容の画像となる。
そして入換画像データによる画像表示を行うことで、ユーザに対する多様な情報提供や、ユーザによるメッセージ表現、或いは利便性の向上などが可能となる。
【００４４】
図３では、このような撮像装置１の動作形態を、外部通信機器との関連において例示する。外部通信機器とは、撮像装置１との間でデータ通信を行うことのできる電子機器であり、サーバ装置７０や、サーバ装置７０以外の各種の外部機器８０である。
【００４５】
図３（ａ）は撮像装置１が単体で動作する場合である。
この場合、撮像装置１では、例えば撮像動作により取得した撮像画像データを、画像入換処理対象とすることができる。
またストレージ部１４として、光ディスク、メモリカードなどの可搬性記録媒体に対する再生部を備える場合は、可搬性記録媒体から読み出した撮像画像データを対象として画像入換処理を行うことも可能である。
そして、処理対象とした撮像画像データの一部を、挿入画像記憶部１８に記憶されている挿入画像データに入れ換えることで入換画像データを生成する。
生成した入換画像データについては、保存処理としてストレージ部１４に保存できる。
また生成した入換画像データについては、出力処理として、表示部２において表示させることができる。
また可搬性記録媒体に対する記録部を備える場合は、生成した入換画像データの出力処理として、可搬性記録媒体に記録するという動作も可能である。
【００４６】
図３（ｂ）は撮像装置１が通信部１５により外部機器８０と通信を行う例である。外部機器８０とは、表示装置、ストレージ装置、或いは他の撮像装置などが想定される。つまり本例の撮像装置１との間で通信が可能な電子機器である。より具体的には、外部機器８０としては、図２のような構成の他の撮像装置１も想定できるし、通信機能を備えたデータサーバ、パーソナルコンピュータ、データ記録デバイス、ビデオプレーヤ、ビデオカメラ、デジタルスチルカメラ、撮像機能を備えた携帯電話機、ＰＤＡなど多様な機器が想定できる。
【００４７】
この場合、撮像装置１では、画像入換処理の対象とする撮像画像データを、外部機器８０から取得することが可能となる。例えば外部機器８０としての撮像装置で撮像された撮像画像データや、ストレージ装置に保存されていた撮像画像データを受信することで、それらを処理対象とすることができる。
生成した入換画像データの保存処理としては、内部のストレージ部１４に保存する他、通信部１５から外部機器８０（ストレージ装置）に送信して、その外部機器８０において記録媒体に保存させるような動作も可能となる。
また生成した入換画像データの出力処理としては、表示部２で表示させる他、外部機器８０としての表示装置に送信して表示出力させることができる。
なお、外部機器８０との通信は、無線通信だけでなく、有線通信も想定される。
【００４８】
図３（ｃ）は、撮像装置１の通信部１５が、特にインターネット等のネットワーク６０を介した通信アクセス機能を備えることで、ネットワーク６０で接続される外部機器８０やサーバ装置７０と通信を行う例である。
ネットワーク６０とは、インターネットの他に、携帯電話通信網、ＰＨＳ通信網、アドホックネットワーク、ＬＡＮなど、各種考えられる。
外部機器８０との通信による動作例は上記図３（ｂ）の場合と同様に考えられる。
【００４９】
サーバ装置７０は、本例では、撮像装置１に対して挿入画像データを供給できる機器として示している。
撮像装置１においては、上述のように挿入画像記憶部１８に挿入画像データが記憶されており、挿入画像記憶部１８から読み出された挿入画像データが、画像入換処理に用いられるが、その挿入画像データを、サーバ装置７０が撮像装置１に供給することで、広告等の内容の多様な挿入画像データを利用できるようにしたり、挿入画像データの内容を更新できるようにする。
サーバ装置７０においては画像データベース７６が設けられて各種の挿入画像データが蓄積されており、多様な条件で挿入画像データを選定して撮像装置１に提供できる。
なお、サーバ装置７０が撮像装置１に、処理対象とする撮像画像データを提供できるようにしても良い。また、撮像装置１で生成された入換画像データを、サーバ装置７０において保存したり、外部機器８０に転送できるようにしてもよい。
【００５０】
図４に、サーバ装置７０の構成例を示す。
上記のようにサーバ装置７０は、例えばネットワーク６０を介した通信により、撮像装置１に対して挿入画像データや撮像画像データを供給できる装置である。
サーバ装置７０は、サーバ制御部７２、ネットワークストレージ部７１、通信部７３、情報管理部７４、地図データベース７５、計時部７６、画像データベース７７、ユーザ情報格納部７８を備える。
【００５１】
ネットワークストレージ部７１は、例えばＨＤＤ等により実現され、例えば撮像装置１からネットワーク６０を介して送信されてくる画像データ等を保存したり、撮像装置１や外部機器８０の間で伝送する画像データ等を転送のために一時的にバッファリング記憶するためなどに用いられる。
通信部７３は、撮像装置１の通信部２６や外部機器８０の通信部との間で、ネットワーク６０を介したデータ通信を行う。
サーバ制御部７２は、サーバ装置７０としての必要な動作制御を行う。特には、撮像装置１に対する入換画像データの供給のための制御動作を行う。
【００５２】
情報管理部７４、地図データベース７５、計時部７６、画像データベース７７、ユーザ情報格納部７８は、撮像装置１に対する入換画像データの供給のため動作を行う部位となる。
地図データベース７５は地図情報を格納している。
計時部７６は現在日時（年月日時分秒）を計数している。
画像データベース７６には、例えば広告画像としての各種の挿入画像データが記憶されている。
ユーザ情報格納部７８は、サーバ装置７０が入換画像データを提供する撮像装置１のユーザの登録情報を記憶する。例えば撮像装置１の個体毎の識別情報（もしくは通信に用いるアドレス等の情報）に対応させて、ユーザ情報を格納する。ユーザ情報とは、例えば年齢、性別、趣味、嗜好など、ユーザが登録時に提供する内容とすればよい。
【００５３】
情報管理部７４は、現在の日時、現在撮像装置１の現在位置、ユーザ情報などに応じて、撮像装置１に提供すべき挿入画像データを、画像データベース７７から検索する処理を行う。
例えば情報管理部７４は、計時部７６で計数されている現在日時に応じて、現時点でユーザに提供すべき広告内容の挿入画像データを検索する。
或いは情報管理部７４は、撮像装置１から現在位置情報が送信されてくることに応じて、その撮像装置１の現在位置に応じて適した広告内容の挿入画像データを検索する。この際、地図データベース７５に格納されている地図情報に照らし合わせることで、撮像装置１の現在位置を把握し、その位置に応じた挿入画像データを選択できる。
或いは情報管理部７４は、ユーザ情報格納部７８に記憶されている撮像装置１のユーザ情報に基づいて、そのユーザに適した広告内容の挿入画像データを検索する。
【００５４】
［３．生成画像例］
撮像装置１において生成される入換画像データとしての画像例を図５，図６，図７，図８，図９に示す。これら各図（ａ）は撮像画像、各図（ｂ）は設定される入換領域、各図（ｃ）は生成した入換画像を示している。
【００５５】
図５（ａ）は、市街地を撮像した撮像画像である。この画像には、ビルに設置された看板が含まれている。
このような画像に対して、図５（ｂ）のように、画像内での看板の部分を入換領域ＡＲｉとして設定する。
そしてこの入換領域ＡＲｉとされた画素範囲に対して挿入画像データを挿入する。つまり画素データを入れ換える。これにより、図５（ｃ）のように看板の広告内容が変更された入換画像が生成される。
【００５６】
図６（ａ）は、或る風景を撮像した撮像画像であり、この画像には、空が含まれている。
このような画像に対して、図６（ｂ）のように、画像内での空の部分を入換領域ＡＲｉとして設定する。
そしてこの入換領域ＡＲｉとされた画素範囲の一部に、挿入画像データを挿入する。挿入画像データは、例えば広告文字を含む飛行船とする。
これにより、図６（ｃ）のように空に広告が示された飛行船が飛んでいる入換画像が生成される。
【００５７】
図７（ａ）は、或る人物を撮像した撮像画像であり、この画像に写された人物の衣服に文字が含まれている。
このような画像に対して、図７（ｂ）のように、画像内での衣服の文字の部分を入換領域ＡＲｉとして設定する。
そしてこの入換領域ＡＲｉとされた画素範囲に、挿入画像データを挿入する。挿入画像データは、例えばメッセージ文字画像とする。
これにより、図７（ｃ）のように衣服の文字がメッセージ文字に変更された入換画像が生成される。
【００５８】
図８（ａ）は、街角で撮像した撮像画像であり、この画像には、店舗の看板が含まれている。
このような画像に対して、図８（ｂ）のように、画像内での文字の部分を入換領域ＡＲｉとして設定する。
そしてこの入換領域ＡＲｉとされた画素範囲に対して挿入画像データを挿入する。挿入画像データは、例えば翻訳文字画像とする。
これにより、図８（ｃ）のように店舗の看板の文字（日本語）が、英語表記に変更された入換画像が生成される。
【００５９】
図９（ａ）は、看板を含む撮像画像であるが、特にこの看板には、特定のマークＭが含まれているとする。例えば実際の看板には何も描かれていない無地の状態であったとする。
このような画像に対して、図９（ｂ）のように、画像内でのマークＭが認識された位置に基づいて入換領域ＡＲｉを設定する。例えば無地の領域を入換領域ＡＲｉとする。
そしてこの入換領域ＡＲｉとされた画素範囲に対して挿入画像データを挿入する。挿入画像データは、例えば広告画像とする。
これにより、図９（ｃ）のように、何も描かれていなかった看板に広告が表示された入換画像が生成される。
【００６０】
［４．入換領域、挿入画像データ］
例えば上記のような入換画像としての入換画像データを生成するためには、撮像画像データの画像内で、まず入換領域ＡＲｉを設定することが必要となる。
このため撮像装置１では、画像解析／入換部１２において、処理対象とする撮像画像データの画像解析を行い、入換領域ＡＲｉを設定する。特に生成される入換画像データが、自然な画像に見えるようにするために、画像内で適切な領域を入換領域ＡＲｉとする必要がある。
ここでは、入換領域ＡＲｉの設定手法の例を述べる。
【００６１】
上記図５や図８では、看板の内容を入れ換える例を示したが、この場合、画像内で看板を認識して、入換領域ＡＲｉとする。画像内で看板を認識するためには、画像解析処理において形状解析や文字認識を行うことが考えられる。即ち画像内での輪郭線の形状や、その輪郭線内での文字の存在などを判断基準とする。
例えば画像内で輪郭線が方形（長方形、台形、平行四辺形、）となっている部分を抽出する。なお、一般に長方形で形成される看板は、撮像方向や撮像時の仰角、遠近などにより、画像上では台形や平行四辺形に映し出される。このため、画像内の全体的な輪郭線の様子（例えば道路や建物の輪郭線）などから撮像方向、仰角等を推定し、元（実物）は長方形であると推定される台形や平行四辺形を画像内から抽出するような解析処理も有効である。
輪郭線が方形である領域を検出したら、その方形の内側に文字が含まれているかを判断する。例えば文字のパターン認識を行う。なお各種のロゴ、マーク等を記憶しておき、画像パターンマッチングにより、ロゴやマークと推定される画像が含まれているかを検出してもよい。
そして、方形の領域であって、その内側に文字（或いはロゴ、マーク）が含まれている画像領域が撮像画像内に存在すれば、それは看板等が写されているものと判断し、その方形領域を入換領域ＡＲｉとする。
なお、方形の領域ではなく、円形、楕円形の領域などを看板と推定することも考えられる。
【００６２】
また、ネオンやＬＥＤによる発光看板、或いはビルの壁面などに取り付けられた大型モニタディスプレイなどを想定し、周囲との輝度差が著しい方形領域や、部分的に高輝度となっている領域を検出し、これを入換領域ＡＲｉとすることも考えられる。
【００６３】
図６では空が写されている範囲を入換領域ＡＲｉとしたが、空の認識は次のような手法が想定される。
まず、画像内の上部、又は左上部、又は右上部の領域を「空」と推定する。
また、これらの上部領域において、或る程度の範囲で青色（空としての青系の色）であるか否かを判断する。
これらの条件により、画面内で空の範囲を特定でき、その空の範囲を入換領域ＡＲｉとすることが可能である。
また、さらには、空の場合、緩やかなグラデーションが見られる程度で一定領域、極端な色変化や物体の存在は無いため、画像内の輪郭線（境界エッジ）が存在しない範囲を空として認識することも可能である。
なお、ここでは空の領域を判別する例を挙げたが、同様に海、湖等の水面の領域を判定して、それを入換領域ＡＲｉとすることもできる。
さらに、道路上の自動車を判別して、自動車の領域を入換領域ＡＲｉとすることも考えられる。
【００６４】
図７では、文字内容を置き換える例を示したが、この場合の入換領域ＡＲｉの設定には、撮像画像に対する文字認識を行えばよい。即ち文字が検出された範囲を含むように、入換領域ＡＲｉを設定する。特に文字の周囲の輪郭線を越えないように入換領域ＡＲｉを設定することが好適である。
【００６５】
図９には、マークＭを認識して入換領域ＡＲｉを設定する例を示した。
例えば、本例の入換画像データの生成動作に対応して、予め実際の看板等に特定のマークＭを表示しておく。
画像解析としては、撮像画像内に、特定のマークＭが含まれているか否かを判別する。
画像内で特定のマークＭを検出したら、そのマークＭの位置に基づいて、入換領域ＡＲｉを設定する。例えばマークＭを含む方形の領域、円形の領域、楕円の領域、或いは輪郭線が認識できる不定形の領域等を、入換領域ＡＲｉとする。また、図９（ａ）のように元々の看板に何も描かれていないことを前提とすれば、マークＭを含む無地の領域を入換領域ＡＲｉとすることも考えられる。もちろん、元々の看板に、何らかの文字や絵などが描かれていたとしても、マークＭに基づいて、その文字や絵を変更するような範囲で入換領域ＡＲｉを設定しても良い。
また、実際の看板などにおいてマークＭを複数個表示し、その各マークを対角点とする方形範囲や、各マークを頂点とする形状の範囲を入換領域ＡＲｉとしてもよい。
【００６６】
この手法は、つまりは被写体となる側から、所定範囲を入換領域ＡＲｉとして用いることを明示する手法である。
例えば設置する看板、或いは建物の壁面、窓などにおいて、特定のマークＭを実際に表示しておくことで、撮像された際に、その領域が入換領域ＡＲｉとして用いられて画像に広告データ等が付加されることを求めるものとなる。
なお、被写体側がマークＭにより、入換領域ＡＲｉとして用いられることを表示する例を挙げたが、マークでなく、実際の看板等に特定の地模様を表示し、撮像装置１では画像解析において当該地模様が認識される範囲を入換領域ＡＲｉとするようにしてもよい。
また看板等に、バーコード、二次元バーコード、或いは発光体等を配し、撮像装置１でこれらの情報を画像解析により検知することに応じて、入換領域ＡＲｉを設定してもよい。
【００６７】
撮像装置１では、画像解析／入換部１２において、撮像画像データに対して画像解析を行い、例えば以上のような手法で、画像内において１又は複数の入換領域ＡＲｉを設定する。
そして、設定した入換領域ＡＲｉ内の全部又は一部の画素データを、挿入画像データとしての画素データに置き換えることで入換画像データを生成する。
挿入画像データの画像内容としては、以下のような例が想定される。
【００６８】
まず広告画像としての文字、図形、絵などの画像が想定される。広告画像の内容としては、企業広告、商品・サービス広告、政府や地方自治体等の団体の広告などが考えられる。
このような広告としての挿入画像データは、文字画像、ロゴやマークの画像などで実現される。
さらに図６（ｃ）に例示した飛行船のように、所定の物体を伴う画像としてもよい。例えば図６（ｃ）のように空の部分に挿入する挿入画像データとしては、アドバルーン、気球、飛行機、旗などに広告文字等を付加した画像が考えられる。また、海などの水面に挿入する挿入画像データとしては、船舶に広告文字等を付加した画像などでもよい。
さらに、車体等に広告文字等を付加した自動車、鉄道車両などの画像も考えられる。
これらの広告画像としての挿入画像データは、撮像装置１が挿入画像記憶部１８に固定的に記憶されるものでもよいし、例えばサーバ装置７０から送信されて挿入画像データに記憶されるようにしても良い。さらに各種の挿入画像データが可搬性記録媒体に記録されてユーザに提供され、ユーザが当該可搬性記録媒体を撮像装置１に装填して再生させることで、記録された挿入画像データが挿入画像記憶部１８に取り込まれるようにしてもよい。
【００６９】
また挿入画像データの例として、メッセージ文字画像が想定される。
メッセージ文字画像の内容は、ユーザが任意に作成（入力）できるようにすればよいし、各種のメッセージ文字画像を用意し、ユーザが選択できるようにしてもよい。
メッセージ文字画像は、予め各種用意されて挿入画像記憶部１８に記憶されているようにしてもよいし、ユーザが入力することにより挿入画像記憶部１８に記憶されるようにしてもよい。
【００７０】
また挿入画像データの例として、翻訳文字画像が想定される。
撮像装置１においては翻訳処理部１９で翻訳処理が行われ、翻訳文字データが生成される。これが画像解析／入換部１２に供給されて挿入画像データとして用いられる。
【００７１】
［５．挿入画像データの取得］
撮像装置１では、挿入画像記憶部１８に広告画像やメッセージ文字画像としての挿入画像データを格納しており、画像解析／入換部１２は、入換画像データを生成する際に、例えば挿入画像記憶部１８から挿入画像データを読み出して用いる。
上述のように、挿入画像記憶部１８には、予め広告画像やメッセージ文字画像としての挿入画像データが各種格納されていればよいが、特に広告画像や、メッセージ画像として特殊のデザインの画像などを、サーバ装置７０から提供されるようにすることで、撮像装置１では多様な内容の挿入画像データを利用できるようになる。
ここでは、撮像装置１がサーバ装置７０から挿入画像データを取得する動作例を図１０，図１１で述べる。
【００７２】
図１０（ａ）は、例えばサーバ装置７０が、定期的或いは随時、撮像装置１に挿入画像データを送信する例である。
サーバ装置７０は、例えば企業などの広告主からの要請や契約に基づいて、定期的或いは随時、撮像装置１に対して通信接続を行い、所定の挿入画像データを送信する（Ｓ１）。即ちサーバ制御部７２は、情報管理部７４により画像データベース７７から所要の挿入画像データを読み出させ、これを通信部７３から送信させる。
撮像装置１では送信されてきた挿入画像データを通信部１５で受信したら（Ｓ２）、システムコントローラ１０は、受信した挿入画像データを挿入画像記憶部１８に保存させる（Ｓ３）。
このような動作は、例えばサーバ装置７０が多数の撮像装置１に対して一斉に所定の挿入画像データを送信する場合などに好適な動作となる。
【００７３】
図１０（ｂ）は、撮像装置１から挿入画像データを要求する例である。
撮像装置１のシステムコントローラ１０は、例えばユーザ操作に基づく任意の時点、或いは定期的なタイミング、或いは画像入換処理を行うタイミングなどにおいて、通信部１５からサーバ装置７０に対して挿入画像要求の情報を送信させる（Ｓ１１）。
サーバ装置７０のサーバ制御部７２は、通信部７３において挿入画像要求を受信したことを検知したら（Ｓ１２）、それに応じて、情報管理部７４により画像データベース７７から所要の挿入画像データを読み出させる。そしてその挿入画像データを通信部７３から要求元の撮像装置１に対して送信させる（Ｓ１３）。撮像装置１では送信されてきた挿入画像データを通信部１５で受信したら（Ｓ１４）、システムコントローラ１０は、受信した挿入画像データを挿入画像記憶部１８に保存させる（Ｓ１５）。
このような動作により、撮像装置１側にとって動作上、好適なタイミング、或いはユーザが求めたタイミングで、挿入画像データの提供を受けることができるようになる。
【００７４】
図１１（ａ）は、サーバ装置７０が日時に応じて撮像装置１に挿入画像データを送信する例である。
サーバ装置７０では、情報管理部７４が、計時部７６による現在日時を確認し、その現在日時に応じて、画像データベース７７に格納されている挿入画像データを選定する（Ｓ２１）。そしてサーバ制御部７２は、情報管理部７４が選択した１又は複数の挿入画像データを受け取り、これを通信部７３から撮像装置１に対して送信させる（Ｓ２２）。
撮像装置１では送信されてきた挿入画像データを通信部１５で受信したら（Ｓ２３）、システムコントローラ１０は、受信した挿入画像データを挿入画像記憶部１８に保存させる（Ｓ２４）。
この動作においては、タイムリーな広告やメッセージなどの内容の挿入画像データを撮像装置１に提供できることになる。
例えば商品の発売日や、バーゲン等の日時に応じた広告、イベントやスポーツの試合の開催日からみて適切な広告、月日や季節に応じた広告などとしての挿入画像データを、撮像装置１に提供できることになる。
サーバ装置７０では、例えば広告主側から広告提供期日や期間を指定されることに応じて、画像データベース７７に、その挿入画像データについて日時情報を対応させて登録しておいたり、広告やメッセージの内容に応じた季節、月日などの情報を、各挿入画像データに日時情報を付加しておくことで、情報管理部７４はタイムリーな挿入画像データを画像データベース７７から検索することができる。
なお、この図１１（ａ）と図１０（ｂ）を組み合わせて、撮像装置１から挿入画像要求を送信した場合に、サーバ装置７０がそのときの日時に基づいて挿入画像データを検索して撮像装置１に供給することも考えられる。
【００７５】
図１１（ｂ）は、サーバ装置７０が撮像装置１の現在位置に応じて挿入画像データを送信する例である。
撮像装置１のシステムコントローラ１０は、定期的、又はユーザ操作に応じたタイミング、或いは画像入換処理を行うタイミングなどで、位置検出部１７で検出される位置情報を通信部１５からサーバ装置７０に送信させる（Ｓ３１）。
サーバ装置７０では、撮像装置１が送信してきた位置情報を通信部７３で受信したら（Ｓ３２）、サーバ制御部７２は、情報管理部７４に、その位置情報を与え、位置に応じた挿入画像データを検索させる。情報管理部７４は、位置情報に応じて地図データベースから地図情報を読み出し、現在、撮像装置１のユーザが居る位置を把握すると共に、その近辺の店舗や施設などを確認する。そして、近辺の店舗や施設についての広告などの挿入画像データを、画像データベース７７から検索する（Ｓ３３）。
そしてサーバ制御部７２は、情報管理部７４が選択した１又は複数の挿入画像データを受け取り、これを通信部７３から撮像装置１に対して送信させる（Ｓ３４）。
撮像装置１では送信されてきた挿入画像データを通信部１５で受信したら（Ｓ３５）、システムコントローラ１０は、受信した挿入画像データを挿入画像記憶部１８に保存させる（Ｓ３６）。
この動作においては、ユーザの現在位置に応じた好適な広告やメッセージなどの内容の挿入画像データを撮像装置１に提供できることになる。
例えばユーザの居る位置の近辺の店舗や施設、地域の広告などとしての挿入画像データを、撮像装置１に提供できることになる。
サーバ装置７０では、例えば広告主側から広告提供を行う地域を指定されることに応じて、画像データベース７７に、その挿入画像データについて地域情報を対応させて登録しておくことで、情報管理部７４はユーザの現在位置に応じた挿入画像データを画像データベース７７から検索することができる。
また、企業広告ではなく、各種警報（津波、落雷等の警報）、天気情報、交通情報などを、地域に応じた挿入画像データとして提供することも可能である。
【００７６】
図１１（ｃ）は、サーバ装置７０が撮像装置１のユーザ個人毎に適した挿入画像データを送信する例である。
撮像装置１のシステムコントローラ１０は、定期的、又はユーザ操作に応じたタイミング、或いは画像入換処理を行うタイミングなどで、ユーザＩＤ（又は撮像装置ＩＤ）を通信部１５からサーバ装置７０に送信させる（Ｓ４１）。
サーバ装置７０では、撮像装置１が送信してきたユーザＩＤを通信部７３で受信したら（Ｓ４２）、サーバ制御部７２は、情報管理部７４に、そのユーザＩＤに応じた挿入画像データを検索させる。情報管理部７４は、ユーザＩＤに応じてユーザ情報格納部７８を検索し、当該ユーザＩＤのユーザの情報を読み出す。例えば性別、年齢、趣味、嗜好などの情報を読み出す。そしてそれらのユーザの情報に適した広告などの挿入画像データを、画像データベース７７から検索する（Ｓ４３）。
サーバ制御部７２は、情報管理部７４が選択した１又は複数の挿入画像データを受け取り、これを通信部７３から撮像装置１に対して送信させる（Ｓ４４）。
撮像装置１では送信されてきた挿入画像データを通信部１５で受信したら（Ｓ４５）、システムコントローラ１０は、受信した挿入画像データを挿入画像記憶部１８に保存させる（Ｓ４６）。
この動作により、撮像装置１のユーザ毎に、そのユーザの性別、年齢、趣味、嗜好等に適した広告やメッセージなどの内容の挿入画像データを撮像装置１に提供できることになる。
サーバ装置７０では、例えば各挿入画像データについて、その内容に応じて提供したいユーザの性別、年齢、趣味、嗜好等を登録しておくことで、情報管理部７４はユーザ毎に適した挿入画像データを画像データベース７７から検索することができる。
なお、撮像装置１からの要求（ユーザＩＤ又は撮像装置ＩＤの送信）が無くとも、サーバ装置７０が定期的、或いは随時、各撮像装置１に、ユーザＩＤに基づいて選択した挿入画像データを送信するようにしてもよい。例えば、新たな広告内容の挿入画像データを画像データベースに登録した際に、その広告内容に興味を持つと思われるユーザを検索し、そのユーザＩＤのユーザが所有する撮像装置１に対して、当該挿入画像データを送信するような処理も可能である。
【００７７】
以上、サーバ装置７０から撮像装置１に挿入画像データを提供する手法が考えられる。そして撮像装置１では、サーバ装置７０から提供されて挿入画像記憶部１８に取り込んだ挿入画像データを、その後、画像解析／入換部１２が入換画像データの生成を行う際に用いることができる。
なお、これらの提供の手法は一例にすぎず、さらに多様な提供手法が考えられる。
例えば撮像画像データについて、撮像場所としての位置情報や撮像日時が付加されて保存されている場合において、それらに応じた挿入画像データの提供も可能である。
例えば或る撮像画像データを画像解析／入換部１２での処理の対象とする際に、その撮像場所としての位置情報をサーバ装置７０に送信し、サーバ装置７０が、その撮像場所としての位置情報に応じた挿入画像データを検索して撮像装置１に送信する。
或いは、その撮像画像データの撮像日時情報をサーバ装置７０に送信し、サーバ装置７０が、その撮像日時に応じた挿入画像データを検索して撮像装置１に送信する。
撮像装置１では、このように提供された挿入画像データを用いて、画像解析／入換部１２が入換画像データ生成処理を行うことで、撮像画像データの撮像場所や撮像日時に応じた広告やメッセージ等を挿入した入換画像データを生成できる。
【００７８】
［６．画像保存形式例］
次に、撮像装置１において、画像解析／入換部１２の処理結果の保存形式例を説明する。
上述のように、画像解析／入換部１２は、処理対象とした撮像画像データの画像内で、入換領域ＡＲｉを設定する処理と、設定した入換領域ＡＲｉに挿入画像データを挿入して入換画像データを生成する処理を行う。
例えば画像解析／入換部１２が、これらの処理をおこなって入換画像データを生成した場合、入換画像データをストレージ部１４に保存することが考えられるが、そのときには図１２のような画像保存形式が考えられる。
【００７９】
図１２は、ストレージ部１４における画像データの保存例を示している。
例えば撮像部３で撮像を行うことで取得した撮像画像データ、或いは通信部１５で受信して取得した撮像画像データ、或いは可搬性記録媒体から読み出されることで取得した撮像画像データをストレージ部１４に保存される。
取得された各撮像画像データは、例えば図のエントリ＃１、＃２・・・＃ｎとしての撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎとして保存される。
また、これらの画像データにそれぞれ対応して、画像管理情報Ｃ１，Ｃ２・・・Ｃｎが記録される。画像管理情報は、例えば撮像画像データのファイル名、画像種別（動画／静止画の別など）、データサイズ、圧縮方式、撮像を行った装置の識別情報などを含む。また撮像日時情報（撮像時の年月日時分秒）や、撮像時に位置検出部１７で検出された撮像場所としての緯度・経度の情報も含むようにしてもよい。
そして、これらの撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎに対応させて入換画像データｃＶＤ１，ｃＶＤ２・・・ｃＶＤｎを記憶する。
例えば画像解析／入換部１２で撮像画像データＶＤ１を処理対象として処理して生成した入換画像データｃＶＤ１は、撮像画像データＶＤ１に対応させて保存する。
なお、１つの撮像画像データを用いて複数の入換画像データを生成することもできる。その場合も、各入換画像データを、元の撮像画像データに対応させて記憶すればよい。
【００８０】
ところで、画像解析／入換部１２では、入換領域ＡＲｉを設定する処理と、入換画像データを生成する処理を同時連続的に行っても良いが、入換領域ＡＲｉを設定する処理と、入換画像データを生成する処理を別の時点で行うようにしてもよい。また入換領域ＡＲｉを設定する処理のみを行って、入換画像データの生成処理を外部機器８０において実行させるようにしてもよい。
すると、ストレージ部１４において、図１３に示すように、撮像画像データに対応して入換領域ＡＲｉを示す入換領域情報を保存するという形式も想定される。即ち図示するように撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎに対応させて入換領域情報Ｅ１，Ｅ２・・・Ｅｎを記憶する。
例えば画像解析／入換部１２で撮像画像データＶＤ１を処理対象とし、入換領域ＡＲｉの設定を行った時点で、その１又は複数の入換領域ＡＲｉとしての画素範囲を示す情報を入換領域情報Ｅ１として、撮像画像データＶＤ１に対応させて保存する。
このようにすることで、後の時点で、入換領域情報Ｅで示される画素領域に挿入画像データを挿入して入換画像データを生成することができる。
或いは、例えば表示の都度に入換領域に異なる挿入画像データを挿入して入換画像データを生成するような場合にも好適である。
また、例えば入換領域ＡＲｉの設定機能を備えない外部機器８０に撮像画像データと入換領域情報を送信し、その外部機器において入換画像データを生成させるということも可能となる。
【００８１】
なお、図１２，図１３の保存情報を合わせ、入換画像データと入換領域情報の双方とも、撮像画像データに対応させて記憶するようにしてもよい。
【００８２】
［７．画像解析／入換部の処理例Ｉ］
画像解析／入換部１２は、システムコントローラ１０の指示に応じて、システムコントローラ１０が指定した撮像画像データを処理対象として、入換画像データの生成のための処理を行う。
ここでは画像解析／入換部１２の処理例Ｉとして、処理対象とした撮像画像データの画像内で入換領域ＡＲｉを設定する処理（入換領域設定処理）と、設定した入換領域ＡＲｉに挿入画像データを挿入して入換画像データを生成する処理（画像入換処理）を連続して行う場合の例を述べる。
【００８３】
図１４はシステムコントローラ１０の指示に応じて画像解析／入換部１２が実行する処理を示している。
システムコントローラ１０は、画像解析／入換部１２において図１４の処理を実行させる際、その処理対象となる撮像画像データを画像解析／入換部１２に転送させる。例えば撮像部３で撮像した撮像画像データを撮像制御部６から画像解析／入換部１２に転送させる。或いは通信部１５で受信した撮像画像データを画像解析／入換部１２に転送させたり、ストレージ部１４で撮像画像データを再生させて画像解析／入換部１２に転送させる場合もある。
画像解析／入換部１２は、処理対象とされた撮像画像データが入力されると、図１４の処理をステップＦ１０１からＦ１０２に進める。
【００８４】
画像解析／入換部１２はステップＦ１０２で、入力された撮像画像データについて画像解析処理を行い、画像内において１又は複数の入換領域ＡＲｉを設定する。画像解析による入換領域ＡＲｉの設定手法は上述したとおりである。
入換領域ＡＲｉを設定したら、設定した入換領域ＡＲｉの数を変数Ｎに代入する。
【００８５】
続いて画像解析／入換部１２はステップＦ１０３では、変数Ｎ＝０であるか否かを確認する。つまり、画像内で入換領域ＡＲｉとして設定できる領域が無いという状況であったか否かを確認する。例えば入換領域ＡＲｉは、所定形状の領域や空などの認識、文字認識等に基づいて上述した手法で設定するが、画像内容によっては入換領域ＡＲｉとできる領域が存在しないことも当然考えられる。
そのためＮ＝０であって、入換領域ＡＲｉが１つも設定できなかった場合は、ステップＦ１１０に進み、今回処理対象とされた撮像画像データについては、入換画像データの生成が不能である旨をシステムコントローラ１０に通知して処理を終える。
【００８６】
１以上の入換領域ＡＲｉが設定された場合は、画像解析／入換部１２の処理はステップＦ１０４に進み、まず変数Ｘ＝１とする。
そしてステップＦ１０５で画像解析／入換部１２は、挿入画像記憶部１８（又は翻訳処理部１９）から挿入画像データを入手し、ステップＦ１０６で、第Ｘの入換領域ＡＲｉ（Ｘ）の画素データを、入手した挿入画像データの画素データに入れ換える処理を行う。即ち入換画像データを生成する。
【００８７】
この場合、ステップＦ１０５で入手する挿入画像データをどのように選択するかは、多様に考えられる。例えば第Ｘの入換領域ＡＲｉ（Ｘ）が、画像内の看板認識により設定された入換領域であった場合は、広告内容の挿入画像データを選ぶことが考えられるが、挿入画像記憶部１８内でランダムに選択して読み出しても良いし、ステップＦ１０５の処理を行う毎に順番に選択しても良い。また、第Ｘの入換領域ＡＲｉ（Ｘ）が、空や海の領域を認識して入換領域とした場合は、飛行船や船舶等、空や海に対応する画像内容の挿入画像データを選択して読み出せばよい。
また、上記図１０（ａ）（ｂ）、図１１（ａ）（ｂ）（ｃ）の動作によりサーバ装置７０から供給された挿入画像データとして、最も最近において画像記憶部１８に取り込まれた挿入画像データから順に選択していっても良い。
また、この図１４の処理を実行する時点で、上記図１０（ｂ）又は図１１（ｂ）又は図１１（ｃ）のようにサーバ装置７０にアクセスし、挿入画像データの供給を受けるようにし、それによって挿入画像記憶部１８に取り込んだ挿入画像データをステップＦ１０５で読み出すようにしてもよい。
また、挿入画像データとしてメッセージ文字画像を用いる場合は、例えばメッセージ文字画像の一覧等を表示部２に表示させ、ユーザの選択操作に応じて、特定のメッセージ文字画像を選択するという手法がある。または、ユーザが実際に文字入力を行ってメッセージ文字画像を生成するということも想定される。
もちろんユーザ入力を介さない選択も可能である。挿入画像記憶部１８に記憶された挿入画像データをランダムに選択したり、順番に選択するようにしてもよい。
さらに、上述したように操作入力部１１に生体センサを備える場合、生体センサによって検知できるユーザの状況に応じて挿入画像データを選択することも考えられる。例えば脳波、発汗、心拍数・・・等、上述した検出要素からユーザの体調や気分を推定し、その推定されたユーザ状況に適したメッセージ文字画像の挿入画像データを選択することも可能である。
また、挿入画像データとして翻訳文字画像を用いる場合は、ステップＦ１０５において、入換領域ＡＲｉ（Ｘ）において認識した文字に基づいて文字データを生成して翻訳処理部１９に供給する。そして翻訳処理部１９で翻訳された文字データを画像解析／入換部１２が受け取ることになる。
【００８８】
例えばステップＦ１０５で以上のようにして挿入画像データを入手し、ステップＦ１０６で、入換領域ＡＲｉ（Ｘ）の画像内容を入れ換えた入換画像データを生成したら、画像解析／入換部１２はステップＦ１０７で、変数Ｘと変数Ｎ（設定した入換領域ＡＲｉの数）を比較し、画像内で設定された全ての入換領域ＡＲｉについて処理を終えたか否かを確認する。
まだ、未処理の入換領域ＡＲｉが存在すれば、ステップＦ１０８に進んで変数Ｘをインクリメントし、ステップＦ１０５に戻る。即ち次の入換領域ＡＲｉ（Ｘ）について同様に処理を行う。
【００８９】
全ての入換領域ＡＲｉについて処理を終え、Ｘ＝Ｎとなったら、ステップＦ１０９に進む。この時点で、全ての入換領域ＡＲｉの画像内容が入れ換えられた入換画像データが生成されていることになる。例えば図５（ｃ）、図６（ｃ）、図７（ｃ）、図８（ｃ）、図９（ｃ）で例示したような画像内容の入換画像データが生成されたことになる。
画像解析／入換部１２は、システムコントローラ１０の指示に従って、このように生成した入換画像データを転送出力する。
例えば入換画像データを表示出力するのであれば表示制御部７に転送する。表示制御部７は供給された入換画像データについての表示を表示部２に実行させる。
また、入換画像データを外部機器８０やサーバ装置７０に送信出力するのであれば通信部１５に転送する。通信部１５は供給された入換画像データの送信処理を行う。
また入換画像データを記憶するのであればストレージ部１４に転送する。例えばストレージ部１４においては、図１２のような形式で入換画像データが記憶される。或いは、特に入換画像データの出力処理として、可搬性記録媒体に記録するのであれば、ストレージ部１４（ストレージ部１４に可搬性記録媒体に対する記録再生部が設けられている場合）に転送し、可搬性記録媒体に記録させることになる。
【００９０】
処理例Ｉでは以上のように入換領域設定処理（Ｆ１０１〜Ｆ１０３）と、画像入換処理（Ｆ１０４〜Ｆ１０９）が連続して実行される。
なお、撮像画像データを静止画とした場合は、上記処理が１フレームの画像データに対して行われればよいが、動画としての撮像画像データを処理対象とする場合、その動画を構成する各フレーム毎に上記処理を行うことになる。
【００９１】
［８．画像解析／入換部の処理例II］
画像解析／入換部１２の処理としては、処理対象とした撮像画像データの画像内で入換領域ＡＲｉを設定する入換領域設定処理と、設定した入換領域ＡＲｉに挿入画像データを挿入して入換画像データを生成する画像入換処理を、別のタイミングでおこなうようにしてもよい。このような処理を処理例IIとして図１５，図１６で述べる。
【００９２】
図１５は画像解析／入換部１２が行う入換領域設定処理を示している。
システムコントローラ１０は、画像解析／入換部１２において図１５の処理を実行させる際、例えば撮像制御部６、或いはストレージ部１４、或いは通信部１５に指示して、処理対象となる撮像画像データを画像解析／入換部１２に転送させる。
画像解析／入換部１２は、処理対象とされた撮像画像データが入力されると、図１５の処理をステップＦ２０１からＦ２０２に進める。
【００９３】
そして画像解析／入換部１２はステップＦ１０２で入力された撮像画像データについて画像解析処理を行い、画像内において１又は複数の入換領域ＡＲｉを設定する。画像解析による入換領域ＡＲｉの設定手法は上述したとおりである。
入換領域ＡＲｉを設定したら、ステップＦ２０３で、入換領域情報を生成する。入換領域情報とは、設定した１又は複数の各入換領域ＡＲｉの画素領域を示した情報（もしくは入換領域無しの情報）である。
入換領域情報を生成したら、画像解析／入換部１２はステップＦ２０４で、その入換領域情報を出力する。この入換領域情報はシステムコントローラ１０の制御によりストレージ部１４に転送され、ストレージ部１４において上記図１３のような形式で記憶される。
【００９４】
例えば図１３のように、撮像画像データＶＤに対応して入換領域情報Ｅが記憶されることで、後の時点において、撮像画像データＶＤと入換領域情報Ｅを用いた入換画像データの生成処理が可能となる。
システムコントローラ１０は、画像解析／入換部１２に入換画像データを生成させる際には、図１３のように対応づけられて保存された、或る撮像画像データＶＤと入換領域情報Ｅをストレージ部１４に読み出させ、それを画像解析／入換部１２に転送させる。
画像解析／入換部１２は、或る撮像画像データＶＤと入換領域情報Ｅが供給されることに応じて、図１６の画像入換処理を行う。
【００９５】
画像解析／入換部１２は撮像画像データＶＤと入換領域情報Ｅが入力されると、処理をステップＦ３０１からＦ３０２に進め、入換領域情報を確認して、設定されている入換領域の数を変数Ｎに代入する。
【００９６】
続いて画像解析／入換部１２はステップＦ３０３で、変数Ｎ＝０であるか否かを確認する。Ｎ＝０であって、今回入力された撮像画像データについては、入換領域ＡＲｉが１つも設定されていなかった場合は、ステップＦ３１０に進む。そして今回処理対象とされた撮像画像データからは入換画像データの生成が不能である旨をシステムコントローラ１０に通知して処理を終える。
【００９７】
１以上の入換領域ＡＲｉが設定されていた場合は、画像解析／入換部１２の処理はステップＦ３０４に進み、まず変数Ｘ＝１とする。このステップＦ３０４〜Ｆ３０９の処理に関しては、上記図１４のステップＦ１０４〜Ｆ１０９と同様であるため、重複説明を避ける。
そしてステップＦ３０４〜Ｆ３０９の処理で生成された入換画像データは、ステップＦ３０９において表示制御部７に転送されて表示出力されたり、通信部１５に転送されて送信処理されたり、ストレージ部１４に転送されて内部記録媒体或いは可搬性記録媒体に記憶されたりする。
【００９８】
以上のような処理例IIとして、画像解析／入換部１２では、図１４の入換領域設定処理と図１５の画像入換処理を、それぞれシステムコントローラ１０の指示に応じた時点に実行するようにしてもよい。
【００９９】
［９．動作手順例］
画像解析／入換部１２では、以上の処理例Ｉ又は処理例IIのように、入換領域ＡＲｉの設定や、入換画像データの生成が行われる。
このような画像解析／入換部１２の処理を利用した本例の撮像装置１の動作手順は非常に多様に考えられる。
以下、図１７，図１８，図１９により、システムコントローラ１０の制御によって実行される撮像装置１の動作手順の例を述べていく。各ステップの動作は、システムコントローラ１０の制御に基づいて、所要の部位が実行する。
【０１００】
図１７（ａ）の動作手順は次のようになる。
ステップＳＴ１００で撮像画像データを取得する。
なお、図１７（ａ）（ｂ）（ｃ）（ｄ）、図１８（ａ）（ｂ）、図１９（ａ）（ｂ）における「画像取得」とは、撮像部３での撮像を行って撮像画像データを取得するか、または通信部１５での受信により撮像画像データを取得するか、またはストレージ部１４において可搬性記録媒体から読み出すことで撮像画像データを取得することを示す。
ステップＳＴ１０１では、ステップＳＴ１００で取得した撮像画像データを画像解析／入換部１２に供給し、入換領域設定処理、及び画像入換処理を実行させる。即ち画像解析／入換部１２に上記処理例Ｉを実行させる。
ステップＳＴ１０２では、ステップＳＴ１００で取得した撮像画像データと、ステップＳＴ１０１で画像解析／入換部１２が生成した入換画像データを、ストレージ部１４において保存させる。つまり図１２の１つのエントリ＃ｎとして撮像画像データと入換画像データを対応させて保存させる。
【０１０１】
図１７（ｂ）の動作手順は次のようになる。
ステップＳＴ１１０で撮像画像データを取得する。
ステップＳＴ１１１では、ステップＳＴ１１０で取得した撮像画像データをストレージ部１４において保存させる。
ステップＳＴ１１２では、ステップＳＴ１１０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例Ｉとして入換領域設定処理及び画像入換処理を実行させる。
ステップＳＴ１１３では、ステップＳＴ１１２で画像解析／入換部１２が生成した入換画像データを、ストレージ部１４において保存させる。この時点で図１２の１つのエントリ＃ｎとして撮像画像データと入換画像データを対応されて保存される。
【０１０２】
以上の図１７（ａ）、図１７（ｂ）は、撮像画像データから入換画像データを生成するとともに、ストレージ部１４において図１２の形式で保存する動作例である。
ストレージ部１４に保存された撮像画像データや入換画像データは、後の時点で読み出して、表示出力したり、外部機器８０やサーバ装置７０に送信したり、可搬性記録媒体に記録することができる。
【０１０３】
図１７（ｃ）の動作手順は次のようになる。
ステップＳＴ１２０で撮像画像データを取得する。
ステップＳＴ１２１では、ステップＳＴ１２０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例Ｉとして入換領域設定処理及び画像入換処理を実行させる。
ステップＳＴ１２２では、ステップＳＴ１０１で画像解析／入換部１２が生成した入換画像データを出力する。
なお、図１７（ｃ）（ｄ）、図１８（ａ）（ｂ）、図１９（ｃ）における「入換画像出力」とは、入換画像データを表示制御部７に転送して表示部２で表示出力させるか、または通信部１５に転送して送信出力させるか、またはストレージ部１４（ストレージ部１４に可搬性記録媒体に対する記録再生部が設けられている場合）に転送し、可搬性記録媒体に記録させることを示す。
【０１０４】
図１７（ｄ）の動作手順は次のようになる。
ステップＳＴ１３０で撮像画像データを取得する。
ステップＳＴ１３１では、ステップＳＴ１３０で取得した撮像画像データをストレージ部１４において保存させる。
ステップＳＴ１３２では、ステップＳＴ１３０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例Ｉとして入換領域設定処理及び画像入換処理を実行させる。
ステップＳＴ１３３では、ステップＳＴ１３２で画像解析／入換部１２が生成した入換画像データを出力する。
【０１０５】
以上の図１７（ｃ）、図１７（ｄ）は、生成した入換画像データを撮像装置１の内部（ストレージ部１４のＨＤＤや固体メモリなどの内部記録媒体）に保存しないで出力する動作例である。
【０１０６】
図１８（ａ）の動作手順は次のようになる。
ステップＳＴ１４０で撮像画像データを取得する。
ステップＳＴ１４１では、ステップＳＴ１４０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例Ｉとして入換領域設定処理及び画像入換処理を実行させる。
ステップＳＴ１４２では、ステップＳＴ１４０で取得した撮像画像データと、ステップＳＴ１４１で画像解析／入換部１２が生成した入換画像データを、ストレージ部１４において保存させる。
ステップＳＴ１４３では、ステップＳＴ１４２で画像解析／入換部１２が生成した入換画像データを出力する。
【０１０７】
図１８（ｂ）の動作手順は次のようになる。
ステップＳＴ１５０で撮像画像データを取得する。
ステップＳＴ１５１では、ステップＳＴ１５０で取得した撮像画像データをストレージ部１４において保存させる。
ステップＳＴ１５２では、ステップＳＴ１５０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例Ｉとして入換領域設定処理及び画像入換処理を実行させる。
ステップＳＴ１５３では、ステップＳＴ１５２で画像解析／入換部１２が生成した入換画像データを、ストレージ部１４において保存させる。
ステップＳＴ１５４では、ステップＳＴ１５２で画像解析／入換部１２が生成した入換画像データを出力する。
【０１０８】
以上の図１８（ａ）、図１８（ｂ）は、生成した入換画像データを撮像装置１の内部（ストレージ部１４のＨＤＤや固体メモリなどの内部記録媒体）に保存するとともに、その時点で出力する動作例である。
【０１０９】
図１９（ａ）の動作手順は次のようになる。
ステップＳＴ１６０で撮像画像データを取得する。
ステップＳＴ１６１では、ステップＳＴ１６０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例IIの入換領域設定処理（図１５）を実行させる。
ステップＳＴ１６２では、ステップＳＴ１６０で取得した撮像画像データと、ステップＳＴ１６１で画像解析／入換部１２が生成した入換領域情報を、ストレージ部１４において図１３の形式で保存させる。
【０１１０】
図１９（ｂ）の動作手順は次のようになる。
ステップＳＴ１７０で撮像画像データを取得する。
ステップＳＴ１７１では、ステップＳＴ１７０で取得した撮像画像データを、ストレージ部１４において保存させる。
ステップＳＴ１７２では、ステップＳＴ１７０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例IIの入換領域設定処理（図１５）を実行させる。
ステップＳＴ１７３では、ステップＳＴ１７２で画像解析／入換部１２が生成した入換領域情報を、ストレージ部１４において保存させる。結局図１３の形式で撮像画像データと入換領域情報が保存されることになる。
【０１１１】
以上の図１９（ａ）、図１９（ｂ）は、処理例IIの入換領域設定処理の結果としての入換領域情報が、撮像画像データとともに保存されるようにする動作例である。なお、撮像画像データと入換領域情報の保存処理としては、これらを通信部１５から外部機器８０やサーバ装置７０に送信するようにしてもよい。つまり外部機器８０やサーバ装置７０において入換領域情報が、撮像画像データとともに保存されるようにすることも考えられる。
【０１１２】
図１９（ｃ）の動作手順は次のようになる。
ステップＳＴ１８０で撮像画像データと入換領域情報を読み出す。即ち上記図１９（ａ）又は図１９（ｂ）の動作により、図１３の形式で記録されている撮像画像データと入換領域情報をストレージ部１４から読み出す。
ステップＳＴ１８１では、ステップＳＴ１８０で取得した撮像画像データと入換領域情報を画像解析／入換部１２に供給し、上記処理例IIの画像入換処理（図１６）を実行させる。
ステップＳＴ１８２では、ステップＳＴ１８１で画像解析／入換部１２が生成した入換画像データを出力する。
【０１１３】
つまりこの図１９（ｃ）は、上記図１９（ａ）、図１９（ｂ）の動作が行われた後、ストレージ部１４において図１３のように保存されている撮像画像データと入換領域情報を用いて入換画像データを生成し、出力する動作例である。
なお、外部機器８０やサーバ装置７０において撮像画像データと入換領域情報が保存されている場合、ステップＦ１８０としては、外部機器８０やサーバ装置７０から送信されてくる撮像画像データと入換領域情報を受信して取り込むという場合もある。或いは撮像画像データと入換領域情報が可搬性記録媒体に保存されている場合、ステップＦ１８０としては撮像画像データと入換領域情報を可搬性記録媒体から読み出すということもある。
またステップＦ１８２で入換画像データを出力する前後に、入換画像データをストレージ部１４に保存するという動作手順の例も考えられる。
【０１１４】
以上、撮像装置１の動作を例示したが、動作手順の例は他にも各種考えられる。
【０１１５】
［１０．実施の形態の効果、及び変形例、拡張例］
以上の実施の形態によれば、撮像画像データにおいて、画像上で違和感がないような画像加工が行われ、例えば図５（ｃ）、図６（ｃ）、図７（ｃ）、図８（ｃ）、図９（ｃ）のような入換画像としての入換画像データが生成される。そしてこの入換画像データによって画像内に広告、メッセージ、翻訳文字などの各種情報が提示される。これによって元の画像内容を大きく損なうことなく、撮像画像の付加価値を高めることができるという効果が得られる。
【０１１６】
例えば挿入画像データとして広告情報を用いる場合、広告主から見れば新たな広告機会が実現されることになり、有効な広告媒体として本例のシステムを利用できる。これは本例のシステムが新たなビジネスモデルを創出することにもなる。
またユーザにとっては、広告等の情報提示によって有益な情報を受け取れる。
特に、広告等の内容の挿入画像データについては、日時や現在位置、或いはユーザＩＤなどに応じてサーバ装置７０から提供されることで、タイムリーな広告、現在居る場所において有益な広告、ユーザ個人にとって有益な広告などが提供されることになり、入換画像データの価値を高めることができる。
【０１１７】
また挿入画像データとしてメッセージ文字画像を用いる場合、メッセージ付加により画像に面白みやユーザの意志を付加するなどの画像カスタマイズが可能となり、ユーザにとっての楽しみを広げたり、画像の新たな利用形態を創出することになる。
【０１１８】
また挿入画像データとして翻訳文字を用いることで、ユーザにとって便利なものとなる。例えば図１（ａ）のようなウェアラブルな撮像装置１を装着し、入換画像データが即時表示部２に表示出力されるようにした場合、ユーザの視界光景に入った看板などに示された外国語が、母国語に翻訳されて表示されることになる。例えば海外旅行の際など、非常に便利となる。
【０１１９】
本発明は、上記実施の形態に限られず、撮像装置１の構成例や処理例として各種の変形例や拡張例が考えられる。
本発明の画像処理装置は、撮像装置１として実現する以外に、多様な装置が想定される。
図２０は、本発明の画像処理装置としての構成要素として、システムコントローラ１０と、画像取得部２０と、画像解析／入換部１２と、保存処理部２２と、画像出力部２１と、挿入画像記憶部１８を示している。
例えばこのような構成要素を備える各種機器として本発明の画像処理装置を実現できる。
或いは、画像出力部２１や保存処理部２２の両方又は一方を設けない構成も本発明の画像処理装置として想定される。
【０１２０】
画像取得部２０は、画像解析／入換部１２の処理対象となる撮像画像データを取得する部位である。上記実施の形態の撮像装置１で述べたように、画像取得部２０としては、撮像部３及び撮像制御部６や、通信部１５や、例えば光ディスク、メモリカードなどの可搬性記録媒体に対して再生を行って可搬性記録媒体に記録されている撮像画像データを読み出す再生ドライブとして実現できる。
また画像取得部２０で取得する撮像画像データとは、静止画データでもよいし、動画データでもよい。
【０１２１】
保存処理部２２は、入換画像データを保存する処理を行う部位であるが、上記実施の形態のストレージ部１４に相当する。
但し、図３（ｂ）（ｃ）のような形態で入換画像データを外部機器８０やサーバ装置７０に送信して、外部機器８０やサーバ装置７０において保存を実行させるようにする場合、その送信を行う通信部１５は、保存処理部２２に相当することになる。もちろん無線送信、有線送信のいずれでも良い。
【０１２２】
画像出力部２１は、上記実施の形態の場合では入換画像データを表示出力する表示部２が相当する。また、外部のモニタ装置において表示させるために入換画像データを出力する出力部も、画像出力部２１となり得る。
また、入換画像データを図３（ｂ）（ｃ）のように外部機器８０やサーバ装置７０に有線又は無線で送信する通信部１５も、画像出力部２１となり得る。
また、入換画像データを可搬性記録媒体に記録し、可搬性記録媒体によって装置外に持ち出せるようにする記録ドライブも画像出力部２１となり得る。
【０１２３】
このように例えば画像取得部２０、画像出力部２１、保存処理部２２としては、非常に多様な形態が想定される。それらを考慮すると、本発明は、スチルカメラやビデオカメラ等の撮像装置として実現する他、撮像機能のない、モニタ表示装置、通信装置、画像データ保存装置、画像合成を行う画像編集装置などとしても実現できる。
【０１２４】
また画像解析／入換部１２については、入換領域設定処理と画像入換処理を行うものとした。つまり本発明請求項でいう入換領域設定手段と、入換画像生成手段とが、画像解析／入換部１２によって実現されるものとして説明した。
しかしながら、撮像装置１等の本発明の画像処理装置では、入換領域設定手段と入換画像生成手段のうちの一方を備える構成も考えられる。即ち装置内で画像解析部を備えて入換領域設定処理のみを行う構成や、装置内で画像入換部を備えて画像入換処理のみを行う構成も考えられる。
例えば或る機器において入換領域設定処理を行って、撮像画像データと入換領域情報を他の機器に提供する。他の機器では、提供された撮像画像データと入換領域情報を用いて画像入換処理を行い入換画像データを生成する、ということも想定される。
【符号の説明】
【０１２５】
１ 撮像装置、２ 表示部、２ａ 表示パネル部、３ 撮像部、６ 撮像制御部、７ 表示制御部、１０ システムコントローラ、１１ 操作入力部、１２ 画像解析／入換部、１４ ストレージ部、１５ 通信部、１７ 位置検出部、１８ 挿入画像記憶部、１９ 翻訳処理部、２０ 画像取得部、２１ 画像出力部、２２ 保存処理部
【技術分野】
【０００１】
本発明は、撮像画像データについての画像処理を行う画像処理装置、画像処理方法、及び画像処理システムに関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００２−１５２２３号公報
【特許文献２】特開２００３−２４２４１０号公報
【背景技術】
【０００３】
従来、コンピュータゲームの看板やスポーツスタジアムのテレビジョン放映時の看板などにおいて広告内容を変えるシステムが知られている。
また上記特許文献１、２には広告の形態や種類を変更する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで近年、デジタルスチルカメラやビデオカメラの普及に伴い、一般ユーザが多様な画像撮像を楽しむ環境が整っている。またパーソナルコンピュータ等を用いて、一般ユーザが自分で撮像した画像（いわゆる写真画像や動画）等を編集することも実行できるようになっており、撮像画像に対するユーザの感覚も変化している。
このような状況においては、より多様な画像処理を実現し、例えばユーザが撮像画像から広告その他の情報を受け取ったり、或いは意識的に画像内に情報を挿入できるようにすることで、ユーザの利便性を高めたり、画像を用いた楽しみを広げることができると考えられる。
【０００５】
そこで本発明では、撮像画像を加工し、ユーザへの情報提供を行ったり、ユーザの楽しみを広げたり、利便性を高めるなどして、撮像画像の付加価値を高めることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
【０００７】
また上記撮像画像取得手段は、外部通信機器と通信を行う通信部を有し、上記通信部での外部通信機器と通信により、上記撮像画像データを受信して取得する。なお、外部通信機器とは、サーバ装置やサーバ装置以外の各種電子機器であって通信機能を備えた機器のことを示す。
また上記撮像画像取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記撮像画像データを取得する。
また外部通信機器と通信を行う通信部を有し、上記挿入画像記憶手段は、外部通信機器から送信され上記通信部で受信した挿入画像データを記憶する。
【０００８】
また上記入換画像生成手段で生成された入換画像データ、及び／又は、上記入換領域設定手段で設定された入換領域の情報について保存処理を行う保存処理手段を、さらに備える。
上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記入換画像データ、及び／又は上記入換領域の情報を、上記記録媒体に記録する。
また上記保存処理手段は、外部通信機器と通信を行う通信部を有し、上記保存処理として、上記入換画像データ、及び／又は上記入換領域の情報を、外部通信機器に送信する。
【０００９】
また上記入換画像生成手段で生成された上記入換画像データについての出力処理を行う画像出力手段を、さらに備える。
上記画像出力手段は、表示部を有し、上記出力処理として、上記表示部において上記入換画像データについての表示出力を行う。
また上記画像出力手段は、外部通信機器と通信を行う通信部を有し、上記出力処理として、上記通信部により上記入換画像データについての外部通信機器への送信出力を行う。
また上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記入換画像データを記録する。
【００１０】
また上記入換領域設定手段は、上記撮像画像データに対する画像解析処理により、上記撮像画像データ内で所定の画像を検出し、検出した画像に基づいて上記入換領域を設定する。
また上記挿入画像データは、広告画像、又はメッセージ文字画像、又は翻訳文字画像である。
【００１１】
本発明の画像処理方法は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像された撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、演算処理手段とを有する画像処理装置が実行する画像処理方法として、上記演算処理手段が、上記撮像画像取得手段が取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定し、上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成し、上記入換画像データについて出力処理を行い、ユーザーの頭部に装着され、上記出力処理で出力された上記入換画像データについて表示出力を行い、上記入換領域の設定において、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
【００１２】
本発明の画像処理システムは、画像処理装置と、サーバ装置とが通信可能とされた画像処理システムである。そして上記画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、上記サーバ装置から送信されてきた挿入画像データを受信する受信手段と、上記受信手段で受信した挿入画像データを記憶する挿入画像記憶手段と、上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。上記サーバ装置は、挿入画像データを上記画像処理装置に送信する送信手段を備える。
【００１３】
また本発明の画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、上記撮像画像データと、上記入換領域設定手段で設定した入換領域の情報とについて保存処理を行う保存処理手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、入換領域の情報とについて保存処理を行う保存処理手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
さらに本発明の画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段により撮像された撮像画像データと、該撮像画像データにおける被写体画像の画像解析処理に基づいて該被写体画像内で設定された入換領域の情報を対応させて記録再生する記録再生手段と、挿入画像データを記憶する挿入画像記憶手段と、上記記録再生手段から撮像画像データと入換領域の情報を取得し、取得した撮像画像データについて上記入換領域の情報で示される入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段とを備え、上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する。
【００１４】
即ち以上の本発明では、撮像画像データの画像内で、入換領域を設定する。例えば画像内容を加工しても、画像内容として大きな支障のない画素領域を入換領域とする。例えば画像内で看板が写されている領域、空が写されている領域、文字を含む領域などである。
そしてそのような入換領域内の全部又は一部の画素データを、挿入画像データに置き換える処理を行って入換画像データを生成する。挿入画像データとは、例えば広告、メッセージ、翻訳などの文字や図形その他を含む画像データである。
このようにすると、入換画像データにより、多様な情報提供、ユーザによるメッセージ表現、或いは利便性の向上などが可能となる。
【発明の効果】
【００１５】
本発明によれば、撮像画像データに対して、画像上で違和感がないような画像加工が行われ、広告、メッセージ、翻訳文字などの各種情報が提示された入換画像データが生成される。
これによって画像内容を大きく損なうことなく、撮像画像の付加価値を高めることができるという効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態の撮像装置の外観例の説明図である。
【図２】実施の形態の撮像装置のブロック図である。
【図３】実施の形態のシステム動作形態の説明図である。
【図４】実施の形態のサーバ装置のブロック図である。
【図５】実施の形態の入換画像の説明図である。
【図６】実施の形態の入換画像の説明図である。
【図７】実施の形態の入換画像の説明図である。
【図８】実施の形態の入換画像の説明図である。
【図９】実施の形態の入換画像の説明図である。
【図１０】実施の形態の挿入画像データの提供動作の説明図である。
【図１１】実施の形態の挿入画像データの提供動作の説明図である。
【図１２】実施の形態の画像保存形式の説明図である。
【図１３】実施の形態の画像保存形式の説明図である。
【図１４】実施の形態の画像解析／入換部の処理例Ｉのフローチャートである。
【図１５】実施の形態の画像解析／入換部の処理例IIの入換領域設定処理のフローチャートである。
【図１６】実施の形態の画像解析／入換部の処理例IIの画像入換処理のフローチャートである。
【図１７】実施の形態の撮像装置の動作手順例のフローチャートである。
【図１８】実施の形態の撮像装置の動作手順例のフローチャートである。
【図１９】実施の形態の撮像装置の動作手順例のフローチャートである。
【図２０】本発明の構成要素の説明図である。
【発明を実施するための形態】
【００１７】
以下、本発明の画像処理装置、画像処理方法、画像処理システムの実施の形態を説明する。ここでは画像処理装置の例として撮像装置を挙げて説明する。なお後に変形例、拡張例として述べるが本発明の画像処理装置は、撮像装置以外の機器でも実現できる。
説明は次の順序で行う。
［１．撮像装置の外観例］
［２．撮像装置、システム構成、サーバ装置］
［３．生成画像例］
［４．入換領域、挿入画像データ］
［５．挿入画像データの取得］
［６．画像保存形式例］
［７．画像解析／入換部の処理例Ｉ］
［８．画像解析／入換部の処理例II］
［９．動作手順例］
［１０．実施の形態の効果、及び変形例、拡張例］
【００１８】
［１．撮像装置の外観例］
実施の形態の撮像装置１としては、各種の形態が想定されるが、それらの外観例を図１（ａ）（ｂ）（ｃ）（ｄ）に例示する。
図１（ａ）は、眼鏡型ディスプレイカメラとした撮像装置１を示している。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部２ａ、２ａが配置される構成とされている。この表示パネル部２ａには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部２ａがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示パネル部２ａは、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。
【００１９】
図１（ｂ）は、同じくユーザが頭部に装着する撮像装置１を示しているが、図１（ａ）のような表示パネル部２ａを備えない構成である。例えば耳殻に掛けられるような装着ユニットによりユーザ頭部に装着される。そしてこの状態でユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
【００２０】
これら図１（ａ）（ｂ）では、眼鏡型或いは頭部装着型の装着ユニットによりユーザの頭部に装着される撮像装置１を挙げたが、撮像装置１をユーザが装着するための構造は多様に考えられる。例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。
また、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ３ａが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えらえる。
さらには、１又は複数の撮像レンズ３ａについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けても良い。
【００２１】
図１（ｃ）は一般にデジタルスチルカメラとして知られているような形態の撮像装置１を示している。
また図１（ｄ）は一般にビデオカメラとして知られているような形態の撮像装置１を示している。
これら図１（ｃ）（ｄ）のようにユーザが所持して使用する撮像装置１も、本発明の実施の形態の一態様となる。そして図では撮像レンズ３ａしか示していないが、撮像モニタ用のパネル表示部やビューファインダなどの表示デバイスも設けられている。
【００２２】
なお、静止画撮像や動画撮像を行う撮像装置として、これら図１（ａ）（ｂ）（ｃ）（ｄ）に示す以外の形態も考えられることは言うまでもない。例えば携帯電話機やＰＤＡ（Personal Digital Assistant）、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置１として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロホンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしても良い。
また撮像レンズ３ａの近辺に、被写体方向への照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。
【００２３】
［２．撮像装置、システム構成、サーバ装置］
撮像装置１の構成例を図２で説明する。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ１０は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１３を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
【００２４】
撮像部３は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部３における撮像光学系では、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。
【００２５】
これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部６で処理される。
撮像制御部６は、システムコントローラ１０の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、変換した撮像画像データを、動作状況に応じて画像解析／入換部１２，ストレージ部１４，通信部１５，表示制御部７へ供給する処理を行う。
また撮像制御部６はシステムコントローラ１０の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う。
【００２６】
画像解析／入換部１２は、この撮像装置１が取得した撮像画像データについて、画像解析や画像合成の処理を行う。
例えば撮像部３で得られる撮像画像データに対して画像解析よりを行って、画像内における入換領域を検出する処理を行う。
また検出された入換領域の画素データを、挿入画像データに入れ換える画像入換処理（画像合成）を行い、入換画像データを生成する。
これらの処理の詳細や、入換領域、挿入画像データ、入換画像データ等については後述する。
【００２７】
画像解析／入換部１２が処理の対象とする撮像画像データとは、例えば上記のように撮像部３で撮像された撮像画像データ（静止画データや動画データ）であるが、他の場合もある。
即ち撮像装置１が取得できる撮像画像データとしては、外部の撮像装置で撮像された撮像画像データもあり得る。例えば外部の撮像装置で撮像された撮像画像データが、その撮像装置やサーバ装置等から送信され、通信部１５で受信される場合がある。
また外部の撮像装置で撮像された撮像画像データが可搬性記録媒体に記録され、その可搬性記録媒体をストレージ部１４（ストレージ部１４が可搬性記録媒体に対する再生機能を備えている場合）で再生することで取得する場合もある。
このため、例えば通信部１５で受信した撮像画像データや、可搬性記録媒体から再生して読み出した撮像画像データを、画像解析／入換部１２での処理対象とすることもできる。
【００２８】
この画像解析／入換部１２は、マイクロコンピュータやビデオプロセッサとしてのＤＳＰ（Digital Signal Processor）などで構成できる。また、この図２ではマイクロコンピュータによるシステムコントローラ１０と別ブロックで示しているが、システムコントローラ１０内で起動されるソフトウエアにより画像解析／入換部１２としての動作が実現されても良い。
【００２９】
撮像装置１においてユーザに対して表示を行う構成としては、表示部２、表示制御部７が設けられる。
この表示部２は、上述した液晶パネル等による表示パネル部２ａと、表示パネル部２ａを表示駆動する表示駆動部が設けられる。
表示駆動部は、撮像制御部６から供給される画像データを、例えば液晶ディスプレイとされる表示パネル部２ａにおいて表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部２ａにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
【００３０】
表示制御部７は、システムコントローラ１０の制御に基づいて、表示部２における画素駆動回路を駆動し、表示パネル部２ａに所定の表示を実行させる。
即ち、撮像部３での撮像モニタとしての表示や、ストレージ部１４に取り込まれた撮像画像データの再生表示、さらには通信部１５で受信したデータの表示、各種キャラクタの表示などを、表示パネル部２ａにおいて実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。
また表示制御部７は、システムコントローラ１０の指示に基づいて表示駆動部を制御し、表示パネル部２ａの各画素の透過率を制御して、スルー状態（透明又は半透明の状態）とすることもできる。
【００３１】
ストレージ部１４は、各種データの保存に用いられる。例えば撮像画像データや、後述する入換画像データの保存に用いられる。
このストレージ部１４は、ＲＡＭ或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部１４は、システムコントローラ１０の制御に基づいて、撮像画像データや入換画像データを記録し、保存する。
またシステムコントローラ１０の制御に基づいて、記録したデータを読み出し、システムコントローラ１０や表示制御部７などに供給する。
【００３２】
通信部１５は外部通信機器との間でのデータの送受信を行う。この通信部１５は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部通信機器との間で直接無線通信を行うものでもよい。
また、必ずしも無線通信ではなく、外部通信機器との間の有線接続により外部通信機器と通信を行うものでもよい。
通信を行う外部通信機器としては、後述するサーバ装置７０や、表示装置、ストレージ装置などの外部機器８０が想定される。
【００３３】
また撮像装置１には位置検出部１７が設けられる。
位置検出部１７は例えばＧＰＳ受信部とされる。ＧＰＳ受信部は、ＧＰＳ（Global Positioning System）の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ１０に出力する。
なお、位置検出部１７としては、ＷｉＦｉ（Wireless Fidelity）や携帯電話会社が提供する位置情報サービスを利用するものとしてもよいし、それらやＧＰＳを組み合わせて利用しても良い。
【００３４】
挿入画像記憶部１８は、画像解析／入換部１２が用いる挿入画像データを記憶する。挿入画像データについては後述するが、例えば広告、メッセージなどの文字や図形等の画像である。
挿入画像記憶部１８は、予め各種の挿入画像データが記憶されていても良いし、サーバ装置７０等から送信されて通信部１５で受信した挿入画像データを記憶するようにしてもよい。
この挿入画像記憶部１８は、ＲＡＭ、フラッシュメモリなどの固体メモリ、ＨＤＤ等を用いて構成できるし、可搬性記録媒体に対する記録再生ドライブとして構成されてもよい。また、この図２ではストレージ部１４とは別に示しているが、ストレージ部１４において用いる記録媒体の一部の領域を挿入画像記憶部１８として使用するようにしても良い。
【００３５】
翻訳処理部１９は、例えば画像解析／入換部１２が解析処理によって検出した文字（撮像画像内の文字）についての翻訳処理を行う。そして翻訳結果の文字データを挿入画像データとして画像解析／入換部１２に供給する。
なお、翻訳処理部１９は、システムコントローラ１０における翻訳ソフトウエアにより実現しても良い。
【００３６】
この撮像装置１では、ユーザの操作のために操作入力部１１が設けられる。
操作入力部１１は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、電源オン／オフ操作、撮像系の操作（例えばシャッタ操作、ズーム等の操作や、信号処理の指示操作）、表示関連操作（例えば表示内容の選択や表示調整操作）などに用いる操作子が形成されればよい。
【００３７】
また、操作子としてタッチパッドやタッチパネルを設けても良い。例えば表示部２においてタッチパネルを配し、表示画面上にユーザがタッチすることで操作入力が行われるようにする。
また、画面上でカーソル等のポインタを移動させる操作子として、上記タッチパネルや十字キー、ジョグダイヤル等を備えるようにしてもよい。或いは、加速度センサ、角速度センサ等を内蔵したリモートコントローラにより、ユーザがリモートコントローラを手に持って動かすことで、画面上のカーソル等が移動するような操作が実行可能としても良い。
例えば図１（ｃ）（ｄ）のような撮像装置を考えた場合、操作キー、ダイヤル、タッチパネル等により各種の操作を行うことが好適である。
【００３８】
一方、図１（ａ）（ｂ）のような頭部に装着する撮像装置の場合、操作キー、ダイヤル、タッチパネル等を設けてもよいし、リモートコントローラを使用する形態も想定されるが、多数の操作子等の配置が難しいことを考慮すれば、ユーザの挙動を検知して操作入力とみなす構成を採ることも好適となる。
【００３９】
ユーザの挙動を検知する構成とする場合は、加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが撮像装置１を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ１０がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部（眼鏡のツルに相当する部分）を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ１０がユーザの操作として認識することができる。
また、撮像装置１の左右の側部（眼鏡のツルに相当する部分）等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。
【００４０】
さらには、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して、操作入力と認識するようにしても良い。生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化、眼の状態などである。
そしてシステムコントローラ１０は生体センサの検出情報を、ユーザの操作入力として認識する。例えばユーザの意識的な挙動として目の動き（視線方向の変化やまばたき）が考えられるが、ユーザが３回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが撮像装置１を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ１０がその検出に応じて電源オン／オフなどを行うようにしてもよい。
なお生体センサは、例えば眼鏡型の撮像装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、撮像装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
また眼の状態や動き、瞳孔などの状態の検出のためには、ユーザの眼部を撮像するカメラを用いることが考えられる。
【００４１】
操作入力部２０は、このように操作子、加速度センサ、角速度センサ、振動センサ、圧力センサ、生体センサ等として得られる情報をシステムコントローラ１０に供給し、システムコントローラ１０はこれらの情報によりユーザの操作を検知する。
なお、ユーザの挙動を検出するための構成としては、さらにユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
【００４２】
以上、撮像装置１の構成を示したが、これは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。
【００４３】
本例の撮像装置においては、画像解析／入換部１２の動作に大きな特徴を有する。即ち取得した撮像画像データに対して画像解析を行って、入換領域を設定する。そして入換領域の画素データを、挿入画像データに入れ換えて入換画像データを生成する。
この入換画像データは、撮像された画像の一部の内容が、他の内容に入れ換えられたものとなる。
撮像画像データの一部の内容を、例えば広告、メッセージ、翻訳などの文字や図形等の入換画像データに置き換えて生成される入換画像データは、撮像画像の内容に付加価値を加えるような内容の画像となる。
そして入換画像データによる画像表示を行うことで、ユーザに対する多様な情報提供や、ユーザによるメッセージ表現、或いは利便性の向上などが可能となる。
【００４４】
図３では、このような撮像装置１の動作形態を、外部通信機器との関連において例示する。外部通信機器とは、撮像装置１との間でデータ通信を行うことのできる電子機器であり、サーバ装置７０や、サーバ装置７０以外の各種の外部機器８０である。
【００４５】
図３（ａ）は撮像装置１が単体で動作する場合である。
この場合、撮像装置１では、例えば撮像動作により取得した撮像画像データを、画像入換処理対象とすることができる。
またストレージ部１４として、光ディスク、メモリカードなどの可搬性記録媒体に対する再生部を備える場合は、可搬性記録媒体から読み出した撮像画像データを対象として画像入換処理を行うことも可能である。
そして、処理対象とした撮像画像データの一部を、挿入画像記憶部１８に記憶されている挿入画像データに入れ換えることで入換画像データを生成する。
生成した入換画像データについては、保存処理としてストレージ部１４に保存できる。
また生成した入換画像データについては、出力処理として、表示部２において表示させることができる。
また可搬性記録媒体に対する記録部を備える場合は、生成した入換画像データの出力処理として、可搬性記録媒体に記録するという動作も可能である。
【００４６】
図３（ｂ）は撮像装置１が通信部１５により外部機器８０と通信を行う例である。外部機器８０とは、表示装置、ストレージ装置、或いは他の撮像装置などが想定される。つまり本例の撮像装置１との間で通信が可能な電子機器である。より具体的には、外部機器８０としては、図２のような構成の他の撮像装置１も想定できるし、通信機能を備えたデータサーバ、パーソナルコンピュータ、データ記録デバイス、ビデオプレーヤ、ビデオカメラ、デジタルスチルカメラ、撮像機能を備えた携帯電話機、ＰＤＡなど多様な機器が想定できる。
【００４７】
この場合、撮像装置１では、画像入換処理の対象とする撮像画像データを、外部機器８０から取得することが可能となる。例えば外部機器８０としての撮像装置で撮像された撮像画像データや、ストレージ装置に保存されていた撮像画像データを受信することで、それらを処理対象とすることができる。
生成した入換画像データの保存処理としては、内部のストレージ部１４に保存する他、通信部１５から外部機器８０（ストレージ装置）に送信して、その外部機器８０において記録媒体に保存させるような動作も可能となる。
また生成した入換画像データの出力処理としては、表示部２で表示させる他、外部機器８０としての表示装置に送信して表示出力させることができる。
なお、外部機器８０との通信は、無線通信だけでなく、有線通信も想定される。
【００４８】
図３（ｃ）は、撮像装置１の通信部１５が、特にインターネット等のネットワーク６０を介した通信アクセス機能を備えることで、ネットワーク６０で接続される外部機器８０やサーバ装置７０と通信を行う例である。
ネットワーク６０とは、インターネットの他に、携帯電話通信網、ＰＨＳ通信網、アドホックネットワーク、ＬＡＮなど、各種考えられる。
外部機器８０との通信による動作例は上記図３（ｂ）の場合と同様に考えられる。
【００４９】
サーバ装置７０は、本例では、撮像装置１に対して挿入画像データを供給できる機器として示している。
撮像装置１においては、上述のように挿入画像記憶部１８に挿入画像データが記憶されており、挿入画像記憶部１８から読み出された挿入画像データが、画像入換処理に用いられるが、その挿入画像データを、サーバ装置７０が撮像装置１に供給することで、広告等の内容の多様な挿入画像データを利用できるようにしたり、挿入画像データの内容を更新できるようにする。
サーバ装置７０においては画像データベース７６が設けられて各種の挿入画像データが蓄積されており、多様な条件で挿入画像データを選定して撮像装置１に提供できる。
なお、サーバ装置７０が撮像装置１に、処理対象とする撮像画像データを提供できるようにしても良い。また、撮像装置１で生成された入換画像データを、サーバ装置７０において保存したり、外部機器８０に転送できるようにしてもよい。
【００５０】
図４に、サーバ装置７０の構成例を示す。
上記のようにサーバ装置７０は、例えばネットワーク６０を介した通信により、撮像装置１に対して挿入画像データや撮像画像データを供給できる装置である。
サーバ装置７０は、サーバ制御部７２、ネットワークストレージ部７１、通信部７３、情報管理部７４、地図データベース７５、計時部７６、画像データベース７７、ユーザ情報格納部７８を備える。
【００５１】
ネットワークストレージ部７１は、例えばＨＤＤ等により実現され、例えば撮像装置１からネットワーク６０を介して送信されてくる画像データ等を保存したり、撮像装置１や外部機器８０の間で伝送する画像データ等を転送のために一時的にバッファリング記憶するためなどに用いられる。
通信部７３は、撮像装置１の通信部２６や外部機器８０の通信部との間で、ネットワーク６０を介したデータ通信を行う。
サーバ制御部７２は、サーバ装置７０としての必要な動作制御を行う。特には、撮像装置１に対する入換画像データの供給のための制御動作を行う。
【００５２】
情報管理部７４、地図データベース７５、計時部７６、画像データベース７７、ユーザ情報格納部７８は、撮像装置１に対する入換画像データの供給のため動作を行う部位となる。
地図データベース７５は地図情報を格納している。
計時部７６は現在日時（年月日時分秒）を計数している。
画像データベース７６には、例えば広告画像としての各種の挿入画像データが記憶されている。
ユーザ情報格納部７８は、サーバ装置７０が入換画像データを提供する撮像装置１のユーザの登録情報を記憶する。例えば撮像装置１の個体毎の識別情報（もしくは通信に用いるアドレス等の情報）に対応させて、ユーザ情報を格納する。ユーザ情報とは、例えば年齢、性別、趣味、嗜好など、ユーザが登録時に提供する内容とすればよい。
【００５３】
情報管理部７４は、現在の日時、現在撮像装置１の現在位置、ユーザ情報などに応じて、撮像装置１に提供すべき挿入画像データを、画像データベース７７から検索する処理を行う。
例えば情報管理部７４は、計時部７６で計数されている現在日時に応じて、現時点でユーザに提供すべき広告内容の挿入画像データを検索する。
或いは情報管理部７４は、撮像装置１から現在位置情報が送信されてくることに応じて、その撮像装置１の現在位置に応じて適した広告内容の挿入画像データを検索する。この際、地図データベース７５に格納されている地図情報に照らし合わせることで、撮像装置１の現在位置を把握し、その位置に応じた挿入画像データを選択できる。
或いは情報管理部７４は、ユーザ情報格納部７８に記憶されている撮像装置１のユーザ情報に基づいて、そのユーザに適した広告内容の挿入画像データを検索する。
【００５４】
［３．生成画像例］
撮像装置１において生成される入換画像データとしての画像例を図５，図６，図７，図８，図９に示す。これら各図（ａ）は撮像画像、各図（ｂ）は設定される入換領域、各図（ｃ）は生成した入換画像を示している。
【００５５】
図５（ａ）は、市街地を撮像した撮像画像である。この画像には、ビルに設置された看板が含まれている。
このような画像に対して、図５（ｂ）のように、画像内での看板の部分を入換領域ＡＲｉとして設定する。
そしてこの入換領域ＡＲｉとされた画素範囲に対して挿入画像データを挿入する。つまり画素データを入れ換える。これにより、図５（ｃ）のように看板の広告内容が変更された入換画像が生成される。
【００５６】
図６（ａ）は、或る風景を撮像した撮像画像であり、この画像には、空が含まれている。
このような画像に対して、図６（ｂ）のように、画像内での空の部分を入換領域ＡＲｉとして設定する。
そしてこの入換領域ＡＲｉとされた画素範囲の一部に、挿入画像データを挿入する。挿入画像データは、例えば広告文字を含む飛行船とする。
これにより、図６（ｃ）のように空に広告が示された飛行船が飛んでいる入換画像が生成される。
【００５７】
図７（ａ）は、或る人物を撮像した撮像画像であり、この画像に写された人物の衣服に文字が含まれている。
このような画像に対して、図７（ｂ）のように、画像内での衣服の文字の部分を入換領域ＡＲｉとして設定する。
そしてこの入換領域ＡＲｉとされた画素範囲に、挿入画像データを挿入する。挿入画像データは、例えばメッセージ文字画像とする。
これにより、図７（ｃ）のように衣服の文字がメッセージ文字に変更された入換画像が生成される。
【００５８】
図８（ａ）は、街角で撮像した撮像画像であり、この画像には、店舗の看板が含まれている。
このような画像に対して、図８（ｂ）のように、画像内での文字の部分を入換領域ＡＲｉとして設定する。
そしてこの入換領域ＡＲｉとされた画素範囲に対して挿入画像データを挿入する。挿入画像データは、例えば翻訳文字画像とする。
これにより、図８（ｃ）のように店舗の看板の文字（日本語）が、英語表記に変更された入換画像が生成される。
【００５９】
図９（ａ）は、看板を含む撮像画像であるが、特にこの看板には、特定のマークＭが含まれているとする。例えば実際の看板には何も描かれていない無地の状態であったとする。
このような画像に対して、図９（ｂ）のように、画像内でのマークＭが認識された位置に基づいて入換領域ＡＲｉを設定する。例えば無地の領域を入換領域ＡＲｉとする。
そしてこの入換領域ＡＲｉとされた画素範囲に対して挿入画像データを挿入する。挿入画像データは、例えば広告画像とする。
これにより、図９（ｃ）のように、何も描かれていなかった看板に広告が表示された入換画像が生成される。
【００６０】
［４．入換領域、挿入画像データ］
例えば上記のような入換画像としての入換画像データを生成するためには、撮像画像データの画像内で、まず入換領域ＡＲｉを設定することが必要となる。
このため撮像装置１では、画像解析／入換部１２において、処理対象とする撮像画像データの画像解析を行い、入換領域ＡＲｉを設定する。特に生成される入換画像データが、自然な画像に見えるようにするために、画像内で適切な領域を入換領域ＡＲｉとする必要がある。
ここでは、入換領域ＡＲｉの設定手法の例を述べる。
【００６１】
上記図５や図８では、看板の内容を入れ換える例を示したが、この場合、画像内で看板を認識して、入換領域ＡＲｉとする。画像内で看板を認識するためには、画像解析処理において形状解析や文字認識を行うことが考えられる。即ち画像内での輪郭線の形状や、その輪郭線内での文字の存在などを判断基準とする。
例えば画像内で輪郭線が方形（長方形、台形、平行四辺形、）となっている部分を抽出する。なお、一般に長方形で形成される看板は、撮像方向や撮像時の仰角、遠近などにより、画像上では台形や平行四辺形に映し出される。このため、画像内の全体的な輪郭線の様子（例えば道路や建物の輪郭線）などから撮像方向、仰角等を推定し、元（実物）は長方形であると推定される台形や平行四辺形を画像内から抽出するような解析処理も有効である。
輪郭線が方形である領域を検出したら、その方形の内側に文字が含まれているかを判断する。例えば文字のパターン認識を行う。なお各種のロゴ、マーク等を記憶しておき、画像パターンマッチングにより、ロゴやマークと推定される画像が含まれているかを検出してもよい。
そして、方形の領域であって、その内側に文字（或いはロゴ、マーク）が含まれている画像領域が撮像画像内に存在すれば、それは看板等が写されているものと判断し、その方形領域を入換領域ＡＲｉとする。
なお、方形の領域ではなく、円形、楕円形の領域などを看板と推定することも考えられる。
【００６２】
また、ネオンやＬＥＤによる発光看板、或いはビルの壁面などに取り付けられた大型モニタディスプレイなどを想定し、周囲との輝度差が著しい方形領域や、部分的に高輝度となっている領域を検出し、これを入換領域ＡＲｉとすることも考えられる。
【００６３】
図６では空が写されている範囲を入換領域ＡＲｉとしたが、空の認識は次のような手法が想定される。
まず、画像内の上部、又は左上部、又は右上部の領域を「空」と推定する。
また、これらの上部領域において、或る程度の範囲で青色（空としての青系の色）であるか否かを判断する。
これらの条件により、画面内で空の範囲を特定でき、その空の範囲を入換領域ＡＲｉとすることが可能である。
また、さらには、空の場合、緩やかなグラデーションが見られる程度で一定領域、極端な色変化や物体の存在は無いため、画像内の輪郭線（境界エッジ）が存在しない範囲を空として認識することも可能である。
なお、ここでは空の領域を判別する例を挙げたが、同様に海、湖等の水面の領域を判定して、それを入換領域ＡＲｉとすることもできる。
さらに、道路上の自動車を判別して、自動車の領域を入換領域ＡＲｉとすることも考えられる。
【００６４】
図７では、文字内容を置き換える例を示したが、この場合の入換領域ＡＲｉの設定には、撮像画像に対する文字認識を行えばよい。即ち文字が検出された範囲を含むように、入換領域ＡＲｉを設定する。特に文字の周囲の輪郭線を越えないように入換領域ＡＲｉを設定することが好適である。
【００６５】
図９には、マークＭを認識して入換領域ＡＲｉを設定する例を示した。
例えば、本例の入換画像データの生成動作に対応して、予め実際の看板等に特定のマークＭを表示しておく。
画像解析としては、撮像画像内に、特定のマークＭが含まれているか否かを判別する。
画像内で特定のマークＭを検出したら、そのマークＭの位置に基づいて、入換領域ＡＲｉを設定する。例えばマークＭを含む方形の領域、円形の領域、楕円の領域、或いは輪郭線が認識できる不定形の領域等を、入換領域ＡＲｉとする。また、図９（ａ）のように元々の看板に何も描かれていないことを前提とすれば、マークＭを含む無地の領域を入換領域ＡＲｉとすることも考えられる。もちろん、元々の看板に、何らかの文字や絵などが描かれていたとしても、マークＭに基づいて、その文字や絵を変更するような範囲で入換領域ＡＲｉを設定しても良い。
また、実際の看板などにおいてマークＭを複数個表示し、その各マークを対角点とする方形範囲や、各マークを頂点とする形状の範囲を入換領域ＡＲｉとしてもよい。
【００６６】
この手法は、つまりは被写体となる側から、所定範囲を入換領域ＡＲｉとして用いることを明示する手法である。
例えば設置する看板、或いは建物の壁面、窓などにおいて、特定のマークＭを実際に表示しておくことで、撮像された際に、その領域が入換領域ＡＲｉとして用いられて画像に広告データ等が付加されることを求めるものとなる。
なお、被写体側がマークＭにより、入換領域ＡＲｉとして用いられることを表示する例を挙げたが、マークでなく、実際の看板等に特定の地模様を表示し、撮像装置１では画像解析において当該地模様が認識される範囲を入換領域ＡＲｉとするようにしてもよい。
また看板等に、バーコード、二次元バーコード、或いは発光体等を配し、撮像装置１でこれらの情報を画像解析により検知することに応じて、入換領域ＡＲｉを設定してもよい。
【００６７】
撮像装置１では、画像解析／入換部１２において、撮像画像データに対して画像解析を行い、例えば以上のような手法で、画像内において１又は複数の入換領域ＡＲｉを設定する。
そして、設定した入換領域ＡＲｉ内の全部又は一部の画素データを、挿入画像データとしての画素データに置き換えることで入換画像データを生成する。
挿入画像データの画像内容としては、以下のような例が想定される。
【００６８】
まず広告画像としての文字、図形、絵などの画像が想定される。広告画像の内容としては、企業広告、商品・サービス広告、政府や地方自治体等の団体の広告などが考えられる。
このような広告としての挿入画像データは、文字画像、ロゴやマークの画像などで実現される。
さらに図６（ｃ）に例示した飛行船のように、所定の物体を伴う画像としてもよい。例えば図６（ｃ）のように空の部分に挿入する挿入画像データとしては、アドバルーン、気球、飛行機、旗などに広告文字等を付加した画像が考えられる。また、海などの水面に挿入する挿入画像データとしては、船舶に広告文字等を付加した画像などでもよい。
さらに、車体等に広告文字等を付加した自動車、鉄道車両などの画像も考えられる。
これらの広告画像としての挿入画像データは、撮像装置１が挿入画像記憶部１８に固定的に記憶されるものでもよいし、例えばサーバ装置７０から送信されて挿入画像データに記憶されるようにしても良い。さらに各種の挿入画像データが可搬性記録媒体に記録されてユーザに提供され、ユーザが当該可搬性記録媒体を撮像装置１に装填して再生させることで、記録された挿入画像データが挿入画像記憶部１８に取り込まれるようにしてもよい。
【００６９】
また挿入画像データの例として、メッセージ文字画像が想定される。
メッセージ文字画像の内容は、ユーザが任意に作成（入力）できるようにすればよいし、各種のメッセージ文字画像を用意し、ユーザが選択できるようにしてもよい。
メッセージ文字画像は、予め各種用意されて挿入画像記憶部１８に記憶されているようにしてもよいし、ユーザが入力することにより挿入画像記憶部１８に記憶されるようにしてもよい。
【００７０】
また挿入画像データの例として、翻訳文字画像が想定される。
撮像装置１においては翻訳処理部１９で翻訳処理が行われ、翻訳文字データが生成される。これが画像解析／入換部１２に供給されて挿入画像データとして用いられる。
【００７１】
［５．挿入画像データの取得］
撮像装置１では、挿入画像記憶部１８に広告画像やメッセージ文字画像としての挿入画像データを格納しており、画像解析／入換部１２は、入換画像データを生成する際に、例えば挿入画像記憶部１８から挿入画像データを読み出して用いる。
上述のように、挿入画像記憶部１８には、予め広告画像やメッセージ文字画像としての挿入画像データが各種格納されていればよいが、特に広告画像や、メッセージ画像として特殊のデザインの画像などを、サーバ装置７０から提供されるようにすることで、撮像装置１では多様な内容の挿入画像データを利用できるようになる。
ここでは、撮像装置１がサーバ装置７０から挿入画像データを取得する動作例を図１０，図１１で述べる。
【００７２】
図１０（ａ）は、例えばサーバ装置７０が、定期的或いは随時、撮像装置１に挿入画像データを送信する例である。
サーバ装置７０は、例えば企業などの広告主からの要請や契約に基づいて、定期的或いは随時、撮像装置１に対して通信接続を行い、所定の挿入画像データを送信する（Ｓ１）。即ちサーバ制御部７２は、情報管理部７４により画像データベース７７から所要の挿入画像データを読み出させ、これを通信部７３から送信させる。
撮像装置１では送信されてきた挿入画像データを通信部１５で受信したら（Ｓ２）、システムコントローラ１０は、受信した挿入画像データを挿入画像記憶部１８に保存させる（Ｓ３）。
このような動作は、例えばサーバ装置７０が多数の撮像装置１に対して一斉に所定の挿入画像データを送信する場合などに好適な動作となる。
【００７３】
図１０（ｂ）は、撮像装置１から挿入画像データを要求する例である。
撮像装置１のシステムコントローラ１０は、例えばユーザ操作に基づく任意の時点、或いは定期的なタイミング、或いは画像入換処理を行うタイミングなどにおいて、通信部１５からサーバ装置７０に対して挿入画像要求の情報を送信させる（Ｓ１１）。
サーバ装置７０のサーバ制御部７２は、通信部７３において挿入画像要求を受信したことを検知したら（Ｓ１２）、それに応じて、情報管理部７４により画像データベース７７から所要の挿入画像データを読み出させる。そしてその挿入画像データを通信部７３から要求元の撮像装置１に対して送信させる（Ｓ１３）。撮像装置１では送信されてきた挿入画像データを通信部１５で受信したら（Ｓ１４）、システムコントローラ１０は、受信した挿入画像データを挿入画像記憶部１８に保存させる（Ｓ１５）。
このような動作により、撮像装置１側にとって動作上、好適なタイミング、或いはユーザが求めたタイミングで、挿入画像データの提供を受けることができるようになる。
【００７４】
図１１（ａ）は、サーバ装置７０が日時に応じて撮像装置１に挿入画像データを送信する例である。
サーバ装置７０では、情報管理部７４が、計時部７６による現在日時を確認し、その現在日時に応じて、画像データベース７７に格納されている挿入画像データを選定する（Ｓ２１）。そしてサーバ制御部７２は、情報管理部７４が選択した１又は複数の挿入画像データを受け取り、これを通信部７３から撮像装置１に対して送信させる（Ｓ２２）。
撮像装置１では送信されてきた挿入画像データを通信部１５で受信したら（Ｓ２３）、システムコントローラ１０は、受信した挿入画像データを挿入画像記憶部１８に保存させる（Ｓ２４）。
この動作においては、タイムリーな広告やメッセージなどの内容の挿入画像データを撮像装置１に提供できることになる。
例えば商品の発売日や、バーゲン等の日時に応じた広告、イベントやスポーツの試合の開催日からみて適切な広告、月日や季節に応じた広告などとしての挿入画像データを、撮像装置１に提供できることになる。
サーバ装置７０では、例えば広告主側から広告提供期日や期間を指定されることに応じて、画像データベース７７に、その挿入画像データについて日時情報を対応させて登録しておいたり、広告やメッセージの内容に応じた季節、月日などの情報を、各挿入画像データに日時情報を付加しておくことで、情報管理部７４はタイムリーな挿入画像データを画像データベース７７から検索することができる。
なお、この図１１（ａ）と図１０（ｂ）を組み合わせて、撮像装置１から挿入画像要求を送信した場合に、サーバ装置７０がそのときの日時に基づいて挿入画像データを検索して撮像装置１に供給することも考えられる。
【００７５】
図１１（ｂ）は、サーバ装置７０が撮像装置１の現在位置に応じて挿入画像データを送信する例である。
撮像装置１のシステムコントローラ１０は、定期的、又はユーザ操作に応じたタイミング、或いは画像入換処理を行うタイミングなどで、位置検出部１７で検出される位置情報を通信部１５からサーバ装置７０に送信させる（Ｓ３１）。
サーバ装置７０では、撮像装置１が送信してきた位置情報を通信部７３で受信したら（Ｓ３２）、サーバ制御部７２は、情報管理部７４に、その位置情報を与え、位置に応じた挿入画像データを検索させる。情報管理部７４は、位置情報に応じて地図データベースから地図情報を読み出し、現在、撮像装置１のユーザが居る位置を把握すると共に、その近辺の店舗や施設などを確認する。そして、近辺の店舗や施設についての広告などの挿入画像データを、画像データベース７７から検索する（Ｓ３３）。
そしてサーバ制御部７２は、情報管理部７４が選択した１又は複数の挿入画像データを受け取り、これを通信部７３から撮像装置１に対して送信させる（Ｓ３４）。
撮像装置１では送信されてきた挿入画像データを通信部１５で受信したら（Ｓ３５）、システムコントローラ１０は、受信した挿入画像データを挿入画像記憶部１８に保存させる（Ｓ３６）。
この動作においては、ユーザの現在位置に応じた好適な広告やメッセージなどの内容の挿入画像データを撮像装置１に提供できることになる。
例えばユーザの居る位置の近辺の店舗や施設、地域の広告などとしての挿入画像データを、撮像装置１に提供できることになる。
サーバ装置７０では、例えば広告主側から広告提供を行う地域を指定されることに応じて、画像データベース７７に、その挿入画像データについて地域情報を対応させて登録しておくことで、情報管理部７４はユーザの現在位置に応じた挿入画像データを画像データベース７７から検索することができる。
また、企業広告ではなく、各種警報（津波、落雷等の警報）、天気情報、交通情報などを、地域に応じた挿入画像データとして提供することも可能である。
【００７６】
図１１（ｃ）は、サーバ装置７０が撮像装置１のユーザ個人毎に適した挿入画像データを送信する例である。
撮像装置１のシステムコントローラ１０は、定期的、又はユーザ操作に応じたタイミング、或いは画像入換処理を行うタイミングなどで、ユーザＩＤ（又は撮像装置ＩＤ）を通信部１５からサーバ装置７０に送信させる（Ｓ４１）。
サーバ装置７０では、撮像装置１が送信してきたユーザＩＤを通信部７３で受信したら（Ｓ４２）、サーバ制御部７２は、情報管理部７４に、そのユーザＩＤに応じた挿入画像データを検索させる。情報管理部７４は、ユーザＩＤに応じてユーザ情報格納部７８を検索し、当該ユーザＩＤのユーザの情報を読み出す。例えば性別、年齢、趣味、嗜好などの情報を読み出す。そしてそれらのユーザの情報に適した広告などの挿入画像データを、画像データベース７７から検索する（Ｓ４３）。
サーバ制御部７２は、情報管理部７４が選択した１又は複数の挿入画像データを受け取り、これを通信部７３から撮像装置１に対して送信させる（Ｓ４４）。
撮像装置１では送信されてきた挿入画像データを通信部１５で受信したら（Ｓ４５）、システムコントローラ１０は、受信した挿入画像データを挿入画像記憶部１８に保存させる（Ｓ４６）。
この動作により、撮像装置１のユーザ毎に、そのユーザの性別、年齢、趣味、嗜好等に適した広告やメッセージなどの内容の挿入画像データを撮像装置１に提供できることになる。
サーバ装置７０では、例えば各挿入画像データについて、その内容に応じて提供したいユーザの性別、年齢、趣味、嗜好等を登録しておくことで、情報管理部７４はユーザ毎に適した挿入画像データを画像データベース７７から検索することができる。
なお、撮像装置１からの要求（ユーザＩＤ又は撮像装置ＩＤの送信）が無くとも、サーバ装置７０が定期的、或いは随時、各撮像装置１に、ユーザＩＤに基づいて選択した挿入画像データを送信するようにしてもよい。例えば、新たな広告内容の挿入画像データを画像データベースに登録した際に、その広告内容に興味を持つと思われるユーザを検索し、そのユーザＩＤのユーザが所有する撮像装置１に対して、当該挿入画像データを送信するような処理も可能である。
【００７７】
以上、サーバ装置７０から撮像装置１に挿入画像データを提供する手法が考えられる。そして撮像装置１では、サーバ装置７０から提供されて挿入画像記憶部１８に取り込んだ挿入画像データを、その後、画像解析／入換部１２が入換画像データの生成を行う際に用いることができる。
なお、これらの提供の手法は一例にすぎず、さらに多様な提供手法が考えられる。
例えば撮像画像データについて、撮像場所としての位置情報や撮像日時が付加されて保存されている場合において、それらに応じた挿入画像データの提供も可能である。
例えば或る撮像画像データを画像解析／入換部１２での処理の対象とする際に、その撮像場所としての位置情報をサーバ装置７０に送信し、サーバ装置７０が、その撮像場所としての位置情報に応じた挿入画像データを検索して撮像装置１に送信する。
或いは、その撮像画像データの撮像日時情報をサーバ装置７０に送信し、サーバ装置７０が、その撮像日時に応じた挿入画像データを検索して撮像装置１に送信する。
撮像装置１では、このように提供された挿入画像データを用いて、画像解析／入換部１２が入換画像データ生成処理を行うことで、撮像画像データの撮像場所や撮像日時に応じた広告やメッセージ等を挿入した入換画像データを生成できる。
【００７８】
［６．画像保存形式例］
次に、撮像装置１において、画像解析／入換部１２の処理結果の保存形式例を説明する。
上述のように、画像解析／入換部１２は、処理対象とした撮像画像データの画像内で、入換領域ＡＲｉを設定する処理と、設定した入換領域ＡＲｉに挿入画像データを挿入して入換画像データを生成する処理を行う。
例えば画像解析／入換部１２が、これらの処理をおこなって入換画像データを生成した場合、入換画像データをストレージ部１４に保存することが考えられるが、そのときには図１２のような画像保存形式が考えられる。
【００７９】
図１２は、ストレージ部１４における画像データの保存例を示している。
例えば撮像部３で撮像を行うことで取得した撮像画像データ、或いは通信部１５で受信して取得した撮像画像データ、或いは可搬性記録媒体から読み出されることで取得した撮像画像データをストレージ部１４に保存される。
取得された各撮像画像データは、例えば図のエントリ＃１、＃２・・・＃ｎとしての撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎとして保存される。
また、これらの画像データにそれぞれ対応して、画像管理情報Ｃ１，Ｃ２・・・Ｃｎが記録される。画像管理情報は、例えば撮像画像データのファイル名、画像種別（動画／静止画の別など）、データサイズ、圧縮方式、撮像を行った装置の識別情報などを含む。また撮像日時情報（撮像時の年月日時分秒）や、撮像時に位置検出部１７で検出された撮像場所としての緯度・経度の情報も含むようにしてもよい。
そして、これらの撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎに対応させて入換画像データｃＶＤ１，ｃＶＤ２・・・ｃＶＤｎを記憶する。
例えば画像解析／入換部１２で撮像画像データＶＤ１を処理対象として処理して生成した入換画像データｃＶＤ１は、撮像画像データＶＤ１に対応させて保存する。
なお、１つの撮像画像データを用いて複数の入換画像データを生成することもできる。その場合も、各入換画像データを、元の撮像画像データに対応させて記憶すればよい。
【００８０】
ところで、画像解析／入換部１２では、入換領域ＡＲｉを設定する処理と、入換画像データを生成する処理を同時連続的に行っても良いが、入換領域ＡＲｉを設定する処理と、入換画像データを生成する処理を別の時点で行うようにしてもよい。また入換領域ＡＲｉを設定する処理のみを行って、入換画像データの生成処理を外部機器８０において実行させるようにしてもよい。
すると、ストレージ部１４において、図１３に示すように、撮像画像データに対応して入換領域ＡＲｉを示す入換領域情報を保存するという形式も想定される。即ち図示するように撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎに対応させて入換領域情報Ｅ１，Ｅ２・・・Ｅｎを記憶する。
例えば画像解析／入換部１２で撮像画像データＶＤ１を処理対象とし、入換領域ＡＲｉの設定を行った時点で、その１又は複数の入換領域ＡＲｉとしての画素範囲を示す情報を入換領域情報Ｅ１として、撮像画像データＶＤ１に対応させて保存する。
このようにすることで、後の時点で、入換領域情報Ｅで示される画素領域に挿入画像データを挿入して入換画像データを生成することができる。
或いは、例えば表示の都度に入換領域に異なる挿入画像データを挿入して入換画像データを生成するような場合にも好適である。
また、例えば入換領域ＡＲｉの設定機能を備えない外部機器８０に撮像画像データと入換領域情報を送信し、その外部機器において入換画像データを生成させるということも可能となる。
【００８１】
なお、図１２，図１３の保存情報を合わせ、入換画像データと入換領域情報の双方とも、撮像画像データに対応させて記憶するようにしてもよい。
【００８２】
［７．画像解析／入換部の処理例Ｉ］
画像解析／入換部１２は、システムコントローラ１０の指示に応じて、システムコントローラ１０が指定した撮像画像データを処理対象として、入換画像データの生成のための処理を行う。
ここでは画像解析／入換部１２の処理例Ｉとして、処理対象とした撮像画像データの画像内で入換領域ＡＲｉを設定する処理（入換領域設定処理）と、設定した入換領域ＡＲｉに挿入画像データを挿入して入換画像データを生成する処理（画像入換処理）を連続して行う場合の例を述べる。
【００８３】
図１４はシステムコントローラ１０の指示に応じて画像解析／入換部１２が実行する処理を示している。
システムコントローラ１０は、画像解析／入換部１２において図１４の処理を実行させる際、その処理対象となる撮像画像データを画像解析／入換部１２に転送させる。例えば撮像部３で撮像した撮像画像データを撮像制御部６から画像解析／入換部１２に転送させる。或いは通信部１５で受信した撮像画像データを画像解析／入換部１２に転送させたり、ストレージ部１４で撮像画像データを再生させて画像解析／入換部１２に転送させる場合もある。
画像解析／入換部１２は、処理対象とされた撮像画像データが入力されると、図１４の処理をステップＦ１０１からＦ１０２に進める。
【００８４】
画像解析／入換部１２はステップＦ１０２で、入力された撮像画像データについて画像解析処理を行い、画像内において１又は複数の入換領域ＡＲｉを設定する。画像解析による入換領域ＡＲｉの設定手法は上述したとおりである。
入換領域ＡＲｉを設定したら、設定した入換領域ＡＲｉの数を変数Ｎに代入する。
【００８５】
続いて画像解析／入換部１２はステップＦ１０３では、変数Ｎ＝０であるか否かを確認する。つまり、画像内で入換領域ＡＲｉとして設定できる領域が無いという状況であったか否かを確認する。例えば入換領域ＡＲｉは、所定形状の領域や空などの認識、文字認識等に基づいて上述した手法で設定するが、画像内容によっては入換領域ＡＲｉとできる領域が存在しないことも当然考えられる。
そのためＮ＝０であって、入換領域ＡＲｉが１つも設定できなかった場合は、ステップＦ１１０に進み、今回処理対象とされた撮像画像データについては、入換画像データの生成が不能である旨をシステムコントローラ１０に通知して処理を終える。
【００８６】
１以上の入換領域ＡＲｉが設定された場合は、画像解析／入換部１２の処理はステップＦ１０４に進み、まず変数Ｘ＝１とする。
そしてステップＦ１０５で画像解析／入換部１２は、挿入画像記憶部１８（又は翻訳処理部１９）から挿入画像データを入手し、ステップＦ１０６で、第Ｘの入換領域ＡＲｉ（Ｘ）の画素データを、入手した挿入画像データの画素データに入れ換える処理を行う。即ち入換画像データを生成する。
【００８７】
この場合、ステップＦ１０５で入手する挿入画像データをどのように選択するかは、多様に考えられる。例えば第Ｘの入換領域ＡＲｉ（Ｘ）が、画像内の看板認識により設定された入換領域であった場合は、広告内容の挿入画像データを選ぶことが考えられるが、挿入画像記憶部１８内でランダムに選択して読み出しても良いし、ステップＦ１０５の処理を行う毎に順番に選択しても良い。また、第Ｘの入換領域ＡＲｉ（Ｘ）が、空や海の領域を認識して入換領域とした場合は、飛行船や船舶等、空や海に対応する画像内容の挿入画像データを選択して読み出せばよい。
また、上記図１０（ａ）（ｂ）、図１１（ａ）（ｂ）（ｃ）の動作によりサーバ装置７０から供給された挿入画像データとして、最も最近において画像記憶部１８に取り込まれた挿入画像データから順に選択していっても良い。
また、この図１４の処理を実行する時点で、上記図１０（ｂ）又は図１１（ｂ）又は図１１（ｃ）のようにサーバ装置７０にアクセスし、挿入画像データの供給を受けるようにし、それによって挿入画像記憶部１８に取り込んだ挿入画像データをステップＦ１０５で読み出すようにしてもよい。
また、挿入画像データとしてメッセージ文字画像を用いる場合は、例えばメッセージ文字画像の一覧等を表示部２に表示させ、ユーザの選択操作に応じて、特定のメッセージ文字画像を選択するという手法がある。または、ユーザが実際に文字入力を行ってメッセージ文字画像を生成するということも想定される。
もちろんユーザ入力を介さない選択も可能である。挿入画像記憶部１８に記憶された挿入画像データをランダムに選択したり、順番に選択するようにしてもよい。
さらに、上述したように操作入力部１１に生体センサを備える場合、生体センサによって検知できるユーザの状況に応じて挿入画像データを選択することも考えられる。例えば脳波、発汗、心拍数・・・等、上述した検出要素からユーザの体調や気分を推定し、その推定されたユーザ状況に適したメッセージ文字画像の挿入画像データを選択することも可能である。
また、挿入画像データとして翻訳文字画像を用いる場合は、ステップＦ１０５において、入換領域ＡＲｉ（Ｘ）において認識した文字に基づいて文字データを生成して翻訳処理部１９に供給する。そして翻訳処理部１９で翻訳された文字データを画像解析／入換部１２が受け取ることになる。
【００８８】
例えばステップＦ１０５で以上のようにして挿入画像データを入手し、ステップＦ１０６で、入換領域ＡＲｉ（Ｘ）の画像内容を入れ換えた入換画像データを生成したら、画像解析／入換部１２はステップＦ１０７で、変数Ｘと変数Ｎ（設定した入換領域ＡＲｉの数）を比較し、画像内で設定された全ての入換領域ＡＲｉについて処理を終えたか否かを確認する。
まだ、未処理の入換領域ＡＲｉが存在すれば、ステップＦ１０８に進んで変数Ｘをインクリメントし、ステップＦ１０５に戻る。即ち次の入換領域ＡＲｉ（Ｘ）について同様に処理を行う。
【００８９】
全ての入換領域ＡＲｉについて処理を終え、Ｘ＝Ｎとなったら、ステップＦ１０９に進む。この時点で、全ての入換領域ＡＲｉの画像内容が入れ換えられた入換画像データが生成されていることになる。例えば図５（ｃ）、図６（ｃ）、図７（ｃ）、図８（ｃ）、図９（ｃ）で例示したような画像内容の入換画像データが生成されたことになる。
画像解析／入換部１２は、システムコントローラ１０の指示に従って、このように生成した入換画像データを転送出力する。
例えば入換画像データを表示出力するのであれば表示制御部７に転送する。表示制御部７は供給された入換画像データについての表示を表示部２に実行させる。
また、入換画像データを外部機器８０やサーバ装置７０に送信出力するのであれば通信部１５に転送する。通信部１５は供給された入換画像データの送信処理を行う。
また入換画像データを記憶するのであればストレージ部１４に転送する。例えばストレージ部１４においては、図１２のような形式で入換画像データが記憶される。或いは、特に入換画像データの出力処理として、可搬性記録媒体に記録するのであれば、ストレージ部１４（ストレージ部１４に可搬性記録媒体に対する記録再生部が設けられている場合）に転送し、可搬性記録媒体に記録させることになる。
【００９０】
処理例Ｉでは以上のように入換領域設定処理（Ｆ１０１〜Ｆ１０３）と、画像入換処理（Ｆ１０４〜Ｆ１０９）が連続して実行される。
なお、撮像画像データを静止画とした場合は、上記処理が１フレームの画像データに対して行われればよいが、動画としての撮像画像データを処理対象とする場合、その動画を構成する各フレーム毎に上記処理を行うことになる。
【００９１】
［８．画像解析／入換部の処理例II］
画像解析／入換部１２の処理としては、処理対象とした撮像画像データの画像内で入換領域ＡＲｉを設定する入換領域設定処理と、設定した入換領域ＡＲｉに挿入画像データを挿入して入換画像データを生成する画像入換処理を、別のタイミングでおこなうようにしてもよい。このような処理を処理例IIとして図１５，図１６で述べる。
【００９２】
図１５は画像解析／入換部１２が行う入換領域設定処理を示している。
システムコントローラ１０は、画像解析／入換部１２において図１５の処理を実行させる際、例えば撮像制御部６、或いはストレージ部１４、或いは通信部１５に指示して、処理対象となる撮像画像データを画像解析／入換部１２に転送させる。
画像解析／入換部１２は、処理対象とされた撮像画像データが入力されると、図１５の処理をステップＦ２０１からＦ２０２に進める。
【００９３】
そして画像解析／入換部１２はステップＦ１０２で入力された撮像画像データについて画像解析処理を行い、画像内において１又は複数の入換領域ＡＲｉを設定する。画像解析による入換領域ＡＲｉの設定手法は上述したとおりである。
入換領域ＡＲｉを設定したら、ステップＦ２０３で、入換領域情報を生成する。入換領域情報とは、設定した１又は複数の各入換領域ＡＲｉの画素領域を示した情報（もしくは入換領域無しの情報）である。
入換領域情報を生成したら、画像解析／入換部１２はステップＦ２０４で、その入換領域情報を出力する。この入換領域情報はシステムコントローラ１０の制御によりストレージ部１４に転送され、ストレージ部１４において上記図１３のような形式で記憶される。
【００９４】
例えば図１３のように、撮像画像データＶＤに対応して入換領域情報Ｅが記憶されることで、後の時点において、撮像画像データＶＤと入換領域情報Ｅを用いた入換画像データの生成処理が可能となる。
システムコントローラ１０は、画像解析／入換部１２に入換画像データを生成させる際には、図１３のように対応づけられて保存された、或る撮像画像データＶＤと入換領域情報Ｅをストレージ部１４に読み出させ、それを画像解析／入換部１２に転送させる。
画像解析／入換部１２は、或る撮像画像データＶＤと入換領域情報Ｅが供給されることに応じて、図１６の画像入換処理を行う。
【００９５】
画像解析／入換部１２は撮像画像データＶＤと入換領域情報Ｅが入力されると、処理をステップＦ３０１からＦ３０２に進め、入換領域情報を確認して、設定されている入換領域の数を変数Ｎに代入する。
【００９６】
続いて画像解析／入換部１２はステップＦ３０３で、変数Ｎ＝０であるか否かを確認する。Ｎ＝０であって、今回入力された撮像画像データについては、入換領域ＡＲｉが１つも設定されていなかった場合は、ステップＦ３１０に進む。そして今回処理対象とされた撮像画像データからは入換画像データの生成が不能である旨をシステムコントローラ１０に通知して処理を終える。
【００９７】
１以上の入換領域ＡＲｉが設定されていた場合は、画像解析／入換部１２の処理はステップＦ３０４に進み、まず変数Ｘ＝１とする。このステップＦ３０４〜Ｆ３０９の処理に関しては、上記図１４のステップＦ１０４〜Ｆ１０９と同様であるため、重複説明を避ける。
そしてステップＦ３０４〜Ｆ３０９の処理で生成された入換画像データは、ステップＦ３０９において表示制御部７に転送されて表示出力されたり、通信部１５に転送されて送信処理されたり、ストレージ部１４に転送されて内部記録媒体或いは可搬性記録媒体に記憶されたりする。
【００９８】
以上のような処理例IIとして、画像解析／入換部１２では、図１４の入換領域設定処理と図１５の画像入換処理を、それぞれシステムコントローラ１０の指示に応じた時点に実行するようにしてもよい。
【００９９】
［９．動作手順例］
画像解析／入換部１２では、以上の処理例Ｉ又は処理例IIのように、入換領域ＡＲｉの設定や、入換画像データの生成が行われる。
このような画像解析／入換部１２の処理を利用した本例の撮像装置１の動作手順は非常に多様に考えられる。
以下、図１７，図１８，図１９により、システムコントローラ１０の制御によって実行される撮像装置１の動作手順の例を述べていく。各ステップの動作は、システムコントローラ１０の制御に基づいて、所要の部位が実行する。
【０１００】
図１７（ａ）の動作手順は次のようになる。
ステップＳＴ１００で撮像画像データを取得する。
なお、図１７（ａ）（ｂ）（ｃ）（ｄ）、図１８（ａ）（ｂ）、図１９（ａ）（ｂ）における「画像取得」とは、撮像部３での撮像を行って撮像画像データを取得するか、または通信部１５での受信により撮像画像データを取得するか、またはストレージ部１４において可搬性記録媒体から読み出すことで撮像画像データを取得することを示す。
ステップＳＴ１０１では、ステップＳＴ１００で取得した撮像画像データを画像解析／入換部１２に供給し、入換領域設定処理、及び画像入換処理を実行させる。即ち画像解析／入換部１２に上記処理例Ｉを実行させる。
ステップＳＴ１０２では、ステップＳＴ１００で取得した撮像画像データと、ステップＳＴ１０１で画像解析／入換部１２が生成した入換画像データを、ストレージ部１４において保存させる。つまり図１２の１つのエントリ＃ｎとして撮像画像データと入換画像データを対応させて保存させる。
【０１０１】
図１７（ｂ）の動作手順は次のようになる。
ステップＳＴ１１０で撮像画像データを取得する。
ステップＳＴ１１１では、ステップＳＴ１１０で取得した撮像画像データをストレージ部１４において保存させる。
ステップＳＴ１１２では、ステップＳＴ１１０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例Ｉとして入換領域設定処理及び画像入換処理を実行させる。
ステップＳＴ１１３では、ステップＳＴ１１２で画像解析／入換部１２が生成した入換画像データを、ストレージ部１４において保存させる。この時点で図１２の１つのエントリ＃ｎとして撮像画像データと入換画像データを対応されて保存される。
【０１０２】
以上の図１７（ａ）、図１７（ｂ）は、撮像画像データから入換画像データを生成するとともに、ストレージ部１４において図１２の形式で保存する動作例である。
ストレージ部１４に保存された撮像画像データや入換画像データは、後の時点で読み出して、表示出力したり、外部機器８０やサーバ装置７０に送信したり、可搬性記録媒体に記録することができる。
【０１０３】
図１７（ｃ）の動作手順は次のようになる。
ステップＳＴ１２０で撮像画像データを取得する。
ステップＳＴ１２１では、ステップＳＴ１２０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例Ｉとして入換領域設定処理及び画像入換処理を実行させる。
ステップＳＴ１２２では、ステップＳＴ１０１で画像解析／入換部１２が生成した入換画像データを出力する。
なお、図１７（ｃ）（ｄ）、図１８（ａ）（ｂ）、図１９（ｃ）における「入換画像出力」とは、入換画像データを表示制御部７に転送して表示部２で表示出力させるか、または通信部１５に転送して送信出力させるか、またはストレージ部１４（ストレージ部１４に可搬性記録媒体に対する記録再生部が設けられている場合）に転送し、可搬性記録媒体に記録させることを示す。
【０１０４】
図１７（ｄ）の動作手順は次のようになる。
ステップＳＴ１３０で撮像画像データを取得する。
ステップＳＴ１３１では、ステップＳＴ１３０で取得した撮像画像データをストレージ部１４において保存させる。
ステップＳＴ１３２では、ステップＳＴ１３０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例Ｉとして入換領域設定処理及び画像入換処理を実行させる。
ステップＳＴ１３３では、ステップＳＴ１３２で画像解析／入換部１２が生成した入換画像データを出力する。
【０１０５】
以上の図１７（ｃ）、図１７（ｄ）は、生成した入換画像データを撮像装置１の内部（ストレージ部１４のＨＤＤや固体メモリなどの内部記録媒体）に保存しないで出力する動作例である。
【０１０６】
図１８（ａ）の動作手順は次のようになる。
ステップＳＴ１４０で撮像画像データを取得する。
ステップＳＴ１４１では、ステップＳＴ１４０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例Ｉとして入換領域設定処理及び画像入換処理を実行させる。
ステップＳＴ１４２では、ステップＳＴ１４０で取得した撮像画像データと、ステップＳＴ１４１で画像解析／入換部１２が生成した入換画像データを、ストレージ部１４において保存させる。
ステップＳＴ１４３では、ステップＳＴ１４２で画像解析／入換部１２が生成した入換画像データを出力する。
【０１０７】
図１８（ｂ）の動作手順は次のようになる。
ステップＳＴ１５０で撮像画像データを取得する。
ステップＳＴ１５１では、ステップＳＴ１５０で取得した撮像画像データをストレージ部１４において保存させる。
ステップＳＴ１５２では、ステップＳＴ１５０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例Ｉとして入換領域設定処理及び画像入換処理を実行させる。
ステップＳＴ１５３では、ステップＳＴ１５２で画像解析／入換部１２が生成した入換画像データを、ストレージ部１４において保存させる。
ステップＳＴ１５４では、ステップＳＴ１５２で画像解析／入換部１２が生成した入換画像データを出力する。
【０１０８】
以上の図１８（ａ）、図１８（ｂ）は、生成した入換画像データを撮像装置１の内部（ストレージ部１４のＨＤＤや固体メモリなどの内部記録媒体）に保存するとともに、その時点で出力する動作例である。
【０１０９】
図１９（ａ）の動作手順は次のようになる。
ステップＳＴ１６０で撮像画像データを取得する。
ステップＳＴ１６１では、ステップＳＴ１６０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例IIの入換領域設定処理（図１５）を実行させる。
ステップＳＴ１６２では、ステップＳＴ１６０で取得した撮像画像データと、ステップＳＴ１６１で画像解析／入換部１２が生成した入換領域情報を、ストレージ部１４において図１３の形式で保存させる。
【０１１０】
図１９（ｂ）の動作手順は次のようになる。
ステップＳＴ１７０で撮像画像データを取得する。
ステップＳＴ１７１では、ステップＳＴ１７０で取得した撮像画像データを、ストレージ部１４において保存させる。
ステップＳＴ１７２では、ステップＳＴ１７０で取得した撮像画像データを画像解析／入換部１２に供給し、上記処理例IIの入換領域設定処理（図１５）を実行させる。
ステップＳＴ１７３では、ステップＳＴ１７２で画像解析／入換部１２が生成した入換領域情報を、ストレージ部１４において保存させる。結局図１３の形式で撮像画像データと入換領域情報が保存されることになる。
【０１１１】
以上の図１９（ａ）、図１９（ｂ）は、処理例IIの入換領域設定処理の結果としての入換領域情報が、撮像画像データとともに保存されるようにする動作例である。なお、撮像画像データと入換領域情報の保存処理としては、これらを通信部１５から外部機器８０やサーバ装置７０に送信するようにしてもよい。つまり外部機器８０やサーバ装置７０において入換領域情報が、撮像画像データとともに保存されるようにすることも考えられる。
【０１１２】
図１９（ｃ）の動作手順は次のようになる。
ステップＳＴ１８０で撮像画像データと入換領域情報を読み出す。即ち上記図１９（ａ）又は図１９（ｂ）の動作により、図１３の形式で記録されている撮像画像データと入換領域情報をストレージ部１４から読み出す。
ステップＳＴ１８１では、ステップＳＴ１８０で取得した撮像画像データと入換領域情報を画像解析／入換部１２に供給し、上記処理例IIの画像入換処理（図１６）を実行させる。
ステップＳＴ１８２では、ステップＳＴ１８１で画像解析／入換部１２が生成した入換画像データを出力する。
【０１１３】
つまりこの図１９（ｃ）は、上記図１９（ａ）、図１９（ｂ）の動作が行われた後、ストレージ部１４において図１３のように保存されている撮像画像データと入換領域情報を用いて入換画像データを生成し、出力する動作例である。
なお、外部機器８０やサーバ装置７０において撮像画像データと入換領域情報が保存されている場合、ステップＦ１８０としては、外部機器８０やサーバ装置７０から送信されてくる撮像画像データと入換領域情報を受信して取り込むという場合もある。或いは撮像画像データと入換領域情報が可搬性記録媒体に保存されている場合、ステップＦ１８０としては撮像画像データと入換領域情報を可搬性記録媒体から読み出すということもある。
またステップＦ１８２で入換画像データを出力する前後に、入換画像データをストレージ部１４に保存するという動作手順の例も考えられる。
【０１１４】
以上、撮像装置１の動作を例示したが、動作手順の例は他にも各種考えられる。
【０１１５】
［１０．実施の形態の効果、及び変形例、拡張例］
以上の実施の形態によれば、撮像画像データにおいて、画像上で違和感がないような画像加工が行われ、例えば図５（ｃ）、図６（ｃ）、図７（ｃ）、図８（ｃ）、図９（ｃ）のような入換画像としての入換画像データが生成される。そしてこの入換画像データによって画像内に広告、メッセージ、翻訳文字などの各種情報が提示される。これによって元の画像内容を大きく損なうことなく、撮像画像の付加価値を高めることができるという効果が得られる。
【０１１６】
例えば挿入画像データとして広告情報を用いる場合、広告主から見れば新たな広告機会が実現されることになり、有効な広告媒体として本例のシステムを利用できる。これは本例のシステムが新たなビジネスモデルを創出することにもなる。
またユーザにとっては、広告等の情報提示によって有益な情報を受け取れる。
特に、広告等の内容の挿入画像データについては、日時や現在位置、或いはユーザＩＤなどに応じてサーバ装置７０から提供されることで、タイムリーな広告、現在居る場所において有益な広告、ユーザ個人にとって有益な広告などが提供されることになり、入換画像データの価値を高めることができる。
【０１１７】
また挿入画像データとしてメッセージ文字画像を用いる場合、メッセージ付加により画像に面白みやユーザの意志を付加するなどの画像カスタマイズが可能となり、ユーザにとっての楽しみを広げたり、画像の新たな利用形態を創出することになる。
【０１１８】
また挿入画像データとして翻訳文字を用いることで、ユーザにとって便利なものとなる。例えば図１（ａ）のようなウェアラブルな撮像装置１を装着し、入換画像データが即時表示部２に表示出力されるようにした場合、ユーザの視界光景に入った看板などに示された外国語が、母国語に翻訳されて表示されることになる。例えば海外旅行の際など、非常に便利となる。
【０１１９】
本発明は、上記実施の形態に限られず、撮像装置１の構成例や処理例として各種の変形例や拡張例が考えられる。
本発明の画像処理装置は、撮像装置１として実現する以外に、多様な装置が想定される。
図２０は、本発明の画像処理装置としての構成要素として、システムコントローラ１０と、画像取得部２０と、画像解析／入換部１２と、保存処理部２２と、画像出力部２１と、挿入画像記憶部１８を示している。
例えばこのような構成要素を備える各種機器として本発明の画像処理装置を実現できる。
或いは、画像出力部２１や保存処理部２２の両方又は一方を設けない構成も本発明の画像処理装置として想定される。
【０１２０】
画像取得部２０は、画像解析／入換部１２の処理対象となる撮像画像データを取得する部位である。上記実施の形態の撮像装置１で述べたように、画像取得部２０としては、撮像部３及び撮像制御部６や、通信部１５や、例えば光ディスク、メモリカードなどの可搬性記録媒体に対して再生を行って可搬性記録媒体に記録されている撮像画像データを読み出す再生ドライブとして実現できる。
また画像取得部２０で取得する撮像画像データとは、静止画データでもよいし、動画データでもよい。
【０１２１】
保存処理部２２は、入換画像データを保存する処理を行う部位であるが、上記実施の形態のストレージ部１４に相当する。
但し、図３（ｂ）（ｃ）のような形態で入換画像データを外部機器８０やサーバ装置７０に送信して、外部機器８０やサーバ装置７０において保存を実行させるようにする場合、その送信を行う通信部１５は、保存処理部２２に相当することになる。もちろん無線送信、有線送信のいずれでも良い。
【０１２２】
画像出力部２１は、上記実施の形態の場合では入換画像データを表示出力する表示部２が相当する。また、外部のモニタ装置において表示させるために入換画像データを出力する出力部も、画像出力部２１となり得る。
また、入換画像データを図３（ｂ）（ｃ）のように外部機器８０やサーバ装置７０に有線又は無線で送信する通信部１５も、画像出力部２１となり得る。
また、入換画像データを可搬性記録媒体に記録し、可搬性記録媒体によって装置外に持ち出せるようにする記録ドライブも画像出力部２１となり得る。
【０１２３】
このように例えば画像取得部２０、画像出力部２１、保存処理部２２としては、非常に多様な形態が想定される。それらを考慮すると、本発明は、スチルカメラやビデオカメラ等の撮像装置として実現する他、撮像機能のない、モニタ表示装置、通信装置、画像データ保存装置、画像合成を行う画像編集装置などとしても実現できる。
【０１２４】
また画像解析／入換部１２については、入換領域設定処理と画像入換処理を行うものとした。つまり本発明請求項でいう入換領域設定手段と、入換画像生成手段とが、画像解析／入換部１２によって実現されるものとして説明した。
しかしながら、撮像装置１等の本発明の画像処理装置では、入換領域設定手段と入換画像生成手段のうちの一方を備える構成も考えられる。即ち装置内で画像解析部を備えて入換領域設定処理のみを行う構成や、装置内で画像入換部を備えて画像入換処理のみを行う構成も考えられる。
例えば或る機器において入換領域設定処理を行って、撮像画像データと入換領域情報を他の機器に提供する。他の機器では、提供された撮像画像データと入換領域情報を用いて画像入換処理を行い入換画像データを生成する、ということも想定される。
【符号の説明】
【０１２５】
１ 撮像装置、２ 表示部、２ａ 表示パネル部、３ 撮像部、６ 撮像制御部、７ 表示制御部、１０ システムコントローラ、１１ 操作入力部、１２ 画像解析／入換部、１４ ストレージ部、１５ 通信部、１７ 位置検出部、１８ 挿入画像記憶部、１９ 翻訳処理部、２０ 画像取得部、２１ 画像出力部、２２ 保存処理部
【特許請求の範囲】
【請求項１】
ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、
上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、
挿入画像データを記憶する挿入画像記憶手段と、
上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する
画像処理装置。
【請求項２】
上記撮像画像取得手段は、外部通信機器と通信を行う通信部を有し、上記通信部での外部通信機器と通信により、上記撮像画像データを受信して取得する請求項１に記載の画像処理装置。
【請求項３】
上記撮像画像取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記撮像画像データを取得する請求項１に記載の画像処理装置。
【請求項４】
外部通信機器と通信を行う通信部を有し、
上記挿入画像記憶手段は、外部通信機器から送信され上記通信部で受信した挿入画像データを記憶する請求項１に記載の画像処理装置。
【請求項５】
上記入換画像生成手段で生成された入換画像データ、及び／又は、上記入換領域設定手段で設定された入換領域の情報について保存処理を行う保存処理手段を、さらに備えた請求項１に記載の画像処理装置。
【請求項６】
上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記入換画像データ、及び／又は上記入換領域の情報を、上記記録媒体に記録する請求項５に記載の画像処理装置。
【請求項７】
上記保存処理手段は、外部通信機器と通信を行う通信部を有し、上記保存処理として、上記入換画像データ、及び／又は上記入換領域の情報を、外部通信機器に送信する請求項５に記載の画像処理装置。
【請求項８】
上記画像出力手段は、外部通信機器と通信を行う通信部を有し、上記出力処理として、上記通信部により上記入換画像データについての外部通信機器への送信出力を行う請求項１に記載の画像処理装置。
【請求項９】
上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記入換画像データを記録する請求項１に記載の画像処理装置。
【請求項１０】
上記入換領域設定手段は、上記撮像画像データにおける被写体画像の画像解析処理により、上記撮像画像データ内で所定の被写体画像を検出し、検出した被写体画像に基づいて上記入換領域を設定する請求項１に記載の画像処理装置。
【請求項１１】
上記挿入画像データは、広告画像、又はメッセージ文字画像、又は翻訳文字画像である請求項１に記載の画像処理装置。
【請求項１２】
ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像された撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、演算処理手段とを有する画像処理装置が実行する画像処理方法として、
上記演算処理手段が、
上記撮像画像取得手段が取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定し、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成し、
上記入換画像データについて出力処理を行い、
ユーザーの頭部に装着され、上記出力処理で出力された上記入換画像データについて表示出力を行い、
上記入換領域の設定において、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する
画像処理方法。
【請求項１３】
画像処理装置と、サーバ装置とが通信可能とされた画像処理システムとして、
上記画像処理装置は、
ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、
上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、
上記サーバ装置から送信されてきた挿入画像データを受信する受信手段と、
上記受信手段で受信した挿入画像データを記憶する挿入画像記憶手段と、
上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定し、
上記サーバ装置は、挿入画像データを上記画像処理装置に送信する送信手段を備えた画像処理システム。
【請求項１４】
ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、
上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、
上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、
上記撮像画像データと、上記入換領域設定手段で設定した入換領域の情報とについて保存処理を行う保存処理手段と、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する
画像処理装置。
【請求項１５】
ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段により撮像された撮像画像データと、該撮像画像データにおける被写体画像の画像解析処理に基づいて該被写体画像内で設定された入換領域の情報を対応させて記録再生する記録再生手段と、
挿入画像データを記憶する挿入画像記憶手段と、
上記記録再生手段から撮像画像データと入換領域の情報を取得し、取得した撮像画像データについて上記入換領域の情報で示される入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する
画像処理装置。
【請求項１】
ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、
上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、
挿入画像データを記憶する挿入画像記憶手段と、
上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する
画像処理装置。
【請求項２】
上記撮像画像取得手段は、外部通信機器と通信を行う通信部を有し、上記通信部での外部通信機器と通信により、上記撮像画像データを受信して取得する請求項１に記載の画像処理装置。
【請求項３】
上記撮像画像取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記撮像画像データを取得する請求項１に記載の画像処理装置。
【請求項４】
外部通信機器と通信を行う通信部を有し、
上記挿入画像記憶手段は、外部通信機器から送信され上記通信部で受信した挿入画像データを記憶する請求項１に記載の画像処理装置。
【請求項５】
上記入換画像生成手段で生成された入換画像データ、及び／又は、上記入換領域設定手段で設定された入換領域の情報について保存処理を行う保存処理手段を、さらに備えた請求項１に記載の画像処理装置。
【請求項６】
上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記入換画像データ、及び／又は上記入換領域の情報を、上記記録媒体に記録する請求項５に記載の画像処理装置。
【請求項７】
上記保存処理手段は、外部通信機器と通信を行う通信部を有し、上記保存処理として、上記入換画像データ、及び／又は上記入換領域の情報を、外部通信機器に送信する請求項５に記載の画像処理装置。
【請求項８】
上記画像出力手段は、外部通信機器と通信を行う通信部を有し、上記出力処理として、上記通信部により上記入換画像データについての外部通信機器への送信出力を行う請求項１に記載の画像処理装置。
【請求項９】
上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記入換画像データを記録する請求項１に記載の画像処理装置。
【請求項１０】
上記入換領域設定手段は、上記撮像画像データにおける被写体画像の画像解析処理により、上記撮像画像データ内で所定の被写体画像を検出し、検出した被写体画像に基づいて上記入換領域を設定する請求項１に記載の画像処理装置。
【請求項１１】
上記挿入画像データは、広告画像、又はメッセージ文字画像、又は翻訳文字画像である請求項１に記載の画像処理装置。
【請求項１２】
ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像された撮像画像データを取得する撮像画像取得手段と、挿入画像データを記憶する挿入画像記憶手段と、演算処理手段とを有する画像処理装置が実行する画像処理方法として、
上記演算処理手段が、
上記撮像画像取得手段が取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定し、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成し、
上記入換画像データについて出力処理を行い、
ユーザーの頭部に装着され、上記出力処理で出力された上記入換画像データについて表示出力を行い、
上記入換領域の設定において、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する
画像処理方法。
【請求項１３】
画像処理装置と、サーバ装置とが通信可能とされた画像処理システムとして、
上記画像処理装置は、
ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、
上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、
上記サーバ装置から送信されてきた挿入画像データを受信する受信手段と、
上記受信手段で受信した挿入画像データを記憶する挿入画像記憶手段と、
上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定し、
上記サーバ装置は、挿入画像データを上記画像処理装置に送信する送信手段を備えた画像処理システム。
【請求項１４】
ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、
上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、
上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、
上記撮像画像データと、上記入換領域設定手段で設定した入換領域の情報とについて保存処理を行う保存処理手段と、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する
画像処理装置。
【請求項１５】
ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段により撮像された撮像画像データと、該撮像画像データにおける被写体画像の画像解析処理に基づいて該被写体画像内で設定された入換領域の情報を対応させて記録再生する記録再生手段と、
挿入画像データを記憶する挿入画像記憶手段と、
上記記録再生手段から撮像画像データと入換領域の情報を取得し、取得した撮像画像データについて上記入換領域の情報で示される入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記入換領域設定手段は、上記被写体画像内の方形領域を検出し、該方形領域に文字が含まれている場合に、上記方形領域を入換領域に設定する
画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−３４２３７（Ｐ２０１３−３４２３７Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１２−２３０１２４（Ｐ２０１２−２３０１２４）
【出願日】平成２４年１０月１７日（２０１２．１０．１７）
【分割の表示】特願２００７−６１７３５（Ｐ２００７−６１７３５）の分割
【原出願日】平成１９年３月１２日（２００７．３．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２４年１０月１７日（２０１２．１０．１７）
【分割の表示】特願２００７−６１７３５（Ｐ２００７−６１７３５）の分割
【原出願日】平成１９年３月１２日（２００７．３．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]