プログラム、情報記憶媒体及び画像撮像表示装置
【課題】 画像認識処理を利用した撮像における新たな興趣を実現すること。
【解決手段】携帯型ゲーム装置１０００では、カメラユニット７を起動すると、ディスプレイ１には、画像エリアＡＲ１にファインダ画像が表示されるとともに、ゴーストセンサによるゴーストに対する感知結果（ゴースト反応）が表示される。即ち、ファインダ画像の特徴データと、各ゴーストに予め対応付けられている特徴データとの類似度を基にゴースト反応の強さが決定され、決定されたゴースト反応の強さがゲージＭＴにメータ表示されるとともに、このゲージ値ＭＮに応じたメッセージがメッセージエリアＡＲ２に表示される。そして、ゴースト反応が強い状態（例えば、ゲージ値が「７５」以上の状態）でシャッタＯＮすると、撮像画像に被写体ＯＢ１に応じたゴーストＧＳ１が合成表示される。
【解決手段】携帯型ゲーム装置１０００では、カメラユニット７を起動すると、ディスプレイ１には、画像エリアＡＲ１にファインダ画像が表示されるとともに、ゴーストセンサによるゴーストに対する感知結果（ゴースト反応）が表示される。即ち、ファインダ画像の特徴データと、各ゴーストに予め対応付けられている特徴データとの類似度を基にゴースト反応の強さが決定され、決定されたゴースト反応の強さがゲージＭＴにメータ表示されるとともに、このゲージ値ＭＮに応じたメッセージがメッセージエリアＡＲ２に表示される。そして、ゴースト反応が強い状態（例えば、ゲージ値が「７５」以上の状態）でシャッタＯＮすると、撮像画像に被写体ＯＢ１に応じたゴーストＧＳ１が合成表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータに、撮像手段により撮影されているファインダ画像を表示装置に表示制御させ、シャッタ操作が為されて取り込まれた撮像画像にキャラクタの画像を合成して表示制御させることで、実空間にキャラクタが存在するかのような表示制御を行わせるためのプログラム等に関する。
【背景技術】
【０００２】
撮像画像に対する画像認識を行ってこの撮像画像の内容等を認識する画像認識技術が様々な分野で利用されている。例えば、この画像認識技術の適用例として、特許文献１には、トランプゲームを行うゲーム装置や、タロット占いを行う占い装置が開示されている。かかる装置では、カメラを用いてトランプやタロットカード等の各種のカード類やサイコロといった認識対象物を撮像し、撮像画像に対する画像認識を行うパターン認識処理により、その配置等を認識している。
【特許文献１】特開２００２−４９９０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した特許文献１の技術は、認識対象物の形状や内容を予め定められたものとしているが、認識対象物を特に限定せず、画像認識処理を利用することで撮像における新たな興趣を実現し得ないだろうか。本発明は、上記事情に鑑みて為されたものである。
【課題を解決するための手段】
【０００４】
上記課題を解決するための第１の発明は、
コンピュータに、撮像手段（例えば、図１のカメラユニット７、図５の撮像部２００）により撮影されているファインダ画像を表示装置（例えば、図１のディスプレイ１、図５の画像表示部４３０）に表示制御させ、シャッタ操作が為されて取り込まれた撮像画像にキャラクタの画像を合成して表示制御させることで、実空間にキャラクタが存在するかのような表示制御を行わせるためのプログラム（例えば、図５のゲームプログラム５１０）であって、
予め用意された、撮像画像にキャラクタの画像を合成するか否かを判定するための画像条件であるキャラクタ毎の合成画像条件（例えば、図８のゴースト情報５２４の特徴データ５２４ｂ）のうち、前記ファインダ画像が何れかの合成画像条件を満足するか否かを判定する条件判定手段（例えば、図５の画像認識部３１２、類似度算出部３１４及びゴースト反応決定部３１６；図１４のステップＳ１、図１５のステップＳＴ１〜Ｔ１５）、
前記条件判定手段の判定結果に基づいて、キャラクタが存在するか否かの所定の報知処理を行う報知制御手段（例えば、図５の表示制御部３２２；図１５のステップＴ１７）、
前記報知制御手段によりキャラクタが存在するとする報知処理がなされている状態でシャッタ操作が為された場合、当該シャッタ操作により取り込まれた撮像画像にキャラクタの画像を合成して表示制御する合成表示制御手段（例えば、図５の表示制御部３２２；図１４のステップＳ７：ＹＥＳ〜Ｓ１３）、
として前記コンピュータを機能させるためのプログラムである。
【０００５】
また、第１１の発明は、
撮像手段（例えば、図１のカメラユニット７、図５の撮像部２００）と、前記撮像手段により撮影されているファインダ画像を表示する表示手段（例えば、図１のディスプレイ１、図５の画像表示部４３０）とを備え、シャッタ操作が為されて取り込まれた撮像画像にキャラクタの画像を合成して前記表示手段に表示制御させることで、実空間にキャラクタが存在するかのような表示制御を行わせる画像撮像表示装置（例えば、図１，図５の携帯型ゲーム装置１０００）であって、
予め用意された、撮像画像にキャラクタの画像を合成するか否かを判定するための画像条件であるキャラクタ毎の合成画像条件のうち、前記ファインダ画像が何れかの合成画像条件を満足するか否かを判定する条件判定手段と、
前記条件判定手段の判定結果に基づいて、キャラクタが存在するか否かの所定の報知処理を行う報知制御手段と、
前記報知制御手段によりキャラクタが存在するとする報知処理がなされている状態でシャッタ操作が為された場合、当該シャッタ操作により取り込まれた撮像画像にキャラクタの画像を合成して表示制御する合成表示制御手段と、
を備えた画像撮像表示装置である。
【０００６】
この第１又は第１１の発明によれば、キャラクタ毎の合成画像条件のうち、ファインダ画像が何れかの合成画像条件を満足するか否かが判定され、この判定結果に基づいて、キャラクタが存在するか否かの所定の報知処理が行われる。そして、キャラクタが存在するとする報知処理がなされている状態においてシャッタ操作が為された際に、このシャッタ操作により取り込まれた撮像画像にキャラクタの画像が合成して表示制御される。
【０００７】
即ち、ファインダ画像が表示されるとともに、該ファインダ画像を基にキャラクタが存在するか否かが報知され、キャラクタが存在することが報知されている状態でシャッタ操作を行うと、撮像画像にキャラクタが合成表示されるといった、あたかも実空間に存在するキャラクタを撮像したかのような、撮像における新たな興趣を実現できる。またこのとき、ファインダ画像が略同一であれば、該ファインダ画像が何れかの合成画像条件を満足するか否かの判定結果は同一であるので、同一の報知が為される。このため、ある決まった場所（被写体の位置）にキャラクタが存在するかのような演出が実現される。また、ファインダ画像が各合成画像条件の何れかを満足するか否かの判定結果に基づいて行われる報知により、周囲に存在するキャラクタを感知し、この感知反応を報知しているかのような演出が実現される。
【０００８】
第２の発明は、第１の発明のプログラムにおいて、
前記合成表示制御手段が、前記報知制御手段によりキャラクタが存在するとする報知処理がなされている状態においてシャッタ操作が為された際に、前記条件判定手段により満足すると判定されていた合成画像条件に対応するキャラクタの画像を、当該シャッタ操作により取り込まれた撮像画像に合成して表示制御するように前記コンピュータを機能させるためのプログラムである。
【０００９】
この第２の発明によれば、キャラクタが存在するとする報知処理がなされている状態においてシャッタ操作が為された際に、ファインダ画像が満足すると判定されていた合成画像条件に対応するキャラクタの画像が、シャッタ操作により取り込まれた撮像画像に合成して表示制御される。
【００１０】
即ち、ファインダ画像が略同一であれば、このファインダ画像が満足すると判定される合成画像条件は同一であるので、この状態でシャッタ操作を行うと、常に同一のキャラクタの画像が撮像画像に合成表示される。従って、同一の被写体を撮像すると、常に同一のキャラクタが表示されるといった、被写体毎に存在するキャラクタが決まっているかのような演出が実現される。
【００１１】
第３の発明は、第１又は第２の発明のプログラムにおいて、
前記各合成画像条件にはそれぞれ複数の画像条件が含まれており、
前記条件判定手段が、前記ファインダ画像が前記各合成画像条件それぞれを満足する程度である満足度を、当該合成画像条件に含まれる各画像条件を満たすか否かに基づいて判定する条件満足度判定手段（例えば、図５の類似度算出部３１４、ゴースト反応決定部３１６；図１５のステップＴ１〜Ｔ３）を有し、
前記報知制御手段が、前記条件満足度判定手段により判定された満足度に応じた報知内容を報知する、
ように前記コンピュータを機能させるためのプログラムである。
【００１２】
この第３の発明によれば、ファインダ画像が各合成画像条件それぞれを満足する程度である満足度が、この合成画像条件に含まれる各画像条件を満たすか否かに基づいて判定され、この判定された満足度に応じた報知内容が報知される。従って、満足度が段階的に表現され、キャラクタに対する感知反応の程度に応じた報知が実現される。この場合、例えばファインダ画像が満たす画像条件が多い程、満足度を高くすることで、直感的に理解し易い感知反応となる。
【００１３】
第４の発明は、第３の発明のプログラムにおいて、
前記報知制御手段が、前記ファインダ画像が変化しない場合に、時間経過に伴って報知内容を変化させて報知処理を行うように前記コンピュータを機能させるためのプログラムである。
【００１４】
この第４の発明によれば、ファインダ画像が変化しない場合に、時間経過に伴って報知内容が変化されて報知処理が行われる。ファインダ画像が変化しない場合には、このファインダ画像が何れかの合成画像条件を満足するか否かの判定結果が変化しないので、報知内容が変化しない。そこで、このような場合には時間経過に伴って報知内容を変化させることで、あたかも移動しているキャラクタを感知しているかのような演出を実現することができる。
【００１５】
第５の発明は、第１〜第４の何れかの発明のプログラムにおいて、
前記条件判定手段が、
前記ファインダ画像の特徴部分を抽出する特徴抽出処理を行う特徴抽出手段（例えば、図５の画像認識部３１２；図１４のステップＳ１）と、
前記特徴抽出手段により抽出された特徴部分の画像が、何れかの合成画像条件を満足するか否かを判定する特徴部分判定手段（例えば、図５の類似度算出部３１４、ゴースト反応決定部３１６；図１５のステップＴ１〜Ｔ１５）と、
を有するように前記コンピュータを機能させるためのプログラムである。
【００１６】
この第５の発明によれば、ファインダ画像の特徴部分が抽出され、この抽出された特徴部分の画像が、何れかの合成画像条件を満足するか否かが判定される。即ち、ファインダ画像の特徴部分を基に、合成表示されるキャラクタが決定される。
【００１７】
第６の発明は、第５の発明のプログラムにおいて、
前記各合成画像条件には物体の少なくとも形状条件が画像条件として含まれており、
前記特徴抽出手段が、前記ファインダ画像に写っている物体の形状を特徴部分として抽出し、
前記特徴部分判定手段が、前記特徴抽出手段により抽出された物体形状が合成画像条件に含まれる物体の形状条件を満足するか否かを判定する、
ように前記コンピュータを機能させるためのプログラムである。
【００１８】
この第６の発明によれば、ファインダ画像に写っている物体の形状が特徴部分として抽出され、この抽出された物体形状が合成画像条件に含まれる物体の形状条件を満足するか否かが判定される。即ち、少なくとも、撮像した物体の形状を基に、合成表示されるキャラクタが決定される。
【００１９】
第７の発明は、第５又は第６の発明のプログラムにおいて、
前記報知制御手段が、前記特徴抽出手段により抽出された特徴部分が前記ファインダ画像に占める大きさ及び／又は位置に応じて異なる報知処理を行うように前記コンピュータを機能させるためのプログラムである。
【００２０】
この第７の発明によれば、抽出された特徴部分がファインダ画像に占める大きさ及び／又は位置に応じて異なる報知処理が行われる。従って、例えば抽出された特徴部分がファインダ画像に占める大きさが大きい程、或いは、ファインダ画像中の位置が画像中央部に近い程、キャラクタに対する感知反応の程度が強いことを表す報知を行うことで、この特徴部分となる被写体の位置が撮像方向に一致する、即ち正面に位置する程、或いは、この被写体に近づく程、キャラクタに対する感知反応が強くなるといった、直感的に理解し易い報知を実現でできる。
【００２１】
第８の発明は、第１〜第７の発明のプログラムにおいて、
前記報知制御手段が、前記報知処理として所定のゲージ表示を行うゲージ表示制御手段を有するように前記コンピュータを機能させるためのプログラムである。
【００２２】
この第８の発明によれば、キャラクタが存在するとする報知処理として所定のゲージ表示が行われる。
【００２３】
第９の発明は、第１〜第８の何れかの発明のプログラムにおいて、
前記撮像手段の撮像方向にキャラクタが存在するか否かを感知する仮想的に装着可能なキャラクタセンサが、感知可能なキャラクタに応じて予め複数設定されており、
前記複数のキャラクタセンサのうち、仮想的に装着するとするキャラクタセンサをユーザの選択操作に従って選択する装着センサ選択手段、
として前記コンピュータを機能させ、
前記条件判定手段が、前記複数の合成画像条件の中から、前記装着センサ選択手段により選択されたキャラクタセンサが感知可能なキャラクタに対応する合成画像条件を判定対象の条件とする、
ように前記コンピュータを機能させるためのプログラムである。
【００２４】
この第９の発明によれば、予め設定されている、撮像手段の撮像方向にキャラクタが存在するか否かを感知する仮想的に装着可能な複数のキャラクタセンサのうち、仮想的に装着するとするキャラクタセンサがユーザの選択操作に従って選択され、この選択されたキャラクタセンサが感知可能なキャラクタに対応する合成画像条件が、ファインダ画像が満足するか否かの判定対象の条件とされる。
【００２５】
即ち、仮想的に装着するとするキャラクタセンサが異なると、ファインダ画像が満足するか否かの判定対象の条件が異なる。このため、同一のファインダ画像であってもキャラクタが存在するか否かの報知内容が異なるとともに、同一の被写体を撮像した場合であっても表示されるキャラクタが異なるといった面白味のある演出が実現される。
【００２６】
第１０の発明は、第１〜第９の何れかの発明のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体（例えば、図５の記憶部５００）である。
【００２７】
ここでいう「情報記憶媒体」とは、記憶されている情報をコンピュータが読み取り可能な、例えばハードディスクやＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、メモリカード、ＩＣメモリ等の記憶媒体である。従って、この第１０の発明によれば、該情報記憶媒体に記憶されている情報をコンピュータに読み取らせて演算処理を実行させることで、第１〜第９の何れかの発明と同様の効果を奏することができる。
【発明の効果】
【００２８】
本発明によれば、ファインダ画像が表示されるとともに、該ファインダ画像を基にキャラクタが存在するか否かが報知され、キャラクタが存在することが報知されている状態でシャッタ操作を行うと、撮像画像にキャラクタが合成表示されるといった、あたかも実空間に存在するキャラクタを撮像したかのような、撮像における新たな興趣を実現できる。またこのとき、周囲に存在するキャラクタを感知し、この感知反応を報知しているかのような演出が実現されるとともに、ある決まった場所（被写体の位置）にキャラクタが存在するかのような演出が実現される。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照して、本発明の好適な実施形態を説明する。尚、以下では、本発明を携帯型ゲーム装置に適用した場合を説明するが、本発明の適用可能な実施形態がこれに限定されるものではない。
【００３０】
［ゲーム装置の外観］
図１は、本実施形態における携帯型ゲーム装置１０００の一例を示す外観図である。同図（ａ）は正面図を示し、同図（ｂ）は背面図を示している。同図によれば、携帯型ゲーム装置１０００は、略長方形状の筐体の正面に、ディスプレイ１と、スピーカ３と、操作キー５とを備えている。また、筐体の上側面にカメラユニット７を備えているとともに、下側面には、ゲームカートリッジ１０を挿入するための挿入口が設けられている。
【００３１】
ディスプレイ１は、ＴＦＴディスプレイ等のバックライト付きのカラー液晶ディスプレイであり、各種情報や画像等を表示する。また、このディスプレイ１は、カメラユニット７の起動時には電子ファインダとして機能し、カメラユニット７によるファインダ画像を動画表示する。
【００３２】
操作キー５は、プレーヤがゲーム操作を入力するためのものであり、操作キー５の内の１つのキーが、カメラユニット７の起動時に撮像指示を入力するためのシャッタキーとしての機能を果たす。
【００３３】
カメラユニット７は、その背面側に設けられたガラス等で形成される撮影レンズ８と、ＣＭＯＳやＣＣＤ等の撮像素子とを有し、撮影レンズ８を通して撮像素子で結像された画像データをデジタルデータに変換して出力する。尚、このカメラユニット７は筐体に一体的に構成されているが、着脱自在に構成されていることとしても良い。
【００３４】
また、携帯型ゲーム装置１０００は、挿入口に挿入されたゲームカートリッジ１０に格納されているゲーム情報（ゲームプログラムやゲームデータ）を読み出す読出装置や、他の携帯型ゲーム装置１０００等の外部装置と接続して無線／有線通信を行うための通信装置、ＣＰＵやＩＣメモリ等を搭載した制御装置を内部に具備している。制御装置に搭載されるＣＰＵは、ＩＣメモリやゲームカートリッジ１０から読み出されたプログラムやデータ、操作キー５の操作信号、カメラユニット７から入力される画像データ等に基づいて種々の処理を実行し、ゲーム画面等の画像信号及びゲーム音の音信号を生成する。そして、生成した画像信号をディスプレイ１に出力してゲーム画面を表示させるとともに、音信号をスピーカ３に出力してゲーム音を出力させる。
【００３５】
携帯型ゲーム装置１０００がゲームを実行するために必要な情報（システムプログラムやゲームプログラム、ゲームデータ等）は、制御装置に搭載されているＩＣメモリやゲームカートリッジ１０に格納されている。より具体的には、システムプログラムは制御装置のＩＣメモリに格納され、ゲームプログラム及びゲームデータはゲームカートリッジ１０に格納されている。従って、プレーヤは、ゲームカートリッジ１０を交換することで、異なるゲームを携帯型ゲーム装置１０００に実行させることができる。
【００３６】
［概要］
本実施形態のゲームでは、あたかも、実空間であるプレーヤの周囲にゴースト（キャラクタ）が存在しているかのようなゲーム演出が行われる。
【００３７】
図２〜図４は、本実施形態のゲーム概要を説明するための図である。
図２（ａ）に示すように、携帯型ゲーム装置１０００のカメラユニット７を起動すると、ディスプレイ１には、その中央部分の画像エリアＡＲ１に、撮影レンズ８が捉えている画像（ファインダ画像）が表示される。
【００３８】
また、本実施形態のゲームでは、ゲーム演出の一つとして、携帯型ゲーム装置１０００が、該装置周囲におけるゴーストの存在を感知するゴーストセンサ（キャラクタセンサ）を具備しているかのような演出が行われる。このゴーストセンサは、カメラユニット７による撮影方向を中心とした所定範囲内に存在するキャラクタを感知する機能を有する。そして、このゴーストセンサによる感知結果（以下、「ゴースト反応」という）が、ファインダ画像とともにディスプレイ１に表示（報知）される。尚、このファインダ画像は動画像である。
【００３９】
具体的には、ゴースト反応の強さの程度（度合）が「０」〜「１００」の範囲の整数に数値化されてゲージＭＴにメータ表示（ゲージ表示）されるとともに、この数値（ゲージ値）ＭＮがパーセンテージ表示される。ゲージ値ＭＮが大きい程、ゴースト反応が強いことを表している。即ち、ゲージ値の最小値「０」はゴースト反応が「無い」ことを表し、最高値「１００」はゴースト反応が最も強いことを表す。また、このゲージ値ＭＮは、ファインダ画像が、ゴーストを表示（出現）させるか否かの判定条件である合成画像条件の満足するか否かを表しているともに、その満足度を表している。即ち、ゲージ値ＭＮが所定値（例えば、「７５」）以上であれば満足することを表し、そうでなければ満足しないことを表している。例えば同図（ａ）では、ゲージ値ＭＮが「８５」であり、ゴースト反応が比較的強いとともに、合成画像条件を満足していることを表している。
【００４０】
また、ディスプレイ１には、ゴースト反応の強さに応じたメッセージがメッセージエリアＡＲ２に表示される。このメッセージは、ゲージ値ＭＮと同様に、ファインダ画像が合成画像条件を満足するか否かを表しているとともに、ぞの大まかな満足度をあらわしている。例えば同図では、ゴースト反応が比較的強く、合成画像条件を満足していることを示すメッセージ「ツヨイゴーストハンノウデス」が表示されている。
【００４１】
そして、このようにゴースト反応が比較的強い状態で、操作キー５を操作して撮像指示を入力（シャッタＯＮ）すると、ディスプレイ１には、該シャッタＯＮにより取り込まれた画像（撮像画像）にゴーストの画像が合成表示される。即ち、ゴーストが“出現”する。同図（ａ）では、ゴーストＧＳ１が表示されている。ゴーストが表示され得るシャッタＯＮのタイミングの目安としては、ゲージ値がある程度大きい（例えば、「７５」以上）状態、或いは、メッセージが「ツヨイゴーストハンノウデス」となっている状態である。尚、ゴースト反応が弱い（例えば、「７５」未満）の場合には、ゴーストは表示されない。
【００４２】
このとき、携帯型ゲーム装置１０００では、ファインダ画像に対して所定の画像認識方法での画像認識処理を行って特徴データを抽出し、抽出した特徴データと、予め用意されている複数のゴーストそれぞれの特徴データとの類似度を算出し、算出した類似度を基にゴースト反応の強さの程度を決定する。そして、撮像指示が入力（シャッタＯＮ）されると、決定したゴースト反応の強さの程度を基に上記複数のゴーストの中から何れかを選択し、このゴーストの画像を該シャッタＯＮにより取り込んだ撮像画像に合成してディスプレイ１に表示させている。
【００４３】
また、ゴースト反応の強さは、ファインダ画像中の被写体の位置によって異なる。具体的には、ゴーストセンサは、カメラユニット７の撮像方向に存在するキャラクタを感知するため、被写体の位置が画像中央に近い程、強いゴースト反応を示し、画像中央から離れる程、ゴースト反応が弱くなっていく。
【００４４】
例えば図２（ａ）に示したように、被写体ＯＢ１がファインダ画像のほぼ中央に位置する場合には、ゲージ値が「８５」と比較的強いゴースト反応を示すが、同図（ｂ）に示すように、被写体ＯＢ１の位置がファインダ画像の左部分に位置する場合には、ゲージ値が「７０」と、同図（ａ）の場合と比較して弱いゴースト反応を示す。
【００４５】
また、被写体が異なると、ゴースト反応、及び、シャッタＯＮした際に表示されるゴーストが異なる。例えば図３（ａ）に示すように、カメラユニット７の撮像方向を被写体ＯＢ２に向けてファインダ画像内に捉えると、ゲージ値が「１０」と、図２（ａ）に示した被写体ＯＢ１の場合と比較して弱いゴースト反応を示す。尚、同図（ｂ）に示す場合には、ゴースト反応が弱いため、シャッタＯＮしてもゴーストは表示されない。
【００４６】
また、図４に示すように、被写体ＯＢ３をファインダ画像内に捉えると、ゲージ値が「９０」と、図２（ａ）に示した被写体ＯＢ１の場合と比較して強いゴースト反応を示す。そして、この状態でシャッタＯＮすると、ディスプレイ１には、該シャッタＯＮにより取り込まれた撮像画像にゴーストＧＳ２が合成されて表示される。
【００４７】
尚、図３，図４に示す何れの場合も、ファインダ画像中の被写体の位置が画像中央から周辺側に変化すると、ゴースト反応が弱くなる。
【００４８】
［機能構成］
図５は、本実施形態における携帯型ゲーム装置１０００の機能構成の一例を示すブロック図である。同図によれば、携帯型ゲーム装置１０００は、機能的には、操作入力部１００と、撮像部２００と、処理部３００と、画像表示部４３０と、音出力部４４０と、記憶部５００と、通信部６００とを備えて構成される。
【００４９】
操作入力部１００は、プレーヤによる操作指示を受け付け、操作に応じた操作信号を処理部３００に出力する。特に、本実施形態では、撮像指示を検出して処理部３００に出力する。図１では、操作キー５がこれに該当する。
【００５０】
撮像部２００は、ＣＭＯＳやＣＣＤ等の撮像素子や、被写体の光束を撮像素子に結像させる撮影レンズ、撮像素子から出力される電気信号（アナログ画像信号）をデジタル信号に変換するＡ／Ｄ変換回路を含み、被写体の画像データ（ファインダ画像データ）を処理部３００に出力する。図１では、カメラユニット７がこれに該当する。
【００５１】
処理部３００は、携帯型ゲーム装置１０００の全体制御やゲームの進行制御、画像生成等の各種演算処理を行う。この機能は、例えばＣＰＵ（ＣＩＳＣ型、ＲＩＳＣ型）、ＡＳＩＣ（ゲートアレイ等）等の演算装置やその制御プログラムにより実現される。図１では、内蔵する制御装置に実装されているＣＰＵ等がこれに該当する。
【００５２】
また、処理部３００は、主にゲームの実行に係る演算処理を行うゲーム演算部３１０と、ゲーム演算部３１０の処理によって求められた各種データに基づいてゲーム画像を生成する画像生成部３３０と、効果音やＢＧＭ等のゲーム音を生成する音生成部３４０とを含んでいる。
【００５３】
ゲーム演算部３１０は、記憶部５００から読み出したゲーム情報（プログラム及びデータ）や、操作入力部１００から入力された操作信号、撮像部２００から入力される画像データ等に基づいて種々のゲーム処理を実行する。また、本実施形態では、ゲーム演算部３１０は、画像認識部３１２と、類似度算出部３１４と、ゴースト反応決定部３１６と、出現判定部３１８と、表示制御部３２２とを含んでいる。
【００５４】
画像認識部３１２は、所定時間毎に、撮像部２００から入力される画像データに対する画像認識処理を行い、ファインダ画像の特徴データを抽出する。この場合、画像認識部３１２は、画像認識方法情報５２２で指定される画像認識方法でファインダ画像データに対する画像認識処理を行う。
【００５５】
ここで、画像認識部３１２が行う画像認識方法としては、形状認識や色認識、模様認識がある。形状認識では、例えば撮像画像データに対するハフ変換を実行して直線成分及びその強さを検出し、検出した直線の組み合わせによって被写体の形状を認識し、その認識した形状に基づく特徴部分を抽出する。また、色認識では、撮像画像全体、或いは、形状認識によって認識された特徴部分の色を認識する。また、模様認識では、例えば撮像画像データに対するフーリエ変換を行って周波数成分を抽出し、撮像画像全体、或いは、形状認識によって認識された特徴部分の模様を認識する。本実施形態では、これらの一又は複数の画像認識方法によって撮像画像データに対する画像認識を行い、該撮像画像の特徴データを画像認識方法毎に抽出する。
【００５６】
画像認識方法情報５２２とは、撮像画像に対する画像認識方法を指定する情報である。図６に、画像認識方法情報５２２のデータ構成の一例を示す。同図によれば、画像認識方法情報５２２は、画像認識方法５２２ａと、重み５２２ｂとを対応付けて記憶している。重み５２２ｂは、対応する画像認識方法の重要度を示す値であり、この値を基に、撮像画像の特徴データと各ゴーストの特徴データとの類似度の総合値が算出される。
【００５７】
同図に示す画像認識方法情報５２２では、画像認識方法として「形状認識」及び「色認識」が格納されている。よって、同図に示す画像認識方法情報５２２に従えば、画像認識部３１２は、撮像画像データに対する形状認識処理を行って、被写体の「形状」の特徴データを抽出するとともに、撮像画像データに対する色認識処理を行って、認識された形状部分の「色」の特徴データを抽出する。
【００５８】
画像認識部３１２による画像認識結果は、画像認識結果情報５３８に格納される。図７に、画像認識結果情報５３８のデータ構成の一例を示す。同図によれば、画像認識結果情報５３８は、画像認識方法５３８ａと、該画像認識方法によって抽出された特徴データ５３８ｂとを対応付けて格納している。画像認識方法５３８ｂは、画像認識方法情報５２２で指定された画像認識方法である。例えば同図では、図６に示した画像認識方法情報５２２で指定される画像認識方法に応じた「形状」及び「色」についての特徴データを格納している。
【００５９】
類似度算出部３１４は、画像認識部３１２による画像認識結果に基づいて、ファインダ画像データの特徴データと、ゴースト情報５２４で指定される各ゴーストの特徴データとの類似度を算出する。具体的には、各ゴーストについて、画像認識方法毎に、その特徴データとファインダ画像の特徴データとの類似度を所定の算出式に従って算出する。この類似度の算出方法は、例えばパターンマッチング等を用いた公知の手法であるため、詳細な説明は省略する。そして、算出した画像認識方法毎の類似度に、画像認識方法情報５２２で指定される重みを乗じて類似度の総合値を算出する。
【００６０】
ゴースト情報５２４とは、出現し得る各ゴーストの特徴に関する情報である。図８に、ゴースト情報５２４のデータ構成の一例を示す。同図によれば、ゴースト情報５２４は、ゴースト毎に、その名称（ゴースト名）５２４ａと、特徴データ５２４ｂとを対応付けて記憶している。特徴データ５２４ｂは、画像認識方法情報５２２で指定される画像認識方法毎に、これに応じた値を格納している。例えば同図では、図６に示した画像認識方法情報５２２で指定される画像認識方法である「形状」及び「色」についての特徴データを格納している。
【００６１】
類似度算出部３１４によって算出された類似度は、算出類似度情報５４２に格納される。図９に、算出類似度情報５４２のデータ構成の一例を示す。同図によれば、算出類似度情報５４２は、ゴースト情報５２４で指定されるゴースト毎に、その名称（ゴースト名）５４２ａと、算出された類似度５４２ｂとを対応付けて格納している。類似度５４２ｂは、画像認識方法情報５２２で指定される画像認識方法毎の類似度と、類似度の総合値とを含んでいる。例えば同図では、図６に示した画像認識方法情報５２２で指定される画像認識方法である「形状」及び「色」についての類似度、及び、これらの類似度の総合値を含んでいる。また、類似度５４２ｂは、「０．０」〜「１．０」の範囲の小数値で表現されており、最小値「０．０」は完全不一致を表し、最大値「１．０」は完全一致を表している。
【００６２】
ゴースト反応決定部３１６は、画像認識部３１２による画像認識結果に基づいてゴースト反応を決定する。具体的には、算出類似度情報５４２を参照して、各ゴーストについての類似度の総合値の内、最も大きい値を選択する。そして、この選択した値（類似度の総合値の最大値。以下、「最大類似度」という）を基に、図１０（ａ）に示す関係に従ってゲージ値を決定する。
【００６３】
図１０（ａ）は、最大類似度とゲージ値との関係を示すグラフであり、横軸を最大類似度Ａとし、縦軸をゲージ値Ｇとしている。同図（ａ）によれば、ゴースト反応決定部３１６は、最大類似度Ａが所定の第１閾値Ｔ１未満であれば、ゲージ値Ｇを最小値「０」とする。また、最大類似度Ａが第１閾値Ｔ１以上であり、且つ所定の第２閾値Ｔ２未満であれば、次式（１）に従ってゲージ値Ｇを算出する。また、最大類似度Ａが第２閾値Ｔ２以上であれば、ゲージ値Ｇを最大値「１００」とする。但し、第１閾値Ｔ１＜第２閾値Ｔ２、である。
Ｇ＝｛（Ａ−Ｔ１）／（Ｔ２−Ｔ１）｝×１００ ・・・（１）
【００６４】
第１閾値Ｔ１及び第２閾値Ｔ２の値は閾値情報５２６に格納されている。図１０（ｂ）に、閾値情報５２６のデータ構成の一例を示す。同図（ｂ）によれば、閾値情報５２６は、第１閾値５２６ａと、第２閾値５３６ｂとの値を格納している。
【００６５】
更に、ゴースト反応決定部３１６は、類似度算出係数情報５２８を参照して、画像認識部３１２による特徴データ抽出の対象となった被写体のファインダ画像中の位置に応じた係数ｆを算出したゲージ値Ｇに乗じて、最終的なゲージ値Ｇｆ（＝Ｇ×ｆ）を算出する。
【００６６】
類似度算出係数情報５２８とは、ゲージ値Ｇに乗じる係数ｆの情報である。図１１（ａ）に、類似度算出係数情報５２８のデータ構成の一例を示す。同図によれば、類似度算出係数情報５２８は、ファインダ画像中の被写体の位置５２８ａと、係数５２８ｂとを対応付けて格納している。
【００６７】
ファインダ画像中の被写体の位置５２８ａとは、シャッタＯＮ直前に画像認識部３１２により認識されたファインダ画像中の形状部分の位置であり、同図（ｂ）に示すようにファインダ画像に設定された複数のエリアとして表現されている。即ち、同図（ｂ）によれば、ファインダ画像は、該画像の中央部分であるエリアＡと、このエリアＡの周囲エリアであるエリアＢと、このエリアＢの周囲エリアであり該画像の周辺エリアであるエリアＣとに分割されている。そして、各エリアには「０．０」〜「１．０」の範囲の係数ｆが設定されており、具体的には、画像中央部に近いエリアＡ、エリアＢ、そしてエリアＣの順に、大きな値が設定されている。
【００６８】
尚、ファインダ画像中の被写体の位置、即ち形状認識部分が複数のエリアに跨る場合には、エリアＡ、エリアＢ、そしてエリアＣの優先順で判断される。
【００６９】
出現判定部３１８は、操作入力部１００から撮像指示が入力される（シャッタＯＮ）と、ゴースト反応決定部３１６によって決定されたゴースト反応に基づいて、出現させるゴーストを決定する。具体的には、ゴースト反応決定部３１６により算出されたゲージ値Ｇｆが所定の出現閾値以上であるか否かによって、ファインダ画像が合成画像条件を満足するか否かを判定する。出現閾値以上であれば、合成画像条件を満足するので、算出類似度情報５４２を参照して類似度の総合値が最大のゴーストを選択し、選択したゴーストを出現させると判定する。一方、ゲージ値が出現閾値未満であれば、合成画像条件を満足しないので、ゴーストを出現させないと判定する。
【００７０】
この出現閾値は、出現判定条件情報５３２に格納されている。図１２に、出現判定条件情報５３２のデータ構成の一例を示す。同図に示すように、出現判定条件情報５３２は、出現閾値を格納している。出現閾値は、「０」〜「１００」の範囲の整数値で表現されており、この出現閾値が大きい程、ゴーストの出現確率が小さく（低く）なる。
【００７１】
表示制御部３２２は、画像生成部３３０を制御して画像表示部４３０への画像表示を制御する。具体的には、撮像部２００から入力される画像データに基づくファインダ画像を画像エリアＡＲ１に表示させるとともに、ゴースト反応決定部３１６により決定されたゴースト反応に基づく表示を行わせる。即ち、ゴースト反応決定部３１６により算出されたゲージ値Ｇｆを表すようにゲージＭＴの表示を更新するとともに、ゲージ値ＭＮの表示を更新する。また、メッセージ情報５３４を参照して、ゲージ値Ｇｆに応じたメッセージをメッセージエリアＡＲ２に表示させる。
【００７２】
メッセージ情報５３４とは、メッセージエリアＡＲ２に表示させるメッセージの情報である。図１３に、メッセージ情報５３４のデータ構成の一例を示す。同図によれば、メッセージ情報５３４は、ゲージ値（５３４ａ）と、メッセージ（５３４ｂ）とを対応付けて格納している。表示制御部３２２は、ゲージ値Ｇｆに対応するメッセージを選択してメッセージエリアＡＲ２に表示させる。
【００７３】
また、表示制御部３２２は、操作入力部１００から撮像指示が入力されると、撮像画像に、出現判定部３１８により出現させると判断されたゴーストの画像を合成して画像エリアＡＲ１に表示させる。尚、出現判定部３１８によりゴーストを出現させないと判断された場合には、撮像画像のみを画像エリアＡＲ１に表示させる。また、撮像画像は、操作入力部１００から撮像指示が入力された時点で取り込まれたファインダ画像であり、撮像画像情報５３４に格納されている。
【００７４】
画像表示部４３０は、処理部３００からの画像信号に基づくゲーム画像を表示する。この機能は、例えばＣＲＴやＬＣＤ、ＥＬＤ等のハードウェアによって実現される。図１では、ディスプレイ１がこれに該当する。
【００７５】
音生成部３４０は、ゲーム中に使用される効果音やＢＧＭ等のゲーム音声を生成し、生成したゲーム音声の音信号を音出力部４４０に出力する。
音出力部４４０は、音生成部３４０からの音信号に基づいて、ＢＧＭや効果音等のゲーム音声を出力する。この機能は、例えばスピーカ等によって実現される。図１では、スピーカ３がこれに該当する。
【００７６】
記憶部５００は、処理部３００に携帯型ゲーム装置１０００を統合的に制御させるための諸機能を実現するためのシステムプログラムや、ゲームを実行させるために必要なプログラムやデータ等を記憶するとともに、処理部３００の作業領域として用いられ、処理部３００が各種プログラムに従って実行した演算結果や操作入力部１００から入力される入力データ等を一時的に格納する。この機能は、例えば各種ＩＣメモリやハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ、ＲＡＭ、ＶＲＡＭ等によって実現される。図１では、制御装置に実装されているＲＯＭやＲＡＭ、ゲームカートリッジ１０がこれに該当する。
【００７７】
また、記憶部５００は、処理部３００をゲーム演算部３１０として機能させるためのゲームプログラム５１０及びゲームデータを記憶する。ゲームデータには、画像認識方法情報５２２と、ゴースト情報５２４と、閾値情報５２６と、類似度算出係数情報５２８と、出現判定条件情報５３２と、メッセージ情報５３４と、撮像画像情報５３６と、画像認識結果情報５３８、算出類似度情報５４２と、ゴースト捕獲情報５４４とが含まれている。
【００７８】
ゴースト捕獲情報５４４とは、これまでに“捕獲”したゴーストの種類や数等の情報である。ゴーストの捕獲は、出現したゴーストに対する所定のゴースト捕獲処理が実行されることで、実現される。
【００７９】
通信部６００は、所定の通信回線に接続して他の携帯型ゲーム装置１０００等の外部装置とのデータ通信を行う。この機能は、ＢｌｕｅＴｏｏｔｈ（登録商標）やＩｒＤＡ等の無線通信モジュール、モデム、ＴＡ、有線用の通信ケーブルのジャックや制御回路等によって実現される。図１では、内蔵されている通信装置がこれに該当する。
【００８０】
［処理の流れ］
図１４は、本実施形態におけるゲーム処理の流れを説明するためのフローチャートである。この処理は、ゲーム演算部３１０が、ゲームプログラム５１０に従った処理を実行することで実現される。
【００８１】
同図によれば、所定時間毎に、画像認識部３１２が、画像認識方法情報５２２で指定される画像認識方法でファインダ画像データに対する画像認識処理を行い、このファインダ画像の特徴データを抽出する（ステップＳ１）。次いで、ゴースト反応決定処理が実行される（ステップＳ３）。
【００８２】
図１５は、ゴースト反応決定処理の流れを説明するためのフローチャートである。
同図によれば、ゴースト反応決定処理では、類似度算出部３１４が、画像認識結果情報５３８を参照して、ゴースト情報５２４の各ゴーストを対象としてループＡの処理を行う。即ち、ループＡでは、指定される画像認識方法毎に、対象となっているゴーストの特徴データと抽出されたファインダ画像の特徴データを基に、所定の算出式に従って両データの類似度を算出する（ステップＴ１）。そして、算出した画像認識方法毎の類似度に、各画像認識方法に設定されている重みを乗じて加算し、類似度の総合値を算出する（ステップＴ３）。
【００８３】
全ゴーストを対象としたループＡの処理を終了すると、続いて、ゴースト反応決定部３１６が、算出した類似度の総合値の内から、最も大きい値を選択する（ステップＴ５）。そして、選択した値（最大類似度）を基に、閾値情報５２６を参照して、ゲージ値を決定する。
【００８４】
即ち、最大類似度Ａが第１閾値Ｔ１以上であるか否かを判断し、第１閾値Ｔ１以上でないならば（ステップＴ７：ＮＯ）、ゲージ値Ｇを最小値「０」とする（ステップＴ９）。最大類似度Ａが第１閾値Ｔ１以上であるならば（ステップＴ７：ＹＥＳ）、続いて、この最大類似度Ａが第２閾値Ｔ２以上であるか否かを判断し、第２閾値Ｔ２以上であるならば（ステップＴ１１：ＹＥＳ）、ゲージ値Ｇを最大値「１００」とする（ステップＴ１３）。また、最大類似度Ａが第２閾値Ｔ２以上でないならば（ステップＴ１３：ＮＯ）、式（１）に従ってゲージ値Ｇを算出する（ステップＴ１５）。
【００８５】
続いて、ゴースト反応決定部３１６は、類似度算出係数情報５２８を参照して、ファインダ画像中の被写体の位置に応じた係数ｆを算出したゲージ値Ｇに乗じて、最終的なゲージ値Ｇｆを算出する（ステップＴ１７）。
以上の処理を行うと、ゴースト反応決定処理は終了となる。
【００８６】
ゴースト反応決定処理が終了すると、表示制御部３２２が、ゴースト反応表示処理を行う。即ち、算出されたゲージ値を基にゲージＭＴの表示を更新するとともに、ゲージ値ＭＮを表示を更新し、また、メッセージ情報５３４を参照して、ゲージ値に対応するメッセージに、メッセージエリアＡＲ２の表示を更新する（ステップＳ５）。
【００８７】
続いて、ゲーム演算部３１０は、操作入力部１００から撮像指示（シャッタＯＮ）が入力されたか否かを判断し、入力されたならば（ステップＳ７：ＹＥＳ）、出現判定部３１８が、ゴーストを出現させるか否かを判定する。即ち、出現判定条件情報５３２を参照して、ゲージ値が出現閾値以上であるか否かを判断し、出現閾値以上でないならば出現させないと判定する。ゲージ値が出現閾値以上であるならば、算出類似度情報５４２を参照して、類似度の総合値が最も高いゴーストを出現させると判定する（ステップＳ９）。
【００８８】
ゴーストを出現させると判定されたならば（ステップＳ１１：ＹＥＳ）、続いて、表示制御部３２２が、出現させると判定されたゴーストの画像を撮像画像に合成して画像表示部４３０に表示させる（ステップＳ１３）。次いで、ゲーム演算部３１０が、操作入力部１００からの操作信号等に基づいて、出現させたゴーストに対する所定のゴースト捕獲処理を行う（ステップＳ１５）。その後、ゲームを終了するか否かを判断し、終了しないならば（ステップＳ１７：ＮＯ）、ステップＳ１に戻り、ゲームを終了するならば（ステップＳ１７：ＹＥＳ）、本処理を終了する。
【００８９】
［作用・効果］
以上のように、本実施形態によれば、携帯型ゲーム装置１０００のディスプレイ１には、撮影レンズ８が捉えている画像（ファインダ画像）が画像エリアＡＲ１に表示されるとともに、実空間に存在するキャラクタを感知するゴーストセンサによる感知結果（ゴースト反応）が表示される。即ち、ゴースト反応の強さの程度が数値化されてゲージＭＴにメータ表示（ゲージ表示）され、この値（ゲージ値）ＭＮが表示されるとともに、このゲージ値ＭＮに応じたメッセージがメッセージエリアＡＲ２に表示される。そして、ゴースト反応が強い状態（例えば、ゲージ値ＭＮが「７５」以上の状態）で操作キー５を操作してシャッタＯＮすると、画像エリアＡＲ１には、このシャッタＯＮにより取り込まれた画像（撮像画像）に、被写体に応じたゴーストが合成されて表示される。
【００９０】
このとき、携帯型ゲーム装置１０００では、ファインダ画像に対する画像認識処理を行って該ファインダ画像の特徴データを抽出し、ゴースト情報５２４で指定される各ゴーストについて、画像認識方法毎に、該ゴーストの特徴データと抽出したファインダ画像の特徴データとの類似度を算出する。次いで、各ゴーストについての類似度の総合値の内、最も大きい値（最大類似度）を基に、閾値情報５２６を参照してゲージ値Ｇを算出し、更に、類似度算出係数情報５２８を参照して、ファインダ画像中の被写体の位置に応じた係数ｆを算出したゲージ値Ｇに乗じて、最終的なゲージ値Ｇｆを算出する。そして、このゲージ値ＧｆをゲージＭＴにメータ表示し、ゲージＭＴとして表示するとともに、メッセージ情報５３４を参照して、ゲージ値Ｇｆに対応するメッセージをメッセージエリアＡＲ２に表示させる。
【００９１】
従って、ディスプレイ１にファインダ画像が表示されるとともに、該ファインダ画像に基づいて、周囲に存在するゴーストに対する感知反応であるゴースト反応に応じた表示がなされる。そして、ゴースト反応が強い状態でシャッタＯＮすると、撮像画像にゴーストが合成表示されるといった、あたかも実空間に存在するゴーストを撮像したかのような、新たな興趣を実現できる。またこのとき、同一の被写体を撮像すると同一のゴーストが表示されるといった、ある決まった場所（被写体の位置）にゴーストが存在するかのような演出が実現される。
【００９２】
［変形例］
尚、本発明の適用は上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である、
【００９３】
（Ａ）被写体の位置を表示
例えば、ファインダ画像中に画像認識処理による画像認識部分を示しても良い。具体的には、例えばシャッタキーを半押しにする等、所定の操作が為されると、形状認識により認識された形状部分と、この形状部分以外の部分との表示形態を異ならせることで、認識部分を視覚的に明らかにする。例えば、認識された形状部分の明度や色合い、解像度を変更する。このようにすることで、プレーヤが、画像認識の対象となっている画像部分を把握し、例えばこの画像部分が画像中央に位置するようにして撮像することで、より確実にゴーストを出現させるといったことが可能となる。
【００９４】
（Ｂ）類似度の総合値の算出方法
また、上述した実施形態では、各ゴーストについての類似度の総合値を、画像認識方法毎の類似度に、該画像認識方法に設定されている重みを乗じて加算して算出することとしたが、次のように算出しても良い。即ち、（１）画像認識方法毎の類似度の平均値を総合値としても良いし、（２）各画像認識方法毎の類似度の内、最も大きい値を総合値としても良い。
【００９５】
（Ｃ）ゲージ値を変化させる
また、同一の被写体を撮影し続けてファインダ画像が変化しない場合には、ゲージ値を時間経過に伴って変更することとしても良い。ファインダ画像が変化しない場合には、該ファインダ画像の特徴データが変化しないので、算出されるゲージ値は変化しない。そこで、このような場合、算出したゲージ値を、例えば所定の変動幅内で、正弦関数に従って周期的に、或いはランダムに増減させるように変化させる。
【００９６】
このようにすることで、あたかもゴーストが移動しており、それを感知しているかのような演出が実現される。尚、ファインダ画像が変化していないことの判断は、例えば特徴データが変化しないことによって判断する。またこのとき、変化させる周期や増減の量（振幅）を、ゲージ値の大きさに応じて、例えばゲージ値が大きい程、周期を短く、或いは増減の量を大きくするように変化させることで、ゴースト反応の強さに応じた感度でゴーストを感知しているような演出が実現される。
【００９７】
（Ｄ）ファインダ画像中の被写体の大きさ
また、上述した実施形態では、最大類似度に応じたゲージ値Ｇに、ファインダ画像中の被写体の位置（形状認識部分の位置）に応じた係数ｆを乗じて最終的なゲージ値Ｇｆを算出することとしたが、この係数ｆに替えて、ファインダ画像中の被写体の大きさに応じた係数ｅを乗じることとしても良い。この場合、例えばファインダ画像中の被写体の大きさが大きくなるに従って係数ｅの値を大きくすることで、ゴーストセンサが、より近くに位置するゴーストをより高感度で感知しているかのような演出が実現される。
【００９８】
（Ｅ）複数のゴーストセンサ
また、ゴーストセンサを複数用意し、これらの内から選択した一のゴーストセンサを使用することとしてゴーストを感知することとしても良い。この場合、予め、各ゴーストセンサと感知可能な一又は複数のゴーストとを対応付けておく。そして、使用しているゴーストセンサに対応する各ゴーストについて、その特徴データと、ファインダ画像の特徴データとの類似度を算出し、算出した各ゴーストについての類似度を基にゲージ値を算出する。このようにすることで、使用するゴーストセンサを変更すると、異なるゴーストを感知可能になるといった演出が実現される。
【００９９】
このとき、出現判定の対象とするゴーストを、（１）使用しているゴーストセンサに対応するゴーストとしても良い。この場合、使用しているゴーストセンサに対応するゴーストの内、算出された類似度の総合値が最も大きく、且つ所定の出現閾値以上のゴーストを、出現させると判定する。従って、使用しているゴーストセンサによるゴースト反応が強い場合にのみ、ゴーストが出現することとなる。
【０１００】
また、（２）使用しているゴーストセンサに対応するゴーストのみではなく、全てのゴーストを出現判定の対象としても良い。この場合、全てのゴーストについてファインダ画像との類似度を算出し、算出した類似度の総合値が最も大きく、且つ所定の出現閾値以上のゴーストを、出現させると判定する。従って、使用しているゴーストセンサによるゴースト反応が弱い場合にシャッタＯＮしたとしても、ゴーストが出現することがあるが、これは、その使用しているゴーストセンサが当該ゴーストを感知できないことを意味する。即ち、ゴーストとゴーストセンサとの関係について、より現実感を感じさせることができる。
【０１０１】
（Ｆ）キャラクタの存在有無の報知
また、上述した実施形態では、キャラクタが存在するか否かの報知として、ゴースト反応の強さをゲージＭＮでメータ表示（ゲージ表示）することとしたが、他の方法によって報知することとしてもよい。例えば、ファインダ画像が合成画像条件を満足する場合には、該ファインダ画像全体の色合い（ＲＧＢ値）や輝度を変更することとしても良い。この場合、色合いや輝度の変化量によって合成画像条件の満足度を表すこととしても良い。
【０１０２】
（Ｇ）キャラクタ
また、上述した実施形態では、キャラクタとしてゴーストを例に挙げて説明したが、例えば人間や動物、ロボット、怪獣等の空想上の生物、アニメキャラクタといった他のキャラクタであって良いのは勿論である。
【図面の簡単な説明】
【０１０３】
【図１】実施形態の携帯型ゲーム装置の外観例。
【図２】実施形態の概要図。
【図３】実施形態の概要図。
【図４】実施形態の概要図。
【図５】携帯型ゲーム装置の機能構成例。
【図６】画像認識方法情報のデータ構成例。
【図７】画像認識結果情報のデータ構成例。
【図８】ゴースト情報のデータ構成例。
【図９】算出類似度情報のデータ構成例。
【図１０】（ａ）ゲージ値の算出方法、（ｂ）閾値情報のデータ構成例。
【図１１】（ａ）類似度算出係数情報のデータ構成例、（ｂ）ファインダ画像中のエリアの設定例。
【図１２】出現判定条件情報のデータ構成例。
【図１３】メッセージ情報のデータ構成例。
【図１４】実施形態のゲーム処理の流れ図。
【図１５】ゲーム処理中に実行されるゴースト反応決定処理の流れ図。
【符号の説明】
【０１０４】
１０００ 携帯型ゲーム装置
１００ 操作入力部
２００ 撮像部
３００ 処理部
３１０ ゲーム演算部
３１２ 画像認識部
３１４ 類似度算出部
３１６ ゴースト反応決定部
３１８ 出現判定部
３２２ 表示制御部
３３０ 画像生成部
３４０ 音生成部
４３０ 画像表示部
４４０ 音出力部
５００ 記憶部
５１０ ゲームプログラム
５２２ 画像認識方法情報
５２４ ゴースト情報
５２６ 閾値情報
５２８ 類似度算出係数情報
５３２ 出現判定条件情報
５３４ メッセージ情報
５３６ 撮像画像情報
５３８ 画像認識結果情報
５４２ 算出類似度情報
５４４ ゴースト捕獲情報
６００ 通信部
【技術分野】
【０００１】
本発明は、コンピュータに、撮像手段により撮影されているファインダ画像を表示装置に表示制御させ、シャッタ操作が為されて取り込まれた撮像画像にキャラクタの画像を合成して表示制御させることで、実空間にキャラクタが存在するかのような表示制御を行わせるためのプログラム等に関する。
【背景技術】
【０００２】
撮像画像に対する画像認識を行ってこの撮像画像の内容等を認識する画像認識技術が様々な分野で利用されている。例えば、この画像認識技術の適用例として、特許文献１には、トランプゲームを行うゲーム装置や、タロット占いを行う占い装置が開示されている。かかる装置では、カメラを用いてトランプやタロットカード等の各種のカード類やサイコロといった認識対象物を撮像し、撮像画像に対する画像認識を行うパターン認識処理により、その配置等を認識している。
【特許文献１】特開２００２−４９９０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した特許文献１の技術は、認識対象物の形状や内容を予め定められたものとしているが、認識対象物を特に限定せず、画像認識処理を利用することで撮像における新たな興趣を実現し得ないだろうか。本発明は、上記事情に鑑みて為されたものである。
【課題を解決するための手段】
【０００４】
上記課題を解決するための第１の発明は、
コンピュータに、撮像手段（例えば、図１のカメラユニット７、図５の撮像部２００）により撮影されているファインダ画像を表示装置（例えば、図１のディスプレイ１、図５の画像表示部４３０）に表示制御させ、シャッタ操作が為されて取り込まれた撮像画像にキャラクタの画像を合成して表示制御させることで、実空間にキャラクタが存在するかのような表示制御を行わせるためのプログラム（例えば、図５のゲームプログラム５１０）であって、
予め用意された、撮像画像にキャラクタの画像を合成するか否かを判定するための画像条件であるキャラクタ毎の合成画像条件（例えば、図８のゴースト情報５２４の特徴データ５２４ｂ）のうち、前記ファインダ画像が何れかの合成画像条件を満足するか否かを判定する条件判定手段（例えば、図５の画像認識部３１２、類似度算出部３１４及びゴースト反応決定部３１６；図１４のステップＳ１、図１５のステップＳＴ１〜Ｔ１５）、
前記条件判定手段の判定結果に基づいて、キャラクタが存在するか否かの所定の報知処理を行う報知制御手段（例えば、図５の表示制御部３２２；図１５のステップＴ１７）、
前記報知制御手段によりキャラクタが存在するとする報知処理がなされている状態でシャッタ操作が為された場合、当該シャッタ操作により取り込まれた撮像画像にキャラクタの画像を合成して表示制御する合成表示制御手段（例えば、図５の表示制御部３２２；図１４のステップＳ７：ＹＥＳ〜Ｓ１３）、
として前記コンピュータを機能させるためのプログラムである。
【０００５】
また、第１１の発明は、
撮像手段（例えば、図１のカメラユニット７、図５の撮像部２００）と、前記撮像手段により撮影されているファインダ画像を表示する表示手段（例えば、図１のディスプレイ１、図５の画像表示部４３０）とを備え、シャッタ操作が為されて取り込まれた撮像画像にキャラクタの画像を合成して前記表示手段に表示制御させることで、実空間にキャラクタが存在するかのような表示制御を行わせる画像撮像表示装置（例えば、図１，図５の携帯型ゲーム装置１０００）であって、
予め用意された、撮像画像にキャラクタの画像を合成するか否かを判定するための画像条件であるキャラクタ毎の合成画像条件のうち、前記ファインダ画像が何れかの合成画像条件を満足するか否かを判定する条件判定手段と、
前記条件判定手段の判定結果に基づいて、キャラクタが存在するか否かの所定の報知処理を行う報知制御手段と、
前記報知制御手段によりキャラクタが存在するとする報知処理がなされている状態でシャッタ操作が為された場合、当該シャッタ操作により取り込まれた撮像画像にキャラクタの画像を合成して表示制御する合成表示制御手段と、
を備えた画像撮像表示装置である。
【０００６】
この第１又は第１１の発明によれば、キャラクタ毎の合成画像条件のうち、ファインダ画像が何れかの合成画像条件を満足するか否かが判定され、この判定結果に基づいて、キャラクタが存在するか否かの所定の報知処理が行われる。そして、キャラクタが存在するとする報知処理がなされている状態においてシャッタ操作が為された際に、このシャッタ操作により取り込まれた撮像画像にキャラクタの画像が合成して表示制御される。
【０００７】
即ち、ファインダ画像が表示されるとともに、該ファインダ画像を基にキャラクタが存在するか否かが報知され、キャラクタが存在することが報知されている状態でシャッタ操作を行うと、撮像画像にキャラクタが合成表示されるといった、あたかも実空間に存在するキャラクタを撮像したかのような、撮像における新たな興趣を実現できる。またこのとき、ファインダ画像が略同一であれば、該ファインダ画像が何れかの合成画像条件を満足するか否かの判定結果は同一であるので、同一の報知が為される。このため、ある決まった場所（被写体の位置）にキャラクタが存在するかのような演出が実現される。また、ファインダ画像が各合成画像条件の何れかを満足するか否かの判定結果に基づいて行われる報知により、周囲に存在するキャラクタを感知し、この感知反応を報知しているかのような演出が実現される。
【０００８】
第２の発明は、第１の発明のプログラムにおいて、
前記合成表示制御手段が、前記報知制御手段によりキャラクタが存在するとする報知処理がなされている状態においてシャッタ操作が為された際に、前記条件判定手段により満足すると判定されていた合成画像条件に対応するキャラクタの画像を、当該シャッタ操作により取り込まれた撮像画像に合成して表示制御するように前記コンピュータを機能させるためのプログラムである。
【０００９】
この第２の発明によれば、キャラクタが存在するとする報知処理がなされている状態においてシャッタ操作が為された際に、ファインダ画像が満足すると判定されていた合成画像条件に対応するキャラクタの画像が、シャッタ操作により取り込まれた撮像画像に合成して表示制御される。
【００１０】
即ち、ファインダ画像が略同一であれば、このファインダ画像が満足すると判定される合成画像条件は同一であるので、この状態でシャッタ操作を行うと、常に同一のキャラクタの画像が撮像画像に合成表示される。従って、同一の被写体を撮像すると、常に同一のキャラクタが表示されるといった、被写体毎に存在するキャラクタが決まっているかのような演出が実現される。
【００１１】
第３の発明は、第１又は第２の発明のプログラムにおいて、
前記各合成画像条件にはそれぞれ複数の画像条件が含まれており、
前記条件判定手段が、前記ファインダ画像が前記各合成画像条件それぞれを満足する程度である満足度を、当該合成画像条件に含まれる各画像条件を満たすか否かに基づいて判定する条件満足度判定手段（例えば、図５の類似度算出部３１４、ゴースト反応決定部３１６；図１５のステップＴ１〜Ｔ３）を有し、
前記報知制御手段が、前記条件満足度判定手段により判定された満足度に応じた報知内容を報知する、
ように前記コンピュータを機能させるためのプログラムである。
【００１２】
この第３の発明によれば、ファインダ画像が各合成画像条件それぞれを満足する程度である満足度が、この合成画像条件に含まれる各画像条件を満たすか否かに基づいて判定され、この判定された満足度に応じた報知内容が報知される。従って、満足度が段階的に表現され、キャラクタに対する感知反応の程度に応じた報知が実現される。この場合、例えばファインダ画像が満たす画像条件が多い程、満足度を高くすることで、直感的に理解し易い感知反応となる。
【００１３】
第４の発明は、第３の発明のプログラムにおいて、
前記報知制御手段が、前記ファインダ画像が変化しない場合に、時間経過に伴って報知内容を変化させて報知処理を行うように前記コンピュータを機能させるためのプログラムである。
【００１４】
この第４の発明によれば、ファインダ画像が変化しない場合に、時間経過に伴って報知内容が変化されて報知処理が行われる。ファインダ画像が変化しない場合には、このファインダ画像が何れかの合成画像条件を満足するか否かの判定結果が変化しないので、報知内容が変化しない。そこで、このような場合には時間経過に伴って報知内容を変化させることで、あたかも移動しているキャラクタを感知しているかのような演出を実現することができる。
【００１５】
第５の発明は、第１〜第４の何れかの発明のプログラムにおいて、
前記条件判定手段が、
前記ファインダ画像の特徴部分を抽出する特徴抽出処理を行う特徴抽出手段（例えば、図５の画像認識部３１２；図１４のステップＳ１）と、
前記特徴抽出手段により抽出された特徴部分の画像が、何れかの合成画像条件を満足するか否かを判定する特徴部分判定手段（例えば、図５の類似度算出部３１４、ゴースト反応決定部３１６；図１５のステップＴ１〜Ｔ１５）と、
を有するように前記コンピュータを機能させるためのプログラムである。
【００１６】
この第５の発明によれば、ファインダ画像の特徴部分が抽出され、この抽出された特徴部分の画像が、何れかの合成画像条件を満足するか否かが判定される。即ち、ファインダ画像の特徴部分を基に、合成表示されるキャラクタが決定される。
【００１７】
第６の発明は、第５の発明のプログラムにおいて、
前記各合成画像条件には物体の少なくとも形状条件が画像条件として含まれており、
前記特徴抽出手段が、前記ファインダ画像に写っている物体の形状を特徴部分として抽出し、
前記特徴部分判定手段が、前記特徴抽出手段により抽出された物体形状が合成画像条件に含まれる物体の形状条件を満足するか否かを判定する、
ように前記コンピュータを機能させるためのプログラムである。
【００１８】
この第６の発明によれば、ファインダ画像に写っている物体の形状が特徴部分として抽出され、この抽出された物体形状が合成画像条件に含まれる物体の形状条件を満足するか否かが判定される。即ち、少なくとも、撮像した物体の形状を基に、合成表示されるキャラクタが決定される。
【００１９】
第７の発明は、第５又は第６の発明のプログラムにおいて、
前記報知制御手段が、前記特徴抽出手段により抽出された特徴部分が前記ファインダ画像に占める大きさ及び／又は位置に応じて異なる報知処理を行うように前記コンピュータを機能させるためのプログラムである。
【００２０】
この第７の発明によれば、抽出された特徴部分がファインダ画像に占める大きさ及び／又は位置に応じて異なる報知処理が行われる。従って、例えば抽出された特徴部分がファインダ画像に占める大きさが大きい程、或いは、ファインダ画像中の位置が画像中央部に近い程、キャラクタに対する感知反応の程度が強いことを表す報知を行うことで、この特徴部分となる被写体の位置が撮像方向に一致する、即ち正面に位置する程、或いは、この被写体に近づく程、キャラクタに対する感知反応が強くなるといった、直感的に理解し易い報知を実現でできる。
【００２１】
第８の発明は、第１〜第７の発明のプログラムにおいて、
前記報知制御手段が、前記報知処理として所定のゲージ表示を行うゲージ表示制御手段を有するように前記コンピュータを機能させるためのプログラムである。
【００２２】
この第８の発明によれば、キャラクタが存在するとする報知処理として所定のゲージ表示が行われる。
【００２３】
第９の発明は、第１〜第８の何れかの発明のプログラムにおいて、
前記撮像手段の撮像方向にキャラクタが存在するか否かを感知する仮想的に装着可能なキャラクタセンサが、感知可能なキャラクタに応じて予め複数設定されており、
前記複数のキャラクタセンサのうち、仮想的に装着するとするキャラクタセンサをユーザの選択操作に従って選択する装着センサ選択手段、
として前記コンピュータを機能させ、
前記条件判定手段が、前記複数の合成画像条件の中から、前記装着センサ選択手段により選択されたキャラクタセンサが感知可能なキャラクタに対応する合成画像条件を判定対象の条件とする、
ように前記コンピュータを機能させるためのプログラムである。
【００２４】
この第９の発明によれば、予め設定されている、撮像手段の撮像方向にキャラクタが存在するか否かを感知する仮想的に装着可能な複数のキャラクタセンサのうち、仮想的に装着するとするキャラクタセンサがユーザの選択操作に従って選択され、この選択されたキャラクタセンサが感知可能なキャラクタに対応する合成画像条件が、ファインダ画像が満足するか否かの判定対象の条件とされる。
【００２５】
即ち、仮想的に装着するとするキャラクタセンサが異なると、ファインダ画像が満足するか否かの判定対象の条件が異なる。このため、同一のファインダ画像であってもキャラクタが存在するか否かの報知内容が異なるとともに、同一の被写体を撮像した場合であっても表示されるキャラクタが異なるといった面白味のある演出が実現される。
【００２６】
第１０の発明は、第１〜第９の何れかの発明のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体（例えば、図５の記憶部５００）である。
【００２７】
ここでいう「情報記憶媒体」とは、記憶されている情報をコンピュータが読み取り可能な、例えばハードディスクやＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、メモリカード、ＩＣメモリ等の記憶媒体である。従って、この第１０の発明によれば、該情報記憶媒体に記憶されている情報をコンピュータに読み取らせて演算処理を実行させることで、第１〜第９の何れかの発明と同様の効果を奏することができる。
【発明の効果】
【００２８】
本発明によれば、ファインダ画像が表示されるとともに、該ファインダ画像を基にキャラクタが存在するか否かが報知され、キャラクタが存在することが報知されている状態でシャッタ操作を行うと、撮像画像にキャラクタが合成表示されるといった、あたかも実空間に存在するキャラクタを撮像したかのような、撮像における新たな興趣を実現できる。またこのとき、周囲に存在するキャラクタを感知し、この感知反応を報知しているかのような演出が実現されるとともに、ある決まった場所（被写体の位置）にキャラクタが存在するかのような演出が実現される。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照して、本発明の好適な実施形態を説明する。尚、以下では、本発明を携帯型ゲーム装置に適用した場合を説明するが、本発明の適用可能な実施形態がこれに限定されるものではない。
【００３０】
［ゲーム装置の外観］
図１は、本実施形態における携帯型ゲーム装置１０００の一例を示す外観図である。同図（ａ）は正面図を示し、同図（ｂ）は背面図を示している。同図によれば、携帯型ゲーム装置１０００は、略長方形状の筐体の正面に、ディスプレイ１と、スピーカ３と、操作キー５とを備えている。また、筐体の上側面にカメラユニット７を備えているとともに、下側面には、ゲームカートリッジ１０を挿入するための挿入口が設けられている。
【００３１】
ディスプレイ１は、ＴＦＴディスプレイ等のバックライト付きのカラー液晶ディスプレイであり、各種情報や画像等を表示する。また、このディスプレイ１は、カメラユニット７の起動時には電子ファインダとして機能し、カメラユニット７によるファインダ画像を動画表示する。
【００３２】
操作キー５は、プレーヤがゲーム操作を入力するためのものであり、操作キー５の内の１つのキーが、カメラユニット７の起動時に撮像指示を入力するためのシャッタキーとしての機能を果たす。
【００３３】
カメラユニット７は、その背面側に設けられたガラス等で形成される撮影レンズ８と、ＣＭＯＳやＣＣＤ等の撮像素子とを有し、撮影レンズ８を通して撮像素子で結像された画像データをデジタルデータに変換して出力する。尚、このカメラユニット７は筐体に一体的に構成されているが、着脱自在に構成されていることとしても良い。
【００３４】
また、携帯型ゲーム装置１０００は、挿入口に挿入されたゲームカートリッジ１０に格納されているゲーム情報（ゲームプログラムやゲームデータ）を読み出す読出装置や、他の携帯型ゲーム装置１０００等の外部装置と接続して無線／有線通信を行うための通信装置、ＣＰＵやＩＣメモリ等を搭載した制御装置を内部に具備している。制御装置に搭載されるＣＰＵは、ＩＣメモリやゲームカートリッジ１０から読み出されたプログラムやデータ、操作キー５の操作信号、カメラユニット７から入力される画像データ等に基づいて種々の処理を実行し、ゲーム画面等の画像信号及びゲーム音の音信号を生成する。そして、生成した画像信号をディスプレイ１に出力してゲーム画面を表示させるとともに、音信号をスピーカ３に出力してゲーム音を出力させる。
【００３５】
携帯型ゲーム装置１０００がゲームを実行するために必要な情報（システムプログラムやゲームプログラム、ゲームデータ等）は、制御装置に搭載されているＩＣメモリやゲームカートリッジ１０に格納されている。より具体的には、システムプログラムは制御装置のＩＣメモリに格納され、ゲームプログラム及びゲームデータはゲームカートリッジ１０に格納されている。従って、プレーヤは、ゲームカートリッジ１０を交換することで、異なるゲームを携帯型ゲーム装置１０００に実行させることができる。
【００３６】
［概要］
本実施形態のゲームでは、あたかも、実空間であるプレーヤの周囲にゴースト（キャラクタ）が存在しているかのようなゲーム演出が行われる。
【００３７】
図２〜図４は、本実施形態のゲーム概要を説明するための図である。
図２（ａ）に示すように、携帯型ゲーム装置１０００のカメラユニット７を起動すると、ディスプレイ１には、その中央部分の画像エリアＡＲ１に、撮影レンズ８が捉えている画像（ファインダ画像）が表示される。
【００３８】
また、本実施形態のゲームでは、ゲーム演出の一つとして、携帯型ゲーム装置１０００が、該装置周囲におけるゴーストの存在を感知するゴーストセンサ（キャラクタセンサ）を具備しているかのような演出が行われる。このゴーストセンサは、カメラユニット７による撮影方向を中心とした所定範囲内に存在するキャラクタを感知する機能を有する。そして、このゴーストセンサによる感知結果（以下、「ゴースト反応」という）が、ファインダ画像とともにディスプレイ１に表示（報知）される。尚、このファインダ画像は動画像である。
【００３９】
具体的には、ゴースト反応の強さの程度（度合）が「０」〜「１００」の範囲の整数に数値化されてゲージＭＴにメータ表示（ゲージ表示）されるとともに、この数値（ゲージ値）ＭＮがパーセンテージ表示される。ゲージ値ＭＮが大きい程、ゴースト反応が強いことを表している。即ち、ゲージ値の最小値「０」はゴースト反応が「無い」ことを表し、最高値「１００」はゴースト反応が最も強いことを表す。また、このゲージ値ＭＮは、ファインダ画像が、ゴーストを表示（出現）させるか否かの判定条件である合成画像条件の満足するか否かを表しているともに、その満足度を表している。即ち、ゲージ値ＭＮが所定値（例えば、「７５」）以上であれば満足することを表し、そうでなければ満足しないことを表している。例えば同図（ａ）では、ゲージ値ＭＮが「８５」であり、ゴースト反応が比較的強いとともに、合成画像条件を満足していることを表している。
【００４０】
また、ディスプレイ１には、ゴースト反応の強さに応じたメッセージがメッセージエリアＡＲ２に表示される。このメッセージは、ゲージ値ＭＮと同様に、ファインダ画像が合成画像条件を満足するか否かを表しているとともに、ぞの大まかな満足度をあらわしている。例えば同図では、ゴースト反応が比較的強く、合成画像条件を満足していることを示すメッセージ「ツヨイゴーストハンノウデス」が表示されている。
【００４１】
そして、このようにゴースト反応が比較的強い状態で、操作キー５を操作して撮像指示を入力（シャッタＯＮ）すると、ディスプレイ１には、該シャッタＯＮにより取り込まれた画像（撮像画像）にゴーストの画像が合成表示される。即ち、ゴーストが“出現”する。同図（ａ）では、ゴーストＧＳ１が表示されている。ゴーストが表示され得るシャッタＯＮのタイミングの目安としては、ゲージ値がある程度大きい（例えば、「７５」以上）状態、或いは、メッセージが「ツヨイゴーストハンノウデス」となっている状態である。尚、ゴースト反応が弱い（例えば、「７５」未満）の場合には、ゴーストは表示されない。
【００４２】
このとき、携帯型ゲーム装置１０００では、ファインダ画像に対して所定の画像認識方法での画像認識処理を行って特徴データを抽出し、抽出した特徴データと、予め用意されている複数のゴーストそれぞれの特徴データとの類似度を算出し、算出した類似度を基にゴースト反応の強さの程度を決定する。そして、撮像指示が入力（シャッタＯＮ）されると、決定したゴースト反応の強さの程度を基に上記複数のゴーストの中から何れかを選択し、このゴーストの画像を該シャッタＯＮにより取り込んだ撮像画像に合成してディスプレイ１に表示させている。
【００４３】
また、ゴースト反応の強さは、ファインダ画像中の被写体の位置によって異なる。具体的には、ゴーストセンサは、カメラユニット７の撮像方向に存在するキャラクタを感知するため、被写体の位置が画像中央に近い程、強いゴースト反応を示し、画像中央から離れる程、ゴースト反応が弱くなっていく。
【００４４】
例えば図２（ａ）に示したように、被写体ＯＢ１がファインダ画像のほぼ中央に位置する場合には、ゲージ値が「８５」と比較的強いゴースト反応を示すが、同図（ｂ）に示すように、被写体ＯＢ１の位置がファインダ画像の左部分に位置する場合には、ゲージ値が「７０」と、同図（ａ）の場合と比較して弱いゴースト反応を示す。
【００４５】
また、被写体が異なると、ゴースト反応、及び、シャッタＯＮした際に表示されるゴーストが異なる。例えば図３（ａ）に示すように、カメラユニット７の撮像方向を被写体ＯＢ２に向けてファインダ画像内に捉えると、ゲージ値が「１０」と、図２（ａ）に示した被写体ＯＢ１の場合と比較して弱いゴースト反応を示す。尚、同図（ｂ）に示す場合には、ゴースト反応が弱いため、シャッタＯＮしてもゴーストは表示されない。
【００４６】
また、図４に示すように、被写体ＯＢ３をファインダ画像内に捉えると、ゲージ値が「９０」と、図２（ａ）に示した被写体ＯＢ１の場合と比較して強いゴースト反応を示す。そして、この状態でシャッタＯＮすると、ディスプレイ１には、該シャッタＯＮにより取り込まれた撮像画像にゴーストＧＳ２が合成されて表示される。
【００４７】
尚、図３，図４に示す何れの場合も、ファインダ画像中の被写体の位置が画像中央から周辺側に変化すると、ゴースト反応が弱くなる。
【００４８】
［機能構成］
図５は、本実施形態における携帯型ゲーム装置１０００の機能構成の一例を示すブロック図である。同図によれば、携帯型ゲーム装置１０００は、機能的には、操作入力部１００と、撮像部２００と、処理部３００と、画像表示部４３０と、音出力部４４０と、記憶部５００と、通信部６００とを備えて構成される。
【００４９】
操作入力部１００は、プレーヤによる操作指示を受け付け、操作に応じた操作信号を処理部３００に出力する。特に、本実施形態では、撮像指示を検出して処理部３００に出力する。図１では、操作キー５がこれに該当する。
【００５０】
撮像部２００は、ＣＭＯＳやＣＣＤ等の撮像素子や、被写体の光束を撮像素子に結像させる撮影レンズ、撮像素子から出力される電気信号（アナログ画像信号）をデジタル信号に変換するＡ／Ｄ変換回路を含み、被写体の画像データ（ファインダ画像データ）を処理部３００に出力する。図１では、カメラユニット７がこれに該当する。
【００５１】
処理部３００は、携帯型ゲーム装置１０００の全体制御やゲームの進行制御、画像生成等の各種演算処理を行う。この機能は、例えばＣＰＵ（ＣＩＳＣ型、ＲＩＳＣ型）、ＡＳＩＣ（ゲートアレイ等）等の演算装置やその制御プログラムにより実現される。図１では、内蔵する制御装置に実装されているＣＰＵ等がこれに該当する。
【００５２】
また、処理部３００は、主にゲームの実行に係る演算処理を行うゲーム演算部３１０と、ゲーム演算部３１０の処理によって求められた各種データに基づいてゲーム画像を生成する画像生成部３３０と、効果音やＢＧＭ等のゲーム音を生成する音生成部３４０とを含んでいる。
【００５３】
ゲーム演算部３１０は、記憶部５００から読み出したゲーム情報（プログラム及びデータ）や、操作入力部１００から入力された操作信号、撮像部２００から入力される画像データ等に基づいて種々のゲーム処理を実行する。また、本実施形態では、ゲーム演算部３１０は、画像認識部３１２と、類似度算出部３１４と、ゴースト反応決定部３１６と、出現判定部３１８と、表示制御部３２２とを含んでいる。
【００５４】
画像認識部３１２は、所定時間毎に、撮像部２００から入力される画像データに対する画像認識処理を行い、ファインダ画像の特徴データを抽出する。この場合、画像認識部３１２は、画像認識方法情報５２２で指定される画像認識方法でファインダ画像データに対する画像認識処理を行う。
【００５５】
ここで、画像認識部３１２が行う画像認識方法としては、形状認識や色認識、模様認識がある。形状認識では、例えば撮像画像データに対するハフ変換を実行して直線成分及びその強さを検出し、検出した直線の組み合わせによって被写体の形状を認識し、その認識した形状に基づく特徴部分を抽出する。また、色認識では、撮像画像全体、或いは、形状認識によって認識された特徴部分の色を認識する。また、模様認識では、例えば撮像画像データに対するフーリエ変換を行って周波数成分を抽出し、撮像画像全体、或いは、形状認識によって認識された特徴部分の模様を認識する。本実施形態では、これらの一又は複数の画像認識方法によって撮像画像データに対する画像認識を行い、該撮像画像の特徴データを画像認識方法毎に抽出する。
【００５６】
画像認識方法情報５２２とは、撮像画像に対する画像認識方法を指定する情報である。図６に、画像認識方法情報５２２のデータ構成の一例を示す。同図によれば、画像認識方法情報５２２は、画像認識方法５２２ａと、重み５２２ｂとを対応付けて記憶している。重み５２２ｂは、対応する画像認識方法の重要度を示す値であり、この値を基に、撮像画像の特徴データと各ゴーストの特徴データとの類似度の総合値が算出される。
【００５７】
同図に示す画像認識方法情報５２２では、画像認識方法として「形状認識」及び「色認識」が格納されている。よって、同図に示す画像認識方法情報５２２に従えば、画像認識部３１２は、撮像画像データに対する形状認識処理を行って、被写体の「形状」の特徴データを抽出するとともに、撮像画像データに対する色認識処理を行って、認識された形状部分の「色」の特徴データを抽出する。
【００５８】
画像認識部３１２による画像認識結果は、画像認識結果情報５３８に格納される。図７に、画像認識結果情報５３８のデータ構成の一例を示す。同図によれば、画像認識結果情報５３８は、画像認識方法５３８ａと、該画像認識方法によって抽出された特徴データ５３８ｂとを対応付けて格納している。画像認識方法５３８ｂは、画像認識方法情報５２２で指定された画像認識方法である。例えば同図では、図６に示した画像認識方法情報５２２で指定される画像認識方法に応じた「形状」及び「色」についての特徴データを格納している。
【００５９】
類似度算出部３１４は、画像認識部３１２による画像認識結果に基づいて、ファインダ画像データの特徴データと、ゴースト情報５２４で指定される各ゴーストの特徴データとの類似度を算出する。具体的には、各ゴーストについて、画像認識方法毎に、その特徴データとファインダ画像の特徴データとの類似度を所定の算出式に従って算出する。この類似度の算出方法は、例えばパターンマッチング等を用いた公知の手法であるため、詳細な説明は省略する。そして、算出した画像認識方法毎の類似度に、画像認識方法情報５２２で指定される重みを乗じて類似度の総合値を算出する。
【００６０】
ゴースト情報５２４とは、出現し得る各ゴーストの特徴に関する情報である。図８に、ゴースト情報５２４のデータ構成の一例を示す。同図によれば、ゴースト情報５２４は、ゴースト毎に、その名称（ゴースト名）５２４ａと、特徴データ５２４ｂとを対応付けて記憶している。特徴データ５２４ｂは、画像認識方法情報５２２で指定される画像認識方法毎に、これに応じた値を格納している。例えば同図では、図６に示した画像認識方法情報５２２で指定される画像認識方法である「形状」及び「色」についての特徴データを格納している。
【００６１】
類似度算出部３１４によって算出された類似度は、算出類似度情報５４２に格納される。図９に、算出類似度情報５４２のデータ構成の一例を示す。同図によれば、算出類似度情報５４２は、ゴースト情報５２４で指定されるゴースト毎に、その名称（ゴースト名）５４２ａと、算出された類似度５４２ｂとを対応付けて格納している。類似度５４２ｂは、画像認識方法情報５２２で指定される画像認識方法毎の類似度と、類似度の総合値とを含んでいる。例えば同図では、図６に示した画像認識方法情報５２２で指定される画像認識方法である「形状」及び「色」についての類似度、及び、これらの類似度の総合値を含んでいる。また、類似度５４２ｂは、「０．０」〜「１．０」の範囲の小数値で表現されており、最小値「０．０」は完全不一致を表し、最大値「１．０」は完全一致を表している。
【００６２】
ゴースト反応決定部３１６は、画像認識部３１２による画像認識結果に基づいてゴースト反応を決定する。具体的には、算出類似度情報５４２を参照して、各ゴーストについての類似度の総合値の内、最も大きい値を選択する。そして、この選択した値（類似度の総合値の最大値。以下、「最大類似度」という）を基に、図１０（ａ）に示す関係に従ってゲージ値を決定する。
【００６３】
図１０（ａ）は、最大類似度とゲージ値との関係を示すグラフであり、横軸を最大類似度Ａとし、縦軸をゲージ値Ｇとしている。同図（ａ）によれば、ゴースト反応決定部３１６は、最大類似度Ａが所定の第１閾値Ｔ１未満であれば、ゲージ値Ｇを最小値「０」とする。また、最大類似度Ａが第１閾値Ｔ１以上であり、且つ所定の第２閾値Ｔ２未満であれば、次式（１）に従ってゲージ値Ｇを算出する。また、最大類似度Ａが第２閾値Ｔ２以上であれば、ゲージ値Ｇを最大値「１００」とする。但し、第１閾値Ｔ１＜第２閾値Ｔ２、である。
Ｇ＝｛（Ａ−Ｔ１）／（Ｔ２−Ｔ１）｝×１００ ・・・（１）
【００６４】
第１閾値Ｔ１及び第２閾値Ｔ２の値は閾値情報５２６に格納されている。図１０（ｂ）に、閾値情報５２６のデータ構成の一例を示す。同図（ｂ）によれば、閾値情報５２６は、第１閾値５２６ａと、第２閾値５３６ｂとの値を格納している。
【００６５】
更に、ゴースト反応決定部３１６は、類似度算出係数情報５２８を参照して、画像認識部３１２による特徴データ抽出の対象となった被写体のファインダ画像中の位置に応じた係数ｆを算出したゲージ値Ｇに乗じて、最終的なゲージ値Ｇｆ（＝Ｇ×ｆ）を算出する。
【００６６】
類似度算出係数情報５２８とは、ゲージ値Ｇに乗じる係数ｆの情報である。図１１（ａ）に、類似度算出係数情報５２８のデータ構成の一例を示す。同図によれば、類似度算出係数情報５２８は、ファインダ画像中の被写体の位置５２８ａと、係数５２８ｂとを対応付けて格納している。
【００６７】
ファインダ画像中の被写体の位置５２８ａとは、シャッタＯＮ直前に画像認識部３１２により認識されたファインダ画像中の形状部分の位置であり、同図（ｂ）に示すようにファインダ画像に設定された複数のエリアとして表現されている。即ち、同図（ｂ）によれば、ファインダ画像は、該画像の中央部分であるエリアＡと、このエリアＡの周囲エリアであるエリアＢと、このエリアＢの周囲エリアであり該画像の周辺エリアであるエリアＣとに分割されている。そして、各エリアには「０．０」〜「１．０」の範囲の係数ｆが設定されており、具体的には、画像中央部に近いエリアＡ、エリアＢ、そしてエリアＣの順に、大きな値が設定されている。
【００６８】
尚、ファインダ画像中の被写体の位置、即ち形状認識部分が複数のエリアに跨る場合には、エリアＡ、エリアＢ、そしてエリアＣの優先順で判断される。
【００６９】
出現判定部３１８は、操作入力部１００から撮像指示が入力される（シャッタＯＮ）と、ゴースト反応決定部３１６によって決定されたゴースト反応に基づいて、出現させるゴーストを決定する。具体的には、ゴースト反応決定部３１６により算出されたゲージ値Ｇｆが所定の出現閾値以上であるか否かによって、ファインダ画像が合成画像条件を満足するか否かを判定する。出現閾値以上であれば、合成画像条件を満足するので、算出類似度情報５４２を参照して類似度の総合値が最大のゴーストを選択し、選択したゴーストを出現させると判定する。一方、ゲージ値が出現閾値未満であれば、合成画像条件を満足しないので、ゴーストを出現させないと判定する。
【００７０】
この出現閾値は、出現判定条件情報５３２に格納されている。図１２に、出現判定条件情報５３２のデータ構成の一例を示す。同図に示すように、出現判定条件情報５３２は、出現閾値を格納している。出現閾値は、「０」〜「１００」の範囲の整数値で表現されており、この出現閾値が大きい程、ゴーストの出現確率が小さく（低く）なる。
【００７１】
表示制御部３２２は、画像生成部３３０を制御して画像表示部４３０への画像表示を制御する。具体的には、撮像部２００から入力される画像データに基づくファインダ画像を画像エリアＡＲ１に表示させるとともに、ゴースト反応決定部３１６により決定されたゴースト反応に基づく表示を行わせる。即ち、ゴースト反応決定部３１６により算出されたゲージ値Ｇｆを表すようにゲージＭＴの表示を更新するとともに、ゲージ値ＭＮの表示を更新する。また、メッセージ情報５３４を参照して、ゲージ値Ｇｆに応じたメッセージをメッセージエリアＡＲ２に表示させる。
【００７２】
メッセージ情報５３４とは、メッセージエリアＡＲ２に表示させるメッセージの情報である。図１３に、メッセージ情報５３４のデータ構成の一例を示す。同図によれば、メッセージ情報５３４は、ゲージ値（５３４ａ）と、メッセージ（５３４ｂ）とを対応付けて格納している。表示制御部３２２は、ゲージ値Ｇｆに対応するメッセージを選択してメッセージエリアＡＲ２に表示させる。
【００７３】
また、表示制御部３２２は、操作入力部１００から撮像指示が入力されると、撮像画像に、出現判定部３１８により出現させると判断されたゴーストの画像を合成して画像エリアＡＲ１に表示させる。尚、出現判定部３１８によりゴーストを出現させないと判断された場合には、撮像画像のみを画像エリアＡＲ１に表示させる。また、撮像画像は、操作入力部１００から撮像指示が入力された時点で取り込まれたファインダ画像であり、撮像画像情報５３４に格納されている。
【００７４】
画像表示部４３０は、処理部３００からの画像信号に基づくゲーム画像を表示する。この機能は、例えばＣＲＴやＬＣＤ、ＥＬＤ等のハードウェアによって実現される。図１では、ディスプレイ１がこれに該当する。
【００７５】
音生成部３４０は、ゲーム中に使用される効果音やＢＧＭ等のゲーム音声を生成し、生成したゲーム音声の音信号を音出力部４４０に出力する。
音出力部４４０は、音生成部３４０からの音信号に基づいて、ＢＧＭや効果音等のゲーム音声を出力する。この機能は、例えばスピーカ等によって実現される。図１では、スピーカ３がこれに該当する。
【００７６】
記憶部５００は、処理部３００に携帯型ゲーム装置１０００を統合的に制御させるための諸機能を実現するためのシステムプログラムや、ゲームを実行させるために必要なプログラムやデータ等を記憶するとともに、処理部３００の作業領域として用いられ、処理部３００が各種プログラムに従って実行した演算結果や操作入力部１００から入力される入力データ等を一時的に格納する。この機能は、例えば各種ＩＣメモリやハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ、ＲＡＭ、ＶＲＡＭ等によって実現される。図１では、制御装置に実装されているＲＯＭやＲＡＭ、ゲームカートリッジ１０がこれに該当する。
【００７７】
また、記憶部５００は、処理部３００をゲーム演算部３１０として機能させるためのゲームプログラム５１０及びゲームデータを記憶する。ゲームデータには、画像認識方法情報５２２と、ゴースト情報５２４と、閾値情報５２６と、類似度算出係数情報５２８と、出現判定条件情報５３２と、メッセージ情報５３４と、撮像画像情報５３６と、画像認識結果情報５３８、算出類似度情報５４２と、ゴースト捕獲情報５４４とが含まれている。
【００７８】
ゴースト捕獲情報５４４とは、これまでに“捕獲”したゴーストの種類や数等の情報である。ゴーストの捕獲は、出現したゴーストに対する所定のゴースト捕獲処理が実行されることで、実現される。
【００７９】
通信部６００は、所定の通信回線に接続して他の携帯型ゲーム装置１０００等の外部装置とのデータ通信を行う。この機能は、ＢｌｕｅＴｏｏｔｈ（登録商標）やＩｒＤＡ等の無線通信モジュール、モデム、ＴＡ、有線用の通信ケーブルのジャックや制御回路等によって実現される。図１では、内蔵されている通信装置がこれに該当する。
【００８０】
［処理の流れ］
図１４は、本実施形態におけるゲーム処理の流れを説明するためのフローチャートである。この処理は、ゲーム演算部３１０が、ゲームプログラム５１０に従った処理を実行することで実現される。
【００８１】
同図によれば、所定時間毎に、画像認識部３１２が、画像認識方法情報５２２で指定される画像認識方法でファインダ画像データに対する画像認識処理を行い、このファインダ画像の特徴データを抽出する（ステップＳ１）。次いで、ゴースト反応決定処理が実行される（ステップＳ３）。
【００８２】
図１５は、ゴースト反応決定処理の流れを説明するためのフローチャートである。
同図によれば、ゴースト反応決定処理では、類似度算出部３１４が、画像認識結果情報５３８を参照して、ゴースト情報５２４の各ゴーストを対象としてループＡの処理を行う。即ち、ループＡでは、指定される画像認識方法毎に、対象となっているゴーストの特徴データと抽出されたファインダ画像の特徴データを基に、所定の算出式に従って両データの類似度を算出する（ステップＴ１）。そして、算出した画像認識方法毎の類似度に、各画像認識方法に設定されている重みを乗じて加算し、類似度の総合値を算出する（ステップＴ３）。
【００８３】
全ゴーストを対象としたループＡの処理を終了すると、続いて、ゴースト反応決定部３１６が、算出した類似度の総合値の内から、最も大きい値を選択する（ステップＴ５）。そして、選択した値（最大類似度）を基に、閾値情報５２６を参照して、ゲージ値を決定する。
【００８４】
即ち、最大類似度Ａが第１閾値Ｔ１以上であるか否かを判断し、第１閾値Ｔ１以上でないならば（ステップＴ７：ＮＯ）、ゲージ値Ｇを最小値「０」とする（ステップＴ９）。最大類似度Ａが第１閾値Ｔ１以上であるならば（ステップＴ７：ＹＥＳ）、続いて、この最大類似度Ａが第２閾値Ｔ２以上であるか否かを判断し、第２閾値Ｔ２以上であるならば（ステップＴ１１：ＹＥＳ）、ゲージ値Ｇを最大値「１００」とする（ステップＴ１３）。また、最大類似度Ａが第２閾値Ｔ２以上でないならば（ステップＴ１３：ＮＯ）、式（１）に従ってゲージ値Ｇを算出する（ステップＴ１５）。
【００８５】
続いて、ゴースト反応決定部３１６は、類似度算出係数情報５２８を参照して、ファインダ画像中の被写体の位置に応じた係数ｆを算出したゲージ値Ｇに乗じて、最終的なゲージ値Ｇｆを算出する（ステップＴ１７）。
以上の処理を行うと、ゴースト反応決定処理は終了となる。
【００８６】
ゴースト反応決定処理が終了すると、表示制御部３２２が、ゴースト反応表示処理を行う。即ち、算出されたゲージ値を基にゲージＭＴの表示を更新するとともに、ゲージ値ＭＮを表示を更新し、また、メッセージ情報５３４を参照して、ゲージ値に対応するメッセージに、メッセージエリアＡＲ２の表示を更新する（ステップＳ５）。
【００８７】
続いて、ゲーム演算部３１０は、操作入力部１００から撮像指示（シャッタＯＮ）が入力されたか否かを判断し、入力されたならば（ステップＳ７：ＹＥＳ）、出現判定部３１８が、ゴーストを出現させるか否かを判定する。即ち、出現判定条件情報５３２を参照して、ゲージ値が出現閾値以上であるか否かを判断し、出現閾値以上でないならば出現させないと判定する。ゲージ値が出現閾値以上であるならば、算出類似度情報５４２を参照して、類似度の総合値が最も高いゴーストを出現させると判定する（ステップＳ９）。
【００８８】
ゴーストを出現させると判定されたならば（ステップＳ１１：ＹＥＳ）、続いて、表示制御部３２２が、出現させると判定されたゴーストの画像を撮像画像に合成して画像表示部４３０に表示させる（ステップＳ１３）。次いで、ゲーム演算部３１０が、操作入力部１００からの操作信号等に基づいて、出現させたゴーストに対する所定のゴースト捕獲処理を行う（ステップＳ１５）。その後、ゲームを終了するか否かを判断し、終了しないならば（ステップＳ１７：ＮＯ）、ステップＳ１に戻り、ゲームを終了するならば（ステップＳ１７：ＹＥＳ）、本処理を終了する。
【００８９】
［作用・効果］
以上のように、本実施形態によれば、携帯型ゲーム装置１０００のディスプレイ１には、撮影レンズ８が捉えている画像（ファインダ画像）が画像エリアＡＲ１に表示されるとともに、実空間に存在するキャラクタを感知するゴーストセンサによる感知結果（ゴースト反応）が表示される。即ち、ゴースト反応の強さの程度が数値化されてゲージＭＴにメータ表示（ゲージ表示）され、この値（ゲージ値）ＭＮが表示されるとともに、このゲージ値ＭＮに応じたメッセージがメッセージエリアＡＲ２に表示される。そして、ゴースト反応が強い状態（例えば、ゲージ値ＭＮが「７５」以上の状態）で操作キー５を操作してシャッタＯＮすると、画像エリアＡＲ１には、このシャッタＯＮにより取り込まれた画像（撮像画像）に、被写体に応じたゴーストが合成されて表示される。
【００９０】
このとき、携帯型ゲーム装置１０００では、ファインダ画像に対する画像認識処理を行って該ファインダ画像の特徴データを抽出し、ゴースト情報５２４で指定される各ゴーストについて、画像認識方法毎に、該ゴーストの特徴データと抽出したファインダ画像の特徴データとの類似度を算出する。次いで、各ゴーストについての類似度の総合値の内、最も大きい値（最大類似度）を基に、閾値情報５２６を参照してゲージ値Ｇを算出し、更に、類似度算出係数情報５２８を参照して、ファインダ画像中の被写体の位置に応じた係数ｆを算出したゲージ値Ｇに乗じて、最終的なゲージ値Ｇｆを算出する。そして、このゲージ値ＧｆをゲージＭＴにメータ表示し、ゲージＭＴとして表示するとともに、メッセージ情報５３４を参照して、ゲージ値Ｇｆに対応するメッセージをメッセージエリアＡＲ２に表示させる。
【００９１】
従って、ディスプレイ１にファインダ画像が表示されるとともに、該ファインダ画像に基づいて、周囲に存在するゴーストに対する感知反応であるゴースト反応に応じた表示がなされる。そして、ゴースト反応が強い状態でシャッタＯＮすると、撮像画像にゴーストが合成表示されるといった、あたかも実空間に存在するゴーストを撮像したかのような、新たな興趣を実現できる。またこのとき、同一の被写体を撮像すると同一のゴーストが表示されるといった、ある決まった場所（被写体の位置）にゴーストが存在するかのような演出が実現される。
【００９２】
［変形例］
尚、本発明の適用は上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である、
【００９３】
（Ａ）被写体の位置を表示
例えば、ファインダ画像中に画像認識処理による画像認識部分を示しても良い。具体的には、例えばシャッタキーを半押しにする等、所定の操作が為されると、形状認識により認識された形状部分と、この形状部分以外の部分との表示形態を異ならせることで、認識部分を視覚的に明らかにする。例えば、認識された形状部分の明度や色合い、解像度を変更する。このようにすることで、プレーヤが、画像認識の対象となっている画像部分を把握し、例えばこの画像部分が画像中央に位置するようにして撮像することで、より確実にゴーストを出現させるといったことが可能となる。
【００９４】
（Ｂ）類似度の総合値の算出方法
また、上述した実施形態では、各ゴーストについての類似度の総合値を、画像認識方法毎の類似度に、該画像認識方法に設定されている重みを乗じて加算して算出することとしたが、次のように算出しても良い。即ち、（１）画像認識方法毎の類似度の平均値を総合値としても良いし、（２）各画像認識方法毎の類似度の内、最も大きい値を総合値としても良い。
【００９５】
（Ｃ）ゲージ値を変化させる
また、同一の被写体を撮影し続けてファインダ画像が変化しない場合には、ゲージ値を時間経過に伴って変更することとしても良い。ファインダ画像が変化しない場合には、該ファインダ画像の特徴データが変化しないので、算出されるゲージ値は変化しない。そこで、このような場合、算出したゲージ値を、例えば所定の変動幅内で、正弦関数に従って周期的に、或いはランダムに増減させるように変化させる。
【００９６】
このようにすることで、あたかもゴーストが移動しており、それを感知しているかのような演出が実現される。尚、ファインダ画像が変化していないことの判断は、例えば特徴データが変化しないことによって判断する。またこのとき、変化させる周期や増減の量（振幅）を、ゲージ値の大きさに応じて、例えばゲージ値が大きい程、周期を短く、或いは増減の量を大きくするように変化させることで、ゴースト反応の強さに応じた感度でゴーストを感知しているような演出が実現される。
【００９７】
（Ｄ）ファインダ画像中の被写体の大きさ
また、上述した実施形態では、最大類似度に応じたゲージ値Ｇに、ファインダ画像中の被写体の位置（形状認識部分の位置）に応じた係数ｆを乗じて最終的なゲージ値Ｇｆを算出することとしたが、この係数ｆに替えて、ファインダ画像中の被写体の大きさに応じた係数ｅを乗じることとしても良い。この場合、例えばファインダ画像中の被写体の大きさが大きくなるに従って係数ｅの値を大きくすることで、ゴーストセンサが、より近くに位置するゴーストをより高感度で感知しているかのような演出が実現される。
【００９８】
（Ｅ）複数のゴーストセンサ
また、ゴーストセンサを複数用意し、これらの内から選択した一のゴーストセンサを使用することとしてゴーストを感知することとしても良い。この場合、予め、各ゴーストセンサと感知可能な一又は複数のゴーストとを対応付けておく。そして、使用しているゴーストセンサに対応する各ゴーストについて、その特徴データと、ファインダ画像の特徴データとの類似度を算出し、算出した各ゴーストについての類似度を基にゲージ値を算出する。このようにすることで、使用するゴーストセンサを変更すると、異なるゴーストを感知可能になるといった演出が実現される。
【００９９】
このとき、出現判定の対象とするゴーストを、（１）使用しているゴーストセンサに対応するゴーストとしても良い。この場合、使用しているゴーストセンサに対応するゴーストの内、算出された類似度の総合値が最も大きく、且つ所定の出現閾値以上のゴーストを、出現させると判定する。従って、使用しているゴーストセンサによるゴースト反応が強い場合にのみ、ゴーストが出現することとなる。
【０１００】
また、（２）使用しているゴーストセンサに対応するゴーストのみではなく、全てのゴーストを出現判定の対象としても良い。この場合、全てのゴーストについてファインダ画像との類似度を算出し、算出した類似度の総合値が最も大きく、且つ所定の出現閾値以上のゴーストを、出現させると判定する。従って、使用しているゴーストセンサによるゴースト反応が弱い場合にシャッタＯＮしたとしても、ゴーストが出現することがあるが、これは、その使用しているゴーストセンサが当該ゴーストを感知できないことを意味する。即ち、ゴーストとゴーストセンサとの関係について、より現実感を感じさせることができる。
【０１０１】
（Ｆ）キャラクタの存在有無の報知
また、上述した実施形態では、キャラクタが存在するか否かの報知として、ゴースト反応の強さをゲージＭＮでメータ表示（ゲージ表示）することとしたが、他の方法によって報知することとしてもよい。例えば、ファインダ画像が合成画像条件を満足する場合には、該ファインダ画像全体の色合い（ＲＧＢ値）や輝度を変更することとしても良い。この場合、色合いや輝度の変化量によって合成画像条件の満足度を表すこととしても良い。
【０１０２】
（Ｇ）キャラクタ
また、上述した実施形態では、キャラクタとしてゴーストを例に挙げて説明したが、例えば人間や動物、ロボット、怪獣等の空想上の生物、アニメキャラクタといった他のキャラクタであって良いのは勿論である。
【図面の簡単な説明】
【０１０３】
【図１】実施形態の携帯型ゲーム装置の外観例。
【図２】実施形態の概要図。
【図３】実施形態の概要図。
【図４】実施形態の概要図。
【図５】携帯型ゲーム装置の機能構成例。
【図６】画像認識方法情報のデータ構成例。
【図７】画像認識結果情報のデータ構成例。
【図８】ゴースト情報のデータ構成例。
【図９】算出類似度情報のデータ構成例。
【図１０】（ａ）ゲージ値の算出方法、（ｂ）閾値情報のデータ構成例。
【図１１】（ａ）類似度算出係数情報のデータ構成例、（ｂ）ファインダ画像中のエリアの設定例。
【図１２】出現判定条件情報のデータ構成例。
【図１３】メッセージ情報のデータ構成例。
【図１４】実施形態のゲーム処理の流れ図。
【図１５】ゲーム処理中に実行されるゴースト反応決定処理の流れ図。
【符号の説明】
【０１０４】
１０００ 携帯型ゲーム装置
１００ 操作入力部
２００ 撮像部
３００ 処理部
３１０ ゲーム演算部
３１２ 画像認識部
３１４ 類似度算出部
３１６ ゴースト反応決定部
３１８ 出現判定部
３２２ 表示制御部
３３０ 画像生成部
３４０ 音生成部
４３０ 画像表示部
４４０ 音出力部
５００ 記憶部
５１０ ゲームプログラム
５２２ 画像認識方法情報
５２４ ゴースト情報
５２６ 閾値情報
５２８ 類似度算出係数情報
５３２ 出現判定条件情報
５３４ メッセージ情報
５３６ 撮像画像情報
５３８ 画像認識結果情報
５４２ 算出類似度情報
５４４ ゴースト捕獲情報
６００ 通信部
【特許請求の範囲】
【請求項１】
コンピュータに、撮像手段により撮影されているファインダ画像を表示装置に表示制御させ、シャッタ操作が為されて取り込まれた撮像画像にキャラクタの画像を合成して表示制御させることで、実空間にキャラクタが存在するかのような表示制御を行わせるためのプログラムであって、
予め用意された、撮像画像にキャラクタの画像を合成するか否かを判定するための画像条件であるキャラクタ毎の合成画像条件のうち、前記ファインダ画像が何れかの合成画像条件を満足するか否かを判定する条件判定手段、
前記条件判定手段の判定結果に基づいて、キャラクタが存在するか否かの所定の報知処理を行う報知制御手段、
前記報知制御手段によりキャラクタが存在するとする報知処理がなされている状態でシャッタ操作が為された場合、当該シャッタ操作により取り込まれた撮像画像にキャラクタの画像を合成して表示制御する合成表示制御手段、
として前記コンピュータを機能させるためのプログラム。
【請求項２】
前記合成表示制御手段が、前記報知制御手段によりキャラクタが存在するとする報知処理がなされている状態においてシャッタ操作が為された際に、前記条件判定手段により満足すると判定されていた合成画像条件に対応するキャラクタの画像を、当該シャッタ操作により取り込まれた撮像画像に合成して表示制御するように前記コンピュータを機能させるための請求項１に記載のプログラム。
【請求項３】
前記各合成画像条件にはそれぞれ複数の画像条件が含まれており、
前記条件判定手段が、前記ファインダ画像が前記各合成画像条件それぞれを満足する程度である満足度を、当該合成画像条件に含まれる各画像条件を満たすか否かに基づいて判定する条件満足度判定手段を有し、
前記報知制御手段が、前記条件満足度判定手段により判定された満足度に応じた報知内容を報知する、
ように前記コンピュータを機能させるための請求項１又は２に記載のプログラム。
【請求項４】
前記報知制御手段が、前記ファインダ画像が変化しない場合に、時間経過に伴って報知内容を変化させて報知処理を行うように前記コンピュータを機能させるための請求項３に記載のプログラム。
【請求項５】
前記条件判定手段が、
前記ファインダ画像の特徴部分を抽出する特徴抽出処理を行う特徴抽出手段と、
前記特徴抽出手段により抽出された特徴部分の画像が、何れかの合成画像条件を満足するか否かを判定する特徴部分判定手段と、
を有するように前記コンピュータを機能させるための請求項１〜４の何れか一項に記載のプログラム。
【請求項６】
前記各合成画像条件には物体の少なくとも形状条件が画像条件として含まれており、
前記特徴抽出手段が、前記ファインダ画像に写っている物体の形状を特徴部分として抽出し、
前記特徴部分判定手段が、前記特徴抽出手段により抽出された物体形状が合成画像条件に含まれる物体の形状条件を満足するか否かを判定する、
ように前記コンピュータを機能させるための請求項５に記載のプログラム。
【請求項７】
前記報知制御手段が、前記特徴抽出手段により抽出された特徴部分が前記ファインダ画像に占める大きさ及び／又は位置に応じて異なる報知処理を行うように前記コンピュータを機能させるための請求項５又は６に記載のプログラム。
【請求項８】
前記報知制御手段が、前記報知処理として所定のゲージ表示を行うゲージ表示制御手段を有するように前記コンピュータを機能させるための請求項１〜７の何れか一項に記載のプログラム。
【請求項９】
前記撮像手段の撮像方向にキャラクタが存在するか否かを感知する仮想的に装着可能なキャラクタセンサが、感知可能なキャラクタに応じて予め複数設定されており、
前記複数のキャラクタセンサのうち、仮想的に装着するとするキャラクタセンサをユーザの選択操作に従って選択する装着センサ選択手段、
として前記コンピュータを機能させ、
前記条件判定手段が、前記複数の合成画像条件の中から、前記装着センサ選択手段により選択されたキャラクタセンサが感知可能なキャラクタに対応する合成画像条件を判定対象の条件とする、
ように前記コンピュータを機能させるための請求項１〜８の何れか一項に記載のプログラム。
【請求項１０】
請求項１〜９の何れか一項に記載のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
【請求項１１】
撮像手段と、前記撮像手段により撮影されているファインダ画像を表示する表示手段とを備え、シャッタ操作が為されて取り込まれた撮像画像にキャラクタの画像を合成して前記表示手段に表示制御させることで、実空間にキャラクタが存在するかのような表示制御を行わせる画像撮像表示装置であって、
予め用意された、撮像画像にキャラクタの画像を合成するか否かを判定するための画像条件であるキャラクタ毎の合成画像条件のうち、前記ファインダ画像が何れかの合成画像条件を満足するか否かを判定する条件判定手段と、
前記条件判定手段の判定結果に基づいて、キャラクタが存在するか否かの所定の報知処理を行う報知制御手段と、
前記報知制御手段によりキャラクタが存在するとする報知処理がなされている状態でシャッタ操作が為された場合、当該シャッタ操作により取り込まれた撮像画像にキャラクタの画像を合成して表示制御する合成表示制御手段と、
を備えた画像撮像表示装置。
【請求項１】
コンピュータに、撮像手段により撮影されているファインダ画像を表示装置に表示制御させ、シャッタ操作が為されて取り込まれた撮像画像にキャラクタの画像を合成して表示制御させることで、実空間にキャラクタが存在するかのような表示制御を行わせるためのプログラムであって、
予め用意された、撮像画像にキャラクタの画像を合成するか否かを判定するための画像条件であるキャラクタ毎の合成画像条件のうち、前記ファインダ画像が何れかの合成画像条件を満足するか否かを判定する条件判定手段、
前記条件判定手段の判定結果に基づいて、キャラクタが存在するか否かの所定の報知処理を行う報知制御手段、
前記報知制御手段によりキャラクタが存在するとする報知処理がなされている状態でシャッタ操作が為された場合、当該シャッタ操作により取り込まれた撮像画像にキャラクタの画像を合成して表示制御する合成表示制御手段、
として前記コンピュータを機能させるためのプログラム。
【請求項２】
前記合成表示制御手段が、前記報知制御手段によりキャラクタが存在するとする報知処理がなされている状態においてシャッタ操作が為された際に、前記条件判定手段により満足すると判定されていた合成画像条件に対応するキャラクタの画像を、当該シャッタ操作により取り込まれた撮像画像に合成して表示制御するように前記コンピュータを機能させるための請求項１に記載のプログラム。
【請求項３】
前記各合成画像条件にはそれぞれ複数の画像条件が含まれており、
前記条件判定手段が、前記ファインダ画像が前記各合成画像条件それぞれを満足する程度である満足度を、当該合成画像条件に含まれる各画像条件を満たすか否かに基づいて判定する条件満足度判定手段を有し、
前記報知制御手段が、前記条件満足度判定手段により判定された満足度に応じた報知内容を報知する、
ように前記コンピュータを機能させるための請求項１又は２に記載のプログラム。
【請求項４】
前記報知制御手段が、前記ファインダ画像が変化しない場合に、時間経過に伴って報知内容を変化させて報知処理を行うように前記コンピュータを機能させるための請求項３に記載のプログラム。
【請求項５】
前記条件判定手段が、
前記ファインダ画像の特徴部分を抽出する特徴抽出処理を行う特徴抽出手段と、
前記特徴抽出手段により抽出された特徴部分の画像が、何れかの合成画像条件を満足するか否かを判定する特徴部分判定手段と、
を有するように前記コンピュータを機能させるための請求項１〜４の何れか一項に記載のプログラム。
【請求項６】
前記各合成画像条件には物体の少なくとも形状条件が画像条件として含まれており、
前記特徴抽出手段が、前記ファインダ画像に写っている物体の形状を特徴部分として抽出し、
前記特徴部分判定手段が、前記特徴抽出手段により抽出された物体形状が合成画像条件に含まれる物体の形状条件を満足するか否かを判定する、
ように前記コンピュータを機能させるための請求項５に記載のプログラム。
【請求項７】
前記報知制御手段が、前記特徴抽出手段により抽出された特徴部分が前記ファインダ画像に占める大きさ及び／又は位置に応じて異なる報知処理を行うように前記コンピュータを機能させるための請求項５又は６に記載のプログラム。
【請求項８】
前記報知制御手段が、前記報知処理として所定のゲージ表示を行うゲージ表示制御手段を有するように前記コンピュータを機能させるための請求項１〜７の何れか一項に記載のプログラム。
【請求項９】
前記撮像手段の撮像方向にキャラクタが存在するか否かを感知する仮想的に装着可能なキャラクタセンサが、感知可能なキャラクタに応じて予め複数設定されており、
前記複数のキャラクタセンサのうち、仮想的に装着するとするキャラクタセンサをユーザの選択操作に従って選択する装着センサ選択手段、
として前記コンピュータを機能させ、
前記条件判定手段が、前記複数の合成画像条件の中から、前記装着センサ選択手段により選択されたキャラクタセンサが感知可能なキャラクタに対応する合成画像条件を判定対象の条件とする、
ように前記コンピュータを機能させるための請求項１〜８の何れか一項に記載のプログラム。
【請求項１０】
請求項１〜９の何れか一項に記載のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
【請求項１１】
撮像手段と、前記撮像手段により撮影されているファインダ画像を表示する表示手段とを備え、シャッタ操作が為されて取り込まれた撮像画像にキャラクタの画像を合成して前記表示手段に表示制御させることで、実空間にキャラクタが存在するかのような表示制御を行わせる画像撮像表示装置であって、
予め用意された、撮像画像にキャラクタの画像を合成するか否かを判定するための画像条件であるキャラクタ毎の合成画像条件のうち、前記ファインダ画像が何れかの合成画像条件を満足するか否かを判定する条件判定手段と、
前記条件判定手段の判定結果に基づいて、キャラクタが存在するか否かの所定の報知処理を行う報知制御手段と、
前記報知制御手段によりキャラクタが存在するとする報知処理がなされている状態でシャッタ操作が為された場合、当該シャッタ操作により取り込まれた撮像画像にキャラクタの画像を合成して表示制御する合成表示制御手段と、
を備えた画像撮像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００６−２７１６５８（Ｐ２００６−２７１６５８Ａ）
【公開日】平成１８年１０月１２日（２００６．１０．１２）
【国際特許分類】
【出願番号】特願２００５−９４６４１（Ｐ２００５−９４６４１）
【出願日】平成１７年３月２９日（２００５．３．２９）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
【公開日】平成１８年１０月１２日（２００６．１０．１２）
【国際特許分類】
【出願日】平成１７年３月２９日（２００５．３．２９）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
[ Back to top ]