１９９４年に入ると、ＴＶゲーム市場に次世代機ゲーム機が登場し、 ムービーと音声による圧倒的なボリューム感を持ったゲームソフトが主流を占め始める。

この状況を予見し、「テレビゲーム」の未来に疑問を呈していた横井軍平は、 「立体映像」による全く新しいコンセプトのエレクトロニクス玩具を開発する。

横井はスーパーファミコンの全盛期、１９９２年頃から、 「ファミコン・スーパーファミコンといったテレビを対象としたものは、 いずれ飽きられるんではないか」と考えていた。

１９９３年の末頃から、テレビゲーム市場では３２ビットＣＤ−ＲＯＭ機が登場し始める。
しかし、この時既に横井は、 「ゲームの本質は（ＣＰＵのビット数や、色数とは関係なく） アイディアである」との考えを持っていた。

彼の目に、美麗な映像を売りにしたそれらのゲームは、 「しょせん、小手先の改良。作る側が行き詰まっているだけ。アイディアが出ないから、 画面をいじくてみたらどうにかなるんじゃないかと考えているのでしょう。」、 と映っていたのだ。

「今のゲームの市場は、作り手も行き詰まりを感じ、 遊び手も惰性に流されている。このままでは危ない」、 この流れで、ＣＧを得意とする会社が伸してきては、いずれ「ゲーム」は頭打ちになる。 任天堂がこの競争に巻き込まれたら、自分の居場所もなくなるだろう。

そう考えた横井は、「もう一度ゲームの本質から戻ったものができないか」 との思いを強くし、全く新しいアイディアフロンティアを生み出すための試行錯誤を始める。

ゲームの本質はアイディア 横井氏は、「８ビットから１６ビットになっても、ゲームの面白さは２倍にはなりません。 変わるのは映像が派手になる、ということくらいで、いずれは行き詰まってしまう。」と言います。 "次世代機"になって、表現力が飛躍的に高められたのは事実ですが、 そこで主に繰り広げられるグラフィック競争というのは、あるレベルに達したら そこで頭打ちになるのも事実です。 元々「ゲーム」の根本はアイディアで、「ビデオゲーム」の黄金期（８０年代）には アイディア競争によって新たな面白さを持った遊びが生まれてきました。 それらは今でも色褪せません。 横井氏は、ゲーム機がＣＰＵ競争、ソフトがグラフィック競争に偏ってしまったのを見、 「映像がきれいだという争いとは全く違うコンセプトの商品を つくることによって、もう一回ゲームのアイディアを１から そこで使えるようなになるもの」を創る決心をしたと考えられます。

彼は、当時脚光を浴びていた 「バーチャル・リアリティ」の技術を 娯楽として導入できないかと研究を始める。彼はこのプロジェクトに、 「リアリティ性はどこにもなく、全く別の世界、ゲームの世界を創るんだ。それは夢幻郷と 言えるものだ」との考えから、「バーチャルユートピア」（ＶＵ）という開発記号を付けた。

「ヘッドマウントディスプレイ」を使って目の前を覆うと、目の前に無限の空間が広がる。 （テレビのように画面に境界がない）。そこで左目と右目用に用意された別々のディスプレイの 画像に視差をつけると、人間の脳がそれを立体映像として認識する仕組みだ。

彼は最初、液晶画面で試すが、バックライトによるグレーの背景が距離の限界を作ってしまう。 視差を広げ奥行きを出そうとしても、画面がぶれた平面にしか見えなくなる。

そんな折り、米国のリフレクションテクノロジー社が持ち込んだ "プライベート・アイ" −ＬＥＤ（発光ダイオード）を使用したディスプレイ−に目を付ける。 これは赤一色だが、非常にクリアーな映像を出せる。

早速ＬＥＤで試してみると、背景の暗闇が無限遠を感じさせる。 しかもＬＥＤはドットが丸いため、左右の線にズレが生じ難く立体視に向いている。

そこに小宇宙が広がっているような錯覚を覚えた横井は 「これは絶対にいける！」との自信を得、 リフレクションテクノロジー社の共同での 立体映像マシンの開発がスタートする。

プライベート・アイと立体映像 鳥山明のマンガ（アニメ）、「ドラゴンボール」に登場するサイヤ人が 付けている「スカウター」は、"プライベートアイ"と同様の仕組みのモノだと思われる。 元々、"プライベート・アイ"を開発したリフレクション・テクノロジー社は、 航空機の整備用パソコンのディスプレーを開発していた会社だった。 "スカウター"のような片目用のディスプレイに航空機の図面を映し出し、 整備士はそれを片目で確認しながら、スムーズに作業する。 リフレクション・テクノロジー社は、その技術を拡販できないかと 任天堂に持ちかけ、それを見た横井が、 立体映像玩具に応用できるのでは、と考えたのだ。 ３次元の立体映像というのはＴＶ画面では不可能。 セガの「バーチャファイター」などは、 平面画像の中で立体に見せているだけで、あれは２．５次元と呼ばれるものです。 横井氏は、立体視を応用して奥行きを加えることで、 「無限のゲームフィールド」が得られる、 それによって、「新しいゲームが出てくるのではという期待」を持ったと言います。

すぐに無理と分かり次に、「軽いゴーグル程度」を目指すが、 ＣＰＵの電波漏れが問題に。 しかも「ヘッドマウント型」だと重く、頭を締め付けるため、 事故を起こす可能性も生じる。

結局、ディスプレーと本体機能を合体させることになり、 「テーブルトップ型」 （併せて肩で支える「ショルダーマウント型」）を選択した。 （この時、視界360度を捨て、視界固定型に）

ＬＥＤの色は、省電力で輝度が高くクリアーな赤色に決定。 人間の目への影響を考え、アメリカ・ハーバード大学の眼科医がプロジェクトに加わる。 結果、赤色ＬＥＤは見極め易いだけで目に悪影響はないこと、むしろ立体映像による遠近視が 目の筋肉のストレッチ運動になり、目を良くする可能性もあるという結論が出た。

本体内部には、二百数十個の赤色ＬＥＤが並べられたものと、それを拡大するためのレンズがあり、 左右それぞれのＬＥＤの発光パターンを３２ビットRISCチップによって制御する。
コントローラーはグリップ感を出し、左右に十字キーと２つのボタン、裏に丸ボタンを配す。

横井はコントローラーに関して「会心の作」と、この玩具自体を「１３０％満足」と言った。
この立体映像玩具の名前は「ゲームボーイ」の時と同じく、糸井重里氏が名付けた。

任天堂退社の置き土産 横井はかねてから５０歳を過ぎたら任天堂を退社して、 自分の好きなことをやりたいと考えていたという。 そんな時、横井のもとに他業種の人々（社長）から「独立して何かやってくれないか」との アプローチがあり、やがて会社を興す話にまとまったのだそうだ。 実際、任天堂という企業は、横井の軽いアイディアを商品化できないほど 巨大化しており、横井自身このまま任天堂にいるより、 新たに起業家として会社を興し、小回りの効くきめ細かい商品開発をしたかったのではないか。 「バーチャルボーイ」はそんな彼が任天堂に最後の置き土産として 用意した商品でもあった。

１９９５年７月２１日、「バーチャルボーイ」発売。
キャッチコピーは「完全立体空間　３Ｄ DISPLAY GAME SYSTEM」。

同時発売ソフトは、「マリオズテニス」「テレロボクサー」 「ギャラクティックピンボール」、「レッドアラーム」「とびだせ！ぱにポン」の５本。

併せて周辺機器「アイシェード」（交換用覗き込み口のスポンジ）、 後に「専用ステレオヘッドホン」なども 発売された。

バーチャルボーイのソフトウェア（実際は立体映像）
レッドアラーム ワイヤーフレームの3Dシューティング。 モーフィングによる凝った演出、多彩な攻撃。 360度自由自在に動け、視点変更も可能。	ギャラクティックピンボール 宇宙空間に浮遊する異次元ピンボール。 立体性を活かした緻密な仕掛けが 随所に施されている。 アトラクションも豊富。	マリオクラッシュ 奥や手前へ向かっての「甲羅投げ」が快感。 立体空間によって生まれる奥行き・距離感を 巧くゲーム性へ織り込んだ秀作。

「バーチャルボーイ」は、任天堂の予想（年間３００万台）に反し、 全くと言っていいほど売れなかった。日本国内では１５万台、アメリカでも７０万台ほどだった。

宮本茂は他のゲーム機用ソフト開発で手が一杯だったし、 有力なサードパーティも参加せず、 立体映像というコンセプトを活かした画期的なソフトは創作されなかった。
期待された対戦型のゲームも結局出ず、「対戦ケーブル」も自然消滅。

結局、ユーザーの目が派手で美麗な映像を多用する次世代機に奪われていた事もあり、
「バーチャルボーイ」は、任天堂にとって商業的に稀に見る程の大失敗に終わった。

そして、この頃から任天堂は、次世代機戦争の渦に巻き込まれていくことになる。