スマートグラスのアプリ開発に挑戦!

こんにちは!

私はクライアントの社内DX推進支援に携わる一方で、社内においてAI/ARグラスの開発研究を行っております。

スマートグラスのにはAIグラス? ARグラス? VRグラス?などもあり、どんなものか想像がつかないと思いますので、ざっくり説明すると以下のように分類されます。

AIグラス(スマートグラス):音声・HUD(簡易表示)アシスタント型

通常の眼鏡に近い軽量さで、音声対話、通知確認、翻訳、ナビゲーションなど「スマートウォッチの代わりとなる日常支援」を担う

ARグラス:映像・ディスプレイ拡張型

視界に仮想の大画面やCGを重ねて表示し、「動画視聴、PCのサブディスプレイ化、現実空間への情報付加」を担う。

VRグラス(VR/MRヘッドセット):没入・空間コンピューティング型

外界を遮断して360度の3D空間を展開し、「ゲームやエンタメへの完全没入、空間上での作業」を担う。

※本記事では、日常使いできる軽量なテキスト・HUD表示端末を『AIグラス』として扱います

開発を始める準備

このなかで現在取り組んでいるのはAIグラス開発となります。

今回は試しに星座の情報を表示するアプリをEven Realities社の「Even G2」を対象に作成してみようと思います。

進め方としては、Claude Code(AI)でおおよその要件を決めた後、Google Geminiで実際の開発を行う方針とします。

要件の設定

Claude Codeへの問い

Even g2 で星座のイメージ図と解説文を表示するアプリを作りたい
解像度として問題ないか

Claude Codeの回答

結論として、星座アプリには十分使える解像度です。ただし、写真のような絵を大きく出すのではなく、線画と短い文章で見せる設計にする必要があります。
・・・
星座表示に向いている点
星座図は「点(星)と線」だけで描けます。モノクロ緑の表示と相性が良く、黒い背景は透過するのでシースルー表示にも合います。
星の明るさ(等級)を、16段階の輝度で点の明るさや大きさとして表せます。
・・・
次の一手 最初に実機で「200×100 の画像を2〜4枚並べる」「日本語テキストを横に出す」の2点を試すプロトタイプを作ると、レイアウトを確定できます。必要なら、そのサンプルコードや画面のモック図を作ります。

開発開始

なるほど、線画と短い文章であれば解像度的には問題なさそうです。
それでは実際に作ってみましょう。

Claude Codeへの問い

「200×100 の画像を2〜4枚並べる」「日本語テキストを横に出す」の2点を試すプロトタイプを作る

途中このような形で随時思考経過を示しながら作業を進めてくれます。

さらには表示可能かのテストも途中随時実施されます。

おおよそ出来てきました。

Claude Codeの回答

プロトタイプを作り、シミュレータで6つのレイアウトをすべて確認しました。試したかった2点、「200×100 の画像を横に並べる」と「日本語テキストを横に出す」はシミュレータ上では問題なく動きます。タイルの継ぎ目、画像の転送速度、288×144 の画像を受け付けるかどうかは、実機でないと確認できません。
保存場所は、既存の G2 アプリと同じ並びの C:\claude\glass\test\even-g2-constellation です。タップで次のレイアウト、ダブルタップで終了確認です。 ・・・

ものの5分ほどでアプリを作成し、表示パターンも6つほど作成してくれたようです。

あっと言う間ですね。
当初はClaude Codeで要件定義やプロトタイプ検討を行い、コーディングをGeminiに依頼する予定でしたが、Claude Code側でシミュレータの構築から実機検証手順の提示まで一気通貫で対応できたため、今回はClaude Codeのみで進めることにしました。

パターン①

パターン②

Claude Codeの回答続き

開発サーバー(ポート5175)とシミュレータは起動したままです。実機に読み込むには、プロジェクトのフォルダで次を実行し、表示されたQRコードを Even App で読み取ってください(スマホとPCは同じWi-Fiにつないでおく必要があります)。
npm run qr
確認手順とシミュレータでの結果は README.md にまとめてあります。
・・・
3. スマホで Even Realities アプリを開き、「Even Hub」タブに切り替えます。 4. 右上の開発者メニューにある「Scan QR」をタップし、ターミナルのQRコードを読み取ります。

実機テスト

このように実機でテストする方法もまとめてくれているようなので試してみます。

指定されたコマンドを実行するとQRコードが表示されましたが、肝心のスマホアプリでQRコードをスキャンするメニューが見当たりません。

Claude Codeへの問い

Scan QRが見つからない

Claude Codeの回答

「Scan QR」が出てこないのは、Even Realities アプリがまだ開発者モードになっていないためです。アプリ内にオン・オフのスイッチはなく、Web の Even Hub にログインしたあとアプリを再起動すると自動で有効になります。
・・・
今の公式ドキュメントでは、開発者用の申請や審査は不要です。スマホアプリで使っているアカウントで Web の Even Hub に一度ログインすれば、それが開発者登録になります。

言われるがまま、webでログイン後、スマホアプリを停止・再起動すると無事「Scan QR」が表示されました。
指示に従いスマホアプリを操作すると、「Even G2」に作成した星座を表示する事が出来ました。

実際に表示されたイメージはこちら。
点の大きさでしっかり星の明るさも表現されており予想以上の出来です。

終わりに

いかがだったでしょうか?
実際に「Even G2」に表示するところは第二回に回すつもりでしたが、思いのほかスムーズに出来てしまいました。
AIの回答の通りにいかなくても、その旨を質問すれば的確に対応策を答えてくれます。
以前スマホアプリを開発した際と比べても、ツールの進化やモデルの回答精度が格段に向上している実感があります。
今後は他の星座を表示したり、向いた方角に見える星座を表示するなど改善していきたいと思います!

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です