スマホでVtuberになれる『vear』が今アツい! ──── 開発者が語る、アプリの制作秘話

f:id:banana1147:20200526115042p:plain

 昨今、Vtuberブームにより、企業・個人問わず多くのVtuberが誕生しています。今までは専門的な知識が必要とされたVtuber活動も、「FaceRig」や「3tene」のような直感的に使うことができるソフトが販売され、今やだれでも簡単にVtuberになれる時代になってきています。

 またiPhoneX以降には、顔認証・フェイストラッキングができる機能があり、それを利用した「PCを必要としないVtuber」になれるアプリが、多くリリースされ、スマホさえあればVtuberになれる環境が整ってきました。

 今回紹介する『vear』も、スマホだけでVtuberになれるアプリの一つですが、『vear』には他のアプリにはない魅力がありました。

 ということで今回は、バーチャルライブ配信アプリ『vear』の紹介と、その開発者であるnoppeさんにお話しを伺います。

 開発者だから語れる裏話や『vear』開発のきっかけなど、気になっていることをいろいろ聞いてみました。

そもそも『vear』ってなに?

 『vear』は、PCとのやり取りをする必要がなく、スマホだけで撮影・配信ができるバーチャルライブ配信アプリです。

 自分の3Dモデルを導入することで、自撮り風の写真を撮ったり、動画を配信することができます。またVRoidHubにあがっているアバターを使うこともできます。

 実際に撮った写真がこちら。

f:id:banana1147:20200526133847j:plain

 このようにスマホでVtuberになれるアプリというのは他にもあるものの、「自撮り風写真」を撮ることができるのは『vear』だけです。

 実際のまばたきや口パク、体の角度がアバターに反映されるため、リアルな自撮り写真を撮ることが可能です。またそのままミラティブやイチナナといった有名配信アプリで配信することができます。

 UIもシンプルでわかりやすく、他のアプリを使ったことがあるなら、すぐに理解できるでしょう。

 ちなみに縦画面だけではなく、横画面での撮影もできます。

f:id:banana1147:20200525201252j:plain

 背景はグリーンバックなどの合成用背景はもちろん、スマホに保存されている画像や全天球画像も設定できるので、編集せずに、この『vear』だけで配信・撮影することが可能です。

 6月2日のアップデートにより、ズーム倍率が等倍の時にスマホを手で持って撮影するようになりました。そのため以前よりも、違和感なく、自然に自撮りを撮っている感じになりましたね。

f:id:banana1147:20200602174631j:plain

 また広告を視聴することで無料で使うことができる、いくつかのアクセサリーが追加されました。これにより、Unityを使用しなくても、『vear』内でアバターのカスタマイズができるようになりました。

 これらは有料版を購入することで、無制限に使うことが可能です。

 そして6月21日。画期的な機能が実装。

 その名も「パーフェクトシンク」(仮)。これにより、舌を出したり、微妙な表情も認識されるようになり、今まで以上に感情を表現することができるようになりました

vear - バーチャルライブ配信アプリ

vear - バーチャルライブ配信アプリ

  • Tomoya Hirano
  • 写真/ビデオ
  • 無料

apps.apple.com

 

────ということで、開発者であるnoppeさんにお話を伺っていきましょう。

 開発者が語る、今後の『vear』について

────『vear』を開発したきっかけは何でしょうか?

f:id:banana1147:20200525234638j:plain
元々ARに興味があり、来たるARメガネの時代までに何らかのARアプリを作ろうと考えていました。
その中で、バーチャルの存在に対しても考えることがあり徐々にその魅力に引き込まれていったことがきっかけです。

一般的に「バーチャル」とは仮想の肉体を持ち、現実の精神を合わせ持つ存在と解釈されます。
しかし、実際のライブやVRCを体験してみると分かりますが特別「バーチャル」と認識する必要がないほどに人間は仮想の肉体を受け入れています。
ところが自分が現実として受け入れている(バーチャルな)肉体があるのにも関わらず、当時はそれを自然に扱えるアプリケーションは数えるほどしかありませんでした。
よりバーチャルな肉体をナチュラルに感じてもらいつつ、限界まで現実に近い場所で表現を行うことは出来ないかとチャレンジしたくなりvearを開発するに至りました。

──── 開発するにあたって苦労した点はありますか?

f:id:banana1147:20200525234638j:plain
開発は本当に楽しかったですし、今はもっと楽しく開発をしています。
先ほどの質問にもあったように、いかにナチュラルに自分を映せるかどうかというところはvearの開発における難しいところだと思っています。
例えばARKitはその仕様上、身体がカメラの外に出ると顔のトラッキングを終了してしまいます。
トラッキングが外れた時に「その位置に身体が残るのか」、「消えるのか」、「消えるにしても等速で流れていくのか」、「マーブル模様で消えるのか」という表現の選択肢がありますよね。
vearではそれらを一つ一つ検証して、一番違和感の無いフェードアウトを選びました。
人間の視覚は視野角の外に行くほど鈍感になるので、あまり目立たせずにひっそり消すのが向いているようです。

あとは単純にUnity as a Libraryの実装は大変です。
vearはUnityを描画・UI部分を通常のアプリとして実装することで自然な触り心地を作り上げています。
これはとても面倒な開発手法で、一度Unityでビルドしたフレームワークをアプリに組み込んでさらにビルドしないとアプリが出来上がりません。
でもこの仕組みのおかげで触った時にゲームっぽさが出ないというか、本当に普通のカメラアプリを触っているような感覚になりますよね。

──── 今後アップデートで追加したい機能はありますか?

f:id:banana1147:20200525234638j:plain
vearを触っていただくと分かると思うのですが、まだまだ急に現実に戻される瞬間があります。
その一つが手の表現です。カメラは空中にあるのに、手は下に伸びているのはおかしいですよね。
直近のアップデートで自撮りのような持ち方か、自撮り棒にするか分かりませんが自然に見えるようにする機能を付けるつもりです。

また一般的にハンドトラッキングと呼ばれる機能ですが、これに関しては今のところ実装する算段が建てられていません。
というのも、ハンドトラッキング自体は出来るのですがスマホではまだまだ認識精度が悪く実際の動きに綺麗について来ないからです。
現実の動きと乖離した動きは、vearの目指すナチュラルでは無いので入れるのはどうかなというのが今の考えです。
でも今後AppleによってARKit4などで高品質なハンドトラッキングが実装されれば、すぐにでも実装したいですね!

──── 最後に『vear』にかける思いについてお願いします。

f:id:banana1147:20200525234638j:plain
vearが最後に辿り着くのは、SNOWやSODA、Ulikeのような「普通のアプリ」です。

バーチャルな人間も生身の人間もそのフォーマットを超えてアプリを選び、セルフィーを撮る。
そんな世界を切り開く、一つの選択肢になっていければと思っています。
ありがとうございました。
 
 

f:id:banana1147:20200702123135j:plain

 今はまだ、Vtuber向けという印象が強いですが、最終的には『vear』はVtuberだけでなく、SNOWやSODA、Ulikeのような、一般の人も使う「普通のアプリ」になるとのこと。今後のアップデートが期待できますね。

 春日部つくしさんや戸鞠まりさんなどの有名Vtuberも使っている、バーチャルライブ配信アプリ『vear』。皆さんも、是非一度試してみてはいかがでしょうか。

お話を伺った人:noppe

f:id:banana1147:20200525234638j:plain
個人開発者のnoppe(のっぺ)と言います。
主にiPhoneアプリを個人で開発していて、過去にはTwitterのクライアントやゲームを開発していました。
今回は私の開発したvearを見つけていただきありがとうございます。

note.com