見るAI

深層学習が最初に飛躍したのは、画像を理解する能力においてでした。写真に写った１０００種類の物体を分類するタスクで人間の能力を超えた、という研究結果は衝撃でした。

こちらのページでは、ZENKEIのAIが画像を理解する様子を動画と共にご紹介しています。

パノラマ画像の分類

VR内見コンテンツを作るために、全天球カメラを使ってたくさんの不動産物件の室内写真を撮影してくると思います。

現在、ZENKEI の AI ではパノラマ画像を、外観、玄関、浴室など１０種類のタイプに 93.7% の精度で分類することができます。

PAS の自動作成 - AVRC

AI が導入される以前は、PAS コンテンツの制作は、以下のような作業の流れで行われてきました。まず最初に、制作者がその物件の見取り図画像をベースにして、現場で撮影してきたパノラマ画像を１枚ずつ配置し、撮影の向きを見取り図上での向きに合わせます。この作業を１物件あたり５〜１０枚ほど行い、１つの物件の PAS コンテンツが完成します。

Auto VR Creation (AVRC) の導入によって、この見取り図画像へのパノラマ画像の配置と向き合わせを AI によって行うことができます。

現在 AVRC で使われている AI モデルの精度は、配置に関しては 90%、向きに関しては 60% の精度に留まっています。このため、現在の Dashboard では画像のアップロードの後に、 AVRC で自動に作られた PAS を、制作者が最終確認するというワークフローとなっています。

物体認識

ZENKEI の AI は、お客様がアップロードされた画像を「理解」しています。まるで、人がその写真になにが写っているのかを見て認識するように。

これまでの VR プレーヤーは、全天球映像を表示する機能を提供し、ユーザーが操作して見たいものを自由に見れるものでした。しかし、そのシステムは、表紙している映像を理解しているわけではなく、ただユーザーの指示に従って、その方向の映像を表示しているに過ぎませんでした。

映像を理解する ZENKEI の AI は、３６０度画像のどこに何が写っているのかを認識しています（現在、ドアや窓、キッチンシンクやエアコンなど２２種類のオブジェクトを 80% 以上の検証精度で識別します）。つまり、ユーザーが指示した方向に何が写っているのかが分かります。

この機能、言い換えると「AI 社員の能力」を使うと、コンピュータがあたかも生身の営業マンのように、物件を内見しているお客様に的確にレスポンスすることが可能になります。詳しい応用例は PAS の Actuator 機能をご覧ください。

オブジェクトの消去

不動産物件のデジタルツインである ZENKEI PAS 制作の日常作業で、 現場での写真撮影は一番大変なステップの１つです。

部屋の清掃などが終わって、オンライン掲載のためにスタッフが現場にでかけて写真撮影してきて、 いざ ZENKEI Dashboard 開いてコンテンツ制作をしようと思って写真を見たら、 写って欲しくないモノが映り込んでいた、というようなことは、ありませんでしたか。

映像を理解する ZENKEI の AI を使うと、わざわざ現場に撮影し直しにでかける必要がなくなります。それが ZENKEI の「オブジェクト消去」機能です。

実はこの機能、失敗した映像の修正だけでなく、全天球画像の撮影に欠かすことのできない、しかし、映像的には見えて欲しく無い、必ず映り込んでしまう三脚を、きれいに背景にマッチした形で消去することもできます。