anne

artisenseのChristoph BonikとSu Yin VoonがGerman Acceleratorでシンガポールに行ってデモをしている理由のひとつはシンガポールが政府主導で自動運転を推進していることですかね。

「シンガポールは国土面積が狭く、また都市国家として地方自治体が存在しないため、国として一体的な政策を推し進めやすい。一方、人口密度の高さから公共交通需要が高く、スマート化を図ることでより高効率な公共交通構築に向けた取り組みに対する国民の理解も高い。」

自動運転指数、なぜ車産業がないシンガポールが1位なのか

https://jidounten-lab.com/u_avri-singapore-1

ただシンガポールに自動車OEMやロボットメーカー、半導体企業があるわけではないのでパートナーシップを結ぶ企業のひとつとしてGRABはあり得るのかも。という戯言です。失礼しました。

「自動運転タクシーの展開計画にも注目

Grabは日本企業との関連も深い。これまでにソフトバンクグループやトヨタから資金調達を行っている。また、Grabはシンガポールの自動運転ソフト開発企業であるnuTonomy社と提携し、2022年までに東南アジアで自動運転タクシーを展開すると発表している。今後の具体的な計画の発表に注目が集まる。」


トヨタ出資のライドシェア大手Grab、2021年中に米国で上場か

https://jidounten-lab.com/u_grab-2021-ipo-us

Twitterで公開していたシンガポールでのartisense slamデモについてシンガポールってどんな企業があるのかなと思ってたんですが先程LinkedInでartisenseのChristoph BonikがGRABのナスダック上場にいいねしてました。

昨日の上場初日は大きく値を下げたみたいですけど今後繋がりができればいいですね。

https://www.nikkei.com/article/DGXZQOGN026UI0S1A201C2000000/


また自分が疑問だったARナビのOpenStreetMapについてですがIRに質問すると以下のように回答頂けました。

Q:
ARナビのELIV 2021の動画の中でhere、tomtomのHDマップとは別にOpenStreetMapの表記がありました。
レーンレベル機能はHDマップでなくてもOpenStreetMapでも機能するのでしょうか？
それともHDマップとartisenseのLocalizationが合わさった場合のみ機能するのでしょうか？

A:
当社技術はHDマップに特化しているものではないため、HDマップでなくともレーンマーク・標識等の道路情報があれば機能するものとなっております。

無人さんありがとうございます。
両方の動画を見るとどちらもOUSTERのlidarとxsensのIMUなので使用機材は同じのようですね。
ただ今回のIRが丘陵エリアや林間エリアの動画で土木現場なのに対してADLINKの講演では市街地のslamの動画で電線、電柱の点検に使えると言及しているので少し用途が異なりますね。

ちなみにADLINKの動画の場所は写真の建物を調べたらレジディア荻窪だったので杉並区の住宅密集エリアかと。

なのでハンドヘルドマッピングはATOS以外の他社とも検証実験をしている可能性はあるなと思いました。

すみません。。詳しいわけではありませんが、、、
無人さんの投稿から拝借させて頂くと、artisenseとkudanのChief Scientific Officerであるdaniel cremers教授はFacebookとVRの仮想空間作りにおいて共同研究をしています。

Facebook Reality Labs Researchとの発表
2021/10/18
Recovering Real-World Reflectance Properties and Shading From HDR Imagery
https://m.youtube.com/watch?v=F6uA5wfXXyw

この研究は実際の会議室の空間をハイダイナミックレンジのカメラで取り込むことでリアリティのある3DCG空間を作り出すという内容だと思います。
以下の研究でもリアルタイムに3DCG空間が作られていく様子がわかります。

2021/11/06
TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo
https://m.youtube.com/watch?v=L4C8Q6Gvl1w&t=15s

ここからはあくまで私見ですがクオリティの高いVR空間を全てクリエイターがゼロから作り上げようとすると膨大な手間と時間が掛かってしまうため現実世界をカメラで取り込み3D復元することでハイクオリティでリアルなVR空間を作ろうという動きがあり、そこにartisenseのマッピング技術が活かされていくってことかなと。

メタバースにはVRメタバースとARメタバースがありますが多分先に来るのはビジネス領域におけるARメタバース。仰る通りVRメタバースよりARメタバースの方がダイレクトにkudanのslamが活かされますしdocomoほかいくつかの案件が動いてます。ただ最近の研究を見るとVRメタバースの空間作りにも関わっていそうという印象を受けました。

NDSのHPに先日のIRのartisenseが関わっているARナビの情報がアップされました。

https://nds-association.org/hd-map-data/

今回はARナビにおけるHDマップの役割、機能を紹介しています。
次の第二回目でartisenseのVisual-Inertial Odometryを紹介してくれるようです。

NDSとは↓

https://ja.m.wikipedia.org/wiki/Navigation_Data_Standard

メタバースの概念てまだはっきりと固まっていませんよね。旧Facebookのような仮想空間上のVRコミュニケーションが一般的にメタバースだと思われてますけどNVIDIAは仮想コラボレーションとリアルタイムシュミレーションのオムニバースもメタバースであると言っているしナイアンティックはポケモンGOも現実世界と3DCGが融合したARメタバースになると言っている。

ARメタバースにおいては自己位置を正確に捉えるslamが必要なので先日のIRにあったようにartisenseが関わっている現実世界と3DCGが融合するARナビもメタバースのひとつである、又は他のARメタバースに繋がっていくものであると言っていいと思います。

ARメタバースにおいてはdocomo他グローバル上位7社のうちの3社とのARクラウドや医療分野におけるARデバイスなども発表されてますので今後もメタバース案件は続々と出てくると思います。

ARナビは自動運転に向けての中間的なステップであると項代表も仰ってますね。
レーンレベルでのARナビができれば、あとはそれに合わせて人間がコントロールするのか自動車側がコントロールするのかの問題だけで、自動車側で制御すれば自動運転になると。
現在は法律の問題や安全性の問題などから即自動運転にはできないので、まずはARナビから着手しているという流れだと思います。

linkedinでartisenseのChristoph Bonikがシンガポールの市街地や駐車場でのslamのデモをアップしてました。
車両はメルセデスのGLB。
注目すべきはGLBにはARナビ用のステレオカメラが装備されているので、slamのための追加のデバイスが加わえられていないという点だと思いました。

ousterの日本と韓国マーケットへの拡大の記事にkudanの名前が出ています。


「Ousterは、高解像度デジタルライダーセンサーの需要の高まりをサポートするために、日本と韓国に拡大します」

https://investors.ouster.com/news/news-details/2021/Ouster-Expands-to-Japan-and-South-Korea-to-Support-Growing-Demand-for-High-Resolution-Digital-Lidar-Sensors/default.aspx

「Ousterは、高解像度デジタルLIDARセンサーの需要の高まりをサポートするために、日本と韓国の顧客にサービスを提供することに取り組んでいます。Ousterはすでに、日本と韓国の大手ディストリビューターであるOkaya、PSYGIG、OPT Technologies、UCS、および認識ソフトウェアと統合パートナーであるKudan、Seoul Robotics、Avikusと協力して、業界全体のさまざまなアプリケーション向けのソリューション提供をサポートしています。」

kudanやartisenseのSLAMのローカリゼーションはGPSだと位置がズレる、位置精度が甘いという問題があるので必要とされている技術です。

例えば以下の記事内でも

「矢印が実際の曲がり角からずれる場合があった。これはおそらく、システムがGPSだけに依存していることで、多少の誤差が生じることが原因ではないかと考えられる。」

と書いてあります。

https://wired.jp/2020/02/23/in-car-ar-drivers-get-new-view-road-ahead/

GPSだけだったメルセデスのARナビにartisenseのセンチメートル級のローカリゼーションが加わることで誤差が出る問題が解消されるという訳です。

屋内、駐車場内、トンネル、東京のような建物が密集してるエリアではGPSだけでは機能しないのでSLAMが併用されていくのが現在の流れで、それはkdlidarに限らずkdvisual、artislam(artisenseのslam)も同じですね。

これも無人さんが一番最初に投稿してくれた情報ですがLIDARUSAのHPに書いてあります。


「すべてのLiDARUSAマルチチャネルLiDARシステムのソフトウェアアップグレードとして利用可能
CEO /創設者JeffFagerman-「私たちは常に革新の最前線に立ってきました。今では素晴らしいポイントを提供できるソリューションがあります。 GPS損失、マルチパス、真の屋内マッピングの分野でのクラウド。まもなく、既存の顧客のほぼすべてが将来の製品とともにソフトウェアアップデートとして利用できるようになります」

ただ昨年11月の決算資料で「世界大手マッピング装置OEM」と言っておりLIDARUSAが世界大手なのかどうかはよくわかりません。
アメリカの大手MMSメーカーとしてパッと出てきたのはニコン・トリンブル。

https://geospatial.trimble.com/products-and-solutions/trimble-mx50

kudanはニコンと以前に取引もあったのでトリンブルとも関係あるかもしれないと思いつつ情報がないのでわかりませんね。

そうですね。あくまで自分の解釈ですが。
ブリッジサロンの中で項代表が車載やドローン向けと言ってる点も合致しますしLIDARUSAのHPでもcoming soonと書いてますので。

https://www.lidarusa.com/

他のマッピングソリューション企業の中では最も市場投入が早いんじゃないですかね。
ただしvelodyneのHPで紹介してる「HDマップ：日本の大手地図会社と協力してKudanのソフトウェアでHD地図を開発」などkudanがまだ言及していない案件も複数ありそうだなとも思います。

前にも言いましたが、、
項代表は次世代地図領域の一案件としてアメリカのマッピングソリューションプロバイダーを文面であげており、そのままアメリカの画像を使うと企業名がバレてしまうため同じ次世代地図領域の別案件のロシアの画像を使っているんでしょう。

AR領域も文面でdocomoをあげていますが、docomoの紹介であれば画像はmagic leapのはずですが、使われているのはhololensをかけたマイクロソフトazureのARクラウドの画像です。

つまり文面で紹介されている案件と画像で紹介されている案件は別で両方kudanが関わっていると捉えるのが自然かなと思います。

自分の見解は既に伝えているので何度も投稿したくありませんが、
現在IR等からMMS関連で関わりがあると思われるのは以下です。

ロシア　ouster×Digital Roads
南米　ouster×Dymaxion
アメリカ　velodyne×LidarUSA
日本　velodyne×大手地図会社

ouster、velodyneがLIdarメーカーで
その他の企業がマッピングソリューションプロバイダーです。

自分の見解は以上ですが、
それよりも無人さんの有益な投稿が減ってしまうかも知れないということが残念で仕方ありませんね。

無人さんいつもありがとうございます。
是非引き続き投稿をよろしくお願いします。

一緒です

今回のホワイトペーパーはartisenseのHPに10/30にアップされ、その時に自分がここにアップして無人さんも中身に対してコメントされてますよ。

なるほど！ありがとうございます。
確かにartisenseのローカリゼーションがNDSのARナビに使われているのであればNDSの自動駐車に使われる可能性も非常に高いですね。
NDSに参加している日本のtier1だとアイシン、デンソー、三菱電機。あと最近加わった日立。
いずれの企業も自動駐車をやってるのでわかりませんがNDS絡みだと一社に限った話ではないかもしれませんね。

無人さんありがとうございます！
仰る通りNNGではなくNDSがベースですね。
フォルクスワーゲンも採用してるんですね。
しかもID.3っていう大衆車向けEVなのがいいですね。

クラウドの件やGPUが使われてるのか否かがよくわからなかったのでIRに問い合わせたら丁寧にお返事頂けました。
(自分の質問の仕方があまり良くなくてすみません)

Q:
artisenseの技術が使われているNNGのARナビについて教えてください。
決算説明資料にてartisenseのクラウドベースの SLAMを発表されていましたが、
ARナビもクラウドベースの SLAMでしょうか？
その場合、5Gが無くても SLAMが行えるのでしょうか？

A:
現在のデモではクラウドは用いておりませんが、クラウドを使用することも可能です。その場合、5Gでなく4Gでも対応可能ですが、5Gを使用した方がより遅延がなく正確に情報のやり取りが出来サービスの品質は向上致します。
 
Q:
artisenseのSLAMはNVIDIAのGPUが必要になると解釈しておりますがARナビにもGPUが搭載されているのでしょうか？

A:
Artisense SLAMの使用はGPUではなくCPUでも可能です。ただし、GPUを使用した方が精度の高い処理が可能となります。

Q:
追加の質問です。
決算説明にあるクラウドベースの SLAMのページで
「Artisense SLAMを用いた自動駐車の例」
が掲載されています。
クラウドベースでslamを行う一例として出されていると思いますが、
こちらも5G前提のサービスでしょうか？
それとも5GエリアでなくてもクラウドベースのSLAMは可能なのでしょうか？
ARナビと同様、artisenseの高い計算能力が必要となるslamをクラウドで行う場合、5Gが必須となるのか否かが気になっております。

A:
5Gエリアでなくとも、処理を一部車両で行うなどの設計によって4Gでも可能となります。

すみません。
記事内で「ヒュンダイは高級車ブランド「ジェネシス」のSUV「GV80」でARを採用した」と書いてありました。
やはり高級車から採用されていくみたいですね。

昨年発表されたメルセデスのARナビってNNGがベースなんですね。

https://youtu.be/nXO9TBGi6HI

wiredの記事が何故か英語版ですが日本語版もありました。記事内ではGPSとありますがこれがartisenseのローカリゼーションに置き換わるということでしょうね。

https://wired.jp/2020/02/23/in-car-ar-drivers-get-new-view-road-ahead/

メルセデス、キャデラックとあるので高級車から導入されていくのかな？ヒュンダイはどのモデルに採用されるのか気になります。エアバスもありますね。

今後もdocomoとのARクラウド、
アメリカの医療用機器大手メーカーのARグラス、
項代表のプレミアムブリッジサロンの画像にあるマイクロソフトのazureクラウド、
クレーマーズ教授が研究に参加しているFacebookの仮想空間などメタバース関連は続々と控えているので楽しみです。