Ｋｕｄａｎ(株)【4425】の掲示板 2020/11/10〜2020/12/17
-
>>626
ありがとうございます😊
-
628
>>626
もう少しだけ補足。
Sony Depthsensing Solutions SA/NV
sony×kudan、それだけしか頭になかったですが、むしろ本命は子会社のSony Depthsensing Solutions SA/NV、同社こそがToF関連ソリューションの最重要パートナーだったよう。
2015/10/8に買収したベルギーSoftkinetic Systems S.A.を前身として、2017/12/18に設立。前身のSoftKineticは、3Dビジョンおよびジェスチャー認識技術のリーダー的存在であり、ToF方式距離画像センサーの開発やライセンス、距離画像信号処理やジェスチャー認識などの距離画像活用ソフトウェアの開発/ライセンス、ToF方式距離画像センサーモジュールの開発、レファレンスデザインの提供などを通じ、3Dセンシングおよび処理の分野で最先端のソリューションを継続的に供給してきた実績があり、これらをそのままSony Depthsensing Solutionsが引き継いでいる。
同社のコンセプトは、
Sony Depthsensing Solutions develops time-of-flight technology for consumer electronics, automotive and industrial applications.
となっており、sonyにおけるToF関連ソリューション開発の中枢と言える。逆に言えば、これだけToF関連ソリューション開発に長けたSoftKineticを買収しても尚、SLAMアルゴリズムを自社開発する事は極めて困難であるからこそkudanと提携する必要があったと言え、如何にSLAM開発が先進企業にとってすらも多大な重しとなっているかが窺い知れる。
2020/9/2公開のYouTube動画Life with DepthSense™ではスマホが中心だが、むしろsony製CISを用いたミドルウェア開発においては、ヒトジェスチャー認識などHMIに関する研究が主、VISION-SでのSafety Cocoonとも深く関わっていくと思われる。当初、ECARX関連と思っていたクレマーズ教授とsonyの共著論文、
2020/10/28
Speech Synthesis and Control Using Differentiable DSP
は、やはりこちらとの関わりと考えた方が自然なよう。
kudanとの正式なソリューション発表はまだだが、スマホに留まらず、車載HMI、ロボティクス等、様々な展開を期待。その目で見れば、kudan提携リリースの中で、スマホと言いながらも、妙にロボティクス、AGV、ドローンと言ったキーワードが頻発していた事にも納得？あわよくばEvent-based cameraにまで繋がって欲しい！
2020/11/24公開sony公式YouTube動画
Time of Flight Image Sensor for Industry
Introducing Sony's new back-illuminated Time of Flight 3D image sensors for industrial equipment. You will find our image sensors' main features and application examples.
mim*****
無人
需要があるか分かりませんが、一応載せておきます。悪しからず。
ToF camera
正確にはToF方式の発光/受光パターンを採用したカメラ、要となるのは、受光センサーであるcmosイメージセンサー(CIS)。そしてCISの世界シェア1位はsony。そのsonyが2020/7/2に取得したSLAM関連の下記特許内容を紐解くと、ToF方式のステレオカメラを搭載したデバイスで対象をスキャンしAR空間に落とし込む、つまり部屋をスキャンして家具を配置したり、バーチャルで試着したりをスマホでできるってアレで、まさにsonyが公開した2020/9/2YouTube動画Life with DepthSense™(添付テキストにもDepthSense™ solutions with ToF sensor brings a new experience to your life.とモロToFって書いてますし)やアプリThe Envision TV AR app等に直結する特許かと思われます。
Publication Date: 20200702
Simultaneous Localization And Mapping (Slam) Devices With Scale Determination And Methods Of Operating The Same
使われたSLAM技術については特に触れられていないものの、昨年ToFで提携しておいてわざわざ他社の技術は使わないでしょうから、流石にkudanSLAMと考えて良いのでは？
既にクレマーズ教授は、2014年のAR/MRシンポジウムでBest Short Paper Awardを受賞した、
Semi-Dense Visual Odometry for AR on a Smartphone
という論文でSony Xperia Z1を用いてLSD-SLAMの充分な動作確認をされており、XPERIA1IIも発売された今、そろそろ動きがありそう？
また、kudanの提携したSony Depthsensing Solutions、先述のToF技術を使ったDepthSense™ソリューションを開発中で、これはHMIにも関わり、まさかとは思いますが、クレマーズ教授がsonyと共同執筆した論文、
2020/10/28
Speech Synthesis and Control Using Differentiable DSP
とも関わるか？分かり次第、また報告します。
Event-based camera
sonyは、2020/2/19に仏Prophesee社とsony製積層型CISを搭載したEvent-based cameraを発表、2020/11/5にはついに日本企業のCenturyArksを窓口として、Propheseeは業界初となるindustrial-grade Event-Based cameraを発売。
Event-based 3D SLAMについては、Zurich大学が先行しており気になる相手。実際、2019/7/26にはZurich大学のDavide Scaramuzza教授がProphesee社を視察しており、流石に業界事情にもしっかりとキャッチアップしている様子。ではkudanとして、遅れをとっているかというと必ずしもそうではないかも。
2019/12/9
Sony Quietly Acquires Insightness
という記事に興味深い内容が。はっきりとした時期は不明ながら、少なくとも2019/12の時点でsonyは、Zurich大学OBを中心に2014年に創業、Event-based camera研究のInsightnessを買収していた事が判明。
sonyがkudanと提携したのた2019/11/18。その時までには当然買収への議論はなされているはずであり、SLAMに関して必要なければわざわざkudanと提携しないのではと考える。Zurich大学はARというよりはスポーツドローンに適化したSLAMを得意とするよう。
Propheseeとしてもsonyとの絡みからか、2019/2には東京でProphesee合同会社設立、そして先日のEvent-Based camera日本発売と、日本展開を強化中。
Zurich大学の研究にしても、今回kudan決算資料で引用された2014クレマーズ教授論文に端を発しており、kudanとしても現状sony以外では逆にどことEvent-Based camera研究をするのかって話であり、kudan/artisense、sony、Propheseeは関係あると考えて良いのでは？
Event-Based cameraは、ヒト網膜インスパイア、従来のコマという概念のない連続したビジュアルデータを発し、つまりこれまでのコンピュータービジョンのデータ処理方は適応できず、すなわちオープンソフトウェアは存在しない。よって一からSLAMアルゴリズムを書く必要があり、専業企業でないと荷が重いと思われる。
Sony Advanced Visual Sensing AG CEO Christian Brandli氏は、
2020/10/30
AI eyes born taking hints from the human eye.
Event-based vision sensor (EVS)
という記事にて、sonyは半導体から、モバイル、ゲーム、エンタメ、テレビまで幅広い事業を手がけ、EVSを含むイメージセンサーを介してAI giantsになり得る可能性を語っており、EVS/CISを通じたkudanとのシナジーを期待してやまない。