(株)ＡＳＪ【2351】の掲示板 2017/12/02〜2017/12/06

>>137

そう、分散システムは効率化、高速化を目指していて、HDFSからの進化を目指しています。
そこで画期的な進化を遂げたのがEC（Erasure Coding）でした。

Hadoop summit 2016 in Tokyoでは、「イレージャコーディングはいままでのHDFSの概念をすべて変える」と紹介されています。
元々のHDFSのあり方と比べて、容量節約を大幅に向上するのですが、しかし、コールドデータにしか使えないという欠点がありました。

HDFS、GlusterFS、Ceph、Moose FS、Pyramid Codes、QFS、OpenAFSなど、色々な分散システムが出てきて、進化してきたのですが、
保存容量圧縮とメディアストリーミングのような動的データ保存を両立させた分散システムは実現不可能だったんです。

HadoopにECが実装されたHadoop3.0.0-beta1がリリースされたのが今年の10月。そんな感じ。

なんですが、そんなところにRNCDDSは他の分散システムが実現できなかった、保存容量圧縮と動的データ保存を両立しちゃったわけですね。

その仕組みゆえに、CDNのデータを3分の1にすることが可能で、例えばYouTubeやNetflixは大幅にコストが削減できるわけです。（というのはYouTubeの動画で語られています。）