投稿一覧に戻る
(株)ＡＳＪ【2351】の掲示板 2017/12/02〜2017/12/06
-
140
>>137
そう、分散システムは効率化、高速化を目指していて、HDFSからの進化を目指しています。
そこで画期的な進化を遂げたのがEC（Erasure Coding）でした。
Hadoop summit 2016 in Tokyoでは、「イレージャコーディングはいままでのHDFSの概念をすべて変える」と紹介されています。
元々のHDFSのあり方と比べて、容量節約を大幅に向上するのですが、しかし、コールドデータにしか使えないという欠点がありました。
HDFS、GlusterFS、Ceph、Moose FS、Pyramid Codes、QFS、OpenAFSなど、色々な分散システムが出てきて、進化してきたのですが、
保存容量圧縮とメディアストリーミングのような動的データ保存を両立させた分散システムは実現不可能だったんです。
HadoopにECが実装されたHadoop3.0.0-beta1がリリースされたのが今年の10月。そんな感じ。
なんですが、そんなところにRNCDDSは他の分散システムが実現できなかった、保存容量圧縮と動的データ保存を両立しちゃったわけですね。
その仕組みゆえに、CDNのデータを3分の1にすることが可能で、例えばYouTubeやNetflixは大幅にコストが削減できるわけです。（というのはYouTubeの動画で語られています。）
kka
>>134
資料を読みました。
Hadoopって言うよりHadoopを構成する要素の1つである分散ファイルシステム
HDFS(Hadoop Distributed File System)に取って代わるものがRNCDDSってこと
ですね。パフォーマンス劣化することなく（逆により高速？）データ保存量を劇的
に圧縮することができる技術なんですね。