(株)ＡＳＪ【2351】の掲示板 2017/07/04

かれこれ15年近く不動の主流だったhadoop。
Googleの論文から始まりヤフーもFacebookも採用しているシステム。
舞黒はこれに乗り遅れててしまって、2008年に資金提供してまで使わせてもらっている経緯がある。
だから舞黒にとってHadoopに代わるシステム開発は悲願。

想像したらゾワゾワするわ。。。

「Apache Hadoop」の歴史

「Apache Nutch」とGoogleの2つの論文をもとに誕生
Apacheは2002年頃、オープンソースのWeb検索エンジンである「Apache Nutch」を開発。そして同時期にあたる2003年、現在では検索エンジン最大手として不動の地位を確立しているGoogleが2つの興味深い論文を発表。1つは、分散型ファイルシステムである「Google File System（以下、GFS）」に関する論文。そしてもう一つは、並列処理基盤である「Google MapReduce」に関する論文です。

当時「Apache Nutch」は、処理できるデータ量の限界に直面していました。ひとりの担当者が並列処理できるノードは4～5ノードがせいぜいであり、処理できるデータ量も限られていたのです。そして先に示したGoogleによる2つの論文には、Googleも同種の課題に直面していることが示唆されていました。加えて2つの論文には、その解決策となるような理論が語られていたのです。

Yahoo!やFacebookでも利用されている「Apache Hadoop」
そこでApacheでは2004年からダグ・カッティング（Doug Cutting）氏の主導で、JavaをつかってGoogleの発表した2つの論文で取り上げられているプログラムの実装を開始。そして、もともとは「Apache Nutch」プロジェクトに含まれていたこの取り組みが、2006年には「Apache Hadoop」として独立。さらに2008年にはApacheのトッププロジェクトへと昇格を果たし、今日ではYahoo!やFacebookなどで利用されるに至っています。そして今なお、オープンソースソフトウェアとして改良が加えられているのです。