(株)ＰＫＳＨＡ Ｔｅｃｈｎｏｌｏｇｙ【3993】の掲示板 2019/02/13〜2019/02/27

素人の周回遅れのピンボケ論争に加わるつもりも更々なくそんな暇人でもないけれど、一言深層学習とデータの関係について。

ビッグデータ革命は、近年のＨＤＤなどの大容量化、プロセッサーの高速化と相まって、初期の深層学習の発見とほぼ同時期に言われだしたことであって、今に始まって使われている言葉ではない。初期の教師あり学習の深層学習のポイントは、膨大な教師データからその特徴量を見つけ出すことにある。ゆえに、この深層学習ではデータがあることが前提になる。しかし、教師なし学習の深層学習や、転移学習では、いわゆるビッグデータは必要とされない。しかも、最近注目され見直されているスパースモデリングでは、多くのデータは必要とされない。
このように、アルゴリズム自体が進化している。

補足）スパースモデリング（スパース sparse とは「すかすか」、「少ない」を意味する）または疎性モデリングとは、少ない情報から全体像を的確にあぶり出す科学的モデリング