Hadoop 本为是为大型爬虫系统设计的。后来泛化成大数据处理的基础设施。

Hadoop 提供了几个组件：

• 分布式文件存储 HDFS
• 分布式数据处理框架 MapReduce
• 资源管理和调度 Yarn

Hadoop 的核心设计是 容错性。意味着 Hadoop 集群中，有 node 挂掉时并不会影响整体功能。