Hadoop

2nd September 2021 at 11:45am

Hadoop 本为是为大型爬虫系统设计的。后来泛化成大数据处理的基础设施。

Hadoop 提供了几个组件:

  • 分布式文件存储 HDFS
  • 分布式数据处理框架 MapReduce
  • 资源管理和调度 Yarn

Hadoop 的核心设计是 容错性。意味着 Hadoop 集群中,有 node 挂掉时并不会影响整体功能。

TOC