
Apache Hadoop是由Apache软件基金会开发的开源分布式计算框架,主要用于大规模数据集的存储与处理。其核心模块包括Hadoop Common基础工具库、HDFS分布式文件系统、YARN资源管理平台和MapReduce并行计算模型,支持在商用硬件集群上实现高吞吐量数据处理。
HDFS采用主从架构,由管理元数据的NameNode和存储数据块的DataNode组成,默认数据块大小为128MB并支持机架感知的副本放置策略(默认复制三次)。YARN负责集群资源调度,支持批处理、流式计算等多种工作负载。MapReduce通过分治策略将任务分解为映射与归约阶段,在计算节点本地处理数据以减少网络传输。
2024年3月发布的3.4.0版本包含自3.3系列以来的2888项错误修复、改进与增强,2023年6月发布的3.3.6版本则新增了软件物料清单(Software Bill of Materials,SBOM)工件支持。
想要了解更多“Apache Hadoop”的信息,请点击:Apache Hadoop百科
