#kubernetes

大数据容器化-K8s+Spark

Apache Spark 在大数据处理与分析领域，Apache Spark无疑占据着重要地位。它的特点是基于内存计算，支持各类资源管理平台，其中以YARN最为常见，同时又与Hadoop平台集成，在集群节点以HDFS作为分布式文件存储系统。 我们可以先看一下搭建一个常见的Apache Spark大数据平台需要哪些步骤： 安装Hadoop集群 配置HDFS 配置YARN 安装Spark 配置Spark与YARN集成 事实上如果参阅官方文档，还有更多细节检查与配置，有过大数据相关领域从业...