Spark如何限制CPU核心和内存的使用？
Spark如何限制cpu核心和内存的使用？它是否使用cgroups？ 纱线怎么样？
在独立群集中，Spark仅使用提供的资源池来pipe理应用程序预定义的资源configuration。 资源池基于执行者组合在一起，作为集群添加。 纱线使用容器和资源限制应用容器的configuration，它定义了最小和最大的核心和内存分配。
在YARN中，NodeManager监视火花执行器的内存使用情况，如果使用上述spark.executor.memory，则会将其杀死
在CPU的情况下， spark.executor.cores是执行者可以运行的并发任务的数量。 有关Sparkconfiguration文档的更多信息
您可以在纱线中启用cgroup并限制CPU使用率或YARN容器（火花执行器）。