Tag: 纱线

如何将Kubernetes调度程序委托给Yarn: 我打算在当前托pipeHadoop的同一集群上运行Docker镜像。为了避免资源使用冲突，我听说纱被分配为主。但是，我不知道如何将它们连接起来。我很可能会将Kubernetes调度程序委托给Yarn的应用程序主程序，但是我不知道如何在基础级别上做到这一点。这是合理的吗？我应该安装Kubernetes – Docker群集并手动pipe理资源使用情况吗？提前致谢…

运行在Docker容器内的纱线容器: 在Docker容器中运行yarn nodemanagers时，我有一些关于资源分配的问题。 docker和yarn都使用cgroups来pipe理cpu资源。我的理解是， cgroups不会将cpus专用于进程，而是将cpu时间用于进程。如果一个纱线集装箱在docker集装箱内运行，则有2个limits 。一个用于纱线容器，另一个用于docker集装箱。由于我们正在处理的时间段，而不是专门的计划，有可能内部limit和外部limit是相互不同步的？还是内部容器可以直接访问节点内核，并可以分配自己的CPU limit 。任何关于此的文档将不胜感激，因为我无法在网上find任何东西。我担心的是，如果在docker集装箱上有6个硬件CPU limit ，那么运行分配3个虚拟CPU的单个纱线容器实际上并不会获得3个虚拟CPU资源，因为时隙在内部和外部外部容器。

docker与纱: 第一次试图让纱线和docker工作在一起。每次运行docker build命令时，如何停止安装软件包？我发现了一些解决scheme，如将node_modules存储在一个临时目录中，然后将其链接，但是安装了各种软件包，我得到的错误太多。是否有一种方法可以将我的yarn.lock与Docker中存在的或者其他解决scheme进行比较？ Dockerfile： FROM node:8.9.1-alpine COPY package.json yarn.lock /usr/src/ RUN cd /usr/src \ && yarn install –pure-lockfile COPY . /usr/src EXPOSE 3005 通过这个设置，我得到一个消息，说Sending build context to Docker daemon 375.2MB ，然后像往常一样运行yarn install ，每次获取包裹。

docker中的纱线 – __spark_libs__.zip不存在: 我已经看了这个 StackOverflow后，但他们没有帮助我很多。我正试图让纱线在现有的集群上工作。到目前为止，我们一直使用火花独立pipe理器作为我们的资源分配器，并且一直按预期工作。这是我们架构的基本概述。在白色框中的所有东西都在docker容器中运行。在master-machine我可以在yarn resource manager容器中运行以下命令，并运行使用yarn的spark-shell： ./pyspark –master yarn –driver-memory 1G –executor-memory 1G –executor-cores 1 –conf "spark.yarn.am.memory=1G" 但是，如果我尝试从jupyter容器内的client-machine运行相同的命令，我在YARN-UI中出现以下错误。 Application application_1512999329660_0001 failed 2 times due to AM Container for appattempt_1512999329660_0001_000002 exited with exitCode: -1000 For more detailed output, check application tracking page:http://master-machine:5000/proxy/application_1512999329660_0001/Then, click on links to logs of each attempt. Diagnostics: File […]