Tag: mesos

用于大规模Mesos群集的Atomic OS / Core OS？: 我正在计划Mesos ， Kubernetes （或者Marathon和/或Aurora ）和Docker的概念certificate。我们的想法是在我们的数据中心configuration一个集群作为Mesos集群，并使用例如Kubernetes编排Docker容器。对于Docker和Kubernetes来说，像Project Atomic和CoreOS这样的primefaces主机操作系统是不可变的，并且是primefaces地更新的，但是对于Mesos来说，也有类似的东西，也就是不可变的primefaces和轻量级平台，用于在裸机或虚拟机上运行Mesos从服务器和主服务器？我认为这样一个平台将是在整个集群中分布Mesos的最好方式（特别是如果它是一个大集群的话），然后由Kubernetes和Docker提供的其余function将运行在Mesos之上。因此，不需要将Docker分发到每个节点; 我的印象是它由Mesos-Docker集成来处理。在不需要手动或Puppet / Chef / Ansible供应的大集群/数据中心之间分发Mesos的任何替代scheme也是有意义的。问候，奥拉

Apache Mesos，MESOS-DNS，MARATHON和Docker: 在我的环境中，以独立模式运行mesos-slave，mesos-master marathon和mesos-dns。我部署的MySQL应用程序马拉松作为docker集装箱运行。 MySql的应用程序configuration如下。 { "id": "mysql", "cpus": 0.5, "mem": 512, "instances": 1, "container": { "type": "DOCKER", "docker": { "image": "mysql:5.6.27", "network": "BRIDGE", "portMappings": [ { "containerPort": 3306, "hostPort": 32000, "protocol": "tcp" } ] } }, "constraints": [ [ "hostname", "UNIQUE" ]], "env": { "MYSQL_ROOT_PASSWORD": "password" }, "minimumHealthCapacity" :0, "maximumOverCapacity" : 0.0 } 然后我部署应用程序称为MySQL客户端。 Mysql客户端应用程序需要连接到MySQL应用程序。 […]

apache马拉松：我的docker形象保持失败: 我按照这里的步骤我已经创build了一个json文件： { "id": "/myjavabuild-2", "cmd": null, "cpus": 1, "mem": 1024, "disk": 0, "instances": 1, "container": { "type": "DOCKER", "volumes": [], "docker": { "image": "hub.docker.com/eugenepark3/myjavabuild", "network": "HOST", "privileged": false, "parameters": [], "forcePullImage": false } }, "portDefinitions": [ { "port": 10001, "protocol": "tcp", "labels": {} } ], "uris": [ "file:///etc/docker.tar.gz" ], "fetch": [ { "uri": "file:///etc/docker.tar.gz", […]

在Kubernetes / Mesos中运行YARN集群: 我使用YARN在Spark上运行了一组dockerized应用程序，我想知道在Kubernetes内部署集群是否可行，或者Mesos是更好的select？我会非常感谢任何一个经理在决定另一个经理之前的任何架构问题。

马拉松不加载docker集装箱：无法获得执行者资源统计: 试图用马拉松旋转docker集装箱。我使用docker 1.8 ， marathon 0.11 ， mesos 0.23 ， boot2docker 以下是我的docker图像的样子，以及它们如何运行 https://gist.github.com/manishrajkarnikar/3dad3cfb149384d080aa 下面是我的马拉松邮件请求的样子，以及来自mess master和slave的日志 https://gist.github.com/manishrajkarnikar/96d2031e621201d94f7f 请注意，在容器名称开始的容器中有“执行者”，而垃圾信息日志把这个警告放在容器名称末尾没有执行器的地方，它看起来像是search容器，而且docker检查失败导致状态任务失败 Failed to get resource statistics for executor 'helloworld.ed922c9d-6ed4-11e5-a8fb-aa13c24df26f' of framework 20151009-222455-1731963072-5050-5-0000: Failed to 'docker inspect mesos-20151009-222455-1731963072-5050-5-S0.79b421f0-2135-437c-b4be-c95dd841ba9a': exit status = exited with status 1 stderr = Error: No such image or container: mesos-20151009-222455-1731963072-5050-5-S0.79b421f0-2135-437c-b4be-c95dd841ba9a 这导致多个失败的容器，并且所有的任务都获得了task_failed的状态我究竟做错了什么？？

Mesos Marathon Docker容器 – CommandInfo: 最近，我在几个节点上安装了Marathon，Mesos和Docker。一切工作正常，除了我遇到一个问题时，启动Docker容器。特别是，当Marathon执行一个启动Docker容器的任务时，marathon会追加/bin/sh -c ' '作为默认的Docker命令。这导致我的容器启动，然后立即退出（我可以看到他们使用docker ps -a ）我看了一下Mesos文档，其中指出： Docker镜像当前支持有入口点和/或默认命令。要使用默认命令（即：docker run image）运行docker镜像，不能设置CommandInfo的值。如果该值被设置，那么它将覆盖默认命令。要运行定义了入口点的Docker镜像，CommandInfo的shell选项必须设置为false。如果将shell选项设置为true，则Docker Containerizer将运行用/ bin / sh -c打包的用户命令，该命令也将成为映像入口点的参数。这是很好的信息（我看到Mesos的预期行为），但是在Marathon中没有看到closuresCommandInfo shell的选项。我的问题是：如何将CommandInfo Shell选项（在Marathon或Mesos中）设置为false？哪里需要设置？当我在机器上运行我的ghost-blog-test镜像（使用标准/entrypoint.sh npm s docker run命令）时，它使用/entrypoint.sh npm s作为默认命令。我想在使用Mesos + Marathon的时候也是这样。提前致谢！

使用来自私有registry的自定义Docker镜像的Spark作业: 我想build立一个自定义的Docker镜像，可以使用Spark的spark.mess.executor.docker.imageconfiguration选项。这个图像将包含私人信息，所以它需要保存在一个私人的registry。这可能吗？我没有看到任何书面的方式来指定login凭证作为spark-submit命令的一部分。

通过极光启动大型docker图像的工作可能会很慢: 当通过使用相当大的docker图像（〜2GB）的极光通过极光启动任务时，在任务实际开始之前有很长的等待时间。即使任务先前已经启动，并且我们预计Docker镜像已经可以被工作人员节点使用，但在任务实际启动之前，仍然有一个等待时间取决于图像的大小。使用docker，你可以几乎立即启动一个容器，只要它已经在你的图片列表中，那么容器容器是不是也支持这个“caching”呢？这个function是否可以configuration？我还没有尝试过使用docker集装箱，但是我的理解是它很快就会被淘汰，而且我们要求的gpu资源隔离只适用于集装箱的集装箱。

Spark挂在Docker Mesos集群的身份validation上: 我试图模拟使用Docker和Zookeeper的多节点Mesos集群，并试图在其上运行一个简单的（py）Spark作业。这些Docker容器和pyspark脚本都在同一台机器上运行。但是，当我执行我的Spark脚本，它挂在： No credentials provided. Attempting to register without authentication Mesos从站不断输出： I0929 14:59:32.925915 62 slave.cpp:1959] Asked to shut down framework 20150929-143802-1224741292-5050-33-0060 by master@172.17.0.73:5050 W0929 14:59:32.926035 62 slave.cpp:1974] Cannot shut down unknown framework 20150929-143802-1224741292-5050-33-0060 Mesos大师不断输出： I0929 14:38:15.169683 39 master.cpp:2094] Received SUBSCRIBE call for framework 'test' at scheduler-2f4e1e52-a04a-401f-b9aa-1253554fe73b@127.0.1.1:46693 I0929 14:38:15.169845 39 master.cpp:2164] Subscribing framework test with […]