使用Docker在DC / OS上运行Airflow

我已经在本地使用他们的stream浪形象设置了DC / OS,并且我想使用DC / OS来运行包含Airflow的Docker镜像,这样我可以在Airflow教程中运行基本的Hello World。

这是一个相当利基的用例,并没有任何关于这个实际实现的指南或喋喋不休。

简而言之,我该如何去做呢?

你去服务标签,点击“+”并添加任务的JSON定义:

{ "id": "/airflow", "instances": 1, "container": { "type": "DOCKER", "volumes": [], "docker": { "image": "puckel/docker-airflow" }, "portMappings": [ { "containerPort": 8080, "hostPort": 0, "protocol": "tcp" }, { "containerPort": 5555, "hostPort": 0, "protocol": "tcp" }, { "containerPort": 8793, "hostPort": 0, "protocol": "tcp" } ] }, "mem": 1024, "requirePorts": false, "networks": [ { "mode": "container/bridge" } ], "healthChecks": [], "fetch": [], "constraints": [], "cpus": 1, "labels": { "DCOS_SERVICE_PORT_INDEX": "0" } } 

这将启动这个Docker镜像 。 当服务启动时,您应该能够点击服务名称旁边的图标并导航到Airflow UI( /service/airflow )。

注意:我没有使用气stream的经验,但是这是一个通用的方法,你可以开始任何任务。 你一定要configuration数据库等