Tag: stream浪汉

如何使用Kubernetes在火花集群中安排作业: 我对Spark和Kubernetes都很陌生，但是我正在试图理解这在生产环境中是如何工作的。我打算使用Kubernetes部署Spark群集。然后，我将使用SparkStraeming处理来自Kafka的数据并将结果输出到数据库。此外，我计划build立一个每天晚上运行的预定Spark-batch-job。 1.我如何安排夜间批量运行？我明白，Kubernetes具有类似cron的function（请参阅文档）。但从我的理解，这是做日程安排容器部署，我已经有我的容器启动和运行（因为我使用SparkStreaming Spark的集群），我只是想提交一个工作，每晚集群。 2.我在哪里存储SparkStreaming应用程序（可能有很多），我该如何启动它？我是否将Spark-container从SparkStreaming应用程序中分离出来（即容器是否只包含一个干净的Spark-node，并将SparkStreaming-applicatio保存在持久存储中，然后使用kubectl将作业推送到容器中）？或者，我的docker-file应该从存储库中克隆我的SparkStreaming应用程序，并负责启动它。我已经试过通过文件查看，但我不确定如何设置它。任何链接或参考回答我的问题，高度赞赏。

如何授予docker用户写入权限/ var /？: 我正试图在docker集装箱上运行合stream图像。这种行为是间歇性的 – 大多数时候我不能运行它，但有时我可以。下载图像后，我运行这些命令，以便在线汇合： sudo chown -R daemon /data/confluence sudo chown -R daemon /var/atlassian/application-data/confluence docker run -v /data/your-confluence-home:/var/atlassian/application-data/confluence –name="confluence" -d -p 8090:8090 -p 8091:8091 atlassian/confluence-server 但是，然后，我得到了docker logs confluence这个错误 If you encounter issues starting up Confluence, please see the Installation guide at http://confluence.atlassian.com/display/DOC/Confluence+Installation+Guide Server startup logs are located in /opt/atlassian/confluence/logs/catalina.out ————————————————————————— Using Java: /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java 2017-05-23 […]

无法在Windows 7计算机上创buildVagrant机器: 我有一个Windows 7的电脑与VirtualBox，stream浪者，docker工具箱和Git。 VirtualBox显示一台名为“default”（在Docker安装期间创build）的机器，我可以使用命令C：\ Program Files \ Git \ bin \ bash.exe“–login -i”C：\ Program Files \ Docker Toolbox \ start.sh”。到现在为止还挺好。我做了一个回购的本地副本，里面有一个Vagrantfile，应该创build一些Vagrant机器： https ： //github.com/scalingexcellence/scrapybook 我跑了这个命令： $vagrant up –no-parallel Bringing machine 'web' up with 'docker' provider… Bringing machine 'spark' up with 'docker' provider… Bringing machine 'es' up with 'docker' provider… Bringing machine 'redis' up with 'docker' […]

使用Docker设置本地Web开发: 我需要为使用Docker进行Web开发的工作stream程提供build议：从今天起，我们使用stream浪和/或MAMP进行本地开发。为了跟上时代的步伐，我们看看Docker，并将其用于一些小型项目。现在我们要更新我们的工作stream程，只使用Docker。我听说最好的做法是为每个任务使用一个单独的容器。我们大部分的项目都是用Wordpress（基础）完成的。所以我需要至less2个容器，一个是Web服务器（Apache），一个是数据（MySQL）。此外，我读到，人们也使用一个容器进行前端开发，所以他们不需要在本地机器上重复安装Node / Bower / Yarn / Gulp，也可以在不同版本中安装Node / Bower / Yarn / Gulp。我们目前的工作stream程如下所示：克隆基岩在主题目录中克隆鼠尾草首发主题 Git添加。把一切都交给VCS，所以同事们可以检查出来添加项目到stream浪的configuration 安装所有开发依赖关系（ composer php为基岩， npm为圣人）开始开发 Docker如何工作？我已经阅读了docker-compose，但是我怎样才能实现一个合适的工作stream？我也对Docker中的COPY命令感到困惑。我是否需要将所有文件复制到Docker容器中？我知道，有很多问题，但也许你可以提供一些简单易懂的教程或一些链接。

如何在服务启动之前加载Docker镜像？: 我花了一些时间与Vagrant和CoreOS和Docker，有这么多的学习… 我在一个开发环境中工作，经常UP和DESTROY操作，所以我不想每次下载docker图像 …它需要太多的时间，图像是非常重的。那么，我拉我最经常使用的图像，并保存它们。 core@core-01 ~ $ docker save ubuntu:latest > /home/core/share/ubuntu.tar core@core-01 ~ $ docker save mysql > /home/core/share/mysql.tar core@core-01 ~ $ docker save wordpress:latest > /home/core/share/wordpress.tar 如果需要，我再次加载它们。 core@core-03 ~ $ docker load -i=/home/core/share/wordpress.tar core@core-04 ~ $ docker load -i=/home/core/share/mysql.tar 到目前为止一切正常。但是当我尝试构build集群时，我遇到了问题。我有两个简单的服务数据库和Web database.1.service [Unit] Description=Run database_1 After=docker.service Requires=docker.service [Service] Restart=always RestartSec=10s ExecStartPre=/usr/bin/docker ps […]

Vagrant如何在CentOS上自动安装Docker？: 我想知道Vagrant是如何在Dockerconfiguration器上安装Docker的。 stream浪者是使用某些软件包pipe理器中的软件包还是从源代码构build？哪些命令被解雇完成安装过程？

无法通过Docker和Vagrant安装MariaDB: 当通过Dockerfile和Vagrant安装MariaDB时，我一直得到这个错误： New password for the MariaDB "root" user: Use of uninitialized value $_[1] in join or string at /usr/share/perl5/Debconf/DbDriver/Stack.pm line 111. invoke-rc.d: policy-rc.d denied execution of stop. Use of uninitialized value $val in substitution (s///) at /usr/share/perl5/Debconf/Format/822.pm line 83, <GEN6> line 1. Use of uninitialized value $val in concatenation (.) or string at /usr/share/perl5/Debconf/Format/822.pm line […]

stream浪docker提供商缓慢build立: 我正尝试在Windows机器上使用Docker提供程序的Vagrant。我有这样的Vagrantfile： ENV['VAGRANT_DEFAULT_PROVIDER'] = 'docker' Vagrant.require_version ">= 1.6.0" VAGRANTFILE_API_VERSION = "2" Vagrant.configure(VAGRANTFILE_API_VERSION) do |config| config.vm.define "app" do |app| app.vm.provider "docker" do |d| d.name = "app" d.build_dir = "." d.vagrant_machine = "dockerhost" d.vagrant_vagrantfile = "./DockerhostVagrantfile" end end end Docker主机定义如下： Vagrant.configure("2") do |config| config.vm.synced_folder ".", "/vagrant", type: "smb" config.vm.provision "docker" config.vm.define "dockerhost" config.vm.box = "ubuntu/trusty64" config.vm.network "forwarded_port", […]

Ubuntu的Snappy核心操作系统上的Ghost博客: 我有使用这些命令在一个Snappy虚拟机内运行的Ghost博客：vagrant init ubuntu / ubuntu-15.04-snappy-core-stable vagrant up && vagrant ssh docker pull ghost docker run -d -p 80：2368 -v / home / ubuntu / blog –name hello-world ghost 现在博客正在运行，我怎么能从外面看呢？