Tag: cassandra

Cassandra，JNA，Docker和CAP_IPC_LOCK: 我试图优化我的Cassandra（3.7+）Docker容器的性能。我发现从2015年的一个演示文稿（在幻灯片21），我应该授予CAP_IPC_LOCK并设置ulimit memlock。经过一番挖掘，似乎有两个select基本上是为了防止系统交换JVM，现代版本的Cassandra似乎通过使用JNA来完成。在我的Docker容器上设置–ulimit memlock=-1:-1产生这样的效果 INFO 12:42:33 JNA mlockall successful 在启动时打印，所以我假设我已经完成了设置和完成。我仍然需要–cap-add=CAP_IPC_LOCK ，如果是的话，如何检测我是否正确设置？

org.apache.spark.sql.SQLContext无法加载文件: 我有一个简单的Spark工作，它从pipe道分离的文件读取值，并对其执行一些业务逻辑，并将处理后的值写入我们的数据库。所以要加载文件，我使用org.apache.spark.sql.SQLContext 。这是我必须加载文件作为DataFrame DataFrame df = sqlContext.read() .format("com.databricks.spark.csv") .option("header", "false") .option("comment", null) .option("delimiter", "|") .option("quote", null) .load(pathToTheFile); 现在的问题是1. loadfunction无法加载文件2.它没有给出关于这个问题的很多细节（例外），除了在我的控制台我得到 WARN 2017-11-07 17:26:40,108 akka.remote.ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkExecutor@172.17.0.2:35359] has failed, address is now gated for [5000] ms. Reason is: [Disassociated]. ERROR 2017-11-07 17:26:40,134 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 0 并继续轮询。我相信，该文件是可用的格式正确的预期文件夹。但不知道这个日志是什么，为什么SQLContext能够加载文件。这是我的build.gradle的依赖关系部分： […]

在Docker中设置cassandra驱动程序（python）: 几个月前，我使用了一个docker文件：（1）使用base ubuntu镜像，（2）安装miniconda python发行版，（3）使用miniconda安装一些python库，（4）运行以下命令为python设置cassandra驱动程序。 RUN pip install –upgrade pip RUN pip install cassandra-driver 这在六个月前完美运作。但现在我得到这个例外。 Step 13 : RUN pip install cassandra-driver —> Running in ba9955650d7c Collecting cassandra-driver Downloading cassandra-driver-3.0.0.tar.gz (186kB) Complete output from command python setup.py egg_info: warning: no files found matching '*.pyx' under directory 'Cython/Debugger/Tests' warning: no files found matching '*.pxd' under directory 'Cython/Debugger/Tests' […]

即使容器很小，Docker的磁盘空间也不足: 我已经安装了Docker Toolbox for Mac OSX，并在其中运行了多个容器。我创造的前两个是与卡桑德拉和运行良好。之后，我创build了2个Debian容器，通过dockerterminal连接到bash，目的是安装Oracle JDK8。当我准备从tar包中提取java的时候 – 在执行“tar”命令的过程中，出现了大量的“无法写入：设备上没有剩余空间”的错误信息。我已经检查了空间： $ docker ps -s CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES SIZE 9d8029e21918 debian:latest "/bin/bash" 54 minutes ago Up 54 minutes deb-2 620.5 MB (virtual 744 MB) 49c7a0e37475 debian:latest "/bin/bash" 55 minutes ago Up 55 minutes deb-1 620 MB (virtual 743.5 MB) […]