crate 集群搭建

crate 的介绍可见:https://crate.io/

适用的场景:

IOT,传感器数据收集

日志时间分析

时间序列,机器学习

1.集群安装

完整的按照可见:https://crate.io/docs/crate/getting-started/en/latest/install/linux.html

因为我用的是debian系统。所以才用的是:

bash -c “$(curl -L install.crate.io)”

由于一些网络的原因,导致失败。

所以又用了手工的方式。

1.1

sudo apt-get install apt-transport-https

1.2

wget https://cdn.crate.io/downloads/apt/DEB-GPG-KEY-crate

sudo apt-key add DEB-GPG-KEY-crate

1.3

因为我的是debian 8 ,在 /etc/apt/sources.list中添加如下

deb http://mirrors.163.com/debian/ jessie main

deb-src http://mirrors.163.com/debian/ jessie main

#deb http://security.debian.org/ jessie/updates main contrib

deb-src http://security.debian.org/ jessie/updates main contrib

#deb http://http.debian.net/debian jessie-backports main

# jessie-updates, previously known as ‘volatile’

deb http://mirrors.163.com/debian/ jessie-updates main contrib

deb-src http://mirrors.163.com/debian/ jessie-updates main contrib

deb http://http.debian.net/debian jessie-backports main

deb https://cdn.crate.io/downloads/apt/stable/ jessie main

deb-src https://cdn.crate.io/downloads/apt/stable/ jessie main

其他详细的源地址可见:

http://mirrors.163.com/

http://mirrors.aliyun.com/

自己根据网速选择一个即可。

1.4

sudo apt-get update

sudo apt-get install crate

1.5

在安装的过程中,当出现以下信息时候才回复Y,其他时间都是回复N。

Install the following packages:

1)    ca-certificates-java [20161107~bpo8+1 (jessie-backports)]

Accept this solution? [Y/n/q/?] Y

剩下的就是等了。

2.配置

安装好后,配置文件在 /etc/crate/目录下。

主要是/etc/crate/crate.yml 文件。

其中的核心配置:

path.data: /data/datum/crate            // 数据存储目录,多个用逗号分隔。

path.logs: /data/log/crate              // 日志存放的目录

gateway.expected_nodes: 3              // 期望的节点书,一般建议是奇数

gateway.recover_after_nodes: 2          // gateway.expected_nodes/2 +1

discovery.zen.minimum_master_nodes:2    // gateway.expected_nodes/2 +1

//集群模式节点配置

discovery.zen.ping:

unicast.hosts:

– bigdata-test-14:4300

– bigdata-test-13:4300

– bigdata-test-12:4300

network.bind_host: 0.0.0.0              // 绑定的IP地址

network.publish_host: 10.23.58.145      // 对外暴露的IP地址,这里每台机器配置自己的IP即可。

以上配置除了network.publish_host 各个节点不同之外,其他都可以一样,剩余的配置都可以不修改。完整的配置可见:https://crate.io/docs/crate/reference/en/latest/configuration/node.html

3.启动

分别在三台机器中执行

service crate start  // 启动

service crate status  // 查看状态

页面查看: http://bigdata-test-12:4200/

4.命令行查看

pip install –user crash

linux下,需要把 ~/.local/bin 加入到PATH 中。

vim /etc/profile

export PATH=$PATH:/root/.local/bin

source /etc/profile

root@bigdata-test-12:~# crash

CONNECT OK

cr>

OK了!

作者: inter12

在这苦短的人生中,追求点自己的简单快乐

《crate 集群搭建》有3个想法

发表评论

电子邮件地址不会被公开。 必填项已用*标注