CentOS下 Graph Analytics集群安装
时间:2015-11-04 18:49 来源:linux.it.net.cn 作者:IT
官方安装文档:
https://github.com/dato-code/PowerGraph/blob/master/TUTORIALS.md#cluster
操作系统:centos6.5 64
1. 首先在一个节点上安装graphlab,我的安装路径为/home/liulan/software/
2. 安装依赖软件gcc, c++, git, make, cmake, openmpi, autoconf, automake...使用yum安装即可。注意openmpi每个节点的路径要一致。
3. 下载软件,并运行configure:
[plain] view plaincopy
-
git clone https://github.com/graphlab-code/graphlab.git
-
cd graphlab
-
./configure
4. 选择要安装的toolkit编译,我编译的是graph_analytics,执行以下命令:
[plain] view plaincopy
-
cd release/toolkits/graph_analytics
-
make -j4
到这儿的时候出错了,错误如下:
这一段是同学给帮忙解决的,两个人都要哭了。。
好像是因为不能生成共享的动态库,不太明白。具体方法是把hadoop下makefile文件的LDFLAGS内容改一下,如下:
最后看到生成的亮亮的绿色文件简直要哭了。。
(PS:.so为动态链接库,.a静态链接库)
5. 接下来开始部署分布式环境,当前主目录下建立machines文件,并写入每个节点的ip地址,每个ip之间回车隔开;
[plain] view plaincopy
-
10.1.1.103
-
10.1.1.101
-
10.1.1.105
6. 确保每台机器上相同目录下都有这个文件;
7. 设置每台机器之间相互ssh免密码登录,我用的办法好像有点诡异,不过很简单:将master节点上的.ssh文件夹拷贝到其他机器上,然后将每个节点的.ssh/id_rsa文件权限改为600,具体的方法之前的文章有提到过;
8. 在安装graphlab(master)节点上执行以下命令以将GraphLab文件拷贝到所有机器上:
[plain] view plaincopy
-
cd /home/liulan/software/graphlab/release/toolkits
-
<pre name="code" class="plain">/home/liulan/software/<span style="font-family: Arial, Helvetica, sans-serif;">graphlab/scripts/mpirsync</span>
[plain] view plaincopy
-
/home/liulan/software/<span style="font-family: Arial, Helvetica, sans-serif;">graphlab/deps/local</span>
[plain] view plaincopy
-
/home/liulan/software/<span style="font-family: Arial, Helvetica, sans-serif;">graphlab/scripts/mpirsync</span>
我的openmpi可能没配置好吧,需要修改mpirsync文件:
运行mpirsync之后发现rsync没有装,于是又把rsync配置好,网上资料很多;
之后这一步应该就能成功通过了吧;
hadoop就先不配置了,过程也很简单,这会儿可以自己跑跑自带的程序试试了;
(责任编辑:IT)
官方安装文档: https://github.com/dato-code/PowerGraph/blob/master/TUTORIALS.md#cluster 操作系统:centos6.5 64 1. 首先在一个节点上安装graphlab,我的安装路径为/home/liulan/software/ 2. 安装依赖软件gcc, c++, git, make, cmake, openmpi, autoconf, automake...使用yum安装即可。注意openmpi每个节点的路径要一致。 3. 下载软件,并运行configure:
[plain] view plaincopy
4. 选择要安装的toolkit编译,我编译的是graph_analytics,执行以下命令:
[plain] view plaincopy
这一段是同学给帮忙解决的,两个人都要哭了。。 好像是因为不能生成共享的动态库,不太明白。具体方法是把hadoop下makefile文件的LDFLAGS内容改一下,如下:
最后看到生成的亮亮的绿色文件简直要哭了。。 (PS:.so为动态链接库,.a静态链接库) 5. 接下来开始部署分布式环境,当前主目录下建立machines文件,并写入每个节点的ip地址,每个ip之间回车隔开;
[plain] view plaincopy
6. 确保每台机器上相同目录下都有这个文件; 7. 设置每台机器之间相互ssh免密码登录,我用的办法好像有点诡异,不过很简单:将master节点上的.ssh文件夹拷贝到其他机器上,然后将每个节点的.ssh/id_rsa文件权限改为600,具体的方法之前的文章有提到过; 8. 在安装graphlab(master)节点上执行以下命令以将GraphLab文件拷贝到所有机器上:
[plain] view plaincopy
[plain] view plaincopy
[plain] view plaincopy
我的openmpi可能没配置好吧,需要修改mpirsync文件:
运行mpirsync之后发现rsync没有装,于是又把rsync配置好,网上资料很多; 之后这一步应该就能成功通过了吧; hadoop就先不配置了,过程也很简单,这会儿可以自己跑跑自带的程序试试了; (责任编辑:IT) |