• 构建Hadoop集群实验

    日期:

    (1)通过实训平台进入到操作系统界面,在#后输入mkdir ssh命令,创建一个ssh文件夹,然后在#后输入cd ssh命令,进入ssh文件夹中。示例代码如下: [root@it~]# mkdir ssh [root@it~]# cd ssh (2)在#后输入vi Dockerfile命令,创建并编辑一个Dockerfile文件...

  • 使用Apache Ambari管理Hadoop集群

    日期:

    1. 服务管理 (1)登录到实训系统,接着登录到安装好的ambari平台(用户名:密码admin:admin),ambari大数据平台首页。如图1所示: (2)服务信息,在页面左侧的服务列表中,可以选中任何一个想要操作的服务。以 HDFS为例,单击左侧服务列表中的HDFS按钮后...

  • 使用Ambari安装Hadoop集群

    日期:

    声明:此次安装使用版本为Linux6.6,ambari文件ambari-1.7.0-centos6.tar.gz,HDP文件HDP-2.2.0.0-centos6-rpm.tar.gz,HDP-UTILS文件HDP-UTILS-1.1.0.20-centos6.tar.gz 关于Hadoop的一些组件需要用到的传统型数据库:MySQL,Derby,PostgerSQL。在Ambari安装...

  • 【架构】Nginx+Keepalived高可用集群

    日期:

    1.Keepalived高可用软件 Keepalived软件起初是专为LVS负载均衡软件设计的,用来管理并监控LVS集群系统中各个服务节点的状态,后来又加入了可以实现高可用的VRRP功能。因此,keepalived除了能够管理LVS软件外,还可以作为其他服务的高可用解决方案软件。 keep...

  • 群集架构篇——nginx反向代理+keepalived双机热备+tomcat服务器池+后端数据库

    日期:

    群集架构篇nginx反向代理+keepalived双机热备+tomcat服务器池+后端数据库 一、系统环境 1、2台CentOS 7作为nginx服务器绑定同一块虚拟网卡:vnet1 对应的IP分别为:192.168.80.100 192.168.80.110 2、2台CentOS 7作为tomcat服务器同样绑定同一款网卡:vnet1...

  • hadoop + spark+ hive 集群搭建(apache版本)

    日期:

    2018-09-11 17:49:27 0. 引言 hadoop 集群,初学者顺利将它搭起来,肯定要经过很多的坑。经过一个星期的折腾,我总算将集群正常跑起来了,所以,想将集群搭建的过程整理记录,分享出来,让大家作一个参考。 由于搭建过程比较漫长,所以,这篇文章应该也会很...

  • Hadoop的HA环境搭建

    日期:

    一、集群的规划 Zookeeper集群: 192.168.176.131 (bigdata112) 192.168.176.132 (bigdata113) 192.168.176.135 (bigdata114) Hadoop集群: 192.168.176.131 (bigdata112) NameNode1 ResourceManager1 Journalnode 192.168.176.132 (bigdata113) N...

  • 在kubernetes集群中运行nginx

    日期:

    在完成前面kubernetes数据持久化的学习之后,本节我们开始尝试在k8s集群中部署nginx应用,对于nginx来说,需要持久化的数据主要有两块: 1、nginx配置文件和日志文件 2、网页文件 一、配置nginx网页文件持久化 1、ReplicationController配置文件如下 # cat n...

  • Kubernetes数据持久化方案

    日期:

    在开始介绍k8s持久化存储前,我们有必要了解一下k8s的emptydir和hostpath、configmap以及secret的机制和用途。 1、Emptydir EmptyDir是一个空目录,他的生命周期和所属的 Pod 是完全一致的,EmptyDir主要作用可以在同一 Pod 内的不同容器之间共享工作过程中...

  • Kubernetes集群配置dashboard服务

    日期:

    本文将在前文的基础上介绍kube-ui(也叫dashboard)的创建和使用。这个东西本质上就是webui连接master的api接口,通过api获取k8s集群的相关信息,然后在web上展示出来,对用户来说比较友好一些,实际用处并不是很大。 一、下载镜像文件并纳入本地仓库统一管...