（1）通过实训平台进入到操作系统界面，在#后输入mkdir ssh命令，创建一个ssh文件夹，然后在#后输入cd ssh命令，进入ssh文件夹中。示例代码如下： [root@it~]# mkdir ssh [root@it~]# cd ssh （2）在#后输入vi Dockerfile命令，创建并编辑一个Dockerfile文件...

1. 服务管理 （1）登录到实训系统，接着登录到安装好的ambari平台（用户名：密码admin：admin），ambari大数据平台首页。如图1所示： （2）服务信息，在页面左侧的服务列表中，可以选中任何一个想要操作的服务。以 HDFS为例，单击左侧服务列表中的HDFS按钮后...

声明：此次安装使用版本为Linux6.6，ambari文件ambari-1.7.0-centos6.tar.gz，HDP文件HDP-2.2.0.0-centos6-rpm.tar.gz，HDP-UTILS文件HDP-UTILS-1.1.0.20-centos6.tar.gz 关于Hadoop的一些组件需要用到的传统型数据库：MySQL,Derby，PostgerSQL。在Ambari安装...

1.Keepalived高可用软件 Keepalived软件起初是专为LVS负载均衡软件设计的，用来管理并监控LVS集群系统中各个服务节点的状态，后来又加入了可以实现高可用的VRRP功能。因此，keepalived除了能够管理LVS软件外，还可以作为其他服务的高可用解决方案软件。 keep...

群集架构篇nginx反向代理+keepalived双机热备+tomcat服务器池+后端数据库 一、系统环境 1、2台CentOS 7作为nginx服务器绑定同一块虚拟网卡：vnet1 对应的IP分别为：192.168.80.100 192.168.80.110 2、2台CentOS 7作为tomcat服务器同样绑定同一款网卡：vnet1...

2018-09-11 17:49:27 0. 引言 hadoop 集群，初学者顺利将它搭起来，肯定要经过很多的坑。经过一个星期的折腾，我总算将集群正常跑起来了，所以，想将集群搭建的过程整理记录，分享出来，让大家作一个参考。 由于搭建过程比较漫长，所以，这篇文章应该也会很...

一、集群的规划 Zookeeper集群： 192.168.176.131 （bigdata112） 192.168.176.132 （bigdata113） 192.168.176.135 （bigdata114） Hadoop集群： 192.168.176.131 （bigdata112） NameNode1 ResourceManager1 Journalnode 192.168.176.132 （bigdata113） N...

在完成前面kubernetes数据持久化的学习之后，本节我们开始尝试在k8s集群中部署nginx应用，对于nginx来说，需要持久化的数据主要有两块： 1、nginx配置文件和日志文件 2、网页文件 一、配置nginx网页文件持久化 1、ReplicationController配置文件如下 # cat n...

在开始介绍k8s持久化存储前，我们有必要了解一下k8s的emptydir和hostpath、configmap以及secret的机制和用途。 1、Emptydir EmptyDir是一个空目录，他的生命周期和所属的 Pod 是完全一致的，EmptyDir主要作用可以在同一 Pod 内的不同容器之间共享工作过程中...

本文将在前文的基础上介绍kube-ui（也叫dashboard）的创建和使用。这个东西本质上就是webui连接master的api接口，通过api获取k8s集群的相关信息，然后在web上展示出来，对用户来说比较友好一些，实际用处并不是很大。 一、下载镜像文件并纳入本地仓库统一管...

Kubernetes API的其它服务。Service Account它并不是给kubernetes集群的用户使用的，而是给pod里面的进程使用的，它为pod提供必要的身份认证。 Kubernetes提供了Secret来处理敏感信息，目前Secret的类型有3种： Opaque(default): 任意字符串 kubernetes.io/s...

本文将在前文的基础上介绍在kubernetes集群环境中配置dns服务，在k8s集群中，pod的生命周期是短暂的，pod重启后ip地址会产生变化，对于应用程序来说这是不可接受的，为解决这个问题，K8S集群巧妙的引入的dns服务来实现服务的发现，在k8s集群中dns总共需要使...

675人阅读 本文将介绍配置Kubernetes集群，kubernetes集群由master节点和slave节点组成。 Master节点上运行如下服务: etcd (etcd服务也可以单独运行，不一定要运行在Master节点上) kube-apiserver kube-controller-manager kube-scheduler Kubelet kube-prox...

本文介绍学习kubernetes的环境相关准备工作，要进行kubernetes集群的学习我们至少需要两台主机，在本例中，我使用了两台VMware虚拟机完成了docker环境和flannel网络的配置工作。 k8s支持丰富的网络插件，通过网络插件实现不同主机上的docker容器网络互联互通...

一、Kubernetes体系架构 Kubernetes是Google开源的容器集群管理系统，其提供应用部署、维护、 扩展机制等功能，利用Kubernetes能方便地管理跨机器运行容器化的应用，其主要功能如下： 1) 使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)...

近期花了比较多的时间研究和学习k8s，陆续写了一些博文。为方便阅读，顺手整理了个索引。希望对大家有所帮助，如有错误之处，烦请指出。 一、K8S 1.5.2篇 1、kubernetes简要介绍 http://blog.51cto.com/ylw6006/2066287 2、kubernetes集群环境准备工作 http:/...

本文将介绍基于heapster获取metric的HPA配置。在开始之前，有必要先了解一下K8S的HPA特性。 1、HPA全称Horizontal Pod Autoscaling，即pod的水平自动扩展。 自动扩展主要分为两种，其一为水平扩展，针对于实例数目的增减；其二为垂直扩展，即单个实例可以使用...

今年3月份在公司的内部k8s培训会上，开发同事表示使用dashboard的可以满足日常开发需求，例如查看pod的日志，执行exec指令，查看pod的运行状态等，但对basic认证的权限控制表示担忧。 之前介绍过在1.5.2版本上部署dashboard服务，在1.9.1版本离线部署中，也介...

Hadoop伪分布式 一、准备工作 1、关闭防火墙 service iptables start 立即开启防火墙，但是重启后失效。 service iptables stop 立即关闭防火墙，但是重启后失效。 如下命令是永久性操作，重启后生效。 chkconfig iptables on 开启防火墙，重启后生效。 chkc...

Hadoop完全分布式配置 一、 介绍 Hadoop2.0中，2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制，Quorum Journal Node（JournalNode）集群或者Nnetwork File System（NFS）进行共享。NFS是操作系统层面的，JournalNode是hadoop层面的，我们这...

1 Hadoop 是什么？ Apache Hadoop 是一个支持数据密集型分布式应用程序的开源软件框架，能在大型集群上运行应用程序。Hadoop 框架实现了 MapReduce 编程范式，把应用程序分成许多小部分，每个部分能在任意节点上运行。并且 Hadoop 提供了分布式文件系统存储...

Table of Contents 1 规划和准备 2 安装 3 配置 3.1 配置NginX 3.2 配置keepalived 3.3 让keepalived监控NginX的状态 4 还可以做什么 5. 补充：SSL配置(update:2013-05-17) 1规划和准备 需要统一接入的应用系统 应用系统 域名/虚拟目录 应用服务器及URL svn...

环境：CentOS6.5 Hadoop2.5.2 HBase1.0.0 1.安装好 hadoop 集群，并启动 [grid@hadoop4 ~]$ sh hadoop-2.5.2/sbin/start-dfs.sh [grid@hadoop4 ~]$ sh hadoop-2.5.2/sbin/start-yarn.sh 查看 hadoop 版本： [grid@hadoop4 ~]$ hadoop-2.5.2/bin/hadoop versi...

前言 Hadoop2.0介绍 Hadoop是 apache 的开源 项目，开发的主要目的是为了构建可靠，可拓展 scalable ，分布式的系 统， hadoop 是一系列的子工程的 总和，其中包含 1. hadoop common ： 为其他项目提供基础设施 2. HDFS ：分布式的文件系 统 3. MapReduce ：...

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲，...

总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。 1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完...

官方网站: https://github.com/coreos/etcd/ 环境: CentOS7 etcd-3.0.4 3节点集群示例 etcd1:192.168.8.101 etcd2:192.168.8.102 etcd3:192.168.8.103 一.安装etcd(所有节点) curl -L https://github.com/coreos/etcd/releases/download/v3.0.4/etcd-v3.0.4-l...

前言 前篇文章我们主要讲解了LVS-DR模型的架构方式以及如何实现，想了解的小伙伴点这个LVS-NAT模型实现负载均衡，今天我们来进行实践的LVS中三种模型中的DR模型的架构以及实现方式。(实验环境还以Web集群作为实验对象) 环境 此处我们LVS-DR模型环境架构也用...