hadoop + spark+ hive 集群搭建(apache版本)

2018-09-11 17:49:27 0. 引言 hadoop 集群，初学者顺利将它搭起来，肯定要经过很多的坑。经过一个星期的折腾，我总算将集群正常跑起来了，所以，想将集群搭建的过程整理记录，分享出来，让大家作一个参考。 由于搭建过程比较漫长，所以，这篇文章应该也会很...

Hadoop的HA环境搭建

一、集群的规划 Zookeeper集群： 192.168.176.131 （bigdata112） 192.168.176.132 （bigdata113） 192.168.176.135 （bigdata114） Hadoop集群： 192.168.176.131 （bigdata112） NameNode1 ResourceManager1 Journalnode 192.168.176.132 （bigdata113） N...

在kubernetes集群中运行nginx

在完成前面kubernetes数据持久化的学习之后，本节我们开始尝试在k8s集群中部署nginx应用，对于nginx来说，需要持久化的数据主要有两块： 1、nginx配置文件和日志文件 2、网页文件 一、配置nginx网页文件持久化 1、ReplicationController配置文件如下 # cat n...

Kubernetes数据持久化方案

在开始介绍k8s持久化存储前，我们有必要了解一下k8s的emptydir和hostpath、configmap以及secret的机制和用途。 1、Emptydir EmptyDir是一个空目录，他的生命周期和所属的 Pod 是完全一致的，EmptyDir主要作用可以在同一 Pod 内的不同容器之间共享工作过程中...

Kubernetes集群配置dashboard服务

本文将在前文的基础上介绍kube-ui（也叫dashboard）的创建和使用。这个东西本质上就是webui连接master的api接口，通过api获取k8s集群的相关信息，然后在web上展示出来，对用户来说比较友好一些，实际用处并不是很大。 一、下载镜像文件并纳入本地仓库统一管...

kubernetes集群配置serviceaccount

Kubernetes API的其它服务。Service Account它并不是给kubernetes集群的用户使用的，而是给pod里面的进程使用的，它为pod提供必要的身份认证。 Kubernetes提供了Secret来处理敏感信息，目前Secret的类型有3种： Opaque(default): 任意字符串 kubernetes.io/s...

kubernetes集群配置dns服务

本文将在前文的基础上介绍在kubernetes集群环境中配置dns服务，在k8s集群中，pod的生命周期是短暂的，pod重启后ip地址会产生变化，对于应用程序来说这是不可接受的，为解决这个问题，K8S集群巧妙的引入的dns服务来实现服务的发现，在k8s集群中dns总共需要使...

Kubernetes集群配置

675人阅读 本文将介绍配置Kubernetes集群，kubernetes集群由master节点和slave节点组成。 Master节点上运行如下服务: etcd (etcd服务也可以单独运行，不一定要运行在Master节点上) kube-apiserver kube-controller-manager kube-scheduler Kubelet kube-prox...

kubernetes集群环境准备工作

本文介绍学习kubernetes的环境相关准备工作，要进行kubernetes集群的学习我们至少需要两台主机，在本例中，我使用了两台VMware虚拟机完成了docker环境和flannel网络的配置工作。 k8s支持丰富的网络插件，通过网络插件实现不同主机上的docker容器网络互联互通...

Kubernetes简要介绍

一、Kubernetes体系架构 Kubernetes是Google开源的容器集群管理系统，其提供应用部署、维护、 扩展机制等功能，利用Kubernetes能方便地管理跨机器运行容器化的应用，其主要功能如下： 1) 使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)...