欢迎光临IT网Linux学习频道

当前位置: > Linux集群 >
  • [Hadoop] 构建Hadoop集群实验 日期:2019-07-27 14:22:18 点击:121 好评:0

    (1)通过实训平台进入到操作系统界面,在#后输入mkdir ssh命令,创建一个ssh文件夹,然后在#后输入cd ssh命令,进入ssh文件夹中。示例代码如下: [root@it~]# mkdir ssh [root@it~]# cd ssh (2)在#后输入vi Dockerfile命令,创建并编辑一个Dockerfile文件...

  • [Hadoop] 使用Apache Ambari管理Hadoop集群 日期:2019-07-27 14:09:18 点击:125 好评:0

    1. 服务管理 (1)登录到实训系统,接着登录到安装好的ambari平台(用户名:密码admin:admin),ambari大数据平台首页。如图1所示: (2)服务信息,在页面左侧的服务列表中,可以选中任何一个想要操作的服务。以 HDFS为例,单击左侧服务列表中的HDFS按钮后...

  • [Hadoop] 使用Ambari安装Hadoop集群 日期:2019-07-27 14:07:36 点击:110 好评:0

    声明:此次安装使用版本为Linux6.6,ambari文件ambari-1.7.0-centos6.tar.gz,HDP文件HDP-2.2.0.0-centos6-rpm.tar.gz,HDP-UTILS文件HDP-UTILS-1.1.0.20-centos6.tar.gz 关于Hadoop的一些组件需要用到的传统型数据库:MySQL,Derby,PostgerSQL。在Ambari安装...

  • [服务器集群] 【架构】Nginx+Keepalived高可用集群 日期:2019-07-07 14:39:33 点击:105 好评:0

    1.Keepalived高可用软件 Keepalived软件起初是专为LVS负载均衡软件设计的,用来管理并监控LVS集群系统中各个服务节点的状态,后来又加入了可以实现高可用的VRRP功能。因此,keepalived除了能够管理LVS软件外,还可以作为其他服务的高可用解决方案软件。 keep...

  • [服务器集群] 群集架构篇——nginx反向代理+keepalived双机热备+tomcat服务器池+后端数据库 日期:2019-02-10 23:16:14 点击:94 好评:0

    群集架构篇nginx反向代理+keepalived双机热备+tomcat服务器池+后端数据库 一、系统环境 1、2台CentOS 7作为nginx服务器绑定同一块虚拟网卡:vnet1 对应的IP分别为:192.168.80.100 192.168.80.110 2、2台CentOS 7作为tomcat服务器同样绑定同一款网卡:vnet1...

  • [Hadoop] hadoop + spark+ hive 集群搭建(apache版本) 日期:2018-10-24 15:53:24 点击:66 好评:0

    2018-09-11 17:49:27 0. 引言 hadoop 集群,初学者顺利将它搭起来,肯定要经过很多的坑。经过一个星期的折腾,我总算将集群正常跑起来了,所以,想将集群搭建的过程整理记录,分享出来,让大家作一个参考。 由于搭建过程比较漫长,所以,这篇文章应该也会很...

  • [Hadoop] Hadoop的HA环境搭建 日期:2018-10-24 15:28:49 点击:144 好评:0

    一、集群的规划 Zookeeper集群: 192.168.176.131 (bigdata112) 192.168.176.132 (bigdata113) 192.168.176.135 (bigdata114) Hadoop集群: 192.168.176.131 (bigdata112) NameNode1 ResourceManager1 Journalnode 192.168.176.132 (bigdata113) N...

  • [Kubernetes] 在kubernetes集群中运行nginx 日期:2018-05-09 11:56:35 点击:161 好评:0

    在完成前面kubernetes数据持久化的学习之后,本节我们开始尝试在k8s集群中部署nginx应用,对于nginx来说,需要持久化的数据主要有两块: 1、nginx配置文件和日志文件 2、网页文件 一、配置nginx网页文件持久化 1、ReplicationController配置文件如下 # cat n...

  • [Kubernetes] Kubernetes数据持久化方案 日期:2018-05-09 11:53:30 点击:145 好评:0

    在开始介绍k8s持久化存储前,我们有必要了解一下k8s的emptydir和hostpath、configmap以及secret的机制和用途。 1、Emptydir EmptyDir是一个空目录,他的生命周期和所属的 Pod 是完全一致的,EmptyDir主要作用可以在同一 Pod 内的不同容器之间共享工作过程中...

  • [Kubernetes] Kubernetes集群配置dashboard服务 日期:2018-05-09 11:51:21 点击:107 好评:0

    本文将在前文的基础上介绍kube-ui(也叫dashboard)的创建和使用。这个东西本质上就是webui连接master的api接口,通过api获取k8s集群的相关信息,然后在web上展示出来,对用户来说比较友好一些,实际用处并不是很大。 一、下载镜像文件并纳入本地仓库统一管...

  • [Kubernetes] kubernetes集群配置serviceaccount 日期:2018-05-09 11:50:33 点击:183 好评:0

    Kubernetes API的其它服务。Service Account它并不是给kubernetes集群的用户使用的,而是给pod里面的进程使用的,它为pod提供必要的身份认证。 Kubernetes提供了Secret来处理敏感信息,目前Secret的类型有3种: Opaque(default): 任意字符串 kubernetes.io/s...

  • [Kubernetes] kubernetes集群配置dns服务 日期:2018-05-09 11:46:21 点击:133 好评:0

    本文将在前文的基础上介绍在kubernetes集群环境中配置dns服务,在k8s集群中,pod的生命周期是短暂的,pod重启后ip地址会产生变化,对于应用程序来说这是不可接受的,为解决这个问题,K8S集群巧妙的引入的dns服务来实现服务的发现,在k8s集群中dns总共需要使...

  • [Kubernetes] Kubernetes集群配置 日期:2018-05-09 11:44:53 点击:122 好评:0

    675人阅读 本文将介绍配置Kubernetes集群,kubernetes集群由master节点和slave节点组成。 Master节点上运行如下服务: etcd (etcd服务也可以单独运行,不一定要运行在Master节点上) kube-apiserver kube-controller-manager kube-scheduler Kubelet kube-prox...

  • [Kubernetes] kubernetes集群环境准备工作 日期:2018-05-09 11:39:31 点击:194 好评:0

    本文介绍学习kubernetes的环境相关准备工作,要进行kubernetes集群的学习我们至少需要两台主机,在本例中,我使用了两台VMware虚拟机完成了docker环境和flannel网络的配置工作。 k8s支持丰富的网络插件,通过网络插件实现不同主机上的docker容器网络互联互通...

  • [Kubernetes] Kubernetes简要介绍 日期:2018-05-09 11:30:44 点击:143 好评:0

    一、Kubernetes体系架构 Kubernetes是Google开源的容器集群管理系统,其提供应用部署、维护、 扩展机制等功能,利用Kubernetes能方便地管理跨机器运行容器化的应用,其主要功能如下: 1) 使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)...

  • [Kubernetes] K8S博文索引 日期:2018-05-09 11:15:48 点击:134 好评:0

    近期花了比较多的时间研究和学习k8s,陆续写了一些博文。为方便阅读,顺手整理了个索引。希望对大家有所帮助,如有错误之处,烦请指出。 一、K8S 1.5.2篇 1、kubernetes简要介绍 http://blog.51cto.com/ylw6006/2066287 2、kubernetes集群环境准备工作 http:/...

  • [Kubernetes] K8S集群基于heapster的HPA测试 日期:2018-05-09 11:13:10 点击:76 好评:0

    本文将介绍基于heapster获取metric的HPA配置。在开始之前,有必要先了解一下K8S的HPA特性。 1、HPA全称Horizontal Pod Autoscaling,即pod的水平自动扩展。 自动扩展主要分为两种,其一为水平扩展,针对于实例数目的增减;其二为垂直扩展,即单个实例可以使用...

  • [Kubernetes] K8S使用dashboard管理集群 日期:2018-05-09 11:07:58 点击:50 好评:0

    今年3月份在公司的内部k8s培训会上,开发同事表示使用dashboard的可以满足日常开发需求,例如查看pod的日志,执行exec指令,查看pod的运行状态等,但对basic认证的权限控制表示担忧。 之前介绍过在1.5.2版本上部署dashboard服务,在1.9.1版本离线部署中,也介...

  • [Hadoop] 伪Hadoop伪分布式集群搭建 日期:2018-04-27 14:43:35 点击:54 好评:0

    Hadoop伪分布式 一、准备工作 1、关闭防火墙 service iptables start 立即开启防火墙,但是重启后失效。 service iptables stop 立即关闭防火墙,但是重启后失效。 如下命令是永久性操作,重启后生效。 chkconfig iptables on 开启防火墙,重启后生效。 chkc...

  • [Hadoop] Hadoop完全分布式配置 日期:2018-04-27 14:41:04 点击:97 好评:0

    Hadoop完全分布式配置 一、 介绍 Hadoop2.0中,2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制,Quorum Journal Node(JournalNode)集群或者Nnetwork File System(NFS)进行共享。NFS是操作系统层面的,JournalNode是hadoop层面的,我们这...

  • [Hadoop] Hadoop 集群安装与配置 日期:2017-07-21 20:45:29 点击:55 好评:0

    1 Hadoop 是什么? Apache Hadoop 是一个支持数据密集型分布式应用程序的开源软件框架,能在大型集群上运行应用程序。Hadoop 框架实现了 MapReduce 编程范式,把应用程序分成许多小部分,每个部分能在任意节点上运行。并且 Hadoop 提供了分布式文件系统存储...

  • [负载均衡SLB] 用NginX+keepalived实现高可用的负载均衡 日期:2017-02-12 16:04:53 点击:77 好评:0

    Table of Contents 1 规划和准备 2 安装 3 配置 3.1 配置NginX 3.2 配置keepalived 3.3 让keepalived监控NginX的状态 4 还可以做什么 5. 补充:SSL配置(update:2013-05-17) 1规划和准备 需要统一接入的应用系统 应用系统 域名/虚拟目录 应用服务器及URL svn...

  • [Hadoop] Hadoop2.x下安装HBase 日期:2017-02-05 23:39:52 点击:71 好评:0

    环境:CentOS6.5 Hadoop2.5.2 HBase1.0.0 1.安装好 hadoop 集群,并启动 [grid@hadoop4 ~]$ sh hadoop-2.5.2/sbin/start-dfs.sh [grid@hadoop4 ~]$ sh hadoop-2.5.2/sbin/start-yarn.sh 查看 hadoop 版本: [grid@hadoop4 ~]$ hadoop-2.5.2/bin/hadoop versi...

  • [Hadoop] Hadoop 2.0集群配置详细教程 日期:2017-02-05 23:37:18 点击:82 好评:0

    前言 Hadoop2.0介绍 Hadoop是 apache 的开源 项目,开发的主要目的是为了构建可靠,可拓展 scalable ,分布式的系 统, hadoop 是一系列的子工程的 总和,其中包含 1. hadoop common : 为其他项目提供基础设施 2. HDFS :分布式的文件系 统 3. MapReduce :...

  • [Hadoop] Hadoop完全分布式搭建 日期:2017-02-05 23:35:28 点击:56 好评:0

    Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲,...

  • [Hadoop] CentOS7安装Hadoop2.7完整流程 日期:2017-02-05 22:27:28 点击:65 好评:0

    总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs、mapreduce等主从关系。 1、环境,3台CentOS7,64位,Hadoop2.7需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分钟就可以安装完...

  • [服务器集群] etcd 集群管理维护 日期:2017-02-03 17:07:58 点击:75 好评:0

    官方网站: https://github.com/coreos/etcd/ 环境: CentOS7 etcd-3.0.4 3节点集群示例 etcd1:192.168.8.101 etcd2:192.168.8.102 etcd3:192.168.8.103 一.安装etcd(所有节点) curl -L https://github.com/coreos/etcd/releases/download/v3.0.4/etcd-v3.0.4-l...

  • [服务器集群] LVS-DR模型实现负载均衡 日期:2017-02-02 00:35:06 点击:91 好评:0

    前言 前篇文章我们主要讲解了LVS-DR模型的架构方式以及如何实现,想了解的小伙伴点这个LVS-NAT模型实现负载均衡,今天我们来进行实践的LVS中三种模型中的DR模型的架构以及实现方式。(实验环境还以Web集群作为实验对象) 环境 此处我们LVS-DR模型环境架构也用...

  • 首页
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 下一页
  • 末页
  • 29802
栏目列表
推荐内容