茂盛博客
maosheng · 共 269 篇文章
[置顶] Apache Flink运行环境搭建
Apache Flink运行环境搭建 172.18.12.85 flink01 ##master节点,jobManager 172.18.12.86 flink02 ##worker节点,taskmanager 172.18.12.87 flink03 ##worker节点,taskmanager 一、每台机器上配置好 Java 以及 JAVA_HOME 环境变量 1.首先下载对应系统的JDK压缩包,然后解压压缩包 > tar -zvxf jdk-7u79-linux-x64.gz 2.移动解压的文件到应用存放目录 > mv jdk1.7.0_79 /usr/appdata 3.编辑/etc…
2025-11-14T10:16:49Z · 开源软件 · 评论(0)
[置顶] 容器技术的基石: cgroup、namespace和联合文件系统
Docker 是基于 Linux Kernel 的 Namespace 、 Cgroups 和 联合文件系统实现的技术实现的。 Docker 是利用 Linux 的 Namespace 、Cgroups 和 联合文件系统三大机制来保证实现的, 所以它的原理是使用 Namespace 做主机名、网络、PID 等资源的隔离,使用 Cgroups 对进程或者进程组做资源(例如:CPU、内存等)的限制,联合文件系统用于镜像构建和容器运行环境。 一、Namespace: Namespace 是 Linux 内核的一项功能,该功能对内核资源进行分区,以使一组进程看到一组资源,而另一组进程看到另一组资源。…
2021-12-09T10:47:41Z · 企业架构 · 评论(0)
[置顶] 在Kubernetes上部署 Redis 三主三从 集群
NFS搭建见: Linux NFS搭建与配置(https://www.iteye.com/blog/maosheng-2517254) 一、创建pv cat redis-pv.yml apiVersion: v1 kind: PersistentVolume metadata: name: redis-pv1 spec: capacity: storage: 5Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Recycle storageClassName: "redis-cluster" nfs: path: /…
2021-03-10T16:25:46Z · 企业架构 · 评论(0)
[置顶] docker-compose 部署ELK(logstash->elasticsearch->kibana)
概述: ELK是三个开源软件的缩写,分别表示:elasticsearch、logstash、kibana Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等 Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。 Logstash收集AppServer…
2020-11-11T18:02:32Z · 企业架构 · 评论(0)
[置顶] Kubernetes1.16.3下部署node-exporter+alertmanager+prometheus+grafana 监控系统
准备工作 建议将所有的yaml文件存在如下目录: mkdir /script/prometheus -p && cd /script/prometheus NFS搭建见: Linux NFS搭建与配置(https://www.iteye.com/blog/maosheng-2517254) 一、部署node-exporter 为了能够采集集群中各个节点的资源使用情况,我们需要在各节点中部署一个Node Exporter实例。与Prometheus的部署不同的是,对于Node Exporter而言每个节点只需要运行一个唯一的实例,此时,就需要使用Kubernetes的另外一种控制 器Daemo…
2020-10-28T10:48:40Z · 企业架构 · 评论(0)
[置顶] API 网关 kong 的 konga 配置使用
一、Kong 概述: kong的管理配置,官方(https://docs.konghq.com/2.1.x/admin-api)都是通过Kong API 的方式设置,通过 konga 进行管理配置的资料比较稀少且零散,为此根据本人实际的使用经验,归纳总结分享,希望对大家有所帮助!! 默认开放的端口:8000、8001、8443、8444 接受客户端流量的端口: 8000,监听来自客户端的HTTP请求,转发到你的upstream服务上。 8443,监听来自客户端的HTTPS请求,功能跟8000一样。可以通过配置文件禁止。 Admin API 端口: 8001,Kong的HTTP监听的API管理…
2020-09-23T10:46:52Z · 企业架构 · 评论(0)
[置顶] API 网关 kong/konga 安装部署
一、概述 Kong是Mashape开源的高性能高可用API网关和API服务管理层。自2015年在github开源后,广泛受到关注。它基于OpenResty,进行API管理,并提供了插件实现API的AOP。Kong在Mashape 管理了超过15,000 个API,为200,000开发者提供了每月数十亿的请求支持。 在微服务架构之下,服务被拆的非常零散,降低了耦合度的同时也给服务的统一管理增加了难度。如上图左所示,在旧的服务治理体系之下,鉴权,限流,日志,监控等通用功能需要在每个服务中单独实现,这使得系统维护者没有一个全局的视图来统一管理这些功能。API 网关致力于解决的问题便是为微服务纳管这…
2020-08-25T17:34:21Z · 企业架构 · 评论(0)
[置顶] Linux 下 Redis Cluster 搭建
Redis集群演变过程: 单机版----->主从复制------>哨兵(小公司)----->集群(大公司) Redis cluster集群: (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. (2)节点的fail是通过集群中超过半数的节点检测失效时才生效.通过投票机制 (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可 (4)redis-cluster把所有的物理节点映射到slot上,cluster 负责维护node<->slot<->value (5)redis 集群中内…
2020-08-13T09:14:41Z · 企业架构 · 评论(0)
[置顶] Kubernetes离线安装的本地yum源构建
一、需求场景 在K8S的使用过程中有时候会遇到在一些无法上网的机器上面安装使用K8S,这就引出了K8S的离线安装的问题,要如何进行离线安装呢? 二、基本思路 1、在可以连接外网的机器,通过yum install --downloadonly --downloaddir=/...命令将rpm以及相关的依赖下载完成 2、将下载完成的所有rpm包,拷贝到局域网机器上面的一个目录下 3、构建本地yum源 4、使用yum install ***安装,安装完成 三、离线安装包下载 **提示:**yum提供了一种只下载安装包,但是不进行安装的方法: yum install --downloadonly -…
2020-08-08T22:41:12Z · 企业架构 · 评论(0)
[置顶] Kubernetes 证书延期
一、概述 kubeadm 是 kubernetes 提供的一个初始化集群的工具,使用起来非常方便,但是它创建的 apiserver、controller-manager 等证书默认只有一年的有效期,同时 kubelet 证书也只有一年有效期,一年之后 kubernetes 将停止服务 Kubernetes 集群根证书: /etc/kubernetes/pki/ca.crt /etc/kubernetes/pki/ca.key ...... kubeadm 默认生成的ca证书有效期是10年,其他证书(如etcd证书,apiserver证书)有效期均为1年。 二、准备工作 tree /etc/k…
2020-08-01T22:28:36Z · 企业架构 · 评论(0)
[置顶] kubeadm方式部署安装kubernetes
一、前提准备: 0、升级更新系统(切记升级一下,曾被坑过) $ yum -y update **提示:**如出现 错误:保护多库版本 yum -y update --setopt=protected_multilib=false 1、关闭防火墙 $ systemctl status firewalld $ systemctl stop firewalld $ systemctl disable firewalld 2、关闭selinux ##查看selinux状态 $ getenforce ##临时关闭selinux $ setenforce 0 ##永久关闭selinux $ cat /e…
2020-07-29T08:01:15Z · 企业架构 · 评论(0)
[置顶] Prometheus 外部监控 Kubernetes 集群
大多情况都是将 Prometheus 通过 yaml 安装在 Kubernetes 集群中来采集数据,但是在实际环境中很多企业是将 Prometheus 单独部署在集群外部的,直接监控多个Kubernetes 集群。前面我们介绍了 Prometheus 单独部署在集群外部的部署过程:《Centos7 部署 Prometheus、Grafana、Cadvisor》 https://www.iteye.com/blog/maosheng-2514526 我们要去采集 Kubernetes 集群 cAdvisor 的监控数据,在Kubernetes中,kubelet内嵌了cAdvisor,cAdv…
2020-07-10T15:59:05Z · 企业架构 · 评论(0)
[置顶] Centos7 部署 Prometheus、Grafana、Cadvisor
概述 Prometheus (中文名:普罗米修斯)是由 SoundCloud 开发的开源监控报警系统和时序列数据库(TSDB).自2012年起,许多公司及组织已经采用 Prometheus,并且该项目有着非常活跃的开发者和用户社区.现在已经成为一个独立的开源项目。Prometheus 在2016加入 CNCF ( Cloud Native Computing Foundation ), 作为在 kubernetes 之后的第二个由基金会主持的项目。Prometheus 的实现参考了Google内部的监控实现,与源自Google的Kubernetes结合起来非常合适。另外相比influxdb的…
2020-06-03T10:41:56Z · 企业架构 · 评论(0)
[置顶] java 类的加载 以及 ClassLoader
Class Loader 类加载器: 类加载器负责加载 JAVA 类的字节代码到JAVA 虚拟机中,可以根据指定的类名(如java.lang.Object)来装载class文件的内容到Runtime data area中的method area(方法区域)。JAVA程序员可以extends java.lang.ClassLoader类来写自己的Class loader。 类加载器负责加载所有的类,其为所有被载入内存中的类生成一个java.lang.Class实例对象。一旦一个类被加载入JVM中,同一个类就不会被再次载入了。正如一个对象有一个唯一的标识一样,一个载入JVM的类也有一个唯一的标识…
2020-04-16T09:43:39Z · 编程语言 · 评论(0)
[置顶] 事务和一致性:从ACID到CAP再到BASE
先了解一下互联网时代的特点,互联网时代信息量巨大、需要计算能力巨大,不但对用户响应速度要求快,而且吞吐量指标也要向外扩展(既:水平伸缩),于是单节点的服务器无法满足需求,服务节点开始池化,但是服务节点多也不一定能解决所有事情,还得进行有序、合理的分配任务,进行有效的管理,于是互联网时代谈论最多的话题就是拆分,拆分一般分为**“水平拆分”和“垂直拆分”**。 这里,“水平拆分”指的是同一个功能由于单机节点无法满足性能需求,需要扩展成为多节点,多个节点具有一致的功能,组成一个服务池,一个节点服务一部分的请求量,团结起来共同处理大规模高并发的请求量。 “垂直拆分”指的是按照功能拆分,秉着“专业的人…
2020-04-09T21:24:24Z · 互联网 · 评论(0)