kubernetes 1.6版以上1.8版以下弹性伸缩HPA-Memory

一：前言

在kubernetes中，Pod是最基础的调度单位，多个pod 可以组成一个集合，这个集合向外提供服务。这时候，我们需要以下两种情形需要关注：

1）集合中的Pod可能会由于某种原因Fail，这时候需要某种机制能够创建新的Pod以确保有足够数量的Pod在运行。

2）Pod 的个数由访问请求决定。即当前实例个数不足以满足访问请求时，需要增加实例个数，反之，需要通过某种策略减少实例数。

如果人工来实时监控实例的运行状态，手动启动新的pod以替代fail的pod，监控实例的负载情况，手动创建或者删除pod，这个工作繁琐且工作量大，好在kubernetes已经有相应的机制来应对这种变化。
本篇文章主要介绍在k8s1.6版本以上，k8s1.8版本一下,HPA基于CPU、Memory的弹性伸缩，采用heaspter收集的监控指标。

二：部署目标

• 运行一个php-apache-cpu实例
• 创建一个基于CPU弹性的HPA资源
• 对实例进行压测
• 对HPA进行验证
• 运行一个php-apache-memory实例
• 创建一个基于Memory弹性的HPA资源
• 对实例进行压测
• 对HPA进行验证

三：HPA原理图 ##

Kubernetes有一个HPA(Horizontal Pod Autoscaler)的资源，可以实现基于CPU使用率的Pod自动伸缩的功能。HPA基于Master Node上的kube-controller-manager服务启动参数–horizontal-pod-autoscaler-sync-period定义的时长(默认为30秒)，周期性的检测Pod的CPU使用率(需要事先安装heapster)。如果需要设置–horizontal-pod-autoscaler-sync-period可以在Master Node上的/etc/default/kube-controller-manager中修改。

四：部署步骤

基于CPU的HPA

创建php-apache-cpu实例的Deployment和Service
通过kubectl 命令创建Deployment和Service.
命令如下：

kubectl run php-apache-cpu --image=gcr.io/google_containers/hpa-examplel:v1.0 --requests=cpu=200m --expose --port=80service "php-apache-cpu" createddeployment "php-apache-cpu” created

创建HPA可以通过命令行和yaml文件创建。
yaml文件方式
通过kubectl create -f hpa-cpu-example.yaml文件创建HPA.文件内容如下：

apiVersion: autoscaling/v1kind: HorizontalPodAutoscalermetadata:  name: php-apache  namespace: defaultspec:  scaleTargetRef:    apiVersion: v1    kind: Deployment    name: php-apache-cpu  minReplicas: 1  maxReplicas: 10  targetCPUUtilizationPercentage: 50

命令行方式：

kubectl autoscale deployment php-apache-cpu --cpu-percent=50 --min=1 --max=10deployment "php-apache-cpu" autoscaled

查看创建的hpa，结果发现当前的CPU使用率CURRENT显示为waiting.

# kubectl get hpa php-apache-cpuNAME         REFERENCE                                TARGET    CURRENT     MINPODS   MAXPODS   AGEphp-apache-cpu   Deployment/php-apache-cpu   50%       <waiting>   1         10        8s

注意：有可能是由于heapster组件没有安装，也有可能是数据没有检测到，默认heapster采集时间为1分，需要稍等一会看一下状态。

# kubectl get hpa php-apache-cpuNAME         REFERENCE                                TARGET    CURRENT     MINPODS   MAXPODS   AGEphp-apache-cpu   Deployment/php-apache-cpu   50%       0%   1         10        60s

如果要查看hpa的事件，kubectl describe hpa php-apache-cpu ，会出这些错误信息
MetricsNotAvailableYet unable to get metrics for resource cpu: no metrics returned from heapster。
这种错误信息需要稍等一会多看几次，分析一下是什么原因导致的，有可能只是时间差导致的。

对php-apache-cpu进行压力测试

kubectl run -i --tty load-generator --image=busybox:latest /bin/sh #进入容器后执行一下命令while true; do wget -q -O- http://php-apache-cpu.default.svc.cluster.local; done

压测几分钟后查看hpa状态，如果cpu压力超过了设置的阈值，可以停止压测。
查看hpa状态：
NAME REFERENCE TARGET CURRENT MINPODS MAXPODS AGE
php-apache-cpu Deployment/php-apache-cpu 50% 200% 1 10 60s
状态已经超过了阈值，此时查看pod，pod的数量已经增加了。

root@ansible:# kubectl get podsNAME                             READY     STATUS    RESTARTS   AGEload-generator-535521892-scxsg   1/1       Running   0          6dache-1czu1                 1/1       Running   0          6dphp-apache-cpu-a4g4x                 1/1       Running   0          6dphp-apache-cpu-d2nn1                 1/1       Running   0          6dphp-apache-cpu-epnpf                 1/1       Running   0          6dphp-apache-cpu-ffuhk                 1/1       Running   0          6dphp-apache-cpu-g78ms                 1/1       Running   0          6dphp-apache-cpu-nglin                 1/1       Running   0          6dphp-apache-cpu-sxz5y                 1/1       Running   0          7dphp-apache-cpu-t7s8e                 1/1       Running   0          6dphp-apache-cpu-v7zxm                 1/1       Running   0          6d

当停止压力测试之后，过一段时间，Pod数量又会恢复到1。

基于Memory的HPA

创建php-apache-memory实例的Deployment和Service
通过kubectl 命令创建Deployment和Service.
命令如下：

kubectl run php-apache-mem --image=gcr.io/google_containers/hpa-examplel:v1.0 --requests=cpu=200mi --expose --port=80service "php-apache-mem" createddeployment "php-apache-mem" created

创建HPA资源
通过autoscaling/v2alpha1获取yaml文件，通过kube-adm安装的kubernetes,默认是不支持此API的，在安装时需要开启此支持，参考<支持内存HPA Memory指标的Kubernetes的部署>,命令如下

 kubectl get hpa.v2alpha1.autoscaling -o yaml > /tmp/hpa-v2.yaml

注意：API版本autoscaling/v2alpha1根据kubernetes版本而变，1.8以上改为autoscaling/v2beta1
文件内容如下：

apiVersion: autoscaling/v2alpha1kind: HorizontalPodAutoscalermetadata:  name: php-apache-cpu  namespace: defaultspec:  scaleTargetRef:    apiVersion: apps/v1beta1    kind: Deployment    name: php-apache-cpu  minReplicas: 1  maxReplicas: 10  metrics:  - type: Resource    resource:      name: cpu      targetAverageUtilization: 50status:  observedGeneration: 1  lastScaleTime: <some-time>  currentReplicas: 1  desiredReplicas: 1  currentMetrics:  - type: Resource    resource:      name: cpu      currentAverageUtilization: 0      currentAverageValue: 0

注意到CPU的指标targetCPUUtilizationPercentage被metrics替代了。
targetAverageValue 被 targetAverageUtilization替代
将上面的cpu改为内容memory，就可以创建基于memory的HPA资源了。
也可以使用下面的hpa-memory-example.yaml内容。

apiVersion: autoscaling/v2alpha1kind: HorizontalPodAutoscalermetadata:  name: php-apache-mem  namespace: defaultspec:  maxReplicas: 10  metrics:  - resource:      name: memory      targetAverageUtilization: 10    type: Resource  minReplicas: 1  scaleTargetRef:    apiVersion: extensions/v1beta1    kind: Deployment    name: php-apache-mem

查看创建的hpa，结果发现当前的memory使用率CURRENT显示为waiting.

 kubectl get hpa php-apache-memNAME         REFERENCE                                TARGET    CURRENT     MINPODS   MAXPODS   AGEphp-apache-mem   Deployment/php-apache-mem   10%       <waiting>   1         10        8s

注意：有可能是由于heapster组件没有安装，也有可能是数据没有检测到，默认heapster采集时间为1分，需要稍等一会看一下状态。

 kubectl get hpa php-apache-memNAME         REFERENCE                                TARGET    CURRENT     MINPODS   MAXPODS   AGEphp-apache-mem   Deployment/php-apache-mem   50%       0%   1         10        60s

如果要查看hpa的事件，kubectl describe hpa php-apache-mem ，会出这些错误信息
MetricsNotAvailableYet unable to get metrics for resource mem: no metrics returned from heapster。
这种错误信息需要稍等一会多看几次，分析一下是什么原因导致的，有可能只是时间差导致的。

对php-apache-mem进行压力测试

kubectl run -i --tty load-generator --image=busybox:latest /bin/sh #进入容器后执行一下命令while true; do wget -q -O- http://php-apache-mem.default.svc.cluster.local; done

压测几分钟后查看hpa状态，如果cpu压力超过了设置的阈值，可以停止压测。
查看hpa状态：
NAME REFERENCE TARGET CURRENT MINPODS MAXPODS AGE
php-apache-mem Deployment/php-apache-mem 10% 20% 1 10 60s
状态已经超过了阈值，此时查看pod，pod的数量已经增加了。

root@ansible:# kubectl get podsNAME                             READY     STATUS    RESTARTS   AGEload-generator-535521892-scxsg   1/1       Running   0          6dache-1czu1                 1/1       Running   0          6dphp-apache-mem-a4g4x                 1/1       Running   0          6dphp-apache-mem-d2nn1                 1/1       Running   0          6dphp-apache-mem-epnpf                 1/1       Running   0          6dphp-apache-mem-ffuhk                 1/1       Running   0          6dphp-apache-mem-g78ms                 1/1       Running   0          6dphp-apache-mem-nglin                 1/1       Running   0          6dphp-apache-mem-sxz5y                 1/1       Running   0          7dphp-apache-mem-t7s8e                 1/1       Running   0          6dphp-apache-mem-v7zxm                 1/1       Running   0          6d

当停止压力测试之后，过一段时间，Pod数量又会恢复到1。

四：总结已经注意事项

1. 参考官方文档HPA官方文档
2. 如果设置了horizontal-pod-autoscaler-use-rest-clients=true，HPA资源无法从heaspter获取监控指标
3. 后续会增加多指标的文档