学海无涯
go,go,go

生产k8s集群pod异常重启处于Terminating状态

开发在阿里云edas执行发布后,prod-rig-portal应用的pod一直处理Terminating状态

在容器服务-kubernetes查看prod-rig-portal应用的pod也是处于Terminating状态

在阿里云后台容器服务-kubernetes进行删除,删除后会一直重建此pod

在node节点进行查看也是处于Terminating状态

使用命令强制删除
[root@k8s .kube]# kubectl delete pods prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-5cb6cft5lk
pod “prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-5cb6cft5lk” deleted
[root@iZbp18swm1hqewjwhm0eh8Z .kube]# kubectl get pod|grep prod-rig-portal
prod-rig-portal-20ed76053ec2-5cb6cpk7rr 0/1 Running 3 7m42s
prod-rig-portal-20ed76053ec2-68578g2d47 1/1 Running 1 130d
prod-rig-portal-20ed76053ec2-68578nxhpz 1/1 Running 1 130d
prod-rig-portal-20ed76053ec2-68578rmddr 1/1 Running 1 130d

删除过后还是会出现
[root@k8s .kube]# kubectl get pod|grep prod-rig-portal
prod-rig-portal-20ed76053ec2-5cb6cpk7rr 0/1 Running 3 7m43s
prod-rig-portal-20ed76053ec2-68578g2d47 1/1 Running 1 130d
prod-rig-portal-20ed76053ec2-68578nxhpz 1/1 Running 1 130d
prod-rig-portal-20ed76053ec2-68578rmddr 1/1 Running 1 130d

查看deployment控制器prod-rig-portal为正常,但pod依旧为Terminating状态
[root@k8s ~]# kubectl get deployment|grep prod-rig-portal
prod-rig-portal-20ed76053ec2                      3/3                3                     3           318d
最后直接回滚到上一版本解决此问题,查看历史记录
[root@k8s .kube]# kubectl rollout history deployment prod-rig-portal-20ed76053ec2
deployment.extensions/prod-rig-portal-eecd-41b8-89ca-20ed76053ec2
REVISION CHANGE-CAUSE
1 <none> 第1次发布的版本
2 <none> 第2次发布的版本
3 <none> 第3次发布的版本
4 <none> 第4次发布的版本
5 <none> 第5次发布的版本
6 <none> 第6次发布的版本
7 <none> 第7次发布的版本
10 <none> 第8次发布的版本
11 <none> 第9次发布的版本,默认不指定版本数回滚到的就是次版本,为上一版本
12 <none> 第10次发布的版本,次为当前运行的版本

#直接回滚到上一版本
kubectl rollout undo deployment prod-rig-porta-20ed76053ec22

#回滚后检查,恢复正常
[root@k8s .kube]# kubectl get pod|grep prod-rig-portal
prod-rig-portal-d7f604d8-20ed76053ec2-68578g2d47 1/1 Running 1 130d
prod-rig-portal-d7f604d8-20ed76053ec2-68578nxhpz 1/1 Running 1 130d
prod-rig-portal-d7f604d8-20ed76053ec2-68578rmddr 1/1 Running 1 130d

#阿里云容器服务-kubernetes平台检查

赞(1) 打赏
未经允许不得转载:YYQ运维技术博客_运维的工作学习之路 » 生产k8s集群pod异常重启处于Terminating状态
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

运维devops

联系我们关于本博客

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏