可以考虑这么个场景,服务商的服务集群以K8S部署在云端,并以一条防火墙策略放通某专线ip或端口,以供外部用户访问。现在出现了这么个需求,由于周末或节假日不上班,客户要求在这些时刻去禁用这些防火墙策略,以达到用户无法访问的目的。我们能想到最简单的方法是,由运维手动连接到所有节点虚机的控制台,去执行禁用命令,但问题也非常明显,人工操作很容易出现错删、漏删,其次工作日时还要再配置回来,当用户节点过多时,操作工作量就非常大。
整体思路
我们可以利用原生对象crobjob对宿主机进行防火墙策略起禁用,这样只需要在一个master节点执行k8s的api请求即可。首先我们使用python脚本获取所有宿主机节点名称,再使用node select机制让master节点下发至所需要执行的宿主机上,最后就可以使用原生对象crobjob来帮助我们执行命令,注意这时要注意开启特权及共享宿主机pid,否则容器内执行无法影响到宿主机的,详情如图所示:
关键代码
# 开始执行
def main():host_list = get_hostname_list()for hostname in host_list:job_yaml = hostname + '-' + 'job' + '.yaml'job_yaml_path = os.path.join('/tmp', job_yaml)generate_my_job(hostname, job_yaml_path)run_cmd('kubectl apply -f %s' % job_yaml_path)os.remove(job_yaml_path)# 获取宿主机hostname
def get_hostname_list():node_info = subprocess.check_output(['kubectl', 'get', 'node'], shell = False)lines = node_info .decode().split('\n')[1:-1]hostname_list= [line.split()[0] for line in lines]return hostname_list# 创建job
def generate_my_job(hostname, job_yaml_path):image = "sdocker.io/radial/busyboxplus:latest"# 想要执行的命令cmd = "chroot /host systemctl start firewalld.service 2>&1"job_name = hostnamecrob_job_def = f"""apiVersion: batch/v1
kind: CronJob
metadata:name: {job_name}labels:my-job: my-job-lablenamespace: my-job #命名空间隔离,防止影响其他人
spec:template:metadata:name: my-joblabels:my-job: my-job-lablespec:hostPID: true #共享宿主机hostNetwork: truenodeSelector:kubernetes.io/hostname: {hostname}tolerations:- key: node-role.kubernetes.io/control-planeoperator: Equaleffect: NoSchedulecontainers:- name:my-jobimage: {image}imagePullPolicy: IfNotPresentcommand:- "sh"- "-c"- |current_time=$(date +"%Y-%m-%d %H:%M:%S")echo "$current_time - start" >> /var/run/my.logres=$({cmd})echo "$current_time - $res" >> /var/run/my.logsecurityContext:privileged: true #特权模式volumeMounts:- name: host-root-dirmountPath: /host- name: host-log-dirmountPath: /var/runvolumes:- name: host-root-dirhostPath:path: /- name: host-log-dirhostPath:path: /var/run/log/restartPolicy: NeverbackoffLimit: 1 schedule: '0 10 * * 1-5' #表达式 每个工作日的上午10点suspend: true """# yaml存盘with open(job_yaml_path, "w") as f:try:f.write(crob_job_def )except Exception as e:raise e
Reference
kubernetes之Cronjob应用和踩坑 - 生命不止奋斗不息 - 博客园 (cnblogs.com)
Cron表达式详细讲解,平常看一看就记住了 - 掘金 (juejin.cn)