容器安全技术容器管理与应用

容器管理与应用

容器技术之所以在微服务、云计算
等领域得到广泛应用，除了其轻量化的技术外，弹性、敏捷的容器管理和编排系统支持也是重要因素之一。#### 容器管理
集群化、弹性化和敏捷化是容器应用的显著特点，如何有效地对容器集群进行管理，是容器技术落地应用的一个重要方面。集群管理工具（编排工具）能够帮助用户以集群的方式在主机上启动容器，并能够实现相应的网络互联，同时提供负载均衡、可扩展、容错和高可用等保障。当前关注度和使用率比较高的几种容器集群管理工具主要包括：Kubernetes、Apache Mesos、Docker Swarm 和 Docker Compos
e。1. Kubernetes
Kubernetesl[23] 是由 Google 基于其内部大规模集群管理系统
Borg 发布的开源分布式容器管理平台，简称 K8S。Kubernetes 为用户提供了集群管理能力、多租户应用支撑能力、透明的服务注册和服务发现机制、负载均衡能力以及故障发现和自我修复等能力。Kubernetes 的架构如下图所示，主要由一个或多个 Master 节点和一个或多个 Node 节点组成。

Master 节点包含多个重要组件，例如和存储相关的 Etcd 组件、和调度相关的 Scheduler 组件、集群控制高可用组件 Controller Manager、与外部通讯协调整个集群的组件 API Server 等。
Node 节点含有两个重要的组件，分别是管理集群中 Pod 生命周期
的组件 Kubelet 和负责 Kubernetes 中网络配置的组件 Kube-proxy。在 Kubernetes 中，包括以下几个重要操作单元：

Pod：Kubernetes 中运行应用或服务的最小单元，其设计理念是支持多个容器在一个 Pod 中共享网络地址和文件系统。
Service：访问 Pod 的代理抽象服务，主要用于集群内部的服务发现和负载均衡。
Replication Set：用于伸缩 Pod 副本数量的组件。
Scheduler：集群中资源对象的调度控制器
。- Controller Manager：负责集群中资源对象管理同步的组件。
Etcd：分布式键值对（k，v）存储服务，存储整个集群的状态信息。
Kubelet：负责维护 Pod 的生命周期。
Labels：一组键值对，与某种资源关联以提供标识定位能力的属性。
Deployment：用于管理 Pod 对象，集成了上线部署、滚动升级、创建副本、暂停 / 恢复上线任务、回滚等功能。
Volumes：即目录，其中存有数据，在容器启动时指定参数会自动挂载至容器内部，Volumes 分静态和动态，其具有不同的生命周期。
Stateful Set：通常创建的 Pod 是无状态的，这样会导致一旦 Pod 挂掉再重启后会找不到之前挂载的 Volume，所以可以通过 Stateful Set 来保留 Pod 的状态。
Kubernetes Pod 工作流程为：
（1）提交请求
用户通常提交一个 yaml 文件，向 API Server 发送请求创建一个 Pod，yaml 文件含有此 Pod 的详细信息，包含此 Pod 运行副本数、镜像、Labels、名称，端口暴露情况等。API Server 接收到请求后将 yaml 文件中的 spec 数据存入 Etcd 中。
（2）资源分配
Scheduler 通过 API Server 的 watch 接口定时监听 Etcd 数据库中资源的变化（此处指上一步待分配的 Pod），当监测到了 Pod 后，通过 Scheduler 的调度策略选择出具有运行 Pod 能力的 Node 节点并将 Pod 与目标 Node 节点进行绑定，同时更新 Etcd 数据库中 Pod 的分配情况。
（3）新建容器
此时目标 Node 节点上的 Kubelet 通过 API Server 的 Watch 接口监测到 Etcd 中 Pod 的分配信息，同时将 Pod 的相关数据传递给容器运行时以负责此 Pod 的整个生命周期，之后 Kubelet 还会通过容器运行时获取 Pod 的状态信息并通过 API Server 更新至 Etcd。
（4）资源状态同步
为了保证此 Pod 在 Node 节点中运行正常（Pod 可能会因为某些原因被杀死），Controller Manager 中的 Replication Set 组件通过 API Server 定时监听 Etcd 以获得 Pod 的最新状态并最终对 Pod 进行数量上的同步，从而保证了 Pod 运行副本数与用户指定副本数相同。

Controller Manager
API Server Etcd Scheduler Kubelet Docker
Create Pod
Write
Watch（New Pod）
Bind Pod
Write
Watch（Bound Pod）
Docker Run Update Pod Status
Write

Apache Mesos
Apache Mesos[24]源自 UC Berkeley的一个对集群资源进行抽象和管理的开源项目，后在 Twitter 得到广泛使用。 Apache Mesos 将整个数据中心的资源进行抽象和管理调度，有类似主机操作系统的功能，使得多个应用同时运行在集群中分享资源。
Apache Mesos 的架构如下图所示，由一个或多个 Master 节点和一个或多个 Slave 节点，以及若干个 Framework 应用程序组成。
Master 主要负责管理各个 Framework 和 Slave 节点，并将 Slave 节点上的资源分配给相关的 Framework。 Slave 负责管理当前节点上的任务分配。Framework 是外部计算框架，可插拔，常用的有 Marathon、Hadoop、MPI等， Framework 可通过注册的方式接入 Mesos，以便 Mesos 进行统一管理和资源分配。

Framework 主要由两个组件组成，分别是调度器和执行器。调度器与 Master 交互，根据可用资源，将任务调度至 Slave 中加载；执行器从 Framework 中获取变量，在 Slave 节点中运行任务。
Apache Mesos 工作流程主要为：
（1）资源信息聚合
Slave 节点向 Master 节点上传其可用资源信息，Master 节点作为一个资源池对收集到的资源进行维护。
（2）任务分配
Master 节点将可用资源提供给某一应用的 Framework Scheduler，该应用的 Framework Scheduler 对比提供的资源是否满足其任务的运行要求，如果不满足，则向 Master 节点传递拒绝提供的资源信息，而 Master 节点则再次向其它 Framework 提供资源；如果满足，Framework Scheduler 则接受提供的资源信息。
（3）任务下发
Framework Scheduler 下发任务至 Master 节点，Master 节点接收并在 Slave 节点中使用 Executor 运行应用。

Docker Swarm
Docker Swarm[25] 是 Docker 公司在 2014 年 12 月初发布的一款容器管理工具，其功能较为简单，主要用于管理 Docker 集群，使得 Docker 集群以一个虚拟整体暴露给用户。
作为 Docker 的一个组件，Docker Swarm 最大的优势是其 API集成到了标准的 Docker API，这使得 Docker 应用开发者可以很容易与 Docker Swarm 进行集成。目前，包括 Rackspace 等平台都采用了 Docker Swarm，用户也很容易在 AWS等公有云平台使用 Docker Swarm。
Docker Swarm 由若干管理节点 Manager 和工作节点 Worker 组成，架构如图所示。Manager 节点负责接收来自用户的请求，并将任务分配至 Worker 节点，Manager 节点同时也可以执行 Worker 节点的工作职责。 Worker 节点接收来自于 Manager 节点调度的任务并运行。

所有的节点都具有基本的 Docker 运行组件：Docker Daemon、负载均衡，为容器的运行提供了环境。以下介绍几个重要组件 :

Master 节点：主要由 Manager CLI（Swarm 命令行工具）、Scheduler（调度器）、Discovery Service（服务发现）组件构成；
Slave 节点：主要组件为 Swarm Agent；
服务发现组件：集群中的物理和通讯环境复杂，服务中断无法准确预测，服务发现组件为集群提供了服务保障。当某个 Slave 节点宕机之后，服务发现组件会快速发现，通过调度器快速在另一个节点恢复已经失效的服务。
Docker Swarm 工作流程为：
（1）集群操作
用户使用 Master 节点的 Manage CLI 对应用部署进行规划。
（2）应用分发
用户使用 Manage CLI 对应用部署规划之后，由调度器对应用进行集群分发，Swarm Agent 负责节点间通讯的传输。
（3）服务高可用
Docker Swarm 使用其服务发现组件维护 Slave 节点中运行的应用信息，保持集群中稳定运行应用的数量，以达到集群应用高可用的目的。

Docker Compose
Docker Compose[26] 是 Docker 推出的另一个编排工具，用于对用户需要的应用服务进行描述和部署。需要说明的是，Docker Compose 只能在单节点上进行应用的部署，如果编排场景是设定在集群中，那么还需要依赖 Docker Swarm 来进行应用的集群化部署。
工具对比
本节对 Github 上 Kubernetes、Apache Mesos、Docker Swarm、Docker Compose 项目的活跃程度进行了对比分析，分析结果从一定程度体现了开源社区对这四款编排工具的关注和支持程度。
从 Pull Requests、Issues、Commits、Branches、Releases、Contributors、Watch、Star、Fork 等指标可以看出，开发者们对 Kubernetes 的关注度最高，其后依次是 Apache Mesos、Docker Swarm 与 Docker Compose。
对比 Releases 可以发现，Kubernetes 与 Apache Mesos 的迭代总量较大，其次是 Docker Compose 与 Docker Swarm。那么将项目关注度和项目迭代总量结合起来看，不难发现 Kubernetes 与 Docker Mesos 目前处于编排工具的第一梯队，Docker Swarm、Docker Compose 热度则较为缓和，处于第二梯队。

除了上述工具外，Rancher[27]、Docker Machine[28]等也是常见的容器集群管理工具，不同工具的侧重点和功能点不尽相同。正是这些集群管理工具的快速发展，使得容器技术在生产、落地的时候更容易被用户所接受和使用。