容器隔离

概述

容器（Container）提供了一种资源隔离的解决方案。系统中许多资源是全局管理的。例如进程PID、主机信息、用户信息等，容器机制是对这种全局资源的隔离，使得处于不同容器的进程拥有独立的全局系统资源，改变一个容器中的系统资源只会影响当前容器里的进程，对其他容器中的进程没有影响。

LiteOS-A内核容器隔离功能包含7个容器：UTS容器、PID容器、Mount容器、Network容器、TIME容器、IPC容器、User容器。通过所在进程ProcessCB的Container和Credentials保存。

隔离的容器如下表。

容器之间的资源隔离，细分为两种：

• 全局隔离：属于平行关系（无继承关系）的容器，所有容器之间的容器类资源彼此不可见。

• 非全局隔离：属于有父子继承关系的容器，同一层的各容器之间资源不可见，但上层容器仍然可以访问下层容器资源。

PID容器通过 unshare/setns 切换时，切换子进程的容器，而本进程容器不变。

通过在进程ProcessCB中添加对应容器集合Container和用户容器，完成对容器功能的支持，并通过编译开关控制特性的开启和关闭。

• 每个进程ProcessCB包含一个Container指针，该指针指向真正分配的Container结构。通过这种方式，进程可单独拥有一个Container结构，也可共享同一个Container结构。 进一步分解，在Container结构中，包含各容器指针，分别指向UTS容器、PID容器、Network容器、Mount容器、TIME容器、IPC容器。

• 每个进程ProcessCB对应一个Credentials结构，单独管理User容器，便于模块化、单独处理User容器的特有逻辑。

各容器简介

UTS容器

UTS 容器用于对主机名和域名、版本等信息进行隔离，不同UTS容器内查看到的都是属于自己的信息，相互间不能查看。

Mount容器

用于隔离文件挂载点。在一个容器里挂载、卸载的动作不会影响到其他容器。

通过文件挂载容器，实现各进程间相互独立的使用文件挂载系统，子进程在独立的文件挂载容器里面进行挂载操作，可以建立自身的文件挂载结构：

• 文件挂载容器的基础实现，创建进程时根据clone传入的参数flag在各自进程创建文件挂载容器，将挂载信息从全局更改为与文件挂载容器相关联。

• 创建容器后，修改获取当前挂载信息的实现，将从全局更改为当前文件挂载容器中获取，使进程挂载、卸载或者访问挂载文件操作不会对其他进程挂载信息产生影响或者访问到其他进程的文件挂载信息。

PID容器

用于隔离进程号，不同容器的进程可以使用相同的虚拟进程号。

进程容器主要用于进程的隔离，特点如下:

• 容器间的进程ID相互独立。
• 父PID容器可以看到子PID容器中的进程，且同一个进程在父PID容器中的进程ID和子PID容器中的进程ID相互独立。
• 子容器无法看到父容器中的进程。
• 在根容器下可以看到系统的所有进程。

Network容器

用于隔离系统网络设备和网络栈。

Network容器对TCP/IP协议栈和网络设备资源进行隔离，以达到隔离目的。

• 传输层隔离：对端口号进行隔离，Network容器内的可用端口号范围是0~65535，进程绑定的是自己所属容器的端口号，所以不同Network容器的进程可以对同一个TCP/UDP端口号进行绑定，且互相之间没有影响。
• IP层隔离：对IP资源进行隔离，每个容器都有属于自己的IP资源，在一个Network容器内修改IP对其他Network容器没有影响。
• 网络设备隔离：对网卡进行隔离，每个容器都有属于自己的网卡，不同Network容器内的网卡设备之间相互隔离无法通信，用户可以通过配置veth-pair解决不同容器间的通信问题。

User容器

用于隔离用户和用户组。

User Container是用来隔离和分割管理权限的，管理权限实质分为两部分uid/gid和Capability。

• UID/GID

  User Container是对资源的一种隔离，主要隔离uid/gid，处于不同的User Container具有不同的uid/gid，每个User container拥有独立的从0开始的uid/gid。这样容器中的进程可以拥有root权限，但是它的root权限会被限制在一小块范围之内。改变一个User Container中的值只会影响当前User Container，对其他User Container中的进程无影响。

• Capability

  User Container通过设置Capability来实现能力隔离。

  每个进程在进程初始化的时候调用OsInitCapability对权限进行初始化，对用户提供修改和获取(SysCapSet/SysCapGet)权限的系统调用，用于修改进程的权限。

Capabilities的类型如下表：

TIME容器

用于隔离系统的时间维护信息。

每一个进程对应有一个自己的TIME Container，用来隔离CLOCK_MONOTONIC和CLOCK_MONOTONIC_RAW对应的时钟，不同容器中的进程在对CLOCK_MONOTONIC和CLOCK_MONOTONIC_RAW时钟进行对应的时间操作调用时，彼此之间时钟的数值相对独立，实现安全容器间系统时钟的隔离。

容器（当前进程的time_for_children容器）中时钟的偏移量记录在/proc/PID/timens_offsets文件中，通过修改该文件，可以对应修改TIME容器的偏移信息。这些偏移是相对于初始时间容器中的时钟值表示的。

当前，创建TIME Container的唯一方法是通过使用CLONE_NEWTIME标志调用unshare。该调用将创建一个新的TIME Container，但不会将调用进程放在新的容器中，而是调用进程随后创建的子进程放置在新的容器中。

这个容器的时钟偏移（/proc/PID/timens_offsets），需要在新的容器的第一个进程创建前进行设置。

IPC容器

用于隔离进程间通信对象（IPC对象），包括消息队列和共享内存。

每一个进程对应有一个自己的IPC Container，用来隔离如下全局资源：消息队列、共享内存。

不同容器中的进程在对消息队列、共享内存进行对应的时间操作调用时，彼此之间是独立的。

• 消息队列隔离：把用于消息队列的全局变量结构LosQueueCB修改为IPC Container中的局部变量保存，从而实现在各自进程中的容器内可见，达到相互隔离的效果。

• 共享内存隔离：把用于共享内存的全局变量shmInfo，sysvShmMux，shmSegs，shmUsedPageCount修改为IPC Container中的局部变量保存，从而实现在各自进程中的容器内可见，达到相互隔离的效果。

运作机制

新建容器流程

在系统初始化时，需要为初始进程（0号、1号、2号进程）创建同一个根容器，根容器类型包括所有7种类型：UTS容器、PID容器、User容器、Network容器、Mount容器、TIME容器、IPC容器。

后续可通过clone等接口为子进程新建容器（指定容器FLAG），未指定容器FLAG的情况下clone的子进程复用父进程容器。

切换容器流程

通过 unshare接口，将当前进程脱离当前所属容器，并转移到一个新建的容器。以IPC容器为例。

开发指导

应用层可基于容器隔离功能，进行如下场景的使用，新建容器、切换容器、销毁容器。

新建容器

创建子进程时可以完成新建容器。接口如下：

clone接口

通过clone()创建新进程的同时创建容器，是新建容器的一种常见做法，函数原型:

int clone(int (*fn)(void *), void *stack, int flags, void *arg, ... 
             /* pid_t *parent_tid, void *tls, pid_t *child_tid */ );

• clone时可以指定新建的子进程通过容器隔离资源，使得资源（如UTS信息）获取和修改只限于容器范围内，不影响其他容器。

• 若调用clone接口不指定容器相关FLAG，则会将子进程也放到父进程所在容器中，即复用/共享父进程的容器。

切换容器

转移/切换容器是调整已有进程的容器。包括2种情况：

• unshare 接口

  通过 unshare接口，将当前进程脱离当前所属容器，并转移到一个新建的容器。函数原型：

  int unshare(int flags);
  

  说明：PID容器和TIME容器调用unshare时，当前进程的容器不会发生变化，当前进程创建的子进程会被放到新的容器中。

• setns接口

  通过 setns接口，将当前进程脱离当前所属容器，并转移到一个已有的容器。便于灵活切换进程容器。函数原型：

  int setns(int fd, int nstype);
  

  说明：PID容器和TIME容器调用setns时，当前进程的容器不会发生变化，当前进程创建的子进程会被放到新的容器中。

销毁容器

进程终止时会退出所属容器，并对引用计数进行递减。引用计数减为0的对象，需要进行销毁。

通过kill接口，可向指定进程发送指定信号，通知进程执行关闭/退出动作。函数原型:

int kill(pid_t pid, int sig);

查询容器信息

系统用户可使用 ls 命令访问 /proc/[pid]/container/ 目录进行查看和确认。

ls -l /proc/[pid]/container

容器配额

容器配额（plimits）的主要功能是限制进程组可以使用的资源，/proc/plimits 目录作为容器配额根目录。

• plimits文件系统为伪文件系统，需要实现文件与plimits控制变量的映射；通过文件操作，达到修改内核变量的目的。例如：memory限制器中，通过用户修改memory.limit文件内容，即可修改相应的内核变量值，进而限制内存分配。
• plimits文件系统中，文件能够被读写，目录能够被增删。
• plimits的目录，映射的是plimits的分组，所以需要在创建目录的时候，自动创建目录下的文件（这些文件映射为限制器的控制变量）。
• 创建限制器的文件是以组为单位创建的，例如：创建memory限制器，在增加一个memory限制器的时候，会全量创建所需的文件，而不是单独创建单个文件。

采用编译宏“LOSCFG_PROCESS_LIMITS”进行开关控制，y打开，n关闭，默认关闭

打开编译开关，查看 /proc/plimits目录， 主要包含下列文件：

其中devices参数说明：

参考

规格说明

参数设定

内核支持每一种容器最大数默认为LOSCFG_KERNEL_CONTAINER_DEFAULT_LIMIT。

内核初始化proc/sys/user目录，生成文件max_net_container，max_ipc_container，max_time_container，max_uts_container，max_user_container，max_pid_container，max_mnt_container并且将伪文件与内核参数绑定。用户配置伪文件即会修改对应的内核参数。当前容器数量如果小于上限，则可创建新的容器，否则返回NULL表示失败。

容器唯一编号

各容器的全局唯一编号，统一基于一个固定值进行编号。

#define CONTAINER_IDEX_BASE (0xF0000000)
inum = CONTAINER_IDEX_BASE + (unsigned int)i;  

规则设定

• PID容器和User容器，具有分层关系，最大支持3层；其他的UTS、Mount、Network容器无分层关系。

• 通过上述接口clone创建容器、setns切换容器、unshare切换容器时，需传入符合POSIX标准的FLAG，如下：

• 容器功能采用编译宏，完成特性的开关控制。

  // 容器功能总编译宏
  LOSCFG_CONTAINER
  // 各容器编译宏
  LOSCFG_UTS_CONTAINER
  LOSCFG_MNT_CONTAINER
  LOSCFG_PID_CONTAINER
  LOSCFG_NET_CONTAINER
  LOSCFG_USER_CONTAINER
  LOSCFG_TIME_CONTAINER
  LOSCFG_IPC_CONTAINER
  

开发实例

当前LiteOS-A冒烟用例中已包含对应接口的使用示例，请开发者自行编译验证，推荐用例路径如下：

创建UTS容器

Unshare 切换当前进程的UTS容器至一个新容器

setns切换，将当前进程的UTS容器切换至子进程的UTS容器

创建Network容器

创建User容器

创建PID容器

创建Mount容器

创建IPC容器

创建TIME容器