spring boot应用程序部署在openshift 4上。该应用程序需要在nfs-share上创建一个文件。 openshift 容器已在 NFS 类型上配置卷挂载。 openshift 上的容器创建一个具有随机用户 ID 的 pod，如下所示
sh-4.2$ id
uid=1031290500(1031290500) gid=0(root) groups=0(root),1031290500
挂载点为/nfs/abc
sh-4.2$ ls -la /nfs/
ls: cannot access /nfs/abc: Permission denied
total 0
drwxr-xr-x. 1 root root 29 Nov 25 09:34 .
drwxr-xr-x. 1 root root 50 Nov 25 10:09 ..
d?????????? ? ? ? ? ? abc
在 docker 映像上，我创建了一个用户“technical”，其 uid= gid=48760 如下所示。
FROM quay.repository
MAINTAINER developer
LABEL description="abc image" \
name="abc" \
version="1.0"
ARG APP_HOME=/opt/app
ARG PORT=8080
ENV JAR=app.jar \
SPRING_PROFILES_ACTIVE=default \
JAVA_OPTS=""
RUN mkdir $APP_HOME
ADD $JAR $APP_HOME/
WORKDIR $APP_HOME
EXPOSE $PORT
ENTRYPOINT java $JAVA_OPTS -Dspring.profiles.active=$SPRING_PROFILES_ACTIVE -jar $JAR
我的部署配置文件如下所示
spec:
volumes:
- name: bad-import-file
persistentVolumeClaim:
claimName: nfs-test-pvc
containers:
- resources:
limits:
cpu: '1'
memory: 1Gi
requests:
cpu: 500m
memory: 512Mi
terminationMessagePath: /dev/termination-log
name: abc
env:
- name: SPRING_PROFILES_ACTIVE
valueFrom:
configMapKeyRef:
name: abc-configmap
key: spring.profiles.active
- name: DB_URL
valueFrom:
configMapKeyRef:
name: abc-configmap
key: db.url
- name: DB_USERNAME
valueFrom:
configMapKeyRef:
name: abc-configmap
key: db.username
- name: BAD_IMPORT_PATH
valueFrom:
configMapKeyRef:
name: abc-configmap
key: bad.import.path
- name: DB_PASSWORD
valueFrom:
secretKeyRef:
name: abc-secret
key: db.password
ports:
- containerPort: 8080
protocol: TCP
imagePullPolicy: IfNotPresent
volumeMounts:
- name: bad-import-file
mountPath: /nfs/abc
dnsPolicy: ClusterFirst
securityContext:
runAsGroup: 44337
runAsNonRoot: true
supplementalGroups:
- 44337
PV请求如下
apiVersion: v1
kind: PersistentVolume
metadata:
name: abc-tuc-pv
spec:
capacity:
storage: 10Gi
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
storageClassName: classic-nfs
mountOptions:
- hard
- nfsvers=3
nfs:
path: /tm03v06_vol3014
server: tm03v06cl02.jit.abc.com
readOnly: false
现在openshift用户有id了
sh-4.2$ id
uid=1031290500(1031290500) gid=44337(technical) groups=44337(technical),1031290500
最近更新
为了清楚地解决这个问题，下面我有来自同一个 pod 终端的两个命令，
sh-4.2$ cd /nfs/
sh-4.2$ ls -la (The first command I tried immediately after pod creation.)
total 8
drwxr-xr-x. 1 root root 29 Nov 29 08:20 .
drwxr-xr-x. 1 root root 50 Nov 30 08:19 ..
drwxrwx---. 14 technical technical 8192 Nov 28 19:06 abc
sh-4.2$ ls -la(few seconds later on the same pod terminal)
ls: cannot access abc: Permission denied
total 0
drwxr-xr-x. 1 root root 29 Nov 29 08:20 .
drwxr-xr-x. 1 root root 50 Nov 30 08:19 ..
d?????????? ? ? ? ? ? abc
所以问题是我在安装点上看到这些问号（？？？）。 安装工作正常，但我无法访问此 /nfs/abc 目录，我看到这个??????因为某些原因
UPDATE
sh-4.2$ ls -la /nfs/abc/
ls: cannot open directory /nfs/abc/: Stale file handle
sh-4.2$ ls -la /nfs/abc/ (after few seconds on the same pod terminal)
ls: cannot access /nfs/abc/: Permission denied
这个陈旧的文件句柄可能是这个问题的原因吗？
您可以使用anyuid安全上下文来运行 pod，以避免 OpenShift 分配任意 UID，并将卷上的权限设置为用户的已知 UID。
OpenShift 将覆盖图像本身可能指定的用户 ID 来运行:
用户 ID 实际上并不是完全随机的，而是分配给您的项目的唯一用户 ID。事实上，您的项目被分配了一系列可以运行应用程序的用户 ID。用户 ID 集不会与其他项目重叠。您可以通过在项目上运行 oc describe 来查看分配给项目的范围。
为每个项目分配不同范围的用户 ID 的目的是，在多租户环境中，来自不同项目的应用程序永远不会以相同的用户 ID 运行。使用持久存储时，应用程序创建的任何文件在文件系统中也将具有不同的所有权。
...这是一个祝福和诅咒，例如，当使用共享持久卷声明时（例如 PVC 安装在ReadWriteMany多个 pod 读取/写入数据 - 由于文件所有权和权限不正确，一个 pod 创建的文件将无法被另一 pod 访问。
解决这个问题的一种方法是使用anyuid安全上下文“提供受限 SCC 的所有功能，但允许用户使用任何 UID 和任何 GID 运行”。
当使用anyuid在安全上下文中，我们知道 pod 将运行的用户和组 ID，并且我们可以提前设置共享卷的权限。例如，所有 Pod 都以restricted默认安全上下文：
当运行 pod 时anyuid在安全上下文中，OpenShift 不会从为命名空间分配的 UID 范围中分配任意 UID：
这只是举例，但使用具有固定 UID 和 GID 的非 root 用户构建的映像（例如1000:1000）将作为该用户在 OpenShift 中运行，文件将以该用户的所有权创建（例如1000:1000），可以在 PVC 上将权限设置为设置运行服务的用户的已知 UID 和 GID。例如，我们可以创建一个新的 PVC：
cat <<EOF |kubectl apply -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: data
namespace: k8s
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 8Gi
storageClassName: portworx-shared-sc
EOF
...然后将其安装在 Pod 中：
kubectl run -i --rm --tty ansible --image=lazybit/ansible:v4.0.0 --restart=Never -n k8s --overrides='
{
"apiVersion": "v1",
"kind": "Pod",
"spec": {
"serviceAccountName": "default",
"containers": [
{
"name": "nginx",
"imagePullPolicy": "Always",
"image": "lazybit/ansible:v4.0.0",
"command": ["ash"],
"stdin": true,
"stdinOnce": true,
"tty": true,
"env": [
{
"name": "POD_NAME",
"valueFrom": {
"fieldRef": {
"apiVersion": "v1",
"fieldPath": "metadata.name"
}
}
}
],
"volumeMounts": [
{
"mountPath": "/data",
"name": "data"
}
]
}
],
"volumes": [
{
"name": "data",
"persistentVolumeClaim": {
"claimName": "data"
}
}
]
}
}'
...并在 PVC 中创建文件作为USER在 Dockerfile 中设置.
