Где находятся лог-файлы модулей Kubernetes?

Имя файла на диске происходит от

docker inspect $pod_name_or_sha | jq -r '.[0].LogPath'

предполагая, что конфигурация демона docker является {"log-driver": "json-file"} по умолчанию, что почти гарантированно будет правдой, если kubectl logs ведет себя правильно.

Это также может быть само собой разумеющимся, но вы должны находиться на узле, на котором Pod был запланирован либо на docker inspect, либо обнюхивать наличие файлов журнала на диске, чтобы сделать что-то полезное. kubectl describe pod $pod_name будет отображать имя узла, или, как вы можете предположить, оно будет в kubectl get -o json pod $pod_name, если вы хотите получить его программно.

Короткий ответ:

Если вы используете Docker, stdout из каждого контейнера хранятся в /var/lib/docker/containers. Но Kubernetes также создает структуру каталогов, чтобы помочь вам найти журналы на основе модулей, поэтому вы можете найти журналы контейнеров для каждого модуля, работающего на узле в /var/log/pods/<namespace>_<pod_name>_<pod_id>/<container_name>/.

Подробный ответ:

Docker перехватывает журналы stdout из каждого контейнера и сохраняет их в /var/lib/docker/containers на хосте. Если Kubernetes использует Docker в качестве среды выполнения контейнера, Docker также будет хранить журналы контейнеров в этом месте на узле Kubernetes. Но поскольку мы не запускаем контейнеры непосредственно в Kubernetes (мы запускаем поды), Kubernetes также создает каталоги /var/log/pods/ и /var/log/containers, чтобы помочь нам лучше организовать файлы журналов на основе подов.

В каждом каталоге внутри /var/log/pods/ хранятся журналы для одного пода, и каждый из них назван с использованием структуры <namespace>_<pod_name>_<pod_id>.

Вы можете получить идентификатор пода, запустив kubectl get pod -n core gloo-76dffbd956-rmvdz -o jsonpath='{.metadata.uid}'. Если вы привыкли использовать yq, вам может показаться, что использовать kubectl get pod <pod_name> -o yaml | yq r - metadata.uid проще.

В каждом каталоге /var/log/pods/<namespace>_<pod_name>_<pod_id>/ есть несколько каталогов, каждый из которых представляет собой контейнер в поде. Имя этих каталогов равно имени контейнера. Наконец, когда мы заглянем внутрь каталога /var/log/pods/<namespace>_<pod_name>_<pod_id>/<container_name>/, мы найдем символические ссылки на файлы журналов, хранящиеся Docker внутри /var/lib/docker/containers.

Точно так же внутри каталога /var/log/containers/ есть символические ссылки на каталог /var/log/pods/<namespace>_<pod_name>_<pod_id>/<container_name>/. Эти символические ссылки именуются с использованием структуры <pod_name>_<namespace>_<container_id>.

Вы видите что-нибудь в этих каталогах?

В моих кластерах журналы stdout/stderr из каждого модуля находятся в /var/log/containers, однако есть некоторые ссылки/перенаправления:

/var/log/containers/<pod-name>_<namespace>_<container-name-container-id>.log -> /var/log/pods/<some-uuid>/<container-name>_0.log

И этот журнал на самом деле связан с /var/lib/docker:

<container-name>_0.log -> /var/lib/docker/containers/<container-id>/<container-id>-json.log

Это зависит от версии k8s:

• до 1.14: /var/log/pods/<pod_id>/<name>/<num>.log
• 1.14 или более поздняя версия: /var/log/pods/<namespace>_<pod_name>_<pod_id>/<container_name>/<num>.log (см. этот PR)

файлы над обоими символами ссылаются на файлы докеров, например. /var/lib/docker/containers/<container-id>/<container-id>-json.log.

Например:

Журналы управляются kubelet на каждом узле. Когда вы запускаете kubectl logs <pod>, он передает запрос kubelet на узле, где работает ваш модуль, и считывает связанный файл журнала.

Архитектуру можно посмотреть здесь