Мониторинг Kubernetes кластера снаружи с помощью Prometheus

4 января, 2023 Sysadmintalks DevOps, Kubernetes 3

Prometheus + Kuebrnetes
Prometheus + Kubernetes

Мониторинг Kubernetes кластера с помощью Prometheus довольно популярная тема и уже разжевана в большом количестве статей. Но в основном все предлагают развернуть тем или иным путём prometheus+grafana+alertmanager прямо внутри кластера, что не всегда удобно.

Начиная с версии 2.32 у Prometheus появился режим агента. В этом режиме он не хранит метрики у себя, а сразу пушит их указанному, вышестоящему серверу. Таким образом не открывая доступ к самому Kubernetes кластеру, можно настроить мониторинг используя для этого существующий Prometheus инстанс.

Данный ниже материал предполагает что у вас уже есть равёрнутый и работающий Prometheus, а также Kubernetes кластер и вы умеете работать с этими инструментами.

В первую очередь, для текущего инстанса Prometheus нужно включить функцию remote-write-receiver что бы он мог приминать метрики от соседа. 

--web.enable-remote-write-receiver

Далее переходим к настройке Prometheus в самом кластере:

Создаем ClusterRole и ClusterRoleBinding что у Prometheus была возможность «сдёргивать» метрики, создаем clusterrole.yml и наполняем :

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: prometheus
rules:
  - apiGroups: [""]
    resources:
      - nodes
      - nodes/proxy
      - services
      - endpoints
      - pods
    verbs: ["get", "list", "watch"]
  - apiGroups:
      - extensions
    resources:
      - ingresses
    verbs: ["get", "list", "watch"]
  - nonResourceURLs: ["/metrics"]
    verbs: ["get"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: prometheus
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: prometheus
subjects:
  - kind: ServiceAccount
    name: default
    namespace: monitoring
clusterrole.yml

И применяем с помощью:

kubectl apply -f clusterrole.yml

Далее создаем ConfigMap с настройками Prometheus, обратите внимание на параметр remote_write именно он отвечает за url адрес основного Prometheus сервера. Создаем config-map.yml и наполняем:

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-server-conf
  labels:
    name: prometheus-server-conf
  namespace: monitoring
data:
  prometheus.yml: |-
    global:
      scrape_interval: 5s
      evaluation_interval: 5s
    scrape_configs:
 
      - job_name: 'kubernetes-apiservers'
        kubernetes_sd_configs:
        - role: endpoints
        scheme: https
        tls_config:
          ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
        relabel_configs:
        - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name]
          action: keep
          regex: default;kubernetes;https
 
      - job_name: 'node-exporter'
        kubernetes_sd_configs:
          - role: endpoints
        relabel_configs:
        - source_labels: [__meta_kubernetes_endpoints_name]
          regex: 'node-exporter'
          action: keep
 
      - job_name: 'kubernetes-nodes'
        scheme: https
        tls_config:
          ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
        kubernetes_sd_configs:
        - role: node
        relabel_configs:
        - action: labelmap
          regex: __meta_kubernetes_node_label_(.+)
        - target_label: __address__
          replacement: kubernetes.default.svc:443
        - source_labels: [__meta_kubernetes_node_name]
          regex: (.+)
          target_label: __metrics_path__
          replacement: /api/v1/nodes/${1}/proxy/metrics
 
      - job_name: 'kubernetes-pods'
        kubernetes_sd_configs:
        - role: pod
        relabel_configs:
        - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
          action: keep
          regex: true
        - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
          action: replace
          target_label: __metrics_path__
          regex: (.+)
        - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port]
          action: replace
          regex: ([^:]+)(?::\d+)?;(\d+)
          replacement: $1:$2
          target_label: __address__
        - action: labelmap
          regex: __meta_kubernetes_pod_label_(.+)
        - source_labels: [__meta_kubernetes_namespace]
          action: replace
          target_label: kubernetes_namespace
        - source_labels: [__meta_kubernetes_pod_name]
          action: replace
          target_label: kubernetes_pod_name
 
      - job_name: 'kube-state-metrics'
          static_configs:
          - targets: ['kube-state-metrics.kube-system.svc.cluster.local:8080']
 
      - job_name: 'kubernetes-cadvisor'
        scheme: https
        tls_config:
          ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
        kubernetes_sd_configs:
        - role: node
        relabel_configs:
        - action: labelmap
          regex: __meta_kubernetes_node_label_(.+)
        - target_label: __address__
          replacement: kubernetes.default.svc:443
        - source_labels: [__meta_kubernetes_node_name]
          regex: (.+)
          target_label: __metrics_path__
          replacement: /api/v1/nodes/${1}/proxy/metrics/cadvisor
 
      - job_name: 'kubernetes-service-endpoints'
        kubernetes_sd_configs:
        - role: endpoints
        relabel_configs:
        - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]
          action: keep
          regex: true
        - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scheme]
          action: replace
          target_label: __scheme__
          regex: (https?)
        - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path]
          action: replace
          target_label: __metrics_path__
          regex: (.+)
        - source_labels: [__address__, __meta_kubernetes_service_annotation_prometheus_io_port]
          action: replace
          target_label: __address__
          regex: ([^:]+)(?::\d+)?;(\d+)
          replacement: $1:$2
        - action: labelmap
          regex: __meta_kubernetes_service_label_(.+)
        - source_labels: [__meta_kubernetes_namespace]
          action: replace
          target_label: kubernetes_namespace
        - source_labels: [__meta_kubernetes_service_name]
          action: replace
          target_label: kubernetes_name
 
    remote_write:
    - url: 'http://192.168.168.168:9090/api/v1/write'
config-map.yml

Применяем с помощью:

kubectl apply -f config-map.yml

Осталось добавить Deployment для самого Prometheus, не забываем включить режим работы агентом. Создаем prometheus-deployment.yml и наполняем:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus-deployment
  namespace: monitoring
  labels:
    app: prometheus-server
spec:
  replicas: 1
  selector:
    matchLabels:
      app: prometheus-server
  template:
    metadata:
      labels:
        app: prometheus-server
    spec:
      containers:
        - name: prometheus
          image: prom/prometheus
          args:
            - "--config.file=/etc/prometheus/prometheus.yml"
            - "--web.enable-lifecycle"
            - "--enable-feature=agent"
          ports:
            - containerPort: 9090
          resources:
            requests:
              cpu: 500m
              memory: 500M
            limits:
              cpu: 1
              memory: 1Gi
          volumeMounts:
            - name: prometheus-config-volume
              mountPath: /etc/prometheus/
            - name: prometheus-storage-volume
              mountPath: /prometheus/
      volumes:
        - name: prometheus-config-volume
          configMap:
            defaultMode: 420
            name: prometheus-server-conf
        - name: prometheus-storage-volume
          emptyDir: {}
prometheus-deployment.yml

Применяем с помощью:

kubectl apply -f prometheus-deployment.yml

Проверяем что под Prometheus запущен:

Проверка состояния запущенного pod
Проверка состояния pod

И заодно проверяем в логе что подключение к основному серверу установлено:

Проверяем лог
Проверяем лог

И на последок можно проверить что метрики появились в основном Prometheus

Проверка наличия метрик в основном prometheus
Проверка наличия метрик в основном prometheus

Полезныые материалы по теме:

3 уведомления

  1. Кластер Kubernetes с помощью Kubespray - Sysadmin talks
  2. Мониторинг Postgres с помощью Prometheus+Grafana - Sysadmin talks
  3. ICMP мониторинг с помощью Prometheus и Blackbox Exporter Linux - Sysadmin talks

Отправить ответ

Ваш e-mail не будет опубликован.


*