Saya mencoba memasukkan jeda topik Kafka ke Prometheus dan akhirnya ke APIServer untuk memanfaatkan metrik eksternal HPA untuk aplikasi saya.

Saya mendapatkan kesalahan tidak ada metrik yang dikembalikan dari API metrik eksternal

70m         Warning   FailedGetExternalMetric        horizontalpodautoscaler/kafkademo-hpa   unable to get external metric default/kafka_lag_metric_sm0ke/&LabelSelector{MatchLabels:map[string]string{topic: prices,},MatchExpressions:[]LabelSelectorRequirement{},}: no metrics returned from external metrics API
66m         Warning   FailedComputeMetricsReplicas   horizontalpodautoscaler/kafkademo-hpa   invalid metrics (1 invalid out of 1), first error is: failed to get external metric kafka_lag_metric_sm0ke: unable to get external metric default/kafka_lag_metric_sm0ke/&LabelSelector{MatchLabels:map[string]string{topic: prices,},MatchExpressions:[]LabelSelectorRequirement{},}: no metrics returned from external metrics API

Ini terjadi walaupun saya dapat melihat keluaran berikut saat menanyakan API eksternal:

kubectl get --raw /apis/external.metrics.k8s.io/v1beta1 | jq
{
  "kind": "APIResourceList",
  "apiVersion": "v1",
  "groupVersion": "external.metrics.k8s.io/v1beta1",
  "resources": [
    {
      "name": "kafka_lag_metric_sm0ke",
      "singularName": "",
      "namespaced": true,
      "kind": "ExternalMetricValueList",
      "verbs": [
        "get"
      ]
    }
  ]
}

Berikut pengaturannya:

  • Kafka: v2.7.0
  • Prometheus: v2.26.0
  • Adaptor Prometheus: v0.8.3

Nilai Adaptor Prometheus

rules:
  external:
  - seriesQuery: 'kafka_consumergroup_group_lag{topic="prices"}'
    resources:
      template: <<.Resource>>
    name:
      as: "kafka_lag_metric_sm0ke"
    metricsQuery: 'avg by (topic) (round(avg_over_time(<<.Series>>{<<.LabelMatchers>>}[1m])))'

HPA

apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
  name: kafkademo-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: kafkademo
  minReplicas: 3
  maxReplicas: 12
  metrics:
  - type: External
    external:
      metricName: kafka_lag_metric_sm0ke
      metricSelector:
        matchLabels:
          topic: prices
      targetValue: 5

Informasi HPA

kubectl describe hpa kafkademo-hpa 
Name:                                       kafkademo-hpa
Namespace:                                  default
Labels:                                     <none>
Annotations:                                <none>
CreationTimestamp:                          Sat, 17 Apr 2021 20:01:29 +0300
Reference:                                  Deployment/kafkademo
Metrics:                                    ( current / target )
  "kafka_lag_metric_sm0ke" (target value):  <unknown> / 5
Min replicas:                               3
Max replicas:                               12
Deployment pods:                            3 current / 0 desired
Conditions:
  Type           Status  Reason                   Message
  ----           ------  ------                   -------
  AbleToScale    True    SucceededGetScale        the HPA controller was able to get the target's current scale
  ScalingActive  False   FailedGetExternalMetric  the HPA was unable to compute the replica count: unable to get external metric default/kafka_lag_metric_sm0ke/&LabelSelector{MatchLabels:map[string]string{topic: prices,},MatchExpressions:[]LabelSelectorRequirement{},}: no metrics returned from external metrics API
Events:
  Type     Reason                        Age                     From                       Message
  ----     ------                        ----                    ----                       -------
  Warning  FailedComputeMetricsReplicas  70m (x335 over 155m)    horizontal-pod-autoscaler  invalid metrics (1 invalid out of 1), first error is: failed to get external metric kafka_lag_metric_sm0ke: unable to get external metric default/kafka_lag_metric_sm0ke/&LabelSelector{MatchLabels:map[string]string{topic: prices,},MatchExpressions:[]LabelSelectorRequirement{},}: no metrics returned from external metrics API
  Warning  FailedGetExternalMetric       2m30s (x366 over 155m)  horizontal-pod-autoscaler  unable to get external metric default/kafka_lag_metric_sm0ke/&LabelSelector{MatchLabels:map[string]string{topic: prices,},MatchExpressions:[]LabelSelectorRequirement{},}: no metrics returned from external metrics API

-- Sunting 1

Ketika saya menanyakan namespace default saya mendapatkan ini:

kubectl get --raw /apis/external.metrics.k8s.io/v1beta1/namespaces/default/kafka_lag_metric_sm0ke |jq
{
  "kind": "ExternalMetricValueList",
  "apiVersion": "external.metrics.k8s.io/v1beta1",
  "metadata": {},
  "items": []
}

Saya dapat melihat bahwa bidang "item" kosong. Apa artinya ini?

Apa yang sepertinya tidak saya pahami adalah rantai peristiwa yang terjadi di balik layar.

AFAIK inilah yang terjadi. Apakah ini benar?

  • prometheus-adapter query Prometheus, mengeksekusi seriesQuery, menghitung metricsQuery dan membuat "kafka_lag_metric_sm0ke"
  • Ini mendaftarkan titik akhir dengan server api untuk metrik eksternal.
  • Server API akan memperbarui statistiknya secara berkala berdasarkan titik akhir itu.
  • HPA memeriksa "kafka_lag_metric_sm0ke" dari server API dan melakukan penskalaan sesuai dengan nilai yang diberikan.

Saya juga sepertinya tidak mengerti pentingnya ruang nama dalam semua ini. Saya dapat melihat bahwa stat diberi namespace. Apakah itu berarti akan ada 1 stat per namespace? Bagaimana itu masuk akal?

2
sm0ke21 18 April 2021, 11:00

1 menjawab

Jawaban Terbaik

Dalam tradisi panjang menjawab pertanyaan saya sendiri setelah saya menanyakannya, inilah yang salah dengan konfigurasi di atas.

Kesalahannya terletak pada prometheus-adapter yaml:

rules:
  external:
    - seriesQuery: 'kafka_consumergroup_group_lag{topic="prices"}'
      resources:
        template: <<.Resource>>
      name:
        as: "kafka_lag_metric_sm0ke"
      metricsQuery: 'avg by (topic) (round(avg_over_time(<<.Series>>{<<.LabelMatchers>>}[1m])))'

Saya menghapus <<.LabelMatchers>> dan sekarang berfungsi:

kubectl get --raw /apis/external.metrics.k8s.io/v1beta1/namespaces/default/kafka_lag_metric_sm0ke |jq
{
  "kind": "ExternalMetricValueList",
  "apiVersion": "external.metrics.k8s.io/v1beta1",
  "metadata": {},
  "items": [
    {
      "metricName": "kafka_lag_metric_sm0ke",
  "metricLabels": {
        "topic": "prices"
      },
      "timestamp": "2021-04-21T16:55:18Z",
      "value": "0"
    }
  ]
}

Saya masih tidak yakin mengapa itu berhasil. Saya tahu bahwa <<.LabelMatchers>> dalam hal ini akan diganti dengan sesuatu yang tidak menghasilkan kueri yang valid, tetapi saya tidak tahu apa itu.

1
sm0ke21 21 April 2021, 16:57