Arhn - архитектура программирования

Как интерпретировать показатели задержки, сообщаемые брокером kafka

Я смотрю, как брокер kafka сообщил о различных показателях задержки, чтобы включить их в панель управления Grafana, но мне трудно понять сообщаемые показатели. Я экспортировал метрики в Prometheus через JMX-экспортер. например, возьмем метрику «Общее время запроса на производство». (kafka.network:type=RequestMetrics,name=TotalTimeMs,request=Produce)

  1. когда я запрашиваю Прометея с "kafka_network_requestmetrics_totaltimems_count{request="Produce"}"

, я получаю большое количество. например 56459366. Что такое большое число?

  1. когда я запрашиваю Прометея с "kafka_network_requestmetrics_totaltimems{request="Produce"}", я получаю 6 строк. например следующий
kafka_network_requestmetrics_totaltimems{instance="10.130.12.24:8020",job="kubernetes-pods",pod="kafka-0",quantile="0.50",request="Produce"}    2
kafka_network_requestmetrics_totaltimems{instance="10.130.12.24:8020",job="kubernetes-pods",pod="kafka-0",quantile="0.75",request="Produce"}    2
kafka_network_requestmetrics_totaltimems{instance="10.130.12.24:8020",job="kubernetes-pods",pod="kafka-0",quantile="0.95",request="Produce"}    3
kafka_network_requestmetrics_totaltimems{instance="10.130.12.24:8020",job="kubernetes-pods",pod="kafka-0",quantile="0.98",request="Produce"}    12.42
kafka_network_requestmetrics_totaltimems{instance="10.130.12.24:8020",job="kubernetes-pods",pod="kafka-0",quantile="0.99",request="Produce"}    21
kafka_network_requestmetrics_totaltimems{instance="10.130.12.24:8020",job="kubernetes-pods",pod="kafka-0",quantile="0.999",request="Produce"} 54

что означают эти различные квантильные метрики и как я могу рассчитать на их основе средние значения?

  1. как часто брокер обновляет эти показатели?
apache-kafka jmx
13.08.2020

Ответы:


1

Счетчик - это просто количество запросов на производство, которые были измерены с момента запуска брокера. Для каждого запроса на производство, который получает брокер, он измеряет время на обработку. Значит, это монотонно увеличивающийся счетчик.

Различные 6 строк представляют собой процентили. Это означает, что в вашем случае для 50% (медианы) запросов на производство время их обработки заняло до 2 мс. То же самое касается 75% запросов. Однако для 99% ваших запросов время обработки занимало до 21 мс. Таким образом, вы можете сделать вывод, что для тех 24% запросов в середине время обработки занимало от 2 мс до 21 мс. Вы не можете и не должны рассчитывать среднее значение, так как это вводит в заблуждение, особенно при измерении SLA (как гласит известная шутка - если голова статистика находится в плите, а его ноги в морозилке, то в среднем он чувствует себя хорошо ...) Вы можете найти множество сообщений, объясняющих разницу, например, вот один - https://www.dynatrace.com/news/blog/why-averages-suck-and-percentiles-are-great/

Что касается частоты обновления этих показателей - они постоянно обновляются по мере поступления запросов. Гистограммы используют резервуары, чтобы придать больший вес последним выборкам (нет смысла принимать во внимание выборки, полученные неделю назад, когда вы смотрите на текущие процентили времени запроса). Существуют разные типы резервуаров, я не знаю, какой из них здесь используется, но для понимания концепции вы можете прочитать этот пост https://medium.com/expedia-group-tech/your-latency-metrics-could-be-misleading-you-how-hdrhistogram-can-help-9d545b598374

03.11.2020
Новые материалы
Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..