Arhn - архитектура программирования

Тема __consumer_offsets, показывающая другую конфигурацию при описании с помощью zookeeper и bootstrap-server

Версия Kafka — 2.4.0 Я использую скрипт kafka-topics.sh для описания темы __consumer_offsets с двумя вариантами ниже

  • --bootstrap-сервер
  • --zookeeper (уСТАРЕЛО)

Оба они показывают разный фактор репликации и конфигурацию темы.

Может ли кто-нибудь помочь здесь понять, почему это поведение. Большое спасибо за вашу помощь.

При использовании --bootstrap-server

./kafka-topics.sh --bootstrap-server kafka-broker:9092 --describe --topic __consumer_offsets

Topic: __consumer_offsets       PartitionCount: 50      ReplicationFactor: 3    Configs: compression.type=producer,min.insync.replicas=1,cleanup.policy=compact,segment.bytes=104857600,retention.ms=60000,message.format.version=0.10.2-IV0,file.delete.delay.ms=30000,unclean.leader.election.enable=true,retention.bytes=132070253,delete.retention.ms=30000,segment.ms=3600000

При использовании --zookeeper

./kafka-topics.sh --zookeeper zookeeper-host:2181/asrkafka --describe --topic __consumer_offsets

Topic: __consumer_offsets       PartitionCount: 50      ReplicationFactor: 3    Configs: compression.type=producer,cleanup.policy=compact,segment.bytes=104857600
java apache-kafka kafka-consumer-api
05.09.2020

Ответы:


1

Вариант без Zookeeper использует API AdminClient, который извлекает дополнительные метаданные темы, которые хранятся в настройках брокера, а не только в Zookeeper.

05.09.2020
  • Иногда я видел, как использование --bootstrap-server показывает другой фактор репликации и cleanup.policy, чем -- zookeeper. например, --bootstrap-server указывает фактор репликации 2 и cleanup.policy как удаление, а --zookeeper сообщает фактор репликации 3 и cleanup.policy=compact. не могли бы вы помочь с этим, как может быть дело 06.09.2020
  • Это никогда не должно случиться. У вас больше одного кластера? 06.09.2020
  • Да, у меня есть более 1 кластера ... но для разных кластеров у нас есть разные узлы в zookeeper. 07.09.2020
  • Я вижу, вы указали /asrkafka, значит, вы всегда ссылаетесь на один и тот же путь при поиске данных темы? И этот же путь хранится в настройках брокера? 07.09.2020
  • Я использовал это ... позже увижу, появится ли подобное снова и обновится. Спасибо 08.09.2020
    • Новые материалы
    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..