system.kafka_consumers

Системная таблица с информацией о потребителях Kafka.

Запросы в ClickHouse Cloud

Данные в этой системной таблице хранятся локально на каждом узле ClickHouse Cloud. Поэтому, чтобы получить полное представление обо всех данных, требуется функция clusterAllReplicas. Дополнительные сведения см. здесь.

​

Описание

Содержит информацию о потребителях Kafka. Относится к движку таблицы Kafka (встроенная интеграция ClickHouse)

​

Столбцы

• database (String) — База данных таблицы с движком Kafka.
• table (String) — Имя таблицы с движком Kafka.
• consumer_id (String) — Идентификатор потребителя Kafka. Обратите внимание: у таблицы может быть несколько потребителей Kafka. Задаётся параметром kafka_num_consumers.
• assignments.topic (Array(String)) — Kafka topic.
• assignments.partition_id (Array(Int32)) — Идентификатор Kafka partition. Обратите внимание: партиция может быть назначена только одному потребителю Kafka.
• assignments.current_offset (Array(Int64)) — Текущее смещение.
• assignments.intent_size (Array(Nullable(Int64))) — Количество отправленных, но ещё не подтверждённых сообщений в новом StorageKafka.
• exceptions.time (Array(DateTime)) — Временная метка, когда были сгенерированы 10 последних исключений.
• exceptions.text (Array(String)) — Текст 10 последних исключений.
• last_poll_time (DateTime) — Временная метка последнего опроса.
• num_messages_read (UInt64) — Количество сообщений, прочитанных потребителем Kafka.
• last_commit_time (DateTime) — Временная метка последнего опроса.
• num_commits (UInt64) — Общее количество commit для потребителя Kafka.
• last_rebalance_time (DateTime) — Временная метка последней перебалансировки Kafka.
• num_rebalance_revocations (UInt64) — Количество случаев, когда у потребителя Kafka отзывали его партиции.
• num_rebalance_assignments (UInt64) — Количество случаев, когда потребитель Kafka назначался кластеру Kafka.
• is_currently_used (UInt8) — Флаг, показывающий, используется ли потребитель Kafka в данный момент.
• last_used (DateTime64(6)) — Время последнего использования этого потребителя Kafka.
• rdkafka_stat (String) — Внутренняя статистика библиотеки. Чтобы отключить, установите statistics_interval_ms в 0; значение по умолчанию — 3000 (раз в три секунды).
• dependencies (Array(Array(String))) — Транзитивные зависимости базы данных.
• missing_dependencies (Array(Array(String))) — Отсутствующие транзитивные зависимости базы данных.

Пример:

SELECT *
FROM system.kafka_consumers
FORMAT Vertical

Row 1:
──────
database:                      test
table:                         kafka
consumer_id:                   ClickHouse-instance-test-kafka-1caddc7f-f917-4bb1-ac55-e28bd103a4a0
assignments.topic:             ['system_kafka_cons']
assignments.partition_id:      [0]
assignments.current_offset:    [18446744073709550615]
exceptions.time:               []
exceptions.text:               []
last_poll_time:                2006-11-09 18:47:47
num_messages_read:             4
last_commit_time:              2006-11-10 04:39:40
num_commits:                   1
last_rebalance_time:           1970-01-01 00:00:00
num_rebalance_revocations:     0
num_rebalance_assignments:     1
is_currently_used:             1
rdkafka_stat:                  {...}
dependencies:                  [['test.mv2','test.target2'],['test.mv1','test.target1']]
missing_dependencies:          []