Авторские права

Учебное пособие, практические задания, презентации (далее документы) предназначены для учебных целей.

Документы защищены авторским правом и законодательством об интеллектуальной собственности.

Вы можете копировать и распечатывать документы для личного использования в целях самообучения, а также при обучении в авторизованных ООО «Tantor Labs» учебных центрах и образовательных учреждениях. Авторизованные ООО «Tantor Labs» учебные центры и образовательные учреждения могут создавать учебные курсы на основе документов и использовать документы в учебных программах с письменного разрешения ООО «Tantor Labs».

Вы не имеете права использовать документы для обучения сотрудников или других лиц без разрешения ООО «Tantor Labs». Вы не имеете права лицензировать, коммерчески использовать документы полностью или частично без разрешения ООО «Tantor Labs».

При некоммерческом использовании (презентации, доклады, статьи, книги) информации из документов (текст, изображения, команды) сохраняйте ссылку на документы.

Текст документов не может быть изменен каким-либо образом.

Информация, содержащаяся в документах, может быть изменена без предварительного уведомления и мы не гарантируем ее безошибочность. Если вы обнаружите ошибки, нарушение авторских прав, пожалуйста, сообщите нам об этом.

Отказ от ответственности за содержание документа, продукты и услуги третьих лиц:

ООО «Tantor Labs» и связанные лица не несут ответственности и прямо отказываются от любых гарантий любого рода, включая потерю дохода, нанесенные прямым или непрямым, специальным или случайным использованием документа. ООО «Tantor Labs» и связанные лица не несут ответственности за любые убытки, издержки или ущерб, возникшие в результате использования информации, содержащейся в документе или использования сторонних ссылок, продуктов или услуг.

Авторское право © 2025, ООО «Tantor Labs»

Создал: Олег Иванов

Слайд 1

Слайд 1

Слайд 2

Предварительная подготовка

Для успешного прохождения курса достаточно опыта администрирования любой СУБД семейства PostgreSQL или знаний в объеме курса "Tantor: Администрирование PostgreSQL".

В курсе будут рассмотрены возможности Платформы Tantor.

Для успешного прохождения курса рекомендуется слушать инструктора, если будут возникать вопросы задавать их, выполнять практические задания.

Слайд 3

Материалы курса

К материалам курса относятся:

1) Учебное пособие в форме книги в формате pdf, которое содержит теоретическую часть курса.

2) Практические задания в форме книги в формате pdf.

3) Виртуальная машина с установленными в операционной системе Astra Linux 1.7: Платформой Tantor версии 6,  СУБД Tantor Postgres версии 17.5. Может предоставляться доступ к виртуальной машине на время курса или образ в формате ova. Образ виртуальной машины можно использовать с Oracle VirtualBox версии 6.1 и выше.

Слайд 4

Разделы курса

1.  Введение

2. Подготовка к работе (3 части)

3. Мониторинг (7 частей)

4. Конфигурирование и обслуживание (5 частей)

8. Установка и обновление (3 части)

Слайд 5

О курсе

Курс предназначен для очного или дистанционного обучения с инструктором. Курс состоит из теоретической части - глав, практических упражнений и перерывов. Перерывы совмещаются с практическими упражнениями, которые слушатели выполняют самостоятельно на подготовленной для курса виртуальной машине.

Примерное расписание:

1) начало в 10:00

2) перерыв на обед 13:00-14:00. Начало обеда может сдвигаться на полчаса в диапазоне от 12:30 до 13:30, так как обычно совмещается с перерывом между главами.

3) окончание теоретической части до 17:00.

Курс состоит из теоретической части (глав) и практических заданий. Длительность глав примерно 20-40 минут. Точное время начала изложения глав и времени на практические задания определяет инструктор. Длительность выполнения упражнений может отличаться у разных слушателей и это не влияет на эффективность усвоения материала курса. Доделывать упражнения можно в перерывах между главами или в конце каждого дня. Порядок следования глав и упражнений на эффективность усвоения материала курса не влияет. Проверка выполнения заданий не производится. Для успешного усвоения материала курса достаточно:

1) слушать инструктора, просматривая в процессе изложения инструктора текст на слайдах и под слайдом

2) задавать инструктору вопросы, если возникает внутреннее несогласие (появляются вопросы)

3) выполнять практические задания и читать текст в практических заданиях

В материалы курса входят:

1) учебник в формате pdf

2) практические задания в формате pdf

3) образ виртуальной машины в формате ova

Слайд 6

О компании Тантор

С 2016 года команда Тантор работала на международном рынке поддержки эксплуатации СУБД PostgreSQL и обслуживала клиентов из Европы, Северной и Южной Америки,  Ближнего Востока. Команда Тантор разработала программное обеспечение Платформа Tantor и в последующем создала СУБД Tantor Postgres, основанную на программном коде свободно распространяемой СУБД PostgreSQL.

Платформа Tantor доступна клиентам с 2020 года

В 2021 году компания полностью переориентировались на российский рынок, где сконцентрировала свои основные направления деятельности на проектирование и разработку СУБД Tantor Postgres, а также развитие Платформы Tantor - инструмента управления и мониторинга БД, основанных на PostgreSQL.

Проектирование и разработка продуктов основывается на накопленном многолетнем опыте в эксплуатации высоконагруженных программных систем в государственном и частном секторах.

В конце 2022 года компания вошла в Группу Астра☆

Слайд 7

Платформа Tantor

Платформа Tantor - программное обеспечение  для управления и мониторинга СУБД Tantor Postgres, любых форков PostgreSQL, кластеров Patroni. Позволяет удобно управлять большим числом экземпляров PostgreSQL.

Относится к классу программных продуктов, в который входит Oracle Enterprise Manager Cloud Control.

Преимущества использования Платформы Tantor:

1. Сбор показателей работы экземпляров PostgreSQL, хранение и обработка показателей, рекомендации по настройке производительности

2. Интуитивно понятный и функциональный графический интерфейс позволяет сосредоточиться на показателях работы экземпляров PostgreSQL

3. Графический интерфейс продуман до мелочей и эстетически приятен, что повышает удовлетворённость от повседневного использования Платформы

4. Графические элементы (размер, цвета, толщина линий, шрифты) оптимизированы для удобства восприятия при долговременной работе

5. Информация, отображаемая Платформой, не перегружена неважными деталями, информация подаётся максимально просто и понятно, что позволяет сосредоточиться на важных метриках работы экземпляров PostgreSQL

6. Автоматизирует рутинные задачи, повышая эффективность работы и снижая вероятность ошибок

7. Управляет не только СУБД Tantor Postgres, но и другими СУБД семейства PostgreSQL

8. Интеграция с почтовыми системами, службами каталогов, мессенджерами, Prometeus, Grafana

9. Простое внедрение: развертывание и ввод СУБД под обслуживание Платформой Tantor с помощью Ansible

10. Гибкое лицензирование: доступны постоянные (без ограничения срока) и срочные (на 1, 2 ,3 года) лицензии.

Платформа Tantor DLH

Тантор Лабс также выпускает Платформу Tantor DLH - программное обеспечение, позволяющее организовать процесс трансформации и загрузки данных по логике Extract Transform Load или Extract Load Transform в СУБД Tantor Postgres для организации хранилищ и витрин данных. Относится к классу программных продуктов, в который входит Oracle Data Integrator.

Слайд 8

СУБД Tantor Postgres

СУБД Tantor Postgres - реляционная база данных семейства PostgreSQL с повышенной производительностью и стабильностью. Выпускается в нескольких редакциях (сборках): BE (Basic Edition), SE (Special Edition), SE 1C, Certified Исполнение 1 (сертифицированные SE и SE 1C) и Certified Исполнение 2 (Сертифицированный BE). Редакция Special Edition высоконагруженных OLTP-систем  и хранилищ данных размерами до 100ТБ. Редакция Special Edition 1C для приложений 1С.

Для всех редакций доступна техническая поддержка, помощь в построении архитектурных решений, миграции с СУБД других производителей. Программное обеспечение Тантор Лабс включено в "Единый реестр российских программ для электронных вычислительных машин и баз данных".

При приобретении СУБД Tantor Postgres бесплатно предоставляется лицензия на Платформу Tantor для управления приобретенными СУБД Tantor Postgres.

Слайд 9

Tantor xData

Программно-аппаратный комплекс (ПАК) Tantor XData обеспечивает рабочие нагрузки большого масштаба и критичности с высокой производительностью и доступностью. Консолидация различных рабочих нагрузок Tantor Postgres SE на машине баз данных XData в корпоративных центрах обработки данных помогает организациям повысить операционную эффективность, сократить объем администрирования и снизить затраты.

Программно-аппаратный комплекс (ПАК) Tantor XData предназначен миграции с комплексов иностранных производителей и обеспечивает аналогичную нагрузочную способность. Является заменой высоконагруженным СУБД размером до ~50Тб на один экземпляр, обслуживающие нагрузку типа OLTP, работающие на программно-аппаратных комплексах иностранных производителей. Для СУБД, обслуживающих хранилища данных размером до ~120Тб на один экземпляр.

Является заменой для тяжёлых ERP от 1C при миграции с СУБД иностранных  производителей. Позволяет консолидировать несколько СУБД в одном ПАК. Может использоваться при миграции с SAP на 1С:ERP.

Предназначен для создания облачных платформ.

Преимуществом при эксплуатации xData является наличие в составе ПАК удобной графической системы мониторинга работы СУБД: Платформы Tantor.

C 2025 года выпускается вторая версия ПАК:

xData 2A - на процессорах x86-64 на основе серверов Aquarius.

xData 2Y - на процессорах x86-64 на основе серверов Yadro.

xData 2B - на процессорах Baikal-S на основе серверов Элпитех.

Слайд 10

Доработка расширений PostgreSQL

Сотрудники Тантор Лабс дорабатывают и создают расширения для СУБД  PostgreSQL.

Репозитории расширений:  https://github.com/orgs/TantorLabs

Список расширений:

1. pg_cluster

2. pg_anon

3. pg_perfbench  MIT License

4. ansible_tantor_agent  MIT License

5. pg_configurator MIT License

6. pg_store_plans

7. ldap2pg PostgreSQL License

8. citus GNU Affero General Public License v3.0

9. wal-g Apache License, Version 2.0 (lzo - GPL 3.0+)

10. odyssey BSD 3-Clause "New" or "Revised" License

11. plantuner

12. pg_orchestrator MIT License

13. pgtools

14. pipelinedb Apache License 2.0

Слайд 11

Конференции PGBootCamp

Тантор Лабс является активным участником организации конференций сообщества PostgreSQL в рамках глобальной инициативы PG BootCamp.

Участие в конференции бесплатно и возможно онлайн и оффлайн: https://pgbootcamp.ru/

Можно стать докладчиком на конференции.

Материалы докладов конференций в открытом доступе: https://github.com/PGBootCamp

Выступления https://www.youtube.com/@PGBootCampRussia

Конференция PGBootCamp проводилась:

Екатеринбург 10 апреля 2025

Казань 17 сентября 2024

Минск 16 апреля 2024

Москва 5 октября 2023

Конференция Tantor JAM проводилась в Москве 19 сентября 2015 года, материалы выступлений:  https://tantorlabs.ru/jam-2025 и https://tantorlabs.ru/jam-2024

Слайд 12

Слайд 13

Возможности Платформы Tantor

Dashboard (приборная панель): готовые графики для наиболее важных метрик:, таких как соединения с базами данных, транзакции, попадание в буферный кэш, WAL, репликация,  контрольные точки, блокировки; CPU, RAM, IO, место в файловых системах, сеть. Группировка и фильтрация метрик по экземплярам и рабочим пространствам.

Конфигуратор: рекомендации по установке значений параметров конфигурации PostgreSQL

Внесение изменений в значения параметров: генерация команд ALTER SYSTEM,  хранение истории изменений, отмена и применение через агентов Платформы к экземплярам

Встроенный анализатор планов запросов от Tensor: В Платформу встроен лицензированный анализатор планов запросов от компании Tensor с рекомендациями исправления запросов и использования индексов, который не требует доступа в интернет и передачи запросов во внешние системы.

Повседневное обслуживание: планирование запуска VACUUM/VACUUM FULL/REINDEX/ANALYZE

Мониторинг и уведомления: установка пороговых значений (предупреждение, критическое значение, значение восстановления) для метрик, настройка уведомлений о превышении, маршрутизация получателей уведомлений по уровню важности

Интеграция с системами уведомлений: Мессенджеры (Telegram/e-mail), Triafly BI (экспорт для расширенной аналитики), SIEM (security information and event management, всего лишь передача уведомлений службе syslog).

Интеграция с системами мониторинга: по REST API (OpenAPI, тестирование на странице Swagger UI)

Интеграция со службами каталогов по протоколу LDAP: любые, если известны параметры, в документации даны примеры для FreeIPA, AldPro, Active Directory

Управление кластерами Patroni: просмотр и изменение параметров, мониторинг репликации и событий failover

Интеграция с системами резервирования: Backman и RuBackup

Аналитика: анализ диагностических журналов PostgreSQL

Слайд 14

Работа с экземплярами PostgreSQL: Обзор

Страница "Обзор" экземпляра - основная, с которой начинают работу с экземпляром. На ней отображаются "плитки" (прямоугольные элементы графического интерфейса) с основными показателями работы экземпляра PostgreSQL.

В левой части показывается меню из 13 пунктов (для реплик PostgreSQL пункт "Обслуживание" не показывается) в 6 версии Платформы. В 5 версии Платформы было 12 пунктов меню, в 6 версии в меню был добавлен пункт: "Мониторинг бэкапов".

Меню закреплено. Если нужно спрятать меню, чтобы освободить пространство на экране, нужно кликнуть на стрелку в прямоугольнике, которая находится сверху справа на плитке меню:

В предыдущих версиях Платформы для "схлопывания" меню до пиктограмм использовался значок кнопки, который располагался внизу меню:  

Набор "плиток" на странице "Обзор экземпляра" нельзя изменить. Это можно сделать на странице "Графики", которая изначально пуста.

https://docs.tantorlabs.ru/tp/6.0/instances/overview.html

Слайд 15

Расширение pg_stat_statements

Для того, чтобы в плашках "5 САМЫХ ДЛИТЕЛЬНЫХ ЗАПРОСОВ" и "СРЕДНЕЕ ВРЕМЯ ЗАПРОСА" отображались данные, нужно, чтобыв параметре shared_preload_libraries

была загружена библиотека pg_stat_statements и в мониторируемых базах данных было установлено расширение: create extention pg_stat_statements;

При добавлении экземпляра в Агент Платформы, проверяется наличие расширений:

root@tantor:~# pmaagent instances add --name 'Patroni1' --environment 'SERVER' --type 'PostgreSQL' --db-host '10.0.2.15' --db-port '5434' --db-user 'pma_user' --db-pass 'pma_user' --db-admin-user 'postgres' --db-admin-pass 'postgres' --patroni-cluster-hosts '172.18.0.2,172.18.0.7,172.18.0.8' --patroni-user 'appuser' --patroni-password 'appass' --patroni-port '8008' --confirm

################################################################################

#                                PMA Agent. Version 6.0.0.                     #

#                           Add PostgreSQL and Patroni instances               #

#                    Local date/time: Thursday, 02-Oct-25 00:14:20 MSK         #

################################################################################

...

-  Please make sure the instance of PostgreSQL that is listening the port [5434]

-  is properly configured, and its client authentication (pg_hba) is consistent.

- Testing database connection using provided host [10.0.2.15]...            [OK]

- Checking if the PostgreSQL instance is in recovery mode...                [OK]

- Checking if the [postgresql-contrib] packaged is installed......          [OK]

- Checking if the [pg_stat_statements] extension is installed......       [WARN]

- Could not detect availability of the extension [pg_stat_statements].

Need to create the extension.

- Checking if the [pg_store_plans] extension is installed......           [WARN]

- Could not detect availability of the extension [pg_store_plans].

Need to create the extension.

- Testing connection to database with provided parameters...                [OK]

...

Набор "плиток" на странице "Обзор экземпляра" нельзя изменить. Это можно сделать на странице "Графики", которая изначально пуста.

По умолчанию, отображаются актуальные данные за 30 минут. Интервал можно изменить:

 можно выбрать интервалы от 30 минут до 7 дней.

Выбрать можно только интервалы: 30 минут, час, 3, 8, 12, 24 часа, 7 дней. Другие интервалы указать нельзя.

Слайд 16

Работа с экземплярами:  Графики

Графики метрик показываются один за другим. Размер графиков не настраивается.

Выбор метрик для отображения на странице "Графики" сохраняется до закрытия окна браузера, то есть до завершения веб-сесcии.

Метрики разбиты на три группы: СИСТЕМА, POSTGRES, ПЛАТФОРМА. Список метрик не меняется.

По умолчанию, отображаются актуальные данные за 30 минут. Интервал можно изменить, как и на странице "Обзор":

 можно выбрать интервалы от 30 минут до 7 дней.

В дополнение, можно выбрать дату и время,

с которого начинается отрисовка на графиках

с точностью до минуты.

Дату можно выбрать не дальше, чем на

7 дней от текущей даты.

Предназначение этих метрик - расследование инцидентов, произошедших в прошлом. При возникновении проблемы, можно воспользоваться графиками для сопоставления параметров на том интервале, когда возникла проблема.

Платформа может сохранять данные метрик дольше 7 дней. Настройка очистки накопленных данных делается на странице https://хост_Платформы/pg-monitor/cleardbdisk

https://docs.tantorlabs.ru/tp/6.0/instances/charts.html

Слайд 17

Работа с экземплярами:  Конфигурация

На странице "Конфигурация" показываются параметры экземпляра PostgreSQL и lдаются рекомендации по установке значений параметров. Если текущее значение параметра отличается от рекомендуемого конфигуратором, встроенным в Платформу Tantor, то на это указывает значок "!=".

Можно создать группу параметров, связать её с несколькими экземплярами и применять значения параметров к ним.

https://docs.tantorlabs.ru/tp/6.0/instances/configurations.html

Слайд 18

Работа с экземплярами:  Обслуживание

Для реплик PostgreSQL пункт "Обслуживание" не показывается. По наличию этого пункта можно отличить ведущий (мастер, основной, primary) кластер от реплики (резервного, standby).

На странице "Обслуживание" всего три действия по обслуживанию баз данных:

1) Зацикливание идентификатора транзакции,

2) Раздутие индексов,

3) Раздутие таблиц.

Для таблиц можно выполнить VACUUM, VACUUM FULL, ANALYZE.

Для индексов REINDEX и REINDEX CONCURRENTLY.

Для зацикливания VACUUM FULL (опционально ANALYZE), VACUUM FREEZE, INDEX_CLEANUP, SKIP LOCKED, DISABLE_PAGE_SKIPPING, TRUNCATE.

Основная задача страницы - показать список объектов и процент раздутия:

В разделе нет возможности послать задачу по расписанию, только немедленно.

Для того, чтобы база данных появилась в списке, её мониторинг нужно включить в разделе меню  "Настройки мониторинга".

https://docs.tantorlabs.ru/tp/6.0/instances/maintenance.html

Слайд 19

Работа с экземплярами:  Браузер БД

На странице "Браузер БД" три кнопки у каждой из баз данных: Аудит, SQL-редактор, Схема данных.

https://docs.tantorlabs.ru/tp/6.0/instances/DB_browser.html

Слайд 20

Работа с экземплярами:  Браузер БД -> Аудит

На странице "Браузер БД" три кнопки у каждой из баз данных: Аудит, SQL-редактор, Схема данных.

Страница Аудит - одна из наиболее полезных. На этой странице проверяется структура объектов базы данных, выдаются типичные проблемы. Даются рекомендации по устранению проблем. Можно запустить команды Analyze и Vacuum Full.

Слайд 21

Браузер БД -> SQL-редактор и Схема

На странице SQL-редактора можно выполнять команды SQL, набирая их в окне браузера. При наборе команд есть автоматические подсказки.

На этих страницах можно переключаться между SQL-редактором и Схемой.

Схема показывает структуру выбранной таблицы, последовательности или команду создания представления, подпрограммы (функции или процедуры).

На странице в двух местах показывается название базы данных, с которой создана сессия.

Пользователь, под которым была создана сессия на странице не показывается.

Значком "+" можно открыть несколько окон для редактирования и выполнения запросов.

Значком "x" можно закрыть окна ненужных запросов. Окно единственного запроса не закрывается.

Слайд 22

Работа с экземплярами: Профилировщик запросов

При клике на строку запроса появится страница с деталями выполнения запроса. Под графиком есть 7 точек, кликая на которые можно переключить график на отображение:

Time Query/Second, Calls/Second, Rows/Second, CPU Time/ Second, IO Time/Second, Dirtied Blocks/Second, Temp Blocks(Write)/Second.

Есть выбор интервала отображения от 30 минут до 7 дней:

https://docs.tantorlabs.ru/tp/6.0/instances/query_profiler.html

Слайд 23

Профилировщик запросов -> Планы

Для того, чтобы планы показывались, нужно, чтобы в кластере были установлены библиотеки pg_stat_statements и pg_store_plans:

alter system set shared_preload_libraries =  pg_stat_statements, pg_qualstats, pg_store_plans, pg_prewarm, pg_stat_kcache, auto_explain ;

В базе данных были установлены расширения:

create extension if not exists pg_stat_statements;

create extension if not exists pg_store_plans;

Показываться будут только запросы, длительность которых превышает значение параметра pg_store_plans.min_duration. Значение можно установить командой:

alter system set pg_store_plans.min_duration = '0s';

Профилировщик обеспечивает мониторинг параметров выполнения запросов и их планов в выбранном временном промежутке с использованием скользящего окна. Его цель - проведение анализа и выявление проблемных запросов в базе данных. Профилировщик не только отслеживает параметры выполнения, но и проводит анализ планов запросов, предоставляя подсказки для оптимизации.  Это инструмент, который помогает идентифицировать и решать возможные проблемы с производительностью запросов.

При клике на вкладке "ПЛАНЫ" откроется страница со списком планов:

Слайд 24

Работа с экземплярами: Текущая активность

Кликнув на строку с именем базы данных, откроется список процессов. На странице три вкладки: ВЫПОЛНЕНИЕ, ОЖИДАНИЕ, ЗАБЛОКИРОВАНО. Показывается текст запроса, который выполняется в сессии. Нажав на кнопку "Завершить" сессия будет прервана вызовом функции pg_terminate_backend(PID). Отображаемые столбцы можно выбирать, сортировать строки по столбцам.

Порядок отображения столбцов можно менять перетаскивая их мышкой.

Кнопкой "Заморозить" отключается автоматическое обновление страницы (раз в 5 секунд).

Есть возможность визуализации блокировок в виде

дерева, что позволяет легко определить,

какая транзакция блокирует другие транзакции.

Слайд 25

Репликация и Табличные пространства

В этих двух пунктах меню отображаются некоторые свойства этих объектов.

Физические реплики мониторятся Платформой Tantor и у них есть свои страницы "Работа с экземплярами". Меню "Репликация" у физических реплик отлично от мастера и показывает "СТАТУС" репликации и адрес, откуда реплика получает журналы.

Пример данных "ИНФОРМАЦИИ О ПОДКЛЮЧЕНИИ", при установленных значениях параметров на реплике:

primary_conninfo = 'user=postgres port=5432'

primary_slot_name = 'replica'

По ссылке из поля "Основной экземпляр" можно перейти на страницу управления экземпляром мастера:

https://docs.tantorlabs.ru/tp/6.0/instances/replication.html

Слайд 26

Работа с экземплярами: Настройки мониторинга

На этой странице можно выбрать базы данных, наблюдение за метриками которых будет производиться агентом Платформы Tantor. По умолчанию, выбрана та база данных, которая была указана как база для подключения агента Платформы при его конфигурировании. Остальные базы данных нужно выбирать отдельно. Выбранные базы будут выводиться в пунктах меню: Обслуживание и Браузер БД.

В вкладке "ТРИГГЕРЫ" выдаются 39 метрик, за которыми наблюдает Платформа Tantor. У каждой метрики три пороговых значения: предупреждение, критическое предупреждение, восстановление.

У большинства метрик есть возможность поменять пороговые значения, кликнув на три точки и выбрав "Редактировать".

По умолчанию, мониторинг всех метрик включён. Такие метрики обозначаются зелёной линией. Мониторинг метрик можно отключить. Отключённые метрики обозначаются серой линией:

https://docs.tantorlabs.ru/tp/6.0/instances/monitoring_config.html

Слайд 27

Работа с экземплярами: Расширенная аналитика

Анализируется текстовый диагностический лог кластера. На этой странице меню много ссылок, по которым можно посмотреть то, что выводится в лог кластера, накопительной статистики и то, что собирается расширениями pg_stat_statements, pg_store_plans, auto_explain.

Для сбора данных нужно установить расширения, задать формат названия файла журнала и другие параметры конфигурации кластера PostgreSQL.

Расширенная аналитика разработана российской компанией Тензор и является частью Платформы Tantor.

https://docs.tantorlabs.ru/tp/6.0/instances/pg_monitor/pg_monitor.html

Слайд 28

Работа с экземплярами: Задачи

На этой странице можно добавлять задачи, выполняемые по расписанию и указывать имя и пароль пользователя в операционной системе для запуска команд в linux и имя и пароль для запуска SQL-команд в базе данных. После добавления задачи нужно указать действия, которые будут выполняться. Действиями могут быть команды в linux и базе данных. Имя базы данных указывается при добавлении действия.

Добавив действие, можно запустить задачу немедленно. Для того, чтобы на странице со списком задачи появились кнопки "Включить, Отключить, Запустить сейчас, Пропустить", нужно галочкой выбрать задачу.

https://docs.tantorlabs.ru/tp/6.0/instances/tasks.html

Для страницы конкретной задачи аналогично, чтобы появились кнопки "Включить", "Отключить", нужно выбрать галочкой действие.

https://docs.tantorlabs.ru/tp/6.0/instances/actions.html

Со страницы конкретной задачи можно перейти в "Журнал событий", кликнув на кнопку с такой же надписью.

Слайд 29

Модули Платформы Tantor

Для открытия списка модулей нужно кликнуть на значок четыре квадратика слева. Откроется всплывающее меню со списком модулей. Если выбрать "Все модули", то откроется страница с плашками модулей. В 6 версии Платформы 8 модулей.

"SQL Редактор, Схема данных, Группы параметров, Мониторинг бэкапов, Задачи" могут открываться через страницу экземпляра PostgreSQL.

Модуль "Анализ планов запросов" позволяет вставить план запроса и визуализировать его. План не передаётся на внешние сервера, анализируется программным обеспечением Tensor, встроенным в Платформу Tantor.

"Swagger API" всего лишь открывает в новом окне браузера ссылку https://имя_хоста-Платформы/docs/ в которой высвечиваются страницы Swagger UI, описывающий (документирующий) REST API Платформы. Для доступа к этой странице аутентификация не нужна.

Слайд 30

Оповещения

При нажатии на значок колокольчика появляется всплывающее окно с оповещениями (алёртами, уведомлениями). Если в этом окне кликнуть на "Все оповещения", то откроется страница со списком всех оповещений, в том числе "закрытых" (неактивных). Оповещение можно закрыть вручную, оно может закрыться автоматически при снижении значения метрики ниже уровня "восстановления".

Уведомления настраиваются на странице "Настройки тенанта".

https://docs.tantorlabs.ru/tp/6.0/instances/ug_alerts.html

Слайд 31

Слайд 32

Виды установки Платформы Tantor

Типичная установка программного обеспечения выполняется на один хост или виртуальную машину с операционной системой:

Astra Linux версий 1.7.5+, 1.8

RedOS 7.3+

Centos 7+

Платформа устанавливается в виде набора docker-контейнеров. Минимальные версии, которые должны быть установлены в операционной системе:

docker -v

Docker version 20.10.13

docker-compose -v

Docker Compose version v1.29.2

Типичная установка позволяет обслуживать до 1000 экземпляров PostgreSQL. Для обслуживания большего числа экземпляров Платформу нужно устанавливать в режиме отказоустойчивости. Установку в режиме отказоустойчивости и миграцию на новые версии помогает выполнить техническая поддержка Тантор Лабс. Примерная схема установки описана в документации по 4 версии: https://docs.tantorlabs.ru/tp/4.2/vm_installation.html

При типичной установке миграция на новые версии Платформы Tantor выполняется стандартным инсталлятором с минимальным простоем доступа к Платформе.

Платформа версии 6.0 поддерживает версии PostgreSQL от 10 до 17.x версии. Более новые версии PostgreSQL поддерживаются более новыми версиями Платформы.

Если после перезагрузки хоста Платформа не доступна и страница входы выдаёт "Network error", то достаточно перезапустить контейнер:

docker restart reverse-proxy

и выполнить команду:

sudo crontab -e

которая откроет в редакторе файл /var/spool/cron/crontab/root

в него в самый конец нужно добавить строку:

@reboot /usr/bin/docker restart reverse-proxy

Директива @reboot в конце файла запускает команду перезапуска контейнера reverse-proxy после того, как linux запустится и сетевые интерфейсы будут инициализированы.

Хост Платформы должен иметь полное (Fully Qualified Domain Name) имя, которое должно разрешаться в IP-адрес на хостах, где будут установлены агенты Платформы.

Слайд 33

Агенты Платформы Tantor

Для мониторинга и управления экземплярами PostgreSQL нужно установить программу-агента. Это небольшая, нересурсоёмкая программа, которая запускается в фоновом режиме как служба systemd. Агент, обычно, скачивается в виде пакета deb или rpm с хоста Платформы. Доступ в интернет не обязателен. Агент не использует docker. Инсталлятор использует утилиту systemctl для добавления службы агента в автозапуск. Отсутствие утилиты не препятствует установке агента, он может запускаться любыми способами.

Агент выполняется с правами пользователя операционной системы postgres, что упрощает взаимодействие с экземпляром PostgreSQL и улучшает безопасность, так как не используются права root.

Для корректной работы Платформы на хосте агента должны быть открыты порты TCP 443, 4222 в сторону хоста с установленной Платформой для подсоединения агента.

Агент подсоединяется к Платформе используя имя хоста Платформы. Имя должно разрешаться а IP-адрес.

После того, как агент установлен, Платформа начинает получать метрики, получает возможность  применять конфигурации, выполнять регламентные работы и прочее.

Агент - это легковесное приложение, написанное на языке Golang. Агент отправляет только изменившиеся данные на основе срезов и предвыборки данных, что снижает объем сетевого трафика и нагрузку на Платформу.

Агенты обновляются на новые версии независимо от обновления Платформы, что минимизирует простои в работе Платформы.

Агент при выполнении операций учитывает нагрузку на хост и подождёт перед выполнением операции, если хост перегружен.

Клиентская часть представляет собой веб-интерфейс, который позволяет управлять базами данных в браузере. В адресной строке браузера достаточно ввести FQDN (полное доменное имя) хоста с установленной Платформой. Браузер подсоединится на порт 443, который является стандартным для протокола https. Появится страница аутентификации.

Платформа написана на языке Golang, конфигуратор на Python, фронтенд на JavaScript  (фреймворк Angular). Внутри Платформы используется СУБД Tantor Postgres с расширением PipelineDB для обработки "на лету" потока метрик из экземпляров PostgreSQL, которыми управляет.

Слайд 34

Архитектура Платформы Tantor

Агенты собирают метрики PostgreSQL из pg_stat_*, pg_stat_statements, pg_store_plans, диагностического лога кластера, метрики linux (CPU, RAM, HDD, сеть), выполняют операции обслуживания (VACUUM, ANALYZE, командные файлы) заданные через Платформу администратором и по расписанию, применяют конфигурации и публикуют изменения метрик в шину сообщений NATS.

Шина сообщений (NATS). Асинхронный обмен данными: topics/streams: metrics (телеметрия), commands (управляющие задания), events (события), развязка источников/потребителей, буферизация и горизонтальное масштабирование. Взаимодействие выполняется по протоколу HTTPS.

Keeper (быстры вставки(ingest)/очереди метрик). Принимает и нормализует потоки метрик из NATS, агрегирует и записывает их в хранилище Платформы.

Backend (REST/WebSocket API). Бизнес-логика: каталог экземпляров PostgreSQL, политики  доступа, алёрты, задания, интеграции. Отдаёт данные UI и управляет агентами (через NATS). API позволяет Платформе интегрироваться со внешними системами.

pg_configurator (advice engine) - сервис рекомендаций по параметрам PostgreSQL, профилям нагрузки, автовакуума, настройкам памяти и I/O. Возвращает рекомендации и готовые патчи конфигурации.

OperDB (PostgreSQL, центральное хранилище). Хранит метрики, события, конфигурации, модели рабочих пространств/ролей, историю рекомендаций и выполненных задач. Доступ - через PgBouncer.

Web UI (SPA) - панели мониторинга, профили запросов, журнал событий, конструктор алертов, каталог БД, работа с рабочими пространствами/пользователями и пр.

Интеграции. Мессенджеры (Telegram, Mattermost, e-mail): доставка уведомлений о событиях; Triafly BI: экспорт исторических данных мониторинга для долговременной аналитики и построения произвольной отчетности; отправка событий/инцидентов по Syslog (это называют "SIEM", Security Information and Event Management).

Слайд 35

Типичная Архитектура

Клиент-серверная архитектура: Платформа основана на клиент-серверной архитектуре, в которой клиентская часть представляет собой веб-интерфейс, а серверная часть состоит из нескольких модулей, написанных на языках Golang, Python и JS Angular.

Сбор метрик: сбор метрик осуществляется с помощью Агента. Агент наблюдает за базой данных и операционной системой. Он собирает информацию о метриках из администрируемой базы данных и отправляет их через брокер сообщений NATS на backend-сервер. Агент также имеет возможность отправлять только изменившиеся данные на основе срезов и предагрегации данных для снижения объема сетевого трафика и нагрузки на сервер.

Хранение метрик: метрики хранятся в основанной на PostgreSQL СУБД, которая была дополнена специальными расширениями для обработки большого количества метрик «на лету». Полученные данные сохраняются в OperDB и могут быть распределены по рабочим пространствам.

Сбор и хранение журналов СУБД: с помощью дополнительного сервиса pg-monitor возможно настроить сбор и аналитику журналов СУБД с последующей визуализацией в графическом интерфейсе. Этот сервис является опциональным, так как требует дополнительное защищенное соединение ssh к наблюдаемым экземплярам.

Масштабирование: Платформа поддерживает горизонтальное масштабирование большинства компонентов.

Отказоустойчивость: Платформа обеспечивает отказоустойчивость путем дублирования основных компонентов.

Безопасность: среда исполнения Агента не требует наличия дополнительных открытых сетевых портов. Однако Агенту необходимо иметь сетевое подключение до портов NATS как точки обмена данными с серверной частью Платформы. Также Агент выполняется от имени пользователя postgres, что с одной стороны позволяет иметь возможность глубоко интегрироваться с СУБД, а с другой — минимизирует его влияние не среду операционной системы.

Слайд 36

Масштабируемая архитектура

Масштабируемый вариант архитектуры Платформы используется, если Платформа работает более с чем 1000 экземпляров PostgreSQL. Экземпляры разделены между несколькими OperDB.

Масштабируемость Платформы основана на Python-скрипте Patroni. Patroni позволяет преобразовать OperDB в высокодоступный кластер с автоматическим контролируемым и аварийным переключением. OperDB испольует расширения для обработки большого числа метрик:

sudo docker exec -it operdb psql -U postgres -p 5432 pma -c "\dx"

                List of installed extensions

        Name        | Description                                

--------------------+---------------------------

 btree_gin          | support for indexing common datatypes in GIN

 http               | HTTP client for PostgreSQL

 pg_columnar        | Hydra Columnar extension

 pg_cron            | Job scheduler for PostgreSQL

 pg_framework       | Tantor PG Framework

 pg_stat_statements | track execution statistics of all SQL statements

 pg_store_plans     | track plan statistics of all SQL statements executed

 pg_throttle        | throttle resources usage

 pgcrypto           | cryptographic functions

 pipelinedb         | PipelineDB

 plpgsql            | PL/pgSQL procedural language

 plpython3u         | PL/Python3U untrusted procedural language

 uuid-ossp          | generate universally unique identifiers (UUIDs)

В Платформе Tantor любой архитектуры есть модули:

pg_anon - утилита и расширение для анонимизации (маскировки) данных в управляемых СУБД.

pg-explain - модуль расширенной аналитики.

Swagger - набор инструментов для создания, генерации кода REST-клиентов и документирования REAST-API по спецификации OpenAPI.

Слайд 37

Агент

Агент периодически (с частотой раз в несколько секунд) соединяется с базой данных мониторируемого экземпляра PostgreSQL. Агент использует строку подключения из файла:

cat /var/lib/pma/agent/agent.yml | grep connectionString

connectionString:  postgresql://%s:%s@%s:%d/%s?application_name=%s&default_query_exec_mode=cache_describe

Для связи по API с кластером Patroni агент может аутентифицироваться по сертификату SSL (TLS).

Полученные агентом метрики передаются ПлатформеTantor.

Файл службы агента:

cat /etc/systemd/system/multi-user.target.wants/pmaagent.service

[Unit]

Description=PMA Agent

After=network.target

[Service]

Restart=on-failure

Type=notify

EnvironmentFile=/etc/sysconfig/pmaagent

User=postgres

ExecStart=/usr/sbin/pmaagent

ExecReload=/bin/kill -HUP $MAINPID

[Install]

Агент работает под пользователем операционной системы postgres.

Агент написан на языке Go и использует драйвер pgx, а не libpq. Поэтому, не все параметры, которые работают в libpq, работают в pgx. Драйвер pgx (ParseEnvLibpq) распознаёт только переменные окружения: PGHOST PGPORT PGDATABASE PGUSER PGPASSWORD PGSSLMODE PGSSLCERT PGSSLKEY PGSSLROOTCERT PGAPPNAME PGCONNECT_TIMEOUT PGTARGETSESSIONATTRS. Не работает:

PGOPTIONS="-c log_disconnections=off", также, параметр options нельзя передать в строке соединения.

Слайд 38

Файлы Агента

Исполняемый файл агента: /usr/sbin/pmaagent.

Файл описателя службы агента: /usr/lib/systemd/system/pmaagent.service

Директория агента: /var/lib/pma/agent

В директории лежит конфигурационный файл агента: /var/lib/pma/agent/agent.yml

В конфигурационном файле путь к файлу лога:

path: /var/lib/pma/agent/logs

file: pmaagent.log

указана конечная точка Платформы, куда агент передаёт метрики:

endpoint: tcp://education.tantorlabs.ru:4222

Список параметров командной строки агента: /usr/sbin/pmaagent --help

Пример команд:

completion  Generate the autocompletion script for the specified shell

configure   Configure the pmaagent

deregister  Deregistering the pmaagent

help        Help about any command

instances   Manage instances

register    Registering the pmaagent

start       Start the PMA Agent (default command)

version     Print version information and quit

Слайд 39

Список контейнеров

Список контейнеров из которых состоит Платформа: docker ps

NAMES           PORTS

pg-explain

pg-monitor_dispatcher

pg-monitor_collector

reverse-proxy   80->80, 443->443, 4222->4222, 5666->5666, 8443->8443

keeper

pg_configurator 7777

frontend          80

pg_anon         8000

swagger_ui        80, 8080

backend

nats

pg_bouncer      6432

operdb          5432

tns_db          5432

maindb          5432

Войти в шелл контейнера можно командой: docker exec -it pg_configurator sh

Посмотреть размеры образов: docker images

Посмотреть конфигурацию контейнера: docker container inspect reverse-proxy

Посмотреть лог контейнера: docker logs operdb --tail 10

Посмотреть версию СУБД: docker exec -it tns_db psql -U monitor -p 5432 -d pg-monitor -c "select version()"

Два контейнера содержат СУБД Tantor Postgres SE, один (Тензор) PostgreSQL.

Посмотреть список портов: docker port reverse-proxy

Чтобы команду docker можно было запускалась не только под root: usermod -aG docker astra

usermod -aG docker postgres

Перезапуск Платформы: systemctl restart docker

Перезапуск отдельного контейнера: docker restart pg_monitor_collector

Пересоздание контейнеров без потери конфигурации и данных, собранных в Платформе:

cd /opt/tantor/eco

docker-compose --env-file /opt/tantor/eco/platform.env -f /opt/tantor/eco/docker-compose.yml down

docker-compose --env-file /opt/tantor/eco/platform.env -f /opt/tantor/eco/docker-compose.yml up -d

Слайд 40

Слайд 41

Swagger UI

В Платформе есть интерфейс (API) для взаимодействия с внешними системами по протоколу REST. Платформа имеет методы для работы с с агентами, экземплярами, группами, метриками, тенантами, пользователями, рабочими пространствами. REST-интерфейс описан в формате OpenAPI.

API (Application Programming Interface) определяет правила, каким образом одна программа может запрашивать данные или использовать функционал другой программы. REST (Representational State Transfer) - протокол взаимодействия через запросы по протоколу HTTP методами (GET, POST, PUT, DELETE, INFO и другим) с адресами (конечными точками) представленными в виде URL. OpenAPI описывает структуру JSON или YAML документа, содержащего описание конечных точек REST API, обеспечивает единообразие и стандартизацию документирования REST API.

Swagger использован в Платформе для документирования конечных точек REST Платформы на основе стандарта OpenAPI. Документация Swagger позволяет понять принцип работы API другим разработчикам, которые будут создавать клиентов для взаимодействия с Платформой по протоколу REST.

Слайд 42

Страница Swagger UI

Swagger UI - набор веб-страниц для визуализации конечных точек REST, написанных в спецификации OpenAPI. Swagger UI позволяет отправлять запросы к API прямо из браузера и тестировать авторизацию через токены Платформы. Swagger UI доступен по ссылке https://хоста/docs/ Для доступа к этой странице аутентификация не нужна. Ссылку можно открыть перейдя в любой из тенантов и кликнув на значок "Модули" слева внизу страницы. Значок второй снизу в виде четырёх квадратов.

https://docs.tantorlabs.ru/tp/6.0/admin/swagger_ui.html

Слайд 43

Токены

Токены используются для доступа к функционалу Платформы Tantor по REST API.

Ссылку "Токены" можно открыть перейдя в любой из тенантов и кликнув на значок "Настройки тенанта" в левой панели. Откроется список токенов. Для добавления нового токена нужно нажать красную кнопку "Добавить новый токен". Появится окно с токеном, который нужно скопировать в буфер обмена. После закрытия окна доступа к токену не будет, токен можно будет только удалить. Метка токена не уникальна и может повторяться.

Конечные точки: agents, db_instances, groups, metrics, tenant, users, workspaces, datasets.

Чтобы протестировать доступ к конечным точкам через Swagger API нужно нажать кнопку Authorize и ввести токен, соответствующего конечной точке типа.

Токен типа "установка" нужен для использования методов agents. Для установки Агентов.

Токен типа "метрики" нужен для использования методов metrics.

Токен типа "датасеты" нужен для использования методов datasets. Для Triafly.

Токен типа "публичное API" нужен для использования всех остальных API-методов.

https://docs.tantorlabs.ru/tp/6.0/admin/admin_tokens.html

Слайд 44

Токены

После получения токена, его можно ввести в Swagger UI, нажав кнопку "Authorize". После чего выбрать REST метод, для доступа к которому подходит токен, заполнить значения параметров метода и нажать кнопку Execute. Swagger UI пошлет запрос в Платформу Tantor, получит и отобразит результат.

Вместе с результатом отображается и сам запрос в виде параметров утилиты командной строки curl:

curl -X 'GET' 'https://хост/integration/users?page=1&limit=9'

-H 'accept: application/json'

-H 'Authorization: Bearer eyJhbG...Xysg'

Результат выдается в том формате, в котором его выдаёт служба REST. Пример вывода списка пользователей тенанта, запрошенных токеном тип "публичное API" в формате JSON:

{

...

  "results": [

    {

      "userType": "internal",

      "userID": 3,

      "userName": "user",

      "login": "user@dba1.ru",

      "userEmail": "user@dba1.ru",

      "isActive": true,

      "isDefPass": false,

      "authTypeID": 0,

...

}

Для диагностики Swagger UI показывает заголовки протокола HTTP:

content-length: 765

content-type: application/json

server: nginx  vary: Origin  x-firefox-spdy: h2

Слайд 45

Практика 1

Войдите в Платформу. 

логин: student@student.ru 

пароль: Student123!

Учётные записи пользователей операционной системы:

astra/astra

postgres/postgres

root/root

Слайд 46

Слайд 47

Первый вход в Платформу

Для создания пользователя нужно указать его имя и email. Email будет использоваться для аутентификации пользователя. Имя не уникально, может быть изменено в любой момент.

После создания пользователя, ему можно установить пароль выбрав "Сбросить пароль" в контекстном меню. Пароль может быть автоматически сгенерирован или установлен вручную. Если настроен адрес почтового сервера, то на email автоматически будет выслано письмо с паролем для входа в Платформу. На этот адрес также будут направляться уведомления Платформы. Если посылка письма будет неудачна, то будет выдано предупреждение, которое можно проигнорировать. Пароль при этом будет установлен.

При первом входе нового пользователя будет выдано окно смены пароля, придётся установить новый пароль. Выполняются проверки на "слишком распространённые" пароли, также на сложность пароля. Например, пароль "Student12!" и "Owner123!" слишком распространены, а "Owner12!" и "Student123!" не слишком.

После успешной смены пароля будет предложено прочесть и принять лицензионное соглашение.

Слайд 48

Лицензия на использование Платформы

Лицензию на использование Платформы можно посмотреть в меню "Настройки системы" -> "Лицензия". Сразу после установки Платформы используется 30-дневная пробная лицензия.

Меню "Настройки системы" открывается при клике на значок шестерёнка слева внизу страницы.

Слайд 49

Начальная страница Платформы - список тенантов

Для "владельцев системы" (Платформы); "владельцев тенанта", пользователей тенанта начальной страницей является список тенантов. Внешний вид для владельцев Платформы и пользователей немного отличается. У владельцев есть меню "Настройки системы" (значок шестерёнки слева), выдаётся название OperDb (БД Платформы Тантор), которая указывалась при создании тенанта, в контекстном меню есть пункт "Удалить тенант", "Переименовать", "Расширенная информация".

Значок "шестерёнка" справа вверху над таблицей со списком тенантов - это универсальный элемент таблицы, позволяющий выбирать столбцы для отображения в таблице.

Значок "три точки" справа на каждой строке таблицы -  это универсальный элемент таблицы, по которому вызывается контекстное меню.

Для возврата на страницу со списком тенантов с любой страницы Платформы, достаточно кликнуть на значок листочка в круге (логотип Тантор) слева вверху страницы.

Тенант (владение) - логический объект, который содержит рабочие пространства (workspaces). В рабочих пространствах содержатся объекты управления: экземпляры, обслуживающие кластера баз данных PostgreSQL и кластера Patroni. Тенанты имеют владельцев и пользователей. В списке владельцев тенанта отображаются владельцы системы.

Число неуспешных задач и бэкапов отображается за последние сутки, от чем написано во всплывающем окне, которое появится, если навести мышь на букву "i" в кружочке:

Слайд 50

Тенант: Расширенная информация

Тенант (владение) - логический объект, который содержит рабочие пространства (workspaces). В рабочих пространствах содержатся объекты управления: экземпляры, обслуживающие кластера баз данных PostgreSQL и кластера Patroni. Тенанты имеют локальных для тенантов владельцев и пользователей, рабочие пространства, экземпляры и собственные настройки.

При добавлении владельца тенанта на странице "Расширенная информация" пользователь, если он не существует в списке пользователей тенанта, будет добавлен в этот список и получит права владельца тенанта.

При удалении владельца системы он полностью удаляется из Платформы, даже если он есть в списке владельцев тенантов.

В списке владельцев тенанта также отображаются владельцы системы. Владельца тенанта можно убрать из списка владельцев, тогда он станет обычным пользователем тенанта. Его можно снова добавить в список владельцев тенанта, пароль при этом не поменяется.

Изменения прав, добавление в группы действуют немедленно, переподсоединяться не нужно. Если пользователь обратится к странице, на которую нет прав выдастся предупреждение, будет выполнен логаут и выдана страница логина.

Добавить пользователя тенанта в список владельцев системы нельзя - будет выдана ошибка "Пользователь с такой почтой уже существует".

Добавить владельца системы в список пользователей тенанта нельзя - будет выдана ошибка "Данный адрес электронной почты уже используется, пожалуйста, попробуйте другой адрес электронной почты".

Слайд 51

Настройки тенанта: Пользователи

На странице "Пользователи" показан список пользователей, в том числе владельцев тенанта, на ней можно добавить пользователя тенанта. Пользователь будет иметь тип "локальный". Ещё есть "внешний". Хоть пользователь и локальный, но его можно добавить в другие тенанты, пароль и имя при этом сохранятся.

Переименовать пользователя можно на странице любого тенанта, где он есть в списке пользователей.

Смена статуса активен/неактивен действует на все тенанты.

При удалении локального пользователя из любого тенанта он удаляется из всех тенантов и Платформы полностью.

Пользователя тенанта можно добавить на странице "Настройки тенанта" (значок "ползунки" на левой полосе меню) -> "Пользователи".

По умолчанию, только что созданный созданный пользователь (если он не в списке владельцев тенанта) не имеет прав на рабочие пространства тенанта.

Права на рабочие пространства и их содержимое даётся группам, в которые можно включать локальных пользователей тенанта. Напрямую пользователям эти права не даются.

Слайд 52

Страница пользователя Платформы

Кликнув на имя пользователя откроется страница со свойствами пользователя, на которой владелец системы или тенанта может переименовать, удалить, изменить пароль и поменять статус активен/неактивен выбранному пользователю.

Неактивный пользователь при вводе правильного и неправильного пароля получит ошибку "Account suspended. Please contact administrator". Так как отличить правильный или не правильный пароль по этому сообщению нельзя, это защищает от подбора пароля неактивных пользователей, что указывает на безопасность Платформы в мелочах.

Слайд 53

Включение пользователя в группы

Пока пользователь является владельцем тенанта его статус активен/неактивен нельзя поменять и нельзя изменить членство в группах. Соответствующие кнопки и ползунок для владельцев тенанта неактивны.

Слайд 54

Настройки тенанта: Группы

Для выдачи прав на рабочие пространства используются группы внутри тенанта.

Добавить и удалить группу можно на странице "Группы":

Кликнув на группу откроется страница с четырьмя свойствами группы, которые и так видны в списке: название, описание, тип, количество пользователей. Но эта страница примечательна вкладкой: РАБОЧИЕ ПРОСТРАНСТВА, на которой можно добавить группе права на просмотр (read) и редактирование (write) содержимого рабочих пространств. При установке прав на редактирование (write) автоматически устанавливается право на просмотр.

Право на "Редактирование" в предыдущих версиях Платформы называлось "Администратор рабочего пространства".

Право на "Просмотр" в предыдущих версиях Платформы называлось "Пользователь с правами просмотра" (Viewer).

вкладка ПОЛЬЗОВАТЕЛИ просто перенаправляет на страницу "Пользователи".

Слайд 55

Тенант: Рабочие пространства

Рабочие пространства (workspaces) - логический объект, который содержит объекты управления: экземпляры, обслуживающие кластера баз данных PostgreSQL и кластера Patroni. На конкретное рабочее пространство можно дать привилегию группе: просмотр (read) и редактирование (write).

При добавлении рабочего пространства достаточно указать его название, которое должно быть уникальным в пределах тенанта, регистр букв важен. Можно создать несколько рабочих пространств с одинаковым названием, но разным регистром букв: "Edu1" и "edu1".

Пиктограммы снизу плашек более понятны в строковом отображении (следующая страница учебника) обозначают число: экземпляров "список" (2),  невыполненных по расписанию задач планировщика "листок с крестиком" (1), невыполненных бэкапов "перечеркнутый полукруг" (0), число незакрытых оповещений "колокольчик" (4).

При нажатии на значок "три точки" в правом верхнем углу плашки появится всплывающее меню с пунктами: Открыть, Переименовать, Показать оповещения, Показать неудачные задачи, Удалить.

Удалить рабочее пространство можно только, если в нём нет экземпляров, иначе выдастся ошибка:

Слайд 56

Тенант: Рабочие пространства

Нажав на значок две линии слева от красной кнопки, можно поменять отображение списка рабочих пространств с плашек на строки, а нажав на значок четыре квадратика рядом вернуть обратно отображение в виде плашек.

Значок четыре квадратика слева внизу страницы означает совсем другое - он открывает меню со списком модулей.

Цветовая индикация состояния рабочего пространства:

Красная линия - в рабочих пространствах есть экземпляры PostgreSQL и существуют оповещения с уровнем важности "Проблема", касающиеся одного или нескольких экземпляров рабочего пространства.

Желтая линия - в рабочих пространствах есть экземпляры PostgreSQL и существуют оповещения с уровнем важности "Предупреждение", касающиеся одного или нескольких экземпляров рабочего пространства.

Зеленая линия - в рабочих пространствах есть экземпляры PostgreSQL, нет ошибок или предупреждений, касающихся хотя бы одного из экземпляров рабочего пространства.

Если полоска бесцветная (не видна), то в рабочих пространствах нет экземпляров.

При нажатии на оповещения откроется общая страница оповещений тенанта, на которую можно попасть кликнув на значок колокольчика в левой полосе страницы, но с включённым фильтром по названию рабочего пространства.

Слайд 57

Практика 2

1. В меню личного кабинета найдите "Лицензионное соглашение".

2. На стартовой странице создайте два тенанта. 

3. Внутри одного тенанта, создайте минимум три новых рабочих пространства. 

4. Поменяйте название у одного из них.

5. Выполните поиск по имени пространства.

6. Удалите одно рабочее пространство.

7. Посмотрите меню стартовой страницы, и ее функционал.

Слайд 58

Слайд 59

Виды пользователей Платформы Tantor

Владельцы системы (System owners) - полные права на все действия в Платформе во всех тенантах. Не могут быть добавлены как пользователи, в том числе владельцы тенантов. По умолчанию, присутствуют в списке владельцев всех тенантов, которые существовали при создании нового владельца системы. Если создать тенант, то в списке владельцев будет только владелец системы, который создал этот тенант.

Владельцы тенанта (Tenant owners) - локальные пользователи, которые имеют полный доступ к одному или нескольким тенантам и рабочим пространствам и экземплярам внутри этих тенантов. Внутри других тенатов могут не быть владельцами, а быть обычными локальными пользователями, права которым даются только через группы.

Локальные пользователи - не добавленные в список владельцев тенанта пользователи. В других тенантах могут быть добавлены в список владельцев тенанта. Пользователя можно убрать из списка владельцев тенанта, при этом он не будет удалён из Платформы и удаление не повлияет на права в других тенантах.

После добавления пользователя в Платформу как обычного или владельца тенанта, этот пользователь не будет выводиться в списке пользователей других тенантов. Его можно добавить в другие тенанты, это будет тот же самый пользователь Платформы, его имя и пароль не останутся прежними. Однако, находясь в любом тенанте можно изменить имя, пароль, статус активности пользователя и это подействует и будет видно во всех тенантах. Например, пользователь станет неактивен во всех тенантах и не сможет подсоединиться к Платформе. Добавив пользователя в тенант удалить его из этого тенанта и оставить в других где он есть невозможно, он будет высвечиваться в тех тенантах, в которых был когда-либо добавлен.

Удаление пользователя из списка пользователей находясь в любом тенанте полностью удалит пользователя из Платформы и из всех тенантов. Чтобы удалить пользователя нужно установить ему статус неактивен. Чтобы установить статус неактивен, нужно найти его в списке пользователей тенанта, где он не является владельцем и там можно будет поменять статус активен/неактивен.

Внешние пользователи и внешние группы - импортированные по протоколу LDAP в Платформу. После импорта внешние пользователи не связаны с локальными группами и локальными пользователями. Внешние пользователи при входе в Платформу указывают "логин", а не email. В Платформе есть локальные группы. Пользователи могут находиться в нескольких группах с разными правами.

Слайд 60

Группы пользователей

В Платформе есть локальные группы. Пользователи могут находиться в нескольких группах с разными правами. Права на рабочие пространства пользователям (кроме владельцев системы и тенантов) даются только через группы. В группы добавляются одно или несколько рабочих пространств. На каждое рабочее пространство устанавливается привилегия просмотр (read) и/или редактирование (write).

Одно рабочее пространство (workspace) может быть в нескольких группах своего тенанта с разными или одинаковыми правами.

Одного пользователя можно добавить в несколько групп. Будет действовать объединение всех прав этих нескольких групп.

Внешние группы импортируются по протоколу LDAP в Платформу.

Слайд 61

Внешняя аутентификация

В Платформе есть возможность не создавать пользователей Платформы, а импортировать их по LDAP-протоколу. Например, из служб Active Directory, FreeIPA, ALD pro, параметры подключения к которым приведены в документации Платформы Tantor. Для других LDAP-каталогов нужно знать и указать путь к списку пользователей и групп в LDAP-каталоге, шаблон поискового запроса на членство пользователя в группах, название атрибутов класса пользователя: логин, имя, фамилия, email.

Внешние пользователи будут аутентифицироваться внешним LDAP-сервером. Внешние группы также могут импортироваться, единственно их названия и описание не меняются на страницах Платформы.

Тип у таких пользователей и групп будет отображаться как "Внешний", а не "Локальный".

При удалении LDAP-каталога, удаляются все импортированные из него пользователи и группы.

Преимущество внешних пользователей в том,

что их не нужно создавать, управлять паролями и

членством пользователей в группах. Это

выполняется в LDAP-сервере.

https://docs.tantorlabs.ru/tp/6.0/admin/ldap.html

Слайд 62

Страница тенанта

На странице тенанта выводится список рабочих пространств.

У пользователя с правом владения тенантом на странице есть графические элементы:

1) красная кнопка с надписью "Добавить рабочее пространство" ("Add workspace")

2) значок "Настройки тенанта" на левой линейке меню.

Отображение списка в виде плашек (прямоугольников) можно поменять на отображение в виде строк, нажав на значок с двумя полосками справа вверху страницы, слева от красной кнопки.

Слайд 63

Страница тенанта

На слайде показано отображение рабочих пространств в виде списка для обычных пользователей (не владельцев).

Пространства, на которые не даны привилегии не отображаются в списке. Всего есть два вида прав: read и/или write, которые даются через группы пользователей.

Если нажать на значок три точки в правой части строки или плашки рабочего пространства, то откроется всплывающее меню. Для права read в меню три строки: Открыть, показать оповещения, Показать неудачные задачи. Для права write+read (без read не устанавливается) дополнительно выдаются: Переименование рабочего пространства, Удалить рабочее пространство.

Слайд 64

Страница рабочих пространств

На странице рабочего пространства есть три вкладки: КЛАСТЕРЫ, ЭКЗЕМПЛЯРЫБ АГЕНТЫ.

У пользователя с правом write отображается красная кнопка "Добавить экземпляр" (на вкладке ЭКЗЕМПЛЯРЫ) или "Добавить кластер Patroni" (на вкладке КЛАСТЕРЫ). Страница на вкладке АГЕНТЫ не различаются.

При клике на три точки, у пользователя с правом write во всплывающем меню есть дополнительные пункты:

1) Тестовое подключение - агент попытается подключиться к базе данных экземпляра под своей ролью кластера PostgreSQL и выдаст результат во всплывающем окне.

2) Переместить в другое табличное пространство

3) Добавить задачу

4) Добавить метку

4) Браузер БД - открывает всплывающее окно для ввода деталей подсоединения к экземпляру. После нажатия на красную кнопку "Подключиться" откроется страница "Схема данных", с возможностью открыть "SQL-редактор".

5) Удалить.

У пользователя с правом read выдаются пункты

1) Открыть

2) Открыть расширенную аналитику.

Слайд 65

Страница экземпляра

Страница экземпляра - основная, с которой работает администратор баз данных (DBA). У пользователя с правом write на экземпляр, в меню дополнительный пункт "Настройки мониторинга", а также больше графических элементов на других страницах.

В примере на слайде открыт пункт меню "Обслуживание". У пользователя с правом write есть красная кнопка "Собрать данные".

Все отличия нет смысла перечислять и запоминать. Достаточно знать, что пользователь с правом read может просматривать данные по работе экземпляра и работе Платформы с экземпляром (уведомления), но не может вносить изменения в работу экземпляра PostgreSQL.

Право read предназначено для мониторинга, что является частью функционала Платформы Tantor. Право write - для управления кластерами баз данных PostgreSQL и Patroni.

Слайд 66

Практика 3

1. Войдите во вкладку управления пользователями

2. Создайте нескольких пользователей, измените имя пользователя, удалите пользователя.

3. В контекстном меню настроек войдите во вкладку управления группами пользователей, создайте несколько групп пользователей, измените имя группы.

4. Распределите пользователей между группами, соотнесите группы пользователей с рабочими пространствами и уровнями полномочий.

Слайд 67

Слайд 68

Панель управления Платформой

Появилась в 6 версии Платформы, располагается в левой части страниц.

1 - переход к списку тенантов

2 - переход к рабочим пространствам тенанта

3 - журнал событий, открывает страницу с логами событий, относящихся к данному тенанту

4 - открывает окно "Оповещения"

5 - Смена темы, позволяет выбрать одну из тем оформления Платформы:

светлая;

тёмная;

системная, автоматически меняет оформление Платформы на светлое или тёмное в зависимости от темы на вашем ПК.

6 - Помощь, позволяет перейти к Базе знаний и документации Платформы, а также открывает окно с информацией об установленной версии Платформы.

7 - Модули Платформы

8 - Аккаунт

https://docs.tantorlabs.ru/tp/6.0/instances/ug_platform_control_panel.html

Слайд 69

Экземпляры PostgreSQL

На стартовой странице Платформы, которая по умолчанию показывается после аутентификации, выдаётся список тенантов.

Если кликнуть на тенант, то откроется страница с рабочими пространствами, входящими в этот тенант и на которые есть права у пользователя.

На второй вкладке страницы "Экземпляры" выдаются все экземпляры, входящие в рабочие пространства данного тенанта. На этой вкладке можно выделить экземпляры, привязать группу параметров конфигурации (одну на выбор из списка) и синхронизировать (применить значения группы параметров к экземпляру) параметры выбранных экземпляров с их группами параметров.

Экземпляр с привязанной группой отображается зеленой галочкой в столбце "ПРИВЯЗ." Экземпляр с параметрами конфигурации, значения которых синхронизированы с группой параметров отображается зеленой галочкой в столбце "СИНХР." После нажатия на кнопку "Синхронизировать с группой параметров" появится окно со списком параметров: старые, новые значения и нужен ли рестарт экземпляра. Если новые значения неверные, можно отказаться от синхронизации и разбираться с группой параметров.

Цветовой индикатор статуса экземпляра:

красная линия - у экземпляра есть критический алёрт (оповещение);

жёлтая линия - у экземпляра есть предупреждающий алёрт;

зелёная линия - у экземпляра нет алёртов.

https://docs.tantorlabs.ru/tp/6.0/instances/admin_instances.html

Слайд 70

Страница тенанта со списком экземпляров

Если кликнуть на рабочее пространство на странице тенанта, то откроется страница со списком экземпляров в этом рабочем пространстве. На странице три вкладки: КЛАСТЕРЫ (Patroni), ЭКЗЕМПЛЯРЫ (PostgreSQL), АГЕНТЫ (Платформы). В таблице отображаются основные характеристики этих объектов управления.

При нажатии на значок три точки появится контекстное меню. Значения пунктов меню:

"Тестовое подключение" позволяет проверить, может ли Платформа подключиться к экземпляру. Если есть проблемы с подключением, откроется окно с описанием проблемы.

"Добавить метку" - позволяет добавить метку (описание) экземплярs, чтобы идентифицировать его. Например, "Primary" или "для тестов".

Если экземпляр входит в кластер Patroni, то во всплывающем меню добавятся пункты:

"Перезагрузить", "Повторная инициализация", "Перезапустить" и не будет пункта "Переместить в другое пространство". Пункты добавлены так как, если экземпляр не сможет перезапуститься и перезагрузиться, то это будет проблем Patroni. Если экземпляр не входит в кластер Patroni, то при наличии ошибки в параметрах конфигурации экземпляр не запустится и для исправления параметров нужно будет вручную редактировать файлы параметров конфигурации, например, postgresql.auto.conf В Платформе 6 версии Агент Платформы меняет параметры конфигурации командой ALTER SYSTEM SET, которая не работает на остановленном экземпляре. Функционала хранения версий файлов параметров конфигурации нет. В СУБД Tantor Postgres 17.5 появилась утилита pg_disg_setup.py, но утилита хранит только историю параметров расширений. Платформа 6 версии не использует эту утилиту, да и для ванильных версий PostgreSQL её нет.

Проблемы с параметрами могут быть, например, в том, что изменения 8 параметров конфигурации мастера передаются через WAL на реплики, где процесс startup проверяет, что значения 5 параметров на реплике не меньше, чем на мастере. Если это не так, startup останавливает применение WAL, а при остановке экземпляра реплики, экземпляр не запускается. Поэтому, перед остановкой и перезапуском экземпляра PostgreSQL стоит визуально проверить параметры конфигурации хотя бы в postgresql.auto.conf и иметь возможность его редактировать. Другими словами, иметь терминальную сессию с хостом экземпляра, а имея такую сессию легко перезапустить экземпляр в этой сессии.

https://habr.com/ru/articles/903030/

https://docs.tantorlabs.ru/tp/6.0/instances/instances_list.html

Слайд 71

Рабочее пространство: Агенты

На странице АГЕНТЫ можно получить команды для обновления агента до текущей версии Платформы. На то, что версия Агента не соответствует текущей версии Платформы указывает треугольник красного цвета рядом с версией Агента. При использовании Агента более старой версии новый функционал будет отсутствовать. Например, будут отсутствовать пункты меню, которые относятся к новшествам. Старый функционал при этом будет работать.

Цвет вертикальной линии слева у Агентов означает:

зелёный - Агент доступен;

красный - Агент не доступен.

Удалить Агент можно только в том случае, если он не обслуживает ни один экземпляр.

Пункт меню "Список экземпляров" нужен, чтобы определить, какие экземпляры обслуживает Агент.

https://docs.tantorlabs.ru/tp/6.0/instances/ug_agents.html

Слайд 72

Слайд 73

Рабочее пространство: Кластеры Patroni

Кластер баз данных PostgreSQL обслуживается только одним экземпляром PostgreSQL.

Patroni - это программа для управления кластером баз данных PostgreSQL и его физическими репликами. Patroni занимается мониторингом доступности мастера и, в случае его недоступности, автоматически продвигает (promote) одну из реплик до мастера и автоматически начинает восстановление сбойнувшего мастера. Patroni может выполнять автоматическое или ручное продвижение и хранит свои данные в распределенном хранилище конфигурации etcd. Для подсоединения клиентов к кластеру PostgreSQL, обычно, используется балансировщик нагрузки (HAproxy), который подсоединяет клиента к текущему мастеру.

Patroni текущего мастера периодически обновляет статус ключа "leader" в etcd, имеющий срок жизни (TTL, Time To Live). Если срок истёк, реплики соревнуются за роль "leader". Patroni того экземпляра, который создал ключ "leader" выполняет promote реплики до мастера и перенастраивает на остальных экземплярах маршруты потоковой репликации, чтобы реплики забирали WAL с нового мастера. Бывшего мастера пытается восстановить в виде новой реплики утилитой pg_rewind. Также может добавлять ("инициализировать") новые реплики или пересоздавать существующие, используя утилиту pg_basebackup.

Переоценивать Patroni не стоит, качество программного обеспечения PostgreSQL существенно выше, чем etcd и Patroni.

Платформа может управлять экземплярами PostgreSQL, входящими в "кластер Patroni".

Для добавления "кластера Patroni" сначала нужно установить и настроить на несколько узлов (хостов, виртуальных машин):

1) кластер etcd (три хоста с тремя IP адресами)

2) язык Python, так как Patroni написан на этом языке

3) Patroni

4) PostgreSQL.

После запуска и конфигурирования Patroni экземпляры PostgreSQL можно добавить в Платформу Tantor. При добавлении экземпляра нужно установить флажок "Экземпляр является членом кластера Patroni". После добавления экземпляра в списке кластеров появится кластер Patroni.

https://docs.tantorlabs.ru/tp/6.0/instances/ug_clusters_pages.html

Слайд 74

Рабочее пространство: КЛАСТЕРЫ

1 - поле для поиска кластера по столбцу ИМЯ

2 - кнопка красного цвета, открывает окно добавления нового кластера

3 - столбцы с информацией о кластере:

"PATRONI" - версия Patroni;

"КОЛ-ВО ЦПУ" - общее число ядер процессоров на всём кластере Patroni;

"ОБЪЕМ ОЗУ" - общий объём оперативной памяти, доступной на всём кластере Patroni;

"ДИСК ОСНОВНОГО ЭКЗЕМПЛЯРА" - размер занятого/общего дискового пространства на экземпляре мастера (primary, основного, лидера) PostgreSQL;

"ЭКЗЕМПЛЯРЫ" - число экземпляров PostgreSQL в кластере Patroni.

Цвет линии слева отражает состояние кластера Patroni:

зелёная - запущен, работает без ошибок;

жёлтая - используется асинхронная репликация или не работает какой-то экземпляр реплики;

красная - не запущен экземпляр мастера (primary) или не запущена реплика;

фиолетовая - на кластере проводится обслуживание.

Если кликнуть на имя кластера, то отобразится станица кластера Patroni.

Если кликнуть на три точки справа строки, появится всплывающее меню. В этом меню можно поставить Patroni на паузу и перейти на страницу просмотра и редактирования параметров конфигурации экземпляров PostgreSQL "Конфигурация"("Cluster config").

Слайд 75

Страница кластера Patroni: ОБЗОР И УПРАВЛЕНИЕ

На странице две вкладки: "ОБЗОР И УПРАВЛЕНИЕ" и "МОНИТОРИНГ".

1- характеристики кластера

2 - открывает страницу с параметрами конфигурации экземпляров PostgreSQL, входящие в кластер Patroni. Эти параметры конфигурации одинаковые для всех экземпляров.

3 - "Пауза/Обслуживание" - приостанавливает активность Patroni. Во время паузы(обслуживания)  Patroni не будет пытаться менять роли экземплярам, переинициализировать кластера PostgreSQL.

4 - состояние экземпляров PostgreSQL. Один из экземпляров - primary (основной, ведущий, мастер), остальные экземпляры - физические реплики.

"TTL" - время в секундах. Если по истечении этого времени мастер не обновит статус, начнутся выборы нового мастера (лидера).

По нажатию на три точки справа появится всплывающее меню:

Перезагрузить (Reload) - отправляет экземпляру команду reload, перечитать файлы параметров конфигурации без остановки экземпляра;

Повторная инициализация (Reinitialize) - заново инициализирует экземпляр;

Перезапустить (Restart) - останавливает и заново запускает экземпляр;

Переключиться (Switchover) - делает мастером мастер.

Ограничения для "Переключения":

Если есть синхронная реплика (параметр synchronous_mode = true), то переключиться можно только на нее. Если синхронной реплики нет (параметр synchronous_mode = false), то можно выполнить переключение на любую работающую реплику.

Слайд 76

Страница кластера Patroni: МОНИТОРИНГ

На вкладке "МОНИТОРИНГ"

Изменение ролей экземпляра - график, показывающий историю смены ролей экземпляров. На этом графике можно увидеть, как менялись роли экземпляров кластера за выбранный период. Период можно выбрать справа вверху страницы от 30 минут до 7 дней. если провести мышкой по графику, появится всплывающее окно, в котором будут отображаться роли экземпляров.

История изменений статуса узла кластера - таблица с историей изменения ролей (мастер или реплика) за отображаемый на странице период времени.

Слайд 77

Страница кластера Patroni: Конфигурация

На странице "Конфигурация" (Cluster config) кластера Patroni две вкладки: "ПАРАМЕТРЫ PATRONI" и "ПАРАМЕТРЫ POSTGRESQL".

При переходе на страницу появляется всплывающее окно с предупреждением, что Платформа считывает только те параметры, которые действуют, а не параметры из файлов конфигурации. Если поставить галочку в чекбоксе "Больше не показывать", то окно не будет автоматически появляться при переходе на страницу. Окно можно вернуть, на жёлтый треугольник левее значка фильтрации (воронки).

Если значения параметров на экземплярах PostgreSQL различаются, то такие параметры не показываются. Пример параметров, которые будут отличаться на мастере и репликах: transaction_read_only и in_hot_standby (на репликах on, на мастере off), primary_conninfo, primary_slot_name и не только.

Параметры Patroni, которые нельзя отредактировать через Платформу:

pg_ident, pg_hba, ignore_slots, slots, pause, config_file, data_directory, transaction_read_only.

Если поменять значения параметров, кнопка "Применить настройки" станет активной и её можно будет нажать. По нажатии на кнопку появится окно со списком новых значений и кнопкой "Применить и перезагрузить".

Слайд 78

Страница кластера Patroni: Применение изменений

Если поменять значения параметров, кнопка "Применить настройки" станет активной и её можно будет нажать. По нажатии на кнопку появится окно со списком новых значений и кнопкой "Применить и перезагрузить".

"Перезагрузить" (Reload) означает перечитать файлы конфигурации (pg_reload_conf()). Параметры, которые требуют перезапуска экземпляра ("перезапустить кластер") будут только сохранены в файле postgresql.auto.conf, экземпляры перезапускаться не будут.

Через Платформу можно перезапустить по одному экземпляры PostgreSQL, если они входят в кластер Patroni, но лучше перезапускать вручную в командной строке хоста экземпляра.

Слайд 79

Практика 4

1. Изучите представленную информацию о находящихся здесь экземплярах, и агентах (см. одноименные вкладки).

2. Изучите меню с опциями Экземпляра, откройте Экземпляр, выполните проверку (тест) соединения экземпляра и СУБД, посмотрите расширенную аналитику, выполните команду "добавить метку", переместите экземпляр в другое рабочее пространство.

3. Войдите во вкладку "Агенты", изучите представленную информацию. Откройте меню с опциями Агента, посмотрите список с экземплярами, возможно какой-то Агент нуждается в обновлении.

4. Войдите в систему под пользователями с разными уровнями полномочий, изучите, как изменились возможности системы.

Слайд 80

Слайд 81

Страница Обзор

Страница "Обзор" экземпляра - основная, с которой начинают работу с экземпляром.

В левой верхней части значок, кликнув на который можно скрыть меню, увеличив площадь в окне браузера:              вернуть меню можно кликнув на значок:  

Чуть ниже отображается IP адрес и порт экземпляра PostgreSQL: 10.0.2.15:5432

Ниже -  тип, сборка и версия СУБД

Ниже - метка и значок карандаша, кликнув на который можно отредактировать метку.

У двух плиток на слайде отображается красный треугольник, который на странице браузера немного мерцает:        , при наведении курсора на треугольник появляется окно с текстом: "Нажмите, чтобы показать предупреждения". При клике на треугольник откроется страница уведомлений. Красный цвет означает "проблема", жёлтый - "предупреждение":

При наличии проблем и предупреждений на плитке появляется линия слева, цвет которой такой же, как у треугольника.

https://docs.tantorlabs.ru/tp/6.0/instances/overview.html

Слайд 82

Страница Обзор

На этом слайде у третьей плитки появился желтый прямоугольник и жёлтая линия. Добавилось предупреждение о том, что оперативной памяти стало мало.

На плитке УВЕДОМЛЕНИЯ (справа внизу) добавилась строка с этим предупреждением. Строка добавлена над предыдущими оповещениями с уровнем важности "Проблема".

В правом верхнем углу плиток есть значок с тремя точками, при нажатии на который  откроются две опции:

Выпадающее окно/Popout - откроется всплывающее окно с увеличенным графиком. В этом окне могут быть настройки отображения графика, а также диапазоны отображения данных от 30 минут до 7 дней.

Инфо/Info - всплывающее окно с техническим описанием того, что отображается на графике и ссылкой "Подробнее", по нажатию на которую в отдельном окне браузера появится страница Базы знаний Тантор о том, что отображается на графике.

База знаний Тантор установлена локально в Платформе и не требует доступа в интернет. База знаний доступна по адресу https://хост_Платформы/know_base/ru/

Ссылка на Базу знаний Тантор есть под значком "?" на левой вертикальной панели меню.

Слайд 83

Страница Обзор -> УВЕДОМЛЕНИЯ -> Подсказки системы

На плитке УВЕДОМЛЕНИЯ две вкладки: "Оповещения" и "Подсказки системы". Активная вкладка отображается чёрным цветом, неактивная серым. Серый цвет путает: кажется, что вкладка некликабельна. Однако, кликнуть на вкладку серого цвета можно, содержимое плитки поменяется и высветятся рекомендации.

На вкладке "Подсказки системы" также есть текст серого цвета, но он уже прямо призывает:  "Нажмите, чтобы увидеть необходимые изменения". При клике на текст, появится всплывающее окно "Рекомендации по конфигурации".

Рекомендации можно скопировать в буфер обмена или записать. Эти рекомендации не видны на странице "Параметры" в рекомендованных значениях, которая открывается через пункт меню "Конфигурация", не видны ни на странице "Оповещения", ни на "Журнал событий", то есть кроме всплывающего окна рекомендации больше нигде не видны.

Поэтому, записав рекомендуемые значения, их можно ввести вручную на странице "Конфигурация":

Значение параметра pg_statements.max из рекомендаций соответствует рекомендуемому конфигуратором Платформы. Значение pg_statements.track в конфигураторе отсутствуют. Рекомендации конфигуратора консервативны.

Слайд 84

Оповещения (сообщения, уведомления)

По нажатию на красную кнопку "Посмотреть все сообщения" откроется страница "Оповещения".

Также, на эту страницу можно перейти кликнув на значок колокольчика на левой панели меню и в открывшемся всплывающем окне кликнуть на текст "Все оповещения". Однако, при таком переходе  может быть установлен фильтр на сообщения. Например, будут показываться сообщения со статусом = "открыто". На наличие фильтра укажет красный кружок рядом со значком "воронки" в правом верхнем углу страницы "Оповещения":

Число в кружке - это количество условий фильтрации.

При клике на значок воронки откроется всплывающее окно, в котором можно поменять условия фильтрации:

Слайд 85

Экземпляр: Сессии

При нажатии на три точки в верхней части плитки, появится меню с пунктом "Выпадающее окно", нажав на который появится всплывающее окно (панель) с графиком большего размера, чем на плитке.

В окне Сессии показывается текущее число сессий, максимальное, которое определяется параметром конфигурации PostgreSQL max_connections. Изменение этого параметра требует рестарт экземпляра. Значение параметра на репликах должно быть не меньше, чем на мастере, иначе реплика приостановит применение WAL. Значение по умолчанию 100.

В примере на слайде показана работа экземпляра с запущенным тестом с 50 сессиями:

pgbench -T 6000 -P 10 -c 50

Цвета линий графика показаны в верхней части окна: активные сессии - синий (в среднем, 10), ожидающие (в среднем, 40) - красный. Если кликнуть на другие типы сессий, она появятся на графике. В примере на слайде показаны простаивающие (idle) сессии и простаивающие в открытой транзакции (Idle in transaction).

При выборе в меню "(i) Инфо", появится описание того, что отображается в окне:

Слайд 86

Экземпляр: Транзакции

В окне транзакции показываются зафиксированные и прерванные (отмененные, откаченные) транзакции.

В примере на слайде показывается график изменения TPS стандартно теста, запущенного командой: pgbench -T 6000 -P 10 -c 50

но с открытым моментальным снимком в сессии с той же базой данных:

begin transaction isolation level repeatable read;

select 1;

На графике видно, что сначала TPS около 670, потом довольно быстро снижались до небольших значений. После того как транзакция была завершена и моментальный снимок исчез, горизонт базы данных перестал удерживаться и TPS увеличился до значений около 400.

Желтая и красная линии - это предустановленные значения для триггера xact_rollback (Rollbacked transactions) по числу транзакций, откатываемых в секунду:

Слайд 87

Экземпляр: Ввод/Вывод на диск

Число показывает последнее значение скорости передачи данных между диском и оперативной памятью.

График показывает скорость передачи данных между диском и оперативной памятью за выбранный интервал. В отображается два графика для:

Read - синий цвет, скорость чтения с диска.

Write - красный цвет, скорость записи.

Слайд 88

Экземпляр: Ввод/Вывод блоков

Показывает последнее значение скорости, с которой процессы экземпляра отправляют блоки (по умолчанию 8Кб) из буферного кэша экземпляра PostgreSQL в страничный кэш linux или запрашивают чтение блоков файлов данных (доступ к которым идёт через буферный кэш).

В окне отображается график для следующих метрик:

Dirtied (голубой) - число блоков в кэше буферов, содержимое которых поменялось с последней завершенной контрольной точки или загрузки в буферный кэш.

Read (красный) - число чтений блоков из буферного кэша.

Write (синий) - число изменений блоков в буферном кэше.

 Temp Read (оранжевый) - число чтений блоков из локальных кэшей серверных процессов, которые используется для временных таблиц, индексов.

 Temp Write (зелёный) - число изменений блоков в локальных кэшах серверных процессов, которые используются для временных таблиц, индексов.

На графике можно убрать или добавить отображение указанных метрик, масштаб графика при этом может измениться. В примере на слайде убран график красного цвета и зеленый график Dirtied проявил значения около 40. При отображении красного графика зеленый не был заметен. На красном графике значения около 16000 блоков в секунду и постепенно увеличиваются, при том, что TPS в то же время уменьшались. Серверным процессам приходилось читать всё больше блоков таблиц, чтобы добраться до актуальных версий.

После завершения транзакции, удерживавшей моментальный снимок, был всплеск записи и скорость чтения блоков уменьшилась до 20000 блоков в секунду.

Слайд 89

Экземпляр: Нагрузка CPU

НАГРУЗКА ЦПУ X4. после "X" в названии плашки число ядер, например, «НАГРУЗКА ЦПУ X4» - четыре ядра.

Показывает популярную (среди администраторов linux) метрику "CPU load".

На плашке отображается метрика load1 - нагрузка за последнюю минуту.

В окне графики для трёх метрик:

load1 - загрузка за интервал в 1 минуту;

load5 - загрузка за за интервал в 5 минут;

load15 - загрузка за за интервал в 15 минут.

Цвет линии на левом крае плашки:

Красный - проблема. Загрузка процессора превысила пороговое значение. Значение настраивается на странице триггеров.

Желтый - предупреждение:

Слайд 90

Экземпляр: Доступно ОЗУ

Плашка показывает текущее значение объема доступной оперативной памяти.

На плашке показывается "Объем ОЗУ" (11.5Гб) - общий объем памяти в linux.

На графике отображаются:

Available - оценка объема памяти, доступной для приложений без своппинга;

Buffers - память, используемая буфеами ядра linux;

Cached - память, используемая файловым кэшем linux и SLAB.

Цвет линии на левом крае плашки:

Красный - проблема.

Желтый - предупреждение:

Пороговые значения 40/20/50 можно поменять на 30/10/40 или 50/30/60:

Слайд 91

Экземпляр: Размер данных

Плашка показывает сумму размеров всех баз данных кластера PostgreSQL.

В размер не входят WAL-файлы и другие служебные файлы.

Слайд 92

Экземпляр: Размер диагностических логов

Плашка показывает размер файлов диагностических логов кластера PostgreSQL.

Это не размер директории pg_wal с WAL-файлами.

Слайд 93

Экземпляр: Среднее время запроса

Средняя длительность выполнения всех запросов.

Пример показывает как увеличивалось время запросов теста pgbench при удержании горизонта базы данных. После снятия удержания, время выполнения запросов уменьшилось.

Слайд 94

Экземпляр: 5 самых длительных запросов

"TOP 5 Queries" - среднее время выполнения пяти самых долгих запросов и "others" (остальных запросов).

При нажатии на плашке на запрос, появляется всплывающее меню с пунктами: "скрыть график" (скрывает линию запроса на графике), "подробнее" - открывает страницу профилирования этого запроса.

Слайд 95

Экземпляр: % внеочередных контрольных точек

% КОНТР. ТОЧЕК - % внеочередных контрольных точек. На плашке показывается процент контрольных точек, который был выполнен НЕ по времени, а "по требованию" (required). Такое происходит, если экземпляр стал генерировать большой объем журнальных данных так, что если выполнять контрольную точку по времени, то был бы превышен объем, заданный параметром max_wal_size. Чтобы не допустить этого, контрольная точка по времени, а она в 90% вероятности выполняется (если параметр checkpoint_completion_target = 0.9), завершается без задержек (с максимальной скоростью и нагрузкой на I/O) и начинается контрольная точка по требованию.

Если такое происходит нечасто и вызвано загрузками или реорганизацией данных, то это нормально. Если процент внеочередных (не по времени) контрольных точек всегда больше нуля, то стоит увеличить значение max_wal_size. Значение checkpoint_timeout уменьшать не стоит, оно выбирается из других принципов.

На графике отображается:

Automatic - контрольная точка, созданная автоматически.

Required - созданная суперпользователем вручную.

Если вынужденные (Required) контрольные точки составляют более 25% в час, по умолчанию будет создано предупреждение; если более 50% - сообщение о проблеме.

Пороговые значения выбраны эмпирически, чтобы уменьшить вероятность возникновения предупреждений при наличии массовых загрузок или типичных задач по реорганизации данных.

Оповещение автоматически закроется, когда процент внеочередных контрольных точек станет меньше 10%:

Пороговые значения можно поменять с 50/25/70 на: 50/25/70 или 90/75/100.

Слайд 96

Экземпляр: Временные файлы

временные файлы - объем, записанный на диск при выполнении запросов, включая работу как с временными таблицами, так и сохранение данных при нехватке памяти (параметры для каждого процесса, а не для экземпляра: work_mem, hash_mem_multiplier, maintenance_work_mem, temp_buffers). Ограничение на размер временных файлов для каждого процесса задаётся параметром temp_file_limit. Временные файлы создаются в табличных пространствах, названия которых можно указать в параметре temp_tablespaces, минимальный размер временных файлов, создание которых будет логироваться в диагностический журнал, задаётся параметром log_temp_files.

Плашка показывает скорость увеличения размера временных файлов.

График также показывает скорость увеличения размера временных файлов (Temp files size), а не общий размер временных файлов.

Триггер также установлен на скорость увеличения размера временных файлов:

Пороговые значения можно поменять с 1/10/0.8 на: 0.5/5/0.3 или 10/50/5.

Слайд 97

Экземпляр: Временные файлы

Пример команд для тестирования создания и увеличения размера временных файлов:

create temp table temp1 (id integer);

insert into temp1 select * from generate_series(1, 20000000);

select pg_table_size('temp1');

 pg_table_size

---------------

     725155840

Всплески на графике - вставки по 20млн. строк во временную таблицу. Размер временной таблицы и её временных файлов будет расти. После первой вставки оповещение не создавалось, так как вставки проходили в локальный кэш буферов процесса.

В примере на слайде превышение скорости увеличения размера временных файлов таблицы длилось 2 минуты. Через 5 минут после окончания (через 7 минут после начала возникновения оповещения) увеличения размера временных файлов оповещение было автоматически закрыто.

Интервал времени восстановления - 5 минут.

Слайд 98

Экземпляр: Сеть

График показывает сетевой трафик выбранного сетевого интерфейса. Выбрать интерфейс можно с помощью угловых стрелок на плашке, а в окне графика - в правом верхнем углу.

В окне выдаются графики Received (голубой цвет линии) и Sent (красный цвет линии) в kB (или более крупных единиц измерения) в секунду.

Кроме рассмотренных в этой главе, ещё имеются плашки и графики:

% блоков из буфера - процент "попадания в буферный кэш экземпляра" (cache hit). У метрики hit_read_ratio есть пороговые значения: 90/80/95 и они не меняются.

зацикливание (wraparound). Прогресс-бар показывает число использованных номеров транзакций в текущем цикле. Маркер на индикаторе покажет ожидаемое начало аварийного автовакуума. Для СУБД с 32-битным счетчиком (ванильный PostgreSQL, Tantor BE, Tantor Free) число транзакций в цикле небольшое, около 4млрд. Для СУБД с 64-битным счетчиком (Tantor Postgres SE и SE1C), зацикливание не актуально. У этой плашки нет графика.

репликация - графика нет, на плашке может отражаться зелёный кружок - репликация работает без сбоев, красный треугольник - проблема с репликацией, серый кружок - реплик нет.

статистика автовакуума - число активных рабочих процессов автовакуума (autovacuum workers). Число процессов рассчитывает процесс autovacuum launcher, но это число ограничено значением параметра autovacuum_max_workers.

Слайд 99

Практика 5

1. Ознакомьтесь с описанием каждого окна страницы Обзор экземпляра.

"Обзор"/"Overview", раскройте "Выпадающее окно"/"Popout",

проанализируйте представленную информацию.

2. Измените временной интервал отображения информации,

проанализируйте результаты.

3. В окне "5 самых длительных запросов"/"TOP 5 total query time", внизу,

кликните на один из запросов и откройте "Подробнее"/"Details", изучите

представленную информацию.

4. Посмотрите число сетевых интерфейсов.

Слайд 100

Слайд 101

Оповещения

Для уведомления о том, что происходит в Платформе используется Журнал событий.

Для уведомления о том, что происходит в работе экземпляров PostgreSQL или хостов используются Оповещения (Alerts).

Оповещения связаны с тенантом. После выбора тенанта в левом вертикальном меню появляется значок колокольчика, при клике на который открывается всплывающее окно с открытыми  оповещениями, внизу страницы ссылка "Все оповещения", при клике на которую откроется страница "Оповещения" со списком оповещений текущего рабочего пространства.

Если есть не закрытые оповещения, то на колокольчике в красном кружке отображается их число.

Колокольчик с числом оповещений всегда остается на том же месте, пока вы находитесь в тенанте, какую бы страницу Платформы вы не открыли, благодаря этому, вы не упустите появление новых оповещений.

Оповещения нужны для быстрого уведомления о проблемах и предупреждениях.

Слайд 102

Страница со списком оповещений

Попасть на страницу Оповещения можно с других страниц Платформы, а не только кликнув на значок колокольчика. Кликнув на цифру в столбце ОПОВЕЩЕНИЯ на странице тенанта; нажав на красную кнопку "Просмотреть все сообщения" на странице Обзор экземпляра. В этой плашке показываются только оповещения, относящиеся к выбранному экземпляру. При открытии страницы со списком оповещений может быть установлен фильтр на оповещения, но его можно убрать.

Также можно переходить на страницу с конкретным оповещением кликнув на полоску или красный или треугольный значок в плашках на странице "Обзор" экземпляра.

В примере на слайде страница "Оповещения" была открыта через значок колокольчика, поэтому был выставлен фильтр по 2 параметрам (красный кружок у значка воронки справа вверху страницы): по рабочему пространству и статусу "открыто". Нажав на значок воронки можно поменять условия фильтрации сообщений.

Критичность может быть: Предупреждение, проблема, Не определено, ОК.

Статусов может быть пять: один Открыто и Закрыто одним из четырёх способов.

Кроме фильтрации можно отсортировать оповещения, кликнув на название столбца таблицы со списком оповещений.

Нажав на три точки, появится меню с пунктами "Подробнее" и "Закрыть".

Слайд 103

Страница оповещения: ОБЗОР

При нажатии в списке оповещений а строку или выборе в меню "Подробнее" или при клике на треугольный значок на странице Обзор экземпляра откроется страница с описанием конкретного оповещения.

Если выбрать "Закрыть", то появится всплывающее окно, где опционально (необязательно) можно написать текст о причине закрытия или закрыть без комментария.

На странице три вкладки: ОБЗОР, СВЯЗАННЫЕ ОПОВЕЩЕНИЯ, ЖУРНАЛ СОБЫТИЙ.

В Платформе есть возможность увидеть список всех типов событий, которые могут

вызвать оповещения. Для этого можно перейти в пункт меню "Настройка Мониторинга" (Monitoring Config) и перейти во вкладку "Триггеры". Пороговые значения некоторых их триггеров можно  редактировать. Обычно, предлагается три комбинации пороговых значений, чтобы регулировать (повышать или снижать) чувствительность к событию.

Агент постоянно собирает метрики с наблюдаемой базы данных и отправляет их в Платформу, где они обрабатываются. Оповещения срабатывают, если метрики по тем или иным параметрам превышают пороговые значения. Превышение этих значений выявляет триггер.

Слайд 104

Страница оповещения: СВЯЗАННЫЕ ОПОВЕЩЕНИЯ

На вкладке СВЯЗАННЫЕ ОПОВЕЩЕНИЯ после описания оповещения есть три вкладки ПО ВРЕМЕНИ, ПО ЭКЗЕМПЛЯРАМ, ПО РАБОЧИМ ПРОСТРАНСТВАМ.

По этим характеристикам высвечиваются оповещения. Однако, для долгоживущих оповещений (на слайде 1 день 1:28:14) выдается много оповещений, логически не связанных с исходным. Избежать этого нельзя, так как есть опасность отфильтровать связанные оповещения, поэтому выдаются все оповещения: за интервал пока оповещение было открыто, возникших на том же экземпляре или экземплярах рабочего пространства.

Слайд 105

Страница оповещения: ЖУРНАЛ СОБЫТИЙ

На вкладке ЖУРНАЛ СОБЫТИЙ после описания оповещения выводится история статусов оповещения. В примере на слайде оповещение было закрыто вручную.

При закрытии в поле "решение (необзязательно)" был вставлен текст, но на вкладке ЖУРНАЛ СОБЫТИЙ текст не выводится. Видно только, что оповещение "Resolved by student", где student - имя пользователя Платформы.

Текст решения выводится только на вкладке ОБЗОР в поле "комментарий".

Поменять статус с "закрыто" на "открыто" нельзя.

Слайд 106

Слайд 107

Интеграция со службами сообщений

О появлении оповещений можно посылать уведомления. В Платформе 6 версии поддерживается передача уведомлений:

1. по e-mail

2. в чат Telegram

3. в чат Mattermost.

Это позволяет оперативно получать информацию о происходящих событиях от Платформы.

https://docs.tantorlabs.ru/tp/6.0/admin/admin_reports.html

Слайд 108

Настройки тенанта: Почтовый сервер (SMTP)

Подключение к почтовому серверу настраивается:

1. на странице "Настройки системы" - для отправки владельцам системы писем о выдаче прав владельца системы или о смене пароля владельца системы.

2. на странице "Настройки тенанта" - для отправки писем о событиях тенанта: сообщений о смене пароля пользователя с правами владельца тенанта, локальных пользователей, а также уведомлений о возникновении оповещений.

На страницах указываются детали подсоединения к почтовому серверу по протоколу SMTP (Simple Mail Transfer Protocol). По этому протоколу отсылаются почтовые сообщения уведомлений.

Для добавления почтового сервера нужно ввести имя его хоста, порт для протокола SMTP (обычно 25 или 465), имя для аутентификации отправителя и пароль. Галочка SSL/TLS не играет роли, так как Платформа отправляет письма, переключая почтовую сессию на протокол TLS.

После добавления деталей почтового сервера, можно протестировать отправку письма. Для этого нужно нажать на кнопку "Протестировать", в появившемся окне указать e-mail получателя письма.

Если почтовый сервер примет сообщение, то на несколько секунд появится зелёное окно с текстом "Тестовое письмо успешно отправлено". Это будет означать, что настройка SMTP сервера выполнена корректно. При любой ошибке отправки письма (неверные имя/пароль, сервер использует протокол TLS 1.0, сервер не понимает команду STARTTLS) выдаётся красное всплывающее окно с одинаковым текстом "Не удалось проверить подключение к SMTP-серверу" без указания причины.

https://docs.tantorlabs.ru/tp/6.0/admin/smtp.html

Слайд 109

Интеграция со службами сообщений

Можно посылать уведомления разной важности на разные e-mail. Для этого нужно добавить два e-mail и добавить правила. В правиле к первому e-mail указать уровень важности(критичности) "Предупреждение", а в правиле ко второму e-mail уровень важности "Проблема". Канал передачи (e-mail) можно приостановить и активировать. В приостановленных каналах менять правила нельзя, в активированных можно. Удалить можно любой канал.

Слайд 110

Отправка тестового письма

Для отправки тестового письма на странице "Настройки тенанта": должен быть сконфигурирован "Почтовый сервер (SMTP)".

Кликнув на три точки справа в строке, появится контекстное меню с пунктом "Отправить тестовое письмо". Нажав на него, будет сделана попытка отправки почтового сообщения. Если сообщение будет успешно принято SMTP-сервером, то появится окно "Подключено успешно".

https://docs.tantorlabs.ru/tp/6.0/admin/reports_email.html

Слайд 111

Шаблоны писем

В Платформе 6 версии есть 11 шаблонов писем для уведомлений о событиях тенанта. Шаблонов для писем на странице "Настройки системы" нет. Названия шаблонов:

Оповещения

Добавлено ЦПУ

Восстановление пароля

Подтверждение настроек email

Новый пользователь

Проблема с оплатой

Anonymizer Operation Status

Регулярные уведомления

Сброс пароля

Owner permissions granted for Tenant

User permissions granted for Tenant.

Список шаблонов не расширяется (в него нельзя добавить еще один шаблон).

Слайд 112

Редактор шаблона писем

Можно отредактировать шаблоны писем.

В правой части списка мы видим команды, можем нажать на "Предпросмотр" того, как будет выглядеть тело письма.

Можно отредактировать тему (Subject) письма. В заголовке нельзя использовать "ПОЛЯ ШАБЛОНА" - переменные замены.

Переменные замены будут заменены текстом с данными, которые были доступны Платформе на момент отправки письма.

Формат тела письма - HTML.

Слайд 113

Слайд 114

Посылка сообщений в канал Telegram

Для настройки и корректной работы интеграции с Telegram нужен доступ к хосту telegram.org из Платформы.

Оповещения посылаются по всем активным каналам (трёх типов e-mail, telegram, mattermost) в соответствии с правилами, установленными для каналов. То есть получая уведомления по e-mail, сконфигурировав telegram уведомления будут отправляться и на e-mail и в telegram-канал. Правила позволяют настроить передачу сообщений по рабочим пространствам и уровням важности (WARNING и PROBLEM). Параметров "тип сообщений" или "'экземпляр PostgreSQL" в правилах нет.

Если правил нет, то уведомления не посылаются.

"Приостановить" в выпадающем меню - отключит отправку уведомлений по каналу. Статус канала будет отображаться как "Отключено", а не "Активно".

https://docs.tantorlabs.ru/tp/6.0/admin/reports_telegram.html

Слайд 115

Создание канала Telegram

В приложении Telegram нужно:

Создать частный канал (НЕ группу и НЕ чат).

В приложении Telegram выберите "Создать канал". Введите имя канала. В окне "Типа канала" отобразится "Частная" и ссылка-приглашение. Частный канал означает, то добавляться в него смогут только по этой ссылке. Эта ссылка Платформой не используется, её можно передавать пользователям Платформы, которые хотя получать уведомления. Пользователь Telegram, создавший канал является его владельцем, может добавлять/удалять администраторов канала и удалять канал. Если нажать "Далее", то появится окно "Контакты", в котором Telegram склоняет к приглашению в канал контактов. Если нажать "Далее" откроется окно канала с сообщением "Канал создан" и поле для публикации сообщений в канале.

Получить идентификатор созданного частного канала из 13 чисел с помощью бота @FIND_MY_ID_BOT

Напишите любое сообщение и опубликуйте в канале. Нажмите на сообщение и выберите в выпадающем меню "Переслать". В строке поиска наберите @find_my_id_bot и выберите имя "Get my ID". Сверьтесь с названием и аватаром бота. Вместо бота "Get my ID" можно использовать и другие боты, которые могут выдать идентификатор канала. Идентификатор канала это 13 цифр со значком минус в начале: "-100xxxxxxxxxx". Запишите этот номер, его нужно будет ввести при добавлении канала в Платформе.

Слайд 116

Создание бота для канала Telegram

Бот нужен для того, чтобы Платформа через него публиковала сообщения в канале. Пользователи Telegram привязаны к номерам телефонов и Платформа не может публиковать сообщения как пользователь (человек) Telegram.

Создать бота с помощью бота @BotFather, получитьAPI Token бота.

Найдите бот по имени "BotFather". Не ошибитесь в выборе бота: У правильного бота больше 3 миллионов пользователей и синяя галочка.

В окне чата с ботом BotFather наберите:

/start, высветятся команды

наберите /newbot, выдастся сообщение о том, что надо придумать и ввести имя вашему боту

Имя не уникальное, оно будет высвечиваться у вас в Telegram. Дальше будет предложено придумать username боту. username должно оканчиваться на "bot" и быть уникальным. Придумайте username, которое ещё не занято. Можно набрать несколько раз. Как только введённое имя окажется незанятым, ваш бот будет создан и в выданном тексте будет API Token. Его нужно сохранить. Токен можно в будущем снова получить, можно отозвать и создать новый. Также можно будет удалить бота, если он вам не нужен. В приложении Telegram можно нажать на кнопку Open и давать команды BotFather через встроенное приложение в Telegram:

Слайд 117

Добавление бота в канал Telegram

Добавить созданного бота как администратора в канал с единственным правом - публикации сообщений (остальные права не нужно давать).

Для добавления нужно открыть канал, кликнуть на заголовок с именем канала. Выбрать "Администраторы". В открывшемся окне "Управление" выбрать "Добавить администратора". Найти имя вашего бота в окне глобального поиска. Не ошибитесь в имени бота при поиске, а то добавите чужого бота. Выбрав имя откроется окно с правами. Нужно убрать все права, кроме "Отправка сообщений" и нажать ссылку в верхнем правом углу "Готово".

Это все действия, которые нужно выполнить в приложении Telegram. В канал можно приглашать пользователей, которые хотят получать сообщения от Платформы. Так как канал частный, то он не будет виден в глобальном поиске и без ссылки или добавления в канал, сторонние пользователи Telegram не смогут добавиться в канал.

Созданный канал можно удалить, имя канала освободится. Боту можно поменять API Token.

Как создатель каналы вы являетесь владельцем канала и можете удалить его Бота можно из списка администраторов канала:

Слайд 118

Создание канала уведомлений в Платформе

Создать в Платформе канал уведомлений, указав идентификатор канала и API Token бота, которые были получены в приложении Telegram.

Для этого выбрать в левой вертикальной полоске меню значок "Настройки тенанта" -> "Каналы уведомлений" -> "Telegram" и на открывшейся странице со списком каналов Telegram нажать кнопку в правом верхнем углу "Добавить канал". Появится всплывающее окно "Добавление канала Telegram".

После ввода идентификатора и токена нажать красную кнопку "Добавить канал" и канал будет добавлен в список каналов тенанта.

Дальше нажать справа в строке канала три точки и выбрать "Открыть". Появится страница описания канала. На странице отображается идентификатор канала, но API Token не отображается. Если вы в BotFather отзовёте токен (Revoke current token), то будет создан новый API Token. Все клиенты со старым токеном не смогут взаимодействовать с ботом. Чтобы Платформа смогла передавать сообщения в канал, нужно будет выбрать в меню "Установить токен" и ввести новый API Token.

Для проверки того, что Платформа может посылать сообщения в канал, можно нажать в меню на пункт "Тестовое подключение".

Если удалить бота из администраторов канала или сам канал, то зелёная плоска с лева в строке не будет показываться и при тестировании будет выдана ошибка:

Слайд 119

Добавление правил для канала Telegram в Платформе

Добавить правило для отсылки уведомлений в канал Telegram для оповещений с уровнем важности Проблема (PROBLEM) и/или Предупреждение (WARNING).

В меню справа выбрать "Добавить правило" и во всплывающем окне выбрать рабочее пространство в тенанте и уровень важности. Выбрать несколько рабочих пространств и уровней нельзя, придётся добавлять по одному.

Добавленные правила появятся на странице канала в виде списка под строкой с параметрами канала уведомлений. В меню, которое вызывается при клике на три точки справа на строке правила есть единственный пункт "Удалить правило".

Слайд 120

Пример сообщений в канале Telegram

Первое сообщение - результат выбора в меню пункта "Тестовое подключение".

Шаблоны сообщений для Telegram не редактируются. В сообщении выводится время во временной зоне Платформы с точностью до секунд. Время такое же как на странице "Оповещения" Платформы.

В примере на слайде в канале два подписчика: владелец канала и бот.

Числа в сообщениях отображаются синим цветом, это особенность Telegram, кликать на числа синего цвета не нужно.

Слайд 121

Mattermost

Mattermost - мессенджер с открытым исходным кодом для использования в организациях и компаниях. Является открытой альтернативой Slack и Microsoft Teams. Mattermost используют Группа Компаний Астра, Boeing, Tesla, ЦЕРН. Позволяет выполнить миграцию со службы уведомлений Slack. Mattermost имеет клиентское приложение под iOS, доступное в AppStore.

При добавлении канала Mattermost на странице Платформы достаточно указать "URL веб-хука" и канала, для которого этот веб-хук создан. Канал может быть приватным.

Веб-хук для канала создаётся в настройки канала Mattermost в меню "Интеграции" -> "Входящие веб-хуки" -> кнопка "Добавить входящий веб-хук".

В остальном, работа с каналами Mattermost в Платформе аналогична Telegram. Например, так же нужно добавлять правила для оповещений:

Во всплывающем меню, в отличие от меню для каналов Telegram, нет пункта "Установить токен", так как в Mattermost нет токенов.

При выборе Приостановить, Активировать и при добавлении канала появляются всплывающие сообщения зелёного цвета с текстом об успешной приостановке, активации или добавлении канала.

https://docs.tantorlabs.ru/tp/6.0/admin/reports_mattermost.html

Слайд 122

Практика 6

1. Нажмите на колокольчик "Оповещения"/"Alerts".

2. Изучите содержимое вкладок "Оповещения"/"Alerts" и "Журнал

событий"/"Event log", перейдите по кнопке "Посмотреть все"/"View all".

3. Воспользуйтесь фильтром, чтобы найти нужное оповещение. Войдите в

оповещение.

4. Изучите вкладки "Обзор"/"Overview", "Связанные

оповещения"/"Related alerts" и "Журнал событий"/"Event log".

5. Закройте оповещение вручную.

6. Перейдите на страницу "Настройки тенанта".

7. Создайте канал оповещения с Телеграм.

8. Перейдите на страницу "Шаблоны писем"/"Email templates", измените один из

шаблонов.

Слайд 123

Слайд 124

Экземпляр: Настройки мониторинга

На странице "Настройки мониторинга" экземпляра выбираются базы данных, по которым Агент Платформы собирает метрики. По умолчанию, выбрана только одна база данных, имя которой указывалось для подсоединения Агента при добавление экземпляра в Платформу. Отключить мониторинг этой базы данных (убрать галочку в столбце "Отслеживается") нельзя.

Слайд 125

Экземпляр: Настройки мониторинга -> ТРИГГЕРЫ

На второй вкладке "ТРИГГЕРЫ" отображается список метрик с их пороговыми значениями. Если собранные Агентом метрики выходят за границы значений триггеров, создаётся оповещение.

Список метрик не меняется. У части метрик нельзя менять пороговые значения. У метрик, у которых можно поменять пороговые значения отображается пункт "Редактировать" во всплывающем меню. Меню вызывается нажатием на три точки справа.

Если триггер редактируемый, то обычно, даётся на выбор три набора пороговых значений. Числа в этих пороговых значениях нельзя менять.

https://docs.tantorlabs.ru/tp/6.0/instances/monitoring_config.html

Слайд 126

Экземпляр: Профилировщик запросов

"Профилировщик запросов" (Query Profiler) предназначен для профилирования (оценки процесса выполнения) запросов. Профилировщик использует статистику расширения pg_stat_statements. Данные из представления pg_stat_statements группируются, чтобы не было дубликатов одинаковых запросов.  На каждой итерации сбора статистики делается выборка только 50 самых длительных запросов.

В столбце ТРЕНД показывается уменьшенный и сжатый график, который отобразится на основной панели. Чем чаще и дольше выполнялся запрос, тем больше кривая ТРЕНД соответствует графику. Для длительности 1 миллисекунда (как в примере на слайде) ТРЕНД не похож на график, по которому он рисуется.

В меню "три точки" у каждого запроса всего один пункт: "Подробнее". Этот пункт открывает то же самое, как если кликнуть на саму строчку запроса.

При нажатии на значок "+" в левой части, строка "раскроется" и покажет запрос, а значок заменится на "-":

Слайд 127

Экземпляр: Профилировщик запросов: СТАТИСТИКА

При клике на строчку запроса, откроется новая страница на вкладке СТАТИСТИКА по этому запросу.

В левой части страницы - статистика, в правой части - Текст запроса.

И на предыдущей и на этой странице справа вверху можно выбрать интервал отображения собранных данных от 30 минут до 7 дней.

На графике отображается метрика, которая указана слева вверху графика. В примере на слайде: TIME QUERY/SECOND.

Под графиком 7 точек, на которые можно кликать и будут открываться графики метрик:

1. Time Query/Second,

2. Calls/Second,

3. Rows/Second,

4. CPU Time/ Second,

5. IO Time/Second,

6. Dirtied Blocks/Second,

7. Temp Blocks(Write)/Second

При клике на вкладке "ПЛАНЫ" откроется страница со списком планов.

Для того, чтобы планы показывались, а не выдавалось "Данные не найдены", нужно, чтобы

1) в кластере были установлены библиотеки pg_stat_statements и pg_store_plans:

alter system set shared_preload_libraries =  pg_stat_statements, pg_qualstats, pg_store_plans, pg_prewarm, pg_stat_kcache, auto_explain ;

2) в базе данных были установлены расширения:

create extension if not exists pg_stat_statements;

create extension if not exists pg_store_plans;

3) показываться будут только запросы, длительность которых превышает значение параметра pg_store_plans.min_duration. Значение можно установить командой:

alter system set pg_store_plans.min_duration = '10s';

Цель профилировщика  - проведение анализа и выявление проблемных запросов в базе данных. Профилировщик не только отслеживает параметры выполнения, но и проводит анализ планов запросов, предоставляя подсказки для оптимизации.

Слайд 128

Экземпляр: Профилировщик запросов: ПЛАНЫ

При клике на вкладке "ПЛАНЫ" откроется страница ГИСТОГРАММА ПЛАНОВ. На гистограмме разными цветами показываются разные планы.

На временной шкале открывается гистограмма, которая показывает с какими планами

выполнялся выбранный запрос за указанное время.

Один и тот же запрос может выполняться разными планами.

Под гистограммой можно кликнуть на три точки, подсвеченные цветом столбцов гистограммы и появится план выполнения.

В примере видны два разных плана для запроса

UPDATE pgbench_tellers SET tbalance = tbalance + $1 WHERE        tid = $2

Запрос на этой странице не виден, он будет виден на вкладке СТАТИСТИКА.

Число столбцов гистограммы зависит от частоты выполнения запроса.

При нажатии на значок с двумя квадратиками справа от плана, план копируется в буфер обмена.

Слайд 129

Экземпляр: Профилировщик запросов: простой план

При клике на любое место строки плана, кроме трёх точек, откроется страница с деталями плана выполнения запроса.

На странице 6 вкладок:

explain

диаграмма

отношения

план

модель

оригинал

В примере на слайде показан план запроса, который не является долго выполняющимся (pg_store_plans.min_duration), по нему не собраны данные и рекомендаций нет. На картинке нет многих столбцов, которые появляются у долгих запросов.

https://docs.tantorlabs.ru/tp/6.0/instances/query_profiler.html

Слайд 130

Экземпляр: Профилировщик запросов: долгий запрос

Для долгих запросов картинка имеет большое число столбцов.

Для создания тестовой нагрузки в виртуальной машине курса можно использовать команды:

psql -f /opt/workload/custom_init.sql

pgbench -T 60000 -P 10 -c 5 -f custom_workload.sql

При проведении мышью над большинством визуальных элементов страницы появляются всплывающие окна с подсказками.

Во врезке на слайде - продолжение заголовка таблицы, где справа есть ссылки на tilemap и piechart.

Страница создаётся анализатором планов запросов, аналогичном explain.tensor.ru. Анализатор интегрирован в Платформу Tantor и позволяет проводить анализ в рамках Платформы без отправки запросов и данных во внешние сервисы. Платформа Tantor самостоятельно собирает и хранит запросы во внутренней базе данных инсталляции Платформы.

Сервис позволяет:

Визуализировать любые планы запросов PostgreSQL, скопированные из любых источников и вставленные в окно, которое открывается из меню "Модули"->"Анализатор  плана запросов"

Отображать планы запросов, собранных опцией "Расширенная аналитика" платформы Tantor и показываемые в меню"Проблемные запросы".

Отображать планы запросов, собранных платформой Tantor с помощью расширения pg_store_plans на странице "Профилировщик запросов".

при включенном параметре track_io_timing в плане отображаются показатели времени, затраченного на операции ввода-вывода (average IO после "итоговые результаты").

Статьи с описанием визуального интерфейса Tensor:

https://habr.com/ru/company/tensor/blog/677948/

https://habr.com/ru/company/tensor/blog/477624/

Слайд 131

Экземпляр: Профилировщик запросов: tilemap

Пример tilemap, который появляется справа на плане.

На диаграмме сверху 3 вкладки: time (открыта по умолчанию), cost и rows.

Режим rows (ссылка "rows" сверху над tilemap) позволяет мгновенно оценить, в каком сегменте плана генерируется или фильтруется чересчур много записей.

Более насыщенным (красным) цветом подсвечиваются те узлы, на которых было отфильтровано (Rows Removed by Filter …) наибольшее число строк.

Визуальная ширина линий между шестиугольниками пропорциональна числу строк, которые были переданы вверх по дереву плана.

Чем ярче узел и толще его линии (связи, ветви), тем он более важен и на него стоит обратить внимание.

При проведении мышью над шестиугольниками показываются части плана, к которым эти элементы относятся. В примере - шестиугольник NL3 (Nested Loop).

Слайд 132

Экземпляр: Профилировщик запросов: piechart

Пример piechart (круговая диаграмма), который появляется справа на плане.

Круговая диаграмма, представляет долю времени, занимаемую узлом плана запроса по отношению к длительности выполнения запроса.

При проведении мышью над элементами показываются части плана, к которым эти элементы относятся. В примере - зелёный сектор.

Круговая диаграмма полезна, когда план запроса содержит много узлов и даже сокращенная форма плана занимает большую площадь. Она позволяет обратить внимание на узлы плана, на выполнение которых тратится больше всего времени.

Цвет на диаграмме и на полоске заголовков столбцов:

если доминируют красные сегменты, то тратится много времени на чтение данных (Seq Scan, Index Scan, Bitmap Heap Scan), если желтые - на обработку (Aggregate, Unique), а зелёные - это соединения (Join).

Слайд 133

Экземпляр: Профилировщик запросов: диаграмма

Piechart (круговая диаграмма) не показывают полную цепочку вложений подузлов CTE/InitPlain/SubPlan - их можно увидеть только на диаграмме выполнения.

Слайд 134

Экземпляр: Профилировщик запросов: рекомендации

Иконки рекомендаций в виде прямоугольников (IC - Index Create, SR - Service Recommendation) присутствуют на плане. При наведении на иконки откроются всплывающие окна с рекомендациями.

Также открыть страницу рекомендаций можно кликнув на ссылки "индексы" и "рекомендации".

В рекомендации по индексам даётся команда создания индекса, которую можно скопировать в буфер обмена:

Слайд 135

Экземпляр: Профилировщик запросов: статистика

При клике справа вверху "статистика", откроется страница с показателями выполнения:

временем, числом строк, RRbF (Rows Removed by Filter), типом узла, таблицей, индексом и ссылкой на номера узлов плана. При наведении на ссылку с номером узла плана появится всплывающее окно ч частью плана.

Слайд 136

Практика 7

1. Откройте страницу "Настройки мониторинга"/"Monitoring config".

2. На вкладке "Список баз данных"/"Databases list", найдите базу данных, отличную от той, которая мониторится по умолчанию и поменяйте статус мониторинга.

3. Изучите варианты фильтрации списка БД.

4. Откройте вкладку "Триггеры"/"Triggers", изучите список триггеров.

5. Отключите-включите какой-нибудь триггер.

6. Найдите триггер, который доступен для редактирования, измените пороговые значения.

Слайд 137

Практика 8

1. Откройте "Профилировщик запросов"/"Query Profiler".

2. Ознакомьтесь с основным графиком "Среднее время запросов"/"Average query time". Измените временной интервал отображения информации о запросах.

3. Найдите таблицу/список запросов, ознакомьтесь с параметрами для фильтрации, отфильтруйте запросы по параметру "количество возвращаемых строк".

4. Откройте один из запросов, ознакомьтесь с текстовым содержанием запроса.

5. Посмотрите детально содержание запроса во вкладке "Статистика"/"Statistics".

6. Посмотрите детально план запроса во вкладке "Планы"/"Plans",

раскройте план запроса и изучите текстовое содержание. Провалитесь в запрос, изучите представленную информацию: план, диаграмму, статистику и рекомендации.

Слайд 138

Практика 9

1. Откройте страницу "Репликация".

2.Изучите представленную информацию на мастере, найдите на мастере

данные по лагу репликации. На реплике, посмотрите отличия отображения

данных, войдите в реплику.

3.Перейдите во вкладку "Табличные пространства". Изучите информацию,

представленную в данной вкладке.

4.Перейдите во вкладку "Графики". Изучите окна и графики, представленные в

данной вкладке. Кликните на "Метрики". Измените временной интервал отображения информации.

Слайд 139