Изменения документа 1. Архитектура сервиса

Редактировал(а) Ирина Сафонова 13.03.2024, 15:16

От версии 1.1
отредактировано Ирина Сафонова
на 08.02.2024, 00:45
Изменить комментарий: К данной версии нет комментариев
К версии 28.1
отредактировано Ирина Сафонова
на 08.02.2024, 12:21
Изменить комментарий: К данной версии нет комментариев

Сводка

Подробности

Свойства страницы
Содержимое
... ... @@ -1,98 +1,127 @@
1 -1. **Физический слой.**
1 +(% data-xwiki-non-generated-content="java.util.List" %)
2 +(((
3 +" data-xwiki-parameter-name="title" class="xwiki-metadata-container">**Содержание**
4 +)))
2 2  
3 -В данном слое находятся базовые физические элементы (серверы) и организована их сетевая связность.
6 +(% data-xwiki-non-generated-content="java.util.List" %)
7 +(((
8 +" class="xwiki-metadata-container">
4 4  
5 -1. **Кластерный слой**
10 +{{toc/}}
11 +)))
6 6  
7 -В этом слое работают службы обеспечения программно-определяемых слоев (SDS, SDN, SDC).
13 +{{box cssClass="floatinginfobox" title="**Содержание**"}}
14 +{{toc/}}
15 +{{/box}}
8 8  
9 -Главной задачей данного слоя является обеспечение резервирования элементов инфраструктуры (до узлов). Процедура резервирования (failover) происходит автоматически без участия человека.
17 +(% data-xwiki-non-generated-content="java.util.List" %)
18 +(((
19 += Слои сервиса =
10 10  
11 -Этот слой формируется в виде работы кластерного ПО на каждом из узлов.
21 +----
12 12  
13 -1. **Слой вычислений – SDC**
23 +(% class="wikigeneratedid" id="H" %)
24 +В **Beecloud stack** пять слоев:
14 14  
15 -Слой SDC работает на базе гипервизора второго типа (bhyve). Производительность bhyve значительно выше, чем у других популярных гипервизоров. Кроме того, его оптимизация до сих пор продолжается, а практически все средства аппаратного ускорения виртуальных вычислений поддерживаются на современных процессорах Intel. Также гипервизор bhyve поддерживает работу в условиях CPU overcommit, что критически важно для облачных решений.
26 +* [[физический>>https://wiki.dfcloud.ru/bin/view/%D0%98%D0%BD%D1%84%D1%80%D0%B0%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%82%D1%83%D1%80%D0%BD%D1%8B%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B%20(IaaS)/beecloud%20stack/1.%20%D0%90%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0%20%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%B0/#H42443843743844743544143A43843944143B43E439]],
27 +* [[кластерный>>https://wiki.dfcloud.ru/bin/view/%D0%98%D0%BD%D1%84%D1%80%D0%B0%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%82%D1%83%D1%80%D0%BD%D1%8B%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B%20(IaaS)/beecloud%20stack/1.%20%D0%90%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0%20%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%B0/#H41A43B43044144243544043D44B43944143B43E439]],
28 +* SDS,
29 +* SDS,
30 +* SDN.
16 16  
17 -Экземпляр SDC – виртуальная машина, являющаяся совокупной сущностью со следующими элементами:
32 += Физический слой =
18 18  
19 -* CPU/RAM;
20 -* Виртуальные сетевые порты (подключенные к слою SDN);
21 -* Виртуальные дисковые устройства (подключенные к слою SDS).
34 +----
22 22  
23 -[[image:1707342322756-453.png]]
36 +В слое организована сетевая связность базовых физических элементов (серверов).
24 24  
25 -РИСУНОК 2. SDC – SOFTWARE DEFINED COMPUTING
38 += Кластерный слой =
26 26  
40 +----
27 27  
28 -На текущий момент для ВМ в каталоге доступны следующие образы гостевых ОС:
42 +В слое работают службы обеспечения программно-определяемых слоев:
29 29  
30 -* FreeBSD;
31 -* Linux (OEL/CentOS/Ubuntu/Debian и т.д.);
32 -* Windows 2016, 2019, 2022.
44 +* [[SDS (Software Defined Storage)>>https://wiki.dfcloud.ru/bin/view/%D0%98%D0%BD%D1%84%D1%80%D0%B0%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%82%D1%83%D1%80%D0%BD%D1%8B%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B%20(IaaS)/beecloud%20stack/1.%20%D0%90%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0%20%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%B0/#HSDC]],
45 +* [[SDC (Software Defined Computing)>>https://wiki.dfcloud.ru/bin/view/%D0%98%D0%BD%D1%84%D1%80%D0%B0%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%82%D1%83%D1%80%D0%BD%D1%8B%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B%20(IaaS)/beecloud%20stack/1.%20%D0%90%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0%20%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%B0/#HSDS]],
46 +* [[SDN (Software Defined Networking)>>https://wiki.dfcloud.ru/bin/view/%D0%98%D0%BD%D1%84%D1%80%D0%B0%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%82%D1%83%D1%80%D0%BD%D1%8B%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B%20(IaaS)/beecloud%20stack/1.%20%D0%90%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0%20%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%B0/#HSDN]].
33 33  
34 -Работоспособность решения vStack с другими гостевыми ОС не исключается из-за небольших требований к ним (возможность загрузки в режиме UEFI, наличие драйверов virtio и наличие cloud-init).
48 +Главная задача слоя — обеспечение резервирования элементов инфраструктуры до узлов. **Резервирование элементов инфраструктуры (Failover) **— процедура резервирования при аварийных ситуациях. Процедура проводится кластерным фреймворком, поэтому не требует вмешательства человека.
35 35  
36 -Диски виртуальной машины создаются на том же пуле, на котором была создана эта виртуальная машина.
50 +Слой формируется в виде работы кластерного ПО на каждом из узлов.
37 37  
38 -В процессе создания ВМ существуют следующие возможности выбора пула, ресурсы которого будут использоваться:
52 +== SDC ==
39 39  
40 -* «Селекторы» автоматический выбор пула, на котором наименьшее совокупное значение таких параметров, как:
54 +Слой SDC работает на базе [[гипервизора>>https://wiki.dfcloud.ru/bin/view/Glossary/%D0%93%D0%B8%D0%BF%D0%B5%D1%80%D0%B2%D0%B8%D0%B7%D0%BE%D1%80]] второго типа (bhyve). Производительность bhyve выше, чем у других популярных гипервизоров. Оптимизация bhyve до сих пор продолжается. Средства аппаратного ускорения виртуальных вычислений поддерживаются на современных процессорах Intel. Гипервизор bhyve поддерживает работу в условиях [[CPU overcommit>>https://wiki.dfcloud.ru/bin/view/Glossary/CPU%20Overcommit]].
41 41  
42 -* CPU;
43 -* RAM;
44 -* дисковое пространство.
56 +**Экземпляр SDC** — [[виртуальная машина>>https://wiki.dfcloud.ru/bin/view/Glossary/%D0%92%D0%9C]] (ВМ), являющаяся совокупной сущностью трех элементов:
45 45  
46 -* Явное указание пула
58 +* CPU/RAM,
59 +* Виртуальные сетевые порты, подключенные к слою SDN.
60 +* Виртуальные дисковые устройства, подключенные к слою SDS.
47 47  
48 -Легковесность beecloud stack – ключевая причина низкого значения Overhead (снижение производительности виртуальной машины относительно физического сервера вследствие значимости накладных расходов гипервизора).
62 +[[image:1707342322756-453.png||data-xwiki-image-style-border="true"]]
49 49  
64 +В каталоге для ВМ доступно три образа гостевых ОС:
50 50  
51 -1. **Слой хранения – SDS**
66 +* FreeBSD,
67 +* Linux (OEL/CentOS/Ubuntu/Debian и т.д.),
68 +* Windows 2016, 2019, 2022.
52 52  
53 -На основе ресурсных примитивов из кластерного слоя формируется слой хранения (SDS). Технологической основой SDS является ZFS – файловая система, объединенная с менеджером логических томов, которая также обладает совокупностью уникальных свойств. Единица грануляции слоя SDS – пул, собранный из дисков каждого узла c избыточностью равной избыточности кластера (N+ 2). В момент времени пул работает на конкретном узле кластера.
70 +Работоспособность решения **beecloud stack** с другими гостевыми ОС не исключается из-за небольших требований к ним. Примеры требований:
54 54  
55 -Возможности слоя хранения:
72 +* загрузка в режиме UEFI,
73 +* наличие драйверов virtio,
74 +* наличие cloud-init.
56 56  
57 -* компрессия и дедупликация;
58 -* внутренняя целостность данных;
59 -* клоны, снимки;
60 -* самовосстановление данных;
61 -* транзакционная целостность.
76 +Диски ВМ создаются на том же пуле, на котором была создана эта ВМ. В процессе создания ВМ существуют следующие возможности выбора пула, ресурсы которого будут использоваться:
62 62  
63 -На схеме ниже изображен пятиузловой кластер. Вертикальные контейнеры — пулы, горизонтальные — узлы кластера.
78 +* Селекторы — автоматический выбор пула, на котором наименьшее совокупное значение таких параметров, как:
79 +** [[CPU>>https://wiki.dfcloud.ru/bin/view/Glossary/CPU]],
80 +** [[RAM>>https://wiki.dfcloud.ru/bin/view/Glossary/RAM]],
81 +** дисковое пространство.
82 +* Пул.
64 64  
65 -В случае выхода из строя узла за счет механизма fencing (процесс исключения узла из кластера) узел, на котором возникла проблема, будет исключен из кластера, а все пулы потеряют по одному диску. При этом кластер автоматически выполнит процедуру аварийного переключения (failover) ресурсов данного узла, и пул, работавший на узле, вышедшем из строя, станет доступен на другом узле. Все ВМ продолжат свою работу на другом узле.
84 +Легковесность beecloud stack основная причина низкого значения Overhead. Снижение производительности ВМ относительно физического сервера вследствие значимости накладных расходов [[гипервизора>>https://wiki.dfcloud.ru/bin/view/Glossary/%D0%93%D0%B8%D0%BF%D0%B5%D1%80%D0%B2%D0%B8%D0%B7%D0%BE%D1%80]].
66 66  
67 -[[image:1707342322778-969.png]]
86 +== SDS ==
68 68  
69 -Рисунок 3. Пятиузловый кластер
88 +На основе ресурсных примитивов из кластерного слоя формируется слой хранения (SDS). Технологическая основа SDS — ZFS. **ZFS** — файловая система, объединенная с менеджером логических томов. Единица грануляции слоя SDS — пул, собранный из дисков каждого узла c избыточностью равной избыточности кластера (N+ 2). В момент времени пул работает на конкретном узле кластера.
70 70  
90 +Возможности слоя хранения:
71 71  
72 -1. Слой сети – SDN
92 +* компрессия и дедупликация,
93 +* внутренняя целостность данных,
94 +* клоны и снимки,
95 +* самовосстановление данных,
96 +* транзакционная целостность.
73 73  
74 -Beecloud stack предоставляет три варианта технологического обеспечения виртуальных сетей:
98 +На схеме ниже кластер с пятью узлами. Вертикальные контейнеры — пулы, горизонтальные контейнеры — узлы кластера. При выходе из строя узла за счет механизма fencing узел, на котором возникла проблема, исключается из кластера. Механизм fencing означает процесс исключения узла из кластера. Кластер автоматически выполнит процедуру аварийного переключения (failover) ресурсов данного узла. Пул, работавший на узле, вышедшем из строя, станет доступен на другом узле. Все ВМ продолжат свою работу на другом узле.
75 75  
76 -* VLAN;
77 -* VxLAN;
78 -* GENEVE (собственная имплементация).
100 +[[image:1707342322778-969.png||height="872" width="1057"]]
79 79  
80 -При создании новой виртуальной сети на каждом из Узлов Кластера создается программно-определяемый коммутатор.
102 +== SDN ==
81 81  
82 -[[image:1707342322789-137.png]]
104 +Программно-определяемая сеть (software-defined networking, SDN; также программно-конфигурируемая сеть) — сеть передачи данных, в которой уровень управления сетью отделён от устройств передачи данных и реализуется программно, одна из форм виртуализации сети. Beecloud stack предоставляет три варианта технологического обеспечения виртуальных сетей:
83 83  
84 -РИСУНОК 4. SDN – SOFTWARE DEFINED NETWORKING
106 +* [[VLAN>>https://wiki.dfcloud.ru/bin/view/Glossary/VLAN]],
107 +* [[VxLAN>>https://wiki.dfcloud.ru/bin/view/Glossary/VXLAN]],
108 +* [[GENEVE>>https://wiki.dfcloud.ru/bin/view/Glossary/GENEVE]] (собственная имплементация).
85 85  
86 -Каждый экземпляр сети имеет следующие свойства:
110 +При создании новой виртуальной сети на каждом из узлов кластера создается программно-определяемый [[коммутатор>>https://wiki.dfcloud.ru/bin/view/Glossary/%D0%BA%D0%BE%D0%BC%D0%BC%D1%83%D1%82%D0%B0%D1%82%D0%BE%D1%80]].
87 87  
88 -* собственный MTU;
89 -* поддержка Jumbo Frames;
90 -* поддержка TSO/GSO;
91 -* поддержка TCP MSS clamping «из коробки»;
112 +[[image:1707342322789-137.png||data-xwiki-image-style-border="true"]]
113 +
114 +Свойства экземпляра сети:
115 +
116 +* собственный [[MTU>>https://wiki.dfcloud.ru/bin/view/Glossary/MTU]],
117 +* поддержка Jumbo Frames,
118 +* поддержка TSO/GSO,
119 +* поддержка TCP MSS clamping «из коробки»,
92 92  * поддержка Path MTU Discovery «из коробки».
93 93  
94 94  Лимиты SDN:
95 95  
96 -* максимальное количество сетей – 65536;
97 -* 1 048 576 портов на коммутаторе одного узла;
98 -* Производительность виртуального порта ВМ: 22 GBps / 2.5Mpps.
124 +* Максимальное количество сетей — 65536.
125 +* 1 048 576 портов на коммутаторе одного узла.
126 +* Производительность виртуального порта ВМ: 22 Гбит/с / 2.5 Mpps.
127 +)))