Изменения документа I. Создание и настройка датасетов
Редактировал(а) Ирина Сафонова 22.01.2024, 12:12
От версии 222.1
отредактировано Ирина Сафонова
на 28.12.2023, 14:45
на 28.12.2023, 14:45
Изменить комментарий:
К данной версии нет комментариев
К версии 216.1
отредактировано Ирина Сафонова
на 28.12.2023, 11:23
на 28.12.2023, 11:23
Изменить комментарий:
К данной версии нет комментариев
Сводка
-
Свойства страницы (1 изменено, 0 добавлено, 0 удалено)
-
Вложения (1 изменено, 0 добавлено, 0 удалено)
Подробности
- Свойства страницы
-
- Содержимое
-
... ... @@ -11,30 +11,6 @@ 11 11 12 12 **Датасет** или// //набор данных — механизм хранения информации, который предоставляет быстрый доступ к большим объемам данных. Датасеты создаются из таблиц базы данных или SQL-запросов. Выберите таблицу из базы данных слева или создайте датасет из SQL-запроса в [[**Лаборатории SQL**>>https://wiki.dfcloud.ru/bin/view/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/I.%20SQL%20%20-%D1%80%D0%B5%D0%B4%D0%B0%D0%BA%D1%82%D0%BE%D1%80/I1.%20%D0%9B%D0%B0%D0%B1%D0%BE%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B8%D1%8F%20SQL/]]. При необходимости сохраните запрос как датасет. 13 13 14 -= Типы датасетов = 15 - 16 ----- 17 - 18 -В Cloud BI два типа датасетов: 19 - 20 -* физический 21 -* виртуальный 22 - 23 -(% style="line-height:1.38; background-color:#ffffff" %) 24 -(% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; text-decoration:none; white-space:pre-wrap" %)Уровень данных в Superset делится на две категории: физические наборы данных (датасеты) и виртуальные наборы данных (датасеты). 25 - 26 -(% style="line-height:1.38; background-color:#ffffff" %) 27 -(% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:700; text-decoration:none; white-space:pre-wrap" %)**Физический**(% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; text-decoration:none; white-space:pre-wrap" %) набор данных в Superset представляет собой таблицу или представление в вашей базе данных. Поскольку физический набор данных отражает реальную физическую таблицу, Superset может автоматически извлекать соответствующую информацию из базы данных (например, схему и типы столбцов). Эта информация сохраняется в базе данных метаданных Superset. Если произойдет изменение базовой таблицы базы данных, вы можете нажать «Синхронизировать столбцы из источника», чтобы заставить Superset обновить свою внутреннюю модель данных. 28 - 29 -(% style="line-height:1.38; background-color:#ffffff" %) 30 -(% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:700; text-decoration:none; white-space:pre-wrap" %)**Виртуальные **(% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; text-decoration:none; white-space:pre-wrap" %)наборы данных позволяют вам преобразовать SQL-запрос произвольной формы к вашей базе данных в объект набора данных в Superset. Виртуальные наборы данных наследуют большую часть тех же сверхспособностей, что и физические наборы данных: 31 - 32 -* (% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; text-decoration:none; white-space:pre-wrap" %)типы столбцов (выводятся из результатов выполнения запроса) 33 -* (% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; text-decoration:none; white-space:pre-wrap" %)умение определять метрики 34 -* (% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; text-decoration:none; white-space:pre-wrap" %)возможность определять вычисляемые столбцы 35 -* (% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; text-decoration:none; white-space:pre-wrap" %)возможность сертифицировать метрики или вычисляемые столбцы 36 -* (% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; text-decoration:none; white-space:pre-wrap" %)установка таймаута кэша 37 - 38 38 = Реестр датасетов = 39 39 40 40 ---- ... ... @@ -41,7 +41,7 @@ 41 41 42 42 Датасеты [[создаются>>https://wiki.dfcloud.ru/bin/view/Big%20Data/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/K.%20%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5%20%D0%B8%20%D0%BD%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B9%D0%BA%D0%B0%20%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%D0%BE%D0%B2%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/#H42143E43743443043D438435434430442430441435442430]] в отдельном реестре. 43 43 44 -[[image:Реестр датасетов.PNG||data-xwiki-image-style-border="true"]] 20 +[[image:Реестр датасетов.PNG||data-xwiki-image-style-border="true" height="237" width="1100"]] 45 45 46 46 {{warning}} 47 47 Перед настройкой датасетов обязательно должно быть создано [[подключение к базе данных>>https://wiki.dfcloud.ru/bin/view/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/%D0%9F%D0%BE%D0%B4%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%BA%20%D0%91%D0%94/]] (БД). ... ... @@ -150,14 +150,16 @@ 150 150 (% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; text-decoration:none; white-space:pre-wrap" %)Если датасет содержит поле с бинарным значением (true/false), то подсчитать сумму невозможно, появляется ошибка. 151 151 152 152 (% style="line-height:1.38" %) 153 -(% style="border:none; color: #000000; display:inline-block; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; height:97px; overflow:hidden; text-decoration:none; white-space:pre-wrap; width:602px" %)[[image:https://lh7-us.googleusercontent.com/nloSzniI9EYafgYU769XTYVOScr5VQVZeXLhLx4W-vcsRWqtXjN89GJXl0wVrGuhwQLSZ8taciOh6vyLDCIBNaXZAx6l4Y9kfOjq4hErbXQvsqFglsSHuW-qr1cJILcxLK5MPQgML2-A4XDc4F2NpPY||height="97" width="602"]]129 +(% style="border: none; color: rgb(0, 0, 0); display: inline-block; font-family: Arial, sans-serif; font-size: 11pt; font-style: normal; font-variant: normal; font-weight: 400; height: 97px; overflow: hidden; text-decoration: none; white-space: pre-wrap; width: 602px; border: none; color: rgb(0, 0, 0); display: inline-block; font-family: Arial, sans-serif; font-size: 11pt; font-style: normal; font-variant: normal; font-weight: 400; height: 97px; overflow: hidden; text-decoration: none; white-space: pre-wrap; width: 602px" %)[[image:https://lh7-us.googleusercontent.com/nloSzniI9EYafgYU769XTYVOScr5VQVZeXLhLx4W-vcsRWqtXjN89GJXl0wVrGuhwQLSZ8taciOh6vyLDCIBNaXZAx6l4Y9kfOjq4hErbXQvsqFglsSHuW-qr1cJILcxLK5MPQgML2-A4XDc4F2NpPY||height="97" width="602"]] 154 154 155 155 ==== Как исправить ошибку? ==== 156 156 157 157 Когда редактируете датасет, добавьте (% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; text-decoration:none; white-space:pre-wrap" %)вычисляемый столбец с числовым типом. Создайте логику нового поля при помощи выражения SQL. 158 158 159 -(% style="border:none; color: #000000; display:inline-block; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; height:357px; overflow:hidden; text-decoration:none; white-space:pre-wrap; width:481px" %)[[image:https://lh7-us.googleusercontent.com/H0auJSe1fCptj3tMVaXe3vUxaD9yfu361ZHg_3ZoeExBw56ZqPWqz8ZzbVTzHdiiQr7v6aH9BsBXR2MHg5SqMr38xlHUEU0-Hy4zd5Hxe79FAcA--nWNwpoqqn_84fDq-dmpkN8n-RSrMBR_qqgCrhE||data-xwiki-image-style-border="true" height="357" width="481"]]135 +(% style="border: none; color: rgb(0, 0, 0); display: inline-block; font-family: Arial, sans-serif; font-size: 11pt; font-style: normal; font-variant: normal; font-weight: 400; height: 357px; overflow: hidden; text-decoration: none; white-space: pre-wrap; width: 481px; border: none; color: rgb(0, 0, 0); display: inline-block; font-family: Arial, sans-serif; font-size: 11pt; font-style: normal; font-variant: normal; font-weight: 400; height: 357px; overflow: hidden; text-decoration: none; white-space: pre-wrap; width: 481px" %)[[image:https://lh7-us.googleusercontent.com/H0auJSe1fCptj3tMVaXe3vUxaD9yfu361ZHg_3ZoeExBw56ZqPWqz8ZzbVTzHdiiQr7v6aH9BsBXR2MHg5SqMr38xlHUEU0-Hy4zd5Hxe79FAcA--nWNwpoqqn_84fDq-dmpkN8n-RSrMBR_qqgCrhE||data-xwiki-image-style-border="true" height="357" width="481"]] 160 160 137 += Пример датасета = 138 + 161 161 == Настройки == 162 162 163 163 При необходимости добавьте данные или внесите изменения в следующие группы параметров: ... ... @@ -166,12 +166,12 @@ 166 166 (% class="active" %)|(% style="width:200px" %)**Группа параметров**|(% style="width:200px" %)**Поле**|(% style="width:200px" %)**Заполнение поля** 167 167 |(% style="width:175px" %)**Базовая настройка**|(% style="width:343px" %)Описание|(% style="width:603px" %)Вводится описание. 168 168 |(% style="width:175px" %) |(% style="width:343px" %)URL базы данных|(% style="width:603px" %)URL по умолчанию, на который перенаправляются при доступе из страницы с реестром датасетов. 169 -|(% style="width:175px" %) |(% style="width:343px" %)Фильтры автозаполнения|(% style="width:603px" %)((( 147 +|(% style="width:175px" %) |(% style="width:343px" %)**Фильтры автозаполнения**|(% style="width:603px" %)((( 170 170 При необходимости включите фильтр на определенный интервал или диапазон времени и извлеките значение [[предиката>>https://wiki.dfcloud.ru/bin/view/Glossary/%D0%9F%D1%80%D0%B5%D0%B4%D0%B8%D0%BA%D0%B0%D1%82]]. 171 171 Автозаполняемые фильтры используются для улучшения быстродействия запроса. Используйте этот параметр, чтобы применить предложение {{code language="none"}}WHERE{{/code}} запрос для уникальных значений из таблицы. Целью является ограничение сканирования путем применения фильтра относительного времени к секционированному или индексированному полю, связанному со временем. 172 172 Доступно [[редактирование SQL-запроса>>https://wiki.dfcloud.ru/bin/view/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/I.%20SQL%20%20-%D1%80%D0%B5%D0%B4%D0%B0%D0%BA%D1%82%D0%BE%D1%80/I1.%20%D0%9B%D0%B0%D0%B1%D0%BE%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B8%D1%8F%20SQL/]] в модальном окне. 173 173 ))) 174 -|(% style="width:175px" %) |(% style="width:343px" %)Дополнительные параметры|(% style="width:603px" %)((( 152 +|(% style="width:175px" %) |(% style="width:343px" %)**Дополнительные параметры**|(% style="width:603px" %)((( 175 175 Поддерживаются [[метаданные>>https://wiki.dfcloud.ru/bin/view/Glossary/%D0%9C%D0%B5%D1%82%D0%B0%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5]] следующих форматов: 176 176 177 177 * `{ "certification": { "certified_by": "Data Platform Team" ... ... @@ -180,14 +180,15 @@ 180 180 181 181 При необходимости укажите владельцев датасета. 182 182 ))) 183 -|(% style="width:175px" %)**Продвинутая настройка**|(% style="width:343px" %)Время жизни кэша|(% style="width:603px" %)Количество секунд до истечения срока действия кэша. 184 -|(% style="width:175px" %) |(% style="width:343px" %)Смещение времени|(% style="width:603px" %)Отрицательное или положительное количество часов для смещения столбца времени. Функционал используется для приведения часового пояса UTC к местному времени. 185 -|(% style="width:175px" %) |(% style="width:343px" %)Параметры шаблона|(% style="width:603px" %)Набор параметров, доступных в запросе через шаблонизацию [[Jinja>>https://wiki.dfcloud.ru/bin/view/Glossary/%D0%A8%D0%B0%D0%B1%D0%BB%D0%BE%D0%BD%20Jinja]]. 161 +|(% style="width:175px" %)**Продвинутая настройка**|(% style="width:343px" %)**Время жизни кэша**|(% style="width:603px" %)Количество секунд до истечения срока действия кэша. 162 +|(% style="width:175px" %) |(% style="width:343px" %)**Смещение времени**|(% style="width:603px" %)Отрицательное или положительное количество часов для смещения столбца времени. Функционал используется для приведения часового пояса UTC к местному времени. 163 +|(% style="width:175px" %) |(% style="width:343px" %)**Параметры шаблона**|(% style="width:603px" %)Набор параметров, доступных в запросе через шаблонизацию [[Jinja>>https://wiki.dfcloud.ru/bin/view/Glossary/%D0%A8%D0%B0%D0%B1%D0%BB%D0%BE%D0%BD%20Jinja]]. 186 186 187 187 При необходимости перейдите из реестра и внесите изменения в датасет. 188 188 189 189 [[image:Вкладка Продвинутая настройка.PNG||data-xwiki-image-style-border="true" height="649" width="600"]] 190 190 169 + 191 191 = Фильтрация в реестре датасетов = 192 192 193 193 ---- ... ... @@ -194,11 +194,11 @@ 194 194 195 195 При необходимости отфильтруйте реестр по следующим параметрам: 196 196 197 -* **Владелец** 198 -* **База данных** 199 -* **Схема** 200 -* **Тип** 201 -* **Сертифицировано ли** 176 +* **Владелец**. 177 +* **База данных**. 178 +* **Схема**. 179 +* **Тип**. 180 +* **Сертифицировано ли**. 202 202 203 203 Дополнительно доступен поиск в реестре. 204 204 ... ... @@ -257,11 +257,27 @@ 257 257 (% class="wikigeneratedid" %) 258 258 При необходимости импортируйте датасеты при множественном выборе. 259 259 260 -= Примердатасета =239 += Операции с бинарными полями = 261 261 262 262 ---- 263 263 243 +(% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; text-decoration:none; white-space:pre-wrap" %)Если датасет содержит поле с бинарным значением (true/false), то подсчитать сумму невозможно, появляется ошибка. 264 264 245 +(% style="line-height:1.38" %) 246 +(% style="border:none; color:#000000; display:inline-block; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; height:97px; overflow:hidden; text-decoration:none; white-space:pre-wrap; width:602px" %)[[image:https://lh7-us.googleusercontent.com/nloSzniI9EYafgYU769XTYVOScr5VQVZeXLhLx4W-vcsRWqtXjN89GJXl0wVrGuhwQLSZ8taciOh6vyLDCIBNaXZAx6l4Y9kfOjq4hErbXQvsqFglsSHuW-qr1cJILcxLK5MPQgML2-A4XDc4F2NpPY||height="97" width="602"]] 247 + 248 +== Как исправить ошибку? == 249 + 250 +---- 251 + 252 +Когда редактируете датасет, добавьте (% style="color:#000000; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; text-decoration:none; white-space:pre-wrap" %)вычисляемый столбец с числовым типом. Создайте логику нового поля при помощи выражения SQL. 253 + 254 +(% style="border:none; color:#000000; display:inline-block; font-family:Arial,sans-serif; font-size:11pt; font-style:normal; font-variant:normal; font-weight:400; height:357px; overflow:hidden; text-decoration:none; white-space:pre-wrap; width:481px" %)[[image:https://lh7-us.googleusercontent.com/H0auJSe1fCptj3tMVaXe3vUxaD9yfu361ZHg_3ZoeExBw56ZqPWqz8ZzbVTzHdiiQr7v6aH9BsBXR2MHg5SqMr38xlHUEU0-Hy4zd5Hxe79FAcA--nWNwpoqqn_84fDq-dmpkN8n-RSrMBR_qqgCrhE||data-xwiki-image-style-border="true" height="357" width="481"]] 255 + 256 += Пример датасета = 257 + 258 +---- 259 + 265 265 [[image:Пример датасета.PNG||data-xwiki-image-style-border="true"]] 266 266 267 267 **[[В начало>>doc:Big Data.Сервис Cloud BI.WebHome]] **🡱
- Пример датасета.PNG
-
- Размер
-
... ... @@ -1,1 +1,1 @@ 1 - 344.0KB1 +246.2 KB - Содержимое