Изменения документа 01. Данные, таблицы и дашборды
Редактировал(а) Ирина Сафонова 06.07.2025, 21:32
От версии 50.1
отредактировано Ирина Сафонова
на 31.10.2023, 16:04
на 31.10.2023, 16:04
Изменить комментарий:
К данной версии нет комментариев
К версии 11.1
отредактировано Ирина Сафонова
на 29.03.2023, 17:33
на 29.03.2023, 17:33
Изменить комментарий:
К данной версии нет комментариев
Сводка
-
Свойства страницы (4 изменено, 0 добавлено, 0 удалено)
Подробности
- Свойства страницы
-
- Название
-
... ... @@ -1,1 +1,1 @@ 1 -0 1. Данные,таблицыи дашборды1 +02. Данные и таблицы - Родительский документ
-
... ... @@ -1,1 +1,1 @@ 1 - Big Data.Сервис Cloud BI.4\. Частые вопросы по сервису.WebHome1 +Сервис Cloud BI.4\. Частые вопросы по сервису.WebHome - Теги
-
... ... @@ -1,1 +1,0 @@ 1 -Частые вопросы по сервису Cloud BI - Содержимое
-
... ... @@ -1,103 +1,28 @@ 1 - 1 +(% style="color:#4169E1" %) 2 +**Содержание** 2 2 3 - = Можно ли получить доступ к нескольким таблицам одновременно? =4 +{{toc/}} 4 4 5 ----- 6 +(% style="color:#4169E1" %) 7 +== Можно ли получить доступ к нескольким таблицам одновременно? == 6 6 7 -**Ответ:** можно, но только не в режиме поиска данных или интерфейсе визуализации. [[Лаборатория SQL>>https://wiki.dfcloud.ru/bin/view/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/I.%20SQL%20%20-%D1%80%D0%B5%D0%B4%D0%B0%D0%BA%D1%82%D0%BE%D1%80/]] позволяет получить доступ только к одной таблице или представлению. 8 - 9 -Материализуйте таблицу с помощью регулярного запланированного процесса пакетной обработки данных. Таблица при этом должна содержать все необходимые для анализа данных поля. 10 - 11 -**Представление (View)** — простой логический уровень, абстрагирующий несколько SQL-запросов виртуальной таблицей. Представление объединяет несколько таблиц в одну единую и преобразовывает данные с использованием произвольных [[SQL-запросов>>https://wiki.dfcloud.ru/bin/view/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/I.%20SQL%20%20-%D1%80%D0%B5%D0%B4%D0%B0%D0%BA%D1%82%D0%BE%D1%80/I1.%20%D0%9B%D0%B0%D0%B1%D0%BE%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B8%D1%8F%20SQL/]]. Ограничением является производительность базы данных (БД), поскольку сервис эффективно запускает запрос поверх запроса к представлению. Хорошая практика в этом случае — ограничение соединения основной большой таблицы только к одной или к нескольким небольшим таблицам. Старайтесь избегать 12 - 13 -(% id="cke_bm_24744S" style="display:none" %) (%%)оператор {{code language="none"}}GROUP BY{{/code}} , поскольку Cloud BI выполняет свою реализацию запроса {{code language="none"}}GROUP BY{{/code}}. Двукратное выполнение запроса снижает производительность. 14 - 15 -При использовании таблицы или представления важным фактором является то, достаточно ли быстро работает БД, из которой забираются данные. Быстрая работа необходима для обслуживания БД в интерактивном режиме для обеспечения взаимодействия между СУБД и Cloud BI. 16 - 17 -{{info}} 18 -Используйте СУБД с "горячим" доступом в качестве организации "горячего" слоя для BI. Пример СУБД — [[Clickhouse>>https://wiki.dfcloud.ru/bin/view/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/ClickHouse/]]. 19 -{{/info}} 20 - 21 -При использовании Лаборатории SQL такого ограничения нет. Вы можете написать SQL-запрос для объединения нескольких таблиц. Функционал объединения работает, если учетная запись БД, через которую подключается Cloud BI, получает доступ к таблицам. 22 - 23 -= Насколько большими могут быть данные? = 24 - 25 25 ---- 26 26 27 -**Ответ:** оченьбольшого размера.Cloud BI работаеткак тонкийклиентнадБД или средством обработки данных.Основнойкритерийкорости работы и объемаобрабатываемых данных—скоростьработыБД,используемойвкачествехранилищаданных и являющейсяслоемданныхдля Cloud BI. МногиераспределенныеСУБД выполняютзапросы, работающиеерабайтами данныхвинтерактивном режиме.11 +**Ответ:** не совсем. Только не в режиме поиска данных или интерфейсе визуализации. Инструмент Лаборатории SQL позволяет получить доступ только к одной таблице или к представлению. 28 28 29 - =Как добавитьдинамическиефильтрывдашборд?=13 +При работе с таблицами решение — материализация таблицы с помощью регулярного запланированного процесса пакетной обработки данных. Таблица при этом должна содержать все необходимые для анализа данных поля. 30 30 31 --- --15 +**Представление (View)** — это простой логический уровень, абстрагирующий несколько SQL-запросов виртуальной таблицей. Это позволяет объединять несколько таблиц в одну единую и преобразовывать данные с использованием произвольных SQL-запросов. Ограничением является производительность базы данных, поскольку сервис эффективно запускает запрос поверх запроса к представлению. Хорошая практика является — ограничение соединения основной большой таблицы только к одной или к нескольким небольшим таблицам. В этом случае рекомендуется избегать оператора GROUP BY (где это возможно), поскольку BI будет выполнять свою собственную реализацию запроса GROUP BY, а выполнение работы дважды может снизить производительность. 32 32 33 - **Ответ:** виджет**Полефильтра,**FilterBox,определяет запрос длязаполнения раскрывающихсясписков,которые можно использоватьдляфильтрации.Чтобысоздать списокразличныхзначений, запустите запроси отсортируйтерезультат поубыванию.17 +При использовании таблицы или представления (view) важный фактором является то, достаточно ли быстро работает БД, из которой забираются данные. Быстрая работа БД необходима для обслуживания БД в интерактивном режиме с целью обеспечения хорошего взаимодействия между СУБД и BI. Лучше всего использовать СУБД с "горячим" доступом в качестве организации горячего слоя для BI (например, [[Clickhouse>>https://wiki.dfcloud.ru/bin/view/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/ClickHouse/]]). 34 34 35 - В виджете такжеесть флажок**Фильтрподате,**Date Filter,которыйвключаетфильтрацию повремени напанелиинструментов.Послеустановкифлажкаиобновленияознакомьтесь с раскрывающимсясписком **от**и**до**. По умолчаниюфильтрация применяетсяковсем срезам,построеннымповерх источникаданных. Источникимеет то же имя столбца, на котором основанфильтр.Такженеобходимо, чтобы этот столбец был отмечен как фильтруемыйна вкладкестолбцаредакторатаблицы.19 +Однако если использовать Лабораторию SQL, то такого ограничения нет. Лаборатория позволяет написать SQL-запроса для объединения нескольких таблиц, если учетная запись БД, через которую подключается Cloud BI, имеет доступ к таблицам. 36 36 37 -Если нет необходимости в фильтрации определенных виджетов на панели инструментов, отредактируйте дашборд в поле метаданных JSON. Это ключ{{code language="none"}}filter_immune_slices{{/code}}, который получает массив идентификаторов {{code language="none"}}sliceId{{/code}}. На это массив не влияет фильтрация на уровне дашборда. 21 +(% style="color:#4169E1" %) 22 +== Насколько большими могут быть данные? == 38 38 39 -{{code language="none"}} 40 -{ 41 - "filter_immune_slices": [324, 65, 92], 42 - "expanded_slices": {}, 43 - "filter_immune_slice_fields": { 44 - "177": ["country_name", "__time_range"], 45 - "32": ["__time_range"] 46 - }, 47 - "timed_refresh_immune_slices": [324] 48 -} 49 -{{/code}} 50 - 51 -JSON-объект из примера содержит срезы 324, 65 и 92, которые не затрагиваются фильтрацией на уровне дашборда. 52 - 53 -Обратите внимание на ключ {{code language="none"}}filter_immune_slice_fields{{/code}}. Он определяет, какие поля фильтра следует игнорировать для конкретного {{code language="none"}}slice_id{{/code}}. Ключ {{code language="none"}}time_range{{/code}} зарезервирован для работы с упомянутой выше фильтрацией временных границ. Если имя столбца является общим — фильтр применяется. 54 - 55 -= Как ограничить запланированное обновление дашборда? = 56 - 57 57 ---- 58 58 59 -**Ответ:** по умолчанию функция обновления дашборда по времени автоматически повторно запрашивает каждый фрагмент дашборда в соответствии с установленным расписанием. Однако иногда нет необходимости обновлять все срезы, особенно если некоторые данные перемещаются медленно или выполняются тяжелые запросы. Чтобы исключить определенные фрагменты из процесса синхронизированного обновления, добавьте ключ {{code language="none"}}timed_refresh_immune_slices{{/code}} в поле метаданных JSON дашборда: 60 - 61 -{{code language="none"}} 62 -{ 63 - "filter_immune_slices": [], 64 - "expanded_slices": {}, 65 - "filter_immune_slice_fields": {}, 66 - "timed_refresh_immune_slices": [324] 67 -} 68 -{{/code}} 69 - 70 -В приведенном выше примере, если для дашборда задано обновление по времени, каждый срез, кроме 324, автоматически повторно запрашивается по расписанию. Обновление фрагмента происходит в течение указанного периода. При необходимости отключите это смещение, установив для {{code language="none"}}stagger_refresh{{/code}} значение// false//, и измените период сдвига, указав для {{code language="none"}}stagger_time{{/code}} значение в миллисекундах в поле метаданных JSON: 71 - 72 -{{code language="none"}} 73 -{ 74 - "stagger_refresh": false, 75 - "stagger_time": 2500 76 -} 77 -{{/code}} 78 - 79 -В примере дашборд обновляется сразу, если периодическое обновление включено. 80 - 81 -{{warning}} 82 -Время смещения 2,5 секунды **игнорируется**. 83 -{{/warning}} 84 - 85 -= Что произойдет при изменении схемы таблиц? = 86 - 87 ----- 88 - 89 -**Ответ:** Cloud BI отражает изменение схем таблиц. В жизненном цикле дашборда периодически необходимо добавить новое измерение или показатель. Для настройки обнаружения новых столбцов: 90 - 91 -~1. Перейдите в **Данные** -> **Наборы данных.** 92 -2. Щелкните значок редактирования рядом с набором данных, схема которого изменилась, и нажмите **Синхронизировать столбцы** из источника на вкладке **Столбцы**. В результате столбцы объединяются. 93 -3. При необходимости повторно отредактируйте таблицу, установите соответствующие флажки и снова сохраните данные. 94 - 95 -= Как задать стандартный фильтр на дашборде? = 96 - 97 ----- 98 - 99 -**Ответ:** можно применить фильтр и сохранить дашборд, пока фильтр активен. 100 - 101 -**[[В начало>>doc:Сервис Cloud BI.WebHome]] **🡱 102 -**[[К следующему разделу>>doc:Сервис Cloud BI.4\. Частые вопросы по сервису.03\. Визуализация.WebHome]] **🡲 103 -**[[К предыдущему разделу>>doc:Сервис Cloud BI.4\. Частые вопросы по сервису.WebHome]] 🡰** 26 +**Ответ:** очень большого размера. Cloud BI работает как тонкий клиент над БД или средством обработки данных. 27 +Основной критерий скорости работы и объема обрабатываемых данных — скорость работы БД, используемой в качестве хранилища данных и являющейся слоем данных для Cloud BI. 28 +Многие распределенные СУБД могут выполнять запросы, работающие с терабайтами данных в интерактивном режиме.