Исходный код вики 03. Базы данных

Версия 51.1 от Ирина Сафонова на 31.10.2023, 14:57
Скрыть последних авторов
Ирина Сафонова 44.1 1 {{box cssClass="floatinginfobox" title="**Содержание**"}}
2 {{toc/}}
3 {{/box}}
Ирина Сафонова 2.1 4
Ирина Сафонова 44.1 5 (% data-xwiki-non-generated-content="java.util.List" %)
6 (((
Ирина Сафонова 27.1 7 = Какую СУБД возможно использовать как бэкэнд для Cloud BI? =
Ирина Сафонова 44.1 8 )))
Ирина Сафонова 2.1 9
Ирина Сафонова 6.1 10 ----
11
Ирина Сафонова 45.1 12 **Ответ: **серверная часть базы данных (БД) —  БД [[OLTP>>https://wiki.dfcloud.ru/bin/view/Glossary/OLTP]], используемая Cloud BI для хранения своей внутренней информации. Примеры — список пользователей, графики и дашборды. Про подключение [[СУБД>>https://wiki.dfcloud.ru/bin/view/Glossary/%D0%A1%D0%A3%D0%91%D0%94]] описано [[здесь>>https://wiki.dfcloud.ru/bin/view/Big%20Data/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/%D0%9F%D0%BE%D0%B4%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%BA%20%D0%91%D0%94/]].
Ирина Сафонова 49.1 13 Cloud BI работает с использованием [[Mysql>>https://wiki.dfcloud.ru/bin/view/Big%20Data/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/MySQL/]], [[Postgresql>>https://wiki.dfcloud.ru/bin/view/Big%20Data/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/Postgres/]] и [[Sqlite>>https://wiki.dfcloud.ru/bin/view/Big%20Data/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/G20.%20SQLite/]] для его серверной части. Использование хранилища столбцов, БД без OLTP, таких как [[Vertica>>https://wiki.dfcloud.ru/bin/view/Big%20Data/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/Vertico/]], Redshift или [[Presto>>https://wiki.dfcloud.ru/bin/view/Big%20Data/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/Presto/]], в качестве серверной части БД не будут работать, поскольку эти базы данных не предназначены для такого типа рабочей нагрузки. Установка в [[Oracle>>https://wiki.dfcloud.ru/bin/view/Big%20Data/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/Oracle/]], [[MS SQL Server>>https://wiki.dfcloud.ru/bin/view/Big%20Data/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/SQL%20Server/]] или других БД OLTP работает.
Ирина Сафонова 2.1 14
Ирина Сафонова 18.1 15 {{warning}}
Ирина Сафонова 50.1 16 Любые базы данных с интеграцией [[Лаборатории SQL>>https://wiki.dfcloud.ru/bin/view/Big%20Data/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/I.%20SQL%20%20-%D1%80%D0%B5%D0%B4%D0%B0%D0%BA%D1%82%D0%BE%D1%80/]] работают в качестве источника данных для Cloud BI, но не в качестве бэкэнда OLTP.
Ирина Сафонова 18.1 17 {{/warning}}
Ирина Сафонова 4.1 18
Ирина Сафонова 27.1 19 = Работает ли Cloud BI с какой-то определенной СУБД? =
Ирина Сафонова 4.1 20
Ирина Сафонова 6.1 21 ----
22
Ирина Сафонова 51.1 23 **Ответ:** В [[разделе>>https://wiki.dfcloud.ru/bin/view/Big%20Data/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/#H42143F43844143E43A43843D442435433440430446438439441411414]] список поддерживаемых БД. Неуказанные механизмы БД также работают.
Ирина Сафонова 4.1 24
Ирина Сафонова 51.1 25 Чтобы механизм БД поддерживался в Cloud BI через коннектор** Лаборатории SQL**, проверьте наличие совместимого с Python диалекта **Лаборатория SQL** и драйвера [[DB_API>>https://wiki.dfcloud.ru/bin/view/Glossary/DB_API]]. БД с ограниченной поддержкой SQL также работают. Например, можно подключиться к [[Druid>>https://wiki.dfcloud.ru/bin/view/Big%20Data/%D0%A1%D0%B5%D1%80%D0%B2%D0%B8%D1%81%20Cloud%20BI/2.%20%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F/02.%20%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE%20%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0/A.%20%D0%A1%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%20%D0%B1%D0%B0%D0%B7%D0%B0%D0%BC%D0%B8%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/G16.%20Apache%20Druid/]] через коннектор **Лаборатория SQL**, хотя Druid не поддерживает соединения и подзапросы.
Ирина Сафонова 4.1 26
Ирина Сафонова 36.1 27 Еще один элемент поддержки БД — интерфейс спецификации [[Database Engine>>https://wiki.dfcloud.ru/bin/view/Glossary/Database%20engine]]. Интерфейс определяет конфигурации и логику для конкретной БД, выходящие за рамки Лаборатории SQL и DB_API.
Ирина Сафонова 4.1 28
Ирина Сафонова 36.1 29 Интерфейс Database Engine состоит из следующих функций:
Ирина Сафонова 29.1 30
Ирина Сафонова 31.1 31 (% class="table-bordered" style="width:1311px" %)
Ирина Сафонова 32.1 32 (% class="active" %)|(% style="width:339px" %)**Функция**|(% style="width:970px" %)**Комментарий**
33 |(% style="width:339px" %)(((
34 **SQL**
35 )))|(% style="width:970px" %)Функция позволяет Cloud BI извлекать разную степень детализации времени при выполнении запросов временных рядов.
36 |(% style="width:339px" %)**Поддержка движком подзапросов**|(% style="width:970px" %)(((
Ирина Сафонова 40.1 37 (% id="cke_bm_7383S" style="display:none" %) (%%)Если {{code language="none"}}false{{/code}}, Cloud BI выполняет двухэтапные запросы для компенсации ограничения.
Ирина Сафонова 31.1 38 )))
Ирина Сафонова 32.1 39 |(% style="width:339px" %)**Методы обработки журналов и определения процента выполнения запроса**|(% style="width:970px" %)
40 |(% style="width:339px" %)**Технические сведения о том, как обрабатывать курсоры и соединения, если драйвер не является стандартным DB_API**|(% style="width:970px" %)
41 |(% style="width:339px" %)**Написание собственного коннектора**|(% style="width:970px" %)(((
Ирина Сафонова 31.1 42 Единственный пример — коннектор Druid, который заменяется растущей поддержкой SQL в Druid и недавней доступностью драйвера DB_API и Лаборатории SQL. Если БД, которую вы планируете интегрировать, имеет поддержку SQL, beeline cloud рекомендует выбрать Лабораторию SQL.
Ирина Сафонова 4.1 43
44 {{warning}}
Ирина Сафонова 26.1 45 Для написания коннектора БД должна иметь поддержку выполнения запросов типа OLAP и возможность выполнять действия, типичные для базового SQL:
Ирина Сафонова 4.1 46
Ирина Сафонова 19.1 47 * Совокупные данные.
48 * Применять фильтры.
49 * Разбираться в схеме БД, указывать столбцы и типы данных.
Ирина Сафонова 4.1 50 {{/warning}}
Ирина Сафонова 31.1 51 )))
Ирина Сафонова 12.1 52
Ирина Сафонова 17.1 53 **[[В начало>>doc:Сервис Cloud BI.WebHome]] **🡱
Ирина Сафонова 13.1 54 **[[К следующему разделу>>doc:Сервис Cloud BI.4\. Частые вопросы по сервису.05\. Прочее.WebHome]] **🡲
Ирина Сафонова 14.1 55 **[[К предыдущему разделу>>doc:Сервис Cloud BI.4\. Частые вопросы по сервису.03\. Визуализация.WebHome]] 🡰**