Перейти к содержимому

Как можно подключить 1с в power bi

  • автор:

Как мы делали сквозную аналитику из 1C в Power BI

В странах СНГ принято создавать отчеты о деятельности компании в сводных таблицах Excel. Сказать, что это не юзабельно и не юзерфрендли для сложных отчётов – ничего не сказать.

Для наглядности всего ужаса в Excel

Можно, конечно, попытаться как-то спасти положение различными графиками диаграмм, поэкспериментировать с VBA, попробовать с его помощью создать дашборд на стероидах, но надо быть готовым к тому, что графика будет начала нулевых, а сам отчёт скорее всего не будет интерактивным. Помимо этого, такие гибриды смотрятся некрасиво на мобильных устройствах и чаще всего оказываются совсем нечитабельными. Проблемой посерьёзнее является частота заполнения данных – раз в месяц, в лучшем случае. Это приводит к тому, что руководитель не может смотреть на положение бизнеса в режиме реального времени и предотвращать проблемы. Ему приходится мириться с положением дел в конце каждого месяца и решать всплывшие проблемы. Столько негатива, а ведь мы ещё даже не перешли на стадию автоматизации выгрузки данных в Excel, где и таятся все «черти» этого тихого омута.

«Шагая в ногу со временем, приходится менять не только обувь, но и походку»

Каким бы ни был привычным Excel, многие компании приходят к осознанию того, что для эффективного управления нужны интерактивные дашборды с наиболее частым обновлением данных в них, к тому же с обязательной поддержкой мобильных версий, без ухудшения качества и лишения интерактивности. Сегодня многие предприниматели действительно понимают, что нужно идти в ногу со временем, но нужно согласиться с тем, что довольно сложно найти специалиста, который сможет настроить всю среду автоматизации отчётов в компании.

В связи с этим мы решили поделиться нашим опытом, чтобы помочь наибольшему количеству начинающих специалистов справиться с задачей подключения 1С к Power BI.

Финансовые данные клиента, для которого мы строили аналитику, находятся в нескольких БД 1С 8.3. Сквозную интеграцию производили с использованием облачных сервисов Azure, там уже собраны все необходимые для этого инструменты, в том числе и разнообразные хранилища данных. Конечно, можно обойтись и без Azure (см. как), но исходный код, в том числе и DAX дашбордов в Power BI, мы показать не можем.

Автоматизация выполнения кода

В Azure существует ресурс, который позволяет выполнять код в облаке: Automation Account. Сам код должен находиться в специальных модулях, которые называются Runbook. При запуске модуля Runbook выделяется виртуальная машина, которая и будет выполнять исходный код.

Главный плюс: эта служба в связке с Log Analytics позволяет включить гибридную рабочую группу. С её помощью можно привязать локальное устройство к облачному сервису и выполнять код на этих устройствах. Необходимо подметить, что в нашем случае в гибридной группе должно находиться только одно устройство, т.к. нет возможности контролировать на каком гибридном воркере (устройстве клиента) будет выполняться код. Если есть несколько устройств с сервером 1С = создаём столько гибридных групп, сколько и устройств, при этом в каждую группу включаем только одно устройство. Чтобы привязать устройство к гибридной рабочей группе, необходимо установить на него Windows Monitoring Agent.

Схема работы компьютера в гибридной группе

Ещё одно преимущество – запуск скриптов по расписанию. Можно поставить интервал хоть через каждый час, но достаточно и раза в сутки.

Расписание запусков скриптов

Подготовка данных

Для начала вам понадобится скрипт на языке 1С, который выгрузит все данные на локальную машину пользователя. В нашем случае запускать его мы будем через батник. Но для беспрепятственной выгрузки данных из базы 1C следует выключить «Безопасный режим»: в таком случае сервер 1С будет разрешать выполнять от имени пользователя наш скрипт.

Итого получаем текстовые файлы в Log-формате, в которых хранится интересующая информация для анализа.

Структура выгрузки из 1с

Разберёмся в промежуточных и основных хранилищах данных. Azure SQL мы выбрали как удобный источник данных для Power BI. Для перекачки данных из локального устройства в Azure SQL необходимо промежуточное хранилище, к которому можно подключиться как к внешнему источнику. Им прекрасно может выступать Storage account, который обменивается данными по протоколам HTTP или HTTPS. В него удобно вливать файлы с локального устройства и удобно выгружать их в облачную БД, оперируя командой BULK.

Выгрузка из 1с в Storage account

Структуры базы данных

Так как выгрузка из 1С имеет одинаковый формат для любой компании (различия наблюдаются только с расчётом некоторых показателей в разных странах), можно заранее подготовить общую структуру таблиц. Но встречаются случаи, когда у клиентов в названии документов столько символов, что такую строку нельзя положить в БД, а это означает потерю целостности данных.

Создавать поля таблицы, используя ключевое слово MAX тоже не самый лучший выход, поэтому мы решаем эту проблему путём параллельного вычисления максимальной длины строк в столбцах каждой таблицы. Затем эта длина попадает в скрипт для автогенерации структуры SQL-таблицы. На больших массивах данных эта операция может сожрать до 30 минут выполнения, но зато сохраняется целостность данных. К слову, название самой таблицы и её столбцов тоже базируется на выгруженных файлах, что может спасти от кастомной структуры документов.

$encoding = New-Object System.Text.UTF8Encoding $delimiter = "`t" $reader = $CloudBlob.OpenRead() $reader = New-Object System.IO.StreamReader($reader, $encoding) $headers = $reader.ReadLine() -split $delimiter $result = [ordered]@<> foreach($header in $headers) < $result[$header] = 0 >while(-not $reader.EndOfStream) < # Get Header in first line $csv = $reader.ReadLine() | ConvertFrom-Csv -Header $headers -Delimiter $delimiter # Get the largest row in a column foreach($header in $headers) < $item = $csv | Select-Object -ExpandProperty $header if($result[$header] -lt $item.Length) < # Put or Replace largest row info $result[$header] = $item.Length >> >

Решение проблемы выше также позволят автогенерировать условия процедуры BULK. Плюс, в таком случае структура таблицы всегда будет совпадать с файлом, а значит, можно подкидывать обработчику вообще левые файлы в формате Log, и процедура BULK не будет сыпать ошибками о несоответствии структуры таблицы и файла.

В скрипт остаётся добавлять только статические переменные, которые хранят условия команды MERGE. Эта процедура, как многим известно, позволяет консолидировать данные не вписывая дубликаты строк по их полям-идентификаторам. А значит:

  1. Можно выгружать данные только за какой-то короткий срок
  1. Быть уверенным в отсутствии аномалий в отчёте

Для реализации команды BULK понадобятся промежуточные хранилища данных. Таковым выступает вышеупомянутая учётная запись автоматизации. В Azure SQL можно создать внешний источник данных, который будет иметь доступ к учётной записи хранения через SAS-токен. Токен также можно создавать автоматизированно, а для безопасности установить срок действия на пару часов.

Выгрузка из 1с в Azure SQL

Теперь у нас имеется подготовленный DWH для Power BI отчёта. Остаётся только развернуть новый workspace, развернуть в нём приложение-шаблон и вписать данные для входа в Azure SQL. К сожалению, сделать это через api невозможно. Ждём, пока такая возможность появится. Для наглядности описанного выше, приложим схему ежедневной выгрузки:

Схема ежедневной выгрузки данных

Как это выглядит в конечном результате?

Когда речь идет о дашбордах, многие не представляют себе как это выглядит и какой функционал можно реализовать. В связи с этим, мы решили добавить к технической инструкции, обзор одного из получившихся дашбордов. Специалисту важно понимать всю ценность дашбордов для будущих работодателей или клиентов.

Отчет «Товарооборот Дистрибьюторской компании»

Цель отчёта — показать руководителю эффективность работы отдела продаж, выявить проблемные категории товаров, узкие горлышки в процессе закупа и хранения товаров. И на основе информации вовремя принимать управленческие решения. Отчёт состоит из соответствующих дашбордов, между которыми можно переключаться.: Анализ продаж, Сравнение продаж, KPI, Анализ склада.

Верхняя панель

По данной ссылке, вы можете познакомиться с интерактивными дашбордами и проверить все в действии. Кликайте, фильтруйте, переключайтесь между страницами — функционал для этого и создан 🙂

Для примера разберём первый дашборд отчёта: Анализ продаж

Данный дашборд можно поделить на три основных блока:

Дашборд

  1. Верхняя панель: навигация по дашбордам и фильтры
  2. Левая верхняя: топ продаж
  3. Остальное: детали по категориям

3. Выведены продажи по различным категориям.

  • Продажи по группам товаров и бренду KZT: по pie- chart можно «провалиться» к каждой группе и посмотреть данные о брендах, следует отметить что один бренд может относится к разным группам. Этот график удобен чтобы отслеживать именно продажи по группам и из каких брендов состоит определенная группа, нежели чем по брендам. Все графики имеют связь между собой. Нажав на одну из категорий, дашборд отфильтруется по ней и можно будет увидеть информацию по конкретной категории в разрезе городов и менеджеров.
  • Продажи по городам: представлены данные о продажах по городам, от большего к малому. Нажав на определённый город, вся информация отфильтруется по нему.
  • Продажи по менеджерам и клиентам в KZT: можно не только сравнить объём продаж менеджеров, но и «провалиться» и увидеть данные о клиентах каждого менеджера
  • Продажи в KZT: на данном графике представлены продажи по группам по месяцам: с января по июль.

Первый дашборд является аналитическим и показывает только общую картину. Позволяет быстро найти проблемные зоны и моменты, на которые стоит обратить внимание. Для более детальной информации и выявления причин пользователь может перейти на следующие страницы отчёта, где будет дана более детальная информация, в т.ч. в виде таблиц с подсвеченными аномалиями.

Отчёт обновляется ежедневно, поэтому каждый день пользователь будет видеть реальный ход дел и эффективность принятия решений.

  • PowerShell
  • Microsoft Azure
  • Визуализация данных

Как можно подключить 1с в power bi

2. Заполните данные:

b. Имя сервера с ms sql базой 1С — IP или имя MS SQL сервера

c. Имя базы 1С — наименование копии базы 1С, откуда необходимо получить данные

3. В окне авторизации выберите «Базовый» и введите логин и пароль для доступа SQL Server’у. Пользователю достаточно прав только на чтение из требуемой БД.

4. В окне «Навигатор» поставьте галочку напротив требуемых метаобъектов 1С, просмотрите
данные в окне предварительного просмотра и нажмите «Загрузить»

1. Для публикации зарегистрируйтесь на сервисе powerbi.com, сохраните проект и нажмите кнопку «Опубликовать»

V. Настройка обновления данных через шлюз данных

3. После настройки шлюза скопируйте в папку [Documents]\Power BI Desktop\Custom Connectors mez файл. Если папка несуществует, создайте ее. Зайдите в свойства папки Custom connectors и дайте права службе NT SERVICE\PBIEgwService на чтение данных из этой папки.

Интеграция 1С и PowerBI

Современный бизнес не может функционировать без автоматизированных систем учета и аналитики. Именно поэтому 1С:Предприятие 8 и Power BI являются ключевыми инструментами для огромного числа компаний. 1С:Предприятие 8 — это российская система программ для автоматизации бухгалтерии и управления. Power BI — это инструмент для бизнес-аналитики, разработанный Microsoft, позволяющий визуализировать данные и делиться важными сведениями.

Однако для максимальной эффективности важно не просто использовать эти инструменты по отдельности, но и интегрировать их для получения совокупного эффекта. В данной статье мы рассмотрим цели такой интеграции, сценарии использования, а также способы реализации.

Цели интеграции

1С:Предприятие 8 собирает и обрабатывает большое количество данных, включая информацию о финансовых операциях, товарах, клиентах и т.д. Power BI позволяет превратить эти данные в информацию, понятную для пользователя, и представить ее в виде интерактивных дашбордов и отчетов.

Цель интеграции 1С:Предприятие 8 и Power BI — увеличение эффективности работы предприятия за счет возможности оперативного анализа данных, принятия обоснованных решений и отслеживания результатов в режиме реального времени.

  • Отчетность и аналитика. С помощью Power BI можно создавать интерактивные отчеты на основе данных из 1С:Предприятие 8. Это дает возможность быстрого и наглядного анализа финансового положения, динамики продаж, состояния склада и т.д.
  • Управление процессами. Power BI позволяет отслеживать ключевые показатели эффективности (KPI) в режиме реального времени. Благодаря этому руководство компании может оперативно принимать решения и управлять бизнес-процессами.
  • Прогнозирование и планирование. Power BI имеет встроенные инструменты для анализа временных рядов и прогнозирования, которые можно применять к данным из 1С:Предприятие 8. Это помогает лучше понять тренды и планировать будущую деятельность.

Способы интеграции 1С:Предприятие 8 и Power BI

Способ 1: Непосредственное подключение к базе данных 1С
Один из способов интеграции 1С и Power BI — подключение напрямую к базе данных 1С. Стандартная конфигурация 1С:Предприятие использует Microsoft SQL Server в качестве базы данных, и Power BI умеет работать с этой системой управления базами данных.

  1. Открыть Power BI и выбрать «Подключиться к данным» (Get Data).
  2. В открывшемся окне выбрать «SQL Server».
  3. Ввести имя сервера и имя базы данных 1С в соответствующие поля. Также необходимо указать учетные данные для доступа к базе данных. Настройки безопасности и авторизации зависят от конкретной конфигурации вашего сервера и могут включать в себя вход по учетной записи Windows, SQL Server и т.д.
  4. Выбрать нужные таблицы и поля для загрузки в Power BI.
  5. Обратите внимание, что данная методика требует хорошего знания структуры базы данных 1С и может потребовать дополнительной настройки сервера для обеспечения доступа к данным.
  1. На сервере 1С включите поддержку протокола OData. Это можно сделать в административном интерфейсе сервера.
  2. Создайте публикацию данных, которые вы хотите экспортировать в Power BI.
  3. В Power BI выберите «Подключиться к данным» (Get Data), затем «OData Feed».
  4. Введите URL публикации данных из 1С.
  1. Изучение документации на API 1С.
  2. Разработка программного кода, который будет использовать API для получения данных из 1С.
  3. Создание в Power BI подключения к данным, используя полученные через API данные.
  4. Работа с API может потребовать значительных усилий и специальных навыков, но она позволяет обеспечить максимальную гибкость и точность передачи данных.
  1. В 1С выберите данные, которые вы хотите экспортировать.
  2. Используйте функцию экспорта для сохранения этих данных в файл (например, в формате CSV или Excel).
  3. В Power BI выберите «Подключиться к данным» (Get Data), затем выберите тип файла, который вы экспортировали.
  4. Укажите путь к файлу и загрузите данные в Power BI.
  5. Важно помнить, что этот метод требует регулярного обновления данных вручную, если вы хотите сохранить актуальность информации в Power BI.

Альтернативные варианты визуализации данных

Power BI является мощным инструментом визуализации данных, но существуют и другие инструменты, которые могут быть использованы для анализа и представления данных из 1С:Предприятие 8. Вот несколько популярных альтернатив:

Tableau
Tableau — один из лидеров в области бизнес-аналитики и визуализации данных. Он обладает широкими возможностями по созданию интерактивных дашбордов и отчетов, поддерживает множество источников данных и позволяет проводить сложный анализ данных.

QlikView
QlikView — еще один известный инструмент для бизнес-аналитики, который позволяет создавать интерактивные дашборды и отчеты. QlikView использует свою собственную технологию ассоциативного анализа данных, что позволяет ему обрабатывать большие объемы данных и находить неочевидные связи.

Microsoft Excel
Microsoft Excel, хоть и не является специализированным инструментом для визуализации данных, тем не менее обладает достаточным функционалом для создания базовых диаграмм и отчетов. Excel может быть удобным инструментом для анализа данных из 1С для небольших компаний или для случаев, когда не требуется сложная аналитика.

Google Data Studio
Google Data Studio — это бесплатный инструмент от Google для создания интерактивных отчетов и дашбордов. Он поддерживает различные источники данных, включая Google Sheets, BigQuery, SQL databases, и многие другие.

Looker
Looker — это платформа для бизнес-аналитики, которая предлагает возможности по визуализации данных, созданию дашбордов и отчетов, а также проведению сложного анализа данных. Looker работает в облачной среде и поддерживает подключение к большому количеству источников данных.

Если не получается интегрировать самостоятельно

Если Вам необходимо реализовать визуализацию данных из 1С:Предприятие 8 (ERP, КА, УПП, УТ, УНФ, Бухгалтерия и другие), оставьте заявку на нашем сайте и специалисты ALEX ROVICH помогут в реализации даже самых сложных проектов.

whatsapp.png

Заказать услугу

Оформите заявку на сайте, мы свяжемся с вами в ближайшее время и ответим на все интересующие вопросы.

Как получить данные 1С в Power BI?

В данной статье я хотел бы подробнее остановиться на данной теме, так как данные из 1С в том или ином виде есть почти у каждого нашего клиента. Всего мы знаем 5 разных способов подключения к данным, из которых в своей практике использовали 4:

  • выгрузка файлов Excel/XML в папку;
  • коммерческий коннектор (АТК, BI Consult, Первый Бит);
  • публикация базы 1С в вебе и подключение к ней по протоколу oData;
  • построение собственной аналитической базы SQL и наполнение ее выгрузками из 1С;
  • подключение напрямую к рабочей базе SQL 1С и разбор метаданных.

Спойлер — нельзя сказать, что какой-то способ лучше других. В зависимости от объема данных и бюджета следует рассмотреть каждый из этих способов и подобрать оптимальный именно для вашего проекта.

1. Выгрузка файлов Excel в папку или на FTP сервер

Отличный способ, когда нужно максимально быстро и просто получить обновляемые файлы из базы 1С. С помощью штатного инструмента 1С Рассылка отчетов вы можете выложить файлы в общую папку на сервере/FTP ресурс/облачный диск. Программисты 1С вместо Excel файлов могут использовать XML файлы, которые используют при обменах между базами 1С.

В первую очередь вам нужно подготовить Универсальный отчет. В отчете вы задаете какой объект конфигурации вам нужен, какая таблица, период, указываете отбор. Далее вы сохраняете получившийся вариант отчета.

Далее вам нужно воспользоваться инструментом Рассылка отчетов. Вы указываете подходящий Вариант отчета, настраиваете расписание, формат выходного файла и его местоположение.

Вы можете задать локальную папку, сетевую или FTP ресурс.

Наверно, самым большим ограничением данного способа, является то, что сложно обеспечить добавление данных и обычно предполагается, что каждый файл перезатирает предыдущий. Таким образом поддерживается достоверность данных.

Обычно мы предлагаем такую схему- ночью происходит полная выгрузка исторических закрытых периодов, а ежечасно днем — выгрузка текущего/прошлого месяца. Обычно > 90% информации редактируется в текущем периоде и достаточно оперативно выгружать только его, объем данных составит несколько мегабайт и это позволит оперативно делать такие выгрузки на рабочей базе 1С.

Конечно, такой способ отлично работает когда файлов относительно немного. Если речь пойдет о сотнях файлов со сложной структурой и расписанием, то наверно из этого способа вы уже выросли и стоит перейти к следующим.

Примерные трудозатраты и бюджет: условно бесплатно, можно сделать самостоятельно без участия программистов, максимум 1 час на каждый файл.

2. Коммерческие коннекторы (АКТ, BI Consult, Первый Бит и другие)

Крупные игроки на рынке BI аналитики Qlik разработали собственные коммерческие коннекторы к 1С. Мы тестировали коннектор от АТК, поэтому мои дальнейшие выводы основаны на его использовании.

Реализация коннектора будет зависеть от используемой базы SQL под 1С. Если используется Microsoft SQL то коннектор работает в полном режиме, создает SQL базу, в которой будут специальные представления View, которые представляют собой уже расшифрованные в удобном для аналитике виде данные 1С.

В режиме Postgre SQL коннектор работает гораздо проще, не может создать представление View, а просто генерирует текстовые файлы запросов, которые можно использовать в BI системе. То есть запрос на рисунке выше вы сможете использовать напрямую в Power BI.

Стоит отметить, что коннектору обязательно нужны доступы как к самой базе 1С, так и SQL базе.

Именно в этой SQL базе, но в собственной схеме коннектор и будет делать представления данных View, которые будут создаваться после успешного подключения к данным.

Коннектор сможет отсканировать все объекты метаданных конфигурации 1С, чтобы аналитик мог выбрать нужные ему документы и регистры.

Стоит отметить, что в выходных таблицах View коннектора он сразу может преобразовывать многочисленные ключи справочников в их значения. То есть простой документ может уже сразу содержать нужные наименования Организации, Номенклатуры, Контрагента и так далее и нет нужды тянуть к документу еще пару десятков справочников.

Таким образом, коннектор помогает аналитику выбрать подходящие объекты конфигурации, сразу увидеть их значения и подключить BI систему к базе SQL. Это экономит десятки часов по раскодированию/расшифрове метаданных 1С. Это одно из главных преимуществ коннектора, возможность развернуть его за 1 рабочий день аналитика и почти сразу получать нужные данные из 1С.

Из минусов коннектора отметим, что в режиме PostgreSQL он может генерировать только текстовые файлы-запросы, которые мог бы нам сделать и обычный программист 1С. Поэтому рекомендуется использовать Microsoft SQl для полного функционала коннектора. Также сторонников безопасности может насторожить тот факт, что коннектору нужен доступ на запись в рабочую базу SQL 1C для создания представлений View (но в другой схеме).

Примерные трудозатраты и бюджет: от 60 000 рублей за 1 базу 1С, в рамках 1 рабочего дня программиста 1С на подключение.

3. Публикация базы 1С в вебе и подключение к ней по протоколу oData

Этот способ сейчас активно рекламируется и продвигается различными аналитиками. В первую очередь, потому что это довольно просто. Нужно просто опубликовать базу 1С на веб-сервере и затем согласно справке можно делать такие запросы вида:

В ответ вы получите файл-справочник Номенклатура. Более того в справке 1С можно найти команды, которые позволят вам сделать преобразование ссылок в значения на лету, то есть вам не нужно будет выгружать десяток справочников, чтобы собрать один документ. Также поддерживается возможность задать разные фильтры, чтобы ограничить объем получаемых данных.

На выходе получается файл json со всеми реквизитами и значениями справочника.

Так в чем же проблема этого метода? Проблем я вижу две.

Первое, подключение к Odata довольно медленное, если файл будет содержать сотни тысяч записей, а то и миллионы (а для регистра бухгалтерии это довольно обычный объем), то файлы будут запрашиваться по 5-10-15 минут, могут возникнуть обрывы подключения. Каждый новый документ и справочник потребует генерации нового источника данных и нового файла. В итоге при большом объеме данных этот способ не сильно будет отличаться от выгрузок Excel файлов.

Второе, не все готовы публиковать базу 1С на веб-сервере. Иногда, например для синхронизации 1С и CRM системы клиенты уже это делают, но есть и консервативные компании, которые не работаю с облачными сервисами и доступом принципиально из-за угроз утечки данных.

Не смотря на указанные недостатки выше, все равно это очень популярный способ и многие аналитики, интеграторы публикуют инструкции и доп. сервисы, облегчающие генерации нужных веб-запросов к опубликованной базе 1С.

Примерные трудозатраты и бюджет: условно бесплатно, необходимо участие программиста 1С, настраивается примерно за 1 рабочий день.

4. Построение собственной аналитической базы SQL и наполнение ее выгрузками из 1С

Думаю, что если скажу, что для серьезной аналитики с большими данными нужна своя аналитическая база SQL, то большинство аналитиков со мной согласится.

Работая с файлами Excel/Json вы столкнетесь с проблемами производительности и сложностью администрирования и технической поддержки. Пытаясь разобраться в структуре данных SQL 1C базы, вы столкнетесь с тем, что она проектировалась для оптимизации работы 1С, а не для аналитиков. Простой документ может потянуть за собой десяток справочников, а каждый справочник может использовать дочерние справочники, а дочерние справочники какие-нибудь перечисления и так далее. Можно легко получить 3-5 уровней нормализации данных, что также не всегда нужно аналитику.

Поэтому для больших проектов мы будем предлагать этот вариант, хотя он самый трудозатратный и дорогой.

В чем преимущество данной базы? Во первых, вы сможете в ней объединить данные из разных источников. Вот пример схемы из моего реального проекта.

Мы получали данные из различных источников:

  • 1С УПП
  • веб-сервис ГИС с геоданными
  • база данных производственной программы
  • ряд Excel файлов финансовой службы.

Все эти данные аккумулировались в специальной аналитической базы, а пользователи могли подключаться к ней через Excel или BI инструменты — Power BI или любой другой.

Во вторых, внутри этой базы вы можете разложить свои данные на несколько уровней. Аналитики различают несколько уровней и преобразований данных:

Данные, которые без изменений приходят из различных источников

  • Подготовленные данные

На этом уровне происходит фильтрация ошибочных значений, обновление данных, приведение их к единому формату, обогащение данных доп. информацией

  • Аналитические данные

На этом уровне происходит агрегирование данных, представление данных в удобном для аналитике виде.

Таким образом внутри аналитической базы вы сможете проводить расчеты любой степени сложности. Данные расчеты могут быть выполнены быстрее, чем к примеру в Power Query от Power BI.

А как же наполнять эти данные выгрузками из 1С? Скорей всего вам придется самостоятельно написать нужные обработки и регламентные задания, которые представляют собой запросы к базе 1С и выгрузку результатов этих запросов в заранее созданные SQL таблицы. Вот пример подобного запроса:

Для программиста 1С такой запрос не представляет особой сложности, но работа может быть довольно трудоемкой, если данные нужны из различных документов, регистров и справочников. Для каждого такого объекта нужно будет подготовить свою таблицу SQL и свои запросы.

Проектирование подобной базы стоит доверить опытному аналитику, который имеет доступ ко всем источникам данных для проектам и сможет правильно их соединить, обработать и подготовить в необходимом для анализа виде.

Примерные трудозатраты и бюджет: от 1 недели до 1 года в зависимости от объема данных, количества источников, совместимости данных друг с другом и множества других факторов. Бюджет от 100 000 рублей до нескольких миллионов для крупных компаний.

5. Подключение напрямую к рабочей базе SQL 1С и разбор метаданных

Честно говоря, я никогда не рассматривал этот способ всерьез. У него есть несколько существенных минусов.

Во первых, это запрещено лицензионной политикой 1С.

Нельзя обращаться к данным информационной базы напрямую, минуя уровень объектов работы с данными «1С:Предприятия», например при помощи средств СУБД или при помощи внешних компонент, которые реализуют прямой доступ к СУБД. Это ограничение распространяется на любые действия с данными, в том числе на изменение их структуры, а так же на чтение или изменение самих данных информационной базы или служебных данных «1С:Предприятия».

Во вторых, подключившись к таблице документа мы увидим что-то подобное:

Большинство полей будут представлять собой ссылки на другие таблицы (справочники, перечисления), плюс все названия таблиц, столбцов представляют собой так называемые Метаданные — особую структура базы данных 1С в которой разобраться может быть непросто.

С другой стороны, от коллег я с удивлением узнал, что множество аналитиков использует этот способ и один раз разобравшись со сложной структурой метаданных могут очень быстро получать любые данные из рабочей базы SQL 1C.

Примерные трудозатраты и бюджет: условно бесплатно, необходимо участие программиста 1С, настраивается примерно за 1 неделю.

Таким образом как вы видите способ получения данных из 1С довольно много. Нельзя сказать, что какой-то самый лучший, а какой-то самый плохой. Все эти способы имеют право на существование и успешно используются в разных проектах. Можно начать с самого простого — выгрузок в Excel, построения первых аналитических отчетов и постепенное развитие культуры аналитики в компании. А можно сразу начать проектирование корпоративного хранилища данных. Все зависит от целей и задач аналитики и мы с удовольствием проконсультируем и подберем оптимальное решение для ваших задач и бюджета.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *