Загрузка данных JSON в SQL с автоматическим разбором по колонкам
Как удобно выбирать и обрабатывать данные, с учетом фильтров и соединений из набора файлов JSON?
Кроме того исходные данные JSON могут быть разделены на несколько файлов, например при порционной загрузке из OData.
Один из таких способов — загрузить это в SQL и считывать оттуда языком запросов.
Обработка служит для загрузки данных из файлов JSON в SQL в разобранном по колонкам виде.
- Описание
- Подробнее
Описание
Схема работы:
- Система сканирует указанную папку и ищет вложенные каталоги, в каждом каталоге должны лежать однотипные файлы, загружаемые в одну таблицу SQL.
- В каждом каталоге сканируются файлы указанного расширения.
- Создается таблица SQL, типы данных колонок определяются автоматически, в том числе дата.
- Каждый файл последовательно переформатируется и его данные загружаются в таблицу SQL.
Пример файла JSON для обработки:
{
"@odata.context": "https://127.0.0.1/0/odata/$metadata#Account",
"value": [
{
"Name": "\u041a\u043b\u0438\u0435\u043d\u0442",
"Id": "03a75490-53e6-df11-971b-001d60e938c6",
"CreatedOn": "2024-11-21T11:55:27.284Z",
"Archive": false,
"Order": 1
},
{
"Name": "partner",
"Id": "f2c0ce97-53e6-df11-971b-001d60e938c6",
"CreatedOn": "2024-11-20T12:11:12.000Z",
"Archive": true,
"Order": 2
}
]
}
