Каталог решений - Пример подключения локальных моделей ИИ (нейросетей, LLM) в конфигурацию 1С

Да, периодически используешь разные сервисы, чтоб пощупать, протестировать, но в итоге платить за них и использовать в своей работе не очень-то хотелось по итогу.

И вот в течение месяца произошло 2 переломных момента, после которых я поменял свой взгляд:

Первое – это выпуск сервиса 1С: Напарник для использования и тестирования

Легко подключить, работает в EDT, ускоряет написание кода на 20-40% (по моему опыту)

Подробней можно посмотреть на https://code.1c.ai/

Второе – локальные модели нейросетей.

Случайно посмотрел видео, в котором рассказывалось об использовании локальных нейросетей в работе программиста, стал разбираться в этом вопросе и все оказалось до безумия просто.

Кажется, что их настройка сложна, но это не так.

Уже давно существует фреймворк Ollama. Этот фреймворк  предоставляет достаточно большое количество крупных языковых моделей, которые легко могут быть установлены и запущены локально на компьютере пользователя. 

Не буду подробно описывать процесс установки, в интернете полно статей по этому поводу.

Если кратко, то порядок установки следующий:

1. Загружаем нужный дистрибутив для Вашей ОС

2. Устанавливаем

3. В командной строке запускаем загрузку нужной модели LLM, или нескольких, например,

ollama run llama2

4. Все готово для работы

Простым POST запросом обращаемся к локальному апи для получения ответов

curl http://localhost: 11434 /api/generate -d ‘{

"model": "llama2",

"prompt": "Why is the sky blue?",

}’

Все, после этих простых шагов Вы можете использовать локальную модель под свои задачи.

Также можно установить в браузер плагин, который работает с ollama

https://chromewebstore.google.com/detail/page-assist-веб-интерфейс/jfgfiigpkhlkbnfnbobbkinehhfdhndo

Все Карл! Буквально 5 минут, без учета времени скачивания, и локальная нейросеть развернута и доступна к использованию.

Почему я не использовать кучу других известных онлайн сервисов, а использую локальные модели?

На то есть ряд причин:

1. Это бесплатно. Сервисы, как правило, берут деньги за запросы.

2. Это безопасно и приватно. Модель находится у Вас на компьютере, и не нужно никакие данные передавать в какой-то сервис.

3. Офлайн. Не зависит от наличия интернета, работает всегда

Но есть и минусы:

1. Ресурсы. Чем больше параметров модели, тем больше ей надо ресурсов

2. Точность. Ответы локальных моделей нужно контролировать, они бредят чаще онлайн сервисов, но это сильно зависит от количества параметров.

3. Скорость. У локальных моделей она может быть не очень велика. Но это все зависит от выделенных ей ресурсов и параметров

Как по мне – эти минусы довольно легко решаются, об этом ниже.

Выглядит просто и круто, но как это применять на практике?

Дальше у меня посыпались идеи, как бы я применил нейросети на прошлых задачах, которые когда-то решал.

Для примера я взял несколько простых моделей, т.к. для тестов использую не самый производительный ноут, ну и чтобы сравнивать ответы.