Для работы ИИ-функций, встроенных в приложение, необходимо наличие двух компонентов:
- векторная база данных, содержащая так называемые Embeddings - векторизованные представления текстов проектных артефактов. Поскольку проектные артефакты меняются редко, но поиск похожих артефактов для выполнения ИИ-функций требуется часто, то эффективным является кешировать векторные представления, а не запрашивать векторы у языковых моделей каждый раз. Именно этим и занимается векторная база данных.
- языковая модель - с одной стороны является источником векторизованных представлений, а с другой позволяет реализовать множество ИИ-функций с использованием возможностей обработки и трансформации текстов, а также создания текстов на основе текстов проектных артефактов.
При развертывании приложения по умолчанию используется открытая и бесплатная языковая модель. Вы можете использовать произвольные языковые модели, поддерживаемые сервисом Ollama, однако, необходимо учитывать, что хорошие языковые модели требуют значительных и специфических вычислительных ресурсов (например, GPU). Альтернативным вариантом является использования внешних языковых моделей, таких как, GigaChat и YandexGPT. Качество языковой модели определяет качество выполнения ИИ-функций в приложении.