34 lines
2.6 KiB
Markdown
34 lines
2.6 KiB
Markdown
|
---
|
|||
|
|
tags: [ollama, embeddings, гібридна-схема, відкладено]
|
|||
|
|
created: 2026-07-14
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
# Гібридна схема з Ollama
|
|||
|
|
|
|||
|
|
> [!important] Відкладений воркфлоу
|
|||
|
|
> Підключення, налаштування та тестування Ollama виконується **окремим воркфлоу ПІСЛЯ завершення реалізації сервера пам'яті**. Ollama розташовано на **іншому сервері** (не TrueNAS).
|
|||
|
|
|
|||
|
|
## Що має реалізувати цей воркфлоу
|
|||
|
|
|
|||
|
|
### 1. Embeddings через Ollama
|
|||
|
|
- Модель: `bge-m3` (1024 виміри, мультимовна — критично для української)
|
|||
|
|
- Реалізація `OllamaEmbeddingProvider` за інтерфейсом `EmbeddingProvider` (закладений у фазі 1)
|
|||
|
|
- Backfill: інструмент `memory_embed_backfill` — переіндексація всіх записів, у яких `embedding IS NULL`
|
|||
|
|
- Увімкнення гібридного пошуку: FTS + cosine similarity (HNSW-індекс), об'єднання через RRF
|
|||
|
|
|
|||
|
|
### 2. Локальні виконавці (агенти)
|
|||
|
|
Гібридна схема: **хмарні моделі — диригенти, локальні — виконавці**.
|
|||
|
|
- Інструмент `agent_execute`: хмарний агент делегує підзадачу локальній моделі через Ollama API
|
|||
|
|
- Кандидати задач для виконавців: сумаризація записів пам'яті, класифікація/тегування, екстракція фактів із документів, попередня фільтрація результатів пошуку
|
|||
|
|
- Архітектурно: черга задач + worker у складі ai-memory-server (або окремий контейнер)
|
|||
|
|
|
|||
|
|
### 3. Що з'явиться за потребою
|
|||
|
|
Схема інструментів та `EmbeddingProvider`/`AgentExecutor` абстракції проєктуються розширюваними — нові можливості додаються без зламу API.
|
|||
|
|
|
|||
|
|
## Передумови (перевірити на старті воркфлоу)
|
|||
|
|
- [ ] Доступність Ollama API з TrueNAS (мережа, адреса, порт 11434)
|
|||
|
|
- [ ] Достатньо RAM/VRAM на сервері Ollama для `bge-m3` + моделі-виконавця
|
|||
|
|
- [ ] `OLLAMA_URL` в env контейнера ai-memory-server
|
|||
|
|
|
|||
|
|
Пов'язане: [[Огляд архітектури]], [[MCP інструменти]], [[Roadmap]]
|