sages-ds
34 lines
2.6 KiB
Markdown
34 lines
2.6 KiB
Markdown
---
|
||
tags: [ollama, embeddings, гібридна-схема, відкладено]
|
||
created: 2026-07-14
|
||
---
|
||
|
||
# Гібридна схема з Ollama
|
||
|
||
> [!important] Відкладений воркфлоу
|
||
> Підключення, налаштування та тестування Ollama виконується **окремим воркфлоу ПІСЛЯ завершення реалізації сервера пам'яті**. Ollama розташовано на **іншому сервері** (не TrueNAS).
|
||
|
||
## Що має реалізувати цей воркфлоу
|
||
|
||
### 1. Embeddings через Ollama
|
||
- Модель: `bge-m3` (1024 виміри, мультимовна — критично для української)
|
||
- Реалізація `OllamaEmbeddingProvider` за інтерфейсом `EmbeddingProvider` (закладений у фазі 1)
|
||
- Backfill: інструмент `memory_embed_backfill` — переіндексація всіх записів, у яких `embedding IS NULL`
|
||
- Увімкнення гібридного пошуку: FTS + cosine similarity (HNSW-індекс), об'єднання через RRF
|
||
|
||
### 2. Локальні виконавці (агенти)
|
||
Гібридна схема: **хмарні моделі — диригенти, локальні — виконавці**.
|
||
- Інструмент `agent_execute`: хмарний агент делегує підзадачу локальній моделі через Ollama API
|
||
- Кандидати задач для виконавців: сумаризація записів пам'яті, класифікація/тегування, екстракція фактів із документів, попередня фільтрація результатів пошуку
|
||
- Архітектурно: черга задач + worker у складі ai-memory-server (або окремий контейнер)
|
||
|
||
### 3. Що з'явиться за потребою
|
||
Схема інструментів та `EmbeddingProvider`/`AgentExecutor` абстракції проєктуються розширюваними — нові можливості додаються без зламу API.
|
||
|
||
## Передумови (перевірити на старті воркфлоу)
|
||
- [ ] Доступність Ollama API з TrueNAS (мережа, адреса, порт 11434)
|
||
- [ ] Достатньо RAM/VRAM на сервері Ollama для `bge-m3` + моделі-виконавця
|
||
- [ ] `OLLAMA_URL` в env контейнера ai-memory-server
|
||
|
||
Пов'язане: [[Огляд архітектури]], [[MCP інструменти]], [[Roadmap]]
|