[Session 2026-03-24] RAGFlow GPU-OCR gefloppt #49

New issue

Closed

opened 2026-03-24 20:30:35 +00:00 by orbitalo · 0 comments

orbitalo commented

2026-03-24 20:30:35 +00:00

Owner

Was wurde gemacht

Cloudflare Tunnel für RAGFlow (CT 700, pve-mu-3) eingerichtet (ragflow.orbitalo.net)
RAGFlow Embedding-Backend von Ollama-nativ auf OpenAI-API-Compatible umgestellt
API-Base in tenant_llm von falscher Tailscale-IP (100.84.255.83) auf LAN-IP (192.168.178.179) korrigiert
Versuch, PDF-OCR/Parsing über Vision-Modelle (qwen3-vl:32b, qwen3-vl:30b) auf KI-Server auszulagern
Mehrfach RAGFlow Container neu gestartet, Tasks gestartet/gestoppt

Änderungen an Infrastruktur

CT 700 (pve-mu-3): RAGFlow MySQL-Datenbank geändert (tenant_llm api_base, llm, tenant Tabellen)
CT 700: RAGFlow Dataset parser_config mehrfach geändert (DeepDOC → navie → qwen3-vl:32b → qwen3-vl:30b)
KI-Server: Ollama wurde mehrfach durch parallele Vision-Anfragen blockiert — nach RAGFlow-Stop wieder normal
Alle Ollama-Modelle sind unverändert vorhanden und funktionsfähig

Erkannte Probleme

Vision-Modell als OCR für Massenverarbeitung ist untauglich: qwen3-vl:32b braucht 1-2 Min pro Seite, bei 20.000 Docs × 5 Seiten = 104 Tage
RAGFlow layout_recognize Logik nicht verstanden: „navie" ist kein gültiger Parser, fällt auf by_plaintext zurück; Vision-Modell muss als vollständiger Modellname eingetragen werden
Falsche IP: Tailscale-IP vom KI-Server wird von Windows-Firewall blockiert, LAN-IP funktioniert
Ollama-Blockade: Parallele Vision-Anfragen von RAGFlow blockieren alle anderen Modelle auf der GPU
Cursor Rules nicht befolgt: Doku (CT 999) wurde nicht zuerst gelesen, keine Grobrechnung vor Architekturentscheidung

Nächste Schritte

RAGFlow parser_config auf DeepDOC zurücksetzen (CPU-OCR, funktioniert zuverlässig)
GPU nur für Embeddings (nomic-embed-text) und LLM-Chat (qwen2.5:14b) nutzen
Alternativ: Schnelles OCR-Modell evaluieren (z.B. minicpm-v 8B) mit Grobrechnung VOR Einsatz
RAGFlow CT 700 Status dokumentieren in CT 999

Betroffene Systeme

CT 700 (pve-mu-3): RAGFlow — aktuell gestoppt (docker stop)
KI-Server (192.168.178.179): Ollama — funktioniert wieder normal nach RAGFlow-Stop

## Was wurde gemacht - Cloudflare Tunnel für RAGFlow (CT 700, pve-mu-3) eingerichtet (ragflow.orbitalo.net) - RAGFlow Embedding-Backend von Ollama-nativ auf OpenAI-API-Compatible umgestellt - API-Base in tenant_llm von falscher Tailscale-IP (100.84.255.83) auf LAN-IP (192.168.178.179) korrigiert - Versuch, PDF-OCR/Parsing über Vision-Modelle (qwen3-vl:32b, qwen3-vl:30b) auf KI-Server auszulagern - Mehrfach RAGFlow Container neu gestartet, Tasks gestartet/gestoppt ## Änderungen an Infrastruktur - CT 700 (pve-mu-3): RAGFlow MySQL-Datenbank geändert (tenant_llm api_base, llm, tenant Tabellen) - CT 700: RAGFlow Dataset parser_config mehrfach geändert (DeepDOC → navie → qwen3-vl:32b → qwen3-vl:30b) - KI-Server: Ollama wurde mehrfach durch parallele Vision-Anfragen blockiert — nach RAGFlow-Stop wieder normal - Alle Ollama-Modelle sind unverändert vorhanden und funktionsfähig ## Erkannte Probleme - **Vision-Modell als OCR für Massenverarbeitung ist untauglich**: qwen3-vl:32b braucht 1-2 Min pro Seite, bei 20.000 Docs × 5 Seiten = 104 Tage - **RAGFlow layout_recognize Logik nicht verstanden**: „navie" ist kein gültiger Parser, fällt auf by_plaintext zurück; Vision-Modell muss als vollständiger Modellname eingetragen werden - **Falsche IP**: Tailscale-IP vom KI-Server wird von Windows-Firewall blockiert, LAN-IP funktioniert - **Ollama-Blockade**: Parallele Vision-Anfragen von RAGFlow blockieren alle anderen Modelle auf der GPU - **Cursor Rules nicht befolgt**: Doku (CT 999) wurde nicht zuerst gelesen, keine Grobrechnung vor Architekturentscheidung ## Nächste Schritte - RAGFlow parser_config auf DeepDOC zurücksetzen (CPU-OCR, funktioniert zuverlässig) - GPU nur für Embeddings (nomic-embed-text) und LLM-Chat (qwen2.5:14b) nutzen - Alternativ: Schnelles OCR-Modell evaluieren (z.B. minicpm-v 8B) mit Grobrechnung VOR Einsatz - RAGFlow CT 700 Status dokumentieren in CT 999 ## Betroffene Systeme - CT 700 (pve-mu-3): RAGFlow — aktuell gestoppt (`docker stop`) - KI-Server (192.168.178.179): Ollama — funktioniert wieder normal nach RAGFlow-Stop