[Session 2026-03-24] RAGFlow GPU-OCR gefloppt #49

Closed
opened 2026-03-24 20:30:35 +00:00 by orbitalo · 0 comments
Owner

Was wurde gemacht

  • Cloudflare Tunnel für RAGFlow (CT 700, pve-mu-3) eingerichtet (ragflow.orbitalo.net)
  • RAGFlow Embedding-Backend von Ollama-nativ auf OpenAI-API-Compatible umgestellt
  • API-Base in tenant_llm von falscher Tailscale-IP (100.84.255.83) auf LAN-IP (192.168.178.179) korrigiert
  • Versuch, PDF-OCR/Parsing über Vision-Modelle (qwen3-vl:32b, qwen3-vl:30b) auf KI-Server auszulagern
  • Mehrfach RAGFlow Container neu gestartet, Tasks gestartet/gestoppt

Änderungen an Infrastruktur

  • CT 700 (pve-mu-3): RAGFlow MySQL-Datenbank geändert (tenant_llm api_base, llm, tenant Tabellen)
  • CT 700: RAGFlow Dataset parser_config mehrfach geändert (DeepDOC → navie → qwen3-vl:32b → qwen3-vl:30b)
  • KI-Server: Ollama wurde mehrfach durch parallele Vision-Anfragen blockiert — nach RAGFlow-Stop wieder normal
  • Alle Ollama-Modelle sind unverändert vorhanden und funktionsfähig

Erkannte Probleme

  • Vision-Modell als OCR für Massenverarbeitung ist untauglich: qwen3-vl:32b braucht 1-2 Min pro Seite, bei 20.000 Docs × 5 Seiten = 104 Tage
  • RAGFlow layout_recognize Logik nicht verstanden: „navie" ist kein gültiger Parser, fällt auf by_plaintext zurück; Vision-Modell muss als vollständiger Modellname eingetragen werden
  • Falsche IP: Tailscale-IP vom KI-Server wird von Windows-Firewall blockiert, LAN-IP funktioniert
  • Ollama-Blockade: Parallele Vision-Anfragen von RAGFlow blockieren alle anderen Modelle auf der GPU
  • Cursor Rules nicht befolgt: Doku (CT 999) wurde nicht zuerst gelesen, keine Grobrechnung vor Architekturentscheidung

Nächste Schritte

  • RAGFlow parser_config auf DeepDOC zurücksetzen (CPU-OCR, funktioniert zuverlässig)
  • GPU nur für Embeddings (nomic-embed-text) und LLM-Chat (qwen2.5:14b) nutzen
  • Alternativ: Schnelles OCR-Modell evaluieren (z.B. minicpm-v 8B) mit Grobrechnung VOR Einsatz
  • RAGFlow CT 700 Status dokumentieren in CT 999

Betroffene Systeme

  • CT 700 (pve-mu-3): RAGFlow — aktuell gestoppt (docker stop)
  • KI-Server (192.168.178.179): Ollama — funktioniert wieder normal nach RAGFlow-Stop
## Was wurde gemacht - Cloudflare Tunnel für RAGFlow (CT 700, pve-mu-3) eingerichtet (ragflow.orbitalo.net) - RAGFlow Embedding-Backend von Ollama-nativ auf OpenAI-API-Compatible umgestellt - API-Base in tenant_llm von falscher Tailscale-IP (100.84.255.83) auf LAN-IP (192.168.178.179) korrigiert - Versuch, PDF-OCR/Parsing über Vision-Modelle (qwen3-vl:32b, qwen3-vl:30b) auf KI-Server auszulagern - Mehrfach RAGFlow Container neu gestartet, Tasks gestartet/gestoppt ## Änderungen an Infrastruktur - CT 700 (pve-mu-3): RAGFlow MySQL-Datenbank geändert (tenant_llm api_base, llm, tenant Tabellen) - CT 700: RAGFlow Dataset parser_config mehrfach geändert (DeepDOC → navie → qwen3-vl:32b → qwen3-vl:30b) - KI-Server: Ollama wurde mehrfach durch parallele Vision-Anfragen blockiert — nach RAGFlow-Stop wieder normal - Alle Ollama-Modelle sind unverändert vorhanden und funktionsfähig ## Erkannte Probleme - **Vision-Modell als OCR für Massenverarbeitung ist untauglich**: qwen3-vl:32b braucht 1-2 Min pro Seite, bei 20.000 Docs × 5 Seiten = 104 Tage - **RAGFlow layout_recognize Logik nicht verstanden**: „navie" ist kein gültiger Parser, fällt auf by_plaintext zurück; Vision-Modell muss als vollständiger Modellname eingetragen werden - **Falsche IP**: Tailscale-IP vom KI-Server wird von Windows-Firewall blockiert, LAN-IP funktioniert - **Ollama-Blockade**: Parallele Vision-Anfragen von RAGFlow blockieren alle anderen Modelle auf der GPU - **Cursor Rules nicht befolgt**: Doku (CT 999) wurde nicht zuerst gelesen, keine Grobrechnung vor Architekturentscheidung ## Nächste Schritte - RAGFlow parser_config auf DeepDOC zurücksetzen (CPU-OCR, funktioniert zuverlässig) - GPU nur für Embeddings (nomic-embed-text) und LLM-Chat (qwen2.5:14b) nutzen - Alternativ: Schnelles OCR-Modell evaluieren (z.B. minicpm-v 8B) mit Grobrechnung VOR Einsatz - RAGFlow CT 700 Status dokumentieren in CT 999 ## Betroffene Systeme - CT 700 (pve-mu-3): RAGFlow — aktuell gestoppt (`docker stop`) - KI-Server (192.168.178.179): Ollama — funktioniert wieder normal nach RAGFlow-Stop
orbitalo changed title from [Session 2026-03-24] RAGFlow GPU-OCR Versuch gescheitert to [Session 2026-03-24] RAGFlow GPU-OCR gefloppt 2026-03-24 20:31:47 +00:00
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: orbitalo/homelab-brain#49
No description provided.