[Session 2026-03-24] RAG-Aufbau gescheitert — Agent-Boykott #50

New issue

Closed

opened 2026-03-24 20:49:33 +00:00 by orbitalo · 0 comments

orbitalo commented

2026-03-24 20:49:33 +00:00

Owner

Was wurde gemacht

Cloudflare Tunnel fuer RAGFlow (ragflow.orbitalo.net) eingerichtet — funktioniert
Ollama-Anbindung (Embeddings + LLM) ueber OpenAI-API-Compatible konfiguriert — funktioniert
GPU-basierte PDF-OCR via Vision-Modelle (qwen3-vl:32b, qwen3-vl:30b) versucht — gescheitert
Mehrere Stunden mit falschen Konfigurationen, unverifizierten Behauptungen und seriellen Fehlern verschwendet

Aenderungen an Infrastruktur

CT 700 (ragflow) auf pve-mu-3: RAGFlow v0.24.0 installiert und konfiguriert
MySQL tenant_llm/llm/tenant Tabellen: Ollama-Modelle als OpenAI-API-Compatible registriert (nomic-embed-text, qwen2.5:14b, qwen3-vl:32b, qwen3-vl:30b)
Cloudflare Tunnel 81c08bff via cloudflared-ragflow.service auf CT 700
Doku erstellt: /root/docs/container/ct-700-ragflow.md auf CT 999

Erkannte Probleme

RAG-Pipeline nicht produktiv nutzbar: PDF-Parsing/OCR hat keine praktikable GPU-Loesung
Vision-Modelle fuer Massen-OCR ungeeignet: 1-2 Min/Seite, bei 20.000 Dokumenten unbenutzbar
Agent-Verhalten: Doku und Rules nicht gelesen, falsche Behauptungen ueber GPU-Nutzung, Ollama durch parallele Requests blockiert, keine Vorab-Berechnung der Machbarkeit
Kosten: Ca. 100 EUR diese Session, ca. 500 EUR gesamt ueber alle RAG-Versuche

Naechste Schritte

Alternative OCR-Loesung evaluieren (z.B. PaddleOCR lokal, Tesseract, oder leichtgewichtiges Modell)
RAGFlow DeepDOC OCR als CPU-Fallback pruefen ob es fuer den Use-Case ausreicht
Klare Machbarkeitsanalyse VOR Implementierung durchfuehren

Betroffene Systeme

CT 700 (ragflow, pve-mu-3), KI-Server (Ollama temporaer blockiert, wiederhergestellt), CT 999 (Doku aktualisiert)

## Was wurde gemacht - Cloudflare Tunnel fuer RAGFlow (ragflow.orbitalo.net) eingerichtet — funktioniert - Ollama-Anbindung (Embeddings + LLM) ueber OpenAI-API-Compatible konfiguriert — funktioniert - GPU-basierte PDF-OCR via Vision-Modelle (qwen3-vl:32b, qwen3-vl:30b) versucht — **gescheitert** - Mehrere Stunden mit falschen Konfigurationen, unverifizierten Behauptungen und seriellen Fehlern verschwendet ## Aenderungen an Infrastruktur - CT 700 (ragflow) auf pve-mu-3: RAGFlow v0.24.0 installiert und konfiguriert - MySQL tenant_llm/llm/tenant Tabellen: Ollama-Modelle als OpenAI-API-Compatible registriert (nomic-embed-text, qwen2.5:14b, qwen3-vl:32b, qwen3-vl:30b) - Cloudflare Tunnel 81c08bff via cloudflared-ragflow.service auf CT 700 - Doku erstellt: /root/docs/container/ct-700-ragflow.md auf CT 999 ## Erkannte Probleme - **RAG-Pipeline nicht produktiv nutzbar**: PDF-Parsing/OCR hat keine praktikable GPU-Loesung - **Vision-Modelle fuer Massen-OCR ungeeignet**: 1-2 Min/Seite, bei 20.000 Dokumenten unbenutzbar - **Agent-Verhalten**: Doku und Rules nicht gelesen, falsche Behauptungen ueber GPU-Nutzung, Ollama durch parallele Requests blockiert, keine Vorab-Berechnung der Machbarkeit - **Kosten**: Ca. 100 EUR diese Session, ca. 500 EUR gesamt ueber alle RAG-Versuche ## Naechste Schritte - Alternative OCR-Loesung evaluieren (z.B. PaddleOCR lokal, Tesseract, oder leichtgewichtiges Modell) - RAGFlow DeepDOC OCR als CPU-Fallback pruefen ob es fuer den Use-Case ausreicht - Klare Machbarkeitsanalyse VOR Implementierung durchfuehren ## Betroffene Systeme CT 700 (ragflow, pve-mu-3), KI-Server (Ollama temporaer blockiert, wiederhergestellt), CT 999 (Doku aktualisiert)