Momondo Duplikate und Geo-Block prüfen #9

New issue

Closed

opened 2026-03-01 10:38:09 +00:00 by orbitalo · 1 comment

orbitalo commented

2026-03-01 10:38:09 +00:00

Owner

Nur Muldenstein-Node kann Momondo scrapen (Asia hat Geo-Block)
Duplikate in Ergebnissen beobachtet
helmut-pve Node (CT 145) derzeit inaktiv

- Nur Muldenstein-Node kann Momondo scrapen (Asia hat Geo-Block) - Duplikate in Ergebnissen beobachtet - helmut-pve Node (CT 145) derzeit inaktiv

orbitalo added the

flugscanner

label 2026-03-01 10:38:09 +00:00

orbitalo commented

2026-03-21 17:42:35 +00:00

Author

Owner

✅ Erledigt am 21.03.2026

Geo-Block Asia: Bereits via NODE_SCANNER_SKIP in scheduler.py (Zeile 60-62) gefixt — flugscanner-asia wird von momondo + traveloka ausgeschlossen.

Duplikate: 5.436 Duplikate aus DB entfernt (8.190 → 2.754 Einträge). UNIQUE INDEX idx_prices_unique auf (von, nach, abflug, ankunft, preis, scanner, node) erstellt. INSERT → INSERT OR IGNORE in scheduler.py — neue Duplikate sind damit dauerhaft verhindert.

KI-Validierung Asia: Screenshots von flugscanner-asia werden bereits zentral im Hub gespeichert und automatisch von qwen3-vl:32b geprüft — kein Extra-Aufwand.

✅ Erledigt am 21.03.2026 **Geo-Block Asia:** Bereits via NODE_SCANNER_SKIP in scheduler.py (Zeile 60-62) gefixt — flugscanner-asia wird von momondo + traveloka ausgeschlossen. **Duplikate:** 5.436 Duplikate aus DB entfernt (8.190 → 2.754 Einträge). UNIQUE INDEX idx_prices_unique auf (von, nach, abflug, ankunft, preis, scanner, node) erstellt. INSERT → INSERT OR IGNORE in scheduler.py — neue Duplikate sind damit dauerhaft verhindert. **KI-Validierung Asia:** Screenshots von flugscanner-asia werden bereits zentral im Hub gespeichert und automatisch von qwen3-vl:32b geprüft — kein Extra-Aufwand.

orbitalo closed this issue

2026-03-21 17:42:44 +00:00