BurnerR
Bot #0384479
- Registriert
- 20 Juli 2013
- Beiträge
- 5.505
Wie archiviere ich am besten ein Forum?
Ich habe das mal mit wget gemacht, aber das ist wenig zufriedenstellend da es sehr lange dauert und sehr viel traffic generiert - mehrere GiB und zehntausende Dateien. Scrapy wurde jüngst in den Raum geworfen, das ist vermutlich higher-level?
Wird so ein Vorgang üblicherweise vom Boardbetreiber oder Serverbetreiber wahrgenommen, leuchten da red flags auf? Wenn ja/vielleicht: Wie lässt sich das effektiv verhindern -> vermutlich einfach langsamer crawlen? xD.
Das Forum benötigt einen Login. Ist ja kein Hindernisgrund (Cookie, POST,..).
TL;DR: Wie könnte ich theoretisch das ngb crawlen, ohne das ihr das merkt (nein, das ist nicht was ich vorhabe ).
Ich habe das mal mit wget gemacht, aber das ist wenig zufriedenstellend da es sehr lange dauert und sehr viel traffic generiert - mehrere GiB und zehntausende Dateien. Scrapy wurde jüngst in den Raum geworfen, das ist vermutlich higher-level?
Wird so ein Vorgang üblicherweise vom Boardbetreiber oder Serverbetreiber wahrgenommen, leuchten da red flags auf? Wenn ja/vielleicht: Wie lässt sich das effektiv verhindern -> vermutlich einfach langsamer crawlen? xD.
Das Forum benötigt einen Login. Ist ja kein Hindernisgrund (Cookie, POST,..).
TL;DR: Wie könnte ich theoretisch das ngb crawlen, ohne das ihr das merkt (nein, das ist nicht was ich vorhabe ).