• Hallo liebe Userinnen und User,

    nach bereits längeren Planungen und Vorbereitungen sind wir nun von vBulletin auf Xenforo umgestiegen. Die Umstellung musste leider aufgrund der Serverprobleme der letzten Tage notgedrungen vorverlegt werden. Das neue Forum ist soweit voll funktionsfähig, allerdings sind noch nicht alle der gewohnten Funktionen vorhanden. Nach Möglichkeit werden wir sie in den nächsten Wochen nachrüsten. Dafür sollte es nun einige der Probleme lösen, die wir in den letzten Tagen, Wochen und Monaten hatten. Auch der Server ist nun potenter als bei unserem alten Hoster, wodurch wir nun langfristig den Tank mit Bytes vollgetankt haben.

    Anfangs mag die neue Boardsoftware etwas ungewohnt sein, aber man findet sich recht schnell ein. Wir wissen, dass ihr alle Gewohnheitstiere seid, aber gebt dem neuen Board eine Chance.
    Sollte etwas der neuen oder auch gewohnten Funktionen unklar sein, könnt ihr den "Wo issn da der Button zu"-Thread im Feedback nutzen. Bugs meldet ihr bitte im Bugtracker, es wird sicher welche geben die uns noch nicht aufgefallen sind. Ich werde das dann versuchen, halbwegs im Startbeitrag übersichtlich zu halten, was an Arbeit noch aussteht.

    Neu ist, dass die Boardsoftware deutlich besser für Mobiltelefone und diverse Endgeräte geeignet ist und nun auch im mobilen Style alle Funktionen verfügbar sind. Am Desktop findet ihr oben rechts sowohl den Umschalter zwischen hellem und dunklem Style. Am Handy ist der Hell-/Dunkelschalter am Ende der Seite. Damit sollte zukünftig jeder sein Board so konfigurieren können, wie es ihm am liebsten ist.


    Die restlichen Funktionen sollten eigentlich soweit wie gewohnt funktionieren. Einfach mal ein wenig damit spielen oder bei Unklarheiten im Thread nachfragen. Viel Spaß im ngb 2.0.

suche Webcrawler der JS auswertet

Kampfmelone

süß und saftig

Registriert
22 Juli 2013
Beiträge
590
Hallo, ich müsste eine Website "kopieren", die bald offline gehen wird, da sie durch eine erneuerte Version ersetzt wird. Leider wurde die Seite mit iWeb erstellt und ich habe keinen Zugriff auf die "Quelldatei".
Leider wird quasi alles auf den Seiten, die Navigation, Galerien, Newsliste, per JS nachgeladen/erzeugt, sind ohne JS also nicht sichtbar.

Probiert habe ich schon Xaldon WebSpider2 und WinHTTrack, die scheinen jedoch beide das enthaltene JS nicht auszuführen, also fehlt ein Großteil.

Es wäre echt praktisch wenn jemand von euch da schon Erfahrung hätte wie man das am besten hinbekommt.

Danke!
 

theSplit

1998
Veteran Barkeeper

Registriert
3 Aug. 2014
Beiträge
28.573
Javascript ist leider mit gängigen Crawlern so nicht zu erfassen, da diese javascript nicht interpretieren und auswerten - wie du schon selbst gemerkt hast.

Was du ausprobieren könntest, aber keine Einklick Lösung ist:
http://www.seleniumhq.org/

Firefox kann dabei mittels Add-on Seiten aufrufen und ferngesteuert werden, ob es allerdings möglich ist die Webseite zu speichern und nicht nur Daten an selbige zu übermitteln, das weiß ich nicht.
Es gibt aber diverse Bindings für Selenium IDE womit man mit einer Webseite interagieren kann, siehe Download Sektion auf der Homepage von Selenium. Die Dokumentation würde aber noch einige Fragen mehr klären.

Was auch interessant wäre, etwas mit Qt zu realisieren was eine Webseite ausließt und speichert - da hier Webkit zum Rendern des HTML/Javascripts genutzt wird.
Mit Qt sind mir allerdings auch keine Lösungen bekannt die so etwas anbieten und in wie weit man Zugriff auf die Rohdaten bekommt.

Ansonsten wäre ich auch an einer Lösung interessiert.
 
Zuletzt bearbeitet:
Oben