Commodo
Neu angemeldet
- Registriert
- 17 Mai 2014
- Beiträge
- 149
/edit2 Kommando zurück, nach 3836 Links ohne Fehlermeldung abgestürzt.
/edit hab aus Verzweifelung mal die alte 1.9.8er Version ausprobiert statt der neuen 2.0.
Und es funktioniert, sogar mit 60% weniger RAM, kein Crash bei 500 oder 1000 Seiten, alles tutti
.
Niemals eine .0er Version im Produktiveinsatz .....
Wenn ich meine Textdatei mit 500 Seiten starte, crasht das Script 100% reproduzierbar zwischen 160-180 Urls, meistens ohne Fehlermeldung und Dump, manchmal mit Dump, alle paar Jubeljahre sogar mit einer Fehlermeldung.
Bei Github ist tote Hose, da hab ich schon gepostet, ebenso bei Stackoverflow aber da weiss auch keiner so recht wieso weshalb warum bisher und ich häng an diesem Mist schon seit gut 2 Wochen, vielleicht weiss ja jemand von euch was.
/edit hab aus Verzweifelung mal die alte 1.9.8er Version ausprobiert statt der neuen 2.0.
Und es funktioniert, sogar mit 60% weniger RAM, kein Crash bei 500 oder 1000 Seiten, alles tutti
.Niemals eine .0er Version im Produktiveinsatz .....
Wenn ich meine Textdatei mit 500 Seiten starte, crasht das Script 100% reproduzierbar zwischen 160-180 Urls, meistens ohne Fehlermeldung und Dump, manchmal mit Dump, alle paar Jubeljahre sogar mit einer Fehlermeldung.
Bei Github ist tote Hose, da hab ich schon gepostet, ebenso bei Stackoverflow aber da weiss auch keiner so recht wieso weshalb warum bisher und ich häng an diesem Mist schon seit gut 2 Wochen, vielleicht weiss ja jemand von euch was.
You do not have permission to view link please Anmelden or Registrieren
You do not have permission to view link please Anmelden or Registrieren
You do not have permission to view link please Anmelden or Registrieren
Code:
console.log('Hello, world!');
var fs = require('fs');
var stream = fs.open('500sitemap.txt', 'r');
var webPage = require('webpage');
var i = 1;
var hasFound = Array();
var hasonLoadFinished = Array();
function handle_page(line) {
var page = webPage.create();
page.settings.loadImages = false;
page.open(line, function() {});
page.onResourceRequested = function(requestData, request) {
var match = requestData.url.match(/example.de\/ac/g)
if (match != null) {
hasFound[line] = true;
var targetString = decodeURI(JSON.stringify(requestData.url));
var klammerauf = targetString.indexOf("{");
var jsonobjekt = targetString.substr(klammerauf, (targetString.indexOf("}") - klammerauf) + 1);
targetJSON = (decodeURIComponent(jsonobjekt));
var t = JSON.parse(targetJSON);
console.log(i + " " + t + " " + t['id']);
request.abort;
} else {
//hasFound = false;
return;
}
};
page.onLoadFinished = function(status) {
if (!hasonLoadFinished[line]) {
hasonLoadFinished[line] = true;
if (!hasFound[line]) {
console.log(i + " :NOT FOUND: " + line);
console.log("");
}
i++;
setTimeout(page.close, 200);
nextPage();
}
}
};
function nextPage() {
var line = stream.readLine();
if (!line) {
end = Date.now();
console.log("");
console.log(((end - start) / 1000) + " Sekunden");
phantom.exit(0);
}
hasFound[line] = false;
hasonLoadFinished[line] = false;
handle_page(line);
}
start = Date.now();
nextPage();
Zuletzt bearbeitet:
.
.