Seite 2 von 5 ErsteErste 12345 LetzteLetzte
Ergebnis 26 bis 50 von 112

Thema: GIGA Forum wird abgeschaltet

  1. #26
    Bot #0384479 Avatar von BurnerR
    Registriert seit
    Jul 2013
    Beiträge
    4.505
    ngb:news Artikel
    2

    Re: GIGA Forum wird abgeschaltet

    Hm.

    Also bei 27,000,000 Beiträgen sehe ich jeweils zwei Links die darauf verweisen, zum antworten und zum zitieren, wenn man sehr optimistisch von 15Kib pro Seite ausgeht, dann sind das knapp 250 GiB pro Verweis, also allein für diese Links 500 GiB die man sich spart, wenn man Links die eine Raute beinhalten ausschließt. Mal ganz davon abgesehen, dass das über 50,000,000 einzelne Dateien sind die herunter geladen werden müssen. Das Forum scheint ja ziemlich ausgelastet gerade, daher nehme ich an, dass du nicht seriell runterlädst.

  2. #27
    gesperrt
    Registriert seit
    Mar 2015
    Ort
    FFM (NSFW)
    Beiträge
    5.741
    ngb:news Artikel
    4

    Re: GIGA Forum wird abgeschaltet

    yay DoS

  3. #28
    Mitglied Avatar von darksider3
    Registriert seit
    Sep 2013
    Ort
    /dev/sda
    Beiträge
    309

    Re: GIGA Forum wird abgeschaltet

    @BurnerR: Ich hatte gerade zwischenzeitlich 120 Verbindungen/s versucht, musste wieder auf 40 runter, dann auf 20... Ich lade soviel, so schnell wie möglich, ohne den Server zu vögeln. Hoffentlich. Noch bin ich nicht beim Spam-Thread mit X-Tausend Beiträgen...

    EDIT: Manchmal wünschte ich mir sehnlichst, das solche Seiten einfach einen RSS mit *allen* Geschichten hätte, oder besser: Download von Foren als ZIP/URL-Sammlung.

    ÄHHHHHHHH... ich glaub gerade ist meine HDD abgeraucht.
    Geändert von darksider3 (12.04.18 um 21:45 Uhr)
    Effiziens ist, wenn ich ein Loch bohre und mein Nachbar auch ein Bild aufhängen kann. ;)
    Redundanz macht wiederholen unnötig. | quod erat expectandum - Unbekannt|Veni, vidi,vici - Iulius Caesar

  4. #29

    Re: GIGA Forum wird abgeschaltet

    Ohmann, das sind ja Größenordnungen @_@
    Hoffen wir, daß die GIGA-Admins, sofern sich noch einer darum schert , nicht den Abgriff verhindern. Im Log müßten sie ja sehen, daß eine bestimmte IP alle Links klickt. Im Grunde legitimes User-Verhalten. Bloß halt rund um die Uhr und so schnell nacheinander? Mit etwas Glück merkt es wirklich keiner, oder die denken sich schon sowas und lassen es einfach laufen. *__*

  5. #30
    [ Alive since 1998 ]

    Moderator

    Avatar von theSplit
    Registriert seit
    Aug 2014
    Beiträge
    24.703
    ngb:news Artikel
    2

    Re: GIGA Forum wird abgeschaltet

    Zitat Zitat von BurnerR Beitrag anzeigen
    Hm.

    für diese Links 500 GiB die man sich spart, wenn man Links die eine Raute beinhalten ausschließt
    Das sind Anchor Links - du kannst auch im HTML mit Regex <[\s]{0,}a.*href="[\#]*#[\>]*>[^<]*</a> alle Links rausschmeißen, die einen Anchor enthalten - logischerweise sind das meist Sprungmarken innerhalb der gleichen Seite. Damit könntest du dir auch ein paar MB sparen wenn diese häufig genutzt werden, als Download und im HTML direkt was du speicherst.
    Wenn du sicher gehen willst, das die Verweise innerhalb der Seite sind, würde ich die URL noch in den Regex als href="URL#" filtern. Eventuell mit oder ohne Domainnamen.
    Geändert von theSplit (14.04.18 um 11:15 Uhr)
    Gruß theSplit

  6. #31
    Bot #0384479 Avatar von BurnerR
    Registriert seit
    Jul 2013
    Beiträge
    4.505
    ngb:news Artikel
    2

    Re: GIGA Forum wird abgeschaltet

    Innerhalb der Datei danach zu suchen ergibt vermutlich wenig Sinn, da man sich nicht zwischen dem wget download und dem wget parsing schalten kann afaik.
    Wget selber hat diesbezüglich aber recht ausführliche Möglichkeiten: https://www.gnu.org/software/wget/ma...Reject-Options

    Jetzt hingehen und die html Files bearbeiten um paar MiB zu sparen.. wäre mir ein zu schlechter tradeoff, aber wenn man Bock drauf hat, wieso nicht.
    Ich bin ein Fan vom Pareto Prinzip, also sich auf die 20% konzentrieren, dei 80% des Ergebnisses ausmachen.

    Gerade bei einem großen Forum wie Giga lohnt es sich mMn, vor dem Download mal 1-2 Stunden die Struktur anzugucken und wget sinnvolle Parameter zu übergeben.

  7. #32
    [ Alive since 1998 ]

    Moderator

    Avatar von theSplit
    Registriert seit
    Aug 2014
    Beiträge
    24.703
    ngb:news Artikel
    2

    Re: GIGA Forum wird abgeschaltet

    @BurnerR: Gut, im Falle von Wget ist das in der Tat nicht wirklich machbar, aber wenn man zum Beispiel über PHP mit CURL scraped, kann man den Content herausfiltern den man nicht haben will.

    Zum Beispiel:
    <div id="footer-content">......</div>

    Das sind 11459 Bytes die man pro HTML Seite spart die gespeichert wird, und das Teil taucht auf jeder Seite auf.

    Gut, wenn man das erstmal sichern will, ist das (pre)Processing vielleicht fehlt am Platz, aus zeitlichen Gründen - okay - aber wenn man die Requests sowieso zeitlich limitiert, kann man auch etwas aufräumen. Der Footer-Teil enthält jedenfalls keine Informationen die für das Forum irgendwie relevant sind.
    Für diesen Beitrag bedankt sich BurnerR
    Gruß theSplit

  8. #33
    Bot #0384479 Avatar von BurnerR
    Registriert seit
    Jul 2013
    Beiträge
    4.505
    ngb:news Artikel
    2

    Re: GIGA Forum wird abgeschaltet

    Ja, ist sicherlich ein nettes nice-to-have bei Dutzenden Millionen von Dateien .

  9. #34
    gesperrt
    Registriert seit
    Mar 2015
    Ort
    FFM (NSFW)
    Beiträge
    5.741
    ngb:news Artikel
    4

    Re: GIGA Forum wird abgeschaltet

    Zitat Zitat von theSplit Beitrag anzeigen
    HTML […] Regex
    *kotzt in Schüssel*

    Außer wenn du Cthulu persönlich beschwören willst, sollte man doch lieber xmlstarlet oder was ähnliches nutzen.
    Für diesen Beitrag bedanken sich Shodan, theSplit, BurnerR

  10. #35
    [ Alive since 1998 ]

    Moderator

    Avatar von theSplit
    Registriert seit
    Aug 2014
    Beiträge
    24.703
    ngb:news Artikel
    2

    Re: GIGA Forum wird abgeschaltet

    @phre4k: Ich glaube ich weiß auf was der Artikel anspielt, HTML ist symantisch oft nicht korrekt, fehlerhaft durch Usereingabe oder anders formatiert. a/> oder /a oder <br> oder </br> oder <br/> oder "<.........br............/>" (. = Leerzeichen) usw....

    Da solche Links aber nicht unbedingt von Usern, sondern vom Forum selbst generiert werden, sollte man glaube, das diese einheitlich und korrekt sind

    Okay, davon ist nicht auszugehen, aber ja.

    Und jetzt lese ich mal den Artikel
    Geändert von theSplit (14.04.18 um 15:25 Uhr)
    Gruß theSplit

  11. #36
    gesperrt
    Registriert seit
    Mar 2015
    Ort
    FFM (NSFW)
    Beiträge
    5.741
    ngb:news Artikel
    4

    Re: GIGA Forum wird abgeschaltet

    @theSplit: Ich glaube eher, der Artikel spielt darauf an, dass Regexes in der Chomsky-Hierarchie Typ 3 (reguläre Grammatik – finite Automaten) sind, XML allerdings Typ 2 (kontextfreie Grammatik) – und eine Typ-3-Sprache nicht auf eine Typ-2-Grammatik angewendet werden kann.

    (nein, tut er natürlich nicht, aber allein vom groben Drüberscrollen auf den Inhalt eines Textes zu schließen, ohne auch nur ein kleines bisschen gelesen zu haben… na ja.)

    Siehe auch: https://nikic.github.io/2012/06/15/T...pressions.html

    Und jetzt lese ich mal den Artikel
    Ist wohl besser.

  12. #37
    \''; DROP TABLE user; --

    Administrator

    Avatar von electric.larry
    Registriert seit
    Dec 2014
    Ort
    Raum 43
    Beiträge
    4.529
    ngb:news Artikel
    81

    Re: GIGA Forum wird abgeschaltet

    Hat von euch jemand bei GIGA eigentlich einmal nachgefragt, ob die einen DB Dump rausgeben würden?

    --- [2018-04-14 23:23 CEST] Automatisch zusammengeführter Beitrag ---

    @phre4k: Der Artikel sagt eh so eindeutig: "Thus the question arises: Can regular expressions match only regular grammars, or can they also match more? The answer to this is both yes and no"

    --- [2018-04-14 23:47 CEST] Automatisch zusammengeführter Beitrag ---

    Der Artikel is echt super geschrieben und lustig zu lesen: So you can match it using regular expressions, contrary to popular opinion. But don’t forget two things: Firstly, most HTML you see in the wild is not well-formed (usually not even close to it). And secondly, just because you can, doesn’t mean that you should. You could write your software in Brainfuck, still for some reason you don’t.

  13. #38
    Pottblach™ Avatar von Bruder Mad
    Registriert seit
    Jul 2013
    Ort
    Mitten im Pott!
    Beiträge
    15.201
    ngb:news Artikel
    1

    Re: GIGA Forum wird abgeschaltet

    Es ist tot, Jim...

    Zuckt doch noch...
    Geändert von Bruder Mad (15.04.18 um 00:33 Uhr)

  14. #39
    [ Alive since 1998 ]

    Moderator

    Avatar von theSplit
    Registriert seit
    Aug 2014
    Beiträge
    24.703
    ngb:news Artikel
    2

    Re: GIGA Forum wird abgeschaltet

    @phre4k: Ich hab ihn dann auch gelesen. - Zugegeben, das was ich schrieb war ein Schuss ins Blaue. Aber zumindest wenn das Regex zu starr ist, könnten Abweichungen für Fehler sorgen, wenn sie nicht bedacht sind, okay. Aber deswegen der Einwand, wenn das HTML sauber ist - kann Regex schon dabei helfen. Zumal auch wenn es "schnell" gehen muß. Und wenn man davon ausgeht das nicht User HTML vorgeben, sondern das Forum erlaubt und regelt was es zulässt und was geschrieben werden darf, ist der Aufbau vorgegeben (auch wenn sich das natürlich nach einem Update der Forensoftware ändern könnte...)

    Und wie gesagt, ich meinte damit nicht, das gesamte HTML so zu filtern, sondern in dem Fall speziell Anchor Links - und daher auch der Einwand, vermutlich(!) werden diese vom Forum selbst generiert - wenn man natürlich im Postcontent auf Links stößt - die nicht eine "Forum URL" beinhalten, darf man diese natürlich nicht verwerfen, sondern dann sind als externe Links, die schön aufbewahrt werden wollen, zu behandeln. Aber wie gesagt, auch das lässt sich leicht prüfen nachdem man die Treffer des Regex bekommen hat und abgleicht.

    Wobei ja und ja... im Post content ist das sowieso ein anderer Fall, wenn da User Links setzen wäre es natürlich reichlich dumm, diese auch zu filtern, selbst wenn sie "intern" sind.
    Gruß theSplit

  15. #40
    Mitglied Avatar von Amixor33
    Registriert seit
    Apr 2018
    Ort
    BY, BW, HE
    Beiträge
    809

    Re: GIGA Forum wird abgeschaltet

    Egal was am Ende raus kommt, ich sag trotzdem schon mal danke.
    ... dann fangen wir halt nochmal von vorne an ...

  16. #41
    SYS64738

    Moderator

    Avatar von thom53281
    Registriert seit
    Jul 2013
    Beiträge
    4.757
    ngb:news Artikel
    43

    Re: GIGA Forum wird abgeschaltet

    Zitat Zitat von electric.larry Beitrag anzeigen
    Hat von euch jemand bei GIGA eigentlich einmal nachgefragt, ob die einen DB Dump rausgeben würden?
    Schon alleine weil beispielsweise auch PN, Mailaddys und Passwörter in der DB gespeichert sind, wird das vermutlich nicht so einfach gehen.

  17. #42
    Pottblach™ Avatar von Bruder Mad
    Registriert seit
    Jul 2013
    Ort
    Mitten im Pott!
    Beiträge
    15.201
    ngb:news Artikel
    1

    Re: GIGA Forum wird abgeschaltet

    Nette Musikauswahl bei euch drüben auf dem Spielplatz!Name:  pulle.gif
Hits: 219
Größe:  6,0 KB

    Der Verantwortliche möge bitte eine Playlist rüberwachsen lassen...

  18. #43
    Mitglied Avatar von Shaunie
    Registriert seit
    Apr 2018
    Ort
    Diekirch (Lux.)
    Beiträge
    912

    Re: GIGA Forum wird abgeschaltet

    Zitat Zitat von Bruder Mad Beitrag anzeigen
    Nette Musikauswahl bei euch drüben auf dem Spielplatz!Name:  pulle.gif
Hits: 219
Größe:  6,0 KB

    Der Verantwortliche möge bitte eine Playlist rüberwachsen lassen...
    Mmhhh, ja bis zum Ende ne sehr nette Idee...mal was Neues um endgültig Tschüss zu sagen......aber die Farben stören dann doch ein bisschen!

  19. #44
    Pottblach™ Avatar von Bruder Mad
    Registriert seit
    Jul 2013
    Ort
    Mitten im Pott!
    Beiträge
    15.201
    ngb:news Artikel
    1

    Re: GIGA Forum wird abgeschaltet

    Farbwechsel hab ich nur auf einigen Seiten. Stören aber nicht, ich habs nur im Hintergrund laufen wegen der Musik...

  20. #45
    gesperrt
    Registriert seit
    Mar 2015
    Ort
    FFM (NSFW)
    Beiträge
    5.741
    ngb:news Artikel
    4

    Re: GIGA Forum wird abgeschaltet

    Zitat Zitat von thom53281 Beitrag anzeigen
    Schon alleine weil beispielsweise auch PN, Mailaddys und Passwörter in der DB gespeichert sind, wird das vermutlich nicht so einfach gehen.
    Reicht ja, wenn's die Post-Datenbank und die Zuordnung ID→Username ist, oder?

  21. #46
    Mitglied Avatar von Shaunie
    Registriert seit
    Apr 2018
    Ort
    Diekirch (Lux.)
    Beiträge
    912

    Re: GIGA Forum wird abgeschaltet

    Zitat Zitat von Bruder Mad Beitrag anzeigen
    Farbwechsel hab ich nur auf einigen Seiten. Stören aber nicht, ich habs nur im Hintergrund laufen wegen der Musik...
    Oh, wenn es nur wegen der Musik ist aber ich finde die vielen Farbwechsel etwas verwirrend......da wird man schon etwas durcheinander!

  22. #47

    Re: GIGA Forum wird abgeschaltet

    @Amixor33:

    Übrigens gerade deinen Abschiedsthread gelesen, es war mir eine Ehre in deinem peinlichsten Thread das letzte Wort gehabt zu haben, bevor keth dicht gemacht hat. :uglysad:


    Wirklich schade drum, so viele tolle Leute sind gekommen und gegangen und die administrative Lücke die keth hinterlassen hat konnte leider auch niemand mehr schließen, schade um sein Baby.

  23. #48
    Bot #0384479 Avatar von BurnerR
    Registriert seit
    Jul 2013
    Beiträge
    4.505
    ngb:news Artikel
    2

    Re: GIGA Forum wird abgeschaltet

    Nur mal so unter uns... euch ist schon klar, dass jetzt letztendlich niemand eine Kopie erstellt hat, ja?
    Für diesen Beitrag bedankt sich sia

  24. #49
    Boomer ♪♪♫♪♫♫♪

    News-Redakteur

    Avatar von KaPiTN
    Registriert seit
    Jul 2013
    Beiträge
    18.963
    ngb:news Artikel
    25

    Re: GIGA Forum wird abgeschaltet

    Man muß auch lernen loslassen zu können.
    Für diesen Beitrag bedanken sich Bruder Mad, darksider3, BurnerR, sia, Shaunie
    J'irai pisser sur votre bombes
    You can educate a fool, but you cannot make him think

  25. #50
    Mitglied Avatar von Chogall
    Registriert seit
    Apr 2018
    Ort
    Bremen
    Beiträge
    99

    Re: GIGA Forum wird abgeschaltet

    Jetzt ist es wohl vollbracht!

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •