• Hallo liebe Userinnen und User,

    nach bereits längeren Planungen und Vorbereitungen sind wir nun von vBulletin auf Xenforo umgestiegen. Die Umstellung musste leider aufgrund der Serverprobleme der letzten Tage notgedrungen vorverlegt werden. Das neue Forum ist soweit voll funktionsfähig, allerdings sind noch nicht alle der gewohnten Funktionen vorhanden. Nach Möglichkeit werden wir sie in den nächsten Wochen nachrüsten. Dafür sollte es nun einige der Probleme lösen, die wir in den letzten Tagen, Wochen und Monaten hatten. Auch der Server ist nun potenter als bei unserem alten Hoster, wodurch wir nun langfristig den Tank mit Bytes vollgetankt haben.

    Anfangs mag die neue Boardsoftware etwas ungewohnt sein, aber man findet sich recht schnell ein. Wir wissen, dass ihr alle Gewohnheitstiere seid, aber gebt dem neuen Board eine Chance.
    Sollte etwas der neuen oder auch gewohnten Funktionen unklar sein, könnt ihr den "Wo issn da der Button zu"-Thread im Feedback nutzen. Bugs meldet ihr bitte im Bugtracker, es wird sicher welche geben die uns noch nicht aufgefallen sind. Ich werde das dann versuchen, halbwegs im Startbeitrag übersichtlich zu halten, was an Arbeit noch aussteht.

    Neu ist, dass die Boardsoftware deutlich besser für Mobiltelefone und diverse Endgeräte geeignet ist und nun auch im mobilen Style alle Funktionen verfügbar sind. Am Desktop findet ihr oben rechts sowohl den Umschalter zwischen hellem und dunklem Style. Am Handy ist der Hell-/Dunkelschalter am Ende der Seite. Damit sollte zukünftig jeder sein Board so konfigurieren können, wie es ihm am liebsten ist.


    Die restlichen Funktionen sollten eigentlich soweit wie gewohnt funktionieren. Einfach mal ein wenig damit spielen oder bei Unklarheiten im Thread nachfragen. Viel Spaß im ngb 2.0.

[Pixray] böse Bots aussperren, IPtables, etc

accC

gesperrt

Registriert
14 Juli 2013
Beiträge
5.250
Zunächst: Es geht hier um das Aussperren des Pixray bots.

Wer nicht weiß, was Pixray ist, ein ganz tolles Unternehmen, welches sich das Aufspühren urheberrechtlich geschützter Bilder zur Aufgabe gemacht hat und dabei gerne in regelmäßigen Abständen Webseiten nach Bildern seiner Auftraggeber absucht. Wer sich eine Webseite voller Rechtschreibfehler reinziehen möchte, kann sich ja mal die deutsche Webpräsenz dieses Unternehmens anschauen: www.pixray.com/de


Natürlich kann ich den Sinn und den Hintergrund verstehen, warum man versucht auf diesem Wege Urheberrechtsverletzungen zu suchen, zu erkennen und dagegen vorzugehen. Allerdings geht es mir hier um mehrere Dinge:

A. Zahle ich keinen Traffic, damit ein bescheuertes Unternehmen meinen Server mit sinnbefreiten Anfragen zuspammen kann.
B. Möchte ich dann doch Hausrecht auf meinem Server ausüben, was für mich bedeutet, dass ich mir aussuchen kann, wem ich Einlass gewähre und wem nicht. Insbesondere möchte ich Pixray keinen Eintritt gewähren.

Kurz, ich würde gerne den Pixray Bot aussperren.

Nun sehe ich hier zwei Möglichkeiten:
1. IP sperren (IPv4)
2. User Agent aussperren

Da der User Agent lediglich ein netter Hinweis vom Bot ist und kaum als sicheres Erkennungsmerkmal betrachtet werden kann, fällt diese Methode flach.
Bezüglich IP Sperren ist wohl auch klar, dass es wohl eher ein Tropfen auf den heißen Stein ist, jede einzelne IP Adresse von Pixray zu sperren.

Daher habe ich mir überlegt die Kanonen auf Spatzen - Methode zu verwenden. Der Pixray bot kommt lediglich über das Hetzner Netz und weil ich keine erwünschten Besucher aus diesem Netz erwarte, würde ich gerne sämtliche IP-Bereiche, die von Hetzner vergeben werden, aussperren.
Leider habe ich bisher allerdings keine Liste dazu gefunden. Über RIPE habe ich nur heraus gefunden, dass man wohl für einzelne IPs abfragen kann, wer diese vergibt, eine Anbieter -> Sämtliche IP Subnetze Abfrage scheint es da jedenfalls auf den ersten Blick nicht zu geben.

Falls jemand von euch Informationen dazu hat, welche IPAdress-Bereiche von Hetzner vergeben werden, würde ich mich über Hinweise freuen.
 

Boesmann

Aszendent Stör

Registriert
15 Juli 2013
Beiträge
521
Bist du dir wirklich sicher, dass keine legitimen Besucher aus den fraglichen IP-Ranges kommen können?
 

Kugelfisch

Nerd

Registriert
12 Juli 2013
Beiträge
2.342
Ort
Im Ozean
Um die ursprüngliche Frage zu beantworten - unter http://bgp.he.net/AS24940#_prefixes sind alle IPv4-Netze gelistet, welche AS24940 (Hetzner Online AG) im BGP announced. Allerdings würde ich von einem globalen Block ebenfalls abraten, da dadurch z.B. auch Nutzer von Anonymisierungsdiensten, welche einen Server bei Hetzner als Hop nutzen, ausgeschlossen werden.
 

accC

gesperrt

Registriert
14 Juli 2013
Beiträge
5.250
  • Thread Starter Thread Starter
  • #4
Da ich (mal abgesehen von Google und Bing) prinzipiell keine Bots erwarte und ich auch nur ungerne Besucher habe, die VPNs/ Proxys verwenden - ja.
Zumal lediglich HTTP/ HTTPs Zugriffe gesperrt werden, Emails aus den Netzen wären von der Sperre natürlich ausgenommen. ;)
Sollte dennnoch ein legitimer Besucher aus diesem Netz kommen, wäre der dadurch entstandene Schaden durchaus verkraftbar.


@Kugelfisch: Danke :)
 
Zuletzt bearbeitet:

gelöschter Benutzer

Guest

G
Kannst ja ne Umleitung auf ne Seite a la "wenn du kein UrheberBot bist, sende uns bitte eine eMail an info@pixray.com und sage uns, wie scheiße unsere Software ist" einrichten.
 

LemonDrops

Neu angemeldet

Registriert
20 Juli 2013
Beiträge
543
Du weißt nicht welche IPs Suchmaschinen nutzen. Wenn eine merkt, dass sie mit bestimmten IPs nicht auf die Seite kommt, bekommst du Probleme.
 
Zuletzt bearbeitet:

accC

gesperrt

Registriert
14 Juli 2013
Beiträge
5.250
  • Thread Starter Thread Starter
  • #7
@phre4k: Ich glaube das wäre eine Aufforderung zur Computersabotage / Spam und ich glaube dann könnte ich ggf. Ärger bekommen. ;)

@LemonDrops: Bitte was? - Hausrecht, Ende jeder Diskussion.
Welche Art von Problemen meinst du?
Die, dass Suchmaschinen mich abwerten können?
Ich glaube bingbot/ google werden mich nicht über Hetzner IPs besuchen, falls doch, wäre es mir dann aber doch recht egal.
Zumal sich die "guten Suchmaschinen" ohnehin an die robots.txt halten und daher gar nicht erst versuchen meine Seite zu crawln.
Eine Suchmaschine, die sich nicht an die Spielregeln hält, wird eben gänzlich ausgeschlossen und wenn ich von Blacklisting auf Whitelisting umsteigen und das komplette Internet aussperren muss, irgendwann kann sich weder Hetzner noch Pixray neue IP-Adressen besorgen. ;)
Rechtlich kann das auch keinen Ärger geben, denn Pixray ist ein Privatunternehmen, keine Behörde und es hat sicherlich keine besonderen Befugnisse. Ich übe lediglich Hausrecht. ;)
 

LemonDrops

Neu angemeldet

Registriert
20 Juli 2013
Beiträge
543
Du stehst auf verlorenem Posten. 40% des Internets bestehen aus Bots und spätestens wenn sich IPv6 durchgesetzt hat, gibt es mehr IPs als du sperren kannst. Wenn du willst dass Inhalte nicht von Bots gefunden werden, brauchst du mindestens eine Basic Authentication.
 

accC

gesperrt

Registriert
14 Juli 2013
Beiträge
5.250
  • Thread Starter Thread Starter
  • #9
Nun möglicherweise, allerdings solltest du überlegen, dass die IP Vergabe auch für IPv6 immer noch zentralistisch aufgebaut ist.
Selbst wenn man dann eine oder mehrere xx:*:*... Ranges bekäme, ließe sich diese blockieren. Ich will ja explizit den Bot von Pixray aussperren und nicht irgendeinen.
Solange der Pixray Bot ausschließlich über Hetzner kommt und ich damit leben kann, das komplette Hetzner-Netzwerk zu blockieren, sehe ich ich da weniger Schwierigkeiten.
 

braegler

Aktiver NGBler

Registriert
14 Juli 2013
Beiträge
904
Über IPT Drops auf folgende IPs bin ich PR losgeworden
176.9.0.12
176.9.0.121
176.9.0.13
176.9.19.103
176.9.26.213
176.9.26.236
176.9.26.237
176.9.26.238
176.9.31.201
176.9.31.202
176.9.31.203
176.9.31.204
176.9.7.28
188.40.65.130
188.40.66.214
188.40.85.200
46.4.116.100
46.4.118.74
46.4.118.75
46.4.119.231
46.4.121.154
46.4.125.109
46.4.19.85
46.4.92.140
46.4.92.141
5.9.25.64
5.9.25.65
5.9.25.66
5.9.25.67
5.9.25.68
5.9.25.69
5.9.25.70
5.9.25.71
5.9.25.72
5.9.25.73
5.9.25.74
5.9.25.75
5.9.25.76
5.9.25.77
5.9.25.78
5.9.25.79
5.9.25.80
5.9.25.81
5.9.25.82
5.9.25.83
5.9.25.84
5.9.25.85
78.46.90.27
81.30.151.218
88.198.64.132
88.198.64.3
88.198.65.99
88.198.67.134
88.198.67.197
 

accC

gesperrt

Registriert
14 Juli 2013
Beiträge
5.250
  • Thread Starter Thread Starter
  • #11
Bist du dir bei 81.30.151.218 sicher?
Die gehört zu myLoc und bisher habe ich zumindest noch keine Zugriffe von dieser Adresse protokollieren können.

@LemonDrops, Nachtrag:
Übrigens kannst du sehr wohl private IP-Bereiche immer noch von denen Unterscheiden, die für den "Servermarkt" vergeben werden. (Das machen die Emaildienste ja auch, pauschal aus dem privaten IP-Netz keine Emails annehmen.)
 

FTtk

FliegenToeter

Registriert
18 Feb. 2014
Beiträge
147
Nur damit ich das richtig verstehe: Die genannten IPs gehören zu Pixray? Würde die auch gerne aussperren wenn es denn so einfach geht :D
 

accC

gesperrt

Registriert
14 Juli 2013
Beiträge
5.250
  • Thread Starter Thread Starter
  • #15
Nur damit ich das richtig verstehe: Die genannten IPs gehören zu Pixray? Würde die auch gerne aussperren wenn es denn so einfach geht :D
Also ich habe die gepostete Liste mit meiner abgeglichen und habe die IPs auch alle in meiner Liste (allerdings bin ich mir nicht sicher, ob die alle zu Pixray gehören, ich habe präventiv das komplette Hetznernetzwerk ausgesperrt.
Ausnahme stellt 81.30.151.218 dar, die gehört meiner Information nach weder zu Pixray noch zum Hetzner-Netzwerk.

Was heißt so einfach, du musst halt dafür sorgen, dass dein Webserver keine oder nur noch bestimmte Anfragen aus diesem IP-Netz beantwortet. Ich habe das so gemacht, dass ich über die entsprechende Webanwendung filtere und dann eben weiterleite. Du könntest aber auch weiter oben (Webserver oder sogar Router/Firewall) ansetzen. Allerdings stört der Pixraybot mich nicht auf allen Angeboten, die ich vorhalte. Nur dort, wo auch user generated content existiert, möchte ich das Risiko nicht eingehen.


@accC: Jeder kann eine private IP nutzen wenn er will und jeder kann die IP eines Servers nutzen.

So what? Du hast recht, das kann jeder tun, aber genauso kann ich pauschal das Hetznernetzwerk aussperren und wenn ein Nutzer glaubt mich über dieses Netzwerk besuchen zu müssen, dann kann ich ihn aussperren. Das eine ist die Entscheidung des Nutzers, das andere ist meine Entscheidung. Also, wo ist das Problem?
 

LemonDrops

Neu angemeldet

Registriert
20 Juli 2013
Beiträge
543
Es gibt damit kein Problem per se, ich bezweifle nur den Erfolg. Du bastelst dir damit nur ein falsches Gefühl der Sicherheit. Sinnvoller wäre es einfach darauf zu achten, keine Bilder zu nutzen, die man nicht lizenziert hat. Ich kann mir kaum vorstellen dass die paar Cent an Traffic kosten relevant sein können. Allein die Zeit darüber nachzudenken ist teurer.
 

accC

gesperrt

Registriert
14 Juli 2013
Beiträge
5.250
  • Thread Starter Thread Starter
  • #17
Nun der Aufwand im Zweifelsfall jeden usergenerated content zunächst zu untersuchen und dann erst frei zu geben, rechnet sich allerdings nicht.
Es geht ja nicht darum, was ich selbst auf der HP online stelle, sondern was durch Dritte eingepflegt wird. Dafür hafte zunächst auch erst mal ich als Betreiber. ;)

Wie viel Traffic durch die Abrufe von Pixray entsteht und wie viel mich der Spaß kostet, sehe ich besser, als du, oder?
Unabhängig davon, ob das nun, wie du sagst, cent-Beträge oder Eurobeträge sind (eine größere Seite mit mehreren hunderten hochauflösenden Grafiken erzeugt da schon eine gute Last), ist es allerdings meine bewusste Entscheidung das nicht hinzunehmen.

Wie gesagt, Pixray scheint (meinen Logs nach) nur über das Hetzner-Netzwerk zu kommen, solange das der Fall ist, ist es recht simpel zumindest einen Basisschutz einzurichten. Natürlich ist es keine 100%ige Sicherheit, denn theoretisch könnten der Pixraybot auch über dynamische IP-Bereiche als Besucher kommen, das ist aber a. unwahrscheinlich und b. konnte ich das bisher nicht feststellen.
 

braegler

Aktiver NGBler

Registriert
14 Juli 2013
Beiträge
904
Ich spiel mal eine Runde Leichenschänder :)

Hier mal die Pixrays der letzten 72Stunden (aus den access.log(s) eines meiner Serverchen)
UA:waybackarchive
176.9.138.27 (157 Zugriffe) Hetzner
217.172.189.42 (48213 Zugriffe) PlusServer
5.199.136.130 (8713 Zugriffe) webtropia
 

godlike

Warp drölf
Veteran

Registriert
13 Juli 2013
Beiträge
14.327
Ort
Topkekistan
Natürlich ist es keine 100%ige Sicherheit, denn theoretisch könnten der Pixraybot auch über dynamische IP-Bereiche als Besucher kommen, das ist aber a. unwahrscheinlich und b. konnte ich das bisher nicht feststellen.
Ja, meinst du? Also ich würde das, als Entwickler eines solchen Bots, zu 100% so umsetzen. Doof sind die ja auch nicht :rolleyes:
 

alter_Bekannter

N.A.C.J.A.C.

Registriert
14 Juli 2013
Beiträge
4.824
Ort
Midgard
Weils am Rande ins Thema passt:

Wie kann ich möglichst zuverlässig alle [bekannten] Bots auf die harte Tour aussperren?

Ich betreibe ein sagen wir privates Angebot das nicht 100% mit allen Gesetzen die es so
gibt Konform geht...
Allerdings halt größtenteils sogar Sachen die nur durch "öffentliches" verteilen illegal werden
Also würde ich gern grossflächig alle IP's Blacklisten von denen keine Kundschaft zu erwarten
ist Kundschaft weiss eh an wen sie sich im Zweifel wenden soll, nämlich mich. Daher auch gerne
performante Lösungen die vielleicht etwas "zu grossflächig" aussperren.

Da die Domain möglichst wenig in Suchmascinen generell auftauchen soll hätte ich auch gerne
möglichst effiziente negative CEO. Unterschiedliche Seite für unterschiedliche IP's = ja aber gerne!
Für Menschen soll halt noch erkenntlich sein das es sich nicht um einen technischen Fehler handelt,
das ist alles.
 
Oben