Seite 3 von 3 ErsteErste 123
Ergebnis 51 bis 75 von 75

Thema: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

  1. #51
    in Schwarz

    Moderator

    Avatar von LadyRavenous
    Registriert seit
    Dec 2016
    Ort
    hello world
    Beiträge
    1.009
    ngb:news Artikel
    1

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Ich wundere mich nicht, dass das Projekt etwas unpopulär ist. Mal will nicht, dass Daten über sich akkumuliert gezeigt werden. Dass Opt-out vielleicht etwas dämlich ist (vor allem mit Bedanken) und spätestens wenn das Projekt fertig ist, man es ordentlich ankündigen sollte, sind zwei andere Dinge.

    Aber ich gebe electric.larry recht. Die Daten sind öffentlich zugänglich und jeder könnte diese Informationen zusammentragen und damit ein Profil erstellen. Und beim Fremden hat man keine Möglichkeit opt-out zu sagen. Für alle, die das Video noch nicht gesehen haben, kann ich SpiegelMining empfehlen.

    Vielleicht kann man so Splits Projekt nutzen, um zu sehen, ob man zu viele Informationen herausgibt oder nicht.
    Geändert von LadyRavenous (27.10.17 um 17:28 Uhr) Grund: Link hinzugefügt
    "Das Internet? Gibts diesen Blödsinn immer noch?"
    Homer Simpson, Sicherheitsinspektor im Kernkraftwerk Springfield

  2. #52
    1998

    Veteran

    (Threadstarter)

    Avatar von theSplit
    Registriert seit
    Aug 2014
    Beiträge
    4.069
    ngb:news Artikel
    1

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    @Eraser - Bitte entspann dich doch etwas...., dein Opt out wird auch akzeptiert - und ich werde das auch berücksichtigen und mich daran halten. Ich habe nirgendwo geschrieben das ich mich nicht daran halten werde.

    Das einzige was ich in diesem Zusammenhang jedoch kritisiere ist - die Platform hier ist öffentlich einsehbar, ob jetzt jemand Zettel und Stift in die Hand nimmt oder das elektronisch verarbeitet (für Selbstwecke oder gar weil er beim BND/NSA/KGB arbeitet) sollte eigentlich keinen Unterschied spielen - die Informationen sind nun einmal da und die denkt sich auch niemand aus weil wir (ich auch) diese preisgeben bzw. uns öffentlich, jeder kann auf das Forum zugreifen der die URL kennt oder bei Google/Archive oder sonst wo danach sucht, unterhalten.

    Das Internet ist kein rechtsfreier Raum mehr, aber es ist nach wie vor öffentlich und alles was man im Internet publiziert, kann auf einen selbst zurückfallen. Im guten wie im schlechten, das solltest du auch wissen. Und ja, die Erfahrung ist nicht schön, aber frag mal Personalleiter wie oft die jemanden googlen.... oder das es schon Kündigungen wegen Äußerungen im Internet gab. Und eigentlich weis das Projekt doch genau darauf hin. (Das haben andere auch bereits mehr oder minder erwähnt)

    ---
    @Dexter - auf was genau sollte ich genauer eingehen? Ich versuchs gerne, wenn du mir sagst was dir wichtig erscheint. Ich kann dir allerdings noch nicht den schlussendlich gültigen Richtkurs geben, mit welchen öffentlichen Daten die Anwendung am Ende ausgestattet bzw. arbeiten wird, je nachdem wie flexibel es programmiert ist - nur soviel, was ein "unregistrierter" User auch sehen kann.
    Und ich bin mir noch nicht 100% im eindeutigen klaren, welche Fragen man letztlich "versucht" damit zu beantworten bzw. ob das berechtigte Rückschlüsse ziehen lässt die dann auch Hand und Fuß haben.

    ---

    @all:
    Zum Thema Datensammlung/Datenschutz generell und auch mal als Hinweise:
    Ich hatte nicht vor Daten zu veröffentlichen. Es wurden nur stimmen hier laut, das andere daran interessiert zu sein scheinen , weil Entwickler oder einfach eine interessierte User - diese auch zu erhalten bzw. darauf zugriff zu bekommen. Wenn das auf zu große Ablehnung stößt, wird nichts meinen Computer verlassen.

    Das ist ein reines "Freizeitprojekt", ich arbeite weder für ein Staatsorgan noch einen werbetreibenden der zielgruppenorientiert Werbung schalten will und auch nicht für eine Studium/Bachelor oder Diplomarbeit in einem relevanten Bereich oder bei jemanden der diese Daten verkaufen will. Ich erste Linie geht es mir um die Entwicklung, um die Problemstellungen, Lösungen, Aufbereitung und "alles was in so einem Umfang dazu gehört und an so einem Projekt dranhängt". Ohne kommerziellen Hintergedanken.

    Ich würde mir aber dennoch gern das recht erlauben wollen, deßhalb auch das explizite "Opt-out" - gewisse "Videos" (zum Beispiel das Analysetool im Einsatz oder "Resultate") hier zu veröffentlichen, wer dem nicht zustimmt, soll sein Veto einlegen und dann anonymisiere ich dies in diesen Videos bzw. "Präsentationen".

    Ein Opt-In sehe ich deßhalb als nicht korrekt an, weil jeder der hier schreibt schon, wie gesagt wurde von anderen hier, weiß, das all Beiträge, Benutzername und andere Details bereits öffentlich einsehbar sind bis auf die Profile. Aber bevor mir nur der Satz herausgerissen wird, das ist sicherlich keine direkte Erlaubnis die Daten abzugreifen, zu speichern und zu verarbeiten - aber es ließe sich auch nicht effektiv verhindern ohne das Board in seiner Grundfunktionalität massiv einzuschränken, alles aus Google zu löschen und selbst dann kann es irgendwo anders schon Kopien geben von dem was bereits gesagt wurde.

    Nur weil dies hier debattiert wird, heißt es nicht das es nicht schon so etwas gibt und aktiv "gegen" euch und mich auch eingesetzt wird oder sonst wo verarbeitet wird. Und wenn, dann vermutlich auf einem viel konkreterem Level. Facebook/Instagram und Twitter veröffentlichen auch im großen Stil und dort ist man auch öffentlich - daher der Einwurf, man sollte dazu stehen was man sagt - so viel "erzieherische Maßnahme" hat das Thema leider. Und wie gesagt, niemand möchte in ein schlechtes Licht gerückt werden, das kann ich auch für mich selbst sagen.

    Und ein wichtiger Hinweis auch dazu:
    --- Was die Aussagekraft anbelangt, ich nehme Ausschnitte, und je nachdem wie die Inhalte verarbeitet werden, ergeben sich konkrete bzw. einige Aussagen, das kann zutreffen, muß aber nicht. Es spiegelt mit Sicherheit nicht jede Handlung 1 zu 1 wieder - einmal kann das System Fehler aufweisen oder eine Berechnung, auf der anderen Seite wird nicht das ganze Board unter betrachtung gezogen, sondern wirklich nur bestimmte Themen die einen Teil dessen abbilden, was hier wirklich passiert.

    Eine derartige Auswertung kann jemanden aber auch einen Spiegel vorhalten. Das dies nicht jeder sehen will, verstehe ich.

    Wenn mich persönlich jemand fragen würde nach einem Jahr "NGB-Bar" wie oft ich bestimmte Wörter wie Bier, Alkohol, Alki, Idiot oder sonst etwas in den Mund genommen habe, ja, da würde mich vermutlich auch anders werden. Aber wie gesagt, es sollte nicht dazu dienen jemanden anzugreifen oder runter zu buttern.

    Ich gebe zu, es fällt schwer auszuwählen, was man laut sagen darf und was man besser nicht mit einbringen sollte, also welche Informationen sind "okay" und was kann jemanden ernsthaft angreifen...

    Allerdings sehe ich das auch in etwa so, wenn ich in einem bestimmen Licht gesehen werden will, muß ich mich auch so ausdrücken bzw. verhalten. Dann kann auch niemand etwas anderes darüber sagen.

    Und wenn ich mich öffentlich Äußere, muß ich mit Reaktionen rechnen.

    ---

    @Meta: Ein Thema/Thread ist ein Datensatz, jedoch unter der Ausnahme, nicht jeden erdenklichen Thread im Forum auszugraben - so ist es ausgelegt.

    Für mich war eigentlich von Anfang an am interessantesten: Welche "Hotspots" gibt es thematisch, das sind nicht nur große Threads, aber auch die Gruppendynamik, gibt es Meinungsführer, wer hängt mit jemand anderem "thematisch" oder inhaltlich dicht zusammen bzw. bei wem ist dies sehr offensichtlich? Das meine ich mit "Social Map/Interaktions Ansicht".

    Es geht nicht darum eine Userkarte des gesamten Boards zu erstellen sondern wirklich stark reduziert auf bestimmte ausgesuchte Themen. Deßhalb meinte ich auch, ein Datensatz ist ein Thema, aber das umfasst nicht jedes Thema des Forums.
    Geändert von theSplit (27.10.17 um 16:47 Uhr)
    Gruß theSplit
    @ I'm the whisper in the wind, the tear on the land, the scream in the sky - the blood youve shed @
    +++ Aktuelle IT-Talents Code Competion 2018 +++ NGB-Statistik Opt-Out/Anonymisierung +++ KISS Ebook Starter [Linux] +++ Browser Add-on: Flag cookies +++ weitere Projekte auf Github +++

  3. #53
    gesperrt
    Registriert seit
    Feb 2017
    Ort
    Ostberlin
    Beiträge
    843

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Zitat Zitat von theSplit Beitrag anzeigen
    Welche "Hotspots" gibt es thematisch, das sind nicht nur große Threads, aber auch die Gruppendynamik, gibt es Meinungsführer, wer hängt mit jemand anderem "thematisch" oder inhaltlich dicht zusammen bzw. bei wem ist dies sehr offensichtlich? Das meine ich mit "Social Map/Interaktions Ansicht".
    Und dafür brauchst du ein Tool? Um rauszufinden, dass Moderatoren und ältere User häufiger geliked werden als andere? Postingfrequenz als Funktion einer "Meinungsführerschaft"? Wer hockt mit wem zusammen? Wer produziert die meisten Einzeiler und wird dafür trotzdem am meisten geliked?

    Meine Güte. Ich bin ein bißchen perplex.

  4. #54
    1998

    Veteran

    (Threadstarter)

    Avatar von theSplit
    Registriert seit
    Aug 2014
    Beiträge
    4.069
    ngb:news Artikel
    1

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    @Meta: Ja und nein, es geht auch um andere Statistiken zu einem Thema, wenn du dir zehn Minuten Zeit nimmst und die Videos bzw. auch die Screenshots mit "Statistiken" ansiehst auf den ersten Seiten, stellst du vielleicht fest das es noch weitere Kriterien gibt die ich bereits mit einbeziehe bzw. zum "testen" berechnet habe. Zum Beispiel wie viel von sind gelöscht oder gesperrt und wie viel haben gelöschte/gesperrte Beigetragen.
    Im weiteren wird ja bereits gespeichert, welches Vokabular hatten diese, und wie hoch war die Resonanz (zum Beispiel wenig Beiträge, aber eine hohe Zustimmung) und was wurde gesagt? Ich glaube das kann man endlos spinnen.

    Ich habe keine Roadmap welche Fragen ich explizit stellen will. Die zitierten sind nur die, die ich auf den ersten Blick interessant gefunden habe, wenn man sich mehr mit dem Thema auseinandersetzt, kann man dies sicher auch noch weiter herunterbrechen. Zum Beispiel die "Tonalität" (Buzzwords) in einem Thema und wer diese verwendet. Oder wer bedankt sich auf welches Post und welche Wörter enthielt dies, folglich, reflektiert das eine Meinung und wie ist die Deckung mit dem gesamten Thema?

    Wie man es im Detail macht, sollte sich ergeben denke ich, und anhand der Daten könnte man dann auch andere Fragen stellen, nur müssen die erfasst sein.

    Es geht nicht nur um "Danke" schöns.... das wäre zu einfach, wobei das auch ein Indikator ist in welche Richtung jemand bzw. ein User tendiert. Das kann Situationsbedingt sein, kann aber auch eine generelle Aussagekraft haben - je nachdem wie man den Fokus liegt.

    Wie genau man die Faktoren da einspielen lässt, ist noch sehr weit offen, sicherlich hatte ich schon eine gewisse Erwartungshaltung, aber je mehr man dreht und wendet, ergeben sich ja mit dem gleichen Datensatz bzw. mit etwas Erweiterung, ganz andere Möglichkeiten bzw. Deutungsmöglichkeiten und die Auslegung kann variieren.

    Aber die Aggregation der Daten und Speicherung dieser, ist nur ein Teil, der zweite Step wäre, eine Software zu entwickeln, die mit diesen Daten arbeiten kann und neben den bereits bekannten Statistiken auch erlaubt, mit den Daten zu arbeiten. Das heißt man wäre nicht mehr limitiert auf "ich schreibe code um eine Frage zu beantworten", sondern ich verknpüfe gewisse Faktoren bzw. setzte diese in Beziehung. Visualisiere das in einer bestimmten Form und kann darin vielleicht sogar navigieren bzw. erhalte andere "Hintergrundinformationen" über einzelne Positionen und wie sich diese zueinander oder untereinander verhalten.

    Diese "Kreis"formation, war nur ein Test. Einfach um zu schauen, wie wäre es wenn ich es so visualisiere? - Ergibt sich daraus ein Bild, was sagt dieses aus? Ich habe ja nicht direkt kommentiert, evtl. Rückschlüsse kann jeder für sich selbst ziehen.

    Im übrigen, ist die Einbeziehung der Postingfrequenz wichtig, aber nicht direkt ausschlaggeben, siehe das was ich zu erst sagte, wenig Beiträge aber eine hohe Zustimmung. Das sagt doch aber vielleicht schon etwas über eine Person aus, sagt nicht viel, sagt aber etwas scheinbar "korrektes" (innerhalb des Kontexts).
    Ob man dann daraus eine inhaltliche Analyse macht, und davon bin ich weit entfernt, ist dann wieder ein anderes Thema und beantwortet eine ganz andere Frage den man im Kontext mit dem Thema setzen muß, das analyisiert wird.

    Alles in allem nicht so einfach, als das man auf die schnelle "Sinnvoll" alle möglichen Fragen aus dem Ärmel schütteln kann.

    Und wie gesagt, sollte man mehrere Themen zusammenfügen, würde dies vermutlich das Bild auch wieder ganz anders aussehen lassen. Aber das ist wieder eines von vielen Features die mal da kommen könnten.... alles mit Arbeit verbunden.

    Aber falls jemanden etwas unter dem Nagel brennt, könnte man vielleicht auch Fragen sammeln, so lange man die auch nur irgendwie mit dem Datensatz beantworten kann und die Information "hinterlegt" ist.
    Gruß theSplit
    @ I'm the whisper in the wind, the tear on the land, the scream in the sky - the blood youve shed @
    +++ Aktuelle IT-Talents Code Competion 2018 +++ NGB-Statistik Opt-Out/Anonymisierung +++ KISS Ebook Starter [Linux] +++ Browser Add-on: Flag cookies +++ weitere Projekte auf Github +++

  5. #55
    gesperrt
    Registriert seit
    Feb 2017
    Ort
    Ostberlin
    Beiträge
    843

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Hört sich nach viel Arbeit für an. Und reamortisieren wirst du das nie. Gibst nämlich alles schon: Facebook™, Google+™, Twitter™ ... haben da Riesen-Teams dran,... es sei denn, du gehst unter die Data-Miner. Und du weißt schon, dass das oft (nicht immer: Gesundheit, Umwelt, HWZ von Zivilisationen u.ä.) die Bösen sind?

  6. #56
    1998

    Veteran

    (Threadstarter)

    Avatar von theSplit
    Registriert seit
    Aug 2014
    Beiträge
    4.069
    ngb:news Artikel
    1

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    @Meta: Es wird viel Arbeit, aber ich hoffe natürlich auch viel zu lernen, ganz einfach weil mich auch die Programmierung interessiert und wie gesagt auch eine mögliche Visualisierung oder mehrere... viel Arbeit.

    Ich bekomme dafür nichts, aber es ist auch nur ein Hobbyprojekt und ich hoffe davon zu lernen. Das mache ich ja nicht weil mir jemand im Nacken sitzt und ich muß, ich hab einfach Bock drauf
    Auch wenn ich nicht 100% meiner Freizeit dafür widme.... es gibt ja noch ein paar andere Sachen die dazwischen kommen oder man hat einfach mal keinen Bock... weil der Tag sonst auch viel geboten hat.

    Data-Miner müssen wie SEO oder Security oder andere Themen ja nicht nur dazu genutzt werden, etwas oder jemanden zu schädigen... oder mit Werbung zu belästigen, da kommt es wohl darauf an, was die konkrete Fragestellung ist und was das Werkzeug erreichen soll/kann, zum Beispiel um etwas zu verbessern.

    Ich glaube man kann "wissen" immer für oder gegen etwas einsetzen, da kommt es auf die Ethik an, die man vertritt.

    Entweder ich penetriere ein Netzwerk, weil ich dessen schwächen wissen will und diese stopfen möchte oder helfen will, oder ich will einbrechen, Daten stehlen oder etwas löschen bzw. ausspionieren... also auch die eigene Motivation.
    Gruß theSplit
    @ I'm the whisper in the wind, the tear on the land, the scream in the sky - the blood youve shed @
    +++ Aktuelle IT-Talents Code Competion 2018 +++ NGB-Statistik Opt-Out/Anonymisierung +++ KISS Ebook Starter [Linux] +++ Browser Add-on: Flag cookies +++ weitere Projekte auf Github +++

  7. #57
    gesperrt
    Registriert seit
    Feb 2017
    Ort
    Ostberlin
    Beiträge
    843

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Es war auch nur eine rhetorische Frage. Vergiß es
    Für diesen Beitrag bedankt sich theSplit

  8. #58
    Mitglied Avatar von bibone
    Registriert seit
    Jul 2014
    Ort
    FOH
    Beiträge
    198

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Was passiert denn hier nun..?

    Statistiken wer hier wen lieb hat...oder halt nicht...?

    Das wird der Todesstoss für unser Board...

  9. #59
    1998

    Veteran

    (Threadstarter)

    Avatar von theSplit
    Registriert seit
    Aug 2014
    Beiträge
    4.069
    ngb:news Artikel
    1

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    @bibone: Ich verstehe dich gerade nicht ob das ironisch oder ernst gemeint ist ob das der "Todesstoss" sein wird.

    Ich habe schon versucht zu erklären, es wird nicht das gesamte Board unter die Lupe genommen, das ist nicht Ziel der Sache, es geht nach wie vor um eine Handvoll von Themen, die aber stellvertretend sein können, aber nicht sein müssen. Es wird aber also nicht die Aussagekraft haben das man am Ende 100% weiß wer hier mit wem im Bett liegt... sondern nur einen kleinen Teil reflektieren - und nur weil jemand jemanden in einem Thema lieb hat, sagt das nicht zwingend das es immer so ist. Meinungen können auch auseinander gehen, genau so wie sich sich überschneiden können in einer Thematik.
    Von daher würde ich etwas Entwarnung geben wollen das man 100% Aussagen treffen könnte...

    Zum Thema was passiert hier nun: Es ist alles work in progress - auf unbestimmte Zeit und viel Theorie, mit anderen Worten Zukunftsmusik.
    Gruß theSplit
    @ I'm the whisper in the wind, the tear on the land, the scream in the sky - the blood youve shed @
    +++ Aktuelle IT-Talents Code Competion 2018 +++ NGB-Statistik Opt-Out/Anonymisierung +++ KISS Ebook Starter [Linux] +++ Browser Add-on: Flag cookies +++ weitere Projekte auf Github +++

  10. #60
    Mitglied Avatar von bibone
    Registriert seit
    Jul 2014
    Ort
    FOH
    Beiträge
    198

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Es war schon ein wenig überspitzt gemeint...
    ...aber eben nicht ganz...

    Ich habe den ganzen Thread aufmerksam gelesen...
    ...auch die zweifelhafte Möglichkeit der Anonymisierung...

    Ich sehe auch nicht wirklich eine Gefahr des Datenmissbrauchs...

    ...aber nach MEINEM Dafürhalten fühlt sich das ganze Ansinnen innerhalb genau diesen Boards total falsch an...
    ...und ich z.B. bin ausschliesslich hier unterwegs um mich gut zu fühlen...

  11. #61
    ♪♪♫♪♫♫♪ Avatar von KaPiTN
    Registriert seit
    Jul 2013
    Beiträge
    7.815
    ngb:news Artikel
    6

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Dabei ist es noch recht wenig aussagekräftig, wenn man nur für einzelne Threads anschaut, wer wen wie oft zitiert hat.

    Ganz etwas anderes wäre aus meiner Sicht, wenn man bei einem User auf "Beiträge ansehen" gehen würde, diese komplett ausliest und dann eine Volltext suche laufen lassen würde.
    Was sagt der User zur AfD oder zu Flüchtlingen?

    Auch die Metadaten eines einzelnen Users ergäben einen schönen Graphen.
    a) einfach: x als Tage und y für die Anzahl der Beiträge
    b)schon besser: x als Tage und y als 24x60 Punkte um die Posts zeitlich nachzuvollziehen.
    J'irai pisser sur votre bombes
    You can educate a fool, but you cannot make him think

  12. #62
    1998

    Veteran

    (Threadstarter)

    Avatar von theSplit
    Registriert seit
    Aug 2014
    Beiträge
    4.069
    ngb:news Artikel
    1

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Zitat Zitat von bibone Beitrag anzeigen
    ...aber nach MEINEM Dafürhalten fühlt sich das ganze Ansinnen innerhalb genau diesen Boards total falsch an...
    ...und ich z.B. bin ausschliesslich hier unterwegs um mich gut zu fühlen...
    Ich kann das absolut nachvollziehen, ich will auch niemanden damit den Spaß verderben hier zu schreiben oder sich zu beteiligen.

    Aber eine Auswertung der zugänglichen Daten, würde im Endeffekt aufzeigen, wie viel Informationen man bereits preisgibt über sich/seinen Account bzw. wenn man gewisse Sachen in einen Kontext setzt, was ein Mensch auch sehen kann, wenn er mit einer gewissen Motivation ein Thema betrachtet und durchgehen würde oder explizit nach jemanden sucht.

    Es eröffnet ja auch keine Geheimnisse die nicht auch ohne Software/Werkzeuge ersichtlich wären, Software und Mensch haben die gleichen Informationen, das ganze ist nur etwas unemotionaler und nüchterner auf der Softwareseite und basiert dann halt auf harten Zahlen und oder Berechnungen, anstatt das ein Mensch dahinter sitzt der aus dem Kontext ersieht, "jemand war hier ironisch/sarkastisch/polemisch" - was aus einem Kontext bzw. dem Gesprächsverlauf kommen würde.

    Und das einzige was "hier" passieren würde, das statt eines Menschen der ein Thema durchgeht und sich seine Zusammenhänge spinnt, es eine Maschine/Software regelt soweit möglich.


    Zitat Zitat von KaPiTN Beitrag anzeigen
    Dabei ist es noch recht wenig aussagekräftig, wenn man nur für einzelne Threads anschaut, wer wen wie oft zitiert hat.
    Daher die Idee, Datensätzen kombinieren zu können, die Grundstruktur bleibt ja irgendwann gleich, ein Format dazu habe ich mir auch schon "ausgedacht"... zumindest so wie ich dann auch erlauben könnte, die Daten and Datentypen zu klassifizieren.

    Ganz etwas anderes wäre aus meiner Sicht, wenn man bei einem User auf "Beiträge ansehen" gehen würde, diese komplett ausliest und dann eine Volltext suche laufen lassen würde.
    Was sagt der User zur AfD oder zu Flüchtlingen?
    Das wäre zwar in gewisser Weise vielleicht möglich.... aber Volltextsuche hat meiner Meinung nach das Problem, das du wissen mußt nach was genau du suchst, und es würde ein komplette Profil erstellen, darum geht es aber nicht. In dem Kontext, das mich ein Thema interessiert,, zum Beispiel "Politik und Gesellschaft" -> "Drogenpolitik" - ist es für mich doch unerheblich ob jemand anderswo über "VW Golf 2" schreibt oder "umgebaute VW Busse"... in erster Linie geht es um ein Thema und was dort gesagt wird, da hat es auch Aussagekraft. - Ob jetzt jemand (tue ich auch manchmal) in einem anderen Thema auf das selbe Thema eingeht, obwohl das Thema ein anderer ist, liegt außerhalb des möglichen bzw. dessen, was ich aktuell tun möchte.

    Das Kombinieren von Themen wäre hingehend nur dann interessant, wenn man das mit den "Wer hängt mit wem dicht beieinander" (Zitate, +-Danke)- Kombiniert, dann aber bezogen auf mehrere Themen in einem Forumsbereich, zum Beispiel 3-4 Themen im P&G.

    Auch die Metadaten eines einzelnen Users ergäben einen schönen Graphen.
    a) einfach: x als Tage und y für die Anzahl der Beiträge
    b)schon besser: x als Tage und y als 24x60 Punkte um die Posts zeitlich nachzuvollziehen.
    Die Postingzeit habe ich so noch nicht erfasst, rein der Vollständigkeit halber sollte man dies aber auch mit rein nehmen. Danke für den Hinweis.
    Die Idee zur Umsetzung, wäre wohl auch möglich, wobei mein erster Gedanke wäre, das nicht auf X als Tage laufen zu lassen, sondern ein Wochenprofil zu erstellen, heißt, X ist ein Fixwert von 7 Tagen und auf einer 24 Stunden Y Achse werden die Postingzeiten markiert.
    Weil je länger ein Thema an Tagen wird, desto "größer" wird die Breite der Daten... genauso kann man nicht "stupide" aufs Thema betrachtet, nach der Postingzahl gehen, ich glaube hier muss man die Daten anders betrachten. außerdem geht es ja nicht darum zu sagen, am 24.10 war jemand circa. 1 oder 2 Stunden aktiv (2 Beiträge mit 1-2 Stunden "Pause" im Thema) und am 25.10 um 20 Uhr und 23 Uhr im Thema aktiv, das hat ja meiner Meinung nach weniger Relevanz als wenn man das auf eine Woche reduziert.

    Zum Thema Bundestagswahl, wäre das allerdings wieder doch etwas interessanter... wie du es vorschlägst. - Steht und fällt wohl was man sucht.

    Zum Beispiel, wann war die höchste Postingfrequenz, und wann die geringste "Beteiligung" bzw. wie hat sich das entwickelt (Trend), dann aber für alle Zusammengefasst betrachtet und nicht "pro Benutzer".
    Es geht nicht darum zu erfahren ob jemand Urlaub hatte, Krank war oder viel Freizeit hatte oder sonst was.... - zumindest "pro User", für eine Themenstatistik wäre das wieder relevanter.
    Geändert von theSplit (29.10.17 um 09:39 Uhr) Grund: Relevant für Themenstatistik zusatz
    Gruß theSplit
    @ I'm the whisper in the wind, the tear on the land, the scream in the sky - the blood youve shed @
    +++ Aktuelle IT-Talents Code Competion 2018 +++ NGB-Statistik Opt-Out/Anonymisierung +++ KISS Ebook Starter [Linux] +++ Browser Add-on: Flag cookies +++ weitere Projekte auf Github +++

  13. #63
    Hat keine Zeit :( Avatar von abflussrohr
    Registriert seit
    Aug 2013
    Ort
    Frankfurt
    Beiträge
    102

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Haha, das macht Spaß, in einem riesigen Berg Daten Korrelationen zu suchen. Ich hoffe sie passen alle in den Speicher, damit man schön rumslidern kann. Ich hab so was mal vor Jahren mit den kompletten Wikipedia-History-Daten gemacht (die damals leider nicht komplett in den Speicher gepasst haben). Bin gespannt welche kurzweiligen Ergebnisse das zutage fördert
    Für diesen Beitrag bedankt sich Roin

  14. #64
    Freier Denker
    Registriert seit
    Jul 2013
    Beiträge
    354

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Ich will auch mal meinen Senf dazu geben. Allerdings deutlich kürzer als hier so der ein oder andere Beitrag ist. Immerhin habe ich gerade über eine Stunde gebraucht diese Monsterbeiträge zu lesen.

    @theSplit:
    Schönes Projekt und ich verstehe auch, dass du erstmal eine Datenbasis aufbauen möchtest, anhand du dann schauen kannst, welche Fragen und besonders wie sie sich mit diesen Daten beantworten lassen. Ganz interessant und von meiner Seite aus ein ganz plausibles Projekt.

    @Shonan:
    Man o man. Da holst du aber direkt die ganz große Datenschutzkeule raus mit den einzelnen Artikeln und so. Ein schöner Exkurs aber, dass das hier so ausartet, habe ich nicht erwartet.

    @Anonymitäts-Fanatiker:
    Alles einsehbar, alles schon von Google und anderen Crawlern verdichtet. Das ist alles schon passiert. Nichts neues also. Man muss nur wissen, wo man suchen muss.

    ---
    Generel:
    Schade, dass ein Programmierthread zu einem Datenschutz-Thread wurde. Ja, ich verstehe den Zusammenhang und sehe ihn auch als wichtig an, aber so heftig? Naja - ich bin ja bei weitem nicht die einzige Meinung hier.

    Nochmal @theSplit: Schade, dass du bereits von vorne herein einer "Veröffentlichung" der Daten vorbeugst. Mich hätte das durchaus interessiert oder auch gerne die Entwicklung des Crawlers und der eventuellen Datenbank usw. dahinter interessiert.

    So - viel zu lang geworden. Ich werde wohl nur noch überfliegen, wenn überhaupt.
    Für diesen Beitrag bedankt sich electric.larry

  15. #65
    1998

    Veteran

    (Threadstarter)

    Avatar von theSplit
    Registriert seit
    Aug 2014
    Beiträge
    4.069
    ngb:news Artikel
    1

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    @Roin:
    Hi,

    danke für deinen Beitrag. Ich kann das Thema Datenschutz in so weit glaube ich nachvollziehen, als das niemand in einer DB oder in einem Datenformat mit seinen Informationen, außerhalb des Forums "veröffentlicht" werden möchte**

    Allerdings steht das nach wie vor im Krassen gegensatz zu Googles "I cache you"-Policy.
    Wenn das Forum mal down gehen sollte oder jemand seine Beiträge löscht oder seinen Benutzeraccount - wäre es bei nicht aktualisierten Themen in "anderen" Archiven oder erst mal nur Google möglich diese Information zu bekommen, es reicht die Suche nach einem Satzbau.

    Im weiteren kann ich auch verstehen wenn Leute damit ein Problem haben sollten, in eine Ecke gedrängt zu werden, durch eine Fragestellung - die ein Problem für sie schafft (zum Beispiel wer wettert am lautesten "gegen" Flüchtlinge") oder welche Wortwahl dominiert bei jemanden im "AfD Erfolge?"-Thema. Das kann alles sehr unbequem sein. - Aber deßhalb schrieb ich ja, das kann ein Mensch genau so bzw. noch viel genauer, wenn sich jemand die Mühe macht.

    Wie du selbst sagst ergeben sich die Fragen an den "Datensatz" in so fern on-the-fly, ich habe leider keinen Fragenkatalog erarbeitet, den ich hier präsentieren kann, was genau man "abhängig vom Thema" fragen bzw. mutmaßlich beantworten könnte oder was ich letztendlich glaube "Schlussfolgern (lassen) zu können".

    Und klar, jetzt kann man sagen das die Speicherung außerhalb des Forums auch gegen etwas verstößt, aber siehe Google, wird da irgendwas zensiert? Der Großteil rühmt sich mit Anonymität, was ja auch zutrifft so fern meine keine Daten heraus gibt die auf einen selbst Rückschlüsse ziehen lassen... aber dafür wäre man doch selbst verantwortlich. Google sagt ja auch nicht "sorry Sucher, der User XY ist nicht indiziert mit Posts", "weil der nicht anonym ist"...
    Von daher sehr widersprüchlich.

    Allerdings, da bin ich mir nicht sicher, kann man im Gegensatz zu einem auf "Portal X" (ich sage mal Github) hochgeladenen Datensatz einfach sagen "lösch das", weiß aber nicht wie viele Kopien es schon gibt... - aber ich weiß auch nicht wie Google das behandelt, wenn jetzt eine Löschanforderung von einem Forumbevollmächtigten kommen würde. Und natürlich weiß man auch darüber nicht wie viele Kopien es von den Daten überhaupt gibt oder wer oder was so etwas verwendet. (Ohne den Aluhut aufzusetzen).

    Sorry, wenn der Beitrag etwas lang ist, aber ich wollte das noch einmal ergänzen, da ich das Thema "Datenschutz" in so fern aber ernst nehmen würde.


    **, schon gar nicht über einen Downloadlink - dem Wunsch würde ich grundsätzlich auch nicht widersprechen - daher auch diese Opt-out Kiste. Wenn es wirklich aber mal so weit kommt.... sollte man (bzw. ich) das sicherlich noch viel "offizieller" machen bzw. auch hier mit der Moderation/Administration abklären, aber dann wird man auch mehr zum Projekt sagen können, auch etwas was mehr Hand und Fuß hat. Aber aktuell liegen gerade andere Dinge auf der Agenda und der Fortschritt im Projekt ist ziemlich langsam bis nicht vorhanden.
    Gruß theSplit
    @ I'm the whisper in the wind, the tear on the land, the scream in the sky - the blood youve shed @
    +++ Aktuelle IT-Talents Code Competion 2018 +++ NGB-Statistik Opt-Out/Anonymisierung +++ KISS Ebook Starter [Linux] +++ Browser Add-on: Flag cookies +++ weitere Projekte auf Github +++

  16. #66
    Hoster Freak Avatar von pspzockerscene
    Registriert seit
    Jul 2013
    Ort
    DE
    Beiträge
    676

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Mach' mal, finde ich interessant

    Grüße, psp

  17. #67
    Mitglied Avatar von bibone
    Registriert seit
    Jul 2014
    Ort
    FOH
    Beiträge
    198

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    ...lass es einfach sein...

  18. #68
    Mitglied Avatar von phre4k
    Registriert seit
    Mar 2015
    Beiträge
    4.776
    ngb:news Artikel
    4

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Zitat Zitat von Shodan Beitrag anzeigen
    Kommt zu uns, werdet Datenschützer. Wir haben Kekse.
    War gestern wieder bei euch drüben. Die Kekse sind sehr trocken und als ich zurückkam, wollte mir keiner mehr zuhören. Alle faselten irgendwas von "nichts zu verbergen"…
    Für diesen Beitrag bedankt sich dexter
    *mit Linux wäre das natürlich nicht passiert™
    Arguing that you don't care about the right to privacy because you have nothing to hide is no different than saying you don't care about free speech because you have nothing to say. – Edward Snowden
    kostenloses Webhosting für ngb-Mitglieder
    GCM/S/TW d s+:- a-----? C++$ UL+++$ P-- L+++ E---- W++++ !N ?K w- M-- !P[A-Z] Y++ PGP R* tv-- b++>++++ DI++\:\( G+ e+>++++ h*

  19. #69
    Cloogshicer®

    Moderator

    Avatar von dexter
    Registriert seit
    Jul 2013
    Beiträge
    1.730

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Zitat Zitat von Roin Beitrag anzeigen
    @Anonymitäts-Fanatiker:
    Alles einsehbar, alles schon von Google und anderen Crawlern verdichtet. Das ist alles schon passiert. Nichts neues also. Man muss nur wissen, wo man suchen muss.
    Du mich auch.
    Immerhin habe ich gerade über eine Stunde gebraucht diese Monsterbeiträge zu lesen.
    Hast Du nicht. Ok, vlt hast Du iwas gelesen, nur hast Du da keine Stunde gebraucht (es sei denn, Du liest seeeehr langsam). Verstanden hast Du jedenfalls nix.
    Wer nachts schläft, muss sich nicht wundern, wenn er tagsüber arbeitet!

  20. #70
    gesperrt
    Registriert seit
    Feb 2017
    Ort
    Ostberlin
    Beiträge
    843

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    theSplit redet über ein Projekt, das er vorhat.
    Müßte er ja nicht, könne einfach machen.
    Ist absolut okay
    Für diesen Beitrag bedankt sich electric.larry

  21. #71
    Lone Gunman Avatar von Shodan
    Registriert seit
    Jul 2013
    Ort
    Citadel Station
    Beiträge
    237

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Notice #20 : explicit opt-out received
    Für diesen Beitrag bedankt sich theSplit
    Geändert von Shodan (10.12.17 um 16:20 Uhr) Grund: redundancy
    Art. 6 der Richtlinie 2006/24 ist mit den Art. 7 und 52 Abs. 1 der Charta der Grundrechte der Europäischen Union unvereinbar, soweit er den Mitgliedstaaten vorschreibt, sicherzustellen, dass die in ihrem Art. 5 genannten Daten für die Dauer von bis zu zwei Jahren auf Vorrat gespeichert werden.
    Generalanwalt Pedro Cruz Villalón - Europäischer Gerichtshof

  22. #72
    1998

    Veteran

    (Threadstarter)

    Avatar von theSplit
    Registriert seit
    Aug 2014
    Beiträge
    4.069
    ngb:news Artikel
    1

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    @Shodan, ein wenig Angst machst du mir doch.... Cy....borg....
    Gruß theSplit
    @ I'm the whisper in the wind, the tear on the land, the scream in the sky - the blood youve shed @
    +++ Aktuelle IT-Talents Code Competion 2018 +++ NGB-Statistik Opt-Out/Anonymisierung +++ KISS Ebook Starter [Linux] +++ Browser Add-on: Flag cookies +++ weitere Projekte auf Github +++

  23. #73
    Mitglied Avatar von phre4k
    Registriert seit
    Mar 2015
    Beiträge
    4.776
    ngb:news Artikel
    4

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Reicht es nicht eigentlich, die Daten mit einem Tool zu scrapen und dann https://gephi.org drüber laufen zu lassen?

    Das macht ungefähr alles, was deine Visualisierung auch macht, nur in hübsch. Wenn dir dann in Gephi Funktionen fehlen, kannst du sie ja dort reinprogrammieren

    Den Scraper könntest du beispielsweise mit https://scrapy.org bauen und somit auch nicht das Rad neu erfinden. Python sollte schneller laufen als JavaScript im Browser. Alternative mit Javascript wäre, node.js zu nutzen.

    EDIT: Vielleicht könntest du dich mit deinem Scraping auf ein unverfängliches Unterforum, beispielsweise https://ngb.to/forums/67-Threadspiele, beschränken?
    Für diesen Beitrag bedankt sich theSplit
    Geändert von phre4k (28.12.17 um 10:06 Uhr)
    *mit Linux wäre das natürlich nicht passiert™
    Arguing that you don't care about the right to privacy because you have nothing to hide is no different than saying you don't care about free speech because you have nothing to say. – Edward Snowden
    kostenloses Webhosting für ngb-Mitglieder
    GCM/S/TW d s+:- a-----? C++$ UL+++$ P-- L+++ E---- W++++ !N ?K w- M-- !P[A-Z] Y++ PGP R* tv-- b++>++++ DI++\:\( G+ e+>++++ h*

  24. #74
    \''; DROP TABLE user; --

    Moderator

    Avatar von electric.larry
    Registriert seit
    Dec 2014
    Ort
    Raum 43
    Beiträge
    1.230
    ngb:news Artikel
    78

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Auf ein Unterforum beschränken? Mir kommt das ein bisschen so vor, als würde man sich die Augen zu halten und hoffen, dass einen die Anderen auch nicht sehen.

    Die Daten sind ja bereits offen ersichtlich da, nur eben in einem anderen Format, nicht so schön aufbereitet.
    Für diesen Beitrag bedanken sich theSplit, phre4k

  25. #75
    1998

    Veteran

    (Threadstarter)

    Avatar von theSplit
    Registriert seit
    Aug 2014
    Beiträge
    4.069
    ngb:news Artikel
    1

    Re: [Projekt] NGB-Statistik (Diagramme/Social Map/Interaktions View)

    Aktuell ruht das auf Eis.

    Zur Performance kann ich nur sagen, das spielt nicht wirklich eine tragende Rolle für das Scraping, ich hab a) eine mickrige Internetanbindung und b) wird man nach zu vielen Requests erstmal kurzerhand gebannt (hat sich ja etwas mit dem DDos überschnitten)...

    Wie dem auch ist,, von daher kann das Teil "sehr gemütlich" laufen...

    Ich habs aber auch nicht mit 10.000 Seiten Thema probiert, sondern maximal 500-750 vielleicht.

    Aber der RAM sollte schon etwas stemmen können... zu mal ja nicht die geschriebenen Sätze erfasst werden, sondern nur die Häufigkeit von Wörtern zu einer Person, für das gesamte Thema (Seiten übergreifend)

    Und Gephi ist Java-Code - wenn es etwas gibt was ich nicht mag, geschweige denn, nicht kann, dann das

    Andererseits wäre es ein gutes Forschungsobjekt mit Features und Visualisierungen, wie man so etwas aufbaut. Falls ich nochmal plane die Weltherrschaft zu übernehmen.
    Gruß theSplit
    @ I'm the whisper in the wind, the tear on the land, the scream in the sky - the blood youve shed @
    +++ Aktuelle IT-Talents Code Competion 2018 +++ NGB-Statistik Opt-Out/Anonymisierung +++ KISS Ebook Starter [Linux] +++ Browser Add-on: Flag cookies +++ weitere Projekte auf Github +++

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •