[Born-IT] Wissenschaftler warnen vor KI und maschinellem Lernen in der Forschung

Wissenschaftler aus dem Bereich der Statistik haben gerade eine ‘rote Flagge’ gehisst und warnen eindringlich vor der Verwendung von Algorithmen zum maschinellen Lernen im Rahmen der Künstlichen Intelligenz (AI). In einigen Bereichen der biomedizinischen Forschung werden durch den Einsatz von →

Weiterlesen


Autor: Günter Born

 

[BurnerR]

Interessantes Problem. Ein umsichtiger Umgang mit ML/DL Techniken erzeugt gewiss keine Probleme, auf einen entsprechenden Umgang verlassen kann man sich jedoch leider nicht.

In der Wissenschaft ist zur Zeit eine Krise der Reproduzierbarkeit allgemein anerkannt”, sagte Allen gegenüber der BBC News. “Ich würde es wagen zu behaupten, dass ein großer Teil davon auf den Einsatz von maschinellen Lerntechniken in der Wissenschaft zurückzuführen ist.”

Diese Aussage ist jedoch schlicht falsch, die Reproduktionskrise hat diverse Gründe, hängt aber nicht mit ML zusammen, sondern mit Faktoren wie publication bias oder p-hacking.

 

[KaPiTN]

Wieso schließt Du da einen Zusammenhang aus? Geht es ihr nicht eben gerade um Data dredging/p-hacking durch ML?

 

[BurnerR]

Ich denke sie verwechselt oder vermischt absichtlich ML und Statistik.
Die aktuelle Krise ist aufgrund statistischer Effekte (die unabsichtlich bzw. bei p-hacking absichtlich aufgetreten sind) entstanden. ML verwendet ja viel bzw. basiert auf statistischen Verfahren ist aber nicht gleich zu setzen mit Statistik. Von der Krise sind Forschungsleistungen der letzten Jahrzehnte betroffen und höchstens zufällig auch Forschung welche ML verwendet.

--- [2019-02-18 16:03 CET] Automatisch zusammengeführter Beitrag ---

PS.:
Das Problem ist offenbar auch, dass wir hier wie immer eine Kopie einer Kopie haben. Also einen Artikel, der u.a. von der BBC kopiert wurde, der Aussagen kopierte die eine Forscherin gemacht haben soll.
Im BBC Artikel heißt es:

Machine learning systems and the use of big data sets has accelerated the crisis, according to Dr Allen. That is because machine learning algorithms have been developed specifically to find interesting things in datasets and so when they search through huge amounts of data they will inevitably find a pattern.

Kurz "That's not how science works". In Datasets nach beliebigen Mustern suchen, eine Hypothese darum bauen und das dann veröffentlichen ist geradezu Betrug.
Das ist eine Verschlimmerung des Multiplizitäts-Problems. Wenn du auf 100 Hypothesen testest hast du natürlich eine erhöhte Chance darauf, dass irgendeine dieser Hypothesen zutrifft. Wenn du diesen Effekt nicht herausrechnest erhältst du quasi für beliebige Daten signifikante Ergebnisse.
Mit ML wird es ggf. noch einfacher auf etliche/beliebige Hypothesen zu prüfen und einfach irgendwelche Muster zu finden. Das meint sie eventuell.

 

[KaPiTN]

So wie ich das verstehe, geht es doch in beiden Fällen um in den Daten gefundenen Zusammenhänge, die real so nicht existieren und mit anderen Daten nicht zu reproduzieren sind.
Beim p-hacking stellt man halt genügend Hypothesen auf, so daß dann auch zufällige "Zusammenhänge" da gefunden werden, beim ML lassen sich auch minimale Korrelationen finden, die dann wiederum nur für die verwendeten Daten bestehen.
In beiden Fällen fehlen dann aber oft die Kausalitäten. 2 Methoden, das gleiche Problem.

Ich habe es auch nicht so verstanden, das sie ML für ein grundsätzliches Problem hält, sondern es ihr um fehlende Validierungen geht.

 

[BurnerR]

Ja genau, selbiges Problem mit und ohne ML. Ich denke eher anders herum wird ein Schuh draus. Die Repro-Krise hat empirisch arbeitende Wissenschaftler auch in Bezug auf den Umgang mit ML sensibilisiert, deswegen gibt es die Arbeitsgruppe von Dr. Allen womöglich überhaupt nur.
Keine Ahnung, was da jetzt in jüngerer Zeit mit ML + Empirie gemacht wurde, zumindest in der Psychologie herrscht immer noch SPSS und p-value vor, schon die Transition zu bayesian Statistik wird noch 20 Jahre dauern (falls jemals), da stellt sich die Frage von ML fast nie.

Jdfs ist das inhärent eine problematische Kombination. So wie ich das verstehe betreibt die Dame auch ein Stückweit Grundlagenforschung um auszukundschaften, wie man die Kombination gut hinkriegen kann.
Falls jemals, das wäre ein extremst krasse Sache und könnte die empirischen Wissenschaften in ein paar Jahrzehnten komplett ausradieren und durch ML ersetzen.