index.hu: "A világhírű tudós lábon lőtte a tudományos módszertant"

index.hu: "A világhírű tudós lábon lőtte a tudományos módszertant"
FB-index.hu: "A világhírű tudós lábon lőtte a tudományos módszertant"

Szenzációs címlapos vezércikk jelent meg az indexen az imént, a facebook-kommentek nyilván nem sok hozzáadott értéket generáltak (eddig).

Annyira fontos nézetem szerint a cikk mondandója és továbbgondolási lehetőségei, hogy hajlandó vagyok a csendemet megszakítani érte.

Na persze nem megyek már bele a cikk által felvetett részletekbe, ezt meghagyom a fiataloknak (pláne hogy olvasatomban az egész téma PhD-t érő feldolgozást érdemelne). Csupán pár bennem generálódott gondolatra szánok egy-két betűt.

A cikk ütősebb mondatai:

* "Nem biztos, hogy Wansink elméletei megalapozatlanok, de nincs elég tudományos bizonyítéka, hogy alátámassza őket.""
* "De a történet nemcsak Wansink, hanem az akadémiai publikációs rendszer hiányosságaira is rávilágított."
* "A tudományos életben az egyes kutatók "értékét" a publikációik száma alapján határozzák meg. Ahhoz, hogy valaki elismert tudósnak számítson, sokat kell publikálnia a világ legrangosabb tudományos folyóirataiban. A publikáláshoz viszont statisztikailag szignifikáns eredményekre van szükség."
MM: az indexes cikk pongyola bevezetést ad ehhez a szignifikancia-topikhoz. Itt egy precízebb (ám még mindig rövid és közérthető) bevezetés linkje.
* "A nagy mennyiségű adattal dolgozó kutatóknál mindig fennáll annak a kockázata, hogy addig csűrik-csavarják a rendelkezésre álló adathalmazt, amíg észre nem vesznek bennük egy olyan mintázatot, ami alátámaszthatja a hipotézist."
* "Wansink, ahelyett, hogy a hipotéziseit tesztelte volna, és közölte volna, hogy mit állapított meg, gyakran a beosztottjait is arra biztatta, hogy addig elemezzék az adatokat, amíg nem bukkannak rá egy érdekesnek tűnő eredményre. Vagyis nem kutatómunkát végzett, hanem biturbó üzemmódba kapcsolta a p-hackinget."
* "A p-hackingre építő tanulmányok ismertté tehetnek egy tudóst, de tönkretehetik a tudomány egészét."
* "Az egyes tanulmányok akkor számítanak megbízhatónak, ha az eredményeik reprodukálhatók. A megbízhatóságuk azért fontos, mert a tudományos életben nemcsak az önálló tanulmányok fontosak, hanem a több ezer tanulmány adataira épülő metaanalízisek is. Az olyan összetett jelenségek, mint például az éghajlatváltozás elemzése gyakran több ezer kutatás feldolgozásán alapul, és ha csak egy meghekkelt van közöttük, az máris torzíthatja a teljes képet."
* "Ha a tudományos élet nem a publikációk számát jutalmazná, talán kialakulhatna az a kultúra, ahol nem a hibás módszertannal készült, de népszerű tanulmányokat jutalmazzák, hanem a vakvágányra futott kísérleteket is értékelik. Lehet, hogy így a tudományos élet kevesebb sztárt termelne ki, de ezer téves hipotézis akkor is közelebb visz az igazsághoz, mint egyetlen, rossz módszertannal készült publikáció."

Na és akkor a szubjektív asszociációim:

* Először is egy áthallás jut az ember eszébe elsőként (pár hete robbant a bomba): Áll a bál a sztárpszichológus és világhírű börtönkísérlete körül

* Tudományos konszenzus van abban, hogy milyen nagyszerű célokért lehet bevetni az amúgy  brutális - valósan már megtapasztalt és további jövőbeli potenciális - erőt magában rejtő mesterséges intelligenciát. Merészebbek csak ebből is pozitív 'világmegváltós' sci-fi utópiákat vizionálnak jövőbe projektálva.
Azonban kijelenthető, minden ami erős eszközt jó célért fel lehet használni, azt fel lehet és fel fogják használni rossz célért is. Az emberiség tele van sérülékenységgel, meghackelhetőséggel. Nem véletlen a rengeteg negatív disztópiás Skynet (Terminátor film-franchise)-től való félelem (lásd idevágólag Stephen Hawking hozzáállását is).

* Napjaink tájékozottabb olvasói napról napra szembesülhetnek avval, hogy ijesztő mértékben lehet politikát (Trump-választás), társadalmat (pl.: itthoni fake news fertőzések) no meg hát tudományt hackelni, manipulálni (többféleképpen is).

* Immáron nemcsak a klímahisztiben lehet látni/érzékelni, hogy a (tudományos) igazság sokszor senkit nem érdekel, csak a prekoncepció (így-úgy torzított modellfeltevés) igazolása, horribile dictu deklarált "szent" cél érdekében (mint ugye a klímahiszti is). Akár inkorrekt eszközökkel is (amik közül a legenyhébb a visszamérés, visszacsatolások negligálása, folytatva a koncepcióba nem illő dialógusok lefojtásával, egészen az adatmanipulálásig).

* Félelmetes látni mekkora (egekig érő) tudományos hitelt adott (folyamatosan) a világ a cikkbeli lebukott Wansink nevű tudósnak. Cikkeinek csak kicsi megpiszkálásával azonnal ki kellett volna buknia a turpisságoknak, de a tudományos hitel csak nőtt és nőtt és szuperponálódott.Nem kizárt, hogy ugyanígy fog bukni a klímahiszti a "97%-os tudományos konszenzusával".

* A tudományos hitel témájához feltétlenül hozzátartozik a hálózati aspektus végiggondolása. Nem mindegy, hogy valami kutatás vagy eredmény mainstreambe illeszkedik vagy nem. A felmerülnek egzisztánciális (vö.: állás-féltési, vagy éppen állás-ellehetetlenítési, -kirúgási)  kérdések mind kutatói, mind peer review-eri szinten (nem véletlen a cikkben, hogy az egyik impliciten javasolt gyógymód a peer revieweri hálózat bővítése). Lásd ide szintén a "klímamodellezés 97%-os tudományos konszenzusát".

* Ugyanígy említést érdemel a tudományos zaj kezelhetősége, vagy pontosabban talán kezelhetetlensége (ami szintén impliciten javasolt gyógymódként szerepel a cikkben). A belefulladást elkerülendő szét kell tudni választani az ocsút a búzától, ami az adatok exponenciális (mennyiségi, komplexitási, nehezségi) növekedésével egyre nehezebb vagy inkább lehetetlenebb kihívás.

* Perdöntő kérdés (főleg a klímahiszti analógiájának kontextusában) mi vezetett a leleplezéshez Wansinknál, illetve a klímahisztinál miért nem történt ez még meg (átütő erővel)? Nézetem szerint a klímamodellezés jóval kevesebb embert érdekel/érint meg (mint a táplálkozás). Az előbbi egyrészt jövőbeli (és nem konkrét aktuális) eredményekkel kecsegtet csak, illetve táplálkozás mindenki napi problémája, amit jobban is ért, érzékel, tapasztal (vö.: "focihoz vagy ételhez mindenki ért").
Ha van egy blogposzt ami annyira vitatható (mint Wansinknál), hogy az ellenvetések áttörnek egy kritikus tömeget, ráadásul a nyomozás/felfejtés újságírói szinten, gyorsan (gyorsuló módon) felgöngyölíthető, akkor még egy tudós is le tud bukni (nem védi meg őt a tudományos hitel). A klímahiszti elleni küzdelem több nagyságrenddel komplexebb és nehezebb feladat.

* A szignifikancia (és tuningolása) fontos, de hol van például
- a tudományos érdek,
- a hálózati aspektusok,
- a tudományos zaj,
- az (implikált) hatások,
- a (konteót is súrolni képes) visszaélések lehetőségeinek (vö "Exxon lefizeti Miskolczi Ferencet" típusú baromságok)
elemzése .

* Nézetem szerint lehetetlen küldetés korrekt (jó és támadhatatlan) akadémiai publikálási rendszert csinálni. A cikkbeli javasolt gyógymódok is triviálisan komolytalanok. Törvényekkel, szabályokkal nem lehet "igazságot" biztosítani, csak jogszolgáltatást. Az egész hiteles tudományért való harc  pont olyan mint például a korrupció elleni küzdelem. Ha az okosság jóval előrébb jár a moralitásnál (és/vagy bölcsességnél), akkor a meghackelésük csak idő kérdése.